CN104956664A - 校准装置、投影仪以及校准方法 - Google Patents

Abstract

一种用于对投影光线的投影单元进行校准的校准装置，包括：成像单元，用于拍摄具有位置和姿态的物体的表面的图像，所述光线通过投影单元投影到所述表面；位置和姿态估计单元，用于基于所述图像来估计所述表面的位置和姿态；反射点估计单元，用于基于估计的位置和估计的姿态来估计反射点，所述光线中的一个光线在该反射点处被表面反射；以及识别单元，用于基于反射点估计单元相对于表面的多个不同位置和/或多个不同的姿态而获得的多个反射点，识别所述光线中的一个光线经过的经过点和所述光线中的一个光线经过所述经过点的方向这两者，或者仅识别所述方向。

Description

校准装置、投影仪以及校准方法

技术领域

本发明涉及一种校准装置、投影仪以及校准方法，更具体地，涉及用于校准投影多个光线的投影单元的校准装置，包括所述投影单元和校准装置的投影仪，以及所述校准投影单元的方法。

背景技术

已知用于校准投影多个光线的投影单元的技术(参见，例如专利文献1至3)。

然而，在专利文献1至3中所公开的技术没有提供对于包括与从单个特定点发射多个光线的针孔光学系统不同的光学系统(以下，也称为“非针孔光学系统”)的投影单元进行校准的校准方法。

发明内容

本实施例公开了一种用于校准投影光线的投影单元的校准装置。所述校准装置包括：成像单元，其被配置为拍摄具有位置和姿态的物体的表面的图像，光线由所述投影单元投影到所述表面；位置和姿态估计单元，配置为基于图像来估计表面的位置和姿态；反射点估计单元，配置为基于所估计的位置和估计的姿态，来估计光线中的一个光线被表面反射的反射点；以及识别单元，其被配置为基于反射点估计单元相对于表面的多个不同的位置和/或多个不同的姿态而获得的多个反射点，识别光线中的一个光线经过的经过点和光线中的一个光线经过经过点的方向这两者，或者仅识别方向。

根据本实施例，不仅可以校准包括针孔光学系统的投影单元，也可以校准包括非针孔光学系统的投影单元。

附图说明

图1是示出根据本实施例的投影仪的配置概况的图。

图2是示出被包含在投影仪中的投影单元的图。

图3是示出投影仪的控制配置的概况的框图。

图4是示出在其中使用校准装置的投影单元的校准方法的流程图。

图5是示出形成在平板构件的表面上的基础图案的示例的棋盘格图案的图。

图6是示出投影到平板构件的表面上的投影图案的示例的点图案的图。

图7是示出其中点图案投影到形成在平板构件的表面上的棋盘格图案上的情况的图。

图8是示出光线在平板构件的表面上的反射点与成像表面上对应于反射点的点(成像点)之间的关系的图。

图9是示出在其中位置和姿态中的至少一个彼此不同的三种情况下光线在平板构件的表面上的反射点的图。

图10是示出用于使用校准装置的成像单元和投影单元利用三角测量来测量物体的三维形状的方法的图。

图11是示出三角测量的原理的图。

图12是示出基础图案或投影图案的另一示例的图。

图13是示出修改的实施例3的投影仪的控制配置的概况的框图。

图14是示出使用该修改的实施例3的校准装置的投影单元的校准方法的流程图。

图15是示出由修改的实施例3的校准装置在过滤处理中使用的过滤器的示例的图。

具体实施方式

参照图1至图11对本发明的实施例进行说明。在图1中，示出了根据本实施例的投影仪10的侧图。在以下的描述中，使用在其中垂直方向为Y轴方向的X-Y-Z三维正交坐标系。

投影仪10被放置在，例如，悬挂式屏幕S附近，在悬挂式屏幕S斜下方(或向-Y侧和向-Z侧倾斜)的一个位置处。

投影仪10包括：例如，壳体12、投影单元16(参照图2)、校准装置18(参照图3)、几何畸变调节单元25(参照图3)、控制单元(图中未示出)等。

所述壳体包括，例如，大致为矩形的箱型构件，并且包括在+Y侧的壁上的透光窗口构件22，通过其来透射光线。

投影单元16包括在例如壳体12内。投影单元16根据来自诸如个人计算机、存储器介质等的外部设备的图像信息将调制光线投影到屏幕S的表面(屏幕表面)。投影单元16包括光源80、投影光学系统17等。

如图2所示，投影光学系统17包括：例如，作为光分离单元的色轮82、作为光平均单元的光隧道84、作为光折射单元的两个聚光透镜86和88、作为光反射单元的两个镜子90和92、作为光调制单元的DMD(数字微镜设备)94、作为光角度加宽与图像形成单元的投影透镜96、作为光反射单元的镜子97、以及作为光角度加宽和反射单元的自由曲面镜98。

包括从光源80发射的多个色光分量的光进入到色轮82。进入色轮82的光被分离成三原色光分量，其顺序地从色轮82被提取。从色轮82提取的各个原色光分量进入光隧道84，在其亮度分布被平均化之后，进入聚光透镜86和88。各个原色光分量在进入聚光透镜86和88后，其图像形成表面被调节，其在由镜子90反射并且然后被镜子92反射之后，进入DMD 94。各个原色光分量在进入DMD 94后基于图像信息而被DMD 94反射和调制之后，顺序地进入投影透镜96。各个原色光分量在进入投影透镜96而其角度变宽之后被镜子97反射，并顺序地进入自由曲面镜98。各个原色光分量在进入自由曲面镜98时被自由曲面镜98反射，由此其角度被自由曲面镜98加宽，其通过透光窗口构件22(参照图1)而顺序地在斜向上方向被投影到壳体12的+Z、+Y侧(到屏幕S上)。结果，彩色图像或单色图像被显示在屏幕表面上。注意，从光源80到镜子97的光的路径由方向箭头来表示。

如从上面的描述可理解的，投影光学系统17从自由曲面镜98上的彼此不同的多个点发射多个光线。换句话说，投影光学系统17不是从特定点发射多个光线的针孔光学系统，而是非针孔光学系统。注意，从投影光学系统17发射的每个光线对应于例如像素。

这里，投影单元16以如下方式配置：多个投影光线(多个投影光分量)的焦点姿态(attitude)靠近投影单元16，即，投影单元16被配置为具有短焦，从而其可以在短投影距离处在屏幕S上显示大的彩色(或单色)图像。在这里，“投影单元16被配置为具有短焦”指的是投影单元16的光学系统包括具有折射能力的镜子(例如，上述的自由曲面镜98)。镜子所具有的折射能力可以是正或负能力(即，镜子可以是凹透镜或凸透镜)。通过在投影光学系统17中包括具有折射能力的镜子，变得能够即使是在从透光窗口构件22到屏幕S的距离小于或等于50厘米的情况下、也显示具有大约80英寸的大小的投影图像。

利用这种短焦投影仪10，因为光线可以从靠近屏幕S的位置投影，所以可以尽可能地避免以下情况：其中，坐在投影仪10和屏幕S之间的人或物体使得光的投影被干扰。

校准装置18是用于校准投影单元16的装置，并且包括例如(如图3中所示)存储器单元18a、成像单元18b、位置和姿态估计单元18c、反射点估计单元18d、经过点和方向识别单元18e等。

作为存储器单元18a，例如，使用半导体存储设备(RAM或ROM)、硬盘、光盘等。在存储器单元18a中，存储被投影到用于校准投影单元16的物体上的投影图案。投影单元16能够从存储器单元18a读出投影图案，以及将投影图案投影到物体上。

作为成像单元18b，例如，使用包括诸如CCD或COMS的成像元件的相机。成像单元18b被放置在例如壳体12的+Y侧表面上。以可以拍摄物体的图像的方式设置相机的成像范围，其中投影单元16将投影图案投影在该物体上。由成像单元18b拍摄的物体的图像存储在存储器单元18a中。

位置和姿态估计单元18c从存储器单元18a读出由成像单元18b拍摄的物体的图像，并估计物体的位置和姿态。

反射点估计单元18d基于由位置和姿态估计单元18c所估计的物体的位置和姿态来估计各个投影光分量(光线)在物体上的反射点。

经过点和方向识别单元18e基于由反射点估计单元18d所估计的反射点来识别各个投影光分量在投影单元16和物体之间的经过点和方向。

几何畸变调节单元25包括例如三维形状测量单元25a、图像信息调节装置25b等。

三维形状测量装置25a使用由校准装置18校准的投影单元16和成像单元18b通过三角测量来测量屏幕表面的3D形状。结果，检测出屏幕表面的整个区域的几何畸变信息。

图像信息调节单元25b基于三维形状测量单元25a的测量结果，创建用于调节由屏幕表面的畸变而导致的投影图像的几何畸变的调节信息，并且使用所创建的调节信息来调节来自外部设备的图像信息。所述调节信息是用于通过添加与在屏幕表面上的图像信息的畸变相反的畸变来抵消的屏幕表面的畸变的信息。

在下文中，参考图4中的流程图来描述使用校准装置18的投影单元16的校准方法的示例。通过使上述控制装置执行指定校准方法的过程的程序来执行该校准方法。该程序被存储在存储器单元18a中，并且可以由控制装置来读取。

在此，作为上述物体的示例，使用包括在其上形成基础图案的表面的平板构件30(参见图5到7)。作为基础图案的示例，使用如图5中所示的棋盘格图案CP。作为投影图案的示例，使用包括如图6中所示以矩阵布置的多个点的点图案DP。在下文中，为方便起见，在其上形成基础图案的平板构件30的表面也被称为“图案形成表面”。

首先，在图4的步骤S1中，投影单元16从存储器单元18a读出投影图案，并将投影图案投影到形成在平板构件30(参照图7)的表面上的基础图案上。然后，成像单元18b拍摄通过将投影图案投影到基础图案上而形成的组合图案的图像。所拍摄的组合图案的图像被存储在存储器单元18a中。

在下一步骤S3中，控制装置确定拍摄组合图案的图像的次数是否少于预定数目M(例如3)，即，步骤S1被执行的次数是否比预定数目M少。在确定为是的情况下，步骤移至步骤S4。注意到，M不限于3。即，M可以是任何正整数。

在步骤S4中，控制装置改变平板构件30相对于投影单元16的位置和姿态中的至少一个(参照图9)。这里，控制装置通过控制(经由)用于操作平板构件30的致动器(在图中未示出)来改变平板构件30的位置和姿态中的至少一个。注意到，在图9中，为方便起见，只示出了投影仪10的投影单元16。

注意，上述改变可以手动进行。换言之，步骤S4可以不通过控制装置来进行。在手动执行变化的情况下，优选的是，可以包括用于检测平板构件30的位置和姿态中的至少一个被改变并将检测结果发送到控制装置的单元(例如，姿态传感器、角度传感器等)。

在步骤S4之后，流程返回到步骤S1。然后，在步骤S3中的确定为否的情况下，或者在对于预定数量M个状态的每一个拍摄了组合图案的图像、在所述状态中平板构件30的位置和姿态中的至少一个与其他状态不同的情况下，流程移至步骤S5。这样，平板构件30的位置和姿态中的至少一个被改变了M-1次，在改变位置和姿态中的至少一个之前和之后都通过投影单元16将投影图案投影到图案形成表面上，并且拍摄组合图案的图像。结果，组合图案的多达M个不同的图像被存储在存储器单元18a中。

在步骤S5中，位置和姿态估计单元18c估计图案形成表面的位置和姿态。

更详细地描述，位置和姿态估计单元18c读取存储在存储器单元18a中的组合图案的M个图像。然后，从每个读出的图像中，位置和姿态估计单元18c提取平板构件30上的基础图案的特征点的位置。具体地，如图5中所示，使得构成作为基础图案的棋盘格图案CP的白色或黑色的正方形部分的角作为特征点，位置和姿态估计单元18c获得成像表面上的特征点的二维位置。为了检测角，例如，可以使用哈里斯(Harris)角检测方法。然后，从所获得的在成像表面上的特征点的二维位置和在基础图案上的坐标系统中的特征点的二维位置之间的对应关系，位置和姿态估计单元18c估计图案形成表面的位置和姿态。通过对组合图案的M个图像执行上述过程，位置和姿态估计单元18c对于每个图像估计图案形成表面的位置和姿态。

计算过程的具体示例将在下面进行说明。使得成像表面上的组合图像的第i个特征点的位置是(ui，vi)，并且使得在图案形成表面上的第i个特征点的位置是(xi，yi)。使得特征点的数目为N。通过使用下式(1)来计算投影变换的系数h1到h8，其最小化了重新投影的误差J(h)。

[数学式1]

$J\left(h\right)=\underset{i=1}{\overset{N}{\Σ}}{(u_i-\frac{h_1{x}_i+h_2{y}_i+h_3}{h_7{x}_i+h_8{y}_i+1})}^2+\underset{i=1}{\overset{N}{\Σ}}{(v_i-\frac{h_4{x}_i+h_5{y}_i+h_6}{h_7{x}_i+h_8{y}_i+1})}^2---\left(1\right)$

假设成像单元的焦距(fu，fv)和光轴的位置(cu，cv)是已知的。包括上述参数的内部参数矩阵K由下式(2)定义。

[数学式2]

$K=\left(\begin{array}{ccc}{f}_u& 0& c_u\\ 0& f_v& c_v\\ 0& 0& 1\end{array}\right)---\left(2\right)$

然后，图案形成表面的旋转矩阵R＝(r1，r2，r3)和平移矢量t由下式(3)至(6)来计算。

[数学式3]

$r_1\←K^{-1}\left(\begin{array}{c}{h}_1\\ h_4\\ h_7\end{array}\right)/\left|\right|K^{-1}\left(\begin{array}{c}{h}_1\\ h_4\\ h_7\end{array}\right)\left|\right|---\left(3\right)$

$r_2\←K^{-1}\left(\begin{array}{c}{h}_2\\ h_5\\ h_8\end{array}\right)/\left|\right|K^{-1}\left(\begin{array}{c}{h}_2\\ h_5\\ h_8\end{array}\right)\left|\right|---\left(4\right)$

r₃←r₁×r₂  (5)

$t\←K^{-1}\left(\begin{array}{c}{h}_3\\ h_6\\ 1\end{array}\right)/\left|\right|K^{-1}\left(\begin{array}{c}{h}_3\\ h_6\\ 1\end{array}\right)\left|\right|---\left(6\right)$

需要注意的是，在不知道成像单元的内部参数的情况下，通过使用Zhang的相机校准的方法(Z.Zhang“A flexible new technique for cameracalibration(用于相机校准的灵活的新技术)”,IEEE Transactions on PatternAnalysis and Machine Intelligence,22,11,pp.1330-1334，2000年)，内部参数以及图案形成表面的旋转矩阵和平移矢量可以同时进行计算。

在下一步骤S6中，反射点估计单元18d估计多个光线的每个在图案形成表面上的反射点。

更详细地描述，反射点估计单元18d读取存储在存储器单元18a中的组合图案的M个图像。然后，从每个读取的图像中，反射点估计单元18d估计投影到图案形成表面上的投影图案的特征点的反射点。具体地，如图6中所示，使作为投影图案的点图案DP的点的中心为特征点，反射点估计单元18d提取特征点的位置。基于在步骤S5中估计的图案形成表面的位置和姿态以及特征点的位置，反射点估计单元18d估计在图案形成表面上的投影图案的特征点的三维位置(反射点)。反射点估计单元18d对于组合的图案的M个图像执行上述过程。如图8所示，为了从成像表面上的投影图案的特征点的二维位置p＝(pu，pv)^T计算在图像形成表面上的对应点的三维位置q＝(qx，qy，qz)^T，仅需要解下面的方程式(7)的等式。

[数学式4]

$\left(\begin{array}{ccc}{f}_u& 0& c_u-p_u\\ 0& f_v& c_v-p_v\\ & {r_3}^T& \end{array}\right)q=\left(\begin{array}{c}0\\ 0\\ {r_3}^{T}t\end{array}\right)---\left(7\right)$

在下一步骤S7中，经过点和方向识别单元18e基于在步骤S6中估计的投影图案的特征点的三维位置来识别用于投影光线的等式。使得在M个状态中，在平板构件30的图案形成表面上的投影图案的同一特征点的反射点为q₁到q_M，其中在每个状态中，位置和姿态中的至少一个与其他状态不同。然后，通过将最小二乘法应用到这些多个反射点q₁到q_M来找到拟合线(fittingline)的等式，经过点和方向识别单元18e计算投影光线的经过点与方向(参照图9)。通过将相同的处理应用到投影图案的每一个特征点，可以计算对应于每个特征点的投影光线的经过点和方向。

以这种方式，可以计算出针对每一个特征点的投影光线的经过点(passing point)和方向。因此，通过将投影图案从投影单元16投影到物体上，使用成像单元18b来拍摄组合的图案的图像，并且使用所计算的光线的经过点和方向，三维形状测量单元25a可以通过使用三角测量的原理来测量物体的三维形状(参照图10)。结果，可以检测屏幕S的畸变信息。

注意，只要投影单元16和成像单元18b的光学内部参数(焦距，光轴位置，透镜畸变等)以及投影单元16和成像单元18b的外部参数(相对位置和姿态)是已知的，则可以使用在投影单元16的投影点与成像单元18b的成像点之间的对应关系来执行三角测量(参照图11)。

然后，图像信息调节装置25b可以通过基于关于屏幕S的畸变的检测信息来创建用于调节投影到屏幕S上的图像的几何畸变的调节信息，以及通过使用调节信息来调节原始图像的图像信息，将无几何畸变的高质量图像投影到屏幕S上。

注意，在以上的校准方法中，不考虑成像单元18b的相机的透镜畸变。即使在存在成像单元18b的相机的透镜畸变的情况下，通过将常规透镜畸变调节方法应用到成像单元18b，可以使用以上的校准方法。

根据本实施例的以上校准装置18包括：成像单元18b，用于拍摄在其上投影了来自投影单元16的多个光线的平板构件30的图案形成表面的图像；位置和姿态估计单元18c，用于基于通过拍摄图案形成表面的图像而获得的图像来估计图案形成表面的位置和姿态；反射点估计单元18d，用于基于估计的图案形成表面的位置和姿态来估计多个光线的每个在图案形成表面上的反射点；以及经过点和方向识别单元18e，用于基于多个光线的每个的估计的反射点来识别和在投影单元16和图案形成表面之间的光线(投影光)的经过点和方向。

在这种情况下，可以通过，例如，将平板构件30的位置和姿态中的至少一个改变至少一次、通过在改变位置和姿态中的至少一个之前和之后将多个光线投影到平板构件30的图案形成表面上、以及通过拍摄图案形成表面的图像，来估计在平板构件30的位置和姿态中的至少一个的改变之前和之后多个光线的每一个的反射点，并且计算多个光线的每个的方向和经过点。

注意，在校准包括其中多个光线经过单个特定点的针孔光学系统的投影单元的情况下，可以以与在投影单元16包括如上所述的非针孔光学系统的情况中相同的方式，基于反射点来识别多个光线的每个的经过点和方向；或者可以通过假设多个光线的每个的经过点是以上的单个特定点而基于以上的反射点仅仅识别方向。

结果，在校准装置18中，不仅可以校准包括针孔光学系统的投影单元，而且可以校准包括非针孔光学系统的投影单元。

同时，经过点和方向识别单元18e通过将最小二乘法应用到多个光线的每个在改变之前和之后在图案形成表面上的反射点来获得拟合线，以识别经过点和光线的方向。在这种情况下，可以容易地并且以良好的精度来获得多个光线的每个的经过点和方向。

另外，投影仪10包括：投影单元16，用于将根据图像信息调制的多个光线投影到屏幕表面上；校准装置18，用于校准投影单元16；以及几何畸变调节单元25，用于使用投影单元16和校准装置18的成像单元18b通过三角测量来测量屏幕表面的三维形状，以及基于测量结果来调节图像信息。

在这种情况下，例如，可以以良好的精度来调节由屏幕表面畸变所造成的几何畸变，并且其几何畸变减少的高质量图像可以被投影到屏幕表面上。

注意，在平板构件30上形成的基础图案不限于棋盘格图案。另外，被投影到平板构件30上的投影图案不限定于点图案。问题的关键是，基础图案或投影图案可以是任何图案，只要多个特征点的那些位置关系是已知的。例如，基础图案可是点图案。投影图案可以是棋盘格图案。

此外，基础图案和投影图案中的至少一个可以是网格图案。在这种情况下，网格图案的交叉点或者网格图案的正方形区域可以用作特征点。

另外，其亮-暗改变为正弦波图案的图12所示的图案可以用作基础图案或投影图案。在图案稍微向右或左移动的同时，这种图案的图像被拍摄多次，并且估计像素的正弦波相位。同样地，在将该图案旋转90度之后，在图案稍微向上或向下移动的同时，图像被拍摄多次，并且估计像素的正弦波相位。这样，可以建立(相移法)投影图案上的位置和拍摄的图像的像素之间的对应关系，并且所有像素的位置可以用作本实施例的特征点。

此外，上述实施例是其中投影单元16是非针孔型的、并且在投影图案的每个特征点和对应的投影光线之间没有约束的情况。即使当投影单元是非针孔型时，也存在可以将其看作是针孔的情况。因此，在下文中，将对修改的实施例1进行说明，其中，使用投影图案的特征点之间的这种关系(约束条件)来识别投影光线的位置和方向。

除了经过点和方向识别单元的处理之外，修改的实施例1的校准装置包括与上述实施例的校准装置18相同的配置和相同的功能。在下文中，将对修改的实施例1的经过点和方向识别单元的处理的内容进行说明。

经过点和方向识别单元获得由反射点估计单元18d估计的投影图案的第i个特征点的图案形成表面上的一组反射点q₁(i)，q₂(i),…,q_M(i)。这里，使得对应于投影图案的第i个特征点的投影光线的方向余弦(方向的单位矢量)为e(i)，并且使得投影光线的经过点是a(i)。在针孔模型可以应用到对应于第i个特征点和第j个特征点的投影光线的情况下，等式a(i)＝a(j)成立。利用这一点，并通过使得可以被应用相同的针孔模型的投影光线的一组指数为S，将解出在下式(8)中所示的最优化问题。

[数学式5]

最小化： $\underset{i\∈S}{\Σ}\underset{k=1}{\overset{M}{\Σ}}\left|\right|(I-e(i\left)e{\left(i\right)}^T\right)\left(q_k\right(i)-a(i\left)\right)|{|}^2$

条件为：a(i)＝(j)(i，j∈S)   (8)

换句话说，在将投影光线的经过点约束为单个点之后，从投影光线的线到估计的反射点的距离的平方和最小化。这个优化问题可以通过下面的迭代操作来求解。首先，设置e(i)(i∈S)的初始值。例如，通过将主成分分析应用到所估计的反射点q1(i)，q2(i)，...，qM(i)，第一主成分的方向被设置为e(i)。然后，从下式(9)获得a＝a(i)(i∈S)。

[数学式6]

$a\←\left({\underset{i\∈S}{\Σ}W\left(i\right))}^{-1}\underset{i\∈S}{\Σ}\right(\frac{w\left(i\right)}{M}\underset{k=0}{\overset{M}{\Σ}}{q}_k\left(i\right))---\left(9\right)$

W(i)＝I-e(i)e(i)^T

然后，对于i∈S，获得对应于以下矩阵的最大特征值的特征向量，并代入到e(i)中，并获得公式(10)。

[数学式7]

$\underset{k=1}{\overset{M}{\Σ}}\left(q_k\right(i)-a){\left(q_k\right(i)-a)}^T---\left(10\right)$

通过使用公式(9)进行的经过点a的更新和使用公式(10)的特征值操作进行的方向余弦e(i)的更新被迭代，直到满足特定的条件。作为特定条件的示例，可以设置诸如：更新应重复预定的次数；或由重复导致的参数的改变量应变为小于特定阈值的条件。

约束条件并不限于上述例子。例如，投影光线相对于光轴的对称性可以作为约束。上述迭代操作不能在通用约束的情况下应用，并且通过应用具有通用约束条件的非线性最优化方法，而获得解。

根据修改的实施例1，投影光线的位置和方向可以鲁棒地从少量拍摄的图像中识别，因为在投影光线之间所保持的约束条件下来执行最小二乘估计。

此外，如在下面的修改的实施例2所描述的，可以通过最小化每个投影光线的估计的反射点距线的距离和投影光线的位置和方向的改变量这两者来识别投影光线的位置和方向。即使在不能应用投影光线之间的约束的情况下，在其中事物以充分平滑的方式改变的光学系统中，两个空间上靠近的投影光线的位置和方向可以取类似的值。使用光学系统的这种性质，投影光线的位置和方向将被鲁棒地识别。

除了经过点和方向识别单元的处理之外，修改的实施例2的校准装置包括与以上实施例的校准装置18相同的配置和相同的功能。在下文中，将描述修改的实施例2的经过点和方向识别单元的处理的内容。

首先，修改的实施例2的经过点和方向识别单元获得由反射点估计单元估计出的投影图案的估计的反射点。作为投影图案，例如，使用其中特征点以如图5和图6中所示的矩阵的形式排列的图案。在行i列j的特征点的第k个拍摄的图像中所估计的入射位置通过q_k(i，j)表示，对应于行i列j的特征点的投影光线的方向余弦(方向的单位矢量)通过e(i，j)来表示，并且经过点通过a(i，j)来表示。使用这些符号，评价函数配置为如公式(11)所示。

[数学式8]

$J(e,a)=\underset{i}{\Σ}\underset{j}{\Σ}\underset{k=1}{\overset{M}{\Σ}}\left|\right|(I-e(i,j\left)e{\left(i,j\right)}^T\right)\left(q_k\right(i,j)-a(i,j\left)\right)|{|}^2+\mathrm{\Φ}(e,a)---\left(11\right)$

公式(11)的第一项是从投影光线的线到估计的反射点的距离的平方和，并且公式(11)中的第二项，Φ(e，a)是正则项(regularization term)。可以认为，该正则项对于投影光线的经过点和方向余弦的非平滑性提供惩罚(penalty)。例如，如公式(12)中所示，Φ(e，a)可以被设置为在i方向中的方向余弦e(i，j)的二阶微分的平方和。

[数学式9]

$\mathrm{\Φ}(e,a)=\underset{i}{\Σ}\underset{j}{\Σ}\left|\right|e(i-1,j)-2e(i,j)+e(i+1,j)|{|}^2---\left(12\right)$

同样的想法可以应用于方向j。此外，也可以对于经过点a(i，j)设置相同的正则项。通过使用被如上所述地配置的正则项，并且通过获得最小化上式(11)的e(i，j)和a(i，j)，可以获得其经过点和方向在空间上平滑地改变的投影光线。注意，关于公式(11)的最小化，可以使用诸如最速下降法、牛顿法等非线性最优化方法。

根据修改的实施例2，通过最小化从每个投影光线的线到每个估计的反射点的距离、以及在投影光线之间的位置和方向的改变量这两者，可以从拍摄的少量图像鲁棒地识别投影光线的经过点和方向。

此外，如在下面的修改的实施例3中将描述的，可以通过将过滤处理应用到每个投影光线的经过点和方向，来鲁棒地识别投影光线的经过点和方向。

在图13中，示出了根据修改的实施例3的校准装置180的配置概况。校准装置180与上面的实施例的校准装置18的不同之处在于其包括经过点和方向调节单元18f。

在图14中，示出了例示使用校准装置180的投影单元16的校准方法的流程图。图14的流程图是向其中添加了步骤S8的图4的流程图。

在步骤S8中，经过点和方向调节单元18f调节由经过点和方向识别单元18e所识别的每个投影光线的经过点和方向。作为调节方法，可以使用过滤处理。与上述修改的实施例2相同，假定投影图案的特征点矩阵的形式来排列，并且获得对应于行i列j的特征点的投影光线的方向余弦e(i，j)和经过点a(i，j)。然后，通过向其应用图15中所示的系数的滤波器，错误可由于平滑而减少。应用的滤波器不限于线性滤波器，并且通过应用诸如中值滤波器、ε滤波器、双边滤波器等的非线性滤波器，可以执行平滑化同时保持急剧改变。

根据修改的实施例3中，通过将滤波处理应用到每个投影光线的经过点和方向，可以从少量拍摄的图像鲁棒地识别出投影光线的位置和方向。

注意，例如，在校准包括针孔光学系统的投影单元、并且仅通过经过点和方向单元18e识别每个投影光线的方向的情况下，可能将滤波处理也仅仅应用到所识别的方向。

另外，在上述实施例和每个修改的实施例中，校准装置被安装在投影仪10中。不限定于上述结构的校准装置也可以安装在，例如，包括用于投影多个光线的投影单元的3D扫描仪中。同样在这种情况下，形状未知的物体的三维形状可以使用校准装置的成像单元和投影单元(参照图10)通过三角测量而容易地并以良好的精度来测量。

另外，在上述实施例和每个修改的实施例中，在通过使用校准装置来校准投影单元的同时只使用一个平板构件30，但是也可以使用多个平板构件30。基本上，仅需要在其中相对于投影单元16、平板构件30的位置和姿态中的至少一个彼此不同的状态的每个状态中，拍摄平板构件30的图案形成表面上的组合图案的图像。

另外，平板构件30用作通过投影单元16将多个光线投影在其上的物体，但其并不限于这种配置。关键的一点在于，优选的是可以使用包括平面的物体。并且更优选的是，基础图案形成在该平面上。

另外，假设投影光线被投影到其上的表面是例如悬挂式屏幕S的表面，但其并不限于这种配置。例如，所述表面可以是被固定在建筑物的墙壁上的屏幕S的表面、建筑物的墙壁的表面、布的表面、面板的表面、板的表面、汽车的挡风玻璃的表面等。

投影单元可以不是短焦型的。在这种情况下，MEMS镜、电流镜(galvano-mirror)等也可以被用来代替具有折射能力的镜子(例如，上述的自由曲面镜98)。

此外，投影单元的配置不限于上述配置，并且可以相应地修改。例如，来自光源80的光在DMD 94处基于图像信号被调制，但是光源80也可以基于图像信号而被调制和驱动。在这种情况下，代替DMD 94，可以使用具有两个轴的MEMS扫描仪、具有两个轴的电流扫描仪、多个MEMS镜等。此外，代替DMD 94，可以使用透明型液晶面板、反射型液晶面板等。

本申请基于并要求于2012年12月28日提交的日本专利申请No.2012-286438的优先权的权益。

附图标记的说明

10 投影仪

16 投影单元

18 校准单元

18b 成像单元

18c 位置和姿态估计单元

18d 反射点估计单元

18e 经过点和方向识别单元(识别单元)

18f 经过点和方向调节单元(调节单元)

25 几何畸变调节单元

CP 棋盘格图案(基础图案)

DP 点图案(投影图案)

现有技术文献

专利文献1：日本专利申请公开No.2001-320652

专利文献2：日本专利申请公开No.2005-326247

专利文献3：日本专利No.4230525

Claims (18)

1.一种用于对投影光线的投影单元进行校准的校准装置，所述校准装置包括：

成像单元，配置为拍摄具有位置和姿态的物体的表面的图像，所述光线通过投影单元投影到所述表面上；

位置和姿态估计单元，配置为基于所述图像来估计所述表面的位置和姿态；

反射点估计单元，配置为基于估计的位置和估计的姿态来估计反射点，所述光线中的一个光线在该反射点处被所述表面反射；以及

识别单元，配置为基于反射点估计单元相对于表面的多个不同位置和/或多个不同的姿态而获得的多个反射点，识别所述光线中的一个光线经过的经过点和所述光线中的一个光线经过所述经过点的方向这两者，或者仅识别所述方向。

2.根据权利要求1所述的校准装置，

其中，物体相对于投影单元的位置和姿态中的至少一个被改变至少一次，并且在位置和姿态中的至少一个的所述至少一次改变之前和之后，光线被投影到所述表面上；

其中，所述成像单元在所述至少一次改变之前拍摄所述表面的第一图像，并且在所述至少一次改变之后拍摄所述表面的第二图像；

其中，所述位置和姿态估计单元基于在所述至少一次改变之前拍摄的所述表面的第一图像来估计所述表面的第一位置和第一姿态，并基于在所述至少一次改变之后拍摄的所述表面的第二图像来估计所述表面的第二位置和第二姿态；

其中，所述反射点估计单元基于在所述至少一次改变之前所述表面的估计的第一位置和估计的第一姿态来估计所述光线的一个光线的第一反射点，并基于在所述至少一次改变之后所述表面的估计的第二位置和估计的第二姿态来估计所述光线的一个光线的第二反射点；以及

其中，所述识别单元基于估计的第一反射点和估计的第二反射点来识别经过点和方向两者，或者仅识别方向。

3.根据权利要求2所述的校准装置，其中，所述识别单元通过将最小二乘法应用到估计的第一反射点和估计的第二反射点而获取拟合线，以识别经过点和方向两者，或者仅识别方向。

4.根据权利要求2所述的校准装置，其中，在所述光线之间存在预定义的约束条件，而识别单元通过计算距第一反射点和第二反射点的距离最小化的线来识别经过点和方向两者，或者仅识别方向。

5.根据权利要求2所述的校准装置，其中，所述识别单元通过计算距第一反射点和第二反射点的距离最小化的线来识别经过点和方向两者，或者仅识别方向，其中，所述表面的多个反射点和多个不同姿态的改变量被最小化。

6.根据权利要求1所述的校准装置，进一步包括：

调节单元，配置为将过滤处理应用到所识别的经过点和所识别的方向两者，或者仅应用到所识别的方向。

7.根据权利要求1所述的校准装置，其中，预定义的基础图案形成在所述表面上。

8.根据权利要求1所述的校准装置，其中，根据预定义的投影图案调制的光线被投影到所述表面上。

9.根据权利要求8所述的校准装置，其中，所述光线中的一个光线对应于像素。

10.根据权利要求1所述的校准装置，其中，所述表面是平面。

11.一种用于将根据图像信息而调制的光线投影在投影表面上的投影仪，所述投影仪包括：

投影单元，配置为投影所述光线，以及

校准装置，用于如权利要求1中所述对所述投影单元进行校准。

12.根据权利要求11所述的投影仪，进一步包括：

几何畸变调节单元，配置为使用校准装置的成像单元和投影单元，通过三角测量来测量投影表面的三维形状，并基于测量结果来调节投影到投影表面上的图像的几何畸变。

13.一种用于投影光线的投影单元的校准方法，所述校准方法包括：

成像步骤，拍摄具有位置和姿态的物体的表面的图像，所述光线通过投影单元被投影到所述表面上；

位置和姿态估计步骤，基于所述图像来估计所述表面的位置和姿态；

反射点估计步骤，基于估计的位置和估计的姿态估计反射点，所述光线中的一个光线在该反射点处被所述表面反射；以及

识别步骤，基于在反射点估计步骤中相对于表面的多个不同位置和/或多个不同的姿态而获得的多个反射点，识别所述光线中的一个光线经过的经过点和所述光线中的一个光线经过所述经过点的方向这两者，或者仅识别所述方向。

14.根据权利要求13中所述的校准方法，进一步包括：

在所述成像步骤中，改变物体相对于投影单元的位置和姿态中的至少一个的改变步骤；以及

将光线从投影单元投影到其位置和姿态中的至少一个被改变至少一次的物体的表面上、在所述至少一次改变之前拍摄所述表面的第一图像、以及在所述至少一次改变之后拍摄所述表面的第二图像的步骤，

其中，在位置和姿态估计步骤中，基于在所述至少一次改变之前拍摄的所述表面的第一图像来估计所述表面的第一位置和第一姿态，并且基于在所述至少一次改变之后拍摄的所述表面的第二图像来估计所述表面的第二位置和第二姿态，

其中，在所述反射点估计步骤中，基于在所述至少一次改变之前所述表面的估计的第一位置和估计的第一姿态来估计所述光线中的一个光线的第一反射点，并基于在所述至少一次改变之后所述表面的估计的第二位置和估计的第二姿态来估计所述光线中的一个光线的第二反射点，

其中，在所述识别步骤中，基于估计的第一反射点和估计的第二反射点来识别所述光线中的一个光线的经过点和方向两者，或者仅仅识别所述光线中的一个光线的方向。

15.根据权利要求14中所述的校准方法，其中，在所述识别步骤中，通过将最小二乘法应用到估计的第一反射点和估计的第二反射点来获取拟合线，以识别经过点和方向两者，或者仅识别方向。

16.根据权利要求14中所述的校准方法，

其中，在光线之间存在预定义的约束条件，以及

其中，在所述识别步骤中，通过在约束条件下计算在所述至少一次改变之前和之后距所述光线中的一个光线的反射点的距离最小化的线，来识别经过点和方向两者，或者仅识别方向。

17.根据权利要求14中所述的校准方法，其中，在所述识别步骤中，通过计算下述线来识别经过点和方向两者，或者仅识别方向，所述线距所述光线中的一个光线的第一反射点和第二反射点的距离最小化、并且利用该线所述表面的多个反射点和多个不同姿态的改变量被最小化。

18.根据权利要求13中所述的校准方法，进一步包括：

将过滤处理应用到所述经过点和方向两者、或者仅应用到所述方向的步骤。