CN101576379B - 基于二维彩色标靶的主动投影三维测量系统快速标定方法 - Google Patents

Abstract

一种用于主动投影照明三维形貌测量系统中的投影仪和摄像机同时快速标定方法，利用合理的颜色设计，在彩色图像的RGB模型基础上，利用投影仪将一幅具有彩色特征点的图像投影到一个具有彩色特征点的二维平面标靶上，彩色摄像机一次同时获取标靶上两个彩色图案经颜色空间混色后的图像，由图像分离得到标靶上制作的特征点图像信息和投影的特征点图像信息，然后分别用分离出的标靶特征图像标定摄像机，用分离出的投影特征点图像标定投影仪，最后利用双目立体视觉原理标定出摄像机和投影仪的相对位置关系，从而完成整个主动照明三维形貌测量系统的标定。由于在每一个标定位置只需要拍摄一幅图像，该方法具有测量数据少，标定速度快的优点。

Description

基于二维彩色标靶的主动投影三维测量系统快速标定方法 

技术领域

本发明涉及三维面形测量系统中的系统标定领域，尤其涉及基于主动投影照明三维测量系统的摄像机和投影仪同时标定。 

背景技术

摄像机标定是三维重建中必不可少的一个步骤，标定结果的好坏直接影响着三维测量的精度和三维重建结果的好坏，因此研究摄像机的标定方法具有重要的理论研究意义和实际应用价值。 

摄像机模型解决的是二维图像信息和三维空间坐标转换的问题，一般来说有线性模型和非线性模型两种。线性摄像机模型(针孔相机成像模型)是应用最广泛的一种，很多视觉测量技术都是建立在针孔成像模型的基础之上。非线性模型也称为畸变模型，是在线性模型的基础上考虑成像镜头的光学畸变后建立的模型。 

(1)线性模型摄像机的标定 

摄像机定标，也就是求解其成像投影变换矩阵M，一般都需要在摄像机前放一个特制的标定参照物，摄像机获取该物体的图像，并由此计算摄像机的投影变换矩阵M。标定参照物的每一个特征点相对于世界坐标系GCS的位置在制作时应精确测定，世界坐标系GCS可选为参照物的物体坐标系。在得到这些已知点在图像上的投影位置后，可以计算出摄像机的投影变换矩阵M，之后无须计算出摄像机的全部内外部参数，采用隐式校准的办法可以直接将像面坐标映射成空间坐标。 

$Z_{\mathrm{ci}}\left[\begin{array}{c}{u}_i\\ v_i\\ 1\end{array}\right]\left[\begin{array}{cccc}{m}_{11}& m_{12}& m_{13}& m_{14}\\ m_{21}& m_{22}& m_{23}& m_{24}\\ m_{31}& m_{32}& m_{33}& m_{34}\end{array}\right]\left[\begin{array}{c}{X}_{\mathrm{wi}}\\ Y_{\mathrm{wi}}\\ Z_{\mathrm{wi}}\\ 1\end{array}\right]---1$

其中，(X_wi，Y_wi，Z_wi)为空间第i个点的坐标，(u_i，v_i，1)为第i点的图像像素坐标，m_ij为投影矩阵M的第i行第i列元素。公式1包含了三个方程： 

$\left\{\begin{array}{c}{Z}_{\mathrm{ci}}{u}_i=m_{11}{X}_{\mathrm{wi}}+m_{12}{Y}_{\mathrm{wi}}+m_{13}{Z}_{\mathrm{wi}}+m_{14}\\ Z_{\mathrm{ci}}{v}_i=m_{21}{X}_{\mathrm{wi}}+m_{22}{Y}_{\mathrm{wi}}+m_{23}{Z}_{\mathrm{wi}}+m_{24}\\ Z_{\mathrm{ci}}=m_{31}{X}_{\mathrm{wi}}+m_{32}{Y}_{\mathrm{wi}}+m_{33}{Z}_{\mathrm{wi}}+m_{34}\end{array}\right.---2$

将公式2中的第一式除第三式，第二式除第三式分别消去Z_ci后，可得如下两个关于m_ij的线性方程： 

$\left\{\begin{array}{c}{m}_{11}{X}_{\mathrm{wi}}+m_{12}{Y}_{\mathrm{wi}}+m_{13}{Z}_{\mathrm{wi}}+m_{14}-u_i{m}_{31}{X}_{\mathrm{wi}}-u_i{m}_{32}{Y}_{\mathrm{wi}}-u_i{m}_{33}{Z}_{\mathrm{wi}}=u_i{m}_{34}\\ m_{21}{X}_{\mathrm{wi}}+m_{22}{Y}_{\mathrm{wi}}+m_{23}{Z}_{\mathrm{wi}}+m_{24}-v_i{m}_{31}{X}_{\mathrm{wi}}-v_i{m}_{32}{Y}_{\mathrm{wi}}-v_i{m}_{33}{Z}_{\mathrm{wi}}=v_i{m}_{34}\end{array}\right.---3$

公式3表示，若标定块上有n个已知点，并已知它们的空间坐标(X_wi，，Y_wi，Z_wi)(i＝1，2，...，n)与它们的图像点坐标(u_i，v_i)(i＝1，2，...，n)，则就可获得2n个关于M矩阵元素的线性方程，其矩阵形式的方程为： 

$\left[\begin{array}{ccccccccccc}{X}_{w1}& Y_{w1}& Z_{w1}& 1& 0& 0& 0& 0& -u_1{X}_{w1}& -u_1{Y}_{w1}& -u_1{Z}_{w1}\\ 0& 0& 0& 0& X_{-w1}& Y_{w1}& Z_{w1}& 1& -v_1{X}_{w1}& -v_1{Y}_{w1}& -v_1{Z}_{w1}\\ & & & & ...& ...& ...& & & & \\ & & & & ...& ...& ...& & & & \\ X_{w1}& Y_{\mathrm{wn}}& Z_{\mathrm{wn}}& 1& 0& 0& 0& 0& -u_n{X}_{\mathrm{wn}}& -u_n{Y}_{\mathrm{wn}}& -u_n{Z}_{\mathrm{wn}}\\ 0& 0& 0& 0& X_{\mathrm{wn}}& Y_{\mathrm{wn}}& Z_{\mathrm{wn}}& 1& -v_n{X}_{\mathrm{wn}}& -v_n{Y}_{\mathrm{wn}}& -v_n{Z}_{\mathrm{wn}}\end{array}\right]\left[\begin{array}{c}{m}_{11}\\ m_{12}\\ m_{13}\\ m_{14}\\ m_{21}\\ m_{22}\\ m_{23}\\ m_{24}\\ m_{31}\\ m_{32}\\ m_{33}\end{array}\right]=\left[\begin{array}{c}{u}_1{m}_{34}\\ v_1{m}_{34}\\ u_2{m}_{34}\\ v_2{m}_{34}\\ ...\\ ...\\ ...\\ ...\\ ...\\ u_n{m}_{34}\\ v_n{m}_{34}\end{array}\right]---4$

由4式可见，M矩阵乘以任意不为零的常数并不影响(X_w，，Y_w ， Z_w)与(u，v)的关系，因此，在上式中可以指定m₃₄＝1，从而得到关于M矩阵其它元素的2n个线性方程，将4式简写成： 

Km＝U    5 

其中，K为上式左边2n×11矩阵，m为未知的11维向量，U为右边的2n维向量，K，U为已知向量。当2n＞11时，可用最小二乘法求出上述线性方程的解： 

m＝(K^TK)^-1K^TU    6 

m向量与m₃₄＝1构成了所求解的M矩阵。由上可见，由空间6个以上已知点与它们的图像点坐标，可以求出M矩阵。在一般的定标工作中，使标定块上有数十个已知点，使方程的个数大大超过未知数的个数，从而用最小二乘法求解以降低误差造成的影响。 

(2)张正友的平面标定法 

线性模型不能准确的描述成像几何关系，在精度要求比较高的场合需要考虑非线性的影响，即需要采用非线性模型。非线性模型考虑了镜头的光学畸变对成像的影响，故使精度有较大的提高。非线性模型需要解非线性方程，从而增大了解的难度和解的不确定度，从而也限制了非线性模型的应用。 

基于上面的考虑，Tsai和Roger提出了著名的两步法，该法先采用解析方法直接计算线性部分参数，然后以这些线性参数作为非线性优化的初值，对其余参数进行迭代优化，故称为两步法。该法一方面克服了传统的线性模型的不足，考虑了径向畸变，提高了标定精度，另一方面又通过解析法得到初值，从而减少了优化的次数，提高了运算速度。 

1998年张正友针对径向畸变，提出了一种可以利用多幅平面模板标定摄像机所有内外参数的方法。该方法需要摄像机从不同的角度拍摄平面模板的多幅图像(至少三幅)，不过摄像机与平面模板间可以自由地运动，而且运动参数无需知道。由于平面模板上每个特征点与其图像上相应的像点之间存在一个对应关系，这个关系可用一个映射矩阵来表示，所以对于每幅图像，就都可以确定一个映射矩阵，这就为内部参数的求解提供了两个约束条件。该算法也是基于 两步法的思想，即先有一个线性解法求出部分参数的初始值，然后考虑径向畸变(一阶和二阶)并基于极大似然准则对线性结果进行非线性优化最后利用计算好的内部参数和平面模板映射矩阵求出外部参数。 

在主动投影照明式光学三维面形测量系统中常用投影仪进行光栅图像的投影，其具有相移准确、精度高等优点。这样的主动投影照明式双目立体视觉三维测量系统，投影仪的标定就成为一个新的问题。 

文献“Novel method for structured light system calibration”(Song Zhang，PeisenS.Huang，Optical Engineering，2006)提出一种投影仪标定方法，其将投影仪看成是摄像机的倒置，这样投影仪标定模型就和摄像机相同。其利用投影仪投射出的正弦条纹的相位信息，按照张正友的平面方法来实现系统的标定。该方法需要在两个垂直方向上投影正弦条纹且使用条纹相移术，故在每一个平面标定位置至少需要六幅条纹图。此方法需要进行相位展开运算，数据处理较繁琐。 

发明内容

本发明提供一种基于二维彩色标靶的主动投影照明光学三维面形测量系统快速标定方法。本发明适合现场快速标定，可应用于基于结构光主动投影的三维测量系统中。 

本发明采用如下技术方案： 

标定靶上的图案由三基色中任意两种颜色组成，其一为背景色，另一为特征点的颜色。使用打印、印刷、光电制作或者机械制作方式获得特征图案，然后将该图像附着在平面上即制作成标靶。 

根据标靶上的颜色组成，由颜料和光的混色原理，投影图像中白色背景上的 特征点颜色应该为三基色中标靶图案不包含的那种颜色的补色。 

将投影图像投影到标靶上，投影图像的光颜色和标靶图案本身的颜料颜色按照光和颜料的反射原理形成一个图案，由RGB模型的图像记录原理，利用事先的颜色设计，标靶上物理存在的特征点信息会包含在组成标靶颜色的两种基色相对应的RGB颜色通道中，投影图像在标靶上的变形图像则包含在另外的一个基色对应的颜色通道中，从而达到了空间复用的目的。 

在对多个位置拍摄多幅标靶上的混色图像(每个位置只拍摄一幅图像)后，分离出与组成标靶图案的两基色相对应的两颜色通道信息，可知此即为标定板上固有图像的灰度图，利用此两图像组中的任一组可以提取出特征点的信息，从而标定出摄像机的内外参数。剩下的那个通道的图像信息即是投影图像在标靶上的变形图像，利用此图像组，由标定的摄像机内外参数，计算出拍摄的变形投影图像像素坐标系中一点(u_p，v_p)在世界坐标系中的位置，可由下式求得： 

$\left(\begin{array}{c}{u}_c\\ v_c\\ 1\end{array}\right)=M_c\left(\begin{array}{c}{X}_w\\ Y_w\\ Z_w\\ 1\end{array}\right)---7$

式中M_c为摄像机的投影变换矩阵，(u_c，v_c)为点(u_p，v_p)在摄像机拍摄图像对应特征点的像素坐标。在得到投影图像在标靶上的变形图像角点的世界坐标位置后，可由8式求解出投影仪的投影变换矩阵M_p，从而完成投影仪的标定。 

$\left(\begin{array}{c}{u}_p\\ v_p\\ 1\end{array}\right)=M_p\left(\begin{array}{c}{X}_w\\ Y_w\\ Z_w\\ 1\end{array}\right)---8$

最后，在完成投影仪的标定后，即可利用双目立体标定方法标定出系统相关参数，从而完成系统的标定。 

实验证明，本方法具有标定速度快，所需数据少的优点，可以应用于主动 光三维测量系统的标定中。 

附图说明

图1测量系统中各坐标关系的示意图 

图2采用红蓝颜色搭配、特征点为棋盘格的二维彩色平面标靶图 

图3采用白、品红颜色搭配、特征点为棋盘格的投影图像 

图4拍摄得到的空间复用的混色图像 

图5分离的红通道图像 

图6分离的蓝通道图像 

图7分离的绿通道图像 

图8采用上述颜色搭配和特征点的系统标定流程图 

图9三维点数据在拟合平面上的分布 

图10测量用的半圆柱物体 

图11测量物体的一幅变形条纹图 

图12彩色标靶法标定后重建的物体三维面形 

图13本专利方法和传统的相位方法恢复面形沿X轴的切线比较 

具体实施方式

下面结合一个具体实例进行说明，本实例并不包括本专利的所有内容。 

在本实例中，制作在平面标靶上的图像是红蓝相间的棋盘格，如图2所示，投影到标靶上的图像是白和品红相间的棋盘格图像，如图3所示，彩色摄像机获取投影图像到达标靶后的混色图像，如图4所示，利用两个棋盘格合理的颜色设计，可以在红蓝通道分离出如图5和6所示的、对应物理存在于标靶上的 棋盘格图像，在绿通道分离出如图7所示的、投影到标靶上的棋盘格图像；然后由标靶上物理存在的棋盘格图像标定摄像机，由投影到标靶上的棋盘格图像标定投影仪；最后利用双目立体视觉原理标定出摄像机和投影仪的相对位置关系，从而完成系统的标定。 

下面结合图8，具体说明标定步骤： 

第一步：标定数据的获取 

投影仪投射出白和品红相间的棋盘格图像，红蓝相间的棋盘格特征标靶分别放置在测量范围内若干不同位置，用摄像机拍摄记录不同位置处的混色图像，每个位置只需要拍摄一幅图像。设利用摄像机获得的任一幅彩色图像为P，将P的RGB三通道信息分离，为三幅灰度图像P_R，P_G，P_B，按照RGB彩色模型的原理并根据事先的颜色搭配设计，P_R应为标定靶标中的红颜色信息，如图5所示，同理P_B应为标定靶标中的蓝色信息如图6所示，P_G信息对应于投影仪投影白品红相间的图像到标定靶标表面后形成的图像，也成为黑白相间的棋盘格图案，如图7所示。 

第二步：摄像机的标定 

P_R、P_B中的标定靶标就成为黑白相间的棋盘格图案，对应于靶标表面物理存在的棋盘格图像，由角点提取算法提取出棋盘格图案上的特征点求出投影变换矩阵，完成摄像机的内外参数标定。 

第三步：借助摄像机实现投影仪的标定 

对P_G提取角点的像素坐标(u_c，v_c)，由第二步所求的摄像机内外参数可以计算出对应像素点的世界坐标系位置(X_w，Y_w，Z_w)，接着提取相对应点在投影前图像上的像素坐标位置(u_p，v_p)(即投影仪系统的像素坐标系位置)，由(X_w，Y_w，Z_w)和(u_p，v_p)求出投影变换矩阵，就可以标定出投影仪的内外参数。 

第四步：由(u_c，v_c)、(X_w，Y_w，Z_w)、(u_p，v_p)按双目立体原理标定出摄像机和投影仪的相对位置关系，从而完成系统的标定。 

测量中使用的摄像机为佳能E503单反相机，使用的相机分辨率为1728×1152pixel。投影仪为三洋液晶投影仪，分辨率为1024×768pixel。标定出的摄像机和投影仪的内外参数如表1、表2和公式9、公式10所示。 

表1标定出的摄像机内参数 

表2标定出的投影仪内参数 

系统旋转矩阵如下： 

$R=\left(\begin{array}{ccc}0.9246& -0.0323& 0.3796\\ 0.0147& 0.9987& 0.0491\\ -0.3807& -0.0399& 0.9238\end{array}\right)---9$

$T=\left(\begin{array}{c}-281.7597\\ -117.9473\\ 86.9913\end{array}\right)---10$

在整个系统标定结束后，为了验证标定方法的正确性，由投影仪投射一幅有计算机生成的有若干标记点的图像到白色平面上，再由摄像机拍摄获取图像。分别提取拍摄图像和投影图像相应标记点的像素坐标位置，由于系统已经标定，利用三角法计算得出这些点的三维坐标，理论上其应该位于同一个平面内。利用这些点由最小二乘法拟合出一个平面，然后，分别计算这些点到这个平面的距 离求出最大距离值。实验中提取并计算了156个标记点，点到拟合平面的最大距离为0.8039mm。图9为用文中方法标定系统后156个点在拟合平面两侧的分布情况。 

同时利用标定后的系统测量了一个半圆柱物体的三维面形。传统的相位标定方法重建的半圆柱物体面形对应的棱和直径测量值为65.8798mm和65.4848mm，，本专利方法标定后重建物体面形的棱和直径测量值为65.4785mm和65.1873mm。图13是用本专利方法和相位方法标定的同一系统后，测量同一物体的重建面形在沿X轴方向的切线形状比较。 

从测量结果可以看出分别使用本文方法和传统方法标定的同一系统测量的同一物体面形数据符合的较好。与现有方法相比，本发明的优点在于标定过程简单快捷，标定中每个平面位置只需要一幅图像，所需要处理的数据少。 

Claims (4)

1.一种用于主动投影照明三维形貌测量系统中投影仪和摄像机同时快速标定的方法，其特征在于：在彩色图像的RGB模型基础上，利用合理的颜色设计，由测量系统中的投影仪将一幅具有彩色特征点的投影图像投影到一个用彩色特征点制作的二维平面标靶上，标靶上的图案称为标靶图案，由三基色中任意两种颜色组成，其一为背景色，另一为特征点的颜色，投影图像中白色背景上的特征点颜色应该为三基色中标靶图案不包含的那种颜色的补色，彩色摄像机一次同时获取平面标靶表面两个特征颜色图案的空间混色图像，再按照RGB颜色模型分离此图像，分离出与组成标靶图案的两基色相对应的两颜色通道信息，从而标定出摄像机的内外参数，剩下的那个通道的图像信息即是投影图像在标靶上的变形图像，用提取出来的投影图像标定投影仪，最后利用双目立体视觉原理标定出摄像机和投影仪的相对位置关系，从而完成整个主动投影照明三维形貌测量系统的标定，利用颜料和光的混色原理，使RGB模型的三通道中分别包含标靶图案信息和投影图像的彩色特征点颜色信息，从而达到空间复用的目的。

2.根据权利要求1所述的一种用于主动投影照明三维形貌测量系统中投影仪和摄像机同时快速标定的方法，其特征在于通过颜色设计，利用RGB模型，将标定两个设备所需图像信息混色进行空间复用，从而在每一个标定平面位置只需要拍摄一幅图像，即可完成投影仪的内部参数标定和投影仪与摄像机的系统标定，与传统的基于相位方法的标定方法相比，具有测量数据少，标定速度快的优点。

3.根据权利要求1所述的一种用于主动投影照明三维形貌测量系统中投影仪和摄像机同时快速标定的方法，其特征在于采用具有彩色特征点的投影图像和标靶图案，若标靶图案采用红蓝颜色搭配图像，则投影图像为白和品红颜色搭配图像；若标靶图案采用红绿颜色搭配图像，则投影图像为白黄颜色搭配图像；若标靶图案采用绿蓝颜色搭配图像，则投影图像为白青颜色搭配图像。

4.根据权利要求1所述的一种用于主动投影照明三维形貌测量系统中投影仪和摄像机同时快速标定的方法，其特征在于在图像分离时，若所采用的标靶图案本身为红蓝图像、投影图像本身为白品红图像，则拍摄的彩色图像中红、蓝通道分离的图像用来标定摄像机，绿通道图像可以用来标定投影仪；若所采用的标靶图案本身为红绿图像、投影图像本身为白黄图像，则拍摄的彩色图像中红、绿通道分离的图像用来标定摄像机，蓝通道图像可以用来标定投影仪；若所采用的标靶图案本身为绿蓝图像、投影图像本身为白青图像，则拍摄的彩色图像中绿、蓝通道分离的图像用来标定摄像机，红通道图像可以用来标定投影仪。

Images