CN113108721A - 基于多光束自适应互补匹配的高反光物体三维测量方法 - Google Patents

Abstract

本发明涉及双目条纹投影三维几何形貌测量的技术领域，特别涉及一种基于多光束自适应互补匹配的高反光物体三维测量方法，方法的步骤包括S1，采用左相机、右相机以及投影光机建立条纹结构光投影三维面形测量系统；S2，通过投影光机将相移条纹投影到物体上，由左相机和右相机拍摄携带几何形貌信息的条纹图像；S3，当其中一个相机获取的条纹图像存在像素值饱和的像素点时，采用另一个相机和投影光机建立的共线方程组，求得像素值饱和像素点对应的三维坐标。本发明方法计算出的三维数据无需坐标转换和预先计算刚性变换矩阵，简化了计算步骤，提高了效率。实验结果显示本方法能很好地对高反光物体进行三维重建，并且有效地扩大了重建数据的完整性。

Description

基于多光束自适应互补匹配的高反光物体三维测量方法

技术领域

本发明涉及双目条纹投影三维几何形貌测量的技术领域，特别涉及一种基于多光束自适应互补匹配的高反光物体三维测量方法。

背景技术

条纹投影轮廓术(FPP)因其非接触、速度快、精度高等特点，被广泛应用于机器视觉、航空航天、工业检测、生物医疗、游戏娱乐等领域。其基本测量过程是投影一幅或一组条纹到物体上，由相机获取受物体高度调制的条纹，通过算法解调出相位信息，由相位和高度之间的映射关系以及世界坐标与图像坐标的关系获取三维信息。然而，测量反射率变化较大的物体，如具有光泽的物体或高对比度物体时，采集到的条纹会因为反光出现像素饱和，导致三维面形重建误差。

近年来，许多学者对如何利用光学方法直接对高反光物体表面三维重建进行了深入的研究，提出了许多的解决方案。陈等人通过引入两个线性偏振器，分别用于入射和反射光路，当它们的轴垂直取向时，可以消除高反射光。虽然避免了饱和，但是会整个场景的信噪比(SNR)降低。张松等人提出投影一组条纹图，将不同曝光时间所拍摄的许多条纹图进行融合，形成一个良好的条纹，其中对于图像中的每个同名像素点，选择不饱和强度最高的像素来融合成高质量的条纹图。为了收集高质量的条纹，根据相机收集到的图像自适应的改变投影光机的投射亮度也是一种方法。冯世杰等人提出了一种双相机条纹投影系统来测量反射物体，利用从不同角度观看的两个相机不太可能同时饱和的条件来互相补偿整个测量场景。刘桂华等人提出了一种单双目结构光结合的技术来获取高反光表面的三维形貌。该方法引入了图像分割技术来区分哪种单目系统适合准确地重建缺失点，因为高反光区域高度依赖于照明和视角，但是单目和双目重建的三维数据坐标系不一致，需要进行坐标转换和数据融合。王道川等人采用双立体单目系统融合方法,能重建出大面积反光的物体三维形貌，但是为了使单目和双目的融合精度匹配，需要预先得到融合区域的刚性变换矩阵，增加了系统的复杂性。

发明内容

本发明的目的在于，针对条纹图像中的像素饱和点导致三维面形重建误差的问题，提出了新的解决思路，将投影光机看作一个反向相机，作为多视系统的某一“目”，增加了共线方程，用于求解物体上某一饱和像素点相应的三维坐标，因此，提出了一种基于多光束自适应互补匹配的高反光物体三维测量方法。

为了实现上述发明目的，本发明提供了以下技术方案：

一种基于多光束自适应互补匹配的高反光物体三维测量方法，包括以下步骤：

S1，采用左相机、右相机以及投影光机建立条纹结构光投影三维面形测量系统；

S2，通过投影光机将相移条纹投影到物体上，由左相机和右相机拍摄携带几何形貌信息的条纹图像；

S3，当其中一个相机获取的条纹图像存在像素值饱和的像素点时，采用另一个相机和投影光机建立的共线方程组，求得像素值饱和像素点对应的三维坐标。

步骤S3中共线方程组为：

s^l[u^l v^l 1]^t·M^l＝P^l[x^w y^w 1]^t·M^l，

s^p[u^p v^p 1]^t＝P^p[x^w y^w 1]^t，

s^r[u^r v^r 1]^t·M^r＝P^r[x^w y^w 1]^t·M^r，

其中，s^p是投影光机的尺度因子，P^p表示投影光机的投影矩阵，s^l是左相机的尺度因子，P^l表示左相机的投影矩阵，s^r是右相机的尺度因子，P^r表示右相机的投影矩阵，M^l是左相机调制度值，M^r是右相机调制度值，(x^w，y^w，z^w)是物体上的三维坐标。

调制度值用来判断是否存在像素值饱和的像素点。

调制度值的计算公式为：

其中，

(u,v)是像素坐标，A(u,v)是光场背景强度，B(u,v)是调制强度，φ(u,v)是由物体高度调制的相位值，下标n＝0,1,2…N-1,为条纹图像的序号，N表示条纹相移总步数。

使用N帧图像时，相位值φ(u,v)可由下式计算：

其中，

(u,v)是像素坐标，A(u,v)是光场背景强度，B(u,v)是调制强度，φ(u,v)是由物体高度调制的相位值，下标n＝0,1,2…N-1,为条纹图像的序号，N表示条纹相移总步数。

投影光机的投影矩阵P^p表示为：P^p＝A^p[R^p t^p]；

右相机的投影矩阵P^r表示为：P^r＝A^r[R^r t^r]；

左相机的投影矩阵P^l表示为：P^l＝A^l[R^l t^l]；

其中，A^r是右相机的内参数矩阵，R^r和t^r分别是描述旋转和平移过程的右相机外在参数矩阵；A^l是左相机的内参数矩阵，R^l和t^l分别是描述旋转和平移过程的左相机外在参数矩阵；A^p是投影光机的内参数矩阵，R^p和t^p分别是描述旋转和平移过程的投影光机外在参数矩阵。

投影光机的内参数矩阵利用张松的方法获取，左相机的内参数矩阵、右相机的内参数矩阵、右相机外在参数矩阵以及左相机外在参数矩阵使用张正友平面标定法获取。

在采用共线方程组计算像素值饱和的像素点对应的三维坐标的过程中，还用到了相机与投影光机之间的亚像素对应关系：

其中，Ф^V和Ф^H分别是沿垂直和水平方向的绝对相位图，T_V和T_H分别是沿垂直和水平方向的以像素为单位的条纹周期，(u^p，v^p)是物体上的一点(x^w，y^w，z^w)与其在投影光机的图像传感器上的对应像素点，(u^c，v^c)是物体上的一点(x^w，y^w，z^w)与其在相机的图像传感器上的对应像素点。

步骤S2中的相移条纹为水平和竖直方向的三频四步相移条纹。

一种基于多光束互补匹配的高反光物体三维测量系统，包括至少一个处理器，以及与至少一个处理器通信连接的存储器；存储器存储有可被至少一个处理器执行的指令，指令被至少一个处理器执行，以使至少一个处理器能够执行上述任一项的方法。

与现有技术相比，本发明的有益效果：

本发明提出基于多光束互补匹配的高反光物体三维测量方法，该方法中将投影光机看作一个反向相机，作为多视系统的某一“目”，在利用双目条纹投影系统获取条纹图像计算物体三维坐标的过程中，对于获取的某一饱和像素点，至少可以列出四个共线方程，求解其对应的物体上的三维坐标；双相机获取的对应像素点都非饱和时，可以列出六个共线方程求解三维坐标，且计算出的三维数据无需坐标转换和预先计算刚性变换矩阵，简化了计算的步骤，提高了效率。实验结果显示本方法能很好地对高反光物体进行三维重建，并且有效地扩大了重建点云数据的完整性。

附图说明

图1为本发明实施例1中的物体表面光照模型；

图2为本发明实施例1中的三视几何示意图；

图3为本发明实施例1中的一种基于多光束自适应互补匹配的高反光物体三维测量方法的流程图；

图4为本发明实施例1中的一个具体的基于多光束自适应互补匹配的高反光物体三维测量方法的流程图；

图5为本发明实施例2中采用本发明的方法对带有反光区域的金属铜部件重建的结果示意图；

图6为本发明实施例2中采用本发明的方法对带有反光区域的瓷瓶进行重建的结果示意图；

图7为本发明实施例2中的因为过度曝光导致左右相机拍摄的条纹图像具有孔洞的示意图。

具体实施方式

下面结合试验例及具体实施方式对本发明作进一步的详细描述。但不应将此理解为本发明上述主题的范围仅限于以下的实施例，凡基于本发明内容所实现的技术均属于本发明的范围。

实施例1

通过双目相机拍摄物体上的双目条纹结构光投影，从而实现物体三维重建的过程中，当一个正弦图案被投射到一个三维物体上时，对于镜面类区域产生过度的高反光光强，造成图像曝光过度，无法获取准确的相位信息。

如图1所示的物体表面反射模型，一般物体表面的反射光由漫反射和镜面反射组成，漫反射表征物体反射具有亮度各向同性，镜面反射主要集中于反射光方向上，方向与入射光的方向相对于表面法线对称。

对于一个光滑表面，当相机以该镜面范围内的角度摆放时，所得到的条纹图像呈现饱和状态。为了解决这个问题，考虑到镜面分量仅在小的观察角度上传播，对于相同的测量点，从不同角度观察的两个相机不太可能同时饱和，建立了双相机条纹投影系统。因此，从这个新引入的照相机，可以获得未饱和点的条纹图案，由这个条纹可以计算出正确的相位值。

基于上述构思，本发明在不改变现有双相机条纹投影系统的前提下，把左右两个相机和中间的一个用于投射条纹结构光的投影光机看作是一个三视系统，如图2所示，投影光机投影条纹到光滑物体表面时，O1和O2分别代表一个光亮的点，O1在左相机(图2中camera1，下同)的成像面上对应于P，O2在右相机(图2中camera2，下同)的成像面上对应于Q。P和Q区域均饱和，直接计算会导致重建误差。但是由于P和Q视角不同，O1在右相机上对应区域并未饱和，可以搭建右相机和投影光机的双视系统正确重建，同理，左相机和投影光机的双视系统可以正确重建O2。

本发明中，将相机和投影光机用针孔模型表示，物体上的一点(x^w，y^w，z^w)与其在相机的图像传感器上的对应点(u^c，v^c)可以表示为

s^c[u^c v^c 1]^T＝P^c[x^w y^w z^w 1]^T， (1)

P^c＝A^c[R^c t^c]。 (2)

其中，上标c表示相机的参数，s^c是相机的尺度因子，P^c表示相机的投影矩阵，A^c是相机的内参数矩阵，R^c和t^c分别是描述旋转和平移过程的相机外在参数矩阵。

物体上的一点(x^w，y^w，z^w)与其在投影光机传感器上的投影之间存在类似的关系，物体上的一点(x^w，y^w，z^w)与其在投影光机的图像传感器上的对应点(u^p，v^p)可以表示为

s^p[u^p v^p 1]^T＝P^p[x^w y^w z^w 1]^T， (3)

P^p＝A^p[R^p t^p]。 (4)

其中，上标p表示投影光机的参数，s^p是投影光机的尺度因子，P^p表示投影光机的投影矩阵，A^p是投影光机的内参数矩阵，R^p和t^p分别是描述旋转和平移过程的投影光机外在参数矩阵。

由于同一个像素点具有唯一的水平和垂直相位，根据上述公式(1)～(4)可以推导出，相机与投影光机之间的亚像素对应关系。推导步骤如下：

首先，采用张正友的方法得到左右相机的内部参数。然后，由投影光机投影正交正弦光栅，经相位解算后，投影光机坐标系和相机坐标系在投影光栅区域的每个像素点都具有唯一的水平和垂直的相位值，利用相位相等关系可以构建相机与投影光机之间的亚像素对应关系：

其中，Ф^V和Ф^H分别是沿垂直和水平方向的绝对相位图，T_V和T_H分别是沿垂直和水平方向的以像素为单位的条纹周期。

结构光系统标定好后，可以分别获得左右相机和投影光机的投影矩阵P^L、P^R和P^P。由式(7)-(11)联立计算物体三维坐标。

s^l[u^l v^l 1]^t·M^l＝P^l[x^w y^w 1]^t·M^l， (7)

s^p[u^p v^p 1]^t＝P^p[x^w y^w 1]^t， (8)

s^r[u^r v^r 1]^t·M^r＝P^r[x^w y^w 1]^t·M^r， (9)

其中M^l和M^r分别代表左相机和右相机的调制度值。

图3为本发明一种基于多光束自适应互补匹配的高反光物体三维测量方法的流程图如图3所示，进一步的；采用发明的方法实际处理的步骤包括：

S100，采用两个相机(左相机和右相机)与一个投影光机建立条纹结构光投影三维面形测量系统；

S200，利用张松的方法获取投影光机的内参数，再使用张正友平面标定法获取相机的内外参数以及相机与投影光机的外参数；

S300，计算机生成水平和竖直方向的三频四步相移条纹，通过投影光机将三频四步相移条纹投影到物体上，由左相机和右相机拍摄携带信息的条纹图像；

S400，分别计算左相机和右相机获得的条纹图的绝对相位和调制度。

当正弦条纹图案被投射到三维物体上时，成像系统获取的变形条纹图像可以表示为：

其中(u,v)是由物体高度调制的相位值，下标n＝0,1,2…N-1,为条纹图像的序号，N表示条纹相移总步数。使用N帧图像时，相位值可由下式计算：

φ(u,v)的值被式(2)的计算过程截断在π到-π范围内，为了获得连续的相位信息，需要用相位展开算法来消除2π相位不连续性。在本发明中，选择多频时间相位展开算法来获得对应展开相位。

此外，条纹的调制度表示为：

它在物体表面突变区域变化很大，在物体表面反射率低的区域变化较小。这些区域的相位不可靠，因此可以使用调制度作为相位可靠性的依据。

S500，根据调制度的取值，选用公式(7)、(8)或(9)完成物体三维坐标的计算，并根据所述物体三维坐标，实现三维重建。

如果某个点在左相机中是过度曝光，那么，采用右相机对应的公式(9)和投影光机对应的公式(8)来计算出物体三维坐标；

如果某个点在右相机中是过度曝光，则采用左相机对应的公式(7)和投影光机对应的公式(8)来计算出物体三维坐标。

具体的，如图4所示，调制度值为0代表该像素无效，为2代表该像素有效。由左相机上调制度为2的相位值查找右相机上的匹配点，正确匹配后将左右相机的调制度值更改为1，并由式(5)和(6)计算投影光机上的亚像素坐标。匹配完后，分别找出左右相调制度为2的像素，计算投影光机上的亚像素坐标，并将调制度值设置为1。

总之，因为拍摄角度不同，一般不会出现左右相机同时曝光过度，计算物体三维坐标只要(7)、(8)和(9)中的任何两个公式就可以，作为优选方案，如果左右两个相机都没有过度曝光的饱和像素点，则采用公式(7)、(8)和(9)3个公式计算物体三维坐标，属于最小二乘，可以获得更好的优化精度计算。

本发明的系统中，重建不受视角影响，相位可靠区域都能重建完整的三维数据，因此比双目系统重建的视场更大。

实施例2

实施例2主要是给出采用本发明方法得出的实验结果。对高度光滑抛光的金属铜部件表面进行测量，实物如图5(a)所示。图5(c)为受金属铜调制的条纹，在方框区域有大面积的反光区域，如图5(b)所示，仅依靠双目系统重建不出完整的3D结果，并且匹配误差导致匹配点的损失以及在最终3D形状中留下空白区域或孔。图5(d)为本发明重建结果，对于金属铜部件表面的所有反光区域，均正确地重建出完整的三维数据。

为验证本发明测量复杂物体的有效性，我们测量了一个具有花纹的瓷瓶，如图6(a)所示。由于瓷器的材质特性，瓶子的表面容易出现镜面反射区域。并且由于具有花纹，瓷瓶的表面容易形成多个反光区域，如图6(c)所示。这些反光区域通过改变相机曝光或者投影光机投射亮度很难消除，因此利用双目重建会出现如图6(d)所示的孔洞。利用本发明所提方法能正确地重建出瓷瓶完整的三维数据，且能重建出非双目公共视场的三维数据，重建结果如图6(b)所示。

不同视角下拍摄的物体表面条纹图像因为反光造成过度曝光导致无法进行相位展开和相位匹配带来点云数据的缺失问题(如图7所示，因为左相机和右相机图像中过度曝光区域不同，所以如果传统方法进行相位匹配的时候会分别因为左右相机过曝区域导致点云匹配失败的孔洞，也就是三维点云数据有2个孔洞区域)。图7中可见因为左右相机从两侧不同角度观察放置在两个相机之间的投影光机照射条纹图，所以图7中白色过度曝光区域对应的条纹不同位置。那么就可以利用左相机和投影光机建立共线方程解决右相机过度曝光区域，右相机和投影光机建立共线方程解决左相机曝光过度区域。如果是其它未过度曝光区域，则采用左右相机和投影光机共3组6个方程来计算三维点，最终获得高精度的完整点云数据。

本发明的方法简要概述如下：双目视觉结构光三维测量系统是一种依靠中间一个投影光机投射条纹图像到被测物体上，通过两个相机拍摄相应的变形条纹图，然后根据投影光机投射的光在物体表面上对应左右相机哪个像素点，只要投影的光点能够被左右相机同时拍照就可以计算出被测物体被光照的点的三维数据。但是如果拍摄的条纹图像中如果有过度饱和(8比特的灰度相机的最大灰度值为255)的像素存在就无法找到正确的对应点，因此本发明中实际是将投影光机也当做了一个“相机”来用。投影光机之所以能当作一个反向相机来看，是因为投影光机是投影光出去，相机是拍摄光回来，所以是一个逆过程。

该方法的优点：能直接在现有的双目结构光系统下实施，无需添加额外的设备就能成功地测量具有较高表面反射率的典型物体，只要每个像素被至少一个摄像头捕捉到，它在另一个图像中的匹配可以明确地确定，而孔洞可以由多视系统的其他视角方向弥补，并且是直接利用具有高反光的条纹图，不需要繁琐的预处理和重建后的点云后处理。

以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种基于多光束自适应互补匹配的高反光物体三维测量方法，其特征在于，包括以下步骤：

S1，采用左相机、右相机以及投影光机建立条纹结构光投影三维面形测量系统；

S2，通过所述投影光机将相移条纹投影到物体上，由左相机和右相机拍摄携带几何形貌信息的条纹图像；

S3，当其中一个相机获取的条纹图像存在像素值饱和的像素点时，采用另一个相机和投影光机建立的共线方程组，求得所述像素值饱和像素点对应的三维坐标。

2.如权利要求1所述的一种基于多光束自适应互补匹配的高反光物体三维测量方法，其特征在于，步骤S3中所述共线方程组为：

s^l[u^l v^l 1]^t·M^l＝P^l[x^w y^w 1]^t·M^l，

s^p[u^p v^p 1]^t＝P^p[x^w y^w 1]^t，

s^r[u^r v^r 1]^t·M^r＝P^r[x^w y^w 1]^t·M^r，

其中，s^p是投影光机的尺度因子，P^p表示投影光机的投影矩阵，s^l是左相机的尺度因子，P^l表示左相机的投影矩阵，s^r是右相机的尺度因子，P^r表示右相机的投影矩阵，M^l是左相机调制度值，M^r是右相机调制度值，(x^w，y^w，z^w)是物体上的三维坐标。

3.如权利要求2所述的基于多光束自适应互补匹配的高反光物体三维测量方法，其特征在于，所述调制度值用来判断是否存在像素值饱和的像素点。

4.如权利要求3所述的基于多光束自适应互补匹配的高反光物体三维测量方法，其特征在于，所述调制度值的计算公式为：

其中，

(u,v)是像素坐标，A(u,v)是光场背景强度，B(u,v)是调制强度，φ(u,v)是由物体高度调制的相位值，下标n＝0,1,2…N-1,为条纹图像的序号，N表示条纹相移总步数。

5.如权利要求4所述的基于多光束自适应互补匹配的高反光物体三维测量方法，其特征在于，使用N帧图像时，相位值φ(u,v)可由下式计算：

其中，

(u,v)是像素坐标，A(u,v)是光场背景强度，B(u,v)是调制强度，φ(u,v)是由物体高度调制的相位值，下标n＝0,1,2…N-1,为条纹图像的序号，N表示条纹相移总步数。

6.如权利要求2所述的基于多光束自适应互补匹配的高反光物体三维测量方法，其特征在于，

投影光机的投影矩阵P^p表示为：P^p＝A^p[R^p t^p]；

右相机的投影矩阵P^r表示为：P^r＝A^r[R^r t^r]；

左相机的投影矩阵P^l表示为：P^l＝A^l[R^l t^l]；

其中，A^r是右相机的内参数矩阵，R^r和t^r分别是描述旋转和平移过程的右相机外在参数矩阵；A^l是左相机的内参数矩阵，R^l和t^l分别是描述旋转和平移过程的左相机外在参数矩阵；A^p是投影光机的内参数矩阵，R^p和t^p分别是描述旋转和平移过程的投影光机外在参数矩阵。

7.如权利要求6所述的基于多光束自适应互补匹配的高反光物体三维测量方法，其特征在于，投影光机的内参数矩阵利用张松的方法获取，左相机的内参数矩阵、右相机的内参数矩阵、右相机外在参数矩阵以及左相机外在参数矩阵使用张正友平面标定法获取。

8.如权利要求2所述的基于多光束自适应互补匹配的高反光物体三维测量方法，其特征在于，在采用所述共线方程组计算像素值饱和的像素点对应的三维坐标的过程中，还用到了相机与投影光机之间的亚像素对应关系：

其中，Ф^V和Ф^H分别是沿垂直和水平方向的绝对相位图，T_V和T_H分别是沿垂直和水平方向的以像素为单位的条纹周期，(u^p，v^p)是物体上的一点(x^w，y^w，z^w)与其在投影光机的图像传感器上的对应像素点，(u^c，v^c)是物体上的一点(x^w，y^w，z^w)与其在相机的图像传感器上的对应像素点。

9.如权利要求1-8任一所述的基于多光束自适应互补匹配的高反光物体三维测量方法，其特征在于，步骤S2中的相移条纹为水平和竖直方向的三频四步相移条纹。

10.一种基于多光束自适应互补匹配的高反光物体三维测量系统，其特征在于，包括至少一个处理器，以及与至少一个处理器通信连接的存储器；存储器存储有可被至少一个处理器执行的指令，所述指令被至少一个处理器执行，以使至少一个处理器能够执行权利要求1-9所述任一项的方法。

Images