CN110044301B - 基于单双目混合测量的三维点云计算方法 - Google Patents

Abstract

本发明公开了一种基于单双目混合测量的三维点云计算方法，对于三维扫描测量系统，本发明首先标定了双目相机以及投影仪，获取三者的内外参以及基础矩阵，计算被测物表面点云时，不仅利用了双目极线匹配的方法获取点云信息，并且，当其中一部相机视场受阻或拍摄过曝时，能够通过单相机和投影仪解算被遮挡部分的三维点云，保障了被测物三维点云数据的完整性，同时，增加了除去公共视场之外，单相机独立视场范围内三维点云解算，能够一次性获得更多被测物的表面信息，具有实用价值。

Description

基于单双目混合测量的三维点云计算方法

技术领域

本发明涉及机器视觉检测领域，具体涉及一种基于单双目混合测量的三维点云计算方法。

背景技术

双目视觉测量系统是利用两个摄像机从不同角度对目标物体拍照进行图像采集，并在三维空间中重构目标的三维信息，以实现物体形貌的检测，在视觉测量领域有着广泛的应用，其中，一个重要的应用就是三维扫描测量系统，该系统采用双目相机+投影仪的结构，通过光栅投影的方式实现三维点云信息获取，搭载机器人、导轨、转台等运动机构实现大范围柔性测量，高密度点云测量，真实还原物体的丰富表面细节，因其效率高、精度高、数据量大、成本低、环境要求低等特点，正逐步替代三坐标系统，成为主流的实现零部件及大尺寸工件测量的工具。

现有的三维扫描测量系统，左、右相机构成双目立体视觉系统，测量范围为两个相机的公共视场，因遮挡或者过曝光等因素，只要其中一部相机的视场无法采集完整的被测物表面信息，未被采集的局部表面将无法解算三维点云，进行三维测量，导致测量范围不完整。

发明内容

针对上述问题，本发明提出一种基于单双目混合测量的三维点云计算方法，对于三维扫描测量系统，不仅利用了双目立体视觉的方法获取被测物的三维点云信息，并且，当其中一部相机视场受阻或拍摄过曝时，能够通过另一部相机和投影仪解算被遮挡部分的三维点云，保障了被测物三维点云数据的完整性，同时，增加了除去双相机公共视场之外，单相机和投影仪公共视场内三维点云解算，具有实用性。

技术方案如下：

一种基于单双目混合测量的三维点云计算方法，包括以下步骤：

S1、利用标定方法分别对三维扫描测量系统中的左、右相机和投影仪进行标定；

标定完成后，投影仪将正弦条纹投影到被测物表面，左、右相机采集被调制的条纹图像，得到左相机图像和右相机图像，解算绝对相位，择一图像记为第一图像，将第一图像上绝对相位值为0的像点标记为无效像点，其余像点标记为有效像点u_i，i＝1，2，3......n，n为有效像点的个数；

将采集第一图像的相机标记为第一相机；非采集第一图像的相机标记为第二相机；

S2、对于有效像点u_i，依次计算其在第二相机的像平面的极线L_i；

根据有效像点u_i的绝对相位信息，找到其在投影仪像平面上对应的匹配点，记为第一匹配点

计算所述第一匹配点

在第二相机的像平面的极线Y_i；

计算两条极线L_i、Y_i的交点；

当所述交点的像素坐标在第二相机的像平面上：将所述交点记为第二匹配点，利用所述有效像点u_i和第二匹配点计算该点的三维点云(x_i，y_i，z_i)；

当所述交点像素坐标不在第二相机的像平面上：认为在第二相机的像平面没有对应的匹配点，利用所述有效像点u_i和第一匹配点

计算该点的三维点云(x_i，y_i，z_i)；

S3、重复步骤S2，遍历所有有效像点，完成被测物表面三维点云计算。

进一步，步骤S2中，利用所述有效像点和第二匹配点计算该点的三维点云(x_i，y_i，z_i)，计算方法如下：

其中，

为有效像点u_i的像素坐标，

为第二匹配点的像素坐标；

第一相机内参数矩阵

第二相机内参数矩阵

其中，f_xl，f_yl为第一相机的焦距，(u_0l，v_0l)为第一相机像平面的主点坐标；f_xr，f_yr为第二相机的焦距，(u_0r，v_0r)为第二相机像平面的主点坐标；

第一相机坐标系到第二相机坐标系的旋转矩阵

平移矩阵T_c＝[t₁ t₂ t₃]^T。

进一步，步骤S2中，利用所述有效像点u_i和第一匹配点计算该点的三维点云(x_i，y_i，z_i)，计算方法如下：

其中，

为有效像点u_i的像素坐标，

为所述第一匹配点的像素坐标：

投影仪内参数矩阵

第一相机坐标系和投影仪坐标系旋转矩阵

平移矩阵

进一步，所述极线L_i：a_iu_pr+b_iv_pr+c_i＝0；计算方法如下：

其中，F_lr为第一相机与第二相机之间的基础矩阵。

进一步，所述极线Y_i：a_i′u_pr+b_i′v_pr+c_i′＝0；计算方法如下：

其中，F_dr为投影仪与第二相机之间的基础矩阵。

进一步，在第二相机的像点中剔除所述第二匹配点和绝对相位值为0的点，得到剩余点v_j，j＝1，2，3……m，m为剩余点的个数；根据剩余点v_j的绝对相位信息，找到其在投影仪像平面上对应的匹配点，记第三匹配点

利用所述有效像点v_j和第三匹配点计算三维点云。

进一步，解算绝对相位通过相移结合多频外差或格雷编码的方法，所述绝对相位为横纵相位。

进一步，所述标定方法为张氏标定法或光束平差标定法；

张氏标定法将标定板看作是一个平面，标定过程中只用到了标记点x、y两个方向的信息，但是实际上标定板不是理想的平面，标定结果有偏差，重投影误差为0.1像素左右；光束平差标定法可用于解算空间中三维点坐标，将相机参数作为观测方程中待求量，通过迭代不断优化计算，最后获取相机参数，该标定方法重投影误差在0.02像素左右。

进一步，所述光束平差标定法，标定过程如下：

利用左、右相机采集标定板图像，所述标定板上包括多个标准圆，分别计算得到标准圆的在左、右相机图像中的圆心坐标；建立左、右相机中图像像点之间的匹配关系；

投影仪投影多幅横竖条纹图像到标定板上，同步触发左、右相机采集多幅被投影后的标定板图像；

利用多幅具有横竖条纹左、右相机标定板图像，分别计算各个标准圆圆心在左右相机图像中的绝对相位；

根据左/右相机标定板图像中圆心的绝对相位，找到其在投影仪像平面上对应的匹配点，建立左、右相机的像平面与投影仪的投影平面之间的点匹配关系；

对标定结果进行优化，所述标定结果包括投影仪和左、右相机的内参数矩阵、畸变系数、外参数矩阵；基于共线方程列出光束平差的误差方程：

V_i＝At+Dk-L

式中，A为所述投影仪和左、右相机的内参数矩阵修正量的偏导矩阵，t为投影仪和左、右相机的内参数矩阵修正量，k为投影仪和左、右相机的外参数矩阵的修正量，D为所述投影仪和左、右相机的外参数矩阵的偏导矩阵，L为左相机、右相机、投影仪像面上二维坐标和标定板三维坐标经过转换到像面的坐标之间的差值；

迭代上式，每次迭代的输出结果为下一次迭代的输入，当误差量矢量V_i小于预设值q时，停止迭代，输出此时对应的投影仪和左、右相机的内参数矩阵参数、畸变系数、外参数矩阵参数，作为最终的标定结果。

进一步，q取值0.05～0.2。

在三维扫描测量系统中，本发明方法通过获得单相机与投影仪之间的转换关系，解决了当其中一部相机视场受阻或拍摄过曝时，双目系统无法完成点云解算的问题，保障了被测物三维点云数据的完整性，同时，增加了除去双相机公共视场之外，单相机和投影仪公共视场内三维点云解算，相比于纯双目系统点云解算本方法获取的点云数量更多，能够一次性获得更多被测物的表面信息，具有实用价值，采用光束平差标定法进行标定，标定结果更加准确。

附图说明

图1为测试实验中传统方法与本发明方法获取点数量的对比图。

具体实施方式

以下结合具体实施方式对本发明的技术方案进行详细描述。

一种基于单双目混合测量的三维点云计算方法，包括以下步骤：

S1、利用标定方法对三维扫描测量系统中的左、右相机和投影仪进行标定，得到：

左相机内参数矩阵

右相机内参数矩阵

投影仪内参数

其中，f_xl，f_yl为左相机的焦距，(u_0l，v_0l)为主点坐标；f_xr，f_yr为的焦距，(u_0r，v_0r)为主点坐标；

左相机坐标系到右相机坐标系的旋转矩阵

平移矩阵T_c＝[t₁ t₂ t₃]^T；

右相机坐标系到左相机坐标系的旋转矩阵

平移矩阵

左相机坐标系和投影仪坐标系旋转矩阵

平移矩阵

右相机坐标系和投影仪坐标系旋转矩阵

平移矩阵

计算投影仪与左相机之间的基础矩阵F_dl、投影仪与右相机之间的基础矩阵F_dr、左相机与右相机之间的基础矩阵F_lr；

投影仪将正弦条纹投影到被测物表面，左、右相机采集被调制的条纹图像，得到左相机图像和右相机图像，通过相移结合多频外差的方法解算左相机图像和右相机图像的绝对相位，选择左相机图像记为第一图像，将第一图像上绝对相位值为0的像点标记为无效像点，其余像点记为有效像点

i＝1，2，3......n，n为有效像点的个数；

作为本发明的另一种实施方式，通过格雷码的方法解算左相机图像和右相机图像的绝对相位；

S2、对于有效像点

依次计算其在右相机的像平面的极线L_i；

极线L_i：a_iu_pr+b_iv_pr+c_i＝0；

根据有效像点u_i的绝对相位信息，找到其在投影仪像平面上对应的匹配点，记为第一匹配点

计算第一匹配点

在右相机的像平面的极线Y_i；

极线Y_i：a_i′u_pr+b_i′v_pr+c_i′＝0

计算两条极线L_i、Y_i的交点；

利用有效像点u_i和第二匹配点

计算该点的三维点云(x_i，y_i，z_i)；

其中，

当交点像素坐标不在右相机的像平面上：认为在右相机的像平面没有对应的匹配点，利用有效像点

和第一匹配点

计算该点的三维点云(xi，yi，zi)；

其中，

S3、重复步骤S2，遍历所有有效像点，完成被测物表面三维点云计算。

进一步，在右相机的像点中剔除所述第二匹配点和绝对相位值为0的点，得到剩余点

j=1，2，3……m，m为剩余点的个数；根据剩余点v_j的绝对相位信息，找到其在投影仪像平面上对应的匹配点，记第三匹配点

利用所述剩余点

和第三匹配点

计算三维点云(x_j，y_j，z_j)；

其中，

作为本发明的一种实施方式，对左、右相机和投影仪的标定过程采用张氏标定方法；

作为本发明的另一种实施方式，对左、右相机和投影仪的标定过程采用光束平差标定法，标定过程如下：

利用左、右相机采集标定板图像，标定板上包括多个标准圆，分别计算得到标准圆的在左、右相机图像中的圆心坐标；建立左、右相机中图像像点之间的匹配关系；

投影仪投影多幅横竖条纹图像到标定板上，同步触发左、右相机采集多幅被投影后的标定板图像；

利用多幅具有横竖条纹左、右相机标定板图像，分别计算各个标准圆圆心在左右相机图像中的绝对相位；

根据左/右相机标定板图像中圆心的绝对相位，找到其在投影仪像平面上对应的匹配点，建立左、右相机的像平面与投影仪的投影平面之间的点匹配关系；

对标定结果进行优化，标定结果包括投影仪和左、右相机的内参数矩阵、畸变系数、外参数矩阵；基于共线方程列出光束平差的误差方程：

V_i＝At+Dk-L

式中，A为投影仪和左、右相机的内参数矩阵修正量的偏导矩阵，t为投影仪和左、右相机的内参数矩阵修正量，k为投影仪和左、右相机的外参数矩阵的修正量，D为所述投影仪和左、右相机的外参数矩阵的偏导矩阵，L为左相机、右相机、投影仪像面上二维坐标和标定板三维坐标经过转换到像面的坐标之间的差值；

迭代上式，每次迭代的输出结果为下一次迭代的输入，当误差量矢量V_i小于预设值0.1时，停止迭代，输出此时对应的投影仪和左、右相机的内参数矩阵参数、畸变系数、外参数矩阵参数，作为最终的标定结果。

测试实验：

分别采用现有技术中纯双目解算的方法和本发明方法多次测量同一个直径为50.797mm的标准球，得到标准球表面的点云坐标，图1为两种方法获取点数量的对比图；图中可以看出，采用本发明方法获取的点数量多于传统方法，能够得到更多标准球表面点云信息；

前面对本发明具体示例性实施方案所呈现的描述是出于说明和描述的目的。前面的描述并不想要成为毫无遗漏的，也不是想要把本发明限制为所公开的精确形式，显然，根据上述教导很多改变和变化都是可能的。选择示例性实施方案并进行描述是为了解释本发明的特定原理及其实际应用，从而使得本领域的其它技术人员能够实现并利用本发明的各种示例性实施方案及其不同选择形式和修改形式。本发明的范围旨在由所附权利要求书及其等价形式所限定。

Claims (10)

1.一种基于单双目混合测量的三维点云计算方法，其特征在于，包括以下步骤：

S1、利用标定方法分别对三维扫描测量系统中的左、右相机和投影仪进行标定；

标定完成后，投影仪将正弦条纹投影到被测物表面，左、右相机采集被调制的条纹图像，得到左相机图像和右相机图像，解算绝对相位，择一图像记为第一图像，将第一图像上绝对相位值为0的像点标记为无效像点，其余像点标记为有效像点u_i，i＝1，2，3……n，n为有效像点的个数；

将采集第一图像的相机标记为第一相机；非采集第一图像的相机标记为第二相机；

S2、对于有效像点u_i，依次计算其在第二相机的像平面的极线L_i；

根据有效像点u_i的绝对相位信息，找到其在投影仪相平面上的对应的匹配点，记为第一匹配点

计算所述第一匹配点

在第二相机的像平面的极线Y_i；

计算两条极线L_i、Y_i的交点；

当所述交点的像素坐标在第二相机的像平面上：将所述交点记为第二匹配点，利用所述有效像点u_i和第二匹配点计算该点的三维点云(x_i，y_i，z_i)；

当所述交点像素坐标不在第二相机的像平面上：认为在第二相机的像平面没有对应的匹配点，利用所述有效像点u_i和第一匹配点

计算该点的三维点云(x_i，y_i，z_i)；

S3、重复步骤S2，遍历所有有效像点，完成被测物表面三维点云计算。

2.如权利要求1所述基于单双目混合测量的三维点云计算方法，其特征在于：步骤S2中，利用所述有效像点和第二匹配点计算该点的三维点云(x_i，y_i，z_i)，计算方法如下：

其中，

为有效像点u_i的像素坐标，

为第二匹配点的像素坐标；

第一相机内参数矩阵

第二相机内参数矩阵

其中，f_xl，f_yl为第一相机的焦距，(u_0l，v_0l)为第一相机像平面的主点坐标；f_xr，f_yr为第二相机的焦距，(u_0r，v_0r)为第二相机像平面的主点坐标；

第一相机坐标系到第二相机坐标系的旋转矩阵

平移矩阵T_c＝[t₁ t₂ t₃]^T。

3.如权利要求1所述基于单双目混合测量的三维点云计算方法，其特征在于：步骤S2中，利用所述有效像点u_i和第一匹配点计算该点的三维点云(x_i，y_i，z_i)，计算方法如下：

其中，

为有效像点u_i的像素坐标,

为所述第一匹配点的像素坐标：

投影仪内参数矩阵

第一相机坐标系和投影仪坐标系旋转矩阵

平移矩阵T_ld＝[t``<sub>1</sub> t``₂ t``₃]^T。

4.如权利要求1所述基于单双目混合测量的三维点云计算方法，其特征在于：所述极线L_i：a_iu_pr+b_iv_pr+c_i＝0；计算方法如下：

其中，F_lr为第一相机与第二相机之间的基础矩阵。

5.如权利要求1所述基于单双目混合测量的三维点云计算方法，其特征在于：所述极线Y_i：a_i′u_pr+b_i′v_pr+c_i′＝0；计算方法如下：

其中，F_dr为投影仪与第二相机之间的基础矩阵。

6.如权利要求1所述基于单双目混合测量的三维点云计算方法，其特征在于：在第二相机的像点中剔除所述第二匹配点和绝对相位值为0的点，得到剩余点v_j，j＝1，2，3……m，m为剩余点的个数；根据剩余点v_j的绝对相位信息，找到其在投影仪像平面上对应的匹配点，记第三匹配点

利用所述剩余点v_j和第三匹配点计算三维点云。

7.如权利要求1所述基于单双目混合测量的三维点云计算方法，其特征在于：解算绝对相位通过四步相移结合多频外差方法或相移结合格雷码的方法，所述绝对相位为横纵相位。

8.如权利要求1所述基于单双目混合测量的三维点云计算方法，其特征在于：所述标定方法为张氏标定法。

9.如权利要求1所述基于单双目混合测量的三维点云计算方法，其特征在于：所述标定方法为光束平差标定法，标定过程如下：

利用左、右相机采集标定板图像，所述标定板上包括多个标准圆，分别计算得到标准圆的在左、右相机图像中的圆心坐标；建立左、右相机中图像像点之间的匹配关系；

投影仪投影多幅横竖条纹图像到标定板上，同步触发左、右相机采集多幅被投影后的标定板图像；

利用多幅具有横竖条纹左、右相机标定板图像，分别计算各个标准圆圆心在左右相机图像中的绝对相位；

根据左/右相机标定板图像中圆心的绝对相位，找到其在投影仪像平面上对应的匹配点，建立左、右相机的像平面与投影仪的投影平面之间的点匹配关系；

对标定结果进行优化，所述标定结果包括投影仪和左、右相机的内参数矩阵、畸变系数、外参数矩阵；基于共线方程列出光束平差的误差方程：

V_i＝At+Dk-L

式中，A为所述投影仪和左、右相机的内参数矩阵修正量的偏导矩阵，t为投影仪和左、右相机的内参数矩阵修正量，k为投影仪和左、右相机的外参数矩阵的修正量，D为所述投影仪和左、右相机的外参数矩阵的偏导矩阵，L为左相机、右相机、投影仪像面上二维坐标和标定板三维坐标经过转换到像面的坐标之间的差值；

迭代上式，每次迭代的输出结果为下一次迭代的输入，当误差量矢量V_i小于预设值q时，停止迭代，输出此时对应的投影仪和左、右相机的内参数矩阵参数、畸变系数、外参数矩阵参数，作为最终的标定结果。

10.如权利要求9所述基于单双目混合测量的三维点云计算方法，其特征在于：q取值0.05～0.2。

Images