CN110702025B - 一种光栅式双目立体视觉三维测量系统及方法 - Google Patents

Abstract

本发明涉及一种光栅式双目立体视觉三维测量系统及方法，包括：左右工业相机构建双目立体视觉传感器，左右工业相机又分别与多线激光器组成左右结构光传感器；多线激光器在物体表面投射多条光条，左右工业相机采集物体左右图像；基于Hessian矩阵法，提取左右图像的光条中心点，构建左右特征点集；利用近邻反投影光条中心线约束和极线约束，获得左右特征点集中的匹配点对；基于双目立体视觉测量模型重构匹配点对，左右结构光视觉测量模型重构左右特征点集中未匹配上的光条中心点；融合双目立体视觉测量模型和左右结构光视觉测量模型的三维重构结果，从而获得物体完整的三维形貌。本发明能够更加快速、准确地获得左右图像的匹配点对，并且在遮挡、反光、阴影干扰的情况下，依然能够获得物体表面完整的三维形貌信息。

Description

一种光栅式双目立体视觉三维测量系统及方法

技术领域

本发明涉及三维测量技术领域，特别涉及一种光栅式双目立体视觉三维测量系统及方法。

背景技术

光栅式双目立体视觉三维测量技术能够实时、高精度地获得物体表面的三维形貌信息，被广泛应用于物体表面重构、缺陷检测、逆向工程等领域。

物体表面三维形貌检测技术主要包括两种：接触式检测和非接触式检测。三坐标测量机作为一种常用的接触式检测方法，具有操作复杂、效率低下、容易损伤被测件表面等缺点。而非接触式检测方法主要包括几何光线法、干涉发等。然而这些方法仅适用于光学元件的面型检测。

随着图像处理和计算机技术的快速发展，视觉测量在三维重构领域取得了广泛的应用。郑顺义等人在专利号为201710044195.3的发明专利“一种实时生成模型的手持三维扫描仪”中设计了一种实时生成模型手持三维扫描仪，该手持式三维扫描仪由两个对称放置的相机和激光器构成。该手持式三维扫描仪首先采集图像，然后根据前方交会原理重构物体表面点的三维坐标，并进行物体表面三维点拼接，从而能够获得物体表面的三维数据。熊才华等人在专利号201710141383.8的发明专利“一种基于双目立体视觉的物体三维尺寸简便测量方法”中提出了一种基于双目立体视觉的物体三维尺寸简便测量方法，该方法自动识别拍摄角度，并基于立体视觉技术快速获取物体的三维尺寸。黄剑艇等人在专利号201810572129.8的发明专利“基于红外传感器、智能扫描系统实现三维扫描的方法”中提出了一种结构简单且可扫描出物体表面质感的方法，该方法首先通过红外传感器在物体周围定义一个三维扫描框，然后获得扫描框内的空间结构和颜色信息，并选择相应的模型造型和材质，通过云端处理，最终获得物体三维模型。虽然上述方法能快速获得光滑表面或者复杂程度低的物体的较高三维特征，但是对于一些结构复杂、表面高度起伏变化剧烈的物体三维测量精度低下。雷彦章等人在论文《一种单双目视觉系统结合的三维测量方法》中提出了一种单双目结合的三维测量方法，该方法将两个相机与投影仪分别组成两个基于投影栅相位法的单目，利用单目的测量结果填补双目测量结果中的空洞。该方法虽然能够获得较高精度的物体三维表面轮廓，但是基于投影栅相位法的解相过程复杂、获得匹配点的计算量大。

对于光栅式双目立体视觉三维测量系统而言，其难点在于如何快速获得唯一的匹配点对。谢光辉等人在论文《一种光栅式双目立体视觉传感器光条匹配方法》中提出了一种光条匹配方法。该方法将将光栅式双目立体视觉传感器分解为两个独立的结构光传感器，并利用两个光栅式结构光传感器分别测量不同光条中心点的三维坐标，构成多个光条中心点集，光条中心点集间欧氏距离最小且对应结构光平面相同的作为匹配光条。然而，该方法计算量大，处理速度慢，且存在大量的计算冗余，无法满足实际的测量需求。魏振忠等人在论文《光栅式双目立体视觉传感器光条快速匹配算法》中提出了一种基于空间三维搜索的快速光条匹配方法。该方法将光栅式双目立体视觉传感器当作两个光栅结构光传感器，并基于可见光条组合模式分析，获得参与光条匹配运算的光条及模型，计算各光条中心点集合间的平均距离，距离最小值对应的光条即为匹配光条。虽然该方法减少了计算量，提高了计算效率，但是该方法的可见光条组合模式分析的有效性是基于光条连续且完全可见的前提，若在遮挡干扰或物体表面高度差变化明显的情况下，该方法将会造成大量的误匹配。

综上所述，现有的基于相移光栅的三维测量方法解相过程复杂，计算量大。而现有的光栅式双目立体视觉三维测量方法无法适用于表面高度起伏变化明显物体的测量。此外，在遮挡、反光、阴影干扰的情况下，三维重构结果存在较多空洞，且大量的误匹配导致三维重构精度无法满足工程实践需求。

发明内容

本发明技术解决问题：克服现有技术的不足，提供一种光栅式双目立体视觉三维测量系统及方法，利用近邻反投影光条中心线约束和极线约束进行对应点匹配，融合双目立体视觉测量模型和左右结构光视觉测量模型的三维重构结果，不仅将匹配过程由二维匹配优化到点对点匹配，提高了对应点匹配的效率和准确性，同时在遮挡、反光、阴影干扰的情况下，依然能够获得物体表面完整的三维形貌信息。

为达到上述目的，本发明的技术方案是这样实现的：

本发明的一种光栅式双目立体视觉三维测量系统，包括双目立体视觉传感器和左右结构光传感器、基于Hessian矩阵的光条中心点提取算法模块、基于近邻反投影光条中心点约束和极线约束的特征点匹配算法模块，双目立体视觉传感器和左右结构光传感器的三维重构结果融合模块；其中：

双目立体视觉传感器和左右结构光传感器，包括：左工业相机、右工业相机和一个多线激光器，三者按照左工业相机、多线激光器和右工业相机的顺序摆放，使得多线激光器投射的多根光条均位于左右工业相机的视场中间；其中，左右工业相机组成一个双目立体视觉传感器，而左右工业相机分别与多线激光器构成左右结构光传感器；多线激光器向物体表面投射多条光条，左右工业相机分别采集物体的左右图像；

基于Hessian矩阵的光条中心点提取算法模块：提取左右图像中光条中心点坐标，构建左、右特征点集；

基于近邻反投影光条中心线约束和极线约束的光条中心点匹配算法模块，遍历左特征点集，对于每一个光条中心点，计算对应右图像的近邻反投影光条中心线和极线，将近邻反投影光条中心线与极线的交点作为侯匹配点，若匹配成功，构成匹配点对，并标记右特征点集中相应的两个光条中心点；否则，则标记左特征点集中的该光条中心点；

双目立体视觉传感器和左右结构光传感器的三维重构结果融合模块：基于双目立体视觉测量模型重构匹配点对；采用左结构光视觉测量模型重构左特征点集中被标记的光条中心点；遍历右特征点集，将右特征点集中未被标记的光条中心点带入右结构光视觉测量模型中，获得对应的空间点的三维坐标；并将左右结构光视觉测量模型的重构结果转换到双目立体视觉传感器坐标系下。

所述双目立体视觉传感器和左右结构光传感器的实现如下：

(1)分别对双目立体视觉传感器和左右结构光传感器进行标定，获得左右工业相机的内参、双目立体视觉传感器的结构参数及左右结构光传感器的光平面方程，其中，左工业相机内参K_l，右工业相机内参K_r分别为：

其中，α_l和α_r分别为左工业相机、右工业相机u轴的有效焦距，β_l和β_r分别为左工业相机、右工业相机v轴的有效焦距,(u_0l,v_0l)和(u_0r,v_0r)分别为左工业相机、右工业相机的光学中心，γ_l和γ_r分别为左工业相机、右工业相机u轴与v轴不垂直因子；双目立体视觉传感器的结构参数，即旋转矩阵R，平移矢量T为：

T＝[t_x,t_y,t_z]^T

其中，r_s(s＝1,...,9)为旋转矩阵R的第s个元素，t_x，t_y和t_z分别为平移矢量T的三个分量；左结构传感器光平面方程：

a_ix+b_iy+c_iz+d_i＝0 i＝0,1,...,m

其中，(a_i,b_i,c_i)为第i个左结构传感器光平面的法向量，di为第i个左结构传感器光平面的截距，(x,y,z)为左结构传感器光平面上的三维点，m为多线激光器的投射的光条根数；

右结构传感器光平面方程：

a′_ix′+b′_iy′+c′_iz′+d′_i＝0 i＝0,1,...,m

其中，(a′_i,b′_i,c′_i)为第i个右结构传感器光平面的法向量，d′_i为第i个右结构传感器光平面的截距，(x′,y′,z′)为右结构传感器光平面上的三维点；

其中，m为多线激光器投射的光条根数；

(2)多线激光器向物体表面投射多根光条，左右工业相机从不同角度同时采集物体左右图像，左右图像中均包含携带物体表面高度信息的光条。

所述基于Hessian矩阵的光条中心点提取算法模块中，通过求取图像

Hessian矩阵的最大特征向量，获得左右图像中光条的中心点坐标，从而构建左右特征点集。

所述基于近邻反投影光条中心点约束和极线约束的光条中心点匹配算法模块具体实现过程如下：

(1)遍历左特征点集中的光条中心点(u_lj,v_lj)，基于双目立体视觉测量模型，计算光条中心点(u_lj,v_lj)对应右图像上的极线E_j，具体计算过程如下：

其中，F为3×3的基本矩阵，

为光条中心点的齐次坐标形式；

(2)基于左结构光视觉测量模型，获得m个三维点坐标P_i＝(x_i,y_i,z_i)^T,具体计算过程如下：

其中，

为光条中心点的齐次坐标形式，K_l为左工业相机内参，ρ为比例因子，(a_i,b_i,c_i)为第i个左结构传感器光平面的法向量，d_i为第i个左结构传感器光平面的截距；

(3)将m个三维点坐标P_i＝(x_i,y_i,z_i)^T反投影到右图像上，获得在右图像上的m个反投影点坐标(u_ri,v_ri)；

(4)对于每个反投影点(u_ri,v_ri)，搜索右特征点集中与该反投影点欧氏距离最小的两个光条中心点，获得对应的近邻反投影中心线l_i，同时标记右特征点集中的两个光条中心点；

(5)计算极线E_j与m根近邻反投影中心线l_i的交点(u′_ri,v′_ri)，将得到的m个交点作为光条中心点(u_lj,v_lj)在右图像上的侯匹配点，构成m对侯匹配点对；

(6)将m个侯匹配点对代入双目立体视觉测量模型中，实现三维重构，获得m个对应的三维坐标P′_i＝(x′_i,y′_i,z′_i)^T；

(7)将m个交点(u′_ri,v′_ri)代入右结构光视觉测量模型中，得到m个三维坐标P″_i＝(x″_i,y″_i,z″_i)^T,具体计算过程如下：

其中，

为交点的齐次坐标形式，K_r为右工业相机内参，ρ为比例因子,(a′_i,b′_i,c′_i)为第i个右结构传感器光平面的法向量，d_i′为第i个右结构传感器光平面的截距；

(8)将三维点P_i＝(x_i,y_i,z_i)^T，P′_i＝(x′_i,y′_i,z′_i)^T，P″_i＝(x″_i,y″_i,z″_i)^T一一对应，构成m个三维点对{P_i,P′_i,P″_i}，计算每个三维点对中两两三维点之间的欧氏距离之和，若最小的欧氏距离之和小于给定的阈值，则光条中心点(u_lj,v_lj)与对应的交点(u′_ri,v′_ri)为一对匹配点对；否则，则表明光条中心点(u_lj,v_lj)在右图像上无匹配点，并在左特征点集中标记该光条中心点(u_lj,v_lj)。

所述双目立体视觉传感器和左右结构光传感器的三维重构结果融合模块具体实现过程如下：

(1)基于双目立体视觉测量模型重构匹配点对所对应空间点的三维坐标P_b；

(2)采用左结构光视觉测量模型重构左特征点集中所有被标记的光条中心点P_l；

(3)将右特征点集中所有未被标记的光条中心点带入右结构光视觉测量模型中，获得对应的空间点的三维坐标P_r；

(4)由于基于双目立体视觉测量模型的重构结果P_b与基于左结构光视觉测量模型的重构结果P_l均位于双目立体视觉传感器坐标系下，而基于右结构光视觉测量模型的重构结果P_r位于右工业相机坐标系下，需要将基于右结构光视觉测量模型的重构结果转到双目立体视觉传感器坐标系下，得到融合后的三维重构结果FinalCloud，其具体实现过程如下：

其中，R和T分别为双目立体视觉传感器的旋转矩阵和平移矢量，P_r′为位于双目立体视觉传感器坐标系下的右结构光视觉测量模型的重构结果。

本发明的一种光栅式双目立体视觉三维测量方法，步骤如下：

(1)多线激光器向物体表面投射多条光条，左右工业相机分别采集物体的左右图像；

(2)通过求取左右Hessian矩阵的最大特征向量，获得左右图像中光条的中心点坐标，构建左、右特征点集；

(3)为了获得准确唯一的匹配，提高三维重构精度，在现有极线约束的基础上增加近邻反投影光条中心点约束，将匹配过程从二维匹配优化为点到点匹配过程，遍历左特征点集中的光条中心点(u_lj,v_lj)，基于双目立体视觉测量模型，计算光条中心点(u_lj,v_lj)对应右图像上的极线E_j，具体计算过程如下：

其中，F为3×3的基本矩阵，

为光条中心点的齐次坐标形式；

(4)基于左结构光视觉测量模型，获得m个三维点坐标P_i＝(x_i,y_i,z_i)^T,具体计算过程如下：

其中，

为光条中心点的齐次坐标形式，K_l为左工业相机内参，ρ为比例因子,(a_i,b_i,c_i)为第i个左结构传感器光平面的法向量，d_i为第i个左结构传感器光平面的截距；

(5)将m个三维点坐标P_i＝(x_i,y_i,z_i)^T反投影到右图像上，获得在右图像上的m个反投影点坐标(u_ri,v_ri)；

(6)对于每个反投影点(u_ri,v_ri)，搜索右特征点集中与该反投影点欧氏距离最小的两个光条中心点，获得对应的近邻反投影中心线l_i，同时标记右特征点集中的两个光条中心点；

(7)计算极线E_j与m根近邻反投影中心线l_i的交点(u′_ri,v′_ri)，将得到的m个交点作为光条中心点(u_lj,v_lj)在右图像上的侯匹配点，构成m对侯匹配点对；

(8)将m个侯匹配点对代入双目立体视觉测量模型中，实现三维重构，获得m个对应的三维坐标P′_i＝(x′_i,y′_i,z′_i)^T；

(9)将m个交点(u′_ri,v′_ri)代入右结构光视觉测量模型中，得到m个三维坐标P″_i＝(x″_i,y″_i,z″_i)^T,具体计算过程如下：

其中，

为交点的齐次坐标形式，K_r为右工业相机内参，ρ为比例因子,(a′_i,b′_i,c′_i)为第i个右结构传感器光平面的法向量，d′_i为第i个右结构传感器光平面的截距；

(10)将三维点P_i＝(x_i,y_i,z_i)^T，P′_i＝(x′_i,y′_i,z′_i)^T，P″_i＝(x″_i,y″_i,z″_i)^T一一对应，构成m个三维点对{P_i,P′_i,P″_i}，计算每个三维点对中两两三维点之间的欧氏距离之和，若最小的欧氏距离之和小于给定的阈值，则光条中心点(u_lj,v_lj)与对应的交点(u′_ri,v′_ri)为一对匹配点对，将基于双目立体视觉测量模型重构的三维坐标P′_i＝(x′_i,y′_i,z′_i)^T作为其对应空间点的三维坐标；否则，表明由于遮挡、反光、阴影干扰导致光条中心点(u_lj,v_lj)在右图像上无匹配点，将基于左结构光视觉测量模型重构的三维点P_i＝(x_i,y_i,z_i)^T作为其对应空间点的三维坐标；

(11)当左特征点集中所有光条中心点遍历完之后，右特征点集中未被标记的光条中心点带入右结构光视觉测量模型中，获得对应的空间点的三维坐标M；

(12)在遮挡、反光、阴影干扰的情况下，由于双目立体视觉传感器视场的局限性，基于双目立体视觉测量模型的重构结果会存在缺失，因此需要将双目立体视觉传感器与左右结构光传感器的三维重构结果融合；基于双目立体视觉测量模型的重构结果P′与基于左结构光视觉测量模型的重构结果P均位于双目立体视觉传感器坐标系下，而基于右结构光视觉测量模型的重构结果M位于右工业相机坐标系下；需要将基于右结构光视觉测量模型的重构结果转到双目立体视觉传感器坐标系下，从而得到融合后的完整的三维重构结果FinalCloud，其具体实现过程如下：

其中，R和T分别为双目立体视觉传感器的旋转矩阵和平移矢量，M′为位于双目立体视觉传感器坐标系下的右结构光视觉测量模型的重构结果。

本发明与现有技术相比的优点在于：

(1)现有的对应点匹配算法，计算量大，存在大量冗余，甚至在遮挡干扰或物体表面高度起伏变化明显的情况下会造成大量的误匹配。而本发明在现有极线约束的基础上增加近邻反投影光条中心点约束，将匹配过程从二维匹配优化为点到点匹配过程，大大提高了对应点匹配的效率，在遮挡、物体表面高度起伏变化明显的情况下依旧能获得准确唯一的匹配。

(2)在遮挡、反光、阴影干扰的情况下，由于双目立体视觉传感器视场的局限性，基于双目立体视觉测量模型的重构结果会存在缺失。现有的三维测量方法主要采用多次扫描填补空洞的方式，耗时且存在大量的冗余数据。本发明在不增加硬件的前提下，将光栅式双目立体视觉传感器等效为一个双目立体视觉传感器和左右结构光传感器，并将基于双目立体视觉测量模型的重构结果与左右结构光视觉测量模型的重构结果融合，从而填补了基于双目立体视觉测量模型的重构结果中的空洞，无需多次扫描，依然能获得物体表面完整的三维形貌信息。

附图说明

图1为本发明一种光栅式双目立体视觉三维测量系统及方法的总体实现流程图；

图2为光栅式双目立体视觉三维测量系统；其中，①为左工业相机，②为右工业相机，③为激光器，④为控制模块，⑤为补光光源，⑥为按键，⑦为待测物体；

图3为基于近邻反投影光条中心点约束和极线约束的光条中心点匹配算法示意图；

图4为金属圆柱筒外表面的局部三维重构结果。

具体实施方式

以下结合附图及具体实施实例对本发明再作进一步详细的说明。

如图1所示，本发明的具体实现包括以下步骤：

步骤1：光栅式双目立体视觉三维测量系统如图2所示，主要包括左工业相机1、右工业相机2、7线激光器3、控制模块4、补光光源5及按键6。左右工业相机按照从左到右的顺序交叉摆放，7激光器3安装在左右3工业相机中间，使得7线激光器3投射的7根光条均位于左右工业相机的视场中间。7线激光器向待测物体7表面投射7根光条，左右工业相机分别采集待测物体7的左右图像。

将左右工业相机构建一个双目立体视觉传感器，左右工业相机又分别与7线激光器组成左右结构光传感器，并分别对双目立体视觉传感器和左右结构光传感器进行标定，获得左右工业相机的内参、双目立体视觉传感器的结构参数及左右结构光传感器的光平面方程，其中，左工业相机内参K_l，右工业相机内参K_r分别为：

双目立体视觉传感器的结构参数(旋转矩阵R，平移矢量T)为：

T＝[-273.26083,-34.86622,115.48466]^T

左结构传感器光平面方程：

右结构传感器光平面方程：

步骤2：7线激光器在金属圆柱筒表面投射7根光条，光条受金属圆柱筒表面高度调制，携带了金属圆柱筒表面的高度信息，左右工业相机采集金属圆柱筒左右图像。

步骤3：基于Hessian矩阵的光条中心点提取算法中，通过求取图像Hessian矩阵的最大特征向量，获得左右图像中光条的中心点坐标，从而构建左右特征点集。具体过程在文章“C.Steger,“Analytical and empirical performance evaluation of subpixel lineand edge detection”,Empir.Eval.Methods Comput.Vis.,pp.188-210,Apr.1998.”中有详细描述。

步骤4：如图3所示，遍历左特征点集中的光条中心点(u_lj,v_lj)，基于双目立体视觉测量模型，计算其对应右图像上的极线E_j；基于左结构光视觉测量模型，获得7个三维点坐标P_i＝(x_i,y_i,z_i)^T：

其中，

为光条中心点的齐次坐标形式。

将7个三维点坐标P_i＝(x_i,y_i,z_i)^T反投影到右图像上，获得在右图像上的7个反投影点坐标(u_ri,v_ri)；若反投影点坐标(u_ri,v_ri)超出右图像的范围，则剔除。

对于每个反投影点(u_ri,v_ri)，根据k近邻算法(k-nearest neighbors,KNN)搜索右特征点集中与该反投影点欧氏距离最小的两个光条中心点，从而获得对应的7根近邻反投影中心线l_i，同时标记右特征点集中的两个光条中心点。其中，k近邻算法在文章“CoverT.，Hart,P.，“Nearest neighbor pattern classification”，IEEE Trans.Inf.Theor.,pp.21-27,1968.”中有详细介绍。

计算极线E_j与7根近邻反投影中心线l_i的交点(u′_ri,v′_ri)，将得到的7个交点作为光条中心点(u_lj,v_lj)在右图像上的侯匹配点，构成7对侯匹配点对；

将7个侯匹配点对代入双目立体视觉测量模型中，实现三维重构，获得7个对应的三维坐标P′_i＝(x′_i,y′_i,z′_i)^T；

将7个交点(u′_ri,v′_ri)代入右结构光视觉测量模型中，得到7个三维坐标P″_i＝(x″_i,y″_i,z″_i)^T,具体计算过程如下：

其中，

为交点的齐次坐标形式；

将三维点P_i＝(x_i,y_i,z_i)^T，P′_i＝(x′_i,y′_i,z′_i)^T，P″_i＝(x″_i,y″_i,z″_i)^T一一对应，构成m个三维点对{P_i,P′_i,P″_i}，计算每个三维点对中两两三维点之间的欧氏距离之和，若最小的欧氏距离之和小于给定的阈值4.5，则光条中心点(u_lj,v_lj)与对应的交点(u′_ri,v′_ri)为一对匹配点对，将基于双目立体视觉测量模型重构的三维坐标P′_i＝(x′_i,y′_i,z′_i)^T作为其对应空间点的三维坐标；否则，表明光条中心点(u_lj,v_lj)在右图像上无匹配点，将基于左结构光视觉测量模型重构的三维点P_i＝(x_i,y_i,z_i)^T作为其对应空间点的三维坐标；

当左特征点集中所有光条中心点遍历完之后，将右特征点集中未被标记的光条中心点带入右结构光视觉测量模型中，获得对应的空间点的三维坐标M。

步骤5：将基于右结构光视觉测量模型的重构结果转到双目立体视觉传感器坐标系下，从而得到融合后的三维重构结果FinalCloud。金属圆柱筒外表面的局部三维重构结果如图4所示。

以上所述，仅为本发明的较佳实施例而已，对本领域普通技术人员来说，可以根据上述说明加以改进或变换，所有这些改进和变换都应属于本发明的保护范围。

Claims (6)

1.一种光栅式双目立体视觉三维测量系统，其特征在于：包括双目立体视觉传感器和左右结构光传感器、基于Hessian矩阵的光条中心点提取算法模块、基于近邻反投影光条中心点约束和极线约束的特征点匹配算法模块，双目立体视觉传感器和左右结构光传感器的三维重构结果融合模块；其中：

双目立体视觉传感器和左右结构光传感器，包括：左工业相机、右工业相机和一个多线激光器，三者按照左工业相机、多线激光器和右工业相机的顺序摆放，使得多线激光器投射的多根光条均位于左右工业相机的视场中间；其中，左右工业相机组成一个双目立体视觉传感器，而左右工业相机分别与多线激光器构成左右结构光传感器；多线激光器向物体表面投射多条光条，左右工业相机分别采集物体的左右图像；

基于Hessian矩阵的光条中心点提取算法模块：提取左右图像中光条中心点坐标，构建左、右特征点集；

基于近邻反投影光条中心线约束和极线约束的光条中心点匹配算法模块，遍历左特征点集，对于每一个光条中心点，计算对应右图像的近邻反投影光条中心线和极线，将近邻反投影光条中心线与极线的交点作为侯匹配点，若匹配成功，构成匹配点对，并标记右特征点集中相应的两个光条中心点；否则，则标记左特征点集中的该光条中心点；

双目立体视觉传感器和左右结构光传感器的三维重构结果融合模块：基于双目立体视觉测量模型重构匹配点对；采用左结构光视觉测量模型重构左特征点集中被标记的光条中心点；遍历右特征点集，将右特征点集中未被标记的光条中心点带入右结构光视觉测量模型中，获得对应的空间点的三维坐标；并将左右结构光视觉测量模型的重构结果转换到双目立体视觉传感器坐标系下。

2.根据权利要求1所述的一种光栅式双目立体视觉三维测量系统，其特征在于：所述双目立体视觉传感器和左右结构光传感器的实现如下：

(1)分别对双目立体视觉传感器和左右结构光传感器进行标定，获得左右工业相机的内参、双目立体视觉传感器的结构参数及左右结构光传感器的光平面方程，其中，左工业相机内参K_l，右工业相机内参K_r分别为：

其中，α_l和α_r分别为左工业相机、右工业相机u轴的有效焦距，β_l和β_r分别为左工业相机、右工业相机v轴的有效焦距,(u_0l,v_0l)和(u_0r,v_0r)分别为左工业相机、右工业相机的光学中心，γ^l和γ_r分别为左工业相机、右工业相机u轴与v轴不垂直因子；双目立体视觉传感器的结构参数，即旋转矩阵R，平移矢量T为：

T＝[t_x,t_y,t_z]^T

其中，r_s(s＝1,...,9)为旋转矩阵R的第s个元素，t_x，t_y和t_z分别为平移矢量T的三个分量；左结构传感器光平面方程：

a_ix+b_iy+c_iz+d_i＝0 i＝0,1,...,m

其中，(a_i,b_i,c_i)为第i个左结构传感器光平面的法向量，d_i为第i个左结构传感器光平面的截距，(x,y,z)为左结构传感器光平面上的三维点，m为多线激光器的投射的光条根数；

右结构传感器光平面方程：

a′_ix′+b′_iy′+c′_iz′+d′_i＝0 i＝0,1,...,m

其中，(a′_i,b′_i,c′_i)为第i个右结构传感器光平面的法向量，d′_i为第i个右结构传感器光平面的截距，(x′,y′,z′)为右结构传感器光平面上的三维点；

(2)多线激光器向物体表面投射多根光条，左右工业相机从不同角度同时采集物体左右图像，左右图像中均包含携带物体表面高度信息的光条。

3.根据权利要求1所述的一种光栅式双目立体视觉三维测量系统，其特征在于：所述基于Hessian矩阵的光条中心点提取算法模块中，通过求取图像Hessian矩阵的最大特征向量，获得左右图像中光条的中心点坐标，从而构建左右特征点集。

4.根据权利要求1所述的一种光栅式双目立体视觉三维测量系统，其特征在于：所述基于近邻反投影光条中心点约束和极线约束的光条中心点匹配算法模块具体实现过程如下：

(1)遍历左特征点集中的光条中心点(u_lj,v_lj)，基于双目立体视觉测量模型，计算光条中心点(u_lj,v_lj)对应右图像上的极线E_j，具体计算过程如下：

其中，F为3×3的基本矩阵，

为光条中心点的齐次坐标形式；

(2)基于左结构光视觉测量模型，获得m个三维点坐标P_i＝(x_i,y_i,z_i)^T,具体计算过程如下：

其中，

为光条中心点的齐次坐标形式，K_l为左工业相机内参，ρ为比例因子，(a_i,b_i,c_i)为第i个左结构传感器光平面的法向量，d_i为第i个左结构传感器光平面的截距；

(3)将m个三维点坐标P_i＝(x_i,y_i,z_i)^T反投影到右图像上，获得在右图像上的m个反投影点坐标(u_ri,v_ri)；

(4)对于每个反投影点(u_ri,v_ri)，搜索右特征点集中与该反投影点欧氏距离最小的两个光条中心点，获得对应的近邻反投影中心线l_i，同时标记右特征点集中的两个光条中心点；

(5)计算极线E_j与m根近邻反投影中心线l_i的交点(u′_ri,v′_ri)，将得到的m个交点作为光条中心点(u_lj,v_lj)在右图像上的侯匹配点，构成m对侯匹配点对；

(6)将m个侯匹配点对代入双目立体视觉测量模型中，实现三维重构，获得m个对应的三维坐标P′_i＝(x′_i,y′_i,z′_i)^T；

(7)将m个交点(u′_ri,v′_ri)代入右结构光视觉测量模型中，得到m个三维坐标P_i″＝(x″_i,y″_i,z″_i)^T,具体计算过程如下：

其中，

为交点的齐次坐标形式，K_r为右工业相机内参,(a′_i,b′_i,c′_i)为第i个右结构传感器光平面的法向量，d′_i为第i个右结构传感器光平面的截距；

(8)将三维点P_i＝(x_i,y_i,z_i)^T，P_i′＝(x′_i,y′_i,z′_i)^T，P_i″＝(x″_i,y″_i,z″_i)^T一一对应，构成m个三维点对{P_i,P_i′,P_i″}，计算每个三维点对中两两三维点之间的欧氏距离之和，若最小的欧氏距离之和小于给定的阈值，则光条中心点(u_lj,v_lj)与对应的交点(u′_ri,v′_ri)为一对匹配点对；否则，则表明光条中心点(u_lj,v_lj)在右图像上无匹配点，并在左特征点集中标记该光条中心点(u_lj,v_lj)。

5.根据权利要求1所述的一种光栅式双目立体视觉三维测量系统，其特征在于：所述双目立体视觉传感器和左右结构光传感器的三维重构结果融合模块具体实现过程如下：

(1)基于双目立体视觉测量模型重构匹配点对所对应空间点的三维坐标P_b；

(2)采用左结构光视觉测量模型重构左特征点集中所有被标记的光条中心点P_l；

(3)将右特征点集中所有未被标记的光条中心点带入右结构光视觉测量模型中，获得对应的空间点的三维坐标P_r；

(4)由于基于双目立体视觉测量模型的重构结果P_b与基于左结构光视觉测量模型的重构结果P_l均位于双目立体视觉传感器坐标系下，而基于右结构光视觉测量模型的重构结果P_r位于右工业相机坐标系下，需要将基于右结构光视觉测量模型的重构结果转到双目立体视觉传感器坐标系下，得到融合后的三维重构结果FinalCloud，其具体实现过程如下：

其中，R和T分别为双目立体视觉传感器的旋转矩阵和平移矢量，P_r′为位于双目立体视觉传感器坐标系下的右结构光视觉测量模型的重构结果。

6.一种光栅式双目立体视觉三维测量方法，其特征在于，步骤如下：

(1)多线激光器向物体表面投射多条光条，左右工业相机分别采集物体的左右图像；

(2)通过求取左右Hessian矩阵的最大特征向量，获得左右图像中光条的中心点坐标，构建左、右特征点集；

(3)为了获得准确唯一的匹配，提高三维重构精度，在现有极线约束的基础上增加近邻反投影光条中心点约束，将匹配过程从二维匹配优化为点到点匹配过程，遍历左特征点集中的光条中心点(u_lj,v_lj)，基于双目立体视觉测量模型，计算光条中心点(u_lj,v_lj)对应右图像上的极线E_j，具体计算过程如下：

其中，F为3×3的基本矩阵，

为光条中心点的齐次坐标形式；

(4)基于左结构光视觉测量模型，获得m个三维点坐标P_i＝(x_i,y_i,z_i)^T,具体计算过程如下：

其中，

为光条中心点的齐次坐标形式，K_l为左工业相机内参，ρ为比例因子,(a_i,b_i,c_i)为第i个左结构传感器光平面的法向量，d_i为第i个左结构传感器光平面的截距；

(5)将m个三维点坐标P_i＝(x_i,y_i,z_i)^T反投影到右图像上，获得在右图像上的m个反投影点坐标(u_ri,v_ri)；

(6)对于每个反投影点(u_ri,v_ri)，搜索右特征点集中与该反投影点欧氏距离最小的两个光条中心点，获得对应的近邻反投影中心线l_i，同时标记右特征点集中的两个光条中心点；

(7)计算极线E_j与m根近邻反投影中心线l_i的交点(u′_ri,v′_ri)，将得到的m个交点作为光条中心点(u_lj,v_lj)在右图像上的侯匹配点，构成m对侯匹配点对；

(8)将m个侯匹配点对代入双目立体视觉测量模型中，实现三维重构，获得m个对应的三维坐标P_i′＝(x′_i,y′_i,z′_i)^T；

(9)将m个交点(u′_ri,v′_ri)代入右结构光视觉测量模型中，得到m个三维坐标P_i″＝(x″_i,y″_i,z″_i)^T,具体计算过程如下：

其中，

为交点的齐次坐标形式，K_r为右工业相机内参，ρ为比例因子,(a′_i,b′_i,c′_i)为第i个右结构传感器光平面的法向量，d′_i为第i个右结构传感器光平面的截距；

(10)将三维点P_i＝(x_i,y_i,z_i)^T，P_i′＝(x′_i,y′_i,z′_i)^T，P_i″＝(x″_i,y″_i,z″_i)^T一一对应，构成m个三维点对{P_i,P_i′,P_i″}，计算每个三维点对中两两三维点之间的欧氏距离之和，若最小的欧氏距离之和小于给定的阈值，则光条中心点(u_lj,v_lj)与对应的交点(u′_ri,v′_ri)为一对匹配点对，将基于双目立体视觉测量模型重构的三维坐标P_i′＝(x′_i,y′_i,z′_i)^T作为其对应空间点的三维坐标；否则，表明由于遮挡、反光、阴影干扰导致光条中心点(u_lj,v_lj)在右图像上无匹配点，将基于左结构光视觉测量模型重构的三维点P_i＝(x_i,y_i,z_i)^T作为其对应空间点的三维坐标；

(11)当左特征点集中所有光条中心点遍历完之后，右特征点集中未被标记的光条中心点带入右结构光视觉测量模型中，获得对应的空间点的三维坐标M；

(12)在遮挡、反光、阴影干扰的情况下，由于双目立体视觉传感器视场的局限性，基于双目立体视觉测量模型的重构结果会存在缺失，因此需要将双目立体视觉传感器与左右结构光传感器的三维重构结果融合；基于双目立体视觉测量模型的重构结果P′与基于左结构光视觉测量模型的重构结果P均位于双目立体视觉传感器坐标系下，而基于右结构光视觉测量模型的重构结果M位于右工业相机坐标系下；需要将基于右结构光视觉测量模型的重构结果转到双目立体视觉传感器坐标系下，从而得到融合后的完整的三维重构结果FinalCloud，其具体实现过程如下：

其中，R和T分别为双目立体视觉传感器的旋转矩阵和平移矢量，M′为位于双目立体视觉传感器坐标系下的右结构光视觉测量模型的重构结果。

Images