CN113963107B - 一种基于双目视觉的大型目标三维重建方法及系统 - Google Patents

Abstract

一种基于双目视觉的大型目标三维重建方法及系统，三维重建方法包括以下步骤：获取目标不同视角的双目图像；对双目图像中的像素信息进行双阈值判断，定位信息缺失位置，利用张量补全算法对缺失像素进行信息增强；在信息增强之后的双目图像中对目标进行提取；对目标的双目图像进行立体匹配，根据得到的深度图计算出局部点云信息，通过点云拼接还原出目标整体的三维结构。本发明基于双目视觉的三维重建技术能够有效克服因为环境变化对于重建效果的影响，利用张量补全技术增强目标因过度曝光和阴影产生的缺失像素信息，再对目标进行分割提取，解决了背景对于三维重建的干扰，提高了重建点云的效果。

Description

一种基于双目视觉的大型目标三维重建方法及系统

技术领域

本发明属于计算机视觉领域，涉及一种基于双目视觉的大型目标三维重建方法及系统。

背景技术

三维重建技术能够根据相关仪器测量目标数据，还原出目标的结构和其场景信息，由此而广泛应用于军事、医学医疗、文物修复以及无人驾驶等方面。

根据三维重建中测量目标数据方式的不同可以分为接触式测量和非接触式测量。接触式测量一般具有较高精度，但由于其操作复杂且在测量过程会一定程度对目标造成破坏，因此难以应用于大型或不规则目标。非接触式测量主要包括基于激光雷达的三维重建和基于结构光的三维重建。基于激光雷达的三维重建测量计算速度较快，但因雷达会受到环境遮挡物的干扰且价格高昂，难以应用于大型目标的测量；基于结构光的三维重建技术较成熟，生成深度图像分辨率较高，但极易受光照影响，基本不能应用于室外环境和复杂的室内环境。

发明内容

本发明的目的在于提供一种基于双目视觉的大型目标三维重建方法及系统，解决大型目标在不同场景下的三维重建过程中，因光照和环境变化造成的目标点云畸变和缺失的问题。

为了实现上述目的，本发明有如下的技术方案：

一种基于双目视觉的大型目标三维重建方法，包括以下步骤：

获取目标不同视角的双目图像；

对双目图像中的像素信息进行双阈值判断，定位信息缺失位置，利用张量补全算法对缺失像素进行信息增强；

在信息增强之后的双目图像中对目标进行提取；

对目标的双目图像进行立体匹配，根据得到的深度图计算出局部点云信息，通过点云拼接还原出目标整体的三维结构。

作为本发明方法的一种优选方案，通过布置四个双目相机模组获取目标不同视角的双目图像；所述四个双目相机模组的布置方式为：

根据双目相机模组的视场角θ和目标的尺寸，以目标表面点最远距离L所在的直线为y轴，以目标中心为原点O建立空间直角坐标系，在坐标(0，l，0)处布置第一个双目相机模组CAM1，然后依次逆时针间隔90°布置其余三个双目相机模组CAM2、CAM3和CAM4；布置到位的四个双目相机模组拍摄部分组合后能够覆盖整个目标区域；其中：

作为本发明方法的一种优选方案，所述对双目图像中的像素信息进行双阈值判断，定位信息缺失位置的步骤包括：

由基于像素点RGB值和sobel算子的多阈值方法判断双目图像因为过度曝光或阴影产生的像素信息缺失，标记信息缺失点为(x_i,y_i)，其中i＝1,2,3,..，n。

作为本发明方法的一种优选方案，所述基于像素点RGB值和sobel算子的多阈值方法的判断步骤包括：

设双目图像某一像素点的RGB值为(r,g,b)，在过度曝光或者有阴影的情况出现时出现：

(r,g,b)＜(r_min,g_min,b_min)

或

(r,g,b)＞(r_max,g_max,b_max)

其中，(r_max,g_max,b_max)和(r_min,g_min,b_min)为预设的阈值；

上述条件为判断信息缺失的必要非充分条件；

再引入sobel算子检测区域的灰度变化情况：

设I(x,y)为像素点(x,y)的灰度值，和/>分别为像素点水平和竖直方向的灰度梯度，存在以下关系式：

如果标记该像素点为过度曝光或阴影处的一点。

作为本发明方法的一种优选方案，所述利用张量补全算法对缺失像素进行信息增强时采用低秩张量补全模型；

低秩张量补全模型表达式为：

其中：χ和T是低n-模式张量，且：

其中：α_i满足α_i≥0且从而得到张量核范数最小化模型表达式为：

引入N个辅助变量M₁,...,M_N后模型表达式为：

s.t.χ_Ω＝T_Ω

式中，λ＞0；

在计算得到χ和M_i之后，得到最终的图像信息补全结果。

作为本发明方法的一种优选方案，所述在信息增强之后的双目图像中对目标进行提取包括以下步骤：

利用canny算子将双目图像划分成各个不同大小的连通区域Ω_i，其中i＝1,2,3,..,n；如果Ω_i＜Ω_min，判断此连通区域处于复杂背景中，置此区域内像素点的RGB三通道的值都为0；对于连通区域Ω_i，首先在此区域像素点的RGB三通道值中选择主色通道M₀和对应辅色通道M₁与M₂，如果主色道和目标区域的主色通道不同，则直接判断该连通区域Ω_i为背景区域，置此区域内像素点的RGB三通道的值都为0；否则，设该区域内的像素点为(x_i,y_i)，其中i＝1,2,3,..,n，n为Ω_i内像素点的个数，按下式计算主色道和两个辅色道之间的均方差和/>

如果且/>则判断此连通区域为目标区域，否则判断其为背景区域并置此区域内像素点的RGB三通道的值都为0；

其中和/>为根据目标设定的阈值。

作为本发明方法的一种优选方案，所述对目标的双目图像进行立体匹配时，每个像素点(x,y)对应视差d的匹配代价C(x,y,d)由灰度匹配算子C_I(x,y，d)和极线匹配算子C_P(x，y，d)综合得到，计算表达式如下：

C(x，y，d)＝C_I(x，y，d)+σ·C_P(x,y,d)

其中，σ为极线匹配算子的权重系数。

作为本发明方法的一种优选方案，所述灰度匹配算子C_I(x,y,d)和极线匹配算子C_P(x,y,d)计算表达式具体如下：

其中：W表示以(x,y)为中心匹配点的匹配窗口，I_l(x,y)和I_r(x,y)分别表示左图和右图中像素点(x,y)对应的灰度值，P_l(x,y)和P_r(x,y)分别表示左图和右图中像素点(x,y)的极线距离变化值；假设x_L和x_R分别为(x,y)所在极线和目标连通区域左交点和右交点的横坐标，则P(x,y)表达式为：

本发明还提出一种基于双目视觉的大型目标三维重建系统，包括：

双目图像获取模块，用于获取目标不同视角的双目图像；

缺失增强模块，用于对双目图像中的像素信息进行双阈值判断，定位信息缺失位置，利用张量补全算法对缺失像素进行信息增强；

目标提取模块，用于在信息增强之后的双目图像中对目标进行提取；

点云拼接模块，用于对目标的双目图像进行立体匹配，根据得到的深度图计算出局部点云信息，通过点云拼接还原出目标整体的三维结构。

相较于现有技术，本发明至少具有如下的有益效果：通过目标不同视角的双目图像进行三维重建，本发明基于双目视觉的三维重建技术能够有效克服因为环境变化对于重建效果的影响，利用张量补全技术增强目标因过度曝光和阴影产生的缺失像素信息，再对目标进行分割提取，解决了背景对于三维重建的干扰，提高了重建点云的效果。

进一步的，本发明通过布置四个双目相机模组获取目标不同视角的双目图像，四个双目相机模组拍摄部分组合后能够覆盖整个目标区域，设备布置过程简单，可操作性强，且测量设备为市面常见通用的双目相机模组，无须特殊定制，结合目标形状和尺寸以及相机视场角进行设备布置，能够最大化利用有效视角，避免设备冗余，具有良好的经济和应用价值。

进一步的，本发明采用的立体匹配算法综合考虑了双目图像中像素点的RGB信息和位置信息对于配准的影响，提高了弱纹理和重复纹理区域的匹配精度。

附图说明

图1本发明基于双目视觉的大型目标三维重建方法的整体流程图；

图2本发明双目相机模组布置位置示意图；

图3本发明对缺失像素进行信息增强的方法流程图；

图4本发明基于连通区域识别和像素色度检测的目标分割方法流程图；

图5本发明基于灰度匹配算子和极线匹配算子的立体匹配方法流程图。

具体实施方式

下面结合附图及实施例对本发明做进一步的详细说明。

参见图1，本发明基于双目视觉的大型目标三维重建方法，包括以下步骤：

步骤1)、如图2所示，在大型待测目标周围布置四个双目相机模组，以目标所在平面为x-y平面，以目标中心为原点建立空间直角坐标系，采用视场角为45°的双目相机模组，根据目标尺寸和形状确定x轴和y轴方向，计算第一个双目相机模组CAM1距离原点的距离l，于坐标点(0，l，0)处布置CAM1，使其光轴平行于y轴负向；顺时针旋转90°,布置双目相机模组CAM2，其坐标为(l，0，0),使其光轴平行于x轴负向；再次顺时针旋转90°布置双目相机模组CAM3，其坐标为(0，-l，0)，使其光轴平行于y轴正向；最后顺时针旋转90°布置双目相机模组CAM4，其坐标为(-l，0，0)，使其光轴平行于x轴正向。其中：

步骤2)、如图3所示，待重建大型目标处于自然光照条件下，双目相机在拍摄过程中会因为光照不均和局部光照强度过大产生小面积过度曝光和局部阴影。过曝光像素点和阴影区域像素点都会在一定程度上带来图像信息缺失的问题，这会造成后续立体匹配的误匹配率增高。为了在补全图像信息缺失的同时增强像素点局部特征，实施例先利用像素点RGB值和sobel算子的多阈值方法判断双目图像因为过度曝光或阴影产生的像素信息缺失。

设双目图像某一像素点的RGB值为(r,g,b)，在过度曝光或者有阴影的情况出现时，会出现：

(r,g,b)＜(r_min,g_min,b_min)

或

(r,g,b)＞(r_max,g_max,b_max)

其中(r_max,g_max,b_max)和(r_min,g_min,b_min)为预设的阈值。

根据多次实验结果对比，r_max,g_max,b_max均可以在[240,250]内选取，r_min,g_min,b_min均可以在[10,20]内选取。但是上述条件仅为判断信息缺失的必要非充分条件。为了增加判断条件的准确性，进一步的引入sobel算子检测区域的灰度变化情况：

设I(x,y)为像素点(x,y)的灰度值，和/>分别为像素点水平和竖直方向的灰度梯度，/>和/>的计算表达式如下：

如果标记该像素点为过度曝光或阴影处一点。

将标记像素点视为信息缺陷区域，将未标记视为信息完整区域。低秩张量补全模型为：

其中：χ和T是低n-模式张量，且：

其中：α_i满足α_i≥0且从而可以得到张量核范数最小化模型：

引入N个辅助变量M₁,...,M_N后模型为：

s.t.χ_Ω＝T_Ω

式中，λ＞0。

在计算得到χ和M_i之后，可以得到最终的图像信息补全结果。

步骤3)、如图4所示，考虑到复杂环境对于目标三维重建的干扰和立体匹配速度的影响，为了提高双目图像的配准率和减少整体运行的时间，首先对双目图像进行目标提取。相对于复杂背景而言，目标区域的纹理性通常较低，可以在图像边缘检测的基础上进行连通区域划分，去除背景上的一些噪点。利用canny算子将双目图像划分成各个不同大小的连通区域Ω_i，其中i＝1,2,3,..,n。如果Ω_i＜Ω_min，判断此连通区域处于复杂背景中，置此区域内像素点的RGB三通道的值都为0。对于背景中较大的连通区域Ω_i，首先在此区域像素点的RGB三通道值中选择主色通道M₀和对应辅色通道M₁与M₂。如果主色通道和目标区域主色通道不同，则直接判断该连通区域Ω_i为背景区域，置此区域内像素点的RGB三通道的值都为0；否则，设该区域内的像素点为(x_i,y_i)，其中i＝1,2,3,..,n，n为Ω_i内像素点的个数。

按下式计算主色道和两个辅色道之间的均方差和/>

如果且/>判断此连通区域为目标区域，否则判断其为背景区域并置此区域内像素点的RGB三通道的值都为0。

其中和/>为根据目标设定的阈值。

4)如图5所示，待测目标的图像经过图像信息增强和目标提取后，进一步对双目图像进行立体匹配以计算目标深度图。由于待测目标体积大以及目标处于自然光照条件下，因此目标表面像素点的纹理性的差异和变化可能无法保证立体匹配准确率，针对这种现象，提出灰度匹配算子和极线匹配算子，在立体匹配的过程中充分考虑到图像的RGB信息和像素点位置信息对于匹配代价的影响，一定程度上降低了因为双目相机模组的硬件条件和因为两个镜头之间相对位置而产生像素点投影信息不一致对立体匹配的干扰。

首先在目标提取的基础上计算每个像素点的极线距离变化值P(x,y)，

其中：x_L和x_R分别为(x,y)所在极线和目标连通区域左交点和右交点的横坐标。在此基础上计算每对匹配点之间的灰度匹配算子C_I(x,y，d)和极线匹配算子C_P(x，y，d)：

其中：W表示以(x，y)为中心匹配点的匹配窗口，I_l(x，y)和I_r(x，y)分别表示左图和右图中像素点(x，y)对应的灰度值，P_l(x，y)和P_r(x，y)分别表示左图和右图中像素点(x，y)的极线距离变化值。

在双目图像进行立体匹配时每个像素点(x，y)对应视差d的匹配代价C(x，y，d)由灰度匹配算子C_I(x，y，d)和极线匹配算子C_P(x，y，d)综合得到，计算表达式如下：

C(x，y，d)＝C_I(x，y，d)+σ·C_P(x，y，d)

其中：σ为极线匹配算子的权重系数。通常意义上，考虑到区域纹理性对于立体匹配的影响，弱纹理区域极线匹配算子的权重系数大于强纹理区域极线匹配算子的权重系数。

本发明通过双目视觉系统得到处于复杂环境和光照条件下目标的双目图像，利用RGB双阈值分割方法初步判断因过度曝光或阴影而导致的图像信息缺失部分，再利用张量补全法来对图像进行信息增强；然后利用基于canny算子的边缘检测算法和连通区域检测对目标进行提取，排除无关背景信息的影响；随后在目标提取的基础上对图像进行纹理区域划分，结合立体匹配算法计算得到目标的深度图，最后准确重建出目标三维结构。本发明方法使用常规的双目相机模组对进行拍摄，现场安装便捷，能够在不接触目标的情况之下进行对其进行三维重建，计算时间较快，能够适用于绝大多数环境下的大型目标三维重建。

以上所述的仅仅是本发明的较佳实施例，并不用以对本发明的技术方案进行任何限制，本领域技术人员应当理解的是，在不脱离本发明精神和原则的前提下，该技术方案还可以进行若干简单的修改和替换，这些修改和替换也均属于权利要求书所涵盖的保护范围之内。

Claims (5)

1.一种基于双目视觉的大型目标三维重建方法，其特征在于，包括以下步骤：

获取目标不同视角的双目图像；

对双目图像中的像素信息进行双阈值判断，定位信息缺失位置，利用张量补全算法对缺失像素进行信息增强；

在信息增强之后的双目图像中对目标进行提取；

对目标的双目图像进行立体匹配，根据得到的深度图计算出局部点云信息，通过点云拼接还原出目标整体的三维结构；

所述对双目图像中的像素信息进行双阈值判断，定位信息缺失位置的步骤包括：

由基于像素点RGB值和sobel算子的多阈值方法判断双目图像因为过度曝光或阴影产生的像素信息缺失，标记信息缺失点为(x_i,y_i)，其中i＝1,2,3,..,n；

所述基于像素点RGB值和sobel算子的多阈值方法的判断步骤包括：

设双目图像某一像素点的RGB值为(r,g,b)，在过度曝光或者有阴影的情况出现时出现：

(r,g,b)＞(r_min,g_min,b_min)

或

(r,g,b)＞(r_max,g_max,b_max)

其中，(r_max,g_max,b_max)和(r_min,g_min,b_min)为预设的阈值；

上述条件为判断信息缺失的必要非充分条件；

再引入sobel算子检测区域的灰度变化情况：

设I(x,y)为像素点(x,y)的灰度值，和/>分别为像素点水平和竖直方向的灰度梯度，存在以下关系式：

如果标记该像素点为过度曝光或阴影处的一点；

所述利用张量补全算法对缺失像素进行信息增强时采用低秩张量补全模型；

低秩张量补全模型表达式为：

其中：χ和T是低n-模式张量，且：

其中：α_i满足α_i≥0且从而得到张量核范数最小化模型表达式为：

引入N个辅助变量M₁,...,M_N后模型表达式为：

s.t.χ_Ω＝Τ_Ω

式中，λ＞0；

在计算得到χ和M_i之后，得到最终的图像信息补全结果；

所述在信息增强之后的双目图像中对目标进行提取包括以下步骤：

利用canny算子将双目图像划分成各个不同大小的连通区域Ω_i，其中i＝1,2,3,..,n；如果Ω_i＜Ω_min，判断此连通区域处于复杂背景中，置此区域内像素点的RGB三通道的值都为0；对于连通区域Ω_i，首先在此区域像素点的RGB三通道值中选择主色通道M₀和对应辅色通道M₁与M₂，如果主色道和目标区域的主色通道不同，则直接判断该连通区域Ω_i为背景区域，置此区域内像素点的RGB三通道的值都为0；否则，设该区域内的像素点为(x_i,y_i)，其中i＝1,2,3,..,n，n为Ω_i内像素点的个数，按下式计算主色道和两个辅色道之间的均方差和/>

如果且/>则判断此连通区域为目标区域，否则判断其为背景区域并置此区域内像素点的RGB三通道的值都为0；

其中和/>为根据目标设定的阈值。

2.根据权利要求1所述基于双目视觉的大型目标三维重建方法，其特征在于：通过布置四个双目相机模组获取目标不同视角的双目图像；

所述四个双目相机模组的布置方式为：

根据双目相机模组的视场角θ和目标的尺寸，以目标表面点最远距离L所在的直线为y轴，以目标中心为原点O建立空间直角坐标系，在坐标(0，l，0)处布置第一个双目相机模组CAM1，然后依次逆时针间隔90°布置其余三个双目相机模组CAM2、CAM3和CAM4；布置到位的四个双目相机模组拍摄部分组合后能够覆盖整个目标区域；其中：

3.根据权利要求1所述基于双目视觉的大型目标三维重建方法，其特征在于，所述对目标的双目图像进行立体匹配时，每个像素点(x,y)对应视差d的匹配代价C(x,y,d)由灰度匹配算子C_I(x,y,d)和极线匹配算子C_P(x,y,d)综合得到，计算表达式如下：

C(x,y,d)＝C_I(x,y,d)+σ·C_P(x,y,d)

其中，σ为极线匹配算子的权重系数。

4.根据权利要求3所述基于双目视觉的大型目标三维重建方法，其特征在于，所述灰度匹配算子C_I(x,y,d)和极线匹配算子C_P(x,y,d)计算表达式具体如下：

其中：W表示以(x,y)为中心匹配点的匹配窗口，I_l(x,y)和I_r(x,y)分别表示左图和右图中像素点(x,y)对应的灰度值，P_l(x,y)和P_r(x,y)分别表示左图和右图中像素点(x,y)的极线距离变化值；假设x_L和x_R分别为(x,y)所在极线和目标连通区域左交点和右交点的横坐标，则P(x,y)表达式为：

5.一种基于双目视觉的大型目标三维重建系统，其特征在于，包括：

双目图像获取模块，用于获取目标不同视角的双目图像；

缺失增强模块，用于对双目图像中的像素信息进行双阈值判断，定位信息缺失位置，利用张量补全算法对缺失像素进行信息增强；

目标提取模块，用于在信息增强之后的双目图像中对目标进行提取；

点云拼接模块，用于对目标的双目图像进行立体匹配，根据得到的深度图计算出局部点云信息，通过点云拼接还原出目标整体的三维结构；

所述对双目图像中的像素信息进行双阈值判断，定位信息缺失位置的步骤包括：

由基于像素点RGB值和sobel算子的多阈值方法判断双目图像因为过度曝光或阴影产生的像素信息缺失，标记信息缺失点为(x_i,y_i)，其中i＝1,2,3,..,n；

所述基于像素点RGB值和sobel算子的多阈值方法的判断步骤包括：

设双目图像某一像素点的RGB值为(r,g,b)，在过度曝光或者有阴影的情况出现时出现：

(r,g,b)＜(r_min,g_min,b_min)

或

(r,g,b)＞(r_max,g_max,b_max)

其中，(r_max,g_max,b_max)和(r_min,g_min,b_min)为预设的阈值；

上述条件为判断信息缺失的必要非充分条件；

再引入sobel算子检测区域的灰度变化情况：

设I(x,y)为像素点(x,y)的灰度值，和/>分别为像素点水平和竖直方向的灰度梯度，存在以下关系式：

如果标记该像素点为过度曝光或阴影处的一点；

所述利用张量补全算法对缺失像素进行信息增强时采用低秩张量补全模型；

低秩张量补全模型表达式为：

s.t.χ_Ω＝T_Ω

其中：χ和T是低n-模式张量，且：

其中：α_i满足α_i≥0且从而得到张量核范数最小化模型表达式为：

引入N个辅助变量M₁,...,M_N后模型表达式为：

s.t.χ_Ω＝Τ_Ω

式中，λ＞0；

在计算得到χ和M_i之后，得到最终的图像信息补全结果；

所述在信息增强之后的双目图像中对目标进行提取包括以下步骤：

利用canny算子将双目图像划分成各个不同大小的连通区域Ω_i，其中i＝1,2,3,..,n；如果Ω_i＜Ω_min，判断此连通区域处于复杂背景中，置此区域内像素点的RGB三通道的值都为0；对于连通区域Ω_i，首先在此区域像素点的RGB三通道值中选择主色通道M₀和对应辅色通道M₁与M₂，如果主色道和目标区域的主色通道不同，则直接判断该连通区域Ω_i为背景区域，置此区域内像素点的RGB三通道的值都为0；否则，设该区域内的像素点为(x_i,y_i)，其中i＝1,2,3,..,n，n为Ω_i内像素点的个数，按下式计算主色道和两个辅色道之间的均方差和/>

如果且/>则判断此连通区域为目标区域，否则判断其为背景区域并置此区域内像素点的RGB三通道的值都为0；

其中和/>为根据目标设定的阈值。