CN114998532B - 一种基于数字图像重建的三维影像视觉传达优化方法 - Google Patents

Abstract

本发明公开了一种基于数字图像重建的三维影像视觉传达优化方法，属于三维重建技术领域，具体包括以下步骤：通过平行设置的两台摄像机获取目标物体的初始二维图像，对初始二维图像进行预处理获得二维图像；通过标定板对摄像机进行立体标定，对二维图像进行畸变校正；通过线性变换使左图像和右图像的极线处于同一水平线；若存在像素点在两次立体匹配中获得的匹配像素点不同，则该像素点为遮挡点，对遮挡点进行填充；根据左右图像素点二维坐标计算匹配点对在目标物体中的三维坐标，根据三维坐标在三维立体空间中建立目标物体的三维模型；本发明实现了双目视觉三维重建过程中的遮挡点的检测与填充。

Description

一种基于数字图像重建的三维影像视觉传达优化方法

技术领域

本发明涉及三维重建技术领域，具体涉及一种基于数字图像重建的三维影像视觉传达优化方法。

背景技术

基于数字图像的三维重建技术是通过视觉传感器（一台或多台摄像机） 获取图像序列，进而进行三维重建的一种技术。这种技术通过提取图像序列中有用的信息，对这些信息进行逆向工程的建模，从而重建出物体的三维结构模型。该方法的优点是能够应用于各种复杂的环境中，对主动视觉法具有很好的补足。另外，它具有价格较低，操作简单，实时性较高，对光照要求较低以及对场景没有要求的优点，容易实现。近几年，人们投入大量精力用于被动视觉方法的研究上，根据摄像机数量的不同，被动视觉的三维重建技术可以分为单目视觉、双目视觉和多目视觉。

双目视觉的工作原理来源于人类的双目视觉系统，也就是说从不同的视角通过两个相同的摄像机捕获同一个位置下的左右两侧图像，然后再利用三角测量原理获取物体的深度信息，通过这些深度信息重建出物体的三维模型，双目视觉广泛应用于自动驾驶、机器人导航、三维重建、精密工业测量、人脸识别、虚拟现实、地理勘测、无人机等领域；目前，基于双目视觉的三维重建方法是三维重建技术中的热点和难点。

由于摄像机角度或者目标物体本身特征的干扰，双目视觉图像中存在某些被遮挡的像素点，遮挡点只能在一个摄像机中成像，而在另一幅摄像机图像中不存在匹配像素点，因此在匹配过程中必然会出现错误匹配，继而形成错误的视差图和深度图，产生误匹配幻影。

发明内容

本发明的目的在于提供一种基于数字图像重建的三维影像视觉传达优化方法，解决以下技术问题：

（1）双目视觉图像中存在某些被遮挡的像素点，遮挡点只能在一个摄像机中成像，而在另一幅摄像机图像中不存在匹配像素点，因此在匹配过程中必然会出现错误匹配，继而形成错误的视差图和深度图，产生误匹配幻影，需要对遮挡点进行检测和填充。

本发明的目的可以通过以下技术方案实现：

一种基于数字图像重建的三维影像视觉传达优化方法，包括以下步骤：

通过平行设置的两台摄像机获取目标物体的初始二维图像，对所述初始二维图像进行预处理获得二维图像，所述二维图像包括左图像和右图像；

通过标定板对摄像机进行立体标定，获得摄像机的内参数矩阵、外参数矩阵和畸变参数，根据畸变参数和内参数矩阵对二维图像进行畸变校正；

对畸变校正后的左图像和右图像进行立体校正，通过线性变换使左图像和右图像的极线处于同一水平线；

对立体校正后的左图像和右图像进行初次立体匹配获得初始视差图，再将左图像和右图像对调进行二次立体匹配，若存在像素点在两次立体匹配中获得的匹配像素点不同，则该像素点为遮挡点，否则为有效像素点，收集遮挡点周围的有效像素点并对遮挡点进行填充，获得完整的视差图；

获取左图像中和右图像中所有像素点与对应匹配像素点的二维坐标，根据所述二维坐标获取目标物体各点的三维坐标，根据所述三维坐标在三维立体空间中建立所述目标物体的三维模型。

作为本发明进一步的方案：所述立体匹配的过程为：

将左图像中任一像素点命名为待匹配点，以所述待匹配点为中心建立左窗口Dl，所述左窗口Dl的像素大小为v*v，v为正奇数，获取所述左窗口Dl内所有像素点的灰度值，获取所述待匹配点所在极线，沿所述极线根据视差由小到大逐点获取右图像中的右窗口Dr₁，Dr₂，…，Dr_n，n为正整数，所有右窗口均与左窗口Dl像素尺寸相同，分别获取所有右窗口内所有像素点的灰度值，将左窗口Dl依次与所有右窗口进行叠加，分别计算所述左窗口Dl与右窗口Dr₁，Dr₂，…，Dr_n中重叠像素点的灰度值的差值，获取所述灰度值的差值的绝对值之和，提取数值最小的所述绝对值之和对应的右窗口，则该右窗口中心像素点为待匹配点的匹配像素点，根据待匹配点与匹配像素点的视差值，建立左图像相对于右图像的初始视差图。

作为本发明进一步的方案：所述立体匹配遮挡点检测的过程为：

将左图像与右图像进行对调，对调后的左右图像进行二次立体匹配，获得右图像相对于左图像的初始视差图，获取对调前初次立体匹配时左图像中的点q与右图像中匹配点q₁的视差值d₁，获取对调后右图像中点q₁与左图像中新匹配点q₂的视差值d₂，若|d₁-d₂|>c，c为预设阈值，则点q为无效像素点，标记为遮挡点，否则为有效像素点。

作为本发明进一步的方案：其特征在于，选定所述遮挡点，以所述遮挡点为中心向外等角度发射8条射线，获取每条射线接触的第一个有效像素，获取8个有效像素的视差值，提取视差值中的次最小值对遮挡点进行填充。

作为本发明进一步的方案：所述预处理的过程包括：

获取二维图像，将二维图像分割成像素块重叠的图像块，获取任一图像块与其余图像块之间的MSE和MAPE，根据MSE和MAPE对图像块进行非支配排序，将排序靠前的k个图像块组成矩阵，k为正整数，使用若干个的λ值对矩阵的奇异值进行软阈值收缩，λ为预设值，获得低秩矩阵，获取所述低秩矩阵的奇异值，将低于预设阈值的奇异值所对应的图像块信息过滤，将得到的降噪图像块重组为二维图像。

作为本发明进一步的方案：对所述摄像头进行立体标定的过程包括：

在摄像头前方设置标定板，标定板与摄像头图像平面平行，移动标定板并拍摄若干张图像，检测图像上的标定点在左右图像中的视差，获取内参数矩阵、外参数矩阵和畸变参数的闭式解，将所述闭式解作为初始值，通过极大似然估计方法对闭式解进行优化，得出内参数矩阵、外参数矩阵和畸变参数的最终解，所述外参数矩阵包括旋转矩阵R和平移矩阵T。

作为本发明进一步的方案：所述立体校正的过程为：

将右图像平面相对于左图像平面的旋转矩阵分解成两个矩阵Rl和Rr，将左右摄像机各旋转半圈，使得左右摄像机的光轴平行，构造变换矩阵R_rect使得基线与成像平面平行，通过合成旋转矩阵与变换矩阵相乘获得左右摄像机的整体旋转矩阵，左右摄像机坐标系乘以各自的整体旋转矩阵，于是左右摄像机的主光轴平行，且成像平面与基线平行。

作为本发明进一步的方案：所述构造变换矩阵R_rect的过程为：

构造左图像极点e₁，变换矩阵将左图像极点变换到无穷远处，则使极线达到水平，通过e₁与主光轴方向的叉积并归一化获得右图像极点e₂方向，e₂方向与主光轴方向正交，沿图像方向与e₁垂直，将e₁和e₂进行叉积运算获得e₃，矩阵R_rect公式如下：

，T为平移矩阵。

作为本发明进一步的方案：获取目标物体的三维坐标的具体过程为：

对于目标物体上的任意一点P在左图像中的成像点坐标p_l(x₁，y₁)，获取点P在右图像中的成像点坐标p_r(x₂，y₂)，则点P在空间中的三维坐标(X₁，Y₁，Z₁)通过下列公式获取：

，

其中a_x、a_y、u₀和v₀为摄像机的内部参数，d为两台摄像机光心之间的距离。

本发明的有益效果：

本发明通过双目视觉图像对目标物体进行三维重建，通过对二维图像进行降噪预处理以及局部区域扫描式的立体匹配，实现了快速获得物体左右图像的低噪点视差图；并通过两次立体匹配，根据匹配的可逆性，检测出遮挡点，避免了匹配过程中出现的错误匹配；并根据遮挡点背景像素的特性，选择周围有效像素中的次最小视差值对遮挡点进行填充，获得了完整的视差图，于是获得了目标物体在左右图像中成像点的匹配关系，以此建立目标物体的三维模型。

附图说明

下面结合附图对本发明作进一步的说明。

图1是本发明的流程示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。

请参阅图1所示，本发明为一种基于数字图像重建的三维影像视觉传达优化方法，其特征在于，包括以下步骤：

通过平行设置的两台摄像机获取目标物体的初始二维图像，对所述初始二维图像进行预处理获得二维图像，所述二维图像包括左图像和右图像；

通过标定板对摄像机进行立体标定，获得摄像机的内参数矩阵、外参数矩阵和畸变参数，根据畸变参数和内参数矩阵对二维图像进行畸变校正；

对畸变校正后的左图像和右图像进行立体校正，通过线性变换使左图像和右图像的极线处于同一水平线；

对立体校正后的左图像和右图像进行初次立体匹配获得初始视差图，再将左图像和右图像对调进行二次立体匹配，若存在像素点在两次立体匹配中获得的匹配像素点不同，则该像素点为遮挡点，否则为有效像素点，收集遮挡点周围的有效像素点并对遮挡点进行填充，获得完整的视差图；

获取左图像中和右图像中所有像素点与对应匹配像素点的二维坐标，根据所述二维坐标获取目标物体各点的三维坐标，根据所述三维坐标在三维立体空间中建立所述目标物体的三维模型。

目前，基于双目视觉的三维重建方法是三维重建技术中的热点和难点，由于摄像机角度或者目标物体本身特征的干扰，双目视觉图像中存在某些被遮挡的像素点，遮挡点只能在一个摄像机中成像，而在另一幅摄像机图像中不存在匹配像素点，因此在匹配过程中必然会出现错误匹配，继而形成错误的视差图和深度图，产生误匹配幻影；

本发明通过双目视觉对目标物体进行三维重建，首先通过平行的两台摄像机获取目标物体的左右图像，平行设置的摄像机虽不能完全实现成像面共面，但是能降低后续图像处理的计算量，然后通过预处理，对二维图像进行降噪处理，排除图像中不重要的数据和干扰，再对摄像机进行立体标定，获取两台摄像机的内参数和外参数，接着对二维图像进行立体校正，使左右图像的极线共线，成像面共面，从而便于对左右图像进行立体匹配，对左右图像进行两次立体匹配，提取在两次匹配中匹配像素点不同的像素点，则该像素点为遮挡点，获取该点周围的有效像素点进行填充，于是获得了完整的匹配图像，获取匹配点对在各自图像中的二维坐标，根据二维坐标计算该匹配点对在目标物体上的三维坐标，从而在三维空间中建立目标物体的模型；本发明实现了对双目视觉图像三维重建中出现的遮挡点自动检测和填充，避免了误匹配幻影对三维重建效果的影响。

在本发明的一种优选的实施例中，所述立体匹配的过程为：

将左图像中任一像素点命名为待匹配点，以所述待匹配点为中心建立左窗口Dl，所述左窗口Dl的像素大小为v*v，v为正奇数，获取所述左窗口Dl内所有像素点的灰度值，获取所述待匹配点所在极线，沿所述极线根据视差由小到大逐点获取右图像中的右窗口Dr₁，Dr₂，…，Dr_n，n为正整数，所有右窗口均与左窗口Dl像素尺寸相同，分别获取所有右窗口内所有像素点的灰度值，将左窗口Dl依次与所有右窗口进行叠加，分别计算所述左窗口Dl与右窗口Dr₁，Dr₂，…，Dr_n中重叠像素点的灰度值的差值，获取所述灰度值的差值的绝对值之和，提取数值最小的所述绝对值之和对应的右窗口，则该右窗口中心像素点为待匹配点的匹配像素点，根据待匹配点与匹配像素点的视差值，建立左图像相对于右图像的初始视差图；

双目视觉方法中的立体匹配是采用立体匹配算法得到校准后的图像与原图像的视差值，立体匹配是三维重建中最关键的一步，匹配问题的好坏决定着三维重建的效果和精度。

在本实施例的一种优选的情况中，所述立体匹配遮挡点检测的过程具体为：

将左图像与右图像进行对调，对调后的左右图像进行二次立体匹配，获得右图像相对于左图像的初始视差图，获取对调前初次立体匹配时左图像中的点q与右图像中匹配点q₁的视差值d₁，获取对调后右图像中点q₁与左图像中新匹配点q₂的视差值d₂，若|d₁-d₂|>c，c为预设阈值，则点q为无效像素点，标记为遮挡点，否则为有效像素点；

点q和点q₁为目标物体上的一点在左右图像中的一对成像点；初次立体匹配获得了左图像的视差图，把左右图像位置对调，再进行立体匹配获得右图像的视差图，对照左右视差图来看原匹配点对是否能够相互匹配成功，将c设定为1个像素点。

值得注意的是，选定所述遮挡点，以所述遮挡点为中心向外等角度发射8条射线，获取每条射线接触的第一个有效像素，获取8个有效像素的视差值，提取视差值中的次最小值对遮挡点进行填充；

对于遮挡区像素，因为其是背景像素，所以不能选择周围的前景像素视差值的，应该选择周围背景像素的视差值，由于背景像素视差值比前景像素小，所以在收集周围的有效视差值后，应选择次最小视差值。

在本发明的另一种优选的实施例中，所述预处理的过程包括：

获取二维图像，将二维图像分割成像素块重叠的图像块，获取任一图像块与其余图像块之间的MSE和MAPE，根据MSE和MAPE对图像块进行非支配排序，将排序靠前的k个图像块组成矩阵，k为正整数，使用若干个的λ值对矩阵的奇异值进行软阈值收缩，λ为预设值，获得低秩矩阵，获取所述低秩矩阵的奇异值，将低于预设阈值的奇异值所对应的图像块信息过滤，将得到的降噪图像块重组为二维图像；

通过MSE和MAPE对图像进行非支配排序，由于无噪声图像的对应矩阵一般是低秩矩阵，通过奇异值获取低秩矩阵，提高了图像的降噪效果，对三维重建的后续运算减少了干扰和计算量。

在本发明的另一种优选的实施例中，对所述摄像头进行立体标定的过程包括：

在摄像头前方设置标定板，标定板与摄像头图像平面平行，移动标定板并拍摄若干张图像，检测图像上的标定点在左右图像中的视差，获取内参数矩阵、外参数矩阵和畸变参数的闭式解，将所述闭式解作为初始值，通过极大似然估计方法对闭式解进行优化，得出内参数矩阵、外参数矩阵和畸变参数的最终解，所述外参数矩阵包括旋转矩阵R和平移矩阵T；

双目摄像机系统主要的任务就是测距，而视差求距离公式是在双目系统处于理想情况下推导的，但是在现实的双目立体视觉系统中，是不存在完全的共面行对准的两个摄像机图像平面的，所以要进行立体校正；内参矩阵各元素意义：一个像素物理尺寸的长与宽，焦距，图像物理坐标的扭曲因子，图像原点相对于光心成像点的纵横偏移量；外参矩阵：世界坐标系转换到摄像机坐标系的旋转矩阵R和平移矩阵T；畸变系数：包括摄像机的径向畸变系数切向畸变系数，径向畸变是因为透镜本身工艺的问题，切向畸变是由于安装问题带来的；

畸变校正的过程是将原图像像素坐标通过内参矩阵转化成摄像机坐标系，通过畸变参数校正图像的摄像机坐标，校正后通过内参矩阵将摄像机坐标转换成图像像素坐标，并根据原图像坐标的像素值赋值给新的图像坐标。

在本发明的另一种优选的实施例中，所述立体校正的过程为：

将右图像平面相对于左图像平面的旋转矩阵分解成两个矩阵Rl和Rr，将左右摄像机各旋转半圈，使得左右摄像机的光轴平行，构造变换矩阵R_rect使得基线与成像平面平行，通过合成旋转矩阵与变换矩阵相乘获得左右摄像机的整体旋转矩阵，左右摄像机坐标系乘以各自的整体旋转矩阵，于是左右摄像机的主光轴平行，且成像平面与基线平行；

双目校正就是将两个摄像头拍摄同一个物体的图像进行处理，使得同一个物体在左右图像中的大小一样，且水平在一条直线上，两个摄像机的光轴平行，成像点在左右图像上的高度一致，这也就是极线校正的目标，校正后做后续的立体匹配时，只需在同一行上搜索左右图像的匹配点即可，能使效率大大提高。

在本实施例的一种优选的情况中，所述构造变换矩阵R_rect的过程为：

构造左图像极点e₁，变换矩阵将左图像极点变换到无穷远处，则使极线达到水平，通过e₁与主光轴方向的叉积并归一化获得右图像极点e₂方向，e₂方向与主光轴方向正交，沿图像方向与e₁垂直，将e₁和e₂进行叉积运算获得e₃，矩阵R_rect公式如下：

，T为平移矩阵；

矩阵R_rect的构造方法是通过右摄像机相对于左摄像机的偏移矩阵T完成的。

在本发明的另一种优选的实施例中，所述获取目标物体的三维坐标的具体过程为：

对于目标物体上的任意一点P在左图像中的成像点坐标p_l(x₁，y₁)，获取点P在右图像中的成像点坐标p_r(x₂，y₂)，则点P在空间中的三维坐标(X₁，Y₁，Z₁)通过下列公式获取：

，

其中a_x、a_y、u₀和v₀为摄像机的内部参数，d为两台摄像机光心之间的距离；

在得到摄像机的内参数矩阵以后，只要再知道空间中任意一点投影到左右摄像机平面中的图像坐标，然后利用视差图就可以恢复空间中任意一点的三维坐标。

以上对本发明的一个实施例进行了详细说明，但所述内容仅为本发明的较佳实施例，不能被认为用于限定本发明的实施范围。凡依本发明申请范围所作的均等变化与改进等，均应仍归属于本发明的专利涵盖范围之内。

Claims (6)

1.一种基于数字图像重建的三维影像视觉传达优化方法，其特征在于，包括以下步骤：

通过平行设置的两台摄像机获取目标物体的初始二维图像，对所述初始二维图像进行预处理获得二维图像，所述二维图像包括左图像和右图像；

通过标定板对摄像机进行立体标定，获得摄像机的内参数矩阵、外参数矩阵和畸变参数，根据畸变参数和内参数矩阵对二维图像进行畸变校正；

对畸变校正后的左图像和右图像进行立体校正，通过线性变换使左图像和右图像的极线处于同一水平线；

对立体校正后的左图像和右图像进行初次立体匹配获得初始视差图，再将左图像和右图像对调进行二次立体匹配，若存在像素点在两次立体匹配中获得的匹配像素点不同，则该像素点为遮挡点，否则为有效像素点，收集遮挡点周围的有效像素点并对遮挡点进行填充，获得完整的视差图；

获取左图像中和右图像中所有像素点与对应匹配像素点的二维坐标，根据所述二维坐标获取目标物体各点的三维坐标，根据所述三维坐标在三维立体空间中建立所述目标物体的三维模型；

所述立体匹配的过程为：

将左图像中任一像素点命名为待匹配点，以所述待匹配点为中心建立左窗口Dl，所述左窗口Dl的像素大小为v*v，v为正奇数，获取所述左窗口Dl内所有像素点的灰度值，获取所述待匹配点所在极线，沿所述极线根据视差由小到大逐点获取右图像中的右窗口Dr₁，Dr₂，…，Dr_n，n为正整数，所有右窗口均与左窗口Dl像素尺寸相同，分别获取所有右窗口内所有像素点的灰度值，将左窗口Dl依次与所有右窗口进行叠加，分别计算所述左窗口Dl与右窗口Dr₁，Dr₂，…，Dr_n中重叠像素点的灰度值的差值，获取所述灰度值的差值的绝对值之和，提取数值最小的所述绝对值之和对应的右窗口，则该右窗口中心像素点为待匹配点的匹配像素点，根据待匹配点与匹配像素点的视差值，建立左图像相对于右图像的初始视差图；

所述立体匹配遮挡点检测的过程为：

将左图像与右图像进行对调，对调后的左右图像进行二次立体匹配，获得右图像相对于左图像的初始视差图，获取对调前初次立体匹配时左图像中的点q与右图像中匹配点q₁的视差值d₁，获取对调后右图像中点q₁与左图像中新匹配点q₂的视差值d₂，若|d₁-d₂|>c，c为预设阈值，则点q为无效像素点，标记为遮挡点，否则为有效像素点；

选定所述遮挡点，以所述遮挡点为中心向外等角度发射8条射线，获取每条射线接触的第一个有效像素点，获取8个有效像素点的视差值，提取视差值中的次最小值对遮挡点进行填充，获得完整视差图。

2.根据权利要求1所述的一种基于数字图像重建的三维影像视觉传达优化方法，其特征在于，所述预处理的过程包括：

获取二维图像，将二维图像分割成像素块重叠的图像块，获取任一图像块与其余图像块之间的MSE和MAPE，根据MSE和MAPE对图像块进行非支配排序，将排序靠前的k个图像块组成矩阵，k为正整数，使用若干个的λ值对矩阵的奇异值进行软阈值收缩，λ为预设值，获得低秩矩阵，获取所述低秩矩阵的奇异值，将低于预设阈值的奇异值所对应的图像块信息过滤，将得到的降噪图像块重组为二维图像。

3.根据权利要求1所述的一种基于数字图像重建的三维影像视觉传达优化方法，其特征在于，对所述摄像头进行立体标定的过程包括：

在摄像头前方设置标定板，标定板与摄像头图像平面平行，移动标定板并拍摄若干张图像，检测图像上的标定点在左右图像中的视差，获取内参数矩阵、外参数矩阵和畸变参数的闭式解，将所述闭式解作为初始值，通过极大似然估计方法对闭式解进行优化，得出内参数矩阵、外参数矩阵和畸变参数的最终解，所述外参数矩阵包括旋转矩阵R和平移矩阵T。

4.根据权利要求1所述的一种基于数字图像重建的三维影像视觉传达优化方法，其特征在于，所述立体校正的过程为：

将右图像平面相对于左图像平面的旋转矩阵R分解成两个矩阵Rl和Rr，将左右摄像机各旋转半圈，使得左右摄像机的光轴平行，构造变换矩阵R_rect使得基线与成像平面平行，通过合成旋转矩阵与变换矩阵相乘获得左右摄像机的整体旋转矩阵，左右摄像机坐标系乘以各自的整体旋转矩阵，于是左右摄像机的主光轴平行，且成像平面与基线平行。

5.根据权利要求4所述的一种基于数字图像重建的三维影像视觉传达优化方法，其特征在于，所述构造变换矩阵R_rect的过程为：

构造左图像极点e₁，变换矩阵将左图像极点变换到无穷远处，则使极线达到水平，通过e₁与主光轴方向的叉积并归一化获得右图像极点e₂方向，e₂方向与主光轴方向正交，沿图像方向与e₁垂直，将e₁和e₂进行叉积运算获得e₃，矩阵R_rect公式如下：

，T为平移矩阵。

6.根据权利要求1所述的一种基于数字图像重建的三维影像视觉传达优化方法，其特征在于，获取目标物体的三维坐标的具体过程为：

对于目标物体上的任意一点P在左图像中的成像点坐标p_l(x₁，y₁)，获取点P在右图像中的成像点坐标p_r(x₂，y₂)，则点P在空间中的三维坐标(X₁，Y₁，Z₁)通过下列公式获取：

，

其中a_x、a_y、u₀和v₀为摄像机的内部参数，d为两台摄像机光心之间的距离。

Images