CN113592791A

CN113592791A - 一种基于局部能量最小化的轮廓立体匹配方法及系统

Info

Publication number: CN113592791A
Application number: CN202110806568.2A
Authority: CN
Inventors: 李中伟; 张攀; 钟凯; 王从军; 史玉升
Original assignee: Huazhong University of Science and Technology
Current assignee: Huazhong University of Science and Technology
Priority date: 2021-07-16
Filing date: 2021-07-16
Publication date: 2021-11-02
Anticipated expiration: 2041-07-16
Also published as: CN113592791B

Abstract

本发明公开了一种基于局部能量最小化的轮廓立体匹配方法及系统，属于轮廓三维测量领域。首先对左右相机图像进行畸变校正和极线校正，然后对左相机图像轮廓进行初始轮廓提取及识别，针对每一个闭合轮廓计算出轮廓上每一个像素点的视差匹配能量矩阵，再从轮廓里第一个像素点向后遍历，计算出轮廓整体匹配能量，然后选取匹配能量最小的视差作为匹配点视差；从轮廓里最后一个像素点反向遍历，求解出能量最小的视差路径，即可得出对应的像素匹配点，实现轮廓立体匹配。本发明克服了由于相机视角与光照等因素的影响导致轮廓点匹配发生错误的问题，直接将左相机图像轮廓上的点与右相机图像轮廓上的点进行一一匹配，保证了轮廓点云重建数据的准确性。

Description

一种基于局部能量最小化的轮廓立体匹配方法及系统

技术领域

本发明属于轮廓三维测量领域，更具体地，涉及一种基于局部能量最小化的轮廓立体匹配方法及系统。

背景技术

目前在工业零件测量领域，基于计算机视觉的三维测量技术等发展迅速，可以快速的重建出零件表面的三维点云数据。

在工业零件轮廓三维测量方面，目前主要是先通过如面结构光、线结构光等技术重建出工业零件表面的所有三维点云数据，然后按照轮廓形状进行拟合，从而分析其准确尺寸，进行缺陷分析或工艺优化。面结构光等技术可以快速的重建出零件表面的所有三维点云数据，但由于相机离焦、轮廓周围光照不均匀、相机噪声等因素影响，轮廓附近像素点进行立体匹配时会产生较大误差，导致重建的点云在轮廓部分误差较大，难以进行精确的尺寸分析。

部分学者尝试直接在左右相机上图像提取轮廓，然后通过极线约束等进行立体匹配，重建出轮廓三维点云。这种方法可以直接重建出轮廓点云，方便进行轮廓三维尺寸分析，其精度取决于左右相机图像轮廓提取的精度与一致性。受相机离焦、光照不均匀等因素影响，轮廓区域实际上是一个渐变区域，左右相机图像提取的轮廓可能偏里或偏外，难以保持一致，导致匹配的像素点发生误差，重建的轮廓点云凹凸不平甚至严重偏离，误差较大。

为此，亟需一种能保证左右相机图像的轮廓匹配一致性的方法，保证左右相机图像上的轮廓像素点精准匹配。

发明内容

针对现有技术的缺陷，本发明提出了一种基于局部能量最小化的轮廓立体匹配方法及系统，其目的在于，基于左右轮廓的连续性与轮廓对应点周围的相似性，构建轮廓匹配能量模型。从而克服光照不均匀、相机视角不同等因素的影响，直接实现左右相机轮廓上像素点的精确匹配，保证轮廓三维点云数据重建的精确性。

为实现上述目的，本发明一方面提供了一种基于局部能量最小化的轮廓立体匹配方法，对待测对象使用双目立体视觉技术进行检测，包括以下步骤：

S1.根据预先标定的左、右相机的内外参数，对左、右相机获取的图像进行畸变校正和极线校正，保证左、右相机图像每一行相互对应；然后对左相机图像进行初始轮廓提取，获取左相机图像所有轮廓；

S2.对左相机图像所有轮廓进行识别判断，去除非目标轮廓，然后针对每一个轮廓运行S3，进行轮廓立体匹配；

S3.对轮廓的所有像素点进行顺时针排序，然后根据视差范围计算出轮廓上每一个像素点在视差范围内与右相机图像对应像素点的匹配能量；基于轮廓连续性原则，从第一个像素点向后遍历，计算出最后一个像素点与右相机图像对应像素点的匹配能量，然后从与右相机图像中选取匹配能量最小的像素点作为最后一个像素点的匹配点，从最后一个像素点的匹配点反向遍历，基于局部能量最小化原则，求解出匹配能量最小的视差路径，即可得出右相机图像中对应的像素匹配点，实现轮廓立体匹配。

优选地，对匹配后的左、右相机轮廓进行亚像素提取，实现亚像素级的轮廓立体匹配。

优选地，所述S3中匹配能量表示为：

E(C_ij)＝∑(C_g(p_li,p_rij)+w_rC_r(p_li,p_rij))

其中，E(C_ij)表示匹配能量，C_ij表示左相机和右相机对应像素点匹配点对，i∈[1,M]表示左相机轮廓上的像素点序号，M为左相机轮廓上的像素点数量，j∈[1,N]表示设定的视差范围序号，N为设定的视差范围数量；p_li表示左相机轮廓上的第i个像素点，p_rij为p_li所对应的右相机图像上的像素点；C_g(p_li,p_rij)表示左相机与右相机轮廓对应匹配像素点的局部灰度一致性，C_r(p_li,p_rij)表示左相机与右相机轮廓的内外一致性，w_r为对应的系数。

C_g(p_li,p_rij)定义如下式所示：

其中，(x_li,y_li)为左相机轮廓上的第i个像素点p_li的坐标，(x_rij,y_rij)为p_li所对应的右相机图像上视差为的dis_j的像素点p_rij的坐标，gray表示所对应点的灰度值，2w+1表示像素点所选局部窗口的尺寸。

C_r(p_li,p_rij)定义如下式所示：

其中，C_o(p(x_rij,y_rij))表示像素点p(x_rij,y_rij)是否在轮廓上，min与max为根据轮廓内部区域灰度值所预设的上下阈值。

最后一个像素点的匹配能量为：

其中，C_c(p_rij,p_r,i-1,j+t)为右相机图像轮廓的连续性，ω_c为所对应的连续性系数。

C_c(p_rij,p_r,i-1,j+t)定义如下式所示：

其中，x_rij表示p_rij的横坐标。

优选地，匹配能量最小的视差路径为：

d＝min(E_c(i,d1),E_c(i,d2),E_c(i,d3))

其中，d1＝x_r,i+1-x_li-1，d2＝x_r,i+1-x_li，d3＝x_r,i+1-x_li+1，x_rM＝x_lM+dis_k，dis_k为轮廓第M个点的视差。

本发明另一方面提供了一种基于局部能量最小化的轮廓立体匹配系统，包括：计算机可读存储介质和处理器；

所述计算机可读存储介质用于存储可执行指令；

所述处理器用于读取所述计算机可读存储介质中存储的可执行指令，执行本发明第一方面所述的基于局部能量最小化的轮廓立体匹配方法。

通过本发明所构思的以上技术方案，与现有技术相比，能够取得以下有益效果：

(1)传统方法提取左右相机图像轮廓时，由于相机视角与光照等因素的影响，提取出的轮廓可能偏内或偏外，导致匹配的轮廓本身发生错误。本发明通过左相机图像上提取出来的轮廓去寻找右相机图像上的轮廓对应点，能够保证左右相机图像轮廓提取的一致性。

(2)传统的轮廓像素点匹配一般采用极线约束，遍历极线上的所有像素点，找到对应的轮廓匹配点，容易发生匹配错误导致重建点云不连续。本发明直接将左相机图像轮廓上的点与右相机图像轮廓上的点进行一一匹配，保证了重建点云的连续性。

(3)本发明将右相机轮廓提取与匹配集成为一步，根据视差约束与轮廓图像膨胀操作确定右相机轮廓匹配范围，一定程度上可以降低运算负担。

附图说明

图1本发明实施例提供的基于局部能量最小化的轮廓立体匹配方法的步骤流程图；

图2为本发明实施例中基于局部能量最小化的对应点匹配步骤具体流程图；

图3为本发明实施例钣金件圆孔轮廓重建结果，(a)为左相机图像圆孔轮廓提取，(b)为右相机图像圆孔轮廓提取，(c)为重建结果。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。此外，下面所描述的本发明各个实施方式中所涉及到的技术特征只要彼此之间不构成冲突就可以相互组合。

实施例

如图1所示，本发明提供了一种基于局部能量最小化的轮廓立体匹配方法，包括以下步骤：

S1.根据预先标定的左右相机内外参数，对左右相机图像进行畸变校正和极线校正，保证左右相机图像每一行相互对应。然后在此基础上对左相机图像轮廓进行初始轮廓提取，获取左相机图像所有轮廓。

S2.对左相机图像轮廓进行识别判断，去除非目标轮廓，然后针对每一个闭合轮廓运行S3～S5，进行轮廓立体匹配。

S3.如图2所示，保证轮廓闭合，且对提取出的轮廓像素点进行顺时针排序，保证轮廓连续性。然后根据视差范围与轮廓匹配能量模型，计算出轮廓上每一个像素点在视差范围内的匹配能量；

设轮廓为C，轮廓的像素点数目为M，视差范围为N，则单个像素匹配能量模型，如下式所示：

E(C_ij)＝∑(C_g(p_li,p_rij)+w_rC_r(p_li,p_rij))

其中i∈[1,M]表示左相机轮廓上的像素点序号，j∈[1,N]表示设定的视差范围，p_li表示左相机图像轮廓上的第i个像素点，p_rij为p_li所对应的右相机图像上视差为的dis_j的像素点，函数C_g表示左相机与右相机对应匹配点的局部灰度一致性，函数C_r表示左相机与右相机图像的轮廓内外一致性，w_r为对应的系数。

函数C_g定义如下式所示：

函数C_r定义如下式所示：

则可得出一个匹配能量视差矩阵E_MN，其中E_ij＝E(C_ij)。

S4.基于轮廓连续性原则，从轮廓里第一个像素点向后遍历，计算出最后一个点的匹配能量，即轮廓整体匹配能量，然后选取匹配能量最小的像素点作为匹配点；

遍历每一行，按照轮廓整体匹配能量模型计算轮廓整体匹配能量，如下式所示：

其中函数C_c定义如下式所示，保证匹配轮廓的连续性：

然后遍历矩阵E_MN的最后一行，计算出最小值的下标k，作为轮廓第M个点的精确匹配点视差，即x_rM＝x_lM+dis_k。

S5.从轮廓里最后一个像素点反向遍历，基于局部能量最小化原则，求解出能量最小的视差路径，即可得出对应的像素匹配点。

根据上一步计算出的最后一行的像素点向上逐行遍历，选取出能量最小的视差路径，设右相机图像轮廓上第i+1个对应像素点为p_r,i+1，则第i个像素点对应的视差为d＝min(E_c(i,d1),E_c(i,d2),E_c(i,d3))，其中，

即第i个像素点的视差需要保证右相机图像上的匹配点能够处于上一个点的八邻域内，从而保证轮廓的连续性。

S6.对左右相机轮廓进行亚像素提取，实现亚像素级的轮廓立体匹配。图3为本发明实施例钣金件圆孔轮廓重建结果，(a)为左相机图像圆孔轮廓提取，(b)为右相机图像圆孔轮廓提取，(c)为重建结果。由图3中的(b)可以看出右相机图像轮廓可以很好地通过左相机轮廓一一对应寻找出来，表示了所提方法的稳定性；由图3中的(c)可以看出本发明所提方法可以保证重建轮廓点云的完整性，在上下边缘部分可以有效避免因匹配错误导致轮廓点云翘曲等现象的发生。

本领域的技术人员容易理解，以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims

1.一种基于局部能量最小化的轮廓立体匹配方法，对待测对象使用双目立体视觉技术进行检测，其特征在于，包括以下步骤：

S1.根据预先标定的左、右相机的内外参数，对左、右相机获取的图像进行畸变校正和极线校正，保证左、右相机图像每一行相互对应；然后提取左相机图像所有轮廓；

S3.对轮廓的所有像素点进行顺时针排序，从第一个像素点向后遍历，计算出最后一个像素点与右相机图像对应像素点的匹配能量，然后从与右相机图像中选取匹配能量最小的像素点作为最后一个像素点的匹配点，从最后一个像素点的匹配点反向遍历，基于局部能量最小化原则，求解出匹配能量最小的视差路径，即可得出右相机图像中对应的像素匹配点，实现轮廓立体匹配。

2.如权利要求1所述的一种基于局部能量最小化的轮廓立体匹配方法，其特征在于，所述S3中匹配能量表示为：

E(C_ij)＝∑(C_g(p_li,p_rij)+w_rC_r(p_li,p_rij))

3.如权利要求2所述的一种基于局部能量最小化的轮廓立体匹配方法，其特征在于，C_g(p_li,p_rij)定义如下式所示：

4.如权利要求2所述的一种基于局部能量最小化的轮廓立体匹配方法，其特征在于，C_r(p_li,p_rij)定义如下式所示：

5.如权利要求3所述的一种基于局部能量最小化的轮廓立体匹配方法，其特征在于，所述最后一个像素点的匹配能量为：

6.如权利要求5所述的一种基于局部能量最小化的轮廓立体匹配方法，其特征在于，C_c(p_rij,p_r,i-1,j+t)定义如下式所示：

其中，x_rij表示p_rij的横坐标。

7.如权利要求5所述的一种基于局部能量最小化的轮廓立体匹配方法，其特征在于，匹配能量最小的视差路径为：

d＝min(E_c(i,d1),E_c(i,d2),E_c(i,d3))

8.一种基于局部能量最小化的轮廓立体匹配系统，其特征在于，包括：计算机可读存储介质和处理器；

所述计算机可读存储介质用于存储可执行指令；

所述处理器用于读取所述计算机可读存储介质中存储的可执行指令，执行权利要求1至7任一项所述的基于局部能量最小化的轮廓立体匹配方法。