CN113592791B - 一种基于局部能量最小化的轮廓立体匹配方法及系统 - Google Patents

一种基于局部能量最小化的轮廓立体匹配方法及系统 Download PDF

Info

Publication number
CN113592791B
CN113592791B CN202110806568.2A CN202110806568A CN113592791B CN 113592791 B CN113592791 B CN 113592791B CN 202110806568 A CN202110806568 A CN 202110806568A CN 113592791 B CN113592791 B CN 113592791B
Authority
CN
China
Prior art keywords
contour
matching
rij
point
pixel point
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110806568.2A
Other languages
English (en)
Other versions
CN113592791A (zh
Inventor
李中伟
张攀
钟凯
王从军
史玉升
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Huazhong University of Science and Technology
Original Assignee
Huazhong University of Science and Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Huazhong University of Science and Technology filed Critical Huazhong University of Science and Technology
Priority to CN202110806568.2A priority Critical patent/CN113592791B/zh
Publication of CN113592791A publication Critical patent/CN113592791A/zh
Application granted granted Critical
Publication of CN113592791B publication Critical patent/CN113592791B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Quality & Reliability (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

本发明公开了一种基于局部能量最小化的轮廓立体匹配方法及系统，属于轮廓三维测量领域。首先对左右相机图像进行畸变校正和极线校正，然后对左相机图像轮廓进行初始轮廓提取及识别，针对每一个闭合轮廓计算出轮廓上每一个像素点的视差匹配能量矩阵，再从轮廓里第一个像素点向后遍历，计算出轮廓整体匹配能量，然后选取匹配能量最小的视差作为匹配点视差；从轮廓里最后一个像素点反向遍历，求解出能量最小的视差路径，即可得出对应的像素匹配点，实现轮廓立体匹配。本发明克服了由于相机视角与光照等因素的影响导致轮廓点匹配发生错误的问题，直接将左相机图像轮廓上的点与右相机图像轮廓上的点进行一一匹配，保证了轮廓点云重建数据的准确性。

Description

一种基于局部能量最小化的轮廓立体匹配方法及系统
技术领域
本发明属于轮廓三维测量领域，更具体地，涉及一种基于局部能量最小化的轮廓立体匹配方法及系统。
背景技术
目前在工业零件测量领域，基于计算机视觉的三维测量技术等发展迅速，可以快速的重建出零件表面的三维点云数据。
在工业零件轮廓三维测量方面，目前主要是先通过如面结构光、线结构光等技术重建出工业零件表面的所有三维点云数据，然后按照轮廓形状进行拟合，从而分析其准确尺寸，进行缺陷分析或工艺优化。面结构光等技术可以快速的重建出零件表面的所有三维点云数据，但由于相机离焦、轮廓周围光照不均匀、相机噪声等因素影响，轮廓附近像素点进行立体匹配时会产生较大误差，导致重建的点云在轮廓部分误差较大，难以进行精确的尺寸分析。
部分学者尝试直接在左右相机上图像提取轮廓，然后通过极线约束等进行立体匹配，重建出轮廓三维点云。这种方法可以直接重建出轮廓点云，方便进行轮廓三维尺寸分析，其精度取决于左右相机图像轮廓提取的精度与一致性。受相机离焦、光照不均匀等因素影响，轮廓区域实际上是一个渐变区域，左右相机图像提取的轮廓可能偏里或偏外，难以保持一致，导致匹配的像素点发生误差，重建的轮廓点云凹凸不平甚至严重偏离，误差较大。
为此，亟需一种能保证左右相机图像的轮廓匹配一致性的方法，保证左右相机图像上的轮廓像素点精准匹配。
发明内容
针对现有技术的缺陷，本发明提出了一种基于局部能量最小化的轮廓立体匹配方法及系统，其目的在于，基于左右轮廓的连续性与轮廓对应点周围的相似性，构建轮廓匹配能量模型。从而克服光照不均匀、相机视角不同等因素的影响，直接实现左右相机轮廓上像素点的精确匹配，保证轮廓三维点云数据重建的精确性。
为实现上述目的，本发明一方面提供了一种基于局部能量最小化的轮廓立体匹配方法，对待测对象使用双目立体视觉技术进行检测，包括以下步骤：
S1.根据预先标定的左、右相机的内外参数，对左、右相机获取的图像进行畸变校正和极线校正，保证左、右相机图像每一行相互对应；然后对左相机图像进行初始轮廓提取，获取左相机图像所有轮廓；
S2.对左相机图像所有轮廓进行识别判断，去除非目标轮廓，然后针对每一个轮廓运行S3，进行轮廓立体匹配；
S3.对轮廓的所有像素点进行顺时针排序，然后根据视差范围计算出轮廓上每一个像素点在视差范围内与右相机图像对应像素点的匹配能量；基于轮廓连续性原则，从第一个像素点向后遍历，计算出最后一个像素点与右相机图像对应像素点的匹配能量，然后从与右相机图像中选取匹配能量最小的像素点作为最后一个像素点的匹配点，从最后一个像素点的匹配点反向遍历，基于局部能量最小化原则，求解出匹配能量最小的视差路径，即可得出右相机图像中对应的像素匹配点，实现轮廓立体匹配。
优选地，对匹配后的左、右相机轮廓进行亚像素提取，实现亚像素级的轮廓立体匹配。
优选地，所述S3中匹配能量表示为：
E(Cij)＝∑(Cg(pli,prij)+wrCr(pli,prij))
其中，E(Cij)表示匹配能量，Cij表示左相机和右相机对应像素点匹配点对，i∈[1,M]表示左相机轮廓上的像素点序号，M为左相机轮廓上的像素点数量，j∈[1,N]表示设定的视差范围序号，N为设定的视差范围数量；pli表示左相机轮廓上的第i个像素点，prij为pli所对应的右相机图像上的像素点；Cg(pli,prij)表示左相机与右相机轮廓对应匹配像素点的局部灰度一致性，Cr(pli,prij)表示左相机与右相机轮廓的内外一致性，wr为对应的系数。
Cg(pli,prij)定义如下式所示：
其中，(xli,yli)为左相机轮廓上的第i个像素点pli的坐标，(xrij,yrij)为pli所对应的右相机图像上视差为的disj的像素点prij的坐标，gray表示所对应点的灰度值，2w+1表示像素点所选局部窗口的尺寸。
Cr(pli,prij)定义如下式所示：
其中，Co(p(xrij,yrij))表示像素点p(xrij,yrij)是否在轮廓上，min与max为根据轮廓内部区域灰度值所预设的上下阈值。
最后一个像素点的匹配能量为：
其中，Cc(prij,pr,i-1,j+t)为右相机图像轮廓的连续性，ωc为所对应的连续性系数。
Cc(prij,pr,i-1,j+t)定义如下式所示：
其中，xrij表示prij的横坐标。
优选地，匹配能量最小的视差路径为：
d＝min(Ec(i,d1),Ec(i,d2),Ec(i,d3))
其中，d1＝xr,i+1-xli-1，d2＝xr,i+1-xli，d3＝xr,i+1-xli+1，xrM＝xlM+disk，disk为轮廓第M个点的视差。
本发明另一方面提供了一种基于局部能量最小化的轮廓立体匹配系统，包括：计算机可读存储介质和处理器；
所述计算机可读存储介质用于存储可执行指令；
所述处理器用于读取所述计算机可读存储介质中存储的可执行指令，执行本发明第一方面所述的基于局部能量最小化的轮廓立体匹配方法。
通过本发明所构思的以上技术方案，与现有技术相比，能够取得以下有益效果：
(1)传统方法提取左右相机图像轮廓时，由于相机视角与光照等因素的影响，提取出的轮廓可能偏内或偏外，导致匹配的轮廓本身发生错误。本发明通过左相机图像上提取出来的轮廓去寻找右相机图像上的轮廓对应点，能够保证左右相机图像轮廓提取的一致性。
(2)传统的轮廓像素点匹配一般采用极线约束，遍历极线上的所有像素点，找到对应的轮廓匹配点，容易发生匹配错误导致重建点云不连续。本发明直接将左相机图像轮廓上的点与右相机图像轮廓上的点进行一一匹配，保证了重建点云的连续性。
(3)本发明将右相机轮廓提取与匹配集成为一步，根据视差约束与轮廓图像膨胀操作确定右相机轮廓匹配范围，一定程度上可以降低运算负担。
附图说明
图1本发明实施例提供的基于局部能量最小化的轮廓立体匹配方法的步骤流程图；
图2为本发明实施例中基于局部能量最小化的对应点匹配步骤具体流程图；
图3为本发明实施例钣金件圆孔轮廓重建结果，(a)为左相机图像圆孔轮廓提取，(b)为右相机图像圆孔轮廓提取，(c)为重建结果。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。此外，下面所描述的本发明各个实施方式中所涉及到的技术特征只要彼此之间不构成冲突就可以相互组合。
实施例
如图1所示，本发明提供了一种基于局部能量最小化的轮廓立体匹配方法，包括以下步骤：
S1.根据预先标定的左右相机内外参数，对左右相机图像进行畸变校正和极线校正，保证左右相机图像每一行相互对应。然后在此基础上对左相机图像轮廓进行初始轮廓提取，获取左相机图像所有轮廓。
S2.对左相机图像轮廓进行识别判断，去除非目标轮廓，然后针对每一个闭合轮廓运行S3～S5，进行轮廓立体匹配。
S3.如图2所示，保证轮廓闭合，且对提取出的轮廓像素点进行顺时针排序，保证轮廓连续性。然后根据视差范围与轮廓匹配能量模型，计算出轮廓上每一个像素点在视差范围内的匹配能量；
设轮廓为C，轮廓的像素点数目为M，视差范围为N，则单个像素匹配能量模型，如下式所示：
E(Cij)＝∑(Cg(pli,prij)+wrCr(pli,prij))
其中i∈[1,M]表示左相机轮廓上的像素点序号，j∈[1,N]表示设定的视差范围，pli表示左相机图像轮廓上的第i个像素点，prij为pli所对应的右相机图像上视差为的disj的像素点，函数Cg表示左相机与右相机对应匹配点的局部灰度一致性，函数Cr表示左相机与右相机图像的轮廓内外一致性，wr为对应的系数。
函数Cg定义如下式所示：
其中，(xli,yli)为左相机轮廓上的第i个像素点pli的坐标，(xrij,yrij)为pli所对应的右相机图像上视差为的disj的像素点prij的坐标，gray表示所对应点的灰度值，2w+1表示像素点所选局部窗口的尺寸。
函数Cr定义如下式所示：
其中，Co(p(xrij,yrij))表示像素点p(xrij,yrij)是否在轮廓上，min与max为根据轮廓内部区域灰度值所预设的上下阈值。
则可得出一个匹配能量视差矩阵EMN，其中Eij＝E(Cij)。
S4.基于轮廓连续性原则，从轮廓里第一个像素点向后遍历，计算出最后一个点的匹配能量，即轮廓整体匹配能量，然后选取匹配能量最小的像素点作为匹配点；
遍历每一行，按照轮廓整体匹配能量模型计算轮廓整体匹配能量，如下式所示：
其中函数Cc定义如下式所示，保证匹配轮廓的连续性：
然后遍历矩阵EMN的最后一行，计算出最小值的下标k，作为轮廓第M个点的精确匹配点视差，即xrM＝xlM+disk。
S5.从轮廓里最后一个像素点反向遍历，基于局部能量最小化原则，求解出能量最小的视差路径，即可得出对应的像素匹配点。
根据上一步计算出的最后一行的像素点向上逐行遍历，选取出能量最小的视差路径，设右相机图像轮廓上第i+1个对应像素点为pr,i+1，则第i个像素点对应的视差为d＝min(Ec(i,d1),Ec(i,d2),Ec(i,d3))，其中，
即第i个像素点的视差需要保证右相机图像上的匹配点能够处于上一个点的八邻域内，从而保证轮廓的连续性。
S6.对左右相机轮廓进行亚像素提取，实现亚像素级的轮廓立体匹配。图3为本发明实施例钣金件圆孔轮廓重建结果，(a)为左相机图像圆孔轮廓提取，(b)为右相机图像圆孔轮廓提取，(c)为重建结果。由图3中的(b)可以看出右相机图像轮廓可以很好地通过左相机轮廓一一对应寻找出来，表示了所提方法的稳定性；由图3中的(c)可以看出本发明所提方法可以保证重建轮廓点云的完整性，在上下边缘部分可以有效避免因匹配错误导致轮廓点云翘曲等现象的发生。
本领域的技术人员容易理解，以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (7)

1.一种基于局部能量最小化的轮廓立体匹配方法，对待测对象使用双目立体视觉技术进行检测，其特征在于，包括以下步骤：
S1.根据预先标定的左、右相机的内外参数，对左、右相机获取的图像进行畸变校正和极线校正，保证左、右相机图像每一行相互对应；然后提取左相机图像所有轮廓；
S2.对左相机图像所有轮廓进行识别判断，去除非目标轮廓，然后针对每一个轮廓运行S3，进行轮廓立体匹配；
S3.对轮廓的所有像素点进行顺时针排序，从第一个像素点向后遍历，计算出最后一个像素点与右相机图像对应像素点的匹配能量，然后从与右相机图像中选取匹配能量最小的像素点作为最后一个像素点的匹配点，从最后一个像素点的匹配点反向遍历，基于局部能量最小化原则，求解出匹配能量最小的视差路径，即可得出右相机图像中对应的像素匹配点，实现轮廓立体匹配；所述匹配能量表示为：
E(Cij)＝∑(Cg(pli,prij)+wrCr(pli,prij))
其中，E(Cij)表示匹配能量，Cij表示左相机和右相机对应像素点匹配点对，i∈[1,M]表示左相机轮廓上的像素点序号，M为左相机轮廓上的像素点数量，j∈[1,N]表示设定的视差范围序号，N为设定的视差范围数量；pli表示左相机轮廓上的第i个像素点，prij为pli所对应的右相机图像上的像素点；Cg(pli,prij)表示左相机与右相机轮廓对应匹配像素点的局部灰度一致性，Cr(pli,prij)表示左相机与右相机轮廓的内外一致性，wr为对应的系数。
2.如权利要求1所述的一种基于局部能量最小化的轮廓立体匹配方法，其特征在于，Cg(pli,prij)定义如下式所示：
其中，(xli,yli)为左相机轮廓上的第i个像素点pli的坐标，(xrij,yrij)为pli所对应的右相机图像上视差为的disj的像素点prij的坐标，gray表示所对应点的灰度值，2w+1表示像素点所选局部窗口的尺寸。
3.如权利要求1所述的一种基于局部能量最小化的轮廓立体匹配方法，其特征在于，Cr(pli,prij)定义如下式所示：
其中，Co(p(xrij,yrij))表示像素点p(xrij,yrij)是否在轮廓上，min与max为根据轮廓内部区域灰度值所预设的上下阈值。
4.如权利要求1所述的一种基于局部能量最小化的轮廓立体匹配方法，其特征在于，所述最后一个像素点的匹配能量为：
其中，Cc(prij,pr,i-1,j+t)为右相机图像轮廓的连续性，ωc为所对应的连续性系数。
5.如权利要求4所述的一种基于局部能量最小化的轮廓立体匹配方法，其特征在于，Cc(prij,pr,i-1,j+t)定义如下式所示：
其中，xrij表示prij的横坐标。
6.如权利要求4所述的一种基于局部能量最小化的轮廓立体匹配方法，其特征在于，匹配能量最小的视差路径为：
d＝min(Ec(i,d1),Ec(i,d2),Ec(i,d3))
其中，d1＝xr,i+1-xli-1，d2＝xr,i+1-xli，d3＝xr,i+1-xli+1，xrM＝xlM+disk，disk为轮廓第M个点的视差。
7.一种基于局部能量最小化的轮廓立体匹配系统，其特征在于，包括：计算机可读存储介质和处理器；
所述计算机可读存储介质用于存储可执行指令；
所述处理器用于读取所述计算机可读存储介质中存储的可执行指令，执行权利要求1至6任一项所述的基于局部能量最小化的轮廓立体匹配方法。
CN202110806568.2A 2021-07-16 2021-07-16 一种基于局部能量最小化的轮廓立体匹配方法及系统 Active CN113592791B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110806568.2A CN113592791B (zh) 2021-07-16 2021-07-16 一种基于局部能量最小化的轮廓立体匹配方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110806568.2A CN113592791B (zh) 2021-07-16 2021-07-16 一种基于局部能量最小化的轮廓立体匹配方法及系统

Publications (2)

Publication Number Publication Date
CN113592791A CN113592791A (zh) 2021-11-02
CN113592791B true CN113592791B (zh) 2024-02-13

Family

ID=78248095

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110806568.2A Active CN113592791B (zh) 2021-07-16 2021-07-16 一种基于局部能量最小化的轮廓立体匹配方法及系统

Country Status (1)

Country Link
CN (1) CN113592791B (zh)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106296698A (zh) * 2016-08-15 2017-01-04 成都通甲优博科技有限责任公司 一种基于立体视觉的闪电三维定位方法
CN107909543A (zh) * 2017-12-27 2018-04-13 秦皇岛视听机械研究所 一种鱼眼双目视觉立体匹配空间定位方法
CN109903327A (zh) * 2019-03-04 2019-06-18 西安电子科技大学 一种稀疏点云的目标物尺寸测量方法
CN111354077A (zh) * 2020-03-02 2020-06-30 东南大学 一种基于双目视觉的三维人脸重建方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011253376A (ja) * 2010-06-02 2011-12-15 Sony Corp 画像処理装置、および画像処理方法、並びにプログラム

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106296698A (zh) * 2016-08-15 2017-01-04 成都通甲优博科技有限责任公司 一种基于立体视觉的闪电三维定位方法
CN107909543A (zh) * 2017-12-27 2018-04-13 秦皇岛视听机械研究所 一种鱼眼双目视觉立体匹配空间定位方法
CN109903327A (zh) * 2019-03-04 2019-06-18 西安电子科技大学 一种稀疏点云的目标物尺寸测量方法
CN111354077A (zh) * 2020-03-02 2020-06-30 东南大学 一种基于双目视觉的三维人脸重建方法

Also Published As

Publication number Publication date
CN113592791A (zh) 2021-11-02

Similar Documents

Publication Publication Date Title
CN111640157B (zh) 一种基于神经网络的棋盘格角点检测方法及其应用
CN102750697B (zh) 一种参数标定方法及装置
CN111784778B (zh) 基于线性求解非线性优化的双目相机外参标定方法和系统
CN109523595B (zh) 一种建筑工程直线棱角间距视觉测量方法
CN106960449B (zh) 基于多特征约束的异源配准方法
CN105654476B (zh) 基于混沌粒子群优化算法的双目标定方法
CN111210468A (zh) 一种图像深度信息获取方法及装置
CN105894574A (zh) 一种双目三维重建方法
CN108550166B (zh) 一种空间目标图像匹配方法
CN109472816B (zh) 一种点云配准方法
CN108269289A (zh) 一种相机参数标定的两步优化方法
CN112258455A (zh) 基于单目视觉检测零件空间位置的检测方法
CN109785370A (zh) 一种基于空间时间序列模型的弱纹理图像配准方法
CN116258722B (zh) 基于图像处理的桥梁建筑智能检测方法
CN116152068A (zh) 一种可用于太阳能板图像的拼接方法
CN115841517A (zh) 一种基于dic双圆交比的结构光标定方法和装置
CN116309026A (zh) 一种基于统计局部特征描述与匹配的点云配准方法及系统
CN109341588B (zh) 一种双目结构光三系统法视角加权的三维轮廓测量方法
CN108764343B (zh) 一种跟踪算法中的跟踪目标框的定位方法
CN117197241B (zh) 一种基于多目视觉的机器人末端绝对位姿高精度跟踪方法
CN113592791B (zh) 一种基于局部能量最小化的轮廓立体匹配方法及系统
CN104655041A (zh) 一种附加约束条件的工业零件轮廓线多特征提取方法
CN114877826B (zh) 一种双目立体匹配三维测量方法、系统及存储介质
CN113723432B (zh) 一种基于深度学习的智能识别、定位追踪的方法及系统
CN115507752A (zh) 基于平行环境元素的单目视觉测距方法和系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant