CN114877826B - 一种双目立体匹配三维测量方法、系统及存储介质 - Google Patents

一种双目立体匹配三维测量方法、系统及存储介质 Download PDF

Info

Publication number
CN114877826B
CN114877826B CN202210808505.5A CN202210808505A CN114877826B CN 114877826 B CN114877826 B CN 114877826B CN 202210808505 A CN202210808505 A CN 202210808505A CN 114877826 B CN114877826 B CN 114877826B
Authority
CN
China
Prior art keywords
matching
point
frame
search
matched
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202210808505.5A
Other languages
English (en)
Other versions
CN114877826A (zh
Inventor
严飞
吴迪
刘佳
于强
祁健
肖雨倩
路长秋
文杰
刘银萍
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanjing University of Information Science and Technology
Original Assignee
Nanjing University of Information Science and Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanjing University of Information Science and Technology filed Critical Nanjing University of Information Science and Technology
Priority to CN202210808505.5A priority Critical patent/CN114877826B/zh
Publication of CN114877826A publication Critical patent/CN114877826A/zh
Application granted granted Critical
Publication of CN114877826B publication Critical patent/CN114877826B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G01B11/25—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object
    • G01B11/254—Projection of a pattern, viewing through a pattern, e.g. moiré
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G06T7/85—Stereo camera calibration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G06T2207/10012—Stereo images

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种双目立体匹配三维测量方法、系统和存储介质，所述方法先获取待测量物体左右视图的绝对相位图，然后在左右视图中分别建立搜索框或待匹配框，待匹配框沿极线进行滑动查找，对搜索框和待匹配框进行边缘检测，若检测到匹配点为边缘点，则下一个匹配点开始进行全局搜索；找到匹配点的全部可信点后，下一个匹配点从其上一个匹配点的所有可信点中的最后一个点开始进行局部搜索，获取全部可信点，最后进行像素点匹配完成待测量物体的重建和测量；本发明的方法避免物体形状不一时获取的相位信息在边缘解相产生的误差，提高测量精度，操作简单，抗干扰性强，有着显著实际应用价值。

Description

一种双目立体匹配三维测量方法、系统及存储介质
技术领域
本发明涉及一种双目立体匹配三维测量方法，属于光学测量技术领域。
背景技术
近些年来，随着社会不断发展和工业生产水平不断提高，自动化行业通对物体进行三维测量和检查提出更高要求，而三维视觉成像技术作为计算机视觉的一个重要分支，其高效率和高精度能够满足自动化生产产测需求。结构光三维测量技术具备成本低、精度高、易于实现并具备非接触等多方面优势，在工业检测与生产具有广泛发展空间和实际应用价值。
专利“双目立体视觉三维测量方法及系统、服务器及存储介质”（CN110567398A）通过左右相机拍摄投影至待测物体表面发生形变的条纹图像，将左右图像上对应点的绝对相位差作为匹配代价，进行双目立体匹配，获得匹配视差图，根据视差原理，从视差图中恢复物体的三维形貌信息；虽然能够获取变形条纹的绝对相位进而恢复三维形貌，但未对出错的相位信息和边缘相位信息进行检查，在弱纹理的情况下会极大地影响测量精度，同时对于物体的边缘重建效果较差。
专利“一种快速相位匹配方法、存储介质和三维测量系统”（CN113074634A）根据相位图上的相位连续分布特性，利用待匹配图的相位梯度和邻近点相位拓扑关系，在极线搜索上进行了优化，能够快速地搜索到位相同名点；但该专利的粗略搜索和精细搜索都基于全图进行，搜索和匹配的时间较高，并且对于物体的边缘匹配效果较低。
发明内容
发明目的：本发明的目的是提供一种操作简单、抗干扰性强、测量精度高的双目立体匹配三维测量方法，本发明的第二目的是提供一种双目立体匹配三维测量系统。
技术方案：本发明所述的双目立体匹配三维测量方法包括如下步骤：
（1）获取待测量物体左右视图的绝对相位图，在左右视图中分别建立搜索框或待匹配框；
（2）待匹配框沿极线进行滑动查找，选取可信点，匹配的约束关系为搜索框和待匹配框中心绝对相位差；对搜索框和待匹配框进行边缘检测，若检测到匹配点为边缘点，则下一个匹配点开始进行全局搜索；找到匹配点的全部可信点后，下一个匹配点从其上一个匹配点的所有可信点中的最后一个点开始进行局部搜索；
（3）对所有可信点进行匹配代价计算和相位插值，获取亚像素匹配点；
（4）将左右视图中的像素点进行匹配，完成待测量物体的重建和测量。
进一步地，步骤（2）中所述对搜索框和待匹配框进行边缘检测的方法为，绝对相位值不大于0的点为边缘点。
进一步地，步骤（2）中，若所述约束关系不大于阈值，则待匹配框中心点为可信点；若所述约束关系大于阈值，则可信点全部找到，下一个匹配点进行局部搜索。
进一步地，步骤（1）中获取待测量物体的左右视图，进行立体校正和高斯滤波处理，减小绝对相位的噪声。
进一步地，步骤（3）的匹配代价计算方法为匹配框和搜索框绝对相位差的平方和，代价最小点为最佳匹配点。
进一步地，步骤（3）中对最佳匹配点进行相位线性插值。
进一步地，步骤（4）中通过对匹配后的像素点对进行视差计算并生成深度图完成待测量物体的重建和测量。
本发明所述的双目立体匹配三维测量系统，包括待测量物体、左相机、右相机、投影仪和立体匹配和测量单元；所述左相机和右相机采集经投影仪投射图像后的待测量物体左右视图，投影仪无须进行标定；所述立体匹配和测量单元采集所述左右视图，计算所述左右视图的绝对相位，建立搜索框和待匹配框进行滑动查找，对搜索框和待匹配框进行边缘检测，若检测到匹配点为边缘点，则下一个匹配点开始进行全局搜索；找到匹配点的全部可信点后，下一个匹配点从其上一个匹配点的所有可信点中的最后一个点开始进行局部搜索，获取可信点进行待测量物体的重建和测量。
有益效果：本发明与现有技术相比的优点在于：（1）用双目视觉的方法通过省去投影仪的复杂标定，减小非线性带来的误差，成本低廉、操作简单；（2）对每一个相位点进行过检查，避免物体形状不一时获取的相位信息在边缘解相产生的误差，提高测量精度，抗干扰性强；（3）匹配基元选择用绝对相位代替灰度值进行立体匹配，能更快和准确找到待匹配点；（4）基于绝对相位差的约束条件，进行全局结合局部的搜索，节约搜索的时间和资源，快速找出每一个待匹配点的所有可信点。
附图说明
图1为本发明的方法流程图。
图2为本发明实施例中的方法流程图。
图3为本发明实施例中的实验结果表。
图4为本发明的系统架构图。
具体实施方式
下面结合附图对本发明的技术方案作进一步说明。
如图1和图2所示，所述双目立体匹配三维测量方法，包括如下步骤：
（1）获取待测量物体左右视图的绝对相位图，在左右视图中分别建立搜索框或待匹配框，具体为：
获取待测量物体的左右视图，经过立体校正的左右视图进行高斯滤波处理来减小绝对相位的噪声，获取左右视图的绝对相位图。本实施例中将左视图作为待匹配图，建立3x3的BOX_L搜索框，在右视图中建立3x3的BOX_R待匹配框；在实际使用中，若以左相机为标定基准，则将左视图作为待匹配图，若以右相机为为标定基准，则将右视图作为待匹配图，搜索框和待匹配框的尺寸也可根据实际需求进行调整。
（2）搜索框或待匹配框沿极线进行滑动查找，选取可信点，匹配的约束关系为搜索框和待匹配框中心绝对相位差；对搜索框和待匹配框进行边缘检测，若检测到匹配点为边缘点，则下一个匹配点开始进行全局搜索；找到匹配点的全部可信点后，下一个匹配点从其上一个匹配点的所有可信点中的最后一个点开始进行局部搜索，具体为：
将经过上述处理的左右视图绝对相位在同一条极线去搜索匹配，待匹配框依次进行滑动查找，同时利用视差约束关系，使用全局结合局部的方式搜索来加快搜索来提高匹配效率。
对于视差约束将传统的距离关系用绝对相位差关系代替，传统灰度匹配在某一局部灰度值并非线性关系，只能用像素距离作为约束，即此处的约束关系可以描述为：
Figure 379526DEST_PATH_IMAGE002
其中，BOX_L(2,2) 为3x3搜索框的中心绝对相位值，BOX_R(2,2) 为3x3待匹配框的中心绝对相位值，d为绝对相位值之差。
由于被测物体轮廓处绝对相位信息会存在边缘噪声，为提高整幅图像的匹配准确率，对每一个搜索框和匹配框进行边缘检测，若存在绝对相位值不大于零，认为该点为边缘点或噪声点，下一个点开始使用全局搜索。本实施例中设定视差约束关系的阈值为0.5，若d≤0.5，认为待匹配框中心点即为所找的可信点；由于可信点在一定范围内，当d＞0.5，即认为是可信点全部找到，下一个匹配点减小搜索范围进行局部搜索，从上一个匹配点的所有可信点中的最后一个可信点开始进行搜索。
（3）对所有可信点进行匹配代价计算获取最佳匹配点，具体为：
通过使用误差平方和（SSD）算法对上述步骤找到的可信点进行匹配代价计算，找到代价最小点。其匹配代价计算方式为：
匹配代价计算方法为：
Figure 340529DEST_PATH_IMAGE004
其中BOX_L i (s,t) 为第i个窗口大小为(s,t)的待匹配框，BOX_R j (s,t) 为第j个窗口大小为(s,t)的搜索框，D(i,j) 为第i个待匹配框的第j个搜索框的匹配代价。搜索框本文大小设置的是(3x3)，则s,t∈[1,2,3]，i的大小为左视图的宽度大小减，j的大小取决于第i个待匹配框处的可信点多少，所以第i个待匹配框对应有j个搜索框。由于绝对相位是单调递增的，周围相位大小同中心点相位的大小很接近，故采用SSD匹配算法对左右匹配框和搜索框的绝对相位值计算差值平方和。然后遍历所有可信点的代价计算结果，匹配代价最小处的点即为最佳匹配点。
（4）对最佳匹配点进行相位插值，获取亚像素匹配点。
将上述找到最佳匹配点采用基于相位线性插值的亚像素级匹配来精细化结果，相位插值方法为：
Figure 113313DEST_PATH_IMAGE006
其中，X l 为左视图上的待匹配点，X r 与 X r+1 为右视像上的相邻点，绝对相位值 φ u (X r )＜φ u (X l )＜φ u (X r+1 ) ，在像素 X r 与 X r+1 间插值，计算 X l 在右视图中的亚像素匹配点X sub 。
（5）将左右视图中的像素点进行匹配，完成待测量物体的重建和测量。
最后左视图中的像素点与右视图中的亚像素点进行匹配后，求出非整数的视差值，最后计算三维坐标。上述中的 X r+1 -X r 为视差l，其中空间点的深度坐标计算为：
Figure 654016DEST_PATH_IMAGE008
其中z为深度信息，T X 为左右两个相机光心之间距离称为基线，f为焦距。
下面通过具体实验验证本发明所述方法。
采用本发明所述方法对精密小球模型进行测试，测试环境采用软件平台VisualStudio 2017，操作系统Windows10。硬件平台为Intel Corei5 10TH GEN。其中待测量的精密小球型号为：DS-LCB-D50.8GZ哑光面陶瓷球直径为50.8140mm，实验结果如图3所示。
如图4所示为本发明的双目立体匹配三维测量系统，包括待测量物体、左相机、右相机、投影仪和立体匹配和测量单元；左相机和右相机采集经投影仪投射图像后的待测量物体左右视图，无须对投影仪进行标定,其中o 1 u 1 v 1 、o 2 u 2 v 2 分别为左右相机像素坐标系，p 1 、p 2 为物体上的p点在左右相机成像平面上的点。
立体匹配和测量单元采集所述左右视图，计算所述左右视图的绝对相位，建立搜索框和待匹配框进行滑动查找，对搜索框和待匹配框进行边缘检测，绝对相位值不大于0的点为边缘点若检测到匹配点为边缘点，则下一个匹配点开始进行全局搜索；若中心绝对相位值不大于阈值，认为待匹配框中心点即为所找的可信点；由于可信点在一定范围内，中心绝对相位值大于阈值，即认为是可信点全部找到，下一个匹配点减小搜索范围进行局部搜索，从上一个匹配点的所有可信点中的最后一个可信点开始进行搜索。
立体匹配和测量单元中，找到匹配点的全部可信点后，通过匹配代价计算、相位插值、视差计算得到待测量物体的三维坐标，完成待测量物体的重建和测量。

Claims (10)

1.一种双目立体匹配三维测量方法，其特征在于，包括如下步骤：
（1）获取待测量物体左右视图的绝对相位图，在左右视图中分别建立搜索框或待匹配框；
（2）待匹配框沿极线进行滑动查找，选取可信点，匹配的约束关系为搜索框和待匹配框中心绝对相位差；对搜索框和待匹配框进行边缘检测，若检测到匹配点为边缘点，则下一个匹配点开始进行全局搜索；找到匹配点的全部可信点后，下一个匹配点从其上一个匹配点的所有可信点中的最后一个点开始进行局部搜索；
（3）对所有可信点进行匹配代价计算和相位插值，获取亚像素匹配点；
（4）将左右视图中的像素点进行匹配，完成待测量物体的重建和测量。
2.根据权利要求1所述的双目立体匹配三维测量方法，其特征在于，步骤（2）中所述对搜索框和待匹配框进行边缘检测的方法为，绝对相位值不大于0的点为边缘点。
3.根据权利要求1所述的双目立体匹配三维测量方法，其特征在于，步骤（2）中，若所述约束关系不大于阈值，则待匹配框中心点为可信点；若所述约束关系大于阈值，则可信点全部找到，下一个匹配点进行局部搜索。
4.根据权利要求1所述的双目立体匹配三维测量方法，其特征在于，步骤（1）中获取待测量物体的左右视图，进行立体校正和高斯滤波处理。
5.根据权利要求1所述的双目立体匹配三维测量方法，其特征在于，步骤（3）的匹配代价计算方法为匹配框和搜索框绝对相位差的平方和，代价最小点为最佳匹配点。
6.根据权利要求5所述的双目立体匹配三维测量方法，其特征在于，步骤（3）中对最佳匹配点进行相位线性插值。
7.根据权利要求1所述的双目立体匹配三维测量方法，其特征在于，步骤（4）中通过对匹配后的像素点对进行视差计算并生成深度图完成待测量物体的重建和测量。
8.一种双目立体匹配三维测量系统，其特征在于，包括待测量物体、左相机、右相机、投影仪和立体匹配和测量单元；
所述左相机和右相机采集经投影仪投射图像后的待测量物体左右视图；
所述立体匹配和测量单元采集所述左右视图，计算所述左右视图的绝对相位，建立搜索框和待匹配框进行滑动查找，对搜索框和待匹配框进行边缘检测，若检测到匹配点为边缘点，则下一个匹配点开始进行全局搜索；找到匹配点的全部可信点后，下一个匹配点从其上一个匹配点的所有可信点中的最后一个点开始进行局部搜索，获取可信点进行待测量物体的重建和测量。
9.根据权利要求8所述的双目立体匹配三维测量系统，其特征在于，所述立体匹配和测量单元对搜索框和待匹配框进行边缘检测的方法为：绝对相位值不大于0的点为边缘点。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1~7任一项所述的双目立体匹配三维测量方法。
CN202210808505.5A 2022-07-11 2022-07-11 一种双目立体匹配三维测量方法、系统及存储介质 Active CN114877826B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210808505.5A CN114877826B (zh) 2022-07-11 2022-07-11 一种双目立体匹配三维测量方法、系统及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210808505.5A CN114877826B (zh) 2022-07-11 2022-07-11 一种双目立体匹配三维测量方法、系统及存储介质

Publications (2)

Publication Number Publication Date
CN114877826A CN114877826A (zh) 2022-08-09
CN114877826B true CN114877826B (zh) 2022-10-14

Family

ID=82682708

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210808505.5A Active CN114877826B (zh) 2022-07-11 2022-07-11 一种双目立体匹配三维测量方法、系统及存储介质

Country Status (1)

Country Link
CN (1) CN114877826B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117975067A (zh) * 2024-03-29 2024-05-03 长春师范大学 基于图像空间信息的高精度图像立体匹配方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110567398A (zh) * 2019-09-02 2019-12-13 武汉光发科技有限公司 双目立体视觉三维测量方法及系统、服务器及存储介质
CN114136236A (zh) * 2020-09-04 2022-03-04 南京航空航天大学 一种结合极线约束的相位轮廓自适应投影测量方法
CN114332349A (zh) * 2021-11-17 2022-04-12 浙江智慧视频安防创新中心有限公司 一种双目结构光边缘重建方法、系统及存储介质

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9671566B2 (en) * 2012-06-11 2017-06-06 Magic Leap, Inc. Planar waveguide apparatus with diffraction element(s) and system employing same
CN103796004B (zh) * 2014-02-13 2015-09-30 西安交通大学 一种主动结构光的双目深度感知方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110567398A (zh) * 2019-09-02 2019-12-13 武汉光发科技有限公司 双目立体视觉三维测量方法及系统、服务器及存储介质
CN114136236A (zh) * 2020-09-04 2022-03-04 南京航空航天大学 一种结合极线约束的相位轮廓自适应投影测量方法
CN114332349A (zh) * 2021-11-17 2022-04-12 浙江智慧视频安防创新中心有限公司 一种双目结构光边缘重建方法、系统及存储介质

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
基于双目结构光的三维重建方法研究;张圣明;《中国优秀硕士学位论文全文数据库 信息科技辑》;20220415(第04期);第43-52页 *

Also Published As

Publication number Publication date
CN114877826A (zh) 2022-08-09

Similar Documents

Publication Publication Date Title
US8593524B2 (en) Calibrating a camera system
CN106780590B (zh) 一种深度图的获取方法及系统
Li et al. A multiple-camera system calibration toolbox using a feature descriptor-based calibration pattern
Wang et al. Robust active stereo vision using Kullback-Leibler divergence
US20090268214A1 (en) Photogrammetric system and techniques for 3d acquisition
KR20150112362A (ko) 깊이 센서의 깊이 보정을 위한 이미지 처리방법 및 그 장치
CN110672020A (zh) 一种基于单目视觉的立木高度测量方法
Dias et al. Registration and fusion of intensity and range data for 3D modelling of real world scenes
WO2018107427A1 (zh) 相位映射辅助三维成像系统快速对应点匹配的方法及装置
CN104794717A (zh) 一种基于双目视觉系统的深度信息对比方法
CN113008195A (zh) 一种基于空间点云的三维曲面距离测量方法及系统
CN114877826B (zh) 一种双目立体匹配三维测量方法、系统及存储介质
CN111353997A (zh) 一种基于条纹投影的实时三维面型缺陷检测方法
CN110487254B (zh) 一种用于rov的水下目标尺寸快速测量方法
CN109285210B (zh) 结合拓扑关系和极线约束的管路三维重建方法
Mavrinac et al. Calibration of dual laser-based range cameras for reduced occlusion in 3D imaging
Boukamcha et al. Robust auto calibration technique for stereo camera
KR20150119770A (ko) 카메라를 사용한 3차원 좌표 측정 장치 및 방법
CN114066976A (zh) 一种基于多视图约束的导管中心线匹配方法
Vera et al. Relevance of Accurately Determining the Center of Radial Distortion in 3-D Reconstruction
Bergamini et al. Fundamental Matrix: Digital Camera calibration and Essential Matrix parameters
Pedersini et al. Multi-camera parameter tracking
CN113551617B (zh) 基于条纹投影的双目双频互补三维面型测量方法
CN113686264B (zh) 一种基于极线几何的三维测量方法及系统
Yan et al. Calibration of camera intrinsic parameters using a single image

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant