CN116721109A - 一种双目视觉图像半全局匹配方法 - Google Patents

一种双目视觉图像半全局匹配方法 Download PDF

Info

Publication number
CN116721109A
CN116721109A CN202311009580.6A CN202311009580A CN116721109A CN 116721109 A CN116721109 A CN 116721109A CN 202311009580 A CN202311009580 A CN 202311009580A CN 116721109 A CN116721109 A CN 116721109A
Authority
CN
China
Prior art keywords
matching
points
image
point
parallax
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202311009580.6A
Other languages
English (en)
Other versions
CN116721109B (zh
Inventor
郑飞
郎斯喆
林贵成
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hefei Tuxun Electronic Technology Co ltd
Original Assignee
Hefei Tuxun Electronic Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hefei Tuxun Electronic Technology Co ltd filed Critical Hefei Tuxun Electronic Technology Co ltd
Priority to CN202311009580.6A priority Critical patent/CN116721109B/zh
Publication of CN116721109A publication Critical patent/CN116721109A/zh
Application granted granted Critical
Publication of CN116721109B publication Critical patent/CN116721109B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/757—Matching configurations of points or features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Evolutionary Computation (AREA)
  • Medical Informatics (AREA)
  • Databases & Information Systems (AREA)
  • Quality & Reliability (AREA)
  • Multimedia (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

本发明公开了一种双目视觉图像半全局匹配方法，属于半导体检测技术领域。由于现有的匹配方法不能适应芯片引脚等表面光滑的物体的检测，本发明的一种双目视觉图像半全局匹配方法，通过选取图像的特征点，再对待匹配图像进行两次特征点的匹配，去除掉一次匹配中的噪声点，进而保证了特征点与匹配点的对应性，从而有效去除匹配效果欠佳的匹配点，提高匹配精度。

Description

一种双目视觉图像半全局匹配方法
技术领域
本发明涉及半导体检测技术领域，更具体地说，涉及一种双目视觉图像半全局匹配方法。
背景技术
双目图像匹配是一种通过利用两个摄像头或相机捕获的图像，对两个视角的图像进行匹配和比较，从而推断场景的深度、距离和结构等信息的过程。通过几何关系和三角测量原理，可以根据图像间的视差（视点之间的差异）来估计物体的深度。
然而，在双目图像匹配中存在一些常见的挑战和问题。光照变化是一个常见的问题，因为不同视角的图像可能受到不同的光照条件影响，导致图像间的亮度和对比度差异。另一个挑战是遮挡，即当物体的一部分被其他物体或结构所遮挡时，匹配算法可能会受到影响。纹理缺失也会影响匹配的准确性，特别是在光滑或单调纹理的区域。
一种常见的匹配方法是使用多种特征描述子，如尺度不变特征变换（SIFT）或加速稳健特征（SURF）等，以提取具有丰富纹理和鲁棒性的特征点。但该两种方法不适用于在光滑表面提取特征点。
经检索，中国专利文献CN2019106148471，公开了一种双目视觉匹配代价聚合优化方法，采用census算法对左右图像进行匹配，计算出左图像在右图像中相应点视差范围内代价，获取到每个点视差范围内的代价数组；计算出每个点视差范围内的代价方差，进行代价聚合，结合掩码方案将误差代价进行排除，计算出每个点的聚合结果；最后通过分析聚合中数据的相关性，把代价聚合过程中无相关路径和同一条路径内数据进行拆分隔离，提高聚合实时性。但其仍未考虑当检测物品表面光滑，缺少特征信息时如何更精确的将左右两图像进行匹配。
发明内容
1.发明要解决的技术问题
由于芯片引脚表面光滑，缺少特征信息；且左右相机的图像种可能会出现轻微差异，进而会影响匹配精度从而影响结果的情况，本发明提供了一种双目视觉图像半全局匹配方法，提高图像匹配精度。
2.技术方案
为达到上述目的，本发明提供的技术方案为：
本发明的一种双目视觉图像半全局匹配方法，其步骤为，
步骤一、使用双目视觉检测设备的摄像头同时拍摄待测物体不同角度的两张照片；
步骤二、根据摄像头所拍图像的图像梯度方向和梯度强度选取其中一幅图像的特征点；
步骤三、以步骤二中选取的特征点为中心，扩展特征点邻域作为匹配窗口；
步骤四、在另一幅图像上选取搜索窗口，并找到与步骤二中特征点相对应的一次匹配点；
步骤五、计算一次匹配点视差，根据根据视差对所有特征点进行分组；
步骤六、对每一组特征点进行匹配，并计算二次匹配点视差；
步骤七、计算一次匹配点视差和二次匹配点视差的差值，选取差值最小的组别作为最终的匹配点。
3.有益效果
采用本发明提供的技术方案，与已有的公知技术相比，具有如下显著效果：
本发明的一种双目视觉图像半全局匹配方法，首先根据图像梯度值选取与周围环境差别较大的点作为特征点，能够有效的将芯片引脚与周边环境区别开，从而确保识别时的准确性。同时以特征点为中心扩展邻域作为匹配窗口，根据芯片引脚的特点，选择最佳的窗口大小，在两幅图像进行像素点匹配时，辅助特征点邻域的像素点进行判断，能够更加精确的找到匹配点。在单个特征点的匹配完成后，将特征点分组，进行二次匹配，去除掉一次匹配中的噪声点，进而保证了特征点与匹配点的对应性，从而有效去除匹配效果欠佳的匹配点，提高匹配精度。
附图说明
图1为本发明双目系统检测示意图；
图2为本发明相机左右图像和检测区域显像图；
图3为本发明一次匹配示意图；
图4为本发明二次匹配示意图；
图5本发明一次匹配结果显像图；
图6本发明二次匹配结果显像图。
具体实施方式
为进一步了解本发明的内容，结合附图和实施例对本发明作详细描述。
实施例
结合图1-图6，由于现有的匹配方法不能适应芯片引脚等表面光滑的物体的检测，本发明的一种双目视觉图像半全局匹配方法，通过选取图像的特征点，再对待匹配图像进行两次特征点的匹配，去除掉一次匹配中的噪声点，进而保证了特征点与匹配点的对应性，从而有效去除匹配效果欠佳的匹配点，提高匹配精度。图1中，P 1为左图特征点，P 2为右图特征点，视差即为P 1特征点的横坐标减去P 2特征点的横坐标，即P 1 x-P 2 x。
本发明的一种双目视觉图像半全局匹配方法，具体步骤如下：
步骤一、使用双目视觉检测设备的摄像头同时拍摄待测物体不同角度的两张照片，利用图1所示装置拍摄两张图片，其中左相机拍摄图片为左图，右相机拍摄图片为右图，本实施例中，从左图上提取特征点，将右图图像与左图进行匹配，下文以左图指特征点所在图像，右图指匹配点所在图像。
步骤二、根据摄像头所拍图像的图像梯度方向和梯度强度选取其中一幅图像的特征点；
先从指定区域截取图像，分别使用canny和sobel算子进行处理，得到边缘点和梯度图。Sobel算子只需要横向梯度算子，卷积核为
统计边缘点坐标，之后查询边缘点坐标的梯度值，若高于人工设定值（120）则保留该点，否则删除。其中梯度方向与匹配方向不同，所述特征点所在处图像梯度值大。本实施例选取图像边缘作为特征点，图像边缘点梯度值大，与背景区别明显，根据图像梯度值选取与周围环境差别较大的点作为特征点，能够有效的将芯片引脚与周边环境区别开，从而确保识别时的准确性。
步骤三、以步骤二中选取的特征点为中心，扩展特征点邻域作为匹配窗口；
以特征点为中心，向四周扩展邻域作为匹配窗口，匹配窗口大小根据待测物体的不同进行设定，本实施的匹配窗口为边长边长为5-11个像素大小的方形区域，而在本实施例中，匹配窗口最佳大小为边长为9个像素大小的方形区域。
步骤四、在另一幅图像上选取搜索窗口，并找到与步骤二中特征点相对应的一次匹配点；
根据特征点纵坐标确定搜索窗口的纵坐标，并按照匹配窗口的大小在搜索窗口沿横坐标方向依次比对像素点信息进行匹配。
根据公式（1）计算匹配结果，
（1）
式中，x，y为特征点的横纵坐标；x'，y'为另一图像上匹配位置与特征点的偏移值；T(.)表示特征点所在图像上点的像素值，I(.)代表匹配点所在图像上点的像素值；sqrt(.)表示根号；R为归一化方差。
对所有点进行匹配，每个左图特征点对应一个右图匹配点。由于一些环境上的外部因素，左右相机的图像会有微小的差异（参看图6左边界凹陷大小存在不同），这种差异会引入误差（理论上两张图应该是完全相同的）。
步骤五、计算一次匹配点视差，根据根据视差对所有特征点进行分组；
根据一次匹配点与特征点横坐标的差值计算视差，并将视差大小相同的特征点分为一组。本实施例中，左右图中特征点与匹配点的y坐标相同，x坐标不同，3d重建需要计算同一个点在左右图像上x坐标的差值，即视差。
步骤六、对每一组特征点进行匹配，并计算二次匹配点视差；
先根据每组特征点的坐标和匹配窗口的大小创建掩膜mask，屏蔽不需要的像素；
（2）
其中，u，v为完整图像坐标系下的横纵坐标，w为匹配窗口大小，|.|表示取绝对值，floor(.)表示向下取整。
再利用公式（3）依次对各组特征点进行匹配；
（3）
获得二次匹配点后，计算二次匹配点与特征点的视差。
步骤七、计算一次匹配点视差和二次匹配点视差的差值，选取差值最小的组别作为最终的匹配点。
本实施例以特征点为中心扩展邻域作为匹配窗口，根据芯片引脚的特点，选择最佳的窗口大小，在两幅图像进行像素点匹配时，辅助特征点邻域的像素点进行判断，能够更加精确的找到匹配点。在单个特征点的匹配完成后，将特征点分组，进行二次匹配，去除掉一次匹配中的噪声点，进而保证了特征点与匹配点的对应性，从而有效去除匹配效果欠佳的匹配点，提高匹配精度。
以上示意性的对本发明及其实施方式进行了描述，该描述没有限制性，附图中所示的也只是本发明的实施方式之一，实际的结构并不局限于此。所以，如果本领域的普通技术人员受其启示，在不脱离本发明创造宗旨的情况下，不经创造性的设计出与该技术方案相似的结构方式及实施例，均应属于本发明的保护范围。

Claims (10)

1.一种双目视觉图像半全局匹配方法，其特征在于，其步骤为，
步骤一、使用双目视觉检测设备的摄像头同时拍摄待测物体不同角度的两张照片；
步骤二、根据摄像头所拍图像的图像梯度方向和梯度强度选取其中一幅图像的特征点；
步骤三、以步骤二中选取的特征点为中心，扩展特征点邻域作为匹配窗口；
步骤四、在另一幅图像上选取搜索窗口，并找到与步骤二中特征点相对应的一次匹配点；
步骤五、计算一次匹配点视差，根据视差对所有特征点进行分组；
步骤六、对每一组特征点进行匹配，并计算二次匹配点视差；
步骤七、计算一次匹配点视差和二次匹配点视差的差值，选取差值最小的组别作为最终的匹配点。
2.根据权利要求1所述的一种双目视觉图像半全局匹配方法，其特征在于，所述的步骤二中，根据图像的梯度方向和梯度强度选取特征点，所述的梯度方向与匹配方向不同，所述特征点所在处图像梯度值大。
3.根据权利要求1所述的一种双目视觉图像半全局匹配方法，其特征在于，所述的步骤三中，所述的匹配窗口为边长为5-11个像素大小的方形区域。
4.根据权利要求1所述的一种双目视觉图像半全局匹配方法，其特征在于，所述的步骤四中，根据特征点纵坐标确定搜索窗口的纵坐标，并按照匹配窗口的大小在搜索窗口沿横坐标方向依次比对像素点信息进行匹配。
5. 根据权利要求4所述的一种双目视觉图像半全局匹配方法，其特征在于，根据公式（1）计算匹配结果，
（1）
式中，x，y为特征点的横纵坐标；x'，y'为另一图像上匹配位置与特征点的偏移值；T(.)表示特征点所在图像上点的像素值，I(.)代表匹配点所在图像上点的像素值；sqrt(.)表示根号；R为归一化方差。
6.根据权利要求1所述的一种双目视觉图像半全局匹配方法，其特征在于，所述的步骤五中，根据一次匹配点与特征点横坐标的差值计算视差，并将视差大小相同的特征点分为一组。
7. 根据权利要求1所述的一种双目视觉图像半全局匹配方法，其特征在于，所述的步骤六中，先根据每组特征点的坐标和匹配窗口的大小创建掩膜mask，屏蔽不需要的像素；
（2）
其中，x，y为特征点的横纵坐标；u，v为完整图像坐标系下的横纵坐标，w为匹配窗口大小，|.|表示取绝对值，floor(.)表示向下取整。
8. 根据权利要求7所述的一种双目视觉图像半全局匹配方法，其特征在于，所述步骤六中，创建掩膜mask后，利用公式（3）依次对各组特征点进行匹配；
（3）
获得二次匹配点后，计算二次匹配点与特征点的视差，T(.)表示特征点所在图像上点的像素值，I(.)代表匹配点所在图像上点的像素值，R为归一化方差。
9.根据权利要求2所述的一种双目视觉图像半全局匹配方法，其特征在于，利用canny和sobel算子处理所拍图像，得到边缘点和梯度图，查询边缘点坐标的梯度值，若高于设定值则保留该点为特征点。
10.根据权利要求3所述的一种双目视觉图像半全局匹配方法，其特征在于，所述匹配窗口最佳大小为边长为9个像素大小的方形区域。
CN202311009580.6A 2023-08-11 2023-08-11 一种双目视觉图像半全局匹配方法 Active CN116721109B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202311009580.6A CN116721109B (zh) 2023-08-11 2023-08-11 一种双目视觉图像半全局匹配方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202311009580.6A CN116721109B (zh) 2023-08-11 2023-08-11 一种双目视觉图像半全局匹配方法

Publications (2)

Publication Number Publication Date
CN116721109A true CN116721109A (zh) 2023-09-08
CN116721109B CN116721109B (zh) 2023-11-03

Family

ID=87864770

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202311009580.6A Active CN116721109B (zh) 2023-08-11 2023-08-11 一种双目视觉图像半全局匹配方法

Country Status (1)

Country Link
CN (1) CN116721109B (zh)

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103761739A (zh) * 2014-01-23 2014-04-30 武汉大学 一种基于半全局能量优化的影像配准方法
US20160227237A1 (en) * 2015-01-30 2016-08-04 Texas Instruments Incorporated Semi-global matching (smg) cost compression
WO2018086348A1 (zh) * 2016-11-09 2018-05-17 人加智能机器人技术（北京）有限公司 双目立体视觉系统及深度测量方法
US20190355138A1 (en) * 2018-05-21 2019-11-21 Facebook Technologies, Llc Dynamic structured light for depth sensing systems
CN110853087A (zh) * 2020-01-14 2020-02-28 长沙小钴科技有限公司 一种视差估计方法、装置、存储介质及终端
KR20200082854A (ko) * 2018-12-31 2020-07-08 광운대학교 산학협력단 스테레오 영상의 정합 방법 및 이를 수행하는 장치
WO2021118386A1 (ru) * 2019-12-10 2021-06-17 федеральное государственное автономное образовательное учреждение высшего образования "Московский физико-технический институт (национальный исследовательский университет)" Способ получения набора объектов трехмерной сцены
CN116188558A (zh) * 2023-04-27 2023-05-30 华北理工大学 基于双目视觉的立体摄影测量方法

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103761739A (zh) * 2014-01-23 2014-04-30 武汉大学 一种基于半全局能量优化的影像配准方法
US20160227237A1 (en) * 2015-01-30 2016-08-04 Texas Instruments Incorporated Semi-global matching (smg) cost compression
WO2018086348A1 (zh) * 2016-11-09 2018-05-17 人加智能机器人技术（北京）有限公司 双目立体视觉系统及深度测量方法
US20190355138A1 (en) * 2018-05-21 2019-11-21 Facebook Technologies, Llc Dynamic structured light for depth sensing systems
KR20200082854A (ko) * 2018-12-31 2020-07-08 광운대학교 산학협력단 스테레오 영상의 정합 방법 및 이를 수행하는 장치
WO2021118386A1 (ru) * 2019-12-10 2021-06-17 федеральное государственное автономное образовательное учреждение высшего образования "Московский физико-технический институт (национальный исследовательский университет)" Способ получения набора объектов трехмерной сцены
CN110853087A (zh) * 2020-01-14 2020-02-28 长沙小钴科技有限公司 一种视差估计方法、装置、存储介质及终端
CN116188558A (zh) * 2023-04-27 2023-05-30 华北理工大学 基于双目视觉的立体摄影测量方法

Also Published As

Publication number Publication date
CN116721109B (zh) 2023-11-03

Similar Documents

Publication Publication Date Title
KR101121034B1 (ko) 복수의 이미지들로부터 카메라 파라미터를 얻기 위한 시스템과 방법 및 이들의 컴퓨터 프로그램 제품
KR100513055B1 (ko) 변이지도 및 깊이지도의 융합을 통한 3차원 장면 모델생성 장치 및 그 방법
KR101175097B1 (ko) 파노라마 영상 생성 방법
CN109271937B (zh) 基于图像处理的运动场地标志物识别方法及系统
US20090167843A1 (en) Two pass approach to three dimensional Reconstruction
CN108470356B (zh) 一种基于双目视觉的目标对象快速测距方法
JP2018534698A (ja) Ｒｇｂｄカメラ姿勢のラージスケール判定のための方法およびシステム
CN111107337B (zh) 深度信息补全方法及其装置、监控系统和存储介质
CN110969667A (zh) 基于边缘特征的多光谱相机外参自校正算法
CN112509125A (zh) 一种基于人工标志物和立体视觉的三维重建方法
CN110956661A (zh) 基于双向单应矩阵的可见光与红外相机动态位姿计算方法
Kim et al. A novel line matching method based on intersection context
WO2023016082A1 (zh) 三维重建方法、装置、电子设备及存储介质
KR20090020251A (ko) 스테레오 카메라를 구비한 로봇의 물체 자세 인식 방법
Yuan et al. 3D reconstruction of background and objects moving on ground plane viewed from a moving camera
CN114998445A (zh) 一种图像稀疏点立体匹配方法
CN110675442A (zh) 一种结合目标识别技术的局部立体匹配方法及系统
KR100792172B1 (ko) 강건한 대응점을 이용한 기본행렬 추정 장치 및 그 방법
Kochi et al. 3D modeling of architecture by edge-matching and integrating the point clouds of laser scanner and those of digital camera
WO2019019160A1 (zh) 一种图像信息获取方法、图像处理设备及计算机存储介质
CN116721109B (zh) 一种双目视觉图像半全局匹配方法
JP2001153633A (ja) 立体形状検出方法および装置
Fahmy et al. Stereo vision based depth estimation algorithm in uncalibrated rectification
TWI595446B (zh) 擴充實境中基於深度攝影機之遮蔽邊緣品質改善方法
Hamzah et al. Software Calibration for Stereo Camera on Stereo Vision Mobile Robot using Tsai's Method

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant