CN104794717A - 一种基于双目视觉系统的深度信息对比方法 - Google Patents
一种基于双目视觉系统的深度信息对比方法 Download PDFInfo
- Publication number
- CN104794717A CN104794717A CN201510203161.5A CN201510203161A CN104794717A CN 104794717 A CN104794717 A CN 104794717A CN 201510203161 A CN201510203161 A CN 201510203161A CN 104794717 A CN104794717 A CN 104794717A
- Authority
- CN
- China
- Prior art keywords
- vision system
- binocular vision
- image
- depth information
- characteristic element
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 23
- 238000003384 imaging method Methods 0.000 claims abstract description 10
- 238000000605 extraction Methods 0.000 claims description 7
- 230000003287 optical effect Effects 0.000 claims description 5
- 230000008569 process Effects 0.000 claims description 4
- 230000005484 gravity Effects 0.000 claims description 2
- 230000006698 induction Effects 0.000 claims description 2
- 239000002245 particle Substances 0.000 claims description 2
- 238000007689 inspection Methods 0.000 abstract description 6
- 230000007547 defect Effects 0.000 abstract 1
- 238000005516 engineering process Methods 0.000 description 6
- 238000005259 measurement Methods 0.000 description 3
- 238000001514 detection method Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000004519 manufacturing process Methods 0.000 description 2
- 239000011159 matrix material Substances 0.000 description 2
- 238000011084 recovery Methods 0.000 description 2
- 230000004075 alteration Effects 0.000 description 1
- 230000004888 barrier function Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 230000008878 coupling Effects 0.000 description 1
- 238000010168 coupling process Methods 0.000 description 1
- 238000005859 coupling reaction Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 230000013011 mating Effects 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0004—Industrial image inspection
- G06T7/0008—Industrial image inspection checking presence/absence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10004—Still image; Photographic image
- G06T2207/10012—Stereo images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20221—Image fusion; Image merging
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20228—Disparity calculation for image-based rendering
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30108—Industrial image inspection
- G06T2207/30164—Workpiece; Machine component
Landscapes
- Engineering & Computer Science (AREA)
- Quality & Reliability (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Image Analysis (AREA)
- Length Measuring Devices By Optical Means (AREA)
Abstract
本发明公开了一种基于双目视觉系统的深度信息对比方法，首先使用双目视觉系统对参考目标物成像，然后在双目图像上分别提取并匹配特征元，以此获取视差信息；再使用双目系统对待测目标物成像，提取并匹配特征元获取视差信息；最后直接对比前后两次获得的相同位置的特征元的视差信息来判断参考目标物和待测目标物的深度信息是否一致。本发明利用双目视觉系统，在省去摄像机标定和三维重建工作的前提下，实现了待测目标物与参考目标物深度信息的有效对比，可用于产品外形检验与表面缺陷检验。
Description
技术领域
本发明涉及视觉测量领域，尤其涉及一种基于双目视觉系统的深度信息对比方法，可用于产品外形检验与表面缺陷检验。
背景技术
现代工业智能化生产和检测时，经常需要获取工件的三维信息，但是由于工件的复杂性或者其他因素导致直接进行接触式测量存在极大困难；因此视觉测量成为解决该问题的关键技术之一，其中双目视觉技术以其简单的构造、低廉的成本和优越的性能而广泛应用于工业生产和检测中的工件外形检验与表面缺陷检验。
双目视觉系统属于仿真生物视觉系统，其原理是使用摄像机从不同角度对目标物成像，获得两幅二维图像，通过特征匹配获得同一物点在两个摄像机内成像的像点，并计算该物点在两幅图像中像点的视差信息，进而通过双目视觉系统中视差与深度的反比例关系获得物点的深度值，最后计算所有匹配物点的深度值并进行点云插值完成目标物的三维重建。传统的双目视觉技术通常包括七部分：二维图像获取、摄像机标定、特征提取、立体匹配、视差信息计算、反算深度信息和三维重建；其中摄像机的标定至关重要，其精度将直接严重影响后期根据视差信息反算物点深度值的精度，最终影响目标物深度恢复和三维重建效果。摄像机的标定其实就是获得空间中某一物点和该点映射到二维平面上的像点的映射关系，具体为确定摄像机的主点坐标、镜头焦距、横向畸变函数以及径向畸变函数等内部参数和旋转矩阵以及平移矩阵等外部参数。由此可见摄像机的标定是复杂而又精细的工作，准确的标定摄像机也成为了双目视觉技术的关键。
针对摄像机的精确标定，中国专利申请号201210324572.6的发明专利“双目立体视觉系统中场景立体深度与视差的关系建立方法”中公布了一种场景立体深度与视差关系的建立方法，其通过使用激光测距仪测定深度信息来准确标定摄像机，建立场景立体深度与视差的准确关系模型，从而实现场景立体深度的准确反算和三维重建。但是，该方法仍无法摆脱复杂的摄像机标定工作，双目视觉系统的标定仍然是阻碍其自身发展和大范围应用于工业生产与检测的壁垒。
发明内容
本发明要解决的技术问题是：在传统双目视觉系统中，摄像机的标定至关重要且复杂而精细，其标定精度将直接严重影响后期根据视差信息反算物点深度值的精度，最终影响目标物深度恢复和三维重建效果。本发明涉及的方法在完成待测物与参考目标物深度对比的同时，摆脱了双目视觉系统摄像机的标定过程；同时，根据深度与视差的反比例关系模型，直接通过视差来判断待测目标的深度信息相比参考目标物是否发生变化，达到工件外形检验与表面缺陷检验的目的。
本发明要解决其技术问题所采用的技术方案是：
1.一种基于双目视觉系统的深度信息对比方法，利用双目视觉系统在省去摄像机标定和三维重建工作的前提下，实现了待测目标物与参考目标物深度信息的有效对比，包括以下步骤：
(1)使用双目系统对参考目标物成像，得到双目图像A1、B1。
(2)对图像A1、B1进行预处理，包括去噪、平滑和锐化等，以便特征元提取。
(3)对预处理后的图像分别进行特征元提取，并根据约束准则进行特征元配准，获取参考目标物上物点在图像A1、B1中的视差信息。
(4)使用双目系统对待测目标物成像，得到双目图像A2、B2。
(5)对图像A2、B2进行预处理，包括去噪、平滑和锐化等，以便特征元提取。
(6)对预处理后的图像分别进行特征元提取，并根据匹配准则进行特征元配准，获取待测目标物上物点在图像A2、B2中的视差信息。
(7)对比步骤(3)和步骤(6)中获得的在图像A1和A2或者图像B1和B2中所有位置相同的特征元的视差信息是否相同，如果相同则说明待测目标物和参考目标物的深度一致，如果不相同则说明待测目标物和参考目标物的深度不一致。
所述步骤(1)和步骤(4)中所使用双目视觉系统可以是平行配置双目视觉系统，即两个摄像机的主光轴相互平行；也可以是非平行配置双目视觉系统，即两个摄像机的主光轴形成一定的夹角；也可以是主动式双目视觉系统，即利用特殊光源投射到目标物进行图像采集；还可以是被动式双目视觉系统，即利用自然光投射目标物进行图像采集；但是前后两次采集过程必须为同一双目视觉系统。
所述步骤(2)和步骤(5)中的特征元可分为特征质点、特征线条以及特征区域，具体为：角点、高曲率点、直线段、边缘、轮廓、闭合区域、特征结构以及统计特征如几何矩、重心等。
所述步骤(3)和步骤(6)中的约束准则包括极线约束准则、相似性约束准则、视差连续性约束准则、顺序约束准则、视差约束准则、互应性约束准则等。
本发明的原理是：一种基于双目视觉系统的深度信息对比方法，该方法依据深度信息与视差信息的关系模型，直接对比待测目标物与参考目标物中匹配物点的视差信息来判断待测目标物与参考目标的深度是否一致，从而摆脱了双目视觉技术的摄像机标定和三维重建工作。
本发明有如下优点：本发明涉及的方法在完成待测物与参考目标物深度对比的同时，摆脱了双目视觉系统摄像机的标定过程；同时，根据深度与视差的反比例关系模型，直接通过视差来判断待测目标的深度信息相比参考目标物是否发生变化，达到工件外形检验与表面缺陷检验的目的。
附图说明
图1为本发明的基本流程图；
图2为本发明涉及的一种典型的双目视觉系统工作原理示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚明白，结合本发明中涉及的一种典型的双目视觉系统，对本发明进一步详细说明。
附图2所示为平行配置双目视觉系统工作原理示意图，平行配置双目视觉系统中两个摄像机的主光轴相互平行，是最简单最典型的一种双目视觉系统。两摄像机光心C1和C2的连线为基线距b，Ol和Or分别为左右两幅图像的中心位置，在同一时刻空间中某一物点P(xc,yc,zc)在左右两摄像机图像平面中所成的投影分别为Pl(xc,yc)和Pr(xc,yc)。基于平行配置双目视觉系统的深度信息对比方法的具体实施方法如下：
(1)使用双目系统对参考目标物成像，得到双目图像A1、B1。
(2)对图像A1、B1进行预处理，包括去噪、平滑和锐化等，以便特征元提取。
(3)对预处理后的图像分别进行特征元提取，并根据约束准则进行特征元配准，获取参考目标物上物点在图像A1、B1中的投影；假设P0为其中一个配准的物点，其在图像A1、B1中的投影分别为P0l、P0r，P0l和P0r的位置坐标则记录着P0在两幅图像中投影的视差信息。
(4)使用双目系统对待测目标物成像，得到双目图像A2、B2。
(5)对图像A2、B2进行预处理，包括去噪、平滑和锐化等，以便特征元提取。
(6)对预处理后的图像分别进行特征元提取，并根据约束准则进行特征元配准，获取待测目标物上物点在图像A2、B2中的投影；假设P为其中一个配准的物点，其在图像A2、B2中的投影分别为Pl、Pr，Pl和Pr的位置坐标则记录着P在两幅图像中投影的视差信息。
(7)对比步骤(3)和步骤(6)中获得的在图像A1和A2或者图像B1和B2中位置相同的特征元的视差信息是否相同，如果相同则说明待测目标物和参考目标物的深度一致，如果不相同则说明待测目标物和参考目标物的深度不一致；同样假设P0与P分别在A1和A2的位置坐标相同即P0l＝Pl，则判断在图像B1和B2中P0r与Pr是否相等，如果相等则证明物点P0与P视差相等，两点具有相同的深度值，如果不相等则证明物点P0与P视差不相等，两点的深度值不相同；依次判断所有物点是否具有相同的深度值，达到检测待测目标物与参考目标物深度是否一致的目的。
以上所述，仅为本发明中的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉该技术的人在本发明所揭露的技术范围内，可理解想到的变换或替换，都应涵盖在本发明的权利要求书的保护范围之内。
Claims (4)
1.一种基于双目视觉系统的深度信息对比方法，利用双目视觉系统，在省去摄像机标定和三维重建工作的前提下，实现了待测目标物与参考目标物深度信息的有效对比，其特征在于，包括以下步骤：
(1)使用双目系统对参考目标物成像，得到双目图像A1、B1；
(2)对图像A1、B1进行预处理，包括去噪、平滑和锐化，以便特征元提取；
(3)对预处理后的图像分别进行特征元提取，并根据约束准则进行特征元配准，获取参考目标物上物点在图像A1、B1中的视差信息；
(4)使用双目系统对待测目标物成像，得到双目图像A2、B2；
(5)对图像A2、B2进行预处理，包括去噪、平滑和锐化，以便特征元提取；
(6)对预处理后的图像分别进行特征元提取，并根据匹配准则进行特征元配准，获取待测目标物上物点在图像A2、B2中的视差信息；
(7)对比步骤(3)和步骤(6)中获得的在图像A1和A2或者图像B1和B2中所有位置相同的特征元的视差信息是否相同，如果相同则说明待测目标物和参考目标物的深度一致，如果不相同则说明待测目标物和参考目标物的深度不一致。
2.根据权利要求1所述一种基于双目视觉系统的深度信息对比方法，其特征在于：步骤(1)和步骤(4)中所使用双目视觉系统是平行配置双目视觉系统，即两个摄像机的主光轴相互平行；或是非平行配置双目视觉系统，即两个摄像机的主光轴形成一定的夹角；或是主动式双目视觉系统，即利用特殊光源投射到目标物进行图像采集；或是被动式双目视觉系统，即利用自然光投射目标物进行图像采集；但是前后两次采集过程必须为同一双目视觉系统。
3.根据权利要求1所述一种基于双目视觉系统的深度信息对比方法，其特征在于：步骤(2)和步骤(5)中的特征元可分为特征质点、特征线条以及特征区域，具体为：角点、高曲率点、直线段、边缘、轮廓、闭合区域、特征结构以及统计特征，所述统计特征包括几何矩或重心。
4.根据权利要求1所述一种基于双目视觉系统的深度信息对比方法，其特征在于：步骤(3)和步骤(6)中的约束准则包括极线约束准则、相似性约束准则、视差连续性约束准则、顺序约束准则、视差约束准则、互应性约束准则。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201510203161.5A CN104794717A (zh) | 2015-04-27 | 2015-04-27 | 一种基于双目视觉系统的深度信息对比方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201510203161.5A CN104794717A (zh) | 2015-04-27 | 2015-04-27 | 一种基于双目视觉系统的深度信息对比方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN104794717A true CN104794717A (zh) | 2015-07-22 |
Family
ID=53559497
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201510203161.5A Pending CN104794717A (zh) | 2015-04-27 | 2015-04-27 | 一种基于双目视觉系统的深度信息对比方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN104794717A (zh) |
Cited By (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105217324A (zh) * | 2015-10-20 | 2016-01-06 | 上海影火智能科技有限公司 | 一种新型的拆垛方法和系统 |
| CN105835060A (zh) * | 2016-05-23 | 2016-08-10 | 先驱智能机械（深圳）有限公司 | 控制方法、控制装置及机械手系统 |
| CN105930854A (zh) * | 2016-04-19 | 2016-09-07 | 东华大学 | 一种机械臂视觉系统 |
| CN106782464A (zh) * | 2016-12-01 | 2017-05-31 | 北京银河润泰科技有限公司 | 键盘动作检测方法及装置 |
| CN107767377A (zh) * | 2017-11-09 | 2018-03-06 | 惠州高视科技有限公司 | 基于双目视觉系统的液晶屏缺陷与灰尘区分法及检测装置 |
| CN108846837A (zh) * | 2018-06-01 | 2018-11-20 | 联想(北京)有限公司 | 物体表面缺陷检测方法和装置 |
| CN111649695A (zh) * | 2020-06-05 | 2020-09-11 | 苏州若柏视智能科技有限公司 | 一种双目视觉传感器及物体识别方法 |
| CN112669271A (zh) * | 2020-12-22 | 2021-04-16 | 深圳酷派技术有限公司 | 物体表面缺陷检测方法、相关装置及计算机存储介质 |
| CN114693871A (zh) * | 2022-03-21 | 2022-07-01 | 苏州大学 | 计算基于扫描电镜的双探测器三维成像深度的方法及系统 |
-
2015
- 2015-04-27 CN CN201510203161.5A patent/CN104794717A/zh active Pending
Non-Patent Citations (1)
| Title |
|---|
| 马海民: "基于双目视觉系统的列车轨道异物距离检测", 《自动化与仪器仪表》 * |
Cited By (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105217324A (zh) * | 2015-10-20 | 2016-01-06 | 上海影火智能科技有限公司 | 一种新型的拆垛方法和系统 |
| CN105930854A (zh) * | 2016-04-19 | 2016-09-07 | 东华大学 | 一种机械臂视觉系统 |
| CN105835060A (zh) * | 2016-05-23 | 2016-08-10 | 先驱智能机械（深圳）有限公司 | 控制方法、控制装置及机械手系统 |
| CN106782464A (zh) * | 2016-12-01 | 2017-05-31 | 北京银河润泰科技有限公司 | 键盘动作检测方法及装置 |
| CN107767377A (zh) * | 2017-11-09 | 2018-03-06 | 惠州高视科技有限公司 | 基于双目视觉系统的液晶屏缺陷与灰尘区分法及检测装置 |
| CN107767377B (zh) * | 2017-11-09 | 2024-02-06 | 高视科技(苏州)股份有限公司 | 基于双目视觉系统的液晶屏缺陷与灰尘区分法及检测装置 |
| CN108846837A (zh) * | 2018-06-01 | 2018-11-20 | 联想(北京)有限公司 | 物体表面缺陷检测方法和装置 |
| CN108846837B (zh) * | 2018-06-01 | 2021-11-16 | 联想(北京)有限公司 | 物体表面缺陷检测方法和装置 |
| CN111649695A (zh) * | 2020-06-05 | 2020-09-11 | 苏州若柏视智能科技有限公司 | 一种双目视觉传感器及物体识别方法 |
| CN112669271A (zh) * | 2020-12-22 | 2021-04-16 | 深圳酷派技术有限公司 | 物体表面缺陷检测方法、相关装置及计算机存储介质 |
| CN114693871A (zh) * | 2022-03-21 | 2022-07-01 | 苏州大学 | 计算基于扫描电镜的双探测器三维成像深度的方法及系统 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN104794717A (zh) | 一种基于双目视觉系统的深度信息对比方法 | |
| CN110487216B (zh) | 一种基于卷积神经网络的条纹投影三维扫描方法 | |
| CN106767399B (zh) | 基于双目立体视觉和点激光测距的物流货物体积的非接触测量方法 | |
| CN107635129B (zh) | 一种三维三目摄像装置及深度融合方法 | |
| US7430312B2 (en) | Creating 3D images of objects by illuminating with infrared patterns | |
| CN109579695B (zh) | 一种基于异构立体视觉的零件测量方法 | |
| KR102424135B1 (ko) | 2개의 카메라로부터의 곡선의 세트의 구조형 광 매칭 | |
| US10643343B2 (en) | Structured light matching of a set of curves from three cameras | |
| CN103868460A (zh) | 基于视差优化算法的双目立体视觉自动测量方法 | |
| CN107424196B (zh) | 一种基于弱标定多目相机的立体匹配方法、装置及系统 | |
| CN113888639B (zh) | 基于事件相机与深度相机的视觉里程计定位方法及系统 | |
| Ellmauthaler et al. | A novel iterative calibration approach for thermal infrared cameras | |
| CN111220126A (zh) | 一种基于点特征和单目相机的空间物体位姿测量方法 | |
| CN103983186A (zh) | 双目视觉系统校正方法及校正设备 | |
| Daftry et al. | Flexible and User-Centric Camera Calibration using Planar Fiducial Markers. | |
| CN116295113A (zh) | 一种融合条纹投影的偏振三维成像方法 | |
| CN116468786A (zh) | 一种面向动态环境的基于点线联合的语义slam方法 | |
| CN105654479A (zh) | 多光谱图像配准方法和装置 | |
| Shibo et al. | A new approach to calibrate range image and color image from Kinect | |
| CN110487254B (zh) | 一种用于rov的水下目标尺寸快速测量方法 | |
| CN114877826B (zh) | 一种双目立体匹配三维测量方法、系统及存储介质 | |
| Fan et al. | Human-m3: A multi-view multi-modal dataset for 3d human pose estimation in outdoor scenes | |
| Sato et al. | Efficient hundreds-baseline stereo by counting interest points for moving omni-directional multi-camera system | |
| CN115841517A (zh) | 一种基于dic双圆交比的结构光标定方法和装置 | |
| CN107610170B (zh) | 多目图像重聚焦的深度获取方法及系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| EXSB | Decision made by sipo to initiate substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20150722 |