CN111292297A - 基于双目立体视觉焊缝检测方法、装置、设备及存储介质 - Google Patents

基于双目立体视觉焊缝检测方法、装置、设备及存储介质 Download PDF

Info

Publication number
CN111292297A
CN111292297A CN202010068127.2A CN202010068127A CN111292297A CN 111292297 A CN111292297 A CN 111292297A CN 202010068127 A CN202010068127 A CN 202010068127A CN 111292297 A CN111292297 A CN 111292297A
Authority
CN
China
Prior art keywords
image
weld
welding seam
dimensional model
detected
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010068127.2A
Other languages
English (en)
Inventor
刘海生
胡曦
王中任
彭明君
赵荣丽
张俊
刘亚丽
邬国秀
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hubei University of Arts and Science
Original Assignee
Hubei University of Arts and Science
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hubei University of Arts and Science filed Critical Hubei University of Arts and Science
Priority to CN202010068127.2A priority Critical patent/CN111292297A/zh
Publication of CN111292297A publication Critical patent/CN111292297A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G06T7/001—Industrial image inspection using an image reference approach
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20228—Disparity calculation for image-based rendering

Landscapes

  • Engineering & Computer Science (AREA)
  • Quality & Reliability (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

本发明公开了一种基于双目立体视觉焊缝检测方法、装置、设备及存储介质，属于焊缝检测技术领域。本发明通过采集待检测焊缝的焊缝图像对，焊缝图像对包括第一焊缝图像和第二焊缝图像，对第一焊缝图像和第二焊缝图像进行立体匹配，并根据立体匹配结果确定图像视差值，根据图像视差值生成对应的稠密视差图像，采用预设算法对稠密视差图像进行焊缝三维模型重构，以获得待检测焊缝对应的焊缝三维模型图，根据生成的焊缝三维模型图对待检测焊缝进行检测，提高了焊缝检测准确性，同时也提高了检测效率。

Description

基于双目立体视觉焊缝检测方法、装置、设备及存储介质
技术领域
本发明涉及焊缝检测技术领域，尤其涉及一种基于双目立体视觉焊缝检测方法、装置、设备及存储介质。
背景技术
随着工业自动化的发展，焊接技术在众多工程领域应用日趋广泛，焊接质量要求越来越高。但是在自动化焊接过程中，由于焊枪喷嘴堵塞，路径规划错误等原因，容易产生焊接缺陷，严重影响焊接质量。传统的检测手段依旧是靠人工进行焊缝缺陷检测，但人工检测效率低、受个人主观性影响性强、且人工劳动强度大，可能发生漏检和错检的情况，导致达不到焊接自动化生产线的检测标准。
上述内容仅用于辅助理解本发明的技术方案，并不代表承认上述内容是现有技术。
发明内容
本发明的主要目的在于提供一种基于双目立体视觉焊缝检测方法、装置、设备及存储介质，旨在解决现有技术焊缝缺陷检测不准确的技术问题。
为实现上述目的，本发明提供了一种基于双目立体视觉焊缝检测方法，所述方法包括以下步骤:
采集待检测焊缝的焊缝图像对，所述焊缝图像对包括第一焊缝图像和第二焊缝图像；
对所述第一焊缝图像和所述第二焊缝图像进行立体匹配，并根据立体匹配结果确定图像视差值；
根据所述图像视差值生成对应的稠密视差图像；
采用预设算法对所述稠密视差图像进行焊缝三维模型重构，以获得所述待检测焊缝对应的焊缝三维模型图。
优选地，所述采集待检测焊缝的焊缝图像对，所述焊缝图像对包括第一焊缝图像和第二焊缝图像的步骤包括：
采集待检测焊缝的第一图像与第二图像；
分别对所述第一图像与所述第二图像进行极线校正，得到焊缝图像对，所述焊缝图像对包括第一焊缝图像与第二焊缝图像。
优选地，所述对所述第一焊缝图像和所述第二焊缝图像进行立体匹配，并根据立体匹配结果确定图像视差值的步骤包括：
通过预先构建的能量函数计算所述第一焊缝图像与所述第二焊缝图像上所有图像点之间的能量值；
根据所述能量值确定所述第一焊缝图像和所述第二焊缝图像中相互匹配的第一图像点与第二图像点；
根据所述第一图像点与所述第二图像点计算所述第一焊缝图像与所述第二焊缝图像之间的图像视差值。
优选地，所述通过预先构建的能量函数计算所述第一焊缝图像与所述第二焊缝图像上所有图像点之间的能量值的步骤包括：
获取所述第一焊缝图像与所述第二焊缝图像上所有图像点对应的灰度值；
根据所述灰度值及预设参数计算所有图像点之间的能量值。
优选地，所述采用预设算法对所述稠密视差图像进行焊缝三维模型重构，以获得所述待检测焊缝对应的焊缝三维模型图的步骤包括：
根据贪婪算法对所述稠密视差图像进行焊缝三维模型重构，以获得所述待检测焊缝对应的焊缝三维模型图。
优选地，所述根据贪婪算法对所述稠密视差图像进行焊缝三维模型重构，以获得所述待检测焊缝对应的焊缝三维模型图的步骤包括：
构建空间坐标系，根据所述空间坐标系从所述稠密视差图中提取稠密三维点云；
根据贪婪算法对所述稠密三维点云进行焊缝三维模型重构，以获得所述待检测焊缝对应的焊缝三维模型图。
优选地，所述采用预设算法对所述稠密视差图像进行焊缝三维模型重构，以获得所述待检测焊缝对应的焊缝三维模型图的步骤之后包括：
将所述焊缝三维模型图与预设模型图进行比对；
根据比对结果检测所述待检测焊缝对应的焊缝缺陷。
此外，为实现上述目的，本发明还提出一种基于双目立体视觉焊缝检测装置，所述装置包括：
采集模块，用于采集待检测焊缝的焊缝图像对，所述焊缝图像对包括第一焊缝图像和第二焊缝图像；
匹配模块，用于对所述第一焊缝图像和所述第二焊缝图像进行立体匹配，并根据立体匹配结果确定视差值；
生成模块，用于根据所述视差值生成对应的稠密视差图像；
构建模块，用于采用预设算法对所述稠密视差图像进行焊缝三维模型重构，以获得所述待检测焊缝对应的焊缝三维模型图。
此外，为实现上述目的，本发明还提出一种基于双目立体视觉焊缝检测设备，所述基于双目立体视觉焊缝检测设备包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的基于双目立体视觉焊缝检测程序，所述基于双目立体视觉焊缝检测程序配置为实现如上文所述的基于双目立体视觉焊缝检测方法的步骤。
此外，为实现上述目的，本发明还提出一种存储介质，所述存储介质上存储有基于双目立体视觉焊缝检测程序，所述基于双目立体视觉焊缝检测程序被处理器执行时实现如上文所述的基于双目立体视觉焊缝检测方法的步骤。
本发明通过采集待检测焊缝的焊缝图像对，焊缝图像对包括第一焊缝图像和第二焊缝图像，对第一焊缝图像和第二焊缝图像进行立体匹配，并根据立体匹配结果确定图像视差值，根据图像视差值生成对应的稠密视差图像，采用预设算法对稠密视差图像进行焊缝三维模型重构，以获得待检测焊缝对应的焊缝三维模型图，根据生成的焊缝三维模型图对待检测焊缝进行检测，提高了焊缝检测准确性，同时也提高了检测效率。
附图说明
图1是本发明实施例方案涉及的硬件运行环境的基于双目立体视觉焊缝检测设备的结构示意图；
图2为本发明基于双目立体视觉焊缝检测方法第一实施例的流程示意图；
图3为本发明基于双目立体视觉焊缝检测方法第二实施例的流程示意图；
图4为本发明基于双目立体视觉焊缝检测方法第三实施例的流程示意图；
图5为本发明计算空间点三维坐标的视差模型图；
图6为本发明基于双目立体视觉焊缝检测装置第一实施例的结构框图。
本发明目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。
具体实施方式
应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。
参照图1，图1为本发明实施例方案涉及的硬件运行环境的基于双目立体视觉焊缝检测设备结构示意图。
如图1所示，该基于双目立体视觉焊缝检测设备可以包括：处理器1001，例如中央处理器(Central Processing Unit，CPU)，通信总线1002、用户接口1003，网络接口1004，存储器1005。其中，通信总线1002用于实现这些组件之间的连接通信。用户接口1003可以包括显示屏(Display)、输入单元比如键盘(Keyboard)，可选用户接口1003还可以包括标准的有线接口、无线接口。网络接口1004可选的可以包括标准的有线接口、无线接口(如无线保真(WIreless-FIdelity，WI-FI)接口)。存储器1005可以是高速的随机存取存储器(RandomAccess Memory，RAM)存储器，也可以是稳定的非易失性存储器(Non-Volatile Memory，NVM)，例如磁盘存储器。存储器1005可选的还可以是独立于前述处理器1001的存储装置。
本领域技术人员可以理解，图1中示出的结构并不构成对基于双目立体视觉焊缝检测设备的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。
如图1所示，作为一种存储介质的存储器1005中可以包括操作系统、网络通信模块、用户接口模块以及基于双目立体视觉焊缝检测程序。
在图1所示的基于双目立体视觉焊缝检测设备中，网络接口1004主要用于与网络服务器进行数据通信；用户接口1003主要用于与用户进行数据交互；本发明基于双目立体视觉焊缝检测设备中的处理器1001、存储器1005可以设置在基于双目立体视觉焊缝检测设备中，所述基于双目立体视觉焊缝检测设备通过处理器1001调用存储器1005中存储的基于双目立体视觉焊缝检测程序，并执行本发明实施例提供的基于双目立体视觉焊缝检测方法。
本发明实施例提供了一种基于双目立体视觉焊缝检测方法，参照图2，图2为本发明一种基于双目立体视觉焊缝检测方法第一实施例的流程示意图。
本实施例中，所述基于双目立体视觉焊缝检测方法包括以下步骤：
步骤S10：采集待检测焊缝的焊缝图像对，所述焊缝图像对包括第一焊缝图像和第二焊缝图像。
需要说明的是，本实施例的执行主体为终端设备，终端设备包括台式机、笔记本电脑或平台电脑等，本实施例中不加以限制，终端设备可用于接收图像数据，并对图像数据进行处理。
在本实施例中，基于双目立体视觉采用两个摄像装置对待检测焊缝进行拍摄，摄像装置包括电荷耦合CCD摄像机，两个摄像装置呈一左一右的位置进行设置，左摄像装置为第一摄像装置，右摄像装置为第二摄像装置，两个摄像装置的拍摄角度、高度及相对距离可以根据实际情况自行调节，保证待检测焊缝处于两个摄像装置的最佳拍摄视野范围内，在摄像装置对待检测焊缝进行拍摄之后，接收摄像装置拍摄的第一图像与第二图像，第一图像为左摄像装置拍摄的图像，第二图像为右摄像装置拍摄的图像，由于两个摄像装置在实际情况中一般不平行放置，因此拍摄到的第一图像与第二图像为非标准外极线几何图，需要对第一图像与第二图像进行极线校正，得到焊缝图像对，焊缝图像对包括第一焊缝图像与第二焊缝图像，焊缝图像对为标准外极线几何图，第一焊缝图像为第一图像进行校正后的图像，第二焊缝图像为第二图像进行校正后的图像，极线校正过程为利用透射投影得到分别作用于第一图像与第二图像，使得第一图像与第二图像上的同名点处于同一行，同名点为待检测焊缝上一点在第一图像与第二图像上的像点，例如获取待检测焊缝上一焊缝点S，获取焊缝点S在第一图像上的像点S1，焊缝点S在第二图像上的像点S2，像点S1与像点S2为同名点，通过极线校正使得像点S1与像点S2处于同一行。
步骤S20：对所述第一焊缝图像和所述第二焊缝图像进行立体匹配，并根据立体匹配结果确定图像视差值。
步骤S30：根据所述图像视差值生成对应的稠密视差图像。
步骤S40：采用预设算法对所述稠密视差图像进行焊缝三维模型重构，以获得所述待检测焊缝对应的焊缝三维模型图。
在本实施例中，对第一焊缝图像与第二焊缝图像进行立体匹配需要先对两个摄像装置进行标定，获取两个摄像装置的参数，设空间中某一点P的世界坐标(Xw,Yw,Zw)，投影到焊缝图像中对应的像素坐标为(u,v)，则坐标系之间转换关系为
Figure BDA0002376898160000061
其中：fx,fy为x，y方向等效焦距，u0,v0为主点中心坐标，K为摄像装置内参数，[R|T]为摄像装置外参数矩阵，R为旋转矩阵，T为平移向量，旋转矩阵表示世界坐标系的坐标轴相对于摄像机坐标轴的方向，平移矩阵表示在摄像机坐标系下，空间原点的位置，摄像装置外参数获取采用通用相机外参数算法，根据坐标转换关系可以得到摄像装置内参数，摄像装置内参数包括摄像装置的焦距、畸变系数及像素宽高等，如表1所示。
表1第一摄像装置与第二摄像装置内参数
内参数 第一摄像装置 第二摄像装置
焦距 0.0159009 0.0163117
畸变系数 -836.812 -778.142
像元宽 2.19942e-006 2.19883e-006
像元高 2.2e-006 2.2e-006
中心行坐标 1390.84 1338.43
中心列坐标 868.25 996.631
此外，在得到摄像装置的参数之后，根据摄像装置的参数将第一焊缝图像与第二焊缝进行立体匹配，立体匹配具体为将第一焊缝图像上的图像点与第二焊缝图像上的图像点间的能量值进行排序，即从第一焊缝图像上任选一图像点(如图像点A)，计算该图像点A与第二焊缝图像上所有图像点之间的能量值，对计算所得的能量值进行排序，得到最低能量值对应的图像点(如图像点B)，图像点B为通过立体匹配得到的与图像点A匹配的图像点，根据图像点A和图像点B确定图像视差值，图像视差值为同名点之间的坐标差，根据图像视差值生成稠密视差图的方法参照视差还原成视差图像的通用方法。
在本实施例中，预设算法为贪婪算法，还可以采用蚁群算法等，在得到稠密视差图像后，根据贪婪算法从稠密视差图像中得到三维模型对应的参数，包括三维坐标及图像纹理等，再根据对应的三维模型的参数构建待检测焊缝的三维模型。
本实施例通过采集待检测焊缝的焊缝图像对，焊缝图像对包括第一焊缝图像和第二焊缝图像，对第一焊缝图像和第二焊缝图像进行立体匹配，并根据立体匹配结果确定图像视差值，根据图像视差值生成对应的稠密视差图像，采用预设算法对稠密视差图像进行焊缝三维模型重构，以获得待检测焊缝对应的焊缝三维模型图，根据生成的焊缝三维模型图对待检测焊缝进行检测，提高了焊缝检测准确性，同时也提高了检测效率。
参考图3，图3为本发明一种基于双目立体视觉焊缝检测方法第二实施例的流程示意图。
基于上述第一实施例，所述步骤S20具体包括：
步骤S201：通过预先构建的能量函数计算所述第一焊缝图像与所述第二焊缝图像上所有图像点之间的能量值。
步骤S202：根据所述能量值确定所述第一焊缝图像和所述第二焊缝图像中相互匹配的第一图像点与第二图像点。
步骤S203：根据所述第一图像点与所述第二图像点计算所述第一焊缝图像与所述第二焊缝图像之间的图像视差值。
在具体实施中，通过预先构建的能量函数计算所述第一焊缝图像与所述第二焊缝图像上所有图像点之间的能量值的步骤具体包括：获取所述第一焊缝图像与所述第二焊缝图像上所有图像点对应的灰度值，根据所述灰度值及预设参数计算所有图像点之间的能量值，预先构建的能量函数为：
Figure BDA0002376898160000071
其中预设参数为Il(x,y)与Ir(x,y)分别代表第一焊缝图像与第二焊缝图像(x,y)坐标处的灰度值，d为该搜索匹配点视差值，Gc为灰度值权重，Gd灰度值梯度，S为平滑系数,
Figure BDA0002376898160000081
ε＝0.01是一个固定的正则化常数，从第一焊缝图像与第二焊缝图像上可以直接获取到所有图像点对应的灰度值，根据所有图像点的灰度值设置灰度值权重Gc及灰度值梯度Gd，根据能量函数可以计算第一焊缝图像与第二焊缝图像上所有图像点之间的能量值，例如从第一焊缝图像上任选一图像点(如图像点A)，根据能量函数计算图像点A与第二焊缝图像上所有点的能量值，将计算得到的能量值按从大到小或从小到大的顺序进行排序，得到最小的能量值，根据最小的能量值从第二焊缝图像上得到图像点B，图像点A与图像点B为相互匹配的图像点即第一图像点与第二图像点，本实施例中第一图像点与第二图像点有多组，图像点A与图像点B为其中一个的第一图像点与第二图像点，在得到第一图像点与第二图像点之后，计算第一图像点与第二图像点之间的坐标差，得到第一图像点与第二图像点之间的视差，依次计算多组第一图像点与第二图像点之间的视差即可得到第一焊缝图像与第二焊缝图像之间的图像视差值。
本实施例通过预先构建的能量函数计算第一焊缝图像与第二焊缝图像上所有图像点之间的能量值，根据能量值确定第一焊缝图像和第二焊缝图像中相互匹配的第一图像点与第二图像点，根据第一图像点与第二图像点计算第一焊缝图像与第二焊缝图像之间的图像视差值，使得获取到的图像视差更加准确，从而提高了焊缝检测的准确性。
参考图4，图4为本发明一种基于双目立体视觉焊缝检测方法第三实施例的流程示意图。
基于上述第一实施例，所述步骤S40具体包括：
步骤S401：构建空间坐标系，根据所述空间坐标系从所述稠密视差图中提取稠密三维点云。
步骤S402：根据贪婪算法对所述稠密三维点云进行焊缝三维模型重构，以获得所述待检测焊缝对应的焊缝三维模型图。
在本实施中，在获取稠密视差图后，构建空间坐标系，根据稠密视差图上图像点之间的视差值，并结合三角测量法计算空间坐标中多个空间点的三维坐标，计算过程为空间一点P(X，Y，Z)在第一摄像装置成像平面坐标(xl，yl)，在第二摄像装置成像平面坐标(xr,yr)，经极线校正后P点在两平面投影点处于同一行，所以yl＝yr，计算空间点的三维坐标的视差模型图如图5所示，其中OL为以第一摄像装置构建的坐标系的原点，OR为以第二摄像装置构建的坐标系的原点，b、f第一摄像装置与第二摄像装置的基线距离和焦距，根据第一摄像装置与第二摄像装置的内参数确定，第一摄像装置成像平面坐标(xl，yl)及第二摄像装置成像平面坐标(xr,yr)从稠密视差图中获取。
此外，计算空间点P的三维坐标所用的计算公式包括：
Figure BDA0002376898160000091
及
Figure BDA0002376898160000092
其中b、f第一摄像装置与第二摄像装置的基线距离和焦距，根据第一摄像装置与第二摄像装置的内参数确定，易于理解的是，空间点P为其中一个空间点，根据上述方法可以得到空间坐标系中稠密视差图对应的多个空间点的三维坐标点，多个空间点组成的集合即为稠密三维点云，根据贪婪算法从稠密视差图像中得到稠密三维点云对应的三维模型参数，三维模型参数包括三维坐标及图像纹理等，再根据三维模型参数构建待检测焊缝的三维模型。
进一步地，所述步骤S40之后还包括：
步骤S501：将所述焊缝三维模型图与预设模型图进行比对。
步骤S502：根据比对结果检测所述待检测焊缝对应的焊缝缺陷。
在具体实现中，在得到待检测焊缝三维模型图之后，将焊缝三维模型图与预设模型图进行比对，预设模型图为无缺陷焊缝对应的三维模型图，根据比对结果可以得到待检测焊缝对应的焊缝缺陷，模型比对是将三维模型中焊缝的宽度、高度及纹理细节等进行一一比对，得到待检测焊缝为正常焊缝、凸起焊缝或凹陷焊缝等。
本实施例通过构建空间坐标系，根据空间坐标系从稠密视差图中提取稠密三维点云，根据贪婪算法对稠密三维点云进行焊缝三维模型重构，以获得待检测焊缝对应的焊缝三维模型图，再将焊缝三维模型图与预设模型图进行比对，根据比对结果检测待检测焊缝对应的焊缝缺陷，通过三维模型比对可以快速确定待检测焊缝的缺陷类型，提高了焊缝检测效率与准确性。
参照图6，图6为本发明基于双目立体视觉焊缝检测装置第一实施例的结构框图。
如图6所示，本发明实施例提出的基于双目立体视觉焊缝检测装置包括：
采集模块10，用于采集待检测焊缝的焊缝图像对，所述焊缝图像对包括第一焊缝图像和第二焊缝图像。
在本实施例中，基于双目立体视觉采用两个摄像装置对待检测焊缝进行拍摄，摄像装置包括电荷耦合CCD摄像机，两个摄像装置呈一左一右的位置进行设置，左摄像装置为第一摄像装置，右摄像装置为第二摄像装置，两个摄像装置的拍摄角度、高度及相对距离可以根据实际情况自行调节，保证待检测焊缝处于两个摄像装置的最佳拍摄视野范围内，在摄像装置对待检测焊缝进行拍摄之后，接收摄像装置拍摄的第一图像与第二图像，第一图像为左摄像装置拍摄的图像，第二图像为右摄像装置拍摄的图像，由于两个摄像装置在实际情况中一般不平行放置，因此拍摄到的第一图像与第二图像为非标准外极线几何图，需要对第一图像与第二图像进行极线校正，得到焊缝图像对，焊缝图像对包括第一焊缝图像与第二焊缝图像，焊缝图像对为标准外极线几何图，第一焊缝图像为第一图像进行校正后的图像，第二焊缝图像为第二图像进行校正后的图像，极线校正过程为利用透射投影得到分别作用于第一图像与第二图像，使得第一图像与第二图像上的同名点处于同一行，同名点为待检测焊缝上一点在第一图像与第二图像上的像点，例如获取待检测焊缝上一焊缝点S，获取焊缝点S在第一图像上的像点S1，焊缝点S在第二图像上的像点S2，像点S1与像点S2为同名点，通过极线校正使得像点S1与像点S2处于同一行。
匹配模块20，用于对所述第一焊缝图像和所述第二焊缝图像进行立体匹配，并根据立体匹配结果确定视差值。
生成模块30，用于根据所述视差值生成对应的稠密视差图像。
构建模块40，用于采用预设算法对所述稠密视差图像进行焊缝三维模型重构，以获得所述待检测焊缝对应的焊缝三维模型图。
在本实施例中，对第一焊缝图像与第二焊缝图像进行立体匹配需要先对两个摄像装置进行标定，获取两个摄像装置的参数，设空间中某一点P的世界坐标(Xw,Yw,Zw)，投影到焊缝图像中对应的像素坐标为(u,v)，则坐标系之间转换关系为
Figure BDA0002376898160000111
其中：fx,fy为x，y方向等效焦距，u0,v0为主点中心坐标，K为摄像装置内参数，[R|T]为摄像装置外参数矩阵，R为旋转矩阵，T为平移向量，旋转矩阵表示世界坐标系的坐标轴相对于摄像机坐标轴的方向，平移矩阵表示在摄像机坐标系下，空间原点的位置，摄像装置外参数获取采用通用相机外参数算法，根据坐标转换关系可以得到摄像装置内参数，摄像装置内参数包括摄像装置的焦距、畸变系数及像素宽高等，如表1所示。
表1第一摄像装置与第二摄像装置内参数
内参数 第一摄像装置 第二摄像装置
焦距 0.0159009 0.0163117
畸变系数 -836.812 -778.142
像元宽 2.19942e-006 2.19883e-006
像元高 2.2e-006 2.2e-006
中心行坐标 1390.84 1338.43
中心列坐标 868.25 996.631
此外，在得到摄像装置的参数之后，根据摄像装置的参数将第一焊缝图像与第二焊缝进行立体匹配，立体匹配具体为将第一焊缝图像上的图像点与第二焊缝图像上的图像点间的能量值进行排序，即从第一焊缝图像上任选一图像点(如图像点A)，计算该图像点A与第二焊缝图像上所有图像点之间的能量值，对计算所得的能量值进行排序，得到最低能量值对应的图像点(如图像点B)，图像点B为通过立体匹配得到的与图像点A匹配的图像点，根据图像点A和图像点B确定图像视差值，图像视差值为同名点之间的坐标差，根据图像视差值生成稠密视差图的方法参照视差还原成视差图像的通用方法。
在本实施例中，预设算法为贪婪算法，还可以采用蚁群算法等，在得到稠密视差图像后，根据贪婪算法从稠密视差图像中得到三维模型对应的参数，包括三维坐标及图像纹理等，再根据对应的三维模型的参数构建待检测焊缝的三维模型。
本实施例通过采集待检测焊缝的焊缝图像对，焊缝图像对包括第一焊缝图像和第二焊缝图像，对第一焊缝图像和第二焊缝图像进行立体匹配，并根据立体匹配结果确定图像视差值，根据图像视差值生成对应的稠密视差图像，采用预设算法对稠密视差图像进行焊缝三维模型重构，以获得待检测焊缝对应的焊缝三维模型图，根据生成的焊缝三维模型图对待检测焊缝进行检测，提高了焊缝检测准确性，同时也提高了检测效率。
在一实施例中，所述采集模块10，还用于采集待检测焊缝的第一图像与第二图像；分别对所述第一图像与所述第二图像进行极线校正，得到焊缝图像对，所述焊缝图像对包括第一焊缝图像与第二焊缝图像。
在一实施例中，所述匹配模块20，还用于通过预先构建的能量函数计算所述第一焊缝图像与所述第二焊缝图像上所有图像点之间的能量值；根据所述能量值确定所述第一焊缝图像和所述第二焊缝图像中相互匹配的第一图像点与第二图像点；根据所述第一图像点与所述第二图像点计算所述第一焊缝图像与所述第二焊缝图像之间的图像视差值。
在一实施例中，所述匹配模块20，还用于获取所述第一焊缝图像与所述第二焊缝图像上所有图像点对应的灰度值；根据所述灰度值及预设参数计算所有图像点之间的能量值。
在一实施例中，所述构建模块40，还用于根据贪婪算法对所述稠密视差图像进行焊缝三维模型重构，以获得所述待检测焊缝对应的焊缝三维模型图。
在一实施例中，所述构建模块40，还用于构建空间坐标系，根据所述空间坐标系从所述稠密视差图中提取稠密三维点云；根据贪婪算法对所述稠密三维点云进行焊缝三维模型重构，以获得所述待检测焊缝对应的焊缝三维模型图。
在一实施例中，还包括比对模块，用于将所述焊缝三维模型图与预设模型图进行比对；根据比对结果检测所述待检测焊缝对应的焊缝缺陷。
此外，本发明实施例还提出一种存储介质，所述存储介质上存储有基于双目立体视觉焊缝检测程序，所述基于双目立体视觉焊缝检测程序被处理器执行时实现如上文所述的基于双目立体视觉焊缝检测方法的步骤。
应当理解的是，以上仅为举例说明，对本发明的技术方案并不构成任何限定，在具体应用中，本领域的技术人员可以根据需要进行设置，本发明对此不做限制。
需要说明的是，以上所描述的工作流程仅仅是示意性的，并不对本发明的保护范围构成限定，在实际应用中，本领域的技术人员可以根据实际的需要选择其中的部分或者全部来实现本实施例方案的目的，此处不做限制。
另外，未在本实施例中详尽描述的技术细节，可参见本发明任意实施例所提供的基于双目立体视觉焊缝检测方法，此处不再赘述。
此外，需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者系统不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者系统所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者系统中还存在另外的相同要素。
上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质(如只读存储器(Read Only Memory，ROM)/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端设备(可以是手机，计算机，服务器，或者网络设备等)执行本发明各个实施例所述的方法。
以上仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。

Claims (10)

1.一种基于双目立体视觉焊缝检测方法，其特征在于，所述方法包括：
采集待检测焊缝的焊缝图像对，所述焊缝图像对包括第一焊缝图像和第二焊缝图像；
对所述第一焊缝图像和所述第二焊缝图像进行立体匹配，并根据立体匹配结果确定图像视差值；
根据所述图像视差值生成对应的稠密视差图像；
采用预设算法对所述稠密视差图像进行焊缝三维模型重构，以获得所述待检测焊缝对应的焊缝三维模型图。
2.如权利要求1所述的基于双目立体视觉焊缝检测方法，其特征在于，所述采集待检测焊缝的焊缝图像对，所述焊缝图像对包括第一焊缝图像和第二焊缝图像的步骤包括：
采集待检测焊缝的第一图像与第二图像；
分别对所述第一图像与所述第二图像进行极线校正，得到焊缝图像对，所述焊缝图像对包括第一焊缝图像与第二焊缝图像。
3.如权利要求1所述的基于双目立体视觉焊缝检测方法，其特征在于，所述对所述第一焊缝图像和所述第二焊缝图像进行立体匹配，并根据立体匹配结果确定图像视差值的步骤包括：
通过预先构建的能量函数计算所述第一焊缝图像与所述第二焊缝图像上所有图像点之间的能量值；
根据所述能量值确定所述第一焊缝图像和所述第二焊缝图像中相互匹配的第一图像点与第二图像点；
根据所述第一图像点与所述第二图像点计算所述第一焊缝图像与所述第二焊缝图像之间的图像视差值。
4.如权利要求3所述的基于双目立体视觉焊缝检测方法，其特征在于，所述通过预先构建的能量函数计算所述第一焊缝图像与所述第二焊缝图像上所有图像点之间的能量值的步骤包括：
获取所述第一焊缝图像与所述第二焊缝图像上所有图像点对应的灰度值；
根据所述灰度值及预设参数计算所有图像点之间的能量值。
5.如权利要求1所述的基于双目立体视觉焊缝检测方法，其特征在于，所述采用预设算法对所述稠密视差图像进行焊缝三维模型重构，以获得所述待检测焊缝对应的焊缝三维模型图的步骤包括：
根据贪婪算法对所述稠密视差图像进行焊缝三维模型重构，以获得所述待检测焊缝对应的焊缝三维模型图。
6.如权利要求5所述的基于双目立体视觉焊缝检测方法，其特征在于，所述根据贪婪算法对所述稠密视差图像进行焊缝三维模型重构，以获得所述待检测焊缝对应的焊缝三维模型图的步骤包括：
构建空间坐标系，根据所述空间坐标系从所述稠密视差图中提取稠密三维点云；
根据贪婪算法对所述稠密三维点云进行焊缝三维模型重构，以获得所述待检测焊缝对应的焊缝三维模型图。
7.如权利要求1-6中任一项所述的基于双目立体视觉焊缝检测方法，其特征在于，所述采用预设算法对所述稠密视差图像进行焊缝三维模型重构，以获得所述待检测焊缝对应的焊缝三维模型图的步骤之后包括：
将所述焊缝三维模型图与预设模型图进行比对；
根据比对结果检测所述待检测焊缝对应的焊缝缺陷。
8.一种基于双目立体视觉焊缝检测装置，其特征在于，所述装置包括：
采集模块，用于采集待检测焊缝的焊缝图像对，所述焊缝图像对包括第一焊缝图像和第二焊缝图像；
匹配模块，用于对所述第一焊缝图像和所述第二焊缝图像进行立体匹配，并根据立体匹配结果确定视差值；
生成模块，用于根据所述视差值生成对应的稠密视差图像；
构建模块，用于采用预设算法对所述稠密视差图像进行焊缝三维模型重构，以获得所述待检测焊缝对应的焊缝三维模型图。
9.一种基于双目立体视觉焊缝检测设备，其特征在于，所述基于双目立体视觉焊缝检测设备包括：存储器、处理器及存储在所述存储器上并在所述处理器上运行的基于双目立体视觉焊缝检测程序，所述基于双目立体视觉焊缝检测程序配置为实现如权利要求1至7中任一项所述的基于双目立体视觉焊缝检测方法的步骤。
10.一种存储介质，其特征在于，所述存储介质上存储有基于双目立体视觉焊缝检测程序，所述基于双目立体视觉焊缝检测程序被处理器执行时实现如权利要求1至7任一项所述的基于双目立体视觉焊缝检测方法的步骤。
CN202010068127.2A 2020-01-21 2020-01-21 基于双目立体视觉焊缝检测方法、装置、设备及存储介质 Pending CN111292297A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010068127.2A CN111292297A (zh) 2020-01-21 2020-01-21 基于双目立体视觉焊缝检测方法、装置、设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010068127.2A CN111292297A (zh) 2020-01-21 2020-01-21 基于双目立体视觉焊缝检测方法、装置、设备及存储介质

Publications (1)

Publication Number Publication Date
CN111292297A true CN111292297A (zh) 2020-06-16

Family

ID=71024315

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010068127.2A Pending CN111292297A (zh) 2020-01-21 2020-01-21 基于双目立体视觉焊缝检测方法、装置、设备及存储介质

Country Status (1)

Country Link
CN (1) CN111292297A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113192070A (zh) * 2021-06-30 2021-07-30 深圳市超准视觉科技有限公司 一种基于计算机视觉的焊缝图像处理方法和系统

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106910222A (zh) * 2017-02-15 2017-06-30 中国科学院半导体研究所 基于双目立体视觉的人脸三维重建方法
CN108971704A (zh) * 2018-09-13 2018-12-11 番禺珠江钢管（珠海）有限公司 基于视觉及旋转电弧复合传感的三维焊缝跟踪方法及系统
CN110434516A (zh) * 2019-08-28 2019-11-12 浙江大学城市学院 一种智能焊接机器人系统及焊接方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106910222A (zh) * 2017-02-15 2017-06-30 中国科学院半导体研究所 基于双目立体视觉的人脸三维重建方法
CN108971704A (zh) * 2018-09-13 2018-12-11 番禺珠江钢管（珠海）有限公司 基于视觉及旋转电弧复合传感的三维焊缝跟踪方法及系统
CN110434516A (zh) * 2019-08-28 2019-11-12 浙江大学城市学院 一种智能焊接机器人系统及焊接方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
喻杨: "基于结构光和双目视觉的工件3D重建与测量" *
王云: "焊缝图像处理的匹配算法研究" *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113192070A (zh) * 2021-06-30 2021-07-30 深圳市超准视觉科技有限公司 一种基于计算机视觉的焊缝图像处理方法和系统

Similar Documents

Publication Publication Date Title
JP6722323B2 (ja) 撮像装置のモデリングおよび校正のためのシステムおよびその方法
US9449378B2 (en) System and method for processing stereoscopic vehicle information
CN105654547B (zh) 三维重建方法
CN112184811B (zh) 单目空间结构光系统结构校准方法及装置
CN111144349A (zh) 一种室内视觉重定位方法及系统
CN113393439A (zh) 一种基于深度学习的锻件缺陷检测方法
CN109949232A (zh) 图像与rtk结合的测量方法、系统、电子设备及介质
CN111402345B (zh) 基于多目全景图像的模型生成方法及装置
CN111681186A (zh) 图像处理方法、装置、电子设备及可读存储介质
CN108444452B (zh) 目标经纬度和拍摄装置的三维空间姿态的检测方法及装置
CN112257713A (zh) 图像处理方法、装置、电子设备和计算机可读存储介质
CN107067441B (zh) 摄像机标定方法及装置
CN117456114B (zh) 基于多视图的三维图像重建方法及系统
CN113012238B (zh) 一种多深度相机快速标定与数据融合的方法
CN111292297A (zh) 基于双目立体视觉焊缝检测方法、装置、设备及存储介质
TWI471821B (zh) A system, a method, and a recording medium for establishing a correlation for a plurality of images
CN116957987A (zh) 一种多目极线校正方法、装置、计算机设备及存储介质
CN114877826B (zh) 一种双目立体匹配三维测量方法、系统及存储介质
Aldelgawy et al. Calibration of smartphone’s rear dual camera system
CN112819900B (zh) 一种智能立体摄影内方位、相对定向和畸变系数标定方法
Prokos et al. Automatic calibration of stereo-cameras using ordinary chess-board patterns
CN111586299B (zh) 一种图像处理方法和相关设备
JP7399632B2 (ja) 撮影処理装置、及び撮影処理方法
Wu et al. Spatio-temporal fish-eye image processing based on neural network
CN115100535B (zh) 基于仿射相机模型的卫星遥感图像快速重建方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination