CN113313759B - 基于双目视觉的焊点定位方法、系统、装置、设备和介质 - Google Patents

基于双目视觉的焊点定位方法、系统、装置、设备和介质 Download PDF

Info

Publication number
CN113313759B
CN113313759B CN202110598449.2A CN202110598449A CN113313759B CN 113313759 B CN113313759 B CN 113313759B CN 202110598449 A CN202110598449 A CN 202110598449A CN 113313759 B CN113313759 B CN 113313759B
Authority
CN
China
Prior art keywords
image
coordinate system
binocular camera
circle center
circle
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110598449.2A
Other languages
English (en)
Other versions
CN113313759A (zh
Inventor
胡志辉
黄茜
王林尧
陈宏燔
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
South China University of Technology SCUT
Original Assignee
South China University of Technology SCUT
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by South China University of Technology SCUT filed Critical South China University of Technology SCUT
Priority to CN202110598449.2A priority Critical patent/CN113313759B/zh
Publication of CN113313759A publication Critical patent/CN113313759A/zh
Application granted granted Critical
Publication of CN113313759B publication Critical patent/CN113313759B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G06T7/85—Stereo camera calibration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • G06T2207/30152—Solder

Abstract

本发明公开了一种基于双目视觉的焊点定位方法、系统、装置、设备和介质，所述方法包括：使用标定法对双目相机进行标定及系统校正，得到多矩阵；根据双目相机拍摄到的待焊部件的图像和所述多矩阵，得到双目相机坐标系到世界坐标系的投影矩阵；根据所述双目相机拍摄到的待焊部件的图像，得到焊点的匹配圆心坐标；根据所述双目相机坐标系到世界坐标系的投影矩阵，计算所述焊点的匹配圆心坐标在世界坐标系中的坐标。本发明通过使用标定法对双目相机进行标定及系统校正，得到多矩阵；根据多矩阵和双目相机拍摄到的待焊部件的图像，实现了自动对焊点位置坐标的定位工作，提高焊点坐标定位的效率和准确率。

Description

基于双目视觉的焊点定位方法、系统、装置、设备和介质
技术领域
本发明属于焊点定位技术领域，特别是涉及一种基于双目视觉的焊点定位方法、装置、系统、设备和介质。
背景技术
在焊接生产过程中，焊枪位置对焊接质量有很大影响。通常焊接工序是零件连接成部件或产品的最后工序，因此焊接前，各零件需组装在一起放入定位部件的胎膜中进行焊接。超声焊接一般应用于塑料等可溶性材料，各零件成型后有一定的弹性。虽然各焊接点在分散的零件图中都有尺寸，但一经组装，其装配尺寸会因为零件的变形、装配时的松配合以及各零件没有固定等多种原因，造成实际装配尺寸和设计尺寸不一致，如果仍按设计尺寸引导装配后的焊点位置，有可能严重影响焊接质量，因此，确定装配后部件焊点的准确位置是焊接前不可缺少的一项工作。目前在焊接工位上仍依赖操作工人进行人工引导并确定焊枪焊点位置，具体是由操作者进行人工判断后将机械臂上的焊枪移至焊接点，手动引导并调整焊枪焊点，记录该焊点的位置，形成焊点位置图，然后再对焊接路径编程，使焊枪按位置图上的尺寸自动进行焊接。人工引导确定焊点位置准确与否，取决于操作者目测的经验，且是一件非常耗时的工作，特别是当待焊部件焊点较多，以及焊接产品种类繁多时，这项工作不仅辛苦，还很容易出错，一旦出现焊点位置错误，将导致焊接部件报废造成直接经济损失。
发明内容
为了解决上述现有技术的不足，本发明提拱了一种基于双目视觉的焊点定位方法、装置、系统、计算机设备和存储介质，实现对焊点坐标的自动定位，提高焊点坐标定位的效率和准确率。
本发明的第一个目的在于提供一种基于双目视觉的焊点定位方法。
本发明的第二个目的在于提供一种基于双目视觉的焊点定位系统。
本发明的第三个目的在于提供一种基于双目视觉的焊点定位装置。
本发明的第四个目的在于提供一种计算机设备。
本发明的第五个目的在于提供一种存储介质。
本发明的第一个目的可以通过采取如下技术方案达到：
使用标定法对双目相机进行标定及系统校正，得到多矩阵；
根据双目相机拍摄到的待焊部件的图像和所述多矩阵，得到双目相机坐标系到世界坐标系的投影矩阵；
根据所述双目相机拍摄到的待焊部件的图像，得到焊点的匹配圆心坐标；
根据所述双目相机坐标系到世界坐标系的投影矩阵，计算所述焊点的匹配圆心坐标在世界坐标系中的坐标。
进一步的，所述根据双目相机拍摄到的待焊部件的图像和所述多矩阵，得到双目相机坐标系到世界坐标系的投影矩阵，具体包括：
根据所述双目相机拍摄到的待焊部件的图像，定位每个图像中固定定位圈的圆心坐标；
根据每个图像中固定定位圈的圆心坐标和所述多矩阵，得到双目相机坐标系到世界坐标系的投影矩阵；
所述根据所述双目相机坐标系到世界坐标系的投影矩阵，计算所述焊点的匹配圆心坐标在世界坐标系中的坐标，具体包括：
根据所述多矩阵，对所述焊点的匹配圆心坐标进行校正，得到校正后焊点的匹配圆心坐标；
根据所述多矩阵中的重投影矩阵，对每一对所述校正后焊点的匹配圆心坐标进行重投影，得到焊点的圆心在双目相机坐标系中的三维坐标；
根据所述双目相机坐标系到世界坐标系的投影矩阵和所述焊点的圆心在双目相机坐标系中的三维坐标，得到焊点的圆心在世界坐标系中的三维坐标。
进一步的，所述根据所述双目相机拍摄到的待焊部件的图像，定位每个图像中固定定位圈的圆心坐标，具体包括：
控制所述双目相机对待焊部件进行拍摄，得到图像I1和I2；
对所述图像I1和I2分别进行处理，得到第一滤波图像和第二滤波图像；
根据HoughCircles算法，在第一滤波图像中找圆，圆的半径值在第一设定阈值与第二设定阈值之间，若找出的圆的数目为预设值，则对找到的圆按顺序进行排序；否则，返回控制所述双目相机对待焊部件进行拍摄，得到图像I1和I2；并执行后续操作；其中，第一设定阈值小于第二设定阈值；
对找到的每一个圆，进行圆心坐标与半径的修正，得到图像I1中的固定定位圈的圆心坐标以及修正后固定定位圈对应的圆心坐标；
根据HoughCircles算法，在第二滤波图像中找圆，且圆的半径值在第一设定阈值与第二设定阈值之间，若找出的圆的数目为预设值，则对找到的圆进行排序，并与图像I1中的固定定位圈的圆心坐标进行对应，得到固定定位圈对应的圆心坐标；否则，返回控制所述双目相机对待焊部件进行拍摄，得到图像I1和I2；并执行后续操作；
对找到的每一个圆，进行圆心坐标与半径的修正，得到图像I2中的固定定位圈的圆心坐标以及修正后固定定位圈对应的圆心坐标；
所述根据每个图像中固定定位圈的圆心坐标和所述多矩阵，得到双目相机坐标系到世界坐标系的投影矩阵，具体包括：
根据所述多矩阵，对每对所述修正后固定定位圈对应的圆心坐标进行校正，得到校正后固定定位圈对应的圆心坐标；
根据所述多矩阵中的重投影矩阵，对每对所述校正后固定定位圈对应的圆心坐标进行重投影，得到每对固定定位圈的圆心坐标在双目相机坐标系中的三维坐标(xs，i，ys，i，zs，i)；
根据人工测量得到的固定定位圈的圆心坐标在世界坐标系中的坐标(xz，i，yz，i)和所述固定定位圈的圆心坐标在双目相机坐标系中的坐标(xs，i，ys，i)，得到双目相机坐标系到世界坐标系的投影矩阵；
所述根据所述双目相机拍摄到的待焊部件的图像，得到焊点的匹配圆心坐标，具体包括：
根据所述双目相机拍摄到的待焊部件的图像，定位双目相机下的焊点圆心坐标；
将所述双目相机下的圆心坐标一一匹配，得到焊点的匹配圆心坐标。
进一步的，所述找到的每一个圆在滤波图像I中，每一个圆的圆心坐标为(xd，i，yd，i)，半径为Rd，i；
所述对找到的每一个圆，进行圆心坐标与半径的修正，具体包括：
在所述滤波图像I中以(xd，i，yd，i)为中心，截取大小为(2Rd，i+10)×(2Rd，i+10)的子图像
Figure GDA0003902313070000031
根据大津法对所述子图像
Figure GDA0003902313070000032
进行二值化，得到二值图像
Figure GDA0003902313070000033
在所述二值图像
Figure GDA0003902313070000034
中找出所有的连通域；
在所有的连通域中，去除位于图像边缘以及长、宽分别小于第三设定阈值或大于第四设定阈值的连通域，得到剩余的连通域；其中，第三设定阈值小于第四设定阈值；
在所述剩余的连通域中，找到面积最大的连通域；在所述面积最大的连通域中找出最小凸包曲线B；
在以图像I左上角为原点的坐标系中，对最小凸包曲线B的各点进行拟合，得到修正后固定定位圈的圆心坐标与半径；将修正后固定定位圈的圆心坐标作为图像I中的一个固定定位圈的圆心坐标。
进一步的，所述双目相机为左、右相机；
所述将所述双目相机下的圆心坐标一一匹配，得到焊点的匹配圆心坐标，具体包括：
对左相机下每一个焊点的圆心坐标(xl，j，yl，j)，遍历右相机下所有焊点的圆心坐标(xr，k，yr，k)，计算dx，kj、dy，kj和欧氏距离dxy，kj，公式如下：
Figure GDA0003902313070000041
其中：
Figure GDA0003902313070000042
(xl，i，yl，i)、(xr，i，yr，i)为所述修正后固定定位圈对应的圆心坐标；
若右相机下焊点的圆心坐标(xr，k，yr，k)使dx，kj、dy，kj均小于第五设定阈值，且dxy，kj的值是最小的，则右相机下焊点的圆心坐标(xr，k，yr，k)与左相机下焊点的圆心坐标(xl，j，yl，j)为同一焊点的匹配圆心坐标。
进一步的，所述图像I1和I2分别对应双目相机中左、右相机拍摄的图像；
所述根据所述双目相机拍摄到的待焊部件的图像，定位双目相机下的焊点圆心坐标，具体包括：
根据图像I1和I2，分别定位图像I1和I2中焊点的圆心坐标(xm，j，ym，j)和半径Rm，j；
若图像I1为图像Im，则定位图像Im中焊点的圆心坐标(xm，j，ym，j)和半径Rm，j；所述图像Im中焊点的圆心坐标(xm，j，ym，j)和半径Rm，j作为左相机下焊点的圆心坐标(xl，j，yl，j)和半径Rl，j；
若图像I2为图像Im，则定位图像Im中焊点的圆心坐标(xm，j，ym，j)和半径Rm，j；所述图像Im中焊点的圆心坐标(xm，j，ym，j)和半径Rm，j作为右相机下焊点的的圆心坐标(xr，j，yr，j)和半径Rr，j。
进一步的，所述定位图像Im中焊点的圆心坐标(xm，j，ym，j)和半径Rm，j，具体包括：
对所述图像Im的R、G和B通道进行处理，得到处理后的R、G和B通道；
对所述处理后的R、G通道的像素进行运算，得到运算后的结果；将所述运算后的结果与处理后的B通道的像素进行运算，得到图像
Figure GDA0003902313070000051
对图像
Figure GDA0003902313070000052
进行轮廓提取，得到一系列轮廓点集；
根据所有的轮廓点集，得到所有轮廓点集的最小区域边界斜矩形；在所有轮廓点集的最小区域边界斜矩形中，去掉位于图像边缘以及长、宽分别小于第六设定阈值或大于第七设定阈值的矩形；其中，第六设定阈值小于第七设定阈值；
对于每一个轮廓点集，计算图像Im中焊点的圆心坐标(xm，j，ym，j)和焊点半径Rm，j，得到图像Im中焊点的圆心坐标为(xm，j，ym，j)和焊点半径为Rm，j。
进一步的，所述对于每一个轮廓点集，计算图像Im中焊点的圆心坐标(xm，j，ym，j)和焊点半径Rm，j，具体包括：
根据轮廓点集，得到轮廓点集的最小外接矩形；
若最小外接矩形长与宽的绝对值均小于第八设定阈值且大于第九设定阈值，则根据每一个轮廓点集，找出最小凸包曲线B；对最小凸包曲线B各点的坐标进行圆拟合，得到焊点的圆心坐标(xm，j，ym，j)和半径Rm，j；其中，第八设定阈值大于第九设定阈值；
否则，使用HoughCircles算法在轮廓点集找圆，找出半径大于或等于第十设定阈值且半径小于或等于第十一设定阈值的圆，若找到，则令找到的圆的圆心坐标与半径分别为焊点的圆心坐标(xm，j，ym，j)与半径Rm，j；若未找到，则令所述最小外接矩形的对角线两个点的平均值作为焊点的圆心坐标(xm，j，ym，j)，令所述最小外接矩形的长与宽的算术平均值的一半作为焊点的半径Rm，j；其中，第十设定阈值小于第十一设定阈值。
本发明的第二个目的可以通过采取如下技术方案达到：
一种基于双目视觉的焊点定位系统，所述系统包括上位机和相机模组，所述上位机与所述相机模组连接；其中：
所述相机模组包括双目相机，用于采集待焊部件的高清图像；
所述上位机，用于向相机模组发送控制指令和执行上述的焊点定位方法。
本发明的第三个目的可以通过采取如下技术方案达到：
一种基于双目视觉的焊点定位装置，所述装置包括：
校正模块，用于使用标定法对双目相机进行标定及系统校正，得到多矩阵；
转换模块，用于根据双目相机拍摄到的待焊部件的图像和所述多矩阵，得到双目相机坐标系到世界坐标系的投影矩阵；
定位模块，用于根据所述双目相机拍摄到的待焊部件的图像，得到焊点的匹配圆心坐标；
计算模块，用于根据所述双目相机坐标系到世界坐标系的投影矩阵，计算所述焊点的匹配圆心坐标在世界坐标系中的坐标。
本发明的第四个目的可以通过采取如下技术方案达到：
一种计算机设备，包括处理器以及用于存储处理器可执行程序的存储器，所述处理器执行存储器存储的程序时，实现上述的焊点定位方法。
本发明的第五个目的可以通过采取如下技术方案达到：
一种存储介质，存储有程序，所述程序被处理器执行时，实现上述的焊点定位方法。
本发明相对于现有技术具有如下的有益效果：
1、本发明创新性地提出在获得组装设计尺寸的前提下，基于图像处理技术，按产品实际装配情况，通过测量并修正原设计尺寸，自动得到正确的焊点位置坐标，使焊枪在所测坐标引导下，完成每个焊点的焊接；实现了自动对焊点位置坐标的定位工作，提高了生产效率。
2、本发明定位能力较强，即使预估位置与实际位置相差较大，焊点不能拍摄完整时也能完成定位工作。
3、本发明受限较少，焊点颜色、高度、大小均不会影响算法性能，另外焊点处有少量杂物遮挡或存在少量缺陷也不会影响定位精度。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图示出的结构获得其他的附图。
图1为本发明实施例1的基于双目视觉的焊点定位方法的流程图。
图2为本发明实施例1的相机标定的计算结果图。
图3为本发明实施例1的定位圈识别和定位结果图。
图4为本发明实施例1的单个焊孔提取边缘轮廓结果图。
图5为本发明实施例1的单个焊孔计算最小凸包结果图。
图6为本发明实施例1的焊点识别和定位结果图。
图7为本发明实施例1的焊点定位系统示意图。
图8为本发明实施例2的基于双目视觉的焊点定位装置的结构框图。
图9为本发明实施例3的计算机设备的结构框图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明的一部分实施例，而不是全部的实施例，基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
实施例1：
本发明的原理是通过相机标定及系统校正，得到多个矩阵；根据双目相机拍摄到的待焊部件的图像和多个矩阵，得到双目相机坐标系到世界坐标系的投影矩阵；根据所述双目相机拍摄到的待焊部件的图像，定位双目相机下的焊点圆心坐标；将双目相机下的焊点圆心坐标一一匹配，得到焊点的匹配圆心坐标；根据所述双目相机坐标系到世界坐标系的投影矩阵，计算所述焊点的匹配圆心坐标在世界坐标系中的坐标。
如图1所示，本实施例提供了一种基于双目视觉的焊点定位方法，该方法包括以下步骤：
S101、使用标定法对双目相机进行标定及系统校正，得到多矩阵。
优选的，本实施例中使用张正友标定法进行双目相机标定及系统校正，如图2所示，获得矩阵Ml、Mr、Dl、Dr、Rl、Rr、Pl、Pr和Q。所述双目相机为左右相机。
其中：Ml为左相机的内参数矩阵，Mr为右相机的内参数矩阵，Dl为左相机的畸变矩阵，Dr为右相机的畸变矩阵，Rl为左相机的校正旋转矩阵，Rr为右相机的校正旋转矩阵，Pl为左相机的投影矩阵，Pr为右相机的投影矩阵，Q为重投影矩阵；
S102、根据双目相机拍摄到的待焊部件的图像和所述多矩阵，得到双目相机坐标系到世界坐标系的投影矩阵。
利用左右相机分别对待焊部件进行拍摄，得到两张图像；根据两张图像，定位每张图像中四个固定定位圈的圆心坐标和半径；根据四对固定定位圈的圆心坐标和多个矩阵，得到相机坐标到世界坐标的投影矩阵。
在本实施例中，待焊部件为整个门板。
计算(xl，i，yl，i)、(xr，i，yr，i)、Rl，i、Rr，i(i＝1，2，3，4)、(cx，cy)以及投影矩阵T；其中：(xl，i，yl，i)为左相机拍摄图像中第i个固定定位圈的圆心坐标，(xr，i，yr，i)为右相机拍摄图像中第i个固定定位圈的圆心坐标，Rl，i为左相机拍摄图像中第i个固定定位圈的半径，Rr，i为右相机拍摄图像中第i个固定定位圈的半径，(cx，cy)为左右相机拍摄下各对应固定定位圈圆心坐标差值的算术平均值。
进一步的，步骤S102具体包括：
S1021、根据双目相机拍摄到的待焊部件的图像，定位每个图像中固定定位圈的圆心坐标。
进一步的，步骤S1021具体包括：
S10211、控制左相机在当前位置拍摄图像I1，右相机在当前位置拍摄图像I2；
S10212、求图像I1中四个固定定位圈的圆心坐标(xl，i，yl，i)与焊点半径Rl，i，i＝1，2，3，4，单位均为像素个数，具体包括：
(1)使用公式
Figure GDA0003902313070000081
对焊点图像I1进行灰度化处理，得到灰度图像
Figure GDA0003902313070000082
其中R(x，y)表示焊点图像红色(R)通道下的像素点灰度值，G(x，y)表示焊点图像绿色(G)通道下的像素点灰度值，B(x，y)表示焊点图像蓝色(B)通道下的像素点灰度值；
(2)先后使用中值滤波和均值滤波对焊点图像
Figure GDA0003902313070000083
进行滤波处理，去除噪声，得到滤波图像
Figure GDA0003902313070000084
(3)对滤波图像
Figure GDA0003902313070000085
使用HoughCircles算法找圆，找出半径在th1与th2之间的圆，如果找到的圆的数目不等于4，返回步骤S10211，否则对找到的圆按左上、右上、左下、右下顺序进行排序；
优选的，本实施例中th1＝45像素，th2＝55像素。
(4)对于找到的每一个圆，修正其圆心坐标(xl，i，yl，i)与半径Rl，i，具体如下：
(4-1)以(xl，i，yl，i)为中心在
Figure GDA0003902313070000086
中截取大小为(2Rl，i+10)×(2Rl，i+10)的子图像
Figure GDA0003902313070000087
(4-2)用大津法对
Figure GDA0003902313070000088
进行二值化，得到二值图像
Figure GDA0003902313070000089
(4-3)找出
Figure GDA00039023130700000810
中所有连通域；
(4-4)去除位于图像边缘以及长宽小于th3或大于th4的连通域；
优选的，本实施例中th3＝60像素，th4＝110像素。
(4-5)在剩余连通域中找到面积最大的连通域，并找出其最小凸包曲线B；
(4-6)在以
Figure GDA0003902313070000091
左上角为原点的坐标系中，对最小凸包曲线B各点进行最小二乘圆拟合，得到圆心坐标与半径，并替换原来的(xl，i，yl，i)与Rl，i，即得到图像I1中四个固定定位圈的中心坐标为(xl，i，yl，i)与Rl，i；
B10213、计算图像I2中四个固定定位圈的中心坐标(xr，i，yr，i)与焊点半径Rr，i，(i＝1，2，3，4，单位均为像素个数)，具体步骤与步骤S10212一致；
将图像I1中四个固定定位圈的中心坐标(xl，i，yl，i)与图像I2中四个固定定位圈的中心坐标(xr，i，yr，i)，按左上、右上、左下、右下顺序进行对应，得到四对固定定位圈的圆心坐标，如图3所示；
S10214、计算cx，cy，其中
Figure GDA0003902313070000092
S1022、根据每个图像中固定定位圈的圆心坐标和所述多矩阵，得到双目相机坐标系到世界坐标系的投影矩阵。
进一步的，步骤S1022具体包括：
(1)使用OpenCV库函数undistort分别对所有(xl，i，yl，i)和(xr，i，yr，i)进行畸变校正与平行极线校正，得到校正后坐标
Figure GDA0003902313070000093
和
Figure GDA0003902313070000094
使用OpenCV库函数undistort与矩阵Ml、Dl、Rl、Pl对所有(xl，i，yl，i)进行畸变校正与平行极线校正，得到校正后坐标
Figure GDA0003902313070000095
使用OpenCV库函数undistort与矩阵Mr、Dr、Rr、Pr对所有(xr，i，yr，i)进行畸变校正与平行极线校正，得到校正后坐标
Figure GDA0003902313070000096
(2)使用OpenCV库函数perspectiveTransform与矩阵Q，对每一对校正后的定位圈圆心坐标进行重投影，得到每对该定位圈圆心在相机坐标系中的三维坐标(xs，i，ys，i，zs，i)；
(3)使用OpenCV库函数getPerspectiveTransform、人工测量得到的四个定位圈圆心世界坐标(xz，i，yz，i)及步骤S2-7得到的(xs，i，ys，i)，计算相机坐标到世界坐标的投影矩阵T。
S103、根据所述双目相机拍摄到的待焊部件的图像，定位双目相机下的焊点圆心坐标。
对步骤S102拍摄到的两张图像I1、I2，分别定位焊接平台上待焊部件在左右两个相机下的焊点圆心坐标和焊点半径。
图像I1、I2中焊点的圆心坐标(xl，j，yl，j)、(xr，j，yr，j)与焊点半径Rl，j、Rr，j，j＝1，2...；其中：(xl，j，yl，j)为左相机拍摄下图像I1中第j个焊点的圆心坐标，(xr，j，yr，j)为右相机拍摄下图像I2中第j个焊点的圆心坐标，Rl，j为左相机拍摄下图像I1中第j个焊点的半径，Rr，j为右相机拍摄下图像I2中第j个焊点的半径。
进一步的，步骤S103具体包括：
S1031、求图像I1中焊点的圆心坐标(xl，j，yl，j)与焊点半径Rl，j，j＝1，2...，单位均为像素个数，具体包括：
(1)分别使用如下公式：
Figure GDA0003902313070000101
Figure GDA0003902313070000102
Figure GDA0003902313070000103
对图像I1的R、G和B三个通道进行归一化处理；
对得到的R、G和B三个通道分别使用如下公式：
Figure GDA0003902313070000104
Figure GDA0003902313070000105
Figure GDA0003902313070000106
进行二进制阈值化处理，再使用OpenCV库函数bitwise_and将图像中R通道像素
Figure GDA0003902313070000107
和G通道像素
Figure GDA0003902313070000108
进行二进制与运算并将结果保存在
Figure GDA0003902313070000109
中，使用OpenCV库函数bitwise_and将图像中B通道像素和
Figure GDA00039023130700001010
中像素进行二进制与运算并将结果保存在
Figure GDA00039023130700001011
中；
(2)使用OpenCV库函数findContours对图像
Figure GDA00039023130700001012
进行轮廓提取，得到一系列轮廓点集；其中一个焊点的轮廓如图4所示；
(3)计算所有轮廓点集的最小区域边界斜矩形，并去掉位于图像边缘以及长宽均小于th5或大于th6的矩形；
优选的，本实施例中th5＝10像素，th6＝17像素。
(4)对于每一个轮廓点集，计算其圆心坐标(xl，j，yl，j)与半径Rl，j，具体如下：
(4-1)计算所有轮廓点集的最小外接矩形，判断矩形长与宽的绝对值是否均小于th7且大于th8，若是，则执行下面的步骤(2)，否则，执行下面的步骤(3)。
优选的，本实施例中th7＝5像素，th8＝3像素；
(4-2)对当前轮廓点集找出其最小凸包曲线B，其中一个焊点的对应的曲线如图5所示，并对最小凸包曲线B各点的坐标使用最小二乘法进行圆拟合，得到圆心坐标(xl，j，yl，j)与半径Rl，j；
(4-3)使用OpenCV库函数HoughCircles算法在轮廓点集找圆，找出半径在th9与th10之间的圆，如果存在，则令该圆的圆心坐标与半径分别为(xl，j，yl，j)与Rl，j；如果不存在，则令最小外接矩形对角线两个点的平均值为(xl，j，yl，j)、令最小外接矩形长与宽的算术平均值的一半分别为Rl，j；
优选的，本实施例中th9＝8像素，th10＝15像素。
S1032、求图像I2中焊点的中心坐标(xr，j，yr，j)与焊点半径Rr，j，j＝1，2...，单位均为像素个数，具体步骤和S1031相同。
S104、将所述双目相机下的圆心坐标一一匹配，得到焊点的匹配圆心坐标。
将同一焊点工件在左右两个相机下的圆心坐标(xl，j，yl，j)和(xr，k，yr，k)一一匹配，并将结果分别保存在Vcl和Vcr中，具体包括：
S1041、对每一个左相机下焊点的圆心坐标(xl，j，yl，j)，遍历所有右相机下焊点的圆心坐标(xr，k，yr，k)，计算寻找使得横纵坐标差值减去(cx，cy)的横纵坐标的绝对值dx，ij，dy，ij和其欧氏距离dxy，ij：
Figure GDA0003902313070000111
S1042、寻找dx，kj＜th11、dy，kj＜th11，且dxy，kj最小的右相机圆心坐标，该对坐标(xr，k，yr，k)与左相机圆心坐标(xl，j，yl，j)即为同一焊点的一对匹配圆心坐标。
优选的，本实施例中th11＝50像素。
S105、根据所述双目相机坐标系到世界坐标系的投影矩阵，计算所述焊点的匹配圆心坐标在世界坐标系中的坐标。
进一步的，步骤S105具体包括：
S1051、使用OpenCV库函数undistort与矩阵Ml、Dl、Rl、Pl对所有(xl，j，yl，j)进行畸变校正与平行极线校正，得到校正后坐标
Figure GDA0003902313070000121
B1052、使用OpenCV库函数undistort与矩阵Mr、Dr、Rr、Pr对所有(xr，k，yr，k)进行畸变校正与平行极线校正，得到校正后坐标
Figure GDA0003902313070000122
S1053、使用OpenCV库函数perspectiveTransform与矩阵Q，对每一对校正后的焊点工件的匹配圆心坐标进行重投影，得到该焊点圆心在双目相机坐标系中的三维坐标(xs，j，ys，j，zs，j)；
S1054、使用OpenCV库函数perspectiveTransform，矩阵T及步骤S1053得到的(xs，j，ys，j，zs，j)，计算该焊点圆心在世界坐标系中的三维坐标(xz，j，yz，j，zz，j)。
本实施中焊点的识别和定位结果如图6所示。
如图7所示，本实施例还提供了一种基于双目视觉的焊点定位系统，包括上位机1和双目相机模组2，所述上位机与所述相机模组连接；其中：
所述相机模组2包括双目相机，用于采集待焊部件的高清图像；
所述上位机1，用于向相机模组发送控制指令和执行上述的焊点定位方法。
本领域技术人员可以理解，实现上述实施例的方法中的全部或部分步骤可以通过程序来指令相关的硬件来完成，相应的程序可以存储于计算机可读存储介质中。
应当注意，尽管在附图中以特定顺序描述了上述实施例的方法操作，但是这并非要求或者暗示必须按照该特定顺序来执行这些操作，或是必须执行全部所示的操作才能实现期望的结果。相反，描绘的步骤可以改变执行顺序。附加地或备选地，可以省略某些步骤，将多个步骤合并为一个步骤执行，和/或将一个步骤分解为多个步骤执行。
实施例2：
如图8所示，本实施例提供了一种基于双目视觉的焊点定位装置，所述装置包括校正模块801、转换模块802、定位模块803和计算模块804，各个模块的具体功能如下：
校正模块801，用于使用标定法对双目相机进行标定及系统校正，得到多矩阵；
转换模块802，用于根据双目相机拍摄到的待焊部件的图像和所述多矩阵，得到双目相机坐标系到世界坐标系的投影矩阵；
定位模块803，用于根据所述双目相机拍摄到的待焊部件的图像，得到焊点的匹配圆心坐标；
计算模块804，用于根据所述双目相机坐标系到世界坐标系的投影矩阵，计算所述焊点的匹配圆心坐标在世界坐标系中的坐标。
本实施例中各个模块的具体实现可以参见上述实施例1，在此不再一一赘述；需要说明的是，本实施例提供的装置仅以上述各功能模块的划分进行举例说明，在实际应用中，可以根据需要而将上述功能分配由不同的功能模块完成，即将内部结构划分成不同的功能模块，以完成以上描述的全部或者部分功能。
实施例3：
本实施例提供了一种计算机设备，该计算机设备可以为计算机，如图9所示，其通过系统总线901连接的处理器902、存储器、输入装置903、显示器904和网络接口905，该处理器用于提供计算和控制能力，该存储器包括非易失性存储介质906和内存储器907，该非易失性存储介质906存储有操作系统、计算机程序和数据库，该内存储器907为非易失性存储介质中的操作系统和计算机程序的运行提供环境，处理器902执行存储器存储的计算机程序时，实现上述实施例1的焊点定位方法，如下：
使用标定法对双目相机进行标定及系统校正，得到多矩阵；
根据双目相机拍摄到的待焊部件的图像和所述多矩阵，得到双目相机坐标系到世界坐标系的投影矩阵；
根据所述双目相机拍摄到的待焊部件的图像，得到焊点的匹配圆心坐标；
根据所述双目相机坐标系到世界坐标系的投影矩阵，计算所述焊点的匹配圆心坐标在世界坐标系中的坐标。
实施例4：
本实施例提供了一种存储介质，该存储介质为计算机可读存储介质，其存储有计算机程序，所述计算机程序被处理器执行时，实现上述实施例1的焊点定位方法，如下：
使用标定法对双目相机进行标定及系统校正，得到多矩阵；
根据双目相机拍摄到的待焊部件的图像和所述多矩阵，得到双目相机坐标系到世界坐标系的投影矩阵；
根据所述双目相机拍摄到的待焊部件的图像，得到焊点的匹配圆心坐标；
根据所述双目相机坐标系到世界坐标系的投影矩阵，计算所述焊点的匹配圆心坐标在世界坐标系中的坐标。
需要说明的是，本实施例的计算机可读存储介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是但不限于电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。
综上所述，本发明使用标定法对双目相机进行标定及系统校正，得到多矩阵；根据双目相机拍摄到的待焊部件的图像和所述多矩阵，得到双目相机坐标系到世界坐标系的投影矩阵；根据所述双目相机拍摄到的待焊部件的图像，定位双目相机下的焊点圆心坐标；将所述双目机下的圆心坐标一一匹配，得到焊点的匹配圆心坐标；根据所述双目相机坐标系到世界坐标系的投影矩阵，计算所述焊点的匹配圆心坐标在世界坐标系中的坐标。实现了对焊点坐标的自动识别和定位，提高了焊点坐标定位的效率和准确率。
以上所述，仅为本发明专利较佳的实施例，但本发明专利的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明专利所公开的范围内，根据本发明专利的技术方案及其发明构思加以等同替换或改变，都属于本发明专利的保护范围。

Claims (8)

1.一种基于双目视觉的焊点定位方法，其特征在于，所述方法包括：
使用标定法对双目相机进行标定及系统校正，得到多矩阵；
根据双目相机拍摄到的待焊部件的图像和所述多矩阵，得到双目相机坐标系到世界坐标系的投影矩阵；
根据所述双目相机拍摄到的待焊部件的图像，得到焊点的匹配圆心坐标；
根据所述双目相机坐标系到世界坐标系的投影矩阵，计算所述焊点的匹配圆心坐标在世界坐标系中的坐标；
所述根据双目相机拍摄到的待焊部件的图像和所述多矩阵，得到双目相机坐标系到世界坐标系的投影矩阵，具体包括：
根据所述双目相机拍摄到的待焊部件的图像，定位每个图像中固定定位圈的圆心坐标；
根据每个图像中固定定位圈的圆心坐标和所述多矩阵，得到双目相机坐标系到世界坐标系的投影矩阵；
所述根据所述双目相机坐标系到世界坐标系的投影矩阵，计算所述焊点的匹配圆心坐标在世界坐标系中的坐标，具体包括：
根据所述多矩阵，对所述焊点的匹配圆心坐标进行校正，得到校正后焊点的匹配圆心坐标；
根据所述多矩阵中的重投影矩阵，对每一对所述校正后焊点的匹配圆心坐标进行重投影，得到焊点的圆心在双目相机坐标系中的三维坐标；
根据所述双目相机坐标系到世界坐标系的投影矩阵和所述焊点的圆心在双目相机坐标系中的三维坐标，得到焊点的圆心在世界坐标系中的三维坐标；
所述根据所述双目相机拍摄到的待焊部件的图像，定位每个图像中固定定位圈的圆心坐标，具体包括：
控制所述双目相机对待焊部件进行拍摄，得到图像I1和I2；
对所述图像I1和I2分别进行处理，得到第一滤波图像和第二滤波图像；
根据HoughCircles算法，在第一滤波图像中找圆，圆的半径值在第一设定阈值与第二设定阈值之间，若找出的圆的数目为预设值，则对找到的圆按顺序进行排序；否则，返回控制所述双目相机对待焊部件进行拍摄，得到图像I1和I2，并执行后续操作；其中，第一设定阈值小于第二设定阈值；
对找到的每一个圆，进行圆心坐标与半径的修正，得到图像I1中的固定定位圈的圆心坐标以及修正后固定定位圈对应的圆心坐标；
根据HoughCircles算法，在第二滤波图像中找圆，且圆的半径值在第一设定阈值与第二设定阈值之间，若找出的圆的数目为预设值，则对找到的圆进行排序，并与图像I1中的固定定位圈的圆心坐标进行对应，得到固定定位圈对应的圆心坐标；否则，返回控制所述双目相机对待焊部件进行拍摄，得到图像I1和I2，并执行后续操作；
对找到的每一个圆，进行圆心坐标与半径的修正，得到图像I2中的固定定位圈的圆心坐标以及修正后固定定位圈对应的圆心坐标；
所述根据每个图像中固定定位圈的圆心坐标和所述多矩阵，得到双目相机坐标系到世界坐标系的投影矩阵，具体包括：
根据所述多矩阵，对每对所述修正后固定定位圈对应的圆心坐标进行校正，得到校正后固定定位圈对应的圆心坐标；
根据所述多矩阵中的重投影矩阵，对每对所述校正后固定定位圈对应的圆心坐标进行重投影，得到每对固定定位圈的圆心坐标在双目相机坐标系中的三维坐标(xs,i,ys,i,zs,i)；
根据人工测量得到的固定定位圈的圆心坐标在世界坐标系中的坐标(xz,i,yz,i)和所述固定定位圈的圆心坐标在双目相机坐标系中的坐标(xs,i,ys,i)，得到双目相机坐标系到世界坐标系的投影矩阵；
所述根据所述双目相机拍摄到的待焊部件的图像，得到焊点的匹配圆心坐标，具体包括：
根据所述双目相机拍摄到的待焊部件的图像，定位双目相机下的焊点圆心坐标；
将所述双目相机下的圆心坐标一一匹配，得到焊点的匹配圆心坐标。
2.根据权利要求1所述的焊点定位方法，其特征在于，所述找到的每一个圆在滤波图像I中，每一个圆的圆心坐标为(xd,i,yd,i)，半径为Rd,i；
所述对找到的每一个圆，进行圆心坐标与半径的修正，具体包括：
在所述滤波图像I中以(xd,i,yd,i)为中心，截取大小为(2Rd,i+10)×(2Rd,i+10)的子图像
Figure FDA0003902313060000021
根据大津法对所述子图像
Figure FDA0003902313060000022
进行二值化，得到二值图像
Figure FDA0003902313060000023
在所述二值图像
Figure FDA0003902313060000024
中找出所有的连通域；
在所有的连通域中，去除位于图像边缘以及长、宽分别小于第三设定阈值或大于第四设定阈值的连通域，得到剩余的连通域；其中，第三设定阈值小于第四设定阈值；
在所述剩余的连通域中，找到面积最大的连通域；在所述面积最大的连通域中找出最小凸包曲线B；
在以图像I左上角为原点的坐标系中，对最小凸包曲线B的各点进行拟合，得到修正后固定定位圈的圆心坐标与半径；将修正后固定定位圈的圆心坐标作为图像I中的一个固定定位圈的圆心坐标。
3.根据权利要求1所述的焊点定位方法，其特征在于，所述双目相机为左、右相机；
所述将所述双目相机下的圆心坐标一一匹配，得到焊点的匹配圆心坐标，具体包括：
对左相机下每一个焊点的圆心坐标(xl,j,yl,j)，遍历右相机下所有焊点的圆心坐标(xr,k,yr,k)，计算dx,kj、dy,kj和欧氏距离dxy,kj，公式如下：
Figure FDA0003902313060000031
其中：
Figure FDA0003902313060000032
(xl,i,yl,i)、(xr,i,yr,i)为所述修正后固定定位圈对应的圆心坐标；
若右相机下焊点的圆心坐标(xr,k,yr,k)使dx,kj、dy,kj均小于第五设定阈值，且dxy,kj的值是最小的，则右相机下焊点的圆心坐标(xr,k,yr,k)与左相机下焊点的圆心坐标(xl,j,yl,j)为同一焊点的匹配圆心坐标。
4.根据权利要求1-3任一项所述的焊点定位方法，其特征在于，所述图像I1和I2分别对应双目相机中左、右相机拍摄的图像；
所述根据所述双目相机拍摄到的待焊部件的图像，定位双目相机下的焊点圆心坐标，具体包括：
根据图像I1和I2，分别定位图像I1和I2中焊点的圆心坐标和半径；
若图像I1为图像Im，则定位图像Im中焊点的圆心坐标(xm,j,ym,j)和半径Rm,j；所述图像Im中焊点的圆心坐标(xm,j,ym,j)和半径Rm,j作为左相机下焊点的圆心坐标(xl,j,yl,j)和半径Rl,j；
若图像I2为图像Im，则定位图像Im中焊点的圆心坐标(xm,j,ym,j)和半径Rm,j；所述图像Im中焊点的圆心坐标(xm,j,ym,j)和半径Rm,j作为右相机下焊点的的圆心坐标(xr,j,yr,j)和半径Rr,j。
5.根据权利要求4所述的焊点定位方法，其特征在于，所述定位图像Im中焊点的圆心坐标(xm,j,ym,j)和半径Rm,j，具体包括：
对所述图像Im的R、G和B通道进行处理，得到处理后的R、G和B通道；
对所述处理后的R、G通道的像素进行运算，得到运算后的结果；将所述运算后的结果与处理后的B通道的像素进行运算，得到图像
Figure FDA0003902313060000041
对图像
Figure FDA0003902313060000042
进行轮廓提取，得到一系列轮廓点集；
根据所有的轮廓点集，得到所有轮廓点集的最小区域边界斜矩形；在所有轮廓点集的最小区域边界斜矩形中，去掉位于图像边缘以及长、宽分别小于第六设定阈值或大于第七设定阈值的矩形；其中，第六设定阈值小于第七设定阈值；
对于每一个轮廓点集，计算图像Im中焊点的圆心坐标(xm,j,ym,j)和焊点半径Rm,j，得到图像Im中焊点的圆心坐标为(xm,j,ym,j)和焊点半径为Rm,j。
6.根据权利要求5所述的焊点定位方法，其特征在于，所述对于每一个轮廓点集，计算图像Im中焊点的圆心坐标(xm,j,ym,j)和焊点半径Rm,j，具体包括：
根据轮廓点集，得到轮廓点集的最小外接矩形；
若最小外接矩形长与宽的绝对值均小于第八设定阈值且大于第九设定阈值，则根据每一个轮廓点集，找出最小凸包曲线B；对最小凸包曲线B各点的坐标进行圆拟合，得到焊点的圆心坐标(xm,j,ym,j)和半径Rm,j；其中，第八设定阈值大于第九设定阈值；
否则，使用HoughCircles算法在轮廓点集找圆，找出半径大于或等于第十设定阈值且半径小于或等于第十一设定阈值的圆，若找到，则令找到的圆的圆心坐标与半径分别为焊点的圆心坐标(xm,j,ym,j)与半径Rm,j；若未找到，则令所述最小外接矩形的对角线两个点的平均值作为焊点的圆心坐标(xm,j,ym,j)，令所述最小外接矩形的长与宽的算术平均值的一半作为焊点的半径Rm,j；其中，第十设定阈值小于第十一设定阈值。
7.一种基于双目视觉的焊点定位系统，其特征在于，所述系统包括上位机和相机模组，所述上位机与所述相机模组连接；其中：
所述相机模组包括双目相机，用于采集待焊部件的高清图像；
所述上位机，用于向相机模组发送控制指令和执行权利要求1-6任一项所述的焊点定位方法。
8.一种基于双目视觉的焊点定位装置，其特征在于，所述装置包括：
校正模块，用于使用标定法对双目相机进行标定及系统校正，得到多矩阵；
转换模块，用于根据双目相机拍摄到的待焊部件的图像和所述多矩阵，得到双目相机坐标系到世界坐标系的投影矩阵；
定位模块，用于根据所述双目相机拍摄到的待焊部件的图像，得到焊点的匹配圆心坐标；
计算模块，用于根据所述双目相机坐标系到世界坐标系的投影矩阵，计算所述焊点的匹配圆心坐标在世界坐标系中的坐标；
所述根据双目相机拍摄到的待焊部件的图像和所述多矩阵，得到双目相机坐标系到世界坐标系的投影矩阵，具体包括：
根据所述双目相机拍摄到的待焊部件的图像，定位每个图像中固定定位圈的圆心坐标；
根据每个图像中固定定位圈的圆心坐标和所述多矩阵，得到双目相机坐标系到世界坐标系的投影矩阵；
所述根据所述双目相机坐标系到世界坐标系的投影矩阵，计算所述焊点的匹配圆心坐标在世界坐标系中的坐标，具体包括：
根据所述多矩阵，对所述焊点的匹配圆心坐标进行校正，得到校正后焊点的匹配圆心坐标；
根据所述多矩阵中的重投影矩阵，对每一对所述校正后焊点的匹配圆心坐标进行重投影，得到焊点的圆心在双目相机坐标系中的三维坐标；
根据所述双目相机坐标系到世界坐标系的投影矩阵和所述焊点的圆心在双目相机坐标系中的三维坐标，得到焊点的圆心在世界坐标系中的三维坐标；
所述根据所述双目相机拍摄到的待焊部件的图像，定位每个图像中固定定位圈的圆心坐标，具体包括：
控制所述双目相机对待焊部件进行拍摄，得到图像I1和I2；
对所述图像I1和I2分别进行处理，得到第一滤波图像和第二滤波图像；
根据HoughCircles算法，在第一滤波图像中找圆，圆的半径值在第一设定阈值与第二设定阈值之间，若找出的圆的数目为预设值，则对找到的圆按顺序进行排序；否则，返回控制所述双目相机对待焊部件进行拍摄，得到图像I1和I2；并执行后续操作；其中，第一设定阈值小于第二设定阈值；
对找到的每一个圆，进行圆心坐标与半径的修正，得到图像I1中的固定定位圈的圆心坐标；
根据HoughCircles算法，在第二滤波图像中找圆，且圆的半径值在第一设定阈值与第二设定阈值之间，若找出的圆的数目为预设值，则对找到的圆进行排序，并与图像I1中的固定定位圈的圆心坐标进行对应，得到固定定位圈对应的圆心坐标；否则，返回控制所述双目相机对待焊部件进行拍摄，得到图像I1和I2；并执行后续操作；
对找到的每一个圆，进行圆心坐标与半径的修正，得到图像I2中的固定定位圈的圆心坐标以及修正后固定定位圈对应的圆心坐标；
所述根据每个图像中固定定位圈的圆心坐标和所述多矩阵，得到双目相机坐标系到世界坐标系的投影矩阵，具体包括：
根据所述多矩阵，对每对所述修正后固定定位圈对应的圆心坐标进行校正，得到校正后固定定位圈对应的圆心坐标；
根据所述多矩阵中的重投影矩阵，对每对所述校正后固定定位圈对应的圆心坐标进行重投影，得到每对固定定位圈的圆心坐标在双目相机坐标系中的三维坐标(xs,i,ys,i,zs,i)；
根据人工测量得到的固定定位圈的圆心坐标在世界坐标系中的坐标(xz,i,yz,i)和所述固定定位圈的圆心坐标在双目相机坐标系中的坐标(xs,i,ys,i)，得到双目相机坐标系到世界坐标系的投影矩阵；
所述根据所述双目相机拍摄到的待焊部件的图像，得到焊点的匹配圆心坐标，具体包括：
根据所述双目相机拍摄到的待焊部件的图像，定位双目相机下的焊点圆心坐标；
将所述双目相机下的圆心坐标一一匹配，得到焊点的匹配圆心坐标。
CN202110598449.2A 2021-05-31 2021-05-31 基于双目视觉的焊点定位方法、系统、装置、设备和介质 Active CN113313759B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110598449.2A CN113313759B (zh) 2021-05-31 2021-05-31 基于双目视觉的焊点定位方法、系统、装置、设备和介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110598449.2A CN113313759B (zh) 2021-05-31 2021-05-31 基于双目视觉的焊点定位方法、系统、装置、设备和介质

Publications (2)

Publication Number Publication Date
CN113313759A CN113313759A (zh) 2021-08-27
CN113313759B true CN113313759B (zh) 2023-02-14

Family

ID=77376314

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110598449.2A Active CN113313759B (zh) 2021-05-31 2021-05-31 基于双目视觉的焊点定位方法、系统、装置、设备和介质

Country Status (1)

Country Link
CN (1) CN113313759B (zh)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101344965A (zh) * 2008-09-04 2009-01-14 上海交通大学 基于双目摄像的跟踪系统
CN111862193A (zh) * 2020-07-21 2020-10-30 太仓光电技术研究所 一种基于形状描述子的电焊焊点双目视觉定位方法及装置
CN111968074A (zh) * 2020-07-14 2020-11-20 北京理工大学 融合双目相机和imu的收割机倒伏作物检测与收获方法
CN112750102A (zh) * 2020-12-16 2021-05-04 华南理工大学 一种基于图像处理的焊点定位方法和系统

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140035924A1 (en) * 2012-08-01 2014-02-06 Apollo Group, Inc. Trend highlighting

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101344965A (zh) * 2008-09-04 2009-01-14 上海交通大学 基于双目摄像的跟踪系统
CN111968074A (zh) * 2020-07-14 2020-11-20 北京理工大学 融合双目相机和imu的收割机倒伏作物检测与收获方法
CN111862193A (zh) * 2020-07-21 2020-10-30 太仓光电技术研究所 一种基于形状描述子的电焊焊点双目视觉定位方法及装置
CN112750102A (zh) * 2020-12-16 2021-05-04 华南理工大学 一种基于图像处理的焊点定位方法和系统

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Railway clearance intrusion detection method with binocular stereo vision;Zhou Xingfang et al.;《PROCEEDINGS OF SPIE》;20180305;第10710卷;第1071012-1-1071012-7页 *
焊缝检测区域的分段线性阈值增强算法;罗超群 等;《现代电子技术》;20190301;第42卷(第5期);第45-47、52页 *

Also Published As

Publication number Publication date
CN113313759A (zh) 2021-08-27

Similar Documents

Publication Publication Date Title
WO2021213223A1 (zh) 焊缝质量检测方法、装置、系统及电子设备
Dinham et al. Autonomous weld seam identification and localisation using eye-in-hand stereo vision for robotic arc welding
CN111127402A (zh) 一种机器人焊接质量的视觉检测方法
CN109886958B (zh) 一种基于方管焊缝位置自动识别的方法、装置及系统
CN113077437B (zh) 工件质量检测方法及其系统
CN115018846B (zh) 基于ai智能相机的多目标裂纹缺陷检测方法和装置
CN113379723B (zh) 不规则溢胶口检测方法、装置、设备和存储介质
Mohd Shah et al. Autonomous detection and identification of weld seam path shape position
CN111932490B (zh) 一种用于工业机器人的视觉系统抓取信息提取方法
CN115131268A (zh) 一种基于图像特征提取与三维模型匹配的自动化焊接系统
CN112669295A (zh) 一种基于二次阈值分割理论的锂电池极片缺陷检测方法
CN113313759B (zh) 基于双目视觉的焊点定位方法、系统、装置、设备和介质
Pei et al. Welding component identification and solder joint inspection of automobile door panel based on machine vision
CN111353981B (zh) 基于机器视觉的齿轮检测方法、系统及存储介质
CN112634259A (zh) 一种键盘键帽自动建模定位方法
CN116385433B (zh) 一种塑料管道焊接质量评估方法
CN112802029A (zh) 焊点定位方法及装置
CN117058411A (zh) 电池棱边外形瑕疵识别方法、装置、介质和设备
CN116258838A (zh) 一种用于管片模具合模系统的智能视觉引导方法
CN112381783A (zh) 一种基于红色线激光的焊缝轨迹提取方法
CN109003268B (zh) 一种超薄柔性ic基板外观颜色检测方法
CN116740036A (zh) 一种钢管管端引熄弧板切割点位检测方法和系统
CN112597832B (zh) 矩形件安装偏位判定方法和装置
CN112132773A (zh) 飞机头部机盖铆点缺陷检测方法、装置、设备和存储介质
CN112837285B (zh) 一种板面图像的边缘检测方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant