CN113240629A - 基于边缘的图像匹配窄间隙焊缝初始点定位装置和方法 - Google Patents

Abstract

本发明公开一种基于边缘的图像匹配窄间隙焊缝初始点定位装置和方法，装置包括相机固定架、固定架连接件、摄像机、镜头、滤光片、背景光源，其中：所述相机固定架内部固定所述摄像机，通过固定架连接件使所述摄像机的光轴式中垂直于焊件平面，所述摄像机通过镜头获取焊件图像信息，所述滤光片的中心波长与所述背景光源的波长相同，所述滤光片设置于所述镜头与背景光源中间，所述背景光源发出的光源投射到焊件表面。本发明还提出了基于边缘的图像匹配的方法结合多模板库，可以实现多角度，多尺度，高精度的匹配结果。

Description

基于边缘的图像匹配窄间隙焊缝初始点定位装置和方法

技术领域

本发明涉及焊接自动化领域，更具体地，涉及一种基于边缘的图像匹配窄间隙焊缝初始点定位装置和方法。

背景技术

如今，焊接自动化发展日渐成熟。其中在焊缝跟踪技术领域已有国内外学者做出大量的研究成果，但对焊缝初始点导引技术的研究较为薄弱。通过焊接导引确定初始焊接位置是整个自动化焊接的第一步。若始焊位置给定的焊炬几何中心与坡口中心重合偏差，会产生系统误差，一旦焊前该偏差存在，焊接过程中将不能自动消除。

近些年来也有一些学者对焊缝初始点导引技术进行研究，但是总结起来可以分为两类：基于三维重建的焊缝初始点导引和基于两步法先粗后细的角点检测方式。三维重建虽然较为精准，但因为三维重建需要较为明显的坡口，且在三维重建的过程中会消耗大量算力，故在不适用于窄间隙的焊缝初始点定位。两步法即先粗略求出焊接初始点范围建立感兴趣区域；再进行角点检测来获取准确焊接初始点引导。通常两步法关于第一步粗定位有两种方式：求出焊缝与边缘交点，再进行感兴趣区域建立；利用模板匹配的方式建立感兴趣区域。拟合边缘曲线求取焊缝和边缘的交点时，若拟合误差较大或感兴趣区域大小选择不当，会使得真实的焊缝初始点不在区域内，导致定位失败。而直接采用图像匹配的方式可直接获取包含真实焊缝初始点的感兴趣的区域，但是匹配结果易受到光照、尺度、旋转的影响。这些因素易导致匹配发生错误，最终影响焊接初始点的定位结果。

公开日为2018年12月18日，公开号为CN109035204A的中国专利公开了焊缝目标实时检测方法，包括以下步骤：建立训练样本集，被构造为采集不同形态的焊缝图像作为源样本，对源样本进行预处理组成训练样本；离线训练检测器，被构造为利用所述训练样本在不同的初始条件下对神经网络进行训练，将多次训练得到的最优神经网络模型作为焊缝检测器；在线检测，被构造为获取检测图像，利用所述焊缝检测器进行焊缝检测并输出检测结果。但该专利只能识别不同形态的焊缝识别点，并未能对焊缝识别点进行精确定位。

发明内容

本发明首要目的是提供一种基于边缘的图像匹配窄间隙焊缝初始点定位装置，解决现有图像匹配的方式易受到光照、尺度、旋转的影响的问题。

本发明次要目的是提供一种基于边缘的图像匹配窄间隙焊缝初始点定位方法。

为解决上述技术问题，本发明的技术方案如下：

一种基于边缘的图像匹配窄间隙焊缝初始点定位装置，包括相机固定架、固定架连接件、摄像机、镜头、滤光片、背景光源，其中：

所述相机固定架内部固定所述摄像机，所述相机固定架内部设置所述固定架连接件，所述相机固定架通过固定架连接件使所述摄像机的光轴始终垂直于焊件平面，所述摄像机通过镜头获取焊件图像信息，所述滤光片的中心波长与所述背景光源的波长相同，所述滤光片设置于所述镜头与背景光源中间，所述背景光源发出的光源投射到焊件表面。

优选地，所述背景光源为环型光源，所述背景光源的波长为635nm。

优选地，所述滤光片为窄带滤光片，所述滤光片的中心波长为635nm，带宽为±10nm。

一种基于边缘的图像匹配窄间隙焊缝初始点定位方法，所述定位方法基于上述所述的基于边缘的图像匹配窄间隙焊缝初始点定位装置，包括以下步骤：

S1：将摄像机移动到焊缝初始点位置范围，并采集焊件表面的灰度图像；

S2：对所述灰度图像进行滤波处理；

S3：利用边缘检测算子对滤波后的灰度图像进行检测，获取焊件的边缘图像；

S4：对边缘图像进行直线变换，获取工件边缘和焊缝；

S5：使用预先建立的图像匹配库依次对边缘图像进行匹配打分，将获取最高分的匹配模板作为匹配结果；

S6：将匹配结果显示在滤波后的灰度图像上，对匹配区域采用角点检测对焊缝的初始点进行提取定位。

优选地，步骤S4之后，步骤S5之前，还有步骤：

对步骤S3中获取的边缘图像进行处理：设定距离阈值T，将步骤S3中获取的的边缘图像中边缘所有点的二维坐标与识别出的工件边缘和焊缝进行距离筛选，具体为经边缘检测后具有灰度值点的二维坐标与识别出的工件边缘直线和焊缝直线进行距离筛选，若该点的坐标离工件边缘和焊缝的距离同时超出所述距离阈值T，则去除该点；若该点的坐标离工件边缘和焊缝的距离不同时超出所述距离阈值T，则保留该点。

优选地，步骤S2中所述滤波处理具体为中值滤波处理：

g(x,y)＝med{f(x-k,y-l),(k,l∈W)}

式中，g(x,y)为滤波后的图像，f(x,y)为灰度图像，W为一个二维图像模板。

优选地，步骤S3中所述边缘检测算子为canny边缘检测算子。

优选地，所述直线变换为Hough直线变换，所述Hough直线变换利用图像空间与参数空间点与线的对偶性，将图像空间上的像素点转换为参数空间的线进行累加，最后选取累加器峰值点即为图像空间上所述的直线。

优选地，步骤S5中使用预先建立的图像匹配库依次对边缘图像进行匹配打分，分数最高的为匹配结果，采用归一化相关匹配法进行匹配。

优选地，步骤S6中采用SHI-TOMASHI角点检测对焊缝的初始点进行提取，还采用采用亚像素级角点提取算法对提取结果进行优化，所述SHI-TOMASHI角点检测具体为：

将矩阵M的行列式值与M的迹相减，再将差值同预先给定的阈值进行比较，若两个特征值中较小的一个大于最小阈值，则会得到强角点。

与现有技术相比，本发明技术方案的有益效果是：

1.提出了基于边缘的图像匹配的方法并联合多模板库的方法可以实现多角度，多尺度的匹配结果。最终结合角点检测可以获得较高精度的焊接初始位置。

2.通过采用特定波长的背景光源以及基于边缘的图像匹配的方式，很大程度上避免了因环境或工件表面所导致的光照不均，提高了图像的质量，大大提升了匹配结果的正确性。

3.本方案通过基于边缘的图像匹配进一步完善了算法的完整性，增强了焊接初始点提取的鲁棒性。

附图说明

图1为本实施例中定位装置的结构示意图。

图2为本发明的方法流程示意图。

图中，1为相机固定架，2为固定架连接件，3为摄像机，4为镜头，5为滤波片，6为背景光源，7为相机支架，8为光源支架。

具体实施方式

附图仅用于示例性说明，不能理解为对本专利的限制；

为了更好说明本实施例，附图某些部件会有省略、放大或缩小，并不代表实际产品的尺寸；

对于本领域技术人员来说，附图中某些公知结构及其说明可能省略是可以理解的。

下面结合附图和实施例对本发明的技术方案做进一步的说明。

实施例1

本实施例提供一种基于边缘的图像匹配窄间隙焊缝初始点定位装置，如图1所示，包括相机固定架1、固定架连接件2、摄像机3、镜头4、滤光片5、背景光源6，相机支架7，其中：

所述相机固定架1内部通过相机支架7固定所述摄像机3，所述相机固定架1内部设置所述固定架连接件2，所述相机固定架1通过固定架连接件2使所述摄像机3的光轴始终垂直于焊件平面，所述摄像机3通过镜头4获取焊件图像信息，所述滤光片5的中心波长与所述背景光源6的波长相同，所述滤光片5设置于所述镜头4与背景光源6中间，所述背景光源6发出的光源投射到焊件表面。

所述背景光源6为环型光源，所述背景光源6的波长为635nm，通过光源支架8固定。

所述滤光片5为窄带滤光片，所述滤光片5的中心波长为635nm，带宽为±10nm。

相机固定架1和固定架连接件2用于固定相机，保证相机在焊接过程中的姿态，使光轴始终垂直于工件平面。背景辅助光源为面平行光源可将特定波长的光束均匀地投射到焊件表面上，可在一定程度上消除环境背景对成像光照不均的影响。窄带滤波片中心波长应与光源波长相同。窄带滤波片只允许通过特定波段，结合背景光源可以做到对采集的图像进行初步滤波。

本发明方案中相机采用的是MV-CA050-10GM黑白工业相机。

实施例2

本实施例提供一种基于边缘的图像匹配窄间隙焊缝初始点定位方法，如图2，所述定位方法基于实施例1所述的基于边缘的图像匹配窄间隙焊缝初始点定位装置，包括以下步骤：

S1：将摄像机移动到焊缝初始点位置范围，并采集焊件表面的灰度图像；

S2：对所述灰度图像进行滤波处理；

S3：利用边缘检测算子对滤波后的灰度图像进行检测，获取焊件的边缘图像；

S4：对边缘图像进行直线变换，获取工件边缘和焊缝；

S5：使用预先建立的图像匹配库依次对边缘图像进行匹配打分，将获取最高分的匹配模板作为匹配结果；

S6：将匹配结果显示在滤波后的灰度图像上，对匹配区域采用角点检测对焊缝的初始点进行提取定位。

步骤S4之后，步骤S5之前，还有步骤：

因为经过直线变换后得到的工件边缘和焊缝，因为精准度不高，故不适宜直接进行图像匹配，对步骤S3中获取的边缘图像进行处理：设定距离阈值T，将步骤S3中获取的的边缘图像中边缘所有点的二维坐标与识别出的工件边缘和焊缝进行距离筛选，具体为经边缘检测后具有灰度值点的二维坐标与识别出的工件边缘直线和焊缝直线进行距离筛选，若该点的坐标离工件边缘和焊缝的距离同时超出所述距离阈值T，则去除该点；若该点的坐标离工件边缘和焊缝的距离不同时超出所述距离阈值T，则保留该点。

因为环境及工件表面的影响，Canny边缘检测获取的边缘图像有大量的伪边缘。故用Canny边缘图像进行Hough直线变换所获得的直线，即工件边缘与焊缝，精准度不高，但实际的边缘与焊缝相差不大。所以为了提高精准度及尽可能保留原图像的信息，应采用S3步骤所获取的边缘图像进行基于距离法的去噪处理，以达到去除远离焊缝和焊件边缘的噪声的效果。

步骤S2中所述滤波处理具体为中值滤波处理，中值滤波处理后可以在去除噪声的同时保留图像的边缘信号：

g(x,y)＝med{f(x-k,y-l),(k,l∈W)}

式中，g(x,y)为滤波后的图像，f(x,y)为原灰度图像，W为一个二维图像模板。

步骤S3中所述边缘检测算子为canny边缘检测算子，为了匹配成功，应尽可能保留图像的边缘，但是噪声过大时边缘和部分噪声会被同时保留下来。此时因为环境及工件表面的影响，获取的边缘图像仍有大量的伪边缘。

所述直线变换为Hough直线变换，所述Hough直线变换利用图像空间与参数空间点与线的对偶性，将图像空间上的像素点转换为参数空间的线进行累加，最后选取累加器峰值点即为图像空间上所述的直线。

步骤S5中使用预先建立的图像匹配库依次对边缘图像进行匹配打分，因为模板边缘图像与图像边缘相似，且均有明确目标，采用归一化相关匹配法进行匹配。

步骤S6中采用SHI-TOMASHI角点检测对焊缝的初始点进行提取，还采用采用亚像素级角点提取算法对提取结果进行优化，进一步提升焊接初始点的准确度，所述SHI-TOMASHI角点检测具体为：

将矩阵M的行列式值与M的迹相减，再将差值同预先给定的阈值进行比较，若两个特征值中较小的一个大于最小阈值，则会得到强角点。

相同或相似的标号对应相同或相似的部件；

附图中描述位置关系的用语仅用于示例性说明，不能理解为对本专利的限制；

显然，本发明的上述实施例仅仅是为清楚地说明本发明所作的举例，而并非是对本发明的实施方式的限定。对于所属领域的普通技术人员来说，在上述说明的基础上还可以做出其它不同形式的变化或变动。这里无需也无法对所有的实施方式予以穷举。凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明权利要求的保护范围之内。

Claims (10)

1.一种基于边缘的图像匹配窄间隙焊缝初始点定位装置，其特征在于，包括相机固定架、固定架连接件、摄像机、镜头、滤光片、背景光源，其中：

所述相机固定架内部固定所述摄像机，所述相机固定架内部设置所述固定架连接件，所述相机固定架通过固定架连接件使所述摄像机的光轴始终垂直于焊件平面，所述摄像机通过镜头获取焊件图像信息，所述滤光片的中心波长与所述背景光源的波长相同，所述滤光片设置于所述镜头与背景光源中间，所述背景光源发出的光源投射到焊件表面。

2.根据权利要求1所述的基于边缘的图像匹配窄间隙焊缝初始点定位装置，其特征在于，所述背景光源为环型光源，所述背景光源的波长为635nm。

3.根据权利要求1所述的基于边缘的图像匹配窄间隙焊缝初始点定位装置，其特征在于，所述滤光片为窄带滤光片，所述滤光片的中心波长为635nm，带宽为±10nm。

4.一种基于边缘的图像匹配窄间隙焊缝初始点定位方法，其特征在于，所述定位方法基于权利要求1至3任一项所述的基于边缘的图像匹配窄间隙焊缝初始点定位装置，包括以下步骤：

S1：将摄像机移动到焊缝初始点位置范围，并采集焊件表面的灰度图像；

S2：对所述灰度图像进行滤波处理；

S3：利用边缘检测算子对滤波后的灰度图像进行检测，获取焊件的边缘图像；

S4：对边缘图像进行直线变换，获取工件边缘和焊缝；

S5：使用预先建立的图像匹配库依次对边缘图像进行匹配打分，将获取最高分的匹配模板作为匹配结果；

S6：将匹配结果显示在滤波后的灰度图像上，对匹配区域采用角点检测对焊缝的初始点进行提取定位。

5.根据权利要求4所述的基于边缘的图像匹配窄间隙焊缝初始点定位方法，其特征在于，步骤S4之后，步骤S5之前，还有步骤：

对步骤S3中获取的边缘图像进行处理：设定距离阈值T，将步骤S3中获取的的边缘图像中边缘所有点的二维坐标与识别出的工件边缘和焊缝进行距离筛选，具体为经边缘检测后具有灰度值点的二维坐标与识别出的工件边缘直线和焊缝直线进行距离筛选，若该点的坐标离工件边缘和焊缝的距离同时超出所述距离阈值T，则去除该点；若该点的坐标离工件边缘和焊缝的距离不同时超出所述距离阈值T，则保留该点。

6.根据权利要求4或5所述的基于边缘的图像匹配窄间隙焊缝初始点定位方法，其特征在于，步骤S2中所述滤波处理具体为中值滤波处理：

g(x,y)＝med{f(x-k,y-l),(k,l∈W)}

式中，g(x,y)为滤波后的图像，f(x,y)为原灰度图像，W为一个二维图像模板。

7.根据权利要求4或5所述的基于边缘的图像匹配窄间隙焊缝初始点定位方法，其特征在于，步骤S3中所述边缘检测算子为canny边缘检测算子。

8.根据权利要求4或5所述的基于边缘的图像匹配窄间隙焊缝初始点定位方法，其特征在于，所述直线变换为Hough直线变换，所述Hough直线变换利用图像空间与参数空间点与线的对偶性，将图像空间上的像素点转换为参数空间的线进行累加，最后选取累加器峰值点即为图像空间上所述的直线。

9.根据权利要求4或5所述的基于边缘的图像匹配窄间隙焊缝初始点定位方法，其特征在于，步骤S5中使用预先建立的图像匹配库依次对边缘图像进行匹配打分，分数最高的为匹配结果，采用归一化相关匹配法进行匹配。

10.根据权利要求4或5所述的基于边缘的图像匹配窄间隙焊缝初始点定位方法，其特征在于，步骤S6中采用SHI-TOMASHI角点检测对焊缝的初始点进行提取，还采用采用亚像素级角点提取算法对提取结果进行优化，所述SHI-TOMASHI角点检测具体为：

将矩阵M的行列式值与M的迹相减，再将差值同预先给定的阈值进行比较，若两个特征值中较小的一个大于最小阈值，则会得到强角点。

Images