CN108132017B - 一种基于激光视觉系统的平面焊缝特征点提取方法 - Google Patents

Abstract

本发明公开了一种基于激光视觉系统的平面焊缝特征点提取方法，该方法根据激光视觉系统采集到的激光条纹图像特征，对其进行预处理与形态学操作获得包含焊缝特征点的激光条纹二值化图像，并设计直线扫描法提取激光条纹骨架位置，在此基础上使用垂线扫描法提取出激光条纹中心点，初次拟合后剔除误差点数据，进行最小二乘法多项式拟合。最后使用焊缝特征点提取算法提取出激光条纹中心线上的焊缝特征点坐标数据。本发明具有精度高，速度快、通用性好等特点，可以广泛适用于各种平面焊缝特征点信息的提取，且能满足大噪声环境下的使用。

Description

一种基于激光视觉系统的平面焊缝特征点提取方法

技术领域

本发明基于线激光视觉系统，属于焊缝自动检测技术领域，涉及一种基于激光视觉系统的平面焊缝特征点提取的方法。

背景技术

焊接在工业生产中占有非常重要的地位。在目前的自动焊接工艺过程中，多采用示教再现的方式，需预先输入焊缝轨迹的特征点信息，焊接设备按该信息进行焊接操作。该模式实时性差，精度不高，易受外界环境的干扰。一旦预先设置的信息与焊缝实际位置有出入时，会对工业生产造成较大影响。因此焊缝特征点自动识别与提取系统的引入具有重要意义。

目前常用的焊缝识别传感器可根据其与是否工件接触分为接触式与非接触式两种。现在被广泛应用于焊缝跟踪系统的传感器是电弧传感器和视觉传感器。其中激光视觉传感器具有非接触、测量精度高、获得信息量大、灵敏度高等特点，是焊缝特征点提取研究的热点。随着计算机图像处理技术、控制系统以及视觉传感器的不断发展，激光视觉传感器将会更快的应用于工业生产中。在利用激光视觉传感器提取焊缝特征点的过程中，首先将线激光投射到焊缝表面并由CCD采集反射回来的激光条纹图像，通过图像处理技术提取结构光条纹中心线，从而获取位于激光条纹上的焊缝特征点信息。该过程关键有两点：一是如何获取高质量的焊缝图像，这对后续的图像处理复杂度和实时性至关重要；二是图像处理算法。图像处理作为整个处理过程的基础与核心决定了焊缝检测的成败。

发明内容

针对现有平面焊缝特征点提取技术的不足，本发明的目的在于提供一种基于激光视觉系统的平面焊缝特征点提取方法。该方法有效实现了对平面焊缝特征点的实时提取。

本发明提供如下技术方案：一种基于激光视觉系统的平面焊缝特征点的实时跟踪提取方法，其特征在于，包括以下步骤：S1：特征点的精确位置提取前通过预处理与形态学操作获得包含焊缝特征点的激光条纹二值化图像；S2：利用激光条纹中心线提取算法与特征点提取算法，实时获取激光条纹方程与平面焊缝特征点在图像坐标系下的位置坐标数据。

在本发明一实施例中，S1包括以下具体步骤：S11：放置平面焊缝工件于操作台上。通过调节线激光光源空间位置，使得激光平面与焊缝表面相交。CCD摄像机采集线激光平面投射在平面焊缝表面上的图像信息；S12：将采集到的图像进行灰度化处理，去除冗余信息；S13：对灰度图进行滤波降噪处理，消除图像中的杂波信息；S14：将图像进行二值化处理，增加图像对比度；S15：对图像进行连通域提取，统计各区域面积并进行排序，保留面积值最大的两个区域并对其余部分进行填充，即在仅保留激光条纹的基础上消除图像中剩余所有的噪点区域。

在本发明一实施例中，S2包括以下具体步骤：S21：使用直线扫描法确定激光条纹的骨架位置。图像预处理后，激光条纹点在图像中的灰度值与背景色不同。所以可通过灰度值判断图像中任一直线方向上的某一点是否在激光条纹上。统计过某点且斜率为定值的某一直线上所有同时存在于激光条纹上点的个数。点的个数代表该直线与激光条纹的重合程度。最终将与激光条纹重合度最高的直线位置做为激光条纹的骨架位置。S22：激光条纹具有一定的宽度，所以提取出激光条纹骨架后，下一步需进行激光条纹中心点坐标的精确提取。此处使用垂线扫描的统计算法。激光条纹以带状分布在骨架两侧，在沿该骨架的固定方向上，进行与骨架直线相垂直的平行线组扫描，统计每一垂线方向上激光条纹点坐标的分布，将其平均值作为该处激光条纹的中心点坐标。S23：对得到的一系列激光条纹中心点点坐标进行最小二乘法多项式拟合，求得拟合方程。拟合完成后，对数据中的误差项进行剔除。分别计算每一个中心点到拟合曲线的距离，利用3d原则，凡超过该区间的误差，就不属于随机误差而是粗大误差，含有该误差的数据应予以剔除。剔除出误差点后，再对剩余中心点重新进行最小二乘法多项式拟合，得到的方程即为最终的激光条纹中心线方程。S24：焊缝特征点位于激光条纹中心线上，由于该位置是激光条纹与焊缝的交接点，线激光在此处不发生反射，在图像中该点与背景色保持一致。所以焊缝特征点提取的问题就转化为求激光条纹中心线上灰度值与背景色相同的区域中心坐标点位置，即在激光条纹中心线上灰度值与背景色相同的点中，距离最大的两点所组成线段的中点坐标。利用该焊缝特征点提取算法即可得到焊缝特征点的坐标数据。

本发明的有益效果：本发明提出的基于激光视觉系统的平面焊缝特征点提取方法具有实验简单，精度高，速度快、通用性好等特点，可以广泛适用于各种平面焊缝特征点信息的提取，且能满足大噪声环境下的使用，大大增加了焊接自动化程度。

附图说明

图1是本发明涉及的焊缝特征点提取程序流程图。

图2是采用图1的检测方法检测平面焊缝的示意图。

图3是本发明涉及的直线扫描法提取激光条纹骨架示意图。

图4是本发明涉及的垂直直线组扫描提取激光条纹中心点示意图。

图5是本发明涉及的焊缝特征点提取示意图。

具体实施方式

本发明的核心是提供一种基于激光视觉系统的平面焊缝特征点提取方法，该方法有效地实现了对平面焊缝特征点的自动提取。下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

请参考图1，图1为本发明中一种具体实施方式所提供的焊缝特征点提取方法的流程图。

下面结合附图和具体实施方式对本发明做进一步的描述。

本发明提供一种平面焊缝特征点的实时提取方法： S1：特征点的精确位置提取前通过预处理与形态学操作获得包含焊缝特征点的激光条纹二值化图像；S2：利用激光条纹提取算法与特征点提取算法，实时提取出激光条纹方程与平面焊缝特征点在图像坐标系下的位置坐标数据。

S1的具体计算步骤如下。

S11：放置平面焊缝工件于操作台上。通过调节线激光光源空间位置，使得激光平面与焊缝表面相交。CCD摄像机采集线激光平面投射在平面焊缝表面上的图像信息。系统检测示意图如图2。

S12：将采集到的图像进行灰度化处理，此处将彩色图像中的RGB三分量亮度的最大值作为灰度图的灰度值，即可将彩色图像转化为灰度图像，去除冗余信息。

S13：对灰度图进行3×3中值滤波降噪处理，在保留图像边缘信息的同时，可进一步消除图像中的杂波信息。

S14：设定合适的阈值，将图像进行二值化处理，增加图像对比度。

S15：二值化后的图像中分为激光条纹区域与噪点区域。其中激光条纹区域含有焊缝特征点，该点阻断了激光条纹，将其一分为二。这两部分连通域在图像中的面积远大于噪点区域。所以先利用种子填充法对图像进行连通域提取，统计各区域面积并进行排序，保留面积值最大的两个区域并对其余部分进行填充，即可在仅保留激光条纹的基础上消除图像中所有的噪点区域。

S2的具体计算步骤如下。

S21：使用直线扫描法确定激光条纹的骨架位置。经过图像预处理后，激光条纹在图像中与背景色具有不同的灰度值。所以可通过灰度值判断图像中任一直线方向上的某一点是否在激光条纹上。统计过某点且斜率为定值的某一直线上所有同时存在于激光条纹上点的个数。该点的个数代表直线与激光条纹的重合程度。最终得到的与激光条纹重合度最高的直线位置即为激光条纹的骨架位置。如图3所示。直线扫描法本质上是一种统计算法。由于激光条纹在图像中显示为具有一定宽度的直线型条纹带，所以其骨架可用一条直线确定。该直线确定的骨架位置不一定是激光条纹的准确中心线位置。该骨架直线仅对激光条纹带在图像坐标系中的位置做出粗略限定，以便于后续沿该骨架位置对激光条纹进行中心点坐标提取操作。为提高扫描效率，采用平行直线组的方式进行扫描。平行直线组的方程确定方法如下。

将直线方程表示为点斜式。一组平行线具有相同的斜率值，所以通过确定一组平行直线上的点坐标即可准确定位平行直线组中每条直线的位置。图像尺寸大小为x_max=X，y_max=Y，则该图像对角线斜率为： k=tan d=Y/X。以此角度为基准，选取相应的点坐标组。经大量统计得出，激光条纹宽度参数在图像中小于12个像素单位。所以选定平行直线组间隔为10像素单位，即可实现对激光条纹的准确扫描。

a为平行直线组与x轴正方向夹角。当aÎ[0°,90°]时，选取从图像左下角到右上角均匀分布的一组点作为点坐标参量。设其中某一点为I，I（x,y）为其坐标值。则有：

在取值范围xÎ[0,X]，yÎ[0,Y]内，i值从0开始，依次累加10，利用上式反复计算I点坐标值，即可得出该组点坐标。

当aÎ(90°,180°]时，选取从图像左上角到右下角均匀分布的一组点作为点坐标参量。仍设其中某一点为I，I（x,y）为其坐标值。此时则有：

在取值范围xÎ[0,X]，yÎ[0,Y]内，i值从0开始，依次累加10，利用上式反复计算点I坐标值，即可得出该组点坐标。

最后，累计变换直线组与x轴正方向夹角a值对图像进行扫描，找出与激光条纹交点最多的直线，确定其直线方程。a取值范围为[0°,180°]，依次累加值为1°。经过上述平行直线组扫描后，可求出与激光条纹重合度最高的直线位置，作为激光条纹骨架位置，为后续条纹中心点的提取准备了条件。

S22：激光条纹具有一定的宽度，所以提取出激光条纹骨架后，下一步需进行激光条纹中心点坐标的精确提取。此处使用基于垂线组扫描的统计算法。

首先求解出激光条纹骨架直线与图像坐标系四条边框直线交点，找出四个交点中位于图像坐标系中的两点，将这两点作为垂直直线组扫描的起点与终点坐标。在该两点坐标范围内，对激光条纹骨架进行均匀插值，求得一系列均匀分布的点坐标。利用这一系列的点坐标，即可求得与骨架直线相垂直的直线组方程。统计每一垂线上激光条纹点坐标的分布，将其平均值作为该处激光条纹的中心点坐标。如图4所示。

S23：对得到的一系列激光条纹中心点点坐标进行最小二乘法多项式拟合，求得拟合方程。拟合完成后，对数据中的误差项进行处理。分别计算每一个中心点到拟合曲线的距离，利用3d原则，凡超过该区间的误差，就不属于随机误差而是粗大误差，含有该误差的数据应予以剔除。剔除出误差点后，再对剩余中心点进行最小二乘法多项式拟合，得到的方程即为最终的激光条纹中心线方程。

S24：焊缝特征点位于激光条纹中心线上，由于该位置是激光条纹与焊缝的交接点，线激光在此处不发生反射，所以在二值化图像中该点灰度值与背景色保持一致。在图像中该点即为激光条纹中的断点位置。所以焊缝特征点提取的问题就转化为求激光条纹中心线上灰度值与背景色相同区域的中心坐标点位置。依次读取图像坐标系中激光条纹中心线上每一点的灰度值，提取出灰度值等于背景色灰度值的所有点，求取其中距离最大的两点所组成线段的中点坐标。该坐标即为焊缝特征点坐标数据。如图5所示。利用该焊缝特征点提取算法即可得到平面焊缝特征点的坐标数据。

Claims (3)

1.一种基于激光视觉系统的平面焊缝特征点提取方法，其特征在于：该方法包括以下步骤：

S1：特征点的精确位置提取前通过预处理与形态学操作获得包含焊缝特征点的激光条纹二值化图像；

S2：使用直线扫描法确定激光条纹的骨架位置，图像预处理后，激光条纹点在图像中的灰度值与背景色不同，所以可通过灰度值判断图像中任一直线方向上的某一点是否在激光条纹上，统计过某点且斜率为定值的某一直线上所有同时存在于激光条纹上点的个数，点的个数代表该直线与激光条纹的重合程度，最终将与激光条纹重合度最高的直线位置做为激光条纹的骨架位置；

S3：激光条纹具有一定的宽度，所以提取出激光条纹骨架后，下一步需进行激光条纹中心点坐标的精确提取，此处使用基于垂线组扫描的统计算法，激光条纹以带状分布在骨架两侧，在沿该骨架的固定方向上，进行与骨架直线相垂直的平行线组扫描，统计每一垂线方向上激光条纹点坐标的分布，将其平均值作为该处激光条纹的中心点坐标。

S4：对得到的一系列激光条纹中心点点坐标进行最小二乘法多项式拟合，求得拟合方程，拟合完成后，对数据中的误差项进行剔除，分别计算每一个中心点到拟合曲线的距离，利用3δ原则，凡超过该区间的误差，就不属于随机误差而是粗大误差，含有该误差的数据应予以剔除，剔除出误差点后，再对剩余中心点重新进行最小二乘法多项式拟合，得到的方程即为最终的激光条纹中心线方程；

S5：焊缝特征点位于激光条纹中心线上，由于该位置是激光条纹与焊缝的交接点，线激光在此处不发生反射，在图像中该点与背景色保持一致，所以焊缝特征点提取的问题就转化为求激光条纹中心线上灰度值与背景色相同的区域中心坐标点位置，即在激光条纹中心线上灰度值与背景色相同的点中，距离最大的两点所组成线段的中点坐标，利用该焊缝特征点提取算法即可得到焊缝特征点的坐标数据。

2.根据权利要求1所述的平面焊缝特征点提取方法，其特征在于：S1包括以下具体步骤：

S11：放置平面焊缝工件于操作台上，通过调节线激光光源空间位置，使得激光平面与焊缝表面相交，CCD摄像机采集线激光平面投射在平面焊缝表面上的图像信息；

S12：将采集到的图像进行灰度化处理，去除冗余信息；

S13：对灰度图进行滤波降噪处理，消除图像中的杂波信息；

S14：将图像进行二值化处理，增加图像对比度；

S15：对图像进行连通域提取，统计各区域面积并进行排序，保留面积值最大的两个区域并对其余部分进行填充，即在仅保留激光条纹的基础上消除图像中剩余所有的噪点区域。

3.根据权利要求2所述的平面焊缝特征点提取方法，其特征在于：S15中利用连通域提取与填充算法对图像进行降噪处理。

Images