CN108568624A - 一种基于图像处理的机械臂焊接系统及焊接方法 - Google Patents

Abstract

本发明涉及焊接技术领域，具体涉及一种基于图像处理的机械臂焊接系统及焊接方法。本发明的基于图像处理的机械臂焊接系统及焊接方法，机械臂焊接系统包括若干套机械臂手眼视觉焊接系统和一套主控系统，激光器、工业相机及焊枪之间的合理组合构造双机械臂手眼视觉焊接系统，提高了焊接工作效率；并通过图像识别技术，自动计算每个工件的焊缝起始点位置和焊缝结束点位置，无需事先指定每个工件的焊缝起始点位置和焊缝结束点位置，减少了人工设置；同时，通过线激光对工件表面的焊缝进行照射，主动进行焊缝跟踪和焊接轨迹纠偏，克服了现有技术中采用基于被动视觉检测方式适应性不强的问题，特别适用于热成型工件的焊接。

Description

一种基于图像处理的机械臂焊接系统及焊接方法

技术领域

本发明涉及焊接技术领域，具体涉及一种基于图像处理的机械臂焊接系统及焊接方法。

背景技术

焊接作为工业生产中的一种制造工艺及技术，在汽车、工程机械、家电设备等领域的产品制造中，是重要的一个工序环节。为了提高焊接效率并优化焊接质量，降低工人劳动强度，焊接自动化是一个必然的趋势。其中，焊缝的精确跟踪是焊接自动化的前提和关键，也是保证焊接质量的基本条件。

随着机器人技术的发展，机器人焊接系统得到了广泛应用。一般的机器人焊接系统没有焊缝视觉识别，仅适合于工件没有发生形变的焊接任务，而对于热成型工件的焊接，由于工件的热胀冷缩，每个工件的焊缝都不一致，则无能为力。随着图像处理与模式识别技术的发展，基于视觉传感器的机器人焊缝跟踪系统逐渐得到应用。利用图像技术来识别焊缝，有高灵敏性、高自动化、非接触性等特点。现有的基于图像的机器人焊接系统采用基于被动视觉成像方式，对焊缝本身进行图像识别，容易受到焊接弧光和环境光线的干扰。同时，基于主动视觉成像方式的机器人焊接系统，也需要对图像处理方法进行优化，降低运算量，提高系统实时性。

发明内容

为解决以上问题，本发明提供一种智能化程度高、识别焊缝准备、焊接效率高的基于图像处理的机械臂焊接系统及焊接方法。

本发明采用的技术方案是：一种基于图像处理的机械臂焊接系统，包括若干套机械臂手眼视觉焊接系统和完成若干套机械臂手眼视觉焊接系统智能化控制的一套主控系统，其特征在于：所述若干套机械臂手眼视觉焊接系统均包括用于检测焊缝位置的一套手眼视觉子系统和用于完成焊接作业的一套焊接子系统，每套所述焊接子系统均包括机械臂、控制机械臂运动的机械臂控制器和安装在机械臂末端的焊枪，每套所述手眼视觉子系统均包括用于照射焊缝的线激光器和用于拍摄照射区域的工业相机，所述线激光器和工业相机均固定安装在机械臂上。

作为优选，采用两套机械臂手眼视觉焊接系统，分别为一号机械臂手眼视觉焊接系统和二号机械臂手眼视觉焊接系统，所述一套主控系统同时对一号机械臂手眼视觉焊接系统和二号机械臂手眼视觉焊接系统进行智能化控制，所述一号机械臂手眼视觉焊接系统和二号机械臂手眼视觉焊接系统工作相互独立。

进一步的，所述工业相机垂直面向工件安装，所述线激光器与工业相机光轴形成一个夹角斜对工件，所述线激光器照射工件表面焊缝，工业相机采集图像，通过线激光的形变来定位焊缝。

一种基于图像处理的机械臂焊接方法，采用机械臂焊接系统完成焊接，具体包括以下步骤：

(a)、主控系统向机械臂手眼视觉焊接系统发出焊接开始命令，机械臂手眼视觉焊接系统按照主控系统预定的初始移动方向移动到任务起始位置，此时线激光器默认照射焊缝以外的工作台上，手眼视觉子系统的图像算法不能检测到线激光形变；

(b)、机械臂手眼视觉焊接系统根据主控系统给定的初始移动方向，从任务起始位置开始移动；移动过程中，线激光器产生的线激光光带会扫过焊缝，手眼视觉子系统通过工业相机实时采集线激光的照射区域图像，根据采集到的照射区域图像识别并确定工件焊缝形变位置，即为焊缝起始点位置，同时对应的焊接子系统完成焊缝起始点位置处的焊接作业；

(c)、机械臂手眼视觉焊接系统由焊缝起始点位置按照主控系统预定的初始移动方向继续移动，线激光器持续照射焊缝区域，同时通过工业相机实时采集线激光的照射区域图像，根据采集到的照射区域图像识别并确定工件焊缝下一个焊缝形变位置，进行焊缝跟踪，并保存当前焊缝坐标；

(d)、机械臂手眼视觉焊接系统根据保存的当前焊缝坐标，由焊缝起始点位置处移动到步骤(c)保存的当前焊缝坐标处，同时对应的焊接子系统完成该处坐标处的焊接作业；由于线激光照射在焊枪当前焊接位置的运动前方，所以在焊接子系统进行焊接过程中，视觉子系统只要实时采集线激光光带，并同样基于线激光形变检测算法对焊缝进行定位，就可以得到下一个焊缝坐标，从而得到下一步焊枪运动轨迹，通过相应焊枪完成对应焊缝坐标处的焊接作业，使得焊接过程得以连续；

(e)、在步骤(d)连续焊接的过程中，手眼视觉子系统检测不到线激光在工件表面焊缝处的形变，意味着线激光已经扫过了整个焊缝，即上一个焊缝坐标已经是可以检测到的最后一个焊缝了，焊接任务即完成。

作为优选，所述手眼视觉子系统的检测线激光形变的图像算法采用Hough(霍夫)直线算法检测，根据直线斜率突变实现对线激光形变的检测，从而确定工件焊缝位置。

进一步的，所述Hough直线算法检测具体包括以下步骤：

(a)、利用Otsu(最大类间方差法)算法计算图像的全局灰度分割阈值，并以此阈值对图像进行二值化将光带和背景分开；

(b)、然后利用形态学的膨胀算子对图像进行处理，将二值图中的孔洞填充；

(e)、接着使用Hilditch算法对图像进行细化，根据规则对二值图中前景像素点进行层层剔除，得到光带的中心线；

(d)、光带的中心线包括激光条纹中心线的两个拐点和它们的中心点，中心点即为焊缝位置，所有中心点的连续即为焊缝曲线。

更进一步的，所述焊枪在相邻两个焊接点之间按照直线运动，所述相邻两个焊接点之间距离越小，焊缝焊接越平滑。

本发明取得的有益效果是：与现有技术相比，本发明采用线激光器、工业相机及焊枪之间的合理组合构造双机械臂焊接系统中的一号机械臂手眼视觉焊接系统和二号机械臂手眼视觉焊接系统，从而组成了基于图像的双机械臂焊接系统，提高了焊接工作效率；并通过图像识别技术，自动计算每个工件的焊缝起始点位置和焊缝结束点位置，无需事先指定每个工件的焊缝起始点位置和焊缝结束点位置，减少了人工设置；同时，通过线激光对工件表面的焊缝进行照射，主动进行焊缝跟踪和焊接轨迹纠偏，克服了现有技术中采用基于被动视觉检测方式适应性不强的问题，特别适用于热成型工件的焊接。

附图说明

图1为双机械臂焊接系统组成示意图；

图2为实际焊缝特征点示意图；

图3为焊接系统运行流程图；

图4为图像算法处理流程图。

具体实施方式

下面结合附图和具体实施例对本发明作更进一步的说明。

如图1所示，本发明的一种基于图像处理的机械臂焊接系统，包括若干套机械臂手眼视觉焊接系统和完成若干套机械臂手眼视觉焊接系统智能化控制的一套主控系统，本发明采用采用两套相互独立工作的机械臂手眼视觉焊接系统，分别为一号机械臂手眼视觉焊接系统和二号机械臂手眼视觉焊接系统，通过一套主控系统同时对一号机械臂手眼视觉焊接系统和二号机械臂手眼视觉焊接系统进行智能化控制。一号机械臂手眼视觉焊接系统和二号机械臂手眼视觉焊接系统均包括用于检测焊缝位置的一套手眼视觉子系统和用于完成焊接作业的一套焊接子系统，每套焊接子系统均包括机械臂、控制机械臂运动的机械臂控制器和安装在机械臂末端的焊枪，每套手眼视觉子系统均包括用于照射焊缝的线激光器和用于拍摄照射区域的工业相机，线激光器和工业相机均固定安装在机械臂前部。

本发明利用机械臂上的手眼视觉子系统进行实时跟踪检测，工业相机和线激光器安装在机械臂的前端，工业相机垂直面向工件，线激光器与相机光轴形成一个夹角斜对工件。手眼视觉子系统采用主动视觉成像方式，利用线激光器照射工件表面焊缝，工业相机采集图像，通过线激光的形变来定位焊缝。

机械臂手眼视觉焊接系统按照主控系统预定的初始移动方向移动到任务起始位置时，手眼视觉子系统的线激光器默认照射焊缝以外的工作台上，工业相机实时采集到的线激光的照射区域图像内，没有出现焊缝，手眼视觉子系统的根据Hough直线图像算法不能检测到线激光形变，焊接子系统的焊枪不进行焊接作业。

工作时，线激光器发出的线激光在工件上会形成一条狭窄的光带。此光带经由工件反射经过滤光片时，其它波长的光被滤除，而线激光器发出的特定波长的光被保留，最终进入工业相机成像。由于工件焊缝搭接处在垂直方向有着不同的深度，因此从相机成像的方向来看时，光带会产生形变弯曲，反射光成像为折线，形变光带示意图如图2所示，此折线反映了焊缝与光带的位置关系，通过对光带进一步进行处理即可得出焊缝在工件上的准确位置，从而控制焊接子系统的焊枪对相应焊缝点进行焊接。

如图2-4所示，本发明的一种基于图像处理的机械臂焊接方法，采用机械臂焊接系统完成焊接，具体包括以下步骤：

(a)、主控系统向机械臂手眼视觉焊接系统发出焊接开始命令，机械臂手眼视觉焊接系统按照主控系统预定的初始移动方向移动到任务起始位置，此时线激光器默认照射焊缝以外的工作台上，手眼视觉子系统的不能检测到线激光形变；

(b)、机械臂手眼视觉焊接系统根据主控系统给定的初始移动方向，从任务起始位置开始移动；移动过程中，线激光器产生的线激光光带会扫过焊缝，手眼视觉子系统通过工业相机实时采集线激光的照射区域图像，根据采集到的照射区域图像识别并确定工件焊缝形变位置，即为焊缝起始点位置，同时对应的焊接子系统完成焊缝起始点位置处的焊接作业；

(c)、机械臂手眼视觉焊接系统由焊缝起始点位置按照主控系统预定的初始移动方向继续移动，线激光器持续照射焊缝区域，同时通过工业相机实时采集线激光的照射区域图像，根据采集到的照射区域图像识别并确定工件焊缝下一个焊缝形变位置，进行焊缝跟踪，并保存当前焊缝坐标；

(d)、机械臂手眼视觉焊接系统根据保存的当前焊缝坐标，由焊缝起始点位置处移动到步骤(c)保存的当前焊缝坐标处，同时对应的焊接子系统完成该处坐标处的焊接作业；由于线激光照射在焊枪当前焊接位置的运动前方，所以在焊接子系统进行焊接过程中，视觉子系统只要实时采集线激光光带，并同样基于线激光形变检测算法对焊缝进行定位，就可以得到下一个焊缝坐标，从而得到下一步焊枪运动轨迹，通过相应焊枪完成对应焊缝坐标处的焊接作业，使得焊接过程得以连续；

(e)、在步骤(d)连续焊接的过程中，手眼视觉子系统检测不到线激光在工件表面焊缝处的形变，意味着线激光已经扫过了整个焊缝，即上一个焊缝坐标已经是可以检测到的最后一个焊缝了，焊接任务即完成。

在实施中，手眼视觉子系统的检测线激光形变的图像算法采用Hough直线算法检测，根据直线斜率突变实现对线激光形变的检测，从而确定工件焊缝位置。

Hough直线算法检测具体包括以下步骤：

一、图像预处理

使用主动视觉成像方式，利用焊缝区域在整幅图像中的位置基本保持不变的特性，通过预设相对位置来获取ROI(感兴趣区)，提高处理速度。

焊接过程中，相机与焊接点的相对位置基本不变，所以可以根据这个相对位置设置感兴趣区域(ROI:Region Of Interest)，只关注包含激光带和焊接区域的一小部分图像，减少数据处理量，本发明使用灰度均值对原图红R、绿G、蓝B三通道进行加权平均，即Gray＝0.072169B+0.715160G+0.212671R，得到灰度图像；由于焊接过程中的各种干扰，拍摄的图片上面会存在一些孤立的点，为消除这些噪声，还要对灰度图进行高斯滤波，使用高斯3×3模板能有效去除这些干扰。

二、阈值分割

利用Otsu算法计算图像的全局灰度分割阈值，并以此阈值对图像进行二值化将光带和背景分开。

预处理后我们需要对灰度图像进行二值化分割。图像的二值化是焊缝识别的关键步骤，常用的二值化方法主要分为以下3大类：

(1)分析图像的灰度直方图，根据灰度统计信息计算全局或局部分割阈值实现二值化；

(2)利用傅里叶变换或小波变换来提取目标的边缘实现二值化；

(3)以种子像素点与其领域像素点之间的灰度差异为基础，根据目标的形态学特征，构造模板并设计相应的判定公式对图像进行运算实现二值化。

由于激光条纹亮度较大，与背景的界限已经比较明显，因此选用Otsu算法，即最大类间方差法计算分割阈值。

阈值分割将图像分为前景和背景两部分，阈值选取方法为：记t为分割阈值，前景像素点占图像的比例为w₀，平均灰度为u₀，背景像素点占图像的比例为w₁，平均灰度为u₁。可得图像总平均灰度为：

u＝w₀×u₀+w₁×u₁

前景图像平均灰度值和背景图像平均灰度值的方差为：

g＝w₀×(u₀-u)²+w₁×(u₁-u)²

可得：

g＝w₀×w₁×(u₀-u₁)²

当方差g最大时，前景与背景的差异最大，此时阈值t是最佳分割阈值，即：

t＝w₀×w₁×(u₀-u₁)×(u₁-u₀)

三、缝隙填充

利用形态学的膨胀算子对图像进行处理，将二值图中的孔洞填充。

上述二值化得到的结果中，激光条纹中间存在一些微小孔洞，边缘不连续甚至产生割裂，直接进行中心线提取效果很差，因此需要先利用形态学变换中的膨胀算子将目标区域连通。

数学形态学是利用由集合论发展而来的算子分析图像，起初是针对二值图像提出的，而后扩展到灰度图像。形态学关注形状，将图像和形状看做点集，然后根据形状利用数学形态学处理图像。形态学算子定义的是局部变换，改变像素值的方式是通过定义击中或击不中变换来进行形式化的。

在击中或击不中变换中，集合X表示的目标可以通过集合B所表示的结构元素来检测。不同的结构元素可以表示对集合X不同的处理。击中或击不中变换可以定义为点算子：

x表示集合X的元素，即图像中的元素，X^c表示集合X的补集。结构元素B由B¹和B²两部分表示，分别应用于X和X^c。结构元素表示了一种形状，显示了数学形态学是如何根据形状特性处理图像的。B¹对集合X是击中处理，B²对集合X^c是未击中处理。

当B²为空时，定义的是膨胀处理，即：

公式定义的膨胀算子规定当B²中所有点都在补集内时，则该点属于膨胀集合。该算子使补集缩小，相应的集合X增大膨胀。对原二值图进行膨胀处理后基本完好的光带，可见微小空洞基本消除，光带的形状位置基本完好。

四、焊缝识别

1、中心线提取

使用Hilditch算法进行图像细化以获取中心线。Hilditch算法是一种经典的细化算法，其作用于二值化后的图像。

对于像素点p，其八邻域结构为

x4	x3	x2
			x5	p	x1
x6	x7	x8

可得像素点p的8连通域的联结数计算公式为：

其中：

对图像从左到右、从上到下迭代每一个像素。在每个迭代周期里，对于每一个像素点p，设背景值为0，前景值为1，如果它同时满足下列6个条件，则标记它：

(1)p为1，即p不是背景点；

(2)x1，x3，x5，x7不全部为1(否则把p标记删除会使图像变空心)；

(3)x1-x8中，至少有两个为1(若只有一个为1，则是线段的端点；若没有为1的，则为孤立点)；

(4)p的8连通域联结数为1；

(5)假设x3已经标记删除，当x3为0时，p的8连通域联结数为1；

(6)假设x5已经标记删除，当x5为0时，p的8连通域联结数为1。

在一个迭代周期结束时，将所有标记的像素点设为背景值。如果某次迭代周期中不存在被标记的点，则算法结束。

经过上述算法的计算，可得光带中心线，光带轮廓保存完整，细化效果较好。

2、特征点提取

焊缝的识别关键在于特征点的提取，包括激光条纹中心线的两个拐点和它们的中心点，中心点即为焊缝位置。

中心线可看做三个线段连在一起，因此使用霍夫(Hough)变换检测线段，得到线段交点即为拐点，获得拐点坐标后可求得中点，得到焊缝位置。在图2中线段A和线段B的交点为一个拐点，线段B和线段C的交点为另一个拐点，获得这两个拐点坐标后，求得线段B的中心点，即焊缝的特征点。

在图像中找到直线实质是找到直线的所有像素点，假设有直线：

y＝mx+c

进行坐标变换得：

c＝-xm+b

直线上的点(x₁，y₁)在转换坐标系后为一条直线，并且直线上所有点对应的直线转换坐标系后相交于一点(m，c)。

找到转换坐标系中的直线交点，则找到了原坐标系中的直线，。利用极坐标的表示，ρ表示原点到直线距离，θ表示过原点的直线的垂线与横轴夹角，则有：

r＝x cos θ+y sin θ

计算过程如下，将θ角在-90度到90度的范围里，划分为很多区间，对所有的像素点(x，y)在所有θ角的时候，求出ρ。累加ρ值出现的次数，每当次数超过一个阈值，则当前ρ和θ对应一条直线。

Hough变换检测到光带中心线中的线段，根据检测结果可求得两个拐点(x₁，y₁)和(x₂，y₂)，则可得两个拐点连线B的中点坐标为：

此中点即为线激光产生弯曲的中点位置，该位置位于焊缝之上，是进行焊缝识别的关键特征点。连续采集多幅图片进行特征点提取，每个特征点都位于焊缝线上，由于在极小的尺度范围内，焊缝轨迹可近似拟合成直线，将这些特征点相连便可得到焊缝曲线。

焊枪在相邻两个焊接点之间按照直线运动，相邻两个焊接点之间距离越小，焊缝焊接过程越平滑。

以上显示和描述了本发明的基本原理、主要特征和本发明的优点。本行业的技术人员应该了解，本发明不受上述实施例的限制，上述实施例和说明书中描述的只是说明本发明的原理，在不脱离本发明精神和范围的前提下本发明还会有各种变化和改进，这些变化和改进都落入要求保护的本发明范围内。本发明要求保护范围由所附的权利要求书及其等同物界定。

Claims (7)

1.一种基于图像处理的机械臂焊接系统，包括若干套机械臂手眼视觉焊接系统和完成若干套机械臂手眼视觉焊接系统智能化控制的一套主控系统，其特征在于：所述若干套机械臂手眼视觉焊接系统均包括用于检测焊缝位置的一套手眼视觉子系统和用于完成焊接作业的一套焊接子系统，每套所述焊接子系统均包括机械臂、控制机械臂运动的机械臂控制器和安装在机械臂末端的焊枪，每套所述手眼视觉子系统均包括用于照射焊缝的线激光器和用于拍摄照射区域的工业相机，所述线激光器和工业相机均固定安装在机械臂上。

2.根据权利要求1所述的基于图像处理的机械臂焊接系统，其特征在于：采用两套机械臂手眼视觉焊接系统，分别为一号机械臂手眼视觉焊接系统和二号机械臂手眼视觉焊接系统，所述一套主控系统同时对一号机械臂手眼视觉焊接系统和二号机械臂手眼视觉焊接系统进行智能化控制，所述一号机械臂手眼视觉焊接系统和二号机械臂手眼视觉焊接系统工作相互独立。

3.根据权利要求2所述的基于图像处理的机械臂焊接系统，其特征在于：所述工业相机垂直面向工件安装，所述线激光器与工业相机光轴形成一个夹角斜对工件，所述线激光器照射工件表面焊缝，工业相机采集图像，通过线激光的形变来定位焊缝。

4.一种基于图像处理的机械臂焊接方法，采用机械臂焊接系统完成焊接，具体包括以下步骤：

(a)、主控系统向机械臂手眼视觉焊接系统发出焊接开始命令，机械臂手眼视觉焊接系统按照主控系统预定的初始移动方向移动到任务起始位置，此时线激光器默认照射焊缝以外的工作台上，手眼视觉子系统的图像算法不能检测到线激光形变；

(b)、机械臂手眼视觉焊接系统根据主控系统给定的初始移动方向，从任务起始位置开始移动；移动过程中，线激光器产生的线激光光带会扫过焊缝，手眼视觉子系统通过工业相机实时采集线激光的照射区域图像，根据采集到的照射区域图像识别并确定工件焊缝形变位置，即为焊缝起始点位置，同时对应的焊接子系统完成焊缝起始点位置处的焊接作业；

(c)、机械臂手眼视觉焊接系统由焊缝起始点位置按照主控系统预定的初始移动方向继续移动，线激光器持续照射焊缝区域，同时通过工业相机实时采集线激光的照射区域图像，根据采集到的照射区域图像识别并确定工件焊缝下一个焊缝形变位置，进行焊缝跟踪，并保存当前焊缝坐标；

(d)、机械臂手眼视觉焊接系统根据保存的当前焊缝坐标，由焊缝起始点位置处移动到步骤(c)保存的当前焊缝坐标处，同时对应的焊接子系统完成该处坐标处的焊接作业；由于线激光照射在焊枪当前焊接位置的运动前方，所以在焊接子系统进行焊接过程中，视觉子系统只要实时采集线激光光带，并同样基于线激光形变检测算法对焊缝进行定位，就可以得到下一个焊缝坐标，从而得到下一步焊枪运动轨迹，通过相应焊枪完成对应焊缝坐标处的焊接作业，使得焊接过程得以连续；

(e)、在步骤(d)连续焊接的过程中，手眼视觉子系统检测不到线激光在工件表面焊缝处的形变，意味着线激光已经扫过了整个焊缝，即上一个焊缝坐标已经是可以检测到的最后一个焊缝了，焊接任务即完成。

5.根据权利要求4所述的基于图像处理的机械臂焊接方法，其特征在于：所述手眼视觉子系统的检测线激光形变的图像算法采用Hough直线算法检测，根据直线斜率突变实现对线激光形变的检测，从而确定工件焊缝位置。

6.根据权利要求5所述的基于图像处理的机械臂焊接方法，其特征在于：所述Hough直线算法检测具体包括以下步骤：

(a)、利用Otsu算法计算图像的全局灰度分割阈值，并以此阈值对图像进行二值化将光带和背景分开；

(b)、然后利用形态学的膨胀算子对图像进行处理，将二值图中的孔洞填充；

(e)、接着使用Hilditch算法对图像进行细化，根据规则对二值图中前景像素点进行层层剔除，得到光带的中心线；

(d)、光带的中心线包括激光条纹中心线的两个拐点和它们的中心点，中心点即为焊缝位置，所有中心点的连续即为焊缝曲线。

7.根据权利要求4-6任一项所述的基于图像处理的机械臂焊接方法，其特征在于：所述焊枪在相邻两个焊接点之间按照直线运动，所述相邻两个焊接点之间距离越小，焊缝焊接越平滑。