CN106127731A - 基于触控标注与图像处理的焊缝识别方法 - Google Patents

Abstract

本发明公开一种基于触控标注与图像处理的焊缝识别方法，其包括如下步骤：步骤1：采集整条焊缝的图像；步骤2：在图像上对焊缝进行标识；步骤3：DSP处理器获得步骤2的标识，将标识的坐标点为(x₁,y₁)、(x₂,y₂)，然后开始针对当前采集的图像进行识别焊缝，具体包括：步骤31：确定图像处理区域，根据实际屏幕分辨率以及焊接区域划定有效图像处理区域；步骤32：对有效图像处理区域进行索贝尔处理、以及二值化处理；步骤33：通过索贝尔并二值化处理后所得到的H'(x₀,y₀)，将其中的焊缝边界的信息值加强为255，其它值全部清0，然后通过统计相同x坐标下，各个y坐标值的累加和确定焊缝坐标。

Description

基于触控标注与图像处理的焊缝识别方法

技术领域

本发明涉及自动焊接技术领域，具体涉及一种基于触控标注与图像处理的焊缝识别方法。

背景技术

在自动焊接领域，为了进行焊接熔池与焊缝的自动反馈纠偏，常使用基于图像传感器的视觉反馈纠偏系统。例如一篇申请号为200710304317.4的发明专利《双DSP处理器嵌入式焊接过程视觉反馈控制系统》提出了采用一个DSP处理器进行焊缝熔池的纠偏计算，一个DSP处理器进行控制反馈纠偏。在实际焊接过程中，熔池由于高温、高亮、且形状稳定等特点可以被准确找到，然而焊缝由于受到弧光、飞溅、被焊物件表面污渍等影响，容易出现误识别。针对以上问题，虽然可以进行软件算法方面增加算法复杂度，但是却造成了程序效率的降低，对于DSP处理器的运算能力要求较高。或者可以增加使用激光纠偏的方式进行焊缝位置的寻找，然而激光设备的增加会造成成本上升，且激光设备在测试前需经过严格的硬件结构调整，不易使用。

发明内容

因此，针对上述的问题，本发明提出一种基于人工触控标注与图像处理结合的焊缝识别方式，该方式通过人为标注结合图像处理，来降低运算能力，从而降低了对于DSP处理器等处理器的硬件要求，以解决现有技术之不足。

为了解决上述技术问题，本发明所采用的思路是，基于一种基于人工触控标注与图像处理结合的焊缝识别方式，首先获得焊缝的图像，以人为方式先行标注焊缝的实际位置，由DSP处理器等处理器经过计算转化为像素坐标保存记入。同时，由DSP处理器对于标注点周围区域进行索贝尔、二值化等图像处理寻找焊缝特征，如果寻找到的焊缝像素坐标与人为标注坐标处于误差范围内，则完成焊缝识别。

具体的，本发明的技术方案如下，一种基于触控标注与图像处理的焊缝识别方法，包括如下步骤：

步骤1：通过摄像头采集整条焊缝的图像；

步骤2：在图像上对焊缝进行标识，该标识至少包括两个坐标点；标识的坐标点的选择尽量靠近焊缝的位置；

步骤3：DSP处理器获得步骤2的标识，并将该两个坐标点的二维坐标记为(x₁,y₁)、(x₂,y₂)，然后开始针对当前采集的图像进行图像处理并识别焊缝，具体包括如下过程：

步骤31：确定图像处理区域，根据实际屏幕分辨率以及焊接区域划定有效图像处理区域，引入有效图像处理区域偏移量(offset_x,offset_y)，确定坐标：

其中，X_a1，X_a2，Y_a1，Y_a2由下面的公式计算得到:

$X_{a1}=\frac{x_1+x_2}{2}-{\mathrm{offset}}_x;$

$X_{a2}=\frac{x_1+x_2}{2}+{\mathrm{offset}}_x;$

$Y_{a1}=\frac{y_1+y_2}{2}-{\mathrm{offset}}_y;$

$Y_{a2}=\frac{y_1+y_2}{2}+{\mathrm{offset}}_y;---(2-1)$

步骤32：对有效图像处理区域进行索贝尔处理、进行二值化处理：

在以(X_a1,Y_a1),(X_a2,Y_a2)为顶点的区域内进行索贝尔运算：由于焊缝相对于整个画面垂直，故寻找焊缝边界时只需做水平索贝尔运算，将索贝尔算子模板与有效图像处理区域内的像素值做相应的平面卷积运算，得到的相应值替换原先的像素值并保存。

设索贝尔模板：

$F_y=\left(\begin{array}{ccc}-\frac{1}{8}& -\frac{1}{4}& -\frac{1}{8}\\ 0& 0& 0\\ \frac{1}{8}& \frac{1}{4}& \frac{1}{8}\end{array}\right)---(2-2)$

相应的卷积公式：

$H(x_0,y_0)=\underset{y_0-2\≤y\≤y_0}{\underset{x_0-2\≤x\≤x_0}{\Σ}}I(x,y)\·F_y(x-x_0+2,y-y_0+2)---(2-3)$

式中X_a1≤x₀≤X_a2，Y_a1≤y₀≤Y_a2。利用式(2-3)对图像求滤波之后得到H(x,y)。

针对H(x,y)进行二值化处理，设置阈值λ，根据阈值得到H'(x₀,y₀)。

$H^{\&prime;}(x_0,y_0)=\left\{\begin{array}{cc}0& H(x_0,y_0)<\mathrm{\&lambda;}\\ 255& H(x_0,y_0)>\mathrm{\&lambda;}\end{array}\right.,(X_{a1}<x_0<X_{a2},Y_{a1}<y_0<Y_{a2})---(2-4)$

步骤33：针对有效图像处理区域内做图像索贝尔、二值化处理寻找焊缝的思想，主要基于加权平均值结合概率论的方法。通过索贝尔处理并二值化后所得到的H'(x₀,y₀)，将其中的焊缝边界的信息值被加强为255，其它值全部清0，然后通过统计相同x坐标下，各个y坐标值的累加和确定焊缝坐标，其表达式：

$S_{y_0}=\underset{x}{\&Sigma;}S(x,y_0)---(2-5)$

其中，S_y0表示y₀坐标下值求和，x的范围为x_a1<x<x_a2，即在有效图像区域内生成S_y[n]数组，x_a1<n<x_a2。对S_y[n]进行排序，得到最大值的前两位即为焊缝处坐标，其下标值n即为x坐标，通过比较x值的大小，可得较小值x_l1为左焊缝，较大值x_l2为优焊缝，定左右焊缝的y坐标都为那么经过DSP处理器处理后所得的焊缝坐标即为

进一步的，上述步骤3还包括步骤34：判定DSP处理器处理后所得的焊缝坐标与步骤2标注的坐标是否在预设的误差范围内，如果在该误差范围内则完成焊缝识别；如果不在该误差范围内则返回步骤3重新进行图像处理并识别焊缝。

作为一种简单可行的判断方法：可设定焊缝x坐标误差阈值为X_e，则如果同时满足|x_l1-x₁|<X_e以及|x_l2-x₂|<X_e，则表示DSP处理器处理后所得的焊缝坐标与步骤2标注的坐标在预设的误差范围内。

本发明通过上述方案，首先将人为手动标识出离焊缝最近的坐标点，从而缩小了图像的处理范围，并简化了其中的计算。由于在实际焊接中，焊缝是前后连续的坐标点，因此之后的焊缝寻找都可以在上一次的坐标基础上进行寻找。通过本发明方式进行焊缝寻找，只需要引入一次人为确认即可以保证焊缝的寻找位置误差可控，排除所有在误差范围外的弧光、飞溅、焊件污染等干扰，同时缩小了图像处理的区域，降低了对于DSP处理器等处理器的硬件要求。

附图说明

图1为本发明的技术方案的系统示意图；

图2为本发明的焊缝识别方法中的标识的示意图；

图3为本发明的焊缝识别方法中的有效图像区域的示意图。

具体实施方式

现结合附图和具体实施方式对本发明进一步说明。

作为一个具体的实施方式，参见图1，本发明的焊缝识别方法包括如下硬件：触控平板、DSP处理器、CCD相机以及被焊物件，触控平板和CCD相机连接至DSP处理器，CCD相机拍摄被焊物件的焊缝图像，然后发送至DSP处理器，DSP处理器将图像同步显示到触控平板上，然后使用触控笔在触控平板上的电容屏，以人为方式先行标注焊缝的实际位置，由DSP处理器等处理器经过计算转化为像素坐标保存记入。同时，由DSP处理器对于标注点周围区域进行索贝尔、二值化等图像处理寻找焊缝特征，如果寻找到的焊缝像素坐标与人为标注坐标处于误差范围内，则在显示器上显示标注线，同时由人进行按钮确认。由于在实际焊接中，焊缝是前后连续的坐标点，因此之后的焊缝寻找都可以在上一次的坐标基础上进行寻找。通过本发明方式进行焊缝寻找，只需要引入一次人为确认即可以保证焊缝的寻找位置误差可控，排除所有在误差范围外的弧光、飞溅、焊件污染等干扰，同时缩小了图像处理的区域，降低了对于DSP处理器等处理器的硬件要求。

具体的，本发明的一种基于触控标注与图像处理的焊缝识别方法，包括如下步骤：

步骤1：通过CCD相机采集被焊物件的焊缝图像；

步骤2：通过触控笔(当然，也可以通过系统工具(例如画笔))对焊缝进行标识，该标识可以是坐标点，也可以是焊缝整个区域；

步骤3：DSP处理器获得步骤2的标识，本实施例中，以坐标点为例来阐述，如图2所示，该标识至少包括两个坐标点，将该两个坐标点的二维坐标记为(x₁,y₁)、(x₂,y₂)，DSP处理器获取两个坐标点的坐标信息后，开始针对当前采集的图像进行图像处理并识别焊缝：

步骤31：确定图像处理区域，根据实际屏幕分辨率以及焊接区域划定有效图像处理区域，引入有效图像处理区域偏移量(offset_x,offset_y)，确定坐标：

其中，X_a1，X_a2，Y_a1，Y_a2由下面的公式计算得到:

$X_{a1}=\frac{x_1+x_2}{2}-{\mathrm{offset}}_x;$

$X_{a2}=\frac{x_1+x_2}{2}+{\mathrm{offset}}_x;$

$Y_{a1}=\frac{y_1+y_2}{2}-{\mathrm{offset}}_y;$

$Y_{a2}=\frac{y_1+y_2}{2}+{\mathrm{offset}}_y;---(2-1)$

步骤32：对有效图像处理区域进行索贝尔处理、进行二值化处理：

在以(X_a1,Y_a1),(X_a2,Y_a2)为顶点的区域内进行索贝尔运算：由于焊缝相对于整个画面垂直，故寻找焊缝边界时只需做水平索贝尔运算，将索贝尔算子模板与有效图像处理区域内的像素值做相应的平面卷积运算，得到的相应值替换原先的像素值并保存。

设索贝尔模板：

$F_y=\left(\begin{array}{ccc}-\frac{1}{8}& -\frac{1}{4}& -\frac{1}{8}\\ 0& 0& 0\\ \frac{1}{8}& \frac{1}{4}& \frac{1}{8}\end{array}\right)---(2-2)$

相应的卷积公式：

$H(x_0,y_0)=\underset{y_0-2\&le;y\&le;y_0}{\underset{x_0-2\&le;x\&le;x_0}{\&Sigma;}}I(x,y)\&CenterDot;F_y(x-x_0+2,y-y_0+2)---(2-3)$

式中X_a1≤x₀≤X_a2，Y_a1≤y₀≤Y_a2。利用式(2-3)对图像求滤波之后得到H(x,y)。

针对H(x,y)进行二值化处理，设置阈值λ，根据阈值得到H'(x₀,y₀)。

$H^{\&prime;}(x_0,y_0)=\left\{\begin{array}{cc}0& H(x_0,y_0)<\mathrm{\&lambda;}\\ 255& H(x_0,y_0)>\mathrm{\&lambda;}\end{array}\right.,(X_{a1}<x_0<X_{a2},Y_{a1}<y_0<Y_{a2})---(2-4)$

步骤33：针对有效图像处理区域内做图像索贝尔、二值化处理寻找焊缝的思想，主要基于加权平均值结合概率论的方法。通过索贝尔处理并二值化后所得到的H'(x₀,y₀)，其中可能为焊缝边界的信息值被加强为255，其它值全部清0，然后通过统计相同x坐标下，各个y坐标值的累加和确定焊缝坐标，其表达式：

$S_{y_0}=\underset{x}{\&Sigma;}S(x,y_0)---(2-5)$

其中，S_y0表示y₀坐标下值求和，x的范围为x_a1<x<x_a2，即在有效图像区域内生成S_y[n]数组，x_a1<n<x_a2。对S_y[n]进行排序，得到最大值的前两位即为焊缝处坐标，其下标值n即为x坐标，通过比较x值的大小，可得较小值x_l1为左焊缝，较大值x_l2为优焊缝，定左右焊缝的y坐标都为那么经过DSP处理器处理后所得的焊缝坐标即为

步骤34：判定DSP处理器图像处理所得坐标与人为标注坐标是否在误差范围内，并进行正确标注。设定焊缝x坐标误差值为X_e，则如果有|x_l1-x₁|<X_e且|x_l2-x₂|<X_e同时满足则进行绿色焊缝标注标示焊缝信息，否则进行对话框提示焊缝标注失败。

具体使用时，首先通过监视器图形触控操作接口(例如触控平板)进入焊缝标注模式，然后用户使用触控笔对监视器上显示焊缝进行触碰标注，触控笔触控触摸屏后，DSP处理器可以准确的计算出所触控点的二维坐标并保留记录为(x₁,y₁)、(x₂,y₂)，然后DSP处理器获取触控提供的焊缝坐标信息后，根据上述过程开始针对当前捕获图像进行图像处理并识别焊缝。最后，系统还可在监视器上显示寻找到的焊缝，由人通过触控确认按钮确认。DSP处理器将与人工标注比对后的焊缝信息显示出来，此时为了确保此标注信息的最终确认，可再次通过人为触控按钮进行最终确认，完成此步骤，则表明焊缝的真实坐标已经得到；如果系统显示出来的焊缝信息与实际不符，则表示焊缝标注失败，则重新通过上述步骤进行标注。

尽管结合优选实施方案具体展示和介绍了本发明，但所属领域的技术人员应该明白，在不脱离所附权利要求书所限定的本发明的精神和范围内，在形式上和细节上可以对本发明做出各种变化，均为本发明的保护范围。

Claims (3)

1.一种基于触控标注与图像处理的焊缝识别方法，其特征在于：包括如下步骤：

步骤1：通过摄像头采集整条焊缝的图像；

步骤2：在图像上对焊缝进行标识，该标识至少包括两个坐标点；

步骤3：DSP处理器获得步骤2的标识，并将该两个坐标点的二维坐标分别记为(x₁,y₁)、(x₂,y₂)，然后开始针对当前采集的图像进行图像处理并识别焊缝，具体包括如下过程：

步骤31：确定图像处理区域，根据实际屏幕分辨率以及焊接区域划定有效图像处理区域，引入有效图像处理区域偏移量(offset_x,offset_y)，确定坐标：

其中，X_a1，X_a2，Y_a1，Y_a2由下面的公式计算得到:

$X_{a1}=\frac{x_1+x_2}{2}-{\mathrm{offset}}_x;$

$X_{a2}=\frac{x_1+x_2}{2}+{\mathrm{offset}}_x;$

$Y_{a1}=\frac{y_1+y_2}{2}-{\mathrm{offset}}_y;$

$Y_{a2}=\frac{y_1+y_2}{2}+{\mathrm{offset}}_y;$

步骤32：对有效图像处理区域进行索贝尔处理、以及二值化处理：

在以(X_a1,Y_a1),(X_a2,Y_a2)为顶点的区域内进行索贝尔运算：

设索贝尔模板：

$F_y=\left(\begin{array}{ccc}-\frac{1}{8}& -\frac{1}{4}& -\frac{1}{8}\\ 0& 0& 0\\ \frac{1}{8}& \frac{1}{4}& \frac{1}{8}\end{array}\right);$

相应的卷积公式：

$H(x_0,y_0)=\underset{y_0-2\&le;y\&le;y_0}{\underset{x_0-2\&le;x\&le;x_0}{\mathrm{\&Sigma;}}}I\left(x,y\right)\&CenterDot;F_y(x-x_0+2,y-y_0+2)---\left(2-3\right)$

式中X_a1≤x₀≤X_a2，Y_a1≤y₀≤Y_a2；利用式(2-3)对图像求滤波之后得到H(x,y)；

针对H(x,y)进行二值化处理，设置阈值λ，根据阈值得到H'(x₀,y₀)；

$H^{\&prime;}(x_0,y_0)=\left\{\begin{array}{cc}0& H(x_0,y_0)<\mathrm{\&lambda;}\\ 255& H(x_0,y_0)>\mathrm{\&lambda;}\end{array}\right.,(X_{a1}<x_0<X_{a2},Y_{a1}<y_0<Y_{a2});$

步骤33：通过索贝尔并二值化处理后所得到的H'(x₀,y₀)，将其中的焊缝边界的信息值加强为255，其它值全部清0，然后通过统计相同x坐标下，各个y坐标值的累加和确定焊缝坐标，其表达式：

$S_{y_0}=\underset{x}{\&Sigma;}S(x,y_0);$

其中，S_y0表示y₀坐标下值求和，x的范围为x_a1<x<x_a2，即在有效图像区域内生成S_y[n]数组，x_a1<n<x_a2；对S_y[n]进行排序，得到最大值的前两位即为焊缝处坐标，其下标值n即为x坐标，通过比较x值的大小，可得较小值x_l1为左焊缝，较大值x_l2为优焊缝，定左右焊缝的y坐标都为那么经过DSP处理器处理后所得的焊缝坐标即为

2.根据权利要求1所述的焊缝识别方法，其特征在于：上述步骤3还包括步骤34：判定DSP处理器处理后所得的焊缝坐标与步骤2标注的坐标是否在预设的误差范围内，如果在该误差范围内则完成焊缝识别；如果不在该误差范围内则返回步骤3重新进行图像处理并识别焊缝。

3.根据权利要求2所述的焊缝识别方法，其特征在于：所述步骤34中，设定焊缝x坐标误差阈值为X_e，则如果同时满足|x_l1-x₁|<X_e以及|x_l2-x₂|<X_e，则表示DSP处理器处理后所得的焊缝坐标与步骤2标注的坐标在预设的误差范围内。