CN110210497B - 一种鲁棒实时焊缝特征检测方法 - Google Patents

Abstract

本发明公开了一种鲁棒实时焊缝特征检测方法，包括步骤：S1，实时采集焊缝图像；S2，将所采集的图像以一特定值为中心裁剪成一定大小的图像作为网络输入；S3，使用多层卷积神经网络处理裁剪后的图像，获得图像的高层语义特征和图像的局部信息和全局信息；S4，将多层特征拼接，使用卷积神经网络实现局部信息和全局信息的融合，获得高层融合特征；S5，使用循环神经网络处理高层融合特征，学习并获取包含时间上下文信息的高层融合特征；S6，在特征图上生成一系列候选框；S7，使用卷积神经网络对所得包含时间上下文信息的高层融合特征进行处理，结合所述候选框获取焊缝位置和类别。本发明在图像中存在大量噪声时具有稳定的焊缝检测结果。

Description

一种鲁棒实时焊缝特征检测方法

技术领域

本发明涉及焊接轨迹自动检测系统，主要涉及基于激光视觉传感器的焊缝检测，具体涉及一种鲁棒实时焊缝特征检测方法。

背景技术

机器人焊接在提高生产效率、延长生产时间的同时降低生产成本，为企业带来更大的利润。然而，受限于“示教-再现”的工作模式，现存的机器人焊接方式不具备实时适应焊缝轨迹改变的能力，从而对工件的定位和装夹精度提出极高的要求，难以达到柔性制造水平。基于激光视觉传感器的机器人焊缝实时检测系统，通过激光视觉传感器和智能焊缝检测算法实现焊缝的实时准确检测，利用检测结果控制机器人运动到实际焊缝位置实现高精度焊接。针对焊缝检测时利用传统图像处理方法难以在强弧光和飞溅噪声的图像中实现焊缝定位，焊缝检测系统性能受此严重制约的问题，本发明提出一种鲁棒实时焊缝特征检测方法，利用深度学习方法实现强噪声下焊缝特征的准确检测。

发明内容

本发明的目的在于克服现有技术的不足，提供一种抗干扰能力强，实时性好的焊缝特征检测算法，实现强噪声下焊缝的准确检测，进而提高焊缝检测系统的鲁棒性。

本发明的上述目的至少通过如下技术方案之一实现：

一种鲁棒实时焊缝特征检测方法，包括以下步骤：

S1，激光视觉传感器实时采集焊缝图像并传输至嵌入式工业处理器；

S2，将所采集的图像以一特定值为中心，裁剪一定大小的图像作为网络输入；

S3，使用多层卷积神经网络处理步骤S2中裁剪后的图像，获得图像的高层语义特征；并进一步并列使用多层卷积神经网络获取图像的局部信息和全局信息；

S4，将步骤S3中获取的包含焊缝图像的局部信息和全局信息的多层特征拼接，使用卷积神经网络实现局部信息和全局信息的融合，获得高层融合特征；

S5，使用循环神经网络处理步骤S4中的高层融合特征，学习特征中包含的焊缝时间上下文信息，获取包含时间上下文信息的高层融合特征；

S6，在步骤S5所得特征图上生成一系列候选框；

S7，使用卷积神经网络对步骤S5所得包含时间上下文信息的高层融合特征进行处理，结合步骤S6所得候选框，获取焊缝位置和类别。

进一步地，所述步骤S2具体包括：

若当前图像为起始帧，则裁剪中心为手动设定值；

若当前图像非起始帧，则裁剪中心为前一帧焊缝图像检测结果。

进一步地，所述步骤S3具体包括：

使用卷积神经网络对裁剪后的图像进行处理,具体包括，使用卷积层提取图像的高层语义特征，使用最大池化层缩小特征图尺寸，其中卷积层数量根据卷积特征的感受野大小确定，卷积特征的感受野计算公式为：

R_n-1＝(R_n-1)*s+k

其中，R_n-1和R_n分别表示第n-1层和第n层的感受野，s表示卷积步长，k表示卷积核大小；

在图像特征缩小至一定尺寸后，并列使用不同空洞率的空洞卷积获取图像的局部信息和全局信息，实现特征感受野迅速扩大的同时保证特征图尺寸保持不变；

在各卷积层后，添加BN层提高网络收敛速度和提升网络性能，BN变换表示为：

其中，m是批数据量，μ_B为小批量数据的期望，是方差，/>是正则化后数值，y_i是从新构建的输出，γ和β是学习参数，ε是为保证式子的数值稳定性而添加的常量。

进一步地，所述步骤S4具体包括：

在进行特征融合前，将各并列特征按顺序进行拼接，接着使用1x1大小的卷积核进行卷积实现各层特征融合；

特征融合后利用3x3的卷积核在其特征层上进行卷积，将步长设置为2，进一步减小特征图尺寸；

使用3x3的卷积核进行卷积，实现特征的进一步融合。

进一步地，所述步骤S5具体包括：

使用1x1大小的卷积核在特征图上进行卷积，将特征通道进一步压缩以减少RNN的学习量；

使用以GRU为基本单元的RNN学习时间上下文信息，每层网络的神经元数量与输入到RNN的数据长度相同，所述GRU的信息转化关系为：

其中r_t表示更新门，z_t表示重置门，h_t-1表示上一时刻隐藏层的状态，x_t表示当前时刻的输入，W_r，W_z和表示权重，b_r，b_z和b_h表示偏置量，/>表示tanh层输出，σ()表示sigmoid层运算，tanh()表示tanh层运算。

RNN处理后的特征图上，使用1x1大小的卷积核进行卷积，将特征通道恢复至压缩前大小。

进一步地，所述步骤S6具体包括：

在每个特征的中心位置生成不同尺寸的一组默认框，每个默认框的尺寸由以下公式确定：

其中，表示默认框的宽，/>表示默认框的高，s_k表示基础默认框边长，表示每个框的长宽比，对于a_r＝1的情况，增加一个正方形默认框，其边长为：

其中s_k和s_k+1分别表示当前层和下一层基础默认框的边长，由实际焊缝尺寸确定。

进一步地，所述步骤S7具体包括：

在训练阶段，其步骤包括：

对四个位置参数进行编码，编码方式如式下：

t_px＝(x_p-x_a)/w_a,t_py＝(y_p-y_a)/h_a,

t_pw＝log(w_p/w_a),t_ph＝log(h_p/h_a),

其中x_p，x_a和x^*分别表示预测横坐标、默认框横坐标和实际横坐标，y_p，y_a和y^*分别表示预测纵坐标、默认框纵坐标和实际纵坐标，h_p，h_a和h^*分别表示预测高度、默认框高和实际高，w_p，w_a和w^*分别表示预测宽、默认框宽和实际宽，t_px，t_py，t_pw和t_ph分别表示预测横坐标，预测纵坐标，预测宽和预测高的编码，和/>分别表示实际横坐标，实际纵坐标，实际宽和实际高的编码；

利用Jaccard相似度算法判断默认框是否包含目标，进而将候选框设置为正样本或负样本，所述Jaccard相似度的计算公式为：

其定义为真实框A(目标真实位置)与默认框B的重叠区域的面积与二者在图像中所占的总面积的比值，选择0.5作为阈值，Jaccard相似度大于0.5的为正样本，小于0.5的为负样本；

利用卷积实现分类和回归，对于具有k种类别的焊缝数据，在分类时每个特征位置需要预测的类别数为k+1，包括k种焊缝类和1种背景类；每个默认框须通过4个参数表征，分别为中心点横坐标x，纵坐标y，候选框的高度h和宽度w，因此对于l个默认框，定位时每个特征位置需要回归的参数有4l个；

根据编码结果和检测结果，计算损失，多任务损失函数为：

其中p_i表示各类别置信度，表示经过编码的默认框分数，其中正样本分数为1，负样本分数为0，N_cls表示类别数，N_reg表示定位参数数量，λ表示定位损失所占的权重,t_i和表示编码值；

在预测阶段，其步骤包括：

利用卷积实现分类和回归，对于具有k种类别的焊缝数据，在分类时每个特征位置需要预测的类别数为k+1，包括k种焊缝类和1种背景类；每个默认框须通过4个参数表征，分别为中心点横坐标x₀，纵坐标y₀，候选框的高度h₀和宽度w₀，因此对于l个默认框，定位时每个特征位置需要回归的参数有4l个；

根据卷积结果，选择置信度最高的框为焊缝目标框，确定焊缝类别；

对检测结果进行解码，获得焊缝的位置，解码方式为：

x＝t_x*w_a+x_a,y＝t_y*h_a+y_a,

x＝t_x*w_a+x_a,y＝t_y*h_a+y_a,

其中t_x，t_y，t_w和t_h分别表示为网络预测后获取的横坐标，纵坐标，候选框的高度和候选框的宽度，x，y，w和h分别表示为解码后获取的横坐标实际位置，纵坐标实际位置，候选框的高度实际位置和候选框的宽度实际位置。

相比于现有技术，本发明针对焊缝检测任务具有特征少，精度要求高和同类噪声干扰大的特点，结合深度学习目标检测算法的优越性，综合利用不同特征层携带的局部信息和全局信息实现焊缝的快速，准确检测。同时，本发明根据焊接过程的连续性特点，使用循环神经网络以实现对连续多帧焊缝图像经过融合后的特征进行处理，学习其特征中包含的连续图像的时间上下文信息，利用时间上下文信息实现连续强噪声下的焊缝位置检测，在图像中存在大量噪声时具有稳定的焊缝检测结果。

附图说明

图1是本发明实施例中激光视觉焊缝检测系统的结构示意图；

图2是本发明实施例中激光视觉传感器的结构示意图；

图3是鲁棒实时焊缝特征检测方法的框架。

具体实施方式

下面结合实施例及附图对本发明作进一步的详细描述，但本发明的实施方式不限于此。

实施例

如图1所示，激光视觉焊缝检测系统包括焊接保护气瓶1，多功能数字焊接电源2，六轴焊接机器人3，传感器夹具4，激光视觉传感器5，焊接工件和工作台6，工业控制计算机7。如图2所示，激光视觉传感器5由激光器5-1，工业相机5-2，相机镜头5-3，以及滤光片5-4构成。激光器5-1和工业相机5-2成20°角安装。激光视觉传感器5通过传感器夹具4固定前置安装于焊枪前端，实现焊缝特征的实时采集。

如图3所示，本实施例所提出的鲁棒实时焊缝特征检测方法在激光视觉传感器5采集所得图像中实现焊缝特征的检测，具体包括步骤：

S1，激光视觉传感器实时采集焊缝图像并传输至嵌入式工业处理器；

S2，将所采集的图像以一特定值为中心，裁剪一定大小的图像作为网络输入；

S3，使用多层卷积神经网络处理步骤S2中裁剪后的图像，获得图像的高层语义特征；并进一步并列使用多层卷积神经网络获取图像的局部信息和全局信息；

S4，将步骤S3中获取的包含焊缝图像的局部信息和全局信息的多层特征拼接，使用卷积神经网络实现局部信息和全局信息的融合，获得高层融合特征；

S5，使用循环神经网络处理步骤S4中的高层融合特征，学习特征中包含的焊缝时间上下文信息，获取包含时间上下文信息的高层融合特征；

S6，在步骤S5所得特征图上生成一系列候选框；

S7，使用卷积神经网络对步骤S5所得包含时间上下文信息的高层融合特征进行处理，结合步骤S6所得候选框，获取焊缝位置和类别。

进一步地，所述步骤S2具体包括：

若当前图像为起始帧，则裁剪中心为手动设定值；若当前图像非起始帧，则裁剪中心为前一帧焊缝图像检测结果，本实施例中，所裁剪的图像长和宽分别为300像素。

进一步地，所述步骤S3具体包括：

S31、使用卷积神经网络对裁剪后的图像进行处理,具体包括，使用卷积层提取图像的高层语义特征，使用最大池化层缩小特征图尺寸，其中卷积层数量根据卷积特征的感受野大小确定，卷积特征的感受野计算公式为：

R_n-1＝(R_n-1)*s+k

其中，R_n-1和R_n分别表示第n-1层和第n层的感受野，s表示卷积步长，k表示卷积核大小；

S32、在图像特征缩小至一定大小后，并列使用不同空洞率的空洞卷积获取图像的局部信息和全局信息，实现特征感受野迅速扩大的同时保证特征图尺寸保持不变；

S33、在各卷积层后，添加BN层提高网络收敛速度和提升网络性能，所述BN变换表示为：

其中，m是批数据量，μ_B为小批量数据的期望，是方差，/>是正则化后数值，y_i是从新构建的输出，γ和β是学习参数，ε是为保证式子的数值稳定性而添加的常量。

进一步地，所述步骤S4具体包括：

S41、在进行特征融合前，将各并列特征按顺序进行拼接，在此基础上使用1x1大小的卷积核进行卷积实现各层特征融合；

S42、特征融合后利用3x3的卷积核在其特征层上进行卷积，将步长设置为2，进一步减小特征图尺寸；

S43、在此基础上使用3x3的卷积核进行卷积，实现特征的进一步融合。

进一步地，所述步骤S5具体包括：

S51、使用1x1大小的卷积核在特征图上进行卷积，将特征通道进一步压缩以减少RNN的学习量；

S52、使用以GRU为基本单元的RNN学习时间上下文信息，每层网络的神经元数量与输入到RNN的数据长度相同，GRU的信息转化关系为：

r_t＝σ(W_r·[h_t-1,x_t]+b_r)

z_t＝σ(W_z·[h_t-1,x_t]+b_z)

其中r_t表示更新门，z_t表示重置门，h_t-1表示上一时刻隐藏层的状态，x_t表示当前时刻的输入，W_r，W_z和表示权重，b_r，b_z和b_h表示偏置量，/>表示tanh层输出，σ()表示sigmoid层运算，tanh()表示tanh层运算。

S53、RNN处理后的特征图上，使用1x1大小的卷积核进行卷积，将特征通道恢复至压缩前大小。

进一步地，所述步骤S6具体包括：

在每个特征的中心位置生成不同尺寸的一组默认框，每个默认框的尺寸由以下公式确定：

其中，表示默认框的宽，/>表示默认框的高，s_k表示基础默认框边长，表示每个框的长宽比，对于a_r＝1的情况，增加一个正方形默认框，其边长为：

其中s_k和s_k+1分别表示当前层和下一层基础默认框的边长，由实际焊缝尺寸确定。

进一步地，所述步骤S7具体包括：

在训练阶段，其步骤为：

S701、对四个位置参数进行编码，编码方式如式下：

t_px＝(x_p-x_a)/w_a,t_py＝(y_p-y_a)/h_a,

t_pw＝log(w_p/w_a),t_ph＝log(h_p/h_a),

其中x_p，x_a和x^*分别表示预测横坐标、默认框横坐标和实际横坐标，y_p，y_a和y^*分别表示预测纵坐标、默认框纵坐标和实际纵坐标，h_p，h_a和h^*分别表示预测高度、默认框高和实际高，w_p，w_a和w^*分别表示预测宽、默认框宽和实际宽，t_px，t_py，t_pw和t_ph分别表示预测横坐标，预测纵坐标，预测宽和预测高的编码，和/>分别表示实际横坐标，实际纵坐标，实际宽和实际高的编码；

S702、利用Jaccard相似度算法判断默认框是否包含目标，进而将候选框设置为正样本或负样本，所述Jaccard相似度的计算公式为：

其定义为真实框A与默认框B的重叠区域的面积与二者在图像中所占的总面积的比值，选择0.5作为阈值，Jaccard相似度大于0.5的为正样本，小于0.5的为负样本；

S703、利用卷积实现分类和回归，对于具有k种类别的焊缝数据，在分类时每个特征位置需要预测的类别数为k+1，包括k种焊缝类和1种背景类；每个默认框须通过4个参数表征，分别为中心点横坐标x₀，纵坐标y₀，候选框的高度h₀和宽度w₀，因此对于l个默认框，定位时每个特征位置需要回归的参数有4l个；

S704、根据编码结果和检测结果，计算损失，多任务损失函数为：

其中p_i表示各类别置信度，表示经过编码的默认框分数，其中正样本分数为1，负样本分数为0，λ表示定位损失所占的权重,N_cls表示类别数，N_reg表示定位参数数量，λ表示定位损失所占的权重,t_i和/>表示编码值；

在预测阶段，其步骤为：

S711、利用卷积实现分类和回归，对于具有k种类别的焊缝数据，在分类时每个特征位置需要预测的类别数为k+1，包括k种焊缝类和1种背景类；每个默认框须通过4个参数表征，分别为中心点横坐标x，纵坐标y，候选框的高度h和宽度w，因此对于l个默认框，定位时每个特征位置需要回归的参数有4l个；

S712、根据卷积结果，选择置信度最高的框为焊缝目标框，确定焊缝类别；

S713、对检测结果进行解码，获得焊缝的位置，解码方式为：

x＝t_x*w_a+x_a,y＝t_y*h_a+y_a,

其中t_x，t_y，t_w和t_h分别表示为网络预测后获取的横坐标，纵坐标，候选框的高度和候选框的宽度，x，y，w和h分别表示为解码后获取的横坐标实际位置，纵坐标实际位置，候选框的高度实际位置和候选框的宽度实际位置。

最终检测结果用于控制机器人运动，实现高精度焊接。

上述实施例仅为清楚地说明本发明所做的举例，而并非对本发明实施方式的限定。其他的任何以上述说明为基础，背离本发明的精神实质与原理下所作的改变、修饰、替代、组合、简化，均应为等效的置换方式，均在本发明的保护范围之内。

Claims (6)

1.一种鲁棒实时焊缝特征检测方法，其特征在于，包括以下步骤：

S1，激光视觉传感器实时采集焊缝图像并传输至嵌入式工业处理器；

S2，将所采集的图像以一特定值为中心，裁剪一定大小的图像作为网络输入；

S3，使用多层卷积神经网络处理步骤S2中裁剪后的图像，获得图像的高层语义特征；并进一步并列使用多层卷积神经网络获取图像的局部信息和全局信息；

S4，将步骤S3中获取的包含焊缝图像的局部信息和全局信息的多层特征拼接，使用卷积神经网络实现局部信息和全局信息的融合，获得高层融合特征；

S5，使用循环神经网络处理步骤S4中的高层融合特征，学习特征中包含的焊缝时间上下文信息，获取包含时间上下文信息的高层融合特征；

S6，在步骤S5所得特征图上生成一系列候选框；

S7，使用卷积神经网络对步骤S5所得包含时间上下文信息的高层融合特征进行处理，结合步骤S6所得候选框，获取焊缝位置和类别；

其中，步骤S7具体包括：

在训练阶段，其步骤为：

对四个位置参数进行编码，编码方式如式下：

t_px＝(x_p-x_a)/w_a,t_py＝(y_p-y_a)/h_a,

t_pw＝log(w_p/w_a),t_ph＝log(h_p/h_a),

其中x_p，x_a和x^*分别表示预测横坐标、默认框横坐标和实际横坐标，y_p，y_a和y^*分别表示预测纵坐标、默认框纵坐标和实际纵坐标，h_p，h_a和h^*分别表示预测高度、默认框高和实际高，w_p，w_a和w^*分别表示预测宽、默认框宽和实际宽，t_px，t_py，t_pw和t_ph分别表示预测横坐标，预测纵坐标，预测宽和预测高的编码，和/>分别表示实际横坐标，实际纵坐标，实际宽和实际高的编码；

利用Jaccard相似度算法判断默认框是否包含目标，进而将候选框设置为正样本或负样本，所述Jaccard相似度的计算公式为：

其定义为真实框A与默认框B的重叠区域的面积与二者在图像中所占的总面积的比值；

利用卷积实现分类和回归，对于具有k种类别的焊缝数据，在分类时每个特征位置需要预测的类别数为k+1，包括k种焊缝类和1种背景类；每个默认框须通过4个参数表征，分别为中心点横坐标x，纵坐标y，候选框的高度h和宽度w，因此对于l个默认框，定位时每个特征位置需要回归的参数有4l个；

根据编码结果和检测结果，计算损失，多任务损失函数为：

其中p_i表示各类别置信度，表示经过编码的默认框分数，其中正样本分数为1，负样本分数为0，N_cls表示类别数，N_reg表示定位参数数量，λ表示定位损失所占的权重,t_i和/>表示编码值；

在预测阶段，其步骤为：

利用卷积实现分类和回归，对于具有k种类别的焊缝数据，在分类时每个特征位置需要预测的类别数为k+1，包括k种焊缝类和1种背景类；每个默认框须通过4个参数表征，分别为中心点横坐标x₀，纵坐标y₀，候选框的高度h₀和宽度w₀，因此对于l个默认框，定位时每个特征位置需要回归的参数有4l个；

根据卷积结果，选择置信度最高的框为焊缝目标框，确定焊缝类别；

对检测结果进行解码，获得焊缝的位置，解码方式为：

x＝t_x*w_a+x_a,y＝t_y*h_a+y_a,

其中t_x，t_y，t_w和t_h分别表示为网络预测后获取的横坐标，纵坐标，候选框的高度和候选框的宽度，x，y，w和h分别表示为解码后获取的横坐标实际位置，纵坐标实际位置，候选框的高度实际位置和候选框的宽度实际位置。

2.根据权利要求1所述的鲁棒实时焊缝特征检测方法，其特征在于，所述步骤S2具体包括：

若当前图像为起始帧，则裁剪中心为手动设定值；

若当前图像非起始帧，则裁剪中心为前一帧焊缝图像检测结果。

3.根据权利要求1所述的鲁棒实时焊缝特征检测方法，其特征在于，所述步骤S3具体包括：

使用卷积神经网络对裁剪后的图像进行处理,具体包括，使用卷积层提取图像的高层语义特征，使用最大池化层缩小特征图尺寸，其中卷积层数量根据卷积特征的感受野大小确定，卷积特征的感受野计算公式为：

R_n-1＝(R_n-1)*s+k

其中，R_n-1和R_n分别表示第n-1层和第n层的感受野，s表示卷积步长，k表示卷积核大小；

在图像特征缩小至一定尺寸后，并列使用不同空洞率的空洞卷积获取图像的局部信息和全局信息，实现特征感受野迅速扩大的同时保证特征图尺寸保持不变；

在各卷积层后，添加BN层提高网络收敛速度和提升网络性能，BN变换表示为：

其中，m是批数据量，μ_B为小批量数据的期望，是方差，/>是正则化后数值，y_i是从新构建的输出，γ和β是学习参数，ε是为保证式子的数值稳定性而添加的常量。

4.根据权利要求1所述的鲁棒实时焊缝特征检测方法，其特征在于，所述步骤S4具体包括：

在进行特征融合前，将各并列特征按顺序进行拼接，接着使用1x1大小的卷积核进行卷积实现各层特征融合；

特征融合后利用3x3的卷积核在其特征层上进行卷积，将步长设置为2，进一步减小特征图尺寸；

使用3x3的卷积核进行卷积，实现特征的进一步融合。

5.根据权利要求1所述的鲁棒实时焊缝特征检测方法，其特征在于，所述步骤S5具体包括：

使用1x1大小的卷积核在特征图上进行卷积，将特征通道进一步压缩以减少RNN的学习量；

使用以GRU为基本单元的RNN学习时间上下文信息，每层网络的神经元数量与输入到RNN的数据长度相同，所述GRU的信息转化关系为：

r_t＝σ(W_r·[h_t-1,x_t]+b_r)

z_t＝σ(W_z·[h_t-1,x_t]+b_z)

其中r_t表示更新门，z_t表示重置门，h_t-1表示上一时刻隐藏层的状态，x_t表示当前时刻的输入，W_r，W_z和表示权重，b_r，b_z和b_h表示偏置量，/>表示tanh层输出，σ()表示sigmoid层运算，tanh()表示tanh层运算；

RNN处理后的特征图上，使用1x1大小的卷积核进行卷积，将特征通道恢复至压缩前大小。

6.根据权利要求1所述的鲁棒实时焊缝特征检测方法，其特征在于，所述步骤S6具体包括：

在每个特征的中心位置生成不同尺寸的一组默认框，每个默认框的尺寸由以下公式确定：

其中，表示默认框的宽，/>表示默认框的高，s_k表示基础默认框边长，表示每个框的长宽比，对于a_r＝1的情况，增加一个正方形默认框，其边长为：

其中s_k和s_k+1分别表示当前层和下一层基础默认框的边长，其值由实际焊缝尺寸确定。