CN112101137B - 用于爬壁机器人导航的焊缝识别与路径提取的方法 - Google Patents

Abstract

本发明公开了用于爬壁机器人导航的焊缝识别与路径提取的方法，方法为：一、通过爬壁机器人采集金属壁面焊缝，并对图像中焊缝对象进行标注，建立数据集。二、识别主机进行网络参数初始化设定后，把焊缝缺陷数据集送入Mask‑RCNN深度学习网络训练并生成权重文件。三、爬壁机器人运行在金属壁面上，工业相机获取当前位置的焊缝图像并发送给识别主机。四、识别主机接受图像进行识别测试，设置深度学习网络参数，载入训练获得的权重，送入Mask‑RCNN网络进行焊缝分类、回归和像素掩码生成。五、Mask‑RCNN识别结果进行图像处理;得到焊缝路径图像，并进行焊缝路径提取。六、识别主机发送焊缝路径信息爬壁机器人控制端，控制端调整机器人位置和速度，实现焊缝的跟踪运行。

Description

用于爬壁机器人导航的焊缝识别与路径提取的方法

技术领域

本发明属探伤机器人领域，具体来说，涉及用于爬壁机器人导航的焊缝识别与路径提取的方法。

背景技术

近年来，随着工业发展，特种设备使用数量急剧增长。为保证特种设备的使用安全，必须严格控制材料和结构的质量。在设备的整个结构中，焊缝结构是最薄弱的，极易出现缺陷从而带来极大的安全隐患，在焊接部件和结构中，裂缝会导致使用寿命和性能的损失，在进行检测为了确保使用的安全性，需要定期检查焊缝。随着科学技术的发展，使用爬壁机器人技术代替人工进行检测成为了检测行业的发展趋势。目前机器人自动化探伤设备在管道的检测中发展迅速，但在锅炉、球罐等特种设备的检测应用中相对应用较少。在焊缝检测过程中，焊缝的定位成为了一个难题，爬壁机器人需要实现对焊缝的识别和跟踪才可以实现更智能的焊缝探伤检测。

发明内容

为解决上述问题，本发明公开了用于爬壁机器人导航的焊缝识别与路径提取的方法，解决爬壁机器人在工作过程中焊缝难以准确识别和跟踪的问题，通过深度学习实现更智能的焊缝检测和识别。

为解决上述技术问题，本发明采用如下的技术方案：

用于爬壁机器人导航的焊缝识别与路径提取的方法，该方法通过以下装置实现，装置包括工业相机、识别主机、爬壁机器人，识别相机安装与爬壁机器人底盘中心位置，工业相机通过USB连接识别主机，识别主机通过串口与机器人控制端连接，该方法主要基于深度学习网络实现对焊缝的识别，并通过路径拟合算法实现焊缝的路径的偏角和偏距提取，具体流程包括：

步骤(1)：通过爬壁机器人采集金属壁面焊缝，并对图像中焊缝对象进行标注，建立数据集。

步骤(2)：识别主机进行网络参数初始化设定后，把焊缝缺陷数据集送入Mask-RCNN深度学习网络训练并生成权重文件，训练阶段迭代步数不小于10k，且损失函数值小于0.2。

步骤(3)：爬壁机器人运行在金属壁面上，启动循迹模式，工业相机获取当前位置的焊缝图像并发送给识别主机。

步骤(4)：识别主机接受图像进行识别测试，设置深度学习网络参数，载入步骤(2)训练获得的权重，送入Mask-RCNN网络进行焊缝分类、回归和像素掩码生成。

步骤(5)：对Mask-RCNN识别结果进行图像处理，去除背景，二值化处理，得到焊缝路径图像，并进行焊缝路径提取。

步骤(6)：识别主机发送焊缝路径信息(偏角和偏距)给爬壁机器人控制端，控制端调整机器人位置和速度，实现焊缝的跟踪运行。返回步骤(3)进行焊缝的连续循迹跟踪。

进一步，该焊缝识别与路径提取的方法中步骤(1)的数据集中的图片包含水平焊缝、垂直焊缝、倾斜焊缝、十字交叉焊缝、丁字形焊缝类型；焊缝数据集包括不少于2000张焊缝图像，并按5:1分为训练集和测试集；数据集格式为COCO格式或VOC格式，标注分类数为2(包括焊缝对象和背景)。

进一步，该焊缝识别与路径提取的方法中步骤(1)的数据集中的焊缝图片标注，交叉焊缝或丁字形焊缝标注为多条焊缝而不是单一焊缝，具体为：交叉焊缝标注为3条焊缝、丁字形焊缝标注为2条焊缝。

进一步，该焊缝识别与路径提取的方法中步骤(2)中的预训练网络模型及权重采用mask_rcnn_R_50_FPN_3x，分类类别为2，进行二分类；训练阶段底层卷积神经采用ResNet50和FPN结合，提取不同深度的特征图；通过RPN推荐ROI(感兴趣区域)。训练阶段的损失焊缝计算根据：

L_total＝L_{rpn_cls}+L_{rpn_loc}+L_{box_reg}+L_cls+L_mask

进一步，所述步骤(4)的具体过程为：

步骤(401)：初始化网络参数，分别将焊缝图像训练集、验证集注册载入，同时加载步骤(2)训练获取的权重文件。

步骤(402)：通过摄像头获取的图像，图像送入训练好的ResNet50中，通过FPN获取不同深度的特征图。

步骤(403)：使用RPN网络对ROI进行推荐，同时连接两个同级的全连接层，分别为框回归层和框分类层，用来获取ROI的区域坐标和区域得分。

步骤(404)：候选框建议RoI被送入RoIAlign层进行池化处理，采用双线性插值处理，每个RoI池化为固定尺寸特征图(例如7×7)。

步骤(405)：RoIAlign后连接两个全连接层，输出层网络深度为2，实现焊缝图像分类和边界框回归，同时连接FCN(全卷积网络)对图像焊缝进行像素分割，输出预测焊缝的mask。

步骤(406)：生成焊缝预测图像，包括预测框、概率值、焊缝的像素级别mask。

进一步，该焊缝识别与路径提取的方法中步骤(5)中图像处理主要包括去除背景干扰，二值化焊缝对象。焊缝路径提取通过最小二乘法拟合路径直线得到斜率k和截距b，路径偏角和偏距计算根据公式：

(w为图像宽度，h为图像高度,K为像素和实际大小的比例系数)。

有益效果：与现有技术相比，本发明的技术方案具有以下有益效果：

(1)通过深度学习实现对金属壁面焊缝智能识别，相较于常用的图像处理方法，提高焊缝识别的精度和准确率。

(2)结合深度学习与路径提取方法，实现了焊缝路径信息(偏角和偏距)的提取，提供了路径信息的准确性，是爬壁机器人跟踪焊缝更加准确。

(3)通过使用本方法提供了爬壁机器人智能化程度，提供了工作效率，节省了人工控制的成本和时间。

附图说明

图1为本发明用于爬壁机器人导航的焊缝识别与路径提取的方法的流程图。

图2为本发明的方法中装置示意图。

图3为本发明中深度学习焊缝识别和处理的流程图。

图4为本发明中焊缝识别和提取的深度学习网络结构。

图5为本发明中焊缝识别和路径提取的效果。

具体实施方式

下面结合附图和具体实施方式，进一步阐明本发明，应理解下述具体实施方式仅用于说明本发明而不用于限制本发明的范围。需要说明的是，下面描述中使用的词语“前”、“后”、“左”、“右”、“上”和“下”指的是附图中的方向，词语“内”和“外”分别指的是朝向或远离特定部件几何中心的方向。

如图1、2所示，本实施例提供用于爬壁机器人导航的焊缝识别与路径提取的方法，所述方法通过以下装置实现，所述装置包括工业相机、识别主机、爬壁机器人，识别相机安装与爬壁机器人底盘中心位置，工业相机通过USB连接识别主机，识别主机通过串口与机器人控制端连接，该方法主要基于深度学习网络实现对焊缝的识别，并通过路径拟合算法实现焊缝的路径的偏角和偏距提取。具体流程包括：

步骤(1)：通过爬壁机器人采集金属壁面焊缝，并对图像中焊缝对象进行标注，建立数据集；

其中所述步骤(1)的数据集中的图片包含水平焊缝、垂直焊缝、倾斜焊缝、十字交叉焊缝、丁字形焊缝类型；焊缝数据集包括不少于2000张焊缝图像，并按5:1分为训练集和测试集；数据集格式为COCO格式或VOC格式，标注分类数为2(包括焊缝对象和背景)。

其中所述步骤(1)的数据集中的焊缝图片标注，交叉焊缝或丁字形焊缝标注为多条焊缝而不是单一焊缝，具体为：交叉焊缝标注为3条焊缝、丁字形焊缝标注为2条焊缝。

步骤(2)：识别主机进行网络参数初始化设定后，把焊缝缺陷数据集送入Mask-RCNN深度学习网络训练并生成权重文件，训练阶段迭代步数不小于10k，且损失函数值小于0.2。

所述步骤(2)中的预训练网络模型及权重采用mask_rcnn_R_50_FPN_3x，分类类别为2，进行二分类；训练阶段底层卷积神经采用ResNet50和FPN结合，提取不同深度的特征图；通过RPN推荐ROI(感兴趣区域)。训练阶段的损失焊缝计算根据：

L_total＝L_{rpn_cls}+L_{rpn_loc}+L_{box_reg}+L_cls+L_mask

步骤(3)：所述爬壁机器人运行在金属壁面上，启动循迹模式，工业相机获取当前位置的焊缝图像并发送给识别主机。

步骤(4)：所述识别主机接受图像进行识别测试，设置深度学习网络参数，载入步骤(2)训练获得的权重，送入Mask-RCNN网络进行焊缝分类、回归和像素掩码生成。

其中如图3、4所示，所述步骤(4)的具体过程为：

步骤(401)：初始化网络参数，分别将焊缝图像训练集、验证集注册载入，同时加载步骤(2)训练获取的权重文件。

步骤(402)：通过摄像头获取的图像，图像送入训练好的ResNet50中，通过FPN获取不同深度的特征图。

步骤(403)：使用RPN网络对ROI进行推荐，同时连接两个同级的全连接层，分别为框回归层和框分类层，用来获取ROI的区域坐标和区域得分。

步骤(404)：候选框建议RoI被送入RoIAlign层进行池化处理，采用双线性插值处理，每个RoI池化为固定尺寸特征图(例如7×7)。

步骤(405)：RoIAlign后连接两个全连接层，输出层网络深度为2，实现焊缝图像分类和边界框回归，同时连接FCN(全卷积网络)对图像焊缝进行像素分割，输出预测焊缝的mask。

步骤(406)：生成焊缝预测图像，包括预测框、概率值、焊缝的像素级别mask。

步骤(5)：对Mask-RCNN识别结果进行图像处理，去除背景，二值化处理，得到焊缝路径图像，并进行焊缝路径提取。

其中图像处理主要包括去除背景干扰，二值化焊缝对象。焊缝路径提取通过最小二乘法拟合路径直线得到斜率k和截距b，路径偏角和偏距计算根据公式：

(w为图像宽度，h为图像高度,K为像素和实际大小的比例系数)。

步骤(6)：识别主机发送焊缝路径信息(偏角和偏距)给爬壁机器人控制端，控制端调整机器人位置和速度，实现焊缝的跟踪运行。返回步骤(3)进行焊缝的连续循迹跟踪。

如图5所示，焊缝原始图像经过深度学习分类和像素级别提取，实现焊缝对象的准确分割，通过图像处理和路径拟合更加准确的路径线用于爬壁机器人跟踪运行。

本发明方案所公开的技术手段不仅限于上述实施方式所公开的技术手段，还包括由以上技术特征任意组合所组成的技术方案。

Claims (6)

1.用于爬壁机器人导航的焊缝识别与路径提取的方法，所述方法通过以下装置实现，所述装置包括工业相机、识别主机、爬壁机器人，识别相机安装与爬壁机器人底盘中心位置，工业相机通过USB连接识别主机，识别主机通过串口与机器人控制端连接，该方法主要基于深度学习网络实现对焊缝的识别，并通过路径拟合算法实现焊缝的路径的偏角和偏距提取，其特征在于,该方法包括以下步骤；

步骤(1)：通过爬壁机器人采集金属壁面焊缝，并对图像中焊缝对象进行标注，建立数据集；

步骤(2)：识别主机进行网络参数初始化设定后，把焊缝缺陷数据集送入Mask-RCNN深度学习网络训练并生成权重文件，训练阶段迭代步数不小于10k，且损失函数值小于0.2；

步骤(3)：所述爬壁机器人运行在金属壁面上，启动循迹模式，工业相机获取当前位置的焊缝图像并发送给识别主机；步骤(4)：所述识别主机接受图像进行识别测试，设置深度学习网络参数，载入步骤(2)训练获得的权重，送入Mask-RCNN网络进行焊缝分类、回归和像素掩码生成；

步骤(5)：对Mask-RCNN识别结果进行图像处理，去除背景，二值化处理，得到焊缝路径图像，并进行焊缝路径提取；

步骤(6)：识别主机发送焊缝路径信息(偏角和偏距)给爬壁机器人控制端，控制端调整机器人位置和速度，实现焊缝的跟踪运行， 返回步骤(3)进行焊缝的连续循迹跟踪。

2.根据权利要求 1所述的用于爬壁机器人导航的焊缝识别与路径提取的方法，其特征在于，所述步骤(1)的数据集中的图片包含水平焊缝、垂直焊缝、倾斜焊缝、十字交叉焊缝、丁字形焊缝类型；焊缝数据集包括不少于2000张焊缝图像，并按5:1分为训练集和测试集；数据集格式为COCO格式或VOC格式，标注分类数为2(包括焊缝对象和背景)。

3.根据权利要求 1所述的用于爬壁机器人导航的焊缝识别与路径提取的方法，其特征在于，所述步骤(1)的数据集中的焊缝图片标注，交叉焊缝或丁字形焊缝标注为多条焊缝而不是单一焊缝，具体为：交叉焊缝标注为3条焊缝、丁字形焊缝标注为2条焊缝。

4.根据权利要求 1所述的用于爬壁机器人导航的焊缝识别与路径提取的方法，其特征在于，所述步骤(2)中的预训练网络模型及权重采用mask_rcnn_R_50_FPN_3x，分类类别为2，进行二分类；训练阶段底层卷积神经采用ResNet50和FPN结合，提取不同深度的特征图；通过RPN推荐ROI(感兴趣区域)， 训练阶段的损失焊缝计算根据：

L_total＝L_{rpn_cls}+L_{rpn_loc}+L_{box_reg}+L_cls+L_mask。 _.

5.根据权利要求 1所述的用于爬壁机器人导航的焊缝识别与路径提取的方法，其特征在于，所述步骤(4)的具体过程为：

步骤(401)：初始化网络参数，分别将焊缝图像训练集、验证集注册载入，同时加载步骤(2)训练获取的权重文件；

步骤(402)：通过摄像头获取的图像，图像送入训练好的ResNet50中，通过FPN获取不同深度的特征图；

步骤(403)：使用RPN网络对ROI进行推荐，同时连接两个同级的全连接层，分别为框回归层和框分类层，用来获取ROI的区域坐标和区域得分；

步骤(404)：候选框建议RoI被送入RoIAlign层进行池化处理，采用双线性插值处理，每个RoI池化为固定尺寸特征图(例如7×7)；

步骤(405)：RoIAlign后连接两个全连接层，输出层网络深度为2，实现焊缝图像分类和边界框回归，同时连接FCN(全卷积网络)对图像焊缝进行像素分割，输出预测焊缝的mask；

步骤(406)：生成焊缝预测图像，包括预测框、概率值、焊缝的像素级别mask。

6.根据权利要求 1所述的用于爬壁机器人导航的焊缝识别与路径提取的方法，其特征在于，所述步骤(5)中图像处理主要包括去除背景干扰，二值化焊缝对象；焊缝路径提取通过最小二乘法拟合路径直线得到斜率k和截距b，路径偏角和偏距计算根据公式：

(w为图像宽度，h为图像高度,K为像素和实际大小的比例系数)。

Images