CN116309475A - 自动检测滚筒齿座焊接质量的机器视觉检测方法 - Google Patents

Abstract

本发明涉及一种自动检测滚筒齿座焊接质量的机器视觉检测方法，在将滚筒齿座焊接到滚筒筒体的过程中，利用图像采集装置实时采集滚筒齿座焊缝图像数据，并将焊缝图像数据输入到经过训练并通过测试的焊接缺陷识别模型中进行焊接缺陷识别，当识别出存在焊接缺陷的焊缝图像数据时发出告警信息，应用经过训练的焊接缺陷识别模型检测前进行测试，对测试时被误判的焊缝图像数据进行标注后补入焊接缺陷训练数据集，并基于扩充后的焊接缺陷训练数据集对焊接缺陷识别模型重新训练，再进行测试，如此循环往复直至测试结果满足工业检测要求。本发明能在线快速检测焊缝质量，满足滚筒智能化生产需求。

Description

自动检测滚筒齿座焊接质量的机器视觉检测方法

技术领域

本发明涉及一种焊缝质量检测方法，能用于滚筒智能化生产中进行焊接质量在线自动检测。

背景技术

采煤机的生产效率和产煤质量很大程度上取决于采煤机滚筒的质量。滚筒是焊接件，其焊缝质量是滚筒质量的关键指标，如果焊接质量低，容易出现齿座开裂、掉落等问题，进而会造成滚筒受力不均，加剧滚筒损坏直至报废。而目前市场上普遍采用事后检测的方法如磁粉探伤、X光射线探伤等，耗时长、成本高，且该类方法对于齿座类焊缝的短平多特点的检出率低。此外，如何快速检测采煤机滚筒齿座的焊接质量也是采煤机滚筒智能制造过程中一个亟待解决的问题。

发明内容

本发明旨在提供一种自动检测滚筒齿座焊接质量的机器视觉检测方法，能在线快速检测焊缝质量，满足滚筒智能化生产需求。

本发明的主要技术方案有：

一种自动检测滚筒齿座焊接质量的机器视觉检测方法，在将滚筒齿座焊接到滚筒筒体的过程中，利用图像采集装置实时采集滚筒齿座焊缝图像数据，对所述焊缝图像数据进行预处理，预处理包括将图像尺寸归一化，将预处理后的所述焊缝图像数据输入到经过训练并通过测试的焊接缺陷识别模型中进行焊接缺陷识别和缺陷分类，当识别出存在焊接缺陷的焊缝图像数据时发出告警信息，所述焊接缺陷识别模型采用轻量化深度卷积可分离神经网络模型；对所述焊接缺陷识别模型进行训练和测试的方法是：通过所述图像采集装置采集滚筒齿座的若干初始焊缝图像数据，初始焊缝图像数据中包含缺陷焊缝图像数据和正常焊缝图像数据，对所述初始焊缝图像数据进行预处理，所述预处理包括对图像进行标注，然后将这些预处理后的初始焊缝图像数据导入到未经训练的所述焊接缺陷识别模型进行焊接缺陷识别和缺陷分类，将被识别出的缺陷焊缝图像数据用作构成训练数据集的基础数据，基于训练数据集对所述焊接缺陷识别模型进行训练，然后对经过训练的所述焊接缺陷识别模型进行测试，测试方法是：利用所述图像采集装置实时采集滚筒齿座焊缝图像数据，将所述焊缝图像数据输入到经过训练但尚未通过测试的焊接缺陷识别模型中进行焊接缺陷识别和缺陷分类，收集被焊接缺陷识别模型误判的焊缝图像并对这些图像进行标注，然后将标注好的相应焊缝图像数据补入所述训练数据集，得到扩充后的训练数据集，用所述扩充后的训练数据集对未经训练的所述焊接缺陷识别模型进行重新训练或者对经过训练但尚未通过测试的焊接缺陷识别模型进行继续训练，再对经重新训练或继续训练后的焊接缺陷识别模型进行测试，如此循环往复，直至测试过程的准确率与召回率满足工业检测要求为止，测试通过，此时的焊接缺陷识别模型即为所述经过训练并通过测试的焊接缺陷识别模型。

所述焊缝图像数据是利用所述图像采集装置对滚筒齿座的焊接处进行多角度拍摄获取的高清图像数据。

所述图像采集装置安装在焊接机械臂上，根据采煤机滚筒三维数据模型和人工标定参数设计所述焊接机械臂的行走路线，再配合辅助光源实施所述多角度拍摄。

所述焊接机械臂的行走路线根据滚筒齿座多层多道焊的特点进行设计，形成行走路线子程序，所述行走路线子程序包含的主要参数有焊接的起点、焊接路径和焊接角度。

所述图像采集装置的拍摄角度可调，其角度根据相应齿座的不同位置进行调整。

所述图像采集装置优选采用工业相机。

训练时将所述初始焊缝图像数据导入所述焊接缺陷识别模型之前，优选先对所述初始焊缝图像数据通过逐步添加高斯噪声再逐步逆向还原处理的方式进行数据增强。

在将所述焊缝图像数据输入到经过训练并通过测试的焊接缺陷识别模型之前先进行预处理，该预处理包括依次进行的去噪、图像增强、灰度化、图像分割和轮廓匹配。

将标注好的相应焊缝图像数据补入所述焊接缺陷训练数据集时优选复制多份并全部补入。

本发明的有益效果是：

所述焊接质量机器视觉检测方法检测速度快，即时性好，能实现在线检测，能及时发现焊接质量问题，提示进行重新焊接，同时该检测方法还具有较高的准确度，降低了滚筒齿座焊接质量检测的综合成本，间接提高了滚筒的质量，有利于促进滚筒智能化生产技术的发展和完善。

由于在正式检测之前进行测试，并用测试时被误判的焊缝图像充实训练数据集，然后进行重新训练或继续训练，使焊接缺陷识别模型通过动态增量学习不断地自我优化，确保了检测的准确度。

附图说明

图1为所述自动检测滚筒齿座焊接质量的机器视觉检测方法的流程图；

图2为增量学习流程图；

图3为图像采集装置安装示意图；

图4为滚筒筒体、齿座焊接区域、图像采集装置和焊枪的相对位置关系示意图。

附图标记：1.滚筒筒体；2.齿座焊接区域；3.图像采集装置；4.焊枪；5.焊接机械臂。

具体实施方式

本发明公开了一种自动检测滚筒齿座焊接质量的机器视觉检测方法(可简称为焊接质量机器视觉检测方法)，该方法用在滚筒齿座自动化焊接过程中对滚筒齿座与滚筒筒体焊接处的焊缝质量进行实时检测。

焊接时滚筒筒体1安装到专用工装上，机械手运送滚筒齿座到达齿座焊接区域2，焊枪4按照预定轨迹相对滚筒筒体1移动同时执行焊接操作。每完成一个齿座的焊接，都执行对相应齿座焊缝的机器视觉检测，检测通过再开始下一个齿座的焊接操作。

如图1-4所示，所述焊接质量机器视觉检测方法是：

在将滚筒齿座焊接到滚筒筒体的过程中，利用图像采集装置3实时采集滚筒齿座焊缝图像数据；

对所述焊缝图像数据进行预处理，主要包括将图像尺寸归一化，例如将图像尺寸统一调整为600×800像素；

将预处理后的上述焊缝图像数据输入到经过训练并通过测试的焊接缺陷识别模型中进行焊接缺陷识别和缺陷分类，焊接缺陷识别模型判断所述焊缝图像数据是否存在焊接缺陷并将判断为存在焊接缺陷的所述焊缝图像数据根据焊接缺陷类型的不同输出到预设的不同缺陷文件夹中。当识别出存在焊接缺陷的焊缝图像数据时发出告警信息，通常是声音告警信息，提示操作人员重新焊接。

所谓焊接缺陷识别是指判断滚筒齿座焊缝图像中是否存在焊接缺陷，即区分相应焊缝图像是缺陷焊缝的图像还是正常焊缝的图像。所谓缺陷分类是指将缺陷焊缝的图像再进一步区分为是何种焊接缺陷的焊缝图像。所述焊接缺陷识别模型采用轻量化深度卷积可分离神经网络模型，以计算机程序的形式存在于质检计算机中，检测时，质检计算机启动并加载焊接缺陷识别模型(包含模型参数)，为焊接质量机器视觉检测提供软件环境和支撑。检测结果显示在质检计算机的界面中，反馈给焊接操作人员。针对每个齿座，如果焊缝图像中不存在焊接缺陷，通过检测，相应检测结束；如果焊缝图像中存在焊接缺陷，告警信息可以提示焊接操作人员进行重新焊接，然后再次进行检测，直至检测通过。

对所述焊接缺陷识别模型进行训练和测试的方法是：

通过所述图像采集装置3采集滚筒齿座焊接处的若干初始焊缝图像数据，初始焊缝图像数据中包含缺陷焊缝图像数据和正常焊缝图像数据。初始焊缝图像数据可以从以往已经存在的焊缝图像数据中收集。

对所述初始焊缝图像数据进行预处理，所述预处理包括对这些图像进行标注。标注操作通常是为焊缝图像增加标签以表明相应图像为正常焊缝图像或何种缺陷的焊缝图像，可以在Labelling图像标注工具上完成。

然后将这些预处理后的初始焊缝图像数据导入到未经训练的所述焊接缺陷识别模型进行焊接缺陷识别和缺陷分类，分离出缺陷焊缝图像数据。

被识别出的缺陷焊缝图像数据用作构成训练数据集的基础数据。基于所述训练数据集对所述焊接缺陷识别模型进行训练。训练通常是在配备有GPU的工作站中进行。

然后对经过训练的所述焊接缺陷识别模型进行测试。测试方法是：

利用所述图像采集装置实时采集滚筒齿座焊缝图像数据，通常测试过程在滚筒齿座焊接到滚筒筒体的实际生产过程中进行。

将所述焊缝图像数据输入到经过训练但尚未通过测试的焊接缺陷识别模型中进行焊接缺陷识别和缺陷分类。

检测算法管理人员监控识别结果，收集被焊接缺陷识别模型误判的焊缝图像并对这些图像进行标注，然后将标注好的相应焊缝图像数据补入所述训练数据集，得到扩充后的训练数据集，改变了训练数据的分布空间，使其更加接近真实的数据分布。

用扩充后的所述训练数据集对未经训练的所述焊接缺陷识别模型进行重新训练或者对经过训练但尚未通过测试的焊接缺陷识别模型进行继续训练。再对经重新训练或继续训练后的焊接缺陷识别模型进行测试，具体是用工作站中重新训练或继续训练后的焊接缺陷识别模型的参数替换质检计算机中的相应模型参数，然后用质检计算机实施测试。如此循环往复，直至测试过程的准确率与召回率满足工业检测要求为止，测试通过，此时的焊接缺陷识别模型即为所述经过训练并通过测试的焊接缺陷识别模型。继续训练相比重新训练可以加快训练速度，继续训练时应使用较小的学习率，直到网络再次收敛。

所述焊接质量机器视觉检测方法检测速度快，即时性好，能实现在线检测，能及时发现焊接质量问题，提示进行重新焊接，同时该检测方法还具有较高的准确度，降低了滚筒齿座焊接质量检测的综合成本，间接提高了滚筒的质量，有利于促进滚筒智能化生产技术的发展和完善。由于在正式检测之前进行测试，并用测试时被误判的焊缝图像充实训练数据集，然后进行重新训练或继续训练，使焊接缺陷识别模型通过动态增量学习不断地自我优化，确保了检测的准确度。

除了预设的缺陷文件夹外，还可以预设有未识别文件夹，满足缺陷识别要求的图像将被识别为焊接缺陷，不满足缺陷识别要求的图像将被保存至未识别文件夹中。

使用OpenCV的Python接口对所述图像采集装置实时拍摄的图像进行读取，或者使用Python的os接口直接输入由所述图像采集装置实时拍摄所得到的图像文件的存储路径进行读取。

所述焊缝图像数据是利用所述图像采集装置对滚筒齿座的焊接处进行多角度拍摄获取的高清图像数据。

所述图像采集装置安装在焊接机械臂5上。根据采煤机滚筒三维数据模型和人工标定参数设计所述焊接机械臂的行走路线，再配合辅助光源实施所述多角度拍摄。

所述焊接机械臂的行走路线结合了滚筒齿座的多层多道焊特点，所形成的行走路线子程序包含的主要参数有焊接的起点、焊接路径和焊接角度。

所述图像采集装置的拍摄角度可调，其角度根据相应齿座的不同位置进行调整，以便获得更易于识别的图像效果。

所述图像采集装置优选采用工业相机。

训练时的所述预处理还优选包括通过逐步添加高斯噪声再逐步逆向还原处理的方式进行数据增强。该数据增强基于去噪扩散概率模型原理实现，可以改善图像的视觉效果，针对给定图像的应用场合，有目的地增强图像的整体或局部特性，例如将原来不清晰的图像变得清晰或增强某些感兴趣的特征，扩大图像中不同物体的特征之间的差别，抑制不感兴趣的特征，加强后续图像判读和识别效果，满足某些特征分析的需求。这种图像处理方法没有任何约束，给定纯高斯噪声就能生成处理后的图片，但最终生成的结果不受控制。为了解决结果不受控制的问题，采用一个分类器来控制标签，这个分类器是UNet结构，带有注意力池化，添加随机crops减少过拟合，简而言之就是将类信息合并到规范化层中，利用分类器改进生成器。即在采样中插入参考图像，生成过程中的每个过渡利用给定的参考图像进行细化，通过匹配每一个潜在变量，保证了每个转移中的给定条件，从而能够从条件分布中采样，以此来引导生成图像优化其修复效果。

这样一来，训练数据集除包括所述原始焊缝图像，还包括通过数据增强操作增加的焊缝图像。

检测时的预处理还优选包括依次进行的去噪、图像增强、灰度化、图像分割和轮廓匹配，其目的是消除图像中无关的信息，恢复有用的真实信息，增强有关信息的可检测性和最大限度地简化数据，改善图像数据，抑制不需要的变形或者增强某些对于后续处理重要的图像特征。去噪时既要平滑掉噪声，同时又要尽量保持图像细节。图像增强可以包括直方图均衡、平滑滤波、中值滤波和锐化等内容。灰度化可以减少后续所需处理的数据量，提高整个应用系统的处理速度。图像分割是把图像分成若干个特定的、具有独特性质的区域并提出感兴趣目标，是图像识别的基础，其作用是把反映物体真实情况的、占据不同区域的、具有不同特性的目标区分开来，并形成数字特征。轮廓匹配主要是解决大小、位置、旋转角度和精度不同图像间的匹配问题，可以采用轮廓矩、成对几何直方图、凸包和凸缺陷、等级匹配等方法。

将标注好的相应焊缝图像数据补入所述焊接缺陷训练数据集时优选复制多份并全部补入，以加强焊接缺陷识别模型对被误判图像数据的关注度，使焊接缺陷识别模型对相应类别的问题被多次重复训练。

Claims (9)

1.一种自动检测滚筒齿座焊接质量的机器视觉检测方法，其特征在于：在将滚筒齿座焊接到滚筒筒体的过程中，利用图像采集装置实时采集滚筒齿座焊缝图像数据，对所述焊缝图像数据进行预处理，预处理包括将图像尺寸归一化，将预处理后的所述焊缝图像数据输入到经过训练并通过测试的焊接缺陷识别模型中进行焊接缺陷识别和缺陷分类，当识别出存在焊接缺陷的焊缝图像数据时发出告警信息，所述焊接缺陷识别模型采用轻量化深度卷积可分离神经网络模型；对所述焊接缺陷识别模型进行训练和测试的方法是：通过所述图像采集装置采集滚筒齿座的若干初始焊缝图像数据，初始焊缝图像数据中包含缺陷焊缝图像数据和正常焊缝图像数据，对所述初始焊缝图像数据进行预处理，所述预处理包括对图像进行标注，然后将预处理后的初始焊缝图像数据导入到未经训练的所述焊接缺陷识别模型进行焊接缺陷识别和缺陷分类，被识别出的缺陷焊缝图像数据用作构成训练数据集的基础数据，基于训练数据集对所述焊接缺陷识别模型进行训练，然后对经过训练的所述焊接缺陷识别模型进行测试，测试方法是：利用所述图像采集装置实时采集滚筒齿座焊缝图像数据，将所述焊缝图像数据输入到经过训练但尚未通过测试的焊接缺陷识别模型中进行焊接缺陷识别和缺陷分类，收集被焊接缺陷识别模型误判的焊缝图像并对这些图像进行标注，然后将标注好的相应焊缝图像数据补入所述训练数据集，得到扩充后的训练数据集，用所述扩充后的训练数据集对未经训练的所述焊接缺陷识别模型进行重新训练或者对经过训练但尚未通过测试的焊接缺陷识别模型进行继续训练，再对经重新训练或继续训练后的焊接缺陷识别模型进行测试，如此循环往复，直至测试过程的准确率与召回率满足工业检测要求为止，测试通过，此时的焊接缺陷识别模型即为所述经过训练并通过测试的焊接缺陷识别模型。

2.如权利要求1所述的自动检测滚筒齿座焊接质量的机器视觉检测方法，其特征在于：所述焊缝图像数据是利用所述图像采集装置对滚筒齿座的焊接处进行多角度拍摄获取的高清图像数据。

3.如权利要求2所述的自动检测滚筒齿座焊接质量的机器视觉检测方法，其特征在于：所述图像采集装置安装在焊接机械臂上，根据采煤机滚筒三维数据模型和人工标定参数设计所述焊接机械臂的行走路线，再配合辅助光源实施所述多角度拍摄。

4.如权利要求3所述的自动检测滚筒齿座焊接质量的机器视觉检测方法，其特征在于：所述焊接机械臂的行走路线结合滚筒齿座多层多道焊的特点，所形成的行走路线子程序包含的主要参数有焊接的起点、焊接路径和焊接角度。

5.如权利要求4所述的自动检测滚筒齿座焊接质量的机器视觉检测方法，其特征在于：所述图像采集装置的拍摄角度可调，其角度根据相应齿座的不同位置进行调整。

6.如权利要求1、2、3、4或5所述的自动检测滚筒齿座焊接质量的机器视觉检测方法，其特征在于：所述图像采集装置采用工业相机。

7.如权利要求1、2、3、4或5所述的自动检测滚筒齿座焊接质量的机器视觉检测方法，其特征在于：训练时的所述预处理还包括通过逐步添加高斯噪声再逐步逆向还原处理的方式进行数据增强。

8.如权利要求1、2、3、4、5、6或7所述的自动检测滚筒齿座焊接质量的机器视觉检测方法，其特征在于：检测时的所述预处理还包括依次进行的去噪、图像增强、灰度化、图像分割和轮廓匹配。

9.如权利要求1、2、3、4、5、6、7或8所述的自动检测滚筒齿座焊接质量的机器视觉检测方法，其特征在于：将标注好的相应焊缝图像数据补入所述焊接缺陷训练数据集时复制多份并全部补入。

Images