CN110047073A - 一种x射线焊缝图像缺陷定级方法及系统 - Google Patents

Abstract

本发明公开一种X射线焊缝图像缺陷定级方法及系统，所述定级方法包括：获取X射线焊缝图像；根据所述X射线焊缝图像确定X射线焊缝图像缺陷的类型、位置以及大小；根据所述缺陷的类型、位置以及大小确定所述X射线焊缝图像的缺陷等级。本发明中的定级方法实现了X射线焊缝图像缺陷检测与定级的全自动化，避免了由人工评判带来了漏判和误判，提高了定级精度。

Description

一种X射线焊缝图像缺陷定级方法及系统

技术领域

本发明涉及缺陷定级领域，特别是涉及一种X射线焊缝图像缺陷定级方法及系统。

背景技术

在焊接缺陷检测领域，X射线检测是常规无损检测常用的重要方法之一。目前实际生产中，主要采取的方式是人工分析焊缝图像，凭经验确定有无缺陷及缺陷的类型、位置、尺寸等，由此评定焊接质量并给出相应的评级。人工评定方式受个人技术水平、经验、疲劳程度、情绪等人为因素及外界条件的影响，效率低、不可靠、一致性差，且读片的强光容易灼伤人的眼睛。现代机械制造对精度的要求越来越高，人工操作越来越不能满足生产发展的需要。采用计算机图像处理技术，对X射线缺陷检测图像进行分析、检测和识别，可以较好的解决人工评定的上述问题，有效克服由于个人技术素质、经验差异等引起的对焊件缺陷的误判和漏判等可靠性和稳定性问题，使焊接质量评定更科学、客观和规范。

在焊缝缺陷自动识别领域，传统方法不可避免的要经历人工选取特征的过程，该过程耗时费力，而且特征的选取是否合理具有很大的主观性，对于识别正确率有较大影响。

申请号201310080871.4公开了一种焊缝缺陷检测方法。该种焊缝缺陷检测方法采用灰度值比例特征为主，形状特征为辅的传统方法来判断是否存在缺陷。申请号201410114857.6公开了一种工业X射线焊缝图像缺陷识别方法，先设定样本图像，并统一进行尺寸的归一化处理，将图像的模式识别问题，转换为一个方程组求解的优化问题。这两种方法与很多传统的方法一样，特征的选取具有很大的主观性，并不一定能完全适合所述的目标。

申请号201410138312.9提供了一种焊缝X射线图像缺陷检测与识别方法和装置，包括视觉扫描、中央-周边差运算、灰度显著图获取、注意焦点搜索、可疑区域确定的步骤；采取深度学习将可疑区域的像素灰度信号直接通过已训练的层状网络深度模型，获取可疑缺陷区域的本质特征直接进行识别。申请号201810368229.9公开了一种基于改进LeNet-5模型的焊缝缺陷识别方法，利用改进的LeNet-5的模型对焊缝缺陷分类。这两种方法只是采用深度学习方法对缺陷候选区域进行分类识别，缺陷候选区域的产生依旧是采用传统的图像处理方法，这种候选区域的产生方法对干扰因素比较敏感，鲁棒性较低。同时这些方法中并没有涉及到最终评级方法。

发明内容

本发明的目的是提供一种X射线焊缝图像缺陷定级方法及系统，避免人工评判所带的弊端，提高识别精度。

为实现上述目的，本发明提供了如下方案：

一种X射线焊缝图像缺陷定级方法，所述定级方法包括：

获取X射线焊缝图像；

根据所述X射线焊缝图像确定X射线焊缝图像缺陷的类型、位置以及大小；

根据所述缺陷的类型、位置以及大小确定所述X射线焊缝图像的缺陷等级。

可选的，所述根据所述X射线焊缝图像确定X射线焊缝图像缺陷的类型、位置以及大小具体包括：

采用标签制作法对X射线焊缝图像进行标签掩膜制作，得到掩膜标签；

采用图像增强法对所述X射线焊缝图像进行扩充；

根据扩充后的X射线焊缝图像构建深度学习模型；

以所述获取的X射线焊缝图像作为输入，所述掩膜标签作为监督信息，采用基于随机梯度下降的反向传播方法对深度学习模型进行训练，得到训练模型；

获取新的X射线焊缝图像作为测试图像；

将所述测试图像作为输入至所述训练模型，得到所述测试图像的缺陷类别和掩膜；

通过连通域法将缺陷利用外接矩形框出，得到每个缺陷的位置以及大小。

可选的，所述采用标签制作法对X射线焊缝图像进行标签掩膜制作，得到掩膜标签具体包括：

在X射线焊缝图像中缺陷位置画外接矩形，确定缺陷类型；

将缺陷类型以及外接矩形的左上角坐标和右下角坐标写入xml文件中；

在xml文件中读取X射线焊缝图像中缺陷矩形框的位置信息；

根据所述位置信息，采用图像分割算法，提取每个矩形框内的缺陷轮廓，形成掩膜标签。

可选的，所述根据所述缺陷的类型、位置以及大小确定所述X射线焊缝图像的缺陷等级具体包括：

根据所述缺陷的类型、位置以及大小，采用缺陷点数计算标准确定每个缺陷的点数；

获取焊缝板的厚度；

根据所述厚度确定定级框的大小；

根据所述定级框的大小，标记定级框的位置；

根据所述定级框的位置和每个缺陷的点数，计算定级框内所有缺陷的总点数；

根据所述总点数采用焊缝缺陷定级标准对X射线焊缝图像进行缺陷定级。

可选的，所述根据所述厚度确定定级框的大小具体包括：

根据所述焊缝板的厚度确定定级框外接圆形窗口的半径；

根据所述半径采用滑动圆窗方式，以预先设定步长为间隔进行左右上下移动，确定缺陷密集区域；

根据所述缺陷密集区域确定定级框中心位置，以预先设定角度为间隔，以所述中间位置为圆心对定级框进行旋转，并计算旋转框内缺陷点总个数；

选取缺陷点数总和最大的旋转框作为定级框。

可选的，所述X射线焊缝图像为RGB三通道彩色图像。

本发明另外提供一种X射线焊缝图像缺陷定级系统，所述系统包括：

图像获取模块，用于获取X射线焊缝图像；

缺陷确定模块，用于根据所述X射线焊缝图像确定X射线焊缝图像缺陷的类型、位置以及大小；

缺陷等级确定模块，用于根据所述缺陷的类型、位置以及大小确定所述X射线焊缝图像的缺陷等级。

可选的，所述缺陷确定模块具体包括：

掩膜标签确定单元，用于采用标签制作法对X射线焊缝图像进行标签掩膜制作，得到掩膜标签；

扩充单元，用于采用图像增强法对已获取的X射线焊缝图像进行扩充；

深度学习模型构建单元，用于根据扩充后的X射线焊缝图像构建深度学习模型；

训练模型确定单元，用于以所述获取的X射线焊缝图像作为输入，所述掩膜标签作为监督信息，采用基于随机梯度下降的反向传播方法对深度学习模型进行训练，得到训练模型；

测试图像获取单元，用于获取新的X射线焊缝图像作为测试图像；

缺陷类别和掩膜确定单元，用于将所述测试图像作为输入至所述训练模型，得到所述测试图像的缺陷类别和掩膜；

缺陷的类别、位置以及大小确定单元，用于通过连通域法将缺陷利用外接矩形框出，得到每个缺陷的位置以及大小。

根据本发明提供的具体实施例，本发明公开了以下技术效果：

本发明将深度学习算法引入到焊缝缺陷检测中，选择X射线焊缝图像作为卷积神经网络的输入，通过卷积神经网络作为焊缝缺陷特征提取器，并通过解卷积的方式实现像素级别的缺陷分割，最后通过后处理的办法获取每个焊缝缺陷的类型、位置和大小，采用卷积神经网络提取的焊缝缺陷特征，具有较好的分辨能力；同时，本发明基于焊缝缺陷检测结果，通过焊缝定级方法实现对X射线焊缝图像的缺陷定级，实现了X射线焊缝图像缺陷检测与定级的全自动化，避免了由人工评判带来的漏判和误判，提高了定级精度。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例X射线焊缝图像缺陷定级方法流程图；

图2为本发明实施例定级框标定中滑动窗示意图；

图3为本发明实施例定级框标定中定级框旋转示意图；

图4为本发明实施例X射线焊缝图像缺陷定级系统结构示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本发明的目的是提供一种X射线焊缝图像缺陷定级方法及系统，避免人工评判所带的弊端，提高识别精度。

为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本发明作进一步详细的说明。

图1为本发明实施例X射线焊缝图像缺陷定级方法流程图，如图1所示，所述方法包括：

步骤101：获取X射线焊缝图像；

步骤102：根据所述X射线焊缝图像确定X射线焊缝图像缺陷的类型、位置以及大小；

步骤103：根据所述缺陷的类型、位置以及大小确定所述X射线焊缝图像的缺陷等级。

具体的，步骤102中为缺陷检测，具体如下：

所述根据所述X射线焊缝图像确定X射线焊缝图像缺陷的类型、位置以及大小具体包括：

标签制作：采用标签制作法对X射线焊缝图像进行标签掩膜制作，得到掩膜标签；

数据扩充：采用图像增强法对所述X射线焊缝图像进行扩充；

具体的，图像增强法包括以下几个方面：

灰度变换：对比度增强，图像均衡以及γ变换等；

滤波变换：加噪和平滑滤波；

几何变换：随机裁剪以及尺度变换等；

模型构建：根据扩充后的X射线焊缝图像构建深度学习模型；具体的，是根据焊缝检测的具体问题，构建深度学习模型。

模型训练：以所述获取的X射线焊缝图像作为输入，所述掩膜标签作为监督信息，采用基于随机梯度下降的反向传播方法对深度学习模型进行训练，得到训练模型，即优化后的模型；

模型测试：获取新的X射线焊缝图像作为测试图像；

将所述测试图像作为输入至所述训练模型，得到所述测试图像的缺陷类别和掩膜；

后处理：通过连通域法将缺陷利用外接矩形框出，得到每个缺陷的位置以及大小。

具体的，训练模型中，输入的X射线焊缝图像为RGB三通道彩色图像，网络采取的是全卷积网络结构(FCN，Fully Convolutional Networks)，对图像的输入大小不加限制，网络结构是基于U-Net的改进模型，将原始U-Net的4次下采样中第二个和第四个下采样结构变为不改变分辨率的卷积结构，将U-Net的4次上采样中第二个和第四个上采样结构同样变为不改变分辨率的卷积结构，每个下采样结构包含2个卷积层，损失函数采用的是带权重的焦点损失Focal loss，输出为大小同输入相同的掩膜图像，输出通道个数为缺陷类型个数。

网络结构是基于Mask-RCNN的实例分割模型；骨干网络采用基于Feature PyramidNetworks，FPN的ResNet50结构，共分为5个层次；输出为大小同输入相同的掩膜图像，输出通道个数缺陷实例的总个数。

具体的，所述采用标签制作法对X射线焊缝图像进行标签掩膜制作，得到掩膜标签具体包括：

在X射线焊缝图像中缺陷位置画外接矩形，并确定缺陷类型；

将缺陷类型以及外接矩形的左上角坐标和右下角坐标写入xml文件中；

在xml文件中读取X射线焊缝图像中缺陷矩形框的位置信息；

根据所述位置信息，采用图像分割算法，主动轮廓算法(Active Contour)提取每个矩形框内的缺陷轮廓，形成掩膜标签。

具体的，步骤103中为缺陷定级，所述根据所述缺陷的类型、位置以及大小确定所述X射线焊缝图像的缺陷等级具体包括：

根据所述缺陷的类型、位置以及大小，采用缺陷点数计算标准确定每个缺陷的点数；

获取焊缝板的厚度；

根据所述厚度确定定级框的大小；

根据所述定级框的大小，标记定级框的位置；

根据所述定级框的位置和每个缺陷的点数，计算定级框内所有缺陷的总点数；

根据所述总点数采用焊缝缺陷定级标准对X射线焊缝图像进行缺陷定级。

具体的，如图2所示，所述根据所述厚度确定定级框的大小具体包括：

根据所述焊缝板的厚度确定定级框外接圆形窗口的半径；

根据所述半径采用滑动圆窗方式，以预先设定步长为间隔进行左右上下移动，确定缺陷密集区域；

如图3所示，确定圆形窗口位置后，即可确定定级框中心位置，以预先设定角度为间隔，以所述中间位置为圆心对定级框进行旋转，并计算旋转框内缺陷点总个数；

选取缺陷点数总和最大的旋转框作为定级框。

图4为本发明实施例X射线焊缝图像缺陷定级系统，所述系统包括：

图像获取模块201，用于获取X射线焊缝图像；

缺陷确定模块202，用于根据所述X射线焊缝图像确定X射线焊缝图像缺陷的类型、位置以及大小；

缺陷等级确定模块203，用于根据所述缺陷的类型、位置以及大小确定所述X射线焊缝图像的缺陷等级。

具体的，所述缺陷确定模块具体包括：

掩膜标签确定单元，用于采用标签制作法对X射线焊缝图像进行标签掩膜制作，得到掩膜标签；

扩充单元，用于采用图像增强法对已获取的X射线焊缝图像进行扩充；

深度学习模型构建单元，用于根据扩充后的X射线焊缝图像构建深度学习模型；

训练模型确定单元，用于以所述获取的X射线焊缝图像作为输入，所述掩膜标签作为监督信息，采用基于随机梯度下降的反向传播方法对深度学习模型进行训练，得到训练模型；

测试图像获取单元，用于获取新的X射线焊缝图像作为测试图像；

缺陷类别和掩膜确定单元，用于将所述测试图像作为输入至所述训练模型，得到所述测试图像的缺陷类别和掩膜；

缺陷的类别、位置以及大小确定单元，用于通过连通域法将所述缺陷类别和掩膜区分开，得到每个缺陷的类别、位置以及大小。

本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。

本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处。综上所述，本说明书内容不应理解为对本发明的限制。

Claims (8)

1.一种X射线焊缝图像缺陷定级方法，其特征在于，所述定级方法包括：

获取X射线焊缝图像；

根据所述X射线焊缝图像确定X射线焊缝图像缺陷的类型、位置以及大小；

根据所述缺陷的类型、位置以及大小确定所述X射线焊缝图像的缺陷等级。

2.根据权利要求1所述的X射线焊缝图像缺陷定级方法，其特征在于，所述根据所述X射线焊缝图像确定X射线焊缝图像缺陷的类型、位置以及大小具体包括：

采用标签制作法对X射线焊缝图像进行标签掩膜制作，得到掩膜标签；

采用图像增强法对所述X射线焊缝图像进行扩充；

根据扩充后的X射线焊缝图像构建深度学习模型；

以所述获取的X射线焊缝图像作为输入，所述掩膜标签作为监督信息，采用基于随机梯度下降的反向传播方法对深度学习模型进行训练，得到训练模型；

获取新的X射线焊缝图像作为测试图像；

将所述测试图像作为输入至所述训练模型，得到所述测试图像的缺陷类别和掩膜；

通过连通域法将缺陷利用外接矩形框出，得到每个缺陷的位置以及大小。

3.根据权利要求2所述的X射线焊缝图像缺陷定级方法，其特征在于，所述采用标签制作法对X射线焊缝图像进行标签掩膜制作，得到掩膜标签具体包括：

在X射线焊缝图像中缺陷位置画外接矩形，并确定缺陷类别；

将缺陷类型以及外接矩形的左上角坐标和右下角坐标写入xml文件中；

在xml文件中读取X射线焊缝图像中缺陷矩形框的位置信息；

根据所述位置信息，采用图像分割算法，提取每个矩形框内的缺陷轮廓，形成掩膜标签。

4.根据权利要求1所述的X射线焊缝图像缺陷定级方法，其特征在于，所述根据所述缺陷的类型、位置以及大小确定所述X射线焊缝图像的缺陷等级具体包括：

根据所述缺陷的类型、位置以及大小，采用缺陷点数计算标准确定每个缺陷的点数；

获取焊缝板的厚度；

根据所述厚度确定定级框的大小；

根据所述定级框的大小，标记定级框的位置；

根据所述定级框的位置和每个缺陷的点数，计算定级框内所有缺陷的总点数；

根据所述总点数采用焊缝缺陷定级标准对X射线焊缝图像进行缺陷定级。

5.根据权利要求4所述的X射线焊缝图像缺陷定级方法，其特征在于，所述根据所述厚度确定定级框的大小具体包括：

根据所述焊缝板的厚度确定定级框外接圆形窗口的半径；

根据所述半径采用滑动圆窗方式，以预先设定步长为间隔进行左右上下移动，确定缺陷密集区域；

根据所述缺陷密集区域确定定级框中心位置，以预先设定角度为间隔，以所述中间位置为圆心对定级框进行旋转，并计算旋转框内缺陷点总个数；

选取缺陷点数总和最大的旋转框作为定级框。

6.根据权利要求1所述的X射线焊缝图像缺陷定级方法，其特征在于，所述X射线焊缝图像为RGB三通道彩色图像。

7.一种X射线焊缝图像缺陷定级系统，其特征在于，所述系统包括：

图像获取模块，用于获取X射线焊缝图像；

缺陷确定模块，用于根据所述X射线焊缝图像确定X射线焊缝图像缺陷的类型、位置以及大小；

缺陷等级确定模块，用于根据所述缺陷的类型、位置以及大小确定所述X射线焊缝图像的缺陷等级。

8.根据权利要求7所述的X射线焊缝图像缺陷定级系统，其特征在于，所述缺陷确定模块具体包括：

掩膜标签确定单元，用于采用标签制作法对X射线焊缝图像进行标签掩膜制作，得到掩膜标签；

扩充单元，用于采用图像增强法对已获取的X射线焊缝图像进行扩充；

深度学习模型构建单元，用于根据扩充后的X射线焊缝图像构建深度学习模型；

训练模型确定单元，用于以所述获取的X射线焊缝图像作为输入，所述掩膜标签作为监督信息，采用基于随机梯度下降的反向传播方法对深度学习模型进行训练，得到训练模型；

测试图像获取单元，用于获取新的X射线焊缝图像作为测试图像；

缺陷类别和掩膜确定单元，用于将所述测试图像作为输入至所述训练模型，得到所述测试图像的缺陷类别和掩膜；

缺陷的类别、位置以及大小确定单元，用于通过连通域法将缺陷利用外接矩形框出，得到每个缺陷的位置以及大小。