CN111060601B - 基于深度学习的焊缝超声相控阵检测数据智能分析方法 - Google Patents

Abstract

本发明公开了一种基于深度学习的焊缝超声相控阵检测数据智能分析方法，包括：S1：进行数据采样，使用相控阵分别对不同厚度的钢板焊缝进行检测，获取一系列S扫图片；S2：进行预处理，S扫图片按照1:1的比例分为训练集、验证集，并将图片大小重置为800*800；S3：进行数据标注，用标注软件labelImg对训练集和验证集的S扫图片进行缺陷的标注；S4：训练Faster RCNN网络，用S3标注好的数据集和预训练的VggNet16网络权重模型循环交替训练其中的Fast RCNN和RPN网络；S5：进行结果测试，将待检测的图片输入已经训练好的网络中，输出检测结果。本发明不仅提高了超声相控阵检测焊缝的S扫二维平面缺陷的识别率，并且具有准确率高、漏检率低的优点。

Description

基于深度学习的焊缝超声相控阵检测数据智能分析方法

技术领域

本发明涉及超声相控阵检测技术领域，尤其涉及一种基于深度学习的焊缝超声相控阵检测数据智能分析方法。

背景技术

目前，焊接后的无损检测工作是工业生产的必要步骤，是检验焊接质量的主要手段。而超声相控阵技术由于能够为检测人员提供更多的检测信息，超声相控阵技术特有的线性扫查、扇形扫查、动态聚焦等工作方式，能应用在更为复杂的工件检测中，具有更高的缺陷检出率，一般被用于质量等级要求较高的焊接产品的检测。超声相控阵检测技术其最终的检测的成像会形成五种基本视图：A型扫描视图、B型扫描视图、C型扫描视图、D型扫描图和S型扫描视图，其中S型扫查视图，简称S扫图，又称扇扫图，其数据与相控阵探头的特征，例如超声路径，折射角度，索引轴和反射波束等有关。横轴为回波信号距离探头前沿的水平距离，纵轴为检测对象深度。

目前对与超声相控阵检测结果的判别，检测人员主要结合A、B、C、D、S等多截面扫描视图对检测结果进行综合分析，数据判读效率较低，且对检测人员的经验有较高的要求，仅适用于手工检测情况，难以满足自动化超声相控阵检测的要求。

发明内容

针对现有技术存在的不足，本发明提出了一种基于深度学习的焊缝超声相控阵检测数据智能分析方法，解决了数据判读效率低，难以满足自动化超声相控阵检测的要求的技术问题。

为实现上述目的，本发明采用技术方案如下：一种基于深度学习的焊缝超声相控阵检测数据智能分析方法，包括如下步骤：

S1：进行数据采样，使用相控阵分别对厚度为12mm，14mm，18mm，20mm，24mm，30mm的钢板焊缝进行检测，每隔1mm对相控阵焊缝切片进行采样，获取一系列S扫图片；

S2：进行预处理，将步骤S1中的S扫图片按照1:1的比例分为训练集、验证集，保持训练集中含有缺陷的图片占50％的比例；并且统一将所有的数据图片大小重置为800*800，格式转换为jpg格式；

S3：进行数据标注，用标注软件labelImg对训练集和验证集的S扫图片进行缺陷的标注，标注的内容为S扫图中缺陷的位置和尺寸，生成记录S扫图片信息和其中相关缺陷信息的xml文件；

S4：训练Faster RCNN网络，使用预训练的卷积神将网络VggNet16作为特征提取层，加载其权重模型，对Fast RCNN和RPN网络进行反复交替训练，最小化分类损失和定位损失的加权和，直至其达到最小值；

S5：进行结果测试，将待检测的图片输入已经训练好的网络中，输出检测结果。

在上述方案基础上优选，步骤1中所述钢板中X型焊缝和V型焊缝比例为1:1；对所述步骤S1中同一焊缝的另外一侧进行扫查，获取数据。

在上述方案基础上优选，所述步骤S4中所述VggNet16网络包含13个卷积层，3个全连接层和5个池化层，可以充分提取S扫图片中的缺陷特征；Fast RCNN还包含ROI Pooling层，通过对ROI区域中候选框坐标的映射和maxpooling操作，得到固定大小的不同候选框的特征图，用于分类识别和修正框位置；

RPN是区域生成网络，用来生成候选区域，输入特征图，会在RPN中产生9种可能的候选窗口，分别为三种面积{128²，256²，512²}和三种比例{1:1，1:2，2:1}，在特征图中进行滑窗遍历，最后的卷积层生成候选区域ROI。

在上述方案基础上优选，所述步骤S4中Faster RCNN网络的训练步骤如下：

S41：训练VggNet16网络

首先搭建VggNet16网络，将数据集送入网络进行分类训练，以交叉熵损失作为优化函数，如下所示：

其中m为样本数量，n为类别数，y_ji为真实类别，

为预测类别；通过微调学习率，使用自适应梯度下降法以及Dropput方式优化网络，得到VggNet16的初始权重模型W₀；

S42：训练RPN网络和Fast RCNN

使用迁移学习的方式加载S41中预训练好的网络权重W₀，训练RPN网络，生成候选区域，再根据初始权重W₀和候选区域来训练Fast RCNN网络，得到更新后的权重W₁，根据更新后的权重W₁再次训练RPN，生成候选区域，如此进行反复交替的训练；

特征图进入RPN后对样本图像中的每一个像素点赋予9个候选窗口进行前向传播，通过ROI Pooling后得到固定大小的特征图，然后送入分类层对前景样本和背景样本进行分类识别，计算分类损失值Loss_class，送入位置调整层来确定目标精确的位置，计算预测框位置损失Loss_location；

分类层的损失由所属类别u的概率p_u决定：

Loss_class＝-logp_u

其区域位置误差用预测参数t^u和调整参数v的差别来确定：

Loss_location＝g(t^u-v)

其中g表示Smooth误差：

总损失为两者的加权和，如果分类为背景，则不考虑区域位置误差；最后利用BP反向传播算法使总损失和最小化。

本发明公开的一种基于深度学习的焊缝超声相控阵检测数据智能分析方法。由于超声相控阵检原理的特殊性，其S扫图的检测结果完整的显示了缺陷的在切面方向的二维空间分布，不存在缺陷的重叠投影现象，因此仅凭超声相控阵检测的S扫图就能确切的检测缺陷切面方向的二维空间分布。而完整扫查焊缝所得到的S扫图片数量众多，传统的评判方式采取人工评判，不仅工作量巨大，效率低，还依赖与评判人员的经验，容易产生误判和错判等现象。通过目标检测算法对超声相控阵检测焊缝的S扫图二维平面缺陷的智能识别定位，不仅提高了超声相控阵检测焊缝的S扫二维平面缺陷的速度、识别率，并且具有准确率高、漏检率低的优点，可以取代传统的人工判读的方式。

附图说明

图1为本发明实施例所述的同一条焊缝分别从两侧扫查的S扫图；

图2为本发明所述的Faster RCNN算法架构图；

图3为本发明所述的VggNet16框架图；

图4为本发明所述的RPN网络框架图；

图5为本发明实施例所述的最终测试结果。

具体实施方式

下面对本发明实施例作进一步地详细描述。

本实施例提供了一种基于深度学习的焊缝超声相控阵检测数据智能分析方法，该方法包括以下步骤：

S1：进行数据采样。挑选厚度为12mm，14mm，18mm，20mm，24mm，30mm的钢板，钢板焊缝中X型焊缝和V型焊缝比例为1:1。再使用相控阵分别对所述钢板进行焊缝检测，每隔1mm对相控阵焊缝切片进行采样，获取一系列S扫图片。为了使得样本数目足够多，也为了提高深度网络泛化能力，对同一焊缝的另外一侧进行扫查，获取数据，如图1所示。

S2：进行预处理。将步骤S1中的S扫图片按照1:1的比例分为训练集、验证集，保持训练集中含有缺陷的图片占50％的比例；并且统一将所有的数据图片大小重置为800*800，格式转换为jpg格式。

S3：进行数据标注，用标注软件labelImg对训练集和验证集的S扫图片进行缺陷的标注，标注的内容为S扫图中缺陷的位置和尺寸，生成记录S扫图片信息和其中相关缺陷信息的xml文件。

S4：用所述步骤S3标注好的数据集去训练Faster RCNN网络。Faster RCNN网络框架如图2所示。整个框架由Fast RCNN网络和RPN网络组成。

其中Fast RCNN使用卷积神经网络提取图片特征，由于超声相控阵检测S扫缺陷位置唯一，特征明显，所以使用深度较浅的卷积网络作为特征提取工具，既可以提取到特征，同时由于网络浅可以加快网络运算，提高效率。这里我们使用的是16层的VggNet16网络，如图3所示。该网络包含了13个卷积层(Conv)，3个全连接层(FC)和5个池化层(maxpool)。经过层层卷积后，原始的3通道图片先翻倍成64通道，依次增加到128通道，再到256通道，直至变为512通道后保持不变，而每经过一个卷积块，原始图片的高度和宽度均减半，最后通过全连接层将图片信息转换为1000维的特征向量来表示图片特征。

RPN是区域生成网络，用来生成候选区域，如图4所示。输入特征图，会在RPN中产生9种可能的候选窗口，分别为三种面积{128²，256²，512²}和三种比例{1:1，1:2，2:1}，在特征图中进行滑窗遍历，最后的卷积层生成候选区域ROI。

Fast RCNN还包含了ROI Pooling网络用于候选框的修正。根据卷积网络生成的特征图和RPN网络生成的ROI，将ROI映射到特征图上对应的位置，然后将映射后的区域划分为相同大小的section块，section块数量与输出维度相同，对每个section块进行maxpooling操作，这样就可以对不同的方框得到固定大小的相应特征图。

训练过程如下：

S41：训练VggNet16网络

首先搭建VggNet16网络，将数据集送入网络进行分类训练，以交叉熵损失作为优化函数，如下所示：

其中m为样本数量，n为类别数，y_ji为真实类别，

为预测类别。通过微调学习率，使用自适应梯度下降法以及Dropput等方式优化网络，得到VggNet16的初始权重模型W₀。

S42：训练RPN网络和Fast RCNN

RPN网络和Fast RCNN网络共用一个卷积神经网络作为初始特征提取网络，网络的参数调整需要满足两边的要求，采用了轮流训练的方法：

使用迁移学习的方式加载S41中预训练好的网络权重W₀，训练RPN网络，生成候选区域，再根据初始权重W₀和候选区域来训练Fast RCNN网络，得到更新后的权重W₁，根据更新后的权重W₁再次训练RPN，生成候选区域，如此进行反复交替的训练。

特征图进入RPN后会对样本图像中的每一个像素点赋予9个候选窗口进行前向传播，通过ROI Pooling后得到固定大小的特征图，然后送入分类层对前景样本和背景样本进行分类识别，计算分类损失值Loss_class，送入位置调整层来确定目标精确的位置，计算预测框位置损失Loss_location。

分类层的损失由所属类别u的概率p_u决定：

Loss_class＝-logp_u

其区域位置误差用预测参数t^u和调整参数v的差别来确定：

Loss_location＝g(t^u-v)

其中g表示Smooth误差：

总损失为两者的加权和，如果分类为背景，则不考虑区域位置误差。最后利用BP反向传播算法使总损失和最小化。

S5：结果测试。将待检测的图片输入已经训练好的网络中，输出检测结果，如图5所示，会在输出图片中标记缺陷的类别和位置，并生成一个记录图片中缺陷框位置和类别概率的txt文本文件。

具体操作为：选择新的S扫图片作为测试图片，将Faster RCNN网络训练好的权重模型加载进来，VggNet16先对测试图片提取特征，送入RPN网络，生成候选区域，然后将特征图和候选区域送入ROI Pooling层对不同的区域框固定大小相同的特征图，再送入分类层进行分类，判断前景背景，如果是前景则会在位置层修正框位置，最后将类别和缺陷标注框标注到原始的测试图中，至此，即可实现超声相控阵焊缝检测S扫缺陷的智能识别和定位。

Claims (3)

1.基于深度学习的焊缝超声相控阵检测数据智能分析方法，其特征在于，包括如下步骤：

S1：进行数据采样，使用相控阵分别对厚度为12mm，14mm，18mm，20mm，24mm，30mm的钢板焊缝进行检测，每隔1mm对相控阵焊缝切片进行采样，获取一系列S扫图片；

S2：进行预处理，将步骤S1中的S扫图片按照1:1的比例分为训练集、验证集，保持训练集中含有缺陷的图片占50％的比例；并且统一将所有的数据图片大小重置为800*800，格式转换为jpg格式；

S3：进行数据标注，用标注软件labelImg对训练集和验证集的S扫图片进行缺陷的标注，标注的内容为S扫图中缺陷的位置和尺寸，生成记录S扫图片信息和其中相关缺陷信息的xml文件；

S4：用上述已标注的数据集训练FasterRCNN网络，FasterRCNN由Fast RCNN和RPN网络构成，它们共享特征图，整个训练过程就是循环交替训练Fast RCNN和RPN网络；其中图片特征的提取使用的是16层的卷积神经网络VggNet16；

S5：进行结果测试，将待检测的图片输入已经训练好的网络中，输出检测结果；

其中，所述步骤S4中FasterRCNN网络的训练步骤如下：

S41：训练VggNet16网络：

首先搭建VggNet16网络，将数据集送入网络进行分类训练，以交叉熵损失作为优化函数，如下所示：

其中m为样本数量，n为类别数，y_ji为真实类别，

为预测类别；通过微调学习率，使用自适应梯度下降法以及Dropput方式优化网络，得到VggNet16的初始权重模型W₀；

S42：训练RPN网络和FastRCNN：

使用迁移学习的方式加载S41中预训练好的网络权重W₀，训练RPN网络，生成候选区域，再根据初始权重W₀和候选区域来训练FastRCNN网络，得到更新后的权重W₁，根据更新后的权重W₁再次训练RPN，生成候选区域，如此进行反复交替的训练；

特征图进入RPN后对样本图像中的每一个像素点赋予9个候选窗口进行前向传播，通过ROIPooling后得到固定大小的特征图，然后送入分类层对前景样本和背景样本进行分类识别，计算分类损失值Loss_class，送入位置调整层来确定目标精确的位置，计算预测框位置损失Loss_location；

分类层的损失由所属类别u的概率p_u决定：

Loss_class＝-logp_u

其区域位置误差用预测参数t^u和调整参数v的差别来确定：

Loss_location＝g(t^u-v)

其中g表示Smooth误差：

总损失为两者的加权和，如果分类为背景，则不考虑区域位置误差；最后利用BP反向传播算法使总损失和最小化。

2.根据权利要求1所述的基于深度学习的焊缝超声相控阵检测数据智能分析方法，其样本特征在于：步骤1中所述钢板中除了钢板厚度有多个样本，焊缝类型也包含X型焊缝和V型焊缝，比例为1:1；同时对所述步骤S1中同一焊缝的另外一侧还需进行扫查，获取数据。

3.根据权利要求1所述的基于深度学习的焊缝超声相控阵检测数据智能分析方法，其特征在于：所述步骤S4中所述VggNet16网络包含13个卷积层，3个全连接层和5个池化层，能够充分提取S扫图片中的缺陷特征；FastRCNN还包含ROIPooling层，通过对ROI区域中候选框坐标的映射和maxpooling操作，得到固定大小的不同候选框的特征图，用于分类识别和修正框位置；

RPN是区域生成网络，用来生成候选区域，输入特征图，会在RPN中产生9种可能的候选窗口，分别为三种面积{1282，2562，5122}和三种比例{1:1，1:2，2:1}，在特征图中进行滑窗遍历，最后的卷积层生成候选区域ROI。

Images