CN109977948A - 一种基于卷积神经网络的搅拌摩擦焊缝缺陷识别方法 - Google Patents

Abstract

本发明提出了一种基于卷积神经网络的搅拌摩擦焊缝缺陷识别方法，属于搅拌摩擦焊缝缺陷识别处理技术领域。所述方法包括：步骤一、原始数据处理；步骤二、添加缺陷标签；步骤三、构建卷积神经网络；步骤四、训练卷积神经网络。所述搅拌摩擦焊缝缺陷识别方法具有经济、快速、准确、鲁棒性高等特点，显著提高搅拌摩擦焊缝缺陷识别效率等特点。

Description

一种基于卷积神经网络的搅拌摩擦焊缝缺陷识别方法

技术领域

本发明涉及一种基于卷积神经网络的搅拌摩擦焊缝缺陷识别方法，属于搅拌摩擦焊缝缺陷识别处理技术领域。

背景技术

作为一种新型的固相连接方法，搅拌摩擦焊(Friction Stir Welding)具有低温非熔化，低变形和残余应力，高接头质量等优点，使难于熔焊的部分材料实现了高质量连接，被广泛应用与航空航天，轨道交通和船舶制造等领域。在其焊接过程中，一个具有轴肩(或带有搅拌针)的搅拌摩擦焊具扎入被焊材料内部，与金属构建摩擦产生摩擦热，使材料流动，实现被焊材料的连接。

然而，在搅拌摩擦焊过程中也必然伴随着诸多缺陷问题的发生，诸如隧道型缺陷，根部未焊透，疏松，沟槽，孔洞，切边等缺陷，因此有必要对焊后焊缝进行缺陷检测以保证焊缝使用可靠性。通常超声缺陷检测结果主要依靠有经验的专业人员通过目测观察判定，工作效率低下，且缺陷的识别结果收到检测人员的主观因素影响，结果可靠性无法得到有效保证，因此，亟需一种经济、快速、准确、高鲁棒性的全自动搅拌摩擦焊缝超声图像缺陷识别方法。

发明内容

本发发明为了解决现有技术中超声缺陷检测结果需要靠人工观察导致的工作效率低，结果可靠性差的问题，提出了一种基于卷积神经网络的搅拌摩擦焊缝缺陷识别方法，所采取的技术方案如下：

一种基于卷积神经网络的搅拌摩擦焊缝缺陷识别方法，所述搅拌摩擦焊缝缺陷识别方法包括：

步骤一、原始数据处理：剪除原始超声图像边缘与焊接无关的内容，剪除的部分包括背景区域和母材区域，同时除去原始超声图像的冗余信息，获得处理后超声图像数据；

步骤二、添加缺陷标签：在步骤一获得的处理后超声图像中比标定缺陷所在的位置，并将位置结果标签化，获得标签化结果数据；

步骤三、构建卷积神经网络：所述卷积神经网络结构采用VGG架构，包括5个卷积段、5个池化段和2个全连接段；所述5个卷积段分别为第一卷积阶段、第二卷积阶段、第三卷积阶段、第四卷积阶段和第五卷积阶段；所述2个全连接段分别为第一全连接层和第二全连接层；所述第一卷积阶段为卷积层Conv[1]_1,卷积层Conv[1]_2，分别使用64个卷积核，后跟批标准化层非线性激活层和第一池化层；所述第二卷积阶段为卷积层Conv[2]_1，卷积层Conv[2]_2，分别使用128个卷积核，后跟批标准化层非线性激活层和第二池化层；所述第三卷积阶段为卷积层Conv[3]_1，卷积层Conv[3]_2，卷积层Conv[3]_3，分别使用256个卷积核，后跟批标准化层非线性激活层和第三池化层；所述第四卷积阶段为卷积层Conv[4]_1，卷积层Conv[4]_2，卷积层Conv[4]_3，分别使用512个卷积核，后跟批标准化层非线性激活层和第四池化层；所述第五卷积阶段为卷积层Conv[5]_1，卷积层Conv[5]_2，卷积层Conv[5]_3，分别使用512个卷积核，后跟批标准化层非线性激活层和第五池化层，经过第一全连接层和第二全连接层，通过softmax函数获得缺陷位置标签预测值，从而实现搅拌摩擦焊缺陷识别；

步骤四、训练卷积神经网络：将步骤一和步骤二分别获得的所述处理后超声图像数据和标签化结果数据分别作为输入值和输出值训练所述卷积神经网络，获得训练后的卷积神经网络，通过所述训练后的卷积神经网络实现高鲁棒性的缺陷识别。

进一步地，步骤三所述实现搅拌摩擦焊缺陷识别的具体过程包括：所述第三步中将卷积层Conv[1]_1后跟的批标准化层、非线性激活层分别标记为第一批标准化层、第一非线性激活层；将卷积层Conv[1]_2后跟的批标准化层、非线性激活层分别标记为第二批标准化层、第二非线性激活层，并且后附第一池化层；卷积层Conv[2]_1后跟的批标准化层、非线性激活层分别标记为第三批标准化层、第三非线性激活层；将卷积层Conv[2]_2后跟的批标准化层、非线性激活层标记为第四批标准化层、第四非线性激活层，并且后附第二池化层；卷积层Conv[3]_1后跟的批标准化层、非线性激活层分别标记为第五批标准化层、第五非线性激活层；卷积层Conv[3]_2后跟的批标准化层、非线性激活层分别标记为第六批标准化层、第六非线性激活层；将卷积层Conv[3]_3后跟的批标准化层、非线性激活层分别标记为第七批标准化层、第七非线性激活层，并且后附第三池化层；卷积层Conv[4]_1后跟的批标准化层、非线性激活层分别标记为第八批标准化层、第八非线性激活层；卷积层Conv[4]_2后跟的批标准化层、非线性激活层标记为第九批标准化层、第九非线性激活层；将卷积层Conv[4]_3后跟的批标准化层、非线性激活层分别标记为第十批标准化层、第十非线性激活层，并且后附第四池化层；卷积层Conv[5]_1后跟的批标准化层、非线性激活层标分别记为第十一批标准化层、第十一非线性激活层；卷积层Conv[5]_2后跟的批标准化层、非线性激活层标记为第十二批标准化层、第十二非线性激活层；将卷积层Conv[5]_3后跟的批标准化层、非线性激活层标记为第十三批标准化层、第十三非线性激活层，并且后附第五池化层；在第二、第四、第七、第十、第十三非线性激活层后分别获得第一、第二、第三、第四、第五特征图像，并输入至全连接层，通过softmax函数计算缺陷分布情况，进行搅拌摩擦焊缺陷识别。

进一步地，步骤三中所述VGG架构的VGG卷积核为3×3，步长为1的SAME卷积，池化参数为2×2，步长为2。

进一步地，步骤三中搅拌摩擦焊缺陷识别所应用的目标检测方法为YOLO算法，所述YOLO算法中的Anchor box选取为5～10种不同矩形，以涵盖所有检测缺陷对象的形状。

进一步地，步骤三所述非线性激活层采用ReLU函数，定义如下：

f(z)＝max(0,z)

进一步地，步骤四所述卷积神经网络训练过程包括：

第一步、初始参数在卷积神经网络中正向传播：

z^[n]＝W^[n]*a^[n-1]+b^[n]

a^[n]＝g^[n](z^[n])

其中，z^[n]表示第n层中间参数，W^[n]为第n层卷积核，a^[n-1]表示第n-1层初始参数，b^[n]为第n层偏置，a^[n]表示第n层初始参数，g^[n]()为第n层激活函数；

第二步、所述卷积神经网络的整体代价函数计算：

其中，，b表示为偏置量，a^[l]表示为初始参数，y表示为训练样本结果值，表示为第l层神经网络中ij处卷积参数，m为样本容量，l为神经网络层数；

第三步、神经网络超参数在卷积神经网络中反向传播

其中，α为学习速率；分别为整体代价函数J(W,b)对的偏导数。

本发明有益效果：

本发明提出的一种基于卷积神经网络的搅拌摩擦焊缝缺陷识别方法具有经济、快速、准确、鲁棒性高等特点，显著提高搅拌摩擦焊缝缺陷识别效率；在图像分辨率较低，信噪比低下的情况下依然可以实现缺陷的可靠识别。

附图说明

图1是本发明所提供的卷积神经网络结构图；

图2是本发明中的搅拌摩擦焊缝缺陷识别方法流程图；

图3是本发明中的Anchor box类型示意图。

具体实施方式

下面结合具体实施例对本发明做进一步说明，但本发明不受实施例的限制。

实施例1：

本实施例中卷积神经网络(Convolutional Neural Network)如图1所示，是一种为了降低学习参数量而产生的深度学习神经网络结构，特别擅长与计算机视觉处理。它是受生物神经学启发而形成的一个特殊多层感知结构，通常包含输入层、多次卷积层、多次池化层、全连接层和输出层。

一种基于卷积神经网络的搅拌摩擦焊缝缺陷识别方法，如图2所示，所述搅拌摩擦焊缝缺陷识别方法包括：

步骤一、原始数据处理：剪除原始超声图像边缘与焊接无关的内容，剪除的部分包括背景区域和母材区域，同时除去原始超声图像的冗余信息，获得处理后超声图像数据；

步骤二、添加缺陷标签：在步骤一获得的处理后超声图像中比标定缺陷所在的位置，并将位置结果标签化，获得标签化结果数据；

步骤三、构建卷积神经网络：所述卷积神经网络结构采用VGG架构，包括5个卷积段、5个池化段和2个全连接段；所述5个卷积段分别为第一卷积阶段、第二卷积阶段、第三卷积阶段、第四卷积阶段和第五卷积阶段；所述2个全连接段分别为第一全连接层和第二全连接层；所述第一卷积阶段为卷积层Conv[1]_1,卷积层Conv[1]_2，分别使用64个卷积核，后跟批标准化层非线性激活层和第一池化层；所述第二卷积阶段为卷积层Conv[2]_1，卷积层Conv[2]_2，分别使用128个卷积核，后跟批标准化层非线性激活层和第二池化层；所述第三卷积阶段为卷积层Conv[3]_1，卷积层Conv[3]_2，卷积层Conv[3]_3，分别使用256个卷积核，后跟批标准化层非线性激活层和第三池化层；所述第四卷积阶段为卷积层Conv[4]_1，卷积层Conv[4]_2，卷积层Conv[4]_3，分别使用512个卷积核，后跟批标准化层非线性激活层和第四池化层；所述第五卷积阶段为卷积层Conv[5]_1，卷积层Conv[5]_2，卷积层Conv[5]_3，分别使用512个卷积核，后跟批标准化层非线性激活层和第五池化层，经过第一全连接层和第二全连接层，通过softmax函数获得缺陷位置标签预测值，从而实现搅拌摩擦焊缺陷识别；

步骤四、训练卷积神经网络：将步骤一和步骤二分别获得的所述处理后超声图像数据和标签化结果数据分别作为输入值和输出值训练所述卷积神经网络，获得训练后的卷积神经网络，通过所述训练后的卷积神经网络实现高鲁棒性的缺陷识别。

其中，步骤三所述实现搅拌摩擦焊缺陷识别的具体过程包括：所述第三步中将卷积层Conv[1]_1后跟的批标准化层、非线性激活层分别标记为第一批标准化层、第一非线性激活层；将卷积层Conv[1]_2后跟的批标准化层、非线性激活层分别标记为第二批标准化层、第二非线性激活层，并且后附第一池化层；卷积层Conv[2]_1后跟的批标准化层、非线性激活层分别标记为第三批标准化层、第三非线性激活层；将卷积层Conv[2]_2后跟的批标准化层、非线性激活层标记为第四批标准化层、第四非线性激活层，并且后附第二池化层；卷积层Conv[3]_1后跟的批标准化层、非线性激活层分别标记为第五批标准化层、第五非线性激活层；卷积层Conv[3]_2后跟的批标准化层、非线性激活层分别标记为第六批标准化层、第六非线性激活层；将卷积层Conv[3]_3后跟的批标准化层、非线性激活层分别标记为第七批标准化层、第七非线性激活层，并且后附第三池化层；卷积层Conv[4]_1后跟的批标准化层、非线性激活层分别标记为第八批标准化层、第八非线性激活层；卷积层Conv[4]_2后跟的批标准化层、非线性激活层标记为第九批标准化层、第九非线性激活层；将卷积层Conv[4]_3后跟的批标准化层、非线性激活层分别标记为第十批标准化层、第十非线性激活层，并且后附第四池化层；卷积层Conv[5]_1后跟的批标准化层、非线性激活层标分别记为第十一批标准化层、第十一非线性激活层；卷积层Conv[5]_2后跟的批标准化层、非线性激活层标记为第十二批标准化层、第十二非线性激活层；将卷积层Conv[5]_3后跟的批标准化层、非线性激活层标记为第十三批标准化层、第十三非线性激活层，并且后附第五池化层；在第二、第四、第七、第十、第十三非线性激活层后分别获得第一、第二、第三、第四、第五特征图像，并输入至全连接层，通过softmax函数计算缺陷分布情况，进行搅拌摩擦焊缺陷识别。在卷积阶段通过池化层，使得在不同卷局阶段卷积窗口对应在原始图像的覆盖区域逐渐增加，第一、第二、第三、第四、第五特征图像对应原始图像的覆盖野分别为5、14、40、92、196，从而形成在不同尺度下的缺陷观测过程。

步骤三中所述VGG架构的VGG卷积核为3×3，步长为1的SAME卷积，池化参数为2×2，步长为2。

步骤三中缺陷识别所应用目标检测方法为YOLO算法，所述YOLO算法中的Anchorbox选取为5～10种不同矩形，以涵盖所有检测缺陷对象的形状。其中，YOLO算法是一种可以更加精准的计算边界框的算法，其方法为：

步骤1、在整幅图像上加上密度不低于100×100的网格，将图像分割为数个小图像；

步骤2、采用图像分类和定位算法，分别应用至不同图像格子内；

步骤3、定义不同格子训练标签；

步骤4、将格子标签合并，最终输出目标形状，并与Anchor box进行拟合匹配。

步骤三所述非线性激活层采用ReLU函数，定义如下：

f(z)＝max(0,z)

步骤四所述卷积神经网络训练过程包括：

第一步、初始参数在卷积神经网络中正向传播：

z^[n]＝W^[n]*a^[n-1]+b^[n]

a^[n]＝g^[n](z^[n])

其中，z^[n]表示第n层中间参数，W^[n]为第n层卷积核，a^[n-1]表示第n-1层初始参数，b^[n]为第n层偏置，a^[n]表示第n层初始参数，g^[n]()为第n层激活函数；

第二步、所述卷积神经网络的整体代价函数计算：

其中，，b表示为偏置量，a^[l]表示为初始参数，y表示为训练样本结果值，表示为第l层神经网络中ij处卷积参数，m为样本容量，l为神经网络层数；

第三步、神经网络超参数在卷积神经网络中反向传播

其中，α为学习速率；分别为整体代价函数J(W,b)对的偏导数。

本实施例提出的一种基于卷积神经网络的搅拌摩擦焊缝缺陷识别方法具有经济、快速、准确、鲁棒性高等特点，显著提高搅拌摩擦焊缝缺陷识别效率；在图像分辨率较低，信噪比低下的情况下依然可以实现缺陷的可靠识别。

虽然本发明已以较佳的实施例公开如上，但其并非用以限定本发明，任何熟悉此技术的人，在不脱离本发明的精神和范围内，都可以做各种改动和修饰，因此本发明的保护范围应该以权利要求书所界定的为准。

Claims (6)

1.一种基于卷积神经网络的搅拌摩擦焊缝缺陷识别方法，其特征在于，所述搅拌摩擦焊缝缺陷识别方法包括：

步骤一、原始数据处理：剪除原始超声图像边缘与焊接无关的内容，剪除的部分包括背景区域和母材区域，同时除去原始超声图像的冗余信息，获得处理后超声图像数据；

步骤二、添加缺陷标签：在步骤一获得的处理后超声图像中比标定缺陷所在的位置，并将位置结果标签化，获得标签化结果数据；

步骤三、构建卷积神经网络：所述卷积神经网络结构采用VGG架构，包括5个卷积段、5个池化段和2个全连接段；所述5个卷积段分别为第一卷积阶段、第二卷积阶段、第三卷积阶段、第四卷积阶段和第五卷积阶段；所述2个全连接段分别为第一全连接层和第二全连接层；所述第一卷积阶段为卷积层Conv[1]_1,卷积层Conv[1]_2，分别使用64个卷积核，后跟批标准化层非线性激活层和第一池化层；所述第二卷积阶段为卷积层Conv[2]_1，卷积层Conv[2]_2，分别使用128个卷积核，后跟批标准化层非线性激活层和第二池化层；所述第三卷积阶段为卷积层Conv[3]_1，卷积层Conv[3]_2，卷积层Conv[3]_3，分别使用256个卷积核，后跟批标准化层非线性激活层和第三池化层；所述第四卷积阶段为卷积层Conv[4]_1，卷积层Conv[4]_2，卷积层Conv[4]_3，分别使用512个卷积核，后跟批标准化层非线性激活层和第四池化层；所述第五卷积阶段为卷积层Conv[5]_1，卷积层Conv[5]_2，卷积层Conv[5]_3，分别使用512个卷积核，后跟批标准化层非线性激活层和第五池化层，经过第一全连接层和第二全连接层，通过softmax函数获得缺陷位置标签预测值，从而实现搅拌摩擦焊缺陷识别；

步骤四、训练卷积神经网络：将步骤一和步骤二分别获得的所述处理后超声图像数据和标签化结果数据分别作为输入值和输出值训练所述卷积神经网络，获得训练后的卷积神经网络，通过所述训练后的卷积神经网络实现高鲁棒性的缺陷识别。

2.根据权利要求2所述搅拌摩擦焊缝缺陷识别方法，其特征在于，步骤三所述实现搅拌摩擦焊缺陷识别的具体过程包括：所述第三步中将卷积层Conv[1]_1后跟的批标准化层、非线性激活层分别标记为第一批标准化层、第一非线性激活层；将卷积层Conv[1]_2后跟的批标准化层、非线性激活层分别标记为第二批标准化层、第二非线性激活层，并且后附第一池化层；卷积层Conv[2]_1后跟的批标准化层、非线性激活层分别标记为第三批标准化层、第三非线性激活层；将卷积层Conv[2]_2后跟的批标准化层、非线性激活层标记为第四批标准化层、第四非线性激活层，并且后附第二池化层；卷积层Conv[3]_1后跟的批标准化层、非线性激活层分别标记为第五批标准化层、第五非线性激活层；卷积层Conv[3]_2后跟的批标准化层、非线性激活层分别标记为第六批标准化层、第六非线性激活层；将卷积层Conv[3]_3后跟的批标准化层、非线性激活层分别标记为第七批标准化层、第七非线性激活层，并且后附第三池化层；卷积层Conv[4]_1后跟的批标准化层、非线性激活层分别标记为第八批标准化层、第八非线性激活层；卷积层Conv[4]_2后跟的批标准化层、非线性激活层标记为第九批标准化层、第九非线性激活层；将卷积层Conv[4]_3后跟的批标准化层、非线性激活层分别标记为第十批标准化层、第十非线性激活层，并且后附第四池化层；卷积层Conv[5]_1后跟的批标准化层、非线性激活层标分别记为第十一批标准化层、第十一非线性激活层；卷积层Conv[5]_2后跟的批标准化层、非线性激活层标记为第十二批标准化层、第十二非线性激活层；将卷积层Conv[5]_3后跟的批标准化层、非线性激活层标记为第十三批标准化层、第十三非线性激活层，并且后附第五池化层；在第二、第四、第七、第十、第十三非线性激活层后分别获得第一、第二、第三、第四、第五特征图像，并输入至全连接层，通过softmax函数计算缺陷分布情况，进行搅拌摩擦焊缺陷识别。

3.根据权利要求1所述搅拌摩擦焊缝缺陷识别方法，其特征在于，步骤三中所述VGG架构的VGG卷积核为3×3，步长为1的SAME卷积，池化参数为2×2，步长为2。

4.根据权利要求1所述搅拌摩擦焊缝缺陷识别方法，其特征在于，步骤三中搅拌摩擦焊缺陷识别所应用的目标检测方法为YOLO算法，所述YOLO算法中的Anchor box选取为5～10种不同矩形，以涵盖所有检测缺陷对象的形状。

5.根据权利要求1所述搅拌摩擦焊缝缺陷识别方法，其特征在于，步骤三所述非线性激活层采用ReLU函数，定义如下：

f(z)＝max(0,z)。

6.根据权利要求1所述搅拌摩擦焊缝缺陷识别方法，其特征在于，步骤四所述卷积神经网络训练过程包括：

第一步、初始参数在卷积神经网络中正向传播：

z^[n]＝W^[n]*a^[n-1]+b^[n]

a^[n]＝g^[n](z^[n])

其中，z^[n]表示第n层中间参数，W^[n]为第n层卷积核，a^[n-1]表示第n-1层初始参数，b^[n]为第n层偏置，a^[n]表示第n层初始参数，g^[n]()为第n层激活函数；

第二步、所述卷积神经网络的整体代价函数计算：

其中，，b表示为偏置量，a^[l]表示为初始参数，y表示为训练样本结果值，表示为第l层神经网络中ij处卷积参数，m为样本容量，l为神经网络层数；

第三步、神经网络超参数在卷积神经网络中反向传播

其中，α为学习速率；分别为整体代价函数J(W,b)对的偏导数。