CN114445366B - 基于自注意力网络的长输管道射线影像缺陷智能识别方法 - Google Patents

Abstract

本发明提供的一种基于自注意力网络的长输管道射线影像缺陷智能识别方法，具体过程如下：首先将工业底片扫描数字化图像并建立标签数据库。然后基于数据驱动进行深度学习模型建立，在常规目标检测算法中嵌入自注意力模型以增强缺陷特征,并通过颈部网络融合缺陷深层与浅层信息。接着通过联合优化分类与回归损失训练缺陷检测模型。最后基于生成的缺陷检测模型推理无标记图像获得缺陷的位置信息以及类别信息。本发明提供的方法大幅度提升了长输管道射线影像智能识别能力。

Description

基于自注意力网络的长输管道射线影像缺陷智能识别方法

技术领域

本发明涉及管道焊缝缺陷检测技术领域，尤其涉及基于自注意力网络的长输管道射线影像缺陷智能识别方法。

背景技术

目前石化工业迅速发展，长输管道在运输能源中扮演着关键角色，因此维护管道的安全至关重要。在众多管道故障当中由于焊缝质量不合格而引起的泄露事故不在少数，主要原因在于焊接过程中产生了许多危害性较高的缺陷，这些缺陷违背及时识别将严重威胁长时间工作在恶劣环境下管道的安全。因此为了保证焊接工程质量，避免因未能及时发现焊接严重缺陷而造成管道泄漏，给环境经济和安全造成巨大损失，必须严格按照焊接标准对管道焊缝区域进行缺陷检查。

由于人工缺陷检测的低效性与主观性，基于X射线的自动缺陷识别系统被广泛研究。在目前的方法中，大部分的研究内容集中在两个方向，其一是基于传统的图像处理和机器学习方法，其二是基于深度学习算法实现端到端的焊缝缺陷检测。在传统的方法中，基于图像处理的方法通常用于提高X射线图像的质量，并从图像中分割出感兴趣的区域，基于机器学习方法通常用于模式识别。基于滤波的方法为X射线图像处理常用的手段，通常采用像素阈值分割等形式实现缺陷图像二值化，然后依据不同类别缺陷的特征不同基于机器学习可解释分类模型实现最终的缺陷检测。目前该方法的缺点有如下几点：缺陷检测流程繁琐，特征提取需要依赖大量专业人员经验，传统方法对复杂缺陷特征学习能力较弱，无法准确识别长输管线复杂的缺陷影响。

目前深度学习广泛应用到工业领域，大量的端到端目标识别算法在工业检测方面取得了良好的进展，但是目前长输管道焊接缺陷检测存在以下难点：其一、图像背景复杂，某些背景特征与缺陷及其相似，传统的卷积网络结构对齐拟合能力较弱。其二、微小缺陷影像特征较弱，常规网络结构无法对其精准识别。

目前注意机制已成为CNN模型不可缺少的一部分，在抑制复杂背景和突出物体特征方面表现出良好的效果，它可以通过融合通道特征和空间特征来实现对噪声特征的抑制和对缺陷特征的突出。

发明内容

针对目前焊缝缺陷检测精度较低的技术问题，本发明提供了一种基于自注意力网络的长输管道射线影像缺陷智能识别方法。

具体技术方案如下：

基于自注意力网络的长输管道射线影像缺陷智能识别方法，包括以下步骤：

步骤1：基于NEU-ZD-2工业底片扫描仪对工业底片进行数字化获得焊缝缺陷数字化图像后，基于无损检测工程师进行缺陷样本标注，制作数据集；

步骤2：图像预处理，焊接区域的粗糙度，原始图像包含了大量的干扰信号，这显著地影响了对缺陷的识别，采用改进的均值滤波方法去除原始X射线图像所包含的大量干扰信号，完成去除噪声预处理；

步骤3：设计主干网络实现缺陷特征提取，将制作的焊缝缺陷图像与其相对应的缺陷标签的输入到网络中，提取纹理和语义特征；

步骤4：设计改进的自注意力网络层增强主干网络提取到的缺陷深层特征；自注意力层用于计算特征中不同位置之间的权重，从而达到更新特征的效果，通过连接层进行特征的映射，得到增强后的特征。

步骤5：对多级特征进行特征融合，实现深层浅层特征增强；

步骤6：模型预测机制：在预测头部对颈部网络所提出的三个特征图进行推理预测，使用三种不同尺度的特征图来预测不同大小的对象；在预测过程中，输入图像被分成几个在回归时通过预先在特征图上设置Anchors，检测头中的每个网格分配三种类型的锚：

步骤7：分类及回归损失函数设计：损失函数用于评估预测值与真实值之间的差值，将训练集分批次送入网络结构，通过最小化公式损失函数训练检测器从而优化参数，该损失函数包括两部分，分别是分类损失函数与回归损失函数。

步骤1具体包括如下步骤：

步骤1-1，标注缺陷数据集，按照矩形框的形式给出缺陷的像素坐标；对于给定训练集图像{X_L,Y_L}，任意图像x_i中的缺陷实例集可以表示为每张图像的实例标签记作

步骤1-2：进行数据增强，扩充训练样本来增加训练样本的多样性，提高模型泛化能力，本文采取平移，翻折，尺度缩放，图像拼接方式并对标签采取同样操作从而大量扩充了数据集，获得{X_L,Y_L}_DA。

步骤2所述的图像预处理具体包括以下步骤：

步骤2-1：去除该平均值是为了消除探头的背景信号；由于环境的变化以及X射线图像扫描仪自身参数的干扰，扫描出的图像存在干扰影像，对原始的焊缝缺陷图像中的每个通道进行均值滤波，消除了由于扫描仪硬件生成的干扰。

步骤2-2：为了避免图像中一些振幅极高的信号支配微弱缺陷信号的可能性，有必要限制图像的振幅，因此设置幅值截断和均值滤波器：首先将图像矩阵中的像素的最大值被限制为低于一个阈值；然后应用一个中值滤波器到每个通道；设计的改进中值滤波器算法实现如下：假设信号序列为x(j),j∈n，定义一个奇数长度为L＝2N+1的滑动窗口，其中N是一个正整数；对于每个整数i，L个样本，即x(i-N)x(i),Λx(i+N)，按升序排列，然后将中值定义为中值滤波器的输出；

步骤2-3：梯度分数计算：图像的梯度被写成X方向和Y方向上的梯度之和，如下式所示：这里f(i,j)表示位置(i,j)处的像素值，x_num是x轴方向上的数据点总数，N_X是用于计算每个位置上的梯度分数的数据点数；在y轴方向上的梯度分数的计算过程与上述计算过程相似。

步骤3所述的设计主干网络实现缺陷特征提取，具体包括以下步骤：

步骤3-1：输入图像到特征提取网络中，提取纹理和语义特征；输入模型图像的大小必须是32的倍数，这里输入图像参数选取640*640*3；

步骤3-2：逐层特征提取：将输入图像依次送入主干网络各层，提取缺陷特征；

步骤3-3：多层特征提取：按照上述机制重复多次进行深层特征提取，得到多阶段特征图。

步骤4所述的设计改进的自注意力网络层增强主干网络提取到的缺陷深层特征，具体包括以下步骤：

步骤4-1：确定输入深层特征：在这里，将主干网络层最后一层高级特征图X₅(H＝20,W＝20,C＝1024)，

其中，H为图像特征的高度，W为图像特征的宽度，C为通道数，维度图像拉成一维向量，记作深层特征序列向量x＝(x₁,Λ,x_n),n＝20*20*1024，其中n代表向量的维度；

步骤4-2：对深层特征向量位置编码，保证特征向量空间位置信息，具体过程如下：对输入向量注入关于序列的相对或绝对位置的信息序列中的标记，即在输入向量中嵌入位置编码，位置编具有与输入相同的维数模型，这里使用不同频率的正弦函数实现输入位置端编码：

其中pos为位置，i为输入维度，编码后向量维度是d_model；

步骤4-3，确定编码器结构：该编码器由六层结构组成，每一层集包含两个子层，其一为多头注意力网络层，其二为前馈网络结构层；每个子层周使用残差连接，并进行归一化，每个子层的输出为：sublayer＝LayerNorm(x+Sublayer(x))，

其中x为输入特征sublayer为输出特征，LayerNorm为当前阶段的网络激活层，Sublayer(x)是由子层本身实现的函数；模型中的所有子层以及嵌入层都会产生d_model＝512维的输出；

步骤4-4，确定注意力函数层：自注意力机制就是要通过权重矩阵来自发地找到不同特征之间的关系；该函数可以描述为将查询和一组键值对映射到输出，其中查询、键、值和输出都是向量；输出作为值的加权和计算，其中分配给每个值的权重由查询与相应键的兼容性函数计算；

首先按照高斯分布初始化参数值Q,K,V权值，基于固定方差的参数进行高斯分布初始化：Q,K,V～N(μ,σ),这里μ＝0，σ＝1从均值为0，方差为1的高斯分布，并将所得向量作为初始权值，并通过使用

Softmax函数来获得值的权重，因此该输出权重矩阵为：

其中，为输出权重矩阵，Q,K,V分别为初始化后的全连接层分健参数别代表查询量，健参数与值参数，softmax为权重激活函数，d_k为健参数K的向量维度；

步骤4-5，确定多层注意力函数：多头注意力模型共同关注来自不同位置的不同表示子空间的信息，其中注意力头可以描述为：

其中投影参数

MultiHead(Q,K,V)＝Concat(head₁,Λ，head_h)w^O，在这里使用使用h＝8平行注意层；

步骤4-4：确定前馈网络层：除注意力子层外，编码器和解码器中的每个层都包含一个完全连接的前馈网络FFN(x)，具体包括两个线性变换，中间采用ReLU激活，其中前馈网络层公式如下：

FFN(x)＝max(0,xW₁+b₁)W₂+b₂；

其中，x为输入特征，W₁，b₁和W₂，b₂分别为前馈网络第一层和第二层权重与偏置，max函数为比较最值函数；

步骤4-5：确定解码层：按照上述编码结构对注意力层进行逐层解码，即进行逆运算操作。

步骤5所述的对多级特征进行特征融合，实现深层浅层特征增强，具体包括以下步骤：

步骤5-1：基于改进的SPP层实现顶层注意力特征图池化操作，对于选择的不同大小的区域对应到卷积之后的特征图上，得到的也是大小不一致的特征图区域，对于每个区域，通过三种划分方式进行池化：按照如下公式所示：

X^pool＝Concat(pool_5*5(X^attention),pool_7*7(X^attention),pool_13*13(X^attention))

其中，X^pool为输出池化层的特征，Concat为张量拼接函数，pool_5*5，pool_7*7和pool_13*13分别代表卷积核分别为5，7，13的池化运算，X^attention为输入注意力特征图。

步骤5-2：特征金字塔自上而下融合缺陷特征：记X₁和X₂表示来自特征提取网络的不同阶段的全局特征图，并具有不同的分辨率，通过整合多尺度全局特征和多尺度局部区域特征，可以增强网络表达焊缝缺陷特征的能力，利用通道上SPP块的输入特征图，20×20×1024特征图作为对象检测的输出，全局特征融合和局部特征融合连续连接，拼接公式如下：

其中，Xi表示特征提取网络中不同阶段的特征图；表示每个源特征映射在连接在一起之前的转换函数；Concat表示沿着通道连接的特征映射即张量拼接运算，代表自上而下融合时消除频率混叠函数；

步骤5-3：特征金字塔PAN自下而上融合缺陷特征：

其中，Concat为张量拼接运算，代表自上而下融合时消除频率混叠函数，F₂为最终输出特征表示。

步骤7具体包括如下步骤：

步骤7-1：损失函数用于评估预测值与真实值之间的差值，将训练集分批次送入网络结构，通过最小化公式损失函数训练检测器从而优化参数Θ，该损失函数包括两部分，分别是分类损失函数与回归损失函数，按照如下公式所示：

其中FL(·)为Focal分类损失函数，CIoU(·)为边界框位置回归损失函数，和分别代表网络预测图像的分类概率分布和位置回归概率分布， 和分别代表图像y_i中真实的类别标签和位置标签；

步骤7-2：权值更新：通过反向传播更新权重的目的是为了最小化损失，将损失作为权值参数的函数，CNN需要计算损失相对于每个权值参数的偏导数，然后使用随机梯度下降(SGD)方法在梯度下降最快的方向迭代更新权值，直到满足参数停止更新的条件。

与现有技术相比，本发明具有如下有益技术效果：

本发明是一种新的基于CNN与自注意力的缺陷检测网络来识别长输管道缺陷影像，基于本发明提供一种基于自注意力机制下的长输管道缺陷影像识别方法。基于通用主干网络Darknet53网络添加自注意力层，并设计了多通道跨阶段层融合主干网络。利用卷积神经网络构建自注意力导向的特征提取模块，使得缺陷的检出率有了明显的提升。该网络采用先进的主干网络模块，通过跨尺度连接在主干最后三层中选择信息丰富的多尺度特征。该操作可以大大提高X射线中小缺陷识别影响的特征表示能力。所提出的网络结构在缺陷分类和检测性能方面具有较高的精度。此外由于本发明缺陷识别速度快，在实际的常熟管道缺陷影像识别任务中具有很大的应用潜力。

附图说明

图1为本发明实施例提供的一种基于自注意力网络的长输管道缺陷影像智能识别方法检测方法总结构图；

图2为本发明实施例提供的训练验证评价指标图；

图3为本发明实施例提供的检测结果图。

具体实施方式

下面结合附图和具体实施例对本发明进行详细说明，但本发明的保护范围不受附图和具体实施例所限。

实施例1：

一种基于自注意力网络的长输管道缺陷影像智能识别方法检测方法，该方法主要包括三大部分：数据预处理部分，特征提取与融合部分，预测部分，整体结构图如图1所示。首先将原始对原始的焊缝图像进优化处理，然后送入注入注意力机制的的特征提取主干网络，然后基于增强特征进行最终预测，具体步骤如下：

步骤1：基于NEU-ZD-2工业底片扫描仪对工业底片进行数字化获得焊缝缺陷数字化图像后，基于无损检测工程师进行缺陷样本标注，制作数据集，获取焊缝缺陷图像。

步骤1-1，标注缺陷数据集，按照矩形框的形式给出缺陷的像素坐标。对于给定训练集图像{X_L,Y_L}，任意图像x_i中的缺陷实例集可以表示为每张图像的实例标签记作其中标记了六种缺陷类别分别为圆形缺陷，条形缺陷,未熔合缺陷，未焊透缺陷，烧穿缺陷，裂纹缺陷，标签分别记作r，l，lf，ip，bt，c。步骤1-2：进行数据增强，扩充训练样本来增加训练样本的多样性，提高模型泛化能力，本文采取平移，翻折，尺度缩放，图像拼接方式并对标签采取同样操作从而大量扩充了数据集，获得{X_L,Y_L}_DA。

步骤2：图像预处理：进行均置滤波去除图像噪声。焊接区域的粗糙度，原始图像包含了大量的干扰信号，这显著地影响了对缺陷的识别。因此，需要先对原始图像进行过滤。该算法的步骤如下所示：

步骤2-1：从图像中去除每个通道的平均值。去除该平均值是为了消除探头的背景信号。由于环境的变化以及X射线图像扫描仪自身参数的干扰，扫描出的图像存在干扰影像。

步骤2-2：幅值截断和均值滤波器。为了避免图像中一些振幅极高的信号支配微弱缺陷信号的可能性，有必要限制图像的振幅。因此，图像矩阵中的像素的最大值被限制为低于一个阈值。然后应用一个中值滤波器到每个通道。中值滤波器算法实现如下：假设信号序列为x(j),j∈n，定义一个奇数长度为L＝2N+1的滑动窗口，其中N是一个正整数。对于每个整数i，L个样本，即x(i-N)x(i),Λx(i+N)，按升序排列，然后将中值定义为中值滤波器的输出。

步骤2-3：梯度分数计算。图像的梯度被写成X方向和Y方向上的梯度之和，如下式所示：这里f(i,j)表示位置(i,j)处的像素值，x_num是x轴方向上的数据点总数，N_X是用于计算每个位置上的梯度分数的数据点数。在y轴方向上的梯度分数的计算过程与上述计算过程相似。其中四种标注缺陷样本图如图2所示，左侧为原始图像，右侧为图像处理后的效果。

步骤3：设计主干网络实现缺陷特征提取。将制作的焊缝缺陷图像与其相对应的缺陷标签的输入到网络中，提取纹理和语义特征。

步骤3-1：输入图像到特征提取网络中，提取纹理和语义特征。输入模型图像的大小必须是32的倍数，这里输入图像参数选取640*640*3，其中

步骤3-2：逐层特征提取，将输入图像依次送入主干网络各层，提取缺陷特征。对于每个主干网络密集层(Block)层包含多个卷积层，对于一组卷积核结构Con_(k,s,p,n)，其中k表示卷积核的大小，s表示步长，p表示零填充，n表示卷积核的数量。因此，特征提取过程可以描述为：

其中，是i层输入的特征图，是第i-1卷积层输出的特征图。

特征图尺寸为u*u，并且其满足

在卷积层和激活单元层之间使用批归一化(BN)层来加快网络训练，降低对网络初始化的敏感性，BN层计算按照如下所示：

其中，是主干网络结构中第i阶段层的卷积层特征图。

LeakyRelu可以解决传统的激活函数(Relu)当输入接近零或为负时，函数的梯度变为零，网络将无法执行反向传播的不足，可获得阶段特征图X_i

步骤3-3：多层特征提取：

按照上述机制重复多次进行深层特征提取，得到多阶段特征图，其具体Block结构满足下表所示：

阶段	卷积核参数	特征图尺寸
			Block 1	[Conv(1,1,0,32)+Conv(3,1,1,64)]×1	(320,320,64)
Block 2	[Conv(1,1,0,64)+Conv(3,1,1,128)]×2	(160,160,128)
			Block 3	[Conv(1,1,0,128)+Conv(3,1,1,256)]×8	(80,80,256)
Block 4	[Conv(1,1,0,256)+Conv(3,1,1,512)]×16	(40,40,512)
			Block 5	[Conv(1,1,0,512)+Conv(3,1,1,1024)]×4	(20,20,1024)

步骤4：设计改进的自注意力网络层增强主干网络提取到的缺陷深层特征。自注意力层用于计算特征中不同位置之间的权重，从而达到更新特征的效果，通过连接层进行特征的映射，得到一个新的特征，具体步骤如下所示：

步骤4-1：确定输入深层特征：在这里，将主干网络层最后一层高级特征图X₅(H＝20,W＝20,C＝1024)维度图像拉成一维向量，记作深层特征序列向量x＝(x₁,Λ,x_n),n＝20*20*1024。

步骤4-2：对深层特征向量位置编码，保证特征向量空间位置信息。具体过程如下：对输入向量注入关于序列的相对或绝对位置的信息序列中的标记，即在输入向量中嵌入位置编码，位置编具有与输入相同的维数模型，这里使用不同频率的正弦函数实现输入位置端编码：

其中pos是位置，i是维度，编码后向量维度是d_model。

步骤4-3，确定编码器结构：该编码器由六层结构组成，每一层集包含两个子层，其一为多头注意力网络层，其二为前馈网络结构层。每个子层周使用残差连接，并进行归一化。每个子层的输出为：sublayer＝LayerNorm(x+Sublayer(x))，其中Sublayer(x)是由子层本身实现的函数。模型中的所有子层以及嵌入层都会产生d_model＝512维的输出。

步骤4-4，确定注意力函数层：自注意力机制就是要通过权重矩阵来自发地找到不同特征之间的关系。该函数可以描述为将查询和一组键值对映射到输出，其中查询、键、值和输出都是向量。输出作为值的加权和计算，其中分配给每个值的权重由查询与相应键的兼容性函数计算。

首先按照高斯分布初始化参数值Q,K,V权值，基于固定方差的参数进行高斯分布初始化：Q,K,V～N(μ,σ),这里μ＝0，σ＝1从均值为0，方差为1的高斯分布，并将所得向量作为初始权值，并通过使用Softmax函数来获得值的权重。因此该输出矩阵为：

步骤4-5，确定多层注意力函数：多头注意力模型共同关注来自不同位置的不同表示子空间的信息。其中注意力头可以描述为：

其中投影参数

MultiHead(Q,K,V)＝Concat(head₁,Λ，head_h)w^O，在这里使用使用h＝8平行注意层。

步骤4-4：确定前馈网络层：除了注意力子层外，编码器和解码器中的每个层都包含一个完全连接的前馈网络FFN(x)，具体包括两个线性变换，中采用ReLU激活，其中前馈网络层公式如下：FFN(x)＝max(0,xW₁+b₁)W₂+b₂。

步骤4-5：确定解码层：按照上述编码结构对注意力层进行逐层解码，即进行逆运算操作。

步骤5：对多级特征进行特征融合，实现深层浅层特征增强。

步骤5-1：基于改进的SPP层实现顶层注意力特征图池化操作。对于选择的不同大小的区域对应到卷积之后的特征图上，得到的也是大小不一致的特征图区域，对于每个区域，通过三种划分方式进行池化：按照如下公式所示：

X^pool＝Concat(pool_5*5(X^attention),pool_7*7(X^attention),pool_13*13(X^attention))

步骤5-2：特征金字塔自上而下融合缺陷特征：记X₁和X₂表示来自特征提取网络的不同阶段的全局特征图，并具有不同的分辨率。通过整合多尺度全局特征和多尺度局部区域特征，可以增强网络表达焊缝缺陷特征的能力。利用通道上SPP块的输入特征图，20×20×1024特征图作为对象检测的输出。全局特征融合和局部特征融合连续连接，拼接公式如下：

步骤5-3：特征金字塔PAN自上而下融合缺陷特征：

Xi表示特征提取网络中不同阶段的特征图。表示每个源特征映射在连接在一起之前的转换函数。Concat表示沿着通道连接的特征映射。f₁，f₂表示多尺度全局特征融合后的输出特征图，

步骤6：模型预测机制：在预测头部对颈部网络所提出的三个特征图进行推理预测，使用三种不同尺度的特征图来预测不同大小的对象。在预测过程中，输入图像被分成几个在回归时通过预先在特征图上设置Anchors，检测头中的每个网格分配三种类型的锚。

步骤7：损失函数与权重更新：

步骤7-1：损失函数用于评估预测值与真实值之间的差值，将训练集分批次送入网络结构，通过最小化公式损失函数训练检测器从而优化参数Θ，该损失函数包括两部分，分别是分类损失函数与回归损失函数，如公式(2)所示：

其中FL(·)为Focal分类损失函数，CIoU(·)为边界框位置回归损失函数，和分别代表网络预测图像的分类概率分布和位置回归概率分布， 和分别代表图像y_i中真实的类别标签和位置标签。其训练损失与评价曲线如图2所示：

步骤7-2：权值更新：通过反向传播更新权重的目的是为了最小化损失，将损失作为权值参数的函数，CNN需要计算损失相对于每个权值参数的偏导数，然后使用随机梯度下降(SGD)方法在梯度下降最快的方向迭代更新权值，直到满足参数停止更新的条件。损失不下降时停止更新，获取缺陷检测模型，最终预测结构图如图3所示，虚线框左侧为现有公开的YOLO-v5原始的检测器效果，右侧为本发明提高的模型，可以看出缺陷识别能力较高，漏检与误检均相对较少。

本实施例提供一种基于自注意力网络的长输管道缺陷影像智能识别方法检测方法，该方法主要包括三大部分：数据预处理部分，特征提取与融合部分，预测部分。通过实际缺陷检测可以看出，本发明可以很好的解决当前缺陷识别精度较低的问题。最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明权利要求所限定的范围。

Claims (7)

1.基于自注意力网络的长输管道射线影像缺陷智能识别方法，其特征在于，包括以下步骤：

步骤1：基于NEU-ZD-2工业底片扫描仪对工业底片进行数字化获得焊缝缺陷数字化图像后，基于无损检测工程师进行缺陷样本标注，制作数据集；

步骤2：图像预处理，采用改进的均值滤波方法去除原始X射线图像所包含的大量干扰信号，完成去除噪声预处理；

步骤3：设计主干网络实现缺陷特征提取，将制作的焊缝缺陷图像与其相对应的缺陷标签的输入到网络中，提取纹理和语义特征；

步骤4：设计改进的自注意力网络层增强主干网络提取到的缺陷深层特征；自注意力层用于计算特征中不同位置之间的权重，从而达到更新特征的效果，通过连接层进行特征的映射，得到增强后的特征；

步骤5：对多级特征进行特征融合，实现深层浅层特征增强；

步骤6：模型预测机制：在预测头部对颈部网络所提出的三个特征图进行推理预测，使用三种不同尺度的特征图来预测不同大小的对象；在预测过程中，输入图像被分成几个在回归时通过预先在特征图上设置Anchors，检测头中的每个网格分配三种类型的锚：

步骤7：分类及回归损失函数设计：损失函数用于评估预测值与真实值之间的差值，将训练集分批次送入网络结构，通过最小化公式损失函数训练检测器从而优化参数，该损失函数包括两部分，分别是分类损失函数与回归损失函数。

2.根据权利要求1所述的基于自注意力网络的长输管道射线影像缺陷智能识别方法，其特征在于：步骤1具体包括如下步骤：

步骤1-1，标注缺陷数据集，按照矩形框的形式给出缺陷的像素坐标；对于给定训练集图像{X_L,Y_L}，任意图像x_i中的缺陷实例集可以表示为每张图像的实例标签记作

步骤1-2：进行数据增强，扩充训练样本来增加训练样本的多样性，提高模型泛化能力，本文采取平移，翻折，尺度缩放，图像拼接方式并对标签采取同样操作从而大量扩充了数据集，获得{X_L,Y_L}_DA。

3.根据权利要求1所述的基于自注意力网络的长输管道射线影像缺陷智能识别方法，其特征在于：步骤2所述的图像预处理具体包括以下步骤：

步骤2-1：对原始的焊缝缺陷图像中的每个通道进行均值滤波，消除了由于扫描仪硬件生成的干扰；

步骤2-2：设置幅值截断和均值滤波器：首先将图像矩阵中的像素的最大值被限制为低于一个阈值；然后应用一个中值滤波器到每个通道；设计的改进中值滤波器算法实现如下：假设信号序列为x(j),j∈n，定义一个奇数长度为L＝2N+1的滑动窗口，其中N是一个正整数；对于每个整数i，L个样本，即x(i-N)x(i),Λx(i+N)，按升序排列，然后将中值定义为中值滤波器的输出；

步骤2-3：梯度分数计算：图像的梯度被写成X方向和Y方向上的梯度之和，如下式所示：这里f(i,j)表示位置(i,j)处的像素值，x_num是x轴方向上的数据点总数，N_X是用于计算每个位置上的梯度分数的数据点数；在y轴方向上的梯度分数的计算过程与上述计算过程相似。

4.根据权利要求1所述的基于自注意力网络的长输管道射线影像缺陷智能识别方法，其特征在于：步骤3所述的设计主干网络实现缺陷特征提取，具体包括以下步骤：

步骤3-1：输入图像到特征提取网络中，提取纹理和语义特征；输入模型图像的大小必须是32的倍数，这里输入图像参数选取640*640*3；

步骤3-2：逐层特征提取：将输入图像依次送入主干网络各层，提取缺陷特征；

步骤3-3：多层特征提取：按照上述机制重复多次进行深层特征提取，得到多阶段特征图。

5.根据权利要求1所述的基于自注意力网络的长输管道射线影像缺陷智能识别方法，其特征在于：步骤4所述的设计改进的自注意力网络层增强主干网络提取到的缺陷深层特征，具体包括以下步骤：

步骤4-1：确定输入深层特征：在这里，将主干网络层最后一层高级特征图X₅(H＝20,W＝20,C＝1024)，

其中，H为图像特征的高度，W为图像特征的宽度，C为通道数，维度图像拉成一维向量，记作深层特征序列向量x＝(x₁,Λ,x_n),n＝20*20*1024，其中n代表向量的维度；

步骤4-2：对深层特征向量位置编码，保证特征向量空间位置信息，具体过程如下：对输入向量注入关于序列的相对或绝对位置的信息序列中的标记，即在输入向量中嵌入位置编码，位置编具有与输入相同的维数模型，这里使用不同频率的正弦函数实现输入位置端编码：

其中pos为位置，i为输入维度，编码后向量维度是d_model；

步骤4-3，确定编码器结构：该编码器由六层结构组成，每一层集包含两个子层，其一为多头注意力网络层，其二为前馈网络结构层；每个子层周使用残差连接，并进行归一化，每个子层的输出为：sublayer＝LayerNorm(x+Sublayer(x))，

其中x为输入特征sublayer为输出特征，LayerNorm为当前阶段的网络激活层，Sublayer(x)是由子层本身实现的函数；模型中的所有子层以及嵌入层都会产生d_model＝512维的输出；

步骤4-4，确定注意力函数层：自注意力机制就是要通过权重矩阵来自发地找到不同特征之间的关系；该函数可以描述为将查询和一组键值对映射到输出，其中查询、键、值和输出都是向量；输出作为值的加权和计算，其中分配给每个值的权重由查询与相应键的兼容性函数计算；

首先按照高斯分布初始化参数值Q,K,V权值，基于固定方差的参数进行高斯分布初始化：Q,K,V～N(μ,σ),这里μ＝0，σ＝1从均值为0，方差为1的高斯分布，并将所得向量作为初始权值，并通过使用

Softmax函数来获得值的权重，因此该输出权重矩阵为：

其中，为输出权重矩阵，Q,K,V分别为初始化后的全连接层分健参数别代表查询量，健参数与值参数，softmax为权重激活函数，d_k为健参数K的向量维度；

步骤4-5，确定多层注意力函数：多头注意力模型共同关注来自不同位置的不同表示子空间的信息，其中注意力头可以描述为：

head₁＝Attention(QW_i ^Q,QW_i ^K,VW_i ^V)，

其中投影参数MultiHead(Q,K,V)＝Concat(head₁,Λ，head_h)w^O，在这里使用使用h＝8平行注意层；

步骤4-4：确定前馈网络层：除注意力子层外，编码器和解码器中的每个层都包含一个完全连接的前馈网络FFN(x)，具体包括两个线性变换，中间采用ReLU激活，其中前馈网络层公式如下：

FFN(x)＝max(0,xW₁+b₁)W₂+b₂；

其中，x为输入特征，W₁，b₁和W₂，b₂分别为前馈网络第一层和第二层权重与偏置，max函数为比较最值函数；

步骤4-5：确定解码层：按照上述编码结构对注意力层进行逐层解码，即进行逆运算操作。

6.根据权利要求1所述的基于自注意力网络的长输管道射线影像缺陷智能识别方法，其特征在于：步骤5所述的对多级特征进行特征融合，实现深层浅层特征增强，具体包括以下步骤：

步骤5-1：基于改进的SPP层实现顶层注意力特征图池化操作，对于选择的不同大小的区域对应到卷积之后的特征图上，得到的也是大小不一致的特征图区域，对于每个区域，通过三种划分方式进行池化：按照如下公式所示：

X^pool＝Concat(pool_5*5(X^attention),pool_7*7(X^attention),pool_13*13(X^attention))

其中，X^pool为输出池化层的特征，Concat为张量拼接函数，pool_5*5，pool_7*7和pool_13*13分别代表卷积核分别为5，7，13的池化运算，X^attention为输入注意力特征图；

步骤5-2：特征金字塔自上而下融合缺陷特征：记X₁和X₂表示来自特征提取网络的不同阶段的全局特征图，并具有不同的分辨率，通过整合多尺度全局特征和多尺度局部区域特征，可以增强网络表达焊缝缺陷特征的能力，利用通道上SPP块的输入特征图，20×20×1024特征图作为对象检测的输出，全局特征融合和局部特征融合连续连接，拼接公式如下：

其中，Xi表示特征提取网络中不同阶段的特征图；F₁自上而下特征融合时产生的特征图集合；Concat表示沿着通道连接的特征映射即张量拼接运算，代表自上而下融合时消除频率混叠函数；

步骤5-3：特征金字塔PAN自下而上融合缺陷特征：

其中，Concat为张量拼接运算，代表自上而下融合时消除频率混叠函数，F₂为最终输出特征表示。

7.根据权利要求1所述的基于自注意力网络的长输管道射线影像缺陷智能识别方法，其特征在于，步骤7具体包括如下步骤：

步骤7-1：损失函数用于评估预测值与真实值之间的差值，将训练集分批次送入网络结构，通过最小化公式损失函数训练检测器从而优化参数Θ，该损失函数包括两部分，分别是分类损失函数与回归损失函数，按照如下公式所示：

其中FL(·)为Focal分类损失函数，CIoU(·)为边界框位置回归损失函数，和分别代表网络预测图像的分类概率分布和位置回归概率分布， 和分别代表图像y_i中真实的类别标签和位置标签；

步骤7-2：权值更新：通过反向传播更新权重的目的是为了最小化损失，将损失作为权值参数的函数，CNN需要计算损失相对于每个权值参数的偏导数，然后使用随机梯度下降(SGD)方法在梯度下降最快的方向迭代更新权值，直到满足参数停止更新的条件。