CN111899225A - 基于多尺度金字塔结构的核电管道缺陷检测方法 - Google Patents

Abstract

一种基于多尺度金字塔结构的核电管道缺陷检测方法，包括：对射线探伤底片图像进行预处理；构建全卷积神经网络，所述的全卷积神经网络为特征金字塔结构，特征金字塔结构分自底向上和自顶向下的两部分，选取Adam优化器对构建的全卷积神经网络进行梯度更新，再使用Focal Loss损失函数对梯度更新后的全卷积神经网络进行训练；对训练好的全卷积神经网络进行测试，全卷积神经网络输出概率图，对所述的概率图进行阈值二值化处理，得到缺陷区域的二值化图像，作为核电管道缺陷检测结果。本发明应用于辅助工业生产中评片人员来快速检测缺陷区域进行分类评定，通过分析数字扫描的探伤底片图像，实现对有缺陷区域的快速判别，提高检测效率，节约生产时间成本。

Description

基于多尺度金字塔结构的核电管道缺陷检测方法

技术领域

本发明涉及一种核电管道缺陷检测。特别是涉及一种基于多尺度金字塔结构的核电管道缺陷检测方法。

背景技术

核能是一种经济、安全、可靠、清洁的能源，只需要以天然铀为资源，理论上不会导致温室气体的排放和环境污染。发展核电，必须解决好核电厂的安全问题。虽然其在生产、检查验收以及安装焊接时会采取严格的控制，但是仍然避免不了在材料内部以及焊接连接部位存在内部缺陷，会逐渐缓慢地萌生、扩展并长大，逐步形成表面、贯穿裂纹，并最终发生破裂。这将会严重威胁到周建筑结构、核电安全设备和工作人员的安全，甚至会带来核泄漏等严重的次生灾害。鉴于核电装备内部缺陷带来的严重后果，因此针对核岛装备产品探伤检测的研究非常必要。射线探伤是利用某种射线来检查铸件及焊缝内部缺陷的一种方法，对于常用的工业射线探伤来说，一般使用的是X射线探伤和γ射线探伤。

近年来，随着工业胶片扫描仪在实际中越来越广泛的应用，同时深度学习在图像上近年来也取得了巨大成功，使得对于工业生产中数字探伤底片图像的分析检测提供了基础。深度学习中神经网络的多层构架使其可以逐层的提取原始数据中隐藏的高级抽象特征，这使得神经网络可以直接面对原始数据进行训练。

由于射线检测时需要将每一张底片与标准样片进行比对，从初评到复评，人工检测的方法使得相关评片人员工作量巨大，不仅需耗费大量的人力物力财力，增加了生产的时间成本，同时还潜在着准确率不高的问题。

发明内容

本发明所要解决的技术问题是，提供一种能够提高检测效率，节约生产时间成本的基于多尺度金字塔结构的核电管道缺陷检测方法。

本发明所采用的技术方案是：一种基于多尺度金字塔结构的核电管道缺陷检测方法，包括如下步骤：

1)对射线探伤底片图像进行预处理；

2)构建全卷积神经网络，所述的全卷积神经网络为特征金字塔结构，特征金字塔结构分自底向上和自顶向下的两部分，其中，自底向上的部分为特征提取部分由ResNet50构成，自顶向下的部分为特征图上采样层，用于将ResNet50输出的特征进行融合并生成最终的概率图输出，选取Adam优化器对构建的全卷积神经网络进行梯度更新，再使用FocalLoss损失函数对梯度更新后的全卷积神经网络进行训练；

3)对训练好的全卷积神经网络进行测试，将需要提供检测的射线底片图像进行预处理后输入到训练好的全卷积神经网络中，全卷积神经网络输出概率图，所述概率图大小与预处理前射线探伤底片图像大小相同，设置阈值0.5，对所述的概率图进行阈值二值化处理，得到缺陷区域的二值化图像，作为核电管道缺陷检测结果。

本发明的基于多尺度金字塔结构的核电管道缺陷检测方法，利用计算机辅助对探伤底片图像中缺陷区域检测，结合专业评片人员的经验知识与判片习惯，构建卷积神经网络的多尺度特金字塔训练模型，分割出特定的缺陷区域，实现对探伤底片图像中缺陷区域的准确快速检测。本发明可应用于辅助工业生产中判片人员来快速检测缺陷区域进行分类评定，通过分析数字扫描的探伤底片图像，实现对有缺陷区域的快速判别，提高检测效率，节约生产时间成本。

附图说明

图1是本发明基于多尺度金字塔结构的核电管道缺陷检测方法中的训练流程图；

图2是本发明基于多尺度金字塔结构的核电管道缺陷检测方法中的测试流程图。

具体实施方式

下面结合实施例和附图对本发明的基于多尺度金字塔结构的核电管道缺陷检测方法做出详细说明。

本发明的基于多尺度金字塔结构的核电管道缺陷检测方法，首先通过在经过灰度处理与中值滤波的预处理后，构建训练集与测试集，利用带有多尺度助推的金字塔网络模型进行训练，实现同一物理尺度下不同尺度的特征图共享，精细化分割缺陷区域，最终实现缺陷区域的精确分割。

本发明的基于多尺度金字塔结构的核电管道缺陷检测方法，包括如下步骤：

1)对射线探伤底片图像进行预处理；包括：

(1)获得射线探伤底片图像数据集后，对每一张射线探伤底片图像进行灰度处理；

所述的灰度处理是利用加权平均法对射线探伤底片图像的RGB的三个分量加权平均，得到最终灰度值Gray：

Gray＝0.3R+0.6G+0.1B

其中，R、G和B分别表示射线探伤底片图像的三个分量。

(2)对每一张射线探伤底片图像使用中值滤波算法来处理射线探伤底片图像中的噪声；

所述的中值滤波算法，是采用一个活动窗口沿射线底片图像移动，将活动窗口内各点灰度值按照逐渐增大或者减小方式排列，最后用活动窗口内灰度值排列顺序的中间值代替活动窗口中心位置的像素灰度值，修正噪声点处的像素值，实现射线探伤底片图像的噪声滤除；

如，对于一幅二维图像{X_d,j,(i,j)∈Z²}，Z表示整数集，选取一个尺寸大小为N＝(2k+1)(2k+1)的滤波窗口，k表示为选取的整数值，中值滤波算法定义为：

Y＝Mid{X_d＝r,j＝s(r,s)∈A}

其中A为滤波窗口，Mid表示对滤波窗口中所有像素排序后取中值。

(3)由专业评片人员对射线探伤底片图像X_i进行缺陷区域的手工标注，然后根据手工标注的结果生成与射线探伤底片图像X_i对应的掩膜图像Y_i。

2)构建全卷积神经网络，所述的全卷积神经网络为特征金字塔结构，特征金字塔结构分自底向上和自顶向下的两部分，自底向上的部分为特征提取部分由ResNet50构成，自顶向下的部分为特征图上采样层，用于将ResNet50输出的特征进行融合并生成最终的概率图输出，其中，

所述ResNet50，共分为五级，其中，第一级无输出，第二级最后一个残差块conv2的输出为C2，第三级最后一个残差块conv3的输出为C3，第四级最后一个残差块conv4的输出为C4，第五级最后一个残差块conv5的输出为C5，并且输出C2、C3、C4和C5相对于输入图像依次具有4、8、16和32像素的步长提取特征；

自底向上的部分的ResNet参考了VGG19网络，在其基础上进行了修改，并通过短路机制加入了残差单元，利用残差学习来解决退化问题。直接使用步长为2的卷积做下采样，并且用global average pool层替换了全连接层，相比普通网络每两层间增加了短路机制，这就形成了残差学习，当网络更深时，其进行的是三层间的残差学习，三层卷积核分别是1×1，3×3和1×1。

对于一个堆积层结构，输入为x时学习到的特征记为H(x)，可以学习到残差F(x)＝H(x)–x。因为残差学习相比原始特征直接学习更容易。当残差为0时，此时堆积层仅仅做了恒等映射，网络性能不会下降，实际上残差不会为0，这也会使得堆积层在输入特征基础上学习到新的特征，从而拥有更好的性能。

残差单元可以表示为：

y_l＝h(x_l)+F(x_l,W_l)

x_l+1＝f(y_l)

其中x_l和x_l+1分别表示的是第l个残差单元的输入和输出，f是ReLU激活函数，基于上式，求得从浅层l到深层L的学习特征为：

利用链式规则，可以求得反向过程的梯度：

式子的第一个因子

表示的损失函数到达L的梯度，小括号中的1表明短路机制可以无损地传播梯度。

所述的ResNet50中的每个卷积层后面都依次连接一个批归一化层、一个ReLU非线性激活层和一个池化操作层；

每个卷积层都依据以下公式来提取特征图：

其中

为向下取整，x_in表示输入特征图大小，x_out表示输出特征图大小，padding表示填充特征图像素点的大小，s表示步长，b表示卷积的核大小；

ReLU非线性激活层给神经元引入了非线性因素，ReLU非线性激活层公式如下：

f(x)＝max(0,x)

批归一化就是通过规范化函数，将全卷积神经网络的每一层中的任意神经元输入值的分布强行拉回到均值为0方差为1的标准正态分布，所述规范化函数如下式：

式中，

其中，λ_d为第d个神经元原始激活值，

为经过规范化操作后的规范值；η是通过神经元集合S中包含的r个神经元各自的激活值求出的均值，τ是为了增加训练稳定性而加入的小的常量数据，

为根据均值和集合S中神经元各自激活值求出的激活值标准差，

和ρ_d表示在训练过程中神经元学习到对应的两个调节因子；

所述的池化操作层用于对ReLU非线性激活层的输出进行特征融合和降维，池化操作层公式如下：

其中

为向下取整，x_in表示输入特征图大小，x_out表示输出特征图大小，padding表示填充特征图像素点的大小，s表示步长，e表示池化窗口大小；

在池化操作层中，采用如下公式实现全卷积神经网络中池化操作梯度的计算：

其中，loss表示为损失函数值，Pooling_in表示为池化操作层输入，Pooling_out表示为池化操作层输出，Pooling.backward表示为池化操作层的反向传播。

所述自顶向下的部分的特征图上采样层，是通过双线性插值方法得到高分辨率特征图后，再依次采用一个1×1卷积核和一个3×3卷积核进行维度一致的处理，最后再通过跳跃连接分别与所述的输出C2、C3、C4和C5相加。

上采样层使用的是双线性插值，关于线性插值的解释是，已知数据(a₀,w₀)与(a₁,w₁)，计算[a₀,a₁]区间内某一位置a在直线上的w值：

双线性插值是有两个变量的插值函数的线性插值扩展，核心思想是在两个方向分别进行一次线性插值。例如需要得到未知函数f在点P＝(a,w)的值，假设我们已知函数f在Q₁₁＝(a₁,w₁)、Q₁₂＝(a₁,w₂),Q₂₁＝(a₂,w₁)以及Q₂₂＝(a₂,w₂)四个点的值。分别在a方向和w方向进行线性插值，得到最后结果：

并选取Adam优化器对构建的全卷积神经网络进行梯度更新，更新规则如下：

(1)计算t时间梯度的指数移动平均数

首先计算梯度

其中，g_t表示在t时间步上对参数θ_t所求的梯度，

表示梯度算子，J(θ_t-1)表示一个可微分的随机标量函数；

根据梯度计算t时间梯度的指数移动平均数m_t，公式如下：

m_t＝β₁m_t-1+(1-β₁)g_t

将一阶矩向量m初始化为0，β₁为指数衰减率，默认为0.9，用于控制权重分配；

(2)计算梯度平方的指数移动平均数v_t，公式如下：

将二阶矩向量v初始化为0，β₂为指数衰减率，默认为0.999，用于控制之前的梯度平方的影响情况；

(3)由于一阶矩向量m初始化为0，会导致t时间梯度的指数移动平均数m_t偏向于0，要对t时间梯度的指数移动平均数m_t进行偏差纠正，降低偏差对训练初期的影响：

其中，

为进行偏差纠正后的梯度均值；

(4)因为二阶矩向量v初始化为0导致训练初始阶段梯度平方的指数移动平均数v_t偏向0，对梯度平方的指数移动平均数进行纠正，公式如下：

其中，

为进行偏差纠正后的二阶原始矩估计；

(5)更新网络的参数θ_t，公式如下：

其中，α为学习率，默认学习率α的初始值为0.001，θ_t-1为更新前的网络的参数，常数ε＝10^-8，避免除数变为0；

在对全卷积神经网络进行训练时，随着训练次数的增加，学习率α逐渐衰减，衰减公式为：

其中，decayrate表示为衰减率，epoch_num表示为训练的次数，α₀表示为初始学习率。

再使用Focal Loss损失函数对梯度更新后的全卷积神经网络进行训练，其中，所述的FocalLoss损失函数是基于交叉熵损失CE的改进，所述的交叉熵损失CE表达式如下：

其中p表示预测概率，label表示标签值；

而射线探伤底片图像中缺陷区域在整幅图像中的占比较小，因此在交叉熵损失CE的表达式中加上一个参数ξ，即：

加上超参数γ，得到所述的Focal Loss损失函数L_fl，公式为：

其中，超参数γ使得减少易分类射线探伤底片图像的损失，使得全卷积神经网络更关注于困难的、错分的射线探伤底片图像，ξ来平衡类别不均衡。

对梯度更新后的全卷积神经网络进行训练，训练流程图如图1所示，训练时，输入为预处理后的射线探伤底片图像数据集中的图像，使用批处理大小设置为16，经过50轮训练后得到最终训练好的全卷积神经网络。

3)对训练好的全卷积神经网络进行测试，测试流程图如图2所示，将需要提供检测的射线底片图像进行预处理后输入到训练好的全卷积神经网络中，全卷积神经网络输出概率图，所述概率图大小与预处理前射线探伤底片图像大小相同，设置阈值0.5，对所述的概率图进行阈值二值化处理，得到缺陷区域的二值化图像，作为核电管道缺陷检测结果。

Claims (9)

1.一种基于多尺度金字塔结构的核电管道缺陷检测方法，其特征在于，包括如下步骤：

1)对射线探伤底片图像进行预处理；

2)构建全卷积神经网络，所述的全卷积神经网络为特征金字塔结构，特征金字塔结构分自底向上和自顶向下的两部分，其中，自底向上的部分为特征提取部分由ResNet50构成，自顶向下的部分为特征图上采样层，用于将ResNet50输出的特征进行融合并生成最终的概率图输出，选取Adam优化器对构建的全卷积神经网络进行梯度更新，再使用Focal Loss损失函数对梯度更新后的全卷积神经网络进行训练；

3)对训练好的全卷积神经网络进行测试，将需要提供检测的射线底片图像进行预处理后输入到训练好的全卷积神经网络中，全卷积神经网络输出概率图，所述概率图大小与预处理前射线探伤底片图像大小相同，设置阈值0.5，对所述的概率图进行阈值二值化处理，得到缺陷区域的二值化图像，作为核电管道缺陷检测结果。

2.根据权利要求1所述的基于多尺度金字塔结构的核电管道缺陷检测方法，其特征在于，步骤1)包括：

(1)获得射线探伤底片图像数据集后，对每一张射线探伤底片图像进行灰度处理；

(2)对每一张射线探伤底片图像使用中值滤波算法来处理射线探伤底片图像中的噪声；

(3)由专业评片人员对射线探伤底片图像X_i进行缺陷区域的手工标注，然后根据手工标注的结果生成与射线探伤底片图像X_i对应的掩膜图像Y_i。

3.根据权利要求2所述的基于多尺度金字塔结构的核电管道缺陷检测方法，其特征在于，第(1)步所述的灰度处理是利用加权平均法对射线探伤底片图像的RGB的三个分量加权平均，得到最终灰度值Gray：

Gray＝0.3R+0.6G+0.1B

其中，R、G和B分别表示射线探伤底片图像的三个分量。

4.根据权利要求2所述的基于多尺度金字塔结构的核电管道缺陷检测方法，其特征在于，第(2)步所述的中值滤波算法，是采用一个活动窗口沿射线底片图像移动，将活动窗口内各点灰度值按照逐渐增大或者减小方式排列，最后用活动窗口内灰度值排列顺序的中间值代替活动窗口中心位置的像素灰度值，修正噪声点处的像素值，实现射线探伤底片图像的噪声滤除。

5.根据权利要求1所述的基于多尺度金字塔结构的核电管道缺陷检测方法，其特征在于，步骤2)中所述ResNet50，共分为五级，其中，第一级无输出，第二级最后一个残差块conv2的输出为C2，第三级最后一个残差块conv3的输出为C3，第四级最后一个残差块conv4的输出为C4，第五级最后一个残差块conv5的输出为C5，并且输出C2、C3、C4和C5相对于输入图像依次具有4、8、16和32像素的步长提取特征；

所述的特征图上采样层，是通过双线性插值方法得到高分辨率特征图后，再依次采用一个1×1卷积核和一个3×3卷积核进行维度一致的处理，最后再通过跳跃连接分别与所述的输出C2、C3、C4和C5相加。

6.根据权利要求1所述的基于多尺度金字塔结构的核电管道缺陷检测方法，其特征在于，步骤2)中所述的ResNet50中的每个卷积层后面都依次连接一个批归一化层、一个ReLU非线性激活层和一个池化操作层；

每个卷积层都依据以下公式来提取特征图：

其中

为向下取整，x_in表示输入特征图大小，x_out表示输出特征图大小，padding表示填充特征图像素点的大小，s表示步长，b表示卷积的核大小；

ReLU非线性激活层给神经元引入了非线性因素，ReLU非线性激活层公式如下：

f(x)＝max(0,x)

批归一化就是通过规范化函数，将全卷积神经网络的每一层中的任意神经元输入值的分布强行拉回到均值为0方差为1的标准正态分布，所述规范化函数如下式：

式中，

其中，λ_d为第d个神经元原始激活值，

为经过规范化操作后的规范值；η是通过神经元集合S中包含的r个神经元各自的激活值求出的均值，τ是为了增加训练稳定性而加入的小的常量数据，

为根据均值和集合S中神经元各自激活值求出的激活值标准差，

和ρ_d表示在训练过程中神经元学习到对应的两个调节因子；

所述的池化操作层用于对ReLU非线性激活层的输出进行特征融合和降维，池化操作层公式如下：

其中

为向下取整，x_in表示输入特征图大小，x_out表示输出特征图大小，padding表示填充特征图像素点的大小，s表示步长，e表示池化窗口大小；

在池化操作层中，采用如下公式实现全卷积神经网络中池化操作梯度的计算：

其中，loss表示为损失函数值，Pooling_in表示为池化操作层输入，Pooling_out表示为池化操作层输出，Pooling.backward表示为池化操作层的反向传播。

7.根据权利要求1所述的基于多尺度金字塔结构的核电管道缺陷检测方法，其特征在于，步骤2)中所述的选取Adam优化器对构建的全卷积神经网络进行梯度更新，更新规则如下：

(1)计算t时间梯度的指数移动平均数

首先计算梯度

其中，g_t表示在t时间步上对参数θ_t所求的梯度，

表示梯度算子，J(θ_t-1)表示一个可微分的随机标量函数；

根据梯度计算t时间梯度的指数移动平均数m_t，公式如下：

m_t＝β₁m_t-1+(1-β₁)g_t

将一阶矩向量m初始化为0，β₁为指数衰减率，默认为0.9，用于控制权重分配；

(2)计算梯度平方的指数移动平均数v_t，公式如下：

将二阶矩向量v初始化为0，β₂为指数衰减率，默认为0.999，用于控制之前的梯度平方的影响情况；

(3)由于一阶矩向量m初始化为0，会导致t时间梯度的指数移动平均数m_t偏向于0，要对t时间梯度的指数移动平均数m_t进行偏差纠正，降低偏差对训练初期的影响：

其中，

为进行偏差纠正后的梯度均值；

(4)因为二阶矩向量v初始化为0导致训练初始阶段梯度平方的指数移动平均数v_t偏向0，对梯度平方的指数移动平均数进行纠正，公式如下：

其中，

为进行偏差纠正后的二阶原始矩估计；

(5)更新网络的参数θ_t，公式如下：

其中，α为学习率，默认学习率α的初始值为0.001，θ_t-1为更新前的网络的参数，常数ε＝10^-8，避免除数变为0；

在对全卷积神经网络进行训练时，随着训练次数的增加，学习率α逐渐衰减，衰减公式为：

其中，decayrate表示为衰减率，epoch_num表示为训练的次数，α₀表示为初始学习率。

8.根据权利要求1所述的基于多尺度金字塔结构的核电管道缺陷检测方法，其特征在于，步骤2)中所述的Focal Loss损失函数是基于交叉熵损失CE的改进，所述的交叉熵损失CE表达式如下：

其中p表示预测概率，label表示标签值；

而射线探伤底片图像中缺陷区域在整幅图像中的占比较小，因此在交叉熵损失CE的表达式中加上一个参数ξ，即：

加上超参数γ，得到所述的Focal Loss损失函数L_fl，公式为：

其中，超参数γ使得减少易分类射线探伤底片图像的损失，使得全卷积神经网络更关注于困难的、错分的射线探伤底片图像，ξ来平衡类别不均衡。

9.根据权利要求1所述的基于多尺度金字塔结构的核电管道缺陷检测方法，其特征在于，步骤2)对全卷积神经网络训练中，输入为预处理后的射线探伤底片图像数据集中的图像，使用批处理大小设置为16，经过50轮训练后得到最终训练好的全卷积神经网络。

Images