CN110188774B - 一种基于深度学习的电涡流扫描图像分类识别方法 - Google Patents

Abstract

本发明公开了一种基于深度学习的电涡流扫描图像分类识别方法，步骤为：S1、采集被测材料的电涡流扫描图像，并进行预处理；S2、构建训练样本与测试样本；S3、使用Sobel算子处理，得到去背景化的训练样本；S4、构建多个稀疏降噪自编码器，并初始化；S5、输入训练样本与去背景化的训练样本，对多个稀疏降噪自编码器进行无监督的逐层自学习预训练；S6、将多个训练好的稀疏降噪编码器的编码网络提取出来进行栈式组合构建栈式稀疏降噪自编码深度神经网络；S7、结合数据标签，使用BP算法与批量梯度下降法对深度神经网络进行微调；S8、将测试样本输入深度神经网络进行性能测试。该方法使隐含层提取到的图像特征能更加简明地反映材料缺陷，有利于分类准确率提高。

Description

一种基于深度学习的电涡流扫描图像分类识别方法

技术领域

本发明属于电涡流成像检测中的图像识别技术领域，具体涉及一种基于深度学习的电涡流扫描图像分类识别方法，特别是将深度学习应用于电涡流扫描图像的特征提取，并实现对电涡流扫描图像的自动分类识别。

背景技术

电涡流成像检测可以直观地反映被测导体材料缺陷，不仅便于生产人员进行直观的复检，也可根据扫描图像分析材料产生缺陷的原因，有利于生产工艺的改进。然而，在实际的电涡流成像检测中，由于工业现场环境复杂、被检材料表面条件较差、扫描装置振动、探头提离高度变化等因素，电涡流成像不可避免地收到各种噪声的干扰。因此，如何从低信噪比或受损的扫描图像中提取有效的特征，并对被检材料进行准确的缺陷分类识别一直是研究人员关注的问题。

目前对于电涡流检测缺陷分类识别，常规的方法主要由人工设计特征或依靠信号处理进行特征提取，再输入合适的分类器进行缺陷的分类识别。这依赖于检测人员对于检测信号的先验知识，特征质量和模型参数选择容易受人为主观影响，方法泛化性不强。同时，以上方法主要基于浅层模型进行特征提取与分类识别，难以提取较为本质、抽象的高阶特征，且难以逼近复杂非线性函数，在缺陷类型较多时分类能力不足。在工作环境复杂、强噪声干扰等情况下效果欠佳。

发明内容

本发明针对电涡流成像检测中扫描图像在低信噪比条件下的分类识别问题，在此提出一种基于深度学习的电涡流扫描图像分类识别方法，目的在于克服特征提取中人工设计特征的局限性，解决浅层模型在强噪声干扰下分类识别效果不理想的问题。本发明所提出方法将降稀疏性限制引入降噪自编码器(DenoisingAuto-Encoder,DAE)，构成稀疏降噪自编码器(Sparse DenoisingAuto-Encoder,SDAE)；同时使用Sober算子对训练样本图像进行进边缘检测，然后通过处理得到去背景化的电涡流扫描图像，进而使用训练样本与去背景化训练样本对多个自编码器进行无监督自学习预训练，然后利用自学习后的编码器构建栈式稀疏降噪自编码(Stacked Sparse DenoisingAuto-Encoder,SSDAE)深度神经网络。所构建的深度神经网络进过有监督微调后，可同时实现被检材料缺陷的特征自动提取与分类识别。

为实现本发明的目的，在此提供的一种基于深度学习的电涡流扫描图像分类识别方法，具体步骤如下：

S1、通过检测装置采集被测材料的电涡流扫描图像，并对采集图像进行归一化处理，形成灰度图，图像的分辨率为a×b；

S2、将每一幅电涡流扫描图像f_i∈R^a×b的像素值按列相连构成d×1的列向量，d＝a×b；将每类材料缺陷的扫描图像向量各自随机取3/4作为训练样本X(容量为m)，1/4作为测试样本Y(容量为n)，其表示如下：

S3、将训练集对应的图像通过Sober算子进行边缘检测，然后得到不包含边缘外背景的图像，同样，将图像构成M×1的列向量，得到去背景化训练样本X′；

S4、构建多个稀疏降噪自编码器；

S5、输入训练样本X、训练样本参考标签X′进行逐层无监督预训练；首先使用训练样本、训练样本参考标签训练第一个编码器，然后以第一个编码器隐含层的输出作为第二个编码器输入，训练第二个编码器，以此类推完成全部编码器的训练；

S6、将多个训练好的稀疏降噪编码器的编码网络提取出来进行栈式组合(初始化)，再加上LR层作为输出层构建包含多个隐含层的深度神经网络；其中，深度网络输入层神经元数等于样本数据维数d；隐含层数等于稀疏降噪自编码器数量，各隐含层神经元数分别等于对应编码器隐含层神经元数；LR层神经元数量为类别数；

S7、结合数据标签，使用BP算法与批量梯度下降法对对深度网络进行微调，完成微调的网络结合SoftMax分类器，可实现特征自动提取与分类识别；

S8、将测试样本Y输入深度神经网络进行特征提取与分类识别，测试网络性能。

进一步，步骤3所述的边缘检测，对训练样本去背景化处理的具体方法和步骤如下：

S31、根据Sober算子构建两个3×3的矩阵C_X，C_Y作为卷积核，其表达式如下：

S32、使用Cx，Cy和训练样本中对应的每一幅原始电涡流扫描图像f_i做卷积，分别得到横向梯度矩阵Gx_i＝Cx*f_i和纵向梯度矩阵Gy_i＝Cy*f_i，i＝1,2,…,N；

S33、计算图像的梯度值矩阵G_i＝Gx_i(|g_jk|)+Gy_i(|g_jk|)，G_i∈R^m×n；若矩阵中的每个梯度大于某个阈值(本发明取150)，该点为边缘点；

S34、将G_i∈R^m×n中的边缘点置为1，其余点置为0；由于电涡流成像检测的特性，电涡流扫描图像中的材料缺陷一般为封闭图形，因此边缘内侧的区域也置为1，代表缺陷区域；

S35、将G_i和f_i逐点相乘，得到去背景化训练样本X′＝{x′₁,x′₂,…,x′_N}，x′_i＝G_i*f_i。

进一步，步骤5所述的降噪自编码器预训练具体原理与步骤如下：

S51、将测试样本x_i添加噪声获得损坏数据

(噪声程度用噪声系数表示，为损坏数据的百分比)，并输入第一个编码器：编码器将

映射到隐藏层，获得特征表达h，特征表达h再映射到输出层，得到重构数据z_i，其表达式如下：

其中，W⁽¹⁾∈R^r×d表示输入至隐含层权重，b⁽¹⁾∈R^r×1为隐含层的输入偏置；W⁽²⁾∈R^{d ×r}表示隐含层至输出层权重，b⁽²⁾∈R^d×1为输出层的输入偏置；r为隐含层节点数量，s()表示Sigmoid激活函数；

S52、求出该编码器的代价函数值：本发明为使学习到的特征能更好表征被测材料缺陷，在栈式降噪自编码基础上做出改进，要求第一个编码器能重构出去背景化图像；且为使编码器能学习到更加简明的稀疏特征，在降噪自编码器的基础上引入稀疏性限制，形成稀疏降噪自编码器；因此编码器的代价函数如下所示：

上式中第一项为均方误差项，第二项为正则化项，其目的是尽量减小权重的大小，防止过度拟合，第三项为稀疏限制项，表达式如下：

其中z_i ^(j)表示输入

的输出，

表示第i个去背景化训练样本的第j个参数；λ为权值衰减系数；l为网络层数；

为第k层与k+1层之间，第j个神经元与第i个神经元的网络权重值；

S53、使用BP算法最小化代价函数J(W,b)，得到该编码器模型的最优解W和b，同时采用批量梯度下降法在每次迭代时更新权重值。更新过程如下所示：

S54、第一个编码器训练完成后，将其隐含层输出h作为第二个编码器的输入训练第二个编码器，以此类推直到所有编码器训练完成。需要注意的是，除第一个编码器外，其他编码器只要求能重构出输入特征，其代价函数如下：

其中

表示该编码器输出的输出参数，

表示上一个编码器隐含层第i个输出的第j个参数；求解和更新W和b的过程同步骤S53。

与现有技术相比，本发明的优点和积极效果在于：

1、本发明首先通过Sobel算子处理，得到去背景化的训练样本。在对稀疏降噪自编码器进行无监督预训练时，要求编码器能重构出去背景的电涡流扫描图像，使隐含层提取到的图像特征能更加简明地反映材料缺陷，有利于分类准确率提高。

2、同时，引入稀疏性限制的降噪自编码器能在强噪声干扰下学习到本质、简明的图像特征，具有较好抗噪性。具有以上特性的自编码器栈式组合构建出的深度神经网络也具有较强抗干扰能力，在不同工况下均能有效地对钛板缺陷进行分类识别，相比其他常规方法具有更强的鲁棒性。

3、该方法无需人工设计特征或依靠信号处理技术的先验知识，而是通过自学习方式提取特征。

附图说明

图1为基于深度学习的电涡流扫描图像方法流程图；

图2为本发明描述的试件、裂纹的具体尺寸图；

图3为电涡流扫描图像样本示意图；

图4为降噪自编码器结构图；

图5为栈式稀疏降噪自编码深度神经网络结构及训练示意图；

图6为不同方法特征提取效果对比图，(a)为PCA方法的特征散点图，(b)为SSDAE方法的特征散点；

图7为不同方法的分类识别效果对比图。

具体实施方式

下面结合附图和具体实施例，对本发明作进一步说明。

如图1所示，一种基于深度学习的电涡流扫描图像分类识别方法，其步骤如下：

S1、通过检测装置采集被测材料进行多次扫描，得到9类，每类270幅电涡流扫描图像，并对采集图像进行归一化处理，形成灰度图，图像的分辨率为40×20。其中被测材料为3mm厚的TC3钛合金板材试件，试件上采用电火花放电加工了长度和深度不同的裂纹模拟材料缺陷。试件、裂纹的具体尺寸如图2与表1所示，每一类裂纹的电涡流扫描图像如图3所示；

表1试件裂纹参数

S2、将每一幅电涡流扫描图像f_i∈R^40×20的像素值按列相连构成800×1的列向量；将每类材料缺陷的扫描图像向量各自随机取3/4作为训练样本X(容量为1800)，1/4作为测试样本Y(容量为630)，其表示如下：

X＝{x₁,x₂,…,x₁₈₀}＝(x_ij)_800×1800，x_i＝{x_1i,x_2i,…,x_800i}^T

Y＝{y₁,y₂,…,y₆₃₀}＝(y_ij)_800×630，y_i＝{y_1i,y_2i,…,y_800i}^T

S3、如图4所示，将训练集对应的图像通过Sober算子进行边缘检测，然后得到不包含边缘外背景的图像，同样，将图像构成800×1的列向量，得到去背景化训练样本X′；

S4、构建3个稀疏降噪自编码器并初始化。稀疏降噪自编码器结构如图3所示，稀疏降噪自编码器可以视为一个输入和输出层神经元数相同，而隐含层神经元数量小于另外两层的三层神经网络；为了防止网络的过拟合而在输入层加入随机噪声，并在训练中要求自编码器能学习到压缩的特征并重构出不含噪声的原始输入；为使压缩特征更加简明，引入稀疏性限制，在一定程度上抑制输出接近于0的隐含层神经元；

S5、如图4所示，构建多个稀疏降噪自编码器并初始化后，输入训练样本X、训练样本参考标签X′进行逐层无监督预训练。首先使用训练样本、训练样本参考标签训练第一个编码器，然后以第一个编码器隐含层的输出作为第二个编码器输入，训练第二个编码器，以此类推完成全部编码器的训练；

S6、如图4所示，将3个训练好的稀疏降噪编码器的编码网络提取出来进行栈式组合(初始化)，再加上LR层作为输出层构建包含3个隐含层的深度神经网络。其中，深度网络输入层神经元数等于样本数据维数800；隐含层数等于稀疏降噪自编码器数3，各隐含层神经元数分别等于对应编码器隐含层神经元数400/200/100，最后一个隐含层输出的提取的特征；LR层神经元数量为被测试件裂纹类别数9。

S7、结合数据标签，使用BP算法与批量梯度下降法对对深度网络进行微调，完成微调的网络结合SoftMax分类器，可实现特征自动提取与分类识别。

S8、将测试样本Y输入深度神经网络进行特征提取与分类识别，测试网络性能。

进一步，S3所述的边缘检测，对训练样本去背景化处理的具体方法和步骤如下：

S31、根据Sober算子构建两个3×3的矩阵C_X，C_Y作为卷积核，其表达式如下：

S32、使用Cx，Cy和训练样本中对应的每一幅原始电涡流扫描图像f_i做卷积，分别得到横向梯度矩阵Gx_i＝Cx*f_i和纵向梯度矩阵Gy_i＝Cy*f_i，i＝1,2,…,1800；

S33、计算图像的梯度值矩阵G_i＝Gx_i(|g_jk|)+Gy_i(|g_jk|)，G_i∈R^40×20；若矩阵中的每个梯度大于某个阈值(本发明取150)，该点为边缘点；

S34、将G_i∈R^40×20中的边缘点置为1，其余点置为0；由于电涡流成像检测的特性，电涡流扫描图像中的材料缺陷一般为封闭图形，因此边缘内侧的区域也置为1，代表缺陷区域；

S35、将G_i和f_i逐点相乘，得到去背景化训练样本X′＝{x′₁,x′₂,…,x′₁₈₀₀}，x′_i＝G_i*f_i。

进一步，S5所述的降噪自编码器预训练具体原理与步骤如下：

S51、将测试样本x_i添加噪声获得损坏数据

并输入第一个编码器：编码器将

映射到隐藏层，获得特征表达h，特征表达h再映射到输出层，得到重构数据z_i，其表达式如下：

其中，W⁽¹⁾∈R^r×d表示输入至隐含层权重，b⁽¹⁾∈R^r×1为隐含层的输入偏置；W⁽²⁾∈R^{d ×r}表示隐含层至输出层权重，b⁽²⁾∈R^d×1为输出层的输入偏置；r为隐含层节点数量，s()表示Sigmoid激活函数；

S52、求出该编码器的代价函数值：本发明为使学习到的特征能更好表征被测材料缺陷，在栈式降噪自编码基础上做出改进，要求第一个编码器能重构出去背景化图像；且为使编码器能学习到更加简明的稀疏特征，在降噪自编码器的基础上引入稀疏性限制，形成稀疏降噪自编码器；因此编码器的代价函数如下所示：

上式中第一项为均方误差项，第二项为正则化项，其目的是尽量减小权重的大小，防止过度拟合，第三项为稀疏限制项，表达式如下：

其中z_i ^(j)表示输入

的输出，

表示第i个去背景化训练样本的第j个参数；λ为权值衰减系数；l为网络层数；

为第k层与k+1层之间，第j个神经元与第i个神经元的网络权重值；

S53、使用BP算法最小化代价函数J(W,b)，得到该编码器模型的最优解W和b，同时采用批量梯度下降法在每次迭代时更新权重值。更新过程如下所示：

S54、第一个编码器训练完成后，将其隐含层输出h作为第二个编码器的输入训练第二个编码器，以此类推直到所有编码器训练完成。需要注意的是，除第一个编码器外，其他编码器只要求能重构出输入特征，其代价函数如下：

其中

表示该编码器输出的输出参数，

表示上一个编码器隐含层第i个输出的第j个参数；求解和更新W和b的过程同步骤S54。

进一步，为了本发明方法的有效性，使用训练完成后的SSDAE深度神经网络模型对电涡流图像进行特征提取与分类识别测试，步骤S8的具体测试过程与效果如下：

1)测试使用X,X′进行训练，使用Y进行测试。测试的SSDAE深度神经网络的关键参数如表2所示。

表2网络参数

2)首先对比本发明方法的特征提取效果。测试使用PCA与本发明方法进行对比，为了直观展示特征的分布情况，将特征映射至三维特征向量，如图5所示。可以看出，PCA提取的图像特征相对混杂，然而，在基于深度架构的SSDAE方法同类缺陷特征聚集明显，且对于不同缺陷，特征之间的交叉与重合程度较小。

3)使用提取的特征输入LR层与sofmax分类器进行分类识别，本次测试使用PCA+SVM、PCA+BP神经网络与发明方法进行对比，分类准确率分别为96.98％、91.11％、99.84％，表面本发明方法分类识别性能优于传统方法。

4)为了更进一步验证SSDAE深度神经网络的鲁棒性，进行了不同工况下的对比测试，同样使用PCA+SVM、PCA+BP神经网络与发明方法进行对比。在实际生产中，工况和工作环境的改变，往往会对检测产生不同程度的噪声干扰。为模拟不同的工况环境，将测试样本加入不同程度的高斯白噪声，信噪比为10dB～32dB，间隔为2dB。在不同信噪比下的电涡流检测图像如图6所示。将包含不同程度噪声的图像输入训练好的模型进行分类识别测试，结果如图7所示。

从图7可以看出，在信噪比大于24dB时，3种方法均有相对较高的识别率，最高分别为96.98％、88.89％、99.84％。但随着信噪比的减小，各类方法识别准确率出现明显的下降趋势。但值得注意的是，SSDAE方法的准确率下降较其他方法不明显，说明该方法在输入受损或含有强噪声的情况下也能提取到合适的特征并准确进行分类，能有效抑制环境噪声影响，具有更强的鲁棒性。

上面结合附图对本发明的具体实施例作了详细说明，但是本发明并不限于上述实施例，在本领域普通技术人员所具备的知识范围内，还可以在不脱离本发明宗旨的前提下作出各种变化。

Claims (3)

1.一种基于深度学习的电涡流扫描图像分类识别方法，其特征在于，包括以下步骤：

S1、通过检测装置采集被测材料的电涡流扫描图像，并对采集图像进行归一化处理，形成灰度图，图像的分辨率为a×b；

S2、将每一幅电涡流扫描图像f_i∈R^a×b的像素值按列相连构成d×1的列向量，d＝a×b；将每类材料缺陷的扫描图像向量各自随机取3/4作为训练样本X，容量为m，1/4作为测试样本Y，容量为n，其表示如下：

x_i＝{x_1i,x_2i,…,x_di}^T

y_i＝{y_1i,y_2i,…,y_di}^T

S3、将训练集对应的图像通过Sober算子进行边缘检测，然后得到不包含边缘外背景的图像，同样，将图像构成M×1的列向量，得到去背景化训练样本X′；

S4、构建多个稀疏降噪自编码器；

S5、输入训练样本X、训练样本参考标签X′进行逐层无监督预训练；首先使用训练样本、训练样本参考标签训练第一个编码器，然后以第一个编码器隐含层的输出作为第二个编码器输入，训练第二个编码器，以此类推完成全部编码器的训练；

S6、将多个训练好的稀疏降噪编码器的编码网络提取出来进行栈式组合，再加上LR层作为输出层构建包含多个隐含层的深度神经网络；其中，深度网络输入层神经元数等于样本数据维数d；隐含层数等于稀疏降噪自编码器数量，各隐含层神经元数分别等于对应编码器隐含层神经元数；LR层神经元数量为类别数；

S7、结合数据标签，使用BP算法与批量梯度下降法对深度网络进行微调，完成微调的网络结合SoftMax分类器，可实现特征自动提取与分类识别；

S8、将测试样本Y输入深度神经网络进行特征提取与分类识别，测试网络性能。

2.根据权利要求1所述的一种基于深度学习的电涡流扫描图像分类识别方法，其特征在于步骤S3所述的边缘检测，对训练样本去背景化处理的具体方法和步骤如下：

S31、根据Sober算子构建两个3×3的矩阵C_X，C_Y作为卷积核，其表达式如下：

S32、使用Cx，Cy和训练样本中对应的每一幅原始电涡流扫描图像f_i做卷积，分别得到横向梯度矩阵Gx_i＝Cx*f_i和纵向梯度矩阵Gy_i＝Cy*f_i，i＝1,2,…,N；

S33、计算图像的梯度值矩阵G_i＝Gx_i(|g_jk|)+Gy_i(|g_jk|)，G_i∈R^m×n；若矩阵中的某个梯度大于设定的阈值，该梯度对应的图像位置为边缘点；

S34、将G_i∈R^m×n中的边缘点置为1，其余点置为0；由于电涡流成像检测的特性，电涡流扫描图像中的材料缺陷一般为封闭图形，因此边缘内侧的区域也置为1，代表缺陷区域；

S35、将G_i和f_i逐点相乘，得到去背景化训练样本X′＝{x′₁，x′₂,…,x′_N}，x′_i＝G_i*f_i。

3.根据权利要求1所述的一种基于深度学习的电涡流扫描图像分类识别方法，其特征在于步骤S5所述的降噪自编码器预训练具体原理与步骤如下：

S51、将测试样本x_i添加噪声获得损坏数据

并输入第一个编码器：编码器将

映射到隐藏层，获得特征表达h，特征表达h再映射到输出层，得到重构数据z_i，其表达式如下：

其中，W⁽¹⁾∈R^r×d表示输入至隐含层权重，b⁽¹⁾∈R^r×1为隐含层的输入偏置；W⁽²⁾∈R^d×r表示隐含层至输出层权重，b⁽²⁾∈R^d×1为输出层的输入偏置；r为隐含层节点数量，s()表示Sigmoid激活函数；

S52、求出该编码器的代价函数值：编码器的代价函数如下所示：

上式中第一项为均方误差项，第二项为正则化项，其目的是尽量减小权重的大小，防止过度拟合，第三项为稀疏限制项，表达式如下：

其中z_i ^(j)表示输入

的输出，x′_i ^(j)表示第i个去背景化训练样本的第j个参数；λ为权值衰减系数；l为网络层数；

为第k层与k+1层之间，第j个神经元与第i个神经元的网络权重值；

S53、使用BP算法最小化代价函数J(W,b)，得到该编码器模型的最优解W和b，同时采用批量梯度下降法在每次迭代时更新权重值，更新过程如下所示：

S54、第一个编码器训练完成后，将其隐含层输出h作为第二个编码器的输入训练第二个编码器，以此类推直到所有编码器训练完成；除第一个编码器外，其他编码器只要求能重构出输入特征，其代价函数如下：

其中

表示该编码器输出的输出参数，

表示上一个编码器隐含层第i个输出的第j个参数；求解和更新W和b的过程同步骤S53。

Images