CN114419007A - 多策略融合深度学习网络模型的缺陷类型识别方法及系统 - Google Patents

Abstract

本发明公开了一种多策略融合深度学习网络模型的缺陷类型识别方法及系统，采用多策略融合预处理，对于输入待分类缺陷图像I(x,y)，采用多策略图像增强方法，得到输出图像；对输出图像进行缺陷特点分析，对图像构建几何特征作为第一先验特征向量，构建5个几何特征作为缺陷的几何先验特征；基于几何先验特征给出区别各类缺陷的先验信息，构建纹理特征作为第二先验特征向量；采用ReliefF算法对特征图上的特征进行特征重要性度量，然后基于特征重要性进行池化；根据第一个先验特征向量和第二先验特征向量，基于ReliefF‑Pooling方法构建融合预处理及模式分类策略的CNN模型，利用CNN模型对缺陷类型进行识别。本发明能够解决当前CNN模型存在的问题，提升多尺度缺陷的分类精度。

Description

多策略融合深度学习网络模型的缺陷类型识别方法及系统

技术领域

本发明属于射线底片缺陷检测技术领域，具体涉及一种多策略融合深度学习网络模型的缺陷类型识别方法及系统。

背景技术

能源动力、航空航天、船舶等领域大型装备制造过程中越来越多地引进3D打印技术，3D打印复杂构件缺陷的检测与评价已成为制约当前装备高效制造的瓶颈问题，也是保证装备在服役过程中安全可靠运行的重要手段。射线检测具有检测信息丰富、抗噪声强、效率高、定位定量准确等优势,已成为最为广泛的无损检测方法之一。

目前在利用数据进行缺陷识别时主要采用人工评判方式，受成像机理、复杂构件结构、检测环境的影响，射线检测图像数据易产生噪声干扰，缺陷识别效率低下、主观性大、误判率高。因此，开展以射线检测图像数据为对象缺陷类型识别方法，对提升缺陷检测能力及装备质量管控能力具有重要意义。

发明内容

本发明所要解决的技术问题在于针对上述现有技术中的不足，提供一种多策略融合深度学习网络模型的缺陷类型识别方法及系统，通过融合事先构建的先验特征；在特征图映射过程，提出ReliefF-Pooling方法，对特征赋予权重，而后对考虑权重的特征进行映射，克服了传统人工进行缺陷检测的效率低及准确性差等问题。

本发明采用以下技术方案：

一种多策略融合深度学习网络模型的缺陷类型识别方法，包括以下步骤：

S1、采用多策略融合预处理，对于输入待分类缺陷图像I(x,y)，采用多策略图像增强方法，得到输出图像[I₁(x,y)，I₂(x,y)，I₃(x,y)，…，I_n(x,y)]；

S2、对步骤S1获得的图像[I₁(x,y)，I₂(x,y)，I₃(x,y)，…，I_n(x,y)]进行缺陷特点分析，对图像构建几何特征作为第一先验特征向量，构建5个几何特征作为缺陷的几何先验特征；基于几何先验特征给出区别各类缺陷的先验信息，构建纹理特征作为第二先验特征向量；

S3、采用ReliefF算法对特征图上的特征进行特征重要性度量，然后基于特征重要性进行池化；

S4、根据步骤S2获得的第一个先验特征向量和第二先验特征向量，基于步骤S3的ReliefF-Pooling方法，构建融合预处理及模式分类策略的CNN模型，利用CNN模型对缺陷类型进行识别。

具体的，步骤S1具体为：

S101、统计图像I中各灰度的像素数目n_i，i＝0,1...,L-1，L为灰度总级数；

S102、利用步骤S101统计的灰度像素数目n_i计算图像I中各灰度级概率密度P_i(r_i)；

S103、利用步骤S102得到各灰度级概率密度与步骤S101划分的灰度级数计算累积分布函数；

S104、利用步骤S103得到累积分布函数与步骤S101划分的灰度级数计算平均灰度等级V；

S105、利用步骤S103得到累积分布函数与步骤S104得到平均灰度等级V计算最后的输出灰度级g_k；

S106、用步骤S101得到的灰度级与步骤S105得到输出灰度级的映射关系，修改截取图像I的灰度级，获得输出图像I₁；

S107、用图像I的灰度值r和输出图像灰度值S的映射关系，修改截取图像I的灰度值，参数v分别取值v₁,v₂,v₃,···，得到输出图像I₂,I₃,I₄,···，与步骤S106得到的I₁，得到多策略增强的输出图像[I₁(x,y)，I₂(x,y)，I₃(x,y)，…，I_n(x,y)]。

具体的，步骤S2中，构建第一先验特征向量具体为：

S201、分析裂纹、未熔合、疏松、气孔和夹杂5类典型缺陷的特点得到不同缺陷几何特征的区别；

S202、根据步骤S201得到的不同缺陷几何特征区别，构建包括缺陷长度、缺陷宽度、缺陷长宽比、缺陷外接矩形面积、缺陷锐度和缺陷边缘粗糙度作为缺陷的几何先验特征；

S203、对获得的增强图像I_i，分别提取步骤S202的几何特征，并构建第一先验特征向量G_p。

进一步的，第一先验特征向量G_p为：

G_p＝[L W A_r C_t S_p R_e]^T

其中，L为缺陷长度，W为缺陷宽度，A_r为缺陷长宽比，C_t为缺陷外接矩形面积，S_p为缺陷锐度，R_e为缺陷边缘粗糙度。

具体的，步骤S2中，构建第二先验特征向量具体为：

选取角度θ＝0°，距离d＝1的像素计算灰度共生矩阵P，然后计算灰度共生矩阵P的能量f₁、反差分矩阵f₂、相关性f₃、对比度f₄和熵f₅，获得第二先验特征向量T_p＝[f₁ f₂ f₃ f₄f₅]^T。

进一步的，灰度共生矩阵P为：

p(i,j,d,θ)＝p(I(x,y))＝i,I(x+dcosθ,y+dsinθ)＝j)

其中，p(i,j,d,θ)为距离为d、方向为θ、灰度值为i和j的一对像素对出现的概率；I(x,y)为像素点(x,y)在图像中的灰度值；d为两像素点在图像中的距离；θ为两个像素点在图像中对应的角度。

具体的，步骤S3具体为：

S301、从训练集D中随机选择一个样本R，然后分别在样本R的同类和异类样本中寻找最邻近样本A、B；

S302、在抽取样本R的基础上，从R的同类以及异类样本中均找出k个近邻样本，按更新特征权重；

S303、通过ReliefF特征权重计算方法计算每个特征对应的权重，如果权重为正，说明该特征利于分类，保留该特征权重；如果权重为负，则说明该特征不利于分类，将权重置为0，将带有权重的特征向量分别映射回特征图中，对每个特征图重新计算平均值。

进一步的，特征图的输出值k′为：

其中，m，n为特征图的长和宽；f(i,j)为特征图上(i，j)位置对应的特征值；w(i,j)为特征图上(i，j)位置处特征值对应的权重。

具体的，步骤S4中，CNN模型包括CNN特征提取模块、先验特征提取模块和特征融合与分类模块，具体为：

CNN特征提取模块，基于ResNet-18网络改进CNN特征提取模块，ResNet-18网络结构的一侧由Block_1，Block_2和Block_3依次堆叠形成，最后得到特征向量V；ResNet-18网络结构的另一侧分别为3个Block的结构，每个Block结构包含卷积、批量归一化和Relu激活函数操作，在Block_3之后得到的特征图F与特征向量V之间加入ReliefF-Pooling方法，用固定大小的特征向量V表征不同尺度大小的特征图F；

先验特征提取模块，提取原图纹理先验特征向量T_p；对原图进行对比度增强后基于增强后的图片提取几何先验特征向量G_p；

特征融合与分类模块，对CNN特征提取模块提取到的特征向量V以及先验特征提取模块提取到的纹理先验特征向量T_p与几何先验特征向量G_p进行融合，然后将融合后的特征输入全连接层进一步拟合模型分类性能，最后输出到输出层进行分类。

本发明的另一个技术方案是，一种多策略融合深度学习网络模型的缺陷类型识别系统，包括：

处理模块，采用多策略融合预处理，对于输入待分类缺陷图像I(x,y)，采用多策略图像增强方法，得到输出图像[I₁(x,y)，I₂(x,y)，I₃(x,y)，…，I_n(x,y)]；

特征模块，对处理模块获得的图像[I₁(x,y)，I₂(x,y)，I₃(x,y)，…，I_n(x,y)]进行缺陷特点分析，对图像构建几何特征作为第一先验特征向量，构建5个几何特征作为缺陷的几何先验特征；基于几何先验特征给出区别各类缺陷的先验信息，构建纹理特征作为第二先验特征向量；

ReliefF模块，采用ReliefF算法对特征图上的特征进行特征重要性度量，然后基于特征重要性进行池化；

识别模块，根据特征模块获得的第一个先验特征向量和第二先验特征向量，基于ReliefF模块的ReliefF-Pooling方法，构建融合预处理及模式分类策略的CNN模型，利用CNN模型对缺陷类型进行识别。

与现有技术相比，本发明至少具有以下有益效果：

本发明一种多策略融合深度学习网络模型的缺陷类型识别方法，首先对图像进行多策略增强处理，扩大了同一特征的输入，具有鲁棒性；在特征提取过程，融合事先构建的先验特征；在特征图映射过程，提出ReliefF-Pooling方法，对特征赋予权重，而后对考虑权重的特征进行映射。该方法首先度量特征图上各个特征的重要性，根据重要性赋予特征对应的权重，然后再对有权重的特征取均值，实现对特征信息的最大化利用。

进一步的，采用直方图均衡化原理及对数变换原理对原图像进行多策略增强，获得同一缺陷的不同表达，为后续对缺陷特征进行多角度提取，使缺陷特征提取更全面提供支持。

进一步的，采用几何特征构建先验特征，增强模型局部特征提取能力。从部分不同缺陷特点得出其几何特征存在很大差异，可利用这一区别进行缺陷区分，可提高缺陷类别的判定准确率。

进一步的，采用纹理特征构建先验特征，增强模型局部特征提取能力。除缺陷几何特征外，缺陷可利用其纹理特征进行区分，这种区分适用部分缺陷的区分，将其作为特征判定依据，可提高缺陷类别的判定准确率。

进一步的，针对当前CNN网络在特征提取以及特征图映射过程中的特点及存在问题，在当前CNN模型的基础上加入ReliefF-Pooling方法以及先验特征提取，利用ReliefF-Pooling方法，可使图像不压缩前提下，进行特征提取，是图像信息不丧失，提高从中提取特征的真实度。将先验特征融合至网络中，是将传统特征与CNN提取特征融合，丰富图像特征，有利于缺陷特征的表现，提高其分类准确率。

进一步的，针对当前特征图映射方法仅仅考虑最大值或是均值，没有对输入特征图中丰富的特征信息进行有效充分利用问题，提出ReliefF-Pooling方法，提升模型的特征利用能力。

综上所述，本发明能够解决当前CNN模型存在的问题，提升多尺度缺陷的分类精度，对于提升多尺度复杂构件缺陷的识别精度以及企业评片过程中的评片精度具有重要意义。

下面通过附图和实施例，对本发明的技术方案做进一步的详细描述。

附图说明

图1为裂纹图像；

图2为未熔合图像；

图3为疏松图像；

图4为气孔图像；

图5为夹杂图像；

图6为特征图权重计算图；

图7为改进CNN模型结构图；

图8为ResNet网络结构图；

图9为不同模型精度图；

图10为CNN1各指标图；

图11为CNN4各指标图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

在本发明的描述中，需要理解的是，术语“包括”和“包含”指示所描述特征、整体、步骤、操作、元素和/或组件的存在，但并不排除一个或多个其它特征、整体、步骤、操作、元素、组件和/或其集合的存在或添加。

还应当理解，在本发明说明书中所使用的术语仅仅是出于描述特定实施例的目的而并不意在限制本发明。如在本发明说明书和所附权利要求书中所使用的那样，除非上下文清楚地指明其它情况，否则单数形式的“一”、“一个”及“该”意在包括复数形式。

还应当进一步理解，在本发明说明书和所附权利要求书中使用的术语“和/或”是指相关联列出的项中的一个或多个的任何组合以及所有可能组合，并且包括这些组合。

在附图中示出了根据本发明公开实施例的各种结构示意图。这些图并非是按比例绘制的，其中为了清楚表达的目的，放大了某些细节，并且可能省略了某些细节。图中所示出的各种区域、层的形状及它们之间的相对大小、位置关系仅是示例性的，实际中可能由于制造公差或技术限制而有所偏差，并且本领域技术人员根据实际所需可以另外设计具有不同形状、大小、相对位置的区域/层。

本发明提供了一种多策略融合深度学习网络模型的缺陷类型识别方法，首先采用多策略融合预处理，对于输入待分类缺陷图像I(x,y)，采用多策略图像增强方法，得到输出图像[I₁(x,y),I₂(x,y),I₃(x,y),···,I_n(x,y)]；其次，对缺陷先验特征向量进行构建与提取，对于获得的输出图像[I₁(x,y),I₂(x,y),I₃(x,y),···,I_n(x,y)]，通过对缺陷特点分析，对图像构建几何特征作为第一个先验特征向量。由于后期卷积神经网络进行5个类别的分类，其全连接层输出数据维度为5，为了方便特征融合，构建5个几何特征作为缺陷的几何先验特征；基于构建的几何先验特征可以给出区别各类缺陷的先验信息，构建基于纹理特征先验特征向量；再次，考虑特征重要性的RelieF-Pooling。针对当前特征图到全连接层映射中存在数量不对应的问题，提出ReliefF-Pooling方法，首先采用ReliefF算法对特征图上特征进行特征重要性度量，然后基于特征重要性进行池化。最后，在提出两个先验特征向量和提出的ReliefF-Pooling方法的基础上，构建CNN模型。

本发明一种多策略融合深度学习网络模型的缺陷类型识别方法，包括以下步骤：

S1、基于灰度值概率统计特征的缺陷图像预处理；

采用多策略图像增强方法将待分类缺陷图像I(x,y)输出为图像[I₁(x,y)，I₂(x,y)，I₃(x,y)，…，I_n(x,y)]；

S101、统计图像I中各灰度的像素数目n_i，i＝0,1...,L-1,L为灰度总级数(通常为256)；

S102、计算图像I各灰度级概率密度，P_i(r_i)＝num_i/num，num为原始像质计区域图像的总像素数目，num_i为灰度为i的像素数目，P_i(r_i)为各灰度级概率密度；

S103、计算累积分布函数如下：

其中，s_k为灰度累计，r_k为第k个灰度级，k＝0,1......L-1；

S104、计算平均灰度等级：

其中，V为平均灰度等级，P_i(r_i)为各灰度级概率密度；

S105、计算最后的输出灰度级g_k如下：

为简化计算过程，本发明取g_min＝0,g_max＝L-1，简化g_k如下：

其中，k＝0,1......L-1，INT[]是取整算符，V为平均灰度等级，g_min为最小灰度级，g_max为最大灰度级。

S106、用图像I的灰度级函数f_k和g的映射关系，修改截取图像I的灰度级，获得输出图像I₁，其直方图为近似均匀分布；

S107、用图像I的灰度值r和S的映射关系，修改截取图像I的灰度值，其中，参数v分别取值v₁,v₂,v₃,···，得到输出图像I₂,I₃,I₄,···；

S＝clog(1+vr)

其中，c为固定参数，本发明取1.5，r为输入图像灰度值，S为输出图像灰度值，v为可调节参数。

S2、缺陷先验特征向量构建与提取；

对步骤S1获得的图像[I₁(x,y)，I₂(x,y)，I₃(x,y)，…，I_n(x,y)]进行缺陷特点分析，对图像构建几何特征作为第一个先验特征向量；由于后期卷积神经网络进行5个类别的分类，其全连接层输出数据维度为5，为了方便特征融合，构建5个几何特征作为缺陷的几何先验特征；基于构建的几何先验特征给出区别各类缺陷的先验信息，构建纹理特征作为第二先验特征向量；

S201、分析5类典型缺陷的特点，其步骤如下：

a、裂纹(Crack，CR)

裂纹体现为与背景对比度较高、轮廓分明的黑色丝线状，其粗细会随着裂纹的延伸方向发生变化，线的端部尖细，端头方向出现丝状阴影延伸。裂纹图像如图1所示。经过调研，一般工人在评片过程中将缺陷“端部尖细”作为判定裂纹最有力的依据，在数学特征表达上，可以使用缺陷沿长度方向在两端的锐度来衡量。

b、未熔合(Lack of Fusion，LF)

未熔合体现为沿焊缝方向、宽度不一、黑度变化不均匀的条状及块状，分布呈现断续模糊的特点，轮廓边界不规则。未熔合图像如图2所示。经过调研，在实际评片过程中，未熔合是所有缺陷中最不容易区分的，目前还没有一个较为合适的数学表征方式。

c、疏松(Loose，LO)

疏松体现为漫射状的絮状暗区、不连续的细小长条形或者呈细线状的分布、连续的线状或不同长宽和灰度的分枝状构成的连续结构，如图3所示。经过调研，工人在评片过程中一般将“絮状”、“细线状分布”、“分枝状”作为判定疏松的依据，在数学特征表达上，可以使用缺陷边缘粗糙度来表征缺陷轮廓曲线的变化情况；使用纹理特征来表征灰度分布。

d、气孔(Porosity，PO)

气孔体现为圆形或椭圆形的黑色斑点状，轮廓光滑且无棱角，尺寸大小不一，中心区域黑度分布较大，并逐渐向边缘减弱。气孔图像如图4所示。经过调研，工人在评片过程中一般将“轮廓光滑”、“黑度分布由中心向边缘减弱”作为判定气孔的依据，在数学特征表达上，可以使用缺陷边缘粗糙度来表征缺陷轮廓曲线的变化情况；使用纹理特征来表征黑度分布。

e、夹杂(Slag Inclusion，SL)

夹杂中非金属夹杂如氧化物、硫化物、硅酸盐等呈现尺寸不一的黑色的点状、条状和块状特点；金属夹杂则呈现明亮的白色斑点状。所有夹杂轮廓均呈现带明显棱角的不规则的多边形，缺陷图像内部呈现灰度分布不均、灰度变化无规律的特点。夹杂图像如图5所示。经过调研，工人在评片过程中一般将“棱角不规则”、“灰度分布不均”作为判定夹杂的依据，在数学特征表达上，可以使用缺陷边缘粗糙度来表征缺陷轮廓曲线的变化情况；使用纹理特征来表征黑度分布。

S202、构建几何先验特征向量，其步骤如下：

b、由于后期卷积神经网络进行5个类别的分类，其全连接层输出数据维度为5，为了方便特征融合，构建如表1所示的5个几何特征作为缺陷的几何先验特征。

表1缺陷几何先验特征

缺陷长宽比A_r计算如下：

缺陷外接矩形面积C_t计算如下：

C_t＝LW

缺陷锐度S_p计算如下：

其中，S₁、S₂为缺陷长度方向两端各1/4长度部分的面积；S为缺陷总面积。

缺陷边缘粗糙度计算方法如下：

其中，i为长度方向上的像素点；h_i为缺陷边缘到缺陷长度方向中轴线的垂直距离。

S203、对获得的增强图像I_i，分别提取表1中几何特征，并构建几何先验特征向量G_p；

定义G_p如下：

G_p＝[L W A_r C_t S_p R_e]^T

S204、纹理是对图像中像素变化形式的描述，对于灰度图像而言，图像中相隔一段距离的两个像素之间会存在某种灰度关系，灰度共生矩阵通过统计图像空间中具有某种对应关系的像素对灰度值出现的频率来表现图像的灰度空间特性。

对于大小为M×N，灰度级为L级的图像I，其灰度共生矩阵P描述如下：

p(i,j,d,θ)＝p(I(x,y))＝i,I(x+dcosθ,y+dsinθ)＝j)

其中，p(i,j,d,θ)为距离为d、方向为θ、灰度值为i和j的一对像素对出现的概率；I(x,y)为像素点(x,y)在图像中的灰度值；d为两像素点在图像中的距离；θ为两个像素点在图像中对应的角度。

选取角度θ＝0°，距离d＝1的像素计算灰度共生矩阵，然后计算矩阵的统计特征量获得图像的纹理特征。为了便于纹理先验特征向量在全连接层进行融合，同样提取灰度共生矩阵的5个二次统计特征参数作为纹理先验特征，其步骤如下：

f、能量

能量用于度量图像纹理灰度变化的程度。

能量f₁如下：

g、反差分矩阵

反差分矩阵用于体现图像纹理局部变化的大小。

定义反差分矩阵f₂如下：

h、相关性

相关性可用于表现图像局部灰度的相关程度。

定义相关性f₃如下：

i、对比度

对比度用来表示反映图像纹理深浅及其清晰度。

定义对比度f₄如下：

j、熵

熵用于描述图像纹理以及分布的复杂性以及非均匀性。

定义熵f₅如下：

将以上5个参数作为图像纹理特征，并构建纹理先验特征向量T_p；

定义T_p如下：

T_p＝[f₁ f₂ f₃ f₄ f₅]^T

S3、考虑特征重要性的RelieF-Pooling池化；

针对当前特征图到全连接层映射中存在的问题，提出ReliefF-Pooling方法，首先采用ReliefF算法对特征图上特征进行特征重要性度量，然后基于特征重要性进行池化；

S301、从训练集D中随机选择一个样本R，然后分别在样本R的同类和异类样本中寻找最邻近样本A、B；

S302、在抽取样本R的基础上，从R的同类以及异类样本中均找出k个近邻样本，按照上述相同流程更新特征权重，

更新特征权重如下：

其中，W(f)为特征f的权重；H_j为样本R同类中的第j个近邻样本；P(C)为类别C的比例；P(Class(R))为抽取样本R的比例；M_j(C)为样本R的异类C中第j个最近邻样本。

样本R和H_j在特征f上的距离diff(f,R,H_j)为：

其中，diff(f,R,H_j)为特征f在两样本距离，R[f]为特征f在样本R的值，H_j[f]为特征在样本H的值，f为特征向量；

S303、通过ReliefF特征权重计算算法，对特征图进行计算，如图6所示；

将特征图中所有无权重特征放入到一维向量中，采用ReliefF特征权重计算算法计算每个特征对应的权重，如果权重为正，说明该特征利于分类，保留该特征权重；如果权重为负，则说明该特征不利于分类，将其权重置为0。

将带有权重的特征向量再分别映射回特征图中，对每个特征图重新计算平均值，计算公式如下：

其中，k′为特征图输出值；m，n为特征图的长和宽；f(i,j)为特征图上(i，j)位置对应的特征值；w(i,j)为特征图上(i，j)位置处特征值对应的权重。

S4、根据步骤S2获得的第一个先验特征向量和基于纹理特征先验特征向量，基于步骤S3的ReliefF-Pooling方法，构建融合预处理及模式分类的策略且可综合处理先验特征与池化特征的CNN模型，最终实现缺陷类型的识别。

在两个先验特征向量和ReliefF-Pooling方法的基础上，构建CNN模型，模型结构图如图7所示，模型分为CNN特征提取模块、先验特征提取模块、特征融合与分类模块共三个模块。

CNN特征提取模块包括卷积层、池化层，本发明采用的CNN模型基于ResNet-18网络，在此基础上进行修改，ResNet-18网络结构如图8所示，左侧为网络的整体结构，由Block_1，Block_2和Block_3依次堆叠形成，最后得到特征向量V；右侧分别为3个Block的结构，每个Block结构包含卷积(Conv)、批量归一化(Batch Normalization，BN)、Relu激活函数操作。

为了使网络能更好地自适应不同尺度大小的输入，在Block_3之后得到的特征图F与特征向量V之间加入ReliefF-Pooling方法，实现用固定大小的特征向量V来最大程度的表征不同尺度大小的特征图F。

在先验特征提取模块，对原图提取其纹理纹理先验特征向量T_p；为了更精确提取图片的几何先验特征，在对原图进行对比度增强后基于增强后的图片提取几何先验特征向量G_p。

在特征融合与分类模块，对在CNN特征提取模块提取到的特征向量V以及在先验特征提取模块提取到的纹理先验特征向量T_p与几何先验特征向量G_p进行融合，然后将融合后的特征输入全连接层进一步拟合模型分类性能，最后输出到输出层进行分类。

网络参数如表2所示，n表示卷积核大小；s为步长；p为填充方式；N为每批次输入网络的图片数量；w、h分别为输入图片的宽和高。网络激活函数采用RELU函数，优化器选用Adam优化器，初始学习率η₀为0.01，学习率衰减率α为0.98，对初始学习率η₀采用贝叶斯优化方法搜索最优值，搜索空间为0.0001～0.1，优化后的学习率η为0.001。

表2改进CNN网络参数表

本发明再一个实施例中，提供一种多策略融合深度学习网络模型的缺陷类型识别系统，该系统能够用于实现上述多策略融合深度学习网络模型的缺陷类型识别方法，具体的，该多策略融合深度学习网络模型的缺陷类型识别系统包括处理模块、特征模块、ReliefF模块以及识别模块。

其中，处理模块，采用多策略融合预处理，对于输入待分类缺陷图像I(x,y)，采用多策略图像增强方法，得到输出图像[I₁(x,y)，I₂(x,y)，I₃(x,y)，…，I_n(x,y)]；

特征模块，对处理模块获得的图像[I₁(x,y)，I₂(x,y)，I₃(x,y)，…，I_n(x,y)]进行缺陷特点分析，对图像构建几何特征作为第一先验特征向量，构建5个几何特征作为缺陷的几何先验特征；基于几何先验特征给出区别各类缺陷的先验信息，构建纹理特征作为第二先验特征向量；

ReliefF模块，采用ReliefF算法对特征图上的特征进行特征重要性度量，然后基于特征重要性进行池化；

识别模块，根据特征模块获得的第一个先验特征向量和第二先验特征向量，基于ReliefF模块的ReliefF-Pooling方法，构建融合预处理及模式分类策略的CNN模型，利用CNN模型对缺陷类型进行识别。

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。通常在此处附图中的描述和所示的本发明实施例的组件可以通过各种不同的配置来布置和设计。因此，以下对在附图中提供的本发明的实施例的详细描述并非旨在限制要求保护的本发明的范围，而是仅仅表示本发明的选定实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

为了验证本文提出的缺陷先验特征向量和ReliefF-Pooling方法以及基于先验特征融合与ReliefF-Pooling的改进CNN模型的有效性，基于ResNet18结构构建如表1所示的4种CNN模型。

表1模型架构及改进处表

使用表1中构建的4种CNN模型进行实验，可以实现如下的验证：

(1)通过对比CNN2与CNN1的实验结果，可对本文提出的先验特征向量的有效性进行验证；

(2)通过对比CNN3与CNN1的试验结果，可对本文提出的ReliefF-Pooling方法的有效性进行验证；

(3)通过对比CNN4与CNN3、CNN2、CNN1的识别结果，可对本文构建的基于先验特征融合与ReliefF-Pooling的改进CNN模型的有效性进行验证；

本文采用的缺陷数据集来源于课题组前期构建的缺陷数据集，预先从焊缝区域中截取形状变化范围在32×32-128×128像素大小范围之内的缺陷区域，每张图片缺陷占比为70％左右，共5000张左右图像，其中训练集占80％，测试集占20％，缺陷类别分布如表2所示。

表2缺陷类别分布表

在缺陷数据集上分别对表2中4种CNN模型进行训练与验证，其不同迭代次数下的测试精度如图9所示。

根据图9中不同曲线的趋势对比可以发现：

(1)CNN3在迭代5次左右精度便超过CNN1，在迭代60次左右两模型性能均达到收敛状态，此时CNN3达到90％左右的精度，大于CNN1达到的88％左右的精度，可见加入ReliefF-Pooling后的模型对于多尺度缺陷可以在特征图映射过程中更好地保留特征信息，最大化的对特征进行利用。

(2)CNN2在迭代6次左右精度较CNN1有大幅提升，并且一直保持到迭代60次左右两模型性能均收敛时，最终CNN2达到了92％左右的精度，相对于CNN1提升了4％，可见在模型中融入几何先验特征向量以及纹理先验特征向量可以弥补模型低层局部特征提取能力的不足，较好的提升模型的分类性能；另外在模型达到收敛状态时，CNN2相对于CNN3提升了2％左右的精度，分析原因是虽然CNN2相对于CNN3没有使用ReliefF-Pooling，在特征图映射过程丢失了一部分信息，但其在全连接层融合了先验特征，从而出现CNN2相较与CNN3精度高出2％的现象。

(3)CNN4在迭代40次左右模型的精度便高于其它所有模型，并一直保持到收敛状态，最终模型的精度达到94.5％左右，相较于CNN1、CNN2、CNN3分别提升了6.5％、4.5％、2.5％，可见本文提出的基于先验特征融合与ReliefF-Pooling的改进CNN模型对焊缝多尺度缺陷具有更好的分类能力。

为了进一步展示本文基于先验特征融合与ReliefF-Pooling的改进CNN模型对各个缺陷类别的分类性能，进一步计算模型精确度、召回率、F1-Score指标。图10为RenNet18网络模型(CNN1)在测试集上计算的指标情况，图11为基于先验特征融合与ReliefF-Pooling的改进CNN模型(CNN4)在测试集上计算的指标情况。

由图10看出，传统CNN网络(CNN1)夹杂、气孔、未熔合缺陷的精确度较高，而裂纹、疏松精确度较低，一方面是因为传统网络在特征提取过程低层网络可能未较好的提取到几何特征、纹理特征等局部具体特征；另一方是在特征图映射过程中，当前映射方式存在特征丢失，裂纹与疏松往往相对于气孔、夹杂等缺陷长宽尺度变化更大，特征丢失现象更加明显。

通过对图11与图10的对比，可见本文提出的改进CNN模型(CNN4)相较于传统CNN模型(CNN1)在精确度、召回率、F1-Score上均有一定的提升，总体来看，对于裂纹、未熔合、疏松三种缺陷的提升程度最高，具体表现为，在精确度上，裂纹、未熔合、疏松三类缺陷分别提升了16.91％、5.7％、42.5％；在召回率上，裂纹、未熔合、疏松三类缺陷分别提升了7.69％、17.86％、44.57％；在F1-Score上，裂纹、未熔合、疏松三类缺陷分别提升了13.33％、17.86％、44.57％。可见本文提出的改进CNN模型可以较好解决传统CNN模型在特征提取过程以及特征图映射过程中存在的问题，具有较强的焊缝缺陷分类能力。

另外对图11中各类缺陷的精确度与召回率进行分析，未熔合和疏松相对于其三类缺陷而言还有一定的差距，分析原因是未熔合疏松几何特征不像裂纹那样明显，因此加入先验特征后精确度与召回率虽然有大幅度的提升，但是依旧距离裂纹有一定的差距；另外通过训练集中数据量分布可以看出，未熔合和疏松两类缺陷的数目较少，网络的学习效果偏向于气孔、夹杂等样本数据量较大的类别，从而导致未熔合和疏松缺陷的精确度与召回率较低。

综上所述，本发明一种多策略融合深度学习网络模型的缺陷类型识别方法及系统，首先对图像进行多策略增强处理，扩大了同一特征的输入，具有鲁棒性；在特征提取过程，融合事先构建的先验特征；在特征图映射过程，提出ReliefF-Pooling方法，对特征赋予权重，而后对考虑权重的特征进行映射。该方法首先度量特征图上各个特征的重要性，根据重要性赋予特征对应的权重，然后再对有权重的特征取均值，实现对特征信息的最大化利用。

本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

以上内容仅为说明本发明的技术思想，不能以此限定本发明的保护范围，凡是按照本发明提出的技术思想，在技术方案基础上所做的任何改动，均落入本发明权利要求书的保护范围之内。

Claims (10)

1.多策略融合深度学习网络模型的缺陷类型识别方法，其特征在于，包括以下步骤：

S1、采用多策略融合预处理，对于输入待分类缺陷图像I(x,y)，采用多策略图像增强方法，得到输出图像[I₁(x,y)，I₂(x,y)，I₃(x,y)，…，I_n(x,y)]；

S2、对步骤S1获得的图像[I₁(x,y)，I₂(x,y)，I₃(x,y)，…，I_n(x,y)]进行缺陷特点分析，对图像构建几何特征作为第一先验特征向量，构建5个几何特征作为缺陷的几何先验特征；基于几何先验特征给出区别各类缺陷的先验信息，构建纹理特征作为第二先验特征向量；

S3、采用ReliefF算法对特征图上的特征进行特征重要性度量，然后基于特征重要性进行池化；

S4、根据步骤S2获得的第一个先验特征向量和第二先验特征向量，基于步骤S3的ReliefF-Pooling方法，构建融合预处理及模式分类策略的CNN模型，利用CNN模型对缺陷类型进行识别。

2.根据权利要求1所述的多策略融合深度学习网络模型的缺陷类型识别方法，其特征在于，步骤S1具体为：

S101、统计图像I中各灰度的像素数目n_i，i＝0,1...,L-1，L为灰度总级数；

S102、利用步骤S101统计的灰度像素数目n_i计算图像I中各灰度级概率密度P_i(r_i)；

S103、利用步骤S102得到各灰度级概率密度与步骤S101划分的灰度级数计算累积分布函数；

S104、利用步骤S103得到累积分布函数与步骤S101划分的灰度级数计算平均灰度等级V；

S105、利用步骤S103得到累积分布函数与步骤S104得到平均灰度等级V计算最后的输出灰度级g_k；

S106、用步骤S101得到的灰度级与步骤S105得到输出灰度级的映射关系，修改截取图像I的灰度级，获得输出图像I₁；

S107、用图像I的灰度值r和输出图像灰度值S的映射关系，修改截取图像I的灰度值，参数v分别取值v₁,v₂,v₃,…，得到输出图像I₂,I₃,I₄,…，与步骤S106得到的I₁，得到多策略增强的输出图像[I₁(x,y)，I₂(x,y)，I₃(x,y)，…，I_n(x,y)]。

3.根据权利要求1所述的多策略融合深度学习网络模型的缺陷类型识别方法，其特征在于，步骤S2中，构建第一先验特征向量具体为：

S201、分析裂纹、未熔合、疏松、气孔和夹杂5类典型缺陷的特点得到不同缺陷几何特征的区别；

S202、根据步骤S201得到的不同缺陷几何特征区别，构建包括缺陷长度、缺陷宽度、缺陷长宽比、缺陷外接矩形面积、缺陷锐度和缺陷边缘粗糙度作为缺陷的几何先验特征；

S203、对获得的增强图像I_i，分别提取步骤S202的几何特征，并构建第一先验特征向量G_p。

4.根据权利要求3所述的多策略融合深度学习网络模型的缺陷类型识别方法，其特征在于，第一先验特征向量G_p为：

G_p＝[L W A_r C_t S_p R_e]^T

其中，L为缺陷长度，W为缺陷宽度，A_r为缺陷长宽比，C_t为缺陷外接矩形面积，S_p为缺陷锐度，R_e为缺陷边缘粗糙度。

5.根据权利要求1所述的多策略融合深度学习网络模型的缺陷类型识别方法，其特征在于，步骤S2中，构建第二先验特征向量具体为：

选取角度θ＝0°，距离d＝1的像素计算灰度共生矩阵P，然后计算灰度共生矩阵P的能量f₁、反差分矩阵f₂、相关性f₃、对比度f₄和熵f₅，获得第二先验特征向量T_p＝[f₁ f₂ f₃ f₄ f₅]^T。

6.根据权利要求5所述的多策略融合深度学习网络模型的缺陷类型识别方法，其特征在于，灰度共生矩阵P为：

p(i,j,d,θ)＝p(I(x,y))＝i,I(x+dcosθ,y+dsinθ)＝j)

其中，p(i,j,d,θ)为距离为d、方向为θ、灰度值为i和j的一对像素对出现的概率；I(x,y)为像素点(x,y)在图像中的灰度值；d为两像素点在图像中的距离；θ为两个像素点在图像中对应的角度。

7.根据权利要求1所述的多策略融合深度学习网络模型的缺陷类型识别方法，其特征在于，步骤S3具体为：

S301、从训练集D中随机选择一个样本R，然后分别在样本R的同类和异类样本中寻找最邻近样本A、B；

S302、在抽取样本R的基础上，从R的同类以及异类样本中均找出k个近邻样本，按更新特征权重；

S303、通过ReliefF特征权重计算方法计算每个特征对应的权重，如果权重为正，说明该特征利于分类，保留该特征权重；如果权重为负，则说明该特征不利于分类，将权重置为0，将带有权重的特征向量分别映射回特征图中，对每个特征图重新计算平均值。

8.根据权利要求7所述的多策略融合深度学习网络模型的缺陷类型识别方法，其特征在于，特征图的输出值k′为：

其中，m，n为特征图的长和宽；f(i,j)为特征图上(i，j)位置对应的特征值；w(i,j)为特征图上(i，j)位置处特征值对应的权重。

9.根据权利要求1所述的多策略融合深度学习网络模型的缺陷类型识别方法，其特征在于，步骤S4中，CNN模型包括CNN特征提取模块、先验特征提取模块和特征融合与分类模块，具体为：

CNN特征提取模块，基于ResNet-18网络改进CNN特征提取模块，ResNet-18网络结构的一侧由Block_1，Block_2和Block_3依次堆叠形成，最后得到特征向量V；ResNet-18网络结构的另一侧分别为3个Block的结构，每个Block结构包含卷积、批量归一化和Relu激活函数操作，在Block_3之后得到的特征图F与特征向量V之间加入ReliefF-Pooling方法，用固定大小的特征向量V表征不同尺度大小的特征图F；

先验特征提取模块，提取原图纹理先验特征向量T_p；对原图进行对比度增强后基于增强后的图片提取几何先验特征向量G_p；

特征融合与分类模块，对CNN特征提取模块提取到的特征向量V以及先验特征提取模块提取到的纹理先验特征向量T_p与几何先验特征向量G_p进行融合，然后将融合后的特征输入全连接层进一步拟合模型分类性能，最后输出到输出层进行分类。

10.一种多策略融合深度学习网络模型的缺陷类型识别系统，其特征在于，包括：

处理模块，采用多策略融合预处理，对于输入待分类缺陷图像I(x,y)，采用多策略图像增强方法，得到输出图像[I₁(x,y)，I₂(x,y)，I₃(x,y)，…，I_n(x,y)]；

特征模块，对处理模块获得的图像[I₁(x,y)，I₂(x,y)，I₃(x,y)，…，I_n(x,y)]进行缺陷特点分析，对图像构建几何特征作为第一先验特征向量，构建5个几何特征作为缺陷的几何先验特征；基于几何先验特征给出区别各类缺陷的先验信息，构建纹理特征作为第二先验特征向量；

ReliefF模块，采用ReliefF算法对特征图上的特征进行特征重要性度量，然后基于特征重要性进行池化；

识别模块，根据特征模块获得的第一个先验特征向量和第二先验特征向量，基于ReliefF模块的ReliefF-Pooling方法，构建融合预处理及模式分类策略的CNN模型，利用CNN模型对缺陷类型进行识别。

Images