CN114861771A - 基于特征提取和深度学习的工业ct图像缺陷分类方法 - Google Patents

Abstract

本发明公开一种基于特征提取和深度学习的工业CT图像缺陷分类方法，包括以下步骤：采集工业CT缺陷图像，提取工业CT缺陷图像的局部特征和全局特征；将局部特征和全局特征进行特征融合，形成描述工业CT缺陷图像的新特征；将待分类的工业CT图像输入到利用描述工业CT缺陷图像的新特征训练后的全连接神经网络中，实现分类的目的。本发明结合了传统特征提取和卷积神经网络两种方法的优点，使用不变矩提取到的缺陷图像特征具有很好的解释性，使用卷积神经网络自动特征提取，能够得到较好的分类准确率。

Description

基于特征提取和深度学习的工业CT图像缺陷分类方法

技术领域

本发明具体涉及基于特征提取和深度学习的工业CT图像缺陷分类方法，属于计算机视觉领域。

背景技术

工业CT图像缺陷自动识别是计算机视觉和工业CT缺陷识别的交叉领域，旨在把计算机视觉领域中一些方法引入到工业CT缺陷识别领域，结合具体的应用背景，提出方法的改进。工业CT技术是无损测量领域的常用手段。一般使用金属合金等材料铸造成型的产品中，因材料和工艺原因，常存在孔洞类、夹杂类和裂纹类等缺陷。

传统图像处理中，不变矩方法常使用图像特征提取和分类任务中。近年来，随着深度学习的发展，以卷积神经网络为代表的深度学习方法常使用到图像分类任务中。不变矩方法在提取缺陷图形特征时，有严格的数学定义，但仅使用不变矩进行特征提取，再输入BP神经网路中，模型的性能不高。以卷积神经网络为代表的深度学习，自动提取图像的特征进行学习，但模型可解释性差。

不变矩提取图像的局部特征，有很好的解释性。卷积神经网络的方法，自动提取图像的全局特征，模型解释性差。目前，常用的工业CT图像缺陷分类算法，不能即提取到缺陷的局部特征又关注到缺陷部位和非缺陷部位的差异。

发明内容

为克服上述现有技术或设计的缺点，本发明的目的是提供一种基于特征提取和深度学习的工业CT图像缺陷分类方法，该算法结合传统图形处理中Hu不变矩的方法，改进卷积神经网络工业CT图像缺陷分类模型，既关注到缺陷的局部信息又关注到缺陷的全局特征，即提高了模型的可解释性又兼顾了模型的性能。

为实现上述目的，本发明采用以下技术方案予以实现：

基于特征提取和深度学习的工业CT图像缺陷分类方法，包括以下步骤：

采集工业CT缺陷图像，提取工业CT缺陷图像的局部特征和全局特征；

将局部特征和全局特征进行特征融合，形成描述工业CT缺陷图像的新特征；

采用新特征训练基于特征提取和深度学习融合的工业CT图像缺陷分类识别模型；

将待分类的工业CT缺陷图像输入到训练后的基于特征提取和深度学习融合的工业CT图像缺陷分类识别模型中，实现分类的目的。

本发明进一步的改进在于，采用Hu不变矩，提取工业CT缺陷图像的局部特征。

本发明进一步的改进在于，根据工业CT缺陷图像的归一化(p+q)阶中心矩η_pq，构造7个Hu不变矩，根据7个Hu不变矩，提取工业CT缺陷图像的局部特征；

其中，ρ为中间变量，ρ＝(p+q)/2+1，μ_pq为工业CT缺陷图像(p+q)阶中心矩，p为图像宽度方向上的阶数，q为图像高度方向上的阶数，μ₀₀为图像宽度和高度方向上都为0阶的中心距。

本发明进一步的改进在于，基于U-Net神经网络提取工业CT缺陷图像的全局特征；

本发明进一步的改进在于，U-Net神经网络通过下采样和上采样过程构建：

下采样过程包括以下步骤：

1)将工业CT缺陷图像进行2次卷积操作，得到第一卷积图像，然后将第一卷积图像进行最大池化操作，得到第一最大池化层；

2)对第一最大池化层进行2次卷积操作，得到第二卷积图像，然后将第二卷积图像进行最大池化操作，得到第二最大池化层；

3)对第二最大池化层进行2次卷积操作，得到第三卷积图像，然后将第三卷积图像进行最大池化操作，得到第三最大池化层；

4)对第三最大池化层进行2次卷积操作，得到第四卷积图像，然后将第四卷积图像进行最大池化操作，得到第四最大池化层；

5)对第四最大池化层进行2次卷积操作，得到缺陷的环境信息图像；

本发明进一步的改进在于，上采样过程包括以下步骤：

1)对缺陷的环境信息图像进行反卷积操作，得到第一反卷积图像，然后将第四卷积图像进行复制和剪裁后与第一反卷积图像进行拼接，进行卷积操作；

2)将步骤1)进行卷积操作后的图像进行反卷积操作，得到第二反卷积图像，然后将第三卷积图像进行复制和剪裁后与第二反卷积图像进行拼接，进行卷积操作；

3)将步骤2)进行卷积操作后的图像进行反卷积操作，得到第三反卷积图像，然后将第二卷积图像进行复制和剪裁后与第三反卷积图像进行拼接，进行卷积操作；

4)将步骤3)进行卷积操作后的图像进行反卷积操作，得到第四反卷积图像，然后将第一卷积图像进行复制和剪裁后与第四反卷积图像进行拼接，进行卷积操作；

5)将步骤4)进行卷积操作后的图像进行复制和剪裁，然后与工业CT缺陷图像拼接，再进行三次卷积操作，得到全局特征。

本发明进一步的改进在于，将全局特征使用Flatten操作压平成一维度，再使用Concat操作拼接上Hu不变矩提取到的7个特征值，构成描述工业CT缺陷图像的新特征。

本发明进一步的改进在于，全连接神经网络训练至误差最小，通过损失函数度量误差的大小，损失函数如下式所示：

其中，y为期望输出，

为真实输出，β为用来确定是假正例还是假反例减少的参数。

与现有技术相比，本发明具有的有益效果：

本发明既使用到缺陷图像的局部特征，又使用到缺陷图像的全局特征，融合这两组特征，能够对缺陷图像进行很好的分类。结合传统图形处理中Hu不变矩的方法，改进卷积神经网络工业CT图像缺陷分类模型，既关注到缺陷的局部信息又关注到缺陷的全局特征，即提高了模型的可解释性又兼顾了模型的性能。本发明结合了传统特征提取和卷积神经网络两种方法的优点，使用不变矩提取到的缺陷图像特征具有很好的解释性，使用卷积神经网络自动特征提取，能够得到较好的分类准确率。

附图说明

图1为本发明的基于传统特征提取和深度学习融合的工业CT图像缺陷分类识别模型示意图；

图2为U-Net网络模型示意图；

图3为模型训练过程示意图；

图4为基于传统特征提取和深度学习融合的工业CT图像缺陷分类识别模型在训练集和验证集上的Accuracy和Loss曲线。

具体实施方式

下面结合附图对本发明进行详细说明。

参见图1，本发明包括以下步骤：

采用局部特征和全局特征结合的方式对工业CT缺陷图像进行分类。

局部特征用以描述缺陷的局部差异，全局特征用以描述缺陷的整体差异。将提取出的两组特征融合后采用Softmax分类。

局部特征使用Hu不变矩特征进行提取，Hu不变矩特征具有平移、旋转、尺度不变性，能够较好的作为对缺陷图形分类的特征。

全局特征使用卷积神经网络(本发明中使用U-Net网络)自动提取，卷积神经网络既能做到提取缺陷图像的信息，又能对缺陷图像进行准确的分类。

具体的，本发明具体实施可分成以下四步：

步骤一：基于Hu不变矩提取局部特征

采集工业CT缺陷图像，由于工业CT缺陷图像为数字图像，用f(x,y)表示图像的像素值。首先使用Hu不变矩，提取缺陷图片的局部特征。

工业CT缺陷图像(p+q)阶原点矩m_pq和中心矩μ_pq定义为：

式中，p为x方向上的阶数，q为y方向上的阶数，M为图像的行数，N为图像的列数，x为图像像素点的横坐标，y为图像像素点的纵坐标，

为图像中心点的横坐标，

为图像中心点的纵坐标。

归一化中心矩η_pq定义为：

其中，ρ为中间变量，ρ＝(p+q)/2+1，μ_pq为工业CT缺陷图像(p+q)阶中心矩，p为图像宽度方向上的阶数，q为图像高度方向上的阶数，μ₀₀为图像宽度和高度方向上都为0阶的中心距。

如(式3)所示，根据归一化(p+q)阶中心矩η_pq，构造出7个Hu不变矩：

Hu[0]＝η₂₀+η₀₂

Hu[1]＝(η₂₀-η₀₂)²+4η₁₁ ²

Hu[2]＝(η₃₀+3η₁₂)²+(3η₂₁+η₀₃)²

Hu[3]＝(η₃₀+η₁₂)²+(η₂₁+η₀₃)²

Hu[4]＝(η₃₀-3η₁₂)(η₃₀+η₀₃)[(η₃₀+η₁₂)²-3(η₂₁+η₀₃)²]+(3η₂₁-η₀₃)(η₂₁+η₀₃)[3(η₃₀+η₁₂)²-(η₂₁+η₀₃)²]

Hu[5]＝(η₂₀+η₀₂)[(η₃₀+η₁₂)²-(η₂₁+η₀₃)²]+4η₁₁(η₃₀+η₁₂)(η₂₁+η₀₃)

Hu[6]＝3(η₂₁-η₃₀)(η₃₀+η₁₂)[(η₃₀+η₁₂)²-3(η₂₁+η₀₃)²]+(3η₁₂-η₃₀)(η₂₁+η₀₃)[3(η₃₀+η₁₂)²-(η₂₁+η₀₃)²] (式4)

式中，η_ij为归一化的i+j阶中心矩，i为图像宽度方向上的阶数，j为图像高度方向上的阶数。

Hu[0]、Hu[1]、Hu[2]、Hu[3]、Hu[4]、Hu[5]以及Hu[6]为分别为缺陷图片的第一局部特征、第二局部特征、第三局部特征、第四局部特征、第五局部特征、第六局部特征与第七局部特征。

步骤二：基于U-Net神经网络提取全局特征

使用卷积神经网络，提取工业CT缺陷图像的全局特征。本发明使用的卷积神经网络是U-Net神经网络，U-Net神经网络结构如图2所示。

整个U-Net神经网络的构建过程包括下采样和上采样过程。

下采样过程，包括以下步骤：

1)将工业CT缺陷图像进行2次卷积操作，得到第一卷积图像，然后将第一卷积图像进行最大池化操作，得到第一最大池化层；

2)对第一最大池化层进行2次卷积操作，得到第二卷积图像，然后将第二卷积图像进行最大池化操作，得到第二最大池化层；

3)对第二最大池化层进行2次卷积操作，得到第三卷积图像，然后将第三卷积图像进行最大池化操作，得到第三最大池化层；

4)对第三最大池化层进行2次卷积操作，得到第四卷积图像，然后将第四卷积图像进行最大池化操作，得到第四最大池化层；

5)对第四最大池化层进行2次卷积操作，得到缺陷的环境信息图像；

上采样过程，包括以下步骤：

1)对缺陷的环境信息图像进行反卷积操作，得到第一反卷积图像，然后将第四卷积图像进行复制和剪裁后与第一反卷积图像进行拼接，进行卷积操作；

2)将步骤1)进行卷积操作后的图像进行反卷积操作，得到第二反卷积图像，然后将第三卷积图像进行复制和剪裁后与第二反卷积图像进行拼接，进行卷积操作；

3)将步骤2)进行卷积操作后的图像进行反卷积操作，得到第三反卷积图像，然后将第二卷积图像进行复制和剪裁后与第三反卷积图像进行拼接，进行卷积操作；

4)将步骤3)进行卷积操作后的图像进行反卷积操作，得到第四反卷积图像，然后将第一卷积图像进行复制和剪裁后与第四反卷积图像进行拼接，进行卷积操作；

5)将步骤4)进行卷积操作后的图像进行复制和剪裁，然后与工业CT缺陷图像拼接，再进行三次卷积操作，得到特征图。此特征图即为全局特征。

步骤三：特征融合

将局部特征和全局特征进行特征融合(Concat)，形成描述工业CT缺陷图像的新特征。

具体的，将步骤二得到的特征图使用Flatten操作压平成一维度，再使用Concat操作拼接上Hu不变矩提取到的7个特征值，构成描述工业CT缺陷图像的新特征，作为下一步分类模型的输入。

步骤四：分类模型的训练

如图1所示，将步骤三描述工业CT缺陷图像的新特征放入一个两层的全连接神经网络中，构成基于传统特征提取和深度学习融合的工业CT图像缺陷分类识别模型，再对该模型进行训练，其中，输入层神经元个数根据拼接生成的新特征长度而定，输出层的神经元个数是最终要分类的个数，中间隐藏层神经元个数选取一个输入层和输出层神经元个数的中间值即可。

接着将输出层连接到Softmax层，Softmax层所做的工作就是把输出层预测出来的结果转换成概率值，最终分类结果选取概率值最大的类别。具体的公式如(式7)所示。

其中，z_i代表的是输出层第i个神经元的输出，z_j代表的是输出层第j个神经元的输出，K代表的是输出层个数。

将工业CT缺陷图片数据集输入基于传统特征提取和深度学习融合的工业CT图像缺陷分类识别模型进行训练，优化深度学习网络的参数使识别效果达到最优。

如图3所示，基于传统特征提取和深度学习融合的工业CT图像缺陷分类识别模型训练具体过程为：首先初始化模型各项参数，并向模型中输入数据(包含工业CT缺陷图片和对应的缺陷类别标签)，然后进行前向传播训练，计算各层误差，训练的目标是通过减少误差以提高缺陷图片识别的准确度。通过损失函数度量误差的大小，所采用的损失函数为加权交叉熵损失函数Loss，具体如下：

其中，y为期望输出，

为真实输出，根据交叉熵损失函数Loss来反向传播。β用来确定是假正例还是假反例减少的参数。β>1，减少假正例；β<1，减少假反例。

按照下式更新参数：

式中：

W_t为当前模型的权重，b_t为当前模型的偏置值；

W_t+1为更新后的模型的权重，b_t+1为更新后的模型的偏置值；

η为学习率，设置为0.001；

t为迭代次数。

每迭代一个Epoch，保留一次模型。

每轮训练完成时，测试模型在测试集上的准确率，并判断准确率是否达到预期结果。如未达到预期结果，继续进行模型的训练，直到达到预期结果。

使用训练好的模型，对未知类别的新的缺陷图像即待分类的工业CT图像进行准确的分类，实现分类的目的。

本发明具体的实验结果如下：

首先，实验过程中选取工业CT缺陷图像分别有900张，根据孔洞类、夹杂类和裂纹类制备数据集，每种类型有300张图片。其中以6:2:2的比例将900张图像划分为540张训练集、180张验证集、180张测试集，数据集的划分要注意类别的均衡。

如图4所示是基于传统特征提取和深度学习融合的工业CT图像缺陷分类识别模型在训练集和验证集上的Accuracy和Loss曲线。其中Accuracy代表的是准确率，准确率表征的是预测标签和真实标签的吻合程度，因此验证集上的准确率越高越好，Loss代表的是损失函数，损失函数表征的是预测值和真实标签之间的差异，因此损失函数值越小越好。

此外根据不同的学习率、数据集大小、训练批次大小等参数值的设置，有以下几组实验结果数据展示：

表1基于传统特征提取和深度学习融合的工业CT图像缺陷分类识别模型实验结果

数据集大小	300	300	900	900
					学习率	0.001	0.0001	0.001	0.0001
批次大小	4	8	4	8
					准确率	98.5％	98.3％	98.6％	98.7％
精确率	96.4％	97.6％	98.3％	98.6％
					召回率	96.7％	96.9％	97.5％	98.1％

对于多分类问题来说，一种预测类别看为正例的话，其他几种类别就是反例。表中提及到的精确率表征的是预测为正例的样本中真实标签是正例的样本所占的比例，又叫查准率。此外还有召回率，召回率表征的是真实标签为正例的样本中正确预测为正例的样本所占的比例。这两个标准是是工业界比较关心的评价标准。

本发明主要针对工业缺陷识别领域，对工业CT缺陷图像进行分类，能够很好的解决现如今工业界缺陷识别领域里采用人工方式对图像进行评定，造成的人为因素影响损伤评定可靠性问题。人工的方式对CT缺陷图像中的缺陷进行判定，这种方法虽然简单易行，但是其评定完全依赖于检测人员的经验，个体差异大，人工评估眼睛疲劳、标准理解等人为因素影响，使得漏检或者误检概率极大。采用缺陷自动识别可以实现缺陷的快速识别与分类，减少人员工作时间，避免人为因素对缺陷评定的失误，提高射线检测的质量及效率，对于工件的缺陷检测具有重要意义。

Claims (8)

1.基于特征提取和深度学习的工业CT图像缺陷分类方法，其特征在于，包括以下步骤：

采集工业CT缺陷图像，提取工业CT缺陷图像的局部特征和全局特征；

将局部特征和全局特征进行特征融合，形成描述工业CT缺陷图像的新特征；采用新特征训练基于特征提取和深度学习融合的工业CT图像缺陷分类识别模型；

将待分类的工业CT缺陷图像输入到训练后的基于特征提取和深度学习融合的工业CT图像缺陷分类识别模型中，实现分类的目的。

2.根据权利要求1所述的基于特征提取和深度学习的工业CT图像缺陷分类方法，其特征在于，采用Hu不变矩，提取工业CT缺陷图像的局部特征。

3.根据权利要求1所述的基于特征提取和深度学习的工业CT图像缺陷分类方法，其特征在于，根据工业CT缺陷图像的归一化(p+q)阶中心矩η_pq，构造7个Hu不变矩，根据7个Hu不变矩，提取工业CT缺陷图像的局部特征；

其中，ρ为中间变量，ρ＝(p+q)/2+1，μ_pq为工业CT缺陷图像(p+q)阶中心矩，p为图像宽度方向上的阶数，q为图像高度方向上的阶数，μ₀₀为图像宽度和高度方向上都为0阶的中心距。

4.根据权利要求1所述的基于特征提取和深度学习的工业CT图像缺陷分类方法，其特征在于，基于U-Net神经网络提取工业CT缺陷图像的全局特征。

5.根据权利要求1所述的基于特征提取和深度学习的工业CT图像缺陷分类方法，其特征在于，U-Net神经网络通过下采样和上采样过程构建：

下采样过程包括以下步骤：

1)将工业CT缺陷图像进行2次卷积操作，得到第一卷积图像，然后将第一卷积图像进行最大池化操作，得到第一最大池化层；

2)对第一最大池化层进行2次卷积操作，得到第二卷积图像，然后将第二卷积图像进行最大池化操作，得到第二最大池化层；

3)对第二最大池化层进行2次卷积操作，得到第三卷积图像，然后将第三卷积图像进行最大池化操作，得到第三最大池化层；

4)对第三最大池化层进行2次卷积操作，得到第四卷积图像，然后将第四卷积图像进行最大池化操作，得到第四最大池化层；

5)对第四最大池化层进行2次卷积操作，得到缺陷的环境信息图像。

6.根据权利要求5所述的基于特征提取和深度学习的工业CT图像缺陷分类方法，其特征在于，上采样过程包括以下步骤：

1)对缺陷的环境信息图像进行反卷积操作，得到第一反卷积图像，然后将第四卷积图像进行复制和剪裁后与第一反卷积图像进行拼接，进行卷积操作；

2)将步骤1)进行卷积操作后的图像进行反卷积操作，得到第二反卷积图像，然后将第三卷积图像进行复制和剪裁后与第二反卷积图像进行拼接，进行卷积操作；

3)将步骤2)进行卷积操作后的图像进行反卷积操作，得到第三反卷积图像，然后将第二卷积图像进行复制和剪裁后与第三反卷积图像进行拼接，进行卷积操作；

4)将步骤3)进行卷积操作后的图像进行反卷积操作，得到第四反卷积图像，然后将第一卷积图像进行复制和剪裁后与第四反卷积图像进行拼接，进行卷积操作；

5)将步骤4)进行卷积操作后的图像进行复制和剪裁，然后与工业CT缺陷图像拼接，再进行三次卷积操作，得到全局特征。

7.根据权利要求1所述的基于特征提取和深度学习的工业CT图像缺陷分类方法，其特征在于，将全局特征使用Flatten操作压平成一维度，再使用Concat操作拼接上Hu不变矩提取到的7个特征值，构成描述工业CT缺陷图像的新特征。

8.根据权利要求1所述的基于特征提取和深度学习的工业CT图像缺陷分类方法，其特征在于，全连接神经网络训练至误差最小，通过损失函数度量误差的大小，损失函数如下式所示：

其中，y为期望输出，

为真实输出，β为用来确定是假正例还是假反例减少的参数。

Images