CN114757916A - 基于特征提取和bp网络的工业ct图像缺陷分类方法 - Google Patents

Abstract

本发明公开一种基于特征提取和BP网络的工业CT图像缺陷分类方法，包括以下步骤：采集工业CT缺陷图像，采用Hu不变矩，提取工业CT缺陷图像的不变矩特征；提取工业CT缺陷图像的形态特征；提取工业CT缺陷图像的灰度特征；将工业CT缺陷图像的不变矩特征、形态特征与灰度特征构成特征向量；将待分类缺陷图像输入到经特征向量训练后的BP神经网络模型进行分类，实现分类目的。本发明采用缺陷自动识别可以实现缺陷的快速识别与分类，减少人员工作时间，避免人为因素对缺陷评定的失误，提高射线检测的质量及效率，对于工件的缺陷检测具有重要意义。

Description

基于特征提取和BP网络的工业CT图像缺陷分类方法

技术领域

本发明具体涉及一种基于特征提取和BP网络的工业CT图像缺陷分类方法，属于计算机视觉领域。

背景技术

工业CT图像缺陷自动识别是计算机视觉和工业CT缺陷识别的交叉领域，旨在把计算机视觉领域中一些方法引入到工业CT缺陷识别领域，结合具体的应用背景，提出方法的改进。工业CT技术是无损测量领域的常用手段。一般使用金属合金等材料铸造成型的产品中，因材料和工艺原因，常存在孔洞类、夹杂类和裂纹类等缺陷。

不变矩方法常使用图像特征提取和分类任务中。Hu不变矩是图像的一种统计特征，因其具有平移、旋转与比例不变性而被广泛应用于图像识别领域。Hu不变矩虽有计算速度快等优点，但在工业CT图像孔洞类、夹杂类和裂纹类等缺陷识别上准确率不高。有经验的技术人员在分析金属产品的工业CT二维切片图片的缺陷情况时，常根据缺陷的形态学特征和灰度值特征来判定缺陷的类别。比如，根据缺陷的形态学特征，可以准确高效地分辨裂纹类缺陷。因此，亟需把缺陷的形态学特征和灰度值特征引入工业CT图像缺陷分类中。

发明内容

为克服上述现有技术的缺点，本发明的目的在于提出一种基于特征提取和BP网络的工业CT图像缺陷分类方法，通过融合不变矩特征、形态特征和灰度特征的缺陷图像特征提取方法，结合BP神经网络模型对工业CT缺陷图像做自动分类识别。

为实现上述目的，本发明采用以下技术方案予以实现：

基于特征提取和BP网络的工业CT图像缺陷分类方法，包括以下步骤：

采集工业CT缺陷图像，采用Hu不变矩，提取工业CT缺陷图像的不变矩特征；

提取工业CT缺陷图像的形态特征；

提取工业CT缺陷图像的灰度特征；

将工业CT缺陷图像的不变矩特征、形态特征与灰度特征构成特征向量；

将待分类缺陷图像输入到经特征向量训练后的BP神经网络模型进行分类，实现分类目的。

本发明进一步的改进在于，工业CT缺陷图像形态特征包括周长、面积、长宽比和圆形度。

本发明进一步的改进在于，周长P通过下式计算：

式中，f(x,y)为缺陷像素点灰度值，R'为目标区域集合，x为图像像素点的横坐标，y为图像像素点的纵坐标。

本发明进一步的改进在于，面积A通过下式计算；

式中，M为图像的行数，N为图像的列数，x为图像像素点的横坐标，y为图像像素点的纵坐标，f(x,y)为缺陷像素点灰度值。

本发明进一步的改进在于，缺陷的长宽比Z通过下式计算：

式中，R为长轴，K为短轴。

本发明进一步的改进在于，圆形度e通过下式计算：

式中，P为周长，A为面积。

本发明进一步的改进在于，工业CT图像灰度特征包括缺陷图像灰度均值和缺陷灰度方差；

缺陷图像灰度均值通过下式计算：

式中：mean为缺陷图像灰度均值，M为图像的行数，N为图像的列数，x为图像像素点的横坐标，y为图像像素点的纵坐标，f(x,y)为缺陷像素点灰度值。

本发明进一步的改进在于，缺陷灰度方差通过下式计算：

式中：mean为缺陷图像灰度均值，std为缺陷灰度方差，M为图像的行数，N为图像的列数，x为图像像素点的横坐标，y为图像像素点的纵坐标，f(x,y)为缺陷像素点灰度值。

本发明进一步的改进在于，BP神经网络模型至误差最小，通过损失函数度量误差的大小，损失函数如下式所示：

其中，y为期望输出，

为真实输出，β为用来确定是假正例还是假反例减少的参数。

与现有技术相比，本发明具有的有益效果：

由于Hu不变矩特征具有平移、旋转、尺度不变性，本发明结合了Hu不变矩特征作为缺陷信息的描述，能够使得缺陷在发生平移、旋转和尺度变换时，能够较好的作为对缺陷图形分类的特征，保证模型识别的准确度和鲁棒性。本发明中将形态学特征作为缺陷信息的描述，融合了专家经验，能够显著提升模型总体识别的准确度以其对各类缺陷识别的准确度。将灰度值特征作为缺陷信息的描述，融合了专家经验，能够显著提升模型总体识别的准确度以其对各类缺陷识别的准确度。使用BP神经网络作为缺陷自动分类模型，模型结构轻便，训练时间花销小，能够有效处理向量信息。

附图说明

图1为基于特征提取和BP网络的工业CT图像缺陷分类方法总体方案图；

图2为BP神经网络模型图；

图3为BP神经网络模型训练过程示意图；

图4为基于Hu不变矩、形态特征以及灰度特征的工业CT图像缺陷分类识别模型在训练集和验证集上的Accuracy和Loss曲线。

具体实施方式

下面结合附图对本发明进行详细说明。

本发明包括以下步骤：

提取缺陷图像不变矩特征：使用Hu不变矩特征进行提取缺陷图像不变矩特征，Hu不变矩特征具有平移、旋转、尺度不变性，能够较好的作为对缺陷图形分类的特征。

提取缺陷图像形态特征：使用缺陷的周长、面积、长宽比和圆形度等作为缺陷的形态学特征。

提取缺陷图像灰度特征：选用灰度特征中的灰度均值和方差，作为缺陷图像灰度信息的描述。

Hu不变矩提出了7个不变矩、4个形态学特征和，2个灰度特征，一共构成一个13维的特征向量来描述缺陷信息，将新的特征向量放入一个两层的BP神经网络进行分类，其中输入层神经元个数是13，输出层的神经元个数是最终要分类的个数，中间隐藏层神经元个数选取一个输入层和输出层神经元个数的中间值即可。

图1是基于特征提取和BP网络的工业CT图像缺陷分类方法总体方案图，具体实施可分成以下四步：

步骤一：基于Hu不变矩提取特征

采集工业CT缺陷图像，由于工业CT缺陷图像为数字图像，用f(x,y)表示图像的像素值。，采用Hu不变矩，提取工业CT缺陷图像的不变矩特征。

具体的，工业CT图像的(p+q)阶原点矩m_pq和中心矩μ_pq定义为：

式中，p为x方向上的阶数，q为y方向上的阶数，M、N为图像的行数和列数,x、y为图像像素点的坐标，

为图像中心点的坐标。

归一化中心矩η_pq定义为：

其中，ρ＝(p+q)/2+1，ρ为中间变量。

如(式3)所示，根据归一化(p+q)阶中心矩η_pq，构造出7个Hu不变矩：

Hu[0]＝η₂₀+η₀₂

Hu[1]＝(η₂₀-η₀₂)²+4η₁₁ ²

Hu[2]＝(η₃₀+3η₁₂)²+(3η₂₁+η₀₃)²

Hu[3]＝(η₃₀+η₁₂)²+(η₂₁+η₀₃)²

Hu[4]＝(η₃₀-3η₁₂)(η₃₀+η₀₃)[(η₃₀+η₁₂)²-3(η₂₁+η₀₃)²]+(3η₂₁-η₀₃)(η₂₁+η₀₃)[3(η₃₀+η₁₂)²-(η₂₁+η₀₃)²]

Hu[5]＝(η₂₀+η₀₂)[(η₃₀+η₁₂)²-(η₂₁+η₀₃)²]+4η₁₁(η₃₀+η₁₂)(|η₂₁+|η₀₃)

Hu[6]＝3(η₂₁-η₃₀)(η₃₀+η₁₂)[(η₃₀+η₁₂)²-3(η₂₁+η₀₃)²]+(3η₁₂-η₃₀)(η₂₁+η₀₃)[3(η₃₀+η₁₂)²-(η₂₁+η₀₃)²] (式4)

式中，η_ij为归一化的i+j阶中心矩，i为图像宽度方向上的阶数，j为图像高度方向上的阶数。

Hu[0]、Hu[1]、Hu[2]、Hu[3]、Hu[4]、Hu[5]以及Hu[6]为分别为缺陷图片的第一局部特征、第二局部特征、第三局部特征、第四局部特征、第五局部特征、第六局部特征与第七局部特征。

步骤二：提取工业CT缺陷图像形态特征。

金属铸造件内部缺陷的基本特征之一是几何形状。一般可以通过缺陷的空间位置和大小等参数描述几何形状特征，是缺陷的最直观特征。本发明中将缺陷的周长、面积、长宽比和圆形度等作为缺陷的形态学特征。

周长：工件切片图像中缺陷边缘上的所有像素点的个数。若目标区域集合为R'，缺陷周长为P，则有：

面积：工业CT图像中缺陷边缘以内所有像素点的总和。工业CT图像的面积用A表示：

缺陷的长宽比：通常在衡量数字图像中目标的偏心率时用到的概念，长宽比Z也可看作是描述区域紧凑性的特征，一般用长轴R和短轴K的比值来衡量区域的紧凑性：

圆形度：用来描述目标的形状与圆的近似度，数值上是指缺陷周长的平方与缺陷面积的比值，圆形度用e表示，可以用来区分裂纹和其他缺陷：

步骤三：提取工业CT缺陷图像灰度特征。

简单的灰度特征包括灰度均值、灰度最大值、最小值、中值、顺序值及方差等。灰度均值描述图像中灰度值的平均值，灰度值的方差描述图像中灰度值的离散程度，图像的对比度。方差大，图形灰度值分布较离散，图像对比度大。选用灰度特征中的灰度均值和方差，作为缺陷图像灰度信息的描述。工业CT图像灰度特征包括缺陷图像灰度均值和缺陷灰度方差。(详细解释公式里的变量，看1里面有一样的改一下公式)

式中：mean为缺陷图像灰度均值，std为缺陷灰度方差，M为图像的行数，N为图像的列数，x为图像像素点的横坐标，y为图像像素点的纵坐标，f(x,y)为缺陷像素点灰度值。

步骤四：BP神经网络模型的构建和训练。

Hu不变矩提取的7个不变矩、4个形态学特征和2个灰度特征，一共构成一个13维的特征向量来描述缺陷信息，作为BP神经网络的输入。

BP神经网络模型如图2所示，总共有四层(包含输入层神经元)，输入层13个神经元，输出层3个神经元。两个隐藏层，分别9个神经元和5个神经元。图中，X_i表示输入值。W_ij、W_jk、W_kl为网络权重。Y_i表示输出值。

从制备的900张工业CT缺陷图片的数据集里面提取上文中所提到的13个特征值，输入搭建好的BP神经网络进行训练，优化网络的参数使识别效果达到最优。

如图3所示，BP神经网络模型训练具体过程为：首先初始化BP神经网络各项参数，并向BP神经网络中输入数据(包含工业CT缺陷图片和对应的缺陷类别标签)，然后进行前向传播训练，计算各层误差，训练的目标是通过减少误差以提高缺陷图片识别的准确度。通过损失函数度量误差的大小，所采用的损失函数为加权交叉熵损失函数Loss，具体如下：

其中，y为期望输出，

为真实输出，根据交叉熵损失函数Loss来反向传播。β用来确定是假正例还是假反例减少的参数。β>1，减少假正例；β<1，减少假反例。

按照下式更新参数：

式中：

W_t为当前BP神经网络的权重，b_t为当前BP神经网络的偏置值；

W_t+1为更新后的BP神经网络的权重，b_t+1为更新后的BP神经网络的偏置值；

η为学习率，设置为0.01；

t为迭代次数。

每迭代一个Epoch，保留一次模型。

每轮训练完成时，测试模型在测试集上的准确率，并判断准确率是否达到预期结果。如未达到预期结果，继续进行模型的训练(即进行反向传播训练，计算相应的权重和偏置，调整各层连接权值，在进行前向传播训练，计算各层误差)。如已达到预期结果，使用训练好的BP神经网络模型，即可对未知类别的新的缺陷图像即待分类图像进行准确的分类。

本发明具体的实验结果如下：

首先，实验过程中选取工业CT缺陷图像分别有900张，根据孔洞类、夹杂类和裂纹类制备数据集，每种类型有300张图片。其中以6:2:2的比例将900张图像划分为540张训练集、180张验证集、180张测试集，数据集的划分要注意类别的均衡。

如图4所示是采用900张缺陷图像的基于Hu不变矩、形态特征以及灰度特征的工业CT图像缺陷分类识别模型在训练集和验证集上的Accuracy和Loss曲线。其中Accuracy代表的是准确率，准确率表征的是预测标签和真实标签的吻合程度，因此验证集上的准确率越高越好，Loss代表的是损失函数，损失函数表征的是预测值和真实标签之间的差异，因此损失函数值越小越好。

此外根据不同的学习率、数据集大小、训练批次大小等参数值的设置，有以下几组实验结果数据展示：

表1基于Hu不变矩、形态特征以及灰度特征的工业CT图像缺陷分类识别模型实验结果

数据集大小	300	300	900	900
					学习率	0.001	0.0001	0.001	0.0001
批次大小	4	8	4	8
					准确率	97.8％	98.1％	98.4％	98.7％
精确率	97.4％	97.3％	98.1％	98.5％
					召回率	96.2％	96.1％	96.9％	98.0％

对于多分类问题来说，一种预测类别看为正例的话，其他几种类别就是反例。表中提及到的精确率表征的是预测为正例的样本中真实标签是正例的样本所占的比例，又叫查准率。此外还有召回率，召回率表征的是真实标签为正例的样本中正确预测为正例的样本所占的比例。这两个标准是是工业界比较关心的评价标准。

本发明主要针对工业缺陷识别领域，对工业CT缺陷图像进行分类，能够很好的解决现如今工业界缺陷识别领域里采用人工方式对图像进行评定，造成的人为因素影响损伤评定可靠性问题。人工的方式对CT缺陷图像中的缺陷进行判定，这种方法虽然简单易行，但是其评定完全依赖于检测人员的经验，个体差异大，人工评估眼睛疲劳、标准理解等人为因素影响，使得漏检或者误检概率极大。采用缺陷自动识别可以实现缺陷的快速识别与分类，减少人员工作时间，避免人为因素对缺陷评定的失误，提高射线检测的质量及效率，对于工件的缺陷检测具有重要意义。

Claims (9)

1.基于特征提取和BP网络的工业CT图像缺陷分类方法，其特征在于，包括以下步骤：

采集工业CT缺陷图像，采用Hu不变矩，提取工业CT缺陷图像的不变矩特征；

提取工业CT缺陷图像的形态特征；

提取工业CT缺陷图像的灰度特征；

将工业CT缺陷图像的不变矩特征、形态特征与灰度特征构成特征向量；

将待分类缺陷图像输入到经特征向量训练后的BP神经网络模型进行分类，实现分类目的。

2.根据权利要求1所述的基于特征提取和BP网络的工业CT图像缺陷分类方法，其特征在于，工业CT缺陷图像形态特征包括周长、面积、长宽比和圆形度。

3.根据权利要求2所述的基于特征提取和BP网络的工业CT图像缺陷分类方法，其特征在于，周长P通过下式计算：

式中，f(x,y)为缺陷像素点灰度值，R'为目标区域集合，x为图像像素点的横坐标，y为图像像素点的纵坐标。

4.根据权利要求2所述的基于特征提取和BP网络的工业CT图像缺陷分类方法，其特征在于，面积A通过下式计算；

式中，M为图像的行数，N为图像的列数，x为图像像素点的横坐标，y为图像像素点的纵坐标，f(x,y)为缺陷像素点灰度值。

5.根据权利要求2所述的基于特征提取和BP网络的工业CT图像缺陷分类方法，其特征在于，缺陷的长宽比Z通过下式计算：

式中，R为长轴，K为短轴。

6.根据权利要求2所述的基于特征提取和BP网络的工业CT图像缺陷分类方法，其特征在于，圆形度e通过下式计算：

式中，P为周长，A为面积。

7.根据权利要求1所述的基于特征提取和BP网络的工业CT图像缺陷分类方法，其特征在于，工业CT图像灰度特征包括缺陷图像灰度均值和缺陷灰度方差；

缺陷图像灰度均值通过下式计算：

式中：mean为缺陷图像灰度均值，M为图像的行数，N为图像的列数，x为图像像素点的横坐标，y为图像像素点的纵坐标，f(x,y)为缺陷像素点灰度值。

8.根据权利要求7所述的基于特征提取和BP网络的工业CT图像缺陷分类方法，其特征在于，缺陷灰度方差通过下式计算：

式中：mean为缺陷图像灰度均值，std为缺陷灰度方差，M为图像的行数，N为图像的列数，x为图像像素点的横坐标，y为图像像素点的纵坐标，f(x,y)为缺陷像素点灰度值。

9.根据权利要求1所述的基于特征提取和BP网络的工业CT图像缺陷分类方法，其特征在于，BP神经网络模型至误差最小，通过损失函数度量误差的大小，损失函数如下式所示：

其中，y为期望输出，

为真实输出，β为用来确定是假正例还是假反例减少的参数。

Images