CN111931805B - 一种基于知识引导cnn的小样本相似磨粒辨识方法 - Google Patents

Abstract

一种基于知识引导CNN的小样本相似磨粒辨识方法，根据磨粒生成机理，以二值图形式标记磨粒高度图的关键特征；以此为基础，构建VGG16模型的U‑net网络来自动提取磨粒的典型特征；通过加权方式，将U‑Net网络输出与全卷积CNN网络的卷积层融合，引导全卷积CNN网络训练，使其能够快速定位相似磨粒的区别性特征；所构建网络模型采用Focal loss损失和二分类交叉熵损失的加权和作为整体损失函数，以SGD优化算法进行参数训练，获得最终的相似磨粒分类模型，实现典型相似磨粒的辨识；本发明有效地将磨粒知识经验与CNN网络相结合，解决了目前磨粒分析领域相似磨粒样本数量少、识别准确率低的问题。

Description

一种基于知识引导CNN的小样本相似磨粒辨识方法

技术领-域

本发明属于机器故障诊断领域的磨粒分析技术领域，特别涉及一种基于知识引导CNN的小样本相似磨粒辨识方法。

背景技术

机械设备的运行过程中，摩擦副相对运动不可避免地引起摩擦磨损，随着时间的累积，会导致零部件的原有设计功能受到损坏直至失效。磨粒作为磨损的直接产物，以复杂的形貌特征记载了其产生机理，是磨损机理分析和磨损状态监测的重要依据。经过多年积累，研究者积累了大量关于磨粒的知识经验，能够准确地辨识不同类型的磨粒。随着智能设备状态监测的需求，传统的磨粒分析技术正在被卷积神经网络等智能算法推向自动化，为装备状态监测及维修维护决策提供有效依据。

以二维图像为基础的铁谱分析技术已经实现了球形磨粒、正常磨粒以及切削磨粒等具有明显形状特征磨粒的准确辨识。但是，二维图像仅能表征磨粒的颜色、轮廓信息，并非真正的表面形貌信息，这导致基于形状所构建的模型无法准确辨识疲劳、严重滑动磨粒等相似磨粒。为此，研究者从铁谱图像中提取纹理特征参数，通过人工神经网、模糊数学、灰色理论等方法构建磨粒分类器，实现此类磨粒的自动识别。由于机械设备、操作人员以及磨粒表面氧化成度的差异导致磨粒在二维图像上的颜色存在明显的差异，进而导致所构建模型适用范围或准确性受到限制。

为了进一步提高相似磨粒识别准确率，激光共聚焦显微镜(LSCM)和原子力显微镜(AFM)被用来提取表面粗糙度、三维纹理参数等磨粒三维特征，通过支持向量机等分类器对相似磨粒进行识别。三维表面获取方法在磨粒分析中的应用，为磨粒类型识别提供了有效的分析信息。据统计，有超过200种人工设计特征用于描述磨粒三维形貌。如此繁多的三维参数不可避免的导致磨粒表征信息冗余，反而降低了磨粒辨识精度。

随着深度学习的应用，磨粒分析逐渐由有参数辨识扩展到无参数辨识。以二维图像作为输入的卷积神经网络(CNN)在磨粒辨识中逐渐得到应用，极大地提高了严重滑动和疲劳磨粒的识别效率。但受限于二维图像的信息表征缺陷，此类辨识模型的识别准确率依旧较低。鉴于此，寻求其他磨粒辨识方法成为必然需要。其中一种行之有效的方法即为基于CNN的磨粒三维表面辨识，但是磨粒样本数量少却阻碍了这种方法的发展。毕竟，设计良好的机械设备很少会出现故障，这就导致采集的异常磨粒样本数量较少且获取周期长。针对此类小样本问题，研究者构建了新型CNN辨识模型，主要包括：孪生网络、匹配网络和原型网络等。这些方法大多是对样本间距离分布进行建模，使得同类样本靠近，异类样本远离。虽然这些模型在一定程度上能够减少训练样本的数量，但是它们以最小化损失函数为优化目标，优化算法盲目地搜寻，能够使损失函数达到最小的特征，训练过程缺乏指导信息，很有可能导致模型无法定位磨粒图像的关键特征，并促使它们采用次要或无用特征对磨粒分类，从而降低分类的有效性。

总体而言，目前磨粒辨识模型在磨损分析领域取得了一定的工程效果。但是由于其方法本身固有的缺陷，如：二维图像无法反应磨粒三维形貌；三维形貌参数多；典型磨粒样本数量少等，而降低了相似磨粒的辨识准确率。

发明内容

为了克服上述现有技术的缺陷，本发明的目的在于提供一种基于知识引导CNN的小样本相似磨粒辨识方法，以磨粒三维图像的高度图(灰度图像)为研究对象，基于典型磨粒生成机理构建磨粒特征标记图，作为知识经验；根据这两种图像，基于VGG16构建U-net网络自动提取典型磨粒高度图的关键特征；通过加权方式，将U-Net网络输出与全卷积CNN网络的卷积层融合来引导CNN网络训练，使其能够快速定位相似磨粒的区别性特征；网络模型采用Focal loss损失和二分类交叉熵损失的加权和作为整体损失函数，用SGD优化算法进行参数训练，获得最终分类器，实现相似磨粒的准确辨识，为磨损机理和状态分析提供更多有效信息。

为实现上述目的，本发明采用如下技术方案：

一种基于知识引导CNN的小样本相似磨粒辨识方法，包括以下步骤：

步骤一、根据磨粒生成机理，生成典型磨粒的特征标记图，基于U-Net模型实现磨粒高度图典型特征的自动提取；

步骤二、基于CNN基本框架，构建融合U-net网络输出的知识嵌入全卷积CNN网络，输出磨粒类别；

步骤三、确定U-Net网络和全卷积CNN网络的损失函数，分别为Focal loss损失和二分类交叉熵损失，通过加权方式构建整体模型损失函数；

步骤四、以模型损失函数作为优化目标，不少于10组失效磨粒作为训练样本，采用随机梯度下降法SGD训练所构建的小样本相似磨粒CNN辨识模型，实现相似磨粒的辨识。

所述的步骤一，具体步骤如下：

S1，通过高度映射实现磨粒三维形貌的二维表征，用图像灰度反应磨粒形貌的变化；

S2，根据磨粒生成机理标记高度图中磨粒特征核心区域，构建磨粒特征标记图；

S3，U-Net特征提取网络：以VGG16模型为基础构建编码器；解码器的结构与编码器相对应，采用双线性差值对特征图进行上采样，上采样层后紧跟一个标准结构Conv-BN-ReLU，用于精细处理上采样的特征；模型输出层采用Sigmoid激活函数，将输出转化为关键区域的概率图，实现磨粒高度图典型特征的自动提取。

所述的步骤二，具体步骤如下：

S1，全卷积CNN网络与U-Net网络共用第一和第二卷积层；

S2，第二卷积层输出特征图与U-Net网络的输出加权，增强特征图中的磨粒关键区域，如公式(1)所示；

公式(1)：

其中，A为卷积核输出特征图，B是U-Net网络输出特征分布概率图，m和n分别代表特征图的长度和宽度；

S3，采用Conv-BN-ReLU结构来创建剩余卷积层；

S4，采用两个全连接层来增强所构建的全卷积CNN网络解决非线性问题的能力；

S5，利用sigmoid函数作为全卷积神经网络输出层，搭建磨粒分类器。

所述的步骤三，具体步骤如下：

S1，针对磨粒特征标记图中正负样本不均衡的现象，采用Focal loss作为U-Net网络损失函数，如公式(2)所示；

公式(2)：

式中，pr就表示该像素的预测热图中属于关键区域的概率，gt为经过归一化高斯模糊的简图，gt≥0.5表示正样本；gt<0.5表示负样本，α和β是控制每个像素点权重的超参数；

S2，考虑到疲劳和严重滑动磨粒为两种类型，选择二分类交叉熵函数作为全卷积CNN网络的损失函数，如公式(3)所示；

公式(3)：Classify_loss＝-(y_t×log(y_p)+(1-y_t)×log(1-y_p))

式中，y_t是样本的真实标签，y_p为样本属于y_t＝1的概率。

S3，基于U-net网络和全卷积CNN网络的损失函数，通过加权求和方式获得整个模型的损失函数，如公式(4)所示。

公式(4)：Model_loss＝a×Classify_loss+b×Focal_loss

式中，a和b为两种损失函数的加权系数。

所述的步骤四，具体步骤如下：

S1，利用标准磨粒分析流程采集典型磨粒高度图，制作训练和测试样本；

S2，使用ImageNet数据集上训练的VGG16网络权重作为编码器预训练参数；

S3，受限于所构建的知识引导CNN模型的庞大结构，选择占用内存较小的SGD算法对所构建模型优化训练，使用较小的学习率来微调网络；从而实现基于知识引导的小样本相似磨粒CNN辨识模型的构建，对相似磨粒进行分类辨识。

本发明应用于机械设备磨损状态监测领域，具有以下有益效果：

1、本发明利用U-net网络将磨粒知识经验与卷积神经网络相结合，通过知识经验指导全卷积CNN模型的训练，实现在小样本条件下利用典型特征对磨粒进行分类，适用于磨粒分析领域所有相似磨粒的类型辨识；

2、本发明通过三维形貌高度映射获取磨粒表面映射图，通过图像的灰度变化反应磨粒表面形貌，降低了样本数据量，为磨粒分类提供了可靠的研究对象；

3、本文采用磨粒高度图和特征标记图构建基于VGG16的U-Net模型，实现了磨粒典型特征的自动提取，为磨粒辨识提供有效的指导信息。

附图说明

图1为基于知识引导的小样本相似磨粒CNN辨识模型的总体结构图。

图2为典型相似磨粒特征标记图，其中图2(a)和图2(c)分别为疲劳磨粒和严重滑动磨粒的高度图；图2(b)和图2(d)分别为疲劳磨粒和严重滑动磨粒的特征标记图。

图3为基于VGG16的U-net网络框架。

图4为知识指导的CNN磨粒辨识模型框架。

图5为基于SGD的所构建CNN模型训练过程，其中：:5(a)为训练精度，图5(b)为训练损失。

图6为磨粒辨识模型的类别激活图。

具体实施方式

下面结合附图对本方法进行说明。

参照图1，一种基于知识引导的小样本相似磨粒CNN辨识模型，包括以下步骤：

步骤一、磨粒分类识别是磨粒分析技术中的核心，而三维表面获取方法极大地丰富了磨粒特征提取和类型辨识的分析信息。但是，失效磨粒样本数量少且三维样本数据量大，导致卷积神经网络等智能辨识算法无法得到充分训练，极大地降低了磨粒辨识模型在实际应用中的识别准确率。本发明通过磨粒知识经验引导CNN的训练，实现磨粒关键特征的快速定位，从而提高分类准确率。首先需要对磨粒知识经验进行表征。为此，以磨粒高度图为研究对象，基于磨粒生成机理以二值图形式标记高度图中的典型特征，进而构建U-Net模型实现磨粒典型特征的自动提取，具体步骤如下：

S1，针对三维形貌特征样本数据量大的问题，通过高度映射实现磨粒三维形貌的二维表征，用图像灰度反应磨粒形貌的变化；

S2，根据磨粒生成机理，标记磨粒高度图中典型特征的核心区域，以白色标记磨粒图像中的典型特征(即凹坑或者平行划痕)，黑色标记图像背景和磨粒非典型特征区域，构建磨粒特征标记图，如图2所示；

S3，U-Net特征提取网络：以VGG16模型为基础构建编码器；解码器的结构与编码器相对应，采用双线性差值对特征图进行上采样，上采样层后紧跟一个标准结构Conv-BN-ReLU，用于精细处理上采样的特征；输出层采用Sigmoid激活函数将输出转化为关键区域的概率图，如图3所示。

上述步骤(S3)中U-Net网络的构建，具体包括以下步骤：

(1)以VGG16模型为基础，除去当前任务中不需要的最后三层全连接层外，剩余18个网络层构建U-net的编码器，具体结构参数如图3所示。所构建的U-Net中包含5个最大池化层，因此只有长宽可以被32(即2⁵)整除的图像可以用作当前模型的输入；

(2)解码器与编码器的结构对称，其前向传播过程与编码器相反。构建解码器时，每一步都采用双线性差值对特征图进行上采样(Upsampling)，将输入的特征层放大2倍；上采样层后紧跟一个标准结构Conv-BN-ReLU，Conv即为卷积核尺寸3×3的卷积层，用于精细处理上采样的特征；BN为批归一化层，其主要用于对特征进行归一化处理，加速网络收敛；ReLU实现图像特征的非线性映射，起到压缩特征、抑制噪声的作用。上采样步骤重复了5次用来与5个最大池化层对应，确保U-Net网络输入、输出图像尺寸相同；

(3)U-net网络共采用五个跳跃连接，以提高输出图像的分辨率；

(4)网络输出层使用Sigmoid激活函数将输出转化为关键区域的概率图；例如某个像素点的输出是0.9，则判定这个像素点是关键区域的概率更大；

步骤二、利用磨粒高度图和U-Net网络输出构建知识指导的全卷积CNN磨粒辨识模型，输出相似磨粒的类型，结构如图4所示，具体步骤如下：

S1，全卷积神经网络与U-net网络共用第一和第二卷积层；

S2，第二卷积层输出特征图与U-Net网络的输出加权，增强特征图中的磨粒关键区域，如公式(1)所示，获得加权特征图作为后续卷积层的输入；

公式(1)：

其中，A为卷积核输出特征图，B是U-Net网络输出特征分布概率图，m和n分别代表特征图的长度和宽度。

S3，采用Conv-BN-ReLU结构创建第三至第八卷积层，以有效解决网络可能存在的过拟合、梯度消失等问题，如图4所示，其中S1和S2分别代表卷积核移动步长为1和2；

S4，网络中添加两个全连接层来增强所构建全卷积CNN网络解决非线性问题的能力；

S5，利用sigmoid函数作为全卷积CNN网络输出层，搭建磨粒分类器；

步骤三、损失函数是网络优化训练的目标，通过样本预测结果与真实标记间的误差来反向传播指导网络参数优化。所构建的知识引导的CNN辨识网络包含U-net网络与全卷积CNN网络，为此，选择两个损失函数，别为Focal loss损失和二分类交叉熵损失，通过加权融合的方式构造模型整体损失函数，具体步骤如下：

S1，磨粒特征标记图中包含了大量的背景区域，标记特征与背景像素差距较大，这种类别不均衡会影响损失函数的计算；针对这种情况，采用Focal loss作为U-Net网络损失函数，如公式(2)所示；

公式(2)：

式中，pr就表示该像素的预测热图中属于关键区域的概率，gt为经过归一化高斯模糊的简图(gt≥0.5表示正样本；gt<0.5表示负样本)，α和β是控制每个像素点权重的超参数，将α设置为2，β设置为4)；

S2，考虑到疲劳和严重滑动磨粒为两种类型，选择二分类交叉熵函数作为全卷积CNN网络的损失函数，如公式(3)所示；

公式(3)：Classify_loss＝-(y_t×log(y_p)+(1-y_t)×log(1-y_p))

式中，y_t是样本的真实标签，y_p为样本属于y_t＝1的概率；

S3，基于U-net网络和全卷积CNN网络的损失函数，通过加权求和方式获得整个模型的损失函数，如公式(4)所示；

公式(4)：Model_Loss＝a×Classify_loss+b×Focal_loss

式中，a和b为两种损失函数的加权系数。由于U-Net网络损失值比全卷积CNN网络损失大，a和b分别设置为0.1和0.9。通过这种方式让模型更加关注于磨粒典型特征学习，并且保持较高的学习速率；

步骤四、以模型损失函数作为优化目标，20组失效磨粒作为训练样本，采用随机梯度下降法训练所构建的知识引导的小样本相似磨粒CNN辨识模型，实现相似磨粒的辨识，具体步骤如下：

S1，利用标准磨粒分析流程采集典型磨粒高度图，制作训练和测试样本；

S2，由于缺少足够的训练数据，使用ImageNet数据集上训练的VGG16网络权重作为编码器预训练参数；

S3，受限于所构建的知识引导CNN模型的庞大结构，选择占用内存较小的SGD算法对所构建模型优化训练，而没有采用BGD和Adam算法，使用较小的学习率(0.01)来微调网络，训练过程如图5所示；从而实现基于知识引导的小样本相似磨粒CNN辨识模型的构建，对相似磨粒进行分类辨识。

验证：

采用类别激活图对分类网络的L8卷积层进行可视化分析，突出分类所采用的图像关键区域，验证所构建的知识引导的小样本相似磨粒辨识模型的可靠性，结果如图6所示。

Claims (5)

1.一种基于知识引导CNN的小样本相似磨粒辨识方法，其特征在于，包括以下步骤：

步骤一、根据磨粒生成机理，生成典型磨粒的特征标记图，基于U-Net模型实现磨粒高度图典型特征的自动提取；

步骤二、基于CNN基本框架，构建融合U-net网络输出的知识嵌入全卷积CNN网络，输出磨粒类别；具体步骤如下：

S1，全卷积CNN网络与U-Net网络共用第一和第二卷积层；

S2，第二卷积层输出特征图与U-Net网络的输出加权，增强特征图中的磨粒关键区域，如公式(1)所示；

公式(1)：

其中，A为卷积核输出特征图，B是U-Net网络输出特征分布概率图，m和n分别代表特征图的长度和宽度；

S3，采用Conv-BN-ReLU结构来创建剩余卷积层；

S4，采用两个全连接层来增强所构建的全卷积CNN网络解决非线性问题的能力；

S5，利用sigmoid函数作为全卷积神经网络输出层，搭建磨粒分类器；

步骤三、确定U-Net网络和全卷积CNN网络的损失函数，分别为Focal loss损失和二分类交叉熵损失，通过加权方式构建整体模型损失函数；

步骤四、以模型损失函数作为优化目标，不少于10组失效磨粒作为训练样本，采用随机梯度下降法SGD训练所构建的小样本相似磨粒CNN辨识模型，实现相似磨粒的辨识。

2.根据权利要求1所述的一种基于知识引导CNN的小样本相似磨粒辨识方法，其特征在于，

所述的步骤一，具体步骤如下：

S1，通过高度映射实现磨粒三维形貌的二维表征，用图像灰度反应磨粒形貌的变化；

S2，根据磨粒生成机理标记高度图中磨粒特征核心区域，构建磨粒特征标记图；

S3，U-Net特征提取网络：以VGG16模型为基础构建编码器；解码器的结构与编码器相对应，采用双线性差值对特征图进行上采样，上采样层后紧跟一个标准结构Conv-BN-ReLU，用于精细处理上采样的特征；模型输出层采用Sigmoid激活函数，将输出转化为关键区域的概率图，实现磨粒高度图典型特征的自动提取。

3.根据权利要求1所述的一种基于知识引导CNN的小样本相似磨粒辨识方法，其特征在于，

所述的步骤二，具体步骤如下：

S1，全卷积CNN网络与U-Net网络共用第一和第二卷积层；

S2，第二卷积层输出特征图与U-Net网络的输出加权，增强特征图中的磨粒关键区域，如公式(1)所示；

公式(1)：

其中，A为卷积核输出特征图，B是U-Net网络输出特征分布概率图，m和n分别代表特征图的长度和宽度；

S3，采用Conv-BN-ReLU结构来创建剩余卷积层；

S4，采用两个全连接层来增强所构建的全卷积CNN网络解决非线性问题的能力；

S5，利用sigmoid函数作为全卷积神经网络输出层，搭建磨粒分类器。

4.根据权利要求1所述的一种基于知识引导CNN的小样本相似磨粒辨识方法，其特征在于，

所述的步骤三，具体步骤如下：

S1，针对磨粒特征标记图中正负样本不均衡的现象，采用Focal loss作为U-Net网络损失函数，如公式(2)所示；

公式(2)：

式中，pr就表示该像素的预测热图中属于关键区域的概率，gt为经过归一化高斯模糊的简图，gt≥0.5表示正样本；gt<0.5表示负样本，α和β是控制每个像素点权重的超参数；

S2，考虑到疲劳和严重滑动磨粒为两种类型，选择二分类交叉熵函数作为全卷积CNN网络的损失函数，如公式(3)所示；

公式(3)：Classify_loss＝-(y_t×log(y_p)+(1-y_t)×log(1-y_p))

式中，y_t是样本的真实标签，y_p为样本属于y_t＝1的概率；

S3，基于U-net网络和全卷积CNN网络的损失函数，通过加权求和方式获得整个模型的损失函数，如公式(4)所示；

公式(4)：Model_Loss＝a×Classify_loss+b×Focal_loss

式中，a和b为两种损失函数的加权系数。

5.根据权利要求1所述的一种基于知识引导CNN的小样本相似磨粒辨识方法，其特征在于，

所述的步骤四，具体步骤如下：

S1，利用标准磨粒分析流程采集典型磨粒高度图，制作训练和测试样本；

S2，使用ImageNet数据集上训练的VGG16网络权重作为编码器预训练参数；

S3，受限于所构建的知识引导CNN模型的庞大结构，选择占用内存较小的SGD算法对所构建模型优化训练，使用较小的学习率来微调网络；从而实现基于知识引导的小样本相似磨粒CNN辨识模型的构建，对相似磨粒进行分类辨识。

Images