CN110162018B - 基于知识蒸馏与隐含层共享的增量式设备故障诊断方法 - Google Patents

Abstract

本发明公开了一种基于知识蒸馏与隐含层共享的增量式设备故障诊断方法，涉及轴承设备故障诊断领域。本发明利用知识蒸馏与隐含层共享技术，保证浅层设备故障诊断模型具有较好的数据特征提取能力，提高浅层设备故障诊断模型的故障分类性能。针对工业数据持续增加和边缘设备故障诊断模型更新，本发明使用有效样本识别、重建数据集、预训练模型微调等方法实现模型的增量学习。本发明克服海量实时工业设备数据传输过程中对于网络带宽、网络延迟的要求，提高浅层设备故障诊断方法的精确性，支持增量式学习。通过对轴承运行状态数据的模拟实验，在计算资源有限情况下，本发明提高边云协同数据传输效率并实现故障预测分类精准度，支持增量数据学习与处理。

Description

基于知识蒸馏与隐含层共享的增量式设备故障诊断方法

技术领域

本发明涉及轴承设备故障诊断技术领域，尤其涉及一种基于知识蒸馏与隐含层共享的增量式设备故障诊断方法。

背景技术

随着工业物联网与云计算、大数据的发展，工业领域的大型设备在生产过程中会不断生成海量运行状态数据，如何基于这些数据对设备的运行状态进行分析，使用大数据和机器学习技术来进行设备故障预测，降低由于非预期装备故障带来的生产终止或者人员事故，已经成为目前智造领域研究的热点。目前随着物联网与工业领域的深度结合，装备生产过程中的数据获取变得更加容易，基于设备运行过程数据的设备故障诊断方法成为主流。深度神经网络、支持机、贝叶斯与决策树算法对于一些特定问题有较为完整的解决方法，取得了很好的效果。尤其是深度神经网络算法，对于工业领域数据的复杂性、时变性、多维性都有很好的解决方法。但是，目前基于深度神经网络的设备故障诊断方法大多采用服务器端集中训练以及故障判别的方式，由于工业数据的规模较大，海量数据上传以及处理需要的时间较长。而工业设备对于计算的实时性、可靠性与安全性的要求更高，因此边缘计算技术的发展对于工业领域设备故障诊断方法的实践提供了发展方向。根据IDC统计，截止到2020年联网的设备与终端数量将会超过500亿，其中在网络边缘侧进行分析、处理与计算的数据将会超过50％。因此通过边缘计算技术，很多控制或者判别操作可以交给设备本地的边缘设备进行处理，无需与云端进行通信，从而实现现场实时反馈控制，提高现场数据处理的速度与效率，减轻网络负担与要求，还可为用户过滤生产机密数据，可将数据经过处理之后上传，避免安全问题。但是由于边缘设备的计算性能、存储空间限制，基于深度神经网络的设备故障诊断方法难以实时运行在边缘设备中，这些算法对于运行内存、计算量的要求较高。因此如何对现有的深度神经网络模型进行计算量的缩减，提高边缘设备运行设备故障诊断模型的成为目前的深度学习算法应用于边缘设备的阻碍。此外，由于工业设备的复杂性与时变性，数据持续产生，因此深度神经网络模型需要通过增量学习来进行原有知识的保存以及新数据中知识的学习，目前增量式极限学习机、增量学习神经网络模型以及增量支持向量机都取得了很好的结果，但是如何将增量学习与边缘模型进行结合，保证边缘设备的模型能够持续更新成为目前亟需解决的问题。以上这些因素已经阻碍了深度神经网络模型在边缘设备中的进一步应用，解决这些问题对于实现智能制造，完成智能制造应用的“最后一公里”有至关重要的作用。

发明内容

针对上述技术问题，本发明提出基于知识蒸馏和隐含层共享的增量式设备故障诊断方法，在基于卷积神经网络的设备故障诊断算法的基础上，使用卷积层数较多的教师模型对浅层学生模型进行知识蒸馏，将教师模型的学习能力和学生模型的计算量优势结合，保证了在边缘侧计算能力有限的情况下，仍能够实现较为精准的故障分类效果，接着将教师模型的浅层卷积层与学生模型的卷积层参数共享，进一步提高学生模型的特征提取能力。对于增量数据，对基于知识蒸馏和隐含层共享的设备故障诊断方法进行增量学习改进，首先将增量数据进行有效样本筛选，而后对训练数据集进行重建，最后使用更新后的数据集对教师网络进行微调训练，并重新训练学生模型，实现模型的增量学习与更新。解决了工业领域的数据安全性、实时性以及网络带宽要求。实验表明，基于知识蒸馏和隐含层共享的增量式设备故障诊断方法能够有效提高学生模型的分类准确性，在计算能力较差的情况下取得较好的分类效果，且支持增量式学习，实现了边缘端的设备故障诊断，并保证模型能够增量学习，保持更新。

为实现上述目的，本发明是根据以下技术方案实现的：

一种基于知识蒸馏与隐含层共享的增量式设备故障诊断方法，其特征在于，包括下述步骤：

步骤S1：对深沟球轴承使用电火花加工技术分别在轴承上对内圈、外圈和滚动体布置了3个故障等级的单点故障，选择电机驱动端振动传感器采集正常状态、内圈故障、外圈故障和滚动体故障状态下的振动信号，采样频率为12kHz；

步骤S2：对轴承设备故障数据进行预处理，随机抽样按比例划分为训练数据集和测试数据集，并对测试样本进行标签化处理，将训练样本等量划分为两组，其中一组用于训练深度学习模型，其余一组添加至已有模型进行增量学习；

步骤S3：构建教师模型，并对教师模型进行训练，得到精准的教师网络模型，修改教师模型的Softmax层结构，加入温度参数，此时教师模型的Softmax层输出即为经过软化的软目标，使其能够输出软目标辅助学生模型进行学习；

步骤S4：初始化学生模型，学生模型的Softmax层由两部分组成，一部分为带有温度参数T的Softmax层，另一部分未经修改的Softmax层，使用训练数据集与教师模型的软标签对学生网络进行知识蒸馏，并将教师模型的卷积层参数与学生模型卷积层进行共享；

步骤S5：对增量数据进行有效样本筛选，根据故障类型与模型预测类型，将样本数据分为新增故障数据、原有故障失效数据、原有故障误报数据；

步骤S6：如新增样本中存在新增故障类型数据，则对新增故障数据进行重采样，并将新增数据重新合并至原始数据集，完成数据集的重建；

步骤S7：加载原教师模型结构参数，如新增样本中存在新增故障类型数据，则对教师模型的全连接层进行初始化，重置全连接层参数，得到经过初始化预训练的教师模型，进行增量学习过程。

上述技术方案中，步骤S4中的学生模型中，计算交叉熵损失函数f如下式所示：

其中的H(p,q)为学生模型输出的软标签与教师模型输出软标签的交叉熵损失函数f₁，H(m,m)为学生模型输出的硬标签与训练数据集硬标签的交叉熵损失函数f₂，即f₁为软标签的交叉熵损失函数，f₂为硬标签的交叉熵损失函数，f为f₁与f₂的和。

上述技术方案中，步骤S5中有效样本筛选是通过如下步骤实现的：

对于新增数据式来说，t为时间索引，l为数据标签，取值为0时即正常状态，非零值为故障类型标记，也即：

s^<t><l>＝d(t,t+Δt)＝{d_t,……,d_t+Δt}

l∈L＝{0,1,2,3,……}

式中s^<t><l>表示t时刻的采样数据，l为采样数据的标签，Δt为采样数据的时间间隔，数据标签l的取值为自然数，分别对应不同的故障状态，根据数据标签对新增数据进行筛选，对于新增故障类型数据，

将此条数据识别为新增故障类型数据，后续将会对其进行相应的处理和学习；

对于故障类型属于原有类型的故障数据，首先使用设备故障诊断模型对新增数据进行识别，得到故障诊断模型识别出的故障标签l_p，如诊断类别与数据标记类型相符，即l_p＝l，则表明该条数据与设备故障诊断结果一致，无需进行特殊处理和学习；若诊断类别与数据标记不符，即l_p≠l，则根据l的不同情况，将其标记为原有故障失效数据，即l_p≠l≠0；原有故障误报数据即l_p≠l＝0，表示实际数据标记为正常，但是设备故障诊断模型将其标记为故障数据的情况；如l_p＝l则表明模型预测结果与实际故障情况一致，此数据点无需进行特殊处理，为正常数据，无需进行增量学习。

上述技术方案中，所述步骤S6中具体包括：

新增故障数据：由于新增故障数据在新增初期的数据量少，相比原有故障数据集的样本数量平衡性差，而设备故障诊断模型对于训练数据的频率比较敏感，会倾向于忽略样本数量少的类别，重视样本数量多的类别，需要对新增故障数据采用数据重采样技术增加新类别故障的样本数量；对于一组新增故障样本数据进行滑动采样处理，即将原有新增故障样本数据按式进行处理：

首先将新增故障数据进行合并，即：

其中n为新增故障数据样本的数量，d(t_i,t_i+Δt)为第i个新增故障数据样本；求和操作即为将时序数据进行连接，合并为较长的时序数据，合并后的数据长度为n*Δt，接下来对合并后的时序数据进行滑动窗口采样：

t_i＝t_i-1+step

该式表示第t_i个滑动样本

的计算方法，式中t_i为原始数据采样起始点，Δt为采样长度，step为重叠采样的步长，t_i的取值即为重叠采样后的各样本数据的起始点，采样后的样本个数为n*delta t/step，处理之后，将n个数据样本滑动采样为n*Δt/step个样本，增强新增故障类型的样本数量。

本发明与现有技术相比，具有如下优点：

本发明针对边缘设备的计算能力有限的问题，对于知识蒸馏和参数共享的增量式设备故障诊断模型进行了研究，知识蒸馏是对卷积神经网络进行知识迁移的重要方法，通过训练教师模型实现模型的精准之后，改变Softmax的温度参数软化概率分布，将样本数据输入大模型中，得到软标签数据。使用带有软标签的样本数据训练小模型，能够有效提高小模型的模型精准度，在此基础上，将学生模型与教师模型的浅层卷积神经网络参数进行共享，提高了学生模型的特征提取能力，从而进一步提高学生模型的分类效果。此外本方法还支持增量数据处理，使用有效样本筛选、重建样本集、预训练模型调整步骤实现设备故障诊断模型的增量式学习。综上所述，本方法实现了在边缘设备计算资源有限的情况下较优的设备故障分类准确度。同时根据工业数据的时序性特点，使知识蒸馏方法支持增量学习过程，维护样本数据库，随着样本数据的增加，随时进行模型的训练以及模型的部署，保证模型能够适应现场设备随时间产生的变化，不断调优。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它附图。

图1为本发明基于知识蒸馏与隐含层共享的增量式设备故障诊断过程图；

图2为本发明基于知识蒸馏与隐含层共享的增量式设备故障诊断方法流程图；

图3为本发明教师模型的设备故障诊断分类效果示意图；

图4为教师模型的训练准确度与测试准确度变化情况示意图；

图5为没有使用本文方法进行辅助学习的学生模型的训练效果示意图；

图6是学生模型的测试准确率与训练准确率随着模型迭代次数的增加变化情况示意图；

图7为学生模型在不同的温度参数下的测试准确率示意图；

图8为当温度值为2时，学生模型的训练情况示意图；

图9为使用隐含层共享技术且在温度参数T＝2对学生模型进行知识蒸馏训练，得到学生模型的训练效果示意图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。

本发明方法的理论依据：

1、卷积神经网络：一类包含卷积计算且具有深度结构的前馈神经网络，是深度学习的代表算法之一。由于卷积神经网络能够进行平移不变分类，因此也被称为“平移不变人工神经网络”。

2、卷积层：卷积层是卷积神经网络中特征提取的主要组成部分，通过使用卷积核对输入数据进行卷积运算来实现特征的提取，卷积核对输入信号以滑窗的形式依次处理，实现了卷积层的权值共享，减少了网络参数，防止网络参数过多导致模型过拟合，提高了模型运行的效率和速度。

3、池化层：卷积神经网络中池化层的主要用途是对卷积运算得到的特征数据进行阶段性处理，以此来降低数据的维度并降低计算的复杂性，即降采样。

4、全连接层：一般在卷积神经网络的最后一层输出的后面添加一层全连接层，得到网络的整个输出，最后将求得的所有元素作为特征向量，作为后续分类部分的输入值。本发明中选择的全连接层分类器为Softmax，Softmax是一种常见的分类器，非常适合多分类问题的分类，Softmax函数为：

其中，

表示多个输入，在训练的过程中，随着权值的更新不断逼近最佳的

P(i)包含多个值，所有的值的和为1，意为将输出值映射为0到1的区间，因此可以将其视为事件的概率。

本发明通过知识蒸馏与隐含层共享技术提升学生模型的分类准确率，并使用增量式学习方法完成模型的增量学习过程，本发明基于知识蒸馏与隐含层共享的增量式设备故障诊断方法结构如图1所示。本发明的一种基于知识蒸馏与隐含层共享的增量式设备故障诊断方法如图2所示，包括下述步骤：

步骤S1：对深沟球轴承使用电火花加工技术分别在轴承上对内圈、外圈和滚动体布置了3个故障等级的单点故障，选择电机驱动端振动传感器采集正常状态、内圈故障、外圈故障和滚动体故障状态下的振动信号，采样频率为12kHz；

步骤S2：对轴承设备故障数据进行预处理，随机抽样按比例划分为训练数据集和测试数据集，并对测试样本进行标签化处理，将训练样本等量划分为两组，其中一组用于训练深度学习模型，其余一组添加至已有模型进行增量学习；

步骤S3：构建教师模型，并对教师模型进行训练，得到精准的教师网络模型，修改教师模型的Softmax层结构，加入温度参数，此时教师模型的Softmax层输出即为经过软化的软目标，使其能够输出软目标辅助学生模型进行学习；

步骤S4：使用训练数据集与教师模型的软标签对学生网络进行知识蒸馏，并将教师模型的卷积层参数与学生模型卷积层进行共享；

步骤S4中的学生模型的Softmax层有两部分组成，一部分是与教师模型同样温度的Softmax层用于学习教师模型的软标签，另一部分为未经修改的Softmax层，如图2所示，计算交叉熵损失函数f如下式所示：

其中的H(p,q)为学生模型输出的软标签与教师模型输出软标签的交叉熵损失函数f₁，H(m,m)为学生模型输出的硬标签与训练数据集硬标签的交叉熵损失函数f₂，即f₁为软标签的交叉熵损失函数，f₂为硬标签的交叉熵损失函数，f为f₁与f₂的和，如图1中所示。

步骤S5：对增量数据进行有效样本筛选，根据故障类型与模型预测类型，将样本数据分为新增故障数据、原有故障失效数据、原有故障误报数据；

其中，有效样本筛选是通过如下步骤实现的：

对于新增数据式来说，t为时间索引，l为数据标签，取值为0时即正常状态，非零值为故障类型标记，也即：

s^<t><l>＝d(t,t+Δt)＝{d_t,……,d_t+Δt}

l∈L＝{0,1,2,3,……}

式中s^<t><l>表示t时刻的采样数据，l为采样数据的标签，Δt为采样数据的时间间隔，数据标签l的取值为自然数，分别对应不同的故障状态，根据数据标签对新增数据进行筛选，对于新增故障类型数据，

将此条数据识别为新增故障类型数据，后续将会对其进行相应的处理和学习；

对于故障类型属于原有类型的故障数据，首先使用设备故障诊断模型对新增数据进行识别，得到故障诊断模型识别出的故障标签l_p，如诊断类别与数据标记类型相符，即l_p＝l，则表明该条数据与设备故障诊断结果一致，无需进行特殊处理和学习；若诊断类别与数据标记不符，即l_p≠l，则根据l的不同情况，将其标记为原有故障失效数据，即l_p≠l≠0；原有故障误报数据即l_p≠l＝0，表示实际数据标记为正常，但是设备故障诊断模型将其标记为故障数据的情况；如l_p＝l则表明模型预测结果与实际故障情况一致，此数据点无需进行特殊处理，为正常数据，无需进行增量学习。

步骤S6：如新增样本中存在新增故障类型数据，则对新增故障数据进行重采样，并将新增数据重新合并至原始数据集，完成数据集的重建；

具体包括：

新增故障数据：由于新增故障数据在新增初期的数据量少，相比原有故障数据集的样本数量平衡性差，而设备故障诊断模型对于训练数据的频率比较敏感，会倾向于忽略样本数量少的类别，重视样本数量多的类别，需要对新增故障数据采用数据重采样技术增加新类别故障的样本数量；对于一组新增故障样本数据进行滑动采样处理，即将原有新增故障样本数据按式进行处理：

首先将新增故障数据进行合并，即：

其中n为新增故障数据样本的数量，d(t_i,t_i+Δt)为第i个新增故障数据样本；求和操作即为将时序数据进行连接，合并为较长的时序数据，合并后的数据长度为n*Δt，接下来对合并后的时序数据进行滑动窗口采样：

t_i＝t_i-1+step

该式表示第t_i个滑动样本

的计算方法，式中t_i为原始数据采样起始点，Δt为采样长度，step为重叠采样的步长，t_i的取值即为重叠采样后的各样本数据的起始点，采样后的样本个数为n*delta t/step，处理之后，将n个数据样本滑动采样为n*Δt/step个样本，增强新增故障类型的样本数量。

步骤S7：加载原教师模型结构参数，如新增样本中存在新增故障类型数据，则对教师模型的全连接层进行初始化，重置全连接层参数，得到经过初始化预训练的教师模型，进行增量学习过程。

本发明基于知识蒸馏与隐含层共享的增量式设备故障诊断方法的试验验证如下：

1、数据描述

实验数据所用仿真数据为美国凯斯西储大学轴承故障数据，由该大学电器工程实验室提供。该实验数据使用电火花加工技术模拟电机轴承故障，分别在内圈、外圈、滚动体三个部分模拟直径为0.007、0.014、0.021英寸的故障。在相应的故障情况下采集电机负载的振动数据，使用加速度计以每秒12000个样本数的速度收振动动数据。此外实验数据还提供了正常状态下的振动数据。在本实验中，首先将故障数据进行分类与分段，故障类型共有10种，分别为正常状态，滚动体故障、内圈故障和外圈故障且故障直径分别为0.007、0.014与0.021英寸。故障标记依次为0-9。经过对原始数据预处理后，样本数据如表1所示：

表1轴承故障数据描述

2、实验过程

1)教师模型的训练效果

构建教师模型网络结构，将教师模型进行三次重复训练，比较迭代次数为1000、2000、3000、4000、5000次时模型的最佳测试准确率。得出教师模型的设备故障诊断分类效果情况，如图3所示，由实验结果可知，随着迭代次数的增加，模型的准确率呈上升态势，但是在超过3000次之后，模型的最佳准确率保持不变。教师模型在数据集上的测试精确度最高可达98.42％。

在第三次实验中，教师模型的训练准确度与测试准确度变化情况如图4所示，由图中的数据可知，在模型训练初期，训练准确率与测试准确率呈不断上升趋势，且具有一定的波动。但是在迭代次数超过3000次之后，模型的准确率有一定的下降，这可能是由于多次迭代引起模型过拟合造成的。因此在训练过程中要随时保存最佳准确率的模型，保证得到最好的训练模型结果。

2)学生模型的训练效果

构建学生模型的网络结构，并仅使用训练数据集对学生模型进行训练，即学生模型的Softmax层仅有一层且温度参数为1,。将学生模型进行三次重复训练，比较迭代次数分别为1000、2000、3000、4000、5000次时模型的最佳测试准确率。没有使用本文方法进行辅助学习的学生模型的训练效果如图5所示，由图中数据可知，随着迭代次数的增加，模型的准确率呈先上升后平缓的趋势，最高准确率可达79.47％。相比教师模型而言，学生模型的数据特征提取能力较差，学习能力较弱，网络容量较小，因此其在数据集上的表现不如教师模型。图6是在第三次实验中，学生模型的测试准确率与训练准确率随着模型迭代次数的增加变化情况，由图中数据可知，与教师模型相比，学生模型的训练精度一直高于测试精度，训练精度较高但是测试精度较差，因此学生模型对于数据的有效特征提取能力不足，虽然训练精度较高，但是测试精度难以达到较高的水平。

3)使用知识蒸馏对学生模型进行辅助训练

在知识蒸馏方法中，温度参数T的值是用来软化教师模型输出软目标的分布，将其分布变为较平缓，但是实际设置方法并不直观，下面我们使用不同的温度参数值对学生模型进行训练，比较不同的温度参数对学生模型的训练结果的影响，本次实验选用了温度参数值分别为1、1.5、2、2.5、3、5时，学生模型的最佳测试准确率。由图7中数据可知，在不同的温度参数条件下，实验结果的差异较大，且在温度值为2是，学生模型的测试准确率最高，达到85.26％，高于不使用知识蒸馏方法的79.47％，因此知识蒸馏方法可以很大程度上提高学生模型的设备故障诊断效果。图8是当温度值为2时，学生模型的训练情况，由图中数据可知，当温度值为2时，随着迭代次数的增加，模型的准确率和测试准确率呈上升态势，相比未经过知识蒸馏方法处理的数据来说，训练准确率与测试准确率的差距缩小，由此可见知识蒸馏方法可以提高学生模型的效果，提高学生模型的故障诊断能力。

4)使用知识蒸馏与隐含层共享对学生模型进行辅助训练

将教师模型的浅层卷积层参数共享至学生模型，并再次使用温度参数T＝2对学生模型进行知识蒸馏训练，得到学生模型的训练效果如图9所示，由图中数据可以得出，在使用卷积层参数共享后，学生模型的训练速度有了较快的提升，在前期迭代时，模型的训练准确率与测试准确率的提升较快，而且最佳测试准确率为87.23％，相比不使用参数共享的方式进行学习的学生模型的准确率提升了1.97％，因此基于隐含层参数共享技术可以提高学生模型的分类准确率且可以提升学生模型的训练速度，提升训练效果。

5)增量数据处理与学习

首先对增量数据集进行有效样本筛选，增量数据集中的数据分布情况如表2所示：

表2增量数据集分布

其中0-8为原有故障类型标签，9为新增故障类型标签。

对上述增量数据集进行有效样本筛选，根据学生模型对数据样本的预测结果与实际故障标记情况的区别，将其分类为新增故障数据、原有故障失效数据、原有故障误报数据、正常数据四种类型，数量分布情况如表3所示：

表3有效数据筛选后增量数据分布

有效样本识别完成之后，根据初始数据集的各类型样本数量，对新增故障数据进行滑动采样处理，使其样本数量增加至90个，与初始数据集各类型样本数量保持一致。此外，将原有故障失效数据与原有故障误报数据合并至初始数据集中，完成样本数据集的更新。至此样本数据集的样本数量分布如表4所示：

表4重建后数据集分布

样本数据集重建完成之后即进行预训练模型的增量训练，由于此增量数据集中含有新增故障类型，因此对教师模型中全连接层参数重置，并添加新类别判别输出。使用更新后的样本数据集对教师模型进行训练，并构建训练相应的学生模型。我们主要关注新增数据样本的模型预测准确率，表5为各故障类别的测试集准确率。

表5各类故障分类准确率

由此可见，新增故障类型在有效数据量较少的情况下依然可以取得80％的准确率，但是相比其他原有故障类型的准确率仍有一定差距，随着增量数据的增加，新增故障类型的分类准确率将会持续增加。由上述数据可知，本模型具有增量学习能力，能够对增量样本数据进行有效识别，更新样本数据集，并对模型进行增量式学习，不断调优。

本发明的实验以及结果分析验证了基于知识蒸馏和隐含层共享的增量式设备故障诊断方法可有效提高浅层卷积神经网络的故障分类表现，根据对比试验可知，基于知识蒸馏和隐含层共享的方法可以将学生模型的故障分类效率提升7.76％，并可缩短学生模型的训练时间。此外增量式的学习方法可以对有效样本进行筛选并重建数据集，最终可实现新增故障类型80％的分类准确率，提升了模型的自我学习能力。

本发明针对边缘设备计算能力有限，浅层设备故障诊断算法表现较差的问题，提出基于知识蒸馏和隐含层共享的设备故障诊断方法。首先对常规卷积神经网络设备故障诊断模型进行训练得到教师模型，而后对教师模型的Softmax层进行软化操作，使其可以输出数据集的软标签。构建学生模型并共享教师模型的浅层卷积层参数，使用带有软标签的数据集对学生模型进行训练，实现知识蒸馏与知识迁移，提高学生模型的分类准确率。

此外，本发明针对工业数据的持续增加以及设备参数随时间变化的问题，对基于知识蒸馏隐含层共享的设备故障诊断模型加入增量学习过程，通过对增量数据的有效样本筛选、重建数据集、预训练模型微调等方法，实现设备故障诊断模型的增量式学习，实现了设备故障诊断模型的增量式更新。

本发明提出基于知识蒸馏和隐含层共享的增量式设备故障诊断方法，使用卷积层数较多的教师模型对浅层学生模型进行知识蒸馏，将教师模型的学习能力和学生模型的计算量优势结合，在边缘侧计算能力有限的情况下，实现较为精准的故障分类效果，接着将教师模型的浅层卷积层与学生模型的卷积层参数共享，进一步提高学生模型的特征提取能力。

对于增量数据，本发明对基于知识蒸馏和隐含层共享的设备故障诊断方法进行增量学习改进，首先将增量数据进行有效样本筛选，而后对训练数据集进行重建，最后使用更新后的数据集对教师网络进行微调训练，并重新训练学生模型，实现模型的增量学习与更新。

本发明能够有效克服海量实时工业设备数据传输过程中对于网络带宽、网络延迟的要求，提高浅层设备故障诊断方法的精确性，支持增量式学习。通过对轴承运行状态数据的模拟实验验证分析，本发明能够提高边云协同数据传输效率，在计算资源有限的情况下，实现较高的故障预测分类精准度，支持增量数据学习与处理。

以上对本发明的具体实施例进行了描述。需要理解的是，本发明并不局限于上述特定实施方式，本领域技术人员可以在权利要求的范围内做出各种变化或修改，这并不影响本发明的实质内容。在不冲突的情况下，本申请的实施例和实施例中的特征可以任意相互组合。

Claims (3)

1.一种基于知识蒸馏与隐含层共享的增量式设备故障诊断方法，其特征在于，包括下述步骤：

步骤S1：对深沟球轴承使用电火花加工技术分别在轴承上对内圈、外圈和滚动体布置了3个故障等级的单点故障，选择电机驱动端振动传感器采集正常状态、内圈故障、外圈故障和滚动体故障状态下的振动信号，采样频率为12kHz；

步骤S2：对轴承设备故障数据进行预处理，随机抽样按比例划分为训练数据集和测试数据集，并对测试样本进行标签化处理，将训练样本等量划分为两组，其中一组用于训练深度学习模型，其余一组添加至已有模型进行增量学习；

步骤S3：构建教师模型，并对教师模型进行训练，得到精准的教师网络模型，修改教师模型的Softmax层结构，加入温度参数，此时教师模型的Softmax层输出即为经过软化的软目标，使其能够输出软目标辅助学生模型进行学习；

步骤S4：初始化学生模型，学生模型的Softmax层由两部分组成，一部分为带有温度参数T的Softmax层，另一部分为未经修改的Softmax层，使用训练数据集与教师模型的软标签对学生网络进行知识蒸馏，并将教师模型的卷积层参数与学生模型卷积层进行共享；所述的学生模型中，计算交叉熵损失函数f如下式所示：

其中的H(p,q)为学生模型输出的软标签与教师模型输出软标签的交叉熵损失函数f₁，H(m,n)为学生模型输出的硬标签与训练数据集硬标签的交叉熵损失函数f₂，f为f₁与f₂的和；

步骤S5：对增量数据进行有效样本筛选，根据故障类型与模型预测类型，将样本数据分为新增故障数据、原有故障失效数据、原有故障误报数据；

步骤S6：如新增样本中存在新增故障类型数据，则对新增故障数据进行重采样，并将新增数据重新合并至原始数据集，完成数据集的重建；

步骤S7：加载原教师模型结构参数，如新增样本中存在新增故障类型数据，则对教师模型的全连接层进行初始化，重置全连接层参数，得到经过初始化预训练的教师模型，进行增量学习过程。

2.根据权利要求1所述的基于知识蒸馏与隐含层共享的增量式设备故障诊断方法，其特征在于，步骤S5中有效样本筛选是通过如下步骤实现的：

对于新增数据式来说，t为时间索引，l为数据标签，取值为0时即正常状态，非零值为故障类型标记，也即：

s^<t><l>＝d(t,t+Δt)＝{d_t,……,d_t+Δt}

l∈L＝{0,1,2,3,……}

式中s^<t><l>表示t时刻的采样数据，l为采样数据的标签，Δt为采样数据的时间间隔，数据标签l的取值为自然数，分别对应不同的故障状态，根据数据标签对新增数据进行筛选，对于新增故障类型数据，

将此条数据识别为新增故障类型数据，后续将会对其进行相应的处理和学习；

对于故障类型属于原有类型的故障数据，首先使用设备故障诊断模型对新增数据进行识别，得到故障诊断模型识别出的故障标签l_p，如诊断类别与数据标记类型相符，即l_p＝l，则表明该条数据与设备故障诊断结果一致，无需进行特殊处理和学习；若诊断类别与数据标记不符，即l_p≠l，则根据l的不同情况，将其标记为原有故障失效数据，即l_p≠l≠0；原有故障误报数据即l_p≠l＝0，表示实际数据标记为正常，但是设备故障诊断模型将其标记为故障数据的情况；如l_p＝l则表明模型预测结果与实际故障情况一致，此数据点无需进行特殊处理，为正常数据，无需进行增量学习。

3.根据权利要求1所述的基于知识蒸馏与隐含层共享的增量式设备故障诊断方法，其特征在于，所述步骤S6中具体包括：

新增故障数据：由于新增故障数据在新增初期的数据量少，相比原有故障数据集的样本数量平衡性差，而设备故障诊断模型对于训练数据的频率比较敏感，会倾向于忽略样本数量少的类别，重视样本数量多的类别，需要对新增故障数据采用数据重采样技术增加新类别故障的样本数量；对于一组新增故障样本数据进行滑动采样处理，即将原有新增故障样本数据按式进行处理：

首先将新增故障数据进行合并，即：

其中n为新增故障数据样本的数量，d(t_i,t_i+Δt)为第i个新增故障数据样本；求和操作即为将时序数据进行连接，合并为较长的时序数据，合并后的数据长度为n*Δt，接下来对合并后的时序数据进行滑动窗口采样：

t_i＝t_i-1+step

该式表示第t_i个滑动样本

的计算方法，式中t_i为原始数据采样起始点，Δt为采样长度，step为重叠采样的步长，t_i的取值即为重叠采样后的各样本数据的起始点，采样后的样本个数为n*Δt/step，处理之后，将n个数据样本滑动采样为n*Δt/step个样本，增强新增故障类型的样本数量。

Images