CN112067053A - 一种面向少数类识别的多策略联合故障诊断方法 - Google Patents

Abstract

本发明公开了一种面向少数类识别的多策略联合故障诊断方法，通过对样本数据进行均衡化处理，然后采用均衡的样本数据对构建多策略联合故障诊断模型进行逐级训练，通过构建基于DBN的特征提取器，能够提取多数类样本的深层特征、融合少数类样本的浅层及深层特征，从而提升了少数类故障识别率。本发明从数据、特征及分类器多个层面入手，充分利用深度学习强大的数据表征和特征提取能力，解决因数据类别不平衡所导致的少数类故障识别困难问题，全面提高少数类故障的识别效果。

Description

一种面向少数类识别的多策略联合故障诊断方法

技术领域

本发明属于工业设备故障诊断技术领域，具体涉及一种面向少数类识别的多策略联合故障诊断方法。

背景技术

随着生产发展和科技进步，现代工业设备的大型化、复杂化大大增加了设备维护的难度与成本。设备磨损老化、运行工况复杂、生产环境动态多变等问题，使得故障不可避免，且故障一旦发生或未被及时修复，“轻者”将影响设备运行性能、生产进度甚至产品质量，“重者”可能导致生产系统瘫痪、人员伤亡等灾难性事故，给企业和社会造成巨大损失。因此，利用深度学习对工业设备的运行状态进行评估与预测，对于实时感知设备健康状况、开展预防性维护以及实现智能诊断、减少故障误判，并最终确保生产的无故障运行具有重要意义。

近年来，机器学习及深度学习已被广泛应用于故障诊断领域并取得了很好的成果。但是，实际工业设备故障数据类别数量存在不平衡性，即不同类别故障数据的数量差别较大，其中，数量少的类别称为少数类，数量多的称为多数类。而现有大多数基于机器学习的诊断方法很少考虑甚至忽略这种不平衡，所以在解决类别不平衡故障诊断问题时面临很大的局限性，例如容易将少数类故障识别为多数类故障，诊断精度明显降低。原因在于：一是少数类故障容易被多数类故障淹没，模型难以找到良好的决策边界；二是少数类故障数据量过少，模型很难学习到足够多的少数类特征

现有提升少数类故障识别率的方法(策略)主要分为两类：一是通过不同的采样技术减少多数类样本数量或者增加少数类样本数量，对数据集进行平衡化处理，从数据层面改善类别不平衡性的影响；二是根据数据集的不平衡程度改进现有分类器或者为少数类样本建立独特的单类分类器，从分类器层面增强模型对少数类样本的关注度，提高少数类识别率。虽然这些方法取得了一定效果，但仍存在以下不足：首先，现有采样技术在平衡数据集时，要么容易引入过多噪声，要么难以增加少数类样本的多样性，导致对少数类识别性能的提升很有限；其次，现有分类器改进方法在提升对少数类关注度的同时，难以兼顾对其它多数类的诊断效果，从而影响整体精度。

发明内容

有鉴于此，本发明提供了一种面向少数类识别的多策略联合故障诊断方法，能够实现对多数类及少数类的故障类别的精确识别。

本发明提供的一种面向少数类识别的多策略联合故障诊断方法，包括以下步骤：

步骤1、将工业故障数据集划分为少数类故障数据集和多数类故障数据集，对所述少数类故障数据集进行过采样得到少数类故障采样数据集；以所述少数类故障采样数据集与多数类故障数据集作为输入，以故障类别作为标签，构建故障诊断训练样本集；

步骤2、构建多策略联合故障诊断模型，所述多策略联合故障诊断模型包括基于DBN的特征提取器和故障分类器；所述特征提取器用于从输入数据中提取故障特征；所述故障分类器根据所述故障特征及输入数据判断输入数据的故障类别；所述特征提取器包含两个并联的全连接神经网络；所述故障分类器为深度堆叠网络；

步骤3、采用所述故障诊断训练样本集完成所述特征提取器的训练；将所述少数类故障采样数据集与多数类故障数据集分别输入训练好的特征提取器，将得到少数类故障特征集合与多数类故障特征集合合并为样本故障特征集；采用所述样本故障特征集完成故障分类器的训练；

步骤4、应用中，将待诊断的工业故障数据输入训练好的多策略联合故障诊断模型中，模型的输出即为所述待诊断的工业故障数据的故障类别。

进一步地，所述步骤1中对所述少数类故障数据集进行过采样得到少数类故障采样数据集，包括以下步骤：

计算所述少数类故障数据集中故障数据元素与其余元素之间的欧式距离和，将具有最小欧式距离和的故障数据元素确定为中心元素；由与所述中心元素的欧式距离小于设定值的元素构成中心区域样本集，由不属于所述中心区域样本集的元素构成边界区域样本集；

采用SMOTE算法对所述中心区域样本集进行过采样得到中心区域采样数据集，采用WGAN算法对所述边界区域样本集进行过采样得到边界区域采样数据，由所述中心区域采样数据集与边界区域采样数据构成少数类故障采样数据集。

进一步地，所述步骤2中的全连接神经网络包含两个级联的隐藏层。

进一步地，所述步骤2中的所述故障特征包括一个全连接神经网络的第一级隐藏层的输出和第二级隐藏层的输出，及另一个全连接神经网络的第二级隐藏层的输出。

进一步地，所述步骤2中的所述故障分类器的最后一级堆叠块，采用基于先验分布知识的损失函数J_p，如下式所示：

其中，N为所述故障诊断训练样本集中故障类别的个数；y为标签；1{·}为指示函数，即当条件为真时返回1，否则返回0；j与g均为故障类别的编号；a_j为预测出的样本属于第j类的概率；a_g为预测出的样本属于第g类的概率；w_j为样本属于第j类的先验概率；w_g为样本属于第g类的先验概率。

有益效果：

1、本发明通过对样本数据进行均衡化处理，然后采用均衡的样本数据对构建多策略联合故障诊断模型进行逐级训练，通过构建基于DBN的特征提取器，能够提取多数类样本的深层特征、融合少数类样本的浅层及深层特征，从而提升了少数类故障识别率。本发明从数据、特征及分类器多个层面入手，充分利用深度学习强大的数据表征和特征提取能力，解决因数据类别不平衡所导致的少数类故障识别困难问题，全面提高少数类故障的识别效果。

2、本发明通过对少数类样本进行区域划分，根据过采样方式各自的特点，在少数类样本的不同区域使用不同的过采样方式，在容易引入噪声的边界区域，采用可拟合样本分布的WGAN，增加边界样本数量的同时尽可能减少引入噪声；在样本的中心区域，采用SMOTE来增多中心样本数量，进一步平衡数据集的同时，增强样本的多样性。因此，实现了对少数类故障样本进行边界增强和多样性提升，从而达到了从数据层面缓解样本不平衡性的目的。

3、本发明通过在堆叠网络中采用基于样本先验分布知识的损失函数，实现了在提升模型对于少数类样本关注度的同时，保证了对其他类别样本的故障诊断性能。

附图说明

图1为本发明提供的一种面向少数类识别的多策略联合故障诊断方法的多策略联合故障诊断模型的训练过程示意图。

图2为本发明提供的一种面向少数类识别的多策略联合故障诊断方法的样本区域感知过采样算法示意图。

图3为本发明提供的一种面向少数类识别的多策略联合故障诊断方法的特征提取器的训练过程示意图。

图4为本发明提供的一种面向少数类识别的多策略联合故障诊断方法的少数类样本多层融合特征及多数类样本深层特征的提取过程示意图。

图5为本发明提供的一种面向少数类识别的多策略联合故障诊断方法的故障分类器示意图。

图6为本发明提供的一种面向少数类识别的多策略联合故障诊断方法的故障诊断精度对比图。

图7为本发明提供的一种面向少数类识别的多策略联合故障诊断方法的故障诊断Recall对比图。

图8为本发明提供的一种面向少数类识别的多策略联合故障诊断方法的故障诊断F1 score对比图。

具体实施方式

下面结合附图并举实施例，对本发明进行详细描述。

本发明提供的一种面向少数类识别的多策略联合故障诊断方法，其基本思想是：构建包含基于DBN的特征提取器和故障分类器的多策略联合故障诊断模型，其中，基于DBN的特征提取器既能提取多数类样本的深层特征，又能提取并融合少数类样本的浅层及深层特征，从而提升了少数类故障识别率；故障分类器在提升模型对于少数类样本关注度的同时，也保证了对其他类别样本的故障诊断性能。

本发明提供的一种面向少数类识别的多策略联合故障诊断方法，具体包括以下步骤：

步骤1、将工业故障数据集划分为少数类故障数据集和多数类故障数据集，对所述少数类故障数据集进行过采样得到少数类故障采样数据集；以所述少数类故障采样数据集与多数类故障数据集作为输入，以故障类别作为标签，构建故障诊断训练样本集。

输入为带有故障类别标签的工业故障数据集D＝(x_i,y_i)，假设该数据集包括k个样本和N类故障,每个故障样本包含m个属性(特征)，其中|D|＝k，x_i和y_i分别表示数据集中第i个样本的样本属性(特征)向量及其相应的类别标签，

且i＝1,2,...,k，y_i＝1,2,...,N；

将故障数据集D划分为少数类故障样本集D_min＝{D₁,D₂,...,D_S}和多数类故障样本集D_maj＝{D_S+1,D_S+2,...,D_N}。假设数据集D的N类故障包含S个少数类，其中D₁,D₂,...,D_S分别表示D中S个不同的少数类故障样本集，D_S+1,D_S+2,...,D_N分别表示D中N-S个不同的多数类故障样本集，且|D₁|,|D₂|,...,|D_S|远小于D_S+1|,|D_S+2|,...,|D_N|。

进一步地，为获得边界较为清晰同时多样性丰富的少数类样本集，本发明提出了对少数类故障样本集D_min进行过采样的方法，如图2所示，即：首先将少数类样本集划分为“边界区域样本集”和“中心区域样本集”两部分；然后对边界区域样本集利用WGAN算法拟合边界区域样本分布并生成边界样本；最后利用SMOTE算法对中心区域样本进行过采样，以增强样本的多样性。

本发明提出的方法根据两种过采样方式各自的特点，在少数类样本的不同区域使用不同的过采样方式。在容易引入噪声的边界区域，采用可拟合样本分布的WGAN，增加边界样本数量的同时尽可能减少引入噪声。在样本的中心区域，采用SMOTE来增多中心样本数量，进一步平衡数据集的同时，增强样本的多样性。

具体包括如下步骤：

步骤1.1、从第j个少数类故障样本集D_j(j＝1,2,...,S)中任选择一个样本i，计算该样本与D_j中其余样本之间的欧氏距离

并求和得到第i个样本的“欧氏距离和”Ed_i。

同理，依次计算其余

个样本的“欧氏距离和”

步骤1.2、从中D_j所有样本的“欧氏距离和”即

中，选择最小的“欧氏距离和”对应的样本x_c，并将x_c作为D_j的中心样本。

步骤1.3、在D_j中，选择与中心样本x_c距离最短的l个样本组成D_j的中心区域样本集D_j,c，其余

个样本作为D_j的边界区域样本集D_j,b，其中j＝1,2,…,S。

步骤1.4、对除D_j外的其余S-1个少数类故障样本集D₁,D₂,...,D_j-1,D_j+1,...,D_S，依次实施步骤1.1到1.3，可分别得到与S-1个少数类样本集相对应的中心区域样本集D_1,c,D_2,c,...,D_j-1,c,D_j+1,c,...,D_S,c和边界区域样本集D_1,b,D_2,b,…,D_j-1,b,D_j+1,b,...,D_S,b。

步骤1.5、对S个少数类边界样本集D_1,b,D_2,b,…,D_j-1,b,D_j+1,b,...,D_S,b，分别利用WGAN拟合原始边界样本分布，并生成对应的边界样本。通过将生成的样本依次添加到相应的原始边界样本集，构建新的边界样本集

步骤1.6、利用SMOTE分别对步骤1.4中划分出来的中心区域样本集D_1,c,D_2,c,...,D_j,c,...,D_S,c进行过采样，得到新的中心区域样本集

步骤1.7、将由步骤1.5得到的

步骤1.6得到的

与多数类故障数据的{D_S+1,D_S+2,...,D_N}合并，得到较为平衡的数据集D_pro。

步骤2、构建多策略联合故障诊断模型，所述多策略联合故障诊断模型包括基于DBN的特征提取器和故障分类器；所述基于DBN的特征提取器用于从输入数据中提取故障特征；所述故障分类器根据所述故障特征及输入数据判断输入数据的故障类别；所述基于DBN的特征提取器包含两个并联的全连接神经网络；所述故障分类器为深度堆叠网络。

构建一个含两个隐层的全连接神经网络NN作为基于DBN的特征提取器，如图3所示，并假设NN：输入层神经元个数等于样本属性维数m，输出层神经元个数与故障类别数N相等，第一个、第二个隐层神经元的个数分别为L₁、L₂。将NN输入层与第一个隐层、第一个隐层与第二个隐层、第二个隐层与输出层之间的权重与偏置，分别初始化为

W_out与

b_out。通过步骤3的训练过程获得权重与偏置的取值。然后，利用训练好的基于DBN的特征提取器提取到的特征值完成故障分类器的训练。

步骤3、采用所述故障诊断训练样本集完成所述特征提取器的训练；将所述少数类故障采样数据集与多数类故障数据集分别输入训练好的特征提取器，将得到少数类故障特征集合与多数类故障特征集合合并为样本故障特征集；采用所述样本故障特征集完成故障分类器的训练。具体训练过程如图1所示。

基于DBN的特征提取器的训练过程：

步骤3.1、利用经过采样的数据集D_pro中的所有样本，训练隐层神经元个数为L₁的第一个受限波尔兹曼机RBM1，并获取其可见层与隐层之间的权重

和偏置

步骤3.2、计算数据集D_pro中所有样本

经过RBM1后的输出

步骤3.3、将步骤3.2得到的

作为第二个受限玻尔兹曼机RBM2的输入，训练具有L₂个隐层神经元的RBM2，并获取其可见层与隐层间的权重

和偏置

步骤3.4、计算数据集D_pro中所有样本依次经过RBM1、RBM2运算后的输出

步骤3.5、利用步骤3.4得到的

以及相应的原始样本标签

训练输入、输出层分别含有L₂、N个神经元的分类器τ，并获取其权重W_out和偏置b_out。

步骤3.6、利用反向传播方法对全连接神经网络NN权重与偏置进行整体微调。假设NN的微调迭代次数为n_feature，通过对NN进行整体“有监督”训练来实现参数微调，直至达到迭代次数n_feature，即获得调整好的全连接神经网络NN′，并得到其输入层与第一个隐层、第一个隐层与第二个隐层、第二个隐层与输出层之间的权重与偏置，即

W_o′_ut与

b_o′_ut。

步骤3.7、将数据集D_pro中的所有少数类样本

分别输入至神经网络NN′，以提取其浅层及深层特征，并进一步计算融合特征

如图4所示。

假设D_pro中有t_min个少数类样本

i∈[1,t_min]，那么将第i个少数类样本

输入至NN′，即可得到第一个隐层输出向量

与第二个隐层输出向量

将样本

对应的第一个隐层输出

与第二个隐层输出

分别作为该少数类样本的浅层和深层特征，进行融合后得到融合特征

为：

同理，可得除第i个少数类样本

外的其余少数类样本的融合特征

步骤3.8、将D_pro中的多数类样本

分别输入到经微调后的全连接神经网络NN′，以提取其深层特征

假设数据集D_pro包含t_maj个多数类样本

i∈[1,t_maj]，将第i个多数类样本

输入至NN′，得到NN′第二个隐层的输出向量

并对

进行拼接获得样本

的最终深层特征为

为：

同理，可得除第i个多数类样本

外的其余多数类样本的深层特征

步骤3.9、利用步骤四提取到的特征与原始样本训练堆叠网络，得到最终的故障分类器。

获得所有样本的特征表示以后，如图5所示，对构建的故障分类器进行训练，具体步骤如下：

步骤3.10、确定堆叠网络的堆叠块个数h及微调迭代次数n_stack。

步骤3.11、设计不同结构的堆叠块，假设每一个堆叠块包含输入层、隐含层和输出层，其中所有堆叠块的输出层维数都等于故障类别个数N，且设置为Softmax分类层。第一个堆叠块stack₁的输入Input₁维数等于原始样本属性个数m与其特征维数之和，第二个堆叠块stack₂的输入Input₂维数等于Input₁与第一个堆叠块输出Output₁的维数之和，…，依次类推。

步骤3.12、设置堆叠块的超参数。所述超参数包括批训练大小、学习率、迭代次数、正则化参数、激活函数。

步骤3.13、将除最后一个堆叠块stack_h以外的所有堆叠块的损失函数设置为交叉熵损失函数，并利用反向传播和梯度下降法依次训练堆叠块。

步骤3.14、将最后一个堆叠块stack_h的损失函数设为基于先验分布知识的损失函数，并利用反向传播和梯度下降法训练最后一个堆叠块。

进一步地，假设D_pro数据集中第j类样本的个数为k_j，D_pro数据集中的样本总数为k_all，令

基于先验分布知识的损失函数为：

其中，其中，J_p表示目标函数；1{·}表示一个指示函数，其条件为真时返回1，否则返回0；y表示样本的标签，N表示原始数据中样本类别的个数，aj，ag分别表示神经网络模型预测出的样本属于第j类、第g类的概率，且

z_j为输出层的第j个神经元的输出值，w_j，w_g分别表示该样本属于第j类、第g类的先验概率。

步骤3.15、利用反向传播和梯度下降法对堆叠网络的参数进行整体微调，直至达到微调迭代次数n_stack，即获得最终的故障分类器。

至此，本发明提出的面向少数类识别的多策略联合故障诊断模型已训练完毕。

步骤4、应用中，将待诊断的工业故障数据输入训练好的多策略联合故障诊断模型中，模型的输出即为所述待诊断的工业故障数据的故障类别。

为检验本发明方法的效果，使用python语言对算法进行编程，并采用凯斯西储大学(CWRU)轴承中心的开源轴承数据进行实验验证，以检验本发明提出的面向少数类识别的多策略联合故障诊断方法(MSCFD)的有效性。其中，实验部分的对比方法采用典型的针对不平衡数据的故障诊断方法：支持向量数据描述(SVDD)、加权合成少数类过采样技术(WSMOTE)、生成式对抗网络+卷积神经网络(GAN+CNN)以及深度森林(GcForest)。

在进行实验之前，首先对数据集进行处理。原始数据集包含正常数据、采样频率为12kHz的驱动端故障数据、采样频率为48kHz的驱动端故障数据、风扇端故障数据4个部分，其中：一类、二类为少数类故障，分别包含198和402个故障样本；三类、四类为多数类故障，分别包含1003、1010个故障样本。从中选择四类故障，并将其处理成具有两个少数类和两个多数类的故障数据训练集，即测试集包含四类故障数据样，且样本个数分别为98、95、102、103。。

选取准确率(Accuracy)、召回率(Recall)和F1分数(F1 score)作为算法的性能评价指标，从不同角度评估不同方法的故障诊断效果。各算法在评价指标Accuracy、Recall、F1 score下的对比如图6至图8所示。

各方法的Accuracy如图6所示。由图6可知，与其它方法相比，本发明方法获得了最高的准确率，相对于准确率最低的GcForest提高了约24％,相对于GAN+CNN提高了约3％，整体诊断结果更为准确。

各方法的Recall如图7所示。由图7可知，与其它方法相比，本发明方法的Recall值比Recall值最低的GcForest提高了约42％，虽然略低于SVDD，但从整体准确率和少数类识别率两方面综合来看，本方法能够较为全面地识别出更多的少数类故障，且不牺牲其它类故障的诊断性能。

各方法的F1 score对比如图8所示。本发明方法获得了最高的F1 score值，比WSMOTE高了约8％，比SVDD高了约6％，比F1 score值最低的GcForest高了约26％，证明本发明方法能够更加准确地识别出少数类故障。

综上所述，以上仅为本发明的较佳实施例而已，并非用于限定本发明的保护范围。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (5)

1.一种面向少数类识别的多策略联合故障诊断方法，其特征在于，包括以下步骤：

步骤1、将工业故障数据集划分为少数类故障数据集和多数类故障数据集，对所述少数类故障数据集进行过采样得到少数类故障采样数据集；以所述少数类故障采样数据集与多数类故障数据集作为输入，以故障类别作为标签，构建故障诊断训练样本集；

步骤2、构建多策略联合故障诊断模型，所述多策略联合故障诊断模型包括基于DBN的特征提取器和故障分类器；所述特征提取器用于从输入数据中提取故障特征；所述故障分类器根据所述故障特征及输入数据判断输入数据的故障类别；所述特征提取器包含两个并联的全连接神经网络；所述故障分类器为深度堆叠网络；

步骤3、采用所述故障诊断训练样本集完成所述特征提取器的训练；将所述少数类故障采样数据集与多数类故障数据集分别输入训练好的特征提取器，将得到少数类故障特征集合与多数类故障特征集合合并为样本故障特征集；采用所述样本故障特征集完成故障分类器的训练；

步骤4、应用中，将待诊断的工业故障数据输入训练好的多策略联合故障诊断模型中，模型的输出即为所述待诊断的工业故障数据的故障类别。

2.根据权利要求1所述的方法，其特征在于，所述步骤1中对所述少数类故障数据集进行过采样得到少数类故障采样数据集，包括以下步骤：

计算所述少数类故障数据集中故障数据元素与其余元素之间的欧式距离和，将具有最小欧式距离和的故障数据元素确定为中心元素；由与所述中心元素的欧式距离小于设定值的元素构成中心区域样本集，由不属于所述中心区域样本集的元素构成边界区域样本集；

采用SMOTE算法对所述中心区域样本集进行过采样得到中心区域采样数据集，采用WGAN算法对所述边界区域样本集进行过采样得到边界区域采样数据，由所述中心区域采样数据集与边界区域采样数据构成少数类故障采样数据集。

3.根据权利要求1所述的方法，其特征在于，所述步骤2中的全连接神经网络包含两个级联的隐藏层。

4.根据权利要求3所述的方法，其特征在于，所述步骤2中的所述故障特征包括一个全连接神经网络的第一级隐藏层的输出和第二级隐藏层的输出，及另一个全连接神经网络的第二级隐藏层的输出。

5.根据权利要求1所述的方法，其特征在于，所述步骤2中的所述故障分类器的最后一级堆叠块，采用基于先验分布知识的损失函数J_p，如下式所示：

其中，N为所述故障诊断训练样本集中故障类别的个数；y为标签；1{·}为指示函数，即当条件为真时返回1，否则返回0；j与g均为故障类别的编号；a_j为预测出的样本属于第j类的概率；a_g为预测出的样本属于第g类的概率；w_j为样本属于第j类的先验概率；w_g为样本属于第g类的先验概率。

Images