CN111680788A - 基于深度学习的设备故障诊断方法 - Google Patents

Abstract

本申请涉及一种基于深度学习的设备故障诊断方法，针对设备数据的特点，在原有的基础卷积神经网络模型上加入参数正则化和Dropout方法提升模型的泛化能力，并在激活函数之后加入BN算法的基础上，引入自适应批量归一化算法，进一步提高模型的自适应识别能力。所采用的深度学习算法逐层直接自动进行特征的学习和提取，无需进一步信号处理，也不必依赖专家的经验知识，能分析出数据变化内含的设备状态变化，客观准确地反映被监测设备的故障类型，为指导后续的设备故障管理和维护工作提供依据。

Description

基于深度学习的设备故障诊断方法

技术领域

本申请涉及一种设备故障诊断技术，特别涉及一种基于深度学习的设备故障诊断方法。

背景技术

随着机械设备的管理日渐智能化、复杂化，工业系统也展现出大规模、大数据的发展趋势。故障诊断通过对系统设备的运行状态进行监测和分析，判断故障类型并锁定故障位置，根据对设备故障诊断的结果给出合理的使用方案，设计最大程度发挥设备效率的修缮方案，同时也能为工厂的生产计划做出优化，进行性能评估等，能准确地对设备的运行进行指导，是保障设备可靠安全使用的重要手段，更是使社会产能和经济效益提高的强有利方法。

目前国内外对故障诊断的研究方法常用的有基于解析模型的方法，基于信号处理的方法，基于专家的方法，和基于数据的方法。基于解析模型的方法难以精确建模；基于信号处理的方法比较繁琐，还存在丧失时域特征的风险；基于专家的方法需要人工提取特征进行分析取舍，在客观条件未知情况下无法通用；基于数据的方法避免了上述问题，直接从原始数据入手做故障诊断，并且具有一定的泛化能力，准确性更高。

目前针对基于数据的故障诊断方法已经有了一些研究。基于数据的方法中有机器学习方法和深度学习方法，机器学习方法如中国专利“一种滚动轴承故障诊断方法”(公开号：CN109765054A)。该方法依靠机器学习算法训练数据，对任务进行决策，但机器学习方法在故障诊断过程中特征提取和分类是分开的两个步骤，需要人为分析机械设备的内部机制的问题，在特征提取的过程很容易丢失一些数据特征；随着计算能力的提升，数据量的增加，深度学习在处理大数据时将更有优势，第一，深度学习算法逐层直接自动进行特征的学习和提取，无需进一步信号处理，也不必依赖专家的经验知识，对于不清楚设备结构属性的情况较为适用，同时也减少人工资源的使用，无经验背景直接利用测试数据就可操作；第二，深度学习能分析出数据变化内含的健康状态变化，这种复杂的关联性一般的机器学习算法很难学习，尤其是面对高维多种类的海量数据。因此，本申请选择数据驱动中的深度学习模型进行设备故障诊断。深度学习方法中卷积神经网络与其他深度学习模型相比易于处理高维数据，具有局部感知、权重共享的优点，可有效减少网络的参数量，降低了模型复杂度，也无需手动提取特征，只要将权重训练好就能得到好的分类效果；而降采样则进一步降低了输出参数量，模型具有更强的泛化能力，梯度消失问题也可以被有效解决，面对小的畸变也能保持较好的分类效果。

目前基于深度学习的故障诊断已经有了一些研究，如中国专利“一种设备故障诊断方法”(公开号：CN109670595A)，但深度学习方法在数据含有噪声和负载变化情况下自适应差，故障诊断的识别率会降低。

发明内容

本申请是针对上述设备故障诊断存在的问题，提出了一种基于深度学习的设备故障诊断方法，针对设备数据的特点，在原有的基础卷积神经网络模型上加入参数正则化和Dropout方法提升模型的泛化能力，并在激活函数之后加入BN算法的基础上，引入自适应批量归一化算法，进一步提高模型的自适应识别能力，客观准确地反映被监测设备的故障类型，为指导后续的设备故障管理和维护工作提供依据。

本申请的技术方案为：一种基于深度学习的设备故障诊断方法，具体包括如下步骤：

1)设备状态数据的采集与选取：首先从设备状态数据集中选取完整的全生命周期数据，从中选择表征设备故障状态且能被连续监测和记录的特征参量，作为设备状态数据；

2)对采集的设备状态数据进行预处理：将选取设备状态数据分为训练集和测试集，通过数据增强技术对训练集数据进行数据增强，获得扩充后训练集数据；

3)构建基础卷积神经网络故障诊断模型，并用测试样本对网络结构层进行优化；

4)应用正则化、Dropout方法对结构层已经优化的卷积神经网络内部结构进行优化；

5)引入自适应批量归一化算法提高模型的适应性：在网络结构层优化后的卷积神经网络故障诊断模型的卷积层激活函数之后加入BN算法，用测试集在每一个BN层的均值与方差，替换原来BN层的由训练集计算出的均值与方差，将训练集和测试集调整到一个新的分布空间，两个数据集领域分布相似，从而提高模型的自适应性；

6)训练集数据对优化后模型进行训练得到训练后适应性故障诊断模型，直接用于设备故障诊断。

所述步骤2)中数据增强技术为重叠采样方法，具体方法如下：

在扩充训练样本时，选定样本长度为l，步长为s偏移，对一个连续采样的训练数据样本，每移动一个步长s，剪切长度为l的数据为一个训练样本，若数据集按采样周期采集共采集有n个数据，按时间循序排列后，采用重叠采样方法进行数据预处理后，则可以得到((n-l)/s)+1个训练样本。

所述步骤3)用测试样本对网络结构层进行优化，具体方法如下：

全连接层层数、卷积层层数、池化层层数和每层卷积核数目是待定数，其中卷积层层数和池化层层数相同，对待定数进行排列组合构成不同层网络结构，将测试样本送入不同层网络结构进行故障识别，并对识别结果进行比对，选择最优的结构层搭配，为优化后网络结构层。

所述步骤4)具体优化方法：采用L2岭回归正则化方法对步骤3)优化后卷积神经网络故障诊断模型的回归损失函数加一个约束形式；引入Dropout方法对训练过程中的神经元和对应的连接边进行丢弃处理。

所述步骤6)训练具体包括两个阶段，第一个阶段是数据由低层次向高层次传播的阶段，即前向传播阶段；另外一个阶段是，当前向传播得出的结果与预期不相符时，将误差从高层次向底层次进行传播训练的阶段，即反向传播阶段；具体训练过程为：

6.1)对卷积神经网络进行模型参数权值的初始化；

6.2)训练集数据输入经过卷积层、池化层、全连接层的向前传播得到输出值；

6.3)求出网络的输出值与目标值之间的误差；

6.4)当误差大于初始化设定的误差期望值时，将误差从输出端传回网络中，依次求得全连接层，池化层，卷积层的误差；各层的误差可以理解为对于网络的总误差，网络应承担多少，进行下一步；当误差等于或小于设定的误差期望值时，结束训练，得到训练后适应性故障诊断模型。

6.5)根据求得误差进行权值更新，然后再返回步骤6.2)进行前向传播。

本申请的有益效果在于：本申请基于深度学习的设备故障诊断方法，所采用的深度学习算法逐层直接自动进行特征的学习和提取，无需进一步信号处理，也不必依赖专家的经验知识，能分析出数据变化内含的设备状态变化，这种复杂的关联性一般的算法很难学习，尤其是面对高维多种类的海量数据；本申请在原有的基础卷积神经网络模型上加入参数正则化和Dropout方法提升模型的泛化能力，并在激活函数之后加入BN算法的基础上，引入自适应批量归一化算法，进一步提高了模型的适应能力。

附图说明

图1为基于深度学习的设备故障诊断方法流程示意图；

图2为步骤2数据增强中扩充数据的重叠采样方法示意图；

图3为步骤3采用的基础卷积神经网络结构图；

图4为不同卷积神经网络模型结构故障诊断识别率结果图；

图5为在不同单个负载下模型的故障诊断结果图；

图6为在不同噪声环境下各模型故障诊断的结果对比图；

图7为在不同适应场景下各模型故障诊断的结果对比图。

具体实施方式

下面结合附图和具体实施例对本申请进行详细说明。本实施例以本申请技术方案为前提进行实施，给出了详细的实施方式和具体的操作过程，但本申请的保护范围不限于下述的实施例。

如图1所示基于深度学习的设备故障诊断方法流程示意图，主要包括以下几个部分：

S1、设备状态数据的采集与选取，其具体包括：

采集设备状态数据集中选取几组较为完整的run-to-failure全生命周期数据，从中选择能够表征设备不同故障类型且能被连续监测和记录的特征参量，作为设备状态变量。不同类型的工业设备可选择各自的待监测参数，主要包括振动信号、转速、流速、压力、温度、功率、电流等。

S2、对采集的设备状态数据进行预处理，其具体包括：

首先将选取的状态数据分为训练集和测试集。本申请所选用的卷积神经网络模型的训练需要较为庞大的数据量才能得到较为准确的分类结果，数据增强的目的就是在无法获得更多数据的情况下，让有限的数据产生等价于更多数据的价值。本申请扩充数据采用重叠采样方法如图2所示，对训练集数据进行数据增强，测试样本不做重叠采样处理。重叠采样方法在扩充训练样本时，选定样本长度为l，步长为s偏移，对一个连续采样的训练数据样本，每移动一个步长s，剪切长度为l的数据为一个训练样本，若数据集按采样周期采集共采集有n个数据，按时间循序排列后，采用重叠采样方法进行数据预处理后，则可以得到((n-l)/s)+1个训练样本。

S3、构建基础卷积神经网络故障诊断模型，并用测试样本对网络结构层进行优化，其具体包括：

卷积神经网络基本结构如图3所示，网络由卷积层、池化层和全连接层组成，通常顺序为：输入—卷积层—池化层—卷积层—池化层—……—全连接层—输出，卷积层和池化层的数目一样。根据卷积神经网络的基本结构，首先构建一个基础的卷积神经网络。第一层卷积层卷积核数目为16，窗口大小为64×1，步长16×1，第一层卷积层窗口较大是为了提取短时特征，输出大小为128×16。卷积层后接一个池化层，池化层的窗口大小为2×1，缩小比例因数为2，输出大小为64×16。再往后是若干个卷积层和池化层，窗口大小均为3×1的小卷积核，步长为1×1，输出大小为64×32。池化层参数同上，窗口为2×1，缩小比例因数为2，输出大小为32×32。然后是若干个全连接层，全连接层的神经元数为32，具体层数也由后续优化决定。最后是一个全连接输出层，激活函数为softmax函数，最后输出分类结果。

由于不同的卷积层(池化层)、全连接层的数目以及卷积核的数目会对最后的故障诊断结果产生影响，为了得到性能最好的故障诊断模型，上述介绍的第二层之后的全连接层层数、卷积层(池化层)层数和每层卷积核数目是待定的，本申请采用分情况穷举讨论的方法，即全连接层1-2层、卷积层1-3层、第二层第三层卷积层卷积核数目一致，都在32/64/128中选择，来测试共2*3*3＝18种排列组合中性能最优的模型。对三者不同组合的故障识别能力通过对测试样本上的结果进行比对，选择最优的搭配，不同卷积神经网络模型结构故障诊断识别率结果图如图4所示，横坐标为epoch数(一个完整的数据集经过了卷积神经网络一次并且返回了一次，这个过程称为一个epoch)，纵坐标为故障诊断识别率。可以看到图4中最粗的线为1全连接层-2卷积层-32个卷积核CNN模型识别率测试结果。由于1全连接层-2卷积层-32个节点的模型准确率最优，本申请最终选定模型为1全连接层-2卷积层-32个节点的卷积神经网络模型作为故障诊断基础模型。卷积神经网络具体结构参数如表1所示。

表1

S4、应用正则化、Dropout方法对结构层已经优化的卷积神经网络内部结构进行优化，其具体包括：

正则化通过对模型的回归损失函数加一个约束形式，有效降低模型的复杂度，抑制过拟合，提高模型的适应性。L1、L2正则化方法是最常用的参数正则化方法，都是范数约束。L1通常又被称为Lasso回归，将参数的绝对值相加，L2为岭回归(Ridge回归)，操作为各参数的平方和再求平方根，二者都是对回归损失函数加一个约束形式。区别在于L1只产生很少的特征，其他特征为0，L2正则化保留更多特征，是让它们趋近于0，减低了参数之间的差距，使参数变的更平滑，模型能适应更多的数据集，因此本申请采用L2正则化方法；

与此同时本申请在模型中引入Dropout方法，Dropout也叫丢弃法，操作为在训练过程中丢掉一些神经元和对应的连接边，让一些隐层节点值为0，这样就有效解决了深度神经网络参数过多导致的过拟合问题，不再过分依赖局部特征，加强模型泛化能力。本申请的Dropout大小设置为0.5。

S5、引入自适应批量归一化算法(AdaBN)提高模型的适应性，其具体包括：

本申请首先在结构层已经优化的基础卷积神经网络故障诊断模型在经历过激活函数之后加入BN算法，BN层的主要作用是解决了神经网络收敛过慢的问题。在训练神经网络时，随着网络深度的加深，非线性变换前的激活函数输入值分布产生了变化并偏移，领域分布情况变得不再标准，逐渐靠近激活函数(非线性函数)的上下取值边界，从而反向传播时低层神经网络梯度消失，这就造成了神经网络收敛速度变慢。BN主要操作是把神经网络输入的数据分布改正为均值为0方差为1的标准正态分布，进行标准化的处理后，领域分布不再处于边界，大部分激活函数输入值位于激活函数的线性区内，其对应的导数进入变化敏感区，那么即使输入数据有微小的变化，损失函数也能反映出较大的变化，更容易向最优方向靠拢。由此加大梯度，防止了梯度消失，减少了训练时间，收敛速度加快。

自适应批量归一化算法，是基于BN的领域自适应算法，它有效地解决BN需要进行迁移学习的问题。自适应批量归一化算法简单直接地用测试集在每一个BN层的均值与方差，替换原来的BN层由训练集计算出的均值与方差，将训练集和测试集调整到一个新的分布空间，改善故障诊断的分类效果。本申请在卷积神经网络模型的基础上加入BN算法，再利用自适应批量归一化算法改良领域分布情况，即使训练集测试集不同源，一样可以做到领域自适应，从而改善卷积神经网络模型抗噪性和适应性差的问题，提高模型的适应性。

S6、应用设备状态数据对优化后模型进行训练得到训练后适应性故障诊断模型，其具体包括：

本申请所采用的卷积神经网络训练过程分为两个阶段。第一个阶段是数据由低层次向高层次传播的阶段，即前向传播阶段。另外一个阶段是，当前向传播得出的结果与预期不相符时，将误差从高层次向底层次进行传播训练的阶段，即反向传播阶段。具体训练过程为：

1)对卷积神经网络进行模型参数权值的初始化；

2)训练集数据输入经过卷积层、池化层、全连接层的向前传播得到输出值；

3)求出网络的输出值与目标值之间的误差；

4)当误差大于初始化设定的误差期望值时，将误差从输出端传回网络中，依次求得全连接层，池化层，卷积层的误差；各层的误差可以理解为对于网络的总误差，网络应承担多少，进行下一步；当误差等于或小于设定的误差期望值时，结束训练，得到训练后适应性故障诊断模型。

5)根据求得误差进行权值更新，然后再返回步骤2)进行前向传播。

案例说明

为了验证本申请所提出方法的性能，首先在设备不同负载下验证本申请设计的故障诊断模型的有效性，同时为了验证本申请所设计故障诊断方法的适应性，设计了抗噪性测试和训练数据和测试数据在不同负载下时模型故障诊断的有效性测试，这里引入基于支持向量机(SVM)，深度神经网络(DNN)、长短时记忆网络(LSTM)、基础卷积神经网络(CNN)的故障诊断模型与本申请设计的适应性故障诊断模型进行比较，并在此基础上对每种方法的分类准确率进行了对比分析。

本实施例选用凯斯西储大学轴承数据中心(Case Western Reserve University,CWRU)官网上的数据集。数据集中包括：正常数据，采样频率12kHz的故障数据，采样频率48kHz的故障数据。本实施例选择采样频率为48kHz的驱动端故障数据和正常数据，这两种数据都包含四种(0hp、1hp、2hp和3hp)负载下的数据。48kHz的驱动端故障数据每种负载下轴承有3种缺陷位置，分别是滚动体损伤，外圈损伤与内圈损伤，每种损伤直径的大小有3种，分别为0.007inch,0.014inch和0.021inch，共计9种损伤状态和正常状态。每种损伤状态下对应有2个加速度数据驱动端加速度数据(DE)和风扇端(FE)加速度数据，以及对应时间序列数据。

一、故障诊断模型有效性测试

该测试将分别应用负载为0hp、1hp、2hp和3hp下的数据集进行模型的训练和测试，每种负载下的数据集各包括7000个训练样本与1000个测试样本，其中训练样本采用数据增强技术，测试样本之间无重叠，实验结果如图5所示在不同单个负载下模型的故障诊断结果图。

由图5可以看出，四种负载下本申请所设计的故障诊断模型随着epoch数的增加，对故障的识别率不断增加，最后都可以达到接近100％的故障识别率，很好地验证了本申请所设计的故障诊断模型的有效性。

二、故障诊断模型适应性测试

(1)抗噪性测试

该测试通过在测试集上加入高斯白噪声信号，测试信噪比(SIGNAL-NOISE RATIO,SNR)从0-10dB变化时本申请所设计的故障诊断模型的识别率。由此同时，引入基于支持向量机(SVM)，深度神经网络(DNN)、长短时记忆网络(LSTM)、基础卷积神经网络(CNN)的故障诊断模型与本申请设计的适应性故障诊断模型进行比较，如图6所示在不同噪声环境下各模型故障诊断的结果对比图。

从图6中可以看出，深度神经网络和长短时记忆网络模型对于数据中存在噪声时，故障诊断的识别率偏低，尤其是对于信噪比较低的数据集抗噪性表现很差，识别率基本是80％左右。支持向量机和基础卷积神经网络模型在抗噪性方面表现较好，但总体性能相比较于本申请提出的适应性故障诊断模型还有一定的差距。此外支持向量机不善于处理多分类问题。即使支持向量机无需进行高维空间的计算，但是核函数如何选择仍然是需要攻克的难题，这将导致支持向量机无法在变化的环境中仍有较为出色的表现。

(2)适应性测试

该测试选择1hp(A)，2hp(B)，3hp(C)负载下的数据集，以其中一个作为训练集，另一个负载不同于训练集的作为测试集。分别采用基于支持向量机(SVM)，深度神经网络(DNN)、长短时记忆网络(LSTM)、基础卷积神经网络(CNN)的故障诊断模型与本申请设计故障诊断模型进行对比，测试不同负载场景下的模型的故障诊断情况，如图7所示在不同适应场景下各模型故障诊断的结果对比图。

从图7中可以看出在训练集与测试集负载不同时，基于支持向量机、深度神经网络、长短时记忆网络的模型对故障诊断的准确率明显下降，不到70％。基础卷积神经网络模型和本申请提出的适应性故障诊断模型在六种适应性测试中只有C为训练集和A为测试集的情况下识别率一般，其他五种情况下识别率分别能达到95％和99％，并且本申请提出的故障诊断模型准确率更高。这是因为卷积神经网络具有多层层次结构网络，善于挖掘数据局部特征，提取全局训练特征和分类，是一种鲁棒性强的深度学习模型，具备良好的适应性。本申请在卷积神经网络的基础上引入参数正则化和Dropout方法，并加入AdaBN算法进一步提高模型的适应性，可以有效解决训练集和测试集数据分布不同造成分类效果差的问题，将测试集和训练集领域分布进行调整，特征表达点基本重合，表明两者的分布几乎一致，因此模型可以很好地分类，比基础的卷积神经网络模型故障诊断的准确率进一步提高。

以上详细描述了本申请的较佳具体实施例。应当理解，本领域的普通技术人员无需创造性劳动就可以根据本申请的构思作出诸多修改和变化。因此，凡本技术领域中技术人员依本申请的构思在现有技术的基础上通过逻辑分析、推理或者有限的实验可以得到的技术方案，皆应在由本申请所确定的保护范围内。

Claims (5)

1.一种基于深度学习的设备故障诊断方法，其特征在于，具体包括如下步骤：

1)设备状态数据的采集与选取：首先从设备状态数据集中选取完整的全生命周期数据，从中选择表征设备故障状态且能被连续监测和记录的特征参量，作为设备状态数据；

2)对采集的设备状态数据进行预处理：将选取设备状态数据分为训练集和测试集，通过数据增强技术对训练集数据进行数据增强，获得扩充后训练集数据；

3)构建基础卷积神经网络故障诊断模型，并用测试样本对网络结构层进行优化；

4)应用正则化、Dropout方法对结构层已经优化的卷积神经网络内部结构进行优化；

5)引入自适应批量归一化算法提高模型的适应性：在网络结构层优化后的卷积神经网络故障诊断模型的卷积层激活函数之后加入BN算法，用测试集在每一个BN层的均值与方差，替换原来BN层的由训练集计算出的均值与方差，将训练集和测试集调整到一个新的分布空间，两个数据集领域分布相似，从而提高模型的自适应性；

6)训练集数据对优化后模型进行训练得到训练后适应性故障诊断模型，直接用于设备故障诊断。

2.根据权利要求1所述基于深度学习的设备故障诊断方法，其特征在于，所述步骤2)中数据增强技术为重叠采样方法，具体方法如下：

在扩充训练样本时，选定样本长度为l，步长为s偏移，对一个连续采样的训练数据样本，每移动一个步长s，剪切长度为l的数据为一个训练样本，若数据集按采样周期采集共采集有n个数据，按时间循序排列后，采用重叠采样方法进行数据预处理后，则可以得到((n-l)/s)+1个训练样本。

3.根据权利要求1所述基于深度学习的设备故障诊断方法，其特征在于，所述步骤3)用测试样本对网络结构层进行优化，具体方法如下：

全连接层层数、卷积层层数、池化层层数和每层卷积核数目是待定数，其中卷积层层数和池化层层数相同，对待定数进行排列组合构成不同层网络结构，将测试样本送入不同层网络结构进行故障识别，并对识别结果进行比对，选择最优的结构层搭配，为优化后网络结构层。

4.根据权利要求1所述基于深度学习的设备故障诊断方法，其特征在于，所述步骤4)具体优化方法：采用L2岭回归正则化方法对步骤3)优化后卷积神经网络故障诊断模型的回归损失函数加一个约束形式；引入Dropout方法对训练过程中的神经元和对应的连接边进行丢弃处理。

5.根据权利要求1所述基于深度学习的设备故障诊断方法，其特征在于，所述步骤6)训练具体包括两个阶段，第一个阶段是数据由低层次向高层次传播的阶段，即前向传播阶段；另外一个阶段是，当前向传播得出的结果与预期不相符时，将误差从高层次向底层次进行传播训练的阶段，即反向传播阶段；具体训练过程为：

6.1)对卷积神经网络进行模型参数权值的初始化；

6.2)训练集数据输入经过卷积层、池化层、全连接层的向前传播得到输出值；

6.3)求出网络的输出值与目标值之间的误差；

6.4)当误差大于初始化设定的误差期望值时，将误差从输出端传回网络中，依次求得全连接层，池化层，卷积层的误差；各层的误差可以理解为对于网络的总误差，网络应承担多少，进行下一步；当误差等于或小于设定的误差期望值时，结束训练，得到训练后适应性故障诊断模型；

6.5)根据求得误差进行权值更新，然后再返回步骤6.2)进行前向传播。

Images