CN108519768B - 一种基于深度学习和信号分析的故障诊断方法 - Google Patents

Abstract

本发明公开了一种基于深度学习和信号分析的故障诊断方法，本发明方法预先采集工业过程在正常和故障时的数据，并将其划分为训练集和测试集；基于训练集离线训练模型参数，再以测试集检验模型，性能指标为故障诊断的精度，其数值大小表征了模型的泛化性能，亦即对故障的在线诊断能力；该方法作为神经网络的变体，能获取过程操作变量在时域上的物理信息，同时引入的小波分析法可获取过程测量变量的频域信息；此外，该方法采用的深度结构适应了工业大数据的大、快、杂、疑等特点，可将过程操作变量的物理信息，结合以过程测量变量的频率特征，学习到故障的深层级的复杂模式，可有效地进行故障诊断，于在线诊断的测试中显示出优越的泛化能力。

Description

一种基于深度学习和信号分析的故障诊断方法

技术领域

本发明属于工业过程监控技术领域，更具体地，涉及一种基于深度学习和信号分析的故障诊断方法。

背景技术

故障检测和识别技术对于安全稳定的工业生产过程具有重要作用，它已发展成为是一个交叉性的学科，涉及到了系统集成、控制工程、人工智能、应用数学和统计学以及各种应用领域。随着电子工业和计算机技术的发展，许多的专家学者已应用了不同的故障检测方法，譬如工人现场监测、程序化自检测、模型建模、数据驱动。

在基于数据驱动的诊断技术中，针对于应用场景做出合适的方法选择和改进是具有前提性和关键作用的。现有技术中，有以下几种方法用于故障检测：(1)通过信息融合来分析所有传感器的数据并对其进行筛选、整合和抽象，再进行高层次的融合；(2)运用信号处理理论对传感器数据进行时域或频域的分析；(3)根据统计分析方法得出传感器数据的统计规律性；(4)以粗糙集对数据进行分析和推理来发现隐含的知识、揭示潜在的规律；(5)机器学习涉及了概率论、统计学、逼近论、凸分析、算法复杂度理论等多门学科，从数据中自动分析获得规律。然而，在复杂的工业过程的应用场景中，直接运用以上方法而不对应用场景所涉及理论而做出整合，难以针对性地就具体研究对象和理论的适用性来分析工业过程。

发明内容

针对现有技术的以上缺陷或改进需求，本发明提供了一种基于深度学习和信号分析的故障诊断方法，其目的在于利用深度学习来整合过程测量变量和过程控制变量的信号特征以检测故障，由此克服在工业过程的故障模式的变异性、复杂性，提高了工业过程中故障的可诊断性。

为实现上述目的，本发明提供了一种基于深度学习和信号分析的故障诊断方法，所述方法具体包括：

(1)采集工业过程中正常和故障状态时的测量数据和控制数据，构建带标签的数据集，将数据集划分为训练集和测试集，并对数据集各特征变量进行归一化处理；

对数据集中变量进行归一化处理：

其中，x′表示归一化后的样本数据，x表示归一化前的样本数据，m表示第 m个样本数据，n表示样本数据的第n个属性，M表示采样总数,N表示采样属性总数；

(2)搭建基于自编码器的深度小波神经网络模型，其模型结构由小波自编码器、深度学习架构和分类器组成；

进一步地，所述步骤(2)具体包括：

(21)确定Morlet小波函数Ψ(x)的向量形式；

其中，采用二进小波法生成小波，a表示伸缩因子，则a₀初始设置值，优选取为2，N_wv表示小波向量总数；b表示平移因子，b＝kab₀， b₀表示初始设置值，优选取为1，k表示常数因子，优选取为1；ω₀表示设定基波频率，f_b表示设定频带宽度，ω₀表示设定基波频率，f_b表示设定频带宽度，二者为超参数，将由网格搜索法确定其取值；

(22)构建小波自编码器，

其中，·表示矩阵乘积，W_wav表示编码层权重，W_dec表示解码层的权重，X表示编码器输入数据，V表示编码器的输出数据，b_wav表示编码层偏差，b_dec表示解码层偏差，k表示该层各神经元的下标，W_dec ^k，：表示连接至解码层第k个神经元的权重集合，N_wav表示小波神经元的个数，N表示采样属性总数，以满足自编码器的功能；

(23)构建深度学习架构，

D¹ _k＝f(W_deep1 ^k，：·V+b_deep1 ^k)，k＝1,2,...,N₁

D² _k＝f(W_deep2 ^k，：·D¹+b_deep2 ^k)，k＝1,2,...,N₂，

其中，V表示编码器的输出数据，k表示该层各神经元的下标，D¹，D²分别表示深度神经网络各层的输出值，W_deep1，W_deep2表示深度神经网络各层的权重，b_deep1，b_deep2表示深度神经网络各层的偏差，k表示该层各神经元的下标，N₁，N₂表示深度神经网络各层的神经元总个数，·表示矩阵乘积，其中，η表示控制ELU函数形状的参数，默认取为1；

(24)构建分类器，

其中，p()表示归一化的概率值，yⁱ|xⁱ；W_out表示在已知上一层神经网络至softmax分类器的权重W_out的基础上，分类器根据输入数据xⁱ做出预测yⁱ的概率模型，其中yⁱ为正常(Normal)或故障(Fault)的二元输出；N_deep表示深度神经网络的最后一层的神经元总数，T表示矩阵的转置，i表示输入数据的样本序号，j表示二元softmax中的子输出序号，θ＝{W_out ^ii,jj|ii＝1,2,...,N_deep；jj＝1,2}，其中，W_out表示深度神经网络最后一层与softmax的连接权重，ii表示深度网络最后一层的神经元的序号，jj表示softmax结点的序号。

进一步地，所述步骤(21)中隐藏层的建立Morlet小波神经元的步骤如下：

(211)Morlet小波是加高斯窗的复值三角波，其表达式为：

(212)在实际应用中常去掉Morlet小波函数的虚部，则得到如下表达式：

(213)为实现小波对过程测量变量的检测分析，需引入尺度参数a和连续平移参数b，由母波函数即Morlet小波产生在时间域上的经过平移和伸缩的一系列子小波，来分析不同频率的传感器信号；

(214)小波神经网络基于离散小波变换，则须对连续的小波参数a和b 做出离散化，通常使用幂级数法对尺度a做离散化，相应对平移参数b做出离散化，则小波神经元的激活函数如下：

其中，a＝a₀ ^j，a₀＞0，b＝ka₀ ^jb₀，j∈N_wv，则Morlet小波神经元激活函数为：

(215)Morlet小波的常数因子可并入至输入与小波神经元的连接权值，则得到简化的小波神经元激活函数：

(216)选取二进小波，即以幂级数法产生小波神经元，即令a₀＝2，b₀＝1，取k＝1，则得到在神经网络中使用的激活函数：

此时构造出了模型中的隐藏层的所有结点。

进一步地，步骤(22)小波自编码器的算法实现，具体如下：

(221)对解码器的输出与输入X求均方误差：

(222)对编码层和解码层的权重进行L2范数惩罚，分别为：

(223)以均方误差和自编码器各层权重和偏差的L2范数惩罚项，构造小波自编码器的优化函数，其函数式为：

其中，λ₁为惩罚项系数。

进一步地，步骤(23)中构建深度学习架构的方法如下：

(231)搭建多层ELU网络结构，由浅及深地学习到测量变量的频率信息中的深度特征，这种特征是频域中特定现象出现的程度；

(232)通过训练确定ELU激活函数中的系数α，α控制了函数在自变量小于0时的形状，从而控制网络层的激活值的均值接近0，缓解信息传递至下一层时产生的偏置漂移现象。

进一步地，步骤(24)中网络结构的算法实现，具体如下：

(241)对softmax的输出与真实标签Y求交叉熵：

(242)对编码层、深度网络的权重进行L2范数惩罚，分别为：

(243)通过以上各项构造模型的损失函数，其函数式为：

其中，λ₂为惩罚项系数；

进一步地，所述深度小波神经网络模型的网络中各层之间的权重W由下式进行初始化，

其中，N_in为网络上一层神经元数目，N_out为下一层神经元数目。

(3)使用网格搜索法选取深度小波神经网络模型的超参数；

进一步地，所述步骤(3)具体包括以下步骤：

(31)先以预设的倍数，该倍数取值范围为8-12，优选10，生成超参数的候选序列，对所有超参数进行组合配对，再各自通过BP反向传播训练模型，选定训练结果最好的配对值，完成对超参数的粗选；

(32)再以更低的设定倍数，该倍数取值范围为2-5，优选5，生成超参数的候选序列，对所有超参数进行组合配对，再各自通过BP反向传播训练模型，选定训练结果最好的配对值，完成对超参数的精选；

(33)最后设定倍数为1生成超参数的候选序列，完成对超参数的最优选择。

(4)利用训练集对深度小波神经网络模型进行训练，得到参数训练好的模型；利用测试集对训练好的模型进行检测，计算故障诊断精度；

进一步地，所述步骤(4)中利用训练集对深度小波神经网络模型进行训练具体包括以下步骤：

(41)将训练集作为损失函数Loss_AE的输入，通过BP反向传播算法优化小波编码器的损失函数Loss_AE，无监督地调整输入层至编码层的权重W_wav和偏差b_wav以及解码层的权重和偏差，预训练完毕，将得到自编码器中训练良好的编码器，解码器将被弃置不用；

(42)将训练集作为损失函数Loss_net的输入，通过BP反向传播算法优化全网络损失函数Loss_net，进行有监督训练，调优完毕，即得到训练好的模型。

进一步地，所述步骤(41)和(42)中通过BP反向传播算法优化具体包括以下步骤：

令π为模型中的权重和偏差的集合，预设参数α,β₁,β₂和ε的初始值，优选取值β₁＝0.9,β₂＝0.999,ε＝10^-8，中间量m,v分别代表该BP算法的学习动量和速度，代入下式优化算法对π进行迭代更新：

直到π收敛，得到优化的损失函数Loss。

(5)采集工业过程中的实时数据，输入到训练好的深度小波神经网络模型中，得到故障诊断结果。

总体而言，通过本发明所构思的以上技术方案与现有技术相比，具有以下技术特征及有益效果：

(1)本发明运用了小波分析理论与深度学习技术相结合的方法，对过程测量变量的频率特征进行学习，更有利于识别出物理意义中的故障模式；深度学习技术中的自编码器方法引入了对于过程变量本身的学习，通过预训练小波神经元的方式，使模型预先学习到了传感器数据的内在频率特征；而后的深度架构学习到频率特征的深度特性，使之容易克服故障模式的变异性、复杂性，提高了工业过程中故障的可诊断性；

(2)本发明提供的基于深度学习和信号分析的故障诊断方法，采集工业过程的正常工况和故障数据，离线训练模型；工业过程在线运行时，将传感器读数输入至模型，实时地诊断故障是否发生；分类器既给出了故障发生与否的判断，也输出了故障发生的可能性大小。

附图说明

图1是本发明方法实施例的整体流程示意图；

图2是本发明方法实施例中构建深度小波神经网络模型的流程图；

图3是本发明方法实施例中的训练深度小波神经网络模型的流程图；

图4是本发明实施例中田纳西伊斯曼仿真过程的结构示意图；

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。此外，下面所描述的本发明各个实施方式中所涉及到的技术特征只要彼此之间未构成冲突就可以相互组合。

如图1所示，本发明方法包括：

(1)采集工业过程中正常和故障状态时的数据，构建带标签的数据集，将数据集划分为训练集和测试集，并对数据集进行归一化处理；

(2)搭建深度小波神经网络模型，其模型结构由小波自编码器、深度学习架构和分类器组成；

(3)使用网格搜索法选取深度小波神经网络模型的超参数；

(4)利用训练集对深度小波神经网络模型进行训练，得到参数训练好的模型；利用测试集对训练好的模型进行检测，计算故障诊断精度；

(5)采集工业过程中的实时数据，输入到训练好的深度小波神经网络模型中，得到故障诊断结果。

其中，模型网络结构如图2所示意的，首先对输入数据做出最大最小值归一化，然后传入至Morlet小波层进行频率分析，再传入至深度网络进行频率特征的深度学习得出运行状态的深度特性，再传入softmax分类器转换为故障发生的可能性大小。

再则，训练模型的子流程如图3所示意的，包括预训练和调优。通过自编码的方法预训练Morlet小波神经元，再通过调优的方法训练模型中所有的权重和偏差，最终完成训练。

以下以田纳西伊斯曼化工过程为实施例，对本发明提供的基于深度学习和信号分析的故障诊断方法进行进一步说明。

实施例中，田纳西伊斯曼化工过程如图4所示意的，具体过程如下：气体物料A、C、D、E这四种起始反应物于反应器中在催化剂的作用下生成液态产物G、H，同时伴随生成一种副产品F。反应器有一个内部的冷凝器Condenser，用来移走反应产生的热量，产物以蒸汽形式离开反应器，并伴随着尚未反应的部分反应产物，经过一个冷凝器，到达气液分离器。不能冷却的组分通过一个离心式压缩机Comprossor循环回到反应器的进料口。冷凝后的组分被输送到产品解吸塔，以主要含A、C的流股作为气提流股，将残存的未反应组分分离出来，并从产品解吸塔(汽提塔stripper)的底部，进入界区之外的精致工段；惰性物和副产物主要在气液分离器中以气体的形式从系统中放空出来。

实施例中，对过程各部件、原料、中间产物等进行测量，产生了41个测量变量，加上11个进料和冷却水的阀门操作变量，综合而全面地衡量过程的运行状态。

利用本发明提供的基于深度学习和信号分析的故障诊断方法对实施例的田纳西伊斯曼化工过程进行故障检测的方法，具体如下：

(1)最大最小值法归一化数据集

载入田纳西伊斯曼化工过程的仿真数据集，包括了正常和故障时的带标签的数据集，划分有训练集有M＝480例(其中正常数据测试集有M＝500 例)和测试集有M＝960例；并采用最大最小值方法对数据集的输入数据各特征变量进行归一化处理：

(2)搭建模型网络结构

搭建基于自编码器的深度小波神经网络模型，其模型结构由小波自编码器、深度学习架构和分类器组成；

自编码器用于输入层至编码层的参数的预训练，使得小波编码层预先获取到过程测量变量的频率特征；深度架构是将小波编码得到的频率特征进行深度学习，识别正常和故障的运行状态的模式；再于分类器中做出正常和故障的判别，同时输出故障发生的可能性大小；

模型结构包括：

自编码结构：

编码器：V^k＝Ψ(W_wav ^k，：·X)+b_wav ^k，k＝1,2,...,N_wav

解码器：

模型结构：

小波编码：V^k＝Ψ(W_wav ^k，：·X)+b_wav ^k，k＝1,2,...,N_wav

D¹ _k＝f(W_deep1 ^k，：·V+b_deep1 ^k)，k＝1,2,...,N₁

深度架构：D² _k＝f(W_deep2 ^k，：·D¹+b_deep2 ^k)，k＝1,2,...,N₂

分类器：

其中，Morlet小波函数Ψ(x)为：

(3)选定模型的超参数

对该例中的训练集上使用网格搜索法，从粗选到细选逐步确定模型所有的超参数，直到模型在训练中收敛；

通过搜索和优选，确定出小波神经元个数N_wav＝60及其基波频率ω₀＝1.67 和带宽参数f_b＝3500、深度网络的层数N_deep＝2(其中N₁＝4，N₂＝4)和结点数 N₁＝4,N₂＝2以及激活函数参数α₀＝1、损失函数中各项系数λ₁＝3.5,λ₂＝0.01、损失函数优化器的学习率α＝0.002；

从而由式对模型的网络中各层之间的权重进行初始化：

W_wav～Uniform(-0.231，0.231)

W_dec～Uniform(-0.231，0.231)

W_deep1～Uniform(-0.306，0.306)

W_deep2～Uniform(-0.866，0.866)

W_out～Uniform(-1.0，1.0)

(4)模型在训练集上进行训练

将已确定网络结构的模型在训练集上对各层之间的权重和偏差进行训练，得到参数训练良好的模型；

在训练过程中，预训练输入层至编码层的权重W_wav和偏差b_wav，再训练模型所有的权重和偏差；

(5)模型在测试集上进行泛化性能测试

模型在测试集上进行故障预测，计算故障预测精度；对正常数据和21 种故障数据进行两两组合，输入至模型进行故障诊断；

表1显示了支持向量机、随机森林、深度稀疏自编码网络以及本发明的方法的故障诊断结果比较，可见本发明的方法对各个故障的诊断结果上都优于其他方法，尤其是故障11、14的诊断精度提高至了100％，泛化性能表现最优。

表1

错误类型	支持向量机	随机森林	深度稀疏自编码	本发明方法
					1	0.908333	0.902604	0.9125	0.913542
2	0.903646	0.889062	0.904167	0.910417
					3	0.564063	0.522396	0.556771	0.570313
4	0.912500	0.911458	0.916146	0.916667
					5	0.998958	0.934896	1.0	1.0
6	0.872396	0.926562	0.916667	0.916667
					7	0.915104	0.914583	0.916667	0.916667
8	0.994271	0.971354	1.0	1.0
					9	0.990104	0.947917	1.0	1.0
10	0.996875	0.991146	1.0	1.0
					11	0.895833	0.860417	0.982292	1.0
12	0.996875	0.941146	0.990104	0.990104
					13	0.589583	0.500000	1.0	0.999479
14	0.815625	0.935417	0.911458	1.0
					15	0.998958	0.813542	1.0	1.0
16	0.993229	0.998958	1.0	1.0
					17	0.938021	0.999479	0.964583	1.0
18	1.000000	0.928125	0.997396	0.997396
					19	0.987500	0.985938	1.0	1.0
20	0.984375	0.977083	1.0	1.0
					21	0.959375	0.982292	1.0	1.0
平均	0.915029	0.896875	0.950892	0.958631

以上内容本领域的技术人员容易理解，以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (7)

1.一种基于深度学习和信号分析的故障诊断方法，其特征在于，所述方法具体包括：

(1)采集工业过程中正常和故障状态时的数据，构建带标签的数据集，将数据集划分为训练集和测试集，并对数据集进行归一化处理；

(2)搭建深度小波神经网络模型，其模型结构由小波自编码器、深度学习架构和分类器组成；

所述步骤(2)具体包括：

(21)确定Morlet小波函数Ψ(x)的向量形式；

其中，采用二进小波法生成小波，a表示伸缩因子，则a₀表示初始设置值，N_wv表示小波向量总数；b表示平移因子，b＝kab₀，b₀表示初始设置值，k表示常数因子；ω₀表示预设基波频率，f_b表示设定频带宽度，二者作为超参数，由网格搜索法确定其取值；

(22)构建小波自编码器，

其中，·表示矩阵乘积，W_wav表示编码层权重，W_dec表示解码层的权重，X表示编码器输入数据，V表示编码器的输出数据，b_wav表示编码层偏差，b_dec表示解码层偏差，k表示该层各神经元的下标，W_dec ^k，：表示连接至解码层第k个神经元的权重集合，N_wav表示小波神经元的个数，N表示采样属性总数，以满足自编码器的功能；

(23)构建深度学习架构，

其中，V表示编码器的输出数据，k表示该层各神经元的下标，D¹，D²分别表示深度神经网络各层的输出值，W_deep1，W_deep2表示深度神经网络各层的权重，b_deep1，b_deep2表示深度神经网络各层的偏差，k表示该层各神经元的下标，N₁，N₂表示深度神经网络各层的神经元总个数，·表示矩阵乘积，其中，η表示控制ELU函数形状的参数；

(24)构建分类器，

其中，p()表示归一化的概率值，yⁱ|xⁱ；W_out表示在已知上一层神经网络至softmax分类器的权重W_out的基础上，分类器根据输入数据xⁱ做出预测yⁱ的概率模型，其中yⁱ为正常(Normal)或故障(Fault)的二元输出；N_deep表示深度神经网络的最后一层的神经元总数，T表示矩阵的转置，i表示输入数据的样本序号，j表示二元softmax中的子输出序号，θ_j＝{W_out ^i,j|i＝1,2,...,N_deep；j＝1,2}，其中，W_out表示深度神经网络最后一层与softmax的连接权重；

(3)使用网格搜索法选取深度小波神经网络模型的超参数；

(4)利用训练集对深度小波神经网络模型进行训练，得到参数训练好的模型；利用测试集对训练好的模型进行检测，计算故障诊断精度；

(5)采集工业过程中的实时数据，输入到训练好的深度小波神经网络模型中，得到故障诊断结果。

2.根据权利要求1所述的一种基于深度学习和信号分析的故障诊断方法，其特征在于，所述步骤(1)中采集的数据包括工业过程中的测量数据和控制数据。

3.根据权利要求1或2所述的一种基于深度学习和信号分析的故障诊断方法，其特征在于，所述步骤(1)中对数据集进行归一化处理具体为：

其中，x′表示归一化后的样本数据，x表示归一化前的样本数据，m表示第m个样本数据，n表示样本数据的第n个属性，M表示采样总数,N表示采样属性总数。

4.根据权利要求3所述的一种基于深度学习和信号分析的故障诊断方法，其特征在于，所述深度小波神经网络模型的网络中各层之间的权重W由下式进行初始化，

其中，N_in为网络上一层神经元数目，N_out为下一层神经元数目。

5.根据权利要求4所述的一种基于深度学习和信号分析的故障诊断方法，其特征在于，所述步骤(3)具体包括以下步骤：

(31)先以预设的倍数生成超参数的候选序列，对所有超参数进行组合配对，再各自通过BP反向传播训练模型，选定训练结果最好的配对值，完成对超参数的粗选；

(32)再以更低的倍数生成超参数的候选序列，对所有超参数进行组合配对，再各自通过BP反向传播训练模型，选定训练结果最好的配对值，完成对超参数的精选；

(33)最后设定倍数为1生成超参数的候选序列，完成对超参数的最优选择。

6.根据权利要求5所述的一种基于深度学习和信号分析的故障诊断方法，其特征在于，所述步骤(4)中利用训练集对深度小波神经网络模型进行训练具体包括以下步骤：

(41)将训练集作为损失函数Loss_AE的输入，通过BP反向传播算法优化小波编码器的损失函数Loss_AE，无监督地调整输入层至编码层的权重W_wav和偏差b_wav以及解码层的权重和偏差，预训练完毕，将得到自编码器中训练良好的编码器，解码器将被弃置不用；

(42)将训练集作为损失函数Loss_net的输入，通过BP反向传播算法优化全网络损失函数Loss_net，进行有监督训练，调优完毕，即得到训练好的模型。

7.根据权利要求6所述的一种基于深度学习和信号分析的故障诊断方法，其特征在于，所述步骤(41)和(42)中通过BP反向传播算法优化具体包括以下步骤：

令π为模型中的权重和偏差的集合，预设参数α,β₁,β₂和ε的初始值，中间量m,v分别代表该BP算法的学习动量和速度，依据下式优化算法对π进行迭代更新：

直到π收敛，得到优化的损失函数Loss。