CN110555479A - 基于1dcnn与gru融合的故障特征学习与分类方法 - Google Patents

Abstract

本发明公开了一种基于1DCNN与GRU融合的冷水机组故障特征学习与分类方法，解决了现有方法在耗时、难以处理海量数据等方面存在的不足。本发明首先对采集的不同工况下连续时间的故障序列信息进行预处理，构建样本集；其次采用降维算法对样本集进行初步特征提取；然后构建1DCNN‑GRU神经网络模型，训练时将训练样本同一时刻的故障特征作为网络模型一个时间步的输入，采用交叉熵损失函数，结合反向传播BP算法调整模型参数，利用Softmax回归作为分类算法，对网络模型参数进行迭代更新，完成模型的训练。该方法不仅能提取序列局部特征与序列间的动态信息，还能实现故障的实时分类诊断。

Description

基于1DCNN与GRU融合的故障特征学习与分类方法

技术领域

本发明属于基于大数据环境下冷水机组状态监测与故障诊断领域，具体涉及一种基于1DCNN与GRU融合的冷水机故障特征学习与分类方法。

背景技术

随着计算机、传感器技术的迅速发展，现代工业系统呈现复杂化、集成化方向发展的趋势，反映系统运行机理和状态的数据呈现出“大数据”特性。冷水机组作为数据中心制冷系统的关键设备，冷水机组包含冷凝器、压缩机、蒸发器、膨胀阀、冷冻水循环系统和冷却水循环系统，其主要作用是为机房提供冷源，保障数据中心的正常运行。冷水机组故障的发生轻者降低系统性能，造成机房设备受损，缩短设备的使用寿命；重者造成机房存储信息丢失，带来严重甚至无法挽回的经济损失，因此实现冷水机组精准的故障分类诊断尤为重要。

数据中心通过采用多个传感器装置实时采集冷水机组的运行状态数据，获得的数据呈现“大数据”特性。传统的浅层神经网络故障特征提取与分类方法，包含SVM、ANN、LR等，虽然在智能故障诊断分类方面已经取得了很大的成就，但是泛化能力小，提取有效特征需要耗费大量时间，难以满足这种工业“大数据”特征的故障分类诊断。此外，设备数据收集的速度比诊断分析的速度要快，因此迫切需要有效地分析海量数据，提供准确的诊断结果的诊断方法。不同于浅层神经网络，深度学习方法包含多层隐藏结构，能够实现数据特征的逐层转换，保证有效地特征提取；另一方面深度学习方法具有更好地逼近复杂函数的能力，因此可以有效处理高维、非线性数据，避免发生诊断能力不足的问题。

经过对现有技术的检索发现，中国专利文献号CN108985376A公开(公告)日2018.12.11，公开了一种基于卷积-循环神经网络的回转窑序列工况识别方法，具体包括：PCA主元分析法对预处理后的图像视频序列进行初步特征提取和降维；设计CNN-RNN卷积循环神经网络，进一步学习图像空间维和时间维的特征表达；输出层对所得到的特征进行全连接，通过softmax方法实现各种工况的概率统计，并选择出概率最大的工况输出，从而实现工况分类识别。该技术基于CNN-RNN提取图像的空间特征和图像序列之间关联信息，很好的实现的特征提取与工况识别。但该技术不能满足非图像序列的故障特征提取与分类。

发明内容

鉴于此，本专利提出了一种适用于序列数据的故障特征提取与分类方法——1DCNN-GRU。一维卷积神经网络1DCNN(1D Convolutional Neural Network)非常适合海量序列数据的处理与学习。卷积神经网络的卷积运算可以识别故障序列的局部特征，池化运算可以在保留主特征的同时减少参数和计算量，同时可以防止过拟合，提高泛化能力。GRU(Gated Recurrent Unit)作为循环神经网络RNN(Recurrent Neural Network)的一种变体，处理单元之间既有内部的反馈连接又有前馈连接，其内部反馈连接可以为网络保留隐层节点的状态和提供记忆方式。网络的输出不仅取决于当前的输入，而且与以前的网络内部状态有关，体现出了较好的动态特性，可以有效提取故障特征的动态信息，此外，由于记忆单元的存在，适用于复杂设备或系统的实时故障诊断。

本发明应用于冷水机组状态监测与故障诊断领域，实现对冷水机组传感器序列数据的特征提取与分类诊断。所述的故障特征学习与分类方法通过构建带有标签的冷水机组工况样本集对1DCNN-GRU网络模型进行训练，并将训练后的1DCNN-GRU网络处理未知冷水机组工况序列，根据1DCNN-GRU网络的输出向量判断冷水机组工况类别。

本发明具体包括如下步骤：

步骤A：利用传感器采集设备采集不同工况下冷水机组运行过程中的数据，例如温度参数，流量参数，压力参数等，对采集的不同工况数据打标签，构成样本集X∈R^d×n，其中d代表采集的数据维度，n代表样本个数；

步骤B：对样本集X进行预处理，包含标准化、数据降维，实现特征的初步特征提取，以减少后续的特征规模，并划分样本集；

具体操作步骤如下：

步骤B1:删除样本集X中的冗余特征，利用Numpy对样本集X进行标准化，输出为标准化后的样本集X^*，标准化公式为：

某一列特征用x表示，特征的均值用表示，特征的标准差用δ表示，标准化之后的特征用x^*表示。

步骤B2：对步骤B1标准化后的样本集X^*进行降维，输出为降维后的样本集X∈R^n×m，其中m(m＜d)代表采集的数据维度，n代表样本个数；

所述的降维的方法包含主成分分析法(Principal Component Analysis，PCA)、线性判别分析法(Linear Discriminant Analysis，LDA)等以及相关改进的数据降维方法，比如鲁棒稀疏线性判别方法(Robust Spase Linear Discriminant Analysis，RSLDA)；

步骤B3：划分样本集，将降维之后的样本集X划分为训练集和测试集。其中训练集和测试集都包含所有故障样本和正常样本；

步骤C：构建并训练1DCNN-GRU融合神经网络模型；

所述的1DCNN-GRU融合神经网络模型包含7层，分别是第一卷积层，第二卷积层、1层池化层，第三卷积层、一个GRU层，一个Dropout层和一个softmax回归层，同时，采用ReLU非线性函数作为激活函数。将训练集作为模型的输入，采用交叉熵损失函数，结合反向传播BP算法调整模型参数，利用Softmax回归作为分类算法，完成模型的训练，具体步骤如下：

步骤C1：对1DCNN-GRU进行初始化，采用大于0的小随机数初始化网络中待训练参数；

步骤C2：向初始化后的1DCNN-GRU中输入训练样本来训练该模型并得到预测的故障类型标签；

所述的训练样本包括：降维之后的特征向量和真实故障类别标签，当特征向量输入1DCNN-GRU中后经过逐层变换，传送到输出层，得到模型预测的故障类别标签；

步骤C3：使用交叉熵损失函数，结合反向传播BP算法调整1DCNN-GRU参数，利用softmax回归作为分类算法，完成1DCNN-GRU的训练，得到最优模型；

步骤D：工况分类诊断：将测试集的特征向量格式转换为(features,channels)的形式作为最优模型的输入，得到工况实际分类结果，构建混淆矩阵评估模型分类精度；

所述的测试样本包括：降维之后的特征向量和真实故障类别标签，当输入特征向量输入1DCNN-GRU中后经过逐层变换，传送到输出层，得到实际模型预测的故障类别标签。

有益效果

该专利提出了一种适用于序列数据的故障特征提取与分类方法，该方法不仅能提取序列局部特征与序列间的动态信息，还能实现故障的实时分类诊断，并可以取得较高的精度。

附图说明

图1本专利基于1DCNN与GRU融合的故障特征学习与分类方法的总体技术线路

图2本专利提出的融合的特征学习与分类模型1DCNN-GRU的结构图

图3本专利提出的融合的特征学习与分类模型1DCNN-GRU各层的输入输出结构示意图

具体实施方式

为使本发明的目的、技术方案和优点更加清楚，下面将结合本发明具体实施例并参照附图，对本发明进一步详细说明。所描述的实施例是本发明的一部分实施例，而不是全部的实施例。

本发明的实施例为了解决现有技术的部分不足，提供了一种融合的故障特征学习与分类方法，并将其应用于冷水机组故障特征学习与分类，所述的特征学习与分类方法包括如下步骤：

步骤101：获取设备运行数据集X∈R^d×n，其中d代表采集的数据维度，n代表样本个数；本实例采用的数据来自美国采暖制冷与空调工程师协会在20世纪90年代发起了1043研究项目，简称1043-RP，该项目是在实验室条件下，改变冷水机组的运行状况，使其运行在不同的工况和故障条件下，采集相应的数据。冷水机组系统主要包含冷凝器、压缩机、蒸发器、膨胀阀、冷冻水循环系统和冷却水循环系统六部分。实验共采集了64个参数，数据采集间隔为10s。其中48个参数由传感器直接采集，包括29个温度参数、7个阀门位置参数、5个压力参数、5个流量参数等，剩余的16个参数用VISSIM软件进行实时计算得到。7个典型的故障被模拟，分别是冷凝器结垢、制冷剂中存在非凝性气体、润滑油过量、制冷剂泄漏、制冷剂过量、冷凝器水流量减少为和蒸发器水流量减少；并为故障类型打标签，正常运行为Lable 0，冷凝器结垢为Lable 1，制冷剂中存在非凝性气体为Lable 2，润滑油过量为Lable 3，制冷剂泄漏为Lable 4，制冷剂过量Lable 5，冷凝器水流量减少为Lable 6，蒸发器水流量减少为Lable 7；

步骤102：利用Numpy对步骤101特征集X进行预处理，包括数据标准化和降维；

步骤102-1：标准化的目的是为了消除特征之间的量纲影响，提高模型的分类精度，标准化后的样本集为X^*。标准化公式为：

以上运算是按列进行的，因为每一列代表不同的特征。某一列特征用x表示，特征的均值用表示，特征的标准差用δ表示，标准化之后的特征用x^*表示；

步骤102-2：对步骤102-1标准化后的样本集X^*进行降维，进行初步特征提取,得到X∈R^n×m，其中m(m＜d)代表采集的数据维度，n代表样本个数；

所述的降维的方法包含主成分分析法(Principal Component Analysis，PCA)、线性判别分析法(Linear Discriminant Analysis，LDA)等以及相关改进的数据降维方法，比如鲁棒稀疏线性判别方法(Robust Spase Linear Discriminant Analysis，RSLDA)。

本实例采用的是RSLDA算法，将特征维数从64维缩减为15维，通过求解如下目标函数求解最优转换矩阵W∈R^d×m，

subject to X＝PW^TX+E，P^TP＝I

其中，W∈R^d×m(m≤d)是一个投影转换矩阵；E代表误差，被用来拟合噪声；Tr(·)代表求迹运算；P∈R^d×m是一个正交矩阵；S_w和S_b分别代表特征空间的类内散度矩阵和类间散度矩阵；λ是一个很小的正常数来平衡类内散度矩阵S_w和类间散度矩阵S_b；λ₁和λ₂都是折衷参数。为了求得最优转换矩阵W，通过ADMM(Alternating Direction Method ofMultipliers)算法来求解目标函数，得到上式的增广拉格朗日函数为：

其中Y是拉格朗日乘数，和β是惩罚参数，求解得到W。根据方程

X′＝X^TW

求得降维后的样本集X′；

步骤102-3：将特征集X′划分为训练集和测试集，其中每个子集都覆盖正常类别和所有故障类别，然后将训练集和测试集的特征向量格式转换为(features,channels)的形式作为融合模型1DCNN-GRU的输入；

步骤103：构建融合特征学习与分类模型(1DCNN-GRU)，示意图和结构图分别如图2和图3所示。模型包含7层，分别是3层卷积层，1层池化层，一个GRU层，一个Dropout层和一个softmax回归层，同时，采用ReLU非线性函数作为激活函数。将训练集样本的特征向量格式转换为(features,channels)的形式作为模型的输入，采用交叉熵损失函数，结合反向传播BP算法调整模型参数，利用Softmax回归作为分类算法，对网络模型参数进行迭代更新，完成模型的训练。训练1DCNN-GRU模型，模型每层的输入输出格式如图3所示，具体操作步骤如下：

步骤103-1：利用用Keras深度学习库首先定义一个1D-CNN模型，模型的输入为2个维度(features,channels)。第一层定义了100个大小为2的过滤器，第一层神经网络层的输出为14×100的神经元矩阵，输出矩阵的每列包含一个过滤器的权重，根据输入矩阵的长度和过滤器的大小，我们可以得到每个过滤器包含71个权重；

步骤103-2：定义第二层1D-CNN，也包含100个大小为2的过滤器。步骤103-1的结果作为第二层1D-CNN的输入，并在这一层进行训练，输出为13×100的神经元矩阵；

步骤103-3：定义最大池化层，为了保留主特征的同时减少参数和计算量，防止过拟合，通常在卷积运算之后进行池化运算。最大池化的窗口为3，意味着该层的输出矩阵大小仅为输入矩阵的三分之一，输出为4×100的神经元矩阵；

步骤103-4：为了学习更高层次的特征，定义第三层1D-CNN，包含160个大小为2的过滤器。步骤103-3的结果作为第三层1D-CNN的输入，并在这一层进行训练，输出为3×160的神经元矩阵；

步骤103-5：经过以上步骤的卷积和池化操作后，添加一个神经元个数为50的GRU层学习特征的顺序敏感性，并将步骤103-4的输出作为该层的输入，输出为1×50的神经元矩阵；

步骤103-6：添加一个dropout层，该层将随机为网络中的神经元分配0个权重。因为dropout＝0.5，50％的神经元将得到零权重。通过这种操作，网络对数据中较小的变化的反应变得不那么敏感。因此，它将进一步提高我们对未知数据的准确性。这一层的输出仍然是一个1×50的神经元矩阵；

步骤103-7：最后添加一个具有SoftMax激活的完全连接层，该层的神经元有8个，因为我们要预测8分类(正常运行为Lable 0，冷凝器结垢为Lable 1，制冷剂中存在非凝性气体为Lable 2，润滑油过量为Lable 3，制冷剂泄漏为Lable 4，制冷剂过量Lable 5，冷凝器水流量减少为Lable 6，蒸发器水流量减少为Lable 7)。Softmax作为激活函数，它的一个重要性质是输出总和为1，因此，Softmax的输出值将表示8类中每一类的概率。

步骤103-8：批处理大小为128，迭代1000轮，优化器选择“RMSprop”，损失函数选择“categorical_crossentropy”，开始训练，每迭代一次保存一次模型，直到epoch大于设定的阈值时停止训练；

步骤104：测试时，将步骤102-3的测试集作为1DCNN-GRU模型的输入，经过逐层变换，传送到输出层，得到实际模型预测的故障类别标签，即分类结果。模型在测试集的分类准确度为98％。

为使本发明实施例的目的、技术方案和优点更加清楚，所属领域的普通技术人员应当理解：以上任何实施例的讨论仅为示例性的，并非旨在暗示本公开的范围(包括权利要求)被限于这些例子。在本发明的思路下，以上实施例或者不同实施例中的参数(如网络层数等)、超参数(如批大小等)可以根据实际修改，并存在如上所述的本发明的不同方面的许多其它变化，为了简明它们没有在细节中提供。

本发明的实施例旨在涵盖落入所附权利要求的宽泛范围之内的所有这样的替换、修改和变型。因此，凡在本含在本发明的保护范围之内。

Claims (6)

1.基于1DCNN与GRU融合的故障特征学习与分类方法，其特征在于，所述的特征学习与分类方法包括如下步骤：

步骤1：利用传感器采集设备采集不同工况下冷水机组运行过程中的数据，对采集的不同工况数据打标签，构成样本集X∈R^d×n，其中d代表采集的数据维度，n代表样本个数；

步骤2：对样本集X进行预处理，包含标准化、对标准化后的数据进行降维、以及划分样本集，其中样本集包括故障样本和正常样本；

步骤3：构建并训练融合的特征学习与分类模型1DCNN-GRU，所述的1DCNN-GRU融合神经网络模型包含7层，依次是第一卷积层，第二卷积层、一个池化层，第三卷积层，一个GRU层，一个Dropout层和一个softmax回归层，同时，采用ReLU非线性函数作为激活函数，将经过降维处理后的训练样本作为模型的输入，采用交叉熵损失函数，结合反向传播BP算法调整模型参数，利用softmax回归作为分类算法，完成模型的训练；

步骤4：将监测到的实时数据输入训练完成后的模型，得到工况实际分类结果，构建混淆矩阵评估模型分类精度。

2.根据权利要求书1所述的基于1DCNN与GRU融合的故障特征学习与分类方法，步骤1中所述的数据包括温度参数，流量参数，压力参数，阀门参数。

3.根据权利要求书1所述的基于1DCNN与GRU融合的故障特征学习与分类方法，其特征在于：

所述的数据标准化公式为：

其中，x^*表示标准化之后的特征，x表示样本集X的列向量，表示列向量x的均值，δ表示特征的标准差。

4.根据权利要求书1所述的基于1DCNN与GRU融合的故障特征学习与分类方法，其特征在于：所述的降维的方法包含但不限于主成分分析法(Principal Component Analysis，PCA)、线性判别分析法(Linear Discriminant Analysis，LDA)鲁棒稀疏线性判别方法(Robust Spase Linear Discriminant Analysis，RSLDA)。

5.根据权利要求书1所述的基于1DCNN与GRU融合的故障特征学习与分类方法，所述的1DCNN-GRU网络结构优选为：

(a)：第一层1D-CNN模型，模型的输入为2个维度，即特征及通道，第一层1D-CNN模型包括100个大小为2的过滤器，输出为14×100的神经元矩阵，输出矩阵的每列包含一个过滤器的权重，每个过滤器包含71个权重；

(b)：第二层1D-CNN，包括100个大小为2的过滤器，步骤(a)的结果作为第二层1D- CNN的输入，并在这一层进行训练，输出为13×100的神经元矩阵；

(c)：最大池化层，最大池化的窗口为3，输出为4×100的神经元矩阵；

(d)：第三层1D-CNN，包含160个大小为2的过滤器，步骤(c)的结果作为第三层1D-CNN的输入，并在这一层进行训练，输出为3×160的神经元矩阵；

(e)：一个GRU层，神经元个数为50，步骤(d)的输出作为该层的输入，输出为1×50的神经元矩阵；

(f)：一个dropout层，dropout＝0.5，输出为一个1×50的神经元矩阵；

(g)：一个具有SoftMax激活的完全连接层，包含8个神经元用于预测8分类，即正常运行，冷凝器结垢，制冷剂中存在非凝性气体，润滑油过量，制冷剂泄漏，制冷剂过量，冷凝器水流量减少，蒸发器水流量减少。

6.根据权利要求书1所述的基于1DCNN与GRU融合的故障特征学习与分类方法，所述的训练具体步骤为：

(a)：对1DCNN-GRU进行初始化，采用大于0的小随机数初始化网络中待训练参数；

(b)：向初始化后的1DCNN-GRU中输入训练样本来训练该模型并得到实际输出向量；

所述的训练样本包括：降维之后的特征向量和真实故障类别标签，当特征向量输入1DCNN-GRU中后经过逐层变换，传送到输出层，得到模型预测的故障类别标签；

(c)：使用交叉熵损失函数，结合反向传播BP算法调整1DCNN-GRU参数，利用Softmax回归作为分类算法，完成1DCNN-GRU的训练，得到最优模型。