CN112633317A - 基于注意力机制的cnn-lstm风机故障预测方法及系统 - Google Patents

Abstract

一种基于注意力机制的CNN‑LSTM风机故障预测方法，首先，利用SCADA系统采集风机的时序数据；其次，利用随机森林算法对风机时序数据进行特征关联度分析，提取与风机故障关联度高的特征，形成新的特征数据集，将新的特征数据集输入到CNN‑LSTM模型中进行训练，并在模型中引入Attention机制，使得模型更关注与风机故障相关的特征，降低非相关特征的干扰，以提高风机故障预测模型的准确率和泛化能力；最后，将待预测的风机数据集输入到训练好的模型中，获取故障预测结果。本发明的模型是一种适合处理时序数据、准确率高、泛化能力强等综合性能突出的风机故障预测模型。

Description

基于注意力机制的CNN-LSTM风机故障预测方法及系统

技术领域

本发明涉及风电故障预测技术领域，具体涉及一种基于注意力机制的CNN-LSTM风机故障预测方法及系统。

背景技术

风能是一种无公害的可再生能源，能量近乎无尽，分布广泛。风电缓解了能源的供应，对环境的保护意义重大。风电设备一般安装在风力资源丰富但交通不便的地区，如山区、高原地区、草原牧场等，这些地区环境恶劣，雷电、暴雨或者台风等都可能使得风机发生故障，需要定期对风机进行巡检，以保证风电设备的正运行，但是风机地处偏远的地区，巡检工作量大，增加了维护人员的工作负担；对于风机的某些故障，如果等到故障发生后再进行检测，可能为时已晚，造成的经济损失也不可估量，因此需要对这些风机故障提前预测或预警。针对此问题，目前，主流的解决方案是基于风机状态数据的分析方法，它基于海量的运行数据，利用智能算法从多层面对风机的状态数据进行分析，挖掘数据中潜在的有价值的故障信息，实现对风机的故障预测。

风机产生的数据是以时间为轴不断增长的时序数据，因此对风机数据时序关系的学习对于风机故障预测至关重要；但是目前的风机故障预测模型对于处理时序问题性能较差，不能很好的挖掘数据间潜在的时序特征，导致泛化能力差，因此，需要一种模型能有效的处理时序数据且泛化能力强、准确率高。

发明内容

为解决现有技术中存在的不足，本发明的目的在于，提供一种基于注意力机制的CNN-LSTM风机故障预测方法。

本发明采用如下的技术方案。一种基于注意力机制的CNN-LSTM风机故障预测方法，包括以下步骤：

步骤1，从SCADA系统采集原始风机时序数据，包括：性能数据和外界环境数据；

步骤2，利用随机森林算法对原始风机时序数据进行特征关联度分析，得到与风机故障关联度高的特征数据集；

步骤3，将随机森林算法筛选得到的特征数据集输入到CNN神经网络，利用两层CNN神经网络对特征数据集进行特征提取；

步骤4，根据步骤3的输出结果，利用两层LSTM神经网络进一步学习多个连续时刻风机特征的变化趋势，获得特征之间的时序关系；

步骤5，将步骤4的输出结果输入到注意力机制模块，用于获取更多与故障相关的目标信息，通过注意力机制模块的全连接层输出结果，

步骤6，将步骤5的输出结果通过输出模块得到预测结果，根据模型的输出结果与真实值的误差不断更新权重参数，判断当迭代次数达到上限，则输出模型；

步骤7，加载步骤6训练好的模型，接着将待预测的风机数据输入到模型中，得到风机故障的预测结果；

其中SCADA是指数据采集与监视控制系统。

优选地，步骤1中，采集的原始风机时序数据包括：风速、发电机转速、网侧有功功率、对风角、风向角、偏航位置、偏航速度、叶片1角速度、叶片2角速度、叶片3角速度、叶片1速度、叶片2速度、叶片3速度、变桨电机1温度、变桨电机2温度、变桨电机3温度、水平方向加速度、垂直方向加速度、环境温度、机舱温度、变桨柜电源1温度、变桨柜电源2温度、变桨柜电源3温度、变桨柜电源1直流电流、变桨柜电源2直流电流和变桨柜电源3直流电流。

优选地，步骤2包括：

步骤2.1，从N维原始特征数据集上有放回的抽取M个样本数据，重复K次，即形成K个样本数据子集，每个样本数据子集中含有M个样本数据，每个样本由N个特征组成；

步骤2.2，分别从每个样本数据子集的N个特征中随机抽取X个特征，形成新的样本数据子集，即每个新的样本数据子集中含有M个样本数据，每个样本由X个特征组成；

步骤2.3，对于步骤2.2产生的每个样本数据子集建立相应的决策树；

步骤2.4，计算决策树中每个特征变量在建立决策树上的得分，针对不同的特征变量再分别取平均值，根据平均值降序排序，得到特征重要度排名；

步骤2.5，在特征重要度排名的基础上，过滤掉设定比例的特征，即过滤掉平均分数低的一些特征，形成新的样本特征子集；

步骤2.6，用新的样本特征子集再次构建决策树，并重复步骤2.4，和步骤2.5，直到剩下设定的q个特征；

步骤2.7，根据这q个特征在原始特征集进行特征选择，得到与风机故障关联度高的特征数据集。

优选地，步骤2中，形成的特征数据集包括：偏航位置，环境温度，测网有功功率，叶片3角度，变桨电机1温度，变桨电机2温度，变桨电机3温度，叶片1角度，叶片2角度，风速，发电机转速和变桨柜电源2温度共12个特征。

优选地，步骤3包括：

步骤3.1，对于步骤2形成的样本数据集D＝{(x_i，y_i)|i＝1，2，…，p}，其中p表示样本的数量，x_i表示输入的样本数据，x_i∈R^q，q表示特征的个数，y_i∈{0，1}表示第i个样本数据的标签；将样本数据输入到卷积层，得到高层次的特征表示：J_i＝f(ω·x_i：i+g-1+b)，并最终得到特征矩阵J＝[J₁，J₂，…，J_n-g+1]；其中，ω表示卷积核，g表示卷积核的尺寸，i：i+g-1表示第i项特征到第i+g-1项特征，b表示偏置项；

步骤3.2，接着对特征数据J使用最大池化计算进行处理，来保留关键信息并减少模型参数，得到局部最优解：E＝max(J₁，J₂，…，J_n-g+1)＝max{J}；

步骤3.3，接着利用全连接层将E向量连接成向量H，得到最终的CNN输出H：H＝{E₁，E₂，…，E_n}。

优选地，步骤4包括：

步骤4.1，数据首先通过遗忘门结构，通过如下公式计算得到遗忘门：

f_t＝σ(W_f·[h_t-1，x_t]+b_f)

式中：

f_t表示遗忘门，

σ表示Sigmoid激活函数，

h_t-1表示上个时刻隐藏状态；

x_t表示当前时刻的输入，即为CNN的输出结果H中对应t时刻的样本数据；

步骤4.2，接下来数据通过输入门结构，通过如下公式分别计算得到输入门和候选记忆单元：

i_t＝σ(W_i·[h_t-1，x_t]+b_i)

式中：

i_t表示输入门，

tanh(·)表示双曲正切激活函数，

表示候选记忆单元。

步骤4.3，LSTM通过遗忘门和输入门对旧的记忆单进行更新，得到新的记忆单元：

式中：

C_t-1表示旧的记忆单元，

C_t表示更新后的记忆单元；

步骤4.4，数据通过输出门结构，通过如下公式计算得到输出门：

o_t＝σ(W_o·[h_t-1，x_t]+b_o)

式中：

o_t表示输出门。

步骤4.5，通过如下公式计算得到LSTM的最终输出：

h_t＝o_t*tanh(C_t)

式中：

h_t表示t时刻的输入样本对应的最终的输出。

在上式中，参数W_f，W_i，W_C，W_o表示权重矩阵，参数b_f，b_i，b_C，b_o为偏置向量。

优选地，步骤5包括：

步骤5.1，数据进入注意力模块，通过注意力机制给风机故障特征分配不同的权重：

w_t＝tanh(h_t)

式中：

h_t表示输入数据，

w_t表示目标特征的权重；

步骤5.2，接着通过Softmax函数把注意力权重概率化：

式中：

p_t表示权重的概率向量。

步骤5.3，接着将注意力权重分配给对应的隐藏状态编码：

式中：

a_t表示h_t的加权平均。

步骤5.4，通过全连接层输出结果。

优选地，步骤6中，对于模型的输出结果与真实值的误差值采用如下公式表示：

式中：

N表示样本个数，

y⁽ⁱ⁾表示真实的样本类别，

y^′(i)表示模型的预测样本类别。

本发明还提供了一种利用所述基于注意力机制的CNN-LSTM风机故障预测方法的风机故障预测系统，包括：输入模块、CNN神经网络模块、LSTM神经网络模块、注意力机制模块和输出模块，输入模块，用于输入经过随机森林算法特征筛选后的数据集；

CNN神经网络模块，用于对输入数据的原始特征进行压缩，获得特征表示；

LSTM神经网络模块，用于对故障特征进行时序转化，将各个时间片段的特征整合为统一的时序故障特征

注意力机制模块，用于从大量信息中迅速地选择有价值的信息并重点关注这些重要信息，而对于不重要的信息则被忽略，并依据这些重要信息快速对目标进行分类。

优选地，CNN神经网络模块包括：2层卷积层、1层池化层、1层Dropout层和1层全连接层，和/或

LSTM神经网络模块包括2层LSTM层和1层Dropout层，和/或

注意力机制模块包括1层Flatten层、1层Attention层、1层Dropout层和1层全连接。

本发明的有益效果在于，与现有技术相比，在模型训练阶段，首先采用随机森林算法对原始特征数据集进行特征筛选，选出与风机故障关联度高的特征，这可以有效的提高模型的泛化能力；接着通过CNN和LSTM的联合训练，可以学习到不同时段数据间深层次的时序关系；最后，在模型中引入注意力机制，可以使得模型能有效的“关注”目标信息，快速找出有价值的信息。本发明所述的方法，不仅可以提高模型的准确率和泛化能力。

同时，CNN可以通过参数共享的形式，有效的减少了模型中参数的数量，从而提高了模型的训练速度，加快了模型的收敛；LSTM解决了梯度消失和梯度爆炸的问题，使得长时序的特征依赖也能得到有效解决。

附图说明

图1为本发明基于注意力机制的CNN-LSTM模型结构图。

图2为本发明随机森林算法特征筛选流程图。

图3为CNN-LSTM模型训练和测试流程图。

具体实施方式

下面结合附图对本申请作进一步描述。以下实施例仅用于更加清楚地说明本发明的技术方案，而不能以此来限制本申请的保护范围。

实施例1：一种基于注意力机制的CNN-LSTM风机故障预测方法

如图3所示，本发明的实施例1提供了一种基于注意力机制的CNN-LSTM风机故障预测方法，包括以下步骤：

步骤1，从SCADA(Supervisory Control And Data Acquisition，数据采集与监视控制系统)系统采集风机时序数据，包括：自身性能数据和外界环境数据，其中自身性能数据包括变桨角度，变桨速度，发电机电流，发电量等；外界环境数据包括风速，温度，湿度等。

可以理解的是，所属领域技术人员可以任意配置所选择的风机实时数据类型，一个优选但非限制性的实施方式为，在本发明的实施例中，为了预测风机的结冰故障，从SCADA系统采集的37万条数据集中选择了风速、发电机转速、网侧有功功率、对风角、风向角、偏航位置、偏航速度、叶片1角速度、叶片2角速度、叶片3角速度、叶片1速度、叶片2速度、叶片3速度、变桨电机1温度、变桨电机2温度、变桨电机3温度、水平方向加速度、垂直方向加速度、环境温度、机舱温度、变桨柜电源1温度、变桨柜电源2温度、变桨柜电源3温度、变桨柜电源1直流电流、变桨柜电源2直流电流和变桨柜电源3直流电流共26个特征，并根据8：2的比例采用随机的方式分配成训练集和对应的测试集，其中，29.6万条26维的训练集即为原始特征数据集，用于模型的训练；7.4万条26维的测试集，用于模型的可靠性验证。

步骤2，利用随机森林算法对风机时序数据进行特征关联度分析，得到与风机故障关联度高的特征数据集。可以理解的是，随机森林算法可以处理很高维的数据，通过采样随机、特征随机的方式建立决策树，这些决策树之间的相关性小，且各不相同，这可以有效的防止过拟合并对提高模型的准确性有很大的帮助，当随机森林算法训练完成后，可以得出各个特征的重要度排名，根据特征的重要度排名可以准确的选择与目标相关的特征，进而提高模型的训练速度和降低模型的计算复杂度。具体包括：

步骤2.1，从N维原始特征数据集上有放回的抽取M个样本数据，重复K次，即形成K个样本数据子集，每个样本数据子集中含有M个样本数据，每个样本由N个特征组成。

步骤2.2，分别从每个样本数据子集的N个特征中随机抽取X个特征，形成新的样本数据子集，即每个新的样本数据子集中含有M个样本数据，每个样本由X个特征组成。

步骤2.3，对于步骤2.2产生的每个样本数据子集建立相应的决策树。

步骤2.4，计算决策树中每个特征变量在建立决策树上的得分，针对不同的特征变量再分别取平均值，根据平均值降序排序，就可以得到特征重要度排名。

步骤2.5，在特征重要度排名的基础上，过滤掉设定比例的特征，即过滤掉平均分数低的一些特征，形成新的样本特征子集。可以理解的是，所述领域技术人员可以任意设定滤掉特征的比例，一个优选但非限制性的实施方式为，将滤掉特征的比例设置为每次输入随机森林算法特征数量的0.2。

步骤2.6，用新的样本特征子集再次构建决策树，并重复步骤2.4，和步骤2.5，直到剩下q个特征，q为提前设定的值。可以理解的是，所述领域技术人员可以任意设定剩余特征数量q的取值，一个优选但非限制性的实施方式为，将剩余特征数量q设置为输入随机森林算法原始特征数量的0.8。

步骤2.7，根据这q个特征在原始特征集进行特征选择，就可以得到与风机故障关联度高的特征数据集。

在本实施例中，形成的新特征数据集包括：偏航位置，环境温度，测网有功功率，叶片3角度，变桨电机1温度，变桨电机2温度，变桨电机3温度，叶片1角度，叶片2角度，风速，发电机转速和变桨柜电源2温度共12个特征。记新形成的特征数据集为D＝{(x_i，y_i)|i＝1，2，…，p}，其中p表示样本的数量，x_i表示输入的样本数据，x_i∈R^q，q表示特征的个数，y_i∈{0，1}表示第i个样本数据的标签。可以理解的是，针对不同的预测项目而在步骤1中若配置了不同的特征数据，则步骤2.7将可能产生不同于上述包含12个特征的，而是与预测项目相对应的特征数据集。

在本实施例中，所属领域技术人员可以任意设置步骤2.1中样本数据子集个数K和样本数据个数M的值，一个优选但非限制性的实施方式为，K建议设置的范围是(0，1000]，M建议设置的范围是(1000，1000000]。可以理解的是，随机森林算法进行特征筛选并不会改变样本的数量，只是在原始特征上筛选出与检测目标相关度高的特征，并在步骤2.7中获得上述筛选后的特征。

步骤3，输入模块将随机森林算法筛选得到的特征数据集输入到CNN神经网络模块，利用两层CNN神经网络对其进行深层次的特征提取。数据通过两层卷积层，卷积层会对数据的原始特征进行一步一步的压缩，得到深层次的特征；池化层对卷积层的输出进行最大池化处理，降低数据体的空间尺寸，减少模型中的参数数量；通过全连接层将学到的特征映射到样本标记空间，把前两层提取到的特征综合起来输出一个一维向量。具体包括：

步骤3.1，对于步骤2形成的样本数据集D＝{(x_i，y_i)|i＝1，2，…，p}，其中p表示样本的数量，x_i表示输入的样本数据，x_i∈R^q，q表示特征的个数，y_i∈{0，1}表示第i个样本数据的标签；将样本数据输入到卷积层，得到高层次的特征表示：J_i＝f(ω·x_i：i+g-1+b)，并最终得到特征矩阵J＝[J₁，J₂，…，J_n-g+1]；其中，ω表示卷积核，g表示卷积核的尺寸，i：i+g-1表示第i项特征到第i+g-1项特征，b表示偏置项。

值得注意的是，对于一条具体维度的数据，根据卷积核的尺寸，从第一维特征开始，选取卷积核尺寸大小的特征个数，将选取到的特征与对应的卷积核参数值进行内积运算就可以得到这些特征的提取结果，之后，按照类似滑动窗口的方式，每次移动1个单位，直到取到最后一维特征，就可以得到该条数据所有特征的卷积结果，通过卷积层中卷积核的参数共享机制可以有效减少模型中的参数数量，使得模型的计算量大大减少，加快的模型的训练。

步骤3.2，接着对特征数据J使用最大池化计算进行处理，来保留关键信息并减少模型参数，得到局部最优解：E＝max(J₁，J₂，…，J_n-g+1)＝max{J}。

值得注意的是，对于一条具体维度的数据，根据池化层的尺寸大小，从第一维特征开始，选取池化层尺寸大小的特征个数，将选取到的特征取最大值即为最大池化的结果，之后，按照类似滑动窗口的方式，每次移动1个单位，直到取到最后一维特征，就可以得到该条数据所有特征的最大池化结果，通过池化层可以降低数据的敏感度，同时也在保留数据信息的基础上降低了数据的计算复杂度。

步骤3.3，接着利用全连接层将E向量连接成向量H，得到最终的CNN输出H：H＝{E₁，E₂，…，E_n}。

对于一条具体维度的数据，发明人将该数据的所有特征值分别与全连接层各个神经元对应的参数进行内积操作就可以得到该条数据的全连接层的输出结果，通过全连接层可以把前两层提取到的局部特征进行整合，从而获得更高维度的特征表示。

步骤4，根据步骤3的输出结果，利用两层LSTM神经网络进一步学习多个连续时刻风机特征的变化趋势，来获得特征之间深层次的时序关系。数据通过LSTM的遗忘门，决定上一时刻记忆单元中需要丢弃或者保留的信息；数据通过LSTM的输入门，得到当前时刻的候选记忆单元，并根据上一时刻的记忆单元和当前时刻的候选记忆单元对记忆单元进行更新；数据通过LSTM的输出门，得到最终的输出。具体包括：

步骤4.1，数据首先通过遗忘门结构，通过如下公式计算得到遗忘门：

f_t＝σ(W_f·[h_t-1，x_t]+b_f)

式中：

f_t表示遗忘门，

σ表示Sigmoid激活函数，

h_t-1表示上个时刻隐藏状态，其初始状态值设置为0，非初始状态值为上一时刻的样本数据通过LSTM的输出结果；

xt表示当前时刻的输入，即为CNN的输出结果H中对应t时刻的样本数据。

步骤4.2，接下来数据通过输入门结构，通过如下公式分别计算得到输入门和候选记忆单元：

i_t＝σ(W_i·[h_t-1，x_t]+b_i)

式中：

i_t表示输入门，

tanh(·)表示双曲正切激活函数，

表示候选记忆单元。

步骤4.3，LSTM通过遗忘门和输入门对旧的记忆单进行更新，得到新的记忆单元：

式中：

C_t-1表示旧的记忆单元，

C_t表示更新后的记忆单元。

步骤4.4，数据通过输出门结构，通过如下公式计算得到输出门：

o_t＝σ(W_o·[h_t-1，x_t]+b_o)

式中：

o_t表示输出门。

步骤4.5，通过如下公式计算得到LSTM的最终输出：

h_t＝o_t*tanh(C_t)

式中：

h_t表示t时刻的输入样本对应的最终的输出。

在上式中，参数W_f，W_i，W_C，W_o表示权重矩阵，参数b_f，b_i，b_C，b_o为偏置向量。

可以理解的是，对于LSTM采用的是对于每一条输入样本对应一条输出结果，因此，在LSTM输出的数据集数量还是与原始数据集的样本数量一致。

步骤5，将步骤4的输出结果输入到注意力机制模块，即Attention层部分，以获取更多与故障相关的目标信息，最后通过全连接层输出结果。具体包括：

步骤5.1，数据进入注意力模块，通过注意力机制给风机故障特征分配不同的权重：

w_t＝tanh(h_t)

式中：

h_t表示输入数据，

w_t表示目标特征的权重。

步骤5.2，接着通过Softmax函数把注意力权重概率化：

式中：

p_t表示权重的概率向量。

步骤5.3，接着将注意力权重分配给对应的隐藏状态编码：

式中：

a_t表示h_t的加权平均。

步骤5.4，通过全连接层输出结果。

步骤6，将步骤5的输出结果通过输出模块得到预测结果，根据模型的输出结果与真实值的误差不断更新权重参数，判断当迭代次数达到迭代次数上限，则输出模型。具体包括：

输出层中含有一个Sigmoid函数，利用Sigmoid函数得到一个(0，1)之间的结果，并将阈值设为0.5，如果结果小于0.5表示负样本，输出0；如果结果大于0.5表示正样本，输出1。

对于模型的输出结果与真实值的误差值采用如下公式表示：

式中：

N表示样本个数，

y⁽ⁱ⁾表示真实的样本类别，

y^′(i)表示模型的预测样本类别。

为了得到效果好的预测模型，目标是最小化损失函数L，即使得预测结果更接近真实样本的标签；在训练过程中，训练实例会重复通过网络，同时会修正网络中各层的权值参数，使得L向减小的趋势发展，当达到最大的迭代次数，模型训练结束，输出训练好的模型。

步骤7，加载步骤6训练好的模型，接着将测试集的7.4万条经过随机森林算法后形成的含有偏航位置，环境温度，测网有功功率，叶片3角度，变桨电机1温度，变桨电机2温度，变桨电机3温度，叶片1角度，叶片2角度，风速，发电机转速和变桨柜电源2温度共12个特征的数据输入到模型中进行预测，得到风机的故障预测结果；并通过准确率(A)、精确率(P)、召回率(R)和F1值(F1)对模型进行评估，验证模型的可靠性。

其中，A，P，R和F1的具体解释如下：

准确率：指对于给定的数据集，模型正确分类的样本数与总样本数的比值，其计算公式如下：

精确率：表示的是模型预测为正的样本中有多少是真正的正样本，其计算公式如下：

召回率：表示的是数据集中的正例样本有多少被正确预测，其计算公式如下：

F1值：表示的是精确率和召回率的综合值。由于P和R是一对矛盾的度量，想同时提高二者很困难，所以使用F1值对其进行综合评价，其计算公式如下：

式中：

TP表示将正常状态的风机样本预测为正常状态的样本数，

FN表示将正常状态的风机样本预测为故障状态的样本数，

FP表示将故障状态的风机样本预测为正常状态的样本数，

TN表示将故障状态的风机样本预测为故障状态的样本数。

同时，在步骤1的CNN神经网络、步骤2的LSTM神经网络和步骤3的Attention部分都加入了Dropout层，用于防止模型的过拟合，Dropout层的值设置为0.5。

实施例2：基于注意力机制的CNN-LSTM风机故障预测系统

如图1所示，本发明的实施例2提供了一种基于注意力机制的CNN-LSTM风机故障预测系统，包括：输入模块、CNN神经网络模块、LSTM神经网络模块、注意力机制模块(Attention部分)和输出模块。

其中，输入模块，用于输入经过随机森林算法特征筛选后的数据集。

CNN神经网络模块，用于对输入数据的原始特征进行一步一步的压缩，最终获得高层次的特征表示。CNN神经网络模块包括：

第一部分：卷积层，由若干个卷积核组成，通过数据驱动学习得到每个卷积核权重，通过这些卷积核对输入数据的原始特征进行一步一步的压缩，最终得到深层次的特征。

第二部分：池化层，该层可以对卷积层的输出进行均值池化、最大池化、最小池化等操作，降低数据体的空间尺寸，能够减少网络中的参数数量，减少计算资源的耗费，同时也能够有效的控制过拟合。

第三部分：全连接层，将学到的特征映射到样本标记空间，可以把前两层提取到的特征综合起来输出一个一维向量，在整个网络中起到分类器的作用。

可以理解的是，所述领域技术人员可以根据需求任意构造CNN神经网络，一个优选但非限制性的实施方式为，CNN神经网络模块包括2层卷积层、1层池化层、1层Dropout层和1层全连接层。

LSTM神经网络模块，用于对故障特征进行时序转化，将各个时间片段的特征整合为统一的时序故障特征，可以理解的是，所述领域技术人员可以根据需求任意构造LSTM神经网络，一个优选但非限制性的实施方式为，LSTM神经网络模块包括2层LSTM层和1层Dropout层。

可以理解的是，LSTM神经网络是基于RNN神经网络改进而来的，它是一种递归神经网络，擅长处理具有时序关系的数据，同时，它也解决了RNN网络中一直存在的梯度消失和梯度爆炸的问题，LSTM中存在一个贯穿始终的记忆单元，可以解决长时序的依赖问题，一个记忆单元由输入门、遗忘门、输出门组成；其中，输入门、输出门对输入输出特征进行处理，遗忘门设置上文的连接度。门是由一个Sigmoid层和一个点乘操作组合在一块，Sigmoid层输出0到1之间的向量，该向量代表了信息需要保留或剔除的程度，0代表全部剔除，1代表全部保留。

注意力机制模块，即Attention部分，用于从大量信息中迅速地选择有价值的信息并重点关注这些重要信息，而对于不重要的信息则被忽略，并依据这些重要信息快速对目标进行分类。可以理解的是，所述领域技术人员可以根据需求任意构造包含Attention层的注意力机制模块，一个优选但非限制性的实施方式为，注意力机制模块包括1层Flatten层、1层Attention层、1层Dropout层和1层全连接。

可以理解的是，注意力机制可以从大量信息中迅速地选择有价值的信息并重点关注这些重要信息，而对于不重要的信息则被忽略，并依据这些重要信息快速对目标进行分类。注意力机制主要可以分为两类，第一类是聚焦式注意力，它的特点是有目的、主动聚焦于某一对象的注意力；另一类是显著式注意力，它的特点是被动注意，是一种自下而上的有意识的注意力，通常受外界驱动的注意力。

输出模块，输出层含有一个Sigmoid函数，将结果映射为一个(0,1)之间的数据，如果结果小于0.5表示的是负样本，输出0；如果结果大于0.5表示的是正样本，输出1。

本发明的有益效果在于，与现有技术相比，在模型训练阶段，首先采用随机森林算法对原始特征数据集进行特征筛选，选出与风机故障关联度高的特征，这可以有效的提高模型的泛化能力；接着通过CNN和LSTM的联合训练，可以学习到不同时段数据间深层次的时序关系；最后，在模型中引入注意力机制，可以使得模型能有效的“关注”目标信息，快速找出有价值的信息，提高模型的准确率和泛化能力。

本发明申请人结合说明书附图对本发明的实施示例做了详细的说明与描述，但是本领域技术人员应该理解，以上实施示例仅为本发明的优选实施方案，详尽的说明只是为了帮助读者更好地理解本发明精神，而并非对本发明保护范围的限制，相反，任何基于本发明的发明精神所作的任何改进或修饰都应当落在本发明的保护范围之内。

Claims (10)

1.一种基于注意力机制的CNN-LSTM风机故障预测方法，其特征在于，包括以下步骤：

步骤1，从SCADA系统采集原始风机时序数据，包括：性能数据和外界环境数据；

步骤2，利用随机森林算法对原始风机时序数据进行特征关联度分析，得到与风机故障关联度高的特征数据集；

步骤3，将随机森林算法筛选得到的特征数据集输入到CNN神经网络，利用两层CNN神经网络对特征数据集进行特征提取；

步骤4，根据步骤3的输出结果，利用两层LSTM神经网络进一步学习多个连续时刻风机特征的变化趋势，获得特征之间的时序关系；

步骤5，将步骤4的输出结果输入到注意力机制模块，用于获取更多与故障相关的目标信息，通过注意力机制模块的全连接层输出结果，

步骤6，将步骤5的输出结果通过输出模块得到预测结果，根据模型的输出结果与真实值的误差不断更新权重参数，判断当迭代次数达到上限，则输出模型；

步骤7，加载步骤6训练好的模型，接着将待预测的风机数据输入到模型中，得到风机故障的预测结果；

其中SCADA是指数据采集与监视控制系统。

2.根据权利要求1所述的基于注意力机制的CNN-LSTM风机故障预测方法，其特征在于：

步骤1中，采集的原始风机时序数据包括：风速、发电机转速、网侧有功功率、对风角、风向角、偏航位置、偏航速度、叶片1角速度、叶片2角速度、叶片3角速度、叶片1速度、叶片2速度、叶片3速度、变桨电机1温度、变桨电机2温度、变桨电机3温度、水平方向加速度、垂直方向加速度、环境温度、机舱温度、变桨柜电源1温度、变桨柜电源2温度、变桨柜电源3温度、变桨柜电源1直流电流、变桨柜电源2直流电流和变桨柜电源3直流电流。

3.根据权利要求1所述的基于注意力机制的CNN-LSTM风机故障预测方法，其特征在于：

步骤2包括：

步骤2.1，从N维原始特征数据集上有放回的抽取M个样本数据，重复K次，即形成K个样本数据子集，每个样本数据子集中含有M个样本数据，每个样本由N个特征组成；

步骤2.2，分别从每个样本数据子集的N个特征中随机抽取X个特征，形成新的样本数据子集，即每个新的样本数据子集中含有M个样本数据，每个样本由X个特征组成；

步骤2.3，对于步骤2.2产生的每个样本数据子集建立相应的决策树；

步骤2.4，计算决策树中每个特征变量在建立决策树上的得分，针对不同的特征变量再分别取平均值，根据平均值降序排序，得到特征重要度排名；

步骤2.5，在特征重要度排名的基础上，过滤掉设定比例的特征，即过滤掉平均分数低的一些特征，形成新的样本特征子集；

步骤2.6，用新的样本特征子集再次构建决策树，并重复步骤2.4，和步骤2.5，直到剩下设定的q个特征；

步骤2.7，根据这q个特征在原始特征集进行特征选择，得到与风机故障关联度高的特征数据集。

4.根据权利要求1至3中任一项所述的基于注意力机制的CNN-LSTM风机故障预测方法，其特征在于：

步骤2中，形成的特征数据集包括：偏航位置，环境温度，测网有功功率，叶片3角度，变桨电机1温度，变桨电机2温度，变桨电机3温度，叶片1角度，叶片2角度，风速，发电机转速和变桨柜电源2温度共12个特征。

5.根据权利要求1至3中任一项所述的基于注意力机制的CNN-LSTM风机故障预测方法，其特征在于：

步骤3包括：

步骤3.1，对于步骤2形成的样本数据集D＝{(x_i,y_i)|i＝1,2,…,p}，其中p表示样本的数量，x_i表示输入的样本数据，x_i∈R^q，q表示特征的个数，y_i∈{0,1}表示第i个样本数据的标签；将样本数据输入到卷积层，得到高层次的特征表示：J_i＝f(ω·x_i:i+g-1+b)，并最终得到特征矩阵J＝[J₁,J₂,…,J_n-g+1]；其中，ω表示卷积核，g表示卷积核的尺寸，i:i+g-1表示第i项特征到第i+g-1项特征，b表示偏置项；

步骤3.2，接着对特征数据J使用最大池化计算进行处理，来保留关键信息并减少模型参数，得到局部最优解：E＝max(J₁,J₂,…,J_n-g+1)＝max{J}；

步骤3.3，接着利用全连接层将E向量连接成向量H，得到最终的CNN输出H：H＝{E₁,E₂,…,E_n}。

6.根据权利要求5所述的基于注意力机制的CNN-LSTM风机故障预测方法，其特征在于：

步骤4包括：

步骤4.1，数据首先通过遗忘门结构，通过如下公式计算得到遗忘门：

f_t＝σ(W_f·[h_t-1,x_t]+b_f)

式中：

f_t表示遗忘门，

σ表示Sigmoid激活函数，

h_t-1表示上个时刻隐藏状态；

x_t表示当前时刻的输入，即为CNN的输出结果H中对应t时刻的样本数据；

步骤4.2，接下来数据通过输入门结构，通过如下公式分别计算得到输入门和候选记忆单元：

i_t＝σ(W_i·[h_t-1,x_t]+b_i)

式中：

i_t表示输入门，

tanh(·)表示双曲正切激活函数，

表示候选记忆单元。

步骤4.3，LSTM通过遗忘门和输入门对旧的记忆单进行更新，得到新的记忆单元：

式中：

C_t-1表示旧的记忆单元，

C_t表示更新后的记忆单元；

步骤4.4，数据通过输出门结构，通过如下公式计算得到输出门：

o_t＝σ(W_o·[h_t-1,x_t]+b_o)

式中：

o_t表示输出门。

步骤4.5，通过如下公式计算得到LSTM的最终输出：

h_t＝o_t*tanh(C_t)

式中：

h_t表示t时刻的输入样本对应的最终的输出。

在上式中，参数W_f,W_i,W_C,W_o表示权重矩阵，参数b_f,b_i,b_C,b_o为偏置向量。

7.根据权利要求6所述的基于注意力机制的CNN-LSTM风机故障预测方法，其特征在于：

步骤5包括：

步骤5.1，数据进入注意力模块，通过注意力机制给风机故障特征分配不同的权重：

w_t＝tanh(h_t)

式中：

h_t表示输入数据，

w_t表示目标特征的权重；

步骤5.2，接着通过Softmax函数把注意力权重概率化：

式中：

p_t表示权重的概率向量。

步骤5.3，接着将注意力权重分配给对应的隐藏状态编码：

式中：

a_t表示h_t的加权平均。

步骤5.4，通过全连接层输出结果。

8.根据权利要求7所述的基于注意力机制的CNN-LSTM风机故障预测方法，其特征在于：

步骤6中，对于模型的输出结果与真实值的误差值采用如下公式表示：

式中：

N表示样本个数，

y⁽ⁱ⁾表示真实的样本类别，

y′⁽ⁱ⁾表示模型的预测样本类别。

9.一种利用权利要求1至8中任一项所述基于注意力机制的CNN-LSTM风机故障预测方法的风机故障预测系统，包括：输入模块、CNN神经网络模块、LSTM神经网络模块、注意力机制模块和输出模块，其特征在于，

输入模块，用于输入经过随机森林算法特征筛选后的数据集；

CNN神经网络模块，用于对输入数据的原始特征进行压缩，获得特征表示；

LSTM神经网络模块，用于对故障特征进行时序转化，将各个时间片段的特征整合为统一的时序故障特征

注意力机制模块，用于从大量信息中迅速地选择有价值的信息并重点关注这些重要信息，而对于不重要的信息则被忽略，并依据这些重要信息快速对目标进行分类。

10.根据权利要求9所述的基于注意力机制的CNN-LSTM风机故障预测系统，其特征在于：

CNN神经网络模块包括：2层卷积层、1层池化层、1层Dropout层和1层全连接层，和/或

LSTM神经网络模块包括2层LSTM层和1层Dropout层，和/或

注意力机制模块包括1层Flatten层、1层Attention层、1层Dropout层和1层全连接。

Images