CN107769972A - 一种基于改进的lstm的电力通信网设备故障预测方法 - Google Patents

Abstract

本发明涉及一种基于改进的LSTM的电力通信网设备故障预测方法。本发明首先提出了数据预处理和构建时序输入的方法。LSTM相比简单的循环神经网络，更易于学习长期的依赖，能够很好的解决序列相关的预测问题。因为设备告警之间存在很强的关联性，通过PCA能够确保变量之间的独立性。本发明还使用目标复制的策略对LSTM进行改进，在时序每一步中都可以带来局部的误差信息，相比简单的只在最后一步进行目标输出，该策略能够提升模型的精度，降低过拟合的风险。结合dropout，本发明提出LSTM的预测模型，深度学习能够取得更好的预测精度。同时，本发明首次使用了LSTM对电力通信网告警数据进行建模，识别其内部的时序模式。

Description

一种基于改进的LSTM的电力通信网设备故障预测方法

技术领域

本发明属于电力通信网设备故障预测的研究范畴，涉及到大数据在电力通信网中的应用，深度学习，循环神经网络，LSTM，故障预测，电力通信网设备数据分析等研究领域。本发明基于海量的设备告警日志和机房的动环数据，提出了基于改进的LSTM的电力通信网设备故障预测模型。

背景技术

大数据在电力通信网中的应用:电力通信网的数据主要来源于设备告警，设备运维，业务数据等各个环节，其数据具有数据量大，数据类型繁多，数据价值高等特征。基于海量的数据，对设备故障的预测，对于提高电力通信网系统的可靠性，减轻设备管理和维护的负担具有重要意义。基于电力通信网的大数据应用将促进电网通信运行水平和管理效率的提高，“在进一步提升电网安全预控水平和供电可靠性的同时，带来巨大的社会效益。”

设备故障预测：传统的故障预测技术主要使用数学预测的方法，比如模糊理论和灰度模型，模糊理论是以模糊集合(fuzzy set)为基础，其优越性主要体现在处理复杂系统的时变、时滞以及非线性方面。灰度预测建立在灰色理论基础上，是一个指数函数，灰度模型对故障的长期预测精度很差。还可以通过专家系统，利用专家的经验和知识建立系统进行预测，利用人工智能中的知识推理，解决一些专业的问题，比如数据库，推理机，知识库，但是专家系统需要大量的实践和积累，开发周期很长。Gang NIU等人关于常见的故障预测的方法做出了很好的总结，并提出了如何提高预测精度的建议，比如加深对故障机制的研究，增强对历史数据的收集，提高信息处理的手段，提高故障特征提取的技术等等。在国内外的研究中，关于网络故障的预测主要集中在网络告警的关联性分析，基于SVM、灰色模型、指数平滑、ARMA、神经网络等方法的预测技术等方面。

循环神经网络：大量的机器学习的任务都是处理时序相关的输入，比如视频分析，音乐检索，时序相关的预测等等。循环神经网络通过神经网络内部的节点的循环能够获取序列的动态性。不同于普通的前馈神经网络，RNN能够在很长的上下文窗口中记住代表信息的状态。在过去的几年中，大量的论文在翻译、图像相关等领域使用RNN取得了很大的成果。在实际的应用中门控RNN，包括LSTM，GRU是最有效的模型，其允许网络在较长的时间内积累信息，而且可以解决梯度爆炸和梯度消失的问题。Klaus Greff详细的总结了LSTM的基础架构和其相应的变体，以及LSTM在演讲识别，手写识别等方面的重大成功。他发现大部分LSTM的变体并没有很大的提升网络的性能，强调了忘记门和激活函数在LSTM中的重要作用。

Ke Zhang等人基于IT系统的日志，使用LSTM预测复杂IT系统的故障，结论发现LSTM在预测效果明显好于机器学习的方法，展示出了LSTM在此领域的潜在优势。LSTM也被用在硬盘的故障预测，Chang Xu等使用时序的属性，采用RNN的模型对硬盘的健康状况进行预测，取得了很大的成功。RNN近年来在医疗领域取得了很大的成功，Edward Choi基于电子健康病历的记录，使用GRU的模型取进行心脏疾病的预测，相比传统的机器学习方法性能上有很大的提高。

国内基于电力通信网设备日志的研究主要集中在故障定位和告警关联性分析两个方面，有大量的相关的论文。Jiang ZHONG等人使用某通信网络设备的告警数据采用随机森林、贝叶斯网络等传统的机器学习算法进行故障的预测，但是预测精度很差。目前电力通信网数据的相关研究基本采取的是传统的机器学习方法，本文创新式地采用深度学习的方法，利用深度学习的强大的能力，使用改进的LSTM，将很大程度上提高预测的精度。深度学习相关的方法将给电力通信网的问题提供新的更好的解法。

参考文献：

发明内容

电力通信网作为智能电网的支撑网络，其可靠性已成为智能电网智能化和经济、安全运行的先决条件。在电力通信网这种特殊的环境下，网络系统的可靠性显得尤为重要，特别是在一些关键业务的执行过程中，设备的故障会导致重要信息的丢失，甚至业务的失败。针对此环境下的设备故障的预测，能够大大的减少业务失败的风险，极大的提升设备维护和维修的水平。

电力通信网现已经积累了大量的数据，电力通信网的数据主要来源于设备告警，设备运维，业务数据，机房温度、湿度数据等各个方面，其数据具有数据量大，数据类型繁多，数据价值高等特征。本发明主要以网络设备的告警日志数据为基础，提出一种基于改进的LSTM电力通信网设备故障预测模型，相比其他传统的机器学习模型，

一种基于改进的LSTM的电力通信网设备故障预测方法，其特征在于，包括：

步骤1，对电力通信网设备的告警数据和机房动环数据进行预处理；

步骤2，构建基于时序的输入，时间窗口构成一个时间序列，对于一个单独的时间窗口t_i，包含如下的几类特征：

特征一、这个时间窗口内，设备所在机房的温度的平均值，湿度的平均值，分别记为T_i,H_i

特征二、对于某台设备，其告警的类型是固定的，表示为A₁,A₂,A₃...A_m.那么每种告警在该时间窗口内出现的次数为

特征三、对于每种在该时间窗口内发生的告警对应的持续时间(结束时间与开始时间之差)为

特征四、时间窗口的中心时间点距离设备上一次故障的时间长度W_i,如果设备正处于故障之中W_i为0；

特征五、三种告警级别提示、次要、重要、紧急在该时间窗口内分别发生的总次数L1_i,L2_i,L3_i,L4_i；

对于每种告警，比如A₁，选择前pre(本发明建议选择5)个窗口，计算在pre个窗口中A₁发生过的个数记为则概率

对于上述数值型的特征为了消除不同特征之间的量纲影响，需要对数据进行归一化处理；综上所述，将基于时序的输入表示为向量的方式,如下所示：

步骤3，构建预测模型，并采用该模型进行电力通信网设备故障预测，具体是：定义模型从下往上依次是输入层，PCA，LSTM隐藏层，dropout，输出层；基于改进的LSTM构建深度神经网络，来解决电力通信设备故障预测的问题，预测设备下一个时间窗口是否会发生故障是一个二分类的问题；给一个序列x₁,x₂...x_T，需要学习一个分类器能够生成真实结果y的预测值这里的y表示的是x_T之后的时间窗口是否会发生故障；采用没有peephole连接的LSTM记忆细胞来构造深度神经网络，在LSTM隐藏层的上层构建了一个全连接的输出层，使用sigmoid的激活函数输出最终的预测目标；并使用交叉熵作为损失函数；

采用了目标复制的策略构建LSTM的预测架构，在每一个步骤上都进行输出预测，从而在每一步中都可以带来局部的误差信息；基于该LSTM的预测架构，损失函数如下所示：

其中α∈[0,1]是一个超参数，表示在序列的中间步骤中其预测结果的相对重要性；

为了防止神经网络的过拟合在LSTM隐藏层和输出层之间使用dropout，并使用L2的权重衰减，基于这两种防止过拟合的方案，分类器能够取得更好的性能。

在上述的一种基于改进的LSTM的电力通信网设备故障预测方法，所述步骤1的预处理具体处理方法是：

步骤2.1、对非法的告警进行剔除，这些数据视其为脏数据，脏数据的输入会影响预测的结果，主要包含以下几种情况：告警的发生或者结束时间为非法时间，告警的结束时间早于告警的开始时间，告警类型的信息未定义等；

步骤2.2、定义阀值Threshold,如果告警的结束时间与开始时间之差，小于Threshold，将其过滤；Threshold可以通过绘制告警持续时间的曲线图，结合专家知识进行评估，在本发明中建议阀值设为20秒；

步骤2.3、机房的温度湿度数据一般是每隔五分钟采集一次，但是有些数据存在缺失值，对于缺失的数据使用离该时间点最近的温度、湿度数据进行代替。

在上述的一种基于改进的LSTM的电力通信网设备故障预测方法，还包括一个验证步骤，具体是：

步骤4：将数据分成多份进行交叉验证，从而选择出更好的超参数；如果训练的数据集较大，则可以采用小批量的随机梯度下降法进行模型的训练，可以节省计算资源，同时损失函数的下降会更加稳定；为了评价模型的好坏，采用Precision、Recall、AUC、F1等指标进行综合评价。

该模型有如下的优点:1.深度学习相比传统的机器学习方法，如支持向量机，贝叶斯网络、决策树等模型，在大数据量的问题中，具有更好的学习和泛华能力。传统的Logistic Regression等模型,为了使模型具有非线性的能力，需要采取离散化，特征组合等策略，需要大量的精力花费在特征工程上，非常依赖人力和领域的经验知识，不够智能。而深度学习能够对特征自动进行排列组合，只需要输入一阶特征，省去了手动构造高阶特征的工作量。考虑本文要解决的问题，在大规模通信网的故障预测中问题中，由于网络本身的复杂性，导致特征的提取具有很大的难度，所以传统的模型很难取得很好的预测效果。2.LSTM相比简单的循环神经网络，更易于学习长期的依赖，能够很好的解决序列相关的预测问题。通过多层的非线性转换，LSTM能够很好的适应复杂任务的建模。通过足够的样本数据的训练，该模型能挖掘出混乱数据中的大量的有价值的信息。在设备完全发生故障之前往往会表现出一些症状，可以视为故障的潜伏期，这些症状主要是通过设备发出的告警、日志表现出来，有些故障的潜伏期很长，有些故障潜伏期很短，所以在时序上存在长期依赖和短期依赖两种情况，而LSTM能够很好地应对两种依赖，从而取得很好的预测效果。在很多问题上，LSTM已经取得了很大的成功。3.本发明对LSTM进行了改进，首先体现在神经网络输入特征的处理，对构建的特征进行PCA的主成分分析，降低数据的维度，因为设备告警之间存在很强的关联性，如A告警发生的同时可能会导致B告警的发生，通过PCA主成分分析能够确保变量之间的独立性，同时可以达到去噪的效果。4.在本发明中，通过目标复制策略改进了LSTM，使该模型能够取得更好的性能，提高了模型的鲁棒性，降低了过拟合的风险。本发明提出了适合电力通信网设备故障预测的深度学习架构。

附图说明

图1为本发明划分的时间轴示意图。

图2为LSTM的细胞结构。

图3为只在最后一步输出目标的RNN结构。

图4为采用目标复制策略的RNN结构。

图5为本发明详细的深度学习预测架构。

图6为未使用dropout和使用dropout的网络结构。

具体实施方式

本发明提出的技术方案可以使用现在比较成熟的深度学习开源框架进行实现，比如TensorFlow、Torch、Caffe、Theano等等，这些框架已经被广泛的使用，并取得了极好的效果。以下附图和实例说明本发明的技术方案。

一、首先介绍下本发明的方法原理。

步骤1：电力通信网的本身已经积累了海量的数据，尤其是设备相关的日志告警数据，但是这些数据存在很大的噪音和冗余数据，分析告警数据的特点，对这些数据分布的研究有助于我们过滤掉一些非法和噪音数据。另外，采集设备所在机房的温度和湿度数据，对缺失值使用其最近邻的数据进行代替，动环数据是设备故障预测的重要特征来源。

步骤2：对数据预处理之后，需要利用上述的数据构建基于时间窗口的多元时间序列，对于一个时间窗口，需要统计各种不同告警类型发生的频率，持续时间，温度、湿度的平均值，设备距离上次故障的持续时间，四种告警级别提示、次要、重要、紧急在该时间窗口内分别发生的总次数，每种告警类型在之前时间窗口的发生情况等特征。因为告警本身具有很强的关联性，本文构造的这些特征需要进行PCA的主成分分析减少特征的相关性。另外，需要对各个数值型的特征进行归一化的处理。

步骤3：基于改进的LSTM构建深度神经网络，来解决电力通信设备故障预测的问题，是本发明的核心内容。预测设备下一个时间窗口是否会发生故障是一个二分类的问题。给一个序列x₁,x₂...x_T，需要学习一个分类器能够生成真实结果y的预测值这里的y表示的是x_T之后的时间窗口是否会发生故障。本发明使用没有peephole连接的LSTM记忆细胞来构造深度神经网络，我们在LSTM隐藏层的上层构建了一个全连接的输出层，使用sigmoid的激活函数输出最终的预测目标。因为本问题是二分类问题，我们使用交叉熵作为损失函数。

本发明采用了目标复制的策略构建LSTM的预测架构，在每一个步骤上都进行输出预测，从而在每一步中都可以带来局部的误差信息。目标复制的策略对电力通信网设备故障预测具有很大的意义，因为我们希望即使输入的序列被稍微的缩短了，依然能得到很精确的预测结果。相比简单的只在最后一步进行目标预测，在每个时序步骤都进行目标预测，能够提升模型的精度，降低过拟合的风险。基于该LSTM的预测架构，损失函数如下所示：

其中α∈[0,1]是一个超参数，表示在序列的中间步骤中其预测结果的相对重要性。

为了防止神经网络的过拟合，本发明在LSTM隐藏层和输出层之间使用dropout，并使用L2的权重衰减，基于这两种防止过拟合的方案，分类器能够取得更好的性能。

步骤4：将数据分成多份进行交叉验证，从而选择出更好的超参数。如果训练的数据集较大，则可以采用小批量的随机梯度下降法进行模型的训练，可以节省计算资源，同时损失函数的下降会更加稳定。为了评价模型的好坏，本发明采用Precision、Recall、AUC、F1等指标进行综合评价。

二、下面结合实施例对发明的方法原理进行具体阐述。

步骤1：对电力通信网设备的告警数据和机房动环数据进行预处理。

在设备的告警表中包含的信息有：告警类型(告警原因)，告警的级别，告警开始的时间，告警结束的时间，是否是根告警等，告警的级别一般分为提示，次要，重要，紧急四个级别。在提取特征之前，首先对非法的告警进行剔除，这些数据视其为脏数据，脏数据的输入会影响预测的结果，主要包含以下几种情况：告警的发生或者结束时间为非法时间，告警的结束时间早于告警的开始时间，告警类型的信息未定义等。

在对设备的告警数据分析中发现设备存在大量的频闪式告警，此类告警发生之后，持续很短的时间后设备会自动恢复并将告警清除，可以认为此类告警对设备的健康状态影响很小，如果将其作为输入会给模型带来很大的干扰，所以很有必要将此类频闪式的告警进行过滤，我们需要定义阀值Threshold,如果告警的结束时间与开始时间之差，小于Threshold，将其过滤。Threshold可以通过绘制告警持续时间的曲线图，结合专家知识进行评估，在本发明中建议阀值设为20秒。

告警分为一般告警、根告警和衍生告警三种类型，衍生告警是由根告警形成的，由于网络具有传播特性，当某台设备健康状态不好的时候，其他相连的设备也会发出某些告警。在构建基于时序的输入我们只考虑根告警，因为我们的目标是预测该设备是否会发生故障，衍生告警的存在可以视为噪音。

机房的温度湿度数据一般是每隔五分钟采集一次，但是有些数据存在缺失值，对于缺失的数据使用离该时间点最近的温度、湿度数据进行代替。

步骤2：构建基于时序的输入：

构建基于时序的输入，首先需要划分时间窗口，图1为本发明划分的时间轴。

如图1所示，时间窗口的大小为Δ，输入时间窗为的长度为n，分别表示为t₀,t₁,t₂...t_n-1，t_n表示需要预测的时间窗口。上述的时间窗口构成一个时间序列，对于一个单独的时间窗口t_i，包含如下的几类特征：

1.这个时间窗口内，设备所在机房的温度的平均值，湿度的平均值，分别记为T_i,H_i。

2.对于某台设备，其告警的类型是固定的，表示为A₁,A₂,A₃...A_m.那么每种告警在该时间窗口内出现的次数为

3.对于每种在该时间窗口内发生的告警对应的持续时间(结束时间与开始时间之差)为

4.时间窗口的中心时间点距离设备上一次故障的时间长度W_i,如果设备正处于故障之中W_i为0，为什么要加入该特征，因为本发明将日志数据采用两个参数的威布尔分布进行建模，采用极大似然的方法进行参数估计，发现数据能够很好的拟合该模型。威布尔分布是可靠性分析中的最常见的分布之一，广泛用于电子产品的可靠性分析中。两个参数的威布尔分布的累积失效概率函数如下所示：

其中，β为形状参数，η为尺度参数,t表示设备距上次故障修复之后已经正常工作的时长。因此本发明将W_i作为特征进行输入，将可以很大程度的提升模型预测的精度。

5.三种告警级别提示、次要、重要、紧急在该时间窗口内分别发生的总次数L1_i,L2_i,L3_i,L4_i。

6.对于每种告警，比如A₁，选择前pre(本发明建议选择5)个窗口，计算在pre个窗口中A₁发生过的个数记为则概率

对于上述数值型的特征为了消除不同特征之间的量纲影响，需要对数据进行归一化处理。综上所述，将基于时序的输入表示为向量的方式,如下所示：

步骤3：构建预测模型

基于上述构建的多元的时间序列，该预测模型是一个二值分类的模型，0表示没有发生故障，1表示发生故障。给一个序列x₁,x₂...x_T，需要学习一个分类器能够生成真实结果y的预测值这里的y表示的是x_T之后的时间窗口是否会发生故障，t表示的是序列的序号，T表示的是序列的长度。本发明使用典型的LSTM架构，为了描述LSTM的记忆单元，先列出如下公式：

i_t＝σ(W_ixx_t+W_ihh_t-1+b_i)

f_t＝σ(W_fxx_t+W_fhh_t-1+b_f)

c_t＝f_t*c_t-1+i_t*φ(W_cxx_t+W_chh_t-1+b_c)

o_t＝σ(W_oxx_t+W_ohh_t-1+b_o)

h_t＝o_t*φ(c_t)

其中，i，f，o，c分别代表了输入门，忘记门，输出门，细胞状态。在这些等式中，σ表示sigmoid(logistic)函数，而φ代表了tanh函数。上面等式中的x_t表示神经元的输入，如果具有多层的LSTM神经元，x_t可以写成(l表示当前层)，表示上一层在同一个步骤(同一个t)的神经元输出。具体的LSTM有很多变体，本发明使用的是没有peephole连接的记忆细胞，其详细的组成如图2所示。

对于本发明的要解决的问题(基于时序的二分类问题)，可以有很多方式去构建RNN的结构，首先是最简单的结构是沿着输入顺序，只在最后一步进行预测和输出目标。在这样的方式中，我们只能在最后一步得到表示下个时刻会不会发生故障，这样的RNN结构如图3所示，其中target代表了预测目标。

因为只有在最后一步会输出目标，我们采用交叉熵的损失函数，如下所示：

对于上述的简单结构，存在一个问题就是网络必须学会将信息传递很长的步骤从而才能影响最终的输出。对于这个问题，本发明采用一种更加合理的RNN结构，使用目标复制的策略，在每一个步骤上都进行输出预测，从而在每一步中都可以带来局部的误差信息。目标复制的策略对电力通信网设备故障预测具有很大的意义，因为我们希望即使输入的序列被稍微的缩短了，依然能得到很精确的预测结果，同样因为损失函数的变化，能够降低过拟合的风险。对于所有的t，使用相同的输出权重计算通过使用预测目标复制的策略，模型会在每个序列步骤中产生预测输出，表示为最终损失函数就可以表示为在所有输入序列上的凸优化组合，如下所示：

其中T表示整个输入序列的长度，α∈[0,1]是一个超参数，表示在序列的中间步骤中其预测结果的相对重要性。在真正的预测阶段，只需要最后步骤的输出。使用预测目标复制策略之后的RNN结构如图4所示。

基于以上对LSTM记忆细胞和RNN结构的描述和分析，本发明详细的深度学习预测架构如图5所示，整个模型可以表达为：

S(T)＝F(x₁,x₂,x₃...x_T)

如上图所示，整个模型从下往上依次是输入层，PCA，LSTM隐藏层，dropout，输出层。根据上面的描述，PCA是为了对输入层进行降维处理，减少特征之间的相关性，使模型有更好的精度。

在我们的模型中，h_t ^L表示LSTM层在t步骤的输出，LSTM层的输出是一个(细胞状态,隐藏状态)的元组，LSTM隐藏层数在本发明中建议使用两层，两层相比一层能够表达更复杂的模型，取得更好的预测精度。基于上述构建的输入特征的维度，建议LSTM隐藏层的单元数为128或者256，这些参数都是超参数，具体那种能取得更好的性能，需要采取交叉验证的方式来决定，建议的参数值是根据深度学习模型设计的经验推荐的。

为了防止模型的过拟合，本模型在LSTM的输出层之后，采用了dropout的技术。模型的过拟合会导致模型在训练集上有较好的效果，但是在测试集上效果很差，这是因为当过拟合发生的时候，模型会过分拟合训练集上的数据，所以会导致模型的泛化能力比较差。之前很多人已经充分证明了dropout能很有效的解决神经网络的过拟合问题。通过引入dropout，一部分随机选定的神经网络节点和其相连的边会暂时的关闭，图6的左边，右边分别展示了未使用dropout和使用dropout的网络结构。除了dropout防止过拟合之外，本发明将采取L 2的权重衰减，同样能带来很好的效果。基于dropout和L 2正则化，本模型在训练阶段可以增多隐藏单元的数量，从而使模型能够取得更好的预测精度。

在LSTM隐藏层之上，需要全连接的输出层，通过输出层首先会将LSTM层的输出乘一个矩阵，然后加上一个偏差，因为LSTM层的输出包含了做预测的特征信息，但是并不是我们需要的预测目标，输出层是为了学习特征信息与最终预测目标之间的函数，具体的过程可以表达为下述的公式：

h_t ^D＝W_ph_t ^L+b，其中W_p表示LSTM层和输出层的权重矩阵，b表示偏差，h_t ^D表示加权后的输出。因为电力通信网设备的故障预测是一个二分类的问题，所以最终的激活函数为sigmoid函数，最终的输出表示了设备在T的下一个时间窗口T+1会发生故障的概率。如果S(T)＜＝0.5，该设备在下个时刻不会发生故障，如果S(T)＞0.5，则在下个窗口会发生故障。

S(T)＝sigmoid(h_t ^D)

步骤4：评价模型的性能

为了评价模型的好坏，以及一些超参数(比如时间窗口的大小，隐藏层单元数目等)的设置是否合理，需要提取适合本发明需要解决问题的性能指标，然后采用交叉验证的方法进行对比。本模型需要考虑的性能指标分为Precision、Recall、AUC、F1。故障预测问题召回率是很重要的指标，因为我们希望模型能尽可能的把故障提前预测出来，从而采取一定的维修措施。AUC的值为ROC曲线下面的面积，表达了模型区分能力的好坏。

综合以上步骤，本模型的训练过程可以描述为以下的算法：

本文中所描述的具体实施案例仅仅是对本发明精神做举例说明，本发明提出的技术方案不仅仅可以应用于电力通信网的设备故障预测，也可以迁移到其他领域的设备故障预测。本发明所属技术领域的技术人员可以对所描述的具体实施步骤进行各种各样的修改或者补充或者使用类似的方式进行替代，但并不会偏离本发明的精神或者超越所附权利要求书所定义的范围。

Claims (3)

1.一种基于改进的LSTM的电力通信网设备故障预测方法，其特征在于，包括：

步骤1，对电力通信网设备的告警数据和机房动环数据进行预处理；

步骤2，构建基于时序的输入，时间窗口构成一个时间序列，对于一个单独的时间窗口t_i，包含如下的几类特征：

特征一、这个时间窗口内，设备所在机房的温度的平均值，湿度的平均值，分别记为T_i,H_i

特征二、对于某台设备，其告警的类型是固定的，表示为A₁,A₂,A₃...A_m.那么每种告警在该时间窗口内出现的次数为

特征三、对于每种在该时间窗口内发生的告警对应的持续时间为

特征四、时间窗口的中心时间点距离设备上一次故障的时间长度W_i,如果设备正处于故障之中W_i为0；

特征五、三种告警级别提示、次要、重要、紧急在该时间窗口内分别发生的总次数L1_i,L2_i,L3_i,L4_i；

对于每种告警，比如A₁，选择前pre个窗口，计算在pre个窗口中A₁发生过的个数记为Count_A1i，则概率

对于上述数值型的特征为了消除不同特征之间的量纲影响，需要对数据进行归一化处理；综上所述，将基于时序的输入表示为向量的方式,如下所示：

<mrow> <msub> <mi>x</mi> <mi>i</mi> </msub> <mo>=</mo> <mo>&amp;lsqb;</mo> <mi>L</mi> <msub> <mn>1</mn> <mi>i</mi> </msub> <mo>,</mo> <mi>L</mi> <msub> <mn>2</mn> <mi>i</mi> </msub> <mo>,</mo> <mi>L</mi> <msub> <mn>3</mn> <mi>i</mi> </msub> <mo>,</mo> <mi>L</mi> <msub> <mn>4</mn> <mi>i</mi> </msub> <mo>,</mo> <msub> <mi>C</mi> <mrow> <mi>A</mi> <msup> <mn>1</mn> <mi>i</mi> </msup> </mrow> </msub> <mo>,</mo> <msub> <mi>C</mi> <mrow> <mi>A</mi> <msup> <mn>2</mn> <mi>i</mi> </msup> </mrow> </msub> <mn>...</mn> <msub> <mi>C</mi> <mrow> <msup> <mi>Am</mi> <mi>i</mi> </msup> </mrow> </msub> <mo>,</mo> <msub> <mi>L</mi> <mrow> <mi>A</mi> <msup> <mn>1</mn> <mi>i</mi> </msup> </mrow> </msub> <mo>,</mo> <msub> <mi>L</mi> <mrow> <mi>A</mi> <msup> <mn>2</mn> <mi>i</mi> </msup> </mrow> </msub> <mn>...</mn> <msub> <mi>L</mi> <mrow> <msup> <mi>Am</mi> <mi>i</mi> </msup> </mrow> </msub> <mo>,</mo> <msub> <mi>W</mi> <mi>i</mi> </msub> <mo>,</mo> <msub> <mi>P</mi> <mrow> <mi>A</mi> <msup> <mn>1</mn> <mi>i</mi> </msup> </mrow> </msub> <mo>,</mo> <msub> <mi>P</mi> <mrow> <mi>A</mi> <msup> <mn>2</mn> <mi>i</mi> </msup> </mrow> </msub> <mn>...</mn> <msub> <mi>P</mi> <mrow> <msup> <mi>Am</mi> <mi>i</mi> </msup> </mrow> </msub> <mo>,</mo> <msub> <mi>T</mi> <mn>0</mn> </msub> <mo>,</mo> <msub> <mi>H</mi> <mn>0</mn> </msub> <mo>&amp;rsqb;</mo> </mrow>

步骤3，构建预测模型，并采用该模型进行电力通信网设备故障预测，具体是：定义模型从下往上依次是输入层，PCA，LSTM隐藏层，dropout，输出层；基于改进的LSTM构建深度神经网络，来解决电力通信设备故障预测的问题，预测设备下一个时间窗口是否会发生故障是一个二分类的问题；给一个序列x₁,x₂...x_T，需要学习一个分类器能够生成真实结果y的预测值这里的y表示的是x_T之后的时间窗口是否会发生故障；采用没有peephole连接的LSTM记忆细胞来构造深度神经网络，在LSTM隐藏层的上层构建了一个全连接的输出层，使用sigmoid的激活函数输出最终的预测目标；并使用交叉熵作为损失函数；

采用了目标复制的策略构建LSTM的预测架构，在每一个步骤上都进行输出预测，从而在每一步中都可以带来局部的误差信息；基于该LSTM的预测架构，损失函数如下所示：

<mrow> <mi>l</mi> <mi>o</mi> <mi>s</mi> <mi>s</mi> <mo>=</mo> <mrow> <mo>(</mo> <mn>1</mn> <mo>-</mo> <mi>&amp;alpha;</mi> <mo>)</mo> </mrow> <mi>l</mi> <mi>o</mi> <mi>s</mi> <mi>s</mi> <mrow> <mo>(</mo> <msup> <mi>y</mi> <mi>T</mi> </msup> <mo>,</mo> <msup> <mover> <mi>y</mi> <mo>^</mo> </mover> <mi>T</mi> </msup> <mo>)</mo> </mrow> <mo>+</mo> <mi>&amp;alpha;</mi> <mo>&amp;CenterDot;</mo> <mfrac> <mn>1</mn> <mi>T</mi> </mfrac> <munderover> <mo>&amp;Sigma;</mo> <mrow> <mi>t</mi> <mo>=</mo> <mn>1</mn> </mrow> <mi>T</mi> </munderover> <mi>l</mi> <mi>o</mi> <mi>s</mi> <mi>s</mi> <mrow> <mo>(</mo> <msup> <mi>y</mi> <mi>t</mi> </msup> <mo>,</mo> <msup> <mover> <mi>y</mi> <mo>^</mo> </mover> <mi>t</mi> </msup> <mo>)</mo> </mrow> </mrow>

其中是一个超参数，表示在序列的中间步骤中其预测结果的相对重要性；

为了防止神经网络的过拟合在LSTM隐藏层和输出层之间使用dropout，并使用L2的权重衰减，基于这两种防止过拟合的方案，分类器能够取得更好的性能。

2.根据权利要求1所述的一种基于改进的LSTM的电力通信网设备故障预测方法，其特征在于，所述步骤1的预处理具体处理方法是：

步骤2.1、对非法的告警进行剔除，这些数据视其为脏数据，脏数据的输入会影响预测的结果，主要包含以下几种情况：告警的发生或者结束时间为非法时间，告警的结束时间早于告警的开始时间，告警类型的信息未定义等；

步骤2.2、定义阀值Threshold,如果告警的结束时间与开始时间之差，小于Threshold，将其过滤；Threshold可以通过绘制告警持续时间的曲线图，结合专家知识进行评估；

步骤2.3、机房的温度湿度数据一般是每隔五分钟采集一次，但是有些数据存在缺失值，对于缺失的数据使用离该时间点最近的温度、湿度数据进行代替。

3.根据权利要求1所述的一种基于改进的LSTM的电力通信网设备故障预测方法，其特征在于，还包括一个验证步骤，具体是：

步骤4：将数据分成多份进行交叉验证，从而选择出更好的超参数；如果训练的数据集较大，则可以采用小批量的随机梯度下降法进行模型的训练，可以节省计算资源，同时损失函数的下降会更加稳定；为了评价模型的好坏，采用Precision、Recall、AUC、F1等指标进行综合评价。