CN112910695A - 基于全局注意力时域卷积网络的网络故障预测方法 - Google Patents

Abstract

本发明公开了一种全局注意力时域卷积网络的网络故障预测方法，包括以下步骤：1、收集网络故障数据，将网络故障数量转化为时间序列的形式，对序列化之后的样本划分为训练集和测试集；2、构建全局注意力时域卷积网络模型；3、利用训练集对构建的网络模型进行训练；4、使用测试集进行预测测试，得到全局注意力时域卷积网络的预测模型，将预测模型得出的结果用于预测网络故障。本发明的解决了传统的网络故障以下问题：网络故障的复杂性导致了直接挖掘故障之间关系的片面性，网络故障的随机性导致忽视某些故障，以及对于不同程度的网络故障的一个判断，然后决定故障的检修顺序。

Description

基于全局注意力时域卷积网络的网络故障预测方法

技术领域

本发明属于网络故障预测领域，涉及一种基于全局注意力时域卷积网络的网络故障预测方法。

背景技术

宽带电信网络的覆盖面积逐渐扩大，网络的服务质量也随之提升，但是网络故障还是不断发生，网络故障是电信网络运营商们高度关注的问题。服务中断，网络噪声，网速缓慢，无法建立连接等问题都属于网络故障。但是由于服务复杂，平均服务时间较长和终端设备更多等问题，以及网络故障在时间维度上的随机性使得很大程度上加大了网络故障预测的难度。

如何实现快速有效的网络故障预测，在预测出其有发生网络故障的时刻发出预警。这样会在一定程度上减少资源浪费，减轻生态压力，降低经济损失。在学习历史，预测未来的行为上，深度学习的优势显而易见。传统的网络预警只是在一定阈值内去判断网络故障，而不能进行预测何时会出现网络故障。而深度学习能够去挖掘故障之间的潜在关系，构建神经网络模型能自主学习故障之间的关系，从而达到预测下一时间网络发生故障的时间。

网络故障的发生节点，可以看作是一个时间序列。描述时间序列的两个相关变量是平稳性和线性非线性。高水平的波动多半会引起非平稳性从而决定快带网络时间，而线性和非线性则会决定哪种模型会更有效地去预测时间序列结果。有结果表示对于电信网络中的网络故障大多数是非线性的。这里用神经网络去学习，在很大的可能性上是明确的选择。

发明内容

本发明的目的是提高网络故障预测的准确度，为了解决上述问题，提供一种全局注意力时域卷积网络的网络故障预测方法。

本发明为解决上述技术问题采用以下的技术方案：

一种基于全局注意力时域卷积网络的网络故障预测方法，包括以下步骤：

步骤1，将网络故障数据进行序列化并划分训练集和测试集；

步骤2，构建一个基于全局注意力时域卷积网络模型，包含时域卷积网络层，全局注意力层以及门控融合层；

步骤3，利用训练集对步骤2构建的基于全局注意力时域卷积网络模型进行训练；

步骤4，利用训练好的网络模型预测网络故障。

进一步的，步骤1的具体实现方式如下；

步骤(1.1)，对于网络故障的数据，根据其发生的时间节点参照时间序列化基准转化为样本序列；

步骤(1.2)，对于序列化的数据，将70％的网络故障数据作为训练集，30％的网络故障数据作为测试集。

进一步的，步骤2的具体实现方式如下；

步骤(2.1)，构建一个时域卷积网络层，时域卷积网络层包括因果卷积，扩张卷积，残差连接部分，时域卷积网络层的输入是向量集合：

x＝(x₁,x₂,x₃,...,x_t)

其中，x_t表示的是输入的故障时间序列；

因果卷积对输入的向量进行计算和特征提取，因果卷积具有很强的时间限制，在t时刻的故障预测，只能用t时刻之前的故障数据进行网络故障预测：

其中，p是对t时刻之前的故障数据进行特征提取，T表示的是特征提取数据的截至时间；

因果卷积对特征的提取取决于卷积核的大小，为能学习到更多的时间故障信息，引入扩张卷积，增大感受野的范围，并减小计算量：

f_{k_d}＝(d-1)×(f_k-1)+f_k

其中，f_{k_d}表示的是添加扩张卷积之后的卷积核大小，d表示的是在卷积核内部插入的空洞数，f_k表示的是插入前的卷积核大小；

为了避免在深度学习中出现梯度消失，使用ReLU函数作为激活函数：

经过因果卷积，扩张卷积，激活函数，Dropout层输出F(x)，为了提高模型的泛化能力，解决深层的网络结构引起的梯度爆炸问题，使用残差连接：

H＝x+F(x)

其中，x表示输入的向量集合，H表示经过残差块结构之后的输出结果；

步骤(2.2)，构建一个全局注意力层，用全局注意力机制来挖掘网络故障之间的复杂关系，在得到预测可能发生网络故障的时候，利用全局注意力机制从目标对象中选择信息，得到不同的部分对于网络故障的影响程度，计算公式如下：a＝h^TReLU(W_a[h_t]+b_a)，其中，a指的是全局注意力向量，W_a和b_a为全局注意力网络的权重矩阵和偏移向量，h_t表示的是输入特征，h^T是表示将隐藏层的输出表示为注意力权重向量的投影，将ReLU作为激活函数，通过softmax函数，将注意力向量进行归一化，得到a_t，a_t表示t时刻的网络故障的注意力权重：

a_t,i表示的是t时刻之前的第i个时刻的值，在经过全局注意力层之后，注意力分数和网络故障预测加权表示：

h_t＝∑H_t·a_t

步骤(2.3)，构建一个门控融合层，用于对网络故障影响的多种结果进行融合，得出最终对网络故障的预测结果：

g＝sigmoid(w₁u_i+w₂h_t+b)

out＝g*u_i+(1-g)*h_t

其中，g表示的是Gate门控融合，w₁，w₂分别表示的是两个权重，b表示的是偏置值，u_i表示的是故障时间向量。

进一步的，在门控融合层采用sigmoid函数作为激活函数。

本发明采用以上技术方案与现有技术性比，具有以下的有益效果：

1.通过时域卷积网络能够很好的提取网络故障在时间维度的特征，使得某时刻t之前的信息不会被遗漏，t时刻之后的信息不会被采用，确保了预测的有效性和准确性；

2.通过全局注意力网络，充分的考虑到网络故障中的所有故障序列，并对全局进行学习，理解不通故障之间的全局关系，从提高网络故障预测的准确率。

结合以上两点，本发明采用一种全局注意力时域卷积网络，进而提高网络故障预测的准确率，本发明方法的预测准确率为93％。

附图说明

图1是本发明一种基于全局注意力时域卷积网络的网络故障预测方法流程示意图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

如图1所示，一种基于全局注意力时域卷积网络的网络故障预测方法，包括如下步骤：

步骤(1)：将网络故障数据进行序列化并划分数据集；

步骤(2)：构建一个基于全局注意力时域卷积网络模型框架，包含了时域卷积网络层，全局注意力层以及门控融合层；

所述步骤(1)的详细步骤为：

步骤(1.1)：对于网络故障的数据，根据其发生的时间节点参照时间序列化基准转化为样本序列；

步骤(1.2)：对于序列化的数据，将70％的网络故障数据作为训练集，30％的网络故障数据作为测试集；

所述步骤(2)的详细步骤为：

步骤(2.1)：构建一个时域卷积网络层，时域卷积网络层包括因果卷积，扩张卷积，残差连接等部分。时域卷积网络层的输入是向量集合：

x＝(x₁,x₂,x₃,...,x_t)

其中，x_t表示的是输入的故障时间序列；

因果卷积对输入的向量进行计算和特征提取，因果卷积具有很强的时间限制，在t时刻的故障预测，只能用t时刻之前的故障数据进行网络故障预测：

其中，p是对t时刻之前的故障数据进行特征提取，T表示的是特征提取数据的截至时间。

因果卷积对特征的提取取决于卷积核的大小，为能学习到更多的时间故障信息，引入扩张卷积，增大感受野的范围，并减小计算量：

f_{k_d}＝(d-1)×(f_k-1)+f_k

其中，f_{k_d}表示的是添加扩张卷积之后的卷积核大小，d表示的是在卷积核内部插入的空洞数，f_k表示的是插入前的卷积核大小。

为了避免在深度学习中出现梯度消失，使用ReLU函数作为激活函数：

经过因果卷积，扩张卷积，激活函数，Dropout层等输出F(x)，为了提高模型的泛化能力，解决深层的网络结构引起的梯度爆炸等问题，会使用残差连接：

H＝x+F(x)

其中，x表示输入的向量集合，H表示经过残差块结构之后的输出结果。

步骤(2.2)：构建一个全局注意力层，用全局注意力机制来挖掘网络故障之间的复杂关系，在得到预测可能发生网络故障的时候，利用全局注意力机制从目标对象中选择信息，得到不同的部分对于网络故障的影响程度，计算公式如下：a＝h^TReLU(W_a[h_t]+b_a)，其中，a指的是全局注意力向量，W_a和b_a为全局注意力网络的权重矩阵和偏移向量，h_t表示的是输入特征，h^T是表示将隐藏层的输出表示为注意力权重向量的投影，将ReLU作为激活函数，通过softmax函数，将注意力向量进行归一化，得到a_t，a_t表示t时刻的网络故障的注意力权重：

a_t,i表示的是t时刻之前的第i个时刻的值，在经过全局注意力层之后，注意力分数和网络故障预测加权表示：

h_t＝∑H_t·a_t

步骤(2.3)：构建一个门控融合层，用于对网络故障影响的多种结果进行融合，得出最终对网络故障的预测结果：

g＝sigmoid(w₁u_i+w₂h_t+b)

out＝g*u_i+(1-g)*h_t

其中，g表示的是Gate门控融合，w₁，w₂分别表示的是两个权重，b表示的是偏置值，u_i表示的是故障时间向量。

在门控融合层采用sigmoid函数作为激活函数：

步骤(3)，利用训练集对步骤2构建的基于全局注意力时域卷积网络模型进行训练；

步骤(4)，利用训练好的网络模型预测网络故障，最终经测试得到本发明方法的预测预测准确率为93％。

本技术领域技术人员可以理解的是，除非另外定义，这里使用的所有术语(包括技术术语和科学术语)具有与本发明所属领域中的普通技术人员的一般理解相同的意义。还应该理解的是，诸如通用字典中定义的那些术语应该被理解为具有与现有技术的上下文中的意义一致的意义，并且除非像这里一样定义，不会用理想化或过于正式的含义来解释。

以上所述的具体实施方式，对本发明的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本发明的具体实施方式而已，并不用于限制本发明，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (4)

1.基于全局注意力时域卷积网络的网络故障预测方法，其特征在于，包括如下步骤：

步骤1，将网络故障数据进行序列化并划分训练集和测试集；

步骤2，构建一个基于全局注意力时域卷积网络模型，包含时域卷积网络层，全局注意力层以及门控融合层；

步骤3，利用训练集对步骤2构建的基于全局注意力时域卷积网络模型进行训练；

步骤4，利用训练好的网络模型预测网络故障。

2.根据权利要求1所述的基于全局注意力时域卷积网络的网络故障预测方法，其特征在于：步骤1的具体实现方式如下；

步骤(1.1)，对于网络故障的数据，根据其发生的时间节点参照时间序列化基准转化为样本序列；

步骤(1.2)，对于序列化的数据，将70％的网络故障数据作为训练集，30％的网络故障数据作为测试集。

3.根据权利要求1所述的基于全局注意力时域卷积网络的网络故障预测方法，其特征在于：步骤2的具体实现方式如下；

步骤(2.1)，构建一个时域卷积网络层，时域卷积网络层包括因果卷积，扩张卷积，残差连接部分，时域卷积网络层的输入是向量集合：

x＝(x₁,x₂,x₃,...,x_t)

其中，x_t表示的是输入的故障时间序列；

因果卷积对输入的向量进行计算和特征提取，因果卷积具有很强的时间限制，在t时刻的故障预测，只能用t时刻之前的故障数据进行网络故障预测：

其中，p是对t时刻之前的故障数据进行特征提取，T表示的是特征提取数据的截至时间；

因果卷积对特征的提取取决于卷积核的大小，为能学习到更多的时间故障信息，引入扩张卷积，增大感受野的范围，并减小计算量：

f_{k_d}＝(d-1)×(f_k-1)+f_k

其中，f_{k_d}表示的是添加扩张卷积之后的卷积核大小，d表示的是在卷积核内部插入的空洞数，f_k表示的是插入前的卷积核大小；

为了避免在深度学习中出现梯度消失，使用ReLU函数作为激活函数：

经过因果卷积，扩张卷积，激活函数，Dropout层输出F(x)，为了提高模型的泛化能力，解决深层的网络结构引起的梯度爆炸问题，使用残差连接：

H＝x+F(x)

其中，x表示输入的向量集合，H表示经过残差块结构之后的输出结果；

步骤(2.2)，构建一个全局注意力层，用全局注意力机制来挖掘网络故障之间的复杂关系，在得到预测可能发生网络故障的时候，利用全局注意力机制从目标对象中选择信息，得到不同的部分对于网络故障的影响程度，计算公式如下：a＝h^TReLU(W_a[h_t]+b_a)，其中，a指的是全局注意力向量，W_a和b_a为全局注意力网络的权重矩阵和偏移向量，h_t表示的是输入特征，h^T是表示将隐藏层的输出表示为注意力权重向量的投影，将ReLU作为激活函数，通过softmax函数，将注意力向量进行归一化，得到a_t，a_t表示t时刻的网络故障的注意力权重：

a_t,i表示的是t时刻之前的第i个时刻的值，在经过全局注意力层之后，注意力分数和网络故障预测加权表示：

h_t＝∑H_t·a_t

步骤(2.3)，构建一个门控融合层，用于对网络故障影响的多种结果进行融合，得出最终对网络故障的预测结果：

g＝sigmoid(w₁u_i+w₂h_t+b)

out＝g*u_i+(1-g)*h_t

其中，g表示的是Gate门控融合，w₁，w₂分别表示的是两个权重，b表示的是偏置值，u_i表示的是故障时间向量。

4.根据权利要求3所述的基于全局注意力时域卷积网络的网络故障预测方法，其特征在于：在门控融合层采用sigmoid函数作为激活函数。

Images