CN111080168A - 一种基于胶囊网络的电力通信网络设备可靠性评估方法 - Google Patents

Abstract

本发明公开了一种基于胶囊网络的电力通信网络设备可靠性评估方法，包括步骤：通过训练好的电力通信网络设备可靠性评估模型对设备进行可靠性评估；模型构建过程为：运维数据的文本信息通过词嵌入方法处理后得到输入词向量，对输入词向量以不同尺寸的卷积滤波器进行特征提取，提取到的特征通过串接的方式进行组合，在得到特征的每个位置上进一步使用卷积滤波器进行卷积滤波，构成胶囊特征向量；对每个胶囊特征向量，绑定一个激活值；对胶囊数量进行压缩后在通过基于核密度估计的胶囊路由方法得到新的胶囊特征向量和新的激活值；新的激活值用于回归预测；新的胶囊特征向量输入到解码器中重建输入特征。本发明能方便、准确评估电力通信网络设备可靠性。

Description

一种基于胶囊网络的电力通信网络设备可靠性评估方法

技术领域

本发明涉及设备可靠性评估以及机器学习领域，具体涉及一种基于胶囊网络的电力通信网络设备可靠性评估方法。

背景技术

现代电力通信网络的规模和复杂程度都在快速攀升。作为现代智能电网的重要基础设施，电力通信网络不仅提供了电网所需的各种保障服务，还对网络上的设备和传感器进行实时的监控并维护关键运行数据。因此，对于通信网络本身的设备进行可靠性评估和分析也具有越来越高的重要性。传统的电力通信网络运维通常意味着周期性的检修或者短期的故障告警恢复，而自动的可靠性评估及预测手段可以在这些机制的基础上进一步降低网络发生严重故障的风险。

学习能源通信网络设备的可靠性评估模型仍然是一项具有挑战性的问题，这是因为通常而言能够给此类设备的运行状态提供参考的数据通常来源复杂且结构各异。传统的传感器健康程度预测或者设备可靠性评估方法通常依靠针对问题特别设计的特征提取器以及分类器训练来实现。常见的分类器包括支持向量机以及决策树等等。此类基于手动设计的特征提取方案局限性在于，通常特征只能考虑局部单个节点信息而没有办法对整个网络进行综合考虑。对于分类器的训练不是端到端实现的，导致分类器最终的预测性能完全受限于前期的特征提取是否合理。这就要求比较强的领域先验知识来指导特征提取模块的实现。另一方面，由于可用数据来源复杂结构各异，大量的交互相关知识无法被充分挖掘。

发明内容

为解决现有技术中的不足，本发明提供了一种基于胶囊网络的电力通信网络设备可靠性评估方法，解决了目前预测方法依赖于人工预处理、特征提取，不能方便、准确评估电力通信网络设备可靠性的问题。

为了实现上述目标，本发明采用如下技术方案：一种基于胶囊网络的电力通信网络设备可靠性评估方法，包括步骤：

通过训练好的电力通信网络设备可靠性评估模型对设备进行可靠性评估；

所述电力通信网络设备可靠性评估模型基于胶囊网络构建，通过原始数据和生成性扰动数据训练得到。

进一步的，所述电力通信网络设备可靠性评估模型的输入为：运维数据的文本信息；输出为：未来某周期内设备可能发生故障的次数；

模型构建过程为：

运维数据的文本信息通过词嵌入方法处理后得到输入词向量，对输入词向量以不同尺寸的卷积滤波器进行特征提取，提取到的特征通过串接的方式进行组合，在得到特征的每个位置上进一步使用1×1卷积滤波器进行卷积滤波，构成胶囊特征向量；对每个胶囊特征向量，绑定一个激活值；对胶囊数量进行压缩后在通过基于核密度估计的胶囊路由方法得到新的胶囊特征向量和新的激活值；新的激活值用于回归预测；新的胶囊特征向量输入到解码器中重建输入特征。

进一步的，所述对胶囊数量进行压缩，压缩方式为：

其中，u表示胶囊结构，l和i分别表示胶囊压缩前后的索引，u_l表示压缩前的第l个胶囊结构，

表示压缩后的第i个胶囊结构，b_il表示压缩前的第l个胶囊与压缩后第i个胶囊之间的加权系数。

进一步的，所述解码器为一个一层全连接层和三层卷积层构成的小型神经网络。

进一步的，所述基于核密度估计的胶囊路由方法通过最大化聚类中心附近的密度估计加权和来实现，包括：

其中，给定输入胶囊u和准备路由的聚类中心v，两者之间的距离度量为d(u-v)；n_l表示路由方法输入的胶囊个数，i表示压缩后的胶囊索引，n_l+1表示路由方法输出的聚类中心个数，j为输出的聚类中心的索引z_k为归一化系数，k(·)为核函数，r_ij为第i个胶囊u_i和第j个聚类中心v_j间连接的权重，

为输入胶囊u_i对应的激活值，

为总的加权核密度估计值，通过求解

的最小值来求解最优的聚类中心v_j作为输出结果。

进一步的，所述通过求解

的最小值来求解最优的聚类中心v_j作为输出结果，方法包括：

1)给定输入的第i个胶囊u_i以及对应的输入激活值

初始化权值r_ij＝1/n_l+1；

2)迭代τ步，每步操作为：

对于任意的i,j，将权值r_ij归一化为r’_ij；

对于任意的j，求新的聚类中心赋值给v_j；

对于任意的i,j，求新的权值重新赋值给r_ij；

3)最终返回聚类中心v_j作为输出胶囊的特征向量，对于每个输出胶囊特征向量根据下式绑定输出胶囊激活值

其中，

为第j个输出胶囊的激活值，r′_ij为归一化的r_ij，D为胶囊特征向量的维度，d为维度序号，β_jd为第j个输出胶囊特征向量的第d维加权系数，u_id和v_jd分别为u_i和v_j的的第d维分量。

进一步的，通过原始数据和生成性扰动数据训练模型，过程包括：

1)第一阶段，通过原始数据训练模型，得到初始的电力通信网络设备可靠性评估模型；

2)第二阶段，在所得初始的模型基础上，将原始数据加上扰动噪声输入胶囊网络，从解码器端获得带扰动噪声的重建特征数据；

3)第三阶段，基于原始数据和第二阶段生成的带扰动噪声的重建特征数据，重新训练模型，得到训练好的电力通信网络设备可靠性评估模型。

本发明所达到的有益效果：本发明运维人员可以在专业知识缺乏的前提下，不需要人工预处理以及特征提取等手段从原始运行数据直接学习设备可靠性评估模型，提升模型的通用性和部署便利程度，并实现设备可靠性的精确评估；

本发明通过解码器重建输入特征以及少量文本信息，可以基于少量样本学习一个胶囊神经网络用于评估设备可靠性，该模型不仅仅可以用于分析异构数据实现设备可靠性的评估和预测。与传统的回归预测模型相比，本发明大幅降低了设备可靠性预测时对于运行数据的预处理要求，可以方便快捷的实现训练和部署。

附图说明

图1是以胶囊网络为核心的设备可靠性评估模型总体框架图；

图2是胶囊间的路由方法示意图；

图3是三阶段模型训练流程图。

具体实施方式

下面结合附图对本发明作进一步描述。以下实施例仅用于更加清楚地说明本发明的技术方案，而不能以此来限制本发明的保护范围。

实施例1：

一种基于胶囊网络的电力通信网络设备可靠性评估方法，包括步骤：

通过训练好的电力通信网络设备可靠性评估模型对设备进行可靠性评估；

所述电力通信网络设备可靠性评估模型基于胶囊网络构建，通过原始数据和生成性扰动数据训练得到。

进一步的，所述电力通信网络设备可靠性评估模型的输入为：运维数据的文本信息；输出为：未来某周期内设备可能发生故障的次数。

模型构建过程为：

运维数据的文本信息通过词嵌入方法处理后得到输入词向量，对输入词向量以不同尺寸的卷积滤波器进行特征提取，提取到的特征通过串接的方式进行组合，在得到特征的每个位置上进一步使用1×1卷积滤波器进行卷积滤波，构成胶囊特征向量；对每个胶囊特征向量，绑定一个激活值；对胶囊数量进行压缩后在通过基于核密度估计的胶囊路由方法得到新的胶囊特征向量和新的激活值；新的激活值用于回归预测；新的胶囊特征向量输入到解码器中重建输入特征。

进一步的，所述对胶囊数量进行压缩，压缩方式为：

其中，u表示胶囊结构，l和i分别表示胶囊压缩前后的索引，u_l表示压缩前的第l个胶囊结构，

表示压缩后的第i个胶囊结构，b_il表示压缩前的第l个胶囊与压缩后第i个胶囊之间的加权系数。

进一步的，所述解码器为一个一层全连接层和三层卷积层构成的小型神经网络。

进一步的，所述基于核密度估计的胶囊路由方法通过最大化聚类中心附近的密度估计加权和来实现，包括：

其中，给定输入胶囊u和准备路由的聚类中心v，两者之间的距离度量为d(u-v)；n_l表示路由方法输入的胶囊个数，i表示压缩后的胶囊索引，n_l+1表示路由方法输出的聚类中心个数，j为输出的聚类中心的索引z_k为归一化系数，k(·)为核函数，r_ij为第i个胶囊u_i和第j个聚类中心v_j间连接的权重，

为输入胶囊u_i对应的激活值，

为总的加权核密度估计值，通过求解

的最小值来求解最优的聚类中心v_j作为输出结果。

进一步的，所述通过求解

的最小值来求解最优的聚类中心v_j作为输出结果，方法包括：

1)给定输入的第i个胶囊u_i以及对应的输入激活值

初始化权值r_ij＝1/n_l+1；

2)迭代τ步，每步操作为：

对于任意的i,j，将权值r_ij归一化为r′_ij；

对于任意的j，求新的聚类中心赋值给v_j；

对于任意的i,j，求新的权值重新赋值给r_ij；

3)最终返回聚类中心v_j作为输出胶囊的特征向量，对于每个输出胶囊特征向量根据下式绑定输出胶囊激活值

其中，

为第j个输出胶囊的激活值，r′_ij为归一化的r_ij，D为胶囊特征向量的维度，d为维度序号，β_jd为第j个输出胶囊特征向量的第d维加权系数，u_id和v_jd分别为u_i和v_j的的第d维分量。

进一步的，通过原始数据和生成性扰动数据训练模型，过程包括：

1)第一阶段，通过原始数据训练模型，得到初始的电力通信网络设备可靠性评估模型；

2)第二阶段，在所得初始的模型基础上，将原始数据加上扰动噪声输入胶囊网络，从解码器端获得带扰动噪声的重建特征数据；

3)第三阶段，基于原始数据和第二阶段生成的带扰动噪声的重建特征数据，重新训练模型，得到训练好的电力通信网络设备可靠性评估模型。

实施例2：

一种基于胶囊网络的电力通信网络设备可靠性评估方法，包括步骤：

步骤1，构建以胶囊网络为核心的电力通信网络设备可靠性评估模型；

本发明所采用的胶囊网络模型总体框架如图1所示。该框架基于一般自然语言处理框架构建，并对设备可靠性评估问题进行了适配。模型以统一结构的文本信息作为网络输入，因此结构各异的电力网络长期运维数据可以直接作为原始文本以统一神经网络结构输入。输入信号(即神经网络结构输入)通过常见的词嵌入方法处理后可以得到同一维度的输入词向量。对输入词向量以不同尺寸的卷积滤波器(2，4，8维)进行特征提取。提取到的特征通过串接的方式进行组合，这一步主要用于对特征不同尺度上的相关信息进行提取(现有技术)。在得到特征的每个位置上进一步使用1×1卷积滤波器进行卷积滤波，构成胶囊结构的特征向量。对于每个胶囊特征向量，绑定一个激活值表示胶囊的归一化长度。该激活值由胶囊特征向量的长度通过一个softmax函数进行归一化得到。通过该方法后每一个特征位置上都可以得到一个对应的胶囊结构。

由于该方法产生的胶囊数量过多，超出了一般的计算量承受上限，需要以加权和的方式对胶囊数量进行压缩，具体压缩方式如下式：

其中，u表示胶囊结构，l和i分别表示胶囊压缩前后的索引，u_l表示压缩前的第l个胶囊结构，

表示压缩后的第i个胶囊结构，b_il表示压缩前的第l个胶囊与压缩后第i个胶囊之间的加权系数，可以在神经网络中以标准的反向传播方式学习。通过胶囊的加权和方式，其数量将被压缩到一个合理的范围内，且一些奇异的胶囊样本被自动过滤掉。而压缩后的胶囊则以动态路由的方式(即胶囊路由)得到新的胶囊结构，包括新的胶囊特征向量和新的激活值，新的激活值用于回归预测，即预测设备可靠性。另一方面，路由后的新的胶囊特征向量同时作为输入进入一个解码器。本发明中解码器为一个一层全连接层和三层卷积层构成的小型神经网络，作为总体神经网络模型的一部分，专门用于将当前输入产生的新的胶囊特征向量特征重构为由嵌入词向量构成的重建的输入特征。该解码器一方面以正则化的方式辅助模型训练，另一方面可产生额外的扰动数据辅助模型仅通过少量样本实现学习。最终由基本的神经网络搭配胶囊结构以及解码器构成了电力通信网络设备可靠性评估模型，输出当前设备的可靠性预测值，即在未来某周期内设备可能发生故障的次数。

步骤1中所提可靠性评估模型的核心环节是本发明中提出的基于核密度估计算法实现的如图2所示的胶囊路由方法。

胶囊路由具体实现如下：给定胶囊u和准备路由的聚类中心v，聚类中心对应胶囊特征向量，定义两者之间的距离度量d(u-v)。基于核密度估计的路由方法通过最大化聚类中心附近的密度估计加权和来实现，具体如下式：

其中，n_l表示路由方法输入的胶囊个数，i表示压缩后的胶囊索引，n_l+1表示路由方法输出的聚类中心个数(即输出胶囊的个数)，j为输出的聚类中心的索引即输出胶囊的索引，z_k为归一化系数，k(·)为核函数，r_ij为第i个胶囊u_i和第j个聚类中心v_j间连接的权重，

为输入胶囊u_i对应的激活值，

为总的加权核密度估计，通过求解

的最小值来求解最优的聚类中心v_j作为结果。

本发明采用轮流优化v_j和r_ij的方式求

的最小值。在第τ步迭代中，对于给定的权重

第τ₊₁步迭代中新的聚类中心

可根据下式求得：

k′(·)为对核函数求导，如果固定第τ步迭代中的第j个聚类中心

则第τ+1步迭代中的权重

则可基于标准的梯度下降法求得：

其中，α为梯度下降中的步长系数。

求解

的最小值的过程，包括步骤：

1)给定输入第i个胶囊u_i以及对应的输入激活值

初始化权值r_ij＝1/n_l+1

2)迭代τ步，每步操作为：

1.

含义为：对于任意的i,j，将权值r_ij归一化为r′_ij；

2.

含义为：对于任意的j，求新的聚类中心赋值给v_j；

3.

含义为：对于任意的i,j，求新的权值重新赋值给r_ij；

3)最终返回聚类中心v_j作为输出胶囊的特征向量。对于每个输出胶囊特征向量根据下式绑定输出胶囊激活值

其中，

为第j个输出胶囊的激活值，r′_ij为归一化的r_ij，D为胶囊特征向量的维度，d为维度序号。

为线性加权系数向量，

为D+1维空间，β_jd为第j个输出胶囊特征向量的第d维加权系数，u_id和v_jd分别为u_i和v_j的的第d维分量。

输出胶囊激活值

用于预测设备可靠性；输出胶囊特征向量用于输入到解码器中；

步骤2，基于原始数据和生成性扰动数据训练电力通信网络设备可靠性评估模型。

本发明提出使用一种如图3所示的三阶段训练方法，可以从少量样本逐步训练整个模型从而得到训练好的的评估模型。原始数据包括电力网络历史运维数据。

训练过程包括：

1)在第一阶段，仅从原始数据训练胶囊网络以及最后的解码器部分，得到训练好的胶囊网络以及最后的解码器部分，即得到初始的预测模型；

2)在第二阶段，在第一阶段所得初始的预测模型基础上，将原始数据加上微量扰动噪声输入胶囊网络，从解码器端获得带扰动噪声的重建特征数据。向步骤1中通过不同尺寸的卷积滤波器(2，4，8维)卷积后的特征注入微量扰动噪声；

3)在第三阶段，基于原始数据加上第二阶段生成的带扰动噪声的重建特征数据，重新训练评估模型，得到最终训练好的电力通信网络设备可靠性评估模型，使模型学习更加丰富的模式。带扰动噪声的重建特征数据输入1×1卷积滤波器；

步骤3，通过训练好的电力通信网络设备可靠性评估模型对设备进行可靠性评估。

输入数据为：电力网络当前运维数据。

输出数据为：设备的可靠性即在未来某个周期内可能发生故障的次数。

实际数据测试显示本发明所提的方法可以大幅降低学习胶囊网络所需的样本数量，所带来的性能降低非常有限。因此，本发明尤其适用于仅存在少量可学习样本的各种机器学习场景。而针对电力通信网络设备可靠性评估问题的实验显示，本发明所提方法大幅降低了数据预处理环节对于专业知识和人力干预的要求，所学习模型也可以精确的预测设备可靠性出现的各种波动。

本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明技术原理的前提下，还可以做出若干改进和变形，这些改进和变形也应视为本发明的保护范围。

Claims (7)

1.一种基于胶囊网络的电力通信网络设备可靠性评估方法，其特征在于：包括步骤：

通过训练好的电力通信网络设备可靠性评估模型对设备进行可靠性评估；

所述电力通信网络设备可靠性评估模型基于胶囊网络构建，通过原始数据和生成性扰动数据训练得到。

2.根据权利要求1所述的一种基于胶囊网络的电力通信网络设备可靠性评估方法，其特征是：所述电力通信网络设备可靠性评估模型的输入为：运维数据的文本信息；输出为：未来某周期内设备可能发生故障的次数；

模型构建过程为：

运维数据的文本信息通过词嵌入方法处理后得到输入词向量，对输入词向量以不同尺寸的卷积滤波器进行特征提取，提取到的特征通过串接的方式进行组合，在得到特征的每个位置上进一步使用1×1卷积滤波器进行卷积滤波，构成胶囊特征向量；对每个胶囊特征向量，绑定一个激活值；对胶囊数量进行压缩后在通过基于核密度估计的胶囊路由方法得到新的胶囊特征向量和新的激活值；新的激活值用于回归预测；新的胶囊特征向量输入到解码器中重建输入特征。

3.根据权利要求2所述的一种基于胶囊网络的电力通信网络设备可靠性评估方法，其特征是：所述对胶囊数量进行压缩，压缩方式为：

其中，u表示胶囊结构，l和i分别表示胶囊压缩前后的索引，u_l表示压缩前的第l个胶囊结构，

表示压缩后的第i个胶囊结构，b_il表示压缩前的第l个胶囊与压缩后第i个胶囊之间的加权系数。

4.根据权利要求2所述的一种基于胶囊网络的电力通信网络设备可靠性评估方法，其特征是：所述解码器为一个一层全连接层和三层卷积层构成的小型神经网络。

5.根据权利要求1所述的一种基于胶囊网络的电力通信网络设备可靠性评估方法，其特征是：所述基于核密度估计的胶囊路由方法通过最大化聚类中心附近的密度估计加权和来实现，包括：

其中，给定输入胶囊u和准备路由的聚类中心v，两者之间的距离度量为d(u-v)；n_l表示路由方法输入的胶囊个数，i表示压缩后的胶囊索引，n_l+1表示路由方法输出的聚类中心个数，j为输出的聚类中心的索引z_k为归一化系数，k(·)为核函数，r_ij为第i个胶囊u_i和第j个聚类中心v_j间连接的权重，

为输入胶囊u_i对应的激活值，

为总的加权核密度估计值，通过求解

的最小值来求解最优的聚类中心v_j作为输出结果。

6.根据权利要求5所述的一种基于胶囊网络的电力通信网络设备可靠性评估方法，其特征是：所述求解

的最小值来求解最优的聚类中心v_j作为输出结果，方法包括：

1)给定输入的第i个胶囊u_i以及对应的输入激活值

初始化权值r_ij＝1/n_l+1；

2)迭代τ步，每步操作为：

对于任意的i,j，将权值r_ij归一化为r′_ij；

对于任意的j，求新的聚类中心赋值给v_j；

对于任意的i,j，求新的权值重新赋值给r_ij；

3)最终返回聚类中心v_j作为输出胶囊的特征向量，对于每个输出胶囊特征向量根据下式绑定输出胶囊激活值

其中，

为第j个输出胶囊的激活值，r′_ij为归一化的r_ij，D为胶囊特征向量的维度，d为维度序号，β_jd为第j个输出胶囊特征向量的第d维加权系数，u_id和v_jd分别为u_i和v_j的的第d维分量。

7.根据权利要求1所述的一种基于胶囊网络的电力通信网络设备可靠性评估方法，其特征是：通过原始数据和生成性扰动数据训练模型，过程包括：

1)第一阶段，通过原始数据训练模型，得到初始的电力通信网络设备可靠性评估模型；

2)第二阶段，在所得初始的模型基础上，将原始数据加上扰动噪声输入胶囊网络，从解码器端获得带扰动噪声的重建特征数据；

3)第三阶段，基于原始数据和第二阶段生成的带扰动噪声的重建特征数据，重新训练模型，得到训练好的电力通信网络设备可靠性评估模型。

Images