CN104881436A - 一种基于大数据的电力通信设备性能分析方法及装置 - Google Patents

Abstract

本发明公开了一种基于大数据的电力通信设备性能分析方法，包括：获取电力通信设备的设备性能数据并进行预处理；对预处理后的设备性能数据进行分组，得到设备性能分组数据；根据电力通信设备的设备性能数据时间分布特征建立分类特征库；比对设备性能分组数据和分类特征库中的设备性能数据，得到所述电力通信设备的设备性能状态。与现有技术相比，本发明的技术方案分析效率高，且有有效的数据支撑。

Description

一种基于大数据的电力通信设备性能分析方法及装置

技术领域

本发明涉及电力通信技术领域，尤其涉及一种基于大数据的电力通信设备性能分析方法及装置。

背景技术

现有技术中，电力通信网具有多制式、结构复杂、设备数量众多、性能运行数据多元化的特点，由于电力系统间需要进行协作，因此电力通信网也将承载越来越多的电网控制、自动化等业务。因此需要对大数据环境下的电力通信网进行运行态势分析，以发现电力通信网运行时的故障隐患。

电力通信网中的设备性能数据是评估网络运行状态的重要基础。在传统的电力通信网络中，通过对特定设备性能数据设置一定门限，比较性能值与门限值来判定网络设备或者链路的运行情况。首先，上述方法不能判断是否为虚假性能告警；其次，上述方案也不能动态预警，而且性能分析的对象也仅通过经验模式获取，缺乏足够的数据支撑，所得到的结论不能应用于分析电力通信网的运行安全可靠性。

现有技术中，首先是通过设备或者网管的采集来对电力通信网的设备性能数据进行存储，之后采用基于SQL数据库技术等传统方法对数据筛选分析。在上述过程中，由于电力通信网络设备性能数据的规模较大，传统方法效率较低，不能充分挖掘电力通信网的性能特征。并且整个分析过程没有参考有效的规则库，不能对网络运行维护决策提供有效的数据支撑。

发明内容

针对现有技术中的缺陷，本发明提供一种基于大数据的电力通信设备性能分析方法及装置，用于在大数据场景中充分挖掘电力通信设备的性能特征，提高数据分析效率；并建立有效的特征库为电力通信网络运行维护提供数据支撑。

第一方面，本发明提供了一种基于大数据的电力通信设备性能分析方法，包括：

获取电力通信设备的设备性能数据并进行预处理；

对预处理后的设备性能数据进行分组，得到设备性能分组数据；

根据电力通信设备的设备性能数据时间分布建立分类特征库；

比对设备性能分组数据和分类特征库中的设备性能数据，得到所述电力通信设备的设备性能状态。

可选地，对所述设备性能数据进行预处理的步骤，具体包括：

删除设备性能数据中的缺失值数据，填充异常值数据。

可选地，所述对所述预处理后的设备性能数据进行分组的过程，具体包括：

利用预处理后的设备性能数据构造设备性能特征向量；

根据设备标识号对设备性能特征向量进行分组。

可选地，采用数据库或者哈希算法对设备性能特征向量进行分组。

可选地，对数据库信息分配不同的权重，对设备性能数据进行迁移，优先存储在权重较高的数据库中。

可选地，所述分类特征库中包括平稳分类信息函数、渐变分类信息函数和突变分类信息函数。

可选地，所述平稳分类信息函数的方差计算式为：

${\mathrm{\σ}}_z^2=E\left[{(z_t-\mathrm{\μ})}^2\right]={\∫}_{-\∞}^{\∞}{(z-\mathrm{\μ})}^{2}p\left(z\right)\mathrm{dz}$

其中，σ_Z为方差，E[]为期望，Zt为t时刻性的能观测值Z，μ为均值，P(z)是任意时刻t能观测值的概率分布。

可选地，所述渐变分类信息函数的方差计算式为：

${\mathrm{\σ}}_z^2=k^2$

其中，σ_Z为方差，k是常数。

可选地，所述突变分类信息函数的序列偏差为：

${\tilde{z}}_t={\mathrm{\φ}}_1{\tilde{z}}_{t-1}+{\mathrm{\φ}}_2{\tilde{z}}_{t-2}+\·\·\·+{\mathrm{\φ}}_p{\tilde{z}}_{t-p}+a_t$

其中，为关于μ的序列偏差，μ为Z_t的平均值，φ_i为多项式参数。

第二方面，本发明还提供了一种基于大数据的电力通信设备性能分析装置，包括：

数据获取模块，用于获取每个时间窗口内电力通信设备的设备性能数据并进行预处理；

数据分组模块，用于对预处理后的设备性能数据进行分组；

数据处理模块，用于处理分组后的设备性能数据得到设备性能特征向量；

特征匹配模块，用于在分类特征库中匹配所述设备性能特征向量得到设备的运行状态。

由上述技术方案可知，本发明通过对电力通信设备的性能数据进行预处理，构造设备性能特征向量后进行分组，然后分布不同的工作节点中。通过建立分类特征库，在分类特征库中分类匹配设备性能数据的特征，得到所述电力通信设备的性能趋势分类，为电力通信网的运行维护提供依据。与现有技术相比，本发明的技术方案分析效率高，且有有效的数据支撑。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单的介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本发明提供的一种基于大数据的电力通信性能分析方法流程图；

图2是本发明一实施例中，电力通信设备性能分析方法示意图；

图3是本发明一实施例中，电力通信设备满足平稳规则的分类趋势示意图；

图4是本发明一实施例中，电力通信设备满足渐变分类规则的分类趋势示意图；

图5是本发明一实施例中，电力通信设备满足突变规则的分类趋势示意图；

图6是本发明提供的一种基于大数据的电力通信性能分析装置框图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本发明提供了一种基于大数据的电力通信设备性能分析方法，如图1所示，包括：

S100、获取电力通信设备的设备性能数据并进行预处理；

S200、对预处理后的设备性能数据进行分组，得到设备性能分组数据；

S300、根据电力通信设备的设备性能数据时间分布建立分类特征库；

S400、比对设备性能分组数据和分类特征库中的设备性能数据，得到所述电力通信设备的设备性能状态。

本发明通过对电力通信设备的性能数据进行预处理，在构造设备性能特征向量后进行分组得到设备性能分组数据；然后将上述设备性能分组数据分布在不同工作节点中。通过建立分类特征库，在分类特征库中分类匹配设备性能数据的特征，得到电力通信设备的性能趋势分类，为电力通信网的运行维护提供依据。与现有技术相比，本发明的技术方案分析效率高，且有有效的数据支撑。

首先，介绍S100、获取电力通信设备的设备性能数据并进行预处理的步骤。

本发明中，将每个电力通信设备在一定历史时间内的性能数据作为该电力通信设备性能分析的时间窗口W，W＝[B,E]，其中B表示每个设备性能分析的开始时间，E表示每个设备性能分析的结束时间。该时间窗口可为全部历史数据，这时可获得最大数据量。

由于设备性能数据存在缺失值和异常值，因此本发明对这些数据进行处理。通过对每个时间窗口内大量性能数据的规整，删除缺失值数据，填充异常值数据，方便后续建立分类特征库。抽象为选定时间范围内的测量数据，进行特征提取、映射数据到新的空间和特征构造，形成设备性能数据特征向量。该设备性能数据特征向量为每个通信设备性能数据的集合。

其次，介绍步骤S200、对预处理后的设备性能数据进行分组，得到设备性能分组数据的步骤。

为提高性能数据分析效率，本发明对设备性能特征向量进行分组，形成设备性能分组数据。首选地，采用设备标识号来实现分组。通常情况下，可以采用数据库(DB)或者哈希(Hash)算法来实现。实际应用中，本发明利用多个数据库，优选地，采用关系型数据库(RDB)来实现。其中，每个数据库都独立起作用，不会影响其他数据库处理设备性能分组数据。

实际应用中，本发明将每个设备标识号对应的数据库标识号记录下来。当应用程序启动时，将所有的设备与数据库的对应关系数据放在内存缓存中。当用户进行数据访问时，从内存缓存中取得该设备标识号与对应的数据库标识号之间的对应关系，然后再进行相应的访问。

本发明中，给所有数据库分配不同的权重，可以对设备性能数据进行迁移，优先存储在权重较高的数据库中。最后，将预处理后的设备性能数据分布到不同的工作节点中。通过上述步骤，完成性能数据的分布式分组过程。

再次，介绍S300、根据电力通信设备的设备性能数据时间分布建立分类特征库的步骤。

目前，建立分类特征库，理论上没有明确的规则，往往需要根据设计者的经验和多次实验来确定。本发明中基于设备性能数据时间分布的特点，建立了三种分类函数。

本发明所建立的分类特征库在形式上为一个信息系统，是四元组S＝(U,A,V,F)，其中U为论域，即设备的非空有限集合；A为属性的非空有限集合，即设备的性能数据；V为属性A的值域，即经过预处理的性能数据取值区间；F是一个分类信息函数。本发明中基于设备性能数据时间分布的特点，建立了三种分类函数，但是在应用中可以根据实际的需要，建立其他类型的分类规则，本发明不作限定。

根据随机现象的不确定性，模糊概念的不确定性以及信息系统中知识和概念的不确定性，并结合电力通信网络中时间窗口内的性能数据，构造如下分类信息函数：

1)平稳分类信息函数：

假设任意时刻点t₁,t₂,…,t_m的性能观测值的联合概率与分布时间点t₁+k,t₂+k,…,t_m+k的观测值的联合概率分布相同，并且如果把所有观测时刻都向前或者向后推移任意整数k，相应设备性能观测值的联合分布是不会受到影响的，则认为该段时间窗口内的性能趋势符合平稳规则。

设备性能的联合概率分布满足式(1)：

$f_{Z_t}(z_{t_1},z_{t2},....,z_{t_m})=f_{Z_{t_m}|Z_{t_1},Z_{t_2},...,Z_{t_{m-1}}}\left(z_{t_m}\right|z_{t_1},z_{t_2},....,z_{t_{m-1}})f_{Z_{t_1},Z_{t_2},...,Z_{t_{m-1}}}(z_{t_1},z_{t_2},....,z_{t_{m-1}})---\left(1\right)$

平稳分类信息函数意味着对于任何时刻t的概率分布p(z_t)都是相同的，可以将其记为p(z)。所以，该分类信息函数具有常数均值，见式(2)。

$\mathrm{\μ}=E\left(z_t\right)={\∫}_{-\∞}^{\∞}\mathrm{zp}\left(z\right)\mathrm{dz}---\left(2\right)$

式(2)定义了一个平均水平，设备性能趋势围绕该平均水平上下波动，并且该分类函数具有常数方差，该值用来描述设备性能参数在平均值附近的离散程度，如式(3)：

${\mathrm{\σ}}_z^2=E\left[{(z_t-\mathrm{\μ})}^2\right]={\∫}_{-\∞}^{\∞}{(z-\mathrm{\μ})}^{2}p\left(z\right)\mathrm{dz}---\left(3\right)$

在实际应用过程中，只有当该值满足一定的误差范围内才有实际意义。

2)渐变分类信息函数：

电力通信网中设备性能状态不能保证平稳波动，尤其是不围绕一个固定的性能均值而变化，因此合理地分析出设备在某段时间内的渐变特性可以为未来设备可能出现的缺陷提供警示。

本发明中，取任意两个时刻点t和t-τ，可以得到如下均值关系：

μ_t-μ_t-τ＝τ·k      (4)

同样该渐变分类信息函数具有常数方差用来描述设备性能参数在平均值附近的离散程度。

3)突变分类信息函数：

电力通信网中的设备性能状态并不能保证渐变波动，可能在某几个时刻出现很大幅度变化，这就要求构造的特征库中包含这种跳变情况，为分析设备是否发生虚假性能告警或者性能稳定问题情况，提供理论支撑，使分析性能参数的突变更具有现实意义，因此需要构造设备性能参数的突变分类信息函数。

本发明中，该分类信息函数由有限的、过程先前值的线性组合和一个冲击a_t构成。利用z_t,z_t-1,z_t-2,…来记等间隔时间t,t-1,t-2,…上的该时间窗口t设备性能值。且记为关于μ的序列偏差(μ为z_t的平均值)，

${\tilde{z}}_t={\mathrm{\φ}}_1{\tilde{z}}_{t-1}+{\mathrm{\φ}}_2{\tilde{z}}_{t-2}+\·\·\·+{\mathrm{\φ}}_p{\tilde{z}}_{t-p}+a_t---\left(5\right)$

该模型包含p+2个未知参数在实际应用中这些参数必须由性能数据来估计。当观测的时间窗口内的性能数据满足上式(5)，则认为该时间窗口内性能趋势满足突变规则。

上述三类分类信息函数为本发明中的优选实施方式，实际应用中可根据需求，对上述分类信息函数进行修改或者增加新的分类信息函数。通过建立不同的分类信息函数，形成适用于电力通信设备性能数据分析的分类特征库，本领域的技术人员应该了解，改进的技术方案也落入了本发明技术方案的保护范围。

最后，介绍S400、在分类特征库中分类匹配设备性能分组数据的特征，得到所述电力通信设备的性能趋势分类的步骤。

在分类特征库了对设备性能特征数据进行分类匹配，得到该设备在选定时间窗口的性能趋势分类。

实施例

为验证本发明所提供的一种基于大数据的电力通信设备性能分析方法的有效性，本发明分析处理国内某电力通信网下不同类型设备光功率历史性能数据进行验证。

首先，删除设备的输出光功率和接收光功率为缺失值的数据条目，然后修改异常值数据，如输入光功率和接收光功率条目中为零值、负数的数据，之后计算每种类型设备的输出光功率与接收光功率的差值作为新的性能参数，即光功率衰耗，如式(6)所示。

OpLoss＝OpPt-OpPr       (6)

进一步修改异常值，即光功率衰耗为负数的数据条目，得到该设备在选定时间段内的光功率衰耗数据并进行规整，最后得到经过预处理后的数据大小为3T。

实际应用中，如图2所示，本发明一实施中采用6台主机搭建实验环境，其中一台主机作为控制节点(图2中控制节点0)，其他五台主机作为工作节点(工作节点1-5)。其中三台主机进行Map操作，用于将分组数据分布到不同的工作节点中；两台主机进行Reduce操作，用于将处理过的分组数据重新组合。以64MB为分组单位，将3TB的输入数据进行分组处理，分割成多个分组数据。

在对电力通信设备进行性能表征的过程中，采用上述三种分类信息函数，以设备标识号为主键，在分类特征库中进行分类匹配，可以得到不同设备在光功率趋势分类，为未来可能出现的缺陷提供性能数据支撑。

在链路设备端口发送功率稳定的情况下，接收功率的性能特征直接表示该条链路的光功率衰耗特征，参见图3，可以看出，该电力通信设备的光功率在-20dbm上下波动，即该设备满足平稳分类信息函数的分类趋势。因此，该设备的性能特征一切正常。

如图4所示，在第220天的时刻点，该设备的光功率衰耗逐渐增大，光功率满足递减的特征，即满足渐变分类信息函数的特征，此设备的光功率出现问题。如果继续保持该趋势，光功率降低至一定阀值时，该设备会出现故障。因此当设备满足该分类趋势时，可以提示用户注意。

如图5所示，在第50天时的某时刻，设备的光功率发生突变，光功率衰减减少10db。经过分析，该突变时刻点突变的原因是由于工程π接，站距缩短，导致光功率衰耗减少约10dB。在第350天时，该设备的光功率衰耗增加2db，其突变原因是由于对侧板卡故障，更换板卡后，尾纤未清洁导致衰耗增加。因此，该设备的光功率特征满足突变分类信息函数。

通过上述实施例说明，本发明的电力通信设备性能分析方法是有效的，可以对设备的性能趋势作出直观有效的分析。通过对大数据进行分组，可以提高分析效率；通过增加分析特征库，可以弥补需要经验的缺陷，并且分析结果有数据支撑。

基于上述的发明构思，本发明还提供了一种基于大数据的电力通信设备性能分析装置，如图6所示，包括：

数据获取模块，用于获取每个时间窗口内电力通信设备的设备性能数据并进行预处理；

数据分组模块，用于对预处理后的设备性能数据进行分组；

数据处理模块，用于处理分组后的设备性能数据得到设备性能特征向量；

特征匹配模块，用于在分类特征库中匹配所述设备性能特征向量得到设备的运行状态。

本发明所提供的装置可以解决同样的技术问题，并取得相同的技术效果，在此不再详述。

以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (10)

1.一种基于大数据的电力通信设备性能分析方法，其特征在于，包括：

获取电力通信设备的设备性能数据并进行预处理；

对预处理后的设备性能数据进行分组，得到设备性能分组数据；

根据电力通信设备的设备性能数据时间分布特征建立分类特征库；

比对设备性能分组数据和分类特征库中的设备性能数据，得到所述电力通信设备的设备性能状态。

2.如权利要求1所述的电力通信设备性能分析方法，其特征在于，对所述设备性能数据进行预处理的步骤，具体包括：

删除设备性能数据中的缺失值数据，填充异常值数据。

3.如权利要求1所述的电力通信性能分析方法，其特征在于，

所述对所述预处理后的设备性能数据进行分组的过程，具体包括：

利用预处理后的设备性能数据构造设备性能特征向量；

根据设备标识号对设备性能特征向量进行分组。

4.如权利要求3所述的电力通信设备性能分析方法，其特征在于，

采用数据库或者哈希算法对设备性能特征向量进行分组。

5.如权利要求3所述的电力通信设备性能分析方法，其特征在于，

对数据库信息分配不同的权重，对设备性能数据进行迁移，优先存储在权重较高的数据库中。

6.如权利要求1所述的电力通信设备性能分析方法，其特征在于，

所述分类特征库中包括平稳分类信息函数、渐变分类信息函数和突变分类信息函数。

7.如权利要求6所述的电力通信性能分析方法，其特征在于，

所述平稳分类信息函数的方差计算式为：

${\mathrm{\σ}}_z^2=E\left[{(z_t-\mathrm{\μ})}^2\right]={\∫}_{-\∞}^{\∞}{(z-\mathrm{\μ})}^{2}p\left(z\right)\mathrm{dz}$

其中，σ_Z为方差，E[]为期望，Zt为t时刻性的能观测值Z，μ为z_t的平均值，P(z)是任意时刻t能观测值的概率分布。

8.如权利要求6所述的电力通信性能分析方法，其特征在于，

所述渐变分类信息函数的方差计算式为：

${\mathrm{\σ}}_z^2=k^2$

其中，σ_Z为方差，k是常数。

9.如权利要求6所述的电力通信性能分析方法，其特征在于，

所述突变分类信息函数的序列偏差为：

${\tilde{z}}_t={\mathrm{\φ}}_1{\tilde{z}}_{t-1}+{\mathrm{\φ}}_2{\tilde{z}}_{t-2}+...+{\mathrm{\φ}}_p{\tilde{z}}_{t-p}+a_t$

其中，为关于μ的序列偏差，μ为Z_t的平均值，φ_i为多项式参数。

10.一种基于大数据的电力通信设备性能分析装置，其特征在于，包括：

数据获取模块，用于获取每个时间窗口内电力通信设备的设备性能数据并进行预处理；

数据分组模块，用于对预处理后的设备性能数据进行分组；

数据处理模块，用于处理分组后的设备性能数据得到设备性能特征向量；

特征匹配模块，用于在分类特征库中匹配所述设备性能特征向量得到设备的运行状态。