CN107818135B - 一种基于灰色关联法的维诺图电力大数据异常检测方法 - Google Patents

Abstract

本发明公开了一种高维随机矩阵模型下的基于灰色关联法的维诺图电力大数据异常检测方法。该方法首先依据高维随机矩阵描述的大数据建模，在对量测电力大数据时空特性分析的基础上，根据高维随机矩阵理论，进行了量测大数据的高维随机矩阵模型构建，然后依据“核化”非线性降维技巧将高维数据以核主成分分析法（KPCA）进行降维处理并将其映射到二维平面上，重新构造维诺图区域划分，利用灰色关联法计算出相关关联系数与关联度，并与近邻异常因子结合算出综合异常因子，进而检测出异常数据。本发明一方面尽可能不破坏电力原始数据之间的关联性，另一方面降低数据的维度和复杂度，实现异常数据的准确检测，从而确保电力大数据网络的安全态势。

Description

一种基于灰色关联法的维诺图电力大数据异常检测方法

技术领域

本发明涉及电力网络安全通信领域，更具体地，涉及一种高维随机矩阵模型下基于灰色关联法的维诺图电力大数据异常检测方法。

背景技术

随着智能电网研究与实践的推进，传统意义上的电网正逐步与信息通信系统、监测控制系统相互融合，电力通信网安全和电网运行安全紧密相连，电力通信网安全为电网安全的重中之重。电力行业面临着一个不断演变的网络威胁环境。最初的黑客攻击是为了获得影响力及自我满足去攻击媒体网站；而现在已演变成为了经济、政治等目的的攻击。攻击者能够通过窃取知识产权来直接获取利益，也可以入侵、窃取电力企业的客户信息，更有甚者破坏电力企业的服务以至国家的基础设施。APT攻击可以避开传统的基于特征的安全检测机制，例如绕过防火墙、入侵防御系统、防病毒网关以及网闸等传统的安全机制，并且无法被侦测出来，悄无声息的从企业获取高级机密资料。

电力通信网络系统具有复杂性、动态性等特点，具有一定的脆弱性，而拒绝服务攻击、网络扫描、网络欺骗、病毒木马、信息泄露等安全事件的层出不穷，来自内外部的安全风险给网络安全工作带来了极大的压力与挑战。另一方面，现有的海量电力数据也为分析、处理网络安全提供了机会。因此，需要从电力大数据出发，通过对数据的异常识别，切实提高电力通信网的安全运行水平。

发明内容

本发明的目的在于克服现有技术的不足，提供一种高维随机矩阵模型下基于灰色关联法的维诺图电力大数据异常检测方法，该技术在保持电力原始数据之间关联性，实现异常数据的准确检测提高电力大数据网络的安全态势上有很大优势。

为解决上述问题，本发明提供的技术方案为：

一种高维随机矩阵模型下基于灰色关联法的维诺图电力大数据异常检测方法，其中，包括以下步骤：

步骤1：基于高维随机矩阵理论构建电力大数据模型；

步骤2：利用KPCA对所得电力数据进行降维处理并将其映射到二维平面上；

步骤3：确定单点作为单元核心构造维诺图区域划分，并结合灰色关联法先计算出各序列的初值项并对其进行无量纲处理再求得相关关联系数与关联度进而检测出异常数据。

进一步地，所述的高维随机矩阵模型下基于灰色关联法的维诺图电力大数据中的构建大数据模型的实现过程如下：

(1)设定当前一个N维的时间序列，有N个观测点，且每个观测点都能监测到一个时间序列向量x_k,k＝1,2,...,N，则每个节点的量测电力数据构成的矩阵为：

将每个观测点的向量按顺序拆分为m段，则

逐步叠加成高维矩阵的转置

将N×T维X转化为X₍'_mN)×(Tm)，其行列比为c＝Nm²/T，高维矩阵X'的秩满足r≥0并且非零特征值为

σ₁(X'),...,σ_r(X')。

(2)在渐进重构模型中，W为满足正态分布的随机向量，Y为符合重构模型的矩阵，其中n为矩阵W的列数。

当X'＝0，特征值σ₁(Y)≥...≥σ_r(Y)

当X'＝0，特征值σ₁(Y)≥...≥σ_r(Y)，其谱分布密度为：

其中

当T→∞时，

并且

最终f_Y(t)化简为：

(3)对于符合重构模型的信号矩阵X'，特征值为σ₁(X')≥...≥σ_r(X')>0，当T→∞对任意1≤i≤r有：

(4)令信号矩阵X'的估计为

则

并且u_i和

仅与Y的特征值σ₁(Y),...,σ_r(Y)相关，得到估计值后重构函数可重新算出为：

其中为

与

所测量电力数据的幅值与相角。

进一步地，所述的利用KPCA对所得电力大数据进行非线性降维处理包括以下步骤：

(1)将电力数据进行了中心化。令B＝X^TX则给定dist_ij＝||x_i-x_j||。因而有

显然

即数据中心化数据满足后∑_ix_i＝0；

(2)在高维特征空间中把数据投影到由S＝(s₁,s₂,...,s_d)确定的超平面上，则对于s_j有：

其中z_i是测量数据x_i在高维特征空间中的像，则，

其中是α_i的第j个分量。

(3)若z_i是由原始属性空间中的测量数据x_i通过映射

产生，即若

能被显示出来，则通过它将测量数据映射到高维特征空间，将

变形为：

同时，将

变形为：

但由于对于

的不确定性，引入核函数：

将经过变形后的两式代入上式，化简得：

κα^j＝λ_jα^j

其中K为κ对应的核矩阵，(K)_ij＝κ(x_i,x_j),显然，上式K得到排序的特征值λ₁≥λ₂≥...≥λ_d后必须取最大的d'个特征值对应的特征向量。

S4.对新的数据x，其投影后的第j(j＝1,2,...,d')维坐标为

为了更好地进行异常数据检测，将高维数据降维至二维平面并生成点集Q，根据上平面坐标给出为

进一步地，基于维诺图的电力大数据异常检测包括以下步骤：

(1)给定一个j维空间，集合

点集P＝{p₁,p₂,...,p_n}中任意点p_i赋予一个对称正定度规张量M_p，以从长度和角度作为权重的参数。给定一个形变张量F_p将物理空间R^j映射到一个常数空间满足：

若空间R^j存在q₁和q₂两个点，则其之间的距离为：

角度为：

逐一计算点集中点的权重参数，满足

给出点集P的区域划分Vor(P)，且区域V_i为点p_i的各项异性维诺图。

(2)求出点集中每个点p_i的V-近邻异常因子：

(3)对电力数据进行无量纲处理得到初值像为：

X_i'＝X_i/x_i(1)

计算关联系数。记Δ_i(j)＝|x₁'(j)-x_i'(j)|(j＝1,2,...,k)，则差序列为：

Δ_i(j)＝[Δ_i(1),Δ_i(2),...,Δ_i(k)]

两级最大差与最小差分别为和

因而，综合各关联系数，计算关联度为：

(4)计算出关联度和V-近邻异常因子的异常加权因子如公式所示：

并按照从大到小的顺序排列。

(5)设定λ为异常加权因子的阈值，根据

判定电力数据是否存在异常并输出按降序依次输出异常数据。

有益效果：

本发明提供一种高维随机矩阵模型下的基于灰色关联法的维诺图电力大数据异常检测方法，依据高维随机矩阵理论进行电力大数据建模，利用KPCA把数据降维处理，分割维诺图并结合异常因子与灰色关联度算出综合异常因子进而检测出异常数据，确保电力大数据网络的安全态势；首先依据其业务分布特性及对应的安全特征建立高维随机矩阵大数据模型，使得原始数据的关联系不被破坏；本发明可以提高大数据的检测率，降低误报率，减少网络的潜在风险，为电力安全网络建设提供参考依据。

附图说明

图1为本发明的系统流程图

图2为本发明KPCA数据降维示意图。

图3为本发明维诺的规划结果示意图。

图4为本发明异常因子示意图。

具体实施方式

附图仅用于示例性说明，不能理解为对本专利的限制；为了更好说明本实施例，附图某些部件会有省略、放大或缩小，并不代表实际产品的尺寸；对于本领域技术人员来说，附图中某些公知结构及其说明可能省略是可以理解的。附图中描述位置关系仅用于示例性说明，不能理解为对本专利的限制。

一种高维随机矩阵模型下基于灰色关联法的维诺图电力大数据异常检测方法，其特征在于，包括以下步骤，如图1所示：

步骤1：基于高维随机矩阵理论构建电力大数据模型；

步骤2：利用KPCA对所得电力数据进行降维处理并将其映射到二维平面上；

步骤3：确定单点作为单元核心构造维诺图区域划分，并结合灰色关联法先计算出各序列的初值项并对其进行无量纲处理再求得相关关联系数与关联度进而检测出异常数据。

具体地，一种高维随机矩阵模型下基于灰色关联法的维诺图电力大数据异常检测方法，所述的建模过程包括以下步骤：

(1)设定当前一个N维的时间序列，有N个观测点，且每个观测点都能监测到一个时间序列向量，则每个节点的测量数据构为

将每个观测点的向量按顺序拆分为m段，则

逐步叠加成高维矩阵的转置

将N×T维X将X_N×T转化为X₍'_mN)×(T/m)，其行列比为c＝Nm²/T，高维矩阵X'的秩满足r≥0并且非零特征值为σ₁(X'),...,σ_r(X')。

(2)W为满足正态分布的随机向量，Y为符合重构模型的矩阵，则

其中n为矩阵W的列数。当X'＝0，特征值σ₁(Y)≥...≥σ_r(Y)，谱分布密

其

当T→∞时，

且

(3)若符合重构模型，信号矩阵X'特征值为σ₁(X')≥...≥σ_r(X')>0，当T→∞对任意1≤i≤r有

(4)令信号矩阵X'的估计为

则

并且u_i和

仅与Y的特征值σ₁(Y),...,σ_r(Y)相关，与所测量电力数据的幅值与相角，重构函数可重新算出为

具体地，利用KPCA对所得电力大数据进行非线性降维处理，包括以下步骤：

(1)对电力数据进行了中心化，令B＝X^TX则

给定dist_ij＝||x_i-x_j||。因而有

显然

即数据中心化后呈∑_ix_i＝0；

(2)在高维特征空间中把数据投影到由S＝(s₁,s₂,...,s_d)确定的超平面上，则对于s_j有其中z_i是测量数据x_i在高维特征空间中的像，易如

其中

是α_i的第j个分量。

(3)设z_i是由原始属性空间中的测量数据x_i通过映射

产生，即

若

能被显示出来，则通过它将测量数据映射到高维特征空间，则且

但由于对于的不确定性，引入核函数

最后化简为κα^j＝λ_jα^j，其中K为κ对应的核矩阵，(K)_ij＝κ(x_i,x_j),

显然，上式K得到排序的特征值λ₁≥λ₂≥...≥λ_d后必须取最大的d'个特征值对应的特征向量。

具体地，利用KPCA对所得电力大数据进行非线性降维处理，把高维数据降维至二维平面并给出坐标，则对转换后的数据x，其投影后的第j(j＝1,2,...,d')维坐标为

如图2所示，为KPCA数据降维示意图。

进一步地，基于维诺图的电力大数据异常检测包括以下步骤：

(1)降维处理后构造分区维诺图，集合P＝{p₁,p₂,...,p_n}中任意点p_i赋予一个对称正定度规张量M_p。给定形变张量F_p满足

空间q₁和q₂两点间的距离

角度为

逐一计算点集中点的权重参数，满足

给出点集P的区域划分Vor(P)，且区域V_i为点p_i的各项异性维诺图，如图3所示。

(2)将维诺图分区后，其V-近邻异常因子可依据点集中每个点p_i算出为

(3)对电力数据进行无量纲处理得到初值像为X_i'＝X_i/x_i(1)。计算关联系数：Δ_i(j)＝|x₁'(j)-x_i'(j)|(j＝1,2,...,k)，则差序列为：

Δ_i(j)＝[Δ_i(1),Δ_i(2),...,Δ_i(k)]，

两级最大差与最小差分别为

和

因而，综合各关联系数，计算关联度为

(4)对电力数据计算出关联度和V-近邻异常因子的异常加权因子如公式所示

并按照从大到小的顺序排列。

(5)设定λ为异常加权因子的阈值，根据

判定电力数据是否存在异常并输出按降序依次输出异常数据。

如图1所示给出了系统的流程图，表明本文根据高维随机矩阵理论，进行了电力大数据的高维随机矩阵建模，利用KPCA降维数据并映射到二维平面上，分割维诺图，计算出关联度结合异常因子算出综合异常因子进而检测出异常数据。

如图4所示的点集中，聚集C₁的密度高于C₂的密度，p点的异常因子显然低于点q，对于聚集C₂集合的点，整体间距、密度、分散情况较为均匀一致，可以认为是同一簇；对于C₁集合的点，同样可认为是一簇。但相对孤立的点，被认为是异常点或离散点，如点s、q、r所示。

Claims (2)

1.一种基于灰色关联法的维诺图电力大数据异常检测方法，其特征在于，包括以下步骤：

步骤1：基于高维随机矩阵理论构建电力大数据模型；

步骤2：利用KPCA对所得电力数据进行降维处理并将其映射到二维平面上；

所述步骤2，是用KPCA对所得电力大数据进行非线性降维处理，其过程为：

(3-1)对电力数据进行了中心化，令B＝X^TX，X为电力系统中每个节点的测量电力数据结构，则

给定dist_ij＝||x_i-x_j||；因而有显然

即数据中心化数据满足后∑_ix_i＝0；

(3-2)在高维特征空间中把数据投影到由S＝(s₁,s₂,...,s_d)确定的超平面上，即，对于s_j有其中z_i是测量数据x_i在高维特征空间中的像；

其中

是α_i的第j个分量；

(3-3)若z_i是由原始属性空间中的测量数据x_i通过映射

产生，即

若

能被显示出来，则通过它将测量数据映射到高维特征空间，则

且

但由于对于

的不确定性，引入核函数

最后化简为κα^j＝λ_jα^j，其中K为κ对应的核矩阵，

显然，上式K得到排序的特征值λ₁≥λ₂≥...≥λ_d后必须取最大的d'个特征值对应的特征向量；

(3-4)把高维数据降维至二维平面并给出坐标，则对转换后的数据x，其投影后的第j(j＝1,2,...,d')维坐标为

步骤3：确定单点作为单元核心构造维诺图区域划分，并结合灰色关联法先计算出各序列的初值项并对其进行无量纲处理再求得相关关联系数与关联度进而检测出异常数据；

所述步骤3，基于维诺图的电力大数据异常检测过程如下：

(4-1)分区构造维诺图：

当前集合为

P＝{p₁,p₂,...,p_n}中任意点p_i赋予一个对称正定度规张量M_p；给定形变张量F_p满足

空间q₁和q₂两点间的距离：

角度为

逐一计算点集中点的权重参数，满足

给出点集P的区域划分Vor(P)；

(4-2)在分割维诺图中，其V-近邻异常因子可依据点集中每个点p_i算出为

(4-3)对电力数据进行无量纲处理得到初值像为X′_i＝X_i/x_i(1)；综合各关联系数，计算关联度为

(4-4)对电力数据计算出关联度和V-近邻异常因子的异常加权因子如公式所示

并按照从大到小的顺序排列；

(4-5)设定λ为异常加权因子的阈值，根据

判定电力数据是否存在异常，如存在异常数据，则并按从降序依次输出异常数据。

2.根据权利要求1所述的基于灰色关联法的维诺图电力大数据异常检测方法，其特征在于，所述的步骤1构建电力大数据模型过程包括以下步骤：

(2-1)设当前电力系统中有N个观测点，且每个观测点都能监测到一个时间序列向量，则每个节点的测量电力数据结构为

将每个观测点的向量按顺序拆分为m段，则逐步叠加成高维矩阵的转置

将N×T维X转化为X′_(mN)×(T/m)，其行列比为c＝Nm²/T，高维矩阵X'的秩满足r≥0并且非零特征值为σ₁(X'),...,σ_r(X')；

(2-2)W为满足正态分布的随机向量，Y为符合重构模型的矩阵，则

其中n为矩阵W的列数；当X'＝0，特征值σ₁(Y)≥...≥σ_r(Y)，谱分布密

其

当T→∞时，

且

(2-3)若符合重构模型，信号矩阵X'特征值为σ₁(X')≥...≥σ_r(X')>0，当T→∞对任意1≤i≤r有

(2-4)令信号矩阵X'的估计为则

并且u_i和仅与Y的特征值σ₁(Y),...,σ_r(Y)相关，

与

所测量电力数据的幅值与相角，重构函数可重新算出为：

Images