CN116126931B - 一种配电台区用电数据挖掘方法、装置、系统及存储介质 - Google Patents

Abstract

本发明提供一种配电台区用电数据挖掘方法、装置、系统及存储介质，该方法包括：步骤一、对于收集到的台区用电数据，将数据按照类别划分为线性数据和非线性数据；步骤二、对于线性数据，采用主成分分析(PCA)的方法进行降维；对于非线性数据，采用局部线性嵌入(LLE)的方法进行降维。本发明将数据划分为线性数据与非线性数据，并使用针对线性数据与非线性数据最合适的降维法进行降维，可以有效地保留其局部特征并进行降维，最大程度保留数据信息里的隐含特征，从而减少甚至忽略对专家知识的依赖，降低维护与运营的成本，最终实现自动化的特征关联的抽取与分析。

Description

一种配电台区用电数据挖掘方法、装置、系统及存储介质

技术领域

本发明涉及电子信息技术领域，具体是一种配电台区用电数据挖掘方法、装置、系统及存储介质。

背景技术

从安全的角度来看数据，大量数据被视为一种负担。拥有的数据越多，产生的漏洞基数就越大，设备安全压力与运行压力就越大。对于智能电网产生的大量结构多样、来源复杂的数据，随着数据维度的提高带来对于客观现象更加丰富细致的信息，但同时也给随后的数据处理工作带来了前所未有的困难。随着用电设备的智能化程度逐渐提高，传统的运维方式已经不适应现在的发展要求。新的运维手段及运维工具尚未成型，主要核心技术尚未开展深入研究，已经研究的技术问题实用化程度不够，对现场的适应能力差。

业界与之相关的一些背景技术，也对台区用电数据的数据挖掘工作进行了尝试，一般主要包括利用决策树归纳的方法，对台区状态进行判别与偏离目标值计算；应用聚类和相关性挖掘技术，借助专家经验确定核心因子；利用指标关联关系，构造新特征进行分析等等。

这些方法在一定程度上解决了数据挖掘的问题，但都或多或少依赖于专家经验，因而在实现和维护方面会显得成本较高；对于自动化的特征关联分析，也还存在可以优化的地方。

发明内容

本发明的目的在于为真正实现大数据分析算法指导现场运维，提供一种配电台区用电数据挖掘方法、装置、系统及存储介质，通过数据挖掘方法简化原有数据形式的复杂表示，挖掘潜在的关联信息，从而寻求数据对事物的本质描述，通过信息技术为配电台区工作赋能，提高工作效率，实现智能化处理，以期能以较小的成本和较高的稳定性解决问题。

一种配电台区用电数据挖掘方法，其特征在于，包括如下步骤：

步骤一、对于收集到的台区用电数据，将数据按照类别划分为线性数据和非线性数据；

步骤二、对于线性数据，采用主成分分析(PCA)的方法进行降维；对于非线性数据，采用局部线性嵌入(LLE)的方法进行降维。

进一步的，所述采用主成分分析(PCA)的方法进行降维具体包括：

对于输入的m维数据X，计算其均值μ和方差σ：

对X进行去中心化处理后，计算其协方差矩阵Σ：

x_i＝x_i-μ

基于特征值分解的方法求解Σ对应的特征值λ_i与特征向量α_i:

|λI-Σ|＝0

(λ_iI-A)α_i＝0

对特征值从大到小排序，选择其中最大的k个，取其对应的特征值分别作为行向量组成特征向量矩阵P：

P＝[α₁α₂...α_k]^T

利用特征向量矩阵P，将输入数据X映射到新向量空间中，得到其低维向量表示Y：

Y＝PX。

进一步的，所述采用局部线性嵌入(LLE)的方法进行降维具体包括：

对于输入数据X，运用K近邻算法得到每个样本点的K近邻点：

N_i＝KNN(x_i,k)＝[x_1i,x_2i,...,x_ki]

然后将每个数据点视为K近邻点的线性组合，W为权重向量，则问题转为求解权重系数矩阵W：

计算局部协方差矩阵S，可求解W:

S_i＝(X_i-N_i)^T(X_i-N_i)

然后计算特征矩阵M，取最小的d个特征值对应的特征向量，将输入X映射为d维向量Y：

M＝(I-W)(I-W)^T

MY^T＝λY^T

第一个最小的特征值接近0，将其舍弃，取前[2,d+1]个特征值对应的特征向量。

一种配电台区用电数据挖掘装置，包括：

数据类别划分模块，用于对于收集到的台区用电数据，将数据按照类别划分为线性数据和非线性数据；

降维模块，用于对于线性数据采用主成分分析(PCA)的方法进行降维；对于非线性数据采用局部线性嵌入(LLE)的方法进行降维

进一步的，所述降维模块对于线性数据采用主成分分析(PCA)的方法进行降维，具体包括：

对于输入的m维数据X，计算其均值μ和方差σ：

对X进行去中心化处理后，计算其协方差矩阵Σ：

x_i＝x_i-μ

基于特征值分解的方法求解Σ对应的特征值λ_i与特征向量α_i:

|λI-Σ|＝0

(λ_iI-A)α_i＝0

对特征值从大到小排序，选择其中最大的k个，取其对应的特征值分别作为行向量组成特征向量矩阵P：

P＝[α₁α₂...α_k]^T

利用特征向量矩阵P，将输入数据X映射到新向量空间中，得到其低维向量表示Y：

Y＝PX。

进一步的，所述降维模块对于非线性数据采用局部线性嵌入(LLE)的方法进行降维，具体包括：

对于输入数据X，运用K近邻算法得到每个样本点的K近邻点：

N_i＝KNN(x_i,k)＝[x_1i,x_2i,...,x_ki]

然后将每个数据点视为K近邻点的线性组合，W为权重向量，则问题转为求解权重系数矩阵W：

计算局部协方差矩阵S，可求解W:

S_i＝(X_i-N_i)^T(X_i-N_i)

然后计算特征矩阵M，取最小的d个特征值对应的特征向量，将输入X映射为d维向量Y：

M＝(I-W)(I-W)^T

MY^T＝λY^T

第一个最小的特征值接近0，将其舍弃，取前[2,d+1]个特征值对应的特征向量。

一种配电台区用电数据挖掘系统，包括：计算机可读存储介质和处理器；

所述计算机可读存储介质用于存储可执行指令；

所述处理器用于读取所述计算机可读存储介质中存储的可执行指令，执行所述的配电台区用电数据挖掘方法进一步的，

一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现所述的配电台区用电数据挖掘方法。

本发明根据数据自身的特点对数据类型进行的分类，将数据划分为线性数据与非线性数据，并使用针对线性数据与非线性数据最合适的降维法进行降维，最终将降维的数据拼接到一起，形成最终的降维结果。针对像电压以及电流这样数量多、类型多、数据形式化单一的线性数据，可以快速而有效地导出少数组成分，补充相关信息；针对设备的时间序列运行信息这样稠密的非线性数据，可以有效地保留其局部特征并进行降维。这样可以最大程度保留数据信息里的隐含特征，从而减少甚至忽略对专家知识的依赖，降低维护与运营的成本，最终实现自动化的特征关联的抽取与分析。

附图说明

图1是本发明实施例一种配电台区用电数据挖掘方法的流程图；

图2是PCA主成分分析示意图；

图3是LLE局部线性嵌入示意图；

图4是基于本发明实施例开发的漏电管家微应用软件界面图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明的一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。

对于设备输入的大量复杂数据，需要经过分析预处理，可再提供给应用使用。对于经过清洗的数据，应用数据挖掘算法来探索数据中的潜在信息，通过对高维数据进行压缩关联性降维来得到信息表示更加丰富的数据表现形式。最终从数据层面上搜集并应用隐藏信息，从而达到无需依赖专家经验进行运维的效果。

本发明从数据分析角度出发，将数据降维分为线性数据降维和非线性数据降维，针对不同类型的数据应用最适配的数据降维法，以减少对专家经验的依赖，提高自动化关联分析性能。请参阅图1，本发明实施例具体实施方案概述如下：

步骤一、对于收集到的台区用电数据，首先将数据按照类别进行划分，具体划分为线性数据和非线性数据。

步骤二、对于线性数据，采用主成分分析(PCA)的方法进行降维；对于非线性数据，采用局部线性嵌入(LLE)的方法进行降维。

例如，对于都属于同一设备的线性数据，可对其进行主成分分析，探索其相关关系，从而得到稠密的信息表示(如图2所示)；对于设备的时间序列运行信息，其相当于高维空间的一个曲面，对其进行局部线性嵌入，在保证其结构不被破坏的情况下降维到易于分析处理的低维空间(如图3所示)。分别对两类数据进行处理后得到数据挖掘工作后的结果，即得到信息丰富、形式简洁的低维数据。

其中PCA主成分分析介绍如下：

PCA的基本目的在于找到一种线性映射，将原始输入向量映射至较低维向量空间，同时使得向量间的方差最大，并保证该线性映射是正交的。PCA的基本思想是，对于相关关系强的变量，其反映的信息重叠程度高，通过将这些重叠变量删除可对数据进行化简，得到的少量不相关的变量，能尽可能保留原始变量信息。

对于用电设备所产生的各种实时数据，如电压、电流等等，针对这类数据变量有着数量多、类型多、数据形式单一化的特点，结合上述PCA的基本思想，本发明实施例对实时数据类别、数值进行编码，进行向量化，所形成向量集合同样满足数量多、类型多的特点，与此同时，每一个向量维度都相对较小，运用PCA可导出少数主成分，彼此间互补相关，可作为新的综合指标帮助决策判断分析。

这里的PCA具体计算步骤为：

对于输入的m维数据X，计算其均值μ和方差σ：

对X进行去中心化处理后，计算其协方差矩阵Σ：

x_i＝x_i-μ

基于特征值分解的方法求解Σ对应的特征值λ_i与特征向量α_i:

|λI-Σ|＝0

(λ_iI-A)α_i＝0

对特征值从大到小排序，选择其中最大的k个，取其对应的特征值分别作为行向量组成特征向量矩阵P：

P＝[α₁α₂...α_k]^T

利用特征向量矩阵P，将输入数据X映射到新向量空间中，得到其低维向量表示Y：

Y＝PX

PCA的优点是计算方便，具有最优线性重构误差。缺点是不能处理非线性数据，对非常高维的数据计算量大。结合PCA的优势与缺点，这里将大量线性的实时数据编码成为了相对低维向量，让PCA方法在大规模数据上进行数据降维，从而最大限度发挥PCA的作用，保留各个向量的隐藏特征信息，以提供给后续应用。

LLE局部线性嵌入介绍：

LLE认为每一个数据点都可以由其邻近点的线性加权组合构造得到。当数据具备某种非线性结构，可使用LLE进行数据降维，仍然保留原始高维数据的拓扑结构，表现为数据点的局部邻接关系。LLE算法通过保留局部样本点之间的线性关系，可以较低的时间复杂度得到结果。

针对设备的时间序列运行信息，其展现形式是高维空间的一个连续曲面，因为其是基于时间序列的信息集合，所以对应的数据也会比较稠密。对于这样的非线性数据，使用PCA方法降维将会极大地改变原有数据的结构，导致相当差的降维效果。所以，使用LLE方法来进行数据降维可以有效地在进行数据降维的同时，保留数据的隐藏信息。

此处的LLE的算法流程如图3所示：

其具体计算步骤为：

对于输入数据X，运用K近邻算法得到每个样本点的K近邻点：

N_i＝KNN(x_i,k)＝[x_1i,x_2i,...,x_ki]

然后将每个数据点视为K近邻点的线性组合，W为权重向量，则问题转为求解权重系数矩阵W：

计算局部协方差矩阵S，可求解W:

S_i＝(X_i-N_i)^T(X_i-N_i)

然后计算特征矩阵M，取最小的d个特征值对应的特征向量，将输入X映射为d维向量Y：

M＝(I-W)(I-W)^T

MY^T＝λY^T

一般第一个最小的特征值接近0，将其舍弃，取前[2,d+1]个特征值对应的特征向量。

LLE的优点是具有平移、旋转等不变性，能够保留数据局部结构；缺点是要求样本采集稠密，对噪声敏感。结合LLE的优势与缺点，面向基于时间序列的稠密信息集合时，使用LLE方法来进行数据降维可以有效保留数据的局部特征，并大幅度降低后续操作的计算量。

本发明根据数据自身的特点对数据类型进行的分类，将数据划分为线性数据与非线性数据，并使用针对线性数据与非线性数据最合适的降维法进行降维，最终将降维的数据拼接到一起，形成最终的降维结果。针对像电压以及电流这样数量多、类型多、数据形式化单一的线性数据，可以快速而有效地导出少数组成分，补充相关信息；针对设备的时间序列运行信息这样稠密的非线性数据，可以有效地保留其局部特征并进行降维。这样可以最大程度保留数据信息里的隐含特征，从而减少甚至忽略对专家知识的依赖，降低维护与运营的成本，最终实现自动化的特征关联的抽取与分析。

图4是基于本发明实施例在台区漏电管家微应用的具体使用，台区漏电管家接收经过数据挖掘的数据，可视化呈现不同的设备信息，告警事件。通过对众多用电数据变量的简化，以简洁的方式显示主要信息；通过对挖掘得到的特征变量进行判断，以此作为事件，异常等评价指标。

本发明实施例还提供一种配电台区用电数据挖掘装置，包括：

数据类别划分模块，用于对于收集到的台区用电数据，将数据按照类别划分为线性数据和非线性数据；

降维模块，用于对于线性数据采用主成分分析(PCA)的方法进行降维；对于非线性数据采用局部线性嵌入(LLE)的方法进行降维。

本发明另一方面提供了一种配电台区用电数据挖掘系统，包括：计算机可读存储介质和处理器；

所述计算机可读存储介质用于存储可执行指令；

所述处理器用于读取所述计算机可读存储介质中存储的可执行指令，执行所述的配电台区用电数据挖掘方法。

本发明另一方面提供了一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现所述的配电台区用电数据挖掘方法。

本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

最后应当说明的是：以上实施例仅用以说明本发明的技术方案而非对其限制，尽管参照上述实施例对本发明进行了详细的说明，所属领域的普通技术人员应当理解：依然可以对本发明的具体实施方式进行修改或者等同替换，而未脱离本发明精神和范围的任何修改或者等同替换，其均应涵盖在本发明的权利要求保护范围之内。

Claims (4)

1.一种配电台区用电数据挖掘方法，其特征在于，包括如下步骤：

步骤一、对于收集到的台区用电数据，将数据按照类别划分为线性数据和非线性数据；

步骤二、对于线性数据，采用主成分分析的方法进行降维；对于非线性数据，采用局部线性嵌入的方法进行降维；

所述采用主成分分析的方法进行降维具体包括：

对于输入的m维数据X，计算其均值μ和方差σ：

对X进行去中心化处理后，计算其协方差矩阵∑：

x_i＝x_i-μ

基于特征值分解的方法求解∑对应的特征值λ_i与特征向量α_i:

|λI-∑|＝0

(λ_iI-A)α_i＝0

对特征值从大到小排序，选择其中最大的k个，取其对应的特征值分别作为行向量组成特征向量矩阵P：

P＝[α₁α₂...α_k]^T

利用特征向量矩阵P，将输入数据X映射到新向量空间中，得到其低维向量表示Y：

Y＝PX；

所述采用局部线性嵌入的方法进行降维具体包括：

对于输入数据X，运用K近邻算法得到每个样本点的K近邻点：

N_i＝KNN(x_i,k)＝[x_1i,x_2i,...,x_ki]

然后将每个数据点视为K近邻点的线性组合，W为权重向量，则问题转为求解权重系数矩阵W：

计算局部协方差矩阵S，可求解W:

S_i＝(X_i-N_i)^T(X_i-N_i)

然后计算特征矩阵M，取最小的d个特征值对应的特征向量，将输入X映射为d维向量Y：

M＝(I-W)(I-W)^T

MY^T＝λY^T

第一个最小的特征值接近0，将其舍弃，取前[2,d+1]个特征值对应的特征向量。

2.一种配电台区用电数据挖掘装置，其特征在于，包括：

数据类别划分模块，用于对于收集到的台区用电数据，将数据按照类别划分为线性数据和非线性数据；

降维模块，用于对于线性数据采用主成分分析的方法进行降维；对于非线性数据采用局部线性嵌入的方法进行降维；

所述降维模块对于线性数据采用主成分分析的方法进行降维，具体包括：

对于输入的m维数据X，计算其均值μ和方差σ：

对X进行去中心化处理后，计算其协方差矩阵∑：

x_i＝x_i-μ

基于特征值分解的方法求解∑对应的特征值λ_i与特征向量α_i:

|λI-∑|＝0

(λ_iI-A)α_i＝0

对特征值从大到小排序，选择其中最大的k个，取其对应的特征值分别作为行向量组成特征向量矩阵P：

P＝[α₁α₂...α_k]^T

利用特征向量矩阵P，将输入数据X映射到新向量空间中，得到其低维向量表示Y：

Y＝PX；

所述降维模块对于非线性数据采用局部线性嵌入的方法进行降维，具体包括：

对于输入数据X，运用K近邻算法得到每个样本点的K近邻点：

N_i＝KNN(x_i,k)＝[x_1i,x_2i,...,x_ki]

然后将每个数据点视为K近邻点的线性组合，W为权重向量，则问题转为求解权重系数矩阵W：

计算局部协方差矩阵S，可求解W:

S_i＝(X_i-N_i)^T(X_i-N_i)

然后计算特征矩阵M，取最小的d个特征值对应的特征向量，将输入X映射为d维向量Y：

M＝(I-W)(I-W)^T

MY^T＝λY^T

第一个最小的特征值接近0，将其舍弃，取前[2,d+1]个特征值对应的特征向量。

3.一种配电台区用电数据挖掘系统，包括：计算机可读存储介质和处理器；

所述计算机可读存储介质用于存储可执行指令；

所述处理器用于读取所述计算机可读存储介质中存储的可执行指令，执行权利要求1所述的配电台区用电数据挖掘方法。

4.一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现权利要求1所述的配电台区用电数据挖掘方法。