CN110532444A - 一种高维电力大数据可视化方法及系统 - Google Patents

Abstract

一种高维电力大数据可视化方法及系统，包括：采集电网运行的配用电全局全量数据并进行序列化处理，得到高维电力大数据集；基于流形学习的局部线性嵌入LLE算法对所述高维电力大数据集进行降维处理；将降维处理后的电力大数据进行数据映射后通过发送至可视化平台实现高维电力大数据的可视化。解决了高维电力大数据可视化的图元密集和图形重叠的问题，将数据清晰地展现。

Description

一种高维电力大数据可视化方法及系统

技术领域

本发明涉及配用电全局全量数据可视化的方法，具体涉及一种高维电力大数据可视化方法及系统。

背景技术

目前信息与数据可视化方法的主要分类有：文本可视化、网络图可视化、时空数据可视化和多维数据可视化，其中时空数据和多维数据的特点与大数据较为接近。典型的时空数据可视化方法包括流式地图(flow map)，它融合了时间事件流和地图；时空立方体(space-time cube)以三维方式直观展现时间、空间及事件。另一类方式是Tominski引入的堆积图(stack graph)，它对二维和三维进行融合，在时空立方体中拓展空间用于显示多维属性；散点图(scatter plot)是最常见的多维可视化方法，它仅适合对数量有限的某几个维度进行可视化，对于需要同时展示所有维度的情景不适用。散点图的维度有限问题是诸多优化方法的研究重点。平行坐标(parallel coordinates)是研究和应用最为广泛的一种可视化技术，对于多维属性尤为有效。它将维度与坐标轴建立映射，在若干条平行轴之间以直线线段映射多维数据。近年来，有研究者将平行坐标图与散点图以及其他可视化技术进行集成，设计了平行坐标散点图(parallel coordinate plots，PCP)，在三维空间扩展了散点图。在大数据环境下，基于平行坐标的一系列可视化方法面临一个主要问题，即大规模数据项会造成线条密集与重叠覆盖，数据维度高，可视化难度大。

高维电力大数据是电网系统运行时产生的多类型的数据融合，高维电力大数据是指配用电全局全量数据，配用电全局全量数据主要包括配用电系统规划、运行、管理和经营过程中产生或需要的数据，其中包括配电数据、用电数据、以及外部数据(如经济、社会、气象数据)等全要素数据。

发明内容

本发明提供的技术方案是：

一种高维电力大数据可视化方法，包括：

采集电网运行的配用电全局全量数据并进行序列化处理，得到高维电力大数据集；

基于流形学习的局部线性嵌入LLE算法对所述高维电力大数据集进行降维处理；

将降维处理后的电力大数据进行数据映射后通过发送至可视化平台实现高维电力大数据的可视化。

优选的，所述配用电全局全量数据，包括：基于数据采集系统采集的电网运行实施数据、与电网运行相关的数据；

其中，所述电网运行相关的数据包括：电力用户数据、与电网运行相关的经济数据、社会数据和气象数据。

优选的，所述基于流形学习的LLE算法对所述高维电力大数据集进行降维处理，包括：

基于高维电力大数据找出每一个数据的临近点；

使每一个数据和每一个数据的近邻点线性表示的误差最小，得到每个数据的权值；

在保持权值不变，且使低维空间重构误差最小在低维空间中重构原始数据点，基于所有在低维空间重构的原始数据点，得到降维处理后的电力大数据。

优选的，所述使每一个数据和每一个数据的近邻点线性表示的误差最小，得到每个数据的权值，包括：

由每个数据的近邻点计算所述数据的局部重建权值矩阵，使重构误差函数达到最小，得到每个数据的权值。

优选的，所述重构误差函数如下式所示：

式中，x_i和x_j不是近邻数据点；w_ij为x_i与x_ij线性表示的权值。

优选的，所述权值w_ij如下式计算：

其中，

式中，η_i和η_k是x_i的近邻点，为构建的协方差矩阵。

优选的，所述低维空间重构误差按下式计算：

式中，y_i为低维空间中最优构造点；y_j为y_i的第j个近邻点；

其中y_i满足：

式中，I是d×d单位阵，d是数据降维后的维数且满足约束条件，1≤d≤log₂N，N为电力数据个数。

一种高维电力大数据可视化系统，包括：数据处理模块、降维模块和映射模块；

所述数据处理模块：用于采集电网运行的配用电全局全量数据并进行序列化处理，得到高维电力大数据集；

所述降维模块：用于基于流形学习的LLE算法对所述高维电力大数据集进行降维处理；

所述映射模块：用于将降维处理后的电力大数据进行数据映射后通过发送至可视化平台实现高维电力大数据的可视化。

优选的，所述降维模块，具体包括：

基于高维电力大数据找出每一个数据的临近点；

使每一个数据和每一个数据的近邻点线性表示的误差最小，得到每个数据的权值；

在保持权值不变，且使低维空间重构误差最小在低维空间中重构原始数据点，

基于所有在低维空间重构的原始数据点，得到降维处理后的电力大数据。

优选的，所述降维模块，包括：计算单元、重构误差函数和低维空间重构误差；

所述计算单元：用于由每个数据的近邻点计算所述数据的局部重建权值矩阵，使重构误差函数达到最小，得到每个数据的权值；

所述重构误差函数如下式所示：

式中，x_i和x_j不是近邻数据点；w_ij为x_i与x_ij线性表示的权值；

所述w_ij如下式计算：

其中，

式中，η_i和η_k是x_i的近邻点，为构建的协方差矩阵；

所述低维空间重构误差按下式计算：

式中，y_i为低维空间中最优构造点；y_j为y_i的第j个近邻点；

其中y_i满足：

式中，I是d×d单位阵，d是数据降维后的维数且满足约束条件，1≤d≤log₂N，N为电力数据个数。

与现有技术相比，本发明的有益效果为：

一种高维电力大数据可视化方法，包括：采集电网运行的配用电全局全量数据并进行序列化处理，得到高维电力大数据集；基于流形学习的局部线性嵌入LLE算法对所述高维电力大数据集进行降维处理；将降维处理后的电力大数据进行数据映射后通过发送至可视化平台实现高维电力大数据的可视化。解决了高维电力大数据可视化的图元密集和图形重叠的问题，将数据清晰地展现。

附图说明

图1为本发明的一种高维电力大数据可视化方法流程图；

图2为本发明的基于流形学习的高维电力大数据可视化系统结构示意图；

图3为本发明的基于流形学习的LEE算法流程图示意图；

图4为本发明的基于流形学习的高维电力大数据可视化系统实施框架图。

图5为本发明的实施例高维电力大数据可视化方法流程图

图6为本发明的局部线性嵌入LLE算法示意图

具体实施方式

为了更好地理解本发明，下面结合说明书附图和实例对本发明的内容做进一步的说明。

实施例1：

本发明提出一种高维电力大数据可视化方法，其具体过程如图5所示。首先对电网运行时电力设备产生的实时数据进行采集，将这些元数据进行数据序列化产生高维电力大数据，利用流形学习的LLE算法对高维电力大数据进行降维分析处理，将分析结果集合通过数据映射发送至可视化平台，从而实现高维电力大数据的可视化。

本发明将高维电力大数据利用流形学习的方法进行降维处理，采用流形学习中的局部线性嵌入(LLE)的非线性降维算法，保留了原数据的局部几何特征和数据质量，降低了数据的复杂性。LLE的核心思想是高维空间数据集的邻域关系与嵌入在高维空间的低维流形上的对应数据集的邻域关系保持不变。

LLE算法示意图如图6所示。算法首先找出每一个点x_i的近邻点，一般采用k近邻或者ε邻域，计算复杂度为O(DN²)；进一步计算权值W_ij，使把x_i用它的k个近邻点x_j线性表示的误差最小，即通过最小化权值误差矩阵||Xi-W_ijX_j||来求出W_ij，此过程具有O(DNK³)的计算复杂度；最后在保持权值W_ij不变，求x_i在低维空间的象y_i，使得数据在低维重构误差最小，这里的计算复杂度为O(dN²)。

一种高维电力大数据可视化方法如图1所示，包括：

S1采集电网运行的配用电全局全量数据并进行序列化处理，得到高维电力大数据集；

S2基于流形学习的LLE算法对所述高维电力大数据集进行降维处理；

S3将降维处理后的电力大数据进行数据映射后通过发送至可视化平台实现高维电力大数据的可视化。

S1采集电网运行的配用电全局全量数据并进行序列化处理，得到高维电力大数据集；

(1)数据采集阶段

步骤1：对电网运行的配用电全局全量数据进行采集；

步骤2：将采集的元数据进行数据序列化处理，产生高维电力大数据；

步骤3：采用流形学习的LLE算法对高维电力大数据进行降维分析处理。

S2基于流形学习的LLE算法对所述高维电力大数据集进行降维处理；

(2)数据处理阶段(LLE算法降维处理)

步骤1：在高维电力大数据集中，寻找每个样本点x_i的k个近邻点。近邻点的选择一般采用欧式距离来衡量，记样本点x_i的第j个近邻点为x_j(j＝1，2，3，......，k)；

步骤2：由每个样本点x_i的近邻点计算该样本的局部重建权值矩阵W，使重构误差函数g(W)达到最小；若x_i和x_j不是近邻点，则W_ij＝0且∑_iw_ij＝1

用最小二乘法最小化重构成本函数解得

式中η_i和η_k是x_i的近邻点。

步骤3：在低维空间中重构原始数据点，得到低维空间Y中最优构造点y_i，使低维空间重构误差Φ(Y)达到最小，即

式中y_j(j＝1，2，3，......，k)是y_i的第j个近邻点。需要满足： I是d×d单位阵，d是数据降维后的维数。这一步的优化问题可以通过对矩阵M＝(I-W)^T(I-W)的特征值分解得到。

LLE的本征维数估计，在固定样本容量N的条件下，本征维数估计d应该满足约束条件，1≤d≤log₂N。

S3将降维处理后的电力大数据进行数据映射后通过发送至可视化平台实现高维电力大数据的可视化。

(3)数据可视化阶段

步骤一：将处理分析后的电力大数据集合映射到可视化平台；

步骤二：利用可视化平台将数据进行可视化展现，进而对数据进行挖掘和分析。

实施例2：

如附图2所示，基于流形学习的高维电力大数据可视化系统，包括数据采集阶段、数据处理阶段和数据可视化阶段。所述数据采集阶段需要数据采集系统对电网实时运行数据、外部数据(包括社会、经济和气象等数据)和其他数据(如电力用户数据等)的配电网全局全量数据进行采集，然后存储在数据存储系统中；数据处理阶段需要将配电网全局全量数据进行序列化处理送入基于流形学习的LLE算法系统中进行降维处理；数据可视化阶段需要将降维处理后的数据传输到可视化平台，进行深度的挖掘和分析。

该过程的核心技术是通过流形学习的LLE算法对高维电力大数据进行降维处理，保留了原数据的局部几何特征和数据质量，降低了数据的复杂性。因为LLE的核心思想是高维空间数据集的邻域关系与嵌入在高维空间的低维流形上的对应数据集的邻域关系保持不变。

如附图3所示，基于流形学习的LEE算法流程包括三个步骤，首先找出每一个点x_i的近邻点，一般采用k近邻或者ε邻域；进一步计算权值W_ij，使把x_i用它的k个近邻点x_j线性表示的误差最小，即通过最小化权值误差矩阵||X_i-W_ijX_j||来求出W_ij；最后在保持权值W_ij不变，求x_i在低维空间的象y_i，使得数据在低维重构误差最小。

如附图4所示，基于流形学习的高维电力大数据可视化系统实施，该系统包括数据源层，数据的采集、存储和传输层，电力大数据处理层，可视化层和数据的挖掘和分析层。所述的数据源层包括电网运行实时数据，外部数据(社会、经济和气象等数据)和电力用户数据及其他数据组成的配电网全局全量数据。将这些数据通过通信接口机送入信息内网，然后传输到数据库管理系统中；数据库管理系统包括数据传输控制、数据分类控制和数据存储控制，完成对元数据的传输分类和存储；电力大数据处理层是基于流形学习的电力大数据降维算法系统，该系统通过LLE非线性降维算法将高维电力大数据进行降维处理；可视化层包括应用服务器、数据库服务器和对外数据接口等对降维后的电力数据进行展现；数据的挖掘和分析层首先对数据进行一个预处理，具体包括数据集成、数据清洗和特征选择，然后在对数据进行深度的挖掘和分析。实施例3：

实施例3

基于同一种发明构思，本发明还提供了一种高维电力大数据可视化系统，包括：数据处理模块、降维模块和映射模块；

所述数据处理模块：用于采集电网运行的配用电全局全量数据并进行序列化处理，得到高维电力大数据集；

所述降维模块：用于基于流形学习的LLE算法对所述高维电力大数据集进行降维处理；

所述映射模块：用于将降维处理后的电力大数据进行数据映射后通过发送至可视化平台实现高维电力大数据的可视化。

所述降维模块，具体包括：

基于高维电力大数据找出每一个数据的临近点；

使每一个数据和每一个数据的近邻点线性表示的误差最小，得到每个数据的权值；

在保持权值不变，且使低维空间重构误差最小在低维空间中重构原始数据点，

基于所有在低维空间重构的原始数据点，得到降维处理后的电力大数据。

所述降维模块，包括：计算单元、重构误差函数和低维空间重构误差；

所述计算单元：用于由每个数据的近邻点计算所述数据的局部重建权值矩阵，使重构误差函数达到最小，得到每个数据的权值；

所述重构误差函数如下式所示：

式中，x_i和x_j不是近邻数据点；w_ij为x_i与x_ij线性表示的权值；

所述w_ij如下式计算：

其中，

式中，η_i和η_k是x_i的近邻点，为构建的协方差矩阵；

所述低维空间重构误差按下式计算：

式中，y_i为低维空间中最优构造点；y_j为y_i的第j个近邻点；

其中y_i满足：

式中，I是d×d单位阵，d是数据降维后的维数且满足约束条件，1≤d≤log₂N，N为电力数据个数。

显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。

本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

以上仅为本发明的实施例而已，并不用于限制本发明，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均包含在申请待批的本发明的权利要求范围之内。

Claims (10)

1.一种高维电力大数据可视化方法，其特征在于，包括：

采集电网运行的配用电全局全量数据并进行序列化处理，得到高维电力大数据集；

基于流形学习的局部线性嵌入LLE算法对所述高维电力大数据集进行降维处理；

将降维处理后的电力大数据进行数据映射后通过发送至可视化平台实现高维电力大数据的可视化。

2.如权利要求1所述的高维电力大数据可视化方法，其特征在于，所述配用电全局全量数据，包括：基于数据采集系统采集的电网运行实施数据、与电网运行相关的数据；

其中，所述电网运行相关的数据包括：电力用户数据、与电网运行相关的经济数据、社会数据和气象数据。

3.如权利要求1所述的高维电力大数据可视化方法，其特征在于，所述基于流形学习的LLE算法对所述高维电力大数据集进行降维处理，包括：

基于高维电力大数据找出每一个数据的临近点；

使每一个数据和每一个数据的近邻点线性表示的误差最小，得到每个数据的权值；

在保持权值不变，且使低维空间重构误差最小在低维空间中重构原始数据点，

基于所有在低维空间重构的原始数据点，得到降维处理后的电力大数据。

4.如权利要求3所述的高维电力大数据可视化方法，其特征在于，所述使每一个数据和每一个数据的近邻点线性表示的误差最小，得到每个数据的权值，包括：

由每个数据的近邻点计算所述数据的局部重建权值矩阵，使重构误差函数达到最小，得到每个数据的权值。

5.如权利要求4所述的高维电力大数据可视化方法，其特征在于，所述重构误差函数如下式所示：

式中，x_i和x_j不是近邻数据点；w_ij为x_i与x_ij线性表示的权值。

6.如权利要求5所述的高维电力大数据可视化方法，其特征在于，所述权值w_ij如下式计算：

其中，

式中，η_i和η_k是x_i的近邻点，为构建的协方差矩阵。

7.如权利要求3所述的高维电力大数据可视化方法，其特征在于，所述低维空间重构误差按下式计算：

式中，y_i为低维空间中最优构造点；y_j为y_i的第j个近邻点；

其中y_i满足：

式中，I是d×d单位阵，d是数据降维后的维数且满足约束条件，1≤d≤log₂N，N为电力数据个数。

8.一种高维电力大数据可视化系统，其特征在于，包括：数据处理模块、降维模块和映射模块；

所述数据处理模块：用于采集电网运行的配用电全局全量数据并进行序列化处理，得到高维电力大数据集；

所述降维模块：用于基于流形学习的局部线性嵌入LLE算法对所述高维电力大数据集进行降维处理；

所述映射模块：用于将降维处理后的电力大数据进行数据映射后通过发送至可视化平台实现高维电力大数据的可视化。

9.如权利要求8所述的高维电力大数据可视化系统，其特征在于，所述降维模块，具体包括：

基于高维电力大数据找出每一个数据的临近点；

使每一个数据和每一个数据的近邻点线性表示的误差最小，得到每个数据的权值；

在保持权值不变，且使低维空间重构误差最小在低维空间中重构原始数据点，

基于所有在低维空间重构的原始数据点，得到降维处理后的电力大数据。

10.如权利要求9所述的高维电力大数据可视化系统，其特征在于，所述降维模块，包括：计算单元、重构误差函数和低维空间重构误差；

所述计算单元：用于由每个数据的近邻点计算所述数据的局部重建权值矩阵，使重构误差函数达到最小，得到每个数据的权值；

所述重构误差函数如下式所示：

式中，x_i和x_j不是近邻数据点；w_ij为x_i与x_ij线性表示的权值；

所述w_ij如下式计算：

其中，

式中，η_i和η_k是x_i的近邻点，为构建的协方差矩阵；

所述低维空间重构误差按下式计算：

式中，y_i为低维空间中最优构造点；y_j为y_i的第j个近邻点；

其中y_i满足：

式中，I是d×d单位阵，d是数据降维后的维数且满足约束条件，1≤d≤log₂N，N为电力数据个数。