CN113377834A - 一种基于大数据技术的电力数据挖掘分析方法 - Google Patents

Abstract

本发明公开一种基于大数据技术的电力数据挖掘分析方法，涉及电力数据处理领域，包括采用可视化技术以图表的形式展示电力数据；利用ARIMA模型将可视化电力数据的非平稳时间序列转化为稳定的时间序列，并建立平稳时间序列模型；使用神经网络模型对平稳时间序列模型的平稳电力数据进行反复优化，得到满足预定目标的优化结果；采用本发明方法构建的基于大数据技术的电力数据挖掘与分析方法，具备独立性、易度量性、即时性、灵活性和实用性，有助于可视化电力数据，直观了解电网的运行情况，对电网进行实时监控和管理，对大量数据进行分析，深入挖掘海量数据中的相互关系和内在联系，提高电网管理水平。

Description

一种基于大数据技术的电力数据挖掘分析方法

技术领域

本发明涉及领域，具体的是一种基于大数据技术的电力数据挖掘分析方法。

背景技术

目前，数字电网建设正在逐步推进，积累了大量的电力数据。如何利用这些数据，已成为当前电网运行面临的重要挑战。可视化分析技术应用于电力系统，将电力数据以生动直观的图像或图形方式显示，可以帮助理解优化电力系统的行为和性能，造发生电力事故前进行预测和预防或在事故发生时快速做出快速反应，更好地理解用电客户的分布情况及发展趋势、用户用电行为等。从海量的电网数据中挖掘对电网企业有用的信息，是数据挖掘技术的一个新的应用领域。数据挖掘技术是对数字电网运营产生和积累的海量电力数据进行深度挖掘，从中发现数据之间的相关性，指导企业的业务发展。同时，大数据技术的运用也有利于电网智能云平台的建设和电网产业的现代化。在电网企业中，将数据可视化技术与数据挖掘技术相结合，不仅可以对大量数据进行深入分析，而且可以全面提高电网管理的业务水平。虽然该技术还处于起步阶段，但可以预见，它将有非常广泛的应用和非常广阔的应用前景。对于企业来说，经过长时间的信息化教育和建设准备，许多企业已经更加坚定地支持大数据的应用，希望提高业务效率，增强核心竞争力。但是目前对于电力数据的管理仍然比较混乱，展示的数据比较庞杂，对电网的监控与管理水平也比较低下。

发明内容

为解决上述背景技术中提到的不足，本发明的目的在于提供一种基于大数据技术的电力数据挖掘分析方法，本发明有助于可视化电力数据，直观了解电网的运行情况，对电网进行实时监控和管理，对大量数据进行分析，深入挖掘海量数据中的相互关系和内在联系，提高电网管理水平。

本发明的目的可以通过以下技术方案实现：

一种基于大数据技术的电力数据挖掘分析方法，包括以下步骤：

S1、采用可视化技术，获得可视化电力数据；

S2、利用ARIMA模型将所述可视化电力数据的非平稳时间序列转化为平稳的时间序列，并建立平稳时间序列模型；

S3、用神经网络模型对平稳时间序列模型中的平稳电力数据进行反复优化，得到满足预定目标的优化结果。

进一步地，获得可视化电力数据的具体步骤如下：

S1.1、采集电网运行数据、电力客户数据、电网企业管理数据、用户用电的数据，将多个数据合并形成一个数据仓库；通过聚类、删除数据仓库内的冗余数据实现数据压缩，形成电力数据；

S1.2、基于可视化技术的图表组件与电力数据进行可视化交互，获取可视化电力数据；基于可视化技术的图表组件包括饼图、散点图、漏斗图、气泡图、热力学图。

进一步地，所述S2的具体步骤为：

S2.1、识别模型

进行单位根检验和DF单侧检验；

统计量公式：

其中，τ为统计量，t为t分布，S为标准差，φ₁为单位根；

利用自相关系数ACF和偏自相关系数PACF确定ARIMA模型的形式，计算公式如下：

ARIMA模型的判断公式决定了该模型是属于自回归AR模型还是移动平均 MA模型；

自回归AR模型如下所示：

y_t＝c+φ₁y_t-1+φ₂y_t-2+…+φ_py_t-p+e_t

其中，y_t为第t个时间序列，φ_k为在第k个时间序列自回归系数，e_k为第k 个时间序列的白噪声；

移动平均MA模型如下所示：

y_t＝c+θ₁e_t-1+θ₂e_t-2+…+θ_pe_t-q

结合上述公式得到自回归滑动平滑ARIMA模型公式：

y_t＝c+φ₁y_t-1+φ₂y_t-2+…+φ_py_t-p+e_t+θ₁e_t-1+θ₂e_t-2+…+θ_pe_t-q

模型的结构判断如下表所示：

模型结构	AR模型	MA模型	ARIMA模型
				ACF	拖尾	截尾	拖尾
PACF	截尾	拖尾	拖尾

S2.2、通过上述模型利用因变量的滞后值和随机误差项的现值对可视化电力数据进行回归分析，得到平稳电力数据，利用平稳电力数据建立平稳时间序列模型。

进一步地，所述S3中神经网络模型的神经元与外部神经元的输入信号相连，并通过权值连接进行传输，表达式为：

其中，f为神经元的激活函数，y为输出神经元，w为神经元的权重，x为输入神经元，θ是输出层偏置，i为神经元数量；

在将输入层神经元输入后，原始数据将逐层传输到最终的输出层结果，并计算输出层误差，将误差传播回隐含神经层后，不断调整连接权值和阈值，反复迭代后达到预期误差收敛；

隐含层b_n的输入和输出表达式如下：

对于输出神经元k：

x是输入层，v是输入层的隐含层的权重值,，w是输出层权值，y是输出层神经元，θ是输出层的阈值。

一种用于电力数据挖掘的神经网络模型，包括输入层、隐含层以及输出层，所述神经网络模型实现上述分析方法。

本发明的有益效果：

本发明在数据挖掘和可视化之前，对源数据进行了预处理，实现对数据的业务理解，基于可视化技术将数据以图表的形式显示出来，利用ARIMA模型将非平稳时间序列转化为稳定时间序列，利用神经网络模型对原始数据进行反复优化，从而得到满足预定目标的优化结果，更好地实现数据挖掘和处理，采用本发明方法构建的数据挖掘与分析方法进行评估，具备独立性、易度量性、即时性、灵活性和实用性，有助于可视化电力数据，直观了解电网的运行情况，对电网进行实时监控和管理，对大量数据进行分析，深入挖掘海量数据中的相互关系和内在联系，提高电网管理水平。

附图说明

下面结合附图对本发明作进一步的说明。

图1是本发明流程示意图；

图2是本发明虚拟数据集建模技术的流程图；

图3是本发明ARIMA模型图；

图4是本发明神经网络结构图；

图5是配变电时间节点的负荷趋势；

图6是时间节点负荷数据变化。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。

一种基于大数据技术的电力数据挖掘分析方法，如图1和2所示，包括如下步骤：

S1：对原始的海量数据进行过滤，对数据进行预处理，包括数据类型的转换，数据的清洗、缺省值的处理和数据集成，明显错漏数据进行加权平均补全，选择典型的有代表性的数据，电网运行数据、电力客户数据、电网企业管理数据、用户用电等数据经采集设备采集后，存储在大数据平台中，对来自不同来源的数据进行识别、分析和合并，将多个数据继承并合并成一个统一的数据存储，形成一个数据仓库或数据方。通过聚类、删除冗余特征数据实现数据压缩；并采用可视化技术以图表的形式展示电力数据。信息可视化技术主要包括两个过程，一是将数据转换成人们容易理解和接受的可视化图形，二是利用人机交互使用户获取信息的各个阶段的信息数据转换。使用数据立方体建模技术实现电力系统数据信息的可视化，通过视图关联将所有的维度和指标关联到一个虚拟数据集中，并将视图中的列字段指定为指标或维度。使用海量数据全景实时回放技术，实现海量数据的高性能存储，并在服务端通过GPU并行计算实现索引映射，实现毫秒级的全景尺度数据可视化显示。可用于播放时间序列的全景热力图并显示动画效果。此外，可视化显示地图数据、地理位置坐标，利用数据分析结果实现可视化渲染显示。

S2：利用ARIMA模型将非平稳时间序列转化为平稳的时间序列，利用因变量的滞后值和随机误差项的现值对原有的电力数据进行回归分析，得到平稳电力数据。利用平稳电力数据可以建立平稳时间序列模型，主要有差分法和对数法；

首先进行单位根检验和DF单侧检验。设序列的非平稳状态为H₀，表达式为|φ₁|≥1，序列的平稳状态为H₁，表达式为|φ₁|＜1。由此得出统计量公式：

其中，τ为统计量，t为t分布，S为标准差；

然后利用ACF和PACF确定ARIMA模型的形式，计算公式如下：

ARIMA模型的判断公式决定了该模型是属于AR模型还是MA模型。

AR模型如下所示：

y_t＝c+φ₁y_t-1+φ₂y_t-2+…+φ_py_t-p+e_t

MA模型如下所示：

y_t＝c+θ₁e_t-1+θ₂e_t-2+…+θ_pe_t-q

结合上述公式得到ARIMA模型公式：

y_t＝c+φ₁y_t-1+φ₂y_t-2+…+φ_py_t-p+e_t+θ₁e_t-1+θ₂e_t-2+…+θ_pe_t-q

模型的结构判断如下表所示：

S3：使用神经网络模型对数据进行反复优化，得到满足预定目标的优化结果。

以图4中的神经元为例，该结构中的神经元与外部三个神经元的输入信号相连，并通过权值连接进行传输。w₁,w₂,w₃为神经元的权重，x₁，x₂，x₃为输入神经元，y为输出神经元。设神经元的激活函数为f，输出神经元的表达式为：

将输入层神经元输入后，原始数据将逐层传输到最终的输出层结果，并计算输出层误差。将误差传播回隐含神经层后，不断调整连接权值和阈值，反复迭代后达到预期误差收敛。这个过程如图3所示。x₁，x₂，x₃是输入层,v₁，v₂， v₃是输入层的隐含层的权重值,w₁，w₂，w₃是输出层权值，y₁，y₂，y₃是输出层神经元,，θ₁，θ₂，θ₃是输出层的阈值。隐含层b_n的输入和输出表达式如下：

对于输出神经元k：

下面结合具体实施例采用本发明构建的基于大数据技术的电力数据挖掘与分析方法进行评估计算，以下实施例仅用于更加清楚地说明本发明的技术方案，而不能以此来限制本发明的保护范围。

对某一区域的用电量进行实时负荷监控。监控结果以曲线图的方式显示，支持历史回放和按时间轴回放。可以对配电负荷进行多维统计，并以图表的形式展示给用户。用户还可以对热力图进行放大、缩小、翻译等操作，并在监控过程中实现热力图、统计图和总负荷曲线的联动。系统的热力图可以显示整个区域的负荷分布，查看历史负荷数据，并通过时间轴的调整播放历史负荷数据。本实施例计算2020年某一时间点的配电变压器测量点负荷亮度值，并按15min 显示具体变化趋势，如图5和图6所示。通过这些图标，可以监控不同的电压水平，并查看单个配电变压器的负荷。

在本说明书的描述中，参考术语“一个实施例”、“示例”、“具体示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。

本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、 CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和 /或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/ 或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

最后应当说明的是：以上实施例仅用以说明本发明的技术方案而非对其限制，尽管参照上述实施例对本发明进行了详细的说明，所属领域的普通技术人员应当理解：依然可以对本发明的具体实施方式进行修改或者等同替换，而未脱离本发明精神和范围的任何修改或者等同替换，其均应涵盖在本发明的权利要求保护范围之内。

Claims (8)

1.一种基于大数据技术的电力数据挖掘分析方法，其特征在于，包括以下步骤：

S1、采用可视化技术，获得可视化电力数据；

S2、利用ARIMA模型将所述可视化电力数据的非平稳时间序列转化为平稳的时间序列，并建立平稳时间序列模型；

S3、用神经网络模型对平稳时间序列模型中的平稳电力数据进行优化，得到满足预定目标的优化结果。

2.根据权利要求1所述的一种基于大数据技术的电力数据挖掘分析方法，其特征在于，获取可视化电力数据的具体步骤如下：

S1.1、采集电网运行数据、电力客户数据、电网企业管理数据、用户用电的数据，将多个数据合并形成一个数据仓库；通过聚类、删除数据仓库内的冗余数据实现数据压缩，形成电力数据；

S1.2、基于可视化技术的图表组件与电力数据进行可视化交互，获取可视化电力数据；基于可视化技术的图表组件包括饼图、散点图、漏斗图、气泡图、热力学图。

3.根据权利要求1所述的一种基于大数据技术的电力数据挖掘分析方法，其特征在于，所述S2的具体步骤为：

S2.1、识别模型

进行单位根检验和DF单侧检验；

统计量公式：

其中，τ为统计量，t为t分布，S为标准差，φ₁为单位根；

利用自相关系数ACF和偏自相关系数PACF确定ARIMA模型的形式，计算公式如下：

ARIMA模型的判断公式决定了该模型是属于自回归AR模型还是移动平均MA模型；

自回归AR模型如下所示：

y_t＝c+φ₁y_t-1+φ₂y_t-2+…+φ_py_t-p+e_t

其中，y_t为第t个时间序列，φ_k为在第k个时间序列自回归系数，e_k为第k个时间序列的白噪声；

移动平均MA模型如下所示：

y_t＝c+θ₁e_t-1+θ₂e_t-2+…+θ_pe_t-q

结合上述公式得到自回归滑动平滑ARIMA模型公式：

y_t＝c+φ₁y_t-1+φ₂y_t-2+…+φ_py_t-p+e_t+θ₁e_t-1+θ₂e_t-2+…+θ_pe_t-q

模型的结构判断如下表所示：

模型结构 AR模型 MA模型 ARIMA模型 ACF 拖尾 截尾 拖尾 PACF 截尾 拖尾 拖尾

S2.2、通过上述模型对可视化电力数据进行回归分析，得到平稳电力数据，利用平稳电力数据建立平稳时间序列模型。

4.根据权利要求1所述的一种基于大数据技术的电力数据挖掘分析方法，其特征在于，所述S3中神经网络模型的神经元与外部神经元的输入信号相连，并通过权值连接进行传输，表达式为：

其中，f为神经元的激活函数，y为输出神经元，w为神经元的权重，x为输入神经元，θ是输出层偏置，i为神经元数量；

在将输入层神经元输入后，原始数据将逐层传输到最终的输出层结果，并计算输出层误差，将误差传播回隐含神经层后，不断调整连接权值和阈值，反复迭代后达到预期误差收敛；

隐含层b_n的输入和输出表达式如下：

对于输出神经元k：

x是输入层，v是输入层的隐含层的权重值，w是输出层权值，y是输出层神经元，θ是输出层的阈值。

5.一种基于大数据技术的电力数据挖掘分析装置，其特征在于，包括数据获取模块：采用可视化技术，获得可视化电力数据；

模型建立模块：利用ARIMA模型将所述可视化电力数据的非平稳时间序列转化为平稳的时间序列，并建立平稳时间序列模型；

数据优化模块：用神经网络模型对平稳时间序列模型中的平稳电力数据进行优化，得到满足预定目标的优化结果。

6.根据权利要求5所述的一种基于大数据技术的电力数据挖掘分析装置，其特征在于，所述数据获取模块通过采集电网运行数据、电力客户数据、电网企业管理数据、用户用电的数据，将多个数据合并形成一个数据仓库；通过聚类、删除数据仓库内的冗余数据实现数据压缩，形成电力数据；

基于可视化技术的图表组件与电力数据进行可视化交互，获取可视化电力数据；基于可视化技术的图表组件包括饼图、散点图、漏斗图、气泡图、热力学图。

7.根据权利要求5所述的一种基于大数据技术的电力数据挖掘分析装置，其特征在于，所述模型建立模块通过识别模型

进行单位根检验和DF单侧检验；

统计量公式：

其中，τ为统计量，t为t分布，S为标准差，φ₁为单位根，电力数据时间序列的非平稳状态为H₀，|φ₁|≥1，序列的平稳状态为H₁，|φ₁|＜1；

利用自相关系数ACF和偏自相关系数PACF确定ARIMA模型的形式，计算公式如下：

ARIMA模型的判断公式决定了该模型是属于自回归AR模型还是移动平均MA模型；

自回归AR模型如下所示：

y_t＝c+φ₁y_t-1+φ₂y_t-2+…+φ_py_t-p+e_t

其中，y_t为第t个时间序列，φ_k为在第k个时间序列自回归系数，e_k为第k个时间序列的白噪声；

移动平均MA模型如下所示：

y_t＝c+θ₁e_t-1+θ₂e_t-2+…+θ_pe_t-q

结合上述公式得到自回归滑动平滑ARIMA模型公式：

y_t＝c+φ₁y_t-1+φ₂y_t-2+…+φ_py_t-p+e_t+θ₁e_t-1+θ₂e_t-2+…+θ_pe_t-q

模型的结构判断如下表所示：

模型结构 AR模型 MA模型 ARIMA模型 ACF 拖尾 截尾 拖尾 PACF 截尾 拖尾 拖尾

通过上述模型对可视化电力数据进行回归分析，得到平稳电力数据，利用平稳电力数据建立平稳时间序列模型。

8.根据权利要求5所述的一种基于大数据技术的电力数据挖掘分析装置，其特征在于，所述数据优化模块通过神经网络模型的神经元与外部神经元的输入信号相连，并通过权值连接进行传输，表达式为：

其中，f为神经元的激活函数，y为输出神经元，w为神经元的权重，x为输入神经元，θ是输出层偏置，i为神经元数量；

在将输入层神经元输入后，原始数据将逐层传输到最终的输出层结果，并计算输出层误差，将误差传播回隐含神经层后，不断调整连接权值和阈值，反复迭代后达到预期误差收敛；

隐含层b_n的输入和输出表达式如下：

对于输出神经元k：

x是输入层，v是输入层的隐含层的权重值，w是输出层权值，y是输出层神经元，θ是输出层的阈值。

Images