CN111556108B - 基于云平台的电力大数据采集系统和方法 - Google Patents

Abstract

本发明公开了一种基于云平台的电力大数据采集系统和方法，其中系统包括层级连接的两级云，第一级云包括至少一个子云平台，第二级云包括一个汇总云平台，各子云平台与各划分区域的电力系统一区、二区和三区相连，用于提取电力数据并将提取的电力数据发送到汇总云平台；汇总云平台分别与第一级云的各个子云平台相连，用于接收各子云平台提取的电力数据。本发明采用子云平台和汇总云平台的多级云连接，由子云平台采集省级电力系统三区的电力数据上传到汇总云平台，各子云端可主动订阅上级云端的数据上送范围，根据上送范围主动向汇总云端发送电力大数据，实现电力大数据的云端汇集，促进了大数据技术与电网调控领域应用的融合。

Description

基于云平台的电力大数据采集系统和方法

技术领域

本发明属于电网运行管理技术领域，具体涉及一种基于云平台的电力大数据采集方法。

背景技术

随着我国特高压电网建设、新能源集中接入、电力市场改革的全面推进，电网调控运行面临新的形势和挑战，智能电网调度控制系统的业务范围快速扩大，数据来源增多，数据类型多样，数据规模急剧增大，调控系统数据的“大数据”特征日益明显。

电网调控领域大数据不仅具有“速度快、类型多、体量大”特征，并且关联紧密、实时性强，因此IT业界大数据技术不能直接应用于电网调控领域，亟需开展基于云平台的大数据采集支撑技术研究，推动大数据技术在智能电网调控业务的应用，支撑调控系统 I、II、III 区各类业务对大数据的应用需求，提高电网调度控制系统的数据服务能力，进一步提升对电网运行的技术支撑水平。

发明内容

针对上述问题，本发明提出一种基于云平台的电力大数据采集系统和方法。

实现上述技术目的，达到上述技术效果，本发明通过以下技术方案实现：

一方面，本发明提供一种基于云平台的电力大数据采集系统，包括层级连接的两级云，第一级云包括至少一个子云平台，第二级云包括一个汇总云平台， 所述各子云平台与各划分区域的电力系统一区、二区和三区相连，用于提取电力数据并将提取的电力数据发送到汇总云平台；所述汇总云平台分别与第一级云的各个子云平台相连，用于接收各子云平台提取的电力数据。

进一步地，所述子云平台包括依次连接的第一数据抽取服务器、第一消息总线服务器、第一云数据汇集服务器、第一云数据库服务器和第二数据抽取服务器；所述第一数据抽取服务器与电力系统一区、二区和三区相连，用于抽取电力数据；所述第一消息总线服务器，用于将第一数据抽取服务器抽取的电力数据发送到第一云数据汇集服务器；所第一云数据汇集服务器，用于将通过第一消息总线服务器汇集到的电力数据发送到第一云数据库服务器；所述第二数据抽取服务器与汇总云平台连接，用于将抽取的数据发送至汇总云平台。

进一步地，所述汇总云平台包括依次连接的第二消息总线服务器、第二云数据汇集服务器和第二云数据库服务器；所述第二消息总线服务器与各个子云平台连接用于将各个子云平台提取的电力数据发送到第二云数据汇集服务器，所述第二云数据汇集服务器，用于通过第二消息总线服务器汇集到的电力数据发送到第二云数据库服务器。

第二方面，本发明提供基于云平台的电力大数据采集方法，包括：设置层级连接的两级云，第一级云包括至少一个子云平台，第二级云包括一个汇总云平台，

将各子云平台与各划分区域的电力系统一区、二区和三区相连，将所述汇总云平台分别与第一级云的各个子云平台相连；通过各子云平台提取电力数据并将提取的电力数据发送到汇总云平台；通过汇总云平台接收各子云平台提取的电力数据。

进一步地，包括以下步骤：所述各子云平台为各省级云，所述汇总云平台为国分云；

所述省级云包括依次连接的第一数据抽取服务器、内部消息总线服务器、省级云数据汇集服务器、省级云数据库服务器和第二数据抽取服务器；所述国分云包括依次连接的广域消息总线服务器、国分云数据汇集服务器和国分云数据库服务器；所述第一数据抽取服务器从省级电力系统三区各子系统抽取电力数据后，根据省级云关键字映射规则，将分散的电力数据转换为统一的云平台电力大数据，经TCP链接，以消息的方式发送至省级云内部消息总线服务器；省级云数据汇集服务器，经TCP链接轮询内部消息总线服务器，当收到汇集的电力大数据后，进行解析，并通过省级云数据库服务器，写入数据库中，完成省级云侧的电力大数据汇集;

第二数据抽取服务器周期从省级云抽取电力大数据后，经TCP链接，以消息的方式发送至国分云广域消息总线服务器；

国分云数据汇集服务器，经TCP链接轮询广域消息总线服务器，当收到汇集的电力大数据后，进行解析，并通过国分云数据库服务器，写入国分云服务器数据库中，完成国分云侧的电力大数据汇集。

本发明的有益效果：

本发明公开了一种基于云平台的电力大数据采集系统和方法，采用子云平台和汇总云平台的多级云连接，由子云平台采集省级电力系统三区的电力数据上传到汇总云平台，各子云端可主动订阅上级云端的数据上送范围，根据上送范围主动向汇总云端发送电力大数据，实现电力大数据的云端汇集。本发明能够在遵循《电力监控系统安全防护规定》的前提下实现电力大数据的采集，促进了大数据技术与电网调控领域应用的融合，对调控系统技术进步产生极大的推动作用。

附图说明

图1为本发明基于云平台的电力大数据采集系统的结构示意图；

图2为本发明一种实施例的基于云平台的电力大数据采集系统的结构示意图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

下面结合附图对本发明的应用原理作详细的描述。

实施例1、一种基于云平台的电力大数据采集系统，如图1所示，包括层级连接的两级云，第一级云包括至少一个子云平台，第二级云包括一个汇总云平台， 所述各子云平台与各划分区域的电力系统一区、二区和三区相连，用于提取电力数据并将提取的电力数据发送到汇总云平台；所述汇总云平台分别与第一级云的各个子云平台相连，用于接收各子云平台提取的电力数据。

本实施例中，各子云平台为各省级云，所述汇总云平台为国分云。具体实施例中，可选地子云平台为省级云，汇总云平台为国分云，通过各省级云采集省级电力数据并上传至国分云进行汇总，促进了大数据技术与电网调控领域应用的融合，对调控系统技术进步产生极大的推动作用。

实施例2、在实施例1的基础上，本实施例中所述子云平台包括依次连接的第一数据抽取服务器、第一消息总线服务器、第一云数据汇集服务器、第一云数据库服务器和第二数据抽取服务器；所述第一数据抽取服务器与电力系统一区、二区和三区相连，用于抽取电力数据；所述第一消息总线服务器，用于将第一数据抽取服务器抽取的电力数据发送到第一云数据汇集服务器；所第一云数据汇集服务器，用于将通过第一消息总线服务器汇集到的电力数据发送到第一云数据库服务器；所述第二数据抽取服务器与汇总云平台连接，用于将抽取的数据发送至汇总云平台。

本实施例中地子云平台为省级云，汇总云平台为国分云，省级云包括依次连接的第一数据抽取服务器、内部消息总线服务器、省级云数据汇集服务器、省级云数据库服务器和第二数据抽取服务器。

可选地，内部消息总线服务器采用内部消息总线服务器基于KafKa消息总线进行消息传输，具体过程为：

所述第一数据抽取服务器作为Producer，将电力系统三区各子系统的电力数据转化后发布到内部消息总线服务器数据汇集Topic；

所述省级云数据汇集服务器作为Consumer，从内部消息总线服务器数据汇集Topic中读取汇集的电力大数据。

实施例3、在实施例1的基础上，本实施例中所述汇总云平台包括依次连接的第二消息总线服务器、第二云数据汇集服务器和第二云数据库服务器；所述第二消息总线服务器与各个子云平台连接用于将各个子云平台提取的电力数据发送到第二云数据汇集服务器，所述第二云数据汇集服务器，用于通过第二消息总线服务器汇集到的电力数据发送到第二云数据库服务器。本实施例中的子云平台为省级云，汇总云平台为国分云，国分云具体包括:广域消息总线服务器，国分云数据汇集服务器和国分云数据库库服务器。可选地，所述广域消息总线服务器基于KafKa消息总线进行消息传输，具体过程为：

所述第二数据抽取服务器作为Producer，将省级云的电力大数据抽取后发布到广域消息总线服务器数据汇集Topic；所述国分云数据汇集服务器作为Consumer，从广域消息总线服务器数据汇集Topic中读取汇集的电力大数据。

实施例4、如图2所示，在实施例1的基础上，本实施例中，子云平台为省级云，汇总云平台为国分云。所述省级云包括依次连接的第一数据抽取服务器、内部消息总线服务器（即省级内部消息总线服务器）、省级云数据汇集服务器、省级云数据库服务器和第二数据抽取服务器；所述国分云包括依次连接的广域消息总线服务器、国分云数据汇集服务器和国分云数据库服务器；所述第一数据抽取服务器与电力系统一区、二区和三区相连，用于抽取电力数据；所述第一消息总线服务器，用于将第一数据抽取服务器抽取的电力数据发送到省级云数据汇集服务器；所述省级云数据汇集服务器，用于将通过内部消息总线服务器汇集到的电力数据发送到省级云数据库服务器；所述第二数据抽取服务器与汇总云平台(本实施例中为国分云)中的广域消息总线服务器连接，用于将从省级云数据库服务器抽取的数据发送至汇总云平台中的国分云数据汇集服务器；所述国分云数据汇集服务器，用于通过广域消息总线服务器汇集到的电力数据发送到国分云数据库服务器。在本发明实施例中，所述内部消息总线服务器基于KafKa消息总线进行消息传输，具体过程为：所述第一数据抽取服务器作为Producer，将电力系统三区各子系统的电力数据转化后发布到内部消息总线服务器数据汇集Topic；所述省级云数据汇集服务器作为Consumer，从内部消息总线服务器数据汇集Topic中读取汇集的电力大数据。在本发明实施例中，所述广域消息总线服务器基于KafKa消息总线进行消息传输，具体过程为：所述第二数据抽取服务器作为Producer，将省级云的电力大数据抽取后发布到广域消息总线服务器数据汇集Topic；所述国分云数据汇集服务器作为Consumer，从广域消息总线服务器数据汇集Topic中读取汇集的电力大数据。

实施例5、基于云平台的电力大数据采集方法，包括：设置层级连接的两级云，第一级云包括至少一个子云平台，第二级云包括一个汇总云平台， 将各子云平台与各划分区域的电力系统一区、二区和三区相连，将所述汇总云平台分别与第一级云的各个子云平台相连；通过各子云平台提取电力数据并将提取的电力数据发送到汇总云平台；通过汇总云平台接收各子云平台提取的电力数据。

实施例6、在实施例5的基础上，所述各子云平台为各省级云，所述汇总云平台为国分云；所述省级云包括依次连接的第一数据抽取服务器、内部消息总线服务器、省级云数据汇集服务器、省级云数据库服务器和第二数据抽取服务器；所述国分云包括依次连接的广域消息总线服务器、国分云数据汇集服务器和国分云数据库服务器；

所述第一数据抽取服务器从省级电力系统三区各子系统抽取电力数据后，根据省级云关键字映射规则，将分散的电力数据转换为统一的云平台电力大数据，经TCP链接，以消息的方式发送至省级云内部消息总线服务器；

省级云数据汇集服务器，经TCP链接轮询内部消息总线服务器，当收到汇集的电力大数据后，进行解析，并通过省级云数据库服务器，写入数据库中，完成省级云侧的电力大数据汇集；

第二数据抽取服务器周期从省级云抽取电力大数据后，经TCP链接，以消息的方式发送至国分云广域消息总线服务器；

国分云数据汇集服务器，经TCP链接轮询广域消息总线服务器，当收到汇集的电力大数据后，进行解析，并通过国分云数据库服务器，写入国分云服务器数据库中，完成国分云侧的电力大数据汇集。

在本发明实施例中，所述内部消息总线服务器基于KafKa消息总线进行消息传输，具体过程为：

所述第一数据抽取服务器作为Producer，将电力系统三区各子系统的电力数据转化后发布到内部消息总线服务器数据汇集Topic；

所述省级云数据汇集服务器作为Consumer，从内部消息总线服务器数据汇集Topic中读取汇集的电力大数据。

在本发明实施例中，所述广域消息总线服务器基于KafKa消息总线进行消息传输，具体过程为：

所述第二数据抽取服务器作为Producer，将省级云的电力大数据抽取后发布到广域消息总线服务器数据汇集Topic；

所述国分云数据汇集服务器作为Consumer，从广域消息总线服务器数据汇集Topic中读取汇集的电力大数据；

综上所述，本发明公开了一种基于云平台的电力大数据采集系统和方法，以电网调度控制云平台为基础，采用各省级云和国分云的多级云连接，由省级云采集省级电力系统三区的电力数据上传到国分云端，省地云端可主动订阅国分云端的数据上送范围，根据上送范围主动向国分云端发送电力大数据，实现电力大数据的云端汇集。国分云端基于广域消息总线，接收省地云端上送的数据报文，完成云端数据接收与存储，该发明符合了《电力监控系统安全防护规定》“安全分区、网络专用、横向隔离、纵向认证”的安全规范，实现了电力数据的跨网段的传输，促进了大数据技术与电网调控领域应用的融合，对调控系统技术进步产生极大的推动作用。

本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质（包括但不限于磁盘存储器、CD-ROM、光学存储器等）上实施的计算机程序产品的形式。

本申请是参照根据本申请实施例的方法、设备（系统）、和计算机程序产品的流程图和／或方框图来描述的。应理解可由计算机程序指令实现流程图和／或方框图中的每一流程和／或方框、以及流程图和／或方框图中的流程和／或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功 能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能的步骤。

以上结合附图对本发明的实施例进行了描述，但是本发明并不局限于上述的具体实施方式，上述的具体实施方式仅仅是示意性的，而不是限制性的，本领域的普通技术人员在本发明的启示下，在不脱离本发明宗旨和权利要求所保护的范围情况下，还可做出很多形式，这些均属于本发明的保护之内。

Claims (5)

1.一种基于云平台的电力大数据采集系统，其特征在于：包括层级连接的两级云，第一级云包括至少一个子云平台，第二级云包括一个汇总云平台，

所述各子云平台与各划分区域的电力系统一区、二区和三区相连，用于提取电力数据并将提取的电力数据发送到汇总云平台；所述汇总云平台分别与第一级云的各个子云平台相连，用于接收各子云平台提取的电力数据；

所述汇总云平台包括依次连接的第二消息总线服务器、第二云数据汇集服务器和第二云数据库服务器；所述第二消息总线服务器与各个子云平台连接用于将各个子云平台提取的电力数据发送到第二云数据汇集服务器，所述第二云数据汇集服务器，用于通过第二消息总线服务器汇集到的电力数据发送到第二云数据库服务器；

所述各子云平台为各省级云，所述汇总云平台为国分云；

所述子云平台包括依次连接的第一数据抽取服务器、第一消息总线服务器、第一云数据汇集服务器、第一云数据库服务器和第二数据抽取服务器；

所述第一数据抽取服务器与电力系统一区、二区和三区相连，用于抽取电力数据；所述第一消息总线服务器，用于将第一数据抽取服务器抽取的电力数据发送到第一云数据汇集服务器；所第一云数据汇集服务器，用于将通过第一消息总线服务器汇集到的电力数据发送到第一云数据库服务器；所述第二数据抽取服务器与汇总云平台连接，用于将抽取的数据发送至汇总云平台。

2.根据权利要求1所述的基于云平台的电力大数据采集系统，其特征在于：所述第一数据抽取服务器从电力系统三区各子系统抽取电力数据后，根据所在的子云平台的云关键字映射规则，将分散的电力数据转换为统一的子云平台电力大数据，经TCP链接，以消息的方式发送至所在子云平台的第一消息总线服务器。

3.根据权利要求1所述的基于云平台的电力大数据采集系统，其特征在于：所述第一消息总线服务器为子云平台内部消息总线服务器，所述内部消息总线服务器用于基于KafKa消息总线进行消息传输。

4.根据权利要求1所述的基于云平台的电力大数据采集系统，其特征在于：所述第二消息总线服务器为广域消息总线服务器，所述广域消息总线服务器用于基于KafKa消息总线进行消息传输。

5.基于云平台的电力大数据采集方法，其特征在于，包括：设置层级连接的两级云，第一级云包括至少一个子云平台，第二级云包括一个汇总云平台，

将各子云平台与各划分区域的电力系统一区、二区和三区相连，将所述汇总云平台分别与第一级云的各个子云平台相连；通过各子云平台提取电力数据并将提取的电力数据发送到汇总云平台；通过汇总云平台接收各子云平台提取的电力数据；

所述各子云平台为各省级云，所述汇总云平台为国分云；

所述省级云包括依次连接的第一数据抽取服务器、内部消息总线服务器、省级云数据汇集服务器、省级云数据库服务器和第二数据抽取服务器；所述国分云包括依次连接的广域消息总线服务器、国分云数据汇集服务器和国分云数据库服务器；

所述第一数据抽取服务器从省级电力系统三区各子系统抽取电力数据后，根据省级云关键字映射规则，将分散的电力数据转换为统一的云平台电力大数据，经TCP链接，以消息的方式发送至省级云内部消息总线服务器；

省级云数据汇集服务器，经TCP链接轮询内部消息总线服务器，当收到汇集的电力大数据后，进行解析，并通过省级云数据库服务器，写入数据库中，完成省级云侧的电力大数据汇集；

第二数据抽取服务器周期从省级云抽取电力大数据后，经TCP链接，以消息的方式发送至国分云广域消息总线服务器；

国分云数据汇集服务器，经TCP链接轮询广域消息总线服务器，当收到汇集的电力大数据后，进行解析，并通过国分云数据库服务器，写入国分云服务器数据库中，完成国分云侧的电力大数据汇集。