CN114003602A - 电网监测数据处理系统 - Google Patents

Abstract

本申请涉及一种电网监测数据处理系统。该系统以kafka和HAWQ为主要技术载体，实现了对电网监测数据进行高运算性能的分析和处理。所述系统包括：源数据获取模块，用于从电力数据监测系统获取原始监测数据；消息队列生成模块，用于基于kafka对原始监测数据处理后得到消息队列，其中，kafka主题是根据所述原始监测数据分类所确定的；消费解析模块，用于根据用户消费指令解析消费指令对应的kafka主题数据，并将解析后的数据存储至数据仓储平台；数据仓储平台，用于基于HAWQ对解析后的数据进行处理和存储。

Description

电网监测数据处理系统

技术领域

本申请涉及智能电网技术领域，特别是涉及一种电网监测数据处理系统。

背景技术

随着智能电网领域的发展，具备三遥系统的电力设备装置已在许多地区实现覆盖。因此，智能电网领域中的各业务系统运行数据量呈几何式增长，特别是设备重过载分析过程中需要涉及的负荷数据，因为负荷数据基数比较大，采用现有业务系统对其进行分析处理会导致数据处理过程中存在运算性能不佳的问题。

发明内容

基于此，有必要针对上述技术问题，提供一种具有高运算性能的电网监测数据处理系统。

本申请实施例提供了一种电网监测数据处理系统，该系统包括：源数据获取模块，消息队列生成模块，消费解析模块和数据仓储平台；

源数据获取模块，用于从电力数据监测系统获取原始监测数据；

消息队列生成模块，用于基于kafka对原始监测数据处理后得到消息队列，其中，kafka主题是根据原始监测数据分类所确定的；

消费解析模块，用于根据用户消费指令解析所述消费指令对应的kafka主题数据，并将解析后的数据存储至数据仓储平台；

数据仓储平台，用于基于HAWQ对解析后的数据进行处理和存储。

在其中一个实施例中，上述系统还包括：

kafka主题确定模块，用于根据原始监测数据的数据表确定kafka主题。

在其中一个实施例中，上述原始监测数据包括电压数据和电流数据，上述系统还包括：

电网过载判断模块，用于查询并获取数据仓储平台存储的经处理后的电压数据和电流数据，并根据处理后的电压数据和电流数据判断是否发生电网过载事件。

在其中一个实施例中，上述系统还包括：

电网过载判断模块，用于查询并获取数据仓储平台存储的经处理后的电压数据和电流数据，并根据处理后的电压数据和电流数据判断是否发生电网过载事件。

在其中一个实施例中，上述电网过载判断模块包括：

负载率关联指标汇总单元，用于利用负载率计算模型和所述处理后的电压数据和电流数据计算得到负载率计算模型中的分子指标，并分别将分子指标和分母指标存储于不同的表中，其中，分母指标为额定容量；

负载率指标生成单元，用于基于负载率计算模型所反映的关联关系，将负载率关联指标汇总单元中分别用于存储分子指标和分母指标的表进行关联计算得到负载率指标，负载率指标用于表征是否发生电网过载事件。

在其中一个实施例中，上述电网过载事件包括馈线重过载和配变重过载。

在其中一个实施例中，上述消费指令包括第一消费指令和第二消费指令；所述消费解析模块包括：

第一消费解析单元，用于接收到所述第一消费指令时，解析全部所述kafka主题数据；

第二消费解析单元，用于在接收到所述第二消费指令时，解析最新获得的所述kafka主题数据，所述最新获得的所述kafka主题数据是指上次消费解析至此次接收到所述第二消费指令之间的所述kafka主题数据。

在其中一个实施例中，上述数据仓储平台包括：

数据存放模块，用于存放第一数据至HAWQ中的数据引入层；第一数据为解析后的数据，数据引入层为数据分层后最接近源数据的一层；

数据处理模块，用于利用HAWQ中的明细层对第一数据进行处理得到第二数据；

汇总模块，用于利用HAWQ中的轻度汇总层对第二数据进行汇总，得到汇总后的数据，并将汇总后的数据传输至电网过载判断模块。

在其中一个实施例中，上述数据处理模块包括：

时间维度扩展单元，用于利用HAWQ中的明细层向第一数据加入时间维度信息以得到第二数据。

在其中一个实施例中，上述数据仓储平台还包括：

数据清洗模块，用于对第一数据进行清洗，清洗包括去除空数据和离群值。

在其中一个实施例中，上述系统还包括：

分布式文件系统，用于从所述消息队列生成模块获取并存储所述消息队列，并用于在所述数据仓储平台接收到查询指令时反馈所述消息队列至所述数据仓库平台。

上述电网监测数据处理系统，以kafka和HAWQ为主要技术载体，通过源数据获取模块从电力数据监测系统获取原始监测数据，通过消息队列生成模块基于kafka对所述原始监测数据处理后得到消息队列，通过消费解析模块根据用户消费指令解析所述消费指令对应的kafka主题数据，并将解析后的数据存储至所述数据仓储平台以及通过数据仓储平台基于HAWQ对所述解析后的数据进行处理和存储，基于kafka高吞吐量的特性以及HAWQ极高的查询性能优势，实现了对电网监测数据进行高运算性能的分析和处理。

附图说明

图1为一个实施例中电网监测数据处理系统的系统架构图；

图2为一个实施例中消费解析模块的结构框图；

图3为另一个实施例中电网监测数据处理系统的系统架构图；

图4为一个实施例中电网过载判断模块的结构框图；

图5为一个实施例中数据仓储平台的系统架构图；

图6为一个实施例中计算机设备的内部结构图。

具体实施方式

为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。

在一个实施例中，如图1所示，提供了一种电网监测数据处理系统，该系统包括：源数据获取模块200，消息队列生成模块400，消费解析模块600和数据仓储平台800；

源数据获取模块200，用于从电力数据监测系统获取原始监测数据。

其中，电力数据监测系统包括变电站气象实况监测系统、变压器油气状态监测系统、电缆环流监测系统、线路运行状态监测系统和主变运行状态监测系统等。

其中，原始监测数据包括电压数据、电流数据和气象数据等。

不同监测系统可以设置不同的监测数据采集频率，因此，当监测数据采集频率较高时，原始监测数据量非常大。kafka允许使用者在需要时使用数据。

消息队列生成模块400，用于基于kafka对原始监测数据处理后得到消息队列，其中，kafka主题是根据原始监测数据分类所确定的。

其中，kafka是一种面向大数据领域的分布式发布订阅消息系统。kafka每秒可以处理几十万条信息，延迟最低只有几毫秒，具有高吞吐量、低延迟的优势；kafka支持数千个客户端同时读写，具有高并发的优势；kafka允许消息集群中节点故障，具有高容错性的优势；kafka集群支持扩展，具有可扩展性的优势。

其中，消息队列是指消息传输过程中保存消息的容器，kafka中的消息以主题为单位进行归类，kafka生产者负责将消息发送到特定的主题，kafka消费者负责订阅主题并进行消费。

消费解析模块600，用于根据用户消费指令解析消费指令对应的kafka主题数据，并将解析后的数据存储至数据仓储平台。

数据仓储平台800，用于基于HAWQ对解析后的数据进行处理和存储。

其中，HAWQ是一个Hadoop原生大规模并行SQL分析引擎，针对的是分析性应用，可以高效地分析保存在HDFS上的数据，挖掘其中的价值。此外，HAWQ具有极高的查询性能，可以根据查询的复杂度灵活地调度计算资源，极大地提升系统的扩展性和吞吐量。此外，HAWQ支持ANSI SQL标准、动态节点扩展、本地或云部署等操作。

在实际应用中，原始监测数据经过数月的累计可以达到几百G的大小，经kafka生产者端获取后，作为kafka的消息队列。因此，针对该大数据量情况下的存储和计算问题，采用基于具有极高查询和分析性能的查询引擎HAWQ对kafka中消息队列进行分析和处理是十分必要的。

具体的，电网监测数据处理系统，以kafka和HAWQ为主要技术载体，通过源数据获取模块从电力数据监测系统获取原始监测数据，通过消息队列生成模块基于kafka对所述原始监测数据处理后得到消息队列，通过消费解析模块根据用户消费指令解析所述消费指令对应的kafka主题数据，并将解析后的数据存储至所述数据仓储平台以及通过数据仓储平台基于HAWQ对所述解析后的数据进行处理和存储，实现了对电网监测数据进行高运算性能的分析和处理。

在一个实施例中，如图2所示，上述消费指令可以包括第一消费指令和第二消费指令，上述第一消费指令和第二消费指令由kafka中的消费者端发出。消费解析模块600可以包括：

第一消费解析单元610，用于接收到第一消费指令时，解析全部kafka主题数据；

第二消费解析单元620，用于在接收到第二消费指令时，解析最新获得的kafka主题数据，最新获得的所述kafka主题数据是指上次消费解析至此次接收到第二消费指令之间的kafka主题数据。

第一消费解析单元或第二消费解析单元根据收到的kafka消费者的指令执行解析动作。

在一个实施例中，消费解析模块中还可以包括第三消费解析单元，第三消费解析单元，用于在接收到第三消费指令时，根据kafka主题数据已标记的偏移量解析主题数据。

在一个实施例中，上述消息队列生成模块包括：

通信协议制订单元，用于制订kafka的通信协议。只有遵守该通信协议的格式，kafka消费者才可以对kafka主题进行消费。

如图3所示，在一个实施例中，上述系统还包括：

kafka主题确定模块300，用于根据所述原始监测数据的数据表确定kafka主题。

其中，数据表中的字段类型通常设置为字符串类型。kafka主题数量通常与数据表数量一致。

如图3所示，在一个实施例中，上述系统还包括：

电网过载判断模块900，用于查询并获取数据仓储平台存储的经处理后的电压数据和电流数据，并根据处理后的电压数据和电流数据判断是否发生电网过载事件。

由于数据仓储平台在kafka实时获取原始监测数据后，基于HAWQ对解析后的kafka主题数据进行处理和存储，因此，该电网过载判断模块可以快速、实时地基于原始监测数据判断是否发生电网过载事件。

如图4所示，在其中一个实施例中，上述电网过载判断模块包括：

负载率关联指标汇总单元910，用于利用负载率计算模型和处理后的电压数据和电流数据计算得到所述负载率计算模型中的分子指标，并分别将所述分子指标和分母指标存储于不同的表中，其中，所述分母指标为额定容量；额定容量可以是电网过载判断模块直接从供电网系统中获取的，也可以是从数据仓储平台800上查询得到的。

负载率指标生成单元920，用于基于所述负载率计算模型所反映的关联关系，将所述负载率关联指标汇总单元中分别用于存储分子指标和所述分母指标的表进行关联计算得到负载率指标，所述负载率指标用于表征是否发生电网过载事件。

以负载率计算模型为：

为例进行说明，负载率关联指标汇总单元910从数据仓储平台800获取存储的电压数据和电流数据，并将该电压数据和电流数据作为负载率计算模型的输入计算有功功率和无功功率，得到分子指标，即负载率计算模型所需的分子部分，并将分子指标存储在数据表中。负载率关联指标汇总单元910将额定容量即分母指标也存储在数据表中，且分子指标和分母指标分别存储在不同的表中，且两个表中的分子指标和分母指标存在一一对应关系。负载率指标生成单元920根据负载率计算模型将上述存储分子指标的表和所述分母指标的表进行关联计算得到负载率指标，例如，建议分子指标的表和分母指标的表之间的除法运算关系。通过上述单元和模块之间的配合，实现负载率指标的计算，所需步骤简单，计算复杂度低，可以快速、实时的根据原始监测数据得到负载率，供工作人员进行过载实践的判断。

在其中一个实施例中，上述电网过载判断模块还包括：

过载判断单元，用于基于负载率指标生成单元得到的负载率指标判断是否发生电网过载事件。

具体的，过载判断单元中设置有负载区间单元，该负载区间单元用于设置规定的负载率区间。如负载率指标生成单元920得到的负载率指标在上述负载率区间外，过载判断模块则判定发生电网过载事件。通过过载判断单元，可以直接向工作人员推送电网过载事件有无发生的直接结果，进一步提高电网监测效率。

在一个实施例中，上述电网过载事件包括馈线重过载和配变重过载。

其中，馈线重过载是指输电网中的馈线发生重过载，配变重过载是指配电变压器发生重过载。

在一个实施例中，如图5所述，上述数据仓储平台800包括：

数据存放模块820，用于存放第一数据至HAWQ中的数据引入层；所述第一数据为所述解析后的数据，所述数据引入层为数据分层后最接近源数据的一层；

其中，数据引入层(ODS层)用于从业务系统获取未经过处理的原始数据，即kafka中的消息队列。

数据处理模块840，用于利用HAWQ中的明细层对所述第一数据进行处理得到第二数据；

其中，明细层(TWB层)用于扩展或减缩第一数据的维度信息，根据实际应用需求扩展第一数据维度，即提高第一数据位维度，增加第一数据所包含的信息，或根据实际应用需求缩减第一数据维度，即对第一数据进行降维处理，节约数据存储空间。

数据处理模块820包括：

时间维度扩展单元，用于利用HAWQ中的明细层向所述第一数据加入时间维度信息以得到第二数据。

其中，如第一数据不包含时间信息，而实际应用需要利用时间信息时，则采用时间维度扩展单元对第一数据维度进行扩展，提升第一数据丰富度、冗余性以及数据的可追溯性。

数据处理模块820还包括：

时间维度缩减单元，用于利用HAWQ中的明细层向所述第一数据缩减时间维度信息以得到第二数据。

其中，如第一数据已包含时间信息，而实际应用不需利用时间信息时，则采用时间维度缩减单元对第一数据维度进行缩减，解决数据存储空间。

汇总模块860，用于利用HAWQ中的轻度汇总层对所述第二数据进行汇总，得到汇总后的数据，并将所述汇总后的数据传输至所述电网过载判断模块。

其中，汇总模块的设置有助于对数据进行综合分析，提高数据处理效率。

在一个实施例中，上述数据仓储平台800还包括：

数据清洗模块，用于对所述第一数据进行清洗，所述清洗包括去除空数据和离群值。

其中，空数据是指没有包含任何数据的数据，离群值是指数据中的一个或几个数值与其他数值相比差异较大的值。通过对上述空数据和离群值的处理可以增加数据可靠性。常用的去除离群值的方法包括标准差法和基于绝对离差中位数的中心距离计算法。

上述数据清洗模块的设置有有助于提高数据的有效性从而提升数据处理效率。

在一个实施例中，上述数据仓储平台800包括：

分布式文件系统，用于从所述消息队列生成模块获取并存储所述消息队列，并用于在所述数据仓储平台接收到查询指令时反馈所述消息队列至所述数据仓库平台。

其中，分布式文件系统是指hadoop分布式文件系统(hadoop distributed filesystem，HDFS)，可以部署在低成本的硬件上。具体地，数据仓储平台HAWQ在接收到查询指令时，通过创建外部表的方式从分布式文件系统中读取消息队列。

在一个实施例中，上述电网监测数据处理系统还包括：

程序改造模块，用于在原电网监测数据处理系统基于Oracle数据库对数据进行处理时，以原Oracle存储过程为依据，开发HAWQ函数。

其中，程序改造模块使得上述电网监测数据处理系统可以在原有电网监测数据处理系统的基础上而构建。

在一个实施例中，上述电网监测数据处理系统还包括：

常规运维模块，用于维护kafka生产者、kafka消费者进程运行情况。

其中，上述常规运维模块还包括：重启单元；

重启单元用于在上述kafka生产者、kafka消费者进程运行失败时，重启进程。

上述中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。

在一个实施例中，提供了一种计算机设备，该计算机设备可以是服务器，其内部结构图可以如图6所示。该计算机设备包括通过系统总线连接的处理器、存储器和网络接口。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统、计算机程序和数据库。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的数据库用于存储原始监测数据数据。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种电网监测数据处理系统。

本领域技术人员可以理解，图6中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。

本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和易失性存储器中的至少一种。非易失性存储器可包括只读存储器(Read-Only Memory，ROM)、磁带、软盘、闪存或光存储器等。易失性存储器可包括随机存取存储器(Random Access Memory，RAM)或外部高速缓冲存储器。作为说明而非局限，RAM可以是多种形式，比如静态随机存取存储器(Static Random Access Memory，SRAM)或动态随机存取存储器(Dynamic Random Access Memory，DRAM)等。

以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。

以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。

Claims (10)

1.一种电网监测数据处理系统，其特征在于，包括：源数据获取模块，消息队列生成模块，消费解析模块和数据仓储平台；

所述源数据获取模块，用于从电力数据监测系统获取原始监测数据；

所述消息队列生成模块，用于基于kafka对所述原始监测数据处理后得到消息队列，其中，kafka主题是根据所述原始监测数据分类所确定的；

所述消费解析模块，用于根据用户消费指令解析所述消费指令对应的kafka主题数据，并将解析后的数据存储至所述数据仓储平台；

所述数据仓储平台，用于基于HAWQ对所述解析后的数据进行处理和存储。

2.根据权利要求1所述的系统，其特征在于，所述电力数据监测系统将获取的原始监测数据以数据表方式存储，所述系统还包括：

kafka主题确定模块，用于根据所述原始监测数据的数据表确定所述kafka主题。

3.根据权利要求1所述的系统，其特征在于，所述原始监测数据包括电压数据和电流数据，所述系统还包括：

电网过载判断模块，用于查询并获取所述数据仓储平台存储的经处理后的电压数据和电流数据，并根据所述处理后的电压数据和电流数据判断是否发生电网过载事件。

4.根据权利要求3所述的系统，其特征在于，所述电网过载判断模块包括：

负载率关联指标汇总单元，用于利用负载率计算模型和所述处理后的电压数据和电流数据计算得到所述负载率计算模型中的分子指标，并分别将所述分子指标和分母指标存储于不同的表中，其中，所述分母指标为额定容量；

负载率指标生成单元，用于基于所述负载率计算模型所反映的关联关系，将所述负载率关联指标汇总单元中分别用于存储分子指标的表和所述分母指标的表进行关联计算得到负载率指标，所述负载率指标用于表征是否发生电网过载事件。

5.根据权利要求3或4所述的系统，其特征在于，所述电网过载事件包括馈线重过载和配变重过载。

6.根据权利要求1所述的系统，其特征在于，所述消费指令包括第一消费指令和第二消费指令；所述消费解析模块包括：

第一消费解析单元，用于接收到所述第一消费指令时，解析全部所述kafka主题数据；

第二消费解析单元，用于在接收到所述第二消费指令时，解析最新获得的所述kafka主题数据，所述最新获得的所述kafka主题数据是指上次消费解析至此次接收到所述第二消费指令之间的所述kafka主题数据。

7.根据权利要求3所述的系统，其特征在于，所述数据仓储平台包括：

数据存放模块，用于存放第一数据至HAWQ中的数据引入层；所述第一数据为所述解析后的数据；

数据处理模块，用于利用HAWQ中的明细层对所述第一数据进行处理得到第二数据；

汇总模块，用于利用HAWQ中的轻度汇总层对所述第二数据进行汇总，得到汇总后的数据，并将所述汇总后的数据传输至所述电网过载判断模块。

8.根据权利要求7所述的系统，其特征在于，所述数据处理模块包括：

时间维度扩展单元，用于利用HAWQ中的明细层向所述第一数据加入时间维度信息以得到第二数据。

9.根据权利要求7或8所述的系统，其特征在于，所述数据仓储平台还包括：

数据清洗模块，用于对所述第一数据进行清洗，所述清洗包括去除空数据和离群值。

10.根据权利要求1所述的系统，其特征在于，还包括：

分布式文件系统，用于从所述消息队列生成模块获取并存储所述消息队列，并用于在所述数据仓储平台接收到查询指令时反馈所述消息队列至所述数据仓库平台。

Images