CN109739919A

CN109739919A - 一种用于电力系统的前置机和采集系统

Info

Publication number: CN109739919A
Application number: CN201910008151.4A
Authority: CN
Inventors: 卢世祥; 林国营; 阙华坤; 陈亮; 化振谦
Original assignee: Guangdong Power Grid Co Ltd; Metrology Center of Guangdong Power Grid Co Ltd
Current assignee: Guangdong Power Grid Co Ltd; Metrology Center of Guangdong Power Grid Co Ltd
Priority date: 2019-01-04
Filing date: 2019-01-04
Publication date: 2019-05-10
Anticipated expiration: 2039-01-04
Also published as: CN109739919B

Abstract

本申请公开了一种用于电力系统的前置机和采集系统，前置机包括：依次连接的通信网关模块、通信前置模块、业务前置处理模块、数据总线模块和入库模块；所述通信网关模块，用于连接采集终端，并采集所述采集终端和所述前置机之间发送的报文数据；所述通信前置模块，用于根据预置分发策略分发所述报文数据；所述业务前置处理模块，用于对所述报文数据进行组帧和/或解析；所述入库模块，用于通过所述数据总线模块获取所述报文数据，并将所述报文数据进行存储，解决了现有前置机中单个节点承担的业务过于繁重的技术问题。

Description

一种用于电力系统的前置机和采集系统

技术领域

本申请属于电力系统技术领域，尤其涉及一种用于电力系统的前置机和采集系统。

背景技术

目前电网计量系统的主站部分可以划分为三部分，分别是数据采集系统、数据处理与存储系统，功能应用系统。数据采集系统作为电网计量系统的基础部分，其的重要性不言而喻，因此要求数据采集系统的采集数据时准确、便捷、快速。

现有数据采集系统分两级部署，一级部署为：在各地市供电局的前置机，实现供电局属厂站终端、配变终端、大客户负控终端和低压集抄采集终端(以下统称为终端)的数据采集；二级部署为：在省公司侧的二级采集通信服务器集群，通过各地市前置机采集计量数据，或直接接入省网关口终端，采集计量数据，并实现与所有终端的实时数据通信。

但是现有采集系统的电能量数据的采集频度提高，单台前置机需要处理的通讯报文数量呈几十倍乃至百倍的增长，前置机中的每个采集节点承担了任务生成、报文组帧和解析、逻辑控制以及数据入库等诸多业务，造成单个节点承担的业务过于繁重。

发明内容

有鉴于此，本申请提供了一种用于电力系统的前置机和采集系统，用于对电网计量系统中的电能量数据的采集，解决了现有前置机中单个节点承担的业务过于繁重的技术问题。

本申请提供了一种用于电力系统的前置机，包括：依次连接的通信网关模块、通信前置模块、业务前置处理模块、数据总线模块和入库模块；

所述通信网关模块，用于连接采集终端，并采集所述采集终端和所述前置机之间发送的报文数据；

所述通信前置模块，用于根据预置分发策略分发所述报文数据；

所述业务前置处理模块，用于对所述报文数据进行组帧和/或解析；

所述入库模块，用于通过所述数据总线模块获取所述报文数据，并将所述报文数据进行存储。

优选地，所述通信前置模块具体用于，根据获取到的所述业务前置处理模块中各节点的运行状况，选择对应的基于终端逻辑地址取模算法的分发规则，以分发所述报文数据。

优选地，所述通信前置模块还用于，通过与所述业务前置处理模块中各节点定时心跳握手，获取所述前置处理模块中各节点的所述运行状况；

还用于将与通信模块中各节点连接的采集终端的地址，发送至与该节点握手的通信前置处理模块中的节点。

优选地，所述运行状况包括：节点新增、节点故障及故障节点恢复；

所述分发规则包括：节点新增规则、节点故障规则和故障节点恢复规则。

优选地，所述数据总线模块具体为：分布式Kafka消息队列。

优选地，所述入库模块包括：商用数据库Oracle、缓存数据库Redis、分布式数据库HBase和数据仓库Hive。

优选地，还包括用于对所述报文数据进行分析的分析模块。

优选地，所述分析模块具体包括，实时计算子模块和离线计算计算子模块；

所述实时计算子模块和所述数据总线模块连接，用于对传输中的报文数据进行计算；

所述离线计算子模块和所述入库模块连接，用于对存储后的报文数据进行计算。

优选地，所述实时计算子模块具体为：Storm计算框架；

所述离线计算子模块具体为：Spark计算框架。

本申请第二方面提供一种用于电力系统的采集系统，包括：通信服务器集群和如上述第一方面所述的用于电力系统的前置机。

从以上技术方案可以看出，本申请实施例具有以下优点：

本申请提供了一种用于电力系统的前置机，包括：依次连接的通信网关模块、通信前置模块、业务前置处理模块、数据总线模块和入库模块；所述通信网关模块，用于连接采集终端，并采集所述采集终端和所述前置机之间发送的报文数据；所述通信前置模块，用于根据预置分发策略分发所述报文数据；所述业务前置处理模块，用于对所述报文数据进行组帧和/或解析；所述入库模块，用于通过所述数据总线模块获取所述报文数据，并将所述报文数据进行存储。

本申请中，通过将前置机按照业务功能进行分块，使得前置机中的各节点按照其所在模块所对应的功能执行对应的业务，减轻了前置机中各节点需要承担的业务，从而解决了现有前置机中单个节点承担的业务过于繁重的技术问题。

附图说明

图1为本申请实施例中一种用于电力系统的前置机的实施例的结构示意图；

图2为采用本申请实施例的前置机进行召测的流程图；

图3为采用本申请实施例的前置机进行电能量数据采集的流程图；

图4为采用本申请实施例的前置机进行电能量数据补全的流程图。

具体实施方式

本申请实施例提供了一种用于电力系统的前置机和采集系统，用于对电网计量系统中的电能量数据的采集，解决了现有前置机中单个节点承担的业务过于繁重的技术问题。

为了使本技术领域的人员更好地理解本申请方案，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

请参阅图1，本申请实施例中一种用于电力系统的前置机的第一实施例的结构示意图，包括：依次连接的通信网关模块1、通信前置模块2、业务前置处理模块3、数据总线模块4和入库模块5；通信网关模块1，用于连接采集终端，并采集采集终端和前置机之间发送的报文数据；通信前置模块2，用于根据预置分发策略分发报文数据；业务前置处理模块3，用于对报文数据进行组帧和/或解析；入库模块5，用于通过数据总线模块4获取报文数据，并将报文数据进行存储。

本实施例中，通过将前置机按照业务功能进行分块，使得前置机中的各节点按照其所在模块所对应的功能执行对应的业务，减轻了前置机中各节点需要承担的业务，从而解决了现有前置机中单个节点承担的业务过于繁重的技术问题。

以上为本申请实施例提供的一种用于电力系统的前置机的第一实施例，以下为本申请实施例提供的一种用于电力系统的前置机的第二实施例。

请参阅图1，本申请实施例中一种用于电力系统的前置机的第二实施例的结构示意图，包括：依次连接的通信网关模块1、通信前置模块2、业务前置处理模块3、数据总线模块4和入库模块5；通信网关模块1，用于连接采集终端，并采集采集终端和前置机之间发送的报文数据；通信前置模块2，用于根据预置分发策略分发报文数据；业务前置处理模块3，用于对报文数据进行组帧和/或解析；入库模块5，用于通过数据总线模块4获取报文数据，并将报文数据进行存储。

需要说明的是，为了降低程序内存加载，提高程序集群扩展能力。通信前置模块2具体用于，根据获取到的业务前置处理模块3中各节点的运行状况，选择对应的基于终端逻辑地址取模算法的分发规则，以分发报文数据。进一步地，通信前置模块2还用于，通过与业务前置处理模块3中各节点定时心跳握手，获取前置处理模块中各节点的运行状况；还用于将与通信模块中各节点连接的采集终端的地址，发送至与该节点握手的通信前置处理模块中的节点。

需要说明的是，运行状况包括：节点新增、节点故障及故障节点恢复；分发规则包括：节点新增规则、节点故障规则和故障节点恢复规则。

可以理解的是，本实施例中的根据业务前置处理模块3中各节点的运行状况，选择对应的基于终端逻辑地址取模算法的分发规则，以分发报文数据，实现可以为：

a)、把现场所有采集终端的地址按一定规则划分为若干区间，比如设备地址按下行Topic的数量(100个)取模得到100组地址域区间。如此，下行Topic与地址域区间之间也存在映射关系，前置业务前置处理模块3节点对地址域区间的管理也即对下行Topic的管理。

b)、初始化地址域分配策略按业务前置处理服务节点数量取模，节点新增、节点故障及故障节点恢复分别按照“节点新增规则”、“节点故障规则”和“故障节点恢复规则”实现动态调整，并将分配信息及时更新至Zookeeper分布式服务系统。

本实施例中的节点新增规则具体为：

1)对每个业务前置处理模块3各节点统计当前处理的Topic总数。

2)对业务前置处理模块3的节点(不含新增节点)根据Topic总数进行排序(如：由大到小)。

3)计算每个业务前置处理模块3各节点能处理Topic的平均值(假设该值标记为AvgTopic)：Topic总数除以业务前置处理模块3节点总数(含新增节点)，小数位可舍去。

4)将节点中Topic数量大于AvgTopic的所有业务前置处理模块3节点的多余Topic取出，取出规则：优先选择步骤2)排序较前的节点的Topic。

5)将步骤4中取出的Topic优先分配给新增的业务前置处理模块3节点，使新增节点的Topic数为步骤3)中的平均值；若仍有未分配的Topic则对所有节点进行取模分配。

6)取出Topic的节点中删除被分配走的Topic信息。

本实施例中的节点故障规则具体为：

1)对前置业务前置处理模块3各节点按照Topic数量进行排序(如由大到小)。

2)Topic总数除以当前运行的前置业务前置处理模块3的节点总数，得到当前运行的每个业务前置处理模块3节点处理Topic的平均值。

3)根据平均值计算当前运行的每个业务前置处理模块3个节点可新增的Topic数量，具体为：由步骤2)计算的平均值-当前该节点的Topic数。

4)将因节点故障引起的待分发Topic按照步骤3)的计算值依次分发给排序小的业务前置处理模块3节点。

本实施例中的故障节点恢复规则具体为：

1)恢复的业务前置处理模块3节点按照初始化时的分配策略加载对应的Topic。

2)从其他业务前置处理模块3节点删除这些被归还给恢复节点的Topic信息。

需要说明的是，数据总线模块4具体为：分布式Kafka消息队列。可以理解的是，采用高吞吐量的分布式Kafka消息队列作为数据总线负责支持上下行通信交互信息的时序化和持久化，统一管理主站应用产生的下行请求数据和采集终端上行数据的收/发。

需要说明的是，入库模块5具体为：商用数据库Oracle、缓存数据库Redis、分布式数据库HBase和数据仓库Hive。

可以理解的是，商用数据库采用Oracle12c数据库版本，结合InfiniBand高速网络和SSD(固态硬盘)存储搭建支撑高吞吐量高并发的OLTP(联机事务处理)业务的数据存储平台，主要负责存储全部业务数据、档案数据、原始数据，为系统提供基本数据支持和计算服务。

缓存数据库Redis是一个高性能的Key-Value数据库，性能极高，Redis支持超过100K+每秒的读写频率。不仅仅支持简单的Key-Value类型的数据，同时还提供list、set、zset、hash等数据结构的存储。

分布式数据库HBase是一个高可靠性、高性能、面向列、可伸缩的分布式存储系统。

数据仓库Hive是基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张数据库表，通过类SQL语句快速实现简单的MapReduce统计，适合数据仓库的统计分析。

需要说明的是，本实施例中的前置机还包括用于对报文数据进行分析的分析模块6。

进一步地，本实施例中，基于分布式大数据框架实现业务数据的实时计算、离线分析，为进一步深度挖掘提供技术支撑，即分析模块6具体包括，实时计算子模块和离线计算计算子模块；实时计算子模块和数据总线模块4连接，用于对传输中的报文数据进行计算；离线计算子模块和入库模块5连接，用于对存储后的报文数据进行计算。可以理解的是：实时计算子模块具体为：Storm计算框架；离线计算子模块具体为：Spark计算框架。

通过实时计算子模块对采集到的数据进行即采即校，提升数据质量，运用Storm计算框架，实现对采集负荷、电能示值数据进行实时检查、校验，并对问题数据进行标记，对异常负荷数据进行修复；针对问题数据通过功率估值、ARIMA算法和营销发行电量进行修复，保证数据的合理性、一致性、逻辑性，通过及时发现、标注无效和失真数据，提高系统数据质量。同时，运用Storm计算框架实现电能量数据、告警事件的实时监测与分析。

以上为本申请实施例提供的一种用于电力系统的前置机的第二实施例，以下为本申请实施例提供的一种用于电力系统的前置机的应用例一，应用例一以采用本申请实施例的前置机进行召测为例举例说明，具体请参阅图2。

需要说明的是，图中文字“集群”即表示模块，例如，通信前置集群即表示通信前置模块。

本应用例中，采集主站对终端、测量点进行设置、召测操作的流程。

1.Oracle主生产库从营销系统同步基础数据，主要存储全部业务数据、档案数据、原始数据，为采集主站提供数据查询。

2.采集主站发起下行请求，可根据不同操作类型设置不同Key发布到分布式Kafka消息队列(以下简称为Kafka，图中所示为缓存和消息服务)的下行Topic中，并将操作命令id存入缓存数据库Redis(以下简称为Redis缓存)中。

3.下行Topic内的消息按照Key和算法被分区存储，不同的分区可定义不同的优先级，如配置优先级最高的分区处理控制类下行请求、优先级次之的分区处理设置类下行请求、其他优先级的分区处理召测/中继类下行请求。

4.业务前置处理集群(图中所示业务处理集群)节点从Redis缓存中加载和同步指定终端的档案信息，从Kafka服务订阅下行队列的消息，根据不同的Partition优先级执行，组成下行请求报文帧，分发给通信前置集群，并将下行报文推送至Kafka服务中的报文Topic中。

5.通信前置集群按调度分发策略发送给通信网关集群(图中所示为网关集群)。

6.通信网关集群将下行请求发送给采集终端。

7.采集终端返回操作结果，经通信网关、通信前置集群由业务前置处理集群进行报文解析并将操作结果返回给Redis中该终端对应的操作命令id。

8.采集主站从Redis中根据该终端对应的操作命令id获取操作结果。

以下为本申请实施例提供的一种用于电力系统的前置机的应用例二，应用例二以采用本申请实施例的前置机进行电能量数据采集为例举例说明，具体请参阅图3。

1.采集终端将任务类数据、异常事件数据以报文的形式上送至通信网关集群1。

2.通信网关集群按负载均衡策略分发给通信前置集群。

3.通信前置集群按照调度分发策略将原始报文数据分发至业务前置处理集群。

4.业务前置处理集群节点从Redis缓存服务中加载和同步指定终端的档案信息，解析上行原始报文数据，并将解析结果、原始报文数据等信息推送至相应的Kafka消息队列中；即，解析结果推送至上报数据Topic中，原始报文数据推送至报文Topic。

5.流处理入库服务从Kafka服务订阅消息，Storm实时计算框架从Kafka消息队列获取原始报文数据、电能量数据等存入HBase分布式数据库。Spark离线计算框架将原始数据导入Hive数据仓库执行复杂的统计分析和数据挖掘。

6.采集主站从云平台快速查询电能量数据采集明细、采集成功率等。

7.Oracle主生产库从营销系统同步基础数据，主要存储全部业务数据、档案数据、原始数据，为采集主站提供数据查询。

以下为本申请实施例提供的一种用于电力系统的前置机的应用例三，应用例三以采用本申请实施例的前置机进行电能量数据补全为例举例说明，具体请参阅图4。

1.采集终端通过多种通讯方式将电能量数据以报文形式上送至通信网关集群1。

2.通信网关集群按照负载均衡分发策略发送给通信前置集群。

3.通信前置集群通过调度分发策略分发至业务前置处理集群。

4.业务前置处理集群的节点从Redis缓存服务器中加载和同步指定终端的档案信息，解析上行原始报文数据，并将解析结果、原始报文数据等信息推送至相应的Kafka消息队列中；即，解析结果推送至上报数据Topic中，原始报文数据推送至报文Topic。

5.流计算服务Storm从Kafka服务订阅消息，实时获取电能量数据，实时存入HBase分布式数据库中的任务数据打点表。

6.Spark RDD定时执行漏点审计任务，即根据漏点补招策略对HBase中打点表进行漏点审计，并根据终端通讯状态形成相应漏点请求，推送至Kafka服务的下行Topic中供业务前置处理集群获取下发，从而实现实时漏点补招。

以上为本申请实施例提供的一种用于电力系统的前置机的第二实施例，以下为本申请实施例提供的一种用于电力系统的采集系统的实施例。

本申请实施例中一种用于电力系统的采集系统的实施例的结构示意图，包括：通信服务器集群和上述实施例中所描述的用于电力系统的前置机。

本申请的说明书及上述附图中的术语“第一”、“第二”、“第三”、“第四”等(如果存在)是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本申请的实施例例如能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。

应当理解，在本申请中，“至少一个(项)”是指一个或者多个，“多个”是指两个或两个以上。“和/或”，用于描述关联对象的关联关系，表示可以存在三种关系，例如，“A和/或B”可以表示：只存在A，只存在B以及同时存在A和B三种情况，其中A，B可以是单数或者复数。字符“/”一般表示前后关联对象是一种“或”的关系。“以下至少一项(个)”或其类似表达，是指这些项中的任意组合，包括单项(个)或复数项(个)的任意组合。例如，a，b或c中的至少一项(个)，可以表示：a，b，c，“a和b”，“a和c”，“b和c”，或“a和b和c”，其中a，b，c可以是单个，也可以是多个。

在本申请所提供的几个实施例中，应该理解到，所揭露的系统和装置，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。

所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(英文全称：Read-OnlyMemory，英文缩写：ROM)、随机存取存储器(英文全称：Random Access Memory，英文缩写：RAM)、磁碟或者光盘等各种可以存储程序代码的介质。

以上所述，以上实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围。

Claims

1.一种用于电力系统的前置机，其特征在于，包括：依次连接的通信网关模块、通信前置模块、业务前置处理模块、数据总线模块和入库模块；

2.根据权利要求1所述的用于电力系统的前置机，其特征在于，所述通信前置模块具体用于，根据获取到的所述业务前置处理模块中各节点的运行状况，选择对应的基于终端逻辑地址取模算法的分发规则，以分发所述报文数据。

3.根据权利要求2所述的用于电力系统的前置机，其特征在于，所述通信前置模块还用于，通过与所述业务前置处理模块中各节点定时心跳握手，获取所述前置处理模块中各节点的所述运行状况；

4.根据权利要求3所述的用于电力系统的前置机，其特征在于，所述运行状况包括：节点新增、节点故障及故障节点恢复；

5.根据权利要求1所述的用于电力系统的前置机，其特征在于，所述数据总线模块具体为：分布式Kafka消息队列。

6.根据权利要求1所述的用于电力系统的前置机，其特征在于，所述入库模块包括：商用数据库Oracle、缓存数据库Redis、分布式数据库HBase和数据仓库Hive。

7.根据权利要求1所述的用于电力系统的前置机，其特征在于，还包括用于对所述报文数据进行分析的分析模块。

8.根据权利要求7所述的用于电力系统的前置机，其特征在于，所述分析模块具体包括，实时计算子模块和离线计算计算子模块；

9.根据权利要求8所述的用于电力系统的前置机，其特征在于，所述实时计算子模块具体为：Storm计算框架；

所述离线计算子模块具体为：Spark计算框架。

10.一种用于电力系统的采集系统，其特征在于，包括：通信服务器集群和如权利要求1至9中任一项所述的用于电力系统的前置机。