CN108183869B - 一种基于分布式消息队列的电量数据采集系统 - Google Patents

Abstract

本发明公开了一种基于分布式消息队列的电量数据采集系统，包括设置在地调侧的若干个子站前置采集模块，以及设置在省调侧的分布式消息通信管理模块和主站数据集成模块：子站前置采集模块主动向分布式消息通信管理模块请求本地市采集信息，并动态加载采集档案信息至本地数据库后，与电能量远方终端进行通信获取关口电能表的分时电能示值；分布式消息通信管理模块在省调侧进行发布/订阅消息队列服务节点的集群管理和任务的负载均衡支持；各地调侧采集的电量数据通过分布式消息通信管理模块所提供的发布/订阅消息队列服务集群在省调侧汇聚；数据集成模块通过缓冲队列循环入库算法，将各地调侧采集的电量数据在省调侧集中入库。

Description

一种基于分布式消息队列的电量数据采集系统

技术领域

本发明涉及一种基于分布式消息队列的电量数据采集系统。

背景技术

电能量采集系统作为电力经济分析基础数据来源，为电网企业购电、售电、线损等业务的开展提供电能量数据支撑，实现了购电结算和网损计算。现代公司建设要求电网企业进一步控制运行成本，提高经济效益，而线损“精细化管理”是实现电网企业“降本增效”的有效手段。随着上级管理部门对线损等经济运行的主要指标的敏感度和关注度越来越高，也对传统电量采集系统处理能力提出了新的要求和挑战。加强线路、设备关口电量数据的自动采集，实现省内各级电网覆盖范围内关口电量数据的分时段、全覆盖、全采集，用全网同期电量数据计算分析各电压等级线损、网损具有十分重要的意义。

传统电量采集系统的采集模式主要为局部、单一区域、集中式采集，通过将发电厂、变电站关口电能计量点的表计、终端及通道采集档案信息(参数)下装至多台前置采集服务器，由前置采集服务器实现电量数据采集，采用直接将准实时数据定期写入历史数据库的方式，由于处理能力限制，存在准实时数据与历史数据库传输速率不匹配以及采集档案信息数据冗余等问题。面对同期线损要求将主网35kV及以上变电站(含统调电厂)的大量关口表计电力电量数据接入，现行采集系统势必将承受巨大的采集压力，难以满足电力电量数据采集的全面、及时、准确和高效要求。

发明内容

针对上述问题，本发明提供一种基于分布式消息队列的电量数据采集系统，通过在主站与子站之间构建一个高吞吐量、高性能并具有一定可靠性的分布式电量数据采集系统来确保关口变电站计量数据的大规模接入，并实现省内各级电网覆盖范围内关口电量数据的分时段、全覆盖、全采集。

为实现上述技术目的，达到上述技术效果，本发明通过以下技术方案实现：

一种基于分布式消息队列的电量数据采集系统，包括设置在地调侧的若干个子站前置采集模块，以及设置在省调侧的分布式消息通信管理模块和主站数据集成模块，所述子站前置采集模块、分布式消息通信管理模块和数据集成模块通过调度数据网实现通信，其中：

子站前置采集模块包括关口电能表、电能量远方终端、地调采集网络、数据库和前置采集服务，前置采集服务主动向分布式消息通信管理模块请求采集信息，并动态加载采集档案信息至本地数据库后，与电能量远方终端进行通信获取关口电能表的分时电能示值；

分布式消息通信管理模块在省调侧进行发布/订阅消息队列服务节点的集群管理和任务的负载均衡支持；

各地调侧采集的电量数据通过分布式消息通信管理模块所提供的发布/订阅消息队列服务集群在省调侧汇聚；数据集成模块通过缓冲队列循环入库算法将各地调侧采集的电量数据在省调侧集中入库。

优选，子站前置采集模块的数据库是H2内存数据库。

优选，调度数据网采用双网互备通信模式。

优选，动态加载采集档案信息具体包括如下步骤：

11)当地调侧前置采集服务需要加载采集档案信息时，将本地市的区域唯一标识编码写入档案申请主题中，其中，以各地市区域编码命名档案申请主题；

12)省调侧根据接收到的申请消息将该地市的采集档案写入对应的主题中；

13)地调侧将接收到的采集档案写入请求档案的地调侧H2内存数据库中。

优选，当某地市下属的采集档案发生变更时，省调侧将采集档案变更命令同步到对应地调侧档案变更主题中，地调侧将档案变更信息更新至H2内存数据库并通知前置采集服务采集档案信息已经发生变化。

优选，数据集成模块通过缓冲队列循环入库算法将各地调侧采集的电量数据在省调侧集中入库，具体算法如下：

A)设全省电表采集总数为A，全省共有n个地区，各地区电表采集数为B_i，i＝1,2,···,n，每次入库完成后需更新一次全部电表的入库时标，定义各地区电表总量比P_i＝A/B_i，各地区分配到的采集入库服务的权重ω_i定义如式(1)所示：

B)设系统所提供的总线程数为定值S，各地区队列所获线程比例为S_k，k＝1,2,···,n，则S_k如式(2)所示：

本发明的有益效果是：

本发明通过在主站与子站之间构建一个高吞吐量、高性能并具有一定可靠性的分布式电量数据采集系统来确保关口变电站计量数据的大规模接入，并实现省内各级电网覆盖范围内关口电量数据的分时段、全覆盖、全采集。

加权循环队列调度通过为那些采集规模庞大的地区分配较大的权值，使其占有较多的入库线程资源，从而降低数据归集的时延抖动，这样可以为各地区电量数据的均匀入库提供良好支持。

附图说明

图1为本发明一种基于分布式消息队列的电量数据采集系统的结构示意图；

图2为本发明采集档案加载工作流程图；

图3为本发明采集档案变更工作流程图；

图4为本发明缓冲队列循环入库算法示意图。

具体实施方式

下面结合附图和具体的实施例对本发明技术方案作进一步的详细描述，以使本领域的技术人员可以更好的理解本发明并能予以实施，但所举实施例不作为对本发明的限定。

如图1-4所示，一种基于分布式消息队列的电量数据采集系统，包括设置在地调侧的若干个子站前置采集模块，以及设置在省调侧的分布式消息通信管理模块和主站数据集成模块，所述子站前置采集模块、分布式消息通信管理模块和数据集成模块通过调度数据网实现通信，优选，调度数据网采用双网互备通信模式，即子站前置采集模块、分布式消息通信管理模块和数据集成模块通过调度数据网I、II连接，互备冗余。

其中，子站前置采集模块包括关口电能表、电能量远方终端、地调采集网络、数据库和前置采集服务，前置采集服务主动向分布式消息通信管理模块请求采集信息，并动态加载采集档案信息至本地数据库后，与电能量远方终端进行通信获取关口电能表的分时电能示值。

所述关口电能表可以采用全电子式多功能电度表，子站前置采集模块通过电能量远方终端与关口电能表通信读取其采集和生成的计量计费数据。电能量远方终端通过RS-485或脉冲方式采集各个关口电能表数据，并存储于终端中，经终端处理后，通过地调采集网络被动上送至子站前置采集服务。地调采集网络为连接变电站中电能量远方终端与子站前置采集服务之间的双向通信采集接入网络，一般为以太网或光纤。

优选，子站前置采集模块的数据库是H2内存数据库，考虑到省调侧采集档案的变化性不大以及减少省地间调度数据网的网络负载，提前将采集相关参数下装至地调侧H2内存数据库中，实现档案数据的本地化加载，降低采集服务请求时延。

分布式消息通信管理模块在省调侧进行发布/订阅消息队列服务节点的集群管理和任务的负载均衡支持。

各地调侧采集的电量数据通过分布式消息通信管理模块所提供的发布/订阅消息队列服务集群在省调侧汇聚；数据集成模块通过缓冲队列循环入库算法将各地调侧采集的电量数据在省调侧大量集中入库。

动态加载采集档案信息是各地市采集档案信息在省调侧主站集中统一创建，通过数据总线的方式从省调侧主站分别同步各地市的采集档案至地调侧子站的H2内存数据库中，地调侧的前置采集服务基于本地市的采集档案进行数据采集。系统维护在省调侧主站进行，变更采集档案信息实时通知地调侧前置采集服务及H2内存数据库，实现数据的分布式采集、集中应用管理，具体如下：

动态加载采集档案信息具体包括如下步骤：

11)当地调侧前置采集服务需要加载档案信息时，通过档案加载客户端(生产者)将本地市的区域唯一标识编码写入档案申请主题中。其中，以各地市区域编码命名档案申请主题，在分布式消息队列中建立档案申请主题。

12)省调侧档案处理服务端接收到申请消息并消费后，转变为生产者。省调侧根据接收到的申请消息，从商用库中组装该地市的采集档案后，写入对应的该地市的档案下装主题中。

13)地调侧档案加载客户端(消费者)将接收到的采集档案写入请求档案的地调侧H2内存数据库中。

当某地市下属的采集档案变更时，省调侧将采集档案变更命令同步到对应地调侧档案变更主题中，地调侧将采集档案变更信息更新至H2内存数据库并通知前置采集服务采集档案信息已经发生变化，具体包括如下步骤：

步骤一、分布式消息队列中建立以各地市区域编码命名的档案变更主题；

步骤二、当某地市下属的采集档案信息发生新增、修改、删除的变化时，省调侧主站部署的代理服务(生产者)将采集档案发生的增、删、改事件转换为采集档案变更SQL文本，并同步到对应地调侧档案变更主题中；

步骤三、地调侧档案加载客户端(消费者)从档案变更主题中获取采集档案变更SQL文本并更新至H2内存数据库；如果失败，档案加载客户端将循环从档案变更主题中获取未处理成功的变更SQL文本，继续更新H2内存数据库。

步骤四、如果发生变更的采集档案成功更新至H2内存数据库，通知前置采集服务采集档案信息已经发生变化；同时，从档案变更主题中删除已处理的采集档案变更信息。

数据集成模块通过缓冲队列循环入库算法在省调侧将各地调侧采集数据集中入库，在不同地区关口电能表采集规模不同，数据采集项及应用需求一致地条件下，按地区创建若干入库缓冲队列，基于加权循环队列的调度方法，实现各地区的采集数据均匀、连续入库。

按地区创建若干入库缓冲队列，入库数据类型包括分时底码、费率、遥测、需量、事件等采集项，利用与商用库中表结构一致的内存表，实现批量写入商用库。考虑到各地区电表采集规模不同，数据采集项及应用需求一致，为了避免在一段时间内各地区的数据不均匀、不连续的入库现象发生，我们结合关口电能量采集的系统特性，设计了基于加权循环队列的调度方法，具体算法如下：

A)设全省电表采集总数为A，全省共有n个地区(即n代表全省范围内的地市数量)，各地区电表采集数为B_i，i＝1,2,···,n，每次电量数据入库完成后，需更新一次数据入库的时间(入库时标)，以便下一次数据采集时，前置采集服务获取从最近一次数据入库时标开始到当前时间的数据(否则，每次采集都会从当日零点开始)，避免冗余地数据采集。定义各地区电表总量比P_i＝A/B_i，各地区分配到的采集入库服务的权重ω_i定义如式(1)所示：

B)设系统所提供的总线程数为定值S，各地区队列所获线程比例为S_k，k＝1,2,···,n，则S_k如式(2)所示：

通过式(1)给每一个地区队列计算一个权重，由此权重来决定数据入库调度器为该地区队列提供的数据入库线程比例。由式(2)可见，地区队列入库线程任务S_k与权重ω_k成正比的，即权重值越大，获得的数据入库线程份额越大。加权循环队列调度通过为那些采集规模庞大的地区分配较大的权值，使其占有较多的入库线程资源，从而降低数据归集的时延抖动，这样可以为各地区电量数据的均匀入库提供良好支持。

本发明通过在主站与子站之间构建一个高吞吐量、高性能并具有一定可靠性的分布式电量数据采集系统来确保关口变电站计量数据的大规模接入，并实现省内各级电网覆盖范围内关口电量数据的分时段、全覆盖、全采集。

以上仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或者等效流程变换，或者直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。

Claims (4)

1.一种基于分布式消息队列的电量数据采集系统，其特征在于，包括设置在地调侧的若干个子站前置采集模块，以及设置在省调侧的分布式消息通信管理模块和主站数据集成模块，所述子站前置采集模块、分布式消息通信管理模块和数据集成模块通过调度数据网实现通信，其中：

子站前置采集模块包括关口电能表、电能量远方终端、地调采集网络、数据库和前置采集服务，前置采集服务主动向分布式消息通信管理模块请求本地市采集信息，并动态加载采集档案信息至本地数据库后，与电能量远方终端进行通信获取关口电能表的分时电能示值；

分布式消息通信管理模块在省调侧进行发布/订阅消息队列服务节点的集群管理和任务的负载均衡支持；

各地调侧采集的电量数据通过分布式消息通信管理模块所提供的发布/订阅消息队列服务集群在省调侧汇聚；数据集成模块通过缓冲队列循环入库算法将各地调侧采集的电量数据在省调侧集中入库；

动态加载采集档案信息具体包括如下步骤：

11)当地调侧前置采集服务需要加载采集档案信息时，将本地市的区域唯一标识编码写入档案申请主题中，其中，以各地市区域编码命名档案申请主题；

12)省调侧根据接收到的申请消息将该地市的采集档案写入对应的主题中；

13)地调侧将接收到的采集档案写入请求档案的地调侧H2内存数据库中；数据集成模块通过缓冲队列循环入库算法将各地调侧采集的电量数据在省调侧集中入库，具体算法如下：

A)设全省电表采集总数为A，全省共有n个地区，各地区电表采集数为B_i，i＝1,2,…,n，每次入库完成后需更新一次全部电表的入库时标，定义各地区电表总量比P_i＝A/B_i，各地区分配到的采集入库服务的权重ω_i定义如式(1)所示：

B)设系统所提供的总线程数为定值S，各地区队列所获线程比例为S_k，k＝1,2,…,n，则S_k如式(2)所示：

2.根据权利要求1所述的一种基于分布式消息队列的电量数据采集系统，其特征在于，子站前置采集模块的本地数据库是H2内存数据库。

3.根据权利要求1所述的一种基于分布式消息队列的电量数据采集系统，其特征在于，调度数据网采用双网互备通信模式。

4.根据权利要求1所述的一种基于分布式消息队列的电量数据采集系统，其特征在于，当某地市下属的采集档案变更时，省调侧将采集档案变更命令同步到对应地调侧档案变更主题中，地调侧将档案变更信息更新至H2内存数据库并通知前置采集服务采集档案信息已经发生变化。

Images