CN108011915A - 一种基于云通讯的采集前置系统 - Google Patents

Abstract

一种基于云通讯的采集前置系统，涉及一种前置系统；目前，由于用电采集系统采集终端数量规模大，对于单节点程序内存的管理肯定无法接受全加载档案。本技术方案包括通信网关集群、与通信网关集群相连的通信前置机集群、与通信前置机集群相连的对数据进行队列处理的消息队列集群及与通信网关集群和通信前置机集群相连的zookeeper分布式服务集群；分布式服务集群形成zookeeper分布式服务系统。本技术方案采用zookeeper分布式应用程序协调服务系统来解决前置机之间节点管理和数据共享。本技术方案让采集前置集群扩展更加简单高效；通过云通讯技术增强了采集前置系统的分布式扩展能力；增强了前置机系统的负载均衡能力。

Description

一种基于云通讯的采集前置系统

技术领域

本发明涉及一种前置系统，尤其指一种基于云通讯的采集前置系统。

背景技术

如图1所示，采集前置系统通过业务划分大致可以分为3层：链路层、调度层、业务层分别对应通信网关、通信前置机、业务处理器。通信网关实现对现场终端各种通信信道的链路维护。通信前置机实现报文收发调度功能，收到终端上行报文后通过分发策略向业务层上送上行报文，从业务层接收下行报文发给网关，终端的实时工况信息维护。业务处理器各种终端、表计规约的组帧和解帧；解析数据、报文入库和推送。

随着采集规模的不断扩大，浙江省用电采集系统采集终端数量规模达到300多万，采集用户达到2500多万，业务处理器用于保存的终端、表计档案的内存高达50到60GB，对于单节点程序内存的管理肯定无法接受全加载档案，这就意味着业务处理器集群需要分组，通信前置机向业务处理器分发策略也需要调整。同时业务处理器和通信前置机集群的扩展性也会有很大影响。

发明内容

本发明要解决的技术问题和提出的技术任务是对现有技术方案进行完善与改进，提供一种基于云通讯的采集前置系统，以达到提高扩展处理能力的目的。为此，本发明采取以下技术方案。

一种基于云通讯的采集前置系统，其特征在于：包括用于负责调度前置机内部终端分发策略的通信网关集群、与通信网关集群相连的用于报文收发调度的通信前置机集群、与通信前置机集群相连的对数据进行队列处理的消息队列集群及与通信网关集群和通信前置机集群相连的zookeeper分布式服务集群；分布式服务集群形成zookeeper分布式服务系统；通信网关和通信前置机所有节点启动后 在zookeeper分布式服务系统上注册运行状态；通信网关节点获取zookeeper分布式系统中所有通信前置机节点运行状态后，把本节点上的终端均衡分配给所有通信前置机节点，分配信息保存在内存及zookeeper服务器上；通信前置机收到上行报文后发现是未知终端则加载档案，并记录终端地址与网关的对应关系；从消息队列集群中取该终端逻辑地址所对应的下行请求，下发给对应网关；通信网关定时访问zookeeper服务器上所有通信前置机节点状态，如发现有节点故障，则把该节点所属终端均衡分配给其他活动节点；通信网关发现故障节点恢复时，把连接断开重连后的终端逻辑地址再分配给恢复节点，直到该节点接入终端数量恢复均衡，并把最新的对应信息更新到zookeeper服务器上；通信前置机定时清理非本节点管理终端档案信息。本技术方案解决原有系统存在的复杂调度模式，让采集前置集群扩展更加简单高效。

作为对上述技术方案的进一步完善和补充，本发明还包括以下附加技术特征。

进一步的，通信前置机集群实现通信层的业务功能，包括指定终端的档案加载及同步、下行请求消息队列获取、加密机接口调用、下行报文组帧、多终端并行单终端串行下发策略实现、上下行报文对应管理、上下行报文收发、终端工况信息维护、上行报文解析入库及消息队列推送。

进一步的，所述的消息队列集群与应用集群相连，消息队列集群在前置系统内部起到数据总线的作用，上下行数据先插入分布式消息队列，每个处理节点根据自身处理能力从消息队列获取相应数量的数据进行处理。

所述的消息队列集群设有用于放置下行请求消息队列的下行请求消息队列模块、用于放置上行应答消息队列的上行应答消息队列模块、用于放置流数据消息队列的流数据消息队列模块、用于放置解析数据消息队列的解析数据消息队列模块。

所述的通信网关集群设有负载均衡器、与负载均衡器相连的多个通信网关。

进一步的，所述的应用集群包括web应用集群，统一数据接口平台；所述的统一数据接口平台设有：

权限配置模块,用于针对需求进行审批，审批通过后为其配置接口认证账号，并配置数据访问权限，权限包括所能访问的数据类型、数据范围、数据频度；

数据发布模型配置模块，用于配置数据发布模型并将模型告之需求方；数据发布模型是指接口服务端为需求方自动生成调用接口所需的入参模型，数据发布模型内容包含数据类型、数据时间、数据范围、数据频度、数据项信息；

数据准备模块，用于依据需求方的数据需求抽取所需数据。本发明基于面向对象的思路，结合WebService技术，实现了采集数据按需定制的统一对外发布。其与传统的各业务系统间数据需求存在交叉，一对一方式的接口实现方法比对，存在如下优势：统一规范管理，无需重复开发众多接口，易维护；灵活性高，按需定制。可直接通过平台按客户端数据需求定制接口，大大节约开发所需人力、物力的投入；减轻采集系统的日常运行压力，可支撑频繁大量数据的发布，支撑时效性要求高的业务应用需求；对外发布的采集数据可控，数据安全性更高。

进一步的，数据发布模型分为请求对象模型和返回对象模型，请求对象模型包括请求对象参数和请求对象数据内容，请求对象参数包括单位、台区、终端局号、户号、表计局号；请求对象数据内容包括开始时间、结束时间、数据频度和数据类型，其中数据类型包括表示电量、负荷、电压、电流；返回对象模型包括返回对象参数和返回对象数据内容，返回对象参数包括单位、台区、终端局号、户号、表计局号；返回对象数据内容包括数据时间、数据项。

有益效果：

1、本技术方案采用zookeeper分布式应用程序协调服务系统来解决前置机之间节点管理和数据共享。原先通信前置机和业务处理器合二为一，通信网关来负责调度前置机内部终端分发策略。解决原有系统存在的复杂调度模式，让采集前置集群扩展更加简单高效。

2、通过云通讯技术增强了采集前置系统的分布式扩展能力。

3、采用分布式消息队列，为互联网分布式海量数据缓存技术，前置机采用这种分布式消息队列，可以在内部起到数据总线的作用，无论上下行数据都先插入分布式消息队列，每个处理节点根据自身处理能力从消息队列获取相应数量的数据进行处理。采用分布式消息队列解决了海量数据的缓存难题和前置机系统处理能力的线性扩展，避免了因为系统的处理能力造成的数据丢失，增强了前置机系统的负载均衡能力。

附图说明

图1是现有技术的原理图。

图2是本发明原理图。

具体实施方式

以下结合说明书附图对本发明的技术方案做进一步的详细说明。

如图2所示，本技术方案包括用于负责调度前置机内部终端分发策略的通信网关集群、与通信网关集群相连的用于报文收发调度的通信前置机集群、与通信前置机集群相连的对数据进行队列处理的消息队列集群及与通信网关集群和通信前置机集群相连的zookeeper分布式服务集群；分布式服务集群形成zookeeper分布式服务系统；通信网关和通信前置机所有节点启动后 在zookeeper分布式服务系统上注册运行状态；通信网关节点获取zookeeper分布式系统中所有通信前置机节点运行状态后，把本节点上的终端均衡分配给所有通信前置机节点，分配信息保存在内存及zookeeper服务器上；通信前置机收到上行报文后发现是未知终端则加载档案，并记录终端地址与网关的对应关系；从消息队列集群中取该终端逻辑地址所对应的下行请求，下发给对应网关；通信网关定时访问zookeeper服务器上所有通信前置机节点状态，如发现有节点故障，则把该节点所属终端均衡分配给其他活动节点；通信网关发现故障节点恢复时，把连接断开重连后的终端逻辑地址再分配给恢复节点，直到该节点接入终端数量恢复均衡，并把最新的对应信息更新到zookeeper服务器上；通信前置机定时清理非本节点管理终端档案信息。本技术方案解决原有系统存在的复杂调度模式，让采集前置集群扩展更加简单高效。

其中，通信前置机集群实现通信层的业务功能，包括指定终端的档案加载及同步、下行请求消息队列获取、加密机接口调用、下行报文组帧、多终端并行单终端串行下发策略实现、上下行报文对应管理、上下行报文收发、终端工况信息维护、上行报文解析入库及消息队列推送。

消息队列集群与应用集群相连，消息队列集群在前置系统内部起到数据总线的作用，上下行数据先插入分布式消息队列，每个处理节点根据自身处理能力从消息队列获取相应数量的数据进行处理。

消息队列集群设有用于放置下行请求消息队列的下行请求消息队列模块、用于放置上行应答消息队列的上行应答消息队列模块、用于放置流数据消息队列的流数据消息队列模块、用于放置解析数据消息队列的解析数据消息队列模块。

所述的通信网关集群设有负载均衡器、与负载均衡器相连的多个通信网关。

应用集群包括web应用集群，统一数据接口平台；所述的统一数据接口平台设有：

权限配置模块,用于针对需求进行审批，审批通过后为其配置接口认证账号，并配置数据访问权限，权限包括所能访问的数据类型、数据范围、数据频度；

数据发布模型配置模块，用于配置数据发布模型并将模型告之需求方；数据发布模型是指接口服务端为需求方自动生成调用接口所需的入参模型，数据发布模型内容包含数据类型、数据时间、数据范围、数据频度、数据项信息；

数据准备模块，用于依据需求方的数据需求抽取所需数据。本发明基于面向对象的思路，结合WebService技术，实现了采集数据按需定制的统一对外发布。其与传统的各业务系统间数据需求存在交叉，一对一方式的接口实现方法比对，存在如下优势：统一规范管理，无需重复开发众多接口，易维护；灵活性高，按需定制。可直接通过平台按客户端数据需求定制接口，大大节约开发所需人力、物力的投入；减轻采集系统的日常运行压力，可支撑频繁大量数据的发布，支撑时效性要求高的业务应用需求；对外发布的采集数据可控，数据安全性更高。

其中，数据发布模型分为请求对象模型和返回对象模型，请求对象模型包括请求对象参数和请求对象数据内容，请求对象参数包括单位、台区、终端局号、户号、表计局号；请求对象数据内容包括开始时间、结束时间、数据频度和数据类型，其中数据类型包括表示电量、负荷、电压、电流；返回对象模型包括返回对象参数和返回对象数据内容，返回对象参数包括单位、台区、终端局号、户号、表计局号；返回对象数据内容包括数据时间、数据项。

以上图2所示的一种基于云通讯的采集前置系统是本发明的具体实施例，已经体现出本发明实质性特点和进步，可根据实际的使用需要，在本发明的启示下，对其进行形状、结构等方面的等同修改，均在本方案的保护范围之列。

Claims (7)

1.一种基于云通讯的采集前置系统，其特征在于：包括用于负责调度前置机内部终端分发策略的通信网关集群、与通信网关集群相连的用于报文收发调度的通信前置机集群、与通信前置机集群相连的对数据进行队列处理的消息队列集群及与通信网关集群和通信前置机集群相连的zookeeper分布式服务集群；分布式服务集群形成zookeeper分布式服务系统；通信网关和通信前置机所有节点启动后 在zookeeper分布式服务系统上注册运行状态；通信网关节点获取zookeeper分布式系统中所有通信前置机节点运行状态后，把本节点上的终端均衡分配给所有通信前置机节点，分配信息保存在内存及zookeeper服务器上；通信前置机收到上行报文后发现是未知终端则加载档案，并记录终端地址与网关的对应关系；从消息队列集群中取该终端逻辑地址所对应的下行请求，下发给对应网关；通信网关定时访问zookeeper服务器上所有通信前置机节点状态，如发现有节点故障，则把该节点所属终端均衡分配给其他活动节点；通信网关发现故障节点恢复时，把连接断开重连后的终端逻辑地址再分配给恢复节点，直到该节点接入终端数量恢复均衡，并把最新的对应信息更新到zookeeper服务器上；通信前置机定时清理非本节点管理终端档案信息。

2.根据权利要求1所述的一种基于云通讯的采集前置系统，其特征在于：通信前置机集群实现通信层的业务功能，包括指定终端的档案加载及同步、下行请求消息队列获取、加密机接口调用、下行报文组帧、多终端并行单终端串行下发策略实现、上下行报文对应管理、上下行报文收发、终端工况信息维护、上行报文解析入库及消息队列推送。

3.根据权利要求1所述的一种基于云通讯的采集前置系统，其特征在于：所述的消息队列集群与应用集群相连，消息队列集群在前置系统内部起到数据总线的作用，上下行数据先插入分布式消息队列，每个处理节点根据自身处理能力从消息队列获取相应数量的数据进行处理。

4.根据权利要求2所述的一种基于云通讯的采集前置系统，其特征在于：所述的消息队列集群设有用于放置下行请求消息队列的下行请求消息队列模块、用于放置上行应答消息队列的上行应答消息队列模块、用于放置流数据消息队列的流数据消息队列模块、用于放置解析数据消息队列的解析数据消息队列模块。

5.根据权利要求1所述的一种基于云通讯的采集前置系统，其特征在于：所述的通信网关集群设有负载均衡器、与负载均衡器相连的多个通信网关。

6.根据权利要求3所述的一种基于云通讯的采集前置系统，其特征在于：所述的应用集群包括web应用集群，统一数据接口平台；所述的统一数据接口平台设有：

权限配置模块,用于针对需求进行审批，审批通过后为其配置接口认证账号，并配置数据访问权限，权限包括所能访问的数据类型、数据范围、数据频度；

数据发布模型配置模块，用于配置数据发布模型并将模型告之需求方；数据发布模型是指接口服务端为需求方自动生成调用接口所需的入参模型，数据发布模型内容包含数据类型、数据时间、数据范围、数据频度、数据项信息；

数据准备模块，用于依据需求方的数据需求抽取所需数据。

7.根据权利要求6所述的一种基于云通讯的采集前置系统，其特征在于：数据发布模型分为请求对象模型和返回对象模型，请求对象模型包括请求对象参数和请求对象数据内容，请求对象参数包括单位、台区、终端局号、户号、表计局号；请求对象数据内容包括开始时间、结束时间、数据频度和数据类型，其中数据类型包括表示电量、负荷、电压、电流；返回对象模型包括返回对象参数和返回对象数据内容，返回对象参数包括单位、台区、终端局号、户号、表计局号；返回对象数据内容包括数据时间、数据项。