CN103618671A - 大规模数据采集业务多组分发系统及其分发方法 - Google Patents

Abstract

大规模数据采集业务多组分发系统及其分发方法，涉及报文的分发系统。目前，大型业务信息系统的数据访问技术架构无法向云数据服务平稳过渡。本发明包括包含多个网关的网关集群、包含多个通讯前置机的通讯前置机集群、包含多个业务处理器的业务处理器集群，通讯前置机与网关相连，业务处理器与通讯前置机相连，所述的通讯前置机用于调度和保存上下行报文；业务处理器集群分为多个业务处理器组，通讯前置机设有数量与业务处理器组相对应的管理单元，管理单元之间相互独立，每一管理单元均包括缓存模块、报文分发调度模块和链路管理模块。本技术方案实现数据多组分发和多目标入库，提高分发效率。

Description

大规模数据采集业务多组分发系统及其分发方法

技术领域

本发明涉及报文的分发系统。

背景技术

目前，百万级终端规模远程数据采集业务在通信、电力等行业已广泛开展，设计的各类通信系统数据分发技术能满足当前需要，但随着终端规模的急剧增长和业务需求的不断变化，现有数据分发技术已无法进行有效应对，技术瓶颈逐渐凸现。大规模数据采集业务除采用高可靠性通信系统硬件设备外，设计最优的通信调度策略和数据分发机制是保障数据采集业务快速、高效、稳定开展的前提。随着信息系统云数据服务技术的发展，给大型信息业务系统的数据访问方式提供了新思路，大型业务信息系统当前的数据访问技术架构无法向云数据服务平稳过渡，直接采用一种未经充分验证的数据服务技术存在极大的应用风险。因此，急需一种通信调度策略和数据分发机制在保障现有系统的稳定、正常运行的同时，实现云数据服务的探索和验证。

发明内容

本发明要解决的技术问题和提出的技术任务是对现有技术方案进行完善与改进，提供大规模数据采集业务多组分发系统及其工作方法，以达到数据多组分发和多目标入库目的。为此，本发明采取以下技术方案。

大规模数据采集业务多组分发系统，其特征在于：包括包含多个网关的网关集群、包含多个通讯前置机的通讯前置机集群、包含多个业务处理器的业务处理器集群，通讯前置机与网关相连，业务处理器与通讯前置机相连，所述的通讯前置机用于调度和保存上下行报文；业务处理器集群分为多个业务处理器组，通讯前置机设有数量与业务处理器组相对应的管理单元，管理单元之间相互独立，每一管理单元均包括缓存模块、报文分发调度模块和链路管理模块；链路管理模块管理对应业务处理器组的链路，当链路发生变化时链路管理模块更新链路数据库；缓存模块中存放通讯前置机接收的上行报文；报文分发调度模块从位于同一管理单元中的缓存模块中获取报文并通过位于同一管理单元中的链路管理模块获取链路后发送报文，各管理单元独立管理报文的分发和本地文件的缓存。

作为对上述技术方案的进一步完善和补充，本发明还包括以下附加技术特征。

每组业务处理器组指向独立的数据库，通过扩展业务处理器组，将报文数据分发至各类异构独立数据库。

大规模数据采集业务多组分发系统的分发方法包括以下步骤：

1）通讯前置机接收上行报文；

2）通讯前置机将接收上行报文分别放入对应的管理单元的缓存模块中；

3）报文分发调度模块从位于同一管理单元的缓存模块获取上行；

4）报文分发调度模块根据报文终端逻辑地址所在的单位代码通过同一管理单元的链路管理模块获取对应的业务处理器编码、业务处理器链路并发送报文；

5）若报文发送成功，结束；否则返回至步骤2）。

有益效果：本技术方案将业务处理器集群进行分组，通信前置机对多组业务处理器进行报文并行分发，各业务处理器组再将数据分发给各自的数据库，进而实现数据多组分发和多目标入库，提高分发效率。多组分发将一个报文分发到多个数据库，在不影响现有系统的稳定运行下，实现对异构数据库的探索和验证，或者是多个异构数据库的应用。

附图说明

图1是本发明前置机逻辑架构图。

图2是本发明前置机多组分发架构图。

图3是本发明流程图。

具体实施方式

以下结合说明书附图对本发明的技术方案做进一步的详细说明。

如图1、2所示，大规模数据采集业务多组分发系统包括包含多个网关的网关集群、包含多个通讯前置机的通讯前置机集群、包含多个业务处理器的业务处理器集群，通讯前置机与网关相连，业务处理器与通讯前置机相连，所述的通讯前置机用于调度和保存上下行报文；业务处理器集群分为多个业务处理器组，通讯前置机设有数量与业务处理器组相对应的管理单元，管理单元之间相互独立，每一管理单元均包括缓存模块、报文分发调度模块和链路管理模块；链路管理模块管理对应业务处理器组的链路，当链路发生变化时链路管理模块更新链路数据库；缓存模块中存放通讯前置机接收的上行报文；报文分发调度模块从位于同一管理单元中的缓存模块中获取报文并通过位于同一管理单元中的链路管理模块获取链路后发送报文，各管理单元独立管理报文的分发和本地文件的缓存。每组业务处理器组指向独立的数据库，通过扩展业务处理器组，将报文数据分发至各类异构独立数据库。

如图3所示，大规模数据采集业务多组分发系统的分发方法，包括以下步骤：

1）通讯前置机接收上行报文；

2）通讯前置机将接收上行报文分别放入对应的管理单元的缓存模块中；

3）报文分发调度模块从位于同一管理单元的缓存模块获取上行；

4）报文分发调度模块根据报文终端逻辑地址所在的单位代码通过同一管理单元的链路管理模块获取对应的业务处理器编码、业务处理器链路并发送报文；

5）若报文发送成功，结束；否则返回至步骤2）。

以下以设定两组业务处理器组为例，进行具体说明：如图3所示，

业务处理器BP连接通信前置机FE，业务处理器注册编号设定为4位数值，如bp0101表征该业务处理器BF为第1组编号为1的业务处理器；通信前置机FE管理业务处理器BP客户端的链路相应分成2组或多组，用各自的链路管理模块管理业务处理器BP链路，动态刷新各自数据库里的业务处理器BP管理单位代码列表。通信前置机FE的上行报文存放缓存队列配置2个，上行报文分开存放，各自管理分发和本地文件缓存，互不影响；每组业务处理器组指向独立的数据库，通过扩展业务处理器组，将报文数据分发至各类异构独立数据库。

以上图1-3所示的大规模数据采集业务多组分发系统及其分发方法是本发明的具体实施例，已经体现出本发明实质性特点和进步，可根据实际的使用需要，在本发明的启示下，对其进行形状、结构等方面的等同修改，均在本方案的保护范围之列。

Claims (3)

1.大规模数据采集业务多组分发系统，其特征在于：包括包含多个网关的网关集群、包含多个通讯前置机的通讯前置机集群、包含多个业务处理器的业务处理器集群，通讯前置机与网关相连，业务处理器与通讯前置机相连，所述的通讯前置机用于调度和保存上下行报文；业务处理器集群分为多个业务处理器组，通讯前置机设有数量与业务处理器组相对应的管理单元，管理单元之间相互独立，每一管理单元均包括缓存模块、报文分发调度模块和链路管理模块；链路管理模块管理对应业务处理器组的链路，当链路发生变化时链路管理模块更新链路数据库；缓存模块中存放通讯前置机接收的上行报文；报文分发调度模块从位于同一管理单元中的缓存模块中获取报文并通过位于同一管理单元中的链路管理模块获取链路后发送报文，各管理单元独立管理报文的分发和本地文件的缓存。

2.根据权利要求1所述的大规模数据采集业务多组分发系统，其特征在于：每组业务处理器组指向独立的数据库，通过扩展业务处理器组，将报文数据分发至各类异构独立数据库。

3.采用权利要求1所述的大规模数据采集业务多组分发系统的分发方法，其特征在于包括以下步骤：

1）通讯前置机接收上行报文；

2）通讯前置机将接收上行报文分别放入对应的管理单元的缓存模块中；

3）报文分发调度模块从位于同一管理单元的缓存模块获取上行；

4）报文分发调度模块根据报文终端逻辑地址所在的单位代码通过同一管理单元的链路管理模块获取对应的业务处理器编码、业务处理器链路并发送报文；

5）若报文发送成功，结束；否则返回至步骤2）。

Images