自动管理的终端档案分区缓存系统及其工作方法
技术领域
本发明涉及分配自动管理系统及其工作方法 。
背景技术
大规模数据采集业务根据上报数据规模采用多台业务处理器,每台处理器在缓存中加载终端档案数据,由于接入终端规模庞大,各服务器均缓存全部终端档案,加载性能低下和内存消耗过大。
发明内容
本发明要解决的技术问题和提出的技术任务是对现有技术方案进行完善与改进,提供自动管理的终端档案分区缓存系统,以达到提高加载性能、减少内存消耗的目的。为此,本发明采取以下技术方案。
自动管理的终端档案分区缓存系统,其特征在于:包括用于负责通信调度、原始报文保存、通信流量统计的通讯前置机、用于负责规约封装解析、采集数据保存的业务处理器、用于管理业务处理器与接入终端关系的单位代码管理器及主站;业务处理器与单位代码管理器及通讯前置机连接;主站与通讯前置机、业务处理器、单位代码管理器连接;单位代码管理器设数据库,单位代码管理器按照负载均衡策略自动分配接入终端给业务处理器,业务处理器在缓存中加载分配给自己的终端档案,前置机根据终端的归属关系将数据上送至对应的业务处理器。业务处理器只在缓存中加载已分配给自己的终端档案,不必缓存全部终端档案,提高加载性能,降低内存消耗。
作为对上述技术方案的进一步完善和补充,本发明还包括以下附加技术特征。
多台业务处理器组成业务处理器组,业务处理器组连接所有通讯前置机。实现再次分级,减少数据冗余量。
单位代码管理器根据配置的业务处理器及终端数量,按照均衡原则分配每个业务处理器需要加载的终端单位代码范围,以保证各个业务处理器能均衡分配需处理的终端数量;单位代码管理器通过心跳握手来判断所有业务处理器是否工作正常,当连接的业务处理器增加和减少时,单位代码管理器则立刻动态分配其余业务处理器管理的终端范围,并保证各个业务处理器能均衡分配需处理的终端数量;前置机在业务处理器连接异常时,或在规定的时间间隔后读取单位代码管理器分配给业务处理器的终端范围,并把接下来的数据按新配置送至终端所属业务处理器。
自动管理的终端档案分区缓存系统的工作方法,其特征在于:包括以下步骤
1)、单位代码管理器启动时根据配置文件中配置的业务处理器数量,按照均衡原则来分配每个业务处理器需要加载的终端范围;
2)、单位代码管理器通过心跳握手来判断其下连接的业务处理器是否正常,当连接的业务处理器增加或减少时,单位代码管理器立刻动态分配其余业务处理器管理的终端单位代码范围,并存入数据库中;
3)、通信前置机定期加载单位代码管理器数据库中业务处理器管理的终端范围;
4)、通信前置机监测到与业务处理器连接异常时,重新加载单位代码管理器数据库中业务处理器管理终端范围,并将请求提交至新业务处理器;
5)、主站根据数据库中业务处理器管理终端范围信息向终端所在业务处理器下发下行请求;
6)、通信前置机根据缓存的业务处理器管理终端范围信息向业务处理器提交终端上行请求;
7)、业务处理器收到未缓存终端档案的业务请求时,立刻从数据库加载终端档案后再进行业务处理。
有益效果:业务处理器只在缓存中加载已分配给自己的终端档案,不必缓存全部终端档案,提高加载性能,降低内存消耗。在应对大型信息采集系统的大容量数据采集业务时,对业务处理器的硬件性能要求低,可通过线性扩展业务处理器数量以达到大型计算机的性能和内存,提高数据采集业务的效率,改善大容量数据采集业务导致的性能瓶颈,同时降低硬件设备的成本投入。
附图说明
图1是本发明流程图。
图2是本发明结构原理图。
具体实施方式
以下结合说明书附图对本发明的技术方案做进一步的详细说明。
如图2所示,本发明包括用于负责通信调度、原始报文保存、通信流量统计的通讯前置机、用于负责规约封装解析、采集数据保存的业务处理器、用于管理业务处理器与接入终端关系的单位代码管理器及主站;业务处理器与单位代码管理器及通讯前置机连接;主站与通讯前置机、业务处理器、单位代码管理器连接;单位代码管理器设数据库,单位代码管理器按照负载均衡策略自动分配接入终端给业务处理器,业务处理器在缓存中加载分配给自己的终端档案,前置机根据终端的归属关系将数据上送至对应的业务处理器。减少数据冗余量,多台业务处理器组成业务处理器组,业务处理器组连接所有通讯前置机。单位代码管理器根据配置的业务处理器及终端数量,按照均衡原则分配每个业务处理器需要加载的终端单位代码范围,以保证各个业务处理器能均衡分配需处理的终端数量;单位代码管理器通过心跳握手来判断所有业务处理器是否工作正常,当连接的业务处理器增加和减少时,单位代码管理器则立刻动态分配其余业务处理器管理的终端范围,并保证各个业务处理器能均衡分配需处理的终端数量;前置机在业务处理器连接异常时,或在规定的时间间隔后读取单位代码管理器分配给业务处理器的终端范围,并把接下来的数据按新配置送至终端所属业务处理器。
如图1所示,自动管理的终端档案分区缓存系统的工作方法,包括以下步骤:
1)、单位代码管理器启动时根据配置文件中配置的业务处理器数量,按照均衡原则来分配每个业务处理器需要加载的终端范围;
2)、单位代码管理器通过心跳握手来判断其下连接的业务处理器是否正常,当连接的业务处理器增加或减少时,单位代码管理器立刻动态分配其余业务处理器管理的终端单位代码范围,并存入数据库中;
3)、通信前置机定期加载单位代码管理器数据库中业务处理器管理的终端范围;
4)、通信前置机监测到与业务处理器连接异常时,重新加载单位代码管理器数据库中业务处理器管理终端范围,并将请求提交至新业务处理器;
5)、主站根据数据库中业务处理器管理终端范围信息向终端所在业务处理器下发下行请求;
6)、通信前置机根据缓存的业务处理器管理终端范围信息向业务处理器提交终端上行请求;
7)、业务处理器收到未缓存终端档案的业务请求时,立刻从数据库加载终端档案后再进行业务处理。
以上图1、2所示的自动管理的终端档案分区缓存系统是本发明的具体实施例,已经体现出本发明实质性特点和进步,可根据实际的使用需要,在本发明的启示下,对其进行形状、结构等方面的等同修改,均在本方案的保护范围之列。