CN103618771A - 自动管理的终端档案分区缓存系统及其工作方法 - Google Patents
自动管理的终端档案分区缓存系统及其工作方法 Download PDFInfo
- Publication number
- CN103618771A CN103618771A CN201310583941.8A CN201310583941A CN103618771A CN 103618771 A CN103618771 A CN 103618771A CN 201310583941 A CN201310583941 A CN 201310583941A CN 103618771 A CN103618771 A CN 103618771A
- Authority
- CN
- China
- Prior art keywords
- terminal
- processor
- operational processor
- unit code
- operational
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Abstract
自动管理的终端档案分区缓存系统，涉及分配自动管理系统及其工作方法。大规模数据采集业务中，各服务器均缓存全部终端档案，加载性能低下和内存消耗过大。本发明特征在于：包括通讯前置机、业务处理器、单位代码管理器及主站；业务处理器与单位代码管理器及通讯前置机连接；主站与通讯前置机、业务处理器、单位代码管理器连接；单位代码管理器设数据库，单位代码管理器按照负载均衡策略自动分配接入终端给业务处理器，业务处理器在缓存中加载分配给自己的终端档案，前置机根据终端的归属关系将数据上送至对应的业务处理器。本技术方案业务处理器只在缓存中加载已分配给自己的终端档案，不必缓存全部终端档案，提高加载性能，降低内存消耗。
Description
技术领域
本发明涉及分配自动管理系统及其工作方法 。
背景技术
大规模数据采集业务根据上报数据规模采用多台业务处理器，每台处理器在缓存中加载终端档案数据，由于接入终端规模庞大，各服务器均缓存全部终端档案，加载性能低下和内存消耗过大。
发明内容
本发明要解决的技术问题和提出的技术任务是对现有技术方案进行完善与改进，提供自动管理的终端档案分区缓存系统，以达到提高加载性能、减少内存消耗的目的。为此，本发明采取以下技术方案。
自动管理的终端档案分区缓存系统，其特征在于：包括用于负责通信调度、原始报文保存、通信流量统计的通讯前置机、用于负责规约封装解析、采集数据保存的业务处理器、用于管理业务处理器与接入终端关系的单位代码管理器及主站；业务处理器与单位代码管理器及通讯前置机连接；主站与通讯前置机、业务处理器、单位代码管理器连接；单位代码管理器设数据库，单位代码管理器按照负载均衡策略自动分配接入终端给业务处理器，业务处理器在缓存中加载分配给自己的终端档案，前置机根据终端的归属关系将数据上送至对应的业务处理器。业务处理器只在缓存中加载已分配给自己的终端档案，不必缓存全部终端档案，提高加载性能，降低内存消耗。
作为对上述技术方案的进一步完善和补充，本发明还包括以下附加技术特征。
多台业务处理器组成业务处理器组，业务处理器组连接所有通讯前置机。实现再次分级，减少数据冗余量。
单位代码管理器根据配置的业务处理器及终端数量，按照均衡原则分配每个业务处理器需要加载的终端单位代码范围，以保证各个业务处理器能均衡分配需处理的终端数量；单位代码管理器通过心跳握手来判断所有业务处理器是否工作正常，当连接的业务处理器增加和减少时，单位代码管理器则立刻动态分配其余业务处理器管理的终端范围，并保证各个业务处理器能均衡分配需处理的终端数量；前置机在业务处理器连接异常时，或在规定的时间间隔后读取单位代码管理器分配给业务处理器的终端范围，并把接下来的数据按新配置送至终端所属业务处理器。
自动管理的终端档案分区缓存系统的工作方法，其特征在于：包括以下步骤
1）、单位代码管理器启动时根据配置文件中配置的业务处理器数量，按照均衡原则来分配每个业务处理器需要加载的终端范围；
2）、单位代码管理器通过心跳握手来判断其下连接的业务处理器是否正常，当连接的业务处理器增加或减少时，单位代码管理器立刻动态分配其余业务处理器管理的终端单位代码范围，并存入数据库中；
3）、通信前置机定期加载单位代码管理器数据库中业务处理器管理的终端范围；
4）、通信前置机监测到与业务处理器连接异常时，重新加载单位代码管理器数据库中业务处理器管理终端范围，并将请求提交至新业务处理器；
5）、主站根据数据库中业务处理器管理终端范围信息向终端所在业务处理器下发下行请求；
6）、通信前置机根据缓存的业务处理器管理终端范围信息向业务处理器提交终端上行请求；
7）、业务处理器收到未缓存终端档案的业务请求时，立刻从数据库加载终端档案后再进行业务处理。
有益效果：业务处理器只在缓存中加载已分配给自己的终端档案，不必缓存全部终端档案，提高加载性能，降低内存消耗。在应对大型信息采集系统的大容量数据采集业务时，对业务处理器的硬件性能要求低，可通过线性扩展业务处理器数量以达到大型计算机的性能和内存，提高数据采集业务的效率，改善大容量数据采集业务导致的性能瓶颈，同时降低硬件设备的成本投入。
附图说明
图1是本发明流程图。
图2是本发明结构原理图。
具体实施方式
以下结合说明书附图对本发明的技术方案做进一步的详细说明。
如图2所示，本发明包括用于负责通信调度、原始报文保存、通信流量统计的通讯前置机、用于负责规约封装解析、采集数据保存的业务处理器、用于管理业务处理器与接入终端关系的单位代码管理器及主站；业务处理器与单位代码管理器及通讯前置机连接；主站与通讯前置机、业务处理器、单位代码管理器连接；单位代码管理器设数据库，单位代码管理器按照负载均衡策略自动分配接入终端给业务处理器，业务处理器在缓存中加载分配给自己的终端档案，前置机根据终端的归属关系将数据上送至对应的业务处理器。减少数据冗余量，多台业务处理器组成业务处理器组，业务处理器组连接所有通讯前置机。单位代码管理器根据配置的业务处理器及终端数量，按照均衡原则分配每个业务处理器需要加载的终端单位代码范围，以保证各个业务处理器能均衡分配需处理的终端数量；单位代码管理器通过心跳握手来判断所有业务处理器是否工作正常，当连接的业务处理器增加和减少时，单位代码管理器则立刻动态分配其余业务处理器管理的终端范围，并保证各个业务处理器能均衡分配需处理的终端数量；前置机在业务处理器连接异常时，或在规定的时间间隔后读取单位代码管理器分配给业务处理器的终端范围，并把接下来的数据按新配置送至终端所属业务处理器。
如图1所示，自动管理的终端档案分区缓存系统的工作方法，包括以下步骤：
1）、单位代码管理器启动时根据配置文件中配置的业务处理器数量，按照均衡原则来分配每个业务处理器需要加载的终端范围；
2）、单位代码管理器通过心跳握手来判断其下连接的业务处理器是否正常，当连接的业务处理器增加或减少时，单位代码管理器立刻动态分配其余业务处理器管理的终端单位代码范围，并存入数据库中；
3）、通信前置机定期加载单位代码管理器数据库中业务处理器管理的终端范围；
4）、通信前置机监测到与业务处理器连接异常时，重新加载单位代码管理器数据库中业务处理器管理终端范围，并将请求提交至新业务处理器；
5）、主站根据数据库中业务处理器管理终端范围信息向终端所在业务处理器下发下行请求；
6）、通信前置机根据缓存的业务处理器管理终端范围信息向业务处理器提交终端上行请求；
7）、业务处理器收到未缓存终端档案的业务请求时，立刻从数据库加载终端档案后再进行业务处理。
以上图1、2所示的自动管理的终端档案分区缓存系统是本发明的具体实施例，已经体现出本发明实质性特点和进步，可根据实际的使用需要，在本发明的启示下，对其进行形状、结构等方面的等同修改，均在本方案的保护范围之列。
Claims (4)
1.自动管理的终端档案分区缓存系统，其特征在于：包括用于负责通信调度、原始报文保存、通信流量统计的通讯前置机、用于负责规约封装解析、采集数据保存的业务处理器、用于管理业务处理器与接入终端关系的单位代码管理器及主站；业务处理器与单位代码管理器及通讯前置机连接；主站与通讯前置机、业务处理器、单位代码管理器连接；单位代码管理器设数据库，单位代码管理器按照负载均衡策略自动分配接入终端给业务处理器，业务处理器在缓存中加载分配给自己的终端档案，前置机根据终端的归属关系将数据上送至对应的业务处理器。
2.根据权利要求1所述的自动管理的终端档案分区缓存系统，其特征在于：多台业务处理器组成业务处理器组，业务处理器组连接所有通讯前置机。
3.根据权利要求1所述的自动管理的终端档案分区缓存系统，其特征在于：单位代码管理器根据配置的业务处理器及终端数量，按照均衡原则分配每个业务处理器需要加载的终端单位代码范围，以保证各个业务处理器能均衡分配需处理的终端数量；单位代码管理器通过心跳握手来判断所有业务处理器是否工作正常，当连接的业务处理器增加和减少时，单位代码管理器则立刻动态分配其余业务处理器管理的终端范围，并保证各个业务处理器能均衡分配需处理的终端数量；前置机在业务处理器连接异常时，或在规定的时间间隔后读取单位代码管理器分配给业务处理器的终端范围，并把接下来的数据按新配置送至终端所属业务处理器。
4.采用权利要求1所述的自动管理的终端档案分区缓存系统的工作方法，其特征在于：包括以下步骤
1）、单位代码管理器启动时根据配置文件中配置的业务处理器数量，按照均衡原则来分配每个业务处理器需要加载的终端范围；
2）、单位代码管理器通过心跳握手来判断其下连接的业务处理器是否正常，当连接的业务处理器增加或减少时，单位代码管理器立刻动态分配其余业务处理器管理的终端单位代码范围，并存入数据库中；
3）、通信前置机定期加载单位代码管理器数据库中业务处理器管理的终端范围；
4）、通信前置机监测到与业务处理器连接异常时，重新加载单位代码管理器数据库中业务处理器管理终端范围，并将请求提交至新业务处理器；
5）、主站根据数据库中业务处理器管理终端范围信息向终端所在业务处理器下发下行请求；
6）、通信前置机根据缓存的业务处理器管理终端范围信息向业务处理器提交终端上行请求；
7）、业务处理器收到未缓存终端档案的业务请求时，立刻从数据库加载终端档案后再进行业务处理。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201310583941.8A CN103618771B (zh) | 2013-11-20 | 2013-11-20 | 自动管理的终端档案分区缓存系统及其工作方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201310583941.8A CN103618771B (zh) | 2013-11-20 | 2013-11-20 | 自动管理的终端档案分区缓存系统及其工作方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN103618771A true CN103618771A (zh) | 2014-03-05 |
| CN103618771B CN103618771B (zh) | 2018-08-14 |
Family
ID=50169475
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201310583941.8A Active CN103618771B (zh) | 2013-11-20 | 2013-11-20 | 自动管理的终端档案分区缓存系统及其工作方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN103618771B (zh) |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN1652090A (zh) * | 2005-02-23 | 2005-08-10 | 北京邦诺存储科技有限公司 | 网络存储系统中的数据管理方法及其构建的网络存储系统 |
| CN103226890A (zh) * | 2013-03-19 | 2013-07-31 | 上海欧忆智能网络有限公司 | 远程集抄智能用电系统及其集抄方法 |
-
2013
- 2013-11-20 CN CN201310583941.8A patent/CN103618771B/zh active Active
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN1652090A (zh) * | 2005-02-23 | 2005-08-10 | 北京邦诺存储科技有限公司 | 网络存储系统中的数据管理方法及其构建的网络存储系统 |
| CN103226890A (zh) * | 2013-03-19 | 2013-07-31 | 上海欧忆智能网络有限公司 | 远程集抄智能用电系统及其集抄方法 |
Non-Patent Citations (1)
| Title |
|---|
| 王中原，裘炜浩: "《超大规模用电信息采集系统主站通信架构设计》", 《电力系统通信》 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN103618771B (zh) | 2018-08-14 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110022226A (zh) | 一种基于面向对象的数据采集系统及采集方法 | |
| CN202058147U (zh) | 分布式实时数据库管理系统 | |
| CN105138615A (zh) | 一种构建大数据分布式日志的方法和系统 | |
| CN103645904B (zh) | 一种接口调用的缓存实现方法 | |
| CN103677759B (zh) | 一种用于信息系统性能提升的对象化并行计算方法及系统 | |
| CN103064731A (zh) | 一种提高消息队列系统性能的装置及其方法 | |
| CN104599032A (zh) | 一种面向资源管理的分布式内存电网构建方法及系统 | |
| CN102694868A (zh) | 一种集群系统实现及任务动态分配方法 | |
| CN105183549A (zh) | 基于任务分配的自动出票系统 | |
| CN103281367A (zh) | 一种负载均衡方法及装置 | |
| CN104503894A (zh) | 分布式服务器状态实时监测系统及方法 | |
| CN106502875A (zh) | 一种基于云计算的日志生成方法及系统 | |
| CN111225029A (zh) | 一种动态消息推送方法、系统和汽车诊断服务器 | |
| CN105005585A (zh) | 一种日志数据的处理方法和装置 | |
| CN103530335B (zh) | 电力计量采集系统的入库操作方法及装置 | |
| CN112559634A (zh) | 一种基于计算机云计算大数据用数据管理系统 | |
| CN102750368A (zh) | 一种数据库集群数据高速导入方法 | |
| CN103473848A (zh) | 一种基于高并发的网络发票查验构架及方法 | |
| CN105635278A (zh) | 一种管理存储系统的元数据的方法以及元数据服务器 | |
| CN105516317B (zh) | 一种用电信息多层级负载均摊高效采集方法 | |
| CN102004891B (zh) | Rfid中间件进程间数据通讯的方法及装置 | |
| CN103618671A (zh) | 大规模数据采集业务多组分发系统及其分发方法 | |
| CN105701626A (zh) | 一种电力营销稽查精益化管控多系统集成方法 | |
| CN105577756A (zh) | 采用交叉备份的分布式数据库日志收集与负载调节系统及其方法 | |
| CN112417050A (zh) | 数据同步方法和装置、系统、存储介质及电子装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| EXSB | Decision made by sipo to initiate substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| CP01 | Change in the name or title of a patent holder |
Address after: 100031 West Chang'an Avenue, Xicheng District, Xicheng District, Beijing Co-patentee after: Information communication branch office of Guo Wang Zhejiang Electric Power Company Patentee after: State Grid Corporation of China Co-patentee after: Zhejiang Huayun Information Technology Co., Ltd. Address before: 100031 West Chang'an Avenue, Xicheng District, Xicheng District, Beijing Co-patentee before: Information communication branch office of Guo Wang Zhejiang Electric Power Company Patentee before: State Grid Corporation of China Co-patentee before: Zhejiang Creaway Automation Engineering Co., Ltd. |
|
| CP01 | Change in the name or title of a patent holder |