CN102043867B - 一种基于内存打点的采集系统数据补召方法 - Google Patents
一种基于内存打点的采集系统数据补召方法 Download PDFInfo
- Publication number
- CN102043867B CN102043867B CN 200910308631 CN200910308631A CN102043867B CN 102043867 B CN102043867 B CN 102043867B CN 200910308631 CN200910308631 CN 200910308631 CN 200910308631 A CN200910308631 A CN 200910308631A CN 102043867 B CN102043867 B CN 102043867B
- Authority
- CN
- China
- Prior art keywords
- called
- module
- benefit
- ready
- time
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000015654 memory Effects 0.000 title claims abstract description 19
- 238000000034 method Methods 0.000 title claims abstract description 14
- 238000012163 sequencing technique Methods 0.000 claims description 2
- 241001269238 Data Species 0.000 description 4
- 238000004891 communication Methods 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000000151 deposition Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 230000009977 dual effect Effects 0.000 description 1
- 230000008030 elimination Effects 0.000 description 1
- 238000003379 elimination reaction Methods 0.000 description 1
- 230000003203 everyday effect Effects 0.000 description 1
- 238000009472 formulation Methods 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 238000004321 preservation Methods 0.000 description 1
- 230000002035 prolonged effect Effects 0.000 description 1
Images
Landscapes
- Telephonic Communication Services (AREA)
- Data Exchanges In Wide-Area Networks (AREA)
Abstract
一种基于内存打点的采集系统数据补召方法，涉及信息技术领域。目前大型采集系统不能兼顾检索效率及系统开销。本发明其特征在于：系统设补召服务器，补召服务器设有初始化模块、打点模块和补召模块，初始化模块定期在其内存中生成次日打点表，打点模块在前置机通知补召服务器收到报文后在打点表的相应处打点，补召模块根据补召时间要求，调用打点表信息对漏点进行补召。在内存的打点表上打点，打点表的更新开销小，且查询打点表的速度快，适用于大型采集系统的漏点补召。
Description
【技术领域】
本发明涉及信息技术领域，尤指一种基于内存打点的采集系统数据补召方法。
【背景技术】
目前，采集系统的数据采集可以分为两种通讯方式：主站巡测方式和终端主动上报方式。无论采用哪一种方式，都不可避免地出现数据采集不完整的情况。
对于缺漏的这些数据，通常需要主站进行补召。补召点的确定有两种方法：
从存储解析后的终端上报数据表中查询，找到该有却没有的点。
系统在硬盘中建立一个数据库，收到终端上报数据后，在相应的位置设置标志(即打点)。补召时，查询数据库，确定未打过点的清单。
但是，对于大型采集系统来说，第一种方式检索效率低，而第二种方式对位于硬盘中的数据库的更新代价高，两种方式都会对系统产生很大的压力，不能兼顾检索效率及系统开销。
【发明内容】
本发明要解决的技术问题和提出的技术任务是对现有技术方案进行完善与改进，提供一种基于内存打点的采集系统数据补召方法，使其适用于大型采集系统，达到高的检索效率及小的系统开销的目的。为此，本发明采取以下技术方案：
系统设补召服务器，补召服务器设有用于定期在其内存中生成次日打点表的初始化模块，补召服务器的内存中设有打点模块和补召模块，当打点模块在前置机通知补召服务器收到报文后在打点表的相应处打点，补召模块根据补召时间要求，调用打点表信息对漏点进行补召。在内存的打点表上打点，打点表的更新开销小，且查询打点表的速度快，适用于大型采集系统的漏点补召。
作为对上述技术方案的进一步完善和补充，本发明还包括以下附加技术特征：
所述的打点表为二维表，一终端对应一终端编号，一终端编号对应一行，以上报时间点作为列名，记录每一时间点终端上报的情况。在补召前，查询某一时间点各终端的上报情况，找出在该时间点未上报的所有终端编号，对未上报的终端进行补召。
初始化模块检索终端档案，剔除连续多日无数据上报的终端，并根据不同任务，生成复数张打点表，待前置机通知补召服务器收到报文后，打点模块按照任务类别在对应打点表相应位置置1。在初始状态，打点表表格内置0。因任务不同，终端的上报时间不同，那么补召的时间也存在差异，故将不同的任务制定相应的打点表，便于数据的管理，对于连续超过一定时间无数据上报的终端，在内存打点表中不生成打点记录以避免对长期故障的终端做无意义的补召，减少无效的通讯开销。。
补召服务器设补召策略模块，所述的补召策略模块为每一类任务设一组时间序列规定补召的基准时间及下次补召与上次补召的间隔时间；补召模块根据补召策略模块确定每一类任务各次补召的时间。每一类任务配置一组时间序列，时间序列中的数据个数决定了补召次数，方便对补召的管理。在设补召次数时兼顾数据完整性及系统开销，若补召次数少，那么数据完整率就低；若补召次数多，系统性能开销大、通讯流量、通讯费用就大，故需要在这两个因素中做出平衡。一般重要的任务数据，补召次数设置多一点；次要的任务，就少一点。而补召时间，则是综合业务上对数据时间的要求、补召次数等因素确定的，业务上当然希望越及时越好，但是时间间隔过小，成功率可能就会偏低，比如说某一个终端在某一个小时通讯信号不好，或者停电，则需要等这些因素消除之后补召才能成功。适当的增加时滞，可以消除这些偶然因素的影响，提高补召成功率。从业务对数据时滞的容忍程度来考虑，一般来说，时间间隔较长的任务，允许的时滞较长，补召的间隔也较长；反之亦然。重复补召，可以在一定程度上提高数据完整率，但是，一次补召失败，很可能意味着第二次补召也会失败枛如果是因为偶然因素引起，那么需要等这些因素消除之后才能成功；如果是因为信号强度的波动引起，那么需要等过了一定的信号质量较差时间之后才能恢复。所以，为提高补召的有效性，一般补召的间隔随着补召次数的增加而逐渐延长。比如，我们可以设置每天一次的电量任务补召时间序列为：50，120，160；设置每小时一点的负荷任务补召时间序列为：25，40。
初始化模块根据补召策略模块的时间序列生成次日各类任务各时间点数据的补召时间，并对补召时间排序。初始化模块在前日便生成按时间先后排序的补召时间序列，补召模块按此时间序列对终端下发补召命令，节约查询补召时间的开销。
定时器每分钟触发补召模块，补召模块根据由初始化模块生成的排序后的补召时间表检索相应时间点的漏点信息，对未打点终端下发补召命令。每分钟在定时器的触发下，补召模块查询补召时间序列，若该时间具有补召任务，则检索相应时间点任务漏点，对未打点终端下发补召命令，若该时间无补召任务，则结束，等待下一分钟的定时器触发。
有益效果：
1、在内存的打点表上打点，打点表的更新开销小，且查询打点表的速度快，适用于大型采集系统的漏点补召。
2、每一类任务配置一组时间序列，时间序列中的数据个数决定了补召次数，数据值决定再次补召的时间，方便对补召的管理。
3、在内打点表中不生成打点记录以避免对长期故障的终端做无意义的补召，减少无效的通讯开销。
【附图说明】
图1是本发明原理结构图。
图2是本发明流程图。
【具体实施方式】
以下结合说明书附图对本发明的技术方案做进一步的详细说明。
如图1所示，本发明涉及终端、前置机、补召服务器，补召服务器设初始化模块、补召策略模块、打点模块及补召模块，其中打点模块及补召模块设于补召服务器的内存中。由终端定时将数据上送给前置机，当负责报文解析和保存的前置机收到报文、解析并保存后，通知补召服务器的打点模块，打点模块根据所收到报文的终端编号及数据时间点的情况在相应打点表的对应位置打点；由初始化模块生成位于补召服务器内存中的打点表，补召模块查询某一时间点的漏点，并按照补召策略模块规定的补召时间对漏点对应的终端进行补召。
如图2所示，各模块的工作步骤：
初始化模块：在前日由初始化模块检索终端档案，剔除连续多日无数据上报的终端，同时根据终端任务的不同，生成次日的打点表，检索任务补召策略模块，根据补召策略模块规定的时间序列，确定次日各类任务各时间点数据的补召时间，并对补召时间进行排序。
打点模块：各终端按任务将报文上送给前置机；前置机解析保存报文后通知补召服务器；补召服务器在当天的打点表的相应位置打点(即做上标记)。
补召模块：补召模块在定时器触发下，每分钟查询由始化模块生成的补召时间序列，若该时间具有补召任务，则检索相应时间点的漏点信息，对未打点终端下发补召命令，若该时间无补召任务，则结束，等待下一分钟的定时器触发。
举例说明如下：
某用电信息采集系统有两类数据上报任务：每小时一点的负荷数据、每15分钟一点的负荷数据。容量较大的用户采用15分钟负荷任务，容量较小的用户采用小时负荷任务。
补召策略采用时间序列表示，形如“n1，n2…nm”的时间序列表示第一次补召在任务规定时间之后n1个单位时间(一般采用分钟作为单位)，第二次补召在第一次补召之后n2个时间单位，以此类推。比如策略“10，20”，对于8点的任务来说，分别在8:10、8:30补召。
设定小时负荷的补召策略为：“17，30”，即在规定时间之后第17分钟、47分钟补召。设定15分钟负荷的补召策略为：“12，20”，即在规定时间之后的第12分钟、32分钟补召。
补召服务器在每天零点前按照任务类生成两个内存打点表如下：
| 终端编号 | 0:00 | 1:00 | 2:00 | …… | 22:00 | 23:00 |
| 00001 | 0 | 0 | 0 | 0 | 0 | 0 |
| …… | 0 | 0 | 0 | 0 | 0 | 0 |
| 终端编号 | 0:00 | 0:15 | 0:30 | …… | 23:30 | 23:45 |
| 00101 | 0 | 0 | 0 | 0 | 0 | 0 |
| …… | 0 | 0 | 0 | 0 | 0 | 0 |
前置机在收到终端上报数据后，按照任务类别在相应的打点表相应位置置1。例如，收到00001终端0:00的小时负荷数据，即在第一张表第1行第1列置1；收到00101终端0:15的15分钟负荷数据，即在第二张表第1行第2列置1。
0:12需要对0点的15分钟负荷数据补召，则从第二张表中检索0:00这一列为0的所有终端，并对这些终端下发补召命令。
0:17需要对0点的小时负荷数据补召，则从第一张表中检索0:00这一列为0的所有终端，并对这些终端下发补召命令。
0:27需要对0:15的15分钟负荷数据补召，则从第二张表中检索0:15这一列为0的所有终端，并对这些终端下发补召命令。
0:32需要对0点的15分钟负荷数据做第二次补召，则从第二张表中检索0:00这一列为0的所有终端，并对这些终端下发补召命令。
补召收到数据后，在相应的位置上置1。
为避免对长期故障的终端做无意义的补召，减少无效的通讯开销，对于连续超过一定时间(如3天)无数据的终端，在内存表中不生成相应的打点记录。
Claims (4)
1.一种基于内存打点的采集系统数据补召方法，其特征在于：系统设补召服务器，补召服务器设有初始化模块、打点模块和补召模块，初始化模块定期在其内存中生成次日的打点表；各终端按任务将报文上送给前置机，前置机通知补召服务器收到报文后，打点模块在当天的打点表的相应处打点，补召模块根据补召时间要求，调用打点表信息对漏点进行补召；补召服务器设补召策略模块，所述的补召策略模块为每一类任务设一组时间序列规定补召的基准时间及下次补召与上次补召的间隔时间；补召模块根据补召策略模块确定每一类任务各次补召的时间；初始化模块根据补召策略模块的时间序列生成次日各类任务各时间点数据的补召时间，并对补召时间排序。
2.根据权利要求1所述的一种基于内存打点的采集系统数据补召方法，其特征在于：打点表为二维表，一终端对应一终端编号，一终端编号对应一行，以上报时间点作为列名，记录每一时间点终端上报的情况。
3.根据权利要求1或2所述的一种基于内存打点的采集系统数据补召方法，其特征在于：初始化模块检索终端档案，剔除连续多日无数据上报的终端，并根据不同任务，生成复数张打点表，待前置机收到报文后通知补召服务器，打点模块按照任务类别在对应打点表相应位置置1。
4.根据权利要求3所述的一种基于内存打点的采集系统数据补召方法，其特征在于：定时器每分钟触发补召模块，补召模块根据由初始化模块生成的排序后的补召时间表检索相应时间点的漏点信息，对未打点终端下发补召命令。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN 200910308631 CN102043867B (zh) | 2009-10-22 | 2009-10-22 | 一种基于内存打点的采集系统数据补召方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN 200910308631 CN102043867B (zh) | 2009-10-22 | 2009-10-22 | 一种基于内存打点的采集系统数据补召方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN102043867A CN102043867A (zh) | 2011-05-04 |
| CN102043867B true CN102043867B (zh) | 2013-01-16 |
Family
ID=43910004
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN 200910308631 Active CN102043867B (zh) | 2009-10-22 | 2009-10-22 | 一种基于内存打点的采集系统数据补召方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN102043867B (zh) |
Families Citing this family (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103095492A (zh) * | 2012-12-28 | 2013-05-08 | 中兴通讯股份有限公司 | 一种数据采集方法及装置 |
| CN105049460B (zh) * | 2014-12-19 | 2019-07-05 | 国网电力科学研究院 | 一种电能质量数据智能保全方法 |
| CN111930727B (zh) * | 2020-06-23 | 2023-04-28 | 宁波三星医疗电气股份有限公司 | 一种设备数据主动上报打点记录方法及数据补偿方法 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN1747397A (zh) * | 2004-09-08 | 2006-03-15 | 中兴通讯股份有限公司 | 一种电信网管中性能数据补采系统及其方法 |
| CN1750699A (zh) * | 2004-09-15 | 2006-03-22 | 中兴通讯股份有限公司南京分公司 | 微蜂窝通讯系统基站话务数据采集方法 |
| CN101192992A (zh) * | 2007-01-10 | 2008-06-04 | 中兴通讯股份有限公司 | 用于电信网管系统的性能数据补充采集系统及方法 |
-
2009
- 2009-10-22 CN CN 200910308631 patent/CN102043867B/zh active Active
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN1747397A (zh) * | 2004-09-08 | 2006-03-15 | 中兴通讯股份有限公司 | 一种电信网管中性能数据补采系统及其方法 |
| CN1750699A (zh) * | 2004-09-15 | 2006-03-22 | 中兴通讯股份有限公司南京分公司 | 微蜂窝通讯系统基站话务数据采集方法 |
| CN101192992A (zh) * | 2007-01-10 | 2008-06-04 | 中兴通讯股份有限公司 | 用于电信网管系统的性能数据补充采集系统及方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN102043867A (zh) | 2011-05-04 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN102906751B (zh) | 一种数据存储、数据查询的方法及装置 | |
| CN101739292B (zh) | 基于应用特征的异构集群作业自适应调度方法和系统 | |
| CN110399373A (zh) | 一种区块链账本存储系统、存储查询方法及删除方法 | |
| CN102724307B (zh) | 用于物联网的信息融合引擎及方法 | |
| CN100483411C (zh) | 关系型数据库中信息检索方法及装置 | |
| CN104391948A (zh) | 数据仓库的数据标准化构建方法及系统 | |
| CN108632078B (zh) | 一种配置的获取方法 | |
| CN101170522A (zh) | 一种发布历史事件的方法及系统 | |
| CN102722582A (zh) | 基于逆向清理的数据整合系统及方法 | |
| CN102043867B (zh) | 一种基于内存打点的采集系统数据补召方法 | |
| CN102467525A (zh) | 单据关联方法及系统 | |
| CN103838855A (zh) | 余票更新的方法 | |
| CN102508833A (zh) | 数据监控装置及方法 | |
| CN103455560A (zh) | 一种数据查询方法及系统 | |
| CN103473848B (zh) | 一种基于高并发的网络发票查验构架及方法 | |
| CN101997701B (zh) | 数据处理方法及装置 | |
| CN107870982A (zh) | 数据处理方法、系统和计算机可读存储介质 | |
| CN103258389B (zh) | 自助终端上传文件的方法、系统和自助终端 | |
| CN108833451B (zh) | 基于国产安全管控平台的多级管控系统及管控方法 | |
| CN104618881A (zh) | 一种彩信账单的生成及传递方法 | |
| CN101699783B (zh) | 一种在线计费数据备份方法、系统和计费平台 | |
| CN101094428A (zh) | 一种智能网业务数据库查询统计系统及其方法 | |
| CN101098495A (zh) | 一种提高智能业务在线统计任务性能的系统及方法 | |
| CN102137449A (zh) | 一种用于业务支撑系统的业务处理方法及系统 | |
| CN115310960A (zh) | 基于互联网的数字经济化方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| C14 | Grant of patent or utility model | ||
| GR01 | Patent grant | ||
| ASS | Succession or assignment of patent right |
Owner name: STATE GRID CORPORATION OF CHINA Effective date: 20121231 |
|
| C41 | Transfer of patent application or patent right or utility model | ||
| TR01 | Transfer of patent right |
Effective date of registration: 20121231 Address after: 310007 Huanglong Road, Hangzhou, Zhejiang, No. 8, No. Patentee after: Zhejiang Electric Power Company Patentee after: State Grid Corporation of China Address before: 310007 Huanglong Road, Hangzhou, Zhejiang, No. 8, No. Patentee before: Zhejiang Electric Power Company |