CN101170454A - 一种监控数据采集汇总状态的方法和系统 - Google Patents
一种监控数据采集汇总状态的方法和系统 Download PDFInfo
- Publication number
- CN101170454A CN101170454A CNA2006101141163A CN200610114116A CN101170454A CN 101170454 A CN101170454 A CN 101170454A CN A2006101141163 A CNA2006101141163 A CN A2006101141163A CN 200610114116 A CN200610114116 A CN 200610114116A CN 101170454 A CN101170454 A CN 101170454A
- Authority
- CN
- China
- Prior art keywords
- data
- information
- collection
- data migration
- migration point
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 63
- 238000013480 data collection Methods 0.000 title claims abstract description 47
- 238000012544 monitoring process Methods 0.000 title claims abstract description 36
- 238000013508 migration Methods 0.000 claims abstract description 182
- 230000005012 migration Effects 0.000 claims abstract description 182
- 230000008569 process Effects 0.000 claims abstract description 32
- 238000012432 intermediate storage Methods 0.000 claims description 24
- 230000000295 complement effect Effects 0.000 claims description 19
- 238000001514 detection method Methods 0.000 claims description 14
- 230000007246 mechanism Effects 0.000 claims description 14
- 238000012545 processing Methods 0.000 claims description 13
- 230000000903 blocking effect Effects 0.000 claims description 12
- 238000004891 communication Methods 0.000 claims description 10
- 238000013499 data model Methods 0.000 claims description 10
- 238000003860 storage Methods 0.000 claims description 9
- 230000003993 interaction Effects 0.000 claims description 3
- 230000000737 periodic effect Effects 0.000 claims description 2
- 230000002776 aggregation Effects 0.000 abstract description 12
- 238000004220 aggregation Methods 0.000 abstract description 12
- 238000012423 maintenance Methods 0.000 abstract description 9
- 238000007726 management method Methods 0.000 description 19
- 238000010586 diagram Methods 0.000 description 9
- 230000002159 abnormal effect Effects 0.000 description 6
- 230000000007 visual effect Effects 0.000 description 5
- 239000003086 colorant Substances 0.000 description 4
- 230000005856 abnormality Effects 0.000 description 3
- 238000004458 analytical method Methods 0.000 description 3
- 230000008901 benefit Effects 0.000 description 3
- 230000008859 change Effects 0.000 description 3
- 239000013589 supplement Substances 0.000 description 3
- 230000007704 transition Effects 0.000 description 3
- 238000011156 evaluation Methods 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 238000002360 preparation method Methods 0.000 description 2
- 230000003466 anti-cipated effect Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000012804 iterative process Methods 0.000 description 1
- 238000011031 large-scale manufacturing process Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000000246 remedial effect Effects 0.000 description 1
- 238000007619 statistical method Methods 0.000 description 1
- 239000000725 suspension Substances 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 230000001960 triggered effect Effects 0.000 description 1
Images
Landscapes
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
本发明公开了一种监控数据采集汇总状态的方法，包括步骤：a.检测采集汇总过程中各个数据迁移点的采集汇总状态信息；b.客户端利用所述各个数据迁移点的配置信息以及所述采集汇总状态信息生成导航树信息和以关注数据迁移点为中心的拓扑图信息，并图例化显示。本发明同时还公开了一种监控数据采集汇总状态的系统。本发明可以为工作人员提供直观、形象、实时的数据采集汇总状态信息，通过本发明，无需要求有经验的电信网管维护人员，普通技术人员即可对采集汇总过程中各个环节的数据采集汇总状态信息进行客观的评估，并可及时、清晰地发现问题和准确地定位问题，进而采取针对性的操作解决问题。
Description
技术领域
本发明涉及监控数据采集过程的技术，更具体地说涉及在电信管理网络(TMN)中监控数据采集汇总过程中各中间阶段状态的方法和系统。
背景技术
电信管理网络(TMN)根据电信网络的运行、操作和维护的管理范围，划分为五个管理功能：性能管理、故障管理、配置管理、计费管理和安全管理。其中性能管理的作用在于收集电信设备数据并对电信网络设备或单元的行为和有效性进行监视和校正，通过统计和分析的方法帮助规划出最佳的网络设计和性能。
电信设备数据的采集汇总和呈现过程一般采用如下的方法实现，该方法步骤包括：定期采集电信设备网元数据并将其导入网管系统的原始数据表；利用由所述原始数据表汇总生成统一的核心数据表，核心数据表根据业务需求继续汇总生成应用数据表；将所述应用数据表以Web报表的形式呈现给用户。数据采集的数据流向如图1所示，采集汇总装置20从电信设备10接口采集数据，存储到原始数据表201，原始数据表的数据通过汇总入库到核心数据表202，核心数据表数据通过汇总入库到应用数据表203，最后应用数据表以web报表30的形式呈现给用户。在上述过程中的数据采集阶段，由于电信设备数据的准备有先有后，定期采集所述数据不可避免地会出现所采集数据的缺失现象，而整个数据采集汇总过程中各个中间阶段，如采集、导入以及汇总数据的过程是网管系统的内部运行过程，各个阶段的采集汇总任务的执行也可能会出现异常，对网管系统的用户来说，无法对以上采集汇总任务执行的可靠性和采集汇总数据的完整性做出客观的评估，而只能借助日常维护经验根据web界面呈现的报表数据来分析数据的完整性，同时借助系统日志来分析采集汇总的中间环节，从而确定是否有异常任务发生，判断采集汇总数据在上述采集汇总过程中是否出现缺失。对于已经造成的任务执行失败或者数据缺失，需要人工重新定义并执行补采任务或补汇任务，进行数据补充采集或补充汇总。显然，这种处理问题的方法，首先要求有经验的电信网管维护人员，其次耗时、效率低下，评价的标准因人而异，不具有客观性，数据补采或补汇也难以及时进行。
发明内容
有鉴于此，本发明提供一种强容错性的并且可以为工作人员提供实时、准确、形象的数据采集汇总状态的监控方法和系统。
本发明一种监控数据采集汇总状态的方法的技术方案是这样实现的：
一种监控数据采集汇总状态的方法，包括步骤：
a、检测采集汇总过程中各个数据迁移点的采集汇总状态信息；
b、客户端利用所述各个数据迁移点的配置信息以及所述采集汇总状态信息生成导航树信息和以关注数据迁移点为中心的拓扑图信息，并图例化显示。
步骤b之后还包括：
c、发送数据补采或补汇命令消息；
d、执行所述数据补采或补汇命令。
在步骤a和步骤b之间，进一步包括：
将所述采集汇总状态信息发送至中间存储组件；
客户端从所述中间存储组件获取并确定所述采集汇总状态信息。
所述将所述采集汇总状态信息发送至中间存储组件的步骤包括：
将所述采集汇总状态信息中的任务状态信息发送至中间存储组件中的消息队列单元；
将所述采集汇总状态信息中的数据齐全率信息发送至所述中间存储组件中的数据库。
客户端从所述中间存储组件获取并确定所述采集汇总状态信息的步骤包括：
客户端实时获取所述消息队列单元根据阻塞机制发送过来的所述数据迁移点的任务状态信息；确定所述任务状态信息为任务完成、任务运行中、无任务和任务运行出错任务状态信息之一；
客户端以用户触发或定期查询的方式从所述数据库中获取所述数据迁移点的数据齐全率信息；将所述数据迁移点的当前所采集或汇总的数据量与预先设置的数据量阈值进行比较，并将所述数据迁移点的当前数据量与所预设数据量阈值的比值确定为数据齐全率信息。
所述预设数据量阈值为所述数据迁移点在所预设时间段内的最大数据采集或汇总条数。
步骤b包括：
客户端根据各个数据迁移点的配置信息，将各个数据迁移点按照属性归类，生成包括各个数据迁移点的导航树信息，并显示导航树；
从所显示的导航树中找出所关注的数据迁移点，利用关注数据迁移点的配置信息和采集汇总状态中的的任务状态信息、数据齐全率信息，生成以关注数据迁移点为中心的拓扑图信息，并显示拓扑图。
本发明同时还公开了一种监控数据采集汇总状态的系统，所述系统包括：
检测单元，用于检测数据采集汇总过程中各个数据迁移点的采集汇总状态信息；
客户端，用于实现系统与操作人员的信息交互，包括用于根据各个数据迁移点的配置信息以及所述采集汇总信息生成导航树图信息和以关注数据迁移点为中心的拓扑图信息，并图例化显示。
所述采集汇总状态信息包括所述数据迁移点的任务状态信息和数据齐全率信息。
所述系统进一步包括：
中间存储组件，分别与所述检测单元和客户端相连，用于存储所述检测单元提供所述采集汇总状态信息，并将所述采集汇总状态信息提供给客户端。
所述采集汇总状态信息包括所述数据迁移点的任务状态信息和数据齐全率信息。
所述中间存储组件包括：消息队列单元和数据库；所述消息队列单元用于储存各个数据迁移点的任务状态信息，并根据阻塞机制将其发送至客户端；所述数据库用于储存所述数据迁移点的数据齐全率信息，并根据客户端的请求为客户端提供所述数据齐全率信息。
所述客户端包括数据通讯单元、配置信息存储单元、数据模型处理单元和显示单元；其中，
所述数据通讯单元用于获取从所述消息队列单元发送过来的所述任务状态信息；同时，还用于通过定期检测的方式从所述数据库获取各个数据迁移点的数据齐全率信息；并且，还用于发送数据补采或补汇消息；
所述配置信息存储单元用于存储各个数据迁移点的配置信息，所述配置信息包括属性信息和各个数据迁移点之间的关系信息；
所述数据模型处理单元用于根据各个数据迁移点的配置信息和所述数据通讯单元获取的采集汇总状态信息，生成包括各个数据迁移点的导航树信息和以关注数据迁移点为中心的拓扑图信息；
所述显示单元用于根据所述数据模型处理单元生成的导航树信息和拓扑图信息，显示导航树和拓扑图。
所述系统进一步包括任务调度器，用于执行发自客户端的数据补采或补汇命令。
所述数据齐全率信息为用于指示所述数据迁移点当前数据量与所预设数据量阈值的比值的数据信息。
所述预设数据量阈值为所述数据迁移点在所预设时间段内的最大数据采集或汇总条数。
通过上述技术方案可知，与现有技术相比，本发明具有以下特点和优点：
1、客户端从消息队列单元和数据库分别获取所述数据迁移点的任务状态信息和数据齐全率信息，并且利用导航树或拓扑图将所述任务状态信息和数据齐全率信息直观地显示出来，可以自动、实时地为电信网管维护人员提供形象、客观、直观的数据采集汇总过程信息，以帮助维护人员对数据采集汇总过程中各个阶段的任务状态信息和数据完整性信息有清晰的了解，由此做出正确的判断和分析，及时的发现问题并快速的定位问题，提出切实可行的补救措施，发送相应的补采或补汇命令以确保采集数据或汇总数据的完整性。
2、采用将数据齐全率作为判断标准，在数据齐全率不符合要求的情况下，发出补采或补汇命令，保证了采集、汇总数据的完整性和准确性。而且，可以随时了解历史记录信息，得出数据齐全率状态变化的趋势，了解采集汇总装置的运行状况。
3、采用任务状态监控方式，及时发现采集汇总任务的中断、异常、出错等意外事件，进行及时任务调度处理，可保证数据采集汇总过程的顺利进行，符合电信网管实际运维中事务的处理逻辑。
附图说明
图1为现有技术的实现流程方框图；
图2为本发明一种监控数据采集汇总状态的方法的实现流程图；
图3为本发明一种监控数据采集汇总状态的方法的实施例一流程图；
图4为本发明实施例一的数据流向整体示意图；
图5为本发明实施例一中以“原始数据表2”为关注数据迁移点的拓扑示意图；
图6为本发明一种监控数据采集汇总状态的系统的实施例一的结构框图；
图7为本发明一种监控数据采集汇总状态的系统的实施例二的结构框图。
具体实施方式
本发明一种监控数据采集汇总状态的方法的中心思想是：
检测采集汇总过程中各个数据迁移点的采集汇总状态信息；客户端利用所述各个数据迁移点的配置信息以及所述采集汇总状态信息生成导航树信息和以关注数据迁移点为中心的拓扑图信息，并图例化显示。
在数据的采集汇总过程中，定义存放采集数据或者汇总数据的容器为数据迁移点，图1中的电信设备101、原始数据表211、核心数据表212、应用数据表213以及web报表300均可称为数据迁移点。
如果将各个数据迁移点都放在一个拓扑图中显示，难于集中查错纠错，为了缩小拓扑图上的观察范围，仅呈现以所关注的数据迁移点为中心的拓扑图。本发明中将所关注的数据迁移点简称为关注数据迁移点。
为了使本领域技术人员能够更好地理解本发明技术方案，下面结合附图和实施例对本发明进行进一步的详细说明。
请参考图2，为本发明一种监控数据采集汇总状态的方法的实现流程图。
首先进入步骤S201。
步骤S201：检测采集汇总过程中各个数据迁移点的采集汇总状态信息。
步骤S202：客户端利用所述各个数据迁移点的配置信息以及所述采集汇总状态信息生成导航树信息和以关注数据迁移点为中心的拓扑图信息，并图例化显示。
各个数据迁移点的配置信息包括数据迁移点的属性信息和数据迁移点之间的关系信息。数据迁移点的属性信息可以是数据迁移点的名称、数据迁移点的类型等，例如数据迁移点的类型可以是原始数据表类，或是核心数据表类，或是应用数据表类等类型信息。数据迁移点之间的关系信息表示从起始数据迁移点到目标数据迁移点的采集流向或汇总流向。
下面通过实施例一对本发明进行进一步的阐述说明。
如图3所示，为本发明一种监控数据采集汇总状态的方法实施例一的流程图。
步骤S301：检测数据迁移点的任务状态信息和数据齐全率信息。
检测数据迁移点自身的任务状态信息，确定其运行状态为任务完成、任务运行中、无任务和任务运行出错等类型。任务包括采集任务和汇总任务，它实现输入一个数据迁移点的采集或汇总数据，经过采集任务或汇总任务处理，输出到另一个数据迁移点，成为另一个数据迁移点的采集或汇总数据；任务状态信息包括起始数据迁移点、目标数据迁移点和任务运行状态。由于现有采集汇总装置多采用将数据按时间分段、定期采集汇总的策略，所以任务状态信息还包括该任务所采集或汇总的数据所属的时间段信息。例如，采集任务是将电信设备数据导入到网管数据库中并形成原始数据表的过程，汇总任务是将网管数据库中的原始数据表归一形成核心数据表或者将核心数据表转换成应用数据表的过程。所述任务完成状态是指从起始数据迁移点到目标数据迁移点的数据迁移已经完成；所述任务运行中状态是指从起始数据迁移点到目标数据迁移点的数据迁移正在进行中，有部分数据到达目标数据迁移点；所述无任务状态是指起始数据迁移点和目标数据迁移点之间当前没有数据迁移的任务在运行；所述任务运行出错状态是指从起始数据迁移点到目标数据迁移点的数据迁移任务异常中止。
数据齐全率信息的确定方法：将所述数据迁移点的当前采集或汇总的数据量与预先设置的数据量阈值进行比较，并将用于指示所述数据迁移点的当前采集或汇总数据量与所预设数据量阈值的比值确定为数据齐全率信息。和任务状态信息类似，数据齐全率信息也还包括其数据所属的时间段信息。
所述预设数据量阈值为所述数据迁移点在过去48小时中的采集数据或汇总数据的数据条数最大值。
当然所述预设数据量阈值也可以由工作人员根据网络运行情况预先设置。
数据库永久保存所述数据齐全率信息，以方便用户查阅，用户可以通过所述数据库随时查阅历史数据齐全率信息。
步骤S302：将所述任务状态信息和数据齐全率信息分别保存。
例如分别保存在中间存储组件中的消息队列单元和数据库中。
步骤S303：客户端获取所述任务状态信息和数据齐全率信息。
获取的方式上，如所述消息队列单元通过阻塞机制向客户端发送所述数据迁移点的任务状态信息；所述客户端以定时访问的方法从数据库中获取所述数据齐全率信息。
有关阻塞机制的描述说明：在所述客户端不停地访问消息队列单元直到接收到数据迁移点的任务状态信息；采取阻塞机制有助于提高任务状态信息的实时性。
所述客户端对数据库的访问时间间隔可以根据数据采集或汇总的质量要求或根据有经验的工作人员的经验设置。
客户端获取所述数据迁移点的数据齐全率信息除了以上所述的定时访问之外还可以采用用户触发的方式实现。
数据库保存数据齐全率的方式为永久保存或在预设的一个时间段内保存，有利于客户端随时了解历史记录信息，从而得出数据齐全率状态变化的趋势。
步骤S304：客户端上生成导航树信息和拓扑图信息，并显示。
根据各个数据迁移点的配置信息，将各个数据迁移点按照属性归类，并根据所获取的采集汇总状态信息，生成包括各个数据迁移点的导航树信息，并根据各个数据迁移点的任务状态信息和数据齐全率信息，通过拓扑图生成算法生成以关注数据迁移点为中心的拓扑图信息，并将所述导航树信息和拓扑图信息进行图例化显示。
各个数据迁移点的配置信息包括数据迁移点的属性信息和数据迁移点之间的关系信息，例如数据迁移点的属性信息可以是原始数据表，或是核心数据表，或是应用数据表等类型。
数据迁移点之间的关系信息可以用一个二元关系表来表示。
从电信设备到Web报表的数据流向可通过多个二元关系来表示，例如：电信设备数据到原始数据表的采集流向为A-＞B，其中A为电信设备数据实体，B为原始数据实体，数据流向为A-＞B；原始数据表到核心数据表的汇总流向为B-＞C，其中B为原始数据实体，C为核心数据实体，数据流向为B-＞C；那么厂家电信设备数据、原始数据表、核心数据表的数据流向表示为A-＞B-＞C。因此，利用二元关系表可以保存从电信设备数据到Web报表的所有数据流向关系，并可由此推导出所有数据迁移点的拓扑关系。
客户端利用所述各个数据迁移点所属的类型信息，可生成按照各种类型分支的数据迁移点导航树信息，并显示导航树。基于数据迁移点的采集汇总状态信息，从导航树上找出所关注的数据迁移点。然后再依据数据迁移点之间的关系信息，生成以关注数据迁移点为中心的拓扑图信息，呈现该拓扑图。
如图4所示，为本发明实施例一的数据流向整体示意图。
图4中电信设备101、原始数据表102、核心数据表103、应用数据表104和Web报表105均为一个数据迁移点，用一个图元表示该一个数据迁移点的数据采集汇总状态，任意两个数据迁移点之间的连线采用不同颜色表示所述两个数据迁移点之间的任务状态。
图4中利用不同的填充图案的图元表示对应的数据迁移点的数据齐全率状态，如填充的图案为单斜线，则表示对应的数据迁移点的数据齐全率为80％～100％；填充的图案为垂直交叉线，表示对应的数据迁移点的数据齐全率小于80％；填充的图案为45度交叉线，表示对应数据迁移点的数据齐全率小于50％；无填充图案则表示对应数据迁移点的数据齐全率为100％。
同时图中还利用不同形状的线段表示任意两个相邻数据迁移点的任务状态信息，如线段112表示任务正在运行中；线段113表示任务运行出错；线段114表示任务状态未知；线段115表示任务完成。
当然，也可以将任务运行中、任务完成、任务出错和无任务四种不同的状态分别用不同颜色如蓝色、绿色、红色和灰色表示；同时，数据齐全率100％、数据齐全率80％～100％、齐全率小于80％以及未知状态分别以黄色、淡紫色、紫色以及灰色表示，或者以不同的形状表示，如圆形、方形、三角形等；由此实现了采集汇总状态信息的图例化显示。
由于电信网管流程图纷繁复杂，如果将全部数据迁移点都图形化会增大用户查找和定位特定流程、特定数据迁移点的难度。
为了给用户提供形象、直观、有针对性的图形信息，将我们所关注的数据迁移点(即“关注数据迁移点”)、影响所述关注数据迁移点(即“前因”)以及所述关注数据迁移点所影响的数据迁移点(即“后果”)生成以所述关注数据迁移点为中心的拓扑图。所述影响的含义包括直接影响和间接影响，例如：所述数据流向A-＞B-＞C，A影响B，B影响C，从而A间接影响C，A、B均为C的前因，B、C均为A的后果。
以原始数据表107为关注数据迁移点的拓扑图，如图5所示，为本发明实施例一中以“原始数据表2”为关注数据迁移点的拓扑示意图。
从图5可以看出原始数据表107的数据齐全率决定于电信设备101、电信设备106和电信设备110获取的原始数据是否齐全，同时也取决于从所述电信设备101、电信设备106和电信设备110中的原始数据到原始数据表107的数据迁移是否成功；另一方面，原始数据表107的数据是否齐全，又将直接影响到核心数据表103、核心数据表108、应用数据表104、应用数据表109的数据是否齐全，进而影响到Web报表105和Web报表111的数据是否齐全。
步骤S305：根据拓扑图上显示的各个数据迁移点的数据采集汇总状态，执行数据补采或补汇命令。
工作人员可以根据客户端显示的拓扑图，充分了解数据采集汇总过程中各个数据迁移点的数据采集汇总状态，针对所述数据采集汇总状态信息适时地手动触发发送补采或汇总命令信息至任务调度器；所述任务调度器收到所述命令信息后，调度所述命令信息至数据采集汇总装置对数据进行补采或补汇。
请参考图5，说明运用关注数据迁移点为中心的拓扑图查错、定位问题的优点。由于电信设备1数据采集不及时，导致了原始数据表2数据齐全率异常，核心数据表1和核心数据表2数据齐全率异常，应用数据表1和应用数据表2数据齐全率异常，最终反映到应用web报表1和web报表3中的数据异常。这里，可以直观地看到由于电信设备本身数据准备异常导致的数据采集汇总异常，进一步导致汇总数据异常，从而面向用户的web报表1和web报表3呈现异常，可以清晰地发现并定位问题，然后采取相应的对策来解决问题。当用户在分析原始数据表2异常时，显示界面上会显示原始数据表2异常的原因，同时也会显示出原始数据表2的前因和后果，便于用户追踪定位。
以上发现问题、定位问题和解决问题的过程是一个动态的、循环反复的过程。
本发明还公开了一种监控数据采集汇总状态的系统，请参考图6，为本发明一种监控数据采集汇总状态的系统实施例一的结构框图，所述系统包括检测单元500、中间存储组件600和客户端700。
定义存放采集数据或者汇总数据的容器为数据迁移点，图6中的电信设备900、原始数据表411、核心数据表以及应用数据表413均可称为数据迁移点。
所述检测单元500，用于检测数据采集汇总过程中各个数据迁移点的采集汇总状态信息。
所述客户端700，用于实现系统与操作人员的信息交互，包括用于根据各个数据迁移点的配置信息以及所述采集汇总信息生成导航树图信息和以关注数据迁移点为中心的拓扑图信息，并图例化显示。
中间存储组件600，分别与所述检测单元500和客户端700相连，包括消息队列单元611和数据库612，用于存储所述采集汇总状态信息，并将所述采集汇总状态信息提供给客户端700。
所述采集汇总状态信息包括所述数据迁移点的任务状态信息和数据齐全率信息。
在此借助数据采集汇总装置400和电信设备900与本系统的关系对本系统进行更清楚、详细的描述说明。
所述数据采集汇总装置400中的采集汇总单元414从若干个电信设备900中采集设备数据信息，并将所述设备数据信息进行逐级汇总。
所述检测单元500设置于所述数据采集汇总装置400中，用于检测采集汇总装置400中原始数据表411、核心数据表412以及应用数据表413的任务状态信息和数据齐全率信息，并将所述任务状态信息和数据齐全率信息分别提供给所述中间存储组件600中的消息队列单元611和数据库612。所述消息队列单元611用于储存各个数据迁移点的任务状态信息，并根据阻塞机制将其发送至客户端；所述数据库612用于储存所述数据迁移点的数据齐全率信息，并根据客户端的请求为客户端提供所述数据齐全率信息。所述数据齐全率信息为用于指示所述数据迁移点当前采集或汇总数据量与所预设数据量阈值的比值的数据信息，所述预设数据量阈值为所述数据迁移点在过去48小时中的采集数据或汇总数据的数据条数最大值。
所述客户端包括数据通讯单元711、数据模型处理单元712、配置信息存储单元713和显示单元714；其中，所述数据通讯单元711用于分别根据阻塞机制和定时访问机制从所述中间存储组件600中的消息队列单元611和数据库612获取所述原始数据表411、核心数据表412以及应用数据表413的任务状态信息和数据齐全率信息；并且，还用于发送数据补采或补汇消息。所述配置信息存储单元713用于存储各个数据迁移点的配置信息，包括属性信息和各个数据迁移点之间的关系信息。所述数据模型处理单元712根据配置信息存储单元中的配置信息和所述数据齐全率信息以及任务状态信息生成导航树信息和以关注数据迁移点为中心的拓扑图信息。所述显示单元714用于根据所述数据模型处理单元生成的导航树信息和拓扑图信息，显示所述导航树和拓扑图。
所述系统还包括任务调度器800，用于执行发自客户端的补采或补汇命令。
本系统的工作过程如下：
检测单元500检测所述原始数据表413、核心数据表412以及应用数据表411的任务状态信息和数据齐全率信息，并将所述任务状态信息和数据齐全率信息分别提供给所述中间存储组件600中的消息队列单元611和数据库612。客户端700中的数据通讯单元711根据定时访问机制从数据库612中获取各个数据迁移点的数据齐全率信息；同时数据通讯单元711根据阻塞机制从所述消息队列单元611获取各个数据迁移点的任务状态信息；客户端700中的数据模型处理单元712根据所述配置信息存储单元713中存储的各个数据迁移点的属性信息、各个数据迁移点之间的关系信息以及所述数据齐全率信息和任务状态信息生成导航树信息和以关注数据迁移点为中心的拓扑图信息，并通过客户端700中的显示单元714显示导航树和拓扑图，拓扑图上的节点表示数据迁移点，拓扑图上数据迁移点之间的连线表示数据迁移过程，利用呈现不同颜色的节点表示所述数据迁移点的数据齐全率信息，利用呈现不同颜色的连线表示任务运行状态信息。
任务状态信息包括起始数据迁移点、目标数据迁移点和任务运行状态。由于现有采集汇总装置多采用将数据按时间分段、定期采集汇总的策略，所以任务状态信息还包括该任务所采集或汇总的数据所属的时间段信息。例如，采集任务是将电信设备900数据导入数据采集汇总装置400中并形成原始数据表411的过程，汇总任务是将数据采集汇总装置400的原始数据表411归一形成核心数据表412或者将核心数据表转换成应用数据表413的过程。
数据齐全率信息的确定方法：将所述数据迁移点的当前采集或汇总的数据量与预先设置的数据量阈值进行比较，并将用于指示所述数据迁移点的当前采集或汇总数据量与所预设数据量阈值的比值确定为数据齐全率信息。和任务状态信息类似，数据齐全率信息也还包括其数据所属的时间段信息。
所述预设数据量阈值为所述数据迁移点在过去48小时中的采集数据或汇总数据的数据条数最大值。
有关阻塞机制的描述说明：在所述客户端700不停地访问消息队列单元611直到接收到数据迁移点的任务状态信息；采取阻塞机制有助于提高任务状态信息的实时性。
所述客户端700对数据库612的访问时间间隔可以根据数据采集或汇总的质量要求或根据有经验的工作人员的经验设置。
客户端700获取所述数据迁移点的数据齐全率信息除了以上所述的定时访问之外还可以采用用户触发的方式实现。
数据库612保存数据齐全率的方式为永久保存或在预设的一个时间段内保存，有利于客户端700随时了解历史记录信息，从而得出数据齐全率状态变化的趋势。
将数据齐全率信息和任务状态信息生成拓扑图的方法已在监控采集汇总状态的方法的实施例一中的步骤S304中有详细描述，在此不再赘述。
工作人员通过客户端提供的直观、形象、实时的拓扑图信息，可以充分了解数据采集汇总过程中各个数据迁移点的数据采集汇总状态，清晰地发现问题并定位问题，然后根据分析的结果发送补采或补汇命令消息至任务调度器800，并由任务调度器调度执行。
所述任务调度器800调度执行的命令也可以是工作人员根据维护管理需要进行定制。
请参考图7，为本发明一种监控数据采集汇总状态的系统的实施例二的结构框图，其组成部分和工作原理类同于实施例一，区别仅在于检测单元500可以独立于所述数据采集汇总装置400。
所述检测单元500可以独立于所述数据采集汇总装置400，定时检测并获取所述原始数据表413、核心数据表412以及应用数据表411的任务状态信息和数据齐全率信息，并将所述任务状态信息和数据齐全率信息分别提供给中间存储组件600中的消息队列单元611和数据库612。
所述检测单元500可以独立于所述数据采集汇总装置400，定时检测并获取所述原始数据表413、核心数据表412以及应用数据表411的任务状态信息和数据齐全率信息，并将所述任务状态信息和数据齐全率信息分别提供给中间存储组件600中的消息队列单元611和数据库612。
本发明已经在中国联通、中国移动进行了大规模的生产试验，在运维过程中，效果良好，实现了本发明的目的，达到了预期的效益。
以上公开的仅为本发明的优选实施方式，但本发明并非局限于此，任何本领域的技术人员能思之的没有创造性的变化，以及在不脱离本发明原理前提下所作的若干改进和润饰，都应落在本发明的保护范围内。
Claims (15)
1.一种监控数据采集汇总状态的方法，其特征在于，包括步骤：
a、检测采集汇总过程中各个数据迁移点的采集汇总状态信息；
b、客户端利用所述各个数据迁移点的配置信息以及所述采集汇总状态信息生成导航树信息和以关注数据迁移点为中心的拓扑图信息，并图例化显示。
2.如权利要求1所述的监控数据采集汇总状态的方法，其特征在于，步骤b之后还包括：
c、发送数据补采或补汇命令消息；
d、执行所述数据补采或补汇命令。
3.如权利要求1或2所述的监控数据采集汇总状态的方法，其特征在于，在步骤a和步骤b之间，进一步包括：
将所述采集汇总状态信息发送至中间存储组件；
客户端从所述中间存储组件获取并确定所述采集汇总状态信息。
4.如权利要求3所述的监控数据采集汇总状态的方法，其特征在于，将所述采集汇总状态信息发送至中间存储组件的步骤包括：
将所述采集汇总状态信息中的任务状态信息发送至中间存储组件中的消息队列单元；
将所述采集汇总状态信息中的数据齐全率信息发送至所述中间存储组件中的数据库。
5.如权利要求4所述的监控数据采集汇总状态信息的方法，其特征在于，所述客户端从所述中间存储组件获取并确定所述采集汇总状态信息的步骤包括：
客户端实时获取所述消息队列单元根据阻塞机制发送过来的所述数据迁移点的任务状态信息；确定所述任务状态信息为任务完成、任务运行中、无任务和任务运行出错任务状态信息之一；
客户端以用户触发或定期查询的方式从所述数据库中获取所述数据迁移点的数据齐全率信息；将所述数据迁移点的当前所采集或汇总的数据量与预先设置的数据量阈值进行比较，并将所述数据迁移点的当前数据量与所预设数据量阈值的比值确定为数据齐全率信息。
6.如权利要求5所述的监控数据采集汇总状态的方法，其特征在于：所述预设数据量阈值为所述数据迁移点在所预设时间段内的最大数据采集或汇总条数。
7.如权利要求4所述的监控数据采集汇总状态的方法，其特征在于，步骤b包括：
客户端根据各个数据迁移点的配置信息，将各个数据迁移点按照属性归类，生成包括各个数据迁移点的导航树信息，并显示导航树；
从所显示的导航树中找出所关注的数据迁移点，利用关注数据迁移点的配置信息和采集汇总状态中的的任务状态信息、数据齐全率信息，生成以关注数据迁移点为中心的拓扑图信息，并显示拓扑图。
8.一种监控数据采集汇总状态的系统，其特征在于，包括：
检测单元，用于检测数据采集汇总过程中各个数据迁移点的采集汇总状态信息；
客户端，用于实现系统与操作人员的信息交互，包括用于根据各个数据迁移点的配置信息以及所述采集汇总信息生成导航树图信息和以关注数据迁移点为中心的拓扑图信息，并图例化显示。
9.如权利要求8所述的监控数据采集汇总状态的系统，其特征在于，进一步包括：
中间存储组件，分别与所述检测单元和客户端相连，用于存储所述检测单元提供所述采集汇总状态信息，并将所述采集汇总状态信息提供给客户端。
10.如权利要求9所述的监控数据采集汇总状态的系统，其特征在于，所述采集汇总状态信息包括所述数据迁移点的任务状态信息和数据齐全率信息。
11.如权利要求10所述的监控数据采集汇总状态的系统，其特征在于，所述中间存储组件包括：消息队列单元和数据库；所述消息队列单元用于储存各个数据迁移点的任务状态信息，并根据阻塞机制将其发送至客户端；所述数据库用于储存所述数据迁移点的数据齐全率信息，并根据客户端的请求为客户端提供所述数据齐全率信息。
12.如权利要求11所述的监控数据采集汇总状态的系统，其特征在于，所述客户端包括数据通讯单元、配置信息存储单元、数据模型处理单元和显示单元；其中，
所述数据通讯单元用于获取从所述消息队列单元发送过来的所述任务状态信息；同时，还用于通过定期检测的方式从所述数据库获取各个数据迁移点的数据齐全率信息；并且，还用于发送数据补采或补汇消息；
所述配置信息存储单元用于存储各个数据迁移点的配置信息，所述配置信息包括属性信息和各个数据迁移点之间的关系信息；
所述数据模型处理单元用于根据各个数据迁移点的配置信息和所述数据通讯单元获取的采集汇总状态信息，生成包括各个数据迁移点的导航树信息和以关注数据迁移点为中心的拓扑图信息；
所述显示单元用于根据所述数据模型处理单元生成的导航树信息和拓扑图信息，显示导航树和拓扑图。
13.如权利要求8或9或10或11或12所述的监控数据采集汇总状态的系统，其特征在于，进一步包括任务调度器，用于执行发自客户端的数据补采或补汇命令。
14.如权利要求13所述的监控数据采集汇总状态的系统，其特征在于，所述数据齐全率信息为用于指示所述数据迁移点当前采集或汇总数据量与所预设数据量阈值的比值的数据信息。
15.如权利要求14所述的监控数据采集汇总状态的系统，其特征在于：所述预设数据量阈值为所述数据迁移点在所预设时间段内的最大数据采集或汇总条数。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN200610114116A CN101170454B (zh) | 2006-10-27 | 2006-10-27 | 一种监控数据采集汇总状态的方法和系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN200610114116A CN101170454B (zh) | 2006-10-27 | 2006-10-27 | 一种监控数据采集汇总状态的方法和系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN101170454A true CN101170454A (zh) | 2008-04-30 |
| CN101170454B CN101170454B (zh) | 2010-05-12 |
Family
ID=39390933
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN200610114116A Active CN101170454B (zh) | 2006-10-27 | 2006-10-27 | 一种监控数据采集汇总状态的方法和系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN101170454B (zh) |
Cited By (16)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101771566A (zh) * | 2009-01-04 | 2010-07-07 | 华为技术有限公司 | 网管间性能数据的传输方法、装置及系统 |
| CN101404590B (zh) * | 2008-11-19 | 2011-04-13 | 杭州华三通信技术有限公司 | 下级网管向上级网管上报数据的方法和网管设备 |
| CN101631053B (zh) * | 2009-08-28 | 2011-11-30 | 迈普通信技术股份有限公司 | Eaps环网拓扑监控方法及系统 |
| CN101673277B (zh) * | 2009-09-28 | 2012-05-23 | 国电南瑞科技股份有限公司 | 监控系统内存数据库监视方法 |
| CN102629271A (zh) * | 2012-03-13 | 2012-08-08 | 北京工商大学 | 一种基于堆叠树图的复杂数据可视化方法及设备 |
| CN102841943A (zh) * | 2012-08-24 | 2012-12-26 | 上海泰宇信息技术有限公司 | 数据安全监管预警及备份策略系统及方法 |
| CN103678726A (zh) * | 2012-09-05 | 2014-03-26 | 亿阳信通股份有限公司 | 一种数据补采方法和数据补采系统 |
| CN104135387A (zh) * | 2014-08-12 | 2014-11-05 | 浪潮通信信息系统有限公司 | 一种基于元模型拓扑的网管数据处理可视化监控方法 |
| WO2014180400A1 (zh) * | 2013-11-25 | 2014-11-13 | 中兴通讯股份有限公司 | 问题定位处理方法及装置 |
| CN106777345A (zh) * | 2017-01-16 | 2017-05-31 | 山东浪潮商用系统有限公司 | 一种基于海量数据迁移的数据抽取加载方法 |
| CN107094086A (zh) * | 2016-02-18 | 2017-08-25 | 中国移动通信集团江西有限公司 | 一种信息获取方法和装置 |
| CN107832461A (zh) * | 2017-11-28 | 2018-03-23 | 中国银行股份有限公司 | 一种数据迁移方法及系统 |
| WO2018121335A1 (zh) * | 2016-12-30 | 2018-07-05 | 阿里巴巴集团控股有限公司 | 实时数据处理方法和装置 |
| CN108959227A (zh) * | 2018-07-12 | 2018-12-07 | 山东汇贸电子口岸有限公司 | 一种基于b/s架构的自定义报表系统及方法 |
| CN111835915A (zh) * | 2020-07-09 | 2020-10-27 | 维沃移动通信有限公司 | 消息处理方法、消息处理装置和电子设备 |
| CN111881164A (zh) * | 2020-07-14 | 2020-11-03 | 袁媛 | 基于边缘计算和路径分析的数据处理方法及大数据云平台 |
Family Cites Families (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7076543B1 (en) * | 2002-02-13 | 2006-07-11 | Cisco Technology, Inc. | Method and apparatus for collecting, aggregating and monitoring network management information |
| CN1547356A (zh) * | 2003-12-10 | 2004-11-17 | 中国科学院计算技术研究所 | 一种面向网格的监控系统及方法 |
| CN100395987C (zh) * | 2004-08-23 | 2008-06-18 | 华为技术有限公司 | 一种电信网络通用性能管理的实现方法及系统 |
| CN100488109C (zh) * | 2004-09-08 | 2009-05-13 | 中兴通讯股份有限公司 | 一种电信网管中性能数据补采系统及其方法 |
-
2006
- 2006-10-27 CN CN200610114116A patent/CN101170454B/zh active Active
Cited By (24)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101404590B (zh) * | 2008-11-19 | 2011-04-13 | 杭州华三通信技术有限公司 | 下级网管向上级网管上报数据的方法和网管设备 |
| CN101771566A (zh) * | 2009-01-04 | 2010-07-07 | 华为技术有限公司 | 网管间性能数据的传输方法、装置及系统 |
| CN101631053B (zh) * | 2009-08-28 | 2011-11-30 | 迈普通信技术股份有限公司 | Eaps环网拓扑监控方法及系统 |
| CN101673277B (zh) * | 2009-09-28 | 2012-05-23 | 国电南瑞科技股份有限公司 | 监控系统内存数据库监视方法 |
| CN102629271B (zh) * | 2012-03-13 | 2013-12-04 | 北京工商大学 | 一种基于堆叠树图的复杂数据可视化方法及设备 |
| CN102629271A (zh) * | 2012-03-13 | 2012-08-08 | 北京工商大学 | 一种基于堆叠树图的复杂数据可视化方法及设备 |
| CN102841943A (zh) * | 2012-08-24 | 2012-12-26 | 上海泰宇信息技术有限公司 | 数据安全监管预警及备份策略系统及方法 |
| CN102841943B (zh) * | 2012-08-24 | 2015-07-08 | 上海泰宇信息技术有限公司 | 数据安全监管预警及备份策略系统及方法 |
| CN103678726B (zh) * | 2012-09-05 | 2017-11-10 | 亿阳信通股份有限公司 | 一种数据补采方法和数据补采系统 |
| CN103678726A (zh) * | 2012-09-05 | 2014-03-26 | 亿阳信通股份有限公司 | 一种数据补采方法和数据补采系统 |
| WO2014180400A1 (zh) * | 2013-11-25 | 2014-11-13 | 中兴通讯股份有限公司 | 问题定位处理方法及装置 |
| CN104660438A (zh) * | 2013-11-25 | 2015-05-27 | 中兴通讯股份有限公司 | 问题定位处理方法及装置 |
| CN104135387A (zh) * | 2014-08-12 | 2014-11-05 | 浪潮通信信息系统有限公司 | 一种基于元模型拓扑的网管数据处理可视化监控方法 |
| CN104135387B (zh) * | 2014-08-12 | 2017-06-16 | 浪潮通信信息系统有限公司 | 一种基于元模型拓扑的网管数据处理可视化监控方法 |
| CN107094086A (zh) * | 2016-02-18 | 2017-08-25 | 中国移动通信集团江西有限公司 | 一种信息获取方法和装置 |
| CN108268357A (zh) * | 2016-12-30 | 2018-07-10 | 阿里巴巴集团控股有限公司 | 实时数据处理方法和装置 |
| WO2018121335A1 (zh) * | 2016-12-30 | 2018-07-05 | 阿里巴巴集团控股有限公司 | 实时数据处理方法和装置 |
| US11635985B2 (en) | 2016-12-30 | 2023-04-25 | Alibaba Group Holding Limited | Using degree of completeness of real-time data to maximize product revenue |
| CN106777345A (zh) * | 2017-01-16 | 2017-05-31 | 山东浪潮商用系统有限公司 | 一种基于海量数据迁移的数据抽取加载方法 |
| CN106777345B (zh) * | 2017-01-16 | 2020-07-28 | 浪潮软件科技有限公司 | 一种基于海量数据迁移的数据抽取加载方法 |
| CN107832461A (zh) * | 2017-11-28 | 2018-03-23 | 中国银行股份有限公司 | 一种数据迁移方法及系统 |
| CN108959227A (zh) * | 2018-07-12 | 2018-12-07 | 山东汇贸电子口岸有限公司 | 一种基于b/s架构的自定义报表系统及方法 |
| CN111835915A (zh) * | 2020-07-09 | 2020-10-27 | 维沃移动通信有限公司 | 消息处理方法、消息处理装置和电子设备 |
| CN111881164A (zh) * | 2020-07-14 | 2020-11-03 | 袁媛 | 基于边缘计算和路径分析的数据处理方法及大数据云平台 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN101170454B (zh) | 2010-05-12 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN101170454B (zh) | 一种监控数据采集汇总状态的方法和系统 | |
| CN107707376B (zh) | 一种监控和告警的方法和系统 | |
| CN111756582B (zh) | 基于nfv日志告警的业务链监控方法 | |
| CN109783322A (zh) | 一种企业信息系统运行状态的监控分析系统及其方法 | |
| CN103049365B (zh) | 信息与应用资源运行状态监控及评价方法 | |
| CN105867351A (zh) | 车辆故障码实时采集与历史数据分析诊断的方法及装置 | |
| CN107480389A (zh) | 一种面向调度主站的智能告警测试仿真系统及方法 | |
| CN103023028B (zh) | 一种基于实体间依赖关系图的电网故障快速定位方法 | |
| CN109462490B (zh) | 视频监控系统及故障分析方法 | |
| CN115118581A (zh) | 一种基于5g的物联网数据全链路监控和智能保障系统 | |
| CN112994972B (zh) | 一种分布式探针监测平台 | |
| CN113391978B (zh) | 一种主机的巡检方法和装置 | |
| CN107395382A (zh) | 一种网络质量性能展示方法及装置、系统 | |
| CN107094086A (zh) | 一种信息获取方法和装置 | |
| CN113053063A (zh) | 基于移动端的灾害在线处置流程实现方法 | |
| CN113128721A (zh) | 一种充电桩智能化运维管理系统及方法 | |
| CN116962469A (zh) | 一种智慧园区电能监测管理系统 | |
| CN117560300B (zh) | 一种智能物联网流量预测与优化系统 | |
| CN104793270A (zh) | 一种综合气象观测网中设备运行状态的综合判定方法 | |
| CN114756394A (zh) | 全链路生产数据质量智能诊断系统 | |
| CN112449019A (zh) | 一种ims智能物联网运维管理平台 | |
| CN109687592A (zh) | 变电站信息显示控制方法、装置及电子设备 | |
| CN114500178B (zh) | 一种自运维的智慧物联网关 | |
| CN115393118A (zh) | 一种基于监测数据分析的二次系统故障定位方法及系统 | |
| CN114896096A (zh) | 基于图像识别算法的数据中心设备故障预测系统及方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| C14 | Grant of patent or utility model | ||
| GR01 | Patent grant |