CN100502313C - 一种对网元数据的处理方法 - Google Patents

一种对网元数据的处理方法 Download PDF

Info

Publication number
CN100502313C
CN100502313C CNB200610062850XA CN200610062850A CN100502313C CN 100502313 C CN100502313 C CN 100502313C CN B200610062850X A CNB200610062850X A CN B200610062850XA CN 200610062850 A CN200610062850 A CN 200610062850A CN 100502313 C CN100502313 C CN 100502313C
Authority
CN
China
Prior art keywords
time
interval
network element
data
acquisition
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CNB200610062850XA
Other languages
English (en)
Other versions
CN1964279A (zh
Inventor
毕洪涛
莱密斯
古步山
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Huawei Technologies Co Ltd
Original Assignee
Huawei Technologies Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Huawei Technologies Co Ltd filed Critical Huawei Technologies Co Ltd
Priority to CNB200610062850XA priority Critical patent/CN100502313C/zh
Publication of CN1964279A publication Critical patent/CN1964279A/zh
Application granted granted Critical
Publication of CN100502313C publication Critical patent/CN100502313C/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明公开了一种对网元数据的处理方法,包括步骤:101、获取网元预期记录数;102、获取网元丢失记录数;103、分析所述的网元预期记录数和网元丢失记录数之间的比例关系,得到网元数据齐全率。本发明简化网元齐全率的获取过程,提高其查询性能;本发明能够查询数据丢失的具体时间,有利于操作员对网络性能进行评估。

Description

一种对网元数据的处理方法
[技术领域]
本发明涉及网络管理技术领域,特别涉及一种对网元数据的处理方法。
[背景技术]
网络管理系统可按照“故障、配置、计费、性能及安全”分成五个功能组件,其中,性能管理系统是网络管理系统的核心组件,其主要功能是从网元采集性能数据并分析采集到的数据,从而对网络性能进行评估,由此可知,性能数据采集是非常重要的。网络操作员可以创建性能采集任务,定期(称为粒度或轮询周期)从网元采集性能数据。由于网络故障或者其它原因,有时会导致数据在采集过程丢失。因此,为了能够准确分析网络性能,网络操作员必须具备某种手段来了解从网元采集到的数据的齐全率,即表示采集到的实际数据记录数与预期数据记录数之比率。理想条件下,数据齐全率应该为100%,但是由于链路失败、网元失败等网络问题,数据齐全率可能会低于100%。
现有技术中,网元数据齐全率的获取涉及下列步骤:
1、创建定期数据采集任务,该任务将按预定义的轮询周期从网元采集数据。采集任务也可以包括其它参数,例如,每一天当中的某一时段内采集数据,以及一周或一月中哪几天需要采集数据。
2、根据性能采集任务获取预期记录数。
3、获取从网元采集到的实际记录数。
4、实际记录数与预期记录数之比就是数据齐全率。
对预期记录数的获取:
记录采集任务所有参数的信息和采集任务的操作历史信息,其中,操作历史信息包括:修改采集参数、中止采集任务、恢复采集任务等操作,此类操作会影响任务预期记录数的获取。
当用户查询某一时间间隔内的数据齐全率时,系统要读取采集任务所有参数的信息和操作历史信息。对于每一采集任务,先获取预期数据采集间隔,然后获取每一间隔中的预期记录数,最后再对所有间隔中的预期记录数进行累计,得到用户查询间隔中采集任务预期记录总数,对所有采集任务,则重复该过程。
以轮询周期为15分钟的采集任务为例(即,每隔15分钟采集一次数据)。该任务的有效时间段是00:00-06:00和12:00-18:00。该任务于2004年10月1日00:00创建,于2004年10月2日10:00中止,然后于2004年10月2日14:00恢复。现在用户要查询2004年10月1日00:00至2004年10月3日00:00期间的数据齐全率。系统将先读取采集任务相关信息,然后再读取自该采集任务创建后所进行的历史操作信息(在本例中,历史操作信息包括一次“中止”操作和一次“恢复”操作。),之后,系统将获取在查询间隔中预期进行数据采集的时间间隔,这些时间间隔包括:
2004年10月1日00:00至2004年10月1日06:00
2004年10月1日12:00至2004年10月1日18:00
2004年10月2日00:00至2004年10月2日06:00
2004年10月2日14:00至2004年10月2日18:00
采用下面的公式获取每一间隔内的预期数据:
预期记录数(间隔)=(结束时间(间隔)-起始时间(间隔))/轮询周期(间隔)
最后,对所有间隔内的预期记录数进行累计,得到预期记录数的最终结果。
对实际记录数的获取:
系统要进行数据库查询,即要对采集表中的实际记录数进行统计,以获取查询间隔内所有任务的实际记录数。
最后,按下面的公式获取数据齐全率:
数据齐全率=实际记录数/预期记录数
就时间角度而言,上述解决方案在显示“数据齐全率”方面性能较低,用户
不能对时间间隔超过一个月的数据齐全率进行查询,因为在获取从网元采集到的实际记录数时,必须对每个采集任务都要进行数据库查询,这是数据齐全率性能查询的主要瓶颈。当从网元中采集到大量数据时,采集表很大,因此查询数据获取实际记录数需要花很长的时间,特别是要进行多个采集任务的查询时,数据库查询所需要的总时间就更长了。
实际记录数的获取过程也很复杂,涉及获取从采集任务参数及操作历史信息中获得预期记录数的有效时间间隔。如果进行过大量的采集任务操作(例如,修改任务参数、中止采集任务、恢复采集任务等),该获取过程就会变得非常复杂,特别是系统中同时存在有很多采集任务,需要对每个采集任务进行处理,就会导致系统变得非常缓慢。
另外,在现有技术中,网络操作员只能查询到查询时间间隔内的预期记录数和实际记录数及数据齐全率,无法查询到数据丢失的具体时间,即无法得知数据是在间隔开始阶段、中间阶段、还是在结尾阶段丢失的,从而很难确定数据丢失的确切原因,不利于对网络性能进行评估。
[发明内容]
本发明要解决的技术问题是提供一种对网元数据的处理方法,一方面,简化网元数据齐全率的获取过程,提高其查询性能;另一方面,能够查询数据丢失的具体时间,有利于操作员对网络性能进行评估。
本发明的技术方案是:
一种对网元数据的处理方法,包括以下步骤:
201、把网元的所有采集任务的运行时间间隔和对应任务的轮询周期存储在数据库采集表中;
202、分别取用户输入的查询时间间隔和所述数据库采集表中存储的运行时间间隔两者的时间交集,对应作为各个任务运行的实际时间间隔;
203、根据所述任务运行的实际时间间隔和所述任务的轮询周期,统计所述任务运行的实际时间内的预期记录数;
102、获取网元丢失记录数;
103、分析所述的网元预期记录数和网元丢失记录数之间的比例关系,得到网元数据齐全率。
步骤201中所述采集任务的运行时间间隔包括:采集任务的开始日期和结束日期、每天的采集时间段。
步骤201还包括:所述采集任务在创建或恢复时,新的运行时间间隔开始;所述采集任务被中止或删除时,运行时间间隔结束;所述对应采集的轮询周期被修改时,旧的运行时间间隔结束,而新的运行时间间隔开始。
步骤102具体包括:
501、把在网元的所有采集任务的运行时间间隔内采集数据的丢失个数、丢失的开始及结束时刻和轮询周期存储在数据丢失采集表中;
502、分别取用户输入的查询时间间隔和所述网元的所有采集任务的运行时间间隔两者的时间交集,对应作为各个任务运行的数据丢失时间间隔;
503、根据所述数据丢失采集表,统计所有任务的网元丢失记录数。
步骤501具体包括:对于网元的所有采集任务,在所述运行时间间隔内,若采集数据连续丢失,则该丢失只在数据丢失采集表中存储一次,且存储值为采集数据的丢失个数。
步骤501具体包括:对于网元的所有采集任务,在所述运行时间间隔内,若当前采集报告的采集时刻与上次采集报告的采集时刻之差大于所述轮询周期,则在数据丢失采集表中存入一次丢失记录。
步骤501具体包括:所述存入的丢失记录数是丢失的结束时刻减去上次采集报告的采集时刻,再除以轮询周期得到的结果;或是当前采集报告的采集时刻减去丢失的开始时刻,再除以轮询周期得到的结果。
步骤103之后还包括:
901、通过第一界面,向用户展示所查询网元在查询时间间隔内每一天的数据采集的情况,包括每天内的数据丢失个数、当天的日期及数据齐全率;
902、所述第一界面上有若干个单元格分别对应不同的日期,每个单元格内显示特定的日期、当天采集数据丢失个数及数据齐全率。
所述的一种对网元数据的处理方法,还包括:
1001、通过第二界面,向用户展示每个单元格所对应日期的数据采集情况,包括每一采集数据丢失的具体时刻及每一数据采集成功的具体时刻;
1002、所述第二界面上有N个单元格,其中,N等于该日期内的预期记录数,每一采集数据对应占用一个单元格,并区别出采集数据丢失的单元格和数据采集成功的单元格,在单元格内显示数据采集丢失或成功的具体时刻。
在本发明中,一方面,把网元的所有采集任务的运行时间间隔存储在数据库采集表中,在获取网元预期记录数时,省略了这些运行时间间隔的获取时间,从而简化了网元预期记录数的获取过程;另一方面,本发明并没有直接对网元实际记录数进行获取,而是通过获取网元丢失记录数的方式间接获取网元实际记录数,通过把网元丢失记录数存储在数据丢失采集表中,该数据丢失采集表相对于现有技术的原始数据库表要小得多,易于搜索和统计表中的记录数,使得网元实际记录数的获取难度相对降低;因此本发明的方法改进了数据齐全率的查询性能。
通过本发明的处理方法,网络操作员还能够查询到查询间隔内数据丢失的具体时间,有利于网络操作员对网络性能进行评估,及时调整数据采集的策略。
[附图说明]
图1是本发明对网元数据的处理方法流程图。
图2是本发明数据库采集表的示意图。
图3是本发明数据丢失采集表的示意图。
图4是本发明按天显示数据齐全率综合信息视图。
图5是本发明采集记录信息视图。
[具体实施方式]
下面结合附图和实施例对本发明进行进一步阐述:
本发明相对于现有技术来说,主要有两方面的改进:数据齐全率的获取过程得到简化,其查询性能得到相应提高;增加了数据丢失具体时间的查询功能,有利于网络操作员直观、具体地对网络性能进行分析。
一、网元数据齐全率的获取:
现有技术中,数据齐全率查询性能的主要有两个瓶颈:查询数据库采集表以获取实际记录数;处理任务操作信息获取预期记录时间间隔。由于数据库采集表的长度很长,因此直接获取实际记录数的难度很大,而在获取预期记录数时,必须利用任务操作信息来获取预期记录时间间隔,由于任务操作信息量及操作的时间也是不确定的,增加了查询和统计的难度,因此会使得预期记录数的获取时间变长,导致现有技术中数据齐全率查询性能很低。
在本发明中,对于实际记录数的获取,并不直接查询数据库表来进行,而是通过查询专门存储丢失数据的数据丢失记录表来进行的;对于预期记录数的获取,则是把采集任务中有预期记录的时间间隔(网元的所有采集任务的运行时间间隔)存储在数据库采集表中,因此不需要再次获取这些时间间隔,可以直接利用,提高了预期记录数的获取速度;基于本发明对实际记录数和预期记录数的获取方式,改进了数据齐全率查询性能。
网元数据齐全率等于网元实际记录数除以网元预期记录数,可表示为下式:
网元数据齐全率=网元实际记录数/网元预期记录数
在获取网元数据齐全率时,需要获取两个参数——网元预期记录数和网元实际记录数,而网元实际记录数等于网元预期记录数减去网元丢失记录数,因此上式可表示为:
网元数据齐全率=(网元预期记录数-网元丢失记录数)/网元预期记录数
图1是本发明对网元数据的处理方法流程图,主要包括三个步骤:
101、获取网元预期记录数;
102、获取网元丢失记录数;
103、分析所述的网元预期记录数和网元丢失记录数之间的比例关系,得到网元数据齐全率。
下面具体说明网元预期记录数和网元实际记录数的获取过程:
1、对于网元预期记录数的获取:
本发明的数据库采集表中不需要维持两个单独的任务信息源,即,不需要存储任务参数信息和任务操作历史信息;只有在任务运行时的时间间隔信息才储存在数据库采集表中,在获取预期记录数时只需要使用这些时间间隔。当采集任务从“不运行”状态改变为“运行”状态的任何任务操作都标志着一个新的运行时间间隔的开始。
将任务从“不运行”状态变为“运行”状态的操作如下:
任务起始时间:创建任务时,新的运行间隔开始。
恢复任务操作:恢复任务时,新的运行间隔开始。
修改任务操作:修改任务参数(如:轮询周期)时,具有不同参数的新的运行间隔也开始。
将任务从“运行”状态变为“不运行”状态的操作如下:
中止任务操作:中止任务时,运行间隔结束。
删除任务操作:删除任务时,运行间隔结束。
修改任务操作:修改任务参数(如:轮询周期)时,运行间隔结束,但一个具有不同参数的新的运行间隔开始。
如图2所示,在该数据库采集表中,从左到右各列分别为:dev Task ID(设备任务号)、device ID(设备号)、mu Name(测量单元名称)、start Time Stamp(开始时间标志)、start Date of Task(任务开始日期)、end Date of Task(任务结束日期)、end Time Stamp(结束时间标志)、polling period(轮询周期)、timeSegment One(时间段一)、time Segment Two(时间段二)、time Segment three(时间段三)。
下面以第5行为例,对该表进行简单说明,设备任务号为16,设备号为5636097,测量单元名称为OR,开始时间标志为2005年3月11日12点,任务开始日期为2005年2月26日,任务结束日期为2006年2月27日,结束时间标志为2037年12月31日,轮询周期为1分钟,每天任务运行的时间段为00:00—04:00、08:00—12:00、14:00—23:00。
该表中存有网元的所有采集任务的运行时间间隔和对应任务的轮询周期,在获取各个任务预期记录数时,分别取用户输入的查询时间间隔和所述数据库采集表中存储的运行时间间隔两者的时间交集,对应作为各个任务运行的实际时间间隔;用所述任务运行的实际时间间隔除以所述任务的轮询周期,得到任务的预期记录数,把所有任务的预期记录数相加,得到网元的预期记录数。
例如:某一任务的运行间隔具有下列信息:
起始时戳:2004年10月1日00:00
结束时戳:2004年10月2日16:00,终止任务操作。
轮询周期:5分钟
时间段:06:00-12:00,14:00-18:00
现在假设用户的查询时间间隔为2004年10月1日00:00至2004年10月3日10:00,用户输入的查询时间间隔和数据库采集表中存储的运行时间间隔两者的时间交集(即该任务的实际运行间隔)为:
2004年10月1日06:00至2004年10月1日12:00
2004年10月1日14:00至2004年10月1日18:00
2004年10月2日06:00至2004年10月2日12:00
2004年10月2日14:00至2004年10月2日16:00
由此可知,数据采集表中保存了每个运行区段内的所有任务参数信息,并且每个运行的区段中任务的参数是恒定的,从而简化了预期记录数的获取。这个主要是由于任务的参数变化必需要停止任务才能进行,但是上面记录的运行区间(运行时间间隔)都是不间断的,所以参数没有变化。
由于区间的参数恒定,所以根据开始、结束时间,以及轮询周期就可以得出应该有的记录数。如果参数是变化的,则无法进行,需要逐个统计。
例如:8点到10点,每10分钟一个记录,则很容易知道每小时6条记录,8点到10点是2个小时,所以应该12条记录(6×2)。但是如果8—8:30,10分钟一个记录,8:30—9:00每5分钟一个记录,9:00—10:00每15分钟一个记录,这样统计起来就很麻烦。
采用下列公式获取某一时间间隔内的预期记录数:
预期记录数(间隔)=(结束时间(间隔)-起始时间(间隔))/轮询周期(间隔)
在用户指定的查询时间间隔内某一采集任务的预期记录数是用户指定时间间隔内各个运行时间间隔中的预期记录数之和;
预期记录数(任务)=∑i=1..n(预期记录数(间隔)(i))
其中,i为实际运行间隔的数量,上例中,i=4。
要获取某一网元预期记录总数,则要对用户指定的查询时间间隔内该网元所有采集任务执行这一获取过程,即:
预期记录数(网元)=∑i=1..n(预期记录数(任务)(i))
其中,i为该网元的采集任务数,该式中没有指定其具体的值。
上述过程完成了对网元预期记录数的获取。
2、对于网元实际记录数的获取:
在本发明中,只需获取网元丢失记录数就可以得到网元的实际记录数,如图3所示,在该数据丢失采集表中,从左到右各列分别为:dev Task ID(设备任务号)、device ID(设备号)、mu Name(测量单元名称)、start Time(开始时刻)、end Time(结束时刻)、missing Record(丢失记录)polling period(轮询周期)。
以第1行为例对该表进行简单说明,设备任务号为2,设备号为5636097,测量单元名称为INFAIL,数据丢失的开始时刻为2005年3月3日3:23:00p.m.,数据丢失的结束时刻为2005年3月3日3:23:00p.m.,数据丢失的个数为1个,轮询周期为1分钟。
这个表的容量是很小的,比起数据库采集表来说,根本不值一提,现有技术的数据齐全率的获取,需要在原始的数据库采集中进行搜索,有些数据库采集表的数据量能够达到1G字节,效率是非常低的(数据量影响齐全率的处理)。
该表中记录了每个采集任务的丢失记录,每一条记录表示一个采集任务在某一时间段连续丢失的记录数,即:对于网元的所有采集任务,在运行时间间隔内,若采集数据连续丢失,则该丢失只在数据丢失采集表中存储一次,且存储值为采集数据的丢失个数。例如:某个任务的轮询周期是5分钟,并且它只有一个时间段00:00-24:00。那么,如果采集数据在01:00-23:00这一时段丢失,则只有一个丢失记录将被插入到该表中,“丢失记录数”值为264。这样,可以让该表的长度保持在一个较小的值。
对于网元的所有采集任务,在所述运行时间间隔内,将采用采集任务的轮询周期检查自上次采集报告之后是否有记录丢失。若当前采集报告的采集时刻与上次采集报告的采集时刻之差大于轮询周期,则表示自上一采集报告之后发生了记录丢失的现象,进而在数据丢失采集表中存入一次丢失记录,丢失的开始时刻为上次采集报告的采集时刻加上所述轮询周期,丢失的结束时刻为所述当前采集报告的采集时刻减去所述轮询周期;此时,存入的丢失记录数是丢失的结束时刻减去上次采集报告的采集时刻,再除以轮询周期得到的结果;或是当前采集报告的采集时刻减去丢失的开始时刻,再除以轮询周期得到的结果。
在每条采集报告上报的时候,保存它的上报时间,再接收到一条新的报告后,会同上一次的记录时间比较,如果两个时间差超过一个报告周期,则说明有记录缺失。例如:系统10分钟报告一次(轮询周期为10分钟),现在收到一条9:00的报告。正常情况,下一条报告的时间应该是9:10,这样差值是10分钟,不大于轮询周期,报告正常,则更新报告的采集时间为9:10,等待下个报告。如果下个报告上报时,时间是10:00,差值50分钟,大于10分钟,则说明缺失报告,应该缺少4个报告,分别是9:20、9:30、9:40和9:50。
现在,如果用户要查询某一特殊时间间隔内的数据齐全率,分别取用户输入的查询时间间隔和网元的所有采集任务的运行时间间隔两者的时间交集,对应作为各个任务运行的数据丢失时间间隔;根据数据丢失采集表中的记录,累计所述任务运行的数据丢失时间间隔内的采集数据的丢失个数,得到任务的丢失记录数,把所有任务的丢失记录数相加,得到网元的丢失记录数。将检索与该间隔相应的任务的丢失记录,并将这些丢失记录累加以获取该任务的丢失记录总数。
即:丢失记录数(任务)=∑i=1..n(丢失记录数(间隔)(i))
要获取某一网元的丢失记录总数,则要对用户指定的查询时间间隔内该网元所属的所有采集任务执行这一获取过程。网元的丢失记录总数为所有采集任务的丢失记录之和。
丢失记录数(网元)=∑i=1..n(丢失记录数(任务)(i))
最后,根据网元预期记录数和网元丢失记录数,用下列式子获取网元实际记录数:
实际记录数(网元)=预期记录数(网元)-丢失记录数(网元)
本发明的数据库采集表中存储了网元的所有采集任务的运行时间间隔,简化了预期记录数获取过程;在获取网元实际记录数时,不需要根据数据库采集表进行查询获取,而通过网元丢失记录数来进行;在数据丢失采集表中,对于连续丢失的记录只保存一次,这样使丢失记录表可以保持在一个较小的值,并且减少了插入记录的操作;当对采集任务进行数据修改时,丢失的记录将会从该表中删除,这同样也使该丢失记录表保持在一个较小的值,这样都有利于简化网元实际丢失记录数的获取。
二、数据丢失具体时间的查询功能:
当用户查询某一网元在给定的查询时间间隔内的数据齐全率信息时,系统按上述的方法,从数据丢失采集表中获取相关信息,得到在该网元上创建的各个采集任务的数据齐全率,并向用户提供查询时间间隔内的所有采集任务的数据齐全率信息,如:数据齐全率、数据丢失的个数及数据丢失的具体时间。
为了查看丢失数据的确切信息,用户可以使用本发明的界面,该界面包含两个视图:按天显示数据齐全率综合信息视图和采集记录信息视图。
其中,按天显示数据齐全率综合信息视图,如图4所示,该视图显示用户查询时间间隔内每天的数据齐全率综合信息,其中,“DI”为数据齐全率,“lost”为数据丢失的个数。在同一图例中,用户可以查看一个月中所有日期的数据齐全率信息。该界面有“后页”(Next)和“前页”(Previous)按钮,用户可以点击按钮查看下一个月或前一个月的数据齐全率信息。例如,当用户查询2005年1月1日00:00至2005年3月15日00:00间的数据齐全率信息,本视图将显示每个月的数据齐全率信息。每个月由一个网格(7×5)表示,每一个网格单元表示该月中的一天,显示一天的数据齐全率信息,它将显示当天丢失的记录数以及代表当天数据齐全率的一个长方块,在长方块中,白色表示实际记录,黑色表示丢失的记录;如果数据齐全率等于1,整个长方块为白色;如果数据齐全率为0,整个长方块为黑色;如果数据齐全率大于0但小于1,则黑色部分为:(100%-数据齐全率)×长方块总高度,其它部分为白色。在本例中,首先显示2005年1月份的数据齐全率信息,用户可以通过“后页”按钮查看2月份和3月份的数据齐全率信息,图中就是3月份数据视图的快照,数据只显示到3月15日,即查询时间间隔的结束时间:2005年3月15日00:00。
通过图4所示的视图,用户可以了解查询时间间隔内每天丢失的数据情况。
如果用户希望了解一天内数据丢失的确切时间,用户可以使用如图5所示的采集记录信息视图进行查询,图5与图4结合使用,在图4中选择一个日期网格单元,就可以打开“采集记录信息视图”,查看当天的确切数据信息,该视图将显示所选日期内的所有预期记录以网格的形式显示。网格的结构取决于任务的轮询周期,网格的结构可以是:
轮询周期为1分钟—12×120单元格
轮询周期为5分钟—12×24单元格
轮询周期为15分钟—12×8单元格
轮询周期为30分钟—6×8单元格
轮询周期为1小时—6×4单元格
轮询周期为1天—6×1单元格,只使用第1个单元格。
一天内的每一条预期记录可能是一条丢失记录或一条从网元采集的记录。丢失的记录用黑色网格单元表示,实际记录用白色网格单元表示。每一个网格单元同时显示预期记录的时间。
图5中显示的是轮询周期为1分钟的网格,图中显示的是2005年3月15日数据丢失的详细信息,当点击图中的“后退”按钮可以回到“按天显示数据齐全率信息视图”,即回到图4所示的视图。
为了显示“采集记录信息视图”,即图5所示的视图,系统必须提供每天的预期记录列表,并标明每条记录为实际记录或丢失记录,以及丢失记录的具体时间。
系统提供下列信息:
1、任务操作信息:操作包括修改采集任务、中止采集任务及恢复采集任务等。这些操作都会影响预期记录的获取,对于任何一次操作,系统都会记录操作进行时的时间戳以及轮询周期、时间段等采集参数。
以轮询周期为5分钟、起始时间为2005年3月3日15:00:00,没有结束时间的采集任务为例,该任务于2005年3月15日10:00:00暂停,并于13:00:00恢复,在16:00:00时进行了修改,轮询周期从5分钟修改为15分钟。为了获取2005年3月15日的预期记录,系统必须考虑任务暂停、恢复以及轮询周期修改的信息,因为它们影响了预期记录的获取。
上述的任务操作的相关信息都可以从图2所示的数据库采集表中获得。
2、丢失记录信息:如果未能从网元采集到信息,系统将记录这一事件,记录包括以下参数:
(1)丢失记录的起始时间:第一条丢失记录的丢失时刻;
(2)丢失记录的结束时间:最后一条丢失记录的丢失时刻;
(3)丢失起始时间与结束时间之间的丢失记录数。
上述的丢失记录信息都可以从图3所示的数据丢失采集表中获得。
用户在“按天显示数据齐全率信息视图”中双击代表一天的网格单元时,就进入了“采集记录信息视图”,该视图中涉及的信息的获取如下:
从任务操作列表中,可以获得在选定日期中任务的状态,即,该任务在当天是否运行。
如果任务没有运行,则没有预期记录。
如果任务在运行,则可能有两种情况:任务全天运行,或在当天的部分时间内运行。在这两种情况下,系统将获取一天中任务的实际起始时间和结束时间。如果任务全天运行,起始时间为00:00,结束时间为24:00;如果任务在当天的部分时间内运行,则一天内可以有多个运行间隔,就获取相应的起始时间及结束时间,任务开始时间和结束时间之间的间隔,叫做“任务的运行时间间隔”。
对于用户输入的查询时间间隔,将查询时间间隔的起始时间和结束时间与每一个运行间隔的起始时间和结束时间比较,取查询时间间隔和任务的运行时间间隔的交集作为实际时间间隔,有以下几种可能性:
若查询时间间隔是任务的运行时间间隔的子集,则在整个查询时间间隔作为实际时间间隔,都有预期记录;
若任务的运行时间间隔是查询时间间隔的子集,则在整个任务的运行时间间隔作为实际时间间隔,都有预期记录;
若任务的运行时间间隔的起始时间在查询时间间隔内,则从任务的运行时间间隔的起始时间到查询时间间隔的结束时间作为实际时间间隔,有预期记录;
若任务的运行时间间隔的结束时间在查询时间间隔内,则从查询时间间隔的起始时间到任务的运行时间间隔的结束时间作为实际时间间隔,有预期记录;
若任务的运行时间间隔在查询时间间隔之前或之后,则无预期记录。
对于每一个实际时间间隔来说,将实际时间间隔的起始时间和结束时间与图3所示的每一条丢失记录(对应于所选日期的)的起始时间和结束时间进行比较,数据丢失时间间隔永远是实际时间间隔的子集或两者相同,因为只有在有预期记录的情况下,才可能有数据丢失发生。这种比较方式会将实际时间间隔分成丢失记录间隔和实际记录间隔,比较的结果可能包括:
若数据丢失时间间隔的起始时间和结束时间与实际时间间隔的起始时间与结束时间相同,则实际时间间隔内的所有记录均丢失;
若数据丢失时间间隔的起始时间与实际时间间隔的起始时间相同,但数据丢失时间间隔的结束时间早于实际时间间隔的结束时间,则从实际时间间隔的起始时间到数据丢失时间间隔的结束时间内的所有记录丢失,从数据丢失时间间隔的结束时间到实际时间间隔的结束时间或到下一个数据丢失时间间隔的起始时间内记录采集成功;
若数据丢失时间间隔的起始时间晚于实际时间间隔的起始时间,但数据丢失时间间隔的结束时间与实际时间间隔的结束时间相同,则从实际时间间隔的起始时间到数据丢失时间间隔的起始时间内有实际记录,从数据丢失时间间隔的起始时间到实际时间间隔的结束时间内的记录丢失;
若数据丢失时间间隔的起始时间晚于实际时间间隔的起始时间,但数据丢失时间间隔的结束时间早于实际时间间隔的结束时间,则从实际时间间隔的起始时间到数据丢失时间间隔的起始时间内有实际记录,从数据丢失时间间隔的起始时间到数据丢失时间间隔的结束时间内记录丢失,从数据丢失时间间隔的结束时间到实际时间间隔的结束时间内再次有记录。
综上所述,本发明的数据库采集表和数据丢失采集表中记录了实现本发明目的的必要信息,使得本发明对数据齐全率的获取较现有技术的简单,加快了其查询速度;增加了数据丢失的显示功能,利于用户对网络性能进行针对性分析。
另外,本发明更易于扩展,即,任何能将任务从“运行”状态变为“不运行”状态或从“不运行”状态变为“运行”状态的新操作都可以轻易实现;这种时间段的分割和统计方式是一种通用的方式,如果将来在系统中增加一些其他功能,如果这些功能也是需要中断当前系统才能进行的(即更改状态),这样都可以很容易的扩展,不需要进行额外的开发,使用当前的系统就可以了。

Claims (9)

1、一种对网元数据的处理方法,其特征在于,包括以下步骤:
201、把网元的所有采集任务的运行时间间隔和对应任务的轮询周期存储在数据库采集表中;
202、分别取用户输入的查询时间间隔和所述数据库采集表中存储的运行时间间隔两者的时间交集,对应作为各个任务运行的实际时间间隔;
203、根据所述任务运行的实际时间间隔和所述任务的轮询周期,统计所述任务运行的实际时间内的网元预期记录数;
102、获取网元丢失记录数;
103、分析所述的网元预期记录数和网元丢失记录数之间的比例关系,得到网元数据齐全率。
2、根据权利要求1所述的一种对网元数据的处理方法,其特征在于,步骤201中所述采集任务的运行时间间隔包括:采集任务的开始日期和结束日期、每天的采集时间段。
3、根据权利要求1所述的一种对网元数据的处理方法,其特征在于,步骤201还包括:所述采集任务在创建或恢复时,新的运行时间间隔开始;所述采集任务被中止或删除时,运行时间间隔结束;所述对应采集的轮询周期被修改时,旧的运行时间间隔结束,而新的运行时间间隔开始。
4、根据权利要求1所述的一种对网元数据的处理方法,其特征在于,步骤102具体包括:
501、把在网元的所有采集任务的运行时间间隔内采集数据的丢失个数、丢失的开始及结束时刻和轮询周期存储在数据丢失采集表中;
502、分别取用户输入的查询时间间隔和所述网元的所有采集任务的运行时间间隔两者的时间交集,对应作为各个任务运行的数据丢失时间间隔;
503、根据所述数据丢失采集表,统计所有任务的网元丢失记录数。
5、根据权利要求4所述的一种对网元数据的处理方法,其特征在于,步骤501具体包括:对于网元的所有采集任务,在所述运行时间间隔内,若采集数据连续丢失,则该丢失只在数据丢失采集表中存储一次,且存储值为采集数据的丢失个数。
6、根据权利要求4所述的一种对网元数据的处理方法,其特征在于,步骤501具体包括:对于网元的所有采集任务,在所述运行时间间隔内,若当前采集报告的采集时刻与上次采集报告的采集时刻之差大于所述轮询周期,则在数据丢失采集表中存入一次丢失记录。
7、根据权利要求6所述的一种对网元数据的处理方法,其特征在于,步骤501具体包括:所述存入的丢失记录数是丢失的结束时刻减去上次采集报告的采集时刻,再除以轮询周期得到的结果;或是当前采集报告的采集时刻减去丢失的开始时刻,再除以轮询周期得到的结果。
8、根据权利要求1至7任一所述的对网元数据的处理方法,其特征在于,步骤103之后还包括:
901、通过第一界面,向用户展示所查询网元在查询时间间隔内每一天的数据采集的情况,包括每天内的数据丢失个数、当天的日期及数据齐全率;
902、所述第一界面上有若干个单元格分别对应不同的日期,每个单元格内显示特定的日期、当天采集数据丢失个数及数据齐全率。
9、根据权利要求8所述的一种对网元数据的处理方法,其特征在于,还包括:
1001、通过第二界面,向用户展示每个单元格所对应日期的数据采集情况,包括每一采集数据丢失的具体时刻及每一数据采集成功的具体时刻;
1002、所述第二界面上有N个单元格,其中,N等于该日期内的预期记录数,每一采集数据对应占用一个单元格,并区别出采集数据丢失的单元格和数据采集成功的单元格,在单元格内显示数据采集丢失或成功的具体时刻。
CNB200610062850XA 2006-09-25 2006-09-25 一种对网元数据的处理方法 Expired - Fee Related CN100502313C (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CNB200610062850XA CN100502313C (zh) 2006-09-25 2006-09-25 一种对网元数据的处理方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CNB200610062850XA CN100502313C (zh) 2006-09-25 2006-09-25 一种对网元数据的处理方法

Publications (2)

Publication Number Publication Date
CN1964279A CN1964279A (zh) 2007-05-16
CN100502313C true CN100502313C (zh) 2009-06-17

Family

ID=38083184

Family Applications (1)

Application Number Title Priority Date Filing Date
CNB200610062850XA Expired - Fee Related CN100502313C (zh) 2006-09-25 2006-09-25 一种对网元数据的处理方法

Country Status (1)

Country Link
CN (1) CN100502313C (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101150831B (zh) * 2007-10-24 2010-06-09 华为技术有限公司 网元数据处理方法及装置
CN103559635A (zh) * 2013-11-07 2014-02-05 北京国双科技有限公司 用于查询广告物料状态的数据处理方法和装置
CN110300033B (zh) * 2018-03-22 2023-09-26 华为技术有限公司 一种丢包信息记录方法、网络设备及网络系统
CN111245631B (zh) * 2018-11-28 2022-08-23 中国移动通信集团浙江有限公司 网元操作结果审查方法及系统
CN110308692A (zh) * 2019-07-29 2019-10-08 张占军 控制系统与控制方法

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
基于SNMP网络性能管理的研究与实现. 赵金铃.. 2002
基于SNMP网络性能管理的研究与实现. 赵金铃.. 2002 *
基于策略的网络管理体系结构研究及其在QOS上的应用. 施晓煌.. 2005
基于策略的网络管理体系结构研究及其在QOS上的应用. 施晓煌.. 2005 *

Also Published As

Publication number Publication date
CN1964279A (zh) 2007-05-16

Similar Documents

Publication Publication Date Title
US6862486B2 (en) System and method for processing data relating to conditions in a manufacturing process
CN100502313C (zh) 一种对网元数据的处理方法
US7603340B2 (en) Automatic workload repository battery of performance statistics
CN102769781B (zh) 推荐电视节目的方法及装置
EP1952236B1 (en) Technique for timeline compression in a data store
CN102227726B (zh) 通过将源系统抽象为一组命名实体在来自关系和时间序列系统的制造数据中检索和导航
CN103154935B (zh) 用于查询数据流的系统和方法
US7047297B2 (en) Hierarchically organizing network data collected from full time recording machines and efficiently filtering the same
US7774312B2 (en) Self-managing performance statistics repository for databases
US20160132549A1 (en) Methods, Systems, and Products for Maintaining Data Consistency in a Stream Warehouse
CN103412803B (zh) 数据恢复的方法及装置
US7310652B1 (en) Method and apparatus for managing hierarchical collections of data
US20070011321A1 (en) Network Data Retrieval and Filter Systems and Methods
CN1489737A (zh) 虚拟磁带存储系统和方法
CN103460208A (zh) 用于将数据加载到时态数据仓库的方法和系统
CN102880685A (zh) 一种时间密集大数据量的b/s分区间分页查询方法
CN1975667A (zh) 用于呈现按时间排序的数据库事件信息的方法和系统
CN102495906A (zh) 一种实现断点续传的增量式数据迁移方法
CN103999158A (zh) 用于搜索视频的幻灯片界面
CN103678725A (zh) 对象关系数据库中分层垃圾收集的方法、存储模块和系统
US20150199257A1 (en) Automatic workload repository performance baselines
US20030172247A1 (en) System and method for rapidly locating historical performance data
CN107273403A (zh) 一种历史数据收集及存储的方法
US7415458B2 (en) Computer systems and methods for operating a computer system
WO2013080262A1 (en) Computer system and file system management method for executing statistics on a file system

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20090617

Termination date: 20150925

EXPY Termination of patent right or utility model