CN100388679C - 网管系统中查询历史数据的方法 - Google Patents

Abstract

本发明公开了一种光传输领域中网管系统中查询历史数据的方法，该方法对于需要定时采集的历史数据，将每次查询历史数据的时间进行保留，并根据实际网络运行规模设置一个合理的定时采集时间；再根据设备的数目，均分出查找每个设备历史数据的时间；如果期间用户需要查询历史数据，检查用户查询的时间段中数据是否都已经从设备取出，如果还没有从设备采集，则触发查询机制，网管再到设备上查询历史数据；如果某个时段由于设备脱管或者其他原因没有取到历史数据，则下次查询时需要再次查询。本发明能够克服现有技术存在的历史数据容易丢失的缺点，能够有效防止历史数据容易丢失。

Description

网管系统中查询历史数据的方法

技术领域

本发明涉及光传输通讯领域，尤其涉及在光通讯领域网管系统中历史数据查询方法。

背景技术

目前，密集波分复用系统的网管中，通过连续采集历史数据的方法对网络服务质量进行监测。历史数据包括了历史告警事件数据、历史性能数据、设备中的运行的日志数据等等，这些数据能够反应出网络的运行状态。用户需要根据历史数据对于设备的运行情况进行分析并定位一些问题，网管系统对这些数据不但需要保留而且不能遗漏，所以采集存储这些历史数据是网管的一项重要功能。

现有的网管系统中采集历史性能等数据都是产生了历史数据，就定时进行采集保存，如果采集时刻设备脱管，就会丢失数据；另外随着网管管理的设备逐步增多，每次定时到达对于所有的设备进行采集，造成某些时刻通讯异常繁忙，影响网管的其他的管理操作，也容易导致历史数据的丢失。

发明内容

本发明所要解决的技术问题是克服现有技术存在的设备脱管情况下因为定时采集数据造成某些时刻通讯异常繁忙，从而进一步导致历史数据容易丢失的缺点，以期提出一种能够有效防止历史数据容易丢失的网管系统中查询历史数据的方法。

本发明所提出的网管系统中查询历史数据的方法，包括以下内容：

对于需要定时采集的历史数据，将每次查询历史数据的时间进行保留，并根据实际网络运行规模设置一个合理的定时采集时间；

再根据设备的数目，均分出查找每个设备历史数据的时间；

如果期间用户需要查询历史数据，检查用户查询的时间段中数据是否都已经从设备取出，如果还没有从设备采集，则触发查询机制，网管再到设备上查询历史数据，以保证用户能够查看到最新数据；

如果某个时段由于设备脱管或者其他原因没有取到历史数据，则下次查询时需要再次查询，以保证数据的完整性。

上述方法进一步包括以下步骤：

第一步：数据进行初始化，将一些数据进行配置存储；

1、根据网管定时采集的时间以及网络中的设备规模，定时进行数据采集，且每个设备之间的采集需要根据计算的间隔进行采集。

2、每次采集或者查询后的时间必须要存储，作为下一次查询历史性能时间的起始时间；以保证不要取重复数据；另外在某次数据没有取到时，下次查询时再次采集，保证数据的完整性。

第二步：进行定时采集工作；

1、定时时间到达进行采集；

2、定时采集时间到后，对于所有的设备分开采集，计算一个时间均值作为每个设备的采集间隔或者每隔几分钟采集一个设备。

3、采集的结果保存，并将采集的时间记录下来。

第三步：用户查询历史性能数据；

1、用户需要查询历史数据，需要先比较用户查询的时间段的历史性能是否都已经去设备中查询过，如果用户查询的时间比内存中查询的时间早，那么直接从已有数据中获得符合用户条件的记录；

2、如果用户查询的时间比内存中查询的时间晚，那么就需要构造报文去设备中查询一下历史数据；

3、查询后将数据先存储，再构造出获得符合用户条件的记录。

采用本发明所述方法，与现有技术相比，由于每次查询成功的时间有记录，如果某次查询失败，会在下一次查询时重新读取，某次查询不上来时下次能够补偿重新查询，保证了数据的完整性。对于历史性能需要定时采集的数据，由于定时采集时间可以定制，减轻了网络的负担，同时由于将查询的时间保存，下次查询时只会查询到新数据，保证了不会有重复记录，提高了存储效率，同时又没有重复记录，也使通讯上的流量最小，而且由于在采集时间内是均分时间逐个设备进行查询的，通讯的流量比较均衡；这在网络规模比较大时，不容易阻塞通讯，使业务流程也比较通畅；同时还能够保证历史数据不会丢失。

附图说明

图1是现有系统中历史性能等数据采集方法流程图。

图2是作为本发明所述方法实施例的一种历史性能等数据采集方法流程图。

图3是现有系统中历史告警等数据的采集方法流程图。

图4是作为本发明所述方法实施例的另一种历史性能等数据采集方法流程图。

具体实施方式

下面结合附图对技术方案的实施作进一步的详细描述，并分别用历史性能数据的采集和历史告警数据采集两个例子进行说明。

图1表示一个现有系统中历史性能等数据的采集方法，左边的图为目前的数据采集方法，右边的图为用户查询数据时网管的流程。

图2表示一个改进后系统中历史性能等需要定时采集的数据的方法，左边的图为目前的数据采集方法，右边的图为用户查询数据时网管的流程。

图3表示一个现有系统中历史告警等数据的采集方法，左边的图为目前的数据采集方法，右边的图为用户查询数据时网管的流程。

图4表示一个改进后系统中历史告警等数据的采集方法，左边的图为目前的数据采集方法，右边的图为用户查询数据时网管的流程。

从图1中可以看到，在目前的系统中，以历史15分钟性能为例，系统每次运行15分钟，就向所有设备发送查询历史性能命令，设备将该时段的数据上报，系统收集后存入数据库中。如果用户进行查看历史数据，数据库将满足条件的数据组合上报。对于定时24小时性能等数据也是该类方法。这种方法的好处是产生了数据后就获得，用户查询时从数据库查询，流程比较简单。但是这种方法在网络规模比较大时，由于同时向所有设备下发查询命令，所有的查询结果上报，导致通讯阻塞，数据丢失，另外的问题就是如果定时到达时，设备没有管理上，则由于后续没有手段进行保障，导致该时刻历史数据的丢失。

下面详细说明在图2中查询历史性能数据的改进方法。在该方法中，定时采集方案继续沿用，但是查询的时间间隔作为可以配置的参数，此参数可以进行调整，目前在100个设备之内的组网，推荐间隔时间是2个小时。网管初始化时，从数据库中读取上次查询历史性能的时间，等待定时时间到达，以此时间作为起始时间，系统当前时间为结束时间到设备上进行历史采集，如果结束时间正好是设备产生历史数据的时刻，则要进行向前微调(目前是往前调整一分钟)。以下又分为几种情形对待：

1、如果定时到达时，设备管理不上，则不下发采集任务，等到下次定时到达时，一起下发查询结果。

2、如果收到的采集结果为错误，说明本次采集失败，此时不要修改历史性能的采集时间，等待下次查询时仍然按照该时间进行查询；

3、如果收到了成功采集上报的报文，还需要将查询历史性能的时间进行修改，调整到采集的结束时间。

4、采集收到的上报报文要存入数据库，由于采集的时间是保证了唯一性的，所以采集的结果直接批量存入数据库，不需要进行重复性判断，提高了网管的效率。

在用户进行历史性能类数据的查询，这也需要区分各种情况进行处理：

1、比较查询的时间，如果该时间内的性能都已经向设备查询过了，则直接从数据库中提取符合条件的结果；

2、如果用户查询的时间比上次查询历史数据时间短，则需要向设备发送查询命令进行查询，如果此时设备管理不上，则直接取出数据库中的部分符合条件的记录；

3、组合下发的报文，起始时间为上次查询的时间，结束时间为系统当前时间，如果时间为设备定时产生历史性能数据的时间，为了避免丢失，将时间向前调整一分钟；

4、如果下发设备查询，但是设备返回失败的结果，则此时仍将数据库中符合条件的记录发送给用户；

5、如果下发设备查询成功，则此时一方面需要修改查询历史性能数据的时间，另一方面需要将这些数据批量入库，然后从库中查找出符合条件的记录。

综上所述，由于采用了一些灵活的机制进行历史数据的采集，在某个查询时间内即使设备脱管了，但是在下一个时刻或者后面的时刻能够查询上来，保证了查询数据的完整性；又由于查询时间间隔可以定制，每个设备的查询时间分隔开，可以充分地利用网络的通讯资源；如果在用户查询数据时查询时间段内没有进行采集，则又会触发向下查询的机制，保证了用户查询数据的完整性；另外每次查询设备的时间都保存了，则每次查询的记录都保证了不会重复，此时数据入库是不会存在重复的问题，批量进行入库，提高了数据存储效率。

图3中，在目前的网管系统中，取历史告警等设备主动上报的数据，网管系统收到了历史数据就入库。用户查询时就从数据库中获得符合条件的记录返回。该方案的后果是，如果网管和设备断开，则断开期间的数据用户不能获得，这是不能符合要求的。

图4中改进的查询历史告警类数据的方案中，下面描述其具体使用方法。在网管系统中，该类数据主要是依靠设备主动上报的，所以系统中接收设备的主动上报结果，并将收到的结果存入数据库中。在系统中存储查询历史数据的时间，作为每次查询的起始时间。在用户进行查询时，首先比较用户的查询时间，如果该查询时间内网管已经向该设备进行过查询，则直接从数据库中查找出符合条件的记录上报。如果查询时间内，没有向设备发送过查询命令，则查看目前设备的管理状况：

1、如果目前设备管理不上，则直接从数据库中查询符合条件的记录上报；

2、如果目前设备能够管理上，以上次查询时间为起始时间，当前系统时间为结束时间，向设备下发查询命令；如果设备返回失败，则从数据库中查询符合条件的记录上报；

3、如果查询后，设备返回成功，则首先将查询的时间修改为查询的结束时间，将查询的记录存入数据库，此时需要作重复性校验，避免重复数据入库，然后从数据库中查询出符合条件的记录发送给用户。

综上所述，由于采用了查询机制，在网管和设备通讯异常，或者在其他情况下丢失的数据，在查询中都能够上报并保存到数据库，这样的流程保证了数据的完整性。

采用本发明提出的采集历史数据方法，首先由于每次查询的时间都有记录，某次查询的失败，在下一次仍然会进行查询，直到查询成功，这样保证了数据的完整性，解决了现有技术中设备脱管时历史数据丢失问题；另外由于可以根据管理设备的网络规模定制采集间隔时间，对于每个设备分开采集数据，同时将每个设备采集的也错开进行查询，避免所有的历史数据同一时刻到达导致的通讯阻塞以及业务的繁忙，充分地利用了系统的通讯资源，不会阻塞网管的其他操作。同时由于用户查询时会触发查询机制，所以从用户的角度查询数据时也不会缺少某些时段数据。所以本发明是一种比较高效的又能保证数据完整性的查询历史数据的方法。

Claims (4)

1.一种网管系统中查询历史数据的方法，其特征在于，包括以下内容：

对于需要定时采集的历史数据，将每次查询历史数据的时间进行保留，并根据实际网络运行规模设置一个合理的定时采集时间；

根据定时采集时间和网管系统中设备的数目，均分出查找每个设备历史数据的时间；

如果用户需要查询历史数据，检查用户查询的时间段中数据是否都已经从设备取出，如果还没有从设备采集，则触发查询机制，网管再到设备上查询历史数据，保证用户能够查看到最新数据；

如果某个时段由于设备脱管或者其他原因没有取到历史数据，则下次查询时需要再次查询，保证数据的完整性。

2.根据权利要求1所述的网管系统中查询历史数据的方法，其特征在于，进一步包括以下步骤：

第一步：初始化数据，将一些数据进行配置存储；

第二步：进行定时采集工作；

第三步：用户查询历史数据：

(1)用户需要查询历史数据，需要先比较用户查询的时间段的历史数据是否都已经去设备中查询过，如果用户查询的时间比上次查询的时间早，那么直接从已有历史数据中获得符合用户条件的记录；

(2)如果用户查询的时间比上次查询的时间晚，那么就需要构造报文去设备中查询一下历史数据；

(3)查询后将历史数据先存储，再构造出获得符合用户条件的记录。

3.根据权利要求2所述的网管系统中查询历史数据的方法，其特征在于，第一步进一步包括以下步骤：

(1)根据网管定时采集的时间以及网络中的设备规模，定时进行数据采集，且每个设备之间的采集根据计算的间隔进行采集；

(2)每次采集或者查询后的时间必须要存储，作为下一次查询历史性能时间的起始时间；在某次数据没有取到时，下次查询时再次采集，保证数据的完整性。

4.根据权利要求2所述的网管系统中查询历史数据的方法，其特征在于，第二步进一步包括以下步聚：

(1)定时时间到达进行采集；

(2)定时采集时间到后，对于所有的设备分开采集，计算一个时间均值作为每个设备的采集间隔或者每隔几分钟采集一个设备；

(3)采集的结果保存，并记录采集到的时间。

Images