CN101141302B - 一种高效查询历史数据的方法 - Google Patents

Abstract

本发明公开了一种高效查询历史数据的方法：(1)网管系统保存对每个设备查询历史数据历次时间中的最小起始时间和最大结束时间；(2)用户发送查询设备历史数据的请求到网管系统；(3)网管系统判断本次起始时间至本次结束时间之间的时间段是否在所述最小起始时间至所述最大结束时间的时间段内，如果为是，执行(5)，为否，执行(4)；(4)网管系统在设备上查询本次起始时间至本次结束时间之间的不在所述最小起始时间至所述最大结束时间的时间段内的时间段所对应的数据，设备将有效数据返回给网管系统；(5)网管系统根据本次起始时间和本次结束时间得到该时间段之内的有效数据，返回给用户。本发明提高了查询历史数据的效率。

Description

一种高效查询历史数据的方法

技术领域

本发明涉及数据通信领域，尤其涉及一种高效查询历史数据的方法。

背景技术

现在的通讯设备的网管系统，一般都是复杂度较高的前后台分工的分布式系统，分为后台网管系统和前台相关管理设备。

参照图1所示，为后台网管系统和前台相关管理设备示意图。前、后台都具有一个相互关联的独立数据存储系统。其相互关联及独立的意义是说：前后台有各自的存储及表现方式，但前、后台的两份数据之间可以通过相互的转换进行各自独立的存储。也就是说，前台设备可以将后台网管系统的数据转换后进行存储，而后台网管系统也可以将前台设备的数据转换后进行存储。

在通讯系统中，一般都会存在数据量较大的历史数据，比如历史告警数据，历史性能数据等。对应历史数据的存储，也是前、后台各自独立存储。之所以考虑分别独立存储，主要有以下三个方面的考虑：

1、由于设备的硬件结构不象我们的计算机主机，设备上一般没有足够大的存储空间和足够丰富的存储媒介(比如磁带，可拆卸的大容量的硬盘，可刻录光盘等)，因此设备上保存的数据都是非常有限的。因此需要借助网管系统将相关的数据存储在网管系统中，以备日后查询；

2、考虑到可以允许网管系统短时间不管理相关的设备，设备上需要保存网管系统不管理设备这段时间内的相关数据，因此设备上需要有独立的存储系统，避免丢失这段时间的相关数据；

3、为了能脱离设备进行相关历史数据的查询，也需要将设备的相关数据保存在后台网管系统中。

用户获取历史数据的一般方法是：用户设置一个查询时间范围，比如查询从2007-04-18 10:00:00到2007-04-19 10:00:00这个时间段之内的历史数据，那么用户通过网管系统，将这个时间范围下发到设备上，设备判断自己历史库中的数据是否在这个时间范围之内，将这个时间范围之内的相关数据返回给网管系统，网管系统将相关数据保存到自己的历史库中，并将相关数据应答给用户。

但网管系统本身有自己的历史数据库，设备上也有自己的历史数据库，由于用户可以重复设置查询的时间范围，比如：用户第一次查询t1到t2之内的数据，此时就从设备上获取t1到t2之间的数据，下次，用户可能再次查询t3到t4之内的数据，假如t1＜t3＜t2，传统的查询方法就是再次从设备上查询t3到t4之间的数据。而事实上，t3到t2之间的数据上次已经从设备上查询过。因此，传统的查询方法就会出现网管系统根据相同的时间区段重复向设备进行多次查询的操作，这样一方面增加了网管系统的负担，另一方面，由于对应已经查询过的时间段的数据在网管系统的历史数据库中已经保存，如果不加任何处理再次保存的话，网管系统的历史数据库中就会出现重复的历史数据。因此网管系统在保存历史数据的时候，为了避免重复历史数据的产生，就需要对数据做重复性校验，如果数据量比较大的时候，就可能对效率造成影响。

同时，现在的网管系统，都是一个网管系统管理很多设备，而同一端设备又同时被多个网管系统进行管理。网管系统在管理设备的时候，往往是与一个具有网关功能的设备进行连接，通过该设备与其他设备之间的通路来管理其他设备，而设备和设备之间的通路，一般都是采用诸如ECC(Embeddedcontrol channel，嵌入控制通路)之类的通路，带宽比较窄。因此如果到设备上查询的历史数据量比较大的时候，可能造成ECC通路的拥塞，影响查询效率。

综上所述，传统的历史数据的查询方法，主要存在两个弊端：

1、网管系统在对查询到的数据进行存储时，为了避免重复历史数据的产生，可能需要做大量的数据重复性校验，影响网管系统的工作效率。

2、在查询历史数据时，网管系统每次都要到设备上进行历史数据查询，当网管系统到设备上查询的历史数据量比较大的时候，可能造成设备之间通路的堵塞，影响查询的效率。

发明内容

本发明所要解决的技术问题是提供一种高效的历史数据的查询方法，提高通讯系统中历史数据的查询效率。

为了解决上述技术问题，本发明提供了一种高效查询历史数据的方法，用于通过网管系统向设备查询历史数据，所述方法包括以下步骤：

(1)网管系统保存每次对设备查询历史数据时设备应答的起始时间和结束时间，并将每个设备历次起始时间中的最小者作为最小起始时间，将每个设备历次结束时间中的最大者作为最大结束时间；

(2)用户发送查询设备历史数据的请求到网管系统，所述请求中包括用户要查询的设备的历史数据的本次起始时间和本次结束时间；

(3)网管系统判断本次起始时间至本次结束时间之间的时间段是否在所述最小起始时间至所述最大结束时间的时间段内，如果结果为是，则执行步骤(5)，如果结果为否，执行步骤(4)；

(4)网管系统在用户要查询的设备上查询本次起始时间至本次结束时间之间的不在所述最小起始时间至所述最大结束时间的时间段内的时间段所对应的数据，成功后用户要查询的设备将有效数据返回给网管系统，网管系统将设备返回的用户要查询的有效数据存储到数据存储系统中；

(5)网管系统根据步骤(2)所述的本次起始时间和本次结束时间从数据存储系统中得到该时间段之内的用户要查询的设备的有效数据，返回给用户。

进一步的，步骤(3)中所述网管系统判断本次起始时间至本次结束时间之间的时间段是否在所述最小起始时间至所述最大结束时间的时间段内，包括：将所述本次起始时间与最小起始时间进行比较，并且将本次结束时间和最大结束时间进行比较，如果判断到本次起始时间大于等于最小起始时间并且本次结束时间小于等于最大结束时间，则本次起始时间至本次结束时间之间的时间段在所述最小起始时间至所述最大结束时间的时间段内。

进一步的，步骤(2)与步骤(3)之间还包括以下步骤：

(2a)网管系统如果判断到最小起始时间和最大结束时间的记录为空，则选定用户要查询的设备上保存的数据对应的一个时间点，调整本次起始时间为相应时间点，之后，向用户要查询的设备查询调整后的本次起始时间到本次结束时间之间的数据，返回给网管系统，网管系统将用户要查询的设备返回的有效数据存储到数据存储系统中，执行步骤(5)；如果判断到最小起始时间和最大结束时间的记录不为空，则执行步骤(3)。

进一步的，所述时间点根据用户要查询的设备保存的数据的最大容量进行选定，为用户要查询的设备上保存的所有数据所对应的最早的时间。

进一步的，步骤(4)中所述在用户要查询的设备上查询本次起始时间至本次结束时间之间的不在所述最小起始时间至所述最大结束时间的时间段内的时间段所对应的数据，包括：网管系统比较所述本次结束时间与网管系统中保存的最大结束时间，如果所述本次结束时间大于所述最大结束时间，则调整本次起始时间为所述最大结束时间，到用户要查询的设备上查询所述最大结束时间至所述本次结束时间之间的用户要查询的设备的历史数据。

进一步的，在步骤(4)中如果在用户要查询的设备上查询不成功，则向网管系统返回失败的消息，网管系统从数据存储系统中获取曾经查询过，并在本次起始时间至本次结束时间之内的时间段的用户要查询的设备的历史数据，返回给用户，本方法结束。

本发明历史数据的查询方法通过对查询时间范围进行调整，可以缩小到设备查询数据的时间范围，从而可以避免到设备的重复查询，减少到设备查询的数据量，提高查询效率；由于本发明保证了到设备的查询时间范围不会重复，后台网管的数据存储系统保存历史数据的时候，不需要做数据的重复性校验，提高了入库的效率；本发明可以依据用户的要求灵活配置设备被第一次查询时查询的历史数据的开始时间，保证历史数据的完整性，比如依据设备保存的最大容量的数据来设置初始时间，来保证数据的完整性。

附图说明

图1为后台网管系统和前台相关管理设备示意图。

图2为本发明第一实施例查询历史数据的方法流程图。

图3为本发明第二实施例查询历史数据的方法流程图。

具体实施方式

本发明通过对用户发送的查询历史数据的起始时间和结束时间进行调整，从而只到设备查询没有查询过的数据，对已经到设备查询过的数据不再进行查询，可以避免到设备的重复查询，由此减少了到设备查询的数据量，提高了查询效率，同时由于每次到设备查询的时间范围都不同，因此后台网管的数据存储系统保存历史数据的时候，不需要做数据的重复性校验，提高了入库的效率。

下面结合附图对本发明的优选实施例进行详细说明。

优选实施例一：

参照图2所示，为本发明第一实施例查询历史数据的方法流程图。该方法包括以下步骤：

步骤201：网管系统保存每次对设备查询历史数据时设备应答的起始时间和结束时间，并将每个设备历次起始时间中的最小者作为最小起始时间，将每个设备历次结束时间中的最大者作为最大结束时间；

步骤202：用户发送查询设备历史数据的请求到网管系统，所述请求中包括用户要查询的历史数据的本次起始时间和本次结束时间；

步骤203：网管系统判断本次起始时间至本次结束时间之间的时间段是否在所述最小起始时间至所述最大结束时间的时间段内，如果结果为是，则执行步骤205，如果结果为否，执行步骤204；

如果本次起始时间大于等于最小起始时间并且本次结束时间小于等于最大结束时间，则本次查询的时间段的数据均已查询过，不用再向设备进行查询；

步骤204：网管系统在设备上查询本次起始时间至本次结束时间之间的不在所述最小起始时间至所述最大结束时间的时间段内的时间段所对应的数据，成功后设备将有效数据返回给网管系统；

对于本次起始时间至本次结束时间之间的不在所述最小起始时间至所述最大结束时间的时间段内的时间段的确定，可以通过将所述本次起始时间与最小起始时间进行比较，并且将本次结束时间和最大结束时间进行比较，网管系统在设备上查询本次起始时间至本次结束时间之间的不在所述最小起始时间至所述最大结束时间的时间段内的时间段所对应的数据包括以下几种情况：

(1)如果本次起始时间和本次结束时间均小于等于最小起始时间，在设备上查询本次起始时间到最小起始时间之间的数据；如果本次起始时间和本次结束时间均大于等于最大结束时间，在设备上查询最大结束时间至本次结束时间之间的数据；

之所以这样查询，是为了保持网管系统所保存的历史数据的时间的连贯性。

(2)如果本次起始时间小于等于最小起始时间，而本次结束时间大于等于最小起始时间并且小于等于最大结束时间，则向设备查询本次起始时间至最小起始时间之间的数据；类似的，如果本次结束时间大于等于最大结束时间，并且本次起始时间大于等于最小起始时间并且小于等于最大结束时间，则查询最大结束时间至本次结束时间之间的数据；

(3)如果本次起始时间小于等于最小起始时间，并且本次结束时间大于等于最大结束时间，则需要向设备查询两个时间段的数据，即：本次起始时间至最小起始时间及最大结束时间至本次结束时间之间的数据。

步骤205：网管系统根据步骤202所述的本次起始时间和本次结束时间从网管系统的数据存储系统中得到该时间段之内的有效数据，返回给用户。

优选实施例二：

参照图3所示，为本发明第二实施例查询历史数据的方法流程图。该方法的具体步骤如下：

步骤301：网管系统收到用户查询某设备一段时间范围的历史数据的请求，假设用户查询的是[t1，t2](表示起始时间为t1，结束时间为t2)时间范围内的历史数据；

步骤302：网管系统判断相关设备是否曾经查询过，如果没有查询过，执行步骤303，如果查询过，执行步骤304；

其中，判断相关设备是否曾经查询过的方法为判断相关设备的最小起始时间和最大结束时间的记录是否为空，如果记录为空，则说明相关设备没有查询过；

步骤303：调整到设备查询历史数据的开始时间为某一初始值(该初始值依据用户的要求可以灵活的控制)，比如0，结束时间就为t2，转到步骤306；

步骤304：网管系统对用户下发的结束时间t2和网管系统中记录的最大结束时间(假如为t3)进行比较，判断是否t2小于等于t3；

步骤305：如果t2小于等于t3，则表示本次用户的查询时间范围之内的数据都已经查询过，不需要再次到设备上进行重复查询，转到步骤310，直接到后台网管进行查询即可；如果t2大于t3，表示部分数据还没有从设备上查询过，就调整本次到设备的查询时间范围的开始时间为t3，结束时间为t2，转到步骤305，到设备上进行相关的查询；

本实施例之所以只比较t2与t3的大小，是因为由步骤302至步骤303可知，在设备第一次被查询时，经过对查询时间进行调整，可以查询一个用户比较关心的时间段内的数据，所以用户再次对设备进行查询时，只需比较t2与t3即可。

步骤306：将经过调整后的查询时间范围发送到设备进行相关的查询；

步骤307：设备进行查询处理，应答给网管；

步骤308：网管判断是否查询成功，如果到设备查询失败，则转到步骤311，表示本次到设备的查询失败，直接从后台网管中获取曾经查询过的时间段的历史数据；如果到设备查询成功，则执行步骤309；

步骤309：判断设备返回的所有记录的最新时间，即设备应答的结束时间，将此时间在后台网管系统中进行保存，作为新的最大结束时间，执行步骤310；

步骤310：将此次经过设备返回的历史数据发送到后台网管的存储系统中保存，然后转到步骤311；

步骤311：后台网管的数据存储系统依据用户下发的时间范围来构造在[t1，t2]范围之内的相关历史数据，返回给用户。

本实施例的核心是：对于每一次查询历史数据的操作，记录操作对应的最新时间，以该时间为基准，将用户本次下发的查询历史数据时间范围的结束时间与记录中的最新时间进行比较，以判断是否需要向设备进行查询。如果判断用户此次查询的时间范围已经从设备上查询过，就不需要重复向设备查询，直接从后台网管的数据存储系统中获取相关的数据，而如果需要向设备查询，就以上次查询的最新时间为开始时间，用户设定的结束时间为结束时间向设备进行相关的查询，这样的话可以缩短到设备查询的时间范围，减少向设备获取的数据量，通过这种手段来达到提高查询效率的目的。

下面通过具体应用中的实例来对本发明的技术方案做示例性的说明。

假设用户第一次查询设备1的从2007-3-20 10:00:00到2007-3-2216:00:00之间的历史数据，则所述查询要执行以下步骤：

1)网管判断设备1从来没有查询过，就调整本次到设备的查询时间范围为2007-3-01 00:00:00(该时间依据系统的要求进行相关的调整，本实例这样调整表示只关心设备上4月份的相关数据)到2007-3-22 16:00:00，将该时间段发送到设备上进行相关的查询，设备依据该时间范围构造相关的历史数据应答给网管系统；

2)网管系统判断设备的应答结果是成功的，则遍历结果中所有的数据，找到最新的时间，假如为：2007-3-22 15:00:00(此时表示设备上还只有2007-3-22 15:00:00之前的历史数据)，保存该时间作为最大结束时间，同时将设备应答的结果(应当是从2007-3-01 00:00:00到2007-3-22 15:00:00之间的数据)进行保存。

3)网管的数据存储系统依据用户的查询时间范围：2007-3-20 10:00:00到2007-3-22 16:00:00来构造相关的历史数据，返回给用户，此时的有效数据是2007-3-20 10:00:00到2007-3-22 15:00:00之间的数据。

假设用户第二次查询设备1的：2007-3-10 10:00:00到2007-3-20 16:00:00之间的历史数据。判断由于本次查询的结束时间为：2007-3-20 16:00:00，早于现有的最大结束时间：2007-3-22 15:00:00，因此不需要到设备上查询，网管系统直接从数据存储系统中构造2007-3-10 10:00:00到2007-3-20 16:00:00之间的数据返回给用户；

假设用户第三次查询设备1的2007-3-11 10:00:00到2007-3-30 16:00:00之间的历史数据。判断本次查询的结束时间晚于现有的最大结束时间：2007-3-22 15:00:00，可以得知2007-3-11 10:00:00到2007-3-22 15:00:00之间的数据已经查询过，则本次到设备的查询时间范围调整为：2007-3-2215:00:00到2007-3-30 16:00:00。设备将该时间范围内数据应答给网管系统，网管系统进行保存。网管系统依据用户的查询时间范围2007-3-11 10:00:00到2007-3-30 16:00:00将已存储的历史数据应答给用户，同时网管系统保存设备返回的数据的最新结束时间，作为新的最大结束时间，进行保存。

本发明在需要向设备查询历史数据时，将查询时间范围进行调整，通过此次调整，将曾经查询过的时间范围不再重复查询，同时保存设备应答结果中的最新时间信息，将设备历次应答的最新时间作为下次查询时的时间范围调整的依据。经过这样的调整，减少了到设备查询的数据量，提高了查询效率，同时由于每次到设备查询的时间范围都不同，因此后台网管的数据存储系统保存历史数据的时候，不需要做数据的重复性校验，提高了效率。

当然，上述实施例不是对本发明技术方案的进一步的限定，任何熟悉本领域的技术人员对本发明技术特征所做的等同替换或相应变形，仍在本发明的保护范围之内。

Claims (6)

1.一种高效查询历史数据的方法，用于通过网管系统向设备查询历史数据，其特征在于，所述方法包括以下步骤：

(1)网管系统保存每次对设备查询历史数据时设备应答的起始时间和结束时间，并将每个设备历次起始时间中的最小者作为最小起始时间，将每个设备历次结束时间中的最大者作为最大结束时间；

(2)用户发送查询设备历史数据的请求到网管系统，所述请求中包括用户要查询的设备的历史数据的本次起始时间和本次结束时间；

(3)网管系统判断本次起始时间至本次结束时间之间的时间段是否在所述最小起始时间至所述最大结束时间的时间段内，如果结果为是，则执行步骤(5)，如果结果为否，执行步骤(4)；

(4)网管系统在用户要查询的设备上查询本次起始时间至本次结束时间之间的不在所述最小起始时间至所述最大结束时间的时间段内的时间段所对应的数据，成功后用户要查询的设备将有效数据返回给网管系统，网管系统将用户要查询的设备返回的有效数据存储到数据存储系统中；

(5)网管系统根据步骤(2)所述的本次起始时间和本次结束时间从数据存储系统中得到该时间段之内的用户要查询的设备的有效数据，返回给用户。

2.如权利要求1所述的方法，其特征在于，步骤(3)中所述网管系统判断本次起始时间至本次结束时间之间的时间段是否在所述最小起始时间至所述最大结束时间的时间段内，包括：将所述本次起始时间与最小起始时间进行比较，并且将本次结束时间和最大结束时间进行比较，如果判断到本次起始时间大于等于最小起始时间并且本次结束时间小于等于最大结束时间，则本次起始时间至本次结束时间之间的时间段在所述最小起始时间至所述最大结束时间的时间段内。

3.如权利要求1所述的方法，其特征在于，步骤(2)与步骤(3)之间还包括以下步骤：

(2a)网管系统如果判断到最小起始时间和最大结束时间的记录为空，则选定用户要查询的设备上保存的数据对应的一个时间点，调整本次起始时间为相应时间点，之后，向用户要查询的设备查询调整后的本次起始时间到本次结束时间之间的数据，返回给网管系统，网管系统将用户要查询的设备返回的有效数据存储到数据存储系统中，执行步骤(5)；如果判断到最小起始时间和最大结束时间的记录不为空，则执行步骤(3)。

4.如权利要求3所述的方法，其特征在于，所述时间点根据用户要查询的设备保存的数据的最大容量进行选定，为用户要查询的设备上保存的所有数据所对应的最早的时间。

5.如权利要求3或4所述的方法，其特征在于，步骤(4)中所述在用户要查询的设备上查询本次起始时间至本次结束时间之间的不在所述最小起始时间至所述最大结束时间的时间段内的时间段所对应的数据，包括：网管系统比较所述本次结束时间与网管系统中保存的最大结束时间，如果所述本次结束时间大于所述最大结束时间，则调整本次起始时间为所述最大结束时间，到用户要查询的设备上查询所述最大结束时间至所述本次结束时间之间的用户要查询的设备的历史数据。

6.如权利要求1所述的方法，其特征在于，在步骤(4)中如果在用户要查询的设备上查询不成功，则向网管系统返回失败的消息，网管系统从数据存储系统中获取曾经查询过，并在本次起始时间至本次结束时间之内的时间段的用户要查询的设备的历史数据，返回给用户，该方法结束。

Images