CN101149744A

CN101149744A - 对多个数据源的数据进行统一排序的方法

Info

Publication number: CN101149744A
Application number: CNA2007101514549A
Authority: CN
Inventors: 薛涛
Original assignee: ZTE Corp
Current assignee: ZTE Corp
Priority date: 2007-10-18
Filing date: 2007-10-18
Publication date: 2008-03-26
Anticipated expiration: 2027-10-18
Also published as: CN100543749C

Abstract

本发明公开了一种对多个数据源的数据进行统一排序的方法，包括：按照设定量依次查询每个数据源，将查询到的数据进行排序，形成集合A_x；从集合A_x中取出部分数据形成集合B_y，记录已取出数据的位置信息；根据位置信息判断集合A_x中每个数据源当前未取出的数据量是否大于等于集合B_y的数据量，如果满足则该数据源不需要进行后续的查询，否则需要查询该数据源的后续部分；当有数据源需要查询其后续部分时，按照设定量查询并取出该数据源中后续的数据，形成集合A_x+1，从集合A_x+1中取出部分数据形成集合B_y+1；根据所有数据源的数据量总数对设定量取余数，当集合A_x+1中的数据等于余数时，排序并取出集合A_x+1中剩余的数据。

Description

对多个数据源的数据进行统一排序的方法

技术领域

本发明涉及一种网管系统中多个管理器管理设备的技术，具体说，涉及一种对多个数据源的数据进行统一排序的方法。

背景技术

在目前的网络管理系统中由于单个管理器管理能力的限制，经常需要配置多个管理器管理不同网络设备，客户端需要登陆多个管理器对网络设备进行操作。

这时，对于终端用户而言不需要关注哪个网络设备被哪些管理器进行管理，需要网管系统呈现给用户的是统一的管理资源。用户在操作不同管理器管理网络设备的时候，需要对不同管理器的数据进行统一的处理，例如对历史告警按时间排序。但是，现有技术不能够有效地屏蔽多个管理器所管理的网络设备的差异，不便于对网络设备进行统一管理。

发明内容

本发明所解决的技术问题是提供一种对多个数据源的数据进行统一排序的方法，能够有效地屏蔽多个管理器所管理的网络设备的差异，

技术方案如下：

一种对多个数据源的数据进行统一排序的方法，步骤包括：

(1)按照设定量依次查询每个数据源，将查询到的数据取出，并按照预定条件进行排序，形成集合A_x；从所述集合A_x中取出部分数据形成集合B_y，记录每个数据源已取出数据的位置信息；x和y取自然数；

(2)根据所述位置信息依次判断所述集合A_x中每个数据源当前未取出的数据量是否大于等于所述集合B_y的数据量；如果满足，则该数据源不需要进行后续的查询；否则，需要查询该数据源的后续部分；

(3)当有数据源需要查询其后续部分时，按照所述设定量查询并取出该数据源中后续的数据，汇总所述集合A_x中剩余的数据和本次查询到的数据，形成集合A_x+1；将所述集合A_x+1中的数据按照所述预定条件进行排序，从中取出部分数据形成集合B_y+1，更新每个数据源的位置信息；执行步骤(2)；

(4)根据所有数据源的数据量总数对所述设定量取余数，当所述集合A_x+1中的数据等于所述余数时，排序并取出所述集合A_x+1中剩余的数据。

进一步，步骤(1)和步骤(2)中，所述预定条件包括时间或者优先级。

进一步，步骤(1)中，将查询到的数据源的数据依次进行分块，所述位置信息包括每个数据源的开始数据块m、开始记录j、结束数据块n、结束记录k，所述m、j、n、k取自然数。

进一步，步骤(3)中，如果在所述查询过程中设定了查询切换，当需要查询前续部分时，查询所有数据源的数据块m和数据块m-1的数据，然后排序，根据m和j删除已经取出的数据，最后取出需要的数据，同时更新位置信息。

进一步，步骤(1)中，所述数据源是GUI系统的服务器。

进一步，步骤(1)中，设定查询范围，在查询时，按照所述查询范围在每个数据源中进行查询。

通过本发明技术方案可以有效地屏蔽多个管理器所管理的网络设备的差异，同时解决了大数据量数据查询排序的实时性和准确性问题。

附图说明

图1本发明的应用环境示意图；

图2本发明的应用环境数据分布示意图；

图3本发明优选实施例的应用环境示意图；

图4本发明优选实施例的数据分布示意图。

具体实施方式

本发明技术方案能够屏蔽多管理器管理设备差异，对不同数据源的数据进行统一排序。在查询过程中，可以设定查询范围，查询范围确定后，可以按照下述步骤开始查询。当然，也可以对数据源中所有数据进行查询。

参照图1和图2所示，结合应用环境和多个数据源的数据分布对本发明技术方案作详细描述。

具体实现步骤如下：

1、依次查询每个数据源，并取出查询到的数据，将查询到的数据分为多个数据块。

每次查询的数据量(查询量)可以设定，在此设定每次查询量为N。本步骤中，查询的数据量为数据块1的大小，取出每个数据源的数据块1(如图2所示黑色1部分)，每个数据块1中包含多个已经查询到的数据。

2、汇总并排序所有取出的数据，并按照预定条件进行排序。

将查询到的数据按照预定条件进行排序，形成集合A_x，x取自然数。此时的集合A_x汇总了所有数据源的数据块1，从集合A_x中取出连续排序的数据形成集合B_y(第1部分数据)，y取自然数。该集合B_y(第1部分数据)的数据量大小为N，并且该第1部分数据中的数据在预定条件下是连续的。本实施例中，该第1部分数据中只包含数据源1的数据块1(如图2所示)。预定条件可以是时间、优先级等预先设定的条件。

3、记录每个数据源已经取出的数据的位置信息。

第1部分数据的位置信息包括：开始数据块m、开始记录j、结束数据块n、结束记录k，m、j、n、k代表字数然。

m代表开始数据块标号，n代表结束数据块标号，j代表开始数据块的开始记录号，k代表结束数据块的结束记录号

4、根据位置信息依次判断集合A_x中每个数据源当前未取出的数据量是否大于等于集合B_y的数据量；如果满足，则满足条件的数据源不需要进行后续的查询；否则，需要查询不满足条件数据源的数据块1的后续部分的数据。

5、查询数据块1的后续部分，并取出查询到的数据。

当有数据源需要查询其据块1的后续部分时，查询并取出该数据源中数据块1后续的数据。

6、汇总集合A_x中剩余的未取出的数据和本次查询的数据，形成集合A_x+1，将集合A_x+1中的数据按照预定条件进行排序，从中取出连续排序的数据形成集合B_y+1(第2部分数据)。

同时，更新每个数据源的位置信息，包括每个数据源的开始数据块m、开始记录j、结束数据块n、结束记录k。

在查询过程中，可以设定每次查询的数据量相等，这样集合B_y和集合B_y+1中包含的数据量相等。

7、执行步骤4，依次进行后续部分数据的查询，同时更新每个数据源的位置信息。

位置信息的内容包括每个数据源的开始数据块m、开始记录j、结束数据块n、结束记录k。

8、查询最后一部分数据。

根据所有数据源的数据量总数对查询的设定量取余数，当集合A_x+1中的数据量等于该余数时，排序并取出集合A_x+1中剩余的数据。

在查询最后一部分数据时，根据所有数据源的数据总数对N取余数得到最后一部分数据量的大小，然后查询每个数据源倒数第1块和倒数第2块数据(如果存在的话)，然后统一排序并取出最后的一部分数据。

另外，在上述查询过程中，也可以设定查询切换，切换的方法有如下两种：

A、向查询上一部分的切换。

查询所有数据源的数据块m和数据块m-1的数据，然后排序，根据m和j删除已经显示的数据，最后取出需要的数据，同时，更新记录。记录包括每个数据源的开始数据块m、开始记录j、结束数据块n、结束记录k。

B、向查询下一部分的切换。

查询所有数据源的数据块n和数据块n+1的数据，然后排序根据n和k删除已经显示的数据，最后在剩余数据中取出需要的数据。同时更新记录，记录包括每个数据源的开始数据块m、开始记录j、结束数据块n、结束记录k。

参照图3所示，表示某网管系统结构，GUI(Graphic User Interface)系统登陆2个服务器，每个服务器配备有数据库，服务器管理不同的网元设备。用户需要在GUI系统上查看某段时间NE1、NE2和NE3的历史告警数据，并按照产生时间顺序进行排序显示。

由于数据量比较大，不可能一次查询所有的数据，必须对数据库进行分页查询。假设每个数据库每页数据为300条，其中，数据库I中数据为800条，数据库II中数据为380条。这样，数据库I中有2页多数据，数据库II中有1页多数据。

参照图4所示，根据两个数据库中的数据在时间上的分布，可以画出需要每页查询数据的分界线，如所示第1页、第2页、第3页等。

对多个数据源的数据进行统一排序的方法的具体实施步骤如下：

1、查询数据库I和数据库II的第1页数据。

从数据库I中查询第1页数据300条，从数据库II中查询第1页数据300条。

2、汇总所查询到的数据，对这600条数据按照时间进行排序，然后取出排序后的前300条数据进行显示。

3、对取出的所有数据进行记录。

记录内容包括：数据库I开始页数1、开始记录1、结束页数1、结束记录300；数据库II开始页数1、开始记录1、结束页数1、结束记录1。

4、查询数据库I和数据库II的第2页数据。

查询的第1页数据中，当取出后剩余的属于数据库I的数据小于1页的数据量(300条)，查询数据库I的第2页数据；查询的第1页数据中，经取出后剩余的属于数据库II的数据等于1页的数据量(300条)，数据库II不需要进行本次查询。

5、汇总新查询的数据库I的300条数据和剩余的数据库II的数据，并对所有数据进行统一排序，取出需要的第2页数据(300条)，同时更新记录。

记录内容包括：数据库I的开始页数2、开始记录1、结束页数2、结束记录180；数据库II的开始页数1、开始记录1、结束页数1、结束记录120。

6、按照步骤4和5的方法，对后续部分的数据进行查询，同时更新记录。

记录包括：每个数据库的开始页数、开始记录、结束页数、结束记录。

7、查询最后一页数据。

通过计算最后一页记录，数据的个数为(800+380)％300＝280，查询数据库I第3页和第2页数据，查询数据库II第2页和第1页数据，排序并取出最后的280条数据即为最后一页。

另外，在上述查询过程中，也可以设定查询切换，切换包括两种形式：

第一、向查询上一页的切换。

例如从步骤5到步骤1进行迁移。查询数据库I的第2和1页数据，查询数据库II的第2和1页数据，然后排序并删除已经显示的数据，其中，删除的数据是数据库I的开始页数2、开始记录1中包括的数据，以及数据库II的开始页数1、开始记录1中包括的数据，最后将剩下的数据取出，作为1页数据。

第二、向查询下一页的切换。

查询数据库I的第1和2页数据，查询数据库II的第1和2页数据，然后排序并删除已经显示的数据，其中，删除的数据是数据库I的结束页数1、结束记录300中包括的数据，数据库II的结束页数1、结束记录1中包括的数据，最后将剩下的数据取出，作为1页数据。

Claims

1.一种对多个数据源的数据进行统一排序的方法，步骤包括：

2.根据权利要求1所述的对多个数据源的数据进行统一排序的方法，其特征在于，步骤(1)和步骤(2)中，所述预定条件包括时间或者优先级。

3.根据权利要求1所述的对多个数据源的数据进行统一排序的方法，其特征在于，步骤(1)中，将查询到的数据源的数据依次进行分块，所述位置信息包括每个数据源的开始数据块m、开始记录j、结束数据块n、结束记录k，所述m、j、n、k取自然数。

4.根据权利要求3所述的对多个数据源的数据进行统一排序的方法，其特征在于，步骤(3)中，如果在所述查询过程中设定了查询切换，当需要查询前续部分时，查询所有数据源的数据块m和数据块m-1的数据，然后排序，根据m和j删除已经取出的数据，最后取出需要的数据，同时更新位置信息。

5.根据权利要求1所述的对多个数据源的数据进行统一排序的方法，其特征在于，步骤(1)中，所述数据源是GUI系统的服务器。

6.根据权利要求1所述的对多个数据源的数据进行统一排序的方法，其特征在于，步骤(1)中，设定查询范围，在查询时，按照所述查询范围在每个数据源中进行查询。