CN102236718A - 一种数据查询的方法及装置 - Google Patents

Abstract

本发明公开了一种数据查询的方法，该方法包括：性能采集系统获取当前采集时刻的采集点性能数据，作为性能记录顺序保存在与当前采集时刻对应的性能记录文件中，根据一次性遍历算法查询性能记录文件中，与采集点标识集合对应的性能记录并保存。本发明还公开了一种数据查询的装置，采用本发明所述的方法及装置，减少查询时间，提高查询效率，提高了数据采集系统的空间利用率。

Description

一种数据查询的方法及装置

技术领域

本发明涉及性能数据采集领域，特别是指性能数据采集中一种数据查询的方法及装置。

背景技术

在性能采集系统中，需要周期性地从设备的多个采集点上采集性能数据，然后性能采集系统会将这些性能数据以某种持久化的方式存储。采集的性能数据是对设备运维的运行状态进行评判的指标，因此，采集的性能数据经常被以各种条件查询后进行综合统计，这些查询条件包括用于唯一标识采集点的采集点标识、性能数据的采集时间、性能数据的数值等。其中，所述采集点是指设备上提供性能数据采集和统计的物理实体，是设备指定的获取性能数据的来源。

当涉及到较大规模的采集时，往往会产生海量的性能数据。传统的存储方式和存储内容组织，例如采用关系数据库存储海量性能数据时，对性能数据的搜索、查询需要针对每条要查询的信息对海量性能数据循环遍历；并且，关系数据库的存储方式是一个性能数据对应一个数据库表格，查询时涉及到多表格联合查询，导致查询比较耗时；另外，数据库表中往往都包含采集点标识、各项性能数据字段以及采集时间戳，对同一采集时刻来说，所有采集点采集时间戳都是一样的，对采集时间戳的重复存储会造成存储空间的浪费；而且不同采集时刻的同一性能数据存放在同一张数据库表格中，对不同采集时刻的性能数据查询不能并行处理，降低了查询效率。

发明内容

有鉴于此，本发明的主要目的在于提供一种数据查询的方法及装置，减少查询时间，提高查询效率，提高了数据采集系统的空间利用率。

为达到上述目的，本发明的技术方案是这样实现的：

一种数据查询的方法，包括：性能采集系统获取当前采集时刻的采集点性能数据，作为性能记录顺序保存在与当前采集时刻对应的性能记录文件中，根据一次性遍历算法查询性能记录文件中，与采集点标识集合对应的性能记录并保存。

所述顺序保存在与当前采集时刻对应的性能记录文件包括：对性能记录中的采集点标识按照排序策略进行排序，将每条性能记录按照采集点标识的排序，顺序逐行保存在性能记录文件中，并根据当前采集时刻对性能记录文件进行命名，性能记录文件与采集时刻一一对应。

所述根据一次性遍历算法查询性能记录文件中，与采集点标识集合对应的性能记录之前，该方法进一步包括：将用户在预存的采集点标识中选取的采集点标识，组成采集点标识集合，将采集点标识集合中的采集点标识按照排序策略进行排序。

所述根据一次性遍历算法查询性能记录文件中，与采集点标识集合对应的性能记录并保存包括：读取性能记录文件中的当前性能记录，以及采集点标识集合中的当前采集点标识，确定当前性能记录没有到达性能记录文件的末尾，或当前采集点标识没有到达采集点标识集合的末尾，比较当前性能记录中的采集点标识与当前采集点标识，若两者相同，则所述当前性能记录为要查询的性能记录，保存到创建的列表中，同时读取当前性能记录的下一性能记录，作为当前性能记录，读取当前采集点标识的下一采集点标识，作为当前采集点标识。

若当前性能记录中的采集点标识小于当前采集点标识，读取当前性能记录的下一性能记录，作为当前性能记录，仍以当前采集点标识为当前采集点标识；

若当前性能记录中的采集点标识大于当前采集点标识，读取当前采集点标识的下一采集点标识，作为当前采集点标识，仍以当前性能记录为当前性能记录。

一种数据查询的装置，包括：性能记录保存模块、数据查询模块；

性能记录保存模块，用于将当前采集时刻获取的采集点的性能数据，顺序保存在与当前采集时刻对应的性能记录文件中；

数据查询模块，用于根据一次性遍历算法查询性能记录保存模块的性能记录文件中，与采集点标识集合对应的性能记录并保存。

所述性能记录保存模块具体用于，对性能记录中的采集点标识按照排序策略进行排序，将性能记录根据采集点标识的排序，顺序保存在性能记录文件中，并根据当前采集时刻对性能记录文件进行命名，性能记录文件与采集时刻一一对应。

所述数据查询模块进一步包括：采集点标识集合单元，用于根据用户在预存的采集点标识中选取的采集点标识，组成采集点标识集合，将采集点标识集合中的采集点标识按照排序策略进行排序。

所述数据查询模块进一步包括：查询单元和查询结果保存单元；

查询单元，用于读取性能记录文件中的当前性能记录，以及采集点标识集合单元中的当前采集点标识，确定当前性能记录没有到达性能记录文件末尾或当前采集点标识没有达到采集点标识集合末尾，进一步比较当前性能记录中的采集点标识与当前采集点标识，若两者相同，则所述当前性能记录为要查询的性能记录，发送给查询结果保存单元，然后读取当前性能记录的下一性能记录，作为当前性能记录，读取当前采集点标识的下一采集点标识，作为当前采集点标识；

相应的，查询结果保存单元，用于接收性能记录，保存在创建的列表中。

所述查询单元进一步用于，当前性能记录中的采集点标识小于当前采集点标识，读取当前性能记录的下一性能记录，作为当前性能记录，仍以当前采集点标识为当前采集点标识；

若当前性能记录中的采集点标识大于当前采集点标识，读取当前采集点标识的下一采集点标识，作为当前采集点标识，仍以当前性能记录为当前性能记录。

由此可见，采用本发明所述的方法及装置，根据一次性遍历算法进行查询，不需要对要查询的数据进行循环遍历，所有查询在一次遍历中完成，极大的减少的查询时间；同时，同一采集时刻的性能数据保存在一个性能记录文件中，不需要重复保存采集时间，提高了数据采集系统的空间利用率；另外，可以同时对多个性能记录文件进行查询，实现对不同采集时刻的性能数据的查询，提高了查询效率。

附图说明

图1为本发明实现数据查询的方法流程示意图；

图2为本发明实现根据一次性遍历算法，查询采集点标识对应的性能记录的方法流程示意图；

图3为本发明实现数据查询的装置组成示意图。

具体实施方式

本发明的基本思想是：性能采集系统获取当前采集时刻的采集点性能数据，顺序保存在与当前采集时刻对应的性能记录文件中，根据一次性遍历算法查询性能记录文件中，与采集点标识集合对应的性能记录并保存。

下面通过具体实施例与附图来对本发明进行详细说明。

一种数据查询的方法，如图1所示，具体步骤如下：

步骤101、性能采集系统获取当前采集时刻的采集点的性能数据，顺序保存在与当前采集时刻对应的性能记录文件中；

性能采集系统周期性的从采集点上获取性能数据，读取当前采集时刻各采集点中的性能数据，将性能数据作为性能记录，顺序保存在对应的性能记录文件中，根据采集时刻对性能记录文件命名并保存。所述性能记录包括采集点标识以及采集点上的各项性能数据；所述顺序保存包括：对性能记录中采集点标识按照排序策略进行排序，将每条性能记录按照采集点标识的排序，顺序逐行保存在性能记录文件中；所述排序策略可以根据采集点所在设备的地域分组、设备的IP地址的顺序或者采集点标识字符串比较等方式对采集点标识进行排序；所述性能记录文件与采集时刻一一对应，一个采集时刻对应一个性能记录文件，具体实现可以为：性能采集系统读取当前获取采集点性能数据时的系统时间，即为采集时刻，将采集时刻命名为所对应的性能记录文件的文件名，采集时刻与性能记录文件的文件名一一对应，例如文件名为2011-3-15-12.00.dat的性能记录文件，则保存了2011年3月15日12点所采集的性能数据。

步骤102、根据一次性遍历算法查询性能记录文件中，与采集点标识集合对应的性能记录并保存；

用户通过性能采集系统预存的采集点标识，选取要查询的采集点标识，形成采集点标识集合；性能采集系统将采集点标识集合中的采集点标识按照排序策略进行排序，所述排序策略同性能记录文件中采集点标识的排序策略相同。这里，性能采集系统可同时查询多个性能记录文件。性能采集系统创建一个列表，用于保存查询到的性能记录。

如图2所示，根据一次性遍历算法查询性能记录文件中，采集点标识集合对应的性能记录的具体步骤如下：

步骤1021、性能采集系统读取性能记录文件中的当前性能记录，同时读取采集点标识集合中的当前采集点标识；

所述读取具体为：性能采集系统通过指针A指向性能记录文件中的当前性能记录，起始为首行性能记录，读取指针A所在位置的性能记录；通过指针B指向采集点标识集合中的当前采集点标识，起始为第一个采集点标识，读取指针B所在位置的采集点标识。

步骤1022、判断当前性能记录是否到达性能记录文件末尾或者当前采集点标识是否到达采集点标识集合末尾，如果是，执行步骤1027；否则，执行步骤1023；

所述判断为：指针A或指针B所在位置的内容为空，则读取的指针所在位置的当前性能记录到达性能记录文件的末尾，或当前采集点标识到达采集点标识集合的末尾；否则，当前性能记录没有到达性能记录文件的末尾，当前采集点标识没有到达采集点标识集合的末尾。

步骤1023、比较当前性能记录中的采集点标识与当前采集点标识，若两者相同，执行步骤1024；若当前性能记录中的采集点标识小于当前采集点标识，执行步骤1025；若当前性能记录中的采集点标识大于当前采集点标识，之后的性能记录中的采集点标识会逐渐增大，说明性能记录文件中已没有匹配的性能记录，执行步骤1026；

步骤1024、所述当前性能记录即为要查询的性能记录，将所述当前性能记录保存到列表中。读取当前性能记录的下一性能记录为当前性能记录，当前采集点标识的下一采集点标识为当前采集点标识，也就是将指针A及指针B加1，读取指针A所在位置的性能记录为当前性能记录，读取指针B所在位置的采集点标识为当前采集点标识，执行步骤1022；

步骤1025、读取当前性能记录的下一性能记录，作为当前性能记录，具体为：将指针A加1，然后读取指针A所在位置的性能记录，然后执行步骤1022；

步骤1026、读取采集点标识中，当前采集点标识的下一采集点标识，作为当前采集点标识，具体为：将指针B加1，读取指针B所在位置的采集点标识；执行步骤1022。

步骤1027、流程结束。

下面通过一个具体实施例来对查询采集点标识集合对应的性能记录进行详细说明。假设性能记录中的采集点标识为entryid_n，n为正整数，取值范围为1至10000，对性能记录按照采集点标识的排序，排序策略为n的升序排序，也就是说，性能记录按照其包含的采集点标识的升序排序，即包含采集点标识entryid_1的性能记录排在性能记录文件的首行，包含采集点标识entryid_2的性能记录排在性能记录文件的第二行，依次类推。假设采集点标识集合中的采集点标识为entryid_m，其中m为4的倍数，同样将采集点标识集合中的采集点标识按照m的升序排序，即采集点标识entryid_4排在采集点标识集合的第一个，采集点标识entryid_8排在采集点标识集合的第二个，依次类推。然后，起始以首行中的性能记录作为当前性能记录，起始以采集点标识集合中的第一个采集点标识作为当前采集点标识，确定当前性能记录不在性能记录文件的末尾，当前采集点标识不在采集点标识集合的末尾，比较当前性能记录中的采集点标识与当前采集点标识，当前性能记录的采集点标识entryid_1小于当前采集点标识entryid_4，读取当前性能记录的下一性能记录，作为当前性能记录，继续查询，依次类推，直至读取包含采集点标识entryid_4的性能记录为当前性能记录，当前性能记录的采集点标识entryid_4与当前采集点标识entryid_4相同，则当前性能记录为要查询的性能记录，将所述当前性能记录保存到创建的列表中。同时读取当前性能记录的下一性能记录，也就是包含采集点标识entryid_5的性能记录为当前性能记录，读取当前采集点标识的下一采集点标识，也就是采集点标识entryid_8为当前采集点标识，继续查询。

本发明还提供了一种数据查询的装置，该装置位于性能采集系统，如图3所示，该装置包括：性能记录保存模块301、数据查询模块302；

性能记录保存模块301，用于将当前采集时刻获取的采集点的性能数据，作为性能记录顺序保存在与当前采集时刻对应的性能记录文件中；

数据查询模块302，用于根据一次性遍历算法查询性能记录保存模块301的性能记录文件中，与采集点标识集合对应的性能记录并保存。

所述性能记录保存模块301具体用于，对性能记录中的采集点标识按照排序策略进行排序，将性能记录根据采集点标识的排序，顺序保存在性能记录文件中，根据采集时刻对性能记录文件命名并保存，使性能记录文件与采集时刻一一对应。

所述数据查询模块302进一步包括：采集点标识集合单元3021；

采集点标识集合单元3021，用于根据用户在预存的采集点标识中选取的采集点标识，组成采集点标识集合，将采集点标识集合中的采集点标识按照排序策略进行排序。

所述数据查询模块302进一步包括：查询单元3022和查询结果保存单元3023；

查询单元3022，用于读取性能记录保存模块301中的性能记录文件中的当前性能记录，以及采集点标识集合单元3021中的当前采集点标识，确定当前性能记录没有达到性能记录文件末尾或当前采集点标识没有达到采集点标识集合末尾，进一步比较当前性能记录中的采集点标识与当前采集点标识，若两者相同，则所述当前性能记录即为要查询的性能记录，发送给查询结果保存单元3023；然后读取当前性能记录的下一性能记录，作为当前性能记录，读取当前采集点标识的下一采集点标识，作为当前采集点标识，之后的处理方式同之前的当前性能记录与当前采集点标识的处理方式相同；

相应的，查询结果保存单元3023，用于将接收的性能记录保存到创建的列表中。

所述查询单元3022进一步用于，当前性能记录中的采集点标识小于当前采集点标识，读取当前性能记录的下一性能记录，作为当前性能记录，仍以当前采集点标识为当前采集点标识，之后的处理方式同之前的当前性能记录与当前采集点标识的处理方式相同。

所述查询单元3022进一步用于，当前性能记录中的采集点标识大于当前采集点标识，读取当前采集点标识的下一采集点标识，作为当前采集点标识，仍以当前性能记录为当前性能记录，之后的处理方式同之前的当前性能记录与当前采集点标识的处理方式相同。

以上所述，仅为本发明的较佳实施例而已，并非用于限定本发明的保护范围。

Claims (10)

1.一种数据查询的方法，其特征在于，该方法包括：

性能采集系统获取当前采集时刻的采集点性能数据，作为性能记录顺序保存在与当前采集时刻对应的性能记录文件中，根据一次性遍历算法查询性能记录文件中，与采集点标识集合对应的性能记录并保存。

2.根据权利要求1所述的方法，其特征在于，所述顺序保存在与当前采集时刻对应的性能记录文件包括：

对性能记录中的采集点标识按照排序策略进行排序，将每条性能记录按照采集点标识的排序，顺序逐行保存在性能记录文件中，并根据当前采集时刻对性能记录文件进行命名，性能记录文件与采集时刻一一对应。

3.根据权利要求1或2所述的方法，其特征在于，所述根据一次性遍历算法查询性能记录文件中，与采集点标识集合对应的性能记录之前，该方法进一步包括：

将用户在预存的采集点标识中选取的采集点标识，组成采集点标识集合，将采集点标识集合中的采集点标识按照排序策略进行排序。

4.根据权利要求3所述的方法，其特征在于，所述根据一次性遍历算法查询性能记录文件中，与采集点标识集合对应的性能记录并保存包括：

读取性能记录文件中的当前性能记录，以及采集点标识集合中的当前采集点标识，确定当前性能记录没有到达性能记录文件的末尾，或当前采集点标识没有到达采集点标识集合的末尾，比较当前性能记录中的采集点标识与当前采集点标识，若两者相同，则所述当前性能记录为要查询的性能记录，保存到创建的列表中，同时读取当前性能记录的下一性能记录，作为当前性能记录，读取当前采集点标识的下一采集点标识，作为当前采集点标识。

5.根据权利要求4所述的方法，其特征在于，

若当前性能记录中的采集点标识小于当前采集点标识，读取当前性能记录的下一性能记录，作为当前性能记录，仍以当前采集点标识为当前采集点标识；

若当前性能记录中的采集点标识大于当前采集点标识，读取当前采集点标识的下一采集点标识，作为当前采集点标识，仍以当前性能记录为当前性能记录。

6.一种数据查询的装置，其特征在于，该装置包括：性能记录保存模块、数据查询模块；

性能记录保存模块，用于将当前采集时刻获取的采集点的性能数据，顺序保存在与当前采集时刻对应的性能记录文件中；

数据查询模块，用于根据一次性遍历算法查询性能记录保存模块的性能记录文件中，与采集点标识集合对应的性能记录并保存。

7.根据权利要求6所述的装置，其特征在于，

所述性能记录保存模块具体用于，对性能记录中的采集点标识按照排序策略进行排序，将性能记录根据采集点标识的排序，顺序保存在性能记录文件中，并根据当前采集时刻对性能记录文件进行命名，性能记录文件与采集时刻一一对应。

8.根据权利要求6或7所述的装置，其特征在于，所述数据查询模块进一步包括：采集点标识集合单元；

采集点标识集合单元，用于根据用户在预存的采集点标识中选取的采集点标识，组成采集点标识集合，将采集点标识集合中的采集点标识按照排序策略进行排序。

9.根据权利要求8所述的装置，其特征在于，所述数据查询模块进一步包括：查询单元和查询结果保存单元；

查询单元，用于读取性能记录文件中的当前性能记录，以及采集点标识集合单元中的当前采集点标识，确定当前性能记录没有到达性能记录文件末尾或当前采集点标识没有达到采集点标识集合末尾，进一步比较当前性能记录中的采集点标识与当前采集点标识，若两者相同，则所述当前性能记录为要查询的性能记录，发送给查询结果保存单元，然后读取当前性能记录的下一性能记录，作为当前性能记录，读取当前采集点标识的下一采集点标识，作为当前采集点标识；

相应的，查询结果保存单元，用于接收性能记录，保存在创建的列表中。

10.根据权利要求9所述的装置，其特征在于，

所述查询单元进一步用于，当前性能记录中的采集点标识小于当前采集点标识，读取当前性能记录的下一性能记录，作为当前性能记录，仍以当前采集点标识为当前采集点标识；

若当前性能记录中的采集点标识大于当前采集点标识，读取当前采集点标识的下一采集点标识，作为当前采集点标识，仍以当前性能记录为当前性能记录。

Images