CN107783978A - 一种大数据查询返回方法及装置 - Google Patents

Abstract

本发明公开了一种大数据查询返回方法及装置，其中，该方法包括：基于查询起始时间及查询终止时间获取对应的起始记录号及终止记录号，每条查询记录均具有对应的记录号，且该记录号具有自动增长的属性；确定终止记录号及起始记录号的差值为查询记录的总条数，并确定该总条数与预先设定的单页条数的商为总页数；基于单页条数及总页数对由起始记录号至终止记录号对应的查询记录进行分页返回。本申请利用记录号的自动增长属性，通过终止记录号和起始记录号的差值获取查询记录的总条数，进而根据总条数和预先设定的单页条数确定总页数，并将查询到的全部查询记录进行分页返回，由此，有效提高了千万级别大数据的查询返回速度，能够更好的满足用户体验。

Description

一种大数据查询返回方法及装置

技术领域

本发明涉及信息检索技术领域，更具体地说，涉及一种大数据查询返回方法及装置。

背景技术

随着信息化的不断发展，各业务系统中的数据量越来越庞大，而当数据量达到某个级别时查询起来就非常耗时，特别是数据达千万级别以上，如果数据库设计不合理，面临千万级别以上数据查询时往往耗费很长时间，再要将查询到的数据展示给用户将会因等待时间太长而造成用户体验非常不好；因此，提高千万级别大数据的查询返回速度就变得尤为重要。

在不增加硬件成本的情况下，如何发挥系统的最大性能，使查询速度最快，是许多企业面对的难题，目前常用的传统方法有使用分区技术、使用分布式的数据库、使用PLSQL、基于物化视图的查询重写及基于缓存技术等，这些方法均是通过尽量减少IO磁盘的访问进而提高大数据的查询返回速度。但是发明人在实际测试中发现，上述通过减少IO磁盘的方式来提高千万级别大数据的查询返回速度的效果较差，即其并不能够有效提高千万级别大数据的查询返回速度。

综上所述，现有技术中用于提高千万级别大数据的查询返回速度的方案存在有效性较差的问题。

发明内容

本发明的目的是提供一种大数据查询返回方法及装置，以解决现有技术中用于提高千万级别大数据的查询返回速度的方案存在的有效性较差的问题。

为了实现上述目的，本发明提供如下技术方案：

一种大数据查询返回方法，包括：

基于查询起始时间及查询终止时间获取对应的起始记录号及终止记录号，每条查询记录均具有对应的记录号，且该记录号具有自动增长的属性；

确定所述终止记录号及所述起始记录号的差值为查询记录的总条数，并确定该总条数与预先设定的单页条数的商为总页数；

基于所述单页条数及所述总页数对由所述起始记录号至所述终止记录号对应的查询记录进行分页返回。

优选的，对由所述起始记录号至所述终止记录号对应的查询记录进行分页返回，包括：

基于所述单页条数及所述总页数将由所述起始记录号至所述终止记录号对应的查询记录分至不同的记录页；

对所述记录页依次进行返回。

优选的，对所述记录页依次进行返回，包括：

控制游标对当前页的查询记录逐行读取及返回，并记录该页的最大记录号，以在返回完成该记录页时对所述最大记录号进行调取，并控制所述游标由该最大记录号对应的查询记录逐行读取并返回下一页记录页的查询记录。

优选的，还包括：

基于初始记录号及终止记录号中的任一种、当前页的最大记录号及单页条数计算当前页的页数，并将当前页的页数进行返回。

优选的，还包括：

获取与查询条件对应的索引项，并由该索引项定位到与查询条件对应的查询记录。

一种大数据查询返回装置，包括：

记录号获取模块，用于基于查询起始时间及查询终止时间获取对应的起始记录号及终止记录号，每条查询记录均具有对应的记录号，且该记录号具有自动增长的属性；

页数确定模块，用于确定所述终止记录号及所述起始记录号的差值为查询记录的总条数，并确定该总条数与预先设定的单页条数的商为总页数；

分页返回模块，用于基于所述单页条数及所述总页数对由所述起始记录号至所述终止记录号对应的查询记录进行分页返回。

优选的，所述分页返回模块包括：

分页返回单元，用于：基于所述单页条数及所述总页数将由所述起始记录号至所述终止记录号对应的查询记录分至不同的记录页；对所述记录页依次进行返回。

优选的，所述分页返回单元包括：

分页返回子单元，用于：控制游标对当前页的查询记录逐行读取及返回，并记录该页的最大记录号，以在返回完成该记录页时对所述最大记录号进行调取，并控制所述游标由该最大记录号对应的查询记录逐行读取并返回下一页记录页的查询记录。

优选的，还包括：

页数返回模块，用于基于初始记录号及终止记录号中的任一种、当前页的最大记录号及单页条数计算当前页的页数，并将当前页的页数进行返回。

优选的，还包括：

数据查询模块，用于获取与查询条件对应的索引项，并由该索引项定位到与查询条件对应的查询记录。

本发明提供的一种大数据查询返回方法及装置，其中，该方法包括：基于查询起始时间及查询终止时间获取对应的起始记录号及终止记录号，每条查询记录均具有对应的记录号，且该记录号具有自动增长的属性；确定所述终止记录号及所述起始记录号的差值为查询记录的总条数，并确定该总条数与预先设定的单页条数的商为总页数；基于所述单页条数及所述总页数对由所述起始记录号至所述终止记录号对应的查询记录进行分页返回。本申请公开的上述技术方案中，利用记录号的自动增长属性，通过终止记录号和起始记录号的差值获取查询记录的总条数，进而根据总条数和预先设定的单页条数确定总页数，并将查询到的全部查询记录进行分页返回，由此，无需对查询记录依次进行统计，而仅仅通过终止记录号和起始记录号即可获取到查询记录的总条数，大大减少了总条数的统计时间；同时，将查询记录进行分页返回，尽量最小化结果记录集，避免返回大的结果数据集，从而大大缩短了数据的返回时间，总之，本申请公开的上述技术方案由查询记录总条数的统计及数据结果集的返回方面做出了对应的优化，有效提高了千万级别大数据的查询返回速度，能够更好的满足用户体验。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。

图1为本发明实施例提供的一种大数据查询返回方法的流程图；

图2为本发明实施例提供的一种大数据查询返回装置的结构示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

请参阅图1，其示出了本发明实施例提供的一种大数据查询返回方法的流程图，其中，大数据可以是指千万级别的大数据，当然，也可以根据实际需要应用于其他级别的数据，在此不做具体限定。上述方法具体可以包括以下步骤：

S11：基于查询起始时间及查询终止时间获取对应的起始记录号及终止记录号，每条查询记录均具有对应的记录号，且该记录号具有自动增长的属性。

其中，记录号具体可以是ID号，当然也可以根据实际需要进行其他设定，在此不做具体限定；本发明公开的技术方案中为查询记录所在的表里设置一个自动增长的记录号列，具体可以是在记录号的属性里面设置为自动增长；其中，自动增长即该表中每插入一条查询记录，则对应记录号就自动加1，比如之前最后一条查询记录的记录号为99999，那么新增一条记录时，该记录对应的记录号则为99999+1＝100000。通过查询起始时间可以获取对应的起始记录号，即查询到的第一条查询记录对应的记录号，通过查询终止时间可以获取对应的终止记录号，即查询到的最后一条查询记录对应的记录号。由此，在需要计算某段时间内的查询记录总条数时，仅需获取该段时间内起始时间和终止时间对应的记录号，进而将终止时间对应的记录号减去起始时间对应的记录号即可得到该段时间内的查询记录总条数，而现有技术中通过查询语句Count(*)去计算查询记录总条数通常需要十多秒，利用本申请公开的上述技术特征仅需获取起始记录号和终止记录号即可得到查询记录总条数，时间非常快，不到一秒，因此，可以大大节省查询查询记录总条数的时间。

S12：确定终止记录号及起始记录号的差值为查询记录的总条数，并确定该总条数与预先设定的单页条数的商为总页数。

终止记录号减去起始记录号所得的差值即为查询记录总条数，进而计算出总条数与预先设定的单页条数的商，也即为总页数，其中，预先设定的单页条数即为每页返回的条数，可以根据实际需要进行确定，通常不会设的太大，可以设为如200、500等。例如：查询记录的总条数为100000条，而每页返回条数即单页条数为200条，那就可以计算出总页数为100000/200＝500页。

S13：基于单页条数及总页数对由起始记录号至终止记录号对应的查询记录进行分页返回。

将起始记录号至终止记录号对应的查询记录进行分页返回，分页返回时每次返回只是查询返回单页条数的查询记录，避免了大数据查询时返回大的结果记录集，提高了查询返回速度。

另外，本发明实施例中所提到的查询记录的返回可以包括对查询记录的显示或者输出等，还可以根据实际需要进行其他设定，均在本发明的保护范围之内。

如背景技术部分，现有技术中用于提高大数据查询返回速度的方案均是通过减少IO磁盘的访问实现的，但是经过发明人的实际测试，发现查询返回时间主要花在统计记录数、返回大的结果记录集和分页时游标滚动到某行上。如果查询记录的数量不多，比如小于10万条，查询返回花费的时间是比较少，但是如果查询记录的数量有500万条的话，仅仅统计这查询记录的总条数都要花十多秒；当查询记录的数量大到千万级别甚至以上时，统计总条数的时间会更长；返回大的结果记录集也是非常费时间的，特别是返回的结果记录集达千万级别甚至以上，等待的时间往往超出用户承受的范围。

本申请公开的上述技术方案中，利用记录号的自动增长属性，通过终止记录号和起始记录号的差值获取查询记录的总条数，进而根据总条数和预先设定的单页条数确定总页数，并将查询到的全部查询记录进行分页返回，由此，无需对查询记录依次进行统计，而仅仅通过终止记录号和起始记录号即可获取到查询记录的总条数，大大减少了总条数的统计时间；同时，将查询记录进行分页返回，尽量最小化结果记录集，避免返回大的结果数据集，从而大大缩短了数据的返回时间，总之，本申请公开的上述技术方案由查询记录总条数的统计及数据结果集的返回方面做出了对应的优化，有效提高了千万级别大数据的查询返回速度，能够更好的满足用户体验。

本发明实施例提供的一种大数据查询返回方法，对由起始记录号至终止记录号对应的查询记录进行分页返回，可以包括：

基于单页条数及总页数将由起始记录号至终止记录号对应的查询记录分至不同的记录页；

对记录页依次进行返回。

可以根据需要对记录页的返回进行设置，如可以设置成将记录页按照其中查询记录的记录号由小到大依次进行返回，由此，供用户获取到全部查询记录。当然，还可以进行其他设置，如接收用户输入的数据返回指令，数据返回指令中可以包含用户需要获取的查询记录的页数，进而将该数据返回指令对应的查询记录的记录页进行返回，供用户获取；用户返回指令中还可以包含用户需要获取的查询记录的记录号或者查询时间，进而将该记录号或者查询时间对应的查询记录所属的记录页进行返回；由此，可以根据用户设置，灵活的将查询记录返回给用户，提升了用户体验。

具体来说，对记录页依次进行返回，可以包括：

控制游标对当前页的查询记录逐行读取及返回，并记录该页的最大记录号，以在返回完成该记录页时对最大记录号进行调取，并控制游标由该最大记录号对应的查询记录逐行读取并返回下一页记录页的查询记录。

其中，当返回第一页查询记录时，可以通过起始记录号及单页条数获取到第一页，并返回；在对每页进行查询记录的读取及返回时，可以将该页的最大记录号进行记录，从而根据该最大记录号灵活的返回到上一页或者读取下一页。具体来说，记录的当前页的最大记录号可以被随时调取，在查询下一页时，仅需将上一页保存的最大记录号传递进来参与查询，即可快速查询并返回下一页，因为游标是逐行滚动的，如单页条数为200条，返回第一页查询记录时，游标滚动到200条，那么返回下一页时，游标只需从200条滚动逐行读取下一页的200条查询记录并返回即可。因为在这个过程中游标已经滚动起来，不需要像现有技术一样查询更多的数据且每次翻页都要移动游标滚动到某一行来实现分页，因此大大降低了查询记录的查询返回时间。

对应的，如果需要查询上一页，只需将当前页的最大记录号减去单页条数与2的乘积，即为上一页的第一个记录号，进而获取到第一页的查询记录，方便快捷。

另外需要说明的是，如果查询记录总条数小于预先设定的单页条数，则对应的该页最大记录号则为终止记录号，如果查询记录总条数大于预先设定的单页条数，则每页的最大记录号为当前页码与单页条数的乘积，如果当前页为最后一页，则该页最大记录号为终止记录号。

通过以上方法节省了计算查询记录总条数数时间，通过分页返回节省了返回大结果记录集花费时间以及游标大幅滚动时间，从而在系统整体上提高业务查询响应速度和用户的查询体验。

本发明实施例提供的一种大数据查询返回方法，还可以包括：

基于初始记录号及终止记录号中的任一种、当前页的最大记录号及单页条数计算当前页的页数，并将当前页的页数进行返回。

具体来说，基于初始记录号获取当前页页数时，为将最大记录号与初始记录号的差值除以单页条数，得到当前页的页数，基于终止记录号获取当前页页数时，为将终止记录号与最大记录号的差值除以单页条数，得到中间数，并将总页数减去中间数即为当前页页数。由此，能够方便用户得知当前页的页数，提升了用户体验。

本发明实施例提供的一种大数据查询返回方法，还可以包括：

获取与查询条件对应的索引项，并由该索引项定位到与查询条件对应的查询记录。

其中，索引(Index)是帮助高效获取数据的数据结构。索引其实是一种B树结构。具体来说，在数据之外，数据库系统可以维护着满足特定查找算法的数据结构，这些数据结构以某种方式引用(指向)数据，这样就可以在这些数据结构上实现高级查找算法；这种数据结构，就是索引。本申请中为查询记录所在的表建立索引，在查询查询记录时，只需根据查询条件在索引列表中获取对应的索引项，进而由索引项定位到特定的行数，及与查询条件对应的查询记录，从而大大减少遍历匹配的行数，避免查询时进行全表扫描，因此，大大提高了记录查询速度。

另外需要说明的是，只在查询记录所在的表的特定列建立索引时，首先应考虑在where及order by涉及的列表建立索引，这是因为where后面跟的是查询条件的字段，比如EventDate(上报时间)，那么查询时就可以根据上报时间优化查询，避免全表扫描；同理，order by后面跟的是按哪个字段排序,同样也会优化查询。

与上述方法相对应，本发明实施例还公开了一种大数据查询返回装置，如图2所示，可以包括：

记录号获取模块11，用于基于查询起始时间及查询终止时间获取对应的起始记录号及终止记录号，每条查询记录均具有对应的记录号，且该记录号具有自动增长的属性；

页数确定模块12，用于确定终止记录号及起始记录号的差值为查询记录的总条数，并确定该总条数与预先设定的单页条数的商为总页数；

分页返回模块13，用于基于单页条数及总页数对由起始记录号至终止记录号对应的查询记录进行分页返回。

本发明实施例公开的一种大数据查询返回装置，分页返回模块可以包括：

分页返回单元，用于：基于单页条数及总页数将由起始记录号至终止记录号对应的查询记录分至不同的记录页；对记录页依次进行返回。

本发明实施例公开的一种大数据查询返回装置，分页返回单元可以包括：

分页返回子单元，用于：控制游标对当前页的查询记录逐行读取及返回，并记录该页的最大记录号，以在返回完成该记录页时对最大记录号进行调取，并控制游标由该最大记录号对应的查询记录逐行读取并返回下一页记录页的查询记录。

本发明实施例公开的一种大数据查询返回装置，还可以包括：

页数返回模块，用于基于初始记录号及终止记录号中的任一种、当前页的最大记录号及单页条数计算当前页的页数，并将当前页的页数进行返回。

本发明实施例公开的一种大数据查询返回装置，还可以包括：

数据查询模块，用于获取与查询条件对应的索引项，并由该索引项定位到与查询条件对应的查询记录。

本发明实施例公开的一种大数据查询返回装置中相关部分的说明请参见本发明实施例公开的一种大数据查询返回方法中对应部分的详细说明，在此不再赘述。

对所公开的实施例的上述说明，使本领域技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其它实施例中实现。因此，本发明将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。

Claims (10)

1.一种大数据查询返回方法，其特征在于，包括：

基于查询起始时间及查询终止时间获取对应的起始记录号及终止记录号，每条查询记录均具有对应的记录号，且该记录号具有自动增长的属性；

确定所述终止记录号及所述起始记录号的差值为查询记录的总条数，并确定该总条数与预先设定的单页条数的商为总页数；

基于所述单页条数及所述总页数对由所述起始记录号至所述终止记录号对应的查询记录进行分页返回。

2.根据权利要求1所述的方法，其特征在于，对由所述起始记录号至所述终止记录号对应的查询记录进行分页返回，包括：

基于所述单页条数及所述总页数将由所述起始记录号至所述终止记录号对应的查询记录分至不同的记录页；

对所述记录页依次进行返回。

3.根据权利要求2所述的方法，其特征在于，对所述记录页依次进行返回，包括：

控制游标对当前页的查询记录逐行读取及返回，并记录该页的最大记录号，以在返回完成该记录页时对所述最大记录号进行调取，并控制所述游标由该最大记录号对应的查询记录逐行读取并返回下一页记录页的查询记录。

4.根据权利要求3所述的方法，其特征在于，还包括：

基于初始记录号及终止记录号中的任一种、当前页的最大记录号及单页条数计算当前页的页数，并将当前页的页数进行返回。

5.根据权利要求1所述的方法，其特征在于，还包括：

获取与查询条件对应的索引项，并由该索引项定位到与查询条件对应的查询记录。

6.一种大数据查询返回装置，其特征在于，包括：

记录号获取模块，用于基于查询起始时间及查询终止时间获取对应的起始记录号及终止记录号，每条查询记录均具有对应的记录号，且该记录号具有自动增长的属性；

页数确定模块，用于确定所述终止记录号及所述起始记录号的差值为查询记录的总条数，并确定该总条数与预先设定的单页条数的商为总页数；

分页返回模块，用于基于所述单页条数及所述总页数对由所述起始记录号至所述终止记录号对应的查询记录进行分页返回。

7.根据权利要求6所述的装置，其特征在于，所述分页返回模块包括：

分页返回单元，用于：基于所述单页条数及所述总页数将由所述起始记录号至所述终止记录号对应的查询记录分至不同的记录页；对所述记录页依次进行返回。

8.根据权利要求7所述的装置，其特征在于，所述分页返回单元包括：

分页返回子单元，用于：控制游标对当前页的查询记录逐行读取及返回，并记录该页的最大记录号，以在返回完成该记录页时对所述最大记录号进行调取，并控制所述游标由该最大记录号对应的查询记录逐行读取并返回下一页记录页的查询记录。

9.根据权利要求8所述的装置，其特征在于，还包括：

页数返回模块，用于基于初始记录号及终止记录号中的任一种、当前页的最大记录号及单页条数计算当前页的页数，并将当前页的页数进行返回。

10.根据权利要求6所述的装置，其特征在于，还包括：

数据查询模块，用于获取与查询条件对应的索引项，并由该索引项定位到与查询条件对应的查询记录。