CN105354256A

CN105354256A - 一种数据分页查询的方法及装置

Info

Publication number: CN105354256A
Application number: CN201510689569.8A
Authority: CN
Inventors: 吴延庆
Original assignee: Inspur Electronic Information Industry Co Ltd
Current assignee: Inspur Electronic Information Industry Co Ltd
Priority date: 2015-10-22
Filing date: 2015-10-22
Publication date: 2016-02-24

Abstract

本发明提供了一种数据分页查询的方法及装置，该方法包括：确定每个数据页所显示的数据项的标准数量；接收外部输入的目标数据页的请求信息；确定基准数据项；根据所述标准数量和所述请求信息，从所述基准数据项开始查询目标数据项；将所述目标数据项显示在所述目标数据页中。本发明提供了一种数据分页查询的方法及装置，能够提高分页查询的效率。

Description

一种数据分页查询的方法及装置

技术领域

本发明涉及计算机技术领域，特别涉及一种数据分页查询的方法及装置。

背景技术

MongoDB是一个基于分布式文件存储的数据库，由C++语言编写，旨在为WEB应用提供可扩展的高性能数据存储解决方案。MongoDB是一个介于关系数据库和非关系数据库之间的数据库，是非关系数据库当中功能最丰富，最像关系数据库的。他支持的数据结构非常松散，是类似json的bson格式，因此可以存储比较复杂的数据类型。Mongo最大的特点是他支持的查询语言非常强大，其语法有点类似于面向对象的查询语言，几乎可以实现类似关系数据库单表查询的绝大部分功能，而且还支持对数据建立索引。但是，MongoDB的分页性能是较差。

现有技术中，当需要查询MongoDB中某一页的数据时，需要从第一页开始一条一条跳过数据，直到查询到需要查询的数据。举例来说，MongoDB中，共有10000页的数据，用户需要查询第9990页的数据。在现有的查询方法中，通过skip、limit操作，从第一页开始一条一条的跳过数据，直到到达第9990页，查询过程结束，返回查询结果，skip的偏移量越大时间性能越差。在大数据量环境下，如果一次跳转的页数过多，可能用户要等上十几秒，甚至几十秒，对于前端请求来说可能未接收到数据就已经超时结束。

通过上述描述可见，现有的数据分页查询的方法的查询效率较低。

发明内容

有鉴于此，本发明提供了一种数据分页查询的方法及装置，能够提高分页查询的效率。

一方面，本发明提供了一种数据分页查询的方法，包括：

S1：确定每个数据页所显示的数据项的标准数量；

S2：接收外部输入的目标数据页的请求信息；

S3：确定基准数据项；

S4：根据所述标准数量和所述请求信息，从所述基准数据项开始查询目标数据项；

S5：将所述目标数据项显示在所述目标数据页中。

进一步地，所述S3，包括：

将当前显示的数据页的最后一条数据项作为所述基准数据项。

进一步地，所述S3，包括：

将用户指定的数据页的最后一条数据项作为所述基准数据项。

进一步地，所述S4，包括：

判断所述目标数据页是否是所述基准数据项所在的数据页的下一页，如果是，则获取所述基准数据项之后的标准数量的目标数据项。

进一步地，所述S4，包括：

判断所述目标数据页是否是所述基准数据项所在的数据页的上一页，如果是，则将游标指针指向所述基准数据项，将游标指针指向跳过所述基准数据项之前的标准数量的数据项后的数据项，获取所述游标指针指向的数据项之前的标准数量的目标数据项。

另一方面，本发明提供了一种数据分页查询的装置，包括：

第一确定单元，用于确定每个数据页所显示的数据项的标准数量；

接收单元，接收外部输入的目标数据页的请求信息；

第二确定单元，用于确定基准数据项；

查询单元，用于根据所述标准数量和所述请求信息，从所述基准数据项开始查询目标数据项；

显示单元，用于将所述目标数据项显示在所述目标数据页中。

进一步地，所述第二确定单元，用于将当前显示的数据页的最后一条数据项作为所述基准数据项。

进一步地，所述第二确定单元，用于将用户指定的数据页的最后一条数据项作为所述基准数据项。

进一步地，所述查询单元，用于判断所述目标数据页是否是所述基准数据项所在的数据页的下一页，如果是，则获取所述基准数据项之后的标准数量的目标数据项。

进一步地，所述查询单元，用于判断所述目标数据页是否是所述基准数据项所在的数据页的上一页，如果是，则将游标指针指向所述基准数据项，将游标指针指向跳过所述基准数据项之前的标准数量的数据项后的数据项，获取所述游标指针指向的数据项之前的标准数量的目标数据项。

通过本发明提供的一种数据分页查询的方法及装置，确定基准数据项，从基准数据项开始，根据请求信息查询目标数据项，将目标数据项显示在目标数据页中，在查询的过程中，无需从第一条数据项开始查询，查询过程中跳过的数据项是条数减少，提高了分页查询的效率。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本发明一实施例提供的一种数据分页查询的方法的流程图；

图2是本发明一实施例提供的另一种数据分页查询的方法的流程图；

图3是本发明一实施例提供的一种数据分页查询的装置的示意图；

图4是本发明一实施例提供的另一种数据分页查询的装置的示意图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例，基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。

如图1所示，本发明实施例提供了一种数据分页查询的方法，该方法可以包括以下步骤：

S1：确定每个数据页所显示的数据项的标准数量；

S2：接收外部输入的目标数据页的请求信息；

S3：确定基准数据项；

S5：将所述目标数据项显示在所述目标数据页中。

通过本发明实施例提供的一种数据分页查询的方法，确定基准数据项，从基准数据项开始，根据请求信息查询目标数据项，将目标数据项显示在目标数据页中，在查询的过程中，无需从第一条数据项开始查询，查询过程中跳过的数据项是条数减少，提高了分页查询的效率。

在一种可能的实现方式中，所述S3，包括：将当前显示的数据页的最后一条数据项作为所述基准数据项。

在一种可能的实现方式中，所述S3，包括：将用户指定的数据页的最后一条数据项作为所述基准数据项。

在一种可能的实现方式中，所述S4，包括：

在该实现方式中，游标指针直接定位到基准数据项，可以直接从基准数据项开始查询即可，无需从第一条数据项进行查询，提高了查询效率。

如果基准数据项的标识为A，标准数量为B，则该实现方式可以通过以下代码实现：db.test.find({id：{$gt：A}}).limit(B)。

在一种可能的实现方式中，所述S4，包括：

在该实现方式中，可以直接从基准数据项开始查询即可，无需从第一条数据项进行查询，提高了查询效率。

如果基准数据项的标识为A，标准数量为B，则该实现方式可以通过以下代码实现：db.test.find({id：{$lt：A}}).sort({id:-1}).skip(B).limit(B)。以标识为A的数据为基准数据项，将标识反向排序，并且跳过基准数据项所在的数据页，获取上一页数据即可。

本发明实施例提供的一种数据分页查询的方法，避免用skip操作做大数据量的偏移，采用基于索引的条件限定与排序查询。这里的条件限定指的是主键约束、唯一性约束条件。这里根据某个指定字段的值为条件。

步骤S2，可以通过该封装好的程序的持久层接口来实现。

另外，当请求信息一次请求中会有很多数据页需要显示时，可以不必提供全部数据，只需要提供满足请求的指定数量的数据项即可，而不必返回全部数据，这样查询的性能是非常高效的。

为使本发明的目的、技术方案和优点更加清楚，下面结合附图及具体实施例对本发明作进一步地详细描述。

在该实施例中，test集合中有20万条数据，每个数据页显示10条数据，即标准数量为10，共2万页。假设数据的id为该条记录的位置并唯一(第一条数据项的id为1，第二条数据项的id为2，以此类推)。目标数据页为第1万页。当前显示页为第9999页。

如图2所示，本发明实施例提供了一种数据分页查询的方法，该方法可以包括以下步骤：

步骤201：确定每个数据页所显示的数据项的标准数量。

在该实施例中，标准数量为10。

步骤202：接收外部输入的目标数据页的请求信息。

该请求信息请求目标数据页为第1万页。

步骤203：将当前显示的数据页的最后一条数据项作为所述基准数据项。

当前显示的数据页为第9999页，基准数据项为9999页的最后一条数据项，该基准数据项的id为10000。

步骤204：判断所述目标数据页是否是所述基准数据项所在的数据页的下一页，如果是，则获取所述基准数据项之后的标准数量的目标数据项，执行步骤207，否则，执行步骤205。

具体地，通过以下查询语句实现对目标数据项的查询：db.test.find({id：{$gt：100000}}).limit(10)。根据限定条件查询，条件为目标数据页的前一页的最后一条数据的id(这里是id：100000)，游标指针会根据索引直接定位到100000的位置，然后检索结果返回。

步骤205：判断所述目标数据页是否是所述基准数据项所在的数据页的上一页，如果是，则将游标指针指向所述基准数据项，将游标指针指向跳过所述基准数据项之前的标准数量的数据项后的数据项，获取所述游标指针指向的数据项之前的标准数量的目标数据项，执行步骤207，否则，执行步骤206。

具体地，假设目标数据页为当前页的上一页，可以通过以下查询语句实现对目标数据项的查询：db.test.find({id：{$lt：100000}}).sort({id:-1}).skip(10).limit(10)。

步骤206：执行skip操作和limit操作，查询目标数据项，执行步骤207。

具体地，查询第1万页的数据项可以通过以下查询语句实现：db.test.find().skip(100000).limit(10)。

步骤207：将所述目标数据项显示在所述目标数据页中。

如图3、图4所示，本发明实施例提供了一种数据分页查询的装置。装置实施例可以通过软件实现，也可以通过硬件或者软硬件结合的方式实现。从硬件层面而言，如图3所示，为本发明实施例提供的一种数据分页查询的装置所在设备的一种硬件结构图，除了图3所示的处理器、内存、网络接口、以及非易失性存储器之外，实施例中装置所在的设备通常还可以包括其他硬件，如负责处理报文的转发芯片等等。以软件实现为例，如图4所示，作为一个逻辑意义上的装置，是通过其所在设备的CPU将非易失性存储器中对应的计算机程序指令读取到内存中运行形成的。本实施例提供的一种数据分页查询的装置，包括：

第一确定单元401，用于确定每个数据页所显示的数据项的标准数量；

接收单元402，接收外部输入的目标数据页的请求信息；

第二确定单元403，用于确定基准数据项；

查询单元404，用于根据所述标准数量和所述请求信息，从所述基准数据项开始查询目标数据项；

显示单元405，用于将所述目标数据项显示在所述目标数据页中。

在一种可能的实现方式中，所述第二确定单元403，用于将当前显示的数据页的最后一条数据项作为所述基准数据项。

在一种可能的实现方式中，所述第二确定单元403，用于将用户指定的数据页的最后一条数据项作为所述基准数据项。

在一种可能的实现方式中，所述查询单元404，用于判断所述目标数据页是否是所述基准数据项所在的数据页的下一页，如果是，则获取所述基准数据项之后的标准数量的目标数据项。

在一种可能的实现方式中，所述查询单元404，用于判断所述目标数据页是否是所述基准数据项所在的数据页的上一页，如果是，则将游标指针指向所述基准数据项，将游标指针指向跳过所述基准数据项之前的标准数量的数据项后的数据项，获取所述游标指针指向的数据项之前的标准数量的目标数据项。

上述装置内的各单元之间的信息交互、执行过程等内容，由于与本发明方法实施例基于同一构思，具体内容可参见本发明方法实施例中的叙述，此处不再赘述。

本发明实施例提供的一种数据分页查询的方法及装置，适用于MongoDB大数据量分页处理。

本发明实施例提供的一种数据分页查询的方法及装置，具有如下有益效果：

1、本发明实施例提供的一种数据分页查询的方法及装置，确定基准数据项，从基准数据项开始，根据请求信息查询目标数据项，将目标数据项显示在目标数据页中，在查询的过程中，无需从第一条数据项开始查询，查询过程中跳过的数据项是条数减少，提高了分页查询的效率。

2、本发明实施例提供的一种数据分页查询的方法及装置，游标指针直接定位到基准数据项，避免用skip操作做大数据量的偏移，采用基于索引的条件限定与排序查询，提高了分页查询的效率。

需要说明的是，在本文中，诸如第一和第二之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个………”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同因素。

本领域普通技术人员可以理解：实现上述方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成，前述的程序可以存储在计算机可读取的存储介质中，该程序在执行时，执行包括上述方法实施例的步骤；而前述的存储介质包括：ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质中。

最后需要说明的是：以上所述仅为本发明的较佳实施例，仅用于说明本发明的技术方案，并非用于限定本发明的保护范围。凡在本发明的精神和原则之内所做的任何修改、等同替换、改进等，均包含在本发明的保护范围内。

Claims

1.一种数据分页查询的方法，其特征在于，包括：

S1：确定每个数据页所显示的数据项的标准数量；

S2：接收外部输入的目标数据页的请求信息；

S3：确定基准数据项；

S5：将所述目标数据项显示在所述目标数据页中。

2.根据权利要求1所述的方法，其特征在于，所述S3，包括：

3.根据权利要求1所述的方法，其特征在于，所述S3，包括：

4.根据权利要求2或3所述的方法，其特征在于，所述S4，包括：

5.根据权利要求2或3所述的方法，其特征在于，所述S4，包括：

6.一种数据分页查询的装置，其特征在于，包括：

接收单元，接收外部输入的目标数据页的请求信息；

第二确定单元，用于确定基准数据项；

7.根据权利要求6所述的装置，其特征在于，所述第二确定单元，用于将当前显示的数据页的最后一条数据项作为所述基准数据项。

8.根据权利要求6所述的装置，其特征在于，所述第二确定单元，用于将用户指定的数据页的最后一条数据项作为所述基准数据项。

9.根据权利要求7或8所述的装置，其特征在于，所述查询单元，用于判断所述目标数据页是否是所述基准数据项所在的数据页的下一页，如果是，则获取所述基准数据项之后的标准数量的目标数据项。

10.根据权利要求7或8所述的装置，其特征在于，所述查询单元，用于判断所述目标数据页是否是所述基准数据项所在的数据页的上一页，如果是，则将游标指针指向所述基准数据项，将游标指针指向跳过所述基准数据项之前的标准数量的数据项后的数据项，获取所述游标指针指向的数据项之前的标准数量的目标数据项。