CN112579641A - 数据的查询方法及装置、存储介质、电子设备 - Google Patents

Abstract

本申请公开了一种数据的查询方法及装置、存储介质、电子设备。其中，该方法包括：在获取的查询指令为跳转查询的情况下，获取待查询数据所属字段的字段区间，其中，查询指令用于从数据库中查询数据，字段用于标记数据库中数据的序列；依据字段区间确定查询待查询数据的起始字段和终止字段；查询起始字段和终止字段之间的数据，作为待查询数据，并输出待查询数据。本申请解决了现有的数据查询方法在查询数据量较大的数据集时存在查询速度慢、效率低的技术问题。

Description

数据的查询方法及装置、存储介质、电子设备

技术领域

本申请涉及数据查询领域，具体而言，涉及一种数据的查询方法及装置、存储介质、电子设备。

背景技术

相关技术中，进行数据库查询时，如果结果数据集的数据量很大，比如几万行数据，放在一个页面显示的话数据量太大，需要分页显示，每次仅显示几十条。要实现分页功能，实际上就是从数据结果集中显示第1-100条记录作为第1页，显示第101-200条记录作为第2页，以此类推。其本质就是从数据结果集中“截取”出第M-N条记录。

在MongoDB中，传统的分页方法的原理是通过逐个扫描数据库中的每一项，直到出现符合要求的数据，最后将查询到的数据返回。该方法在数据量小的情况下查询效果很不错，但对于数据量比较大的情况，查询速度就非常慢，例如，要获取一个包含100万条数据的数据集合里的第99000-99500这500条数据，那么mongodb会扫描前面的99000条数据，导致性能急剧下降。

针对现有的数据查询方法在查询数据量较大的数据集时存在查询速度慢、效率低的问题，目前尚未提出有效的解决方案。

发明内容

本申请实施例提供了一种数据的查询方法及装置、存储介质、电子设备，以至少解决现有的数据查询方法在查询数据量较大的数据集时存在查询速度慢、效率低的技术问题。

根据本申请实施例的一个方面，提供了一种数据查询方法，包括：在获取的查询指令为跳转查询的情况下，获取待查询数据所属字段的字段区间，其中，查询指令用于从数据库中查询数据，该字段用于标记数据库中数据的序列；依据字段区间确定查询待查询数据的起始字段和终止字段；查询起始字段和终止字段之间的数据，作为待查询数据，并输出待查询数据。

可选地，依据字段区间确定查询待查询数据的起始字段，包括：判断字段区间的首字段是否存在；如果首字段存在，将首字段作为起始字段；如果首字段不存在，将与首字段最接近的字段作为起始字段。

可选地，依据字段区间确定查询待查询数据的终止字段，包括：将起始字段和字段区间对应的字段数相加，得到终止字段。

可选地，在确定起始字段和终止字段之后，上述方法还包括：依据数据库中当前数据对字段进行更新。

可选地，上述方法还包括：在查询指令为按页查询的情况下，依据find接口函数获取查询指令的前一次查询指令的查询结果；获取查询结果中最后一条数据对应的字段，并将最后一条数据对应的字段作为按页查询的查询指令的起始查询字段；从起始查询字段开始，增加预设数量的字段数，得到下一页的查询结果，预设数量为显示页面每页显示的数据的条数。

可选地，上述方法还包括：通过skip接口函数和limit接口函数从数据库中获取显示页面首页显示的数据。

根据本申请实施例的另一方面，还提供了一种数据查询装置，包括：获取模块，用于在获取的查询指令为跳转查询的情况下，获取待查询数据所属字段的字段区间，其中，查询指令用于从数据库中查询数据，字段用于标记数据库中数据的序列；确定模块，用于依据字段区间确定查询待查询数据的起始字段和终止字段；查询模块，用于查询起始字段和终止字段之间的数据，作为待查询数据，并输出待查询数据。

可选地，确定模块还用于判断字段区间的首字段是否存在；在首字段存在的情况下，将首字段作为述起始字段；在首字段不存在的情况下，将与首字段最接近的字段作为起始字段。

根据本申请实施例的再一方面，还提供了一种存储介质，存储介质包括存储的程序，其中，程序运行时控制存储介质所在的设备执行以上的数据查询方法。

根据本申请实施例的再一方面，还提供了一种处理器，处理器用于运行程序，其中，程序运行时执行以上的数据查询方法。

根据本申请实施例的再一方面，还提供了一种电子设备，电子设备包括至少一个处理器、以及与处理器连接的至少一个存储器、总线，其中，处理器、存储器通过总线完成相互间的通信；处理器用于调用存储器中的程序指令，以执行以上的数据查询方法。

在本申请实施例中，采用在获取的查询指令为跳转查询的情况下，获取待查询数据所属字段的字段区间，其中，查询指令用于从数据库中查询数据，字段用于标记数据库中数据的序列；依据字段区间确定查询待查询数据的起始字段和终止字段；查询起始字段和终止字段之间的数据，作为待查询数据，并输出待查询数据的方式，通过为数据库中的数据设置自增字段，使得查询数据能够利用数据的有序性，避免查询数据时需要遍历所有数据，从而实现了加快数据查询速度的技术效果，进而解决了现有的数据查询方法在查询数据量较大的数据集时存在查询速度慢、效率低的技术问题。

附图说明

此处所说明的附图用来提供对本申请的进一步理解，构成本申请的一部分，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。在附图中：

图1是根据本申请实施例的一种数据查询方法的流程图；

图2是根据本申请实施例的一种数据查询装置的结构图；

图3是根据本发明实施例的一种电子设备的结构图。

具体实施方式

为了使本技术领域的人员更好地理解本申请方案，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分的实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本申请保护的范围。

需要说明的是，本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本申请的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。

根据本申请实施例，提供了一种数据查询方法的实施例，需要说明的是，在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行，并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。

首先，在对本申请实施例进行描述的过程中出现的部分名词或术语适用于如下解释：

MongoDB：一种面向文档的数据库管理系统，用C++等语言编写而成，以此来解决应用程序开发社区中的大量现实问题。

分页：数据库查询数据时，不一次性将所有数据展示出来，而仅展示一部分(表现为一页数据，数据量从几十到几百不等)的技术，其实现可分为前端分页，后端分页(本文主要涉及后端分页)。

索引：一种特殊的数据结构，索引存储在一个易于遍历读取的数据集合中，索引是对数据库表中一列或多列的值进行排序的一种结构，相当于书本的目录。

图1是根据本申请实施例的一种数据查询方法的流程图，如图1所示，该方法包括如下步骤：

步骤S102，在获取的查询指令为跳转查询的情况下，获取待查询数据所属字段的字段区间，其中，查询指令用于从数据库中查询数据，字段用于标记数据库中数据的序列。

根据本申请的一个可选的实施例，步骤S102中的字段是指为数据库中的数据设置的自增字段(例如可以设置一个count字段)，设置的自增字段相当于数据的标签，可以使数据库中的数据成为一个有序的序列。例如，一个数据库中由10000条数据，这10000条数据对应的字段分别为count＝1、count＝2，…count＝10000。

步骤S104，依据字段区间确定查询待查询数据的起始字段和终止字段。

步骤S106，查询起始字段和终止字段之间的数据，作为待查询数据，并输出待查询数据。

通过上述步骤，通过为数据库中的数据设置自增字段，使得查询数据能够利用数据的有序性，避免查询数据时需要遍历所有数据，从而实现了加快数据查询速度的技术效果。

根据本申请的一个可选的实施例，步骤S104可以通过以下方法实现：判断字段区间的首字段是否存在；如果首字段存在，将首字段作为起始字段；如果首字段不存在，将与首字段最接近的字段作为起始字段。

例如，如果待查询数据所属的字段区间为count＝9000至count＝9500，由于存在人为删除导致自增字段不连续的情况，因此在通过待查询数据所属的字段区间确定查询该待查询数据的起始字段时，需要判断字段区间的首字段是否存在(即判断上述count＝9000是否存在)，如果字段区间的首字段存在，将该首字段作为查询该待查询数据的起始字段。如果该首字段不存在，将与该首字段最接近的字段作为起始字段，例如可以将count＝9005作为起始字段。

具体地，在确定首字段时可以通过显示页面每页显示的数据条数(Page Size)乘以显示页面的页数(Page Num)确定,例如需要确定字段count＝9000的位置，已知PageSize＝100，通过计算可以确定字段count＝9000位于显示页面的第90页。

在本申请的一些可选的实施例中，在依据字段区间确定查询待查询数据的终止字段时：将起始字段和字段区间对应的字段数相加，得到终止字段。

如果待查询字段的字段区间为count＝9000至count＝9500(即待查询的数据包括500条数据)，如果count＝9000这个字段存在，将count＝9000作为查询待查询数据的起始字段，然后从count＝9000这个字段开始，增加500个字段数，得到查询待查询数据的终止字段。相应地，如果count＝9000这个字段不存在，将count＝9005作为查询待查询数据的起始字段，然后从count＝9005这个字段开始，增加500个字段数，得到查询待查询数据的终止字段。

在得到起始字段和终止字段之后，将起始字段和终止字段之间的数据作为待查询数据。

在本申请的一些实施例中，在步骤S106执行完成之后，还需要依据数据库中当前数据对字段进行更新。

在上文中提到，如果count＝9000这个字段不存在，将count＝9005作为查询待查询数据的起始字段，然后从count＝9005这个字段开始，增加500个字段数，得到查询待查询数据的终止字段。在查询结束后，将count＝9005这个字段修改为count＝9000，完成对数据库中数据对应的字段的更新，以便使字段变得连续，尽量保证下次数据查询的准确性。

在本申请的另一个可选的实施例中，如果查询指令为按页查询，依据find接口函数获取查询指令的前一次查询指令的查询结果；获取查询结果中最后一条数据对应的字段，并将最后一条数据对应的字段作为按页查询的查询指令的起始查询字段；从起始查询字段开始，增加预设数量的字段数，得到下一页的查询结果，预设数量为显示页面每页显示的数据的条数。

当接收到用户发出的查询指令为下一页查询时，不再遍历预设条数的数据作为下一页要查询的数据，通过MongoDB提供的find接口函数直接获取上一页查询数据的最后一条数据对应的字段，例如上一页显示数据的最后一条数据的字段为count＝9000，已知每页显示的数据条数为100条，将count＝9001至count＝9100之间的数据作为下一页显示的数据。

传统的分页方法是通过skip+limit方式(skip和limit均为MongoDB提供的接口函数，用来与数据库进行交互)，其原理是通过逐个扫描数据库中的每一项，直到出现符合的数据，通过limit限制查询返回的结果数量，最后将其返回。

本申请实施例提供的上述分页查询的方法相对于现有的分页查询方法，可以显著提高查询效率。

需要说明的是，上一页查询的方法和下一页查询的方法类似，例如下一页显示的数据对应的字段为count＝9000至count＝9100，在进行上一页查询时，直接获取count＝9000的字段作为起始字段，往前筛选100条数据作为上一页显示的数据。

根据本申请的一个可选的实施例，上述方法还包括：通过skip接口函数和limit接口函数从数据库中获取显示页面首页显示的数据。

在本申请提供的按页查询和跳转查询的数据查询方法中，在查询首页显示的数据时，通过MongoDB提供的skip接口函数和limit接口函数查询数据，skip接口函数用于遍历数据库中的数据，limit接口函数用于限制查询返回的数据的条数。

通过上述方法，通过设置自增字段的方式，使得查询能够利用数据的有序性，通过索引进行筛选，避免使用遍历的方法，大大加快了数据的查询效率。并且在查询完成后，通过查询到饿数据对字段进行反向更新，在保证分页查询性能的前提下，可以保证数据查询的准确性。

图2是根据本申请实施例的一种数据查询装置的结构图，如图2所示，该装置包括：

获取模块20，用于在获取的查询指令为跳转查询的情况下，获取待查询数据所属字段的字段区间，其中，查询指令用于从数据库中查询数据，字段用于标记数据库中数据的序列。

根据本申请的一个可选的实施例，上述字段是指为数据库中的数据设置的自增字段(例如可以设置一个count字段)，设置的自增字段相当于数据的标签，可以使数据库中的数据成为一个有序的序列。例如，一个数据库中由10000条数据，这10000条数据对应的字段分别为count＝1、count＝2，…count＝10000。

确定模块22，用于依据字段区间确定查询待查询数据的起始字段和终止字段。

第一查询模块24，用于查询起始字段和终止字段之间的数据，作为待查询数据，并输出待查询数据。

上述装置通过为数据库中的数据设置自增字段，使得查询数据能够利用数据的有序性，避免查询数据时需要遍历所有数据，从而实现了加快数据查询速度的技术效果。

根据本申请的一个可选的实施例，确定模块22还用于判断字段区间的首字段是否存在；在首字段存在的情况下，将首字段作为述起始字段；在首字段不存在的情况下，将与首字段最接近的字段作为起始字段。

可选地，上述确定模块22还用于将起始字段和字段区间对应的字段数相加，得到终止字段。

在本申请的一些可选的实施例中，上述装置还包括更新模块，用于在确定起始字段和终止字段之后，依据数据库中当前数据对字段进行更新。

在本申请的一个可选的实施例中，上述装置还包括第二查询模块，用于在查询指令为按页查询的情况下，依据find接口函数获取查询指令的前一次查询指令的查询结果；获取查询结果中最后一条数据对应的字段，并将最后一条数据对应的字段作为按页查询的查询指令的起始查询字段；从起始查询字段开始，增加预设数量的字段数，得到下一页的查询结果，预设数量为显示页面每页显示的数据的条数。

需要说明的是，图2所示实施例的优选实施方式可以参见图1所示实施例的相关描述，此处不再赘述。

所述数据查询装置包括处理器和存储器，上述获取模块20、确定模块22、和第一查询模块24等均作为程序单元存储在存储器中，由处理器执行存储在存储器中的上述程序单元来实现相应的功能。

处理器中包含内核，由内核去存储器中调取相应的程序单元。内核可以设置一个或以上，通过调整内核参数来提高海量数据下分页查询的效率。

本发明实施例提供了一种存储介质，其上存储有程序，该程序被处理器执行时实现所述数据查询方法。

存储介质用于存储执行以下功能的程序：在获取的查询指令为跳转查询的情况下，获取待查询数据所属字段的字段区间，其中，查询指令用于从数据库中查询数据，字段用于标记数据库中数据的序列；依据字段区间确定查询待查询数据的起始字段和终止字段；查询起始字段和终止字段之间的数据，作为待查询数据，并输出待查询数据。

本发明实施例提供了一种处理器，所述处理器用于运行程序，其中，所述程序运行时执行所述数据查询方法。

处理器用于处理执行以下功能的程序：在获取的查询指令为跳转查询的情况下，获取待查询数据所属字段的字段区间，其中，字段用于标记数据库中数据的序列；依据字段区间确定查询待查询数据的起始字段和终止字段；查询起始字段和终止字段之间的数据，作为待查询数据，并输出待查询数据。

图3是根据本发明实施例的一种电子设备的结构图，如图3所示，该电子设备30包括至少一个处理器301、以及与处理器301连接的至少一个存储器302、总线303；其中，处理器301、存储器302通过总线303完成相互间的通信；处理器301用于调用存储器302中的程序指令，以执行上述的数据的查询方法。本文中的电子设备30可以是服务器、PC、PAD、手机等。

本申请还提供了一种计算机程序产品，当在数据处理设备上执行时，适于执行初始化有如下方法步骤的程序：在获取的查询指令为跳转查询的情况下，获取待查询数据所属字段的字段区间，其中，查询指令用于从数据库中查询数据，字段用于标记数据库中数据的序列；依据字段区间确定查询待查询数据的起始字段和终止字段；查询起始字段和终止字段之间的数据，作为待查询数据，并输出待查询数据。

可选地，所述计算机程序产品还用于执行初始化有如下方法步骤的程序：判断字段区间的首字段是否存在；如果首字段存在，将首字段作为起始字段；如果首字段不存在，将与首字段最接近的字段作为起始字段。

可选地，所述计算机程序产品还用于执行初始化有如下方法步骤的程序：将起始字段和字段区间对应的字段数相加，得到终止字段。

可选地，所述计算机程序产品还用于执行初始化有如下方法步骤的程序：依据数据库中当前数据对字段进行更新。

可选地，所述计算机程序产品还用于执行初始化有如下方法步骤的程序：在查询指令的类型为按页查询的情况下，依据find接口函数获取查询指令的前一次查询指令的查询结果；获取查询结果中最后一条数据对应的字段，并将最后一条数据对应的字段作为按页查询的查询指令的起始查询字段；从起始查询字段开始，增加预设数量的字段数，得到下一页的查询结果，预设数量为显示页面每页显示的数据的条数。

可选地，所述计算机程序产品还用于执行初始化有如下方法步骤的程序：通过skip接口函数和limit接口函数从数据库中获取显示页面首页显示的数据。

本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

在一个典型的配置中，设备包括一个或多个处理器(CPU)、存储器和总线。设备还可以包括输入/输出接口、网络接口等。

存储器可能包括计算机可读介质中的非永久性存储器，随机存取存储器(RAM)和/或非易失性内存等形式，如只读存储器(ROM)或闪存(flash RAM)，存储器包括至少一个存储芯片。存储器是计算机可读介质的示例。

计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带，磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。按照本文中的界定，计算机可读介质不包括暂存电脑可读媒体(transitory media)，如调制的数据信号和载波。

还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括要素的过程、方法、商品或者设备中还存在另外的相同要素。

本领域技术人员应明白，本申请的实施例可提供为方法、系统或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

以上仅为本申请的实施例而已，并不用于限制本申请。对于本领域技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原理之内所作的任何修改、等同替换、改进等，均应包含在本申请的权利要求范围之内。

Claims (10)

1.一种数据查询方法，其特征在于，包括：

在获取的查询指令为跳转查询的情况下，获取待查询数据所属字段的字段区间，其中，所述查询指令用于从数据库中查询数据，所述字段用于标记所述数据库中数据的序列；

依据所述字段区间确定查询所述待查询数据的起始字段和终止字段；

查询所述起始字段和所述终止字段之间的数据，作为所述待查询数据，并输出所述待查询数据。

2.根据权利要求1所述的方法，其特征在于，依据所述字段区间确定查询所述待查询数据的起始字段，包括：

判断所述字段区间的首字段是否存在；

如果所述首字段存在，将所述首字段作为所述起始字段；

如果所述首字段不存在，将与所述首字段最接近的字段作为所述起始字段。

3.根据权利要求1所述的方法，其特征在于，依据所述字段区间确定查询所述待查询数据的终止字段，包括：

将所述起始字段和所述字段区间对应的字段数相加，得到所述终止字段。

4.根据权利要求1至3中任意一项所述的方法，其特征在于，在确定所述起始字段和所述终止字段之后，所述方法还包括：

依据所述数据库中当前数据对所述字段进行更新。

5.根据权利要求1所述的方法，其特征在于，所述方法还包括：

在所述查询指令为按页查询的情况下，依据find接口函数获取所述查询指令的前一次查询指令的查询结果；

获取所述查询结果中最后一条数据对应的字段，并将所述最后一条数据对应的字段作为所述按页查询的查询指令的起始查询字段；

从所述起始查询字段开始，增加预设数量的字段数，得到下一页的查询结果，所述预设数量为显示页面每页显示的数据的条数。

6.根据权利要求5所述的方法，其特征在于，所述方法还包括：

通过skip接口函数和limit接口函数从所述数据库中获取所述显示页面首页显示的数据。

7.一种数据查询装置，其特征在于，包括：

获取模块，用于在获取的查询指令为跳转查询的情况下，获取待查询数据所属字段的字段区间，其中，所述查询指令用于从数据库中查询数据，所述字段用于标记所述数据库中数据的序列；

确定模块，用于依据所述字段区间确定查询所述待查询数据的起始字段和终止字段；

查询模块，用于查询所述起始字段和所述终止字段之间的数据，作为所述待查询数据，并输出所述待查询数据。

8.根据权利要求7所述的装置，其特征在于，所述确定模块还用于判断所述字段区间的首字段是否存在；在所述首字段存在的情况下，将所述首字段作为所述起始字段；在所述首字段不存在的情况下，将与所述首字段最接近的字段作为所述起始字段。

9.一种存储介质，其特征在于，所述存储介质包括存储的程序，其中，所述程序运行时控制存储介质所在的设备执行权利要求1至6中任意一项所述的数据查询方法。

10.一种电子设备，其特征在于，所述电子设备包括至少一个处理器、以及与所述处理器连接的至少一个存储器、总线，其中，所述处理器、所述存储器通过所述总线完成相互间的通信；所述处理器用于调用所述存储器中的程序指令，以执行权利要求1至6中任意一项所述的数据查询方法。

Images