CN113946727A - 一种Elasticsearch的列表分页方法及系统 - Google Patents

Abstract

本发明公开了一种Elasticsearch的列表分页方法及系统，其中，所述方法包括：设置列表下n页的第一分页参数，其中，所述第一分页参数包括from+size+旧页码+旧页码最后一位唯一排序字段；设置列表上n页的第二分页参数，其中，所述第二分页参数包括from+size+旧页码+旧页码第一位唯一排序字段；根据所述第一分页参数和所述第二分页参数，获取数据信息。解决了现有技术Elasticsearch默认查询数据总量1w，限制分页的深度，影响翻页功能和数据导出的技术问题。

Description

一种Elasticsearch的列表分页方法及系统

技术领域

本发明涉及列表分页领域，尤其涉及一种Elasticsearch的列表分页方法及系统。

背景技术

Elasticsearch是一种流行的企业级搜索引擎，在使用RestHighLevelClient的分页实现，一般有三种方式：默认采用的是from+size形式；scroll search方式(滚动搜索)，用于非实时处理大量数据的情况；search_after方式(滚动搜索)，可以实时处理深度分页，但不能随机跳转分页，只能是一页一页的向后翻。

但本申请发明人在实现本申请实施例中发明技术方案的过程中，发现上述技术至少存在如下技术问题：

现有技术Elasticsearch默认查询数据总量1w，限制分页的深度，影响翻页功能和数据导出的技术问题。

发明内容

本申请实施例通过提供一种Elasticsearch的列表分页方法及系统，解决了现有技术Elasticsearch默认查询数据总量1w，限制分页的深度，影响翻页功能和数据导出的技术问题，达到通过from+size+旧页码+唯一排序字段形式进行小幅度上下跳转解决列表分页问题，不会限制分页的深度，以及解决条数大于1w限制，实现翻页功能和数据导出，解决客户PB级数据列表展示及导出，提高查询效率，数据存储压缩，能较好的节省空间的技术效果。

鉴于上述问题，提出了本发明以便提供一种克服上述问题或者至少部分地解决上述问题的方法。

第一方面，本申请实施例提供了一种Elasticsearch的列表分页方法，所述方法包括：设置列表下n页的第一分页参数，其中，所述第一分页参数包括from+size+旧页码+旧页码最后一位唯一排序字段；设置列表上n页的第二分页参数，其中，所述第二分页参数包括from+size+旧页码+旧页码第一位唯一排序字段；根据所述第一分页参数和所述第二分页参数，获取数据信息。

另一方面，本申请还提供了一种Elasticsearch的列表分页系统，所述系统包括：第一设置单元，所述第一设置单元用于设置列表下n页的第一分页参数，其中，所述第一分页参数包括from+size+旧页码+旧页码最后一位唯一排序字段；第二设置单元，所述第二设置单元用于设置列表上n页的第二分页参数，其中，所述第二分页参数包括from+size+旧页码+旧页码第一位唯一排序字段；第一获取单元，所述第一获取单元用于根据所述第一分页参数和所述第二分页参数，获取数据信息。

第三方面，本发明实施例提供了一种电子设备，包括总线、收发器、存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述收发器、所述存储器和所述处理器通过所述总线相连，所述计算机程序被所述处理器执行时实现上述任意一项所述的控制输出数据的方法中的步骤。

第四方面，本发明实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述任意一项所述的控制输出数据的方法中的步骤。

本申请实施例中提供的一个或多个技术方案，至少具有如下技术效果或优点：

由于采用了设置列表下n页的第一分页参数，其中，所述第一分页参数包括from+size+旧页码+旧页码最后一位唯一排序字段；设置列表上n页的第二分页参数，其中，所述第二分页参数包括from+size+旧页码+旧页码第一位唯一排序字段；根据所述第一分页参数和所述第二分页参数，获取数据信息。进而达到通过from+size+旧页码+唯一排序字段形式进行小幅度上下跳转解决列表分页问题，不会限制分页的深度，以及解决条数大于1w限制，实现翻页功能和数据导出，解决客户PB级数据列表展示及导出，提高查询效率，数据存储压缩，能较好的节省空间的技术效果。

上述说明仅是本申请技术方案的概述，为了能够更清楚了解本申请的技术手段，而可依照说明书的内容予以实施，并且为了让本申请的上述和其它目的、特征和优点能够更明显易懂，以下特举本申请的具体实施方式。

附图说明

图1为本申请实施例一种Elasticsearch的列表分页方法的流程示意图；

图2为本申请实施例一种Elasticsearch的列表分页系统的结构示意图；

图3为本申请实施例所提供的一种用于执行控制输出数据的方法的电子设备的结构示意图。

附图标记说明：第一设置单元11，第二设置单元12，第一获取单元13，总线1110，处理器1120，收发器1130，总线接口1140，存储器1150，操作系统1151，应用程序1152和用户接口1160。

具体实施方式

在本发明实施例的描述中，所属技术领域的技术人员应当知道，本发明实施例可以实现为方法、装置、电子设备及计算机可读存储介质。因此，本发明实施例可以具体实现为以下形式：完全的硬件、完全的软件(包括固件、驻留软件、微代码等)、硬件和软件结合的形式。此外，在一些实施例中，本发明实施例还可以实现为在一个或多个计算机可读存储介质中的计算机程序产品的形式，该计算机可读存储介质中包含计算机程序代码。

上述计算机可读存储介质可以采用一个或多个计算机可读存储介质的任意组合。计算机可读存储介质包括：电、磁、光、电磁、红外或半导体的系统、装置或器件，或者以上任意的组合。计算机可读存储介质更具体的例子包括：便携式计算机磁盘、硬盘、随机存取存储器、只读存储器、可擦除可编程只读存储器、闪存、光纤、光盘只读存储器、光存储器件、磁存储器件或以上任意组合。在本发明实施例中，计算机可读存储介质可以是任意包含或存储程序的有形介质，该程序可以被指令执行系统、装置、器件使用或与其结合使用。

申请概述

本发明实施例通过流程图和/或方框图描述所提供的方法、装置、电子设备。

应当理解，流程图和/或方框图的每个方框以及流程图和/或方框图中各方框的组合，都可以由计算机可读程序指令实现。这些计算机可读程序指令可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器，从而生产出一种机器，这些计算机可读程序指令通过计算机或其他可编程数据处理装置执行，产生了实现流程图和/或方框图中的方框规定的功能/操作的装置。

也可以将这些计算机可读程序指令存储在能使得计算机或其他可编程数据处理装置以特定方式工作的计算机可读存储介质中。这样，存储在计算机可读存储介质中的指令就产生出一个包括实现流程图和/或方框图中的方框规定的功能/操作的指令装置产品。

也可以将计算机可读程序指令加载到计算机、其他可编程数据处理装置或其他设备上，使得在计算机、其他可编程数据处理装置或其他设备上执行一系列操作步骤，以产生计算机实现的过程，从而使得在计算机或其他可编程数据处理装置上执行的指令能够提供实现流程图和/或方框图中的方框规定的功能/操作的过程。

下面结合本发明实施例中的附图对本发明实施例进行描述。

实施例一

如图1所示，本申请实施例提供了一种Elasticsearch的列表分页方法，其中，所述方法包括：

步骤S100：设置列表下n页的第一分页参数，其中，所述第一分页参数包括from+size+旧页码+旧页码最后一位唯一排序字段；

进一步而言，其中，所述第一分页参数中的from＝(from-旧页码-1)*size，且小于排序字段查询。

具体而言，RestHighLevelClient的API作为ElasticSearch备受推荐的客户端组件，其封装系统操作ES的方法，包括索引结构管理，数据增删改查管理，常用查询方法，并且可以结合原生ES查询原生语法，功能十分强大。在列表分页时，设置列表下n页的第一分页参数，所述第一分页参数包括from+size+旧页码+旧页码最后一位唯一排序字段。from是显示应该跳过的初始结果数量，一般默认是0，其中，所述第一分页参数中的from＝(from-旧页码-1)*size，用于小于排序字段查询，size是显示应该返回的结果数量，一般默认是10。

步骤S200：设置列表上n页的第二分页参数，其中，所述第二分页参数包括from+size+旧页码+旧页码第一位唯一排序字段；

进一步而言，其中，所述第二分页参数中的from＝(旧页码-(旧页码-from)-1)*size，且大于排序字段查询。

具体而言，在列表分页时，设置列表上n页的第二分页参数，所述第二分页参数包括from+size+旧页码+旧页码第一位唯一排序字段。from是显示应该跳过的初始结果数量，一般默认是0，其中，所述第一分页参数中的from＝(旧页码-(旧页码-from)-1)*size，用于小于排序字段查询，size是显示应该返回的结果数量，一般默认是10。

步骤S300：根据所述第一分页参数和所述第二分页参数，获取数据信息。

进一步而言，其中，所述根据所述第一分页参数和所述第二分页参数，获取数据信息，本申请实施例步骤S300还包括：

步骤S310：根据所述from+size+旧页码+旧页码最后一位唯一排序字段，获取数据信息。

具体而言，根据所述第一分页参数和所述第二分页参数，即根据所述from+size+旧页码+旧页码最后一位唯一排序字段，获取翻页后数据信息，从而实现翻页功能和数据导出。

进一步而言，本申请实施例还包括：

步骤S410：根据数据总条数进行分页，获取所述旧页码最后一位唯一排序字段。

具体而言，根据查询数据总条数进行分页，获取所述旧页码最后一位唯一排序字段，保证获取的排序字段的唯一性，避免因排序字段的不唯一导致出现重复数据的技术效果。

进一步而言，本申请实施例还包括：

步骤S510：自定义所述size大小，且所述size小于等于10000。

具体而言，在列表分页时可自定义所述size大小，且所述size小于等于10000，即不需要深度分页，保证合理的分页方式，进而保证分页查询效率的技术效果。

进一步而言，本申请实施例还包括：

步骤S610：获得所述列表的使用报告编码；

步骤S620：将所述列表的使用报告编码作为所述唯一排序字段。

具体而言，数据列表展示使用时，将所述列表的使用报告编码作为所述唯一排序字段，保证排序字段的唯一性。所述列表请求参数必须带所述列表的旧页码以及旧页码的排序字段，明确分页from及数据范围。

综上所述，本申请实施例所提供的一种Elasticsearch的列表分页方法及系统具有如下技术效果：

由于采用了设置列表下n页的第一分页参数，其中，所述第一分页参数包括from+size+旧页码+旧页码最后一位唯一排序字段；设置列表上n页的第二分页参数，其中，所述第二分页参数包括from+size+旧页码+旧页码第一位唯一排序字段；根据所述第一分页参数和所述第二分页参数，获取数据信息。进而达到通过from+size+旧页码+唯一排序字段形式进行小幅度上下跳转解决列表分页问题，不会限制分页的深度，以及解决条数大于1w限制，实现翻页功能和数据导出，解决客户PB级数据列表展示及导出，提高查询效率，数据存储压缩，能较好的节省空间的技术效果。

实施例二

基于与前述实施例中一种Elasticsearch的列表分页方法同样发明构思，本发明还提供了一种Elasticsearch的列表分页系统，如图2所示，所述系统包括：

第一设置单元11，所述第一设置单元11用于设置列表下n页的第一分页参数，其中，所述第一分页参数包括from+size+旧页码+旧页码最后一位唯一排序字段；

第二设置单元12，所述第二设置单元12用于设置列表上n页的第二分页参数，其中，所述第二分页参数包括from+size+旧页码+旧页码第一位唯一排序字段；

第一获取单元13，所述第一获取单元13用于根据所述第一分页参数和所述第二分页参数，获取数据信息。

进一步的，所述系统还包括：

第二获取单元，所述第二获取单元用于根据数据总条数进行分页，获取所述旧页码最后一位唯一排序字段。

进一步的，所述系统还包括：

第一定义单元，所述第一定义单元用于自定义所述size大小，且所述size小于等于10000。

进一步的，所述系统还包括：

第三获取单元，所述第三获取单元用于根据所述from+size+旧页码+旧页码最后一位唯一排序字段，获取数据信息。

进一步的，所述系统还包括：

第一获得单元，所述第一获得单元用于获得所述列表的使用报告编码；

第一排序单元，所述第一排序单元用于将所述列表的使用报告编码作为所述唯一排序字段。

前述图1实施例一中的一种Elasticsearch的列表分页方法的各种变化方式和具体实例同样适用于本实施例的一种Elasticsearch的列表分页系统，通过前述对一种Elasticsearch的列表分页方法的详细描述，本领域技术人员可以清楚的知道本实施例中一种Elasticsearch的列表分页系统的实施方法，所以为了说明书的简洁，在此不再详述。

此外，本发明实施例还提供了一种电子设备，包括总线、收发器、存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，该收发器、该存储器和处理器分别通过总线相连，计算机程序被处理器执行时实现上述控制输出数据的方法实施例的各个过程，且能达到相同的技术效果，为避免重复，这里不再赘述。

示例性电子设备

具体的，参见图3所示，本发明实施例还提供了一种电子设备，该电子设备包括总线1110、处理器1120、收发器1130、总线接口1140、存储器1150和用户接口1160。

在本发明实施例中，该电子设备还包括：存储在存储器1150上并可在处理器1120上运行的计算机程序，计算机程序被处理器1120执行时实现上述控制输出数据的方法实施例的各个过程。

收发器1130，用于在处理器1120的控制下接收和发送数据。

本发明实施例中，总线架构(用总线1110来代表)，总线1110可以包括任意数量互联的总线和桥，总线1110将包括由处理器1120代表的一个或多个处理器与存储器1150代表的存储器的各种电路连接在一起。

总线1110表示若干类型的总线结构中的任何一种总线结构中的一个或多个，包括存储器总线和存储器控制器、外围总线、加速图形端口、处理器或使用各种总线体系结构中的任意总线结构的局域总线。作为示例而非限制，这样的体系结构包括：工业标准体系结构总线、微通道体系结构总线、扩展总线、视频电子标准协会、外围部件互连总线。

处理器1120可以是一种集成电路芯片，具有信号处理能力。在实现过程中，上述方法实施例的各步骤可以通过处理器中硬件的集成逻辑电路或软件形式的指令完成。上述的处理器包括：通用处理器、中央处理器、网络处理器、数字信号处理器、专用集成电路、现场可编程门阵列、复杂可编程逻辑器件、可编程逻辑阵列、微控制单元或其他可编程逻辑器件、分立门、晶体管逻辑器件、分立硬件组件。可以实现或执行本发明实施例中公开的各方法、步骤和逻辑框图。例如，处理器可以是单核处理器或多核处理器，处理器可以集成于单颗芯片或位于多颗不同的芯片。

处理器1120可以是微处理器或任何常规的处理器。结合本发明实施例所公开的方法步骤可以直接由硬件译码处理器执行完成，或者由译码处理器中的硬件和软件模块组合执行完成。软件模块可以位于随机存取存储器、闪存、只读存储器、可编程只读存储器、可擦除可编程只读存储器、寄存器等本领域公知的可读存储介质中。所述可读存储介质位于存储器中，处理器读取存储器中的信息，结合其硬件完成上述方法的步骤。

总线1110还可以将，例如外围设备、稳压器或功率管理电路等各种其他电路连接在一起，总线接口1140在总线1110和收发器1130之间提供接口，这些都是本领域所公知的。因此，本发明实施例不再对其进行进一步描述。

收发器1130可以是一个元件，也可以是多个元件，例如多个接收器和发送器，提供用于在传输介质上与各种其他装置通信的单元。例如：收发器1130从其他设备接收外部数据，收发器1130用于将处理器1120处理后的数据发送给其他设备。取决于计算机装置的性质，还可以提供用户接口1160，例如：触摸屏、物理键盘、显示器、鼠标、扬声器、麦克风、轨迹球、操纵杆、触控笔。

应理解，在本发明实施例中，存储器1150可进一步包括相对于处理器1120远程设置的存储器，这些远程设置的存储器可以通过网络连接至服务器。上述网络的一个或多个部分可以是自组织网络、内联网、外联网、虚拟专用网、局域网、无线局域网、广域网、无线广域网、城域网、互联网、公共交换电话网、普通老式电话业务网、蜂窝电话网、无线网络、无线保真网络以和两个或更多个上述网络的组合。例如，蜂窝电话网和无线网络可以是全球移动通信装置、码分多址装置、全球微波互联接入装置、通用分组无线业务装置、宽带码分多址装置、长期演进装置、LTE频分双工装置、LTE时分双工装置、先进长期演进装置、通用移动通信装置、增强移动宽带装置、海量机器类通信装置、超可靠低时延通信装置等。

应理解，本发明实施例中的存储器1150可以是易失性存储器或非易失性存储器，或可包括易失性存储器和非易失性存储器两者。其中，非易失性存储器包括：只读存储器、可编程只读存储器、可擦除可编程只读存储器、电可擦除可编程只读存储器，或闪存。

易失性存储器包括：随机存取存储器，其用作外部高速缓存。通过示例性但不是限制性说明，许多形式的RAM可用，例如：静态随机存取存储器、动态随机存取存储器、同步动态随机存取存储器、双倍数据速率同步动态随机存取存储器、增强型同步动态随机存取存储器、同步连接动态随机存取存储器和直接内存总线随机存取存储器。本发明实施例描述的电子设备的存储器1150包括但不限于上述和任意其他适合类型的存储器。

在本发明实施例中，存储器1150存储了操作系统1151和应用程序1152的如下元素：可执行模块、数据结构，或者其子集，或者其扩展集。

具体而言，操作系统1151包含各种装置程序，例如：框架层、核心库层、驱动层等，用于实现各种基础业务和处理基于硬件的任务。应用程序1152包含各种应用程序，例如：媒体播放器、浏览器，用于实现各种应用业务。实现本发明实施例方法的程序可以包含在应用程序1152中。应用程序1152包括：小程序、对象、组件、逻辑、数据结构和其他执行特定任务或实现特定抽象数据类型的计算机装置可执行指令。

此外，本发明实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述控制输出数据的方法实施例的各个过程，且能达到相同的技术效果，为避免重复，这里不再赘述。

以上所述，仅为本发明实施例的具体实施方式，但本发明实施例的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明实施例披露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明实施例的保护范围之内。因此，本发明实施例的保护范围应以权利要求的保护范围为准。

Claims (10)

1.一种Elasticsearch的列表分页方法，其中，所述方法包括：

设置列表下n页的第一分页参数，其中，所述第一分页参数包括from+size+旧页码+旧页码最后一位唯一排序字段；

设置列表上n页的第二分页参数，其中，所述第二分页参数包括from+size+旧页码+旧页码第一位唯一排序字段；

根据所述第一分页参数和所述第二分页参数，获取数据信息。

2.如权利要求1所述的方法，其中，所述第一分页参数中的from＝(from-旧页码-1)*size，且小于排序字段查询。

3.如权利要求1所述的方法，其中，所述第二分页参数中的from＝(旧页码-(旧页码-from)-1)*size，且大于排序字段查询。

4.如权利要求1所述的方法，其中，所述方法包括：

根据数据总条数进行分页，获取所述旧页码最后一位唯一排序字段。

5.如权利要求1所述的方法，其中，所述方法包括：

自定义所述size大小，且所述size小于等于10000。

6.如权利要求1所述的方法，其中，所述根据所述第一分页参数和所述第二分页参数，获取数据信息，包括：

根据所述from+size+旧页码+旧页码最后一位唯一排序字段，获取数据信息。

7.如权利要求1所述的方法，其中，所述方法还包括：

获得所述列表的使用报告编码；

将所述列表的使用报告编码作为所述唯一排序字段。

8.一种Elasticsearch的列表分页系统，其中，所述系统包括：

第一设置单元，所述第一设置单元用于设置列表下n页的第一分页参数，其中，所述第一分页参数包括from+size+旧页码+旧页码最后一位唯一排序字段；

第二设置单元，所述第二设置单元用于设置列表上n页的第二分页参数，其中，所述第二分页参数包括from+size+旧页码+旧页码第一位唯一排序字段；

第一获取单元，所述第一获取单元用于根据所述第一分页参数和所述第二分页参数，获取数据信息。

9.一种Elasticsearch的列表分页系统，包括总线、收发器、存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述收发器、所述存储器和所述处理器通过所述总线相连，其中，所述计算机程序被所述处理器执行时实现如权利要求1-7中任一项所述的控制输出数据的方法中的步骤。

10.一种计算机可读存储介质，其上存储有计算机程序，其中，所述计算机程序被处理器执行时实现如权利要求1-7中任一项所述的控制输出数据的方法中的步骤。

Images