CN109684528A - 跨库分页查询方法、系统和存储介质 - Google Patents

Abstract

本发明公开了一种跨库分页查询方法、系统和存储介质，所述方法包括以下步骤：在每个数据库中查询并获取按ID排序的第X/N到第X/N+(Y‑X)个数据，得到N个第一数据集；从每个第一数据集中找出最大ID，并从N个第一数据集中找出全局最小ID；在每个数据库中查询并获取ID介于全局最小ID与该数据库的最大ID之间的数据，得到N个第二数据集；根据N个第一数据集和N个第二数据集的数据量差异计算出全局最小ID对应的数据的全局排序序号；将N个第二数据集按ID合并排序，并根据全局最小ID对应的数据的全局排序序号获取合并排序后的其余数据的全局排序序号，将全局排序序号介于X与Y之间的数据作为分页查询结果。从而既保证了查询效率，又提高了查询精度。

Description

跨库分页查询方法、系统和存储介质

技术领域

本发明涉及计算机技术领域，尤其是涉及一种跨库分页查询方法、系统和存储介质。

背景技术

随着互联网的迅速发展，网络已成为信息数据的重要载体，人们通过互联网可以方便快捷的获取自己想要的信息数据。网络上的数据通常存储于数据库中，用户在网上输入关键词，就能从数据库中查询出相关的数据。在某些业务场景中，需要在多个数据库中进行查询，此时为了减少数据量，就需要使用分页查询技术。

以电商平台为例，电商平台有多个商家，每个商家对应一个单独的数据库，在针对特定商品的排序查找时，例如查找热销产品排名，就需要在多个数据库中进行跨库查询，数据量往往很大，如果使用分页查询技术减少数据量，在获取分页中的数据时，就涉及到更加复杂的跨库分页问题。

目前主要采用以下两种方式进行跨库分页查询：

1、对所有数据库逐个查询，查出第一页到第N页的数据，合并后再次排序得到查询结果。但这种方式查询数据量极大，查询效率低下。

2、每个数据库按平均等分查出对应的数据，然后将查出的数据合并起来作为查询结果。这种方式虽然减少了查询数据量，提高了查询效率，但查询精度不高，只有在数据平均分配在各个数据库中时才能保证查询结果的准确性。

综上所述可知，在对数据进行跨库查询时，如何在保证查询效率的同时提高查询精度，是当前亟需解决的技术问题。

发明内容

本发明实施例的主要目的在于提供一种跨库分页查询方法、系统和存储介质，旨在保证查询效率，提高查询精度。

为达以上目的，一方面提出一种跨库分页查询方法，所述方法包括以下步骤：

当接收到针对N个数据库中按ID排序的第X到第Y个数据的分页查询请求时，在每个数据库中查询并获取按ID排序的第X/N到第X/N+(Y-X)个数据，得到N个第一数据集；其中，N、X、Y为非零自然数，且N≥2，Y>X；

从每个第一数据集中找出最大ID和最小ID，得到N个最大ID和N个最小ID，并从N个最小ID中找出全局最小ID；

在每个数据库中查询并获取ID介于所述全局最小ID与该数据库的所述最大ID之间的数据，得到N个第二数据集；

根据所述N个第一数据集和所述N个第二数据集的数据量差异计算出所述全局最小ID对应的数据的全局排序序号；

将N个第二数据集按ID合并排序，并根据所述全局最小ID对应的数据的全局排序序号获取合并排序后的其余数据的全局排序序号，将全局排序序号介于X与Y之间的数据作为分页查询结果。

可选地，所述根据所述N个第一数据集和所述N个第二数据集的数据量差异计算出所述全局最小ID对应的数据的全局排序序号包括：

获取N个第二数据集相对于N个第一数据集多出的数据的总数量St；

计算出全局偏移值offset，且offset＝X-St-N-1，将所述全局偏移值作为所述全局最小ID对应的数据的全局排序序号。

可选地，所述获取N个第二数据集相对于N个第一数据集多出的数据的数量St包括：

分别获取N个第一数据集的数据的数量Si和N个第二数据集的数据的数量Sj；

根据公式St＝Sj-Si计算出所述总数量St。

可选地，所述获取N个第二数据集相对于N个第一数据集多出的数据的数量St包括：

分别获取每一个第二数据集相对于对应的第一数据集新增的数据的数量，得到N个数量值；

计算出所述N个数量值之和作为所述总数量St。

可选地，所述得到N个第一数据集的步骤之后还包括：

判断Y与X的差值是否大于或等于阈值；

若是，则在数据库服务器生成一个临时表，并将所述N个第一数据集存储于所述临时表中；

若否，则通过所述数据库服务器将所述N个第一数据集发送到应用服务器或网页服务器。

可选地，所述得到N个第二数据集的步骤之后还包括：

判断Y与X的差值是否大于或等于阈值；

若是，则在数据库服务器生成一个临时表，并将所述N个第二数据集存储于所述临时表中；

若否，则通过所述数据库服务器将所述N个第二数据集发送到应用服务器或网页服务器。

可选地，所述从N个第一数据集中找出全局最小ID包括：

从每个第一数据集中找出最小ID，得到N个最小ID；

从N个最小ID中找出最小值作为所述全局最小ID。

可选地，所述方法还包括：为所有数据库中的数据分配全局唯一的ID。

另一方面提出一种跨库分页查询系统，所述系统包括存储器、处理器和至少一个被存储在所述存储器中并被配置为由所述处理器执行的应用程序，所述应用程序被配置为用于执行前述跨库分页查询方法。

再一方面提出一种计算机可读存储介质，所述计算机可读存储介质上存储有跨库分页查询程序，所述跨库分页查询程序被处理器执行时，实现前述跨库分页查询方法的步骤。

本发明实施例所提供的一种跨库分页查询方法，根据查询请求从每个数据库中获取部分数据作为第一数据集，再根据第一数据集中的最大ID和所有数据集中的全局最小ID查询每个数据库得到第二数据集，利用第一数据集和第二数据集的数据量差异计算出全局最小ID对应的数据的全局排序序号，最后对所有第二数据集按ID合并排序并获取合并排序后的数据的全局排序序号，根据全局排序序号找到分页查询结果，整个查询过程查询数据量适中，相对于现有技术中逐个数据库查询的方式来说大大保证了查询效率，同时查询过程中顾及了全局，相对于现有技术中按库等分查询的方式来说极大的提高了查询精度，从而实现了查询效率和查询精度的兼顾和平衡。

附图说明

图1是本发明实施例的跨库分页查询方法的流程图；

图2是本发明实施例中5个第一数据集的示意图；

图3是本发明实施例中5个第二数据集的示意图；

图4是本发明实施例中5个第二数据集合并排序后的示意图。

本发明目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。

具体实施方式

应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明的一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

另外，在本发明中涉及“第一”、“第二”等的描述仅用于描述目的，而不能理解为指示或暗示其相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。另外，各个实施例之间的技术方案可以相互结合，但是必须是以本领域普通技术人员能够实现为基础，当技术方案的结合出现相互矛盾或无法实现时应当认为这种技术方案的结合不存在，也不在本发明要求的保护范围之内。

本发明实施例所述的分页，是一种将所有数据分段展示给用户的技术。用户每次看到的不是全部数据，而是其中的一部分，如果在其中没有找到自习自己想要的内容，用户可以通过制定页码或是翻页的方式转换可见内容，直到找到自己想要的内容为止。

本发明实施例所述的应用服务器，通过多种协议处理向应用程序提供业务逻辑。

本发明实施例所述的网页(Web)服务器，托管一个网站并存储静态内容，如图像、CSS(Cascading Style Sheets，层叠样式表)、JavaScript(直译式脚本语言)和HTML(HyperText Markup Language,超文本标记语言)页面，响应并处理HTTP(HyperTextTransfer Protocol，超文本传输协议)请求，具有容错和可扩展性功能，如负载平衡，缓存和集群。

本发明实施例所述的数据库服务器，执行诸如数据分析、存储、数据处理、归档以及其他数据管理相关任务之类的任务，其使用诸如ODBC(Open Database Connectivity，开放数据库互连)，JDBC(Java DataBase Connectivity，java数据库连接)等协议，并托管Oracle，SQL Server，MySQL等数据库。

参见图1，提出本发明的跨库分页查询方法一实施例，所述方法包括以下步骤：

S11、当接收到针对N个数据库中按ID排序的第X到第Y个数据的分页查询请求时，在每个数据库中查询并获取按ID排序的第X/N到第X/N+(Y-X)个数据，得到N个第一数据集。

本发明实施例以查询商品数据为例，每个商家对应一个独立的数据库，将商家的商品数据写入到各自的数据库中，数据库中的每个数据都有一个ID(识别码)，每个数据库中的数据均按ID排序。作为优选，本发明实施例中通过分布式ID生成器为所有数据库的数据分配全局唯一的ID，以避免ID重复导致分页查询的数据不精准。

本发明实施例中，通过应用服务器或网页服务器接收客户端的分页查询请求，当接收到针对N个数据库中按ID排序的第X到第Y个数据的分页查询请求时，则在每个数据库中查询按ID排序的第X/N到第X/N+(Y-X)个数据，得到C1-Cn共N个第一数据集，其中，N、X、Y为非零自然数，且N≥2，Y>X。

本发明实施例中，假设需要获取针对所有售鞋数据记录中的第1000到第1004个数据，而有5个售卖鞋子的商家对应的5个数据库T1-T5，则有X/N＝1000/5＝200，X/N+(Y-X)＝1000/5+(1004-1000)＝204，即分别在这5个商家的数据库T1-T5中查询并获取第200到第204个数据，得到如图2所示的5个第一数据集C1、C2、C3、C4、C5。

S12、从每个第一数据集中找出最大ID，并从N个第一数据集中找出全局最小ID。

本发明实施例中，在从N个第一数据集中找出全局最小ID时，可以先从每个第一数据集中找出最小ID，得到N个最小ID，再从N个最小ID中找出最小值作为全局最小ID。

本发明实施例中，从图2所示的5个第一数据集中找出5个最大ID和最小ID，分别为：

Max1＝181156,Max2＝181167,Max3＝181168,Max4＝181178,Max5＝181187；

Min1＝181117,Min2＝181121,Min3＝181103,Min4＝181111,Min5＝181105；

N个最小ID中的全局最小ID则为MinT＝181103。

在其他实施例中，也可以直接根据ID对N个第一数据集中的所有数据进行排序，得到全局最小ID。

S13、在每个数据库中查询并获取ID介于全局最小ID与该数据库的最大ID之间的数据，得到N个第二数据集。

本发明实施例中，分别在数据库T1-T5中查询并获取ID介于181103-181156，181103-181167，181103-181168，181103-181178，181103-181187之间的数据，得到如图3所示的5个第二数据集D1、D2、D3、D4、D5。

S14、根据N个第一数据集和N个第二数据集的数据量差异计算出全局最小ID对应的数据的全局排序序号。

本发明实施例中，首先获取N个第二数据集相对于N个第一数据集多出的数据的总数量St，然后计算出全局偏移值offset＝X-St-N-1，将全局偏移值offset作为全局最小ID对应的数据的全局排序序号。

可选地，在计算总数量St时，先分别获取N个第一数据集的数据的数量Si和N个第二数据集的数据的数量Sj，再根据公式St＝Sj-Si计算出总数量St。例如，图2所示的5个第一数据集的数据的数量Si＝25，图3所示的5个第二数据集的数据的数量Sj＝31，则总数量St＝31-25＝6。

可选地，在计算总数量St时，先分别获取每一个第二数据集相对于对应的第一数据集新增的数据的数量，得到N个数量值，再计算出N个数量值之和作为总数量St。例如，图3和图2中第二数据集D1-D5分别相对于第一数据集C1-C5新增的数据的数量分别为2、2、0、1、1共N个数量值，则总数量St＝2+2+0+1+1＝6。

计算出总数量St后，则可以计算出全局偏移值offset＝X-St-N-1＝1000-6-5-1＝988，即本发明实施例中全局最小ID对应的数据的全局排序序号为988。

S15、将N个第二数据集按ID合并排序，并根据全局最小ID对应的数据的全局排序序号获取合并排序后的其余数据的全局排序序号，将全局排序序号介于X与Y之间的数据作为分页查询结果。

本发明实施例中，将图3所示的5个第二数据集按ID合并排序，得到如图4所示的数据列表，其中全局最小ID对应的数据的全局排序序号为988，则顺序为其余数据编排全局排序序号，而全局排序序号介于1000-1004之间的数据，即图4中ID为181122、181123、181126、181129、181130的5个数据，即为本次分页查询结果。并通过应用服务器或网页服务器将分页查询结果发送给客户端。

进一步地，在步骤S11中，在得到N个第一数据集后，判断Y与X的差值是否大于或等于阈值；当小于阈值时，则通过数据库服务器将N个第一数据集发送到应用服务器或网页服务器；当大于或等于阈值时，则在数据库服务器生成一个临时表，并将N个第一数据集存储于临时表中，以避免大数据的网络传输，减少数据传输的开销。

进一步地，在步骤S13中，在得到N个第二数据集后，判断Y与X的差值是否大于或等于阈值；当小于阈值时，则通过数据库服务器将N个第二数据集发送到应用服务器或网页服务器；当大于或等于阈值时，则在数据库服务器生成一个临时表，并将N个第二数据集存储于临时表中，以避免大数据的网络传输，减少数据传输的开销。

前述阈值可以根据实际需要设定，例如可以设定为1000。

在某些实施例中，步骤S13中，对于全局最小ID所在的第一数据集(如图2中的C3)，也可以不对该第一数据集所在的数据库进行查询，而是直接将该第一数据集作为第二数据集。

本发明实施例以查询商品数据为例进行了详细说明，应当理解，也可以应用于其他类似的业务场景，本发明对此不作限定。

本发明实施例的跨库分页查询方法，，根据查询请求从每个数据库中获取部分数据作为第一数据集，再根据第一数据集中的最大ID和所有数据集中的全局最小ID查询每个数据库得到第二数据集，利用第一数据集和第二数据集的数据量差异计算出全局最小ID对应的数据的全局排序序号，最后对所有第二数据集按ID合并排序并获取合并排序后的数据的全局排序序号，根据全局排序序号找到分页查询结果，整个查询过程查询数据量适中，相对于现有技术中逐个数据库查询的方式来说大大保证了查询效率，同时查询过程中顾及了全局，相对于现有技术中按库等分查询的方式来说极大的提高了查询精度，从而实现了查询效率和查询精度的兼顾和平衡。

本发明实施例同时提出一种跨库分页查询系统，所述系统包括存储器、处理器和至少一个被存储在所述存储器中并被配置为由所述处理器执行的应用程序，所述应用程序被配置为用于执行跨库分页查询方法。本实施例中所描述的跨库分页查询方法为本发明中上述实施例所涉及的跨库分页查询方法，在此不再赘述。

本发明实施例还提出一种计算机可读存储介质，所述计算机可读存储介质上存储有跨库分页查询程序，所述跨库分页查询程序被处理器执行时，实现跨库分页查询方法的步骤。本实施例中所描述的跨库分页查询方法为本发明中上述实施例所涉及的跨库分页查询方法，在此不再赘述。

本领域技术人员可以理解，本发明包括涉及用于执行本申请中所述操作中的一项或多项的设备。这些设备可以为所需的目的而专门设计和制造，或者也可以包括通用计算机中的已知设备。这些设备具有存储在其内的计算机程序，这些计算机程序选择性地激活或重构。这样的计算机程序可以被存储在设备(例如，计算机)可读介质中或者存储在适于存储电子指令并分别耦联到总线的任何类型的介质中，所述计算机可读介质包括但不限于任何类型的盘(包括软盘、硬盘、光盘、CD-ROM、和磁光盘)、ROM(Read-Only Memory，只读存储器)、RAM(Random Access Memory，随机存储器)、EPROM(Erasable Programmable Read-Only Memory，可擦写可编程只读存储器)、EEPROM(Electrically Erasable ProgrammableRead-Only Memory，电可擦可编程只读存储器)、闪存、磁性卡片或光线卡片。也就是，可读介质包括由设备(例如，计算机)以能够读的形式存储或传输信息的任何介质。

应当理解的是，以上仅为本发明的优选实施例，不能因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。

Claims (10)

1.一种跨库分页查询方法，其特征在于，包括以下步骤：

当接收到针对N个数据库中按ID排序的第X到第Y个数据的分页查询请求时，在每个数据库中查询并获取按ID排序的第X/N到第X/N+(Y-X)个数据，得到N个第一数据集；其中，N、X、Y为非零自然数，且N≥2，Y>X；

从每个第一数据集中找出最大ID，并从N个第一数据集中找出全局最小ID；

在每个数据库中查询并获取ID介于所述全局最小ID与该数据库的所述最大ID之间的数据，得到N个第二数据集；

根据所述N个第一数据集和所述N个第二数据集的数据量差异计算出所述全局最小ID对应的数据的全局排序序号；

将N个第二数据集按ID合并排序，并根据所述全局最小ID对应的数据的全局排序序号获取合并排序后的其余数据的全局排序序号，将全局排序序号介于X与Y之间的数据作为分页查询结果。

2.根据权利要求1所述的跨库分页查询方法，其特征在于，所述根据所述N个第一数据集和所述N个第二数据集的数据量差异计算出所述全局最小ID对应的数据的全局排序序号包括：

获取N个第二数据集相对于N个第一数据集多出的数据的总数量St；

计算出全局偏移值offset，且offset＝X-St-N-1，将所述全局偏移值作为所述全局最小ID对应的数据的全局排序序号。

3.根据权利要求2所述的跨库分页查询方法，其特征在于，所述获取N个第二数据集相对于N个第一数据集多出的数据的数量St包括：

分别获取N个第一数据集的数据的数量Si和N个第二数据集的数据的数量Sj；

根据公式St＝Sj-Si计算出所述总数量St。

4.根据权利要求2所述的跨库分页查询方法，其特征在于，所述获取N个第二数据集相对于N个第一数据集多出的数据的数量St包括：

分别获取每一个第二数据集相对于对应的第一数据集新增的数据的数量，得到N个数量值；

计算出所述N个数量值之和作为所述总数量St。

5.根据权利要求1-4任一项所述的跨库分页查询方法，其特征在于，所述得到N个第一数据集的步骤之后还包括：

判断Y与X的差值是否大于或等于阈值；

若是，则在数据库服务器生成一个临时表，并将所述N个第一数据集存储于所述临时表中；

若否，则通过所述数据库服务器将所述N个第一数据集发送到应用服务器或网页服务器。

6.根据权利要求1-4任一项所述的跨库分页查询方法，其特征在于，所述得到N个第二数据集的步骤之后还包括：

判断Y与X的差值是否大于或等于阈值；

若是，则在数据库服务器生成一个临时表，并将所述N个第二数据集存储于所述临时表中；

若否，则通过所述数据库服务器将所述N个第二数据集发送到应用服务器或网页服务器。

7.根据权利要求1-4任一项所述的跨库分页查询方法，其特征在于，所述从N个第一数据集中找出全局最小ID包括：

从每个第一数据集中找出最小ID，得到N个最小ID；

从N个最小ID中找出最小值作为所述全局最小ID。

8.根据权利要求1-4任一项所述的跨库分页查询方法，其特征在于，所述方法还包括：为所有数据库中的数据分配全局唯一的ID。

9.一种跨库分页查询系统，包括存储器、处理器和至少一个被存储在所述存储器中并被配置为由所述处理器执行的应用程序，其特征在于，所述应用程序被配置为用于执行权利要求1至8任一项所述的跨库分页查询方法。

10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有跨库分页查询程序，所述跨库分页查询程序被处理器执行时，实现如权利要求1至8中任一项所述的跨库分页查询方法的步骤。