CN111737257A - 数据查询方法及装置 - Google Patents

Abstract

本发明公开了一种数据查询方法及装置，该方法包括：接收数据查询请求，确定待查询的多张数据表；为每张待查询的数据表分配一个查询线程；根据待查询的多张数据表的标识信息，从数据表索引库中查询每张数据表的索引参数；根据每张数据表的一个查询线程，以及每张数据表的索引参数，查询对应的数据表，本发明为每张待查询的数据表分配一个查询线程，可以实现多线程并发查询多张数据表，将数据表的索引参数存储在数据表索引库中，可以减轻数据库内存的负载，提高了数据查询的效率。

Description

数据查询方法及装置

技术领域

本发明涉及数据库技术领域，特别涉及一种数据查询方法及装置。

背景技术

随着系统业务的不断增长，数据库表中的数据量越来越大，现有的批量关联表查询时采用单线程多表交叉连接查询的查询方式，其返回的查询结果为多张数据表的笛卡尔乘积，在数据表量较大的情况下，查询效率非常慢，性能低，此外，现有技术将大量的索引逻辑放在数据库执行，增加了数据库内存的负载，降低了数据查询的效率。

针对上述问题，目前尚未提出有效的解决方案。

发明内容

本发明实施例提供一种数据查询方法，用以提高数据查询的效率，该方法包括：

接收数据查询请求，确定待查询的多张数据表；

为每张待查询的数据表分配一个查询线程；

根据待查询的多张数据表的标识信息，从数据表索引库中查询每张数据表的索引参数；其中，数据表索引库是根据多张数据表之间的索引关系建立的；

根据每张数据表的一个查询线程，以及每张数据表的索引参数，查询对应的数据表。

本发明实施例提供一种数据查询装置，用以提高数据查询的效率，该装置包括：

数据表确定模块，用于接收数据查询请求，确定待查询的多张数据表；

查询线程确定模块，用于为每张待查询的数据表分配一个查询线程；

索引参数确定模块，用于根据待查询的多张数据表的标识信息，从数据表索引库中查询每张数据表的索引参数；其中，数据表索引库是根据多张数据表之间的索引关系建立的；

查询模块，用于根据每张数据表的一个查询线程，以及每张数据表的索引参数，查询对应的数据表。

本发明实施例还提供了一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，处理器执行计算机程序时实现上述数据查询方法。

本发明实施例还提供了一种计算机可读存储介质，计算机可读存储介质存储有执行上述数据查询方法的计算机程序。

本发明实施例通过：接收数据查询请求，确定待查询的多张数据表；为每张待查询的数据表分配一个查询线程；根据待查询的多张数据表的标识信息，从数据表索引库中查询每张数据表的索引参数；根据每张数据表的一个查询线程，以及每张数据表的索引参数，查询对应的数据表，本发明为每张待查询的数据表分配一个查询线程，可以实现多线程并发查询多张数据表，将数据表的索引参数存储在数据表索引库中，可以减轻数据库内存的负载，提高了数据查询的效率。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。在附图中：

图1为本发明实施例中数据查询方法流程的示意图；

图2为本发明实施例中建立数据表索引库的具体流程的示意图；

图3为图2中步骤202的具体流程示意图；

图4为本发明实施例中主表记录项索引关系的示意图；

图5为本发明实施例中多张数据表记录项索引关系的示意图；

图6为本发明实施例中具体实施例的流程图；

图7为本发明实施例中数据查询装置结构的示意图；

图8为本发明实施例中数据查询装置另一结构的示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本领域技术技术人员知道，本发明的实施方式可以实现为一种系统、装置、方法或计算机程序产品。因此，本发明公开可以具体实现为以下形式，即：完全的硬件、完全的软件(包括固件、驻留软件、微代码等)，或者硬件和软件结合的形式。

在介绍本发明实施例之前，首先介绍发明人发现技术问题，提出数据查询方法的思路。

发明人经过大量研究发现，现有的批量关联表查询时采用单线程多表交叉连接查询的查询方式，其返回的查询结果为多张数据表的笛卡尔乘积，在数据表量较大的情况下，查询效率非常慢，性能低，此外，现有技术将大量的索引逻辑放在数据库执行，增加了数据库内存的负载，降低了数据查询的效率。发明人发现了以上技术问题，提出一种数据查询方法，该方法主要通过为每张待查询的数据表分配一个查询线程，实现多线程并发查询多张数据表，将数据表的索引参数存储在数据表索引库中，可以减轻数据库内存的负载，提高数据查询的效率。下面对本发明实施例提供的数据查询方法进行详细介绍。

本发明实施例提供一种数据查询方法，用以提高数据查询的效率，图1为本发明实施例中数据查询方法流程的示意图，如图1所示，该方法包括：

步骤101：接收数据查询请求，确定待查询的多张数据表；

步骤102：为每张待查询的数据表分配一个查询线程；

步骤103：根据待查询的多张数据表的标识信息，从数据表索引库中查询每张数据表的索引参数；其中，数据表索引库是根据多张数据表之间的索引关系建立的；

步骤104：根据每张数据表的一个查询线程，以及每张数据表的索引参数，查询对应的数据表。

本发明实施例通过：接收数据查询请求，确定待查询的多张数据表；为每张待查询的数据表分配一个查询线程；根据待查询的多张数据表的标识信息，从数据表索引库中查询每张数据表的索引参数；根据每张数据表的一个查询线程，以及每张数据表的索引参数，查询对应的数据表，本发明为每张待查询的数据表分配一个查询线程，可以实现多线程并发查询多张数据表，将数据表的索引参数存储在数据表索引库中，可以减轻数据库内存的负载，提高了数据查询的效率。

具体实施时，为了解决现有的批量关联表查询时采用单线程多表交叉连接查询的查询方式，在数据表量较大的情况下，查询效率低的技术问题，步骤101、步骤102中，数据查询请求可以是批量关联表的查询请求，包括多张待查询的数据表，可以首先确定待查询数据表的总数，然后基于Spring Batch批处理框架进行查询线程分配，可以根据待查询数据表的总数为每张待查询的数据表分配一个查询线程，每个查询线程负责加载一张数据表的全部数据，其返回的查询结果由一张数据表的记录项总数决定，可重用性较高，查询速度快，这样采用多线程的方式并发读取多张数据表，可以避免数据表之间的交叉连接查询，提高查询效率。

图2为本发明实施例中建立数据表索引库的具体流程的示意图，如图2所示，在一个实施例中，在步骤103从数据表索引库中查询每张数据表的索引参数之前，该方法还包括：

按照如下步骤建立数据表索引库：

步骤201：将与多张数据表索引关系最多的数据表确定为主表；

步骤202：根据主表的标识信息和各条记录项，分别确定各张数据表的索引参数；

步骤203：根据多张数据表的索引参数，建立数据表索引库。

图3为图2中步骤202的具体流程示意图，如图3所示，在一个实施例中上述步骤202中根据主表的标识信息和各条记录项，分别确定各张数据表的索引参数，可以包括：

步骤301：将主表的表名作为键值，根据主表的表名，分别确定主表的各条记录项的索引参数；

步骤302：分别将主表的各条记录项的索引参数作为键值，根据主表的每条记录项的索引参数，分别确定多张数据表的该条记录项对应的值。

在一个实施例中，数据表索引库为链式结构的缓存数据库。

具体实施时，为了解决现有技术将大量的索引逻辑放在数据库中执行，增加了数据库内存的负载，降低了数据查询的效率的技术问题，本发明实施例中可以基于Reids缓存构建数据表索引库，Reids是一种高性能的、开源的、C语言的得Nosql，数据内存以key-value形式存储，具有存取速度快、并发能力强等优点，可以将多张数据表的记录项全部写入Redis，后续对于数据表的加工处理直接访问Redis即可，查询速度可以达到100000+的QPS(每秒内查询速度)，数据表在Reids可以以链表的结构存储，链表由若干个节点组成，每个节点可以存储具有相同索引的一张或多张表的一条记录项。

下面介绍构建数据表索引库的具体过程。

具体实施时，步骤201中，可以将与多张数据表索引关系最多的数据表确定为主表，在一个较优的实施例中，可以将与多张数据表均存在索引关系的数据表确定为主表，例如，对于A、B、C、D四张数据表，数据表A与数据表B、C、D均存在索引关系，可以将数据表A确定为主表。步骤202中，可以根据主表的标识信息和各条记录项，分别确定各张数据表的索引参数，其中，主表的标识信息可以是表名、表编号等标识信息，也可以是其他标识信息，本发明不以此为限定，图4为本发明实施例中主表记录项索引关系的示意图，如图4所示，可以将主表A的表名作为键值key，根据主表A的表名，分别确定主表的各条记录项的索引参数，例如主表A共有3条记录项，可以分别确定主表A记录项1、主表A记录项2和主表A记录项3的索引参数，将各条记录项的索引参数作为value，以链表数据结构写入Redis，接着，将主表的各条记录项的索引参数作为键值，根据主表的每条记录项的索引参数，分别确定多张数据表的该条记录项对应的值，图5为本发明实施例中多张数据表记录项索引关系的示意图，如图5所示，可以分别将主表A记录项1、主表A记录项2和主表A记录项3的索引参数作为键值key，根据主表A记录项1的索引参数，分别确定主表A记录项1、表B记录项1、表C记录项1和表D记录项1对应的值，将各张表的记录项1对应的值作为value，以链表数据结构写入Redis，以此类推，根据主表A其他记录项的索引参数，分别确定多张数据表的其他记录项对应的值，以链表数据结构写入Redis，步骤203中，可以根据上述多张数据表的索引参数，基于Redis建立数据表索引库。

具体实施时，步骤103中，可以根据待查询的多张数据表的标识信息，从数据表索引库中查询每张数据表的索引参数，例如，可以根据主表A的表名，从数据表索引库中查询主表A的各条记录项的索引参数，接着，根据主表的每条记录项的索引参数，分别查询多张数据表的该条记录项对应的值，例如，可以根据主表A记录项1、主表A记录项2和主表A记录项3的索引参数，分别查询多张数据表的各条记录项对应的值，步骤104中，每张数据表的查询线程可以根据该数据表的索引参数，从Redis中循环取出所有表的记录项，进行后续加工处理。

下面举一个具体的例子，以便于理解本发明如何实施。

图6为本发明实施例中具体实施例的示意图，如图6所示：

在进行数据查询之前，首先基于Reids构建数据表索引库，包括：将与多张数据表均存在索引关系的数据表确定为主表，将主表的表名作为键值，根据主表的表名，分别确定主表的各条记录项的索引参数；分别将主表的各条记录项的索引参数作为键值，根据主表的每条记录项的索引参数，分别确定多张数据表的该条记录项对应的值，将上述索引关系以链表数据结构写入Redis；

然后，接收批量关联表的查询请求，确定待查询数据表的总数，然后根据待查询数据表的总数为每张待查询的数据表分配一个查询线程；

接着，根据待查询的多张数据表的标识信息，从数据表索引库中查询每张数据表的索引参数，包括：根据主表的表名，从数据表索引库中查询主表的各条记录项的索引参数，然后，根据主表的每条记录项的索引参数，分别查询多张数据表的该条记录项对应的值；

最后，每张数据表的查询线程根据该数据表的索引参数，从Redis中循环取出所有表的记录项，进行后续加工处理。

上述具体应用的实施仅为举例，其余实施方式不再一一赘述。

基于同一发明构思，本发明实施例中还提供了一种数据查询装置，如下面的实施例。由于数据查询装置解决问题的原理与数据查询方法相似，因此装置的实施可以参见方法的实施，重复之处不再赘述。以下所使用的，术语“单元”或者“模块”可以实现预定功能的软件和/或硬件的组合。尽管以下实施例所描述的装置较佳地以软件来实现，但是硬件，或者软件和硬件的组合的实现也是可能并被构想的。

本发明实施例提供一种数据查询装置，用以提高数据查询的效率，图7为本发明实施例中数据查询装置结构的示意图，如图7所示，该装置包括：

数据表确定模块01，用于接收数据查询请求，确定待查询的多张数据表；

查询线程确定模块02，用于为每张待查询的数据表分配一个查询线程；

索引参数确定模块03，用于根据待查询的多张数据表的标识信息，从数据表索引库中查询每张数据表的索引参数；其中，数据表索引库是根据多张数据表之间的索引关系建立的；

查询模块04，用于根据每张数据表的一个查询线程，以及每张数据表的索引参数，查询对应的数据表。

图8为本发明实施例中数据查询装置另一结构的示意图，如图8所示，在一个实施例中，该装置还包括：数据表索引库建立模块05，用于：

按照如下步骤建立数据表索引库：

将与多张数据表索引关系最多的数据表确定为主表；

根据主表的标识信息和各条记录项，分别确定各张数据表的索引参数；

根据多张数据表的索引参数，建立数据表索引库。

在一个实施例中，数据表索引库建立模块05进一步用于：

将主表的表名作为键值，根据主表的表名，分别确定主表的各条记录项的索引参数；

分别将主表的各条记录项的索引参数作为键值，根据主表的每条记录项的索引参数，分别确定多张数据表的该条记录项对应的值。

在一个实施例中，数据表索引库为链式结构的缓存数据库。

本发明实施例还提供了一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，处理器执行计算机程序时实现上述数据查询方法。

本发明实施例还提供了一种计算机可读存储介质，计算机可读存储介质存储有执行上述数据查询方法的计算机程序。

本发明实施例通过：接收数据查询请求，确定待查询的多张数据表；为每张待查询的数据表分配一个查询线程；根据待查询的多张数据表的标识信息，从数据表索引库中查询每张数据表的索引参数；根据每张数据表的一个查询线程，以及每张数据表的索引参数，查询对应的数据表，本发明为每张待查询的数据表分配一个查询线程，可以实现多线程并发查询多张数据表，将数据表的索引参数存储在数据表索引库中，可以减轻数据库内存的负载，提高了数据查询的效率。

本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

以上仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明实施例可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种数据查询方法，其特征在于，包括：

接收数据查询请求，确定待查询的多张数据表；

为每张待查询的数据表分配一个查询线程；

根据待查询的多张数据表的标识信息，从数据表索引库中查询每张数据表的索引参数；其中，所述数据表索引库是根据多张数据表之间的索引关系建立的；

根据每张数据表的一个查询线程，以及每张数据表的索引参数，查询对应的数据表。

2.如权利要求1所述的方法，其特征在于，在从数据表索引库中查询每张数据表的索引参数之前，所述方法还包括：

按照如下步骤建立数据表索引库：

将与多张数据表索引关系最多的数据表确定为主表；

根据主表的标识信息和各条记录项，分别确定各张数据表的索引参数；

根据多张数据表的索引参数，建立数据表索引库。

3.如权利要求2所述的方法，其特征在于，根据主表的标识信息和各条记录项，分别确定各张数据表的索引参数，包括：

将主表的表名作为键值，根据主表的表名，分别确定主表的各条记录项的索引参数；

分别将主表的各条记录项的索引参数作为键值，根据主表的每条记录项的索引参数，分别确定多张数据表的该条记录项对应的值。

4.如权利要求1所述的方法，其特征在于，所述数据表索引库为链式结构的缓存数据库。

5.一种数据查询装置，其特征在于，包括：

数据表确定模块，用于接收数据查询请求，确定待查询的多张数据表；

查询线程确定模块，用于为每张待查询的数据表分配一个查询线程；

索引参数确定模块，用于根据待查询的多张数据表的标识信息，从数据表索引库中查询每张数据表的索引参数；其中，所述数据表索引库是根据多张数据表之间的索引关系建立的；

查询模块，用于根据每张数据表的一个查询线程，以及每张数据表的索引参数，查询对应的数据表。

6.如权利要求5所述的装置，其特征在于，还包括数据表索引库建立模块，用于：

按照如下步骤建立数据表索引库：

将与多张数据表索引关系最多的数据表确定为主表；

根据主表的标识信息和各条记录项，分别确定各张数据表的索引参数；

根据多张数据表的索引参数，建立数据表索引库。

7.如权利要求6所述的装置，其特征在于，所述数据表索引库建立模块进一步用于：

将主表的表名作为键值，根据主表的表名，分别确定主表的各条记录项的索引参数；

分别将主表的各条记录项的索引参数作为键值，根据主表的每条记录项的索引参数，分别确定多张数据表的该条记录项对应的值。

8.如权利要求5所述的装置，其特征在于，所述数据表索引库为链式结构的缓存数据库。

9.一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至4任一所述方法。

10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有执行权利要求1至4任一所述方法的计算机程序。

Images