CN106383826A - 数据库查询方法和装置 - Google Patents

Abstract

本申请提供一种数据库查询方法和装置。所述方法包括：判断是否保存有数据库的分块信息；当保存有数据库的分块信息时，创建多个线程，所述线程的数量与数据库的分块数量相同，所述多个线程与数据库的分块一一对应；每个线程基于对应分块的行主键信息进行数据查询。本申请在缓存中保存动态的数据库分块信息，不需要占用额外的存储空间。同时，所述数据库的分块信息可以随着数据库数据量的增加，而自动扩展，进而可以自动增加查询线程，不影响线程的查询性能，确保数据查询效率。此外，动态的数据库分块信息可以复用到不同的应用场景中，应用更为广泛。

Description

数据库查询方法和装置

技术领域

本申请涉及数据库技术领域，尤其涉及一种数据库查询方法和装置。

背景技术

HBase是一种分布式的、面向列的开源数据库。目前，针对HBase数据库的查询通常是先通过哈希函数基于行主键(Rowkey，HBase中一行数据的唯一ID)确定逻辑分区，然后基于每个逻辑分区分别创建一个对应的线程，以用于对该逻辑分区进行查询。

然而，在这样的实现方式中，每条数据都需要存储逻辑分区的标识，在海量数据的情况下，往往会耗费GB级的存储空间。此外，逻辑分区是固定的，随着某一逻辑分区中数据量的不断增加，会导致对应线程的查询性能不断下降，同时，针对不同的应用场景固定的逻辑分区无法复用。

发明内容

有鉴于此，本申请提供一种数据库查询方法和装置。

具体地，本申请是通过如下技术方案实现的：

一种数据库查询方法，所述方法包括：

判断是否保存有数据库的分块信息；

当保存有数据库的分块信息时，创建多个线程，所述线程的数量与数据库的分块数量相同，所述多个线程与数据库的分块一一对应；

每个线程基于对应分块的行主键信息进行数据查询。

可选的，当没有保存数据库的分块信息时，创建单线程以对数据库进行数据查询，并创建所述数据库的分块信息。

可选的，所述方法还包括：

在查询结束后更新保存的所述数据库的分块信息。

可选的，所述方法还包括：

按照预设的时间周期更新保存的所述数据库的分块信息。

可选的，所述更新或创建所述数据库的分块信息，包括：

将所述数据库当前的所有行主键按照预设的规则进行排序；

根据预设的分块容量，依次对排序后的行主键进行分块划分，并保存所述分块的行主键信息；

其中，每个分块包括有一个行主键集合。

可选的，所述分块的行主键信息为该分块排序后的行主键集合中的第一个行主键和最后一个行主键。

一种数据库查询装置，所述装置包括：

信息判断单元，判断是否保存有数据库的分块信息；

线程创建单元，在保存有数据库的分块信息时，创建多个线程，所述线程的数量与数据库的分块数量相同，所述多个线程与数据库的分块一一对应；

数据查询单元，每个线程基于对应分块的行主键信息进行数据查询。

可选的，所述线程创建单元，在没有保存数据库的分块信息时，创建单线程以对数据库进行数据查询，并创建所述数据库的分块信息。

可选的，所述装置还包括：

第一更新单元，在查询结束后更新保存的所述数据库的分块信息。

可选的，所述装置还包括：

第二更新单元，按照预设的时间周期更新保存的所述数据库的分块信息。

可选的，所述线程创建单元或第一更新单元或第二更新单元，具体将所述数据库当前的所有行主键按照预设的规则进行排序，根据预设的分块容量，依次对排序后的行主键进行分块划分，并保存所述分块的行主键信息；其中，每个分块包括有一个行主键集合。

可选的，所述分块的行主键信息为该分块排序后的行主键集合中的第一个行主键和最后一个行主键。

本申请在缓存中保存动态的数据库分块信息，不需要占用额外的存储空间。同时，所述数据库的分块信息可以随着数据库数据量的增加，而自动扩展，进而可以自动增加查询线程，不影响线程的查询性能，确保数据查询效率。此外，动态的数据库分块信息可以复用到不同的应用场景中，应用更为广泛。

附图说明

图1是本申请一示例性实施例示出的一种数据库查询方法的流程示意图。

图2是本申请一示例性实施例示出的一种创建数据库的分块信息的流程示意图。

图3是本申请一示例性实施例示出的一种数据库查询装置所在服务端的一硬件结构图。

图4是本申请一示例性实施例示出的一种数据库查询装置的结构框图。

具体实施方式

这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本申请相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本申请的一些方面相一致的装置和方法的例子。

在本申请使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本申请。在本申请和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义。还应当理解，本文中使用的术语“和/或”是指并包含一个或多个相关联的列出项目的任何或所有可能组合。

应当理解，尽管在本申请可能采用术语第一、第二、第三等来描述各种信息，但这些信息不应限于这些术语。这些术语仅用来将同一类型的信息彼此区分开。例如，在不脱离本申请范围的情况下，第一信息也可以被称为第二信息，类似地，第二信息也可以被称为第一信息。取决于语境，如在此所使用的词语“如果”可以被解释成为“在……时”或“当……时”或“响应于确定”。

图1是本申请一示例性实施例示出的一种数据库查询方法的流程示意图。

请参考图1，本申请提供的所述数据库查询方法可以用于服务端中，包括有以下步骤：

步骤101，判断是否保存有数据库的分块信息。

在本实施例中，在对数据库进行查询时，可以先判断缓存中是否保存有数据库的分块信息，如果没有保存所述分块信息，则执行步骤102。如果保存有所述分块信息，则执行步骤103。

其中，所述数据库的分块信息通常包括：数据库的分块以及各个分块的行主键信息。保存的所述数据库的分块信息是动态的，可以随着数据库的数据量变化而变化，比如：可以在每次进行数据查询结束后，根据当前数据库的数据量更新所述数据库的分块信息，也可以在到达预设的时间周期时，根据当前数据库的数据量更新所述数据库的分块信息，本申请对此不作特殊限制。

步骤102，当没有保存数据库的分块信息时，创建单线程以对数据库进行数据查询，并创建所述数据库的分块信息。

基于前述步骤101的判断结果，当没有保存数据库的分块信息时，在本步骤中，创建单线程对所述数据库进行遍历查询，并返回查询结果。此外，在本步骤中，还会创建所述数据库的分块信息。

请参考图2，本申请一示例性实施例示出的一种创建数据库的分块信息的流程示意图，在本实施例中，创建所述数据库的分块信息可以包括以下步骤：

步骤1021，将所述数据库当前的所有行主键按照预设的规则进行排序。

在本实施例中，数据库的每一行对应有一个行主键，所述行主键是一个二进制的数组，在本步骤中，可以按照从小到大的顺序对所述数据库的所有行主键进行排序。比如：可以将所述数据库的所有行主键转换为十进制的数值，然后按照从小到大的顺序进行排序。

步骤1022，根据预设的分块容量，依次对排序后的行主键进行分块划分，并保存所述分块的行主键信息。

在本实施例中，所述分块容量可以由管理人员依据每个线程的查询性能进行设置。比如：可以将所述分块容量设置为在确保查询效率的前提下，每个线程最多能够查询的行的数量。举例来说，假设在确保查询效率的前提下，每个线程最多能够查询20行数据，则可以将所述分块容量设置为20。

基于前述步骤1021，在对所有行主键进行排序后，在本步骤中，可以根据所述分块容量，依次对排序后的行主键进行划分。举例来说，假设所述数据库一共有100行，也就是说有100个行主键，又假设这100个行主键分别为自然数1-100，则按照从小到大的顺序可以将这100个行主键排序为：1、2、…、100。在本步骤中，从行主键1开始，按照分块容量20，可以将前20个行主键1-20划分到第一个分块中，将行主键21-40划分到第二个分块中，可以将行主键41-60划分到第三个分块中，依次类推，由此可以将这100个行主键划分到5个分块中。

在本步骤中，还要保存各个分块的行主键信息。具体地，划分后的每个分块中包括有一个行主键的集合，比如：上述第一个分块中的行主键集合中包括有行主键1-20，在本步骤中，可以保存所述行主键的集合，即保存该分块中包含的所有行主键。

可选的，在本申请另一实施例中，为节省存储资源，可以保存排序后的行主键集合中的第一个行主键和最后一个行主键。举例来说，上述第一个分块中的行主键集合中的行主键按照从小到大的顺进行排序的结果为：1、2、…、20，则在本步骤中，保存的所述第一个分块的行主键信息可以为：1、20。由此可见，在本实施例中，可以保存排序后的第一个行主键和最后一个行主键以作为分块的行主键信息，而无需保存所有的行主键，节省了大量的存储资源。

在步骤102中，可以将创建的所述数据库的分块信息保存在缓存中，比如：可以将所述分块信息保存在内存中，也可以将所述分块信息保存在分布式的缓存集群服务器中，本申请对此不作特殊限制。

步骤103，当保存有数据库的分块信息时，创建多个线程，所述线程的数量与数据库的分块数量相同，所述多个线程与数据库的分块一一对应。

基于前述步骤101的判断结果，当保存有数据库的分块信息时，在本步骤中，创建与数据库分块数量相同的线程，其中，每个线程都对应有一个数据库的分块。

分块	行主键信息
		分块1	1，20
分块2	21，40
		分块3	41，60
分块4	61，80
		分块5	81，100

表1

请参考表1的示例，本申请一种数据库分块信息的示意图，示出了前述步骤102中举例的数据库的分块以及每个分块对应的行主键信息。值得注意的是，表1只是一种对于结果以及原理的形象描述，在实际开发过程中，并不一定要组织这样的表项。以表1为例，该数据库分为5个分块，分别为：分块1至分块5，则在本步骤中，可以创建5个线程，比如：线程1、线程2、线程3、线程4以及线程5，这5个线程分别与5个分块一一对应，比如：线程1对应分块1，线程2对应分块2等，依次类推。

步骤104，每个线程基于对应分块的行主键信息进行数据查询。

基于前述步骤103，在创建多个线程之后，每个线程可以基于对应分块的行主键信息进行数据查询。

具体地，当保存的分块的行主键信息为该分块所包含的所有行主键时，所述分块对应的线程查询所有的行主键对应的行。当保存的分块的行主键信息为该分块排序后的行主键集合中的第一个行主键和最后一个行主键时，所述分块对应的线程查询所述第一个行主键、所述最后一个行主键以及所述第一个行主键和所述最后一个行主键之间的所有行主键对应的行。请参考表1，线程1查询行主键1至行主键20对应的行，线程2查询行主键21至行主键40对应的行，依次类推，本申请在此不再一一赘述。

在本实施例中，在所有线程都返回查询结果后，可以将所有的查询结果进行整合，以进行反馈。

步骤105，在查询结束后更新保存的所述数据库的分块信息。

基于前述步骤104，在数据查询完毕后，可以对所述数据库的分块信息进行更新。这是因为，数据库中存储的数据可能会有增加，比如：数据库中原来有100行，后来又写入1行，则变为101行。在本步骤中，可以按照创建数据库分块信息的方式重新将数据库进行分块，以实现对数据库分块信息的更新。

举例来说，假设新写入的行的行主键为40.5，则按照从小到大的顺序重新对当前的101个行主键进行排序，然后按照分块容量20，可以将前20个行主键1-20划分到第一个分块中，将行主键21-40划分到第二个分块中，将行主键40.5-59划分到第三个分块中，将行主键60-79划分到第四个分块中，将行主键80-99划分到第五个分块中，将行主键100划分到第六个分块中，由此可以将这101个行主键划分到6个分块中。

可选的，在本申请另一实施例中，不需要在每次查询完毕后更新数据库的分块信息，可以按照预设的时间周期更新保存的所述数据库的分块信息。在实际实现中，管理人员或者开发人员可以依据数据的读写频率设置分块信息的更新方式，本申请对此不作特殊限制。

由以上描述可以看出，本申请在缓存中保存动态的数据库分块信息，不需要占用额外的存储空间。同时，所述数据库的分块信息可以随着数据库数据量的增加，而自动扩展，进而可以自动增加查询线程，不影响线程的查询性能，确保数据查询效率。此外，动态的数据库分块信息可以复用到不同的应用场景中，应用更为广泛。

与前述数据库查询方法的实施例相对应，本申请还提供了数据库查询装置的实施例。

本申请数据库查询装置的实施例可以应用在服务上。装置实施例可以通过软件实现，也可以通过硬件或者软硬件结合的方式实现。以软件实现为例，作为一个逻辑意义上的装置，是通过其所在服务端的处理器将非易失性存储器中对应的计算机程序指令读取到内存中运行形成的。从硬件层面而言，如图3所示，为本申请数据库查询装置所在服务端的一种硬件结构图，除了图3所示的处理器、内存、网络接口、以及非易失性存储器之外，实施例中装置所在的服务端通常根据该服务端的实际功能，还可以包括其他硬件，对此不再赘述。

请参考图4，图4是本申请一示例性实施例示出的一种数据库查询装置的结构框图。所述数据库查询装置300可以包括：信息判断单元301、线程创建单元302、数据查询单元303、第一更新单元304、第二更新单元305。

其中，所述信息判断单元301，判断是否保存有数据库的分块信息；

所述线程创建单元302，在保存有数据库的分块信息时，创建多个线程，所述线程的数量与数据库的分块数量相同，所述多个线程与数据库的分块一一对应；

所述数据查询单元303，每个线程基于对应分块的行主键信息进行数据查询。

所述线程创建单元302，在没有保存数据库的分块信息时，创建单线程以对数据库进行数据查询，并创建所述数据库的分块信息。

所述第一更新单元304，在查询结束后更新保存的所述数据库的分块信息。

所述第二更新单元305，按照预设的时间周期更新保存的所述数据库的分块信息。

所述线程创建单元302或第一更新单元304或第二更新单元305，具体将所述数据库当前的所有行主键按照预设的规则进行排序，根据预设的分块容量，依次对排序后的行主键进行分块划分，并保存所述分块的行主键信息；其中，每个分块包括有一个行主键集合。

可选的，所述分块的行主键信息为该分块排序后的行主键集合中的第一个行主键和最后一个行主键。

上述装置中各个单元的功能和作用的实现过程具体详见上述方法中对应步骤的实现过程，在此不再赘述。

对于装置实施例而言，由于其基本对应于方法实施例，所以相关之处参见方法实施例的部分说明即可。以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本申请方案的目的。本领域普通技术人员在不付出创造性劳动的情况下，即可以理解并实施。

以上所述仅为本申请的较佳实施例而已，并不用以限制本申请，凡在本申请的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本申请保护的范围之内。

Claims (12)

1.一种数据库查询方法，其特征在于，所述方法包括：

判断是否保存有数据库的分块信息；

当保存有数据库的分块信息时，创建多个线程，所述线程的数量与数据库的分块数量相同，所述多个线程与数据库的分块一一对应；

每个线程基于对应分块的行主键信息进行数据查询。

2.根据权利要求1所述的方法，其特征在于，

当没有保存数据库的分块信息时，创建单线程以对数据库进行数据查询，并创建所述数据库的分块信息。

3.根据权利要求1所述的方法，其特征在于，所述方法还包括：

在查询结束后更新保存的所述数据库的分块信息。

4.根据权利要求1所述的方法，其特征在于，所述方法还包括：

按照预设的时间周期更新保存的所述数据库的分块信息。

5.根据权利要求2-4中任意一项所述的方法，其特征在于，所述更新或创建所述数据库的分块信息，包括：

将所述数据库当前的所有行主键按照预设的规则进行排序；

根据预设的分块容量，依次对排序后的行主键进行分块划分，并保存所述分块的行主键信息；

其中，每个分块包括有一个行主键集合。

6.根据权利要求5所述的方法，其特征在于，

所述分块的行主键信息为该分块排序后的行主键集合中的第一个行主键和最后一个行主键。

7.一种数据库查询装置，其特征在于，所述装置包括：

信息判断单元，判断是否保存有数据库的分块信息；

线程创建单元，在保存有数据库的分块信息时，创建多个线程，所述线程的数量与数据库的分块数量相同，所述多个线程与数据库的分块一一对应；

数据查询单元，每个线程基于对应分块的行主键信息进行数据查询。

8.根据权利要求7所述的装置，其特征在于，

所述线程创建单元，在没有保存数据库的分块信息时，创建单线程以对数据库进行数据查询，并创建所述数据库的分块信息。

9.根据权利要求7所述的装置，其特征在于，所述装置还包括：

第一更新单元，在查询结束后更新保存的所述数据库的分块信息。

10.根据权利要求7所述的装置，其特征在于，所述装置还包括：

第二更新单元，按照预设的时间周期更新保存的所述数据库的分块信息。

11.根据权利要求8-10中任意一项所述的装置，其特征在于，

所述线程创建单元或第一更新单元或第二更新单元，具体将所述数据库当前的所有行主键按照预设的规则进行排序，根据预设的分块容量，依次对排序后的行主键进行分块划分，并保存所述分块的行主键信息；其中，每个分块包括有一个行主键集合。

12.根据权利要求11所述的装置，其特征在于，

所述分块的行主键信息为该分块排序后的行主键集合中的第一个行主键和最后一个行主键。