CN105912624A - 分布式部署的异构数据库的查询方法 - Google Patents

Abstract

本发明涉及一种分布式部署的异构数据库的查询方法，包括：接收应用程序的数据库查询请求；根据所述查询信息确定本次数据库查询的查询类型；根据所述查询信息判断所述查询请求是否为初次请求；若是，则开启查询模块集合中的每个查询模块对应的第一线程，以使每一所述第一线程根据所述查询类型调用对应的所述查询模块的查询接口进行数据查询；将所有所述第一线程的查询结果按照所属查询模块进行划分，并根据划分结果确定结果集；根据所述查询类型从所述结果集中获取并发送预设数量的查询结果给所述应用程序。本发明可以解决现有的数据查询系统面临的高负载和高并发问题，提高查询结果的返回速度，进而增强了系统的稳定性和查询效率。

Description

分布式部署的异构数据库的查询方法

技术领域

本发明涉及数据库查询技术领域，尤其涉及一种分布式部署的异构数据库的查询方法。

背景技术

随着互联网、电信、金融等行业的高速发展，海量数据时代已经来临，各种业务的数据量持续增长，使得行业应用系统需要处理和存储的数据量越来越大，对于系统性能的要求也就越来越高。

在此背景下，虽然营运而生了很多解决大数据处理的方案，比如hadoop等，但由于业务上的需求，传统行业应用系统大部分还是采用关系型数据库。现有的单一关系型数据库已经满足不了各行业日益增长的需求，因此将数据拆分到多个数据库已是必然的选择。然而，传统行业应用系统在面对大量用户访问和各层级的高并发请求时，针对多数据库的数据查询效率非常慢，甚至会出现系统崩溃。

面对上述问题，现有技术通常采用提高服务器性能、数据库存储量、编程语言的效率以及Web容器的性能等手段进行应对，但是这并不能从根本上解决系统面临的高负载和高并发问题。

发明内容

针对现有的关系型数据库查询方法存在的效率慢、易导致系统崩溃、无法应对高负载和高并发问题的弊端，本发明提供一种分布式部署的异构数据库的查询方法，该方法包括：

接收应用程序的数据库查询请求；所述查询请求包括用于从所述异构数据库中获取查询结果的查询信息；

根据所述查询信息确定本次数据库查询的查询类型；

根据所述查询信息判断所述查询请求是否为初次请求；

若是，则开启查询模块集合中的每个查询模块对应的第一线程，以使每一所述第一线程根据所述查询类型调用对应的所述查询模块的查询接口进行数据查询；

其中，所述查询模块为预先构建的用于管理和调用所述异构数据库的封装程序；

将所有所述第一线程的查询结果按照所属查询模块进行划分，并根据划分结果确定结果集；

根据所述查询类型从所述结果集中获取并发送预设数量的查询结果给所述应用程序。

可选地，所述根据所述查询类型从所述结果集中获取并发送预设数量的查询结果给所述应用程序之后，所述方法还包括：

将所述结果集中剩余的查询结果集存入缓存中。

可选地，所述根据所述查询信息判断所述查询请求是否为初次请求之后，所述方法还包括：

若所述查询请求不是初次请求，则根据所述查询类型从所述缓存中获取并发送预设数量的查询结果给所述应用程序，并将剩余的查询结果存入缓存中。

可选地，所述根据所述查询类型从所述结果集中获取并发送预设数量的查询结果给所述应用程序，包括：

若所述查询类型为排序查询，则将所述结果集中的所有查询结果按照预设规则进行排序，以根据排序结果从所述结果集中获取所述预设数量的查询结果给所述应用程序。

可选地，所述将所述结果集中的所有查询结果按照预设规则进行排序，以根据排序结果从所述结果集中获取所述预设数量的查询结果给所述应用程序之后，所述方法还包括：

确定所述缓存中每一所述查询模块对应的剩余查询结果数量；

根据所述每一所述查询模块对应的剩余查询结果数量，开启每一所述查询模块对应的第二线程，并使每一所述第二线程根据所述查询类型调用对应的所述查询模块的查询接口进行数据查询，以将每一所述查询模块对应的查询结果的数量补充至所述预设数量。

可选地，所述根据所述查询类型从所述结果集中获取并发送预设数量的查询结果给所述应用程序，包括：

若所述查询类型为非排序查询，则从所述结果集中随机获取所述预设数量的查询结果给所述应用程序。

可选地，所述开启查询模块集合中的每个查询模块对应的第一线程，以使每一所述第一线程根据所述查询类型调用对应的所述查询模块的查询接口进行数据查询之前，所述方法包括：

所述查询模块将所述异构数据库中的每个数据库的查询接口进行统一化处理，并将所述异构数据库的查询条件设置为key-value键值对的形式。

可选地，所述将所述异构数据库中的每个数据库的查询接口进行统一化处理，并将所述异构数据库的查询条件设置为key-value键值对的形式之后，所述方法还包括：

所述查询模块将所述查询条件按照所述异构数据库中的每个数据库的语法结构转换成SQL语句。

可选地，所述开启查询模块集合中的每个查询模块对应的第一线程，以使每一所述第一线程根据所述查询类型调用对应的所述查询模块的查询接口进行数据查询之前，所述方法包括：

所述查询模块根据接收到的所述异构数据库的数据库信息初始化所述异构数据库中的每一数据库关联的数据库连接池。

可选地，所述根据所述查询类型从所述结果集中获取并发送预设数量的查询结果给所述应用程序，包括：

所述查询模块根据所述查询类型从所述结果集中获取预设数量的查询结果，并将所述查询结果封装为泛型或MAP的集合发送给所述应用程序。

本发明的分布式部署的异构数据库的查询方法，基于支持分布式部署的查询模块进行管理和调用异构数据库，可以解决现有的数据查询系统面临的高负载和高并发问题，提高查询结果的返回速度，进而增强了系统的稳定性和查询效率。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明一个实施例的分布式部署的异构数据库的查询方法的流程图；

图2为本发明另一个实施例的分布式部署的异构数据库的查询方法的流程图；

图3为本发明一个实施例的分布式部署的异构数据库的查询系统的结构示意图；

图4为本发明一个实施例的分布式部署的异构数据库的查询方法的管理模块进行排序查询的流程示意图；

图5为本发明一个实施例的分布式部署的异构数据库的查询方法的管理模块进行非排序查询的流程示意图；

图6为本发明一个实施例的分布式部署的异构数据库的查询方法的查询模块进行排序查询的流程示意图；

图7为本发明一个实施例的分布式部署的异构数据库的查询方法的查询模块进行排序查询的流程示意图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

实施例一

图1为本发明一个实施例的分布式部署的异构数据库的查询方法的流程图；如图1所示，该方法包括：

S1：接收应用程序的数据库查询请求；

所述查询请求包括用于从所述异构数据库中获取查询结果的查询信息；

S2：根据所述查询信息确定本次数据库查询的查询类型；

S3：根据所述查询信息判断所述查询请求是否为初次请求；

具体地，数据库查询请求可以为用户通过应用程序客户端发送的用以对数据信息进行查询的请求，其包括的查询信息例可包括以下至少一种或其组合：所要查询的数据的关键词、疑问语句、查询类型(如排序查询和非排序查询)以及初次请求标识。因此，可根据该请求中的初次请求标识的内容判断该查询请求是初次请求或翻页请求。

S31：若是，则开启查询模块集合中的每个查询模块对应的第一线程，以使每一所述第一线程根据所述查询类型调用对应的所述查询模块的查询接口进行数据查询；

其中，所述查询模块为预先构建的用于管理和调用所述异构数据库的封装程序；

S4：将所有所述第一线程的查询结果按照所属查询模块进行划分，并根据划分结果确定结果集；

S5：根据所述查询类型从所述结果集中获取并发送预设数量的查询结果给所述应用程序。

本实施例的分布式部署的异构数据库的查询方法，基于支持分布式部署的查询模块进行管理和调用异构数据库，可以解决现有的数据查询系统面临的高负载和高并发问题，提高查询结果的返回速度，进而增强了系统的稳定性和查询效率。

实施例二

本实施例提供的数据库查询方法在实施例一的基础上，在根据所述查询类型从所述结果集中获取并发送预设数量的查询结果给所述应用程序之后，具体地还可以包括：

S6：将所述结果集中剩余的查询结果集存入缓存中。

在此基础上，本实施例中，步骤S3总根据所述查询信息判断所述查询请求是否为初次请求之后，具体还可以包括：

S32若所述查询请求不是初次请求，则根据所述查询类型从所述缓存中获取并发送预设数量的查询结果给所述应用程序，并将剩余的查询结果存入缓存中。

具体地，如果该查询请求不是初次请求，则将该查询请求判定为“翻页”请求，以根据已确定的查询类型从缓存中获取预设数量的查询结果，并发送给所述应用程序，同时将剩余的查询结果存入缓存中。

实施例三

本实施例在实施例一和实施例二的基础上，步骤S5中根据所述查询类型从所述结果集中获取并发送预设数量的查询结果给所述应用程序，还可以具体地包括：

S51：若所述查询类型为排序查询，则将所述结果集中的所有查询结果按照预设规则进行排序，以根据排序结果从所述结果集中获取所述预设数量的查询结果给所述应用程序。

举例来说，该预设规则可设置为按时间顺序、按相似度、位置信息等等。基于此特征，可使数据查询结果更加满足用户要求，提高数据查询的准确度。

进一步地，步骤S51中将所述结果集中的所有查询结果按照预设规则进行排序，以根据排序结果从所述结果集中获取所述预设数量的查询结果给所述应用程序之后，还可以包括：

S511：确定所述缓存中每一所述查询模块对应的剩余查询结果数量；

S512：根据所述每一所述查询模块对应的剩余查询结果数量，开启每一所述查询模块对应的第二线程，并使每一所述第二线程根据所述查询类型调用对应的所述查询模块的查询接口进行数据查询，以将每一所述查询模块对应的查询结果的数量补充至所述预设数量。

实施例四

作为本实施例的优选，步骤S5中根据所述查询类型从所述结果集中获取并发送预设数量的查询结果给所述应用程序，还可以具体地包括：

S52：若所述查询类型为非排序查询，则从所述结果集中随机获取所述预设数量的查询结果给所述应用程序。

作为本实施例的优选，步骤S4中开启查询模块集合中的每个查询模块对应的第一线程，以使每一所述第一线程根据所述查询类型调用对应的所述查询模块的查询接口进行数据查询之前，具体还可以包括：

S41：所述查询模块将所述异构数据库中的每个数据库的查询接口进行统一化处理，并将所述异构数据库的查询条件设置为key-value键值对的形式。

本实施例中，步骤S41中将所述异构数据库中的每个数据库的查询接口进行统一化处理，并将所述异构数据库的查询条件设置为key-value键值对的形式之后，具体还可以包括：

S42：所述查询模块将所述查询条件按照所述异构数据库中的每个数据库的语法结构转换成SQL语句。

作为本实施例的优选，步骤S4中开启查询模块集合中的每个查询模块对应的第一线程，以使每一所述第一线程根据所述查询类型调用对应的所述查询模块的查询接口进行数据查询之前，具体还可以包括：

S42：所述查询模块根据接收到的所述异构数据库的数据库信息初始化所述异构数据库中的每一数据库关联的数据库连接池。

作为本实施例的优选，步骤S5中根据所述查询类型从所述结果集中获取并发送预设数量的查询结果给所述应用程序，还可以进一步包括：

S53：所述查询模块根据所述查询类型从所述结果集中获取预设数量的查询结果，并将所述查询结果封装为泛型或MAP的集合发送给所述应用程序。

本实施例的分布式部署的异构数据库的查询方法，在基于支持分布式部署的查询模块进行管理和调用异构数据库的基础上，通过将所述异构数据库中的每个数据库的查询接口进行统一化处理，以及将所述查询条件按照所述异构数据库中的每个数据库的语法结构转换成SQL语句，可以解决现有技术的行业和数据库交互过程中，由于多种数据库支持的语法不同而影响开发人员的编码效率的问题，进一步提高了高负载和高并发的数据查询过程的查询速度，增强了系统的稳定性和查询效率。

下面以一具体的实施例来说明本发明，但不限定本发明的保护范围。

图3为本发明一个实施例的分布式部署的异构数据库的查询系统的结构示意图。如图3所示，本实施例的系统包括管理模块10、查询模块20以及异构数据库30；其中，管理模块10主要是对查询模块20进行管理和调用。

查询模块20支持分布式部署，各个查询模块20的查询逻辑由管理模块统一协调分配。

管理模块10的功能具体如下：

A1.数据库管理，主要是对整个系统中所有数据库的维护，功能包括数据库的增加、修改、删除，以便于后期扩展。数据库的参数主要包括：IP地址、端口、实例名、数据库类型、用户名、密码、连接池大小范围等。

A2.查询模块管理，主要是对所有的查询模块进行统一管理，功能包括查询模块的增加、修改、删除以及和数据库的关联(每个查询模块都可以关联多个数据库)，每次关联都会调用查询模块相应的接口，可以动态的增加和删除数据库连接池，这些数据库的连接池由查询模块进行维护。

A3.结果封装，对外提供查询接口，供应用程序调用，根据排序和非排序两种类型对查询过程进行处理，最后对查询结果进行封装。具体地，图4为本发明一个实施例的分布式部署的异构数据库的查询方法的管理模块进行排序查询的流程示意图。图如4所示，具体步骤包括：

A41.排序查询400条数据，判断查询模块个数。

A42.如果查询模块就1个，那么直接调用查询模块提供的排序查询接口，获取查询结果。

A43.如果查询模块为多个，那么判断是否为首次查询，否则为翻页操作。

A44.如果是首次查询，每个查询模块开启一个子线程进行查询，每个线程里查询模块的流程和单查询模块的查询流程相同。等待所有子线程执行完成，然后汇总各个线程的结果集，并进行排序，取排序后的前400条数据作为查询结果。

A45.计算前400条数据中每个查询模块各占多少，然后从各查询模块将取走的数据量补充上，存入缓存，保证缓存里每个查询模块有400条数据。

A46.如果是翻页操作，管理模块从缓存中获取结果集，取排序后的前400条数据作为查询结果，然后重复执行第A45步骤。

图5为本发明一个实施例的分布式部署的异构数据库的查询方法的管理模块进行非排序查询的流程示意图；如图5所示，具体步骤包括：

A51.非排序查询400条数据，判断查询模块个数。

A52.如果查询模块就1个，那么直接调用查询模块提供的非排序查询接口，获取查询结果。

A53.如果查询模块为多个，那么判断是否为首次查询，否则为翻页操作。

A54.如果是首次查询，每个查询模块开启一个子线程进行查询，每个线程里查询模块的流程和单查询模块的查询流程相同。等待所有子线程执行完成，然后汇总各个线程的结果集，随机获取400条数据作为查询结果，剩余数据存入缓存。

A55.如果是翻页操作，则从缓存中获取查询条件，并判断缓存中是否满足400条数据，

A56.如果满足，直接获取400条返回结果；

如果不满足，执行A54步骤获取返回结果。

在此基础上，查询模块20主要是对数据库进行管理和调用。数据库支持分布式部署，各个数据库的查询逻辑由查询模块统一协调分配，同时维护各大主流数据库的语法结构。查询模块20的功能具体如下：

B1.数据通信，通过socket(RMI技术和MINA框架)或http协议创建应用程序接口，供管理模块调用。

B2.线程管理，获取查询模块关联的所有数据库信息，每个数据库开启一个子线程并发运行，采用JDK自带的线程池管理所有子线程，可以有效的减少竞争和死锁的发生。

B3.数据库维护，(1)异构数据库管理，将各主流数据库的查询接口封装为统一的查询接口，通过统一的查询接口进行访问，获取执行结果。(2)数据库连接池管理，通过管理模块传递的数据库信息初始化数据库连接池，每个查询线程都从数据库连接池中获取数据库连接。数据库连接池负责分配、管理和释放数据库连接，它允许应用程序重复使用一个现有的数据库连接，而不是再重新建立一个，当数据库连接的空闲时间超过最大空闲时间时就会被释放，这样可以避免数据库连接遗漏，提高了数据库操作性能。

B4.数据查询，开始调用JDBC提供的数据库接口查询数据，由于海量数据的类型比较多、数据量比较大，而每种类型显示的结果不同，因此查询前先按照类型进行统计，如果统计到某类型下存在数据，就先对该类型下的数据进行查询，其查询类型可分为排序和非排序两种。

B5.结果封装，将返回结果封装为泛型或MAP的集合。

其中对于步骤B3中异构数据库，可以具体描述为：

B31.统一查询接口，查询条件以key-value键值对的形式传递。

B32.条件转换，将查询条件按照各主流数据库的语法结构转换成SQL语句。

B33.返回查询结果。

其中对于步骤B4，可以具体描述为：

例如：我们开始一次分页查询，每一页显示400条数据，分10个数据库存储，且数据类型包含10种。

(1)数据统计

B40.统一各个数据库的查询接口，转换成各主流数据库可识别的语法。

B41.若为首次查询，则计算关联的数据库个数，每一个数据库开启一个线程，也就是10个线程并行查询；其中，每个线程都查询400条数据；

B42.然后每个数据库查询线程再根据10类型开启10个子线程。

B43.如果统计到有一个线程在某一数据库某一类型下存在数据，则关闭其他线程，之后就查询该类型的数据。

图6为本发明一个实施例的分布式部署的异构数据库的查询方法的查询模块进行排序查询的流程示意图；如图6所示，具体步骤包括：

B44.统一各个主流数据库的查询接口，转换成各主流数据库可识别的语法。

B45.判断查询类型，是首次查询操作还是翻页操作。

B46.首次查询，每一个数据库开启一个线程，也就是10个线程并行查询，每一个数据库线程都需要查满400条数据。

B47.把10个数据库的数据汇总到结果集并排序，取最开始的400条数据即为返回结果。

B48.将结果集存入缓存，并记录此次查询中每个数据库数据的开始和结束位置。

B49.分别记录这400条数据在每个数据库中各占多少，并把缓存中取出的数据量补齐，例如，数据库1中占100条，那么缓存中数据库1的数量就是300，需要再开启一个线程，按照查询条件再从数据库1中查出100条数据放入缓存，直到查不出数据。

B410.更新缓存中每个数据库数据的开始和结束位置。

B411.翻页操作，需要缓存中10个数据库的数据再次排序，取出最开始的400条数据，再重复执行B49和B410操作，直到查不到数据。

图7为本发明一个实施例的分布式部署的异构数据库的查询方法的查询模块进行排序查询的流程示意图。如图7所示，具体步骤包括：

B412.统一各个主流数据库的查询接口，转换成各主流数据库可识别的语法。

B413.判断查询类型，是首次查询操作还是翻页操作。

B414.首次查询，每一个数据库开启一个线程，也就是10个线程并行查询。

B415.设置一个结果集，每个线程查询到的数据都会向结果集里添加，并判断结果集中的数据数量是否达到400。

B416.如果数据量达到了400条，就将没有运行完的线程关闭掉。

B417.记录此次查询中每个数据库数据的开始和结束位置，翻页查询需要从开始或结束位置进行查询。

B418.翻页操作，重复执行B415到B417的操作，直到查不到数据。

以上实施例仅用于说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (10)

1.一种分布式部署的异构数据库的查询方法，其特征在于，包括：

接收应用程序的数据库查询请求；所述查询请求包括用于从所述异构数据库中获取查询结果的查询信息；

根据所述查询信息确定本次数据库查询的查询类型；

根据所述查询信息判断所述查询请求是否为初次请求；

若是，则开启查询模块集合中的每个查询模块对应的第一线程，以使每一所述第一线程根据所述查询类型调用对应的所述查询模块的查询接口进行数据查询；

其中，所述查询模块为预先构建的用于管理和调用所述异构数据库的封装程序；

将所有所述第一线程的查询结果按照所属查询模块进行划分，并根据划分结果确定结果集；

根据所述查询类型从所述结果集中获取并发送预设数量的查询结果给所述应用程序。

2.如权利要求1所述的方法，其特征在于，所述根据所述查询类型从所述结果集中获取并发送预设数量的查询结果给所述应用程序之后，所述方法还包括：

将所述结果集中剩余的查询结果集存入缓存中。

3.如权利要求2所述的方法，其特征在于，所述根据所述查询信息判断所述查询请求是否为初次请求之后，所述方法还包括：

若所述查询请求不是初次请求，则根据所述查询类型从所述缓存中获取并发送预设数量的查询结果给所述应用程序，并将剩余的查询结果存入缓存中。

4.如权利要求1或2所述的方法，其特征在于，所述根据所述查询类型从所述结果集中获取并发送预设数量的查询结果给所述应用程序，包括：

若所述查询类型为排序查询，则将所述结果集中的所有查询结果按照预设规则进行排序，以根据排序结果从所述结果集中获取所述预设数量的查询结果给所述应用程序。

5.如权利要求4所述的方法，其特征在于，所述将所述结果集中的所有查询结果按照预设规则进行排序，以根据排序结果从所述结果集中获取所述预设数量的查询结果给所述应用程序之后，所述方法还包括：

确定所述缓存中每一所述查询模块对应的剩余查询结果数量；

根据所述每一所述查询模块对应的剩余查询结果数量，开启每一所述查询模块对应的第二线程，并使每一所述第二线程根据所述查询类型调用对应的所述查询模块的查询接口进行数据查询，以将每一所述查询模块对应的查询结果的数量补充至所述预设数量。

6.如权利要求1或2所述的方法，其特征在于，所述根据所述查询类型从所述结果集中获取并发送预设数量的查询结果给所述应用程序，包括：

若所述查询类型为非排序查询，则从所述结果集中随机获取所述预设数量的查询结果给所述应用程序。

7.如权利要求1或2所述的方法，其特征在于，所述开启查询模块集合中的每个查询模块对应的第一线程，以使每一所述第一线程根据所述查询类型调用对应的所述查询模块的查询接口进行数据查询之前，所述方法包括：

所述查询模块将所述异构数据库中的每个数据库的查询接口进行统一化处理，并将所述异构数据库的查询条件设置为key-value键值对的形式。

8.如权利要求7所述的方法，其特征在于，所述将所述异构数据库中的每个数据库的查询接口进行统一化处理，并将所述异构数据库的查询条件设置为key-value键值对的形式之后，所述方法还包括：

所述查询模块将所述查询条件按照所述异构数据库中的每个数据库的语法结构转换成SQL语句。

9.如权利要求1或2所述的方法，其特征在于，所述开启查询模块集合中的每个查询模块对应的第一线程，以使每一所述第一线程根据所述查询类型调用对应的所述查询模块的查询接口进行数据查询之前，所述方法包括：

所述查询模块根据接收到的所述异构数据库的数据库信息初始化所述异构数据库中的每一数据库关联的数据库连接池。

10.如权利要求1或2所述的方法，其特征在于，所述根据所述查询类型从所述结果集中获取并发送预设数量的查询结果给所述应用程序，包括：

所述查询模块根据所述查询类型从所述结果集中获取预设数量的查询结果，并将所述查询结果封装为泛型或MAP的集合发送给所述应用程序。