CN105183871A - 数据查询方法及装置 - Google Patents

Abstract

本发明公开了一种数据查询方法及装置，其中方法包括：将多个查询请求消息进行分组，每个分组中查询请求消息的个数小于等于任务执行上限；任选一分组作为当前组，将所述当前组的查询请求消息分配给至少一个计算节点进行查询处理；实时检测各计算节点的查询处理情况；根据所述查询处理情况从剩余分组中选择一分组作为当前组，直至所有分组均被处理完毕。本发明实施例能够提高查询效率。

Description

数据查询方法及装置

技术领域

本发明实施例涉及大数据技术领域，尤其涉及一种数据查询方法及装置。

背景技术

Presto是Facebook开发的数据查询引擎，可对250PB以上的数据进行快速地交互式分析。它定义了一个通用的Java数据库连接(JavaDataBaseConnectivity，JDBC)模块，通过适当的变通就可以连接各种关系型数据库，例如MySQL数据库、ORACLE数据库和SQLServer数据库等。

如图1所示，为现有技术中基于Presto集群架构的网络拓扑结构示意图，Presto集群有多个内部交换机11连接到各个计算节点12中，然后再连接到机房中的上联交换机13，Presto可以配置多种数据源包括MySQL、Oracle、SQLServer、KAFKA和HDFS等。这些数据源与Presto连接也是通过外层的上联交换机13进行通信的，这个上联交换机13可能还连接着其他的业务的服务器或者其他下联交换机，在这个范围内网络资源是共享的，如果网络拥堵可能会影响到好几个业务应用。

在现有技术中，当客户端的数据查询请求比较多时，Presto可能会跨多个数据源进行联合查询，此时Presto将根据所有的数据查询请求同时查询起所有的数据抓取线程，将数据抓取到Presto的计算节点中进行计算，这时Presto计算节点就需要频繁的通过上联交换机与数据源的服务器进行通讯和数据交互，这种状态下就会高频率的出现网络拥堵情况。

发明内容

本发明实施例提供一种数据查询方法及装置，能够提高数据查询效率。

第一方面，本发明实施例提供了一种数据查询方法，包括：

将多个查询请求消息进行分组，每个分组中查询请求消息的个数小于等于任务执行上限；

任选一分组作为当前组，将所述当前组的查询请求消息分配给至少一个计算节点进行查询处理；

实时检测各计算节点的查询处理情况；

根据所述查询处理情况从剩余分组中选择一分组作为当前组，直至所有分组均被处理完毕。

第二方面，本发明实施例还提供一种数据查询装置，包括：

分组模块，用于将多个查询请求消息进行分组，每个分组中查询请求消息的个数小于等于任务执行上限；

分配模块，用于任选一分组作为当前组，将所述当前组的查询请求消息分配给至少一个计算节点进行查询处理；

检测模块，用于实时检测各计算节点的查询处理情况，根据所述查询处理情况指示所述分配模块从剩余分组中选择一分组作为当前组，直至所有分组均被处理完毕。

本发明实施例通过将多个查询请求消息进行分组，每个分组中查询请求消息的个数小于等于任务执行上限；任选一分组作为当前组，将所述当前组的查询请求消息分配给至少一个计算节点进行查询处理；实时检测各计算节点的查询处理情况；根据所述查询处理情况从剩余分组中选择一分组作为当前组，直至所有分组均被处理完毕。本发明实施例采用分批次处理每个分组的查询请求消息，避免了高频率的出现网络拥堵情况，从而提高查询效率。

附图说明

图1为现有技术提供的Presto数据查询网络拓扑结构示意图；

图2为本发明实施例一提供的数据查询方法的流程示意图；

图3为本发明实施例二提供的数据查询装置的结构示意图。

具体实施方式

下面结合附图和实施例对本发明作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释本发明，而非对本发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本发明相关的部分而非全部结构。

本发明实施例提供的数据查询方法的执行主体，可为本发明实施例提供的数据查询装置，或集成了数据查询装置的交换机，该数据查询装置可以采用硬件或软件实现。

实施例一

图2为本发明实施例一提供的数据查询方法的流程示意图，如图2所示，具体包括：

步骤21、将多个查询请求消息进行分组，每个分组中查询请求消息的个数小于等于任务执行上限；

其中，任务执行上限可根据查询系统当前的运算能力进行设定。具体的，在分组时，可采用平均分组的策略。例如，每个分组中查询请求消息的个数可为任务执行上限，或略小于任务执行上限。

步骤22、任选一分组作为当前组，将所述当前组的查询请求消息分配给至少一个计算节点进行查询处理；

具体的，如果当前组的查询请求消息的总数为100条，计算节点为10个，则将100条查询请求消息均衡的分配到1个计算节点进行计算。其中，每个计算节点处理10条查询请求消息。

步骤23、实时检测各计算节点的查询处理情况；

步骤24、根据所述查询处理情况从剩余分组中选择一分组作为当前组，直至所有分组均被处理完毕。

具体的，当检测到分配到各计算节点的查询请求消息均已处理完毕后，则从剩余分组中选择一分组作为当前组，重复执行步骤22至步骤24，直至所有分组均被处理完毕。

本实施例通过将多个查询请求消息进行分组，每个分组中查询请求消息的个数小于等于任务执行上限；任选一分组作为当前组，将所述当前组的查询请求消息分配给至少一个计算节点进行查询处理；实时检测各计算节点的查询处理情况；根据所述查询处理情况从剩余分组中选择一分组作为当前组，直至所有分组均被处理完毕。本实施例采用分批次处理每个分组的查询请求消息，避免了高频率的出现网络拥堵情况，从而提高查询效率。

示例性的，在上述实施例的基础上，为进一步提高查询效率，所述根据所述查询处理情况从剩余分组中选择一分组作为当前组，直至所有分组均被处理完毕进一步包括：

根据所述查询处理情况确定所述分组中当前未被处理的查询请求消息的总数；

当所述总数小于任务执行上限时，则从剩余分组中的查询请求消息中抽取查询请求消息补充到所述分组中，重复执行检测步骤直至剩余分组中的所有查询请求消息都被处理完毕。

示例性的，所述根据所述查询处理情况确定所述分组中当前未被处理的查询请求消息的总数具体包括：

所述当前未被处理的查询请求消息的总数等于所述分组中查询请求消息的总数减去已处理的查询请求消息的总数；

或者，

所述当前未被处理的查询请求消息的总数等于所述任务执行上限减去已处理的查询请求消息的总数、已分配的查询请求消息的总数和在计算节点等排队等待处理的查询请求消息的总数。

其中，已分配的查询请求消息为已从所述分组中提取出来，但还未被分配到计算节点的查询请求消息。

示例性的，在上述实施例的基础上，所述方法还包括：

统计所述查询请求消息的总个数；

当所述总个数超过预设阈值时，触发执行对所述查询请求消息的分组操作。

具体的，当当前待处理的查询请求消息的总个数较少时，即一次性即可处理完毕而不会造成网络拥堵时，就不必再对其进行分组，直接处理即可。当当前待处理的查询请求消息的总个数较多时，在对其启动分组处理。在具体程序实现时，可在程序中设置如下两个相关参数：

control_scan_concurrency_enabled，参数含义为是否开启分组读取；

scan_concurrency_count，参数含义为每一分组的任务执行上限数。

程序可以根据实际需求来动态的调配上述两个参数，需要注意的是，只有开启了分组读取的参数即control_scan_concurrency_enabled后，每一分组的执行上限数(scan_concurrency_count)才生效。

示例性的，在上述实施例的基础上，将多个查询请求消息进行分组包括：

根据查询请求消息中携带的IP地址将不同IP地址的查询请求消息分为一组。

为达到均衡处理每个IP发出的查询请求消息，可将不同IP地址的查询请求消息分为一组。这样在后续查询处理时，可均衡处理到每个IP地址对应的查询请求消息。例如，待处理的查询请求消息中包含IP1、IP2和IP3三个IP地址对应的查询请求消息，在分组时，会将相同IP的查询请求消息隔离开，即将IP1、IP2和IP3对应的查询请求消息分为一组，以此来达到均衡获取。

上述各实施例同样通过将多个查询请求消息进行分组，每个分组中查询请求消息的个数小于等于任务执行上限；任选一分组作为当前组，将所述当前组的查询请求消息分配给至少一个计算节点进行查询处理；实时检测各计算节点的查询处理情况；根据所述查询处理情况从剩余分组中选择一分组作为当前组，直至所有分组均被处理完毕。上述各实施例同样采用分批次处理每个分组的查询请求消息，避免了高频率的出现网络拥堵情况，从而提高查询效率。

实施例二

图3为本发明实施例二提供的数据查询装置的结构示意图，如图3所示，具体包括：分组模块31、分配模块32和检测模块33；

所述分组模块31用于将多个查询请求消息进行分组，每个分组中查询请求消息的个数小于等于任务执行上限；

所述分配模块32用于任选一分组作为当前组，将所述当前组的查询请求消息分配给至少一个计算节点进行查询处理；

所述检测模块33用于实时检测各计算节点的查询处理情况，根据所述查询处理情况指示所述分配模块从剩余分组中选择一分组作为当前组，直至所有分组均被处理完毕。

本实施例所述的数据查询装置用于执行上述各实施例所述的数据查询方法，其技术原理和产生的技术效果类似，这里不再累述。

示例性的，在上述实施例的基础上，所述检测模块33包括：统计单元331和抽取单元332；

所述统计单元331用于根据所述查询处理情况确定所述分组中当前未被处理的查询请求消息的总数；

所述抽取单元332用于当所述总数小于任务执行上限时，则从剩余分组中的查询请求消息中抽取查询请求消息补充到所述分组中，重复执行检测步骤直至剩余分组中的所有查询请求消息都被处理完毕。

示例性的，所述统计单元331具体用于：

所述当前未被处理的查询请求消息的总数等于所述任务执行上限减去已处理的查询请求消息的总数；或者，所述当前未被处理的查询请求消息的总数等于所述任务执行上限减去已处理的查询请求消息的总数、已分配的查询请求消息的总数和在计算节点等排队等待处理的查询请求消息的总数。

示例性的，在上述实施例的基础上，所述装置还包括：统计模块34和触发模块35；

所述统计模块34用于统计所述查询请求消息的总个数；

所述触发模块35用于当所述总个数超过预设阈值时，触发执行对所述查询请求消息的分组操作。

示例性的，所述分组模块31具体用于：

根据查询请求消息中携带的IP地址将不同IP地址的查询请求消息分为一组。

上述各实施例所述的数据查询装置同样用于执行上述各实施例所述的数据查询方法，其技术原理和产生的技术效果类似，这里不再累述。

注意，上述仅为本发明的较佳实施例及所运用技术原理。本领域技术人员会理解，本发明不限于这里所述的特定实施例，对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本发明的保护范围。因此，虽然通过以上实施例对本发明进行了较为详细的说明，但是本发明不仅仅限于以上实施例，在不脱离本发明构思的情况下，还可以包括更多其他等效实施例，而本发明的范围由所附的权利要求范围决定。

Claims (10)

1.一种数据查询方法，其特征在于，包括：

将多个查询请求消息进行分组，每个分组中查询请求消息的个数小于等于任务执行上限；

任选一分组作为当前组，将所述当前组的查询请求消息分配给至少一个计算节点进行查询处理；

实时检测各计算节点的查询处理情况；

根据所述查询处理情况从剩余分组中选择一分组作为当前组，直至所有分组均被处理完毕。

2.根据权利要求1所述的方法，其特征在于，根据所述查询处理情况从剩余分组中选择一分组作为当前组，直至所有分组均被处理完毕，包括：

根据所述查询处理情况确定所述分组中当前未被处理的查询请求消息的总数；

当所述总数小于任务执行上限时，则从剩余分组中的查询请求消息中抽取查询请求消息补充到所述分组中，重复执行检测步骤直至剩余分组中的所有查询请求消息都被处理完毕。

3.根据权利要求2所述的方法，其特征在于，根据所述查询处理情况确定所述分组中当前未被处理的查询请求消息的总数，包括：

所述当前未被处理的查询请求消息的总数等于所述任务执行上限减去已处理的查询请求消息的总数；

或者，

所述当前未被处理的查询请求消息的总数等于所述任务执行上限减去已处理的查询请求消息的总数、已分配的查询请求消息的总数和在计算节点等排队等待处理的查询请求消息的总数。

4.根据权利要求1所述的方法，其特征在于，还包括：

统计所述查询请求消息的总个数；

当所述总个数超过预设阈值时，触发执行对所述查询请求消息的分组操作。

5.根据权利要求1～4任一项所述的方法，其特征在于，将多个查询请求消息进行分组包括：

根据查询请求消息中携带的IP地址将不同IP地址的查询请求消息分为一组。

6.一种数据查询装置，其特征在于，包括：

分组模块，用于将多个查询请求消息进行分组，每个分组中查询请求消息的个数小于等于任务执行上限；

分配模块，用于任选一分组作为当前组，将所述当前组的查询请求消息分配给至少一个计算节点进行查询处理；

检测模块，用于实时检测各计算节点的查询处理情况，根据所述查询处理情况指示所述分配模块从剩余分组中选择一分组作为当前组，直至所有分组均被处理完毕。

7.根据权利要求6所述的装置，其特征在于，所述检测模块包括：

统计单元，用于根据所述查询处理情况确定所述分组中当前未被处理的查询请求消息的总数；

抽取单元，用于当所述总数小于任务执行上限时，则从剩余分组中的查询请求消息中抽取查询请求消息补充到所述分组中，重复执行检测步骤直至剩余分组中的所有查询请求消息都被处理完毕。

8.根据权利要求7所述的装置，其特征在于，所述统计单元具体用于：

所述当前未被处理的查询请求消息的总数等于所述任务执行上限减去已处理的查询请求消息的总数；或者，所述当前未被处理的查询请求消息的总数等于所述任务执行上限减去已处理的查询请求消息的总数、已分配的查询请求消息的总数和在计算节点等排队等待处理的查询请求消息的总数。

9.根据权利要求6所述的装置，其特征在于，还包括：

统计模块，用于统计所述查询请求消息的总个数；

触发模块，用于当所述总个数超过预设阈值时，触发执行对所述查询请求消息的分组操作。

10.根据权利要求6～9任一项所述的装置，其特征在于，所述分组模块具体用于：

根据查询请求消息中携带的IP地址将不同IP地址的查询请求消息分为一组。