CN109213743A - 一种数据查询方法和装置 - Google Patents

Abstract

本发明公开了一种数据查询方法和装置，涉及计算机技术领域。该方法的一具体实施方式包括：接收用户的数据查询任务，并将数据查询任务提交到与用户所属的用户群组对应的虚拟服务器；通过与用户所属的用户群组对应的虚拟服务器从对应的多个预设的任务代理服务器中筛选出可用任务代理服务器，并将数据查询任务分配到该可用任务代理服务器；通过可用任务代理服务器将数据查询任务提交到分布式集群以执行数据查询。该实施方式能够有效避免了不同团队平台用户对资源的争抢情况，并避免了任务代理服务器资源饱和而影响其他查询任务的情况，还可审计数据查询的历史轨迹。

Description

一种数据查询方法和装置

技术领域

本发明涉及计算机技术领域，尤其涉及一种数据查询方法和装置。

背景技术

目前很多中大型企业基于Hadoop(一个由Apache基金会所开发的分布式系统基础架构)技术生态系统建设了大数据平台与云平台，其最主要用途是实现大规模数据、多类数据源、大量数据计算，实现BI(Business Intelligence，即商务智能)数据统计分析，并提供企业决策支持与业务生产支持。如何在分布式集群中提供便捷、易用的数据查询服务，以快速响应不同人群的业务统计分析、数据提取、数据查询需求，是大数据平台建设的重要内容。

目前的大数据查询实现方案主要是在开源Hadoop集群架构中通过采用Hadoop集群客户端提交Hive(基于Hadoop的一个数据仓库工具)查询命令，或者采用第三方厂商的大数据平台产品实现大数据查询。

在实现本发明过程中，发明人发现现有技术中至少存在如下问题：

现有Hadoop原生架构中的集群客户端命令界面不便于各类业务与技术人员快速使用，需要申请对应的客户端权限，且现有Hadoop原生架构中的集群客户端命令界面操作繁琐，不便于快速上手使用；

采购第三方产品不利于进行功能扩展，且采购费用高昂，不适用与大中型企业规模化应用。

发明内容

有鉴于此，本发明实施例提供一种数据查询方法和装置，能够实现了一种对平台用户集群资源隔离、提交任务的任务代理服务器隔离且能自动分配任务代理服务器来运行大数据查询任务的简单易用的可视化数据查询机制，有效避免了不同团队平台用户对资源的争抢情况，并避免了任务代理服务器资源饱和而影响其他查询任务的情况，还可审计数据查询的历史轨迹。

为实现上述目的，根据本发明实施例的一个方面，提供了一种数据查询方法。

一种数据查询方法，预先设置与各用户群组一一对应的虚拟服务器，且每个虚拟服务器与分布式集群中的多个预设的任务代理服务器相对应，所述方法包括：接收用户的数据查询任务，并将所述数据查询任务提交到与所述用户所属的用户群组对应的虚拟服务器；通过与所述用户所属的用户群组对应的虚拟服务器从对应的多个预设的任务代理服务器中筛选出可用任务代理服务器，并将所述数据查询任务分配到该可用任务代理服务器；通过所述可用任务代理服务器将所述数据查询任务提交到所述分布式集群以执行数据查询。

可选地，接收用户的数据查询任务的步骤之前，包括：接收并保存查询配置信息，所述查询配置信息包括对各虚拟服务器的配置信息、对各任务代理服务器的配置信息、以及对用户权限的配置信息。

可选地，通过Web可视化界面接收所述查询配置信息和所述用户的数据查询任务。

可选地，将所述数据查询任务提交到与所述用户所属的用户群组对应的虚拟服务器的步骤，包括：判断与所述用户所属的用户群组对应的虚拟服务器的当前并发任务数是否小于预设的并发任务数上限值，若是，则将所述数据查询任务立即提交到与所述用户所属的用户群组对应的虚拟服务器，否则，等待所述当前并发任务数小于所述预设的并发任务数上限值时再将所述数据查询任务提交到与所述用户所属的用户群组对应的虚拟服务器。

可选地，通过与所述用户所属的用户群组对应的虚拟服务器从对应的多个预设的任务代理服务器中筛选出可用任务代理服务器的步骤，包括：通过与所述用户所属的用户群组对应的虚拟服务器定时轮询对应的各预设的任务代理服务器向Web服务端反馈的状态信息；根据所述状态信息判断所述各预设的任务代理服务器当前的状态是否空闲；如果当前存在状态空闲的任务代理服务器，则将其中一个状态空闲的任务代理服务器选取为可用任务代理服务器，否则，继续定时轮询所述状态信息，直到选取出所述可用任务代理服务器。

可选地，所述状态信息包括所述各预设的任务代理服务器的CPU、内存、硬盘存储器、进程四类资源的利用率的实时数值，还包括所述各预设的任务代理服务器的实时并发任务数，根据所述状态信息判断所述各预设的任务代理服务器当前的状态是否空闲的步骤，包括：判断所述各预设的任务代理服务器的所述四类资源的利用率的实时数值是否小于预设阈值，并且判断所述各预设的任务代理服务器的实时并发任务数是否小于预设的最大并发任务数，如果一任务代理服务器的所述四类资源的利用率的实时数值小于所述预设阈值，且所述实时并发任务数小于所述预设的最大并发任务数，则该任务代理服务器当前的状态空闲，否则，该任务代理服务器当前的状态忙碌。

可选地，所述用户的数据查询任务包括查询命令，接收用户的数据查询任务的步骤之后，包括：保存由所述用户的查询命令形成的数据查询轨迹。

根据本发明实施例的另一方面，提供了一种数据查询装置。

一种数据查询装置，预先设置与各用户群组一一对应的虚拟服务器，且每个虚拟服务器与分布式集群中的多个预设的任务代理服务器相对应，所述装置包括：任务接收模块，用于接收用户的数据查询任务，并将所述数据查询任务提交到与所述用户所属的用户群组对应的虚拟服务器；任务分配模块，用于通过与所述用户所属的用户群组对应的虚拟服务器从对应的多个预设的任务代理服务器中筛选出可用任务代理服务器，并将所述数据查询任务分配到该可用任务代理服务器；任务执行模块，用于通过所述可用任务代理服务器将所述数据查询任务提交到所述分布式集群以执行数据查询。

可选地，还包括查询配置模块，用于：接收并保存查询配置信息，所述查询配置信息包括对各虚拟服务器的配置信息、对各任务代理服务器的配置信息、以及对用户权限的配置信息。

可选地，还包括界面显示模块，用于通过Web可视化界面接收所述查询配置信息和所述用户的数据查询任务。

可选地，所述任务接收模块还用于：判断与所述用户所属的用户群组对应的虚拟服务器的当前并发任务数是否小于预设的并发任务数上限值，若是，则将所述数据查询任务立即提交到与所述用户所属的用户群组对应的虚拟服务器，否则，等待所述当前并发任务数小于所述预设的并发任务数上限值时再将所述数据查询任务提交到与所述用户所属的用户群组对应的虚拟服务器。

可选地，所述任务分配模块还用于：通过与所述用户所属的用户群组对应的虚拟服务器定时轮询对应的各预设的任务代理服务器向Web服务端反馈的状态信息；根据所述状态信息判断所述各预设的任务代理服务器当前的状态是否空闲；如果当前存在状态空闲的任务代理服务器，则将其中一个状态空闲的任务代理服务器选取为可用任务代理服务器，否则，继续定时轮询所述状态信息，直到选取出所述可用任务代理服务器。

可选地，所述状态信息包括所述各预设的任务代理服务器的CPU、内存、硬盘存储器、进程四类资源的利用率的实时数值，还包括所述各预设的任务代理服务器的实时并发任务数，所述任务分配模块还用于：判断所述各预设的任务代理服务器的所述四类资源的利用率的实时数值是否小于预设阈值，并且判断所述各预设的任务代理服务器的实时并发任务数是否小于预设的最大并发任务数，如果一任务代理服务器的所述四类资源的利用率的实时数值小于所述预设阈值，且所述实时并发任务数小于所述预设的最大并发任务数，则该任务代理服务器当前的状态空闲，否则，该任务代理服务器当前的状态忙碌。

可选地，所述用户的数据查询任务包括查询命令，所述装置还包括轨迹保存模块，用于：保存由所述用户的查询命令形成的数据查询轨迹。

根据本发明实施例的又一方面，提供了一种电子设备。

一种电子设备，包括：一个或多个处理器；存储器，用于存储一个或多个程序，当所述一个或多个程序被所述一个或多个处理器执行时，使得所述一个或多个处理器实现数据查询方法。

根据本发明实施例的又一方面，提供了一种计算机可读介质。

一种计算机可读介质，其上存储有计算机程序，所述程序被处理器执行时实现数据查询方法。

上述发明中的一个实施例具有如下优点或有益效果：预先设置与各用户群组一一对应的虚拟服务器，且每个虚拟服务器与分布式集群中的多个预设的任务代理服务器相对应，接收用户的数据查询任务之后，将数据查询任务提交到与用户所属的用户群组对应的虚拟服务器，通过与用户所属的用户群组对应的虚拟服务器从对应的多个预设的任务代理服务器中筛选出可用任务代理服务器，并将数据查询任务分配到该可用任务代理服务器，通过可用任务代理服务器将数据查询任务提交到分布式集群以执行数据查询。能够实现了一种对平台用户集群资源隔离、提交任务的任务代理服务器隔离且能自动分配任务代理服务器来运行大数据查询任务的简单易用的可视化数据查询机制，有效避免了不同团队平台用户对资源的争抢情况，并避免了任务代理服务器资源饱和而影响其他查询任务的情况，还可审计数据查询的历史轨迹。

上述的非惯用的可选方式所具有的进一步效果将在下文中结合具体实施方式加以说明。

附图说明

附图用于更好地理解本发明，不构成对本发明的不当限定。其中：

图1是根据本发明实施例的数据查询方法的主要步骤示意图；

图2是根据本发明实施例的数据查询方法的优选流程示意图；

图3是根据本发明实施例的数据查询装置的主要模块示意图；

图4是本发明实施例可以应用于其中的示例性系统架构图；

图5是适于用来实现本发明实施例的终端设备的计算机系统的结构示意图。

具体实施方式

以下结合附图对本发明的示范性实施例做出说明，其中包括本发明实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本发明的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。

图1是根据本发明实施例的数据查询方法的主要步骤示意图。

本发明实施例的数据查询方法主要是通过大数据查询平台查询数据，本发明实施例的数据查询方法需要预先设置与各用户群组一一对应的虚拟服务器，且每个虚拟服务器与分布式集群中的多个预设的任务代理服务器相对应。分布式集群例如Hadoop集群。Hadoop是一个由Apache基金会所开发的分布式系统基础架构，用户可以在不了解分布式底层细节的情况下，开发分布式程序，充分利用Hadoop集群进行高速运算和存储，Hadoop的框架最核心的设计是HDFS(Hadoop分布式文件系统)和MapReduce(面向大数据并行处理的计算模型、框架和平台)，其中，HDFS为海量的数据提供了存储功能，MapReduce则为海量的数据提供了计算功能。分布式集群中的多个预设的任务代理服务器可以为分布式集群中的多个客户端，例如Hadoop集群上的多个客户端。本发明实施例的数据查询方法主要包括如下的步骤S101至步骤S103。

步骤S101：接收用户的数据查询任务，并将数据查询任务提交到与用户所属的用户群组对应的虚拟服务器。

接收用户的数据查询任务的步骤之前，还可以接收并保存查询配置信息，该查询配置信息主要是大数据查询平台的管理员输入到大数据查询平台的对数据查询功能参数的设置信息，可以包括对各虚拟服务器的配置信息、对各任务代理服务器的配置信息、以及对用户权限的配置信息。其中，对各虚拟服务器的配置信息包括对应各用户群组配置相应的虚拟服务器，以及设置各虚拟服务器并发任务数上限值等信息；对各任务代理服务器的配置信息主要是将分布式集群中的各客户端以多个客户端对应一个虚拟服务器的形式进行配置的信息，每个客户端经过该配置之后可以作为一个任务代理服务器，还包括设置各任务代理服务器的最大并发任务数等信息；对用户权限的配置信息主要是配置查询数据的普通用户的权限和配置对该查询数据的大数据查询平台进行管理的管理员的权限。其中，需要说明的是，“用户权限”中的“用户”包括查询数据的普通用户和管理员，而本发明实施例中单独出现的“用户”只包括查询数据的普通用户。Web服务端可以通过大数据查询平台中的权限管理功能判断用户权限。

可以通过Web可视化界面接收查询配置信息和用户的数据查询任务。

用户的数据查询任务包括查询命令。查询命令可为Hive查询命令。Hive是基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张数据库表，并提供简单的SQL查询功能，可以将SQL语句转换为MapReduce任务进行运行。

接收用户的数据查询任务的步骤之后，还可以保存由用户的查询命令形成的数据查询轨迹，用户在Web可视化界面提交查询命令时，大数据查询平台可以将查询命令的提交轨迹(如命令1，命令2，命令3……)记录到数据库中。普通用户登录大数据查询平台之后可以查询自己的数据查询轨迹，管理员可以查询所有普通用户的数据查询轨迹，具体地，用户或管理员通过大数据查询平台审计Web页面，按照用户或时间，查询用户以往执行的查询命令。本发明实施例的大数据查询平台还支持审计追溯数据操作轨迹的功能，数据操作轨迹包括普通用户或管理员在大数据查询平台进行的数据查询、数据删除或其他数据操作的轨迹。该审计追溯数据操作轨迹的功能可以实现对数据的安全控制，使得对数据操作有迹可循。

将数据查询任务提交到与用户所属的用户群组对应的虚拟服务器的步骤，具体可以包括：判断与用户所属的用户群组对应的虚拟服务器的当前并发任务数是否小于预设的并发任务数上限值，若是，则将数据查询任务立即提交到与用户所属的用户群组对应的虚拟服务器，否则，等待当前并发任务数小于预设的并发任务数上限值时再将数据查询任务提交到与用户所属的用户群组对应的虚拟服务器。

用户群组可以是一个业务条线或子公司、部门的用户的集合，虚拟服务器的预设的并发任务数上限值可以是针对该业务条线或子公司、部门的总体并发任务数上限。该并发任务数上限值可以根据实际的业务需求可以设置具体数值。

步骤S102：通过与用户所属的用户群组对应的虚拟服务器从对应的多个预设的任务代理服务器中筛选出可用任务代理服务器，并将数据查询任务分配到该可用任务代理服务器。

具体地，通过与用户所属的用户群组对应的虚拟服务器从对应的多个预设的任务代理服务器中筛选出可用任务代理服务器的步骤，可以包括：通过与用户所属的用户群组对应的虚拟服务器定时轮询对应的各预设的任务代理服务器向Web服务端反馈的状态信息；根据状态信息判断各预设的任务代理服务器当前的状态是否空闲；如果当前存在状态空闲的任务代理服务器，则将其中一个状态空闲的任务代理服务器选取为可用任务代理服务器，否则，继续定时轮询状态信息，直到选取出可用任务代理服务器。

其中，状态信息体现了各任务代理服务器的最新资源使用情况，状态信息可以包括各预设的任务代理服务器的CPU、内存、硬盘存储器、进程四类资源的利用率的实时数值，还包括各预设的任务代理服务器的实时并发任务数。任务代理服务器抓取任务代理服务器节点的CPU、内存、硬盘存储器、进程等资源的监控程序，并将此类资源使用情况周期性地反馈给Web服务端。

根据状态信息判断各预设的任务代理服务器当前的状态是否空闲的步骤，具体可以包括：判断各预设的任务代理服务器的四类资源的利用率的实时数值是否小于预设阈值，并且判断各预设的任务代理服务器的实时并发任务数是否小于预设的最大并发任务数，如果一任务代理服务器的四类资源的利用率的实时数值小于预设阈值，且实时并发任务数小于预设的最大并发任务数，则该任务代理服务器当前的状态空闲，否则，该任务代理服务器当前的状态忙碌。预设阈值可以自行设置，例如设置为85％。

设置任务代理服务器的预设的最大并发任务数可以保护任务代理服务器在高并发情况下该服务器可以正常执行任务，避免程序异常或服务器故障。

当用户在大数据查询平台上提交数据查询任务时，虚拟服务器根据Web服务端获取到的各任务代理服务器的状态空闲情况，将从任务代理服务器中筛选出一个状态空闲的任务代理服务器来运行该任务，提交到分布式集群进行计算，这种提交任务的机制与分布式集群Yarn资源管控相结合，使得各用户群组的数据查询任务在执行时任务代理服务器资源互不影响。分布式集群Yarn资源管控是分布式集群资源管理的一种搭建方式，实现按照资源队列形式控制不同用户群组的集群队列的CPU、内存资源、任务并发控制。以Hadoop集群为例，通过Hadoop用户(预先设置在Hadoop集群的Yarn上)的Yarn资源控制，能与大数据查询平台的普通用户对接，实现数据查询任务只能在对应的Hadoop用户Yarn上执行，合理利用Hadoop集群资源。

步骤S103：通过可用任务代理服务器将数据查询任务提交到分布式集群以执行数据查询。

例如，通过可用任务代理服务器将数据查询任务提交到Hadoop集群的Hadoop集群计算节点以运行数据查询任务，执行查询命令以便查询数据。

本发明实施例的大数据查询平台采用单元模块化设计，实现过程中可以采用各类编程语言实现，如：java、C++、C等，本发明实施例以采用java实现为例，主要java类设计包括大数据查询服务类、任务代理服务器资源监控类、虚拟服务器任务分配类、任务代理服务器类，下面结合上述各步骤的内容详细介绍各java类。

大数据查询服务类包括Class_Task_Query_Run、Class_Task_Server_Clien_Monitor、Class_Task_Query_Backup。其中，Class_Task_Query_Run根据虚拟服务器并发设置参数，判断虚拟服务器是否可以执行提交用户的数据查询任务，如果达到运行条件，则调用虚拟服务器任务分配类进行任务分配。Class_Task_Server_Clien_Monitor获取并保存任务代理服务器的状态信息、并提供任务代理服务器的最新资源使用情况接口服务。Class_Task_Query_Backup记录用户的数据查询轨迹，并支持审计追溯数据操作轨迹的功能。

任务代理服务器资源监控类包括Class_Task_Client_Monitor，用于任务代理服务器将资源使用情况例如CPU、内存、硬盘存储器、进程四类资源的利用率等状态信息发送给Web服务端。

虚拟服务器任务分配类包括Class_Task_Distribution，用于当虚拟服务器执行数据查询任务时，根据任务代理服务器的并发任务数、资源使用情况，选择资源空闲(即状态空闲)的任务代理服务器运行数据查询任务。

任务代理服务器类Class_Task_Agent，用于当虚拟服务器判断到状态空闲的任务代理服务器，并分配数据查询任务到该任务代理服务器后，任务代理服务器类根据数据查询任务的相关信息，调用该任务的程序脚本，启动任务脚本，将数据查询任务提交到Hadoop集群执行，并显示任务日志，该日志展现在Web服务端的用户任务查询页面的日志信息中。任务日志是在提交数据查询任务的任务代理服务器上产生并记录下来，并显示于Web服务端的任务执行的Web页面中，具体地，在Web页面中选择查询某个任务日志时，Web服务器将会加载任务代理服务器上的该任务日志内容到Web页面中。

图2是根据本发明实施例的数据查询方法的优选流程示意图。

如图2所示，本发明实施例的数据查询方法优选流程包括如下的步骤：

步骤S201：大数据查询平台确定登录用户的权限为普通用户权限。

如果大数据查询平台确定登录用户权限不是普通用户权限，而是管理员权限，则该管理员可以通过大数据平台的Web可视化界面输入对数据查询功能参数的设置信息，可以包括对各虚拟服务器的配置信息、对各任务代理服务器的配置信息、以及对用户权限的配置信息。

步骤S202：接收用户的数据查询任务。

步骤S203：Web服务端判断当前是否达到与用户所属的用户群组对应的虚拟服务器的并发任务数上限值，若是，则执行步骤S204，否则，执行步骤S205。

步骤S204：Web服务端将当前的数据查询任务加入与用户所属的用户群组对应的虚拟服务器的任务等待队列。

将当前的数据查询任务加入该虚拟服务器的任务等待队列，以便等待该虚拟服务器的当前并发任务数小于预设的并发任务数上限值时，执行步骤S205。

步骤S205：Web服务端将数据查询任务提交到与用户所属的用户群组对应的虚拟服务器，该虚拟服务器将数据查询任务分配到对应的任务代理服务器，然后执行步骤S206。

步骤S206：虚拟服务器判断对应的任务代理服务器中是否有状态空闲的任务代理服务器，若是，则执行步骤S207，否则，执行步骤S208。

步骤S207：通过一个状态空闲的任务代理服务器将数据查询任务提交到分布式集群，然后执行步骤S209。

步骤S208：虚拟服务器将当前的数据查询任务加入任务代理服务器的等待队列。

当前的数据查询任务加入任务代理服务器的等待队列以等待有状态空闲的任务代理服务器，在有状态空闲的任务代理服务器时，执行步骤S207。

步骤S209：分布式集群执行数据查询任务。

本发明实施例的数据查询方法实现了平台(即大数据查询平台)用户集群资源隔离、提交任务的任务代理服务器隔离且能自动分配任务代理服务器来运行大数据查询任务的简单易用的可视化数据查询机制，有效避免了不同团队平台用户对资源的争抢情况，并避免了任务代理服务器资源饱和而影响其他查询任务的情况，并且利于进行功能扩展。

图3是根据本发明实施例的数据查询装置的主要模块示意图。

如图3所示，本发明实施例的数据查询装置300主要包括任务接收模块301、任务分配模块302、任务执行模块303。数据查询装置300预先设置与各用户群组一一对应的虚拟服务器，且每个虚拟服务器与分布式集群中的多个预设的任务代理服务器相对应。数据查询装置300构成本发明实施例的大数据查询平台。

任务接收模块301，用于接收用户的数据查询任务，并将数据查询任务提交到与用户所属的用户群组对应的虚拟服务器。

任务分配模块302，用于通过与用户所属的用户群组对应的虚拟服务器从对应的多个预设的任务代理服务器中筛选出可用任务代理服务器，并将数据查询任务分配到该可用任务代理服务器。

任务执行模块303，用于通过可用任务代理服务器将数据查询任务提交到分布式集群以执行数据查询。

数据查询装置300还可以包括查询配置模块，用于：接收并保存查询配置信息，查询配置信息包括对各虚拟服务器的配置信息、对各任务代理服务器的配置信息、以及对用户权限的配置信息。

数据查询装置300还可以包括界面显示模块，用于通过Web可视化界面接收查询配置信息和用户的数据查询任务。

任务接收模块301还可以用于：判断与用户所属的用户群组对应的虚拟服务器的当前并发任务数是否小于预设的并发任务数上限值，若是，则将数据查询任务立即提交到与用户所属的用户群组对应的虚拟服务器，否则，等待当前并发任务数小于预设的并发任务数上限值时再将数据查询任务提交到与用户所属的用户群组对应的虚拟服务器。

任务分配模块302还可以用于：通过与用户所属的用户群组对应的虚拟服务器定时轮询对应的各预设的任务代理服务器向Web服务端反馈的状态信息；根据状态信息判断各预设的任务代理服务器当前的状态是否空闲；如果当前存在状态空闲的任务代理服务器，则将其中一个状态空闲的任务代理服务器选取为可用任务代理服务器，否则，继续定时轮询状态信息，直到选取出可用任务代理服务器。

状态信息具体可以包括各预设的任务代理服务器的CPU、内存、硬盘存储器、进程四类资源的利用率的实时数值，还包括各预设的任务代理服务器的实时并发任务数。

任务分配模块302还可以用于：判断各预设的任务代理服务器的四类资源的利用率的实时数值是否小于预设阈值，并且判断各预设的任务代理服务器的实时并发任务数是否小于预设的最大并发任务数，如果一任务代理服务器的四类资源的利用率的实时数值小于预设阈值，且实时并发任务数小于预设的最大并发任务数，则该任务代理服务器当前的状态空闲，否则，该任务代理服务器当前的状态忙碌。

用户的数据查询任务包括查询命令。数据查询装置300还可以包括轨迹保存模块，用于：保存由用户的查询命令形成的数据查询轨迹。

图4示出了可以应用本发明实施例的数据查询方法或数据查询装置的示例性系统架构400。

如图4所示，系统架构400可以包括终端设备401、402、403，网络404和服务器405。网络404用以在终端设备401、402、403和服务器405之间提供通信链路的介质。网络404可以包括各种连接类型，例如有线、无线通信链路或者光纤电缆等等。

用户可以使用终端设备401、402、403通过网络404与服务器405交互，以接收或发送消息等。终端设备401、402、403上可以安装有各种通讯客户端应用，例如数据查询应用、即时通信工具、邮箱客户端、社交平台软件等。

终端设备401、402、403可以是具有显示屏并且支持网页浏览的各种电子设备，包括但不限于智能手机、平板电脑、膝上型便携计算机和台式计算机等等。

服务器405可以是提供各种服务的服务器，例如对用户利用终端设备401、402、403所浏览的数据查询应用提供支持的后台管理服务器。后台管理服务器可以对接收到的数据查询请求等数据进行分析等处理，并将处理结果(例如查询到的业务数据)反馈给终端设备。

需要说明的是，本发明实施例所提供的数据查询方法一般由服务器405执行，相应地，数据查询装置一般设置于服务器405中。

应该理解，图4中的终端设备、网络和服务器的数目仅仅是示意性的。根据实现需要，可以具有任意数目的终端设备、网络和服务器。

下面参考图5，其示出了适于用来实现本申请实施例的终端设备的计算机系统500的结构示意图。图5示出的终端设备仅仅是一个示例，不应对本申请实施例的功能和使用范围带来任何限制。

如图5所示，计算机系统500包括中央处理单元(CPU)501，其可以根据存储在只读存储器(ROM)502中的程序或者从存储部分508加载到随机访问存储器(RAM)503中的程序而执行各种适当的动作和处理。在RAM 503中，还存储有系统500操作所需的各种程序和数据。CPU 501、ROM 502以及RAM 503通过总线504彼此相连。输入/输出(I/O)接口505也连接至总线504。

以下部件连接至I/O接口505：包括键盘、鼠标等的输入部分506；包括诸如阴极射线管(CRT)、液晶显示器(LCD)等以及扬声器等的输出部分507；包括硬盘等的存储部分508；以及包括诸如LAN卡、调制解调器等的网络接口卡的通信部分509。通信部分509经由诸如因特网的网络执行通信处理。驱动器510也根据需要连接至I/O接口505。可拆卸介质511，诸如磁盘、光盘、磁光盘、半导体存储器等等，根据需要安装在驱动器510上，以便于从其上读出的计算机程序根据需要被安装入存储部分508。

特别地，根据本发明公开的实施例，上文参考流程图描述的过程可以被实现为计算机软件程序。例如，本发明公开的实施例包括一种计算机程序产品，其包括承载在计算机可读介质上的计算机程序，该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中，该计算机程序可以通过通信部分509从网络上被下载和安装，和/或从可拆卸介质511被安装。在该计算机程序被中央处理单元(CPU)501执行时，执行本申请的系统中限定的上述功能。

需要说明的是，本发明所示的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本申请中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。而在本申请中，计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于：无线、电线、光缆、RF等等，或者上述的任意合适的组合。

附图中的流程图和框图，图示了按照本申请各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，上述模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图或流程图中的每个方框、以及框图或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。

描述于本发明实施例中所涉及到的模块可以通过软件的方式实现，也可以通过硬件的方式来实现。所描述的模块也可以设置在处理器中，例如，可以描述为：一种处理器包括任务接收模块301、任务分配模块302、任务执行模块303。其中，这些模块的名称在某种情况下并不构成对该模块本身的限定，例如，任务接收模块301还可以被描述为“用于接收用户的数据查询任务，并将数据查询任务提交到与用户所属的用户群组对应的虚拟服务器的模块”。

作为另一方面，本发明还提供了一种计算机可读介质，该计算机可读介质可以是上述实施例中描述的设备中所包含的；也可以是单独存在，而未装配入该设备中。上述计算机可读介质承载有一个或者多个程序，当上述一个或者多个程序被一个该设备执行时，使得该设备包括：接收用户的数据查询任务，并将数据查询任务提交到与用户所属的用户群组对应的虚拟服务器；通过与用户所属的用户群组对应的虚拟服务器从对应的多个预设的任务代理服务器中筛选出可用任务代理服务器，并将数据查询任务分配到该可用任务代理服务器；通过可用任务代理服务器将数据查询任务提交到分布式集群以执行数据查询。

根据本发明实施例的技术方案，预先设置与各用户群组一一对应的虚拟服务器，且每个虚拟服务器与分布式集群中的多个预设的任务代理服务器相对应，接收用户的数据查询任务之后，将数据查询任务提交到与用户所属的用户群组对应的虚拟服务器，通过与用户所属的用户群组对应的虚拟服务器从对应的多个预设的任务代理服务器中筛选出可用任务代理服务器，并将数据查询任务分配到该可用任务代理服务器，通过可用任务代理服务器将数据查询任务提交到分布式集群以执行数据查询。能够实现了一种对平台用户集群资源隔离、提交任务的任务代理服务器隔离且能自动分配任务代理服务器来运行大数据查询任务的简单易用的可视化数据查询机制，有效避免了不同团队平台用户对资源的争抢情况，并避免了任务代理服务器资源饱和而影响其他查询任务的情况，还可审计数据查询的历史轨迹。

上述具体实施方式，并不构成对本发明保护范围的限制。本领域技术人员应该明白的是，取决于设计要求和其他因素，可以发生各种各样的修改、组合、子组合和替代。任何在本发明的精神和原则之内所作的修改、等同替换和改进等，均应包含在本发明保护范围之内。

Claims (16)

1.一种数据查询方法，其特征在于，预先设置与各用户群组一一对应的虚拟服务器，且每个虚拟服务器与分布式集群中的多个预设的任务代理服务器相对应，所述方法包括：

接收用户的数据查询任务，并将所述数据查询任务提交到与所述用户所属的用户群组对应的虚拟服务器；

通过与所述用户所属的用户群组对应的虚拟服务器从对应的多个预设的任务代理服务器中筛选出可用任务代理服务器，并将所述数据查询任务分配到该可用任务代理服务器；

通过所述可用任务代理服务器将所述数据查询任务提交到所述分布式集群以执行数据查询。

2.根据权利要求1所述的方法，其特征在于，接收用户的数据查询任务的步骤之前，包括：

接收并保存查询配置信息，所述查询配置信息包括对各虚拟服务器的配置信息、对各任务代理服务器的配置信息、以及对用户权限的配置信息。

3.根据权利要求2所述的方法，其特征在于，通过Web可视化界面接收所述查询配置信息和所述用户的数据查询任务。

4.根据权利要求1所述的方法，其特征在于，将所述数据查询任务提交到与所述用户所属的用户群组对应的虚拟服务器的步骤，包括：

判断与所述用户所属的用户群组对应的虚拟服务器的当前并发任务数是否小于预设的并发任务数上限值，

若是，则将所述数据查询任务立即提交到与所述用户所属的用户群组对应的虚拟服务器，否则，等待所述当前并发任务数小于所述预设的并发任务数上限值时再将所述数据查询任务提交到与所述用户所属的用户群组对应的虚拟服务器。

5.根据权利要求1所述的方法，其特征在于，通过与所述用户所属的用户群组对应的虚拟服务器从对应的多个预设的任务代理服务器中筛选出可用任务代理服务器的步骤，包括：

通过与所述用户所属的用户群组对应的虚拟服务器定时轮询对应的各预设的任务代理服务器向Web服务端反馈的状态信息；

根据所述状态信息判断所述各预设的任务代理服务器当前的状态是否空闲；

如果当前存在状态空闲的任务代理服务器，则将其中一个状态空闲的任务代理服务器选取为可用任务代理服务器，否则，继续定时轮询所述状态信息，直到选取出所述可用任务代理服务器。

6.根据权利要求5所述的方法，其特征在于，所述状态信息包括所述各预设的任务代理服务器的CPU、内存、硬盘存储器、进程四类资源的利用率的实时数值，还包括所述各预设的任务代理服务器的实时并发任务数，

根据所述状态信息判断所述各预设的任务代理服务器当前的状态是否空闲的步骤，包括：

判断所述各预设的任务代理服务器的所述四类资源的利用率的实时数值是否小于预设阈值，并且判断所述各预设的任务代理服务器的实时并发任务数是否小于预设的最大并发任务数，

如果一任务代理服务器的所述四类资源的利用率的实时数值小于所述预设阈值，且所述实时并发任务数小于所述预设的最大并发任务数，则该任务代理服务器当前的状态空闲，否则，该任务代理服务器当前的状态忙碌。

7.根据权利要求1所述的方法，其特征在于，所述用户的数据查询任务包括查询命令，

接收用户的数据查询任务的步骤之后，包括：

保存由所述用户的查询命令形成的数据查询轨迹。

8.一种数据查询装置，其特征在于，预先设置与各用户群组一一对应的虚拟服务器，且每个虚拟服务器与分布式集群中的多个预设的任务代理服务器相对应，所述装置包括：

任务接收模块，用于接收用户的数据查询任务，并将所述数据查询任务提交到与所述用户所属的用户群组对应的虚拟服务器；

任务分配模块，用于通过与所述用户所属的用户群组对应的虚拟服务器从对应的多个预设的任务代理服务器中筛选出可用任务代理服务器，并将所述数据查询任务分配到该可用任务代理服务器；

任务执行模块，用于通过所述可用任务代理服务器将所述数据查询任务提交到所述分布式集群以执行数据查询。

9.根据权利要求8所述的装置，其特征在于，还包括查询配置模块，用于：

接收并保存查询配置信息，所述查询配置信息包括对各虚拟服务器的配置信息、对各任务代理服务器的配置信息、以及对用户权限的配置信息。

10.根据权利要求9所述的装置，其特征在于，还包括界面显示模块，用于通过Web可视化界面接收所述查询配置信息和所述用户的数据查询任务。

11.根据权利要求8所述的装置，其特征在于，所述任务接收模块还用于：

判断与所述用户所属的用户群组对应的虚拟服务器的当前并发任务数是否小于预设的并发任务数上限值，

若是，则将所述数据查询任务立即提交到与所述用户所属的用户群组对应的虚拟服务器，否则，等待所述当前并发任务数小于所述预设的并发任务数上限值时再将所述数据查询任务提交到与所述用户所属的用户群组对应的虚拟服务器。

12.根据权利要求8所述的装置，其特征在于，所述任务分配模块还用于：

通过与所述用户所属的用户群组对应的虚拟服务器定时轮询对应的各预设的任务代理服务器向Web服务端反馈的状态信息；

根据所述状态信息判断所述各预设的任务代理服务器当前的状态是否空闲；

如果当前存在状态空闲的任务代理服务器，则将其中一个状态空闲的任务代理服务器选取为可用任务代理服务器，否则，继续定时轮询所述状态信息，直到选取出所述可用任务代理服务器。

13.根据权利要求12所述的装置，其特征在于，所述状态信息包括所述各预设的任务代理服务器的CPU、内存、硬盘存储器、进程四类资源的利用率的实时数值，还包括所述各预设的任务代理服务器的实时并发任务数，

所述任务分配模块还用于：

判断所述各预设的任务代理服务器的所述四类资源的利用率的实时数值是否小于预设阈值，并且判断所述各预设的任务代理服务器的实时并发任务数是否小于预设的最大并发任务数，

如果一任务代理服务器的所述四类资源的利用率的实时数值小于所述预设阈值，且所述实时并发任务数小于所述预设的最大并发任务数，则该任务代理服务器当前的状态空闲，否则，该任务代理服务器当前的状态忙碌。

14.根据权利要求8所述的装置，其特征在于，所述用户的数据查询任务包括查询命令，

所述装置还包括轨迹保存模块，用于：

保存由所述用户的查询命令形成的数据查询轨迹。

15.一种电子设备，其特征在于，包括：

一个或多个处理器；

存储器，用于存储一个或多个程序，

当所述一个或多个程序被所述一个或多个处理器执行时，使得所述一个或多个处理器实现如权利要求1-7中任一所述的方法。

16.一种计算机可读介质，其上存储有计算机程序，其特征在于，所述程序被处理器执行时实现如权利要求1-7中任一所述的方法。