CN110908778A - 任务部署方法、系统和存储介质 - Google Patents

Abstract

本申请涉及大数据，提供一种任务部署方法、系统和存储介质。所述方法包括：网页服务器接收终端发送的大数据任务信息，向微服务服务器发送任务创建请求；微服务服务器根据任务创建请求得到大数据任务信息和权限标识，验证权限标识，当权限标识验证通过时，向代理服务器发送文件生成指令；代理服务器根据文件生成指令得到大数据任务信息和权限标识验证通过信息，根据权限标识验证通过信息使用大数据任务信息生成任务执行文件和任务执行语句文件，向大数据服务器发送任务生成请求；大数据服务器根据任务生成请求使用任务执行文件和任务执行语句文件生成大数据任务，将大数据任务存储到任务数据库中。采用本方法能够提高大数据服务器中数据安全性。

Description

任务部署方法、系统和存储介质

技术领域

本申请涉及计算机技术领域，特别是涉及一种任务部署方法、系统和存储介质。

背景技术

随着大数据技术的发展，越来越多的网站使用大数据服务。目前，大数据服务通常通过大数据任务来实现，即通过将大数据任务写成任务脚本文件，将任务脚本文件上传到大数据服务器集群中，大数据服务器集群执行任务脚本文件对大数据服务器集群中存储的数据进行处理。然而，将任务脚本文件上传到大数据服务器集群中，大数据服务器集群直接使用任务脚本文件对存储的数据进行处理，可能会造成数据泄露的安全风险。

发明内容

基于此，有必要针对上述技术问题，提供一种能够提高大数据服务器集群中数据安全性的任务部署方法、系统和存储介质。

一种任务部署方法，所述方法包括：

网页服务器接收终端发送的大数据任务信息，向微服务服务器发送任务创建请求，任务创建请求携带有大数据任务信息和权限标识；

微服务服务器接收任务创建请求，根据任务创建请求得到大数据任务信息和权限标识，验证权限标识，当权限标识验证通过时，向代理服务器发送文件生成指令，文件生成指令携带有大数据任务信息和权限标识验证通过信息；

代理服务器接收文件生成指令，根据文件生成指令得到大数据任务信息和权限标识验证通过信息，根据权限标识验证通过信息使用大数据任务信息生成任务执行文件和任务执行语句文件，向大数据服务器发送任务生成请求，任务生成请求携带任务执行文件和任务执行语句文件；

大数据服务器接收任务生成请求，根据任务生成请求使用任务执行文件和任务执行语句文件生成大数据任务，将大数据任务存储到任务数据库中。

在其中一个实施例中，在向代理服务器发送文件生成指令之前，还包括：

微服务服务器根据大数据任务信息生成任务记录信息，将任务记录信息保存。

在其中一个实施例中，在微服务服务器根据大数据任务信息生成任务记录信息，将任务记录信息保存之后，还包括：

网页服务器接收终端发送的大数据任务查询指令，大数据任务查询指令携带有查询任务标识，根据大数据任务查询指令向微服务服务器发送大数据任务查询请求；

微服务服务器接收大数据任务查询请求，解析大数据任务查询请求得到查询任务标识，根据查询任务标识在任务记录信息中查找对应的目标任务记录信息，将目标任务记录信息通过网页服务器返回终端进行展示。

在其中一个实施例中，向大数据服务器发送任务生成请求，任务生成请求携带所述任务执行文件和所述任务执行语句文件，包括：

代理服务器调用文件压缩接口，将任务执行文件和任务执行语句文件进行压缩，得到预设格式的压缩文件，向大数据服务器发送目标任务生成请求，目标任务生成请求携带有预设格式的压缩文件。

在其中一个实施例中，在根据任务生成请求使用任务执行文件和任务执行语句文件生成大数据任务，将大数据任务存储到任务数据库中之后，还包括：

网页服务器接收任务执行指令，任务执行指令携带有执行任务标识，根据任务执行指令将执行任务标识通过微服务服务器和代理服务器发送到大数据服务器；

大数据服务器接收到执行任务标识，在任务数据库中查找到对应的目标任务执行文件和目标任务执行语句文件，解析目标任务执行文件和目标任务执行语句文件，得到任务执行方式和任务执行语句；

大数据服务器通过任务执行方式执行任务执行语句，得到任务执行结果，并将任务执行结果通过代理服务器、微服务服务器和网页服务器返回终端。

在其中一个实施例中，在大数据服务器通过任务执行方式执行任务执行语句，得到任务执行结果之后，还包括：

大数据服务器根据任务执行结果生成任务执行结果状态，将任务执行结果状态通过代理服务器发送微服务服务器；

微服务服务器根据任务执行结果状态向预设地址发送对应的提示信息。

在其中一个实施例中，所述方法还包括：

网页服务器接收对大数据任务的定时设置指令，定时设置指令携带定时调度信息和定时任务标识，根据定时调度信息计算得到时间表达式，将时间表达式和定时任务标识发送微服务服务器中；

微服务服务器根据定时任务标识将时间表达式保存并将时间表达式和定时任务标识通过代理服务器发送到大数据服务器中；

大数据服务器根据定时任务标识将时间表达式保存到任务数据库中。

一种任务部署系统，所述系统包括网页服务器、微服务服务器、代理服务器和大数据服务器：

网页服务器，用于接收终端发送的大数据任务信息，向微服务服务器发送任务创建请求，任务创建请求携带有大数据任务信息和权限标识；

微服务服务器，用于接收任务创建请求，根据任务创建请求得到大数据任务信息和权限标识，验证权限标识，当权限标识验证通过时，向代理服务器发送文件生成指令，文件生成指令携带有大数据任务信息和权限标识验证通过信息；

代理服务器，用于接收文件生成指令，根据文件生成指令得到大数据任务信息和权限标识验证通过信息，根据权限标识验证通过信息使用大数据任务信息生成任务执行文件和任务执行语句文件，向大数据服务器发送任务生成请求，任务生成请求携带任务执行文件和任务执行语句文件；

大数据服务器，用于接收任务生成请求，根据任务生成请求使用任务执行文件和任务执行语句文件生成大数据任务，将大数据任务存储到任务数据库中。

在其中一个实施例中，所述微服务服务器还用于根据所述大数据任务信息生成任务记录信息，将所述任务记录信息保存。

一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现以下步骤：

网页服务器接收终端发送的大数据任务信息，向微服务服务器发送任务创建请求，任务创建请求携带有大数据任务信息和权限标识；

微服务服务器接收任务创建请求，根据任务创建请求得到大数据任务信息和权限标识，验证权限标识，当权限标识验证通过时，向代理服务器发送文件生成指令，文件生成指令携带有大数据任务信息和权限标识验证通过信息；

代理服务器接收文件生成指令，根据文件生成指令得到大数据任务信息和权限标识验证通过信息，根据权限标识验证通过信息使用大数据任务信息生成任务执行文件和任务执行语句文件，向大数据服务器发送任务生成请求，任务生成请求携带任务执行文件和任务执行语句文件；

大数据服务器接收任务生成请求，根据任务生成请求使用任务执行文件和任务执行语句文件生成大数据任务，将大数据任务存储到任务数据库中。

上述任务部署方法、系统和存储介质，通过网页服务器获取到大数据任务信息和权限标识，通过微服务服务器将权限验证通过将大数据任务信息发送代理服务器，代理服务器根据大数据任务信息生成任务执行文件和任务执行语句文件，代理服务器将任务执行文件和任务执行语句文件发送大数据服务器中，大数据服务器根据任务执行文件和任务执行语句文件生成大数据任务保存。通过在微服务服务器验证权限信息并通过代理服务器生成任务执行文件和任务执行语句文件，然后将任务执行文件和任务执行语句文件发送给大数据服务器，避免了直接将大数据任务上传到大数据服务器中造成的数据安全风险，并且能够减轻大数据服务器的压力，使大数据服务器专注于大数据任务的处理。

附图说明

图1为一个实施例中任务部署方法的应用场景图；

图2为一个实施例中任务部署方法的流程示意图；

图3为一个实施例中任务查询的流程示意图；

图4为一个实施例中任务执行的流程示意图；

图5为一个实施例中任务执行结果提示的流程示意图；

图6为一个实施例中任务定时设置的流程示意图；

图7为一个实施例中任务部署系统的结构框图。

具体实施方式

为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。

本申请提供的任务部署方法，可以应用于如图1所示的应用环境中。其中，终端102通过网络与网页服务器104进行通信，网页服务器104通过网络与微服务服务器106进行通信，微服务服务器106通过网络与代理服务器108进行通信，代理服务器108通过网络与大数据服务器110进行通信。网页服务器104接收终端102发送的大数据任务信息，向微服务服务器106发送任务创建请求，任务创建请求携带有大数据任务信息和权限标识；微服务服务器106接收任务创建请求，根据任务创建请求得到大数据任务信息和权限标识，验证权限标识，当权限标识验证通过时，向代理服务器108发送文件生成指令，文件生成指令携带有大数据任务信息和权限标识验证通过信息；代理服务器108接收文件生成指令，根据文件生成指令得到大数据任务信息和权限标识验证通过信息，根据权限标识验证通过信息使用大数据任务信息生成任务执行文件和任务执行语句文件，向大数据服务器110发送任务生成请求，任务生成请求携带任务执行文件和任务执行语句文件；大数据服务器110接收任务生成请求，根据任务生成请求使用任务执行文件和任务执行语句文件生成大数据任务，将大数据任务存储到任务数据库中。其中，终端102可以但不限于是各种个人计算机、笔记本电脑、智能手机、平板电脑和便携式可穿戴设备，服务器可以用独立的服务器或者是多个服务器组成的服务器集群来实现。

在一个实施例中，如图2所示，提供了一种任务部署方法，以该方法应用于图1中的服务器为例进行说明，包括以下步骤：

S202，网页服务器接收终端发送的大数据任务信息，向微服务服务器发送任务创建请求，任务创建请求携带有大数据任务信息和权限标识。

其中，网页服务器是指前端网页的服务器，用于展示服务，接收前端的指令，转发前端的指令。前端网页能够在终端中进行展示。

大数据任务信息是指对大数据进行分析和处理的任务信息，其中，大数据任务可以是Hive(基于Hadoop的一个数据仓库工具)任务、HDFS(分布式文件系统)任务、zookeeper(分布式应用程序协调服务)任务、storm(用于在容错和水平可扩展方法中处理大量数据)任务和spark(与Hadoop相似的开源集群计算环境)任务等等。大数据任务信息在Hive任务中可以是一段类似sql的语句，比如，“select*from db1.table1”表示查询db1数据表中的所有内容。权限标识用于唯一标识用户创建大数据任务的权限。

具体地，网页服务器接收终端发送的大数据任务创建指令，根据大数据任务创建指令得到大数据任务信息，然后网页服务器向微服务服务器发送任务创建请求，任务创建请求携带有大数据任务信息和权限标识。

S204，微服务服务器接收任务创建请求，根据任务创建请求得到大数据任务信息和权限标识，验证权限标识，当权限标识验证通过时，向代理服务器发送文件生成指令，文件生成指令携带有大数据任务信息和权限标识验证通过信息。

其中，微服务服务器用于实现各种微服务，比如，验证权限标识的微服务、保存数据信息的微服务、发送数据的微服务、将数据逻辑处理运算的微服务等等。权限标识验证通过信息是指权限标识有权限进行大数据任务创建的信息。

具体地，微服务服务器接收任务创建请求，根据任务创建请求得到大数据任务信息和权限标识，验证权限标识，当权限标识验证通过时，生成权限标识验证通过信息。然后微服务服务器向代理服务器发送文件生成指令，该文件生成指令携带大数据任务信息和权限标识验证通过信息。当权限标识验证未通过时，微服务服务器通过网页服务器向终端发送权限验证未通过的提示，终端展示接收到的权限验证未通过的提示。

S206，代理服务器接收文件生成指令，根据文件生成指令得到大数据任务信息和权限标识验证通过信息，根据权限标识验证通过信息使用大数据任务信息生成任务执行文件和任务执行语句文件，向大数据服务器发送任务生成请求，任务生成请求携带任务执行文件和任务执行语句文件。

其中，代理服务器是大数据服务器接收和发送信息的唯一通道，用于将外部的指令转发至大数据服务器并且通过构建大数据任务文件的方式向大数据服务器新增作用。所有对大数据服务器的访问动作都会经过代理服务器，确定大数据服务器的网络只向代理服务器开放，保证大数据服务器的安全。任务执行文件是用于执行大数据任务的脚本文件，任务执行语句文件是包含对大数据进行处理的具体任务内容的文件。

具体地，代理服务器接收到文件生成指令，解析该文件生成指令得到大数据任务信息和权限标识验证通过信息，根据权限标识验证通过信息使用大数据任务信息生成任务执行文件和任务执行语句文件，然后代理服务器向大数据服务器发送任务生成请求，任务生成请求携带任务执行文件和任务执行语句文件。比如，大数据任务信息是hive任务的“select*from db1.table1”。此时，代理服务器根据文件生成指令创建任务执行文件，该任务执行文件是一个后缀名为job的文件，该job文件的具体内容可以是：

type＝command(类型为命令)

command＝su hive-c"hive-f hive1.sql"(调用hive组件使用Shell命令执行sql语句)

同时还会创建一个后缀名为sql的任务执行语句文件，文件的内容可以是：

select*from db1.table1；(查询db1数据表中的所有数据)

然后，会将该任务执行文件和任务执行语句文件发送到大数据服务器。

S208，大数据服务器接收任务生成请求，根据任务生成请求使用任务执行文件和任务执行语句文件生成大数据任务，将大数据任务存储到任务数据库中。

其中，大数据服务器用于根据大数据任务对大数据进行分析和处理。任务数据库是用于存储大数据任务的数据库。

具体地，大数据服务器接收任务生成请求，根据任务生成请求使用任务执行文件和任务执行语句文件生成大数据任务，将大数据任务存储到任务数据库中。比如，可以根据上述job文件和sql文件生成相应的hive任务，将该hive任务存储到任务数据库中。

在上述实施例中，通过网页服务器获取到大数据任务信息和权限标识，通过微服务服务器将权限验证通过将大数据任务信息发送代理服务器，代理服务器根据大数据任务信息生成任务执行文件和任务执行语句文件，代理服务器将任务执行文件和任务执行语句文件发送大数据服务器中，大数据服务器根据任务执行文件和任务执行语句文件生成大数据任务保存。通过在微服务服务器验证权限信息并通过代理服务器生成任务执行文件和任务执行语句文件，然后将任务执行文件和任务执行语句文件发送给大数据服务器，避免了直接将大数据任务上传到大数据服务器中造成的数据安全风险，并且能够减轻大数据服务器的压力，使大数据服务器专注于大数据任务的处理。

在一个实施例中，在向代理服务器发送文件生成指令之前，还包括：

微服务服务器根据大数据任务信息生成任务记录信息，将任务记录信息保存。

其中，任务记录信息是指根据大数据任务得到对应的记录信息，包括大数据任务的任务标识、任务类型、任务内容等等。

具体地，微服务服务器在向代理服务器发送文件生成指令之前根据大数据任务信息生成任务记录信息，将任务记录信息保存到微服务服务器的任务记录数据库中。比如，任务记录信息可以是ID＝1，type＝hive，content＝“select count(1)from db1.table1”，将该任务记录信息保存到任务记录数据库中。

在上述实施例中，微服务服务器通过将任务记录信息保存到任务记录数据库中，方便直接从微服务服务器中获取到任务记录信息，从而避免从大数据服务器获取任务记录信息，减轻的大数据服务器的压力。

在一个实施例中，如图3所示，在微服务服务器根据大数据任务信息生成任务记录信息，将任务记录信息保存之后，还包括步骤：

S302，网页服务器接收终端发送的大数据任务查询指令，大数据任务查询指令携带有查询任务标识，根据大数据任务查询指令向微服务服务器发送大数据任务查询请求。

其中，查询任务标识用于唯一标识大数据任务，可以是数字，也可以是字符串等等。

具体地，网页服务器接收终端发送的大数据任务查询指令，解析该大数据任务查询指令，得到大数据任务查询指令携带的查询任务标识，根据大数据任务查询指令向微服务服务器发送大数据任务查询请求。

S304，微服务服务器接收大数据任务查询请求，解析大数据任务查询请求得到查询任务标识，根据查询任务标识在任务记录信息中查找对应的目标任务记录信息，将目标任务记录信息通过网页服务器返回终端进行展示。

其中，目标任务记录信息是指查询任务标识对应的大数据任务的任务记录信息。

具体地，微服务服务器接收大数据任务查询请求，解析大数据任务查询请求得到查询任务标识，根据查询任务标识在任务记录信息中即任务记录数据库中查找对应的目标任务记录信息，将目标任务记录信息通过网页服务器返回终端进行展示。

在上述实施例中，当网页服务器接收到大数据任务查询指令时，转发到微服务服务器中，微服务服务器根据查询任务标识查找到任务记录信息通过网页服务器返回给终端进行展示，提高了查找大数据任务记录信息的效率。

在一个实施例中，步骤S06即向大数据服务器发送任务生成请求，任务生成请求携带所述任务执行文件和所述任务执行语句文件，包括步骤：

代理服务器调用文件压缩接口，将任务执行文件和任务执行语句文件进行压缩，得到预设格式的压缩文件，向大数据服务器发送目标任务生成请求，目标任务生成请求携带有预设格式的压缩文件。

其中，文件压缩接口是指用于进行文件压缩的接口，预设格式预先设置好的压缩文件的格式，可以是zip，rar等等格式。目标任务生成请求是指携带有预设格式的压缩文件的任务生成请求。

具体地，代理服务器调用文件压缩接口，将任务执行文件和任务执行语句文件进行压缩，得到预设格式的压缩文件，向大数据服务器发送目标任务生成请求，目标任务生成请求携带有预设格式的压缩文件，

在上述实施例中，通过将任务执行文件和任务执行语句文件压缩后，将压缩文件提交到大数据服务器，提高了文件的传输效率。

在一个实施例中，如图4所示，在步骤S208之后，即在根据任务生成请求使用任务执行文件和任务执行语句文件生成大数据任务，将大数据任务存储到任务数据库中之后，还包括：

S402，网页服务器接收任务执行指令，任务执行指令携带有执行任务标识，根据任务执行指令将执行任务标识通过微服务服务器和代理服务器发送到大数据服务器。

其中，执行任务标识用于唯一标识需要执行的大数据任务。

具体地，网页服务器根据接收到任务执行指令，解析该任务执行指令得到执行任务标识，根据任务执行指令将执行任务标识通过微服务服务器和代理服务器发送到大数据服务器。

S404，大数据服务器接收到执行任务标识，在任务数据库中查找到对应的目标任务执行文件和目标任务执行语句文件，解析目标任务执行文件和目标任务执行语句文件，得到任务执行方式和任务执行语句。

其中，目标任务执行文件和目标任务执行语句文件是指需要执行大数据任务的相关文件。任务执行方式是指大数据任务执行时的具体方式，比如，调用组件使用命令执行。任务执行语句是指大数据任务需要执行的任务语句，比如，sql语句“select*fromdb1.table1”。

具体地，大数据服务器接收到任务执行请求，解析得到执行任务标识，然后在任务数据库中查找到执行任务标识对应的目标任务执行文件和目标任务执行语句文件。解析目标任务执行文件和目标任务执行语句文件，得到任务执行方式和任务执行语句。

S406，大数据服务器通过任务执行方式执行任务执行语句，得到任务执行结果，并将任务执行结果通过代理服务器、微服务服务器和网页服务器返回终端。

其中，任务执行结果是指大数据任务执行结果，包括任务执行成功和任务执行失败。

具体地，大数据服务器通过任务执行方式执行任务执行语句，得到任务执行结果，并将任务执行结果发送到代理服务器，代理服务器将任务执行结果发送微服务服务器，微服务器将任务执行结果进行保存之后，将任务执行结果返回网页服务器，网页服务器将任务执行结果返回到终端进行展示。

在上述实施例中，大数据服务器通过代理服务器接收到执行任务标识，根据执行任务标识确定目标任务执行文件和目标任务执行语句文件，得到任务执行方式和任务执行语句，通过任务执行方式执行任务执行语句，得到任务执行结果，保证了大数据服务器执行大数据任务的安全和效率。

在一个实施例中，如图5所示，在步骤S406之后，在大数据服务器通过任务执行方式执行任务执行语句，得到任务执行结果之后，还包括步骤：

S502，大数据服务器根据任务执行结果生成任务执行结果状态，将任务执行结果状态通过代理服务器发送微服务服务器。

S504，微服务服务器根据任务执行结果状态向预设地址发送对应的提示信息。

其中，任务执行结果状态用于标识任务执行结果。比如，任务执行成功时，生成任务执行成功的状态为1，当任务执行失败时，生成务执行失败的状态为2。预设地址是指预先设置好的用于接收提示信息的地址，比如，可以是邮箱地址，可以是手机号，可以是微信号等等。

具体地，大数据服务器根据任务执行结果生成任务执行结果状态，将任务执行结果状态通过代理服务器发送微服务服务器。微服务服务器接收到任务执行结果状态，当任务执行结果状态为任务执行成功的状态时，向预先设置好的地址发送任务执行成功的提示。当任务执行结果状态为任务执行失败的状态时，向预先设置好的地址发送任务执行识别的报警提示。比如，可以发送报警邮件或者发送报警短信等等。

在上述实施例中，根据任务执行结果状态向任务执行结果状态，能够使用户及时了解任务执行情况，进而进行相应的处理，提升用户体验。

在一个实施例中，如图6所示，任务部署方法还包括步骤：

S602，网页服务器接收对大数据任务的定时设置指令，定时设置指令携带定时调度信息和定时任务标识，根据定时调度信息计算得到时间表达式，将时间表达式和定时任务标识发送微服务服务器中。

其中，定时调度信息是指大数据任务定时执行的信息，包括调度周期，调度时间等等。定时任务标识用于需要定时执行的大数据任务。时间表达式是指Cron时间表达式，Cron时间表达式通过特定的规则指定时间，用于定时任务。

具体地，网页服务器接收对大数据任务的定时设置指令，定时设置指令携带定时调度信息和定时任务标识，根据定时调度信息计算得到时间表达式，将时间表达式和定时任务标识发送微服务服务器中。比如，计算得到的Cron时间表达式可以是“0 0 2 1*？*”表示在每月1日凌晨2点调度任务。

S604，微服务服务器根据定时任务标识将时间表达式保存并将时间表达式和定时任务标识通过代理服务器发送到大数据服务器中。

具体地，微服务服务器接收到时间表达式和定时任务标识，根据定时任务标识在微服务服务器数据库中查找对应的任务记录信息，然后将时间表达式和查找到的任务记录信息关联保存。然后微服务服务器再将时间表达式和定时任务标识通过代理服务器发送到大数据服务器中。

S606，大数据服务器根据定时任务标识将时间表达式保存到任务数据库中。

具体地，大数据服务器根据定时任务标识在大数据服务器数据库中查找对应的大数据任务，然后将时间表达式与查找到的大数据任务关联保存。

在一个实施例中，大数据服务器获取系统当前时间点，根据当前时间点匹配大数据服务器数据库中的时间表达式，当匹配成功时，执行该时间表达式关联的大数据任务。

在一个实施例中，可以对大数据服务器任务数据库中保持的大数据任务进行修改。微服务服务器接收到终端通过网页服务器发送的任务修改指令，该任务修改指令携带有修改任务标识和修改后的大数据任务信息，根据修改任务标识在查找对应的任务记录信息，根据修改后的大数据任务信息修改对应的任务记录信息，得到更新的任务记录信息，将更新的任务记录信息保存。然后将修改任务标识和修改后的大数据任务信息发送代理服务器，代理服务器生成修改后的任务执行文件和修改后的任务执行语句文件并发送给大数据服务器，大数据服务器接收到修改后的任务执行文件和修改后的任务执行语句文件，根据修改任务标识查找对应的大数据任务，根据修改后的任务执行文件和修改后的任务执行语句文件得到更新的大数据任务，将更新的大数据任务保存，方便用户更新大数据任务，提升用户体验。

应该理解的是，虽然图2-6的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，图2-6中的至少一部分步骤可以包括多个子步骤或者多个阶段，这些子步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些子步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。

在一个实施例中，如图7所示，提供了一种任务部署系统，所述系统包括网页服务器702、微服务服务器704、代理服务器706和大数据服务器708：

网页服务器702，用于接收终端发送的大数据任务信息，向微服务服务器发送任务创建请求，任务创建请求携带有大数据任务信息和权限标识；

微服务服务器704，用于接收任务创建请求，根据任务创建请求得到大数据任务信息和权限标识，验证权限标识，当权限标识验证通过时，向代理服务器发送文件生成指令，文件生成指令携带有大数据任务信息和权限标识验证通过信息；

代理服务器706，用于接收文件生成指令，根据文件生成指令得到大数据任务信息和权限标识验证通过信息，根据权限标识验证通过信息使用大数据任务信息生成任务执行文件和任务执行语句文件，向大数据服务器发送任务生成请求，任务生成请求携带任务执行文件和任务执行语句文件；

大数据服务器708，用于接收任务生成请求，根据任务生成请求使用任务执行文件和任务执行语句文件生成大数据任务，将大数据任务存储到任务数据库中。

在一个实施例中，微服务服务器704还用于根据所述大数据任务信息生成任务记录信息，将所述任务记录信息保存。

在一个实施例中，网页服务器702还用于接收终端发送的大数据任务查询指令，大数据任务查询指令携带有查询任务标识，根据大数据任务查询指令向微服务服务器发送大数据任务查询请求；

微服务服务器704还用于接收大数据任务查询请求，解析大数据任务查询请求得到查询任务标识，根据查询任务标识在任务记录信息中查找对应的目标任务记录信息，将目标任务记录信息通过网页服务器返回终端进行展示。

在一个实施例中，代理服务器706还用于调用文件压缩接口，将任务执行文件和任务执行语句文件进行压缩，得到预设格式的压缩文件，向大数据服务器发送目标任务生成请求，目标任务生成请求携带有预设格式的压缩文件。

在一个实施例中，网页服务器702还用于接收任务执行指令，任务执行指令携带有执行任务标识，根据任务执行指令将执行任务标识通过微服务服务器和代理服务器发送到大数据服务器；

大数据服务器708还用于接收到执行任务标识，在任务数据库中查找到对应的目标任务执行文件和目标任务执行语句文件，解析目标任务执行文件和目标任务执行语句文件，得到任务执行方式和任务执行语句；通过任务执行方式执行任务执行语句，得到任务执行结果，并将任务执行结果通过代理服务器、微服务服务器和网页服务器返回终端。

在一个实施例中，大数据服务器708还用于根据任务执行结果生成任务执行结果状态，将任务执行结果状态通过代理服务器发送微服务服务器；微服务服务器708还用于根据任务执行结果状态向预设地址发送对应的提示信息。

在一个实施例中，网页服务器702还用于接收对大数据任务的定时设置指令，定时设置指令携带定时调度信息和定时任务标识，根据定时调度信息计算得到时间表达式，将时间表达式和定时任务标识发送微服务服务器中；

微服务服务器704还用于根据定时任务标识将时间表达式保存并将时间表达式和定时任务标识通过代理服务器发送到大数据服务器中；

大数据服务器708还用于根据定时任务标识将时间表达式保存到任务数据库中。

关于任务部署系统的具体限定可以参见上文中对于任务部署方法的限定，在此不再赘述。上述任务部署系统中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。

在一个实施例中，提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现上述任意实施例中任务部署方法所述的步骤。

本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。

以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。

以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。

Claims (10)

1.一种任务部署方法，所述方法包括：

网页服务器接收终端发送的大数据任务信息，向微服务服务器发送任务创建请求，所述任务创建请求携带有所述大数据任务信息和权限标识；

所述微服务服务器接收任务创建请求，根据所述任务创建请求得到所述大数据任务信息和所述权限标识，验证所述权限标识，当所述权限标识验证通过时，向代理服务器发送文件生成指令，所述文件生成指令携带有所述大数据任务信息和所述权限标识验证通过信息；

所述代理服务器接收文件生成指令，根据所述文件生成指令得到所述大数据任务信息和所述权限标识验证通过信息，根据所述权限标识验证通过信息使用所述大数据任务信息生成任务执行文件和任务执行语句文件，向大数据服务器发送任务生成请求，所述任务生成请求携带所述任务执行文件和所述任务执行语句文件；

所述大数据服务器接收任务生成请求，根据所述任务生成请求使用所述任务执行文件和所述任务执行语句文件生成大数据任务，将所述大数据任务存储到任务数据库中。

2.根据权利要求1所述的方法，其特征在于，在所述向代理服务器发送文件生成指令之前，还包括：

所述微服务服务器根据所述大数据任务信息生成任务记录信息，将所述任务记录信息保存。

3.根据权利要求2所述的方法，其特征在于，在所述微服务服务器根据所述大数据任务信息生成任务记录信息，将所述任务记录信息保存之后，还包括：

所述网页服务器接收所述终端发送的大数据任务查询指令，所述大数据任务查询指令携带有查询任务标识，根据所述大数据任务查询指令向所述微服务服务器发送大数据任务查询请求；

所述微服务服务器接收所述大数据任务查询请求，解析所述大数据任务查询请求得到所述查询任务标识，根据所述查询任务标识在所述任务记录信息中查找对应的目标任务记录信息，将所述目标任务记录信息通过所述网页服务器返回所述终端进行展示。

4.根据权利要求1所述的方法，其特征在于，在所述向大数据服务器发送任务生成请求，所述任务生成请求携带所述任务执行文件和所述任务执行语句文件，包括：

所述代理服务器调用文件压缩接口，将所述任务执行文件和所述任务执行语句文件进行压缩，得到预设格式的压缩文件，向所述大数据服务器发送目标任务生成请求，所述目标任务生成请求携带有所述预设格式的压缩文件。

5.根据权利要求1所述的方法，其特征在于，在所述根据所述任务生成请求使用所述任务执行文件和所述任务执行语句文件生成大数据任务，将所述大数据任务存储到任务数据库中之后，还包括：

所述网页服务器接收任务执行指令，所述任务执行指令携带有执行任务标识，根据所述任务执行指令将所述执行任务标识通过所述微服务服务器和所述代理服务器发送到所述大数据服务器；

所述大数据服务器接收到所述执行任务标识，在所述任务数据库中查找到对应的目标任务执行文件和目标任务执行语句文件，解析所述目标任务执行文件和所述目标任务执行语句文件，得到任务执行方式和任务执行语句；

所述大数据服务器通过所述任务执行方式执行所述任务执行语句，得到所述任务执行结果，并将所述任务执行结果通过所述代理服务器、所述微服务服务器和所述网页服务器返回所述终端。

6.根据权利要求4所述的方法，其特征在于，在所述大数据服务器通过所述任务执行方式执行所述任务执行语句，得到所述任务执行结果之后，还包括：

所述大数据服务器根据任务执行结果生成任务执行结果状态，将所述任务执行结果状态通过所述代理服务器发送所述微服务服务器；

所述微服务服务器根据所述任务执行结果状态向预设地址发送对应的提示信息。

7.根据权利要求1所述的方法，其特征在于，所述方法还包括：

所述网页服务器接收对大数据任务的定时设置指令，所述定时设置指令携带定时调度信息和定时任务标识，根据所述定时调度信息计算得到时间表达式，将所述时间表达式和所述定时任务标识发送所述微服务服务器中；

所述微服务服务器根据所述定时任务标识将所述时间表达式保存并将所述时间表达式和所述定时任务标识通过所述代理服务器发送到所述大数据服务器中；

所述大数据服务器根据所述定时任务标识将所述时间表达式保存到所述任务数据库中。

8.一种任务部署系统，其特征在于，所述系统包括网页服务器、微服务服务器、代理服务器和大数据服务器；

所述网页服务器，用于接收终端发送的大数据任务信息，向微服务服务器发送任务创建请求，所述任务创建请求携带有所述大数据任务信息和权限标识；

所述微服务服务器，用于接收任务创建请求，根据所述任务创建请求得到所述大数据任务信息和所述权限标识，验证所述权限标识，当所述权限标识验证通过时，向代理服务器发送文件生成指令，所述文件生成指令携带有所述大数据任务信息和所述权限标识验证通过信息；

所述代理服务器，用于接收文件生成指令，根据所述文件生成指令得到所述大数据任务信息和所述权限标识验证通过信息，根据所述权限标识验证通过信息使用所述大数据任务信息生成任务执行文件和任务执行语句文件，向大数据服务器发送任务生成请求，所述任务生成请求携带所述任务执行文件和所述任务执行语句文件；

所述大数据服务器，用于接收任务生成请求，根据所述任务生成请求使用所述任务执行文件和所述任务执行语句文件生成大数据任务，将所述大数据任务存储到任务数据库中。

9.根据权利要求8所述的系统，其特征在于，所述微服务服务器还用于根据所述大数据任务信息生成任务记录信息，将所述任务记录信息保存。

10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至7中任一项所述的方法的步骤。

Images