CN109376017B - 基于容器的云计算平台任务处理方法、系统及其应用方法 - Google Patents

Abstract

本发明公开了一种基于容器的云计算平台任务处理方法、系统及其应用方法，本发明利用容器编排技术基于编程语法来识别解析计算任务中的语法定义，从而实现对计算任务中循环的处理以及计算任务之间的依赖关系处理，通过运行计算子任务A_i的容器，运行结束后将计算结果传输到数据仓库，来完成基于容器的云计算平台任务处理。本发明面向有一定编程能力的用户，提供并行和串行运行算法任务支持，解决了计算子任务之间相互依赖的问题，可根据自身业务自定义任务处理，将计算子任务使用容器结合现有容器资源编排调度完成业务处理，能够有效提高平台实用性及优化平台的资源效能。

Description

基于容器的云计算平台任务处理方法、系统及其应用方法

技术领域

本发明涉及云计算服务领域，具体涉及一种基于容器的云计算平台任务处理方法、系统及其应用方法。

背景技术

容器是轻量级的操作系统级虚拟化技术，可以让我们在一个资源隔离的进程中运行应用及其依赖项。相对于传统虚拟机技术，容器技术具有轻量级的资源开销和秒级启动时间良好属性。随着容器技术不断完善与发展，众多服务提供商以优化平台的资源效能和提升服务响应能力的目的，采用容器技术构建云计算平台，提供在线计算等服务，随着阿里云、亚马逊等云服务的出现，为在线云计算服务的出现奠定的基础。

现有容器基础平台已很好的实现容器资源编排调度功能，在资源使用率较低的节点动态地创建容器，并借助负载均衡技术将业务量分发到新建的容器。图1是kubernetes、rancher和docker等公司的现有容器基础平台架构，主要包括Web前端、服务端、容器编排调度器、客户端四部分，容器编排调度器的编排流程如下：用户通过Web端提交业务请求；Web端将业务请求发送给服务端；服务端接收到业务请求后，进行响应和处理，将请求发送给编排调度器；编排调度器选择资源使用率最小的客户端节点，将容器创建指令发送给客户端；客户端接收到容器创建指令后，根据指令进行容器的创建。

因此，基于现有的现有容器基础平台架构实现基于容器的云计算平台任务处理，对于云计算平台而言具有非常积极的意义，但是如何基于现有的现有容器基础平台架构实现基于容器的云计算平台任务处理，则仍然是一项亟待解决的关键技术问题。

发明内容

本发明要解决的技术问题：针对现有技术的上述问题，提供一种基于容器的云计算平台任务处理方法、系统及其应用方法，本发明面向有一定编程能力的用户，提供并行和串行运行算法任务支持，解决了计算子任务之间相互依赖的问题，可根据自身业务自定义任务处理，将计算子任务使用容器结合现有容器资源编排调度完成业务处理，能够有效提高平台实用性及优化平台的资源效能。

为了解决上述技术问题，本发明采用的技术方案为：

一种基于容器的云计算平台任务处理方法，实施步骤包括：

1）接收提交的计算任务A，计算任务A包含至少一个计算子任务；

2）针对计算任务A中的每一个计算子任务A_i，跳转执行步骤3）；

3）为计算子任务A_i选择客户端节点，在选择的客户端节点中创建容器containerA_ij，其中containerA_ij表示针对子任务A_i第j次创建的容器；

4）判断计算子任务A_i中是否有循环属性，如果存在循环属性则将循环计数加1，判断循环计数的值是否等于循环属性的值，如果不等于循环属性的值，则跳转执行步骤3）；否则，跳转执行步骤5）；

5）判断计算子任务A_i是否有依赖属性，如果没有依赖属性则跳转执行步骤6）；否则，监控依赖属性对应的目标计算子任务A_n是否运行完毕，当目标计算子任务A_n运行完毕时跳转执行步骤6）；

6）运行计算子任务A_i的容器containerA_ij，运行结束后将计算结果传输到数据仓库，并删除计算子任务A_i的容器containerA_ij。

优选地，步骤3）中为计算子任务A_i选择客户端节点的具体步骤包括：获取所有的客户端节点资源信息，所述资源信息包括CPU资源使用率和内存资源使用率，选择一个CPU资源使用率和内存资源使用率最低的客户端节点作为计算子任务A_i选择的客户端节点。

优选地，步骤3）中在选择的客户端节点中创建容器containerA_ij时还包括检查计算子任务A_i中的镜像属性，且根据镜像属性的值选定执行的容器运行镜像来创建容器containerA_ij。

优选地，步骤3）中在选择的客户端节点中创建容器containerA_ij后还包括检查计算子任务A_i中的文件属性，如果文件属性存在则将文件属性对应的数据仓库文件从数据仓库中下载到容器containerA_ij中。

本发明还提供一种基于容器的云计算平台任务处理系统，包括计算机设备，所述计算机设备被编程以执行本发明前述基于容器的云计算平台任务处理方法的步骤。

本发明还提供一种基于容器的云计算平台任务处理系统，包括相互连接的服务器、任务解析器、容器编排调度器以及至少一个客户端，所述任务解析器接收并解析用户通过web客户端提交给服务器的计算子任务后生成计算任务A发送给容器编排调度器，所述容器编排调度器被编程以执行本发明前述基于容器的云计算平台任务处理方法的步骤。

本发明还提供一种前述基于容器的云计算平台任务处理系统的应用方法，所述任务解析器接收并解析用户通过web客户端提交给服务器的计算子任务后生成计算任务A的详细步骤包括：

S1）接收用户通过web客户端提交给服务器的包含n个计算子任务的计算任务A；

S2）根据计算子任务的语句语法对每一个计算子任务进行解析，如果任意计算子任务指定了需要多次运行，则为该计算子任务添加循环属性、且将循环属性的值设置为运行次数；如果计算子任务之间存在依赖关系，则为存在依赖关系的计算子任务添加依赖属性、且将依赖属性的值设置为所依赖的计算子任务，最终得到完成解析后的计算任务A。

优选地，步骤S2）还包括镜像属性解析的步骤：如果任意计算子任务指定了容器运行镜像，则为该计算子任务添加镜像属性、且将镜像属性的值设置为指定的容器运行镜像；否则，为该计算子任务添加镜像属性、且将镜像属性的值设置为默认的容器运行镜像。

优选地，步骤S2）还包括文件属性解析的步骤：如果任意计算子任务指定了需要添加至容器的文件，如果该文件为数据仓库中的文件则为该计算子任务添加文件属性、且将文件属性的值设置为指定的添加至容器的文件。

和现有技术相比，本发明具有下述优点：

1、本发明面向有一定编程能力的用户，提供并行和串行运行算法任务支持，解决了计算子任务之间相互依赖的问题，可根据自身业务自定义任务处理，将计算子任务使用容器结合现有容器资源编排调度完成业务处理，能够有效提高平台实用性及优化平台的资源效能。

2、本发明使用容器运行计算子任务，可利用现有容器资源编排技术优化平台性能。

3、本发明通过可编程任务调度方法结合数据仓库，用户可将任务拆分计算或一次性计算，也可多人协作，支持多种方式处理，有限扩展云计算平台业务。

4、本发明支持任务调度和资源调度相结合，提高了计算子任务的处理效率。

附图说明

图1为现有技术的现有容器基础平台架构示意图。

图2为本发明实施例容器基础平台架构示意图。

图3为本发明实施例方法的基本流程示意图。

图4为本发明实施例中任务解析器的工作流程示意图。

具体实施方式

如图3所示，本实施例基于容器的云计算平台任务处理方法的实施步骤包括：

1）接收提交的计算任务A，计算任务A包含至少一个计算子任务；

2）针对计算任务A中的每一个计算子任务A_i，跳转执行步骤3）；

3）为计算子任务A_i选择客户端节点，在选择的客户端节点中创建容器containerA_ij，其中containerA_ij表示针对子任务A_i第j次创建的容器；

4）判断计算子任务A_i中是否有循环属性，如果存在循环属性则将循环计数加1，判断循环计数的值是否等于循环属性的值，如果不等于循环属性的值，则跳转执行步骤3）；否则，跳转执行步骤5）；本实施例中循环属性的形式为{"cycle":"n"}，cycle为循环属性的标签，循环属性的值n为循环次数；

5）判断计算子任务A_i是否有依赖属性，如果没有依赖属性则跳转执行步骤6）；否则，监控依赖属性对应的目标计算子任务A_n是否运行完毕，当目标计算子任务A_n运行完毕时跳转执行步骤6）；本实施例中依赖属性的形式为{"depend":"A_n"}，depend为依赖属性的标签，依赖属性的值A_n为计算子任务A_i所依赖的计算子任务A_n；

6）运行计算子任务A_i的容器containerA_ij，运行结束后将计算结果传输到数据仓库，并删除计算子任务A_i的容器containerA_ij。

本实施例中，步骤3）中为计算子任务A_i选择客户端节点的具体步骤包括：获取所有的客户端节点资源信息，资源信息包括CPU资源使用率和内存资源使用率，选择一个CPU资源使用率和内存资源使用率最低的客户端节点作为计算子任务A_i选择的客户端节点。

本实施例中，步骤3）中在选择的客户端节点中创建容器containerA_ij时还包括检查计算子任务A_i中的镜像属性，且根据镜像属性的值选定执行的容器运行镜像来创建容器containerA_ij。例如，如果计算子任务A_i中存在镜像属性{"image":"python"}，则创建镜像名为python运行环境的容器containerA_ij；如果计算子任务A_i中存在镜像属性{"image":"default"}，则创建基于默认运行环境的容器containerA_ij。镜像属性可选多种语言运行环境，如python、golang、ubuntu、centos等容器运行镜像。

本实施例中，步骤3）中在选择的客户端节点中创建容器containerA_ij后还包括检查计算子任务A_i中的文件属性，如果文件属性存在则将文件属性对应的数据仓库文件从数据仓库中下载到容器containerA_ij中。例如，如果计算子任务A_i中存在文件属性{"file":"fileA"}，则将数据仓库文件fileA从数据仓库中下载到容器containerA_ij中。

本实施例还提供一种基于容器的云计算平台任务处理系统，包括计算机设备，该计算机设备被编程以执行本实施例前述基于容器的云计算平台任务处理方法的步骤。

如图2所示，本实施例基于容器的云计算平台任务处理系统包括相互连接的服务器、任务解析器、容器编排调度器以及至少一个客户端，任务解析器接收并解析用户通过web客户端提交给服务器的计算子任务后生成计算任务A发送给容器编排调度器，容器编排调度器被编程以执行本实施例前述基于容器的云计算平台任务处理方法的步骤。其中，web客户端提供用户文件上传、文件下载、结果显示以及编程界面。任务解析器负责对用户定义的任务进行数据解析，任务之间的依赖解析，循环解析和环境解析等形成任务处理模型；容器编排调度器负责对SDK解析器解析的结果进行资源调度和运行；数据仓库负责平台所有数据的中转和存储客户端负责运行计算子任务容器，完成任务的处理。需要说明的是，任务解析器、容器编排调度器既可以作为独立的服务器存在，也可以根据需要部分或全部内置在服务器中。

如图4所示，本实施例基于容器的云计算平台任务处理系统的应用方法中，任务解析器接收并解析用户通过web客户端提交给服务器的计算子任务的详细步骤包括：

S1）流程解析：接收用户通过web客户端提交给服务器的包含n个计算子任务的计算任务A{A₁，A_{2 。。。}A_n-1，A_n}，n>0且n为整数；

S2）语法解析：根据计算子任务的语句语法对每一个计算子任务进行解析，如果任意计算子任务指定了需要多次运行，则为该计算子任务添加循环属性、且将循环属性的值设置为运行次数；如果计算子任务之间存在依赖关系，则为存在依赖关系的计算子任务添加依赖属性、且将依赖属性的值设置为所依赖的计算子任务，最终得到完成解析后的计算任务A。

如图4所示，步骤S2）还包括镜像属性解析的步骤：如果任意计算子任务指定了容器运行镜像，则为该计算子任务添加镜像属性、且将镜像属性的值设置为指定的容器运行镜像；否则，为该计算子任务添加镜像属性、且将镜像属性的值设置为默认的容器运行镜像。例如，如果指定容器运行镜像为python，则增加镜像属性{"image":" python"}，否则，增加默认镜像属性{"image":"default"}。

如图4所示，步骤S2）还包括文件属性解析的步骤：如果任意计算子任务指定了需要添加至容器的文件，如果该文件为数据仓库中的文件则为该计算子任务添加文件属性、且将文件属性的值设置为指定的添加至容器的文件。例如，如果指定了需要添加至容器的文件fileA，且文件fileA为数据仓库中的文件则为该计算子任务添加文件属性{"file":"fileA"}，否则不增加。

本实施例中，最终得到完成解析后的计算任务A的形式如下：

{"type":"task","name":"A","Subtasks":"n",

"tasks":{"task1":" A₁",…"taskm":"A_m",...,"taskn":" A_n "},…}；

其中，第一行的"type":"task"表示类型为任务，"name":"A"表示名称为A，"Subtasks":"n"表示包含的子任务（计算子任务）数量为n；第二行则为n个子任务（计算子任务）的信息。

某一个计算子任务Am完成解析后的格式如下：

{"type":"Subtasks","name":"Am","file":"fileA","depend":"An","cycle":"n","image":" python"…}

其中，"type":"Subtasks"表示类型为子任务，"name":"Am"表示名称为Am，"file":"fileA"表示计算子任务Am需要添加来自数据仓库中的文件fileA，"depend":"An"表示计算子任务Am依赖计算子任务An，"cycle":"n"表示计算子任务Am需要重复执行n次，"image":" python"表示计算子任务Am的容器运行镜像为python。

参见前文可知，本实施例中任务解析器支持解析循环属性、依赖属性、镜像属性、文件属性，且面向有一定编程能力的用户提供SDK支持并行和串行运行算法任务，例如：

创建计算子任务A为：creat task(A)；

运行计算子任务A五次：run task(A) 5；

计算子任务A将计算结果发送给计算子任务B：send(A) to B，计算子任务A将计算结果发送给计算子任务B 即意味着计算子任务B依赖计算子任务A的计算结果。

本实施例基于容器的云计算平台任务处理系统的工作过程如下：

一、用户通过Web界面上传数据文件到数据仓库以及进行任务编程，用户按照SDK语法规则进行编程，提交计算任务，Web客户端将计算任务请求提交给服务端。

二、服务端收到任务请求后发送响应消息给Web端，执行相应工作后，将请求提交给任务解析器；

三、任务解析器接收到服务端的请求，进行响应，将响应信息发送给服务端，开始解析任务，将解析结果发送给容器编排调度器。

四、容器编排调度器执行本实施例前述基于容器的云计算平台任务处理方法，根据客户端发送的资源使用率等信息，进行资源最优客户端节点选择，将SDK解析器解析的任务分发到客户端节点运行。

五、计算任务结束，Web客户端返回显示计算结果。

以上所述仅是本发明的优选实施方式，本发明的保护范围并不仅局限于上述实施例，凡属于本发明思路下的技术方案均属于本发明的保护范围。应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理前提下的若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。

Claims (9)

1.一种基于容器的云计算平台任务处理方法，其特征在于实施步骤包括：

1）接收提交的计算任务A，计算任务A包含至少一个计算子任务；

2）针对计算任务A中的每一个计算子任务A_i，跳转执行步骤3）；

3）为计算子任务A_i选择客户端节点，在选择的客户端节点中创建容器containerA_ij，其中containerA_ij表示针对子任务A_i第j次创建的容器；

4）判断计算子任务A_i中是否有循环属性，如果存在循环属性则将循环计数加1，判断循环计数的值是否等于循环属性的值，如果不等于循环属性的值，则跳转执行步骤3）；否则，跳转执行步骤5）；

5）判断计算子任务A_i是否有依赖属性，如果没有依赖属性则跳转执行步骤6）；否则，监控依赖属性对应的目标计算子任务A_n是否运行完毕，当目标计算子任务A_n运行完毕时跳转执行步骤6）；

6）运行计算子任务A_i的容器containerA_ij，运行结束后将计算结果传输到数据仓库，并删除计算子任务A_i的容器containerA_ij。

2.根据权利要求1所述的基于容器的云计算平台任务处理方法，其特征在于，步骤3）中为计算子任务A_i选择客户端节点的具体步骤包括：获取所有的客户端节点资源信息，所述资源信息包括CPU资源使用率和内存资源使用率，选择一个CPU资源使用率和内存资源使用率最低的客户端节点作为计算子任务A_i选择的客户端节点。

3.根据权利要求1或2所述的基于容器的云计算平台任务处理方法，其特征在于，步骤3）中在选择的客户端节点中创建容器containerA_ij时还包括检查计算子任务A_i中的镜像属性，且根据镜像属性的值选定执行的运行环境镜像来创建容器containerA_ij。

4.根据权利要求3所述的基于容器的云计算平台任务处理方法，其特征在于，步骤3）中在选择的客户端节点中创建容器containerA_ij后还包括检查计算子任务A_i中的文件属性，如果文件属性存在则将文件属性对应的数据仓库文件从数据仓库中下载到容器containerA_ij中。

5.一种基于容器的云计算平台任务处理系统，包括计算机设备，其特征在于：所述计算机设备被编程以执行权利要求1～4中任意一项所述基于容器的云计算平台任务处理方法的步骤。

6.一种基于容器的云计算平台任务处理系统，其特征在于：包括相互连接的服务器、任务解析器、容器编排调度器以及至少一个客户端，所述任务解析器接收并解析用户通过web客户端提交给服务器的计算子任务后生成计算任务A发送给容器编排调度器，所述容器编排调度器被编程以执行权利要求1～4中任意一项所述基于容器的云计算平台任务处理方法的步骤。

7.一种权利要求6所述基于容器的云计算平台任务处理系统的应用方法，其特征在于，所述任务解析器接收并解析用户通过web客户端提交给服务器的计算子任务后生成计算任务A的详细步骤包括：

S1）接收用户通过web客户端提交给服务器的包含n个计算子任务的计算任务A；

S2）根据计算子任务的语句语法对每一个计算子任务进行解析，如果任意计算子任务指定了需要多次运行，则为该计算子任务添加循环属性、且将循环属性的值设置为运行次数；如果计算子任务之间存在依赖关系，则为存在依赖关系的计算子任务添加依赖属性、且将依赖属性的值设置为所依赖的计算子任务，最终得到完成解析后的计算任务A。

8.根据权利要求7所述基于容器的云计算平台任务处理系统的应用方法，其特征在于，步骤S2）还包括镜像属性解析的步骤：如果任意计算子任务指定了容器运行镜像，则为该计算子任务添加镜像属性、且将镜像属性的值设置为指定的容器运行镜像；否则，为该计算子任务添加镜像属性、且将镜像属性的值设置为默认的容器运行镜像。

9.根据权利要求8所述基于容器的云计算平台任务处理系统的应用方法，其特征在于，步骤S2）还包括文件属性解析的步骤：如果任意计算子任务指定了需要添加至容器的文件，如果该文件为数据仓库中的文件则为该计算子任务添加文件属性、且将文件属性的值设置为指定的添加至容器的文件。