CN112764875B - 一种面向智能计算的轻量级入口容器微服务系统及方法 - Google Patents

Abstract

本发明公开了一种面向智能计算的轻量级入口容器微服务系统及方法。本系统包括轻量级入口容器、任务分配容器以及智能计算业务容器，其中所述轻量级入口容器，用于接收用户输入的任务描述并将其发送给所述分配分配容器；所述任务分配容器包含任务解析器和任务分发器；任务解析器用于对任务描述进行解析，并将解析信息发送给任务分发器；任务分发器根据解析得到的智能计算业务所需的模型和输入数据的下载地址，下载对应智能计算业务使用到的模型、输入数据至智能计算业务容器部署节点；根据任务描述信息配置、创建和启动智能计算业务容器的yaml配置文件；然后任务分发器启动智能计算业务容器并发送智能计算请求，执行推理计算。

Description

一种面向智能计算的轻量级入口容器微服务系统及方法

技术领域

本发明属于计算机软件技术领域；具体基于docker容器技术，涉及一种面向智能计算的轻量级入口容器的微服务系统及方法。

背景技术

现阶段的智能计算系统通常集成了CPU和智能芯片的异构系统。在软件层，通常包括一套面向开发者的智能计算编程环境(包括编程框架和编程语言)。

在通用操作系统中开展智能计算任务，需要开发者搭建环境、自行安装大量深度学习框架软件包、维护软件的更新并解决相互之间的兼容问题。此外，通用操作系统中很多针对智能计算的系统增强功能都不是默认配置和安装的，也需要开发人员手动安装配置。这些系统级问题增加了开发者的负担，影响了智能应用的开发和部署效率。

目前主流的智能计算服务通常部署在通用Linux操作系统发行版上，一方面这些通用操作系统通常体量较大，增加了系统负担，运行速度变慢，另一方面，智能计算涉及大量的数据，通用操作系统存在较多的安全漏洞，增加了安全威胁，影响系统稳定性。

发明内容

针对现有技术中存在的技术问题，本发明的目的在于提供一种面向智能计算的轻量级入口容器微服务系统及方法。该系统可以通过提供轻量级入口容器、任务分配容器和后台智能计算服务容器的系统架构，既能实现面向用户的精简容器运行环境，提升系统的启动速度、降低安全风险，同时提供即开即用的智能计算服务，对其资源实现动态管理，并且完成相关测试。

本发明的技术方案为：

一种面向智能计算的轻量级入口容器微服务系统，其特征在于，包括轻量级入口容器、任务分配容器以及智能计算业务容器，其中

所述轻量级入口容器，用于接收用户输入的任务描述并将其发送给所述分配分配容器；

所述任务分配容器包含任务解析器和任务分发器；其中，任务解析器用于对任务描述进行解析，并将解析信息发送给任务分发器；任务分发器根据解析得到的智能计算业务所需的模型和输入数据的下载地址，下载对应智能计算业务使用到的模型、输入数据至智能计算业务容器部署节点；根据任务描述信息配置、创建和启动智能计算业务容器的yaml配置文件；然后任务分发器启动智能计算业务容器并发送智能计算请求，执行推理计算。

进一步的，所述智能计算业务容器基于docker容器技术，将智能计算框架封装在docker容器中；其中封装所述智能计算框架的docker容器中内置智能计算服务端，并提供智能计算所用的分类接口、预测接口，用于所述任务分配容器启动智能计算业务容器后，内置的智能计算服务端对智能计算请求进行分类、预测对应的RESTFul API执行智能计算任务。

进一步的，所述智能计算业务容器为采用x86和ARM64平台的CPU/GPU计算节点。

进一步的，基于Alpine Linux制作所述轻量级入口容器。

进一步的，所述yaml配置文件包括已封装智能计算业务的docker镜像名称、启动智能计算业务容器时应挂载智能计算业务需要的模型、输入数据和业务容器部署节点信息。

一种面向智能计算的轻量级入口容器微服务方法，其步骤包括：

1)轻量级入口容器接收用户输入的任务描述文件，包括：用户ID、业务ID、智能计算输入数据下载地址、智能计算模型的下载地址、智能计算架构类型、硬件架构类型、智能计算推理类型；

2)轻量级入口容器将该任务描述文件发送给任务分配容器；

3)任务分配容器对该任务描述文件进行解析，得到对应的任务描述信息；

4)容器编排器根据任务描述信息中的硬件架构类型，根据当前该硬件架构类型的硬件平台资源使用情况，确定智能计算业务容器部署节点；

5)任务分发器根据智能计算输入数据下载地址、智能计算模型的下载地址，将智能计算业务使用的模型和输入数据下载至智能计算业务容器部署节点；

6)容器编排器根据解析的任务描述信息，生成编排智能计算业务容器的yaml配置文件；

7)容器编排器根据该yaml配置文件在指定的智能计算业务容器部署节点拉取智能计算业务镜像，自动启动智能计算业务容器；其中该智能计算业务容器挂载智能计算业务需要的输入数据和模型；

8)任务分发器根据解析的智能计算推理类型和智能计算业务容器部署节点IP生成智能计算推理请求，发送给该智能计算业务容器；

9)该智能计算业务容器根据该智能计算推理请求对应的智能计算推理类型的推理请求后，调用对应推理类型的脚本、加载所需模型和输入数据，进行推理计算。

本发明的面向智能计算的轻量级入口容器微服务系统，其技术方案如图1所示，主要包括轻量级入口容器、任务分配容器以及微服务架构的智能计算业务容器这三部分的技术开发。轻量级入口容器为系统的客户端，用户在容器中编写任务描述，发送任务请求。任务分配容器包含任务解析器、容器编排器和任务分发器，根据入口容器发送的任务描述自动解析、调度业务容器和分发智能计算任务。微服务架构的智能计算业务容器基于docker容器技术，将复杂的智能计算框架(TensorFlow、PyTorch等)针对不同的硬件架构封装在docker容器中。为方便用户快速运行智能计算业务，本发明实现了适用不同智能计算框架的服务端，封装所述智能计算框架的docker容器中内置智能计算服务端，提供智能计算所用的分类接口、预测接口，该接口基于RESTFul网络应用设计架构开发，以实现微服务。当所述任务分配容器启动智能计算业务容器后，内置的智能计算服务端一旦接收到符合RESTFul API规范的智能计算分类或预测请求，服务端将执行对应的智能计算任务。

轻量级的入口容器基于Alpine Linux制作，Alpine Linux是一款基于musl c库和BusyBox的Linux发行版，其容器镜像大小仅为5.53MB，但却以一个单一可执行文件提供了高达300多种Linux基础命令。该入口容器具备curl库用于发送智能计算任务描述，容器大小约6MB，在SSD硬盘上的平均启动时间不超过1秒。

任务分配容器可视为服务器端，包含了任务解析器和任务分发器。接受到入口容器发送的任务描述请求后，先通过解析器解析。任务分发器基于k8s，根据集群中资源状况，指定任务节点。任务分发器再根据解析到的智能计算业务所需的模型和输入数据的下载地址，将其下载至容器部署节点。然后根据解析获取的任务描述，配置创建和启动智能计算业务容器的k8s yaml配置文件，包括启动智能计算业务容器时应挂载此次业务需要的模型、输入数据，微服务接口相关信息等。分发器再启动业务容器，并发送智能计算请求，开始执行推理计算。

微服务架构的智能计算业务容器如图2所示，在实现上，系统主要采用x86和ARM64平台的CPU/GPU计算节点来提供推理任务的基础算力，通过Docker容器技术封装推理任务，针对不同的深度学习框架(Tensorflow、Caffe、PyTorch、MXNet等)分别封装，容器中内置Server来接受外部HTTP请求。

具体步骤如下：

1)用户登录入口容器，编写任务描述文件，包括：用户ID、业务ID、智能计算输入数据下载地址、智能计算模型的下载地址、智能计算架构类型、硬件架构类型、智能计算推理类型等。模型下载地址只是一个url的地址(ip+字符串)，任务分配容器并不能立刻解析出它是哪种智能计算架构；容器编排器先根据硬件架构类型确定集群中可用的硬件平台，通过模型下载地址将模型下载到硬件平台的指定位置。智能计算架构类型(如Tensorflow)和硬件架构类型(如GPU)是为了让任务分配容器确定使用哪个硬件平台以及哪个微服务智能计算业务容器。本实例是将封装的适用于GPU平台的Tensorflow架构的智能计算镜像拉取到GPU硬件平台，并启动容器。

2)用户通过入口容器的curl模块，以上述任务描述文件的形式发送给任务分配容器。

3)任务分配容器接收到任务描述文件后进行解析，得到对应的任务描述信息。

4)容器编排器根据硬件架构类型，根据当前该类型硬件平台资源使用情况，确定智能计算业务容器部署节点，获得该节点IP。

5)任务分发器根据智能计算输入数据下载地址、智能计算模型的下载地址，将智能计算业务使用的模型和输入数据下载至智能计算业务容器部署节点的默认位置。

6)容器编排器通过预设定的k8s的yaml配置文件模板，根据解析的任务描述信息，调用yaml文件自动化生成程序，生成编排智能计算业务容器的yaml文件，包含已封装智能计算业务的docker镜像名称、挂载智能计算业务需要的输入数据和模型、业务容器部署节点信息等。

7)容器编排器基于k8s编排管理工具，根据上述生成的yaml文件在指定的业务容器部署节点拉取智能计算业务镜像，自动启动挂载智能计算业务需要的输入数据和模型的智能计算业务容器，并通过内置服务端提供分类、预测等RESTFul接口。

8)任务分发器根据解析的智能计算推理类型(分类、预测等)和业务容器部署节点IP生成智能计算推理请求，发送给智能计算业务容器。

9)该智能计算业务容器接收到指定类型的推理请求后，调用对应推理类型的脚本，加载业务容器挂载的模型，导入挂载的输入数据，开始对输入数据逐一进行推理计算，并保存结果。

与现有技术相比，本发明的积极效果为：

(1)传统的智能计算系统往往部署在通用Linux操作系统发行版上，系统体量较大，运行速度变慢，本发明提供了轻量级的入口容器，用户启动容器时间小于1秒，容器大小6MB左右，同时业务容器采用微服务架构，一旦启动业务容器，将大幅降低用户每次启动智能计算框架的时间，即开即用。大大提高了用户进入智能计算系统的操作感受。

(2)传统开展智能计算任务，开发者需要搭建环境、自行安装大量深度学习框架软件包、维护软件的更新并解决相互之间的兼容问题，此发明基于docker容器技术，常用的深度学习框架都封装对应的容器中，明显提高了开发者的部署效率。

(3)传统的智能计算往往涉及大量的隐私数据，保障后台服务器的安全和稳定尤为重要，此发明通过轻量级的入口容器将用户与后台服务器隔离，用户只能进行本次业务相关的操作，后台服务端以黑盒的形式呈现给用户。

(4)传统的容器部署需要人工指令操作完成，而且k8s的配置文件并不是所有用户都熟悉的，本发明根据用户的智能计算任务描述文件自动化的创建微服务架构的智能计算业务容器的k8s配置文件，并完成容器部署，进一步提高了用户部署容器的效率。

附图说明

图1为面向智能计算的轻量级入口容器微服务系统架构。

图2为智能计算微服务容器架构图。

图3为面向智能计算的轻量级入口容器微服务系统的业务流程图。

具体实施方式

为了使本发明的技术方案更加清楚，下面将通过实例和附图对本发明作进一步的详细描述，但不以任何方式限制发明的范围。

设定如下测试场景：服务器1台(单CPU和CPU搭载GPU)；客户端1台，基于TensorFlow的图像分类模型AlexNet和100张加标签的图像。远程仓库中提前准备了封装TensorFlow CPU版本和TensorFlow GPU版本的docker镜像，镜像中内置提供外部推理计算HTTP请求的Server模块，实例将通过此发明完成图像分类推理计算。

实施步骤如下：

如图2，详细描述了面向智能计算的轻量级入口容器微服务系统的业务流程。

1)用户在客服端先完成身份认证远程登录，并启动进入轻量级入口容器。

2)用户编写任务描述Json文件，包含用户ID、服务ID、图像分类推理计算需要的AlexNet模型以及100张图像的下载地址、硬件平台GPU(可选CPU)、智能计算框架TensorFlow等。

3)用户通过curl模块将2中准备好的任务描述Json文件发送给任务分配容器。

4)任务分配容器将通过Json解析器分别获取1中编写的任务描述相关信息。

5)因硬件平台选项为GPU，容器编排器根据集群中GPU节点资源占用情况，确定本次业务容器部署节点IP等相关信息。

6)任务分发器根据2中获得的模型和输入数据下载地址，将AlexNet模型和100张图像下载至3中确定的GPU节点上默认位置。

7)容器编排器根据2和3中获得的信息，自动化生成启动业务容器的k8s配置文件，主要包括挂载AlexNet模型和图像在GPU节点的默认位置、业务容器在远程仓库中的镜像名称(tensorflow-gpu)、自动启动业务容器微服务Server、微服务对外端口号等信息。

8)容器编排器根据5中生成的k8s配置文件，在GPU节点中启动业务容器，并提供支持TensorFlow GPU架构的推理计算接口。

9)任务分发器将自动向6中启动的业务微服务容器发送HTTP请求，包含5中确定的微服务对外端口号和推理计算对应接口。

10)业务微服务容器接收到请求后将加载推理计算所需模型和输入数据，对100张图像逐一进行图像分类，并将推理结果保存，上传至用户的私有云空间。

11)用户在轻量级入口容器中可访问并查看本次推理计算结果以及日志文件等。

以上实施例仅用以说明本发明的技术方案而非对其进行限制，本领域的普通技术人员可以对本发明的技术方案进行修改或者等同替换，而不脱离本发明的原理和范围，本发明的保护范围应以权利要求书所述为准。

Claims (10)

1.一种面向智能计算的轻量级入口容器微服务系统，其特征在于，包括轻量级入口容器、任务分配容器以及智能计算业务容器，其中

所述轻量级入口容器，用于接收用户输入的任务描述并将其发送给所述任务分配 容器；所述任务描述包括：用户ID、业务ID、智能计算输入数据下载地址、智能计算模型的下载地址、智能计算架构类型、硬件架构类型、智能计算推理类型；

所述任务分配容器包含任务解析器和任务分发器；其中，任务解析器用于对任务描述进行解析，并将解析信息发送给任务分发器；任务分发器根据解析得到的智能计算业务所需的模型和输入数据的下载地址，下载对应智能计算业务使用到的模型、输入数据至智能计算业务容器部署节点；根据任务描述信息配置、创建和启动智能计算业务容器的yaml配置文件；然后任务分发器启动智能计算业务容器并发送智能计算请求，执行推理计算。

2.如权利要求1所述的系统，其特征在于，所述智能计算业务容器基于docker容器技术，将智能计算框架封装在docker容器中；其中封装所述智能计算框架的docker容器中内置智能计算服务端，并提供智能计算所用的分类接口、预测接口，用于所述任务分配容器启动智能计算业务容器后，内置的智能计算服务端对智能计算请求进行分类、预测对应的RESTFulAPI执行智能计算任务。

3.如权利要求1或2所述的系统，其特征在于，所述智能计算业务容器为采用x86和ARM64平台的CPU/GPU计算节点。

4.如权利要求1所述的系统，其特征在于，基于Alpine Linux制作所述轻量级入口容器。

5.如权利要求1所述的系统，其特征在于，所述yaml配置文件包括已封装智能计算业务的docker镜像名称、启动智能计算业务容器时应挂载智能计算业务需要的模型、输入数据和业务容器部署节点信息。

6.一种面向智能计算的轻量级入口容器微服务方法，其步骤包括：

1)轻量级入口容器接收用户输入的任务描述文件，包括：用户ID、业务ID、智能计算输入数据下载地址、智能计算模型的下载地址、智能计算架构类型、硬件架构类型、智能计算推理类型；

2)轻量级入口容器将该任务描述文件发送给任务分配容器；

3)任务分配容器对该任务描述文件进行解析，得到对应的任务描述信息；

4)容器编排器根据任务描述信息中的硬件架构类型，根据当前该硬件架构类型的硬件平台资源使用情况，确定智能计算业务容器部署节点；

5)任务分发器根据智能计算输入数据下载地址、智能计算模型的下载地址，将智能计算业务使用的模型和输入数据下载至智能计算业务容器部署节点；

6)容器编排器根据解析的任务描述信息，生成编排智能计算业务容器的yaml配置文件；

7)容器编排器根据该yaml配置文件在指定的智能计算业务容器部署节点拉取智能计算业务镜像，自动启动智能计算业务容器；其中该智能计算业务容器挂载智能计算业务需要的输入数据和模型；

8)任务分发器根据解析的智能计算推理类型和智能计算业务容器部署节点IP生成智能计算推理请求，发送给该智能计算业务容器；

9)该智能计算业务容器根据该智能计算推理请求对应的智能计算推理类型的推理请求后，调用对应推理类型的脚本、加载所需模型和输入数据，进行推理计算。

7.如权利要求6所述的方法，其特征在于，所述智能计算业务容器基于docker容器技术，将智能计算框架封装在docker容器中；其中封装所述智能计算框架的docker容器中内置智能计算服务端，并提供智能计算所用的分类接口、预测接口，用于所述任务分配容器启动智能计算业务容器后，内置的智能计算服务端对智能计算请求进行分类、预测对应的RESTFulAPI执行智能计算任务。

8.如权利要求6或7所述的方法，其特征在于，所述智能计算业务容器为采用x86和ARM64平台的CPU/GPU计算节点。

9.如权利要求6所述的方法，其特征在于，基于Alpine Linux制作所述轻量级入口容器。

10.如权利要求6所述的方法，其特征在于，所述yaml配置文件包括已封装智能计算业务的docker镜像名称、启动智能计算业务容器时应挂载智能计算业务需要的模型、输入数据和业务容器部署节点信息。

Images