CN111045786A - 一种云环境下的基于镜像分层技术的容器创建系统及方法 - Google Patents

Abstract

本发明公开了一种云环境下的基于镜像分层技术的容器创建系统及方法。该系统包括：容器云集群管理模块，用于根据用户提交的容器配置要求以及云集群中各物理节点的资源负载，向各个物理节点分配任务；容器镜像管理模块，用于对用户镜像和系统镜像进行管理；分布式文件存储模块，用于对用户镜像和系统镜像进行存储；节点存储模块，设置于各物理节点上，用于存储其所在物理节点的GPU的驱动镜像；任务控制模块，运行在各物理节点中，用于根据容器云集群管理模块分配的任务创建容器、启动容器、暂停容器、删除容器、对容器资源进行调整，对物理节点的资源进行监测，并向容器云集群管理模块汇报监测信息。本发明能够在容器中更方便的使用多种GPU资源。

Description

一种云环境下的基于镜像分层技术的容器创建系统及方法

技术领域

本发明涉及资源管理技术领域，特别是涉及一种云环境下的基于镜像分层技术的容器创建系统及方法。

背景技术

虚拟化技术是一种资源管理技术，它将计算机的各种物理资源如存储、网络、内存、计算资源等经过抽象转换后呈现给用户，并使这些虚拟化的资源不受现有资源的架设方式、地域或物理配置所限制。容器技术是一种内核轻量级的操作系统层虚拟化技术，它将操作系统内核虚拟化，并使用cgroups(全称Control Group，控制组)、namespace(命名空间)等技术分割物理资源，能为用户提供一个支持秒级部署、弹性伸缩、且易于移植的运行时环境。

GPU(Graphics Processing Unit，图形处理单元)是一种非通用的计算资源，它原本主要用于图形图像处理，但由于其出色的并行浮点运算能力，也越来越多地被用于运行科学计算、深度学习等专业任务。常见的基于容器技术的集群管理框架如Hadoop、Kubernetes等都提供了对GPU的支持，和传统的用法一样，用户只需要指定所需要的资源种类和数量，如GPU个数、CPU个数、内存大小等，并选择合适的镜像，框架就会自动为用户创建容器、分配资源、执行任务。

但是，由于GPU的特殊性，必须使用相应的驱动才能正确调用它。因此，为了在容器中使用GPU，用户必须事先准备好安装了驱动程序的镜像，并以此创建容器。然而，GPU型号众多，以NVIDIA(英伟达)的GPU为例，其显卡分为了三个系列，Gefore、Tesla和Quadro，每个系列又分了许多种不同的型号，如Gefore 1080Ti、TeslaP100等。每种型号对应的驱动往往会有差异，因此，用户若想将多种GPU资源同时利用起来，就不得不配置多种基于不同驱动的个人镜像，并且需要配置好镜像和对应的GPU的关系，不能混用。现有容器云集群管理系统在创建需要使用GPU的容器时，必须显式指定GPU型号以及GPU驱动版本号。用户需要同时利用到多种异构GPU资源时，需要手动一个个配置参数，甚至可能需要提前准备多种用于适配不同GPU的容器镜像，操作很是不便，无法便捷的实现GPU在容器中的应用。

发明内容

本发明的目的是提供一种云环境下的基于镜像分层技术的容器创建系统及方法，能够在容器中更方便的使用GPU资源。

为实现上述目的，本发明提供了如下方案：

一种云环境下的基于镜像分层技术的容器创建系统，包括：

容器云集群管理模块，用于根据用户提交的容器配置要求以及云集群中各物理节点的资源负载，向各个物理节点分配创建容器、启动容器、暂停容器、删除容器和对容器资源进行调整的任务；

容器镜像管理模块，用于对用户镜像和系统镜像进行管理；

分布式文件存储模块，用于对用户镜像和系统镜像进行存储；

节点存储模块，设置于各物理节点上，用于存储其所在物理节点的GPU的驱动镜像；

任务控制模块，运行在各物理节点中，用于根据容器云集群管理模块分配的任务创建容器、启动容器、暂停容器、删除容器以及对容器资源进行调整，对物理节点的资源进行监测，并向容器云集群管理模块汇报监测信息。

可选的，所述容器配置要求包括容器数量以及每个容器的CPU核心数、内存大小、存储大小、GPU个数。

可选的，所述容器云集群管理模块设有用户接口，以使用户通过所述容器云集群管理模块对容器进行管理。

可选的，所述任务控制模块还用于对其所在物理节点的任务进行错误重启。

本发明还提供了一种云环境下的基于镜像分层技术的容器创建方法，所述方法应用于本发明提供的云环境下的基于镜像分层技术的容器创建系统，所述方法包括：

容器云集群管理模块接收用户创建容器的请求；

容器云集群管理模块获取用户创建容器请求中的容器配置要求；

容器云集群管理模块根据所述容器配置要求，使用容器调度算法，将创建容器的请求分配给一个或多个物理节点，记为目标节点；

所述目标节点中的任务控制模块接收容器云集群管理模块分配的创建容器的请求，并根据创建容器的请求，向容器镜像管理模块请求系统镜像和用户镜像；

容器镜像管理模块接收所述任务控制模块的请求，从分布式存储模块中下载系统镜像和用户镜像，并提供给所述任务控制模块；

所述任务控制模块使用下载的系统镜像创建容器文件系统的系统镜像层，并将该层设置为只读层；

所述任务控制模块根据创建容器的请求，判断容器是否需要GPU，如果需要，则使用存储在当前物理节点存储模块中的GPU驱动镜像在系统镜像层的基础上创建容器的GPU驱动镜像层，并将GPU驱动镜像层设置为只读层；

所述任务控制模块使用下载的用户镜像创建容器的用户镜像层，并将用户镜像层设置为只读层；

所述任务控制模块在用户镜像层上创建可写层，并将可写层设置为可读可写层；

所述任务控制模块启动容器，并向容器云集群管理模块汇报容器启动结果。

可选的，所述容器配置要求包括容器数量以及每个容器的CPU核心数、内存大小、存储大小、GPU个数。

可选的，在所述目标节点中的任务控制模块接收容器云集群管理模块的创建容器的请求后，在所述根据创建容器的请求，向容器镜像管理模块请求系统镜像和用户镜像之前，还包括：判断所述目标节点中可用的物理资源是否满足所述容器配置要求，如果不满足，则挂起等待，直至所述目标节点中可用资源满足要求所述容器配置要求。

可选的，所述容器调度算法包括Capacity算法。

根据本发明提供的具体实施例，本发明公开了以下技术效果：本发明提供的云环境下的基于镜像分层技术的容器创建系统及方法，通过将GPU驱动镜像存储在每台物理节点中，且分别对应其所在物理节点中GPU的型号。在创建容器时，GPU驱动镜像可以直接从当前使用的物理节点中获取，使用户无需关心GPU的型号以及GPU驱动的版本号等参数细节，方便了使用者的同时，能够实现GPU驱动的快速适配。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例中云环境下的基于镜像分层技术的容器创建系统的结构示意图；

图2为本发明实施例中的容器分层结构图；

图3为本发明实施例中云环境下的基于镜像分层技术的容器创建方法的流程图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本发明的目的是提供一种云环境下的基于镜像分层技术的容器创建系统及方法，能够在容器中更方便的使用GPU资源。

为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本发明作进一步详细的说明。

本发明的第一方面提供了一种云环境下的基于镜像分层技术的容器创建系统，如图1所示，该系统包括：容器云集群管理模块、容器镜像管理模块、分布式文件存储模块、节点存储模块以及任务控制模块。

容器云集群管理模块，该模块运行在某一台控制节点上，负责整合管理整个物理集群的资源，用于根据用户提交的容器配置要求以及各物理节点的资源负载，向云集群中各个物理节点(如图1所示的物理节点1、物理节点2等)分配创建容器、启动容器、暂停容器、删除容器和对容器资源进行调整等任务，并整合各物理节点、各容器的资源使用情况的监控信息，特别是集群中各个GPU的位置、实时负载、型号等信息。另外，该模块还可以负责暴露对外接口，允许用户通过该模块对容器进行各类操作。

容器镜像管理模块，该模块负责管理所有用户镜像和系统镜像，并向容器云集群管理模块提供支持。该模块允许用户对自己账号下的所有用户镜像进行管理，包括创建镜像、更新镜像、删除镜像等。

分布式文件存储模块，用于对用户镜像和系统镜像进行存储。该模块一方面为集群用户提供分布式存储方案，另一方面为容器镜像管理模块提供存储支撑，以保证集群对于用户的透明性。即，用户可以使用在物理节点A上的容器所创建的镜像，在物理节点B上创建容器，而不需要考虑镜像的传输问题。

节点存储模块，设置于各物理节点上，用于存储其所在物理节点的GPU的驱动镜像，也就是说，物理节点上存储的GPU驱动镜像与其上的GPU型号相对应；

任务控制模块，该模块运行在每一个物理节点中，接受容器云集群管理模块的控制，按照要求进行创建容器、启动容器、暂停容器、删除容器、对容器资源进行调整等操作，并对该物理节点的资源进行监控，并随时通过心跳请求向容器云集群管理模块汇报。同时，该模块还需要负责该节点内容器请求的简单调度和错误重启等功能。

上述实施例中的容器配置要求可以包括容器数量以及每个容器的CPU核心数、内存大小、存储大小、GPU个数。

本发明的容器分层结构包括：

最底层的系统镜像层，包括创建一个容器需要的最基本的文件系统。该层镜像存储于分布式存储模块中，被系统中所有容器共用。该层为只读层。

第二层为GPU驱动镜像层，结合图1，只有该层镜像存储于每个物理节点中，其他镜像都存储于分布式存储模块中。每个物理节点中的GPU驱动镜像层都是单独配置的，其中的GPU驱动分别对应当前物理节点所持有的GPU实例的型号。这样在最终创建出来的容器中，GPU驱动必定对应于该容器所持有的GPU实例。该层为只读层。

第三层为用户镜像层，其内容为用户自定义的，由于第二层GPU驱动镜像层已经屏蔽了异构GPU的区别，用户在创建镜像时无需额外考虑为异构GPU准备不同的镜像。该层为只读层。

第四层为可写层，容器运行时对文件的修改都在该层发生。该层为可读可写层。

本发明的第二方面提供了一种云环境下的基于镜像分层技术的容器创建方法，该方法应用于本发明第一方面提供的云环境下的基于镜像分层技术的容器创建系统，如图3所示，该方法包括以下步骤：

步骤301：容器云集群管理模块收到用户创建并启动容器的请求。

步骤302：容器云集群管理模块获取步骤301中用户请求中的容器配置要求，包括容器数量以及每个容器的CPU核心数、内存大小、存储大小、GPU个数等。

步骤303：容器云集群管理模块依据步骤302中的容器配置要求，使用常用的容器调度算法如Capacity等，将该创建容器请求分配给某一个或某些特定物理节点。

步骤304：任务控制模块接受到步骤303中容器云集群管理模块的创建并启动容器的请求，并判断步骤303给定的物理节点目前可用的物理资源(如CPU、内存、存储、GPU等)是否满足该容器请求的要求，如果不满足，则挂起等待，直至该物理节点中其他容器任务完成使得可用资源能满足要求。

步骤305：任务控制模块依据步骤303中的创建容器的请求，向容器镜像管理模块请求系统镜像和用户镜像。

步骤306：容器镜像管理模块接受到步骤305中的请求，从分布式存储模块中下载系统镜像和用户镜像，并提供给任务控制模块。

步骤307：任务控制模块使用系统镜像创建容器文件系统的系统镜像层，并将该层设置为只读层。

步骤308：任务控制模块依据步骤303中的创建容器的请求，判断容器是否需要GPU，如果需要，则使用存储在当前物理节点的GPU驱动镜像在系统镜像层的基础上创建容器的GPU驱动镜像层，并将该层设置为只读层。

步骤309：任务控制模块使用用户镜像在上述镜像层上创建容器的用户镜像层，并将该层设置为只读层。

步骤310：任务控制模块在用户镜像层的基础上创建可写层，并将该层设置为可读可写层。

步骤311：任务控制模块启动容器，并向容器云集群管理模块汇报容器启动结果。

本发明的系统镜像和用户镜像存放在分布式存储中，GPU驱动镜像存储在每台物理节点中，且分别对应各物理节点中的GPU型号。在创建容器时，使用全局的系统镜像和用户镜像，与存在本地的GPU驱动镜像组合，能够获得一个对用户透明、又能适配本地GPU型号的容器。使用本发明提供的系统及方法，用户不需要关心驱动的细节，便可以更透明更方便的使用多种异构GPU资源。

本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的系统而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。

本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处。综上所述，本说明书内容不应理解为对本发明的限制。

Claims (8)

1.一种云环境下的基于镜像分层技术的容器创建系统，其特征在于，包括：

容器云集群管理模块，用于根据用户提交的容器配置要求以及云集群中各物理节点的资源负载，向各个物理节点分配创建容器、启动容器、暂停容器、删除容器和对容器资源进行调整的任务；

容器镜像管理模块，用于对用户镜像和系统镜像进行管理；

分布式文件存储模块，用于对用户镜像和系统镜像进行存储；

节点存储模块，设置于各物理节点上，用于存储其所在物理节点的GPU的驱动镜像；

任务控制模块，运行在各物理节点中，用于根据容器云集群管理模块分配的任务创建容器、启动容器、暂停容器、删除容器以及对容器资源进行调整，对物理节点的资源进行监测，并向容器云集群管理模块汇报监测信息。

2.根据权利要求1所述的云环境下的基于镜像分层技术的容器创建系统，其特征在于，所述容器配置要求包括容器数量以及每个容器的CPU核心数、内存大小、存储大小、GPU个数。

3.根据权利要求1所述的云环境下的基于镜像分层技术的容器创建系统，其特征在于，所述容器云集群管理模块设有用户接口，以使用户通过所述容器云集群管理模块对容器进行管理。

4.根据权利要求1所述的云环境下的基于镜像分层技术的容器创建系统，其特征在于，所述任务控制模块还用于对其所在物理节点的任务进行错误重启。

5.一种云环境下的基于镜像分层技术的容器创建方法，其特征在于，所述方法应用于如权利要求1-4任一项所述的云环境下的基于镜像分层技术的容器创建系统，所述方法包括：

容器云集群管理模块接收用户创建容器的请求；

容器云集群管理模块获取用户创建容器请求中的容器配置要求；

容器云集群管理模块根据所述容器配置要求，使用容器调度算法，将创建容器的请求分配给一个或多个物理节点，记为目标节点；

所述目标节点中的任务控制模块接收容器云集群管理模块分配的创建容器的请求，并根据创建容器的请求，向容器镜像管理模块请求系统镜像和用户镜像；

容器镜像管理模块接收所述任务控制模块的请求，从分布式存储模块中下载系统镜像和用户镜像，并提供给所述任务控制模块；

所述任务控制模块使用下载的系统镜像创建容器文件系统的系统镜像层，并将该层设置为只读层；

所述任务控制模块根据创建容器的请求，判断容器是否需要GPU，如果需要，则使用存储在当前物理节点存储模块中的GPU驱动镜像在系统镜像层的基础上创建容器的GPU驱动镜像层，并将GPU驱动镜像层设置为只读层；

所述任务控制模块使用下载的用户镜像创建容器的用户镜像层，并将用户镜像层设置为只读层；

所述任务控制模块在用户镜像层上创建可写层，并将可写层设置为可读可写层；

所述任务控制模块启动容器，并向容器云集群管理模块汇报容器启动结果。

6.根据权利要求5所述的云环境下的基于镜像分层技术的容器创建方法，其特征在于，所述容器配置要求包括容器数量以及每个容器的CPU核心数、内存大小、存储大小、GPU个数。

7.根据权利要求5所述的云环境下的基于镜像分层技术的容器创建方法，其特征在于，在所述目标节点中的任务控制模块接收容器云集群管理模块的创建容器的请求后，在所述根据创建容器的请求，向容器镜像管理模块请求系统镜像和用户镜像之前，还包括：判断所述目标节点中可用的物理资源是否满足所述容器配置要求，如果不满足，则挂起等待，直至所述目标节点中可用资源满足要求所述容器配置要求。

8.根据权利要求5所述的云环境下的基于镜像分层技术的容器创建方法，其特征在于，所述容器调度算法包括Capacity算法。

Images