CN110990119A - 一种基于容器技术提升Iaas云平台服务能力的方法 - Google Patents

Abstract

本发明提供了一种基于容器技术提升Iaas云平台服务能力的方法，本发明方法是在已有的Iaas平台上部署DOCKER容器，并基于DOCKER开发实时的SLA(服务等级协议)健康管理模块，实时掌握容器实例以及应用的运行状况和资源的变化情况，触发相应的容器实例部署和回收，最终达到应用不停的状态下资源快速回收与扩充，同时实现应用DOWN后秒级恢复。

Description

一种基于容器技术提升Iaas云平台服务能力的方法

技术领域

本发明涉及一种基于容器技术提升Iaas云平台服务能力的方法。

背景技术

目前的Iaas(Infrastructure as a Service，基础结构即服务)是基于管理程序虚拟化(hypervisor)技术搭建，虚拟机依赖于hypervisor，hypervisor在某些方面被认为是一种操作系统。hypervisor可以从系统可用计算资源当中分配虚拟机实例，每台虚拟机都需要具有独占的操作系统。现有Iaas平台结构方式如图1所示，其中APP A即应用A，APP B为即应用B，Bins/Libs即一些工具和用户空间的库，Guest OS即虚拟操作系统，Hypervisor即虚拟机管理系统，Host OS即主机操作系统，Server即服务器。

现有的Iaas平台需在物理服务器上安装主操作系统然后是虚拟化层(目前都是两层打包一起安装)，然后再为应用分配虚拟机实例。

当需要部署应用时，都会从Iaas平台分配一个虚拟机实例，然后在虚拟机上安装操作系统、中间件等运行环境，最后部署应用程序，运行环境需要占用虚拟机的大量资源。为虚拟机实例分配资源时，通常会按照应用运行环境需要的峰值资源来划分资源给到虚拟机，以保障应用的效率和长期的可用性，分配的虚拟机实例的资源通常少有回收，因为担心回收后不能满足峰值需求，而峰值大小、到来时间存在极大的不确定性。

现有技术缺陷一：虚拟机实例启动慢，最终无法满足资源弹性伸缩的需求。

由于现有的Iaas平台依赖的虚拟机技术，造成每个虚拟机实例占有的资源不能在不停应用的条件下回收，而且虚拟机DOWN机后重启需要几分钟甚至更长时间，对于需要不间断运行的应用是无法接受的，所以当应用环境的峰值未到来时，虚拟机长期低负荷运行，而人们又无法确定峰值到来的具体时间点，因此也不敢轻易回收资源，从而造成Iaas平台整体资源利用率低。所谓的Iaas平台提供的虚拟机资源弹性伸缩，也是无法真正实现的。

现有技术缺陷二：资源消耗大。

每个虚拟机实例均需要安装独立的操作系统、中间件等运行环境，不同虚拟机实例上部署的应用不能共享运行环境，造成资源消耗大。

发明内容

发明目的：为解决背景技术中存在的技术问题，本发明提出一种基于容器技术提升Iaas云平台服务能力的方法，包括：在已有的Iaas平台上部署DOCKER容器，并基于DOCKER建立实时的SLA服务等级协议健康管理模块，实时掌握DOCKER容器实例以及应用的运行状况和资源的变化情况，触发相应的DOCKER容器实例部署和回收，最终达到在应用不停的状态下，进行资源快速回收与扩充，同时实现应用DOWN机后秒级恢复。

所述Iaas平台包括云控制器，云控制器是Iaas平台的一个管理模块，云控制器是云平台的一个管理模块，负责管理应用程序的整个生命周期，控制应用发布、容器实例的创建、启动。DOCKER容器接收到应用发布请求后，指定一个容器资源池节点来完成打包动作，产出一个droplet(是一个包含运行时间的数据包)，完成打包之后，将droplet回传给云控制器，仍然存放在包存储，然后云控制器根据应用需要的实例数目，调度相应的容器资源池节点部署运行所述droplet；容器资源池部署在所有物理节点上，管理应用程序实例，将状态信息广播出去。

所述健康管理模块监控应用程序的实际运行状态(比如：running,stopped,crashed等等)、版本、实例数目信息，容器资源池会持续发送心跳包，汇报它所管辖的实例信息，如果一个实例DOWN机，会立刻发送droplet.exited(数据包退出)消息，健康管理器据此更新应用程序的实际运行数据，从而达到应用DOWN机后秒级回复(秒级恢复前提：恢复时间完全取决应用自身的笨重程度)。健康管理器持续比对承载应用程序容器实例的数目，如果发现应用程序正在运行的实例数目少于要求的实例数目，就发命令给容器控制器，要求启动相应数目的实例；健康管理器实时收集数据，实时比对，对于出现实例数目与要求运行的实例数目不一致情况时，即实例数目大于或者小于设定的最高(70％)和最低临界值(45％)，立即发出告警，触发容器控制器启动容器实例的操作。

所述健康管理器监视应用程序的运行情况，如果容器实例存在，但是应用已经DOWN，健康管理器发出应用DOWN信息，触发云控制器重新部署新的应用容器实例，实现宕机快速恢复。

所述健康管理模块还用于实现资源弹性伸缩，具体步骤如下：

步骤1：DOCKER容器初始化：DOCKER容器接收到应用发布请求后，指定一个容器资源池节点来完成打包动作，产出一个droplet，完成打包之后，将droplet回传给云控制器，仍然存放在包存储，然后云控制器根据应用需要的实例数目，调度相应的容器资源池节点部署运行所述droplet；

步骤2：健康管理器实时监视应用占用CPU、MEM状况，当应用占用CPU、MEM达到设定扩容界值(根据应用运行情况设定，一般设置为70％)，监控管理器发出相应告警信号，触发容器控制器为该应用部署新的容器实例，达到负荷分担的能力，实现资源扩容；

步骤3：当应用访问量降低，应用的资源占用率降低，当达到低临界值(根据应用运行情况设定，例如45％以下)，健康管理器触发容器控制器回收该应用部署的容器实例，从而实现资源回收；

步骤4：已有的Iaas平台为规避频繁的回收和部署容器实例，在回收应用资源时，先DOWN一个容器实例上的应用，然后观察所述应用的其它容器实力的资源占用情况，如果一段时间维持在较低水平(例如45％以下)，则回收容器实例，通过容器云的方式实现了应用不宕机状态的资源弹性伸缩。

本发明基于现有的Iaas平台，搭建基于Docker的容器平台，并在DOCKER上开发和部署，实现对容器实例和应用的监控，达到资源的自动伸缩，应用DOWN机秒级恢复，本申请提案的关键点包括：

1、应用的健康管理方法和策略控制，DOWN机后秒级恢复；

2、应用不中断，实现资源快速回收和扩展。

本发明具有如下优点：

1、对比于纯容器平台，本创新是利用了现有Iaas平台，保留了原有的Iaas平台架构和管理手段。基于Iaas平台搭建容器平台，保留了Iaas对物理服务器的灵活控制，同时提升Iaas服务能力。

2、对比原始的DOCKER容器，本发明基于DOCKER实现了健康管控，实时监视容器实例、应用的运行状态，调度容器控制器实现相应的工作，从而实现自动弹性伸缩和DOWN机恢复。

附图说明

下面结合附图和具体实施方式对本发明做更进一步的具体说明，本发明的上述和/或其他方面的优点将会变得更加清楚。

图1是现有Iaas平台结构方式。

图2是容器部署结构。

图3是容器云的部署图。

图4是容器平台模块组成示意图。

图5是系统部署架构。

具体实施方式

容器技术则将基于管理程序虚拟化(hypervisor)技术搭建的Iaas平台的资源管控粒度更加细化，提升资源利用率，同时为运行于云平台的应用提供可靠运行保障。

容器环境的工作方式有所不同。对于容器环境来说，需要首先安装主机操作系统，之后将容器层安装在主机操作系统(通常是Linux变种)之上。在安装完容器层之后，就可以从系统可用计算资源当中分配容器实例了，而应用则可以被部署在容器当中。但是，每个容器化应用都会共享相同的操作系统(单个主机操作系统)。容器部署结构如图2所示,其中APP A即应用A，APP B为即应用B，Bins/Libs即一些工具和用户空间的库，Docker Engine即运行引擎，Host OS即主机操作系统，Server即服务器。

现有Iaas平台将整个操作系统运行在虚拟的硬件平台上，进而提供完整的运行环境供应用程序运行，而容器则直接在宿主平台上加载运行应用程序。现有Iaas平台通过是对硬件资源的虚拟，实现资源共享，容器技术则是对进程的虚拟，实现操作系统共享，从而可提供更轻量级的虚拟化，实现进程和资源的隔离。

相比于传统虚拟机，容器将虚拟资源的管控力度更加细粒度，拥有更高的资源使用效率，因为它并不需要为每个应用分配单独的操作系统——实例规模更小、创建和迁移速度也更快。这意味着相比于传统Iaas平台，单个操作系统能够承载更多的容器。从而相同的硬件资源，可以部署数量更多的容器实例。容器作为应用运行的独立环境更加轻量，当应用资源利用负荷增加到临界时，容器云平台可快速部署新容器实例，快速启动相同应用的多个实例，从而实现负荷分担，及资源扩充。当应用使用负荷降低时，容器云平台kill掉多的应用实例，从而实现资源回收。

借用容器轻量特性，当部署于容器实例上的应用出现异常DOWN机时，容器云平台可快速重新部署新容器实例，实现应用秒级恢复，为应用的高可用性提供保障。

本方发明基于DOCKER容器技术进行开发，实现在现有Iaas平台上搭建容器云，保留传统虚拟化带来的硬件管控的灵活性，同时实现资源的利用率提升，以及应用的高可用性。

本发明基于在已有的Iaas平台上部署DOCKER容器，并针对DOCKER开发相应的管理、控制模块，从而实时掌握容器实例以及应用的运行状况、资源的变化情况，触发相应的容器实例部署、回收，最终达到应用不停的状态下资源快速回收与扩充，同时实现应用DOWN后秒级恢复。为提升云平台服务能力，平台还提供通用的运行环境，实现应用快速发布。容器云的部署图如图3所示；

1、测试平台组成及实现机制

如图4所示是容器平台模块组成示意图，本技术方案的关键点在于利用DOCKER的容器控制器和容器资源池实现基于容器的应用程序创建和调度，并基于DOCKER开发实时的SLA健康管理模块，实现应用的弹性伸缩和高可用。其实现机制如下：

云控制器负责管理应用程序的整个生命周期，控制应用发布、容器实例的创建、启动。容器接收到应用发布请求后，指定一个容器资源池节点来完成打包动作，产出一个droplet，完成打包之后，droplet回传给云控制器，仍然存放在包存储，然后云控制器根据应用需要的实例数目，调度相应的容器资源池节点部署运行该droplet。容器资源池部署在所有物理节点上，管理应用程序实例，将状态信息广播出去。比如创建一个应用程序，实例的创建命令最终会下发到DEA，DEA调用接口创建容器，如果用户要删除某个应用程序，实例的销毁命令最终也会下发到DEA，DEA调用专用的接口销毁对应的容器。

健康管理器在实现应用弹性伸缩和高可用的过程中，扮演着极为关键的角色，主要有三个核心功能：

1)监控应用程序的实际运行状态(比如：running,stopped,crashed等等)，版本，实例数目等信息。容器资源池会持续发送心跳包，汇报它所管辖的实例信息，如果某个实例DOWN机，会立马发送“droplet.exited”消息，健康管理器据此更新应用程序的实际运行数据，从而达到应用DOWN机后秒级回复(秒级恢复前提：恢复时间完全取决应用自身的笨重程度)。健康管理器持续比对承载应用程序容器实例的数目，如果发现应用程序正在运行的实例数目少于要求的实例数目，就发命令给容器控制器，要求启动相应数目的实例。健康管理器本身，实时收集数据，比对，对于出现异常的状况，立即发出告警，触发容器控制器质性容器实例的操作。

2)健康管理器除对容器实例状态监视外，还深入监视应用程序的运行情况，如果容器实例存在，但是应用已经DOWN，健康管理器同样发出应用DOWN信息，触发云控制器重新部署新的应用容器实例，实现宕机快速恢复。

3)为达到资源弹性伸缩，健康管理器实时监视应用占用CPU、MEM状况，当应用占用CPU、MEM达到设定扩容界值，监控管理器发出相应告警信号，触发容器控制器为该应用部署新的容器实例，达到负荷分担的能力，实现资源扩容。当应用访问量降低，应用的资源占用率降低，当达到某低临界值，管理器触发容器控制器回收该应用部署的容器实例，从而实现资源回收。通过容器云的方式实现了应用不宕机状态的资源弹性伸缩。容器平台为规避频繁的回收和部署容器实例，在回收应用资源时，先DOWN一个容器实例上的应用，然后观察该应用的其它容器实力的资源占用情况，如果一段时间维持在较低水平，则回收容器实例。

2、测试平台部署

如图5所示是系统部署架构。测试平台系统的部署在独立的网络环境中，采用以下独立的服务器进行集中部署：

表1

实施例

本实施例对某应用系统的迁移验证：

该应用系统为生产系统，工作时间平均并发访问量为200用户，上午9-11点，系统的CPU、MEM占用率达到90％多，访问明显变慢。应用系统在基于Vmware虚拟机搭建的Iaas平台上，该生产系统分配的资源是面对并发访问量高达1000的情况下，系统采用了对虚拟化的服务器集群按访问峰值进行设计，只是为了应对每天早上从9点到11点的并发访问激增，以及批处理工单信息时高计算资源要求，在系统的绝大多数时候，资源占用率极低，即便是在这种情况下，服务的可用性仍然得不到保障，经常出现系统繁忙，造成响应慢，甚至DOWN，DOWN机后，人工发现到恢复平均要2个小时，严重影响生产。

通过对该应用系统的迁移，对容器平台具备的高可用、快速恢复以及弹性伸缩的能力进行验证。

根据对应用系统的软件架构设计的分析，同时考虑应用改造问题，本次对该应用的部分核心应用模块进行迁移，实现将改造核心模块，让其实现与其它组件、模块间的解耦，迁移模块实现可在轻量级WEB服务中间件上运行的能力，根据容器云的应用发布规则，由容器云平台的发布模块发布到容器云。迁移后的业务模块，将提升原有的支撑能力，包括并发访问量和响应效率。

对迁移到容器云上的业务模块进行了如下测试：

(1)资源弹性伸缩测试：模拟大量用户并发访问该应用模块，当该应用模块资源占用率持续走高，CPU达到设定的70％后，容器平台自动部署该应用的新实例，实例共扩充3个，之后，模拟访问停止，该应用的资源占用率下降，CPU下降到45％后，容器实例开始回收，最终达到初始设定的两个实例状态。

(2)应用DOWN机测试：进入容器实例后台，通过指令方式KILL容器实例上运行的应用，健康管理平台立即发现应用DOWN下，容器平台立即扩容，该应用的容器实例重新部署，10秒钟内新的部署有该应用的容器实例启动，应用重新启动。

本发明提供了一种基于容器技术提升Iaas云平台服务能力的方法，具体实现该技术方案的方法和途径很多，以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。本实施例中未明确的各组成部分均可用现有技术加以实现。

Claims (5)

1.一种基于容器技术提升Iaas云平台服务能力的方法，其特征在于，在已有的Iaas平台上部署DOCKER容器，并基于DOCKER建立实时的SLA服务等级协议健康管理模块，实时掌握容器实例以及应用的运行状况和资源的变化情况，触发相应的容器实例部署和回收，最终达到应用不停的状态下资源快速回收与扩充，同时实现应用DOWN后秒级恢复。

2.根据权利要求1所述的方法，其特征在于，所述Iaas平台包括云控制器，云控制器是Iaas平台的一个管理模块，云控制器负责管理应用程序的整个生命周期，控制应用发布、容器实例的创建、启动；DOCKER容器接收到应用发布请求后，指定一个容器资源池节点来完成打包动作，产出一个droplet，完成打包之后，将droplet回传给云控制器，仍然存放在包存储，然后云控制器根据应用需要的实例数目，调度相应的容器资源池节点部署运行所述droplet；容器资源池部署在所有物理节点上，管理应用程序实例，将状态信息广播出去。

3.根据权利要求2所述的方法，其特征在于，所述健康管理模块监控应用程序的实际运行状态、版本、实例数目信息，容器资源池会持续发送心跳包，汇报它所管辖的实例信息，如果一个实例DOWN机，会立刻发送droplet.exited消息，健康管理器据此更新应用程序的实际运行数据，从而达到应用DOWN机后秒级回复；健康管理器持续比对承载应用程序容器实例的数目，如果发现应用程序正在运行的实例数目少于要求的实例数目，就发命令给容器控制器，要求启动相应数目的实例；健康管理器实时收集数据，实时比对，对于出现实例数目与要求运行的实例数目不一致情况时，立即发出告警，触发容器控制器启动容器实例的操作。

4.根据权利要求3所述的方法，其特征在于，所述健康管理器监视应用程序的运行情况，如果容器实例存在，但是应用已经DOWN，健康管理器发出应用DOWN信息，触发云控制器重新部署新的应用容器实例，实现宕机快速恢复。

5.根据权利要求4所述的方法，其特征在于，所述健康管理模块还用于实现资源弹性伸缩，具体步骤如下：

步骤1：DOCKER容器初始化：DOCKER容器接收到应用发布请求后，指定一个容器资源池节点来完成打包动作，产出一个droplet，完成打包之后，将droplet回传给云控制器，仍然存放在包存储，然后云控制器根据应用需要的实例数目，调度相应的容器资源池节点部署运行所述droplet；

步骤2：健康管理器实时监视应用占用CPU、MEM状况，当应用占用CPU、MEM达到设定扩容界值，监控管理器发出相应告警信号，触发容器控制器为该应用部署新的容器实例，达到负荷分担的能力，实现资源扩容；

步骤3：当应用访问量降低，应用的资源占用率降低，当达到低临界值，健康管理器触发容器控制器回收该应用部署的容器实例，从而实现资源回收；

步骤4：已有的Iaas平台在回收应用资源时，先DOWN一个容器实例上的应用，然后观察所述应用的其它容器实力的资源占用情况，如果一段时间维持在较低水平，则回收容器实例，通过容器云的方式实现了应用不宕机状态的资源弹性伸缩。

Images