CN106385449B - 一种基于容器的异构集群服务迁移中转系统及中转方法 - Google Patents

Abstract

本发明提供的是一种基于容器的异构集群服务迁移中转系统及中转方法。本发明在异构集群中部署服务中转节点，结合容器技术和进程迁移技术，通过异构集群中计算节点上的服务运行环境描述，在服务中转节点上生成服务运行环境容器镜像库。当集群中有节点要迁移服务时，直接将该服务迁移给服务迁移中转节点，服务迁移中转节点从服务运行环境库中选出具有该服务环境的容器镜像，并通过该容器镜像生成相应的容器，在容器中恢复该服务。当集群中通信负载较低时，服务中转节点再将该服务迁移至集群中其他具有该服务运行环境的节点中继续运行。这种中转机制将有效缩减服务迁移中选择可用节点的时间开销和部署备用节点的开销，增强服务迁移的连续性。

Description

一种基于容器的异构集群服务迁移中转系统及中转方法

技术领域

本发明涉及异构集群环境的服务迁移技术。

背景技术

随着云计算的普及，云计算集群中部署服务的种类大幅增多，由于服务的架构不同，云计算集群正迅速转化为异构集群。异构集群中，随着节点数量的增加，单位时间内需要维护的节点和出现故障的节点的数量会随之增加。因此，节点维护以及节点出现故障时，通过服务迁移机制将需要迁移服务节点上的服务迁移至集群中其他节点上，对于保证服务连续性十分必要。

目前，现有服务迁移中转机制主要针对同构集群,通过在集群中部署备用节点实现服务迁移。而在异构集群中，由于节点的环境存在差异，为每一类节点都部署备用节点将对集群资源造成极大的浪费。异构集群中，服务迁移主要包括进程迁移和虚拟机迁移，但均无法满足异构集群环境下服务迁移所需的高效性和快速反应能力。进程迁移复杂的迁移流程需要耗费大量时间在集群中寻找具有相同环境的节点，虚拟机迁移需要较大的系统开销。

容器技术作为虚拟化技术的一种，因其较低的资源消耗而被认为是云计算实现的新方向。利用容器技术可以在较低系统开销的基础上在物理机上虚拟出大量的容器，而容器迁移技术可以实现较低开销的异构集群服务迁移。但是目前的容器迁移技术，如CRIU，在全程服务迁移时需要消耗时间来选择目的节点，同时容器粒度的服务迁移性能低于进程粒度的服务迁移。目前也没有基于容器技术的服务迁移中转机制。

综上所述，异构集群服务迁移存在迁移响应时间长，迁移代价大等缺点。

发明内容

本发明的目的在于提供一种能提高异构集群服务迁移效率的基于容器的异构集群服务迁移中转系统。本发明的目的还在于提供一种基于容器的异构集群服务迁移中转方法。

本发明的基于容器的异构集群服务迁移中转系统包括境扫描模块、环境收集模块、容器管理模块、服务运行环境容器镜像库和服务迁移辅助模块，环境扫描模块和服务迁移辅助模块部署在计算节点上，环境收集模块、容器管理模块、服务运行环境容器镜像库和服务迁移辅助模块部署在服务中转节点上；

环境扫描模块用于获取服务所在的服务运行环境信息，将服务运行环境信息进行规范化处理，表示成服务运行环境描述，并将服务运行环境描述发送给环境收集模块；

环境收集模块接收各个节点发送来的服务运行环境描述，根据接收的服务运行环境描述生成服务运行环境描述集，将服务运行环境描述集发送给容器管理模块；服务运行环境描述集是异构集群中所有服务运行环境的规范化描述集合；

容器管理模块通过服务运行环境描述集构建、管理服务运行环境容器镜像库，协调服务的中转迁移；

服务运行环境容器镜像库负责存储用于中转的容器镜像，容器库中的容器镜像覆盖异构集群中所有的服务运行环境，容器镜像实例化一个或多个相应的容器，中转的服务在容器中恢复；

服务迁移辅助模块进行服务迁移和服务恢复，服务迁移辅助模块通过给相应服务设置检查点文件来保存服务的运行状态，通过传输检查点文件实现服务迁移，并通过检查点文件恢复服务，使服务继续运行。

所述服务运行环境描述主要包括服务所在环境的操作系统版本、内核版本、所需函数库、操作系统软件环境配置以及服务所需的辅助程序。

本发明的基于容器的异构集群服务迁移中转方法包括服务运行环境容器镜像库的建库过程和服务中转迁移过程，

所述服务运行环境容器镜像库的建库过程为：

(1)在集群中部署服务迁移中转节点并行环境收集模块、容器管理模块、服务运行环境容器镜像库和服务迁移辅助模块；

(2)运行在计算节点上的环境扫描模块收集本机环境下服务运行环境信息，经过规范化处理记录为服务运行环境描述r，并将服务运行环境描述r发送给集群中的服务迁移中转节点；

(3)服务迁移中转节点上的环境收集模块对接收到的服务运行环境描述r进行汇总分类，将每一类服务运行环境描述记录为ri，生成服务运行环境描述集R，R＝{r0，r1...ri...}，并将服务运行环境描述集R发送给容器管理模块；

(4)容器管理模块根据收到的服务运行环境集R构建服务运行环境容器镜像库T，T＝{t0，t1...ti...}，其中每一个容器镜像ti对应一类服务运行环境描述ri，每一个容器镜像实例化为多个容器，每一个容器具有一类服务所需的服务运行环境，从而在容器中恢复中转服务；

(5)将容器镜像构建成服务运行环境容器镜像库，服务中转节点根据集群服务运行环境信息不断更新服务运行环境容器镜像库；

所述服务中转迁移过程为：

(6)在集群中部署服务迁移中转节点，并根据异构集群中各个节点的服务运行环境在服务迁移中转节点上构建服务运行环境容器镜像库；

(7)当集群中有节点需要进行服务迁移时，通过服务迁移辅助模块生成相应服务的检查点文件，并直接将服务检查点文件和服务运行环境描述ri迁移至服务迁移中转节点上，实现无缝的第一次服务迁移；

(8)中转节点的服务迁移辅助模块收到服务的检查点文件和服务运行环境描述ri后，将服务运行环境ri发送给容器管理模块，容器管理模块在服务运行环境容器镜像库将中将与ri匹配的容器镜像ti实例化为容器ci，利用服务迁移辅助模块的服务恢复功能在匹配的容器ci中恢复该服务；

(9)容器管理模块根据集群中各节点环境扫描模块发送到服务迁移中转节点上的记录来查询具有服务运行环境ri的节点，如果除迁移源节点之外存在具有ri环境的节点，则选择内存占用率最低的节点作为目的节点，并跳转(10)，如果不存在具有ri环境的节点，则跳转(11)；

(10)当集群内部网络带宽占用低于20％时，通过服务迁移辅助模块将服务迁移至(9)中选择的目的节点继续运行，完成服务的中转迁移；如果集群内部网络带宽占用高于20％，等待集群内部网络带宽占用降低至20％后触发(10)；

(11)当集群内部网络带宽占用低于20％时，将容器冻结，并通过服务迁移辅助模块直接将容器ci迁移至集群中内存使用率最低的节点中，在该节点解冻容器使其继续运行；如果集群内部网络带宽占用高于20％，等待集群内部网络带宽占用降低至20％后触发(11)；

上述服务迁移辅助模块迁移服务的过程为，首先给服务生成检查点文件，然后将检查点文件传输至目的节点，目的节点上的服务迁移辅助模块根据检查点文件恢复服务。

为减少服务迁移时间开销和系统开销，本发明提出了一种基于容器的异构集群服务迁移中转机制，针对在异构集群中计算节点软件运行环境复杂的情况构建服务运行环境容器库，在较低的资源开销下覆盖异构集群中所有服务运行环境，减少在异构集群中部署大量备用节点的开销，并缩短选择合适节点或配置软件运行环境上所要消耗的宝贵时间，降低异构集群服务迁移开销。

本发明意在解决异构集群中选择服务迁移可用节点时间消耗大和异构集群中部署备用节点开销大的问题，提高异构集群服务迁移效率。本发明在异构集群中部署服务中转节点，结合容器技术和进程迁移技术，通过异构集群中计算节点上的服务运行环境描述，在服务中转节点上生成服务运行环境容器镜像库。当集群中有节点要迁移服务时，直接将该服务迁移给服务迁移中转节点，服务迁移中转节点从服务运行环境库中选出具有该服务环境的容器镜像，并通过该容器镜像生成相应的容器，在容器中恢复该服务。当集群中通信负载较低时，服务中转节点再将该服务迁移至集群中其他具有该服务运行环境的节点中继续运行。这种中转机制将有效缩减服务迁移中选择可用节点的时间开销和部署备用节点的开销，增强服务迁移的连续性。

本发明的有益效果体现在：

①通过基于容器的服务迁移中转机制为异构集群提供良好的服务迁移能力。

②通过直接将服务迁移至中转节点缩短迁移响应时间。

③本发明通过构建服务运行环境容器镜像库缩减服务迁移中转开销，减少部署备用节点开销。

附图说明

图1是基于容器的异构集群服务迁移中转机制的服务运行环境容器镜像库生成框图；

图2是基于容器的异构集群服务迁移中转机制的服务中转迁移框图；

图3是基于容器的异构集群服务迁移中转机制的服务中转迁移机制流程图。

具体实施方式

下面结合附图举例对本发明做更详细的描述。

图1为本发明的服务运行环境容器镜像库建库过程。集群中部署计算节点和服务中转节点。首先，运行在计算节点上的环境扫描模块收集本机环境下服务的运行环境描述并记录为服务运行环境描述r，并将服务运行环境描述r发送给集群中服务迁移中转节点。服务迁移中转节点上的环境收集模块对收集到的服务运行环境描述r进行汇总分类，每一类服务运行环境描述记录为ri，生成服务运行环境描述集R，R＝{r0，r1...ri...}，并将服务运行环境描述集R发送给容器管理模块。由于异构集群中可以使用虚拟化技术运行服务，所以本方法获取的服务运行环境是指直接为服务提供服务的运行环境，例如，如果服务直接运行在物理主机上，如图1中节点1所示，则收集物理主机的服务运行环境1的描述；如果服务运行在虚拟机环境中，如图1中节点2所示，则收集虚拟机的服务运行环境2的描述。

容器管理模块根据服务收到的服务运行环境描述集R构建服务运行环境容器镜像库T，T＝{t0，t1...ti...}，其中每一个容器镜像ti对应一类服务运行环境描述ri。服务中转节点会根据集群服务运行环境信息不断更新服务运行环境容器镜像库。

图2展示了一种基于容器的异构集群服务迁移中转机制的迁移框图。本实施例在异构集群中部署一台服务迁移中转节点，三台计算节点，其中，计算节点1和计算节点2上的服务运行环境相同。如图2所示，本示例计算节点2需要迁移服务1，通过该节点的服务迁移辅助模块，将服务的迁检查点文件和服务运行环境描述发送给服务中转节点，实现第一次服务迁移。服务中转节点中的容器管理模块根据服务运行环境描述选取相应的容器镜像，本示例选取容器镜像t1，通过容器镜像t1实例化容器c1，并在容器c1中恢复服务1。容器管理模块根据集群中传送至服务迁移中转节点上的服务环境描述记录查询到计算节点1具有与计算节点2相同的服务运行环境，并将计算节点1设置为目的节。当集群中通信负载较低时，中转节点将服务1迁移至计算节点1继续运行，完成服务的中转迁移。

本发明的服务迁移中转机制描述如图3所示。服务迁移方法流程如下：

(1)在集群中部署服务迁移中转节点，并根据异构集群中各个节点的服务运行环境在服务迁移中转节点上构建服务运行环境容器镜像库。

(2)当集群中有节点需要进行服务迁移时，通过服务迁移辅助模块生成相应服务的检查点文件，并直接将服务检查点文件和服务运行环境描述ri迁移至服务迁移中转节点上，实现无缝的第一次服务迁移。

(3)中转节点的服务迁移辅助模块收到服务的检查点文件和服务运行环境描述ri后，将服务运行环境ri发送给容器管理模块。容器管理模块在服务运行环境容器镜像库将中将与ri匹配的容器镜像ti实例化为容器ci，利用服务迁移辅助模块的服务恢复功能在匹配的容器ci中恢复该服务。

(4)容器管理模块根据集群中各节点环境扫描模块发送到服务迁移中转节点上的服务环境描述记录来查询具有服务运行环境ri的节点。如果除迁移源节点之外存在具有ri环境的节点，则选择内存占用率最低的节点作为目的节点，并跳转(5)，如果不存在具有ri环境的节点，则跳转(6)。

(5)当集群内部网络带宽占用低于20％时，通过服务迁移辅助模块将服务迁移至(4)中选择的目的节点继续运行，完成服务的中转迁移；如果集群内部网络带宽占用高于20％，等待集群内部网络带宽占用降低至20％后触发(5)。

(6)当集群内部网络带宽占用低于20％时，冻结容器ci，并通过服务迁移辅助模块直接将容器ci迁移至集群中内存使用率最低的节点中，在该节点中解冻容器使其继续运行。如果集群内部网络带宽占用高于20％，等待集群内部网络带宽占用降低至20％后触发(6)。

Claims (4)

1.一种基于容器的异构集群服务迁移中转系统，包括境扫描模块、环境收集模块、容器管理模块、服务运行环境容器镜像库和服务迁移辅助模块，其特征是：环境扫描模块和服务迁移辅助模块部署在计算节点上，环境收集模块、容器管理模块、服务运行环境容器镜像库和服务迁移辅助模块部署在服务中转节点上；

环境扫描模块用于获取服务所在的服务运行环境信息，将服务运行环境信息进行规范化处理，表示成服务运行环境描述，并将服务运行环境描述发送给环境收集模块；

环境收集模块接收各个计算节点发送来的服务运行环境描述，根据接收的服务运行环境描述生成服务运行环境描述集，将服务运行环境描述集发送给容器管理模块；服务运行环境描述集是异构集群中所有服务运行环境的规范化描述集合；

容器管理模块通过服务运行环境描述集构建、管理服务运行环境容器镜像库，协调服务的中转迁移；

服务运行环境容器镜像库负责存储用于中转的容器镜像，容器库中的容器镜像覆盖异构集群中所有的服务运行环境，容器镜像实例化一个或多个相应的容器，中转的服务在容器中恢复；

服务迁移辅助模块进行服务迁移和服务恢复，服务迁移辅助模块通过给相应服务设置检查点文件来保存服务的运行状态，通过传输检查点文件实现服务迁移，并通过检查点文件恢复服务，使服务继续运行。

2.根据权利要求1所述的基于容器的异构集群服务迁移中转系统，其特征是：所述服务运行环境描述主要包括服务所在环境的操作系统版本、内核版本、所需函数库、操作系统软件环境配置以及服务所需的辅助程序。

3.一种基于权利要求1所述的基于容器的异构集群服务迁移中转系统的中转方法，其特征是：包括服务运行环境容器镜像库的建库过程和服务中转迁移过程，

所述服务运行环境容器镜像库的建库过程为：

(1)在集群中部署服务迁移中转节点并运行环境收集模块、容器管理模块、服务运行环境容器镜像库和服务迁移辅助模块；

(2)运行在计算节点上的环境扫描模块收集本机环境下服务运行环境信息，经过规范化处理记录为服务运行环境描述r，并将服务运行环境描述r发送给集群中的服务迁移中转节点；

(3)服务迁移中转节点上的环境收集模块对接收到的服务运行环境描述r进行汇总分类，将第i类服务运行环境描述记录为ri，生成服务运行环境描述集R，R＝{r0，r1...ri...}，并将服务运行环境描述集R发送给容器管理模块；

(4)容器管理模块根据收到的服务运行环境集R构建服务运行环境容器镜像库T，T＝{t0，t1...ti...}，其中第i个容器镜像ti对应一类服务运行环境描述ri，每一个容器镜像实例化为多个容器，每一个容器具有一类服务所需的服务运行环境，从而在容器中恢复中转服务；

(5)将容器镜像构建成服务运行环境容器镜像库，服务中转节点根据集群服务运行环境信息不断更新服务运行环境容器镜像库；

所述服务中转迁移过程为：

(6)在集群中部署服务迁移中转节点，并根据异构集群中各个计算节点的服务运行环境在服务迁移中转节点上构建服务运行环境容器镜像库；

(7)当集群中有节点需要进行服务迁移时，通过服务迁移辅助模块生成相应服务的检查点文件，并直接将服务检查点文件和服务运行环境描述ri迁移至服务迁移中转节点上，实现无缝的第一次服务迁移；

(8)中转节点的服务迁移辅助模块收到服务的检查点文件和服务运行环境描述ri后，将服务运行环境ri发送给容器管理模块，容器管理模块在服务运行环境容器镜像库将中将与ri匹配的容器镜像ti实例化为容器ci，利用服务迁移辅助模块的服务恢复功能在匹配的容器ci中恢复该服务；

(9)容器管理模块根据集群中各节点环境扫描模块发送到服务迁移中转节点上的记录来查询具有服务运行环境ri的节点，如果除迁移源节点之外存在具有ri环境的节点，则选择内存占用率最低的节点作为目的节点，并跳转(10)，如果不存在具有ri环境的节点，则跳转(11)；

(10)当集群内部网络带宽占用低于20％时，通过服务迁移辅助模块将服务迁移至(9)中选择的目的节点继续运行，完成服务的中转迁移；如果集群内部网络带宽占用高于20％，等待集群内部网络带宽占用降低至20％后触发(10)；

(11)当集群内部网络带宽占用低于20％时，将容器冻结，并通过服务迁移辅助模块直接将容器ci迁移至集群中内存使用率最低的节点中，在该节点解冻容器使其继续运行；如果集群内部网络带宽占用高于20％，等待集群内部网络带宽占用降低至20％后触发(11)。

4.根据权利要求3所述的中转方法，其特征是服务迁移辅助模块迁移服务的过程为，首先给服务生成检查点文件，然后将检查点文件传输至目的节点，目的节点上的服务迁移辅助模块根据检查点文件恢复服务。