CN110351336A - 一种基于docker容器的边缘服务迁移方法 - Google Patents

Abstract

本发明公开了一种基于docker容器的边缘服务迁移方法，通过docker容器对需要迁移的服务使用CRIU检查点技术生成检查点数据，对迁移检查点数据使用压缩去重算法，采用自适应压缩算法可以动态调整压缩比例来适应网络状况，充分利用网络带宽和使用OpenMPI充分使用多核处理器计算能力，压缩算法强度随着网络带宽变化而调整，从而让计算资源和网络资源得到充分利用；实现管道化并行处理以上任务进一步利用了宝贵的资源空闲时间，多个任务并行处理加快了任务的处理速度。为边缘设备的服务迁移赢得更加迅速的迁移速度，这些对用户而言是透明的。我们的迁移方法更快速，对网络环境适应性强，可以对用户的位置变动做到敏捷迁移。

Description

一种基于docker容器的边缘服务迁移方法

技术领域

本发明涉及到边缘计算领域的服务无缝迁移方法，具体涉及一种基于docker容器的边缘服务迁移方法。

背景技术

随着5G技术的成熟落地，万物互联的时代已然来临，随之而来的是边缘设备的计算能力不断提升与价格的不断降低，使边缘网络设备的数量不断增加。在这种情形下许多实时性要求高的终端应用(如：公共安全实时处理、自动驾驶、虚拟现实、智能家居等)等实时性要求高的应用对时延更加敏感，传统的以云计算模型为核心的集中式处理模型已无法高效、及时的处理这些数据。靠近设备端的边缘服务器可以在网络边缘处理大量临时数据而不需要上传到云数据中心，这样处理大大降低了网络带宽和数据中心能耗。但边缘计算面临的核心问题之一便是服务的迁移---------用户由于位置发生变动，跨边缘网络的移动用户需要无缝迁移卸载服务。

边缘计算平台必须平稳地支持这些服务传输，在用户位置发生移动的情况下保持服务不中断的前提下保证好的服务质量。传统的云数据中心多采用VM(虚拟机)为基础的实例，由于迁移数据量大，内存页面迁移需要多次迭代才能迁移完成，同时VM的启动速度较缓慢，这将可能导致服务在切换时停机时间过长，且应用数据和虚拟机本身的数据的迁移对带宽的要求较高，迁移过程的快速与否决定了服务质量和用户体验，甚至用户安全。

发明内容

本发明的目的在于提供一种基于docker容器的边缘服务迁移方法，以克服现有技术的不足。

为达到上述目的，本发明采用如下技术方案：

一种基于docker容器的边缘服务迁移方法，以下步骤：

步骤1)、当检测到用户位置发生移动，经过主控节点决策要求进行服务迁移，通过docker容器在目标节点下拉基础镜像到目标边缘服务器；

步骤2)、通过docker容器对需要迁移的服务使用CRIU检查点技术生成检查点数据；

步骤3)：通过自适应网络状况算法的压缩算法对步骤2)生成的检查点数据进行压缩生成压缩文件，源服务器将压缩文件发送至目标服务器；

步骤4)、目标服务器接收源服务器发送过来的压缩文件，目标服务器使用docker容器通过CRIU技术对接收到的压缩文件进行检查点恢复，从而完成服务迁移至目标服务器，通过目标服务器继续提供服务。

进一步的，基础镜像中的相关数据卷和配置参数是通过NFS中的共享文件读取。

进一步的，基础镜像下拉到目标边缘服务器后运行一个docker容器实例。

进一步的，检查点数据包含正在运行的docker容器的内存状态，内存状态包括打开的文件的描述符、网络套接字、应用程序数据结构和缓存的数据。

进一步的，将生成的检查点数据分为内存页面数据与其他非内存页面数据，对内存页面数据与其他非内存页面数据分别进行压缩。

进一步的，根据网络状况变化调整压缩算法的压缩强度，将内存页面数据通过Wkdm内存压缩方法进行压缩，其他非内存页面数据通过LZ4压缩方法进行压缩。

进一步的，根据网络状况变化调整压缩算法的压缩强度的方法包括以下步骤：通过动态获取源服务器与目标服务器之间的网络传输时延RTT和丢包率PacketLoss获得当前网络状况，根据获得的当前网络状况获取对应网络状态区位码图位置即可得到对应当前网络状况的压缩强度，其中网络状态区位码图对应压缩强度如下：

网络传输时延RTT为网络状态区位码图横坐标，丢包率PacketLoss为网络状态区位码图纵坐标。

进一步的，根据网络状况变化调整压缩算法的压缩强度的方法具体包括以下步骤：

第一步：源服务器间隔时间内获取源服务器与目标服务器之间的网络传输时延RTT,源服务器通过发送ping指令，将当前获取的网络传输时延RTT与上一帧获取的网络传输时延RTT对比；

当RTT_a＜0.85RTT_b，则返回状态码1；

当0.85RTT_b＜RTT_a＜1.05RTT_b，则返回状态码1；

当1.05RTT_b＜RTT_a，则返回状态码3；

为RTT_a前获取的网络传输时延RTT值，RTT_b为上一帧获取的网络传输时延RTT值；

第二步：源服务器间隔时间内获取源服务器与目标服务器之间的丢包率PacketLoss值，通过发送ping指令，源服务器过滤出返回值的丢包率字段，将当前丢包率PacketLoss值与上一帧获取的丢包率PacketLoss值对比，

当PacketLoss_a＜0.2PacketLoss_b，则返回状态码1；

当0.2PacketLoss_b＜PacketLoss_a＜0.5PacketLoss_b，则返回状态码2；

当0.5PacketLoss_b＜PacketLoss_a，则返回状态码3；

步骤三：根据步骤一和步骤二获取的网络传输时延RTT和丢包率PacketLoss所对应的网络状态区位码图坐标位置，即可得到对应当前网络状况的压缩强度。

进一步的，通过CRIU技术对压缩文件进行检查点恢复具体包括数据卷的重新挂载、网络状态的恢复和容器的连接状态复原。

与现有技术相比，本发明具有以下有益的技术效果：

本发明一种基于docker容器的边缘服务迁移方法，通过docker容器对需要迁移的服务使用CRIU检查点技术生成检查点数据，对迁移检查点数据使用压缩去重算法，考虑到网络带宽与计算能力的折中，采用自适应压缩算法可以动态调整压缩比例来适应网络状况，充分利用网络带宽和使用OpenMPI充分使用多核处理器计算能力，结合任务之间的独立性使用并行编程技术处理对多个任务的执行，进一步加速迁移的完成，本方法采用了基于Docker容器的共享基础镜像方式，采用压缩算法压缩后迁移的策略，压缩算法强度随着网络带宽变化而调整，从而让计算资源和网络资源得到充分利用；通过docker容器在目标节点下拉基础镜像到目标边缘服务器，然后对需要迁移的服务使用CRIU检查点技术生成检查点数据，实现管道化并行处理以上任务进一步利用了宝贵的资源空闲时间，多个任务并行处理加快了任务的处理速度。为边缘设备的服务迁移赢得更加迅速的迁移速度，这些对用户而言是透明的。我们的迁移方法更快速，对网络环境适应性强，可以对用户的位置变动做到敏捷迁移。

附图说明

图1为本发明流程图。

图2为服务迁移示意图。

图3为网络状态区位码图。

图4为自适应压缩算法流程图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步地详细说明。应当理解，此处所描述的具体实施例仅仅用于解释本发明的基本构想，并不用于限定本发明。本领域技术人员可由本说明书所表述的内容了解本发明的其它优点与功效。本发明还可以有其它不同的具体实施方式加以实施或应用，本说明书的各项细节也可以有基于不同观点与应用，在没有违背本发明精神下可以进行各种修饰或改变。

如图1所示，一种基于docker容器的边缘服务迁移方法，包括以下步骤：

步骤1)、当检测到用户位置发生移动，经过主控节点决策要求进行服务迁移，通过docker容器在目标节点下拉基础镜像到目标边缘服务器；具体服务迁移原理如图2所示，

基础镜像中的相关数据卷和配置参数是通过NFS中的共享文件读取；

基础镜像下拉到目标边缘服务器后运行一个docker容器实例，确保基础镜像运行安全；

NFS(Network File System)即网络文件系统，是FreeBSD支持的文件系统中的一种，它允许网络中的计算机之间通过TCP/IP网络共享资源，在NFS的应用中，本地NFS的客户端应用可以透明地读写位于远端NFS服务器上的文件，在本过程中NFS可在源服务器和目标服务器间共享配置文件和数据卷数据，便于docker容器在恢复服务时与源服务器的服务配置保持一致。

步骤2)、通过docker容器对需要迁移的服务使用CRIU(Checkpoint/Restore inUserspace)检查点技术生成检查点数据，即docker容器对此刻的docker容器自身运行状态做一次快照；具体指令可通过docker checkpoint create--leave-running＝true加上容器ID实现CRIU检查点技术；

检查点数据包含正在运行的docker容器的内存状态，内存状态包括打开的文件的描述符、网络套接字、应用程序数据结构和缓存的数据。

CRIU是linux平台在用户空间实现checkpoint/restore功能的工具软件；通过CRIU能够冻结正在运行的应用程序或者其中的一部分，并将应用程序的执行状态以文件形式保存在网络文件系统NFS上，然后通过生成的检查点数据能够将应用程序从冻结的时间点恢复回来继续运行。使用中可直接通过docker容器中的docker指令实现应用的实时迁移、应用快照和远程调试功能。CRIU最显著的特点是在用户空间实现checkpoint/restore，不需要修改应用程序或者操作系统。

步骤3)：通过自适应网络状况算法的压缩算法对步骤2)生成的检查点数据进行压缩生成压缩文件，源服务器将压缩文件发送至目标服务器；压缩原理图如图4所示，

将生成的检查点数据分为内存页面数据与其他非内存页面数据，对内存页面数据与其他非内存页面数据分别进行压缩；

根据网络状况变化调整压缩算法的压缩强度，内存页面数据通过Wkdm内存压缩方法进行压缩，其他非内存页面数据通过LZ4压缩方法进行压缩；

根据网络状况变化调整压缩算法的压缩强度的方法具体包括以下步骤：

如图3所示，通过动态获取源服务器与目标服务器之间的网络传输时延RTT和丢包率PacketLoss获得当前网络状况，根据获得的当前网络状况获取对应网络状态区位码图位置即可得到对应当前网络状况的压缩强度，通过改变压缩算法的压缩强度改变时延对网络的适应，其中网络状态区位码图对应压缩强度如下：

网络传输时延RTT为网络状态区位码图横坐标，丢包率PacketLoss为网络状态区位码图纵坐标；

具体的，第一步：源服务器间隔时间内获取源服务器与目标服务器之间的网络传输时延RTT,源服务器通过发送ping指令，将当前获取的网络传输时延RTT与上一帧获取的网络传输时延RTT对比；

当RTT_a＜0.85RTT_b，则返回状态码1；

当0.85RTT_b＜RTT_a＜1.05RTT_b，则返回状态码1；

当1.05RTT_b＜RTT_a，则返回状态码3；

为RTT_a前获取的网络传输时延RTT值，RTT_b为上一帧获取的网络传输时延RTT值；

第二步：源服务器间隔时间内获取源服务器与目标服务器之间的丢包率PacketLoss值，通过发送ping指令，源服务器过滤出返回值的丢包率字段，将当前丢包率PacketLoss值与上一帧获取的丢包率PacketLoss值对比，

当PacketLoss_a＜0.2PacketLoss_b，则返回状态码1；

当0.2PacketLoss_b＜PacketLoss_a＜0.5PacketLoss_b，则返回状态码2；

当0.5PacketLoss_b＜PacketLoss_a，则返回状态码3；

步骤三：根据步骤一和步骤二获取的网络传输时延RTT和丢包率PacketLoss所对应的网络状态区位码图坐标位置，即可得到对应当前网络状况的压缩强度；

本压缩算法解决的具体问题可根据网络状况变化而调整压缩算法的压缩强度，使得传输数据的大小适应网络的带宽；边缘网络的带宽有限，迁移任务传输数据量过大会影响用户的服务质量，这里考虑到多核处理器的计算能力和网络带宽的充分利用，寻取压缩时间和传输时间综合最优的折中。压缩强度分为九级，级别1表示压缩最快，但是压缩率最低，文件压缩效果不佳；级别9表示压缩速度最慢，但压缩率最高，使压缩后的文件小很多。

步骤4)、目标服务器接收源服务器发送过来的压缩文件，目标服务器使用docker容器通过CRIU技术对接收到的压缩文件进行检查点恢复，从而完成服务迁移至目标服务器，通过目标服务器继续提供服务。

通过CRIU技术对压缩文件进行检查点恢复具体包括数据卷的重新挂载、网络状态的恢复和容器的连接状态复原。

在边缘网络中，一个服务迁移的场景如图2所示，移动用户接入MEC服务器1，通过MEC服务器1获取服务A，当移动用户进行移动，移动用户和MEC服务器1的距离逐渐增加，为保证服务质量，MEC服务器1中为用户提供的服务A需要迁移到与移动用户距离近的MEC服务器2中，在完成迁移之后，移动用户不再需要和MEC服务器1通信，转到直接向MEC服务器2通信，基于这种在轻量级docker容器之上的服务迁移方法能够很好克服由于移动用户的移动性和边缘服务器的覆盖范围有限而导致网络性能和服务质量(QoS)急剧下降的问题。服务迁移有很大的潜力来解决这些问题，这些问题决定了在用户迁移和需求变化之后何时或何地迁移这些服务。

图4是自适应压缩算法图，在压缩阶段通过获取网络延迟和丢包率来感知网络的好坏状况，从而对压缩强度做出适当奖惩。事实上，在Docker容器运行CRIU生成检查点数据中，需要转储的总大小中主要由pages-*.img与pagemap.img的大小决定。由于在压缩检查点数据中内存页面数据占比较大，基于内存页特性，我们采用Wkdm内存压缩算法来处理压缩内存页面，其他数据卷数据和元数据采用可以动态设置压缩等级的LZ4压缩算法。Wkdm是一种基于最近时间的压缩器，它根据机器语言操作，并使用直接映射，16字字典和快速编码实现。WKdm算法由于其速度和与LZ4相当的压缩率，在绝大多数数据点上都达到了最好的性能。

本发明包括了生成检查点，压缩迁移，流水处理多任务并传输，恢复服务，切换到新服务器几个过程。以下仅仅举一个经典的例子说明该框架如何工作的。首先当边缘服务器中的容器中的服务A为用户提供服务时，由于用户位置发生变动较大，经过计算主控节点发出服务迁移指令，首先在生成此时容器的检查点，将应用此时的状态信息保存起来；然后根据网络的状况动态的设置相应的压缩强度，使得压缩耗时和传输耗时总和最优；待到检查点数据传输过来后，恢复容器的状态和配置信息，之后切换服务到新的边缘服务器继续为用户提供服务，整个过程很短暂，对用户几乎是透明的，保证了服务质量同时，也不会对用户体验在成大的影响。

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (9)

1.一种基于docker容器的边缘服务迁移方法，其特征在于，以下步骤：

步骤1)、当检测到用户位置发生移动，经过主控节点决策要求进行服务迁移，通过docker容器在目标节点下拉基础镜像到目标边缘服务器；

步骤2)、通过docker容器对需要迁移的服务使用CRIU检查点技术生成检查点数据，即docker容器对此刻的docker容器自身运行状态做一次快照；

步骤3)：通过自适应网络状况算法的压缩算法对步骤2)生成的检查点数据进行压缩生成压缩文件，源服务器将压缩文件发送至目标服务器；

步骤4)、目标服务器接收源服务器发送过来的压缩文件，目标服务器使用docker容器通过CRIU技术对接收到的压缩文件进行检查点恢复，从而完成服务迁移至目标服务器，通过目标服务器继续提供服务。

2.根据权利要求1所述的一种基于docker容器的边缘服务迁移方法，其特征在于，基础镜像中的相关数据卷和配置参数是通过NFS中的共享文件读取。

3.根据权利要求1所述的一种基于docker容器的边缘服务迁移方法，其特征在于，基础镜像下拉到目标边缘服务器后运行一个docker容器实例。

4.根据权利要求1所述的一种基于docker容器的边缘服务迁移方法，其特征在于，检查点数据包含正在运行的docker容器的内存状态，内存状态包括打开的文件的描述符、网络套接字、应用程序数据结构和缓存的数据。

5.根据权利要求1所述的一种基于docker容器的边缘服务迁移方法，其特征在于，将生成的检查点数据分为内存页面数据与其他非内存页面数据，对内存页面数据与其他非内存页面数据分别进行压缩。

6.根据权利要求5所述的一种基于docker容器的边缘服务迁移方法，其特征在于，根据网络状况变化调整压缩算法的压缩强度，将内存页面数据通过Wkdm内存压缩方法进行压缩，其他非内存页面数据通过LZ4压缩方法进行压缩。

7.根据权利要求6所述的一种基于docker容器的边缘服务迁移方法，其特征在于，根据网络状况变化调整压缩算法的压缩强度的方法包括以下步骤：通过动态获取源服务器与目标服务器之间的网络传输时延RTT和丢包率PacketLoss获得当前网络状况，根据获得的当前网络状况获取对应网络状态区位码图位置即可得到对应当前网络状况的压缩强度，其中网络状态区位码图对应压缩强度如下：

网络传输时延RTT为网络状态区位码图横坐标，丢包率PacketLoss为网络状态区位码图纵坐标。

8.根据权利要求6或7所述的一种基于docker容器的边缘服务迁移方法，其特征在于，根据网络状况变化调整压缩算法的压缩强度的方法具体包括以下步骤：

第一步：源服务器间隔时间内获取源服务器与目标服务器之间的网络传输时延RTT,源服务器通过发送ping指令，将当前获取的网络传输时延RTT与上一帧获取的网络传输时延RTT对比；

当RTT_a＜0.85RTT_b，则返回状态码1；

当0.85RTT_b＜RTT_a＜1.05RTT_b，则返回状态码1；

当1.05RTT_b＜RTT_a，则返回状态码3；

为RTT_a前获取的网络传输时延RTT值，RTT_b为上一帧获取的网络传输时延RTT值；

第二步：源服务器间隔时间内获取源服务器与目标服务器之间的丢包率PacketLoss值，通过发送ping指令，源服务器过滤出返回值的丢包率字段，将当前丢包率PacketLoss值与上一帧获取的丢包率PacketLoss值对比，

当PacketLoss_a＜0.2PacketLoss_b，则返回状态码1；

当0.2PacketLoss_b＜PacketLoss_a＜0.5PacketLoss_b，则返回状态码2；

当0.5PacketLoss_b＜PacketLoss_a，则返回状态码3；

步骤三：根据步骤一和步骤二获取的网络传输时延RTT和丢包率PacketLoss所对应的网络状态区位码图坐标位置，即可得到对应当前网络状况的压缩强度。

9.根据权利要求1所述的一种基于docker容器的边缘服务迁移方法，其特征在于，通过CRIU技术对压缩文件进行检查点恢复具体包括数据卷的重新挂载、网络状态的恢复和容器的连接状态复原。