CN109144777A - 一种基于Docker的异构虚拟计算灾备的方法 - Google Patents

Abstract

本发明公开了一种基于Docker的异构虚拟计算灾备的方法，涉及数据备份技术领域。该方法将Docker运用于云灾备环境当中，利用其相对虚拟机所存在的轻量级、便携性的优势，进一步缩短灾难恢复的时间，保证业务的连续性，Docker将应用及系统“容器化”，无需额外的操作系统，只需要减少或添加镜像就可以在一台服务器上部署上千个容器，极大的节约成本，确保资源的合理利用；另外，通过一种资源预分配的调度算法，使得分配后申请的节点数目最少，降低云主机的开销，更大程度的节约成本，达到资源使用的最优化。

Description

一种基于Docker的异构虚拟计算灾备的方法

技术领域

本发明涉及数据备份技术领域，尤其涉及一种基于Docker的异构虚拟计算 灾备的方法。

背景技术

伴随着互联网和大数据时代的到来，整个社会高度信息化，数据中心成为 核心业务运行的关键。一旦数据中心发生意外或者各种不可抗力事故，都将对 整个企业带来灾难性的后果。

为了提高数据中心抵抗灾难的能力，做好灾难备份建设刻不容缓。传统的 数据中心灾备，需要在异地建立一个和生产中心同等规模的灾备中心，正常情 况下，大量的设备处于闲置状态，造成了资源的极大浪费。

近几年出现的云灾备是在生产中心发生灾难时，在公有云平台上按需申请 服务器，恢复数据及中断的业务，极大的提高了资源利用率。

但是，目前的云平台上大部分服务都在虚拟机中运行，而由虚拟机带来的 额外的性能损失，往往使云平台的额外开销不尽人意，同时，虚拟机的启动速 度相对较慢，灾难发生时的服务中断时间比较长。

发明内容

本发明的目的在于提供一种基于Docker的异构虚拟计算灾备的方法，从而 解决现有技术中存在的前述问题。

为了实现上述目的，本发明采用的技术方案如下：

一种基于Docker的异构虚拟计算灾备的方法，包括如下步骤：

S1，将应用部署到多个Docker容器中；

S2，按照下式计算每个Docker容器的资源需求量R_di以及一台云主机可提供 的资源量R_h：

R_di＝αC+βM+χIO+δB

其中，α，β，χ，δ分别为用户根据不同场景自定义的CPU，内存，I/O 和带宽资源的比例系数；

S3，对所有的Docker容器按照资源需求量进行降序排列，得到 D'＝{d'₁,d'₂,…d'_i…d'_n}，n为所有的Docker容器的数量；

S4，比较每个Docker容器的资源需求量与一台云主机可提供的资源量R_h之间的大小关系，满足预设条件的k个Docker容器组成降序排列的集合 D”＝{d”₁,d”₂,…d”_i…d”_k}，不满足预设条件的n-k个Docker容器组成降序排列的集合 D”'＝{d”'₁,d”'₂,…d”'_i…d'”_n-k}；

S5，在云平台上申请k台云主机，将D”中的元素依次部署到这k台主机上， 记为：f:d”_i|→h_j，令C_j＝C_j-c”_i，M_j＝M_j-m”_i，IO_j＝IO_j-io”_i，B_j＝B_j-b”_i，则，k 台云主机集合为H＝{h₁,h₂,…h_j…h_k}，得到D”到H的映射关系：f:D”→H；

S6，依次遍历D”'中的元素d”'_i，在H＝{h₁,h₂,…h_j…h_k}中寻找满足条件c”'_i≤C_j，m”'_i≤M_j，io”'_i≤IO_j，b”'_i≤B_j，且当前可提供的资源量最小的云主机h_j，若找到 满足条件的云主机h_j，则将该容器部署到该云主机h_j上；若没有找到满足要求的 云主机，则在云平台上申请一台新的云主机，将该容器部署到新的云主机上， 并在云主机的集合H中增加该新的云主机；其中，将Docker容器部署到合适的 云主机上，记为：f:d”'_i|→h_j，令C_j＝C_j-c”'_i，M_j＝M_j-m”'_i，IO_j＝IO_j-io”'_i，B_j＝B_j-b”'_i， 得到D”'到H的映射关系：f:D”'→H；

S7，将S5和S6中得到的映射关系进行合并，得到全部Docker容器与云主机 的映射关系：f:D→H。

优选地，S4中，所述预设的大小关系条件为，

优选地，S6中，若遍历过程中，找到一台云主机可提供的资源量等于当 前Docker容器d”'_i的资源需求量此时这台云主机即为当前Docker容器最合适 的云主机，则将当前Docker容器d”'_i部署到这台主机上，同时在云主机集合H中删 除这台主机。

优选地，S6中，若找到多个满足条件的云主机h_j，则按照遍历顺序选择j小 的那台云主机进行部署。

本发明的有益效果是：本发明提供的基于Docker的异构虚拟计算灾备的方 法，将Docker运用于云灾备环境当中，利用其相对虚拟机所存在的轻量级、便 携性的优势，进一步缩短灾难恢复的时间，保证业务的连续性，Docker将应用 及系统“容器化”，无需额外的操作系统，只需要减少或添加镜像就可以在一台 服务器上部署上千个容器，极大的节约成本，确保资源的合理利用；另外，通 过一种资源预分配的调度算法，使得分配后申请的节点数目最少，降低云主机 的开销，更大程度的节约成本，达到资源使用的最优化。

附图说明

图1是利用本发明提供的方法形成的基于Docker的灾难恢复系统架构图；

图2是利用本发明提供的方法形成的云计算环境中资源虚拟化结构图；

图3是利用本发明提供的方法形成的虚拟机与物理机的映射关系图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图，对本 发明进行进一步详细说明。应当理解，此处所描述的具体实施方式仅仅用以解 释本发明，并不用于限定本发明。

本发明实施例提供了一种基于Docker的异构虚拟计算灾备的方法，包括如 下步骤：

S1，将应用部署到多个Docker容器中；

S2，按照下式计算每个Docker容器的资源需求量以及一台云主机可提供 的资源量R_h：

R＝αC+βM+χIO+δB

其中，α，β，χ，δ分别为用户根据不同场景自定义的CPU，内存，I/O 和带宽资源的比例系数；

S3，对所有的Docker容器按照资源需求量进行降序排列，得到 D'＝{d'₁,d'₂,…d'_i…d'_n}，n为所有的Docker容器的数量；

S4，比较每个Docker容器的资源需求量与一台云主机可提供的资源量R_h之间的大小关系，满足预设条件的k个Docker容器组成降序排列的集合 D”＝{d”₁,d”₂,…d”_i…d”_k}，不满足预设条件的n-k个Docker容器组成降序排列的集合 D”'＝{d”'₁,d”'₂,…d”'_i…d”'n_-k}；

S5，在云平台上申请k台云主机，将D”中的元素依次部署到这k台主机上， 记为：f:d”_i|→h_j，令C_j＝C_j-c”_i，M_j＝M_j-m”_i，IO_j＝IO_j-io”_i，B_j＝B_j-b”_i，则，k 台云主机集合为H＝{h₁,h₂,…h_j…h_k}，得到D”到H的映射关系：f:D”→H；

S6，依次遍历D”'中的元素d”'_i，在H＝{h₁,h₂,…h_j…h_k}中寻找满足条件c”'_i≤C_j，m”'_i≤M_j，io”'_i≤IO_j，b”'_i≤B_j，且当前可提供的资源量最小的云主机h_j，若找到 满足条件的云主机h_j，则将该容器部署到该云主机h_j上；若没有找到满足要求的 云主机，则在云平台上申请一台新的云主机，将该容器部署到新的云主机上， 并在云主机的集合H中增加该新的云主机；其中，将Docker容器部署到合适的 云主机上，记为：f:d”'_i|→h_j，令C_j＝C_j-c”'_i，M_j＝M_j-m”'_i，IO_j＝IO_j-io”'_i，B_j＝B_j-b”'_i， 得到D”'到H的映射关系：f:D”'→H；

S7，将S5和S6中得到的映射关系进行合并，得到全部Docker容器与云主机 的映射关系：f:D→H。

其中，S4中，所述预设的大小关系条件为，

S6中，若遍历过程中，找到一台云主机可提供的资源量等于当前Docker 容器d”'_i的资源需求量此时这台云主机即为当前Docker容器最合适的云主机， 则将当前Docker容器d”'_i部署到这台主机上，同时在云主机集合H中删除这台主机。

S6中，若找到多个满足条件的云主机h_j，则按照遍历顺序选择j小的那台云 主机进行部署。

对于本发明提供的上述方法，详细说明如下：

本发明提供的方法是针对应用级灾难恢复展开的研究，灾备中心部署在云 上，在云上按需申请主机，并将应用部署到Docker容器中，替换传统灾备系 统中的虚拟机，从而能够实现灾难恢复时间的缩短，提高资源的利用率。利 用本发明提供的方法得到的整体架构可如图1所示，在云计算环境中形成的 资源虚拟化结构可如图2所示，从图2可以看出灾备系统中以Docker容器为 基础单元进行调度分配，Docker容器到云主机节点的映射关系可以是一对一 或者一对多的，可如图3所示。

将Docker容器部署到云灾备系统中，实际上是装箱问题。在灾备系统中需 要考虑如何合理地部署Docker容器到相应物理节点，在满足各种应用服务级目 标的同时，达到资源使用的最优化，可以把Docker容器放置理解为装箱问题。 Docker容器作为装入的物品，Docker所用资源代表物品的大小，不同物品的大 小可以不同。按需申请的云主机(即物理节点)是箱子，主机资源的使用阈值 表示箱子的容量，资源的种类数代表装箱问题的几个维度。

用户向灾备中心请求的资源即某一个配置了特定资源的Docker容器，并且 应用程序在各自的Docker容器中运行，如何提高资源利用率、尽可能申请较少 的云主机部署Docker容器是本发明研究的问题所在。多目标Docker容器部署 是一个多目标的优化问题，云主机的可用资源是个多维向量，而每一维即是云 主机的各种资源之一，同时每个Docker容器所需的资源也是一个多维向量。目 标是将多个Docker容器分配给多个云主机，使得云主机资源利用率最大化，即 申请的云主机数目最少。

本发明从资源提供者的角度出发，以申请最少的云主机HM来完成Docker 容器的部署，同时保证部署的时间开销尽量小为目标，Docker容器类型与HM的 对应关系已经明确，所以本发明中Docker部署问题可以描述为：

针对集合D＝{d₁,d₂,…,d_n}，d_i＝{c_i,m_i,io_i,b_i}和集合H＝{h₁,h₂,…,h_m}， h_j＝{C_j,M_j,IO_j,B_j}，集合H为可以部署D中所有容器的最小集合，建立映射f:D→H， 要求

min|H|；(1)

其中，D＝{d₁,d₂,…,d_n}表示由n个Docker容器组成的集合，d_i＝{c_i,m_i,io_i,b_i}表示第i个Docker容器，c_i表示第i个Docker容器所需CPU大小，m_i表示第i 个Docker容器所需内存大小，io_i表示第i个Docker容器所需I/O能力，b_i表 示第i个Docker容器期望带宽。H＝{h₁,h₂,…,h_m}表示最多可以申请的m个云主 机的集合，C_j为第j个云主机的CPU数量，M_j为第j个云主机的内存大小，IO_j为第j个云主机的I/O性能，B_j为第j个云主机的带宽。由于在云上申请主机 来部署Docker容器，所以认为c_i＜＜C_j，m_i＜＜M_j，io_i＜＜IO_j，b_i＜＜B_j， 即认为云主机资源丰富。

装箱问题的求解算法有很多，其中启发式算法包括优先适应算法、最佳适 应算法、降序优先适应算法、降序最佳适应算法等，其中，降序最佳适应算法 (best fitdecreasing,BFD)相对其他几种算法对于上述问题的目标实现更加 适用，其先将待装箱的物品按照体积大小降序排列，然后依次寻找最合适的箱 子将其装入。

本发明中，以最终占用箱子的数目最少为目标，结合灾难恢复的实际情况， 提出了一种资源预分配算法，该算法把装箱问题与容器资源调度相融合，并对 降序最佳适应算法进行改进，对占用资源超过一半的盒子优先进行资源分配， 以此降低算法的时间复杂度，在保证提高资源利用率的前提下，降低Docker容 器部署的时间开销，提高灾难恢复的速度。

本发明提出的资源预分配算法的基本思想是，将所有的Docker容器按照一 定的规则进行降序排列，结合灾备的实际情况，为了节省资源，降低成本，这 里所需的初始的云主机H数目为0，随着Docker容器的分配来按需申请一定数 量的云主机。

如果直接引入BFD算法，依次为降序排列后的Docker容器寻找最适合的宿 主机，也就是当前各项资源满足该Docker容器的资源需求，且所能提供资源最 少的一个云主机，若找不到满足要求的宿主机，则申请新的云主机。这样，每 次都需遍历所有已经存在的云主机，然后进行比较判断并做出选择，假设当前 有m台主机，分配一个容器调度的时间复杂度为O(m)，本发明中对算法进行如 下改进：

(1)对于排序后所占资源超过云主机一半的容器，不需要依次遍历已经存 在的云主机，直接将其部署到该云主机上即可，那么分配这个容器的时间复杂 度仅为O(1)。

(2)在遍历已存在云主机的过程中，找到一个恰好满足当前容器要求的主 机时，即此主机没有剩余资源供其他容器部署，此时遍历结束，将容器部署到 当前主机，并将当前主机在主机遍历列表中移除。

而要想实现上述方法，Docker容器和云主机的资源量化是前提，本发明考虑 的资源主要包括CPU，内存，带宽和I/O，将资源量化方式定义为，

R＝αC+βM+χIO+δB；(6)

其中，α，β，χ，δ分别为用户根据不同场景自定义的CPU，内存，I/O和 带宽资源的比例系数。

则应用本发明提供的方法，可以输入：D＝{d₁,d₂,…,d_n}，H＝{}，则输出：Docker容器和云主机的部署映射关系f，完成Docker容器在云平台上的部署，在满足 各种应用服务级目标的同时，达到资源使用的最优化。

通过采用本发明公开的上述技术方案，得到了如下有益的效果：本发明提供 的基于Docker的异构虚拟计算灾备的方法，将Docker运用于云灾备环境当中， 利用其相对虚拟机所存在的轻量级、便携性的优势，进一步缩短灾难恢复的时 间，保证业务的连续性，Docker将应用及系统“容器化”，无需额外的操作系统， 只需要减少或添加镜像就可以在一台服务器上部署上千个容器，极大的节约成 本，确保资源的合理利用；另外，通过一种资源预分配的调度算法，使得分配 后申请的节点数目最少，降低云主机的开销，更大程度的节约成本，达到资源 使用的最优化。

以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技 术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这 些改进和润饰也应视本发明的保护范围。

Claims (4)

1.一种基于Docker的异构虚拟计算灾备的方法，其特征在于，包括如下步骤：

S1，将应用部署到多个Docker容器中；

S2，按照下式计算每个Docker容器的资源需求量以及一台云主机可提供的资源量R_h：

其中，α，β，χ，δ分别为用户根据不同场景自定义的CPU，内存，I/O和带宽资源的比例系数；

S3，对所有的Docker容器按照资源需求量进行降序排列，得到D′＝{d′₁,d′₂,…d′_i…d′_n}，n为所有的Docker容器的数量；

S4，比较每个Docker容器的资源需求量与一台云主机可提供的资源量R_h之间的大小关系，满足预设条件的k个Docker容器组成降序排列的集合D″＝{d″₁,d″₂,…d″_i…d″_k}，不满足预设条件的n-k个Docker容器组成降序排列的集合D″′＝{d″′₁,d″′₂,…d″′_i…d″′_n-k}；

S5，在云平台上申请k台云主机，将D″中的元素依次部署到这k台主机上，记为：f:d″_i|→h_j，令C_j＝C_j-c″_i，M_j＝M_j-m″_i，IO_j＝IO_j-io″_i，B_j＝B_j-b″_i，则，k台云主机集合为H＝{h₁,h₂,…h_j…h_k}，得到D″到H的映射关系：f:D″→H；

S6，依次遍历D″′中的元素d″′_i，在H＝{h₁,h₂,…h_j…h_k}中寻找满足条件c″′_i≤C_j，m″′_i≤M_j，io″′_i≤IO_j，b″′_i≤B_j，且当前可提供的资源量最小的云主机h_j，若找到满足条件的云主机h_j，则将该容器部署到该云主机h_j上；若没有找到满足要求的云主机，则在云平台上申请一台新的云主机，将该容器部署到新的云主机上，并在云主机的集合H中增加该新的云主机；其中，将Docker容器部署到合适的云主机上，记为：f:d″′_i|→h_j，令C_j＝C_j-c″′_i，M_j＝M_j-m″′_i，IO_j＝IO_j-io″′_i，B_j＝B_j-b″′_i，得到D″′到H的映射关系：f:D″′→H；

S7，将S5和S6中得到的映射关系进行合并，得到全部Docker容器与云主机的映射关系：f:D→H。

2.如权利要求1所述的基于Docker的异构虚拟计算灾备的方法，其特征在于，S4中，所述预设的大小关系条件为，

3.如权利要求1所述的基于Docker的异构虚拟计算灾备的方法，其特征在于，S6中，若遍历过程中，找到一台云主机可提供的资源量等于当前Docker容器d″′_i的资源需求量此时这台云主机即为当前Docker容器最合适的云主机，则将当前Docker容器d″′_i部署到这台主机上，同时在云主机集合H中删除这台主机。

4.如权利要求1所述的基于Docker的异构虚拟计算灾备的方法，其特征在于，S6中，若找到多个满足条件的云主机h_j，则按照遍历顺序选择j小的那台云主机进行部署。