CN105068874B - 一种结合Docker技术的资源按需动态分配方法 - Google Patents

Abstract

本发明涉及一种结合Docker技术的资源按需动态分配方法。其特点是，包括如下步骤：使用Docker技术的分布式平台利用集群管理器进行监控和资源调整，针对虚拟机环境的按需动态资源分配要求，先将系统资源分块，每块资源份额固定，然后进行管理和分配系统资源。本发明的分配方法通过对资源分配过程进行建模，合理分配计算机资源，并通过结合Docker技术，针对Docker技术中容器之间互相隔离的特点，并按照用户对资源份额的需要，制定相应的资源动态分配方案，确保计算机系统正常有序运行，有效避免资源浪费。

Description

一种结合Docker技术的资源按需动态分配方法

技术领域

本发明涉及一种结合Docker技术的资源按需动态分配方法。

背景技术

随着信息技术的发展以及互联网行业的蓬勃发展，大数据的计算以及分布式平台不断涌现新的技术，一方面为海量数据的计算提供更好的平台工具，另一方面解决分布式系统资源利用率不足的问题。在限定资源下，结合Docker技术的资源按需动态分配方法，能确保资源的合理配置，并按照用户的需求进行有效分配。

Docker是一个开源的引擎，可以轻松的为任何应用创建一个轻量级的、可移植的、相互隔离的容器。开发者在笔记本上编译测试通过的容器可以批量地在生产环境中部署，包括VMs(虚拟机)、OpenStack集群和其他的基础应用平台。作为一种新兴的虚拟化方式，Docker跟传统的虚拟化方式相比具有众多的优势，如更快速的交付和部署、更高效的虚拟化、更轻松的迁移和扩展以及更简单的管理。目前Docker技术是基于Linux 64位系统的，暂不能在其他其他系统环境下使用。

Docker核心解决的问题是利用LXC来实现类似VM的功能，从而利用更加节省的硬件资源供给用户更多的计算机资源。每个用户实例之间可以提供其所需要的计算资源，所使用的资源可以被计量，并且主要利用控制组(cgroups)来控制资源。

发明内容

本发明的目的是提供一种结合Docker技术的资源按需动态分配方法，能够合理建立资源动态分配模型，提高计算机资源利用率，避免资源浪费。

一种结合Docker技术的资源按需动态分配方法，其特别之处在于，包括如下步骤：使用Docker技术的分布式平台利用集群管理器进行监控和资源调整，针对虚拟机环境的按需动态资源分配要求，先将系统资源分块，每块资源份额固定，然后进行管理和分配系统资源。

具体包括如下步骤：

第一阶段，用户进行容器初始化，资源根据用户需求进行初始分配，分配完成后用户的容器只能使用当前分配的有限物理机资源，并且资源份额为M的倍数，空闲的资源作为用户需求的备用资源；

第二阶段，具体如下：

a.用户提出新的资源分配请求，需要分配的资源份额表示为nM；

b.调度中心根据用户请求的资源情况，向资源池申请资源，通过资源分配算法，找到满足用户需求的资源份额分配给用户；

c.系统更新资源池，并通过集群管理工具对系统进行监控，检测各个容器的资源使用情况和负载满足情况，计算资源利用率；

d.建立一个先验知识库，并基于资源利用率，通过如下的朴素贝叶斯算法进行用户优先级分类，资源利用率越高的用户，其优先级越高，其中用户优先级分别表示为r₁，r₂，…，r_i，用户节点分别表示为N₁，N₂，…，N_j：

公式中，P(r_i|N_j)表示给定节点N_j，分类为r_i的概率；P(N_j|r_i)表示给定r_i等级下节点N_j出现的概率；P(r_i)表示r_i的先验概率，P(N_j)表示为节点N_j出现的概率；

f.重复步骤a至步骤d，不断完善贝叶斯优先级分类模型；

第三阶段，具体如下：

a.用户提出新的资源分配请求，需要分配的资源份额表示为nM；

b.调度中心根据用户请求的资源情况，向资源池申请资源，在同一时间段内多个用户申请资源，优先级较高的用户优先获得分配，其调度算法与第二阶段一致，找到满足用户需求的资源份额分配给用户；

c.系统更新资源池，并通过集群管理工具对系统进行监控，检测各个容器的资源使用情况和负载满足情况，计算资源利用率；

d.继续更新先验知识库的情况，不断更新用户的优先级评定；

第三阶段的资源分配结束后，继续由Docker技术的集群管理工具进行资源的监控，并计算本时间段资源的利用率，并将结果反馈到先验知识库中，不断更新先验知识库。

其中第二阶段中的资源分配算法实现如下：

将总的物理机资源份额表示为S，虚拟节点集合表示为G，各个虚拟节点分别表示为N₁，N₂，…，N_j，…，第q时间段上N_j节点实际分配的资源份额表示为A(N_j,q)，下一时间段用户需要的资源份额为E(N_j,q+1)，剩余资源量为S’＝S－∑A(N_j,q)；

对于用户所需资源量小于或者等于当前分配资源份额的节点，即E(N_j,q+1)≤A(N_j,q)的节点，分配方法为：将E(N_j,q+1)分配给N_j节点，并更新剩余资源量S’为S’+A(N_j,q)－E(N_j,q+1)；

而对于用户所需资源量大于当前分配资源份额的节点，即E(N_j,q+1)＞A(N_j,q)的节点，再细分如下：

a.当剩余资源量S’大于E(N_j,q+1)时，分配方法为：将E(N_j,q+1)分配给N_j节点，并更新剩余资源量S’为S’+A(N_j,q)－E(N_j,q+1)；

b.当剩余资源量S’小于E(N_j,q+1)时，分配方法为：将S’全部分配给N_j节点，并更新剩余资源量S’为0。

其中在第三阶段中加入优先级，其算法如下：

将总的物理机资源份额表示为S，虚拟节点集合表示为G，各个虚拟节点分别表示为N₁，N₂，…，N_j，…，第q时间段上N_j节点实际分配的资源份额表示为A(N_j,q)，下一时间段用户需要的资源份额为E(N_j,q+1)，剩余资源量为S’＝S－∑A(N_j,q)；

下一时间段，对于申请资源的用户，判定其优先级，优先级较高的用户进入资源分配阶段，优先级较低的用户进行排队等候，当优先级一样时，优先分配申请资源较小的用户，分配过程如下：

对于用户所需资源量小于或者等于当前分配资源份额的节点，即E(N_j,q+1)≤A(N_j,q)的节点，分配方法为：将E(N_j,q+1)分配给N_j节点，并更新剩余资源量S’为S’+A(N_j,q)－E(N_j,q+1)；

而对于用户所需资源量大于当前分配资源份额的节点，即E(N_j,q+1)＞A(N_j,q)的节点，再细分如下：

a.当剩余资源量S’大于E(N_j,q+1)时，分配方法为：将E(N_j,q+1)分配给N_j节点，并更新剩余资源量S’为S’+A(N_j,q)－E(N_j,q+1)；

b.当剩余资源量S’小于E(N_j,q+1)时，分配方法为：将S’全部分配给N_j节点，并更新剩余资源量S’为0。

本发明的分配方法通过对资源分配过程进行建模，合理分配计算机资源，并通过结合Docker技术，针对Docker技术中容器之间互相隔离的特点，并按照用户对资源份额的需要，制定相应的资源动态分配方案，确保计算机系统正常有序运行，有效避免资源浪费。

附图说明

附图1为本发明方法第一阶段的资源分配示意图；

附图2为本发明方法第二阶段的资源分配示意图；

附图3为本发明方法第三阶段的资源分配示意图；

附图4为本发明方法中资源按需动态分配示意图。

具体实施方式

本发明是这样实现的：

用户的应用程序及进程在Docker技术中都是以容器的形式存在的，容器之间彼此隔离，互不可见，使用Docker技术的分布式平台利用特殊的集群管理器进行监控和资源调整。针对虚拟机环境的按需动态资源分配要求，先将系统资源分块，每块资源份额固定为M，有利于管理和分配系统资源。

1.第一阶段，用户进行容器初始化，资源根据用户需求进行初始分配，分配完成后用户的容器只能使用当前分配的有限物理机资源，并且资源份额为M的倍数，空闲的资源作为用户需求的备用资源。

2.第二阶段，分为几个小的部分，分别为：

a.用户提出新的资源分配请求，需要分配的资源份额表示为nM。

b.调度中心根据用户请求的资源情况，向资源池申请资源，通过下述(五)的具体调度算法，找到满足用户需求的资源份额分配给用户。

c.系统更新资源池，并通过集群管理工具对系统进行监控，检测各个容器的资源使用情况和负载满足情况，计算资源利用率。

d.建立一个先验知识库，并基于资源利用率，通过如下的朴素贝叶斯算法进行用户优先级分类，资源利用率越高的用户，其优先级越高。其中用户优先级分别表示为r₁，r₂，…，r_i，用户节点分别表示为N₁，N₂，…，N_j：

公式中，P(r_i|N_j)表示给定节点N_j，分类为r_i的概率，这个概率可以通过上述的贝叶斯公式，计算另外三个可计算的量来求出。P(N_j|r_i)表示给定r_i等级下节点N_j出现的概率；P(r_i)表示r_i的先验概率，P(N_j)表示为节点N_j出现的概率。

f.重复a-d，不断完善贝叶斯优先级分类模型。

3.第三阶段，与第二阶段类似，但是在资源分配部分加入了优先级的评定，优先级较高的用户先获得资源的分配，其他保持不变，几个部分分别如下：

a.用户提出新的资源分配请求，需要分配的资源份额表示为nM。

b.调度中心根据用户请求的资源情况，向资源池申请资源，在同一时间段内多个用户申请资源，优先级较高的用户优先获得分配，其调度算法与第二阶段一致，找到满足用户需求的资源份额分配给用户。

c.系统更新资源池，并通过集群管理工具对系统进行监控，检测各个容器的资源使用情况和负载满足情况，计算资源利用率。

d.继续更新先验知识库的情况，不断更新用户的优先级评定。

下面结合附图和资源分配算法对本专利进行具体说明。

第二阶段的资源分配算法实现如下。

总的物理机资源份额表示为S，虚拟节点集合表示为G，各个虚拟节点分别表示为N₁，N₂，…，N_j，…，第q时间段上N_j节点实际分配的资源份额表示为A(N_j,q)，下一时间段用户需要的资源份额为E(N_j,q+1)，剩余资源量为S’＝S－∑A(N_j,q)。

下一时间段，分两种情况进行讨论：

1.对于用户所需资源份额小于或者等于当前分配资源份额的节点，即E(N_j,q+1)≤A(N_j,q)的节点，分配方法为：将E(N_j,q+1)分配给N_j节点，并更新剩余资源量S’为S’+A(N_j,q)－E(N_j,q+1)。

2.对于用户所需资源份额大于当前分配资源份额的节点，即E(N_j,q+1)＞A(N_j,q)的节点，再细分如下：

a.当剩余资源量S’大于E(N_j,q+1)时，分配方法为：将E(N_j,q+1)分配给N_j节点，并更新剩余资源量S’为S’+A(N_j,q)－E(N_j,q+1)。

b.当剩余资源量S’小于E(N_j,q+1)时，分配方法为：将S’全部分配给N_j节点，并更新剩余资源量为S’为0。

以上为第二阶段资源按需动态分配的方法。每个时间段资源分配结束后，由Docker技术的集群管理工具进行资源的监控，并计算本时间段资源的利用率，并将结果反馈到先验知识库中，使用贝叶斯分类算法进行用户优先级的分类。

第三阶段为了资源分配得更有效率，加入了优先级，其算法如下。

总的物理机资源份额表示为S，虚拟节点集合表示为G，各个虚拟节点分别表示为N₁，N₂，…，N_j，…，第q时间段上N_j节点实际分配的资源份额表示为A(N_j,q)，下一时间段用户需要的资源份额为E(N_j,q+1)，剩余资源量为S’＝S+∑A(N_j,q)。

下一时间段，对于申请资源的用户，判定其优先级，优先级较高的用户进入资源分配阶段，优先级较低的用户进行排队等候。当优先级一样时，优先分配申请资源较小的用户，这样可以给更多的用户提供其需要的资源。分配过程如第二阶段，分两种情况进行讨论：

1.对于用户所需资源量小于或者等于当前分配资源份额的节点，即E(N_j,q+1)≤A(N_j,q)的节点，分配方法为：将E(N_j,q+1)分配给N_j节点，并更新剩余资源量S’为S’+A(N_j,q)－E(N_j,q+1)。

2.对于用户所需资源量大于当前分配资源份额的节点，即E(N_j,q+1)＞A(N_j,q)的节点，再细分如下：

a.当剩余资源量S’大于E(N_j,q+1)时，分配方法为：将E(N_j,q+1)分配给N_j节点，并更新剩余资源量S’为S’+A(N_j,q)－E(N_j,q+1)。

b.当剩余资源量S’小于E(N_j,q+1)时，分配方法为：将S’全部分配给N_j节点，并更新剩余资源量为S’为0。

第三阶段的资源分配结束后，继续由Docker技术的集群管理工具进行资源的监控，并计算本时间段资源的利用率，并将结果反馈到先验知识库中，不断更新先验知识库。结束

本发明的关键在于设计了系统的资源按需动态分配模型，针对Docker技术进行合理分析，提出了对应的算法，能有效地完成资源按需动态分配的任务。

本发明方法的主要创新点如下：

1.建立了先验知识库，使用朴素贝叶斯算法，基于用户的资源利用率，对应分类了用户的优先级。

2.打破了Docker固定分配资源的做法，更加灵活地利用了分布式系统资源，有效地提高了资源利用率。

Claims (3)

1.一种结合Docker技术的资源按需动态分配方法，其特征在于，包括如下步骤：使用Docker技术的分布式平台利用集群管理器进行监控和资源调整，针对虚拟机环境的按需动态资源分配要求，先将系统资源分块，每块资源份额固定，然后进行管理和分配系统资源；

具体包括如下步骤：

第一阶段，用户进行容器初始化，资源根据用户需求进行初始分配，分配完成后用户的容器只能使用当前分配的有限物理机资源，并且资源份额为M的倍数，空闲的资源作为用户需求的备用资源；

第二阶段，具体如下：

a.用户提出新的资源分配请求，需要分配的资源份额表示为nM；

b.调度中心根据用户请求的资源情况，向资源池申请资源，通过资源分配算法，找到满足用户需求的资源份额分配给用户；

c.系统更新资源池，并通过集群管理工具对系统进行监控，检测各个容器的资源使用情况和负载满足情况，计算资源利用率；

d.建立一个先验知识库，并基于资源利用率，通过如下的朴素贝叶斯算法进行用户优先级分类，资源利用率越高的用户，其优先级越高，其中用户优先级分别表示为r₁，r₂，…，r_i，用户节点分别表示为N₁，N₂，…，N_j：

公式中，P(r_i|N_j)表示给定节点N_j，分类为r_i的概率；P(N_j|r_i)表示给定r_i等级下节点N_j出现的概率；P(r_i)表示r_i的先验概率，P(N_j)表示为节点N_j出现的概率；

f.重复步骤a至步骤d，不断完善贝叶斯优先级分类模型；

第三阶段，具体如下：

a.用户提出新的资源分配请求，需要分配的资源份额表示为nM；

b.调度中心根据用户请求的资源情况，向资源池申请资源，在同一时间段内多个用户申请资源，优先级较高的用户优先获得分配，其调度算法与第二阶段一致，找到满足用户需求的资源份额分配给用户；

c.系统更新资源池，并通过集群管理工具对系统进行监控，检测各个容器的资源使用情况和负载满足情况，计算资源利用率；

d.继续更新先验知识库的情况，不断更新用户的优先级评定；

第三阶段的资源分配结束后，继续由Docker技术的集群管理工具进行资源的监控，并计算本时间段资源的利用率，并将结果反馈到先验知识库中，不断更新先验知识库。

2.如权利要求1所述的一种结合Docker技术的资源按需动态分配方法，其特征在于：第二阶段中的资源分配算法实现如下：

将总的物理机资源份额表示为S，虚拟节点集合表示为G，各个虚拟节点分别表示为N₁，N₂，…，N_j，…，第q时间段上N_j节点实际分配的资源份额表示为A(N_j,q)，下一时间段用户需要的资源份额为E(N_j,q+1)，剩余资源量为S’＝S－∑A(N_j,q)；

对于用户所需资源量小于或者等于当前分配资源份额的节点，即E(N_j,q+1)≤A(N_j,q)的节点，分配方法为：将E(N_j,q+1)分配给N_j节点，并更新剩余资源量S’为S’+A(N_j,q)－E(N_j,q+1)；

而对于用户所需资源量大于当前分配资源份额的节点，即E(N_j,q+1)＞A(N_j,q)的节点，再细分如下：

a.当剩余资源量S’大于E(N_j,q+1)时，分配方法为：将E(N_j,q+1)分配给N_j节点，并更新剩余资源量S’为S’+A(N_j,q)－E(N_j,q+1)；

b.当剩余资源量S’小于E(N_j,q+1)时，分配方法为：将S’全部分配给N_j节点，并更新剩余资源量S’为0。

3.如权利要求1所述的一种结合Docker技术的资源按需动态分配方法，其特征在于：在第三阶段中加入优先级，其算法如下：

将总的物理机资源份额表示为S，虚拟节点集合表示为G，各个虚拟节点分别表示为N₁，N₂，…，N_j，…，第q时间段上N_j节点实际分配的资源份额表示为A(N_j,q)，下一时间段用户需要的资源份额为E(N_j,q+1)，剩余资源量为S’＝S－∑A(N_j,q)；

下一时间段，对于申请资源的用户，判定其优先级，优先级较高的用户进入资源分配阶段，优先级较低的用户进行排队等候，当优先级一样时，优先分配申请资源较小的用户，分配过程如下：

对于用户所需资源量小于或者等于当前分配资源份额的节点，即E(N_j,q+1)≤A(N_j,q)的节点，分配方法为：将E(N_j,q+1)分配给N_j节点，并更新剩余资源量S’为S’+A(N_j,q)－E(N_j,q+1)；

而对于用户所需资源量大于当前分配资源份额的节点，即E(N_j,q+1)＞A(N_j,q)的节点，再细分如下：

a.当剩余资源量S’大于E(N_j,q+1)时，分配方法为：将E(N_j,q+1)分配给N_j节点，并更新剩余资源量S’为S’+A(N_j,q)－E(N_j,q+1)；

b.当剩余资源量S’小于E(N_j,q+1)时，分配方法为：将S’全部分配给N_j节点，并更新剩余资源量S’为0。