CN109901929A

CN109901929A - 服务器等级约束下的云计算任务份额公平分配方法

Info

Publication number: CN109901929A
Application number: CN201910160672.1A
Authority: CN
Inventors: 李伟东; 张学杰; 张骥先; 张静
Original assignee: Yunnan University YNU
Current assignee: Yunnan University YNU
Priority date: 2019-03-04
Filing date: 2019-03-04
Publication date: 2019-06-18
Anticipated expiration: 2039-03-04
Also published as: CN109901929B

Abstract

本发明公开了一种服务器等级约束下的云计算任务份额公平分配方法，首先统计得到当前数据中心资源数据和用户任务需求，然后对全部机器和全部用户求线性规划，得到所有用户能达到的最大任务份额，然后根据该最大任务份额求取子结构，并得到该子结构中各用户的任务份额分配结果，将该子结构中的机器和用户删除，对余下的机器和用户重复以上操作，直到用户集合为空。本发明通过寻找每个子结构，并对每个子结构进行资源的分配，快速的实现任务份额的公平分配。

Description

服务器等级约束下的云计算任务份额公平分配方法

技术领域

本发明属于云计算技术领域，更为具体地讲，涉及一种服务器等级约束下的云计算任务份额公平分配方法。

背景技术

云计算(cloud computing)通过互联网的方式，将共享的软硬件资源按需提供给用户使用，越来越多的企业愿意将任务提交到云平台中执行。随着云计算环境中任务负载的增加，需要为每个用户分配公平的资源份额，以保障用户的服务质量。云计算数据中心大多由不同配置的异构服务器组成，此外，每个用户都可能有布局约束，限制其任务只能在满足特定硬件(例如GPU和SSD)和/或软件(例如特定内核版本)要求的机器上运行。据统计，Google将近50％的任务都有布局约束。所以，近年来的研究主要转向布局约束情况下云资源的公平分配问题。

针对布局约束，目前已提出了多种公平策略如TSF、CMMF、DRFH、CDRF、UDRF等，其中TSF策略为每个用户定义了任务份额(task share，ts)，为用户当前执行的任务数与去除用户布局约束条件并占用所有机器所能执行的总任务数的比值。TSF对任务份额ts用多轮渐进填充的算法，重复多轮最终实现对任务份额ts的最大最小公平分配。最大最小公平是指，先使得系统中最小的ts尽可能的最大，在此基础上第二小的ts最大，以此类推，达到任务份额的公平化。目前提出的所有策略中，只有TSF在布局约束情况下满足了公平所需的四个特性：激励共享、防策略、无嫉妒、帕累托最优。但是TSF考虑的布局约束是没有规律的，且多轮渐进填充算法时间复杂度高，无法在多项式时间内求解。

由于物理机器的异构性和任务的多样性，在云计算中实现布局约束下的公平共享具有挑战性。随着用户任务复杂性的增加，对机器的硬软件配置要求逐渐提高。同时，云计算数据中心也逐渐添加新的机器，升级其软件，或使用像GPU这样的专用加速器，使得按照批次机器的软硬件配置呈现逐步递增的关系。所以当用户能在某批次的机器上执行任务，也必定能在其后序批次机器上执行。因此用户与机器之间的约束关系也并非杂乱无章的，而是呈现等级规律的，用户的任务能在某批次及后序批次的所有机器上运行，称这种约束为等级约束(Hierarchical Constraints)。TSF在无规律约束下用多轮渐进填充算法对任务份额ts求公平分配，虽然保证了公平性，但是计算耗时。因此针对等级约束下的规律，设计一种新方法以快速的实现任务份额ts的公平分配，显得至关重要。

发明内容

本发明的目的在于克服现有技术的不足，提供一种服务器等级约束下的云计算任务份额公平分配方法，更快速有效地实现等级约束下的多资源公平分配。

为实现上述发明目的，本发明服务器等级约束下的云计算任务份额公平分配方法包括以下步骤：

S1：统计得到当前数据中心资源数据，记数据中心的N台机器属于S个等级，等级越高软硬件配置越高，每个等级中的机器资源配置相同，将N台机器按照等级进行升序排列，得到机器集合M＝{m₁,m₂,...,m_N}，其中m_j表示第j台机器，j＝1,2,...,N；记机器m_j的等级为g(m_j)，g(m_j)＝1,2,...,S；记机器m_j的资源向量C_j＝(c_j1,c_j2,...,c_jR)，c_jr表示第r种资源的数量，r＝1,2,...,R，R表示资源种类数量；

S2：统计当前的用户任务需求，记用户数量为K，根据各个用户所要求的软硬件配置判断数据中心各个等级的机器中可以满足其软件硬件配置的最小等级，将其作为该用户的等级，然后将K个用户按照等级进行升序排列，得到用户集合U＝{u₁,u₂,...,u_K}，其中u_i表示第i个用户，i＝1,2,...,K；记用户u_i的等级为g(u_i)，g(u_i)＝1,2,...,S；记用户u_i的单个任务的资源需求向量d_i＝(d_i1,d_i2,...,d_iR)，d_ir表示用户u_i单个任务对第r种资源的需求数量；根据实际情况设置各个用户的权重值w_i，权重值越大说明用户越重要或优先级越高；

S3：记等级为s的机器集合BM_s＝{m_j|g(m_j)＝s}，记等级为s的用户集合BU_s＝{u_i|g(u_i)＝s}；

S4：初始化机器集合M_o＝M，用户集合U_o＝U，结束等级b_o＝S，子结构序号z＝1；

S5：判断是否如果不是，进入步骤S6，否则分配结束；

S6：对机器集合M_o和用户集合U_o求线性规划，将U_o中所有用户能达到的最大任务份额记为ts_o；线性规划模型如下：

ts_o＝max ts_i′

s.t.：

S7：求取第z个子结构：

S7.1：初始化机器集合用户集合起始等级b_in＝bo，初始化任务份额ts_in为一个绝对大值；

S7.2：判断是否ts_in＞ts_o，如果不是，进入步骤S7.3，否则进入步骤S7.4；

S7.3：求得子结构其机器集合用户集合将机器集合中机器的资源分配给用户集合中的各个用户；

S7.4：添加等级b_in的机器集合至M_in，即令添加等级b_in的用户集合至U_in，即令

S7.5：判断是否如果是，直接进入步骤S7.7，否则进入步骤S7.6；

S7.6：对机器集合M_in和用户集合U_in求线性规划，将U_in中所有用户能达到的最大任务份额记为ts_in，进入步骤S7.7；线性规划模型如下：

s.t.：

S7.7：令b_in＝b_in-1，返回步骤S7.2；

S8：从机器集合Mo中将子结构的机器集合所包含的机器删除，即令从用户集合Uo中将子结构的用户集合所包含的用户删除，即令并更新b₀＝b_in，z＝z+1，返回步骤S5。

本发明服务器等级约束下的云计算任务份额公平分配方法，首先统计得到当前数据中心资源数据和用户任务需求，然后对全部机器和全部用户求线性规划，得到所有用户能达到的最大任务份额，然后根据该最大任务份额求取子结构，并得到该子结构中各用户的任务份额分配结果，将该子结构中的机器和用户删除，对余下的机器和用户重复以上操作，直到用户集合为空。本发明通过寻找每个子结构，并对每个子结构进行资源的分配，快速的实现任务份额的公平分配。

附图说明

图1是本发明服务器等级约束下的云计算任务份额公平分配方法的具体实施方式流程图；

图2是本发明中子结构求取的流程图；

图3是本实施例中数据中心资源和用户需求示意图；

图4是本实施例中任务份额分配结果示意图。

具体实施方式

下面结合附图对本发明的具体实施方式进行描述，以便本领域的技术人员更好地理解本发明。需要特别提醒注意的是，在以下的描述中，当已知功能和设计的详细描述也许会淡化本发明的主要内容时，这些描述在这里将被忽略。

实施例

图1是本发明服务器等级约束下的云计算任务份额公平分配方法的具体实施方式流程图。如图1所示，本发明服务器等级约束下的云计算任务份额公平分配方法的具体步骤包括：

S101：统计当前云计算数据中心资源：

统计得到当前数据中心资源数据，记数据中心的N台机器属于S个等级，等级越高软硬件配置越高，每个等级中的机器资源配置相同，将N台机器按照等级进行升序排列，得到机器集合M＝{m₁,m₂,...,m_N}，其中m_j表示第j台机器，j＝1,2,...,N；记机器m_j的等级为g(m_j)，g(m_j)＝1,2,...,S；记机器m_j的资源向量C_j＝(c_j1,c_j2,...,c_jR)，c_jr表示第r种资源的数量，r＝1,2,...,R，R表示资源种类数量。

S102：统计当前用户任务需求：

统计当前的用户任务需求，记用户数量为K，根据各个用户所要求的软硬件配置判断数据中心各个等级的机器中可以满足其软件硬件配置的最小等级，将其作为该用户的等级，然后将K个用户按照等级进行升序排列，得到用户集合U＝{u₁,u₂,...,u_K}，其中u_i表示第i个用户，i＝1,2,...,K；记用户u_i的等级为g(u_i)，g(u_i)＝1,2,...,S；记用户u_i的单个任务的资源需求向量d_i＝(d_i1,d_i2,…,d_iR)，d_ir表示用户u_i单个任务对第r种资源的需求数量；根据实际情况设置各个用户的权重值w_i，权重值越大说明用户越重要或优先级越高。

S103：获取各等级的机器集合和用户集合：

记等级为s的机器集合BM_s＝{m_j|g(m_j)＝s}，记等级为s的用户集合BU_s＝{u_i|g(u_i)＝s}，s＝1,2,...,S。

为了实现任务份额分配，本发明采用决策变量λ_ij代表用户u_i在机器m_j上执行的任务数，采用Q_i代表用户u_i分配到的资源执行的总任务数，显然Q_i等于用户u_i在g(m_j)≥g(u_i)的机器上能执行的任务数之和，

假定任务是可分的，对于任意用户u_i∈U，TSF算法定义其任务份额ts(taskshare)为ts_i＝Q_i/(h_iw_i)，其中w_i为用户的权重，h_i为假设用户u_i没有约束限制并占用所有机器所能执行的最大任务数，等于其在每个机器上执行的最大任务数加和，即任务份额ts_i可以理解为由于布局约束以及其他用户的竞争，对用户u_i完成任务所造成的影响。

在普通约束的多种资源公平分配策略TSF中，用多轮渐进填充的方法实现用户任务份额ts的最大最小公平分配。而在本发明的服务器等级约束情况下，用户只能在g(m_j)≥g(u_i)的机器上执行任务，所以等级约束下对任务份额实现最大最小公平分配的线性规划模型简化为如下模型：

max(ts₁,ts₂,...,ts_K)_τ

s.t.

其中，下标τ表示对此向量中的元素按从小到大排序。

各约束条件的含义如下：公式(1)为用户u_i的任务份额ts_i的计算方式。公式(2)表示机器给用户分配资源需满足容量约束，任意一个机器m_j的任意一种资源的分配都不能超过其最大容量c_jr。公式(3)表示每个用户u_i在机器上执行的任务数≥0。

目标函数是在满足上述三个约束条件下，用户任务份额的最大化字典序(ts₁,ts₂,...,ts_K)_τ，最大化字典序的含义是先使得集合中的最小任务份额最大，满足这个前提下，再使得第二小的任务份额最大化，以此类推，达到所有用户的任务份额最大化。为了求解以上数学模型，本发明提出了一种内外层循环结合的方法，具体包括步骤S104至步骤S108。

S104：初始化数据：

初始化机器集合M_o＝M，用户集合U_o＝U，结束等级b_o＝S，子结构序号z＝1。

S105：判断是否如果不是，进入步骤S106，否则分配结束。

S106：线性规划获得最大任务份额：

对机器集合M_o和用户集合U_o进行线性规划，将U_o中所有用户能达到的最大任务份额记为ts_o，其线性规划模型如下：

ts_o＝max ts_i′

s.t.

其中，λ_i′j′代表用户u_i′在机器m_j′上执行的任务数，h_i′为假设用户u_i′没有约束限制并占用所有机器所能执行的最大任务数。

S107：求取第z个子结构：

根据当前的最大任务份额ts_o求取第z个子结构。图2是本发明中子结构求取的流程图。如图2所示，本发明中子结构求取的具体步骤包括：

S201：初始化子结构数据：

初始化机器集合用户集合起始等级b_in＝b_o，初始化任务份额ts_in为一个绝对大值。

S202：判断是否ts_in＞ts_o，如果不是，进入步骤S203，否则进入步骤S204。

S203：求得子结构

求得子结构其机器集合用户集合将机器集合中机器的资源分配给用户集合中的各个用户。

S204：添加机器和用户：

添加等级b_in的机器集合至M_in，即令添加等级b_in的用户集合至U_in，即令

S205：判断是否如果是，直接进入步骤S207，否则进入步骤S206；

S206：线性规划获得最大任务份额：

对机器集合M_in和用户集合U_in求线性规划，将U_in中所有用户能达到的最大任务份额记为ts_in，进入步骤S207，线性规划模型如下：

s.t.：

其中，代表用户在机器上执行的任务数，为假设用户没有约束限制并占用所有机器所能执行的最大任务数。

S207：令b_in＝b_in-1，返回步骤S202。

S108：更新机器集合M_o和机器集合U_o：

从机器集合Mo中将子结构的机器集合所包含的机器删除，即令从用户集合Uo中将子结构的用户集合所包含的用户删除，即令并更新b₀＝b_in，z＝z+1，返回步骤S105。

为了更好地说明本发明的技术方案，采用一个具体实例进行说明。

图3是本实施例中数据中心资源和用户需求示意图。如图3所示，本实施例中共有4个等级的5个机器，3个等级的5个用户，将机器和用户按照等级升序排序，并把相同等级的机器(用户)放入同一虚线框内。假设每个机器包含三种资源：CPU、内存、磁盘空间，各个机器的容量配置以及用户完成一个任务需要的资源容量已在图3中进行标注。假设所有用户权重都为1，即重要程度相同。接下来根据本发明的步骤，通过寻找子结构的方法，为每个用户计算ts值，并计算出每个机器给每个用户分配的任务数，即对应分配的资源量。

如图3所示，机器m₁等级为1，m₂等级为2，m₃等级为3，m₄,m₅等级为4。用户u₁,u₂等级为1，能在等级大于等于1的机器上运行任务，即能在所有机器上运行任务；没有用户的等级为2；用户u₃,u₄的等级为3，能在m₃,m₄,m₅上运行；用户u₅的等级为4，能在m₄,m₅上运行。因此可以得到BM₁＝{m₁}，BM₂＝{m₂}，BM₃＝{m₃}，BM₄＝{m₄,m₅}，BU₁＝{u₁,u₂}，BU₃＝{u₃,u₄}，BU₄＝{u₅}。

令机器集合M_o初始包含所有机器，即M_o＝M＝{m₁,m₂,m₃,m₄,m₅}；用户集合U_o初始化包含所有用户，即U_o＝U＝{u₁,u₂,u₃,u₄,u₅}。结束等级b_o初始化为最后一个等级，即b_o＝S＝4。

对M_o＝{m₁,m₂,m₃,m₄,m₅}和U_o＝{u₁,u₂,u₃,u₄,u₅}求线性规划，将U_o中所有用户能达到的最大任务份额记为ts_o。由于M_o为所有机器，U_o为所有用户，最大任务份额ts_o必然等于系统的最小求取线性规划后，得到ts_o＝0.16055。

接下来需要求取第1个子结构，即任务份额等于ts_o＝0.16055的子结构。

初始化机器集合用户集合起始等级b_in＝bo＝4，任务份额ts_in＝1。

由于ts_in＞ts_o，添加b_in＝4等级的机器BM₄和用户BU₄分别到M_in和U_in中，得到M_in＝{m₄,m₅}，U_in＝{u₅}。由于对M_in和U_in计算线性规划，得到U_in中所有用户能达到的最大任务份额ts_in＝0.25。并更新b_in减少1，得到b_in＝3。

由于ts_in＞ts_o，添加b_in＝3等级的机器BM₃和用户BU₃分别到当前的M_in和U_in中，得到M_in＝{m₃,m₄,m₅}，U_in＝{u₃,u₄,u₅}。由于对M_in和U_in计算线性规划，得到U_in中所有用户能达到的最大任务份额ts_in＝0.16055。b_in减1，得到b_in＝2。

由于ts_in＝ts_o＝0.16055，求得第1个子结构其中将M_in中机器的资源分配给用户集合U_in中的各个用户。表1是本实施例中第1个子结构的任务份额分配方案。

	m<sub>3</sub>	m<sub>4</sub>	m<sub>5</sub>
				u<sub>3</sub>	0.0773263	0.242424	0.460066
u<sub>4</sub>	1.36468	0	0
				u<sub>5</sub>	0	1.15152	0.389769

表1

从机器集合M_o和用户集合U_o中删除这个子结构的机器和用户，即更新M_o＝M_o/M_in＝{m₁,m₂}，U_o＝U_o/U_in＝{u₁,u₂}，更新b₀＝b_in＝2。

由于则需要继续求下一个子结构对Mo＝{m₁,m₂}和Uo＝{u₁,u₂}求线性规划，得到U_o中所有用户能达到的最大任务份额ts_o＝0.304348。

接下来求出任务份额等于ts_o＝0.304348的子结构。

初始化机器集合用户集合起始等级b_in＝b_o＝2，任务份额ts_in＝1。

由于ts_in＞ts_o，添加b_in＝2等级的机器BM₂和用户BU₂分别到M_in和U_in中，得到M_in＝{m₂}，由于无需计算线性规划，直接b_in减1，得到b_in＝1。

显然仍然ts_in＞ts_o，添加b_in＝1等级的机器BM₁和用户BU₁分别到M_in和U_in中，得到M_in＝{m₁,m₂}，U_in＝{u₁,u₂}。由于对M_in和U_in计算线性规划，得到U_in中所有用户能达到的最大任务份额ts_in＝0.304348。b_in减1，得到b_in＝0。

由于ts_in＝ts_o＝0.304348，求得次小子结构其中同时将M_in中机器的资源分配给用户集合U_in中的各个用户。表2是本实施例中第2个子结构的任务份额分配方案。

	m<sub>1</sub>	m<sub>2</sub>
			u<sub>1</sub>	0.115942	3.33333
u<sub>2</sub>	4.82609	0

表2

从机器集合M_o和用户集合U_o中删除这个子结构的机器和用户，更新为更新bo＝b_in＝0。

由于计算结束。本实施例中共计算线性规划5次，分配结果由两个子结构组成。图4是本实施例中任务份额分配结果示意图。如图4所示，不同底色表示不同子结构，每个用户只占用与其同一子结构机器的资源。

根据以上子结构所得到的任务份额分配结果，汇总得到总的任务份额分配表。表3是本实施例中整体任务份额分配表。

ts		m<sub>1</sub>	m<sub>2</sub>	m<sub>3</sub>	m<sub>4</sub>	m<sub>5</sub>
							0.304348	u<sub>1</sub>	0.115942	3.33333	0	0	0
0.304348	u<sub>2</sub>	4.82609	0	0	0	0
							0.16055	u<sub>3</sub>	0	0	0.0773263	0.242424	0.460066
0.16055	u<sub>4</sub>	0	0	1.36468	0	0
							0.16055	u<sub>5</sub>	0	0	0	1.15152	0.389769

表3

本发明所得到的任务份额分配结果，与采用TSF算法的渐进填充与本发明为每个用户计算的ts值相等，但是本发明与TSF的多轮渐进填充算法相比，本发明减少了线性规划求取次数，同时缩小了线性规划的计算规模，大大减小了程序执行时间。且本发明的线性规划次数只与等级数相关，不受机器和用户数目的影响；所以在任意规模下，本发明的线性规划求取次数、算法执行时间都远低于TSF的渐进填充算法。

尽管上面对本发明说明性的具体实施方式进行了描述，以便于本技术领域的技术人员理解本发明，但应该清楚，本发明不限于具体实施方式的范围，对本技术领域的普通技术人员来讲，只要各种变化在所附的权利要求限定和确定的本发明的精神和范围内，这些变化是显而易见的，一切利用本发明构思的发明创造均在保护之列。

Claims

1.一种服务器等级约束下的云计算任务份额公平分配方法，其特征在于，包括以下步骤：

S5：判断是否如果不是，进入步骤S6，否则分配结束；

ts_o＝max ts_i′

s.t.：

S7：求取第z个子结构：

S7.1：初始化机器集合用户集合起始等级b_in＝b_o，初始化任务份额ts_in为一个绝对大值；

S7.6：对机器集合M_in和用户集合U_in求线性规划，将U_in中所有用户能达到的最大任务份额记为ts_in，进入步骤S7.7，线性规划模型如下：

s.t.：

S7.7：令b_in＝b_in-1，返回步骤S7.2；

S8：从机器集合M_o中将子结构的机器集合所包含的机器删除，即令从机器集合U_o中将子结构的机器集合所包含的用户删除，即令并更新b₀＝b_in，z＝z+1，返回步骤S5。