CN103369041A - 基于云计算的资源分配方法及装置 - Google Patents

基于云计算的资源分配方法及装置 Download PDF

Info

Publication number
CN103369041A
CN103369041A CN201310286568XA CN201310286568A CN103369041A CN 103369041 A CN103369041 A CN 103369041A CN 201310286568X A CN201310286568X A CN 201310286568XA CN 201310286568 A CN201310286568 A CN 201310286568A CN 103369041 A CN103369041 A CN 103369041A
Authority
CN
China
Prior art keywords
user terminal
resource
occupation amount
score value
classification
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201310286568XA
Other languages
English (en)
Other versions
CN103369041B (zh
Inventor
何锐邦
唐会军
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Qihoo Technology Co Ltd
Original Assignee
Beijing Qihoo Technology Co Ltd
Qizhi Software Beijing Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Qihoo Technology Co Ltd, Qizhi Software Beijing Co Ltd filed Critical Beijing Qihoo Technology Co Ltd
Priority to CN201310286568.XA priority Critical patent/CN103369041B/zh
Publication of CN103369041A publication Critical patent/CN103369041A/zh
Application granted granted Critical
Publication of CN103369041B publication Critical patent/CN103369041B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)
  • Mobile Radio Communication Systems (AREA)

Abstract

本发明涉及一种基于云计算的资源分配方法及装置,该方法包括:预先为每个用户终端设置该用户终端的额定资源占用量以及最大资源占用量,其中,最大资源占用量为额定资源占用量的预设倍数;计算每个用户终端的额定资源占用量与该用户终端的实际资源占用量之间的差值,并根据该差值确定该用户终端的分值;根据每个用户终端的分值高低确定是否为该用户终端分配资源。该方法能够充分满足某一用户终端较大的临时计算需求。由此解决了现有技术中用户终端不能利用其他用户终端的空闲资源进行计算,从而造成资源浪费的问题,取得了能够充分满足某一用户终端较大的临时计算需求,从而提高集群利用率的有益效果。

Description

基于云计算的资源分配方法及装置
技术领域
本发明涉及网络通信技术领域,具体涉及一种基于云计算的资源分配方法及装置。
背景技术
目前,在云计算平台中,需要将系统资源按照一定的规则分配给各个用户终端,每个用户终端在分配的资源限度内提交作业请求。在常见的资源分配方法中,根据每个用户所对应的用户终端的重要性,为每个用户终端赋予不同的资源最大占用权重。所有用户终端的资源最大占用权重之和占系统资源的100%,即整个集群的所有资源。
当每个用户终端提交作业的时候,该用户终端同时运行的所有作业占用的资源总和不能超过他的资源最大占用权重,否则该平台将拒绝超出该限制的作业的执行。例如,假设平台共有1000个计算节点,某个用户的资源最大占用权重为20%,即最多200个计算节点。当前他提交的所有作业占用的计算节点总和为190,如果他新提交的作业需要使用20个节点,则此作业会被拒绝执行;如果他新提交的作业只需要使用10个节点,则该作业仍然会被执行。
这样的资源分配方式虽然能够在一定程度上满足用户的需求,但是,当某个用户的临时计算需求非常大,而其他用户在此时间段却没有什么计算任务时,由于需求量大的用户严格受限于他的资源占用权重,因此,该用户的作业不能利用其他用户的空闲资源进行计算,这样就造成了资源的浪费,使得集群的利用率较低。
发明内容
鉴于上述问题,提出了本发明以便提供一种克服上述问题或者至少部分地解决上述问题的基于云计算的资源分配方法及装置。
依据本发明的一个方面,提供了一种基于云计算的资源分配方法,包括:预先为每个用户终端设置该用户终端的额定资源占用量以及最大资源占用量,其中,最大资源占用量为额定资源占用量的预设倍数;计算每个用户终端的额定资源占用量与该用户终端的实际资源占用量之间的差值,并根据该差值确定该用户终端的分值;根据每个用户终端的分值高低确定是否为该用户终端分配资源。
可选的,当用户终端的额定资源占用量大于该用户终端的实际资源占用量时,该用户终端的分值为正数;当用户终端的额定资源占用量小于该用户终端的实际资源占用量时,该用户终端的分值为负数。
可选的,根据每个用户终端的分值高低确定是否为该用户终端分配资源具体包括:当系统资源不足以满足当前所有用户终端的资源请求时,按照分值高低的顺序优先满足分值高的用户终端的资源请求,和/或拒绝分值为负数的用户终端的资源请求。
可选的,预先为每个用户终端设置该用户终端的额定资源占用量进一步包括:根据用户终端的类型标识将所有的用户终端划分为N个类别,其中,N为自然数;将全部系统资源划分为N个子资源,将每个子资源对应分配给各个类别的用户终端,并进一步为每个类别中的各个用户终端设置额定资源占用量;其中,在每个类别中,为各个用户终端设置的额定资源占用量之和等于分配给该类别的用户终端的子资源的总量。
可选的,将全部系统资源划分为N个子资源,将每个子资源对应分配给各个类别的用户终端时,根据每个类别的优先级和/或每个类别中的用户终端数来确定分配给该类别的用户终端的子资源的总量大小,和/或,在每个类别中为各个用户终端设置额定资源占用量时,根据每个用户终端的优先级来确定额定资源占用量的大小。
可选的,计算每个用户终端的额定资源占用量与该用户终端的实际资源占用量之间的差值,将该差值确定并存储为该用户终端的分值的步骤具体包括:每隔预设的时间间隔计算每个用户终端的额定资源占用量与该用户终端的当前实际资源占用量之间的差值,将该差值更新并存储为该用户终端的当前分值。
依据本发明的另一方面,提供了一种基于云计算的资源分配装置,包括:设置单元,适于预先为每个用户终端设置该用户终端的额定资源占用量以及最大资源占用量,其中,最大资源占用量为额定资源占用量的预设倍数;计算存储单元,适于计算每个用户终端的额定资源占用量与该用户终端的实际资源占用量之间的差值,并根据该差值确定该用户终端的分值;分配单元,适于根据每个用户终端的分值高低确定是否为该用户终端分配资源。
可选的,当用户终端的额定资源占用量大于该用户终端的实际资源占用量时,该用户终端的分值为正数;当用户终端的额定资源占用量小于该用户终端的实际资源占用量时,该用户终端的分值为负数。
可选的,分配单元适于:当系统资源不足以满足当前所有用户终端的资源请求时,按照分值高低的顺序优先满足分值高的用户终端的资源请求,和/或拒绝分值为负数的用户终端的资源请求。
可选的,设置单元进一步包括:第一划分子单元,适于根据用户终端的类型标识将所有的用户终端划分为N个类别,其中,N为自然数;第二划分子单元,适于将全部系统资源划分为N个子资源,将每个子资源对应分配给各个类别的用户终端,并进一步为每个类别中的各个用户终端设置额定资源占用量;其中,在每个类别中,为各个用户终端设置的额定资源占用量之和等于分配给该类别的用户终端的子资源的总量。
可选的,第一划分子单元根据每个类别的优先级和/或每个类别中的用户终端数来确定分配给该类别的用户终端的子资源的总量大小,和/或,第二划分子单元根据每个用户终端的优先级来确定额定资源占用量的大小。
可选的,计算存储单元具体适于:每隔预设的时间间隔计算每个用户终端的额定资源占用量与该用户终端的当前实际资源占用量之间的差值,将该差值更新并存储为该用户终端的当前分值。
在本发明提供的基于云计算的资源分配方法及装置中,为每个用户终端设置额定资源占用量和最大资源占用量。由于每个用户终端实际允许使用的最大资源占用量高于该用户终端的额定资源占用量,从而在其他用户终端没有提交太多的计算任务时,能够充分满足某一用户终端较大的临时计算需求。由此解决了现有技术中用户终端不能利用其他用户终端的空闲资源进行计算,从而造成资源浪费的问题,取得了能够充分满足某一用户终端较大的临时计算需求,从而提高集群利用率的有益效果。另外,在本发明提供的基于云计算的资源分配方法及装置中,还根据额定资源占用量与实际资源占用量之间的差值来确定用户终端的分值,并据此确定是否为用户终端分配资源,从而可以在整个资源分配过程中更加公平地为用户终端分配资源。
上述说明仅是本发明技术方案的概述,为了能够更清楚了解本发明的技术手段,而可依照说明书的内容予以实施,并且为了让本发明的上述和其它目的、特征和优点能够更明显易懂,以下特举本发明的具体实施方式。
附图说明
通过阅读下文优选实施方式的详细描述,各种其他的优点和益处对于本领域普通技术人员将变得清楚明了。附图仅用于示出优选实施方式的目的,而并不认为是对本发明的限制。而且在整个附图中,用相同的参考符号表示相同的部件。在附图中:
图1示出了根据本发明实施例提供的基于云计算的资源分配方法的流程图;以及
图2示出了根据本发明实施例提供的基于云计算的资源分配装置的结构图。
具体实施方式
下面将参照附图更详细地描述本公开的示例性实施例。虽然附图中显示了本公开的示例性实施例,然而应当理解,可以以各种形式实现本公开而不应被这里阐述的实施例所限制。相反,提供这些实施例是为了能够更透彻地理解本公开,并且能够将本公开的范围完整的传达给本领域的技术人员。
本发明实施例提供了一种基于云计算的资源分配方法及装置,用以解决现有技术中用户终端不能利用其他用户终端的空闲资源进行计算,从而造成资源浪费的问题。
图1示出了本发明提供的基于云计算的资源分配方法的流程图。如图1所示,该资源分配方法起始于步骤S110,在步骤S110中,预先为每个用户终端设置该用户终端的额定资源占用量以及最大资源占用量,其中,最大资源占用量为额定资源占用量的预设倍数。
具体地,在步骤S110中,为每个用户终端设置该用户终端的额定资源占用量时,可以通过多种方式来设置,主要的设置方式包括下述两种:
在第一种设置方式中,将全部系统资源直接分配给系统中的所有用户终端。在具体分配时,又可以采取多种分配方式,例如,可以为系统中的每个用户终端平均分配额定资源占用量:假设系统中一共有10个用户终端,每个用户终端通过唯一的标识信息(例如,帐户名)进行标识,且系统资源中一共有1000个计算节点,这时,可以为每个用户终端平均分配100个计算节点,作为每个用户终端的额定资源占用量。或者,也可以根据用户终端的重要程度为每个用户终端分配不同的额定资源占用量,例如,同样假设系统中一共有10个用户终端,且系统资源中一共有1000个计算节点,这时,可以预先根据用户终端的重要程度为其设定优先级,例如,可以设置部门主管所使用的用户终端的优先级高于该部门其他职员的用户终端的优先级。相应地,可以为部门主管所使用的用户终端分配较多的额定资源占用量,例如300个计算节点,然后,将剩余的700个节点大致平均地分配给其他的九名职员所使用的用户终端。
一般情况下,第一种设置方式足以满足各个用户终端的需求。但是,由于第一种设置方式是直接对全部系统资源进行分配的,存在着资源划分粒度扁平的特点,由此导致在一些特殊情况下不能充分地满足各个用户终端的需求:例如,当云计算平台应用于具备多个部门的大型公司时,各个部门要共同使用云计算平台中的系统资源,这时,如果直接将全部系统资源分配给系统中的所有用户终端,不仅分配过程耗时较多,而且由于这些用户终端分属于不同的部门,而不同部门的两个用户终端之间很难区分出哪个用户终端的重要性更高,因此,很难合理地为各部门中的各个用户终端分配额定资源占用量。对此,本发明还提出了第二种设置方式:
在第二种设置方式中,并不是将全部系统资源直接地分配给系统中的所有用户终端,而是首先,根据用户终端的类型标识将所有的用户终端划分为N个类别,其中,N为自然数。例如,用户终端的类型标识可以是用于标识用户终端所属部门的信息,相应的,用户终端的类别数与部门数相等。然后,将全部系统资源划分为N个子资源,将每个子资源对应分配给各个类别的用户终端,并进一步为每个类别中的各个用户终端设置额定资源占用量。
下面举例说明一下第二种设置方式的具体实现细节。假设云计算平台的系统资源中一共有10000个计算节点,且该平台应用于具备五个部门的大型公司,这五个部门分别是部门A、部门B、部门C、部门D和部门E。为了更加合理地为各个部门中的用户终端分配额定资源占用量,首先,将系统中的全部用户终端根据用于标识用户终端所属部门的类型标识划分为五个类别,具体地,部门A中的用户终端为第一个类别,部门B中的用户终端为第二个类别,部门C中的用户终端为第三个类别,部门D中的用户终端为第四个类别,部门E中的用户终端为第五个类别。然后,将全部系统资源(即10000个计算节点)划分为五个子资源,将每个子资源对应分配给各个类别的用户终端。具体地,在划分并分配子资源时,可以根据每个类别的优先级和/或每个类别中的用户终端数来确定分配给该类别的用户终端的子资源的总量大小。例如,假设第一个类别所对应的部门A在公司的业务发展中占据着举足轻重的地位,且部门A的用户终端数也最多,因此,需要为第一个类别分配最多的子资源,例如3500个计算节点,这些计算节点也可以通过权重值来表示,例如相应的权重值为35%;假设第二个类别所对应的部门B中的用户终端数仅次于部门A,因此,可以为第二个类别也分配较多的子资源,例如3000个计算节点,这些计算节点也可以通过权重值来表示,例如相应的权重值为30%。然后,可以将剩余的3500个计算节点大致平均地分配给其余的三个类别。可以看出,所有子资源之和等于系统资源的总量。除了根据优先级和/或用户终端数来决定对应的子资源大小外,还可以综合根据其他因素来决定。为每个类别的用户终端分配好对应的子资源之后,进一步地为每个类别中的各个用户终端设置额定资源占用量,其中,在每个类别中,为各个用户终端设置的额定资源占用量之和等于分配给该类别的用户终端的子资源的总量(例如,第一个类别中的全部用户终端的额定资源占用量之和为3500个计算节点,第二个类别中的全部用户终端的额定资源占用量之和为3000个计算节点.....)。具体地,在每个类别中为各个用户终端设置额定资源占用量时,既可以根据每个用户终端的优先级来确定额定资源占用量的大小,或者,也可以为每个用户终端都设置相等的额定资源占用量。在根据每个用户终端的优先级来确定额定资源占用量的大小时,假设第一个类别中共有100个用户终端,假设用户终端A的优先级最高,则可以为用户终端A分配最多的计算节点,例如350个计算节点,这350个计算节点在对应的总量大小为3500个计算节点的子资源中所占用的权重值相应地为10%,假设剩余的99个用户终端的优先级相等,则可以将剩余的3150(3500-350=3150)个计算节点平均分配给剩余的99个用户终端。
第二种设置方式的主要特点在于,根据用户终端的特点,将用户终端划分为多个类别,相应的,将全部系统资源也对应划分为多个子资源,然后,为每个类别的用户终端分配资源时,只需在该类别所对应的子资源的范围内进行分配即可,由此避免了难以衡量不同部门间的两个用户终端的重要程度的问题,使得资源划分方式更加灵活。第二种设置方式也可以称作分层次划分方式,即将系统资源划分出两个层次(全体系统资源作为第一个层次,各个子资源作为第二个层次)。在实际情况中,还可以进一步将系统资源划分为更多的层次,例如,在部门内部又细分为多个小组的情况下,还可以相应的将每个子资源进一步细分为多个资源块,将各个资源块对应分配给各个小组,以满足部门内部细化的需求。
在上述两种设置方式中所设置的额定资源占用量规定了对应的用户终端所能够使用的额定资源上限。通常情况下,所有的用户终端的额定资源占用量之和等于系统资源的总量。
另外,在本发明中,为了能够更加灵活地利用系统资源,规定每个用户终端能够使用的最大资源占用量可以适当地超出该用户终端的额定资源占用量。为此,还需要设置每个用户终端的最大资源占用量,用于限制该用户终端实际能够使用的资源上限。例如,可以将每个用户终端的最大资源占用量设置为该用户终端的额定资源占用量的预设倍数。在本实施例中,以预设倍数为2为例进行描述,因此,对于额定资源占用量为100个计算节点的用户终端,其最大资源占用量为200个计算节点。另外,该预设倍数的具体取值还可以根据实际情况取其他数值,例如取1.3或1.5等,本发明对此不作限定。
设置好上述的额定资源占用量和最大资源占用量之后,在步骤S120中,计算每个用户终端的额定资源占用量与该用户终端的实际资源占用量之间的差值,并根据该差值确定该用户终端的分值。具体地,可以每隔预设的时间间隔计算一次每个用户终端的额定资源占用量与该用户终端的当前实际资源占用量之间的差值,并将该差值更新并存储为该用户终端的当前分值。为了能够更加精确地反映当前的资源占用情况,也可以将该预设的时间间隔设置得足够小,以实现近似实时计算的效果。
下面详细介绍一下步骤S120的具体过程:
首先,在初始阶段,各个用户终端都还没有提交作业,因此,也就没有占用系统资源。这时,每个用户终端的实际资源占用量为0,因此,每个用户终端的额定资源占用量与实际资源占用量之间的差值实际上就是该用户终端的额定资源占用量。所以,对于额定资源占用量为100个计算节点的用户终端来说,该用户终端在初始阶段的初始分值为100;同理,对于额定资源占用量为300个计算节点的用户终端来说,该用户终端在初始阶段的初始分值为300。假设共有5个用户终端,每个用户终端的额定资源占用量、最大资源占用量、实际资源占用量和初始分值如表1所示。
表1
Figure BDA00003485453500081
接下来,各个用户终端开始陆续提交作业,每当一个用户终端准备提交一个作业之前,都需要预估该作业执行时所需的系统资源,然后,发送资源请求以便为该作业申请相应的资源。当云计算平台接收到该资源请求后,首先需要判断该资源请求中所申请的资源大小与该用户终端当前占用的资源大小之和是否超出该用户终端的最大资源占用量,如果不超出,则为该用户终端分配相应的资源;如果超出,则拒绝为其分配资源。例如,假设用户终端1提交了一个要求申请400个节点的资源请求,且用户终端1当前占用的节点数为0,因此,该资源请求中所申请的资源大小(400)与该用户终端当前占用的资源大小(0)之和(400)没有超出该用户终端的最大资源占用量(600),所以,云计算平台同意用户终端1的资源请求,为其分配400个节点的系统资源。相应地,云计算平台计算出用户终端1的额定资源占用量(300)与该用户终端的实际资源占用量(400)之间的差值(-100),将该差值(-100)更新并存储为用户终端1的当前分值。这里要说明的一点是,当用户终端的额定资源占用量大于该用户终端的实际资源占用量时,该用户终端的分值为正数;当用户终端的额定资源占用量小于该用户终端的实际资源占用量时,该用户终端的分值为负数。因此,此时用户终端1的分值为负数。
基于同样的道理,当其他用户终端发送资源请求后,也可以按照上述方式计算出其他用户终端的当前分值。其中,由于各个用户终端会不断地提交新的作业,申请新的资源,且之前提交的作业完成后也会释放出相应的资源,因此,各个用户终端的当前分值是动态变化的。假设若干时间之后,这5个用户终端的当前分值如表2所示。
表2
Figure BDA00003485453500091
Figure BDA00003485453500101
获得各个用户终端的分值之后,在步骤S130中,根据每个用户终端的分值高低确定是否为该用户终端分配资源。
其中,可以采取如下方式来为用户终端分配资源:当系统资源足以满足当前所有用户终端的资源请求时,每个用户终端无论其当前分值如何,都可以在其对应的最大资源占用量的范围内申请系统资源。但是,当系统资源不足以满足当前所有用户终端的资源请求时,则按照分值高低的顺序优先满足分值高的用户终端的资源请求,和/或拒绝分值为负数的用户终端的资源请求。
具体地,根据表2可以看出,这5个用户终端所能够使用的系统资源的总量为700个计算节点,当前实际使用了680个计算节点。
然后,在后续过程中,可能会出现两种情况。在第一种情况中,假设只有用户终端1又提交了一个请求10个节点的资源请求,由于系统资源此时还能够满足当前所有用户终端的资源请求,而且,用户终端1此时实际的资源占用量(400)加上本次资源请求所请求的资源量(10)之后的结果并未超出用户终端1的最大资源占用量,因此,用户终端1的资源请求将会得到满足。
但是,在第二种情况中,假设在用户终端1又提交了一个请求10个节点的资源请求的同时,用户终端2也提交了一个请求20个节点的资源请求,由于系统资源中只有20个节点空闲,因此,无法同时满足这两个用户终端的请求,此时,云计算平台会按照分值高低的顺序优先满足分值高的用户终端2的资源请求,并拒绝分值为负数的用户终端1的资源请求。
由此可见,当系统资源不足时,分值低的用户终端,尤其是分值为负数的用户终端,由于之前占用了过多的系统资源,因此将会受到不予分配资源的“惩罚”。
本发明实质上是根据额定资源占用量和实际资源占用量计算出分值后,根据分值对所有的用户终端进行排序,分值最高的排在最前面,分值最低的排在最后面,当系统资源不足时,则会优先为分值高的用户终端分配资源。由此可见,因为每个用户终端能够使用的最大资源占用量大于其额定资源占用量,因此,当系统资源充足的时候,用户终端不必受限于其额定资源占用量,而可以适当的多利用一些空闲资源,以避免空闲资源的过度浪费;另外,当系统资源不足时,又可以根据用户终端占用资源的情况来决定是否为其分配资源,这样,之前占用资源过多的用户终端会受到“惩罚”,以满足公平性的原则。
另外,在本发明实施例中,直接以节点数作为系统资源的计算单位,但是,在实际情况中,由于不断有新的作业申请到新的资源,也不断有完成后的作业释放出一定的资源,导致用户终端并不是持续地占用固定数量的节点,而是在时间段T1内占用数量为N1的节点,在时间段T2内则占用数量为N2的节点,因此,为了能够更加准确地描述出用户终端对资源的占用情况,也可以以“节点×小时”为单位来描述系统资源,例如,假设系统中一共有1000个节点,按照监控周期为一天来计算,由于一天共有24个小时,因此,一天内共有系统资源1000×24(节点×小时),假设某个用户终端在两个小时内占用了10个节点,则其在这两个小时内占用的系统资源为20(节点×小时)。相应地,在上述的步骤S120中也可以采用“节点×小时”为单位来计算用户终端对应的额定资源占用量、最大资源占用量和实际资源占用量等,以便能够更加全面准确地描述出用户终端的资源占用情况。
图2示出了本发明提供的基于云计算的资源分配装置的结构图。如图2所示,该资源分配装置200包括设置单元21、计算存储单元22和分配单元23。
其中,设置单元21预先为每个用户终端设置该用户终端的额定资源占用量以及最大资源占用量,其中,最大资源占用量为额定资源占用量的预设倍数。具体地,设置单元21在设置额定资源占用量时,可以通过两种方式进行设置:
在第一种设置方式中,将全部系统资源直接分配给系统中的所有用户终端。在具体分配时,又可以采取多种分配方式,例如,可以为系统中的每个用户终端平均分配额定资源占用量:假设系统中一共有10个用户终端,每个用户终端通过唯一的标识信息(例如,帐户名)进行标识,且系统资源中一共有1000个计算节点,这时,可以为每个用户终端平均分配100个计算节点,作为每个用户终端的额定资源占用量。或者,也可以根据用户终端的重要程度为每个用户终端分配不同的额定资源占用量,例如,同样假设系统中一共有10个用户终端,且系统资源中一共有1000个计算节点,这时,可以预先根据用户终端的重要程度为其设定优先级,例如,可以设置部门主管所使用的用户终端的优先级高于该部门其他职员的用户终端的优先级。相应地,可以为部门主管所使用的用户终端分配较多的额定资源占用量,例如300个计算节点,然后,将剩余的700个节点大致平均地分配给其他的九名职员所使用的用户终端。
在第二种设置方式中,设置单元21进一步包括:第一划分子单元,适于根据用户终端的类型标识将所有的用户终端划分为N个类别,其中,N为自然数;第二划分子单元,适于将全部系统资源划分为N个子资源,将每个子资源对应分配给各个类别的用户终端,并进一步为每个类别中的各个用户终端设置额定资源占用量;其中,在每个类别中,为各个用户终端设置的额定资源占用量之和等于分配给该类别的用户终端的子资源的总量。其中,第一划分子单元根据每个类别的优先级和/或每个类别中的用户终端数来确定分配给该类别的用户终端的子资源的总量大小,和/或,第二划分子单元根据每个用户终端的优先级来确定额定资源占用量的大小。关于第二种设置方式的具体细节可参照方法实施例中相应部分的描述,此处不再赘述。
设置单元21设置的额定资源占用量规定了对应的用户终端所能够使用的额定资源上限。通常情况下,所有的用户终端的额定资源占用量之和等于系统资源的总量。另外,为了能够更加灵活地利用系统资源,规定每个用户终端能够使用的最大资源占用量可以适当地超出该用户终端的额定资源占用量。为此,设置单元21还需要设置每个用户终端的最大资源占用量,用于限制该用户终端实际能够使用的资源上限。例如,可以将每个用户终端的最大资源占用量设置为该用户终端的额定资源占用量的预设倍数。在本实施例中,以预设倍数为2为例进行描述,因此,对于额定资源占用量为100个计算节点的用户终端,其最大资源占用量为200个计算节点。另外,该预设倍数的具体取值还可以根据实际情况取其他数值,例如取1.3或1.5等,本发明对此不作限定。
计算存储单元22计算每个用户终端的额定资源占用量与该用户终端的实际资源占用量之间的差值,并根据该差值确定该用户终端的分值。具体地,当用户终端的额定资源占用量大于该用户终端的实际资源占用量时,该用户终端的分值为正数;当用户终端的额定资源占用量小于该用户终端的实际资源占用量时,该用户终端的分值为负数。
上述计算存储单元22可以每隔预设的时间间隔计算每个用户终端的额定资源占用量与该用户终端的当前实际资源占用量之间的差值,将该差值更新并存储为该用户终端的当前分值。为了能够更加精确地反映当前的资源占用情况,也可以将该预设的时间间隔设置得足够小,以实现近似实时计算的效果。关于计算存储单元22的具体工作过程可参照方法实施例中步骤S120中的描述,此处不再赘述。
分配单元23根据每个用户终端的分值高低确定是否为该用户终端分配资源。具体地,分配单元23适于当系统资源不足以满足当前所有用户终端的资源请求时,按照分值高低的顺序优先满足分值高的用户终端的资源请求,和/或拒绝分值为负数的用户终端的资源请求。关于分配单元23的具体工作过程可参照方法实施例中步骤S130中的描述,此处不再赘述。
在本发明提供的基于云计算的资源分配方法及装置中,为每个用户终端设置额定资源占用量和最大资源占用量。由于每个用户终端实际允许使用的最大资源占用量高于该用户终端的额定资源占用量,从而在其他用户终端没有提交太多的计算任务时,能够充分满足某一用户终端较大的临时计算需求。由此解决了现有技术中用户终端不能利用其他用户终端的空闲资源进行计算,从而造成资源浪费的问题,取得了能够充分满足某一用户终端较大的临时计算需求,从而提高集群利用率的有益效果。另外,在本发明提供的基于云计算的资源分配方法及装置中,还根据额定资源占用量与实际资源占用量之间的差值来确定用户终端的分值,并据此确定是否为用户终端分配资源,从而可以在整个资源分配过程中更加公平地为用户终端分配资源。
A6、如A1-5任一所述的方法,其中,所述计算每个用户终端的额定资源占用量与该用户终端的实际资源占用量之间的差值,并根据该差值确定该用户终端的分值的步骤具体包括:每隔预设的时间间隔计算每个用户终端的额定资源占用量与该用户终端的当前实际资源占用量之间的差值,将该差值更新并存储为该用户终端的当前分值。B12、如B7-11任一所述的装置,其中,所述计算存储单元具体适于:每隔预设的时间间隔计算每个用户终端的额定资源占用量与该用户终端的当前实际资源占用量之间的差值,将该差值更新并存储为该用户终端的当前分值。
在此提供的算法和显示不与任何特定计算机、虚拟系统或者其它设备固有相关。各种通用系统也可以与基于在此的示教一起使用。根据上面的描述,构造这类系统所要求的结构是显而易见的。此外,本发明也不针对任何特定编程语言。应当明白,可以利用各种编程语言实现在此描述的本发明的内容,并且上面对特定语言所做的描述是为了披露本发明的最佳实施方式。
在此处所提供的说明书中,说明了大量具体细节。然而,能够理解,本发明的实施例可以在没有这些具体细节的情况下实践。在一些实例中,并未详细示出公知的方法、结构和技术,以便不模糊对本说明书的理解。
类似地,应当理解,为了精简本公开并帮助理解各个发明方面中的一个或多个,在上面对本发明的示例性实施例的描述中,本发明的各个特征有时被一起分组到单个实施例、图、或者对其的描述中。然而,并不应将该公开的方法解释成反映如下意图:即所要求保护的本发明要求比在每个权利要求中所明确记载的特征更多的特征。更确切地说,如下面的权利要求书所反映的那样,发明方面在于少于前面公开的单个实施例的所有特征。因此,遵循具体实施方式的权利要求书由此明确地并入该具体实施方式,其中每个权利要求本身都作为本发明的单独实施例。
本领域那些技术人员可以理解,可以对实施例中的设备中的模块进行自适应性地改变并且把它们设置在与该实施例不同的一个或多个设备中。可以把实施例中的模块或单元或组件组合成一个模块或单元或组件,以及此外可以把它们分成多个子模块或子单元或子组件。除了这样的特征和/或过程或者单元中的至少一些是相互排斥之外,可以采用任何组合对本说明书(包括伴随的权利要求、摘要和附图)中公开的所有特征以及如此公开的任何方法或者设备的所有过程或单元进行组合。除非另外明确陈述,本说明书(包括伴随的权利要求、摘要和附图)中公开的每个特征可以由提供相同、等同或相似目的的替代特征来代替。
此外,本领域的技术人员能够理解,尽管在此所述的一些实施例包括其它实施例中所包括的某些特征而不是其它特征,但是不同实施例的特征的组合意味着处于本发明的范围之内并且形成不同的实施例。例如,在下面的权利要求书中,所要求保护的实施例的任意之一都可以以任意的组合方式来使用。
本发明的各个部件实施例可以以硬件实现,或者以在一个或者多个处理器上运行的软件模块实现,或者以它们的组合实现。本领域的技术人员应当理解,可以在实践中使用微处理器或者数字信号处理器(DSP)来实现根据本发明实施例的装置中的一些或者全部部件的一些或者全部功能。本发明还可以实现为用于执行这里所描述的方法的一部分或者全部的设备或者装置程序(例如,计算机程序和计算机程序产品)。这样的实现本发明的程序可以存储在计算机可读介质上,或者可以具有一个或者多个信号的形式。这样的信号可以从因特网网站上下载得到,或者在载体信号上提供,或者以任何其他形式提供。
应该注意的是上述实施例对本发明进行说明而不是对本发明进行限制,并且本领域技术人员在不脱离所附权利要求的范围的情况下可设计出替换实施例。在权利要求中,不应将位于括号之间的任何参考符号构造成对权利要求的限制。单词“包含”不排除存在未列在权利要求中的元件或步骤。位于元件之前的单词“一”或“一个”不排除存在多个这样的元件。本发明可以借助于包括有若干不同元件的硬件以及借助于适当编程的计算机来实现。在列举了若干装置的单元权利要求中,这些装置中的若干个可以是通过同一个硬件项来具体体现。单词第一、第二、以及第三等的使用不表示任何顺序。可将这些单词解释为名称。

Claims (10)

1.一种基于云计算的资源分配方法,包括:
预先为每个用户终端设置该用户终端的额定资源占用量以及最大资源占用量,其中,所述最大资源占用量为额定资源占用量的预设倍数;
计算每个用户终端的额定资源占用量与该用户终端的实际资源占用量之间的差值,并根据该差值确定该用户终端的分值;
根据每个用户终端的分值高低确定是否为该用户终端分配资源。
2.如权利要求1所述的方法,其中,当用户终端的额定资源占用量大于该用户终端的实际资源占用量时,该用户终端的分值为正数;当用户终端的额定资源占用量小于该用户终端的实际资源占用量时,该用户终端的分值为负数。
3.如权利要求2所述的方法,其中,所述根据每个用户终端的分值高低确定是否为该用户终端分配资源具体包括:
当系统资源不足以满足当前所有用户终端的资源请求时,按照分值高低的顺序优先满足分值高的用户终端的资源请求,和/或拒绝分值为负数的用户终端的资源请求。
4.如权利要求1所述的方法,其中,所述预先为每个用户终端设置该用户终端的额定资源占用量进一步包括:
根据用户终端的类型标识将所有的用户终端划分为N个类别,其中,N为自然数;
将全部系统资源划分为N个子资源,将每个子资源对应分配给各个类别的用户终端,并进一步为每个类别中的各个用户终端设置额定资源占用量;
其中,在每个类别中,为各个用户终端设置的额定资源占用量之和等于分配给该类别的用户终端的子资源的总量。
5.如权利要求4所述的方法,其中,所述将全部系统资源划分为N个子资源,将每个子资源对应分配给各个类别的用户终端时,根据每个类别的优先级和/或每个类别中的用户终端数来确定分配给该类别的用户终端的子资源的总量大小,
和/或,在每个类别中为各个用户终端设置额定资源占用量时,根据每个用户终端的优先级来确定额定资源占用量的大小。
6.一种基于云计算的资源分配装置,包括:
设置单元,适于预先为每个用户终端设置该用户终端的额定资源占用量以及最大资源占用量,其中,所述最大资源占用量为额定资源占用量的预设倍数;
计算存储单元,适于计算每个用户终端的额定资源占用量与该用户终端的实际资源占用量之间的差值,并根据该差值确定该用户终端的分值;
分配单元,适于根据每个用户终端的分值高低确定是否为该用户终端分配资源。
7.如权利要求6所述的装置,其中,当用户终端的额定资源占用量大于该用户终端的实际资源占用量时,该用户终端的分值为正数;当用户终端的额定资源占用量小于该用户终端的实际资源占用量时,该用户终端的分值为负数。
8.如权利要求7所述的装置,其中,所述分配单元适于:当系统资源不足以满足当前所有用户终端的资源请求时,按照分值高低的顺序优先满足分值高的用户终端的资源请求,和/或拒绝分值为负数的用户终端的资源请求。
9.如权利要求6所述的装置,其中,所述设置单元进一步包括:
第一划分子单元,适于根据用户终端的类型标识将所有的用户终端划分为N个类别,其中,N为自然数;
第二划分子单元,适于将全部系统资源划分为N个子资源,将每个子资源对应分配给各个类别的用户终端,并进一步为每个类别中的各个用户终端设置额定资源占用量;其中,在每个类别中,为各个用户终端设置的额定资源占用量之和等于分配给该类别的用户终端的子资源的总量。
10.如权利要求9所述的装置,其中,所述第一划分子单元根据每个类别的优先级和/或每个类别中的用户终端数来确定分配给该类别的用户终端的子资源的总量大小,
和/或,所述第二划分子单元根据每个用户终端的优先级来确定额定资源占用量的大小。
CN201310286568.XA 2013-07-09 2013-07-09 基于云计算的资源分配方法及装置 Active CN103369041B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201310286568.XA CN103369041B (zh) 2013-07-09 2013-07-09 基于云计算的资源分配方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201310286568.XA CN103369041B (zh) 2013-07-09 2013-07-09 基于云计算的资源分配方法及装置

Publications (2)

Publication Number Publication Date
CN103369041A true CN103369041A (zh) 2013-10-23
CN103369041B CN103369041B (zh) 2017-10-03

Family

ID=49369562

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201310286568.XA Active CN103369041B (zh) 2013-07-09 2013-07-09 基于云计算的资源分配方法及装置

Country Status (1)

Country Link
CN (1) CN103369041B (zh)

Cited By (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103685569A (zh) * 2013-12-31 2014-03-26 曙光云计算技术有限公司 一种自动调整资源池的方法及系统
CN103729236A (zh) * 2013-12-29 2014-04-16 国云科技股份有限公司 一种限制云计算用户资源使用额度的方法
CN103823717A (zh) * 2014-01-22 2014-05-28 汉柏科技有限公司 一种云计算资源动态管理方法和装置
CN104270459A (zh) * 2014-10-20 2015-01-07 山东省计算中心(国家超级计算济南中心) 一种增强公平性的云计算用户资源配额分配方法
CN104468755A (zh) * 2014-11-27 2015-03-25 中国联合网络通信集团有限公司 实现应用性能保障的方法和装置
CN103701934B (zh) * 2014-01-13 2017-02-01 浪潮(北京)电子信息产业有限公司 一种资源优化调度方法及虚拟机宿主机优化选择方法
WO2017041652A1 (zh) * 2015-09-09 2017-03-16 阿里巴巴集团控股有限公司 一种网络资源的使用限额的控制方法、装置及系统
CN106550461A (zh) * 2015-09-21 2017-03-29 海能达通信股份有限公司 一种资源使用方法及终端
WO2017143981A1 (zh) * 2016-02-26 2017-08-31 新华三技术有限公司 服务处理
CN107886365A (zh) * 2017-11-21 2018-04-06 北京奇艺世纪科技有限公司 一种广告资源分配方法及装置
WO2018120991A1 (zh) * 2016-12-30 2018-07-05 华为技术有限公司 一种资源调度方法及装置
WO2019011262A1 (zh) * 2017-07-14 2019-01-17 华为技术有限公司 分配资源的方法和装置
CN110532087A (zh) * 2018-05-24 2019-12-03 阿里巴巴集团控股有限公司 一种资源分配方法、资源管理器
CN111190544A (zh) * 2019-12-27 2020-05-22 天津中科曙光存储科技有限公司 一种用于分布式存储的流控方法和装置
CN111225050A (zh) * 2020-01-02 2020-06-02 中国神华能源股份有限公司神朔铁路分公司 云计算资源分配方法及装置
CN111258751A (zh) * 2020-01-08 2020-06-09 北京松果电子有限公司 一种控制资源访问的方法、装置及介质
WO2024113847A1 (zh) * 2022-11-29 2024-06-06 华为云计算技术有限公司 共享资源分配方法、装置及计算设备集群

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101938416A (zh) * 2010-09-01 2011-01-05 华南理工大学 一种基于动态重配置虚拟资源的云计算资源调度方法
CN102185779A (zh) * 2011-05-11 2011-09-14 田文洪 与综合配置能力成比例的数据中心资源负载均衡的方法及装置
CN102707995A (zh) * 2012-05-11 2012-10-03 马越鹏 基于云计算环境的业务调度的方法及装置
US20120331152A1 (en) * 2011-04-11 2012-12-27 International Business Machines Corporation Dynamic resource allocation method, system, and program
CN102917077A (zh) * 2012-11-20 2013-02-06 无锡城市云计算中心有限公司 云计算系统中的资源分配方法
CN103024078A (zh) * 2012-12-31 2013-04-03 无锡城市云计算中心有限公司 云计算环境下的资源分配方法和装置

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101938416A (zh) * 2010-09-01 2011-01-05 华南理工大学 一种基于动态重配置虚拟资源的云计算资源调度方法
US20120331152A1 (en) * 2011-04-11 2012-12-27 International Business Machines Corporation Dynamic resource allocation method, system, and program
CN102185779A (zh) * 2011-05-11 2011-09-14 田文洪 与综合配置能力成比例的数据中心资源负载均衡的方法及装置
CN102707995A (zh) * 2012-05-11 2012-10-03 马越鹏 基于云计算环境的业务调度的方法及装置
CN102917077A (zh) * 2012-11-20 2013-02-06 无锡城市云计算中心有限公司 云计算系统中的资源分配方法
CN103024078A (zh) * 2012-12-31 2013-04-03 无锡城市云计算中心有限公司 云计算环境下的资源分配方法和装置

Cited By (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103729236A (zh) * 2013-12-29 2014-04-16 国云科技股份有限公司 一种限制云计算用户资源使用额度的方法
CN103729236B (zh) * 2013-12-29 2017-04-05 国云科技股份有限公司 一种限制云计算用户资源使用额度的方法
CN103685569A (zh) * 2013-12-31 2014-03-26 曙光云计算技术有限公司 一种自动调整资源池的方法及系统
CN103701934B (zh) * 2014-01-13 2017-02-01 浪潮(北京)电子信息产业有限公司 一种资源优化调度方法及虚拟机宿主机优化选择方法
CN103823717A (zh) * 2014-01-22 2014-05-28 汉柏科技有限公司 一种云计算资源动态管理方法和装置
CN104270459A (zh) * 2014-10-20 2015-01-07 山东省计算中心(国家超级计算济南中心) 一种增强公平性的云计算用户资源配额分配方法
CN104270459B (zh) * 2014-10-20 2017-09-29 山东省计算中心(国家超级计算济南中心) 一种增强公平性的云计算用户资源配额分配方法
CN104468755B (zh) * 2014-11-27 2018-11-02 中国联合网络通信集团有限公司 实现应用性能保障的方法和装置
CN104468755A (zh) * 2014-11-27 2015-03-25 中国联合网络通信集团有限公司 实现应用性能保障的方法和装置
WO2017041652A1 (zh) * 2015-09-09 2017-03-16 阿里巴巴集团控股有限公司 一种网络资源的使用限额的控制方法、装置及系统
CN106550461A (zh) * 2015-09-21 2017-03-29 海能达通信股份有限公司 一种资源使用方法及终端
CN106550461B (zh) * 2015-09-21 2020-04-28 海能达通信股份有限公司 一种资源使用方法及终端
CN107135241A (zh) * 2016-02-26 2017-09-05 新华三技术有限公司 一种业务处理方法和装置
WO2017143981A1 (zh) * 2016-02-26 2017-08-31 新华三技术有限公司 服务处理
WO2018120991A1 (zh) * 2016-12-30 2018-07-05 华为技术有限公司 一种资源调度方法及装置
WO2019011262A1 (zh) * 2017-07-14 2019-01-17 华为技术有限公司 分配资源的方法和装置
CN107886365A (zh) * 2017-11-21 2018-04-06 北京奇艺世纪科技有限公司 一种广告资源分配方法及装置
CN110532087A (zh) * 2018-05-24 2019-12-03 阿里巴巴集团控股有限公司 一种资源分配方法、资源管理器
CN111190544A (zh) * 2019-12-27 2020-05-22 天津中科曙光存储科技有限公司 一种用于分布式存储的流控方法和装置
CN111225050A (zh) * 2020-01-02 2020-06-02 中国神华能源股份有限公司神朔铁路分公司 云计算资源分配方法及装置
CN111258751A (zh) * 2020-01-08 2020-06-09 北京松果电子有限公司 一种控制资源访问的方法、装置及介质
WO2024113847A1 (zh) * 2022-11-29 2024-06-06 华为云计算技术有限公司 共享资源分配方法、装置及计算设备集群

Also Published As

Publication number Publication date
CN103369041B (zh) 2017-10-03

Similar Documents

Publication Publication Date Title
CN103369041A (zh) 基于云计算的资源分配方法及装置
US10558498B2 (en) Method for scheduling data flow task and apparatus
CN108268317B (zh) 一种资源分配方法及装置
CN109711778B (zh) 一种仓储网络的库存调拨方法、装置及存储介质
CN111400022A (zh) 一种资源调度方法、装置及电子设备
CN110716796B (zh) 智能任务调度方法及装置、存储介质、电子设备
CN108073448B (zh) 宿主机资源分配方法、装置、宿主机调度方法及装置
CN107832143B (zh) 一种物理机资源的处理方法和装置
CN104239154B (zh) 一种Hadoop集群中的作业调度方法和作业调度器
CN109558986A (zh) 一种同城站点配送顺序的排序方法及装置
CN110764872A (zh) 一种基于云服务架构的自动报税方法、系统及相关设备
CN110991808A (zh) 一种任务分配方法和装置
WO2017096842A1 (zh) 内容分发任务的提交方法及系统
CN111274021A (zh) 一种gpu集群任务调度分配方法
CN112148468A (zh) 一种资源调度方法、装置、电子设备及存储介质
CN111488206A (zh) 一种深度学习任务调度方法、系统、终端及存储介质
CN115348264A (zh) 多租户云服务管理方法、装置、设备及存储介质
CN114625500A (zh) 云环境下拓扑感知的微服务应用调度的方法及应用
CN111080126A (zh) 任务分配方法和装置
CN110912967A (zh) 一种服务节点调度方法、装置、设备及存储介质
CN106406990B (zh) 一种带安全约束的成批作业-资源匹配方法及系统
CN113344392A (zh) 一种企业项目综合管理方法及系统
CN106325997B (zh) 一种虚拟资源分配方法及装置
CN108256735B (zh) 查勘派工的处理方法及终端设备
CN107704320B (zh) 一种分布式系统的任务分配方法及系统

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right
TR01 Transfer of patent right

Effective date of registration: 20220801

Address after: Room 801, 8th floor, No. 104, floors 1-19, building 2, yard 6, Jiuxianqiao Road, Chaoyang District, Beijing 100015

Patentee after: BEIJING QIHOO TECHNOLOGY Co.,Ltd.

Address before: 100088 room 112, block D, 28 new street, new street, Xicheng District, Beijing (Desheng Park)

Patentee before: BEIJING QIHOO TECHNOLOGY Co.,Ltd.

Patentee before: Qizhi software (Beijing) Co.,Ltd.