CN109376006B - 一种云计算环境下基于用户需求时变特性的资源整合方法 - Google Patents

一种云计算环境下基于用户需求时变特性的资源整合方法 Download PDF

Info

Publication number
CN109376006B
CN109376006B CN201811026844.8A CN201811026844A CN109376006B CN 109376006 B CN109376006 B CN 109376006B CN 201811026844 A CN201811026844 A CN 201811026844A CN 109376006 B CN109376006 B CN 109376006B
Authority
CN
China
Prior art keywords
resource
time
user
virtual machine
demand
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201811026844.8A
Other languages
English (en)
Other versions
CN109376006A (zh
Inventor
孙红光
晋路遥
李建东
史琰
盛敏
张琰
文娟
刘俊宇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xidian University
Original Assignee
Xidian University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xidian University filed Critical Xidian University
Priority to CN201811026844.8A priority Critical patent/CN109376006B/zh
Publication of CN109376006A publication Critical patent/CN109376006A/zh
Application granted granted Critical
Publication of CN109376006B publication Critical patent/CN109376006B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
    • G06F9/5005—Allocation of resources, e.g. of the central processing unit [CPU] to service a request
    • G06F9/5027—Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resource being a machine, e.g. CPUs, Servers, Terminals
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
    • G06F9/5061—Partitioning or combining of resources
    • G06F9/5077—Logical partitioning of resources; Management or configuration of virtualized resources

Landscapes

  • Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本发明属于云数据处理技术领域，公开了一种云计算环境下基于用户需求时变特性的资源整合方法；采用时隙的模型对用户的时变资源需求建模；持续检测在一定时间窗内到达的多个用户请求；根据用户请求的资源需求量将用户请求进行降序排列，确定执行匹配操作的基准虚拟机；计算其他所有用户请求的虚拟机与基准虚拟机之间的相关系数，将相关系数最小的虚拟机与基准虚拟机匹配；根据当前物理机集合的资源剩余情况，继续进行匹配操作，直至整合后的虚拟机需求波动变大或是超出物理机剩余资源量，则停止匹配操作；将未能匹配整合成功的虚拟机单独放置于物理机中。本发明利用用户请求资源的时变特性；实现提升物理机资源利用率和减小利用率波动的目的。

Description

一种云计算环境下基于用户需求时变特性的资源整合方法
技术领域
本发明属于云数据处理技术领域，尤其涉及一种云计算环境下基于用户需求时变特性的资源整合方法。
背景技术
目前，业内常用的现有技术是这样的：云计算作为一种IT基础设施的交付和使用模式可以使用户便捷地从云数据中心中获得所需资源。云数据中心包含了大量的服务器、网络交换设备、操作系统以及各类应用，它使得用户的基于云计算的大规模且多样化的应用得以实现。云数据中心采用虚拟化技术将底层资源(计算资源、存储资源等)虚拟化为不同的类型的资源池，从服务提供者的角度看，这种“即付即用”的租用资源模式不过是从各类型资源池中获取部分资源，这种便利使用户可以将更多精力放在如何改进或创新应用的功能，而不必担心管理物理资源所带来的困扰，但从基础设施提供者角度看，则要根据用户的请求资源量，高效地将虚拟化资源池中的用户需求分配在有限且固化的物理机集合中，从而达到最大化的物理机资源利用、最小化能耗或是最大化收益等目标，但同时实现多个目标是困难的，所以需要在几个目标中有所折衷。由于充分利用有限的资源可以为更多用户服务从而带来更多的收益，并且可在能源消耗上有所收益，因此底层资源利用率的提升是业内所关注的，主要考虑影响物理机性能的CPU资源的使用。但是，现有对资源分配的技术仍存在问题：在云数据中心，用户的大规模、多样化的应用需求可被分解为一个或者多个任务(以下内容中任务称作为虚拟机)并行执行开始时间相同或是不同，并且每个虚拟机所需的资源需要分布在不同的物理机上。但大多数虚拟机放置问题研究中，多考虑动态的虚拟机迁移以充分利用底层资源并关闭那些没有分配用户需求的物理机以整合资源降低能耗。由于迁移的操作是在放置资源结束后进行的，这样的资源管理方法无法避免一开始放置结果所带来的一些的问题，如资源分布不均、部分用户请求由于资源不足而无法被接受等，则需要通过多次虚拟机的迁移对物理机资源进行整合，降低了网络的稳定性。除此之外，为了在用户请求的生存时间上始终满足其需求，大多数的分配资源策略并不考虑各个虚拟机在整个生存时间上资源需求随时间的变化，仅是静态的资源需求的放置方式。但考虑到属于同一用户请求的虚拟机所需资源量在其生存时间内可以是动态变化，这种静态的资源分配方法必然会带来资源利用的不充分，导致在物理机总可用资源量满足用户请求的情况下，部分用户请求资源却因单个物理机剩余可用资源不足以满足用户需求而被拒绝。
综上所述，现有技术存在的问题是：目前对于解决虚拟机放置问题时忽略了用户资源需求的时变特性，造成物理机资源利用的不充分和不平衡，从长期看，不充分和不平衡的物理机资源利用会导致网络中物理机处于重负载或轻负载，从而产生部分物理机变为热点而带来的能耗增加或低资源利用率带来的底层网络收益降低的问题。
解决上述技术问题的难度和意义：通过解决以上两点问题，首先可以对用户的需求建模为时隙模型，可以更加精确地反映用户在其生存时间上时变的资源需求；其次利用资源需求的时变特性，在对它们做放置操作之前，将时变资源需求相关性弱的虚拟机优先做资源的匹配整合操作，从时间维度上充分利用物理机的空闲资源。但并不是所有的虚拟机均可成功匹配整合，所以未能成功匹配整合的虚拟机将被单独放置，在最大程度地提升物理机的资源利用率和提升用户请求接受率上作出折衷。除此之外，从时间维度上看，有匹配的整合资源方式可以实现更加平稳的资源利用，减少了物理机集合产生热点的风险。
发明内容
针对现有技术存在的问题，本发明提供了一种云计算环境下基于用户需求时变特性的资源整合方法。
本发明是这样实现的，一种云计算环境下基于用户需求时变特性的资源整合方法，所述云计算环境下基于用户需求时变特性的资源整合方法采用时隙的模型对用户的时变资源需求建模；持续检测在一定时间窗内到达的多个用户请求；根据用户请求的资源需求量将用户请求进行降序排列，确定执行匹配操作的基准虚拟机；计算来自其他所有用户请求的虚拟机与基准虚拟机之间的相关系数，将相关系数最小的虚拟机与基准虚拟机匹配，如果匹配成功，则将两个虚拟机整合为一个新的虚拟机；
根据当前物理机集合的资源剩余情况，基于新虚拟机继续进行匹配操作，直至整合后的虚拟机需求波动变大或是超出物理机剩余资源量，则停止匹配操作；将成功整合的新虚拟机放置在物理机中，并将未能匹配整合成功的虚拟机单独放置于物理机中。
进一步，所述云计算环境下基于用户需求时变特性的资源整合方法持续性地记录满足时间要求的多个用户请求
Figure GDA00018587780500000315
具体包括：
(1)获取本次时间窗内首个到达的用户虚拟请求
Figure GDA0001858778050000037
的到达时间time1；
(2)检测多个
Figure GDA0001858778050000038
到达的时间timei，将到达时间满足(timei-time1)≤window的用户请求
Figure GDA0001858778050000039
加入资源请求集合RV，并记录其资源需求矩阵Ci，表示如下：
Figure GDA0001858778050000031
其中K表示用户请求
Figure GDA00018587780500000310
共需虚拟机数为K个，L表示用户请求
Figure GDA00018587780500000311
的生存时长共持续L个时隙宽度；第l列表示第l个时隙下各个虚拟机的资源请求量，第k行表示用户请求
Figure GDA00018587780500000312
中虚拟机k
Figure GDA0001858778050000032
的时变资源需求向量
Figure GDA0001858778050000033
即
Figure GDA0001858778050000034
(3)每次为时间窗window内到达的多个
Figure GDA00018587780500000313
分配资源，超过时间窗window的请求将缓存等待下次资源分配。
进一步，所述云计算环境下基于用户需求时变特性的资源整合方法根据用户的总需求量来决定多个
Figure GDA00018587780500000314
的放置顺序以及各虚拟机
Figure GDA0001858778050000035
的放置顺序，具体包括：
(1)计算各个
Figure GDA0001858778050000047
的总资源需求量
Figure GDA0001858778050000041
(2)按照sumi对RV中各个
Figure GDA0001858778050000048
降序排列；
(3)按顺序为
Figure GDA0001858778050000049
分配资源前，计算其中各个
Figure GDA00018587780500000410
总需求量
Figure GDA00018587780500000411
并降序排列；
(4)以排序后的顺序依次从RV取出
Figure GDA00018587780500000412
中的
Figure GDA00018587780500000413
作为基准虚拟机进行后续的匹配整合操作。
进一步，所述云计算环境下基于用户需求时变特性的资源整合方法根据给定的基准
Figure GDA0001858778050000042
选择时变资源需求差异大的虚拟机进行匹配，具体包括：
(1)首先按顺序确定资源请求集合RV中是否存在未检测的
Figure GDA0001858778050000043
如果不存在则持续检测在一定时间窗内到达的多个用户请求，并用时隙的模型对用户的时变资源需求建模；否则按根据用户请求的资源需求量将用户请求进行降序排列，确定执行匹配操作的基准虚拟机选定虚拟机
Figure GDA00018587780500000414
或给定的新虚拟机
Figure GDA0001858778050000044
(2)计算
Figure GDA00018587780500000415
的归一化资源需求方差varold：
Figure GDA0001858778050000045
其中采用最小-最大归一化策略；
(3)计算
Figure GDA00018587780500000416
的需求向量
Figure GDA00018587780500000417
与来自于其他请求
Figure GDA00018587780500000418
中
Figure GDA00018587780500000419
需求向量
Figure GDA00018587780500000420
之间的相关系数corr：
Figure GDA0001858778050000046
(4)选择最小相关系数min(corr)的虚拟机与
Figure GDA00018587780500000421
匹配。
进一步，所述云计算环境下基于用户需求时变特性的资源整合方法的匹配结果决定是否整合为新虚拟机，具体包括：
(1)计算两个虚拟机匹配后的资源需求向量
Figure GDA00018587780500000422
以及归一化资源需求方差varnew＝var(Cnew)；
(2)判断是否varnew＞varold，如果满足则表明匹配后资源需求波动变大，则仅为
Figure GDA0001858778050000055
选择首个满足下式的物理机放置并转至算来自其他所有用户请求的虚拟机与基准虚拟机之间的相关系数；
Figure GDA0001858778050000051
Figure GDA0001858778050000052
Figure GDA0001858778050000053
其中
Figure GDA0001858778050000056
表示任意时隙放置在物理机j上的N个虚拟机的需求资源总和不得超过物理机j的可用剩余资源
Figure GDA00018587780500000514
Figure GDA0001858778050000058
和
Figure GDA0001858778050000059
则表示来自同一请求的虚拟机不可放置在同一物理机中，反之则可行；
(3)否则说明资源需求波动减小或不变，则匹配整合为
Figure GDA00018587780500000515
并为首个满足约束的物理机j，并记录利用率
Figure GDA0001858778050000054
进一步，所述云计算环境下基于用户需求时变特性的资源整合方法的物理机的资源利用率uj与给定的资源利用率门限区间[low，high]的关系，决定是否整合，具体包括：
(1)如果uj∈[low，high]，则将
Figure GDA00018587780500000511
放置在该物理机j中；
(2)如果uj＜low，则将
Figure GDA00018587780500000516
转至计算来自其他所有用户请求的虚拟机与基准虚拟机之间的相关系数继续进行匹配整合；
(3)否则，则将最后一个进入
Figure GDA00018587780500000513
的虚拟机去除，并选择满足首个满足约束虚拟机与基准虚拟机之间的相关系数的物理机放置，转至计算来自其他所有用户请求的虚拟机与基准虚拟机之间的相关系数。
本发明的另一目的在于提供一种应用所述云计算环境下基于用户需求时变特性的资源整合方法的云服务器。
本发明的另一目的在于提供一种应用所述云计算环境下基于用户需求时变特性的资源整合方法的网络交换设备。
本发明的另一目的在于提供一种应用所述云计算环境下基于用户需求时变特性的资源整合方法的操作系统。
本发明的另一目的在于提供一种应用所述云计算环境下基于用户需求时变特性的资源整合方法的虚拟机整合系统。
综上所述，本发明的优点及积极效果为：本发明采用的资源整合能够在保障用户生存时间获得所需资源的基础上，通过匹配整合的操作进一步优化资源的分配方式，达到更高的资源利用率以及更加平稳的资源利用。本发明基于用户需求时变特性的资源整合方法，利用了用户请求的CPU资源在生存时间上的时变特性，根据底层可用CPU资源的分布情况，多次整合来自不同用户请求的多个虚拟机的时变CPU资源需求，使整合后的虚拟机可以在时间维度上充分利用物理机的资源，以最大限度地提升物理机的CPU资源利用率和保证更加平稳的资源利用，进一步提升整体物理资源的利用率以及减小物理机集合产生热点的风险。除此之外，本发明是基于资源的匹配整合，进一步减少了激活物理机的数量。
为了使更多的用户获得其所请求的资源，即使未能进行匹配整合的虚拟机，本发明仍为其单独分配满足约束的物理机，以提升用户请求的接受率。从图4到图8的仿真结果表明了本发明与首次适应(First-Fit)方法在进行虚拟机放置时的性能对比，可以看出，本发明能够提升平均物理机CPU资源的利用率降低平均物理机CPU资源利用率方差，进一步显示了在物理机占用数量以及用户请求接受率方面带来的部分增益。
附图说明
图1是本发明实施例提供的云计算环境下基于用户需求时变特性的资源整合方法流程图。
图2是本发明实施例提供的使用数据中心资源匹配整合放置资源的场景示意图。
图3是本发明实施例提供的云计算环境下基于用户需求时变特性的资源整合方法实现流程图。
图4是本发明实施例提供的随时间变化的性能指标对比示意图。
图5是本发明实施例提供的平均物理机CPU资源利用率随业务量增加的变化对比示意图。
图6是本发明实施例提供的平均物理机CPU资源利用率方差随业务量增加的变化对比示意图。
图7是本发明实施例提供的占用物理机比例随业务量增加的变化对比示意图。
图8是本发明实施例提供的用户请求接受率随业务量增加的变化对比示意图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
针对现有对资源分配的技术存在无法避免一开始放置结果所带来的问题；静态的资源分配方法带来资源利用的不充分的问题；本发明能够提升平均物理机CPU资源的利用率降低平均物理机CPU资源利用率方差，进一步显示了在物理机占用数量以及用户请求接受率方面带来的部分增益。本发明为提升整体物理资源的利用率和降低物理机集合产生热点的风险，提出一种基于用户需求时变特性的资源整合方法，相比采用首次适应(First-Fit)的资源放置方法，能够在物理机CPU资源的利用率、物理机CPU资源利用率方差、激活物理机的数量以及用户请求的接受率几项性能上具有突出表现。
下面结合附图对本发明的应用原理做详细的描述。
如图1所示，本发明实施例提供的云计算环境下基于用户需求时变特性的资源整合方法包括以下步骤：
S101：检测多个用户请求：根据各个用户请求的到达时间，检测在一定时间窗内到达的多个用户请求并记录其资源需求矩阵，该步骤在一次资源放置后继续执行；
S102：排序用户：对各个用户请求按照其资源需求总量降序排列，并将用户请求的多个虚拟机按照总资源需求量降序排列，确定下一步执行匹配操作的基准虚拟机，以达到每次可以放置更多资源的目的；
S103：基于需求时变特性的虚拟机匹配：计算来自其他所有用户请求的虚拟机与基准虚拟机之间的相关系数，将相关系数最小的虚拟机与基准虚拟机匹配；
S104：基于匹配结果的虚拟机整合:比较匹配前与匹配后的时变资源需求方差，根据比较结果决定是否可整合为一“新”虚拟机或是单独放置至满足其资源约束的物理机中；
S105：“新”虚拟机放置：判断为“新”虚拟机所选物理机的资源利用率与给定的物理机利用率门限区间的关系，从而决定该“新”虚拟机是否可放置在物理机中。
在本发明的优选实施例中，步骤S104基于匹配结果的虚拟机整合:比较匹配前与匹配后的时变需求波动，如果后者的时变需求波动下降，则匹配整合成功并为该“新”虚拟机选择首个满足其资源需求的物理机；否则，匹配整合失败并单独将原虚拟机单独放置在首个满足约束的物理机中，以达到更高的请求接受率。
在本发明的优选实施例中，步骤S105“新”虚拟机放置：判断为“新”虚拟机所选物理机的资源利用率与给定的门限区间的关系；如果资源利用率小于最低门限，则为“新”虚拟机继续进行匹配整合操作，在需求波动增加前停止匹配整合操作，并放置成功匹配整合的虚拟机至首个满足约束的物理机中；如果资源利用率处于给定门限区间内，则将匹配整合成功的“新”虚拟机放置在该物理机内；如果高于给定的门限区间，则去除最后一个整合进入“新”虚拟机的虚拟机并将其放置在首个满足约束的物理机中。
下面结合附图对本发明的应用原理作进一步的描述。
如图2所展示的仿真场景示意图，本发明将持续收集一定时间窗内到达的多个用户请求，在放置各个请求中虚拟机需求的资源前，进入基于匹配的资源匹配整合模块，结合当前物理机集合的可用资源信息，将多个时变资源需求差异大的虚拟机匹配整合为“新”虚拟机放置在物理机中，在下一次放置前检测当前放置时刻与前一放置时刻这段时间内各个物理机的几项性能指标，包括：平均物理机CPU资源利用率、平均物理机CPU资源利用率方差、物理机占用率以及用户请求接受率。
如图3所示，本发明实施例提供的基于用户需求时变特性的资源整合方法，包括以下步骤：
步骤一，持续性地记录满足时间要求的多个用户请求
Figure GDA00018587780500000913
具体步骤如下所示：
(1)获取本次时间窗内首个到达的用户虚拟请求
Figure GDA0001858778050000095
的到达时间time1；
(2)检测多个
Figure GDA0001858778050000096
到达的时间timei，将到达时间满足(timei-time1)≤window的用户请求
Figure GDA0001858778050000097
加入资源请求集合RV，并记录其资源需求矩阵Ci，表示如下：
Figure GDA0001858778050000091
其中K表示用户请求
Figure GDA0001858778050000098
共需虚拟机数为K个，L表示用户请求
Figure GDA0001858778050000099
的生存时长共持续L个时隙宽度。第l列表示第l个时隙，第k行表示用户请求
Figure GDA00018587780500000910
中虚拟机k
Figure GDA00018587780500000914
的时变资源需求向量
Figure GDA0001858778050000092
即
Figure GDA0001858778050000093
(3)每次为时间窗window内到达的多个
Figure GDA00018587780500000912
分配资源，超过时间窗window的请求将缓存等待下次资源分配。
步骤二，根据总需求量来决定RV中多个
Figure GDA0001858778050000105
中各虚拟机
Figure GDA00018587780500001024
的放置顺序，具体步骤如下所示：
(1)计算RV中各个
Figure GDA0001858778050000107
的总资源需求量
Figure GDA0001858778050000101
(2)按照sumi对RV中各个
Figure GDA0001858778050000108
降序排列；
(3)按顺序为
Figure GDA0001858778050000109
分配资源，计算其中各个
Figure GDA00018587780500001010
总需求量
Figure GDA00018587780500001011
并降序排列；
(4)以排序后的顺序依次从RV取出
Figure GDA00018587780500001012
中的
Figure GDA00018587780500001013
作为基准虚拟机进行后续的匹配整合操作。
步骤三，根据基准
Figure GDA00018587780500001014
(按顺序选定或“新”虚拟机)选择不同请求中波动差异大的虚拟机进行匹配，具体步骤如下所示：
(1)首先按顺序确定资源请求集合RV中是否存在未检测的
Figure GDA00018587780500001025
如果不存在则转步骤一；否则按步骤二选定虚拟机
Figure GDA00018587780500001016
或给定的“新”匹配虚拟机
Figure GDA00018587780500001026
(2)计算
Figure GDA00018587780500001018
的归一化资源需求波动varold，如下所示：
Figure GDA0001858778050000102
其中采用最小-最大归一化策略；
(3)计算
Figure GDA00018587780500001019
的需求向量
Figure GDA00018587780500001020
与来自于其他请求
Figure GDA00018587780500001021
中
Figure GDA00018587780500001022
需求向量
Figure GDA00018587780500001023
之间的相关系数corr，如下所示：
Figure GDA0001858778050000103
其中仅计算来自于不同虚拟请求
Figure GDA0001858778050000104
的虚拟机之间的相关性，是因为匹配整合后的“新”虚拟机中的多个虚拟机会放置在同一个物理机中，如果该物理机发生故障问题将会影响承载在该物理机中各个虚拟机的性能，所以如果这些虚拟机来自于同一个用户的请求，则会严重影响该用户的服务质量；
(4)选择最小相关系数min(corr)的虚拟机与
Figure GDA0001858778050000115
匹配。
步骤四，基于匹配结果决定是否可以整合为“新”虚拟机，具体步骤如下所示：
(1)计算两个虚拟机匹配后的资源需求向量
Figure GDA0001858778050000116
以及归一化资源需求方差varnew＝var(Cnew)，计算方法同公式(1)；
(2)判断是否varnew＞varold，如果满足则表明匹配后资源需求波动变大，则仅为
Figure GDA0001858778050000117
选择首个满足约束(2)-(4)的物理机放置并转至步骤三；
Figure GDA0001858778050000111
Figure GDA0001858778050000112
Figure GDA0001858778050000113
其中(2)表示任意时隙放置在物理机j上的N个虚拟机的需求资源总和不得超过物理机j的可用剩余资源
Figure GDA00018587780500001114
(3)和(4)则表示来自同一请求的虚拟机不可放置在同一物理机中，反之则可行；
(3)否则说明资源需求波动减小或不变，则匹配整合为
Figure GDA00018587780500001115
并为其选择首个满足约束(2)-(4)的物理机j，并记录其利用率
Figure GDA0001858778050000114
步骤五，根据步骤四所选物理机的资源利用率uj与给定的资源利用率门限[low，high]的关系(例如可设置该门限区间为
Figure GDA00018587780500001116
决定是否可以整合，具体步骤如下所示：
(1)如果uj∈[low，high]，则将
Figure GDA00018587780500001111
放置在该物理机j中；
(2)如果uj＜low，则将
Figure GDA00018587780500001117
转至步骤三继续进行匹配整合；
(3)否则，则将最后一个进入
Figure GDA00018587780500001113
的虚拟机去除，并选择满足首个满足约束(2)-(4)的物理机放置，转至步骤三。
下面结合具体仿真对本发明的应用效果做详细的描述。
1、仿真参数设置。
本发明与采用首次适应(First-Fit)进行资源分配的方法在四项性能指标上进行了比较。除首次适应在各时隙分配固定且最高资源量的设置不同以外，其余参数设置均保持与本发明一致。
初始化物理机集合GP中包含N个物理机，其中每个物理机CPU容量为100。用户请求
Figure GDA0001858778050000121
的到达服从泊松分布，到达时间间隔服从参数为
Figure GDA0001858778050000122
的指数分布，即平均每20个时间单位到达一个用户请求。时间窗window长度设置为W，W的长度影响一次进行匹配的集合RV中用户请求的数量，此处将W设置为720个时间单位。每个用户请求的生存时间服从参数为50个时隙的指数分布，时隙单位长度τ设置为20个时间单位。用户请求所需虚拟机的数量服从参数为μ的指数分布，并且每个虚拟机在生存时间的各个时隙中所需CPU资源量均服从参数为[0,50]的均匀分布。本发明将利用率门限[low，high]设置为[0.75，1]。
为了比较本发明与首次适应方法(First-Fit)在时间维度上的性能差异，以及在用户请求平均所需虚拟机数量μ变化下性能的变化趋势。仿真设置时间单位为一分钟，总时间跨度(第一个用户请求到达时间与最后一个用户到达时间间隔)为一个月。首先，设置物理机集合数量N＝2500，平均所需虚拟机数量μ＝50，记录每次放置时刻与前一放置时刻的时间段内各性能指标；其次，设置物理机集合数量N＝500，平均所需虚拟机数量μ从10增加至140，记录负载增加情况下的性能变化。
2.仿真内容与结果分析
在仿真中，主要关注平均物理机CPU资源利用率、平均物理机CPU资源利用率方差、物理机占用率以及用户请求的接受率四项性能指标，其中物理机中承载有虚拟机则被记为激活物理机或是被占用物理机，用户请求包含的所有虚拟机的资源均被放置则记为该用户请求被成功接受。图4至图8中将本发明提出的基于用户需求时变特性的资源整合方法称为MIE(Matching-based Integration Embedding)，首次适应方法称为FF(First-Fit)。
1)平均所需虚拟机数量μ保持不变
如图4所示，四项性能指标在各个记录时间点上是波动较大的，这是由于用户请求的到达以及用户所需虚拟机的数量均是服从指数分布的，因此每次所分配的资源量变化较大并且受之前到达的用户请求资源量的影响。但是从图4中可以看出，经过MIE匹配整合后的资源放置，可以达到更高的平均物理机CPU资源的利用率。如图4所示，MIE的平均物理机CPU资源利用率方差相较于FF有明显的差异，因此MIE稳定了底层CPU资源的使用。除上述两项指标外，从图4可以看出，采用MIE实现了充分利用激活物理机的CPU资源，降低了物理机的占用率并且实现了为更多用户提供资源的目的。
2)平均所需虚拟机数量μ由10增加至140
如图5所示，随着用户请求的平均所需虚拟机数量增加时，FF和MIE均表现出平均物理机CPU资源利用率增加的趋势，但MIE所示性能更优。图6所反映的平均物理机CPU资源利用方差有很大改善，并且随着μ的增加，利用率方差有下降的趋势。产生以上两点现象是因为：平均每个用户请求所需的虚拟机数量越多，在匹配整合时更容易为虚拟机找到与其资源波动差异较大的虚拟机并且可以进行多次匹配整合，从而能够在各个时隙充分利用所占用物理机的资源，并且使得资源利用更趋于平稳，降低产生热点的风险。同理，如果时间窗W跨度越大，类似于平均需求增大，更容易找到可成功匹配整合的虚拟机以充分利用物理机资源，但时间窗跨度过大会影响用户的服务质量。
图7反映了在不同虚拟机需求数量下，占用物理机比例的变化，虽然存在着不同用户请求中的虚拟机不能放置在同一物理机中的约束，但是由于在放置虚拟机前，MIE对多个来自不同用户请求的虚拟机进行了资源的匹配整合，从而可以看出MIE激活的物理机数量更少，由于激活的物理机数量与整体能耗具有正相关的关系，所以MIE在一定程度上降低了能耗。除此之外，从图8可以看出，由于物理机数量的有限，在平均所需虚拟机数量较小时(μ＜90)，总的物理机CPU资源可以承载所有用户需求的资源，但当需求量变大时(μ≥90)，开始有一定数量的用户不能完全获得所需资源，但相比FF，在这种情况下MIE可以达到更高的请求接受率，使更多用户获得服务。
以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种云计算环境下基于用户需求时变特性的资源整合方法，其特征在于，所述云计算环境下基于用户需求时变特性的资源整合方法采用时隙的模型对用户的时变资源需求建模；持续检测在一定时间窗内到达的多个用户请求；根据用户请求的资源需求量将用户请求进行降序排列，确定执行匹配操作的基准虚拟机；计算来自其他所有用户请求的虚拟机与基准虚拟机之间的相关系数，将相关系数最小的虚拟机与基准虚拟机匹配，如果匹配成功，则将两个虚拟机整合为一个新的虚拟机；
根据当前物理机集合的资源剩余情况，基于新虚拟机继续进行匹配操作，直至整合后的虚拟机需求波动变大或是超出物理机剩余资源量，则停止匹配操作；将成功整合的新虚拟机放置在物理机中，并将未能匹配整合成功的虚拟机单独放置于物理机中。
2.如权利要求1所述的云计算环境下基于用户需求时变特性的资源整合方法，其特征在于，所述云计算环境下基于用户需求时变特性的资源整合方法持续性地记录满足时间要求的多个用户请求
Figure FDA0003218340950000011
具体包括：
(1)获取本次时间窗内首个到达的用户虚拟请求
Figure FDA0003218340950000012
的到达时间time1；
(2)检测多个
Figure FDA0003218340950000013
到达的时间timei，将到达时间满足(timei-time1)≤window的用户请求
Figure FDA0003218340950000014
加入资源请求集合RV，并记录其资源需求矩阵Ci，表示如下：
Figure FDA0003218340950000015
其中K表示用户请求
Figure FDA0003218340950000016
共需虚拟机数为K个，L表示用户请求
Figure FDA0003218340950000017
的生存时长共持续L个时隙宽度；第l列表示第l个时隙下各个虚拟机的资源请求量，第k行表示用户请求
Figure FDA0003218340950000018
中虚拟机k的时变资源需求向量
Figure FDA0003218340950000019
即
Figure FDA00032183409500000110
(3)每次为时间窗window内到达的多个
Figure FDA00032183409500000111
分配资源，超过时间窗window的请求将缓存等待下次资源分配。
3.如权利要求2所述的云计算环境下基于用户需求时变特性的资源整合方法，其特征在于，所述云计算环境下基于用户需求时变特性的资源整合方法根据用户的总需求量来决定多个
Figure FDA0003218340950000021
的放置顺序以及各虚拟机
Figure FDA0003218340950000022
的放置顺序，具体包括：
(1)计算各个
Figure FDA0003218340950000023
的总资源需求量
Figure FDA0003218340950000024
(2)按照sumi对RV中各个
Figure FDA0003218340950000025
降序排列；
(3)按顺序为
Figure FDA0003218340950000026
分配资源前，计算其中各个
Figure FDA0003218340950000027
总需求量
Figure FDA0003218340950000028
并降序排列；
(4)以排序后的顺序依次从RV取出
Figure FDA0003218340950000029
中的
Figure FDA00032183409500000210
作为基准虚拟机进行后续的匹配整合操作。
4.如权利要求3所述的云计算环境下基于用户需求时变特性的资源整合方法，其特征在于，所述云计算环境下基于用户需求时变特性的资源整合方法根据给定的基准
Figure FDA00032183409500000211
选择时变资源需求差异大的虚拟机进行匹配，具体包括：
(1)首先按顺序确定资源请求集合RV中是否存在未检测的
Figure FDA00032183409500000212
如果不存在则持续检测在一定时间窗内到达的多个用户请求，并用时隙的模型对用户的时变资源需求建模；否则按根据用户请求的资源需求量将用户请求进行降序排列，确定执行匹配操作的基准虚拟机选定虚拟机
Figure FDA00032183409500000213
或给定的新虚拟机
Figure FDA00032183409500000214
(2)计算
Figure FDA00032183409500000215
的归一化资源需求方差varold：
Figure FDA00032183409500000216
其中采用最小-最大归一化策略；
(3)计算
Figure FDA00032183409500000217
的需求向量
Figure FDA00032183409500000218
与来自于其他请求
Figure FDA00032183409500000219
中
Figure FDA00032183409500000220
需求向量
Figure FDA00032183409500000221
之间的相关系数corr：
Figure FDA0003218340950000031
(4)选择最小相关系数min(corr)的虚拟机与
Figure FDA0003218340950000032
匹配。
5.如权利要求4所述的云计算环境下基于用户需求时变特性的资源整合方法，其特征在于，所述云计算环境下基于用户需求时变特性的资源整合方法的匹配结果决定是否整合为新虚拟机，具体包括：
(1)计算两个虚拟机匹配后的资源需求向量
Figure FDA0003218340950000033
以及归一化资源需求方差varnew＝var(Cnew)；
(2)判断是否varnew＞varold，如果满足则表明匹配后资源需求波动变大，则仅为
Figure FDA0003218340950000034
选择首个满足下式的物理机放置并转至算来自其他所有用户请求的虚拟机与基准虚拟机之间的相关系数；
Figure FDA0003218340950000035
Figure FDA0003218340950000036
Figure FDA0003218340950000037
其中
Figure FDA0003218340950000038
表示任意时隙放置在物理机j上的N个虚拟机的需求资源总和不得超过物理机j的可用剩余资源
Figure FDA0003218340950000039
Figure FDA00032183409500000310
和
Figure FDA00032183409500000311
则表示来自同一请求的虚拟机不可放置在同一物理机中，反之则可行；
(3)否则说明资源需求波动减小或不变，则匹配整合为
Figure FDA00032183409500000312
并为首个满足约束的物理机j，并记录利用率
Figure FDA00032183409500000313
6.如权利要求5所述的云计算环境下基于用户需求时变特性的资源整合方法，其特征在于，所述云计算环境下基于用户需求时变特性的资源整合方法的物理机的资源利用率uj与给定的资源利用率门限区间[low，high]的关系，决定是否整合，具体包括：
(1)如果uj∈[low，high]，则将
Figure FDA0003218340950000041
放置在该物理机j中；
(2)如果uj＜low，则将
Figure FDA0003218340950000042
转至计算来自其他所有用户请求的虚拟机与基准虚拟机之间的相关系数继续进行匹配整合；
(3)否则，则将最后一个进入
Figure FDA0003218340950000043
的虚拟机去除，并选择满足首个满足约束虚拟机与基准虚拟机之间的相关系数的物理机放置，转至计算来自其他所有用户请求的虚拟机与基准虚拟机之间的相关系数。
7.一种应用权利要求1～6任意一项所述云计算环境下基于用户需求时变特性的资源整合方法的云服务器。
8.一种应用权利要求1～6任意一项所述云计算环境下基于用户需求时变特性的资源整合方法的网络交换设备。
9.一种应用权利要求1～6任意一项所述云计算环境下基于用户需求时变特性的资源整合方法的操作系统。
10.一种应用权利要求1～6 任意一项所述云计算环境下基于用户需求时变特性的资源整合方法的虚拟机整合系统。
CN201811026844.8A 2018-09-04 2018-09-04 一种云计算环境下基于用户需求时变特性的资源整合方法 Active CN109376006B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811026844.8A CN109376006B (zh) 2018-09-04 2018-09-04 一种云计算环境下基于用户需求时变特性的资源整合方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811026844.8A CN109376006B (zh) 2018-09-04 2018-09-04 一种云计算环境下基于用户需求时变特性的资源整合方法

Publications (2)

Publication Number Publication Date
CN109376006A CN109376006A (zh) 2019-02-22
CN109376006B true CN109376006B (zh) 2021-09-21

Family

ID=65404545

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811026844.8A Active CN109376006B (zh) 2018-09-04 2018-09-04 一种云计算环境下基于用户需求时变特性的资源整合方法

Country Status (1)

Country Link
CN (1) CN109376006B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114860462B (zh) * 2022-07-11 2022-09-30 南京普道电子技术有限公司 双路机架式服务器的计算资源智能分配系统及其分配方法
CN115242598A (zh) * 2022-07-15 2022-10-25 天翼云科技有限公司 一种云操作系统部署方法及装置

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103383653A (zh) * 2012-05-02 2013-11-06 中国科学院计算技术研究所 云资源管理和调度方法及系统
CN103605567A (zh) * 2013-10-29 2014-02-26 河海大学 面向实时性需求变化的云计算任务调度方法
CN107168770A (zh) * 2017-04-14 2017-09-15 中国人民解放军国防科学技术大学 一种低能耗的云数据中心工作流调度与资源供给方法
CN107273211A (zh) * 2017-06-19 2017-10-20 成都鼎智汇科技有限公司 一种云计算环境下基于虚拟机的数据处理方法

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2008146677A1 (ja) * 2007-05-24 2008-12-04 Nec Corporation 仮想マシン管理装置、仮想マシン管理方法および仮想マシン管理プログラム
US9164785B2 (en) * 2011-03-14 2015-10-20 Sap Se Predicting performance of a consolidated virtualized computing environment
JP2017041191A (ja) * 2015-08-21 2017-02-23 富士通株式会社 リソース管理装置、リソース管理プログラム、及びリソース管理方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103383653A (zh) * 2012-05-02 2013-11-06 中国科学院计算技术研究所 云资源管理和调度方法及系统
CN103605567A (zh) * 2013-10-29 2014-02-26 河海大学 面向实时性需求变化的云计算任务调度方法
CN107168770A (zh) * 2017-04-14 2017-09-15 中国人民解放军国防科学技术大学 一种低能耗的云数据中心工作流调度与资源供给方法
CN107273211A (zh) * 2017-06-19 2017-10-20 成都鼎智汇科技有限公司 一种云计算环境下基于虚拟机的数据处理方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
Virtual machine-based task scheduling algorithm in a cloud computing environment;Zhifeng Zhong 等;《Tsinghua Science and Technology》;20161219;第21卷(第6期);660-667 *
基于工作负载预测的虚拟机整合算法;魏亮 等;《电子与信息学报》;20130615;第35卷(第6期);1271-1276 *
基于收益的云环境虚拟机资源动态分配方法研究;刘强;《中国优秀硕士学位论文全文数据库 信息科技辑》;20150515(第5期);I137-8 *

Also Published As

Publication number Publication date
CN109376006A (zh) 2019-02-22

Similar Documents

Publication Publication Date Title
CN110096349B (zh) 一种基于集群节点负载状态预测的作业调度方法
US20200287961A1 (en) Balancing resources in distributed computing environments
CN106790726B (zh) 一种基于Docker云平台的优先级队列动态反馈负载均衡资源调度方法
CN107491341B (zh) 一种基于粒子群优化的虚拟机分配方法
CN107239336B (zh) 一种实现任务调度的方法及装置
CN106233276B (zh) 网络可访问块存储装置的协调准入控制
US7467291B1 (en) System and method for calibrating headroom margin
US7694070B2 (en) Computer system for managing performances of storage apparatus and performance management method of the computer system
CN108845874B (zh) 资源的动态分配方法及服务器
US20070180453A1 (en) On demand application scheduling in a heterogeneous workload environment
WO2021135263A1 (zh) 一种cpu资源预留方法、装置及其相关设备
EP2646890A1 (en) Dynamic power balancing among blade servers in a chassis
CN109376006B (zh) 一种云计算环境下基于用户需求时变特性的资源整合方法
CN112416585A (zh) 面向深度学习的gpu资源管理与智能化调度方法
CN104731528B (zh) 一种云计算块存储服务的构建方法及系统
CN105426241A (zh) 一种基于云计算数据中心的统一资源调度节能方法
CN111190691A (zh) 适用于虚拟机的自动迁移方法、系统、装置及存储介质
CN109976879B (zh) 一种基于资源使用曲线互补的云计算虚拟机放置方法
Mylavarapu et al. An optimized capacity planning approach for virtual infrastructure exhibiting stochastic workload
WO2014207481A1 (en) A method and system for processing data
CN113204429A (zh) 一种数据中心的资源调度方法及系统、调度设备、介质
CN109634888A (zh) 一种fc接口卡交换资源标识处理方法及相关组件
CN108536518A (zh) 任务调度的方法及系统、征信平台、服务终端及存储器
CN104915205B (zh) 一种适用于在线数据密集型应用的请求多副本任务执行方法
Kim et al. Virtual machines placement for network isolation in clouds

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant