CN105430058A - 一种基于网络感知的新型云数据中心资源分配方法 - Google Patents

一种基于网络感知的新型云数据中心资源分配方法 Download PDF

Info

Publication number
CN105430058A
CN105430058A CN201510736537.9A CN201510736537A CN105430058A CN 105430058 A CN105430058 A CN 105430058A CN 201510736537 A CN201510736537 A CN 201510736537A CN 105430058 A CN105430058 A CN 105430058A
Authority
CN
China
Prior art keywords
virtual machine
data center
cloud data
logic
tree
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201510736537.9A
Other languages
English (en)
Inventor
尉迟学彪
李晓东
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
China Internet Network Information Center
Original Assignee
China Internet Network Information Center
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by China Internet Network Information Center filed Critical China Internet Network Information Center
Priority to CN201510736537.9A priority Critical patent/CN105430058A/zh
Publication of CN105430058A publication Critical patent/CN105430058A/zh
Pending legal-status Critical Current

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00Network arrangements or protocols for supporting network services or applications
    • H04L67/01Protocols
    • H04L67/10Protocols in which an application is distributed across nodes in the network
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L47/00Traffic control in data switching networks
    • H04L47/70Admission control; Resource allocation
    • H04L47/78Architectures of resource allocation
    • H04L47/783Distributed allocation of resources, e.g. bandwidth brokers
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L47/00Traffic control in data switching networks
    • H04L47/70Admission control; Resource allocation
    • H04L47/82Miscellaneous aspects
    • H04L47/821Prioritising resource allocation or reservation requests
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00Network arrangements or protocols for supporting network services or applications
    • H04L67/01Protocols
    • H04L67/10Protocols in which an application is distributed across nodes in the network
    • H04L67/104Peer-to-peer [P2P] networks
    • H04L67/1042Peer-to-peer [P2P] networks using topology management mechanisms

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Business, Economics & Management (AREA)
  • General Business, Economics & Management (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)

Abstract

本发明公开了一种基于网络感知的新型云数据中心资源分配方法。本方法为:1)根据云数据中心的拓扑结构为该云数据中心构建一逻辑树;2)当该云数据中心接收到一虚拟机需求集合时,以该逻辑树中的每个节点为根分别构建一逻辑子树;3)对于每一逻辑子树,遍历其中的物理机,对遍历到的每个物理机,采用二维背包原则将该虚拟机需求集合中还未分配的通信量最大的虚拟机子集预分配到该物理机上;如果该虚拟机需求集合分配成功,则保存该逻辑子树对应的虚拟机预分配方案;4)从步骤3)得到的若干种虚拟机预分配方案中选择一树高最低的逻辑子树对应的预分配方案作为该虚拟机需求集合的最终分配方案。本发明能够大大提高云数据中心的通信效率。

Description

一种基于网络感知的新型云数据中心资源分配方法
技术领域
本发明涉及一种基于网络感知的新型云数据中心资源分配方法,属于计算机网络技术领域。
背景技术
随着互联网的迅猛发展和信息数据规模的爆发式增长,工业界和学术界对大规模计算和海量数据处理的需求也日益增多。云计算作为一种新型的商业计算模型和服务模式应运而生,它将计算任务分配在由大量计算节点构成的大型数据中心上,使得各种应用能够按需获取计算能力、存储空间和信息服务。
资源分配问题是云数据中心能够提供高效服务的关键问题之一。资源规模的巨大、虚拟化技术的运用以及应用请求的实时多变性都对云数据中心的资源分配提出了诸多挑战。云数据中心的资源分配需要考虑以下几个问题。第一是性能保证,在数据中心的网络性能实时变化的情况下,如何保证用户的作业获取稳定性能;第二,对于数据中心而言,用户的资源需要是动态变化的;第三,数据中心的资源是多元化的,包括CPU、内存和网络等,而用户的资源需求也是多元化的;第四,无论是企业的私有云,还是数据中心运营商,都要考虑运营成本和实际效益。
现有的资源分配技术往往只针对上述的其中一个或几个角度来进行设计,例如在满足用户资源需求多元化的基础上,却无法保证网络性能的效率,从而也就增加了数据中心的运营成本,降低了实际效益;在保证网络性能的前提下,却忽略了数据中心的资源多元化问题。
本发明所提供的基于网络感知的新型云数据中心资源分配方法,根据云数据中心自身所具有的树状网络拓扑特征进行算法设计,同时通过引入“二维背包”算法来解决用户及数据中心资源的多元化问题,与现有技术相比可以更好的应对上述四个问题。
发明内容
本发明提供了一种基于网络感知的新型云数据中心资源分配方法,可以有效降低云数据中心内部网络带宽消耗,提升用户服务性能,同时还可以满足云数据中心资源和用户所需资源的多元化特性。
本发明的处理流程如图1所示,首先,依据云数据中心内部的拓扑结构,由云数据中心内部的资源分配模块构建包含交换机和物理机的逻辑树(具体构建方法可参考实施例,另外逻辑树的具体结构由云数据中心内部交换机和物理机之间的拓扑结构决定),其中物理机服务器为该逻辑树的叶子节点,云数据中心的所有已用和可用计算资源(即虚拟机)皆放置在各叶子节点对应的物理机上,并通过树形拓扑连接的交换机实现彼此的通信。显然,为了降低虚拟机之间的通信代价,提高通信效率,应该尽可能的将那些彼此之间通信需求较大的虚拟机集合分配到同一个叶子节点上或者逻辑距离相近的几个不同叶子节点上。
因此,本发明的核心思想在于当云数据中心接收到用户发来的虚拟机需求集合时(包括所需虚拟机的数量,每个虚拟机所需要配置的CPU、内存大小,以及虚拟机之间的通信需求),依次以该数据中心中的每个结点(即所有的交换机和物理机)为根构建逻辑子树,其中对于每个逻辑子树,分别进行后续遍历物理机,对于遍历过程中遇到的每个物理机,依次采用二维背包原则将还未分配的虚拟机集合中通信量最大的虚拟机子集预分配到该物理机上。
这样,如果整个数据中心含有M个结点,则存在M个逻辑子树,分别后续遍历后,可以得到最多M种用户虚拟机预分配方案。最终,选择树高最低的逻辑子树所对应的预分配方案作为最终分配方案(即用户虚拟机所在物理机之间的逻辑距离最近,连接所有虚拟机所需的交换机层级最少)。
本发明的技术方案为:
一种基于网络感知的新型云数据中心资源分配方法,其步骤为:
1)根据云数据中心的拓扑结构为该云数据中心构建一逻辑树;其中,云数据中心的物理机为该逻辑树的叶子节点,物理机通过树形拓扑连接的交换机实现彼此的通信;
2)当该云数据中心接收到一虚拟机需求集合时,以该逻辑树中的每个节点为根分别构建一逻辑子树;
3)对于每一逻辑子树,遍历其中的物理机,对遍历到的每个物理机,采用二维背包原则将该虚拟机需求集合中还未分配的通信量最大的虚拟机子集预分配到该物理机上;如果该虚拟机需求集合分配成功,则保存该逻辑子树对应的虚拟机预分配方案;
4)从步骤3)得到的若干种虚拟机预分配方案中选择一树高最低的逻辑子树对应的预分配方案作为该虚拟机需求集合的最终分配方案。
进一步的,所述虚拟机需求集合的信息包括:所需虚拟机的数量,每个虚拟机所需要配置的物理资源,以及虚拟机之间的通信需求。
进一步的,分别以该云数据中心的每一物理机、交换机为根构建一逻辑子树。
进一步的,所述云数据中心保存每一物理机的物理资源。
进一步的,所述物理资源包括物理机的可用CPU总数、可用内存总数。
与现有技术相比,本发明的积极效果为:
本发明根据云数据中心自身的网络拓扑结构特点构造相应的云数据中心逻辑树,来实现基于网络感知的资源分配的目的,并且通过引入二维背包原则,来满足用户的资源需求多元化及数据中心计算资源多元化的特征,提高资源分配的实用性,具有以下优点:
(1)本发明所提供基于网络感知的新型云数据中心资源分配方法能够有效降低待分配虚拟机之间的通信代价,提高数据中心的通信效率;
(2)本发明所提供基于网络感知的新型云数据中心资源分配方法能够满足用户的计算资源多元化需求,同时满足了云数据中心资源多元化的特性。
附图说明
图1为本发明的处理方法流程图;
图2为数据中心内部拓扑示意图;
图3为逻辑子树拓扑示意图。
具体实施方式
每个数据中心对应一个逻辑树,其中所包含的逻辑子树的数量也是固定,其中的物理机用来存放用户所需的虚拟机集合。一个典型的采用二叉树结构部署的数据中心,其逻辑树如附图2所示。
其中包含3个交换机和4个物理机共计7个结点,相应的该数据中心的逻辑树如附图2所示,其中包含了7个逻辑子树。当收到一用户的待分配虚拟机需求时,对于其中每一个逻辑子树,后续遍历其中的每个物理机,对于遍历过程中遇到的每个物理机,依次采用二维背包原则将还未分配的虚拟机集合中彼此通信量最大的虚拟机子集预分配到该物理机上。其中每个物理机上可用的CPU和内存数如附表1所示。每个用户虚拟机所需CPU、内存数如附表2所示。用户虚拟机之间的通信需求如附表3所示,这里设定每个虚拟机的通信需求等于该虚拟机和其他虚拟机通信需求之和。
附表1.数据中心可用CPU、内存总数
物理机 CPU总数 内存总数
pm0 30 30
pm1 20 10
pm2 25 25
pm3 60 60
附表2.用户虚拟机所需CPU、内存数
VM CPU需求数 内存需求数
vm0 4 2
vm1 8 8
vm2 2 4
vm3 8 2
vm4 4 4
vm5 4 6
vm6 2 1
vm7 9 10
vm8 8 2
vm9 6 4
附表3.用户虚拟机间通信需求情况
vm0 vm1 vm2 vm3 vm4 vm5 vm6 vm7 vm8 vm9
vm0 0 1 0.1 0.3 0 0.5 0.2 0.3 0 0.4
vm1 1 0 0.2 0.6 0.05 0.09 0 1 0.6 0.2
vm2 0.1 0.2 0 0.1 0.1 0.2 0.25 0 0.3 0.1
vm3 0.3 0.6 0.1 0 0.35 0.18 0.06 0.4 0.72 0
vm4 0 0.05 0.1 0.35 0 0.1 0.72 0.1 0.1 0.18
vm5 0.5 0.09 0.2 0.18 0.1 0 0.35 0 0.18 0.1
vm6 0.2 0 0.25 0.06 0.72 0.35 0 0.06 0.72 0.35
vm7 0.3 1 0 0.4 0.1 0 0.06 0 0.4 0.5
vm8 0 0.6 0.3 0.72 0.1 0.18 0.72 0.4 0 0.2
vm9 0.4 0.2 0.1 0 0.18 0.1 0.35 0.5 0.2 0
附表4为针对上述7个逻辑子树进行预分配后的结果。以第6个逻辑子树为例,该子树以“交换机2”为根,包含“物理机2”和“物理机3”共计两个物理机,如附图3所示。首先对“物理机2”根据二维背包原则对用户虚拟机集合进行预分配,预分配的结果是虚拟机1,2,3,5,6,7被预分配到“物理机2”上面;然后我们对剩下的4个虚拟机在“物理机3”上面进行同样的预分配过程,预分配的结果是剩余的4个虚拟机全部被预分配到“物理机3”上面,从而成功生成一种用户虚拟机预分配方案,该方案对应的子树树高=2。
如附表4所示,分别对上述7个逻辑子树进行预分配后,共计成功生成3种预分配方案(其中前4个逻辑子树未能寻找到合适的物理机来存放用户的虚拟机),其中第5个逻辑子树的树高最低,故选择该子树所对应的预分配方案作为最终分配方案。
附表4.子树预分配结果
逻辑子树编号 子树的根 层级 包含的物理机集合 预分配的物理机集合
1 pm0 1 {0} none
2 pm1 1 {1} none
3 switch1 2 {0,1} none
4 pm2 1 {2} none
5 pm3 1 {3} {3}
6 switch2 2 {2,3} {2,3}
7 switch0 3 {0,1,2,3} {0,1,2}

Claims (5)

1.一种基于网络感知的新型云数据中心资源分配方法,其步骤为:
1)根据云数据中心的拓扑结构为该云数据中心构建一逻辑树;其中,云数据中心的物理机为该逻辑树的叶子节点,物理机通过树形拓扑连接的交换机实现彼此的通信;
2)当该云数据中心接收到一虚拟机需求集合时,以该逻辑树中的每个节点为根分别构建一逻辑子树;
3)对于每一逻辑子树,遍历其中的物理机,对遍历到的每个物理机,采用二维背包原则将该虚拟机需求集合中还未分配的通信量最大的虚拟机子集预分配到该物理机上;如果该虚拟机需求集合分配成功,则保存该逻辑子树对应的虚拟机预分配方案;
4)从步骤3)得到的若干种虚拟机预分配方案中选择一树高最低的逻辑子树对应的预分配方案作为该虚拟机需求集合的最终分配方案。
2.如权利要求1所述的方法,其特征在于,所述虚拟机需求集合的信息包括:所需虚拟机的数量,每个虚拟机所需要配置的物理资源,以及虚拟机之间的通信需求。
3.如权利要求1或2所述的方法,其特征在于,分别以该云数据中心的每一物理机、交换机为根构建一逻辑子树。
4.如权利要求3所述的方法,其特征在于,所述云数据中心保存每一物理机的物理资源。
5.如权利要求4所述的方法,其特征在于,所述物理资源包括物理机的可用CPU总数、可用内存总数。
CN201510736537.9A 2015-11-03 2015-11-03 一种基于网络感知的新型云数据中心资源分配方法 Pending CN105430058A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201510736537.9A CN105430058A (zh) 2015-11-03 2015-11-03 一种基于网络感知的新型云数据中心资源分配方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201510736537.9A CN105430058A (zh) 2015-11-03 2015-11-03 一种基于网络感知的新型云数据中心资源分配方法

Publications (1)

Publication Number Publication Date
CN105430058A true CN105430058A (zh) 2016-03-23

Family

ID=55507995

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201510736537.9A Pending CN105430058A (zh) 2015-11-03 2015-11-03 一种基于网络感知的新型云数据中心资源分配方法

Country Status (1)

Country Link
CN (1) CN105430058A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107222531A (zh) * 2017-05-23 2017-09-29 北京科技大学 一种容器云资源调度方法
CN107395401A (zh) * 2017-07-04 2017-11-24 华南师范大学 基于网络通信域和资源均衡度的多组件应用云部署方法
CN107592218A (zh) * 2017-09-04 2018-01-16 西南交通大学 一种高容错性和强扩展性的数据中心网络结构

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103414752A (zh) * 2013-07-16 2013-11-27 上海交通大学 一种网络感知的云数据中心虚拟机分配方法
CN103825946A (zh) * 2014-02-26 2014-05-28 南京邮电大学 一种基于网络感知的虚拟机放置方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103414752A (zh) * 2013-07-16 2013-11-27 上海交通大学 一种网络感知的云数据中心虚拟机分配方法
CN103825946A (zh) * 2014-02-26 2014-05-28 南京邮电大学 一种基于网络感知的虚拟机放置方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
MANSOOR ALICHERRY ET AL: "Network Aware Resource Allocation in Distributed Clouds", 《2012 PROCEEDINGS IEEE INFOCOM》 *
YAN YAO ET AL: "A Network-aware Virtual Machine Allocation in Cloud Datacenter", 《IN PROCEEDINGS OF NPC’13》 *
李佳鑫: "云计算环境下的资源弹性调度技术研究", 《中国优秀硕士论文全文数据库》 *

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107222531A (zh) * 2017-05-23 2017-09-29 北京科技大学 一种容器云资源调度方法
CN107222531B (zh) * 2017-05-23 2020-03-03 北京科技大学 一种容器云资源调度方法
CN107395401A (zh) * 2017-07-04 2017-11-24 华南师范大学 基于网络通信域和资源均衡度的多组件应用云部署方法
CN107395401B (zh) * 2017-07-04 2021-02-19 华南师范大学 基于网络通信域和资源均衡度的多组件应用云部署方法
CN107592218A (zh) * 2017-09-04 2018-01-16 西南交通大学 一种高容错性和强扩展性的数据中心网络结构
CN107592218B (zh) * 2017-09-04 2020-09-08 西南交通大学 一种数据中心网络结构的构建方法

Similar Documents

Publication Publication Date Title
Al-Maamari et al. Task scheduling using PSO algorithm in cloud computing environments
Mao et al. Max–min task scheduling algorithm for load balance in cloud computing
CN107534583B (zh) 在管理节点中实现的方法和相关装置
CN102404412B (zh) 云计算数据中心节能方法及系统
Li et al. Page-sharing-based virtual machine packing with multi-resource constraints to reduce network traffic in migration for clouds
Gao et al. An energy-aware ant colony algorithm for network-aware virtual machine placement in cloud computing
CN102591443A (zh) 一种虚拟化集群整合方法、装置及系统
CN105512083A (zh) 基于yarn的资源管理方法、装置及系统
CN108664330A (zh) 一种基于变邻域搜索策略的云资源分配方法
Chen et al. Tology-aware optimal data placement algorithm for network traffic optimization
Filiposka et al. Community-based VM placement framework
CN105430058A (zh) 一种基于网络感知的新型云数据中心资源分配方法
CN104104621A (zh) 一种基于非线性降维的虚拟网络资源动态自适应调节方法
Wu et al. Hierarchical task mapping for parallel applications on supercomputers
CN107070965B (zh) 一种虚拟化容器资源下的多工作流资源供给方法
Huang et al. Fuzzy clustering with feature weight preferences for load balancing in cloud
Tseng et al. Support vector machine approach for virtual machine migration in cloud data center
CN108182243B (zh) 一种基于Spark的分布式进化算法岛模型并行化方法
Devagnanam et al. Design and development of exponential lion algorithm for optimal allocation of cluster resources in cloud
Tang et al. A fast local community detection algorithm in complex networks
Chen et al. A cost minimization data allocation algorithm for dynamic datacenter resizing
CN115879543A (zh) 一种模型训练方法、装置、设备、介质及系统
CN104702690A (zh) 基于虚拟树型网络技术的分布式高性能计算的方法
CN105138391A (zh) 面向广域分布云系统公平的多任务虚拟机分配方法
Duolikun et al. Energy-efficient group migration of virtual machines in a cluster

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20160323

RJ01 Rejection of invention patent application after publication