CN104104621A - 一种基于非线性降维的虚拟网络资源动态自适应调节方法 - Google Patents

一种基于非线性降维的虚拟网络资源动态自适应调节方法 Download PDF

Info

Publication number
CN104104621A
CN104104621A CN201310117735.8A CN201310117735A CN104104621A CN 104104621 A CN104104621 A CN 104104621A CN 201310117735 A CN201310117735 A CN 201310117735A CN 104104621 A CN104104621 A CN 104104621A
Authority
CN
China
Prior art keywords
node
physical network
link
virtual
network
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201310117735.8A
Other languages
English (en)
Other versions
CN104104621B (zh
Inventor
王子厚
韩言妮
林涛
唐晖
慈松
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Institute of Acoustics CAS
Original Assignee
Institute of Acoustics CAS
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Institute of Acoustics CAS filed Critical Institute of Acoustics CAS
Priority to CN201310117735.8A priority Critical patent/CN104104621B/zh
Publication of CN104104621A publication Critical patent/CN104104621A/zh
Application granted granted Critical
Publication of CN104104621B publication Critical patent/CN104104621B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Landscapes

  • Data Exchanges In Wide-Area Networks (AREA)

Abstract

本发明涉及一种基于非线性降维的虚拟网络资源动态自适应调节方法,包括:采集底层物理网络的数据,得到底层物理网络中的节点或链路在多个相邻时间点的关于实时剩余资源的数据;对所采集的数据做降维处理,得到底层物理网络中的节点或链路的二维关系分布图;根据二维关系分布图对底层物理网络中的节点或链路进行聚类;根据聚类结果,在下一时间阶段对虚拟网络重新进行映射,在重新映射的过程中,优先选择底层物理网络中利用率低的节点簇或链路簇来进行虚拟资源的映射;在运行一定时间后重新执行之前步骤,直至虚拟资源分配的过程结束。本发明能够有效提高映射算法的执行效率,提高资源利用率,实现负载均衡。

Description

一种基于非线性降维的虚拟网络资源动态自适应调节方法
技术领域
本发明涉及网络传输领域,特别涉及一种基于非线性降维的虚拟网络资源动态自适应调节方法。
背景技术
互联网在过去的20年取得了巨大的发展,同时也面临着一系列的问题,包括可扩展性、安全性等,而网络虚拟化被认为是解决当前互联网安全性、移动性、可扩展性等问题的重要技术手段。在云计算与数据中心网络环境中,网络虚拟化能够帮助网络实现资源的高效利用、动态调度、有效隔离。网络虚拟化通过抽象、分配、隔离机制,选择性的进行资源分配与调度,实现在相同的物理网络上同时运行多个虚拟网络,从而提高物理资源利用率和服务质量、降低网络的能耗开销和运营成本。
在网络虚拟化中,虚拟资源如何有效的分配到物理网络,即虚拟网如何映射到底层网络是一个具有挑战性的问题。虚拟网映射的过程就是根据虚拟网请求,在底层网络上寻找合适的物理资源,创建满足请求的虚拟网络的过程。虚拟资源的有效分配,需要同时考虑物理资源的CPU能力限制、带宽限制、降低能耗、负载均衡、提高底层网络收益以及地理位置信息等众多约束。
目前,相关研究工作已经提出了一些虚拟资源分配方法,如基于贪婪算法的虚拟资源分配方法。基于贪婪算法的虚拟资源分配方法将虚拟网映射问题抽象成图论问题,假设网络资源是无限的,提出了无重配置的虚拟网络映射算法(VNA-I)和带有重配置的虚拟网络映射算法(VNA-II)。无重配置的虚拟网分配是指在整个虚拟网生命周期内虚拟网分配固定,其基本思想是将虚拟节点映射到负载较轻、并且离已被映射的虚拟节点较近的底层节点上,当映射完所有虚拟节点后,使用最短路径算法映射虚拟链路。随着虚拟网络请求的到达与离开,底层网络资源状况会发生改变,这会导致底层网络负载不均衡,资源利用率下降等问题。为此,进一步提出了带有重配置的虚拟网络映射算法(VNA-II),该算法周期性地检查底层节点和链路负载状况,当节点或链路的负载超越预先定义的阈值后,将对映射于该节点或链路上的所有虚拟网络进行重映射,以消除资源热点问题。
现有技术中的虚拟资源分配方法初步解决了网络虚拟资源分配的初始分配问题,即采用一定的策略将虚拟网络的资源请求映射到物理网络上。然而,这些方法在虚拟资源分配过程中采用相同的分配策略,即将高效利用底层网络资源作为首先问题,而相关的映射算法也都是基于有限的底层网络资源条件下,接受更多的虚拟网络请求,提高底层网络的长期平均运营利益为目标。这使得现有技术方案存在以下问题:
一方面,现有的虚拟资源分配方法属于静态分配,在映射过程的不同阶段采用相同的映射策略;这样会导致虚拟资源分配方法不能根据网络中资源利用情况的变化进行动态的调整,由于底层物理资源和拓扑结构等因素的影响,网络中会存在资源利用率过高的节点或节点簇,影响整个网络的资源利用和负载均衡情况,从而造成路径拥塞、瓶颈节点等状况。同时虚拟网络请求到达的时间是动态的、随机的,其占用物理网络的时间也可能是任意长的,随着虚拟网络的不断映射和陆续结束,底层物理网络的资源会慢慢地碎片化,导致虚拟网络请求得不到满足,使得虚拟网络请求处于等待或者被拒绝的状态,这使得整个虚拟网络的资源使用率低。
另一方面,现有的以贪婪算法为基础的资源分配方法在进行节点选择时,没有很好地考虑节点之间的距离位置关系。这些方法选择的节点大多以节点的自身资源(例如CPU、链路的带宽等)为量度进行排序,没有考虑节点之间距离不同而带来的相互影响。这也影响了资源分配效率,容易导致底层物理网络中的节点存在资源分配“过热”或者“过低”的问题。
发明内容
本发明的目的在于克服现有的网络虚拟资源分配方法容易造成底层物理网络中的节点或链路资源分配不均,整体资源利用率低的缺陷,从而提供一种基于非线性降维的虚拟网络资源动态自适应调节方法。
为了实现上述目的,本发明提供了一种基于非线性降维的虚拟网络资源动态自适应调节方法,包括:
步骤1)、采集底层物理网络的数据,得到所述底层物理网络中的节点或链路在多个相邻时间点的关于实时剩余资源的数据;
步骤2)、对步骤1)所采集的数据做降维处理,得到所述底层物理网络中的节点或链路的二维关系分布图;
步骤3)、根据步骤2)所得到的二维关系分布图对所述底层物理网络中的节点或链路进行聚类;
步骤4)、根据步骤3)的聚类结果,在下一时间阶段对虚拟网络重新进行映射,在重新映射的过程中,优先选择所述底层物理网络中利用率低的节点簇或链路簇来进行虚拟资源的映射;
步骤5)、在运行一定时间后重新执行步骤1),直至虚拟资源分配的过程结束。
上述技术方案中,在所述的步骤2)中,采用等距映射法对步骤1)所采集的数据做降维处理,包括:
步骤2-1)、计算所述底层物理网络中所有节点或所有链路之间的欧氏距离,根据计算得到的欧式距离确定所述所有节点或链路的邻居关系,将所述所有节点或链路的邻居关系用一带有权重的无向图加以表示,该无向图中的节点表示所述底层物理网络中的节点或链路,该无向图中的权重表示所述底层物理网络中的节点与节点间或链路与链路间的测地线距离;其中,所述测地线距离采用两点之间的最短距离近似;
步骤2-2)、根据步骤2-1)确定的无向图,计算无向图内节点之间的最短路径,然后据此估算无向图内所有节点之间的测地线距离;
步骤2-3)、根据所有节点之间的测地线距离,利用MDS多维标度法对数据进行降维,得到二维关系分布图。
上述技术方案中,在所述的步骤3)中,根据二维关系分布图上节点之间的距离关系和分布,将节点划为不同的簇,从而实现对所述底层物理网络中的节点或链路的聚类。
本发明的优点在于:
本发明的方法改变了当前静态分配方法的不足之处,引入了动态自适应调整机制,使得在虚拟网络的生命周期内,利用非线性降维来进行信息的发掘和分析,在进行虚拟网映射时,能够有效提高映射算法的执行效率,提高资源利用率,实现负载均衡。
附图说明
图1是虚拟网络资源分配的示意图;
图2是本发明的虚拟资源动态自适应调节方法的流程图;
图3是一个范例中,100个节点的二维关系分布图;
图4是图3所示的二维关系分布图经过聚类后的示意图。
具体实施方式
现结合附图对本发明作进一步的描述。
在对本发明的方法做详细说明之前,为了便于理解,首先对虚拟网络资源的分配进行说明。
网络虚拟化环境下虚拟资源的分配问题可被抽象为一个图论问题,虚拟网络的拓扑和物理网络的拓扑都用图的形式来进行描述。通常底层物理网络可以描述为带权重的无向图,标记为GS=(NS,ES),其中,NS为底层节点的集合,Es为底层链路的集合。虚拟网也可以表示为带权重的无向图,描述为GV=(NV,EV),包括虚拟节点NV与虚拟链路的集合EV。虚拟网的映射过程,就是寻找合适的满足需求的底层资源,将虚拟网络的拓扑匹配到物理网络拓扑的过程。虚拟网络的映射,需要将节点需求与链路需求都映射到底层的物理资源上,一般包括节点映射与链路映射两个阶段。节点映射主要考虑节点CPU能力的限制,链路映射考虑链路上的可用带宽。图1展示了虚拟网络向底层网络的映射示意,虚拟网1与虚拟网2分别被映射到物理网络上,该图中,各个节点上的数字标记表示了所对应的节点的CPU处理能力,而链路上的数字标记则表示了所对应的链路的带宽。在该图所示的范例中,虚拟网1中的虚拟节点a被分配到物理网络中的物理节点A,虚拟节点b被分配到物理节点B,虚拟网2中的虚拟节点c被分配到物理网络中的物理节点B,虚拟节点d被分配到物理网络中的物理节点A,虚拟节点e被分配到物理网络中的物理节点C。从中可以看到,虚拟网1与虚拟网2共享了节点A、B和A与B之间的链路资源。
以上是对虚拟网络资源分配的说明,为了说明的方便,在上文中列举了一个最简单的实例,但在实际应用中,无论是虚拟网络还是物理网络,其网络规模远远大于上文中所列举的范例,且虚拟网络与物理网络的资源状况也会动态、实时变化。因此,需要一种高效且能动态自适应调整的虚拟资源分配方法。
下面在一个实施例中,参考图2,以调整节点映射为例,对本发明的虚拟资源分配方法加以说明。
步骤1)、对底层物理网络的数据进行采集。
本步骤中,所采集的数据包括底层物理网络中每个节点的实时剩余资源情况,每隔一段时间就采集一次。采集N次数据以后,就可以获得关于这些节点资源的N维信息。假设底层物理网络中所包含的节点有M个,则采集N次数据后,所得到的关于剩余资源情况的数据为N×M的高维数据,因此在后续步骤中需要对这些高维数据做降维处理。
步骤2)、对步骤1)所采集的数据做降维处理,得到关于M个节点的二维关系分布图。
在本实施例中,对步骤1)所采集的数据做降维处理可采用等距映射法(Isomap)。等距映射法以传统的MDS法为基础。MDS法利用低维空间中的内积来近似高维空间中的距离,一般采用欧氏距离;而Isomap方法是将MDS方法中的欧氏距离转换为测地线距离。测地线是流形上加速度为零的曲线,等同于欧氏空间中的直线。在Isomap中,测地线距离采用两点之间的最短距离来近似。
下面对如何利用等距映射法对高维数据进行降维进行说明。
步骤2-1)、计算步骤1)中所采集的数据点之间的欧氏距离,根据计算得到的欧式距离确定某个物理节点的K个最近节点,将这K个最近节点作为该节点的邻居节点,从而得到该节点的邻居关系,进而得到所有物理节点的邻居关系;将所有物理节点的邻居关系用一带有权重的无向图G表示,无向图中的链路权重dX(i,j)表示节点i与节点j之间的测地线距离。
步骤2-2)、根据上一步确定的无向图G,计算图G内节点之间的最短路径,然后据此估算所有节点之间的测地线距离。
步骤2-3)、根据所有节点之间的测地线距离,利用现有技术中的MDS多维标度法对数据进行降维,得到二维关系分布图。
图3为一个范例中,100个节点的二维关系分布图,图中的一个点代表底层物理网络中的一个节点,节点间的距离反映了节点间的关系和相互作用的程度。
步骤3)、根据步骤2)所得到的结果对节点进行聚类。
经过步骤2),得到二维关系分布图,由此图可得到节点之间相互作用关系的远近,节点之间的距离表征了节点之间关系和相互作用的程度;根据二维关系分布图上节点之间的距离关系和分布,借助传统的K-均值聚类算法,可将节点划为不同的簇,从而实现对节点的聚类。其中,不同类中的节点反映了不同的资源利用率。
图4为图3经过聚类后的结果,在该图中,不同形状的点(如三角形、交叉形)代表了不同的类。
步骤4)、根据步骤3)的聚类结果,在下一时间阶段对虚拟网络重新进行映射,在重新映射的过程中,优先选择物理网络中利用率低的节点簇来进行虚拟资源的映射。
步骤5)、在运行一定时间后重新执行步骤1),直至虚拟资源分配的过程结束。
在上述的实施例中,以节点映射为例对本发明的虚拟资源分配方法做了描述,该方法同样适用于链路映射的情况,只需要将其中的节点资源变换为链路资源即可。
最后所应说明的是,以上实施例仅用以说明本发明的技术方案而非限制。尽管参照实施例对本发明进行了详细说明,本领域的普通技术人员应当理解,对本发明的技术方案进行修改或者等同替换,都不脱离本发明技术方案的精神和范围,其均应涵盖在本发明的权利要求范围当中。

Claims (3)

1.一种基于非线性降维的虚拟网络资源动态自适应调节方法,包括:
步骤1)、采集底层物理网络的数据,得到所述底层物理网络中的节点或链路在多个相邻时间点的关于实时剩余资源的数据;
步骤2)、对步骤1)所采集的数据做降维处理,得到所述底层物理网络中的节点或链路的二维关系分布图;
步骤3)、根据步骤2)所得到的二维关系分布图对所述底层物理网络中的节点或链路进行聚类;
步骤4)、根据步骤3)的聚类结果,在下一时间阶段对虚拟网络重新进行映射,在重新映射的过程中,优先选择所述底层物理网络中利用率低的节点簇或链路簇来进行虚拟资源的映射;
步骤5)、在运行一定时间后重新执行步骤1),直至虚拟资源分配的过程结束。
2.根据权利要求1所述的基于非线性降维的虚拟网络资源动态自适应调节方法,其特征在于,在所述的步骤2)中,采用等距映射法对步骤1)所采集的数据做降维处理,包括:
步骤2-1)、计算所述底层物理网络中所有节点或所有链路之间的欧氏距离,根据计算得到的欧式距离确定所述所有节点或链路的邻居关系,将所述所有节点或链路的邻居关系用一带有权重的无向图加以表示,该无向图中的节点表示所述底层物理网络中的节点或链路,该无向图中的权重表示所述底层物理网络中的节点与节点间或链路与链路间的测地线距离;其中,所述测地线距离采用两点之间的最短距离近似;
步骤2-2)、根据步骤2-1)确定的无向图,计算无向图内节点之间的最短路径,然后据此估算无向图内所有节点之间的测地线距离;
步骤2-3)、根据所有节点之间的测地线距离,利用MDS多维标度法对数据进行降维,得到二维关系分布图。
3.根据权利要求1所述的基于非线性降维的虚拟网络资源动态自适应调节方法,其特征在于,在所述的步骤3)中,根据二维关系分布图上节点之间的距离关系和分布,将节点划为不同的簇,从而实现对所述底层物理网络中的节点或链路的聚类。
CN201310117735.8A 2013-04-07 2013-04-07 一种基于非线性降维的虚拟网络资源动态自适应调节方法 Expired - Fee Related CN104104621B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201310117735.8A CN104104621B (zh) 2013-04-07 2013-04-07 一种基于非线性降维的虚拟网络资源动态自适应调节方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201310117735.8A CN104104621B (zh) 2013-04-07 2013-04-07 一种基于非线性降维的虚拟网络资源动态自适应调节方法

Publications (2)

Publication Number Publication Date
CN104104621A true CN104104621A (zh) 2014-10-15
CN104104621B CN104104621B (zh) 2017-10-31

Family

ID=51672428

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201310117735.8A Expired - Fee Related CN104104621B (zh) 2013-04-07 2013-04-07 一种基于非线性降维的虚拟网络资源动态自适应调节方法

Country Status (1)

Country Link
CN (1) CN104104621B (zh)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104573411A (zh) * 2014-12-30 2015-04-29 深圳先进技术研究院 一种标志物相关性可视化方法以及装置
CN105187322A (zh) * 2015-09-22 2015-12-23 汉鼎信息科技股份有限公司 一种基于负载均衡的虚拟网映射方法
CN106330557A (zh) * 2016-08-30 2017-01-11 杭州电子科技大学 一种基于时空关联的多径虚拟网映射方法
CN107157475A (zh) * 2017-05-11 2017-09-15 陈昕 心电图数据的显示方法和终端设备
CN107479964A (zh) * 2016-06-08 2017-12-15 成都赫尔墨斯科技股份有限公司 一种云渲染系统
CN108270695A (zh) * 2018-01-08 2018-07-10 南京邮电大学 一种保持节点相邻的虚拟网络映射方法
CN112242951A (zh) * 2020-10-16 2021-01-19 中国联合网络通信集团有限公司 一种虚拟网映射方法和装置
CN115617279A (zh) * 2022-12-13 2023-01-17 北京中电德瑞电子科技有限公司 分布式云数据的处理方法、装置及存储介质

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102223281A (zh) * 2011-06-24 2011-10-19 清华大学 基于虚拟网络资源需求动态变化的再映射方法

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102223281A (zh) * 2011-06-24 2011-10-19 清华大学 基于虚拟网络资源需求动态变化的再映射方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
ZIHOU WANG 等: "Topology-aware virtual network embedding based on closeness centrality", 《FRONTIERS OF COMPUTER SCIENCE》 *
ZIHOU WANG 等: "Virtual Network Embedding by Exploiting Topological Information", 《GLOBECOM 2012 - NEXT GENERATION NETWORKING AND INTERNET SYMPOSIUM》 *

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104573411A (zh) * 2014-12-30 2015-04-29 深圳先进技术研究院 一种标志物相关性可视化方法以及装置
CN104573411B (zh) * 2014-12-30 2018-04-17 深圳先进技术研究院 一种生物标志物相关性可视化方法以及装置
CN105187322A (zh) * 2015-09-22 2015-12-23 汉鼎信息科技股份有限公司 一种基于负载均衡的虚拟网映射方法
CN105187322B (zh) * 2015-09-22 2019-06-14 汉鼎宇佑互联网股份有限公司 一种基于负载均衡的虚拟网映射方法
CN107479964A (zh) * 2016-06-08 2017-12-15 成都赫尔墨斯科技股份有限公司 一种云渲染系统
CN106330557A (zh) * 2016-08-30 2017-01-11 杭州电子科技大学 一种基于时空关联的多径虚拟网映射方法
CN107157475A (zh) * 2017-05-11 2017-09-15 陈昕 心电图数据的显示方法和终端设备
CN108270695A (zh) * 2018-01-08 2018-07-10 南京邮电大学 一种保持节点相邻的虚拟网络映射方法
CN112242951A (zh) * 2020-10-16 2021-01-19 中国联合网络通信集团有限公司 一种虚拟网映射方法和装置
CN115617279A (zh) * 2022-12-13 2023-01-17 北京中电德瑞电子科技有限公司 分布式云数据的处理方法、装置及存储介质

Also Published As

Publication number Publication date
CN104104621B (zh) 2017-10-31

Similar Documents

Publication Publication Date Title
CN104104621A (zh) 一种基于非线性降维的虚拟网络资源动态自适应调节方法
CN108566659B (zh) 一种基于可靠性的5g网络切片在线映射方法
Alicherry et al. Network aware resource allocation in distributed clouds
CN105610715B (zh) 一种基于sdn的云数据中心多虚拟机迁移调度计划方法
Dong et al. Energy-performance tradeoffs in IaaS cloud with virtual machine scheduling
Cohen et al. Almost optimal virtual machine placement for traffic intense data centers
Zhou et al. On achieving efficient data transfer for graph processing in geo-distributed datacenters
CN109710406A (zh) 数据分配及其模型训练方法、装置、及计算集群
CN106126340A (zh) 一种跨数据中心云计算系统的规约器选择方法
Zhou et al. Cost-aware partitioning for efficient large graph processing in geo-distributed datacenters
Zheng et al. Planar: Parallel lightweight architecture-aware adaptive graph repartitioning
CN105430049B (zh) 一种基于dcn的虚拟流媒体集群协同迁移方法
CN110597598B (zh) 一种云环境中的虚拟机迁移的控制方法
CN107222565B (zh) 一种网络图分割方法及系统
Hefny et al. Comparative study load balance algorithms for map reduce environment
CN110048966B (zh) 基于截止时间的最小化系统开销的Coflow调度方法
US9172633B2 (en) Traffic engineering system for preventing demand deadlock and achieving uniform link utilization
CN102427420B (zh) 基于图模式匹配的虚拟网络映射方法及装置
CN102946443A (zh) 一种实现大规模数据传输的多任务调度方法
CN110958192B (zh) 一种基于虚拟交换机的虚拟数据中心资源分配系统及方法
CN108304253A (zh) 基于缓存感知和数据本地性的map任务调度方法
CN105138391B (zh) 面向广域分布云系统公平的多任务虚拟机分配方法
CN109254844B (zh) 一种大规模图的三角形计算方法
Liang et al. A Survey on Spatio-temporal Big Data Analytics Ecosystem: Resource Management, Processing Platform, and Applications
CN105577834A (zh) 具有可预测性能的云数据中心两层带宽分配方法及系统

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20171031

Termination date: 20190407