CN115001978B - 一种基于强化学习模型的云租户虚拟网络智能映射方法 - Google Patents

一种基于强化学习模型的云租户虚拟网络智能映射方法 Download PDF

Info

Publication number
CN115001978B
CN115001978B CN202210544514.8A CN202210544514A CN115001978B CN 115001978 B CN115001978 B CN 115001978B CN 202210544514 A CN202210544514 A CN 202210544514A CN 115001978 B CN115001978 B CN 115001978B
Authority
CN
China
Prior art keywords
mapping
node
physical
network
virtual
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202210544514.8A
Other languages
English (en)
Other versions
CN115001978A (zh
Inventor
王廷
姚東序
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
East China Normal University
Original Assignee
East China Normal University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by East China Normal University filed Critical East China Normal University
Priority to CN202210544514.8A priority Critical patent/CN115001978B/zh
Publication of CN115001978A publication Critical patent/CN115001978A/zh
Application granted granted Critical
Publication of CN115001978B publication Critical patent/CN115001978B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/08—Configuration management of networks or network elements
    • H04L41/0896—Bandwidth or capacity management, i.e. automatically increasing or decreasing capacities
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/12—Discovery or management of network topologies
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/14—Network analysis or design
    • H04L41/145—Network analysis or design involving simulating, designing, planning or modelling of a network
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/16—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks using machine learning or artificial intelligence

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Software Systems (AREA)
  • Artificial Intelligence (AREA)
  • Theoretical Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Physics & Mathematics (AREA)
  • Biomedical Technology (AREA)
  • Data Mining & Analysis (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Databases & Information Systems (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Medical Informatics (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)

Abstract

本发明公开了一种基于强化学习模型的云租户虚拟网络智能映射方法，其特点是该方法将资源抽象模型Blocking Island和深度强化学习方法Actor‑Critic结合在一起，通过Blocking Island模型对底层网络资源进行合理抽象，以节点与节点之间可用资源量为下界，进而高效表示整个网络的资源连通性信息，具体包括：S1、完成虚拟网络映射的建模；S2、对物理网络中计算资源和带宽资源进行建模；S3、构建神经网络等步骤。本发明与现有技术相比具有在平均映射成本、收益成本比、总收益值、映射成功率的比较中均有更加优秀的表现，进一步提高哦了映射精确率，降低平均映射成本，具有广发的应用前景。

Description

一种基于强化学习模型的云租户虚拟网络智能映射方法
技术领域
本发明涉及云边虚拟网络技术领域，尤其是一种用于处理云边虚拟网络请求，高效分配计算资源和带宽资源的基于强化学习模型的云租户虚拟网络智能映射方法。
背景技术
云计算数据中心作为高度复用的共享环境，配置了大量的物理服务器和其上运行的虚拟机，以一种即付即用的模式来为多租户提供高可靠性的计算、存储、网络等资源。随着，云服务领域不断地发展，如何优化该技术实现对物理资源更加合理的分配，进而使得收益最大化，是研究人员们一直在思考的问题。该研究的主要挑战是如何有效地动态地将服务器的计算资源和网络的链路带宽资源分配给云租户自定义的虚拟网络(VirtualNetwork,VN)，提升底层网络的计算和带宽资源的利用率，从而容纳更多的租户资源请求。这被称为虚拟网络映射(Virtual Network Embedding，VNE)问题，该VNE问题主要分成节点映射和链路映射两个阶段。在满足一系列约束和限制条件下，实现将虚拟网络映射到共享的底层物理资源是一个计算复杂度极高的资源分配和调度问题，并已被证明是NP-hard的，求解其最优解的算法都达到了指数阶复杂度。针对上述问题，国内外学者展开了大量的研究工作，致力于找到处理VNE问题的最优解决办法。整体的研究成果可根据映射方案分为：精确式算法映射、启发式算法映射和基于机器学习的智能算法映射三种方法。
精确式算法是以建立特定的数学模型求解映射问题。例如，利用一些约束条件，对VNE问题实现建模，把网络计算资源映射和网络带宽资源映射整合成整数线性规划模型。然而，精确式算法由于计算量过于庞大，在大型的网络结构中无法在可接受的范围内得到最优解，不能作为可行性方案，具有一定的局限性。因而，许多学者想到用启发式算法来解决问题。例如用贪婪算法映射租户所需的虚拟节点，或者使用了PageRank算法，在映射之前先对底层网络节点和虚拟网络节点进行了排序。有些工作考虑到网络拓扑可能会影响节点映射，并据此展开讨论。但是针对VNE问题的多数启发式算法都有着固定的求解方式，很少充分地利用后验数据来不断优化算法，很容易陷入局部最优解中。
近年来，很多人也尝试使用基于机器学习的算法来解决复杂的VNE问题。比较典型的是：基于分布式Q-learning的算法，实现动态分配底层网络的计算带宽资源。还有些工作使用了Policy Gradient深度强化学习算法优化模型，通过agent和环境地不断互动，于每个映射回合后计算模型期望reward和实际reward的差值，作为loss值反向传播到模型，以此不断地更新模型参数。这些工作为基于强化学习的VNE问题的研究提供了一个非常好的解决思路。
现有技术的VNE问题解决办法仍存在着，例如难以模拟真实场景，算法时常陷入局部最优解等一些问题，如何高效的实现虚拟网络映射仍是一个值得研究的热门问题。
发明内容
本发明的目的是针对现有技术的不足而设计的一种基于强化学习模型的云租户虚拟网络智能映射方法，采用Actor-Critic深度强化学习算法和基于虚拟网络的资源需求情况以及底层网络的Blocking Island资源信息，训练出一个可高效映射虚拟网络的算法模型，合理分配底层的计算和网络资源，该映射算法，将资源抽象模型Blocking Island和深度强化学习方法Actor-Critic结合在一起，通过Blocking Island模型对底层网络资源进行合理抽象，以节点与节点之间可用资源量为下界，进而高效表示整个网络的资源连通性信息，较好的解决了高效的实现虚拟网络映射，有效提高云数据中心的资源分配效果，方法简便，具有良好和广泛的应用前景。
实现本发明的具体技术方案是：一种基于强化学习模型的云租户虚拟网络智能映射方，其特点是采用映射算法，将资源抽象模型Blocking Island和深度强化学习方法Actor-Critic结合在一起，通过Blocking Island模型对底层网络资源进行合理抽象，以节点与节点之间可用资源量为下界，进而高效表示整个网络的资源连通性信息，包括以下具体步骤：
S1、虚拟网络映射的建模
S1-1：将云数据中心配备的物理网络建模为有权无向图Gs＝(Ns，Es)；云租户的虚拟网络建模为带权的无向图Gv＝(Nv，Ev)；其中，Ns和Nv代表图中的点集，Es和Ev代表图中的边集。
S1-2：节点映射，假设虚拟网络有p个节点，每个节点所对应的权重值，其权集为/>则映射成功的条件为：在/>中，寻找p个节点使得/>若有一个节点无法通过映射规则映射到对应的物理节点上，则节点映射失败，若所有节点都能映射到对应的物理节点，则映射成功并结束，上述出现的符号中：Nv为单个虚拟网络所有虚拟节点的集合；/>表示该虚拟网络中的第i个虚拟节点；Mv为单个虚拟网络节点权重的集合；/>表示第i个虚拟节点的权重；Ns为物理网络中所有物理节点的集合；/>表示该物理网络中的第i个物理节点；Nt为物理网络中被选中的p个物理节点的集合；/>表示被选中映射的物理节点集合中的第i个物理节点；/>表示被选中映射的物理节点集合中的第j个物理节点的权重。
S1-3：在节点映射成功的基础上进行链路映射，假设 代表连接节点i和节点j的对应虚拟链路边，
设Ev为单个虚拟网络中所有虚拟链路的集合，Et为被选中的物理节点构成的网络中所有虚拟链路的集合，则对于Ev中任意单条虚拟链路而言，要成功实现链路映射，则需要在Et中寻找一条物理路径，假设该物理路径表示为对于R中的所有物理链路/>都要满足：成立。其中，/>表示连接虚拟节点i和虚拟节点j的链路权重；/>表示连接物理节点u和物理节点v的链路权重。即所有的虚拟链路都能在物理网络中找到对应的一条物理路径与其映射，链路映射成功并结束，若有一条虚拟链路不能通过映射规则映射到物理网络中，则链路映射失败，并结束虚拟网络的映射。
S2、计算资源和带宽资源建模
根据物理网络中计算资源和带宽资源的上下限，对可映射权值分割成steps个范围，将这些范围的上限值生成steps个β值不同的点权Blocking Island模型和边权Blocking Island模型，并在每一个Blocking Island模型中，其底层网络的每一个节点都会生成一个计算资源的Blocking Island模型V(βn-BI)和一个带宽资源的V(βe-BI)，所述Blocking Island模型V(βn-BI)的定义是从当前节点出发，沿着链路通过至少包含β个计算资源的目的点的集合，且包含当前节点。
S3、构建神经网络
从待映射的节点和底层网络Gs＝(Ns，Es)中选取特征作为神经网络的输入，经神经网络各层参数的处理，得到一组概率输出，选取最大概率的那个物理节点为该虚拟节点的映射对象，通过自定义的计算reward规则，将得到的reward和概率值计算当次映射误差，在反向传播误差的过程中通过链式求导法则，更新模型的参数。
所述步骤S2中的计算资源的Blocking Island模型V(βn-BI)和带宽资源的Blocking Island模型V(βe-BI)是基于物理网络Gs＝(Ns，Es)进行广度优先搜索方式生成的。
所述步骤S3具体包括下述步骤：
S3-1、构建神经网络
从待映射的节点阳底层网络Gs＝(Ns，Es)中选取特征作为神经网络的输入，更新所有物理节点ns的计算资源的Blocking Island模型V(βn-BI)和带宽资源的BlockingIsland模型V(βe-BI)，并从这些资源模型以及待映射的节点/>中寻找包括：计算和带宽资源最大值、最小值、平均值，以及待映射节点所需计算资源量，作为神经网络的输入特征，所述神经网络为4个层级的网络结构，从前到后分别为：双核的卷积层、ReLu激活层、单核的卷积层、以及将结果以概率分布形式输出的Softmax激活层。
S3-2、节点映射
S3-2-1：选取Nv中还没映射的虚拟节点通过步骤S31的方式获取该轮映射的输入特征，将其输入神经网络第一层的卷积层，记录/>输入特征经卷积后输出结构为M·[w1，w2]；其中，w1和w2均为f维1列的向量；M为输入特征；m为示物理节点数；f为一个物理节点选取的特征数量。
S3-2-2：将第一层的输出结果输入第二层的ReLu激活层，其输出结果输入第三层的卷积层，单核的卷积层利用前两层的学习结果，评估待映射节点映射到每一个可能的物理节点的得分，输出结果为一维数组，该数组的长度与物理节点数一致，记为p＝[p1，p2，...，pk]；其中，pj为物理节点的映射得分。
S3-2-3：将第三层的输出结果输入第四层的Softmax激活层，将所有物理节点的得分转化为相应大小的概率输出，概率越大的节点表示该物理节点越适合作为本轮待映射虚拟节点的映射对象，实现待映射节点群Nv的映射。
S3-3、链路映射
选取Ev中还没映射的虚拟链路假设链路/>连接的两个虚拟节点所对应的物理节点分别为/>和/>实现待映射链路群Ev的映射过程如下：
S3-3-1：选取和/>的链路Blocking Island模型中最大β值对应的链路BlockingIsland模型，寻找出所有的符合要求的物理路径组。
S3-3-2：从上述得到的物理路径组中找出一条链路边数最少的路径。
S3-3-3：若链路边数最少的路径多于1个，则选择包含的最小权链路最大的一条路径。
S3-3-4：若上述S3-3-3步骤为多个结果输出，则随机选择一条物理路径。
S3-4、完成节点映射和链路映射后，将映射得到的reward值更新神经网络模型参数。
本发明与现有技术相比具有映射成功率和精确率高，平均映射成本低的优点，将资源抽象模型Blocking Island和深度强化学习方法Actor-Critic结合在一起，通过Blocking Island模型对底层网络资源进行合理抽象，以节点与节点之间可用资源量为下界，进而高效表示整个网络的资源连通性信息，使得映射的成功率和精确率大大提高，平均映射成本、收益成本比、总收益值、映射成功率的比较中均有更加优秀的表现。使用Actor-Critic深度强化学习算法，基于虚拟网络的资源需求情况以及底层网络的BlockingIsland资源信息，训练出一个可高效映射虚拟网络的算法模型，合理分配底层的计算和网络资源。
附图说明
图1为本发明的神经网络架构图；
图2为本发明与Presto算法、Actor-Critic算法的平均映射成本对比图；
图3为本发明与Presto算法、Actor-Critic算法的收益成本对比图；
图4为本发明与Presto算法、Actor-Critic算法和基于Blocking Island模型的Policy Gradient算法在总收益值的对比图；
图5为本发明与Presto算法、Actor-Critic算法和基于Blocking Island模型的Policy Gradient算法的映射成功率对比图。
具体实施方式
通过以下具体实施例对本发明作进一步的详细说明。
实施例1
本发明按下述步骤进行基于强化学习模型的云租户虚拟网络智能映射：
S1、完成虚拟网络映射的建模
云数据中心配备着大量的物理服务器，每一个服务器节点有一定的计算资源，节点与节点间的链路有定量的带宽资源，把这个网络称作物理网络，并将这个物理网络建模为一个有权无向图Gs＝(Ns，Es)。同时，云租户根据自己的需求向数据中心申请节点数、计算资源、带宽资源，把这样的一个需求称作一个虚拟网络。同样地，将这个虚拟网络建模成一张带权的无向图Gv＝(Nv，Ev)。其中，Ns和Nv代表图中的点集，Es和Ev代表图中的边集。
随后进行两个映射步骤：节点映射和链路映射。对于节点映射，假设虚拟网络有p个节点，每个节点都有对应的权重值，权集为则映射成功的条件是：在中寻找p个节点/>使得倘若有一个节点无法通过映射规则映射到对应的物理节点上，则节点映射过程失败；若所有虚拟节点都能映射到对应的物理节点，则映射过程成功结束。
接着进行链路映射，在节点映射成功的基础上，假设 代表连接节点i和节点j的对应虚拟链路边，则当且仅当对使得 成立，说明所有的虚拟链路都能在物理网络中找到对应的一条物理路径与其映射，链路映射过程成功结束。倘若有一条虚拟链路不能通过映射规则映射到物理网络中，则链路映射无法完成。至此，对于一个虚拟网络的映射过程也全部结束。
S2、对物理网络中计算资源和带宽资源进行建模
首先算法会根据计算资源和带宽资源的上下限，对可映射权值分割成steps个范围。然后，根据这些范围的上限值生成steps个β值不同的点权Blocking Island模型和边权Blocking Island模型。在每一个Blocking Island模型中，底层网络中的每一个节点都会生成一个V(βn-BI)和一个V(βe-BI)。其中，V(βn-BI)的定义是从当前节点出发，沿着链路通过至少包含β个计算资源的目的点的集合(包括当前节点)；V(βe-BI)表示从当前节点出发，沿着边通过至少含有β个带宽资源的链路的目的点的集合(包含当前节点)。
所述计算资源的Blocking Island模型V(βn-BI)和带宽资源的Blocking Island模型V(βe-BI)是基于物理网络Gs＝(Ns，Es)进行广度优先搜索方式来生成的。
S3、构建神经网络
完成神经网络构建过程后，利用神经网络实现虚拟节点映射过程：首先从待映射的节点和底层网络Gs＝(Ns，Es)中选取特征作为神经网络的输入，经过神经网络各层参数的处理，得到一组概率输出，选取最大概率的那个物理节点作为该虚拟节点的映射对象。与监督学习不同的是，对于强化学习涉及的问题模型，训练与测试过程中的state与action通常没有对应的标签，需要自定义一套计算reward的规则。在根据前向传播的结果采样选择action之后，通过计算得出的reward和概率值计算当次映射误差，在反向传播误差的过程中通过链式求导法则，更新模型的参数，以此达到训练模型的效果。
所述步骤S3具体包括以下方面。
S3-1、构建神经网络
当需要映射一个虚拟节点时，从待映射的节点和底层网络Gs＝(Ns，Es)中选取特征作为神经网络的输入，具体的选取方式结合了前述的资源抽象模型Blocking Island。首先更新所有物理节点ns的计算资源的Blocking Island模型V(βn-BI)和带宽资源的Blocking Island模型V(βe-BI)。接着，从这些资源模型以及待映射的节点/>中寻找合适的信息(例如：模型中计算和带宽资源最大值、最小值、平均值，待映射节点所需计算资源量等)作为神经网络的输入特征；
参阅图1，所述神经网络有4个层级，从左到右分别是：卷积层、ReLu激活层、只有一个核的卷积层和将结果以概率分布的形式输出的Softmax激活层。
S3-2、实现待映射节点群Nv的映射
一次迭代过程中，选取Nv中还没映射的虚拟节点通过S31描述的方式获取该轮映射的输入特征。输入特征首先进入神经网络中的第一层，也就是卷积层，该卷积层的步长为1，卷积核数为2。记录/>其中M表示输入特征，m表示物理节点数，f表示一个物理节点选取出来的特征数量；由于有两个卷积核，因此经过第一层之后，输出结构为M·[w1，w2]，其中w1和w2均为f维1列的向量。接着，将第一层的输出结果传入第二层ReLu激活层。使用ReLu层，既增加了神经网络的非线性因子，提升了模型的学习效率，还可以减少过拟合现象。然后，将第二层的输出结果传入下一层卷积层进行处理。这层的主要作用是利用前两层的学习结果评估待映射节点映射到每一个可能的物理节点的得分，输出结果为一个一维数组，该数组的长度与物理节点数一致，记为p＝[p1，p2，...，pk]，pj为物理节点/>的映射得分。最后，将第三层输出结果传入Softmax激活层，将所有物理节点的得分转化为相应大小的概率输出。概率越大的节点表示该物理节点越适合作为本轮待映射虚拟节点的映射对象。
S3-3、实现待映射链路群E、，的映射
一次迭代中，选取Ev中还没映射的虚拟链路假设链路/>连接的两个虚拟节点所对应的物理节点分别为/>和/>本发明基于虚拟链路映射算法实现链路映射过程如下所述：
1)选取和/>的链路Blocking Island模型中最大β值对应的链路BlockingIsland模型，寻找出所有的符合要求的物理路径组；
2)从步骤1)中得出的物理路径组中找到一条链路边数最少的路径；
3)倘若步骤2)得出的结果多于1个，则选择一条路径，该路径包含的最小权链路最大；
4)如果步骤3)还有多个结果输出，则随机选择一条物理路径。
S3-4、节点映射和链路映射成功完成后，根据映射得出的reward值更新神经网络模型参数。具体而言，Critic神经网络的作用是得出每一次节点映射之后的TD_Error动作误差值。Actor神经网络的作用是通过TD_Error得出每一单步的loss值，最后将loss值借助链式求导法则反向传播到神经网络中，以此来更新模型参数。
参阅图2，从测试结果可以发现，本发明的算法和Presto算法相比，综合来看减少了5％的成本损失；和Actor-Critic算法相比，平均减少了10％的成本损失。
参阅图3，从测试结果可以发现，本发明的算法和Presto算法相比，平均高出4％的收益成本比；和Actor-Critic算法相比，平均高出7％左右的比例。
参阅图4，从测试结果可以发现，在虚拟网络数为50～70的测试集环境下，Presto算法仍旧能够保持和本发明的算法几乎一样的总收益水平。但在虚拟网络数更高的测试集环境下，本发明的算法有着一定的领先优势。只基于Actor-Critic算法的映射策略，其增长幅度没有其他算法那么大，在虚拟网络数较多的测试集环境下表现最差。
参阅图5，本发明的算法和Presto算法在虚拟网络数较少的测试集环境下仍旧保持着接近于1的映射成功率，而其他两个算法的映射成功率都有着不同程度的下降。在数据量较高的测试集下比较，本实验算法逐步体现出明显的优势，下降的幅度比其他三个算法更小一些，在虚拟网络数为100的测试集下仍能保持着90％左右的映射成功率。
上述实施例采用了三个对比算法，分别是Presto启发式算法、Actor-Critic
算法以及基于Blocking Island模型的Policy Gradient算法。本发明提出的方法与上述对比算法在平均映射成本、收益成本比、总收益值、映射成功率的比较中均有更加优秀的表现。其原因主要在于，相比于Presto算法，本发明的算法充分利用神经网络训练的反馈信息，在训练中动态调整、改善映射的过程，使得映射的精确率大大提高。相比于Actor-Critic对比实验方法，本发明的算法利用图资源抽象模型高效表示底层网络中各部分子图的拓扑信息以及特征。使得神经网络训练的过程中，能够更加细粒度的选取映射所需要的特征，更高效地优化模型。相比基于Blocking Island模型的Policy Gradient算法，本发明的算法虽然在平均映射成本和收益成本比上没有太大的优势，但因为允许模型单步更新参数，能在一定程度上提高模型的学习效率，所以在总收益和映射成功率方面相对较优。
以上只是对本发明作进一步的说明，并非用以限制本专利，凡为本发明等效实施，均应包含于本专利的权利要求范围之内。

Claims (3)

1.一种基于强化学习模型的云租户虚拟网络智能映射方法，其特征在于采用映射虚拟网络的算法模型，将资源抽象模型与深度强化学习结合，通过资源抽象模型对底层网络资源进行合理抽象，以节点与节点之间可用资源量为下界，表示整个网络的资源连通性信息，云租户虚拟网络的智能映射具体包括以下步骤：
S1、虚拟网络映射的建模
S1-1：将云数据中心配备的物理网络建模为有权无向图Gs＝(Ns，Es)；云租户的虚拟网络建模为带权的无向图Gv＝(Nv，Ev)；其中，Ns和Nv代表图中的点集，Es和Ev代表图中的边集；
S1-2：节点映射，假设虚拟网络有p个节点，每个节点所对应的权重值，其权集为/>
则映射成功的条件为：在中，寻找p个节点/> 使得/>若有一个节点无法通过映射规则映射到对应的物理节点上，则节点映射失败，若所有节点都能映射到对应的物理节点，则映射成功并结束；其中，Nv为单个虚拟网络所有虚拟节点的集合；/>表示该虚拟网络中的第i个虚拟节点；Mv为单个虚拟网络节点权重的集合；/>表示第i个虚拟节点的权重；Ns为物理网络中所有物理节点的集合；/>表示该物理网络中的第i个物理节点；Nt为物理网络中被选中的p个物理节点的集合；/>表示被选中映射的物理节点集合中的第i个物理节点；/>表示被选中映射的物理节点集合中的第j个物理节点的权重；
S1-3：在节点映射成功的基础上进行链路映射，假设 代表连接节点i和节点j的对应虚拟链路边，实现链路映射的物理路径/>对于R中的所有物理链路/>都要满足：成立；其中，/>表示连接虚拟节点i和虚拟节点j的链路权重；/>表示连接物理节点u和物理节点v的链路权重，即所有的虚拟链路都能在物理网络中找到对应的一条物理路径与其映射，链路映射成功并结束，若有一条虚拟链路不能通过映射规则映射到物理网络中，则链路映射失败，并结束虚拟网络的映射；
S2、计算资源和带宽资源建模
根据物理网络中计算资源和带宽资源的上下限，对可映射权值分割成steps个范围，将这些范围的上限值生成steps个β值不同的点权Blocking Island模型和边权BlockingIsland模型，并在每一个Blocking Island模型中，其底层网络的每一个节点都会生成一个计算资源的Blocking Island模型V(βn-BI)和一个带宽资源的V(βe-BI)，所述BlockingIsland模型V(βn-BI)的定义是从当前节点出发，沿着链路通过至少包含β个计算资源的目的点的集合，且包含当前节点；
S3、构建神经网络
从待映射的节点和底层网络Gs＝(Ns，Es)中选取特征作为神经网络的输入，经神经网络各层参数的处理，得到一组概率输出，选取最大概率的那个物理节点为该虚拟节点的映射对象，通过自定义的计算reward规则，将得到的reward和概率值计算当次映射误差，在反向传播误差的过程中通过链式求导法则，更新模型的参数。
2.根据权利要求1所述的基于强化学习模型的云租户虚拟网络智能映射方法，其特征在于所述步骤S2中的计算资源的BlockingIsland模型y(βn-BI)和带宽资源的BlockingIsland模型V(βe-BI)是基于物理网络Gs＝(Ns，Es)进行广度优先搜索方式生成的。
3.根据权利要求1所述的基于强化学习模型的云租户虚拟网络智能映射方法，其特征在于所述步骤S3具体包括下述步骤：
S3-1、构建神经网络
从待映射的节点和底层网络Gs＝(Ns，Es)中选取特征作为神经网络的输入，更新所有物理节点ns的计算资源的BlockingIsland模型V(βn-BI)和带宽资源的BlockingIsland模型V(βe-BI)，并从这些资源模型以及待映射的节点/>中寻找包括：计算和带宽资源最大值、最小值、平均值，以及待映射节点所需计算资源量，作为神经网络的输入特征，所述神经网络为4个层级的网络结构，从前到后分别为：双核的卷积层、ReLu激活层、单核的卷积层、以及将结果以概率分布形式输出的Softmax激活层；
S3-2、节点映射
S3-2-1：选取Nv中还没映射的虚拟节点通过步骤S31的方式获取该轮映射的输入特征，将其输入神经网络第一层的卷积层，记录/>输入特征经卷积后输出结构为M-[w1，w2]；其中，w1和w2均为f维1列的向量；M为输入特征；m为示物理节点数；f为一个物理节点选取的特征数量；
S3-2-2：将第一层的输出结果输入第二层的ReLu激活层，其输出结果输入第三层的卷积层，单核的卷积层利用前两层的学习结果，评估待映射节点映射到每一个可能的物理节点的得分，输出结果为一维数组，该数组的长度与物理节点数一致，记为p＝[p1，p2，...，pk]；其中，pj为物理节点的映射得分；
S3-2-3：将第三层的输出结果输入第四层的Softmax激活层，将所有物理节点的得分转化为相应大小的概率输出，概率越大的节点表示该物理节点越适合作为本轮待映射虚拟节点的映射对象，实现待映射节点群Nv的映射；
S3-3、链路映射
选取Ev中还没映射的虚拟链路假设链路/>连接的两个虚拟节点所对应的物理节点分别为/>和/>实现待映射链路群Ev的映射过程如下：
S3-3-1：选取和/>的链路Blocking Island模型中最大β值对应的链路BlockingIsland模型，寻找出所有的符合要求的物理路径组；
S3-3-2：从上述得到的物理路径组中找出一条链路边数最少的路径；
S3-3-3：若链路边数最少的路径多于1个，则选择包含的最小权链路最大的一条路径；
S3-3-4：若上述S3-3-3步骤为多个结果输出，则随机选择一条物理路径；
S3-4、完成节点映射和链路映射后，将映射得到的reward值更新神经网络模型参数。
CN202210544514.8A 2022-05-19 2022-05-19 一种基于强化学习模型的云租户虚拟网络智能映射方法 Active CN115001978B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210544514.8A CN115001978B (zh) 2022-05-19 2022-05-19 一种基于强化学习模型的云租户虚拟网络智能映射方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210544514.8A CN115001978B (zh) 2022-05-19 2022-05-19 一种基于强化学习模型的云租户虚拟网络智能映射方法

Publications (2)

Publication Number Publication Date
CN115001978A CN115001978A (zh) 2022-09-02
CN115001978B true CN115001978B (zh) 2023-10-03

Family

ID=83027773

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210544514.8A Active CN115001978B (zh) 2022-05-19 2022-05-19 一种基于强化学习模型的云租户虚拟网络智能映射方法

Country Status (1)

Country Link
CN (1) CN115001978B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115941506B (zh) * 2022-09-29 2024-10-01 重庆邮电大学 一种基于策略网络强化学习的多类型服务资源编排方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110365568A (zh) * 2019-06-18 2019-10-22 西安交通大学 一种基于深度强化学习的虚拟网络映射方法
CN110365514A (zh) * 2019-05-24 2019-10-22 北京邮电大学 基于强化学习的sdn多级虚拟网络映射方法和装置
CN113037546A (zh) * 2021-03-03 2021-06-25 中国石油大学(华东) 基于深度强化学习的安全性虚拟网络映射方法
CN113708969A (zh) * 2021-08-27 2021-11-26 华东师范大学 一种基于深度强化学习的云数据中心虚拟网络的协同嵌入方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9106576B2 (en) * 2012-01-13 2015-08-11 Nec Laboratories America, Inc. Policy-aware based method for deployment of enterprise virtual tenant networks

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110365514A (zh) * 2019-05-24 2019-10-22 北京邮电大学 基于强化学习的sdn多级虚拟网络映射方法和装置
CN110365568A (zh) * 2019-06-18 2019-10-22 西安交通大学 一种基于深度强化学习的虚拟网络映射方法
CN113037546A (zh) * 2021-03-03 2021-06-25 中国石油大学(华东) 基于深度强化学习的安全性虚拟网络映射方法
CN113708969A (zh) * 2021-08-27 2021-11-26 华东师范大学 一种基于深度强化学习的云数据中心虚拟网络的协同嵌入方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
基于两次优先级排序的虚拟网络映射算法;朱国晖;张茵;刘秀霞;孙天骜;;计算机工程与科学(第05期);全文 *

Also Published As

Publication number Publication date
CN115001978A (zh) 2022-09-02

Similar Documents

Publication Publication Date Title
Bastami et al. A gravitation-based link prediction approach in social networks
CN112132287B (zh) 一种分布式的量子计算仿真方法和装置
Kumar et al. A hybrid multi-agent based particle swarm optimization algorithm for economic power dispatch
CN113098714A (zh) 一种基于深度强化学习的低时延网络切片的方法
Hardiansyah et al. Solving economic load dispatch problem using particle swarm optimization technique
Huo et al. Multi-objective service composition model based on cost-effective optimization
Rkhami et al. On the use of graph neural networks for virtual network embedding
CN110148039A (zh) 一种众智网络智能数体需求匹配策略优化方法及系统
Le et al. ER-DCOPs: A framework for distributed constraint optimization with uncertainty in constraint utilities
CN115001978B (zh) 一种基于强化学习模型的云租户虚拟网络智能映射方法
Li et al. Data analytics for fog computing by distributed online learning with asynchronous update
Kumar et al. Hybrid NSGA-II based decision-making in fuzzy multi-objective reliability optimization problem
Hodashinsky Methods for improving the efficiency of swarm optimization algorithms. A survey
Pereira et al. Multi‐objective sunflower optimization: A new hypercubic meta‐heuristic for constrained engineering problems
Liu et al. Multi-ant colony optimization algorithm based on hybrid recommendation mechanism
Guan et al. A multi‐controller placement method for software defined network based on improved firefly algorithm
Yang et al. Trust-based scheduling strategy for cloud workflow applications
Seghir et al. A new discrete imperialist competitive algorithm for QoS-aware service composition in cloud computing
CN114599043A (zh) 一种基于深度强化学习的空天地一体化网络资源分配方法
Azizi et al. Satellite broadcast scheduling based on a boosted binary differential evolution
CN111027709B (zh) 信息推荐方法、装置、服务器及存储介质
Su et al. An Attention Mechanism-Based Microservice Placement Scheme for On-Star Edge Computing Nodes
US11973662B1 (en) Intelligent mapping method for cloud tenant virtual network based on reinforcement learning model
CN113992520A (zh) 一种虚拟网络资源的部署方法和系统
Liu Shortest path selection algorithm for cold chain logistics transportation based on improved artificial bee colony

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant