CN115412401B - 训练虚拟网络嵌入模型及虚拟网络嵌入的方法和装置 - Google Patents

训练虚拟网络嵌入模型及虚拟网络嵌入的方法和装置 Download PDF

Info

Publication number
CN115412401B
CN115412401B CN202211031336.5A CN202211031336A CN115412401B CN 115412401 B CN115412401 B CN 115412401B CN 202211031336 A CN202211031336 A CN 202211031336A CN 115412401 B CN115412401 B CN 115412401B
Authority
CN
China
Prior art keywords
layer
virtual network
agent
mapping
intelligent agent
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202211031336.5A
Other languages
English (en)
Other versions
CN115412401A (zh
Inventor
沈力
王天富
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Jingdong Technology Information Technology Co Ltd
Original Assignee
Jingdong Technology Information Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Jingdong Technology Information Technology Co Ltd filed Critical Jingdong Technology Information Technology Co Ltd
Priority to CN202211031336.5A priority Critical patent/CN115412401B/zh
Publication of CN115412401A publication Critical patent/CN115412401A/zh
Application granted granted Critical
Publication of CN115412401B publication Critical patent/CN115412401B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L12/00—Data switching networks
    • H04L12/28—Data switching networks characterised by path configuration, e.g. LAN [Local Area Networks] or WAN [Wide Area Networks]
    • H04L12/46—Interconnection of networks
    • H04L12/4641—Virtual LANs, VLANs, e.g. virtual private networks [VPN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/08—Configuration management of networks or network elements
    • H04L41/0893—Assignment of logical groups to network elements

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Computational Linguistics (AREA)
  • Molecular Biology (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Health & Medical Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Computer Security & Cryptography (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)

Abstract

本公开的实施例公开了训练虚拟网络嵌入模型的方法和装置。该方法的具体实施方式包括：获取样本集；从样本集中选择样本中的目标虚拟网络请求，执行如下训练步骤：获取目标虚拟网络请求的上层的当前状态；将上层的当前状态输入上层智能体，得到上层的下一状态和上层动作概率分布；根据上层动作概率分布抽样选择一个上层动作；如果选择的上层动作为准入，则通过下层智能体将目标虚拟网络请求与物理网络进行映射，得到映射结果；根据映射结果计算外在奖励；若外在奖励小于预定第一阈值，则调整上层智能体的参数和下层智能体的参数，并从样本集中重新选择样本，继续执行上述训练步骤。该实施方式实现了虚拟网络的联合准入控制和资源分配。

Description

训练虚拟网络嵌入模型及虚拟网络嵌入的方法和装置
技术领域
本公开的实施例涉及计算机技术领域，具体涉及训练虚拟网络嵌入模型及虚拟网络嵌入的方法和装置。
背景技术
随着用户服务需求的多样化以及移动终端设备爆炸式增长，网络业务需要根据用户的需求灵活调整、动态扩展、快速部署。传统的网络功能部署方式依赖于硬件网络中间盒，其开发周期长、部署开销大，且不同厂商提供的外部管理接口不同，难以统一部署、集中维护，对网络服务的更新升级造成了较大制约。传统的网络架构明显已经不适用于当前的网络发展。
在5G网络时代，采用网络虚拟化技术和软件定义网络技术相结合，将每种网络服务请求通过一系列虚拟网络功能处理，这些虚拟网络功能可组织成图状的虚拟网络，进而为不同业务提供服务。基于网络虚拟化技术，一个复杂的网络业务可以被视作由一组虚拟网络功能组成的图状虚拟网络请求(Virtual Network Request，VNR)，可以被部署在通用服务器上来运行为用户提供网络服务。网络功能虚拟化技术能够提高资源利用率和降低管理难度，但也向基础设施提供商提出了一个关键的问题：VNR连续不断地到达提供网络资源的物理网络，如何在可接受的运行时间内高效地将尽可能多的VNR在满足物理网络的约束下成功部署在物理网络。该问题被称作虚拟网络嵌入问题，是一个组合优化问题。此外，现存大多数算法忽略了准入控制机制，一种通过拒绝当前时刻的VNR来最大化长期利益的策略。
发明内容
本公开的实施例提出了训练虚拟网络嵌入模型及虚拟网络嵌入的方法和装置。
第一方面，本公开的实施例提供了一种训练虚拟网络嵌入模型的方法，包括：获取样本集，其中，样本包括虚拟网络请求和物理网络；从所述样本集中选择样本，将所选择的样本的虚拟网络请求确定为目标虚拟网络请求，执行如下训练步骤：获取所述目标虚拟网络请求的上层的当前状态；将所述上层的当前状态输入上层智能体，得到上层的下一状态和上层动作概率分布；根据所述上层动作概率分布抽样选择一个上层动作；如果选择的上层动作为准入，则通过下层智能体将目标虚拟网络请求与物理网络进行映射，得到映射结果；根据所述映射结果计算外在奖励；若所述外在奖励大于等于预定第一阈值，则将所述上层智能体和所述下层智能体作为虚拟网络嵌入模型输出；若所述外在奖励小于预定第一阈值，则根据所述上层的当前状态、所述上层的下一状态、所述外在奖励、上层动作的更新来调整上层智能体的参数和下层智能体的参数，并从所述样本集中重新选择样本并更新目标虚拟网络请求，继续执行上述训练步骤。
在一些实施例中，在执行训练步骤之前，所述方法还包括：从所述样本集中选择预训练样本，将所选择的预训练样本的虚拟网络请求确定为目标虚拟网络请求，执行如下预训练步骤：获取所述目标虚拟网络请求的下层的当前状态；将所述下层的当前状态输入下层智能体，得到下层的下一状态和下层动作概率分布；根据所述下层动作概率分布抽样选择一个下层动作，以尝试放置虚拟节点；如果放置成功则进行链路映射，得到预映射结果；根据所述预映射结果计算内在奖励；若所述内在奖励大于等于预定第二阈值，则所述下层智能体预训练完成；若所述内在奖励小于预定第二阈值，则根据所述下层的当前状态、所述下层的下一状态、所述内在奖励、所述下层动作的更新来调整下层智能体的参数，并从所述样本集中重新选择预训练样本，继续执行上述预训练步骤。
在一些实施例中，所述获取上层的当前状态，包括：获取虚拟网络信息、物理网络信息、目标虚拟网络请求的全局属性；通过图神经网络将所述虚拟网络信息和所述物理网络信息分别进行编码，得到虚拟节点嵌入和物理节点嵌入；通过图注意力池化分别将所述虚拟节点嵌入和所述物理节点嵌入转换成虚拟图级表示和物理图级表示；通过多层感知机提取所述全局属性，得到全局表示；将所述虚拟图级表示、所述物理图级表示、所述全局表示通过多层感知机融合后和上层的初始状态一起输入门控循环单元，得到当前状态。
在一些实施例中，所述将上层的当前状态输入上层智能体，得到上层的下一状态和上层动作概率分布，包括：将所述虚拟图级表示、所述物理图级表示、所述全局表示通过多层感知机融合后和上层的当前状态一起输入门控循环单元，得到上层的下一状态；将所述上层的下一状态通过多层感知机和softmax函数生成上层动作概率分布。
在一些实施例中，所述根据所述映射结果计算外在奖励，包括：根据所述映射结果计算嵌入成本和嵌入收益；若映射成功，则将所述嵌入收益的平方与所述嵌入成本的比值确定为外在奖励；若映射失败，则将外在奖励设置为0。
在一些实施例中，所述根据所述预映射结果计算内在奖励，包括：根据映射结果计算嵌入成本和嵌入收益；若映射成功，则将所述嵌入收益与所述嵌入成本的比值与负载均衡的加权和确定为内在奖励；若映射失败，则将内在奖励设置为与虚拟网络图大小成反比的参数的相反数。
在一些实施例中，所述图神经网络为图注意力网络，且使用了初始残差连接和恒等映射，所述图神经网络提取了虚拟网络的链接特征。
第二方面，本公开的实施例提供了一种用于虚拟网络嵌入的方法，包括：接收虚拟网络请求；将所述虚拟网络请求输入根据第一方面中任一项所述的方法训练出的上层智能体中，输出许可结果；如果许可结果为准入，则将所述虚拟网络请求输入根据第一方面中任一项所述的方法训练出的下层智能体中，得到映射结果。
在一些实施例中，所述方法还包括：若映射结果存在多个解，则选择嵌入成本最低的解来分配资源。
第三方面，本公开的实施例提供了一种训练虚拟网络嵌入模型的装置，包括：获取单元，被配置成获取样本集，其中，样本包括虚拟网络请求和物理网络；训练单元，被配置成从所述样本集中选择样本，将所选择的样本的虚拟网络请求确定为目标虚拟网络请求，执行如下训练步骤：获取所述目标虚拟网络请求的上层的当前状态；将所述上层的当前状态输入上层智能体，得到上层的下一状态和上层动作概率分布；根据所述上层动作概率分布抽样选择一个上层动作；如果选择的上层动作为准入，则通过下层智能体将目标虚拟网络请求与物理网络进行映射，得到映射结果；根据所述映射结果计算外在奖励；若所述外在奖励大于等于预定第一阈值，则将所述上层智能体和所述下层智能体作为虚拟网络嵌入模型输出；调参单元，被配置成若所述外在奖励小于预定第一阈值，则根据所述上层的当前状态、所述上层的下一状态、所述外在奖励、上层动作的更新来调整上层智能体的参数和下层智能体的参数，并从所述样本集中重新选择样本并更新目标虚拟网络请求，继续执行上述训练步骤。
第四方面，本公开的实施例提供了一种用于虚拟网络嵌入的装置，包括：接收单元，被配置成接收虚拟网络请求；准入单元，被配置成将所述虚拟网络请求输入根据第一方面任一项所述的方法训练出的上层智能体中，输出许可结果；映射单元，被配置成如果许可结果为准入，则将所述虚拟网络请求输入根据第一方面中任一项所述的方法训练出的下层智能体中，得到映射结果。
第五方面，本公开的实施例提供了一种电子设备，包括：一个或多个处理器；存储装置，其上存储有一个或多个计算机程序，当所述一个或多个计算机程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如第一方面或第二方面中任一项所述的方法。
第六方面，本公开的实施例提供了一种计算机可读介质，其上存储有计算机程序，其中，所述计算机程序被处理器执行时实现如第一方面或第二方面中任一项所述的方法。
本公开的实施例提供的训练虚拟网络嵌入模型及虚拟网络嵌入的方法和装置，对于现有基于学习的方法无法联合准入控制策略的问题，基于分层强化学习框架，将准入控制和资源分配视作上下两层任务，将它们建模为马尔科夫决策过程，进而学习一个联合策略。对于现有图神经网络无法感知链路特征和存在过平滑问题，设计了一个深度特征意识的图注意力网络，以充分提取图特征生成节点嵌入向量。将链路特征融合入节点特征聚合阶段，使之具有链路特征意识。为了加深图神经网络层数，利用残差连接和本体映射方法来缓解过平滑问题。对于下层智能体序列决策任务动作空间过大的问题，将资源分配问题建模为序列决策过程，并使用基于门控循环单元的序列到序列模型来迭代构造解。在每一个时间点，使用特征融合模块将拓扑和时序特征融合，为下游决策任务提供充分信息。对于下层智能体无指导信号而导致的稀疏奖励问题，利用即时收益成本比和负载均衡等局部指标设计了一个外在奖励。在序列决策过程中，外在奖励用于指导下层智能体意识到局部指标，以便加快收敛速度和策略质量。
附图说明
通过阅读参照以下附图所作的对非限制性实施例所作的详细描述，本公开的其它特征、目的和优点将会变得更明显：
图1是本公开的一个实施例可以应用于其中的示例性系统架构图；
图2是根据本公开的训练虚拟网络嵌入模型的方法的一个实施例的流程图；
图3是根据本公开的训练虚拟网络嵌入模型的方法的一个应用场景的示意图；
图4是根据本公开的用于虚拟网络嵌入的方法的一个实施例的流程图；
图5是根据本公开的训练虚拟网络嵌入模型的装置的一个实施例的结构示意图；
图6是根据本公开的用于虚拟网络嵌入的装置的一个实施例的结构示意图；
图7是适于用来实现本公开的实施例的电子设备的计算机系统的结构示意图。
具体实施方式
下面结合附图和实施例对本公开作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释相关发明，而非对该发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与有关发明相关的部分。
需要说明的是，在不冲突的情况下，本公开中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本公开。
图1示出了可以应用本公开实施例的训练虚拟网络嵌入模型的方法、训练虚拟网络嵌入模型的装置、用于虚拟网络嵌入的方法或用于虚拟网络嵌入的装置的示例性系统架构100。
如图1所示，系统架构100可以包括终端101、102，网络103、数据库服务器104和服务器105。网络103用以在终端101、102，数据库服务器104与服务器105之间提供通信链路的介质。网络103可以包括各种连接类型，例如有线、无线通信链路或者光纤电缆等等。
用户110可以使用终端101、102通过网络103与服务器105进行交互，以接收或发送消息等。终端101、102上可以安装有各种客户端应用，例如模型训练类应用、人脸检测识别类应用、购物类应用、支付类应用、网页浏览器和即时通讯工具等。
这里的终端101、102可以是硬件，也可以是软件。当终端101、102为硬件时，可以是具有显示屏的各种电子设备，包括但不限于智能手机、平板电脑、电子书阅读器、MP3播放器(Moving Picture Experts Group Audio Layer III，动态影像专家压缩标准音频层面3)、膝上型便携计算机和台式计算机等等。当终端101、102为软件时，可以安装在上述所列举的电子设备中。其可以实现成多个软件或软件模块(例如用来提供分布式服务)，也可以实现成单个软件或软件模块。在此不做具体限定。
数据库服务器104可以是提供各种服务的数据库服务器。例如数据库服务器中可以存储有样本集。样本集中包含有大量的样本。其中，样本可以包括虚拟网络请求和物理网络。这样，用户110也可以通过终端101、102，从数据库服务器104所存储的样本集中选取样本。
服务器105也可以是提供各种服务的服务器，例如对终端101、102上显示的各种应用提供支持的后台服务器。后台服务器可以利用终端101、102发送的样本集中的样本，对初始模型进行训练，并可以将训练结果(如生成的虚拟网络嵌入模型)发送给终端101、102。这样，用户可以应用生成的虚拟网络嵌入模型进行虚拟网络嵌入。
这里的数据库服务器104和服务器105同样可以是硬件，也可以是软件。当它们为硬件时，可以实现成多个服务器组成的分布式服务器集群，也可以实现成单个服务器。当它们为软件时，可以实现成多个软件或软件模块(例如用来提供分布式服务)，也可以实现成单个软件或软件模块。在此不做具体限定。数据库服务器104和服务器105也可以为分布式系统的服务器，或者是结合了区块链的服务器。数据库服务器104和服务器105也可以是云服务器，或者是带人工智能技术的智能云计算服务器或智能云主机。
需要说明的是，本公开实施例所提供的训练虚拟网络嵌入模型的方法或用于虚拟网络嵌入的方法一般由服务器105执行。相应地，训练虚拟网络嵌入模型的装置或用于虚拟网络嵌入的装置一般也设置于服务器105中。
需要指出的是，在服务器105可以实现数据库服务器104的相关功能的情况下，系统架构100中可以不设置数据库服务器104。
应该理解，图1中的终端、网络、数据库服务器和服务器的数目仅仅是示意性的。根据实现需要，可以具有任意数目的终端、网络、数据库服务器和服务器。
服务器中预先存储了初始的虚拟网络嵌入模型的结构，可包括上层智能体和下层智能体。对于到达物理网络的VNR，首先由上层智能体的准入控制策略决定是否允许其准入；对于被准入的VNR，由下层智能体对物理网络进行资源分配。将准入控制和资源分配分别作为上层和下层任务。上层智能体具有远期预见能力，其目标是优化长期收益。根据物理网络的现状和传入VNR的请求信息，决定是否接纳到达的VNR。下层智能体负责为准入的VNR分配资源，以生成高质量资源分配方案。
具有准入控制意识的虚拟网络嵌入问题的具体描述如下：在实际的网络系统中，用户服务被虚拟化为一个VNR集合V，其中每个VNR v∈V由元组<Gv,Av>表示，动态地请求物理网络Gp提供的资源。这里，虚拟网络Gv和物理网络Gp是加权无向图，其节点和链路分别指定了各种网络资源的需求和容量。Ac表示全局属性，例如生命周期。对于每一个到达的VNR，准入控制策略将根据其请求信息和物理网络的现状来决定是接纳还是拒绝它。对于被准入的VNR，物理网络将尝试为其资源分配。如果VNR嵌入成功，它将占用资源直到其生命周期到期。
物理网络为VNR进行资源分配可被定义为一个由虚拟网络Gc到一个物理网络子图的Gp‘的映射，即
f:Gv→Gp′ (1)
该映射有节点映射和链路映射组成，这里有大量的离散变量需要决策。
(1)节点映射：为虚拟网络的每个节点nv∈Nv分配可行的物理网络节点np∈Np，需要满足以下约束：
这里是一个二进制变量，当nv被分配到np时，它为1。/>和/>分别为节点资源的需求量和可用量。公式(2)(3)是指同一VNR中的虚拟节点必须被分配到不同的物理节点。公式(3)是指物理节点的资源可用量必须超过它所负载的虚拟节点的需求量。
(2)链路映射：将虚拟链路lv∈Lv安排在连通的物理路径pp∈Pp上路由，需要满足以下约束：
这里是一个二进制变量，当lv被分配到lp时，它为1。/>和/>分别为链路带宽资源的需求量和可用量。I(np)和O(np)分别表示np的入边和出边。/>和/>分别表示虚拟链路lv的目标节点和源节点。公式(5)指在物理网络中映射的路径要经过分别承载虚拟链路的源节点和目的节点的两个物理节点。公式(6)是指物理链路的带宽资源可用量必须超过它所负载的虚拟链路的带宽需求量。
该问题的主要评价指标包括长期平均收益和接受率，它们的描述如下。
长期平均利益：反映网络提供商收入的直接指标，定义为
其中VT＝{v|0<tv<T}是在时间实例T之前到达的VNR集合。Rev(Gv)是VNR的收入，由其节点和链路的资源请求总量计算得出。
接受率：用接受的VNR数量衡量服务质量，定义为
其中是指示函数，如果接受VNR v，则返回1，否则返回0。
对于该问题，现有的方法大都没有考虑准入控制策略，仅聚焦于设计资源分配算法。传统的虚拟网络嵌入的资源分配方法可分为基于数学模型的精确式算法、基于近似策略的启发式算法、基于机器学习的智能算法。然而，它们均有自己的局限性，并不能很好地解决本问题。
继续参见图2，其示出了根据本公开的训练虚拟网络嵌入模型的方法的一个实施例的流程200。该训练虚拟网络嵌入模型的方法可以包括以下步骤：
步骤201，获取样本集。
在本实施例中，训练虚拟网络嵌入模型的方法的执行主体(例如图1所示的服务器105)可以通过多种方式来获取样本集。例如，执行主体可以通过有线连接方式或无线连接方式，从数据库服务器(例如图1所示的数据库服务器104)中获取存储于其中的现有的样本集。再例如，用户可以通过终端(例如图1所示的终端101、102)来收集样本。这样，执行主体可以接收终端所收集的样本，并将这些样本存储在本地，从而生成样本集。
其中，样本包括虚拟网络请求(VNR)和物理网络。
步骤202，从样本集中选择样本，将所选择的样本的虚拟网络请求确定为目标虚拟网络请求。
在本实施例中，执行主体可以从步骤201中获取的样本集中选取样本，以及执行步骤203至步骤209的训练步骤。其中，样本的选取方式和选取数量在本公开中并不限制。例如可以是随机选取至少一个样本，也可以是从中选取样本的VNR节点数量较多或链路数量较多的样本。
步骤203，获取目标虚拟网络请求的上层的当前状态。
在本实施例中，本申请将准入控制和资源分配分别视作上层和下层任务，并将它们建模为马尔科夫决策过程(Markov Decision Process,MDP)，进而基于分层强化学习框架和近端策略优化算法学习一个联合的策略。两个智能体通过近端策略优化方法进行训练。
上层智能体将是否准入到达的VNR的过程建模为马尔可夫决策过程，其中包含三个关键要素：状态、动作和奖励。
·状态：上层状态由传入VNR的请求信息和物理网络的当前情况组成。具体地有i)物理网络：各物理节点剩余资源、各物理链路剩余资源和物理链路索引；ii)虚拟网络：每个虚拟节点的资源需求、每个虚拟链路的资源需求和虚拟链接索引；iii)VNR的全局属性：VNR的生存时间和虚拟节点总数。
·动作：上层动作是一个二进制变量，表示是否接受准入的VNR。
·奖励：当VNR成功嵌入时，会返回一个积极的奖励，以鼓励智能体满足尽可能多的请求。可将这种外在奖励定义为：
式中，Rev(Gv)为Gv的嵌入收益，Cost(Gv)为Gv的嵌入成本。
Rev(Gv)为虚拟节点的节点资源请求之和+虚拟链路的链路资源请求之和。Cost(Gv)为虚拟节点所分配的物理节点资源减少量之和+虚拟链路所分配的物理路径的资源减少量之和。
外在奖励也可以是其它方式计算的，满足与嵌入收益成正比，与嵌入成本成反比即可，例如，或者/> 其中，a、b为正数。
当前状态可包括当前的物理网络、虚拟网络和VNR的全局属性。对于首次进行训练的上层智能体，可获取初始状态作为当前状态。
在本实施例的一些可选地实现方式中，所述获取上层的当前状态，包括：获取虚拟网络信息、物理网络信息、目标虚拟网络请求的全局属性；通过图神经网络将所述虚拟网络信息和所述物理网络信息分别进行编码，得到虚拟节点嵌入和物理节点嵌入；通过图注意力池化分别将所述虚拟节点嵌入和所述物理节点嵌入转换成虚拟图级表示和物理图级表示；通过多层感知机提取所述全局属性，得到全局表示；将所述虚拟图级表示、所述物理图级表示、所述全局表示通过多层感知机融合后和上层的初始状态一起输入门控循环单元，得到当前状态。
由于链接特征对于感知带宽资源很重要，因此本申请扩展了图注意力网络以在传播过程中将链接特征混合到节点嵌入向量中。此外，还可以使用初始残差连接和恒等映射来设计一个深度图神经网络(Graph Neural Network，GNN)模型来学习更好的节点表示，同时缓解过度平滑的问题。形式上，这个GNN的第层定义为：
这里，σ是激活函数，α和β是两个超参数，分别表示初始残差连接的强度和恒等映射。表示第/>次的特征表示，具体来说，H(0)是初始特征表示。恒等映射/>被添加到第/>个权重矩阵/>P是由注意力系数组成的聚合矩阵，其中节点i和节点j之间的系数αi,j计算为
其中N(i)是节点i的相邻节点集合，Wa是可训练的注意力权重向量。表示节点i在第/>层GNN层中的节点表示。/> 是链接ei,j的边缘表示向量，通过将其链接特征/>(虚拟网络和物理网络中所有边的属性)传递给MLP进行特征提取。
在每个决策时刻，物理网络和当前VNR被这个GNN分别编码为节点嵌入作为和
可采用图注意力池化(graph attention pooling，GAP)来获得物理网络和VNR的图级表示。同时，用MLP提取VNR的全局属性Av：
可将它们与MLP融合，然后将结果和最后一个隐藏状态传递给GRU层以接收当前隐藏状态/>
步骤204，将上层的当前状态输入上层智能体，得到上层的下一状态和上层动作概率分布。
在本实施例中，上层智能体是一种神经网络，用于提取当前状态的节点特征和链路特征，然后再将节点特征和链路特征转换成下一状态。最后将上层的下一状态转换成上层动作概率分布。这里的上层动作概率分布为是否准入VNR的概率。
在本实施例的一些可选地实现方式中，将上层的当前状态输入上层智能体，得到上层的下一状态和上层动作概率分布，包括：将所述虚拟图级表示、所述物理图级表示、所述全局表示通过多层感知机融合后和上层的当前状态一起输入门控循环单元，得到上层的下一状态；将所述上层的下一状态通过多层感知机和softmax函数生成上层动作概率分布。
即，通过公式9-13的过程得到下一状态，最终的上层策略由下式生成
步骤205，根据上层动作概率分布抽样选择一个上层动作。
在本实施例中，可根据步骤204生成的分布进行抽样选择出上层动作，上层动作为准入或拒绝。
步骤206，如果选择的上层动作为准入，则通过下层智能体将目标虚拟网络请求与物理网络进行映射，得到映射结果。
在本实施例中，如果选择的上层动作为准入，才会进入资源分配流程，即通过下层智能体将目标虚拟网络请求与物理网络进行映射。映射过程包括两部分：节点映射和链路映射。首先是节点映射，尝试将虚拟节点放置到物理节点，如果放置成功，则进行链路映射，如果放置失败则可更换其它物理节点重新进行映射。如果节点映射成功但链路映射失败，则撤销之前的节点映射，更换其它物理节点重新进行映射。具体映射过程可参见公式1-7对应的内容。可基于数学模型的精确式算法、基于近似策略的启发式算法、基于机器学习的智能算法将目标虚拟网络请求与物理网络进行映射，得到映射结果。相应的下层智能体具有不同的网络结构。
映射结果为虚拟节点与物理节点的对应关系，以及虚拟节点的链路与物理路径的对应关系。从而可确定出物理节点资源减少量和物理路径的资源减少量。
如果选择的上层动作为拒绝，则将外在奖励设置为0，执行步骤209。
步骤207，根据映射结果计算外在奖励。
在本实施例中，可根据映射结果计算出嵌入成本和嵌入收益。嵌入收益为虚拟节点的节点资源请求之和+虚拟链路的链路资源请求之和。嵌入成本为虚拟节点所分配的物理节点资源减少量之和+虚拟链路所分配的物理路径的资源减少量之和。可将外在奖励设置为嵌入成本和嵌入收益的加权和，其中，外在奖励与嵌入成本成反比，与嵌入收益成正比。
在本实施例的一些可选地实现方式中，所述根据所述映射结果计算外在奖励，包括：根据所述映射结果计算嵌入成本和嵌入收益；若映射成功，则将所述嵌入收益的平方与所述嵌入成本的比值确定为外在奖励；若映射失败，则将外在奖励设置为0。可如公式8所示的方法计算外在奖励。该方法可以加快模型的收敛速度，并能准确反映动作对奖励的影响，从而提高模型的准确性。
步骤208，若外在奖励大于等于预定第一阈值，则将上层智能体和下层智能体作为虚拟网络嵌入模型输出。
在本实施例中，如果外在奖励大于等于预定第一阈值，则说明模型训练完成，可将上层智能体和下层智能体作为虚拟网络嵌入模型输出。
步骤209，若外在奖励小于预定第一阈值，则根据上层的当前状态、上层的下一状态、外在奖励、上层动作的更新来调整上层智能体的参数和下层智能体的参数，并从样本集中重新选择样本并更新目标虚拟网络请求，继续执行上述步骤203-209。
在本实施例中，如果训练未完成，则需要调整上层智能体的参数和下层智能体的参数，再重新选择样本进行训练。调参的依据是找到奖励最大的状态。用强化学习近端策略优化(PPO)算法利用收集的上层的当前状态、上层的下一状态、外在奖励、上层动作作为经验进行调参。可以使用一些策略梯度的通用技巧来提高训练探索的效率，包括优势归一化和熵正则化。PPO算法为现有技术，因此不再赘述。
具体的训练过程如下所示：
本实施例中训练虚拟网络嵌入模型的方法，采用近端策略优化(PPO)来训练两个智能体。为了加快训练速度，可以对下层智能体进行预训练以学习一个很好的资源分配策略。随后，通过微调该策略，联合训练两个智能体来学习不同实验设置中的准入控制和资源分配的分层策略。在训练阶段，两个智能体根据生成的策略对动作进行采样。
在本实施例的一些可选地实现方式中，在执行训练步骤之前，所述方法还包括：从所述样本集中选择预训练样本，将所选择的预训练样本的虚拟网络请求确定为目标虚拟网络请求，执行如下预训练步骤：获取所述目标虚拟网络请求的下层的当前状态；将所述下层的当前状态输入下层智能体，得到下层的下一状态和下层动作概率分布；根据所述下层动作概率分布抽样选择一个下层动作，以尝试放置虚拟节点；如果放置成功则进行链路映射，得到预映射结果；根据所述预映射结果计算内在奖励；若所述内在奖励大于等于预定第二阈值，则所述下层智能体预训练完成；
若所述内在奖励小于预定第二阈值，则根据所述下层的当前状态、所述下层的下一状态、所述内在奖励、所述下层动作的更新来调整下层智能体的参数，并从所述样本集中重新选择预训练样本，继续执行上述预训练步骤。
预训练的具体算法如下所示
/>
如图3所示，下层智能体的策略网络架构包括：i)编码器：每个虚拟节点的嵌入由GNN编码器提取的特征嵌入和位置编码器生成的位置嵌入组成。ii)解码器：在每个时间步t，基于门控循环单元的解码器通过融合模块聚合虚拟节点的当前嵌入、物理网络的情况和VNR的全局属性，迭代生成每个虚拟节点的嵌入动作。
为了减少动作空间，可利用序列到序列模型迭代而不是一步构建解决方案，即每个虚拟节点的嵌入动作是按顺序生成的。考虑到VNR的状态是一致的，这个序列到序列模型由一个静态编码器和一个动态解码器组成。编码器提取节点和链接的特征和决策顺序作为节点表示。解码器根据融合模块在每个时间步聚合的信息，迭代地选择一个物理节点来放置当前的虚拟节点。
(1)MDP定义
同样，可将资源分配问题建模为MDP，定义如下
·状态：下层状态由当前虚拟节点的节点嵌入、VNR的全局属性和物理网络的当前情况组成。具体地有i)物理网络：各物理节点剩余资源、各物理链路剩余资源、指示已选择节点的二进制向量和物理链路索引；ii)虚拟节点：当前虚拟节点的节点嵌入；iii)VNR的全局属性：VNR的生存时间和要嵌入的剩余虚拟节点数。
·动作：下层动作空间是物理节点的子集，可利用掩码向量(所有节点被选择的概率*数据类型为布尔的向量。可行的节点布尔值置为1。不可行的为0，则其被选择的概率为0)动态移除资源不足或之前已选择的节点。每个时间点，选择一个动作at来放置当前的虚拟节点。然后，可利用基于可用图构造的最短路径算法来执行链接映射。
·奖励：在VNR完全嵌入或拒绝之前，下层智能体没有指导信号，导致奖励稀疏问题。为了缓解这个问题，本申请开发了一种具有多个局部指标的多目标内在奖励，以指导智能体进行有效的探索，可定义为：
式中，其中w1、w2和w3是权重参数。δt是一个从逐渐增加到1的折扣因子。是新的收入与成本比率，由时间步t的收入除以成本计算得出。ψ(at)定义为物理节点at的资源负载均衡。Size Gv是虚拟网络的大小，可以是节点数量，也可以是所有节点的链路数量，还可以是节点数量与链路数量的加权和。高收入成本比和资源负载均衡可以为后续VNR预留更多资源。
(2)策略网络设计
编码器：对于VNR的固定状态，可采用静态GNN编码器来学习每个虚拟节点的特征嵌入。此外，每个虚拟节点的决策顺序通常是预先设定的，这通常被现有的基于学习的方法忽略，GNN无法处理。因此，位置编码器(position encoder，PE)也用于生成每个虚拟节点的位置嵌入，它们与虚拟节点的GNN嵌入/>连接(CONCAT)以形成VNR的节点嵌入nv，如下所示：
解码器：在每个时间步t，可使用GNN对物理网络的状态进行编码以提取节点嵌入，并使用GAP层将它们聚合以获得图嵌入。同时，VNR的全局属性Av被输入到MLP中，如下所示：
通过整合当前虚拟节点嵌入VNR的全局属性表示gr和物理网络的图嵌入/>来更新时间步t的融合嵌入。然后，融合嵌入同上一时刻隐藏状态ht-1一起被输入到GRU：
下层πt的动作概率分布由下式生成：
πt＝Softmax(MLP(ht)) (19)
为了减小动作空间，将资源分配问题建模为序列决策过程，并使用基于门控循环单元的序列到序列模型来迭代构造解。在每一个时间点，使用特征融合模块将拓扑和时序特征融合，为下游决策任务提供充分信息。
在本实施例的一些可选地实现方式中，根据所述预映射结果计算内在奖励，包括：根据映射结果计算嵌入成本和嵌入收益；若映射成功，则将所述嵌入收益与所述嵌入成本的比值与负载均衡的加权和确定为内在奖励；若映射失败，则将内在奖励设置为与虚拟网络图大小成反比的参数的相反数。如公式14所示。利用即时收益成本比和负载均衡等局部指标设计了一个外在奖励。在序列决策过程中，外在奖励用于指导下层智能体意识到局部指标，解决无指导信号而导致的稀疏奖励的问题，以便加快收敛速度和策略质量。
在本实施例的一些可选地实现方式中，图神经网络为图注意力网络，且使用了初始残差连接和恒等映射，所述图神经网络提取了虚拟网络的链接特征。通过一个深度特征意识的图注意力网络，能够充分提取图特征生成节点嵌入向量。通过将链路特征融合入节点特征聚合阶段，使之具有链路特征意识。为了加深图神经网络层数，利用残差连接和本体映射方法来缓解过平滑问题。该定制的图注意力网络能够充分提取物理网络和虚拟网络请求的拓扑特征。
继续参见图4，其示出了本公开提供的用于虚拟网络嵌入的方法的一个实施例的流程400。该用于虚拟网络嵌入的方法可以包括以下步骤：
步骤401，接收虚拟网络请求。
在本实施例中，用于虚拟网络嵌入的方法的执行主体(例如图1所示的服务器105)可以通过多种方式来获取虚拟网络请求。例如，执行主体可以通过有线连接方式或无线连接方式，从数据库服务器(例如图1所示的数据库服务器104)中获取存储于其中的虚拟网络请求。再例如，执行主体也可以接收终端(例如图1所示的终端101、102)或其他设备发送的虚拟网络请求。
步骤402，将虚拟网络请求输入上层智能体中，输出许可结果。
在本实施例中，执行主体可以将步骤401中获取的虚拟网络请求输入上层智能体中，从而生成许可结果。许可结果包括两种：1、准入，即可以为虚拟网络分配物理网络资源，2、拒绝，即不可以为虚拟网络分配物理网络资源。对于每一个到达的VNR，上层智能体将首先根据其请求信息和物理网络的现状决定是否准入。然后，下层智能体将尝试将资源分配给允许的VNR。
在本实施例中，上层智能体可以是采用如上述图2实施例所描述的方法而生成的。具体生成过程可以参见图2实施例的相关描述，在此不再赘述。
步骤403，如果许可结果为准入，则将虚拟网络请求输入下层智能体中，得到映射结果。
在本实施例中，如果允许为虚拟网络请求分配物理网络资源，则通过下层智能体中，得到映射结果。映射结果包括节点映射和链路映射，具体过程如公式1-6所示，在此不再赘述。
在本实施例中，下层智能体可以是采用如上述图2实施例所描述的方法而生成的。具体生成过程可以参见图2实施例的相关描述，在此不再赘述。
在本实施例的一些可选地实现方式中，该方法还包括：若映射结果存在多个解，则选择嵌入成本最低的解来分配资源。下层智能体的解码器利用波束搜索策略如果生成多个解决方案，选择成本最低的最佳可行解决方案。
虚拟网络嵌入的过程如下所示：
需要说明的是，本实施例用于虚拟网络嵌入的方法可以用于测试上述各实施例所生成的上层智能体和下层智能体。进而根据测试结果可以不断地优化上层智能体和下层智能体。该方法也可以是上述各实施例所生成的上层智能体和下层智能体的实际应用方法。采用上述各实施例所生成的上层智能体和下层智能体，来进行虚拟网络嵌入，有助于提高虚拟网络嵌入的性能。如嵌入成本低，嵌入收益高等。
继续参见图5，作为对上述图2所示方法的实现，本公开提供了一种训练虚拟网络嵌入模型的装置的一个实施例。该装置实施例与图2所示的方法实施例相对应，该装置具体可以应用于各种电子设备中。
如图5所示，本实施例的训练虚拟网络嵌入模型的装置500可以包括：获取单元501、训练单元502和调参单元503。其中，获取单元501，被配置成获取样本集，其中，样本包括虚拟网络请求和物理网络；训练单元502，被配置成从所述样本集中选择样本，将所选择的样本的虚拟网络请求确定为目标虚拟网络请求，执行如下训练步骤：获取所述目标虚拟网络请求的上层的当前状态；将所述上层的当前状态输入上层智能体，得到上层的下一状态和上层动作概率分布；根据所述上层动作概率分布抽样选择一个上层动作；如果选择的上层动作为准入，则通过下层智能体将目标虚拟网络请求与物理网络进行映射，得到映射结果；根据所述映射结果计算外在奖励；若所述外在奖励大于等于预定第一阈值，则将所述上层智能体和所述下层智能体作为虚拟网络嵌入模型输出；调参单元503，被配置成若所述外在奖励小于预定第一阈值，则根据所述上层的当前状态、所述上层的下一状态、所述外在奖励、上层动作的更新来调整上层智能体的参数和下层智能体的参数，并从所述样本集中重新选择样本并更新目标虚拟网络请求，继续执行上述训练步骤。
在本实施例的一些可选的实现方式中，装置500还包括预训练单元504，被配置成：在执行训练步骤之前，从所述样本集中选择预训练样本，将所选择的预训练样本的虚拟网络请求确定为目标虚拟网络请求，执行如下预训练步骤：获取所述目标虚拟网络请求的下层的当前状态；将所述下层的当前状态输入下层智能体，得到下层的下一状态和下层动作概率分布；根据所述下层动作概率分布抽样选择一个下层动作，以尝试放置虚拟节点；如果放置成功则进行链路映射，得到预映射结果；根据所述预映射结果计算内在奖励；若所述内在奖励大于等于预定第二阈值，则所述下层智能体预训练完成；若所述内在奖励小于预定第二阈值，则根据所述下层的当前状态、所述下层的下一状态、所述内在奖励、所述下层动作的更新来调整下层智能体的参数，并从所述样本集中重新选择预训练样本，继续执行上述预训练步骤。
在本实施例的一些可选的实现方式中，训练单元502进一步被配置成：获取虚拟网络信息、物理网络信息、目标虚拟网络请求的全局属性；通过图神经网络将所述虚拟网络信息和所述物理网络信息分别进行编码，得到虚拟节点嵌入和物理节点嵌入；通过图注意力池化分别将所述虚拟节点嵌入和所述物理节点嵌入转换成虚拟图级表示和物理图级表示；通过多层感知机提取所述全局属性，得到全局表示；将所述虚拟图级表示、所述物理图级表示、所述全局表示通过多层感知机融合后和上层的初始状态一起输入门控循环单元，得到当前状态。
在本实施例的一些可选的实现方式中，训练单元502进一步被配置成：将所述虚拟图级表示、所述物理图级表示、所述全局表示通过多层感知机融合后和上层的当前状态一起输入门控循环单元，得到上层的下一状态；将所述上层的下一状态通过多层感知机和softmax函数生成上层动作概率分布。
在本实施例的一些可选的实现方式中，训练单元502进一步被配置成：根据所述映射结果计算嵌入成本和嵌入收益；若映射成功，则将所述嵌入收益的平方与所述嵌入成本的比值确定为外在奖励；若映射失败，则将外在奖励设置为0。
在本实施例的一些可选的实现方式中，预训练单元504进一步被配置成：根据映射结果计算嵌入成本和嵌入收益；若映射成功，则将所述嵌入收益与所述嵌入成本的比值与负载均衡的加权和确定为内在奖励；若映射失败，则将内在奖励设置为与虚拟网络图大小成反比的参数的相反数。
在本实施例的一些可选的实现方式中，图神经网络为图注意力网络，且使用了初始残差连接和恒等映射，所述图神经网络提取了虚拟网络的链接特征。
继续参见图6，作为对上述图4所示方法的实现，本公开提供了一种用于虚拟网络嵌入的装置的一个实施例。该装置实施例与图4所示的方法实施例相对应，该装置具体可以应用于各种电子设备中。
如图6所示，本实施例的用于虚拟网络嵌入的装置600可以包括：接收单元601、准入单元602和映射单元603。其中，接收单元601，被配置成接收虚拟网络请求；准入单元602，被配置成将所述虚拟网络请求输入根据流程200所述的方法训练出的上层智能体中，输出许可结果；映射单元603，被配置成如果许可结果为准入，则将所述虚拟网络请求输入根据流程200所述的方法训练出的下层智能体中，得到映射结果。
在本实施例的一些可选的实现方式中，装置600还包括选择单元604，被配置成若映射结果存在多个解，则选择嵌入成本最低的解来分配资源。
根据本公开的实施例，本公开还提供了一种电子设备、一种可读存储介质。
一种电子设备，包括：一个或多个处理器；存储装置，其上存储有一个或多个计算机程序，当所述一个或多个计算机程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如流程200或400所述的方法。
一种计算机可读介质，其上存储有计算机程序，其中，所述计算机程序被处理器执行时实现如流程200或400所述的方法。
图7示出了可以用来实施本公开的实施例的示例电子设备700的示意性框图。电子设备旨在表示各种形式的数字计算机，诸如，膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置，诸如，个人数字处理、蜂窝电话、智能电话、可穿戴设备和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例，并且不意在限制本文中描述的和/或者要求的本公开的实现。
如图7所示，设备700包括计算单元701，其可以根据存储在只读存储器(ROM)702中的计算机程序或者从存储单元708加载到随机访问存储器(RAM)703中的计算机程序，来执行各种适当的动作和处理。在RAM 703中，还可存储设备700操作所需的各种程序和数据。计算单元701、ROM 702以及RAM 703通过总线704彼此相连。输入/输出(I/O)接口705也连接至总线704。
设备700中的多个部件连接至I/O接口705，包括：输入单元706，例如键盘、鼠标等；输出单元707，例如各种类型的显示器、扬声器等；存储单元708，例如磁盘、光盘等；以及通信单元709，例如网卡、调制解调器、无线通信收发机等。通信单元709允许设备700通过诸如因特网的计算机网络和/或各种电信网络与其他设备交换信息/数据。
计算单元701可以是各种具有处理和计算能力的通用和/或专用处理组件。计算单元701的一些示例包括但不限于中央处理单元(CPU)、图形处理单元(GPU)、各种专用的人工智能(AI)计算芯片、各种运行机器学习模型算法的计算单元、数字信号处理器(DSP)、以及任何适当的处理器、控制器、微控制器等。计算单元701执行上文所描述的各个方法和处理，例如用于输出信息的方法。例如，在一些实施例中，用于输出信息的方法可被实现为计算机软件程序，其被有形地包含于机器可读介质，例如存储单元708。在一些实施例中，计算机程序的部分或者全部可以经由ROM 702和/或通信单元709而被载入和/或安装到设备700上。当计算机程序加载到RAM 703并由计算单元701执行时，可以执行上文描述的用于输出信息的方法的一个或多个步骤。备选地，在其他实施例中，计算单元701可以通过其他任何适当的方式(例如，借助于固件)而被配置为执行用于输出信息的方法。
本文中以上描述的系统和技术的各种实施方式可以在数字电子电路系统、集成电路系统、场可编程门阵列(FPGA)、专用集成电路(ASIC)、专用标准产品(ASSP)、芯片上系统的系统(SOC)、负载可编程逻辑设备(CPLD)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括：实施在一个或者多个计算机程序中，该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程系统上执行和/或解释，该可编程处理器可以是专用或者通用可编程处理器，可以从存储系统、至少一个输入装置、和至少一个输出装置接收数据和指令，并且将数据和指令传输至该存储系统、该至少一个输入装置、和该至少一个输出装置。
用于实施本公开的方法的程序代码可以采用一个或多个编程语言的任何组合来编写。这些程序代码可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器或控制器，使得程序代码当由处理器或控制器执行时使流程图和/或框图中所规定的功能/操作被实施。程序代码可以完全在机器上执行、部分地在机器上执行，作为独立软件包部分地在机器上执行且部分地在远程机器上执行或完全在远程机器或服务器上执行。
在本公开的上下文中，机器可读介质可以是有形的介质，其可以包含或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的程序。机器可读介质可以是机器可读信号介质或机器可读储存介质。机器可读介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备，或者上述内容的任何合适组合。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM或快闪存储器)、光纤、便捷式紧凑盘只读存储器(CD-ROM)、光学储存设备、磁储存设备、或上述内容的任何合适组合。
为了提供与用户的交互，可以在计算机上实施此处描述的系统和技术，该计算机具有：用于向用户显示信息的显示装置(例如，CRT(阴极射线管)或者LCD(液晶显示器)监视器)；以及键盘和指向装置(例如，鼠标或者轨迹球)，用户可以通过该键盘和该指向装置来将输入提供给计算机。其它种类的装置还可以用于提供与用户的交互；例如，提供给用户的反馈可以是任何形式的传感反馈(例如，视觉反馈、听觉反馈、或者触觉反馈)；并且可以用任何形式(包括声输入、语音输入或者、触觉输入)来接收来自用户的输入。
可以将此处描述的系统和技术实施在包括后台部件的计算系统(例如，作为数据服务器)、或者包括中间件部件的计算系统(例如，应用服务器)、或者包括前端部件的计算系统(例如，具有图形用户界面或者网络浏览器的用户计算机，用户可以通过该图形用户界面或者该网络浏览器来与此处描述的系统和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算系统中。可以通过任何形式或者介质的数字数据通信(例如，通信网络)来将系统的部件相互连接。通信网络的示例包括：局域网(LAN)、广域网(WAN)和互联网。
计算机系统可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。服务器可以为分布式系统的服务器，或者是结合了区块链的服务器。服务器也可以是云服务器，或者是带人工智能技术的智能云计算服务器或智能云主机。服务器可以为分布式系统的服务器，或者是结合了区块链的服务器。服务器也可以是云服务器，或者是带人工智能技术的智能云计算服务器或智能云主机。
应该理解，可以使用上面所示的各种形式的流程，重新排序、增加或删除步骤。例如，本发公开中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行，只要能够实现本公开公开的技术方案所期望的结果，本文在此不进行限制。
上述具体实施方式，并不构成对本公开保护范围的限制。本领域技术人员应该明白的是，根据设计要求和其他因素，可以进行各种修改、组合、子组合和替代。任何在本公开的精神和原则之内所作的修改、等同替换和改进等，均应包含在本公开保护范围之内。

Claims (13)

1.一种训练虚拟网络嵌入模型的方法，包括：
获取样本集，其中，样本包括虚拟网络请求和物理网络，虚拟网络嵌入模型的结构，包括上层智能体和下层智能体，对于到达物理网络的虚拟网络请求，首先由上层智能体的准入控制策略决定是否允许其准入；对于被准入的虚拟网络请求，由下层智能体对物理网络进行资源分配；上层智能体将是否准入到达的虚拟网络请求的过程建模为马尔可夫决策过程，包含三个关键要素：状态、动作和奖励；
从所述样本集中选择样本，将所选择的样本的虚拟网络请求确定为目标虚拟网络请求，执行如下训练步骤：获取所述目标虚拟网络请求的上层智能体的当前状态；将所述上层智能体的当前状态输入上层智能体，得到上层智能体的下一状态和上层动作概率分布；根据所述上层动作概率分布抽样选择一个上层动作；如果选择的上层动作为准入，则通过下层智能体将目标虚拟网络请求与物理网络进行映射，得到映射结果；根据所述映射结果计算外在奖励；若所述外在奖励大于等于预定第一阈值，则将所述上层智能体和所述下层智能体作为虚拟网络嵌入模型输出；
若所述外在奖励小于预定第一阈值，则根据所述上层智能体的当前状态、所述上层智能体的下一状态、所述外在奖励、上层动作的更新来调整上层智能体的参数和下层智能体的参数，并从所述样本集中重新选择样本并更新目标虚拟网络请求，继续执行上述训练步骤。
2.根据权利要求1所述的方法，其中，在执行训练步骤之前，所述方法还包括：
从所述样本集中选择预训练样本，将所选择的预训练样本的虚拟网络请求确定为目标虚拟网络请求，执行如下预训练步骤：获取所述目标虚拟网络请求的下层智能体的当前状态；将所述下层智能体的当前状态输入下层智能体，得到下层智能体的下一状态和下层动作概率分布；根据所述下层动作概率分布抽样选择一个下层动作，以尝试放置虚拟节点；如果放置成功则进行链路映射，得到预映射结果；根据所述预映射结果计算内在奖励；若所述内在奖励大于等于预定第二阈值，则所述下层智能体预训练完成；
若所述内在奖励小于预定第二阈值，则根据所述下层智能体的当前状态、所述下层智能体的下一状态、所述内在奖励、所述下层动作的更新来调整下层智能体的参数，并从所述样本集中重新选择预训练样本，继续执行上述预训练步骤。
3.根据权利要求1所述的方法，其中，所述获取所述目标虚拟网络请求的上层智能体的当前状态，包括：
获取虚拟网络信息、物理网络信息、目标虚拟网络请求的全局属性；
通过图神经网络将所述虚拟网络信息和所述物理网络信息分别进行编码，得到虚拟节点嵌入和物理节点嵌入；
通过图注意力池化分别将所述虚拟节点嵌入和所述物理节点嵌入转换成虚拟图级表示和物理图级表示；
通过多层感知机提取所述全局属性，得到全局表示；
将所述虚拟图级表示、所述物理图级表示、所述全局表示通过多层感知机融合后和上层智能体的初始状态一起输入门控循环单元，得到当前状态。
4.根据权利要求3所述的方法，其中，所述将所述上层智能体的当前状态输入上层智能体，得到上层智能体的下一状态和上层动作概率分布，包括：
将所述虚拟图级表示、所述物理图级表示、所述全局表示通过多层感知机融合后和上层智能体的当前状态一起输入门控循环单元，得到上层智能体的下一状态；
将所述上层智能体的下一状态通过多层感知机和softmax函数生成上层动作概率分布。
5.根据权利要求1所述的方法，其中，所述根据所述映射结果计算外在奖励，包括：
根据所述映射结果计算嵌入成本和嵌入收益；
若映射成功，则将所述嵌入收益的平方与所述嵌入成本的比值确定为外在奖励；
若映射失败，则将外在奖励设置为0。
6.根据权利要求2所述的方法，其中，所述根据所述预映射结果计算内在奖励，包括：
根据映射结果计算嵌入成本和嵌入收益；
若映射成功，则将所述嵌入收益与所述嵌入成本的比值与负载均衡的加权和确定为内在奖励；
若映射失败，则将内在奖励设置为与虚拟网络图大小成反比的参数的相反数。
7.根据权利要求3所述的方法，其中，所述图神经网络为图注意力网络，且使用了初始残差连接和恒等映射，所述图神经网络提取了虚拟网络的链接特征。
8.一种用于虚拟网络嵌入的方法，包括：
接收虚拟网络请求；
将所述虚拟网络请求输入根据权利要求1-7中任一项所述的方法训练出的上层智能体中，输出许可结果；
如果许可结果为准入，则将所述虚拟网络请求输入根据权利要求1-7中任一项所述的方法训练出的下层智能体中，得到映射结果。
9.根据权利要求8所述的方法，其中，所述方法还包括：
若映射结果存在多个解，则选择嵌入成本最低的解来分配资源。
10.一种训练虚拟网络嵌入模型的装置，包括：
获取单元，被配置成获取样本集，其中，样本包括虚拟网络请求和物理网络，虚拟网络嵌入模型的结构，包括上层智能体和下层智能体，对于到达物理网络的虚拟网络请求，首先由上层智能体的准入控制策略决定是否允许其准入；对于被准入的虚拟网络请求，由下层智能体对物理网络进行资源分配；上层智能体将是否准入到达的虚拟网络请求的过程建模为马尔可夫决策过程，包含三个关键要素：状态、动作和奖励；
训练单元，被配置成从所述样本集中选择样本，将所选择的样本的虚拟网络请求确定为目标虚拟网络请求，执行如下训练步骤：获取所述目标虚拟网络请求的上层智能体的当前状态；将所述上层智能体的当前状态输入上层智能体，得到上层智能体的下一状态和上层动作概率分布；根据所述上层动作概率分布抽样选择一个上层动作；如果选择的上层动作为准入，则通过下层智能体将目标虚拟网络请求与物理网络进行映射，得到映射结果；根据所述映射结果计算外在奖励；若所述外在奖励大于等于预定第一阈值，则将所述上层智能体和所述下层智能体作为虚拟网络嵌入模型输出；
调参单元，被配置成若所述外在奖励小于预定第一阈值，则根据所述上层智能体的当前状态、所述上层智能体的下一状态、所述外在奖励、上层动作的更新来调整上层智能体的参数和下层智能体的参数，并从所述样本集中重新选择样本并更新目标虚拟网络请求，继续执行上述训练步骤。
11.一种用于虚拟网络嵌入的装置，包括：
接收单元，被配置成接收虚拟网络请求；
准入单元，被配置成将所述虚拟网络请求输入根据权利要求1-7中任一项所述的方法训练出的上层智能体中，输出许可结果；
映射单元，被配置成如果许可结果为准入，则将所述虚拟网络请求输入根据权利要求1-7中任一项所述的方法训练出的下层智能体中，得到映射结果。
12.一种电子设备，包括：
一个或多个处理器；
存储装置，其上存储有一个或多个计算机程序，
当所述一个或多个计算机程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如权利要求1-9中任一项所述的方法。
13.一种计算机可读介质，其上存储有计算机程序，其中，所述计算机程序被处理器执行时实现如权利要求1-9中任一项所述的方法。
CN202211031336.5A 2022-08-26 2022-08-26 训练虚拟网络嵌入模型及虚拟网络嵌入的方法和装置 Active CN115412401B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211031336.5A CN115412401B (zh) 2022-08-26 2022-08-26 训练虚拟网络嵌入模型及虚拟网络嵌入的方法和装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211031336.5A CN115412401B (zh) 2022-08-26 2022-08-26 训练虚拟网络嵌入模型及虚拟网络嵌入的方法和装置

Publications (2)

Publication Number Publication Date
CN115412401A CN115412401A (zh) 2022-11-29
CN115412401B true CN115412401B (zh) 2024-04-19

Family

ID=84160612

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211031336.5A Active CN115412401B (zh) 2022-08-26 2022-08-26 训练虚拟网络嵌入模型及虚拟网络嵌入的方法和装置

Country Status (1)

Country Link
CN (1) CN115412401B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117499491B (zh) * 2023-12-27 2024-03-26 杭州海康威视数字技术股份有限公司 基于双智能体深度强化学习的物联网服务编排方法及装置

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110890985A (zh) * 2019-11-27 2020-03-17 北京邮电大学 虚拟网络映射方法及其模型训练方法、装置
CN110995619A (zh) * 2019-10-17 2020-04-10 北京邮电大学 一种服务质量感知的虚拟网络映射方法和装置
CN111106960A (zh) * 2019-12-23 2020-05-05 北京邮电大学 一种虚拟网络的映射方法、映射装置及可读存储介质
WO2020094213A1 (en) * 2018-11-06 2020-05-14 Huawei Technologies Co., Ltd. Network resource allocation
CN112436992A (zh) * 2020-11-10 2021-03-02 北京邮电大学 基于图卷积网络的虚拟网络映射方法及装置
CN113193999A (zh) * 2021-04-29 2021-07-30 东北大学 一种基于深度确定性策略梯度的虚拟网络映射方法
CN113962390A (zh) * 2021-12-21 2022-01-21 中国科学院自动化研究所 基于深度强化学习网络构建多样化搜索策略的模型的方法
CN114021770A (zh) * 2021-09-14 2022-02-08 北京邮电大学 网络资源优化方法、装置、电子设备及存储介质
CN114095940A (zh) * 2021-11-17 2022-02-25 北京邮电大学 混合接入认知无线网络切片资源分配方法及设备
WO2022074434A1 (en) * 2020-10-07 2022-04-14 Telefonaktiebolaget Lm Ericsson (Publ) Method for identifying potential machine learning model candidates to collaborate in telecom networks
CN114896291A (zh) * 2022-04-28 2022-08-12 百度在线网络技术（北京）有限公司 多智能体模型的训练方法和排序方法

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103391233B (zh) * 2013-07-31 2016-04-13 清华大学 跨域虚拟网映射方法
CN104468803B (zh) * 2014-12-12 2018-02-09 华为技术有限公司 一种虚拟数据中心资源映射方法和设备
ES2827027T3 (es) * 2015-04-17 2021-05-19 Huawei Tech Co Ltd Método y dispositivo de preservación de red virtual
EP3871159A1 (en) * 2018-10-23 2021-09-01 Telefonaktiebolaget Lm Ericsson (Publ) Architecture for utilizing key-value store for distributed neural networks and deep learning
US11138047B2 (en) * 2018-12-05 2021-10-05 Vmware, Inc. Efficient network services with performance lag prediction and prevention
JP7063284B2 (ja) * 2019-02-06 2022-05-09 日本電信電話株式会社 制御装置、制御方法及びプログラム
US20210279577A1 (en) * 2020-03-04 2021-09-09 Seva Development, LLC Testing of Computing Processes Using Artificial Intelligence

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020094213A1 (en) * 2018-11-06 2020-05-14 Huawei Technologies Co., Ltd. Network resource allocation
CN110995619A (zh) * 2019-10-17 2020-04-10 北京邮电大学 一种服务质量感知的虚拟网络映射方法和装置
CN110890985A (zh) * 2019-11-27 2020-03-17 北京邮电大学 虚拟网络映射方法及其模型训练方法、装置
CN111106960A (zh) * 2019-12-23 2020-05-05 北京邮电大学 一种虚拟网络的映射方法、映射装置及可读存储介质
WO2022074434A1 (en) * 2020-10-07 2022-04-14 Telefonaktiebolaget Lm Ericsson (Publ) Method for identifying potential machine learning model candidates to collaborate in telecom networks
CN112436992A (zh) * 2020-11-10 2021-03-02 北京邮电大学 基于图卷积网络的虚拟网络映射方法及装置
CN113193999A (zh) * 2021-04-29 2021-07-30 东北大学 一种基于深度确定性策略梯度的虚拟网络映射方法
CN114021770A (zh) * 2021-09-14 2022-02-08 北京邮电大学 网络资源优化方法、装置、电子设备及存储介质
CN114095940A (zh) * 2021-11-17 2022-02-25 北京邮电大学 混合接入认知无线网络切片资源分配方法及设备
CN113962390A (zh) * 2021-12-21 2022-01-21 中国科学院自动化研究所 基于深度强化学习网络构建多样化搜索策略的模型的方法
CN114896291A (zh) * 2022-04-28 2022-08-12 百度在线网络技术（北京）有限公司 多智能体模型的训练方法和排序方法

Non-Patent Citations (5)

* Cited by examiner, † Cited by third party
Title
基于严谨准入控制方案的高效虚拟网络映射算法;张飞;李景富;;青岛科技大学学报(自然科学版);20151015(第05期);全文 *
基于强化学习的服务链映射算法;魏亮;黄韬;张娇;王泽南;刘江;刘韵洁;;通信学报(第01期);全文 *
基于改进蚁群算法的虚拟网络映射优化;谢永浩;高嵩峰;代明竹;;计算机科学(第S1期);全文 *
谢永浩 ; 高嵩峰 ; 代明竹 ; .基于改进蚁群算法的虚拟网络映射优化.计算机科学.2017,(第S1期),全文. *
魏亮 ; 黄韬 ; 张娇 ; 王泽南 ; 刘江 ; 刘韵洁 ; .基于强化学习的服务链映射算法.通信学报.2018,(第01期),全文. *

Also Published As

Publication number Publication date
CN115412401A (zh) 2022-11-29

Similar Documents

Publication Publication Date Title
US20200364389A1 (en) Generating integrated circuit floorplans using neural networks
CN113657465B (zh) 预训练模型的生成方法、装置、电子设备和存储介质
US20220351019A1 (en) Adaptive Search Method and Apparatus for Neural Network
CN112765477B (zh) 信息处理、信息推荐的方法和装置、电子设备和存储介质
US10585717B2 (en) Hybrid acceleration in a processing environment
US20230196202A1 (en) System and method for automatic building of learning machines using learning machines
EP4350572A1 (en) Method, apparatus and system for generating neural network model, devices, medium and program product
WO2022083093A1 (zh) 图谱中的概率计算方法、装置、计算机设备及存储介质
CN110310114A (zh) 对象分类方法、装置、服务器及存储介质
CN113821332B (zh) 自动机器学习系统效能调优方法、装置、设备及介质
CN114357105B (zh) 地理预训练模型的预训练方法及模型微调方法
CN112231592A (zh) 基于图的网络社团发现方法、装置、设备以及存储介质
JP2022078310A (ja) 画像分類モデル生成方法、装置、電子機器、記憶媒体、コンピュータプログラム、路側装置およびクラウド制御プラットフォーム
KR102555607B1 (ko) 데이터 주석 방법, 장치, 기기, 저장매체 및 컴퓨터 프로그램
CN111062431A (zh) 图像聚类方法、图像聚类装置、电子设备及存储介质
CN115412401B (zh) 训练虚拟网络嵌入模型及虚拟网络嵌入的方法和装置
WO2021062219A1 (en) Clustering data using neural networks based on normalized cuts
CN115170815A (zh) 视觉任务处理及模型训练的方法、装置、介质
CN113642727B (zh) 神经网络模型的训练方法和多媒体信息的处理方法、装置
US20240095529A1 (en) Neural Network Optimization Method and Apparatus
CN115186738B (zh) 模型训练方法、装置和存储介质
CN116976461A (zh) 联邦学习方法、装置、设备及介质
CN114898184A (zh) 模型训练方法、数据处理方法、装置及电子设备
CN115878989A (zh) 模型训练方法、装置及存储介质
US20220245469A1 (en) Decision Making Using Integrated Machine Learning Models and Knowledge Graphs

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant