CN111556173A - 一种基于强化学习的服务链映射方法 - Google Patents

一种基于强化学习的服务链映射方法 Download PDF

Info

Publication number
CN111556173A
CN111556173A CN202010584435.0A CN202010584435A CN111556173A CN 111556173 A CN111556173 A CN 111556173A CN 202010584435 A CN202010584435 A CN 202010584435A CN 111556173 A CN111556173 A CN 111556173A
Authority
CN
China
Prior art keywords
node
physical
mapping
service chain
state
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010584435.0A
Other languages
English (en)
Other versions
CN111556173B (zh
Inventor
王其才
毛军礼
魏东红
陈立水
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
CETC 54 Research Institute
Original Assignee
CETC 54 Research Institute
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by CETC 54 Research Institute filed Critical CETC 54 Research Institute
Priority to CN202010584435.0A priority Critical patent/CN111556173B/zh
Publication of CN111556173A publication Critical patent/CN111556173A/zh
Application granted granted Critical
Publication of CN111556173B publication Critical patent/CN111556173B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/10—Protocols in which an application is distributed across nodes in the network
    • H04L67/1001—Protocols in which an application is distributed across nodes in the network for accessing one among a plurality of replicated servers
    • H04L67/1029—Protocols in which an application is distributed across nodes in the network for accessing one among a plurality of replicated servers using data related to the state of servers by a load balancer
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/10—Protocols in which an application is distributed across nodes in the network
    • H04L67/1001—Protocols in which an application is distributed across nodes in the network for accessing one among a plurality of replicated servers
    • H04L67/1004—Server selection for load balancing
    • H04L67/1008—Server selection for load balancing based on parameters of servers, e.g. available memory or workload
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/10—Protocols in which an application is distributed across nodes in the network
    • H04L67/1001—Protocols in which an application is distributed across nodes in the network for accessing one among a plurality of replicated servers
    • H04L67/1004—Server selection for load balancing
    • H04L67/1019—Random or heuristic server selection
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/10—Protocols in which an application is distributed across nodes in the network
    • H04L67/1001—Protocols in which an application is distributed across nodes in the network for accessing one among a plurality of replicated servers
    • H04L67/1004—Server selection for load balancing
    • H04L67/1023—Server selection for load balancing based on a hash applied to IP addresses or costs
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/50—Network services
    • H04L67/60—Scheduling or organising the servicing of application requests, e.g. requests for application data transmissions using the analysis and optimisation of the required network resources

Landscapes

  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Computational Linguistics (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Hardware Design (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)

Abstract

本发明公开了一种基于强化学习的服务链映射方法，属于机器学习技术领域。该方法首先考察SFC映射方式对网络资源利用情况以及SFC的QoS的影响，选取合理的QoS指标以及物理网络资源利用情况作为优化指标建立数学模型；其次，在深入理解SFC特性的基础上，针对建立的数学模型，定义强化学习算法所需相关概念，最终使用强化学习来实现映射方法。本发明通过以上步骤，有效地找到了一种服务链映射方法，其在不同规模的网络拓扑中，均能在尽可能优化系统负载均衡情况的同时，兼顾降低SFC端到端的延时。

Description

一种基于强化学习的服务链映射方法
技术领域
本发明属于机器学习技术领域，特别是指一种基于强化学习的服务链映射方法。
背景技术
网络运营商提供的服务传统上基于部署在专用硬件设备上的网络功能，并且这些服务通常具有严格的逻辑顺序。专用硬件和网络功能的紧耦合导致当用户对网络服务的需求不断增加时，运营商必须密集添加设备，并为这些设备提供存放空间和电力供应，同时对设备进行操作和管理以满足服务需求。但随着专有硬件设备数量不断增加，集成和操作的复杂性和能耗也相应增大、增加，使得需要更多资本支出和运营支出。
服务功能链（Service Function Chain, SFC）是网络运营商提供的完整的端到端服务，其中包含基于业务逻辑要求的特定顺序依次互连的网络中的服务功能。利用NFV技术，可以将SFC的网络功能在通用设备上实现运行，使端到端服务转化为按顺序连接的VNF（Virtual Network Function，虚拟网络功能）集合，可以有效地部署和管理服务功能链，实现业务快速提供。SFC映射主要是考虑如何为网络功能选择合适的硬件服务器节点部署和实例化VNF。服务链的服务提供和服务器资源的利用情况会受到SFC映射的影响。为了保证网络资源的合理使用，保证 SFC的QoS（Quality of Service，服务质量），对SFC映射算法的研究显得尤为重要。现有的许多文献主要以最小化网络时延、最大化资源利用率、最小化成本、最小化能耗等方面进行研究，得到问题的局部最优。
在实际环境场景中，大规模的网络拓扑错综复杂，强化学习算法中的Q-learning算法因需存储Q矩阵而存在可扩展性问题，空间复杂度随着网络规模的增大迅速提高，并且，当状态空间特别大的时候，遍历每个状态需要花费很长时间训练，因此并不适用在大规模网络拓扑下运行。
发明内容
有鉴于此，本发明提出一种基于强化学习的服务链映射方法，该方法在不同规模的网络拓扑中，均能在尽可能优化系统负载均衡情况的同时，兼顾降低SFC端到端的延时。
为了实现上述目的，本发明采用的技术方案为：
一种基于强化学习的服务链映射方法，包括以下步骤：
步骤1：当接收到服务链映射请求时，检查虚拟网络功能的数量是否超过当前物理网络拓扑中所有服务器物理节点的总剩余资源，若超过，则转到步骤9；若没有超过，则转到步骤2；
步骤2：将服务链的头节点映射到当前负载最小的物理节点上；若当前负载最小的物理节点有多个，则随机选择一个；
步骤3：若单条服务链映射结束，则结束流程，若还未映射完成，则转到步骤4；
步骤4：对于单条服务链的后续虚拟网络功能，随机生成在0、1之间的随机数a，若 a小于阈值
Figure 809353DEST_PATH_IMAGE001
，则转到步骤5，否则转到步骤6；阈值
Figure 623725DEST_PATH_IMAGE001
的取值范围为0～0.1；
步骤5：随机选择一个物理节点对需要映射的虚拟网络功能进行映射，然后转到步骤7；
步骤6：根据此时物理网络资源和部署情况的状态，使用神经网络计算出所有动作的Q值，选择其中最佳动作的物理节点进行映射；
步骤7：根据此时底层物理网络资源的状况和服务质量，计算虚拟网络功能映射后的反馈值，并将此时物理网络资源和部署情况的状态、选择的动作、反馈值以及物理网络资源和部署情况的下一状态作为一条记录保存到经验池里；
步骤8：每隔一个固定时间后，采用经验池里的数据对所述神经网络进行训练，然后转到步骤3；
步骤9：拒绝服务链映射请求，结束流程。
进一步的，所述物理网络资源和部署情况的状态为上一个VNF部署位置与当前VNF全局节点的联合状态；对于VNF的每个节点，若其对vCPU的使用量超过可用vCPU的上限，则该节点的状态为1，否则为0，所有联合状态所组成的状态空间为S={
Figure 508505DEST_PATH_IMAGE002
，
Figure 775538DEST_PATH_IMAGE003
，…，
Figure 36755DEST_PATH_IMAGE004
} ，其中，n=
Figure 705634DEST_PATH_IMAGE005
，N为VNF全局节点的个数。
本发明的有益效果在于：
1、本发明利用强化学习算法，通过在线地根据系统状态、执行映射后环境所给的反馈值来进行学习，最终确定SFC中各虚拟功能节点的实际部署位置。
2、本方法首先考察SFC映射方式对网络资源利用情况以及SFC的QoS的影响，选取合理的QoS指标以及物理网络资源利用情况作为优化指标建立数学模型；其次，在深入理解SFC特性的基础上，针对建立的数学模型，定义强化学习算法所需相关概念（状态机、动作集和反馈函数），最终使用强化学习来实现映射方法。本发明通过以上步骤，有效地找到了一种服务链映射方法，该方法在不同规模的网络拓扑中，均能在尽可能优化系统负载均衡情况的同时，兼顾降低SFC端到端的延时。
3、本发明针对Q-learning算法训练时间长，不适用于大规模网络的的问题，使用Q-learning的改进算法，即DQN算法，并结合Q-learning和神经网络，将Q-learning算法的状态当作神经网络的输入，经过神经网络的学习，得到用函数拟合的结果即所有动作的Q值，按照Q-learning算法选择最大Q值的策略来选择动作，选择动作后得到相应的反馈值，基于此可以计算要更新的Q值，再将其作为目标值，以当前的Q值作为实际值，目标值和实际值的偏差作为损失函数，便可以利用深度神经网络训练，以此实现对行为值函数Q(s,a)的拟合。该方法不需要遍历就能确定最优的动作，从而显著降低了空间复杂度。
附图说明
图 1是本发明实施例中服务链映射方法的流程图。
具体实施方式
下面，结合附图对本发明做进一步说明。
首先针对强化学习算法，定义相关概念：
(1) 状态集S：服务链映射问题需要考虑合理的QoS指标以及物理网络资源利用情况，而对于每个物理服务器节点，可使用的vCPU数量都有上限即
Figure 698998DEST_PATH_IMAGE006
，因此基于使用量是否超过
Figure 515644DEST_PATH_IMAGE006
定义单个节点的状态，当超过该
Figure 252656DEST_PATH_IMAGE006
时，该节点状态为1，未超过时，节点状态为0。对于全局节点，因为共有N个节点，且每个节点均有0、1这2种状态，则共有
Figure 838358DEST_PATH_IMAGE007
种状态。此外，除了节点资源使用状况，还考虑上一个VNF部署的节点位置，因为当前VNF的部署位置和上一个VNF部署位置有关联。上一个VNF部署的节点位置的可能值为节点数N，因此状态空间可表示为S={
Figure 268202DEST_PATH_IMAGE002
，
Figure 509828DEST_PATH_IMAGE003
，…，} ，其中，n=
Figure 847268DEST_PATH_IMAGE005
。
(2) 动作集A：对于每一个状态，为需要部署的VNF根据Q值函数选择某个动作，在服务链问题中就是选择某个物理服务器节点，由于有N个节点，并且每个动作对应一个节点，因此有N种动作。动作集可表示为A={
Figure 490739DEST_PATH_IMAGE008
，
Figure 888222DEST_PATH_IMAGE009
，…，
Figure 617144DEST_PATH_IMAGE010
}。
(3) 反馈函数：对每个状态执行不同的动作A会收到不同的反馈，但选择的动作节点可能会超过其vCPU可使用量，因此当动作选取的节点超过vCPU使用量时，设置反馈值为-1；没有超过此节点的vCPU门限值时，利用优化目标函数定义反馈函数为如下所示：
Figure DEST_PATH_IMAGE011
其中，
Figure 758275DEST_PATH_IMAGE012
表示状态为s+1时的系统负载均衡性，即全局节点vCPU使用量的方差，
Figure 256253DEST_PATH_IMAGE013
表示状态为s时的系统负载均衡性；
Figure 87287DEST_PATH_IMAGE014
为所选节点与前一个VNF部署位置之间的传播延时；
Figure 37925DEST_PATH_IMAGE015
，两者表示系数，包括数据的规范化，本方法使用Min-Max标准化将数据转化成无量纲的纯数值，以这种方式，消除了对数据单位的限制，从而可以在两个不同单位和量级的优化目标之间进行线性加权，以及包括用于调整优化目标比例的加权因子。
如图1所示，本方法的具体步骤如下：
步骤1：当接收到服务链映射请求时，检查虚拟网络功能的数量是否超过当前物理网络拓扑中所有服务器物理节点的总剩余资源，若超过，则转到步骤9；若没有超过，则转到步骤2；
步骤2：将服务链的头节点映射到当前负载最小的物理节点上；若当前负载最小的物理节点有多个，则随机选择一个；
步骤3：若单条服务链映射结束，则结束流程，若还未映射完成，则转到步骤4；
步骤4：对于单条服务链的后续虚拟网络功能，随机生成在0、1之间的随机数a，若 a小于阈值
Figure 982748DEST_PATH_IMAGE001
，则转到步骤5，否则转到步骤6；阈值
Figure 335231DEST_PATH_IMAGE001
的取值范围为0～0.1；
步骤5：随机选择一个物理节点对需要映射的虚拟网络功能进行映射，然后转到步骤7；
步骤6：根据此时物理网络资源和部署情况的状态，使用神经网络计算出所有动作的Q值，选择其中最佳动作的物理节点进行映射；
步骤7：根据此时底层物理网络资源的状况和服务质量，计算虚拟网络功能映射后的反馈值，并将此时物理网络资源和部署情况的状态、选择的动作、反馈值以及物理网络资源和部署情况的下一状态作为一条记录保存到经验池里；
步骤8：每隔一个固定时间后，采用经验池里的数据对所述神经网络进行训练，然后转到步骤3；
步骤9：拒绝服务链映射请求，结束流程。
其中，所述物理网络资源和部署情况的状态为上一个VNF部署位置与当前VNF全局节点的联合状态；对于VNF的每个节点，若其对vCPU的使用量超过可用vCPU的上限，则该节点的状态为1，否则为0，所有联合状态所组成的状态空间为S={
Figure 340097DEST_PATH_IMAGE002
，
Figure 778031DEST_PATH_IMAGE003
，…，
Figure 260965DEST_PATH_IMAGE004
} ， n=
Figure 733535DEST_PATH_IMAGE005
，N为VNF全局节点的个数。
在本方法中，底层物理网络可使用赋权的无向图
Figure 909301DEST_PATH_IMAGE016
=(
Figure 896849DEST_PATH_IMAGE017
,
Figure 121157DEST_PATH_IMAGE018
)表示，
Figure 244971DEST_PATH_IMAGE017
表示服务器物理节点集合，其中的一个物理节点用
Figure 529321DEST_PATH_IMAGE019
表示，
Figure 941848DEST_PATH_IMAGE018
表示物理节点之间的物理链路集合，其中的一条链路可用
Figure 32164DEST_PATH_IMAGE020
或者(
Figure 213746DEST_PATH_IMAGE019
,
Figure 839638DEST_PATH_IMAGE021
)表示。对于每个物理节点，可使用的vCPU数量为
Figure 801777DEST_PATH_IMAGE006
，每个vCPU能托管一个VNF实例，并且每个VNF实例只能映射到一个物理主机。每条SFC服务功能链请求包括端点和服务功能集合，
Figure 427275DEST_PATH_IMAGE022
={
Figure 728944DEST_PATH_IMAGE023
,
Figure 151835DEST_PATH_IMAGE024
,(
Figure 538954DEST_PATH_IMAGE025
,
Figure 971072DEST_PATH_IMAGE026
,…,
Figure 861668DEST_PATH_IMAGE027
)}，其中{
Figure 658722DEST_PATH_IMAGE025
,
Figure 329875DEST_PATH_IMAGE026
,…,
Figure 503367DEST_PATH_IMAGE027
}表示从源端物理节点
Figure 576366DEST_PATH_IMAGE023
到目的端物理节点
Figure 544322DEST_PATH_IMAGE024
需要依次通过的服务功能，m表示请求的最大功能数。映射算法完成VNF功能映射后，形成逻辑功能链即
Figure 640454DEST_PATH_IMAGE028
={
Figure 414375DEST_PATH_IMAGE029
,
Figure 279562DEST_PATH_IMAGE030
,…,
Figure 480737DEST_PATH_IMAGE031
}，可使用赋权的有向图
Figure 64165DEST_PATH_IMAGE032
=(
Figure 376197DEST_PATH_IMAGE033
,
Figure 361471DEST_PATH_IMAGE034
)表示，
Figure 736476DEST_PATH_IMAGE033
表示一组VNF逻辑节点，
Figure 807200DEST_PATH_IMAGE034
表示虚拟链路集，即节点之间的逻辑连接关系。
Figure 922924DEST_PATH_IMAGE035
和
Figure 762704DEST_PATH_IMAGE036
分别表示服务链平均链路时延和系统负载均衡情况，
Figure 305681DEST_PATH_IMAGE037
、
Figure 598122DEST_PATH_IMAGE038
表示权重系数用于调整优化目标的比例，则目标函数可定义如下：
Figure 517536DEST_PATH_IMAGE039
Figure 211823DEST_PATH_IMAGE040
Figure 925701DEST_PATH_IMAGE041
Figure 971017DEST_PATH_IMAGE042
即最小化服务链平均链路时延和优化系统负载均衡情况。
总之，本发明采用选取合理的QoS指标以及物理网络资源利用情况作为优化指标建立数学模型，使用强化学习来实现映射方法。该方法利用强化学习算法，旨在通过在线地根据系统状态、执行映射后环境所给的反馈值来进行学习，最终确定SFC中各虚拟功能节点的实际部署位置。本发明能够在优化系统负载均衡情况的同时，兼顾降低SFC端到端的延时，是对现有技术的一种重要创新。

Claims (2)

1.一种基于强化学习的服务链映射方法，其特征在于，包括以下步骤：
步骤1：当接收到服务链映射请求时，检查虚拟网络功能的数量是否超过当前物理网络拓扑中所有服务器物理节点的总剩余资源，若超过，则转到步骤9；若没有超过，则转到步骤2；
步骤2：将服务链的头节点映射到当前负载最小的物理节点上；若当前负载最小的物理节点有多个，则随机选择一个；
步骤3：若单条服务链映射结束，则结束流程，若还未映射完成，则转到步骤4；
步骤4：对于单条服务链的后续虚拟网络功能，随机生成在0、1之间的随机数a，若 a小于阈值
Figure DEST_PATH_IMAGE001
，则转到步骤5，否则转到步骤6；阈值
Figure 775DEST_PATH_IMAGE001
的取值范围为0～0.1；
步骤5：随机选择一个物理节点对需要映射的虚拟网络功能进行映射，然后转到步骤7；
步骤6：根据此时物理网络资源和部署情况的状态，使用神经网络计算出所有动作的Q值，选择其中最佳动作的物理节点进行映射；
步骤7：根据此时底层物理网络资源的状况和服务质量，计算虚拟网络功能映射后的反馈值，并将此时物理网络资源和部署情况的状态、选择的动作、反馈值以及物理网络资源和部署情况的下一状态作为一条记录保存到经验池里；
步骤8：每隔一个固定时间后，采用经验池里的数据对所述神经网络进行训练，然后转到步骤3；
步骤9：拒绝服务链映射请求，结束流程。
2.根据权利要求1所述的一种基于强化学习的服务链映射方法，其特征在于，所述物理网络资源和部署情况的状态为上一个VNF部署位置与当前VNF全局节点的联合状态；对于VNF的每个节点，若其对vCPU的使用量超过可用vCPU的上限，则该节点的状态为1，否则为0，所有联合状态所组成的状态空间为S={
Figure 980232DEST_PATH_IMAGE002
，
Figure DEST_PATH_IMAGE003
，…，
Figure 759969DEST_PATH_IMAGE004
} ，其中，n=
Figure DEST_PATH_IMAGE005
，N为VNF全局节点的个数。
CN202010584435.0A 2020-06-24 2020-06-24 一种基于强化学习的服务链映射方法 Active CN111556173B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010584435.0A CN111556173B (zh) 2020-06-24 2020-06-24 一种基于强化学习的服务链映射方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010584435.0A CN111556173B (zh) 2020-06-24 2020-06-24 一种基于强化学习的服务链映射方法

Publications (2)

Publication Number Publication Date
CN111556173A true CN111556173A (zh) 2020-08-18
CN111556173B CN111556173B (zh) 2022-03-22

Family

ID=72005388

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010584435.0A Active CN111556173B (zh) 2020-06-24 2020-06-24 一种基于强化学习的服务链映射方法

Country Status (1)

Country Link
CN (1) CN111556173B (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112087329A (zh) * 2020-08-27 2020-12-15 重庆大学 一种网络服务功能链部署方法
CN112637032A (zh) * 2020-11-30 2021-04-09 中国联合网络通信集团有限公司 一种服务功能链的部署方法及装置
CN112949988A (zh) * 2021-02-01 2021-06-11 浙江大学 一种基于强化学习的服务流程构造方法
CN115037628A (zh) * 2022-05-23 2022-09-09 郑州轻工业大学 一种基于深度强化学习的自适应服务功能链映射方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103944997A (zh) * 2014-04-29 2014-07-23 上海交通大学 结合随机抽样和虚拟化技术的负载均衡方法
CN108900358A (zh) * 2018-08-01 2018-11-27 重庆邮电大学 基于深度信念网络资源需求预测的虚拟网络功能动态迁移方法
CN109714219A (zh) * 2019-03-13 2019-05-03 大连大学 一种基于卫星网络的虚拟网络功能快速映射算法
CN110505082A (zh) * 2019-07-26 2019-11-26 国家电网有限公司 一种面向成本和QoS的NFV服务链映射方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103944997A (zh) * 2014-04-29 2014-07-23 上海交通大学 结合随机抽样和虚拟化技术的负载均衡方法
CN108900358A (zh) * 2018-08-01 2018-11-27 重庆邮电大学 基于深度信念网络资源需求预测的虚拟网络功能动态迁移方法
CN109714219A (zh) * 2019-03-13 2019-05-03 大连大学 一种基于卫星网络的虚拟网络功能快速映射算法
CN110505082A (zh) * 2019-07-26 2019-11-26 国家电网有限公司 一种面向成本和QoS的NFV服务链映射方法

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112087329A (zh) * 2020-08-27 2020-12-15 重庆大学 一种网络服务功能链部署方法
CN112087329B (zh) * 2020-08-27 2022-06-07 重庆大学 一种网络服务功能链部署方法
CN112637032A (zh) * 2020-11-30 2021-04-09 中国联合网络通信集团有限公司 一种服务功能链的部署方法及装置
CN112637032B (zh) * 2020-11-30 2022-03-15 中国联合网络通信集团有限公司 一种服务功能链的部署方法及装置
CN112949988A (zh) * 2021-02-01 2021-06-11 浙江大学 一种基于强化学习的服务流程构造方法
CN112949988B (zh) * 2021-02-01 2024-01-05 浙江大学 一种基于强化学习的服务流程构造方法
CN115037628A (zh) * 2022-05-23 2022-09-09 郑州轻工业大学 一种基于深度强化学习的自适应服务功能链映射方法
CN115037628B (zh) * 2022-05-23 2023-08-22 郑州轻工业大学 一种基于深度强化学习的自适应服务功能链映射方法

Also Published As

Publication number Publication date
CN111556173B (zh) 2022-03-22

Similar Documents

Publication Publication Date Title
CN111556173B (zh) 一种基于强化学习的服务链映射方法
CN109039942B (zh) 一种基于深度强化学习的网络负载均衡系统及均衡方法
WO2020181761A1 (zh) 一种sdn增强路径装箱装置及方法
CN112486690B (zh) 一种适用于工业物联网的边缘计算资源分配方法
CN108259367B (zh) 一种基于软件定义网络的服务感知的流策略定制方法
US11784931B2 (en) Network burst load evacuation method for edge servers
CN108965014B (zh) QoS感知的服务链备份方法及系统
CN108111335B (zh) 一种调度和链接虚拟网络功能的方法及系统
WO2023066084A1 (zh) 算力分配方法、装置及算力服务器
CN108075974B (zh) 一种流量转发控制方法、装置及sdn架构系统
CN105302858B (zh) 一种分布式数据库系统的跨节点查询优化方法及系统
CN113778683B (zh) 一种基于神经网络的Handle标识体系解析负载均衡方法
CN114697229A (zh) 一种分布式路由规划模型的构建方法及应用
CN108880909B (zh) 一种基于强化学习的网络节能方法及装置
CN106817256A (zh) 一种分布式系统网络资源运维管理可靠性提升方法
CN110247795A (zh) 一种基于意图的云网资源服务链编排方法及系统
CN113612692A (zh) 基于dqn算法的集中式光片上网络自适应路由规划方法
CN114938374A (zh) 跨协议负载均衡方法及系统
Li et al. Service chain mapping algorithm based on reinforcement learning
WO2024146193A1 (zh) 一种基于sdn的路由路径选择方法、装置及存储介质
CN111817975B (zh) 混合式网内动态负载均衡方法、装置及系统
CN113676407A (zh) 一种通信网的深度学习驱动的流量优化机制
CN106445680A (zh) 基于综合效用的计算单元迁移方法
Masoumzadeh et al. Deep blue: A fuzzy q-learning enhanced active queue management scheme
CN112422651A (zh) 一种基于强化学习的云资源调度性能瓶颈预测方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant