CN110995858B - 一种基于深度q网络的边缘网络请求调度决策方法 - Google Patents

一种基于深度q网络的边缘网络请求调度决策方法 Download PDF

Info

Publication number
CN110995858B
CN110995858B CN201911300727.0A CN201911300727A CN110995858B CN 110995858 B CN110995858 B CN 110995858B CN 201911300727 A CN201911300727 A CN 201911300727A CN 110995858 B CN110995858 B CN 110995858B
Authority
CN
China
Prior art keywords
network
node
request
subsystem
decision
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201911300727.0A
Other languages
English (en)
Other versions
CN110995858A (zh
Inventor
夏秋粉
任文昊
徐子川
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Dalian University of Technology
Original Assignee
Dalian University of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Dalian University of Technology filed Critical Dalian University of Technology
Priority to CN201911300727.0A priority Critical patent/CN110995858B/zh
Publication of CN110995858A publication Critical patent/CN110995858A/zh
Application granted granted Critical
Publication of CN110995858B publication Critical patent/CN110995858B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/50—Network services
    • H04L67/60—Scheduling or organising the servicing of application requests, e.g. requests for application data transmissions using the analysis and optimisation of the required network resources
    • H04L67/63—Routing a service request depending on the request content or context

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)

Abstract

本发明提供了一种基于深度Q网络的边缘网络请求调度决策方法，通过网络数据获取子系统获取当前网络状态和请求队列。通过特征嵌入子系统，使用图嵌入方法将网络节点信息抽象为特征向量。通过微云选择子系统和节点选择子系统，读取特征向量，利用深度强化学习方法建立决策模型，将模型存储于移动边缘网络请求调度决策应用系统。最后使用移动边缘网络请求调度决策应用系统，实时获取决策所需的当前网络状态和请求队列，在决策模型已经充分收敛的条件下即可决策出所管理网络的请求调度路径并应用在所管理网络上。

Description

一种基于深度Q网络的边缘网络请求调度决策方法
技术领域
本发明涉及一种移动边缘网络服务功能链请求调度方法，属于计算机网络路由技术领域，该方法可以根据当前网络状态和请求特征来动态指导请求在网络中的路由过程以优化整个网络的性能。
背景技术
为了解决网络异构设备和通用网络架构之间的矛盾，软件定义网络(SoftwareDefined Network，SDN)技术和网络功能虚拟化(Network Function Virtualization，NFV)技术应运而生，成为近年来网络架构发展的趋势。SDN是一种新型网络架构，其核心技术OpenFlow将网络设备的控制和转发功能分离开来，并通过SDN控制器进行集中控制，对于网络的管理者来说，可以通过控制器对网络中的所有网络设备进行管理，优化路由、流量监测、故障处理等功能都可以通过SDN的控制平面进行统一管理。而SDN控制器无论是优化路由还是异常处理，都比孤立的单个网元更具有远见，能够更好地做出决策。NFV是通过x86等通用硬件和虚拟化技术，使用软件实现过去依赖专用硬件才能实现的网络功能。NFV不仅能够降低购买昂贵专用设备的成本，而且可以实现网络功能的灵活部署和快速响应。对于特定的网络功能(如NAT、防火墙等)，可以按需部署在指定的机器，当业务需求发生改变时，可以动态增加、删除、迁移虚拟网络功能(Virtual Network Function，VNF)实例，从而将过去需要重新部署实体网络设备、配置网络设备的任务简化为控制系统自动化进行的软件行为，大大提升了网络结构的灵活性。
SDN和NFV等新型网络技术的出现，带来了新的功能的同时，也带来了新的挑战，而请求调度问题则是核心问题之一。特别地，针对NFV技术，不仅存在请求路由问题，还存在服务功能链(Service Function Chain，SFC)组链问题。由于VNF可以快速在多点进行启动，灵活扩张和部署，在指导路由的同时，如何在综合考虑服务器负载、链路带宽延迟，服务器上是否现存所需的VNF实例等多重因素的前提下，合理选择VNF的放置位置，组成请求所需的完整SFC，是这一问题在NFV领域的拓展。由于需要解决VNF在何处部署的问题，因此这一问题又被叫做VNF放置问题。解决这一问题，是提高网络性能、保证网络服务质量(Quality ofService，QoS)的关键。
目前针对路由问题领域的算法，主要分为经典的启发式算法和基于机器学习的算法。在传统网络中，通常基于广播(Broadcast)和洪泛(Blooding)进行网络设备之间的信息交换，主要有LS算法、Dijkstra算法、链路向量选路算法、距离向量算法等。启发式算法难以避免地存在手工工程(Handcrafted)的现象，算法的效率取决于提出者对于网络负载和环境的理解、提出者的洞察力和应用能力，并且需要相当的专业知识和长期收集的统计数据。随着深度学习特别是深度强化学习取得巨大成果，出现了越来越多基于强化学习的无监督训练的算法模型。基于深度学习的算法从动态适应性和性能方面取得了一定程度的进步，但是依然存在相当的局限性。在网络路由领域应用深度强化学习算法，还有大量的研究工作需要完成。
发明内容
为了有效的解决在移动边缘网络中的请求调度问题，本发明提出了一种基于深度神经网络的请求调度方法及系统，以实现对网络请求的路由指导并优化网络性能。
本发明的技术方案：
1、网络数据获取子系统，实时获取当前网络状态和请求队列。
2、特征嵌入子系统，使用图嵌入方法将网络节点映射为p维向量。
3、微云选择子系统，通过深度强化学习方法，读取网络的特征嵌入向量，通过深度Q网络，建立决策模型，输出微云选择决策。
4、节点选择子系统，通过深度强化学习方法，读取网络的特征嵌入向量，通过深度Q网络，建立决策模型，输出节点选择决策。
5、移动边缘网络请求调度决策应用系统，将微云选择决策模型和选择决策模型存储到移动边缘网络请求调度决策应用系统中，实时获取决策所需的当前网络状态和请求队列，在决策模型已经充分收敛的条件下即可决策出当前网络的请求调度路径并应用在当前网络上。
一种基于深度Q网络的边缘网络请求调度决策方法及系统，所用的系统包括网络数据获取子系统、微云选择子系统、节点选择子系统、移动边缘网络请求调度决策应用系统。
(1)网络数据获取子系统具体运行过程如下：
(1.1)获取当前网络状态和请求队列，网络状态包括链路连接情况、链路带宽、链路时延、链路抖动、链路已用容量、网络节点数量、节点与微云连接情况、微云容量、微云已用容量等；请求队列包括请求的源节点、目的节点、带宽约束、时延约束、SFC约束等。
(1.2)对请求队列进行k-means聚类处理，分为k类分别输入决策模型；
(2)特征嵌入子系统的具体运行过程如下：
(2.1)为网络G(V,E,w)的每个节点v∈V初始化一个p维向量
Figure BDA0002321716540000031
如果节点是交换机节点，
Figure BDA0002321716540000032
如果节点还连有微云，
Figure BDA0002321716540000033
(2.2)对于每个节点v∈V，由下式递归地同步更新μvT轮：
Figure BDA0002321716540000034
其中：V′v,α表示节点v在图G中距离α跳以内的相邻节点，而F为一般的非线性映射，例如神经网络或者核函数，w(v,u)是边的权值函数。具体来说，使用这一函数F来更新p维向量μv：
Figure BDA0002321716540000041
其中xv为0-1变量表示节点v是否曾被选择，de表示链路e的延迟，Dk为请求rk的延迟约束，pv,u为从节点p到节点u的所有路径，ce为边的权值函数，取
Figure BDA0002321716540000042
CLk是候选微云集合，
Figure BDA0002321716540000043
为从节点p到微云clj的所有路径，Bal是链路已经使用的带宽，B是链路的总带宽，relu是线性整流函数；
μv向量代表节点输入决策模型；
(3)微云选择子系统的具体运行过程如下：
(3.1)将经验回放存储器M初始化为容量N；
(3.2)初始化状态为S1＝()；
(3.3)为请求rk初始化候选微云集合CLk，条件为微云还有足够的空间至少可以放置服务功能链SCk中未放置的第一个VNF；
(3.4)判断请求rk的SCk是否放置完毕，如果放置完毕则选择请求的目的节点vt＝dk，否则以概率ε从CLk中随机选择一个微云vt＝clj，否则使用深度Q网络选择
Figure BDA0002321716540000044
其中
Figure BDA0002321716540000045
其中
Figure BDA0002321716540000046
是微云选择子系统深度Q网络模型的可训练参数；
(3.5)使用节点选择子系统做出动作vt的具体路径决策，使用应用系统执行动作vt，将动作vt添加到状态S，更新奖励R为执行动作vt的累积奖励，如果请求rk没有执行完毕则返回(3.3)继续执行；
(3.6)使用n步Q学习方法，如果请求rk的循环次数t≥n则向M中添加记录(St-n,vt-n,Rt-n,t,St)；
(3.7)从M中随机抽样B～M并使用随机梯度下降方法根据B更新Θ；
(4)节点选择子系统的具体运行过程如下：
(4.1)将经验回放存储器M′初始化为容量N′＝100000；
(4.2)初始化状态为S′1＝(sk)，若节点选择子任务为请求rk决策过程的第一个子任务则sk为请求rk的起点，否则sk为上一个节点选择子任务的终点；
(4.3)为微云选择子系统定义的阶段目标初始化候选节点集合Vk，条件为在当前节点α跳内可以到达且路径链路的剩余带宽满足请求rk的带宽约束；
(4.4)以概率ε'从Vk中随机选择一个节点v't＝vj，否则使用深度Q网络选择
Figure BDA0002321716540000051
其中
Figure BDA0002321716540000052
其中
Figure BDA0002321716540000053
是节点选择子系统深度Q网络模型的可训练参数；
(4.5)使用应用系统执行动作v't并更新奖励，将动作v't添加到状态S，更新奖励r(S,v)＝c(S′,G)-c(S,G)，其中
Figure BDA0002321716540000054
Bk为请求rk的带宽约束，如果阶段目标没有执行完毕则返回(4.3)继续执行；
(4.6)使用n步Q学习方法，如果阶段目标的循环次数t≥n则向M′中添加记录(S't-n,v't-n,R't-n,t,S't)；
(4.7)从M′中随机抽样B'～M′并使用随机梯度下降方法根据B'更新Θ'；
(5)将请求调度决策模型储存在应用系统，实时获取到网络的状态和请求队列，将网络状态和请求输入到特征嵌入子系统，获取网络节点的特征嵌入向量，之后通过相对应的请求调度决策模型，根据网络状态和请求得出决策路径并执行。
本发明的有益效果：互联网的发展对网络架构提出了新的要求，而NFV、SDN技术的发展和流行为网络管理带来了新的挑战。伴随这些新技术而来的便是请求路由和VNF放置问题，主要涉及两方面：一是如何请求所需的VNF实例应该放置在何处，二是如何将请求由源节点依序经过VNF路由至目的节点。现有的算法主要分为启发式算法和基于深度学习的算法。启发式算法算法难以避免“手工工程”现象，难以在网络类型不同的情况下保持较好的性能；目前基于深度学习的算法没有考虑图嵌入算法对模型的影响，没有有效提取网络结构的特征，且直接映射导致不能处理网络结构动态改变的情况。本发明对图嵌入算法进行改进，以提高特征嵌入的有效性，并适应移动边缘网络中的动态变化；采用双网络结构分别决策微云选择和节点选择，解决了多阶段多目标问题在强化学习领域的应用问题，使得网络请求调度的性能得以提升。
与传统的启发式算法相比,本算法减少了人工水平对算法适应性的影响，使得算法可以适应更广泛的网络环境；与没有使用图嵌入算法的深度学习算法相比，本算法可以适应网络节点的接入和退出导致的节点总数变化，节点链路变化等情况，而且可以在决策过程中继续学习，适应网络状态的演进变化，表现出更强的自适应能力和鲁棒性。
附图说明
图1为本发明所述的边缘网络请求调度决策组织结构图。
图2为本发明所述的网络数据获取流程图。
图3为本发明所述的特征嵌入流程图。
图4为本发明所述的基于深度Q网络模型的微云选择模型流程图。
图5为本发明所述的基于深度Q网络模型的节点选择模型流程图。
图6为本发明所述的边缘网络请求调度决策应用系统流程图。
具体实施方式
为了将本发明的目的，技术方案和优点表达的更清晰明了，接下来将通过实施例和附图，对本发明做进一步的详尽的说明。此处的具体实施例仅用来解释说明本发明，并不局限于本发明。
一种基于深度Q网络的边缘网络请求调度决策方法及系统，所用的系统包括网络数据获取子系统、微云选择子系统、节点选择子系统、移动边缘网络请求调度决策应用系统。
参照图1，网络数据获取子系统具体运行过程如下：
获取当前网络状态和请求队列，网络状态包括链路连接情况、链路带宽、链路时延、链路抖动、链路已用容量、网络节点数量、节点与微云连接情况、微云容量、微云已用容量等；请求队列包括请求的源节点、目的节点、带宽约束、时延约束、SFC约束等。
对请求队列进行k-means聚类处理，分为k类分别输入决策模型；
参照图2，特征嵌入子系统的具体运行过程如下：
使用正态分布初始化深度Q网络参数Θ～N(0,0.0001)，确定隐层节点个数I为64、优化器为Adam；
为网络G(V,E,w)的每个节点v∈V初始化一个p维向量
Figure BDA0002321716540000071
如果节点是交换机节点，
Figure BDA0002321716540000072
如果节点还连有微云，
Figure BDA0002321716540000073
对于每个节点v∈V，由下式递归地同步更新μvT轮，对于微云决策的特征嵌入，取T＝6，对于节点决策的特征嵌入，取T＝4：
Figure BDA0002321716540000074
其中：V′v,α表示节点v在图G中距离α跳以内的相邻节点，xv为0-1变量表示节点v是否曾被选择，de表示链路e的延迟，Dk为请求rk的延迟约束，pv,u为从节点p到节点u的所有路径，ce为边的权值函数，取
Figure BDA0002321716540000075
CLk是候选微云集合，
Figure BDA0002321716540000076
为从节点p到微云clj的所有路径，Bal是链路已经使用的带宽，B是链路的总带宽，relu是线性整流函数；μv向量代表节点输入决策模型；
微云选择子系统的具体运行过程如下：
将经验回放存储器M初始化为容量N＝10000；
初始化状态为S1＝()；
为请求rk初始化候选微云集合CLk，条件为微云还有足够的空间至少可以放置服务功能链SCk中未放置的第一个VNF；
判断请求rk的SCk是否放置完毕，如果放置完毕则选择请求的目的节点vt＝dk，否则以概率ε从CLk中随机选择一个微云vt＝clj，否则使用深度Q网络选择
Figure BDA0002321716540000081
其中
Figure BDA0002321716540000082
其中
Figure BDA0002321716540000083
是微云选择子系统深度Q网络模型的可训练参数，对于ε取动态值，在模型训练时取1.0、0.1、0.01、0.001分别对应模型循环10000次以内、100000次以内、100000000次以内以及100000000次以上的情况，在模型决策时取ε＝0；
使用节点选择子系统做出动作vt的具体路径决策，使用应用系统执行动作vt，将动作vt添加到状态S，更新奖励R为执行动作vt的累积奖励，如果请求rk没有执行完毕则返回步骤8继续执行；
使用n步Q学习方法，如果请求rk的循环次数t≥n则向M中添加记录(St-n,vt-n,Rt-n,t,St)，取n＝6；
从M中随机抽样128个样本B～M并使用随机梯度下降方法根据B更新Θ；
节点选择子系统的具体运行过程如下：
将经验回放存储器M′初始化为容量N′＝100000；
初始化状态为S′1＝(sk)，若节点选择子任务为请求rk决策过程的第一个子任务则sk为请求rk的起点，否则sk为上一个节点选择子任务的终点；
为微云选择子系统定义的阶段目标初始化候选节点集合Vk，条件为在当前节点α跳内可以到达且路径链路的剩余带宽满足请求rk的带宽约束，取α为网络G的直径；
以概率ε'从Vk中随机选择一个节点v't＝vj，否则使用深度Q网络选择
Figure BDA0002321716540000084
其中
Figure BDA0002321716540000085
其中
Figure BDA0002321716540000086
是节点选择子系统深度Q网络模型的可训练参数，对于ε'取动态值，在模型训练时取1.0、0.1、0.01、0.001分别对应模型循环200000次以内、2000000次以内、100000000次以内以及100000000次以上的情况，在模型决策时取ε＝0；
使用应用系统执行动作v't并更新奖励，将动作v't添加到状态S，更新奖励r(S,v)＝c(S′,G)-c(S,G)，其中
Figure BDA0002321716540000087
Bk为请求rk的带宽约束，如果阶段目标没有执行完毕则返回步骤15继续执行；
使用n步Q学习方法，如果阶段目标的循环次数t≥n则向M′中添加记录(S't-n,v't-n,R't-n,t,S't)；
从M′中随机抽样B'～M′并使用随机梯度下降方法根据B'更新Θ'；
将请求调度决策模型储存在应用系统，实时获取到网络的状态和请求队列，将网络状态和请求输入到特征嵌入子系统，获取网络节点的特征嵌入向量，之后通过相对应的请求调度决策模型，根据网络状态和请求得出决策路径并执行。

Claims (1)

1.一种基于深度Q网络的边缘网络请求调度决策方法，所用的系统包括网络数据获取子系统、特征嵌入子系统、微云选择子系统、节点选择子系统、移动边缘网络请求调度决策应用系统；其特征在于，
(1)网络数据获取子系统具体运行过程如下：
(1.1)获取当前网络状态和请求队列，网络状态包括链路连接情况、链路带宽、链路时延、链路抖动、链路已用容量、网络节点数量、节点与微云连接情况、微云容量和微云已用容量；请求队列包括请求的源节点、目的节点、带宽约束、时延约束和SFC约束；其中SFC表示服务功能链；
(1.2)对请求队列进行k-means聚类处理，分为k类分别输入决策模型；
(2)特征嵌入子系统的具体运行过程如下：
(2.1)为网络G(V,E,w)的每个节点v∈V初始化一个p维向量
Figure FDA0003155764440000011
如果节点是交换机节点，
Figure FDA0003155764440000012
如果节点还连有微云，
Figure FDA0003155764440000013
(2.2)对于每个节点v∈V，由下式递归地同步更新μvT轮：
Figure FDA0003155764440000014
其中：V′v,α表示节点v在网络G中距离α跳以内的相邻节点，F为非线性映射，w(v,u)是边的权值函数；使用这一函数F来更新p维向量μv：
Figure FDA0003155764440000015
其中，xv为0-1变量表示节点v是否曾被选择，de表示链路e的延迟，Dk为请求rk的延迟约束，pv,u为从节点p到节点u的所有路径，ce为边的权值函数，取
Figure FDA0003155764440000016
CLk是候选微云集合，
Figure FDA0003155764440000017
为从节点p到微云clj的所有路径，Bal是链路已经使用的带宽，B是链路的总带宽，relu是线性整流函数；μv向量代表节点输入决策模型；
(3)微云选择子系统的具体运行过程如下：
(3.1)将经验回放存储器M初始化为容量N＝10000；
(3.2)初始化状态为S1＝()；
(3.3)为请求rk初始化候选微云集合CLk，条件为微云还有足够的空间至少放置服务功能链SCk中未放置的第一个VNF；
(3.4)判断请求rk的SCk是否放置完毕，如果放置完毕则选择请求的目的节点vt＝dk，否则以概率ε从CLk中随机选择一个微云vt＝clj，或者使用深度Q网络选择
Figure FDA0003155764440000021
其中
Figure FDA0003155764440000022
其中
Figure FDA0003155764440000023
是微云选择子系统深度Q网络模型的可训练参数；
(3.5)使用节点选择子系统做出动作vt的具体路径决策，使用移动边缘网络请求调度决策应用系统执行动作vt，将动作vt添加到状态St，更新奖励R为执行动作vt的累积奖励，如果请求rk没有执行完毕则返回(3.3)继续执行；
(3.6)使用n步Q学习方法，如果请求rk的循环次数t≥n则向M中添加记录(St-n,vt-n,Rt-n,t,St)；
(3.7)从M中随机抽样B～M并使用随机梯度下降方法根据B更新Θ；
(4)节点选择子系统的具体运行过程如下：
(4.1)将另一经验回放存储器M′初始化为容量N′＝100000；
(4.2)初始化状态为S′1＝(s′k)，若节点选择子任务为请求rk决策过程的第一个子任务则s′k为请求rk的起点，否则s′k为上一个节点选择子任务的终点；
(4.3)为微云选择子系统定义的阶段目标初始化候选节点集合Vk，条件为在当前节点α跳内可以到达且路径链路的剩余带宽满足请求rk的带宽约束；
(4.4)以概率ε'从Vk中随机选择一个节点v't＝vj，否则使用深度Q网络选择
Figure FDA0003155764440000024
其中
Figure FDA0003155764440000025
其中
Figure FDA0003155764440000026
是节点选择子系统深度Q网络模型的可训练参数；
(4.5)使用移动边缘网络请求调度决策应用系统执行动作v't并更新奖励，将动作v't添加到状态S′t，更新奖励r(S′t,v't)＝c(S′t+1,G)-c(S′t,G)，其中
Figure FDA0003155764440000031
Bk为请求rk的带宽约束，如果阶段目标没有执行完毕则返回(4.3)继续执行；
(4.6)使用n步Q学习方法，如果阶段目标的循环次数t≥n则向M′中添加记录(S't-n,v't-n,R't-n,t,S't)；
(4.7)从M′中随机抽样B'～M′并使用随机梯度下降方法根据B'更新Θ'；
(5)将请求调度决策模型储存在移动边缘网络请求调度决策应用系统，实时获取到网络的状态和请求队列，将网络状态和请求输入到特征嵌入子系统，获取网络节点的特征嵌入向量，之后通过相对应的请求调度决策模型，根据网络状态和请求得出决策路径并执行。
CN201911300727.0A 2019-12-17 2019-12-17 一种基于深度q网络的边缘网络请求调度决策方法 Active CN110995858B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911300727.0A CN110995858B (zh) 2019-12-17 2019-12-17 一种基于深度q网络的边缘网络请求调度决策方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911300727.0A CN110995858B (zh) 2019-12-17 2019-12-17 一种基于深度q网络的边缘网络请求调度决策方法

Publications (2)

Publication Number Publication Date
CN110995858A CN110995858A (zh) 2020-04-10
CN110995858B true CN110995858B (zh) 2022-02-25

Family

ID=70094694

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911300727.0A Active CN110995858B (zh) 2019-12-17 2019-12-17 一种基于深度q网络的边缘网络请求调度决策方法

Country Status (1)

Country Link
CN (1) CN110995858B (zh)

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111562972A (zh) * 2020-04-24 2020-08-21 西北工业大学 一种面向群智感知的泛在操作系统
CN111669291B (zh) * 2020-06-03 2021-06-01 北京理工大学 基于深度强化学习的虚拟化网络服务功能链部署方法
WO2022014916A1 (ko) * 2020-07-15 2022-01-20 한양대학교 에리카산학협력단 패킷전송 결정 장치 및 패킷전송 스케줄 결정 방법
CN114077482B (zh) * 2020-08-18 2024-04-16 中国科学院沈阳自动化研究所 一种工业智能制造边缘智能计算优化方法
CN113015196B (zh) * 2021-02-23 2022-05-06 重庆邮电大学 一种基于状态感知的网络切片故障愈合方法
CN113254197B (zh) * 2021-04-30 2023-02-03 西安电子科技大学 一种基于深度强化学习的网络资源调度方法及系统
CN113347102B (zh) * 2021-05-20 2022-08-16 中国电子科技集团公司第七研究所 基于q-学习的sdn链路抗毁方法、存储介质及系统
CN113259175B (zh) * 2021-06-10 2021-09-24 中国人民解放军国防科技大学 一种边缘计算环境下的安全服务与功能服务联合编排方法
CN113709701B (zh) * 2021-08-27 2022-06-17 西安电子科技大学 毫米波车联网联合波束分配和中继选择方法、系统及设备
CN115173923B (zh) * 2022-07-04 2023-07-04 重庆邮电大学 一种低轨卫星网络能效感知路由优化方法和系统
CN116209015B (zh) * 2023-04-27 2023-06-27 合肥工业大学智能制造技术研究院 一种边缘网络缓存调度方法、系统和存储介质
CN116545877B (zh) * 2023-06-28 2023-09-05 广东技术师范大学 跨域sfc动态部署方法、装置、计算机设备及存储介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107911299A (zh) * 2017-10-24 2018-04-13 浙江工商大学 一种基于深度q学习的路由规划方法
CN108900419A (zh) * 2018-08-17 2018-11-27 北京邮电大学 Sdn架构下基于深度强化学习的路由决策方法及装置
CN109976909A (zh) * 2019-03-18 2019-07-05 中南大学 边缘计算网络中基于学习的低延时任务调度方法
WO2019190476A1 (en) * 2018-03-27 2019-10-03 Nokia Solutions And Networks Oy Method and apparatus for facilitating resource pairing using a deep q-network
CN110351348A (zh) * 2019-06-27 2019-10-18 广东石油化工学院 一种基于dqn的云计算资源调度优化方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107911299A (zh) * 2017-10-24 2018-04-13 浙江工商大学 一种基于深度q学习的路由规划方法
WO2019190476A1 (en) * 2018-03-27 2019-10-03 Nokia Solutions And Networks Oy Method and apparatus for facilitating resource pairing using a deep q-network
CN108900419A (zh) * 2018-08-17 2018-11-27 北京邮电大学 Sdn架构下基于深度强化学习的路由决策方法及装置
CN109976909A (zh) * 2019-03-18 2019-07-05 中南大学 边缘计算网络中基于学习的低延时任务调度方法
CN110351348A (zh) * 2019-06-27 2019-10-18 广东石油化工学院 一种基于dqn的云计算资源调度优化方法

Also Published As

Publication number Publication date
CN110995858A (zh) 2020-04-10

Similar Documents

Publication Publication Date Title
CN110995858B (zh) 一种基于深度q网络的边缘网络请求调度决策方法
Guo et al. Intelligent task offloading in vehicular edge computing networks
Ghobaei-Arani et al. A cost-efficient IoT service placement approach using whale optimization algorithm in fog computing environment
CN110428046B (zh) 神经网络结构的获取方法及装置、存储介质
CN111371644B (zh) 基于gru的多域sdn网络流量态势预测方法及系统
CN113098714B (zh) 基于强化学习的低时延网络切片方法
WO2019050952A1 (en) SYSTEMS, METHODS, AND MEDIA FOR DISTRIBUTING DATABASE INTERROGATIONS THROUGH A PAYING VIRTUAL NETWORK
US11327806B1 (en) Profiling and application monitoring for edge devices based on headroom
CN111988787B (zh) 一种任务的网络接入和服务放置位置选择方法及系统
CN113573320B (zh) 边缘网络中基于改进的演员-评论家算法的sfc部署方法
JP5673473B2 (ja) 分散計算機システム及び分散計算機システムの制御方法
Bouzidi et al. Dynamic clustering of software defined network switches and controller placement using deep reinforcement learning
Xu et al. Living with artificial intelligence: A paradigm shift toward future network traffic control
US20240095529A1 (en) Neural Network Optimization Method and Apparatus
WO2018168695A1 (ja) 分散機械学習装置、分散機械学習方法および分散機械学習記録媒体
CN113050955A (zh) 一种自适应ai模型部署方法
CN113904937B (zh) 一种服务功能链迁移方法、装置、电子设备及存储介质
CN116582407A (zh) 一种基于深度强化学习的容器化微服务编排系统及方法
Nikbazm et al. KSN: Modeling and simulation of knowledge using machine learning in NFV/SDN-based networks
US20220051135A1 (en) Load balancing using data-efficient learning
CN108228323A (zh) 基于数据本地性的Hadoop任务调度方法及装置
CN113301134B (zh) 一种适用于边缘物联代理装置的容错型协作决策的方法
CN116798103B (zh) 基于人工智能的人脸图像处理方法及系统
Gao et al. Location Aware Workflow Migration Based on Deep Reinforcement Learning in Mobile Edge Computing
Zitouna Learning-based Orchestrator for Intelligent Software-defined Networking Controllers

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant