CN114173392A - 一种基于深度强化学习的软件定义星地融合网络QoE感知路由架构 - Google Patents

一种基于深度强化学习的软件定义星地融合网络QoE感知路由架构 Download PDF

Info

Publication number
CN114173392A
CN114173392A CN202111485689.8A CN202111485689A CN114173392A CN 114173392 A CN114173392 A CN 114173392A CN 202111485689 A CN202111485689 A CN 202111485689A CN 114173392 A CN114173392 A CN 114173392A
Authority
CN
China
Prior art keywords
domain
satellite
controller
qoe
network
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202111485689.8A
Other languages
English (en)
Other versions
CN114173392B (zh
Inventor
徐双
王兴伟
李灯熬
王昊
赵正鹏
房阳
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Taiyuan University of Technology
Original Assignee
Taiyuan University of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Taiyuan University of Technology filed Critical Taiyuan University of Technology
Priority to CN202111485689.8A priority Critical patent/CN114173392B/zh
Publication of CN114173392A publication Critical patent/CN114173392A/zh
Application granted granted Critical
Publication of CN114173392B publication Critical patent/CN114173392B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W40/00—Communication routing or communication path finding
    • H04W40/02—Communication route or path selection, e.g. power-based or shortest path routing
    • H04W40/12—Communication route or path selection, e.g. power-based or shortest path routing based on transmission quality or channel quality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04B—TRANSMISSION
    • H04B7/00—Radio transmission systems, i.e. using radiation field
    • H04B7/14—Relay systems
    • H04B7/15—Active relay systems
    • H04B7/185—Space-based or airborne stations; Stations for satellite systems
    • H04B7/1851—Systems using a satellite or space-based relay
    • H04B7/18513—Transmission in a satellite or space-based system
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04B—TRANSMISSION
    • H04B7/00—Radio transmission systems, i.e. using radiation field
    • H04B7/14—Relay systems
    • H04B7/15—Active relay systems
    • H04B7/185—Space-based or airborne stations; Stations for satellite systems
    • H04B7/1851—Systems using a satellite or space-based relay
    • H04B7/18519—Operations control, administration or maintenance
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W40/00—Communication routing or communication path finding
    • H04W40/02—Communication route or path selection, e.g. power-based or shortest path routing
    • H04W40/18—Communication route or path selection, e.g. power-based or shortest path routing based on predicted events
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D30/00—Reducing energy consumption in communication networks
    • Y02D30/70—Reducing energy consumption in communication networks in wireless communication networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Astronomy & Astrophysics (AREA)
  • Theoretical Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Computational Linguistics (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)
  • Radio Relay Systems (AREA)

Abstract

本发明公开一种基于深度强化学习的软件定义星地融合网络QoE感知路由架构，该架构利用软件定义星地融合网络的集中控制和可编程能力，有机结合深度强化学习的自学习能力，以用户QoE为路由规划依据，采用物理分布的超控制器、域控制器和从控制器实现网络状态的收集与更新，域间路由的计算，业务流的映射与汇聚，以及路由指令的分发与卫星交换机流表项的配置；在域内控制器上部署多媒体业务QoE评估模块和深度强化学习智能体，以QoE评估模块反馈的用户QoE值为奖励利用深度强化学习算法计算域内转发路径。本发明能够均衡控制器间的计算负载，降低对控制器计算能力和对星地融合网络动力学分析以及业务流建模的精确性要求，提高整网的用户体验质量。

Description

一种基于深度强化学习的软件定义星地融合网络QoE感知路 由架构
技术领域
本发明涉及星地融合网络通信和路由领域，具体涉及一种基于深度强化学习的软件定义星地融合网络QoE感知路由架构。
背景技术
6G网络将突破地形地表的限制，真正实现全球用户无论何时、何地的全场景信息立体覆盖，响应未来面向万物智联通信需求，在更加复杂多样的应用场景中为用户提供极致性能体验。构建跨地域、跨空域、跨海域的星地融合网络，实现真正意义上的全球无缝覆盖，是未来通信网络发展的重要方向。针对星地融合网络灵活性差、差异化服务弱、资源利用率低等问题，近年来提出了基于SDN/NFV技术的软件定义星地融合网络架构，来实现网络可重构组网，提供面向业务需求的资源配置和服务保障。软件定义星地融合网络将网络控制平面与数据平面相解耦，使得网络转发设备功能得以简化，控制器所组成的控制平面可以获取网络的全局信息，并在分析网络业务量分布、节点负载信息和网络拓扑信息的基础上对业务流进行统一的路由规划。
无论是传统星地融合网络还是软件定义星地融合网络，路由规划在连接星地融合网络设备，提高通信质量和网络性能方面起着至关重要的作用。现有路由机制多基于星地融合网络的规律性、周期性和可预测性等提出，主要侧重于面向网络参数设计路由机制，即使用与QoS相关的指标参数作为标准衡量和优化用户满意度，不能很好地满足依赖于用户感知的多媒体业务。而QoE相比QoS更能反映用户对网络服务的满意程度，使用QoE指标代替QoS参数能够提供面向用户QoE改善的路由解决方案，对服务提供商减少客户流失并保持竞争力具有重要的意义。此外，大部分路由方法通常假设网络环境和用户需求模型可以准确建模，但星地融合网络复杂性的增加以及其高度动态变化的特点导致网络环境和用户模型难以准确建模、预测和控制。深度强化学习智能体能够从状态、动作和奖励的动态交互过程中自动学习经验知识，而不需要对系统进行任何简化，降低了对星地融合网络系统动力学分析以及用户业务流建模的精确性要求。同时，深度强化学习智能体能够迅速生成一个近似最优的路由配置，对星地融合网络的实时控制来说具有更大的优势。因此，软件定义星地融合网络中需要一种面向用户的高效自适应智能路由架构，提升网络路由性能，改善用户的体验质量。
发明内容
本发明的目的在于面向软件定义星地融合网络的路由规划问题，围绕星地融合网络路由方法多假设网络环境和用户需求等可准确建模，采用网络QoS参数作为路由规划依据，导致用户QoE不能得到很好满足，同时无法动态适应网络变化的问题，本发明以用户QoE为路由规划依据，充分利用软件定义星地融合网络的集中控制和可编程能力，并与深度强化学习的自学习能力深度结合，提出了一种面向软件定义星地融合网络的基于深度强化学习的QoE感知路由架构。
为实现上述技术目的，达到上述技术效果，本发明公开了一种基于深度强化学习的软件定义星地融合网络QoE感知路由架构，该架构的控制平面由物理分布的超控制器、域控制器和从控制器构成星地融合网络，所述的星地融合网络划分为若干的控制域，所述的控制域由域控制器和一个或者多个从控制器以及多个LEO卫星交换机节点组成，由域控制器进行管理，不同控制域间由所述超控制器进行管理，
其中：
所述超控制器在获取全网状态信息以及跨域业务请求信息之后，能够建立域间路由，选出每个域内的边界节点，完成跨域业务请求到每个域内的边界节点的映射；
所述域控制器在收集域内网络状态信息与业务请求信息之后，能够将域内业务请求与所述超控制器所映射到域内边界节点的跨域业务请求相汇聚，获取每个域内低轨道卫星交换机间所需传输的业务请求矩阵，并向控制域内的从控制器下发域间路由配置指令；
所述从控制器通过同轨道星间链路收集同轨道内低轨道卫星交换机的网络状态信息，并分发所述域控制器所下发的路由配置指令给同轨道内的低轨道卫星交换机，完成卫星交换机节点的流表项配置。
进一步地，所述域控制器上部署有多媒体业务QoE评估模块和深度强化学习智能体模块，所述的多媒体业务QoE评估模块和深度强化学习智能体模块共同协作建立域内路由；
所述的多媒体业务QoE评估模块，
利用基于深度学习的模块化QoE评估网络，并行处理多种不同类型多媒体业务流的QoE评估任务，进而快速地将网络多媒体业务流的QoS参数映射为用户的MOS得分，并将MOS得分作为用户的QoE值反馈给深度强化学习智能体；
所述深度强化学习智能体模块，
将星地融合网络多媒体业务QoE评估模块所反馈的用户QoE值作为奖励，以最大化累积QoE为目标，采用深度强化学习算法不断从经验中学习优化域内网络链路权重配置的策略，进而计算出域内转发路径。
优选的，所述超控制器为地面网络操控管理中心部署，所述域控制器为GEO卫星，所述从控制器为每个LEO卫星轨道面内与GEO卫星距离最近的两颗LEO卫星。
其中，所述星地融合网络空间段由NG颗均匀部署在赤道上方的GEO卫星和NL×ML颗极轨道LEO卫星组成其中，所述星地融合网络为终端用户和多媒体内容提供商提供连通服务，所述终端用户和多媒体内容提供商通过上下行链路直接与LEO卫星交换机相连。
优选的，发送用户与接收用户分别通过源LEO卫星交换机节点与目的LEO卫星交换机节点接入到星地融合网络。
其中，所述路由架构工作流程具体如下：
步骤1：LEO卫星交换机判断新接收到的数据流请求中源LEO卫星交换机和目的LEO卫星交换机是否均为本LEO卫星交换机；若是，则该LEO卫星交换机直接转发数据流给接收用户；若不是，则LEO卫星交换机将数据流请求转发到相应的域控制器，请求转发路径计算；
步骤2：域控制器判断所接收到的请求的目的LEO卫星交换机是否在其控制域内；若是，则域控制器利用通过从控制器收集到的最新信息更新当前网络状态信息，并向深度强化学习智能体模块发送域内路由请求，并跳转到步骤5；若不是，则域控制器将数据流请求发送给超控制器；
步骤3：超控制器执行域间路由算法计算跨域数据流的转发路径，并向涉及的域控制器发送跨域转发路径修改与跨域业务请求映射通知；
步骤4：域控制器通过从控制器来配置所选跨域转发路径上LEO卫星交换机的转发流表，并将域内业务请求与映射到域内边界节点的跨域业务请求相汇聚，以获取当前网络业务请求矩阵信息；
步骤5：深度强化学习智能体获取域控制器内的最新网络状态与业务请求矩阵信息，并采用基于深度强化学习的域内路由算法计算域内转发路径，该域内路由算法执行过程中，QoE评估模块将网络QoS指标参数转换成用户QoE值来向深度强化学习智能体提供奖励值。本发明具有以下有益效果：
本发明域控制器之间以及域控制器和超控制器之间共享路由计算负荷，均衡了控制器间的计算负载，降低了对控制器计算能力的要求，提高了业务请求的路径计算效率。将深度强化学习与SDN组网技术相结合应用于星地融合网络路由规划，采用用户QoE作为星地融合网络多媒体业务路由计算指标，以最大化累积QoE为目标直接从经验中学习优化域内网络链路权重配置的策略，从而指导业务流交付，提高整网的用户体验质量。
附图说明
图1为本发明框架图。
图2为软件定义GEO/LEO星地融合网络实例图。
图3为本发明执行流程图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合实施例，对本发明进行进一步详细说明。
本发明公开了一种基于深度强化学习的软件定义星地融合网络QoE感知路由架构，如图1所示。该架构将星地融合网络划分为不同的域，每个域内部署一个域控制器以及一个或多个从控制器，整个网络部署一个地面超控制器。从控制器与域控制器直接相连，域控制器与超控制器直接相连。超控制器通过域控制器获取全网状态信息以及跨域业务请求信息，并据此建立域间路由，选出每个域内的边界节点，完成跨域业务请求到相应域的映射。域控制器通过从控制器收集域内网络状态信息与业务请求信息，并将域内业务请求与映射到域内的跨域业务请求相汇聚。然后，域控制器中部署的深度强化学习智能体模块根据其上部署的QoE评估模块给出的用户QoE值，采用深度强化学习方法不断调整域内链路权重，进而计算出域内转发路径。域控制器通过从控制器下发路由指令，完成卫星交换机节点的流表项配置。
如图2所示的软件定义GEO/LEO星地融合网络，该网络空间段由NG颗均匀部署在赤道上方的GEO卫星和NL×ML颗极轨道LEO卫星组成，终端用户和多媒体内容提供商通过上下行链路直接与LEO卫星交换机相连。将地面网络操控管理中心部署为超控制器，GEO卫星为域控制器，每个LEO卫星轨道面内与GEO卫星距离最近的两颗LEO卫星为从控制器。LEO卫星交换机(SD-LEO)构成软件定义GEO/LEO星地融合网络数据平面。
根据GEO卫星覆盖范围，将软件定义GEO/LEO星地融合网络划分为多个域，每个域由一个域控制器管理，不同域间由超控制器管理。每个域中包含一个或者多个从控制器以及多个SD-LEO节点。
假设发送用户与接收用户分别通过源SD-LEO节点与目的SD-LEO节点接入到星地融合网络。如图3所示，当一个新的业务流发送请求数据包到达SD-LEO节点时，首先比较源SD-LEO节点和目的SD-LEO节点的地址：
(1)如果目的SD-LEO节点与源SD-LEO节点相同，且与当前SD-LEO节点一致，则表明发送用户和接收用户位于同一SD-LEO节点覆盖范围内，可以直接将数据流转发给接收用户。
(2)否则，SD-LEO节点将业务流的第一个数据包转发到相应的域控制器，请求转发路径计算。
域控制器接收到请求后，首先判断目的SD-LEO节点是否在其管控域内：
(1)如果目的SD-LEO节点在其管控域内，域控制器则利用从从控制器收集到的最新信息更新当前网络状态，激活深度强化学习智能体模块采用域内路由算法计算可行路径，并修改在所选转发路径上的SD-LEO节点的转发流表。
(2)如果目的SD-LEO节点不在域控制器的管控域内，域控制器则将第一个数据请求包发送到超控制器。超控制器执行域间路由算法计算跨域间的数据流转发路径，并向涉及的域控制器发送通知修改所选转发路径上SD-LEO节点的转发流表和网络业务请求状态。
根据上述描述可知，当发送用户与接收用户位于同一个域时，仅需通过域控制器进行路径计算，只有当发送用户与接收用户位于不同的域时，才需要通过超控制器进行路径计算。根据延迟性能分析可知，SD-LEO节点和域控制器间的延迟小于SD-LEO节点和超控制器间的延迟。因此，相比仅通过地面控制器实现路径计算的路由架构，本发明所提出的路由架构能够提高路由响应速率。此外，域控制器之间以及域控制器和超控制器之间共享路由计算负荷，均衡了控制器间的计算负载，降低了对控制器计算能力的要求。最后，该路由架构将用户QoE作为路由计算指标，直接从最优化长期累积QoE的经验中学习优化网络链路权重配置的策略，从而指导业务流转发，有利于提高用户的体验质量。
以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内。

Claims (8)

1.一种基于深度强化学习的软件定义星地融合网络QoE感知路由架构，其特征在于，该架构的控制平面由物理分布的超控制器、域控制器和从控制器构成，所述的星地融合网络划分为若干的控制域，所述的控制域由域控制器和一个或者多个从控制器以及多个低轨道卫星交换机节点组成，由域控制器进行管理，不同控制域间由所述超控制器进行管理，
其中：
所述超控制器在获取全网状态信息以及跨域业务请求信息之后，能够建立域间路由，选出每个域内的边界节点，完成跨域业务请求到每个域内的边界节点的映射；
所述域控制器在收集域内网络状态信息与业务请求信息之后，能够将域内业务请求与所述超控制器所映射到域内边界节点的跨域业务请求相汇聚，获取每个域内低轨道卫星交换机间所需传输的业务请求矩阵，并向控制域内的从控制器下发域间路由配置指令；
所述从控制器通过同轨道星间链路收集同轨道内低轨道卫星交换机的网络状态信息，并分发所述域控制器所下发的路由配置指令给同轨道内的低轨道卫星交换机，完成卫星交换机节点的流表项配置。
2.根据权利要求1所述的一种基于深度强化学习的软件定义星地融合网络QoE感知路由架构，其特征在于，所述域控制器上部署有多媒体业务QoE评估模块和深度强化学习智能体模块，所述的多媒体业务QoE评估模块和深度强化学习智能体模块共同协作建立域内路由；
所述的多媒体业务QoE评估模块，
利用基于深度学习的模块化QoE评估网络，并行处理多种不同类型多媒体业务流的QoE评估任务，进而快速地将网络多媒体业务流的QoS参数映射为用户的MOS得分，并将MOS得分作为用户的QoE值反馈给深度强化学习智能体；
所述的深度强化学习智能体模块，
将星地融合网络多媒体业务QoE评估模块所反馈的用户QoE值作为奖励，以最大化累积QoE为目标，采用深度强化学习算法不断从经验中学习优化域内网络链路权重配置的策略，进而计算出域内转发路径。
3.根据权利要求1或2所述的一种基于深度强化学习的软件定义星地融合网络QoE感知路由架构，其特征在于，
所述超控制器为地面网络操控管理中心部署，所述域控制器为GEO卫星，所述从控制器为LEO卫星。
4.根据权利要求3所述的一种基于深度强化学习的软件定义星地融合网络QoE感知路由架构，其特征在于，
每个LEO卫星轨道面内与GEO卫星距离最近的两颗LEO卫星为从控制器。
5.根据权利要求4所述的一种基于深度强化学习的软件定义星地融合网络QoE感知路由架构，其特征在于，
所述星地融合网络空间段由NG颗均匀部署在赤道上方的GEO卫星和NL×ML颗极轨道LEO卫星组成。
6.根据权利要求1所述的一种基于深度强化学习的软件定义星地融合网络QoE感知路由架构，其特征在于，
所述星地融合网络为终端用户和多媒体内容提供商提供连通服务，所述终端用户和多媒体内容提供商通过上下行链路直接与LEO卫星交换机相连。
7.根据权利要求6所述的一种基于深度强化学习的软件定义星地融合网络QoE感知路由架构，其特征在于，
发送用户与接收用户分别通过源LEO卫星交换机节点与目的LEO卫星交换机节点接入到星地融合网络。
8.根据权利要求7所述的一种基于深度强化学习的软件定义星地融合网络QoE感知路由架构，其特征在于，所述路由架构工作流程具体如下：
步骤1：LEO卫星交换机判断新接收到的数据流请求中源LEO卫星交换机和目的LEO卫星交换机是否均为本LEO卫星交换机；若是，则该LEO卫星交换机直接转发数据流给接收用户；若不是，则LEO卫星交换机将数据流请求转发到相应的域控制器，请求转发路径计算；
步骤2：域控制器判断所接收到的数据流请求的目的LEO卫星交换机是否在其控制域内；若是，则域控制器利用通过从控制器收集到的最新信息更新当前网络状态信息，并向深度强化学习智能体模块发送域内路由请求，并跳转到步骤5；若不是，则域控制器将数据流请求发送给超控制器；
步骤3：超控制器执行域间路由算法计算跨域数据流的转发路径，并向涉及的域控制器发送跨域转发路径修改与跨域业务请求映射通知；
步骤4：域控制器通过从控制器来配置所选跨域转发路径上LEO卫星交换机的转发流表，并将域内业务请求与映射到域内边界节点的跨域业务请求相汇聚，以获取当前网络业务请求矩阵信息；
步骤5：深度强化学习智能体获取域控制器内的最新网络状态与业务请求矩阵信息，并采用基于深度强化学习的域内路由算法计算域内转发路径，该域内路由算法执行过程中，QoE评估模块将网络QoS指标参数转换成用户QoE值来向深度强化学习智能体提供奖励值。
CN202111485689.8A 2021-12-07 2021-12-07 一种基于深度强化学习的软件定义星地融合网络QoE感知路由架构 Active CN114173392B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111485689.8A CN114173392B (zh) 2021-12-07 2021-12-07 一种基于深度强化学习的软件定义星地融合网络QoE感知路由架构

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111485689.8A CN114173392B (zh) 2021-12-07 2021-12-07 一种基于深度强化学习的软件定义星地融合网络QoE感知路由架构

Publications (2)

Publication Number Publication Date
CN114173392A true CN114173392A (zh) 2022-03-11
CN114173392B CN114173392B (zh) 2023-07-18

Family

ID=80484048

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111485689.8A Active CN114173392B (zh) 2021-12-07 2021-12-07 一种基于深度强化学习的软件定义星地融合网络QoE感知路由架构

Country Status (1)

Country Link
CN (1) CN114173392B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114500273A (zh) * 2022-04-07 2022-05-13 北京盈通恒信电力科技有限公司 用于电力载波通信传输的方法、装置、系统

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109257091A (zh) * 2018-09-18 2019-01-22 北京邮电大学 全局负载均衡星地协同网络组网装置和方法
CN110166305A (zh) * 2019-06-04 2019-08-23 电子科技大学 一种基于意图的应用QoE管理方法及系统
WO2021013368A1 (en) * 2019-07-25 2021-01-28 Telefonaktiebolaget Lm Ericsson (Publ) Machine learning based adaption of qoe control policy
US20210099378A1 (en) * 2019-09-30 2021-04-01 Ciena Corporation Optimizing Border Gateway Protocol (BGP) traffic using Reinforcement Learning
CN112996058A (zh) * 2021-02-23 2021-06-18 哈尔滨工业大学（深圳） 基于多无人机网络的用户QoE优化方法、无人机及系统

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109257091A (zh) * 2018-09-18 2019-01-22 北京邮电大学 全局负载均衡星地协同网络组网装置和方法
CN110166305A (zh) * 2019-06-04 2019-08-23 电子科技大学 一种基于意图的应用QoE管理方法及系统
WO2021013368A1 (en) * 2019-07-25 2021-01-28 Telefonaktiebolaget Lm Ericsson (Publ) Machine learning based adaption of qoe control policy
US20210099378A1 (en) * 2019-09-30 2021-04-01 Ciena Corporation Optimizing Border Gateway Protocol (BGP) traffic using Reinforcement Learning
CN112996058A (zh) * 2021-02-23 2021-06-18 哈尔滨工业大学（深圳） 基于多无人机网络的用户QoE优化方法、无人机及系统

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114500273A (zh) * 2022-04-07 2022-05-13 北京盈通恒信电力科技有限公司 用于电力载波通信传输的方法、装置、系统
CN114500273B (zh) * 2022-04-07 2022-06-28 北京盈通恒信电力科技有限公司 用于电力载波通信传输的方法、装置、系统

Also Published As

Publication number Publication date
CN114173392B (zh) 2023-07-18

Similar Documents

Publication Publication Date Title
CN109257091B (zh) 全局负载均衡星地协同网络组网装置和方法
CN104702522A (zh) 软件定义网络(sdn)中基于性能的路由
CN109981438A (zh) 一种面向sdn和nfv协同部署框架的卫星网络负载均衡方法
CN101132363B (zh) 基于强化学习的自主联合无线资源管理系统和方法
CN113572686A (zh) 一种基于SDN的天地一体化自适应动态QoS路由方法
CN109005108B (zh) 一种空间网络路由规划方法及系统
CN104885484A (zh) 使用抽象网络资源需求的服务提供
CN113315569A (zh) 一种链路生存时长加权的卫星可靠性路由方法及系统
Han et al. Time-varying topology model for dynamic routing in LEO satellite constellation networks
CN106789744A (zh) 基于融合网络虚拟化带有时延感知的高吞吐资源调度方法
CN105636062A (zh) 一种面向业务适度服务的认知无线网络传输学习方法
Zuo et al. Deep reinforcement learning based load balancing routing for LEO satellite network
CN101860938B (zh) 感知网络上下文信息实现自治路由控制的网络节点和方法
Shi et al. SARSA-based delay-aware route selection for SDN-enabled wireless-PLC power distribution IoT
Tao et al. A traffic scheduling scheme for load balancing in SDN-based space-air-ground integrated networks
CN114173392A (zh) 一种基于深度强化学习的软件定义星地融合网络QoE感知路由架构
CN109450667A (zh) 基于网络功能虚拟化的移动性管理方法及装置
Jazaeri et al. Toward caching techniques in edge computing over SDN-IoT architecture: A review of challenges, solutions, and open issues
CN116684418B (zh) 基于算力服务网关的算力编排调度方法、算力网络及装置
Chen Simulation model of AI-assisted cognitive routing algorithm for the dynamic optical network in business
Wu Deep reinforcement learning based multi-layered traffic scheduling scheme in data center networks
CN115225512B (zh) 基于节点负载预测的多域服务链主动重构机制
CN110601897A (zh) 一种网络资源配置方法及装置
Zhang et al. Isfc: Intent-driven service function chaining for satellite networks
Wu et al. QoS provisioning in space information networks: Applications, challenges, architectures, and solutions

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant