CN114040016A - 卫星边缘智能代理的编排方法、系统、介质及计算设备 - Google Patents
卫星边缘智能代理的编排方法、系统、介质及计算设备 Download PDFInfo
- Publication number
- CN114040016A CN114040016A CN202111288087.3A CN202111288087A CN114040016A CN 114040016 A CN114040016 A CN 114040016A CN 202111288087 A CN202111288087 A CN 202111288087A CN 114040016 A CN114040016 A CN 114040016A
- Authority
- CN
- China
- Prior art keywords
- service
- migration
- sub
- decoupling
- layer
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 81
- 230000005012 migration Effects 0.000 claims abstract description 76
- 238000013508 migration Methods 0.000 claims abstract description 76
- 238000005457 optimization Methods 0.000 claims abstract description 59
- 238000006243 chemical reaction Methods 0.000 claims abstract description 9
- 230000006870 function Effects 0.000 claims description 17
- 238000004364 calculation method Methods 0.000 claims description 13
- 230000005540 biological transmission Effects 0.000 claims description 11
- 238000003860 storage Methods 0.000 claims description 11
- 238000012549 training Methods 0.000 claims description 11
- 230000007704 transition Effects 0.000 claims description 8
- 230000009471 action Effects 0.000 claims description 6
- 230000009191 jumping Effects 0.000 claims description 6
- 238000009795 derivation Methods 0.000 claims description 4
- 230000009977 dual effect Effects 0.000 claims description 4
- 230000001351 cycling effect Effects 0.000 claims description 2
- 238000004891 communication Methods 0.000 abstract description 15
- 239000003795 chemical substances by application Substances 0.000 description 47
- 238000010586 diagram Methods 0.000 description 12
- 238000004590 computer program Methods 0.000 description 11
- 238000004422 calculation algorithm Methods 0.000 description 9
- 230000008569 process Effects 0.000 description 5
- 238000012545 processing Methods 0.000 description 4
- 230000007547 defect Effects 0.000 description 3
- 238000004088 simulation Methods 0.000 description 3
- 238000013461 design Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000003993 interaction Effects 0.000 description 2
- 238000005295 random walk Methods 0.000 description 2
- 230000002787 reinforcement Effects 0.000 description 2
- 235000008694 Humulus lupulus Nutrition 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000003190 augmentative effect Effects 0.000 description 1
- 239000002131 composite material Substances 0.000 description 1
- 125000004122 cyclic group Chemical group 0.000 description 1
- 238000000354 decomposition reaction Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 239000002184 metal Substances 0.000 description 1
- 229910052751 metal Inorganic materials 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000002085 persistent effect Effects 0.000 description 1
- 238000002360 preparation method Methods 0.000 description 1
- 239000000126 substance Substances 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
- H04L41/14—Network analysis or design
- H04L41/145—Network analysis or design involving simulating, designing, planning or modelling of a network
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D30/00—Reducing energy consumption in communication networks
- Y02D30/70—Reducing energy consumption in communication networks in wireless communication networks
Landscapes
- Engineering & Computer Science (AREA)
- Computer Networks & Wireless Communication (AREA)
- Signal Processing (AREA)
- Mobile Radio Communication Systems (AREA)
Abstract
本发明涉及一种卫星边缘智能代理的编排方法、系统、介质及计算设备，其包括：计算所有服务实例的总延时，根据所述总延时得到代理迁移问题对应的优化问题；将所述优化问题解耦成若干子问题，由若干子问题转换形成低维MDP问题，求解解耦后的所述低维MDP问题，实现以最小延时为目的的智能代理按需迁移。本发明能实现高维状态空间向低维状态空间的转换，解决了天基边缘场景下的智能代理迁移问题。本发明可以在卫星通信技术领域中广泛应用。
Description
技术领域
本发明涉及一种卫星通信技术领域，特别是关于一种卫星边缘智能代理的编 排方法、系统、介质及计算设备。
背景技术
随着移动应用的快速普及，新兴的网络服务涌现在网络边缘并占据了大量的 计算资源与带宽资源，尤其是虚拟现实(VR)、增强现实、人机交互游戏等新型产 业。在这种趋势下，资源受限的回程网络难以承载上述业务的低延时需求，因此移 动边缘计算(MEC)计算应时而生。该技术将算力从云中心下放至网络边缘，通 过在基站部署智能代理的方式，实现在用户侧服务用户，保证移动用户的高QoS 需求。
虽然MEC提高了用户服务质量，但也引入了新问题，尤其是用户的移动性导 致智能代理的迁移问题。考虑某用户接入基站后，由部署在基站处的智能代理为 用户提供服务。当用户迁移至其他基站的服务范围内时，智能代理是否需实时迁 移。若迁移代理，则需要中断服务，并将服务实例传输至目标基站，此过程产生服 务中断延时；若不迁移代理，则需要由远程链路实时通信，此过程产生传输延时， 上述过程如图1所示。因此，在无法预测用户移动性的前提下，如何制定代理的 迁移策略，以最小化总延时成为目前探讨的核心问题。
发明内容
针对上述问题，本发明的目的是提供一种卫星边缘智能代理的编排方法、系 统、介质及计算设备，其能实现高维状态空间向低维状态空间的转换，解决了天基 边缘场景下的智能代理迁移问题。
为实现上述目的，一方面，本发明采取的技术方案为：一种卫星边缘智能代理 的编排方法，其包括：计算所有服务实例的总延时，根据所述总延时得到代理迁移 问题对应的优化问题；将所述优化问题解耦成若干子问题，由若干子问题转换形 成低维MDP问题，求解解耦后的所述低维MDP问题，实现以最小延时为目的的 智能代理按需迁移。
进一步，所述计算获得所述总延时，包括：在系统总周期内，计算各所述服务 实例运行时所需的总计算延时；在系统总周期内，不迁移所述服务实例时，计算各 所述服务实例所需的传输延时；当所述服务实例需要迁移时，计算所述服务实例 在不同基站间迁移所产生的迁移延时；将所有所述服务实例的所述总计算延时、 所述传输延时和所述迁移延时求和，得到所述总延时。
进一步，所述将所述优化问题解耦成若干子问题，采用两层解耦法将高维状 态空间分解为若干个低维状态空间。
进一步，所述两层解耦法，包括：
第一层解耦采用变量解耦和直接解耦法：将所述优化问题拆解成两部分，第 一部分对计算资源、带宽资源和功率资源采用变量解耦，将三个变量分别独立求 解，得到优化后的子问题；第二部分对迁移决策变量采用直接解耦优化，直接解耦 成若干整数规划问题；
第二层解耦采用对偶解耦法：将各所述整数规划问题经拉格朗日推导转化为 二层主问题与服务层子问题；所述二层主问题用于优化拉格朗日乘子，再将所述 二层主问题解耦成若干所述服务层子问题，所述服务层子问题解耦后优化每个服 务实例的决策变量；
所述服务层子问题关于决策变量构成所述低维MDP问题。
进一步，所述求解解耦后的所述低维MDP问题，采用在所述服务层子问题、 所述主问题和所述子问题之间互相迭代计算，实现从针对基站的优化化解到针对 每个服务实例的优化，包括：
对迁移决策变量、计算资源、带宽资源和功率资源及拉格朗日乘子进行初始 化；
对每个时隙进行迭代计算，包括：
外层循环：循环变量为第三个服务实例，如果满足迭代终止条件，则终止该外 层循环；
第一个内循环：对所有基站遍历；
求解所述子问题中关于计算资源变量的凸优化问题；
继续执行第一个内循环，循环变量第一个服务实例；
求解所述子问题中关于功率资源变量的凸优化问题；
求解所述子问题中关于带宽资源变量的凸优化问题；
满足第一个内循环的迭代终止条件，则执跳出第一个内循环；
执行第二个内循环：循环变量第二个服务实例；
对基站内的每个服务执行新的MDP模型训练，求解所述服务层子问题并输出 每个服务实例的迁移决策变量；
更新拉格朗日乘子；
若满足第二个内循环的迭代终止条件，则执跳出第二个内循环；
将迭代计算得到的迁移决策变量、计算资源、带宽资源和功率资源作为输出。
进一步，所述对基站内的每个服务执行新的MDP模型训练，包括：
将生成的决策变量、拉格朗日乘子作为输入，并用策略迭代的方法训练新的 MDP模型；
依据训练的结果，求解所述服务层子问题并输出每个服务实例的迁移决策变 量。
进一步，确定所述低维MDP的状态空间、行动、转移概率和瞬时收益函数；
所述转移概率
其中f∈Fn t-1，
表示服务实例n在t时隙可行的迁移集合；
所述瞬时收益函数为：
其中，
表示迁移服务实例相比不迁移服务实例获得的增益；
为效 用函数。
另一方面，本发明采取的技术方案为：一种卫星边缘智能代理的编排系统，其 包括：优化问题确定模块和解耦转换模块；所述优化问题确定模块，计算所有服务 实例的总延时，根据所述总延时得到代理迁移问题的优化问题；所述解耦转换模 块，将所述优化问题解耦成若干子问题，由若干子问题转换形成低维MDP问题， 求解解耦后的所述低维MDP问题，实现以最小延时为目的的智能代理按需迁移。
另一方面，本发明采取的技术方案为：一种存储一个或多个程序的计算机可 读存储介质，所述一个或多个程序包括指令，所述指令当由计算设备执行时，使得 所述计算设备执行上述方法中的任一方法。
另一方面，本发明采取的技术方案为：一种计算设备，其包括：一个或多个处 理器、存储器及一个或多个程序，其中一个或多个程序存储在所述存储器中并被 配置为所述一个或多个处理器执行，所述一个或多个程序包括用于执行上述方法 中的任一方法的指令。
本发明由于采取以上技术方案，其具有以下优点：
本发明基于直接解耦法及dual解耦法，设计了两层联合解耦算法，实现高维 状态空间向低维状态空间的转换，并采用策略迭代的方法求解解耦后的MDP，从 而解决天基边缘场景下的智能代理迁移问题。
附图说明
图1是现有技术中的智能代理迁移场景图；
图2是本发明一实施例中的降低高维状态空间的核心原理示意图；
图3是本发明一实施例中的解耦架构及各子问题关系图；
图4是本发明一实施例中的两层解耦算法与传统的持续迁移、不迁移、随机 迁移性能对比结果图；
图5a是本发明一实施例中两层解耦算法与传统的持续迁移、不迁移、随机迁 移的系数m变化结果图；
图5b是本发明一实施例中两层解耦算法与传统的持续迁移、不迁移、随机迁 移的参数C0的变化结果图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施 例的附图，对本发明实施例的技术方案进行清楚、完整地描述。显然，所描述的实 施例是本发明的一部分实施例，而不是全部的实施例。基于所描述的本发明的实 施例，本领域普通技术人员所获得的所有其他实施例，都属于本发明保护的范围。
需要注意的是，这里所使用的术语仅是为了描述具体实施方式，而非意图限 制根据本申请的示例性实施方式。如在这里所使用的，除非上下文另外明确指出， 否则单数形式也意图包括复数形式，此外，还应当理解的是，当在本说明书中使用 术语“包含”和/或“包括”时，其指明存在特征、步骤、操作、器件、组件和/或它们 的组合。
现有的代理迁移模型大多基于马尔科夫决策过程(MDP)，且可被分为两类， 一是针对单一代理搭建MDP模型，二是针对全网所有代理搭建MDP模型。显然， 前者局限于单一代理，因此其优点是模型的状态空间较小，简单的动态规划算法 (如值迭代、策略迭代)或Q-learning算法即可求得MDP模型的解，但缺点是无 法为各个代理合理分配基站的计算资源；而后者放眼于全网的智能代理，优点是 可以决定每个代理占用基站的计算资源，更贴近实际情况，其缺点是模型的状态 空间极大，难以直接用动态规划等算法求解。因此现有文献大多采用深度强化学 习的方法，但该方法的理论可解释性较差，且性能好坏依赖于参数的选取，具有极 大地随机性。因此，本发明提出两层解耦方法，将M2N高维状态空间分解为N个 M2的低维状态空间，并采用策略迭代的方法求解解耦后的MDP问题，该问题的 核心实现方案如图2所示。本发明在天基边缘通信场景下，通过两层解耦的方法 大幅度降低MDP的状态空间，实现以最小延时为目的的智能代理按需迁移。
在本发明的一个实施例中，如图2所示，提供一种卫星边缘智能代理的编排 方法、系统、介质及计算设备，本实施例以该方法应用于终端进行举例说明，可以 理解的是，该方法也可以应用于服务器，还可以应用于包括终端和服务器的系统， 并通过终端和服务器的交互实现。本实施例中，为有效地解决天基边缘网络中的 智能代理迁移问题，本实施例提出面向天基边缘网络的代理迁移模型及解耦方法， 本发明的方法包括以下步骤：
1)计算所有服务实例的总延时，根据总延时得到代理迁移问题对应的优化问 题P1；
2)将优化问题P1解耦成若干子问题，由若干子问题转换形成低维MDP问 题，求解解耦后的低维MDP问题，实现以最小延时为目的的智能代理按需迁移。
在本实施例中，令T＝{1,2,…,T}表示系统总周期，令M＝{1,2,…,M}表示基 站的集合，N＝{1,2,…,N}表示移动用户的集合，假设移动用户向基站卸载延时敏 感的应用，并由基站处的智能代理为用户提供服务。本文假设每个智能代理都以 一个服务实例(service instance)的形式服务一个用户，因此智能代理的数量、服 务实例的数量、移动用户的数量同为N。令三元组
表示第n个服务 实例服务第n个用户时的属性，其中
表示t时段内迁移该服务实例时所需要的数 据大小，
表示t时段内服务实例所需的CPU周期数(即该服务实例的总计算量)，
表示t时段内，远程传输时所需的通信数据量，且该数值显然与基站距离有关。 定义决策变量为四元组{X,C,W,P}，其中
表示t时段的迁移决策， 
表示服务实例n在第t时段的开始时刻决定迁移至基站m处。同理，
表示用户t时段的位置。由于用户的迁移具有随机性，因此
表示用户n在第t时段随机迁移至基站k。此外，
分别表示服务实例n在基站中所消 耗的计算资源、带宽资源、功率资源。
上述步骤1)中，计算获得总延时，包括以下步骤：
1.1)在系统总周期T内，计算各服务实例n运行时所需的总计算延时
其中，
表示t时段内服务实例n所需的CPU周期数，
表示t时段内服务 实例n在基站中所消耗的计算资源。
1.2)在系统总周期T内，不迁移服务实例n时，计算各服务实例n所需的传 输延时
其中，
分别表示接入延时与回程链路的传输延时，具体公式如 下：
其中，
表示远程传输时所需的通信数据量，
表示服务实例n在基站中所消耗的带宽资源，
表示t时段内服务实例n在基站中所消耗的功率资源，
表示信 道增益，
表示白噪声功率，分母代表通信速率；因此，
表示用户与基站 间的接入延时。
其中，
表示第n个服务实例所在的基站位置
与第n个用户所迁移的基站位置
之间的跳数，m0为权重系数。
1.3)当服务实例n需要迁移时，计算服务实例n在不同基站间迁移所产生的 迁移延时
其中，
表示基站
与基站
之间的传输速率，
表示迁移服务实例n时所需要的数据大小，t0表示启动服务迁移所需消耗的准备时间。若没有发生迁移，则令
1.4)将所有服务实例的总计算延时、传输延时和迁移延时求和，得到总延时Ttotal；
根据总延时建立优化问题P1为：
P1:
其中，
为示性函数，
表示
ξn表示服务实例n的重要程度，本文假设
令
表示参数集合，该参数可 由卫星调控。C0、W0、P0分别表示基站的CPU资源、基站的带宽资源、基站的功 率资源。
上述步骤2)中，传统的代理迁移问题基于优化模型直接转换为相应的高维 MDP问题，转换方法为定义
表示t时隙的状态， 显然状态空间的大小为M2N，该数值过大难以求解。在传统的服务代理迁移问题中， 大多采用深度强化学习的方法直接求解该高维MDP问题，该方法理论可解释性 差，且性能好坏严重依赖于深度神经网络的参数选取。为摆脱传统方法的缺点，本 发明提出两层解耦法，将优化问题P1解耦成多个优化子问题，由多个优化子问题 转换为多个低维MDP问题，并得到大小为N×M2的状态空间，以替代M2N。
其中，两层解耦法，如图3所示，具体为：
第一层解耦采用变量解耦和直接解耦法：将优化问题P1拆解成两部分，第一 部分对计算资源(C)、带宽资源(W)和功率资源(P)采用变量解耦，将三个变量分别 独立求解，得到优化后的子问题P2；第二部分对迁移决策变量采用直接解耦优化， 直接解耦成若干整数规划问题P3；
具体为：
首先将目标函数改写为下式：
将原始的优化问题P1可拆解成两部分，第一部分只优化变量C,W,P，本实施 例将只优化变量C,W,P的问题表述为下述子问题P2：
P2:
由于C,W,P是连续性变量，因此上述问题是一个凸优化问题。优化问题P1拆 解成的第二部分主要负责优化迁移决策变量X，以每个基站为单位，将问题对X 的优化问题直接解耦成下述的整数规划问题P3：
P3:
至此完成优化问题的第一层解耦。
第二层解耦采用对偶解耦法：将各整数规划问题P3经拉格朗日推导转化为二 层主问题P4与服务层子问题P5；二层主问题P4用于优化拉格朗日乘子，而服务层 子问题P5解耦后优化每个服务实例的决策变量X；服务层子问题P5关于决策变量 X构成低维MDP问题。
具体为：
将整数规划问题P3的拉格朗日函数写成下式：
其中，
是包含拉格朗日乘子的新目 标函数，K(λ,μ,η)＝1λTC0+1μTP0+1ηTW0是不含决策变量X的部分。基于上述拉格 朗日推导，将整数规划问题P3进一步转化为二层主问题P4与服务层子问题P5。
P4:
s.t.λ≥0,μ≥0,η≥0
其中，P4是第二层解耦的主问题，旨在优化拉格朗日乘子λ,μ,η。
P5:
s.t.X∈M
其中，P5是第二层解耦的子问题，该子问题解耦后针对服务实例。至此第二 层解耦完毕，该层解耦实现了从针对基站的优化化解到针对每个服务实例的优化。 由上述解耦可知，整数规划问题P3针对每个基站进行优化，而服务层子问题P5针 对每个服务实例进行优化，优化粒度更细。至此完成上述步骤2)中的解耦部分， 并得到各解耦后的子问题。
上述步骤2)中，将得到优化的服务层子问题P5转换为低维MDP问题，求解 解耦后的低维MDP问题，采用在服务层子问题P5、主问题P4和子问题P2之间互 相迭代计算，实现从针对基站的优化化解到针对每个服务实例的优化，包括以下 步骤：
(1)对迁移决策变量X、计算资源C、带宽资源W和功率资源P及拉格朗 日乘子λ,μ,η进行初始化；
(2)对每个时隙t＝1,2,...,T进行迭代计算，包括以下步骤：
(2.1)执行外层循环：循环变量为第三个服务实例n3，如果满足迭代终止条 件，则终止该外层循环；
其中，迭代终止条件为：
若||P(n3)-P(n3-1)||<∈&||W(n3)-W(n3-1)||<∈&||C(n3)-C(n3- 1)||<∈&(X(n3)＝＝X(n3-1)成立，则终止外层循环；
(2.1.1)执行第一个内循环：对所有基站m＝1,2,...,M遍历；
(2.1.1.1)求解子问题P2中关于计算资源变量C的凸优化问题；
(2.1.1.2)继续执行第一个内循环，循环变量第一个服务实例n1；
(2.1.1.3)求解子问题P2中关于功率资源变量P的凸优化问题；
(2.1.1.4)求解子问题P2中关于带宽资源变量W的凸优化问题；
(2.1.1.5)满足第一个内循环的迭代终止条件，则执跳出第一个内循环；
其中，第一个内循环的迭代终止条件为：
如果|P(n1)-P(n1-1)<∈||&||W(n1)-W(n1-1)<∈||，则执跳出第一个内循环；
(2.1.2)执行第二个内循环：循环变量第二个服务实例n2；
(2.1.2.1)对基站m内的每个服务k＝1,2,...,Nm执行新的MDP模型训练，求解 服务层子问题P5并输出每个服务实例的迁移决策变量；
具体为：
将前述步骤生成的变量C、P、W，及拉格朗日乘子等数据作为输入，并用策 略迭代的方法训练新的MDP模型；
依据训练的结果，求解服务层子问题P5并输出每个服务实例的迁移决策变量 X。
(2.1.2.2)更新拉格朗日乘子：
更新拉格朗日乘子
更新拉格朗日乘子
更新拉格朗日乘子
(2.1.2.3)若满足第二个内循环的迭代终止条件，则执跳出第二个内循环；
其中，第二个内循环的迭代终止条件为：
如果
则跳出第二个内层循环；
(3)将迭代计算得到的迁移决策变量、计算资源、带宽资源和功率资源作为 输出。
上述各实施例中，还包括以下步骤：依据服务层子问题P5确定低维MDP的 状态空间、行动、转移概率和瞬时收益函数。
由于在优化问题P1中，将t时隙的状态定义为
其状态空间大小为M2N，若M＝10，N＝20，则 M2N＝1040，该状态空间过于庞大，难以求解。在本实施例中，基于本实施例采用 的双层解耦方法，针对服务层子问题P5，针对服务实例n，定义t时隙的状态空间 为
显然该状态的状态空间大小为M2。定义行动(action)为
每次的动作发生在t时隙的起始时刻，采取动作后的状态从
变为
当用户发 生移动后，状态从
变为St。下面介绍用户移动性：
本实施例假设用户遵从随机游走模型，每个用户以相等的概率转移到相邻的 基站内或保持当前基站位置不动，令
表示服务实例n在t时隙 可行的迁移集合，其中
表示该服务实例的邻居基站集合。为了简化计算，假设 转移概率
其中f∈Fn t-1。
MDP模型下的效用函数为：
其中，||P(n1)-P(n1-1)||<∈&||W(n1)-W(n1-1)||<∈表示服务实例n在t 时隙的效用函数，
表示service n在t时段的收益，∈表示迭代收敛阈值。因此定 义MDP收益函数：
其中，
代表迁移服务实例相比不迁移服务实例获得的增益。
综上，本发明通过两层解耦法将庞大的高维状态空间解耦为大量低维状态空 间，从而解决天基边缘场景下的智能代理迁移问题。
实施例：
在仿真实例中，基站及移动设备的仿真参数如表1所示：
表1参数设计
本实施例中提出的两层解耦方法依据上述仿真参数选取，并与传统的持续迁 移、不迁移、随机迁移对比性能，性能对比结果如下图4、图5a、图5b所示。由 此可知，本发明基于传统的策略迭代，采用双层解耦方法，解决了天基边缘场景下 的服务迁移问题，使得高维状态空间得以分解，打破了对深度强化学习算法的依 赖，提高了算法求解的稳定性。
在本发明的一个实施例中，提供一种卫星边缘智能代理的编排系统，其包括： 优化问题确定模块和解耦转换模块；
优化问题确定模块，计算所有服务实例的总延时，根据总延时得到代理迁移 问题对应的优化问题P1；
解耦转换模块，将优化问题P1解耦成若干子问题，由若干子问题转换形成低 维MDP问题，求解解耦后的低维MDP问题，实现以最小延时为目的的智能代理 按需迁移。
本实施例提供的系统是用于执行上述各方法实施例的，具体流程和详细内容 请参照上述实施例，此处不再赘述。
本发明一实施例中提供一种计算设备结构，该计算设备可以是终端，其可以 包括：处理器(processor)、通信接口(Communications Interface)、存储器(memory)、 显示屏和输入装置。其中，处理器、通信接口、存储器通过通信总线完成相互间的 通信。该处理器用于提供计算和控制能力。该存储器包括非易失性存储介质、内存 储器，该非易失性存储介质存储有操作系统和计算机程序，该计算机程序被处理 器执行时以实现一种编排方法；该内存储器为非易失性存储介质中的操作系统和 计算机程序的运行提供环境。该通信接口用于与外部的终端进行有线或无线方式 的通信，无线方式可通过WIFI、管理商网络、NFC(近场通信)或其他技术实现。该 显示屏可以是液晶显示屏或者电子墨水显示屏，该输入装置可以是显示屏上覆盖 的触摸层，也可以是计算设备外壳上设置的按键、轨迹球或触控板，还可以是外接 的键盘、触控板或鼠标等。处理器可以调用存储器中的逻辑指令，以执行如下方 法：
计算所有服务实例的总延时，根据总延时得到代理迁移问题对应的优化问题 P1；将优化问题P1解耦成若干子问题，由若干子问题转换形成低维MDP问题， 求解解耦后的低维MDP问题，实现以最小延时为目的的智能代理按需迁移。
此外，上述的存储器中的逻辑指令可以通过软件功能单元的形式实现并作为 独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样 的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术 方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储 介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或 者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储 介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存 储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的 介质。
本领域技术人员可以理解，上述计算设备的结构，仅仅是与本申请方案相关 的部分结构，并不构成对本申请方案所应用于其上的计算设备的限定，具体的计 算设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不 同的部件布置。
在本发明的一个实施例中，提供一种计算机程序产品，所述计算机程序产品 包括存储在非暂态计算机可读存储介质上的计算机程序，所述计算机程序包括程 序指令，当所述程序指令被计算机执行时，计算机能够执行上述各方法实施例所 提供的方法，例如包括：计算所有服务实例的总延时，根据总延时得到代理迁移问 题对应的优化问题P1；将优化问题P1解耦成若干子问题，由若干子问题转换形成 低维MDP问题，求解解耦后的低维MDP问题，实现以最小延时为目的的智能代 理按需迁移。
在本发明的一个实施例中，提供一种非暂态计算机可读存储介质，该非暂态 计算机可读存储介质存储服务器指令，该计算机指令使计算机执行上述各实施例 提供的方法，例如包括：计算所有服务实例的总延时，根据总延时得到代理迁移问 题对应的优化问题P1；将优化问题P1解耦成若干子问题，由若干子问题转换形成 低维MDP问题，求解解耦后的低维MDP问题，实现以最小延时为目的的智能代 理按需迁移。
上述实施例提供的一种计算机可读存储介质，其实现原理和技术效果与上述 方法实施例类似，在此不再赘述。
本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的 流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方 框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的 结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其 他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程 数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和 /或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以 特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令 产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/ 或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得 在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从 而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多 个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制； 尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理 解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技 术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本 发明各实施例技术方案的精神和范围。
Claims (10)
1.一种卫星边缘智能代理的编排方法，其特征在于，包括：
计算所有服务实例的总延时，根据所述总延时得到代理迁移问题对应的优化问题；
将所述优化问题解耦成若干子问题，由若干子问题转换形成低维MDP问题，求解解耦后的所述低维MDP问题，实现以最小延时为目的的智能代理按需迁移。
2.如权利要求1所述卫星边缘智能代理的编排方法，其特征在于，所述计算获得所述总延时，包括：
在系统总周期内，计算各所述服务实例运行时所需的总计算延时；
在系统总周期内，不迁移所述服务实例时，计算各所述服务实例所需的传输延时；
当所述服务实例需要迁移时，计算所述服务实例在不同基站间迁移所产生的迁移延时；
将所有所述服务实例的所述总计算延时、所述传输延时和所述迁移延时求和，得到所述总延时。
3.如权利要求1所述卫星边缘智能代理的编排方法，其特征在于，所述将优化问题解耦成若干子问题，采用两层解耦法将高维状态空间分解为若干个低维状态空间。
4.如权利要求3所述卫星边缘智能代理的编排方法，其特征在于，所述两层解耦法，包括：
第一层解耦采用变量解耦和直接解耦法：将所述优化问题拆解成两部分，第一部分对计算资源、带宽资源和功率资源采用变量解耦，将三个变量分别独立求解，得到优化后的子问题；第二部分对迁移决策变量采用直接解耦优化，直接解耦成若干整数规划问题；
第二层解耦采用对偶解耦法：将各所述整数规划问题经拉格朗日推导转化为二层主问题与服务层子问题；所述二层主问题用于优化拉格朗日乘子，再将所述二层主问题解耦成若干所述服务层子问题，所述服务层子问题解耦后优化每个服务实例的决策变量；
所述服务层子问题关于决策变量构成所述低维MDP问题。
5.如权利要求4所述卫星边缘智能代理的编排方法，其特征在于，所述求解解耦后的所述低维MDP问题，采用在所述服务层子问题、所述主问题和所述子问题之间互相迭代计算，实现从针对基站的优化化解到针对每个服务实例的优化，包括：
对迁移决策变量、计算资源、带宽资源和功率资源及拉格朗日乘子进行初始化；
对每个时隙进行迭代计算，包括：
外层循环：循环变量为第三个服务实例，如果满足迭代终止条件，则终止该外层循环；
第一个内循环：对所有基站遍历；
求解所述子问题中关于计算资源变量的凸优化问题；
继续执行第一个内循环，循环变量第一个服务实例；
求解所述子问题中关于功率资源变量的凸优化问题；
求解所述子问题中关于带宽资源变量的凸优化问题；
满足第一个内循环的迭代终止条件，则执跳出第一个内循环；
执行第二个内循环：循环变量第二个服务实例；
对基站内的每个服务执行新的MDP模型训练，求解所述服务层子问题并输出每个服务实例的迁移决策变量；
更新拉格朗日乘子；
若满足第二个内循环的迭代终止条件，则执跳出第二个内循环；
将迭代计算得到的迁移决策变量、计算资源、带宽资源和功率资源作为输出。
6.如权利要求5所述卫星边缘智能代理的编排方法，其特征在于，所述对基站内的每个服务执行新的MDP模型训练，包括：
将生成的决策变量、拉格朗日乘子作为输入，并用策略迭代的方法训练新的MDP模型；
依据训练的结果，求解所述服务层子问题并输出每个服务实例的迁移决策变量。
7.如权利要求1所述卫星边缘智能代理的编排方法，其特征在于，确定所述低维MDP的状态空间、行动、转移概率和瞬时收益函数；
所述转移概率
其中f∈Fn t-1，
表示服务实例n在t时隙可行的迁移集合；
所述瞬时收益函数为：
其中，
表示迁移服务实例相比不迁移服务实例获得的增益；
为效用函数。
8.一种卫星边缘智能代理的编排系统，其特征在于，包括：优化问题确定模块和解耦转换模块；
所述优化问题确定模块，计算所有服务实例的总延时，根据所述总延时得到代理迁移问题对应的优化问题；
所述解耦转换模块，将所述优化问题解耦成若干子问题，由若干子问题转换形成低维MDP问题，求解解耦后的所述低维MDP问题，实现以最小延时为目的的智能代理按需迁移。
9.一种存储一个或多个程序的计算机可读存储介质，其特征在于，所述一个或多个程序包括指令，所述指令当由计算设备执行时，使得所述计算设备执行如权利要求1至7所述方法中的任一方法。
10.一种计算设备，其特征在于，包括：一个或多个处理器、存储器及一个或多个程序，其中一个或多个程序存储在所述存储器中并被配置为所述一个或多个处理器执行，所述一个或多个程序包括用于执行如权利要求1至7所述方法中的任一方法的指令。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111288087.3A CN114040016B (zh) | 2021-11-02 | 2021-11-02 | 卫星边缘智能代理的编排方法、系统、介质及计算设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111288087.3A CN114040016B (zh) | 2021-11-02 | 2021-11-02 | 卫星边缘智能代理的编排方法、系统、介质及计算设备 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN114040016A true CN114040016A (zh) | 2022-02-11 |
| CN114040016B CN114040016B (zh) | 2022-08-12 |
Family
ID=80142536
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202111288087.3A Active CN114040016B (zh) | 2021-11-02 | 2021-11-02 | 卫星边缘智能代理的编排方法、系统、介质及计算设备 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114040016B (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117674961A (zh) * | 2023-11-20 | 2024-03-08 | 航天恒星科技有限公司 | 基于时空特征学习的低轨卫星网络时延预测方法 |
Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109286664A (zh) * | 2018-09-14 | 2019-01-29 | 嘉兴学院 | 一种基于拉格朗日的计算迁移终端能耗优化方法 |
| CN111491332A (zh) * | 2020-04-20 | 2020-08-04 | 中国石油大学(北京) | 动态服务迁移方法及装置 |
| CN111666149A (zh) * | 2020-05-06 | 2020-09-15 | 西北工业大学 | 基于深度强化学习的超密边缘计算网络移动性管理方法 |
| CN112118601A (zh) * | 2020-08-18 | 2020-12-22 | 西北工业大学 | 一种减少6g数字孪生边缘计算网络任务卸载延迟的方法 |
| US20210007023A1 (en) * | 2020-09-17 | 2021-01-07 | Intel Corporation | Context aware handovers |
| US20210144517A1 (en) * | 2019-04-30 | 2021-05-13 | Intel Corporation | Multi-entity resource, security, and service management in edge computing deployments |
| CN113485826A (zh) * | 2021-06-25 | 2021-10-08 | 中国电子科技集团公司第五十四研究所 | 一种边缘服务器负载均衡方法、系统 |
| CN113504987A (zh) * | 2021-06-30 | 2021-10-15 | 广州大学 | 基于迁移学习的移动边缘计算任务卸载方法及装置 |
-
2021
- 2021-11-02 CN CN202111288087.3A patent/CN114040016B/zh active Active
Patent Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109286664A (zh) * | 2018-09-14 | 2019-01-29 | 嘉兴学院 | 一种基于拉格朗日的计算迁移终端能耗优化方法 |
| US20210144517A1 (en) * | 2019-04-30 | 2021-05-13 | Intel Corporation | Multi-entity resource, security, and service management in edge computing deployments |
| CN111491332A (zh) * | 2020-04-20 | 2020-08-04 | 中国石油大学(北京) | 动态服务迁移方法及装置 |
| CN111666149A (zh) * | 2020-05-06 | 2020-09-15 | 西北工业大学 | 基于深度强化学习的超密边缘计算网络移动性管理方法 |
| CN112118601A (zh) * | 2020-08-18 | 2020-12-22 | 西北工业大学 | 一种减少6g数字孪生边缘计算网络任务卸载延迟的方法 |
| US20210007023A1 (en) * | 2020-09-17 | 2021-01-07 | Intel Corporation | Context aware handovers |
| CN113485826A (zh) * | 2021-06-25 | 2021-10-08 | 中国电子科技集团公司第五十四研究所 | 一种边缘服务器负载均衡方法、系统 |
| CN113504987A (zh) * | 2021-06-30 | 2021-10-15 | 广州大学 | 基于迁移学习的移动边缘计算任务卸载方法及装置 |
Non-Patent Citations (4)
| Title |
|---|
| ADLEN KSENTINI等: "A Markov Decision Process-based service migration procedure for follow me cloud", 《2014 IEEE INTERNATIONAL CONFERENCE ON COMMUNICATIONS (ICC)》 * |
| WEIXU WANG等: "Location-Privacy-Aware Service Migration in Mobile Edge Computing", 《2020 IEEE WIRELESS COMMUNICATIONS AND NETWORKING CONFERENCE (WCNC)》 * |
| 姜晓春等: "未来天基指挥控制网络架构及关键技术探讨", 《指挥与控制学报》 * |
| 贾芝婷等: "边缘计算迁移策略研究", 《河北省科学院学报》 * |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117674961A (zh) * | 2023-11-20 | 2024-03-08 | 航天恒星科技有限公司 | 基于时空特征学习的低轨卫星网络时延预测方法 |
| CN117674961B (zh) * | 2023-11-20 | 2024-05-28 | 航天恒星科技有限公司 | 基于时空特征学习的低轨卫星网络时延预测方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN114040016B (zh) | 2022-08-12 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN112422644B (zh) | 计算任务卸载方法及系统、电子设备和存储介质 | |
| Li et al. | Energy-aware task offloading with deadline constraint in mobile edge computing | |
| Li et al. | An integrated optimization-learning framework for online combinatorial computation offloading in MEC networks | |
| CN112988285B (zh) | 任务卸载方法和装置、电子设备及存储介质 | |
| CN113645637B (zh) | 超密集网络任务卸载方法、装置、计算机设备和存储介质 | |
| KR102350195B1 (ko) | 모바일 엣지 컴퓨팅을 활용하는 모바일 증강현실 서비스의 모바일 단말 에너지 최적화 방법 및 시스템 | |
| Qi et al. | Vehicular edge computing via deep reinforcement learning | |
| CN116489708B (zh) | 面向元宇宙的云边端协同的移动边缘计算任务卸载方法 | |
| CN114040016B (zh) | 卫星边缘智能代理的编排方法、系统、介质及计算设备 | |
| CN115499441A (zh) | 超密集网络中基于深度强化学习的边缘计算任务卸载方法 | |
| Mebrek et al. | Intelligent resource allocation and task offloading model for IoT applications in fog networks: a game-theoretic approach | |
| CN116009990A (zh) | 基于宽注意力机制的云边协同元强化学习计算卸载方法 | |
| Dong et al. | Deep progressive reinforcement learning-based flexible resource scheduling framework for IRS and UAV-assisted MEC system | |
| CN110290539A (zh) | 基于用户移动感知和资源预留的移动增强现实应用的资源分配装置及其工作方法 | |
| Wang et al. | Resource allocation based on Radio Intelligence Controller for Open RAN towards 6G | |
| Shi et al. | Multi-UAV-assisted computation offloading in DT-based networks: A distributed deep reinforcement learning approach | |
| Huang et al. | Mobility-aware computation offloading with load balancing in smart city networks using MEC federation | |
| Kuang et al. | Utility-aware UAV deployment and task offloading in multi-UAV edge computing networks | |
| Narayana et al. | A research on various scheduling strategies in fog computing environment | |
| Xie et al. | Backscatter-aided hybrid data offloading for mobile edge computing via deep reinforcement learning | |
| Du et al. | Latency-aware computation offloading and DQN-based resource allocation approaches in SDN-enabled MEC | |
| Farimani et al. | Deadline-aware task offloading in vehicular networks using deep reinforcement learning | |
| Zhang et al. | Learning to coordinate in mobile-edge computing for decentralized task offloading | |
| Song et al. | Latency minimization for mobile edge computing enhanced proximity detection in road networks | |
| Zhang et al. | Resource allocation strategy based on service function Chaining in Multi-Access edge computing network |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |