CN113590232A - 一种基于数字孪生的中继边缘网络任务卸载方法 - Google Patents

一种基于数字孪生的中继边缘网络任务卸载方法 Download PDF

Info

Publication number
CN113590232A
CN113590232A CN202110965259.XA CN202110965259A CN113590232A CN 113590232 A CN113590232 A CN 113590232A CN 202110965259 A CN202110965259 A CN 202110965259A CN 113590232 A CN113590232 A CN 113590232A
Authority
CN
China
Prior art keywords
task
digital twin
user terminal
relay node
edge server
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110965259.XA
Other languages
English (en)
Other versions
CN113590232B (zh
Inventor
徐江
柏基成
李斌
谈昊哲
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanjing University of Information Science and Technology
Original Assignee
Nanjing University of Information Science and Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanjing University of Information Science and Technology filed Critical Nanjing University of Information Science and Technology
Priority to CN202110965259.XA priority Critical patent/CN113590232B/zh
Publication of CN113590232A publication Critical patent/CN113590232A/zh
Application granted granted Critical
Publication of CN113590232B publication Critical patent/CN113590232B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/44—Arrangements for executing specific programs
    • G06F9/445—Program loading or initiating
    • G06F9/44594—Unloading
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
    • G06F9/5005—Allocation of resources, e.g. of the central processing unit [CPU] to service a request
    • G06F9/5027—Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resource being a machine, e.g. CPUs, Servers, Terminals
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
    • G06F9/5061—Partitioning or combining of resources
    • G06F9/5072—Grid computing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2209/00—Indexing scheme relating to G06F9/00
    • G06F2209/50—Indexing scheme relating to G06F9/50
    • G06F2209/509—Offload
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D30/00—Reducing energy consumption in communication networks
    • Y02D30/70—Reducing energy consumption in communication networks in wireless communication networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)

Abstract

本发明公开了一种基于数字孪生的中继边缘网络任务卸载方法，包括搭建中继边缘网络任务卸载策略模型；更新数字孪生体环境中对应的各个部分的状态；将数字孪生体的参数传入模拟任务卸载系统进行迭代训练，得到最优任务卸载策略模型；将最优任务卸载策略模型传输到模拟人工控制界面进行备份；将当前的数字孪生参数训练模型以及最优任务卸载策略模型传输到数字孪生体环境缓存，并由现实中的边缘服务器转发给每个中继节点，中继节点再转发给与其通信的用户终端；用户终端和中继节点根据最优任务卸载策略模型进行相应的任务卸载。本发明可以减少现实5G边缘计算技术在落地过程中的试错成本，提高了落地效率。

Description

一种基于数字孪生的中继边缘网络任务卸载方法
技术领域
本发明属于移动边缘计算技术领域，具体涉及一种基于数字孪生的中继边缘网络任务卸载方法。
背景技术
随着5G和工业互联网的快速发展，对边缘计算的需求愈加迫切，智能制造、智慧城市、车联网、云游戏等领域都对边缘计算服务提出了要求。
目前，边缘计算技术试点大多在4G或早期5G网络上进行，但现阶段有限的资源和碎片化的生态限制了边缘计算技术的发展和边缘服务器的部署，使得仍然有大部分用户无法直接享受到边缘计算技术的服务。这些用户有可能申请将本地无法及时计算的任务卸载到边缘服务器进行计算。但是，由于距离过远或者被建筑物等障碍阻挡等因素无法直接和边缘服务器建立通信链路。
面对差异化的用户需求和性能各异的终端设备，如何合理对边缘计算资源进行分配是不可避免的难题。在试点过程中，资源分配策略的改变会对现实中的边缘服务器和终端用户造成相当大的影响。
现有的边缘计算相关的技术大多是直接假设已知边缘服务器和终端用户设备的状态进行决策优化，减少能耗和时延。然而，对于更加复杂的现实情况不一定取得最优解。
数字孪生技术可以充分利用物理模型、传感器、运行历史等数据，集成多学科、多尺度的仿真过程，在虚拟空间中构建对实体的镜像，反映相对应物理实体的全生命周期过程，非常适合在当前阶段辅助边缘计算技术对现实情况进行适配和落地。
发明内容
本发明所要解决的技术问题是针对上述现有技术的不足，提供一种基于数字孪生的中继边缘网络任务卸载方法，帮助用户终端进行任务卸载，在可接受的代价范围内得到良好效果，同时帮助当前阶段的边缘计算技术对现实情况进行适配和落地。
为实现上述技术目的，本发明采取的技术方案为：
一种基于数字孪生的中继边缘网络任务卸载方法，包括：
步骤(1)：搭建中继边缘网络任务卸载策略模型，包括：物理通信卸载环境、数字孪生体环境、模拟任务卸载系统和模拟人工控制界面；
所述物理通信卸载环境，包括：物理边缘服务器，中继节点以及用户终端集合；
所述数字孪生体环境为边缘服务器将中继节点和用户终端训练得到的数字孪生参数模型聚合所构建的环境，包括：边缘服务器的状态、每个中继节点和用户终端的状态；
所述模拟任务卸载系统，包括：每一种卸载情况对应的人工智能算法模型库、基于DQN算法的卸载策略选择模块以及任务卸载策略模型缓存模块；
所述模拟人工控制界面为边缘服务器通过与真实人工控制界面进行虚实信息传递所构建的虚拟控制环境，决定了真正使用的数字孪生参数训练模型以及任务卸载策略模型；
步骤(2)：物理实体通过数字孪生参数模型更新数字孪生体环境中对应的各个部分的状态；
步骤(3)：数字孪生体环境将数字孪生体的参数传入模拟任务卸载系统进行迭代训练，得到最优任务卸载策略模型；
步骤(4)：将最优任务卸载策略模型传输到模拟人工控制界面进行备份；
步骤(5)：模拟人工控制界面将当前的数字孪生参数训练模型以及最优任务卸载策略模型传输到数字孪生体环境缓存，并由现实中的边缘服务器转发给每个中继节点，中继节点再转发给与其通信的用户终端；
步骤(6)：用户终端和中继节点根据最优任务卸载策略模型进行相应的任务卸载。
为优化上述技术方案，采取的具体措施还包括：
上述的用户终端包括智能手机、笔记本电脑、移动平板等设备；
用户终端在边缘服务器的覆盖范围之外。
上述的边缘服务器的状态包括边缘服务器的处理器频率、可用的内存容量、可用的信道以及工作状态；
中继节点的状态包括中继节点的处理器频率、传输功率、可用的信道以及工作状态；
用户终端的状态包括用户终端的处理器频率、传输功率、任务的数据量规模和计算复杂度、任务类型、设备类型、剩余能量。
上述的步骤(2)包括：
用户终端首先在本地迭代训练数字孪生参数模型，在任务卸载时将训练好的数字孪生参数模型一并传输到中继节点；
中继节点将用户终端和中继节点训练好的数字孪生参数模型打包传输到边缘服务器，边缘服务器在训练边缘服务器模型的同时聚合用户终端和中继节点的模型，在训练完成后更新数字孪生体环境中相应部分的状态。
上述的步骤(3)，模拟任务卸载系统中的训练过程包括：
步骤(3.1)：调用人工智能算法模型库得到：任务在用户终端本地计算不进行任务卸载、任务卸载到中继节点计算、任务卸载到边缘服务器计算，这三种情况各自的最优任务成本，将参数传入卸载策略选择模块；
步骤(3.2)：卸载策略选择模块先将步骤(3.1)三种情况的最优任务成本合成为最终卸载成本，结合数字孪生体环境的状态参数，卸载策略选择模块建立最小化最终成本的优化模型，使用DQN算法训练，得到最优任务卸载策略模型；
步骤(3.3)：使用数字孪生体环境的历史数据对最优任务卸载策略模型进行检测评估，将模型和评分暂存至任务卸载模型缓存模块；
步骤(3.4)：重复步骤(3.1)-步骤(3.3)直到评分符合标准或者训练结束，得到最终的最优任务卸载策略模型。
上述的步骤(3.1)中，任务在用户端本地计算，不进行任务卸载时，调用相关人工智能算法得到的最优任务成本记为
Figure BDA0003223663720000036
上述的步骤(3.1)中，任务卸载到中继节点计算时，对应的最优任务成本计算方法为：
中继节点j和用户终端i之间的传输速率记为
Figure BDA0003223663720000037
传输时延记为
Figure BDA0003223663720000038
传输过程中的能耗记为
Figure BDA00032236637200000310
任务在中继节点j计算所需的时间记为
Figure BDA0003223663720000039
中继节点j计算数字孪生参数训练模型并打包所需的时间为：
Figure BDA0003223663720000031
其中，
Figure BDA0003223663720000032
为中继节点j的CPU频率，Dj为中继节点j的本地数据集合，H为与中继节点j通信的用户终端的个数，完成训练以及打包后得到中继节点j的数字孪生参数模型
Figure BDA0003223663720000033
中继节点的能耗忽略不计；
任务卸载到中继节点计算时，对应的最优任务成本为：
Figure BDA0003223663720000034
调用相关人工智能算法，得到最优成本
Figure BDA0003223663720000035
上述的步骤(3.1)中，任务卸载到边缘服务器计算时，对应的最优任务成本计算方法为：
边缘服务器能直接接收的用户终端i的信号为：
Figure BDA0003223663720000041
其中，
Figure BDA0003223663720000042
是边缘服务器和用户终端i之间的信道，
Figure BDA0003223663720000043
是边缘服务器和用户终端i之间的噪声信号。边缘服务器通过中继节点j辅助接收到用户终端i的信号为：
Figure BDA0003223663720000044
其中，
Figure BDA0003223663720000045
是中继节点j的传输功率，
Figure BDA0003223663720000046
是中继节点j分给用户终端i到边缘服务器的辅助信道，
Figure BDA0003223663720000047
是对应信道上在边缘服务器处的噪声信号，
Figure BDA0003223663720000048
是归一化参数；
在边缘服务器处通过最大比值幅度合成得到用户终端i的信噪比为：
Figure BDA0003223663720000049
其中，Pi MT是用户终端i的传输功率，
Figure BDA00032236637200000410
是中继节点j和用户终端i之间的信道；
用户终端i与边缘服务器之间的传输速率为：
Figure BDA00032236637200000411
其中，Wi是边缘服务器和用户终端i之间的带宽。传输时延记为
Figure BDA00032236637200000412
传输能耗记为
Figure BDA00032236637200000413
任务在边缘服务器计算所需的时间记为
Figure BDA00032236637200000414
边缘服务器计算数字孪生参数训练模型并聚合中继节点和用户终端的数字孪生参数模型所需的时间为：
Figure BDA00032236637200000415
其中，fECS为边缘服务器的CPU频率，DECS为边缘服务器的本地数据集合，N为与边缘服务器通信的中继节点的个数；
由于
Figure BDA00032236637200000416
很小，并且fECS很高，相比训练边缘服务器的模型所用的时间，聚合中继节点模型所用的时间
Figure BDA0003223663720000051
可忽略不计；
完成训练后得到边缘服务器的数字孪生参数模型
Figure BDA0003223663720000052
边缘服务器的能耗忽略不计，任务卸载到边缘服务器计算时，对应的最优任务成本为：
Figure BDA0003223663720000053
调用相关人工智能算法，得到最优成本
Figure BDA0003223663720000054
上述的步骤(3.2)中，卸载策略选择模块建立最小化最终成本的优化模型：
用户终端i在步骤(3.1)三种情况下的最终卸载成本表示为：
Figure BDA0003223663720000055
其中，ai∈{0,1},i＝1,2,3并且
Figure BDA0003223663720000056
对于用户终端i的每一个计算任务，选择哪种情况进行计算可以最小化最终成本，最小化最终成本的优化模型为：
Figure BDA0003223663720000057
Figure BDA0003223663720000058
Figure BDA0003223663720000059
Figure BDA00032236637200000510
其中，
Figure BDA00032236637200000511
Figure BDA00032236637200000512
为用户终端的预期能耗阈值。
上述的步骤(3.2)中，本发明使用DQN作为DRL算法的框架。
在训练过程中，卸载策略选择模块与数字孪生体环境交互得到每个迭代t任务卸载系统的状态：
Figure BDA00032236637200000513
学习Agent的动作表示为：
At＝{at|at∈It}
其中at是从可能的决策动作集合It中选择的动作；
奖励函数反映了所选动作在系统状态st中的得分，表示为：
Figure BDA0003223663720000061
其中ψ是保证Rt为正值的固定参数，λ是学习速率，μi(t)是迭代t时的最终成本；
使用神经网络Q(s,a；w)结合时间差分算法近似最优动作价值函数以得到最优任务卸载策略模型，并将最优任务卸载策略模型传入任务卸载模型缓存模块。
本发明具有以下有益效果：
(1)本发明采用数字孪生方法的进行模拟任务卸载决策，可以较大程度减少现实5G边缘计算技术在落地过程中的试错成本；在现阶段边缘计算资源有限的条件下帮助用户在可以接受的代价范围内得到结果；
(2)相比于其他任务卸载方法，本发明提出的数字孪生体环境随物理实体的变化而更新，确保了模拟任务卸载决策系统得到的卸载策略模型更贴近真实情况，提高了落地效率。
附图说明
图1为本发明的物理通信卸载环境示意图；
图2为基于数字孪生的中继边缘网络任务卸载方法的框架结构图；
图3为任务卸载策略模型的工作流程图。
具体实施方式
以下结合附图对本发明的实施例作进一步详细描述。
参见图1和图2，本发明的一种基于数字孪生的中继边缘网络任务卸载方法，包括：
步骤(1)：搭建中继边缘网络任务卸载策略模型，包括：物理通信卸载环境、数字孪生体环境、模拟任务卸载系统和模拟人工控制界面；
所述物理通信卸载环境，包括：物理边缘服务器，中继节点以及用户终端集合；
所述数字孪生体环境为边缘服务器将中继节点和用户终端训练得到的数字孪生参数模型聚合所构建的环境，包括：边缘服务器的状态、每个中继节点和用户终端的状态；
所述模拟任务卸载系统，包括：每一种卸载情况对应的人工智能算法模型库、基于DQN算法的卸载策略选择模块以及任务卸载策略模型缓存模块；
所述模拟人工控制界面为边缘服务器通过与真实人工控制界面进行虚实信息传递所构建的虚拟控制环境，决定了真正使用的数字孪生参数训练模型以及任务卸载策略模型；
实施例中，所述用户终端包括智能手机、笔记本电脑、移动平板等设备；
用户终端在边缘服务器的覆盖范围之外。
所述边缘服务器的状态包括边缘服务器的处理器频率、可用的内存容量、可用的信道以及工作状态；
中继节点的状态包括中继节点的处理器频率、传输功率、可用的信道以及工作状态；
用户终端的状态包括用户终端的处理器频率、传输功率、任务的数据量规模和计算复杂度、任务类型、设备类型、剩余能量。
步骤(2)：物理实体通过数字孪生参数模型更新数字孪生体环境中对应的各个部分的状态；
步骤(3)：数字孪生体环境将数字孪生体的参数传入模拟任务卸载系统进行迭代训练，得到最优任务卸载策略模型；
步骤(4)：将最优任务卸载策略模型传输到模拟人工控制界面进行备份；
步骤(5)：模拟人工控制界面将当前的数字孪生参数训练模型mECS、mRN、mUT以及最优任务卸载策略模型umRN、umUT传输到数字孪生体环境缓存，并由现实中的边缘服务器转发给每个中继节点，中继节点再转发给与其通信的用户终端；
步骤(6)：用户终端和中继节点根据最优任务卸载策略模型进行相应的任务卸载。
实施例中，所述步骤(2)包括：
用户终端首先在本地迭代训练数字孪生参数模型，在任务卸载时将训练好的数字孪生参数模型一并传输到中继节点；
中继节点将用户终端和中继节点训练好的数字孪生参数模型打包传输到边缘服务器，边缘服务器在训练边缘服务器模型的同时聚合用户终端和中继节点的模型，在训练完成后更新数字孪生体环境中相应部分的状态。
实施例中，所述步骤(3)，模拟任务卸载系统中的训练过程包括：
步骤(3.1)：调用人工智能算法模型库得到：任务在用户终端本地计算不进行任务卸载、任务卸载到中继节点计算、任务卸载到边缘服务器计算，这三种情况各自的最优任务成本，将参数传入卸载策略选择模块；
步骤(3.2)：卸载策略选择模块先将步骤(3.1)三种情况的最优任务成本合成为最终卸载成本，结合数字孪生体环境的状态参数，卸载策略选择模块建立最小化最终成本的优化模型，使用DQN算法训练，得到最优任务卸载策略模型；
步骤(3.3)：使用数字孪生体环境的历史数据对最优任务卸载策略模型进行检测评估，将模型和评分暂存至任务卸载模型缓存模块；
步骤(3.4)：重复步骤(3.1)-步骤(3.3)直到评分符合标准或者训练结束，得到最终的最优任务卸载策略模型。
实施例中，步骤(3.1)：调用人工智能算法模型库得到三种情况对应的最优任务成本。
情况一：任务在用户端本地计算，不进行任务卸载时，对应的最优任务成本计算方法为：
对于每一个用户终端i，将其要计算的任务记为Ti＝(Ci,Li)，其中Ci是任务的计算复杂度，Li是任务的数据量大小；
任务在本地计算所需的时间记为
Figure BDA0003223663720000081
所需的能耗记为
Figure BDA0003223663720000082
用户终端i计算数字孪生参数训练模型所需的时间为：
Figure BDA0003223663720000083
其中，fi UT为用户终端i的CPU频率，Di用户终端i的本地数据集合，完成训练后得到用户终端i的数字孪生参数模型
Figure BDA0003223663720000084
该过程所需的能耗记为
Figure BDA0003223663720000085
用户终端i完成任务所需的总成本为：
Figure BDA0003223663720000086
其中，αi∈(0,1)和βi∈(0,1)是基于任务类型和设备类型决定的时延与能耗的权重系数；调用相关人工智能算法得到最优任务成本
Figure BDA0003223663720000087
情况二：任务卸载到中继节点计算时，对应的最优任务成本计算方法为：
中继节点j和用户终端i之间的传输速率记为
Figure BDA0003223663720000088
传输时延记为
Figure BDA0003223663720000089
传输过程中的能耗记为
Figure BDA00032236637200000810
任务在中继节点j计算所需的时间记为
Figure BDA00032236637200000811
中继节点j计算数字孪生参数训练模型并打包所需的时间为：
Figure BDA00032236637200000812
其中，
Figure BDA0003223663720000091
为中继节点j的CPU频率，Dj为中继节点j的本地数据集合，H为与中继节点j通信的用户终端的个数，完成训练以及打包后得到中继节点j的数字孪生参数模型
Figure BDA0003223663720000092
中继节点的能耗忽略不计；
任务卸载到中继节点计算时，对应的最优任务成本为：
Figure BDA0003223663720000093
调用相关人工智能算法，得到最优成本
Figure BDA0003223663720000094
情况三：任务卸载到边缘服务器计算时，对应的最优任务成本计算方法为：
边缘服务器能直接接收的用户终端i的信号为：
Figure BDA0003223663720000095
其中，
Figure BDA0003223663720000096
是边缘服务器和用户终端i之间的信道，
Figure BDA0003223663720000097
是边缘服务器和用户终端i之间的噪声信号。边缘服务器通过中继节点j辅助接收到用户终端i的信号为：
Figure BDA0003223663720000098
其中，
Figure BDA0003223663720000099
是中继节点j的传输功率，
Figure BDA00032236637200000910
是中继节点j分给用户终端i到边缘服务器的辅助信道，
Figure BDA00032236637200000911
是对应信道上在边缘服务器处的噪声信号，
Figure BDA00032236637200000912
是归一化参数；
在边缘服务器处通过最大比值幅度合成得到用户终端i的信噪比为：
Figure BDA00032236637200000913
其中，Pi MT是用户终端i的传输功率，
Figure BDA00032236637200000914
是中继节点j和用户终端i之间的信道；
用户终端i与边缘服务器之间的传输速率为：
Figure BDA00032236637200000915
其中，Wi是边缘服务器和用户终端i之间的带宽。传输时延记为
Figure BDA00032236637200000916
传输能耗记为
Figure BDA00032236637200000917
任务在边缘服务器计算所需的时间记为
Figure BDA0003223663720000101
边缘服务器计算数字孪生参数训练模型并聚合中继节点和用户终端的数字孪生参数模型所需的时间为：
Figure BDA0003223663720000102
其中，fECS为边缘服务器的CPU频率，DECS为边缘服务器的本地数据集合，N为与边缘服务器通信的中继节点的个数；
由于
Figure BDA0003223663720000103
很小，并且fECS很高，相比训练边缘服务器的模型所用的时间，聚合中继节点模型所用的时间
Figure BDA0003223663720000104
可忽略不计；
完成训练后得到边缘服务器的数字孪生参数模型
Figure BDA0003223663720000105
边缘服务器的能耗忽略不计，任务卸载到边缘服务器计算时，对应的最优任务成本为：
Figure BDA0003223663720000106
调用相关人工智能算法，得到最优成本
Figure BDA0003223663720000107
实施例中，所述步骤(3.2)中，卸载策略选择模块建立最小化最终成本的优化模型：
用户终端i在步骤(3.1)三种情况下的最终卸载成本表示为：
Figure BDA0003223663720000108
其中，ai∈{0,1},i＝1,2,3并且
Figure BDA0003223663720000109
对于用户终端i的每一个计算任务，选择哪种情况进行计算可以最小化最终成本，最小化最终成本的优化模型为：
Figure BDA00032236637200001010
Figure BDA00032236637200001011
Figure BDA00032236637200001012
Figure BDA00032236637200001013
其中，
Figure BDA00032236637200001014
Figure BDA00032236637200001015
为用户终端的预期能耗阈值。
所述步骤(3.2)中，本发明使用DQN作为DRL算法的框架。
在训练过程中，卸载策略选择模块与数字孪生体环境交互得到每个迭代t任务卸载系统的状态：
Figure BDA0003223663720000111
学习Agent的动作表示为：
At＝{at|at∈It}
其中at是从可能的决策动作集合It中选择的动作；
奖励函数反映了所选动作在系统状态st中的得分，表示为：
Figure BDA0003223663720000112
其中ψ是保证Rt为正值的固定参数，λ是学习速率，μi(t)是迭代t时的最终成本；
使用神经网络Q(s,a；w)结合时间差分算法近似最优动作价值函数以得到最优任务卸载策略模型，并将最优任务卸载策略模型传入任务卸载模型缓存模块。
图3具体展示了用户终端和中继节点执行任务卸载策略模型的过程，用户终端卸载决策模型会判断承担计算任务的最终对象，在本地计算时还会根据任务类型执行相应的优化目标策略，中继节点和边缘服务器的卸载决策模型根据任务类型执行相应的优化目标策略。
以上仅是本发明的优选实施方式，本发明的保护范围并不仅局限于上述实施例，凡属于本发明思路下的技术方案均属于本发明的保护范围。应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理前提下的若干改进和润饰，应视为本发明的保护范围。

Claims (10)

1.一种基于数字孪生的中继边缘网络任务卸载方法，其特征在于，包括：
步骤(1)：搭建中继边缘网络任务卸载策略模型，包括：物理通信卸载环境、数字孪生体环境、模拟任务卸载系统和模拟人工控制界面；
所述物理通信卸载环境，包括：物理边缘服务器，中继节点以及用户终端集合；
所述数字孪生体环境为边缘服务器将中继节点和用户终端训练得到的数字孪生参数模型聚合所构建的环境，包括：边缘服务器的状态、每个中继节点和用户终端的状态；
所述模拟任务卸载系统，包括：每一种卸载情况对应的人工智能算法模型库、基于DQN算法的卸载策略选择模块以及任务卸载策略模型缓存模块；
所述模拟人工控制界面为边缘服务器通过与真实人工控制界面进行虚实信息传递所构建的虚拟控制环境，决定了真正使用的数字孪生参数训练模型以及任务卸载策略模型；
步骤(2)：物理实体通过数字孪生参数模型更新数字孪生体环境中对应的各个部分的状态；
步骤(3)：数字孪生体环境将数字孪生体的参数传入模拟任务卸载系统进行迭代训练，得到最优任务卸载策略模型；
步骤(4)：将最优任务卸载策略模型传输到模拟人工控制界面进行备份；
步骤(5)：模拟人工控制界面将当前的数字孪生参数训练模型以及最优任务卸载策略模型传输到数字孪生体环境缓存，并由现实中的边缘服务器转发给每个中继节点，中继节点再转发给与其通信的用户终端；
步骤(6)：用户终端和中继节点根据最优任务卸载策略模型进行相应的任务卸载。
2.根据权利要求1所述的一种基于数字孪生的中继边缘网络任务卸载方法，其特征在于，所述用户终端包括智能手机、笔记本电脑、移动平板；
用户终端在边缘服务器的覆盖范围之外。
3.根据权利要求1所述的一种基于数字孪生的中继边缘网络任务卸载方法，其特征在于，所述边缘服务器的状态包括边缘服务器的处理器频率、可用的内存容量、可用的信道以及工作状态；
中继节点的状态包括中继节点的处理器频率、传输功率、可用的信道以及工作状态；
用户终端的状态包括用户终端的处理器频率、传输功率、任务的数据量规模和计算复杂度、任务类型、设备类型、剩余能量。
4.根据权利要求1所述的一种基于数字孪生的中继边缘网络任务卸载方法，其特征在于，所述步骤(2)包括：
用户终端首先在本地迭代训练数字孪生参数模型，在任务卸载时将训练好的数字孪生参数模型一并传输到中继节点；
中继节点将用户终端和中继节点训练好的数字孪生参数模型打包传输到边缘服务器，边缘服务器在训练边缘服务器模型的同时聚合用户终端和中继节点的模型，在训练完成后更新数字孪生体环境中相应部分的状态。
5.根据权利要求1所述的一种基于数字孪生的中继边缘网络任务卸载方法，其特征在于，所述步骤(3)，模拟任务卸载系统中的训练过程包括：
步骤(3.1)：调用人工智能算法模型库得到：任务在用户终端本地计算不进行任务卸载、任务卸载到中继节点计算、任务卸载到边缘服务器计算，这三种情况各自的最优任务成本，将参数传入卸载策略选择模块；
步骤(3.2)：卸载策略选择模块先将步骤(3.1)三种情况的最优任务成本合成为最终卸载成本，结合数字孪生体环境的状态参数，卸载策略选择模块建立最小化最终成本的优化模型，使用DQN算法训练，得到最优任务卸载策略模型；
步骤(3.3)：使用数字孪生体环境的历史数据对最优任务卸载策略模型进行检测评估，将模型和评分暂存至任务卸载模型缓存模块；
步骤(3.4)：重复步骤(3.1)-步骤(3.3)直到评分符合标准或者训练结束，得到最终的最优任务卸载策略模型。
6.根据权利要求5所述的一种基于数字孪生的中继边缘网络任务卸载方法，其特征在于，步骤(3.1)中，任务在用户端本地计算，不进行任务卸载时，调用相关人工智能算法得到的最优任务成本记为
Figure FDA0003223663710000021
7.根据权利要求5所述的一种基于数字孪生的中继边缘网络任务卸载方法，其特征在于，所述步骤(3.1)中，任务卸载到中继节点计算时，对应的最优任务成本计算方法为：
中继节点j和用户终端i之间的传输速率记为
Figure FDA0003223663710000022
传输时延记为
Figure FDA0003223663710000023
传输过程中的能耗记为
Figure FDA0003223663710000024
任务在中继节点j计算所需的时间记为
Figure FDA0003223663710000025
中继节点j计算数字孪生参数训练模型并打包所需的时间为：
Figure FDA0003223663710000026
其中，
Figure FDA0003223663710000031
为中继节点j的CPU频率，Dj为中继节点j的本地数据集合，H为与中继节点j通信的用户终端的个数，完成训练以及打包后得到中继节点j的数字孪生参数模型
Figure FDA0003223663710000032
中继节点的能耗忽略不计；
任务卸载到中继节点计算时，对应的最优任务成本为：
Figure FDA0003223663710000033
调用相关人工智能算法，得到最优成本
Figure FDA0003223663710000034
8.根据权利要求5所述的一种基于数字孪生的中继边缘网络任务卸载方法，其特征在于，所述步骤(3.1)中，任务卸载到边缘服务器计算时，对应的最优任务成本计算方法为：
边缘服务器能直接接收的用户终端i的信号为：
Figure FDA0003223663710000035
其中，
Figure FDA0003223663710000036
是边缘服务器和用户终端i之间的信道，
Figure FDA0003223663710000037
是边缘服务器和用户终端i之间的噪声信号。边缘服务器通过中继节点j辅助接收到用户终端i的信号为：
Figure FDA0003223663710000038
其中，
Figure FDA0003223663710000039
是中继节点j的传输功率，
Figure FDA00032236637100000310
是中继节点j分给用户终端i到边缘服务器的辅助信道，
Figure FDA00032236637100000311
是对应信道上在边缘服务器处的噪声信号，
Figure FDA00032236637100000312
是归一化参数；
在边缘服务器处通过最大比值幅度合成得到用户终端i的信噪比为：
Figure FDA00032236637100000313
其中，
Figure FDA00032236637100000314
是用户终端i的传输功率，
Figure FDA00032236637100000315
是中继节点j和用户终端i之间的信道；
用户终端i与边缘服务器之间的传输速率为：
Figure FDA00032236637100000316
其中，Wi是边缘服务器和用户终端i之间的带宽。传输时延记为
Figure FDA00032236637100000317
传输能耗记为
Figure FDA00032236637100000318
任务在边缘服务器计算所需的时间记为
Figure FDA0003223663710000041
边缘服务器计算数字孪生参数训练模型并聚合中继节点和用户终端的数字孪生参数模型所需的时间为：
Figure FDA0003223663710000042
其中，fECS为边缘服务器的CPU频率，DECS为边缘服务器的本地数据集合，N为与边缘服务器通信的中继节点的个数；
由于
Figure FDA0003223663710000043
很小，并且fECS很高，相比训练边缘服务器的模型所用的时间，聚合中继节点模型所用的时间
Figure FDA0003223663710000044
可忽略不计；
完成训练后得到边缘服务器的数字孪生参数模型
Figure FDA0003223663710000045
边缘服务器的能耗忽略不计，任务卸载到边缘服务器计算时，对应的最优任务成本为：
Figure FDA0003223663710000046
调用相关人工智能算法，得到最优成本
Figure FDA0003223663710000047
9.根据权利要求5所述的一种基于数字孪生的中继边缘网络任务卸载方法，其特征在于，所述步骤(3.2)中，卸载策略选择模块建立最小化最终成本的优化模型：
用户终端i在步骤(3.1)三种情况下的最终卸载成本表示为：
Figure FDA0003223663710000048
其中，ai∈{0,1},i＝1,2,3并且
Figure FDA0003223663710000049
对于用户终端i的每一个计算任务，选择哪种情况进行计算可以最小化最终成本，最小化最终成本的优化模型为：
Figure FDA00032236637100000410
Figure FDA00032236637100000411
Figure FDA00032236637100000412
Figure FDA00032236637100000413
其中，
Figure FDA00032236637100000414
Figure FDA00032236637100000415
为用户终端的预期能耗阈值。
10.根据权利要求5所述的一种基于数字孪生的中继边缘网络任务卸载方法，其特征在于，所述步骤(3.2)中，本发明使用DQN作为DRL算法的框架。
在训练过程中，卸载策略选择模块与数字孪生体环境交互得到每个迭代t任务卸载系统的状态：
Figure FDA0003223663710000051
学习Agent的动作表示为：
At＝{at|at∈It}
其中at是从可能的决策动作集合It中选择的动作；
奖励函数反映了所选动作在系统状态st中的得分，表示为：
Figure FDA0003223663710000052
其中ψ是保证Rt为正值的固定参数，λ是学习速率，μi(t)是迭代t时的最终成本；
使用神经网络Q(s,a；w)结合时间差分算法近似最优动作价值函数以得到最优任务卸载策略模型。
CN202110965259.XA 2021-08-23 2021-08-23 一种基于数字孪生的中继边缘网络任务卸载方法 Active CN113590232B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110965259.XA CN113590232B (zh) 2021-08-23 2021-08-23 一种基于数字孪生的中继边缘网络任务卸载方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110965259.XA CN113590232B (zh) 2021-08-23 2021-08-23 一种基于数字孪生的中继边缘网络任务卸载方法

Publications (2)

Publication Number Publication Date
CN113590232A true CN113590232A (zh) 2021-11-02
CN113590232B CN113590232B (zh) 2023-04-25

Family

ID=78238836

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110965259.XA Active CN113590232B (zh) 2021-08-23 2021-08-23 一种基于数字孪生的中继边缘网络任务卸载方法

Country Status (1)

Country Link
CN (1) CN113590232B (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114466356A (zh) * 2022-01-29 2022-05-10 重庆邮电大学 一种基于数字孪生的任务卸载边缘服务器选择方法
CN114609917A (zh) * 2022-05-11 2022-06-10 曜石机器人(上海)有限公司 一种基于数字孪生技术的伺服驱动器及伺服系统
CN116521377A (zh) * 2023-06-30 2023-08-01 中国电信股份有限公司 业务计算卸载方法、系统、装置、设备及介质
WO2023198212A1 (zh) * 2022-04-15 2023-10-19 北京邮电大学 一种基于环境感知的模型选择方法和装置

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020023115A1 (en) * 2018-07-27 2020-01-30 Futurewei Technologies, Inc. Task offloading and routing in mobile edge cloud networks
WO2020216135A1 (zh) * 2019-04-25 2020-10-29 南京邮电大学 基于边-端协同的多用户多mec任务卸载资源调度方法
CN112104494A (zh) * 2020-09-09 2020-12-18 南京信息工程大学 基于空地协同边缘计算网络的任务安全卸载策略确定方法
CN112118601A (zh) * 2020-08-18 2020-12-22 西北工业大学 一种减少6g数字孪生边缘计算网络任务卸载延迟的方法
CN112419775A (zh) * 2020-08-12 2021-02-26 华东师范大学 基于强化学习的数字孪生智慧停车方法及系统
CN112600912A (zh) * 2020-12-10 2021-04-02 西安君能清洁能源有限公司 一种无人机辅助的边缘计算卸载算法分布式激励方法
CN113010282A (zh) * 2021-03-03 2021-06-22 电子科技大学 一种基于深度强化学习的边云协同串行任务卸载方法

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020023115A1 (en) * 2018-07-27 2020-01-30 Futurewei Technologies, Inc. Task offloading and routing in mobile edge cloud networks
WO2020216135A1 (zh) * 2019-04-25 2020-10-29 南京邮电大学 基于边-端协同的多用户多mec任务卸载资源调度方法
CN112419775A (zh) * 2020-08-12 2021-02-26 华东师范大学 基于强化学习的数字孪生智慧停车方法及系统
CN112118601A (zh) * 2020-08-18 2020-12-22 西北工业大学 一种减少6g数字孪生边缘计算网络任务卸载延迟的方法
CN112104494A (zh) * 2020-09-09 2020-12-18 南京信息工程大学 基于空地协同边缘计算网络的任务安全卸载策略确定方法
CN112600912A (zh) * 2020-12-10 2021-04-02 西安君能清洁能源有限公司 一种无人机辅助的边缘计算卸载算法分布式激励方法
CN113010282A (zh) * 2021-03-03 2021-06-22 电子科技大学 一种基于深度强化学习的边云协同串行任务卸载方法

Non-Patent Citations (6)

* Cited by examiner, † Cited by third party
Title
QINGQING TANG; ZESONG FEI; BIN LI; ZHU HAN: "Computation Offloading in LEO Satellite Networks With Hybrid Cloud and Edge Computing" *
WEN SUN; HAIBIN ZHANG; RONG WANG; YAN ZHANG: "Reducing Offloading Latency for Digital Twin Edge Networks in 6G" *
YIWEN WU; KE ZHANG; YAN ZHANG: "Digital Twin Networks: A Survey" *
梁广俊; 王群; 辛建芳; 李梦; 许威: "移动边缘计算资源分配综述" *
贺仁龙: ""5G+产业互联网"时代数字孪生安全治理探索" *
高寒;李学俊;周博文;刘晓;徐佳;: "移动边缘计算环境中基于能耗优化的深度神经网络计算任务卸载策略" *

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114466356A (zh) * 2022-01-29 2022-05-10 重庆邮电大学 一种基于数字孪生的任务卸载边缘服务器选择方法
WO2023198212A1 (zh) * 2022-04-15 2023-10-19 北京邮电大学 一种基于环境感知的模型选择方法和装置
CN114609917A (zh) * 2022-05-11 2022-06-10 曜石机器人(上海)有限公司 一种基于数字孪生技术的伺服驱动器及伺服系统
CN114609917B (zh) * 2022-05-11 2022-08-05 曜石机器人(上海)有限公司 一种基于数字孪生技术的伺服驱动器及伺服系统
CN116521377A (zh) * 2023-06-30 2023-08-01 中国电信股份有限公司 业务计算卸载方法、系统、装置、设备及介质
CN116521377B (zh) * 2023-06-30 2023-09-29 中国电信股份有限公司 业务计算卸载方法、系统、装置、设备及介质

Also Published As

Publication number Publication date
CN113590232B (zh) 2023-04-25

Similar Documents

Publication Publication Date Title
CN113590232B (zh) 一种基于数字孪生的中继边缘网络任务卸载方法
CN109862610B (zh) 一种基于深度强化学习ddpg算法的d2d用户资源分配方法
CN111800828B (zh) 一种超密集网络的移动边缘计算资源分配方法
CN111585816B (zh) 一种基于自适应遗传算法的任务卸载决策方法
CN109814951A (zh) 移动边缘计算网络中任务卸载及资源分配的联合优化方法
CN114051254B (zh) 一种基于星地融合网络的绿色云边协同计算卸载方法
CN112118287A (zh) 基于交替方向乘子算法与移动边缘计算的网络资源优化调度决策方法
CN102612080B (zh) 基于第二代小波零树编码的最小能耗自适应汇聚路由方法
CN110856259A (zh) 移动边缘计算环境中自适应数据块大小的资源分配和卸载方法
CN114422349B (zh) 基于云边端协同的深度学习模型训练和推理架构部署方法
CN112491957B (zh) 一种边缘网络环境下的分布式计算卸载方法及系统
CN116489712B (zh) 一种基于深度强化学习的移动边缘计算任务卸载方法
CN114363857B (zh) 一种车联网中边缘计算任务卸载方法
CN113626104A (zh) 边云架构下基于深度强化学习的多目标优化卸载策略
WO2023020502A1 (zh) 数据处理方法及装置
Tang et al. Distributed deep learning for cooperative computation offloading in low earth orbit satellite networks
Van Truong et al. System performance and optimization in NOMA mobile edge computing surveillance network using GA and PSO
CN114521002A (zh) 一种云边端合作的边缘计算方法
CN113993168A (zh) 一种雾无线接入网中基于多智能体强化学习的协作缓存方法
CN112822055A (zh) 一种基于dqn的边缘计算节点部署算法
CN115756873B (zh) 一种基于联邦强化学习的移动边缘计算卸载方法和平台
Shaodong et al. Multi-step reinforcement learning-based offloading for vehicle edge computing
WO2022151900A1 (zh) 一种基于神经网络的信道估计方法及通信装置
CN115297508A (zh) 一种巨型星座卫星网络路由负载均衡方法及系统
CN114980160A (zh) 一种无人机辅助的太赫兹通信网络联合优化方法和装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant