CN117528657B - 一种电力物联网任务卸载方法、系统、设备及介质 - Google Patents

一种电力物联网任务卸载方法、系统、设备及介质 Download PDF

Info

Publication number
CN117528657B
CN117528657B CN202410008012.2A CN202410008012A CN117528657B CN 117528657 B CN117528657 B CN 117528657B CN 202410008012 A CN202410008012 A CN 202410008012A CN 117528657 B CN117528657 B CN 117528657B
Authority
CN
China
Prior art keywords
task
edge server
edge
power internet
electric power
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202410008012.2A
Other languages
English (en)
Other versions
CN117528657A (zh
Inventor
柯洪昌
吴桐
佘向飞
赵慧玲
于萍
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Changchun Institute of Applied Chemistry of CAS
Original Assignee
Changchun Institute of Applied Chemistry of CAS
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Changchun Institute of Applied Chemistry of CAS filed Critical Changchun Institute of Applied Chemistry of CAS
Priority to CN202410008012.2A priority Critical patent/CN117528657B/zh
Publication of CN117528657A publication Critical patent/CN117528657A/zh
Application granted granted Critical
Publication of CN117528657B publication Critical patent/CN117528657B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W72/00—Local resource management
    • H04W72/50—Allocation or scheduling criteria for wireless resources
    • H04W72/51—Allocation or scheduling criteria for wireless resources based on terminal or device properties
    • H04W72/512—Allocation or scheduling criteria for wireless resources based on terminal or device properties for low-latency requirements, e.g. URLLC
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
    • G06F9/5005—Allocation of resources, e.g. of the central processing unit [CPU] to service a request
    • G06F9/5027—Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resource being a machine, e.g. CPUs, Servers, Terminals
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
    • G06F9/5061—Partitioning or combining of resources
    • G06F9/5072—Grid computing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2209/00—Indexing scheme relating to G06F9/00
    • G06F2209/50—Indexing scheme relating to G06F9/50
    • G06F2209/509—Offload

Landscapes

  • Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Mathematical Physics (AREA)
  • Supply And Distribution Of Alternating Current (AREA)
  • Mobile Radio Communication Systems (AREA)

Abstract

一种电力物联网任务卸载方法、系统、设备及介质，属于无线网络计算领域，解决了电力物联网节点特定任务完成需求与移动边缘计算设备计算资源不均衡之间的矛盾的问题。所述方法包括：构建数字孪生辅助的移动边缘计算模型；根据数字孪生辅助的移动边缘计算模型，获取边缘服务器的数字孪生；获取电力物联网设备产生的请求任务，并将其特征信息输入到所述数字孪生辅助的移动边缘计算模型中，得到请求任务的数字孪生；设置通信模型、计算模型、加权平均代价最小化问题及约束条件；采用决策树选择边缘服务器，采用改进的深度强化学习算法训练边缘服务器，得到最优任务卸载与迁移策略，完成任务的卸载。本发明适用于智慧城市、建筑楼宇、全自动交通控制等场景。

Description

一种电力物联网任务卸载方法、系统、设备及介质
技术领域
本发明属于无线网络计算领域，具体涉及电力物联网和数字孪生技术。
背景技术
泛在电力物联网的提出和发展，需要大量连接的传感器和设备，而节点和设备会产生大量的数据并消耗大量能量，需要实时监测它们的状态并将数据进行处理，而节点的处理能力是有限的，需要这些物联网节点将部分数据卸载到云端或上层服务端。
移动边缘计算（MEC）因为其服务器物理位置更靠近电力物联网终端设备，并拥有较强的计算能力从而为电力物联网终端提供丰富的计算资源。因此，可以将设备的请求任务卸载到算力丰富的移动边缘计算服务器上进行处理，这不仅可以提高服务质量，还可以增强设备对计算密集型或延迟敏感型应用程序的适应性。
然而，电力物联网设备处理的任务通常需要特定的应用程序（服务缓存）处理，服务缓存中的动态内容即是针对特殊工作负载的特定可执行程序。例如，来自电动车辆终端的实时在线数据（摄像头、雷达采集数据）需要计算资源（可执行程序）。由于电动车辆终端的处理能力有限，在线数据需要卸载到托管服务缓存的移动边缘服务器，即用于完成的计算资源。但是边缘服务器能够主控的服务缓存数量有限，因此服务产生特定任务的电力物联网设备也就有限，因此可以考虑多个边缘服务器之间的资源共享（边缘协作）。边缘协作以分布式协同方式处理任务，能够有效利用其他边缘服务器的空闲通信资源或计算资源，以达到节省系统功耗和时间开销的目的。而影响边缘协作的关键是无线设备与边缘服务器之间和各个边缘服务器之间的全局信息获取，包括所有无线设备随机产生任务信息、所有边缘服务器的计算资源、通信资源信息等。
数字孪生技术的出现可以同时解决多任务的边缘服务器选择和人工智能支持的任务卸载问题。数字孪生充分利用物理模型、传感器更新、运行历史等数据，映射真实的通信世界和虚拟空间，反映物理实体的全生命周期。当前，在MEC环境中有一些关于服务缓存和数字孪生的相关研究，但是这些研究要么针对延迟进行优化，要么仅利用传统凸优化或启发式搜索算法进行处理，而针对移动边缘计算环境的电力物联网研究或使用深度强化学习算法进行优化处理的研究很少，尤其是结合服务缓存和数字孪生技术的研究更少。
发明内容
本发明提出一种基于数字孪生的电力物联网任务卸载方法、系统、设备及介质，其目的是解决电力物联网节点特定任务完成需求与移动边缘计算设备计算资源不均衡之间的矛盾的问题。
本发明提出的一种基于数字孪生的电力物联网任务卸载方法包括：
构建数字孪生辅助的移动边缘计算模型；
根据所述数字孪生辅助的移动边缘计算模型，获取边缘服务器的数字孪生；
获取电力物联网设备产生的请求任务，并将所述请求任务的特征信息输入到所述数字孪生辅助的移动边缘计算模型中，得到请求任务的数字孪生；
设置通信模型、计算模型、加权平均代价最小化问题及约束条件；
采用决策树选择边缘服务器，采用改进的深度强化学习算法训练所述边缘服务器的数字孪生中的神经网络模型，得到最优任务卸载与迁移策略，完成任务的卸载。
进一步地，提供优选实施方式：所述电力物联网设备产生的请求任务为：
，
其中，为电力物联网设备产生的请求任务，/>为请求任务集合。
进一步地，提供优选实施方式：所述请求任务的数字孪生为：
其中，为电力物联网设备产生的任务特征，/>为电力物联网设备的位置信息，/>为电力物联网设备产生请求任务的概率。
进一步地，提供优选实施方式：所述边缘服务器的数字孪生为：
其中为与电力物联网设备之间的通道状态，/>为边缘服务器的位置信息，为边缘服务器的可用CPU时钟周期，/>为边缘服务器托管的服务缓存集，/>为时变通道错误向量。
进一步地，提供优选实施方式：所述改进的深度强化学习算法基于多智能体深度确定性策略梯度算法实现。
进一步地，提供优选实施方式：所述通信模型为：
其中，是归一化调整系数。
进一步地，提供优选实施方式：所述方法还包括：将所述加权平均代价最小化问题分解为边缘服务器卸载选择问题和边缘服务器任务卸载和迁移决策问题。
本发明还提供一种计算机设备，包括存储器和处理器，所述存储器中存储有计算机程序，当所述处理器运行所述存储器存储的计算机程序时，所述处理器执行上述任意一种方式组合所述的一种基于数字孪生的电力物联网任务卸载方法。
本发明还提供一种计算机可读存储介质，所述计算机可读存储介质用于储存计算机程序，所述计算机程序执行上述任意一种方式组合所述的一种基于数字孪生的电力物联网任务卸载方法。
本发明还提供一种基于数字孪生的电力物联网任务卸载系统，包括：
数字孪生模型构建应用模块：用于构建数字孪生辅助的移动边缘计算模型，根据所述数字孪生辅助的移动边缘计算模型，获取边缘服务器的数字孪生；获取电力物联网设备产生的请求任务，并将所述请求任务的特征信息输入到所述数字孪生辅助的移动边缘计算模型中，得到请求任务的数字孪生；
模型设置模块：用于设置通信模型、计算模型、加权平均代价最小化问题及约束条件；
任务卸载模块：用于选择边缘服务器，采用改进的深度强化学习算法训练所述边缘服务器的数字孪生中的神经网络模型，得到最优任务卸载与迁移策略，完成任务的卸载。
与现有技术相比，本发明具有以下优势：
1. 本发明所述的方法利用数字孪生技术映射电力物联网设备和边缘服务器的数字副本，同时构建边缘计算网络数字化模型，数字孪生网络通过估计全局信息指导边缘协作，以提高最优策略的学习效果。
2. 本发明所述的方法在边缘服务器预先配置特定任务所需的特定服务缓存，降低任务处理时延和全局信息获取时延，提高加权平均代价。
3. 本发明所述的方法利用机器学习的决策树技术实现电力物联网设备任务卸载到哪个边缘服务器的选择决策，将任务优先卸载到符合卸载条件的边缘服务器端，提高任务执行效率。
4. 本发明所述的方法提出基于改进深度强化学习的任务卸载和迁移策略，在选择训练样本时，并没有在经验回放池中采用传统的随机选择方式；而是提出了一种基于差分和训练回合数的优先级选择样本方式，从而提高了方法的收敛速度。
综上所述，本发明所述的方法利用数字孪生构建了边缘计算环境下泛在电力物联网多节点任务处理网络模型，并提出一种结合基于决策树方法和改进深度强化学习方法处理最优任务卸载和迁移以加权平均代价最小化问题。
该方法能够降低泛在电力物联网节点的任务处理代价，即减少了任务处理的延迟和能耗代价。
本发明适用于智慧城市、建筑楼宇、全自动交通控制等场景。
附图说明
图1为实施方式一所述的一种基于数字孪生的电力物联网任务卸载方法的流程图；
图2为实施方式一、实施方式三所述的一种基于数字孪生的电力物联网任务卸载方法模型示意图；
图3为实施方式四所述的一种基于数字孪生的电力物联网任务卸载方法收敛性能示意图；
图4为实施方式五所述的一种基于数字孪生的电力物联网任务卸载方法与其他基线在边缘服务器不同算力变化下算法率下性能对比示意图；
图5为实施方式六所述的一种基于数字孪生的电力物联网任务卸载方法与其他基线算法不同电力物联网终端数量下性能对比示意图；
图6为实施方式三所述的一种基于数字孪生的电力物联网任务卸载系统示意图。
具体实施方式
下面将结合本发明的附图对本发明实施方式中的技术方案进行清楚、完整地描述。基于本发明中的实施方式，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施方式，都属于本发明保护的范围。
实施方式一
参照图1、图2说明本实施方式。
本实施方式所述的一种基于数字孪生的电力物联网任务卸载方法包括：
构建数字孪生辅助的移动边缘计算模型；
根据所述数字孪生辅助的移动边缘计算模型，获取边缘服务器的数字孪生；
获取电力物联网设备产生的请求任务，并将所述请求任务的特征信息输入到所述数字孪生辅助的移动边缘计算模型中，得到请求任务的数字孪生；
设置通信模型、计算模型、加权平均代价最小化问题及约束条件；
采用决策树选择边缘服务器，采用改进的深度强化学习算法训练所述边缘服务器的数字孪生中的神经网络模型，得到最优任务卸载与迁移策略，完成任务的卸载。
具体地：
本实施方式所述的数字孪生辅助的移动边缘计算模型，是用于构建电力物联网设备、边缘计算服务器和云服务器之间的数字孪生，以及各设备之间的连接关系的数字孪生。
电力物联网节点包括移动电子设备、无人驾驶电动汽车等设备。所述产生的请求任务为电力物联网设备自身不能处理的计算密集型任务。
电力物联网设备表示为：；
产生的请求任务表示为：；
服务缓存的集合表示为：；
来自电力物联网设备的每个请求任务都需要某些特定服务缓存计算处理。假设电力物联网设备产生的请求任务为：
，
需要服务缓存处理。
所有边缘服务器的集合为：
，
地面边缘服务器为：
，
无人机的集合为：
，
满足和/>。
此外，本实施方式假设如果边缘服务器（地面边缘服务器/>或无人机/>）托管服务缓存/>，其中/>是/>的子集，则任务/>可以被边缘服务器/>执行；否则，任务不能被执行。
定义任务卸载决定为：
，
即表示请求任务可以卸载到边缘服务器n上处理。但是由于每个边缘服务器不可能主控所有的服务缓存，如果当前边缘服务器不主控请求任务所需的服务缓存，则可以将这些任务迁移到具有相应服务缓存的其他边缘服务器进行处理。如果所有边缘服务器都没有托管请求任务所需的服务缓存，则可以将任务卸载到云服务器进行处理。
为此，分别定义为任务/>是否迁移决定和任务/>迁移到哪个边缘服务器决定变量，满足/>。即如果边缘服务器/>上的任务/>需要迁移到另一台边缘服务器或卸载到云服务器，/>；否则，/>。如果边缘服务器/>上的任务/>迁移到边缘服务器/>并且/>，则/>；如果边缘服务器/>上的任务/>被卸载到云服务器，/>。
本实施方式所述的请求任务的数字孪生为：
其中，为电力物联网设备产生的任务特征，包括任务大小，所需CPU时钟数，任务截止时间，任务优先级，/>为电力物联网设备的位置信息，/>为电力物联网设备产生请求任务的概率。
所述边缘服务器的数字孪生为：
其中为与电力物联网设备之间的通道状态，/>为边缘服务器的位置信息，为边缘服务器的可用CPU时钟周期，/>为边缘服务器托管的服务缓存集，/>为时变通道错误向量。
因此，系统的数字孪生网络与边缘计算环境实时交互并反馈所有电力物联网设备和边缘服务器节点相关全局信息，从而可以学习环境的变换规则。
本实施方式提出的数字孪生网络可以建立一个类似于真实环境的数字表示系统，以获得系统的估计性能值，而无需了解系统中电力物联网设备和边缘服务器的全部信息。
实施方式二
本实施方式是对实施方式一所述的一种基于数字孪生的电力物联网任务卸载方法中所述的通信模型、计算模型、加权平均代价最小化问题及约束条件的进一步举例说明。
所述通信模型为：
其中，是归一化调整系数。
下面对所述通信模型进行详细说明：
定义是无线设备/>和边缘服务器/>之间的通道向量。由于它们之间的位置是时变的，对于不同的时隙/>，/>和/>之间的距离对/>有不同的影响。
此处通道向量定义为：
，
随不同时隙t和距离/>变化。
这里，本实施方式引入时间相关自回归模型来模拟两个相邻时隙和/>之间不断变化的信道状态，其可定义为：
其中是归一化调整系数，其值接近1，/>是误差向量，服从均值为0的复高斯分布。由于有数字孪生网络的帮助，用边缘服务器的孪生/>来产生时变通道的误差向量，以提高通道变化的准确性。根据香农定律，可以得到无线设备e和边缘服务器n之间的最大卸载传输速率/>。
下面对所述计算模型进行详细说明：
假设来自无线设备的到达请求任务是计算密集型的，并且需要足够的计算资源，即特定的服务缓存，边缘服务器预先配置满足特定任务计算需求的服务缓存会大大缓解计算压力，例如，无人驾驶车辆的实时场景地图需要位于边缘服务器或云服务器的特定服务缓存处理。为此，可以将请求任务卸载到具有服务缓存的边缘服务器，以便通过服务缓存进行计算。
为了方便任务的特征表示，将时隙产生的请求任务/>定义为元组，满足：
，
其中是请求任务/>的总大小；/>代表请求任务/>的计算密度（需要的CPU周期数)；/>表示完成时间的约束（完成请求任务/>的截止时间）。
为了满足请求任务到达的随机性，每个请求任务除了需要不同的服务缓存外，还引入了完成请求任务的优先级。因此，是请求任务/>的重要性级别，即完成请求任务/>的优先级。此外，将/>定义为来自无线设备/>的请求任务的概率，其服从参数为的伯努利分布，并且到达概率满足/>，其中/>是指标函数，表示如果无线设备/>有请求任务/>到达，则/>；否则，/>。
针对无线设备产生的特定任务请求，有三种处理方式：如果边缘服务器主控此任务执行的服务缓存，则卸载到此边缘服务器；如果此边缘服务器不主控此任务执行的服务缓存，则将任务迁移到主控此任务所需服务缓存的其他边缘服务器；如果所有边缘服务器都不主控此服务缓存，则需将任务卸载到云服务器端处理。
以下分别是针对上述三种情况的详细描述：
1）计算任务卸载到边缘服务器
根据传输速率，可以得到无线设备e产生的请求任务卸载到边缘计算服务器n的传输时延/>和传输能耗/>。任务传输到边缘服务器后，需要由边缘服务器的处理器执行，这样可以得到边缘服务器n执行任务/>的时延/>和能耗/>，其中/>为时延偏差，由于数字孪生中估计的CPU时钟周期与实际分配的CPU时钟周期存在偏差，因此需要考虑这个偏差。这里，可以通过模型的前期训练获取真实边缘服务器和数字孪生的设备之间的偏差，那么实际时延和数字孪生估计时延之间的延迟偏差可以表示为：
其中，为边缘服务器物理实体计算卸载任务分配的CPU时钟周期数。
同时由于一台边缘服务器需要处理多个请求任务，本发明定义任务缓冲队列来缓解边缘服务器的计算压力。因此，请求任务首先存储在缓冲区队列中，完成任务的总延迟还应该包括任务等待时延和能耗/>。
2）计算任务迁移到其他边缘服务器
一旦边缘服务器不托管从卸载请求任务/>所需的服务缓存/>，则当前边缘服务器/>无法执行请求任务/>。因此，如果其他边缘服务器托管服务缓存/>，请求任务会迁移到此边缘服务器。在这种情况下，应该考虑迁移延迟/>和功耗/>，等待延迟/>和能耗/>与1）中描述的计算方法相同。
3）计算任务卸载到云服务器
如果所有边缘服务器都没有托管卸载的请求任务所需的服务缓存/>，则需要将任务从边缘服务器卸载到云服务器执行。因此会产生任务卸载传输延迟/>和能耗，此处计算任务卸载到边缘服务器计算方式相同，因此不做说明。但是由于云服务器算力强大，无需考虑计算延迟和等待延迟，而回程延迟和能耗需要计算，可以分别表示为和/>。
下面对优化问题作详细说明：
通过执行最优卸载和迁移决策、/>和/>，以最小化在总时间周期/>内完成数字孪生辅助的边缘计算模型中的所有请求任务的长期加权平均成本，包括延迟成本和能耗成本，以满足服务质量。
首先，计算在时隙处理无线设备/>产生的请求任务/>的总延迟和总能耗，因此，最小化长期加权平均成本问题定义如下：
P1
s.t
可以看出，优化问题P1，包含了时延代价代表时延服务质量，能耗代价/>代表能耗服务质量，任务未完成惩罚代价/>代表任务完成率服务质量，其中/>是值为正的常数，表示任务未在截止时间内完成的惩罚。/>为权重因子，用来调节延迟代价和能耗代价重要性。
P1是NP-hard优化问题，不能通过传统凸优化方法或启发式搜索方法解决。然而，P1可以视为一个多无线设备卸载和迁移的合作与竞争问题。为了解决P1，将P1转化为两个子问题P2和P3，P2分解为边缘服务器卸载选择问题，P3分解为边缘服务器任务卸载和迁移决策问题。
由于边缘服务器的通道状态和主控的服务缓存不同，并且可分配的算力也有较大差异，因此在处理不同的卸载任务时处理时延和能耗差别较大。本实施方式拟利用决策树方法实现边缘服务器的卸载选择决策，即上述的问题P2。
基于提出的数字孪生辅助的边缘计算模型，无线设备在选择合作边缘服务器时具有两个选择顺序，即以主控服务缓存一致性优先选择或以通道状态增益水平优先选择。然后，分别基于主控缓存数量与是否满足通道状态增益水平设置特定阈值，以指导任务卸载决策。
设定服务缓存匹配数量阈值和通道增益条件阈值分别为和/>，则卸载任务的可选边缘服务器集合可以归纳为4类，分别为/>。如果以主控服务缓存数量作为优先选择，则根据是否小于阈值/>，得到/>；否则得到/>。
具体步骤为：
S31，初始化参数，包括：阈值、/>、集合/>；
S32，数字孪生网络决定以主控服务缓存匹配数量作为优先选择；
S33，根据边缘服务器数量循环执行n次，即每个边缘服务器n执行一次；
S34，判断边缘服务器n主控的服务缓存的数量是否小于阈值，如果为真，则将边缘服务器n划分到集合/>，否则，边缘服务器n不符合条件，划分到集合/>；
S34，判断电力物联网e与边缘服务器n之间的通道状态相似度是否大于阈值，如果为真，则将边缘服务器n划分到集合/>，否则，边缘服务器n不符合条件，划分到集合/>；
S35，循环结束；
S36，数字孪生网络决定以通道条件作为优先选择；
S37，根据边缘服务器数量循环执行n次，即每个边缘服务器n执行一次；
S38，判断电力物联网e与边缘服务器n之间的通道状态相似度是否大于阈值，如果为真，则将边缘服务器n划分到集合/>，否则，边缘服务器n不符合条件，划分到集合/>；
S39，判断边缘服务器n主控的服务缓存的数量是否小于阈值，如果为真，则将边缘服务器n划分到集合/>，否则，边缘服务器n不符合条件，划分到集合/>；
S310，循环结束；
S311， 判断以通道条件优先和以服务缓存匹配数量优先的信息熵，选择信息熵大的作为最终分类方法；
S312， 算法结束。
针对电力物联网设备的多异质任务，利用改进的深度强化学习中的多智能体深度确定性策略梯度（Multi-Agent Deep Deterministic Policy Gradient，MADDPG）算法进行训练，以学习最优计算任务卸载和迁移策略，从而最小化系统全局时延和能耗代价。
首先，边缘服务器任务卸载和迁移决策优化（问题P3）满足马尔可夫特性，即下一个状态仅取决于当前状态和智能体（Agent）的动作，而不取决于过去的历史状态，则可以将计算卸载和任务迁移问题转移为MDP，每个无线设备都被认为是一个参与学习Agent。一旦无线设备生成请求任务，并且任务/>需要服务缓存概率为/>，Agente可以与环境（数字孪生网络）交互，观测状态，然后执行某个卸载或迁移操作。根据选择的动作，将获得立即奖励并转移到下一个状态。因此，拟设计状态空间、动作空间和奖励函数，以设备组为单位，状态空间包括请求任务到达概率，请求任务特征（任务大小、需要CPU时钟周期数、任务截止时间和任务优先级）、任务待定队列长度、通道状态、所需服务缓存。动作空间为迁移决定和卸载决定。奖励函数为最小化代价的负值，最大化奖励函数就是最小化系统代价。
MDP必须包含状态转移概率矩阵，但是，由于系统状态空间的复杂性，并没有这些先验知识可以指导MDP寻求最优计算卸载和任务迁移策略，以最小化全局代价。因此，基于系统多设备多任务的特点，并且数字孪生网络可以估计全局信息，本实施方式拟利用MADDPG深度强化学习算法解决问题P3，MADDPG可以解决传统单Agent深度强化学习算法由于Agent数量的增加而没有交互，导致加剧方差而影响收敛性的问题。由于有来自数字孪生网络的全局信息帮助，MADDPG的各个Agent之间可以与数字孪生网络进行有效交互，以协同训练学习最优卸载和任务迁移策略。
所述的改进的深度强化学习算法，针对样本选择基于自适应比例的优先经验重放来稳定和加速所述深度强化学习算法（perMADDPG）的训练过程。在训练期间，从经验重放缓冲器采样小批量训练样本。为此，采用随机优先级排序，这也允许具有低优先级值的经验有机会被选择。以这种自适应方式，增加了重放的样本的多样性，并且避免了边缘计算学习智能体对具有高优先级值的样本的过拟合。
本实施方式设置每个小批量重放样本的选择概率与其优先级值成比例，计算如下：
其中，为经验池中样本i的优先级，本实施方式将其值设置为与算法训练时的时间差分大小和训练回合数相关，具体为：
，
为真实值与预测值的时间差分的大小，/>为算法当前训练的回合数，/>为算法单次训练总回合数。
所述深度强化学习算法（perMAPPDG）执行步骤如下：
S41， 针对每一个训练智能体n，初始化每个Agent的Actor和Critic的主网络的神经元参数:；
S42， 通过软拷贝的方式初始化每个Agent的Actor和Critic的目标网络的神经元参数:，/>； 同时初始化经验回放缓冲池的容量大小M；
S43，循环执行共Epimax个回合；
S44，重置数字孪生辅助的边缘计算模型的仿真环境，并重置初始观测状态，并且初始奖励设置为/>=0；
S45，循环执行共T个时隙；
S46，根据初始观测状态o，初始化OU噪声向量，并执行上述的基于决策树的边缘服务器选择算法，得到满足条件的预卸载边缘服务器；
S47，根据策略，选择动作/>，同时添加OU噪声向量/>；
S48，所有Agent选择联合动作a并执行，同时在环境中返回所有奖励，转移到下一状态o'；
S49，将样本<o， a， r， o'>存储到经验回放缓冲池M内，作为训练主网络的样本数据集；
S410，根据边缘服务器所覆盖的电力物联网数量循环执行E次；
S411，当样本量达到一定数量后，提出的自适应比例的优先经验重放策略选择最小批训练样本作为Actor和Critic的主网络的训练样本；
S412，计算Critic主网络的梯度，同时利用Adam优化器反向传播更新Critic主网络的参数；
S413，计算Actor主网络的策略梯度；同时利用Adam优化器反向传播更新Actor主网络的参数；
S414，软更新Actor和Critic的目标网络参数和/>；
S415， S410开始的循环结束；
S416，S45开始的循环结束；
S417，S43开始的循环结束；
S418， 算法结束。
实施方式三
参照图2、图6说明本实施方式。
本实施方式所述的一种基于数字孪生的电力物联网任务卸载系统包括：
数字孪生模型构建应用模块：用于构建数字孪生辅助的移动边缘计算模型，根据所述数字孪生辅助的移动边缘计算模型，获取边缘服务器的数字孪生；获取电力物联网设备产生的请求任务，并将所述请求任务的特征信息输入到所述数字孪生辅助的移动边缘计算模型中，得到请求任务的数字孪生；
模型设置模块：用于设置通信模型、计算模型、加权平均代价最小化问题及约束条件；
任务卸载模块：用于选择边缘服务器，采用改进的深度强化学习算法训练所述边缘服务器，得到最优任务卸载与迁移策略，完成任务的卸载。
具体地：
本实施方式所述的系统基于实施方式一和实施方式二所述的一种基于数字孪生的电力物联网任务卸载方法实现，系统包括多个电力物联网终端节点、UAV，边缘服务器、云服务器，所述系统在云服务器端的所述数字孪生系统上进行训练，在每个边缘服务器端的所对应数字孪生模型上执行，训练参数定期通过云服务器端数字孪生系统传输到边缘服务器端数字孪生系统上进行更新，以保证边缘服务器资源满足电力物联网任务需求。
如图2所示，针对基于数字孪生的移动边缘计算电力物联网任务处理场景，共分为3层，电力物联网终端层，包括E个电力物联网节点，移动边缘计算层，包括N个移动边缘计算设备，云服务层，包括1个云服务器。其中云服务器上承载着电力物联网终端任务所需的所有服务缓存，但是因为边缘服务器的承载能力有限，因此其所主控的电力物联网终端任务所需的服务缓存数量有限（本实施方式规定仅能主控2类服务缓存），因此需要根据电力物联网终端任务产生的任务不同而不断更新移动边缘服务器主控的缓存类型。电力物联网终端任务需要通过无线通信进行卸载传输，包括从电力物联网终端到移动边缘服务器端，移动边缘服务器端到云服务器端。数字孪生系统包括物理模型中所有设备（包括电力物联网设备、边缘计算服务器和云服务器）的数字孪生、设备之间的连接关系的数字孪生。位于云服务器端的数字孪生系统包括所有设备的数字副本，并且包含图形处理器（GPU），因为其可以活动所有设备的全局信息（计算资源和通信资源），因此其可以高效执行上述的基于改进深度学习任务卸载和迁移算法的训练。位于每个边缘服务器端的数字孪生系统进包括自身边缘服务器和其所覆盖的电力物联网设备的数字副本，其可以运行上述基于决策树的任务卸载到哪个边缘服务器的决策算法，并且可以执行上述的基于改进深度学习任务卸载和迁移算法，但是其不参与训练。
图6为本实施方式所述的一种基于数字孪生的电力物联网任务卸载系统示意图，系统包括多个电力物联网终端节点、UAV，边缘服务器、云服务器。基于数字孪生的电力物联网任务卸载系统运行电力物联网任务卸载方法。所述系统在云服务器端的所述数字孪生系统上进行训练，在每个边缘服务器端的所对应数字孪生模型上执行，训练参数定期通过云服务器端数字孪生系统传输到边缘服务器端数字孪生系统上进行更新，以保证边缘服务器资源满足电力物联网任务需求。
系统执行流程为：首先进行数字孪生辅助的移动边缘计算模型构建，通过创建物理设备的数字孪生虚拟映射模型，构建全局数字孪生网络，映射设备全局信息；之后针对大量无线设备不断接入，利用实施方式二提出的基于决策树的边缘服务器选择算法，数字孪生网络基于设备聚合和选择的边缘服务器确定状态作为深度神经网络的输入，同时确定数字孪生网络环境的即时奖励；利用实施方式二提出的基于perMADDPG的任务卸载与迁移方法，最后，基于数字孪生网络训练深度强化学习网络，得到最优任务卸载和迁移策略以最小化加权平均代价。
实施方式四
参照图3说明本实施方式。
本实施方式假设移动边缘服务器的数量为N=4（2个地面边缘服务器和2个UAV无人机）。在距每个边缘服务器80~100米距离范围处散布W=10个电力物联网终端，并且移动边缘服务器通过光纤链路连接到宏基站。每个电力物联网终端的初始任务到达概率设置为0.4。时隙设置为t = 1 ms。此外，任务完成截止时间为8个时隙内，MHz。为了平衡延迟和功耗的成本，将调整系数/>设置为0.5，也就是说，总延迟的成本等于平均消耗能量的成本。提出perMADDPG的Actor和Critic神经网络分别由一个输入层，两个完全连接的隐藏层和一个输出层构成。本实施方式提出方法的神经网络的部分超参数设置如下：将两个隐藏层中的神经元数分别设置为400和300。将的Actor网络和Critic网络的学习率设置为/>，。 缓冲池的总大小为50000。用于训练的最大回合/>分别设置为1000。用于训练的时隙/>的边界分别设置为100。最小批/>的大小设置为64。复制到目标网络/>的频率设置为2048。无法在截止时间内完成任务的惩罚/>。
从图3中可以明显看出，提出的perMADDPG算法的收敛速度明显强于对比算法，这是因为提出了改进的深度强化学习算法，针对样本选择基于自适应比例的优先经验重放来稳定和加速所述深度强化学习算法（MADDPG）的训练过程，并且提出算法的性能（平均累计奖励）要明显优于两个对比算法（MADDPG、DDPG），其中MADDPG算法为传统多智能体深度强化学习算法、DDPG为传统单智能体深度强化学习算法，为了提高DDPG算法收敛性和性能，本实施方式假设在DDPG算法下所有电力物联网节点到达的任务概率和任务大小相同，并且通道状态相同。提出算法性能高的原因是因为在进行训练之前，首先利用决策树算法进行了边缘服务器卸载选择，从而提高边缘服务器智能体的学习效率。
实施方式五
参照图4说明本实施方式。
如图4所示，图4给出了perMADDPG算法与其他两种算法（MADDPG、DDPG）相比的平均累积奖励曲线。
平均累积奖励为加权平均代价的负值，因此平均累积奖励越大代表总代价越小，算法越优越。算法perMADDPG的加权平均代价均小于其他两种算法。随着移动边缘服务器的算力变化率增加，意味着边缘服务器处理任务的稳定性变差，需要任务迁移次数增多，此时提出算法perMADDPG的优势逐渐明显。就DDPG算法而言，单智能体集中式训练集中式执行会导致在任务完成截止期限约束下无法完成任务而导致的罚款太大，并且累积的奖励较少（加权平均代价越来越多），这会严重影响DDPG的性能。
实施方式六
参照图5说明本实施方式。
图5为上述实施方式提出的方法与其他基线算法不同电力物联网终端数量下性能对比示意图。与其他两种算法相比，因为基于决策树的边缘服务器选择算法和优先选择样本的优势，因此其性能最佳。电力物联网终端数量多意味着产生的任务多，这势必会影响算法的性能。但是随着终端设备增加，算法perMADDPG的性能优势也随之体现出来。
以上实施方式仅用以说明本发明的技术方案，而非对其限制。尽管参照前述实施方式对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施方式所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换。而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施方式技术方案的精神和范围。

Claims (4)

1.一种基于数字孪生的电力物联网任务卸载方法，其特征在于，所述方法包括：
构建数字孪生辅助的移动边缘计算模型；
根据所述数字孪生辅助的移动边缘计算模型，获取边缘服务器的数字孪生；
获取电力物联网设备产生的请求任务，并将所述请求任务的特征信息输入到所述数字孪生辅助的移动边缘计算模型中，得到请求任务的数字孪生；
具体地：
所述的数字孪生辅助的移动边缘计算模型，是用于构建电力物联网设备、边缘服务器和云服务器之间的数字孪生，以及各设备之间的连接关系的数字孪生；
电力物联网设备包括移动电子设备、无人驾驶电动汽车，所述产生的请求任务为电力物联网设备自身不能处理的计算密集型任务；
电力物联网设备表示为：；
产生的请求任务表示为：；
服务缓存的集合表示为：；
来自电力物联网设备的每个请求任务都需要某些特定服务缓存计算处理；
电力物联网设备产生的请求任务为：
，
由服务缓存处理；
所有边缘服务器的集合为：
，
地面边缘服务器为：
，
无人机的集合为：
，
满足和/>；
边缘服务器托管服务缓存/>，其中/>是/>的子集，则任务/>被边缘服务器/>执行；否则，任务不能被执行；
定义任务卸载决定为：
，
表示请求任务可以卸载到边缘服务器n上处理；当边缘服务器不主控请求任务所需的服务缓存时，则将这些任务迁移到具有相应服务缓存的其他边缘服务器进行处理；当所有边缘服务器都没有托管请求任务所需的服务缓存，则将任务卸载到云服务器进行处理；
分别定义为任务/>是否迁移决定和任务/>迁移到哪个边缘服务器决定变量，满足/>；即如果边缘服务器/>上的任务/>需要迁移到另一台边缘服务器或卸载到云服务器，/>；否则，/>；如果边缘服务器/>上的任务/>迁移到边缘服务器/>并且/>，则/>；如果边缘服务器/>上的任务/>被卸载到云服务器，/>；
所述请求任务的数字孪生为：
其中，为电力物联网设备产生的任务特征，包括任务大小，所需CPU时钟周期数，任务截止时间，任务优先级，/>为电力物联网设备的位置信息，/>为电力物联网设备产生请求任务的概率；
所述边缘服务器的数字孪生为：
其中为边缘服务器与电力物联网设备之间的通道状态，/>为边缘服务器的位置信息，/>为边缘服务器的可用CPU时钟周期，/>为边缘服务器托管的服务缓存集，/>为时变通道错误向量；
设置通信模型、计算模型、加权平均代价最小化问题及约束条件；
采用决策树选择边缘服务器，采用改进的深度强化学习算法训练所述边缘服务器的数字孪生中的神经网络模型，得到最优任务卸载与迁移策略，完成任务的卸载；
所述通信模型为：
其中，是归一化调整系数；
定义是电力物联网设备/>和边缘服务器/>之间的通道向量；
通道向量定义为：
，
随不同时隙t和距离/>变化；
引入时间相关自回归模型模拟两个相邻时隙和/>之间的通道状态，其定义为：
其中是归一化调整系数，其值接近1，/>是误差向量，服从均值为0的复高斯分布；采用边缘服务器的孪生/>产生时变通道的误差向量/>；
根据香农定律，得到电力物联网设备e和边缘服务器n之间的最大卸载传输速率；
所述计算模型具体为：
将时隙产生的请求任务/>定义为元组，满足：
，
其中是请求任务/>的总大小；/>代表请求任务/>所需CPU时钟周期数；表示请求任务/>的截止时间；/>表示请求任务/>的任务优先级；
将定义为来自电力物联网设备/>的请求任务的概率，其服从参数为/>的伯努利分布，并且到达概率满足/>，其中/>是指标函数，表示如果电力物联网设备/>有请求任务/>到达，则/>；否则，/>；
针对电力物联网设备产生的特定任务请求，有三种处理方式：如果边缘服务器主控此任务执行的服务缓存，则卸载到此边缘服务器；如果此边缘服务器不主控此任务执行的服务缓存，则将任务迁移到主控此任务所需服务缓存的其他边缘服务器；如果所有边缘服务器都不主控此服务缓存，则将任务卸载到云服务器端处理；
具体为：
计算任务卸载到边缘服务器：
根据传输速率，得到电力物联网设备e产生的请求任务卸载到边缘计算服务器n的传输时延/>和传输能耗/>；
任务传输到边缘服务器后，由边缘服务器的处理器执行，得到边缘服务器n执行任务的时延/>和能耗/>，其中/>为时延偏差，通过模型的前期训练获取真实边缘服务器和数字孪生的设备之间的偏差，实际时延和数字孪生估计时延之间的时延偏差表示为：
其中，为边缘服务器物理实体计算卸载任务分配的CPU时钟周期数；/>为在t时隙内，边缘服务器n的可用CPU时钟周期数；
定义任务缓冲队列来缓解边缘服务器的计算压力，请求任务首先存储在缓冲区队列中，完成任务的总延迟还包括任务等待时延和能耗/>；
计算任务迁移到其他边缘服务器：
若边缘服务器不托管从卸载请求任务/>所需的服务缓存/>，则当前边缘服务器/>无法执行请求任务/>，如果其他边缘服务器托管服务缓存/>，请求任务迁移到此边缘服务器；
计算任务卸载到云服务器：
如果所有边缘服务器都没有托管卸载的请求任务所需的服务缓存/>，将任务从边缘服务器卸载到云服务器执行，并产生任务卸载传输延迟/>和能耗/>，不考虑计算延迟和等待延迟，回程延迟和能耗分别表示为/>和/>；
所述最小化问题具体为：
通过执行最优卸载和迁移决策、/>和/>，以最小化在总时间周期/>内完成数字孪生辅助的边缘计算模型中的所有请求任务的长期加权平均成本，包括延迟成本和能耗成本；
首先，计算在时隙处理电力物联网设备/>产生的请求任务/>的总延迟和总能耗，最小化长期加权平均成本问题定义如下：
P1
s.t
其中，时延代价代表时延服务质量，能耗代价/>代表能耗服务质量，任务未完成惩罚代价/>代表任务完成率服务质量，/>是值为正的常数，表示任务未在截止时间内完成的惩罚；/>为权重因子，用来调节延迟代价和能耗代价重要性；
将P1转化为两个子问题P2和P3，P2分解为边缘服务器卸载选择问题，P3分解为边缘服务器任务卸载和迁移决策问题；
利用决策树方法实现问题P2；
基于数字孪生辅助的边缘计算模型，电力物联网设备在选择合作边缘服务器时具有两个选择顺序，即以主控服务缓存一致性优先选择或以通道状态增益水平优先选择；然后，分别基于主控缓存数量与是否满足通道状态增益水平设置特定阈值，以指导任务卸载决策；
设定服务缓存匹配数量阈值和通道增益条件阈值分别为和/>，则卸载任务的可选边缘服务器集合分别为/>；如果以主控服务缓存数量作为优先选择，则根据是否小于阈值/>，得到/>；否则得到/>；
具体步骤为：
S31，初始化参数，包括：阈值、/>、集合/>；
S32，数字孪生网络决定以主控服务缓存匹配数量作为优先选择；
S33，根据边缘服务器数量循环执行n次，即每个边缘服务器n执行一次；
S34，判断边缘服务器n主控的服务缓存的数量是否小于阈值，如果为真，则将边缘服务器n划分到集合/>，否则，边缘服务器n不符合条件，划分到集合/>；
S34，判断电力物联网e与边缘服务器n之间的通道状态相似度是否大于阈值，如果为真，则将边缘服务器n划分到集合/>，否则，边缘服务器n不符合条件，划分到集合；
S35，循环结束；
S36，数字孪生网络决定以通道条件作为优先选择；
S37，根据边缘服务器数量循环执行n次，即每个边缘服务器n执行一次；
S38，判断电力物联网e与边缘服务器n之间的通道状态相似度是否大于阈值，如果为真，则将边缘服务器n划分到集合/>，否则，边缘服务器n不符合条件，划分到集合；
S39，判断边缘服务器n主控的服务缓存的数量是否小于阈值，如果为真，则将边缘服务器n划分到集合/>，否则，边缘服务器n不符合条件，划分到集合/>；
S310，循环结束；
S311， 判断以通道条件优先和以服务缓存匹配数量优先的信息熵，选择信息熵大的作为最终分类方法；
S312， 算法结束；
利用改进的深度强化学习算法解决问题P3，每个电力物联网设备都被认为是一个参与学习Agent；
设置每个小批量重放样本的选择概率与其优先级值成比例，计算如下：
其中，为经验池中样本i的优先级，将其值设置为与算法训练时的时间差分大小和训练回合数相关，具体为：
，
为真实值与预测值的时间差分的大小，/>为算法当前训练的回合数，/>为算法单次训练总回合数；
所述改进的深度强化学习算法步骤如下：
S41， 针对每一个训练智能体n，初始化每个Agent的Actor和Critic的主网络的神经元参数: ；
S42， 通过软拷贝的方式初始化每个Agent的Actor和Critic的目标网络的神经元参数: ， />； 同时初始化经验回放缓冲池的容量大小M；
S43，循环执行共Epimax个回合；
S44，重置数字孪生辅助的边缘计算模型的仿真环境，并重置初始观测状态，并且初始奖励设置为/>=0；
S45，循环执行共T个时隙；
S46，根据初始观测状态o，初始化OU噪声向量，并执行上述的基于决策树的边缘服务器选择算法，得到满足条件的预卸载边缘服务器；
S47，根据策略，选择动作/>，同时添加OU噪声向量/>；
S48，所有Agent选择联合动作a并执行，同时在环境中返回所有奖励，转移到下一状态o'；
S49，将样本<o， a， r， o'>存储到经验回放缓冲池M内，作为训练主网络的样本数据集；
S410，根据边缘服务器所覆盖的电力物联网设备数量循环执行E次；
S411，当样本量达到一定数量后，提出的自适应比例的优先经验重放策略选择最小批训练样本作为Actor和Critic的主网络的训练样本；
S412，计算Critic主网络的梯度，同时利用Adam优化器反向传播更新Critic主网络的参数；
S413，计算Actor主网络的策略梯度；同时利用Adam优化器反向传播更新Actor主网络的参数；
S414，软更新Actor和Critic的目标网络参数和/>；
S415， S410开始的循环结束；
S416，S45开始的循环结束；
S417，S43开始的循环结束；
S418， 算法结束。
2.一种计算机设备，其特征在于，包括存储器和处理器，所述存储器中存储有计算机程序，当所述处理器运行所述存储器存储的计算机程序时，所述处理器执行根据权利要求1所述的一种基于数字孪生的电力物联网任务卸载方法。
3.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质用于储存计算机程序，当处理器运行所述计算机程序时，所述处理器执行权利要求1所述的一种基于数字孪生的电力物联网任务卸载方法。
4.一种基于数字孪生的电力物联网任务卸载系统，其特征在于，所述系统包括：
数字孪生模型构建应用模块：用于构建数字孪生辅助的移动边缘计算模型，根据所述数字孪生辅助的移动边缘计算模型，获取边缘服务器的数字孪生；获取电力物联网设备产生的请求任务，并将所述请求任务的特征信息输入到所述数字孪生辅助的移动边缘计算模型中，得到请求任务的数字孪生；
具体地：
所述的数字孪生辅助的移动边缘计算模型，是用于构建电力物联网设备、边缘服务器和云服务器之间的数字孪生，以及各设备之间的连接关系的数字孪生；
电力物联网设备包括移动电子设备、无人驾驶电动汽车，所述产生的请求任务为电力物联网设备自身不能处理的计算密集型任务；
电力物联网设备表示为：；
产生的请求任务表示为：；
服务缓存的集合表示为：；
来自电力物联网设备的每个请求任务都需要某些特定服务缓存计算处理；
电力物联网设备产生的请求任务为：
，
由服务缓存处理；
所有边缘服务器的集合为：
，
地面边缘服务器为：
，
无人机的集合为：
，
满足和/>；
边缘服务器托管服务缓存/>，其中/>是/>的子集，则任务/>被边缘服务器/>执行；否则，任务不能被执行；
定义任务卸载决定为：
，
表示请求任务可以卸载到边缘服务器n上处理；当边缘服务器不主控请求任务所需的服务缓存时，则将这些任务迁移到具有相应服务缓存的其他边缘服务器进行处理；当所有边缘服务器都没有托管请求任务所需的服务缓存，则将任务卸载到云服务器进行处理；
分别定义为任务/>是否迁移决定和任务/>迁移到哪个边缘服务器决定变量，满足/>；即如果边缘服务器/>上的任务/>需要迁移到另一台边缘服务器或卸载到云服务器，/>；否则，/>；如果边缘服务器/>上的任务/>迁移到边缘服务器/>并且/>，则/>；如果边缘服务器/>上的任务/>被卸载到云服务器，/>；
所述请求任务的数字孪生为：
其中，为电力物联网设备产生的任务特征，包括任务大小，所需CPU时钟周期数，任务截止时间，任务优先级，/>为电力物联网设备的位置信息，/>为电力物联网设备产生请求任务的概率；
所述边缘服务器的数字孪生为：
其中为边缘服务器与电力物联网设备之间的通道状态，/>为边缘服务器的位置信息，/>为边缘服务器的可用CPU时钟周期，/>为边缘服务器托管的服务缓存集，/>为时变通道错误向量；
模型设置模块：用于设置通信模型、计算模型、加权平均代价最小化问题及约束条件；
任务卸载模块：用于选择边缘服务器，采用改进的深度强化学习算法训练所述边缘服务器的数字孪生中的神经网络模型，得到最优任务卸载与迁移策略，完成任务的卸载
所述通信模型为：
其中，是归一化调整系数；
定义是电力物联网设备/>和边缘服务器/>之间的通道向量；
通道向量定义为：
，
随不同时隙t和距离/>变化；
引入时间相关自回归模型模拟两个相邻时隙和/>之间的通道状态，其定义为：
其中是归一化调整系数，其值接近1，/>是误差向量，服从均值为0的复高斯分布；采用边缘服务器的孪生/>产生时变通道的误差向量/>；
根据香农定律，得到电力物联网设备e和边缘服务器n之间的最大卸载传输速率；
所述计算模型具体为：
将时隙产生的请求任务/>定义为元组，满足：
，
其中是请求任务/>的总大小；/>代表请求任务/>所需CPU时钟周期数；表示请求任务/>的截止时间；/>表示请求任务/>的任务优先级；
将定义为来自电力物联网设备/>的请求任务的概率，其服从参数为/>的伯努利分布，并且到达概率满足/>，其中/>是指标函数，表示如果电力物联网设备/>有请求任务/>到达，则/>；否则，/>；
针对电力物联网设备产生的特定任务请求，有三种处理方式：如果边缘服务器主控此任务执行的服务缓存，则卸载到此边缘服务器；如果此边缘服务器不主控此任务执行的服务缓存，则将任务迁移到主控此任务所需服务缓存的其他边缘服务器；如果所有边缘服务器都不主控此服务缓存，则将任务卸载到云服务器端处理；
具体为：
计算任务卸载到边缘服务器：
根据传输速率，得到电力物联网设备e产生的请求任务卸载到边缘计算服务器n的传输时延/>和传输能耗/>；
任务传输到边缘服务器后，由边缘服务器的处理器执行，得到边缘服务器n执行任务的时延/>和能耗/>，其中/>为时延偏差，通过模型的前期训练获取真实边缘服务器和数字孪生的设备之间的偏差，实际时延和数字孪生估计时延之间的时延偏差表示为：
其中，为边缘服务器物理实体计算卸载任务分配的CPU时钟周期数；/>为在t时隙内，边缘服务器n的可用CPU时钟周期数；
定义任务缓冲队列来缓解边缘服务器的计算压力，请求任务首先存储在缓冲区队列中，完成任务的总延迟还包括任务等待时延和能耗/>；
计算任务迁移到其他边缘服务器：
若边缘服务器不托管从卸载请求任务/>所需的服务缓存/>，则当前边缘服务器/>无法执行请求任务/>，如果其他边缘服务器托管服务缓存/>，请求任务迁移到此边缘服务器；
计算任务卸载到云服务器：
如果所有边缘服务器都没有托管卸载的请求任务所需的服务缓存/>，将任务从边缘服务器卸载到云服务器执行，并产生任务卸载传输延迟/>和能耗/>，不考虑计算延迟和等待延迟，回程延迟和能耗分别表示为/>和/>；
所述最小化问题具体为：
通过执行最优卸载和迁移决策、/>和/>，以最小化在总时间周期/>内完成数字孪生辅助的边缘计算模型中的所有请求任务的长期加权平均成本，包括延迟成本和能耗成本；
首先，计算在时隙处理电力物联网设备/>产生的请求任务/>的总延迟和总能耗，最小化长期加权平均成本问题定义如下：
P1
s.t
其中，时延代价代表时延服务质量，能耗代价/>代表能耗服务质量，任务未完成惩罚代价/>代表任务完成率服务质量，/>是值为正的常数，表示任务未在截止时间内完成的惩罚；/>为权重因子，用来调节延迟代价和能耗代价重要性；
将P1转化为两个子问题P2和P3，P2分解为边缘服务器卸载选择问题，P3分解为边缘服务器任务卸载和迁移决策问题；
利用决策树方法实现问题P2；
基于数字孪生辅助的边缘计算模型，电力物联网设备在选择合作边缘服务器时具有两个选择顺序，即以主控服务缓存一致性优先选择或以通道状态增益水平优先选择；然后，分别基于主控缓存数量与是否满足通道状态增益水平设置特定阈值，以指导任务卸载决策；
设定服务缓存匹配数量阈值和通道增益条件阈值分别为和/>，则卸载任务的可选边缘服务器集合分别为/>；如果以主控服务缓存数量作为优先选择，则根据是否小于阈值/>，得到/>；否则得到/>；
具体步骤为：
S31，初始化参数，包括：阈值、/>、集合/>；
S32，数字孪生网络决定以主控服务缓存匹配数量作为优先选择；
S33，根据边缘服务器数量循环执行n次，即每个边缘服务器n执行一次；
S34，判断边缘服务器n主控的服务缓存的数量是否小于阈值，如果为真，则将边缘服务器n划分到集合/>，否则，边缘服务器n不符合条件，划分到集合/>；
S34，判断电力物联网e与边缘服务器n之间的通道状态相似度是否大于阈值，如果为真，则将边缘服务器n划分到集合/>，否则，边缘服务器n不符合条件，划分到集合；
S35，循环结束；
S36，数字孪生网络决定以通道条件作为优先选择；
S37，根据边缘服务器数量循环执行n次，即每个边缘服务器n执行一次；
S38，判断电力物联网e与边缘服务器n之间的通道状态相似度是否大于阈值，如果为真，则将边缘服务器n划分到集合/>，否则，边缘服务器n不符合条件，划分到集合；
S39，判断边缘服务器n主控的服务缓存的数量是否小于阈值，如果为真，则将边缘服务器n划分到集合/>，否则，边缘服务器n不符合条件，划分到集合/>；
S310，循环结束；
S311， 判断以通道条件优先和以服务缓存匹配数量优先的信息熵，选择信息熵大的作为最终分类方法；
S312， 算法结束；
利用改进的深度强化学习算法解决问题P3，每个电力物联网设备都被认为是一个参与学习Agent；
设置每个小批量重放样本的选择概率与其优先级值成比例，计算如下：
其中，为经验池中样本i的优先级，将其值设置为与算法训练时的时间差分大小和训练回合数相关，具体为：
，
为真实值与预测值的时间差分的大小，/>为算法当前训练的回合数，/>为算法单次训练总回合数；
所述改进的深度强化学习算法步骤如下：
S41， 针对每一个训练智能体n，初始化每个Agent的Actor和Critic的主网络的神经元参数: ；
S42， 通过软拷贝的方式初始化每个Agent的Actor和Critic的目标网络的神经元参数: ， />； 同时初始化经验回放缓冲池的容量大小M；
S43，循环执行共Epimax个回合；
S44，重置数字孪生辅助的边缘计算模型的仿真环境，并重置初始观测状态，并且初始奖励设置为/>=0；
S45，循环执行共T个时隙；
S46，根据初始观测状态o，初始化OU噪声向量，并执行上述的基于决策树的边缘服务器选择算法，得到满足条件的预卸载边缘服务器；
S47，根据策略，选择动作/>，同时添加OU噪声向量/>；
S48，所有Agent选择联合动作a并执行，同时在环境中返回所有奖励，转移到下一状态o'；
S49，将样本<o， a， r， o'>存储到经验回放缓冲池M内，作为训练主网络的样本数据集；
S410，根据边缘服务器所覆盖的电力物联网设备数量循环执行E次；
S411，当样本量达到一定数量后，提出的自适应比例的优先经验重放策略选择最小批训练样本作为Actor和Critic的主网络的训练样本；
S412，计算Critic主网络的梯度，同时利用Adam优化器反向传播更新Critic主网络的参数；/>
S413，计算Actor主网络的策略梯度；同时利用Adam优化器反向传播更新Actor主网络的参数；
S414，软更新Actor和Critic的目标网络参数和/>；
S415， S410开始的循环结束；
S416，S45开始的循环结束；
S417，S43开始的循环结束；
S418， 算法结束。
CN202410008012.2A 2024-01-04 2024-01-04 一种电力物联网任务卸载方法、系统、设备及介质 Active CN117528657B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202410008012.2A CN117528657B (zh) 2024-01-04 2024-01-04 一种电力物联网任务卸载方法、系统、设备及介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202410008012.2A CN117528657B (zh) 2024-01-04 2024-01-04 一种电力物联网任务卸载方法、系统、设备及介质

Publications (2)

Publication Number Publication Date
CN117528657A CN117528657A (zh) 2024-02-06
CN117528657B true CN117528657B (zh) 2024-03-19

Family

ID=89744223

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202410008012.2A Active CN117528657B (zh) 2024-01-04 2024-01-04 一种电力物联网任务卸载方法、系统、设备及介质

Country Status (1)

Country Link
CN (1) CN117528657B (zh)

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112118601A (zh) * 2020-08-18 2020-12-22 西北工业大学 一种减少6g数字孪生边缘计算网络任务卸载延迟的方法
CN112911648A (zh) * 2021-01-20 2021-06-04 长春工程学院 一种空地结合的移动边缘计算卸载优化方法
CN112911647A (zh) * 2021-01-20 2021-06-04 长春工程学院 一种基于深度强化学习的计算卸载和资源分配方法
CN113572804A (zh) * 2021-04-29 2021-10-29 重庆工程职业技术学院 一种基于边缘协作的任务卸载系统、方法及装置
CN116170844A (zh) * 2023-02-20 2023-05-26 重庆邮电大学 一种用于工业物联网场景中的数字孪生辅助任务卸载方法
CN116390161A (zh) * 2023-03-20 2023-07-04 重庆邮电大学 一种移动边缘计算中基于负载均衡的任务迁移方法
CN116546021A (zh) * 2023-06-12 2023-08-04 重庆邮电大学 一种移动边缘计算中具有隐私保护的智能体策略学习方法
CN116782296A (zh) * 2023-05-29 2023-09-19 南京理工大学 一种基于数字孪生的车联网边缘计算卸载多目标决策方法

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112118601A (zh) * 2020-08-18 2020-12-22 西北工业大学 一种减少6g数字孪生边缘计算网络任务卸载延迟的方法
CN112911648A (zh) * 2021-01-20 2021-06-04 长春工程学院 一种空地结合的移动边缘计算卸载优化方法
CN112911647A (zh) * 2021-01-20 2021-06-04 长春工程学院 一种基于深度强化学习的计算卸载和资源分配方法
CN113572804A (zh) * 2021-04-29 2021-10-29 重庆工程职业技术学院 一种基于边缘协作的任务卸载系统、方法及装置
CN116170844A (zh) * 2023-02-20 2023-05-26 重庆邮电大学 一种用于工业物联网场景中的数字孪生辅助任务卸载方法
CN116390161A (zh) * 2023-03-20 2023-07-04 重庆邮电大学 一种移动边缘计算中基于负载均衡的任务迁移方法
CN116782296A (zh) * 2023-05-29 2023-09-19 南京理工大学 一种基于数字孪生的车联网边缘计算卸载多目标决策方法
CN116546021A (zh) * 2023-06-12 2023-08-04 重庆邮电大学 一种移动边缘计算中具有隐私保护的智能体策略学习方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
"Service caching decision-making policy for mobile edge computing using deep reinforcement learning";Hongchang Ke et al;《IET Communications》;20221207;全文 *

Also Published As

Publication number Publication date
CN117528657A (zh) 2024-02-06

Similar Documents

Publication Publication Date Title
CN113950066B (zh) 移动边缘环境下单服务器部分计算卸载方法、系统、设备
Qi et al. Knowledge-driven service offloading decision for vehicular edge computing: A deep reinforcement learning approach
CN111625361B (zh) 一种基于云端服务器和IoT设备协同的联合学习框架
CN113626104B (zh) 边云架构下基于深度强化学习的多目标优化卸载策略
CN114415735B (zh) 面向动态环境的多无人机分布式智能任务分配方法
CN115034390B (zh) 一种基于云边端协同的深度学习模型推理加速方法
CN114340016A (zh) 一种电网边缘计算卸载分配方法及系统
CN113645637B (zh) 超密集网络任务卸载方法、装置、计算机设备和存储介质
CN113485826A (zh) 一种边缘服务器负载均衡方法、系统
CN116614394A (zh) 一种基于多目标深度强化学习的服务功能链放置方法
CN115022926A (zh) 一种基于资源均衡度的多目标优化容器迁移方法
CN117436485A (zh) 基于权衡时延和精度的多退出点的端-边-云协同系统及方法
CN117528657B (zh) 一种电力物联网任务卸载方法、系统、设备及介质
CN113360245A (zh) 基于移动云计算深度强化学习的物联网设备任务下载方法
CN116009990B (zh) 基于宽注意力机制的云边协同元强化学习计算卸载方法
CN115334165B (zh) 一种基于深度强化学习的水下多无人平台调度方法及系统
CN116467009A (zh) 一种基于深度强化学习的动态资源分配的任务卸载方法
CN116367231A (zh) 基于ddpg算法的边缘计算车联网资源管理联合优化方法
CN116501483A (zh) 基于多智能体强化学习的车辆边缘计算任务调度方法
CN113485803B (zh) 具有时延约束任务流场景下的自适应封装与协同推理方法
CN114980160A (zh) 一种无人机辅助的太赫兹通信网络联合优化方法和装置
Li et al. Dynamic adaptive workload offloading strategy in mobile edge computing networks
CN117544680B (zh) 一种基于电力物联网缓存放置方法、系统、设备及介质
Ma et al. Improved DRL-based energy-efficient UAV control for maximum lifecycle
CN117834643B (zh) 一种面向工业物联网的深度神经网络协同推理方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant