CN114143355B - 一种电力物联网低时延安全云边端协同方法 - Google Patents

一种电力物联网低时延安全云边端协同方法 Download PDF

Info

Publication number
CN114143355B
CN114143355B CN202111512248.2A CN202111512248A CN114143355B CN 114143355 B CN114143355 B CN 114143355B CN 202111512248 A CN202111512248 A CN 202111512248A CN 114143355 B CN114143355 B CN 114143355B
Authority
CN
China
Prior art keywords
model
delay
piot
block
master node
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202111512248.2A
Other languages
English (en)
Other versions
CN114143355A (zh
Inventor
廖海君
周振宇
贾泽晗
汤中卫
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
North China Electric Power University
Original Assignee
North China Electric Power University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by North China Electric Power University filed Critical North China Electric Power University
Priority to CN202111512248.2A priority Critical patent/CN114143355B/zh
Publication of CN114143355A publication Critical patent/CN114143355A/zh
Application granted granted Critical
Publication of CN114143355B publication Critical patent/CN114143355B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/12—Protocols specially adapted for proprietary or special-purpose networking environments, e.g. medical networks, sensor networks, networks in vehicles or remote metering networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/44—Arrangements for executing specific programs
    • G06F9/445—Program loading or initiating
    • G06F9/44594—Unloading
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16Y—INFORMATION AND COMMUNICATION TECHNOLOGY SPECIALLY ADAPTED FOR THE INTERNET OF THINGS [IoT]
    • G16Y10/00—Economic sectors
    • G16Y10/75—Information technology; Communication
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16Y—INFORMATION AND COMMUNICATION TECHNOLOGY SPECIALLY ADAPTED FOR THE INTERNET OF THINGS [IoT]
    • G16Y40/00—IoT characterised by the purpose of the information processing
    • G16Y40/50—Safety; Security of things, users, data or systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L47/00—Traffic control in data switching networks
    • H04L47/50—Queue scheduling
    • H04L47/56—Queue scheduling implementing delay-aware scheduling
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Signal Processing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Security & Cryptography (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Business, Economics & Management (AREA)
  • Accounting & Taxation (AREA)
  • Development Economics (AREA)
  • Economics (AREA)
  • General Business, Economics & Management (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Mobile Radio Communication Systems (AREA)

Abstract

本发明公开了一种电力物联网低时延安全云边端协同方法，包括：构建系统模型，由PIoT设备、地面基站、无人机、边缘服务器、云服务器和卫星组成；构建任务卸载模型；构建任务处理模型；构建排队时延模型；构建联盟区块链模型；最小化SAG‑PIoT网络中PIoT设备在长期安全性约束下的总排队时延；利用李雅普诺夫优化将长期约束与短期决策优化解耦。本发明的优点是：降低系统成本，提高模型训练的学习性能，优化计算资源的分配；提高了抗EMI的能力，该发明实现EMI感知，减轻EMI的不利影响。

Description

一种电力物联网低时延安全云边端协同方法
技术领域
本发明涉及物联网技术领域，特别涉及一种电力物联网低时延安全云边端协同方法。
背景技术
随着边缘计算在电力物联网(power Internet of Things,PIoT)中的广泛部署，由PloTPIoT设备产生的大量计算密集型任务被卸载到边缘服务器上进行计算。然而，现有的PIoT网络不能满足电力系统对计算卸载严格的安全性和时延要求。一方面，卸载后的任务和计算结果容易被篡改和逆转，严重危及电力系统的安全。另一方面，有限的通信基础设施和僵硬的资源部署，无法提供灵活、随需应变的服务。此外，非智能化卸载和资源分配方式导致计算时延大，资源利用率低。
区块链、PIoT和机器学习的结合为满足电力系统计算卸载的严格安全性和时延要求提供了一种可行的方案。然而，在实施的过程中一些主要的挑战总结如下：
(1)学习性能与成本的权衡：传统集中式学习方法具有最佳性能，但需要提前掌握全局状态信息(global state information,GSI)，导致学习成本巨大。
(2)安全性与时延性能的权衡：边缘服务器同时进行任务处理和区块创建，当边缘服务器分配更多的计算资源进行任务处理时，用于区块创建的计算资源可能不足，导致区块创建时延增大、安全性降低。
(3)电磁干扰(electromagnetic interference,EMI)对学习性能的不利影响：在SAG-PIoT中，来自高压电力基础设施的瞬态过程和局部放电产生的强烈EMI对学习性能和模型收敛性造成不利影响。
与本发明相关的现有技术：基于区块链和深度强化学习(Deep reinforcementlearning，DRL)的边缘计算网络任务卸载方法：该方法利用DRL进行任务卸载并使用区块链最大化隐私级别。
一方面，上述方法没有对任务卸载的安全性进行数学建模和优化；另一方面，上述方案没有考虑EMI对网络性能的影响，不具备电磁干扰感知能力；除此之外，上述方法在模型训练和学习性能提升中，并没有充分利用附近PIoT设备的相似环境观测数据。
发明内容
本发明针对现有技术的缺陷，提供了一种电力物联网低时延安全云边端协同方法。
为了实现以上发明目的，本发明采取的技术方案如下：
一种电力物联网低时延安全云边端协同方法，包括以下步骤：
步骤1，构建系统模型；
所述系统模型由电力物联网设备简称PIoT设备、地面基站GBS、无人机UAV、边缘服务器、云服务器和卫星组成；
假设存在I个PIoT设备，J+M个基站BS，基站包括J个GBS和M个UAV；
PIoT设备和BS的集合分别表示为
Figure GDA0003736128400000021
其中,sj,j＝1,…J,表示GBS，sj,j＝J+1,…J+M表示UAV；
BS与边缘服务器位于相同位置，为PIoT设备提供数据传输和计算服务；云服务器通过有线链路与GBS连接，通过无线链路与无人机连接；PIoT设备通过BS将任务卸载到边缘服务器进行计算，并采用区块链技术保证计算卸载的安全性；利用卫星在区块链节点之间广播消息；
采用时隙模型，总时间周期被划分为T个时隙，每个时隙时间长度为τ，集合表示为
Figure GDA0003736128400000031
假设网络状态在一个时隙内保持不变，而在不同的时隙之间变化；在时隙t，表示到达ui的任务数据量为Ai(t)，其满足0≤Ai(t)≤Ai,max；定义Ui(t)表示为ui在时隙t的吞吐量；将存储在ui缓冲区中的数据建模为数据队列，其队列的积压表示为Qi(t)，则可不断更新表示为
Qi(t+1)＝max{Qi(t)-Ui(t),0}+Ai(t) (1)
Ai(t)和Ui(t)分别为队列的输入和输出；
步骤2，构建任务卸载模型；
定义sj对ui的服务可用性二进制指示变量为ai,j(t)∈{0,1}；特别地，ai,j(t)＝1表示在时隙t，sj对ui可用，否则ai,j(t)＝0；任务卸载决策由两部分组成:1)选择GBS或UAV进行数据传输；2)选择云计算或边缘计算进行任务处理；ui的任务卸载决策定义为一组二进制指示变量
Figure GDA0003736128400000032
Figure GDA0003736128400000033
表示ui选择sj在时隙t中进行数据传输,否则
Figure GDA0003736128400000034
表示ui选择云计算，
Figure GDA0003736128400000035
表示ui在时隙t选择边缘计算；
21)PIoT设备GBS通信模型:给定
Figure GDA0003736128400000036
ui与sj之间的传输速率为
Figure GDA0003736128400000037
其中hi,j(t)，Bi,j(t)，Pi(t)，
Figure GDA0003736128400000038
分别为ui与sj之间的信道增益、带宽、传输功率和EMI功率，δ2是噪声功率；
22)PIoT设备无人机通信模型:给定
Figure GDA0003736128400000039
ui与sj之间的传输速率为
Figure GDA00037361284000000310
其中Li,j(t)为ui和sj之间的路径损耗，表示为
Figure GDA0003736128400000041
其中di,j(t)和ri,j(t)分别为ui与sj在时隙t的垂直距离和水平距离；
Figure GDA0003736128400000042
和
Figure GDA0003736128400000043
分别为视距链路和非视距链路的自由空间路径损耗的附加损失；fc是载频，c是光速；
Figure GDA0003736128400000044
为PIoT设备-无人机视距链路概率，表示为
Figure GDA0003736128400000045
其中b1，b2，
Figure GDA0003736128400000046
和
Figure GDA0003736128400000047
的值取决于传输环境；
ui在时隙t的吞吐量计算为
Figure GDA0003736128400000048
步骤3，构建任务处理模型
定义
Figure GDA0003736128400000049
和
Figure GDA00037361284000000410
分别表示边缘服务器和云服务器缓冲区队列积压，能够不断更新表示为
Figure GDA00037361284000000411
Figure GDA00037361284000000412
其中，
Figure GDA00037361284000000413
分别为sj和云服务器处理的数据量；定义sj和云服务器为计算ui数据分配的CPU周期频率为
Figure GDA00037361284000000414
和
Figure GDA00037361284000000415
Figure GDA00037361284000000416
和
Figure GDA00037361284000000417
表示为
Figure GDA00037361284000000418
Figure GDA00037361284000000419
λi表示处理1比特ui任务数据需要的CPU周期数；
步骤4，构建排队时延模型；
41)任务卸载的排队时延：对于ui，任务卸载的排队时延表示为
Figure GDA0003736128400000051
其中
Figure GDA0003736128400000052
表示Qi(t)的时间平均到达速率，计算为
Figure GDA0003736128400000053
42)任务处理的排队时延：在云计算中，边缘服务器向云服务器转发数据时，会产生转发时延
Figure GDA0003736128400000054
对于ui，边缘计算和云计算的排队时延分别计算为
Figure GDA0003736128400000055
其中
Figure GDA0003736128400000056
和
Figure GDA0003736128400000057
分别为
Figure GDA0003736128400000058
和
Figure GDA0003736128400000059
的时间平均到达速率，计算为
Figure GDA00037361284000000510
Figure GDA00037361284000000511
ui任务处理的排队时延取决于所有服务器中最大排队时延，表示为
Figure GDA00037361284000000512
所以ui在时隙t的总排队时延为
Figure GDA00037361284000000513
步骤5，构建联盟区块链模型；
区块链节点分为两类：完整节点和轻量级节点；GBS作为完整节点参与区块链共识过程，UAV作为轻量级节点；卫星负责在区块链节点之间广播消息，实现低时延共识；
在区块共识过程中采用实用拜占庭容错协议PBFT，以实现较低的共识时延和确定性；每个时隙选取一个GBS作为主节点，其他GBS为非主节点；非主节点在主节点的协调下参与共识过程；
步骤5中共识过程由5个阶段组成：
1)请求：一个事务生成器sj向主节点sj*发送请求消息；包含事务信息的请求消息由sj的私钥签名，并由消息身份验证节点MAC进行身份验证；签名一个事务消息、验证一个签名和生成并验证一个MAC所需的CPU周期分别表示为∈s、∈v和∈c；事务生成器花费∈s+∈c的CPU周期生成请求，主节点验证请求的CPU周期为(J+M+1)(∈v+∈c)；
2)预准备：请求阶段收集的所有有效事务信息都被主节点包含到一个块中；然后，主节点通过卫星向所有非主节点广播一条预准备消息以及签名块；主节点对块和J-1个MAC生成签名，供非主节点验证，此过程需要(∈s+(J-1)∈c)个CPU周期；然后非主节点需要验证块的签名和MAC，以及预准备消息中事务的签名和MAC，需要的CPU周期数为(J+M+2)(∈v+∈c)；
3)准备：在验证签名和MAC后，每个非主节点向所有完整节点发送准备消息；然后，每个非主节点检查接收到的预准备和准备消息的一致性；根据PBFT协议，所有完整节点从不同的非主节点收集的共识消息至少为2[F]个,F＝(J-1)/3；主节点验证2[F]个MAC和签名，需要2[F](∈v+∈c)CPU周期；由于每个非主节点需要额外生成签名和J-1个MAC，因此每个非主节点所需的CPU周期为2[F](∈v+∈c)+∈s+(J-1)∈c；
4)确认：在接收到2[F]个共识消息后，每个完整节点向所有其他完整节点广播一个确认消息；一旦接收到2[F]+1个确认消息，完整节点进入下一个阶段；在此阶段，每个完整节点为确认消息生成一个签名和J-1个MAC，并验证2[F]+1个签名和MAC，需要的CPU周期为∈s+(J-1)∈c+(2[F]+1)(∈v+∈c)
5)答复：从其它完整节点接收到至少2[F]+1个确认消息的完整节点，接受该块为有效块，并在本地复制该块；在这些完整节点中，每个非主节点向主节点发送一个答复消息；一旦接收到[F]个答复消息后，主节点将验证过的块更新到区块链；非主节点生成一个签名和J-1MAC组成答复消息，需要∈s+(J-1)∈cCPU周期；主节点验证[F]签名和MAC，需要[F](∈v+∈c)CPU周期；
基于以上分析，创建并上传一个新区块到联盟区块链时，非主节点和主节点所需的CPU周期分别为
Figure GDA0003736128400000071
Figure GDA0003736128400000072
块创建时延包括块生成时延、块传播时延和共识时延；块生成时延表示为常数τg；由于在共识过程中利用卫星进行广播块和消息，所以所有节点之间的传播时延保持不变，表示为τp；因此，块创建时延表示为
Figure GDA0003736128400000073
其中，
Figure GDA0003736128400000074
和
Figure GDA0003736128400000075
分别表示主节点和非主节点为创建块分配的CPU周期；
由于块创建时延对SAG-PIoT计算卸载安全的影响很大，因此定义长期安全性约束为
Figure GDA0003736128400000076
其中，
Figure GDA0003736128400000081
为安全性约束阈值，即最大块创建时延；
步骤6，问题建模；
最小化SAG-PIoT网络中PIoT设备在长期安全性约束下的总排队时延，表示为
P1：
Figure GDA0003736128400000082
Figure GDA0003736128400000083
C2：
Figure GDA0003736128400000084
C3：
Figure GDA0003736128400000085
C4：
Figure GDA0003736128400000086
C5：
Figure GDA0003736128400000087
C6：
Figure GDA0003736128400000088
Figure GDA00037361284000000814
表示任务卸载向量；
Figure GDA0003736128400000089
和
Figure GDA00037361284000000810
分别表示用于任务处理和块创建的边-服务器-端计算资源分配向量；
Figure GDA00037361284000000811
为云服务器端计算资源分配向量；C1和C2分别表示每个PIoT设备在每个时隙只能选择一个BS和一个计算模式；C3、C4、C5分别表示GBS、UAV和云服务器的计算资源分配约束，其中
Figure GDA00037361284000000812
和
Figure GDA00037361284000000813
分别表示sj和云服务器的最大可用CPU周期频率；C6表示长期安全性约束；
步骤7，问题转化；
利用李雅普诺夫优化将长期约束与短期决策优化解耦；
定义安全性赤字虚拟队列Y(t)，表示为
Figure GDA0003736128400000091
Y(t)表示创建块的时延与规定安全需求之间的偏差；
因此，P1可重写为
Figure GDA0003736128400000092
定义
Figure GDA0003736128400000093
李雅普诺夫函数表示为
Figure GDA0003736128400000094
李雅普诺夫漂移ΔL(Θ(t))定义为两个相邻时隙之间L(Θ(t))的条件变化；ΔL(Θ(t))的绝对值越大表示队列积压的波动越剧烈，队列稳定性越差；对于最小化问题P2，引入漂移加罚项在维持队列稳定的同时最小化总排队时延，表示为
Figure GDA0003736128400000095
其中
Figure GDA0003736128400000096
V是一个非负权值，用于平衡“惩罚最小化”和“队列稳定”；漂移加罚项的上界计算为
Figure GDA0003736128400000097
Figure GDA0003736128400000101
其中η是一个正常数，不影响李雅普诺夫优化；
P2转化为在C1～C5的约束条件下最小化ΔVL(Θ(t))上界的问题，实现了短期计算卸载优化与长期安全性约束解耦；放宽漂移加罚项的上界为
Figure GDA0003736128400000102
Figure GDA0003736128400000111
其中，
Figure GDA0003736128400000112
Figure GDA0003736128400000113
Figure GDA0003736128400000114
Figure GDA0003736128400000115
步骤9，P2解耦为SP1：任务卸载优化和SP2：计算资源分配优化；
91)任务卸载优化；
SP1优化每个PIoT设备的任务卸载决策，其表达式为
Figure GDA0003736128400000116
FDAC-EMI求解SP1；
首先，任务卸载问题建模为MDP：
1)状态空间:ui在时隙t的状态空间Si(t)定义为
Figure GDA0003736128400000121
2)动作空间：动作空间xi(t)定义为
Figure GDA0003736128400000122
3)奖励：由于SP1为最小化问题，定义成本函数为SP1的优化目标Ψi(xi(t))；
通过利用分布式PIoT设备上的本地数据进行局部模型更新，以及利用联邦平均局部模型进行周期性全局模型更新，云服务器负责全局模型更新，BS负责PIoT设备与云服务器之间的模型上传和下载；FDAC-EMI包括一个全局模型和I个本地模型；每个模型包含一个演员网络和一个评论家网络，演员网络采取行动并优化策略，而评论家网络则对具体情形进行批评并指导政策优化；全局演员网络模型、全局评论家网络模型、ui本地演员模型和ui本地评论家模型分别表示为θG(t)，ωG(t)，θi(t)和ωi(t)；
所述FDAC-EMI包含七个阶段：
初始化：初始化时，对全局演员网络和全局评论家网络进行随机权值初始化；成本函数Ψi(xi(t))初始化为零；
模型下载：在第g时间段开始时刻，即t＝(g-1)T0+1时，ui从云服务器上下载全局模型，并设置本地模型为θi(t)＝θG(t)和ωi(t)＝ωG(t)；
动作执行：在时隙t，ui基于策略π(Si(t)|θi(t))和状态空间Si(t)选择动作xi(t)；然后，ui执行任务卸载决策，观察
Figure GDA0003736128400000126
和fi c(t)并计算成本函数Ψi(xi(t))；
局部模型更新：在时隙t，ui计算TD误差κi(t)，并将本地演员网络模型θi(t+1)和本地评论家网络模型ωi(t+1)更新为
Figure GDA0003736128400000123
Figure GDA0003736128400000124
Figure GDA0003736128400000125
其中γ∈[0,1]为折现因子；κi(t)绝对值越大，说明局部模型的估计偏差越大；ξ和ξ′分别为本地演员网络模型和本地评论家网络模型的学习速率；
本地模型上传：在第g时间段末，即t＝gT0时刻，ui将本地模型上传至云服务器进行全局模型更新；
联邦集确定：考虑到突发的强电磁干扰对本地模型的不利影响，为了保证全局模型的收敛性，需要确定一个没有异常的本地模型的联邦集；分别定义有无ui本地网络模型参与的全局网络模型更新为
Figure GDA0003736128400000131
Figure GDA0003736128400000132
其中
Figure GDA0003736128400000133
为全局演员网络的training batch大小；此联邦集可确定为
Figure GDA0003736128400000134
其中Stest为用于确定联邦集的状态空间；
联邦平均：在第g时间段末，即t＝gT0时，云服务器根据获得的联邦集
Figure GDA0003736128400000139
执行联邦平均，并更新全局行动者模型θG(t+1)和全局评论家模型ωG(t+1)为
Figure GDA0003736128400000135
Figure GDA0003736128400000136
此外，
Figure GDA0003736128400000138
更新队列积压Qi(t+1)，
Figure GDA0003736128400000137
和Y(t+1)；当t>T时，迭代结束；
92)计算资源分配；
给定x(t)，SP2求解服务器侧计算资源分配，表示为
Figure GDA0003736128400000141
进一步地，SP2进一步分解为云服务器SP2-1、无人机SP2-2、主节点SP2-3和非主节点SP2-4的计算资源分配；
1)云服务器计算资源分配：SP2-1表示为
Figure GDA0003736128400000142
2)无人机计算资源分配：SP2-2表示为
Figure GDA0003736128400000143
Figure GDA0003736128400000151
3)主节点计算资源分配：SP2-3表示为
Figure GDA0003736128400000152
其中，
Figure GDA0003736128400000153
4)非主节点计算资源分配：SP2-4的表示为
Figure GDA0003736128400000154
其中，
Figure GDA0003736128400000155
SP2-1～SP2-4是非凸优化问题，可以通过光滑函数逼近min{x}求解；
给定X＝sup{x1,…,xI}，则min{x}近似为
Figure GDA0003736128400000161
其中k是可控参数；
根据以上描述，SP2-1～SP2-4可转化为凸优化问题，并用拉格朗日优化求解；给定
Figure GDA0003736128400000162
SP2-1近似为
Figure GDA0003736128400000163
Figure GDA0003736128400000164
是凸优化问题，可以采用拉格朗日对偶分解法求解；定义与C5和C7相关的拉格朗日乘子向量分别为vi和ui；公式(44)的增广拉格朗日函数为
Figure GDA0003736128400000165
利用拉格朗日对偶分解将公式(45)分解为
Figure GDA0003736128400000166
根据Karush-Kuhn-Tucker(KKT)条件，时隙t的第(l+1)次更新迭代中fi c(t)的最优值可表示为
Figure GDA0003736128400000167
定义
Figure GDA0003736128400000171
为步长，基于梯度法，vi(t,l+1)和μi(t,l+1)可分别计算为
Figure GDA0003736128400000172
Figure GDA0003736128400000173
与现有技术相比，本发明的优点在于：
1.降低系统成本，该发明基于半分布式学习的任务卸载，提高模型训练的学习性能；
2.实现安全性和延迟性能的动态权衡，该发明基于排队延迟和块创建延迟，优化计算资源的分配；
3.提高了抗EMI的能力，该发明实现EMI感知，减轻EMI的不利影响。
附图说明
图1是本发明实施例系统模型结构示意图；
图2是本发明实施例任务卸载排队时延示意图；
图3是本发明实施例任务处理排队时延示意图；
图4是本发明实施例总排队时延示意图；
图5是本发明实施例块创建时延随全节点数量的变化示意图。
具体实施方式
为使本发明的目的、技术方案及优点更加清楚明白，以下根据附图并列举实施例，对本发明做进一步详细说明。
如图1所示，
整个技术方案包括三个步骤：
1.构建系统模型
如图1所示，SAG-PIoT由PIoT设备(电力物联网PIoT设备)、地面基站(ground BaseStation,GBSs)、无人机(unmanned aerial vehicles，UAVs)、边缘服务器、云服务器和卫星组成。本发明假设存在I个PIoT设备，J+M个基站(Base Stations,BSs)，包括J个GBSs和M个UAVs。PIoT设备和BS的集合分别表示为
Figure GDA0003736128400000181
其中,sj,j＝1,…J,表示GBSs，sj,j＝J+1,…J+M表示UAVs。特别的，GBSs的服务可用性是固定的，而无人机的服务可用性是间歇性的。另一方面，由于视距链路的存在，PIoT设备-无人机传输信道质量更优。
BS与边缘服务器位于相同位置，为PIoT设备提供数据传输和计算服务。为简单起见，本发明采用同一符号表示BS及与其位于相同位置的边缘服务器。计算能力较强的云服务器通过有线链路与GBS连接，通过无线链路与无人机连接。PIoT设备通过BS将任务卸载到边缘服务器进行计算。本发明采用区块链技术保证计算卸载的安全性。利用卫星在区块链节点之间广播消息，以实现低时延共识，提高系统安全性。
本发明采用时隙模型，总时间周期被划分为T个时隙，每个时隙时间长度为τ，集合表示为
Figure GDA0003736128400000182
假设网络状态在一个时隙内保持不变，而在不同的时隙之间变化。在时隙t，表示到达ui的任务数据量为Ai(t)，其满足0≤Ai(t)≤Ai,max。定义Ui(t)表示为ui在时隙t的吞吐量。将存储在ui缓冲区中的数据建模为数据队列，其队列的积压表示为Qi(t)，则可不断更新表示为
Qi(t+1)＝max{Qi(t)-Ui(t),0}+Ai(t) (1)
Ai(t)和Ui(t)分别为队列的输入和输出。
(1)任务卸载模型
定义sj对ui的服务可用性二进制指示变量为ai,j(t)∈{0,1}。特别地，ai,j(t)＝1表示在时隙t，sj对ui可用，否则ai,j(t)＝0。任务卸载决策由两部分组成:1)选择BS，即选择GBSs或UAVs进行数据传输；2)选择计算模式，即选择云计算或边缘计算进行任务处理。ui的任务卸载决策定义为一组二进制指示变量x(t)＝
Figure GDA0003736128400000191
Figure GDA0003736128400000192
表示ui选择sj在时隙t中进行数据传输,否则
Figure GDA0003736128400000193
Figure GDA0003736128400000194
表示ui选择云计算，
Figure GDA0003736128400000195
表示ui在时隙t选择边缘计算。
1)PIoT设备-GBS通信模型:给定
Figure GDA0003736128400000196
ui与sj之间的传输速率为
Figure GDA0003736128400000197
其中hi,j(t)，Bi,j(t)，Pi(t)，
Figure GDA0003736128400000198
分别为ui与sj之间的信道增益、带宽、传输功率和EMI功率，δ2是噪声功率。
2)PIoT设备-无人机通信模型:给定
Figure GDA0003736128400000199
ui与sj之间的传输速率为
Figure GDA00037361284000001910
其中Li,j(t)为ui和sj之间的路径损耗，表示为
Figure GDA00037361284000001911
其中di,j(t)和ri,j(t)分别为ui与sj在时隙t的垂直距离和水平距离。
Figure GDA00037361284000001912
和
Figure GDA00037361284000001913
分别为视距链路和非视距链路的自由空间路径损耗的附加损失。fc是载频，c是光速。
Figure GDA0003736128400000201
为PIoT设备-无人机视距链路概率，表示为
Figure GDA0003736128400000202
其中b1，b2，
Figure GDA0003736128400000203
和
Figure GDA0003736128400000204
的值取决于传输环境。
ui在时隙t的吞吐量计算为
Figure GDA0003736128400000205
(2)任务处理模型
定义
Figure GDA0003736128400000206
和
Figure GDA0003736128400000207
分别表示边缘服务器和云服务器缓冲区队列积压，可不断更新表示为
Figure GDA0003736128400000208
Figure GDA0003736128400000209
其中，
Figure GDA00037361284000002010
分别为sj和云服务器处理的数据量。定义sj和云服务器为计算ui数据分配的CPU周期频率为
Figure GDA00037361284000002011
和
Figure GDA00037361284000002012
Figure GDA00037361284000002013
和
Figure GDA00037361284000002014
可表示为
Figure GDA00037361284000002015
Figure GDA00037361284000002016
λi表示处理1比特ui任务数据需要的CPU周期数。
(3)排队时延模型
1)任务卸载的排队时延：根据利特尔定律可知排队时延与平均队列长度成正比，与平均数据到达率成反比。对于ui，任务卸载的排队时延表示为
Figure GDA0003736128400000211
其中
Figure GDA0003736128400000212
表示Qi(t)的时间平均到达速率，计算为
Figure GDA0003736128400000213
2)任务处理的排队时延：在云计算中，边缘服务器向云服务器转发数据时，会产生转发时延
Figure GDA0003736128400000214
对于ui，边缘计算和云计算的排队时延分别计算为
Figure GDA0003736128400000215
其中
Figure GDA0003736128400000216
和
Figure GDA0003736128400000217
分别为
Figure GDA0003736128400000218
和
Figure GDA0003736128400000219
的时间平均到达速率，计算为
Figure GDA00037361284000002110
Figure GDA00037361284000002111
ui任务处理的排队时延取决于所有服务器中最大排队时延，表示为
Figure GDA00037361284000002112
所以ui在时隙t的总排队时延为
Figure GDA00037361284000002113
(4)联盟区块链模型
分布式GBSs、UAVs和卫星在认证机构预注册以获得维护区块链的许可。区块链节点分为两类：完整节点和轻量级节点。具体来说，GBSs作为完整节点参与区块链共识过程，而由于移动性和服务可用性的间歇性，UAVs作为轻量级节点，不能参与共识过程，但可以在区块链中生成、转发和交换事务。卫星具有覆盖范围广的优势，负责在区块链节点之间广播消息，实现低时延共识。
在每个时隙开始时，每个服务器生成一个事务，记录前一个时隙中已卸载任务的关键信息和计算结果。在达成全局共识后，具有完整事务的区块被不可逆的附加到最长公认链的末端。本发明在区块共识过程中采用实用拜占庭容错(practical Byzantine faulttolerance,PBFT)协议，以实现较低的共识时延和确定性。每个时隙选取一个GBS作为主节点，其他GBSs为非主节点。非主节点在主节点的协调下参与共识过程。共识过程由5个阶段组成：1)请求,2)预准备,3)准备,4)确认,5)答复，具体介绍如下。
1)请求：一个事务生成器(例如sj)向主节点(例如sj*)发送请求消息。包含事务信息的请求消息由sj的私钥签名，并由消息身份验证节点(message authentication node,MAC)进行身份验证。签名一个事务消息、验证一个签名和生成并验证一个MAC所需的CPU周期分别表示为∈s、∈v和∈c。事务生成器花费∈s+∈c的CPU周期生成请求，主节点验证请求的CPU周期为(J+M+1)(∈v+∈c)。
2)预准备：请求阶段收集的所有有效事务信息都被主节点包含到一个块中。然后，主节点通过卫星向所有非主节点广播一条预准备消息以及签名块。主节点对块和J-1个MAC生成签名，供非主节点验证，此过程需要(∈s+(J-1)∈c)个CPU周期。然后非主节点需要验证块的签名和MAC，以及预准备消息中事务的签名和MAC，需要的CPU周期数为(J+M+2)(∈v+∈c)。
3)准备：在验证签名和MAC后，每个非主节点向所有完整节点发送准备消息。然后，每个非主节点检查接收到的预准备和准备消息的一致性。根据PBFT协议，所有完整节点从不同的非主节点收集的共识消息至少为2[F]个,F＝(J-1)/3。主节点验证2[F]个MAC和签名，需要2[F](∈v+∈c)CPU周期。由于每个非主节点需要额外生成签名和J-1个MAC，因此每个非主节点所需的CPU周期为2[F](∈v+∈c)+∈s+(J-1)∈c。
4)确认：在接收到2[F]个共识消息后，每个完整节点向所有其他完整节点广播一个确认消息。一旦接收到2[F]+1个确认消息，完整节点进入下一个阶段。在此阶段，每个完整节点为确认消息生成一个签名和J-1个MAC，并验证2[F]+1个签名和MAC，需要的CPU周期为∈s+(J-1)∈c+(2[F]+1)(∈v+∈c)
5)答复：从其它完整节点接收到至少2[F]+1个确认消息的完整节点，接受该块为有效块，并在本地复制该块。在这些完整节点中，每个非主节点向主节点发送一个答复消息。一旦接收到[F]个答复消息后，主节点将验证过的块更新到区块链。非主节点生成一个签名和J-1MAC组成答复消息，需要∈s+(J-1)∈cCPU周期。主节点验证[F]签名和MAC，需要[F](∈v+∈c)CPU周期。
基于以上分析，创建并上传一个新区块到联盟区块链时，非主节点和主节点所需的CPU周期分别为
Figure GDA0003736128400000231
Figure GDA0003736128400000232
块创建时延包括块生成时延、块传播时延和共识时延。块生成时延表示为常数τg。由于在共识过程中利用卫星进行广播块和消息，所以所有节点之间的传播时延保持不变，表示为τp。因此，块创建时延表示为
Figure GDA0003736128400000233
其中，
Figure GDA0003736128400000234
和
Figure GDA0003736128400000235
分别表示主节点和非主节点为创建块分配的CPU周期。
由于块创建时延对SAG-PIoT计算卸载安全的影响很大，因此定义长期安全性约束为
Figure GDA0003736128400000241
其中，
Figure GDA0003736128400000242
为安全性约束阈值，即最大块创建时延。
2.问题建模和转化
(1)问题建模
本发明的目标是通过联合优化PIoT设备侧任务卸载和服务器侧计算资源分配，最小化SAG-PIoT网络中PIoT设备在长期安全性约束下的总排队时延，可表示为
Figure GDA0003736128400000243
Figure GDA0003736128400000244
表示任务卸载向量。
Figure GDA0003736128400000245
和
Figure GDA0003736128400000246
分别表示用于任务处理和块创建的边-服务器-端计算资源分配向量。
Figure GDA0003736128400000251
为云服务器端计算资源分配向量。C1和C2分别表示每个PIoT设备在每个时隙只能选择一个BS和一个计算模式。C3、C4、C5分别表示GBSs、UAVs和云服务器的计算资源分配约束，其中
Figure GDA0003736128400000252
和
Figure GDA0003736128400000253
分别表示sj和云服务器的最大可用CPU周期频率。C6表示长期安全性约束。
(2)问题转化
由于长期安全性约束与短期计算卸载优化相耦合，P1难以直接求解。因此，本发明利用李雅普诺夫优化将长期约束与短期决策优化解耦。
定义安全性赤字虚拟队列Y(t)，表示为
Figure GDA0003736128400000254
Y(t)表示创建块的时延与规定安全需求之间的偏差。
因此，P1可重写为
Figure GDA0003736128400000255
定义
Figure GDA0003736128400000256
李雅普诺夫函数可表示为
Figure GDA0003736128400000257
李雅普诺夫漂移ΔL(Θ(t))定义为两个相邻时隙之间L(Θ(t))的条件变化。ΔL(Θ(t))的绝对值越大表示队列积压的波动越剧烈，队列稳定性越差。对于最小化问题P2，引入漂移加罚项在维持队列稳定的同时最小化总排队时延，表示为
Figure GDA0003736128400000258
其中
Figure GDA0003736128400000261
V是一个非负权值，用于平衡“惩罚最小化”和“队列稳定”。漂移加罚项的上界计算为
Figure GDA0003736128400000262
其中η是一个正常数，不影响李雅普诺夫优化。
P2转化为在C1～C5的约束条件下最小化ΔVL(Θ(t))上界的问题，实现了短期计算卸载优化与长期安全性约束解耦。但是，服务器侧计算资源分配和PIoT设备侧任务卸载仍然是耦合的。因此，放宽漂移加罚项的上界为
Figure GDA0003736128400000263
Figure GDA0003736128400000271
其中，
Figure GDA0003736128400000272
Figure GDA0003736128400000273
Figure GDA0003736128400000274
Figure GDA0003736128400000275
3、基于区块链和半分布式学习的安全低时延计算卸载算法
P2可以解耦为两个确定的子问题，并依次分布式求解：SP1：任务卸载优化；SP2：计算资源分配优化。
(1)任务卸载优化
SP1优化每个PIoT设备的任务卸载决策，其表达式为
Figure GDA0003736128400000276
Figure GDA0003736128400000281
由于CSI的不确定性，ui无法掌握Ui(t)、
Figure GDA0003736128400000282
和
Figure GDA0003736128400000283
等信息。因此，本发明提出FDAC-EMI求解SP1。
首先，任务卸载问题可以建模为MDP，详细描述如下。
1)状态空间:ui在时隙t的状态空间Si(t)定义为
Figure GDA0003736128400000284
2)动作空间：动作空间xi(t)定义为
Figure GDA0003736128400000285
3)奖励：由于SP1为最小化问题，本发明定义成本函数为SP1的优化目标Ψi(xi(t))。
通过利用分布式PIoT设备上的本地数据进行局部模型更新，以及利用联邦平均局部模型进行周期性全局模型更新，本发明提出的FDAC-EMI可有效提高学习性能并降低学习成本。通过使用先进的压缩技术，模型上传和下载的通信成本相对较小，可以忽略不计。云服务器负责全局模型更新，BSs负责PIoT设备与云服务器之间的模型上传和下载。FDAC-EMI包括一个全局模型和I个本地模型。每个模型包含一个演员网络和一个评论家网络，演员网络采取行动并优化策略，而评论家网络则对具体情形进行批评并指导政策优化。全局演员网络模型、全局评论家网络模型、ui本地演员模型和ui本地评论家模型分别表示为θG(t)，ωG(t)，θi(t)和ωG(t)。
FDAC-EMI包含初始化、模型下载、动作执行、局部模型更新、局部模型上传、联邦集确定和联邦平均七个阶段。为了降低通信成本，减轻局部模型不收敛的不利影响，每T0>1个时隙(即一个时间段)，进行一次模型下载、局部模型上传、联邦集确定和联邦平均。
1)初始化：初始化时，对全局演员网络和全局评论家网络进行随机权值初始化。成本函数Ψi(xi(t))初始化为零。
2)模型下载：在第g时间段开始时刻，即t＝(g-1)T0+1时，ui从云服务器上下载全局模型，并设置本地模型为θi(t)＝θG(t)和ωi(t)＝ωG(t)。
3)动作执行：在时隙t，ui基于策略π(Si(t)|θi(t))和状态空间Si(t)选择动作xi(t)。然后，ui执行任务卸载决策，观察
Figure GDA0003736128400000293
和fi c(t)并计算成本函数Ψi(xi(t))。
4)局部模型更新：在时隙t，ui计算TD误差κi(t)，并将本地演员网络模型θi(t+1)和本地评论家网络模型ωi(t+1)更新为
κi(t)＝Ψi(xi(t))+γV(Si(t+1),ωi(t))-V(Si(t),ωi(t)), (30)
Figure GDA0003736128400000291
Figure GDA0003736128400000292
其中γ∈[0,1]为折现因子。κi(t)绝对值越大，说明局部模型的估计偏差越大。ξ和ξ′分别为本地演员网络模型和本地评论家网络模型的学习速率。
5)本地模型上传：在第g时间段末，即t＝gT0时刻，ui将本地模型上传至云服务器进行全局模型更新。
6)联邦集确定：考虑到突发的强电磁干扰对本地模型的不利影响，为了保证全局模型的收敛性，需要确定一个没有异常的本地模型的联邦集。分别定义有无ui本地网络模型参与的全局网络模型更新为
Figure GDA0003736128400000301
Figure GDA0003736128400000302
其中
Figure GDA0003736128400000303
为全局演员网络的training batch大小。此联邦集可确定为
Figure GDA0003736128400000304
其中Stest为用于确定联邦集的状态空间。
7)联邦平均：在第g时间段末，即t＝gT0时，云服务器根据获得的联邦集
Figure GDA0003736128400000305
执行联邦平均，并更新全局行动者模型θG(t+1)和全局评论家模型ωG(t+1)为
Figure GDA0003736128400000306
Figure GDA0003736128400000307
此外，
Figure GDA0003736128400000308
更新队列积压Qi(t+1)，
Figure GDA0003736128400000309
和Y(t+1)。当t>T时，迭代结束。
(2)计算资源分配
给定x(t)，SP2求解服务器侧计算资源分配，表示为
Figure GDA00037361284000003010
Figure GDA0003736128400000311
由于τBC(t)与fb成反比，本发明利用
Figure GDA0003736128400000312
来代替fb，使任务处理和块创建之间的计算资源分配解耦。由于创建块所需的CPU周期在主节点和非主节点之间是不同的，所以GBS的计算资源分配可以分解为主节点和非主节点的计算资源分配。因此，SP2可以进一步分解为云服务器SP2-1、无人机SP2-2、主节点SP2-3和非主节点SP2-4的计算资源分配。
1)云服务器计算资源分配：SP2-1表示为
Figure GDA0003736128400000313
2)无人机计算资源分配：SP2-2表示为
Figure GDA0003736128400000314
3)主节点计算资源分配：SP2-3表示为
Figure GDA0003736128400000321
其中，
Figure GDA0003736128400000322
4)非主节点计算资源分配：SP2-4的表示为
Figure GDA0003736128400000323
其中，
Figure GDA0003736128400000324
SP2-1～SP2-4是非凸优化问题，可以通过光滑函数逼近min{x}求解。
给定X＝sup{x1,…,xI}，则min{x}近似为
Figure GDA0003736128400000325
其中k是可控参数。
根据以上描述，SP2-1～SP2-4可转化为凸优化问题，并用拉格朗日优化求解。由于篇幅的限制，本发明以SP2-1为例，其它子问题的求解方法类似。给定
Figure GDA0003736128400000331
和
Figure GDA0003736128400000332
SP2-1近似为
Figure GDA0003736128400000333
Figure GDA0003736128400000334
是凸优化问题，可以采用拉格朗日对偶分解法求解。定义与C5和C7相关的拉格朗日乘子向量分别为vi和ui。(44)的增广拉格朗日函数为
Figure GDA0003736128400000335
本发明利用拉格朗日对偶分解将(45)分解为
Figure GDA0003736128400000336
根据Karush-Kuhn-Tucker(KKT)条件，时隙t的第(l+1)次更新迭代中fi c(t)的最优值可表示为
Figure GDA0003736128400000337
定义
Figure GDA0003736128400000338
为步长，基于梯度法，vi(t,l+1)和μi(t,l+1)可分别计算为
Figure GDA0003736128400000341
Figure GDA0003736128400000342
本实施例对上述提出的BRACE算法进行了仿真实验，并设置了三个基线算法进行性能的对比验证，基线算法设置如下
FA-UCB：前传感知上置信界算法，仅考虑了地面网络，任务处理和块创建的计算资源分配是固定的。
FTO：基于联邦深度强化学习的任务卸载算法，任务处理和块创建的计算资源分配是固定的。
DTO：基于分布式深度演员-评论家的计算卸载算法，该算法考虑了任务卸载和计算资源的分配。
三种基线算法都没有考虑EMI对网络性能的影响，即不具备EMI感知。
图2和图3显示了任务卸载排队时延和任务处理排队延迟随时隙的变化。与FA-UCB、FTO和DTO相比，BRACE可分别降低任务卸载排队时延88.64％、24.83％和60.13％，降低任务处理排队延迟86.48％、59.15％和72.95％。由图2可以看出，当电磁干扰严重时，BRACE的队列时延更稳定。其原因是，BRACE可以通过从联邦集中去除异常的本地网络模型来实现EMI感知，从而减轻EMI的不利影响。
图4显示了总排队时延与时隙的关系。与FA-UCB、FTO和DTO相比，BRACE可分别降低总排队时延86.98％，52.22％和70.94％。原因在于BRACE通过半分布式学习框架可以充分利用环境观测数据，并通过EMI感知减轻EMI的不利影响。
图5显示了块创建时延随全节点数J的变化。当J从2增加到6时，与DTO、FTO和FA-UCB相比，BRACE可分别降低时延增量40.13％、66.62％和74.65％。原因在于BRACE能够实现服务器侧计算资源的动态分配。
本领域的普通技术人员将会意识到，这里所述的实施例是为了帮助读者理解本发明的实施方法，应被理解为本发明的保护范围并不局限于这样的特别陈述和实施例。本领域的普通技术人员可以根据本发明公开的这些技术启示做出各种不脱离本发明实质的其它各种具体变形和组合，这些变形和组合仍然在本发明的保护范围内。

Claims (2)

1.一种电力物联网低时延安全云边端协同方法，其特征在于，包括以下步骤：
步骤1，构建系统模型；
所述系统模型由电力物联网设备简称PIoT设备、地面基站GBS、无人机UAV、边缘服务器、云服务器和卫星组成；
假设存在I个PIoT设备，J+M个基站BS，基站包括J个GBS和M个UAV；
PIoT设备和BS的集合分别表示为
Figure FDA0003736128390000011
其中,sj,j＝1,…J,表示GBS，sj,j＝J+1,…J+M表示UAV；
BS与边缘服务器位于相同位置，为PIoT设备提供数据传输和计算服务；云服务器通过有线链路与GBS连接，通过无线链路与无人机连接；PIoT设备通过BS将任务卸载到边缘服务器进行计算，并采用区块链技术保证计算卸载的安全性；利用卫星在区块链节点之间广播消息；
采用时隙模型，总时间周期被划分为T个时隙，每个时隙时间长度为τ，集合表示为
Figure FDA0003736128390000012
假设网络状态在一个时隙内保持不变，而在不同的时隙之间变化；在时隙t，表示到达ui的任务数据量为Ai(t)，其满足0≤Ai(t)≤Ai,max；定义Ui(t)表示为ui在时隙t的吞吐量；将存储在ui缓冲区中的数据建模为数据队列，其队列的积压表示为Qi(t)，则可不断更新表示为
Qi(t+1)＝max{Qi(t)-Ui(t),0}+Ai(t) (1)
Ai(t)和Ui(t)分别为队列的输入和输出；
步骤2，构建任务卸载模型；
定义sj对ui的服务可用性二进制指示变量为ai,j(t)∈{0,1}；特别地，ai,j(t)＝1表示在时隙t，sj对ui可用，否则ai,j(t)＝0；任务卸载决策由两部分组成:1)选择GBS或UAV进行数据传输；2)选择云计算或边缘计算进行任务处理；ui的任务卸载决策定义为一组二进制指示变量
Figure FDA0003736128390000021
Figure FDA0003736128390000022
表示ui选择sj在时隙t中进行数据传输,否则
Figure FDA0003736128390000023
表示ui选择云计算，
Figure FDA0003736128390000024
表示ui在时隙t选择边缘计算；
21)PIoT设备GBS通信模型:给定
Figure FDA0003736128390000025
ui与sj之间的传输速率为
Figure FDA0003736128390000026
其中hi,j(t)，Bi,j(t)，Pi(t)，
Figure FDA0003736128390000027
分别为ui与sj之间的信道增益、带宽、传输功率和EMI功率，δ2是噪声功率；
22)PIoT设备无人机通信模型:给定
Figure FDA0003736128390000028
ui与sj之间的传输速率为
Figure FDA0003736128390000029
其中Li,j(t)为ui和sj之间的路径损耗，表示为
Figure FDA00037361283900000210
其中di,j(t)和ri,j(t)分别为ui与sj在时隙t的垂直距离和水平距离；
Figure FDA00037361283900000211
和
Figure FDA00037361283900000212
分别为视距链路和非视距链路的自由空间路径损耗的附加损失；fc是载频，c是光速；
Figure FDA00037361283900000213
为PIoT设备-无人机视距链路概率，表示为
Figure FDA00037361283900000214
其中b1，b2，
Figure FDA00037361283900000215
和
Figure FDA00037361283900000216
的值取决于传输环境；
ui在时隙t的吞吐量计算为
Figure FDA0003736128390000031
步骤3，构建任务处理模型
定义
Figure FDA0003736128390000032
和
Figure FDA0003736128390000033
分别表示边缘服务器和云服务器缓冲区队列积压，能够不断更新表示为
Figure FDA0003736128390000034
Figure FDA0003736128390000035
其中，
Figure FDA0003736128390000036
分别为sj和云服务器处理的数据量；定义sj和云服务器为计算ui数据分配的CPU周期频率为
Figure FDA0003736128390000037
和
Figure FDA0003736128390000038
Figure FDA0003736128390000039
和
Figure FDA00037361283900000310
表示为
Figure FDA00037361283900000311
Figure FDA00037361283900000312
λi表示处理1比特ui任务数据需要的CPU周期数；
步骤4，构建排队时延模型；
41)任务卸载的排队时延：对于ui，任务卸载的排队时延表示为
Figure FDA00037361283900000313
其中
Figure FDA00037361283900000314
表示Qi(t)的时间平均到达速率，计算为
Figure FDA00037361283900000315
42)任务处理的排队时延：在云计算中，边缘服务器向云服务器转发数据时，会产生转发时延
Figure FDA00037361283900000316
对于ui，边缘计算和云计算的排队时延分别计算为
Figure FDA0003736128390000041
其中
Figure FDA0003736128390000042
和
Figure FDA0003736128390000043
分别为
Figure FDA0003736128390000044
和
Figure FDA0003736128390000045
的时间平均到达速率，计算为
Figure FDA0003736128390000046
Figure FDA0003736128390000047
ui任务处理的排队时延取决于所有服务器中最大排队时延，表示为
Figure FDA0003736128390000048
所以ui在时隙t的总排队时延为
Figure FDA0003736128390000049
步骤5，构建联盟区块链模型；
区块链节点分为两类：完整节点和轻量级节点；GBS作为完整节点参与区块链共识过程，UAV作为轻量级节点；卫星负责在区块链节点之间广播消息，实现低时延共识；
在区块共识过程中采用实用拜占庭容错协议PBFT，以实现较低的共识时延和确定性；每个时隙选取一个GBS作为主节点，其他GBS为非主节点；非主节点在主节点的协调下参与共识过程；
步骤5中共识过程由5个阶段组成：
1)请求：一个事务生成器sj向主节点sj*发送请求消息；包含事务信息的请求消息由sj的私钥签名，并由消息身份验证节点MAC进行身份验证；签名一个事务消息、验证一个签名和生成并验证一个MAC所需的CPU周期分别表示为∈s、∈v和∈c；事务生成器花费∈s+∈c的CPU周期生成请求，主节点验证请求的CPU周期为(J+M+1)(∈v+∈c)；
2)预准备：请求阶段收集的所有有效事务信息都被主节点包含到一个块中；然后，主节点通过卫星向所有非主节点广播一条预准备消息以及签名块；主节点对块和J-1个MAC生成签名，供非主节点验证，此过程需要(∈s+(J-1)∈c)个CPU周期；然后非主节点需要验证块的签名和MAC，以及预准备消息中事务的签名和MAC，需要的CPU周期数为(J+M+2)(∈v+∈c)；
3)准备：在验证签名和MAC后，每个非主节点向所有完整节点发送准备消息；然后，每个非主节点检查接收到的预准备和准备消息的一致性；根据PBFT协议，所有完整节点从不同的非主节点收集的共识消息至少为2[F]个,F＝
(J-1)/3；主节点验证2[F]个MAC和签名，需要2[F](∈v+∈c)CPU周期；由于每个非主节点需要额外生成签名和J-1个MAC，因此每个非主节点所需的CPU周期为2[F](∈v+∈c)+∈s+(J-1)∈c；
4)确认：在接收到2[F]个共识消息后，每个完整节点向所有其他完整节点广播一个确认消息；一旦接收到2[F]+1个确认消息，完整节点进入下一个阶段；在此阶段，每个完整节点为确认消息生成一个签名和J-1个MAC，并验证2[F]+1个签名和MAC，需要的CPU周期为∈s+(J-1)∈c+(2[F]+1)(∈v+∈c)
5)答复：从其它完整节点接收到至少2[F]+1个确认消息的完整节点，接受该块为有效块，并在本地复制该块；在这些完整节点中，每个非主节点向主节点发送一个答复消息；一旦接收到[F]个答复消息后，主节点将验证过的块更新到区块链；非主节点生成一个签名和J-1MAC组成答复消息，需要∈s+(J-1)∈cCPU周期；主节点验证[F]签名和MAC，需要[F](∈v+∈c)CPU周期；
基于以上分析，创建并上传一个新区块到联盟区块链时，非主节点和主节点所需的CPU周期分别为
Figure FDA0003736128390000061
Figure FDA0003736128390000062
块创建时延包括块生成时延、块传播时延和共识时延；块生成时延表示为常数τg；由于在共识过程中利用卫星进行广播块和消息，所以所有节点之间的传播时延保持不变，表示为τp；因此，块创建时延表示为
Figure FDA0003736128390000063
其中，
Figure FDA0003736128390000064
和
Figure FDA0003736128390000065
分别表示主节点和非主节点为创建块分配的CPU周期；
由于块创建时延对SAG-PIoT计算卸载安全的影响很大，因此定义长期安全性约束为
Figure FDA0003736128390000066
其中，
Figure FDA0003736128390000067
为安全性约束阈值，即最大块创建时延；
步骤6，问题建模；
最小化SAG-PIoT网络中PIoT设备在长期安全性约束下的总排队时延，表示为
Figure FDA0003736128390000068
Figure FDA0003736128390000069
Figure FDA0003736128390000071
Figure FDA0003736128390000072
Figure FDA0003736128390000073
Figure FDA0003736128390000074
Figure FDA0003736128390000075
Figure FDA0003736128390000076
表示任务卸载向量；
Figure FDA0003736128390000077
和
Figure FDA0003736128390000078
分别表示用于任务处理和块创建的边-服务器-端计算资源分配向量；
Figure FDA0003736128390000079
为云服务器端计算资源分配向量；C1和C2分别表示每个PIoT设备在每个时隙只能选择一个BS和一个计算模式；C3、C4、C5分别表示GBS、UAV和云服务器的计算资源分配约束，其中
Figure FDA00037361283900000710
和
Figure FDA00037361283900000711
分别表示sj和云服务器的最大可用CPU周期频率；C6表示长期安全性约束；
步骤7，问题转化；
利用李雅普诺夫优化将长期约束与短期决策优化解耦；
定义安全性赤字虚拟队列Y(t)，表示为
Figure FDA00037361283900000712
Y(t)表示创建块的时延与规定安全需求之间的偏差；
因此，P1可重写为
Figure FDA0003736128390000081
s.t.C1～C5,
Figure FDA0003736128390000082
Y(t)平均速率稳定. (22)
定义
Figure FDA0003736128390000083
李雅普诺夫函数表示为
Figure FDA0003736128390000084
李雅普诺夫漂移ΔL(Θ(t))定义为两个相邻时隙之间L(Θ(t))的条件变化；ΔL(Θ(t))的绝对值越大表示队列积压的波动越剧烈，队列稳定性越差；对于最小化问题P2，引入漂移加罚项在维持队列稳定的同时最小化总排队时延，表示为
Figure FDA0003736128390000085
其中
Figure FDA0003736128390000086
V是一个非负权值，用于平衡“惩罚最小化”和“队列稳定”；漂移加罚项的上界计算为
Figure FDA0003736128390000087
其中η是一个正常数，不影响李雅普诺夫优化；
P2转化为在C1～C5的约束条件下最小化ΔVL(Θ(t))上界的问题，实现了短期计算卸载优化与长期安全性约束解耦；放宽漂移加罚项的上界为
Figure FDA0003736128390000091
其中，
Figure FDA0003736128390000092
Figure FDA0003736128390000093
Figure FDA0003736128390000101
Figure FDA0003736128390000102
步骤9，P2解耦为SP1：任务卸载优化和SP2：计算资源分配优化；
91)任务卸载优化；
SP1优化每个PIoT设备的任务卸载决策，其表达式为
Figure FDA0003736128390000103
s.t.C1～C2 (28)
FDAC-EMI求解SP1；
首先，任务卸载问题建模为MDP：
1)状态空间:ui在时隙t的状态空间Si(t)定义为
Figure FDA0003736128390000104
2)动作空间：动作空间xi(t)定义为
Figure FDA0003736128390000105
3)奖励：由于SP1为最小化问题，定义成本函数为SP1的优化目标Ψi(xi(t))；
通过利用分布式PIoT设备上的本地数据进行局部模型更新，以及利用联邦平均局部模型进行周期性全局模型更新，云服务器负责全局模型更新，BS负责PIoT设备与云服务器之间的模型上传和下载；FDAC-EMI包括一个全局模型和I个本地模型；每个模型包含一个演员网络和一个评论家网络，演员网络采取行动并优化策略，而评论家网络则对具体情形进行批评并指导政策优化；全局演员网络模型、全局评论家网络模型、ui本地演员模型和ui本地评论家模型分别表示为θG(t)，ωG(t)，θi(t)和ωi(t)；
所述FDAC-EMI包含七个阶段：
初始化：初始化时，对全局演员网络和全局评论家网络进行随机权值初始化；成本函数Ψi(xi(t))初始化为零；
模型下载：在第g时间段开始时刻，即t＝(g-1)T0+1时，ui从云服务器上下载全局模型，并设置本地模型为θi(t)＝θG(t)和ωi(t)＝ωG(t)；
动作执行：在时隙t，ui基于策略π(Si(t)|θi(t))和状态空间Si(t)选择动作xi(t)；然后，ui执行任务卸载决策，观察Ui(t),
Figure FDA0003736128390000111
和fi c(t)并计算成本函数Ψi(xi(t))；
局部模型更新：在时隙t，ui计算TD误差κi(t)，并将本地演员网络模型θi(t+1)和本地评论家网络模型ωi(t+1)更新为
κi(t)＝Ψi(xi(t))+γV(Si(t+1),ωi(t))-V(Si(t),ωi(t)), (30)
Figure FDA0003736128390000112
Figure FDA0003736128390000113
其中γ∈[0,1]为折现因子；κi(t)绝对值越大，说明局部模型的估计偏差越大；ξ和ξ′分别为本地演员网络模型和本地评论家网络模型的学习速率；
本地模型上传：在第g时间段末，即t＝gT0时刻，ui将本地模型上传至云服务器进行全局模型更新；
联邦集确定：考虑到突发的强电磁干扰对本地模型的不利影响，为了保证全局模型的收敛性，需要确定一个没有异常的本地模型的联邦集；分别定义有无ui本地网络模型参与的全局网络模型更新为
Figure FDA0003736128390000121
Figure FDA0003736128390000122
其中
Figure FDA0003736128390000123
为全局演员网络的training batch大小；此联邦集可确定为
Figure FDA0003736128390000124
其中Stest为用于确定联邦集的状态空间；
联邦平均：在第g时间段末，即t＝gT0时，云服务器根据获得的联邦集
Figure FDA0003736128390000125
执行联邦平均，并更新全局行动者模型θG(t+1)和全局评论家模型ωG(t+1)为
Figure FDA0003736128390000126
Figure FDA0003736128390000127
此外，
Figure FDA0003736128390000128
更新队列积压Qi(t+1)，
Figure FDA0003736128390000129
和Y(t+1)；当t＞T时，迭代结束；
92)计算资源分配；
给定x(t)，SP2求解服务器侧计算资源分配，表示为
Figure FDA00037361283900001210
s.t.C3～C5,
Figure FDA0003736128390000131
Figure FDA0003736128390000132
2.根据权利要求1所述的一种电力物联网低时延安全云边端协同方法，其特征在于：SP2进一步分解为云服务器SP2-1、无人机SP2-2、主节点SP2-3和非主节点SP2-4的计算资源分配；
1)云服务器计算资源分配：SP2-1表示为
Figure FDA0003736128390000133
s.t.C5 and C7 (37)
2)无人机计算资源分配：SP2-2表示为
Figure FDA0003736128390000134
s.t.C4 and C8 (38)
3)主节点计算资源分配：SP2-3表示为
Figure FDA0003736128390000135
Figure FDA0003736128390000141
其中，
Figure FDA0003736128390000142
4)非主节点计算资源分配：SP2-4的表示为
Figure FDA0003736128390000143
Figure FDA0003736128390000144
其中，
Figure FDA0003736128390000145
SP2-1～SP2-4是非凸优化问题，可以通过光滑函数逼近min{x}求解；
给定X＝sup{x1,…,xI}，则min{x}近似为
Figure FDA0003736128390000146
其中k是可控参数；
根据以上描述，SP2-1～SP2-4可转化为凸优化问题，并用拉格朗日优化求解；给定
Figure FDA0003736128390000151
和
Figure FDA0003736128390000152
SP2-1近似为
Figure FDA0003736128390000153
s.t.C5 and C7. (44)
Figure FDA0003736128390000154
是凸优化问题，可以采用拉格朗日对偶分解法求解；定义与C5和C7相关的拉格朗日乘子向量分别为vi和ui；公式(44)的增广拉格朗日函数为
Figure FDA0003736128390000155
利用拉格朗日对偶分解将公式(45)分解为
Figure FDA0003736128390000156
根据Karush-Kuhn-Tucker(KKT)条件，时隙t的第(l+1)次更新迭代中fi c(t)的最优值可表示为
Figure FDA0003736128390000157
定义Δvi(t,l)为步长，基于梯度法，vi(t,l+1)和μi(t,l+1)可分别计算为
Figure FDA0003736128390000158
Figure FDA0003736128390000159
CN202111512248.2A 2021-12-08 2021-12-08 一种电力物联网低时延安全云边端协同方法 Active CN114143355B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111512248.2A CN114143355B (zh) 2021-12-08 2021-12-08 一种电力物联网低时延安全云边端协同方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111512248.2A CN114143355B (zh) 2021-12-08 2021-12-08 一种电力物联网低时延安全云边端协同方法

Publications (2)

Publication Number Publication Date
CN114143355A CN114143355A (zh) 2022-03-04
CN114143355B true CN114143355B (zh) 2022-08-30

Family

ID=80386146

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111512248.2A Active CN114143355B (zh) 2021-12-08 2021-12-08 一种电力物联网低时延安全云边端协同方法

Country Status (1)

Country Link
CN (1) CN114143355B (zh)

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114626306B (zh) * 2022-03-22 2023-01-24 华北电力大学 一种园区分布式能源调控信息新鲜度保障方法及系统
CN114710195B (zh) * 2022-03-24 2023-07-25 重庆邮电大学 一种基于跳波束技术的低轨卫星高能效资源分配方法
CN114630322B (zh) * 2022-03-30 2024-09-17 南京航空航天大学 无状态区块链使能的面向任务无人机网络互认证的方法
CN114827152B (zh) * 2022-07-01 2022-09-27 之江实验室 一种星地协同网络低延时云边端协同计算方法和装置
CN115378658B (zh) * 2022-07-27 2023-04-18 咚咚数字科技有限公司 一种基于物联网云边协同的园区通信数据传输方法
CN115499133A (zh) * 2022-09-14 2022-12-20 广州大学 低轨道卫星辅助的安全卸载方法
CN116126428B (zh) * 2023-04-14 2023-06-13 昆明理工大学 一种面向能量采集的无人机计算任务卸载方法
CN117545017B (zh) * 2024-01-09 2024-03-19 大连海事大学 一种面向无线供能移动边缘网络的在线计算卸载方法
CN117729571B (zh) * 2024-02-08 2024-05-31 厦门大学 一种动态mec网络中迁移决策与资源分配的联合优化方法
CN118075263B (zh) * 2024-02-18 2024-10-25 北京交通大学 面向车联网边缘场景中基于深度强化学习的可靠卸载方法
CN118509885A (zh) * 2024-04-25 2024-08-16 华北电力大学 基于通感一体化的6g电力语义通信方法、装置及系统

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110099384A (zh) * 2019-04-25 2019-08-06 南京邮电大学 基于边-端协同的多用户多mec任务卸载资源调度方法
CN111445111A (zh) * 2020-03-09 2020-07-24 国网江苏省电力有限公司南京供电分公司 一种基于边缘协同的电力物联网任务分配方法
CN111585916A (zh) * 2019-12-26 2020-08-25 国网辽宁省电力有限公司电力科学研究院 基于云边协同的lte电力无线专网任务卸载和资源分配方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110099384A (zh) * 2019-04-25 2019-08-06 南京邮电大学 基于边-端协同的多用户多mec任务卸载资源调度方法
WO2020216135A1 (zh) * 2019-04-25 2020-10-29 南京邮电大学 基于边-端协同的多用户多mec任务卸载资源调度方法
CN111585916A (zh) * 2019-12-26 2020-08-25 国网辽宁省电力有限公司电力科学研究院 基于云边协同的lte电力无线专网任务卸载和资源分配方法
CN111445111A (zh) * 2020-03-09 2020-07-24 国网江苏省电力有限公司南京供电分公司 一种基于边缘协同的电力物联网任务分配方法

Also Published As

Publication number Publication date
CN114143355A (zh) 2022-03-04

Similar Documents

Publication Publication Date Title
CN114143355B (zh) 一种电力物联网低时延安全云边端协同方法
Wang et al. Federated learning for task and resource allocation in wireless high-altitude balloon networks
CN111132175B (zh) 一种协同计算卸载和资源分配方法及应用
CN111031513B (zh) 一种多无人机辅助物联网通信方法及其系统
CN112737842B (zh) 空地一体化车联网中基于最小化时延的任务安全卸载方法
You et al. Joint task scheduling, resource allocation, and UAV trajectory under clustering for FANETs
CN110856259A (zh) 移动边缘计算环境中自适应数据块大小的资源分配和卸载方法
Li et al. Unmanned aerial vehicle‐aided edge networks with ultra‐reliable low‐latency communications: A digital twin approach
Peng et al. Edge intelligence for multi-dimensional resource management in aerial-assisted vehicular networks
CN115243285B (zh) 一种基于无人机网络的安全计算卸载方法
CN116260821A (zh) 基于深度强化学习和区块链的分布式并行计算卸载方法
Nguyen et al. Deep reinforcement learning-based partial task offloading in high altitude platform-aided vehicular networks
CN116566838A (zh) 一种区块链与边缘计算协同的车联网任务卸载和内容缓存方法
Farajzadeh et al. FLSTRA: Federated learning in stratosphere
Cao et al. Computing-aware routing for LEO satellite networks: A transmission and computation integration approach
CN112996121A (zh) 一种面向集群内通信的u2u分布式动态资源分配方法
Sheng et al. Energy-efficient trajectory planning and resource allocation in UAV communication networks under imperfect channel prediction
CN114500533B (zh) 基于用户协作的无人机辅助移动边缘计算系统优化方法
Zhang et al. Joint optimization of uav trajectory and relay ratio in uav-aided mobile edge computation network
Liao et al. Blockchain and learning-based computation offloading in space-assisted power iot
CN114125744A (zh) 一种基于区块链权益证明的数据采集方法及终端系统
Xu et al. Trajectory Planning and Resource Allocation for Multi-UAV Cooperative Computation
Wu et al. QoE-Driven UAV Video Transmission in a Multi-UAV Network
CN117997704B (zh) 一种空天地一体化网络管控平台
Huang et al. Joint Power Allocation and Task Replication for Reliability-Sensitive Services in NOMA-enabled Vehicular Edge Computing

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant