CN114143355A - 一种电力物联网低时延安全云边端协同方法 - Google Patents

一种电力物联网低时延安全云边端协同方法 Download PDF

Info

Publication number
CN114143355A
CN114143355A CN202111512248.2A CN202111512248A CN114143355A CN 114143355 A CN114143355 A CN 114143355A CN 202111512248 A CN202111512248 A CN 202111512248A CN 114143355 A CN114143355 A CN 114143355A
Authority
CN
China
Prior art keywords
model
delay
piot
block
master node
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202111512248.2A
Other languages
English (en)
Other versions
CN114143355B (zh
Inventor
廖海君
周振宇
贾泽晗
汤中卫
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
North China Electric Power University
Original Assignee
North China Electric Power University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by North China Electric Power University filed Critical North China Electric Power University
Priority to CN202111512248.2A priority Critical patent/CN114143355B/zh
Publication of CN114143355A publication Critical patent/CN114143355A/zh
Application granted granted Critical
Publication of CN114143355B publication Critical patent/CN114143355B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/12—Protocols specially adapted for proprietary or special-purpose networking environments, e.g. medical networks, sensor networks, networks in vehicles or remote metering networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/44—Arrangements for executing specific programs
    • G06F9/445—Program loading or initiating
    • G06F9/44594—Unloading
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16Y—INFORMATION AND COMMUNICATION TECHNOLOGY SPECIALLY ADAPTED FOR THE INTERNET OF THINGS [IoT]
    • G16Y10/00—Economic sectors
    • G16Y10/75—Information technology; Communication
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16Y—INFORMATION AND COMMUNICATION TECHNOLOGY SPECIALLY ADAPTED FOR THE INTERNET OF THINGS [IoT]
    • G16Y40/00—IoT characterised by the purpose of the information processing
    • G16Y40/50—Safety; Security of things, users, data or systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L47/00—Traffic control in data switching networks
    • H04L47/50—Queue scheduling
    • H04L47/56—Queue scheduling implementing delay-aware scheduling
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Signal Processing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Security & Cryptography (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Business, Economics & Management (AREA)
  • Accounting & Taxation (AREA)
  • Development Economics (AREA)
  • Economics (AREA)
  • General Business, Economics & Management (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Mobile Radio Communication Systems (AREA)

Abstract

本发明公开了一种电力物联网低时延安全云边端协同方法，包括：构建系统模型，由PIoT设备、地面基站、无人机、边缘服务器、云服务器和卫星组成；构建任务卸载模型；构建任务处理模型；构建排队时延模型；构建联盟区块链模型；最小化SAG‑PIoT网络中PIoT设备在长期安全性约束下的总排队时延；利用李雅普诺夫优化将长期约束与短期决策优化解耦。本发明的优点是：降低系统成本，提高模型训练的学习性能，优化计算资源的分配；提高了抗EMI的能力，该发明实现EMI感知，减轻EMI的不利影响。

Description

一种电力物联网低时延安全云边端协同方法
技术领域
本发明涉及物联网技术领域，特别涉及一种电力物联网低时延安全云边端协同方法。
背景技术
随着边缘计算在电力物联网(power Internet of Things,PIoT)中的广泛部署，由PloTPIoT设备产生的大量计算密集型任务被卸载到边缘服务器上进行计算。然而，现有的PIoT网络不能满足电力系统对计算卸载严格的安全性和时延要求。一方面，卸载后的任务和计算结果容易被篡改和逆转，严重危及电力系统的安全。另一方面，有限的通信基础设施和僵硬的资源部署，无法提供灵活、随需应变的服务。此外，非智能化卸载和资源分配方式导致计算时延大，资源利用率低。
区块链、PIoT和机器学习的结合为满足电力系统计算卸载的严格安全性和时延要求提供了一种可行的方案。然而，在实施的过程中一些主要的挑战总结如下：
(1)学习性能与成本的权衡：传统集中式学习方法具有最佳性能，但需要提前掌握全局状态信息(global state information,GSI)，导致学习成本巨大。
(2)安全性与时延性能的权衡：边缘服务器同时进行任务处理和区块创建，当边缘服务器分配更多的计算资源进行任务处理时，用于区块创建的计算资源可能不足，导致区块创建时延增大、安全性降低。
(3)电磁干扰(electromagnetic interference,EMI)对学习性能的不利影响：在SAG-PIoT中，来自高压电力基础设施的瞬态过程和局部放电产生的强烈EMI对学习性能和模型收敛性造成不利影响。
与本发明相关的现有技术：基于区块链和深度强化学习(Deep reinforcementlearning，DRL)的边缘计算网络任务卸载方法：该方法利用DRL进行任务卸载并使用区块链最大化隐私级别。
一方面，上述方法没有对任务卸载的安全性进行数学建模和优化；另一方面，上述方案没有考虑EMI对网络性能的影响，不具备电磁干扰感知能力；除此之外，上述方法在模型训练和学习性能提升中，并没有充分利用附近PIoT设备的相似环境观测数据。
发明内容
本发明针对现有技术的缺陷，提供了一种电力物联网低时延安全云边端协同方法。
为了实现以上发明目的，本发明采取的技术方案如下：
一种电力物联网低时延安全云边端协同方法，包括以下步骤：
步骤1，构建系统模型；
所述系统模型由PIoT设备(电力物联网PIoT设备)、地面基站(ground BaseStation,GBSs)、无人机(unmanned aerial vehicles，UAVs)、边缘服务器、云服务器和卫星组成。
假设存在I个PIoT设备，J+M个基站(Base Stations,BSs)，基站包括J个GBSs和M个UAVs。
PIoT设备和BS的集合分别表示为
Figure BDA0003398333760000021
其中,sj,j＝1,…J,表示GBSs，sj,j＝J+1,…J+M表示UAVs。
BS与边缘服务器位于相同位置，为PIoT设备提供数据传输和计算服务。云服务器通过有线链路与GBS连接，通过无线链路与无人机连接。PIoT设备通过BS将任务卸载到边缘服务器进行计算，并采用区块链技术保证计算卸载的安全性。利用卫星在区块链节点之间广播消息。
采用时隙模型，总时间周期被划分为T个时隙，每个时隙时间长度为τ，集合表示为
Figure BDA0003398333760000039
假设网络状态在一个时隙内保持不变，而在不同的时隙之间变化。在时隙t，表示到达ui的任务数据量为Ai(t)，其满足0≤Ai(t)≤Ai,max。定义Ui(t)表示为ui在时隙t的吞吐量。将存储在ui缓冲区中的数据建模为数据队列，其队列的积压表示为Qi(t)，则可不断更新表示为
Qi(t+1)＝max{Qi(t)-Ui(t),0}+Ai(t) (1)
Ai(t)和Ui(t)分别为队列的输入和输出。
步骤2，构建任务卸载模型；
定义sj对ui的服务可用性二进制指示变量为ai,j(t)∈{0,1}。特别地，ai,j(t)＝1表示在时隙t，sj对ui可用，否则ai,j(t)＝0。任务卸载决策由两部分组成:1)选择GBSs或UAVs进行数据传输；2)选择云计算或边缘计算进行任务处理。ui的任务卸载决策定义为一组二进制指示变量
Figure BDA0003398333760000031
Figure BDA0003398333760000032
表示ui选择sj在时隙t中进行数据传输,否则
Figure BDA0003398333760000033
表示ui选择云计算，
Figure BDA0003398333760000034
表示ui在时隙t选择边缘计算。
21)PIoT设备GBS通信模型:给定
Figure BDA0003398333760000035
ui与sj之间的传输速率为
Figure BDA0003398333760000036
其中hi,j(t)，Bi,j(t)，Pi(t)，
Figure BDA0003398333760000037
分别为ui与sj之间的信道增益、带宽、传输功率和EMI功率，δ2是噪声功率。
22)PIoT设备无人机通信模型:给定
Figure BDA0003398333760000038
ui与sj之间的传输速率为
Figure BDA0003398333760000041
其中Li,j(t)为ui和sj之间的路径损耗，表示为
Figure BDA0003398333760000042
其中di,j(t)和ri,j(t)分别为ui与sj在时隙t的垂直距离和水平距离。
Figure BDA0003398333760000043
和
Figure BDA0003398333760000044
分别为视距链路和非视距链路的自由空间路径损耗的附加损失。fc是载频，c是光速。
Figure BDA0003398333760000045
为PIoT设备-无人机视距链路概率，表示为
Figure BDA0003398333760000046
其中b1，b2，
Figure BDA0003398333760000047
和
Figure BDA0003398333760000048
的值取决于传输环境。
ui在时隙t的吞吐量计算为
Figure BDA0003398333760000049
步骤3，构建任务处理模型；
定义
Figure BDA00033983337600000410
和
Figure BDA00033983337600000411
分别表示边缘服务器和云服务器缓冲区队列积压，能够不断更新表示为
Figure BDA00033983337600000412
Figure BDA00033983337600000413
其中，
Figure BDA00033983337600000414
分别为sj和云服务器处理的数据量。定义sj和云服务器为计算ui数据分配的CPU周期频率为
Figure BDA00033983337600000415
和
Figure BDA00033983337600000416
和
Figure BDA00033983337600000417
表示为
Figure BDA00033983337600000418
Figure BDA0003398333760000051
λi表示处理1比特ui任务数据需要的CPU周期数。
步骤4，构建排队时延模型；
41)任务卸载的排队时延：对于ui，任务卸载的排队时延表示为
Figure BDA0003398333760000052
其中
Figure BDA0003398333760000053
表示Qi(t)的时间平均到达速率，计算为
Figure BDA0003398333760000054
42)任务处理的排队时延：在云计算中，边缘服务器向云服务器转发数据时，会产生转发时延
Figure BDA0003398333760000055
对于ui，边缘计算和云计算的排队时延分别计算为
Figure BDA0003398333760000056
其中
Figure BDA0003398333760000057
和
Figure BDA0003398333760000058
分别为
Figure BDA0003398333760000059
和
Figure BDA00033983337600000510
的时间平均到达速率，计算为
Figure BDA00033983337600000511
Figure BDA00033983337600000512
ui任务处理的排队时延取决于所有服务器中最大排队时延，表示为
Figure BDA00033983337600000513
所以ui在时隙t的总排队时延为
Figure BDA00033983337600000514
步骤5，构建联盟区块链模型；
区块链节点分为两类：完整节点和轻量级节点。GBSs作为完整节点参与区块链共识过程，UAVs作为轻量级节点。卫星负责在区块链节点之间广播消息，实现低时延共识。
在区块共识过程中采用实用拜占庭容错(practical Byzantine faulttolerance,PBFT)协议，以实现较低的共识时延和确定性。每个时隙选取一个GBS作为主节点，其他GBSs为非主节点。非主节点在主节点的协调下参与共识过程。
步骤6，问题建模；
最小化SAG-PIoT网络中PIoT设备在长期安全性约束下的总排队时延，表示为
Figure BDA0003398333760000061
Figure BDA0003398333760000062
Figure BDA0003398333760000063
Figure BDA0003398333760000064
Figure BDA0003398333760000065
Figure BDA0003398333760000066
Figure BDA0003398333760000067
Figure BDA0003398333760000068
表示任务卸载向量。
Figure BDA0003398333760000069
和
Figure BDA0003398333760000071
分别表示用于任务处理和块创建的边-服务器-端计算资源分配向量。
Figure BDA0003398333760000072
为云服务器端计算资源分配向量。C1和C2分别表示每个PIoT设备在每个时隙只能选择一个BS和一个计算模式。C3、C4、C5分别表示GBSs、UAVs和云服务器的计算资源分配约束，其中
Figure BDA0003398333760000073
和
Figure BDA0003398333760000074
分别表示sj和云服务器的最大可用CPU周期频率。C6表示长期安全性约束。
步骤7，问题转化；
利用李雅普诺夫优化将长期约束与短期决策优化解耦。
定义安全性赤字虚拟队列Y(t)，表示为
Figure BDA0003398333760000075
Y(t)表示创建块的时延与规定安全需求之间的偏差。
因此，P1可重写为
Figure BDA0003398333760000076
s.t.C1～C5,
Figure BDA0003398333760000077
Y(t)平均速率稳定. (22)
定义
Figure BDA0003398333760000078
李雅普诺夫函数表示为
Figure BDA0003398333760000079
李雅普诺夫漂移ΔL(Θ(t))定义为两个相邻时隙之间L(Θ(t))的条件变化。ΔL(Θ(t))的绝对值越大表示队列积压的波动越剧烈，队列稳定性越差。对于最小化问题P2，引入漂移加罚项在维持队列稳定的同时最小化总排队时延，表示为
Figure BDA00033983337600000710
其中
Figure BDA0003398333760000081
V是一个非负权值，用于平衡“惩罚最小化”和“队列稳定”。漂移加罚项的上界计算为
Figure BDA0003398333760000082
其中η是一个正常数，不影响李雅普诺夫优化。
P2转化为在C1～C5的约束条件下最小化ΔVL(Θ(t))上界的问题，实现了短期计算卸载优化与长期安全性约束解耦。放宽漂移加罚项的上界为
Figure BDA0003398333760000083
Figure BDA0003398333760000091
其中，
Figure BDA0003398333760000092
Figure BDA0003398333760000093
Figure BDA0003398333760000094
Figure BDA0003398333760000095
步骤9，P2可以解耦为SP1：任务卸载优化和SP2：计算资源分配优化。
91)任务卸载优化；
SP1优化每个PIoT设备的任务卸载决策，其表达式为
Figure BDA0003398333760000096
s.t.C1～C2 (28)
FDAC-EMI求解SP1。
首先，任务卸载问题建模为MDP：
1)状态空间:ui在时隙t的状态空间Si(t)定义为
Figure BDA0003398333760000101
2)动作空间：动作空间xi(t)定义为
Figure BDA0003398333760000102
3)奖励：由于SP1为最小化问题，定义成本函数为SP1的优化目标Ψi(xi(t))。
通过利用分布式PIoT设备上的本地数据进行局部模型更新，以及利用联邦平均局部模型进行周期性全局模型更新，云服务器负责全局模型更新，BSs负责PIoT设备与云服务器之间的模型上传和下载。FDAC-EMI包括一个全局模型和I个本地模型。每个模型包含一个演员网络和一个评论家网络，演员网络采取行动并优化策略，而评论家网络则对具体情形进行批评并指导政策优化。全局演员网络模型、全局评论家网络模型、ui本地演员模型和ui本地评论家模型分别表示为θG(t)，ωG(t)，θi(t)和ωG(t)。
所述FDAC-EMI包含七个阶段：
初始化：初始化时，对全局演员网络和全局评论家网络进行随机权值初始化。成本函数Ψi(xi(t))初始化为零。
模型下载：在第g时间段开始时刻，即t＝(g-1)T0+1时，ui从云服务器上下载全局模型，并设置本地模型为θi(t)＝θG(t)和ωi(t)＝ωG(t)。
动作执行：在时隙t，ui基于策略π(Si(t)|θi(t))和状态空间Si(t)选择动作xi(t)。然后，ui执行任务卸载决策，观察
Figure BDA0003398333760000103
和
Figure BDA0003398333760000104
并计算成本函数Ψi(xi(t))。
局部模型更新：在时隙t，ui计算TD误差κi(t)，并将本地演员网络模型θi(t+1)和本地评论家网络模型ωi(t+1)更新为
κi(t)＝Ψi(xi(t))+γV(Si(t+1),ωi(t))-V(Si(t),ωi(t)), (30)
Figure BDA0003398333760000111
Figure BDA0003398333760000112
其中γ∈[0,1]为折现因子。κi(t)绝对值越大，说明局部模型的估计偏差越大。ξ和ξ′分别为本地演员网络模型和本地评论家网络模型的学习速率。
本地模型上传：在第g时间段末，即t＝gT0时刻，ui将本地模型上传至云服务器进行全局模型更新。
联邦集确定：考虑到突发的强电磁干扰对本地模型的不利影响，为了保证全局模型的收敛性，需要确定一个没有异常的本地模型的联邦集。分别定义有无ui本地网络模型参与的全局网络模型更新为
Figure BDA0003398333760000113
Figure BDA0003398333760000114
其中
Figure BDA0003398333760000115
为全局演员网络的training batch大小。此联邦集可确定为
Figure BDA0003398333760000116
其中Stest为用于确定联邦集的状态空间。
联邦平均：在第g时间段末，即t＝gT0时，云服务器根据获得的联邦集
Figure BDA0003398333760000117
执行联邦平均，并更新全局行动者模型θG(t+1)和全局评论家模型ωG(t+1)为
Figure BDA0003398333760000118
Figure BDA0003398333760000121
此外，
Figure BDA0003398333760000122
更新队列积压Qi(t+1)，
Figure BDA0003398333760000123
和Y(t+1)。当t>T时，迭代结束。
92)计算资源分配；
给定x(t)，SP2求解服务器侧计算资源分配，表示为
Figure BDA0003398333760000124
s.t.C3～C5,
Figure BDA0003398333760000125
Figure BDA0003398333760000126
进一步地，步骤5中共识过程由5个阶段组成：
1)请求：一个事务生成器sj向主节点sj*发送请求消息。包含事务信息的请求消息由sj的私钥签名，并由消息身份验证节点(message authentication node,MAC)进行身份验证。签名一个事务消息、验证一个签名和生成并验证一个MAC所需的CPU周期分别表示为∈s、∈v和∈c。事务生成器花费∈s+∈c的CPU周期生成请求，主节点验证请求的CPU周期为(J+M+1)(∈v+∈c)。
2)预准备：请求阶段收集的所有有效事务信息都被主节点包含到一个块中。然后，主节点通过卫星向所有非主节点广播一条预准备消息以及签名块。主节点对块和J-1个MAC生成签名，供非主节点验证，此过程需要(∈s+(J-1)∈c)个CPU周期。然后非主节点需要验证块的签名和MAC，以及预准备消息中事务的签名和MAC，需要的CPU周期数为(J+M+2)(∈v+∈c)。
3)准备：在验证签名和MAC后，每个非主节点向所有完整节点发送准备消息。然后，每个非主节点检查接收到的预准备和准备消息的一致性。根据PBFT协议，所有完整节点从不同的非主节点收集的共识消息至少为2[F]个,F＝(J-1)/3。主节点验证2[F]个MAC和签名，需要2[F](∈v+∈c)CPU周期。由于每个非主节点需要额外生成签名和J-1个MAC，因此每个非主节点所需的CPU周期为2[F](∈v+∈c)+∈s+(J-1)∈c。
4)确认：在接收到2[F]个共识消息后，每个完整节点向所有其他完整节点广播一个确认消息。一旦接收到2[F]+1个确认消息，完整节点进入下一个阶段。在此阶段，每个完整节点为确认消息生成一个签名和J-1个MAC，并验证2[F]+1个签名和MAC，需要的CPU周期为∈s+(J-1)∈c+(2[F]+1)(∈v+∈c)
5)答复：从其它完整节点接收到至少2[F]+1个确认消息的完整节点，接受该块为有效块，并在本地复制该块。在这些完整节点中，每个非主节点向主节点发送一个答复消息。一旦接收到[F]个答复消息后，主节点将验证过的块更新到区块链。非主节点生成一个签名和J-1MAC组成答复消息，需要∈s+(J-1)∈cCPU周期。主节点验证[F]签名和MAC，需要[F](∈v+∈c)CPU周期。
基于以上分析，创建并上传一个新区块到联盟区块链时，非主节点和主节点所需的CPU周期分别为
Figure BDA0003398333760000131
Figure BDA0003398333760000141
块创建时延包括块生成时延、块传播时延和共识时延。块生成时延表示为常数τg。由于在共识过程中利用卫星进行广播块和消息，所以所有节点之间的传播时延保持不变，表示为τp。因此，块创建时延表示为
Figure BDA0003398333760000142
其中，
Figure BDA0003398333760000143
和
Figure BDA0003398333760000144
分别表示主节点和非主节点为创建块分配的CPU周期。
由于块创建时延对SAG-PIoT计算卸载安全的影响很大，因此定义长期安全性约束为
Figure BDA0003398333760000145
其中，
Figure BDA0003398333760000146
为安全性约束阈值，即最大块创建时延。
进一步地，SP2进一步分解为云服务器SP2-1、无人机SP2-2、主节点SP2-3和非主节点SP2-4的计算资源分配。
1)云服务器计算资源分配：SP2-1表示为
Figure BDA0003398333760000147
s.t.C5 and C7 (37)
2)无人机计算资源分配：SP2-2表示为
Figure BDA0003398333760000151
s.t.C4 and C8 (38)
3)主节点计算资源分配：SP2-3表示为
Figure BDA0003398333760000152
Figure BDA0003398333760000153
其中，
Figure BDA0003398333760000154
4)非主节点计算资源分配：SP2-4的表示为
Figure BDA0003398333760000155
Figure BDA0003398333760000156
其中，
Figure BDA0003398333760000157
Figure BDA0003398333760000161
SP2-1～SP2-4是非凸优化问题，可以通过光滑函数逼近min{x}求解。
给定X＝sup{x1,…,xI}，则min{x}近似为
Figure BDA0003398333760000162
其中k是可控参数。
根据以上描述，SP2-1～SP2-4可转化为凸优化问题，并用拉格朗日优化求解。由于篇幅的限制，本发明以SP2-1为例，其它子问题的求解方法类似。给定
Figure BDA0003398333760000163
和
Figure BDA0003398333760000164
SP2-1近似为
Figure BDA0003398333760000165
s.t.C5 and C7.(44)
Figure BDA0003398333760000166
是凸优化问题，可以采用拉格朗日对偶分解法求解。定义与C5和C7相关的拉格朗日乘子向量分别为vi和ui。(44)的增广拉格朗日函数为
Figure BDA0003398333760000167
本发明利用拉格朗日对偶分解将(45)分解为
Figure BDA0003398333760000171
根据Karush-Kuhn-Tucker(KKT)条件，时隙t的第(l+1)次更新迭代中fi c(t)的最优值可表示为
Figure BDA0003398333760000172
定义
Figure BDA0003398333760000173
为步长，基于梯度法，vi(t,l+1)和μi(t,l+1)可分别计算为
Figure BDA0003398333760000174
Figure BDA0003398333760000175
与现有技术相比，本发明的优点在于：
1.降低系统成本，该发明基于半分布式学习的任务卸载，提高模型训练的学习性能；
2.实现安全性和延迟性能的动态权衡，该发明基于排队延迟和块创建延迟，优化计算资源的分配；
3.提高了抗EMI的能力，该发明实现EMI感知，减轻EMI的不利影响。
附图说明
图1是本发明实施例系统模型结构示意图；
图2是本发明实施例任务卸载排队时延示意图；
图3是本发明实施例任务处理排队时延示意图；
图4是本发明实施例总排队时延示意图；
图5是本发明实施例块创建时延随全节点数量的变化示意图。
具体实施方式
为使本发明的目的、技术方案及优点更加清楚明白，以下根据附图并列举实施例，对本发明做进一步详细说明。
如图1所示，
整个技术方案包括三个步骤：
1.构建系统模型
如图1所示，SAG-PIoT由PIoT设备(电力物联网PIoT设备)、地面基站(ground BaseStation,GBSs)、无人机(unmanned aerial vehicles，UAVs)、边缘服务器、云服务器和卫星组成。本发明假设存在I个PIoT设备，J+M个基站(Base Stations,BSs)，包括J个GBSs和M个UAVs。PIoT设备和BS的集合分别表示为
Figure BDA0003398333760000181
其中,sj,j＝1,…J,表示GBSs，sj,j＝J+1,…J+M表示UAVs。特别的，GBSs的服务可用性是固定的，而无人机的服务可用性是间歇性的。另一方面，由于视距链路的存在，PIoT设备-无人机传输信道质量更优。
BS与边缘服务器位于相同位置，为PIoT设备提供数据传输和计算服务。为简单起见，本发明采用同一符号表示BS及与其位于相同位置的边缘服务器。计算能力较强的云服务器通过有线链路与GBS连接，通过无线链路与无人机连接。PIoT设备通过BS将任务卸载到边缘服务器进行计算。本发明采用区块链技术保证计算卸载的安全性。利用卫星在区块链节点之间广播消息，以实现低时延共识，提高系统安全性。
本发明采用时隙模型，总时间周期被划分为T个时隙，每个时隙时间长度为τ，集合表示为
Figure BDA0003398333760000182
假设网络状态在一个时隙内保持不变，而在不同的时隙之间变化。在时隙t，表示到达ui的任务数据量为Ai(t)，其满足0≤Ai(t)≤Ai,max。定义Ui(t)表示为ui在时隙t的吞吐量。将存储在ui缓冲区中的数据建模为数据队列，其队列的积压表示为Qi(t)，则可不断更新表示为
Qi(t+1)＝max{Qi(t)-Ui(t),0}+Ai(t) (1)
Ai(t)和Ui(t)分别为队列的输入和输出。
(1)任务卸载模型
定义sj对ui的服务可用性二进制指示变量为ai,j(t)∈{0,1}。特别地，ai,j(t)＝1表示在时隙t，sj对ui可用，否则ai,j(t)＝0。任务卸载决策由两部分组成:1)选择BS，即选择GBSs或UAVs进行数据传输；2)选择计算模式，即选择云计算或边缘计算进行任务处理。ui的任务卸载决策定义为一组二进制指示变量
Figure BDA0003398333760000191
Figure BDA0003398333760000192
表示ui选择sj在时隙t中进行数据传输,否则
Figure BDA0003398333760000193
表示ui选择云计算，
Figure BDA0003398333760000194
表示ui在时隙t选择边缘计算。
1)PIoT设备-GBS通信模型:给定
Figure BDA0003398333760000195
ui与sj之间的传输速率为
Figure BDA0003398333760000196
其中hi,j(t)，Bi,j(t)，Pi(t)，
Figure BDA0003398333760000197
分别为ui与sj之间的信道增益、带宽、传输功率和EMI功率，δ2是噪声功率。
2)PIoT设备-无人机通信模型:给定
Figure BDA0003398333760000198
ui与sj之间的传输速率为
Figure BDA0003398333760000199
其中Li,j(t)为ui和sj之间的路径损耗，表示为
Figure BDA0003398333760000201
其中di,j(t)和ri,j(t)分别为ui与sj在时隙t的垂直距离和水平距离。
Figure BDA0003398333760000202
和
Figure BDA0003398333760000203
分别为视距链路和非视距链路的自由空间路径损耗的附加损失。fc是载频，c是光速。
Figure BDA0003398333760000204
为PIoT设备-无人机视距链路概率，表示为
Figure BDA0003398333760000205
其中b1，b2，
Figure BDA0003398333760000206
和
Figure BDA0003398333760000207
的值取决于传输环境。
ui在时隙t的吞吐量计算为
Figure BDA0003398333760000208
(2)任务处理模型
定义
Figure BDA0003398333760000209
和
Figure BDA00033983337600002010
分别表示边缘服务器和云服务器缓冲区队列积压，可不断更新表示为
Figure BDA00033983337600002011
Figure BDA00033983337600002012
其中，
Figure BDA00033983337600002013
分别为sj和云服务器处理的数据量。定义sj和云服务器为计算ui数据分配的CPU周期频率为
Figure BDA00033983337600002014
和
Figure BDA00033983337600002015
和
Figure BDA00033983337600002016
可表示为
Figure BDA00033983337600002017
Figure BDA00033983337600002018
λi表示处理1比特ui任务数据需要的CPU周期数。
(3)排队时延模型
1)任务卸载的排队时延：根据利特尔定律可知排队时延与平均队列长度成正比，与平均数据到达率成反比。对于ui，任务卸载的排队时延表示为
Figure BDA0003398333760000211
其中
Figure BDA0003398333760000212
表示Qi(t)的时间平均到达速率，计算为
Figure BDA0003398333760000213
2)任务处理的排队时延：在云计算中，边缘服务器向云服务器转发数据时，会产生转发时延
Figure BDA0003398333760000214
对于ui，边缘计算和云计算的排队时延分别计算为
Figure BDA0003398333760000215
其中
Figure BDA0003398333760000216
和
Figure BDA0003398333760000217
分别为
Figure BDA0003398333760000218
和
Figure BDA0003398333760000219
的时间平均到达速率，计算为
Figure BDA00033983337600002110
Figure BDA00033983337600002111
ui任务处理的排队时延取决于所有服务器中最大排队时延，表示为
Figure BDA00033983337600002112
所以ui在时隙t的总排队时延为
Figure BDA00033983337600002113
(4)联盟区块链模型
分布式GBSs、UAVs和卫星在认证机构预注册以获得维护区块链的许可。区块链节点分为两类：完整节点和轻量级节点。具体来说，GBSs作为完整节点参与区块链共识过程，而由于移动性和服务可用性的间歇性，UAVs作为轻量级节点，不能参与共识过程，但可以在区块链中生成、转发和交换事务。卫星具有覆盖范围广的优势，负责在区块链节点之间广播消息，实现低时延共识。
在每个时隙开始时，每个服务器生成一个事务，记录前一个时隙中已卸载任务的关键信息和计算结果。在达成全局共识后，具有完整事务的区块被不可逆的附加到最长公认链的末端。本发明在区块共识过程中采用实用拜占庭容错(practical Byzantine faulttolerance,PBFT)协议，以实现较低的共识时延和确定性。每个时隙选取一个GBS作为主节点，其他GBSs为非主节点。非主节点在主节点的协调下参与共识过程。共识过程由5个阶段组成：1)请求,2)预准备,3)准备,4)确认,5)答复，具体介绍如下。
1)请求：一个事务生成器(例如sj)向主节点(例如sj*)发送请求消息。包含事务信息的请求消息由sj的私钥签名，并由消息身份验证节点(message authentication node,MAC)进行身份验证。签名一个事务消息、验证一个签名和生成并验证一个MAC所需的CPU周期分别表示为∈s、∈v和∈c。事务生成器花费∈s+∈c的CPU周期生成请求，主节点验证请求的CPU周期为(J+M+1)(∈v+∈c)。
2)预准备：请求阶段收集的所有有效事务信息都被主节点包含到一个块中。然后，主节点通过卫星向所有非主节点广播一条预准备消息以及签名块。主节点对块和J-1个MAC生成签名，供非主节点验证，此过程需要(∈s+(J-1)∈c)个CPU周期。然后非主节点需要验证块的签名和MAC，以及预准备消息中事务的签名和MAC，需要的CPU周期数为(J+M+2)(∈v+∈c)。
3)准备：在验证签名和MAC后，每个非主节点向所有完整节点发送准备消息。然后，每个非主节点检查接收到的预准备和准备消息的一致性。根据PBFT协议，所有完整节点从不同的非主节点收集的共识消息至少为2[F]个,F＝(J-1)/3。主节点验证2[F]个MAC和签名，需要2[F](∈v+∈c)CPU周期。由于每个非主节点需要额外生成签名和J-1个MAC，因此每个非主节点所需的CPU周期为2[F](∈v+∈c)+∈s+(J-1)∈c。
4)确认：在接收到2[F]个共识消息后，每个完整节点向所有其他完整节点广播一个确认消息。一旦接收到2[F]+1个确认消息，完整节点进入下一个阶段。在此阶段，每个完整节点为确认消息生成一个签名和J-1个MAC，并验证2[F]+1个签名和MAC，需要的CPU周期为∈s+(J-1)∈c+(2[F]+1)(∈v+∈c)
5)答复：从其它完整节点接收到至少2[F]+1个确认消息的完整节点，接受该块为有效块，并在本地复制该块。在这些完整节点中，每个非主节点向主节点发送一个答复消息。一旦接收到[F]个答复消息后，主节点将验证过的块更新到区块链。非主节点生成一个签名和J-1MAC组成答复消息，需要∈s+(J-1)∈cCPU周期。主节点验证[F]签名和MAC，需要[F](∈v+∈c)CPU周期。
基于以上分析，创建并上传一个新区块到联盟区块链时，非主节点和主节点所需的CPU周期分别为
Figure BDA0003398333760000231
Figure BDA0003398333760000232
块创建时延包括块生成时延、块传播时延和共识时延。块生成时延表示为常数τg。由于在共识过程中利用卫星进行广播块和消息，所以所有节点之间的传播时延保持不变，表示为τp。因此，块创建时延表示为
Figure BDA0003398333760000233
其中，
Figure BDA0003398333760000234
和
Figure BDA0003398333760000235
分别表示主节点和非主节点为创建块分配的CPU周期。
由于块创建时延对SAG-PIoT计算卸载安全的影响很大，因此定义长期安全性约束为
Figure BDA0003398333760000241
其中，
Figure BDA0003398333760000242
为安全性约束阈值，即最大块创建时延。
2.问题建模和转化
(1)问题建模
本发明的目标是通过联合优化PIoT设备侧任务卸载和服务器侧计算资源分配，最小化SAG-PIoT网络中PIoT设备在长期安全性约束下的总排队时延，可表示为
Figure BDA0003398333760000243
Figure BDA0003398333760000244
Figure BDA0003398333760000245
Figure BDA0003398333760000246
Figure BDA0003398333760000247
Figure BDA0003398333760000248
Figure BDA0003398333760000249
Figure BDA0003398333760000251
表示任务卸载向量。
Figure BDA0003398333760000252
和
Figure BDA0003398333760000253
分别表示用于任务处理和块创建的边-服务器-端计算资源分配向量。
Figure BDA0003398333760000254
为云服务器端计算资源分配向量。C1和C2分别表示每个PIoT设备在每个时隙只能选择一个BS和一个计算模式。C3、C4、C5分别表示GBSs、UAVs和云服务器的计算资源分配约束，其中
Figure BDA0003398333760000255
和
Figure BDA0003398333760000256
分别表示sj和云服务器的最大可用CPU周期频率。C6表示长期安全性约束。
(2)问题转化
由于长期安全性约束与短期计算卸载优化相耦合，P1难以直接求解。因此，本发明利用李雅普诺夫优化将长期约束与短期决策优化解耦。
定义安全性赤字虚拟队列Y(t)，表示为
Figure BDA0003398333760000257
Y(t)表示创建块的时延与规定安全需求之间的偏差。
因此，P1可重写为
Figure BDA0003398333760000258
s.t.C1～C5,
Figure BDA0003398333760000259
Y(t)平均速率稳定. (22)
定义
Figure BDA00033983337600002510
李雅普诺夫函数可表示为
Figure BDA00033983337600002511
李雅普诺夫漂移ΔL(Θ(t))定义为两个相邻时隙之间L(Θ(t))的条件变化。ΔL(Θ(t))的绝对值越大表示队列积压的波动越剧烈，队列稳定性越差。对于最小化问题P2，引入漂移加罚项在维持队列稳定的同时最小化总排队时延，表示为
Figure BDA0003398333760000261
其中
Figure BDA0003398333760000262
V是一个非负权值，用于平衡“惩罚最小化”和“队列稳定”。漂移加罚项的上界计算为
Figure BDA0003398333760000263
其中η是一个正常数，不影响李雅普诺夫优化。
P2转化为在C1～C5的约束条件下最小化ΔVL(Θ(t))上界的问题，实现了短期计算卸载优化与长期安全性约束解耦。但是，服务器侧计算资源分配和PIoT设备侧任务卸载仍然是耦合的。因此，放宽漂移加罚项的上界为
Figure BDA0003398333760000264
Figure BDA0003398333760000271
其中，
Figure BDA0003398333760000272
Figure BDA0003398333760000273
Figure BDA0003398333760000274
Figure BDA0003398333760000275
3、基于区块链和半分布式学习的安全低时延计算卸载算法
P2可以解耦为两个确定的子问题，并依次分布式求解：SP1：任务卸载优化；SP2：计算资源分配优化。
(1)任务卸载优化
SP1优化每个PIoT设备的任务卸载决策，其表达式为
Figure BDA0003398333760000281
s.t.C1～C2(28)
由于CSI的不确定性，ui无法掌握Ui(t)、
Figure BDA0003398333760000282
和
Figure BDA0003398333760000283
等信息。因此，本发明提出FDAC-EMI求解SP1。
首先，任务卸载问题可以建模为MDP，详细描述如下。
1)状态空间:ui在时隙t的状态空间Si(t)定义为
Figure BDA0003398333760000284
2)动作空间：动作空间xi(t)定义为
Figure BDA0003398333760000285
3)奖励：由于SP1为最小化问题，本发明定义成本函数为SP1的优化目标Ψi(xi(t))。
通过利用分布式PIoT设备上的本地数据进行局部模型更新，以及利用联邦平均局部模型进行周期性全局模型更新，本发明提出的FDAC-EMI可有效提高学习性能并降低学习成本。通过使用先进的压缩技术，模型上传和下载的通信成本相对较小，可以忽略不计。云服务器负责全局模型更新，BSs负责PIoT设备与云服务器之间的模型上传和下载。FDAC-EMI包括一个全局模型和I个本地模型。每个模型包含一个演员网络和一个评论家网络，演员网络采取行动并优化策略，而评论家网络则对具体情形进行批评并指导政策优化。全局演员网络模型、全局评论家网络模型、ui本地演员模型和ui本地评论家模型分别表示为θG(t)，ωG(t)，θi(t)和ωG(t)。
FDAC-EMI包含初始化、模型下载、动作执行、局部模型更新、局部模型上传、联邦集确定和联邦平均七个阶段。为了降低通信成本，减轻局部模型不收敛的不利影响，每T0>1个时隙(即一个时间段)，进行一次模型下载、局部模型上传、联邦集确定和联邦平均。
1)初始化：初始化时，对全局演员网络和全局评论家网络进行随机权值初始化。成本函数Ψi(xi(t))初始化为零。
2)模型下载：在第g时间段开始时刻，即t＝(g-1)T0+1时，ui从云服务器上下载全局模型，并设置本地模型为θi(t)＝θG(t)和ωi(t)＝ωG(t)。
3)动作执行：在时隙t，ui基于策略π(Si(t)|θi(t))和状态空间Si(t)选择动作xi(t)。然后，ui执行任务卸载决策，观察
Figure BDA0003398333760000291
和
Figure BDA0003398333760000292
并计算成本函数Ψi(xi(t))。
4)局部模型更新：在时隙t，ui计算TD误差κi(t)，并将本地演员网络模型θi(t+1)和本地评论家网络模型ωi(t+1)更新为
κi(t)＝Ψi(xi(t))+γV(Si(t+1),ωi(t))-V(Si(t),ωi(t)), (30)
Figure BDA0003398333760000293
Figure BDA0003398333760000294
其中γ∈[0,1]为折现因子。κi(t)绝对值越大，说明局部模型的估计偏差越大。ξ和ξ′分别为本地演员网络模型和本地评论家网络模型的学习速率。
5)本地模型上传：在第g时间段末，即t＝gT0时刻，ui将本地模型上传至云服务器进行全局模型更新。
6)联邦集确定：考虑到突发的强电磁干扰对本地模型的不利影响，为了保证全局模型的收敛性，需要确定一个没有异常的本地模型的联邦集。分别定义有无ui本地网络模型参与的全局网络模型更新为
Figure BDA0003398333760000301
Figure BDA0003398333760000302
其中
Figure BDA0003398333760000303
为全局演员网络的training batch大小。此联邦集可确定为
Figure BDA0003398333760000304
其中Stest为用于确定联邦集的状态空间。
7)联邦平均：在第g时间段末，即t＝gT0时，云服务器根据获得的联邦集
Figure BDA0003398333760000305
执行联邦平均，并更新全局行动者模型θG(t+1)和全局评论家模型ωG(t+1)为
Figure BDA0003398333760000306
Figure BDA0003398333760000307
此外，
Figure BDA0003398333760000308
更新队列积压Qi(t+1)，
Figure BDA0003398333760000309
和Y(t+1)。当t>T时，迭代结束。
(2)计算资源分配
给定x(t)，SP2求解服务器侧计算资源分配，表示为
Figure BDA00033983337600003010
Figure BDA0003398333760000311
s.t.C3～C5,
Figure BDA0003398333760000312
Figure BDA0003398333760000313
由于τBC(t)与fb成反比，本发明利用
Figure BDA0003398333760000314
来代替fb，使任务处理和块创建之间的计算资源分配解耦。由于创建块所需的CPU周期在主节点和非主节点之间是不同的，所以GBS的计算资源分配可以分解为主节点和非主节点的计算资源分配。因此，SP2可以进一步分解为云服务器SP2-1、无人机SP2-2、主节点SP2-3和非主节点SP2-4的计算资源分配。
1)云服务器计算资源分配：SP2-1表示为
Figure BDA0003398333760000315
s.t.C5 and C7 (37)
2)无人机计算资源分配：SP2-2表示为
Figure BDA0003398333760000316
s.t.C4 and C8 (38)
3)主节点计算资源分配：SP2-3表示为
Figure BDA0003398333760000321
Figure BDA0003398333760000322
其中，
Figure BDA0003398333760000323
4)非主节点计算资源分配：SP2-4的表示为
Figure BDA0003398333760000324
Figure BDA0003398333760000325
其中，
Figure BDA0003398333760000326
SP2-1～SP2-4是非凸优化问题，可以通过光滑函数逼近min{x}求解。
给定X＝sup{x1,…,xI}，则min{x}近似为
Figure BDA0003398333760000331
其中k是可控参数。
根据以上描述，SP2-1～SP2-4可转化为凸优化问题，并用拉格朗日优化求解。由于篇幅的限制，本发明以SP2-1为例，其它子问题的求解方法类似。给定
Figure BDA0003398333760000332
和
Figure BDA0003398333760000333
SP2-1近似为
Figure BDA0003398333760000334
s.t.C5 and C7. (44)
Figure BDA0003398333760000335
是凸优化问题，可以采用拉格朗日对偶分解法求解。定义与C5和C7相关的拉格朗日乘子向量分别为vi和ui。(44)的增广拉格朗日函数为
Figure BDA0003398333760000336
本发明利用拉格朗日对偶分解将(45)分解为
Figure BDA0003398333760000337
根据Karush-Kuhn-Tucker(KKT)条件，时隙t的第(l+1)次更新迭代中
Figure BDA0003398333760000338
的最优值可表示为
Figure BDA0003398333760000339
定义Δvi(t,l)为步长，基于梯度法，vi(t,l+1)和μi(t,l+1)可分别计算为
Figure BDA0003398333760000341
Figure BDA0003398333760000342
本实施例对上述提出的BRACE算法进行了仿真实验，并设置了三个基线算法进行性能的对比验证，基线算法设置如下
FA-UCB：前传感知上置信界算法，仅考虑了地面网络，任务处理和块创建的计算资源分配是固定的。
FTO：基于联邦深度强化学习的任务卸载算法，任务处理和块创建的计算资源分配是固定的。
DTO：基于分布式深度演员-评论家的计算卸载算法，该算法考虑了任务卸载和计算资源的分配。
三种基线算法都没有考虑EMI对网络性能的影响，即不具备EMI感知。
图2和图3显示了任务卸载排队时延和任务处理排队延迟随时隙的变化。与FA-UCB、FTO和DTO相比，BRACE可分别降低任务卸载排队时延88.64％、24.83％和60.13％，降低任务处理排队延迟86.48％、59.15％和72.95％。由图2可以看出，当电磁干扰严重时，BRACE的队列时延更稳定。其原因是，BRACE可以通过从联邦集中去除异常的本地网络模型来实现EMI感知，从而减轻EMI的不利影响。
图4显示了总排队时延与时隙的关系。与FA-UCB、FTO和DTO相比，BRACE可分别降低总排队时延86.98％，52.22％和70.94％。原因在于BRACE通过半分布式学习框架可以充分利用环境观测数据，并通过EMI感知减轻EMI的不利影响。
图5显示了块创建时延随全节点数J的变化。当J从2增加到6时，与DTO、FTO和FA-UCB相比，BRACE可分别降低时延增量40.13％、66.62％和74.65％。原因在于BRACE能够实现服务器侧计算资源的动态分配。
本领域的普通技术人员将会意识到，这里所述的实施例是为了帮助读者理解本发明的实施方法，应被理解为本发明的保护范围并不局限于这样的特别陈述和实施例。本领域的普通技术人员可以根据本发明公开的这些技术启示做出各种不脱离本发明实质的其它各种具体变形和组合，这些变形和组合仍然在本发明的保护范围内。

Claims (3)

1.一种电力物联网低时延安全云边端协同方法，其特征在于，包括以下步骤：
步骤1，构建系统模型；
所述系统模型由电力物联网设备简称PIoT设备、地面基站GBS、无人机UAV、边缘服务器、云服务器和卫星组成；
假设存在I个PIoT设备，J+M个基站BS，基站包括J个GBS和M个UAV；
PIoT设备和BS的集合分别表示为
Figure FDA0003398333750000011
其中,sj,j＝1,…J,表示GBS，sj,j＝J+1,…J+M表示UAV；
BS与边缘服务器位于相同位置，为PIoT设备提供数据传输和计算服务；云服务器通过有线链路与GBS连接，通过无线链路与无人机连接；PIoT设备通过BS将任务卸载到边缘服务器进行计算，并采用区块链技术保证计算卸载的安全性；利用卫星在区块链节点之间广播消息；
采用时隙模型，总时间周期被划分为T个时隙，每个时隙时间长度为τ，集合表示为
Figure FDA0003398333750000012
假设网络状态在一个时隙内保持不变，而在不同的时隙之间变化；在时隙t，表示到达ui的任务数据量为Ai(t)，其满足0≤Ai(t)≤Ai,max；定义Ui(t)表示为ui在时隙t的吞吐量；将存储在ui缓冲区中的数据建模为数据队列，其队列的积压表示为Qi(t)，则可不断更新表示为
Qi(t+1)＝max{Qi(t)-Ui(t),0}+Ai(t) (1)
Ai(t)和Ui(t)分别为队列的输入和输出；
步骤2，构建任务卸载模型；
定义sj对ui的服务可用性二进制指示变量为ai,j(t)∈{0,1}；特别地，ai,j(t)＝1表示在时隙t，sj对ui可用，否则ai,j(t)＝0；任务卸载决策由两部分组成:1)选择GBS或UAV进行数据传输；2)选择云计算或边缘计算进行任务处理；ui的任务卸载决策定义为一组二进制指示变量
Figure FDA0003398333750000021
Figure FDA0003398333750000022
表示ui选择sj在时隙t中进行数据传输,否则
Figure FDA0003398333750000023
Figure FDA0003398333750000024
表示ui选择云计算，
Figure FDA0003398333750000025
表示ui在时隙t选择边缘计算；
21)PIoT设备GBS通信模型:给定
Figure FDA0003398333750000026
ui与sj之间的传输速率为
Figure FDA0003398333750000027
其中hi,j(t)，Bi,j(t)，Pi(t)，
Figure FDA0003398333750000028
分别为ui与sj之间的信道增益、带宽、传输功率和EMI功率，δ2是噪声功率；
22)PIoT设备无人机通信模型:给定
Figure FDA0003398333750000029
ui与sj之间的传输速率为
Figure FDA00033983337500000210
其中Li,j(t)为ui和sj之间的路径损耗，表示为
Figure FDA00033983337500000211
其中di,j(t)和ri,j(t)分别为ui与sj在时隙t的垂直距离和水平距离；
Figure FDA00033983337500000212
和
Figure FDA00033983337500000213
分别为视距链路和非视距链路的自由空间路径损耗的附加损失；fc是载频，c是光速；
Figure FDA00033983337500000214
为PIoT设备-无人机视距链路概率，表示为
Figure FDA00033983337500000215
其中b1，b2，
Figure FDA00033983337500000216
和
Figure FDA00033983337500000217
的值取决于传输环境；
ui在时隙t的吞吐量计算为
Figure FDA0003398333750000031
步骤3，构建任务处理模型
定义
Figure FDA0003398333750000032
和
Figure FDA0003398333750000033
分别表示边缘服务器和云服务器缓冲区队列积压，能够不断更新表示为
Figure FDA0003398333750000034
Figure FDA0003398333750000035
其中，
Figure FDA0003398333750000036
分别为sj和云服务器处理的数据量；定义sj和云服务器为计算ui数据分配的CPU周期频率为
Figure FDA0003398333750000037
和fi c(t)，
Figure FDA0003398333750000038
和
Figure FDA0003398333750000039
表示为
Figure FDA00033983337500000310
Figure FDA00033983337500000311
λi表示处理1比特ui任务数据需要的CPU周期数；
步骤4，构建排队时延模型；
41)任务卸载的排队时延：对于ui，任务卸载的排队时延表示为
Figure FDA00033983337500000312
其中
Figure FDA00033983337500000313
表示Qi(t)的时间平均到达速率，计算为
Figure FDA00033983337500000314
42)任务处理的排队时延：在云计算中，边缘服务器向云服务器转发数据时，会产生转发时延
Figure FDA00033983337500000315
对于ui，边缘计算和云计算的排队时延分别计算为
Figure FDA0003398333750000041
其中
Figure FDA0003398333750000042
和
Figure FDA0003398333750000043
分别为
Figure FDA0003398333750000044
和
Figure FDA0003398333750000045
的时间平均到达速率，计算为
Figure FDA0003398333750000046
Figure FDA0003398333750000047
ui任务处理的排队时延取决于所有服务器中最大排队时延，表示为
Figure FDA0003398333750000048
所以ui在时隙t的总排队时延为
Figure FDA0003398333750000049
步骤5，构建联盟区块链模型；
区块链节点分为两类：完整节点和轻量级节点；GBS作为完整节点参与区块链共识过程，UAV作为轻量级节点；卫星负责在区块链节点之间广播消息，实现低时延共识；
在区块共识过程中采用实用拜占庭容错协议PBFT，以实现较低的共识时延和确定性；每个时隙选取一个GBS作为主节点，其他GBS为非主节点；非主节点在主节点的协调下参与共识过程；
步骤6，问题建模；
最小化SAG-PIoT网络中PIoT设备在长期安全性约束下的总排队时延，表示为
P1∶
Figure FDA0003398333750000051
s.t.C1：
Figure FDA0003398333750000052
C2：
Figure FDA0003398333750000053
C3：
Figure FDA0003398333750000054
C4：
Figure FDA0003398333750000055
C5：
Figure FDA0003398333750000056
C6：
Figure FDA0003398333750000057
Figure FDA00033983337500000513
表示任务卸载向量；
Figure FDA0003398333750000058
和
Figure FDA00033983337500000514
分别表示用于任务处理和块创建的边-服务器-端计算资源分配向量；
Figure FDA0003398333750000059
为云服务器端计算资源分配向量；C1和C2分别表示每个PIoT设备在每个时隙只能选择一个BS和一个计算模式；C3、C4、C5分别表示GBS、UAV和云服务器的计算资源分配约束，其中
Figure FDA00033983337500000510
和
Figure FDA00033983337500000511
分别表示sj和云服务器的最大可用CPU周期频率；C6表示长期安全性约束；
步骤7，问题转化；
利用李雅普诺夫优化将长期约束与短期决策优化解耦；
定义安全性赤字虚拟队列Y(t)，表示为
Figure FDA00033983337500000512
Y(t)表示创建块的时延与规定安全需求之间的偏差；
因此，P1可重写为
P2∶
Figure FDA0003398333750000061
s.t.C1～C5,
Figure FDA0003398333750000062
定义
Figure FDA0003398333750000063
李雅普诺夫函数表示为
Figure FDA0003398333750000064
李雅普诺夫漂移ΔL(Θ(t))定义为两个相邻时隙之间L(Θ(t))的条件变化；ΔL(Θ(t))的绝对值越大表示队列积压的波动越剧烈，队列稳定性越差；对于最小化问题P2，引入漂移加罚项在维持队列稳定的同时最小化总排队时延，表示为
Figure FDA0003398333750000065
其中
Figure FDA0003398333750000066
V是一个非负权值，用于平衡“惩罚最小化”和“队列稳定”；漂移加罚项的上界计算为
Figure FDA0003398333750000067
Figure FDA0003398333750000071
其中η是一个正常数，不影响李雅普诺夫优化；
P2转化为在C1～C5的约束条件下最小化ΔVL(Θ(t))上界的问题，实现了短期计算卸载优化与长期安全性约束解耦；放宽漂移加罚项的上界为
Figure FDA0003398333750000072
其中，
Figure FDA0003398333750000081
Figure FDA0003398333750000082
Figure FDA0003398333750000083
Figure FDA0003398333750000084
步骤9，P2可以解耦为SP1：任务卸载优化和SP2：计算资源分配优化；
91)任务卸载优化；
SP1优化每个PIoT设备的任务卸载决策，其表达式为
Figure FDA0003398333750000086
s.t.C1～C2 (28)
FDAC-EMI求解SP1；
首先，任务卸载问题建模为MDP：
1)状态空间:ui在时隙t的状态空间Si(t)定义为
Figure FDA0003398333750000087
2)动作空间：动作空间xi(t)定义为
Figure FDA0003398333750000088
3)奖励：由于SP1为最小化问题，定义成本函数为SP1的优化目标Ψi(xi(t))；
通过利用分布式PIoT设备上的本地数据进行局部模型更新，以及利用联邦平均局部模型进行周期性全局模型更新，云服务器负责全局模型更新，BSs负责PIoT设备与云服务器之间的模型上传和下载；FDAC-EMI包括一个全局模型和I个本地模型；每个模型包含一个演员网络和一个评论家网络，演员网络采取行动并优化策略，而评论家网络则对具体情形进行批评并指导政策优化；全局演员网络模型、全局评论家网络模型、ui本地演员模型和ui本地评论家模型分别表示为θG(t)，ωG(t)，θi(t)和ωG(t)；
所述FDAC-EMI包含七个阶段：
初始化：初始化时，对全局演员网络和全局评论家网络进行随机权值初始化；成本函数Ψi(xi(t))初始化为零；
模型下载：在第g时间段开始时刻，即t＝(g-1)T0+1时，ui从云服务器上下载全局模型，并设置本地模型为θi(t)＝θG(t)和ωi(t)＝ωG(t)；
动作执行：在时隙t，ui基于策略π(Si(t)|θi(t))和状态空间Si(t)选择动作xi(t)；然后，ui执行任务卸载决策，观察
Figure FDA0003398333750000091
和fi c(t)并计算成本函数Ψi(xi(t))；
局部模型更新：在时隙t，ui计算TD误差κi(t)，并将本地演员网络模型θi(t+1)和本地评论家网络模型ωi(t+1)更新为
κi(t)＝Ψi(xi(t))+γV(Si(t+1),ωi(t))-V(Si(t),ωi(t)), (30)
Figure FDA0003398333750000092
Figure FDA0003398333750000093
其中γ∈[0,1]为折现因子；κi(t)绝对值越大，说明局部模型的估计偏差越大；ξ和ξ′分别为本地演员网络模型和本地评论家网络模型的学习速率；
本地模型上传：在第g时间段末，即t＝gT0时刻，ui将本地模型上传至云服务器进行全局模型更新；
联邦集确定：考虑到突发的强电磁干扰对本地模型的不利影响，为了保证全局模型的收敛性，需要确定一个没有异常的本地模型的联邦集；分别定义有无ui本地网络模型参与的全局网络模型更新为
Figure FDA0003398333750000101
Figure FDA0003398333750000102
其中
Figure FDA0003398333750000103
为全局演员网络的training batch大小；此联邦集可确定为
Figure FDA0003398333750000104
其中Stest为用于确定联邦集的状态空间；
联邦平均：在第g时间段末，即t＝gT0时，云服务器根据获得的联邦集
Figure FDA0003398333750000105
执行联邦平均，并更新全局行动者模型θG(t+1)和全局评论家模型ωG(t+1)为
Figure FDA0003398333750000106
Figure FDA0003398333750000107
此外，
Figure FDA0003398333750000108
更新队列积压Qi(t+1)，
Figure FDA0003398333750000109
和Y(t+1)；当t>T时，迭代结束；
92)计算资源分配；
给定x(t)，SP2求解服务器侧计算资源分配，表示为
SP2∶
Figure FDA00033983337500001010
Figure FDA0003398333750000111
s.t.C3～C5,
C7：
Figure FDA0003398333750000112
C8：
Figure FDA0003398333750000113
2.根据权利要求1所述的一种电力物联网低时延安全云边端协同方法，其特征在于：步骤5中共识过程由5个阶段组成：
1)请求：一个事务生成器sj向主节点sj*发送请求消息；包含事务信息的请求消息由sj的私钥签名，并由消息身份验证节点MAC进行身份验证；签名一个事务消息、验证一个签名和生成并验证一个MAC所需的CPU周期分别表示为∈s、∈v和∈c；事务生成器花费∈s+∈c的CPU周期生成请求，主节点验证请求的CPU周期为(J+M+1)(∈v+∈c)；
2)预准备：请求阶段收集的所有有效事务信息都被主节点包含到一个块中；然后，主节点通过卫星向所有非主节点广播一条预准备消息以及签名块；主节点对块和J-1个MAC生成签名，供非主节点验证，此过程需要(∈s+(J-1)∈c)个CPU周期；然后非主节点需要验证块的签名和MAC，以及预准备消息中事务的签名和MAC，需要的CPU周期数为(J+M+2)(∈v+∈c)；
3)准备：在验证签名和MAC后，每个非主节点向所有完整节点发送准备消息；然后，每个非主节点检查接收到的预准备和准备消息的一致性；根据PBFT协议，所有完整节点从不同的非主节点收集的共识消息至少为2[F]个,F＝(J-1)/3；主节点验证2[F]个MAC和签名，需要2[F](∈v+∈c)CPU周期；由于每个非主节点需要额外生成签名和J-1个MAC，因此每个非主节点所需的CPU周期为2[F](∈v+∈c)+∈s+(J-1)∈c；
4)确认：在接收到2[F]个共识消息后，每个完整节点向所有其他完整节点广播一个确认消息；一旦接收到2[F]+1个确认消息，完整节点进入下一个阶段；在此阶段，每个完整节点为确认消息生成一个签名和J-1个MAC，并验证2[F]+1个签名和MAC，需要的CPU周期为∈s+(J-1)∈c+(2[F]+1)(∈v+∈c)
5)答复：从其它完整节点接收到至少2[F]+1个确认消息的完整节点，接受该块为有效块，并在本地复制该块；在这些完整节点中，每个非主节点向主节点发送一个答复消息；一旦接收到[F]个答复消息后，主节点将验证过的块更新到区块链；非主节点生成一个签名和J-1MAC组成答复消息，需要∈s+(J-1)∈cCPU周期；主节点验证[F]签名和MAC，需要[F](∈v+∈c)CPU周期；
基于以上分析，创建并上传一个新区块到联盟区块链时，非主节点和主节点所需的CPU周期分别为
Figure FDA0003398333750000121
Figure FDA0003398333750000122
块创建时延包括块生成时延、块传播时延和共识时延；块生成时延表示为常数τg；由于在共识过程中利用卫星进行广播块和消息，所以所有节点之间的传播时延保持不变，表示为τp；因此，块创建时延表示为
Figure FDA0003398333750000123
其中，
Figure FDA0003398333750000124
和
Figure FDA0003398333750000125
分别表示主节点和非主节点为创建块分配的CPU周期；
由于块创建时延对SAG-PIoT计算卸载安全的影响很大，因此定义长期安全性约束为
Figure FDA0003398333750000131
其中，
Figure FDA0003398333750000132
为安全性约束阈值，即最大块创建时延。
3.根据权利要求1所述的一种电力物联网低时延安全云边端协同方法，其特征在于：SP2进一步分解为云服务器SP2-1、无人机SP2-2、主节点SP2-3和非主节点SP2-4的计算资源分配；
1)云服务器计算资源分配：SP2-1表示为
SP2-1∶
Figure FDA0003398333750000138
s.t.C5 and C7 (37)
2)无人机计算资源分配：SP2-2表示为
Figure FDA0003398333750000136
s.t.C4 and C8 (38)
3)主节点计算资源分配：SP2-3表示为
SP2-3∶
Figure FDA0003398333750000137
s.t.C8，C9：
Figure FDA0003398333750000141
其中，
Figure FDA0003398333750000142
4)非主节点计算资源分配：SP2-4的表示为
SP2-4∶
Figure FDA0003398333750000143
s.t.C8，
Figure FDA0003398333750000144
其中，
Figure FDA0003398333750000145
SP2-1～SP2-4是非凸优化问题，可以通过光滑函数逼近min{x}求解；
给定X＝sup{x1,…,xI}，则min{x}近似为
Figure FDA0003398333750000146
其中k是可控参数；
根据以上描述，SP2-1～SP2-4可转化为凸优化问题，并用拉格朗日优化求解；
由于篇幅的限制，本发明以SP2-1为例，其它子问题的求解方法类似；给定
Figure FDA0003398333750000151
和
Figure FDA0003398333750000152
SP2-1近似为
Figure FDA00033983337500001512
s.t.C5 and C7. (44)
Figure FDA0003398333750000156
是凸优化问题，可以采用拉格朗日对偶分解法求解；定义与C5和C7相关的拉格朗日乘子向量分别为vi和ui；(44)的增广拉格朗日函数为
Figure FDA0003398333750000157
本发明利用拉格朗日对偶分解将(45)分解为
Figure FDA0003398333750000158
根据Karush-Kuhn-Tucker(KKT)条件，时隙t的第(l+1)次更新迭代中fi c(t)的最优值可表示为
Figure FDA0003398333750000159
定义
Figure FDA00033983337500001510
为步长，基于梯度法，vi(t,l+1)和μi(t,l+1)可分别计算为
Figure FDA00033983337500001511
Figure FDA0003398333750000161
CN202111512248.2A 2021-12-08 2021-12-08 一种电力物联网低时延安全云边端协同方法 Active CN114143355B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111512248.2A CN114143355B (zh) 2021-12-08 2021-12-08 一种电力物联网低时延安全云边端协同方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111512248.2A CN114143355B (zh) 2021-12-08 2021-12-08 一种电力物联网低时延安全云边端协同方法

Publications (2)

Publication Number Publication Date
CN114143355A true CN114143355A (zh) 2022-03-04
CN114143355B CN114143355B (zh) 2022-08-30

Family

ID=80386146

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111512248.2A Active CN114143355B (zh) 2021-12-08 2021-12-08 一种电力物联网低时延安全云边端协同方法

Country Status (1)

Country Link
CN (1) CN114143355B (zh)

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114630322A (zh) * 2022-03-30 2022-06-14 南京航空航天大学 无状态区块链使能的面向任务无人机网络互认证的方法
CN114626306A (zh) * 2022-03-22 2022-06-14 华北电力大学 一种园区分布式能源调控信息新鲜度保障方法及系统
CN114710195A (zh) * 2022-03-24 2022-07-05 重庆邮电大学 一种基于跳波束技术的低轨卫星高能效资源分配方法
CN114827152A (zh) * 2022-07-01 2022-07-29 之江实验室 一种星地协同网络低延时云边端协同计算方法和装置
CN115378658A (zh) * 2022-07-27 2022-11-22 咚咚数字科技有限公司 一种基于物联网云边协同的园区通信数据传输方法
CN115499133A (zh) * 2022-09-14 2022-12-20 广州大学 低轨道卫星辅助的安全卸载方法
CN116126428A (zh) * 2023-04-14 2023-05-16 昆明理工大学 一种面向能量采集的无人机计算任务卸载方法
CN117545017A (zh) * 2024-01-09 2024-02-09 大连海事大学 一种面向无线供能移动边缘网络的在线计算卸载方法
CN117729571A (zh) * 2024-02-08 2024-03-19 厦门大学 一种动态mec网络中迁移决策与资源分配的联合优化方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110099384A (zh) * 2019-04-25 2019-08-06 南京邮电大学 基于边-端协同的多用户多mec任务卸载资源调度方法
CN111445111A (zh) * 2020-03-09 2020-07-24 国网江苏省电力有限公司南京供电分公司 一种基于边缘协同的电力物联网任务分配方法
CN111585916A (zh) * 2019-12-26 2020-08-25 国网辽宁省电力有限公司电力科学研究院 基于云边协同的lte电力无线专网任务卸载和资源分配方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110099384A (zh) * 2019-04-25 2019-08-06 南京邮电大学 基于边-端协同的多用户多mec任务卸载资源调度方法
WO2020216135A1 (zh) * 2019-04-25 2020-10-29 南京邮电大学 基于边-端协同的多用户多mec任务卸载资源调度方法
CN111585916A (zh) * 2019-12-26 2020-08-25 国网辽宁省电力有限公司电力科学研究院 基于云边协同的lte电力无线专网任务卸载和资源分配方法
CN111445111A (zh) * 2020-03-09 2020-07-24 国网江苏省电力有限公司南京供电分公司 一种基于边缘协同的电力物联网任务分配方法

Cited By (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114626306A (zh) * 2022-03-22 2022-06-14 华北电力大学 一种园区分布式能源调控信息新鲜度保障方法及系统
CN114626306B (zh) * 2022-03-22 2023-01-24 华北电力大学 一种园区分布式能源调控信息新鲜度保障方法及系统
CN114710195B (zh) * 2022-03-24 2023-07-25 重庆邮电大学 一种基于跳波束技术的低轨卫星高能效资源分配方法
CN114710195A (zh) * 2022-03-24 2022-07-05 重庆邮电大学 一种基于跳波束技术的低轨卫星高能效资源分配方法
CN114630322A (zh) * 2022-03-30 2022-06-14 南京航空航天大学 无状态区块链使能的面向任务无人机网络互认证的方法
CN114827152A (zh) * 2022-07-01 2022-07-29 之江实验室 一种星地协同网络低延时云边端协同计算方法和装置
CN114827152B (zh) * 2022-07-01 2022-09-27 之江实验室 一种星地协同网络低延时云边端协同计算方法和装置
CN115378658A (zh) * 2022-07-27 2022-11-22 咚咚数字科技有限公司 一种基于物联网云边协同的园区通信数据传输方法
CN115499133A (zh) * 2022-09-14 2022-12-20 广州大学 低轨道卫星辅助的安全卸载方法
CN116126428B (zh) * 2023-04-14 2023-06-13 昆明理工大学 一种面向能量采集的无人机计算任务卸载方法
CN116126428A (zh) * 2023-04-14 2023-05-16 昆明理工大学 一种面向能量采集的无人机计算任务卸载方法
CN117545017A (zh) * 2024-01-09 2024-02-09 大连海事大学 一种面向无线供能移动边缘网络的在线计算卸载方法
CN117545017B (zh) * 2024-01-09 2024-03-19 大连海事大学 一种面向无线供能移动边缘网络的在线计算卸载方法
CN117729571A (zh) * 2024-02-08 2024-03-19 厦门大学 一种动态mec网络中迁移决策与资源分配的联合优化方法
CN117729571B (zh) * 2024-02-08 2024-05-31 厦门大学 一种动态mec网络中迁移决策与资源分配的联合优化方法

Also Published As

Publication number Publication date
CN114143355B (zh) 2022-08-30

Similar Documents

Publication Publication Date Title
CN114143355B (zh) 一种电力物联网低时延安全云边端协同方法
Wang et al. Federated learning for task and resource allocation in wireless high-altitude balloon networks
CN111132175B (zh) 一种协同计算卸载和资源分配方法及应用
Tun et al. Energy-efficient resource management in UAV-assisted mobile edge computing
CN111031513B (zh) 一种多无人机辅助物联网通信方法及其系统
CN110381445B (zh) 一种基于无人机基站系统的资源分配与飞行轨迹优化方法
CN112737842B (zh) 空地一体化车联网中基于最小化时延的任务安全卸载方法
Zheng et al. Blockchain-based secure computation offloading in vehicular networks
Peng et al. Edge intelligence for multi-dimensional resource management in aerial-assisted vehicular networks
CN116566838A (zh) 一种区块链与边缘计算协同的车联网任务卸载和内容缓存方法
Nguyen et al. Deep reinforcement learning-based partial task offloading in high altitude platform-aided vehicular networks
Tang et al. Secure aerial computing: Convergence of mobile edge computing and blockchain for UAV networks
Wang et al. Task offloading and resource allocation for UAV-assisted mobile edge computing with imperfect channel estimation over Rician fading channels
CN116260821A (zh) 基于深度强化学习和区块链的分布式并行计算卸载方法
Farajzadeh et al. FLSTRA: Federated learning in stratosphere
CN115243285B (zh) 一种基于无人机网络的安全计算卸载方法
Sheng et al. Energy-efficient trajectory planning and resource allocation in UAV communication networks under imperfect channel prediction
Elmahallawy et al. Communication-efficient federated learning for LEO satellite networks integrated with HAPs using hybrid NOMA-OFDM
Zhang et al. Joint optimization of uav trajectory and relay ratio in uav-aided mobile edge computation network
CN116055488A (zh) 面向物联网中基于区块链技术的联邦学习能效优化方法
Wang et al. Multi-agent reinforcement learning based coded computation for mobile ad hoc computing
CN114125744A (zh) 一种基于区块链权益证明的数据采集方法及终端系统
Liao et al. Blockchain and learning-based computation offloading in space-assisted power iot
Zhang et al. Distributed Computation Offloading Based on Deep Reinforcement Learning and Blockchain in Internet of Vehicles
Wu et al. QoE-Driven UAV Video Transmission in a Multi-UAV Network

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant