CN111132175B - 一种协同计算卸载和资源分配方法及应用 - Google Patents

一种协同计算卸载和资源分配方法及应用 Download PDF

Info

Publication number
CN111132175B
CN111132175B CN201911309928.7A CN201911309928A CN111132175B CN 111132175 B CN111132175 B CN 111132175B CN 201911309928 A CN201911309928 A CN 201911309928A CN 111132175 B CN111132175 B CN 111132175B
Authority
CN
China
Prior art keywords
network
resource allocation
computing
local
allocation method
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201911309928.7A
Other languages
English (en)
Other versions
CN111132175A (zh
Inventor
裴庆祺
冯杰
于非
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xi'an Lianrong Technology Co ltd
Xidian University
Original Assignee
Xi'an Lianrong Technology Co ltd
Xidian University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xi'an Lianrong Technology Co ltd, Xidian University filed Critical Xi'an Lianrong Technology Co ltd
Priority to CN201911309928.7A priority Critical patent/CN111132175B/zh
Publication of CN111132175A publication Critical patent/CN111132175A/zh
Application granted granted Critical
Publication of CN111132175B publication Critical patent/CN111132175B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04WWIRELESS COMMUNICATION NETWORKS
    • H04W16/00Network planning, e.g. coverage or traffic planning tools; Network deployment, e.g. resource partitioning or cells structures
    • H04W16/02Resource partitioning among network components, e.g. reuse partitioning
    • H04W16/10Dynamic resource partitioning
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L47/00Traffic control in data switching networks
    • H04L47/70Admission control; Resource allocation
    • H04L47/78Architectures of resource allocation
    • H04L47/783Distributed allocation of resources, e.g. bandwidth brokers
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04WWIRELESS COMMUNICATION NETWORKS
    • H04W52/00Power management, e.g. TPC [Transmission Power Control], power saving or power classes
    • H04W52/04TPC
    • H04W52/30TPC using constraints in the total amount of available transmission power
    • H04W52/34TPC management, i.e. sharing limited amount of power among users or channels or data types, e.g. cell loading

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Mobile Radio Communication Systems (AREA)

Abstract

本发明属于无线通信技术领域,公开了一种协同计算卸载和资源分配方法及应用,通过联合优化协同卸载决策、功率分配、区块链系统的出块大小和出块时间来最大化移动边缘计算的计算速率和区块链系统的吞吐量的加权和,实现两个子系统性能的最优折衷。具体地,首先移动设备的计算任务通过协同通信卸载到MEC服务器上执行,其次采用区块链技术处理自MEC系统的计算卸载交易,同时为了保证集成系统中数据的安全,信任计算模型在协同卸载和块生成过中被考虑。本发明将这个联合优化问题转化为马尔可夫决策过程问题,并提出了一种高效的基于深度强化学习的卸载决策和资源分配算法。

Description

一种协同计算卸载和资源分配方法及应用
技术领域
本发明属于无线通信技术领域,尤其涉及一种协同计算卸载和资源分配方法及应用。
背景技术
目前,最接近的现有技术:移动边缘计算(MEC)通过将移动设备上的计算任务卸载到MEC服务执行,从而提高移动设备的计算能力,因此是一种非常有前景的技术,其被应用到车联网(Vehicle Networks),物联网(Internet of Things)和智能城市(Smart City)等各种领域中。与集中式云计算系统(Cloud Computing System)相比,MEC系统的分布式结构具有很多优势,包括降低能耗和减少时延。大量的文献已经对MEC的计算卸载和资源分配做了深入的研究,但是,出于以下挑战,这些现有的方法并不适合应用于实际的环境中。
一、安全与隐私问题,MEC系统中的安全和隐私是一个具有挑战的问题,如异构边缘节点之间的交互以及跨边缘阶段服务迁移等可能存在安全和隐私泄露隐患。为了解决这个问题,区块链技术被提出。与传统的依赖于可信中央机构的数字分类账方法不同,区块链采用的是社区验证同步跨多个节点复制的分类式账本。区块链可以促进建立可信、安全、分布式的MEC系统。在使能的区块链MEC系统中,MEC服务器不仅要处理自己的任务,还要处理自区块链系统的任务(例如生成块和执行共识过程),而MEC服务器计算资源有限,很容易引起MEC系统和区块链系统计算资源分配不均衡,这使得系统的设计变的更加复杂。比如,当MEC系统分配较多的计算资源时,区块链系统的计算资源势必会较少,从此将导致次优的系统性能。因此,需要考虑同时优化区块链系统和MEC系统的性能,确保两个系统的性能实现最优的折衷。
二、协同计算卸载,这种方法在以往的工作中只被少数研究人员考虑过。现有的计算卸载方案大多假设计算任务通过无线通信可以直接卸载到MEC服务器上执行。然而,移动设备可能会遭遇到弱连接或间歇性连接,从而影响计算卸载过程中通信的质量,因此如果直接将计算任务卸载到MEC服务器会影响移动设备的计算体验,所以移动设备必须在邻近节点的帮助下将计算任务转移到MEC服务器。因此,有必要对协同计算卸载进行研究。此外,如果移动设备附近存在恶意节点,那么其数据的安全性和隐私性容易受到攻击。因此,必须在协同计算卸载中考虑信任模型。
综上所述,现有技术存在的问题是:
(1)现有对MEC和区块链集成系统的设计和优化是独立完成的,资源的不均衡分配将导致系统性能次优的结果。
(2)现有对远离MEC服务器的移动设备存在无法直接将计算任务卸载到MEC服务器,如果移动设备附近存在恶意节点,那么其数据的安全性和隐私性容易受到攻击。
解决上述技术问题的难度:
(1)现有的MEC和区块链集成系统中,MEC服务器同时执行来自移动设备的计算任务和区块链系统的任务,而MEC服务器计算资源有限,很容易导致MEC系统和区块链系统的资源分配不均衡。如何实现MEC系统和区块链系统性能的折衷是一个挑战。
(2)当移动设备远离MEC服务器时,由于远距离传输或弱的通信质量,直接卸载计算任务将影响移动设备的计算体验,因此需要借助周围的节点协助计算任务卸载。然而如果周围节点存在恶意的行为,如,丢弃报文或泄露用户信息等,如何保证协同卸载中数据的安全和隐私是一个重要的挑战。
解决上述技术问题的意义:联合优化MEC系统和区块链系统的性能能够确保各自系统的正常运行,保证用户的体验不受影响。将信任模型考虑到MEC和区块链集成系统能保证用户数据的隐私和安全,这将加速MEC和区块链集成系统的发展和应用到实际中。
发明内容
针对现有技术存在的问题,本发明提供了一种协同计算卸载和资源分配方法及应用。
本发明是这样实现的,一种协同计算卸载和资源分配方法,所述协同计算卸载和资源分配方法包括以下步骤:
第一步,训练的网络包括一个全局网络和多个本地网络,设置本地网络的个数为W;
第二步,全局网络用于存储更新的网络模型,本地网络与各自的环境进行交互,得到各自的网络模型;
第三步,训练过程中全局网络首先将自己的参数同步发送给每个本地网络,本地网络根据所获得的参数与环境交互训练自己的网络,将训练好的网络模型异步传输回全局网络,更新全局网络的参数;
第四步,分别获得全局网络中actor网络和critic网络的模型,并初始化dθ=0,dθv=0;
第五步,每个本地网络同时获得全局网络中actor网络和critic网络参数,即θ′=θ,θ′V=θV
第六步,设置时间t0=t,并且获得当前时刻t的系统状态集S(t);
第七步,根据策略π(A(t)|S(t);θ′)获得动作集A(t);执行动作集A(t),得到立即奖励Ri(t)和下一时刻的状态集S(t+1);使得t=t+1,如果满足条件t-t0=tmax,则执行第八步,否则跳回执行根据策略π(A(t)|S(t);θ′)获得动作集A(t);
第八步,如果S(t)不是终止的状态,那么价值函数通过本地网络的critic网络更新为R=V(S(t),θ′v),否则,critic网络的价值函数表示为R=0;
第九步,从i=t-1开始遍历所有的状态空间,并且更新critic网络的价值函数R,表示如下:R=Ri(t)+γR,其中,γ表示的是折扣因子;
第十步,计算每个本地网络中actor网络的策略梯度;
第十一步,计算每个本地网络中actor网络的累计策略梯度;
第十二步,计算每个本地网络中critic网络的价值梯度;
第十三步,计算每个本地网络中critic网络的累计价值梯度;
第十四步,判断i是否等于t0,如果是,则执行第十五步,如果否,则执行第九步;
第十五步,每个本地网络将训练的网络参数上传给全局网络并更新全局网络的参数;
第十六步,将全局网络更新网络参数再同步发送给每个本地网络,进行下一轮网络训练,从第五步再开始执行,直到收敛,最终得到最优的策略。
进一步,所述第六步中,当前系统的状态表示如下:
S(t)={G(t),T(t),Φs(t),Dtrust(t)};
其中,G(t)=(gn(t),gn,r(t),gr,n(t))分别表示的是用户到基站,用户到中继节点和中继节点到基站的信道增益,T(t)表示的是边缘服务器可用的计算资源,Φs(t)表示的是区块链节点所持有的stake数,
Figure BDA0002324240180000041
分别表示的是中继节点和区块链节点的信任值。
进一步,所述第七步中,立即奖励的计算公式如下:
Figure BDA0002324240180000042
其中,rn(t)表示的是移动边缘计算系统的计算速率,Ψ(t)表示的是区块链系统的吞吐量,ω1表示的是一个将目标函数合并为单个目标函数的权重因子,ω2是确保两个目标函数在相同水平的映射因子。
进一步,所述第十步中,actor网络的策略梯度的计算公式如下:
Figure BDA0002324240180000043
其中H(π(st;θ′))是熵,β表示的是一个控制熵正则化的参数。
进一步,所述第十一步中,actor网络的累计策略梯度的计算公式如下:
Figure BDA0002324240180000051
进一步,所述第十二步中,critic网络的价值梯度的计算公式如下:
Figure BDA0002324240180000052
进一步,所述第十三步中,critic网络的累计价值梯度的计算公式如下:
Figure BDA0002324240180000053
本发明的另一目的在于提供一种实现所述面向移动边缘计算与区块链集成系统资源分配方法的移动设备。
本发明的另一目的在于提供一种实现所述面向移动边缘计算与区块链集成系统资源分配方法的信息数据处理终端。
本发明的另一目的在于提供一种计算机可读存储介质,包括指令,当其在计算机上运行时,使得计算机执行所述的面向移动边缘计算与区块链集成系统资源分配方法。
综上所述,本发明的优点及积极效果为:本发明通过联合优化协同卸载决策、功率分配、区块链系统的块的大小和出块的时间来最大化移动边缘计算的计算速率和区块链集成系统的吞吐量的加权和,从而实现两个子系统性能的最优折衷。具体地,首先移动设备的计算任务通过协同通信卸载到MEC服务器上执行,其次采用区块链技术处理自MEC系统的计算卸载交易,同时设计了信任计算模型保证系统的数据安全。针对动态优化问题,将联合优化问题转化为马尔可夫决策过程(Markov decision process,MDP)问题,并提出了一种高效的基于深度强化学习(Deep Reinforcement Learning,DRL)的卸载决策和资源分配算法。
本发明根据实际的动态环境,为移动边缘计算与区块链集成系统提出了一个动态的协同计算卸载和资源分配方法,通过与实验数据比较,证实该动态的资源分配比传统的静态资源分配方法更加的准确,能够更加准确的模拟实际的环境。因此,基于该协同计算卸载和资源分配方法能够解决由于计算资源分配不合理所带的移动边缘计算系统和区块链系统性能不均衡问题,从而进一步提高系统的性能;与现有的移动边缘计算和区块链集成系统的方案相比较,本发明提出的协同计算卸载和资源分配方法,操作简便,而且更具有实时性,更接近真实场景,利于网络优化,系统性能的提高。本发明提供了相关的数据仿真结果如图5-图8所示。图5和图7展示了不同学习率下所提算法的收敛性能,从图中可以发现所提算法的收敛速度很快,能够很快的获得最优的分配策略。图7和图8展示了与不同的方案对比,所提算法的性能,从图中可以发现随着MEC系统所需的计算资源增加,其计算速率也在增加,且相比于其他方案,所提算法的性更好。同时从图8中可以观察到,随着的MEC系统计算资源需求量的增加,区块链系统的性能几乎不受影响,因此实现了MEC系统和区块链系统性能的最优折衷。
本发明移动边缘计算(Mobile Edge Computing,MEC)和区块链(Blockchain)集成系统的联合优化,具体涉及协同计算卸载决策、功率分配、区块链中出块(Block)大小和出块(Block)时间的联合优化,属于通信技术领域。
附图说明
图1是本发明实施例提供的面向移动边缘计算与区块链集成系统资源分配方法流程图。
图2是本发明实施例提供的可应用的一个场景图。
图3是本发明实施例提供的区块链系统的共识机制过程图。
图4是本发明实施例提供的面向移动边缘计算与区块链集成系统资源分配方法的实现流程图。
图5和图6是本发明实施例提供的不同学习率下所提算法的收敛性能示意图。
图7和图8是本发明实施例提供的与不同的方案对比示意图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白,以下结合实施例,对本发明进行进一步详细说明。应当理解,此处所描述的具体实施例仅仅用以解释本发明,并不用于限定本发明。
针对现有技术存在的问题,本发明提供了一种面向移动边缘计算与区块链集成系统资源分配方法及应用,下面结合附图对本发明作详细的描述。
如图1所示,本发明实施例提供的面向移动边缘计算与区块链集成系统资源分配方法包括以下步骤:
S101:训练的网络包括一个全局网络和多个本地网络;
S102:全局网络用于存储更新的网络模型,本地网络与各自的环境进行交互,得到各自的网络模型;
S103:训练过程中全局网络首先将自己的参数同步发送给每个本地网络,本地网络根据所获得的参数与环境交互训练自己的网络,然后将训练好的网络模型异步传输回全局网络,从而更新全局网络的参数;
S104:分别获得全局网络中actor网络和critic网络的模型;
S105:每个本地网络同时获得全局网络中actor网络和critic网络参数;
S106:设置时间,并且获得当前时刻的系统状态集;根据策略获得动作集;执行动作集,得到立即奖励和下一时刻的状态集;
S107:终止的状态,那么价值函数通过本地网络的critic网络更新为,否则,critic网络的价值函数表示为R=0;开始遍历所有的状态空间,并且更新critic网络的价值函数R;
S108:计算每个本地网络中actor网络的策略梯度;计算每个本地网络中actor网络的累计策略梯度;计算每个本地网络中critic网络的价值梯度;计算每个本地网络中critic网络的累计价值梯度;
S109:每个本地网络将训练的网络参数上传给全局网络并更新全局网络的参数;
S110:将全局网络更新网络参数再同步发送给每个本地网络,进行下一轮网络训练,即从步骤S105再开始执行,直到收敛,最终得到最优的策略。
下面结合附图对本发明的技术方案作进一步的描述。
本发明通过与实验数据比较,证实该动态的资源分配比传统的静态资源分配方法更加的准确,能够更加准确的模拟实际的环境。因此,基于该协同计算卸载和资源分配方法能够解决由于计算资源分配不合理所带来的移动边缘计算系统和区块链系统性能不均衡问题,从而进一步提高系统的性能;此外,与现有的移动边缘计算和区块链集成系统的方案相比较,本发明提出的协同计算卸载和资源分配方法,操作简便,而且更具有实时性,更接近真实场景,利于网络优化,系统性能的提高。
如图所示,本发明的方法可应用的一个场景图。整个系统包含两个子系统,分别是移动边缘计算系统和区块链系统。在移动边缘系统中,一个宏基站位于覆盖范围的中心处,其周围分布着N个小基站,并且所有的基站均由有线链路连接。本发明考虑的是一个免干扰系统,即利用正交频谱进行数据传输。本发明假设每个基站仅服务于一个移动用户,即系统中存在N个正在运行计算密集型任务的移动设备,每个移动设备周围存在R个中继节点。由于移动设备的计算能力相对较弱,本地无法执行计算任务。同时考虑到移动设备弱连接或间断性连接,计算任务需要在中继节点的协助下完成卸载。移动设备周围可能存在自私或恶意的中继节点,因此,安全在实现协同计算卸载中扮演着重要的角色,为此本发明考虑了一个基于信任安全的协同计算卸载方案。
Figure BDA0002324240180000081
表示的是移动设备n到中继节点r的信任值。
本发明在区块链系统中,因为MEC服务器有足够的计算和存储资源,所以区块链节点由所有的MEC服务器组成,其中区块链节点分为两种类型,即普通节点和共识节点。区块链系统主要用于处理来自MEC系统的交易,即计算卸载记录。为了处理这些交易,区块链系统需要完成块生成过程和块验证过程这两个步骤。普通节点仅能传输和接受数字账本,而共识节点除了传输和接受数字账本外,还能产生块和执行共识过程。为了提高系统的性能,投票选取一部分节点作为共识节点,共识节点的票数由其持有的stake数和可用的计算资源决定。在块的生成过程中,恶意的共识节点可能会篡改交易信息,因此在投票选举成为候选的共识节点时需要考虑其信任值,以确保安全的块生成过程。共识过程本发明采用的是授权的拜占庭容错(delegated Byzantine fault tolerance,dBFT)共识机制。当共识机制中存在K个共识节点,那么允许有最大f个可容错的节点数。在这个共识机制中,节点的leader称为speaker,其它的节点称为members。Speaker负责向其他节点广播新的块提案,members负责对新的集体提案进行表决。当投票数不少于K-f时,这个提案通过。共识过程中speaker p是由p=(h-c)mod N决定的,其中h是当前共识中块的高度,v是编号。图3展示了块验证的共识过程,其由三个阶段组成,分别是预处理阶段、处理阶段和预留阶段。在预备阶段,这一轮的speaker负责向其他members广播信息。与此同时,speaker提出了一个提案。在处理阶段,members广播消息并投票。当一个共识节点接收到不少于该块的K-f签名时,它就进入第三个阶段,并在该阶段成功地生成了一个块。同时,块广播整个区块链系统,然后进入下一轮的共识过程。
本发明场景中的系统性能由MEC系统的计算速率和区块链系统的吞吐量加权和来衡量。本发明的方法将得到协同卸载决策、功率分配、块大小和出块时间分配,从而达到系统性能的最优。
如图4所示,本发明的协同计算卸载和资源分配方法包括以下步骤:
第一步,训练的网络包括一个全局网络和多个本地网络(设置本地网络的个数为W);
第二步,全局网络用于存储更新的网络模型,本地网络与各自的环境进行交互,得到各自的网络模型;
第三步,训练过程中全局网络首先将自己的参数同步发送给每个本地网络,本地网络根据所获得的参数与环境交互训练自己的网络,然后将训练好的网络模型异步传输回全局网络,从而更新全局网络的参数;
第四步,别获得全局网络中actor网络和critic网络的模型,并初始化dθ=0,dθv=0;
第五步,每个本地网络同时获得全局网络中actor网络和critic网络参数,即θ′=θ,θ′V=θV
第六步,设置时间t0=t,并且获得当前时刻t的系统状态集S(t);
第七步,根据策略π(A(t)|S(t);θ′)获得动作集A(t);执行动作集A(t),得到立即奖励Ri(t)和下一时刻的状态集S(t+1);使得t=t+1,如果满足条件t-t0=tmax,则执行;否则跳回执行根据策略π(A(t)|S(t);θ)获得动作集A(t);
第八步,如果S(t)不是终止的状态,那么价值函数通过本地网络的critic网络更新为R=V(S(t),θ′v),否则,critic网络的价值函数表示为R=0;
第九步,从i=t-1开始遍历所有的状态空间,并且更新critic网络的价值函数R,表示如下:R=Ri(t)+γR;其中,γ表示的是折扣因子;
第十步,计算每个本地网络中actor网络的策略梯度;
第十一步,计算每个本地网络中actor网络的累计策略梯度;
第十二步,计算每个本地网络中critic网络的价值梯度;
第十三步,计算每个本地网络中critic网络的累计价值梯度;
第十四步,判断i是否等于t0,如果是,则执行第十五步,如果否,则执行第九步;
第十五步,每个本地网络将训练的网络参数上传给全局网络并更新全局网络的参数;
第十六步,将全局网络更新网络参数再同步发送给每个本地网络,进行下一轮网络训练,即从第五步再开始执行,直到收敛,最终得到最优的策略。
在本发明的优选实施例中,在第六步中,当前系统的状态表示如下:
S(t)={G(t),T(t),Φs(t),Dtrust(t)};
其中,G(t)=(gn(t),gn,r(t),gr,n(t))分别表示的是用户到基站,用户到中继节点和中继节点到基站的信道增益,T(t)表示的是边缘服务器可用的计算资源,Φs(t)表示的是区块链节点所持有的stake数,
Figure BDA0002324240180000111
分别表示的是中继节点和区块链节点的信任值。
在本发明的优选实施例中,在第七步中,立即奖励的计算公式如下:
Figure BDA0002324240180000112
其中,rn(t)表示的是移动边缘计算系统的计算速率,Ψ(t)表示的是区块链系统的吞吐量,ω1表示的是一个将目标函数合并为单个目标函数的权重因子,ω2是确保两个目标函数在相同水平的映射因子。
在本发明的优选实施例中,在第十步中,actor网络的策略梯度的计算公式如下:
Figure BDA0002324240180000113
其中H(π(st;θ′))是熵,β表示的是一个控制熵正则化的参数。
在本发明的优选实施例中,在第十一步中,actor网络的累计策略梯度的计算公式如下:
Figure BDA0002324240180000114
在本发明的优选实施例中,在第十二步中,critic网络的价值梯度的计算公式如下:
Figure BDA0002324240180000115
在本发明的优选实施例中,在第十三步中,critic网络的累计价值梯度的计算公式如下:
Figure BDA0002324240180000116
本发明为移动边缘计算和区块链集成系统提出的动态资源分配比传统的静态资源分配方法更加的准确,能够更加准确的模拟实际的环境。因此,基于该协同计算卸载和资源分配方法能够解决由于计算资源分配不合理所带来的移动边缘计算系统和区块链系统性能不均衡问题,从而进一步提高系统的性能。此外,本发明为移动边缘计算和区块链集成系统提出的动态资源分配与传统的静态资源分配方法相比较,本发明提出的协同计算卸载和资源分配方法,操作简便,而且更具有实时性,更接近真实场景,利于网络优化,系统性能的提高。
下面结合仿真对本发明的技术效果作详细的描述。
本发明提供了相关的数据仿真结果如图5-图8所示。图5和图7展示了不同学习率下所提算法的收敛性能,从图中可以发现所提算法的收敛速度很快,能够很快的获得最优的分配策略。图7和图8展示了与不同的方案对比,所提算法的性能,从图中可以发现随着MEC系统所需的计算资源增加,其计算速率也在增加,且相比于其他方案,所提算法的性更好。同时从图8中可以观察到,随着的MEC系统计算资源需求量的增加,区块链系统的性能几乎不受影响,因此实现了MEC系统和区块链系统性能的最优折衷。
以上所述仅为本发明的较佳实施例而已,并不用以限制本发明,凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等,均应包含在本发明的保护范围之内。

Claims (9)

1.一种协同计算卸载和资源分配方法,其特征在于,所述协同计算卸载和资源分配方法包括以下步骤:
第一步,训练的网络包括一个全局网络和多个本地网络,设置本地网络的个数为W;
第二步,全局网络用于存储更新的网络模型,本地网络与各自的环境进行交互,得到各自的网络模型;
第三步,训练过程中全局网络首先将自己的参数同步发送给每个本地网络,本地网络根据所获得的参数与环境交互训练自己的网络,将训练好的网络模型异步传输回全局网络,更新全局网络的参数;
第四步,分别获得全局网络中actor网络和critic网络的模型,并初始化dθ=0,dθv=0;
第五步,每个本地网络同时获得全局网络中actor网络和critic网络参数,即θ′=θ,θ′V=θV
第六步,设置时间t0=t,并且获得当前时刻t的系统状态集S(t);当前系统的状态表示如下:
S(t)={G(t),T(t),Φs(t),Dtrust(t)};
其中,G(t)=(gn(t),gn,r(t),gr,n(t))分别表示的是用户到基站,用户到中继节点和中继节点到基站的信道增益,T(t)表示的是边缘服务器可用的计算资源,Φs(t)表示的是区块链节点所持有的stake数,
Figure FDA0003418911380000011
分别表示的是中继节点和区块链节点的信任值;
第七步,根据策略π(A(t)|S(t);θ′)获得动作集A(t);执行动作集A(t),得到立即奖励Ri(t)和下一时刻的状态集S(t+1);使得t=t+1,如果满足条件t-t0=tmax,则执行第八步,否则跳回执行根据策略π(A(t)|S(t);θ′)获得动作集A(t);
第八步,如果S(t)不是终止的状态,那么价值函数通过本地网络的critic网络更新为R=V(S(t),θ′v),否则,critic网络的价值函数表示为R=0;
第九步,从i=t-1开始遍历所有的状态空间,并且更新critic网络的价值函数R,表示如下:R=Ri(t)+γR,其中,γ表示的是折扣因子;
第十步,计算每个本地网络中actor网络的策略梯度;
第十一步,计算每个本地网络中actor网络的累计策略梯度;
第十二步,计算每个本地网络中critic网络的价值梯度;
第十三步,计算每个本地网络中critic网络的累计价值梯度;
第十四步,判断i是否等于t0,如果是,则执行第十五步,如果否,则执行第九步;
第十五步,每个本地网络将训练的网络参数上传给全局网络并更新全局网络的参数;
第十六步,将全局网络更新网络参数再同步发送给每个本地网络,进行下一轮网络训练,从第五步再开始执行,直到收敛,最终得到最优的策略。
2.如权利要求1所述的协同计算卸载和资源分配方法,其特征在于,所述第七步中,立即奖励的计算公式如下:
Figure FDA0003418911380000021
其中,rn(t)表示的是移动边缘计算系统的计算速率,Ψ(t)表示的是区块链系统的吞吐量,ω1表示的是一个将目标函数合并为单个目标函数的权重因子,ω2是确保两个目标函数在相同水平的映射因子。
3.如权利要求1所述的协同计算卸载和资源分配方法,其特征在于,所述第十步中,actor网络的策略梯度的计算公式如下:
Figure FDA0003418911380000022
其中H(π(st;θ′))是熵,β表示的是一个控制熵正则化的参数。
4.如权利要求1所述的协同计算卸载和资源分配方法,其特征在于,所述第十一步中,actor网络的累计策略梯度的计算公式如下:
Figure FDA0003418911380000031
5.如权利要求1所述的协同计算卸载和资源分配方法,其特征在于,所述第十二步中,critic网络的价值梯度的计算公式如下:
Figure FDA0003418911380000032
6.如权利要求1所述的协同计算卸载和资源分配方法,其特征在于,所述第十三步中,critic网络的累计价值梯度的计算公式如下:
Figure FDA0003418911380000033
7.一种实现权利要求1~6任意一项所述协同计算卸载和资源分配方法的移动设备。
8.一种实现权利要求1~6任意一项所述协同计算卸载和资源分配方法的信息数据处理终端。
9.一种计算机可读存储介质,包括指令,当其在计算机上运行时,使得计算机执行如权利要求1~6任意一项所述的协同计算卸载和资源分配方法。
CN201911309928.7A 2019-12-18 2019-12-18 一种协同计算卸载和资源分配方法及应用 Active CN111132175B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911309928.7A CN111132175B (zh) 2019-12-18 2019-12-18 一种协同计算卸载和资源分配方法及应用

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911309928.7A CN111132175B (zh) 2019-12-18 2019-12-18 一种协同计算卸载和资源分配方法及应用

Publications (2)

Publication Number Publication Date
CN111132175A CN111132175A (zh) 2020-05-08
CN111132175B true CN111132175B (zh) 2022-04-05

Family

ID=70499667

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911309928.7A Active CN111132175B (zh) 2019-12-18 2019-12-18 一种协同计算卸载和资源分配方法及应用

Country Status (1)

Country Link
CN (1) CN111132175B (zh)

Families Citing this family (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111614657B (zh) * 2020-05-18 2021-06-04 北京邮电大学 基于模式选择的移动边缘安全服务方法及系统
CN111770073B (zh) * 2020-06-23 2022-03-25 重庆邮电大学 一种基于区块链技术的雾网络卸载决策和资源分配方法
CN111884696B (zh) * 2020-07-01 2022-03-25 广州大学 一种基于多载波的中继协作移动边缘计算方法
CN112134959B (zh) * 2020-09-24 2022-10-28 北京工业大学 一种基于区块链的异构边缘资源共享方法
CN112579194B (zh) * 2020-11-27 2023-04-07 国网河南省电力公司信息通信公司 基于时延和事务吞吐量的区块链共识任务卸载方法及装置
CN112615919B (zh) * 2020-12-16 2021-11-26 中国联合网络通信集团有限公司 资源分配方法、资源分配装置、区块链
CN114880038B (zh) * 2021-01-22 2023-12-19 上海大学 移动边缘计算系统资源优化配置方法
CN113114790B (zh) * 2021-06-10 2021-09-14 武汉研众科技有限公司 一种基于区块链与边缘计算的负载均衡方法与系统
CN113572647B (zh) * 2021-07-30 2022-05-13 同济大学 一种基于强化学习的区块链-边缘计算联合系统
CN113709249B (zh) * 2021-08-30 2023-04-18 北京邮电大学 辅助驾驶业务安全均衡卸载方法及系统
CN113795012A (zh) * 2021-09-16 2021-12-14 上海海事大学 基于区块链的网联车辆边缘计算与视频分析资源分配方法
CN114189892B (zh) * 2021-12-15 2024-06-07 北京工业大学 一种基于区块链和集体强化学习的云边协同物联网系统资源分配方法
CN114490057B (zh) * 2022-01-24 2023-04-25 电子科技大学 一种基于深度强化学习的mec已卸载任务资源分配方法
CN114760308B (zh) * 2022-04-01 2023-03-24 中国科学技术大学 边缘计算卸载方法及装置
CN115102867B (zh) * 2022-05-10 2023-04-25 内蒙古工业大学 结合深度强化学习的区块链分片系统性能优化方法
CN115334076A (zh) * 2022-07-08 2022-11-11 电子科技大学 一种边缘服务器的服务迁移方法、系统及边缘服务器设备

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3401891A1 (de) * 2017-05-09 2018-11-14 Deutsche Telekom AG Distributed consensus networks mit mobile edge computing unterstützung
CN109040312A (zh) * 2018-09-17 2018-12-18 云迅智能科技南京有限公司 一种多接入边缘计算网络系统及方法
CN109388492A (zh) * 2018-10-09 2019-02-26 浙江工业大学 一种在多个边缘计算服务器场景下基于模拟退火的移动区块链优化算力分配方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10924363B2 (en) * 2018-04-13 2021-02-16 The Curators Of The University Of Missouri Method and system for secure resource management utilizing blockchain and smart contracts

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3401891A1 (de) * 2017-05-09 2018-11-14 Deutsche Telekom AG Distributed consensus networks mit mobile edge computing unterstützung
CN109040312A (zh) * 2018-09-17 2018-12-18 云迅智能科技南京有限公司 一种多接入边缘计算网络系统及方法
CN109388492A (zh) * 2018-10-09 2019-02-26 浙江工业大学 一种在多个边缘计算服务器场景下基于模拟退火的移动区块链优化算力分配方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Mining Task Offloading in Mobile Edge Computing Empowered Blockchain;Ke Zhang等;《IEEE》;20191114;第234-239页 *
一种基于区块链和边缘计算的物联网方案;刘帅等;《南京信息工程大学学报》;20190928;第596-600页 *

Also Published As

Publication number Publication date
CN111132175A (zh) 2020-05-08

Similar Documents

Publication Publication Date Title
CN111132175B (zh) 一种协同计算卸载和资源分配方法及应用
Zhang et al. Blockchain-based distributed software-defined vehicular networks: a dueling deep ${Q} $-learning approach
Lin et al. Task offloading for wireless VR-enabled medical treatment with blockchain security using collective reinforcement learning
Yang et al. A parallel intelligence-driven resource scheduling scheme for digital twins-based intelligent vehicular systems
CN114143355B (zh) 一种电力物联网低时延安全云边端协同方法
Ren et al. Blockchain-based VEC network trust management: A DRL algorithm for vehicular service offloading and migration
Wang et al. Blockchain-aided network resource orchestration in intelligent internet of things
CN111556089A (zh) 基于使能区块链移动边缘计算系统的资源联合优化方法
Zhang et al. Blockchain-based multi-access edge computing for future vehicular networks: A deep compressed neural network approach
CN112637822B (zh) 一种基于区块链的蜂窝网络安全交易平台
CN112115505A (zh) 基于移动边缘计算和区块链技术的新能源汽车充电站计费数据传输方法
CN112737770B (zh) 基于puf的网络双向认证和密钥协商方法及装置
CN108667657A (zh) 一种面向sdn的基于局部特征信息的虚拟网络映射方法
CN110401936A (zh) 一种基于d2d通信的任务卸载与资源分配方法
CN112217683A (zh) 跨异构链数据可达性处理方法、系统、介质、设备、终端
CN116669111A (zh) 一种基于区块链的移动边缘计算任务卸载方法
Shinde et al. Joint air-ground distributed federated learning for intelligent transportation systems
Hu et al. Deep reinforcement learning for task offloading in edge computing assisted power IoT
CN116260821A (zh) 基于深度强化学习和区块链的分布式并行计算卸载方法
Zhang et al. Joint sensing, communication, and computation resource allocation for cooperative perception in fog-based vehicular networks
CN116566838A (zh) 一种区块链与边缘计算协同的车联网任务卸载和内容缓存方法
Kang et al. Uav-assisted dynamic avatar task migration for vehicular metaverse services: A multi-agent deep reinforcement learning approach
Liwang et al. Graph-represented computation-intensive task scheduling over air-ground integrated vehicular networks
Chen et al. Distributed task offloading game in multiserver mobile edge computing networks
Du et al. Joint optimization in blockchain and mec enabled space-air-ground integrated networks

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB02 Change of applicant information
CB02 Change of applicant information

Address after: 710071 Xi'an Electronic and Science University, 2 Taibai South Road, Shaanxi, Xi'an

Applicant after: XIDIAN University

Applicant after: Xi'an Lianrong Technology Co., Ltd

Address before: 710071 Xi'an Electronic and Science University, 2 Taibai South Road, Shaanxi, Xi'an

Applicant before: XIDIAN University

Applicant before: Xi'an Xidian Lianrong Technology Co., Ltd

GR01 Patent grant
GR01 Patent grant