CN111565420A - 一种移动区块链中智能资源分配方法 - Google Patents

一种移动区块链中智能资源分配方法 Download PDF

Info

Publication number
CN111565420A
CN111565420A CN202010263998.XA CN202010263998A CN111565420A CN 111565420 A CN111565420 A CN 111565420A CN 202010263998 A CN202010263998 A CN 202010263998A CN 111565420 A CN111565420 A CN 111565420A
Authority
CN
China
Prior art keywords
small base
base station
equipment
task
bandwidth
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010263998.XA
Other languages
English (en)
Inventor
宁兆龙
孙守铭
王小洁
张凯源
董沛然
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Dalian University of Technology
Original Assignee
Dalian University of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Dalian University of Technology filed Critical Dalian University of Technology
Priority to CN202010263998.XA priority Critical patent/CN111565420A/zh
Publication of CN111565420A publication Critical patent/CN111565420A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W28/00—Network traffic management; Network resource management
    • H04W28/16—Central resource management; Negotiation of resources or communication parameters, e.g. negotiating bandwidth or QoS [Quality of Service]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/004—Artificial life, i.e. computing arrangements simulating life
    • G06N3/006—Artificial life, i.e. computing arrangements simulating life based on simulated virtual individual or collective life forms, e.g. social simulations or particle swarm optimisation [PSO]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/08—Configuration management of networks or network elements
    • H04L41/0896—Bandwidth or capacity management, i.e. automatically increasing or decreasing capacities
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W28/00—Network traffic management; Network resource management
    • H04W28/16—Central resource management; Negotiation of resources or communication parameters, e.g. negotiating bandwidth or QoS [Quality of Service]
    • H04W28/18—Negotiating wireless communication parameters
    • H04W28/20—Negotiating bandwidth
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W28/00—Network traffic management; Network resource management
    • H04W28/16—Central resource management; Negotiation of resources or communication parameters, e.g. negotiating bandwidth or QoS [Quality of Service]
    • H04W28/18—Negotiating wireless communication parameters
    • H04W28/22—Negotiating communication rate
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/14—Network analysis or design
    • H04L41/142—Network analysis or design using statistical or mathematical methods
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/14—Network analysis or design
    • H04L41/145—Network analysis or design involving simulating, designing, planning or modelling of a network

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Theoretical Computer Science (AREA)
  • Quality & Reliability (AREA)
  • Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Mathematical Physics (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Computing Systems (AREA)
  • Molecular Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Medical Informatics (AREA)
  • Mobile Radio Communication Systems (AREA)

Abstract

本发明属于工业物联网技术领域，公开了一种移动区块链中智能资源分配方法。具体地，通过区块链和移动边缘计算技术建立用于在移动设备交易过程中保护其隐私和数据安全的移动区块链框架，其包含了三个模块：移动区块链模块、任务卸载模块和决策制定模块；对系统中设备的效用进行建模，并建立小基站带宽以及算力资源联合分配模型；将上述联合分配模型分解为两个子模型，分别为带宽分配子模型和算力分配子模型；设计深度强化学习与粒子群优化结合的方法求解带宽分配子模型和算力分配子模型。本发明提出了一种保护移动设备隐私和数据安全的移动区块链框架，并为带宽和算力资源联合分配问题提供了一种新的解决方案。

Description

一种移动区块链中智能资源分配方法
技术领域
本发明属于工业物联网技术领域，具体涉及一种用于在移动设备交易过程中保护其隐私 和数据安全的移动区块链系统，尤其涉及到一种移动设备在挖矿过程中小基站的带宽和算力 资源的联合分配系统。
背景技术
工业物联网和无线通信技术的快速发展使得越来越多的移动设备参与到工业物联网中， 保护移动设备在交易过程中的隐私和数据安全也变得越来越重要。然而传统的基于第三方机 构的交易方式无法保证用户的隐私以及数据安全，而且具有单点故障的缺陷。即使少量的工 作借助区块链和移动边缘计算技术解决上述问题，但是都忽略了设备的移动性以及小基站带 宽和算力联合分配问题。对于区块链系统，矿工的挖矿效用也不可忽略。因此如何设计实际 可行的移动区块链系统来保护移动设备在交易过程的隐私和数据安全并考虑设备的移动性、 挖矿效用、小基站带宽和算力的联合分配问题及其高效求解需要研究人员进一步探索。
发明内容
本发明的目的是针对现有研究的不足，结合区块链、移动边缘计算技术以及人工智能算 法，提出一种移动区块链中的智能资源分配系统。本发明根据区块链和移动边缘计算技术提 出一个在设备交易过程中保护其隐私和数据安全的移动区块链框架，其包含移动区块链模块、 任务卸载模块以及决策制定模块三个模块。设计人工智能算法与粒子群优化算法结合的方法 并构建了一种移动区块链中的智能资源分配系统，从而可以高效地解决小基站中带宽和算力 的联合分配问题并考虑设备移动性、挖矿预算、区块链吞吐量以及小基站有限的资源以最大 化所有设备长期的挖矿效用，为在工业物联网的发展中保护用户的隐私以及数据安全和人工 智能的实际应用提供了一个良好的范例。
本发明的技术方案：
一种移动区块链中智能资源分配方法，步骤如下：
1)通过区块链和移动边缘计算技术建立用于在移动设备交易过程中保护其隐私和数据 安全的移动区块链框架。该框架包含了三个模块：移动区块链模块、任务卸载模块和 决策制定模块；
2)对系统中设备的效用进行建模，并建立小基站带宽以及算力资源联合分配模型；
3)将2)中的联合分配模型分解为两个子模型，分别为带宽分配子模型和算力分配子模 型；
4)设计深度强化学习算法与粒子群优化算法结合的方法求解3)中的带宽分配和算力分 配子模型；
步骤1)：
1.1)移动区块链模块设计：
移动区块链模块由移动设备组成。在该模块中，每个移动设备都配置了区块链应用并且 它们之间可以直接地进行交易而不需要第三方机构参与。每个移动设备作为区块链中的矿工 可以随时地参与挖矿从而获得成功挖矿的奖励。
1.2)任务卸载模块设计：
移动设备拥有有限的算力和能量，所以在挖矿的过程中需要将挖矿任务即工作量证明 (Proof-of-Work,PoW)卸载到其附近的小基站。小基站部署了移动边缘计算服务器并且每个 小基站需要为向其请求服务的移动设备分配有限的算力和带宽。最后每个小基站需要立即将 挖矿任务的计算结果返回给设备。
1.3)决策制定模块设计：
决策制定模块中主要包含了一个专用控制器。这个专用控制器可以与各个小基站交互并 且收集所有小基站以及其所连设备的信息，具体包括每个小基站的总算力、总带宽以及其连 接的所有设备的挖矿任务信息。最后，专用控制器会为每个小基站制定最佳的带宽和算力分 配策略并立即将分配策略发送给各个小基站。
步骤2)：
2.1)抽象每个设备的效用：
我们认为小基站的信道是有限状态的马尔可夫信道，并且当在决策时期k时，当设备n向 小基站m上传挖矿任务时的信道信号噪声比为SNRn,m(k)。当设备n从小基站m下载挖矿任务 结果时的信道信号噪声比为SNRm,n(k)。
设备n向小基站m上传挖矿任务的速率为：
Figure BDA0002440526110000021
其中，bn,m是小基站m为设备n分配的带宽。
设备n从小基站m下载挖矿任务结果的速率为：
Figure BDA0002440526110000022
其中，bn是设备n的带宽。
设备n向小基站m上传挖矿任务的时间为：
Figure BDA0002440526110000031
其中，Dn是设备n的挖矿任务的数据大小。
设备n从小基站m下载挖矿任务结果的时间为：
Figure BDA0002440526110000032
其中，In是设备n的挖矿任务结果的数据大小。
设备n的挖矿任务在小基站m上的处理时间为：
Figure BDA0002440526110000033
其中，Yn是完成设备n的挖矿任务所需要的CPU周期数，fn,m是小基站m为设备n分配的算 力。
设备n的挖矿时间为：
Figure BDA0002440526110000034
设备n的挖矿成本为：
Figure BDA0002440526110000035
其中，∈是单位能量所对应的成本，En是设备n的发射功率，pn,m是设备n对小基站m上的移 动边缘计算服务器的单位时间租赁成本。
设备n成功求解其挖矿任务，即PoW难题的概率为：
Figure BDA0002440526110000036
其中，α和β分别是设备分配的算力和带宽对其求解挖矿任务重要性，M是小基站的数量， Nm是将挖矿任务卸载到小基站m的移动设备的数量，fj,i(k)和bj,i(k)分别是在决策时期k时 小基站i为设备j分配的算力和带宽。
我们假设区块链中成功挖矿服从均值为t0的泊松分布，则设备n挖出的块由于广播时间过 长而成为孤儿块的概率为：
Figure BDA0002440526110000041
其中，Ni是将挖矿任务卸载到小基站i的设备数量，
Figure BDA0002440526110000042
是区块链中所有的设备数量，φ是 与广播时间有关的常数参数，
Figure BDA0002440526110000043
是块的广播时间。
设备n成功挖矿的概率为：
Hn,m(k)＝δn,m(k)(1-θn,m)
设备n的挖矿奖励为：
Figure BDA0002440526110000044
其中，
Figure BDA0002440526110000045
是挖矿的固定奖励，ηDn是挖矿的可变奖励，η是可变奖励中的常数参数，Dn是设 备n的挖矿任务的数据大小，也就是块的大小。
设备n挖矿的效用为：
Un,m(k)＝Rn,m(k)-Cn,m(k)
2.2)建立小基站带宽以及算力资源联合分配模型。
为了最大化所有移动设备长期的挖矿效用，小基站带宽以及算力资源联合分配模型如下：
P:
Figure BDA0002440526110000046
s.t.C1:
Figure BDA0002440526110000047
C2:
Figure BDA0002440526110000048
C3:Cn,m≤Gn,
Figure BDA0002440526110000049
C4:
Figure BDA00024405261100000410
C5:
Figure BDA00024405261100000411
其中，
Figure BDA00024405261100000412
是决策变量，即所有设备分配的带宽集合和算力集合。K是决策时期的最 大数量。
C1保证每个小基站为设备分配的算力总和不超过其总算力，其中
Figure BDA00024405261100000413
是所有小基站集合，
Figure BDA00024405261100000414
是小基站m的总算力。
C2保证每个小基站为设备分配的带宽总和不超过其总带宽，其中
Figure BDA00024405261100000415
是小基站m的总带 宽。
C3保证每个设备的挖矿成本不超过其挖矿预算，其中
Figure BDA0002440526110000051
是将挖矿任务卸载到小基站m 的所有设备的集合，Gn是设备n用于挖矿的预算。
C4保证区块链的吞吐量不低于其下限，其中l是平均每个交易的数据大小，
Figure BDA0002440526110000052
是从上 个成功挖出的块开始，设备n开始参与挖矿的时间间隔，Ω是区块链吞吐量的下限。
C5保证每个设备的挖矿任务都是由一个小基站完成，即在挖矿的过程中不存在小基站的 切换，其中dn,m是设备n距小基站m的距离，vn是设备n的移动速度，ρn,m是设备n的移动方 向与设备到小基站的向量之间的夹角，ω是小基站的通信范围半径。
步骤3)：
分解得到带宽分配子模型：
P1:
Figure BDA0002440526110000053
s.t.P中C2约束.
分解得到算力分配子模型：
P2:
Figure BDA0002440526110000054
s.t.P中C1,C3,C4,C5约束.
步骤4)：
Step1:将P1进一步分解为多个子问题，每个小基站分别需要求解一个子问题，对于小基 站m其需要解决的子问题为：
P3
Figure BDA0002440526110000055
s.t.
Figure BDA0002440526110000056
其中，
Figure BDA0002440526110000057
由于P3是一个凸优化问题，可以容 易地进行求解，例如通过python中CVXPY库进行求解。通过对所有小基站子问题进行求解从 而解得P1并获得所有设备的带宽分配。
Step2：专用控制器收集系统状态Sk并输入到深度确定性策略梯度方法中的演员(actor) 网络来获得该状态所对应的动作Ak。其中，系统状态Sk包含了每个小基站的状态
Figure RE-GDA0002570188980000057
即
Figure RE-GDA0002570188980000058
M是小基站的数量。每个小基站的状态
Figure RE-GDA0002570188980000059
定义如下：
Figure BDA0002440526110000061
其中Tn＝(Dn,Yn,Gn,In)是设备n卸载的挖矿任务，Dn是挖矿任务的数据大小，Yn是完成设备n 的挖矿任务所需要的CPU周期数，Gn是设备n用于挖矿任务的预算，In是挖矿任务计算结果 的数据大小，dn,m是设备n到小基站m的距离，ρn,m是设备n的移动方向与设备n到小基站m 向量之间的夹角，vn是设备n的移动速度，SNRn,m和SNRm,n分别是设备n上传挖矿任务和下 载挖矿任务结果时信道的信号噪声比，
Figure BDA0002440526110000062
和
Figure BDA0002440526110000063
分别是小基站m的总算力和总带宽，Nm是将 挖矿任务卸载到小基站m的移动设备的数量。
输出的动作Ak包含了每个小基站的算力分配决策am，即Ak＝{am|m＝1,...,M}。每个小基 站的算力分配决策am定义如下：
am＝{fn,m|n＝1,...,Nm,fn,m∈[fmin,fmax]}
其中，fn,m是小基站m为设备n分配的算力，fmin和fmax分别是小基站为设备分配的算力的下 界和上界。
Step3：产生0-1之间的随机数
Figure BDA0002440526110000065
如果
Figure BDA0002440526110000066
大于等于贪婪策略中的参数∈，则输出动作Ak； 否则如果随机探索中采用粒子群优化的概率ζ小于等于∈，则使用粒子群优化产生的改进动 作替换动作Ak；否则使用随机动作替换动作Ak。
Step4：执行动作Ak，获得奖励Rk以及系统下一状态Sk+1，并将四元组(Sk,Ak,Rk,Sk+1)保 存在深度确定性策略梯度算法中的经验回放缓存中。其中，奖励Rk定义如下：
Figure BDA0002440526110000064
其中，λ是一个常数参数。
Step5：定期地从经验回放缓存中选择小批次样本训练深度确定性策略梯度网络，并更新 其演员在线网络(actor online net)和评论家在线网络(critic online net)的参数。
Step6：定期地使用‘软’更新策略来更新演员目标网络(actor target net)和评论家 目标网络(critic target net)的参数。
Step7：在每次迭代中重复执行K次Step1-Step6，直到算法达到最大的迭代次数，输出 每个设备分配的算力和带宽资源。
通过以上步骤，实现了对本发明所提出的移动区块链中小基站的带宽和算力资源的联合 分配以最大化所有设备的长期挖矿效用。
本发明的效果和益处是：本发明根据区块链和移动边缘计算技术提出一个在设备交易过 程中保护其隐私和数据安全的移动区块链框架，其包含移动区块链模块、任务卸载模块以及 决策制定模块这三个模块。设计深度强化学习算法与粒子群优化算法结合的方法并构建了一 种移动区块链中的智能资源分配系统，可以高效地解决小基站中带宽和算力资源的联合分配 问题并考虑设备移动性、挖矿预算、区块链吞吐量以及小基站有限的资源以最大化所有设备 长期的挖矿效用，为在工业物联网的发展中保护用户的隐私以及数据安全和人工智能的实际 应用提供了一个良好的范例
附图说明
图1为引入区块链和移动边缘计算技术的移动区块链框架。
图2为设计的深度强化学习和粒子群优化算法结合的方法的收敛性。
图3为对于不同的移动设备数量，不同的解决方案获得的所有设备总效用的对比。
图4为对于不同的小基站总带宽，不同的解决方案获得的所有设备总效用的对比。
图5为对于不同的小基站总算力，不同的解决方案获得的所有设备总效用的对比。
图6为对于不同的在计算设备成功求解其挖矿任务概率时的算力重要性，不同的解决方 案获得的所有设备总效用的对比。
图7为对于不同的在本发明设计方法的随机探索中采用粒子群优化的概率，不同的解决 方案获得的所有设备总效用的对比。
具体实施方式
为了使本发明的目的、技术方案和优点更加清楚，下面对本发明的具体实施方式作进一 步的详细描述。
本发明提供一种移动区块链中智能资源分配方法，该方法包括以下步骤：
步骤1)：通过区块链和移动边缘计算技术建立用于在移动设备交易过程中保护其隐私和 数据安全的移动区块链框架如图1所示。该框架包含了三个模块：移动区块链模块、任务卸 载模块和决策制定模块。
1.1)移动区块链模块设计：
移动区块链模块由移动设备组成。在该模块中，每个移动设备都配置了区块链应用并且 它们之间可以直接地进行交易而不需要第三方机构参与。每个移动设备作为区块链中的矿工 可以随时地参与挖矿从而获得成功挖矿的奖励。
1.2)任务卸载模块设计：
移动设备拥有有限的算力和能量，所以在挖矿的过程中需要将挖矿任务即工作量证明 (Proof-of-Work，PoW)卸载到其附近的小基站。小基站部署了移动边缘计算服务器并且每 个小基站需要为向其请求服务的移动设备分配有限的算力和带宽。最后每个小基站需要立即 将挖矿任务的计算结果返回给设备。
1.3)决策制定模块设计：
决策制定模块中主要包含了一个专用控制器。这个专用控制器可以与各个小基站交互并 且收集所有小基站以及其所连设备的信息，具体包括每个小基站的总算力、总带宽以及其连 接的所有设备的挖矿任务信息。最后，专用控制器会为每个小基站制定最佳的带宽和算力分 配策略并立即将分配策略发送给各个小基站。
步骤2)：对系统中设备的效用进行建模，并建立小基站带宽以及算力资源联合分配模型。
2.1)抽象每个设备的效用：
我们认为小基站的信道是有限状态的马尔可夫信道，并且当在决策时期k时，当设备n向 小基站m上传挖矿任务时的信道信号噪声比为SNRn,m(k)。当设备n从小基站m下载挖矿任务 结果时的信道信号噪声比为SNRm,n(k)。
设备n向小基站m上传挖矿任务的速率为：
Figure BDA0002440526110000081
其中，bn,m是小基站m为设备n分配的带宽。
设备n从小基站m下载挖矿任务结果的速率为：
Figure BDA0002440526110000082
其中，bn是设备n的带宽。
设备n向小基站m上传挖矿任务的时间为：
Figure BDA0002440526110000083
其中，Dn是设备n的挖矿任务的数据大小。
设备n从小基站m下载挖矿任务结果的时间为：
Figure BDA0002440526110000084
其中，In是设备n的挖矿任务结果的数据大小。
设备n的挖矿任务在小基站m上的处理时间为：
Figure BDA0002440526110000091
其中，Yn是完成设备n的挖矿任务所需要的CPU周期数，fn,m是小基站m为设备n分配的算 力。
设备n的挖矿时间为：
Figure BDA0002440526110000092
设备n的挖矿成本为：
Figure BDA0002440526110000093
其中，∈是单位能量所对应的成本，En是设备n的发射功率，pn,m是设备n对小基站m上的移 动边缘计算服务器的单位时间租赁成本。
设备n成功求解其挖矿任务，即PoW难题的概率为：
Figure BDA0002440526110000094
其中，α和β分别是设备分配的算力和带宽对其求解挖矿任务重要性，M是小基站的数量， Nm是将挖矿任务卸载到小基站m的移动设备的数量，fj,i(k)和bj,i(k)分别是在决策时期k时 小基站i为设备j分配的算力和带宽。
我们假设区块链中成功挖矿服从均值为t0的泊松分布，则设备n挖出的块由于广播时间过 长而成为孤儿块的概率为：
Figure BDA0002440526110000095
其中，Ni是将挖矿任务卸载到小基站i的设备数量，
Figure BDA0002440526110000096
是区块链中所有的设备数量，φ是 与广播时间有关的常数参数，
Figure BDA0002440526110000097
是块的广播时间。
设备n成功挖矿的概率为：
Hn,m(k)＝δn,m(k)(1-θn,m)
设备n的挖矿奖励为：
Figure BDA0002440526110000101
其中，
Figure BDA0002440526110000102
是挖矿的固定奖励，ηDn是挖矿的可变奖励，η是可变奖励中的常数参数，Dn是设 备n的挖矿任务的数据大小，也就是块的大小。
设备n挖矿的效用为：
Un,m(k)＝Rn,m(k)-Cn,m(k)
2.2)建立小基站带宽以及算力资源联合分配模型。
为了最大化所有移动设备长期的挖矿效用，小基站带宽以及算力资源联合分配模型如下：
P:
Figure BDA0002440526110000103
s.t.C1:
Figure BDA0002440526110000104
C2:
Figure BDA0002440526110000105
C3:Cn,m≤Gn,
Figure BDA0002440526110000106
C4:
Figure BDA0002440526110000107
C5:
Figure BDA0002440526110000108
其中，
Figure BDA0002440526110000109
是决策变量，即所有设备分配的带宽集合和算力集合。K是决策时期的最 大数量。
C1保证每个小基站为设备分配的算力总和不超过其总算力，其中
Figure BDA00024405261100001010
是所有小基站集合，
Figure BDA00024405261100001011
是小基站m的总算力。
C2保证每个小基站为设备分配的带宽总和不超过其总带宽，其中
Figure BDA00024405261100001012
是小基站m的总带 宽。
C3保证每个设备的挖矿成本不超过其挖矿预算，其中
Figure BDA00024405261100001013
是将挖矿任务卸载到小基站m 的所有设备的集合，Gn是设备n用于挖矿的预算。
C4保证区块链的吞吐量不低于其下限，其中l是平均每个交易的数据大小，
Figure BDA00024405261100001014
是从上 个成功挖出的块开始，设备n开始参与挖矿的时间间隔，Ω是区块链吞吐量的下限。
C5保证每个设备的挖矿任务都是由一个小基站完成，即在挖矿的过程中不存在小基站的 切换，其中dn,m是设备n距小基站m的距离，vn是设备n的移动速度，ρn,m是设备n的移动方 向与设备到小基站的向量之间的夹角，ω是小基站的通信范围半径。
步骤3)：将步骤2)中的联合分配模型分解为两个子模型，分别为带宽分配子模型和算 力分配子模型。
分解得到带宽分配子模型：
P1:
Figure BDA0002440526110000111
s.t.P中C2约束.
分解得到算力分配子模型：
P2:
Figure BDA0002440526110000112
s.t.P中C1,C3,C4,C5约束.
步骤4)：设计深度强化学习和粒子群优化算法结合的方法求解步骤3)中的带宽分配和 算力分配子模型。
Step1：将P1进一步分解为多个子问题，每个小基站分别需要求解一个子问题，对于小基 站m其需要解决的子问题为：
P3
Figure BDA0002440526110000113
s.t.
Figure BDA0002440526110000114
其中，
Figure BDA0002440526110000115
由于P3是一个凸优化问题，可以容 易地进行求解，例如通过python中CVXPY库进行求解。通过对所有小基站子问题进行求解从 而解得P1并获得所有设备的带宽分配。
Step2：专用控制器收集系统状态Sk并输入到深度确定性策略梯度方法中的演员(actor) 网络来获得该状态所对应的动作Ak。其中，系统状态Sk包含了每个小基站的状态
Figure RE-GDA0002570188980000116
即
Figure RE-GDA0002570188980000117
M是小基站的数量。每个小基站的状态
Figure RE-GDA0002570188980000118
定义如下：
Figure BDA0002440526110000119
其中Tn＝(Dn,Yn,Gn,In)是设备n卸载的挖矿任务，Dn是挖矿任务的数据大小，Yn是完成设备n 的挖矿任务所需要的CPU周期数，Gn是设备n用于挖矿任务的预算，In是挖矿任务计算结果 的数据大小，dn,m是设备n到小基站m的距离，ρn,m是设备n的移动方向与设备n到小基站m 的向量之间的夹角，vn是设备n的移动速度，SNRn,m和SNRm,n分别是设备n上传挖矿任务和 下载挖矿任务结果时信道的信号噪声比，
Figure BDA0002440526110000121
和
Figure BDA0002440526110000122
分别是小基站m的总算力和总带宽，Nm是 将挖矿任务卸载到小基站m的移动设备的数量。
输出的动作Ak包含了每个小基站的算力分配决策am，即Ak＝{am|m＝1,...,M}。每个小基 站的算力分配决策am定义如下：
am＝{fn,m|n＝1,...,Nm,fn,m∈[fmin,fmax]}
其中，fn,m是小基站m为设备n分配的算力，fmin和fmax分别是小基站为设备分配的算力的下 界和上界。
Step3：产生0-1之间的随机数
Figure BDA0002440526110000124
如果
Figure BDA0002440526110000125
大于等于贪婪策略中的参数∈，则输出动作Ak； 否则如果随机探索中采用粒子群优化的概率ζ小于等于∈，则使用粒子群优化产生的改进动 作替换动作Ak；否则使用随机动作替换动作Ak。
Step4：执行动作Ak，获得奖励Rk以及系统下一状态Sk+1，并将四元组(Sk,Ak,Rk,Sk+1)保 存在深度确定性策略梯度算法中的经验回放缓存中。其中，奖励Rk定义如下：
Figure BDA0002440526110000123
其中，λ是一个常数参数。
Step5：定期地从经验回放缓存中选择小批次样本训练深度确定性策略梯度网络，并更新 其演员在线网络(actor online net)和评论家在线网络(critic online net)的参数。
Step6：定期地使用‘软’更新策略来更新演员目标网络(actor target net)和评论家 目标网络(critic target net)的参数。
Step7：在每次迭代中重复执行K次Step1-Step6，直到算法达到最大的迭代次数，输出 每个设备分配的算力和带宽资源。
通过以上步骤，实现了对本发明所提出的移动区块链中小基站的带宽和算力资源的联合 分配以最大化所有设备的长期挖矿效用。
图2为本发明设计的深度强化学习和粒子群优化算法结合的方法的收敛性，从图2中可 以看出本发明设计的方法能够以可接受的速度达到收敛，当训练次数达到6000次左右，算法 可以收敛。
图3为对于不同的设备数量，不同的解决方案所获得的所有设备的总效用。从图3中可 以明显看出，无论移动设备数量如何变化，本发明设计的方法都会产生比其他方法更大的设 备效用总和。
图4为对于不同的小基站总带宽，不同的解决方案所获得的所有设备的总效用。从图4 中可以看出，无论小基站的总带宽如何变化，本发明设计的方法都会产生比其他方法更大的 设备效用总和。
图5为对于不同的小基站总算力，不同的解决方案所获得的所有设备的总效用。从图5 中可以明显的看出，无论小基站的总算力如何变化，本发明设计的方法都会产生比其他方法 更大的设备效用总和。
图6为对于不同的在计算设备成功求解其挖矿任务概率时的算力重要性即α，不同的解 决方案所获得的所有设备的总效用。从图6中可以看出，无论算力重要性如何变化，本发明 设计的方法都会产生比其他方法更大的设备效用总和，并且当算力重要性变大时，所有方法 获得的设备总效用都在减少，为了最大化所有设备总效用，我们将算力重要性取值0.1，即 α＝0.1。
图7为对于不同的在本发明设计方法的随机探索中采用粒子群优化的概率即ζ，不同的 解决方案所获得的所有设备的总效用。从图7中可以明显的看出，当随机探索中采用粒子群 优化的概率小于0.12时，本发明设计的方法所获得的总效用随着概率的增加而增加。当随机 探索中采用粒子群优化的概率大于0.12时，本发明设计的方法所获得的总效用随着概率的增 加而减少。为了最大化所有设备的总效用，我们将本发明设计方法的随机探索中采用粒子群 优化的概率取值0.12，即ζ＝0.12。
以上的所述乃是本发明的具体实施以及所运用的技术原理，若依本发明的构想所作的改 变，其所产生的功能作用仍未超出说明书及附图所涵盖的精神时，仍应属本发明的保护范围。

Claims (1)

1.一种移动区块链中智能资源分配方法，其特征在于，步骤如下：
步骤1)：通过区块链和移动边缘计算技术建立用于在移动设备交易过程中保护其隐私和数据安全的移动区块链框架；该框架包含三个模块：移动区块链模块、任务卸载模块和决策制定模块；
1.1)移动区块链模块设计
移动区块链模块由移动设备组成；在移动区块链模块中，每个移动设备都配置区块链应用并且它们之间直接地进行交易不需要第三方机构参与；每个移动设备作为区块链中的矿工，随时地参与挖矿从而获得成功挖矿的奖励；
1.2)任务卸载模块设计
在挖矿过程中将挖矿任务即工作量证明卸载到其附近的小基站；小基站部署移动边缘计算服务器，并且每个小基站需要为向其请求服务的移动设备分配有限的算力和带宽；最后每个小基站需要立即将挖矿任务的计算结果返回给设备；
1.3)决策制定模块设计
决策制定模块中包含一个控制器；该控制器与各个小基站交互并且收集所有小基站以及其所连设备的信息，具体包括每个小基站的总算力、总带宽以及其连接的所有设备的挖矿任务信息；最后，控制器为每个小基站制定最佳的带宽和算力分配策略并立即将分配策略发送给各个小基站；
步骤2)：对系统中设备的效用进行建模，并建立小基站带宽以及算力资源联合分配模型；
2.1)抽象设备的效用
小基站的信道是有限状态的马尔可夫信道，并且当在决策时期k时，当设备n向小基站m上传挖矿任务时的信道信号噪声比为SNRn,m(k)；当设备n从小基站m下载挖矿任务结果时的信道信号噪声比为SNRm,n(k)；
设备n向小基站m上传挖矿任务的速率为：
Figure FDA0002440526100000021
其中，bn,m是小基站m为设备n分配的带宽；
设备n从小基站m下载挖矿任务结果的速率为：
Figure FDA0002440526100000022
其中，bn是设备n的带宽；
设备n向小基站m上传挖矿任务的时间为：
Figure FDA0002440526100000023
其中，Dn是设备n的挖矿任务的数据大小；
设备n从小基站m下载挖矿任务结果的时间为：
Figure FDA0002440526100000024
其中，In是设备n的挖矿任务结果的数据大小；
设备n的挖矿任务在小基站m上的处理时间为：
Figure FDA0002440526100000025
其中，Yn是完成设备n的挖矿任务所需要的CPU周期数，fn,m是小基站m为设备n分配的算力；
设备n的挖矿时间为：
Figure FDA0002440526100000026
设备n的挖矿成本为：
Figure FDA0002440526100000027
其中，∈是单位能量所对应的成本，En是设备n的发射功率，pn,m是设备n对小基站m上的移动边缘计算服务器的单位时间租赁成本；
设备n成功求解其挖矿任务，即PoW难题的概率为：
Figure FDA0002440526100000031
其中，α和β分别是设备分配的算力和带宽对其求解挖矿任务重要性，M是小基站的数量，Nm是将挖矿任务卸载到小基站m的移动设备的数量，fj,i(k)和bj,i(k)分别是在决策时期k时小基站i为设备j分配的算力和带宽；
假设区块链中成功挖矿服从均值为t0的泊松分布，则设备n挖出的块由于广播时间过长而成为孤儿块的概率为：
Figure FDA0002440526100000032
其中，Ni是将挖矿任务卸载到小基站i的设备数量，
Figure FDA0002440526100000033
是区块链中所有的设备数量，φ是与广播时间有关的常数参数，
Figure FDA0002440526100000034
是块的广播时间；
设备n成功挖矿的概率为：
Hn,m(k)＝δn,m(k)(1-θn,m)
设备n的挖矿奖励为：
Figure FDA0002440526100000035
其中，
Figure FDA0002440526100000036
是挖矿的固定奖励，ηDn是挖矿的可变奖励，η是可变奖励中的常数参数，Dn是设备n的挖矿任务的数据大小，也就是块的大小；
设备n挖矿的效用为：
Un,m(k)＝Rn,m(k)-Cn,m(k)
2.2)建立小基站带宽以及算力资源联合分配模型
为了最大化所有移动设备长期的挖矿效用，小基站带宽以及算力资源联合分配模型如下：
P:
Figure FDA0002440526100000041
s.t.C1:
Figure FDA0002440526100000042
C2:
Figure FDA0002440526100000043
C3:
Figure FDA0002440526100000044
C4:
Figure FDA0002440526100000045
C5:
Figure FDA0002440526100000046
其中，
Figure FDA0002440526100000047
是决策变量，即所有设备分配的带宽集合和算力集合；K是决策时期的最大数量；
C1保证每个小基站为设备分配的算力总和不超过其总算力，其中
Figure FDA0002440526100000048
是所有小基站集合，
Figure FDA0002440526100000049
是小基站m的总算力；
C2保证每个小基站为设备分配的带宽总和不超过其总带宽，其中
Figure FDA00024405261000000410
是小基站m的总带宽；
C3保证每个设备的挖矿成本不超过其挖矿预算，其中
Figure FDA00024405261000000411
是将挖矿任务卸载到小基站m的所有设备的集合，Gn是设备n用于挖矿的预算；
C4保证区块链的吞吐量不低于其下限，其中l是平均每个交易的数据大小，
Figure FDA00024405261000000412
是从上个成功挖出的块开始，设备n开始参与挖矿的时间间隔，Ω是区块链吞吐量的下限；
C5保证每个设备的挖矿任务都是由一个小基站完成，即在挖矿的过程中不存在小基站的切换，其中dn,m是设备n距小基站m的距离，vn是设备n的移动速度，ρn,m是设备n的移动方向与设备到小基站的向量之间的夹角，ω是小基站的通信范围半径；
步骤3)：将步骤2)中的联合分配模型分解为两个子模型，分别为带宽分配子模型和算力分配子模型；
分解得到带宽分配子模型：
P1:
Figure FDA0002440526100000051
s.t.P中C2约束.
分解得到算力分配子模型：
P2:
Figure FDA0002440526100000052
s.t.P中C1,C3,C4,C5约束.
步骤4)：设计深度强化学习与粒子群优化结合方法求解步骤3)中P1和P2子模型；
Step1:将P1进一步分解为多个子问题，每个小基站分别需要求解一个子问题，对于小基站m其需要解决的子问题为：
P3
Figure FDA0002440526100000053
Figure FDA0002440526100000054
其中，
Figure FDA0002440526100000055
通过对所有小基站子问题进行求解从而解得P1并获得所有设备的带宽分配；
Step2：控制器收集系统状态Sk并输入到深度确定性策略梯度方法中的演员网络来获得该状态所对应的动作Ak；其中，系统状态Sk包含每个小基站的状态
Figure FDA0002440526100000056
即
Figure FDA0002440526100000057
M是小基站的数量；每个小基站的状态
Figure FDA0002440526100000058
定义如下：
Figure FDA0002440526100000059
其中，Tn＝(Dn,Yn,Gn,In)是设备n卸载的挖矿任务，Dn是挖矿任务的数据大小，Yn是完成设备n的挖矿任务所需要的CPU周期数，Gn是设备n用于挖矿的预算，In是挖矿任务计算结果的数据大小，dn,m是设备n到小基站m的距离，ρn,m是设备n的移动方向与设备n到小基站m的向量之间的夹角，vn是设备n的移动速度，SNRn,m和SNRm,n分别是设备n上传挖矿任务和下载挖矿任务结果时信道的信号噪声比，
Figure FDA0002440526100000061
和
Figure FDA0002440526100000062
分别是小基站m的总算力和总带宽，Nm是将挖矿任务卸载到小基站m的移动设备的数量；
输出的动作Ak包含每个小基站的算力分配决策am，即Ak＝{am|m＝1,...,M}；每个小基站的算力分配决策am定义如下：
am＝{fn,m|n＝1,...,Nm,fn,m∈[fmin,fmax]}
其中，fn,m是小基站m为设备n分配的算力，fmin和fmax分别是小基站为设备分配的算力的下界和上界；
Step3：产生0-1之间的随机数θ，如果θ大于等于贪婪策略中的参数∈，则输出动作Ak；否则如果随机探索中采用粒子群优化的概率ζ小于等于∈，则使用粒子群优化产生的改进动作替换动作Ak；否则使用随机动作替换动作Ak；
Step4：执行动作Ak，获得奖励Rk以及系统下一状态Sk+1，并将四元组(Sk,Ak,Rk,Sk+1)保存在深度确定性策略梯度算法中的经验回放缓存中；其中，奖励Rk定义如下：
Figure FDA0002440526100000063
其中，λ是一个常数参数；
Step5：定期地从经验回放缓存中选择小批次样本训练深度确定性策略梯度网络，并更新其演员在线网络和评论家在线网络的参数；
Step6：定期地使用‘软’更新策略来更新演员目标网络和评论家目标网络的参数；
Step7：在每次迭代中重复执行K次Step1-Step6，直到算法达到最大的迭代次数，输出每个设备分配的算力和带宽资源。
CN202010263998.XA 2020-04-07 2020-04-07 一种移动区块链中智能资源分配方法 Pending CN111565420A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010263998.XA CN111565420A (zh) 2020-04-07 2020-04-07 一种移动区块链中智能资源分配方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010263998.XA CN111565420A (zh) 2020-04-07 2020-04-07 一种移动区块链中智能资源分配方法

Publications (1)

Publication Number Publication Date
CN111565420A true CN111565420A (zh) 2020-08-21

Family

ID=72074144

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010263998.XA Pending CN111565420A (zh) 2020-04-07 2020-04-07 一种移动区块链中智能资源分配方法

Country Status (1)

Country Link
CN (1) CN111565420A (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112261674A (zh) * 2020-09-30 2021-01-22 北京邮电大学 一种基于移动边缘计算及区块链协同赋能的物联网场景的性能优化方法
CN112422644A (zh) * 2020-11-02 2021-02-26 北京邮电大学 计算任务卸载方法及系统、电子设备和存储介质
CN112492652A (zh) * 2020-11-23 2021-03-12 中国联合网络通信集团有限公司 一种边缘设备算力服务调配的方法、装置及系统
CN112995950A (zh) * 2021-02-07 2021-06-18 华南理工大学 一种车联网中基于深度强化学习的资源联合分配方法
CN113609533A (zh) * 2021-08-23 2021-11-05 东北大学秦皇岛分校 一种面向智能电网数据的完整性审计方法
US11750530B2 (en) 2020-11-05 2023-09-05 Sony Group Corporation Network node, a wireless device, a resource allocation server and methods for resource allocation

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112261674A (zh) * 2020-09-30 2021-01-22 北京邮电大学 一种基于移动边缘计算及区块链协同赋能的物联网场景的性能优化方法
CN112422644A (zh) * 2020-11-02 2021-02-26 北京邮电大学 计算任务卸载方法及系统、电子设备和存储介质
CN112422644B (zh) * 2020-11-02 2021-08-31 北京邮电大学 计算任务卸载方法及系统、电子设备和存储介质
US11750530B2 (en) 2020-11-05 2023-09-05 Sony Group Corporation Network node, a wireless device, a resource allocation server and methods for resource allocation
CN112492652A (zh) * 2020-11-23 2021-03-12 中国联合网络通信集团有限公司 一种边缘设备算力服务调配的方法、装置及系统
CN112492652B (zh) * 2020-11-23 2023-07-28 中国联合网络通信集团有限公司 一种边缘设备算力服务调配的方法、装置及系统
CN112995950A (zh) * 2021-02-07 2021-06-18 华南理工大学 一种车联网中基于深度强化学习的资源联合分配方法
CN112995950B (zh) * 2021-02-07 2022-03-29 华南理工大学 一种车联网中基于深度强化学习的资源联合分配方法
CN113609533A (zh) * 2021-08-23 2021-11-05 东北大学秦皇岛分校 一种面向智能电网数据的完整性审计方法
CN113609533B (zh) * 2021-08-23 2024-02-27 东北大学秦皇岛分校 一种面向智能电网数据的完整性审计方法

Similar Documents

Publication Publication Date Title
CN111565420A (zh) 一种移动区块链中智能资源分配方法
CN112351503B (zh) 基于任务预测的多无人机辅助边缘计算资源分配方法
She et al. Deep learning for ultra-reliable and low-latency communications in 6G networks
Seid et al. Collaborative computation offloading and resource allocation in multi-UAV-assisted IoT networks: A deep reinforcement learning approach
Feng et al. Collaborative data caching and computation offloading for multi-service mobile edge computing
Zhao et al. A mobility-aware cross-edge computation offloading framework for partitionable applications
CN111445111B (zh) 一种基于边缘协同的电力物联网任务分配方法
Zhang et al. Joint parallel offloading and load balancing for cooperative-MEC systems with delay constraints
Almutairi et al. Delay-optimal task offloading for UAV-enabled edge-cloud computing systems
CN113905347B (zh) 一种空地一体化电力物联网云边端协同方法
CN111629380A (zh) 面向高并发多业务工业5g网络的动态资源分配方法
Zheng et al. MEC-enabled wireless VR video service: A learning-based mixed strategy for energy-latency tradeoff
CN114650228B (zh) 一种异构网络中基于计算卸载的联邦学习调度方法
Zhang et al. Theoretical analysis on edge computation offloading policies for IoT devices
CN113573363B (zh) 基于深度强化学习的mec计算卸载与资源分配方法
Lakew et al. Adaptive partial offloading and resource harmonization in wireless edge computing-assisted IoE networks
CN117614520B (zh) 基于无人机-卫星协作的去蜂窝大规模mimo资源优化方法
Albaseer et al. Semi-supervised federated learning over heterogeneous wireless iot edge networks: Framework and algorithms
Yan et al. A task offloading algorithm with cloud edge jointly load balance optimization based on deep reinforcement learning for unmanned surface vehicles
Liu et al. Joint stochastic computational resource and UAV trajectory for wireless-powered space-air-ground IoRT networks
Zhou et al. Blockchain-based trustworthy service caching and task offloading for intelligent edge computing
Zhang et al. Graph-based traffic forecasting via communication-efficient federated learning
Wang et al. Optimal energy efficiency for multi-mec and blockchain empowered iot: a deep learning approach
Qin et al. Deep reinforcement learning-based energy minimization task offloading and resource allocation for air ground integrated heterogeneous networks
Wang et al. A resource allocation strategy for edge services based on intelligent prediction

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20200821

RJ01 Rejection of invention patent application after publication