CN112804103A - 区块链赋能物联网中联合资源分配与控制的智能计算迁移方法 - Google Patents

Abstract

本发明公开了一种区块链赋能物联网中联合资源分配与控制的智能计算迁移方法，通过对时延、能耗和挖掘成本的综合考量，构建了一个最小化所有任务完成总成本的优化问题。在总成本构成中，基于区块链技术的挖掘成本考量可充分调动终端和雾节点参与计算迁移的能动性，且所设计的奖励分配规则可保证成功挖掘资源终端收获奖励的公平性。为解决上述混合整数非线性规划问题，提出了一种联合通信、计算与控制的智能计算迁移算法，该算法融合深度确定性策略梯度算法思想，设计了基于反梯度更新的双“行动者‑评论家”神经网络结构，使训练过程更加稳定并易于收敛；同时，通过对连读动作输出进行概率离散化运算，使其更加适用于混合整数非线性规划问题的求解。

Description

区块链赋能物联网中联合资源分配与控制的智能计算迁移 方法

技术领域

本发明涉及无线通信网络以及无线传感器网络技术领域的雾计算方法，具体涉及一种区块链赋能物联网中联合资源分配与控制的智能计算迁移方法。

背景技术

作为智能物联网(Artificial Intelligence Internet of Things，AIoT)的三大典型应用：工业物联网(Industrial Internet of Things,IIoT)、智慧医疗和自动驾驶，因其对任务处理时延的苛刻要求所面临的挑战成为学者们关注的焦点。传统的云计算模式体系由于离用户距离较远，无法满足用户对时延以及能耗的苛刻要求，该类问题的存在，催生了雾/边缘计算模式。雾计算作为一种新的计算模式，将计算、存储资源下沉到靠近终端设备的网络边缘，可减少端到端的业务服务时延，缓解核心网流量压力和降低通信开销，即可通过借助近距离的边缘节点资源有效提升用户的服务体验。当前，针对雾/边缘计算的研究已引起学术及工业界的深度关注，特别地，针对雾/边缘计算场景下的计算迁移问题成为研究焦点。

将计算任务迁移至离终端较近的雾节点处理能更好地满足延迟或能耗敏感型任务的需求，提升用户的体验。目前，关于计算迁移的研究大致可分为以下三类：

第一类主要利用传统的数学规划方法优化计算迁移中的资源分配和迁移决策。此类方案取得了良好的性能提升效果，为传统数学规划方法求解该类问题奠定了坚实的基础，但该类求解方法存在一个共同的缺点，即采用传统梯度优化方法具有收敛速度慢的特点，在处理大规模数据时算法耗时长，难以适应大数据网络数据处理时效性需求。同时，这些方法均建立在理想的网络环境下，即需提前获知网络状态参数，而这在实际情况中是比较困难的。

第二类研究方案主要基于深度学习方法求解计算迁移问题。此类方案均采用单一的深度学习算法来求解最优的迁移策略，能较好地适应动态的网络环境，并克服第一类研究方案的缺陷，但深度神经网络需要大量的样本数据对其进行训练，而样本数据的生成需要人工获得，且其规模和质量直接影响到深度学习的性能。

第三类研究方案将深度学习的特征感知能力与强化学习的决策能力相融合，使其能够有效解决复杂网络系统中感知与决策问题。此类计算迁移方案在资源优化和成本节约等方面取得了优越的效果，较适应复杂动态的大数据网络环境，尤其将区块链技术结合到计算迁移中，可有效提升系统的安全性。

然而，上述三类研究方案大部分建立在理想的环境基础之上，即雾节点自愿向终端免费提供资源，雾节点和终端参与整个迁移过程的积极性偏弱。尽管存在少数研究方案将基于区块链的激励机制融入到智能计算迁移中，提升了终端和雾节点参与计算迁移的积极性，使其更加贴近实际网络场景，但是该类方案对完成任务计算的网络资源优化考量较为单一，缺乏通信、计算与控制的协同综合考量。也正因如此，如何在现有技术的基础上提出一种全新的雾计算迁移方法，尽可能地克服现有技术中所存在的诸多缺陷，也就成为了本领域内技术人员共同的研究目标。

发明内容

发明目的：针对现有技术存在的上述缺陷，本发明的目的是提出一种区块链赋能物联网中联合资源分配与控制的智能计算迁移方法，能够最小化所有任务完成总成本，满足雾计算场景中计算密集型任务对时延与能耗的要求，同时提高了终端和雾节点参与计算迁移的积极性，使其更加贴合实际网络场景。

技术方案：本发明所述的一种区块链赋能物联网中联合资源分配与控制的智能计算迁移方法：

(1)设计分层的感知雾计算架构，自下而上分别是物联网设备层和雾层。

(2)物联网设备层中的终端完成对本地计算任务的处理，对于迁移出去的任务，终端以矿工的身份至雾节点挖掘计算资源以完成迁移的任务，同时支付给雾节点相应的租赁费用。

(3)雾层接收物联网设备层的资源挖掘请求，雾节点根据智能合约中的规定，在保证接入终端身份合法的情况下，做出智能迁移决策，联合优化计算资源和通信资源的分配，当矿工利用挖掘(租借)到的算力完成任务时，将交易过程记入任务区块，并广播到整个区块链网络与其他矿工达成共识，最后添加到区块链中，并因其为整个网络性能提升所做的贡献得到一定的奖励。

上述物理设备层由多个终端构成，每个终端完成本地任务的计算处理和向雾节点发送资源挖掘请求，以矿工身份至雾节点挖掘(租赁)资源，将任务迁移到雾节点处理。雾层有一个雾节点，在满足智能合约的前提下，雾节点联合优化计算资源和通信资源的分配，将最优迁移决策信息回传给矿工并存入区块中。

进一步的，步骤(2)具体包括如下内容：

物联网设备层有N个智能终端，智能终端i∈{1,2,3,...,N}；

定义每个智能终端i向雾节点发送请求信息(l_i,d_i,T_i ^max,

)；

其中l_i表示终端i的任务大小，d_i为完成该任务所需要的CPU周期数，T_i ^max和

分别表示完成该任务的最大容忍延迟和容忍能耗；x_i表示智能迁移决策，当x_i＝0时，表示任务在本地终端i处理，当x_i＝1时，表示任务迁移至雾节点处理；

智能终端i的任务在本地处理时间和能耗成本分别表示为：

其中，k^local为本地终端的能耗系数；

因此，处理该任务所需的总成本即时间与能耗的加权和为：

其中，

为时间成本的单位价格，

为能耗成本的单位价格。

进一步的，步骤(3)具体包括如下内容：

(31)当x_i＝1时，智能终端i的任务被迁移至雾节点处理，此时的总成本由三部分组成，即时间成本、能耗成本以及挖掘成本；

任务的完成时间由两部分组成，即传输时间和在雾节点的计算时间；由于挖掘请求和计算结果的数据大小相对于任务的数据大小来说小很多，因此挖掘请求时间和计算结果返回时间可忽略不计。同时，本发明考虑计算结果的验证可在极短的时间内完成并达成共识，所以共识验证时间不纳入总时间成本，任务的完成时间为：

其中，f_i ^fog为分配到终端i任务的计算资源，ψ_i表示终端i与雾节点之间的传输速度，即：

其中，b_i是分配给终端i的带宽，p_i表示终端i上传数据的传输功率，h_i表示终端i在无线信道中的信道增益，N₀表示信道噪声功率；

相应地，完成该任务的能耗表示为：

其中，k^fog表示雾节点的计算能耗系数；

由于使用雾计算资源需要付租赁费用，所以首先在区块链网络中，定义终端i以矿工身份到雾节点挖掘资源，租借到的相应算力占比

为：

矿工利用所得算力执行任务，首先完成任务的矿工将其打包的区块广播到整个区块链网路中，与其他矿工达成共识者会获得奖励R，若未达成共识成为孤立块从而被遗弃，即任务区块无法添加到区块链中，那么矿工也就无法得到奖励，其发生的概率为：

其中μ为常数，表示区块成功添加到当前区块链的概率遵循泊松过程，g(v_i)是关于区块大小v_i的函数，表示区块形成之后广播到区块链中所需的时间，记为δ*v_i，其中δ为常数，表示延迟系数；因此成功挖掘并加入到区块链中的概率即为(1-P_i)；矿工完成整个挖掘过程获得奖励，该奖励可用于支持后续租借雾节点计算资源的租赁费用；

若智能终端i成功完成挖矿并得到奖励，其奖励按照算力占比来分配，具体定义为

则完成此任务的总挖掘成本为：

其中，c为雾节点向终端i收取的单位CPU周期价格，此处，

因此完成该迁移任务的总成本表示为：

(32)针对物联网设备层所有终端任务完成总成本最小化问题，通过联合智能迁移决策x_i、信道带宽分配b_i以及雾节点计算资源分配f_i ^fog来实现，构建如下优化问题P1：

约束条件如下，

(1-x_i)T_i ^local+x_iT_i ^fog≤T_i ^max,(a)

x_i∈{0,1}。(e)

其中，优化问题P1表示最小化所有终端任务的完成总成本；

约束(a)表示终端i任务完成的时间不超过其最大容忍延迟时间T_i ^max；

约束(b)表示终端i任务完成的能耗不得超过最大容忍能耗

约束(c)表示通信资源分配的约束，即分配给所有需要迁移任务的带宽之和不能超过信道的总带宽B；

约束(d)表示计算资源分配的约束，即分配给所有迁移任务的计算资源之和不得超过雾节点的总计算资源F；

约束(e)表示迁移决策的取值为0或1，即任务在本地处理或迁移到雾节点处理。

(33)采用3CC-SCO算法求解所述优化问题P1，具体包括如下步骤：

首先定义3CC-SCO算法的要素，状态空间S＝{s₀,s₁,...,s_t,s_t+1,...,s_T}：s_t表示时隙t的状态，s_t+1表示下一状态，假设共有T个时隙；将所有终端任务大小集合l(t)、完成任务所需要的CPU周期数集合d(t)及时间成本的权重系数集合λ(t)作为输入状态，即s(t)＝(l(t),d(t),λ(t))，其中，

l(t)＝{l₁(t),l₂(t),...,l_N(t)},

d(t)＝{d₁(t),d₂(t),...,d_N(t)},

λ(t)＝{λ₁(t),λ₂(t),...,λ_N(t)}。

动作空间A＝{a₀,a₁,...,a_t,a_t+1,...,a_T}：a_t表示在时隙t所采取的动作，a_t+1表示下一状态动作；

其中离散动作

x(t)表示终端任务的迁移决策集，连续动作

b(t)表示任务被分配到的信道带宽集合，f^fog(t)表示任务被分配到的雾节点计算资源集合；

x(t)＝{x₁(t),x₂(t),...,x_N(t)},

b(t)＝{b₁(t),b₂(t),...,b_N(t)},

奖励

在时隙t执行动作a_t得到的即时奖励为r_t，将即时奖励函数定义为目标函数取负值，即：

其中，C(t)表示在时隙t所有终端任务完成的总成本，κ是一个常数，κ＜0，表示在不满足约束条件(a)-(d)时，具体环境给出的奖励值；

3CC-SCO算法的具体架构由Actor当前网络，Actor目标网络，Critic当前网络和Critic目标网络四个网络组成；Actor网络输出动作策略，而Critic网络输出动作-状态值函数评估动作的好坏；

在时隙t，雾节点收集来自所有终端用户的状态信息s_t，基于该状态，Actor当前网络给出相应的迁移策略π_θ(s_t)；定义一个概率η表示当前行动者网络的连续迁移决策输出，并对该连续动作输出执行概率离散化运算；据此，通过如下概率离散运算得到离散动作

在原动作基础上加OU噪声

即最终资源分配策略表示为

其中

是噪声的退火因子，其值随着迭代步数逐渐减小；

雾节点作为智能体执行动作a_t并与环境交互转移到下一状态s_t+1以及获得奖励r_t，将(s_t,a_t,s_t+1,r_t)存入经验回放池；从经验回放池中随机采样M个样本，然后Actor目标网络将根据下一状态s_t+1预测相应的下一动作a_t+1,这里的Actor目标网络和当前网络结构完全相同，且其网络参数θ′定期从Actor当前网络参数θ复制；

Critic目标网络计算第j＝{1,2,...,M}个样本的价值函数Q'(s_j,a_j,ω')，则目标Q值为：

y_j＝r_j+γQ'(s_j+1,a_j+1,ω'),

其中，γ为折扣系数，由于Critic的两个网络结构完全相同，则Critic目标网络的网络参数ω′定期复制Critic当前网络的ω；Critic当前网络负责计算当前动作的价值函数Q(s_j,a_j,ω)，定义均方差损失函数如下：

通过梯度下降法最小化Loss(ω)更新神经网络的网络参数ω，更新定义如下：

其中α为ω的学习率；

Actor当前网络根据Critic当前网络对其给出策略的反馈，计算策略梯度，并更新其网络参数θ，使其得到更大的反馈Q值，策略梯度定义为：

对原梯度进行转换：

当动作值接近其取值范围的边界值时，梯度减小；当动作值超过动作范围时，则梯度为原来的反梯度，具体转换定义如下：

其中，

表示Critic对动作a_t的梯度，a_max和a_min分别为动作的上界和下界；

将上式中的J(θ)看作Actor的损失，具体定义如下：

可知，得到的反馈Q值越大，损失越小；利用梯度下降法更新参数：

其中，β为θ的学习率；

最后分别对Actor和Critic目标网络的网络参数进行更新：

θ'←σθ+(1-σ)θ',

ω'←σω+(1-σ)ω',

其中，σ是参数的更新速度；

通过不断地学习，最终训练到雾节点获得最优迁移策略。

有益效果：

与现有技术相比，本发明具有如下显著优点：

1、本发明能够求解出任务的完成总成本最小的资源分配情况，满足那些计算密集型用户对低延迟的要求，提高了用户体验质量。2、本发明设计了一种感知雾计算架构，避免了感知节点与云端服务器之间的长距离通信，有效降低了通信能耗；并且本发明中所提出的区块链赋能的物联网场景下智能计算迁移的完成总成本最小化问题，满足了计算密集型任务对低延迟要求，显著地提升了响应速度。3、本发明设计了一种激励机制，即，为完成任务迁移，终端以矿工的身份向雾节点挖掘(租借)计算资源，雾节点根据其所需资源收取一定费用，成功得到资源的终端因高效完成任务，系统按照其所得算力占比来分配奖励，保证了对挖掘成功的矿工收获奖励的公平性。此机制使得雾节点和终端在迁移过程中都能得到收益，促进了二者的合作，同时基于区块链的激励机制保障了交易过程的安全性。4、本发明提出了一个联合通信、计算与控制的智能计算迁移(3CC-SCO)算法，该算法融合深度确定性策略梯度算法思想，设计了基于反梯度更新的双“行动者-评论家”神经网络结构，使其训练过程更加稳定并易于收敛。同时，通过对连续迁移决策输出进行概率离散化处理，使其更加适应于混合整数非线性规划问题的求解。5、本发明也为同领域内的其他相关问题提供了参考，可以以此为依据进行拓展延伸，运用于与雾计算迁移方法有关的其他技术方案中，具有十分广阔的应用前景。

附图说明

图1为本发明所涉及的区块链赋能的雾计算迁移模型示意图；

图2为本发明的方法与其他传统方法在不同的任务数量下需要的总成本的比较图；

图3为本发明的方法与其他传统方法在不同雾节点计算能力的情况下需要的总成本比较图；

图4为本发明的方法与其他传统方法在不同任务数量下所需的挖掘成本比较图。

具体实施方式

以下便结合实施例及附图，对本发明的技术方案作进一步的详述，以使本发明技术方案更易于理解、掌握。

本发明公开了一种区块链赋能物联网中联合资源分配与控制的智能计算迁移方法，包括如下步骤：

S1、设计分层的感知雾计算架构，自下而上分别是物联网设备层和雾层。

物联网设备层有4个智能终端。

如图1所示，所述物理设备层由多个终端构成，每个终端完成本地任务的计算处理和向雾节点发送资源挖掘请求，以矿工身份至雾节点挖掘(租赁)资源，将任务迁移到雾节点处理。

雾层有一个雾节点，在满足智能合约的前提下，雾节点联合优化计算资源和通信资源的分配，将最优迁移决策信息回传给矿工并存入区块中。

具体而言，雾节点主要包括以下两种作用：

1)当雾节点接收到来自物联网设备层的资源挖掘(租借)请求时，雾节点根据智能合约中的规定，在保证接入终端身份合法的情况下，做出智能迁移决策。雾节点通过优化计算资源和通信资源的分配，使得任务完成的总成本最低。

2)当矿工利用挖掘(租借)到的算力完成任务时，将交易过程记入任务区块，并广播到整个区块链网络与其他矿工达成共识，最后添加到区块链中，并因其为整个网络性能提升所做的贡献得到一定的奖励。

S2、物联网设备层中的终端完成对本地计算任务的处理，对于迁移出去的任务，终端以矿工的身份至雾节点挖掘计算资源以完成迁移的任务，同时支付给雾节点相应的租赁费用。

S2具体包括如下步骤：

定义每个终端向雾节点发送请求信息(l_i,d_i,T_i ^max,

)。其中l_i表示终端i的任务大小(bits)，d_i为完成该任务所需要的CPU周期数，T_i ^max和

分别表示完成该任务的最大容忍延迟和容忍能耗。在实施历程中终端i任务的大小l_i在100Kb到500Kb之间随机生成，每个任务的最大容忍能耗

设置为0.002J，最大容忍延迟T_i ^max设置为0.2s。

x_i表示雾节点的智能决策，当x_i＝0时，表示任务在本地终端i处理，当x_i＝1时，表示任务迁移至雾节点处理。

终端i的任务在本地处理时间和能耗成本分别表示为：

其中，k^local为本地终端的能耗系数，在本实施例中k^local为10^-29,本地终端计算能力f_i ^local的取值在10到80Mcycles/s之间随机生成。

因此，处理该任务所需的总成本即时间与能耗的加权和为：

其中，

为时间成本的单位价格(tokens/s)，

为能耗成本的单位价格(tokens/J)。

S3、雾层接收物联网设备层的资源挖掘请求，雾节点根据智能合约中的规定，在保证接入终端身份合法的情况下，做出智能迁移决策，联合优化计算资源和通信资源的分配，当矿工利用挖掘(租借)到的算力完成任务时，将交易过程记入任务区块，并广播到整个区块链网络与其他矿工达成共识，最后添加到区块链中，并因其为整个网络性能提升所做的贡献得到一定的奖励。

当x_i＝1时，终端i的任务被迁移至雾节点处理，此时的总成本将会由三部分组成，即，时间成本、能耗成本以及挖掘成本。

任务的完成时间由两部分组成，即传输时间和在雾节点的计算时间。由于挖掘请求和计算结果的数据大小相对于任务的数据大小来说小很多，因此挖掘请求时间和计算结果返回时间可忽略不计。同时，本发明考虑计算结果的验证可在极短的时间内完成并达成共识，所以共识验证时间不纳入总时间成本，任务的完成时间为：

其中，f_i ^fog(cycles/s)为分配到终端i任务的计算资源，ψ_i表示终端i与雾节点之间的传输速度，即：

其中，b_i是分配给终端i的带宽，p_i表示终端i上传数据的传输功率，在本实施例中p_i为0.1W，h_i表示终端i在无线信道中的信道增益，N₀表示信道噪声功率。

相应地，完成该任务的能耗可表示为：

其中，k^fog表示雾节点的计算能耗系数,在本实施例中k^fog为10^-26。

由于使用雾计算资源需要付租赁费用，所以首先在区块链网络中，定义终端i以矿工身份到雾节点挖掘资源，租借到的相应算力占比

为：

矿工利用所得算力执行任务，首先完成任务的矿工将其打包的区块广播到整个区块链网路中，与其他矿工达成共识者会获得一定奖励R，在本示例中R在1到3tokens之间随机生成，若未达成共识成为孤立块从而被遗弃，即任务区块无法添加到区块链中，那么矿工也就无法得到奖励，其发生的概率为：

其中μ为常数，表示区块成功添加到当前区块链的概率遵循泊松过程，在本示例中μ＝0.5，g(v_i)是关于区块大小v_i的函数，表示区块形成之后广播到区块链中所需的时间，可记为δ*ν_i，其中δ为常数，表示延迟系数，在本示例中δ＝0.005。因此成功挖掘并加入到区块链中的概率即为(1-P_i)。矿工完成整个挖掘过程获得奖励，该奖励可用于支持后续租借雾节点计算资源的租赁费用。

若终端i成功完成挖矿并得到奖励，为保证每个成功挖矿的矿工得到奖励的公平性，其奖励按照算力占比来分配，具体定义为

则完成此任务的总挖掘成本为：

其中，c为雾节点向终端i收取的单位CPU周期价格，本实施例中c设置为5tokens/Gcycle。此处，

因此完成该迁移任务的总成本可以表示为：

针对物联网设备层所有任务完成总成本最小化问题，通过联合迁移决策x_i、信道带宽分配b_i以及雾节点计算资源分配f_i ^fog来实现，该优化问题P1具体构建如下：

约束条件如下，

x_i∈{0,1}。(e)

其中，优化问题P1表示最小化所有终端任务的完成总成本。

约束(a)表示终端i任务完成的时间不超过其最大容忍延迟时间T_i ^max。

约束(b)表示终端i任务完成的能耗不得超过最大容忍能耗

约束(c)表示通信资源分配的约束，即，分配给所有需要迁移任务的带宽之和不能超过信道的总带宽B，本实施例中信道总带宽B设置为10Mb/s。

约束(d)表示计算资源分配的约束，即，分配给所有迁移任务的计算资源之和不得超过雾节点的总计算资源F，本实施例中雾节点的计算能力F设置为5Gcycles/s。

约束(e)表示迁移决策的取值为0或1，即，任务在本地处理或迁移到雾节点处理。

进一步对该优化问题进行求解，采用基于深度强化学习理论解决上述混合整数非线性规划问题，即融合DDPG算法思想，提出了3CC-SCO算法。

首先定义3CC-SCO算法的要素，状态空间S＝{s₀,s₁,...,s_t,s_t+1,...,s_T}：s_t表示时隙t的状态，s_t+1表示下一状态，假设共有T个时隙。将所有终端任务大小集合l(t)、完成任务所需要的CPU周期数集合d(t)及时间成本的权重系数集合λ(t)作为输入状态，即s(t)＝(l(t),d(t),λ(t))，其中，

l(t)＝{l₁(t),l₂(t),...,l_N(t)},

d(t)＝{d₁(t),d₂(t),...,d_N(t)},

λ(t)＝{λ₁(t),λ₂(t),...,λ_N(t)}。

动作空间A＝{a₀,a₁,...,a_t,a_t+1,...,a_T}：a_t表示在时隙t所采取的动作，a_t+1表示下一状态动作。

其中离散动作

x(t)表示终端任务的迁移决策集，连续动作

b(t)表示任务被分配到的信道带宽集合，f^fog(t)表示任务被分配到的雾节点计算资源集合。

x(t)＝{x₁(t),x₂(t),...,x_N(t)},

b(t)＝{b₁(t),b₂(t),...,b_N(t)},

奖励

在时隙t执行动作a_t得到的即时奖励为r_t，一般情况下，可以将目标函数作为即时奖励函数，但是，智能体的目标是最大化奖励，而本发明优化目标是最小化所有终端任务完成的总成本，因此，本发明将即时奖励函数定义为目标函数取负值，即：

其中C(t)表示在时隙t所有终端任务完成的总成本，κ(κ＜0)是一个常数，表示在不满足(a)-(d)的约束条件时，具体环境给出的奖励值，在本实例中设置为-3。

3CC-SCO算法的具体架构是Actor当前网络，Actor目标网络，Critic当前网络和Critic目标网络四个网络组成。Actor网络输出的是动作策略，而Critic网络输出动作-状态值函数评估动作的好坏。

在时隙t，雾节点收集来自所有终端用户的状态信息s_t，基于该状态，Actor当前网络给出相应的迁移策略π_θ(s_t),本发明定义一个概率η表示当前行动者网络的连续迁移决策输出，并对该连续动作输出执行概率离散化运算。据此，可通过如下概率离散运算得到离散动作

为了增加连续动作搜索的随机性，在原动作基础上加OU噪声

即，最终资源分配策略表示为

其中

是噪声的退火因子，其值会随着迭代步数逐渐减小，这是为了保证神经网络训练的收敛性能，即随着网络训练的越来越好，减小噪声的扰动，保证网络的稳定性。

雾节点作为智能体执行动作a_t并与环境交互转移到下一状态s_t+1以及获得奖励r_t，将(s_t,a_t,s_t+1,r_t)存入经验回放池。从经验回放池中随机采样M个样本，在本实施例中M＝32然后Actor目标网络将根据下一状态s_t+1预测相应的下一动作a_t+1,这里的Actor目标网络和当前网络结构完全相同，且其网络参数θ′定期从Actor当前网络参数θ复制。

Critic目标网络计算第j＝{1,2,...,32}个样本的价值函数Q'(s_j,a_j,ω')，则目标Q值为：

y_j＝r_j+γQ'(s_j+1,a_j+1,ω'),

其中γ为折扣系数，在本实施例中γ＝0.99，由于Critic的两个网络结构也完全相同，则Critic目标网络的网络参数ω'也会定期复制Critic当前网络的ω。Critic当前网络主要负责计算当前动作的价值函数Q(s_j,a_j,ω)，定义均方差损失函数如下：

通过梯度下降法最小化Loss(ω)来更新神经网络的网络参数ω，更新定义如下：

其中α为ω的学习率。

Actor当前网络根据Critic当前网络对其给出策略的反馈，计算策略梯度，并更新其网络参数θ，使其得到更大的反馈Q值，策略梯度定义为：

如果Critic反馈的梯度

不断鼓励Actor增大其输出的动作值，那么该动作值将逐渐趋向甚至超出其边界值。为防止此类情况发生，本算法需要对原梯度进行转换。当动作值接近其取值范围的边界值时，梯度减小；当动作值超过动作范围时，则梯度为原来的反梯度，具体转换定义如下：

其中

表示Critic对动作a_t的梯度，a_max和a_min分别为动作的上界和下界。

为了更好地理解，可将上式中的J(θ)看作Actor的损失，具体定义如下：

由此可以看出，得到的反馈Q值越大，损失越小。利用梯度下降法更新参数θ，如下所示：

其中β为θ的学习率。

最后分别对Actor和Critic目标网络的网络参数进行更新，本算法采取“软更新”的方式，即：

θ'←σθ+(1-σ)θ',

ω'←σω+(1-σ)ω',

其中σ是参数的更新速度，一般取非常小的值，表示网络参数缓慢地更新，可使训练过程更加稳定，“软更新”便体现在这里。在本实例中σ＝0.001通过不断地学习，最终训练到合适的参数，雾节点能获得最优迁移策略。

最后，本发明方法的具体实施验证了本发明在最小化所有任务完成总成本方面的优势，即能更好的满足雾计算场景中计算密集型任务对时延与能耗的要求。区块链赋能物联网场景中联合资源分配与控制的智能计算迁移方法在实际中的应用，如图2所示，四种方案的成本均随着任务数量的增多而上升，其中本发明所提方案的总成本最低，“Full-offloading”的总成本最高。在任务数量很少时(例如N≤2)，除了“Full-offloading”，其它三种方案的总成本基本一致，因为任务都在本地处理的总成本最低，但随着任务数量增多，将部分任务迁移到雾节点处理会使总成本降低。虽然任务迁移可以降低系统总成本，但持续的迁移也会导致通信成本、挖掘费用的持续上升。因此我们提出的方法通过联合优化计算与通信资源及迁移决策，使得总成本最低，而“DQN”虽然优化了迁移决策却没有考量计算与通信资源优化分配问题，其成本要高于我们提出的方案。

此外，如图3所示，除了“Full-local”之外，其他三种方案的总成本均随着雾节点计算能力的增大逐渐降低，这是因为分配给任务的计算资源越来越多，其时间成本会减小。同时，很明显我们提出的方案的总成本比其他方案都要低，因为该方案对雾节点计算资源进行了优化分配，使其总成本最低。再者，从图中曲线走势可以看出，随着雾节点计算能力的增大，总成本降低幅度逐渐趋于平缓，这是因为雾节点计算能力增大所带来的计算时间降低会逐渐被增加的通信开销和挖掘成本所抵消，导致总成本降低越趋于平缓。此外，雾节点计算能力的变化并不会对“Full-local”的总成本产生影响，因为该方案的总成本只与终端的计算能力有关。

不仅如此，如图4所示，任务数量的变化会引起雾节点计算资源分配产生变化，而矿工得到的算力占比也会随之改变，从而对挖掘成本产生影响。当任务数量较少时，任务全部在本地处理，因此无需支付挖掘费用。随着任务数量增多，需要迁移的任务也会增多，挖掘成本就会增加，尤其是将任务全部迁移到雾节点处理，挖掘成本最高。同时，迁移任务数量增多也会使每个任务分得的奖励减少，因此总成本会增加的越来越快。我们所提方案通过优化计算资源的分配，使矿工所得算力也得到优化，同时还有对通信资源和决策的优化控制，使其在三种方案中挖掘成本最低，验证了该方案在节约挖掘成本方面的优越性。

Claims (5)

1.一种区块链赋能物联网中联合资源分配与控制的智能计算迁移方法，其特征在于，包括如下步骤：

(1)设计分层的感知雾计算架构，自下而上分别是物联网设备层和雾层；

(2)物联网设备层中的智能终端负责完成对本地计算任务的处理，对于迁移出去的任务，智能终端以矿工的身份至雾节点挖掘计算资源以完成迁移的任务，同时支付给雾节点相应的租赁费用；

(3)雾层接收物联网设备层的资源挖掘请求，雾层的雾节点根据智能合约中的规定，在保证接入终端身份合法的情况下，做出智能迁移决策，联合优化计算资源和通信资源的分配，当矿工利用挖掘到的算力完成任务时，将交易过程记入任务区块，并广播到整个区块链网络与其他矿工达成共识，最后添加到区块链中，并因其为整个网络性能的提升所做的贡献得到奖励。

2.根据权利要求1所述的一种区块链赋能物联网中联合资源分配与控制的智能计算迁移方法，其特征在于，步骤(2)具体包括如下内容：

物联网设备层有N个智能终端，智能终端i∈{1,2,3,...,N}；

定义每个智能终端i向雾节点发送请求信息

其中l_i表示终端i的任务大小，d_i为完成该任务所需要的CPU周期数，T_i ^max和

分别表示完成该任务的最大容忍延迟和容忍能耗；x_i表示智能迁移决策，当x_i＝0时，表示任务在本地终端i处理，当x_i＝1时，表示任务迁移至雾节点处理；

智能终端i的任务在本地处理时间和能耗成本分别表示为：

其中，k^local为本地终端的能耗系数；

因此，处理该任务所需的总成本即时间与能耗的加权和为：

其中，

为时间成本的单位价格，

为能耗成本的单位价格。

3.根据权利要求2所述的一种区块链赋能物联网场景中联合资源分配与控制的智能计算迁移方法，其特征在于，步骤(3)具体包括如下内容：

(31)当x_i＝1时，智能终端i的任务被迁移至雾节点处理，此时的总成本由三部分组成，即时间成本、能耗成本以及挖掘成本；

任务的完成时间由两部分组成，即传输时间和在雾节点的计算时间；

定义任务的完成时间为：

其中，f_i ^fog为分配到终端i任务的计算资源，ψ_i表示终端i与雾节点之间的传输速度，即：

其中，b_i是分配给终端i的带宽，p_i表示终端i上传数据的传输功率，h_i表示终端i在无线信道中的信道增益，N₀表示信道噪声功率；

相应地，完成该任务的能耗表示为：

其中，k^fog表示雾节点的计算能耗系数；

由于使用雾计算资源需要付租赁费用，所以首先在区块链网络中，定义终端i以矿工身份到雾节点挖掘资源，租借到的相应算力占比

为：

矿工利用所得算力执行任务，首先完成任务的矿工将其打包的区块广播到整个区块链网路中，与其他矿工达成共识者会获得奖励R，若未达成共识成为孤立块从而被遗弃，即任务区块无法添加到区块链中，那么矿工也就无法得到奖励，其发生的概率为：

其中μ为常数，表示区块成功添加到当前区块链的概率遵循泊松过程，g(v_i)是关于区块大小v_i的函数，表示区块形成之后广播到区块链中所需的时间，记为δ*v_i，其中δ为常数，表示延迟系数；因此成功挖掘并加入到区块链中的概率即为(1-P_i)；矿工完成整个挖掘过程获得奖励，该奖励可用于支持后续租借雾节点计算资源的租赁费用；

若智能终端i成功完成挖矿并得到奖励，其奖励按照算力占比来分配，具体定义为

则完成此任务的总挖掘成本为：

其中，c为雾节点向终端i收取的单位CPU周期价格，此处，

因此完成该迁移任务的总成本表示为：

4.根据权利要求3所述的一种区块链赋能物联网场景中联合资源分配与控制的智能计算迁移方法，其特征在于，步骤(3)还包括如下内容：

(32)针对物联网设备层所有终端任务完成总成本最小化问题，通过联合智能迁移决策x_i、信道带宽分配b_i以及雾节点计算资源分配f_i ^fog来实现，构建如下优化问题P1：

约束条件如下，

(1-x_i)T_i ^local+x_iT_i ^fog≤T_i ^max, (a)

x_i∈{0,1},(e)

其中，优化问题P1表示最小化所有终端任务的完成总成本；

约束(a)表示终端i任务完成的时间不超过其最大容忍延迟时间T_i ^max；

约束(b)表示终端i任务完成的能耗不得超过最大容忍能耗

约束(c)表示通信资源分配的约束，即分配给所有需要迁移任务的带宽之和不能超过信道的总带宽B；

约束(d)表示计算资源分配的约束，即分配给所有迁移任务的计算资源之和不得超过雾节点的总计算资源F；

约束(e)表示迁移决策的取值为0或1，即任务在本地处理或迁移到雾节点处理。

5.根据权利要求4所述的一种区块链赋能物联网场景中联合资源分配与控制的智能计算迁移方法，其特征在于，步骤(3)还包括如下内容：

(33)采用3CC-SCO算法求解所述优化问题P1，具体包括如下步骤：

首先定义3CC-SCO算法的要素，状态空间S＝{s₀,s₁,...,s_t,s_t+1,...,s_T}：s_t表示时隙t的状态，s_t+1表示下一状态，假设共有T个时隙；将所有终端任务大小集合l(t)、完成任务所需要的CPU周期数集合d(t)及时间成本的权重系数集合λ(t)作为输入状态，即s(t)＝(l(t),d(t),λ(t))，其中，

l(t)＝{l₁(t),l₂(t),...,l_N(t)},

d(t)＝{d₁(t),d₂(t),...,d_N(t)},

λ(t)＝{λ₁(t),λ₂(t),...,λ_N(t)},

动作空间A＝{a₀,a₁,...,a_t,a_t+1,...,a_T}：a_t表示在时隙t所采取的动作，a_t+1表示下一状态动作；

其中离散动作

x(t)表示终端任务的迁移决策集，连续动作

b(t)表示任务被分配到的信道带宽集合，f^fog(t)表示任务被分配到的雾节点计算资源集合；

x(t)＝{x₁(t),x₂(t),...,x_N(t)},

b(t)＝{b₁(t),b₂(t),...,b_N(t)},

奖励

在时隙t执行动作a_t得到的即时奖励为r_t，将即时奖励函数定义为目标函数取负值，即：

其中，C(t)表示在时隙t所有终端任务完成的总成本，κ是一个常数，κ＜0，表示在不满足约束条件(a)-(d)时，具体环境给出的奖励值；

3CC-SCO算法的具体架构由Actor当前网络，Actor目标网络，Critic当前网络和Critic目标网络四个网络组成；Actor网络输出动作策略，而Critic网络输出动作-状态值函数评估动作的好坏；

在时隙t，雾节点收集来自所有终端用户的状态信息s_t，基于该状态，Actor当前网络给出相应的迁移策略π_θ(s_t)；定义一个概率η表示当前行动者网络的连续迁移决策输出，并对该连续动作输出执行概率离散化运算；据此，通过如下概率离散运算得到离散动作

在原动作基础上加OU噪声

即最终资源分配策略表示为

其中

是噪声的退火因子，其值随着迭代步数逐渐减小；

雾节点作为智能体执行动作a_t并与环境交互转移到下一状态s_t+1以及获得奖励r_t，将(s_t,a_t,s_t+1,r_t)存入经验回放池；从经验回放池中随机采样M个样本，然后Actor目标网络将根据下一状态s_t+1预测相应的下一动作a_t+1,这里的Actor目标网络和当前网络结构完全相同，且其网络参数θ′定期从Actor当前网络参数θ复制；

Critic目标网络计算第j＝{1,2,...,M}个样本的价值函数Q'(s_j,a_j,ω')，则目标Q值为：

y_j＝r_j+γQ'(s_j+1,a_j+1,ω'),

其中，γ为折扣系数，由于Critic的两个网络结构完全相同，则Critic目标网络的网络参数ω′定期复制Critic当前网络的ω；Critic当前网络负责计算当前动作的价值函数Q(s_j,a_j,ω)，定义均方差损失函数如下：

通过梯度下降法最小化Loss(ω)更新神经网络的网络参数ω，更新定义如下：

其中α为ω的学习率；

Actor当前网络根据Critic当前网络对其给出策略的反馈，计算策略梯度，并更新其网络参数θ，使其得到更大的反馈Q值，策略梯度定义为：

对原梯度进行转换：

当动作值接近其取值范围的边界值时，梯度减小；当动作值超过动作范围时，则梯度为原来的反梯度，具体转换定义如下：

其中，

表示Critic对动作a_t的梯度，a_max和a_min分别为动作的上界和下界；

将上式中的J(θ)看作Actor的损失，具体定义如下：

可知，得到的反馈Q值越大，损失越小；利用梯度下降法更新参数：

其中，β为θ的学习率；

最后分别对Actor和Critic目标网络的网络参数进行更新：

θ'←σθ+(1-σ)θ',

ω'←σω+(1-σ)ω',

其中，σ是参数的更新速度；

通过不断地学习，最终训练到雾节点获得最优迁移策略。

Images