CN114979182B - 一种基于区块链的工业5g-u物联网资源调度方法 - Google Patents

Abstract

本发明属于多维资源调度技术领域，涉及一种基于区块链的工业5G‑U物联网资源调度方法。面向工业5G‑U物联网高度动态的任务需求和不稳定的网络结构，本发明首先设计了基于区块链系统的工业5G‑U物联网架构，以支持物联网终端设备的协同交互以及动态资源调度；其次构建了多维资源交易模型，它通过划分控制接入设备确定资源交易空间，以资源交易的方式终端设备的资源需求，并引入信用账户来建立不同终端归属的管理者间的信任关系；最后设计一种多智能体强化学习驱动的分布式交易学习资源调度算法，利用局部学习和全局迭代的群体智能思想，实现可满足任务需求最佳资源调度方法，进而提升工业5G‑U物联网的设备协同效率。

Description

一种基于区块链的工业5G-U物联网资源调度方法

技术领域

本发明属于多维资源调度技术领域，涉及一种基于区块链的工业5G-U物联网资源调度方法。

背景技术

作为第四代工业革命的创新网络范式，工业5G-U网络被认为是实现智能制造的重要途径。随着工业生产模式的快速发展和服务需求的不断升级，互联设备的规模和产生的数据呈指数级增长，对设备互通互联和网络的资源调度提出了巨大挑战。尽管5G技术的成熟提高了工业5G-U网络的通信速度，但仍然存在无法根据需求实时调度资源、设备不同通信协议导致的兼容性等问题。在多厂互联、复杂接入环境下实现高效资源调度是工业5G-U网络需要解决的核心问题。考虑到网络的不稳定性和生产环境的不确定性，强化学习通过动态环境交互制定最优策略的能力可以满足5G-U中不同的服务质量要求。

另一方面，区块链目前是最有希望同时满足工业5G-U网络安全性和兼容性要求的技术。它基于P2P组网技术和混合协议处理异构设备的通信问题，其分布式记录方式保证资源调度记录不被篡改和可追溯。Javaid等人提出了一种可转换的基于区块链的工业物联网架构，该架构使用动态工作量证明共识和块检查点机制来保证工业物联网的数据完整性和计算可靠性。上述使用区块链技术的方法虽然提高了工业环境的安全性，但仍然没有解决工业5G-U网络中设备本地资源受限和分布式信息交互资源开销大的问题。

发明内容

为了克服现有技术的不足，本发明的目的在于面向工业5G-U物联网高度动态的任务需求和不稳定的网络结构，提供一种基于区块链的工业5G-U物联网资源调度方法。本发明首先设计了基于区块链系统的工业5G-U物联网架构，以支持物联网终端设备的协同交互以及动态资源调度；其次构建了多维资源交易模型，它通过模糊映射控制接入设备划分虚拟的资源调度空间，以资源交易的方式满足终端设备的资源需求，并引入信用账户来建立不同终端区域的信任关系；最后设计一种多智能体强化学习驱动的分布式交易学习资源调度算法，利用局部学习和全局迭代的群体智能思想，实现可满足任务需求最佳资源调度方法，进而提升工业5G-U物联网的任务协同执行效率。

本发明大致分为三个部分：

(1)设计端边协同的工业5G-U物联网架构，在架构中引入区块链和人工智能技术，改变了传统的集中式结构，设备以分布式方式管理数据传输和控制访问。将5G-U物联网终端层设备划分归属区域，并分配控制接入设备在不可信环境下的实现终端区域的互联互通。通过强化学习提高了区块链网络的学习能力，使其更加适应大规模工业5G-U物联网环境的动态变化。

(2)构建基于智能合约的多维资源交易模型，由于终端区域之间不同的任务需求会影响资源的供需关系，使得控制设备之间的相关性无法明确界定。先针对任务目标对控制设备集进行模糊性逻辑划分至交易组空间。将应用场景中的全局控制设备集映射到可自定义资源调度的逻辑空间集，保证每个交易组空间都能满足任务约束下的资源调度。其次基于智能合约实现控制设备的资源交易过程，并通过为每个控制设备设置信用账户来保证资源交易过程的安全性。

(3)开发多智能体强化学习驱动的分布式交易学习资源调度算法，该算法基于上述多维资源交易模型而设计，结合多智能体强化学习的深度确定性策略梯度方法设计分布式交易学习资源调度算法，以适应资源交易过程产生的庞大且交错的状态空间和实时更新的资源价格，从而实现大规模工业5G-U的动态实时资源调度。

为了达到上述目的，本发明采用的技术方案如下：

一种基于区块链的工业5G-U物联网资源调度方法，步骤如下：

步骤(1)端边协同的工业5G-U物联网架构设计

(1.1)首先为端边协同工业5G-U物联网架构划分为三个子层，分别为终端用户层、控制接入层和边缘服务层。终端用户层包含大量服务于用户需求的终端设备，终端设备根据所有权分为工厂级区域A＝{a₁，a₂，...，a_n}。终端设备通过控制接入层的统一接入管理方式，以工业5G-U技术为通信基础，实现跨地域的多协议交互。每个区域分配一个控制设备，实现跨域交互。由控制设备D＝{d₁，d₂，...，d_n}形成控制访问层，控制设备作为终端设备的区域管理者，可以根据智能感知终端用户层的任务状态和资源将控制设备分为两类：没有足够资源执行当前任务的控制设备称为资源请求者Dr＝{dr₁，dr₂，...，dr_l}，拥有空闲资源称为资源提供者Ds＝{ds₁，ds₂，...，ds_p}，资源提供者通过与资源请求者建立稳定的资源交易来为时延敏感的任务提供资源，并以交易币的形式获得奖励，激励资源提供者共享闲置资源，从而应对资源短缺。区块链嵌入边缘服务层，保证控制设备之间资源调度信息的安全性和可追溯性。边缘服务层的边缘设备E＝{e₁，e₂，...，e_m}在控制访问层收集和打包资源交互信息并生成区块分布式存储。

(1.2)将时间分割成多个等长的时段t来描述资源在某一时刻的状态。端边协同架构的资源集用R(t)＝<Rc，Rs，Rt>表示，Rc，Rs，Rt三个参数分别代表计算、存储和通信资源。资源请求者在资源交易过程中选择性地与一个或多个资源提供者进行多维资源的交易，资源提供者也有权选择资源请求者。资源请求者通过交易获取资源的总成本如公式(1)所示：

其中Rcⁱ，Rsⁱ，Rtⁱ分别表示资源请求者dr_i的计算、存储和通信资源。

分别表示dr_i与资源提供者ds_j进行资源交易的计算、存储和通信资源的调整系数。当某类资源不需要时，调整系数设为0。资源提供者通过交易供应资源的总收益如公式(2)表示：

其中Θ^j表示由于供应资源造成的各个方面的损失。Tc是完成交易时的交易币数量。

步骤(2)基于智能合约的多维资源交易模型构建

(2.1)为满足各空间资源总供需平衡的划分目标，首先计算控制设备之间的关联程度，并结合任务属性M_t(d_i)，控制设备的空间位置Sp_i(x，y)，以及控制设备的感知资源需求R_t(d_i)和空闲资源S_t(d_i)四个属性的影响因素，通过拼接对齐联合组成交易组空间的多维参数向量

通过余弦相似度得到不同向量X_i和X_j之间的相关性S(X_i，X_j)如公式(3)：

整个空间结构中资源的总供需差距作为价值函数。在迭代训练过程中不断调整价值函数。通过求解最小值来执行优化，具体优化目标函数J(S，C)定义为：

其中f代表模糊因子。目标优化函数调节交易组的空间结构和设备间资源调度的选择范围。引入拉格朗日乘数导出的交易组空间U_j和隶属矩阵c_ij的迭代公式(5)所示：

(2.2)每个交易组空间的控制设备都需要在边缘服务层进行授权和初始化，获取被认证设备的虚拟身份ID和公私钥进行加密和解密，任务部署到终端区域通过控制设备感知资源状态和任务需求，信息用公钥加密并以广播的形式上传。拥有空闲资源的控制设备利用私钥对资源请求信息进行解码后，根据自身的资源状态和协同情况，打包并发布资源供应信息。资源提供者根据资源请求者提交的交易价格、资源需求和信用账户信息选择交易对象。智能合约生效后，资源交易正式形成。以资源提供者的供应资源相关比β_ij和请求者的交易币种相关比γ_ij作为本次交易的评价指标如公式(6)所示：

边缘设备收集智能合约的交易记录以生成区块。区块链中的每个区块具有相同的容量，当边缘设备收集的信息达到区块容量时即可生成一个区块。为了避免传统共识机制浪费大量算力，利用信用账户机制来提高共识的效率。控制装设备的信用账户表示如公式(7)所示：

其中Π_i表示资源交易后任务完成度，该指标仅针对资源请求者。ω_i为交易衰减因子。信用账户作为交易数量的累积函数，如果攻击者不按照合约协议进行交易，其信用账户将持续减少。衰减因子使得早期交易的信任权重随着交易的不断产生而降低。生成的区块主体包含双方的交易信息和交易信用的累积值，待其他边缘设备区块验证后，将信任账户最高的区块加入区块链中。

步骤(3)以步骤(2)构造的多维资源交易模型为基础，开发一种在该模型下运行的多智能体强化学习驱动的分布式交易学习资源调度算法，以实现工业5G-U物联网的自适应资源交易学习。

首先，用马尔可夫决策模型来描述单个控制设备的资源调度<S，A，P，R，ζ>，其中S表示包含足够环境信息的状态，控制设备在整个过程中逐步学习和改进。t时段下的状态空间为S_t＝<M_t，Ca_t，Rt_t，Rc_t，Rs_t，Sp_t>。A表示控制设备的动作，即结合得到的状态空间S_t进行组合动作A_t，其中包括计算、存储和通信资源的系数<λ_t，μ_t，η_t>$，以及交易币Tc_t。P表示状态转移函数，ζ为折扣因子。组合动作A_t的任务协作和资源交易后，控制设备拥有的资源、S_t和S_t+1的状态、交易价格都发生了变化，这也影响了整个空间的状态。R是奖励函数，由组合动作A_t前后的状态以及动作空间决定：

R(S_t|S_t+1，A_t)＝max{∑_j＝1β_jCa_jI(ds_j)-∑_i＝1γ_jCa_jC(dr_i)} (8)

对于整个交易组空间的控制设备采用actor-critic的双重网络结构进行集中式训练和分布式执行。actor网络仅需要单一控制设备的本地信息，而每个控制设备策略信息需要在critic网络

中共享。利用Q函数(Quality)表示控制设备在状态S_t下的采用动作A_t后采用最优动过条件下的打折奖励。根据真实的

值和估计的Q值的平方损失向critic网络动作提供反馈。即critic网络损失函数L(θ)和真实值如公式(9)计算：

其中控制设备的动作为a＝{a₁，a₂，...，a_n}，它对周围环境的观察o_i被输入到网络中，并输出基于当前状态的选择动作a_i并根据critic网络的评估更新策略。公式(10)为actor网络的策略梯度

其中o_i为控制设备d_i的观察值，x＝{o₁，o₂，...，o_n}为观察向量。

采用更新目标网络参数的软模式，提高学习的稳定性，每一步都可以对目标网络中的参数进行小的更新。公式(11)为目标网络参数

的更新：

其中

是一个介于0到1之间的超参数，用于控制目标网络的学习率。训练过程不设置额外的区间步长，每次训练的网络参数从评估网络复制到目标网络并更新，以最小化资源交易中损失函数的期望。

考虑到不同交易组空间的资源协作关系，建立中央critic网络收集全局策略信息，使本地交易组空间的交易策略可以在全局空间中共享。不断的迭代训练使累积的Q值最大化，从而将资源合理分配到全局终端区域。

本发明的有益效果：

1.解决工业5G-U设备互联的安全性问题以及区块链共识过程算力不足的问题。海量的终端设备由于不同的协议及不同厂商在互联互通存在安全隐患，区块链技术的引入可以分布式管理交互信息，消除单点恶意攻击。设计基于信用账户的共识机制，根据终端区域管理者的信用情况进行交易和达成共识，提高共识效率，进而提高调度的实时性。

2.解决资源调度实时性不足的问题。由于任务需求复杂与网络拓扑多变，终端设备因任务目标产生资源竞争，使整个架构的资源无法及时调度，本方法通过终端设备进行层次划分和分布式管理建立多维资源交易模型，且多智能体强化学习的资源调度算法，实现自适应资源调度的同时也保证了调度的实时性能。

附图说明

图1为本发明的端边协同的工业5G-U物联网整体框架。

图2为本发明的任务目标驱动的交易组空间划分过程示意图。

图3为本发明的基于智能合约的多维资源交易过程示意图。

图4为本发明的多智能体强化学习驱动的分布式学习资源调度模型训练过程示意图。

图5是基于智能合约的多维资源交易模型的构建过程示意图。

图6是分布式学习资源调度算法的训练过程示意图。

具体实施方式

以下结合附图和技术方案，进一步说明本发明的具体实施方式。

本发明可用于5G-U物联网环境下的自适应资源调度任务，本发明的端边协同5G-U物联网整体框架如图1所示，通过控制接入层的资源交易来缓解终端设备的通信、计算以及存储资源限制，资源交易通过智能合约达成并分布式存储于边缘层的区块链上，该架构既保证5G-U物联网海量设备的资源及时供给，又给设备互联互通提供安全保障；交易组空间划分过程充分考虑以承载任务、空间位置、资源情况为特征的设备相关性如图2所示；基于智能合约的多维资源交易以控制设备为载体，通过边缘层授权、交易信息加密上传、积累信用账户等方式来避免整个交易过程被恶意攻击或产生虚假交易，交易如图3所示；分布式学习资源调度模型训练过程如图4所示，充分考虑交易组空间内控制设备的的合作与竞争关系，通过动作与环境信息间的迭代，实现资源自适应调度的训练过程。

本实施例应用到了工业5G-U物联网的资源分配任务，所论述的具体实施方案仅用于说明本发明的实现方式，而不限制本发明的范围。

下面主要针对5G-U环境下的生产全流程的资源分配任务对本发明的实施方案进行详细说明，主要分为基于智能合约的多维资源交易模型的构建(如图5所示)和分布式学习资源调度算法的训练(如图6所示)：

(1)基于智能合约的多维资源交易模型的构建：

在生产流程采购入库、生产加工、出厂检测等各阶段的任务完成部署后，首先控制器智能感知所管理的生产区域的任务属性和资源供给情况，并根据自身的资源情况分为资源请求者和资源提供者。其次由公式(3)计算控制器向量的相关程度，并基于公式(4)和(5)不断迭代优化价值函数，直至模糊划分出可满足控制器资源交易的虚拟化交易组空间。交易组空间中的资源请求者和资源提供者均根据公式(7)计算双方的历史信用账户情况，并按照公式(1)、(2)的计算出本次交易成本和收益水平进行加密上传计算、存储、通信资源，交易价格等信息。由智能合约技术自动达成资源交易，资源请求者和资源提供者协同执行相应的计算、数据存储等任务。在交易完成后通过公式(6)和(7)再次更新控制设备的信用账户积累情况。边服务器收集资源交易信息打包区块并通过信用账户来达成共识，添加至区块链上分布式存储。

(2)分布式交易学习资源调度算法的训练：

结合已构建的多维资源交易模型，对交易组空间的控制器进行分布式交易学习，在每个交易组空间根据公式(8)的马尔可夫模型建立全局的critic网络和控制设备本地的actor网络，critic网络依据公式(9)优化损失函数，actor网络依据公式(10)计算策略梯度。根据公式(11)更新目标网络的梯度，并计算使累积的Q值最大并保持稳定，最终各阶段的生产区域通过交易学习获得满足任务需求的多维资源调度方案。

Claims (1)

1.一种基于区块链的工业5G-U物联网资源调度方法，其特征在于，步骤如下：

步骤(1)端边协同的工业5G-U物联网架构设计

(1.1)首先为端边协同工业5G-U物联网架构划分为三个子层，分别为终端用户层、控制接入层和边缘服务层；终端用户层包含大量服务于用户需求的终端设备，终端设备根据所有权分为工厂级区域A＝{a₁，a₂，...，a_n}；终端设备通过控制接入层的统一接入管理方式，以工业5G-U技术为通信基础，实现跨地域的多协议交互；每个区域分配一个控制设备，实现跨域交互；由控制设备D＝(d_t,d₂，...，d_n}形成控制访问层，控制设备作为终端设备的区域管理者，根据智能感知终端用户层的任务状态和资源将控制设备分为两类：没有足够资源执行当前任务的控制设备称为资源请求者Dr＝{dr₁，dr₂，...，dr_l}，拥有空闲资源称为资源提供者Ds＝(ds_i,ds₂,...，ds_p}，资源提供者通过与资源请求者建立资源交易来为时延敏感的任务提供资源，并以交易币的形式获得奖励；区块链嵌入边缘服务层，边缘服务层的边缘设备E＝{e₁，e₂，...，e_m}，在控制访问层收集和打包资源交互信息并生成区块分布式存储，保证控制设备之间资源调度信息的安全性和可追溯性；

(1.2)将时间分割成多个等长的时段t来描述资源在某一时刻的状态；端边协同架构的资源集用R(t)＝<Rc,Rs,Rt>表示，Rc,Rs,Rt分别代表计算、存储和通信资源；资源请求者在资源交易过程中选择性地与一个或多个资源提供者进行多维资源的交易，资源提供者也有权选择资源请求者；资源请求者通过交易获取资源的总成本如公式(1)所示：

其中Rcⁱ,Rsⁱ,Rtⁱ分别表示资源请求者dr_i的计算、存储和通信资源；

分别表示资源请求者dr_i与资源提供者ds_j进行资源交易的计算、存储和通信资源的调整系数；当某类资源不需要时，调整系数设为0；资源提供者通过交易供应资源的总收益如公式(2)表示：

其中Θ^j表示由于供应资源造成的损失；Tc是完成交易时的交易币数量；

步骤(2)基于智能合约的多维资源交易模型构建

(2.1)为满足各空间资源总供需平衡的划分目标，首先计算控制设备之间的关联程度，并结合任务属性M_t(d_i)，控制设备的空间位置Sp_t(x,y)，以及控制设备的感知资源需求R_t(d_i)和空闲资源S_t(d_i)四个属性的影响因素，通过拼接对齐联合组成交易组空间的多维参数向量

通过余弦相似度得到不同向量X_i和X_j之间的相关性S(X_i,X_j)如公式(3)：

整个空间结构中资源的总供需差距作为价值函数；在迭代训练过程中不断调整价值函数；通过求解最小值来执行优化，具体优化目标函数J(S,C)定义为：

其中f代表模糊因子；目标优化函数调节交易组的空间结构和设备间资源调度的选择范围；引入拉格朗日乘数导出的交易组空间U_j和隶属矩阵C_ij的迭代公式(5)所示：

(2.2)每个交易组空间的控制设备都需要在边缘服务层进行授权和初始化，获取被认证设备的虚拟身份ID和公私钥进行加密和解密，任务部署到终端区域通过控制设备感知资源状态和任务需求，信息用公钥加密并以广播的形式上传；拥有空闲资源的控制设备利用私钥对资源请求信息进行解码后，根据自身的资源状态和协同情况，打包并发布资源供应信息；资源提供者根据资源请求者提交的交易价格、资源需求和信用账户信息选择交易对象；智能合约生效后，资源交易正式形成；以资源提供者的供应资源相关比β_ij和请求者的交易币种相关比γ_ij作为本次交易的评价指标如公式(6)所示：

边缘设备收集智能合约的交易记录以生成区块；区块链中的每个区块具有相同的容量，当边缘设备收集的信息达到区块容量时即可生成一个区块；为了避免传统共识机制浪费大量算力，利用信用账户机制来提高共识的效率；控制装设备的信用账户表示如公式(7)所示：

其中Π_i表示资源交易后任务完成度，该指标仅针对资源请求者；ω_i为交易衰减因子；信用账户作为交易数量的累积函数，如果攻击者不按照合约协议进行交易，其信用账户将持续减少；衰减因子使得早期交易的信任权重随着交易的不断产生而降低；生成的区块主体包含双方的交易信息和交易信用的累积值，待其他边缘设备区块验证后，将信任账户最高的区块加入区块链中；

步骤(3)以步骤(2)构造的多维资源交易模型为基础，开发一种在该模型下运行的多智能体强化学习驱动的分布式交易学习资源调度算法，以实现工业5G-U物联网的自适应资源交易学习；

首先，用马尔可夫决策模型来描述单个控制设备的资源调度<S，A，P，R，ζ>，其中S表示包含足够环境信息的状态，控制设备在整个过程中逐步学习和改进；t时段下的状态空间为S_t＝<M_t,Ca_t,Rt_t,Re_t,Rs_t,Sp_t>A表示控制设备的动作，即结合得到的状态空间S_t进行组合动作A_t，其中包括计算、存储和通信资源的系数<λ_t,μ_t,η_t>$，以及交易币Tc_t；P表示状态转移函数，ζ为折扣因子；组合动作A_t的任务协作和资源交易后，控制设备拥有的资源、S_t和S_t+1的状态、交易价格都发生了变化，也影响整个空间的状态；R是奖励函数，由组合动作A_t前后的状态以及动作空间决定：

R(S_t|S_t+1，A_t)＝max{∑_j＝1β_jCa_jI(ds_j)-Σ_i＝1γ_jCa_jC(dr_i)} (8)

对于整个交易组空间的控制设备采用actor-critic的双重网络结构进行集中式训练和分布式执行；actor网络仅需要单一控制设备的本地信息，而每个控制设备策略信息需要在critic网络

中共享；利用Q函数表示控制设备在状态S_t下的采用动作A_t后采用最优动过条件下的打折奖励；根据真实的

值和估计的Q值的平方损失向critic网络动作提供反馈；即critic网络损失函数L(θ)和真实值如公式(9)计算：

其中控制设备的动作为a＝{a₁，a₂，...，a_n}，对周围环境的观察o_i被输入到网络中，并输出基于当前状态的选择动作a_i并根据critic网络的评估更新策略；公式(10)为actor网络的策略梯度

其中o_i为控制设备d_i的观察值，x＝{o₁,o₂,...,o_n}为观察向量；

采用更新目标网络参数的软模式，公式(11)为目标网络参数

的更新：

其中

是一个介于0到1之间的超参数，用于控制目标网络的学习率；训练过程不设置额外的区间步长，每次训练的网络参数从评估网络复制到目标网络并更新，以最小化资源交易中损失函数的期望；

考虑到不同交易组空间的资源协作关系，建立中央critic网络收集全局策略信息，使本地交易组空间的交易策略可在全局空间中共享；不断的迭代训练使累积的累计损失最小，从而将资源合理分配到全局终端区域。

Images