CN116170844A - 一种用于工业物联网场景中的数字孪生辅助任务卸载方法 - Google Patents

Abstract

本发明一种用于工业物联网场景中的数字孪生辅助任务卸载方法，属于移动通信领域，包括以下步骤：S1：在BS中构建IIoT设备和MBS的数字孪生模型，同时考虑数据偏差对构建模型精准度的影响；S2：在最佳的任务划分策略下，根据粒子群搜索的边缘关联算法，确定每个IIoT设备所关联的MBS集合；S3：根据近似最佳的边缘关联结果，通过基于DDPG的任务划分算法确定各个子任务的任务划分比例，制定任务卸载策略；S4：根据S2和S3中的结果，将当前时隙最佳的任务卸载策略从数字孪生网络发送给物理实体网络，物理设备根据卸载策略去执行相关的操作。本发明充分考虑数据偏差影响，减少IIoT设备在任务卸载过程中的时间消耗，有效提升用户计算的服务体验。

Description

一种用于工业物联网场景中的数字孪生辅助任务卸载方法

技术领域

本发明属于移动通信领域，涉及一种用于工业物联网场景中的数字孪生辅助任务卸载方法。

背景技术

随着智能机器人、增强/虚拟现实等移动物联网应用程序的出现，工业物联网(Industrial Internet of Things，IIoT)中对延迟的严格要求越来越强烈，尤其是计算密集型任务。由于移动设备的计算能力有限，及时完成这些计算任务具有挑战性。移动边缘计算(Mobile Edge Computing，MEC)是支持延迟敏感物联网应用的一个有前途的解决方案。通过在网络边缘部署MEC服务器，例如配有MEC服务器的室分微站(Micro-Base Station，MBS)和室分宏站(Base Station，BS)，移动IIoT设备可以将其计算任务卸载到附近的MBS和BS上进行快速计算和处理。

然而，当边缘设备产生一个计算任务时，如何智能地根据计算任务的特点、充分利用物联网中的计算和通信资源，使得所有任务的服务质量(Quality of Service，QoS)最大，即时延最低也是目前需要研究的热点之一。实际中的计算任务可能是独立型任务，即可以被划分为多个子任务，各个子任务之间没有约束关系；但是有些计算任务被分为多个子任务后存在依赖关系，例如子任务2必须等待子任务1完成之后才能被计算。此外，对于每个边缘移动设备，如何实时地根据每个MBS的计算能力和其之间的通信状态，选择最佳的MBS执行卸载操作也是研究点之一。

综上所述，现有的数字孪生辅助IIoT中，没有解决充分考虑数据偏差影响下怎样制定出高效的任务卸载策略的问题。

发明内容

有鉴于此，本发明的目的在于提供一种用于工业物联网场景中的数字孪生辅助任务卸载方法，在充分考虑到数据偏差对系统卸载时间的影响下，构建了能刻画出系统卸载时间的精准模型，能够减少IIoT设备在任务卸载过程中的时间消耗，有效提升用户计算的服务体验。

为达到上述目的，本发明提供如下技术方案：

一种用于工业物联网场景中的数字孪生辅助任务卸载方法，包括以下步骤：

S1：在BS中构建IIoT设备和MBS的数字孪生模型；

S2：物理设备与BS中的数字孪生网络进行实时交互和数据更新；

S3：根据每个IIoT设备和MBS的计算能力数据偏差、发射功率数据偏差和带宽资源数据偏差对系统任务卸载时间和能量消耗的偏差影响，建立最小化系统的总卸载时间和时间惩罚函数的理论模型；

S4：在最佳的任务划分策略下，根据粒子群搜索的边缘关联算法，确定每个IIoT设备所关联的MBS集合，同时最小化系统时间；

S5：根据近似最佳的边缘关联结果，通过基于DDPG的任务划分算法确定各个子任务的任务划分比例，制定任务卸载策略；

S6：根据S4和S5中的结果，将当前时隙最佳的任务卸载策略从数字孪生网络发送给物理设备网络，物理设备根据卸载策略执行相关的操作；

S7：判断当前时隙中是否产生计算任务；若是，则返回S2重复执行S2-S7，直至S7判断结果为否。

进一步，步骤S3中，在时间消耗和任务划分比例参数的限制下，使得卸载总时间函数最小的优化问题表述如下：

P1:

s.t.:C1:

C2:

C3:

C4:

C5:

C6:

C7:

C8:

C9:

C10:

C11:

其中，θ表示惩罚系数，当一个任务的计算时间超过其所允许的最大时间

时，θ为正整数；否则θ＝0；

表示时隙n中，对于设备k，独立型子任务的任务卸载时间；

表示时隙n中，对于设备k，依赖型子任务的任务卸载时间；T_k表示设备k中任务的实际卸载时间；τ_k，υ_k,m和ω_k,m,b分别表示设备k生成的一个计算任务划分给IIoT设备k、MBSm和BS的划分比例；

表示终端设备与MBSm的关联性；φ_m表示每个MBS最多可以服务终端设备的数量；f_k表示IIoT设备k的CPU频率，p_k表示IIoT设备k的发射功率；

和

分别表示IIoT设备k、MBSm和BS各自子对应子任务的计算时延；

表示计算过程中IIoT设备k所消耗的能量，

表示卸载过程中设备k所消耗的能量，

表示终端设备自身剩余的能量；

表示子任务的独立性；

即约束C1表示每个任务的子任务划分比例之和为1，C2约束了子任务划分比例的取值范围；C3约束了IIoT设备要先与MBS相关联，产生子任务卸载的先后顺序，C4表示每个IIoT设备最多与一个MBS相关联；约束C5表示每个MBS最多可以服务终端设备的数量；约束C6表明了关联变量的取值情况；C7-C8约束了IIoT设备k的CPU频率和发射功率的取值范围；约束C9表示各个子任务的计算时延不超过每个子任务的最大容忍延时；约束C10表示终端设备进行任务计算和卸载的能耗不超过其自身剩余的能量；约束C11刻画了子任务的独立性，如果子任务是独立的，则

否则

进一步，步骤S3中，所述偏差影响包括本地子任务计算的时间偏差、本地任务计算的能量消耗偏差、子任务传输时间偏差、子任务传输能量消耗偏差、卸载至MBS出的计算时间偏差。

进一步，步骤S4中，所述基于粒子群搜索的边缘关联算法中，粒子的适应度函数的计算公式为：

其中，

表示所有设备最佳的关联策略，

m表示当前MBS的序号。

表示设备k中任务所能容忍的最长时间。

进一步，步骤S5中，所述的基于DDPG的任务划分算法中状态空间、动作空间和奖励函数定义如下：

状态空间：系统的状态由四部分组成，

其中，n表示当前时隙，w_k[n]表示当前时隙设备k所产生的计算任务，ε_k[n]表示是时隙n设备k的关联状态，

表示在当前时隙设备k所产生的计算任务的类型；

动作空间：系统状态主要由三部分组成，

其中，n表示当前时隙，τ_k[n]表示设备k的子任务在本地执行的划分比例，υ_k,m[n]表示将设备k的子任务卸载给MBS执行的划分比例，ω_k,m,b[n]表示将设备k的子任务通过MBS卸载给BS执行的划分比例；通过智能体对环境执行动作之后，环境的状态将转换到下一个状态。

奖励函数：在每个时隙，智能体在执行每个可能的动作a[n]后，将在当前状态s[n]下获取奖励r[n+1]；奖励函数定义为：

其中，θ表示惩罚函数且

当设备k的任务计算时间超过其所允许的最大时间，则θ为正整数，否则θ＝0。

进一步，步骤S6中，判断BS中当前时隙的任务卸载策略是否学习完成，若已完成，则由BS将任务卸载策略发送至对应的物理网络中的IIoT设备根据所获取的卸载策略执行任务卸载操作。

本发明的有益效果在于：本发明可以在任务密集型的IIoT场景下，由于边缘设备的计算能力和电量有限，解决时延敏感型任务的计算需求。根据现有的DT辅助任务卸载(Digital Twin Assisted Task Offloading for Aerial Edge Computing andNetworks，空中边缘计算网络中的数字孪生辅助任务卸载)中出现的数据偏差大、卸载效率低的问题，提出了一种数据偏差影响下的DT辅助任务卸载算法。不仅能够根据每个任务的类型智能地制定任务划分策略，还能充分利用MBS的资源为每个边缘设备搜索到最佳将要关联的MBS集合，此方法不仅能够降低任务卸载计算的时间，还能节省能量消耗，保证了用户服务的QoS，提升用户的服务体验。

本发明的其他优点、目标和特征在某种程度上将在随后的说明书中进行阐述，并且在某种程度上，基于对下文的考察研究对本领域技术人员而言将是显而易见的，或者可以从本发明的实践中得到教导。本发明的目标和其他优点可以通过下面的说明书来实现和获得。

附图说明

为了使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明作优选的详细描述，其中：

图1为数字孪生辅助工业物联网进行任务卸载的网络场景图；

图2为基于粒子群搜索的边缘关联算法流程图；

图3为用于工业物联网场景中的数字孪生辅助任务卸载方法的流程示意图。

具体实施方式

以下通过特定的具体实例说明本发明的实施方式，本领域技术人员可由本说明书所揭露的内容轻易地了解本发明的其他优点与功效。本发明还可以通过另外不同的具体实施方式加以实施或应用，本说明书中的各项细节也可以基于不同观点与应用，在没有背离本发明的精神下进行各种修饰或改变。需要说明的是，以下实施例中所提供的图示仅以示意方式说明本发明的基本构想，在不冲突的情况下，以下实施例及实施例中的特征可以相互组合。

其中，附图仅用于示例性说明，表示的仅是示意图，而非实物图，不能理解为对本发明的限制；为了更好地说明本发明的实施例，附图某些部件会有省略、放大或缩小，并不代表实际产品的尺寸；对本领域技术人员来说，附图中某些公知结构及其说明可能省略是可以理解的。

本发明实施例的附图中相同或相似的标号对应相同或相似的部件；在本发明的描述中，需要理解的是，若有术语“上”、“下”、“左”、“右”、“前”、“后”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此附图中描述位置关系的用语仅用于示例性说明，不能理解为对本发明的限制，对于本领域的普通技术人员而言，可以根据具体情况理解上述术语的具体含义。

请参阅图1～图3，为一种用于工业物联网场景中的数字孪生辅助任务卸载方法，包括以下步骤：

S1：在BS中构建IIoT设备和MBS的数字孪生模型；

S2：物理设备与BS中的数字孪生网络进行实时交互和数据更新；

S3：根据每个IIoT设备和MBS的计算能力数据偏差、发射功率数据偏差和带宽资源数据偏差对系统任务卸载时间和能量消耗的偏差影响，建立最小化系统的总卸载时间和时间惩罚函数的理论模型；

S4：在最佳的任务划分策略下，根据粒子群搜索的边缘关联算法，确定每个IIoT设备所关联的MBS集合，同时最小化系统时间；

S5：根据近似最佳的边缘关联结果，通过基于DDPG的任务划分算法确定各个子任务的任务划分比例，制定任务卸载策略；

S6：根据S4和S5中的结果，将当前时隙最佳的任务卸载策略从数字孪生网络发送给物理设备网络，物理设备根据卸载策略执行相关的操作；

S7：最后确定当前时隙中是否还有计算任务的产生，如果有，即返回S2往后依次执行，直至当前时隙中不再有计算任务。

上述步骤S1-S5中：(1)首先在BS中构建IIoT设备和MBS的数字孪生模型；(2)DTN网络构建完成后，需保证物理实体网络与DTN进行实时交互与数据的更新；(3)在构建模型和数据更新的过程中，需考虑数据偏差对构建模型精准度的影响，具体主要考虑了每个IIoT设备和MBS的计算能力数据偏差、发射功率数据偏差和带宽资源数据偏差，建立了最小化系统的总卸载时间和时间惩罚函数的理论模型。并根据原始问题的复杂性，将问题分解为任务划分子问题和边缘关联子问题进行求解。

该方法考虑的一个DT辅助任务卸载架构，如图1所示。该架构由三层组件构成，最底层为分布式IIoT设备，中间层为有一定计算能力的MBS集合，最顶层为集中式的BS。分布式的IIoT设备中包括工厂内的许多移动智能设备，例如巡检机器人等，它们需要根据各个传感器及其他感知设备，感知周围环境并收集数据，之后需要分析和处理所收集的数据，由于数据的处理和分析是计算密集型任务，因其计算能力和电池电量等资源有限的IIoT设备可能无法及时完成时间敏感性任务，因此，此种类型的任务必须通过卸载的方式，卸载给计算能力更高的边缘服务器来计算，以获得高质量的计算体验，提升任务的QoS。

在终端层是IIoT设备，尤其是像巡检机器人这种的移动智能设备，有K个，且

M个配有MEC服务器的MBS，且

和一个配有MEC服务器的BS。其中，用户关联MBS用二进制变量集ε表示，且

表示终端设备与MBSm的关联性。如果IIoT设备k与MBSm相关联，则

否则

且每个终端设备至多与一个MBS相关联，故

假设每个IIoT设备每次生成一个计算任务，每个任务都可以划分为多个子任务，每个子任务的数据量大小是一定的，这些子任务可以被卸载到MBS上执行，也可以通过MBS卸载到BS中执行。

当

时，假设将设备k生成的一个计算任务划分给IIoTk、MBSm和BS的划分比例分别用τ_k，υ^k _,m和ω^k _,m, ^b表示。根据定义，则有

方法采用正交频分多址(Orthogonal Frequency Division Multiple Access，OFDMA)协议，将计算任务尽快地卸载到MBS和BS。在基于OFDMA的任务卸载中，在时隙n，IIoT设备k生成的计算任务表示为

其中，D_k[n]表示任务计算所需的总位(bit)数，F_k[n]表示计算单位bit的数据所需的CPU周期数，

表示任务所能容忍的最大计算时间。

以将子任务卸载至MBS中计算为例，关于子任务的卸载和计算过程中的时间和能量的建模过程如下所示：

若

则表示任务要卸载到MBS m中计算。设在时隙n时，IIoTk到MBSm的信道增益为

则两者可达到的数据传输速率为：

其中，p_k[n]表示设备k在时隙n时的发射功率，σ₁表示终端设备与MBS上行链路的信噪比。则子任务的卸载给MBS的传输时间为：

由于DT中的数据信息与实际的IIoT设备之间存在信息偏差，假设已知发射功率偏差△p_k[n]和带宽偏差△b_k[n]，则设备k向MBS卸载子任务的卸载时间偏差为：

其中，

表示实际的卸载传输时间。则由设备k卸载给MBS的卸载时间为：

卸载过程中，设备k所消耗的能量为：

MBSm处，子任务的计算时间为：

由于实际环境的影响，DT中的孪生数据信息和实际的物理设备中的数据有偏差，假设已知CPU频率的偏差值△f_m[n]，则MBS处子任务计算的时间偏差为：

其中，

表示MBS进行子任务计算的实际时间。故MBS处子任务的计算时间为：

因此，MBS处进行卸载和计算的总时间为：

最后，该方法制定的使得系统卸载总时间最小的优化问题如权利要求2中所述。

(4)具体的，边缘关联子问题中，在给定近似最佳的任务划分策略下，提出了一种粒子群搜索的边缘关联算法，以在每个时隙中搜索出设备所关联MBS的最佳组合。其中，优化目标转化为：

P2:

s.t.:C1:

C2:

C3:

C4:

C5:

C6:

C7:

C8:

粒子的适应度表示为：

详细的算法流程见图2：

第一步：在初始化每个粒子的参数值后；

第二步：计算每个粒子的局部最佳关联策略和全局最佳关联策略；

第三步：根据任务划分算法获取最佳的任务划分策略；

第四步：更新所有粒子的位置和速度并按照以上公式计算粒子新的位置处的适应度；

第五步：判断是否满足条件F(ε_i，t+1)＜F(ε_i，t)，若该判断结果为否，则返回第三步，依次往下执行，重新根据任务划分算法获取最佳的任务划分策略，计算粒子新的位置处的适应度，直至满足条件F(ε_i，t+1)＜F(ε_i，t)；当该判断结果为是，则执行第六步；

第六步：更新局部最佳关联策略和全局最佳关联策略；

第七步：判断是否满足结束条件，若不满足结束条件，则再次返回第三步，依次往下执行至第七步，直至满足结束条件时结束。

(5)任务划分子问题中，将卸载任务分为独立型子任务和依赖型子任务。在给定近似最佳的边缘关联策略下，由于网络的动态环境和每个时隙计算任务的类型不同，提出了一种基于DDPG的任务划分算法，求解出使得系统时延最小的每个任务的最佳划分比例。其中，优化目标转化为：

P3:

s.t.:C1:

C2:

C3:

C4:

C5:

C6:

通过DDPG算法，使得智能体与IIoT环境交互，以学习到最佳的任务划分策略。首先通过描述IIoT的网络环境，并为智能体提供与其环境交互的接口，即通过智能体基于对其当前的环境的观察结果，做出决策，并且根据预期的长期累积回报，优化决策。其中，状态、动作和奖励函数的设置如下所示：

状态空间：系统的状态由四部分组成：

其中，n表示当前时隙，w_k[n]表示当前时隙设备k所产生的计算任务，ε_k[n]表示是时隙n设备k的关联状态，

表示在当前时隙设备k所产生的计算任务的类型。智能体在对环境执行相应的状态后会以一定的概率转移到下一个状态。

动作空间：系统状态主要由三部分组成：

其中，n表示当前时隙，τ_k[n]表示设备k的子任务在本地执行的划分比例，υ_k,m[n]表示将设备k的子任务卸载给MBS执行的划分比例，ω_k,m,b[n]表示将设备k的子任务通过MBS卸载给BS执行的划分比例。通过智能体对环境执行动作之后，环境的状态会转换到下一个状态。

奖励函数：在每个时隙，智能体在执行每个可能的动作a[n]后，会在当前状态s[n]下获取奖励r[n+1]。并且，奖励函数与优化的目标函数相关。由于本文的优化目标是最小化系统的总时间，RL(Reinforcement Learning,强化学习)的目标是最大化回报，因此奖励函数的设置应与目标函数呈负相关，故本文的奖励函数定义为：

其中，θ表示惩罚函数且

当设备k的任务计算时间超过其所允许的最大时间，则θ为正整数，否则θ＝0。

最后说明的是，以上实施例仅用以说明本发明的技术方案而非限制，尽管参照较佳实施例对本发明进行了详细说明，本领域的普通技术人员应当理解，可以对本发明的技术方案进行修改或者等同替换，而不脱离本技术方案的宗旨和范围，其均应涵盖在本发明的权利要求范围当中。

Claims (6)

1.一种用于工业物联网场景中的数字孪生辅助任务卸载方法，其特征在于：包括以下步骤：

S1：在BS中构建IIoT设备和MBS的数字孪生模型；

S2：物理设备与BS中的数字孪生网络进行实时交互和数据更新；

S3：根据每个IIoT设备和MBS的计算能力数据偏差、发射功率数据偏差和带宽资源数据偏差对系统任务卸载时间和能量消耗的偏差影响，建立最小化系统的总卸载时间和时间惩罚函数的理论模型；

S4：在最佳的任务划分策略下，根据粒子群搜索的边缘关联算法，确定每个IIoT设备所关联的MBS集合，同时最小化系统时间；

S5：根据近似最佳的边缘关联结果，通过基于DDPG的任务划分算法确定各个子任务的任务划分比例，制定任务卸载策略；

S6：根据S4和S5中的结果，将当前时隙最佳的任务卸载策略从数字孪生网络发送给物理设备网络，物理设备根据卸载策略执行相关的操作；

S7：判断当前时隙中是否产生计算任务；若是，则返回S2重复执行S2-S7，直至S7判断结果为否。

2.根据权利要求1所述的用于工业物联网场景中的数字孪生辅助任务卸载方法，其特征在于：步骤S3中，在时间消耗和任务划分比例参数的限制下，使得卸载总时间函数最小的优化问题表述如下：

P1:

其中，θ表示惩罚系数，当一个任务的计算时间超过其所允许的最大时间

时，θ为正整数；否则θ＝0；

表示时隙n中，对于设备k，独立型子任务的任务卸载时间；

表示时隙n中，对于设备k，依赖型子任务的任务卸载时间；T_k表示设备k中任务的实际卸载时间；τ_k，υ_k,m和ω_k,m,b分别表示设备k生成的一个计算任务划分给IIoT设备k、MBS m和BS的划分比例；

表示终端设备与MBS m的关联性；φ_m表示每个MBS最多可以服务终端设备的数量；f_k表示IIoT设备k的CPU频率，p_k表示IIoT设备k的发射功率；

和

分别表示IIoT设备k、MBS m和BS各自子对应子任务的计算时延；

表示计算过程中IIoT设备k所消耗的能量，

表示卸载过程中设备k所消耗的能量，

表示终端设备自身剩余的能量；

表示子任务的独立性；

即约束C1表示每个任务的子任务划分比例之和为1，C2约束了子任务划分比例的取值范围；C3约束了IIoT设备要先与MBS相关联，产生子任务卸载的先后顺序，C4表示每个IIoT设备最多与一个MBS相关联；约束C5表示每个MBS最多可以服务终端设备的数量；约束C6表明了关联变量的取值情况；C7-C8约束了IIoT设备k的CPU频率和发射功率的取值范围；约束C9表示各个子任务的计算时延不超过每个子任务的最大容忍延时；约束C10表示终端设备进行任务计算和卸载的能耗不超过其自身剩余的能量；约束C11刻画了子任务的独立性，如果子任务是独立的，则

否则

3.根据权利要求1所述的用于工业物联网场景中的数字孪生辅助任务卸载方法，其特征在于：步骤S3中，所述偏差影响包括本地子任务计算的时间偏差、本地任务计算的能量消耗偏差、子任务传输时间偏差、子任务传输能量消耗偏差、卸载至MBS出的计算时间偏差。

4.根据权利要求2所述的用于工业物联网场景中的数字孪生辅助任务卸载方法，其特征在于：步骤S4中，所述基于粒子群搜索的边缘关联算法中，粒子的适应度函数的计算公式为：

其中，

表示所有设备最佳的关联策略，

m表示当前MBS的序号。

5.根据权利要求4所述的用于工业物联网场景中的数字孪生辅助任务卸载方法，其特征在于：步骤S5中，所述的基于DDPG的任务划分算法中状态空间、动作空间和奖励函数定义如下：

状态空间：系统的状态由四部分组成，

其中，n表示当前时隙，w_k[n]表示当前时隙设备k所产生的计算任务，ε_k[n]表示是时隙n设备k的关联状态，

表示在当前时隙设备k所产生的计算任务的类型；

动作空间：系统状态主要由三部分组成，

其中，n表示当前时隙，τ_k[n]表示设备k的子任务在本地执行的划分比例，υ_k,m[n]表示将设备k的子任务卸载给MBS执行的划分比例，ω_k,m,b[n]表示将设备k的子任务通过MBS卸载给BS执行的划分比例；通过智能体对环境执行动作之后，环境的状态将转换到下一个状态；

奖励函数：在每个时隙，智能体在执行每个可能的动作a[n]后，将在当前状态s[n]下获取奖励r[n+1]；奖励函数定义为：

其中，θ表示惩罚函数且

当设备k的任务计算时间超过其所允许的最大时间，则θ为正整数，否则θ＝0。

6.根据权利要求1所述的用于工业物联网场景中的数字孪生辅助任务卸载方法，其特征在于：步骤S6中，判断BS中当前时隙的任务卸载策略是否学习完成，若已完成，则由BS将任务卸载策略发送至对应的物理网络中的IIoT设备根据所获取的卸载策略执行任务卸载操作。

Images