CN116595575A - 一种面向边缘智能控制器的依赖任务卸载和隐私保护方法 - Google Patents

Abstract

本发明公开了一种面向边缘智能控制器的依赖任务卸载和隐私保护方法，针对边缘智能控制器的隐私保护卸载所面临的挑战，本发明的内容在于提出了基于Seq2Seq的深度强化学习依赖任务卸载算法，在考虑边缘智能控制器的应用任务之间的依赖关系和网络动态变化等因素，实现依赖任务实时高效卸载调度同时保护边缘控制器的隐私数据，减少任务处理总的时延和能耗，最大化用户服务质量。

Description

一种面向边缘智能控制器的依赖任务卸载和隐私保护方法

技术领域

本发明涉及智能控制器的技术领域，具体涉及一种面向边缘智能控制器的依赖任务卸载和隐私保护方法。

背景技术

工业物联网(Industrial Internet of Things,IIOT)的边缘智能控制器(Edgeintelligent controller,EIC)广泛用于监控和控制智能制造过程。边缘智能控制器的智能实时运行是一个不可忽略的问题，它时刻影响着整个边缘智能系统的安全与可靠。计算卸载是边缘控制器智能实时运行的关键技术之一，它将计算密集型任务从本地设备发送到边缘服务器执行，利用边缘服务器丰富的计算和存储资源扩展边缘智能控制器的算力。智能工业控制系统大多涉及计算密集型任务，由于资源受限的EIC难以为卸载调度任务提供所期望的服务质量(Quality of Service,QoS),调度任务需要卸载到边缘服务器执行。

目前国内外针对边缘控制器的计算资源调度问题展开了深入的研究，然而现有的方法不完全适用于工业控制场景，主要问题包括：①目前提出的计算资源调度方法大多设定任务是独立的，却忽略了应用组件之间的依赖关系，并且很少考虑如何降低时延和提高用户的服务质量问题；②现有的计算卸载方法存在固定的任务卸载类型、频次等所导致的边缘控制器隐私泄露问题。因此研究面向边缘智能控制器的计算卸载方法不仅要考虑如何降低时延和提高服务质量，还要兼顾保护任务调度过程中涉及敏感信息，对边缘智能控制系统的安全高效运行具有重大意义。

工业边缘计算中的任务卸载问题是NP难的，大部分研究采用启发式算法来获得卸载决策，然而，启发式算法有许多缺点，例如陷入局部最优解。当状态和动作空间太大时，算法的效率很低。智能工业控制系统存在着大量得多元异构设备，任务调度问题高维度。因此，它不适用于日益复杂的动态边缘计算场景。

深度强化学习(Deep Reinforcement Learning,DRL)将强化学习(ReinforcementLearning,RL)与深度神经网络(Deep neural networks,DNN)相结合，是一种在没有专家知识的情况下实现灵活自适应任务卸载的有前途的方法。DRL通过与环境的互动学习有效的政策(即从环境状态到行动的映射)，以最大限度地提高数字奖励。强化学习算法存在一个固有缺陷，算法的值函数容易被逆强化学习推理出来。值函数包含智能体在给定状态下选择卸载动作的偏好的敏感信息。利用这一缺陷，一旦存储在边缘服务器中的经验泄露给对手，攻击者就可以在策略学习过程中推断出价值函数，很容易获得边缘智能控制器上任务卸载类型，频次，导致隐私泄露问题。

发明内容

S1：构建工业边缘计算系统模型以及边缘智能控制器计算耗费模型和边缘执行耗费模型；

S2：将依赖任务卸载问题描述为马尔科夫决策过程；

S3：依赖任务卸载问题转化为Seq2Seq神经网络模型预测问题；

S4：训练Seq2Seq神经网络输出最优卸载决策序列，决定依赖任务本地执行或卸载到边缘服务器计算。

优选的，所述S1中，工业边缘计算系统模型包含系统网络模型和计算任务模型，其中所述系统网络模型包括依次连接的终端层、边缘层和边缘应用层。

更优的，所述边缘层包括边缘服务器，所述边缘应用层包括边缘智能控制器和终端设备，其中边缘服务器、边缘智能控制器和终端设备组成工业边缘计算系统，一组工业终端设备通过有线传输方式将计算任务卸载到边缘智能控制器，每个边缘智能控制器为一组设备提供计算资源、存储资源和通信资源。

更优的，所述计算任务模型中，将依赖任务建模成有向无环图DAG，其中G＝(V,E)，顶点集V表示任务，|V|＝N代表一个DAG任务中任务的总数N，一个计算DAG子任务表示为v_i(i＝1,2,...,n,N)，有向边E集合代表任务间的依赖关系，e(v_i,v_j)∈E代表任务v_j的计算依赖于v_i，v_i是v_j的前向子任务，v_j是v_i的后续子任务。任务v₁的执行必须等待前向任务v₀计算完成，v₀是入口任务，v₉是出口任务，一个DAG任务允许有多个入口和出口任务，v₃和v₁并行计算。

更优的，所述DAG任务执行完成的成本包括时延和能耗，其中成本消耗受到计算节点选择的影响。

优选的，所述S2中，把依赖任务卸载问题建模成马尔可夫决策过程，MDP的状态空间，动作空间和奖励函数。

优选的，所述S3中，Seq2Seq神经网络模型包括编码器和解码器，卸载问题转换为S2S预测问题，其中输入是任务嵌入的序列，输出是任务的卸载决策序列。

优选的，所述S4中，使用强化学习算法训练Seq2Seq神经网络模型，将任务配置信息和部分卸载决策嵌入神经网络，输出是卸载决策序列。

本发明与现有技术相比，还存在以下优点：

(1)提出了将边缘智能控制器中的依赖任务卸载模型建模成马尔可夫决策过程，将依赖任务建模成DAG图。依赖任务在本地或卸载到边缘服务器执行。计算资源可以根据任务计算量和依赖关系动态分配，以满足动态卸载场景。

(2)设计的基于Seq2Seq的深度强化学习任务卸载算法，可以动态适应卸载环境变化。具体来说，Seq2Seq神经网络模型是由注意力机制和GRU相结合设计的，该模型通过编码卸载决策序列来探索子任务关系，通过向输入序列展示不同的偏好决定卸载决策。

(3)将差分噪声添加到强化学习算法的探索和策略更新过程中，这可以通过保护强化学习算法中的价值函数为边缘智能控制器提供隐私保护。

附图说明

利用附图对本发明作进一步说明，但附图中的实施例不构成对本发明的任何限制，对于本领域的普通技术人员，在不付出创造性劳动的前提下，还可以根据以下附图获得其它的附图。

图1是本发明一种面向边缘智能控制器的依赖任务卸载和隐私保护方法的实现流程图；

图2是本发明计算任务模型结构图；

图3是本发明Seq2Seq模型结构图。

具体实施方式

以下结合具体实施例对一种面向边缘智能控制器的依赖任务卸载和隐私保护方法作进一步的详细描述，这些实施例只用于比较和解释的目的，本发明不限定于这些实施例中。

本发明的算法流程如图1所示；一种面向边缘智能控制器的依赖任务卸载和隐私保护方法，具体步骤包括：

S1：构建工业边缘计算系统模型以及边缘智能控制器计算耗费模型和边缘执行耗费模型；

S2：将依赖任务卸载问题描述为马尔科夫决策过程；

S3：依赖任务卸载问题转化为Seq2Seq神经网络模型预测问题；

S4：训练Seq2Seq神经网络输出最优卸载决策序列，决定依赖任务本地执行或卸载到边缘服务器计算。

优选的，所述S1中，工业边缘计算系统模型包含系统网络模型和计算任务模型，其中所述系统网络模型包括依次连接的终端层、边缘层和边缘应用层。

更优的，所述边缘层包括边缘服务器，所述边缘应用层包括边缘智能控制器和终端设备，其中边缘服务器、边缘智能控制器和终端设备组成工业边缘计算系统，一组工业终端设备通过有线传输方式将计算任务卸载到边缘智能控制器，每个边缘智能控制器为一组设备提供计算资源、存储资源和通信资源。

更优的，所述计算任务模型中，将依赖任务建模成有向无环图DAG，其中G＝(V,E)，顶点集V表示任务，|V|＝N代表一个DAG任务中任务的总数N，一个计算DAG子任务表示为v_i(i＝1,2,...,n,N)，有向边E集合代表任务间的依赖关系，e(v_i,v_j)∈E代表任务v_j的计算依赖于v_i，v_i是v_j的前向子任务，v_j是v_i的后续子任务。任务v₁的执行必须等待前向任务v₀计算完成，v₀是入口任务，v₉是出口任务，一个DAG任务允许有多个入口和出口任务，v₃和v₁并行计算。

计算任务模型如图2所示，在实际工业物联网场景中，一些工业应用任务通常包含大量的计算任务，这些任务相互依赖共同完成整个任务，将其构成有向无环图(directedacyclic graphs,DAG)后，一个完整DAG任务执行完成的成本包含时延和能耗两个方面，任务本地执行(在边缘智能控制器计算)或卸载到边缘服务器计算，成本消耗受到计算节点选择的影响。

更优的，所述DAG任务执行完成的成本包括时延和能耗，其中成本消耗受到计算节点选择的影响。

如果一个任务执行卸载执行，分为任务发送、卸载执行和结果回传三个阶段。对于每一个任务v_i∈V，卸载到边缘服务器执行所要发送数据量和执行结果返回数据量/>执行任务v_i所需要周期数C_i。R_ul是发送速率，卸载任务发送到边缘服务器的时延边缘服务器的频率为f_s，卸载执行时延T_i,s＝C_i/f_s。计算任务在边缘服务器执行完成，结果回传时延/>在本地执行任务只存在执行时延，边缘智能控制器的频率为f_e，执行时延T_i,e＝C_i/f_e。设定AT_ul、AT_s、AT_dl、AT_e为任务发送可用时刻、边缘服务器执行可用时刻、结果回传可用时刻和边缘控制器执行可用时刻。同样，CT_ul、CT_s、CT_dl、CT_e为任务发送完成时刻、边缘执行完成时刻、结果回传完成时刻和本地计算完成时刻。当任务v_i∈V在边缘智能控制器计算，CT_ul、CT_s、CT_dl的值没有意义，均设定为0；当任务v_i∈V卸载到边缘服务器执行，CT_e＝0。资源可用时刻由调度任务v_i的所有前向子任务最大完成时刻决定。对于一个DAG任务，给定卸载决策序列Λ_1:N＝{Λ₁,Λ₂,...,Λ_N}(i＝1,2,...,N)，当Λ_i＝1时，任务v_i∈V卸载到边缘服务器，当Λ_i＝0时，任务v_i本地执行。

对于边缘智能控制器耗费模型包含本地计算时延和能量消耗。根据卸载决策，调度任务v_i在边缘智能控制器计算。v_i的前向任务集合pre(v_i)内所有子任务已调度完成，并且CPU可用。并且v_i的前向子任务或者在边缘智能控制器运行，或者在边缘服务器执行。因此任务v_i在本地计算完成时延CT_i,e定义如下：

AT_i,e＝max{AT_i-1,e,CT_i-1,e}

当任务在边缘智能控制器执行时，不需要发送任务数据，故只有计算能耗CE_i,e，ξ是能量相关系数，与CPU架构有关。

边缘计算耗费模型包含了卸载执行时延和能量消耗。上述定义任务v_i卸载到边缘服务器执行有三个阶段。在任务发送阶段，紧靠任务v_i的前向子任务v_j的任务发送完成时刻CT_j,ul。如果v_j在本地执行，v_i要等待v_j计算完成才能开始发送阶段。如果v_j卸载远程执行，v_i要等待v_j发送阶段完成开始发送。因此，v_i的数据发送完成时间为CT_i,ul。

AT_i,ul＝max{AT_i-1,ul,CT_i-1,ul}

在卸载执行阶段，任务v_i必须满足三个条件才能开始运行。首先v_i的发送阶段完成，其次v_i的所有前向子任务执行结束，最后边缘服务器有空闲资源提供计算服务。v_i的卸载执行时延CT_i,s计算如下：

AT_i,s＝max{AT_i-1,s,CT_i-1,s}

在计算结果回传阶段，任务v_i必须在边缘服务器计算完成。结果回传时延为CT_i,dl。

CT_i,dl＝max{AT_i,dl,CT_i,s}+T_i,dl

AT_i,dl＝max{AT_i-1,dl,CT_i-1,dl}

当任务在边缘服务器执行，在边缘智能控制器上没有能耗，能量消耗只存在于有线传输，设定边缘智能控制器的发送和接收功率为P_T和P_R。传输能耗TE_i,e

TE_i,e＝P_T·T_i,ul+P_R·T_i,dl

根据以上叙述，对于一个DAG任务，在给定卸载决策序列Λ_1:N＝{Λ₁,Λ₂,...,Λ_N}(i＝1,2,...,N)，计算任务的总时延T_Λ1:N和总能耗E_Λ1:N如下。

服务质量是衡量卸载决策是否最好的有效标准，我们定义时延和能耗加权和为总消耗COST_Λ1:N表示服务质量，目的是最小化总消耗即最大化服务质量。W_T∈[0,1]和W_E∈[0,1]是时延能耗权衡因子，W_T+W_E＝1。对于边缘智能控制器上的时延敏感任务(逻辑控制和运动控制)，我们可以设置W_T＝1,W_E＝0。对于能量敏感型任务(智能优化、目标检测和优化控制)，则W_T＝0.5,W_E＝0.5。

COST_Λ1:N＝W_T·T_Λ1:N+W_E·E_Λ1:N

优选的，所述S2中，把依赖任务卸载问题建模成马尔可夫决策过程，MDP的状态空间，动作空间和奖励函数。

状态空间：当我们调度任务v_i时，工业边缘计算系统的状态取决于v_i前向子任务集合的卸载结果(部分卸载决策序列)和子任务v_i的拓扑和配置信息(例如计算资源和数据依赖性)。我们定义状态空间S包含部分卸载决策序列Λ_1:i、任务配置信息和依赖关系为状态信息。Λ_1:i表示v_i的前向所有子任务的卸载决策序列。C_i＝{T_i,e,T_i,ul,T_i,s,T_i,dl}任务调度预估消耗代价。紧挨着v_i前向子任务集合pre(v_i)和后续子任务集合succ(v_i)。

S＝{s|s＝{Λ_1:i,C_i,pre(v_i),succ(v_i)}}

动作空间：任务v_i卸载到边缘服务器执行，或者在边缘智能控制器计算。当Λ_i＝0时，v_i在本地即边缘智能控制器运行。当Λ_i＝1，v_i远程卸载到边缘服务器执行。因此，对于每一个DAG子任务卸载动作空间Λ＝{0,1}。

奖励函数：我们卸载算法的目标就是最大化服务质量。为了达到目标，我们定义ΔT_i和ΔE_i为任务v_i在卸载决策Λ_i下计算的时延能耗增量。令T_e/N和E_e/N分别为DAG任务在边缘智能控制器上计算的平均时延和能耗。奖励函数定义：

ΔT_i＝T_Λi-T_Λi-1

ΔE_i＝E_Λi-E_Λi-1

优选的，所述S3中，Seq2Seq神经网络模型包括编码器和解码器，卸载问题转换为S2S预测问题，其中输入是任务嵌入的序列，输出是任务的卸载决策序列。

Seq2Seq模型是一种有效的范例，可以将输入信息序列反复编码为向量，并对其进行解码以生成输出。然而，当输入序列长度过长时，会造成严重的信息丢失。为了克服这个问题，添加了注意力机制，以允许解码器对输入序列的不同部分显示不同的偏好，并减轻信息损失。如附图3所示，所提出的Seq2Seq模型由编码器和解码器两部分组成。根据我们的MDP模型的定义，卸载问题可以转换为S2S预测问题，其中输入是任务嵌入的序列，输出是这些任务的卸载决策序列。

优选的，所述S4中，使用强化学习算法训练Seq2Seq神经网络模型，将任务配置信息和部分卸载决策嵌入神经网络，输出是卸载决策序列。

决定依赖任务本地执行或卸载到边缘服务器计算。为了最大化奖励函数，使用强化学习算法训练Seq2Seq神经网络。将任务配置信息和部分卸载决策嵌入神经网络，输出是卸载决策序列。为了提高性能和效率，采用近端策略优化(proximal policyoptimization,PPO),该算法将截断函数应用自己策略更新中，避免策略更新过大。

最后应当说明的是，以上实施例仅用以说明本发明的技术方案，而非对本发明保护范围的限制，尽管参照较佳实施例对本发明作了详细地说明，本领域的普通技术人员应当理解，可以对本发明的技术方案进行修改或者等同替换，而不脱离本发明技术方案的实质和范围。

Claims (8)

1.一种面向边缘智能控制器的依赖任务卸载和隐私保护方法，其特征在于，包括：

S1：构建工业边缘计算系统模型以及边缘智能控制器计算耗费模型和边缘执行耗费模型；

S2：将依赖任务卸载问题描述为马尔科夫决策过程；

S3：依赖任务卸载问题转化为Seq2Seq神经网络模型预测问题；

S4：训练Seq2Seq神经网络输出最优卸载决策序列，决定依赖任务本地执行或卸载到边缘服务器计算。

2.根据权利要求1所述的一种面向边缘智能控制器的依赖任务卸载和隐私保护方法，其特征在于，所述S1中，工业边缘计算系统模型包含系统网络模型和计算任务模型，其中所述系统网络模型包括依次连接的终端层、边缘层和边缘应用层。

3.根据权利要求2所述的一种面向边缘智能控制器的依赖任务卸载和隐私保护方法，其特征在于，所述边缘层包括边缘服务器，所述边缘应用层包括边缘智能控制器和终端设备，其中边缘服务器、边缘智能控制器和终端设备组成工业边缘计算系统，一组工业终端设备通过有线传输方式将计算任务卸载到边缘智能控制器，每个边缘智能控制器为一组设备提供计算资源、存储资源和通信资源。

4.根据权利要求2所述的一种面向边缘智能控制器的依赖任务卸载和隐私保护方法，其特征在于，所述计算任务模型中，将依赖任务建模成有向无环图DAG，其中G＝(V,E)，顶点集V表示任务，|V|＝N代表一个DAG任务中任务的总数N，一个计算DAG子任务表示为v_i(i＝1,2,...,n,N)，有向边E集合代表任务间的依赖关系，e(v_i,v_j)∈E代表任务v_j的计算依赖于v_i，v_i是v_j的前向子任务，v_j是v_i的后续子任务。任务v₁的执行必须等待前向任务v₀计算完成，v₀是入口任务，v₉是出口任务，一个DAG任务允许有多个入口和出口任务，v₃和v₁并行计算。

5.根据权利要求4所述的一种面向边缘智能控制器的依赖任务卸载和隐私保护方法，其特征在于，所述DAG任务执行完成的成本包括时延和能耗，其中成本消耗受到计算节点选择的影响。

6.根据权利要求1所述的一种面向边缘智能控制器的依赖任务卸载和隐私保护方法，其特征在于，所述S2中，把依赖任务卸载问题建模成马尔可夫决策过程，MDP的状态空间，动作空间和奖励函数。

7.根据权利要求1所述的一种面向边缘智能控制器的依赖任务卸载和隐私保护方法，其特征在于，所述S3中，Seq2Seq神经网络模型包括编码器和解码器，卸载问题转换为S2S预测问题，其中输入是任务嵌入的序列，输出是任务的卸载决策序列。

8.根据权利要求1所述的一种面向边缘智能控制器的依赖任务卸载和隐私保护方法，其特征在于，所述S4中，使用强化学习算法训练Seq2Seq神经网络模型，将任务配置信息和部分卸载决策嵌入神经网络，输出是卸载决策序列。