CN112486690A - 一种适用于工业物联网的边缘计算资源分配方法 - Google Patents

Abstract

本发明涉及边缘计算技术领域，特别涉及一种适用于工业物联网的边缘计算资源分配方法，包括构建工业边缘计算模型的状态空间、动作空间和奖励函数；利用初选规则挑选出优质的转发路径集合和计算节点集合作为动作空间的执行方案；利用ε‑Greedy从动作空间中选择执行的动作，并根据奖励函数计算执行该动作的奖励；当前网络和目标网络根据选择的动作以及该动作的奖励进行迭代更新，若当前网络的Q值与目标网络的Q值接近时，完成训练输出当前资源分配方案；本发明能够满足因边缘服务器之间的差异，所带来的资源不平衡，通过该方法能够动态地均衡负载资源并有效的减少设备任务的传输和处理时间。

Description

一种适用于工业物联网的边缘计算资源分配方法

技术领域

本发明涉及边缘计算技术领域，特别涉及一种适用于工业物联网的边缘计算资源分配方法。

背景技术

边缘计算是指在靠近物或数据源头的一侧，采用网络、计算、存储、应用核心能力为一体的开放平台，就近提供灵活可靠的计算服务。边缘计算的资源分配是指将边缘侧，自持有的分布式资源进行充分利用，缓解中心式服务器数据处理的压力，加快数据的处理能力和服务响应能力。

工业物联网迅速发展，终端设备的感知能力也随之不断增强，其感知数据的规模和复杂度也呈现出了爆炸式增长的趋势。这导致了传统的基于“中心交付方式”的云计算服务模式难以适应该趋势。终端设备数据的爆炸式增长也加剧了网络负载，严重影响服务质量，导致低响应时延、网络拥塞等问题。同时，在工业4.0浪潮的推动下，制造业终端设备间的通信提出了更高的需求。通过整合工业网络边缘上的计算、存储、网络等形成统一的平台为工业用户提供服务,这使得边缘设备能够通过基础网络实现设备互联，从而进行数据的相互收集与交换，同时更加便捷地调用边缘侧的计算资源以此提升数据的处理能力。在现有的边缘计算研究领域当中，大多考虑任务处理的实时性问题，而忽略了全局资源的均衡分配。

发明内容

为了解决因边缘服务器之间的差异所带来的资源不平衡，有效减少设备任务的传输和处理时间，本发明提出一种适用于工业物联网的边缘计算资源分配方法，如图1，具体包括以下步骤：

构建工业边缘计算模型的状态空间、动作空间和奖励函数；

利用初选规则挑选出优质的转发路径集合和计算节点集合作为动作空间的执行方案；

利用ε-Greedy从动作空间中选择执行的动作，并根据奖励函数计算执行该动作的奖励；

当前网络和目标网络根据选择的动作以及该动作的奖励进行迭代更新，若当前网络的Q值与目标网络的Q值接近时，完成训练输出当前资源分配方案。

进一步的，利用初选规则挑选出优质的转发路径集合时，对所有可进行任务传输的路径的性能参数进行计算，根据评选规则对所有传输路径进行评估，评估值越大其性能越好，选出评估值最大的K条路径构成最优路径组合，该评估值表示为：

其中，

为传输路径Path_n的评估值；ε为计算任务对任务卸载传输路径时延的要求，1-ε是计算任务对任务卸载传输路径丢包率的要求；

为传输路径Path_n的时延评价；

为传输路径Path_n的丢包率评价。

进一步的，利用初选规则挑选出优质的计算节点集合时，对所有可进行任务计算的边缘计算节点处理任务的时延参数进行计算，根据评选规则对所有可支持计算的节点进行评估，选取计算节点处理任务的综合时延T_devtask最小的j个节点作为最优节点组合，所述计算节点处理任务的综合时延表示为：

T_devtask(dev_i,node_j)＝T_compute(dev_i,node_j)+T_que(dev_i,node_j)；

其中，T_devtask(dev_i,node_j)为计算任务dev_i在计算节点node_j上的综合时延；T_compute(dev_i,node_j)为计算任务dev_i在计算节点node_j上的计算时间；T_que(dev_i,node_j)为计算任务dev_i在计算节点node_j的排队时延。

进一步的，动作空间是指在状态S下智能体能选取的所有动作集合，动作集合可以表示为：A＝{Epn_1,1,Epn_1,2,...,Epn_1,m,Epn_2,1,Epn_2,2,..,Epn_n,m}，Epn_n,m表示任务通过路径path_n卸载到计算节点node_m。

进一步的，利用ε-Greedy从动作空间中选择执行的动作时，可能执行的k*j种动作方案，以非零几率进行初始化，以1-ε的几率选择最好的状况，以ε的几率随机选择行动，其具体决策结果为：

其中，π(a|s)是动作策略选择函数；k为挑选出的路径数量；j为挑选出的节点数量；ε为执行动作价值最高动作的概率；A^*为argmax_aQ(s,a^fine)智能体所认为的最优动作，Q(s,a^fine)为所挑选出动作的价值函数。

进一步的，根据奖励函数计算执行动作的奖励表示为：

其中，

为链路link_i带宽利用率，

为边缘计算节点node_i计算资源利用率，

与β分别为网络资源设备负载均衡权重系数和计算资源设备负载均衡权重系数；违背约束条件指资源分配不均衡导致任务卸载失败；n为链路的数量，m为计算节点的数量。

进一步的，当前网络和目标网络根据选择的动作以及该动作的奖励进行迭代更新包括：动作集合输入当前网络和目标网络进行训练时，当前网络每更新d次，目标网络则复制当前网络中的网络参数更新一次，目标网络的Q值根据当前网络中Q值进行训练更新得到，当前网络的Q值接近目标网络的Q值时，即两个网路的差值小于一个设置的阈值，完成训练。

进一步的，网络当前的Q值表示为：

Q(s,a)_new＝Q(s,a)_old+α[Re(s,a)+γmaxQ'(s',a')-Q(s,a)_old]；

其中，Q(s,a)_new为给定状态s下行动a的Q值，Q(s,a)_old为当前状态下的得Q值，α为学习率；Re(s,a)为在状态s下执行动作a所获得的奖励；γ为折扣因子；Q'(s',a')在新状态s'下所能获取的最大Q值。

本发明能够满足因边缘服务器之间的差异，所带来的资源不平衡，通过该方法能够动态地均衡负载资源并有效的减少设备任务的传输和处理时间。

附图说明

图1是本发明实施例提供的一种适用于工业物联网的边缘计算资源分配方法的流程图；

图2是本发明实施例提供的一种适用于工业物联网的边缘计算资源分配方法的基于深度强化学习模型结构图；

图3是本发明实施例提供的一种适用于工业物联网的边缘计算资源分配方法的边缘计算网络结构图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本发明提出一种适用于工业物联网的边缘计算资源分配方法，如图1，包括以下步骤：

构建工业边缘计算模型的状态空间、动作空间和奖励函数；

利用初选规则挑选出优质的转发路径集合和计算节点集合作为动作空间的执行方案；

利用ε-Greedy从动作空间中选择执行的动作，并根据奖励函数计算执行该动作的奖励；

当前网络和目标网络根据选择的动作以及该动作的奖励进行迭代更新，当当前网络的Q值与目标网络的Q值接近时，完成训练输出当前资源分配方案。

在本实施例中，根据工业边缘侧，资源分布情况，将现场资源分为3层，其网络结构图如图2所示，包括现场设备层、网络传输层和边缘计算节点层。现场设备层，实现工厂设备状态监督、产品产量计量以及生产数据采集等，并随机产生计算任务请求。网络传输层由支持SDN的OpenFlow交换机、路由转发节点和控制器组成，集成边缘侧的网络传输资源，并提供数据传输服务。边缘计算节点层由具备计算能力的边缘计算节点和边缘计算服务器组成，集成边缘侧的计算资源，并提供数据处理服务。

在本实施例中，工业边缘计算模型的状态空间、动作空间和奖励函数的构建分别包括：

(1)定义状态空间：在时刻t智能体感知的环境参数为E^(t)＝[Path^(t),Node^(t)]，定义E^(t)为环境在t时刻的观测，Path^(t)为在t时刻所有传输链路的观测，Node^(t)为在t时刻所有计算节点的观测，元素的具体定义如下：

由所有可进行传输任务的路径构成的向量；

由所有可进行任务计算的节点构成的向量；

初始时刻的状态空间定义S＝{Epn_1,1,Epn_1,2,...,Epn_1,m,Epn_2,1,Epn_2,2,..,Epn_n,m}，其中Epn_n,m表示在传输路径path_n下，将计算任务卸载到计算节点node_m的网络和计算资源状态。

(2)定义动作空间：动作空间是指在状态S下智能体能选取的所有动作集合，本模型定义的动作集A＝{Epn_1,1,Epn_1,2,...,Epn_1,m,Epn_2,1,Epn_2,2,..,Epn_n,m}，其中Epn_n,m表示计算任务通过路径path_n卸载到计算节点node_m。

(3)定义奖励函数：奖励函数用于评价当前状态下，智能体动作的优劣，本方法将执行动作后设备资源利用率是否均衡作为评价指标，本模型定义的奖励函数如下：

其中，

为链路link_i带宽利用率，

为边缘计算节点node_i计算资源利用率，

与β分别为网络资源设备负载均衡权重系数和计算资源设备负载均衡权重系数，可根据实际情况当网络资源严重分配不均时加大

的值

这里的约束条件指资源分配不均衡导致计算任务卸载失败。

利用初选规则挑选出优质的转发路径集合和计算节点集合，作为动作空间的执行方案，具体包括以下：

(1)设计基于链路性能感知的综合评价传输路径模型：首先对所有可进行任务传输的路径其性能参数进行计算，再根据评选规则对所有传输路径进行评估，挑选出性能较好的传输路径，具体包括以下步骤：

获取所有能进行任务传输的路径，将其表示为path＝[path₁,path_2,,...,path_n]；

每条传输路径又可由多条传输链路组成，定义每条传输路径组成path_n＝[link₁,link₂,...,link_n]；

将链路的时延和丢包率作为影响传输路径的主要参数，定义为：link_n＝{ld,lr}；

每条传输路径的时延由组成该路径的所有链路时延link_n.ld决定，将计算路径的时延定义为：

每条传输路径的丢包率由组成该路径的所有链路丢包率link_n.lr决定，将路径丢包率定义为：

将每条传输路径的时延评价定义为：

其中，path.ld_max与path.ld_min分别为所有传输路径中的最大时延和最小时延。

将每条传输路径的丢包率评价，定义为

其中，path.lr_max与path.lr_min分别为所有传输路径中的最大丢包率和最小丢包率。

对每条传输路径进行综合评价，定义为：

传输路径的综合评价值

越大，代表该条传输路径性能越好，通过

挑选出前k条最优路径组合Path^fine＝[path₁,path₂,...,path_k]，k根据实际情况进行调整，若前期训练需要大量样本可增大k值。

(2)设计基于任务卸载时延的综合评价计算节点模型，计算所有可进行任务计算的边缘计算节点处理任务的时延参数，再根据评选规则对所有可支持计算的节点进行评估，倘若计算节点处理任务的综合时延T_devtask远小于计算任务最大容忍时延T_{dev_delay}，则挑选符合条件的计算节点，具体包括：

将计算节点处理任务的综合时延T_devtask，作为计算任务在计算节点上的计算时间T_compute，与计算任务在计算节点中的排队时间T_que之和，定义为：

T_devtask(dev_i,node_j)＝T_compute(dev_i,node_j)+T_que(dev_i,node_j)；

其中dev_i为现场设备层发出的任务请求，node_j为可执行计算任务的边缘计算节点。

定义计算任务在计算节点上的计算时间T_compute为：

其中，f_j为边缘计算节点node_j的CPU处理速度，λ_e定义为完成计算任务e所需要的边缘计算节点CPU的周期数。

定义计算任务在计算节点中的排队时间T_que为：

其中，边缘计算节点node_j中，等待处理的任务为集合{q₁,q₂,..,q_n}，q_k为任务集合中的第k个任务，k＝1,2,…,n。

根据评判准则，边缘计算节点处理任务的综合时延T_devtask越小，则该节点的性能越优越，挑选出前j个最优节点组合Node^fine＝[link₁,link₂,…,link_j]，j据实际情况进行调整，若前期训练需要大量样本可增大j值。

通过该评价体系可挑选出k条转发路径集和j个边缘计算节点集，对于动作a可以有k*j种动作方案，在执行任务时组成优选动作集A^fine(s)＝{Epn_1，1，Epn_1，2，...，Epn_1，k，Epn_2，1，Epn_2，2，...，Epn_k，j}。

(3)动作a最终执行的动作，采用广泛使用的ε-Greedy策略，一开始将可能执行的k*j种动作方案，以非零几率进行初始化，以1-ε的几率选择最好的状况，以ε的几率随机选择行动，其具体决策结果为：

其中，A^*指的是argmax_aQ(s,a^fine)智能体所认为的最优动作。

在模型中执行选择的动作，更新执行当前动作后的状态并返回奖励值，具体包括以下步骤：

利用ε-Greedy从动作空间中选择执行的动作，智能体完成动作，更新当前状态

环境回报值r由奖励函数Re得出：

其中，

为链路link_i带宽利用率，由该链路交换机的数据流所占带宽data_i.bw/总吞吐量throughput所得，

为计算节点node_i计算资源利用率，由CPU执行非空闲进程的时间/CPU总的执行时间所得。

使用DQN模型进行模型训练，其具体模型结构如图3所示，任务执行时将当前网络和计算资源的状态情况作为输入，经过神经网络分析执行相应动作后，输出为执行不同动作后的状态价值函值，模型进行训练的过程具体包括以下步骤：

创建一个大小为N的记忆库M，当前状态为s，智能体根据动作执行策略完成动作a后，根据奖励值函数反馈奖励值r，此时下一个环境状态更新为s'，将产生的四元组＜s,a,r,s'＞存储到记忆库M中，若超出记忆库M的容量则覆盖掉最老的经验样本；之后随机抽取一部分样本更新网络参数；

为了避免对动作的过估计，引入当前Q网络Q^present和目标Q网络Q^target对模型进行训练，当前Q网络Q^present每更新d次，目标Q网络Q^target则复制Q^present的网络参数更新一次，Q^target的目标Q值由Q^present中最大Q值所对应的动作决定，Q^target的目标Q值更新公式如下：

y_t＝r_t+γ*Q^target(s_t+1,argmax_aQ^present(s_t+1,a；w^present)；w^target)；

其中，γ表示折扣因子，argmax_aQ^present表示Q^present中最大Q值所对应的动作，w^present表示Q^present的网络参数，w^target表示Q^target的网络参数。

经过大量训练后，当前Q值接近于目标Q值时，训练结束，将损失函数Loss(w^present)可定义为：Loss(w^present)＝E[(y_t-Q(s_t,a；w^present))]²。

在更新Q值时，网络当前的Q值表示为：

Q(s,a)_new＝Q(s,a)_old+α[Re(s,a)+γmaxQ'(s',a')-Q(s,a)_old]；

其中，Q(s,a)_new为给定状态s下行动a的Q值，Q(s,a)_old为当前状态下的得Q值，α为学习率；Re(s,a)为在状态s下执行动作a所获得的奖励；γ为折扣因子；Q'(s',a')在新状态s'下所能获取的最大Q值。

尽管已经示出和描述了本发明的实施例，对于本领域的普通技术人员而言，可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由所附权利要求及其等同物限定。

Claims (8)

1.一种适用于工业物联网的边缘计算资源分配方法，其特征在于，具体包括以下步骤：

构建工业边缘计算模型的状态空间、动作空间和奖励函数；

利用初选规则挑选出优质的转发路径集合和计算节点集合作为动作空间的执行方案；

利用ε-Greedy从动作空间中选择执行的动作，并根据奖励函数计算执行该动作的奖励；

当前网络和目标网络根据选择的动作以及该动作的奖励进行迭代更新，若当前网络的Q值与目标网络的Q值接近时，完成训练输出当前资源分配方案。

2.根据权利要求1所述的一种适用于工业物联网的边缘计算资源分配方法，其特征在于，利用初选规则挑选出优质的转发路径集合时，对所有可进行任务传输的路径的性能参数进行计算，根据评选规则对所有传输路径进行评估，评估值越大其性能越好，选出评估值最大的K条路径构成最优路径组合，该评估值表示为：

其中，

为传输路径Path_n的评估值；ε为计算任务对任务卸载传输路径时延的要求；

为传输路径Path_n的时延评价；

为传输路径Path_n的丢包率评价。

3.根据权利要求1所述的一种适用于工业物联网的边缘计算资源分配方法，其特征在于，利用初选规则挑选出优质的计算节点集合时，对所有可进行任务计算的边缘计算节点处理任务的时延参数进行计算，根据评选规则对所有可支持计算的节点进行评估，选取计算节点处理任务的综合时延T_devtask最小的j个节点作为最优节点组合，所述计算节点处理任务的综合时延表示为：

T_devtask(dev_i,node_j)＝T_compute(dev_i,node_j)+T_que(dev_i,node_j)；

其中，T_devtas(_kdev,_inode)_j为计算任务dev_i在计算节点node_j上的综合时延；T_compute(dev_i,node_j)为计算任务dev_i在计算节点node_j上的计算时间；T_que(dev_i,node_j)为计算任务dev_i在计算节点node_j上的排队时延。

4.根据权利要求1所述的一种适用于工业物联网的边缘计算资源分配方法，其特征在于，动作空间是指在状态S下智能体能选取的所有动作集合，动作集合可以表示为：A＝{Epn_1,1,Epn_1,2,...,Epn_1,m,Epn_2,1,Epn_2,2,..,Epn_n,m}，Epn_n,m表示任务通过路径path_n卸载到计算节点node_m。

5.根据权利要求1所述的一种适用于工业物联网的边缘计算资源分配方法，其特征在于，利用ε-Greedy从动作空间中选择执行的动作时，可能执行的k*j种动作方案，以非零几率进行初始化，以1-ε的几率选择最好的状况，以ε的几率随机选择行动，其具体决策结果为：

其中，π(a|s)是动作策略选择函数；k为挑选出的路径数量；j为挑选出的节点数量；ε为执行动作价值最高动作的概率；A^*为argmax_aQ(s,a^fine)智能体所认为的最优动作，Q(s,a^fine)为所挑选出动作的价值函数。

6.根据权利要求1所述的一种适用于工业物联网的边缘计算资源分配方法，其特征在于，根据奖励函数计算执行动作的奖励表示为：

其中，

为链路link_i带宽利用率，

为边缘计算节点node_i计算资源利用率，

与β分别为网络资源设备负载均衡权重系数和计算资源设备负载均衡权重系数；违背约束条件指资源分配不均衡导致任务卸载失败；n为链路的数量，m为计算节点的数量。

7.根据权利要求1所述的一种适用于工业物联网的边缘计算资源分配方法，其特征在于，当前网络和目标网络根据选择的动作以及该动作的奖励进行迭代更新包括：动作集合输入当前网络和目标网络进行训练时，当前网络每更新d次，目标网络则复制当前网络中的网络参数更新一次，目标网络的Q值根据当前网络中Q值进行训练更新得到，当前网络的Q值接近目标网络的Q值时，即两个网路的差值小于一个设置的阈值，完成训练。

8.根据权利要求7所述的一种适用于工业物联网的边缘计算资源分配方法，其特征在于，网络当前的Q值表示为：

Q(s,a)_new＝Q(s,a)_old+α[Re(s,a)+γmaxQ'(s',a')-Q(s,a)_old]；

其中，Q(s,a)_new为给定状态s下行动a的Q值，Q(s,a)_old为当前状态下的得Q值，α为学习率；Re(s,a)为在状态s下执行动作a所获得的奖励；γ为折扣因子；Q'(s',a')在新状态s'下所能获取的最大Q值。

Images