CN113032120A - 一种基于边缘计算的工业现场大数据任务协调度方法 - Google Patents

Abstract

本发明公开一种基于边缘计算的工业现场大数据任务协调度方法，S1：调度器获取任务量N_i、时延T_i；S2：对每个任务的优先级进行评定；S3:获取网络剩余带宽R和任务的上传速率L_i,L_i表示第i个任务的上传速率，按照优先级进行任务排队等待，并记录延时W_i；S4：获取调度器的任务调度阈值α，以及每台边缘服务器的计算信息，任务排队处理的数量l，排队等待延时

S5：根据系统资源状态、当前业务任务量和时延要求对任务进行协同调度。本发明通过边缘计算实现任务在终端与边缘服务器间的资源调度，实现工业现场任务在终端设备和边缘服务器的合理调度，充分考虑系统的计算资源，提高系统处理任务的能力，也能最小化系统的资源消耗量，提高任务调度的实时性。

Description

一种基于边缘计算的工业现场大数据任务协调度方法

技术领域

本发明涉及大数据技术领域，特别涉及一种基于边缘计算的工业现场大数据任务协调度方法。

背景技术

随着工业互联网和移动通信技术的快速发展，人脸识别、短视频流量、自动驾驶、无人机作业、工业检测等应用对计算量提出了更高需求，仅仅依靠目前的集中式云计算架构模型提供业务的计算能力是不够的，迫切需要以云为核心的计算架构向分布式计算服务架构拓展，而其中最具代表的就是以边缘计算，雾计算的模式。

随着大数据的产生，移动终端的计算能力也开始成上升趋势。根据数据的类型和业务质量需求对计算速度、处理能力提出更高的要求，对时延要求高的任务适合分布式处理机制，依靠云端处理，在网络负载很大的情况下，实时性得不到满足。因此需要依靠边缘计算将计算能力下沉，根据任务与实时性动态分配计算资源。

在工业现场环境下，存在各种传感器的数据，及其产生的相应指令要求和服务处理，在一定的程度上现场设备的计算能力是不足的，而数据量又呈现出复杂，庞大的趋势，很难仅依靠边缘终端设备计算来实现业务的逻辑；与此同时，复杂的工业现场，各种服务的响应需求是不一致的，对系统的响应能力、处理能力、吞吐能力都有着巨大的考验。

因此在工业互联网大数据场景下，任务的协同、资源的分配、数据的高效处理吸引许多学者的目光。传统研究点在于思考边缘节点的资源分配和利用，以及边缘和云端的协同调度，或者关注的是任务优先级问题。而这些方法存在弊端，要么只考虑到节点间的资源分配问题，要么就是只考虑任务优先级问题，并没有协同考虑，与此同时网路链路带宽对系统的影响也是存在的。

发明内容

针对现有技术中工业现场大数据任务协同调度实时性较低的问题，本发明提出一种基于边缘计算的工业现场大数据任务协调度方法，通过边缘计算实现任务在终端与边缘服务器间的资源调度，在满足资源最小的情况下，也能保证用户满意度，以满足多种工业生产过程中产生的实时性任务处理。

为了实现上述目的，本发明提供以下技术方案：

一种基于边缘计算的工业现场大数据任务协调度方法，具体包括以下步骤：

S1：调度器获取任务信息，任务信息包括任务量N_i、时延T_i，T_i表示第i个任务的时延要求；

S2：根据任务信息对每个任务的优先级进行评定LEVEL(i)(i∈1,2,3···N)；

S3:获取目前的网络链路信息，网络链路信息包括网络剩余带宽R和任务的上传速率L_i,L_i表示第i个任务的上传速率，按照优先级LEVEL(i)进行任务排队等待，即优先级高的优先上传，并记录延时W_i，W_i表示第i个任务的延时；

S4：获取调度器的任务调度阈值α，每台边缘服务器的计算信息，任务排队处理的数量l以及排队等待延时

S5：根据系统资源状态、当前业务任务量和时延要求对任务进行协同调度。

优选的，所述S3中，任务的上传速率L_i＜网络剩余带宽R。

优选的，所述S5具体包括以下步骤：

S5-1：分别计算任务分配到终端所需总时延

和任务分配到边缘服务器所需总时延

从而得到所有任务的最小资源消耗为cost_min：

公式(1)中，cost_min表示所有任务的最小消耗，N_i表示第i个任务的任务量，θ＝{0,1}表示终端计算力是否能在给定的时延下完成处理任务，C_uz、C_us分别表示单位时间在终端、服务器上任务执行所消耗的设备资源，即运行cpu数量、内存占据量和消耗电量；N_i/C_Z表示任务在终端的执行时延，N_i/C_S表示任务在边缘服务器的执行时延；

S5-2：构建损失函数，分别计算出任务分配到终端概率p_i和边缘服务器上的概率1-p_i，任务分配表示为

1表示分配到终端，0表示分配到服务器；

S5-3：计算在终端运行的所有任务的计算资源总消耗COST(Z)和在边缘服务器上运行的所有任务的计算资源总消耗COST(S)：

优选的，所述S5-2中，构建的损失函数为：

分别表示不同优先级任务在终端、服务器上的延时损失权重，λ表示任务资源消耗与时延间的权重因子，

表示任务分配到终端所需总时延，

表示任务分配到边缘服务器所需总时延。

优选的，所述S4中，所述边缘服务器的计算信息包括cpu核数和内存容量。

优选的，所述S2中，优先级LEVEL(i)(i∈1,2,3···N)包括时延要求越小，任务上传优先级越高；反之时延要求越大，任务上传优先级越低。

综上所述，由于采用了上述技术方案，与现有技术相比，本发明至少具有以下有益效果：

本发明通过边缘计算实现任务在终端与边缘服务器间的资源调度，实现工业现场任务在终端设备和边缘服务器的合理调度，充分考虑系统的计算资源，提高系统处理任务的能力，也能最小化系统的资源消耗量，避免资源分配不均衡而产生的计算等待行为；进行任务调度的时候考虑系统的执行状态和任务计算量，时延要求来进行最优调度，降低计算量从而提高任务调度的实时性；综合考虑构建新的优化目标，以实现系统的资源利用效率和用户满意度。

附图说明：

图1为根据本发明示例性实施例的一种基于边缘计算的工业现场大数据任务协调度方法示意图。

具体实施方式

下面结合实施例及具体实施方式对本发明作进一步的详细描述。但不应将此理解为本发明上述主题的范围仅限于以下的实施例，凡基于本发明内容所实现的技术均属于本发明的范围。

在本发明的描述中，需要理解的是，术语“纵向”、“横向”、“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。

如图1所示，本发明提供一种基于边缘计算的工业现场大数据任务协调度方法，具体包括以下步骤：

S1：终端发布任务{S＝S₁,S₂,...,S_N}，S_N表示第N个任务，则调度器获取任务信息，任务信息包括任务量N_i、时延要求{T＝T₁,T₂,...,T_N}等，T_N表示第N个任务的时延要求。即终端发布任务，最后分配到终端或边缘服务器。

S2:根据任务信息中的时延要求对每个任务的优先级进行评定LEVEL(i)(i∈1,2,3···N)，即时延要求越小，任务上传优先级越高；反之时延要求越大，任务上传优先级越低。这对后续的任务调度有影响，进一步体现用户的满意度。

S3:获取目前的网络链路信息，网络链路信息包括网络剩余带宽R和任务的上传速率L_i(任务上传速率需要满足L_i<R),L_i表示第i个任务的上传速率；当剩余带宽R不能满足所有任务的上传速率，则任务按照优先级LEVEL(i)进行排队等待即优先级高的优先上传，记录等待延时W_i，W_i表示第i个任务的等待延时。

S4：获取调度器的任务调度阈值α(即缓存队列中最大等待调度任务序列数，优先级高的任务在队首，调度命令开启时被优先调度)，以及每台边缘服务器的计算信息(计算信息包括cpu核数，内存容量)，目前服务器上正在排队等待处理的任务数量

排队等待延时

即任务从调度器分配到相应服务器后排队等待到处理执行任务的延时。

S5：根据系统资源状态、当前业务任务量和时延要求对任务进行协同调度。

本实施例中，具体地，S5包括以下步骤：

S5-1：考虑所有终端的计算能力均为C_Z，边缘服务器的计算能力为C_S，且每个任务只能在终端和边缘服务器其中一个上面运行，因此任务在终端的执行时延为N_i/C_Z，在边缘服务器上的执行时延为N_i/C_S。

把边缘服务器看成一个资源池，获取其剩余计算资源为L_S，终端剩余计算资源L_Z，任务分配到终端所需计算总时延为

在5G应用场景下下任务上传时间可以忽略不计，任务分配到边缘服务器计算总时延为

以及本身的任务时延要求T_i，计算所有任务的最小消耗为cost_min。

公式(1)中，cost_min表示所有任务的最小消耗，N_i表示第i个任务的任务量，θ＝{0,1}表示终端计算力是否能在给定的时延下完成处理任务，C_uz、C_us分别表示单位时间在终端、服务器上任务执行所消耗的设备资源，即运行cpu数量、内存占据量和消耗电量；N_i/C_Z表示任务在终端的执行时延，N_i/C_S表示任务在边缘服务器的执行时延。

S5-2：构建损失函数，并进行网络训练，通过梯度更新算法，分别计算出任务分配到终端概率p_i和边缘服务器上的概率1-p_i，通过对比p_i和1-p_i的大小，前者大，就把任务分配到终端执行，否则就将任务分配服务器上执行，具体表示为

1表示分配到终端，0表示分配到服务器上。

本实施例中，构建的损失函数为：

分别表示不同优先级任务在终端，服务器上的延时损失权重，θ表示任务资源消耗与时延间的权重因子，λ表示任务资源消耗与时延间的权重因子，

表示任务分配到终端所需总时延，

表示任务分配到边缘服务器所需总时延。

本发明通过对构建的损失函数训练，模型参数固定，通过模型前向传输即可得到，梯度更新公式如下，

δ表示学习率，

表示每次更新参数前进的步伐，

表示t时刻任务分配到终端概率。

S5-3：计算在终端运行的所有任务的计算资源总消耗COST(Z)和在边缘服务器上运行的所有任务的计算资源总消耗COST(S)。

本发明通过对网络的训练，更新网络参数，利用训练好的网络对调度器中等待被调度的任务序列获取每个任务进行前传计算出对应分配到终端和服务器的概率，调度器开始对调度队列依次分配到对应的位置上，即终端或者是服务器上。

本发明中，当每个任务从发起到执行完毕总共的时延(总任务的时延

)超过预设时延的时候，就需要对其在损失计算中乘上对应的损失权重来进行约束，即当总时延超过了预定时延，就会放大时延损失，优先级越高，对应的时延损失权重也就越大，其数值(即每个任务等待延时W_i)成指数级增长，从而约束网络寻求最优的分配策略。

本发明实现工业现场任务在终端设备和边缘服务器的合理调度，充分考虑系统的计算资源，提高系统处理任务的能力，也能最小化系统的资源消耗量，避免资源分配不均衡而产生的计算等待行为；进行任务调度的时候考虑系统的执行状态和任务计算量，时延要求来进行最优调度；综合考虑构建新的优化目标，以实现系统的资源利用效率和用户满意度。

本领域的普通技术人员可以理解，上述各实施方式是实现本发明的具体实施例，而在实际应用中，可以在形式上和细节上对其作各种改变，而不偏离本发明的精神和范围。

Claims (6)

1.一种基于边缘计算的工业现场大数据任务协调度方法，其特征在于，具体包括以下步骤：

S1：调度器获取任务信息，任务信息包括任务量N_i、时延T_i，T_i表示第i个任务的时延要求；

S2：根据任务信息对每个任务的优先级进行评定LEVEL(i)；

S3:获取目前的网络链路信息，网络链路信息包括网络剩余带宽R和任务的上传速率L_i,L_i表示第i个任务的上传速率，按照优先级LEVEL(i)进行任务排队等待，即优先级高的优先上传，并记录延时W_i，W_i表示第i个任务的延时；

S4：获取调度器的任务调度阈值α，每台边缘服务器的计算信息，任务排队处理的数量l以及排队等待延时

S5：根据系统资源状态、当前业务任务量和时延要求对任务进行协同调度。

2.如权利要求1所述的一种基于边缘计算的工业现场大数据任务协调度方法，其特征在于，所述S3中，任务的上传速率L_i＜网络剩余带宽R。

3.如权利要求1所述的一种基于边缘计算的工业现场大数据任务协调度方法，其特征在于，所述S5具体包括以下步骤：

S5-1：分别计算任务分配到终端所需总时延

和任务分配到边缘服务器所需总时延

从而得到所有任务的最小资源消耗为cost_min：

公式(1)中，cost_min表示所有任务的最小消耗，N_i表示第i个任务的任务量，θ＝{0,1}表示终端计算力是否能在给定的时延下完成处理任务，C_uz、C_us分别表示单位时间在终端、服务器上任务执行所消耗的设备资源，即运行cpu数量、内存占据量和消耗电量；N_i/C_Z表示任务在终端的执行时延，N_i/C_S表示任务在边缘服务器的执行时延；

S5-2：构建损失函数，分别计算出任务分配到终端概率p_i和边缘服务器上的概率1-p_i，任务分配表示为

1表示分配到终端，0表示分配到服务器；

S5-3：计算在终端运行的所有任务的计算资源总消耗COST(Z)和在边缘服务器上运行的所有任务的计算资源总消耗COST(S)：

4.如权利要求3所述的一种基于边缘计算的工业现场大数据任务协调度方法，其特征在于，所述S5-2中，构建的损失函数为：

分别表示不同优先级任务在终端、服务器上的延时损失权重，λ表示任务资源消耗与时延间的权重因子，

表示任务分配到终端所需总时延，

表示任务分配到边缘服务器所需总时延。

5.如权利要求1所述的一种基于边缘计算的工业现场大数据任务协调度方法，其特征在于，所述S4中，所述边缘服务器的计算信息包括cpu核数和内存容量。

6.如权利要求1所述的一种基于边缘计算的工业现场大数据任务协调度方法，其特征在于，所述S2中，优先级LEVEL(i)包括时延要求越小，任务上传优先级越高；反之时延要求越大，任务上传优先级越低。

Images