CN114301911B - 一种基于边边协同的任务管理方法和系统 - Google Patents

Abstract

本发明公开了一种基于边边协同的任务管理方法和系统，属于边缘计算技术领域，所述方法包括：根据预设的卸载策略，获得第一子任务的目标边缘节点和任务信息，所述卸载策略包括以下任一策略；联邦学习卸载策略、增量学习卸载策略、协同推理卸载策略和普通卸载策略；将所述第一子任务和任务信息卸载到所述目标边缘节点；获取所述目标边缘节点中第一子任务的第一执行结果。通过边边协同，充分利用了边缘计算的资源，通过远端的目标边缘节点和当前边缘节点协同执行任务，提高了任务响应速度；根据任务的类型采用不同的卸载策略，利于提高任务执行的效率。

Description

一种基于边边协同的任务管理方法和系统

技术领域

本发明涉及边缘计算技术领域，具体涉及一种基于边边协同的任务管理方法和系统。

背景技术

随着大数据时代的到来以及人工智能技术的不断成熟，智能任务应用数量剧增。由于大多数智能任务需要大量的计算能力或者存储能力，所以智能任务都会选择在云平台进行。由于云平台通过公共互联网提供计算服务，所以基于云平台的计算处理会受到网络以及带宽的影响和限制。

但是随着万物互联的到来，智能任务的高响应性以及实时性、设备需要在无法访问云端情况下运行智能任务，以及去中心化的呼声越来越强，智能任务使用的用户数据希望保留在本地而不是上传到云端的需求不断增加，传统的集中式、中心化架构的云边计算系统并不能很好得适用于智能任务的处理需求。此外，考虑到边缘侧的设备计算以及存储能力有限，大多数情况下无法支持智能任务的运行，所以，在传统云边计算系统中，边缘端的计算资源无法得到充分利用。

发明内容

针对现有技术中存在的上述技术问题，本发明提供一种基于边边协同的任务管理方法和系统，通过边边协同的方式执行任务，充分利用边缘节点的计算资源。

本发明公开了一种基于边边协同的任务管理方法，所述方法包括：根据预设的卸载策略，获得第一子任务的目标边缘节点和任务信息，所述卸载策略包括以下任一策略；联邦学习卸载策略、增量学习卸载策略、协同推理卸载策略和普通卸载策略；将所述第一子任务和任务信息卸载到所述目标边缘节点；获取所述目标边缘节点中第一子任务的第一执行结果。

优选的，所述方法还包括：

当前边缘节点将第一执行结果进行协同后，将协同结果反馈给任务请求方。

优选的，联邦学习卸载策略包括：

获取集群中执行任务所需数据的分布情况；

根据所需数据的分布情况，从边缘节点中筛选出候选节点；

判断候选节点是否有预设信赖度；

若否，将当前边缘节点IP和候选节点IP的每一位进行异或/同或运算，获得信赖度；

根据所述信赖度，从候选节点中选择目标边缘节点。

优选的，联邦学习卸载策略还包括：

判断目标边缘节点的信赖度是否小于第二域值；

若小于第二域值，将执行任务的模型卸载到目标边缘节点；

若超过第二域值，将模型的子模型卸载到目标边缘节点；

当前边缘节点利用目标边缘节点返回的第一执行结果，对模型进行再学习。

优选的，增量学习卸载策略包括：

判断边缘节点的资源是否满足第一子任务的需求；

若满足，将所述边缘节点作为目标边缘节点；

若不满足，获取集群中边缘节点的资源数据；

根据所述资源数据进行优先级打分：

其中，score表示为优先级评分，data_transport为任务信息传输能耗，parameter_transport为模型参数传输能耗；

根据优先级评分，选择目标边缘节点。

优选的，协同推理卸载策略包括：

根据分割算法对任务进行分割，获得第一子任务；

判断第一子任务是否具有前驱子任务；

若否，根据以下公式计算的第二优先级评分，选择目标边缘节点：

其中，score2表示为第二优先级评分，transport_time为第一子任务信息以及所需数据的传输时间，excute_time为第一子任务的运行时间；

根据第一子任务的执行结果，对后驱子任务进行调度。

优选的，普通卸载策略包括：

获取集群中节点的资源使用情况、任务传输能耗；

获取第一子任务的资源要求；

根据资源要求、资源使用情况和任务传输能耗，对边缘节点进行评分：

score3＝Transport′+Excute′

其中，Transport_Energy为任务传输的能耗，包括任务信息的传输能耗以及任务数据的传输能耗，Cpu_node、Mem_node分别为边缘节点的空闲CPU资源、内存资源，Cpu_task、Mem_task为第一子任务的CPU要求、内存要求，Transport′、Excute′分别是Transport、Excute归一化之后的结果，score3表示为边缘节点的评分；

根据边缘节点的评分，选择所述第一子任务的目标边缘节点。

优选的，任务划分的方法：

将当前边缘节点接收到的任务划分为第一子任务和第二子任务，并生成相应的任务信息；

所述任务信息包括以下任一信息或它们的组合：数据集大小、数据集位置、模型大小、模型位置和执行结果保存位置；

当前边缘节点执行第二子任务、获得第二执行结果；

协同第一执行结果和第二执行结果，获得协同结果；

将所述协同结果反馈给任务请求方。

本发明还提供一种用于实现上述方法的系统，包括任务管理模块、卸载决策模块和任务执行处理模块，

所述任务管理模块用于对任务进行划分，获得第一子任务及其任务信息；

所述卸载决策模块用于根据预设的卸载策略，获得第一子任务的目标边缘节点，并将第一子任务和任务信息卸载到所述目标边缘节点；

所述任务执行模块用于获取所述目标边缘节点中第一子任务的第一执行结果。

优选的，所述系统还包括设备管理单元、辅助数据管理模块和网络传输控制模块，

所述设备管理单元用于管理边缘节点的接入设备；

所述辅助数据管理模块包括任务数据管理子模块、镜像管理子模块和资源监控子模块，

所述任务管理模块包括任务划分子模块和本地任务状态管理子模块，

所述任务执行处理模块包括本地任务执行子模块、远程任务处理结果接收子模块和任务结果合并处理子模块，

所述任务数据管理子模块用于管理任务的基本信息和数据；所述镜像管理子模块用于管理任务执行所需的镜像；所述资源监控子模块用于监控本地边缘节点的资源信息，所述资源信息包括CPU使用率和内存使用率；

所述任务划分子模块用于根据任务的基本信息和数据划分第一子任务和第二子任务，并获得相应的任务信息；

所述网络传输控制模块用于当前边缘节点和集群中远端边缘节点的通信；

所述卸载决策模块通过网络传输控制模块将第一子任务及其任务信息卸载到目标边缘节点；

目标边缘节点通将第一子任务的第一执行结果反馈给当前边缘节点；

所述远程任务处理结果接收子模块用于接收第二执行结果；

本地任务执行子模块执行第二子任务，获得第二执行结果；

本地任务状态管理子模块用于管理第一子任务和第二子任务的运行流程和运行状态，确保单个子任务划分后仍能正常运行；

所述任务结果合并处理子模块用于协同第一执行结果和第二执行结果，获得协同结果，并将协同结果反馈给任务请求方。

与现有技术相比，本发明的有益效果为：通过边边协同，充分利用了边缘计算的资源，通过远端的目标边缘节点和当前边缘节点协同执行任务，提高了任务响应速度；根据任务的类型采用不同的卸载策略，利于提高任务执行的效率。

附图说明

图1是本发明的基于边边协同的任务管理方法和系统；

图2是本发明的系统逻辑框图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明的一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。

下面结合附图对本发明做进一步的详细描述：

一种基于边边协同的任务管理方法，如图1所示，所述方法包括：

步骤101：将当前边缘节点接收到的任务划分为第一子任务和第二子任务，并生成相应的任务信息。所述任务信息包括以下任一信息或它们的组合：数据集大小、数据集位置、模型大小、模型位置和执行结果保存位置。

步骤102：根据预设的卸载策略，获得第一子任务的目标边缘节点和任务信息，所述卸载策略包括以下任一策略；联邦学习卸载策略、增量学习卸载策略、协同推理卸载策略和普通卸载策略。任务卸载(Workload Offload)，指计算能力有限的边缘节点将自身的一部分工作转移到其他边缘节点进行计算。

步骤103：将所述第一子任务和任务信息卸载到所述目标边缘节点。

步骤104：获取所述目标边缘节点中第一子任务的第一执行结果。

步骤105：当前边缘节点将第一执行结果进行协同后，将协同结果反馈给任务请求方。具体的，当前边缘节点执行第二子任务、获得第二执行结果；协同第一执行结果和第二执行结果，获得协同结果后；将所述协同结果反馈给任务请求方。

通过边边协同，充分利用了边缘计算的资源，通过远端的目标边缘节点和当前边缘节点协同执行任务，提高了任务响应速度；根据任务的类型采用不同的卸载策略，利于提高任务执行的效率，支持多种任务类型在边缘场景下的运行，提升智能任务的使用场景。

步骤102中：联邦学习卸载策略包括：

步骤201：获取集群中执行任务所需数据的分布情况。

步骤202：根据所需数据的分布情况，从边缘节点中筛选出候选节点。

步骤203：判断候选节点是否有预设信赖度。

若否，执行步骤204：将当前边缘节点IP和候选节点IP的每一位进行异或运算，获得信赖度。当前边缘节点IP和候选节点IP的地址相同性较高时，计算结果越低，即信赖度的值越低。例如同局域网中，两者IP地址的前置位相同，计算结果中，前置位结果为0，计算的结果也越低，传输性能也较好一些。但不限于此，也可以采用同或运算，但同或运算中，信赖度越高越值得信赖。可以去除IP地址中的分隔符如“.”，利于运算和比较。

步骤205：根据所述信赖度，从候选节点中选择目标边缘节点。

信赖度的公式可以表示为：

其中，IP_initiator表示当前边缘节点IP，IP_condidate为卸载目标边缘节点的IP，将上述两个IP地址的每一位做异或运算，S为预设值，例如0。通过信赖度，选择值得依赖的边缘节点，提高第一子任务和任务信息的隐私性和安全性。

步骤206：判断目标边缘节点的信赖度是否小于第二域值。

若小于第二域值，执行步骤207：将执行任务的模型卸载到目标边缘节点。

若超过第二域值，执行步骤208：若模型具有可拆卸的子模型，将模型的子模型卸载到目标边缘节点；若模型不可拆卸，将所述模型卸载到目标边缘节点。

步骤209：当前边缘节点利用目标边缘节点返回的第一执行结果，对模型进行再学习。

步骤102中，增量学习卸载策略包括：

步骤301：判断边缘节点的资源是否满足第一子任务的需求；

若满足，执行步骤302：将所述边缘节点作为目标边缘节点；

若不满足，执行步骤303：获取集群中边缘节点的资源数据，执行步骤304；

步骤304：根据所述资源数据进行优先级打分：

其中，score表示为优先级评分，data_transport为任务信息传输能耗，parameter_transport为模型参数传输能耗；

步骤305：根据优先级评分，选择目标边缘节点。对于模型训练的任务，如果需要将任务卸载到远端的目标边缘节点，将模型训练的数据、模型训练的全量参数加载到卸载节点。

步骤102中，协同推理卸载策略包括：

步骤401：根据分割算法对任务进行分割，获得第一子任务；

步骤402：判断第一子任务是否具有前驱子任务；

若否，执行步骤403：根据以下公式计算的第二优先级评分，选择目标边缘节点：

其中，score2表示为第二优先级评分，transport_time为第一子任务信息以及所需数据的传输时间，excute_time为第一子任务的运行时间；

步骤404：根据第一子任务的执行结果，对后驱子任务进行调度，直到所有子任务执行结束。第一子任务卸载时，需要将第一子任务的任务信息及数据下发到目标边缘节点。

其中，第一子任务的执行依赖于前驱子任务的执行结果，后驱子任务的执行依赖于后驱子任务的执行结果。

步骤102中，普通卸载策略包括：

步骤501：获取集群中节点的资源使用情况、任务传输能耗；

步骤502：获取第一子任务的资源要求；

步骤503：根据所述资源要求、资源使用情况和任务传输能耗，对边缘节点进行评分：

score3＝Transport′+Excute′

其中，Transport_Energy为任务传输的能耗，包括任务信息的传输能耗以及任务数据的传输能耗，Cpu_node、Mem_node分别为边缘节点的空闲CPU资源和内存资源，Cpu_task、Mem_task为第一子任务的CPU要求和内存要求，Transport′、Excute′分别是Transport、Excute归一化之后的结果，score3表示为边缘节点的评分；

步骤503：根据边缘节点的评分，选择所述第一子任务的目标边缘节点。例如选择分数较高的边缘节点作为目标边缘节点。

本申请中，所述任务可以划分为多个子任务，如第三子任务、第n子任务，将不同的子任务卸载到不同的目标边缘节点，实现多边缘节点的协同。

本发明还提供一种用于实现上述任务管理方法的系统，如图2所示，包括任务管理模块1、卸载决策模块2和任务执行处理模块3，

任务管理模块1用于对任务进行划分，获得第一子任务及其任务信息；

卸载决策模块2用于根据预设的卸载策略，获得第一子任务的目标边缘节点，并将第一子任务和任务信息卸载到所述目标边缘节点；

任务执行模块3用于获取所述目标边缘节点中第一子任务的第一执行结果。

本发明的系统，还包括设备管理单元4、辅助数据管理模块5和网络传输控制模块6，

设备管理单元4用于管理边缘节点的接入设备；

辅助数据管理模块5包括任务数据管理子模块、镜像管理子模块和资源监控子模块，

所述任务管理模块包括任务划分子模块和本地任务状态管理子模块，

所述任务执行处理模块包括本地任务执行子模块、远程任务处理结果接收子模块和任务结果合并处理子模块，

所述任务数据管理子模块用于管理任务的基本信息和数据；所述镜像管理子模块用于管理任务执行所需的镜像；所述资源监控子模块用于监控本地边缘节点的资源信息，所述资源信息包括CPU使用率和内存使用率；

所述任务划分子模块用于根据任务的基本信息和数据划分第一子任务和第二子任务，并构造相应的任务信息；

所述网络传输控制模块用于当前边缘节点和集群中远端边缘节点的通信，如当前边缘节点和目标边缘节点的通信；

所述卸载决策模块通过网络传输控制模块将第一子任务及其任务信息卸载到目标边缘节点；

目标边缘节点将第一子任务的第一执行结果反馈给当前边缘节点；

所述远程任务处理结果接收子模块用于接收第二执行结果；

本地任务执行子模块执行第二子任务，获得第二执行结果；

本地任务状态管理子模块用于管理第一子任务和第二子任务的运行流程和运行状态，确保单个子任务划分后仍能正常运行；

所述任务结果合并处理子模块用于协同第一执行结果和第二执行结果，获得协同结果，并将协同结果反馈给任务请求方。

以上仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (9)

1.一种基于边边协同的任务管理方法，其特征在于，所述方法包括：

将当前边缘节点接收到的任务划分为第一子任务和第二子任务，并生成相应的任务信息；所述任务信息包括以下任一信息或它们的组合：数据集大小、数据集位置、模型大小、模型位置和执行结果保存位置；

根据预设的卸载策略，获得第一子任务的目标边缘节点和任务信息，所述卸载策略包括以下任一策略；联邦学习卸载策略、增量学习卸载策略、协同推理卸载策略和普通卸载策略；

将所述第一子任务和任务信息卸载到所述目标边缘节点；

获取所述目标边缘节点中第一子任务的第一执行结果；

当前边缘节点执行第二子任务、获得第二执行结果；

协同第一执行结果和第二执行结果，获得协同结果；

将所述协同结果反馈给任务请求方。

2.根据权利要求1所述的任务管理方法，其特征在于，所述方法还包括：

当前边缘节点将第一执行结果进行协同后，将协同结果反馈给任务请求方。

3.根据权利要求1所述的任务管理方法，其特征在于，联邦学习卸载策略包括：

获取集群中执行任务所需数据的分布情况；

根据所需数据的分布情况，从边缘节点中筛选出候选节点；

判断候选节点是否有预设信赖度；

若否，将当前边缘节点IP和候选节点IP的每一位进行异或/同或运算，获得信赖度；

根据所述信赖度，从候选节点中选择目标边缘节点。

4.根据权利要求3所述的任务管理方法，其特征在于，联邦学习卸载策略还包括：

判断目标边缘节点的信赖度是否小于第二域值；

若小于第二域值，将执行任务的模型卸载到目标边缘节点；

若超过第二域值，将模型的子模型卸载到目标边缘节点；

当前边缘节点利用目标边缘节点返回的第一执行结果，对模型进行再学习。

5.根据权利要求1所述的任务管理方法，其特征在于，增量学习卸载策略包括：

判断边缘节点的资源是否满足第一子任务的需求；

若满足，将所述边缘节点作为目标边缘节点；

若不满足，获取集群中边缘节点的资源数据；

根据所述资源数据进行优先级打分：

其中，score表示为优先级评分，data_transport为任务信息传输能耗，parameter_transport为模型参数传输能耗；

根据优先级评分，选择目标边缘节点。

6.根据权利要求1所述的任务管理方法，其特征在于，协同推理卸载策略包括：

根据分割算法对任务进行分割，获得第一子任务；

判断第一子任务是否具有前驱子任务；

若否，根据以下公式计算的第二优先级评分，选择目标边缘节点：

其中，score2表示为第二优先级评分,transport_time为第一子任务信息以及所需数据的传输时间，excute_为第一子任务的运行时间；

根据第一子任务的执行结果，对后驱子任务进行调度。

7.根据权利要求1所述的任务管理方法，其特征在于，普通卸载策略包括：

获取集群中节点的资源使用情况、任务传输能耗；

获取第一子任务的资源要求；

根据所述资源要求、资源使用情况和任务传输能耗，对边缘节点进行评分：

3＝Transport^′+Excute^′

其中，Transport_Energy为任务传输的能耗，包括任务信息的传输能耗以及任务数据的传输能耗，Cpu_node、Mem_node分别为边缘节点的空闲CPU资源、内存资源，Cpu_task、Mem_task为第一子任务的CPU要求、内存要求，Transport^′、Excute^′分别是Transport、Excute归一化之后的结果，score3表示为边缘节点的评分；

根据边缘节点的评分，选择所述第一子任务的目标边缘节点。

8.一种用于实现如权利要求1-7任一项所述任务管理方法的系统，其特征在于，包括任务管理模块、卸载决策模块和任务执行处理模块，

所述任务管理模块用于对任务进行划分，获得第一子任务及其任务信息；

所述卸载决策模块用于根据预设的卸载策略，获得第一子任务的目标边缘节点，并将第一子任务和任务信息卸载到所述目标边缘节点；

所述任务执行模块用于获取所述目标边缘节点中第一子任务的第一执行结果。

9.根据权利要求8所述的系统，其特征在于，还包括设备管理单元、辅助数据管理模块和网络传输控制模块，

所述设备管理单元用于管理边缘节点的接入设备；

所述辅助数据管理模块包括任务数据管理子模块、镜像管理子模块和资源监控子模块，

所述任务管理模块包括任务划分子模块和本地任务状态管理子模块，

所述任务执行处理模块包括本地任务执行子模块、远程任务处理结果接收子模块和任务结果合并处理子模块，

所述任务数据管理子模块用于管理任务的基本信息和数据；所述镜像管理子模块用于管理任务执行所需的镜像；所述资源监控子模块用于监控本地边缘节点的资源信息，所述资源信息包括CPU使用率和内存使用率；

所述任务划分子模块用于根据任务的基本信息和数据划分第一子任务和第二子任务，并获得相应的任务信息；

所述网络传输控制模块用于当前边缘节点和集群中远端边缘节点的通信；

所述卸载决策模块通过网络传输控制模块将第一子任务及其任务信息卸载到目标边缘节点；

目标边缘节点通将第一子任务的第一执行结果反馈给当前边缘节点；

所述远程任务处理结果接收子模块用于接收第二执行结果；

本地任务执行子模块执行第二子任务，获得第二执行结果；

本地任务状态管理子模块用于管理第一子任务和第二子任务的运行流程和运行状态，确保单个子任务划分后仍能正常运行；

所述任务结果合并处理子模块用于协同第一执行结果和第二执行结果，获得协同结果，并将协同结果反馈给任务请求方。