CN115103404A - 一种算力网络中节点任务调度方法 - Google Patents

一种算力网络中节点任务调度方法 Download PDF

Info

Publication number
CN115103404A
CN115103404A CN202210514304.4A CN202210514304A CN115103404A CN 115103404 A CN115103404 A CN 115103404A CN 202210514304 A CN202210514304 A CN 202210514304A CN 115103404 A CN115103404 A CN 115103404A
Authority
CN
China
Prior art keywords
task
container
node
scheduling
information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210514304.4A
Other languages
English (en)
Inventor
张兴
李昊波
崔芳
倪茂
周婷
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing University of Posts and Telecommunications
Original Assignee
Beijing University of Posts and Telecommunications
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing University of Posts and Telecommunications filed Critical Beijing University of Posts and Telecommunications
Priority to CN202210514304.4A priority Critical patent/CN115103404A/zh
Publication of CN115103404A publication Critical patent/CN115103404A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W28/00—Network traffic management; Network resource management
    • H04W28/02—Traffic management, e.g. flow control or congestion control
    • H04W28/08—Load balancing or load distribution
    • H04W28/09—Management thereof
    • H04W28/0925—Management thereof using policies
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W16/00—Network planning, e.g. coverage or traffic planning tools; Network deployment, e.g. resource partitioning or cells structures
    • H04W16/22—Traffic simulation tools or models
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W28/00—Network traffic management; Network resource management
    • H04W28/02—Traffic management, e.g. flow control or congestion control
    • H04W28/06—Optimizing the usage of the radio link, e.g. header compression, information sizing, discarding information
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W28/00—Network traffic management; Network resource management
    • H04W28/02—Traffic management, e.g. flow control or congestion control
    • H04W28/08—Load balancing or load distribution
    • H04W28/09—Management thereof
    • H04W28/0958—Management thereof based on metrics or performance parameters
    • H04W28/0967—Quality of Service [QoS] parameters
    • H04W28/0975—Quality of Service [QoS] parameters for reducing delays
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/30—Services specially adapted for particular environments, situations or purposes

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Quality & Reliability (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)

Abstract

本发明公开了一种算力网络中节点任务调度方法。包括以下步骤：步骤1、构建边缘算网模型并对外进行数据发布：步骤2、各个节点根据接入设备的数据采集情况生成任务；步骤3、统计时间帧内所有节点上的任务发起情况；步骤4、计算任务的调度决策、服务的伸缩决策结果；步骤5、根据任务调度决策结果将任务转发至对应的节点；步骤6、将任务与容器服务副本进行逐一匹对并最终在容器中处理；本发明所述方法通过算力感知监控与算力整合，提供了全局一致的基础设施资源视图，通过并发任务调度决策算法将任务分配至合适的算力节点，降低了任务的平均完成时延；通过容器服务伸缩决策算法实现了资源的动态分配，提高了全网算力资源的整体利用率。

Description

一种算力网络中节点任务调度方法
技术领域
本发明涉及无线通信技术领域，特别是涉及一种算力网络中节点任务调度方法。
背景技术
根据IDC预测，到2025年，全球物联网设备数将达到416亿台，数据总量将达到180泽字节，其中70％以上的数据都将在网络边缘进行处理。为应对边缘设备海量接入以及边缘数据高效处理带来的挑战，边缘计算技术应运而生。通过将小型服务器部署在网络边缘，为物联网设备提供就近的计算能力，缩短响应时间的同时也缓解了网络拥塞。与此同时，为实现对边缘环境中分布式异构资源的统一管理与高效分配，算力网络相关概念被提出并受到广泛关注。申请号为CN202010977315.7的专利申请公开了一种任务调度方法、装置及电子设备，涉及后台任务调度技术领域，包括：根据执行指令确定待执行的多个任务，然后执行各任务，并确定各任务的执行状态，最后根据各任务的执行状态，向客户端通知执行指令的执行进度，其中，执行指令为用户在客户端的网页应用中触发的，以根据各任务的执行状态，确定执行指令的执行进度，并向客户端通知该执行进度。
在算力网络中，资源被抽象、整合、量化，并以虚拟化技术的形式被编排，实现了资源按需分配与弹性伸缩的能力。目前，算力网络相关技术的研究仍处于发展阶段，针对不同应用场景的实现方案尚未形成统一的范式。在边缘节点多物联网设备接入、并发任务执行的场景中，存在多节点负载不均衡且任务请求存在波动性的问题。传统的解决方案中，选择将任务请求调度至距离最近亦或资源最充足的节点，然而上述思路无法应对多任务并发执行的情况；抑或是将单个节点或者虚拟机作为任务的执行单元，缺乏资源分配的灵活性。
发明内容
为克服上述技术问题，本发明提供了一种算力网络中节点任务调度方法，所述方法包括以下步骤：
步骤1、对节点的计算资源监控信息、网络资源监控信息进行实时获取，构建边缘算网模型并对外进行数据发布：
步骤1.1、获取每个节点上计算资源监控信息、网络资源监控信息，计算资源监控信息包括节点的cpu、内存使用情况，网络资源监控信息包含节点间的链路带宽；
步骤1.2、根据步骤1.1获得的计算资源监控信息、网络资源监控信息的数据信息，构建边缘算网模型，基于图结构构建边缘算网模型，包括代表计算资源的节点以及代表网络资源的拓扑连接；
步骤1.3、将生成的边缘算网模型信息进行对外发布，算网模型采取一种集中分发的发布模式，具体步骤包括：
步骤1.3.1、将生成的边缘算网模型信息通过消息队列的topic(标题)进行发布，每隔设定的时间对步骤1.1和步骤1.2进行重复执行；
步骤1.3.2、边缘节点通过订阅topic的方式获取当前最新的算网模型信息，当本地无缓存数据执行缓存操作；当本地有缓存数据则根据获取的最新的算网模型信息对缓存进行更新；
步骤2、各个节点根据接入设备的数据采集情况生成任务，其中，每个任务包括任务id、任务类型、任务发起节点以及任务数据四种信息，每个节点均能够进行各种类型任务的发起，任务id作为任务在分布式集群的唯一标识是全局唯一且随时间趋势递增：
步骤2.1、设备数据采集与筛选，节点定时对接入的设备进行数据采集并对采集的设备数据进行有效性判断，筛选冗余、无效数据，在设备数据筛选过程中，针对筛选的设备数据类型的不同采取不同的数据筛选机制，对于视频帧数据则采取基于活动物体检测算法对数据进行筛选；
步骤2.2、对步骤2.1中得到的设备数据生成任务id以标识数据和任务的处理流程，基于snowflake算法进行任务id生成，每个id由64位bit组成且包括一位标志位、41位时间戳、5位节点标识、5位任务标识、12位序列号标识，以实现任务id的全局唯一性和时间趋势递增性；
步骤2.3、根据步骤2.2获得的任务id，联合任务类型信息、任务发起节点信息、任务数据信息封装为任务结构体；
步骤3、设定固定的时间帧大小，统计时间帧内所有节点上的任务发起情况，加入待调度队列，时间帧表示一个设定的时间区间，时间帧内到达的任务为同时到达；
步骤4、在步骤3的基础上，当一帧间隔的时间帧结束后请求本地缓存的算网模型信息并结合调度队列中的任务信息，基于任务调度算法和服务伸缩算法来计算任务的调度决策、服务的伸缩决策结果，其中，上述算法的优化目标为最小化任务的平均完成时延，如以下公式(1)所示：
P1:
Figure BDA0003638964960000031
其中，tcal j表示任务j的计算时延，ttrans j表示任务的数据传输时延，a表示任务调度变量，σ表示服务伸缩决策变量，K表示待调度任务的数量，对于优化目标有以下约束条件：
1.每个任务只能被调度至一个边缘节点进行任务执行；
2.同一时刻一个容器只能执行一个任务；
3.每个节点上部署的容器数量有限制；
4.容器服务所需资源总和不能超过边缘算网模型中节点的资源限制；
对于上述约束条件下的优化目标具体包括以下步骤：
步骤4.1、设定种群大小num，随机生成num个任务调度方案，每个任务调度方案包含K个调度决策变量；
步骤4.2、设定适应度函数如以下公式(2)所示：
Figure BDA0003638964960000032
tcal j的具体计算公式为：
tcal j＝twait j+texe j……(3)，
其中，twait j表示任务j的等待时延，包含排队等待时延以及容器开启等待时延两部分，texe j表示任务在容器中的执行时延，ttrans j的具体计算公式为：
Figure BDA0003638964960000033
其中，Dtrans j表示任务j调度过程中传输的数据大小，r表示任务发起节点与任务调度节点间的数据传输速率；
步骤4.3、设定迭代轮次为count，执行count次迭代过程，对任务调度变量以及服务伸缩变量进行更新：
步骤4.3.1、根据步骤4.2中的适应度函数计算每个调度方案的适应度值，在适应度值计算过程中考虑每个节点上的服务伸缩情况，具体步骤包括：
步骤4.3.1.1、根据已开启服务以及服务的排队情况进行任务平均分配，计算任务的平均完成时延；
步骤4.3.1.2、根据算网模型中各节点资源剩余情况，枚举所有伸缩服务方案，遍历枚举方案，每次选择使得平均完成时延减少的最大的方案，更新服务状态以及任务分配情况；
步骤4.3.1.3、重复步骤4.3.1.1和步骤4.3.1.2，当不存在方案使得平均完成时延发生减少，终止迭代；
步骤4.3.2、根据步骤4.3.1中计算得到的适应度值对设定的调度方案执行选择操作，保存适应度值更大的调度方案；
步骤4.3.3、对步骤4.3.2中保存的调度方案执行交叉操作，随机选择两个调度方案并交换其中的部分片段，生成新的调度方案；
步骤4.3.4、对步骤4.3.3中产生的调度方案执行突变操作，随机更改调度方案中调度决策变量的值；
步骤4.3.5、重复步骤4.3.1至步骤4.3.4，直至轮次到达count，结束迭代；
步骤4.4、返回步骤4.3中得到的最优的任务调度方案以及对应的服务伸缩结果；
步骤5、获取步骤4中得到的任务调度决策结果以及容器伸缩决策结果，根据任务调度决策结果将任务转发至对应的节点，根据容器伸缩决策结果对容器服务副本执行开启或关闭操作，对于每种类型的容器，当伸缩决策结果大于0，则请求节点上的容器引擎进行副本开启操作，否则，执行容器副本关闭操作；
步骤6、节点缓存接收到的任务并将其按照时间先后顺序以及类型信息在不同的队列中排队，然后轮询排队队列，将任务与容器服务副本进行逐一匹对并最终在容器中处理：
步骤6.1、缓存任务请求并将其按照时间先后顺序以及类型信息在不同的队列中排队同时获取容器服务副本的运行状态信息，包含ready和running两种状态，其中：ready状态表示容器中无任务执行，running状态表示容器中有任务执行，根据容器副本类型以及容器标识符构建ready容器队列以及running容器队列；
步骤6.2、针对每种类型的任务，循环从任务队列中取出一个任务，判断ready容器队列中是否为空，当ready容器队列中为空则一直等待，否则，取出队列中第一个容器并将任务发送至容器执行，等待执行结果，同时，更改容器状态为running并将容器入队running容器队列；
步骤6.3、当收到任务执行结果，从running容器队列取出容器，更改容器状态为ready，将容器入队ready容器队列。
本发明所述方法具有以下有益效果：
1、针对边缘多节点集群场景，本发明所述方法提供了一种算力网络中节点任务调度方法，通过对边缘集群中的分布式边缘节点进行算力感知监控与算力整合，构建了基于图结构的边缘算网模型，提供了边缘集群全局一致的资源信息；
2、本发明的所述方法基于实时算网模型信息对同一时间帧内到达的任务执行任务调度决策与容器服务伸缩决策，其中，基于调度决策算法将并行任务转发至合适节点进行排队分发执行并降低了任务的平均完成时延，基于服务伸缩决策算法以降低任务平均完成时延为目标对节点上的容器服务副本进行自适应的开启、关闭，提高了全网算力资源的整体利用率；
3、本发明所述方法将执行任务的容器副本状态划分为ready以及running两种，通过容器状态的动态切换，使得节点上排队等待的任务以负载均衡的方式转发至各个容器进行处理；
4、本发明的所述方法基于算力网络提供了一种联合服务伸缩与任务调度的方法，降低了任务的平均完成时延，同时，对任务发起、任务调度、任务分发等过程进行了详细描述，具有很好的可操作性和实用价值；
5、本发明的所述方法通过算力感知监控与算力整合，提供了全局一致的基础设施资源视图，通过并发任务调度决策算法将任务分配至合适的算力节点，降低了任务的平均完成时延；通过容器服务伸缩决策算法实现了资源的动态分配。
附图说明
图1为本发明所述方法的总流程示意图；
图2为本发明所述方法的算网模型的图形结构示意图；
图3为本发明所述方法的步骤4中服务伸缩决策算法执行流程图；
图4为本发明所述方法的步骤4中任务调度决策算法执行流程图。
具体实施方式
下面结合说明书附图和具体实施方式，对本发明的技术方案做进一步详细说明。
如图1、3、4所示，本发明所述方法包括以下步骤：
步骤1、对节点的计算资源监控信息、网络资源监控信息进行实时获取，构建边缘算网模型并对外进行数据发布：
步骤1.1、获取每个节点上计算资源监控信息、网络资源监控信息，计算资源监控信息包括节点的cpu、内存使用情况，网络资源监控信息包含节点间的链路带宽；
步骤1.2、根据步骤1.1获得的计算资源监控信息、网络资源监控信息的数据信息，构建边缘算网模型，基于图结构构建边缘算网模型，包括代表计算资源的节点以及代表网络资源的拓扑连接，如图2所示，当边缘集群中各个节点均能相互访问时则算网模型表现为全连通图的形式，连通图中的节点代表基础算力资源，连通图的边表示集群节点的网络拓扑状态；
步骤1.3、将生成的边缘算网模型信息进行对外发布，算网模型采取一种集中分发的发布模式，具体步骤包括：
步骤1.3.1、将生成的边缘算网模型信息通过消息队列的topic(标题)进行发布，每隔设定的时间对步骤1.1和步骤1.2进行重复执行；
步骤1.3.2、边缘节点通过订阅topic的方式获取当前最新的算网模型信息，当本地无缓存数据执行缓存操作；当本地有缓存数据则根据获取的最新的算网模型信息对缓存进行更新；
步骤2、各个节点根据接入设备的数据采集情况生成任务，其中，每个任务包括任务id、任务类型、任务发起节点以及任务数据四种信息，每个节点均能够进行各种类型任务的发起，任务id作为任务在分布式集群的唯一标识是全局唯一且随时间趋势递增：
步骤2.1、设备数据采集与筛选，节点定时对接入的设备进行数据采集并对采集的设备数据进行有效性判断，筛选冗余、无效数据，在设备数据筛选过程中，针对筛选的设备数据类型的不同采取不同的数据筛选机制，对于视频帧数据则采取基于活动物体检测算法对数据进行筛选；
步骤2.2、对步骤2.1中得到的设备数据生成任务id以标识数据和任务的处理流程，基于snowflake算法进行任务id生成，每个id由64位bit组成且包括一位标志位、41位时间戳、5位节点标识、5位任务标识、12位序列号标识，以实现任务id的全局唯一性和时间趋势递增性；
步骤2.3、根据步骤2.2获得的任务id，联合任务类型信息、任务发起节点信息、任务数据信息封装为任务结构体；
步骤3、设定固定的时间帧大小，统计时间帧内所有节点上的任务发起情况，加入待调度队列，时间帧表示一个设定的时间区间，时间帧内到达的任务为同时到达；
步骤4、在步骤3的基础上，当一帧间隔的时间帧结束后请求本地缓存的算网模型信息并结合调度队列中的任务信息，基于任务调度算法和服务伸缩算法来计算任务的调度决策、服务的伸缩决策结果，其中，上述算法的优化目标为最小化任务的平均完成时延，如以下公式(1)所示：
P1:
Figure BDA0003638964960000071
其中，tcal j表示任务j的计算时延，ttrans j表示任务的数据传输时延，a表示任务调度变量，σ表示服务伸缩决策变量，K表示待调度任务的数量，对于优化目标有以下约束条件：
1.每个任务只能被调度至一个边缘节点进行任务执行；
2.同一时刻一个容器只能执行一个任务；
3.每个节点上部署的容器数量有限制；
4.容器服务所需资源总和不能超过边缘算网模型中节点的资源限制；
对于上述约束条件下的优化目标具体包括以下步骤：
步骤4.1、设定种群大小num，随机生成num个任务调度方案，每个任务调度方案包含K个调度决策变量；
步骤4.2、设定适应度函数如以下公式(2)所示：
Figure BDA0003638964960000081
tcal j的具体计算公式为：
tcal j＝twait j+texe j……(3)，
其中，twait j表示任务j的等待时延，包含排队等待时延以及容器开启等待时延两部分，texe j表示任务在容器中的执行时延，ttrans j的具体计算公式为：
Figure BDA0003638964960000082
其中，Dtrans j表示任务j调度过程中传输的数据大小，r表示任务发起节点与任务调度节点间的数据传输速率；
步骤4.3、设定迭代轮次为count，执行count次迭代过程，对任务调度变量以及服务伸缩变量进行更新：
步骤4.3.1、根据步骤4.2中的适应度函数计算每个调度方案的适应度值，在适应度值计算过程中考虑每个节点上的服务伸缩情况，具体步骤包括：
步骤4.3.1.1、根据已开启服务以及服务的排队情况进行任务平均分配，计算任务的平均完成时延；
步骤4.3.1.2、根据算网模型中各节点资源剩余情况，枚举所有伸缩服务方案，遍历枚举方案，每次选择使得平均完成时延减少的最大的方案，更新服务状态以及任务分配情况；
步骤4.3.1.3、重复步骤4.3.1.1和步骤4.3.1.2，当不存在方案使得平均完成时延发生减少，终止迭代；
步骤4.3.2、根据步骤4.3.1中计算得到的适应度值对设定的调度方案执行选择操作，保存适应度值更大的调度方案；
步骤4.3.3、对步骤4.3.2中保存的调度方案执行交叉操作，随机选择两个调度方案并交换其中的部分片段，生成新的调度方案；
步骤4.3.4、对步骤4.3.3中产生的调度方案执行突变操作，随机更改调度方案中调度决策变量的值；
步骤4.3.5、重复步骤4.3.1至步骤4.3.4，直至轮次到达count，结束迭代；
步骤4.4、返回步骤4.3中得到的最优的任务调度方案以及对应的服务伸缩结果；
步骤5、获取步骤4中得到的任务调度决策结果以及容器伸缩决策结果，根据任务调度决策结果将任务转发至对应的节点，根据容器伸缩决策结果对容器服务副本执行开启或关闭操作，对于每种类型的容器，当伸缩决策结果大于0，则请求节点上的容器引擎进行副本开启操作，否则，执行容器副本关闭操作；
步骤6、节点缓存接收到的任务并将其按照时间先后顺序以及类型信息在不同的队列中排队，然后轮询排队队列，将任务与容器服务副本进行逐一匹对并最终在容器中处理：
步骤6.1、缓存任务请求并将其按照时间先后顺序以及类型信息在不同的队列中排队同时获取容器服务副本的运行状态信息，包含ready和running两种状态，其中：ready状态表示容器中无任务执行，running状态表示容器中有任务执行，根据容器副本类型以及容器标识符构建ready容器队列以及running容器队列；
步骤6.2、针对每种类型的任务，循环从任务队列中取出一个任务，判断ready容器队列中是否为空，当ready容器队列中为空则一直等待，否则，取出队列中第一个容器并将任务发送至容器执行，等待执行结果，同时，更改容器状态为running并将容器入队running容器队列；
步骤6.3、当收到任务执行结果，从running容器队列取出容器，更改容器状态为ready，将容器入队ready容器队列。
本发明所述方法应用于多节点边缘集群中的任务调度，所述多节点边缘集群由多个边缘智能网关组成，所述边缘智能网关具有一定的计算能力，可开启不同类型的容器服务来执行对应的任务。其中每种类型的服务具有多个容器副本，每个副本具备相同的任务执行能力，并且节点上各类型容器服务副本的数量能够被动态调整。不同网关间网络连通，可进行数据交互；每个网关具备接入多种设备的能力负责采集设备数据并生成设定类型的任务。所述每种类型容器服务只能执行对应类型的任务，且同一时刻只有一个任务在容器中执行。
本发明并不限于上述实施方式，在不背离本发明实质内容的情况下，本领域技术人员能够想到的任何变形、改进、替换均落入本发明的保护范围。

Claims (5)

1.一种算力网络中节点任务调度方法，其特征在于，包括以下步骤：
步骤1、对节点的计算资源监控信息、网络资源监控信息进行实时获取，构建边缘算网模型并对外进行数据发布：
步骤1.1、获取每个节点上计算资源监控信息、网络资源监控信息，计算资源监控信息包括节点的cpu、内存使用情况，网络资源监控信息包含节点间的链路带宽；
步骤1.2、根据步骤1.1获得的计算资源监控信息、网络资源监控信息的数据信息，构建边缘算网模型，基于图结构构建边缘算网模型，包括代表计算资源的节点以及代表网络资源的拓扑连接；
步骤1.3、将生成的边缘算网模型信息进行对外发布，算网模型采取一种集中分发的发布模式；
步骤2、各个节点根据接入设备的数据采集情况生成任务，其中每个任务包括任务id、任务类型、任务发起节点以及任务数据四种信息，每个节点均能够进行各种类型任务的发起，任务id作为任务在分布式集群的唯一标识是全局唯一且随时间趋势递增：
步骤2.1、设备数据采集与筛选，节点定时对接入的设备进行数据采集并对采集的设备数据进行有效性判断，筛选冗余、无效数据，在设备数据筛选过程中，针对筛选的设备数据类型的不同采取不同的数据筛选机制，对于视频帧数据则采取基于活动物体检测算法对数据进行筛选；
步骤2.2、对步骤2.1中得到的设备数据生成任务id以标识数据和任务的处理流程，基于snowflake算法进行任务id生成，每个id由64位bit组成且包括一位标志位、41位时间戳、5位节点标识、5位任务标识、12位序列号标识以实现任务id的全局唯一性和时间趋势递增性；
步骤2.3、根据步骤2.2获得的任务id，联合任务类型信息、任务发起节点信息、任务数据信息封装为任务结构体；
步骤3、设定固定的时间帧大小，统计时间帧内所有节点上的任务发起情况，加入待调度队列，所述时间帧表示一个设定的时间区间，时间帧内到达的任务为同时到达；
步骤4、在步骤3的基础上，当一帧间隔的时间帧结束后请求本地缓存的算网模型信息并结合调度队列中的任务信息，基于任务调度算法和服务伸缩算法来计算任务的调度决策、服务的伸缩决策结果，其中，上述算法的优化目标为最小化任务的平均完成时延，如以下公式(1)所示：
Figure FDA0003638964950000011
其中，tcal j表示任务j的计算时延，ttrans j表示任务的数据传输时延，a表示任务调度变量，σ表示服务伸缩决策变量，K表示待调度任务的数量，对于优化目标有以下约束条件，
1.每个任务只能被调度至一个边缘节点进行任务执行；
2.同一时刻一个容器只能执行一个任务；
3.每个节点上部署的容器数量有限制；
4.容器服务所需资源总和不能超过边缘算网模型中节点的资源限制；
步骤5、获取步骤4中得到的任务调度决策结果以及容器伸缩决策结果，根据任务调度决策结果将任务转发至对应的节点，根据容器伸缩决策结果对容器服务副本执行开启或关闭操作，对于每种类型的容器，当伸缩决策结果大于0，则请求节点上的容器引擎进行副本开启操作，否则，执行容器副本关闭操作；
步骤6、节点缓存接收到的任务并将其按照时间先后顺序以及类型信息在不同的队列中排队，然后轮询排队队列，将任务与容器服务副本进行逐一匹对并最终在容器中处理。
2.根据权利要求1所述的一种算力网络中节点任务调度方法，其特征在于，所述步骤1.3.包括以下步骤：
步骤1.3.1、将生成的边缘算网模型信息通过消息队列的topic(标题)进行发布，每隔设定的时间对步骤1.1和步骤1.2进行重复执行；
步骤1.3.2、边缘节点通过订阅topic的方式获取当前最新的算网模型信息，当本地无缓存数据执行缓存操作；当本地已有缓存数据则根据获取的最新的算网模型信息对缓存进行更新。
3.根据权利要求1所述的一种算力网络中节点任务调度方法，其特征在于，所述步骤4包括以下步骤：
步骤4.1、设定种群大小num，随机生成num个任务调度方案，每个任务调度方案包含K个调度决策变量；
步骤4.2、设定适应度函数如以下公式(2)所示：
Figure FDA0003638964950000021
tcal j的具体计算公式为：
tcal j＝twait j+texe j……(3)，
其中，twait j表示任务j的等待时延，包含排队等待时延以及容器开启等待时延两部分，texe j表示任务在容器中的执行时延，ttrans j的具体计算公式为：
Figure FDA0003638964950000031
其中，Dtrans j表示任务j调度过程中传输的数据大小，r表示任务发起节点与任务调度节点间的数据传输速率；
步骤4.3、设定迭代轮次为count，执行count次迭代过程，对任务调度变量以及服务伸缩变量进行更新；
步骤4.4、返回步骤4.3中得到的最优的任务调度方案以及对应的服务伸缩结果。
4.根据权利要求1所述的一种算力网络中节点任务调度方法，其特征在于，所述步骤6包括以下步骤：
步骤6.1、缓存任务请求并将其按照时间先后顺序以及类型信息在不同的队列中排队同时获取容器服务副本的运行状态信息，包含ready和running两种状态，其中ready状态表示容器中无任务执行，running状态表示容器中有任务执行，根据容器副本类型以及容器标识符构建ready容器队列以及running容器队列；
步骤6.2、针对每种类型的任务，循环从任务队列中取出一个任务，判断ready容器队列中是否为空，当ready容器队列中为空则一直等待，否则，取出队列中第一个容器并将任务发送至容器执行，等待执行结果，同时，更改容器状态为running并将容器入队running容器队列；
步骤6.3、当收到任务执行结果，从running容器队列取出容器，更改容器状态为ready，将容器入队ready容器队列。
5.根据权利要求3所述的一种算力网络中节点任务调度方法，其特征在于，所述步骤4.3包括以下步骤：
步骤4.3.1、根据步骤4.2中的适应度函数计算每个调度方案的适应度值，在适应度值计算过程中考虑每个节点上的服务伸缩情况，具体步骤包括：
步骤4.3.1.1、根据已开启服务以及服务的排队情况进行任务平均分配，计算任务的平均完成时延；
步骤4.3.1.2、根据算网模型中各节点资源剩余情况，枚举所有伸缩服务方案，遍历枚举方案，每次选择使得平均完成时延减少最大的方案，更新服务状态以及任务分配情况；
步骤4.3.1.3、重复步骤4.3.1.1和步骤4.3.1.2，当不存在方案使得平均完成时延发生减少，终止迭代；
步骤4.3.2、根据步骤4.3.1中计算得到的适应度值对设定的调度方案执行选择操作，保存适应度值更大的调度方案；
步骤4.3.3、对步骤4.3.2中保存的调度方案执行交叉操作，随机选择两个调度方案并交换其中的部分片段，生成新的调度方案；
步骤4.3.4、对步骤4.3.3中产生的调度方案执行突变操作，随机更改调度方案中调度决策变量的值；
步骤4.3.5、重复步骤4.3.1至步骤4.3.4，直至轮次到达count，结束迭代。
CN202210514304.4A 2022-05-11 2022-05-11 一种算力网络中节点任务调度方法 Pending CN115103404A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210514304.4A CN115103404A (zh) 2022-05-11 2022-05-11 一种算力网络中节点任务调度方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210514304.4A CN115103404A (zh) 2022-05-11 2022-05-11 一种算力网络中节点任务调度方法

Publications (1)

Publication Number Publication Date
CN115103404A true CN115103404A (zh) 2022-09-23

Family

ID=83287289

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210514304.4A Pending CN115103404A (zh) 2022-05-11 2022-05-11 一种算力网络中节点任务调度方法

Country Status (1)

Country Link
CN (1) CN115103404A (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115578694A (zh) * 2022-11-18 2023-01-06 合肥英特灵达信息技术有限公司 一种视频分析算力调度方法、系统、电子设备及存储介质
CN115827185A (zh) * 2022-10-31 2023-03-21 中电信数智科技有限公司 6g空中基站结合北斗空中避障的方法、存储介质及设备
CN116996518A (zh) * 2023-09-26 2023-11-03 北京邮电大学 一种多级异构算力网络调度方法、装置、系统及存储介质
CN117349026A (zh) * 2023-12-04 2024-01-05 环球数科集团有限公司 一种用于aigc模型训练的分布式算力调度系统
WO2024140290A1 (zh) * 2022-12-30 2024-07-04 华为技术有限公司 一种计算任务的处理方法及相关装置

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111338760A (zh) * 2020-02-27 2020-06-26 长沙市源本信息科技有限公司 边缘计算的服务实例跨节点伸缩方法和装置
CN112491619A (zh) * 2020-11-25 2021-03-12 东北大学 一种基于sdn的服务定制网络资源自适应分配技术
CN112995023A (zh) * 2021-03-02 2021-06-18 北京邮电大学 一种多接入边缘计算网络计算卸载系统及其计算卸载方法
WO2021179462A1 (zh) * 2020-03-12 2021-09-16 重庆邮电大学 基于改进量子蚁群算法的Spark平台任务调度方法
CN114356548A (zh) * 2021-12-07 2022-04-15 北京邮电大学 边缘计算服务的动态扩展及放置方法和装置

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111338760A (zh) * 2020-02-27 2020-06-26 长沙市源本信息科技有限公司 边缘计算的服务实例跨节点伸缩方法和装置
WO2021179462A1 (zh) * 2020-03-12 2021-09-16 重庆邮电大学 基于改进量子蚁群算法的Spark平台任务调度方法
CN112491619A (zh) * 2020-11-25 2021-03-12 东北大学 一种基于sdn的服务定制网络资源自适应分配技术
CN112995023A (zh) * 2021-03-02 2021-06-18 北京邮电大学 一种多接入边缘计算网络计算卸载系统及其计算卸载方法
CN114356548A (zh) * 2021-12-07 2022-04-15 北京邮电大学 边缘计算服务的动态扩展及放置方法和装置

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
于天放;芮兰兰;邱雪松;: "基于软件定义网络的服务器集群负载均衡技术研究", 电子与信息学报, no. 12, 25 August 2018 (2018-08-25) *
孙钰坤;张兴;雷波: "边缘算力网络中智能算力感知路由分配策略研究", 无线电通信技术, 7 December 2021 (2021-12-07) *

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115827185A (zh) * 2022-10-31 2023-03-21 中电信数智科技有限公司 6g空中基站结合北斗空中避障的方法、存储介质及设备
CN115827185B (zh) * 2022-10-31 2023-12-01 中电信数智科技有限公司 6g空中基站结合北斗空中避障的方法、存储介质及设备
CN115578694A (zh) * 2022-11-18 2023-01-06 合肥英特灵达信息技术有限公司 一种视频分析算力调度方法、系统、电子设备及存储介质
WO2024140290A1 (zh) * 2022-12-30 2024-07-04 华为技术有限公司 一种计算任务的处理方法及相关装置
CN116996518A (zh) * 2023-09-26 2023-11-03 北京邮电大学 一种多级异构算力网络调度方法、装置、系统及存储介质
CN116996518B (zh) * 2023-09-26 2023-12-26 北京邮电大学 一种多级异构算力网络调度方法、装置、系统及存储介质
CN117349026A (zh) * 2023-12-04 2024-01-05 环球数科集团有限公司 一种用于aigc模型训练的分布式算力调度系统
CN117349026B (zh) * 2023-12-04 2024-02-23 环球数科集团有限公司 一种用于aigc模型训练的分布式算力调度系统

Similar Documents

Publication Publication Date Title
CN115103404A (zh) 一种算力网络中节点任务调度方法
Meng et al. Online deadline-aware task dispatching and scheduling in edge computing
Mansouri et al. Combination of data replication and scheduling algorithm for improving data availability in Data Grids
JP3989443B2 (ja) ウェブ・ファームを制御する方法およびウェブ・ファーム
CN110765365A (zh) 分布式边云协同缓存策略的实现方法、装置、设备和介质
Tantalaki et al. Pipeline-based linear scheduling of big data streams in the cloud
CN112003660B (zh) 一种网内资源的量纲测量方法、算力调度方法及存储介质
Tang et al. Dependent task offloading for multiple jobs in edge computing
CN112162789A (zh) 一种基于软件定义的边缘计算随机卸载决策方法及系统
Ranganathan et al. Computation scheduling and data replication algorithms for data grids
Khelifa et al. Combining task scheduling and data replication for SLA compliance and enhancement of provider profit in clouds
CN112148381A (zh) 一种基于软件定义的边缘计算优先级卸载决策方法及系统
CN114741200A (zh) 面向数据中台的计算资源分配方法、装置及电子设备
CN115022332A (zh) 一种边缘计算中基于深度强化学习的动态服务放置方法
Kumar et al. Novel Dynamic Scaling Algorithm for Energy Efficient Cloud Computing.
CN117579701A (zh) 一种移动边缘网络计算卸载方法及系统
CN117076133A (zh) 云游戏平台异构资源分配方法、计算机装置及存储介质
CN112114951A (zh) 一种自下而上的分布式调度系统及方法
CN116302578A (zh) 一种QoS约束的流应用延迟确保方法及系统
CN113784395B (zh) 一种5g网络切片资源分配方法及系统
CN116302507A (zh) 基于休假排队的应用服务动态部署与更新方法
Soosai et al. Dynamic replica replacement strategy in data grid
CN112148474B (zh) 面向负载均衡的龙芯大数据一体机自适应任务分割方法及系统
CN108667920A (zh) 一种雾计算环境业务流量加速系统及其业务流量加速方法
Alharbi et al. Optimizing jobs' completion time in cloud systems during virtual machine placement

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination