CN115174692A - 一种任务的调度系统以及方法 - Google Patents
一种任务的调度系统以及方法 Download PDFInfo
- Publication number
- CN115174692A CN115174692A CN202210760217.7A CN202210760217A CN115174692A CN 115174692 A CN115174692 A CN 115174692A CN 202210760217 A CN202210760217 A CN 202210760217A CN 115174692 A CN115174692 A CN 115174692A
- Authority
- CN
- China
- Prior art keywords
- node
- task
- execution unit
- data processing
- edge
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 60
- 238000012545 processing Methods 0.000 claims abstract description 229
- 238000010977 unit operation Methods 0.000 claims abstract description 65
- 238000004891 communication Methods 0.000 claims abstract description 23
- 230000005012 migration Effects 0.000 claims description 12
- 238000013508 migration Methods 0.000 claims description 12
- 238000003860 storage Methods 0.000 abstract description 13
- 238000007726 management method Methods 0.000 description 118
- 238000010586 diagram Methods 0.000 description 20
- 230000008569 process Effects 0.000 description 18
- 230000015654 memory Effects 0.000 description 14
- 238000004590 computer program Methods 0.000 description 8
- 230000006870 function Effects 0.000 description 6
- 238000012544 monitoring process Methods 0.000 description 6
- 230000005540 biological transmission Effects 0.000 description 5
- 238000012216 screening Methods 0.000 description 5
- 230000008901 benefit Effects 0.000 description 4
- 230000004044 response Effects 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 230000001360 synchronised effect Effects 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 2
- 230000002159 abnormal effect Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 239000000969 carrier Substances 0.000 description 1
- 238000007405 data analysis Methods 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000009826 distribution Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 239000000835 fiber Substances 0.000 description 1
- 238000005111 flow chemistry technique Methods 0.000 description 1
- 230000036541 health Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 230000007774 longterm Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000012806 monitoring device Methods 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 239000000725 suspension Substances 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/01—Protocols
- H04L67/10—Protocols in which an application is distributed across nodes in the network
- H04L67/1001—Protocols in which an application is distributed across nodes in the network for accessing one among a plurality of replicated servers
- H04L67/1004—Server selection for load balancing
- H04L67/1008—Server selection for load balancing based on parameters of servers, e.g. available memory or workload
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/01—Protocols
- H04L67/10—Protocols in which an application is distributed across nodes in the network
- H04L67/1095—Replication or mirroring of data, e.g. scheduling or transport for data synchronisation between network nodes
Landscapes
- Engineering & Computer Science (AREA)
- Computer Networks & Wireless Communication (AREA)
- Signal Processing (AREA)
- Computer Hardware Design (AREA)
- General Engineering & Computer Science (AREA)
- Data Exchanges In Wide-Area Networks (AREA)
Abstract
本申请实施例提供了一种任务的调度系统、方法、电子设备及存储介质,调度系统至少包括中心云以及与中心云通信连接的若干个边缘节点,每一边缘节点包括若干个执行单元;其中,中心云,用于响应于针对目标数据流的推流信息,获取目标数据流对应的任务配置信息,并根据任务配置信息生成针对推流信息的数据处理任务;获取各个边缘节点对应的节点运行参数,并根据节点运行参数从各个边缘节点中选择满足数据处理任务对应的第一预设条件的第一边缘节点;第一边缘节点,用于接收数据处理任务,并获取各个执行单元的单元运行参数,并根据单元运行参数从各个执行单元中选择满足第二预设条件的第一执行单元;第一执行单元,用于执行针对目标数据流的数据处理任务。
Description
技术领域
本申请涉及边缘计算技术领域,特别是涉及一种任务的调度系统以及一种任务的调度方法。
背景技术
视频和图片因其强大的信息承载力,已经成为数据内容的主要载体和信息传播的主要方式。5G的大宽带、低时延、广链接的特性激活了云视频监测、云游戏、物联网等场景应用,从消费互联网到产业互联网的延伸,更加促进了终端应用和视图数据的爆发。其中,依托于边缘云的基础设施,通过视图计算管控调度为视频监测设备提供就近的接入、音视频处理、录像文件转存等功能,能够为用户提供更具成本优势的产品解决方案。然而,由于流媒体处理服务部署在边缘节点上,其在降低成本的同时,也将边缘节点的不稳定因素引入到数据处理的过程中,从而容易导致数据任务执行过程中容易存在带宽消耗大、成本高,以及容易由于链路过长,导致网络波动严重,不稳定的问题。
发明内容
本申请实施例是提供一种任务的调度系统以及方法,以解决或部分解决基于边缘计算的任务执行过程中存在带宽消耗大、成本高以及传输不稳定的问题。
本申请实施例公开了一种任务的调度系统,所述调度系统至少包括中心云以及与所述中心云通信连接的若干个边缘节点,每一所述边缘节点包括若干个执行单元;其中,
所述中心云,用于响应于针对目标数据流的推流信息,获取所述目标数据流对应的任务配置信息,并根据所述任务配置信息生成针对所述推流信息的数据处理任务;获取各个所述边缘节点对应的节点运行参数,并根据所述节点运行参数从各个所述边缘节点中选择满足所述数据处理任务对应的第一预设条件的第一边缘节点;
所述第一边缘节点,用于接收所述数据处理任务,并获取各个所述执行单元的单元运行参数,并根据所述单元运行参数从各个所述执行单元中选择满足第二预设条件的第一执行单元;
所述第一执行单元,用于执行针对所述目标数据流的所述数据处理任务。
可选地,所述中心云至少包括若干个服务层以及与所述服务层连接的任务管控服务;其中,
所述服务层,用于响应于针对目标数据流的推流信息,获取所述目标数据流对应的任务配置信息,根据所述任务配置信息生成针对所述推流信息的数据处理任务;
所述任务管控服务,用于获取各个所述边缘节点对应的节点运行参数,并根据所述节点运行参数从各个所述边缘节点中选择满足所述数据处理任务对应的第一预设条件的第一边缘节点,并将所述数据处理任务下发至所述第一边缘节点。
可选地,所述第一边缘节点至少包括节点管控服务以及与所述节点管控服务连接的若干个执行单元管控服务,每一所述执行单元管控服务对应一所述执行单元;其中,
所述执行单元管控服务,用于获取所属的执行单元的单元运行参数,并将所述单元运行参数发送至所述节点管控服务;
所述节点管控服务,用于响应于接收到所述数据处理任务,并根据各个所述执行单元的所述单元运行参数,从各个所述执行单元中选择满足第二预设条件的第一执行单元,并将所述数据处理任务下发至所述第一执行单元对应的第一执行单元管控服务;
所述第一执行单元,用于获取所述第一执行单元管控服务发送的所述目标服务,并执行与所述目标数据流对应的目标服务。
可选地,所述第一边缘节点还包括边缘缓存层;其中,
所述节点管控服务,还用于若检测到与所述中心云断开通信连接,则获取所述第一执行单元对所述数据处理任务的任务执行结果以及所述任务执行结果对应的上报信息;
所述边缘缓存层,用于对所述任务执行结果以及所述上报信息进行存储。
可选地,所述节点管控服务,还用于若检测到与所述中心云恢复通信连接,则向所述边缘缓存层发送同步指令;
所述边缘缓存层,还用于将所述任务执行结果与所述上报信息同步至所述中心云的任务管控服务。
可选地,所述任务管控服务,用于获取所述第一边缘节点的节点心跳;若所述第一边缘节点的节点心跳超时,则根据除所述第一边缘节点之外的其他边缘节点对应的节点运行参数,选择满足所述第一预设条件的第二边缘节点;并将所述数据处理任务迁移至所述第二边缘节点;
所述第二边缘节点,用于接收所述数据处理任务,并获取各个所述执行单元的单元运行参数,并根据所述单元运行参数从各个所述执行单元中选择满足第二预设条件的第二执行单元;
所述第一执行单元,用于执行针对所述目标数据流的所述数据处理任务。
可选地,所述节点管控服务,还用于获取所述第一执行单元的单元心跳;若所述第一执行单元的单元心跳超时,则根据除所述第一执行单元之外的其他执行单元对应的节点运行参数,选择满足所述第二预设条件的第二执行单元;并将所述数据处理任务下发至所述第二执行单元对应的第二执行单元管控服务;
所述第二执行单元,用于获取所述第二执行单元管控服务发送的所述目标服务,并执行与所述目标数据流对应的目标服务。
可选地,所述节点管控服务,还用于若所属的各个执行单元的节点运行参数均不满足所述第二预设条件,则向中心云的任务管控服务发送任务迁移请求;
所述任务管控服务,用于根据除所述第一边缘节点之外的其他边缘节点对应的节点运行参数,选择满足所述第一预设条件的第二边缘节点;并将所述数据处理任务迁移至所述第二边缘节点。
可选地,所述中心云,还用于获取各个所述边缘节点对应的带宽成本信息,以及从所述边缘节点对应的节点运行参数中提取与所述数据处理任务关联的第一运行参数;根据所述带宽成本信息与所述第一运行参数计算所述边缘节点对应的节点分值,并将节点分值最高的边缘节点作为执行所述数据处理任务的第一边缘节点。
可选地,所述第一边缘节点,还用于从各个所述执行单元对应的单元运行参数中提取与所述数据处理任务关联的第二运行参数;根据所述第二运行参数计算所述执行单元对应的单元分值,并将单元分值最高的执行单元作为执行所述数据处理任务的第一执行单元。
本申请实施例还提供了一种任务的调度方法,包括:
响应于针对目标数据流的推流信息,获取所述目标数据流对应的任务配置信息,并根据所述任务配置信息生成针对所述推流信息的数据处理任务;
获取各个边缘节点对应的节点运行参数,并根据所述节点运行参数从所述各个边缘节点中选择满足所述数据处理任务对应的第一预设条件的第一边缘节点,所述第一边缘节点用于执行针对所述目标数据流的所述数据处理任务。
可选地,所述根据所述节点运行参数从所述各个边缘节点中选择满足所述数据处理任务对应的第一预设条件的第一边缘节点,包括:
获取各个所述边缘节点对应的带宽成本信息;
从所述边缘节点对应的节点运行参数中提取与所述数据处理任务关联的第一运行参数;
根据所述带宽成本信息与所述第一运行参数计算所述边缘节点对应的节点分值,并将节点分值最高的边缘节点作为执行所述数据处理任务的第一边缘节点。
可选地,获取所述第一边缘节点发送的同步指令以及所述数据处理任务对应的任务执行结果与上报信息;
响应于所述同步指令,对所述任务执行结果与所述上报信息进行同步。
可选地,获取所述第一边缘节点的节点心跳;
若所述第一边缘节点的节点心跳超时,则根据除所述第一边缘节点之外的其他边缘节点对应的节点运行参数,选择满足所述第一预设条件的第二边缘节点,并将所述数据处理任务迁移至所述第二边缘节点,所述第二边缘节点用于执行针对所述目标数据流的所述数据处理任务。
本申请实施例还提供了一种任务的调度方法,包括:
获取节点运行参数,并将所述节点运行参数发送至中心云,所述中心云用于响应于针对目标数据流的推流信息,获取所述目标数据流对应的任务配置信息,并根据所述任务配置信息生成针对所述推流信息的数据处理任务;
接收所述数据处理任务,并获取各个执行单元的单元运行参数;
根据所述单元运行参数从各个所述执行单元中选择满足第二预设条件的第一执行单元,所述第一执行单元用于执行针对所述目标数据流的所述数据处理任务。
可选地,所述根据所述单元运行参数从各个所述执行单元中选择满足第二预设条件的第一执行单元,包括:
从各个所述执行单元对应的单元运行参数中提取与所述数据处理任务关联的第二运行参数;
根据所述第二运行参数计算所述执行单元对应的单元分值,并将单元分值最高的执行单元作为执行所述数据处理任务的第一执行单元。
可选地,还包括:
若检测到与所述中心云断开通信连接,则获取所述第一执行单元对所述数据处理任务的任务执行结果以及所述任务执行结果对应的上报信息;
将所述任务执行结果以及所述上报信息存储于预设的边缘缓存层。
可选地,还包括:
若检测到与所述中心云恢复通信连接,则向所述边缘缓存层发送同步指令,所述边缘缓存层用于响应所述同步指令,将所述任务执行结果与所述上报信息同步至所述中心云。
可选地,还包括:
获取所述第一执行单元的单元心跳;
若所述第一执行单元的单元心跳超时,则根据除所述第一执行单元之外的其他执行单元对应的节点运行参数,选择满足所述第二预设条件的第二执行单元,将所述数据处理任务下发至所述第二执行单元,所述第二执行单元可选地,还包括:
若各个所述执行单元的节点运行参数均不满足所述第二预设条件,则向中心云发送任务迁移请求,所述中心云用于根据除所述第一边缘节点之外的其他边缘节点对应的节点运行参数,选择满足所述第一预设条件的第二边缘节点,并将所述数据处理任务迁移至所述第二边缘节点。
本申请实施例还提供了一种任务的调度方法,应用于调度系统,所述调度系统包括中心云以及与所述中心云通信连接的若干个边缘节点,每一所述边缘节点包括若干个执行单元,所述方法包括:
所述中心云响应于针对目标数据流的推流信息,获取所述目标数据流对应的任务配置信息,根据所述任务配置信息生成针对所述推流信息的数据处理任务;
所述中心云获取各个边缘节点对应的节点运行参数,并根据所述节点运行参数从所述各个边缘节点中选择满足所述数据处理任务对应的第一预设条件的第一边缘节点;
所述第一边缘节点获取各个所述执行单元的单元运行参数,根据所述单元运行参数从所述各个执行单元中选择满足第二预设条件的第一执行单元;
所述第一执行单元执行针对所述目标数据流的所述数据处理任务。
可选地,所述中心云至少包括若干个服务层以及与所述服务层连接的任务管控服务;所述中心云响应于针对目标数据流的推流信息,获取所述目标数据流对应的任务配置信息,根据所述任务配置信息生成针对所述推流信息的数据处理任务,包括:
所述服务层响应于针对目标数据流的推流信息,获取所述目标数据流对应的任务配置信息,根据所述任务配置信息生成针对所述推流信息的数据处理任务;
所述任务管控服务获取各个所述边缘节点对应的节点运行参数,并根据所述节点运行参数从各个所述边缘节点中选择满足所述数据处理任务对应的第一预设条件的第一边缘节点,并将所述数据处理任务下发至所述第一边缘节点。
可选地,所述第一边缘节点至少包括节点管控服务以及与所述节点管控服务连接的若干个执行单元管控服务,每一所述执行单元管控服务对应一所述执行单元;所述第一边缘节点获取各个所述执行单元的单元运行参数,根据所述单元运行参数从所述各个执行单元中选择满足第二预设条件的第一执行单元,包括:
所述执行单元管控服务获取所属的执行单元的单元运行参数,并将所述单元运行参数发送至所述节点管控服务;
所述节点管控服务响应于接收到所述数据处理任务,并根据各个所述执行单元的所述单元运行参数,从各个所述执行单元中选择满足第二预设条件的第一执行单元,并将所述数据处理任务下发至所述第一执行单元对应的第一执行单元管控服务;
其中,所述第一执行单元执行针对所述目标数据流的所述数据处理任务,包括:
所述第一执行单元获取所述第一执行单元管控服务发送的所述目标服务,并执行与所述目标数据流对应的目标服务。
可选地,所述第一边缘节点还包括边缘缓存层,所述方法还包括:
若所述节点管控服务检测到与所述中心云断开通信连接,则获取所述第一执行单元对所述数据处理任务的任务执行结果以及所述任务执行结果对应的上报信息;
将所述任务执行结果以及所述上报信息存储至所述边缘缓存层。
可选地,还包括
若所述节点管控服务检测到与所述中心云恢复通信连接,则向所述边缘缓存层发送同步指令;
所述边缘缓存层将所述任务执行结果与所述上报信息同步至所述中心云的任务管控服务。
可选地,还包括:
所述任务管控服务获取所述第一边缘节点的节点心跳;若所述第一边缘节点的节点心跳超时,则根据除所述第一边缘节点之外的其他边缘节点对应的节点运行参数,选择满足所述第一预设条件的第二边缘节点;并将所述数据处理任务迁移至所述第二边缘节点;
所述第二边缘节点接收所述数据处理任务,并获取各个所述执行单元的单元运行参数,并根据所述单元运行参数从各个所述执行单元中选择满足第二预设条件的第二执行单元;
所述第一执行单元执行针对所述目标数据流的所述数据处理任务。
可选地,还包括:
所述节点管控服务获取所述第一执行单元的单元心跳;若所述第一执行单元的单元心跳超时,则根据除所述第一执行单元之外的其他执行单元对应的节点运行参数,选择满足所述第二预设条件的第二执行单元;并将所述数据处理任务下发至所述第二执行单元对应的第二执行单元管控服务;
所述第二执行单元获取所述第二执行单元管控服务发送的所述目标服务,并执行与所述目标数据流对应的目标服务。
可选地,还包括:
若所述节点管控服务检测到所属的各个执行单元的节点运行参数均不满足所述第二预设条件,则向所述中心云的任务管控服务发送任务迁移请求;
所述任务管控服务根据除所述第一边缘节点之外的其他边缘节点对应的节点运行参数,选择满足所述第一预设条件的第二边缘节点;并将所述数据处理任务迁移至所述第二边缘节点。
可选地,所述根据所述节点运行参数从所述各个边缘节点中选择满足所述数据处理任务对应的第一预设条件的第一边缘节点,包括:
获取各个所述边缘节点对应的带宽成本信息;
从所述边缘节点对应的节点运行参数中提取与所述数据处理任务关联的第一运行参数;
根据所述带宽成本信息与所述第一运行参数计算所述边缘节点对应的节点分值,并将节点分值最高的边缘节点作为执行所述数据处理任务的第一边缘节点。
可选地,所述根据所述单元运行参数从所述各个执行单元中选择满足第二预设条件的第一执行单元,包括:
从各个所述执行单元对应的单元运行参数中提取与所述数据处理任务关联的第二运行参数;
根据所述第二运行参数计算所述执行单元对应的单元分值,并将单元分值最高的执行单元作为执行所述数据处理任务的第一执行单元。
本申请实施例包括以下优点:
在本申请实施例中,对于调度系统,其可以包括中心云以及与中心云通信连接的若干个边缘节点,每一边缘节点可以包括若干个执行单元,在任务的调度过程中,中心云可以响应于针对目标数据流的推流信息,获取目标数据流对应的任务配置信息,并根据任务配置信息生成针对推流信息的数据处理任务;获取各个边缘节点对应的节点运行参数,并根据节点运行参数从各个边缘节点中选择满足数据处理任务对应的第一预设条件的第一边缘节点,通过边缘节点的节点运行参数选择合适的节点用于执行数据处理任务,不仅可以保证任务执行的有效性,而且通过合适的边缘节点执行数据处理任务,可以保证边缘节点运行性能的均衡性,以及减少带宽消耗和带宽成本,并且,在通过合适的边缘节点执行数据处理任务的过程中,边缘节点还可以通过获取各个执行单元的单元运行参数,并根据单元运行参数从各个执行单元中选择满足第二预设条件的第一执行单元,通过第一执行单元执行针对目标数据流的数据处理任务,通过在边缘节点内部的调度,可以进一步地降低相应的处理成本,提高任务执行的效率。
附图说明
图1是本申请实施例中提供的一种任务的调度系统的结构框图;
图2是本申请实施例中提供的中心云的结构框图;
图3是本申请实施例中提供的边缘节点的结构框图;
图4是本申请实施例中提供的边缘节点的结构框图;
图5是本申请实施例中提供的调度系统的结构框图;
图6是本申请实施例中提供的一种任务的调度方法的步骤流程图;
图7是本申请实施例中提供的一种任务的调度方法的步骤流程图;
图8是本申请实施例中提供的一种任务的调度方法的步骤流程图;
图9是本申请实施例中提供的一种网络设备的示意图。
具体实施方式
为使本申请的上述目的、特征和优点能够更加明显易懂,下面结合附图和具体实施方式对本申请作进一步详细的说明。
作为一种示例,在视图计算产品方案中,依托于边缘云的基础设施,通过视图计算管控调度可以为视频监测设备提供就近的接入、音视频处理、录像文件转存等功能,为用户提供了更具成本优势的产品解决方案。然而,由于流媒体处理服务部署在边缘节点上,其在降低成本的同时,也会将边缘节点不稳定的软硬件环境引入调度系统中,影响系统运行的稳定性。
例如,以直播流媒体处理为例,用户终端推流后,数据流可以经过多个物理机房转发到中心机房,中心机房中可以部署有视频录制转码等计算处理能力,通过在中心机房转码后,可以将相应的转码数据存储到中心机房的OSS集群(Object Storage Service,云对象存储服务)。在该过程中,如果用户终端推流是通过CDN(Content Delivery Network,内容分发网络)机房转发到中心机房,接着在进行拉流处理,则无疑会到导致带宽成本的提高,并且,若果用户终端直连中心机房,则会由于网络链路过长导致网络容易波动、不稳定的问题。
对此,本申请的核心发明点之一在于对边缘任务的调度系统进行优化,提供一种云边协同的高可用且低成本的任务调度方式,具体的,对于调度系统,其可以包括中心云以及与中心云通信连接的若干个边缘节点,每一个边缘节点可以包括若干个执行单元,在任务的调度过程中,中心云可以根据各个边缘节点的节点运行参数选择与数据处理任务最为适配的节点作为执行数据处理任务的边缘节点,不仅可以保证任务执行的有效性,而且通过合适的边缘节点执行数据处理任务,可以保证边缘节点运行性能的均衡性,以及减少带宽消耗和带宽成本,并且,对于执行任务的边缘节点,其还可以进一步地根据各个执行单元的单元运行参数选择与数据处理任务最为适配的执行单元用于执行数据处理任务,以进一步地降低相应的处理成本,提高任务执行的效率。进一步,在执行任务的过程中,当执行任务的边缘节点或执行单元之间发生了异常,还可以实现边缘节点的内迁移或跨边缘节点的迁移,提高了调度系统的高可用性以及边缘服务的稳定性。
为了是本领域技术人员更好地理解本申请实施例中的技术方案,下面对本申请实施例中涉及的部分技术名词进行解释、说明:
中心云,其可以为基于云计算技术的能力,构筑在云计算数据中心基础设施上的云计算平台,通过对复杂、大规模的全局性数据处理任务进行汇总、分析等,可以有效地实现庞大数据量的存储、管理。
边缘云/边缘云计算:简称边缘云,是基于云计算技术的核心和边缘计算的能力,构筑在边缘基础设施之上的云计算平台,形成边缘位置的计算、网络、存储、安全等能力全面的弹性云平台,并与中心云和物联网终端形成“云边端三体协同”的端到端的技术架构,通过将网络转发、存储、计算、智能化数据分析等工作放在边缘处理,降低响应时延、减轻中心云压力、降低带宽成本,并提供全网调度、算力分发等云服务。
边缘节点:边缘云的基本架构是由中心集中管控以及覆盖到全网各个位置的多个边缘分布式节点组成,是典型的一对多管控模型。边缘云节点的形态包括但不限于:边缘IDC(Internetdatacenter,互联网数据中心),边缘网关,边缘设备等。需要说明的是,本申请实施例中边缘节点可以为基于边缘IDC建立的可用于边缘云计算的一个边缘单元。
数据流,其可以包括图像流、视频流、音频流等,不同的数据流可以对应不同的任务配置信息,例如,对于视频流,其可以对应截图配置信息、录制配置信息等。不同的任务配置信息可以用于配置不同的数据处理任务,以便边缘节点执行相应的数据处理任务,如对视频流进行截图、对视频流进行录制等等。
运行参数,其可以包括节点运行参数以及单元运行参数,对于单元运行参数,其可以包括一个执行单元的CPU、GPU、磁盘、内存、带宽等使用率,由于一个边缘节点可以包括若干个执行单元,则节点运行参数可以为所有执行单元的单元运行参数的总和,例如CPU使用率总和、GPU使用率总和、磁盘使用率总和、内存使用率总和、带宽使用率总和等,通过运行参数可以对边缘节点或执行单元的性能状态进行检测,以便根据运行参数选择与数据处理任务合适的边缘节点或执行单元。
具体的,参照图1,示出了本申请实施例中提供的一种任务的调度系统的结构框图,所述调度系统至少包括中心云以及与所述中心云通信连接的若干个边缘节点,每一所述边缘节点包括若干个执行单元;其中,
所述中心云,用于响应于针对目标数据流的推流信息,获取所述目标数据流对应的任务配置信息,并根据所述任务配置信息生成针对所述推流信息的数据处理任务;获取各个所述边缘节点对应的节点运行参数,并根据所述节点运行参数从各个所述边缘节点中选择满足所述数据处理任务对应的第一预设条件的第一边缘节点;
所述第一边缘节点,用于接收所述数据处理任务,并获取各个所述执行单元的单元运行参数,并根据所述单元运行参数从各个所述执行单元中选择满足第二预设条件的第一执行单元;
所述第一执行单元,用于执行针对所述目标数据流的所述数据处理任务。
可选地,对于视图计算,其可以包括网络直播、视频监测、视频识别、图像识别、图像采集等边缘计算场景,不同的边缘计算场景可以对应于不同的数据处理任务,则调度系统在对数据处理任务进行调度的过程中,可以根据实际需要处理的边缘计算场景,选择合适的边缘节点执行对应的数据处理任务。
在本申请实施例中,对于调度系统中的中心云,可以为中心云服务器;对于边缘节点,其可以为基于边缘IDC建立的可用于边缘云计算的一个边缘单元,其可以为计算机集群,也可以为单个计算机设备。其中,中心云与边缘节点之间可以为一对多的关系,且边缘节点与执行单元之间也可以为一对多的关系。可选地,当边缘节点为计算机集群时,则执行单元可以为计算机集群下的一个计算机设备;当边缘节点为单个计算机设备时,则执行单元可以为计算机设备中用于数据处理的一个单元等,本申请对此不作限制。
在数据处理任务的调度过程中,中心云可以根据接收到针对目标数据流的推流信息,获取该目标数据流对应的任务配置信息,以便根据任务配置信息生成对应的数据处理任务。其中,对于目标数据流,可以为边缘计算场景中所涉及的数据流(图像流、视频流、音频流等);推流信息可以为用户终端向调度系统推送数据流的信息,系统在接收到用户终端发送的数据流时,可以对数据流进行相应的处理,可以通过调度系统中的边缘节点执行对应的处理操作,从而当用户终端向系统发送数据流时,中心云可以根据推送的数据流对应的任务配置信息,生成相应的数据处理任务,以便边缘节点执行对应的数据处理任务。
在具体实现中,任务配置信息可以为静态信息,同一类型的数据流可以对应的多种不同的任务配置信息,也可以只对应一种任务配置信息,例如,针对视频流,其可以对应有截图配置信息、录制配置信息等,对于截图配置信息,其可以包括视频流ID、截图格式、截图周期(每5秒截取一次图像)、截图的保存位置等,则中心云可以根据这些截图配置信息生成针对视频流的截图任务;对于录制配置信息,其可以包括视频流ID、录制文件格式、录制文件生成周期(每15min生成一个录制文件)、录制文件的保存位置等,则中心云可以根据这些截图配置信息生成针对视频流的录制任务,从而当系统接收到对应的推流信息时,可以根据任务配置信息生成对应的数据处理任务,并下发至合适的边缘节点,由边缘节点执行对应的数据处理任务。
在一种可选实施例中,参照图2,示出了本申请实施例中提供的中心云的结构框图,在中心云中可以包括若干个服务层以及与服务层连接的任务管控服务。其中,服务层可以用于根据数据流所对应的任务配置信息生成并下发对应的数据处理任务至任务管理服务;任务管理服务可以用于负责边缘节点的管控、任务的管控等,具体的,服务层可以响应于针对目标数据流的推流信息,获取目标数据流对应的任务配置信息,并根据任务配置信息生成针对推流信息的数据处理任务,并将数据处理任务下发至任务管控服务。任务管控服务在接收到对应的数据处理任务后,可以先获取调度系统中各个边缘节点对应的节点运行参数,并根据节点运行参数从各个边缘节点中选择满足数据处理任务对应的第一预设条件的第一边缘节点,并将数据处理任务下发至第一边缘节点,从而通过运行参数筛选出与数据处理任务匹配的边缘节点用于执行数据处理任务,不仅可以保证任务执行的有效性,而且通过合适的边缘节点执行数据处理任务,可以保证边缘节点运行性能的均衡性,以及减少带宽消耗和带宽成本。
对于不同的数据处理任务,其对边缘节点的运行参数要求不同,例如,对于截图任务,其消耗的主要是边缘节点的CPU和I/O资源,要求由CPU使用量低、I/O资源使用率低的边缘节点进行处理;对于视频转码任务,其消耗的主要是边缘节点的GPU和网络I/O资源,要求由CPU使用量低、网络I/O资源使用率低的边缘节点进行处理;对于识别任务,其消耗的是CPU或GPU资源,要求由CPU资源使用量低或GPU资源使用率低的边缘节点进行处理等,则在一种示例中,针对不同的数据处理任务,任务管控服务可以通过获取从各个边缘节点对应的节点运行参数中提取与数据处理任务关联的第一运行参数,然后基于第一运行参数计算每个边缘节点的节点分值,再按照节点分值的大小,从中选择节点分值最高的边缘节点作为执行数据处理任务的边缘节点,然后将数据处理任务下发至对应的边缘节点。
在另一种示例中,针对不同的数据处理任务,任务管控服务除了可以通过从各个边缘节点的节点运行参数提取对应的第一运行参数,对边缘节点进行筛选之外,还可以获取各个边缘节点对应的带宽成本信息,并采用带宽成本信息计算各个边缘节点对应的第一子分值,同时基于第一运行参数计算每个边缘节点的第二子分值,然后将边缘节点所对应的两个子分值进行求和,得到边缘节点的节点分值,以便按照节点分值的大小将节点分值最高的边缘节点作为执行数据处理任务的边缘节点,然后将数据处理任务下发至对应的边缘节点,从而通过筛选出与数据处理任务匹配的边缘节点用于执行数据处理任务,不仅可以保证任务执行的有效性,而且通过合适的边缘节点执行数据处理任务,可以保证边缘节点运行性能的均衡性,以及减少带宽消耗和带宽成本。
其中,对于带宽成本信息,其可以为数据流接入的边缘节点与计算节点之间数据传输所需带宽对应的成本,所需带宽越小,则成本越低,对于的第一子分值越高;反之,则第一子分值越低。同理,边缘节点中执行数据处理任务所需的运行参数对应的使用率越低,则第二子分值越高;反之,则第二子分值越低。例如,假设有两个边缘节点A和B,对于一个截图任务,其对应的资源消耗与视频流编码格式、分辨率、截图周期等有关,具体的,当一个视频流是H264编码格式(系数10)、分辨率720p、截图周期5s,若以480p为基准资源消耗Q=10*720*5/480=75,边缘节点A和B,已使用资源/总资源分别是200/8000、300/8000,则Score2可以分别为8000/200和8000/300,假设Score1相同,则可以将截图任务下发至边缘节点A上执行。
需要说明的是,对于边缘节点的筛选,其可以根据实际需求设定对应的筛选策略,即本申请实施例包括但不限于上述示例。
在一种可选实施例中,参照图3,示出了本申请实施例中提供的边缘节点的结构框图,对于一个边缘节点,其至少可以包括节点管控服务以及与所述节点管控服务连接的若干个执行单元管控服务,每一所述执行单元管控服务对应一所述执行单元。其中,节点管控服务可以用于对边缘节点内所有执行单元进行任务管理、周期向中心云上报边缘节点的节点运行参数以及节点心跳等;执行单元管控服务可以用于负责所对应的执行单元的单元运行参数以及单元心跳的收集,同时对执行单元的数据处理任务进行管控以及对执行单元进行健康监测;执行单元负责执行具体的任务。可选地,对于中心云与边缘节点,其均可以包括对应的云边通道,用于在中心云与边缘节点之间进行通信。
具体的,在任务的调度过程中,每一个执行单元管控服务可以获取所属的执行单元的单元运行参数,并将所述单元运行参数发送至所述节点管控服务,以便节点管控服务周期性地汇总各个执行单元对应的单元运行参数得到节点运行参数,并将节点运行参数上报至中心云,进而方便中心云的任务管控服务可以根据节点运行参数筛选出与数据处理任务匹配的边缘节点。当节点管控服务接收到中心云的任务管控服务下发的数据处理任务后,可以响应于接收到所述数据处理任务,根据各个所述执行单元的所述单元运行参数,从各个所述执行单元中选择满足第二预设条件的第一执行单元,并将所述数据处理任务下发至所述第一执行单元对应的第一执行单元管控服务。第一执行单元管控服务可以将数据处理任务发送至对应的执行单元,以便第一执行单元并执行与所述目标数据流对应的目标服务,同时第一执行单元管控服务可以在第一执行单元执行数据处理任务的过程中,对第一执行单元进行管控,以保证数据处理任务能够有效地被执行。
对于执行单元的筛选,第一边缘节点中的节点管控服务可以从各个执行单元对应的单元运行参数中提取与数据处理任务关联的第二运行参数,然后可以根据第二运行参数计算执行单元对应的单元分值,并将单元分值最高的执行单元作为执行数据处理任务的第一执行单元,通过在边缘节点内部的调度,可以进一步地降低相应的处理成本,提高任务执行的效率。需要说明的是,对于执行单元的筛选,其可以参考前述边缘节点的筛选过程,两者相同或相似,在此不再赘述。
此外,参照图4,示出了本申请实施例中提供的边缘节点的结构框图,在边缘节点中还可以包括边缘缓存层,其可以用于在网络状态不好的情况下,对云边之间的交互信息进行缓存。具体的,在执行单元执行对应的数据处理任务的过程中,若节点管控服务检测到与中心云断开通信连接,则可以获取第一执行单元对数据处理任务的任务执行结果以及任务执行结果对应的上报信息,然后可以由边缘缓存层对任务执行结果以及上报信息进行存储。并且,在节点管控服务检测到与中心云恢复通信连接的情况下,可以向边缘缓存层发送同步指令,以便边缘缓存层将通过云边通道任务执行结果与上报信息同步至中心云的任务管控服务,从而当云边网络之间出现短时不可用的情况下,边缘节点可以将任务执行结果与需要上报的信息暂存于边缘缓存层中,并在网络恢复后进行云边同步,有效地保证了网络短时抖动时系统的边缘服务的高可用性。
其中,任务执行结果可以为表征执行单元执行数据处理任务的处理结果,可以包括数据处理任务的执行进度、执行过程中产生的数据文件等信息,上报信息可以为报告当次数据处理任务的执行状态,可以包括当次数据处理任务的执行中止、执行失败、执行完成等,例如,在截图任务中,边缘节点截图了一张图像,其除了需要将图像传输至中心云,以便中心云将图像存储至指定位置外,还需要将该条传输数据对应的记录传输至中心云,由中心云进行记录,以便后续可以进行数据查询等,本申请对此不作限制。
此外,对于长时不可用的情况,可以通过边缘节点调度与执行单元调度不同层级的调度策略进行处理,以保证系统的边缘服务的高可用性。具体的,在边缘节点调度的情况下,中心云的任务管控服务可以获取第一边缘节点的节点心跳,若第一边缘节点的节点心跳超时,则可以根据除第一边缘节点之外的其他边缘节点对应的节点运行参数,选择满足第一预设条件的第二边缘节点;并将数据处理任务迁移至第二边缘节点,以便第二边缘节点接收数据处理任务,并获取各个执行单元的单元运行参数,并根据单元运行参数从各个执行单元中选择满足第二预设条件的第二执行单元,然后有第二执行单元执行针对目标数据流的数据处理任务,从而通过在边缘节点之间进行跨节点的任务调度,可以有效保证边缘网络发生长时不可用时,边缘服务的高可用性,进而保证系统整体的稳定性。
在执行单元调度的情况下,第一边缘节点的节点管控服务可以获取第一执行单元的单元心跳,若第一执行单元的单元心跳超时,则可以根据除第一执行单元之外的其他执行单元对应的节点运行参数,选择满足第二预设条件的第二执行单元,并将数据处理任务下发至第二执行单元对应的第二执行单元管控服务,由第二执行单元管控服务将数据处理任务发送至第二执行单元,以便第二执行单元执行与目标数据流对应的目标服务。并且,在节点管控服务检测到所属的各个执行单元的节点运行参数均不满足第二预设条件的情况下,则可以向中心云的任务管控服务发送任务迁移请求,以便任务管控服务根据除第一边缘节点之外的其他边缘节点对应的节点运行参数,重新选择满足第一预设条件的第二边缘节点,将数据处理任务迁移至第二边缘节点,并由第二边缘节点执行该数据处理任务,从而通过对执行数据处理任务的执行单元进行心跳检测,使得当执行单元出现异常的情况,可以通过边缘节点内部的任务迁移,或通过边缘节点之间的任务迁移,提高系统整体运行的可用性,使得系统在提供对应的边缘服务时,通过无感知的方式进行任务迁移,可以有效地保证边缘服务的稳定性。
需要说明的是,本申请实施例包括但不限于上述示例,可以理解的是,本领域技术人员在本申请实施例的思想指导下,还可以根据实际需求进行设置,本申请对此不作限制。
在本申请实施例中,对于调度系统,其可以包括中心云以及与中心云通信连接的若干个边缘节点,每一边缘节点可以包括若干个执行单元,在任务的调度过程中,中心云可以响应于针对目标数据流的推流信息,获取目标数据流对应的任务配置信息,并根据任务配置信息生成针对推流信息的数据处理任务;获取各个边缘节点对应的节点运行参数,并根据节点运行参数从各个边缘节点中选择满足数据处理任务对应的第一预设条件的第一边缘节点,通过边缘节点的节点运行参数选择合适的节点用于执行数据处理任务,不仅可以保证任务执行的有效性,而且通过合适的边缘节点执行数据处理任务,可以保证边缘节点运行性能的均衡性,以及减少带宽消耗和带宽成本,并且,在通过合适的边缘节点执行数据处理任务的过程中,边缘节点还可以通过获取各个执行单元的单元运行参数,并根据单元运行参数从各个执行单元中选择满足第二预设条件的第一执行单元,通过第一执行单元执行针对目标数据流的数据处理任务,通过在边缘节点内部的调度,可以进一步地降低相应的处理成本,提高任务执行的效率。
为了使本领域技术人员更好地理解本申请实施例的技术方案,下面通过一个例子进行示例性说明:
参照图5,示出了本申请实施例中提供的调度系统的结构框图,调度系统可以包括中心云以及若干个边缘节点,其中,中心云可以包括若干个服务层以及通过API(Application Programming Interface,应用编程接口)与服务层连接的任务管控服务;边缘节点可以包括边缘缓存层、节点管控服务以及通过API与节点管控服务连接的若干个执行单元管控服务,每一个执行单元管控服务连接一执行单元。此外,在中心云和边缘节点中均可以包括云边通道,用于在云边之间、中心云内、边缘节点内进行数据传输。
在数据处理任务的调度过程中,中心云中的任务管控服务可以负责对边缘节点进行管控,包括获取边缘节点的节点运行参数,对边缘节点进行上线、下线,以及监测边缘节点的节点心跳等,同时还可以对数据处理任务进行管控,包括对数据处理任务进行调度、启动以及停止等。此外,任务管控服务可以通过云边通道获取边缘节点的节点运行参数、节点心跳、任务回传等数据,同时可以向边缘节点下发对应的数据处理任务。
对于边缘节点,节点管控服务可以负责对每个执行单元管控服务进行管控,包括获取执行单元的单元运行参数、单元心跳,对数据处理任务进行下发以及获取任务回传等;对于单个执行单元管控服务,可以负责对所属的执行单元进行管控,包括收集单元运行参数(CPU、GPU、磁盘、内存、带宽等)、对数据处理任务进行管控(任务启动、任务停止等)、对缓存进行管控以及对执行单元的心跳进行监测等;对于执行单元,其在执行数据处理任务的过程中,可以将相应的数据通过云边通道回调至节点管控服务,以便节点管控服务将数据传输至中心云。
此外,当边缘节点出现短时不可用时,边缘节点可以将当前执行的数据处理任务所对应的任务执行结果以及上报信息存储至边缘缓存层,以便在恢复通信的情况下,可以将对应的数据通过云边通道同步至中心云。
通过上述对调度系统进行优化,能够有效地提供一种云边协同的高可用且低成本的任务调度方式,实现边缘自治、节点内调度、跨节点调度等高可用的方案,有效地保证了边缘服务的稳定性。
参照图6,示出了本申请实施例中提供的一种任务的调度方法的步骤流程图,具体可以包括如下步骤:
步骤601,响应于针对目标数据流的推流信息,获取所述目标数据流对应的任务配置信息,并根据所述任务配置信息生成针对所述推流信息的数据处理任务;
步骤601,获取各个边缘节点对应的节点运行参数,并根据所述节点运行参数从所述各个边缘节点中选择满足所述数据处理任务对应的第一预设条件的第一边缘节点,所述第一边缘节点用于执行针对所述目标数据流的所述数据处理任务。
在一种可选实施例中,所述根据所述节点运行参数从所述各个边缘节点中选择满足所述数据处理任务对应的第一预设条件的第一边缘节点,包括:
获取各个所述边缘节点对应的带宽成本信息;
从所述边缘节点对应的节点运行参数中提取与所述数据处理任务关联的第一运行参数;
根据所述带宽成本信息与所述第一运行参数计算所述边缘节点对应的节点分值,并将节点分值最高的边缘节点作为执行所述数据处理任务的第一边缘节点。
在一种可选实施例中,获取所述第一边缘节点发送的同步指令以及所述数据处理任务对应的任务执行结果与上报信息;
响应于所述同步指令,对所述任务执行结果与所述上报信息进行同步。
在一种可选实施例中,获取所述第一边缘节点的节点心跳;
若所述第一边缘节点的节点心跳超时,则根据除所述第一边缘节点之外的其他边缘节点对应的节点运行参数,选择满足所述第一预设条件的第二边缘节点,并将所述数据处理任务迁移至所述第二边缘节点,所述第二边缘节点用于执行针对所述目标数据流的所述数据处理任务。
参照图7,示出了本申请实施例中提供的一种任务的调度方法的步骤流程图,具体可以包括如下步骤:
步骤701,获取节点运行参数,并将所述节点运行参数发送至中心云,所述中心云用于响应于针对目标数据流的推流信息,获取所述目标数据流对应的任务配置信息,并根据所述任务配置信息生成针对所述推流信息的数据处理任务;
步骤702,接收所述数据处理任务,并获取各个执行单元的单元运行参数;
步骤703,根据所述单元运行参数从各个所述执行单元中选择满足第二预设条件的第一执行单元,所述第一执行单元用于执行针对所述目标数据流的所述数据处理任务。
在一种可选实施例中,所述根据所述单元运行参数从各个所述执行单元中选择满足第二预设条件的第一执行单元,包括:
从各个所述执行单元对应的单元运行参数中提取与所述数据处理任务关联的第二运行参数;
根据所述第二运行参数计算所述执行单元对应的单元分值,并将单元分值最高的执行单元作为执行所述数据处理任务的第一执行单元。
在一种可选实施例中,还包括:
若检测到与所述中心云断开通信连接,则获取所述第一执行单元对所述数据处理任务的任务执行结果以及所述任务执行结果对应的上报信息;
将所述任务执行结果以及所述上报信息存储于预设的边缘缓存层。
在一种可选实施例中,还包括:
若检测到与所述中心云恢复通信连接,则向所述边缘缓存层发送同步指令,所述边缘缓存层用于响应所述同步指令,将所述任务执行结果与所述上报信息同步至所述中心云。
在一种可选实施例中,还包括:
获取所述第一执行单元的单元心跳;
若所述第一执行单元的单元心跳超时,则根据除所述第一执行单元之外的其他执行单元对应的节点运行参数,选择满足所述第二预设条件的第二执行单元,将所述数据处理任务下发至所述第二执行单元,所述第二执行单元在一种可选实施例中,还包括:
若各个所述执行单元的节点运行参数均不满足所述第二预设条件,则向中心云发送任务迁移请求,所述中心云用于根据除所述第一边缘节点之外的其他边缘节点对应的节点运行参数,选择满足所述第一预设条件的第二边缘节点,并将所述数据处理任务迁移至所述第二边缘节点。
参照图8,示出了本申请实施例中提供的一种任务的调度方法的步骤流程图,应用于调度系统,所述调度系统包括中心云以及与所述中心云通信连接的若干个边缘节点,每一所述边缘节点包括若干个执行单元,具体可以包括如下步骤:
步骤801,所述中心云响应于针对目标数据流的推流信息,获取所述目标数据流对应的任务配置信息,根据所述任务配置信息生成针对所述推流信息的数据处理任务;
步骤802,所述中心云获取各个边缘节点对应的节点运行参数,并根据所述节点运行参数从所述各个边缘节点中选择满足所述数据处理任务对应的第一预设条件的第一边缘节点;
步骤803,所述第一边缘节点获取各个所述执行单元的单元运行参数,根据所述单元运行参数从所述各个执行单元中选择满足第二预设条件的第一执行单元;
步骤804,所述第一执行单元执行针对所述目标数据流的所述数据处理任务。
在一种可选实施例中,所述中心云至少包括若干个服务层以及与所述服务层连接的任务管控服务;所述中心云响应于针对目标数据流的推流信息,获取所述目标数据流对应的任务配置信息,根据所述任务配置信息生成针对所述推流信息的数据处理任务,包括:
所述服务层响应于针对目标数据流的推流信息,获取所述目标数据流对应的任务配置信息,根据所述任务配置信息生成针对所述推流信息的数据处理任务;
所述任务管控服务获取各个所述边缘节点对应的节点运行参数,并根据所述节点运行参数从各个所述边缘节点中选择满足所述数据处理任务对应的第一预设条件的第一边缘节点,并将所述数据处理任务下发至所述第一边缘节点。
在一种可选实施例中,所述第一边缘节点至少包括节点管控服务以及与所述节点管控服务连接的若干个执行单元管控服务,每一所述执行单元管控服务对应一所述执行单元;所述第一边缘节点获取各个所述执行单元的单元运行参数,根据所述单元运行参数从所述各个执行单元中选择满足第二预设条件的第一执行单元,包括:
所述执行单元管控服务获取所属的执行单元的单元运行参数,并将所述单元运行参数发送至所述节点管控服务;
所述节点管控服务响应于接收到所述数据处理任务,并根据各个所述执行单元的所述单元运行参数,从各个所述执行单元中选择满足第二预设条件的第一执行单元,并将所述数据处理任务下发至所述第一执行单元对应的第一执行单元管控服务;
其中,所述第一执行单元执行针对所述目标数据流的所述数据处理任务,包括:
所述第一执行单元获取所述第一执行单元管控服务发送的所述目标服务,并执行与所述目标数据流对应的目标服务。
在一种可选实施例中,所述第一边缘节点还包括边缘缓存层,所述方法还包括:
若所述节点管控服务检测到与所述中心云断开通信连接,则获取所述第一执行单元对所述数据处理任务的任务执行结果以及所述任务执行结果对应的上报信息;
将所述任务执行结果以及所述上报信息存储至所述边缘缓存层。
在一种可选实施例中,还包括
若所述节点管控服务检测到与所述中心云恢复通信连接,则向所述边缘缓存层发送同步指令;
所述边缘缓存层将所述任务执行结果与所述上报信息同步至所述中心云的任务管控服务。
在一种可选实施例中,还包括:
所述任务管控服务获取所述第一边缘节点的节点心跳;若所述第一边缘节点的节点心跳超时,则根据除所述第一边缘节点之外的其他边缘节点对应的节点运行参数,选择满足所述第一预设条件的第二边缘节点;并将所述数据处理任务迁移至所述第二边缘节点;
所述第二边缘节点接收所述数据处理任务,并获取各个所述执行单元的单元运行参数,并根据所述单元运行参数从各个所述执行单元中选择满足第二预设条件的第二执行单元;
所述第一执行单元执行针对所述目标数据流的所述数据处理任务。
在一种可选实施例中,还包括:
所述节点管控服务获取所述第一执行单元的单元心跳;若所述第一执行单元的单元心跳超时,则根据除所述第一执行单元之外的其他执行单元对应的节点运行参数,选择满足所述第二预设条件的第二执行单元;并将所述数据处理任务下发至所述第二执行单元对应的第二执行单元管控服务;
所述第二执行单元获取所述第二执行单元管控服务发送的所述目标服务,并执行与所述目标数据流对应的目标服务。
在一种可选实施例中,还包括:
若所述节点管控服务检测到所属的各个执行单元的节点运行参数均不满足所述第二预设条件,则向所述中心云的任务管控服务发送任务迁移请求;
所述任务管控服务根据除所述第一边缘节点之外的其他边缘节点对应的节点运行参数,选择满足所述第一预设条件的第二边缘节点;并将所述数据处理任务迁移至所述第二边缘节点。
在一种可选实施例中,所述根据所述节点运行参数从所述各个边缘节点中选择满足所述数据处理任务对应的第一预设条件的第一边缘节点,包括:
获取各个所述边缘节点对应的带宽成本信息;
从所述边缘节点对应的节点运行参数中提取与所述数据处理任务关联的第一运行参数;
根据所述带宽成本信息与所述第一运行参数计算所述边缘节点对应的节点分值,并将节点分值最高的边缘节点作为执行所述数据处理任务的第一边缘节点。
在一种可选实施例中,所述根据所述单元运行参数从所述各个执行单元中选择满足第二预设条件的第一执行单元,包括:
从各个所述执行单元对应的单元运行参数中提取与所述数据处理任务关联的第二运行参数;
根据所述第二运行参数计算所述执行单元对应的单元分值,并将单元分值最高的执行单元作为执行所述数据处理任务的第一执行单元。
需要说明的是,对于方法实施例,为了简单描述,故将其都表述为一系列的动作组合,但是本领域技术人员应该知悉,本申请实施例并不受所描述的动作顺序的限制,因为依据本申请实施例,某些步骤可以采用其他顺序或者同时进行。其次,本领域技术人员也应该知悉,说明书中所描述的实施例均属于优选实施例,所涉及的动作并不一定是本申请实施例所必须的。
本发明的实施例还提供了一种网络设备的示意图,如图9所示,该网络设备包括存储器920、收发机910、处理器900;
存储器920,用于存储计算机程序;
收发机910,用于在处理器900的控制下接收和发送数据;
第一方面,当所述网络设备作为中心云时,处理器900用于读取所述存储器920中的计算机程序并执行前述任务的调度方法;
第二方面,当所述网络设备作为边缘节点时,处理器900用于读取所述存储器920中的计算机程序并执行前述任务的调度方法。
其中,在图9中,总线架构可以包括任意数量的互联的总线和桥,具体由处理器900x10代表的一个或多个处理器和存储器920x20代表的存储器的各种电路链接在一起。总线架构还可以将诸如外围设备、稳压器和功率管理电路等之类的各种其他电路链接在一起,这些都是本领域所公知的,因此,本文不再对其进行进一步描述。总线接口提供接口。收发机910可以是多个元件,即包括发送机和接收机,提供用于在传输介质上与各种其他装置通信的单元,这些传输介质包括无线信道、有线信道、光缆等传输介质。处理器900负责管理总线架构和通常的处理,存储器920可以存储处理器900在执行操作时所使用的数据。
处理器900可以是中心处埋器(CPU)、专用集成电路(Application SpecificIntegrated Circuit,ASIC)、现场可编程门阵列(Field-Programmable Gate Array,FPGA)或复杂可编程逻辑器件(Complex Programmable Logic Device,CPLD),处理器900也可以采用多核架构。
在此需要说明的是,本发明实施例提供的上述装置,能够实现上述方法实施例所实现的所有方法步骤,且能够达到相同的技术效果,在此不再对本实施例中与方法实施例相同的部分及有益效果进行具体赘述。
本发明的实施例还提供了一种处理器可读存储介质,其特征在于,所述处理器可读存储介质存储有计算机程序,所述计算机程序用于使所述处理器执行上述任务的调度方法。
所述处理器可读存储介质可以是处理器能够存取的任何可用介质或数据存储设备,包括但不限于磁性存储器(例如软盘、硬盘、磁带、磁光盘(MO)等)、光学存储器(例如CD、DVD、BD、HVD等)、以及半导体存储器(例如ROM、EPROM、EEPROM、非易失性存储器(NANDFLASH)、固态硬盘(SSD))等。
本领域内的技术人员应明白,本申请的实施例可提供为方法、系统、或计算机程序产品。因此,本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且,本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器和光学存储器等)上实施的计算机程序产品的形式。
本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机可执行指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机可执行指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器,使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些处理器可执行指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的处理器可读存储器中,使得存储在该处理器可读存储器中的指令产生包括指令装置的制造品,该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些处理器可执行指令也可装载到计算机或其他可编程数据处理设备上,使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理,从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
显然,本领域的技术人员可以对本申请进行各种改动和变型而不脱离本申请的精神和范围。这样,倘若本申请的这些修改和变型属于本申请权利要求及其等同技术的范围之内,则本申请也意图包含这些改动和变型在内。
Claims (13)
1.一种任务的调度系统,其特征在于,所述调度系统至少包括中心云以及与所述中心云通信连接的若干个边缘节点,每一所述边缘节点包括若干个执行单元;其中,
所述中心云,用于响应于针对目标数据流的推流信息,获取所述目标数据流对应的任务配置信息,并根据所述任务配置信息生成针对所述推流信息的数据处理任务;获取各个所述边缘节点对应的节点运行参数,并根据所述节点运行参数从各个所述边缘节点中选择满足所述数据处理任务对应的第一预设条件的第一边缘节点;
所述第一边缘节点,用于接收所述数据处理任务,并获取各个所述执行单元的单元运行参数,并根据所述单元运行参数从各个所述执行单元中选择满足第二预设条件的第一执行单元;
所述第一执行单元,用于执行针对所述目标数据流的所述数据处理任务。
2.根据权利要求1所述的调度系统,其特征在于,所述中心云至少包括若干个服务层以及与所述服务层连接的任务管控服务;其中,
所述服务层,用于响应于针对目标数据流的推流信息,获取所述目标数据流对应的任务配置信息,根据所述任务配置信息生成针对所述推流信息的数据处理任务;
所述任务管控服务,用于获取各个所述边缘节点对应的节点运行参数,并根据所述节点运行参数从各个所述边缘节点中选择满足所述数据处理任务对应的第一预设条件的第一边缘节点,并将所述数据处理任务下发至所述第一边缘节点。
3.根据权利要求1所述的调度系统,其特征在于,所述第一边缘节点至少包括节点管控服务以及与所述节点管控服务连接的若干个执行单元管控服务,每一所述执行单元管控服务对应一所述执行单元;其中,
所述执行单元管控服务,用于获取所属的执行单元的单元运行参数,并将所述单元运行参数发送至所述节点管控服务;
所述节点管控服务,用于响应于接收到所述数据处理任务,并根据各个所述执行单元的所述单元运行参数,从各个所述执行单元中选择满足第二预设条件的第一执行单元,并将所述数据处理任务下发至所述第一执行单元对应的第一执行单元管控服务;
所述第一执行单元,用于获取所述第一执行单元管控服务发送的所述目标服务,并执行与所述目标数据流对应的目标服务。
4.根据权利要求3所述的调度系统,其特征在于,所述第一边缘节点还包括边缘缓存层;其中,
所述节点管控服务,还用于若检测到与所述中心云断开通信连接,则获取所述第一执行单元对所述数据处理任务的任务执行结果以及所述任务执行结果对应的上报信息;
所述边缘缓存层,用于对所述任务执行结果以及所述上报信息进行存储。
5.根据权利要求4所述的调度系统,其特征在于,
所述节点管控服务,还用于若检测到与所述中心云恢复通信连接,则向所述边缘缓存层发送同步指令;
所述边缘缓存层,还用于将所述任务执行结果与所述上报信息同步至所述中心云的任务管控服务。
6.根据权利要求2所述的调度系统,其特征在于,
所述任务管控服务,用于获取所述第一边缘节点的节点心跳;若所述第一边缘节点的节点心跳超时,则根据除所述第一边缘节点之外的其他边缘节点对应的节点运行参数,选择满足所述第一预设条件的第二边缘节点;并将所述数据处理任务迁移至所述第二边缘节点;
所述第二边缘节点,用于接收所述数据处理任务,并获取各个所述执行单元的单元运行参数,并根据所述单元运行参数从各个所述执行单元中选择满足第二预设条件的第二执行单元;
所述第一执行单元,用于执行针对所述目标数据流的所述数据处理任务。
7.根据权利要求3所述的调度系统,其特征在于,
所述节点管控服务,还用于获取所述第一执行单元的单元心跳;若所述第一执行单元的单元心跳超时,则根据除所述第一执行单元之外的其他执行单元对应的节点运行参数,选择满足所述第二预设条件的第二执行单元;并将所述数据处理任务下发至所述第二执行单元对应的第二执行单元管控服务;
所述第二执行单元,用于获取所述第二执行单元管控服务发送的所述目标服务,并执行与所述目标数据流对应的目标服务。
8.根据权利要求7所述的调度系统,其特征在于,
所述节点管控服务,还用于若所属的各个执行单元的节点运行参数均不满足所述第二预设条件,则向中心云的任务管控服务发送任务迁移请求;
所述任务管控服务,用于根据除所述第一边缘节点之外的其他边缘节点对应的节点运行参数,选择满足所述第一预设条件的第二边缘节点;并将所述数据处理任务迁移至所述第二边缘节点。
9.根据权利要求1所述的调度系统,其特征在于,
所述中心云,还用于获取各个所述边缘节点对应的带宽成本信息,以及从所述边缘节点对应的节点运行参数中提取与所述数据处理任务关联的第一运行参数;根据所述带宽成本信息与所述第一运行参数计算所述边缘节点对应的节点分值,并将节点分值最高的边缘节点作为执行所述数据处理任务的第一边缘节点。
10.根据权利要求1所述的调度系统,其特征在于,
所述第一边缘节点,还用于从各个所述执行单元对应的单元运行参数中提取与所述数据处理任务关联的第二运行参数;根据所述第二运行参数计算所述执行单元对应的单元分值,并将单元分值最高的执行单元作为执行所述数据处理任务的第一执行单元。
11.一种任务的调度方法,其特征在于,包括:
响应于针对目标数据流的推流信息,获取所述目标数据流对应的任务配置信息,并根据所述任务配置信息生成针对所述推流信息的数据处理任务;
获取各个边缘节点对应的节点运行参数,并根据所述节点运行参数从所述各个边缘节点中选择满足所述数据处理任务对应的第一预设条件的第一边缘节点,所述第一边缘节点用于执行针对所述目标数据流的所述数据处理任务。
12.一种任务的调度方法,其特征在于,包括:
获取节点运行参数,并将所述节点运行参数发送至中心云,所述中心云用于响应于针对目标数据流的推流信息,获取所述目标数据流对应的任务配置信息,并根据所述任务配置信息生成针对所述推流信息的数据处理任务;
接收所述数据处理任务,并获取各个执行单元的单元运行参数;
根据所述单元运行参数从各个所述执行单元中选择满足第二预设条件的第一执行单元,所述第一执行单元用于执行针对所述目标数据流的所述数据处理任务。
13.一种任务的调度方法,其特征在于,应用于调度系统,所述调度系统包括中心云以及与所述中心云通信连接的若干个边缘节点,每一所述边缘节点包括若干个执行单元,所述方法包括:
所述中心云响应于针对目标数据流的推流信息,获取所述目标数据流对应的任务配置信息,根据所述任务配置信息生成针对所述推流信息的数据处理任务;
所述中心云获取各个边缘节点对应的节点运行参数,并根据所述节点运行参数从所述各个边缘节点中选择满足所述数据处理任务对应的第一预设条件的第一边缘节点;
所述第一边缘节点获取各个所述执行单元的单元运行参数,根据所述单元运行参数从所述各个执行单元中选择满足第二预设条件的第一执行单元;
所述第一执行单元执行针对所述目标数据流的所述数据处理任务。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210760217.7A CN115174692A (zh) | 2022-06-30 | 2022-06-30 | 一种任务的调度系统以及方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210760217.7A CN115174692A (zh) | 2022-06-30 | 2022-06-30 | 一种任务的调度系统以及方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN115174692A true CN115174692A (zh) | 2022-10-11 |
Family
ID=83488824
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202210760217.7A Pending CN115174692A (zh) | 2022-06-30 | 2022-06-30 | 一种任务的调度系统以及方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN115174692A (zh) |
Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103236949A (zh) * | 2013-04-27 | 2013-08-07 | 北京搜狐新媒体信息技术有限公司 | 一种服务器集群的监控方法、装置与系统 |
WO2018030924A1 (en) * | 2016-08-11 | 2018-02-15 | Telefonaktiebolaget Lm Ericsson (Publ) | Method and cloud management node for managing a data processing task |
CN111541593A (zh) * | 2020-04-16 | 2020-08-14 | 杭州鸿雁电器有限公司 | 家居管理方法、家居管理系统和计算机可读存储介质 |
WO2020207265A1 (zh) * | 2019-04-08 | 2020-10-15 | 阿里巴巴集团控股有限公司 | 网络系统、管控方法、设备及存储介质 |
CN112799789A (zh) * | 2021-03-22 | 2021-05-14 | 腾讯科技(深圳)有限公司 | 一种节点集群管理方法、装置、设备及存储介质 |
CN112989894A (zh) * | 2019-12-18 | 2021-06-18 | 阿里巴巴集团控股有限公司 | 目标检测方法、任务处理方法、装置、设备及存储介质 |
CN113382032A (zh) * | 2020-03-10 | 2021-09-10 | 阿里巴巴集团控股有限公司 | 云节点变更、网络扩展、服务提供方法、设备及介质 |
CN113778623A (zh) * | 2021-08-26 | 2021-12-10 | 北京达佳互联信息技术有限公司 | 资源处理方法和装置、电子设备及存储介质 |
CN114461382A (zh) * | 2021-12-27 | 2022-05-10 | 天翼云科技有限公司 | 可灵活配置的算力调度实现方法、装置及存储介质 |
-
2022
- 2022-06-30 CN CN202210760217.7A patent/CN115174692A/zh active Pending
Patent Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103236949A (zh) * | 2013-04-27 | 2013-08-07 | 北京搜狐新媒体信息技术有限公司 | 一种服务器集群的监控方法、装置与系统 |
WO2018030924A1 (en) * | 2016-08-11 | 2018-02-15 | Telefonaktiebolaget Lm Ericsson (Publ) | Method and cloud management node for managing a data processing task |
WO2020207265A1 (zh) * | 2019-04-08 | 2020-10-15 | 阿里巴巴集团控股有限公司 | 网络系统、管控方法、设备及存储介质 |
CN112989894A (zh) * | 2019-12-18 | 2021-06-18 | 阿里巴巴集团控股有限公司 | 目标检测方法、任务处理方法、装置、设备及存储介质 |
CN113382032A (zh) * | 2020-03-10 | 2021-09-10 | 阿里巴巴集团控股有限公司 | 云节点变更、网络扩展、服务提供方法、设备及介质 |
CN111541593A (zh) * | 2020-04-16 | 2020-08-14 | 杭州鸿雁电器有限公司 | 家居管理方法、家居管理系统和计算机可读存储介质 |
CN112799789A (zh) * | 2021-03-22 | 2021-05-14 | 腾讯科技(深圳)有限公司 | 一种节点集群管理方法、装置、设备及存储介质 |
CN113778623A (zh) * | 2021-08-26 | 2021-12-10 | 北京达佳互联信息技术有限公司 | 资源处理方法和装置、电子设备及存储介质 |
CN114461382A (zh) * | 2021-12-27 | 2022-05-10 | 天翼云科技有限公司 | 可灵活配置的算力调度实现方法、装置及存储介质 |
Non-Patent Citations (1)
Title |
---|
谢作贵等: "无负载均衡器的Linux高可用负载均衡集群系统", 计算机工程, 5 February 2007 (2007-02-05) * |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11362961B2 (en) | Service processing method and system and device | |
WO2016197876A1 (zh) | 远程控制方法、远程服务器、管理设备和终端 | |
CN110545258B (zh) | 流媒体服务器资源配置方法、装置和服务器 | |
CN111078404B (zh) | 一种计算资源确定方法、装置、电子设备及介质 | |
WO2020119060A1 (zh) | 容器资源调度方法和系统、服务器及计算机可读存储介质 | |
CN110855737B (zh) | 一种一致性级别可控的自适应数据同步方法和系统 | |
CN112468310B (zh) | 流媒体集群节点管理方法、装置及存储介质 | |
CN105516292A (zh) | 一种智能变电站云平台的热备方法 | |
CN112543354B (zh) | 业务感知的分布式视频集群高效伸缩方法和系统 | |
US20160285576A1 (en) | Gateway for interconnection of heterogeneous middleware and time synchronization method thereof | |
CN118018472A (zh) | 一种数据传输处理方法、装置、存储介质及电子装置 | |
CN113485842B (zh) | 一种基于设备集群进行数据分析的方法及设备 | |
CN113114480B (zh) | 一种数据的上报方法及相关设备 | |
CN109302319B (zh) | 报文池分布式集群及其管理方法 | |
CN115174692A (zh) | 一种任务的调度系统以及方法 | |
CN108170527B (zh) | 一种异地多活的分布式消息消费方法及装置 | |
CN114143569B (zh) | 一种网页录制和直播方法及系统 | |
KR101883671B1 (ko) | 노드 분산 방법 및 이를 수행하는 관리 서버 | |
CN113553194B (zh) | 硬件资源管理方法、设备及存储介质 | |
CN112911620B (zh) | 信息处理方法、装置及电子设备和存储介质 | |
CN104503846B (zh) | 一种基于云计算系统的资源管理系统 | |
CN104580498B (zh) | 一种自适应云管理平台 | |
CN114143903A (zh) | 一种网络切片pdu会话的配置方法、装置、设备及介质 | |
WO2020155538A1 (zh) | 视频处理方法、系统、计算机设备及存储介质 | |
US8750131B2 (en) | Dynamic mapping in a multicasting environment |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |