CN116627661B - 算力资源调度的方法和系统 - Google Patents
算力资源调度的方法和系统 Download PDFInfo
- Publication number
- CN116627661B CN116627661B CN202310906489.8A CN202310906489A CN116627661B CN 116627661 B CN116627661 B CN 116627661B CN 202310906489 A CN202310906489 A CN 202310906489A CN 116627661 B CN116627661 B CN 116627661B
- Authority
- CN
- China
- Prior art keywords
- resources
- application container
- computing power
- resource
- edge node
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 35
- 238000007726 management method Methods 0.000 claims abstract description 34
- 238000013468 resource allocation Methods 0.000 claims abstract description 19
- 238000004364 calculation method Methods 0.000 claims description 18
- 230000005540 biological transmission Effects 0.000 claims description 13
- 238000012544 monitoring process Methods 0.000 claims description 9
- 238000002955 isolation Methods 0.000 claims description 7
- 238000013507 mapping Methods 0.000 claims description 6
- 230000002085 persistent effect Effects 0.000 claims description 5
- 238000013139 quantization Methods 0.000 claims description 4
- 238000011161 development Methods 0.000 abstract description 6
- 238000012545 processing Methods 0.000 abstract description 2
- 238000013473 artificial intelligence Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000002159 abnormal effect Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 239000012014 frustrated Lewis pair Substances 0.000 description 1
- 230000002688 persistence Effects 0.000 description 1
- 230000001737 promoting effect Effects 0.000 description 1
- 238000011084 recovery Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 239000002699 waste material Substances 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/46—Multiprogramming arrangements
- G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
- G06F9/5005—Allocation of resources, e.g. of the central processing unit [CPU] to service a request
- G06F9/5027—Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resource being a machine, e.g. CPUs, Servers, Terminals
- G06F9/5038—Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resource being a machine, e.g. CPUs, Servers, Terminals considering the execution order of a plurality of tasks, e.g. taking priority or time dependency constraints into consideration
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/44—Arrangements for executing specific programs
- G06F9/455—Emulation; Interpretation; Software simulation, e.g. virtualisation or emulation of application or operating system execution engines
- G06F9/45533—Hypervisors; Virtual machine monitors
- G06F9/45558—Hypervisor-specific management and integration aspects
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management
Abstract
本发明公开了算力资源调度的方法和系统，属于电数字数据处理技术领域，所述方法包括以下步骤：响应于云端的算力资源分配指令，在目标边缘节点中建立应用容器，所述资源分配指令包括分配的算力资源的逻辑资源、应用容器部署信息；通过应用容器的边车，获得所分配逻辑资源相应的物理资源，并将物理资源的驱动文件挂载到所述应用容器中。对边缘侧的算力资源进行统一管理，提供资源使用效率，降低企业成本；不需要指定算力资源的类型和位置，根据业务请求的算力资源需求量，将相应的计算任务和应用容器调度到目标边缘节点进行执行，实现对边缘侧算力资源的管理和调度，提高了算力资源的使用率，降低使用成本，提高应用的开发效率。
Description
技术领域
本发明涉及电数字数据处理技术领域，具体涉及算力资源调度的方法和系统。
背景技术
当下，人工智能已成为战略性技术之一，不仅是技术创新，更是推动经济发展、社会进步、行业创新的重要驱动力。作为人工智能市场中的重要组成，以GPU、NPU、FPGA等为主的算力资源也随之蓬勃发展，各种类型、各种型号的AI算力资源层出不穷，此外，越来越多的算力分布在边缘测，分布在多个边缘测的算力资源形成异构算力资源。如何实现各种类型的异构算力资源的统一管理和高效调度一直是学术界和工业界研究的热点。
由于缺乏高效经济的异构算力管理和调度解决方案，大部分企业只能独占式地使用昂贵的AI算力资源，带来居高不下的AI算力使用成本；而分布在边缘侧的大量算力资源不能被管理和有效使用，造成严重的资源浪费。另外，异构算力资源的边缘侧部署有多种硬件，用户在设计支应时，需要考虑每一种硬件支持，用户不得不修改AI应用以适应不同厂商的AI算力硬件。这加剧AI应用开发部署复杂性、提高AI算力投入成本。
发明内容
针对现有技术中存在的上述技术问题，本发明提供算力资源调度的方法和系统，实现对边缘侧算力资源的管理和调度，提高算力资源的使用率，降低使用成本。
本发明公开了一种算力资源调度的方法，包括以下步骤：响应于云端的算力资源分配指令，在目标边缘节点中建立应用容器，所述资源分配指令包括分配的算力资源的逻辑资源、应用容器部署信息；通过应用容器的边车，获得所分配逻辑资源相应的物理资源，并将物理资源的驱动文件挂载到所述应用容器中。
进一步的，算力资源的管理方法：获得边缘节点的物理资源；根据所述物理资源，建立逻辑资源、以及物理资源和逻辑资源的映射；将所述逻辑资源上传到云端；对算力资源进行单位量化，所述算力资源包括算力和内存。
进一步的，获得算力资源分配指令的方法包括：
响应于业务请求，将业务请求进行解析，获得一个或多个计算任务；
根据所述计算任务和集群的剩余算力资源分配目标边缘节点及其算力资源；
根据所述算力资源的类型获得应用容器部署信息，所述应用容器部署信息包括适应算力资源的容器镜像。
进一步的，分配边缘节点的方法包括：获得所述计算任务的算力资源需求；获得满足所述算力资源需求的边缘节点列表；基于算力资源剩余量和/或网络情况，从所述边缘节点列表中选取目标边缘节点。
进一步的，所述容器部署信息还包括应用容器的守护程序的镜像，拉起所述容器或容器组的方法包括：
为所述应用容器或容器组注入边车；根据所述守护程序的镜像，启动守护程序；通过所述守护程序拉起应用容器或容器组。进一步的，边缘节点自治的方法；
在所述目标边缘节点中建立持久数据库，所述持久数据库用于保存由云端接收到的元数据，所述元数据用于支撑应用容器的运行。
进一步的，多应用并行调度的方法：
将目标边缘节点的物理资源切片为第一逻辑资源和第二逻辑资源，
将第一应用容器和第二应用容器调度到目标边缘节点；
根据第一应用容器和第二应用容器的算力需求，为所述第一应用容器和第二应用容器分别分配第一逻辑资源和第二逻辑资源；
分别为所述第一应用容器和第二应用容器挂载相应物理资源的驱动文件；
所述第一应用容器利用第一逻辑资源相应的物理资源切片执行相应的计算任务，所述第二应用容器利用第二逻辑资源相应的物理资源切片执行计算任务；
基于以下任一虚拟化技术方案进行第一应用容器和第二应用容器的隔离：vCUDA、CANN、vGPU和cGPU；
对所述边缘节点的物理资源使用情况、以及第一应用容器和第二应用容器的物理资源使用情况进行监控。
基于云端的算力资源调度方法，其特征在于，包括以下步骤：
响应于业务请求，对业务请求进行解析，获得一个或多个计算任务；
根据所述计算任务和集群的剩余算力资源分配目标边缘节点及其算力资源；
根据所述计算任务生成应用容器的部署信息；
根据所分配的算力资源的逻辑资源和应用容器的部署信息，向目标边缘节点发送算力资源分配指令；并向目标边缘节点发送以下挂载指令：通过应用容器的边车，获得所分配逻辑资源相应的物理资源，并将物理资源的驱动文件挂载到所述应用容器中；
根据所述分配算力资源的类型向目标边缘节点发送应用容器的守护程序的镜像。
本发明还提供一种用于实现上述方法的系统，包括第一传输模块和容器管理模块，
所述第一传输模块用于接收云端的算力资源分配指令，所述资源分配指令包括分配的算力资源的逻辑资源、应用容器部署信息；
所述容器管理模块用于在目标边缘节点中建立应用容器及其边车，通过边车获得所分配逻辑资源相应的物理资源，并将物理资源的驱动文件挂载到所述应用容器中。
所述第一传输模块和容器管理模块部署在目标边缘节点，
所述目标边缘节点还部署有算力管理模块，所述算力管理模块用于物理资源的发现和注册，物理资源和逻辑资源的映射管理，调度vCuda、CANN实现每个应用容器算力资源的隔离和限制，以及监控每个物理资源的使用情况和每个应用容器使用的物理资源量；
云端部署有第二传输模块、调度模块和算力控制模块，
所述第二传输模块用于与边缘节点交互，
所述调度模块用于目标边缘节点和算力资源的分配；
所述算力控制模块用于对算力资源进行量化，用于守护程序镜像地址的下发，以及将连车注入到容器组，将容器组的配置信息下发给目标边缘节点。
与现有技术相比，本发明的有益效果为：对边缘侧的算力资源进行统一管理，提供资源使用效率，降低企业成本；不需要指定算力资源的类型和位置，根据业务请求的算力资源需求量，将相应的计算任务和应用容器调度到目标边缘节点进行执行，实现对边缘侧算力资源的管理和调度，提高了算力资源的使用率，降低使用成本，提高应用的开发效率。
附图说明
图1是本发明的算力资源调度方法流程图；
图2是本发明的算力系统的逻辑框图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明的一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。
下面结合附图对本发明做进一步的详细描述：
一种基于云边协同的算力资源调度的方法，如图1所示，包括以下步骤：
步骤101：响应于业务请求，对业务请求进行解析和拆分，获得一个或多个计算任务。每个计算任务具有一定的算力资源需求。
步骤102：根据所述计算任务的算力资源需求和集群的剩余算力资源，分配目标边缘节点及其算力资源。
步骤103：根据所述计算任务，生成应用容器的部署信息。所述部署信息包括守护程序的镜像地址和应用容器的配置信息。
步骤104：根据所分配的算力资源和应用容器的部署信息，向目标边缘节点发送算力资源分配指令。同时，将计算任务相关的元数据下发到目标边缘节点。云端还可以向目标边缘节点发出应用升级指令。
步骤105：根据所述分配算力资源的类型向目标边缘节点发送应用容器的守护程序的镜像。
步骤111：响应于云端的算力资源分配指令，通过守护程序在目标边缘节点中建立应用容器，所述资源分配指令包括分配的算力资源、应用容器部署信息。
步骤112：通过所述应用容器的边车（Sidecar），获得所分配算力资源相应的物理资源，并将物理资源的驱动文件挂载到所述应用容器中。
其中，Sidecar是应用容器的伴生容器，用户仅需要开发相应应用，Sidecar可以在云端或边缘节点中注入。
步骤113：所述应用容器利用所述物理资源，执行相应的计算任务。其中步骤101-105在边缘侧的边缘节点中执行，步骤111-113在云端的管理节点中执行。
对边缘侧的算力资源进行统一管理，将大量的分散的异构算力利用起来，加快计算任务的运行，提供资源使用效率，降低企业成本；不需要指定算力资源的类型、位置和驱动文件，根据业务请求的算力资源需求量，将相应的计算任务和应用容器调度到目标边缘节点进行执行，实现对边缘侧算力资源的管理和调度，提高了算力资源的使用率，降低使用成本，提高应用的开发效率。
其中，算力资源的管理方法包括：
步骤201：获得边缘节点的物理资源。
步骤202：根据所述物理资源，建立逻辑资源、以及物理资源和逻辑资源的映射。其中，一个物理资源或硬件可以建立一个逻辑资源，也可以对物理资源进行分切，建立多个逻辑资源，实现算力资源细粒度的管理。
步骤203：将所述逻辑资源以及资源总量和剩余量上传到云端。
步骤204：对算力资源进行单位量化，所述算力资源包括算力和内存。
例如算力统一通过FLOPs来量化，内存通过内存大小来量化，单位是M。量化后的计算资源通过数据库表（CRD）进行定义；云端的管理节点接收边缘侧定时上报的节点、应用的状态，并更新到CRD中。
步骤102中，分配边缘节点的方法包括：
步骤301：获得所述计算任务的算力资源需求。
步骤302：获得满足所述算力资源需求的边缘节点列表。
步骤303：基于算力资源剩余量和/或网络情况，从所述边缘节点列表中选取目标边缘节点。可以通过算力资源剩余量选取目标边缘节点，也可以资源剩余量和网络情况的加权和，选取目标边缘节点。
例如，Score = λ1×Source_S1 +λ2×Source_S2–λ3×Net/Av
其中，Score表示为分值，λ1、λ2和λ3为权重系数，Source_S1和Source_S2表示为资源剩余量、且两者的资源类型不同，Net表示为网络延迟，Av表示为网络延迟的阈值。通过最大化分值，选取最优边缘节点。
步骤104中，所述容器部署信息还包括应用容器的守护程序的镜像地址，拉起所述容器或容器组的方法包括：通过云端为所述应用容器或容器组注入边车，并将容器或容器组的配置信息下发给目标边缘节点；目标边缘节点根据所述守护程序的镜像地址，启动守护程序；通过所述守护程序拉起应用容器或容器组。
为减少网络断开对计算任务的影响，可以在所述目标边缘节点中建立持久数据库（sqlite），所述持久数据库用于保存由云端接收到的元数据，所述元数据用于支撑应用容器的运行。实现边缘节点的自治。网络断连时、边缘节点异常或重启时，内存数据丢失的情况下；通过持久化边缘数据库，以赋能应用容器的恢复，保障应用的继续正常运行。
多应用并行调度的方法包括以下步骤：
步骤401：将目标边缘节点的物理资源切片为第一逻辑资源、第二逻辑资源和第三逻辑资源。其中，第一逻辑资源和第二逻辑资源可以映射到同一硬件，也可以映射到不同的硬件，第三逻辑资源与第一逻辑资源映射到不同的硬件；第一逻辑资源、第二逻辑资源和第三逻辑资源的大小可以根据需要进行调整。
步骤402：将第一应用容器和第二应用容器调度到目标边缘节点。
步骤403：根据第一应用容器和第二应用容器的算力需求，为所述第一应用容器和第二应用容器分别分配第一逻辑资源和第二逻辑资源。也可以同时将第一应用逻辑资源和第三逻辑资源分配给第一应用容器。
步骤404：分别为所述第一应用容器和第二应用容器挂载相应物理资源的驱动文件。
步骤405：所述第一应用容器利用所分配的物理资源切片执行相应的计算任务，所述第二应用容器利用第二逻辑资源相应的物理资源切片执行计算任务。
步骤406：基于以下任一虚拟化技术方案进行第一应用容器和第二应用容器的隔离：vCUDA、CANN、vGPU和cGPU。保障应用容器之间不存在严重的资源抢占，提高应用的稳定性。
步骤407：对所述边缘节点的物理资源使用情况、以及第一应用容器和第二应用容器的物理资源使用情况进行监控。
通过多应用并行运行，提高物理资源的利用率。可实现多个应用同时使用一个物理资源或者一个应用使用多个物理资源。
本发明还提供一种用于实现上述算力资源调度方法的系统，如图2所示，包括第一传输模块21（命名为EdgeCom）和容器管理模块22（命名为EdgeKL）。
第一传输模块21用于接收云端1的算力资源分配指令，所述资源分配指令包括分配的算力资源的逻辑资源、应用容器部署信息，还用于定时上报边缘节点的服务器状态、计算资源总量、计算资源使用量、节点上应用的状态等信息。
容器管理模块22用于在目标边缘节点2中建立应用容器23及其边车24，通过边车24（命名为Computility Runtime）获得所分配逻辑资源相应的物理资源26，并将物理资源26的驱动文件挂载到应用容器23中。
其中，第一传输模块21和容器管理模块22部署在边缘节点2，边缘节点2还部署有算力管理模块28（命名为Computility Manager），算力管理模块28用于物理资源26的发现和注册，物理资源26和逻辑资源的映射管理，调度vCuda、CANN实现每个应用容器算力资源的隔离和限制，以及监控每个物理资源的使用情况和每个应用容器使用的物理资源量；容器管理模块22用于启动守护进程（Docker）27,通过守护进程拉起应用容器23和边车24。
具体的，算力管理模块28以Kubernetes的DaemonSet方式部署computilitymanager组件底层与vCuda、Cuda、CANN等组件进行API交互。
云端1的管理节点11部署有第二传输模块12（CloudCom）、调度模块14（命名为Extension Scaheduler）和算力控制模块13（computility controller）。第二传输模块12用于与边缘节点2交互和同步，具体基于websocket进行交互。
调度模块14用于根据业务请求的需要，进行目标边缘节点和算力资源的分配。调度模块14基于Kubernetes的Scheduler Framework机制来实现对Kubernetes原生调度器的扩展。
算力控制模块13用于对算力资源进行量化，用于守护程序镜像地址的下发，以及将连车注入到容器组（Pod），将容器组的配置信息下发给目标边缘节点；用于算力资源的单位量化，量化的算力资源通过CRD进行定义。具体的于基于ListWatch机制，监听有应用需要部署到边缘节点后，根据所分配计算资源的类型，修改运用应用的Docker镜像地址为适配该计算资源的Docker镜像地址；另一方面在Pod中注入Sidecar容器后，将整个应用Pod的配置信息发送给边缘服务器进行启动。算力控制模块13是一个Kubernetes的Operator。
其中，所述系统依托Kubernetes实现。一方面可实现对边缘侧的多个分散和算力异构的算力资源进行统一管理；另一方面，用户在创建应用时，只需要指定该应用需要的算力大小和算力内存大小，不用关心底层具体的计算资源的类型和位置，系统会自动匹配最优的算力资源和节点来运行应用，实现智能调度。
在一个具体的测试中，边缘侧算力资源的应用率提高20%，降低企业算力成本15%以上；通过算力的细粒度共享和隔离，实现提高算力资源综合利用率多达3倍以上，提高应用的稳定性30%以上；同时提高边缘侧算力效率的使用便利性，降低应用的开发难度。通过自治机制，保障了边缘节点的服务器在与云端网络断连后应用能继续正常运行。
以上仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
Claims (10)
1.一种算力资源调度的方法，其特征在于，包括以下步骤：
响应于云端的算力资源分配指令，在目标边缘节点中建立应用容器，所述资源分配指令包括分配的算力资源的逻辑资源、应用容器部署信息；
通过应用容器的边车，获得所分配逻辑资源相应的物理资源，并将物理资源的驱动文件挂载到所述应用容器中；
其中，获得算力资源分配指令的方法包括：
响应于业务请求，将业务请求进行解析，获得一个或多个计算任务；
根据所述计算任务和集群的剩余算力资源分配目标边缘节点及其算力资源；
根据所述算力资源的类型获得应用容器部署信息，所述应用容器部署信息包括适应算力资源的容器镜像或守护程序镜像；
基于ListWatch机制，监听有应用需要部署到边缘节点后，根据所分配算力资源的类型，修改应用的Docker镜像地址为适配该算力资源的Docker镜像地址。
2.根据权利要求1所述的方法，其特征在于，算力资源的管理方法：
获得边缘节点的物理资源；
根据所述物理资源，建立逻辑资源、以及物理资源和逻辑资源的映射；
将所述逻辑资源上传到云端；
对算力资源进行单位量化，所述算力资源包括算力和内存。
3. 根据权利要求1所述的方法，其特征在于，通过最大化分值，选取目标边缘节点，所述分值的公式表示为：
Score = λ1×Source_S1 +λ2×Source_S2–λ3×Net/Av
其中，Score表示为分值，λ1、λ2和λ3为权重系数，Source_S1和Source_S2表示为资源剩余量、且两者的资源类型不同，Net表示为网络延迟，Av表示为网络延迟的阈值。
4.根据权利要求1所述的方法，其特征在于，分配目标边缘节点的方法包括：
获得所述计算任务的算力资源需求；
获得满足所述算力资源需求的边缘节点列表；
基于算力资源剩余量和/或网络情况，从所述边缘节点列表中选取目标边缘节点。
5.根据权利要求1所述的方法，其特征在于，拉起所述容器或容器组的方法包括：
为所述应用容器或容器组注入边车；
根据守护程序的镜像，启动守护程序；
通过所述守护程序拉起应用容器或容器组。
6.根据权利要求1所述的方法，其特征在于，还包括边缘节点自治的方法；
在所述目标边缘节点中建立持久数据库，所述持久数据库用于保存由云端接收到的元数据，所述元数据用于支撑应用容器的运行。
7.根据权利要求1所述的方法，其特征在于，多应用并行调度的方法包括：
将目标边缘节点的物理资源切片为第一逻辑资源和第二逻辑资源，
将第一应用容器和第二应用容器调度到目标边缘节点；
根据第一应用容器和第二应用容器的算力需求，为所述第一应用容器和第二应用容器分别分配第一逻辑资源和第二逻辑资源；
分别为所述第一应用容器和第二应用容器挂载相应物理资源的驱动文件；
所述第一应用容器利用第一逻辑资源相应的物理资源切片执行相应的计算任务，所述第二应用容器利用第二逻辑资源相应的物理资源切片执行相应的计算任务；
基于以下任一虚拟化技术方案进行第一应用容器和第二应用容器的隔离：vCUDA、CANN、vGPU和cGPU；
对所述边缘节点的物理资源使用情况、以及第一应用容器和第二应用容器的物理资源使用情况进行监控。
8.一种基于云端的算力资源调度方法，其特征在于，包括以下步骤：
响应于业务请求，对业务请求进行解析，获得一个或多个计算任务；
根据所述计算任务和集群的剩余算力资源分配目标边缘节点及其算力资源；
根据所述计算任务生成应用容器的部署信息；
根据所分配的算力资源的逻辑资源和应用容器的部署信息，向目标边缘节点发送算力资源分配指令；
并向目标边缘节点发送以下挂载指令：通过应用容器的边车，获得所分配逻辑资源相应的物理资源，并将物理资源的驱动文件挂载到所述应用容器中；
根据所述分配算力资源的类型向目标边缘节点发送应用容器的守护程序的镜像；
基于ListWatch机制，监听有应用需要部署到边缘节点后，根据所分配算力资源的类型，修改应用的Docker镜像地址为适配该算力资源的Docker镜像地址。
9.一种用于实现如权利要求1-7任一项权利要求所述方法的系统，其特征在于，包括第一传输模块和容器管理模块，
所述第一传输模块用于接收云端的算力资源分配指令，所述资源分配指令包括分配的算力资源的逻辑资源、应用容器部署信息；
所述容器管理模块用于在目标边缘节点中建立应用容器及其边车，通过边车获得所分配逻辑资源相应的物理资源，并将物理资源的驱动文件挂载到所述应用容器中。
10.根据权利要求9所述的系统，其特征在于，所述第一传输模块和容器管理模块部署在目标边缘节点，
所述目标边缘节点还部署有算力管理模块，所述算力管理模块用于物理资源的发现和注册，物理资源和逻辑资源的映射管理，调度vCuda、CANN实现每个应用容器算力资源的隔离和限制，以及监控每个物理资源的使用情况和每个应用容器使用的物理资源量；
云端部署有第二传输模块、调度模块和算力控制模块，
所述第二传输模块用于与边缘节点交互，
所述调度模块用于目标边缘节点和算力资源的分配；
所述算力控制模块用于对算力资源进行量化，用于守护程序镜像地址的下发，以及将边车注入到容器组，将容器组的配置信息下发给目标边缘节点。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310906489.8A CN116627661B (zh) | 2023-07-24 | 2023-07-24 | 算力资源调度的方法和系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310906489.8A CN116627661B (zh) | 2023-07-24 | 2023-07-24 | 算力资源调度的方法和系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN116627661A CN116627661A (zh) | 2023-08-22 |
| CN116627661B true CN116627661B (zh) | 2023-11-03 |
Family
ID=87602944
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310906489.8A Active CN116627661B (zh) | 2023-07-24 | 2023-07-24 | 算力资源调度的方法和系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116627661B (zh) |
Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108804217A (zh) * | 2017-04-26 | 2018-11-13 | 中兴通讯股份有限公司 | 一种资源调度装置、资源调度系统和资源调度方法 |
| WO2020103465A1 (zh) * | 2018-11-23 | 2020-05-28 | 中国银联股份有限公司 | 统一资源调度协调器及其创建虚拟机和/或容器的方法、统一资源调度系统 |
| CN112000421A (zh) * | 2020-07-15 | 2020-11-27 | 北京计算机技术及应用研究所 | 基于超融合架构的管理调度技术 |
| CN112565415A (zh) * | 2020-12-03 | 2021-03-26 | 杭州谐云科技有限公司 | 一种基于云边协同的跨地域资源纳管系统和纳管方法 |
| CN115454636A (zh) * | 2022-09-16 | 2022-12-09 | 城云科技（中国）有限公司 | 一种容器云平台gpu资源调度方法、装置及应用 |
| CN115658390A (zh) * | 2022-11-14 | 2023-01-31 | 济南浪潮数据技术有限公司 | 容器容灾方法、系统、装置、设备及计算机可读存储介质 |
| CN115827192A (zh) * | 2022-11-18 | 2023-03-21 | 甘肃紫光智能交通与控制技术有限公司 | 一种分布式协同实时调度方法 |
| CN115951969A (zh) * | 2022-12-28 | 2023-04-11 | 山东浪潮科学研究院有限公司 | 一种异构算力资源管理方法及装置 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20230222004A1 (en) * | 2022-01-10 | 2023-07-13 | International Business Machines Corporation | Data locality for big data on kubernetes |
-
2023
- 2023-07-24 CN CN202310906489.8A patent/CN116627661B/zh active Active
Patent Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108804217A (zh) * | 2017-04-26 | 2018-11-13 | 中兴通讯股份有限公司 | 一种资源调度装置、资源调度系统和资源调度方法 |
| WO2020103465A1 (zh) * | 2018-11-23 | 2020-05-28 | 中国银联股份有限公司 | 统一资源调度协调器及其创建虚拟机和/或容器的方法、统一资源调度系统 |
| CN112000421A (zh) * | 2020-07-15 | 2020-11-27 | 北京计算机技术及应用研究所 | 基于超融合架构的管理调度技术 |
| CN112565415A (zh) * | 2020-12-03 | 2021-03-26 | 杭州谐云科技有限公司 | 一种基于云边协同的跨地域资源纳管系统和纳管方法 |
| CN115454636A (zh) * | 2022-09-16 | 2022-12-09 | 城云科技（中国）有限公司 | 一种容器云平台gpu资源调度方法、装置及应用 |
| CN115658390A (zh) * | 2022-11-14 | 2023-01-31 | 济南浪潮数据技术有限公司 | 容器容灾方法、系统、装置、设备及计算机可读存储介质 |
| CN115827192A (zh) * | 2022-11-18 | 2023-03-21 | 甘肃紫光智能交通与控制技术有限公司 | 一种分布式协同实时调度方法 |
| CN115951969A (zh) * | 2022-12-28 | 2023-04-11 | 山东浪潮科学研究院有限公司 | 一种异构算力资源管理方法及装置 |
Non-Patent Citations (1)
| Title |
|---|
| 基于容器技术的云计算资源自适应管理方法;树岸;彭鑫;赵文耘;;计算机科学(第07期);全文 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN116627661A (zh) | 2023-08-22 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Kaur et al. | Container-as-a-service at the edge: Trade-off between energy efficiency and service availability at fog nano data centers | |
| CN107038069B (zh) | Hadoop平台下动态标签匹配DLMS调度方法 | |
| CN108337109B (zh) | 一种资源分配方法及装置和资源分配系统 | |
| CN114138486B (zh) | 面向云边异构环境的容器化微服务编排方法、系统及介质 | |
| CN103309946B (zh) | 多媒体文件处理方法、装置及系统 | |
| Fakhfakh et al. | Workflow scheduling in cloud computing: a survey | |
| US20200174844A1 (en) | System and method for resource partitioning in distributed computing | |
| CN111682973B (zh) | 一种边缘云的编排方法及系统 | |
| CN108737560A (zh) | 云计算任务智能调度方法及系统、可读存储介质、终端 | |
| CN103092698A (zh) | 云计算应用自动部署系统及方法 | |
| CN104735095A (zh) | 一种云计算平台作业调度方法及装置 | |
| CN110838939B (zh) | 一种基于轻量级容器的调度方法及边缘物联管理平台 | |
| CN109783225B (zh) | 一种多租户大数据平台的租户优先级管理方法及系统 | |
| WO2023198061A1 (zh) | 一种容器调度方法、电子设备和存储介质 | |
| CN113132456B (zh) | 一种基于截止时间感知的边云协同任务调度方法及系统 | |
| CN113946431B (zh) | 一种资源调度方法、系统、介质及计算设备 | |
| CN111597043A (zh) | 一种全场景边缘计算方法、装置及系统 | |
| CN111552558A (zh) | 异构云资源的调度方法及装置 | |
| CN111666158A (zh) | 一种基于Kubernetes的容器调度方法、装置、存储介质及电子设备 | |
| CN113312161A (zh) | 一种应用调度方法、平台及存储介质 | |
| CN112685179A (zh) | 一种基于云上成本的资源部署系统及方法 | |
| CN110084507B (zh) | 云计算环境下分级感知的科学工作流调度优化方法 | |
| CN107070965B (zh) | 一种虚拟化容器资源下的多工作流资源供给方法 | |
| CN116627661B (zh) | 算力资源调度的方法和系统 | |
| Wu et al. | Abp scheduler: Speeding up service spread in docker swarm |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |