CN112925634A - 异构资源调度方法和系统 - Google Patents

异构资源调度方法和系统 Download PDF

Info

Publication number
CN112925634A
CN112925634A CN201911237780.0A CN201911237780A CN112925634A CN 112925634 A CN112925634 A CN 112925634A CN 201911237780 A CN201911237780 A CN 201911237780A CN 112925634 A CN112925634 A CN 112925634A
Authority
CN
China
Prior art keywords
edge application
heterogeneous
resource
application
edge
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201911237780.0A
Other languages
English (en)
Inventor
王旭亮
刘增义
雷波
胡雅婕
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
China Telecom Corp Ltd
Original Assignee
China Telecom Corp Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by China Telecom Corp Ltd filed Critical China Telecom Corp Ltd
Priority to CN201911237780.0A priority Critical patent/CN112925634A/zh
Publication of CN112925634A publication Critical patent/CN112925634A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
    • G06F9/5005—Allocation of resources, e.g. of the central processing unit [CPU] to service a request

Abstract

本公开提供一种异构资源调度方法和系统。异构资源调度系统响应于移动边缘计算平台上的每个边缘应用发送的资源请求，解析边缘应用的加速需求文件，以便对边缘应用的所需异构资源进行预分配；利用深度学习网络提取各边缘应用的关键特征；使用分类器对各边缘应用的关键特征和所需异构资源进行匹配，以得到各边缘应用所需各类异构资源的配比；根据各边缘应用所需各类异构资源的配比确定实时应用资源分配策略；通过对各边缘应用的资源利用情况进行回归预测，以得到预定时间范围内的总体异构资源分配策略；根据实时应用资源分配策略和总体异构资源分配策略对异构资源进行统一分配调度。本公开能够对异构资源进行精确化分析、分配和实时调度。

Description

异构资源调度方法和系统
技术领域
本公开涉及边缘计算领域，特别涉及一种异构资源调度方法和系统。
背景技术
OpenStack(由Rackspace和NASA共同开发的云计算平台)通过Cyborg对异构资源进行管理。对于MEC(Mobile Edge Computing，移动边缘计算)系统，现有的ETSI(EuropeanTelecommunications Standards Institute，欧洲电信标准化协会)方案要点在于，以Cyborg为代表的异构计算资源管理平台只是对各类异构资源本身进行了简单的生命周期管理，目前仍需要人工的方式去理解边缘计算应用对异构资源的需求以及手动预估的方式分配异构资源给各类应用。
由于目前MEC系统不支持各类异构资源的精确化的分配，因此无法满足边缘计算应用对多类异构计算资源的需求。
发明内容
本公开提供一种对异构资源进行精确化分析、分配和实时调度的方案。
根据本公开实施例的第一方面，提供一种异构资源调度方法，包括：响应于移动边缘计算平台上的每个边缘应用发送的资源请求，解析所述边缘应用的加速需求文件，以便对所述边缘应用的所需异构资源进行预分配；利用深度学习网络提取各边缘应用的关键特征；使用分类器对各边缘应用的关键特征和所需异构资源进行匹配，以得到各边缘应用所需各类异构资源的配比；根据各边缘应用所需各类异构资源的配比确定实时应用资源分配策略；通过对各边缘应用的资源利用情况进行回归预测，以得到预定时间范围内的总体异构资源分配策略；根据所述实时应用资源分配策略和所述总体异构资源分配策略对异构资源进行统一分配调度。
在一些实施例中，解析所述边缘应用的加速需求文件包括：通过需求文件库调用所述边缘应用的加速需求文件；利用需求解析器对所述加速需求文件进行解析，以得到所述边缘应用所需异构资源的预分配策略；根据所述预分配策略对所述边缘应用的所需异构资源进行预分配。
在一些实施例中，通过对各边缘应用的资源利用情况进行回归预测包括：利用梯度提升决策树GBDT回归预测器对各边缘应用的资源利用情况进行回归预测，以得到各边缘应用的资源需求在预定时间范围内的分布情况；根据所得到的分布情况确定预定时间范围内的异构资源总体分配策略。
在一些实施例中，所述深度学习网络为卷积神经网络CNN特征提取网络；所述分类器为Softmax分类器。
根据本公开实施例的第二方面，提供一种异构资源调度系统，包括：预分配模块，被配置为响应于移动边缘计算平台上的每个边缘应用发送的资源请求，解析所述边缘应用的加速需求文件，以便对所述边缘应用的所需异构资源进行预分配；实时分配模块，被配置为利用深度学习网络提取各边缘应用的关键特征，使用分类器对各边缘应用的关键特征和所需异构资源进行匹配，以得到各边缘应用所需各类异构资源的配比，根据各边缘应用所需各类异构资源的配比确定实时应用资源分配策略；总体分配模块，被配置为通过对各边缘应用的资源利用情况进行回归预测，以得到预定时间范围内的总体异构资源分配策略；异构资源调度模块，被配置为根据所述实时应用资源分配策略和所述总体异构资源分配策略对异构资源进行统一分配调度。
在一些实施例中，预分配模块被配置为通过需求文件库调用所述边缘应用的加速需求文件，利用需求解析器对所述加速需求文件进行解析，以得到所述边缘应用所需异构资源的预分配策略，根据所述预分配策略对所述边缘应用的所需异构资源进行预分配。
在一些实施例中，总体分配模块被配置为利用梯度提升决策树GBDT回归预测器对各边缘应用的资源利用情况进行回归预测，以得到各边缘应用的资源需求在预定时间范围内的分布情况，根据所得到的分布情况确定预定时间范围内的异构资源总体分配策略。
在一些实施例中，所述深度学习网络为卷积神经网络CNN特征提取网络；所述分类器为Softmax分类器。
根据本公开实施例的第三方面，提供一种异构资源调度系统，包括：存储器，被配置为存储指令；处理器，耦合到存储器，处理器被配置为基于存储器存储的指令执行实现如上述任一实施例所述的方法。
根据本公开实施例的第四方面，提供一种计算机可读存储介质，其中，计算机可读存储介质存储有计算机指令，指令被处理器执行时实现如上述任一实施例涉及的方法。
通过以下参照附图对本公开的示例性实施例的详细描述，本公开的其它特征及其优点将会变得清楚。
附图说明
构成说明书的一部分的附图描述了本公开的实施例，并且连同说明书一起用于解释本公开的原理。
参照附图，根据下面的详细描述，可以更加清楚地理解本公开，其中：
图1是根据本公开一个实施例的异构资源调度方法的流程示意图；
图2是根据本公开一个实施例的异构资源调度系统的结构示意图；
图3是根据本公开另一个实施例的异构资源调度系统的结构示意图；
图4是根据本公开一个实施例的MEC系统工作流程示意图。
应当明白，附图中所示出的各个部分的尺寸并不是按照实际的比例关系绘制的。此外，相同或类似的参考标号表示相同或类似的构件。
具体实施方式
现在将参照附图来详细描述本公开的各种示例性实施例。对示例性实施例的描述仅仅是说明性的，决不作为对本公开及其应用或使用的任何限制。本公开可以以许多不同的形式实现，不限于这里所述的实施例。提供这些实施例是为了使本公开透彻且完整，并且向本领域技术人员充分表达本公开的范围。应注意到：除非另外具体说明，否则在这些实施例中阐述的部件和步骤的相对布置、材料的组分和数值应被解释为仅仅是示例性的，而不是作为限制。
本公开中使用的“包括”或者“包含”等类似的词语意指在该词前的要素涵盖在该词后列举的要素，并不排除也涵盖其他要素的可能。
本公开使用的所有术语(包括技术术语或者科学术语)与本公开所属领域的普通技术人员理解的含义相同，除非另外特别定义。还应当理解，在诸如通用字典中定义的术语应当被解释为具有与它们在相关技术的上下文中的含义相一致的含义，而不应用理想化或极度形式化的意义来解释，除非这里明确地这样定义。
对于相关领域普通技术人员已知的技术、方法和设备可能不作详细讨论，但在适当情况下，所述技术、方法和设备应当被视为说明书的一部分。
图1是根据本公开一个实施例的异构资源调度方法的流程示意图。在一些实施例中，下面的异构资源调度方法步骤由异构资源调度系统执行。
在步骤101，响应于移动边缘计算平台上的每个边缘应用发送的资源请求，解析边缘应用的加速需求文件，以便对边缘应用的所需异构资源进行预分配。
在一些实施例中，通过需求文件库调用边缘应用的加速需求文件，利用需求解析器对加速需求文件进行解析，以得到边缘应用所需异构资源的预分配策略。根据预分配策略对边缘应用的所需异构资源进行预分配。
在步骤102，利用深度学习网络提取各边缘应用的关键特征。
在一些实施例中，深度学习网络为CNN(Convolutional Neural Network，卷积神经网络)特征提取网络。
在步骤103，使用分类器对各边缘应用的关键特征和所需异构资源进行匹配，以得到各边缘应用所需各类异构资源的配比。
在一些实施例中，分类器为Softmax分类器。
在步骤104，根据各边缘应用所需各类异构资源的配比确定实时应用资源分配策略。
在步骤105，通过对各边缘应用的资源利用情况进行回归预测，以得到预定时间范围内的总体异构资源分配策略。
在一些实施例中，将各边缘应用的资源利用情况存入资源监控文件库，并利用GBDT(Gradient Boosting Decision Tree，梯度提升决策树)回归预测器对各边缘应用的资源利用情况进行回归预测，以得到各边缘应用的资源需求在预定时间范围内的分布情况，并根据所得到的分布情况确定预定时间范围内的异构资源总体分配策略。
在步骤106，根据实时应用资源分配策略和总体异构资源分配策略对异构资源进行统一分配调度。
在本公开上述实施例提供的异构资源调度方法中，通过获取、分析应用需求信息，以得到边缘应用所需资源的预分配策略，使用深度学习算法对各类应用的关键特征进行提取，实现对异构计算资源的精确化分析、监控和调度，最大化资源利用率和边缘应用能力。
图2是根据本公开一个实施例的异构资源调度系统的结构示意图。如图2所示，异构资源调度系统包括预分配模块21、实时分配模块22、总体分配模块23和异构资源调度模块24。
预分配模块21被配置为响应于移动边缘计算平台上的每个边缘应用发送的资源请求，解析边缘应用的加速需求文件，以便对边缘应用的所需异构资源进行预分配。
在一些实施例中，预分配模块21通过需求文件库调用边缘应用的加速需求文件，利用需求解析器对加速需求文件进行解析，以得到边缘应用所需异构资源的预分配策略。根据预分配策略对边缘应用的所需异构资源进行预分配。
实时分配模块22被配置为利用深度学习网络提取各边缘应用的关键特征，使用分类器对各边缘应用的关键特征和所需异构资源进行匹配，以得到各边缘应用所需各类异构资源的配比，根据各边缘应用所需各类异构资源的配比确定实时应用资源分配策略。
在一些实施例中，深度学习网络为CNN特征提取网络，分类器为Softmax分类器。
总体分配模块23被配置为通过对各边缘应用的资源利用情况进行回归预测，以得到预定时间范围内的总体异构资源分配策略。
在一些实施例中，总体分配模块23将各边缘应用的资源利用情况存入资源监控文件库，并利用GBDT回归预测器对各边缘应用的资源利用情况进行回归预测，以得到各边缘应用的资源需求在预定时间范围内的分布情况，并根据所得到的分布情况确定预定时间范围内的异构资源总体分配策略。
异构资源调度模块24被配置为根据实时应用资源分配策略和总体异构资源分配策略对异构资源进行统一分配调度。
图3是根据本公开另一个实施例的异构资源调度系统的结构示意图。如图3所示，异构资源调度系统包括存储器31和处理器32。
存储器31用于存储指令。处理器32耦合到存储器31。处理器32被配置为基于存储器存储的指令执行实现如图1中任一实施例涉及的方法。
如图3所示，异构资源调度系统还包括通信接口33，用于与其它设备进行信息交互。同时，该系统还包括总线34，处理器32、通信接口33、以及存储器31通过总线34完成相互间的通信。
存储器31可以包含高速RAM(Random Access Memory，随机存取存储器)，也可还包括NVM(Non-Volatile Memory，非易失性存储器)。例如至少一个磁盘存储器。存储器31也可以是存储器阵列。存储器31还可能被分块，并且块可按一定的规则组合成虚拟卷。
此外，处理器32可以是一个中央处理器，或者可以是ASIC(Application SpecificIntegrated Circuit，专用集成电路)，或者是被配置成实施本公开实施例的一个或多个集成电路。
本公开还提供一种计算机可读存储介质。计算机可读存储介质存储有计算机指令，指令被处理器执行时实现如图1中任一实施例涉及的方法。
图4是根据本公开一个实施例的MEC系统工作流程示意图。如图4所示，本公开所涉及的异构资源调度系统设置在MEC系统的VIM(Virtualized Infrastructure Manager，虚拟化基础设施管理器)中。
这里需要说明的是，Nova和Glance是OpenStack中的主要模块。Nova为云组织的控制器，它提供一个工具来部署云，包括运行实例、管理网络以及控制用户等等。Glance是一个虚拟机镜像的存储、查询和检索系统。此外，NFVI(Network Functions VirtualizationInfrastructure)为网络功能虚拟化基础架构，MEP(ME Platform)为移动边缘平台，MEAO(Mobile Edge Application Orchestrator)为移动边缘应用编排器，MEPM(MEP Manager)-V(NFV)为移动边缘平台管理器的网络功能虚拟化，NFVM(NFV Manager)为网络功能虚拟化管理器。
相应的工作流程如下：
1.选择适合的计算节点使用ME-APP提供的镜像运行虚拟机；
2.对ME-APP加速需求描述文件进行加速资源、性能及优先级的解析；
3.根据解析结果，调用所需ME-APP加速软件；
4.对FPGA(Field-Programmable Gate Array，现场可编程门阵列)或GPU(Graphics Processing Unit，图形处理器)进行资源发现和池化管理；根据需求烧制ME-App的加速软件到目标加速硬件实例中；
5.将已经烧制好的加速硬件实例绑定给ME-App；
6.Nova发送当前运行应用信息；
7.CNN特征提取网络对应用特征进行提取，得到应用所需的各类资源以及资源配比信息；
8.将应用—资源状态利用信息发送至资源监控文件库进行存储；
9.通过应用—资源状态利用信息对GBDT回归预测器，预测得到各类应用对资源需求在一段时间内的总体分布情况；
10.将实时应用资源分配策略以及总体异构资源预分配策略发送至异构资源预分配器进行实现。
本公开通过提供加速需求描述文件，根据需求文件对边缘应用提供初始化的分配策略。通过深度学习算法，为边缘应用提供实时、精细化的资源分配策略，此外，通过对异构资源使用情况进行监控，用于统计、预测整体异构资源需求规律，得到异构资源的预分配策略。该系统自动生成资源分配策略，精细化按需提供资源，整体资源使用率大幅提高。
在一些实施例中，上述功能模块可以实现为用于执行本公开所描述功能的通用处理器、可编程逻辑控制器(Programmable Logic Controller，简称：PLC)、数字信号处理器(Digital Signal Processor，简称：DSP)、专用集成电路(Application SpecificIntegrated Circuit，简称：ASIC)、现场可编程门阵列(Field-Programmable Gate Array，简称：FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件或者其任意适当组合。
至此，已经详细描述了本公开的实施例。为了避免遮蔽本公开的构思，没有描述本领域所公知的一些细节。本领域技术人员根据上面的描述，完全可以明白如何实施这里公开的技术方案。
虽然已经通过示例对本公开的一些特定实施例进行了详细说明，但是本领域的技术人员应该理解，以上示例仅是为了进行说明，而不是为了限制本公开的范围。本领域的技术人员应该理解，可在不脱离本公开的范围和精神的情况下，对以上实施例进行修改或者对部分技术特征进行等同替换。本公开的范围由所附权利要求来限定。

Claims (10)

1.一种异构资源调度方法，包括：
响应于移动边缘计算平台上的每个边缘应用发送的资源请求，解析所述边缘应用的加速需求文件，以便对所述边缘应用的所需异构资源进行预分配；
利用深度学习网络提取各边缘应用的关键特征；
使用分类器对各边缘应用的关键特征和所需异构资源进行匹配，以得到各边缘应用所需各类异构资源的配比；
根据各边缘应用所需各类异构资源的配比确定实时应用资源分配策略；
通过对各边缘应用的资源利用情况进行回归预测，以得到预定时间范围内的总体异构资源分配策略；
根据所述实时应用资源分配策略和所述总体异构资源分配策略对异构资源进行统一分配调度。
2.根据权利要求1所述的方法，其中，解析所述边缘应用的加速需求文件包括：
通过需求文件库调用所述边缘应用的加速需求文件；
利用需求解析器对所述加速需求文件进行解析，以得到所述边缘应用所需异构资源的预分配策略；
根据所述预分配策略对所述边缘应用的所需异构资源进行预分配。
3.根据权利要求1所述的方法，其中，通过对各边缘应用的资源利用情况进行回归预测包括：
利用梯度提升决策树GBDT回归预测器对各边缘应用的资源利用情况进行回归预测，以得到各边缘应用的资源需求在预定时间范围内的分布情况；
根据所得到的分布情况确定预定时间范围内的异构资源总体分配策略。
4.根据权利要求1所述的方法，其中，
所述深度学习网络为卷积神经网络CNN特征提取网络；
所述分类器为Softmax分类器。
5.一种异构资源调度系统，包括：
预分配模块，被配置为响应于移动边缘计算平台上的每个边缘应用发送的资源请求，解析所述边缘应用的加速需求文件，以便对所述边缘应用的所需异构资源进行预分配；
实时分配模块，被配置为利用深度学习网络提取各边缘应用的关键特征，使用分类器对各边缘应用的关键特征和所需异构资源进行匹配，以得到各边缘应用所需各类异构资源的配比，根据各边缘应用所需各类异构资源的配比确定实时应用资源分配策略；
总体分配模块，被配置为通过对各边缘应用的资源利用情况进行回归预测，以得到预定时间范围内的总体异构资源分配策略；
异构资源调度模块，被配置为根据所述实时应用资源分配策略和所述总体异构资源分配策略对异构资源进行统一分配调度。
6.根据权利要求5所述的系统，其中，
预分配模块被配置为通过需求文件库调用所述边缘应用的加速需求文件，利用需求解析器对所述加速需求文件进行解析，以得到所述边缘应用所需异构资源的预分配策略，根据所述预分配策略对所述边缘应用的所需异构资源进行预分配。
7.根据权利要求5所述的系统，其中，
总体分配模块被配置为利用梯度提升决策树GBDT回归预测器对各边缘应用的资源利用情况进行回归预测，以得到各边缘应用的资源需求在预定时间范围内的分布情况，根据所得到的分布情况确定预定时间范围内的异构资源总体分配策略。
8.根据权利要求1所述的系统，其中，
所述深度学习网络为卷积神经网络CNN特征提取网络；
所述分类器为Softmax分类器。
9.一种异构资源调度系统，包括：
存储器，被配置为存储指令；
处理器，耦合到存储器，处理器被配置为基于存储器存储的指令执行实现如权利要求1-4中任一项所述的方法。
10.一种计算机可读存储介质，其中，计算机可读存储介质存储有计算机指令，指令被处理器执行时实现如权利要求1-4中任一项所述的方法。
CN201911237780.0A 2019-12-06 2019-12-06 异构资源调度方法和系统 Pending CN112925634A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911237780.0A CN112925634A (zh) 2019-12-06 2019-12-06 异构资源调度方法和系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911237780.0A CN112925634A (zh) 2019-12-06 2019-12-06 异构资源调度方法和系统

Publications (1)

Publication Number Publication Date
CN112925634A true CN112925634A (zh) 2021-06-08

Family

ID=76161376

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911237780.0A Pending CN112925634A (zh) 2019-12-06 2019-12-06 异构资源调度方法和系统

Country Status (1)

Country Link
CN (1) CN112925634A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113674131A (zh) * 2021-07-21 2021-11-19 山东海量信息技术研究院 硬件加速器设备管理方法、装置及电子设备和存储介质
CN115421930A (zh) * 2022-11-07 2022-12-02 山东海量信息技术研究院 任务处理方法、系统、装置、设备及计算机可读存储介质
WO2023186002A1 (zh) * 2022-04-01 2023-10-05 中国移动通信有限公司研究院 一种资源调度方法、装置及设备

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113674131A (zh) * 2021-07-21 2021-11-19 山东海量信息技术研究院 硬件加速器设备管理方法、装置及电子设备和存储介质
WO2023186002A1 (zh) * 2022-04-01 2023-10-05 中国移动通信有限公司研究院 一种资源调度方法、装置及设备
CN115421930A (zh) * 2022-11-07 2022-12-02 山东海量信息技术研究院 任务处理方法、系统、装置、设备及计算机可读存储介质

Similar Documents

Publication Publication Date Title
CN112153700B (zh) 一种网络切片资源管理方法及设备
WO2019114833A1 (en) Method, device, terminal and storage medium for processing application
CN108776934B (zh) 分布式数据计算方法、装置、计算机设备及可读存储介质
CN113037786B (zh) 智能算力调度方法、装置和系统
CN112925634A (zh) 异构资源调度方法和系统
CN110389816B (zh) 用于资源调度的方法、装置以及计算机可读介质
US11539590B2 (en) Detect impact of network maintenance in software defined infrastructure
US11579939B2 (en) Systems and methods for virtual machine resource optimization using machine learning techniques
CN105607952B (zh) 一种虚拟化资源的调度方法及装置
US11422831B2 (en) Application cleaning method, storage medium and electronic device
CN105812175B (zh) 一种资源管理方法及资源管理设备
CN112269650A (zh) 任务调度方法、装置、电子设备和存储介质
CN112465146A (zh) 一种量子与经典混合云平台以及任务执行方法
CN115033340A (zh) 一种宿主机的选择方法及相关装置
CN110933178B (zh) 调整集群系统内的节点配置的方法及服务器
GB2611177A (en) Multi-task deployment method and electronic device
CN114490089A (zh) 云计算资源自动调节方法、装置、计算机设备及存储介质
CN112527509A (zh) 一种资源分配方法、装置、电子设备及存储介质
Li et al. The extreme counts: modeling the performance uncertainty of cloud resources with extreme value theory
KR20220071895A (ko) 오토 스케일링 방법, 장치 및 시스템
CN115757002A (zh) 一种能耗确定方法、装置、设备及计算机可读存储介质
CN113904940A (zh) 资源调整方法、装置、电子设备和计算机可读存储介质
CN114035940A (zh) 资源分配方法以及装置
US20210103830A1 (en) Machine learning based clustering and patterning system and method for network traffic data and its application
CN111277663B (zh) 一种双服务池建筑智能管控方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination