CN112506665A - 一种基于kvm虚拟化的算力资源管理及调度方法 - Google Patents

一种基于kvm虚拟化的算力资源管理及调度方法 Download PDF

Info

Publication number
CN112506665A
CN112506665A CN202011514626.6A CN202011514626A CN112506665A CN 112506665 A CN112506665 A CN 112506665A CN 202011514626 A CN202011514626 A CN 202011514626A CN 112506665 A CN112506665 A CN 112506665A
Authority
CN
China
Prior art keywords
algorithm
computing power
resources
scheduling
task
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202011514626.6A
Other languages
English (en)
Other versions
CN112506665B (zh
Inventor
黄春红
俞培龙
严奕亭
徐福燕
郭彦琦
曾力
陈龙
许路生
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
China Telecom Fufu Information Technology Co Ltd
Original Assignee
China Telecom Fufu Information Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by China Telecom Fufu Information Technology Co Ltd filed Critical China Telecom Fufu Information Technology Co Ltd
Priority to CN202011514626.6A priority Critical patent/CN112506665B/zh
Publication of CN112506665A publication Critical patent/CN112506665A/zh
Application granted granted Critical
Publication of CN112506665B publication Critical patent/CN112506665B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
    • G06F9/5005—Allocation of resources, e.g. of the central processing unit [CPU] to service a request
    • G06F9/5027—Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resource being a machine, e.g. CPUs, Servers, Terminals
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/44—Arrangements for executing specific programs
    • G06F9/455—Emulation; Interpretation; Software simulation, e.g. virtualisation or emulation of application or operating system execution engines
    • G06F9/45533—Hypervisors; Virtual machine monitors
    • G06F9/45558—Hypervisor-specific management and integration aspects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/44—Arrangements for executing specific programs
    • G06F9/455—Emulation; Interpretation; Software simulation, e.g. virtualisation or emulation of application or operating system execution engines
    • G06F9/45533—Hypervisors; Virtual machine monitors
    • G06F9/45558—Hypervisor-specific management and integration aspects
    • G06F2009/4557—Distribution of virtual machine instances; Migration and load balancing
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

本发明公开一种基于KVM虚拟化的算力资源管理及调度方法，利用平台对各算法的使用情况收集及结合实际业务需求，将智能算法区分为两类，A类是对时效性要求较强的视频流分析或者图片解析算法且在某些时段（时段Ⅰ）的业务量较大，其他时段（时段Ⅱ）业务量较小，B类是可后端运行，对时效性要求不高，可离线分析的算法，根据这两类算法的特性，再利用云化后的虚拟机在启动时占用资源，关闭时不占用资源的特性，错峰调配运行两类算法，在时段Ⅰ运行较多的A类算法算力资源，在时段Ⅱ运行较多的B类算法的算力资源，达到削峰填谷及服务器资源的充分利用。

Description

一种基于KVM虚拟化的算力资源管理及调度方法
技术领域
本发明涉及云计算技术领域，尤其涉及一种基于KVM虚拟化的算力资源管理及调度方法。
背景技术
如今，视频行业的火热程度显而易见，视频行业相关平台也越来越多，视频分析平台的主营方向就是各种基于视频的智能分析算法，在平台运行使用过程中，算法引擎的部署对于服务器资源的使用往往是整个平台最大的成本消耗所在，所以，在业务量一定的情况下，如何减少算法对服务器资源成本消耗，成为各视频分析平台的主攻方向，KVM虚拟话为云主机部署算法及动态扩容提供了一个方向，目前的虚拟化部署，提供了快速的算力资源扩容，为业务的快速铺展提供了便利，但在服务器资源一定的情况下，算法引擎的分析能力的提升还没有得到很好的解决。
当前算法引擎部署及使用的模式为，单一算法引擎部署在独立的一台服务资源上，全天候运行，这种情况下，在业务对算法的使用量较小时（例如下半夜人脸比对算法几乎不使用），资源就处于空闲状态，不能充分地利用算力资源。
发明内容
本发明的目的在于提供一种基于KVM虚拟化的算力资源管理及调度方法。
本发明采用的技术方案是：
一种基于KVM虚拟化的算力资源管理及调度方法，其包括以下步骤：
步骤1、算力资源云化：根据算法需求利用KVM虚拟化技术将实现封装好的算法镜像与配置模板组合云化出多个算力资源存入算力仓库；
步骤2、调度任务配置：根据实际算法特性及使用情况配置调度任务，
步骤3、调度任务执行：具体包括以下步骤：
步骤3.1、调度任务启动后，系统判断当前调度任务是否触发；当触发调度任务，则根据配置的调度任务信息找到当前正在运行的算力资源批次A，批量关闭批次A的算力资源；
步骤3.2、批次A的算力资源全部关闭后，获取配置中下一时段需要启用的算力资源批次B，批量启动批次B的全部算力资源，开放和提供算法服务；
步骤3.3、任务执行完毕，收集并记录操作日志，进入等待状态，等待下一时段触发继续步骤3.1。
进一步地，步骤1中云化的虚拟机只有在启动使用的情况下才真正占用服务器资源，根据这一特性，可超配额创建多个算力资源用于调度使用。
进一步地，调度任务包括某个时段运行某几个算力资源。
进一步地，步骤2中针对时效性强的实时分析算法，在使用频率高的时段Ⅰ增加算力，使用频率低的时段Ⅱ降低算力；针对效性弱的离线分析算法采用在时段Ⅱ集中分析处理。
本发明采用以上技术方案，利用平台对各算法的使用情况收集及结合实际业务需求，将智能算法区分为两类，A类是对时效性要求较强的视频流分析或者图片解析算法且在某些时段（时段Ⅰ）的业务量较大，其他时段（时段Ⅱ）业务量较小，B类是可后端运行，对时效性要求不高，可离线分析的算法，根据这两类算法的特性，再利用云化后的虚拟机在启动时占用资源，关闭时不占用资源的特性，错峰调配运行两类算法，在时段Ⅰ运行较多的A类算法算力资源，在时段Ⅱ运行较多的B类算法的算力资源，达到削峰填谷及服务器资源的充分利用。
附图说明
以下结合附图和具体实施方式对本发明做进一步详细说明；
图1为本发明算力资源云化示意图；
图2为本发明调度任务配置示意图；
图3为本发明调度任务执行流程示意图。
具体实施方式
为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图对本申请实施例中的技术方案进行清楚、完整地描述。
如图1至图3之一所示，本发明公开了一种基于KVM虚拟化的算力资源管理及调度方法，其包括以下步骤：
步骤1、算力资源云化：根据算法需求（算法A、算法B），利用KVM虚拟化技术将实现封装好的算法镜像与配置模板组合云化出多个算力资源存入算力仓库；云化的虚拟机只有在启动使用的情况下才真正占用服务器资源，根据这一特性，可超配额创建多个算力资源用于调度使用。
步骤2、调度任务配置：根据实际算法特性及使用情况配置调度任务，
具体地，如图2所示，根据实际算法特性及使用情况：算法A:时效性强（实时分析），在时段Ⅰ使用频率高，时段Ⅱ使用频率低；算法B:时效性弱（离线分析），可在时段Ⅱ集中分析处理，配置调度任务包括某个时段运行某几个算力资源（批次）
步骤3、调度任务执行：如图3所示，具体包括以下步骤：
步骤3.1、调度任务启动后，系统判断当前调度任务是否触发；当触发调度任务，则根据配置的调度任务信息找到当前正在运行的算力资源批次A，批量关闭批次A的算力资源；
步骤3.2、批次A的算力资源全部关闭后，获取配置中下一时段需要启用的算力资源批次B，批量启动批次B的全部算力资源，开放和提供算法服务；
步骤3.3、任务执行完毕，收集并记录操作日志，进入等待状态，等待下一时段触发继续步骤3.1。
本发明采用以上技术方案，利用平台对各算法的使用情况收集及结合实际业务需求，将智能算法区分为两类，A类是对时效性要求较强的视频流分析或者图片解析算法且在某些时段（时段Ⅰ）的业务量较大，其他时段（时段Ⅱ）业务量较小，B类是可后端运行，对时效性要求不高，可离线分析的算法，根据这两类算法的特性，再利用云化后的虚拟机在启动时占用资源，关闭时不占用资源的特性，错峰调配运行两类算法，在时段Ⅰ运行较多的A类算法算力资源，在时段Ⅱ运行较多的B类算法的算力资源，达到削峰填谷及服务器资源的充分利用。
显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。通常在此处附图中描述和示出的本申请实施例的组件可以以各种不同的配置来布置和设计。因此，本申请的实施例的详细描述并非旨在限制要求保护的本申请的范围，而是仅仅表示本申请的选定实施例。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

Claims (4)

1.一种基于KVM虚拟化的算力资源管理及调度方法，其特征在于：其包括以下步骤：
步骤1、算力资源云化：根据算法需求利用KVM虚拟化技术将实现封装好的算法镜像与配置模板组合云化出多个算力资源存入算力仓库；
步骤2、调度任务配置：根据实际算法特性及使用情况配置调度任务，
步骤3、调度任务执行：具体包括以下步骤：
步骤3.1、调度任务启动后，系统判断当前调度任务是否触发；当触发调度任务，则根据配置的调度任务信息找到当前正在运行的算力资源批次A，批量关闭批次A的算力资源；
步骤3.2、批次A的算力资源全部关闭后，获取配置中下一时段需要启用的算力资源批次B，批量启动批次B的全部算力资源，开放和提供算法服务；
步骤3.3、任务执行完毕，收集并记录操作日志，进入等待状态，等待下一时段触发继续步骤3.1。
2.根据权利要求1所述的一种基于KVM虚拟化的算力资源管理及调度方法，其特征在于：步骤1中云化的虚拟机只有在启动使用的情况下才真正占用服务器资源，根据这一特性，可超配额创建多个算力资源用于调度使用。
3.根据权利要求1所述的一种基于KVM虚拟化的算力资源管理及调度方法，其特征在于：步骤2中调度任务包括某个时段运行某几个算力资源。
4.根据权利要求1所述的一种基于KVM虚拟化的算力资源管理及调度方法，其特征在于：步骤2中针对时效性强的实时分析算法，在使用频率高的时段Ⅰ增加算力，使用频率低的时段Ⅱ降低算力；针对效性弱的离线分析算法采用在时段Ⅱ集中分析处理。
CN202011514626.6A 2020-12-21 2020-12-21 一种基于kvm虚拟化的算力资源管理及调度方法 Active CN112506665B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011514626.6A CN112506665B (zh) 2020-12-21 2020-12-21 一种基于kvm虚拟化的算力资源管理及调度方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011514626.6A CN112506665B (zh) 2020-12-21 2020-12-21 一种基于kvm虚拟化的算力资源管理及调度方法

Publications (2)

Publication Number Publication Date
CN112506665A true CN112506665A (zh) 2021-03-16
CN112506665B CN112506665B (zh) 2023-06-16

Family

ID=74923012

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011514626.6A Active CN112506665B (zh) 2020-12-21 2020-12-21 一种基于kvm虚拟化的算力资源管理及调度方法

Country Status (1)

Country Link
CN (1) CN112506665B (zh)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140047437A1 (en) * 2012-08-09 2014-02-13 Jiatai Wu Virtual instance reconfiguration
US20180026853A1 (en) * 2016-07-25 2018-01-25 Imvision Software Technologies Ltd. System and method for determining resources utilization in a virtual network
CN111651236A (zh) * 2020-05-11 2020-09-11 腾讯科技（深圳）有限公司 虚拟机内存优化处理方法及相关装置
CN111796908A (zh) * 2020-06-18 2020-10-20 聚好看科技股份有限公司 一种资源自动弹性伸缩的系统、方法及云平台

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140047437A1 (en) * 2012-08-09 2014-02-13 Jiatai Wu Virtual instance reconfiguration
US20180026853A1 (en) * 2016-07-25 2018-01-25 Imvision Software Technologies Ltd. System and method for determining resources utilization in a virtual network
CN111651236A (zh) * 2020-05-11 2020-09-11 腾讯科技（深圳）有限公司 虚拟机内存优化处理方法及相关装置
CN111796908A (zh) * 2020-06-18 2020-10-20 聚好看科技股份有限公司 一种资源自动弹性伸缩的系统、方法及云平台

Also Published As

Publication number Publication date
CN112506665B (zh) 2023-06-16

Similar Documents

Publication Publication Date Title
CN108920153B (zh) 一种基于负载预测的Docker容器动态调度方法
CN111459665A (zh) 一种分布式边缘计算系统及分布式边缘计算方法
CN112363821A (zh) 一种计算资源调度方法、装置及计算机设备
CN105868004B (zh) 一种基于云计算的业务系统的调度方法及调度装置
CN111506434B (zh) 一种任务处理方法、装置及计算机可读存储介质
CN106897133B (zh) 一种基于pbs作业调度管理集群负载的实现方法
CN111614769A (zh) 一种深度学习技术的行为智能分析引擎系统及控制方法
CN110647392A (zh) 一种基于容器集群的智能弹性伸缩方法
CN110442453A (zh) 一种自动伸缩策略运维方法、系统和可读存储介质
CN115202836A (zh) 一种提高gpu利用效率的算力池化系统
Tsai et al. Scheduling multiple scientific and engineering workflows through task clustering and best-fit allocation
CN112698947B (zh) 一种基于异构应用平台的gpu资源弹性调度方法
CN113254220A (zh) 网联汽车负载协同控制方法、装置、设备及存储介质
CN112148481B (zh) 一种执行仿真测试任务的方法、系统、设备及介质
CN112506665A (zh) 一种基于kvm虚拟化的算力资源管理及调度方法
US9436505B2 (en) Power management for host with devices assigned to virtual machines
CN111143210A (zh) 一种测试任务调度方法和系统
CN109302723B (zh) 一种基于互联网的多节点实时无线电监测控制方法
CN114020464B (zh) 一种动态处理虚拟化资源的方法、装置及存储介质
CN109783304B (zh) 一种数据中心的节能调度方法及对应装置
CN113032092B (zh) 分布式计算方法、装置及平台
CN113419842B (zh) 一种基于JavaScript构建边缘计算微服务的方法、装置
CN115809126A (zh) 混合部署场景下的作业调度方法、装置及电子设备
CN114826849A (zh) 一种面向通信信号识别处理的dsp局部重构方法及系统
CN116450328A (zh) 内存分配方法、装置、计算机设备和存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant