CN104572298A - 视频云平台的资源调度方法及装置 - Google Patents

视频云平台的资源调度方法及装置 Download PDF

Info

Publication number
CN104572298A
CN104572298A CN201410851109.6A CN201410851109A CN104572298A CN 104572298 A CN104572298 A CN 104572298A CN 201410851109 A CN201410851109 A CN 201410851109A CN 104572298 A CN104572298 A CN 104572298A
Authority
CN
China
Prior art keywords
resource
video applications
pattern
pool
angle value
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201410851109.6A
Other languages
English (en)
Other versions
CN104572298B (zh
Inventor
郑叔亮
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Star Software Technology Co.,Ltd.
Original Assignee
STAR TIMES COMMUNICATION NETWORK TECHNOLOGY Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by STAR TIMES COMMUNICATION NETWORK TECHNOLOGY Co Ltd filed Critical STAR TIMES COMMUNICATION NETWORK TECHNOLOGY Co Ltd
Priority to CN201410851109.6A priority Critical patent/CN104572298B/zh
Publication of CN104572298A publication Critical patent/CN104572298A/zh
Application granted granted Critical
Publication of CN104572298B publication Critical patent/CN104572298B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Landscapes

  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

本发明实施例提供了一种视频云平台的资源调度方法及装置,其中,该方法包括:检测视频应用的资源需求模式;获取剩余资源大于运行所述视频应用所需物理资源中静态资源的多个资源池,对于获取的多个资源池中每个资源池,检测该资源池的资源消耗模式,资源池是包括视频应用运行所需物理资源的资源集合;根据视频应用的资源需求模式和获取的多个资源池中每个资源池的资源消耗模式,从获取的多个资源池中确定为视频应用运行提供所需物理资源的资源池。该方案可以基于可靠的资源需求模式和资源消耗模式动态地、快速地、有效地为视频应用调度运行所需的物理资源;且上述资源调度过程,不需要对视频应用内部嵌入代码,使得可以很好地应用于云计算环境。

Description

视频云平台的资源调度方法及装置
技术领域
本发明涉及互联网技术领域,特别涉及一种视频云平台的资源调度方法及装置。
背景技术
在不久的将来,视频将成为信息的主流载体,更加代表了互联网的未来。预计到2020年全球互联网流量的80%以上都将是视频。视频应用本身对于计算资源、存储资源和网络带宽的需求要远高于一般的互联网应用。大规模视频应用的部署必然会带来远超出对传统互联网业务的硬件服务器、交换机和其他基础设施的投资。同时运营维护的成本也将大幅增加。因此,解决大规模视频应用的高效资源管理问题是十分重要的。
高效资源管理的核心技术问题之一就是资源调度和优化。资源调度就是把有限的资源分配给所有需要运行的应用程序。对资源调度的优化就是尽可能减少资源的浪费,或者说在有限的资源上运行更多的程序。对资源调度问题的研究已经有很长的历史。理论上现已证明,通用的资源调度问题并不存在一个能在短时间内给出调度方案的方法。因此,对各个领域或各类应用问题的研究都会聚焦在领域或应用本身的特性上,有针对性地解决资源调度的问题。
本申请研究的领域就是视频云平台。所谓视频云就是将视频处理技术和云计算技术相结合,形成一种全新的商业模式和服务模式。视频云服务提供商可以将庞大的计算资源进行整合,为客户提供多种围绕视频的服务,比如,编转码服务、内容编辑和存储服务、视频点播服务等。因此,是否高效地调度资源直接决定了视频云服务提供商的盈利能力。
不同于通用的云平台系统,视频云平台上的应用都是视频相关的应用,这些应用对于运行环境的要求比较苛刻,往往兼具计算密集和IO密集的特点,要求低延迟、高并发、高吞吐量。因此,基于通用的虚拟机管理和资源调度的方案并不适用于视频云平台系统。视频云服务更多地需要直接运行在物理硬件上,但同时还要求能够灵活调度应用的执行,在满足对客户承诺的服务质量的同时,最大限度地节约资源。
目前,围绕视频应用的资源调度方案主要聚焦在传统的视频会议、视频监控和视频点播系统上。这些场景下的应用架构和服务模式比较固化,资源的使用模式比较单一,但是,视频云平台上应用的种类更加多样,包括视频编转码器、视频推流、内容编辑和管理、内容托管、内容加密等等,同时,视频云平台上的服务方式也更加丰富,比如,按时间段提供服务、按任务量提供服务,长期租用、按需使用等等。因此,上述基于固化的应用架构和服务模式的资源调度方法,无法应用于高度动态变化的视频云平台上进行资源调度。
此外,现有技术中的其他资源调度方法需要在应用内部嵌入代码或逻辑来优化资源配置,而这正好违反了视频云平台的基本原则,所以也不适用于视频云平台。
发明内容
本发明实施例提供了一种视频云平台的资源调度方法,以提出一种符合视频应用的特性、可以进行动态、有效地、不需要视频应用内部嵌入代码的资源调度方案。该方法包括:检测视频应用的资源需求模式,所述资源需求模式是运行所述视频应用时所需的物理资源中各项动态资源的占用量在预设时长内的变化规律;获取剩余资源大于运行所述视频应用所需物理资源中静态资源的多个资源池,对于获取的多个资源池中每个资源池,检测该资源池的资源消耗模式,所述资源消耗模式是该资源池内正在运行的所有视频应用对该资源池内物理资源中各项动态资源的消耗量在预设时长内的变化规律,所述资源池是包括视频应用运行所需物理资源的资源集合;根据所述视频应用的资源需求模式和所述获取的多个资源池中每个资源池的资源消耗模式,从获取的多个资源池中确定为所述视频应用运行提供所需物理资源的资源池。
在一个实施例中,检测视频应用的资源需求模式,包括:将所述预设时长分割为多个时间段;检测每个时间段内每项动态资源的占用量的平均值;检测该资源池的资源消耗模式,包括:将该资源池内正在运行的所有视频应用的资源需求模式相加,得到该资源池的资源消耗模式。
在一个实施例中,根据所述视频应用的资源需求模式和所述获取的多个资源池中每个资源池的资源消耗模式,从获取的多个资源池中确定为所述视频应用运行提供所需物理资源的资源池,包括:根据所述视频应用的资源需求模式和所述获取的多个资源池中每个资源池的资源消耗模式,计算所述视频应用与所述获取的多个资源池中每个资源池的第一匹配度值,所述第一匹配度值表示所述视频应用的资源需求模式与资源池的资源消耗模式的匹配程度;确定第一匹配度值最高的资源池为所述视频应用运行提供所需物理资源。
在一个实施例中,计算所述视频应用与所述获取的多个资源池中每个资源池的第一匹配度值,包括:对于所述获取的多个资源池中每个资源池,将所述视频应用的资源需求模式和该资源池的资源消耗模式中同一动态资源项相同时间段内的占用量相加,得到各项动态资源在每个时间段的新的占用量;对于每项动态资源,计算该项动态资源各时间段新的占用量的均方差;计算各项动态资源对应的均方差的平均值,平均值的倒数为所述视频应用与该资源池的第一匹配度值。
在一个实施例中,还包括:对于多个视频应用,检测每个视频应用的资源需求模式;根据每两个视频应用的资源需求模式,计算所述每两个视频应用之间的第二匹配度值,所述第二匹配度值表示所述两个视频应用的资源需求模式的相同程度;将第二匹配度值大于预设值的视频应用视为一个视频应用,并根据所述一个视频应用的资源需求模式和所述获取的多个资源池中每个资源池的资源消耗模式,从获取的多个资源池中确定为所述第二匹配度值大于预设值的视频应用提供运行所需的物理资源的资源池。
在一个实施例中,还包括:确定资源占用量大于预设阈值的资源池;重新检测所有资源池的资源消耗模式和确定出的资源占用量大于预设阈值的资源池中所有视频应用的资源需求模式;对于确定出的资源占用量大于预设阈值的资源池中所有视频应用,依次从所有视频应用中去除一个视频应用,根据其他视频应用的资源需求模式计算其他视频应用之间的第三匹配度值,所述第三匹配度值表示其他视频应用的资源需求模式的相同程度;根据第三匹配度值最大时去除的视频应用的资源需求模式和所有资源池中除去资源占用量大于预设阈值的资源池的其他资源池的资源消耗模式,从其他资源池中重新确定为第三匹配度值最大时去除的视频应用运行提供所需物理资源的资源池。
本发明实施例还提供了一种视频云平台的资源调度装置,以提出一种符合视频应用的特性、可以进行动态、有效地、不需要视频应用内部嵌入代码的资源调度方案。该装置包括:第一检测模块,用于检测视频应用的资源需求模式,所述资源需求模式是运行所述视频应用对所需的物理资源中各项动态资源的占用量在预设时长内的变化规律;资源消耗模式检测模块,用于获取剩余资源大于运行所述视频应用所需物理资源中静态资源的多个资源池,对于获取的多个资源池中每个资源池,检测该资源池的资源消耗模式,所述资源消耗模式是该资源池内正在运行的所有视频应用的对该资源池内物理资源中各项动态资源的消耗量在预设时长内的变化规律,所述资源池是包括视频应用运行所需物理资源的资源集合;资源调度模块,用于根据所述视频应用的资源需求模式和所述获取的多个资源池中每个资源池的资源消耗模式,从获取的多个资源池中确定为所述视频应用运行提供所需物理资源的资源池。
在一个实施例中,所述第一检测模块,包括:时间分割单元,用于将所述预设时长分割为多个时间段;检测单元,用于检测每个时间段内每项动态资源的占用量的平均值;所述资源消耗模式检测模块,用于将该资源池内正在运行的所有视频应用的资源需求模式相加,得到该资源池的资源消耗模式。
在一个实施例中,资源调度模块,包括:第一匹配度值计算单元,用于根据所述视频应用的资源需求模式和所述获取的多个资源池中每个资源池的资源消耗模式,计算所述视频应用与所述获取的多个资源池中每个资源池的第一匹配度值,所述第一匹配度值表示所述视频应用的资源需求模式与资源池的资源消耗模式的匹配程度;资源调度单元,用于确定第一匹配度值最高的资源池为所述视频应用运行提供所需物理资源。
在一个实施例中,第一匹配度值计算单元,包括:加法计算子单元,用于对于所述获取的多个资源池中每个资源池,将所述视频应用的资源需求模式和该资源池的资源消耗模式中同一动态资源项相同时间段内的占用量相加,得到各项动态资源在每个时间段的新的占用量;均方差计算子单元,用于对于每项动态资源,计算该项动态资源各时间段新的占用量的均方差;第一匹配度值计算子单元,用于计算各项动态资源对应的均方差的平均值,平均值的倒数为所述视频应用与该资源池的第一匹配度值。
在一个实施例中,还包括:所述第一检测模块,还用于对于多个视频应用,检测每个视频应用的资源需求模式;第二匹配度值计算模块,用于根据每两个视频应用的资源需求模式,计算所述每两个视频应用之间的第二匹配度值,所述第二匹配度值表示所述两个视频应用的资源需求模式的相同程度;所述资源调度模块,还用于将第二匹配度值大于预设值的视频应用视为一个视频应用,并根据所述一个视频应用的资源需求模式和所述获取的多个资源池中每个资源池的资源消耗模式,从获取的多个资源池中确定为所述第二匹配度值大于预设值的视频应用提供运行所需的物理资源的资源池。
在一个实施例中,还包括:资源池确定模块,用于确定资源占用量大于预设阈值的资源池;第二检测模块,用于重新检测所有资源池的资源消耗模式和确定出的资源占用量大于预设阈值的资源池中所有视频应用的资源需求模式;第三匹配度值计算模块,用于对于确定出的资源占用量大于预设阈值的资源池中所有视频应用,依次从所有视频应用中去除一个视频应用,根据其他视频应用的资源需求模式计算其他视频应用之间的第三匹配度值,所述第三匹配度值表示其他视频应用的资源需求模式的相同程度;所述资源调度模块,还用于根据第三匹配度值最大时去除的视频应用的资源需求模式和所有资源池中除去资源占用量大于预设阈值的资源池的其他资源池的资源消耗模式,从其他资源池中重新确定为第三匹配度值最大时去除的视频应用运行提供所需物理资源的资源池。
在本发明实施例中,通过检测视频应用的资源需求模式,该资源需求模式为视频应用对所需的物理资源中各项动态资源的占用量在预设时长内的变化规律,并检测获得剩余资源大于运行视频应用所需物理资源中静态资源的资源池的资源消耗模式,资源消耗模式是该资源池内正在运行的所有视频应用对该资源池内物理资源中各项动态资源的消耗量在预设时长内的变化规律,然后可以基于视频应用的资源需求模式和每个资源池的资源消耗模式,从剩余资源大于运行视频应用所需物理资源中静态资源的资源池中,确定为视频应用运行提供所需物理资源的资源池。实现了可以基于可靠的资源需求模式和资源消耗模式动态地、快速地、有效地为视频应用调度运行所需的物理资源;且上述资源调度过程,不需要对视频应用内部嵌入代码,使得可以很好地应用于云计算环境;由于上述资源调度是基于物理资源进行的,视频应用可以采用纯物理硬件环境,从而确保视频应用的性能不受损失。
附图说明
此处所说明的附图用来提供对本发明的进一步理解,构成本申请的一部分,并不构成对本发明的限定。在附图中:
图1是本发明实施例提供的一种视频云平台的资源调度方法的流程图;
图2是本发明实施例提供的一种视频云平台的资源调度装置的结构框图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚明白,下面结合实施方式和附图,对本发明做进一步详细说明。在此,本发明的示意性实施方式及其说明用于解释本发明,但并不作为对本发明的限定。
发明人发现,对于视频应用来说,资源需求模式是比较稳定的。视频应用的输入或接受请求的模式比较容易预测,处理请求的方式也比较固定,所以通过一定程度的模拟真实场景的测试就可以得到比较可靠的资源需求模式。可靠的资源需求模式可以确保资源调度方法和优化资源分配方法的有效性,根据视频应用的资源需求模式来获得资源池的资源消耗模式,也可以确保资源消耗模式的可靠性。因此,提出了一种基于资源需求模式和资源消耗模式的资源调度方法。
在本发明实施例中,提供了一种视频云平台的资源调度方法,如图1所示,该方法包括:
步骤101:检测视频应用的资源需求模式,所述资源需求模式是运行所述视频应用对所需的物理资源中各项动态资源的占用量在预设时长内的变化规律;
步骤102:获取剩余资源大于运行所述视频应用所需物理资源中静态资源的多个资源池,对于获取的多个资源池中每个资源池,检测该资源池的资源消耗模式,所述资源消耗模式是该资源池内正在运行的所有视频应用对该资源池内物理资源中各项动态资源的消耗量在预设时长内的变化规律,所述资源池是包括视频应用运行所需物理资源的资源集合;
步骤103:根据所述视频应用的资源需求模式和所述获取的多个资源池中每个资源池的资源消耗模式,从获取的多个资源池中确定为所述视频应用运行提供所需物理资源的资源池。
由图1所示的流程可知,在本发明实施例中,通过检测视频应用的资源需求模式,该资源需求模式为视频应用对所需的物理资源中各项动态资源的占用量在预设时长内的变化规律,并检测获得剩余资源大于运行视频应用所需物理资源中静态资源的资源池的资源消耗模式,资源消耗模式是该资源池内正在运行的所有视频应用对该资源池内物理资源中各项动态资源的消耗量在预设时长内的变化规律,然后可以基于视频应用的资源需求模式和每个资源池的资源消耗模式,从剩余资源大于运行视频应用所需物理资源中静态资源的资源池中,确定为所述视频应用运行提供所需物理资源的资源池。实现了可以基于可靠的资源需求模式动态地、快速地、有效地为视频应用调度运行所需的物理资源;同时,由于是通过资源池的方式进行资源调度的,与以虚拟机为单元的资源调度方式相比,实现了以更细的粒度进行资源调度,有助于进行资源优化;上述资源调度过程,不需要对视频应用内部嵌入代码,使得可以很好地应用于云计算环境;由于上述资源调度是基于物理资源进行的,视频应用可以采用纯物理硬件环境,从而确保视频应用的性能不受损失。
具体实施时,每一个视频应用运行时对物理资源的需求都包括:CPU、内存、磁盘存储、磁盘IO和网络IO,有些视频应用还包括一些特定的物理资源,如GPU、视频采集卡等。视频应用对这些物理资源的需求可以被准确量化。比如CPU的核数或物理线程数,内存和磁盘的大小,磁盘IO的并发和吞吐量,网络IO的吞吐量,GPU上计算单元的数目等。
每一个视频应用运行时对物理资源的需求还可以被分为两类,一类是静态资源需求,例如,包括内存、磁盘存储等;另一类是动态资源需求,例如,包括CPU、网络IO和磁盘IO等。静态资源需求是在视频应用的生命周期中保持基本恒定,并且必须被严格满足的;动态资源需求则是会随着时间变化而变化的,并且允许一定程度的过载。
具体的,一个视频应用的资源需求模式指的是运行所述视频应用时所需的物理资源中各项动态资源的占用量在预设时长内的变化规律。具体可以通过监控或搜集监控数据的手段来检测视频应用的资源需求模式,该资源需求模式可以被量化,以便于对资源需求模式进行计算,例如,将所述预设时长分割为多个时间段;检测每个时间段内每项动态资源的占用量的平均值。这样生成的一个依时间序列的资源消耗数据就是对资源需求模式的量化。比如下表1所示的就是对CPU、网络IO和网络IO占用的资源需求模式的一个示例。在该示例中,第一个时间段内,CPU占用0,网络IO占用1,磁盘IO占用1。这就表示,在该时间段内,该视频应用对CPU的资源需求的平均值是0,对网络IO的资源需求的平均值是1,对磁盘IO的资源需求的平均值是2。这里存在大于1的数是因为物理硬件的数目会多于1,且应用会同时占用多个物理硬件的资源。再比如,在第9个时间间隔内,CPU平均占用是50%的物理核或线程,网卡平均占用是120%的带宽(相当于2块网卡各60%,或3块网卡各40%等),磁盘平均占用是150%的带宽。
具体实施时,为了获得资源池可靠的资源消耗模式,检测该资源池的资源消耗模式,包括:将该资源池内正在运行的所有视频应用的资源需求模式相加,得到该资源池的资源消耗模式。例如,将正在运行的所有视频应用的资源需求模式中CPU在各时间段的占用量相加,作为资源池的资源消耗模式中CPU在各时间段的占用量。
具体实施时,基于资源需求模式和资源消耗模式进行资源调度的方式可以是:根据所述视频应用的资源需求模式和所述获取的多个资源池中每个资源池的资源消耗模式,从获取的多个资源池中确定为所述视频应用运行提供所需物理资源的资源池,包括:根据所述视频应用的资源需求模式和所述获取的多个资源池中每个资源池的资源消耗模式,计算所述视频应用与所述获取的多个资源池中每个资源池的第一匹配度值,所述第一匹配度值表示所述视频应用的资源需求模式与资源池的资源消耗模式的匹配程度;确定第一匹配度值最高的资源池为所述视频应用运行提供所需物理资源。由于是基于第一匹配度值为视频应用选择提供运行所需物理资源的资源池,并不是以资源池为单位将一个资源池的物理资源只提供给一个是视频应用,使得一个资源池可以同时为多个视频应用提供物理资源,即一个资源池上可以同时部署多个视频应用。
具体的,计算所述视频应用与所述获取的多个资源池中每个资源池的第一匹配度值的过程可以包括:对于所述获取的多个资源池中每个资源池,将所述视频应用的资源需求模式和该资源池的资源消耗模式中同一动态资源项相同时间段内的占用量相加,得到各项动态资源在每个时间段的新的占用量;对于每项动态资源,计算该项动态资源各时间段新的占用量的均方差;计算各项动态资源对应的均方差的平均值,平均值的倒数为所述视频应用与该资源池的第一匹配度值。以表1中的资源需求模式为例,对于视频应用的资源需求模式和资源池的资源消耗模式中的CPU(网络IO和磁盘IO),将相同时间段内的占用量相加,即将第一时间段中CPU的占用量相加,依次至,将第11个时间段中CPU的占用量相加,对于网络IO和磁盘IO的占用量也分别按照相同时间段相加,得到CPU、网络IO和磁盘IO对应各时间段的新的占用量;然后,对于每项动态资源,计算该项动态资源各时间段新的占用量的均方差,例如,对于CPU,对第1至11个时间段内新的占用量求均方差,对网络IO和磁盘IO也同样求均方差;最后,计算各项动态资源对应的均方差的平均值,即对CPU、网络IO和磁盘IO对应的均方差求平均值,该平均值的倒数即第一匹配度值。
具体实施时,为了实现快速、有效的资源调动,在本实施例中,对于多个视频应用,检测每个视频应用的资源需求模式;根据每两个视频应用的资源需求模式,计算所述每两个视频应用之间的第二匹配度值,所述第二匹配度值表示所述两个视频应用的资源需求模式的相同程度;将第二匹配度值大于预设值的视频应用视为一个视频应用,并根据所述一个视频应用的资源需求模式和所述获取的多个资源池中每个资源池的资源消耗模式,从获取的多个资源池中确定为所述第二匹配度值大于预设值的视频应用提供运行所需的物理资源的资源池。具体的,计算第二匹配度值的方法可以采用计算第一匹配度值的方法;确定为第二匹配度值大于预设值的视频应用提供运行所需的物理资源的资源池的方法可以采用确定为视频应用运行提供所需物理资源的资源池的方法,将所有第二匹配度值大于预设值的视频应用部署在确定出的资源池上。
在进行资源调度的过程中,将视频应用部署到资源池上开始运行后,会随着负载的变化发生对资源占用超出预期的变化,应用原本的资源需求模式可能会发生改变。这就可能造成资源池中的各个视频应用因为争用资源而导致服务质量下降的问题。为了确保视频应用的服务质量,在本实施例中,对资源进行优化。具体的,确定资源占用量大于预设阈值的资源池(例如,可以通过监控系统直观地确定出资源占用量大于预设阈值的资源池);重新检测所有资源池的资源消耗模式和确定出的资源占用量大于预设阈值的资源池中所有视频应用的资源需求模式;对于确定出的资源占用量大于预设阈值的资源池中所有视频应用,依次从所有视频应用中去除一个视频应用,根据其他视频应用的资源需求模式计算其他视频应用之间的第三匹配度值,所述第三匹配度值表示其他视频应用的资源需求模式的相同程度(第三匹配度值最大时去除的视频应用即为需要重新确定资源池的应用);根据第三匹配度值最大时去除的视频应用的资源需求模式和所有资源池中除去资源占用量大于预设阈值的资源池的其他资源池的资源消耗模式,从其他资源池中重新确定为第三匹配度值最大时去除的视频应用运行提供所需物理资源的资源池(该过程可以采用第一匹配度值的方式来确定,即从其他资源池中选择第一匹配度值最大资源池为第三匹配度值最大时去除的视频应用运行提供所需物理资源,迁移上述去除的视频应用;如果其他资源池中每个资源池的第一匹配度值小于上述去除的视频应用所在的、资源占用量大于预设阈值的资源池的第一匹配度值,则无需迁移上述去除的视频应用,而是对资源占用量大于预设阈值的资源池的资源配置进行调整)。
基于同一发明构思,本发明实施例中还提供了一种视频云平台的资源调度装置,如下面的实施例所述。由于视频云平台的资源调度装置解决问题的原理与视频云平台的资源调度方法相似,因此视频云平台的资源调度装置的实施可以参见视频云平台的资源调度方法的实施,重复之处不再赘述。以下所使用的,术语“单元”或者“模块”可以实现预定功能的软件和/或硬件的组合。尽管以下实施例所描述的装置较佳地以软件来实现,但是硬件,或者软件和硬件的组合的实现也是可能并被构想的。
图2是本发明实施例的视频云平台的资源调度装置的一种结构框图,如图2所示,包括:第一检测模块201、资源消耗模式检测模块202和资源调度模块203,下面对该结构进行说明。
第一检测模块201,用于检测视频应用的资源需求模式,所述资源需求模式是运行所述视频应用对所需的物理资源中各项动态资源的占用量在预设时长内的变化规律;
资源消耗模式检测模块202,与第一检测模块201连接,用于获取剩余资源大于运行所述视频应用所需物理资源中静态资源的多个资源池,对于获取的多个资源池中每个资源池,检测该资源池的资源消耗模式,所述资源消耗模式是该资源池内正在运行的所有视频应用对该资源池内物理资源中各项动态资源的消耗量在预设时长内的变化规律,所述资源池是包括视频应用运行所需物理资源的资源集合;
资源调度模块203,与资源消耗模式检测模块202连接,用于根据所述视频应用的资源需求模式和所述获取的多个资源池中每个资源池的资源消耗模式,从获取的多个资源池中确定为所述视频应用运行提供所需物理资源的资源池。
在一个实施例中,所述第一检测模块201,包括:时间分割单元,用于将所述预设时长分割为多个时间段;检测单元,与时间分割单元连接,用于检测每个时间段内每项动态资源的占用量的平均值;所述资源消耗模式检测模块,用于将该资源池内正在运行的所有视频应用的资源需求模式相加,得到该资源池的资源消耗模式。
在一个实施例中,资源调度模块,包括:第一匹配度值计算单元,用于根据所述视频应用的资源需求模式和所述获取的多个资源池中每个资源池的资源消耗模式,计算所述视频应用与所述获取的多个资源池中每个资源池的第一匹配度值,所述第一匹配度值表示所述视频应用的资源需求模式与资源池的资源消耗模式的匹配程度;资源调度单元,与第一匹配度值计算单元连接,用于确定第一匹配度值最高的资源池为所述视频应用运行提供所需物理资源。
在一个实施例中,第一匹配度值计算单元,包括:加法计算子单元,用于对于所述获取的多个资源池中每个资源池,将所述视频应用的资源需求模式和该资源池的资源消耗模式中同一动态资源项相同时间段内的占用量相加,得到各项动态资源在每个时间段的新的占用量;均方差计算子单元,与加法计算子单元连接,用于对于每项动态资源,计算该项动态资源各时间段新的占用量的均方差;第一匹配度值计算子单元,与均方差计算子单元连接,用于计算各项动态资源对应的均方差的平均值,平均值的倒数为所述视频应用与该资源池的第一匹配度值。
在一个实施例中,还包括:所述第一检测模块,还用于对于多个视频应用,检测每个视频应用的资源需求模式;第二匹配度值计算模块,与所述第一检测模块连接,用于根据每两个视频应用的资源需求模式,计算所述每两个视频应用之间的第二匹配度值,所述第二匹配度值表示所述两个视频应用的资源需求模式的相同程度;所述资源调度模块,与第二匹配度值计算模块连接,还用于将第二匹配度值大于预设值的视频应用视为一个视频应用,并根据所述一个视频应用的资源需求模式和所述获取的多个资源池中每个资源池的资源消耗模式,从获取的多个资源池中确定为所述第二匹配度值大于预设值的视频应用提供运行所需的物理资源的资源池。
在一个实施例中,还包括:资源池确定模块,用于确定资源占用量大于预设阈值的资源池;第二检测模块,与资源池确定模块连接,用于重新检测所有资源池的资源消耗模式和确定出的资源占用量大于预设阈值的资源池中所有视频应用的资源需求模式;第三匹配度值计算模块,与第二检测模块连接,用于对于确定出的资源占用量大于预设阈值的资源池中所有视频应用,依次从所有视频应用中去除一个视频应用,根据其他视频应用的资源需求模式计算其他视频应用之间的第三匹配度值,所述第三匹配度值表示其他视频应用的资源需求模式的相同程度;所述资源调度模块,与第三匹配度值计算模块连接,还用于根据第三匹配度值最大时去除的视频应用的资源需求模式和所有资源池中除去资源占用量大于预设阈值的资源池的其他资源池的资源消耗模式,从其他资源池中重新确定为第三匹配度值最大时去除的视频应用运行提供所需物理资源的资源池。
在本发明实施例中,通过检测视频应用的资源需求模式,该资源需求模式为视频应用对所需的物理资源中各项动态资源的占用量在预设时长内的变化规律,并检测获得剩余资源大于运行视频应用所需物理资源中静态资源的资源池的资源消耗模式,资源消耗模式是该资源池内正在运行的所有视频应用对该资源池内物理资源中各项动态资源的消耗量在预设时长内的变化规律,然后可以基于视频应用的资源需求模式和每个资源池的资源消耗模式,从剩余资源大于运行视频应用所需物理资源中静态资源的资源池中,确定为所述视频应用运行提供所需物理资源的资源池。实现了可以基于可靠的资源需求模式动态地、快速地、有效地为视频应用调度运行所需的物理资源;同时,由于是通过资源池的方式进行资源调度的,与以虚拟机为单元的资源调度方式相比,实现了以更细的粒度进行资源调度,有助于进行资源优化;上述资源调度过程,不需要对视频应用内部嵌入代码,使得可以很好地应用于云计算环境;由于上述资源调度是基于物理资源进行的,视频应用可以采用纯物理硬件环境,从而确保视频应用的性能不受损失。
显然,本领域的技术人员应该明白,上述的本发明实施例的各模块或各步骤可以用通用的计算装置来实现,它们可以集中在单个的计算装置上,或者分布在多个计算装置所组成的网络上,可选地,它们可以用计算装置可执行的程序代码来实现,从而,可以将它们存储在存储装置中由计算装置来执行,并且在某些情况下,可以以不同于此处的顺序执行所示出或描述的步骤,或者将它们分别制作成各个集成电路模块,或者将它们中的多个模块或步骤制作成单个集成电路模块来实现。这样,本发明实施例不限制于任何特定的硬件和软件结合。
以上所述仅为本发明的优选实施例而已,并不用于限制本发明,对于本领域的技术人员来说,本发明实施例可以有各种更改和变化。凡在本发明的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。

Claims (12)

1.一种视频云平台的资源调度方法,其特征在于,包括:
检测视频应用的资源需求模式,所述资源需求模式是运行所述视频应用时所需的物理资源中各项动态资源的占用量在预设时长内的变化规律;
获取剩余资源大于运行所述视频应用所需物理资源中静态资源的多个资源池,对于获取的多个资源池中每个资源池,检测该资源池的资源消耗模式,所述资源消耗模式是该资源池内正在运行的所有视频应用对该资源池内物理资源中各项动态资源的消耗量在预设时长内的变化规律,所述资源池是包括视频应用运行所需物理资源的资源集合;
根据所述视频应用的资源需求模式和所述获取的多个资源池中每个资源池的资源消耗模式,从获取的多个资源池中确定为所述视频应用运行提供所需物理资源的资源池。
2.如权利要求1所述的方法,其特征在于,检测视频应用的资源需求模式,包括:
将所述预设时长分割为多个时间段;
检测每个时间段内每项动态资源的占用量的平均值;
检测该资源池的资源消耗模式,包括:
将该资源池内正在运行的所有视频应用的资源需求模式相加,得到该资源池的资源消耗模式。
3.如权利要求2所述的方法,其特征在于,根据所述视频应用的资源需求模式和所述获取的多个资源池中每个资源池的资源消耗模式,从获取的多个资源池中确定为所述视频应用运行提供所需物理资源的资源池,包括:
根据所述视频应用的资源需求模式和所述获取的多个资源池中每个资源池的资源消耗模式,计算所述视频应用与所述获取的多个资源池中每个资源池的第一匹配度值,所述第一匹配度值表示所述视频应用的资源需求模式与资源池的资源消耗模式的匹配程度;
确定第一匹配度值最高的资源池为所述视频应用运行提供所需物理资源。
4.如权利要求3所述的方法,其特征在于,计算所述视频应用与所述获取的多个资源池中每个资源池的第一匹配度值,包括:
对于所述获取的多个资源池中每个资源池,将所述视频应用的资源需求模式和该资源池的资源消耗模式中同一动态资源项相同时间段内的占用量相加,得到各项动态资源在每个时间段的新的占用量;
对于每项动态资源,计算该项动态资源各时间段新的占用量的均方差;
计算各项动态资源对应的均方差的平均值,平均值的倒数为所述视频应用与该资源池的第一匹配度值。
5.如权利要求1至4中任一项所述的方法,其特征在于,还包括:
对于多个视频应用,检测每个视频应用的资源需求模式;
根据每两个视频应用的资源需求模式,计算所述每两个视频应用之间的第二匹配度值,所述第二匹配度值表示所述两个视频应用的资源需求模式的相同程度;
将第二匹配度值大于预设值的视频应用视为一个视频应用,并根据所述一个视频应用的资源需求模式和所述获取的多个资源池中每个资源池的资源消耗模式,从获取的多个资源池中确定为所述第二匹配度值大于预设值的视频应用提供运行所需的物理资源的资源池。
6.如权利要求1至4中任一项所述的方法,其特征在于,还包括:
确定资源占用量大于预设阈值的资源池;
重新检测所有资源池的资源消耗模式和确定出的资源占用量大于预设阈值的资源池中所有视频应用的资源需求模式;
对于确定出的资源占用量大于预设阈值的资源池中所有视频应用,依次从所有视频应用中去除一个视频应用,根据其他视频应用的资源需求模式计算其他视频应用之间的第三匹配度值,所述第三匹配度值表示其他视频应用的资源需求模式的相同程度;
根据第三匹配度值最大时去除的视频应用的资源需求模式和所有资源池中除去资源占用量大于预设阈值的资源池的其他资源池的资源消耗模式,从其他资源池中重新确定为第三匹配度值最大时去除的视频应用运行提供所需物理资源的资源池。
7.一种视频云平台的资源调度装置,其特征在于,包括:
第一检测模块,用于检测视频应用的资源需求模式,所述资源需求模式是运行所述视频应用对所需的物理资源中各项动态资源的占用量在预设时长内的变化规律;
资源消耗模式检测模块,用于获取剩余资源大于运行所述视频应用所需物理资源中静态资源的多个资源池,对于获取的多个资源池中每个资源池,检测该资源池的资源消耗模式,所述资源消耗模式是该资源池内正在运行的所有视频应用对该资源池内物理资源中各项动态资源的消耗量在预设时长内的变化规律,所述资源池是包括视频应用运行所需物理资源的资源集合;
资源调度模块,用于根据所述视频应用的资源需求模式和所述获取的多个资源池中每个资源池的资源消耗模式,从获取的多个资源池中确定为所述视频应用运行提供所需物理资源的资源池。
8.如权利要求7所述的装置,其特征在于,所述第一检测模块,包括:
时间分割单元,用于将所述预设时长分割为多个时间段;
检测单元,用于检测每个时间段内每项动态资源的占用量的平均值;
所述资源消耗模式检测模块,用于将该资源池内正在运行的所有视频应用的资源需求模式相加,得到该资源池的资源消耗模式。
9.如权利要求8所述的装置,其特征在于,资源调度模块,包括:
第一匹配度值计算单元,用于根据所述视频应用的资源需求模式和所述获取的多个资源池中每个资源池的资源消耗模式,计算所述视频应用与所述获取的多个资源池中每个资源池的第一匹配度值,所述第一匹配度值表示所述视频应用的资源需求模式与资源池的资源消耗模式的匹配程度;
资源调度单元,用于确定第一匹配度值最高的资源池为所述视频应用运行提供所需物理资源。
10.如权利要求9所述的装置,其特征在于,第一匹配度值计算单元,包括:
加法计算子单元,用于对于所述获取的多个资源池中每个资源池,将所述视频应用的资源需求模式和该资源池的资源消耗模式中同一动态资源项相同时间段内的占用量相加,得到各项动态资源在每个时间段的新的占用量;
均方差计算子单元,用于对于每项动态资源,计算该项动态资源各时间段新的占用量的均方差;
第一匹配度值计算子单元,用于计算各项动态资源对应的均方差的平均值,平均值的倒数为所述视频应用与该资源池的第一匹配度值。
11.如权利要求7至10中任一项所述的装置,其特征在于,还包括:
所述第一检测模块,还用于对于多个视频应用,检测每个视频应用的资源需求模式;
第二匹配度值计算模块,用于根据每两个视频应用的资源需求模式,计算所述每两个视频应用之间的第二匹配度值,所述第二匹配度值表示所述两个视频应用的资源需求模式的相同程度;
所述资源调度模块,还用于将第二匹配度值大于预设值的视频应用视为一个视频应用,并根据所述一个视频应用的资源需求模式和所述获取的多个资源池中每个资源池的资源消耗模式,从获取的多个资源池中确定为所述第二匹配度值大于预设值的视频应用提供运行所需的物理资源的资源池。
12.如权利要求7至10中任一项所述的装置,其特征在于,还包括:
资源池确定模块,用于确定资源占用量大于预设阈值的资源池;
第二检测模块,用于重新检测所有资源池的资源消耗模式和确定出的资源占用量大于预设阈值的资源池中所有视频应用的资源需求模式;
第三匹配度值计算模块,用于对于确定出的资源占用量大于预设阈值的资源池中所有视频应用,依次从所有视频应用中去除一个视频应用,根据其他视频应用的资源需求模式计算其他视频应用之间的第三匹配度值,所述第三匹配度值表示其他视频应用的资源需求模式的相同程度;
所述资源调度模块,还用于根据第三匹配度值最大时去除的视频应用的资源需求模式和所有资源池中除去资源占用量大于预设阈值的资源池的其他资源池的资源消耗模式,从其他资源池中重新确定为第三匹配度值最大时去除的视频应用运行提供所需物理资源的资源池。
CN201410851109.6A 2014-12-31 2014-12-31 视频云平台的资源调度方法及装置 Active CN104572298B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201410851109.6A CN104572298B (zh) 2014-12-31 2014-12-31 视频云平台的资源调度方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201410851109.6A CN104572298B (zh) 2014-12-31 2014-12-31 视频云平台的资源调度方法及装置

Publications (2)

Publication Number Publication Date
CN104572298A true CN104572298A (zh) 2015-04-29
CN104572298B CN104572298B (zh) 2017-11-24

Family

ID=53088443

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201410851109.6A Active CN104572298B (zh) 2014-12-31 2014-12-31 视频云平台的资源调度方法及装置

Country Status (1)

Country Link
CN (1) CN104572298B (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105427895A (zh) * 2015-11-12 2016-03-23 上海新储集成电路有限公司 用于视频云应用的非易失性存储器芯片测试和使用方法
CN107239337A (zh) * 2016-03-28 2017-10-10 北京智梵网络科技有限公司 虚拟化资源的分配和调度方法及系统
CN108153506A (zh) * 2018-01-24 2018-06-12 北京小米移动软件有限公司 图像处理方法、装置及终端设备
CN112988396A (zh) * 2021-04-20 2021-06-18 军事科学院系统工程研究院网络信息研究所 一种基于多属性为视频云服务分配计算节点的方法和系统
CN115102722A (zh) * 2022-06-01 2022-09-23 中信建投证券股份有限公司 一种视频监控云平台的登录方法、装置及电子设备

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102546379A (zh) * 2010-12-27 2012-07-04 中国移动通信集团公司 一种虚拟化资源调度的方法及虚拟化资源调度系统
CN102546700A (zh) * 2010-12-23 2012-07-04 中国移动通信集团公司 一种资源调度以及资源迁移的方法及设备
CN102662757A (zh) * 2012-03-09 2012-09-12 浪潮通信信息系统有限公司 一种云计算程序平滑迁移的资源需求预估方法
CN103533086A (zh) * 2013-10-31 2014-01-22 中国科学院计算机网络信息中心 一种云计算系统中的资源统一调度方法
US20140281501A1 (en) * 2013-03-13 2014-09-18 Samsung Electronics Co., Ltd. Application access control method and electronic apparatus implementing the same
US20140347372A1 (en) * 2010-12-14 2014-11-27 Amazon Technologies, Inc. Load balancing between general purpose processors and graphics processors

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140347372A1 (en) * 2010-12-14 2014-11-27 Amazon Technologies, Inc. Load balancing between general purpose processors and graphics processors
CN102546700A (zh) * 2010-12-23 2012-07-04 中国移动通信集团公司 一种资源调度以及资源迁移的方法及设备
CN102546379A (zh) * 2010-12-27 2012-07-04 中国移动通信集团公司 一种虚拟化资源调度的方法及虚拟化资源调度系统
CN102662757A (zh) * 2012-03-09 2012-09-12 浪潮通信信息系统有限公司 一种云计算程序平滑迁移的资源需求预估方法
US20140281501A1 (en) * 2013-03-13 2014-09-18 Samsung Electronics Co., Ltd. Application access control method and electronic apparatus implementing the same
CN103533086A (zh) * 2013-10-31 2014-01-22 中国科学院计算机网络信息中心 一种云计算系统中的资源统一调度方法

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105427895A (zh) * 2015-11-12 2016-03-23 上海新储集成电路有限公司 用于视频云应用的非易失性存储器芯片测试和使用方法
CN105427895B (zh) * 2015-11-12 2018-10-23 上海新储集成电路有限公司 用于视频云应用的非易失性存储器芯片测试和使用方法
CN107239337A (zh) * 2016-03-28 2017-10-10 北京智梵网络科技有限公司 虚拟化资源的分配和调度方法及系统
CN108153506A (zh) * 2018-01-24 2018-06-12 北京小米移动软件有限公司 图像处理方法、装置及终端设备
CN108153506B (zh) * 2018-01-24 2021-07-13 北京小米移动软件有限公司 图像处理方法、装置及终端设备
CN112988396A (zh) * 2021-04-20 2021-06-18 军事科学院系统工程研究院网络信息研究所 一种基于多属性为视频云服务分配计算节点的方法和系统
CN115102722A (zh) * 2022-06-01 2022-09-23 中信建投证券股份有限公司 一种视频监控云平台的登录方法、装置及电子设备

Also Published As

Publication number Publication date
CN104572298B (zh) 2017-11-24

Similar Documents

Publication Publication Date Title
CN108632365B (zh) 服务资源调整方法、相关装置和设备
Xu et al. T-storm: Traffic-aware online scheduling in storm
CN104572298A (zh) 视频云平台的资源调度方法及装置
US20150295970A1 (en) Method and device for augmenting and releasing capacity of computing resources in real-time stream computing system
WO2017166643A1 (zh) 一种任务资源的量化方法和装置
CN104601492A (zh) 一种nfv架构下进行业务流控的方法及装置
Ranjan Modeling and simulation in performance optimization of big data processing frameworks
US20120005345A1 (en) Optimized resource management for map/reduce computing
US11055139B2 (en) Smart accelerator allocation and reclamation for deep learning jobs in a computing cluster
CN111880939A (zh) 容器动态迁移方法、装置及电子设备
CN104580194A (zh) 面向视频应用的虚拟化资源管理方法及装置
CN102866920A (zh) 主从结构分布式视频处理系统及其调度方法
Thakkar et al. Renda: resource and network aware data placement algorithm for periodic workloads in cloud
CN108616553B (zh) 云计算资源池进行资源调度的方法及装置
CN105426228B (zh) 一种面向流媒体直播与视频转码的OpenStack虚拟机放置方法
CN103488538B (zh) 云计算系统中的应用扩展装置和应用扩展方法
CN107624181A (zh) 包括虚拟处理器的闲置和调度的虚拟机管理方法和装备
Silva et al. SmartRank: a smart scheduling tool for mobile cloud computing
CN109347982A (zh) 一种数据中心的调度方法及装置
CN104135525B (zh) 云平台elb组件的资源扩展方法和装置
Hassan et al. Efficient resource scheduling for big data processing in cloud platform
CN107203256A (zh) 一种网络功能虚拟化场景下的节能分配方法与装置
CN114598731B (zh) 集群日志采集方法、装置、设备及存储介质
CN111124669A (zh) 一种分布式SaaS软件的运营方法、系统、终端及存储介质
Nguyen et al. Algorithmic approach to deadlock detection for resource allocation in heterogeneous platforms

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C41 Transfer of patent application or patent right or utility model
TA01 Transfer of patent application right

Effective date of registration: 20160115

Address after: 100085, No. three, No. 002, Section 1, building No. 3, 3rd floor, information industry base, Beijing, Haidian District

Applicant after: Star Software Technology Co.,Ltd.

Address before: 100085, No. three, No. 305, Section 1, building No. 3, 3rd floor, information industry base, Beijing, Haidian District

Applicant before: STAR TIMES COMMUNICATION NETWORK TECHNOLOGY CO., LTD.

CB03 Change of inventor or designer information

Inventor after: Zheng Shuliang

Inventor after: Pang Yi

Inventor after: Lu Yao

Inventor after: Fang Zhen

Inventor after: Zhang Liang

Inventor before: Zheng Shuliang

COR Change of bibliographic data
GR01 Patent grant
GR01 Patent grant