CN109857551A - 基于云计算的服务资源的调度方法及装置、电子设备 - Google Patents

基于云计算的服务资源的调度方法及装置、电子设备 Download PDF

Info

Publication number
CN109857551A
CN109857551A CN201910019212.7A CN201910019212A CN109857551A CN 109857551 A CN109857551 A CN 109857551A CN 201910019212 A CN201910019212 A CN 201910019212A CN 109857551 A CN109857551 A CN 109857551A
Authority
CN
China
Prior art keywords
resource
goal task
scheduling model
application scenarios
secondary resource
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910019212.7A
Other languages
English (en)
Other versions
CN109857551B (zh
Inventor
李红伟
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ping An Technology Shenzhen Co Ltd
Original Assignee
Ping An Technology Shenzhen Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ping An Technology Shenzhen Co Ltd filed Critical Ping An Technology Shenzhen Co Ltd
Priority to CN201910019212.7A priority Critical patent/CN109857551B/zh
Publication of CN109857551A publication Critical patent/CN109857551A/zh
Application granted granted Critical
Publication of CN109857551B publication Critical patent/CN109857551B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Landscapes

  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本发明涉及云计算技术领域,揭示了一种基于云计算的服务资源的调度方法及装置、电子设备。所述方法包括:根据第一资源使用特征,调整初始资源调度模型中的调度参数以得到第一资源调度模型;利用第一资源调度模型向目标任务分配第一资源;检测目标任务的资源应用场景是否发生改变;当检测到目标任务的资源应用场景发生改变时,根据第二资源使用特征调整第一资源调度模型中的调度参数以得到第二资源调度模型;利用第二资源调度模型向目标任务分配第二资源。能够根据目标任务对资源的需求变化,利用调度模型实现自适应资源分配,以确保目标任务能够正常运行,却不会占据多余资源,避免资源浪费,提高了资源的利用率。

Description

基于云计算的服务资源的调度方法及装置、电子设备
技术领域
本发明涉及云计算技术领域,特别涉及一种基于云计算的服务资源的调度方法及装置、电子设备。
背景技术
多数大规模的互联网应用(如阿里巴巴集团下的淘宝网/天猫网、优酷网等)都运行在云端服务器,而云端服务器运行于集群(cluster)的物理服务器中,是一种处理能力可弹性伸缩的计算服务,可以根据用户请求,实时提供不同生命周期级别(小时、天、月等)的计算服务产品,而集群一般由比较大数量的物理服务器部署得到。集群资源管理系统(Cluster Resource Management System),简称资源管理系统,负责调度云服务器到特定集群中的特定物理服务器(server)上进行创建,并在物理服务器上为云服务器分配相应的资源,例如处理器资源、网络资源和存储资源等。云服务器在接收到用户请求后,集群资源管理系统会根据该用户请求为云服务器在相应的物理服务器上分配相应的资源,以便云服务器能够基于所分配得到的资源完成用户请求的相应的计算任务。
目前,集群资源管理系统在分配资源时采用调度算法,调度算法是按照用户请求的时间顺序或用户请求的初始优先级或用户请求所需的资源的多少等进行调度分配资源。但是,如果资源的应用场景由A场景更换为B场景,则有可能导致资源浪费,使得资源利用率不高。举例来说,计算任务需要4核8G运行内存,因此,用户请求中请求需要资源4核8G运行内存,集群资源管理系统在一个空闲出4核10G运行内存的物理服务器上创建4核8G运行内存的云服务器,以完成该用户请求相应的计算任务,但是在一段时间之后,计算任务只需要4核6G运行内存,但是云服务器还占用着4核8G运行内存,导致2G运行内存资源被占用,造成资源浪费,资源利用率不高。
发明内容
为了解决服务资源调度中存在的资源利用率不高的问题,本发明提供了一种基于云计算的服务资源的调度方法及装置、电子设备。
本发明实施例第一方面公开了一种基于云计算的服务资源的调度方法,所述方法包括:
根据第一资源使用特征,调整初始资源调度模型中的调度参数以得到第一资源调度模型;所述第一资源使用特征包括用户请求携带的目标任务所需要的第一资源的占用时间、所述第一资源的类型以及所述第一资源的数量中的至少一种;
利用所述第一资源调度模型向所述目标任务分配所述第一资源;
检测所述目标任务的资源应用场景是否发生改变;
当检测到所述目标任务的资源应用场景发生改变时,根据第二资源使用特征调整所述第一资源调度模型中的调度参数以得到第二资源调度模型;所述第二资源使用特征包括所述目标任务的资源应用场景发生改变后所述目标任务所需要的第二资源的占用时间、所述第二资源的类型以及所述第二资源的数量中的至少一种;
利用所述第二资源调度模型向所述目标任务分配所述第二资源。
作为一种可选的实施方式,在本发明实施例第一方面中,在所述根据第一资源使用特征,调整初始资源调度模型中的调度参数以得到第一资源调度模型之后,所述方法还包括:
将所述第一资源使用特征、所述第一资源调度模型以及所述目标任务的资源应用场景确定为当前存储数据;
判断历史数据库中是否存在与所述当前存储数据相同的第一历史存储数据;
如果不存在所述第一历史存储数据,将所述当前存储数据保存至所述历史数据库。
作为一种可选的实施方式,在本发明实施例第一方面中,所述检测到所述目标任务的资源应用场景发生改变之后,以及所述根据第二资源使用特征调整所述第一资源调度模型中的调度参数以得到第二资源调度模型之前,所述方法还包括:
将发生改变后的所述目标任务的资源应用场景作为第二资源应用场景,判断所述历史数据库中历史存储数据是否存在与所述第二资源应用场景相同的目标历史资源应用场景;
如果所述历史数据库中历史存储数据存在与所述第二资源应用场景相同的目标历史资源应用场景,调用所述目标历史资源应用场景对应的目标资源调度模型作为所述第二资源调度模型,所述目标资源调度模型对应所述第二资源使用特征。
作为一种可选的实施方式,在本发明实施例第一方面中,在所述根据第一资源使用特征,调整初始资源调度模型中的调度参数以得到第一资源调度模型之前,所述方法还包括:
根据增强学习算法建立所述初始资源调度模型。
作为一种可选的实施方式,在本发明实施例第一方面中,所述利用所述第一资源调度模型向所述目标任务分配所述第一资源,包括:
确定集群下的各个物理服务器的待分配资源;
以所述各个物理服务器的待分配资源为依据,利用所述第一资源调度模型向所述目标任务分配所述第一资源。
作为一种可选的实施方式,在本发明实施例第一方面中,所述利用所述第一资源调度模型向所述目标任务分配所述第一资源,包括:
判断集群下的任一物理服务器是否存在剩余资源;
如果存在所述剩余资源,判断所述剩余资源与所述第一资源是否匹配;
如果所述剩余资源与所述第一资源匹配,利用所述第一资源调度模型将所述剩余资源作为所述第一资源分配给所述目标任务。
作为一种可选的实施方式,在本发明实施例第一方面中,在所述利用所述第二资源调度模型向所述目标任务分配所述第二资源之后,所述方法还包括:
在所述目标任务完成之后,释放所述第二资源。
本发明实施例第二方面公开了一种基于云计算的服务资源的调度装置,所述装置包括:
调整单元,用于根据第一资源使用特征,调整初始资源调度模型中的调度参数以得到第一资源调度模型;所述第一资源使用特征包括用户请求携带的目标任务所需要的第一资源的占用时间、所述第一资源的类型以及所述第一资源的数量中的至少一种;
分配单元,用于利用所述第一资源调度模型向所述目标任务分配所述第一资源;
检测单元,用于检测所述目标任务的资源应用场景是否发生改变;
所述调整单元,还用于当检测到所述目标任务的资源应用场景发生改变时,根据第二资源使用特征调整所述第一资源调度模型中的调度参数以得到第二资源调度模型;所述第二资源使用特征包括所述目标任务的资源应用场景发生改变后所述目标任务所需要的第二资源的占用时间、所述第二资源的类型以及所述第二资源的数量中的至少一种;
所述分配单元,还用于利用所述第二资源调度模型向所述目标任务分配所述第二资源。
本发明实施例第三方面公开了一种电子设备,所述电子设备包括:
处理器;
存储器,所述存储器上存储有计算机可读指令,所述计算机可读指令被所述处理器执行时,实现本发明实施例第一方面公开的一种云计算服务资源的调度方法。
本发明实施例第四方面公开了一种计算机可读存储介质,其存储计算机程序,所述计算机程序使得计算机执行本发明实施例第一方面公开的一种基于云计算的服务资源的调度方法。
本发明的实施例提供的技术方案可以包括以下有益效果:
本发明所提供的一种基于云计算的服务资源的调度方法包括如下步骤:根据第一资源使用特征,调整初始资源调度模型中的调度参数以得到第一资源调度模型;其中,第一资源使用特征包括用户请求携带的目标任务所需要的第一资源的占用时间、第一资源的类型以及第一资源的数量中的至少一种;利用第一资源调度模型向目标任务分配第一资源;检测目标任务的资源应用场景是否发生改变;当检测到目标任务的资源应用场景发生改变时,根据第二资源使用特征调整第一资源调度模型中的调度参数以得到第二资源调度模型;其中,第二资源使用特征包括目标任务的资源应用场景发生改变后目标任务所需要的第二资源的占用时间、第二资源的类型以及第二资源的数量中的至少一种;利用第二资源调度模型向目标任务分配第二资源。
此方法下,能够在目标任务的资源应用场景发生改变时,即根据目标任务对资源的需求变化,不断优化资源调度模型中的调度参数,以在不同资源应用场景下为目标任务分配合适的资源,在确保目标任务正常运行的情况下,避免资源浪费,提高了资源的利用率。
应当理解的是,以上的一般描述和后文的细节描述仅是示例性的,并不能限制本发明。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分,示出了符合本发明的实施例,并于说明书一起用于解释本发明的原理。
图1是本发明实施例公开的一种装置的结构示意图;
图2是本发明实施例公开的一种基于云计算的服务资源的调度方法的流程图;
图3是本发明实施例公开的另一种基于云计算的服务资源的调度方法的流程图;
图4是本发明实施例公开的又一种基于云计算的服务资源的调度方法的流程图;
图5是本发明实施例公开的一种基于云计算的服务资源的调度装置的结构示意图;
图6是本发明实施例公开的另一种基于云计算的服务资源的调度装置的结构示意图;
图7是本发明实施例公开的又一种基于云计算的服务资源的调度装置的结构示意图。
具体实施方式
这里将详细地对示例性实施例执行说明,其示例表示在附图中。下面的描述涉及附图时,除非另有表示,不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本发明相一致的所有实施方式。相反,它们仅是与如所附权利要求书中所详述的、本发明的一些方面相一致的装置和方法的例子。
实施例一
本发明的实施环境可以是电子设备,例如智能手机、平板电脑、台式电脑。
图1是本发明实施例公开的一种装置的结构示意图。装置100可以是上述电子设备。如图1所示,装置100可以包括以下一个或多个组件:处理组件102,存储器104,电源组件106,多媒体组件108,音频组件110,传感器组件114以及通信组件116。
处理组件102通常控制装置100的整体操作,诸如与显示,电话呼叫,数据通信,相机操作以及记录操作相关联的操作等。处理组件102可以包括一个或多个处理器118来执行指令,以完成下述的方法的全部或部分步骤。此外,处理组件102可以包括一个或多个模块,用于便于处理组件102和其他组件之间的交互。例如,处理组件102可以包括多媒体模块,用于以方便多媒体组件108和处理组件102之间的交互。
存储器104被配置为存储各种类型的数据以支持在装置100的操作。这些数据的示例包括用于在装置100上操作的任何应用程序或方法的指令。存储器104可以由任何类型的易失性或非易失性存储设备或者它们的组合实现,如静态随机存取存储器(Static RandomAccess Memory,简称SRAM),电可擦除可编程只读存储器(Electrically ErasableProgrammable Read-Only Memory,简称EEPROM),可擦除可编程只读存储器(ErasableProgrammable Read Only Memory,简称EPROM),可编程只读存储器(Programmable Red-Only Memory,简称PROM),只读存储器(Read-Only Memory,简称ROM),磁存储器,快闪存储器,磁盘或光盘。存储器104中还存储有一个或多个模块,用于该一个或多个模块被配置成由该一个或多个处理器118执行,以完成如下所示方法中的全部或者部分步骤。
电源组件106为装置100的各种组件提供电力。电源组件106可以包括电源管理系统,一个或多个电源,及其他与为装置100生成、管理和分配电力相关联的组件。
多媒体组件108包括在装置100和用户之间的提供一个输出接口的屏幕。在一些实施例中,屏幕可以包括液晶显示器(Liquid Crystal Display,简称LCD)和触摸面板。如果屏幕包括触摸面板,屏幕可以被实现为触摸屏,以接收来自用户的输入信号。触摸面板包括一个或多个触摸传感器以感测触摸、滑动和触摸面板上的手势。触摸传感器可以不仅感测触摸或滑动动作的边界,而且还检测与触摸或滑动操作相关的持续时间和压力。屏幕还可以包括有机电致发光显示器(Organic Light Emitting Display,简称OLED)。
音频组件110被配置为输出和/或输入音频信号。例如,音频组件110包括一个麦克风(Microphone,简称MIC),当装置100处于操作模式,如呼叫模式、记录模式和语音识别模式时,麦克风被配置为接收外部音频信号。所接收的音频信号可以被进一步存储在存储器104或经由通信组件116发送。在一些实施例中,音频组件110还包括一个扬声器,用于输出音频信号。
传感器组件114包括一个或多个传感器,用于为装置100提供各个方面的状态评估。例如,传感器组件114可以检测到装置100的打开/关闭状态,组件的相对定位,传感器组件114还可以检测装置100或装置100一个组件的位置改变以及装置100的温度变化。在一些实施例中,该传感器组件114还可以包括磁传感器,压力传感器或温度传感器。
通信组件116被配置为便于装置100和其他设备之间有线或无线方式的通信。装置100可以接入基于通信标准的无线网络,如WiFi(Wireless-Fidelity,无线保真)。在本发明实施例中,通信组件116经由广播信道接收来自外部广播管理系统的广播信号或广播相关信息。在本发明实施例中,通信组件116还包括近场通信(Near Field Communication,简称NFC)模块,用于以促进短程通信。例如,在NFC模块可基于射频识别(Radio FrequencyIdentification,简称RFID)技术,超宽带(Ultra Wideband,简称UWB)技术,蓝牙技术和其他技术来实现。
在示例性实施例中,装置100可以被一个或多个应用专用集成电路(ApplicationSpecific Integrated Circuit,简称ASIC)、数字信号处理器、数字信号处理设备、可编程逻辑器件、现场可编程门阵列、控制器、微控制器、微处理器或其他电子元件实现,用于执行下述方法。
实施例二
请参阅图2,图2是本发明实施例公开的一种基于云计算的服务资源的调度方法的流程示意图。如图2所示,该基于云计算的服务资源的调度方法可以包括以下步骤:
201、根据第一资源使用特征,调整初始资源调度模型中的调度参数以得到第一资源调度模型。
本发明实施例中,第一资源使用特征包括用户请求携带的目标任务所需要的第一资源的占用时间、第一资源的类型以及第一资源的数量中的至少一种,本发明实施例不作限定。
本发明实施例中,第一资源包括处理器资源、网络资源和存储资源等,本发明实施例不作限定。第一资源的类型也就为上述三种类型,第一资源的数量是指资源的大小(如8G运行内存)。第一资源的占用时间是指该目标任务使用该第一资源的时间。
举例来说,当需要进行某个计算任务时,用户请求携带的目标任务所需要的资源为4核8G运行内存、16G存储空间,基于云计算的服务资源的调度装置在一个空闲出4核10G运行内存、32G存储空间的物理服务器上创建云服务器并为其分配4核8G运行内存、32G存储空间。其中,第一资源使用特征为半个小时资源占用时间和4核8G运行内存、16G存储空间;其中,第一资源包括的处理器资源为4核8G运行内存、存储资源为16G存储空间。
202、利用第一资源调度模型向目标任务分配第一资源。
可以理解的是,集群由许多物理服务器组成,各个物理服务器都包含一定的资源,当用户请求发起时,基于云计算的服务资源的调度装置先确定集群下的各个物理服务器的资源并以各个物理服务器包含的资源为依据,再利用第一资源调度模型将与该用户请求携带的目标任务所需的第一资源相匹配的资源统一起来,然后向该目标任务分配第一资源。
作为一种可选的实施方式,当存在多个用户请求时,可以根据请求的时间顺序或请求的资源类型或请求的资源大小先分别确定所有用户请求的优先级,再根据各个用户请求携带的任务所在的资源应用场景下的资源使用特征调整资源调度模型的调度参数,然后根据确定出的优先级,利用资源调度模型分配资源。
实施该可选的实施方式,可以根据用户请求的优先级分配资源,以使优先级高的用户请求优先分配得到资源,提高了资源利用率。
203、检测目标任务的资源应用场景是否发生改变,如果是,执行步骤204;反之,结束本流程。
可以理解的是,当目标任务所需的资源产生变动,则可以认为目标任务的资源应用场景发生改变。举例来说,用户请求携带的目标任务所需要的资源为4核8G运行内存,基于云计算的服务资源的调度装置在一个空闲出4核10G运行内存的物理服务器上创建云服务器并为其分配4核8G运行内存,以完成该用户请求相应的计算任务,但是在一段时间之后,计算任务只需要4核6G运行内存,这个时候就可以认为目标任务的资源应用场景发生改变。
204、根据第二资源使用特征调整第一资源调度模型中的调度参数以得到第二资源调度模型。
本发明实施例中,第二资源使用特征包括目标任务的资源应用场景发生改变后该目标任务所需要的第二资源的占用时间、第二资源的类型以及第二资源的数量中的至少一种,本发明实施例不作限定。
可以理解的是,当目标任务的资源应用场景发生改变后,第一资源使用特征也随之产生变化,得到第二资源使用特征,此时基于云计算的服务资源的调度装置根据第二资源使用特征去调整第一资源调度模型中的调度参数,得到第二资源调度模型,以便基于云计算的服务资源的调度装置可以根据第二资源调度模型向目标任务分配第二资源。
205、利用第二资源调度模型向目标任务分配第二资源。
其中,第二资源包括处理器资源、网络资源和存储资源等,本发明实施例不作限定。第二资源的类型也就为上述三种类型,第二资源的数量是指资源的大小(如6G运行内存)。第二资源的占用时间是指该目标任务使用该第二资源的时间。需要说明的是,由于在目标任务的运行过程中,对资源的需求发生了变化,目标任务需要第一资源的占用时间也会相应的缩短,在开始将第二资源分配给目标任务之后,目标任务对第一资源的占用时间则结束。
需要说明的是,第一资源和第二资源存在以下几种可能情况:
1、第二资源的类型与第一资源的类型相同,在此情况下,第二资源的数量可以比第一资源的数量多,也可以比第一资源的数量少,而且第二资源的占用时间为第一资源的占用时间中的部分时间,即第二资源的占用时间加上第一资源的实际占用时间等于第一资源的占用时间(第一资源使用特征中的第一资源的占用时间)。
比如说,用户请求携带的目标任务所需要的资源为4核8G运行内存,基于云计算的服务资源的调度装置在一个空闲出4核10G运行内存的物理服务器上创建云服务器并为其分配4核8G运行内存,以完成该用户请求相应的计算任务,但是在一段时间之后,计算任务只需要4核6G运行内存。其中,第一资源为4核8G运行内存,第二资源为4核6G运行内存。
2、第二资源的类型与第一资源的类型部分相同,比如说,用户请求携带的目标任务所需要的资源为100M电信宽带、4核8G运行内存,基于云计算的服务资源的调度装置在一个空闲出4核10G运行内存的物理服务器上创建云服务器并为其分配4核8G运行内存以及配置100M电信宽带,以完成该用户请求相应的计算任务,但是在一段时间之后,计算任务只需要4核6G运行内存,并且不需要网络资源。其中,第一资源为100M电信宽带、4核8G运行内存,第二资源为4核6G运行内存。
可见,实施图2所描述的方法,通过资源使用特征和应用场景,不断优化资源调度模型中的调度参数,能够在目标任务的资源应用场景发生改变时,即根据目标任务对资源的需求变化,不断优化资源调度模型中的调度参数,以在不同资源应用场景下为目标任务分配合适的资源,在确保目标任务正常运行的情况下,避免资源浪费,提高了资源的利用率。
实施例三
请参阅图3,图3是本发明实施例公开的另一种基于云计算的服务资源的调度方法的流程示意图。如图3所示,该基于云计算的服务资源的调度方法可以包括以下步骤:
301、根据增强学习算法建立初始资源调度模型。
可以理解的是,在本发明实施例中,基于云计算的服务资源的调度装置通过收集大量的历史用户请求,根据历史用户请求中任务所需要的资源情况为基础建立资源调度模型,在用户请求发起时,根据当前的资源应用场景采取动作,获得一个结果估计之后,再去改进动作,直到该动作获得的结果估计符合预期要求。
302、根据第一资源使用特征,调整初始资源调度模型中的调度参数以得到第一资源调度模型。
本发明实施例中,第一资源使用特征包括用户请求携带的目标任务所需要的第一资源的占用时间、第一资源的类型以及第一资源的数量中的至少一种,本发明实施例不作限定。
303、将第一资源使用特征、第一资源调度模型以及目标任务的资源应用场景确定为当前存储数据。
304、判断历史数据库中是否存在与当前存储数据相同的第一历史存储数据,如果否,执行步骤305;如果是,执行步骤306。
305、将当前存储数据保存至历史数据库。
可以理解的是,在本发明实施例中,基于云计算的服务资源的调度装置可以从历史数据库中查询是否有跟当前的资源使用特征、资源调度模型以及资源应用场景相同的历史存储数据,如果有,表明该资源应用场景之前已保存,后续如果遇到该资源应用场景可以直接调用相关数据;如果没有,表明该资源应用场景为首次发生,将当前的资源使用特征、资源调度模型以及资源应用场景保存起来,以便后续调用。这样一来,如果后续遇到相同的资源应用场景,直接调取该资源应用场景的相关数据,能够降低了根据资源使用特征调整资源调度模型中的调度参数时的CPU占有率,从而提高资源分配效率。
306、利用第一资源调度模型向目标任务分配第一资源。
作为一种可选的实施方式,在执行步骤306利用第一资源调度模型向目标任务分配第一资源之后,如果目标任务已完成,释放第一资源。实施该可选的实施方式,可以在计算任务完成之后,基于云计算的服务资源调度装置将资源释放,避免长时间占用资源,提高资源利用率。
307、检测目标任务的资源应用场景是否发生改变,如果是,执行步骤308;反之,结束本流程。
308、将发生改变后的目标任务的资源应用场景作为第二资源应用场景,判断历史数据库中历史存储数据是否存在与第二资源应用场景相同的目标历史资源应用场景;如果否,执行步骤309;如果是,执行步骤310。
309、根据第二资源使用特征调整第一资源调度模型中的调度参数以得到第二资源调度模型。
本发明实施例中,第二资源使用特征包括目标任务的资源应用场景发生改变后该目标任务所需要的第二资源的占用时间、第二资源的类型以及第二资源的数量中的至少一种,本发明实施例不作限定。
310、调用目标历史资源应用场景对应的目标资源调度模型作为第二资源调度模型。
其中,目标资源调度模型对应第二资源使用特征。
本发明实施例中,当历史数据库中历史存储数据存在与第二资源应用场景相同的目标历史应用场景时,基于云计算的服务资源的调用装置可以直接调用所保存的相关数据,然后根据该相关数据来分配资源,能够降低了根据资源使用特征调整资源调度模型中的调度参数时的CPU占有率,提高资源分配效率。
311、利用第二资源调度模型向目标任务分配第二资源。
可见,与实施图2所描述的方法相比,实施图3所描述的方法,还能够通过查看历史存储数据库的历史存储数据监控软件的运行情况,以便对增强学习算法的进一步改进。此外,还能够直接调用历史存储数据库中的历史存储数据,降低了根据资源使用特征调整资源调度模型中的调度参数时的中央处理器(Central Processing Unit,CPU)占有率,提高了资源分配效率。
实施例四
请参阅图4,图4是本发明实施例公开的又一种基于云计算的服务资源的调度方法的流程示意图。如图4所示,该基于云计算的服务资源的调度方法可以包括以下步骤:
401、根据增强学习算法建立初始资源调度模型。
402、根据第一资源使用特征,调整初始资源调度模型中的调度参数以得到第一资源调度模型。
本发明实施例中,第一资源使用特征包括用户请求携带的目标任务所需要的第一资源的占用时间、第一资源的类型以及第一资源的数量中的至少一种,本发明实施例不作限定。
403、将第一资源使用特征、第一资源调度模型以及目标任务的资源应用场景确定为当前存储数据。
404、判断历史数据库中是否存在与当前存储数据相同的第一历史存储数据,如果否,执行步骤405;如果是,执行步骤406。
405、将当前存储数据保存至历史数据库。
406、确定集群下的各个物理服务器的待分配资源。
407、以各个物理服务器的待分配资源为依据,利用第一资源调度模型向目标任务分配第一资源。
可以理解的是,集群由许多物理服务器组成,各个物理服务器都包含一定的资源,当用户请求发起时,基于云计算的服务资源的调度装置先确定集群下的各个物理服务器的资源并以各个物理服务器包含的资源为依据,再利用第一资源调度模型将与该用户请求携带的目标任务所需的第一资源相匹配的资源统一起来,然后向该目标任务分配第一资源。
作为一种可选的实施方式,在执行步骤405将当前存储数据保存至历史数据库之后,还可以执行以下步骤:
判断集群下的任一物理服务器是否存在剩余资源;
如果存在剩余资源,判断剩余资源与第一资源是否匹配;
如果剩余资源与第一资源匹配,利用第一资源调度模型将剩余资源作为第一资源分配给目标任务。
需要说明的是,在本发明实施例中,可以只执行上述方式,不执行步骤406-步骤407;或者,可以只执行步骤406-步骤407,不执行上述方式;本发明实施例不作限定。
实施该可选的实施方式,能够在集群下的任一物理服务器存在的剩余资源足以分配给目标任务时,将剩余资源直接分配给目标任务,提高了资源分配效率。
408、检测目标任务的资源应用场景是否发生改变,如果是,执行步骤409;反之,结束本流程。
409、将发生改变后的目标任务的资源应用场景作为第二资源应用场景,判断历史数据库中历史存储数据是否存在与第二资源应用场景相同的目标历史资源应用场景;如果否,执行步骤410;如果是,执行步骤411。
410、根据第二资源使用特征调整第一资源调度模型中的调度参数以得到第二资源调度模型。
本发明实施例中,第二资源使用特征包括目标任务的资源应用场景发生改变后该目标任务所需要的第二资源的占用时间、第二资源的类型以及第二资源的数量中的至少一种,本发明实施例不作限定。
411、调用目标历史资源应用场景对应的目标资源调度模型作为第二资源调度模型。
其中,目标资源调度模型对应第二资源使用特征。
本发明实施例中,当历史数据库中历史存储数据存在与第二资源应用场景相同的目标历史应用场景时,基于云计算的服务资源的调用装置可以直接调用所保存的相关数据,然后根据该相关数据来分配资源,能够降低了根据资源使用特征调整资源调度模型中的调度参数时的CPU占有率,提高资源分配效率。
412、利用第二资源调度模型向目标任务分配第二资源。
413、在目标任务完成之后,释放第二资源。
可以理解的是,在计算任务完成之后,基于云计算的服务资源调度装置可以将资源释放,避免长时间占用资源,提高资源利用率。
可见,与实施图3所描述的方法相比,实施图4所描述的方法,此外,还能够在集群下的任一物理服务器存在的剩余资源足以分配给目标任务时,将剩余资源直接分配给目标任务,进一步提高了资源分配效率。
实施例五
请参阅图5,图5是本发明实施例公开的一种基于云计算的服务资源的调度装置的结构示意图。如图5所示,该基于云计算的服务资源的调度装置可以包括:调整单元501、分配单元502以及检测单元503,其中,
调整单元501,用于根据第一资源使用特征,调整初始资源调度模型中的调度参数以得到第一资源调度模型。
本发明实施例中,第一资源使用特征包括用户请求携带的目标任务所需要的第一资源的占用时间、第一资源的类型以及第一资源的数量中的至少一种,本发明实施例不作限定。
分配单元502,用于利用第一资源调度模型向目标任务分配第一资源。
作为一种可选的实施方式,分配单元502还可以执行以下步骤:
当存在多个用户请求时,分配单元502可以根据请求的时间顺序或请求的资源类型或请求的资源大小先分别确定所有用户请求的优先级,再根据各个用户请求携带的任务所在的资源应用场景下的资源使用特征调整资源调度模型的调度参数,然后根据确定出的优先级,利用资源调度模型分配资源。
实施该可选的实施方式,可以根据用户请求的优先级分配资源,以使优先级高的用户请求优先分配得到资源,提高了资源利用率。
检测单元503,用于检测目标任务的资源应用场景是否发生改变。
调整单元501,还用于当检测单元503检测到目标任务的资源应用场景发生改变时,根据第二资源使用特征调整第一资源调度模型中的调度参数以得到第二资源调度模型。
本发明实施例中,第二资源使用特征包括目标任务的资源应用场景发生改变后该目标任务所需要的第二资源的占用时间、第二资源的类型以及第二资源的数量中的至少一种,本发明实施例不作限定。
分配单元502,还用于利用第二资源调度模型向目标任务分配第二资源。
可见,实施图5所描述的基于云计算的服务资源的调度装置,通过资源使用特征和应用场景,不断优化资源调度模型中的调度参数,能够在目标任务的资源应用场景发生改变时,即根据目标任务对资源的需求变化,不断优化资源调度模型中的调度参数,以在不同资源应用场景下为目标任务分配合适的资源,在确保目标任务正常运行的情况下,避免资源浪费,提高了资源的利用率。
实施例六
请参阅图6,图6是本发明实施例公开的另一种基于云计算的服务资源的调度装置的结构示意图。图6所示的基于云计算的服务资源的调度装置是由图5所示的基于云计算的服务资源的调度装置进行优化得到的。与图5所示的基于云计算的服务资源的调度装置相比较,图6所示的基于云计算的服务资源的调度装置还可以包括:建立单元504、确定单元505、第一判断单元506、保存单元507、第二判断单元508以及调用单元509,其中,
建立单元504,用于在调整单元501根据第一资源使用特征,调整初始资源调度模型中的调度参数以得到第一资源调度模型之前,根据增强学习算法建立初始资源调度模型。
可以理解的是,在本发明实施例中,建立单元504通过收集大量的历史用户请求,根据历史用户请求中任务所需要的资源情况为基础建立资源调度模型,在用户请求发起时,建立单元504会根据当前的资源应用场景采取动作,获得一个结果估计如CPU负载率之后,再去改进动作,直到该动作获得的结果估计符合预期要求。
确定单元505,用于在调整单元501根据第一资源使用特征,调整初始资源调度模型中的调度参数以得到第一资源调度模型之后,将第一资源使用特征、第一资源调度模型以及目标任务的资源应用场景确定为当前存储数据。
第一判断单元506,用于判断历史数据库中是否存在与当前存储数据相同的第一历史存储数据。
保存单元507,用于当第一判断单元506判断历史数据库中不存在与当前存储数据相同的第一历史存储数据时,将当前存储数据保存至历史数据库。
第二判断单元508,用于当检测单元503检测到目标任务的资源应用场景发生改变时,将发生改变后的目标任务的资源应用场景作为第二资源应用场景,判断历史数据库中历史存储数据是否存在与第二资源应用场景相同的目标历史资源应用场景。
调用单元509,用于当第二判断单元508判断历史数据库中历史存储数据存在与第二资源应用场景相同的目标历史资源应用场景时,调用目标历史资源应用场景对应的目标资源调度模型作为第二资源调度模型。
调整单元501,具体用于当检测单元503检测到目标任务的资源应用场景发生改变时,以及第二判断单元508判断历史数据库中历史存储数据不存在与第二资源应用场景相同的目标历史资源应用场景时,根据第二资源使用特征调整第一资源调度模型中的调度参数以得到第二资源调度模型。
其中,目标资源调度模型对应第二资源使用特征。
可见,与实施图5所描述的基于云计算的服务资源的调度装置相比,实施图6所描述的基于云计算的服务资源的调度装置,还能够通过查看历史存储数据库的历史存储数据监控软件的运行情况,以便对增强学习算法的进一步改进。此外,还能够直接调用历史存储数据库中的历史存储数据,降低了根据资源使用特征调整资源调度模型中的调度参数时的CPU占有率,提高了资源分配效率。
实施例七
请参阅图7,图7是本发明实施例公开的又一种基于云计算的服务资源的调度装置的结构示意图。图7所示的基于云计算的服务资源的调度装置是由图6所示的基于云计算的服务资源的调度装置进行优化得到的。与图6所示的基于云计算的服务资源的调度装置相比较,图7所示的基于云计算的服务资源的调度装置还可以包括:
释放单元510,用于在分配单元502利用第二资源调度模型向目标任务分配第二资源之后,当目标任务完成时,释放第二资源。
作为一种可选的实施方式,分配单元502利用第一资源调度模型向目标任务分配第一资源,包括:
确定子单元5021,用于确定集群下的各个物理服务器的待分配资源。
第一分配子单元5022,用于以各个物理服务器的待分配资源为依据,利用第一资源调度模型向目标任务分配第一资源。
作为另一种可选的实施方式,分配单元502利用第一资源调度模型向目标任务分配第一资源,包括:
第一判断子单元5023,用于判断集群下的任一物理服务器是否存在剩余资源。
第二判断子单元5024,用于当第一判断子单元5023判断集群下的任一物理服务器存在剩余资源时,判断剩余资源与第一资源是否匹配。
第二分配子单元5025,用于当第二判断子单元5024判断剩余资源与第一资源匹配时,利用第一资源调度模型将剩余资源作为第一资源分配给目标任务。
实施该可选的实施方式,能够在集群下的任一物理服务器存在的剩余资源足以分配给目标任务时,将剩余资源直接分配给目标任务,提高了资源分配效率。
需要说明的是,基于云计算的服务资源的调度装置的分配单元502可以仅仅包括确定子单元5021和第一分配子单元5022;或者,基于云计算的服务资源的调度装置的分配单元502可以仅仅包括第一判断子单元5023、第二判断子单元5024和第二分配子单元5025。
可见,与实施图6所描述的基于云计算的服务资源的调度装置相比,实施图7所描述的基于云计算的服务资源的调度装置,还能够在集群下的任一物理服务器存在的剩余资源足以分配给目标任务时,将剩余资源直接分配给目标任务,进一步提高了资源分配效率。
本发明还提供一种电子设备,该电子设备包括:
处理器;
存储器,该存储器上存储有计算机可读指令,该计算机可读指令被处理器执行时,实现如前所示的一种基于云计算的服务资源的调度方法。
该电子设备可以是图1所示装置100。
在一示例性实施例中,本发明还提供一种计算机可读存储介质,其上存储有计算机程序,该计算机程序被处理器执行时,实现如前所示的一种基于云计算的服务资源的调度方法。
应当理解的是,本发明并不局限于上面已经描述并在附图中示出的精确结构,并且可以在不脱离其范围执行各种修改和改变。本发明的范围仅由所附的权利要求来限制。

Claims (10)

1.一种基于云计算的服务资源的调度方法,其特征在于,所述方法包括:
根据第一资源使用特征,调整初始资源调度模型中的调度参数以得到第一资源调度模型;所述第一资源使用特征包括用户请求携带的目标任务所需要的第一资源的占用时间、所述第一资源的类型以及所述第一资源的数量中的至少一种;
利用所述第一资源调度模型向所述目标任务分配所述第一资源;
检测所述目标任务的资源应用场景是否发生改变;
当检测到所述目标任务的资源应用场景发生改变时,根据第二资源使用特征调整所述第一资源调度模型中的调度参数以得到第二资源调度模型;所述第二资源使用特征包括所述目标任务的资源应用场景发生改变后所述目标任务所需要的第二资源的占用时间、所述第二资源的类型以及所述第二资源的数量中的至少一种;
利用所述第二资源调度模型向所述目标任务分配所述第二资源。
2.根据权利要求1所述的方法,其特征在于,在所述根据第一资源使用特征,调整初始资源调度模型中的调度参数以得到第一资源调度模型之后,所述方法还包括:
将所述第一资源使用特征、所述第一资源调度模型以及所述目标任务的资源应用场景确定为当前存储数据;
判断历史数据库中是否存在与所述当前存储数据相同的第一历史存储数据;
如果不存在所述第一历史存储数据,将所述当前存储数据保存至所述历史数据库。
3.根据权利要求2所述的方法,其特征在于,所述检测到所述目标任务的资源应用场景发生改变之后,以及所述根据第二资源使用特征调整所述第一资源调度模型中的调度参数以得到第二资源调度模型之前,所述方法还包括:
将发生改变后的所述目标任务的资源应用场景作为第二资源应用场景,判断所述历史数据库中历史存储数据是否存在与所述第二资源应用场景相同的目标历史资源应用场景;
如果所述历史数据库中历史存储数据存在与所述第二资源应用场景相同的目标历史资源应用场景,调用所述目标历史资源应用场景对应的目标资源调度模型作为所述第二资源调度模型,所述目标资源调度模型对应所述第二资源使用特征。
4.根据权利要求1所述的方法,其特征在于,在所述根据第一资源使用特征,调整初始资源调度模型中的调度参数以得到第一资源调度模型之前,所述方法还包括:
根据增强学习算法建立所述初始资源调度模型。
5.根据权利要求1所述的方法,其特征在于,所述利用所述第一资源调度模型向所述目标任务分配所述第一资源,包括:
确定集群下的各个物理服务器的待分配资源;
以所述各个物理服务器的待分配资源为依据,利用所述第一资源调度模型向所述目标任务分配所述第一资源。
6.根据权利要求1所述的方法,其特征在于,所述利用所述第一资源调度模型向所述目标任务分配所述第一资源,包括:
判断集群下的任一物理服务器是否存在剩余资源;
如果存在所述剩余资源,判断所述剩余资源与所述第一资源是否匹配;
如果所述剩余资源与所述第一资源匹配,利用所述第一资源调度模型将所述剩余资源作为所述第一资源分配给所述目标任务。
7.根据权利要求1任一项所述的方法,其特征在于,在所述利用所述第二资源调度模型向所述目标任务分配所述第二资源之后,所述方法还包括:
在所述目标任务完成之后,释放所述第二资源。
8.一种基于云计算的服务资源的调度装置,其特征在于,所述装置包括:
调整单元,用于根据第一资源使用特征,调整初始资源调度模型中的调度参数以得到第一资源调度模型;所述第一资源使用特征包括用户请求携带的目标任务所需要的第一资源的占用时间、所述第一资源的类型以及所述第一资源的数量中的至少一种;
分配单元,用于利用所述第一资源调度模型向所述目标任务分配所述第一资源;
检测单元,用于检测所述目标任务的资源应用场景是否发生改变;
所述调整单元,还用于当检测单元检测到所述目标任务的资源应用场景发生改变时,根据第二资源使用特征调整所述第一资源调度模型中的调度参数以得到第二资源调度模型;所述第二资源使用特征包括所述目标任务的资源应用场景发生改变后所述目标任务所需要的第二资源的占用时间、所述第二资源的类型以及所述第二资源的数量中的至少一种;
所述分配单元,还用于利用所述第二资源调度模型向所述目标任务分配所述第二资源。
9.一种电子设备,包括存储器和处理器,所述存储器存储有计算机程序,其特征在于,所述处理器执行所述计算机程序时实现权利要求1~7中任一项所述的基于云计算的服务资源调度方法的步骤。
10.一种计算机可读存储介质,其特征在于,其存储计算机程序,所述计算机程序使得计算机执行权利要求1~7任一项所述的基于云计算的服务资源调度方法。
CN201910019212.7A 2019-01-09 2019-01-09 基于云计算的服务资源的调度方法及装置、电子设备 Active CN109857551B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910019212.7A CN109857551B (zh) 2019-01-09 2019-01-09 基于云计算的服务资源的调度方法及装置、电子设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910019212.7A CN109857551B (zh) 2019-01-09 2019-01-09 基于云计算的服务资源的调度方法及装置、电子设备

Publications (2)

Publication Number Publication Date
CN109857551A true CN109857551A (zh) 2019-06-07
CN109857551B CN109857551B (zh) 2023-12-19

Family

ID=66894286

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910019212.7A Active CN109857551B (zh) 2019-01-09 2019-01-09 基于云计算的服务资源的调度方法及装置、电子设备

Country Status (1)

Country Link
CN (1) CN109857551B (zh)

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110659133A (zh) * 2019-09-02 2020-01-07 中国平安人寿保险股份有限公司 一种资源分配方法及分配装置、存储介质、电子设备
CN110673950A (zh) * 2019-08-23 2020-01-10 广东大杉网络科技有限公司 云计算任务分配方法、装置、设备及存储介质
CN111160525A (zh) * 2019-12-17 2020-05-15 天津大学 一种边缘计算环境下基于无人机群的任务卸载智能决策方法
CN111176852A (zh) * 2020-01-15 2020-05-19 上海依图网络科技有限公司 资源分配方法、装置、芯片及计算机可读存储介质
CN111176836A (zh) * 2019-12-09 2020-05-19 中国联合网络通信集团有限公司 一种云渲染资源调度方法及装置
CN111274012A (zh) * 2020-01-16 2020-06-12 珠海格力电器股份有限公司 服务调度方法、装置、电子设备及存储介质
CN113032112A (zh) * 2019-12-25 2021-06-25 上海商汤智能科技有限公司 资源调度方法及装置、电子设备和存储介质
CN113592992A (zh) * 2021-08-09 2021-11-02 郑州捷安高科股份有限公司 一种轨道交通模拟驾驶的渲染方法及装置
CN113765703A (zh) * 2021-08-09 2021-12-07 中标慧安信息技术股份有限公司 智能网关的数据传输切换控制方法和系统
CN114327839A (zh) * 2022-03-11 2022-04-12 阿里巴巴达摩院(杭州)科技有限公司 任务优化方法以及系统

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20170177685A1 (en) * 2015-12-18 2017-06-22 Sap Se Smart elastic scaling based on application scenarios
CN108933834A (zh) * 2018-07-18 2018-12-04 郑州云海信息技术有限公司 一种调度方法及调度装置

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20170177685A1 (en) * 2015-12-18 2017-06-22 Sap Se Smart elastic scaling based on application scenarios
CN108933834A (zh) * 2018-07-18 2018-12-04 郑州云海信息技术有限公司 一种调度方法及调度装置

Cited By (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110673950A (zh) * 2019-08-23 2020-01-10 广东大杉网络科技有限公司 云计算任务分配方法、装置、设备及存储介质
CN110659133A (zh) * 2019-09-02 2020-01-07 中国平安人寿保险股份有限公司 一种资源分配方法及分配装置、存储介质、电子设备
CN110659133B (zh) * 2019-09-02 2024-05-14 中国平安人寿保险股份有限公司 一种资源分配方法及分配装置、存储介质、电子设备
CN111176836B (zh) * 2019-12-09 2023-04-28 中国联合网络通信集团有限公司 一种云渲染资源调度方法及装置
CN111176836A (zh) * 2019-12-09 2020-05-19 中国联合网络通信集团有限公司 一种云渲染资源调度方法及装置
CN111160525A (zh) * 2019-12-17 2020-05-15 天津大学 一种边缘计算环境下基于无人机群的任务卸载智能决策方法
CN113032112A (zh) * 2019-12-25 2021-06-25 上海商汤智能科技有限公司 资源调度方法及装置、电子设备和存储介质
CN111176852A (zh) * 2020-01-15 2020-05-19 上海依图网络科技有限公司 资源分配方法、装置、芯片及计算机可读存储介质
CN111176852B (zh) * 2020-01-15 2024-04-16 上海依图网络科技有限公司 资源分配方法、装置、芯片及计算机可读存储介质
CN111274012B (zh) * 2020-01-16 2022-07-12 珠海格力电器股份有限公司 服务调度方法、装置、电子设备及存储介质
CN111274012A (zh) * 2020-01-16 2020-06-12 珠海格力电器股份有限公司 服务调度方法、装置、电子设备及存储介质
CN113765703A (zh) * 2021-08-09 2021-12-07 中标慧安信息技术股份有限公司 智能网关的数据传输切换控制方法和系统
CN113592992A (zh) * 2021-08-09 2021-11-02 郑州捷安高科股份有限公司 一种轨道交通模拟驾驶的渲染方法及装置
CN114327839A (zh) * 2022-03-11 2022-04-12 阿里巴巴达摩院(杭州)科技有限公司 任务优化方法以及系统
CN114327839B (zh) * 2022-03-11 2022-08-16 阿里巴巴达摩院(杭州)科技有限公司 任务优化方法以及系统

Also Published As

Publication number Publication date
CN109857551B (zh) 2023-12-19

Similar Documents

Publication Publication Date Title
CN109857551A (zh) 基于云计算的服务资源的调度方法及装置、电子设备
CN105190555B (zh) 集中式任务调度
US7747834B2 (en) Memory manager for an embedded system
CN110555665B (zh) 生产计划生成方法以及装置
CN110471763B (zh) 基于共享对象池的调度方法、系统、介质及电子设备
CN110162384B (zh) 基于Redis分布式锁的超时时间动态调整方法及系统
CN103916546A (zh) 管理移动设备的电池能量的系统和方法
CN108205451A (zh) 应用管理方法、装置、存储介质及电子设备
CN109408205A (zh) 基于hadoop集群的任务调度方法和装置
EP3698247A1 (en) An apparatus and method for providing a performance based packet scheduler
CN109634915A (zh) 文件部署方法、云服务器、系统及存储介质
CN109992393A (zh) 应用处理方法和装置、电子设备、计算机可读存储介质
CN104813718B (zh) 一种向无线站传递数据的方法及装置
CN109992523A (zh) 内存处理方法和装置、电子设备、计算机可读存储介质
CN110018902A (zh) 内存处理方法和装置、电子设备、计算机可读存储介质
CN111553699B (zh) 一种资源调度方法及装置
CN109992402A (zh) 内存处理方法和装置、电子设备、计算机可读存储介质
CN110018900A (zh) 内存处理方法和装置、电子设备、计算机可读存储介质
CN110659133A (zh) 一种资源分配方法及分配装置、存储介质、电子设备
CN107908769A (zh) 违章数据查询方法、装置、系统、设备及可读存储介质
CN110162464A (zh) Mcok测试方法及系统、电子设备及可读存储介质
CN107239344A (zh) 分布式分配方法及系统
CN109544071A (zh) 物料管控方法、系统、电子设备及计算机可读存储介质
CN111052083B (zh) 用于在启动期间管理服务的调度的方法和装置
CN109753353A (zh) 虚拟机资源分配方法、装置及电子设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant