CN114237863A - 云计算任务的调度方法、装置以及存储介质 - Google Patents
云计算任务的调度方法、装置以及存储介质 Download PDFInfo
- Publication number
- CN114237863A CN114237863A CN202111249000.1A CN202111249000A CN114237863A CN 114237863 A CN114237863 A CN 114237863A CN 202111249000 A CN202111249000 A CN 202111249000A CN 114237863 A CN114237863 A CN 114237863A
- Authority
- CN
- China
- Prior art keywords
- cloud
- cloud computing
- resource
- resources
- task
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/46—Multiprogramming arrangements
- G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
- G06F9/5005—Allocation of resources, e.g. of the central processing unit [CPU] to service a request
- G06F9/5027—Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resource being a machine, e.g. CPUs, Servers, Terminals
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2209/00—Indexing scheme relating to G06F9/00
- G06F2209/50—Indexing scheme relating to G06F9/50
- G06F2209/5011—Pool
Landscapes
- Engineering & Computer Science (AREA)
- Software Systems (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
本公开提供了一种云计算任务的调度方法、装置以及存储介质,涉及云计算技术领域,其中的配置方法包括:在云计算资源池中确定满足云计算任务的预设约束条件的云资源,作为云计算任务的可选云资源;选取可选云资源数量最少的云计算任务,作为目标云计算任务;获取与目标云计算任务相对应的全部可选云资源,基于全部可选云资源生成可选云资源集合;基于预设的预分配规则对可选云资源集合中的各个候选云资源进行预调度处理,在可选云资源集合中选取单位时间费用最低的云资源作为目标云资源。本公开的方法、装置以及介质,可以实现任务和资源的最佳匹配,最大程度上避免任务调度失败,保证应用的服务质量;可以最小化用户的成本,提高用户的使用体验。
Description
技术领域
本公开涉及云计算技术领域,尤其涉及一种云计算任务的调度方法、装置以及存储介质。
背景技术
云计算通过虚拟化技术将大量物理机器的计算、存储和网络资源整合起来,实现了大规模计算的架构。在混合云环境中,为了保证应用的性能,对任务的执行环境也提出了相应的需求,选择适合于任务的资源类型和大小需求的云资源可以保证任务的高质量执行。现有的跨云任务调度策略通常只考虑了任务的安全需求,把敏感任务放在私有云执行,非敏感型任务调度到公有云执行。现有的跨云任务调度策略忽略了任务的其他更细粒度的资源需求,如带宽、内存等,导致出现进行跨云调度时任务可选云资源的变少问题,使得这类任务无法及时调度执行,应用响应时间变长,服务质量下降。
发明内容
为了解决上述技术问题,提出了本公开。本公开的实施例提供了一种云计算任务的调度方法、装置以及存储介质。
根据本公开实施例的第一方面,提供一种云计算任务的调度方法,包括:步骤一,在云计算资源池中确定满足云计算任务的预设约束条件的云资源,作为云计算任务的可选云资源;其中,所述云计算资源池中的云资源包括:公有云资源、私有云资源和混合云资源;步骤二,选取可选云资源数量最少的云计算任务,作为目标云计算任务;步骤三,获取与所述目标云计算任务相对应的全部可选云资源,基于所述全部可选云资源生成可选云资源集合;步骤四,基于预设的预分配规则对所述可选云资源集合中的各个候选云资源进行预调度处理,用以确定与所述各个候选云资源相对应的可执行云计算任务集合;其中,所述可执行云计算任务集合包含所述目标云计算任务以及其他云计算任务,或仅包含所述目标云计算任务;步骤五,在所述可选云资源集合中选取单位时间费用最低的云资源作为目标云资源,将与所述目标云资源对应的可执行云计算任务集合中的全部云计算任务分配给所述目标云资源进行处理。
可选地,步骤六,将所述目标云计算任务以及分配给所述目标云资源的其他云计算任务删除,并将所述目标云资源设置为不可选状态;步骤七,重复执行步骤二至步骤六,直到全部云计算任务都被分配给对应的云资源。
可选地,所述确定满足云计算任务的预设约束条件的云资源,作为云计算任务的可选云资源包括:在云计算资源池中确定满足或不满足云计算任务集合中的云计算任务的所述预设约束条件的云资源,作为所述云计算任务的可选云资源或不可选云资源;所述选取可选云资源数量最少的云计算任务,作为目标云计算任务包括:建立所述云计算任务与所述云资源之间的关系矩阵,用于表征所述云计算任务与可选云资源和不可选云资源的对应关系;根据所述关系矩阵选取可选云资源数量最少的云计算任务,作为所述目标云计算任务。
可选地,所述将所述目标云计算任务以及分配给所述目标云资源的其他云计算任务删除,并将所述目标云资源设置为不可选状态包括:将所述关系矩阵中与所述目标云计算任务以及分配给所述目标云资源的其他云计算任务对应的云资源元素值设置为0,并将所述关系矩阵中与分配给所述目标云资源的云计算任务对应的任务元素值设置为0。
可选地,所述基于预设的预分配规则对所述可选云资源集合中的各个候选云资源进行预调度处理,用以确定与所述各个候选云资源相对应的可执行云计算任务集合包括:按照对应的可选云资源数量由少到多的顺序,依次将云计算任务加入所述可执行云计算任务集合;判断所述可执行云计算任务集合中的全部云计算任务的总执行时间是否超过对应的候选云资源的可用时间;如果是,则在所述可执行云计算任务集合中保留当前加入的云计算任务,如果否,则在所述可执行云计算任务集合中移除当前加入的云计算任务。
可选地,所述在所述可选云资源集合中选取单位时间费用最低的云资源作为目标云资源包括:确定所述可选云资源集合中的各个候选云资源的单位时间费用;其中,所述单位时间费用为对应的可执行云计算任务集合中的全部云计算任务的总费用和总执行时间的比值;将单位时间费用最低的候选云资源作为所述目标云资源。
可选地,所述目标云资源包括:公有云资源、私有云资源或混合云资源中的至少一种资源;所述预设约束条件包括:资源约束条件、安全等级约束条件;其中,所述资源约束条件包括:云资源的可用资源的最小值满足云计算任务的对应资源需求,并且云计算任务只能调度至一个云资源执行;所述安全等级约束条件包括:包含敏感数据的云计算任务在安全级别高于预设阈值的云资源上执行、其他云计算任务在安全等级高于或等于其他云计算任务的安全等级的云资源上执行。
根据本公开实施例的第二方面,提供一种云计算任务的调度装置,包括:可选资源确定模块,用于在云计算资源池中确定满足云计算任务的预设约束条件的云资源,作为云计算任务的可选云资源;其中,所述云计算资源池中的云资源包括:公有云资源、私有云资源和混合云资源;目标任务选取模块,用于选取可选云资源数量最少的云计算任务,作为目标云计算任务;候选资源选取模块,用于获取与所述目标云计算任务相对应的全部可选云资源,基于所述全部可选云资源生成可选云资源集合;预调度处理模块,用于基于预设的预分配规则对所述可选云资源集合中的各个候选云资源进行预调度处理,用以确定与所述各个候选云资源相对应的可执行云计算任务集合;其中,所述可执行云计算任务集合包含所述目标云计算任务以及其他云计算任务,或仅包含所述目标云计算任务;目标资源处理模块,用于在所述可选云资源集合中选取单位时间费用最低的云资源作为目标云资源,将与所述目标云资源对应的可执行云计算任务集合中的全部云计算任务分配给所述目标云资源进行处理。
可选地,任务资源删除模块,用于将所述目标云计算任务以及分配给所述目标云资源的其他云计算任务删除,并将所述目标云资源设置为不可选状态;循环执行模块,用于重复执行所述目标任务选取模块、所述候选资源选取模块、所述预调度处理模块、所述目标资源处理模块和所述任务资源删除模块,直到全部云计算任务都被分配给对应的云资源。
可选地,所述可选资源确定模块,用于在云计算资源池中确定满足或不满足云计算任务集合中的云计算任务的所述预设约束条件的云资源,作为所述云计算任务的可选云资源或不可选云资源。所述目标任务选取模块,用于建立所述云计算任务与所述云资源之间的关系矩阵,用于表征所述云计算任务与可选云资源和不可选云资源的对应关系;根据所述关系矩阵选取可选云资源数量最少的云计算任务,作为所述目标云计算任务。
可选地,所述任务资源删除模块,用于将所述关系矩阵中与所述目标云计算任务以及分配给所述目标云资源的其他云计算任务对应的云资源元素值设置为0,并将所述关系矩阵中与分配给所述目标云资源的云计算任务对应的任务元素值设置为0。
可选地,所述预调度处理模块,用于按照对应的可选云资源数量由少到多的顺序,依次将云计算任务加入所述可执行云计算任务集合;判断所述可执行云计算任务集合中的全部云计算任务的总执行时间是否超过对应的候选云资源的可用时间;如果是,则在所述可执行云计算任务集合中保留当前加入的云计算任务,如果否,则在所述可执行云计算任务集合中移除当前加入的云计算任务。
可选地,所述目标资源处理模块,用于确定所述可选云资源集合中的各个候选云资源的单位时间费用;其中,所述单位时间费用为对应的可执行云计算任务集合中的全部云计算任务的总费用和总执行时间的比值;将单位时间费用最低的候选云资源作为所述目标云资源。
可选地,所述目标云资源包括:公有云资源、私有云资源或混合云资源中的至少一种资源;所述预设约束条件包括:资源约束条件、安全等级约束条件;其中,所述资源约束条件包括:云资源的可用资源的最小值满足云计算任务的对应资源需求,并且云计算任务只能调度至一个云资源执行;所述安全等级约束条件包括:包含敏感数据的云计算任务在安全级别高于预设阈值的云资源上执行、其他云计算任务在安全等级高于或等于其他云计算任务的安全等级的云资源上执行。
根据本公开实施例的第三方面,提供一种云计算任务的调度装置,包括:处理器;用于存储所述处理器可执行指令的存储器;所述处理器,用于从所述存储器中读取所述可执行指令,并执行所述指令以实现如上所述的方法。
根据本公开实施例的第四方面,提供一种计算机可读存储介质,所述存储介质存储有计算机程序,所述计算机程序用于执行上述的方法。
基于本公开上述实施例提供的云计算任务的调度方法、装置以及存储介质,通过综合考虑任务调度资源需求的多样性和云资源的异构性,可以实现任务和资源的最佳匹配;通过兼顾任务调度的难易性,对可选云资源少的任务优先调度,可以最大程度上避免任务调度失败,保证应用的服务质量;在调度过程中优先选择单位时间费用最低的可选云资源作为任务的目标云资源,可以最小化用户的成本。
下面通过附图和实施例,对本公开的技术方案做进一步的详细描述。
附图说明
通过结合附图对本公开实施例进行更详细的描述,本公开的上述以及其他目的、特征以及优势将变得更加明显。附图用来提供对本公开实施例的进一步的理解,并且构成说明书的一部分,与本公开实施例一起用于解释本公开,并不构成对本公开的限制。在附图中,相同的参考标号通常代表相同部件或步骤。
图1为本公开的云计算任务的调度方法的一个实施例的流程示意图;
图2为本公开的云计算任务的调度方法的一个实施例中的确定可执行云计算任务集合的流程示意图;
图3为本公开的云计算任务的调度方法的另一个实施例的流程示意图;
图4为本公开的云计算任务的调度装置的一个实施例的示意图;
图5为本公开的云计算任务的调度装置的另一个实施例的示意图。
具体实施方式
下面将参考附图详细地描述根据本公开的示例实施例。显然,所描述的实施例仅仅是本公开的一部分实施例,而不是本公开的全部实施例,应理解,本公开不受这里描述的示例实施例的限制。
应注意到:除非另外具体说明,否则在这些实施例中阐述的部件和步骤的相对布置、数字表达式和数值不限制本公开的范围。
本领域技术人员可以理解,本公开实施例中的“第一”、“第二”等术语仅用于区别不同步骤、设备或模块等,既不代表任何特定技术含义,也不表示它们之间的必然逻辑顺序。
还应理解,在本公开实施例中,“多个”可以指两个或者两个以上,“至少一个”可以指一个、两个或两个以上。
还应理解,对于本公开实施例中提及的任一部件、数据或结构,在没有明确限定或者在前后文给出相反启示的情况下,一般可以理解为一个或多个。
另外,本公开中术语“和/或”,仅是一种描述关联对象的关联关系,表示可以存在三种关系,如A和/或B,可以表示:单独存在A,同时存在A和B,单独存在B这三种情况。另外,本公开中字符“/”,一般表示前后关联对象是一种“或”的关系。
还应理解,本公开对各个实施例的描述着重强调各个实施例之间的不同之处,其相同或相似之处可以相互参考,为了简洁,不再一一赘述。
同时,应当明白,为了便于描述,附图中所示出的各个部分的尺寸并不是按照实际的比例关系绘制的。
以下对至少一个示例性实施例的描述实际上仅仅是说明性的,决不作为对本公开及其应用或使用的任何限制。
对于相关领域普通技术人员已知的技术、方法和设备可能不作详细讨论,但在适当情况下,所述技术、方法和设备应当被视为说明书的一部分。
应注意到:相似的标号和字母在下面的附图中表示类似项,因此,一旦某一项在一个附图中被定义,则在随后的附图中不需要对其进行进一步讨论。
本公开的实施例可以应用于终端设备、计算机系统、服务器等电子设备,其可与众多其它通用或者专用计算系统环境或配置一起操作。适于与终端设备、计算机系统或者服务器等电子设备一起使用的众所周知的终端设备、计算系统、环境和/或配置的例子包括但不限于:个人计算机系统、服务器计算机系统、瘦客户机、厚客户机、手持或膝上设备、基于微处理器的系统、机顶盒、可编程消费电子产品、网络个人电脑、小型计算机系统、大型计算机系统和包括上述任何系统的分布式云计算技术环境等等。
终端设备、计算机系统、服务器等电子设备可以在由计算机系统执行的计算机系统可执行指令(诸如程序模块)的一般语境下描述。通常,程序模块可以包括例程、程序、目标程序、组件、逻辑、数据结构等等,它们执行特定的任务或者实现特定的抽象数据类型。计算机系统/服务器可以在分布式云计算环境中实施。在分布式云计算环境中,任务可以是由通过通信网络链接的远程处理设备执行的。在分布式云计算环境中,程序模块可以位于包括存储设备的本地或远程计算系统存储介质上。
示例性方法
根据云计算的运营方式,云计算可以分为私有云、公有云。私有云是企业使用自己的IT基础设施构建的云服务平台,具有安全可靠、构建以及维护的成本比较高的特点。公有云是由第三方服务提供商以租赁的方式提供给使用方使用的云,具有灵活性、可扩展性和按需服务费的特点。
由于私有云的构建成本和维护成本往往比较高,企业在遇到大规模计算任务时会同时考虑私有云和公有云资源,在满足任务的安全等级和其他约束条件下,将任务调度到合适的云资源上执行,最小化企业的成本。这种私有云和公有云共存的环境即为混合云。
跨云调度是指在混合云环境中实现任务的调度。虽然跨云调度应用已经非常广泛,但用户对于云计算资源需求越来越多样化,在混合云中进行合理的资源管理和高效的任务调度仍存在着许多挑战。在混合云环境中,有许多的云计算资源,这些资源由许多不同的企业提供。由于每个企业所使用的硬件资源不同,所以混合云中资源存在异构性。这种异构性体现在这些云资源提供的计算资源(CPU、GPU、内存、网络等)类型和量的大小存在差异。
为了保证应用的性能,对任务的执行环境也提出了相应的需求,选择适合于任务的资源类型和大小需求的云资源可以保证任务的高质量执行。因为云服务提供者通常只在自己业务需求小,有空闲的云计算资源的时候将云资源共享出去,不同的企业提供的云计算资源的可用时间不同,用户在任务进行任务调度的时候需要考虑任务执行时间和资源可用时间之间的关系。最后,对于用户而言,云计算资源有着不同的安全级别,例如,私有云往往有着最高的安全级别,而公有云的安全等级则比较为低,用户要根据自身任务需求选择满足要求的云资源进行任务调度。
现有的跨云任务调度策略忽略了任务的其他更细粒度的资源需求,如带宽、内存等,导致出现进行跨云调度时任务可选云资源的变少问题,由于忽略了对这类任务的优先调度,导致这类任务无法及时调度执行,应用响应时间变长,服务质量下降。本公开的云计算任务的调度方法综合考虑了任务的多种需求,实现用户多任务的顺利调度,同时可以最小化用户成本。
图1为本公开的云计算任务的调度方法的一个实施例的流程示意图,如图1 所示的方法包括步骤:S101-S107。下面对各步骤分别进行说明。
S101,确定满足云计算任务的预设约束条件的云资源,作为云计算任务的可选云资源。
在云计算资源池中确定满足云计算任务的预设约束条件的云资源,作为云计算任务的可选云资源;其中,云计算资源池中的云资源包括:公有云资源、私有云资源或混合云资源等。公有云资源、私有云资源或混合云资源可以为设置在公有云、私有云或混合云内的主机、服务器等。
S102,选取可选云资源数量最少的云计算任务,作为目标云计算任务。
S103,获取与目标云计算任务相对应的全部可选云资源,基于全部可选云资源生成可选云资源集合。
S104,基于预设的预分配规则对可选云资源集合中的各个候选云资源进行预调度处理,用以确定与各个候选云资源相对应的可执行云计算任务集合;其中,可执行云计算任务集合包含目标云计算任务以及其他云计算任务,或仅包含目标云计算任务。
预设约束条件包括资源约束条件、安全等级约束条件等。资源约束条件包括:云资源的可用资源的最小值满足云计算任务的对应资源需求,并且云计算任务只能调度至一个云资源执行。安全等级约束条件包括:包含敏感数据的云计算任务在安全级别高于预设阈值的云资源上执行、其他云计算任务在安全等级高于或等于其他云计算任务的安全等级的云资源上执行。
S105,在可选云资源集合中选取单位时间费用最低的云资源作为目标云资源,将与目标云资源对应的可执行云计算任务集合中的全部云计算任务分配给目标云资源进行处理。
S106,将目标云计算任务以及分配给目标云资源的其他云计算任务删除,并将目标云资源设置为不可选状态。目标云资源包括公有云资源、私有云资源或混合云资源中的至少一种资源。
S107,重复执行步骤S102至步骤六,直到全部云计算任务都被分配给对应的云资源。
在一个实施例中,企业利用自身的基础设施构建了云服务平台为自己提供服务,同时在业务需求小的时候将空闲资源以服务的形式出租,这些空闲云计算资源构成了用户可调度的云计算资源池。S={s1,s2,s3,...,sn}表示云计算资源的集合, n是云计算资源的数量。云资源si具有资源类型及其大小、可用时间、费用、安全度等属性。当同一个企业有多个云资源可以对外提供服务的时看作是不同的云资源,私有云是资源池里安全等级最高的特殊云资源。
用户有多个相互独立且不可继续分割的任务需要调度到云服务器执行,T={t1,t2,t3,...,tm}表示任务集合,m表示任务数量。任务调度到服务器的总费用用φ可表示,φ等于所有已占用的云资源的总费用:
其中,i表示云计算资源si;αi表示是否选择云资源si进行任务调度,αi=1 表示选择了si进行任务调度,否则没有;βi表示云资源si的费用。
由于不同的云计算资源有不同的属性,不同的任务计算需求也不同,所以将用户的计算任务调度到云服务器上执行的时候需要考虑以下限制。
资源限制:每个企业构建云计算集群时所使用的硬件不同,使得云资源间存在着异构性,云资源提供的计算资源(CPU、GPU、内存、网络等等)类型和量的大小存在差异,并且由于云计算集群中存在着不同的计算任务,这些任务在执行的时候使用CPU、GPU、网络等资源都是动态变化的。
为了确保任务的顺利执行且在云资源可用时间结束前完成任务,取云资源可用时间内预测的可用资源的最小值作为可以用资源大小。用ρ表示云计算资源的类型,用p表示资源类型的数量,所以云计算资源si中资源ρ的大小可以表示为ri ρ,ρ∈{1,2,3,...,p},i∈{1,2,3...,n},任务tj的资源需求可以表示为
假设任务tj调度到云计算资源si上执行,则si上的资源类型及其大小需要大于等于任务tj的需求大小。用xi,j∈{0,1}表示任务tj是否调度到云计算资源si上执行,其中,xi,j=0表示任务tj调度到了云计算资源si上执行。资源限制可以形式化表示为:
时间约束:企业通常只在自身业务需求小,存在云计算资源空闲的时候共享自己的云资源,所以不同的云计算资源的可用时间不同,用户在任务进行任务调度的时候需要考虑任务计算量和资源可用时间之间的关系,选择足够完成计算任务的云资源进行任务调度。
使用hi表示云资源si的可用时间,ηi,j表示云资源si执行任务tj的速率,wj表示任务tj的计算量,多个任务可以调度到同一云资源上执行,所以进行任务调度的时候应该满足如下时间约束:
安全等级约束:对于云计算资源有着不同的安全级别,私有云有最高的安全等级,可以满足用户执行安全等级要求最高的任务。用户希望可以将包含敏感数据的任务调度到安全级别高的云资源上执行,其他任务调度到不低于其任务安全等级要求的云资源上执行。使用ui表示云资源si的安全等级,vj表示任务 tj的安全等级需求,进行任务调度的时候应该满足如下安全等级约束:
xi,jui≥vj,i∈{1,2,3,...,n},j∈{1,2,3,...m} (1-4)。
跨云的多任务调度可以形式化描述为:minφ;
xi,jui≥vj,i∈{1,2,3,...,n},j∈{1,2,3,...m}(1-7);
其中,公式1-5为资源约束,公式1-6是时间约束,公式1-7是安全等级约束,约束1-8表示一项任务只能调度到一个云资源执行,避免重复执行。
在一个实施例中,在云计算资源池中确定满足或不满足云计算任务集合中的云计算任务的预设约束条件的云资源,作为云计算任务的可选云资源或不可选云资源。例如,获取云计算资源的集合S={s1,s2,s3,...,sn}和任务集合T={t1,t2,t3,...,tm},对于T中的每个任务,从云计算资源池S中选出所有满足其除时间之外的所有约束条件的云资源,作为该任务的可选资源,并且该任务也是可选云资源的候选任务。
建立云计算任务与云资源之间的关系矩阵,用于表征云计算任务与可选云资源和不可选云资源的对应关系。根据关系矩阵选取可选云资源数量最少的云计算任务,作为目标云计算任务。例如,根据云计算任务和云资源间的关系,构建二维关系矩阵Z。在矩阵Z中,用zi,j=1表示si为tj的可选资源,zi,j=0表示si为tj的不可选资源,矩阵Z如下:
图2为本公开的云计算任务的调度方法的一个实施例中的确定可执行云计算任务集合的流程示意图,如图2所示的方法包括步骤:S201-S202。下面对各步骤分别进行说明.
S201,按照对应的可选云资源数量由少到多的顺序,依次将云计算任务加入可执行云计算任务集合。
S202,判断可执行云计算任务集合中的全部云计算任务的总执行时间是否超过对应的候选云资源的可用时间;如果是,则在可执行云计算任务集合中保留当前加入的云计算任务,如果否,则在可执行云计算任务集合中移除当前加入的云计算任务。
确定可选云资源集合中的各个候选云资源的单位时间费用;其中,单位时间费用为对应的可执行云计算任务集合中的全部云计算任务的总费用和总执行时间的比值。将单位时间费用最低的候选云资源作为目标云资源。
例如,在矩阵Z中查找任务tθ的可选云资源集合,用R表示。对R中的每个云资源进行任务预调度,以获取云资源sr∈R的可执行任务集合(可执行云计算任务集合)Wr。对云资源sr∈R,按可选云资源由少到多的顺序遍历sr中的候选任务。
对于sr的候选任务tλ,判断将tλ加入到sr的可执行集合Wr中时,Wr中任务的总执行时间是否超过sr的可用时间,如果不超过则将任务tλ加入Wr,否则,不将该任务加入到Wr。
在一个实施例中,将关系矩阵中与目标云计算任务以及分配给目标云资源的其他云计算任务对应的云资源元素值设置为0,并将关系矩阵中与分配给目标云资源的云计算任务对应的任务元素值设置为0。例如,将获得调度的任务从任务集合T中删除,更新矩阵Z。将已获得调度的任务从所有云资源的候选任务中移除, 即在矩阵Z中,Wε中的任务对应的列向量中的元素的值置为0。将目标云资源sε设置为对所有任务不可选,即在矩阵Z中,sε对应的行向量中的元素值都置为0。
图3为本公开的云计算任务的调度方法的另一个实施例的流程示意图,如图 3所示的方法包括步骤:S301-S309。下面对各步骤分别进行说明.
S301,获取云计算资源的集合S={s1,s2,s3,s4,s5}和任务集合 T={t1,t2,t3,t4,t5,t6,t7,t8,t9,t10}。
S302,遍历集合T中的所有任务,对于每个任务选出满足其除时间之外的所有约束条件的云资源,作为该任务的可选云资源。
S303,根据上述任务和云资源间的关系构建二维关系矩阵Z。
在矩阵Z中,用zi,j=1表示si为tj的可选资源,zi,j=0表示si为tj的不可选资源。资源S和任务T的关系矩阵Z如下:
S304,根据矩阵Z选取当前可选云资源数量最少的任务tθ进行优先调度。
S305,在矩阵Z中查找任务tθ的可选云资源集合,用R表示。例如,R={s1,s3}。
S306,对R中的每个云资源进行任务预调度,以获取每个可选云资源的可执行任务集合。
获取云资源sr∈R的可执行任务集合Wr。对s1,s3中的候选任务进行预调度,分别选出s1,s3的可执行任务集合W1,W3。对于任务t1的云资源sr,r∈R,按可选云资源由少到多的顺序遍历sr中的候选任务。对于s1,则按t1,t9,t2,t5,t6,t8,t3,t7的顺序遍历s1中的候选任务。对于sr的候选任务tλ,判断将tλ加入到sr的可执行集合Wr中时Wr中任务的总执行时间是否超过sr的可用时间,如果不超过则将任务tλ加入Wr,否则,不将该任务加入到Wr。
对于s1,假设s1中已存在任务t1,t9,t2,如果把t5加入时W1,W1中任务的总执行时间不大于h1,则把t5加入W1,否则,不加入W1。接着继续依次对t6,t8,t3,t7执行相同的操作。根据Wr中任务的总执行时间αr,计算sr单位时间的费用对于s1,根据W1中任务的总执行时间α1,计算s1单位时间的费用
S307,根据预调度结果,选取单位时间费用最低的云资源作为tθ的最终目标云资源,同时将预调度中确定的目标云资源可执行任务集合中的任务一起调度到目标云资源中执行。
在R中选取单位时间费用最低的可选云资源sε作为tθ的最终目标云资源,将任务tθ及Wε中的其他任务调度到sε中执行。对于任务t1,假设则选择s1作为最终的目标云资源,将t1及W1中的其他任务调度到云资源s1中执行。
S308,将获得调度的任务从任务集合T中删除,更新矩阵Z。
将已获得调度的任务从所有云资源的候选任务中移除,即在矩阵Z中,Wε中的任务对应的列向量中的元素的值置为0,zi,j=0,i∈{1,2,...,n},tj∈Wε。将目标云资源sε设置为对所有任务不可选,在矩阵Z中,sε对应的列向量中的元素值都置为0, zε,j=0,j∈{1,2,...,m}。
示例性装置
在一个实施例中,如图4所示,本公开提供一种云计算任务的调度装置,包括:可选资源确定模块41、目标任务选取模块42、候选资源选取模块43、预调度处理模块44、目标资源处理模块45、任务资源删除模块46和循环执行模块47。
可选资源确定模块41在云计算资源池中确定满足云计算任务的预设约束条件的云资源,作为云计算任务的可选云资源。所述云计算资源池中的云资源包括:公有云资源、私有云资源和混合云资源。目标任务选取模块42选取可选云资源数量最少的云计算任务,作为目标云计算任务。候选资源选取模块43获取与目标云计算任务相对应的全部可选云资源,基于全部可选云资源生成可选云资源集合。
预调度处理模块44基于预设的预分配规则对可选云资源集合中的各个候选云资源进行预调度处理,用以确定与各个候选云资源相对应的可执行云计算任务集合;其中,可执行云计算任务集合包含目标云计算任务以及其他云计算任务,或仅包含目标云计算任务。
目标资源处理模块45在可选云资源集合中选取单位时间费用最低的云资源作为目标云资源,将与目标云资源对应的可执行云计算任务集合中的全部云计算任务分配给目标云资源进行处理。
任务资源删除模块46将目标云计算任务以及分配给目标云资源的其他云计算任务删除,并将目标云资源设置为不可选状态。循环执行模块47重复执行目标任务选取模块42、候选资源选取模块43、预调度处理模块44、目标资源处理模块45和任务资源删除模块46的功能,直到全部云计算任务都被分配给对应的云资源。
在一个实施例中,可选资源确定模块41在云计算资源池中确定满足或不满足云计算任务集合中的云计算任务的预设约束条件的云资源,作为云计算任务的可选云资源或不可选云资源。
目标任务选取模块42建立云计算任务与云资源之间的关系矩阵,用于表征云计算任务与可选云资源和不可选云资源的对应关系。目标任务选取模块42根据关系矩阵选取可选云资源数量最少的云计算任务,作为目标云计算任务。
任务资源删除模块46将关系矩阵中与目标云计算任务以及分配给目标云资源的其他云计算任务对应的云资源元素值设置为0,并将关系矩阵中与分配给目标云资源的云计算任务对应的任务元素值设置为0。
在一个实施例中,预调度处理模块44按照对应的可选云资源数量由少到多的顺序,依次将云计算任务加入可执行云计算任务集合。预调度处理模块44判断可执行云计算任务集合中的全部云计算任务的总执行时间是否超过对应的候选云资源的可用时间;如果是,则预调度处理模块44在可执行云计算任务集合中保留当前加入的云计算任务,如果否,则预调度处理模块44在可执行云计算任务集合中移除当前加入的云计算任务。
目标资源处理模块45确定可选云资源集合中的各个候选云资源的单位时间费用;其中,单位时间费用为对应的可执行云计算任务集合中的全部云计算任务的总费用和总执行时间的比值。目标资源处理模块45将单位时间费用最低的候选云资源作为目标云资源。
图5为本公开的云计算任务的调度装置的另一个实施例的示意图,如图5所示,云计算任务的调度装置51包括一个或多个处理器511和存储器512。
处理器511可以是中央处理单元(CPU)或者具有数据处理能力和/或指令执行能力的其他形式的处理单元,并且可以控制云计算任务的调度装置51中的其他组件以执行期望的功能。
存储器512可以包括一个或多个计算机程序产品,计算机程序产品可以包括各种形式的计算机可读存储介质,例如易失性存储器和/或非易失性存储器。易失性存储器,例如,可以包括:随机存取存储器(RAM)和/或高速缓冲存储器(cache) 等。非易失性存储器,例如,可以包括:只读存储器(ROM)、硬盘以及闪存等。在计算机可读存储介质上可以存储一个或多个计算机程序指令,处理器511可以运行程序指令,以实现上文的本公开的各个实施例的云计算任务的调度方法以及 /或者其他期望的功能。在计算机可读存储介质中还可以存储诸如输入信号、信号分量、噪声分量等各种内容。
在一个示例中,云计算任务的调度装置51还可以包括:输入装置513以及输出装置514等,这些组件通过总线系统和/或其他形式的连接机构(未示出)互连。此外,该输入设备513还可以包括例如键盘、鼠标等等。该输出装置514可以向外部输出各种信息。该输出设备514可以包括例如显示器、扬声器、打印机、以及通信网络及其所连接的远程输出设备等等。
当然,为了简化,图5中仅示出了该云计算任务的调度装置51中与本公开有关的组件中的一些,省略了诸如总线、输入/输出接口等等的组件。除此之外,根据具体应用情况,云计算任务的调度装置51还可以包括任何其他适当的组件。
除了上述方法和设备以外,本公开的实施例还可以是计算机程序产品,其包括计算机程序指令,计算机程序指令在被处理器运行时使得处理器执行本说明书上述“示例性方法”部分中描述的根据本公开各种实施例的云计算任务的调度方法中的步骤。
计算机程序产品可以以一种或多种程序设计语言的任意组合来编写用于执行本公开实施例操作的程序代码,所述程序设计语言包括面向对象的程序设计语言,诸如Java、C++等,还包括常规的过程式程序设计语言,诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算设备上执行、部分地在用户设备上执行、作为一个独立的软件包执行、部分在用户计算设备上部分在远程计算设备上执行、或者完全在远程计算设备或服务器上执行。
此外,本公开的实施例还可以是计算机可读存储介质,其上存储有计算机程序指令,所述计算机程序指令在被处理器运行时使得所述处理器执行本说明书上述“示例性方法”部分中描述的根据本公开各种实施例的云计算任务的调度方法中的步骤。
所述计算机可读存储介质可以采用一个或多个可读介质的任意组合。可读介质可以是可读信号介质或者可读存储介质。可读存储介质例如可以包括但不限于电、磁、光、电磁、红外线、或半导体的系统、装置或器件,或者任意以上的组合。可读存储介质的更具体的例子(非穷举的列举)可以包括:具有一个或者多个导线的电连接、便携式盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑盘只读存储器 (CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。
以上结合具体实施例描述了本公开的基本原理,但是,需要指出的是,在本公开中提及的优点、优势、效果等仅是示例而非限制,不能认为这些优点、优势以及效果等是本公开的各个实施例必须具备的。另外,上述公开的具体细节仅是为了示例的作用和便于理解的作用,而非限制,上述细节并不限制本公开为必须采用上述具体的细节来实现。
上述实施例中的云计算任务的调度方法、装置以及存储介质,通过综合考虑任务调度资源需求的多样性和云资源的异构性,可以实现任务和资源的最佳匹配;通过兼顾任务调度的难易性,对可选云资源少的任务优先调度,可以最大程度上避免任务调度失败,保证应用的服务质量;在调度过程中优先选择单位时间费用最低的可选云资源作为任务的目标云资源,可以最小化用户的成本,提高用户的使用体验。
本说明书中各个实施例均采用递进的方式描述,每个实施例重点说明的都是与其它实施例的不同之处,各个实施例之间相同或相似的部分相互参见即可。对于系统实施例而言,由于其与方法实施例基本对应,所以描述的比较简单,相关之处参见方法实施例的部分说明即可。
本公开中涉及的器件、装置、设备、系统的方框图仅作为例示性的例子并且不意图要求或暗示必须按照方框图示出的方式进行连接、布置、配置。如本领域技术人员将认识到的,可以按任意方式连接、布置、配置这些器件、装置、设备以及系统。诸如“包括”、“包含、“具有”等等的词语是开放性词汇,指“包括但不限于”,且可与其互换使用。这里所使用的词汇“或”和“和”指词汇“和/或”,且可与其互换使用,除非上下文明确指示不是如此。这里所使用的词汇“诸如”指词组“诸如但不限于”,且可与其互换使用。
可能以许多方式来实现本公开的方法和装置。例如,可通过软件、硬件、固件或者软件、硬件、固件的任何组合来实现本公开的方法和装置。用于所述方法的步骤的上述顺序仅是为了进行说明,本公开的方法的步骤不限于以上具体描述的顺序,除非以其它方式特别说明。此外,在一些实施例中,还可将本公开实施为记录在记录介质中的程序,这些程序包括用于实现根据本公开的方法的机器可读指令。因而,本公开还覆盖存储用于执行根据本公开的方法的程序的记录介质。
还需要指出的是,在本公开的装置、设备和方法中,各部件或各步骤是可以分解和/或重新组合的。这些分解和/或重新组合应视为本公开的等效方案。
提供所公开的方面的以上描述,以使本领域的任何技术人员能够做出或者使用本公开。对这些方面的各种修改等对于本领域技术人员而言,是非常显而易见的,并且在此定义的一般原理可以应用于其他方面,而不脱离本公开的范围。因此,本公开不意图被限制到在此示出的方面,而是按照与在此公开的原理和新颖的特征一致的最宽范围。
为了例示和描述的目的已经给出了以上描述。此外,此描述不意图将本公开的实施例限制到在此公开的形式中。尽管以上已经讨论了多个示例方面以及实施例,但是本领域技术人员将认识到其某些变型、修改、改变、添加和子组合。
Claims (10)
1.一种云计算任务的调度方法,包括:
步骤一,在云计算资源池中确定满足云计算任务的预设约束条件的云资源,作为云计算任务的可选云资源;其中,所述云计算资源池中的云资源包括:公有云资源、私有云资源和混合云资源;
步骤二,选取可选云资源数量最少的云计算任务,作为目标云计算任务;
步骤三,获取与所述目标云计算任务相对应的全部可选云资源,基于所述全部可选云资源生成可选云资源集合;
步骤四,基于预设的预分配规则对所述可选云资源集合中的各个候选云资源进行预调度处理,用以确定与所述各个候选云资源相对应的可执行云计算任务集合;
其中,所述可执行云计算任务集合包含所述目标云计算任务以及其他云计算任务,或仅包含所述目标云计算任务;
步骤五,在所述可选云资源集合中选取单位时间费用最低的云资源作为目标云资源,将与所述目标云资源对应的可执行云计算任务集合中的全部云计算任务分配给所述目标云资源进行处理。
2.如权利要求1所述的方法,还包括:
步骤六,将所述目标云计算任务以及分配给所述目标云资源的其他云计算任务删除,并将所述目标云资源设置为不可选状态;
步骤七,重复执行步骤二至步骤六,直到全部云计算任务都被分配给对应的云资源。
3.如权利要求2所述的方法,所述确定满足云计算任务的预设约束条件的云资源,作为云计算任务的可选云资源包括:
在云计算资源池中确定满足或不满足云计算任务集合中的云计算任务的所述预设约束条件的云资源,作为所述云计算任务的可选云资源或不可选云资源;
所述选取可选云资源数量最少的云计算任务,作为目标云计算任务包括:
建立所述云计算任务与所述云资源之间的关系矩阵,用于表征所述云计算任务与可选云资源和不可选云资源的对应关系;
根据所述关系矩阵选取可选云资源数量最少的云计算任务,作为所述目标云计算任务。
4.如权利要求3所述的方法,所述将所述目标云计算任务以及分配给所述目标云资源的其他云计算任务删除,并将所述目标云资源设置为不可选状态包括:
将所述关系矩阵中与所述目标云计算任务以及分配给所述目标云资源的其他云计算任务对应的云资源元素值设置为0,并将所述关系矩阵中与分配给所述目标云资源的云计算任务对应的任务元素值设置为0。
5.如权利要求1所述的方法,所述基于预设的预分配规则对所述可选云资源集合中的各个候选云资源进行预调度处理,用以确定与所述各个候选云资源相对应的可执行云计算任务集合包括:
按照对应的可选云资源数量由少到多的顺序,依次将云计算任务加入所述可执行云计算任务集合;
判断所述可执行云计算任务集合中的全部云计算任务的总执行时间是否超过对应的候选云资源的可用时间;如果是,则在所述可执行云计算任务集合中保留当前加入的云计算任务,如果否,则在所述可执行云计算任务集合中移除当前加入的云计算任务。
6.如权利要求5所述的方法,所述在所述可选云资源集合中选取单位时间费用最低的云资源作为目标云资源包括:
确定所述可选云资源集合中的各个候选云资源的单位时间费用;其中,所述单位时间费用为对应的可执行云计算任务集合中的全部云计算任务的总费用和总执行时间的比值;
将单位时间费用最低的候选云资源作为所述目标云资源。
7.如权利要求1至6任一项所述的方法,其中,
所述目标云资源包括:公有云资源、私有云资源或混合云资源中的至少一种资源;所述预设约束条件包括:资源约束条件、安全等级约束条件;
其中,所述资源约束条件包括:云资源的可用资源的最小值满足云计算任务的对应资源需求,并且云计算任务只能调度至一个云资源执行;
所述安全等级约束条件包括:包含敏感数据的云计算任务在安全级别高于预设阈值的云资源上执行、其他云计算任务在安全等级高于或等于其他云计算任务的安全等级的云资源上执行。
8.一种云计算任务的调度装置,包括:
可选资源确定模块,用于在云计算资源池中确定满足云计算任务的预设约束条件的云资源,作为云计算任务的可选云资源;其中,所述云计算资源池中的云资源包括:公有云资源、私有云资源和混合云资源;
目标任务选取模块,用于选取可选云资源数量最少的云计算任务,作为目标云计算任务;
候选资源选取模块,用于获取与所述目标云计算任务相对应的全部可选云资源,基于所述全部可选云资源生成可选云资源集合;
预调度处理模块,用于基于预设的预分配规则对所述可选云资源集合中的各个候选云资源进行预调度处理,用以确定与所述各个候选云资源相对应的可执行云计算任务集合;其中,所述可执行云计算任务集合包含所述目标云计算任务以及其他云计算任务,或仅包含所述目标云计算任务;
目标资源处理模块,用于在所述可选云资源集合中选取单位时间费用最低的云资源作为目标云资源,将与所述目标云资源对应的可执行云计算任务集合中的全部云计算任务分配给所述目标云资源进行处理。
9.一种云计算任务的调度装置,包括:
处理器;用于存储所述处理器可执行指令的存储器;
所述处理器,用于从所述存储器中读取所述可执行指令,并执行所述指令以实现上述权利要求1-7任一项所述的方法。
10.一种计算机可读存储介质,所述存储介质存储有计算机程序,所述计算机程序用于执行上述权利要求1-7任一项所述的方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111249000.1A CN114237863A (zh) | 2021-10-26 | 2021-10-26 | 云计算任务的调度方法、装置以及存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111249000.1A CN114237863A (zh) | 2021-10-26 | 2021-10-26 | 云计算任务的调度方法、装置以及存储介质 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN114237863A true CN114237863A (zh) | 2022-03-25 |
Family
ID=80743270
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202111249000.1A Pending CN114237863A (zh) | 2021-10-26 | 2021-10-26 | 云计算任务的调度方法、装置以及存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN114237863A (zh) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114844901A (zh) * | 2022-05-23 | 2022-08-02 | 青岛慧海高科信息技术有限公司 | 基于人工智能的大数据清洗任务处理方法及云计算系统 |
CN115242626A (zh) * | 2022-07-21 | 2022-10-25 | 中国建设银行股份有限公司 | 云资源配置预估方法、装置、设备、存储介质及程序产品 |
CN117785491A (zh) * | 2024-02-28 | 2024-03-29 | 北京蓝耘科技股份有限公司 | 一种gpu云计算资源管理方法、系统及存储介质 |
-
2021
- 2021-10-26 CN CN202111249000.1A patent/CN114237863A/zh active Pending
Cited By (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114844901A (zh) * | 2022-05-23 | 2022-08-02 | 青岛慧海高科信息技术有限公司 | 基于人工智能的大数据清洗任务处理方法及云计算系统 |
CN114844901B (zh) * | 2022-05-23 | 2023-01-31 | 成都睿信天和科技有限公司 | 基于人工智能的大数据清洗任务处理方法及云计算系统 |
CN115242626A (zh) * | 2022-07-21 | 2022-10-25 | 中国建设银行股份有限公司 | 云资源配置预估方法、装置、设备、存储介质及程序产品 |
CN115242626B (zh) * | 2022-07-21 | 2024-04-05 | 中国建设银行股份有限公司 | 云资源配置预估方法、装置、设备、存储介质及程序产品 |
CN117785491A (zh) * | 2024-02-28 | 2024-03-29 | 北京蓝耘科技股份有限公司 | 一种gpu云计算资源管理方法、系统及存储介质 |
CN117785491B (zh) * | 2024-02-28 | 2024-05-28 | 北京蓝耘科技股份有限公司 | 一种gpu云计算资源管理方法、系统及存储介质 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN114237863A (zh) | 云计算任务的调度方法、装置以及存储介质 | |
CN108345501B (zh) | 一种分布式资源调度方法和系统 | |
Pham et al. | A cost-and performance-effective approach for task scheduling based on collaboration between cloud and fog computing | |
US9860193B2 (en) | Reallocating resource capacity among resource pools in a cloud computing environment | |
US9491313B2 (en) | Optimizing storage between mobile devices and cloud storage providers | |
US11016808B2 (en) | Multi-tenant license enforcement across job requests | |
Ghorbannia Delavar et al. | HSGA: a hybrid heuristic algorithm for workflow scheduling in cloud systems | |
US8701117B2 (en) | Resource consumption template processing model | |
US20080263553A1 (en) | Dynamic Service Level Manager for Image Pools | |
US10338970B2 (en) | Multi-platform scheduler for permanent and transient applications | |
US11265264B2 (en) | Systems and methods for controlling process priority for efficient resource allocation | |
US20130138812A1 (en) | System, method and program product for cost-aware selection of templates for provisioning shared resources | |
CN110808914A (zh) | 一种访问请求处理方法、装置及电子设备 | |
CN114064249B (zh) | 混合云的跨云计算任务的调度方法、装置以及存储介质 | |
US10635492B2 (en) | Leveraging shared work to enhance job performance across analytics platforms | |
WO2023169329A1 (en) | Resource utilization efficiency based job scheduling | |
CN105824705B (zh) | 一种任务分配方法和电子设备 | |
Yassir et al. | Workflow scheduling issues and techniques in cloud computing: A systematic literature review | |
US20080163233A1 (en) | Method and apparatus for service load consolidation, and computer product | |
US8819239B2 (en) | Distributed resource management systems and methods for resource management thereof | |
US10148592B1 (en) | Prioritization-based scaling of computing resources | |
CN113449994A (zh) | 任务单的分配方法、装置、电子设备、介质和程序产品 | |
CN111625339A (zh) | 集群资源调度方法、装置、介质和计算设备 | |
Partheeban et al. | Versatile provisioning and workflow scheduling in WaaS under cost and deadline constraints for cloud computing | |
CN108268316A (zh) | 作业调度的方法及装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |