CN103067468B

CN103067468B - 云调度方法及其系统

Info

Publication number: CN103067468B
Application number: CN201210563107.8A
Authority: CN
Inventors: 朱定局
Original assignee: Shenzhen Institute of Advanced Technology of CAS
Current assignee: Shenzhen Institute of Advanced Technology of CAS
Priority date: 2012-12-22
Filing date: 2012-12-22
Publication date: 2016-03-09
Anticipated expiration: 2032-12-22
Also published as: WO2014094495A1; CN103067468A

Abstract

本发明提供一种云调度方法及其系统，所述方法包括：接收云调度任务，获取所述云调度任务的用户等级和优先属性设置信息；将所述云调度任务划分为若干个子任务；根据所述用户等级和优先属性设置信息，分别调度云网络系统中相应的硬件资源和软件资源对所述若干个子任务进行并行处理，并获取处理结果；将所述若干个子任务的处理结果合并，生成所述云调度任务的处理结果。本发明能够将云调度任务划分成为多个子任务并行处理，对不同的云调度任务根据其需求调度不同的硬件和软件资源，提高处理效率，满足不同云调度任务的个性化服务需求。

Description

云调度方法及其系统

技术领域

本发明涉及通过网络的云计算调度的技术领域，特别是涉及一种云调度方法，以及一种云调度系统。

背景技术

随着计算机网络技术的发展，通过网络的云计算调度技术的应用越来越广泛，目前云计算调度都是仅根据云调度任务的任务量、资源量的信息进行网络资源的云调度。

但是，仅根据任务量、资源量的信息进行云调度，虽然能够达到充分利用云计算资源、尽快处理云调度任务的目的，但却不能满足不同云调度任务的不同个性化需求，例如有的云处理任务要求高的服务质量，而对成本因素并不要求，而有的云处理任务要求采取低成本的处理方式，但对处理速度等服务质量要求不高，而在现有云调度模式下，对所有的云调度任务都是同等对待的，各个云调度任务获得的云服务调度是相同的，而无法获得与自身要求符合的云服务效果。

发明内容

针对上述背景技术中存在的问题，本发明的目的在于提供一种云调度方法及其系统，能够对不同的云调度任务根据其需求调度不同的硬件和软件资源进行处理，满足不同云调度任务的服务需求。

一种云调度方法，包括以下步骤：

接收云调度任务，获取所述云调度任务的用户等级和优先属性设置信息；

将所述云调度任务划分为若干个子任务，其中，根据以下公式计算所述云调度任务的默认可用资源量：Y＝M*X/N，其中，Y为所述云调度任务的默认可用资源量，M为资源总量，N为任务总量，X为所述云调度任务的任务量；

根据以下公式计算所述云调度任务的默认并发度：p＝Y/R，其中，p为默认并发度，R为每一个并发进程占用的资源量；

根据所述默认并发度，设置所述云调度任务划分的子任务个数；

所述用户等级包括免费用户、付费用户以及VIP用户；所述优先属性设置信息包括：速度优先、成本优先以及质量优先；当用户等级为免费用户，或者用户等级为付费用户或VIP用户、且优先属性设置信息为成本优先时，设置所述云调度任务划分的子任务个数小于默认并发度；当用户等级为付费用户或VIP用户，并且优先属性设置信息为速度优先，或质量优先时，设置所述云调度任务划分的子任务个数大于默认并发度；

根据所述用户等级和优先属性设置信息，分别调度云网络系统中相应的硬件资源和软件资源对所述若干个子任务进行并行处理，并获取处理结果；

将所述若干个子任务的处理结果合并，生成所述云调度任务的处理结果。

一种云调度系统，包括：

信息获取模块，用于接收云调度任务，获取所述云调度任务的用户等级和优先属性设置信息；

任务划分模块，用于将所述云调度任务划分为若干个子任务，其中，所述任务划分模块包括：

可用资源计算模块，用于根据以下公式计算所述云调度任务的默认可用资源量：Y＝M*X/N，其中，Y为所述云调度任务的默认可用资源量，M为资源总量，N为任务总量，X为所述云调度任务的任务量；

并发度计算模块，用于根据以下公式计算所述云调度任务的默认并发度：p＝Y/R，其中，p为默认并发度，R为每一个并发进程占用的资源量；

划分模块，用于根据所述默认并发度，设置所述云调度任务划分的子任务个数；所述用户等级包括免费用户、付费用户以及VIP用户；所述优先属性设置信息包括：速度优先、成本优先以及质量优先；当用户等级为免费用户，或者用户等级为付费用户或VIP用户、且优先属性设置信息为成本优先时，设置所述云调度任务划分的子任务个数小于默认并发度；当用户等级为付费用户或VIP用户，并且优先属性设置信息为速度优先，或质量优先时，设置所述云调度任务划分的子任务个数大于默认并发度；

资源调度模块，用于根据所述用户等级和优先属性设置信息，分别调度云网络系统中相应的硬件资源和软件资源对所述若干个子任务进行并行处理，并获取处理结果；

结果合并模块，用于将所述若干个子任务的处理结果合并，生成所述云调度任务的处理结果。

本发明的云调度方法及其系统通过获取云调度任务的用户等级和优先属性设置信息，将所述云调度任务划分为若干个子任务，根据所述用户等级和优先属性设置信息调度对应的软、硬件资源对各个子任务进行处理，满足不同的云调度任务的处理要求，最后合并子任务的处理结果，得到所述云调度任务的处理结果，提高处理效率，满足不同云调度任务的个性化服务需求。

附图说明

图1是本发明云调度方法的流程示意图；

图2是本发明云调度系统的结构示意图。

具体实施方式

请参阅图1，图1是本发明云调度方法的流程示意图。

所述云调度方法包括以下步骤：

S101，接收云调度任务，获取所述云调度任务的用户等级和优先属性设置信息；

S102，将所述云调度任务划分为若干个子任务；

S103，根据所述用户等级和优先属性设置信息，分别调度云网络系统中相应的硬件资源和软件资源对所述若干个子任务进行并行处理，并获取处理结果；

S104，将所述若干个子任务的处理结果合并，生成所述云调度任务的处理结果。

本发明能够将云调度任务划分成为多个子任务并行处理，对不同的云调度任务根据其需求调度不同的硬件和软件资源，提高处理效率，满足不同云调度任务的个性化服务需求。

其中，对于步骤S101，所述云调度任务包括各种用户发出的云计算调度任务，包括免费用户、付费用户以及VIP用户发出的调度云资源进行计算处理的视频云服务的调度、机器人云服务的调度、数据审查云服务的调度任务。

在接收到所述云调度任务时，获取所述云调度任务的用户等级和优先属性设置信息。所述云调度任务的用户等级包括免费用户、付费用户以及VIP用户。可以通过获取用户的登陆信息、注册信息或者付费信息等用户账户信息来判断发出所述云调度任务的用户的用户等级；

所述云调度任务的优先属性设置信息是指所述云调度任务要求的各种云调度服务指标的优先级，包括速度优先、成本优先、质量优先及其组合。所述优先属性设置信息可以在发出所述云调度任务时提示用户输入，即通过用户界面中提供的选项，提供给用户进行选择，例如通过下拉框模式，在所述下拉框中有多个选项，不同的选项中包含有不同的优先属性设置信息，如速度优先、成本优先、质量优先及其组合。所述云调度任务的优先属性设置信息也可以通过对相应的用户的各种行为信息和输入信息的搜集、筛选提取得出。

对于上述步骤S102，对所述云调度任务的划分可以根据所述云调度任务的任务量(运算量)来确定，优选地，本发明提供一种所述云调度任务的划分方式如下：

首先计算所述云调度任务的默认可用资源量，根据以下公式：Y＝M*X/N；其中，Y为所述云调度任务的默认可用资源量，M为资源总量，N为任务总量，X为所述云调度任务的任务量；

然后，根据所述默认可用资源量计算所述云调度任务的默认并发度，按照以下公式计算：p＝Y/R，其中，p为默认并发度，R为每一个并发进程占用的资源量；

最后根据所述默认并发度，设置所述云调度任务划分的子任务个数。

在本实施方式中，对所述云调度任务的划分首先考虑其可用资源量，即在所述云网络系统中可以占用的资源份额，如果所述可用资源量则可以划分成更多的子任务，使每一个子任务所占用的处理时间缩短，尽量提高云调度的速度。

在获取所述默认并发度之后，可以将所述云调度任务划分的子任务个数统一设置成等于所述默认并发度。

本发明中，优选根据用户个性化需求设置所述云调度任务划分的子任务个数，则考虑到所述用户等级包括免费用户、付费用户以及VIP用户；所述优先属性设置信息包括：速度优先、成本优先以及质量优先；在根据所述默认并发度设置所述云调度任务划分的子任务个数时，首先判断所述云调度任务的用户等级以及优先属性设置信息：

当用户等级为免费用户，或者用户等级为付费用户或VIP用户、且优先属性设置信息为成本优先时，设置所述云调度任务划分的子任务个数小于所述默认并发度；

当用户等级为付费用户或VIP用户，并且优先属性设置信息为速度优先，或质量优先时，设置所述云调度任务划分的子任务个数大于所述默认并发度。

通过上述方式，可以根据用户或者不同云调度任务的个性化需求，具体设置每个云调度任务划分的子任务个数，在所述云调度任务要求的处理速度和处理质量更高时，可以将增加其划分的子任务数，调度更多的资源去处理各个子任务，提高整个云调度任务的处理速度和处理质量。

对于上述步骤S103，根据所述用户等级和优先属性设置信息，在云网络系统中调度相应的硬件资源和软件资源对各个所述若干个子任务进行处理。为实现相应的资源的调度，可以在调度端预先保存一个资源调度控制表，所述资源调度控制表中预先保存有各个所述硬件资源和软件资源的资源属性，以及各种所述用户等级以及所述优先属性设置信息所对应的资源属性。

在各个硬件资源和软件资源投入云网络系统中使用时，首先将所述硬件资源和软件资源的资源属性录入并保存在所述资源调度控制表中，并通过对所述资源调度控制表的设置录入各种所述用户等级以及所述优先属性设置信息所对应的资源属性；

则在实际处理云调度任务时，根据所述云调度任务的用户等级和优先属性设置信息，查询预先保存的所述资源调度控制表，获取对应的资源属性，再根据所述资源属性查询对应的硬件资源和软件资源，根据查询结果调度云网络系统中对应的硬件资源和软件资源对所述若干个子任务进行并行处理。

在调度各个所述硬件资源和软件资源时，可以通过调用所述云计算系统提供的调度接口衔接来实现云调度，现有的云计算系统(例如hadoop，一种分布式系统基础架构)都是有调度模块API接口的，通过调度模块API接口就可以调度现有云计算系统中的资源。

在所述资源调度控制表中，所述硬件资源和软件资源的资源属性包括：成本、速度、稳定性。

考虑到所述用户等级包括：免费用户、付费用户以及VIP用户；所述优先属性设置信息包括：速度优先，成本优先以及质量优先；

在查询所述资源调度控制表，根据查询结果调度对应的硬件资源和软件资源时，优选采用与方式进行相应资源的调度：

当所述用户等级为免费用户，或者所述用户等级为付费用户或者VIP用户、并且所述优先属性设置信息为成本优先时，调用资源属性中的成本低于默认值的硬件资源和软件资源对所述若干个子任务进行并行处理。亦即，如果是免费用户或选取成本低优先的收费用户和VIP用户，则采用成本低优先的云调度方式，即尽量调用比默认调度方式耗资源更少的、成本更低廉的硬件和软件模块，此时云服务质量先对较低和云服务速度相对较慢；

当所述用户等级为付费用户或者VIP用户，并且所述优先属性设置信息为速度优先时，调用资源属性中的速度高于默认值的硬件资源和软件资源对所述若干个子任务进行并行处理。即，如果是收费用户或VIP用户选取速度优先方式，则尽量调用比默认调度方式更高性能的硬件模块、功能更简要的软件模块；

当所述用户等级为付费用户或者VIP用户，并且所述优先属性设置信息为质量优先时，调用性资源属性中的稳定性高于默认值的硬件资源和软件资源对所述若干个子任务进行并行处理。即，如果是收费用户或VIP用户选取质量优先方式，则尽量调用比默认调度方式更稳定的硬件模块、功能更完备的软件服务模块；

当所述用户等级为付费用户或者VIP用户，并且所述优先属性设置信息为质量优先以及速度优先时，调用资源属性中的速度高于默认值、并且稳定性高于默认值的硬件资源和软件资源对所述若干个子任务进行并行处理。即，如果是收费用户或VIP用户同时选取速度优先方式和质量优先，则尽量调用比默认调度方式更稳定、更高性能的硬件模块、功能更完备的软件服务模块。

通常，各种资源属性所对应的默认值可以根据实际需要设定，也以设定为不区分云调度任务的个性化需求，对所有的云调度任务同等对待时调度的资源属性平均值。

通过上述方式，根据不同的用户等级以及优先属性设置信息来调度不同的硬件资源和软件资源对各个子任务进行处理，满足不同云调度任务的个性化需求。

根据查询结果调度所述云网络系统中对应的硬件资源和软件资源对所述若干个子任务进行并行处理的方法为：

根据所述若干个子任务的集合，生成与所述子任务一一对应的若干个并行云处理进程；将所述若干个并行云处理进程分别指派到查询获取的若干个相应的硬件资源上运行，运行的进程内容为查询获取的若干个软件资源。

由于是通过并行云处理进程对多个子任务进行并行处理，因此大大缩短了对所述云调度任务的处理时间，提高了处理效率。

在所述资源调度控制表中，所述硬件资源和软件资源的资源属性还可以设置成其他的参数，例如，对于硬件资源，可设置其资源属性为CPU性能范围，memory性能范围和disk性能范围。

如果在步骤S102中将所述云调度任务v划分为p个子任务{v1,v2,…,vp}，则在本步骤中，根据所述资源调度控制表的查询结果，从云资源池中选取CPU性能范围满足(c1,c2),memory性能范围满足(m1,m2)，disk性能范围满足(d1,d2)的p个硬件资源{h1,h2,…,hp}，以及对应的p个软件资源{s1,s2,…,sp}。

根据p个并发子任务集合，克隆出p个与所述子任务集合对应的并行云处理进程；根据p个并行云处理进程、p个计算机硬件资源、p个软件资源，将p个并行云处理进程指派到p个相应的计算机硬件资源上运行，运行的进程内容为p个软件资源。

对于上述步骤S104，对p个并行云处理进程对所述若干个子任务的处理结果集合进行合并，生成所述云调度任务的处理结果，并返回给用户，完成云调度任务的处理过程。

本发明的云调度方法将云调度任务划分为若干个子任务，对各个所述子任务进行并行处理后将处理结果合并成所述云调度任务的处理结果，因此，能够大大缩短处理时间。通过云调度任务的用户等级和优先属性设置信息调用不同的软、硬件资源对各个子任务进行处理，能够满足不同的云调度任务的处理要求，使云调度更灵活，提高资源利用率。

请参阅图2，图2是本发明云调度系统的结构示意图。

所述云调度系统包括：

信息获取模块11，用于接收云调度任务，获取所述云调度任务的用户等级和优先属性设置信息；

任务划分模块12，用于将所述云调度任务划分为若干个子任务；

资源调度模块13，用于根据所述用户等级和优先属性设置信息，分别调度云网络系统中相应的硬件资源和软件资源对所述若干个子任务进行并行处理，并获取处理结果；

结果合并模块14，用于将所述若干个子任务的处理结果合并，生成所述云调度任务的处理结果。

其中，所述云调度任务包括各种用户发出的云计算调度任务，包括免费用户、付费用户以及VIP用户发出的调度云资源进行计算处理的视频云服务的调度、机器人云服务的调度、数据审查云服务的调度任务。

在接收到所述云调度任务时，所述信息获取模块11获取所述云调度任务的用户等级和优先属性设置信息。所述云调度任务的用户等级包括免费用户、付费用户以及VIP用户。所述信息获取模块11可以通过获取用户的登陆信息、注册信息或者付费信息等用户账户信息来判断发出所述云调度任务的用户的用户等级；

所述任务划分模块12对所述云调度任务的划分可以根据所述云调度任务的任务量(运算量)来确定，优选地，所述任务划分模块包括以下子模块：

划分模块，用于根据所述默认并发度，设置所述云调度任务划分的子任务个数。

在本实施方式中，所述任务划分模块12对所述云调度任务的划分首先考虑其可用资源量，即在所述云网络系统中可以占用的资源份额，如果所述可用资源量则可以划分成更多的子任务，使每一个子任务所占用的处理时间缩短，尽量提高云调度的速度。

本发明中，优选根据用户个性化需求设置所述云调度任务划分的子任务个数，考虑到所述用户等级包括免费用户、付费用户以及VIP用户；所述优先属性设置信息包括：速度优先、成本优先以及质量优先。则所述任务划分模块12在根据所述默认并发度设置所述云调度任务划分的子任务个数时，首先判断所述云调度任务的用户等级以及优先属性设置信息：

所述资源调度模块13用于根据所述用户等级和优先属性设置信息，在云网络系统中调度相应的硬件资源和软件资源对各个所述若干个子任务进行处理。为实现相应的资源的调度，可以在调度端预先保存一个资源调度控制表，所述资源调度控制表中预先保存有各个所述硬件资源和软件资源的资源属性，以及各种所述用户等级以及所述优先属性设置信息所对应的资源属性。

所述资源调度模块13在调度各个所述硬件资源和软件资源时，可以通过调用所述云计算系统提供的调度接口衔接来实现云调度，现有的云计算系统(例如hadoop)都是有调度模块API接口的，通过调度模块API接口就可以调度现有云计算系统中的资源。

则，所述资源调度模块13优选包括以下子模块：

第一调度模块，用于在所述用户等级为免费用户，或者所述用户等级为付费用户或者VIP用户、并且所述优先属性设置信息为成本优先时，调用资源属性中的成本低于默认值的硬件资源和软件资源对所述若干个子任务进行并行处理。亦即，如果是免费用户或选取成本低优先的收费用户和VIP用户，则采用成本低优先的云调度方式，即尽量调用比默认调度方式耗资源更少的、成本更低廉的硬件和软件模块，此时云服务质量先对较低和云服务速度相对较慢；

第二调度模块，用于在所述用户等级为付费用户或者VIP用户，并且所述优先属性设置信息为速度优先时，调用资源属性中的速度高于默认值的硬件资源和软件资源对所述若干个子任务进行并行处理。即，如果是收费用户或VIP用户选取速度优先方式，则尽量调用比默认调度方式更高性能的硬件模块、功能更简要的软件模块；

第三调度模块，用于在所述用户等级为付费用户或者VIP用户，并且所述优先属性设置信息为质量优先时，调用性资源属性中的稳定性高于默认值的硬件资源和软件资源对所述若干个子任务进行并行处理。即，如果是收费用户或VIP用户选取质量优先方式，则尽量调用比默认调度方式更稳定的硬件模块、功能更完备的软件服务模块；

第四调度模块，用于在所述用户等级为付费用户或者VIP用户，并且所述优先属性设置信息为质量优先以及速度优先时，调用资源属性中的速度高于默认值、并且稳定性高于默认值的硬件资源和软件资源对所述若干个子任务进行并行处理。即，如果是收费用户或VIP用户同时选取速度优先方式和质量优先，则尽量调用比默认调度方式更稳定、更高性能的硬件模块、功能更完备的软件服务模块。

在所述资源调度控制表中，所述硬件资源和软件资源的资源属性还可以设置成其他的参数，例如，对于硬件资源，可设置其资源属性为CPU性能范围，memory性能范围和disk性能范围等属性。

所述结果合并模块14对p个并行云处理进程对所述若干个子任务的处理结果集合进行合并，生成所述云调度任务的处理结果，并返回给用户。

本发明的云调度方法及其系统可以用于所有各种类型应用的云调度，包括但不限于：视频云服务的调度、机器人云服务的调度、数据审查云服务的调度。

本领域普通技术人员可以理解实现上述实施方式中的全部或部分流程以及对应的系统，是可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于一计算机可读取存储介质中，该程序在执行时，可包括如上述各实施方式的流程。其中，所述的存储介质可为磁碟、光盘、只读存储记忆体(Read-OnlyMemory，ROM)或随机存储记忆体(RandomAccessMemory，RAM)等。

以上所述实施例仅表达了本发明的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。因此，本发明专利的保护范围应以所附权利要求为准。

Claims

1.一种云调度方法，其特征在于，包括以下步骤：

2.如权利要求1所述的云调度方法，其特征在于，根据所述用户等级和优先属性设置信息，分别调度云网络系统中相应的硬件资源和软件资源对所述若干个子任务进行并行处理的步骤包括：

根据所述用户等级和优先属性设置信息，查询预先保存的资源调度控制表，根据查询结果调度所述云网络系统中对应的硬件资源和软件资源对所述若干个子任务进行并行处理；其中，所述资源调度控制表中预先保存有各个所述硬件资源和软件资源的资源属性，以及各种所述用户等级以及所述优先属性设置信息所对应的资源属性。

3.如权利要求2所述的云调度方法，其特征在于，根据查询结果调度所述云网络系统中对应的硬件资源和软件资源对所述若干个子任务进行并行处理的步骤包括：

根据所述若干个子任务的集合，生成与所述子任务一一对应的若干个并行云处理进程；

将所述若干个并行云处理进程分别指派到查询获取的若干个相应的硬件资源上运行，运行的进程内容为查询获取的若干个软件资源。

4.如权利要求2所述的云调度方法，其特征在于，所述资源属性包括：成本、速度、稳定性；

查询预先保存的资源调度控制表，根据查询结果调度所述云网络系统中对应的硬件资源和软件资源对所述若干个子任务进行并行处理的步骤包括：

当所述用户等级为免费用户，或者所述用户等级为付费用户或者VIP用户、并且所述优先属性设置信息为成本优先时，调用资源属性中的成本低于默认值的硬件资源和软件资源对所述若干个子任务进行并行处理；

当所述用户等级为付费用户或者VIP用户，并且所述优先属性设置信息为速度优先时，调用资源属性中的速度高于默认值的硬件资源和软件资源对所述若干个子任务进行并行处理；

当所述用户等级为付费用户或者VIP用户，并且所述优先属性设置信息为质量优先时，调用性资源属性中的稳定性高于默认值的硬件资源和软件资源对所述若干个子任务进行并行处理；

当所述用户等级为付费用户或者VIP用户，并且所述优先属性设置信息为质量优先以及速度优先时，调用资源属性中的速度高于默认值、并且稳定性高于默认值的硬件资源和软件资源对所述若干个子任务进行并行处理。

5.一种云调度系统，其特征在于，包括：

6.如权利要求5所述的云调度系统，其特征在于，所述资源调度模块根据所述用户等级和优先属性设置信息，查询预先保存的资源调度控制表，根据查询结果调度云网络系统中对应的硬件资源和软件资源对所述若干个子任务进行并行处理；其中，所述资源调度控制表中预先保存有各个所述硬件资源和软件资源的资源属性，以及各种所述用户等级以及所述优先属性设置信息所对应的资源属性。

7.如权利要求6所述的云调度系统，其特征在于，所述资源属性包括：成本、速度、稳定性；

所述资源调度模块包括：

第一调度模块，用于在所述用户等级为免费用户，或者所述用户等级为付费用户或者VIP用户、并且所述优先属性设置信息为成本优先时，调用资源属性中的成本低于默认值的硬件资源和软件资源对所述若干个子任务进行并行处理；

第二调度模块，用于在所述用户等级为付费用户或者VIP用户，并且所述优先属性设置信息为速度优先时，调用资源属性中的速度高于默认值的硬件资源和软件资源对所述若干个子任务进行并行处理；

第三调度模块，用于在所述用户等级为付费用户或者VIP用户，并且所述优先属性设置信息为质量优先时，调用性资源属性中的稳定性高于默认值的硬件资源和软件资源对所述若干个子任务进行并行处理；

第四调度模块，用于在所述用户等级为付费用户或者VIP用户，并且所述优先属性设置信息为质量优先以及速度优先时，调用资源属性中的速度高于默认值、并且稳定性高于默认值的硬件资源和软件资源对所述若干个子任务进行并行处理。