CN103377407A - 云业务处理方法及相关装置和系统 - Google Patents
云业务处理方法及相关装置和系统 Download PDFInfo
- Publication number
- CN103377407A CN103377407A CN2012101238573A CN201210123857A CN103377407A CN 103377407 A CN103377407 A CN 103377407A CN 2012101238573 A CN2012101238573 A CN 2012101238573A CN 201210123857 A CN201210123857 A CN 201210123857A CN 103377407 A CN103377407 A CN 103377407A
- Authority
- CN
- China
- Prior art keywords
- cloud resource
- scheduling scheme
- calculation task
- resource
- available resources
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Landscapes
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
本发明实施例公开了一种云业务处理方法及相关装置和系统。一种云业务处理方法，包括：云资源管理节点接收任务请求；其中，任务请求携带计算任务的描述信息，描述信息包括计算任务的作业描述信息和要求完工指标，要求完工指标包括交付期和/或预算；云资源管理节点获取能够调度的云资源的处理能力和价格；云资源管理节点基于获取的能够调度的云资源的处理能力和价格，构造计算任务对应的可用资源调度方案，若构造出的该可用资源调度方案对应的预估完工指标满足计算任务的要求完工指标，则基于可用资源调度方案调用云资源执行所述计算任务的作业。本发明实施例提供的技术方案有效控制计算任务的交付期和/或成本，提高云网络的云资源的利用效率。
Description
技术领域
本发明涉及通信技术领域，具体涉及云业务处理方法及相关装置和系统。
背景技术
云计算服务可看成是一种服务的交付和消费模式。
云服务供应商(CSP，Cloud Service Provider)将大量计算资源用网络连接起来并进行统一的管理、分配和调度，构成一个巨大的计算资源池向云服务消费者(CSC，Cloud Service Consumer)提供服务。对CSC而言，云资源可无限扩展，具有按需索取、按使用付费等高效灵活的特点。
一般来说，云计算服务大致可分为3个层次：
基础设施级服务(IaaS，Infrastructure as a Service)，也称为I层、
平台级服务(PaaS，Platform as a Service)，也称为P层、
软件级服务(SaaS，Software as a Service)，也称为S层。
目前，业界最多的为I层供应商(如Amazon)。在IaaS中，CSC仅消费CSP提供的计算、存储、网络传输等基础设施能力，所以其必须提供相应的平台和软件应用，而CSP则以虚拟机的方式为CSC提供I层服务。有些计算任务具有计算时间长、数据量大、周期性运行的特点，例如企业级计算是一类复杂计算任务(Job)的统称，通常可表示为简单计算作业(Task)的工作流(例如图1所示)。如商业智能应用(BI，Business Intelligence)为典型的企业级计算，通过周期性(如以月、季度、甚至以年为单位)运行以对下1个周期做战略决策支撑。由于此类计算不是持续性计算，特意为其配备计算资源和相应的人力资源往往成本较高，因此，可将企业级计算部署至云端，利用云计算按需索取按使用付费的特点来降低成本。
目前存在大量I层供应商，现有技术中当有计算任务时，云网络通常是随机选择空闲的云资源来执行该计算任务。实践发现，现有技术中经常出现计算任务的所使用云资源成本过高或者交付期过长的问题，且云网络的云资源的利用效率也可相对较低。
发明内容
本发明实施例提供云业务处理方法及相关装置和系统，以期有效控制计算任务的交付期和/或成本，提高云资源的利用效率。
为解决上述技术问题，本发明实施例提供以下技术方案：
本发明实施例一方面提供一种云业务处理方法，可包括：
云资源管理节点接收任务请求；
其中，所述任务请求携带计算任务的描述信息，所述描述信息包括所述计算任务的作业描述信息和要求完工指标，所述要求完工指标包括交付期和/或预算；
所述云资源管理节点获取能够调度的云资源的处理能力和价格；
所述云资源管理节点基于所述获取的能够调度的云资源的处理能力和价格，构造所述计算任务对应的可用资源调度方案，若构造出的该可用资源调度方案对应的预估完工指标满足所述计算任务的要求完工指标，则基于所述可用资源调度方案，调用云资源执行所述计算任务的作业。
本发明实施例一方面提供一种云资源管理节点，可包括：
接收单元，用于接收任务请求，其中，所述任务请求携带计算任务的描述信息，所述描述信息包括所述计算任务的作业描述信息和要求完工指标，所述要求完工指标包括交付期和/或预算；
获取单元，用于获取能够调度的云资源的处理能力和价格；
构造单元，用于基于能够调度的云资源的处理能力和价格，构造所述计算任务对应的可用资源调度方案；
调用单元，用于若所述构造单元构造出的可用资源调度方案对应的预估完工指标，满足所述计算任务的要求完工指标，则基于构造出的该可用资源调度方案调用云资源执行所述计算任务的作业。
本发明实施例一方面提供一种云业务系统，可包括：
客户端，用于发送任务请求；
云资源管理节点，用于接收客户端发送的任务请求，其中，所述任务请求携带计算任务的描述信息，所述描述信息包括所述计算任务的作业描述信息和要求完工指标，所述要求完工指标包括交付期和/或预算；获取能够调度的云资源的处理能力和价格，基于所述获取的能够调度的云资源的处理能力和价格，构造所述计算任务对应的可用资源调度方案，若构造出的该可用资源调度方案对应的预估完工指标满足所述计算任务的要求完工指标，则基于所述可用资源调度方案，调用云资源执行所述计算任务的作业。
由上可见，本发明实施例中云资源管理节点在接收到任务请求后，基于获取的能够调度的云资源的处理能力和价格，构造计算任务对应的可用资源调度方案，若构造出的该可用资源调度方案对应的预估完工指标满足计算任务的要求完工指标，则基于构造出的该可用资源调度方案，调用云资源执行该计算任务的作业。由于云资源管理节点是在预先构造出满足计算任务的要求完工指标的可用资源调度方案之后，再基于构造出的可用资源调度方案调用云资源执行计算任务的作业，因此有利于实现交付期和/或预算的有效控制，且由于云资源管理节点是选择可满足计算任务的要求完工指标的云资源来执行计算任务的作业，即选择与计算任务较匹配的云资源来执行计算任务的作业，因此有利于提高云网络的云资源利用效率。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1是本发明实施例提供的一种云业务处理方法的流程示意图；
图2是本发明实施例提供的一种云业务系统的示意图；
图3是本发明实施例提供的另一种云业务处理方法的流程示意图；；
图4是本发明实施例提供的一种作业部署时间的示意图；
图5是本发明实施例提供的一种静态调度流程示意图；
图6是本发明实施例提供的一种动态调度流程示意图；
图7是本发明实施例提供的一种云资源管理节点的示意图；
图8-a是本发明实施例提供的另一种云资源管理节点的示意图；
图8-b是本发明实施例提供的一种构造单元的示意图；
图8-c是本发明实施例提供的另一种构造单元的示意图；
图8-d是本发明实施例提供的另一种云资源管理节点的示意图；
图9是本发明实施例提供的一种云业务系统的示意图。
具体实施方式
本发明实施例提供云业务处理方法及相关装置和系统，以期有效控制计算任务的交付期和/计算任务成本，提高云网络的云资源的利用率。
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
以下分别进行详细说明。
本发明实施例试图提供云业务处理方法，根据计算任务的特点，基于当前能够调用的云资源价格，选择合理的CSP及其提供的虚拟机进行计算，尽量满足计算任务交付期的同时将成本尽量最小化。
本发明云业务处理方法的一个实施例，可包括：云资源管理节点接收任务请求；其中，该任务请求携带计算任务的描述信息，该描述信息包括该计算任务的作业描述信息和要求完工指标，其中，该要求完工指标包括交付期和/或预算；云资源管理节点获取能够调度的云资源的处理能力和价格；云资源管理节点基于能够调度的云资源的处理能力和价格，构造该计算任务对应的可用资源调度方案，若构造出的该可用资源调度方案对应的预估完工指标满足该计算任务的要求完工指标，则基于构造出的该可用资源调度方案，调用云资源执行该计算任务的作业。
参见图1，本发明实施例提供的一种云业务处理方法，可包括以下内容：
101、云资源管理节点接收任务请求；
其中，任务请求可携带计算任务的描述信息，其中，该描述信息可包括该计算任务的作业描述信息和要求完工指标，该要求完工指标进而包括交付期和/或预算等；
在本发明的一些实施例中，计算任务的描述信息还可进一步包括如下信息的一个或多个：计算任务各作业的拓扑关系、预估(如客户端预估)的该各作业的处理时间及其测试平台关键资源的配置、该各作业的独立数据量和依赖数据量、预算松弛因子、该计算任务的待计算数据的地址、该计算任务的各作业的结果数据的地址、其它相关信息等。
102、云资源管理节点获取能够调度的云资源的处理能力和价格；
在本发明的一些实施例中，云资源管理节点可在接收到任务请求后，后周期性或非周期性的查询当前能够调度的云资源(空闲云资源，如空闲的虚拟机)的处理能力和价格，或者，云资源管理节点也可根据网络中其它节点通报的云资源的处理能力和价格，来获知其当前能够调度的云资源(空闲云资源，如空闲的虚拟机)的处理能力和价格，当然，云资源管理节点还可通过其它方式来获取能够调度的云资源的处理能力和价格。
103、云资源管理节点基于能够调度的云资源的处理能力和价格，构造计算任务对应的可用资源调度方案，若构造出的该可用资源调度方案对应的预估完工指标满足该计算任务的要求完工指标，则基于构造出的该可用资源调度方案，调用云资源执行该计算任务的作业。
由上可见，本实施例云资源管理节点在接收到任务请求之后，基于获取的能够调度的云资源的处理能力和价格，构造计算任务对应的可用资源调度方案，若构造出的该可用资源调度方案对应的预估完工指标满足计算任务的要求完工指标，则基于构造出的该可用资源调度方案，调用云资源执行该计算任务的作业。由于云资源管理节点是在预先构造出满足计算任务的要求完工指标的可用资源调度方案之后，再基于构造出的该可用资源调度方案调用云资源执行计算任务的作业，因此有利于实现交付期和/或预算的有效控制，且由于云资源管理节点是选择可满足计算任务的要求完工指标的云资源来执行计算任务的作业，即选择与计算任务较匹配的云资源来执行该计算任务的作业，因此有利于提高云网络的云资源利用效率。
在本发明的一些实施例中，云资源管理节点可采用如下举例方式，基于云资源信息来构造计算任务对应的可用资源调度方案。举例来说，云资源管理节点可构造资源调度方案；计算该资源调度方案的关键路径和非关键路径；将资源调度方案中，关键路径上的部分或全部作业对应的云资源更换为能够调度的更便宜的云资源(例如，云资源管理节点可根据关键路径上的各作业的处理时长，依次将关键路径上的各作业对应的云资源更换为能够调度的更便宜的云资源，例如处理时长越长的作业对应的云资源，越先更换为能够调度的更便宜的云资源，当然，若不存更便宜的云资源，则无需更换)；若更换作业的云资源之后使得该作业的费用增量小于0，且使得计算任务的预估完工指标满足要求完工指标，则基于更换的云资源修改当前的资源调度方案；将该资源调度方案中，该非关键路径上的部分或全部作业对应的云资源，更换为能够调度的更便宜的云资源(例如云资源管理节点根据非关键路径上的各作业的处理时长，依次将非关键路径上的各作业对应的云资源，更换为能够调度的更便宜的云资源，例如处理时长越长的作业对应的云资源，越先更换为能够调度的更便宜的云资源，当然，若已不存更便宜的云资源，则无需更换)；若更换作业的云资源之后，使得该作业的费用增量小于0，且使得该作业的完工时间不晚于该作业的最晚完工时间，则基于更换的云资源修改当前的资源调度方案，以得到可用资源调度方案。
可用理解，本发明实施例中所谓当前的资源调度方案，可认为是当前时间点最新的资源调度方案(当前的资源调度方案可能是直接构造出的，也可能是通过修改此前的资源调度方案而得到的)。
又例如，云资源管理节点可构造资源调度方案；计算该资源调度方案的关键路径和非关键路径；将该资源调度方案中，非关键路径上的部分或全部作业对应的云资源，更换为能够调度的更便宜的云资源(例如，云资源管理节点可根据非关键路径上的各作业的处理时长，依次将非关键路径上的各作业对应的云资源，更换为能够调度的价格更便宜的云资源，例如，处理时长越长的作业对应的云资源，越先更换为能够调度的更便宜的云资源，当然，若已不存更便宜的云资源，则无需更换)；若更换作业的云资源之后使得该作业的费用增量小于0，且使得该作业的完工时间不晚于该作业的最晚完工时间，则基于更换的云资源修改，当前的资源调度方案；将资源调度方案中，关键路径上的部分或全部作业对应的云资源，更换为能够调度的更便宜的云资源(例如云资源管理节点可根据关键路径上的各作业的处理时长，依次将关键路径上的各作业对应的云资源更换为能够调度的更便宜的云资源，例如，处理时长越长的作业对应的云资源，可越先更换为能够调度的更便宜的云资源，当然，若不存更便宜的云资源，则无需更换)；若更换作业的云资源之后使得该作业的费用增量小于0，且使得计算任务的预估完工指标满足要求完工指标，则可基于更换的云资源，修改当前的资源调度方案，以得到可用资源调度方案。
在本发明的一些实施例中，云资源管理节点可采用如下举例方式，构造资源调度方案，举例来说，云资源管理节点可基于其能够调度的最高性能的云资源(例如最高配置的虚拟机)的处理能力，预估计算任务的各作业的计算时间和处理时间；根据各作业之间的拓扑关系和预估出的各作业的计算时间和处理时间，预估上述各作业的开始部署时间、开始处理时间、完成处理时间及计算任务的完工时间及相应费用；基于预估出的上述各作业的开始部署时间、开始处理时间、完成处理时间及计算任务的完工时间和相应费用，来构造资源调度方案。
在本发明的一些实施例中，云资源管理节点构造的资源调度方案和/或可用资源调度方案中记录的内容例如可包括如下信息的一个或多个：计算任务的各作业的作业ID、该各作业对应的预估开始处理时间、该各作业对应的预估结束处理时间、该各作业对应的CSP的ID、该各作业对应的云资源配置(例如虚拟机配置)和各作业对应的预估开始部署时间。其中，可用资源调度方案例如可以资源调度表的形式存储。
在本发明的一些实施例中，云资源管理节点则基于可用资源调度方案来调用云资源执行该计算任务的作业的过程中，若计算任务中，某前序作业的运算结果为某后序作业的依赖数据量，则云资源管理节点可在可用资源调度方案中记录的该后序作业的预估开始部署时间内，将该前序作业的运算结果发送给该后序作业所使用的云资源，以便该后序作业所使用的云资源据此来执行该后序作业。此外，计算任务中，后序作业的独立数据量的部署可与前序作业处理过程并行，这样有利于缩短处理时间，提高系统性能。
在本发明的一些实施例中，云资源管理节点还可在云资源执行计算任务的作业的过程，进一步根据需要来动态修正(当前)可用资源调度方案中，对应尚未部署作业的相关预估信息，例如，在调用云资源执行该计算任务的作业过程中，若当前完成的作业不是该计算任务的最后一个作业，则云资源管理节点可评估当前预估信息的准确度，若不准确，则云资源管理节点可修正可用资源调度方案中对应尚未部署作业的相关预估信息；当然，若准确，则云资源管理节点无需修正可用资源调度方案中对应尚未部署作业的相关预估信息。
在本发明的一些实施例中，云资源管理节点可采用如下举例方式，修正可用资源调度方案中对应尚未部署作业的相关预估信息，例如，云资源管理节点可重构可用资源调度方案；计算该重构的可用资源调度方案的关键路径和非关键路径；将重构的可用资源调度方案中，关键路径上尚未部署的部分或全部作业对应的云资源更换为能够调度的更便宜的云资源(例如，云资源管理节点可根据关键路径上的各尚未部署作业的处理时长，依次将关键路径上的各尚未部署作业对应的云资源更换为能够调度的更便宜的云资源，例如处理时长越长的尚未部署作业对应的云资源，越先更换为能够调度的更便宜的云资源，当然若不存更便宜的云资源，则无需更换)；若更换作业的云资源之后使得该作业的费用增量小于0，且使得计算任务的预估完工指标满足要求完工指标，则基于更换的云资源修改该当前的可用资源调度方案；将该重构的可用资源调度方案中，该非关键路径上的部分或全部尚未部署作业对应的云资源，更换为能够调度的更便宜的云资源(例如，云资源管理节点可根据非关键路径上的各尚未部署作业的处理时长，依次将非关键路径上的各尚未部署作业对应的云资源，更换为能够调度的更便宜的云资源，例如处理时长越长的尚未部署作业对应的云资源，可越先更换为能够调度的更便宜的云资源，当然若已不存更便宜的云资源，则无需更换)；若更换作业的云资源之后使得该作业的费用增量小于0，且使得该作业的完工时间不晚于该作业的最晚完工时间，则可基于更换的云资源修改当前可用资源调度方案，以得到最新的可用资源调度方案。
可用理解的是，本发明实施例中所谓当前的可用资源调度方案，可认为是当前时间点最新的可用资源调度方案(当前的可用资源调度方案可能是直接构造出的，也可能是通过修改此前的资源调度方案或可用资源调度方案而得到的)。
又例如，云资源管理节点可重构可用资源调度方案；计算该重构的可用资源调度方案的关键路径和非关键路径；将重构的可用资源调度方案中，非关键路径上的部分或全部尚未部署作业对应的云资源，更换为能够调度的更便宜的云资源(例如，云资源管理节点可根据非关键路径上的各尚未部署作业的处理时长，依次将非关键路径上的各尚未部署作业对应的云资源，更换为能够调度的更便宜的云资源，例如处理时长越长的尚未部署作业对应的云资源，越先更换为能够调度的更便宜的云资源，当然，若已不存更便宜的云资源，则无需更换)；若更换作业的云资源之后使得该作业的费用增量小于0，且使得该作业的完工时间不晚于该作业的最晚完工时间，则基于更换的云资源修改该当前的可用资源调度方案；将重构的可用资源调度方案中，关键路径上的部分或全部尚未部署作业对应的云资源，更换为能够调度的更便宜的云资源(例如，云资源管理节点可根据关键路径上的各尚未部署作业的处理时长，依次将关键路径上的各尚未部署作业对应的云资源更换为能够调度的更便宜的云资源，例如，处理时长越长的尚未部署作业对应的云资源，可越先更换为能够调度的更便宜的云资源，当然若不存更便宜的云资源，则无需更换)；若更换作业的云资源之后使得该作业的费用增量小于0，且使得计算任务的预估完工指标满足要求完工指标，则可基于更换的云资源，修改当前的可用资源调度方案，以得到最新的可用资源调度方案。
在本发明的一些实施例中，云资源管理节点可采用如下举例方式，重构可用资源调度方案。例如，云资源管理节点可基于其能够调度的最高性能的云资源(如最高配置的虚拟机)的处理能力，预估计算任务的各未部署作业的计算时间和处理时间；根据作业之间的拓扑关系和预估出的各未部署作业的计算时间和处理时间，预估上述各未部署作业的开始部署时间、开始处理时间、完成处理时间及计算任务的完工时间及相应费用；基于预估出的上述各未部署作业的开始部署时间、开始处理时间、完成处理时间及计算任务的完工时间和相应费用，重构可用资源调度方案。
在一些应用场景下，例如，可将中央处理器(CPU，Central Processing Unit)视为企业级计算任务的关键资源进行阐述。由于I层供应商很多，本发明实施例考虑借助云资源管理节点(例如云代理节点(CB，Cloud Broker)等)来收集各CSP的资源信息(其中，CSP的资源信息可包括VM配置及价格等)。参见图2，CSC、CSP和CB的一种拓扑关系可如图2所示。可以理解，CB的角色可以由CSP来担任(即CSP可集成CB的部分或全部功能)，例如，某CSP也可收集其它CSP的资源信息，并可根据这些资源信息来进行任务分配，此时可将担任CB角色的CSP看做是云资源管理节点。
为便于更好的理解和实施本发明实施例的上述方案，下面通过几个具体的应用场景进行进一步举例说明。
在一些应用场景下，云资源管理节点可先基于计算任务特点(如计算任务各作业间的拓扑关系、各作业预估时间、任务交付期等)和云资源管理节点能够调度的云资源，利用静态调度算法构造该计算任务的可用资源调度方案(例如可利用可用调度时间表来记录可用资源调度方案的内容)，并计算出满足该任务交付期前提下的最小费用及其相应完工时间(makespan)。进一步的，在计算任务执行过程中，云资源管理节点可使用动态调度算法调整计算任务的实际计算过程，从而减小作业预估时间误差对makespan的影响，使得实际的makespan尽量满足交付期且尽量保持最小成本。
参见图3、本发明实施例提供的另一种云业务处理方法，可包括以下内容：
301、客户端发送任务请求；
其中，任务请求可携带计算任务的描述信息，该描述信息可包括该计算任务的作业描述信息和要求完工指标，要求完工指标包括交付期(Due Date，可简称D)和/或预算(Due Date，可简称D)等等。
在本发明的一些实施例中，计算任务的描述信息还可进一步包括如下信息的一个或多个：计算任务各作业的拓扑关系、预估的(如客户端预估的)该各作业的处理时间及其测试平台关键资源的配置、该各作业的独立数据量(Qi)和依赖数据量(Qd)、预算松弛因子(Budget Relaxed Factor，可设为θ)、该计算任务的待计算数据的地址、该计算任务的各作业的结果数据的地址、其它相关信息等。
其中，预算松弛因子θ，可指用于动态调度的预算比例，也就是说，静态调度一般只使用预算B中的(1-θ)×100％，剩余的θ×100％的预算则用于动态调度。独立数据，指只被对应作业使用的数据和程序，依赖数据，是指对应作业的前序作业的输出数据。在某作业开始计算之前，可能需要一段准备时间用于独立数据的传输和准备。
假设网络有效带宽为b，则准备时间为(Qi+Qd)/b，其中，Qi/b不依赖于前序作业，而Qd/b依赖前序作业的输出，所以可将Qi/b与作业计算时间之和，定义为该作业的处理时间。其中，本发明实施例的两个前后序作业的关系可如图4所示，计算任务中，后序作业的独立数据的部署，可与前序作业处理过程并行，这样有利于缩短处理时间，提高系统性能。
302、云资源管理节点获取能够调度的云资源的处理能力和价格；
在本发明的一些实施例中，云资源管理节点可在接收到任务请求后，后周期性或非周期性的查询当前能够调度的云资源(空闲云资源，如空闲的虚拟机)的处理能力和价格，或者，云资源管理节点也可根据网络中其它节点通报的云资源的处理能力和价格，来获知其当前能够调度的云资源(空闲云资源，如空闲的虚拟机)的处理能力和价格。
303、云资源管理节点接收来自客户端的任务请求后，基于能够调度的云资源的处理能力和价格，构造计算任务对应的可用资源调度方案；
304、若构造出的可用资源调度方案对应的预估完工指标满足该计算任务的要求完工指标，则云资源管理节点基于构造出的可用资源调度方案，调用云资源执行该计算任务的作业。
当然，若构造出的可用资源调度方案对应的预估完工指标不满足该计算任务的要求完工指标，则云资源管理节点例如可提示客户端重新提交任务或直接拒绝该任务请求。
在本发明的一些实施例中，云资源管理节点还可云资源执行计算任务的作业的过程，进一步根据需要来动态修正可用资源调度方案中对应尚未部署作业的相关预估信息，例如，在调用云资源执行该计算任务的作业过程中，若当前完成的作业不是该计算任务的最后一个作业，则云资源管理节点可评估当前预估信息的准确度，若不准确，则云资源管理节点可修正可用资源调度方案中对应尚未部署作业的相关预估信息；当然，若准确，则云资源管理节点无需修正可用资源调度方案中对应尚未部署作业的相关预估信息。
在本发明的一些实施例中，云资源管理节点则基于可用资源调度方案来调用云资源执行该计算任务的作业的过程中，若计算任务中，某前序作业的运算结果为某后序作业的依赖数据量，则云资源管理节点可在可用资源调度方案中记录的该后序作业的预估开始部署时间内，将该前序作业的运算结果发送给该后序作业所使用的云资源，以便该后序作业所使用的云资源据此来执行该后序作业。此外，计算任务中，后序作业的独立数据量的部署可与前序作业处理过程并行，这样有利于缩短处理时间，提高系统性能。
305、云资源完成计算任务的计算后，云资源管理节点可向客户端发送任务完成消息。
在本发明一个实施例中，若云资源返回的计算任务的计算结果超过了客户端提交的预算和/或交付期，可能的原因为预估指标的误差太大，此时可交由双方都认可的Audit进行仲裁。
参见图5，图5为本发明实施例提供一种构造计算任务的可用资源调度方案的举例流程示意图。
501、云资源管理节点构造计算任务的资源调度方案；
其中，云资源管理节点例如基于以下举例方式，构造计算任务的资源调度方案。例如，云资源管理节点可基于其能够调度的最高性能的云资源(如最高配置的虚拟机)的处理能力，预估计算任务的各作业的计算时间和处理时间(例如，根据最高配置的虚拟机和客户端测试CPU的主频之间的比例，预估计算任务的各作业的计算时间和处理时间)；根据各作业之间的拓扑关系和预估出的各作业的计算时间和处理时间，预估上述各作业的开始部署时间、开始处理时间、完成处理时间及计算任务的完工时间及相应费用；基于预估出的上述各作业的开始部署时间、开始处理时间、完成处理时间及计算任务的完工时间和相应费用，构造资源调度方案。
可以理解的是，在资源调度方案中，计算任务中的所有作业均可能都会以最短时间完成。
502、云资源管理节点计算资源调度方案的关键路径和非关键路径；
503、云资源管理节点将关键路径上的各作业基于处理时长排序(其中该排序结果可记录到利用数组Ak)；云资源管理节点将非关键路径上的各作业基于处理时长排序(其中该排序结果可记录到Ank)；
504、云资源管理节点按照关键路径上的各作业的排序顺序，依次将关键路径上的各作业对应的云资源更换为云资源管理节点能够调度的更便宜的云资源(例如关键路径上处理时长越长的作业对应的云资源，越先将其更换为云资源管理节点能够调度的更便宜的云资源，当然若不存更便宜的云资源，则无需更换)，若更换作业的云资源之后使得该作业的费用增量小于0，且使得计算任务的预估完工指标满足要求完工指标(预算和/或交付期等)，则基于更换的云资源修改当前的资源调度方案，以得到当前最新资源调度方案；
505、云资源管理节点按照非关键路径上的各作业的排序顺序，依次将非关键路径上的各作业对应的云资源更换为云资源管理节点能够调度的更便宜的云资源(例如关键路径上处理时长越长的作业对应的云资源，越先将其更换为云资源管理节点能够调度的更便宜的云资源，若不存更便宜的云资源，则无需更换)，若更换作业的云资源之后使得该作业的费用增量小于0，且使得该作业的完工时间不晚于该作业的最晚完工时间，则基于更换的云资源修改当前的资源调度方案，以得到当前最新的资源调度方案。
可以理解，上述是以先更换关键路径上作业对应的云资源，而后再更换非关键路径上作业对应的云资源为例进行说明的，当然，在实际应用中，亦可以先更换非关键路径上的作业对应的云资源，而后再更换关键路径上的作业对应的云资源，或者也可穿插进行。
在本发明的一些实施例中，云资源管理节点构造的资源调度方案和/或可用资源调度方案中记录的内容例如可包括如下信息的一个或多个：计算任务的各作业的作业ID、该各作业对应的预估开始处理时间、该各作业对应的预估结束处理时间、该各作业对应的CSP的ID、该各作业对应的云资源配置(例如虚拟机配置)和各作业对应的预估开始部署时间。其中，可用资源调度方案例如可以资源调度表的形式存储。
其中，完工时间即为最后一个作业的结束处理时间，而最低费用即为所有作业所使用云资源(如VM)的费用之和，而每个作业的消费为：(结束处理时间-部署开始时间)×云资源的单价；其中，若最低费用小于(1-θ)×B则认为可行；反之则认为不可行，若不可行则可提示用户进行任务属性的修改(例如可增加预算B、减小θ和/或延长交付期等)。
用户确认后计算任务即可进入执行状态。
参见图6，图6为本发明实施例提供一种动态修正可用资源调度方案的举例流程示意图。
601、在调用云资源执行该计算任务的作业过程中，若当前完成的作业不是该计算任务的最后一个作业，则云资源管理节点可评估当前预估信息的准确度；
602、若评估出当前预估信息不准确，则云资源管理节点重构可用资源调度方案；
其中，云资源管理节点可基于作业的计算时间、独立数据量、依赖数据量等的预估准确度，重新计算未部署作业的计算时间，根据重新计算出的未部署作业的计算时间，重构可用资源调度方案。
其中，云资源管理节点例如基于以下举例方式，重构计算任务的可用资源调度方案。例如，云资源管理节点可基于其能够调度的最高性能的云资源(如最高配置的虚拟机)的处理能力，预估计算任务的各未部署作业的计算时间和处理时间(例如，可根据最高配置的虚拟机和客户端测试CPU的主频之间的比例关系，预估计算任务的各作业的计算时间和处理时间)；根据各作业之间的拓扑关系和预估出的各未部署作业的计算时间和处理时间，预估上述各未部署作业的开始部署时间、开始处理时间、完成处理时间及计算任务的完工时间及相应费用；基于预估出的各尚未部署作业的开始部署时间、开始处理时间、完成处理时间及计算任务的完工时间和相应费用，重构计算任务的可用资源调度方案。
603、云资源管理节点计算重构的可用资源调度方案的关键路径和非关键路径；
604、云资源管理节点按照关键路径上各尚未部署作业的排序顺序，依次将关键路径上的各尚未部署作业对应的云资源，更换为云资源管理节点能够调度的更便宜的云资源(例如关键路径上处理时长越长的尚未部署作业对应的云资源，越先将其更换为云资源管理节点能够调度的更便宜的云资源，当然若不存更便宜的云资源，则无需更换)，若更换作业的云资源之后使得该作业的费用增量小于0，且使得计算任务的预估完工指标满足要求完工指标(预算和/或交付期等)，则基于更换的云资源修改当前的可用资源调度方案，以得到当前最新的可用资源调度方案；
605、云资源管理节点按照非关键路径上各尚未部署作业的排序顺序，依次将非关键路径上的各尚未部署作业对应的云资源，更换为云资源管理节点能够调度的更便宜的云资源(例如关键路径上处理时长越长的尚未部署作业对应的云资源，越先将其更换为云资源管理节点能够调度的更便宜的云资源，若不存更便宜的云资源，则无需更换)，若更换该尚未部署作业的云资源之后，使得该作业的费用增量小于0，且使得该尚未部署作业的完工时间不晚于该尚未部署作业的最晚完工时间，则基于更换的云资源修改当前的可用资源调度方案，以得到当前最新资源调度方案。
可以理解，上述是以先更换关键路径上尚未部署作业对应的云资源，而后再更换非关键路径上尚未部署作业对应的云资源为例进行说明的，当然，在实际应用中，亦可以先更换非关键路径上的尚未部署作业对应的云资源，而后再更换关键路径上的尚未部署作业对应的云资源，或者也可穿插进行。
参见图7，本发明实施例下面还举例一种云资源管理节点的软件架构。
其中，各功能单元的主要功能可如下：
JSP(Job Submission Portal)，主要提供企业用户计算任务的编辑和提交功能；
JM(Job Manager)，主要用于任务的流程管理(例如与用户交互、任务执行驱动、记录任务的执行进度以便用户查询等)；
SS(Static Scheduler)，主要用于任务的静态调度，SS可输出任务的调度时间表；
DMod(Dynamic Modifier)，用于根据任务执行状态动态修正调度时间表中尚未部署作业的相关信息，使任务的实际执行过程尽量满足用户需求；
DR(Data Repository)，用于存储任务数据和云资源信息等；
DM(Data Manager)，用于负责云资源信息和任务数据等信息的读写；
JE(Job Executor)，用于负责任务的具体执行；
DMon(Dynamic Monitor)，用于监控各作业是否完成；
AR(App Repository)，提供任务所需的应用及其相关平台软件；
AM(App Manager)，负责将应用及其平台软件组装形成一个完整可供直接部署至云端的镜像；
CRM(Cloud Resource Manager)，用于云资源的接入和监控。
其中，基于上述架构的一种可行的客户端提交计算任务的过程可如下：
客户端在JSP上编辑任务并提交；
SS通过DM向DR发出云资源查询请求；
DR查询相关云资源的信息；
SS调用静态调度算法获得时间表、最小费用和完工时间；
JM进行可行性判断；
若方案不可行(如超出预算和/或交付期等)，用户修改任务属性(如预算、交付期等信息)后再次提交；
若方案可行(满足预算和交付期等)，用户确认后计算任务进入运行状态。
其中，基于上述架构的一种可行的计算任务执行过程可如下：
执行作业的准备工作，包括云资源的获取、独立数据和依赖数据的部署等；
DMon周期性的检查是否有作业完成；
JE基于调度时间表周期性的检查是否有作业需要部署；
作业完成之后释放该作业所占用的云资源；
JE向JM汇报作业完成；
若当前完成的作业不是计算任务最后1个的作业，评估该计算任务的关键属性(计算时间、独立数据量、依赖数据量)的预估准确度，基于动态调度算法修正尚未部署作业在时间表中的相关信息；
若当前完成的作业为计算任务的最后1个作业，则JM向用户发送计算任务完成消息。
可以理解的是，上述举例提供的云资源管理节点所包括的部分模块是可以省略的，且其中的多个模块也可集成为一个模块，其中的某个模块也可能拆分为多个模块，或某模块的功能可集成到其它一个或多个模块中。
由上可见，本实施例中云资源管理节点在接收到任务请求后，基于获取的能够调度的云资源的处理能力和价格，构造计算任务对应的可用资源调度方案，若构造出的该可用资源调度方案对应的预估完工指标满足计算任务的要求完工指标，则基于构造出的该可用资源调度方案，调用云资源执行该计算任务的作业。由于云资源管理节点是在预先构造出满足计算任务的要求完工指标的可用资源调度方案之后，再基于构造出的该可用资源调度方案调用云资源执行计算任务的作业，因此有利于实现交付期和/或预算的有效控制，且由于云资源管理节点是选择可满足计算任务的要求完工指标的云资源来执行计算任务的作业，即选择与计算任务较匹配的云资源来执行计算任务的作业，因此有利于提高云网络的云资源利用效率。
本发明实施例的方案重点关注计算任务本身属性(例如交付期和/或预算等)，在客户端提交计算任务信息准确的情况下，本发明实施例的方案有利于实现在满足交付期的同时，挑选相对廉价云资源，从而有利于减少成本；独立数据的部署与前序作业处理过程并行，有效提高系统的性能；动态调度策略根据作业的实际执行情况，评估作业计算时间、独立数据量、依赖数据量等属性的预估准确度，根据准确度重新计算未部署作业计算时间、独立数据量、依赖数据量等属性并重新构造最新的可用资源调度方案，以减小输入信息误差的影响。
需要说明的是，对于前述的各方法实施例，为了简单描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本发明并不受所描述的动作顺序的限制，因为依据本发明，某些步骤可以采用其他顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于优选实施例，所涉及的动作和模块并不一定是本发明所必须的。
为便于更好的实施本发明实施例的上述方案，下面还提供用于实施上述方案的相关装置和系统。
参见图8，本发明实施例提供一种云资源管理节点800，可以包括：接收单元810、获取单元840、构造单元820和调用单元830。
其中，接收单元810，用于接收任务请求，该任务请求携带计算任务的描述信息，该描述信息包括该计算任务的作业描述信息和要求完工指标，该要求完工指标包括交付期和/或预算；
在本发明的一些实施例中，计算任务的描述信息还可进一步包括如下信息的一个或多个：计算任务各作业的拓扑关系、预估(如客户端预估)的该各作业的处理时间及其测试平台关键资源的配置、该各作业的独立数据量和依赖数据量、预算松弛因子、该计算任务的待计算数据的地址、该计算任务的各作业的结果数据的地址、其它相关信息等。
获取单元840，用于获取能够调度的云资源的处理能力和价格；
在本发明的一些实施例中，获取单元840可在接收单元810接收到任务请求后，后周期性或非周期性的查询当前能够调度的云资源(空闲云资源，如空闲的虚拟机)的处理能力和价格，或者，获取单元840也可根据网络中其它节点通报的云资源的处理能力和价格，来获知其当前能够调度的云资源(空闲云资源，如空闲的虚拟机)的处理能力和价格，当然，获取单元840还可通过其它方式来获取能够调度的云资源的处理能力和价格。
构造单元820，用于基于能够调度的云资源的处理能力和价格，构造计算任务对应的可用资源调度方案；
调用单元830，用于若构造单元820构造出的可用资源调度方案对应的预估完工指标，满足计算任务的要求完工指标，则基于构造出的该可用资源调度方案调用云资源执行上述计算任务的作业。
参见图8-b和图8-c，在本发明的一些实施例中，构造单元820可包括：
构造子单元821、路径计算单元822、以及第一调整单元823或第二调整单元824。
其中，构造子单元821，用于构造资源调度方案；
路径计算单元822，用于计算构造子单元821构造的资源调度方案的关键路径和非关键路径；
第一调整单元823，用于将上述资源调度方案中，关键路径上的部分或全部作业对应的云资源，更换为能够调度的更便宜的云资源；若更换作业的云资源之后使得该作业的费用增量小于0，且使得计算任务的预估完工指标满足要求完工指标(预算和/或交付期等)，则基于更换的上述云资源修改当前的资源调度方案；将上述资源调度方案中，上述非关键路径上的部分或全部作业对应的云资源更换为能够调度的更便宜的云资源；若更换作业的云资源之后使得该作业的费用增量小于0，且使得该作业的完工时间不晚于该作业的最晚完工时间，则基于更换的上述云资源修改当前的资源调度方案，以得到可用资源调度方案。
第二调整单元824，用于将上述资源调度方案中，非关键路径上的部分或全部作业对应的云资源更换为能够调度的更便宜的云资源；若更换作业的云资源之后使得该作业的费用增量小于0，且使得该作业的完工时间不晚于该作业的最晚完工时间，则基于更换的上述云资源修改当前的资源调度方案；将该资源调度方案中，上述关键路径上的部分或全部作业对应的云资源，更换为能够调度的更便宜的云资源；若更换作业的云资源之后使得该作业的费用增量小于0，且使得计算任务的预估完工指标满足要求完工指标(预算和/或交付期等)，则基于更换的上述云资源修改当前的资源调度方案，以得到可用资源调度方案。
在本发明的一些实施例中，构造子单元821可具体用于，基于能够调度的最高性能的云资源的处理能力，预估上述计算任务的各作业的计算时间和处理时间；根据上述各作业之间的拓扑关系和预估出的上述各作业的计算时间和处理时间，预估上述各作业的开始部署时间、开始处理时间、完成处理时间以及上述计算任务的完工时间及相应费用；基于预估出的上述计算任务的各作业的开始部署时间、开始处理时间、完成处理时间及上述计算任务的完工时间和相应费用，构造资源调度方案。
在本发明的一些实施例中，云资源管理节点构造的资源调度方案和/或可用资源调度方案中记录的内容例如可包括如下信息的一个或多个：计算任务的各作业的作业ID、该各作业对应的预估开始处理时间、该各作业对应的预估结束处理时间、该各作业对应的CSP的ID、该各作业对应的云资源配置(例如虚拟机配置)和各作业对应的预估开始部署时间。其中，可用资源调度方案例如可以资源调度表的形式存储。
参见图8-d，在本发明的一些实施例中，云资源管理节点800还可包括：
修正单元850，用于在调用单元830调用云资源执行上述计算任务的作业的过程中，若当前已完成的作业不是上述计算任务的最后一个作业，则评估当前已预估信息的准确度，若不准确，则修正当前的可用资源调度方案中对应上述计算任务尚未部署作业的相关预估信息。
在本发明的一些实施例中，修正单元850可采用如下举例方式，修正可用资源调度方案中对应尚未部署作业的相关预估信息，例如，修正单元850可重构可用资源调度方案；计算该重构的可用资源调度方案的关键路径和非关键路径；将重构的可用资源调度方案中，关键路径上尚未部署的部分或全部作业对应的云资源更换为能够调度的更便宜的云资源(例如，修正单元850可根据关键路径上的各尚未部署作业的处理时长，依次将关键路径上的各尚未部署作业对应的云资源更换为能够调度的更便宜的云资源，例如处理时长越长的尚未部署作业对应的云资源，越先更换为能够调度的更便宜的云资源，当然若不存更便宜的云资源，则无需更换)；若更换作业的云资源之后使得该作业的费用增量小于0，且使得计算任务的预估完工指标满足要求完工指标，则基于更换的云资源修改该当前的可用资源调度方案；将该重构的可用资源调度方案中，该非关键路径上的部分或全部尚未部署作业对应的云资源，更换为能够调度的更便宜的云资源(例如，修正单元850可根据非关键路径上的各尚未部署作业的处理时长，依次将非关键路径上的各尚未部署作业对应的云资源，更换为能够调度的更便宜的云资源，例如处理时长越长的尚未部署作业对应的云资源，可越先更换为能够调度的更便宜的云资源，当然若已不存更便宜的云资源，则无需更换)；若更换作业的云资源之后使得该作业的费用增量小于0，且使得该作业的完工时间不晚于该作业的最晚完工时间，则可基于更换的云资源修改当前可用资源调度方案，以得到最新的可用资源调度方案。
又例如，修正单元850可重构可用资源调度方案；计算该重构的可用资源调度方案的关键路径和非关键路径；将重构的可用资源调度方案中，非关键路径上的部分或全部尚未部署作业对应的云资源，更换为能够调度的更便宜的云资源(修正单元850可根据非关键路径上的各尚未部署作业的处理时长，依次将非关键路径上的各尚未部署作业对应的云资源，更换为能够调度的更便宜的云资源，例如处理时长越长的尚未部署作业对应的云资源，越先更换为能够调度的更便宜的云资源，当然，若已不存更便宜的云资源，则无需更换)；若更换作业的云资源之后使得该作业的费用增量小于0，且使得该作业的完工时间不晚于该作业的最晚完工时间，则基于更换的云资源修改该当前的可用资源调度方案；将重构的可用资源调度方案中，关键路径上的部分或全部尚未部署作业对应的云资源，更换为能够调度的更便宜的云资源(例如，修正单元850可根据关键路径上的各尚未部署作业的处理时长，依次将关键路径上的各尚未部署作业对应的云资源更换为能够调度的更便宜的云资源，例如，处理时长越长的尚未部署作业对应的云资源，可越先更换为能够调度的更便宜的云资源，当然若不存更便宜的云资源，则无需更换)；若更换作业的云资源之后使得该作业的费用增量小于0，且使得计算任务的预估完工指标满足要求完工指标，则可基于更换的云资源，修改当前的可用资源调度方案，以得到最新的可用资源调度方案。
在本发明的一些实施例中，修正单元850可采用如下举例方式，重构可用资源调度方案。例如，修正单元850可基于其能够调度的最高性能的云资源(例如，最高配置的虚拟机)的处理能力，预估计算任务的各未部署作业的计算时间和处理时间；根据作业之间的拓扑关系和预估出的各未部署作业的计算时间和处理时间，预估上述各未部署作业的开始部署时间、开始处理时间、完成处理时间及计算任务的完工时间及相应费用；基于预估出的上述各未部署作业的开始部署时间、开始处理时间、完成处理时间及计算任务的完工时间和相应费用，重构可用资源调度方案。
可以理解的是，本实施例中介绍的云资源管理节点800可如上述方法实施例中的云资源管理节点，其各个功能模块的功能可以根据上述方法实施例中的方法具体实现，其具体实现过程可以参照上述方法实施例的相关描述，此处不再一一赘述。
参见图9，本发明实施例还提供一种云业务系统，可包括：客户端910和云资源管理节点920。
其中，客户端910，用于发送任务请求；
云资源管理节点920，用于接收客户端910发送的任务请求，其中，该任务请求携带计算任务的描述信息，该描述信息包括该计算任务的作业描述信息和要求完工指标，该要求完工指标包括交付期和/或预算；获取能够调度的云资源的处理能力和价格，基于获取的能够调度的云资源处理能力和价格，构造上述计算任务对应的可用资源调度方案，若构造出的该可用资源调度方案对应的预估完工指标满足上述计算任务的要求完工指标，则基于上述可用资源调度方案，调用云资源执行上述计算任务的作业。
其中，云资源管理节点920例如可具有上述实施例中的云资源管理节点800的部分或全部功能，其功能可根据上述方法实施例中的方法具体实现，其具体实现过程可以参照上述方法实施例的相关描述，此处不再一一赘述。
在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其他实施例的相关描述。
综上，本发明实施例中云资源管理节点在接收到任务请求后，基于获取的能够调度的云资源的处理能力和价格，构造计算任务对应的可用资源调度方案，若构造出的该可用资源调度方案对应的预估完工指标满足计算任务的要求完工指标，则基于构造出的该可用资源调度方案，调用云资源执行该计算任务的作业。由于云资源管理节点是在预先构造出满足计算任务的要求完工指标的可用资源调度方案之后，再基于构造出的可用资源调度方案调用云资源执行计算任务的作业，因此有利于实现交付期和/或预算的有效控制，且由于云资源管理节点是选择可满足计算任务的要求完工指标的云资源来执行计算任务的作业，即选择与计算任务较匹配的云资源来执行计算任务的作业，因此有利于提高云网络的云资源利用效率。
本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，该程序可以存储于一计算机可读存储介质中，存储介质可以包括：只读存储器、随机存储器、磁盘或光盘等。
以上对本发明实施例所提供的云业务处理方法及相关装置和系统进行了详细介绍，本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上，本说明书内容不应理解为对本发明的限制。
Claims (13)
1.一种云业务处理方法，其特征在于，包括：
云资源管理节点接收任务请求；
其中，所述任务请求携带计算任务的描述信息，所述描述信息包括所述计算任务的作业描述信息和要求完工指标，所述要求完工指标包括交付期和/或预算；
所述云资源管理节点获取能够调度的云资源的处理能力和价格；
所述云资源管理节点基于所述获取的能够调度的云资源的处理能力和价格，构造所述计算任务对应的可用资源调度方案，若构造出的该可用资源调度方案对应的预估完工指标满足所述计算任务的要求完工指标，则基于所述可用资源调度方案，调用云资源执行所述计算任务的作业。
2.根据权利要求1所述的方法，其特征在于，
所述基于所述获取的能够调度的云资源的处理能力和价格，构造所述计算任务对应的可用资源调度方案，包括：
构造资源调度方案；
计算所述资源调度方案的关键路径和非关键路径；
将所述资源调度方案中，所述关键路径上的部分或全部作业对应的云资源，更换为能够调度的更便宜的云资源；若更换所述作业的云资源之后使得该作业的费用增量小于0，且使得所述计算任务的预估完工指标满足所述要求完工指标，则基于更换的所述云资源，修改当前的资源调度方案；将所述资源调度方案中，所述非关键路径上的部分或全部作业对应的云资源，更换为能够调度的更便宜的云资源；若更换所述作业的云资源之后使得该作业的费用增量小于0，且使得该作业的完工时间不晚于该作业的最晚完工时间，则基于更换的所述云资源修改当前的资源调度方案，以得到可用资源调度方案；
或者，将所述资源调度方案中，所述非关键路径上的部分或全部作业对应的云资源，更换为能够调度的更便宜的云资源；若更换所述作业的云资源之后使得该作业的费用增量小于0，且使得该作业的完工时间不晚于该作业的最晚完工时间，则基于更换的所述云资源，修改当前的资源调度方案；将所述资源调度方案中，所述关键路径上的部分或全部作业对应的云资源，更换为能够调度的更便宜的云资源；若更换所述作业的云资源之后，使得该作业的费用增量小于0，且使得所述计算任务的预估完工指标满足所述要求完工指标，则基于更换的所述云资源修改当前的资源调度方案，以得到可用资源调度方案。
3.根据权利要求2所述的方法，其特征在于，
所述构造资源调度方案，包括：
基于能够调度的最高性能的云资源的处理能力，预估所述计算任务的各作业的计算时间和处理时间；根据所述各作业之间的拓扑关系和预估出的所述各作业的计算时间和处理时间，预估所述各作业的开始部署时间、开始处理时间、完成处理时间及所述计算任务的完工时间及相应费用；基于预估出的所述计算任务的各作业的开始部署时间、开始处理时间、完成处理时间及所述计算任务的完工时间和相应费用，构造资源调度方案。
4.根据权利要求1至3任一项所述的方法，其特征在于，
所述可用资源调度方案记录的内容包括：
所述计算任务各作业的作业标识、预估的所述各作业的开始部署时间、预估的所述各作业的开始处理时间、预估的所述各作业的完成处理时间、所述各作业对应的云服务供应商标识和所述各作业对应的云资源配置。
5.根据权利要求1至4任一项所述的方法，其特征在于，所述计算任务的描述信息还包括如下信息的一个或多个：
所述计算任务各作业的拓扑关系、
预估的所述各作业的处理时间及其测试平台关键资源的配置、
所述各作业的独立数据量和依赖数据量、
预算松弛因子、
所述计算任务的待计算数据的地址、
所述计算任务的各作业的结果数据的地址。
6.根据权利要求1至5任一项所述的方法，其特征在于，
所述方法还包括：在调用云资源执行所述计算任务作业的过程中，若当前已完成的作业不是所述计算任务的最后一个作业，则评估当前已预估信息的准确度，若不准确，则修正所述可用资源调度方案中对应所述计算任务尚未部署作业的相关预估信息。
7.根据权利要求6所述的方法，其特征在于，所述修正所述可用资源调度方案中对应所述计算任务尚未部署作业的相关预估信息，包括：
重构可用资源调度方案；
计算重构的可用资源调度方案的关键路径和非关键路径；
将所述重构的可用资源调度方案中，所述关键路径上尚未部署的部分或全部作业对应的云资源，更换为能够调度的更便宜的云资源；若更换尚未部署作业的云资源之后，使得该尚未部署作业的费用增量小于0，且使得所述计算任务的预估完工指标满足所述要求完工指标，则基于更换的所述云资源修改所述当前的可用资源调度方案；将所述重构的可用资源调度方案中，所述非关键路径上尚未部署的部分或全部作业对应的云资源，更换为能够调度的更便宜的云资源；若更换所述尚未部署作业的云资源后，使得该尚未部署作业的费用增量小于0，且使得该尚未部署作业的完工时间不晚于该作业的最晚完工时间，则基于更换的所述云资源，修改当前的可用资源调度方案；
或者，
将所述重构的可用资源调度方案中，所述非关键路径上尚未部署的部分或全部作业对应的云资源，更换为能够调度的更便宜的云资源；若更换所述作业的云资源之后使得该作业的费用增量小于0，且使得使得该作业的完工时间不晚于该作业的最晚完工时间，则基于更换的所述云资源，修改当前的可用资源调度方案；将所述重构的可用资源调度方案中，所述关键路径上尚未部署的部分或全部作业对应的云资源，更换为能够调度的更便宜的云资源；若更换尚未部署作业的云资源之后，使得该尚未部署作业的费用增量小于0，且使得所述计算任务的预估完工指标满足所述要求完工指标，则基于更换的所述云资源修改当前的可用资源调度方案。
8.根据权利要求7所述的方法，其特征在于，
所述重构可用资源调度方案，包括：
基于能够调度的最高性能的云资源的处理能力，预估所述计算任务的各未部署作业的计算时间和处理时间；根据所述各未部署作业之间的拓扑关系和预估出的所述各未部署作业的计算时间和处理时间，预估所述各未部署作业的开始部署时间、开始处理时间、完成处理时间及所述计算任务的完工时间及相应费用；基于预估出的所述计算任务的各未部署作业的开始部署时间、开始处理时间、完成处理时间及所述计算任务的完工时间和相应费用，重构可用资源调度方案。
9.一种云资源管理节点，其特征在于，包括：
接收单元，用于接收任务请求，其中，所述任务请求携带计算任务的描述信息，所述描述信息包括所述计算任务的作业描述信息和要求完工指标，所述要求完工指标包括交付期和/或预算；
获取单元，用于获取能够调度的云资源的处理能力和价格；
构造单元，用于基于能够调度的云资源的处理能力和价格，构造所述计算任务对应的可用资源调度方案；
调用单元，用于若所述构造单元构造出的可用资源调度方案对应的预估完工指标，满足所述计算任务的要求完工指标，则基于构造出的该可用资源调度方案调用云资源执行所述计算任务的作业。
10.根据权利要求9所述的云资源管理节点，其特征在于，
所述构造单元包括：
构造子单元，用于构造资源调度方案；
路径计算单元，用于计算所述构造子单元构造的资源调度方案的关键路径和非关键路径；以及
第一调整单元，用于将所述资源调度方案中，所述关键路径上的部分或全部作业对应的云资源，更换为能够调度的更便宜的云资源；若更换所述作业的云资源之后，使得该作业的费用增量小于0，且使得所述计算任务的预估完工指标满足所述要求完工指标，则基于更换的所述云资源，修改当前的资源调度方案；将所述资源调度方案中，所述非关键路径上的部分或全部作业对应的云资源更换为能够调度的更便宜的云资源；若更换所述作业的云资源之后使得该作业的费用增量小于0，且使得该作业的完工时间不晚于该作业的最晚完工时间，则基于更换的所述云资源修改当前的资源调度方案，以得到可用资源调度方案；
或者，第二调整单元，用于将所述资源调度方案中，所述非关键路径上的部分或全部作业对应的云资源更换为能够调度的更便宜的云资源；若更换所述作业的云资源之后使得该作业的费用增量小于0，且使得该作业的完工时间不晚于该作业的最晚完工时间，则基于更换的所述云资源修改，当前的资源调度方案；将该资源调度方案中，所述关键路径上的部分或者全部作业对应的云资源，更换为能够调度的更便宜的云资源；若更换所述作业的云资源之后，使得该作业的费用增量小于0，且使得所述计算任务的预估完工指标满足所述要求完工指标，则基于更换的所述云资源修改当前的资源调度方案，以得到可用资源调度方案。
11.根据权利要求10所述的云资源管理节点，其特征在于，
所述构造子单元具体用于，基于能够调度的最高性能的云资源的处理能力，预估所述计算任务的各作业的计算时间和处理时间；根据所述各作业之间的拓扑关系和预估出的所述各作业的计算时间和处理时间，预估所述各作业的开始部署时间、开始处理时间、完成处理时间以及所述计算任务的完工时间及相应费用；基于预估出的所述计算任务的各作业的开始部署时间、开始处理时间、完成处理时间及所述计算任务的完工时间和相应费用，构造资源调度方案。
12.根据权利要求9至11任一项所述的云资源管理节点，其特征在于，所述云资源管理节点还包括：
修正单元，用于在所述调用单元调用云资源执行所述计算任务的作业的过程中，若当前已完成的作业不是所述计算任务的最后一个作业，则评估当前已预估信息的准确度，若不准确，则修正所述可用资源调度方案中对应所述计算任务尚未部署作业的相关预估信息。
13.一种云业务系统，其特征在于，包括：
客户端，用于发送任务请求；
云资源管理节点，用于接收客户端发送的任务请求，其中，所述任务请求携带计算任务的描述信息，所述描述信息包括所述计算任务的作业描述信息和要求完工指标，所述要求完工指标包括交付期和/或预算；获取能够调度的云资源的处理能力和价格，基于所述获取的能够调度的云资源的处理能力和价格，构造所述计算任务对应的可用资源调度方案，若构造出的该可用资源调度方案对应的预估完工指标满足所述计算任务的要求完工指标，则基于所述可用资源调度方案，调用云资源执行所述计算任务的作业。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201210123857.3A CN103377407B (zh) | 2012-04-25 | 2012-04-25 | 云业务处理方法及相关装置和系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201210123857.3A CN103377407B (zh) | 2012-04-25 | 2012-04-25 | 云业务处理方法及相关装置和系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN103377407A true CN103377407A (zh) | 2013-10-30 |
| CN103377407B CN103377407B (zh) | 2017-05-31 |
Family
ID=49462481
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201210123857.3A Active CN103377407B (zh) | 2012-04-25 | 2012-04-25 | 云业务处理方法及相关装置和系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN103377407B (zh) |
Cited By (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103699448A (zh) * | 2014-01-14 | 2014-04-02 | 浪潮(北京)电子信息产业有限公司 | 一种云计算环境下基于时间期限和预算的调度方法 |
| CN103873953A (zh) * | 2014-03-17 | 2014-06-18 | 西安未来国际信息股份有限公司 | 一种基于云计算的高性能课件转码的实现步骤 |
| CN103941662A (zh) * | 2014-03-19 | 2014-07-23 | 华存数据信息技术有限公司 | 一种基于云计算的任务调度系统和调度方法 |
| CN104616118A (zh) * | 2015-02-16 | 2015-05-13 | 浪潮集团有限公司 | 一种业务请求处理方法、装置及系统 |
| CN104657220A (zh) * | 2015-03-12 | 2015-05-27 | 广东石油化工学院 | 混合云中基于截止时间和费用约束的调度模型及方法 |
| CN104683406A (zh) * | 2013-11-29 | 2015-06-03 | 英业达科技有限公司 | 云端系统 |
| CN104965755A (zh) * | 2015-05-04 | 2015-10-07 | 东南大学 | 基于预算约束的云服务工作流调度方法 |
| CN106874099A (zh) * | 2015-12-10 | 2017-06-20 | 中国电信股份有限公司 | 基于业务处理能力的负载调度方法、装置及云计算系统 |
| CN107872499A (zh) * | 2016-09-28 | 2018-04-03 | 北京金山云网络技术有限公司 | 业务创建方法、装置及系统 |
| CN108268313A (zh) * | 2016-12-30 | 2018-07-10 | 杭州华为数字技术有限公司 | 数据处理的方法和装置 |
| CN111192070A (zh) * | 2018-11-14 | 2020-05-22 | 北京京东尚科信息技术有限公司 | 存储服务计量方法及系统、计算机系统和可读存储介质 |
| CN112308506A (zh) * | 2020-10-19 | 2021-02-02 | 北京金山云网络技术有限公司 | 流程信息的处理方法和装置、存储介质和电子设备 |
Family Cites Families (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102193832B (zh) * | 2010-03-11 | 2013-03-27 | 精英电脑股份有限公司 | 云端计算资源排程方法与应用的系统 |
| CN101951411A (zh) * | 2010-10-13 | 2011-01-19 | 戴元顺 | 云调度系统及方法以及多级云调度系统 |
-
2012
- 2012-04-25 CN CN201210123857.3A patent/CN103377407B/zh active Active
Non-Patent Citations (2)
| Title |
|---|
| 左丽叶: "云环境下基于遗传算法的工作流任务调度算法研究", 《中国优秀硕士学位论文全文数据库信息科技辑》 * |
| 王波: "基于古诺均衡的云资源定价策略研究", 《中国优秀硕士学位论文全文数据库信息科技辑》 * |
Cited By (16)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104683406A (zh) * | 2013-11-29 | 2015-06-03 | 英业达科技有限公司 | 云端系统 |
| CN103699448A (zh) * | 2014-01-14 | 2014-04-02 | 浪潮(北京)电子信息产业有限公司 | 一种云计算环境下基于时间期限和预算的调度方法 |
| CN103873953A (zh) * | 2014-03-17 | 2014-06-18 | 西安未来国际信息股份有限公司 | 一种基于云计算的高性能课件转码的实现步骤 |
| CN103941662A (zh) * | 2014-03-19 | 2014-07-23 | 华存数据信息技术有限公司 | 一种基于云计算的任务调度系统和调度方法 |
| CN104616118A (zh) * | 2015-02-16 | 2015-05-13 | 浪潮集团有限公司 | 一种业务请求处理方法、装置及系统 |
| CN104657220A (zh) * | 2015-03-12 | 2015-05-27 | 广东石油化工学院 | 混合云中基于截止时间和费用约束的调度模型及方法 |
| CN104657220B (zh) * | 2015-03-12 | 2018-04-17 | 广东石油化工学院 | 混合云中基于截止时间和费用约束的调度模型及方法 |
| CN104965755B (zh) * | 2015-05-04 | 2018-08-21 | 东南大学 | 基于预算约束的云服务工作流调度方法 |
| CN104965755A (zh) * | 2015-05-04 | 2015-10-07 | 东南大学 | 基于预算约束的云服务工作流调度方法 |
| CN106874099A (zh) * | 2015-12-10 | 2017-06-20 | 中国电信股份有限公司 | 基于业务处理能力的负载调度方法、装置及云计算系统 |
| CN107872499A (zh) * | 2016-09-28 | 2018-04-03 | 北京金山云网络技术有限公司 | 业务创建方法、装置及系统 |
| CN107872499B (zh) * | 2016-09-28 | 2021-05-25 | 北京金山云网络技术有限公司 | 业务创建方法、装置及系统 |
| CN108268313A (zh) * | 2016-12-30 | 2018-07-10 | 杭州华为数字技术有限公司 | 数据处理的方法和装置 |
| CN111192070A (zh) * | 2018-11-14 | 2020-05-22 | 北京京东尚科信息技术有限公司 | 存储服务计量方法及系统、计算机系统和可读存储介质 |
| CN111192070B (zh) * | 2018-11-14 | 2024-04-16 | 北京京东尚科信息技术有限公司 | 存储服务计量方法及系统、计算机系统和可读存储介质 |
| CN112308506A (zh) * | 2020-10-19 | 2021-02-02 | 北京金山云网络技术有限公司 | 流程信息的处理方法和装置、存储介质和电子设备 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN103377407B (zh) | 2017-05-31 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN103377407A (zh) | 云业务处理方法及相关装置和系统 | |
| US10452438B2 (en) | Parameter selection for optimization of task execution based on execution history for prior tasks | |
| US10956222B2 (en) | Systems, methods, and apparatuses for implementing a scheduler and workload manager with dynamic workload termination based on cost-benefit analysis | |
| US11226848B2 (en) | Systems, methods, and apparatuses for implementing a scheduler and workload manager with snapshot and resume functionality | |
| CA2900948C (en) | Cost-minimizing task scheduler | |
| Rimal et al. | Workflow scheduling in multi-tenant cloud computing environments | |
| US11243818B2 (en) | Systems, methods, and apparatuses for implementing a scheduler and workload manager that identifies and optimizes horizontally scalable workloads | |
| US9430280B1 (en) | Task timeouts based on input data characteristics | |
| Mao et al. | Scaling and scheduling to maximize application performance within budget constraints in cloud workflows | |
| US11243807B2 (en) | Systems, methods, and apparatuses for implementing a scheduler and workload manager with workload re-execution functionality for bad execution runs | |
| Zhang et al. | Dynamic resource allocation for spot markets in cloud computing environments | |
| US20200026579A1 (en) | Systems, methods, and apparatuses for implementing a scheduler and workload manager that identifies and consumes global virtual resources | |
| US9250952B2 (en) | Batch scheduling | |
| US8713163B2 (en) | Monitoring cloud-runtime operations | |
| US10810043B2 (en) | Systems, methods, and apparatuses for implementing a scheduler and workload manager with cyclical service level target (SLT) optimization | |
| US9479382B1 (en) | Execution plan generation and scheduling for network-accessible resources | |
| RU2697700C2 (ru) | Равноправное разделение системных ресурсов в исполнении рабочего процесса | |
| Palmieri et al. | A distributed scheduling framework based on selfish autonomous agents for federated cloud environments | |
| Lim et al. | MRCP-RM: a technique for resource allocation and scheduling of MapReduce jobs with deadlines | |
| CN103699446A (zh) | 基于量子粒子群优化算法的多目标工作流动态调度方法 | |
| Yao et al. | Cutting your cloud computing cost for deadline-constrained batch jobs | |
| Khanna | RAS: A novel approach for dynamic resource allocation | |
| CN109726008A (zh) | 资源分配方法及设备 | |
| Xu et al. | Fault tolerance and quality of service aware virtual machine scheduling algorithm in cloud data centers | |
| Lim et al. | A constraint programming based Hadoop scheduler for handling MapReduce jobs with deadlines on clouds |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |