CN107562528A - 支持多种计算框架的单元化按需计算方法及相关装置 - Google Patents

Abstract

本发明公开了一种支持多种计算框架的单元化按需计算方法及相关装置，该方法包括：获取工作的任务规划；所述任务规划包括任务的个数、类型、执行顺序、执行时间和周期；根据所述任务规划的内容解析出各个任务的配置信息；根据所述配置信息调用相应的任务，并为被调用的任务配置特定的计算资源和对应的计算框架，执行被调用的任务。采用该方法，用户可以根据实际需求将工作划分为一系列按照流程编排的任务；根据任务规划可以解析出各个任务的配置信息，然后根据配置信息调用相应的任务执行，为该任务分配与其对应的特定的资源和计算框架，从而实现计算资源的按需分配，提高资源利用率。

Description

支持多种计算框架的单元化按需计算方法及相关装置

技术领域

本发明涉及云计算领域，特别是涉及一种支持多种计算框架的单元化按需计算方法及相关装置。

背景技术

近年来，随着云计算、移动互联网、社交网络以及物联网等技术的发明和应用，互联网得到前所未有的发展，开始从新兴的信息产业向传统产业蔓延，在金融、零售、交通出行等行业被逐个颠覆的同时，越来越多的行业逐渐意识到与其被动应对不如主动求变，“互联网+”每一个传统行业将为我国的产业调整与升级提供新的机遇并为经济发展寻求新的增长点。与此同时，大数据随之而来。越来越多的企业通过实施互联网化开始拥有大数据，包括累积拥有企业内部专有大数据及采集获取互联网公共大数据。在未来，大数据将不再是政府或者互联网企业的专利，而是每一个企业都有可能成为大数据企业，包括拥有采集、存储和处理大数据的能力，以及利用大数据实现变现的能力。

我国目前有各种类型企业5000多万家，其中95％都是中小企业，对于这些企业而言发展自己的大数据能力似乎可望而不可即，然而能力不一定要为其所有，但一定要能够为其所用，利用云计算带来的软件即服务(Software as a Service,SaaS)这一创新模式，能够将大数据相关的能力进行服务化、服务按需使用和按使用付费，为中小企业也拥有大数据能力奠定了基础。

然而现有的云计算服务并不能很好地对计算资源进行分配，同一工作内部的不同任务会出现对计算资源的抢占，从而对其他任务、其他工作甚至其他用户带来恶劣影响。

因此，如何提供一种合理分配计算资源的云计算服务的技术方案，在满足云计算用户对计算资源的需求的同时实现计算资源的利用最大化，是本领域技术人员目前需要解决的技术问题。

发明内容

本发明的目的是提供一种支持多种计算框架的单元化按需计算方法及相关装置，为每个任务分配独立合理的计算资源，实现计算资源的利用最大化。

为解决上述技术问题，本发明提供了如下技术方案：

一种支持多种计算框架的单元化按需计算方法，包括：

获取工作的任务规划；所述任务规划包括任务的个数、类型、执行顺序、执行时间和周期；

根据所述任务规划的内容解析出各个任务的配置信息；

根据所述配置信息调用相应的任务，并为被调用的任务配置特定的计算资源和对应的计算框架，执行被调用的任务。

优选地，根据所述任务规划的内容解析出各个任务的配置信息，包括：

根据所述任务规划的内容解析出各个任务的任务信息、资源需求、数据存储位置、执行计划和执行结果信息。

优选地，根据所述配置信息调用相应的任务，并为被调用的任务配置特定的计算资源和对应的计算框架，执行被调用的任务，包括：

根据所述执行计划调用相应的任务；

为被调用的任务选择对应的计算框架；

根据所述资源需求，从计算资源池为被调用的任务配置相应的所述计算资源参与计算；

根据被调用的任务的类型，将计算产生的中间结果保存到相应的位置；

将计算产生的最终结果保存到所述存储单元中。

优选地，还包括：

当被调用的任务执行完毕后，将所述计算资源释放回所述计算资源池。

一种支持多种计算框架的单元化按需计算装置，包括：

获取单元，用于获取工作的任务规划；所述任务规划包括任务的个数、类型、执行顺序、执行时间和周期；

解析单元，用于根据所述任务规划的内容解析出各个任务的配置信息；

调度单元，用于根据所述配置信息调用相应的任务，并为被调用的任务配置特定的计算资源和对应的计算框架，执行被调用的任务。

优选地，所述解析单元包括：

解析子单元，用于根据所述任务规划的内容解析出各个任务的任务信息、资源需求、数据存储位置、执行计划和执行结果信息。

优选地，所述调度单元包括：

调用子单元，用于根据所述执行计划调用相应的任务；

选择子单元，用于为被调用的任务选择对应的计算框架；

配置子单元，用于根据所述资源需求，从计算资源池为被调用的任务配置相应的所述计算资源参与计算；

第一保存子单元，用于根据被调用的任务的类型，将计算产生的中间结果保存到相应的位置；

第二保存子单元，用于将计算产生的最终结果保存到所述存储单元中。

优选地，还包括：

释放单元，用于当被调用的任务执行完毕后，将所述计算资源释放回所述计算资源池。

一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被执行时，实现以下步骤：

获取工作的任务规划；所述任务规划包括任务的个数、类型、执行顺序、执行时间和周期；

根据所述任务规划的内容解析出各个任务的配置信息；

根据所述配置信息调用相应的任务，并为被调用的任务配置特定的计算资源和对应的计算框架，执行被调用的任务。

一种服务器，包括存储器及处理器，所述存储器中储存有计算机程序，所述处理器调用所述存储器中的计算机程序时，实现以下步骤：

获取工作的任务规划；所述任务规划包括任务的个数、类型、执行顺序、执行时间和周期；

根据所述任务规划的内容解析出各个任务的配置信息；

根据所述配置信息调用相应的任务，并为被调用的任务配置特定的计算资源和对应的计算框架，执行被调用的任务。

与现有技术相比，上述技术方案具有以下优点：

本发明提供一种支持多种计算框架的单元化按需计算方法，包括：获取工作的任务规划；所述任务规划包括任务的个数、类型、执行顺序、执行时间和周期；根据所述任务规划的内容解析出各个任务的配置信息；根据所述配置信息调用相应的任务，并为被调用的任务配置特定的计算资源和对应的计算框架，执行被调用的任务。采用该方法，用户可以根据具体的应用场景将工作划分为一系列按照流程编排的任务；根据获取到的任务规划解析出组成工作的各个任务的配置信息后，根据该配置信息调用相应的任务，并且为该任务配置特定的计算资源和对应的计算框架，然后执行该任务。在配置计算资源时，根据每个任务的配置信息为其单独分配特定的计算资源，可以保证任务对于计算资源的独占和计算资源的合理分配，从而提高资源利用率。

本发明还提供了一种支持多种计算框架的单元化按需计算装置，具有上述方法所具有的优点，在此不再赘述。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明具体实施方式一所提供的支持多种计算框架的单元化按需计算方法的流程图；

图2为图1所示方法的示意图；

图3为本发明具体实施方式二所提供的支持多种计算框架的单元化按需计算方法的流程图；

图4为图3所示方法的示意图；

图5为本发明具体实施方式三所提供的支持多种计算框架的单元化按需计算方法的流程图；

图6为本发明具体实施方式四所提供的支持多种计算框架的单元化按需计算装置的结构示意图；

图7为本发明具体实施方式五所提供的支持多种计算框架的单元化按需计算装置的结构示意图；

图8为本发明具体实施方式六所提供的支持多种计算框架的单元化按需计算装置的结构示意图；

图9为本发明具体实施方式七所提供的支持多种计算框架的单元化按需计算装置的结构示意图。

具体实施方式

本发明的核心是提供一种支持多种计算框架的单元化按需计算方法及装置，可以为工作中的每个任务分配独立合理的计算资源，实现计算资源的利用最大化。

为了使本发明的上述目的、特征和优点能够更为明显易懂，下面结合附图对本发明的具体实施方式做详细的说明。

在以下描述中阐述了具体细节以便于充分理解本发明。但是本发明能够以多种不同于在此描述的其它方式来实施，本领域技术人员可以在不违背本发明内涵的情况下做类似推广。因此本发明不受下面公开的具体实施的限制。

请参考图1和图2，图1为本发明具体实施方式一所提供的支持多种计算框架的单元化按需计算方法的流程图；图2为图1所示方法的示意图；该方法包括：

S101：获取工作的任务规划；

任务规划包括任务的个数、类型、执行顺序、执行时间和周期。

大数据的分析工作往往不是一蹴而就，一项工作通常需要被划分为多个任务，甚至每个任务都被进一步划分成更小粒度的子任务，并通过任务之间的分工协作才能完成。用户在对工作进行任务规划时，可以根据实际应用场景选择相应的算法，通过编程实现对工作的具体规划。其中，任务规划的内容包括任务的个数、任务支持的计算框架的类型、不同任务间的前序和后置关系、任务启动的时间和任务计算的周期等。

S102：根据任务规划的内容解析出各个任务的配置信息；

获取到工作的任务规划后，对任务规划的内容进行解析，从而得到各个任务的配置信息。其中，任务的类型最为关键，决定计算资源的其他配置。可以根据任务的类型解析出该任务的计算资源的配置信息，包括任务对于资源的标准需求和最大需求、对应的计算框架和数据存储的位置等；可以根据任务的执行顺序、执行时间和周期等解析出该任务的执行计划，在指定情况下触发该任务的执行。

其中，根据应用的不同，数据处理的需求也有差异。对于数据量大对实时性要求较低的数据处理，离线计算或者批量计算任务能够有效完成任务；对于数据量不算特别大但是对实时性要求较高的数据处理，实时计算或者流计算往往是计算类型的首选。对于任务的数据进行解析可以得出该任务适用的计算框架，从而在任务调度时可以为其选择合适的计算框架进行计算，充分满足用户对于数据处理的需求。

解析出各个任务的配置信息后，可以根据配置信息对各个任务进行调度和资源分配，从而协作有序地完成整个工作。

S103：根据配置信息调用相应的任务，并为被调用的任务配置特定的计算资源和对应的计算框架，执行被调用的任务。

根据配置信息调用相应的任务进行执行，根据配置信息中解析出的该任务的类型和资源需求，为其分配特定的计算资源并选择对应的计算框架，对该任务进行计算。在计算过程中可以根据配置信息中的数据存储位置获取源数据，并将计算产生的中间结果和最终结果保存到相应的位置。

需要说明的是，在任务调度时，为了完成特定的分析工作，不同任务间的计算可以并行处理，也可以串行完成。请参考图2，一个工作被划分为五个任务：Task1，Task2，Task3，Task4和Task5，实现该工作的流程可以为：执行Task1；执行Task2；执行Task3和Task4；执行Task5。其中，Task3和Task4为同时被调用的，不存在先后的顺序。任务调度时按照配置信息调用相应的任务进行执行，为其分配特定的计算资源，并且选择对应的计算框架。比如，可以为Task1选择计算服务(Spark)类型进行计算，并将计算结果存储到对应的KDFS存储网络中。当然，本申请具体实施方式并不对工作划分的数量、具体的流程和并行处理的任务的数量做限制，上述例子只是为了便于理解本申请具体实施方式的技术方案。在实际应用中，用户可以根据实际需求进行相应的设置。

其中，本申请具体实施方式在为每个任务分配计算资源时，可以根据该任务对资源的需求进行合理的按需分配。计算资源的配置主要从两个方面来满足，分别是cpu的个数和内存的容量。计算服务可以根据总体需求和自身标准的最小计算单元合理规划集群，比如，当最小计算单元为1个cpu和1000M内存时，当有10个cpu和1G的计算资源请求时，计算集群的大小会被设定在10个左右。采用这样的配置方式可以实现按需分配，并且保证不同租户甚至同一租户内部不同工作，甚至同一工作内部不同任务对计算资源的独占，从而避免由于资源抢占，而给其他任务、其他工作甚至其他租户带来的影响。

本申请具体实施方式提供了一种支持多种计算框架的单元化按需计算方法，首先获取工作的任务规划，然后解析出各个任务的配置信息，根据该配置信息进行任务调度和计算资源的按需分配。采用该方法，能够面向不同的企业提供大数据计算能力，并通过基于Task的工作流编排完成复杂的计算任务。每个任务都有独享的计算资源与能力，并且不会相互干扰，使计算资源得到了充分合理的使用。

请参考图3和图4，图3为本发明具体实施方式二所提供的支持多种计算框架的单元化按需计算方法的流程图；图4为图3所示方法的示意图；该方法包括：

S201：获取工作的任务规划；

S202：根据任务规划的内容解析出各个任务的任务信息、资源需求、数据存储位置、执行计划和执行结果信息；

其中，任务信息包括任务的名称、任务的类型以及执行任务的脚本地址。其中，任务的类型最为关键，决定计算资源的其他配置。任务的类型包括spark任务、map-reduce任务和HIVE任务等，在计算过程中可以根据数据处理服务的实际需求进行选择。

资源需求包括资源的标准需求和资源的最大需求。计算资源的配置主要从两个方面来满足，分别是CPU的个数和内存的容量。标准资源的配置是任务刚刚启动的时候系统所配给的资源，而限制资源的配置是当任务有更多资源消耗需求时能够动态扩展到的最大资源额度。资源的需求是对整个计算服务整体的需要，计算服务会根据总体需求及自身标准的最小计算单元合理规划集群，来满足各个任务的计算需求。

数据存储位置是指定参与计算的源数据位置及中间结果临时存储位置及任务计算最终结果的持久化存储位置。

执行计划指定了任务开始实行的前置条件、执行时间和周期性。前置条件是主要适用于需要依赖其他任务执行结果才触发的情况。任务开始的时间和周期是任务计划开始执行的时间，以及两次任务重复执行间隔的时间，如周期时间为0表示任务单次执行完毕。

执行结果信息主要记录任务执行的日志，包括执行结果的保存方式，以及任务执行完毕后回调的地址等。

S203：根据执行计划调用相应的任务；

执行计划中包含任务的执行时间和执行顺序等信息，任务调度时按照执行计划对相应的任务进行调用。

S204：为被调用的任务选择对应的计算框架；

根据被调用的任务的类型，可以为其选择对应的计算框架支持，从而满足数据处理的需求。比如，当被调用的任务数据量非常大，对实时性要求较低时，可以选择离线计算，对应的计算框架可以选择map-reduce计算框架。

请参考图4，任务调度时根据指定模块启动Task1，并为其选择对应的计算框架为Spark类型，根据Task1的配置信息中的资源需求为其分配合适的计算资源。当然，上述例子只是为了便于理解本申请具体实施方式的技术方案，并不对该方案的内容做具体限定。

S205：根据资源需求，从计算资源池为被调用的任务配置相应的计算资源参与计算；

任务的资源需求信息中包括资源的标准需求和资源的最大需求。计算服务根据任务的资源需求为其分配相应的计算资源，实现按需分配。被调用的任务独占这部分计算资源，从而避免各个任务之间的资源竞争。

根据平台架构设定，源数据的来源主要为KDFS大数据仓库，当计算开始执行时，计算服务首先去加载这些数据，将源数据装载到任务计算的内测环境中。

S206：根据被调用的任务的类型，将计算产生的中间结果保存到相应的位置；

对于计算产生的中间结果，可以将其存储在内存中，也可以将其存储到持久化存储中。但受磁盘I/O影响，将中间结果存储到持久化存储中并不适合实时计算等对速度要求较高的数据处理。因此，在实际操作中，可以根据被调用的任务的类型，选择适当的存储方式将计算产生的中间结果进行保存。

S207：将计算产生的最终结果保存到存储单元中。

对于计算产生的最终结果，可以调用存储单元KDFS进行持久化存储。具体地，可以将其存储在MySQL等关系数据库中，也可以将其存储在NoSQL数据库中。

在对任务进行计算时，计算单元只装载和存储数据，对源数据的存储、中间结果的存储和最终结果的持久化存储都不在计算单元本身处理，而是通过外挂的存储单元，通过将数据存储在这些外挂存储单元上，确保计算单元无状态，从而在计算过程中出现障碍时可以快速恢复。

本申请具体实施方式提供了一种支持多种计算框架的单元化按需计算方法，对用户的任务规划进行解析得到各个任务的配置信息，根据配置信息进行任务调度，为被调用的任务选择合适的计算框架，并通过独立的无状态的计算单元对任务进行计算，来为被调用的任务分配特定的计算资源。采用该方法可以确保资源的按需申请和分配，并根据任务的类型将数据存储到合适的位置，使任务顺利完成。

请参考图5，图5为本发明具体实施方式三所提供的支持多种计算框架的单元化按需计算方法流程图；除了上述具体实施方式提到的步骤外，还包括：

S208：当被调用的任务执行完毕后，将计算资源释放回计算资源池。

采用该方法，计算服务为任务分配计算资源进行计算完毕后，会释放该任务独占的这部分资源，从而使资源利用率得到提高，降低计算能耗。

请参考图6，图6为本发明具体实施方式四所提供的支持多种计算框架的单元化按需计算装置的结构示意图，该装置包括：

获取单元301：用于获取工作的任务规划；

任务规划包括任务的个数、类型、执行顺序、执行时间和周期；

解析单元302，用于根据任务规划的内容解析出各个任务的配置信息；

调度单元303，用于根据配置信息调用相应的任务，并为被调用的任务配置特定的计算资源和对应的计算框架，执行被调用的任务。

采用该装置可以使每个任务都拥有独享的计算资源与能力，并且不会相互干扰，并且计算资源按需分配，提高了资源利用率。

需要说明的是，本申请具体实施方式中的支持多种计算框架的单元化按需计算的装置中的各个单元，其工作过程请参考图1对应的具体实施方式，在此不再赘述。

请参考图7，图7为本发明具体实施方式五所提供的支持多种计算框架的单元化按需计算装置的结构示意图，该装置包括：

获取单元301，解析单元302和调度单元303；

其中，解析单元302包括：

解析子单元3021，用于根据任务规划的内容解析出各个任务的任务信息、资源需求、数据存储位置、执行计划和执行结果信息。

调度单元303包括：

调用子单元3031，用于根据执行计划调用相应的任务；

选择子单元3032，用于为被调用的任务选择对应的计算框架；

配置子单元3033，用于根据资源需求，从计算资源池为被调用的任务配置相应的计算资源参与计算；

第一保存子单元3034，用于根据被调用的任务的类型，将计算产生的中间结果保存到相应的位置；

第二保存子单元3035，用于将计算产生的最终结果保存到存储单元中。

采用该装置，选择子单元3032为任务选择对应的计算框架，配置子单元3033为该任务按需分配合理的计算资源参与计算，第一保存子单元3034根据任务类型将数据存储到对应的位置，通过无状态的计算单元实现计算资源的按需申请和独享，实现资源的合理利用。

需要说明的是，本申请具体实施方式中的支持多种计算框架的单元化按需计算的装置中的各个单元，其工作过程请参考图3对应的具体实施方式，在此不再赘述。

请参考图8，图8为本发明具体实施方式六所提供的支持多种计算框架的单元化按需计算装置；除了上述装置中的单元外，还包括：

释放单元304，用于当被调用的任务执行完毕后，将计算资源释放回计算资源池。

采用该装置，在任务执行完毕后释放其独占的计算资源，可以降低能耗，使资源利用率得到提高。

需要说明的是，本申请具体实施方式中的支持多种计算框架的单元化按需计算装置中的各个单元，其工作过程请参考图5对应的具体实施方式，在此不再赘述。

还需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或者操作区分开来，而不一定要求或暗示这些实体或者操作之间存在任何这种实际的关系或者顺序。

请参考图9，本发明实施例提供的一种支持多种计算框架的单元化按需计算装置的结构示意图，该计算装置可因配置或性能不同而产生比较大的差异，可以包括一个或一个以上处理器(central processing units，CPU)322(例如，一个或一个以上处理器)和存储器332，一个或一个以上存储应用程序342或数据344的存储介质330(例如一个或一个以上海量存储设备)。其中，存储器332和存储介质330可以是短暂存储或持久存储。存储在存储介质330的程序可以包括一个或一个以上模块(图示没标出)，每个模块可以包括对计算装置中的一系列指令操作。更进一步地，中央处理器322可以设置为与存储介质330通信，在计算装置300上执行存储介质330中的一系列指令操作。

计算装置300还可以包括一个或一个以上电源326，一个或一个以上有线或无线网络接口350，一个或一个以上输入输出接口358，和/或，一个或一个以上操作系统341，例如Windows ServerTM，Mac OS XTM，UnixTM,LinuxTM，FreeBSDTM等等。

上述图1至图5所描述的支持多种计算框架的单元化按需计算方法中的步骤由支持多种计算框架的单元化按需计算装置基于该图9所示的结构实现。

所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统，装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。

在本申请所提供的几个实施例中，应该理解到，所揭露的系统，装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。

作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。

集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，功能调用装置，或者网络设备等)执行本申请各个实施例方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(Read-Only Memory，ROM)、随机存取存储器(Random Access Memory，RAM)、磁碟或者光盘等各种可以存储程序代码的介质。

以上对本发明所提供的一种支持多种计算框架的单元化按需计算方法及装置进行了详细介绍。本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想。应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以对本发明进行若干改进和修饰，这些改进和修饰也落入本发明权利要求的保护范围内。

Claims (10)

1.一种支持多种计算框架的单元化按需计算方法，其特征在于，包括：

获取工作的任务规划；所述任务规划包括任务的个数、类型、执行顺序、执行时间和周期；

根据所述任务规划的内容解析出各个任务的配置信息；

根据所述配置信息调用相应的任务，并为被调用的任务配置特定的计算资源和对应的计算框架，执行被调用的任务。

2.根据权利要求1所述的方法，其特征在于，根据所述任务规划的内容解析出各个任务的配置信息，包括：

根据所述任务规划的内容解析出各个任务的任务信息、资源需求、数据存储位置、执行计划和执行结果信息。

3.根据权利要求2所述的方法，其特征在于，根据所述配置信息调用相应的任务，并为被调用的任务配置特定的计算资源和对应的计算框架，执行被调用的任务，包括：

根据所述执行计划调用相应的任务；

为被调用的任务选择对应的计算框架；

根据所述资源需求，从计算资源池为被调用的任务配置相应的所述计算资源参与计算；

根据被调用的任务的类型，将计算产生的中间结果保存到相应的位置；

将计算产生的最终结果保存到所述存储单元中。

4.根据权利要求3所述的方法，其特征在于，还包括：

当被调用的任务执行完毕后，将所述计算资源释放回所述计算资源池。

5.一种支持多种计算框架的单元化按需计算装置，其特征在于，包括：

获取单元，用于获取工作的任务规划；所述任务规划包括任务的个数、类型、执行顺序、执行时间和周期；

解析单元，用于根据所述任务规划的内容解析出各个任务的配置信息；

调度单元，用于根据所述配置信息调用相应的任务，并为被调用的任务配置特定的计算资源和对应的计算框架，执行被调用的任务。

6.根据权利要求5所述的装置，其特征在于，所述解析单元包括：

解析子单元，用于根据所述任务规划的内容解析出各个任务的任务信息、资源需求、数据存储位置、执行计划和执行结果信息。

7.根据权利要求6所述的装置，其特征在于，所述调度单元包括：

调用子单元，用于根据所述执行计划调用相应的任务；

选择子单元，用于为被调用的任务选择对应的计算框架；

配置子单元，用于根据所述资源需求，从计算资源池为被调用的任务配置相应的所述计算资源参与计算；

第一保存子单元，用于根据被调用的任务的类型，将计算产生的中间结果保存到相应的位置；

第二保存子单元，用于将计算产生的最终结果保存到所述存储单元中。

8.根据权利要求7所述的装置，其特征在于，还包括：

释放单元，用于当被调用的任务执行完毕后，将所述计算资源释放回所述计算资源池。

9.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被执行时实现如权利要求1至4中任一项所述的方法。

10.一种服务器，包括存储器及处理器，所述存储器中储存有计算机程序，其特征在于，所述处理器调用所述存储器中的计算机程序时实现如权利要求1至4中任一项所述的方法。