CN104317635B - 混合任务下的动态资源调度方法及系统 - Google Patents

Abstract

本发明提供一种混合任务下的动态资源调度方法及系统，资源服务器执行混合任务时接收物理任务发送的资源请求消息，并根据资源请求消息判断物理任务的任务类型，其中混合任务包括MR任务和VM任务，在判断出VM任务时，将资源请求消息发送给位于第一工作节点上的VM服务器，接收VM服务器反馈的第一指示消息，根据所述第一指示消息获取第一目标工作节点，将VM任务发送到第一目标工作节点上绑定资源并执行。本发明中资源服务器在执行MR任务同时，也可以为VM任务分配资源，从而实现了对混合任务统一管理的目的，提高了执行混合任务时资源的整体利用率。

Description

混合任务下的动态资源调度方法及系统

技术领域

本发明涉及计算机技术，尤其涉及一种混合任务下的动态资源调度方法及系统。

背景技术

虚拟机(Virtual Machine，简称VM)技术的发展带动了云计算的发展，通过在云中心使用VM技术，向用户提供相同服务质量的在线任务的同时，能够极大的较低集群的资源使用量，从而节约能源。但是无论是离线的数据计算任务，还是在线的VM任务，资源的整体利用率仍然不高。

在云环境中资源的使用情况不仅影响集群中任务的执行性能，而且集群资源利用率的本质是成本问题，如购置成本、部署成本、维护成本等，同时由于虚拟机任务自身的特点导致了融合的难度。

通过将运行不同计算任务的集群混合在一起执行，可以提高集群资源利用率。一种简单的方式是直接混合，比如可以将计算密集型任务和内存密集型任务同时执行。但是这种方式缺少一种全局的资源视图，容易带来一些额外的开销，同时任务的放置、执行、资源绑定操作起来比较复杂。另外一种方式是对任务以及资源进行统一管理的框架，对不同类型的任务进行统一的资源管理和性能检测。目前这种对任务和资源进行统一管理的框架在Yarn和Fuxi上已经得到实现，但是Yarn和Fuxi框架只能够对离线计算类任务和资源进行统一管理，例如，无回路有向图(Directed Acyclic Graph，简称DAG)任务、或者流任务等任务类型，Yarn和Fuxi两种框架均不能对上述VM任务进行统一管理。

发明内容

本发明提供一种混合任务下的动态资源调度方法及系统，用于解决由于现有技术不能对包含VM任务的混合任务进行统一管理，使得执行混合任务时资源的整体利用率较低。

本发明的第一个方面是提供一种混合任务下的动态资源调度方法，包括：

资源服务器在执行混合任务时接收物理任务发送的资源请求消息，并根据所述资源请求消息判断所述物理任务的任务类型；所述混合任务包括映射归属MR任务和虚拟机VM任务；

如果判断出所述任务类型为所述VM任务，所述资源服务器将所述资源请求消息发送给位于第一工作节点上的VM服务器；

所述资源服务器接收所述VM服务器反馈的第一指示消息；

所述资源服务器根据所述第一指示消息获取第一目标工作节点；

所述资源服务器将所述VM任务发送到所述第一目标工作节点上绑定资源并执行。

本发明的另一个方面是提供一种混合任务下的动态资源调度系统，包括：资源服务器和虚拟机VM服务器；

所述资源服务器，用于在执行混合任务时接收物理任务发送的资源请求消息，并根据所述资源请求消息判断所述物理任务的任务类型，如果所述任务类型为虚拟机VM任务，将所述资源请求消息发送给位于第一工作节点上的VM服务器，接收所述VM服务器反馈的第一指示消息，根据所述第一指示消息获取第一目标工作节点，所述VM任务发送到所述第一目标工作节点上绑定资源并执行；其中所述混合任务包括MR任务和VM任务；

所述VM服务器，用于从所述资源服务器处接收所述资源请求消息，并向所述资源服务器发送第一指示消息，以指示所述资源服务器根据所述第一指示消息获取第一目标工作节点；

所述第一目标工作节点，用于接收所述VM任务，并对所述VM任务进行资源绑定及执行。

本发明提供的混合任务下的动态资源调度方法及系统，资源服务器在执行混合任务时接收物理任务发送的资源请求消息，并根据资源请求消息判断物理任务的任务类型，其中混合任务包括MR任务和VM任务；在判断为VM任务时，将资源请求消息发送给位于第一工作节点上的VM服务器，接收VM服务器反馈的第一指示消息，根据所述第一指示消息获取第一目标工作节点，将VM任务发送到第一目标工作节点上绑定资源并执行。本发明中资源服务器在执行MR任务的同时，也可以VM任务分配工作资源，从而实现了对混合任务统一管理的目的，提高了执行混合任务时资源的整体利用率。

附图说明

图1为本发明一实施例提供的混合任务下的动态资源调度方法的流程示意图；

图2为本发明另一实施例提供的混合任务下的动态资源调度方法的流程示意图；

图3为本发明另一实施例提供的混合任务下的动态资源调度方法的流程示意图；

图4为本发明另一实施例提供的混合任务下的动态资源调度方法的流程示意图；

图5为本发明另一实施例提供的混合任务下的动态资源调度方法的流程示意图；

图6为本发明一实施例提供的混合任务下的动态资源调度系统的结构示意图；

图7为本发明另一实施例提供的混合任务下的动态资源调度系统的结构示意图。

具体实施方式

图1为本发明一实施例提供的混合任务下的动态资源调度方法的流程示意图，如图1所示，该方法包括：

100、资源服务器执行混合任务时接收物理任务发送的资源请求消息，并根据资源请求消息判断物理任务的任务类型。

其中，所述混合任务包括映射归属(Map Reduce，简称MR)和VM任务。

本实施例中，资源服务器处于执行混合任务的模式下，需要同时处理MR任务和VM任务。物理任务在运行时可以通过所在终端向资源服务器发送的资源请求消息，资源服务器根据该资源请求消息可以对物理任务的任务类型进行识别。可选地，资源请求消息中可以携带物理任务的任务类型标识。

101、如果判断出任务类型为VM任务，资源服务器将资源请求消息发送给位于第一工作节点上的VM服务器。

在确定出任务类型为VM任务时，资源服务器将资源请求消息发送给VM服务器，其中，该VM服务器处于某一工作节点上，本实施例中将VM服务器所在的工作节点称为第一工作节点。具体地，资源服务器将资源请求消息首先发送给第一工作节点，由第一工作节点转发给VM服务器。

102、资源服务器接收VM服务器反馈的第一指示消息。

资源服务器向VM服务器发送资源请求消息后，VM服务器可以向资源服务器反馈一个第一指示消息，可选地，第一指示消息中携带有第一目标工作节点的标识，例如第一目标工作节点的地址。资源服务器根据第一指示消息获取到第一目标工作节点，其中，该第一目标工作节点为执行VM任务的工作节点。

103、资源服务器根据所述第一指示消息获取相应的第一目标工作节点。

104、资源服务器将VM任务发送到第一目标工作节点上绑定资源并执行。

在获取第一目标工作节点后，资源服务器将请求资源的VM任务发送到第一目标工作节点上，由该第一目标工作节点执行该VM任务。

本实施例提供的资源调度方法，资源服务器在执行混合任务时接收物理任务发送的资源请求消息，并根据资源请求消息判断物理任务的任务类型，其中混合任务包括MR任务和VM任务，在判断出物理任务为VM任务时，将资源请求消息发送给位于第一工作节点上的VM服务器，接收VM服务器反馈的第一指示消息，根据第一指示消息获取第一目标工作节点，将VM任务发送到第一目标工作节点上绑定资源并执行。本实施例中资源服务器在执行MR任务同时，也可以为为VM任务分配资源，从而实现了对混合任务统一管理的目的，提高了执行混合任务时资源的整体利用率。

图2为本发明另一实施例提供的混合任务下的动态资源调度方法的流程示意图，如图2所示，该方法包括：

200、资源服务器执行混合任务时接收物理任务发送的资源请求消息，并根据资源请求消息判断物理任务的任务类型。

201、如果任务类型为VM任务，资源服务器将资源请求消息发送给位于第一工作节点上的VM服务器。

步骤201～步骤202参见上述实施例的步骤101～步骤102，此处不再赘述。

202、资源服务器接收VM服务器发送VM任务所需的目标资源量。

本实施例中，VM服务器在接收到资源请求消息后，可以向资源服务器发送该VM任务所需的目标资源量。可选地，VM服务器可以向资源服务器发送一个通知消息，通过该通知消息告知资源服务器VM任务所需的目标资源量。

203、资源服务器获取每个工作节点上的资源情况，其中，资源情况包括每个工作节点的资源总量以及可用资源量。

实际中，资源服务器负责对系统中所有工作节点上的任务分配资源，并且对系统中正在执行的每个任务的状态以及所有工作节点的资源总量和工作节点上使用的资源量等信息进行监控。在获取到VM任务所需的目标资源量之后，为了给VM任务分配相应的资源，资源服务器可以查询获取每个工作节点上的资源情况，其中该资源情况包括每个工作节点的资源总量以及可用资源量。

204、资源服务器将资源情况发送给VM服务器，以使VM服务器在所有工作节点中选取第一目标工作节点，将第一目标工作节点携带在第一指示消息中发送给资源服务器。

具体地，资源服务器将资源情况发送给VM服务器，以使VM服务器对目标资源量进行加锁，并且根据负载均衡原理以及每个工作节点的可用资源量，在所有工作节点中选取第一目标工作节点，将第一目标工作节点携带在第一指示消息中发送给资源服务器。

205、资源服务器接收VM服务器反馈的第一指示消息，并根据第一指示消息获取第一目标工作节点。

在接收到第一指示消息后，资源服务器可以从第一指示消息中得知第一目标工作节点的标识，例如地址，从而获取到VM服务器为VM任务选取到的第一目标工作节点。

206、资源服务器将VM任务发送到第一目标工作节点上绑定资源并执行。

由于VM服务器在获取到VM任务所请求的目标资源量之后，对目标资源量进行加锁，因此，在资源服务器将VM任务发送到第一目标工作节点上执行之前，需要资源服务器指示VM服务器对目标资源量进行解锁，从而能够将VM任务发送到第一目标工作节点上之后，第一目标工作节点为VM任务分配相应的目标资源量。

本实施例中，资源服务器在执行混合任务时接收物理任务发送的资源请求消息，并根据资源请求消息判断物理任务的任务类型，其中混合任务包括MR任务和VM任务，在物理任务为VM任务时，将资源请求消息发送给位于第一工作节点上的VM服务器，接收VM服务器反馈的第一指示消息，根据所述第一指示消息获取第一目标工作节点，将VM任务发送到第一目标工作节点上绑定资源并执行。本实施例中资源服务器在执行MR任务同时，也可以为VM任务分配资源，从而实现了对混合任务统一管理的目的，提高了执行混合任务时资源的整体利用率。

图3为本发明另一实施例提供的混合任务下的动态资源调度方法的流程示意图。在上述实施例的基础之上，在资源服务器将VM任务发送到第一目标工作节点上绑定资源并执行之后，如图3所示，该方法还包括：

301、资源服务器对执行VM任务的第一目标工作节点进行监控，获取VM任务当前的资源占用量。

302、资源服务器判断资源占用量与目标资源量是否一致。

资源服务器将VM任务当前的资源占用量，与VM任务所需的目标资源量进行比较，判断资源占用量与目标资源量是否一致，如果判断结果为不一致，则执行步骤303；如果判断结果为一致，则返回执行步骤301，继续对第一目标工作节点进行监控。

303、资源服务器指示数字权限管理DRM对VM任务重新进行资源绑定。

在确定出资源占用量与目标资源量不一致后，资源服务器可以指示数字权限管理(Digital Rights Management，简称DRM)重新对VM任务进行资源绑定。一般重新绑定的资源量会变小，或者会变大，但是在第一目标工作节点的承受范围内，DRM则直接进行动态绑定，并执行步骤304以通知资源服务器绑定的情况。如果需要重新绑定的资源量超出了第一目标工作节点的承受能力，则需要对VM任务进行迁移，则执行步骤305。

304、资源服务器接收DRM发送的绑定通知消息。

其中，所述绑定通知消息是由DRM在重新绑定的资源量未超过第一目标工作节点的可用资源量时发送的。

305、资源服务器接收由DRM经过VM服务器转发的请求迁移VM任务的迁移请求。

其中，所述迁移请求是由DRM在重新绑定的资源量超过第一目标工作节点生成的，所述迁移请求中携带VM任务迁移后所需的资源量大小。

当确定出在重新绑定的资源量超过第一目标工作节点时，说明第一目标工作节点的可用资源量不能满足VM任务的需求，此时DRM就能够判断出需要对VM任务进行迁移，DRM向VM服务器发送迁移请求，在接收到迁移请求后，VM服务器将该迁移请求转发给资源服务器，以请求将第一目标工作节点上的VM任务进行迁移。其中迁移请求是由DRM在重新绑定的资源量超过第一目标工作节点生成的，并且迁移请求中携带VM任务迁移后所需的资源量大小。

306、资源服务器根据所需的资源量大小从除第一目标工作节点之外的其他工作节点中选取目的工作节点。

由于资源服务器对所有的工作节点进行实时监控，在获取到迁移请求后，资源服务器能够获取到迁移后VM所需的资源量大小，这样资源服务器就根据该所需的资源量大小以及所监控到的工作节点的状态，从除第一目标工作节点之外的其他工作节点中选取一个目的工作节点，其中该目的工作节点的可用资源量的大小要大于迁移后VM所需的资源量大小。

307、资源服务器在目的工作节点同意迁移后将目的工作节点的标识发送给VM服务器，以使VM服务器将目的工作节点的标识通知第一目标工作节点将VM任务迁移至目的工作节点。

在获取到目的工作节点后，资源服务器可以向目的节点发送请求询问是否允许迁移VM任务，在目的工作节点同意迁移后，资源服务器将目的工作节点的标识发送给VM服务器，这样VM服务器就可以将目的工作节点的标识发送给第一目标工作节点。在得知目的工作节点的标识后，第一目标工作节点根据该标识将VM任务迁移至该目的工作节点上。

308、资源服务器接收目的工作节点在迁移完VM任务发送的通知消息。

在第一目标工作节点将VM完全迁移至目的工作节点后，资源服务器将接收到目的工作节点发送的通知消息。

309、资源服务器根据通知消息释放第一目标工作节点的资源。

本实施例中，在第一目标工作节点执行VM任务时，资源服务器可以对其进行监控，根据VM任务实际的资源消耗量，动态的调整绑定的资源数量。在资源占用量少于所需资源量时，能够实时地根据第一目标工作节点所剩的可用资源满足VM所需资源量时，重新对VM任务进行资源绑定，并且在第一目标工作节点所剩的可用资源较少不满足需求时，将VM任务进行迁移，以保证VM任务的顺利执行。

图4为本发明另一实施例提供的混合任务下的动态资源调度方法的流程示意图。当有至少2个VM任务请求资源时，如图4所示，该方法包括：

401、资源服务器接收VM服务器发送的至少2个VM任务所需的全局资源量。

其中，所述全局资源量由VM服务器对每个VM任务所需的资源量进行合并后得到的。

402、资源服务器获取每个工作节点上的资源情况，所述资源情况包括：每个工作节点的资源总量以及可用资源量。

步骤402参见上述实施例中步骤203，此处不再赘述。

403、资源服务器将资源情况发送给VM服务器，以使VM服务器根据负载均衡原理以及每个工作节点的可用资源量，在所有工作节点选取第二目标工作节点，将第二目标工作节点反馈给资源服务器。

404、资源服务器将所述至少2个VM任务发送到第二目标工作节点上绑定资源并执行。

当有多个VM任务请求的时候，通过串行方式处理VM任务，不仅占用的串口较多，而且对请求的响应等待时间变长，本实施例中，将请求资源的所有VM任务所需的资源量进行合并得到全局资源量，只需一次向资源服务器请求全局资源量，就能为所有VM任务分配相应的所需资源，提高了效率。

图5为本发明另一实施例提供的混合任务下的动态资源调度方法的流程示意图。如图5所示，该方法包括：

500、资源服务器执行混合任务时接收物理任务发送的资源请求消息，并根据资源请求消息判断物理任务的任务类型。

步骤500可参见上述实施例中步骤100的相关记载，此处不再赘述。

501、如果判断出任务类型为MR任务，资源服务器将资源请求消息发送给位于第二工作节点上的MR服务器。

当确定出物理任务的任务类型为MR任务时，资源服务器将接收到的资源请求消息发送给MR服务器，其中该MR服务器处于某一工作节点上，本实施例中将MR服务器所在的工作节点称为第二工作节点。具体地，资源服务器将资源请求消息首先发送给第二工作节点，由第二工作节点转发给MR服务器。

502、资源服务器接收MR服务器反馈的第二指示消息。

在接收到资源请求消息后，MR服务器可以向资源服务器反馈一个第二指示消息。可选地，第二指示消息中携带有第三目标工作节点的标识，例如第三目标工作节点的地址。资源服务器根据第二指示消息获取到第三目标工作节点，其中，该第三目标工作节点为执行MR任务的工作节点。

503、资源服务器根据第二指示消息获取相应的第三目标工作节点。

504、资源服务器将MR任务发送到第三目标工作节点上绑定资源并执行。

在获取第三目标工作节点后，资源服务器将请求资源的MR任务发送到第三目标工作节点上，由该第三目标工作节点执行该MR任务。其中在执行MR任务时，第三目标工作节点按照Yarn框架中的资源调度策略对MR任务进行管理。

本实施例中，在物理任务为MR任务时，将资源请求消息发送给位于第二工作节点上的MR服务器，接收MR服务器反馈的第二指示消息，根据第二指示消息获取第三目标工作节点，将MR任务发送到第三目标工作节点上执行。本实施例中资源服务器不仅实现了对VM任务的统一管理，还可以统一为MR任务分配资源，从而提高了混合任务执行时资源的整体利用率。

图6为本发明一实施例提供的混合任务下的动态资源调度系统的结构示意图。如图6所示，该系统包括：资源服务器1、VM服务器2和第一目标工作节点3。

其中，资源服务器1，用于执行混合任务时接收物理任务发送的资源请求消息，并根据所述资源请求消息判断所述物理任务的任务类型，其中混合任务包括MR任务和VM任务，如果判断出任务类型为VM任务，将资源请求消息发送给位于第一工作节点上的VM服务器2，接收VM服务器2反馈的第一指示消息，根据第一指示消息获取第一目标工作节点3，将VM任务发送到第一目标工作节点3上绑定资源并执行。

VM服务器2，用于从资源服务器1处接收资源请求消息，并向资源服务器1发送第一指示消息，以指示资源服务器1根据第一指示消息获取第一目标工作节点3；

第一目标工作节点3，用于接收VM任务，并对VM任务进行资源绑定及执行。

本实施例提供的混合任务下的动态资源调度系统，资源服务器在执行混合任务时接收物理任务发送的资源请求消息，并根据资源请求消息判断物理任务的任务类型，其中混合任务包括MR和VM任务，在物理任务为VM任务时，将资源请求消息发送给位于第一工作节点上的VM服务器，接收VM服务器反馈的第一指示消息，根据所述第一指示消息获取第一目标工作节点，将VM任务发送到第一目标工作节点上绑定资源并执行，本实施例中资源服务器在执行MR任务的同时，也可以为VM任务分配资源，从而实现了对混合任务统一管理的目的，提高了执行混合任务时资源的整体利用率。

图7为本发明另一实施例提供的混合任务下的动态资源调度系统的结构示意图。如图7所示，除了包括上述实施例中的资源服务器1、VM服务器2、第一目标工作节点3之外，还包括DRM4。

其中，资源服务器1的一种可选的结构方式包括：第一接收模块11、判断模块12、第一发送模块13和确定模块14。

VM服务器2的一种可选的结构方式包括：第二接收模块21和第二发送模块22。

其中，第一接收模块11接收物理任务发送的资源请求消息，与第一接收模块11连接的判断模块12对物理任务的任务类型进行判断，当判断出任务类型为VM任务时，第一发送模块13将资源请求消息发送给VM服务器中的第二接收模块21。第二接收模块21接收到资源请求消息后，通过第二发送模块22在第一接收模块11接收第二发送模块22反馈的第一指示消息之前，接收第二发送模块22发送VM任务所需的目标资源量。

进一步地，资源服务器1还包括：获取模块15。

其中，获取模块15用于在第一接收模块11目标资源量之后，获取每个工作节点上的资源情况，其中资源情况包括每个工作节点的资源总量以及可用资源量。第一发送模块13将资源情况发送给第二接收模块21。

进一步地，VM服务器还包括：选取模块23、加锁模块24和解锁模块25。

其中，选取模块23，用于在第二接收模块21接收到资源情况后，从所有工作节点中选取第一目标工作节点3，将第一目标工作节点3携带在第一指示消息中发送给第一接收模块11。具体地，获取模块15将资源情况通过第一发送模块13发送给第二接收模块21后，加锁模块24对目标资源量进行加锁，并且选取模块23根据负载均衡原理以及每个工作节点的可用资源量，在所有工作节点中选取第一目标工作节点3，并将第一目标工作节点3携带在第一指示消息中发送给第一接收模块11。可选地，第一目标工作节点3的标识携带在第一指示消息中，其中标识可以为第一目标工作节点3的地址。

本实施例中，由于加锁模块24对VM任务所请求的目标资源量进行了枷锁，在将VM任务发送到第一目标工作节点3上执行之前，通过第一发送模块13指示解锁模块25对加锁后的目标资源量进行解锁。

进一步地，资源服务器还包括：监控模块16和指示模块17。

在资源服务器1通过第一发送模块13将VM任务发送到第一目标工作节点3上执行之后，监控模块16对执行VM任务的第一目标工作节点3进行监控，获取VM任务当前的资源占用量，判断模块12还可以判断所述资源占用量与所述目标资源量是否一致。如果判断结果为不一致，指示模块17指示DRM4对VM任务重新进行资源绑定。

第一接收模块11接收DRM4发送的绑定通知消息，所述绑定通知消息是由所述DRM4在重新绑定的资源量未超过第一目标工作节点3的所述可用资源量时发送的。

进一步地，第一接收模块11接收由DRM4经过VM服务器2转发的请求迁移VM任务的迁移请求，其中，所述迁移请求是由DRM4在重新绑定的资源量超过第一目标工作节点3生成的，所述迁移请求中携带VM任务迁移后所需的资源量大小。

在接收DRM4发送的请求迁移VM任务的迁移请求之后，确定模块14根据所需的资源量大小从除第一目标工作节点3之外的其他工作节点中选取目的工作节点5。

在目的工作节点5同意迁移后将目的工作节点5的标识发送给VM服务器2中的第二接收模块21，以使第二发送模块22将目的工作节点5的标识通知第一目标工作节点3，使得第一目标工作节点3将VM任务迁移至目的工作节点5中。

在完成VM任务的迁移后，第一接收模块11接收目的工作节点5发送的通知消息，此时，通过指示模块17指示释放模块18根据通知消息释放第一目标工作节点3的资源。

本实施例中，在第一目标工作节点执行VM任务时，资源服务器可以对其进行监控，根据VM任务实际的资源消耗量，动态的调整绑定的资源数量。在资源占用量少于所需资源量时，能够实时地根据第一目标工作节点所剩的可用资源满足VM所需资源量时，重新对VM任务进行资源绑定，并且在第一目标工作节点所剩的可用资源较少不满足需求时，将VM任务进行迁移，以保证VM任务的顺利执行。

进一步地，在资源调度系统还包括：第二目标工作节点6。

当有至少2个VM任务请求资源时，资源服务器1中第一接收模块11接收VM服务器2中第二发送模块22发送的所述至少2个VM任务所需的全局资源量，其中所述全局资源量由所述VM服务器2对每个VM任务所需的资源量进行合并后得到的。

在接收到全局资源量之后，获取模块15获取每个工作节点上的资源情况，其中资源情况包括每个工作节点的资源总量以及可用资源量，通过第一发送模块13将资源情况发送给第二接收模块21，以使选取模块23根据负载均衡原理以及每个工作节点的可用资源量，在所有工作节点选取第二目标工作节点6，通过第二发送模块22将第二目标工作节点6反馈给资源服务器1中的第一接收模块11，然后资源服务器1通过第一发送模块13将所述至少2个VM任务发送到第二目标工作节点6上绑定资源并执行。

当有多个VM任务请求的时候，通过串行方式处理VM任务，不仅占用的串口较多，而且对请求的响应等待时间变长，本实施例中，将请求资源的所有VM任务所需的资源量进行合并得到全局资源量，只需一次向资源服务器请求全局资源量，就能为所有VM任务分配相应的所需资源，提高了效率。

进一步地，在资源调度系统还包括：MR服务器7和第三目标工作节点8。

如果在判断模块12判断出物理任务的任务类型为映射归属MR任务，第一发送模块13将资源请求消息发送给位于第二工作节点上的MR服务器7。

第一接收模块11接收MR服务器7反馈的第二指示消息，确定模块14根据第二指示消息获取相应的第三目标工作节点8，通过第一发送模块13将MR任务发送到第三目标工作节点8上绑定资源并执行。

本实施例中，在物理任务为MR任务时，将资源请求消息发送给位于第二工作节点上的MR服务器，接收MR服务器反馈的第二指示消息，根据第二指示消息获取第三目标工作节点，将MR任务发送到第三目标工作节点上执行。本实施例中资源服务器不仅实现了对VM任务的统一管理，还可以统一为MR任务分配工作节点，从而提高了混合任务执行时资源的整体利用率。

最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。

Claims (6)

1.一种混合任务下的动态资源调度方法，其特征在于，包括：

资源服务器在执行混合任务时接收物理任务发送的资源请求消息，并根据所述资源请求消息判断所述物理任务的任务类型；所述混合任务包括映射归属MR任务和虚拟机VM任务；

如果判断出所述任务类型为所述VM任务，所述资源服务器将所述资源请求消息发送给位于第一工作节点上的VM服务器；

所述资源服务器接收所述VM服务器反馈的第一指示消息；

所述资源服务器根据所述第一指示消息获取第一目标工作节点；

所述资源服务器将所述VM任务发送到所述第一目标工作节点上绑定资源并执行；

其中，所述资源服务器接收所述VM服务器反馈的第一指示消息之前，包括：

所述资源服务器接收所述VM服务器发送所述VM任务所需的目标资源量；

所述资源服务器获取每个工作节点上的资源情况，其中所述资源情况包括：每个工作节点的资源总量以及可用资源量；

所述资源服务器将所述资源情况发送给所述VM服务器，以使所述VM服务器在所有工作节点中选取所述第一目标工作节点，将所述第一目标工作节点携带在所述第一指示消息中发送给所述资源服务器；

其中，所述资源服务器将所述VM任务发送到所述第一目标工作节点上绑定资源并执行之后，还包括：

所述资源服务器对执行所述VM任务的所述第一目标工作节点进行监控，获取所述VM任务当前的资源占用量；

所述资源服务器判断所述资源占用量与所述目标资源量是否一致；

如果判断结果为不一致，所述资源服务器指示数字权限管理DRM对所述VM任务重新进行资源绑定；

所述资源服务器接收所述DRM发送的绑定通知消息，所述绑定通知消息是由所述DRM在重新绑定的资源量未超过所述第一目标工作节点的所述可用资源量时发送的；

所述方法进一步包括：

所述资源服务器接收由所述DRM经过所述VM服务器转发的请求迁移所述VM任务的迁移请求，其中，所述迁移请求是由所述DRM在重新绑定的资源量超过所述第一目标工作节点的所述可用资源量时生成的，所述迁移请求中携带所述VM任务迁移后所需的资源量大小；

其中，所述资源服务器接收所述DRM发送的请求迁移所述VM任务的迁移请求之后，还包括：

所述资源服务器根据所述所需的资源量大小从除所述第一目标工作节点之外的其他工作节点中选取目的工作节点；

所述资源服务器在所述目的工作节点同意迁移后将所述目的工作节点的标识发送给所述VM服务器，以使所述VM服务器将所述目的工作节点的标识通知所述第一目标工作节点将所述VM任务迁移至所述目的工作节点；

所述资源服务器接收所述目的工作节点在所述VM任务迁移完成后发送的通知消息；

所述资源服务器根据所述通知消息释放所述第一目标工作节点的资源。

2.根据权利要求1所述的混合任务下的动态资源调度方法，其特征在于，所述资源服务器将所述资源情况发送给所述VM服务器，以使所述VM服务器在所有工作节点中选取所述第一目标工作节点，将所述第一目标工作节点携带在所述第一指示消息中发送给所述资源服务器，包括：

所述资源服务器将所述资源情况发送给所述VM服务器，以使所述VM服务器对所述目标资源量进行加锁，并且根据负载均衡原理以及每个工作节点的所述可用资源量，在所有工作节点中选取所述第一目标工作节点，将所述第一目标工作节点携带在所述第一指示消息中发送给所述资源服务器。

3.根据权利要求2所述的混合任务下的动态资源调度方法，其特征在于，所述资源服务器将所述VM任务发送到所述第一目标工作节点上执行之前，还包括：

所述资源服务器指示所述VM服务器对加锁后的目标资源量进行解锁。

4.根据权利要求1所述的混合任务下的动态资源调度方法，其特征在于，还包括：

当有至少2个VM任务请求资源时，所述资源服务器接收所述VM服务器发送的所述至少2个VM任务所需的全局资源量，所述全局资源量由所述VM服务器对每个VM任务所需的资源量进行合并后得到的；

所述资源服务器获取每个工作节点上的资源情况，所述资源情况包括：每个工作节点的资源总量以及可用资源量；

所述资源服务器将所述资源情况发送给所述VM服务器，以使所述VM服务器根据负载均衡原理以及每个工作节点的所述可用资源量，在所有工作节点选取第二目标工作节点，将所述第二目标工作节点反馈给所述资源服务器；

所述资源服务器将所述至少2个VM任务发送到所述第二目标工作节点上绑定资源并执行。

5.根据权利要求1所述的混合任务下的动态资源调度方法，其特征在于，还包括：

如果判断出所述任务类型为所述MR任务，所述资源服务器将所述资源请求消息发送给位于第二工作节点上的MR服务器；

所述资源服务器接收所述MR服务器反馈的第二指示消息；

所述资源服务器根据所述第二指示消息获取相应的第三目标工作节点；

所述资源服务器将所述MR任务发送到所述第三目标工作节点上绑定资源并执行。

6.一种混合任务下的动态资源调度系统，其特征在于，包括：资源服务器、虚拟机VM服务器和第一目标工作节点；

所述资源服务器包括：第一接收模块、判断模块、第一发送模块、确定模块；

所述资源服务器，用于在执行混合任务时接收物理任务发送的资源请求消息，并根据所述资源请求消息判断所述物理任务的任务类型，所述混合任务包括映射归属MR任务和虚拟机VM任务；如果所述任务类型为虚拟机VM任务，将所述资源请求消息发送给位于第一工作节点上的VM服务器，接收所述VM服务器反馈的第一指示消息，根据所述第一指示消息获取第一目标工作节点，所述VM任务发送到所述第一目标工作节点上绑定资源并执行；

所述VM服务器，用于从所述资源服务器处接收所述资源请求消息，并向所述资源服务器发送第一指示消息，以指示所述资源服务器根据所述第一指示消息获取第一目标工作节点；

所述第一目标工作节点，用于接收所述VM任务，并对所述VM任务进行资源绑定及执行；

其中，所述VM服务器还包括：第二接收模块和第二发送模块；所述第二接收模块接收到所述资源请求消息后，通过所述第二发送模块在所述第一接收模块接收所述第二发送模块反馈的所述第一指示消息之前，接收所述第二发送模块发送所述VM任务所需的目标资源量；

所述资源服务器还包括：获取模块；其中，所述获取模块用于获取每个工作节点上的资源情况，其中所述资源情况包括每个工作节点的资源总量以及可用资源量；

所述第一发送模块还用于将所述资源情况发送给所述第二接收模块；

所述VM服务器还包括：选取模块；其中，所述选取模块用于从所有工作节点中选取第一目标工作节点，将所述第一目标工作节点携带在所述第一指示消息中发送给所述第一接收模块；

其中，所述资源服务器还包括：监控模块、指示模块、释放模块；

所述监控模块对执行所述VM任务的所述第一目标工作节点进行监控，获取所述VM任务当前的资源占用量；

所述判断模块判断所述资源占用量与所述目标资源量是否一致；

如果判断结果为不一致，所述指示模块指示数字权限管理DRM对所述VM任务重新进行资源绑定；

所述第一接收模块接收所述DRM发送的绑定通知消息，所述绑定通知消息是由所述DRM在重新绑定的资源量未超过所述第一目标工作节点的所述可用资源量时发送的；

进一步地，所述第一接收模块还用于接收由所述DRM经过所述VM服务器转发的请求迁移VM任务的迁移请求，其中，所述迁移请求是由所述DRM在重新绑定的资源量超过所述第一目标工作节点生成的，所述迁移请求中携带所述VM任务迁移后所需的资源量大小；

其中，所述确定模块还用于根据所述所需的资源量大小从除所述第一目标工作节点之外的其他工作节点中选取目的工作节点；

在所述目的工作节点同意迁移后将所述目的工作节点的标识发送给所述第二接收模块，以使所述第二发送模块将所述目的工作节点的标识通知所述第一目标工作节点，使得所述第一目标工作节点将所述VM任务迁移至所述目的工作节点；

所述第一接收模块还用于接收所述目的工作节点发送的通知消息；

所述指示模块还用于指示所述释放模块根据所述通知消息释放所述第一目标工作节点的资源。