CN104636205A

CN104636205A - 一种任务抢占的方法和装置

Info

Publication number: CN104636205A
Application number: CN201410835829.3A
Authority: CN
Inventors: 杨成伟
Original assignee: Beijing QIYI Century Science and Technology Co Ltd
Current assignee: Beijing QIYI Century Science and Technology Co Ltd
Priority date: 2014-12-26
Filing date: 2014-12-26
Publication date: 2015-05-20
Anticipated expiration: 2034-12-26
Also published as: CN104636205B

Abstract

本发明实施例提供了一种任务抢占的方法和装置，其中，所述任务抢占的方法，具体包括：杀死框架内的被抢占任务；将所述被抢占任务占用的资源确定为所述框架的临时预留资源；其中，所述临时预留资源为预留给特定框架的非共享资源。本发明实施例可以避免在牺牲自身的被抢占任务的情况下该被抢占任务释放的资源被其它框架所占用的问题。

Description

一种任务抢占的方法和装置

技术领域

本发明涉及计算机技术领域，特别是涉及一种任务抢占的方法和装置。

背景技术

随着计算机技术的飞速发展，对计算能力和资源利用率的需求也不断提高，因此，云计算应运而生。在一方面，云计算以一种可管理、易扩展的方式提供计算能力；在另一方面，云计算以资源池的方式管理资源，用户对于资源可以随时获取，按需使用，以提高资源利用率。

目前，在一个云计算集群中运行多个计算框架(以下简称框架)是一种提高集群资源利用率行之有效的方法。现有方案中，多个框架可以通过共享资源池共享整个集群的资源，相应的资源共享流程具体可以包括：

步骤1、按照某种资源分配算法将该共享资源池中资源分配给某个框架；

步骤2、框架使用该资源运行任务；

步骤3、任务完成，释放资源，资源重新回到该共享资源池；

重复执行步骤1-3。

从上述资源共享流程可以看出，不管资源分配算法是怎样实现的，总是会经历资源释放重新回到该共享资源池这个步骤，然后再由资源分配算法来分配该资源；也即，资源作为该共享资源池的组成部分，分配给哪个框架具有不确定性，这种不确定性是由资源分配算法、及当前资源状态、当前框架状态等运行状态决定的。

上述资源共享流程在提高集群资源利用率的同时，还带来了多框架之间资源竞争的问题：假设某一时刻，计算框架1上运行着低优先级的任务A，同时又收到了高优先级的任务B，此种情况下，为确保任务B能及时执行，需要通过杀死任务A来抢占任务A的资源1。然而，由于资源1是由资源管理者统一管理的，所以杀死任务A后，原来被任务A占用的资源1将会重新回收到该共享资源池中，然后变成空闲资源供所有框架竞争。然而，共享资源分配的不确定性决定了该资源1不能确保能够被框架1竞争到。因此，对于框架1而言，牺牲了自己的任务A，释放的资源1却很有可能被其它框架竞争到。

发明内容

本发明实施例所要解决的技术问题是提供一种任务抢占的方法和装置，能够避免框架在牺牲自身的被抢占任务的情况下该被抢占任务释放的资源被其它框架所占用的问题。

为了解决上述问题，本发明公开了一种任务抢占的方法，包括：

杀死框架内的被抢占任务；

将所述被抢占任务占用的资源确定为所述框架的临时预留资源；其中，所述临时预留资源为预留给特定框架的非共享资源。

优选地，所述方法还包括：

为所述框架内的抢占任务分配所述框架的临时预留资源。

优选地，所述方法还包括：

在所述抢占任务执行完成后，将所述临时预留资源释放至共享资源池。

优选地，所述方法还包括：

当所述框架的临时预留资源不能满足所述抢占任务的资源需求时，杀死所述框架内的其它被抢占任务，并将所述其它被抢占任务占用的资源确定为所述框架的临时预留资源，直至所述框架的临时预留资源满足所述抢占任务的资源需求。

优选地，所述抢占任务的优先级大于所述被抢占任务的优先级，或者所述抢占任务的优先级小于所述被抢占任务的优先级。

依据本发明的另一个方面，本发明公开了一种任务抢占的装置，包括：

杀死任务模块，用于杀死框架内的被抢占任务；及

资源预留模块，用于将所述被抢占任务占用的资源确定为所述框架的临时预留资源；其中，所述临时预留资源为预留给特定框架的非共享资源。

优选地，所述装置还包括：

资源分配模块，用于为所述框架内的抢占任务分配所述框架的临时预留资源。

优选地，所述装置还包括：

资源回收模块，用于在所述抢占任务执行完成后，将所述临时预留资源释放至共享资源池。

优选地，所述装置还包括：

持续抢占模块，用于当所述框架的临时预留资源不能满足所述抢占任务的资源需求时，杀死所述框架内的其它被抢占任务，并将所述其它被抢占任务占用的资源确定为所述框架的临时预留资源，直至所述框架的临时预留资源满足所述抢占任务的资源需求。

与现有技术相比，本发明实施例包括以下优点：

本发明提供了一种任务抢占的方案，该方案在杀死框架内的被抢占任务后，将所述被抢占任务占用的资源确定为所述框架的临时预留资源，由于所述临时预留资源为预留给特定框架的非共享资源，其对于该特定框架之外的其它框架是不可见的，只能被该特定框架申请，从而可以避免在牺牲自身的被抢占任务的情况下该被抢占任务释放的资源被其它框架所占用的问题。

附图说明

图1示出了本发明的一种任务抢占的方法实施例一的流程图；

图2示出了本发明的一种任务抢占的方法实施例二的流程图；以及

图3示出了本发明的一种任务抢占的装置实施例的结构框图。

具体实施方式

为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本发明作进一步详细的说明。

实施例一

参照图1，示出了本发明提供的一种任务抢占的方法实施例一的流程图，具体可以包括如下步骤：

步骤101、杀死框架内的被抢占任务；

由于集群内的资源有限，同一个框架内的抢占任务需要通过抢占被抢占任务的资源，才能确保抢占任务的及时执行。当框架内发生任务抢占时，会首先杀死框架内的被抢占任务。

步骤102、将所述被抢占任务占用的资源确定为所述框架的临时预留资源；其中，所述临时预留资源为预留给特定框架的非共享资源。

在框架杀死被抢占任务后，需要释放所述被抢占任务占用的资源。本发明释放所述被抢占任务占用的资源的过程具体为，将所述释放的资源确定为所述框架的临时预留资源；由于所述临时预留资源为预留给特定框架的非共享资源，其对于其它框架不而言是可见的，只能被该特定框架申请。

在本发明的一种应用示例中，假设框架1上运行着低优先级任务A，此时，又接收到高优先级任务B，由于集群中资源紧张，需要通过抢占任务A来获取资源，以保证高优先级任务B及时执行，则该示例对应的任务抢占流程具体可以包括：

首先，框架1会杀死任务A；然后将任务A占用的资源1确定为框架1的临时预留资源，其中，所述临时预留资源为预留给框架1的非共享资源。在具体实现中，资源分配算法可以支持这种资源的临时预留方案，例如，资源分配算法可以将任务A释放的资源1临时添加到框架1的资源池中，而不是将其放入共享资源池中，以确保该临时预留资源对其它框架不可见，只能被框架1申请，从而可以保证框架1能够申请到资源来运行任务B。

在实际应用中，可以通过调用预置的API(Application ProgrammingInterface，应用程序编程接口)来实现。例如，集群管理节点可以向各框架提供该API，当某框架需要通过任务抢占来获取临时预留资源时可以调用这个编程接口，该API在被调用时将执行上述步骤101和102。当然，本领域技术人员也可以采用其它方法来实现上述步骤，本发明对此不作具体限制。

此外，本领域技术人员应该知悉，上述高优先级任务B抢占低优先级任务A只是作为一种应用示例，在具体实施时，可以根据实际需要执行本发明提供的任务抢占的方法，并不局限于被抢占任务为低优先级任务的情况，例如，被抢占任务的优先级也可以高于抢占任务的优先级，总之，本发明实施例对抢占任务和被抢占任务的优先级关系等条件不加以限制。

综上，本发明提供了一种任务抢占的方案，该方案在杀死框架内的被抢占任务后，将所述被抢占任务占用的资源确定为所述框架的临时预留资源，由于所述临时预留资源为预留给特定框架的非共享资源，其对于该特定框架之外的其它框架是不可见的，只能被该特定框架申请，从而可以避免在牺牲自身的被抢占任务的情况下该被抢占任务释放的资源被其它框架所占用的问题。

实施例二

参照图2，示出了本发明提供的一种任务抢占的方法实施例二的流程图，具体可以包括以下步骤：

步骤201、杀死框架内的被抢占任务；

步骤202、将所述被抢占任务占用的资源确定为所述框架的临时预留资源；其中，所述临时预留资源为预留给特定框架的非共享资源。

步骤203、为所述框架内的抢占任务分配所述框架的临时预留资源。

本实施例在上述实施例一的基础上增加了步骤203，框架可以将自身的临时预留资源分配给本框架的其它任务。

在本发明的一种应用示例中，框架1杀死任务A后，可以将任务A占用的资源1确定为框架1的临时预留资源，其中，所述临时预留资源为预留给框架1的非共享资源。当框架1接收到需要抢占其它任务才能得以执行的任务B时，可以将该资源1分配给任务B，使得任务B能够及时执行。当然，也可以将该资源1分配给抢占任务C、抢占任务D等等，具体分配给哪个抢占任务本发明不做具体限制，只要是框架1中的任务即可，该资源1作为框架1的临时预留资源，为框架1所独享，具体怎样分配也可以由框架1来决定。

在本发明的另一优选实施例中，所述方法具体还可以包括以下步骤：

例如，当抢占任务B执行完成后，其获取的临时预留资源(即资源1)也已经使用完毕，则可以将该临时预留资源释放至共享资源池变成空闲资源。这样，集群中的其它框架又可以共享该空闲资源，对该空闲资源进行公平竞争，因此能够避免框架对临时预留资源的长期占用，还能够避免当框架内没有足够多的任务时，临时预留资源将被闲置导致的资源浪费情况，从而提高了集群中资源的利用率。

在本发明的又一优选实施例中，所述方法具体还可以包括以下步骤：

需要注意的是，本发明实施例中以高优先级任务抢占低优先级任务为例进行说明，但在实际应用中，也可以是低优先级任务抢占高优先级任务的情况。

为使本领域技术人员更好地本发明，下面给出任务抢占的应用示例。

应用示例1

在本发明的一种应用示例中，示出了本申请一种任务抢占的过程，具体可以包括：

在T0时刻，框架1上运行着任务A；

在T1时刻，框架1接收到任务B，其中，任务B的优先级大于任务A的优先级；

在T2时刻，为了能够及时执行任务B，框架1杀死任务A；

在T3时刻，将任务A占用的资源1释放至框架1的临时资源池，作为框架1的临时预留资源；

在T4时刻，若资源1不能满足任务B的需求，例如，资源1为大小为1G的内存，而执行任务B需要5G的内存，资源1的大小不能够满足任务B的需求，而任务C占用了1G的内存，则框架1杀死任务C，其中，任务C的优先级小于任务B的优先级；

在T5时刻，将任务C占用的资源2释放至框架1的临时资源池，作为框架1的临时预留资源；

在T6时刻，若资源1和资源2还不能满足任务B的需求，则框架1杀死任务D，其中，任务D的优先级小于任务B的优先级；

框架1重复执行对其它任务抢占的过程，直到框架1的临时资源池中的资源能够满足任务B的需求为止；

在Tn时刻，若资源1，资源2，…，资源n能够满足任务B的需求，则框架1将所述资源1，资源2，…，资源n分配给任务B；

在Tn+1时刻，执行任务B；

在Tn+2时刻，任务B执行完成，将资源1，资源2，…，资源n释放至共享资源池，供所有的框架自由竞争。

从上述示例可以看出，对于框架内高优先级任务，总能够保证申请到足够的资源，从而得以及时执行。

此外，框架内只要有高优先级任务没有处理完，就可以重复执行本发明的任务抢占方法来获取框架内的临时预留资源，所述临时预留资源只有在高优先级任务执行完成后才会回到共享资源池。

应用示例2

下面通过一个应用示例来说明上述重复抢占的过程，具体可以包括：

在T0时刻，框架1上运行着任务A；

在T1时刻，框架1接收到任务B，并且任务B的优先级大于任务A的优先级；

在T2时刻，为了能够及时执行任务B，框架1杀死任务A；

在T4时刻，框架1将所述资源1分配给任务B；

在T5时刻，执行任务B；

在T6时刻，框架1接收到任务E，并且任务E的优先级大于任务B的优先级；

在T7时刻，为了能够及时执行任务E，框架1杀死任务B；

在T8时刻，将任务B占用的资源1释放至框架1的临时资源池，作为框架1的临时预留资源；

在T9时刻，框架1将所述资源1分配给任务E；

在10时刻，执行任务E；

在T11时刻，任务E执行完成，将资源1释放至共享资源池。

本发明实施例提供的任务抢占的方法，将框架内的被抢占任务释放的资源作为框架的临时预留资源，对于其它框架不可见，只能够被本框架所申请，避免了牺牲自身的被抢占任务的情况下该被抢占任务释放的资源被其它框架所占用的问题。此外，框架可以将所述临时预留资源分配给高优先级任务，从而保证框架内高优先级任务总是能够申请到足够的资源，以及本发明提供的任务抢占方法支持重复抢占的情况，即一个资源可以被多个任务不断抢占，从而进一步保证高优先级任务能够及时获取足够的资源，能够及时执行。最后，当高优先级任务执行完成后，将占用的临时预留资源释放至共享资源池，供所有的框架自由竞争，避免了资源浪费的情况。

装置实施例

参照图3，示出了本发明一种任务抢占的装置的结构框图，具体可以包括：

杀死任务模块310，用于杀死框架内的被抢占任务；及

资源预留模块320，用于将所述被抢占任务占用的资源确定为所述框架的临时预留资源；其中，所述临时预留资源为预留给特定框架的非共享资源。

在本发明的一种优选实施例中，所述装置还可以包括：

在本发明的另一种优选实施例中，所述装置还可以包括：

在本发明的又一种优选实施例中，所述装置还可以包括：

在本发明的再一种优选实施例中，所述抢占任务的优先级大于所述被抢占任务的优先级，或者所述抢占任务的优先级小于所述被抢占任务的优先级。

对于装置实施例而言，由于其与方法实施例基本相似，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。

本说明书中的各个实施例均采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似的部分互相参见即可。

本领域内的技术人员应明白，本发明实施例的实施例可提供为方法、装置、或计算机程序产品。因此，本发明实施例可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明实施例可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本发明实施例是参照根据本发明实施例的方法、终端设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理终端设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理终端设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理终端设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理终端设备上，使得在计算机或其他可编程终端设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程终端设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

尽管已描述了本发明实施例的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例做出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本发明实施例范围的所有变更和修改。

最后，还需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者终端设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者终端设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者终端设备中还存在另外的相同要素。

以上对本发明所提供的一种任务抢占的方法和装置，进行了详细介绍，本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。

Claims

1.一种任务抢占的方法，其特征在于，所述方法包括：

杀死框架内的被抢占任务；

2.如权利要求1所述的方法，其特征在于，所述方法还包括：

为所述框架内的抢占任务分配所述框架的临时预留资源。

3.如权利要求2所述的方法，其特征在于，所述方法还包括：

4.如权利要求2所述的方法，其特征在于，所述方法还包括：

5.如权利要求2或3或4所述的方法，其特征在于，所述抢占任务的优先级大于所述被抢占任务的优先级，或者所述抢占任务的优先级小于所述被抢占任务的优先级。

6.一种任务抢占的装置，其特征在于，所述装置包括：

杀死任务模块，用于杀死框架内的被抢占任务；及

7.如权利要求6所述的装置，其特征在于，所述装置还包括：

8.如权利要求7所述的装置，其特征在于，所述装置还包括：

9.如权利要求7所述的装置，其特征在于，所述装置还包括：

10.如权利要求7或8或9所述的装置，其特征在于，所述抢占任务的优先级大于所述被抢占任务的优先级，或者所述抢占任务的优先级小于所述被抢占任务的优先级。