CN112612616B - 一种任务处理方法及装置 - Google Patents

Abstract

本发明公开了一种任务处理方法及装置，可以接收第一作业的处理请求，处理请求中包括作业处理时限，在历史信息编目中查找第一作业对应的目标历史处理信息，根据目标历史处理信息，估算第一作业在当前的作业处理环境下的目标处理时长，在当前的作业处理环境下对第一作业中的任务进行处理的处理资源为第一资源，根据目标处理时长，确定在作业处理时限内是否能完成第一作业，若否，则停止处理其它作业中的至少一个目标任务，以释放出空闲处理资源，使用空闲处理资源和第一资源，对第一作业中的任务进行处理。本发明可以在保障规定时间内完成对高优先级作业的处理的情况下，避免对处理资源的浪费，提高对处理资源的利用率。

Description

一种任务处理方法及装置

技术领域

本发明涉及数据处理领域，尤其涉及一种任务处理方法及装置。

背景技术

在大数据处理系统中，作业是一系列并行任务的总集。不同作业间可以具有作业优先级的区分，如高优先级和低优先级。

系统在调度和处理作业的过程中，需保障高优先级作业能够在规定时间内处理完成。

但是，现有技术是通过丢弃正处于处理过程中的低优先级作业的方式，来保障在规定时间内完成对高优先级作业的处理。该种方式会导致对处理资源的浪费，降低对处理资源的利用率。

发明内容

鉴于上述问题，本发明提供一种克服上述问题或者至少部分地解决上述问题的任务处理方法及装置，技术方案如下：

一种任务处理方法，包括：

接收第一作业的处理请求，所述处理请求中包括作业处理时限；

在历史信息编目中查找所述第一作业对应的目标历史处理信息，所述历史信息编目中保存有至少一种作业的历史处理信息；

根据所述目标历史处理信息，估算所述第一作业在当前的作业处理环境下的目标处理时长，在所述当前的作业处理环境下对所述第一作业中的任务进行处理的处理资源为第一资源；

根据所述目标处理时长，确定在所述作业处理时限内是否能完成所述第一作业，若否，则停止处理其它作业中的至少一个目标任务，以释放出空闲处理资源；

使用所述空闲处理资源和所述第一资源，对所述第一作业中的任务进行处理。

可选的，所述处理请求中还包括所述第一作业的作业数据量，所述作业处理环境包括并行度，所述目标历史处理信息包括有作业数据量、历史并行度和历史处理时长；所述根据所述目标历史处理信息，估算所述第一作业在当前的作业处理环境下的目标处理时长，包括：

将所述第一作业的作业数据量、所述作业处理环境中的并行度和所述目标历史处理信息代入公式T＝T1*(D2/D1)*(P1/P2)，获得计算出的T；

其中，T为所述目标处理时长，T1为所述历史处理时长，D2为所述第一作业的作业数据量，D1为所述目标历史处理信息中的作业数据量，P1为所述历史并行度，所述P2为所述作业处理环境中的并行度。

可选的，所述处理请求还包括所述第一作业的作业优先级，所述其它作业的作业优先级比所述第一作业的作业优先级低。

可选的，在所述停止处理其它作业中的至少一个目标任务后，所述方法还包括：

保存各所述目标任务的检查点。

可选的，所述方法还包括：

在对所述目标任务进行重启处理时，从所述目标任务的检查点对应的任务进度处开始处理。

一种任务处理装置，包括：接收单元、查找单元、估算单元、确定单元、停止单元和使用单元，其中：

所述接收单元，被配置为执行：接收第一作业的处理请求，所述处理请求中包括作业处理时限；

所述查找单元，被配置为执行：在历史信息编目中查找所述第一作业对应的目标历史处理信息，所述历史信息编目中保存有至少一种作业的历史处理信息；

所述估算单元，被配置为执行：根据所述目标历史处理信息，估算所述第一作业在当前的作业处理环境下的目标处理时长，在所述当前的作业处理环境下对所述第一作业中的任务进行处理的处理资源为第一资源；

所述确定单元，被配置为执行：根据所述目标处理时长，确定在所述作业处理时限内是否能完成所述第一作业，若否，则触发所述停止单元；

所述停止单元，被配置为执行：停止处理其它作业中的至少一个目标任务，以释放出空闲处理资源；

所述使用单元，被配置为执行：使用所述空闲处理资源和所述第一资源，对所述第一作业中的任务进行处理。

可选的，所述处理请求中还包括所述第一作业的作业数据量，所述作业处理环境包括并行度，所述目标历史处理信息包括有作业数据量、历史并行度和历史处理时长；所述估算单元，被配置为执行：

将所述第一作业的作业数据量、所述作业处理环境中的并行度和所述目标历史处理信息代入公式T＝T1*(D2/D1)*(P1/P2)，获得计算出的T；

其中，T为所述目标处理时长，T1为所述历史处理时长，D2为所述第一作业的作业数据量，D1为所述目标历史处理信息中的作业数据量，P1为所述历史并行度，所述P2为所述作业处理环境中的并行度。

可选的，所述处理请求还包括所述第一作业的作业优先级，所述其它作业的作业优先级比所述第一作业的作业优先级低。

可选的，所述装置还包括：保存单元；所述保存单元，被配置为执行：

保存各所述目标任务的检查点。

可选的，所述装置还包括：处理单元；所述处理单元，被配置为执行：在对所述目标任务进行重启处理时，从所述目标任务的检查点对应的任务进度处开始处理。

本实施例提出的任务处理方法及装置，可以接收第一作业的处理请求，处理请求中包括作业处理时限，在历史信息编目中查找第一作业对应的目标历史处理信息，历史信息编目中保存有至少一种作业的历史处理信息，根据目标历史处理信息，估算第一作业在当前的作业处理环境下的目标处理时长，在当前的作业处理环境下对第一作业中的任务进行处理的处理资源为第一资源，根据目标处理时长，确定在作业处理时限内是否能完成第一作业，若否，则停止处理其它作业中的至少一个目标任务，以释放出空闲处理资源，使用空闲处理资源和第一资源，对第一作业中的任务进行处理。本发明可以估算出第一作业的目标处理时长，根据目标处理时长确定作业处理时限内是否能完成第一作业，并仅在确定作业处理时限内不能完成第一作业时，才停止其它作业中的任务，以释放出可以用于对第一作业进行处理的空闲处理资源，本发明可以在保障规定时间内完成对高优先级作业的处理的情况下，避免对处理资源的浪费，提高对处理资源的利用率。

上述说明仅是本发明技术方案的概述，为了能够更清楚了解本发明的技术手段，而可依照说明书的内容予以实施，并且为了让本发明的上述和其它目的、特征和优点能够更明显易懂，以下特举本发明的具体实施方式。

附图说明

为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。

图1示出了本发明实施例提供的一种任务处理方法的流程图；

图2示出了本发明实施例提供的另一种任务处理方法的流程图；

图3示出了本发明实施例提供的一种任务处理装置的结构示意图。

具体实施方式

下面将参照附图更详细地描述本发明的示例性实施例。虽然附图中显示了本发明的示例性实施例，然而应当理解，可以以各种形式实现本发明而不应被这里阐述的实施例所限制。相反，提供这些实施例是为了能够更透彻地理解本发明，并且能够将本发明的范围完整的传达给本领域的技术人员。

如图1所示，本实施例提出了一种任务处理方法，该方法可以包括以下步骤：

S101、接收第一作业的处理请求，处理请求中包括作业处理时限。

其中，第一作业可以是大数据处理系统所处理的作业。此时，第一作业可以是一系列并行任务的总集。需要说明的是，大数据处理系统对于第一作业的处理流程，可以包括有若干个处理阶段，比如map阶段和reduce阶段，其中，大数据处理系统在每个处理阶段，均可以并行处理第一作业中的若干个相同的任务。

需要说明的是，本发明可以应用于电子设备，如服务器设备、台式电脑和平板电脑等。

具体的，本发明可以应用于分布式处理系统。其中，分布式处理系统可以包括有数据处理主节点和其它数据处理节点。具体的，数据处理主节点可以接收第一作业的处理请求。比如，技术人员可以将第一作业提交至客户端，之后客户端可以将第一作业的处理请求发送至数据处理主节点处进行处理。

其中，作业处理时限可以为进行作业处理所限定的时间。

可选的，作业处理时限可以包括完成作业的最晚允许时间，此时，本发明需在最晚允许时间之前完成对作业的处理；

可选的，作业处理时限可以包括开始处理作业的时间和完成作业的最晚允许时间，此时本发明需在时间到达开始处理作业的时间时，开始进行对作业的处理，并在最晚允许时间之前完成对作业的处理。比如，当开始处理作业的时间为凌晨2点，完成作业的最晚允许时间为凌晨6点时，本发明需在凌晨2点开始进行对作业的储能，并在凌晨6点之前完成对作业的处理。

S102、在历史信息编目中查找第一作业对应的目标历史处理信息，历史信息编目中保存有至少一种作业的历史处理信息。

需要说明的是，本发明可以根据记录有作业在处理过程中的相关处理信息的历史日志，来建立历史信息编目。具体的，本发明可以通过离线收集系统，从历史日志中采集各类作业在处理过程中的相关处理信息，比如作业类别、作业名称、作业内容及功能、作业数据量、处理资源(如CPU和内存)分配信息和/或处理时长等，之后，本发明可以对采集到的相关处理信息进行集成，对应保存属于同一作业的相关处理信息，以建立历史信息编目。

其中，目标历史处理信息中可以包括作业类别、作业名称、作业内容及功能、作业数据量、处理资源(如CPU和内存)分配信息和/或处理时长等信息。

可选的，本发明可以根据第一作业的作业名称，在历史信息编目中查找相同作业名称对应的历史处理信息，并将查找到的历史处理信息确定为目标历史处理信息；

可选的，本发明可以根据第一作业的作业内容及功能，在历史信息编目中查找作业内容及功能相似或相同的作业，之后将查找到的作业对应的历史处理信息确定为目标历史处理信息。

可选的，本发明可以根据第一作业的作业类别，在历史信息编目中查找相同作业类别且作业数据量相似的作业，之后将查找到的作业对应的历史处理信息确定为目标历史处理信息。

需要说明的是，本发明对于查找及确定目标历史处理信息的具体依据不做限定。

S103、根据目标历史处理信息，估算第一作业在当前的作业处理环境下的目标处理时长，在当前的作业处理环境下对第一作业中的任务进行处理的处理资源为第一资源。

其中，作业处理环境可以包括能用于处理作业的空闲处理资源和并行度等。

具体的，本发明可以结合目标历史处理信息和当前的作业处理环境，对处理第一作业所需的目标处理时长进行估算。

具体的，本发明可以通过对当前的作业处理环境与目标历史处理信息中作业处理环境的比较，以及对第一作业的作业数据量与目标历史处理信息中的作业数据量的比较，来估算第一作业的目标处理时长。

可选的，当目标历史处理信息为历史信息编目中，与第一作业具有相同作业名称的历史处理信息时，本发明可以认为第一作业的作业数据量与目标历史处理信息中的作业数据量相同，从而可以仅根据当前的作业处理环境与目标历史处理信息中的作业处理环境进行对比，来估算目标处理时长。此时，当目标历史处理信息中的作业处理环境对应的作业处理能力，低于当前的作业处理环境对应的作业处理能力时，本发明可以直接将目标历史处理信息中的处理时长确定为目标处理时长。

可选的，当目标历史处理信息为历史信息编目中，与第一作业的作业内容及功能相似或相同的作业的历史处理信息时，本发明可以通过比较第一作业的作业数据量与目标历史处理信息中的作业数据量，比较当前的作业处理环境与目标历史处理信息中的作业处理环境，并结合比较结果和目标历史处理信息中的处理时长来估算目标处理时长。

具体的，本发明可以在当前的作业处理环境中的空闲处理资源不小于目标历史处理信息中的处理资源时，仅结合作业数据量和并行度的比较结果和目标历史处理信息中的处理时长，来估算目标处理时长。

可选的，在本实施例提出的其它任务处理方法中，处理请求中还可以包括第一作业的作业数据量，作业处理环境可以包括并行度，目标历史处理信息可以包括有作业数据量、历史并行度和历史处理时长，此时，步骤S103可以具体包括：

将第一作业的作业数据量、作业处理环境中的并行度和目标历史处理信息代入公式T＝T1*(D2/D1)*(P1/P2)，获得计算出的T；

其中，T为目标处理时长，T1为历史处理时长，D2为第一作业的作业数据量，D1为目标历史处理信息中的作业数据量，P1为历史并行度，P2为作业处理环境中的并行度。

其中，历史并行度可以为目标历史处理信息中的并行度。

可选的，上述第一资源可以为零，即当前的作业处理环境分配的用于处理第一作业中的任务的处理资源为零，如分配的用于处理第一作业中的任务的CPU和内存均为零。可以理解的是，此时第一作业在当前的处理状态可以是未开始处理或停止处理。相应的，本发明可以在未开始处理或停止处理第一作业时，对其目标处理时长进行估算。相应的，步骤S103可以具体为：在开始处理第一作业之前，根据目标历史处理信息，估算第一作业在当前的作业处理环境下的目标处理时长；相应的，步骤S103也可以具体为：在停止处理第一作业期间，根据目标历史处理信息，估算第一作业在当前的作业处理环境下的目标处理时长。

可选的，上述第一资源可以为大于零，即当前的作业处理环境分配的用于处理第一作业中的任务的处理资源为大于零，如分配的用于处理第一作业中的任务的CPU和内存均为大于零。可以理解的是，此时第一作业在当前的处理状态可以是处理期间。相应的，本发明可以在处理第一作业期间，对第一作业的目标处理时长进行实时估算。相应的，步骤S103可以具体为：在处理第一作业期间，根据目标历史处理信息，估算第一作业在当前的作业处理环境下的目标处理时长。需要说明的是，本发明可以在处理第一作业期间，不断的(比如周期性的)对第一作业的目标处理时长进行估算，以实时追踪完成第一作业所需的剩余处理时长。

可以理解的是，当第一作业的处理状态为未开始处理时，目标处理时长可以是第一作业的全部作业数据量对应的所需处理时长，此时，本发明可以根据第一作业的全部作业数据量，对目标处理时长进行估算；当第一作业的处理状态为停止处理或者处理期间时，目标处理时长可以是当前未处理的第一作业的剩余作业数据量对应的所需处理时长，此时，本发明可以根据当前未处理的第一作业的剩余作业数据量，对目标处理时长进行估算。

S104、根据目标处理时长，确定在作业处理时限内是否能完成第一作业，若否，则执行步骤S105；若是，则可以禁止执行步骤S105。

其中，本发明可以根据当前时间和目标处理时长，确定是否可以在作业处理时限内完成对第一作业的处理。比如，如果当前时间为凌晨3点，目标处理时长为3小时，作业处理时限中完成第一作业的最晚允许时间为凌晨6点，则不能在作业处理时限内完成对第一作业的处理。

S105、停止处理其它作业中的至少一个目标任务，以释放出空闲处理资源。

具体的，如果确定在作业处理时限内不能完成对第一作业的处理，则本发明可以通过停止对其它作业中的某些任务的处理，释放出空闲处理资源，并可以使用释放出的空闲处理资源参与对第一作业的处理，加快对第一作业的处理速度。

具体的，如果确定在作业处理时限内可以完成对第一作业的处理，则本发明可以禁止执行步骤S105，禁止停止对其它作业中的任务的处理，避免对其它作业的处理过程产生干扰和延迟。

具体的，如果第一作业的处理状态为未开始处理，且本发明确定在作业处理时限内可以完成对第一作业的处理，则本发明可以继续将第一作业放置于作业等待队列中等待处理。

其中，上述其它作业可以是一个作业，也可以是多个作业，本发明对于其具体数量不做限定。

具体的，本发明可以先行确定上述其它作业，之后再从上述其它作业中确定目标任务。

具体的，本发明可以根据作业优先级、作业进度和/或需要的剩余处理时长等因素来确定上述其它作业。比如，可以将作业优先级比第一作业低的作业确定为上述其它作业；再比如，可以将作业进度为即将完成的作业确定为上述其它作业；再比如，可以将作业优先级比第一作业低，且作业进度较快的作业确定为上述其它作业；再比如，可以将作业优先级比第一作业高，且作业进度较快、剩余的完成时间较为充裕的高优先级作业确定为上述其它作业。

可以理解的是，本发明也可以对非第一作业的其它作业所需的剩余处理时长进行估算。

需要说明的是，本发明可以在不影响更高作业优先级在相应的作业处理时限内完成处理的情况下，将更高优先级的作业确定为上述其它作业。

可选的，在本实施例提出的其它任务处理方法中，处理请求还可以包括第一作业的作业优先级，其它作业的作业优先级比第一作业的作业优先级低。其中，本发明可以将作业优先级比第一作业低的作业确定为上述其它作业。

可以理解的是，本发明在确定上述其它作业中的目标任务时，可以根据任务优先级和/或任务进度等因素，来确定目标任务。比如，可以将低优先级的任务确定为目标任务；再比如，可以将任务进度为即将完成的任务确定为目标任务；再比如，可以将任务优先级低但任务进度较快的任务确定为目标任务。当然，本发明也可以直接停止处理低优先级作业中的全部任务，此时即是停止对低优先级作业的处理。

具体的，本发明也可以根据任务优先级和/或任务进度等因素，直接从非第一作业的其它作业中确定出目标任务。比如，可以直接将其它作业中任务优先级最低的任务确定为目标任务，或者直接将其它作业中任务优先级较低且任务进度快的任务确定为目标任务。

需要说明的是，本发明对于上述其它作业和目标任务的选取过程不做限定。

S106、使用空闲处理资源和第一资源，对第一作业中的任务进行处理。

具体的，本发明可以在上述第一资源的基础上，再添加使用通过停止目标任务所释放出的空闲处理资源，共同对第一作业中的任务进行处理。

其中，当第一资源为零时，本发明可以单独使用空闲处理资源对第一作业进行处理。

具体的，本发明可以通过不断的对第一作业的目标处理时长进行估算，来追踪完成第一作业所需的剩余时长，根据所需的剩余时长与作业处理时限，实时调整上述其它作业和目标任务的选取，比如，当所需的剩余时长较多而作业处理时限规定的时间较紧张时，可以增加选取的上述其它作业的数量，增加目标任务的数量，以释放出更多空闲处理资源对第一作业进行处理，再比如，当所需的剩余时长较少而作业处理时限规定的时间较充裕时，本发明可以减少选取的上述其它作业的数量，减少目标任务的数量，以加快相关任务和相关作业的进度，提高作业处理效率。

需要说明的是，本发明可以通过图1所示方法估算出第一作业的目标处理时长，根据目标处理时长确定作业处理时限内是否能完成第一作业，并仅在确定作业处理时限内不能完成第一作业时，才停止其它作业中的任务，以释放出可以用于对第一作业进行处理的空闲处理资源。相对于现有技术，本发明可以在保障规定时间内完成对高优先级作业的处理的情况下，避免对处理资源的浪费，提高对处理资源的利用率。

还需要说明的是，现有技术也可以通过资源冗余的方式，比如配置更多服务器设备和配置系统额外的处理资源等，来保障在规定时间内完成对高优先级作业的处理。具体的，该种方式可以有利于保障，将高作业优先作业和低作业优先级的作业的完成时间均控制在相应的作业处理时限内，但是资源冗余配置，整体的资源利用率低，会造成对资源配置的浪费。而本发明通过图1所示方法，可以避免对资源的冗余配置，提高资源利用率，避免资源配置的浪费。

本实施例提出的任务处理方法，可以接收第一作业的处理请求，处理请求中包括作业处理时限，在历史信息编目中查找第一作业对应的目标历史处理信息，历史信息编目中保存有至少一种作业的历史处理信息，根据目标历史处理信息，估算第一作业在当前的作业处理环境下的目标处理时长，在当前的作业处理环境下对第一作业中的任务进行处理的处理资源为第一资源，根据目标处理时长，确定在作业处理时限内是否能完成第一作业，若否，则停止处理其它作业中的至少一个目标任务，以释放出空闲处理资源，使用空闲处理资源和第一资源，对第一作业中的任务进行处理。本发明可以估算出第一作业的目标处理时长，根据目标处理时长确定作业处理时限内是否能完成第一作业，并仅在确定作业处理时限内不能完成第一作业时，才停止其它作业中的任务，以释放出可以用于对第一作业进行处理的空闲处理资源。本发明可以在保障规定时间内完成对高优先级作业的处理的情况下，避免对处理资源的浪费，提高对处理资源的利用率。

基于图1所示步骤，本实施例提出另一种任务处理方法，如图2所示，在步骤S105之后，该方法还可以包括：

S201、保存各目标任务的检查点。

具体的，如果正在处理的某个任务被确定为目标任务，则本发明可以将该任务当前的数据记录偏移量和内存快照写入持久化数据存储空间(如磁盘和存储介质)中，并保存检查点的元数据信息，以对目标任务的进度信息进行保存。

具体的，本发明应用于分布式处理系统时，可以将目标任务当前的数据记录偏移量和内存快照保存至一个或多个数据处理节点中，并可以将检查点的元数据信息返回至数据处理主节点中。

可选的，该方法还可以包括：

在对目标任务进行重启处理时，从目标任务的检查点对应的任务进度处开始处理。

需要说明的是，当上述其它作业或者目标任务再次被重启时，本发明可以从数据处理主节点处读取检查点的元数据信息到内存，并且从相关的数据记录偏移量开始执行，即从检查点对应的任务进度处开始处理，而无需重头执行上述其它作业中的目标任务，可以进一步避免对已消耗处理资源的浪费，提高对处理资源的利用率，尤其是对于一些处理数据量和计算量非常大的作业或者任务。

其中，本发明对于目标任务的重启时机不做限定，比如可以是在第一作业已处理完成时，再比如可以是在处理资源充裕时。

本实施例提出的任务处理方法，可以进一步避免对已消耗处理资源的浪费，提高对处理资源的利用率。

与图1所示步骤相对应，本实施例提出一种任务处理装置，如图3所示，该装置可以包括：接收单元101、查找单元102、估算单元103、确定单元104、停止单元105和使用单元106，其中：

接收单元101，被配置为执行：接收第一作业的处理请求，处理请求中包括作业处理时限；

其中，第一作业可以是大数据处理系统所处理的作业。此时，第一作业可以是一系列并行任务的总集。

其中，作业处理时限可以为进行作业处理所限定的时间。

查找单元102，被配置为执行：在历史信息编目中查找第一作业对应的目标历史处理信息，历史信息编目中保存有至少一种作业的历史处理信息；

需要说明的是，本发明可以根据记录有作业在处理过程中的相关处理信息的历史日志，来建立历史信息编目。

其中，目标历史处理信息中可以包括作业类别、作业名称、作业内容及功能、作业数据量、处理资源(如CPU和内存)分配信息和/或处理时长等信息。

估算单元103，被配置为执行：根据目标历史处理信息，估算第一作业在当前的作业处理环境下的目标处理时长，在当前的作业处理环境下对第一作业中的任务进行处理的处理资源为第一资源；

其中，作业处理环境可以包括能用于处理作业的空闲处理资源和并行度等。

可选的，在本实施例提出的其它任务处理装置中，处理请求中还包括第一作业的作业数据量，作业处理环境包括并行度，目标历史处理信息包括有作业数据量、历史并行度和历史处理时长；估算单元103，被配置为执行：

将第一作业的作业数据量、作业处理环境中的并行度和目标历史处理信息代入公式，获得计算出的T；

其中，T为目标处理时长，T1为历史处理时长，D2为第一作业的作业数据量，D1为目标历史处理信息中的作业数据量，P1为历史并行度，P2为作业处理环境中的并行度。

其中，历史并行度可以为目标历史处理信息中的并行度。

可选的，上述第一资源可以为零。可选的，上述第一资源可以为大于零。

确定单元104，被配置为执行：根据目标处理时长，确定在作业处理时限内是否能完成第一作业，若否，则触发停止单元105；

其中，本发明可以根据当前时间和目标处理时长，确定是否可以在作业处理时限内完成对第一作业的处理。

停止单元105，被配置为执行：停止处理其它作业中的至少一个目标任务，以释放出空闲处理资源；

具体的，如果确定在作业处理时限内不能完成对第一作业的处理，则本发明可以通过停止对其它作业中的某些任务的处理，释放出空闲处理资源，并可以使用释放出的空闲处理资源参与对第一作业的处理，加快对第一作业的处理速度。

可选的，在本实施例提出的其它任务处理装置中，处理请求还可以包括第一作业的作业优先级，其它作业的作业优先级比第一作业的作业优先级低。其中，本发明可以将作业优先级比第一作业低的作业确定为上述其它作业。

使用单元106，被配置为执行：使用空闲处理资源和第一资源，对第一作业中的任务进行处理。

具体的，本发明可以在上述第一资源的基础上，再添加使用通过停止目标任务所释放出的空闲处理资源，共同对第一作业中的任务进行处理。

其中，当第一资源为零时，本发明可以单独使用空闲处理资源对第一作业进行处理。

本实施例提出的任务处理装置，可以估算出第一作业的目标处理时长，根据目标处理时长确定作业处理时限内是否能完成第一作业，并仅在确定作业处理时限内不能完成第一作业时，才停止其它作业中的任务，以释放出可以用于对第一作业进行处理的空闲处理资源。本发明可以在保障规定时间内完成对高优先级作业的处理的情况下，避免对处理资源的浪费，提高对处理资源的利用率。

基于图3所示结构示意图，本实施例提出另一种任务处理装置，该装置还可以包括：保存单元；保存单元，被配置为执行：

保存各目标任务的检查点。

具体的，如果正在处理的某个任务被确定为目标任务，则本发明可以将该任务当前的数据记录偏移量和内存快照写入持久化数据存储空间(如磁盘和存储介质)中，并保存检查点的元数据信息，以对目标任务的进度信息进行保存。

具体的，本发明应用于分布式处理系统时，可以将目标任务当前的数据记录偏移量和内存快照保存至一个或多个数据处理节点中，并可以将检查点的元数据信息返回至数据处理主节点中。

可选的，该装置还可以包括：处理单元；处理单元，被配置为执行：在对目标任务进行重启处理时，从目标任务的检查点对应的任务进度处开始处理。

需要说明的是，当上述其它作业或者目标任务再次被重启时，本发明可以从数据处理主节点处读取检查点的元数据信息到内存，并且从相关的数据记录偏移量开始执行，即从检查点对应的任务进度处开始处理，而无需重头执行上述其它作业中的目标任务，可以进一步避免对已消耗处理资源的浪费，提高对处理资源的利用率，尤其是对于一些处理数据量和计算量非常大的作业或者任务。

其中，本发明对于目标任务的重启时机不做限定，比如可以是在第一作业已处理完成时，再比如可以是在处理资源充裕时。

本实施例提出的任务处理装置，可以进一步避免对已消耗处理资源的浪费，提高对处理资源的利用率。

还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括要素的过程、方法、商品或者设备中还存在另外的相同要素。

以上仅为本申请的实施例而已，并不用于限制本申请。对于本领域技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原理之内所作的任何修改、等同替换、改进等，均应包含在本申请的权利要求范围之内。

Claims (2)

1.一种任务处理方法，其特征在于，包括：

接收第一作业的处理请求，所述处理请求中包括作业处理时限；

在历史信息编目中查找所述第一作业对应的目标历史处理信息，所述历史信息编目中保存有至少一种作业的历史处理信息；

根据所述目标历史处理信息，估算所述第一作业在当前的作业处理环境下的目标处理时长，在所述当前的作业处理环境下对所述第一作业中的任务进行处理的处理资源为第一资源；

根据所述目标处理时长，确定在所述作业处理时限内是否能完成所述第一作业，若否，则停止处理其它作业中的至少一个目标任务，以释放出空闲处理资源；

使用所述空闲处理资源和所述第一资源，对所述第一作业中的任务进行处理；

所述处理请求中还包括所述第一作业的作业数据量，作业处理环境包括并行度，所述目标历史处理信息包括有作业数据量、历史并行度和历史处理时长；所述根据所述目标历史处理信息，估算所述第一作业在当前的作业处理环境下的目标处理时长，包括：

将所述第一作业的作业数据量、作业处理环境中的并行度和所述目标历史处理信息代入公式，获得计算出的T；

其中，T为所述目标处理时长，T1为所述历史处理时长，D2为所述第一作业的作业数据量，D1为所述目标历史处理信息中的作业数据量，P1为所述历史并行度，所述P2为作业处理环境中的并行度；

所述处理请求还包括所述第一作业的作业优先级，所述其它作业的作业优先级比所述第一作业的作业优先级低；

在所述停止处理其它作业中的至少一个目标任务后，所述方法还包括：

保存各所述目标任务的检查点；

所述方法还包括：

在对所述目标任务进行重启处理时，从所述目标任务的检查点对应的任务进度处开始处理；

所述历史信息编目是根据记录有作业在处理过程中的相关处理信息的历史日志来建立的，所述相关处理信息的采集过程包括：通过离线收集系统，从历史日志中采集各类作业在处理过程中的相关处理信息，所述相关处理信息包括：作业类别、作业名称、作业内容及功能、作业数据量、处理资源分配信息和/或处理时长；

其中，当所述第一作业的处理状态为未开始处理时，所述目标处理时长是所述第一作业的全部作业数据量对应的所需处理时长，所述目标处理时长是根据第一作业的全部作业数据量进行估算得到的；当所述第一作业的处理状态为停止处理或者处理期间时，所述目标处理时长是当前未处理的第一作业的剩余作业数据量对应的所需处理时长，所述目标处理时长是根据当前未处理的所述第一作业的剩余作业数据量进行估算得到的；

所述保存各所述目标任务的检查点，包括：如果正在处理的任务被确定为目标任务，则将任务当前的数据记录偏移量和内存快照写入持久化数据存储空间中，并保存检查点的元数据信息，以对目标任务的进度信息进行保存。

2.一种任务处理装置，其特征在于，包括：接收单元、查找单元、估算单元、确定单元、停止单元和使用单元，其中：

所述接收单元，被配置为执行：接收第一作业的处理请求，所述处理请求中包括作业处理时限；

所述查找单元，被配置为执行：在历史信息编目中查找所述第一作业对应的目标历史处理信息，所述历史信息编目中保存有至少一种作业的历史处理信息；

所述估算单元，被配置为执行：根据所述目标历史处理信息，估算所述第一作业在当前的作业处理环境下的目标处理时长，在所述当前的作业处理环境下对所述第一作业中的任务进行处理的处理资源为第一资源；

所述确定单元，被配置为执行：根据所述目标处理时长，确定在所述作业处理时限内是否能完成所述第一作业，若否，则触发所述停止单元；

所述停止单元，被配置为执行：停止处理其它作业中的至少一个目标任务，以释放出空闲处理资源；

所述使用单元，被配置为执行：使用所述空闲处理资源和所述第一资源，对所述第一作业中的任务进行处理；

所述处理请求中还包括所述第一作业的作业数据量，作业处理环境包括并行度，所述目标历史处理信息包括有作业数据量、历史并行度和历史处理时长；所述估算单元，被配置为执行：

将所述第一作业的作业数据量、作业处理环境中的并行度和所述目标历史处理信息代入公式，获得计算出的T；

其中，T为所述目标处理时长，T1为所述历史处理时长，D2为所述第一作业的作业数据量，D1为所述目标历史处理信息中的作业数据量，P1为所述历史并行度，所述P2为作业处理环境中的并行度；

所述处理请求还包括所述第一作业的作业优先级，所述其它作业的作业优先级比所述第一作业的作业优先级低；

所述装置还包括：保存单元；所述保存单元，被配置为执行：

在所述停止单元停止处理其它作业中的至少一个目标任务后，保存各所述目标任务的检查点；

所述装置还包括：处理单元；所述处理单元，被配置为执行：在对所述目标任务进行重启处理时，从所述目标任务的检查点对应的任务进度处开始处理；

所述历史信息编目是根据记录有作业在处理过程中的相关处理信息的历史日志来建立的，所述相关处理信息的采集过程包括：通过离线收集系统，从历史日志中采集各类作业在处理过程中的相关处理信息，所述相关处理信息包括：作业类别、作业名称、作业内容及功能、作业数据量、处理资源分配信息和/或处理时长；

其中，当所述第一作业的处理状态为未开始处理时，所述目标处理时长是所述第一作业的全部作业数据量对应的所需处理时长，所述目标处理时长是根据第一作业的全部作业数据量进行估算得到的；当所述第一作业的处理状态为停止处理或者处理期间时，所述目标处理时长是当前未处理的第一作业的剩余作业数据量对应的所需处理时长，所述目标处理时长是根据当前未处理的所述第一作业的剩余作业数据量进行估算得到的；

所述保存单元保存各所述目标任务的检查点，被具体配置为执行：如果正在处理的任务被确定为目标任务，则将任务当前的数据记录偏移量和内存快照写入持久化数据存储空间中，并保存检查点的元数据信息，以对目标任务的进度信息进行保存。