CN115269147A - 一种批量任务处理方法、装置、设备及存储介质 - Google Patents

Abstract

本申请公开一种批量任务处理方法、装置、设备及存储介质，可应用于金融领域或其他领域。响应于获取针对待执行批量业务的处理请求，获取所述待执行批量任务的目标生效时刻和所述待执行批量任务的历史处理时长，所述目标生效时刻为预设的处理所述待执行批量任务所获得的处理结果的生效时刻；根据所述目标生效时刻和所述历史处理时长，确定所述待执行批量任务的启动处理时刻；响应于到达所述启动处理时刻，处理所述待执行批量任务，得到处理结果。如此，根据待执行批量任务目标生效时刻和历史处理时长确定所述待执行批量任务的启动处理时间，能够满足待执行批量任务不同的运行时间要求，一定程度上能够提高批量任务的处理效率。

Description

一种批量任务处理方法、装置、设备及存储介质

技术领域

本申请涉及计算机技术领域，具体涉及一种批量任务处理方法、装置、设备及存储介质。

背景技术

近年来，各行业的业务数量逐渐增多，批量任务调度成为业务系统的重要环节之一。目前业务系统的批量任务调度方式为在预设时间计划内周期性的进行调度，批量任务排队等待执行。

但是当批量任务较多时，排队等待执行的时间较长，导致批量任务无法规定的时间内完成处理，批量任务的处理效率较低。

发明内容

有鉴于此，本申请提供一种批量任务处理方法、装置、设备及存储介质，能够优化批量任务调度，提高批量任务的处理效率。

为解决上述问题，本申请提供的技术方案如下：

第一方面，本申请提供一种批量任务处理方法，所述方法包括：

响应于获取针对待执行批量业务的处理请求，获取所述待执行批量任务的目标生效时刻和所述待执行批量任务的历史处理时长，所述目标生效时刻为预设的处理所述待执行批量任务所获得的处理结果的生效时刻；

根据所述目标生效时刻和所述历史处理时长，确定所述待执行批量任务的启动处理时刻；

响应于到达所述启动处理时刻，处理所述待执行批量任务，得到处理结果。

在一种可能实现的方式中，所述根据所述目标生效时刻和所述历史处理时长，确定所述待执行批量任务的启动处理时刻，包括：

计算所述目标生效时刻和所述历史处理时长的差值；

根据所述差值确定所述待执行批量任务的启动处理时间。

在一种可能实现的方式中，所述历史处理时长为所述待执行批量任务的历史平均运行时间或者历史目标运行时长，所述历史目标运行时长的数量与总运行次数的比值大于阈值。

在一种可能实现的方式中，所述获取所述待执行批量任务的目标生效时刻，包括：

获取所述待执行批量任务的时效等级；

根据所述时效等级确定所述待执行批量任务的目标生效时刻。

在一种可能实现的方式中，所述方法还包括：

获取所述处理结果；

根据所述处理结果，将所述待执行批量任务中执行失败的待执行批量任务确定为目标批量任务；

根据所述目标批量任务的目标生效时刻以及所述目标批量任务的历史处理时长，确定所述目标批量任务的再次处理时刻；

根据所述再次处理时刻，执行所述目标批量任务，得到目标结果。

第二方面，本申请提供一种批量任务处理装置，所述装置包括：

获取模块，用于响应于获取针对待执行批量业务的处理请求，获取所述待执行批量任务的目标生效时刻和所述待执行批量任务的历史处理时长，所述目标生效时刻为预设的处理所述待执行批量任务所获得的处理结果的生效时刻；

确定模块，用于根据所述目标生效时刻和所述历史处理时长，确定所述待执行批量任务的启动处理时刻；

处理模块，用于响应于到达所述启动处理时刻，处理所述待执行批量任务，得到处理结果。

在一种可能实现的方式中，所述确定模块，具体用于计算所述目标生效时刻和所述历史处理时长的差值；根据所述差值确定所述待执行批量任务的启动处理时间。

在一种可能实现的方式中，所述历史处理时长为所述待执行批量任务的历史平均运行时间或者历史目标运行时长，所述历史目标运行时长的数量与总运行次数的比值大于阈值。

在一种可能实现的方式中，所述获取模块，用于获取所述待执行批量任务的目标生效时刻，包括：

所述获取模块，用于获取所述待执行批量任务的时效等级；根据所述时效等级确定所述待执行批量任务的目标生效时刻。

在一种可能实现的方式中，所述方法还包括：

获取结果模块，用于获取所述处理结果；

确定目标批量任务模块，用于根据所述处理结果，将所述待执行批量任务中执行失败的待执行批量任务确定为目标批量任务；

确定再次处理时刻模块，用于根据所述目标批量任务的目标生效时刻以及所述目标批量任务的历史处理时长，确定所述目标批量任务的再次处理时刻；

处理目标批量任务模块，用于根据所述再次处理时刻，处理所述目标批量任务，得到目标结果。

第三方面，本申请提供一种批量任务处理设备，包括：处理器、存储器、系统总线；

所述处理器以及所述存储器通过所述系统总线相连；

所述存储器用于存储一个或多个程序，所述一个或多个程序包括指令，所述指令当被所述处理器执行时使所述处理器执行上述第一方面所述的批量任务处理方法。

第四方面，本申请提供一种计算机可读存储介质，所述计算机可读存储介质存储指令，当所述指令在设备上运行时，使得所述设备执行上述第一方面所述的批量任务处理方法。

由此可见，本申请具有如下有益效果：

本申请提供一种批量任务处理方法、装置、设备及存储介质，响应于获取针对待执行批量业务的处理请求，获取所述待执行批量任务的目标生效时刻和所述待执行批量任务的历史处理时长，所述目标生效时刻为预设的处理所述待执行批量任务所获得的处理结果的生效时刻；根据所述目标生效时刻和所述历史处理时长，确定所述待执行批量任务的启动处理时刻；响应于到达所述启动处理时刻，处理所述待执行批量任务，得到处理结果。如此，根据待执行批量任务目标生效时刻和历史处理时长确定所述待执行批量任务的启动处理时间，能够满足待执行批量任务不同的运行时间要求，一定程度上能够提高批量任务的处理效率。

附图说明

图1为本申请实施例提供的一种批量任务处理方法的流程示意图；

图2为本申请实施例提供的一种批量任务处理装置的结构框图。

具体实施方式

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

在本申请中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

经发明人研究发现，目前各行业大数据平台批量调度算法大多是在预设时间计划内周期性的进行调度，批量任务排队等待执行。但是在当某一时间点设置批量任务启动较多时，排队等待执行的时间较长甚至堵死。或者时效性较高的批量任务会提前抢占资源，在数据未到的情况下重复检测数据，浪费平台资源。现有的方法容易导致批量任务无法在规定的时间内完成处理，批量任务的处理效率较低，影响业务运行。

基于此，本申请实施例提供一种批量任务处理方法、装置、设备及存储介质，响应于获取针对待执行批量业务的处理请求，获取所述待执行批量任务的目标生效时刻和所述待执行批量任务的历史处理时长，所述目标生效时刻为预设的处理所述待执行批量任务所获得的处理结果的生效时刻；根据所述目标生效时刻和所述历史处理时长，确定所述待执行批量任务的启动处理时刻；响应于到达所述启动处理时刻，处理所述待执行批量任务，得到处理结果。如此，根据待执行批量任务目标生效时刻和历史处理时长确定所述待执行批量任务的启动处理时间，能够满足待执行批量任务不同的运行时间要求，一定程度上能够提高批量任务的处理效率。

为了便于理解本申请实施例提供的技术方案，下面结合附图对本申请实施例提供的一种批量任务处理方法、装置、设备及存储介质进行说明。

本申请实施例提供的一种批量任务处理方法可以应用于业务系统，也可以应用于服务器，对此并不作限定。参见图1，图1为本申请实施例提供的一种批量任务处理方法的流程示意图，该方法具体包括S101-S103。

S101：响应于获取针对待执行批量业务的处理请求，获取所述待执行批量任务的目标生效时刻和所述待执行批量任务的历史处理时长，所述目标生效时刻为预设的处理所述待执行批量任务所获得的处理结果的生效时刻。

在获取到针对待执行批量任务的处理请求后，响应于该处理请求，首先获取该待执行批量任务的目标生效时刻和历史处理时长。其中，待执行批量任务为还未执行处理的批量任务。目标生效时刻为预设的该待执行批量任务所获得的处理结果的生效时刻，即预设的开始使用处理结果的时刻。历史处理时长为待执行批量任务在预设时间段的历史处理时长。

在一种可能实现的方式中，所述获取所述待执行批量任务的目标生效时刻，包括：获取所述待执行批量任务的时效等级；根据所述时效等级确定所述待执行批量任务的目标生效时刻。该待执行批量任务的时效等级为该待执行批量任务的时效性，若时效性较高，则时效等级较高，需要尽快处理该待执行批量任务。例如，待执行的批量任务的处理结果需要使用的时间为早上，则时效性较高；处理结果需要使用的时间为晚上，则时效性较低。具体的，若银行网点对外营业的时间为北京时间8点整，可以确定该目标生效时刻为北京8点整。若银行网点对外营业的时间为北京时间23点整，则只需要在当天的23点生效即可。如此，以待执行批量任务的时效等级确定目标生效时间，有助于优化任务调度。在一种可能实现的方式中，每个业务场景均有与其对应的待执行批量任务，业务场景的时效性即为待执行批量任务的时效性。可以由开发人员预先梳理待执行批量任务的时效性要求，该时效性要求包括时效等级。将梳理好的待执行批量任务的时效性要求发送给运维人员，由运维人员根据该时效性要求设置待执行批量任务的目标生效参数。本申请实施例中并不限定确定目标生效参数的具体形式，可以根据实际需求进行选择。

在一种可能实现的方式中，所述历史处理时长为所述待执行批量任务的历史平均运行时间或者历史目标运行时长，所述历史目标运行时长的数量与总运行次数的比值大于阈值。具体的，批量采集待执行批量任务的历史运行时间，采集获得的数据可以是开始执行处理待执行批量任务的前24小时的数据，本申请实施例中并不针对采集时长进行限定。获得历史运行时间后，可以计算每个任务运行的累计时长和累计运行次数，以获得每个任务对应的历史平均运行时间。例如，A任务运行的累计时长为3分钟，累计运行次数为6次，则确定历史平均运行时间为30秒，将该历史平均运行时间设置为历史处理时长。在一种可能实现的方式中，由业务系统或服务器采集待执行批量任务的运行时间，自动计算每个待执行任务在预设时间段的平均运行时间，并且周期性的更新该平均运行时间，可以为每24小时更新一次，也可以为每48小时更新一次，本申请实施例不限定具体的更新的周期。也可以获取每个任务的具体运行时长，统计每个运行时长的次数，计算该次数与总运行次数的比值，获得比值结果。若该比值结果大于阈值，则确定该运行时长为历史目标运行时长。例如，针对B任务，统计获得总运行次数为10次，其中运行时长为20秒的次数为3次，运行时长为15秒的次数为7次，则运行时长为20秒对应的比值结果为30％，运行时长为15秒对应的比值结果为70％。将该比值结果与预设阈值相比，若该比值结果大于阈值，则历史目标运行时长为15秒，相应的历史处理时长为15秒。在另一种可能实现的方式中，若不存在大于阈值的比值结果，则从全部比值结果中选择数值最高的比值结果作为目标比值结果，确定目标比值结果对应的运行时长为历史目标运行时长。需要说明的是，通过阈值确定历史处理时间的方式，阈值的数值越高，历史处理时长越贴近待执行批量任务的真实处理时长，则获取的启动处理将时间越准确。本申请实施例中并不限定历史处理时长的获取方式，可以根据实际需求进行选择。

需要说明的是，待执行批量任务的时效等级越高，历史处理时间越长，则启动处理时刻越早；待执行批量任务的时效等级越地，历史处理时间越短，则启动处理时刻迟。在资源有限的情况下，能够优化任务调度，最大化的利用资源。

S102：根据所述目标生效时刻和所述历史处理时长，确定所述待执行批量任务的启动处理时刻。

为了能够进行更优的任务调度，在获取到目标生效时刻和历史处理时长后，需要确定待处理批量任务的启动处理时刻。可以根据该目标生效时刻和该历史处理时长确定启动处理时刻。在一种可能实现的方式中，所述根据所述目标生效时刻和所述历史处理时长，确定所述待执行批量任务的启动处理时刻，包括：计算所述目标生效时刻和所述历史处理时长的差值；根据所述差值确定所述待执行批量任务的启动处理时间。目标生效时刻为预设的处理结果开始使用的时刻，历史处理时长为待执行批量任务运行时长，例如，目标生效时刻为北京时间10点58分，而历史处理时长为20分钟，则确定待执行任务开始处理的时间为目标生效时刻与历史处理时长的差值，即为北京时间10点38分。确定北京时间10点38分为待执行批量任务的启动处理时刻。

S103：响应于到达所述启动处理时刻，处理所述待执行批量任务，得到处理结果。

根据每个待执行任务确定的启动处理时刻，在到达启动处理时刻的时候，开始对该时刻对应的待处理任务进行处理，以获得处理结果。该处理结果包括业务数据。

在另一种可能实现的方式中，所述方法还包括：获取所述处理结果；根据所述处理结果，将所述待执行批量任务中执行失败的待执行批量任务确定为目标批量任务；根据所述目标批量任务的目标生效时刻以及所述目标批量任务的历史处理时长，确定所述目标批量任务的再次处理时刻；根据所述再次处理时刻，处理所述目标批量任务，得到目标结果。根据处理结果可以确定待执行批量任务在执行的过程中是否已经成功完成处理，若存在执行失败的待执行批量任务，则将执行失败的待执行批量任务确定为目标批量任务。执行与上述S101至S103相同的步骤，再次对目标批量任务进行处理，以得到目标结果。对执行失败的待执行批量任务再次进行处理，直至所有的待执行批量任务全部成功完成处理，能够保证批量任务处理的完整性。

基于上述S101-S103的相关内容可知，响应于获取针对待执行批量业务的处理请求，获取所述待执行批量任务的目标生效时刻和所述待执行批量任务的历史处理时长，所述目标生效时刻为预设的处理所述待执行批量任务所获得的处理结果的生效时刻；根据所述目标生效时刻和所述历史处理时长，确定所述待执行批量任务的启动处理时刻；响应于到达所述启动处理时刻，处理所述待执行批量任务，得到处理结果。如此，根据待执行批量任务目标生效时刻和历史处理时长确定所述待执行批量任务的启动处理时间，能够满足待执行批量任务不同的运行时间要求，一定程度上能够提高批量任务的处理效率。

本申请提供的一种批量任务处理方法、装置、设备及存储介质可用于金融领域或其他领域，例如，可用于金融领域中的业务处理任务调度应用场景。其他领域为除金融领域之外的任意领域，例如，计算机技术领域。上述仅为示例，并不对本申请提供的一种批量任务处理方法、装置、设备及存储介质的应用领域进行限定。

前述本申请实施例提供基于上述的一种批量任务处理方法。接下来说明本申请实施例中还提供的一种批量任务处理装置，该装置执行前述图1所示的方法，接下来对批量任务处理装置的功能进行说明，所述批量任务处理装置的结构框图如图2所示，包括获取模块201、确定模块202及处理模块203。

获取模块201，用于响应于获取针对待执行批量业务的处理请求，获取所述待执行批量任务的目标生效时刻和所述待执行批量任务的历史处理时长，所述目标生效时刻为预设的处理所述待执行批量任务所获得的处理结果的生效时刻；

确定模块202，用于根据所述目标生效时刻和所述历史处理时长，确定所述待执行批量任务的启动处理时刻；

处理模块203，用于响应于到达所述启动处理时刻，处理所述待执行批量任务，得到处理结果。

在一种可能实现的方式中，所述确定模块202，具体用于计算所述目标生效时刻和所述历史处理时长的差值；根据所述差值确定所述待执行批量任务的启动处理时间。

在一种可能实现的方式中，所述历史处理时长为所述待执行批量任务的历史平均运行时间或者历史目标运行时长，所述历史目标运行时长的数量与总运行次数的比值大于阈值。

在一种可能实现的方式中，所述获取模块201，用于获取所述待执行批量任务的目标生效时刻，包括：

所述获取模块201，用于获取所述待执行批量任务的时效等级；根据所述时效等级确定所述待执行批量任务的目标生效时刻。

在一种可能实现的方式中，所述方法还包括：

获取结果模块，用于获取所述处理结果；

确定目标批量任务模块，用于根据所述处理结果，将所述待执行批量任务中执行失败的待执行批量任务确定为目标批量任务；

确定再次处理时刻模块，用于根据所述目标批量任务的目标生效时刻以及所述目标批量任务的历史处理时长，确定所述目标批量任务的再次处理时刻；

处理目标批量任务模块，用于根据所述再次处理时刻，处理所述目标批量任务，得到目标结果。

本申请实施例提供一种批量任务处理装置，所述装置包括获取模块、确定模块及处理模块。获取模块用于响应于获取针对待执行批量业务的处理请求，获取所述待执行批量任务的目标生效时刻和所述待执行批量任务的历史处理时长，所述目标生效时刻为预设的处理所述待执行批量任务所获得的处理结果的生效时刻；确定模块用于根据所述目标生效时刻和所述历史处理时长，确定所述待执行批量任务的启动处理时刻；处理模块用于响应于到达所述启动处理时刻，处理所述待执行批量任务，得到处理结果。如此，根据待执行批量任务目标生效时刻和历史处理时长确定所述待执行批量任务的启动处理时间，能够满足待执行批量任务不同的运行时间要求，一定程度上能够提高批量任务的处理效率。

基于上述方法实施例提供的一种批量任务处理方法，本申请实施例还提供一种批量任务处理设备，包括：处理器、存储器、系统总线；

所述处理器以及所述存储器通过所述系统总线相连；

所述存储器用于存储一个或多个程序，所述一个或多个程序包括指令，所述指令当被所述处理器执行时使所述处理器执行上述任一项实施例所述的批量任务处理方法。

基于上述方法实施例提供的一种批量任务处理方法，本申请实施例还提供一种计算机可读存储介质，所述计算机可读存储介质存储指令，当所述指令在设备上运行时，使得所述设备执行上述任一项实施例所述的批量任务处理方法。

本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于系统或系统实施例而言，由于其基本相似于方法实施例，所以描述得比较简单，相关之处参见方法实施例的部分说明即可。以上所描述的系统及系统实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性劳动的情况下，即可以理解并实施。

专业人员还可以进一步意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。

对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本申请。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本申请的精神或范围的情况下，在其它实施例中实现。因此，本申请将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。

Claims (10)

1.一种批量任务处理方法，其特征在于，所述方法包括：

响应于获取针对待执行批量业务的处理请求，获取所述待执行批量任务的目标生效时刻和所述待执行批量任务的历史处理时长，所述目标生效时刻为预设的处理所述待执行批量任务所获得的处理结果的生效时刻；

根据所述目标生效时刻和所述历史处理时长，确定所述待执行批量任务的启动处理时刻；

响应于到达所述启动处理时刻，处理所述待执行批量任务，得到处理结果。

2.根据权利要求1所述的方法，其特征在于，所述根据所述目标生效时刻和所述历史处理时长，确定所述待执行批量任务的启动处理时刻，包括：

计算所述目标生效时刻和所述历史处理时长的差值；

根据所述差值确定所述待执行批量任务的启动处理时间。

3.根据权利要求2所述的方法，其特征在于，所述历史处理时长为所述待执行批量任务的历史平均运行时间或者历史目标运行时长，所述历史目标运行时长的数量与总运行次数的比值大于阈值。

4.根据权利要求1所述的方法，其特征在于，所述获取所述待执行批量任务的目标生效时刻，包括：

获取所述待执行批量任务的时效等级；

根据所述时效等级确定所述待执行批量任务的目标生效时刻。

5.根据权利要求1所述的方法，其特征在于，所述方法还包括：

获取所述处理结果；

根据所述处理结果，将所述待执行批量任务中执行失败的待执行批量任务确定为目标批量任务；

根据所述目标批量任务的目标生效时刻以及所述目标批量任务的历史处理时长，确定所述目标批量任务的再次处理时刻；

根据所述再次处理时刻，处理所述目标批量任务，得到目标结果。

6.一种批量任务处理装置，其特征在于，所述装置包括：

获取模块，用于响应于获取针对待执行批量业务的处理请求，获取所述待执行批量任务的目标生效时刻和所述待执行批量任务的历史处理时长，所述目标生效时刻为预设的处理所述待执行批量任务所获得的处理结果的生效时刻；

确定模块，用于根据所述目标生效时刻和所述历史处理时长，确定所述待执行批量任务的启动处理时刻；

处理模块，用于响应于到达所述启动处理时刻，处理所述待执行批量任务，得到处理结果。

7.根据权利要求6所述的装置，其特征在于，所述确定模块，具体用于计算所述目标生效时刻和所述历史处理时长的差值；根据所述差值确定所述待执行批量任务的启动处理时间。

8.根据权利要求6所述的装置，其特征在于，所述获取模块，用于获取所述待执行批量任务的目标生效时刻，包括：

所述获取模块，用于获取所述待执行批量任务的时效等级；根据所述时效等级确定所述待执行批量任务的目标生效时刻。

9.一种批量任务处理设备，其特征在于，包括：处理器、存储器、系统总线；

所述处理器以及所述存储器通过所述系统总线相连；

所述存储器用于存储一个或多个程序，所述一个或多个程序包括指令，所述指令当被所述处理器执行时使所述处理器执行权利要求1-5任一项所述的方法。

10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储指令，当所述指令在设备上运行时，使得所述设备执行如权利要求1-5任一项所述的方法。

Images