CN114186845A - 定时执行指标计算任务的方法和装置 - Google Patents

Abstract

本发明公开了一种定时执行指标计算任务的方法和装置，涉及计算机技术领域。该方法的一具体实施方式包括：响应于到达设置的任务触发时间，触发执行本次指标计算任务；获取本次指标计算任务的特征数据，并将所述特征数据输入到预先训练的时长预估模型中，以确定本次指标计算任务的执行时长；根据本次指标计算任务的执行时长确定下次指标计算任务的触发时间。该实施方式通过任务执行触发时间的动态调整，在系统判断空闲时间较多的时候，缩小任务触发间隔，有效提高了系统资源利用率，并且提高了数据处理结果的时效性；通过对任务执行时长的预估，有效避免因为任务执行时间过长导致的目标计算任务触发失败的情况，保证了业务的健壮性。

Description

定时执行指标计算任务的方法和装置

技术领域

本发明涉及计算机技术领域，尤其涉及一种定时执行指标计算任务的方法和装置。

背景技术

指标是说明总体数量特征的概念及其数值的综合，故又称为综合指标。生成指标值的过程，称为指标计算。在物流业务领域中，指标主要用来统计在对应时间段内，对应的物流概念的数量特征情况，例如：仓库入库出库量、全程履约率、及时取件率等。仓库入库出库量，指仓库对应的入库出库数量；全程履约率，指全程履约的订单量占总订单量的百分比；及时取件率，指及时取件量占取件总量的百分比。现有的指标计算方案，主要有实时指标计算和定时指标计算两种。实时指标计算适用于业务对实时性要求很高，且对资源消耗不敏感的场景。而对实时性要求不高的场景，通常采用定时触发指标计算的方案。

在实现本发明过程中，发明人发现现有技术中至少存在如下问题：

在一次指标计算完成，下一次计算未开始的空闲时间，计算资源处于完全闲置的状态，相关资源没有得到充分的利用，造成了资源的浪费；如果计算时间过长，会导致在本次计算开始时，上一次计算的任务仍然占有计算资源，使本次计算失败，这就使得本来应该执行的计算任务无法按时执行，造成任务失败，无法满足业务对于时效性的要求。

发明内容

有鉴于此，本发明实施例提供一种定时执行指标计算任务的方法和装置，能够通过任务执行触发时间的动态调整，在系统判断空闲时间较多的时候，缩小任务触发间隔，有效提高了系统资源利用率，并且提高了数据处理结果的时效性；通过对任务执行时长的预估，有效避免因为任务执行时间过长导致的目标计算任务触发失败的情况，保证了业务的健壮性。

为实现上述目的，根据本发明实施例的一个方面，提供了一种定时执行指标计算任务的方法。

一种定时执行指标计算任务的方法，包括：

响应于到达设置的任务触发时间，触发执行本次指标计算任务；

获取本次指标计算任务的特征数据，并将所述特征数据输入到预先训练的时长预估模型中，以确定本次指标计算任务的执行时长；

根据本次指标计算任务的执行时长确定下次指标计算任务的触发时间。

可选地，还包括：在执行本次指标计算任务之前，检查上次指标计算任务是否执行完毕；

并且，在所述上次指标计算任务未执行完毕的情况下，向所述时长预估模型上传修正标记，所述修正标记用于提示修改所述时长预估模型的数据权重。

可选地，在所述上次指标计算任务未执行完毕的情况下，本次指标计算任务自旋等待一定时间，之后再次检查所述上次指标计算任务是否执行完毕，直至所述上次指标计算任务执行完毕。

可选地，还包括：在本次指标计算任务执行完毕后，记录本次指标计算任务的平均执行速度、处理数据条数和执行时长。

可选地，根据本次指标计算任务的执行时长确定下次指标计算任务的触发时间，包括：

设置相邻两次指标计算任务之间的执行时间间隔；

根据本次指标计算任务的执行时长和所述执行时间间隔确定下次指标计算任务的触发时间。

可选地，每执行一定次数的指标计算任务后，将这些指标计算任务的特征数据，作为所述时长预估模型的训练数据，以改进所述时长预估模型。

可选地，所述时长预估模型是通过以下方式训练得到的：

收集一定次数的指标计算任务的特征数据，所述特征数据包括每次指标计算任务的最小资源个数、当前要处理的数据量、当日累计处理的数据量，本次指标计算任务的平均处理速度，本次指标计算任务的处理数据条数和本次指标计算任务的执行时间；

使用所述特征数据作为训练数据，采用回归算法进行模型训练以得到时长预估模型。

根据本发明实施例的另一方面，提供了一种定时执行指标计算任务的装置。

一种定时执行指标计算任务的装置，包括：

任务触发模块，用于响应于到达设置的任务触发时间，触发执行本次指标计算任务；

执行时长确定模块，用于获取本次指标计算任务的特征数据，并将所述特征数据输入到预先训练的时长预估模型中，以确定本次指标计算任务的执行时长；

触发时间确定模块，用于根据本次指标计算任务的执行时长确定下次指标计算任务的触发时间。

根据本发明实施例的又一方面，提供了一种定时执行指标计算任务的电子设备。

一种定时执行指标计算任务的电子设备，包括：一个或多个处理器；存储装置，用于存储一个或多个程序，当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现本发明实施例所提供的定时执行指标计算任务的方法。

根据本发明实施例的再一方面，提供了一种计算机可读介质。

一种计算机可读介质，其上存储有计算机程序，所述程序被处理器执行时实现本发明实施例所提供的定时执行指标计算任务的方法。

上述发明中的一个实施例具有如下优点或有益效果：通过响应于到达设置的任务触发时间，触发执行本次指标计算任务；获取本次指标计算任务的特征数据，并将特征数据输入到预先训练的时长预估模型中，以确定本次指标计算任务的执行时长；根据本次指标计算任务的执行时长确定下次指标计算任务的触发时间的技术方案，根据本次指标计算任务的特征数据计算本次指标计算任务的执行时长并进一步确定下次指标计算任务的触发时间，可以根据本次指标计算任务的特征数据动态地调整下次指标计算任务的执行时间。从而通过任务执行触发时间的动态调整，在系统判断空闲时间较多的时候，缩小任务触发间隔，有效提高了系统资源利用率，并且提高了数据处理结果的时效性；通过对任务执行时长的预估，有效避免因为任务执行时间过长导致的目标计算任务触发失败的情况，保证了业务的健壮性。

上述的非惯用的可选方式所具有的进一步效果将在下文中结合具体实施方式加以说明。

附图说明

附图用于更好地理解本发明，不构成对本发明的不当限定。其中：

图1是根据本发明实施例的定时执行指标计算任务的方法的主要步骤示意图；

图2是本发明一个实施例的定时执行指标计算任务的流程示意图；

图3是根据本发明实施例的定时执行指标计算任务的装置的主要模块示意图；

图4是本发明实施例可以应用于其中的示例性系统架构图；

图5是适于用来实现本发明实施例的终端设备或服务器的计算机系统的结构示意图。

具体实施方式

以下结合附图对本发明的示范性实施例做出说明，其中包括本发明实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本发明的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。

为了解决现有技术中存在的技术问题，本发明提供了一种可以动态调整任务触发时间的技术方案，基于Lasso等回归算法，根据任务执行时长、待处理数据量等相关特征数据，训练模型，得到推荐的下次任务执行时间，使得任务可以根据本次任务执行情况动态地调整以后任务执行的时间。从而解决了以下两个方面的问题：

1、通过任务执行触发时间的动态调整，在系统判断空闲时间较多的时候，缩小任务触发间隔，有效提高了系统资源利用率，并且提高了数据处理结果的时效性；

2、通过对任务执行时长的预估，有效避免因为任务执行时间过长导致的目标计算任务触发失败的情况，同时加入失败重试机制，并将失败信息反馈给训练的模型以进行模型修正，提高了模型输出结果的准确性，并保证业务的健壮性。

图1是根据本发明实施例的定时执行指标计算任务的方法的主要步骤示意图。如图1所示，本发明实施例的定时执行指标计算任务的方法主要包括如下的步骤S101至步骤S103。

步骤S101：响应于到达设置的任务触发时间，触发执行本次指标计算任务；

步骤S102：获取本次指标计算任务的特征数据，并将所述特征数据输入到预先训练的时长预估模型中，以确定本次指标计算任务的执行时长。其中，本次指标计算任务的特征数据例如包括：本次任务的slot(slot是flink中的一个术语，主要指大数据处理中，每一个子任务执行的一套最小资源)资源数(个)，当前要处理的数据量(条)，当日累计处理数据量(条)，前一次任务平均处理速度(KB/s)，前一次任务处理数据条数(条)和前一次任务计算时间(s)，等；

步骤S103：根据本次指标计算任务的执行时长确定下次指标计算任务的触发时间。

根据本发明的一个实施例，定时执行指标计算任务的方法还可以包括：在执行本次指标计算任务之前，检查上次指标计算任务是否执行完毕；并且，在所述上次指标计算任务未执行完毕的情况下，向所述时长预估模型上传修正标记，所述修正标记用于提示修改所述时长预估模型的数据权重。若上次指标计算任务未执行完毕，则说明设置的上次指标计算任务的触发时间不合适或者上次指标计算任务的预估执行时长不够，故而此时需要修改时长预估模型的数据权重，以使得后续预估任务执行时长的结果更为准确。

根据本发明的另一个实施例，在所述上次指标计算任务未执行完毕的情况下，本次指标计算任务自旋等待一定时间，之后再次检查所述上次指标计算任务是否执行完毕，直至所述上次指标计算任务执行完毕。在本次指标计算任务执行之前先判断上次任务是否执行完成，可以避免出现任务未执行完成的情况下，直接执行本次指标计算任务而导致的系统卡死的情况。通过加入失败重试机制，并将失败信息反馈给训练的模型以进行模型修正，提高了模型输出结果的准确性，并保证业务的健壮性。

根据本发明的又一个实施例，在本次指标计算任务执行完毕后，记录本次指标计算任务的平均执行速度、处理数据条数和执行时长。在每次任务执行完成后，都记录任务执行的平均执行速度、处理数据条数和执行时长等结果数据，可以作为预估下一次任务执行时长时的特征数据，使得时长预估模型预估的执行时长更为准确。

根据本发明的又一个实施例，步骤S103中在根据本次指标计算任务的执行时长确定下次指标计算任务的触发时间时，具体可以包括：设置相邻两次指标计算任务之间的执行时间间隔；根据本次指标计算任务的执行时长和所述执行时间间隔确定下次指标计算任务的触发时间。在本发明的实施例中个，所设置的执行时间间隔例如是5min。通过设置两次任务之间的执行时间间隔，并根据执行时间间隔和本次指标计算任务的执行时长求和得到下次指标计算任务的触发时间，可以在确定下次指标计算任务的触发时间时留有余量，更好地保证任务的定时执行。

根据本发明的又一个实施例，每执行一定次数的指标计算任务后，将这些指标计算任务的特征数据，作为所述时长预估模型的训练数据，以改进所述时长预估模型。如此，即可在每执行一定次数的指标计算任务之后，根据记录的特征数据进行时长预估模型的修正，从而使得预估的任务执行时长更为准确，更好地动态调整任务触发时间，有效提高系统资源的利用率，并且提高指标计算结果的时效性。

根据本发明的一个实施例，所述时长预估模型是通过以下方式训练得到的：收集一定次数的指标计算任务的特征数据，所述特征数据包括每次指标计算任务的最小资源个数、当前要处理的数据量、当日累计处理的数据量，本次指标计算任务的平均处理速度，本次指标计算任务的处理数据条数和本次指标计算任务的执行时间；使用所述特征数据作为训练数据，采用回归算法进行模型训练以得到时长预估模型。在本发明的实施例中，所设置的一定次数例如是100次，回归算法例如是Lasso回归算法，Lasso的全称为least absoluteshrinkage and selection operator，是一种基于线性回归的改进算法。它对线性回归的cost function加入了L1正则化，其cost function如下：

其中，当样本特征很多，样本数相对较少时，模型容易陷入过拟合。Lasso可以用来解决标准线性回归的过拟合问题，通过加入L1正则，相当于参数w的先验概率分布满足拉普拉斯分布，使权重更容易变为0，所以对上述的多个指标输入，Lasso可以起到特征选择的作用，规避无效特征。

在本发明的实施例中，预先进行时长预估模型的训练，例如可将初始的任务触发时间设置为25分钟之后，并执行指标计算逻辑。执行指标计算任务100次，并记录每次任务的slot资源数(个)，当前要处理的数据量(条)，当日累计处理数据量(条)，本次任务平均处理速度(KB/s)，本次任务处理数据条数(条)和本次任务计算时间(s)。在执行完成后，将记录的相关数据作为特征数据，使用Lasso回归算法进行模型训练得到时长预估模型，其具备预测本次指标计算任务的执行时长的能力，可以用于自适应的调整任务的执行间隔。

图2是本发明一个实施例的定时执行指标计算任务的流程示意图。如图2所示，在本发明的实施例中，一次指标计算任务的整体执行流程可以包括两部分：基于本次指标计算任务的特征数据设置下次指标计算任务的触发时间，和执行本次指标计算任务。其中，基于本次指标计算任务的特征数据设置下次指标计算任务的触发时间的具体实现步骤如下：

第1.1步，基于设置的任务触发时间触发执行本次指标计算任务，首先，记录本次指标计算任务的特征数据，主要包括本次指标计算任务的slot资源数(个)，当前要处理的数据量(条)，当日累计处理数据量(条)，前一次任务平均处理速度(KB/s)，前一次任务处理数据条数(条)和前一次任务计算时间(s)作为本次指标计算任务的特征数据；

第1.2步，以本次指标计算任务的执行时长为目标值，将第1步中所采集的特征数据输入至时长预估模型中，以预估本次指标计算任务的执行时长；

第1.3步，通过时长预估模型，输出本次指标计算任务的预测的执行时长t，假设设置的两次指标计算任务之间的执行时间间隔为5min，则，(t+5min)即为下次指标计算任务的触发时间，并基于该计算得到的触发时间设置下次任务的触发时间。

当到达设置的任务触发时间后，就会触发执行本次指标计算任务，执行本次指标计算任务的具体步骤如下：

第2.1步，检查上次指标计算任务是否执行完，如果执行完，直接跳到下面的第2.4步；

第2.2步，若上次指标计算任务未执行完成，会向时长预估模型上传修正标记，以提示修改模型训练时的数据权重；

第2.3步，本次指标计算任务自旋等待一定时间(例如5min)，然后重复执行第2.1步；

第2.4步，执行本次指标计算，并记录本次指标计算的执行时长。并且，每执行100次计算，向时长预估模型上传特征数据，作为模型训练数据，改进时长预估模型。

图3是根据本发明实施例的定时执行指标计算任务的装置的主要模块示意图。如图3所示，本发明实施例的定时执行指标计算任务的装置300主要包括任务触发模块301、执行时长确定模块302和触发时间确定模块303。

任务触发模块301，用于响应于到达设置的任务触发时间，触发执行本次指标计算任务；

执行时长确定模块302，用于获取本次指标计算任务的特征数据，并将所述特征数据输入到预先训练的时长预估模型中，以确定本次指标计算任务的执行时长；

触发时间确定模块303，用于根据本次指标计算任务的执行时长确定下次指标计算任务的触发时间。

根据本发明的一个实施例，定时执行指标计算任务的装置300还包括执行前检查模块(图中未示出)，用于：

在执行本次指标计算任务之前，检查上次指标计算任务是否执行完毕；

并且，在所述上次指标计算任务未执行完毕的情况下，向所述时长预估模型上传修正标记，所述修正标记用于提示修改所述时长预估模型的数据权重。

根据本发明的另一个实施例，执行前检查模块(图中未示出)还用于：在所述上次指标计算任务未执行完毕的情况下，本次指标计算任务自旋等待一定时间，之后再次检查所述上次指标计算任务是否执行完毕，直至所述上次指标计算任务执行完毕。

根据本发明的又一个实施例，定时执行指标计算任务的装置300还包括执行结果记录模块(图中未示出)，用于：

在本次指标计算任务执行完毕后，记录本次指标计算任务的平均执行速度、处理数据条数和执行时长。

根据本发明的又一个实施例，触发时间确定模块303还可以用于：

设置相邻两次指标计算任务之间的执行时间间隔；

根据本次指标计算任务的执行时长和所述执行时间间隔确定下次指标计算任务的触发时间。

根据本发明的又一个实施例，定时执行指标计算任务的装置300还包括模型修正模块(图中未示出)，用于：

每执行一定次数的指标计算任务后，将这些指标计算任务的特征数据，作为所述时长预估模型的训练数据，以改进所述时长预估模型。

根据本发明的再一个实施例，所述时长预估模型是通过以下方式训练得到的：

收集一定次数的指标计算任务的特征数据，所述特征数据包括每次指标计算任务的最小资源个数、当前要处理的数据量、当日累计处理的数据量，本次指标计算任务的平均处理速度，本次指标计算任务的处理数据条数和本次指标计算任务的执行时间；

使用所述特征数据作为训练数据，采用回归算法进行模型训练以得到时长预估模型。

根据本发明实施例的技术方案，通过响应于到达设置的任务触发时间，触发执行本次指标计算任务；获取本次指标计算任务的特征数据，并将特征数据输入到预先训练的时长预估模型中，以确定本次指标计算任务的执行时长；根据本次指标计算任务的执行时长确定下次指标计算任务的触发时间的技术方案，根据本次指标计算任务的特征数据计算本次指标计算任务的执行时长并进一步确定下次指标计算任务的触发时间，可以根据本次指标计算任务的特征数据动态地调整下次指标计算任务的执行时间。从而通过任务执行触发时间的动态调整，在系统判断空闲时间较多的时候，缩小任务触发间隔，有效提高了系统资源利用率，并且提高了数据处理结果的时效性；通过对任务执行时长的预估，有效避免因为任务执行时间过长导致的目标计算任务触发失败的情况，保证了业务的健壮性。

图4示出了可以应用本发明实施例的定时执行指标计算任务的方法或定时执行指标计算任务的装置的示例性系统架构400。

如图4所示，系统架构400可以包括终端设备401、402、403，网络404和服务器405。网络404用以在终端设备401、402、403和服务器405之间提供通信链路的介质。网络404可以包括各种连接类型，例如有线、无线通信链路或者光纤电缆等等。

用户可以使用终端设备401、402、403通过网络404与服务器405交互，以接收或发送消息等。终端设备401、402、403上可以安装有各种客户端应用，例如时钟类应用、定时提醒类应用、特征处理类应用、模型训练类应用等(仅为示例)。

终端设备401、402、403可以是具有显示屏并且支持网页浏览的各种电子设备，包括但不限于智能手机、平板电脑、膝上型便携计算机和台式计算机等等。

服务器405可以是提供各种服务的服务器，例如对用户利用终端设备401、402、403所发来的任务触发时间设置请求提供支持的后台管理服务器(仅为示例)。后台管理服务器可以对接收到的任务触发时间设置请求等数据进行响应于到达设置的任务触发时间，触发执行本次指标计算任务；获取本次指标计算任务的特征数据，并将所述特征数据输入到预先训练的时长预估模型中，以确定本次指标计算任务的执行时长；根据本次指标计算任务的执行时长确定下次指标计算任务的触发时间等处理，并将处理结果(例如任务触发时间--仅为示例)反馈给终端设备。

需要说明的是，本发明实施例所提供的定时执行指标计算任务的方法一般由服务器405执行，相应地，定时执行指标计算任务的装置一般设置于服务器405中。

应该理解，图4中的终端设备、网络和服务器的数目仅仅是示意性的。根据实现需要，可以具有任意数目的终端设备、网络和服务器。

下面参考图5，其示出了适于用来实现本发明实施例的终端设备或服务器的计算机系统500的结构示意图。图5示出的终端设备或服务器仅仅是一个示例，不应对本发明实施例的功能和使用范围带来任何限制。

如图5所示，计算机系统500包括中央处理单元(CPU)501，其可以根据存储在只读存储器(ROM)502中的程序或者从存储部分508加载到随机访问存储器(RAM)503中的程序而执行各种适当的动作和处理。在RAM 503中，还存储有系统500操作所需的各种程序和数据。CPU 501、ROM 502以及RAM 503通过总线504彼此相连。输入/输出(I/O)接口505也连接至总线504。

以下部件连接至I/O接口505：包括键盘、鼠标等的输入部分506；包括诸如阴极射线管(CRT)、液晶显示器(LCD)等以及扬声器等的输出部分507；包括硬盘等的存储部分508；以及包括诸如LAN卡、调制解调器等的网络接口卡的通信部分509。通信部分509经由诸如因特网的网络执行通信处理。驱动器510也根据需要连接至I/O接口505。可拆卸介质511，诸如磁盘、光盘、磁光盘、半导体存储器等等，根据需要安装在驱动器510上，以便于从其上读出的计算机程序根据需要被安装入存储部分508。

特别地，根据本发明公开的实施例，上文参考流程图描述的过程可以被实现为计算机软件程序。例如，本发明公开的实施例包括一种计算机程序产品，其包括承载在计算机可读介质上的计算机程序，该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中，该计算机程序可以通过通信部分509从网络上被下载和安装，和/或从可拆卸介质511被安装。在该计算机程序被中央处理单元(CPU)501执行时，执行本发明的系统中限定的上述功能。

需要说明的是，本发明所示的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本发明中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。而在本发明中，计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于：无线、电线、光缆、RF等等，或者上述的任意合适的组合。

附图中的流程图和框图，图示了按照本发明各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，上述模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图或流程图中的每个方框、以及框图或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。

描述于本发明实施例中所涉及到的单元或模块可以通过软件的方式实现，也可以通过硬件的方式来实现。所描述的单元或模块也可以设置在处理器中，例如，可以描述为：一种处理器包括任务触发模块、执行时长确定模块和触发时间确定模块。其中，这些单元或模块的名称在某种情况下并不构成对该单元或模块本身的限定，例如，任务触发模块还可以被描述为“用于响应于到达设置的任务触发时间，触发执行本次指标计算任务的模块”。

作为另一方面，本发明还提供了一种计算机可读介质，该计算机可读介质可以是上述实施例中描述的设备中所包含的；也可以是单独存在，而未装配入该设备中。上述计算机可读介质承载有一个或者多个程序，当上述一个或者多个程序被一个该设备执行时，使得该设备包括：响应于到达设置的任务触发时间，触发执行本次指标计算任务；获取本次指标计算任务的特征数据，并将所述特征数据输入到预先训练的时长预估模型中，以确定本次指标计算任务的执行时长；根据本次指标计算任务的执行时长确定下次指标计算任务的触发时间。

根据本发明实施例的技术方案，通过响应于到达设置的任务触发时间，触发执行本次指标计算任务；获取本次指标计算任务的特征数据，并将特征数据输入到预先训练的时长预估模型中，以确定本次指标计算任务的执行时长；根据本次指标计算任务的执行时长确定下次指标计算任务的触发时间的技术方案，根据本次指标计算任务的特征数据计算本次指标计算任务的执行时长并进一步确定下次指标计算任务的触发时间，可以根据本次指标计算任务的特征数据动态地调整下次指标计算任务的执行时间。从而通过任务执行触发时间的动态调整，在系统判断空闲时间较多的时候，缩小任务触发间隔，有效提高了系统资源利用率，并且提高了数据处理结果的时效性；通过对任务执行时长的预估，有效避免因为任务执行时间过长导致的目标计算任务触发失败的情况，保证了业务的健壮性。

上述具体实施方式，并不构成对本发明保护范围的限制。本领域技术人员应该明白的是，取决于设计要求和其他因素，可以发生各种各样的修改、组合、子组合和替代。任何在本发明的精神和原则之内所作的修改、等同替换和改进等，均应包含在本发明保护范围之内。

Claims (10)

1.一种定时执行指标计算任务的方法，其特征在于，包括：

响应于到达设置的任务触发时间，触发执行本次指标计算任务；

获取本次指标计算任务的特征数据，并将所述特征数据输入到预先训练的时长预估模型中，以确定本次指标计算任务的执行时长；

根据本次指标计算任务的执行时长确定下次指标计算任务的触发时间。

2.根据权利要求1所述的方法，其特征在于，还包括：

在执行本次指标计算任务之前，检查上次指标计算任务是否执行完毕；

并且，在所述上次指标计算任务未执行完毕的情况下，向所述时长预估模型上传修正标记，所述修正标记用于提示修改所述时长预估模型的数据权重。

3.根据权利要求2所述的方法，其特征在于，在所述上次指标计算任务未执行完毕的情况下，本次指标计算任务自旋等待一定时间，之后再次检查所述上次指标计算任务是否执行完毕，直至所述上次指标计算任务执行完毕。

4.根据权利要求1所述的方法，其特征在于，还包括：

在本次指标计算任务执行完毕后，记录本次指标计算任务的平均执行速度、处理数据条数和执行时长。

5.根据权利要求1所述的方法，其特征在于，根据本次指标计算任务的执行时长确定下次指标计算任务的触发时间，包括：

设置相邻两次指标计算任务之间的执行时间间隔；

根据本次指标计算任务的执行时长和所述执行时间间隔确定下次指标计算任务的触发时间。

6.根据权利要求1所述的方法，其特征在于，每执行一定次数的指标计算任务后，将这些指标计算任务的特征数据，作为所述时长预估模型的训练数据，以改进所述时长预估模型。

7.根据权利要求1所述的方法，其特征在于，所述时长预估模型是通过以下方式训练得到的：

收集一定次数的指标计算任务的特征数据，所述特征数据包括每次指标计算任务的最小资源个数、当前要处理的数据量、当日累计处理的数据量，本次指标计算任务的平均处理速度，本次指标计算任务的处理数据条数和本次指标计算任务的执行时间；

使用所述特征数据作为训练数据，采用回归算法进行模型训练以得到时长预估模型。

8.一种定时执行指标计算任务的装置，其特征在于，包括：

任务触发模块，用于响应于到达设置的任务触发时间，触发执行本次指标计算任务；

执行时长确定模块，用于获取本次指标计算任务的特征数据，并将所述特征数据输入到预先训练的时长预估模型中，以确定本次指标计算任务的执行时长；

触发时间确定模块，用于根据本次指标计算任务的执行时长确定下次指标计算任务的触发时间。

9.一种定时执行指标计算任务的电子设备，其特征在于，包括：

一个或多个处理器；

存储装置，用于存储一个或多个程序，

当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如权利要求1-7中任一所述的方法。

10.一种计算机可读介质，其上存储有计算机程序，其特征在于，所述程序被处理器执行时实现如权利要求1-7中任一所述的方法。

Images