CN110955516B - 批量任务处理方法、装置、计算机设备和存储介质 - Google Patents

Abstract

本申请涉及一种批量任务处理方法、装置、计算机设备和存储介质。所述方法包括：获取批量任务以及可调用的从服务器的可用资源量；预测对批量任务进行处理时所需的资源消耗量；基于可用资源量以及资源消耗量对批量任务进行划分，得到多组任务；将多组任务下发至对应的从服务器，以使从服务器对所述批量任务进行处理。采用本方法能够提升批量任务处理效率。

Description

批量任务处理方法、装置、计算机设备和存储介质

技术领域

本申请涉及计算机技术领域，特别是涉及一种批量任务处理方法、装置、计算机设备和存储介质。

背景技术

电力设备的实时运行状态一直是设备运维管控的依据，当电力设备运行状态发生变化，比如当设备由正常运行变为负荷超载运行时，对电力设备的状态评价结果(正常、注意、异常、严重)也就需要重新更新。由于电力设备的种类多、数量大，短时间内就会累计大量的电力设备运行状态评估任务。

现有技术中通常是构建分布式的处理系统，将累计的批量运行状态评估任务分发至不同的子服务器进行处理。但是现有的批量任务处理方法对批量任务分配方式较为固定，使得从服务器对批量任务的处理效率不高。

发明内容

基于此，有必要针对上述技术问题，提供一种能够提升批量任务处理效率的批量任务处理方法、装置、计算机设备和存储介质。

一种批量任务处理方法，所述方法包括：

获取批量任务以及可调用的从服务器的可用资源量；

预测对所述批量任务进行处理时所需的资源消耗量；

基于所述可用资源量以及资源消耗量对批量任务进行划分，得到多组任务；

将所述多组任务下发至对应的从服务器，以使所述从服务器对所述批量任务进行处理。

在其中一个实施例中，还包括确定可调用的从服务器：

确定从服务器中执行所述批量任务所需的接口标识；

获取与所述接口标识对应的每个接口的状态信息；

根据所述状态信息计算相应接口的调用成功概率；

当每个接口的调用成功概率大于阈值时，将所述从服务器确定为可调用的从服务器。

在其中一个实施例中，基于所述可用资源量以及资源消耗量对批量任务进行划分，得到多组任务包括：

基于预测的资源消耗量，确定处理所述批量任务时所需的核心资源类型；

从各个可调用从服务器的可用资源量中筛选出针对所述核心资源类型的可用资源量；

将筛选出的可用资源量作为划分权重，基于所述划分权重对所述批量任务进行划分，得到多组任务。

在其中一个实施例中，所述每组任务包括至少一个子任务；所述将所述多组任务下发至对应的从服务器，以使所述从服务器对所述任务进行处理包括：

统计每组任务中子任务的数量；

根据所述子任务数量以及各从服务器针对所述核心资源类型的可用资源量，将所述分组后的任务下发至对应的从服务器，以使所述从服务器对所述子任务进行处理。

在其中一个实施例中，所述方法还包括：

获取在预设时间内所述从服务器对子任务进行处理的平均处理时长；

当所述平均处理时长大于阈值，将预设数量的未处理子任务分配至平均处理时长小于阈值的从服务器。

在其中一个实施例中，所述方法还包括：

当所述平均处理时长大于阈值时，确定在预设时间内处理时长大于阈值的子任务的任务类型，记作目标类型；

判断未处理的子任务中是否具有与所述目标类型相同的子任务；

若是，对所述未处理的具有相同目标类型的子任务进行分解，得到多个分解任务；

将所述分解任务分配至平均处理时长小于阈值的从服务器。

在其中一个实施例中，所述方法还包括：

获取对所述子任务进行处理时的返回值；

当获得的返回值指示所述子任务处理失败或所述子任务未在预设时长内被执行结束时，确定执行所述子任务的线程标识；

基于所述线程标识生成对应的清理任务；

将所述清理任务下发至对应的从服务器，以使所述从服务器基于所述清理任务终止相应的工作线程。

一种批量任务处理装置，所述装置包括：

资源预测模块，用于获取批量任务以及可调用的从服务器的可用资源量；预测对所述批量任务进行处理时所需的资源消耗量；

批量任务划分模块，用于基于所述可用资源量以及资源消耗量对批量任务进行划分，得到多组任务；

任务下发模块，用于将所述多组任务下发至对应的从服务器，以使所述从服务器对所述批量任务进行处理。

一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现以下步骤：

获取批量任务以及可调用的从服务器的可用资源量；

预测对所述批量任务进行处理时所需的资源消耗量；

基于所述可用资源量以及资源消耗量对批量任务进行划分，得到多组任务；

将所述多组任务下发至对应的从服务器，以使所述从服务器对所述批量任务进行处理。

一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现以下步骤：

获取批量任务以及可调用的从服务器的可用资源量；

预测对所述批量任务进行处理时所需的资源消耗量；

基于所述可用资源量以及资源消耗量对批量任务进行划分，得到多组任务；

将所述多组任务下发至对应的从服务器，以使所述从服务器对所述批量任务进行处理。

上述批量任务处理方法、装置、计算机设备和存储介质，通过获取可调用的从服务器的可用资源量以及对批量任务进行处理时所需的资源消耗量，可以基于获取的可用资源量以及所需的资源消耗量对批量任务进行划分，得到多组任务；通过对多组任务进行对应下发，使得具有可用资源量较多的从服务器可以接收更多的子任务，可用资源量较少的从服务器接收更少的子任务，从而实现各从服务器之间的负载均衡，进而提升分布式系统内的从服务器对批量任务的处理效率。

附图说明

图1为一个实施例中批量任务处理方法的应用场景图；

图2为一个实施例中批量任务处理方法的流程示意图；

图3为一个实施例中实施可调用从服务器确定方法的架构示意图；

图4为另一个实施例中批量任务处理系统的架构示意图；

图5为一个实施例中批量任务处理装置的结构框图；

图6为另一个实施例中批量任务处理装置的结构框图；

图7为一个实施例中计算机设备的内部结构图。

具体实施方式

为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。

本申请提供的批量任务处理方法，可以应用于如图1所示的应用环境中。其中，第一服务器102通过网络与第二服务器104进行通信。其中，第一服务器102以及第二服务器104可以用独立的服务器或者是多个服务器组成的服务器集群来实现。第一服务器102与第二服务器104为分布式架构系统中的节点，其中，第一服务器102为分布式架构系统中的主服务器，用于监控各从服务器的资源使用情况，并根据从服务器的资源使用情况对批量任务进行划分，将划分后的多组任务下发至第二服务器；第二服务器104为分布式架构系统中的主服务器，用于接收并处理主服务器下发的任务。

可以理解，本发明所使用的术语“第一”、“第二”等可在本文中用于描述各种元件，但这些元件不受这些术语限制。这些术语仅用于将第一个元件与另一个元件区分。

在一个实施例中，如图2所示，提供了一种批量任务处理方法，以该方法应用于图1中的第一服务器为例进行说明，包括以下步骤：

S202，获取批量任务以及可调用的从服务器的可用资源量。

其中，批量任务是指多个子任务的集合，比如在对电力设备的运行状态进行评估的应用场景中，可以将同种电力设备的运行状态评估任务作为批量任务。可用资源是指从服务器中未被占用的资源。

具体地，当第一服务器获取到待处理的批量任务时，第一服务器对应生成资源上报指令，并将资源上报指令下发至分布式系统内的全部第二服务器。为了描述方便，下文将第一服务器称为主服务器，将第二服务器称为从服务器。其中，主服务器可是基于Raft协议在分布式系统内的所有服务器中选出的一台服务器，也可以是人为指定的一台服务器。

进一步地，从服务器根据接收到的资源上报指令，将自身的可用资源量上报至主服务器，比如，从服务器根据资源上报指令，将未使用的1.5CPU、4GB上报至主服务器。主服务器将可用资源量大于阈值的从服务器确定为可调用服务器，并将可调用服务器的服务器标识与可用资源量对于存储于内存中，比如主服务器将CPU(central processing unit，中央处理器)大于0.2且内存大于0.5GB的从服务器作为可调用从服务器。

在一个实施例中，主服务器接收到批量任务后，主服务器根据预设的分类规则，将批量任务划分为多个子批量任务，并将每个子批量任务作为当前待处理的批量任务。例如，当主服务器接收到同一变电站上报的对电容器和高压开关柜的运行状态评估任务时，主服务器根据接收到的电力设备的种类，对电容器的运行状态评估任务以及对高压开关柜的运行状态评估任务进行划分，得到两个子批量任务。通过按照预设规则将批量任务粗粒度地划分，使得后续多个从服务器在同一段时间内处理的子任务均为同一类型的任务，从而减少了因处理的任务类型不一致而导致各从服务器对任务的处理时间不一致的概率。

在一个实施例中，主服务器根据从服务器标识以及预设的上报周期生成资源上报指令，以使从服务器按照资源上报指令中的上报周期定时上报可用资源量。当主服务器接收到不可调用的从服务器上报的可用资源量大于预设阈值时，主服务器重新将不可调用的从服务器判定为可调用的从服务器。通过对从服务器的可用资源量进行持续监控，从而能够在从服务器的可用资源量满足需求的情况下，及时将不可调用的从服务器重新确定为可调用的从服务器。

S204，预测对批量任务进行处理时所需的资源消耗量。

具体地，当主服务器获取到批量任务后，主服务器统计批量任务中的子任务的类型，并根据子任务的类型至历史资源记录集中查询同类型的子任务在运行时所需的资源消耗量。其中，不同种类的电力设备的运行状态评估任务的类型不同。历史资源记录集为记录不同种类的子任务在历史时刻被处理时所消耗的资源量的文件。当主服务器将批量任务下发至各个从服务器时，各个从服务器将处理子任务时所消耗的资源量上报至主服务器，以使主服务器将上报的资源消耗量、子任务类型以及从服务器标识对应存储至历史资源记录集中。

进一步地，主服务根据待处理批量任务中的子任务类型，从历史资源记录集中查找对应类型的子任务的资源消耗量，并根据查找出的资源消耗量以及上报查找出的资源消耗量的从服务器的数量统计出平均资源消耗量。比如，当待处理批量任务为对电容器和高压开关柜的运行状态评估任务时，主服务器从历史资源记录集中查询各个从服务器上报的对电容器和高压开关柜的运行状态进行评估时所消耗的资源量，之后，主服务器将各个从服务器上报的对电容器的运行状态进行评估时所消耗的资源量进行叠加，并将叠加结果除以上报对电容器的运行状态进行评估时所消耗的资源量的从服务器的数量，得到对电容器的运行状态进行评估时所消耗的平均资源消耗量。

进一步地，主服务器分别将与各个子任务类型对应的平均资源消耗量乘以相同类型的子任务的数量，得到中间结果，然后，叠加中间结果，得到待处理批量任务进行处理时所需的资源消耗量。

在一个实施例中，主服务器只在历史资源记录集查找最近时段内的对应类型的子任务的资源消耗量。

在一个实施例中，若历史资源记录集中不存在与待处理批量任务中的子任务类型相同的资源消耗量时，主服务器将其中一个子任务下发至从服务器，并收集从服务器处理子任务时所消耗的资源量。主服务器将收集到的资源消耗量存储至历史资源记录集中，同时将此资源消耗量作为对应子任务类型的平均资源消耗量。通过将其中一个子任务下发至从服务器，并收集从服务器对子任务进行处理时所消耗的资源，从而可以基于从服务器的真实资源消耗量准确地预测对应类型的子任务的资源消耗量。

在一个实施例中，主服务器根据待处理任务的类型在历史资源消耗集中查询资源消耗量时，主服务器去除异常资源消耗量，根据去除异常资源消耗量的查询结果计算平均资源消耗量。

S206，基于可用资源量以及资源消耗量对批量任务进行划分，得到多组任务。

S208，将多组任务下发至对应的从服务器，以使从服务器对批量任务进行处理。

具体地，当主服务器获取到待处理批量任务进行处理时所需要的资源消耗量时，主服务器将资源消耗量除以批量任务中子任务的数量，得到单个子任务进行处理时所需的资源消耗量，记作子任务消耗量。例如，当批量任务进行处理时所需要的资源消耗量为50CPU,100GB，且批量任务中子任务的数量为100时，子任务消耗量即为0.5CPU和1GB。

进一步地，当主服务器获取到每台从服务器的可用资源量后，主服务器分别将每台从服务器的可用资源量除以子任务消耗量，得到每台从服务器能够同时处理子任务的数量。比如，在上述举例中，系统中具有A、B以及C三台可调用的从服务器，且A服务器对应的可用资源量为1.5CPU和6GB，B服务器对应的可用资源量为2CPU和8GB，C服务器对应的可用资源量为0.5CPU和2GB。主服务器分别将A、B和C的可用资源量除以子任务消耗量，得到对于CPU而言，A服务器同时可以处理3个子任务；对于内存而言，A服务器同时可以处理6个子任务，之后，主服务器将处理数量较少的3个子任务作为A服务器可以同时处理的任务数量。同理，主服务器基于可用资源量和子任务消耗量计算得到B服务器同时可以处理4个子任务，C服务器同时可以处理1个子任务。

进一步地，主服务器将得到的每个从服务器同时可以处理的任务的数量作为划分权重，对批量任务进行划分，得到多组任务。比如，在上述举例中，当批量任务中子任务的数量为100，A服务器可以同时处理3个子任务，B服务器可以同时处理4个子任务，C服务器可以同时处理1个子任务时，主服务器按照3:4:1的比例对子任务进行划分，得到a、b、c共计3组任务，其中a组中的子任务数量为38，b组中的子任务数量为50，c组中的子任务数量为12。

进一步地，主服务器将划分后的任务对应下发至从服务器，以使从服务器对下发的任务进行处理。比如，在上述举例中，主服务器将a组任务下发至可以同时处理3个子任务的A服务器，将b组任务下发至可以同时处理4个子任务的B服务器，将c组任务下发至可以同时处理1个子任务的C服务器。

上述批量任务处理方法中，通过获取可调用的从服务器的可用资源量以及对批量任务进行处理时所需的资源消耗量，可以基于获取的可用资源量以及所需的资源消耗量对批量任务进行划分，得到多组任务；通过对多组任务进行对应下发，使得具有可用资源量较多的从服务器可以接收更多的子任务，可用资源量较少的从服务器接收更少的子任务，从而实现各从服务器之间的负载均衡，进而提升分布式系统内的从服务器对批量任务的处理效率。

在一个实施例中，上述方法还包括：确定从服务器中执行批量任务所需的接口标识；获取与接口标识对应的每个接口的状态信息；根据状态信息计算相应接口的调用成功概率；当每个接口的调用成功概率大于阈值时，将从服务器确定为可调用的从服务器。

其中，分布式系统中的每个服务器具有多个接口，服务器基于这些接口可以实现不同的任务的处理。一种任务的处理需要依赖于一个或多个接口，比如对电容器的运行状态进行评估时需要依赖根据运行参数对运行状态进行评估的评估接口以及对评估结果进行核对的核对接口。接口标识为唯一标识一种类型的接口的信息，比如多个从服务器中均具有评估接口，此时各个从服务器中的评估接口的接口标识相同。

具体地，参考图3，图3为一个实施例中实施可调用从服务器确定方法的架构示意图。如图3所示，主服务器中具有子任务类型与接口标识的对应关系。当主服务器确定批量任务中的各子任务的任务类型后，主服务器根据子任务类型与接口标识之间的对应关系，确定处理批量任务所需的接口标识。主服务器基于接口标识生成对应的状态查询请求，并将状态查询请求下发至分布式系统内的全部从服务器。

进一步地，从服务器根据状态查询请求上报与接口标识对应的接口的状态信息。主服务器根据接口的状态信息，计算对应接口的资源空闲率，根据资源空闲率确定响应接口的调用成功概率，从而当上报的每个接口的调用成功概率均大于阈值时，将从服务器确定为可调用的从服务器。状态信息是指能够直接或间接反映接口服务能力的信息，如接口在预设时间分片的请求响应状况信息、资源消耗状况信息等。

在一个实施例中，主服务器可以预先建立资源空闲率与调用成功概率的对应关系，进而根据该对应关系确定接口所对应的调用成功概率。

在一个实施例中，当从服务器接收到状态查询请求时，从服务器中的接口仅统计在最近范围时长的状态信息，不统计早于最近单位时长的过期的状态信息，以便主服务器能够对最新的状态信息进行统计分析。

上述实施例中，在接收到状态查询请求时后，从相应接口中拉取最新的状态信息，有助于提高调用成功概率准确性；此外，只有当对子任务进行处理时所需的全部接口的调用成功概率大于阈值时，才将对应的从服务器确定为可调用的从服务器，可以减少因从服务器中接口调用异常而导致子任务处理失败的概率。

在一个实施例中，基于可用资源量以及资源消耗量对批量任务进行划分，得到多组任务包括：基于预测的资源消耗量，确定处理批量任务时所需的核心资源类型；从各个可调用从服务器的可用资源量中筛选出针对核心资源类型的可用资源量；将筛选出的可用资源量作为划分权重，基于划分权重对批量任务进行划分，得到多组任务。

具体地，当主服务器获取到对批量任务进行处理时所需的资源消耗量时，主服务器将资源消耗量除以批量任务中的子任务的数量，得到子任务消耗量，如0.5CPU、3GB。主服务器分别将子任务消耗量中不同类型的资源量与对应阈值进行对比，如将0.5CPU与阈值1CPU进行对比，将3GB与阈值2GB进行对比，在当前类型的子任务消耗量大于或等于阈值时，可以认为处理批量任务时更依赖于大于或等于阈值的资源类型，比如在上述举例中，处理批量任务时更依赖于内存，此时主服务器将内存确定为处理所述批量任务时所需的核心资源类型。当具有至少两种类型资源大于或等于阈值时，根据预设的资源重要程度，将最重要的资源类型确定为核心资源类型。

进一步的，主服务器从各个可调用的从服务器的可用资源量中筛选出核心资源的可用资源量，并将筛选出的可用资源量作为划分权重，根据获得的划分权重对批量任务进行划分，得到多组任务。比如核心资源为内存，且系统中具有A、B以及C三台可调用的从服务器，A服务器对应的可用资源量为1.5CPU和6GB，B服务器对应的可用资源量为2CPU和8GB，C服务器对应的可用资源量为0.5CPU和2GB。此时主服务器将与A服务器对应的1.5CPU、与B服务器对应的2CPU以及与C服务器对应的0.5CPU作为划分权重，对待处理的批量任务进行划分，得到三组不同的任务。

上述实施例中，由于基于处理批量任务时更依赖的资源类型的可用资源量对批量任务进行划分，使得后续各从服务器可以接收到与可用资源量对应比例数量的子任务，从而实现各从服务器之间的负载均衡。

在一个实施例中，每组任务包括至少一个子任务；将多组任务下发至对应的从服务器，以使从服务器对所述任务进行处理包括：统计每组任务中子任务的数量；根据子任务数量以及各从服务器针对核心资源类型的可用资源量，将分组后的任务下发至对应的从服务器，以使从服务器对所述子任务进行处理。

具体地，主服务器统计每组任务中的子任务数量，将多组任务的任务标识按照子任务数量进行升序排序。主服务器获取各可调用的从服务器针对核心资源类型的可用资源量，将可调用的从服务器的服务器标识按照核心资源的可用资源量进行升序排序。

进一步的，主服务器按顺序将排序后的任务标识对应的任务组下发至排序后的与从服务器标识对应的从服务器，以使从服务器对接收到的子任务进行处理。比如，当A服务器具有1.5CPU的可用资源量、B服务器具有2CPU的可用资源量、C服务器具有0.5CPU的可用资源量；a组中的子任务数量为38，b组中的子任务数量为50，c组中的子任务数量为12时，主服务器按照子任务数量对a、b、c进行排序，得到b、a、c的顺序组合；主服务器按照CPU的可用资源量对从服务器标识进行排序，得到B、A、C的顺序组合，主服务器按照顺序，依次将a组任务下发至A服务器，将b组任务下发至B服务器，c组任务下发至C服务器。

上述实施例中，根据子任务数量以及各从服务器针对核心资源类型的可用资源量，将分组后的任务下发至对应的从服务器，使得具有更多可用的核心资源的从服务器可以接收更多的子任务，可用的核心资源较少的从服务器可以接收更少的子任务，从而实现各从服务器之间的负载均衡。

在一个实施例中，每组任务包括至少一个子任务，上述方法还包括：获取在预设时间内从服务器对子任务进行处理的平均处理时长；当平均处理时长大于阈值，将预设数量的未处理子任务分配至平均处理时长小于阈值的从服务器。

具体地，由于从服务器的运行环境可能改变，例如由于接口从可调用变为不可调用时，对应的从服务器基于不可调用的接口进行任务处理时就可能导致处理子任务的速度变慢。此时主服务器在预设的时长内获取各个可调用的从服务器处理完毕的子任务数量，将预设的时长除以子任务数量，得到预设时长内子任务的平均处理时长。平均处理时长越短，则从服务器对子任务的处理速度越快，相同时长内，能够处理的子任务数量越多。

进一步地，主服务器分别将各可调用的从服务器的平均处理时长与预设的阈值进行对比，当平均处理时长大于阈值时，可以认为对应从服务器由于运行环境的改变而导致子任务的处理速度变慢，此时主服务器将平均处理时长大于阈值的从服务器中预设数量的未处理子任务分配至平均处理时长小于阈值的从服务器。

在一个实施例中，当在预设时长内，从服务器执行完成的子任务的数量为零时，主服务器将分配至此服务器的任务全部分配至分布式系统内其他平均处理时长小于阈值的从服务器。

上述实施例中，通过获取平均处理时长，使得主服务器可以基于从服务器的实际情况对应调整已下发的子任务，从而实现了子任务的灵活分配，降低了子任务调度的处理负荷，提升了批量任务的处理效率。

在一个实施例中，上述方法还包括：当平均处理时长大于阈值时，确定在预设时间内处理时长大于阈值的子任务的任务类型，记作目标类型；判断未处理的子任务中是否具有与目标类型相同的子任务；若是，对未处理的具有相同目标类型的子任务进行分解，得到多个分解任务；将分解任务分配至平均处理时长小于阈值的从服务器。

具体地，当从服务器的平均处理时长大于阈值时，主服务器获取在预设时长内处理时长大于阈值的子任务的任务类型，为了下面描述方便，将处理时长大于阈值的子任务的任务类型记作目标类型。比如在预设时长内，A服务器中处理时长大于阈值的子任务的任务类型为对电容器的运行状态进行评估以及对变压器的运行状态进行评估。主服务器判断对应从服务器中未处理的子任务中是否具有与目标类型相同的子任务，当具有相同类型的子任务时，主服务器将目标类型的子任务进行分解，得到多个分解后的任务，并将分解后的任务分配至平均处理时长小于阈值的从服务器。

在一个实施例中，主服务器可以根据子任务的处理步骤对子任务进行分解，比如对电容器的运行状态进行评估时，可以将基于运行参数对运行状态进行评估步骤作为一个分解任务，将对运行状态进行核对步骤作为另一个子任务。

在一个实施例中，主服务器获取分解任务的处理结果，并将处理结果存储至缓存列表中，当主服务器监听到针对处理结果的查询请求时，基于查询请求，从缓存列表中查询对应的处理结果，并将处理结果返回至发起查询请求的从服务器。比如，主服务器将基于A电容器的运行参数对运行状态进行评估的评估结果缓存至缓存列表中，当接收到对A电容器的评估结果的调用请求时，主服务器将A电容器的评估结果发送至对应的从服务器。

在一个实施例中，主服务器可以将分解后的任务平均分配至平均处理时长小于阈值的从服务器。

上述实施例中，通过将子任务进行分解，使得后续主服务器可以对更细粒度的任务进行分配，从而可以进一步弱化各个从服务器对一组子任务的处理时长之间的差异，进而提升资源利用率。

在一个实施例中，上述方法还包括：获取对子任务进行处理时的返回值；当获得的返回值指示子任务处理失败或子任务未在预设时长内被执行结束时，确定执行子任务的线程标识；基于线程标识生成对应的清理任务；将清理任务下发至对应的从服务器，以使从服务器基于清理任务终止相应的工作线程。

其中，返回值为反映子任务的处理状态的数值，子任务在处理过程中或处理完毕时可以将反映运行状态的数值发送至主服务器。

具体地，主服务器中预设有返回值与子任务运行状态的对应关系。当服务器获取到从服务器发送的返回值时，主服务器基于对应关系，确定返回值所对应的子任务的运行状态。当返回值指示子任务处理失败或子任务未在预设时长内被执行结束时，主服务器基于发送返回值的从服务器的服务器标识以及子任务的任务标识生成对应的清理任务，并将清理任务下发至与服务器标识对应的从服务器。从服务器从清理任务中提取出子任务标识，并将处理与子任务标识对应的子任务的工作线程停止运行。

上述实施例中，通过返回值可以确定各个子任务的运行状态，从而在当子任务运行失败或者未在预设时长内被执行结束时，可以及时终止执行子任务的工作线程，进而可以节约工作线程在执行子任务时所消耗的内存或CPU等从可用资源。

应该理解的是，虽然图2的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，图2中的至少一部分步骤可以包括多个子步骤或者多个阶段，这些子步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些子步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。

为了便于本领域技术人员的理解，如图4所示,提供了一种批量任务处理系统的架构示意图。其中主服务器中运行有批量任务分发中心，用于将批量任务进行划分，得到多组任务，并将每组任务对应下发至从服务器,之后，根据从服务器实际运行情况对应调整每个从服务器中子任务的数量。从服务器中运行有任务处理中心，用于对接收到的子任务进行处理，并将处理结果存储至对应的数据库。

在一个实施例中，如图5所示，提供了一种批量任务处理装置500，包括：资源预测模块502、批量任务划分模块504和任务下发模块506，其中：

资源预测模块502，用于获取批量任务以及可调用的从服务器的可用资源量；预测对批量任务进行处理时所需的资源消耗量。

批量任务划分模块504，用于基于可用资源量以及资源消耗量对批量任务进行划分，得到多组任务。

任务下发模块506，用于将多组任务下发至对应的从服务器，以使从服务器对批量任务进行处理。

在一个实施例中，如图6所示，上述批量任务处理装置500还包括可调用从服务器确定模块508，用于确定从服务器中执行所述批量任务所需的接口标识；获取与所述接口标识对应的每个接口的状态信息；根据所述状态信息计算相应接口的调用成功概率；当每个接口的调用成功概率大于阈值时，将所述从服务器确定为可调用的从服务器。

在一个实施例中，批量任务划分模块504还用于基于预测的资源消耗量，确定处理批量任务时所需的核心资源类型；从各个可调用从服务器的可用资源量中筛选出针对核心资源类型的可用资源量；将筛选出的可用资源量作为划分权重，基于划分权重对批量任务进行划分，得到多组任务。

在一个实施例中，任务下发模块506还用于统计每组任务中子任务的数量；根据子任务数量以及各从服务器针对核心资源类型的可用资源量，将分组后的任务下发至对应的从服务器，以使从服务器对子任务进行处理。

在一个实施例中，上述批量任务处理装置500还包括平均处理时长确定模块510，用于获取在预设时间内从服务器对子任务进行处理的平均处理时长；当平均处理时长大于阈值，将预设数量的未处理子任务分配至平均处理时长小于阈值的从服务器。

在一个实施例中，平均处理时长确定模块510还包括子任务分解模块5101，用于当平均处理时长大于阈值时，确定在预设时间内处理时长大于阈值的子任务的任务类型，记作目标类型；判断未处理的子任务中是否具有与目标类型相同的子任务；若是，对未处理的具有相同目标类型的子任务进行分解，得到多个分解任务；将分解任务分配至平均处理时长小于阈值的从服务器。

在一个实施例中，批量任务处理装置500还包括线程清理模块512，用于获取对子任务进行处理时的返回值；当获得的返回值指示子任务处理失败或子任务未在预设时长内被执行结束时，确定执行子任务的线程标识；基于线程标识生成对应的清理任务；将清理任务下发至对应的从服务器，以使从服务器基于清理任务终止相应的工作线程。

在一个实施例中，批量任务处理装置500还用于当获取到批量任务时，基于预设的批量处理规则，将批量任务划分为多个子批量任务。

关于批量任务处理装置的具体限定可以参见上文中对于批量任务处理方法的限定，在此不再赘述。上述批量任务处理装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。

在一个实施例中，提供了一种计算机设备，该计算机设备可以是主服务器，其内部结构图可以如图7所示。该计算机设备包括通过系统总线连接的处理器、存储器、网络接口和数据库。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统、计算机程序和数据库。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的数据库用于存储批量任务处理结果数据。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种批量任务处理方法。

本领域技术人员可以理解，图7中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。

在一个实施例中，提供了一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，处理器执行计算机程序时实现以下步骤：

获取批量任务以及可调用的从服务器的可用资源量；

预测对批量任务进行处理时所需的资源消耗量；

基于可用资源量以及资源消耗量对批量任务进行划分，得到多组任务；

将多组任务下发至对应的从服务器，以使从服务器对批量任务进行处理。

在一个实施例中，处理器执行计算机程序时还实现以下步骤：

确定从服务器中执行批量任务所需的接口标识；

获取与接口标识对应的每个接口的状态信息；

根据状态信息计算相应接口的调用成功概率；

当每个接口的调用成功概率大于阈值时，将从服务器确定为可调用的从服务器。

在一个实施例中，处理器执行计算机程序时还实现以下步骤：

基于预测的资源消耗量，确定处理批量任务时所需的核心资源类型；

从各个可调用从服务器的可用资源量中筛选出针对核心资源类型的可用资源量；

将筛选出的可用资源量作为划分权重，基于划分权重对批量任务进行划分，得到多组任务。

在一个实施例中，每组任务包括至少一个子任务；处理器执行计算机程序时还实现以下步骤：

统计每组任务中子任务的数量；

根据子任务数量以及各从服务器针对核心资源类型的可用资源量，将分组后的任务下发至对应的从服务器，以使从服务器对子任务进行处理。

在一个实施例中，处理器执行计算机程序时还实现以下步骤：

获取在预设时间内从服务器对子任务进行处理的平均处理时长；

当平均处理时长大于阈值，将预设数量的未处理子任务分配至平均处理时长小于阈值的从服务器。

在一个实施例中，处理器执行计算机程序时还实现以下步骤：

当平均处理时长大于阈值时，确定在预设时间内处理时长大于阈值的子任务的任务类型，记作目标类型；

判断未处理的子任务中是否具有与目标类型相同的子任务；

若是，对未处理的具有相同目标类型的子任务进行分解，得到多个分解任务；

将分解任务分配至平均处理时长小于阈值的从服务器。

在一个实施例中，处理器执行计算机程序时还实现以下步骤：

获取对子任务进行处理时的返回值；

当获得的返回值指示子任务处理失败或子任务未在预设时长内被执行结束时，确定执行子任务的线程标识；

基于线程标识生成对应的清理任务；

将清理任务下发至对应的从服务器，以使从服务器基于清理任务终止相应的工作线程。

在一个实施例中，处理器执行计算机程序时还实现以下步骤：

当获取到批量任务时，基于预设的批量处理规则，将批量任务划分为多个子批量任务。

在一个实施例中，提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现以下步骤：

获取批量任务以及可调用的从服务器的可用资源量；

预测对批量任务进行处理时所需的资源消耗量；

基于可用资源量以及资源消耗量对批量任务进行划分，得到多组任务；

将多组任务下发至对应的从服务器，以使从服务器对批量任务进行处理。

在一个实施例中，计算机程序被处理器执行时还实现以下步骤：

确定从服务器中执行批量任务所需的接口标识；

获取与接口标识对应的每个接口的状态信息；

根据状态信息计算相应接口的调用成功概率；

当每个接口的调用成功概率大于阈值时，将所述从服务器确定为可调用的从服务器。

在一个实施例中，计算机程序被处理器执行时还实现以下步骤：

基于预测的资源消耗量，确定处理批量任务时所需的核心资源类型；

从各个可调用从服务器的可用资源量中筛选出针对核心资源类型的可用资源量；

将筛选出的可用资源量作为划分权重，基于划分权重对批量任务进行划分，得到多组任务。

在一个实施例中，每组任务包括至少一个子任务；计算机程序被处理器执行时还实现以下步骤：

统计每组任务中子任务的数量；

根据子任务数量以及各从服务器针对核心资源类型的可用资源量，将分组后的任务下发至对应的从服务器，以使从服务器对子任务进行处理。

在一个实施例中，计算机程序被处理器执行时还实现以下步骤：

获取在预设时间内从服务器对子任务进行处理的平均处理时长；

当平均处理时长大于阈值，将预设数量的未处理子任务分配至平均处理时长小于阈值的从服务器。

在一个实施例中，计算机程序被处理器执行时还实现以下步骤：

当平均处理时长大于阈值时，确定在预设时间内处理时长大于阈值的子任务的任务类型，记作目标类型；

判断未处理的子任务中是否具有与目标类型相同的子任务；

若是，对未处理的具有相同目标类型的子任务进行分解，得到多个分解任务；

将分解任务分配至平均处理时长小于阈值的从服务器。

在一个实施例中，计算机程序被处理器执行时还实现以下步骤：

获取对子任务进行处理时的返回值；

当获得的返回值指示子任务处理失败或子任务未在预设时长内被执行结束时，确定执行子任务的线程标识；

基于线程标识生成对应的清理任务；

将清理任务下发至对应的从服务器，以使从服务器基于清理任务终止相应的工作线程。

在一个实施例中，计算机程序被处理器执行时还实现以下步骤：

当获取到批量任务时，基于预设的批量处理规则，将批量任务划分为多个子批量任务。

本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。

以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。

以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。

Claims (10)

1.一种批量任务处理方法，所述方法包括：

获取批量任务，确定从服务器执行所述批量任务所需的多个接口标识；所述批量任务为同种电力设备的运行状态评估任务；

基于所述接口标识生成对应的状态查询请求，并将所述状态查询请求下发至所述从服务器；

获取所述从服务器上报的与所述接口标识对应的接口的状态信息；所述接口包括对电力设备的运行状态进行评估的评估接口以及对评估结果进行核对的核对接口；

根据所述状态信息确定对应接口的资源空闲率，并根据所述资源空闲率确定相应接口的调用成功概率；

当每个接口的调用成功概率大于阈值时，将所述从服务器确定为可调用的从服务器；

获取所述可调用的从服务器的可用资源量；

预测对所述批量任务进行处理时所需的资源消耗量；

将所述资源消耗量除以所述批量任务中子任务的数量，得到子任务消耗量；

分别将子任务消耗量中不同类型的资源量与对应阈值进行对比，确定处理所述批量任务时所需的核心资源类型；

从各个所述可调用的从服务器的可用资源量中筛选出针对所述核心资源类型的可用资源量；

将筛选出的可用资源量作为划分权重，基于所述划分权重对批量任务进行划分，得到多组任务；

将所述多组任务下发至对应可调用的从服务器，以使所述可调用的从服务器对所述批量任务进行处理，得到对电力设备的状态评价结果。

2.根据权利要求1所述的方法，其特征在于，不同种类的所述电力设备的运行状态评估任务的类型不同。

3.根据权利要求1所述的方法，其特征在于，所述批量任务是多个所述子任务的集合。

4.根据权利要求1所述的方法，其特征在于，每组任务包括至少一个子任务；所述将所述多组任务下发至对应的从服务器，以使所述从服务器对所述任务进行处理包括：

统计每组任务中子任务的数量；

根据所述子任务数量以及各从服务器针对所述核心资源类型的可用资源量，将分组后的任务下发至对应的从服务器，以使所述从服务器对所述子任务进行处理。

5.根据权利要求1所述的方法，其特征在于，所述方法还包括：

获取在预设时间内所述从服务器对子任务进行处理的平均处理时长；

当所述平均处理时长大于阈值，将预设数量的未处理子任务分配至平均处理时长小于阈值的从服务器。

6.根据权利要求5所述的方法，其特征在于，所述方法还包括：

当所述平均处理时长大于阈值时，确定在预设时间内处理时长大于阈值的子任务的任务类型，记作目标类型；

判断未处理的子任务中是否具有与所述目标类型相同的子任务；

若是，对所述未处理的具有相同目标类型的子任务进行分解，得到多个分解任务；

将所述分解任务分配至平均处理时长小于阈值的从服务器。

7.根据权利要求1所述的方法，其特征在于，所述方法还包括：

获取对所述子任务进行处理时的返回值；

当获得的返回值指示所述子任务处理失败或所述子任务未在预设时长内被执行结束时，确定执行所述子任务的线程标识；

基于所述线程标识生成对应的清理任务；

将所述清理任务下发至对应的从服务器，以使所述从服务器基于所述清理任务终止相应的工作线程。

8.一种批量任务处理装置，其特征在于，所述装置包括：

资源预测模块，用于获取批量任务，确定从服务器执行所述批量任务所需的多个接口标识；所述批量任务为同种电力设备的运行状态评估任务；基于所述接口标识生成对应的状态查询请求，并将所述状态查询请求下发至所述从服务器；获取所述从服务器上报的与所述接口标识对应的接口的状态信息；所述接口包括对电力设备的运行状态进行评估的评估接口以及对评估结果进行核对的核对接口；根据所述状态信息确定对应接口的资源空闲率，并根据所述资源空闲率确定相应接口的调用成功概率；当每个接口的调用成功概率大于阈值时，将所述从服务器确定为可调用的从服务器；获取可调用的从服务器的可用资源量；预测对所述批量任务进行处理时所需的资源消耗量；

批量任务划分模块，用于将所述资源消耗量除以所述批量任务中子任务的数量，得到子任务消耗量；分别将子任务消耗量中不同类型的资源量与对应阈值进行对比，确定处理所述批量任务时所需的核心资源类型；从各个所述可调用的从服务器的可用资源量中筛选出针对所述核心资源类型的可用资源量；将筛选出的可用资源量作为划分权重，基于所述划分权重对批量任务进行划分，得到多组任务；

任务下发模块，用于将所述多组任务下发至对应可调用的从服务器，以使所述可调用从服务器对所述批量任务进行处理，得到对电力设备的状态评价结果。

9.一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至7中任一项所述方法的步骤。

10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至7中任一项所述的方法的步骤。

Images