CN111078733B - 批量任务处理方法、装置、计算机设备和存储介质 - Google Patents

Abstract

本申请涉及一种批量任务处理方法、装置、计算机设备和存储介质。所述方法包括：获取批量任务的配置文件；配置文件中记录了批量任务的任务标识、任务类型以及与任务类型相对应的任务参数；创建与任务标识对应的缓存空间；将根据任务类型以及与任务类型相对应的任务参数从数据库中拉取的目标数据存储至缓存空间；基于缓存空间存储的目标数据进行批量任务的处理；在批量任务的处理完毕时，释放任务标识对应的缓存空间。采用本方法能够提升批量任务的处理效率。

Description

批量任务处理方法、装置、计算机设备和存储介质

技术领域

本申请涉及计算机技术领域，特别是涉及一种批量任务处理方法、装置、计算机设备和存储介质。

背景技术

随着大数据时代的到来，应用系统所需要处理的任务数量也越来越多。当需要对某种任务进行批量处理时，在业务处理过程中针对每个操作对象都需要访问一次或多次数据库来加载数据，如当需要基于物料管理模块对多种物料的库存信息进行批量统计时，就需要频繁访问数据库，从而增加了中央处理器消耗和磁盘输入/输出消耗，降低了系统的整体服务性能，进而使得批量任务处理效率低。

发明内容

基于此，有必要针对上述技术问题，提供一种能够提升批量任务处理效率的批量任务处理方法、装置、计算机设备和存储介质。

一种批量任务处理方法，所述方法包括：

获取批量任务的配置文件；所述配置文件中记录了批量任务的任务标识、任务类型以及与任务类型相对应的任务参数；

创建与所述任务标识对应的缓存空间；

将根据所述任务类型以及与任务类型相对应的任务参数从数据库中拉取的目标数据存储至所述缓存空间；

基于所述缓存空间存储的目标数据进行所述批量任务的处理；

在所述批量任务的处理完毕时，释放所述任务标识对应的缓存空间。

在其中一个实施例中，所述创建与所述任务标识对应的缓存空间包括：

判断是否存在与所述任务标识对应缓存空间；

当不存在时，创建与所述任务标识对应的缓存空间。

在其中一个实施例中，所述将根据所述任务类型以及与任务类型相对应的任务参数从数据库中拉取的目标数据存储至所述缓存空间包括：

根据所述任务参数确定数据筛选关键词以及目标数据库；

基于所述数据筛选关键词以及任务类型从所述目标数据库中拉取目标数据；

将所述目标数据存储至所述缓存空间。

在其中一个实施例中，所述配置文件中记录了与批量任务关联的关联任务的任务类型；所述基于所述数据筛选关键词以及任务类型从所述目标数据库中拉取目标数据包括：

基于所述配置文件确定与所述批量任务关联的关联任务的任务类型；

根据所述关联任务的任务类型调整所述数据筛选关键词以及目标数据库；

基于所述重新调整后的数据筛选关键词、批量任务的任务类型以及关联任务的任务类型从目标数据库中拉取目标数据。

在其中一个实施例中，所述配置文件中记录了批量任务与关联任务的依赖关系；所述批量任务包括至少一个子任务；所述关联任务包括至少一个子关联任务；所述子任务的处理依赖于与子任务关联的子关联任务的处理结果；所述方法还包括：

获取执行子任务以及子关联任务中至少一个任务时触发的数据查询请求；

判断所述缓存空间所存储的目标数据中是否存在响应所述数据查询请求所需的响应数据；

当不存在所述响应数据时，基于所述数据查询请求从所述数据库中拉取对应的响应数据；

基于所述响应数据处理所述子任务以及关联任务中至少一个任务。

在其中一个实施例中，所述方法还包括：

将所述响应数据存储至所述缓存空间；

基于所述响应数据处理所述子任务以及关联任务中至少一个任务

在其中一个实施例中，所述方法还包括：

确定需要所述响应数据的其他批量任务的任务标识；

将所述响应数据同步存储至需要响应数据的其他批量任务的任务标识所对应的缓存空间。

在其中一个实施例中，所述方法还包括：

获取所述缓存空间的存在时长；

当所述存在时长大于阈值时，基于所述任务标识重新从数据库中拉取对应的目标数据；

将所述重新获得的目标数据替换存储至所述缓存空间。

一种批量任务处理装置，所述装置包括：

缓存空间创建模块，用于获取批量任务的配置文件；创建与任务标识对应的缓存空间；将根据所述任务类型以及与任务类型相对应的任务参数从数据库中拉取的目标数据存储至所述缓存空间；

任务处理模块，用于基于所述缓存空间存储的目标数据进行所述批量任务的处理；

缓存空间释放模块，用于在所述批量任务的处理完毕时，释放所述任务标识对应的缓存空间。

一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现以下步骤：

获取批量任务的配置文件；所述配置文件中记录了批量任务的任务标识、任务类型以及与任务类型相对应的任务参数；

创建与所述任务标识对应的缓存空间；

将根据所述任务类型以及与任务类型相对应的任务参数从数据库中拉取的目标数据存储至所述缓存空间；

基于所述缓存空间存储的目标数据进行所述批量任务的处理；

在所述批量任务的处理完毕时，释放所述任务标识对应的缓存空间。

一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现以下步骤：

获取批量任务的配置文件；所述配置文件中记录了批量任务的任务标识、任务类型以及与任务类型相对应的任务参数；

创建与所述任务标识对应的缓存空间；

将根据所述任务类型以及与任务类型相对应的任务参数从数据库中拉取的目标数据存储至所述缓存空间；

基于所述缓存空间存储的目标数据进行所述批量任务的处理；

在所述批量任务的处理完毕时，释放所述任务标识对应的缓存空间。

上述批量任务处理方法、装置、计算机设备和存储介质，通过获取批量任务的任务标识，可以创建与任务标识对应的缓存空间；通过获取批量任务的任务类型以及与任务类型对应的任务参数，可以根据任务类型以及任务参数准确地预测批量任务处理时所需的目标数据；通过将目标数据预先存储于缓存空间中，使得当处理批量任务时，可以优先至缓存空间中查找目标数据，而无需频繁访问数据库，从而减少了数据库的访问频率，进而提升了批量任务的处理效率。

附图说明

图1为本发明一个实施例中批量任务处理方法的应用场景图；

图2为本发明一个实施例中批量任务处理方法的流程示意图；

图3为本发明一个实施例中各任务类型之间的关联关系示意图；

图4为本发明另一个实施例中批量任务处理系统的架构图；

图5为本发明一个实施例中批量任务处理装置的结构框图；

图6为本发明另一个实施例中批量任务处理装置的结构框图；

图7为本发明一个实施例中计算机设备的内部结构图。

具体实施方式

为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。

本申请提供的批量数据访问方法，可以应用于如图1所示的服务器102中。图1为一个实施例中服务器的内部结构图。其中，服务器102可以用独立的服务器或者是多个服务器组成的服务器集群来实现。服务器102中具有缓存控制器以及任务处理器。其中，基于缓存控制器可以创建或销毁批量任务的缓存空间，基于任务处理器可以利用缓存空间中的目标数据对批量任务进行处理。

在一个实施例中，如图2所示，提供了一种批量任务处理方法，以该方法应用于图1中的服务器为例进行说明，包括以下步骤：

S202，获取批量任务的配置文件。

其中，批量任务是指一批子任务的集合，比如，批量任务包括一批物料的库存统计、一批物料的出库量统计以及一批物料的售卖利润统计等。配置文件中记录了批量任务的任务标识、任务类型以及与任务类型相对应的任务参数。任务标识为可以唯一标识一个批量任务的信息。批量任务处理系统可以提供多种类型的服务，如提供库存查询服务、物料利润统计服务等，不同类型的服务所对应的任务类型也不同，比如，当需要基于库存查询服务查询物料的库存信息时，此时的任务类型即为库存查询类型。任务参数是指任务类型相同的子任务在执行时均需要使用的公共参数，任务参数可以以键值对的形式存在，如“时间标识：10:00”、“数据库标识：库存数据库”等，基于时间标识和数据库标识，任务类型相同的子任务均可以从与数据库标识对应的数据库中查询与时间标识对应的时间点的数据

具体地，用户可以在终端的创建任务界面中选择批量任务的操作对象、任务类型以及与任务类型对应的任务参数，终端基于操作对象、任务类型以及与任务类型对应的任务参数生成对应的批量任务。比如用户在创建任务界面中选择的任务类型可以为“库存查询”，选择的操作对象可以为“A、B和C”，选择的任务参数可以为“数据库标识：库存数据库”，从而终端根据操作对象、任务类型以及与任务类型对应的任务参数生成“从库存数据库中查询A、B和C的库存信息”的批量任务，并同时将批量任务的任务标识、任务类型以及与任务类型相对应的任务参数存储于配置文件中。

当服务器接收到终端发送的批量任务以及配置文件时，服务器将配置文件转发至缓存控制器，将批量任务以及配置文件转发至任务处理器。

在一个实施例中，终端获取预设的公共关键词库，并查看用户选择的任务参数是否包含于公共关键词库中，当包含于公共关键词库中时，可以认为批量任务中多个子任务在处理时均需基于此任务参数获取对应的数据，此时终端将包含于公共关键词库中的任务参数，比如数据库标识存储于配置文件中。

通过公共关键词库进一步筛选用户选择的任务参数，使得当任务参数真正为处理多个子任务均需使用的参数时，才将对应的任务参数存放于配置文件中，从而可以节约因存储过多不必要的任务参数而耗费的存储资源。

在一个实施例中，当任务处理器接收到批量任务时，任务处理器获取批量任务中每个子任务的任务类型，当批量任务中全部子任务的任务类型均相同时，对应的批量任务的任务类型即为其中一个子任务的任务类型，当批量任务中具有不同种任务类型的子任务时，此时对应的批量任务具有多个任务类型，具体为不同种子任务的任务类型。比如，当批量任务为基于库存查询服务查询A、B、C以及D物料的库存信息时，对应的批量任务的任务类型即为库存查询类型；当批量任务为基于库存查询服务查询A和B物料的库存信息以及查询C和D物料的利润信息时，对应的批量任务的任务类型即为库存查询类型和利润查询类型。

进一步地，任务处理器将基于子任务确定的批量任务的任务类型与配置文件中的任务类型进行对比，当基于子任务的任务类型确定得到的批量任务的任务类型与配置文件中的任务类型不相同时，将基于子任务的任务类型确定得到的批量任务的任务类型替换配置文件中的任务类型，得到更新后的配置文件，并将更新后的配置文件发送至缓存控制器。

通过进一步基于子任务的任务类型核对配置文件中批量任务的任务类型，可以减少后续因任务类型错误而导致从数据库中拉取的错误目标数据的概率。

S204，创建与任务标识对应的缓存空间。

具体地，当缓存控制器接收到批量任务的配置文件后。缓存控制器确定待创建缓存空间的创建地址，基于创建地址从内存中开辟出预设空间大小的缓存空间。缓存控制器获取开辟的缓存空间的空间标识，并将空间标识与任务标识对应存储。

在一个实施例中，缓存控制器获取历史批量任务集以及待处理批量任务的子任务数量。其中，历史批量任务集记录了已处理的批量任务的任务类型、与任务类型对应的子任务数量以及最终所需的缓存空间大小。缓存控制器从历史批量任务集中查看是否存在与待处理批量任务的任务类型相同的已处理批量任务，当存在时，缓存控制器根据相同类型的已处理批量任务中子任务数量、最终所需的缓存空间大小以及待处理批量任务中子任务数量预测待创建的缓存空间大小。

通过获取批量任务的历史记录，使得控制处理器可以根据历史记录预测当前待处理批量任务所需的缓存空间大小，从而减少后续因缓存空间不足而导致存储目标数据时存储溢出的概率。

在一个实施例中，当缓存控制器获取到批量任务的任务标识后，缓存控制器将任务标识与预设字符进行拼接得到字符串，并直接将拼接得到的字符串作为缓存空间的空间标识。

通过直接将任务标识与预设字符进行拼接得到字符串作为空间标识，使得后续当具有多个不同批量任务的不同缓存空间时，可以基于空间标识快速地查找到与当前批量任务对应的缓存空间。

在一个实施例中，缓存控制器判断内存中剩余空间大小是否大于创建缓存空间所需的空间大小，当大于创建缓存空间所需的空间大小时，创建与任务类型以及上下文信息对应的缓存空间。

S206,将根据任务类型以及与任务类型相对应的任务参数从数据库中拉取的目标数据存储至缓存空间。

具体地，缓存器获取与任务类型对应的任务参数，并判断任务参数中是否具有数据库标识，若具有数据库标识时，缓存控制器将与数据库标识对应的数据库作为目标数据库，并基于除数据库标识之外的其它任务参数生成对应的数据查询请求。缓存控制器将数据查询请求发送至目标数据库以使目标数据库根据数据查询请求返回符合条件的目标数据。比如，当与库存任务类型对应的任务参数为时间标识以及物料类型标识时，缓存控制器基于时间标识以及物料类型标识生成对应的数据查询请求，从而目标数据库从存储的数据中筛选出与时间标识以及物料类型标识对应的目标数据。

若任务参数中不具有数据库标识时，缓存控制器获取预设的数据库配置文件，根据数据库配置文件确定与任务类型对应的数据库，并将与任务类型对应的数据库作为目标数据库。其中，数据库配置文件记录了任务类型与数据库之前的对应关系，比如库存查询任务对应A数据库。

进一步地，当缓存控制器获取到目标数据后，缓存控制器基于批量任务的任务标识确定对应的空间标识，并将目标数据存储至与空间标识对应的存储空间中。缓存控制器记录缓存至缓存空间中的目标数据的数量，当缓存至缓存空间的目标数据的数量与从数据库中提取出的目标数据的数量相同时，可以认为此时目标数据已全部存储至缓存空间中，此时缓存控制器对应生成存储成功消息，并将存储成功消息发送至任务处理器。

容易理解地，当任务参数中具有数据库标识，缓存控制器也可以基于数据库配置文件确定目标数据库。

在一个实施例中，缓存控制器获取批量任务中与任务类型对应的操作对象的对象标识，根据对象标识以及任务参数从目标数据库中筛选出目标数据。比如当批量任务为查看2019年10月1日10:00时A、B、C以及D的物料库存情况时，与库存查询类型对应的操作对象即为A、B、C以及D，此时缓存控制器根据对象标识、时间标识从目标数据库中筛选出2019年10月1日10:00时A、B、C以及D的物料库存值。

通过将对象标识作为目标数据的筛选条件，可以进一步地缩小目标数据的筛选范围，从而使得筛选出的目标数据更为精准。

在一个实施例中，当批量任务具有多个任务类型时，缓存控制器分别获取与任务类型对应的任务参数，并根据分别获取的任务参数生成任务类型数量的数据查询请求。

S208，基于缓存空间存储的目标数据进行批量任务的处理。

具体地，任务处理器将存储成功消息作为批量任务的开始处理信号，之后，任务处理器开辟新线程用以按顺序处理批量任务中的子任务。在子任务的处理过程中，当需要查询与任务处理有关的数据时，如当需要查询物料A的库存数量时，任务处理器根据查询任务以及子任务标识生成对应的数据查询请求，并将数据查询请求发送至缓存控制器。缓存控制器查询包含子任务标识的任务标识，并根据任务标识确定对应的缓存空间，之后，缓存控制器基于数据查询请求从对应的缓存空间中查询子任务处理时所需的数据。当缓存空间中不存在处理子任务时所需的数据时，缓存控制器将数据查询请求转发至目标数据库，并从目标数据库中查询处理子任务时所需的数据。

在一个实施例中，任务处理器可以创建一个具有多个线程的线程池，并基于线程池中的线程处理批量任务，从而多个子任务的处理可以同步进行，进而提升批量任务处理效率。

S210，在批量任务的处理完毕时，释放与任务标识对应的缓存空间。

具体地，当子任务处理完毕时会向任务处理器返回一个返回值，用以指示当前子任务已经处理完毕，任务处理器统计接收到的返回值的数量，当接收到的返回值数量与批量任务中子任务的数量相等时，可以认为此时批量任务已经处理完毕，此时任务处理器根据任务标识生成对应的批量任务处理完毕提示消息，并将批量任务处理完毕提示消息发送至缓存控制器。缓存控制器从批量任务处理完毕提示消息中提取出任务标识，根据任务标识查找到对应空间标识，并释放与空间标识对应的缓存空间。

在一个实施例中，任务处理器根据批量任务中的子任务数量初始化一个计数参数，比如当子任务数量为1000时，对应的计数参数值也为1000。每当线程处理完毕一个子任务时，线程将计数参数值减1。任务处理器监控计数参数值的变化情况，当计数参数的值变为0时，任务处理器根据任务标识生成对应的批量任务处理完毕提示消息。

由于计数参数的初始值等于子任务的总数量，从而任务处理器通过直接监控计数参数值的变化情况就能快速得知批量任务是否执行完毕。

在一个实施例中，只有在当前顺序批量任务处理完毕时，任务处理器才会将下一顺序的批量任务下发至线程池中的线程。任务处理器监听被提交到线程池中的子任务是否被全部执行完毕，当线程池中的全部子任务均执行完毕后，任务处理器根据任务标识生成对应的批量任务处理完毕提示消息。

通过为每一个批量任务均开辟一个缓存空间，而非多个批量任务共用一个缓存空间，可以减少由于多个批量任务共同使用一个缓存空间而导致的目标数据混乱的问题，与此同时由于缓存空间之间相互独立，在当批量任务处理完毕时，可以释放对应的缓存空间，从而节约了内存资源。

上述批量任务处理方法中，通过获取批量任务的任务标识，可以创建与任务标识对应的缓存空间；通过获取批量任务的任务类型以及与任务类型对应的任务参数，可以根据任务类型以及任务参数准确地预测批量任务处理时所需的目标数据；通过将目标数据预先存储于缓存空间中，使得当处理批量任务时，可以优先至缓存空间中查找目标数据，而无需频繁访问数据库，从而减少了数据库的访问频率，进而提升了批量任务的处理效率。

在一个实施例中，创建与任务标识对应的缓存空间还包括：判断是否存在与任务标识对应缓存空间；当不存在时，创建与任务标识对应的缓存空间；

具体地，服务器中具有任务标识与空间标识的对应关系。缓存控制器根据待处理批量任务的任务标识，从任务标识与空间标识的对应关系中确定是否具有与待处理批量任务的任务标识对应的空间标识，当具有对应的空间标识时，可以认为已经存在与待处理批量任务的任务标识相对应的缓存空间，此时缓存控制器放弃创建与任务标识对应的缓存空间；当不存在对应的空间标识时，可以认为还未创建与待处理批量任务的任务标识对应的缓存空间，此时缓存控制器创建与任务标识对应的缓存空间。

上述实施例中，通过事先判断是否已存在与任务标识对应缓存空间，使得在当不存在与任务标识对应缓存空间时，才创建对应的缓存空间，从而减少了缓存空间重复创建的概率。

在一个实施例中，将根据任务类型以及与任务类型相对应的任务参数从数据库中拉取的目标数据存储至所述缓存空间包括：根据任务参数确定数据筛选关键词以及目标数据库；基于数据筛选关键词以及任务类型从目标数据库中拉取目标数据；将目标数据存储至缓存空间。

具体地，缓存器获取与任务类型对应的任务参数，并判断任务参数中是否具有数据库标识，若具有数据库标识时，缓存控制器将与数据库标识对应的数据库作为目标数据库。缓存控制器基于目标数据的数据库标识生成字段获取请求，并将字段获取请求发送至目标数据库。其中，字段为数据表表头中的关键词，比如库存表表头中的物料类型、库存值和时间标识等。目标数据库根据字段获取请求从各个数据表中提取字段信息，并将字段信息打包返回至缓存控制器。

同一任务类型所对应的任务参数可以有多个。缓存控制器遍历任务参数，并查看任务参数中的键值信息是否包含于字段信息中，当包含于字段信息时，可以认为缓存器能够基于此任务参数从目标数据库中查询到对应的目标数据，此时缓存控制器将包含于字段信息中的任务参数确定为数据筛选关键词。比如当字段信息为物料类型、库存值和时间标识，多个任务参数分别为“物料类型：A物料”以及“会话标识：A用户”时，缓存控制器基于字段信息以及任务参数，确定数据筛选关键词为“物料类型：A物料”。

进一步地，缓存控制器根据筛选出的数据筛选关键词以及任务类型生成对应的数据查询请求，并基于数据查询请求从目标数据库中拉取对应的目标数据。比如任务类型为库存查询，数据筛选关键词为“物料类型：A物料”。缓存控制器根据数据筛选关键词以及任务类型生成的数据查询请求为“查询A物料的库存”。当缓存控制器获取到目标数据后，缓存控制器将目标数据缓存至与任务标识对应的缓存空间中。

在一个实施例中，同一数据库中可以具有多张数据表，每张数据表中存储的数据所对应的任务类型不同，例如，数据表A用于存储与库存相关的数据，数据表B用于存储与利润相关的数据。此时缓存控制器可以基于任务类型进一步确定对应的数据表表单，从而可以从数据表单中拉取目标数据，而无需从整个数据库中拉取目标数据，进而节约了数据查询所耗费的资源。

上述实施例中，由于数据筛选关键词包含于字段信息中，因此可以基于数据筛选关键词从目标数据库中拉取目标数据，从而减少了因数据查询请求中包含无效词汇而导致数据查询失败的概率。

在一个实施例中，基于数据筛选关键词以及任务类型从目标数据库中拉取目标数据包括：基于配置文件确定与批量任务关联的关联任务的任务类型；根据关联任务的任务类型调整数据筛选关键词以及目标数据库；基于重新调整后的数据筛选关键词、批量任务的任务类型以及关联任务的任务类型从目标数据库中拉取目标数据。

其中，配置文件中记录了与批量任务关联的关联任务的任务类型。在应用系统中，批量任务的执行往往需要依赖于其它任务的执行结果，被依赖的任务即为关联任务，比如一批物料库存数量的确定可能需要依赖于物料入库数量的统计结果以及物料出库数量的统计结果。

具体地，图3为一个实施例中各任务类型之间的关联关系示意图。批量任务在生成的过程中，终端可以基于预设的如图3所示各任务类型之间的关联关系，确定与批量任务的任务类型关联的关联任务的任务类型，比如，批量任务可以基于各任务类型之间的关联关系，确定与库存查询类型关联的任务类型为入库查询和出库查询，之后，终端将与当前批量任务的任务类型关联的任务类型作为关联任务的任务类型存储于配置文件中，并将配置文件发送至缓存控制器。

进一步地，缓存控制器从配置文件中确定与批量任务关联的关联任务的任务类型，基于预设的数据库配置文件查看与关联任务的任务类型对应的数据库，并将与关联任务的任务类型对应的数据库作为关联目标数据库。其中，数据库配置文件记录了任务类型与数据库之前的对应关系，比如库存查询任务对应A数据库。

进一步地，缓存控制器获取关联目标数据库的字段信息，并查看除已经确定为数据筛选关键词之外的任务参数中是否具有包含于字段信息中的任务参数，当具有包含于字段信息中的任务参数时，将对应的任务参数作为数据筛选关键词。缓存控制器根据重新调整后的数据筛选关键词、批量任务的任务类型以及关联任务的任务类型生成对应的数据查询请求，并将数据查询请求发送至目标数据库以及关联数据库，以使目标数据库以及关联数据库基于数据查询请求返回对应的目标数据。

在一个实施例中，缓存控制器基于数据筛选关键词分别生成与批量任务的任务类型以及关联任务的任务类型对应的数据查询请求。比如当数据筛选关键词为“物料类型：A物料”，批量任务的任务类型为库存查询，关联任务的任务类型为入库查询以及出库查询时，缓存控制器根据批量任务的任务类型以及关联任务的任务类型分别生成“查询A类型物料的库存量”、“查询A类型物料的出库量”和“查询A类型物料的入库量”。

进一步地，缓存控制器根据任务类型与数据库之间的对应关系，将生成的多个数据查询请求分别发送至对应的数据库。

上述实施例中，当批量任务的执行依赖于关联任务的执行结果时，通过调整数据筛选关键词以及目标数据库，使得基于调整后的数据筛选关键词从目标数据库中提取出的目标数据也能满足关联任务的执行，从而减少了因关联任务的执行而导致的频繁访问数据库的概率，进而提升了批量任务的处理效率。

在一个实施例中，上述批量任务执行还包括：获取执行子任务以及子关联任务中至少一个任务时触发的数据查询请求；判断缓存空间所存储的目标数据中是否存在响应所述数据查询请求所需的响应数据；当不存在响应数据时，基于数据查询请求从数据库中拉取对应的响应数据；基于响应数据处理子任务以及关联任务中至少一个任务。

其中，关联任务包括至少一个子关联任务，子任务的处理依赖于与子任务关联的子关联任务的处理结果。

具体地，当任务处理器处理子任务或子关联任务时，为了得到任务处理结果，任务处理器会基于子任务或关联任务的任务标识成对应的数据查询请求，为了描述方便，下述将子任务或关联任务的任务标识记作目标子任务标识。例如当关联任务为查询A物料的入库数量时，为了得到关联任务的处理结果，任务处理器可以基于生成关联任务的任务标识生成对应的数据查询请求。

进一步地，任务处理器将数据查询请求转发至缓存控制器，缓存控制器从数据查询请求中提取目标子任务标识，并从多个批量任务的任务标识中查找包含目标子任务标识的任务标识。缓存控制器根据查找到的任务标识确定对应的缓存空间，并根据数据查询请求从缓存空间中查找所需的响应数据。其中，任务标识中包含子任务的任务标识以及子关联任务的任务标识。

进一步地，当缓存空间中不存在响应数据时，缓存控制器根据批量任务的任务标识确定对应的目标数据库，并基于数据查询请求从目标数据库中查询响应数据。缓存控制器将查询得到的响应数据发送至批量任务处理器，以使批量任务处理器基于响应数据进行任务处理。

上述实施例中，通过优先从缓存空间中查询响应数据，可以减少访问数据库的频率；在缓存空间中不存在响应数据时，通过从数据库中查询响应数据，可以减少因缓存空间中缺少响应数据而导致任务执行失败的概率。

在一个实施例中，上述批量任务执行方法还包括：将响应数据存储至缓存空间；基于响应数据处理所述子任务以及关联任务中至少一个任务。

具体地，当缓存控制器从目标数据库中查询到响应数据时，缓存控制器将响应数据存储至与目标子任务标识对应的缓存空间中，并同时将响应数据发送至批量任务处理器。批量任务处理器接收响应数据，并基于响应数据进行任务处理。

上述实施例中，通过将从数据库查询得到的响应数据缓存至缓存空间中，使得当待处理的子任务也需要使用此响应数据时，可以直接从缓存空间中获取，而无需从访问数据库。

在一个实施例中，上述批量任务处理还包括：确定需要响应数据的其他批量任务的任务标识；将响应数据同步存储至需要响应数据的其他批量任务的任务标识所对应的缓存空间。

具体地，当缓存控制器从目标数据库中拉取到响应数据时，缓存控制器判断除当前批量任务外的其余批量任务的任务标识中是否包含目标子任务标识，当包含目标子任务标识时，可以认为对应批量任务的执行可能也需要响应数据。此时缓存控制器确定与包含目标子任务标识的任务标识对应的缓存空间，并将响应数据同步存储对应的缓存空间。

在一个实施例中，当与包含目标子任务标识的任务标识对应的缓存空间还未创建时，缓存控制器基于任务标识创建对应的缓存空间，并将响应数据同步存储至创建的缓存空间中。

上述实施例中，通过将响应数据同步缓存至需要响应数据的其他批量任务的缓存空间中，使得当待处理的其他批量任务也需要使用此响应数据时，可以直接从缓存空间中获取，而无需从访问数据库，从而进一步降低了数据库的访问频率，进而提升了批量任务的处理效率。

在一个实施例中，上述批量任务处理方法还包括：获取缓存空间的存在时长；当存在时长大于阈值时，基于任务标识重新从数据库中拉取对应的目标数据；将重新获得的目标数据替换存储至缓存空间。

具体地，当缓存控制器创建缓存空间时，缓存控制器对应记录创建时间以及空间标识于时间文件中。缓存控制器周期性地将当前时间减去时间文件中的每个创建时间，得到对应缓存空间的存在时长，当缓存空间的存在时长大于预设阈值时，可以认为缓存空间中的目标数据需要得到更新，此时缓存控制器根据空间标识确定对应的批量任务，并根据批量任务的任务类型以及任务参数从目标数据库中拉取最新的目标数据，之后将最新的目标数据替换存储至缓存空间中。

在一个实施例中，当缓存控制器释放与批量任务对应的缓存空间时，缓存控制器根据释放的缓存空间的空间标识从时间文件中查找对应的创建时间，并将查找得到的创建时间从时间文件中删除。通过对应删除创建时间，使得时间文件中的创建时间均为未被释放的缓存空间的创建时间，从而减少了因统计不存在的缓存空间的存在时长而耗费的服务器资源。

上述实施例中，当缓存空间的存在时长大于阈值时，通过及时更新缓存空间中的目标数据，使得后续可以基于最新的目标数据处理批量任务。

应该理解的是，虽然图2的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，图2中的至少一部分步骤可以包括多个子步骤或者多个阶段，这些子步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些子步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。

为了便于本领域技术人员的理解，如图4所示，图4为一个实施例中批量任务处理系统的架构图。当批量任务处理系统获取到一个批量任务时，缓存控制器根据批量任务的任务标识创建对应的缓存空间，并将基于任务类型以及任务参数从数据库中提取出的目标数据存储于缓存空间中。批量任务处理器迭代处理批量任务中的子任务，并将子任务发送至与子任务类型对应的任务处理模块，以使任务处理模块基于缓存空间中的目标数据对应处理子任务。当缓存空间中不存在处理子任务或子关联任务所需的目标数据时，任务处理模块从数据库中查询所需的目标数据，并根据查询得到的目标数据处理子任务或子关联任务。缓存控制器监控批量任务的处理过程，当批量任务处理完毕时，缓存控制器释放对应的缓存空间。

在一个实施例中，如图5所示，提供了一种批量任务处理装置500，包括：缓存空间创建模块502、任务处理模块504和缓存空间释放模块506，其中：

缓存空间创建模块502，用于获取批量任务的配置文件；创建与任务标识对应的缓存空间；将根据任务类型以及与任务类型相对应的任务参数从数据库中拉取的目标数据存储至缓存空间。

任务处理模块504，用于基于缓存空间存储的目标数据进行批量任务的处理。

缓存空间释放模块506，用于在批量任务的处理完毕时，释放任务标识对应的缓存空间。

在一个实施例中，如图6所示，上述缓存空间创建模块502还用于判断是否存在与任务标识对应缓存空间；当不存在时，创建任务标识对应的缓存空间。

在一个实施例中，缓存空间创建模块502还包括关键词确定模块5021，用于根据任务参数确定数据筛选关键词以及目标数据库；基于数据筛选关键词以及任务类型从目标数据库中拉取目标数据；将目标数据存储至缓存空间。

在一个实施例中，关键词确定模块5021还用于基于配置文件确定与批量任务关联的关联任务的任务类型；根据关联任务的任务类型调整数据筛选关键词以及目标数据库；基于重新调整后的数据筛选关键词、批量任务的任务类型以及关联任务的任务类型从目标数据库中拉取目标数据。

在一个实施例中，任务处理模块504还包括响应数据获取模块5041，用于获取执行子任务以及子关联任务中至少一个任务时触发的数据查询请求；判断缓存空间所存储的目标数据中是否存在响应数据查询请求所需的响应数据；当不存在响应数据时，基于数据查询请求从数据库中拉取对应的响应数据；基于响应数据处理子任务以及关联任务中至少一个任务。

在一个实施例中，响应数据获取模块5041还用于将响应数据存储至缓存空间；基于响应数据处理子任务以及关联任务中至少一个任务。

在一个实施例中，任务处理模块504还用于确定需要响应数据的其他批量任务的任务标识；将响应数据同步存储至需要响应数据的其他批量任务的任务标识所对应的缓存空间。

在一个实施例中，批量任务处理装置500还包括目标数据更新模块508，用于获取缓存空间的存在时长；当存在时长大于阈值时，基于任务标识重新从数据库中拉取对应的目标数据；将重新获得的目标数据替换存储至缓存空间。

关于批量任务处理装置的具体限定可以参见上文中对于批量任务处理方法的限定，在此不再赘述。上述批量任务处理装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。

在一个实施例中，提供了一种计算机设备，该计算机设备可以是服务器，其内部结构图可以如图7所示。该计算机设备包括通过系统总线连接的处理器、存储器、网络接口和数据库。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统、计算机程序和数据库。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的数据库用于存储批量任务处理所需的目标数据。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种批量任务处理方法。

本领域技术人员可以理解，图7中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。

在一个实施例中，提供了一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，处理器执行计算机程序时实现以下步骤：

获取批量任务的配置文件；配置文件中记录了批量任务的任务标识、任务类型以及与任务类型相对应的任务参数；

创建与任务标识对应的缓存空间；

将根据任务类型以及与任务类型相对应的任务参数从数据库中拉取的目标数据存储至缓存空间；

基于缓存空间存储的目标数据进行批量任务的处理；

在批量任务的处理完毕时，释放任务标识对应的缓存空间。

在一个实施例中，处理器执行计算机程序时还实现以下步骤：

判断是否存在与任务标识对应缓存空间；

当不存在时，创建任务标识对应的缓存空间。

在一个实施例中，处理器执行计算机程序时还实现以下步骤：

根据任务参数确定数据筛选关键词以及目标数据库；

基于数据筛选关键词以及任务类型从目标数据库中拉取目标数据；

将目标数据存储至缓存空间。

在一个实施例中，配置文件中记录了与批量任务关联的关联任务的任务类型；处理器执行计算机程序时还实现以下步骤：

基于配置文件确定与批量任务关联的关联任务的任务类型；

根据关联任务的任务类型调整数据筛选关键词以及目标数据库；

基于重新调整后的数据筛选关键词、批量任务的任务类型以及关联任务的任务类型从目标数据库中拉取目标数据。

在一个实施例中，配置文件中记录了批量任务与关联任务的依赖关系；批量任务包括至少一个子任务；关联任务包括至少一个子关联任务；子任务的处理依赖于与子任务关联的子关联任务的处理结果；处理器执行计算机程序时还实现以下步骤：

获取执行子任务以及子关联任务中至少一个任务时触发的数据查询请求；

判断缓存空间所存储的目标数据中是否存在响应数据查询请求所需的响应数据；

当不存在响应数据时，基于数据查询请求从数据库中拉取对应的响应数据；

基于响应数据处理子任务以及关联任务中至少一个任务。

在一个实施例中，处理器执行计算机程序时还实现以下步骤：

将响应数据存储至缓存空间；

基于响应数据处理子任务以及关联任务中至少一个任务。

在一个实施例中，处理器执行计算机程序时还实现以下步骤：

确定需要响应数据的其他批量任务的任务标识；

将响应数据同步存储至需要响应数据的其他批量任务的任务标识所对应的缓存空间。

在一个实施例中，处理器执行计算机程序时还实现以下步骤：

获取缓存空间的存在时长；

当存在时长大于阈值时，基于任务标识重新从数据库中拉取对应的目标数据；

将重新获得的目标数据替换存储至缓存空间。

在一个实施例中，提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现以下步骤：

获取批量任务的配置文件；配置文件中记录了批量任务的任务标识、任务类型以及与任务类型相对应的任务参数；

创建与任务标识对应的缓存空间；

将根据任务类型以及与任务类型相对应的任务参数从数据库中拉取的目标数据存储至缓存空间；

基于缓存空间存储的目标数据进行批量任务的处理；

在批量任务的处理完毕时，释放任务标识对应的缓存空间。

在一个实施例中，计算机程序被处理器执行时还实现以下步骤：

判断是否存在与任务标识对应缓存空间；

当不存在时，创建任务标识对应的缓存空间。

在一个实施例中，计算机程序被处理器执行时还实现以下步骤：

根据任务参数确定数据筛选关键词以及目标数据库；

基于数据筛选关键词以及任务类型从目标数据库中拉取目标数据；

将所述目标数据存储至所述缓存空间。

在一个实施例中，配置文件中记录了与批量任务关联的关联任务的任务类型；计算机程序被处理器执行时还实现以下步骤：

基于配置文件确定与批量任务关联的关联任务的任务类型；

根据关联任务的任务类型调整数据筛选关键词以及目标数据库；

基于重新调整后的数据筛选关键词、批量任务的任务类型以及关联任务的任务类型从目标数据库中拉取目标数据。

在一个实施例中，配置文件中记录了批量任务与关联任务的依赖关系；批量任务包括至少一个子任务；关联任务包括至少一个子关联任务；子任务的处理依赖于与子任务关联的子关联任务的处理结果；计算机程序被处理器执行时还实现以下步骤：

获取执行子任务以及子关联任务中至少一个任务时触发的数据查询请求；

判断缓存空间所存储的目标数据中是否存在响应数据查询请求所需的响应数据；

当不存在响应数据时，基于数据查询请求从数据库中拉取对应的响应数据；

基于响应数据处理子任务以及关联任务中至少一个任务。

在一个实施例中，计算机程序被处理器执行时还实现以下步骤：

将响应数据存储至缓存空间；

基于响应数据处理子任务以及关联任务中至少一个任务。

在一个实施例中，计算机程序被处理器执行时还实现以下步骤：

确定需要响应数据的其他批量任务的任务标识；

将响应数据同步存储至需要响应数据的其他批量任务的任务标识所对应的缓存空间。

在一个实施例中，计算机程序被处理器执行时还实现以下步骤：

获取缓存空间的存在时长；

当存在时长大于阈值时，基于任务标识重新从数据库中拉取对应的目标数据；

将重新获得的目标数据替换存储至缓存空间。

本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。

以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。

以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。

Claims (11)

1.一种批量任务处理方法，所述方法包括：

获取批量任务的配置文件；所述配置文件中记录了批量任务的任务标识、任务类型以及与任务类型相对应的任务参数；所述批量任务是指一批具有相同任务类型的子任务的集合；所述任务参数是指任务类型相同的子任务在执行时均需要使用的公共参数；

创建与所述任务标识对应的缓存空间；

将根据所述任务类型以及与任务类型相对应的任务参数从数据库中拉取的目标数据存储至所述缓存空间；

基于所述缓存空间存储的目标数据进行所述批量任务的处理；

在所述批量任务处理完毕时，释放与所述任务标识对应的缓存空间。

2.根据权利要求1所述的方法，其特征在于，所述创建与所述任务标识对应的缓存空间包括：

判断是否存在与所述任务标识对应缓存空间；

当不存在时，创建与所述任务标识对应的缓存空间。

3.根据权利要求1所述的方法，其特征在于，所述将根据所述任务类型以及与任务类型相对应的任务参数从数据库中拉取的目标数据存储至所述缓存空间包括：

根据所述任务参数确定数据筛选关键词以及目标数据库；

基于所述数据筛选关键词以及任务类型从所述目标数据库中拉取目标数据；

将所述目标数据存储至所述缓存空间。

4.根据权利要求3所述的方法，其特征在于，所述配置文件中记录了与批量任务关联的关联任务的任务类型；所述基于所述数据筛选关键词以及任务类型从所述目标数据库中拉取目标数据包括：

基于所述配置文件确定与所述批量任务关联的关联任务的任务类型；

根据所述关联任务的任务类型调整所述数据筛选关键词以及目标数据库；

基于重新调整后的数据筛选关键词、批量任务的任务类型以及关联任务的任务类型从所述目标数据库中拉取目标数据。

5.根据权利要求1所述的方法，其特征在于，所述配置文件中记录了批量任务与关联任务的依赖关系；所述批量任务包括至少一个子任务；所述关联任务包括至少一个子关联任务；所述子任务的处理依赖于与子任务关联的子关联任务的处理结果；所述方法还包括：

获取执行子任务以及子关联任务中至少一个任务时触发的数据查询请求；

判断所述缓存空间所存储的目标数据中是否存在响应所述数据查询请求所需的响应数据；

当不存在所述响应数据时，基于所述数据查询请求从所述数据库中拉取对应的响应数据；

基于所述响应数据处理所述子任务以及关联任务中至少一个任务。

6.根据权利要求5所述的方法，其特征在于，所述方法还包括：

将所述响应数据存储至所述缓存空间；

基于所述响应数据处理所述子任务以及关联任务中至少一个任务。

7.根据权利要求5所述的方法，其特征在于，所述方法还包括：

确定需要所述响应数据的其他批量任务的任务标识；

将所述响应数据同步存储至需要所述响应数据的其他批量任务的任务标识所对应的缓存空间。

8.根据权利要求1所述的方法，其特征在于，所述方法还包括：

获取所述缓存空间的存在时长；

当所述存在时长大于阈值时，基于所述任务标识重新从数据库中拉取对应的目标数据；

将重新获得的目标数据替换存储至所述缓存空间。

9.一种批量任务处理装置，其特征在于，所述装置包括：

缓存空间创建模块，用于获取批量任务的配置文件，所述配置文件中记录了批量任务的任务标识、任务类型以及与任务类型相对应的任务参数；创建与任务标识对应的缓存空间；将根据所述任务类型以及与任务类型相对应的任务参数从数据库中拉取的目标数据存储至所述缓存空间；所述批量任务是指一批具有相同任务类型的子任务的集合；所述任务参数是指任务类型相同的子任务在执行时均需要使用的公共参数；

任务处理模块，用于基于所述缓存空间存储的目标数据进行所述批量任务的处理；

缓存空间释放模块，用于在所述批量任务处理完毕时，释放所述任务标识对应的缓存空间。

10.一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至8中任一项所述方法的步骤。

11.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至8中任一项所述的方法的步骤。