CN109240810A - 任务处理方法、装置及存储介质 - Google Patents

Abstract

本申请公开了一种任务处理方法，所述任务包括多个依次相连的子任务，为每一个子任务设置缓存，当执行完一个子任务后，根据该子任务的执行结果更新所述子任务对应的缓存，所述方法包括：接收对所述多个子任务中当前子任务的修改；当所述当前子任务不是第一个子任务时，查找所述当前子任务的前一个子任务的缓存中的执行结果；当查找到所述前一个子任务的缓存中的执行结果时，根据所述执行结果执行所述前一个子任务之后的各子任务。本申请还提供了相应的装置及存储介质。

Description

任务处理方法、装置及存储介质

技术领域

本申请涉及计算机技术领域，尤其涉及任务处理方法、装置及存储介质。

背景技术

近年来，随着门户网站、社交网络、电子商务等网络应用的高速发展、以及业务的持续增长和延伸，产生并积累了大量的业务数据，这些数据具有数据量大、数据结构多样化、数据增长率高等特点，是典型的大数据。

在大数据中存在离线计算场景，离线计算就是在计算开始前已知所有输入数据，输入数据不会产生变化，且在解决一个问题后就要立即得出结果的前提下进行的计算。在大数据中属于数据的计算部分，在该部分中与离线计算对应的则是实时计算。在大数据离线计算场景上，现在业界很多成熟的系统都设计了计算任务的工作流(即任务集合)，按一定的依赖关系依次去执行。需要定义任务的触发顺序和触发条件，每个任务可以由一个或多个步骤完成。

在大数据计算场景，经常需要修改计算任务，需要对涉及的任务或多个任务组成的工作流进行重新启动计算并输出结果，该过程即是重跑的过程。

发明内容

本申请实施例提供一种任务处理方法，所述任务包括多个依次相连的子任务，为每一个子任务设置缓存，当执行完一个子任务后，根据该子任务的执行结果更新所述子任务对应的缓存，所述方法包括：

接收对所述多个子任务中当前子任务的修改；

当所述当前子任务不是第一个子任务时，查找所述当前子任务的前一个子任务的缓存中的执行结果；

当查找到所述前一个子任务的缓存中的执行结果时，根据所述执行结果执行所述前一个子任务之后的各子任务。

本申请实施例还提供了一种任务处理装置，所述任务包括多个依次相连的子任务，为每一个子任务设置缓存，当执行完一个子任务后，根据该子任务的执行结果更新所述子任务对应的缓存，所述装置包括：

接收单元，用以接收对所述多个子任务中当前子任务的修改；

查找单元，用以当所述当前子任务不是第一个子任务时，查找所述当前子任务的前一个子任务的缓存中的执行结果；

执行单元，用以当查找到所述前一个子任务的缓存中的执行结果时，根据所述执行结果执行所述前一个子任务之后的各子任务。

本申请实施例还提供了一种计算机可读存储介质，存储有计算机可读指令，可以使至少一个处理器执行如上述所述的方法。

采用本申请提供的上述方案，在对子任务进行调试时，能够节省计算资源，减少时间消耗。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1是本申请一些实施例任务处理方法的流程示意图；

图2是本申请另一些实施例任务处理方法的流程示意图；

图3是本申请一些实施例缓存重跑确认框的结构示意图；

图4是本申请另一些实施例的任务处理方法的流程示意图；

图5是本申请另一些实施例的任务处理方法的流程示意图；

图6是本申请一些实施例任务处理装置的结构示意图；以及

图7是本申请实施例中的计算设备组成结构示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本申请提供的任务处理方法由具有数据处理能力的设备来执行，该设备可以是终端处的设备，也可以是服务器侧的设备，本申请对此不进行限制。该设备包括但不限于掌上型计算机、可穿戴计算设备、个人数字助理(PDA)、平板计算机、笔记本电脑、台式计算机、移动电话、智能手机、增强型通用分组无线业务(EGPRS)移动电话、媒体播放器、导航设备、游戏控制台、电视机、或任意两个或更多的这些数据处理设备或其他数据处理设备的组合。

在一些实例中，在对计算任务进行修改后需要进行重跑，即从第一个任务节点重新开始计算。在该实例中，从第一个任务开始重跑浪费了计算资源，同时耗时较长。

为解决以上技术问题，本申请提供了一种任务处理方法，所述任务包括多个依次相连的子任务，为每一个子任务设置缓存，当执行完一个子任务后，根据该子任务的执行结果更新所述子任务对应的缓存，如图1所示，所述方法包括以下步骤：

S102：接收对所述多个子任务中当前子任务的修改。

在一些实例中，在执行S102之前，

当执行中断时，确定中断位置对应的所述当前子任务，输出报错消息，该报错消息中携带所述当前子任务的标识；

响应于用户根据所述报错消息执行的输入操作，执行上述步骤S102，即执行所述接收对所述多个子任务中当前子任务的修改操作。

在一些实例中，在执行上述步骤S102之前，

接收用户的输入，该输入中包括所述当前子任务的标识以及所述当前子任务的指令代码修改信息；

在执行上述步骤S102之后，即执行了所述接收对所述多个子任务中当前子任务的修改之后，本申请提供的任务处理方法进一步包括：

根据所述指令代码修改信息修改所述当前子任务的指令代码。

S104：当所述当前子任务不是第一个子任务时，查找所述当前子任务的前一个子任务的缓存中的执行结果。

在一些实例中，本申请提供的任务处理方法进一步包括步骤：

为每一个子任务分配缓存；

建立各子任务与各自的缓存的地址的映射关系；

其中，在执行步骤S104时，包括以下步骤：

响应于对第一指令的触发，根据所述映射关系确定所述前一个子任务的缓存的地址；

根据所述地址查找所述执行结果。

S106：当查找到所述前一个子任务的缓存中的执行结果时根据所述执行结果执行所述前一个子任务之后的各子任务。

在一些实例中，所述执行结果包括对应子任务的输出参数数据；

在执行步骤S106时，将所述前一个子任务的输出参数数据输入所述当前子任务以执行所述前一个子任务之后的各子任务。

在一些实例中，在执行所述将执行结果保存在所述子任务对应的缓存中时，包括步骤：

将所述执行结果以及所述执行结果的生成时间保存在所述对应的缓存中；

其中，本申请提供的任务处理方法进一步包括以下步骤：

当一个子任务的缓存中的执行结果的生成时间超过预设期限时，将所述执行结果从缓存中删除。

在一些实例中，当没有查找到所述前一个子任务的缓存中的执行结果时，执行所述多个子任务中的第一个子任务，并依次执行后续的各子任务。

在一些实例中，接收对所述多个子任务中第一个子任务的修改；

执行所述第一个子任务及所述第一个子任务之后的各子任务。

采用本申请提供的任务处理方法，当一个子任务的计算逻辑(指令代码)被修改后，根据上一个子任务的缓存中的执行结果执行前一个子任务后续的各子任务，节省了计算资源，减少了耗时。

本申请提供的另一实例的任务处理方法的流程示意图，如图2所示，包括以下步骤：

S202：接收对所述多个子任务中当前子任务的修改。

当对多个子任务中的一个子任务进行修改时，具体地，对子任务的程序代码进行修改时，可以在执行所述多个子任务的过程中，当所述当前子任务出错时，对所述当前子任务进行修改。具体包括以下步骤S2022。

S2022：当执行中断时，确定中断位置对应的所述当前子任务，输出报错消息，该报错消息中携带所述当前子任务的标识；响应于用户根据所述报错消息执行输入操作，执行所述接收对所述多个子任务中当前子任务的修改操作。

其中，一个子任务可以包括一个或多个执行步骤，预先建立各执行步骤与对应的子任务的对应关系，当执行由所述多个子任务构成的进程时，在执行一个步骤的过程中出错时(中断)，根据所述对应关系确定出错的步骤对应的子任务。输出的报错消息中携带所述确定的子任务的标识，以便于用户根据该子任务的标识对对应的子任务进行修改，执行所述任务处理方法的设备接收用户对子任务(当前子任务)的修改。

在对所述当前子任务进行修改时，也可以是接收用户对子任务的主动修改。主要包括以下步骤S3024。

S2024：接收用户的输入，该输入中包括所述当前子任务的标识以及所述当前子任务的指令代码修改信息；所述接收对所述多个子任务中当前子任务的修改之后，根据所述指令代码修改信息修改所述当前子任务的指令代码。

在一些情况下，用户可能发现子任务的程序代码写错或者想用一个更优的实现方式来实现一个步骤时，用户可能对子任务主动进行修改。用户主动对子任务的指令代码进行修改，执行所述任务处理方法的设备接收指令代码修改信息后，对子任务的对应步骤进行修改。其中，指令代码修改信息包括子任务的标识，子任务中的步骤的标识以及该步骤修改后的指令代码。

S204：当所述当前子任务不是第一个子任务时，查找所述当前子任务的前一个子任务的缓存中的执行结果。

其中，每一个子任务设置有对应的缓存，当一个子任务执行完以后，将子任务的执行结果保存在对应的缓存中。本申请提供的任务处理方法，当对一个子任务进行修改后，需要进行重跑，即将各子任务再执行一遍进行调试。在进行重跑时，可以利用缓存进行重跑，即利用上一个子任务的缓存中的上一个子任务的执行结果进行重跑，避免了从第一个子任务进行重跑浪费计算资源、耗时长的技术问题。因而，在进行重跑时，查找当前子任务的前一个子任务的缓存中的执行结果，主要包括以下步骤S2042-S2044。在该实例中，当所述当前子任务不是第一个子任务时，可以利用缓存进行重跑。

在另一些实例中，接收对所述多个子任务中第一个子任务的修改；执行所述第一个子任务及所述第一个子任务之后的各子任务。

当进行修改的子任务是第一个子任务时，此时最源头的子任务的执行代码发生了改变，该情况下需要从第一个子任务进行重跑。

当利用缓存进行重跑时，需要查找所述当前子任务的上一个子任务的执行结果，为了查找所述上一个子任务的执行结果，本申请提供的任务处理方法进一步包括步骤S2044：

S2042：为每一个子任务分配缓存；建立各子任务与各自的缓存的地址的映射关系。

预先为每一子任务分配缓存，在该实例中，可以在硬盘中为每一个子任务分配缓存，也可以在内存中为每一个子任务分配缓存。建立子任务与对应的缓存的地址的映射关系，其中，该地址可以是一段地址范围，在该地址范围内的存储空间中存储对应子任务的执行结果。

在执行查找上一个子任务的执行结果时，包括以下步骤S2044：

S2044：响应于对第一指令的触发，根据所述映射关系确定所述前一个子任务的缓存的地址；根据所述地址查找所述执行结果。

其中，当用户点击用户界面上的缓存重跑控件时，触发所述第一指令。设备响应于用户对第一指令的触发，根据上一个子任务的标识，以及步骤S2041中确定的映射关系确定上一个子任务的缓存的地址，在所述地址中查找所述上一个子任务的执行结果。

此外，所述第一指令也可以是对缓存重跑确认的指令。当用户点击用户界面上的缓存重跑控件时，展示如图3所示的缓存重跑确认框，当用户点击确认控件301时，触发上述第一指令，利用缓存进行重跑。当用户触发取消控件302时，从头开始重跑，即从第一个子任务进行重跑。

S206：当查找到所述前一个子任务的缓存中的执行结果时，根据所述执行结果执行所述前一个子任务之后的各子任务。

在执行步骤S206时，包括以下步骤S2062。

S2062：所述执行结果包括对应子任务的输出参数数据；将所述前一个子任务的输出参数数据输入所述当前子任务以执行所述前一个子任务之后的各子任务。

本申请提供的任务处理方法，还存在一个单独的进程来判断缓存是否过期，如果过期就进行清理，以避免浪费太多存储资源，主要包括以下步骤S208。

S208：将所述执行结果以及所述执行结果的生成时间保存在所述对应的缓存中；当一个子任务的缓存中的执行结果的生成时间超过预设期限时，将所述执行结果从缓存中删除。

在将执行结果保存到对应缓存中时，同时将对应的执行结果的生成时间保存在缓存中。在该实例中可以每隔固定时间间隔执行一次缓存过期检测操作，即执行一次步骤S208。在执行缓存过期检测操作时，遍历各子任务的缓存，检测执行结果的生成时间是否超过所述预设期限，当超过所述预设期限时，将执行结果及对应的生成时间从缓存中删除，否则，不执行删除操作。

在一些实例中，在利用缓存进行重跑时，当在上一个子任务的缓存中没有查找到对应的执行结构时(由于执行结果超过预设期限而被删除)，从头开始重跑，主要包括以下步骤S210。

S210：当没有查找到所述前一个子任务的缓存中的执行结果时，执行所述多个子任务中的第一个子任务，并依次执行后续的各子任务。

采用本申请提供的任务处理方法，引入子任务的执行结果缓存机制，记录任务流程报错的断点位置或逻辑的修改点位置，重跑时判断端点位置及修改点位置对应的子任务，并查找上一个子任务的缓存中的执行结果，根据上一个子任务的执行结果触发重跑。避免了从第一个子任务进行重跑时浪费计算资源多，耗时长的技术问题。此外，单独有个进程，判断缓存是否过期(限制一个生存期或其他策略)，如果过期就清理，避免耗费太多存储资源。

图4为本申请一实施例任务处理方法的流程示意图，其中包括5个子任务：任务1、任务2、任务3、任务4、任务5。当执行到任务3时出错，用户对任务3的计算逻辑(指令代码)修改后进行缓存重跑，在缓存重跑时，读任务2的缓存，查找任务2的执行结果，根据任务2的执行结果执行任务3，以及后续的任务4、任务5。

图5是本申请一些实施例任务处理方法的流程示意图，如图5所示，包括以下步骤：

S501：当对i个子任务进行修改后触发缓存重跑。

S502：判断第i个子任务是否是第一个子任务。

S503：当第i个子任务是第一个子任务时，从第一个子任务开始重跑。

S504：查找第i-1个子任务的执行结果。

S505：判断是否查找到第i-1个子任务的执行结果。

S506：当没有查找到第i-1个子任务的执行结果时，从第一个子任务开始重跑。

S507：当查找到第i-1个子任务的执行结果时，根据查找到的执行结果从第i个子任务开始重跑。

本申请还提供了一种任务处理装置600，所述任务包括多个依次相连的子任务，为每一个子任务设置缓存，当执行完一个子任务后，根据该子任务的执行结果更新所述子任务对应的缓存，如图6所示，所述装置包括：

接收单元602，用以接收对所述多个子任务中当前子任务的修改；

查找单元604，用以当所述当前子任务不是第一个子任务时，查找所述当前子任务的前一个子任务的缓存中的执行结果；

执行单元606，用以当查找到所述前一个子任务的缓存中的执行结果时，根据所述执行结果执行所述前一个子任务之后的各子任务。

在一些实例中，所述装置还包括缓存分配单元，用以：为每一个子任务分配缓存；建立各子任务与各自的缓存的地址的映射关系；

所述查找单元604，用以：响应于对第一指令的触发，根据所述映射关系确定所述前一个子任务的缓存的地址；根据所述地址查找所述执行结果。

在一些实例中，所述装置还包括保存单元，用以将所述执行结果以及所述执行结果的生成时间保存在所述对应的缓存中；

删除单元，用以当一个子任务的缓存中的执行结果的生成时间超过预设期限时，将所述执行结果从缓存中删除。

在一些实例中，所述执行单元606，还用以当没有查找到所述前一个子任务的缓存中的执行结果时，执行所述多个子任务中的第一个子任务，并依次执行后续的各子任务。

在一些实例中，所述执行单元606，还用以接收对所述多个子任务中第一个子任务的修改；执行所述第一个子任务及所述第一个子任务之后的各子任务。

在一些实例中，所述接收单元602，用以：

当执行中断时，确定中断位置对应的所述当前子任务，输出报错消息，该报错消息中携带所述当前子任务的标识；

响应于用户根据所述报错消息执行的输入操作，执行所述接收对所述多个子任务中当前子任务的修改操作。

在一些实例中，所述接收单元602，用以：

接收用户的输入，该输入中包括所述当前子任务的标识以及所述当前子任务的指令代码修改信息；

接收对所述多个子任务中当前子任务的修改之后，根据所述指令代码修改信息修改所述当前子任务的指令代码。

在一些实例中，所述执行结果包括对应子任务的输出参数数据，所述执行单元606，用以将所述前一个子任务的输出参数数据输入所述当前子任务以执行所述前一个子任务之后的各子任务。

本申请还提供了一种计算机可读存储介质，存储有计算机可读指令，可以使至少一个处理器执行如上述所述的方法。

图7示出了任务处理装置600所在的计算设备的组成结构图。如图7所示，该计算设备包括一个或者多个处理器(CPU)702、通信模块704、存储器706、用户接口710，以及用于互联这些组件的通信总线708。

处理器702可通过通信模块704接收和发送数据以实现网络通信和/或本地通信。

用户接口710包括一个或多个输出设备712，其包括一个或多个扬声器和/或一个或多个可视化显示器。用户接口710也包括一个或多个输入设备714，其包括诸如，键盘，鼠标，声音命令输入单元或扩音器，触屏显示器，触敏输入板，姿势捕获摄像机或其他输入按钮或控件等。

存储器706可以是高速随机存取存储器，诸如DRAM、SRAM、DDR RAM、或其他随机存取固态存储设备；或者非易失性存储器，诸如一个或多个磁盘存储设备、光盘存储设备、闪存设备，或其他非易失性固态存储设备。

存储器706存储处理器702可执行的指令集，包括：

操作系统716，包括用于处理各种基本系统服务和用于执行硬件相关任务的程序；

应用718，包括任务处理装置600的部分或全部单元或者模块。任务处理装置600中的至少一个单元可以存储有机器可执行指令。处理器702通过执行存储器706中各单元中至少一个单元中的机器可执行指令，进而能够实现上述各单元或模块中的至少一个模块的功能。

需要说明的是，上述各流程和各结构图中不是所有的步骤和模块都是必须的，可以根据实际的需要忽略某些步骤或模块。各步骤的执行顺序不是固定的，可以根据需要进行调整。各模块的划分仅仅是为了便于描述采用的功能上的划分，实际实现时，一个模块可以分由多个模块实现，多个模块的功能也可以由同一个模块实现，这些模块可以位于同一个设备中，也可以位于不同的设备中。

各实施例中的硬件模块可以以硬件方式或硬件平台加软件的方式实现。上述软件包括机器可读指令，存储在非易失性存储介质中。因此，各实施例也可以体现为软件产品。

各例中，硬件可以由专门的硬件或执行机器可读指令的硬件实现。例如，硬件可以为专门设计的永久性电路或逻辑器件(如专用处理器，如FPGA或ASIC)用于完成特定的操作。硬件也可以包括由软件临时配置的可编程逻辑器件或电路(如包括通用处理器或其它可编程处理器)用于执行特定操作。

另外，本申请的每个实例可以通过由数据处理设备如计算机执行的数据处理程序来实现。显然，数据处理程序构成了本申请。此外，通常存储在一个存储介质中的数据处理程序通过直接将程序读取出存储介质或者通过将程序安装或复制到数据处理设备的存储设备(如硬盘和或内存)中执行。因此，这样的存储介质也构成了本申请，本申请还提供了一种非易失性存储介质，其中存储有数据处理程序，这种数据处理程序可用于执行本申请上述方法实例中的任何一种实例。

图7模块对应的机器可读指令可以使计算机上操作的操作系统等来完成这里描述的部分或者全部操作。非易失性计算机可读存储介质可以是插入计算机内的扩展板中所设置的存储器中或者写到与计算机相连接的扩展单元中设置的存储器。安装在扩展板或者扩展单元上的CPU等可以根据指令执行部分和全部实际操作。

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明保护的范围之内。

Claims (10)

1.一种任务处理方法，其特征在于，所述任务包括多个依次相连的子任务，为每一个子任务设置缓存，当执行完一个子任务后，根据该子任务的执行结果更新所述子任务对应的缓存，所述方法包括：

接收对所述多个子任务中当前子任务的修改；

当所述当前子任务不是第一个子任务时，查找所述当前子任务的前一个子任务的缓存中的执行结果；

当查找到所述前一个子任务的缓存中的执行结果时，根据所述执行结果执行所述前一个子任务之后的各子任务。

2.根据权利要求1所述的方法，其特征在于，所述方法进一步包括：

为每一个子任务分配缓存；

建立各子任务与各自的缓存的地址的映射关系；

其中，所述查找所述当前子任务的前一个子任务的缓存中的执行结果包括：

响应于对第一指令的触发，根据所述映射关系确定所述前一个子任务的缓存的地址；

根据所述地址查找所述执行结果。

3.根据权利要求1所述的方法，其特征在于，所述将执行结果保存在所述子任务对应的缓存中包括：

将所述执行结果以及所述执行结果的生成时间保存在所述对应的缓存中；

其中，所述方法进一步包括：

当一个子任务的缓存中的执行结果的生成时间超过预设期限时，将所述执行结果从缓存中删除。

4.根据权利要求3所述的方法，其特征在于，所述方法进一步包括：

当没有查找到所述前一个子任务的缓存中的执行结果时，执行所述多个子任务中的第一个子任务，并依次执行后续的各子任务。

5.根据权利要求1所述的方法，其特征在于，所述方法进一步包括：

接收对所述多个子任务中第一个子任务的修改；

执行所述第一个子任务及所述第一个子任务之后的各子任务。

6.根据权利要求1所述的方法，其特征在于，所述方法进一步包括：

当执行中断时，确定中断位置对应的所述当前子任务，输出报错消息，该报错消息中携带所述当前子任务的标识；

响应于用户根据所述报错消息执行的输入操作，执行所述接收对所述多个子任务中当前子任务的修改操作。

7.根据权利要求1所述的方法，其特征在于，其中，所述方法进一步包括：

接收用户的输入，该输入中包括所述当前子任务的标识以及所述当前子任务的指令代码修改信息；

所述接收对所述多个子任务中当前子任务的修改之后，进一步包括：

根据所述指令代码修改信息修改所述当前子任务的指令代码。

8.根据权利要求1所述的方法，其特征在于，所述执行结果包括对应子任务的输出参数数据；其中，所述根据所述执行结果执行所述前一个子任务之后的各子任务包括：

将所述前一个子任务的输出参数数据输入所述当前子任务以执行所述前一个子任务之后的各子任务。

9.一种任务处理装置，其特征在于，所述任务包括多个依次相连的子任务，为每一个子任务设置缓存，当执行完一个子任务后，根据该子任务的执行结果更新所述子任务对应的缓存，所述装置包括：

接收单元，用以接收对所述多个子任务中当前子任务的修改；

查找单元，用以当所述当前子任务不是第一个子任务时，查找所述当前子任务的前一个子任务的缓存中的执行结果；

执行单元，用以当查找到所述前一个子任务的缓存中的执行结果时，根据所述执行结果执行所述前一个子任务之后的各子任务。

10.一种计算机可读存储介质，存储有计算机可读指令，可以使至少一个处理器执行如权利要求1-8任一项所述的方法。