CN104778074A - 一种计算任务处理方法及装置 - Google Patents

Abstract

本发明涉及一种计算任务处理方法及装置，所述方法可以包括：获取包括多个子流程的计算任务；将所述计算任务的当前子流程的输入数据存入一个队列中；从所述队列中获取第一输入数据并根据与所述当前子流程对应的逻辑进行数据处理；根据所述数据处理的结果判断是否进入下一个子流程；若进入下一个子流程则将所述数据处理的结果作为所述当前子流程的下一子流程的输入数据存入另一个队列中。上述的方法及装置可提升系统处理任务的效率，减少计算资源的浪费。

Description

一种计算任务处理方法及装置

技术领域

本发明涉及计算技术领域，特别涉及一种计算任务处理方法及装置。

背景技术

现在信息技术发展很快，信息处理量也越来越大。现有技术有同一个流程按照时间顺序执行。但是处理花费的时间较长。采用多任务并发进行处理可以提升计算任务的处理效率。然而在多任务并发处理的过程中，如果某个子流程出现处理失败，需要从头开始处理，相当于先前的数据处理操作被重复进行，造成计算资源的浪费。

发明内容

有鉴于此，本发明提供一种计算任务处理方法及装置，可以解决现有技术中计算资源的浪费。

一种计算任务处理方法，包括以下步骤：获取包括多个子流程的计算任务；将所述计算任务的当前子流程的输入数据存入一个队列中；从所述队列中获取第一输入数据并根据与所述当前子流程对应的逻辑进行数据处理；根据所述数据处理的结果判断是否进入下一个子流程；若进入下一个子流程则将所述数据处理的结果作为所述当前子流程的下一子流程的输入数据存入另一个队列中。

一种计算任务处理装置，所述装置包括：获取模块，用于接收包括多个子流程的计算任务；第一数据预存模块，用于将所述计算任务的当前子流程的输入数据存入一个队列中；子流程处理模块，用于从所述队列中获取第一输入数据并根据与所述当前子流程对应的逻辑进行数据处理；第一判断模块，用于根据数据处理的结果判断是否进入下一个子流程；以及第二数据预存模块，用于若所述第一判断模块的结果为进入下一个子流程，将所述数据处理的结果作为所述当前子流程的下一子流程的输入数据存入另一个队列中。

根据本实施例的计算任务处理方法，通过将子流程计算所需要的输入数据存储在队列里，从而解除了多个子流程之间的时序强依赖性。按照这种方式，每个任务处理线程并不需要等待前一子流程的运算结果，因此可以提升包括多个子流程的计算任务的处理效率，减少计算资源的浪费。

为让本发明的上述和其他目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附图式，作详细说明如下。

附图说明

图1为一个计算装置的结构框图。

图2为第一实施例提供的计算任务处理方法流程图。

图3为对应子流程创建队列的示意图。

图4为图2中的方法与一种多线程并行计算消耗时间的对比示意图。

图5为第二实施例提供的计算任务处理方法流程图。

图6为第三实施例提供的计算任务处理方法流程图。

图7为第四实施例提供的计算任务处理装置结构框图。

图8为第五实施例提供的计算任务处理装置结构框图。

图9为第六实施例提供的计算任务处理装置结构框图。

具体实施方式

为更进一步阐述本发明为实现预定发明目的所采取的技术手段及功效，以下结合附图及较佳实施例，对依据本发明的具体实施方式、结构、特征及其功效，详细说明如后。

本发明实施例提供一种计算任务处理方法及装置。上述的计算任务是指由计算装置进行运算而得出计算结果的任务。对于一个计算任务，其具有输入的数据以及运算逻辑，计算装置根据所述运算逻辑对输入的数据进行运算从而得出计算结果。可以理解，一个计算任务可以包括多个子流程f1、f2、f3…fn（n为自然数），而这些子流程之间可能具有强依赖性。例如，子流程f1的运算结果是子流程f2的输入。因此，只有当完成了子流程f1才能继续子流程f2的处理。

上述的计算装置的具体实例包括，但并不限于，服务器、个人计算机、智能移动终端等。图1为上述的计算装置的结构框图。如图1所示，计算装置100包括：存储器102、存储控制器104、一个或多个（图中仅示出一个）处理器106、外设接口108以及网络模块110。可以理解，图1所示的结构仅为示意，其并不对计算装置100的结构造成限定。例如，计算装置100还可包括比图1中所示更多或者更少的组件，或者具有与图1所示不同的配置。

存储器102可用于存储软件程序以及模块，如本发明实施例中的计算任务处理方法及装置对应的程序指令/模块，处理器104通过运行存储在存储器102内的软件程序以及模块，从而执行各种功能应用以及数据处理，即实现上述的方法。

存储器102可包括高速随机存储器，还可包括非易失性存储器，如一个或者多个磁性存储装置、闪存、或者其他非易失性固态存储器。在一些实例中，存储器102可进一步包括相对于处理器106远程设置的存储器，这些远程存储器可以通过网络连接至计算装置100。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。处理器106以及其他可能的组件对存储器102的访问可在存储控制器104的控制下进行。

外设接口108将各种输入/输入装置耦合至处理器106。处理器106运行存储器102内的各种软件、指令计算装置100执行各种功能以及进行数据处理。在一些实施例中，外设接口108、处理器106以及存储控制器104可以在单个芯片中实现。在其他一些实例中，他们可以分别由独立的芯片实现。

网络模块110用于接收以及发送网络信号。上述网络信号可包括无线信号或者有线信号。在一个实例中，上述网络信号为有线网络信号。此时，网络模块110可包括处理器、随机存储器、转换器、晶体振荡器等元件。

上述的软件程序以及模块包括：操作系统122以及计算模块124。其中操作系统122例如可为LINUX,UNIX,WINDOWS，其可包括各种用于管理系统任务（例如内存管理、存储设备控制、电源管理等）的软件组件和/或驱动，并可与各种硬件或软件组件相互通讯，从而提供其他软件组件的运行环境。计算模块124运行在操作系统122的基础上，其具体实现本发明实施例提供的计算任务处理方法。

第一实施例

图2为第一实施例提供的一种计算任务处理方法的流程图，其可由图1所示的计算装置100执行。如图2所示，上述方法包括以下步骤：

步骤S101、获取包括有多个子流程的计算任务。

所述计算任务包括多个子流程f1、f2、f3…fn（n为自然数），子流程之间有时序性。所述时序性是指计算任务的子流程的计算依赖于前一个子流程的计算数据。例如，子流程f1的运算结果是子流程f2的输入。因此，只有当完成了子流程f1才能继续子流程f2的处理。

所述计算任务的来源是任意的。例如，在一个实施例中，计算任务对应的输入数据以及运算逻辑是存储在本地的文件当中，通过读取并解析所述文件得到一个或多个计算任务。在另一个实例中，计算任务是从网络中获取的。例如，在计算装置100为部署在网络中的服务器，会接收客户端（其他服务器或者用户使用的个人计算机等）提交的计算任务。或者，计算装置100还可以主动从其他服务器处下载计算任务。在另一个实例中，计算装置100还可向用户提供计算任务设置界面，用户在计算任务设置界面设置计算任务，相应地，计算装置100可根据用户输入的条件生成计算任务。

步骤S102、将所述计算任务的当前子流程的输入数据存入一个队列中。

对于上述的计算任务，在初始状态下所述的当前子流程为子流程f1。但随着计算任务的进行，当前子流程也会随之变化。例如，当子流程f1结束后，且需要继续进行子流程f2，则当前子流程就相应变为子流程f2。

对于一个子流程，其具有输入数据以及运算逻辑。可以理解，运算逻辑是确定的，也就是说，相同的计算任务中，相同的子流程具有相同的运算逻辑；而输入数据是会变化的，也就是说，不同的计算任务中相同子流程的输入数据会有不同。

对于上述的计算任务，其具有子流程f1、f2、f3…fn（n为自然数）。对应于每一个子流程，可以为该子流程创建一个队列，用于存储该子流程的输入数据。因此，参阅图3，对应于子流程f1、f2、f3…fn，分别会创建队列Q1、Q2、Q3…Qn，用于存储对应的子流程的输入数据。可以理解，队列中每个项目是对应于一个计算任务的。

可以理解，若步骤S101中获取的是一个计算任务，则步骤S102中存入队列的也是一份输入数据。若步骤S101中获取的是多个计算任务，则步骤S102中存入队列的也分别是多份输入数据。

进一步地，在将当前子流程的输入数据存入对应的队列中后，还可标记对应的计算任务在该当前子流程的状态为：位于待处理队列中，用于表示该任务的该当前子流程在待处理。

步骤S103、从所述队列中获取第一输入数据并根据与所述当前子流程对应的逻辑进行数据处理。

在步骤S103之前，计算装置100还可先创建分别与每个子流程对应的任务处理线程。可以理解，对应于每个子流程，可分别创建一个或多个任务处理线程，而步骤S103可由这些对应的任务处理线程进行的。

同一子流程的多个任务处理线程可以是并行运行的，而不同子流程的任务处理线程也可以是并行运行的。

任务处理线程的处理逻辑如下：其监测对应的队列中是否有输入数据，若存在则读取一份输入数据并按照对应的逻辑进行数据处理。

以与子流程f1对应的任务处理线程为例，其可从队列Q1中获取第一数据输入101，然后按照与子流程f1对应的处理逻辑进行数据处理。

步骤S104、根据所述数据处理的结果判断是否进入下一个子流程。

一个子流程的处理结果包括但并不限于以下几种：流程正常结束，需要进入一下子流程；流程正常结束且整个计算任务结束，无须再进入下一个子流程；子流程计算异常。

步骤S105、若进入下一个子流程，则将所述数据处理的结果作为所述当前子流程的一下子流程的输入数据存入另一个队列中。

参阅图3，以上述的第一输入数据101为例，若数据处理结果表明需要进入下一个子流程，则将数据处理的结果作为输入数据存入队列Q2。可以理解，在存入队列Q2中后，会由与队列Q2对应的任务处理线程加载并进行处理。

可以理解，对于上述的步骤S102-步骤S105，一个计算任务可能会进行多次直至计算任务结束。

参阅图4，其为本实施例的方法与一种多线程并行计算消耗时间的对比示意图。以包括三个子流程的计算任务为例，三个子流程所消耗的时间分别为t1、t2与t3。如果要处理6个计算任务，分三个线程并行处理，则需要的总时间为2(t1+t2+t3)。然而，如果按照本实施例的方法，如果每个子流程也是采用三个线程并行处理，由于每个任务处理线程在完成一份输入数据的处理后，可以立刻进行下一份输入数据的处理，而与此同时，完成当前子流程的计算任务的一下子流程在被其他线程并行处理。因此，本实施例的方法所需要的时间为t1+t2+2t3。

由此，根据本实施例的计算任务处理方法，通过将子流程计算所需要的输入数据存储在队列里，从而解除了多个子流程之间的时序强依赖性。按照这种方式，每个任务处理线程并不需要等待前一子流程的运算结果，因此可以提升包括多个子流程的计算任务的处理效率，减少计算资源的浪费。

第二实施例

本实施例提供一种计算任务处理方法，本实施例与第一实施例类似，其不同之处在于，参阅图5，本实施例的方法还包括：

步骤S201、调整任务处理线程的并发数量。

可以理解，对于一个计算任务，其每个子流程的需要的处理时间是不同的。以两个子流程f1与f2为例，其处理时间分别为t1与t2，且t1<t2。如果对子流程f1与f2分别创建相同数量的任务处理线程，很明显，由于t1<t2，对于整个计算任务而言，子流程f1对应的任务处理线程在部分时间内是处理空闲状态，或者说，子流程f2对应的任务处理线程是处于堵塞状态。为了解决这种状态，可以调整每个子流程对应的任务处理线程的并发数量。在以上的实例中，可以减少子流程f1的任务处理线程的并发数量，或者增加子流程f2的任务处理线程的并发数量，以使两个子流程的处理速度达成平衡状态。

可以理解，任务处理线程的并发数量需要结合考虑所有的子流程，使得所有子流程的处理速度接近一致。

在一个实例中，步骤S201是根据用户输入的数量进行的。例如，计算装置100可以提供管理子流程任务处理线程并发数量调整的界面，用户可以根据子流程的堵塞状态设置对应的子流程的任务处理线程的并发数量。然后，计算装置100根据用户输入的数量调整任务处理线程的并发数量。

在另一个实例中，步骤S201是由计算装置100自动进行的。计算装置100监测与各子流程对应的队列的长度，然后根据预定的算法重新计算各子流程的任务处理线程的数量，然后据以调整任务处理线程的并发数量。

根据本实施例的计算任务处理方法，通过调整任务处理线程的并发数量，充分利用服务器资源，以实现全流程更大化的处理容量的提升，提高服务器处理任务效率。

第三实施例

本实施例提供一种计算任务处理方法，本实施例与第一实施例类似，其不同之处在于，参阅图6，在步骤S103之后，还包括：

步骤S301、判断数据处理是否出现异常。

步骤S302、若数据处理出现异常则缓存所述第一输入数据。

数据处理出现异常是指在数据处理的过程中，遇到各种意外而导致数据处理没有正常进行的情形，例如，某个子流程所要依赖的外部资源没有成功获取、网络错误导致请求失败、数据库连接失败等等。

在碰到数据处理异常的情形下，数据处理的逻辑可以抛出对应的异常信息，在捕获到这些异常信息后，即可判断数据处理出现了异常。此时，可以将当前子流程的输入数据，例如第一实施例中所述的第一输入数据缓存起来。

此时的数据存储可以是在内存另外开辟一个空间用于存储异常子流程的输入数据。也可以将所述异常子流程的所述输入数据直接存储至对应的队列中，如此，输入数据会被自动加载处理。

上述异常子流程的输入数据的存储方式，以及存储空间在实际运用中可以根据实际情形设置最佳的存储，而不受任何限制。

根据本实施例的计算任务处理方法，在子流程数据处理异常时将输入数据缓存，从而该计算任务可以从该出现异常的子流程开始进行处理，而无须从头开始进行计算，减少了重新进行处理浪费的时间，也提高了计算任务处理的容错率。

第四实施例

本实施例提供一种计算任务处理装置，参阅图7，所述装置包括：获取模块601，第一数据预存模块602，子流程处理模块603，第一判断模块604，以及第二数据预存模块605。

接收模块601，用于接收包括多个子流程的计算任务；

第一数据预存模块602，用于将所述计算任务的当前子流程的输入数据存入一个队列中；

子流程处理模块603，用于从所述队列中获取第一输入数据并根据与所述当前子流程对应的逻辑进行数据处理；子流程处理模块603的数量可包括多个，其并行运行，用于分别从队列中加载输入数据并处理。

第一判断模块604，用于根据数据处理的结果判断是否进入下一个子流程；

第二数据预存模块605，用于若所述第一判断模块的结果为进入下一个子流程，将所述数据处理的结果作为所述当前子流程的下一子流程的输入数据存入另一个队列中。

关于本实施例的装置的其他细节，还可参考第一实施例的方法，在此不再重复。

根据本实施例的计算任务处理装置，通过将子流程计算所需要的输入数据存储在队列里，从而解除了多个子流程之间的时序强依赖性。按照这种方式，每个任务处理线程并不需要等待前一子流程的运算结果，因此可以提升包括多个子流程的计算任务的处理效率。

第五实施例

本实施例提供一种计算任务处理装置，本实施例与第四实施例类似，其不同之处在于，参阅图8，本实施例的装置还包括：调整模块701，用于调整所述子流程处理模块603的并发数量。可以理解，对于一个计算任务，其每个子流程的需要的处理时间是不同的。以两个子流程f1与f2为例，其处理时间分别为t1与t2，且t1<t2。如果对子流程f1与f2分别创建相同数量的子流程处理模块，很明显，由于t1<t2，对于整个计算任务而言，子流程f1对应的子流程处理模块在部分时间内是处理空闲状态，或者说，子流程f2对应的子流程处理模块是处于堵塞状态。为了解决这种状态，可以调整每个子流程对应的子流程处理模块的并发数量。在以上的实例中，可以减少子流程f1的子流程处理模块的并发数量，或者增加子流程f2的子流程处理模块的并发数量，以使两个子流程的处理速度达成平衡状态。

可以理解，子流程处理模块的并发数量需要结合考虑所有的子流程，使得所有子流程的处理速度接近一致。

在一个实例中，调整是根据用户输入的数量进行的。例如，计算装置100可以提供管理子流程处理模块并发数量调整的界面，用户可以根据子流程的堵塞状态设置对应的子流程处理模块的并发数量。然后，计算装置100根据用户输入的数量调整子流程处理模块的并发数量。

在另一个实例中，调整是由调整模块701自动进行的。调整模块701监测与各子流程对应的队列的长度，然后根据预定的算法重新计算各子流程的任务处理线程的数量，然后据以调整任务处理线程的并发数量。

根据本实施例的计算任务处理方法，通过调整任务处理线程的并发数量，充分利用服务器资源，以实现全流程更大化的处理容量的提升，提高服务器处理任务效率。

第六实施例

本实施例提供一种计算任务处理装置，本实施例与第四实施例类似，其不同之处在于，参阅图9，本实施例的装置包括：

第二判断模块801，用于判断数据处理是否出现异常；以及

缓存模块802，用于若第二判断模块801的判断结果为出现异常则缓存所述第一输入数据。

第二判断模块801例如可以是由子流程处理模块603抛出的异常信息触发的，在捕获取子流程处理模块603的异常信息后，开始判断数据处理是否异常。

数据处理出现异常是指在数据处理的过程中，遇到各种意外而导致数据处理没有正常进行的情形，例如，某个子流程所要依赖的外部资源没有成功获取、网络错误导致请求失败、数据库连接失败等等。

在判断数据处理出现异常后，缓存模块802缓存第一输入数据。此时的数据存储可以是在内存另外开辟一个空间用于存储异常子流程的输入数据。也可以将所述异常子流程的所述输入数据直接存储至对应的队列中，如此，输入数据会被自动加载处理。

上述异常子流程的输入数据的存储方式，以及存储空间在实际运用中可以根据实际情形设置最佳的存储，而不受任何限制。

根据本实施例的计算任务处理装置，在子流程数据处理异常时将输入数据缓存，从而该计算任务可以从该出现异常的子流程开始进行处理，而无须从头开始进行计算，减少了重新进行处理浪费的时间，也提高了计算任务处理的容错率。

此外，本发明实施例还提供一种计算机可读存储介质，其内存储有计算机可执行指令，上述的计算机可读存储介质例如为非易失性存储器例如光盘、硬盘、或者闪存。上述的计算机可执行指令用于让计算机或者类似的运算装置完成上述计算任务处理方法及装置。

以上所述，仅是本发明的较佳实施例而已，并非对本发明作任何形式上的限制，虽然本发明已以较佳实施例揭示如上，然而并非用以限定本发明，任何本领域技术人员，在不脱离本发明技术方案范围内，当可利用上述揭示的技术内容做出些许更动或修饰为等同变化的等效实施例，但凡是未脱离本发明技术方案内容，依据本发明的技术实质对以上实施例所作的任何简介修改、等同变化与修饰，均仍属于本发明技术方案的范围内。

Claims (10)

1.一种计算任务处理方法，其特征在于，所述方法包括以下步骤：

获取包括多个子流程的计算任务；

将所述计算任务的当前子流程的输入数据存入一个队列中；

从所述队列中获取第一输入数据并根据与所述当前子流程对应的逻辑进行数据处理；

根据所述数据处理的结果判断是否进入下一个子流程；

若进入下一个子流程则将所述数据处理的结果作为所述当前子流程的下一子流程的输入数据存入另一个队列中。

2.如权利要求1所述的方法，其特征在于，所述从所述队列中获取第一输入数据并根据与所述当前子流程对应的逻辑进行数据处理的步骤分别在多个任务处理线程中并行进行。

3.如权利要求2所述的方法，其特征在于，还包括：根据用户输入的数量调整所述多个任务处理线程数量。

4.如权利要求2所述的方法，其特征在于，还包括：根据所述另一个队列的长度动态调整所述多个任务处理线程的数量。

5.如权利要求1所述的方法，其特征在于，在所述根据所述数据处理的结果判断是否进入下一个流程之前还包括：判断数据处理是否出现异常，若数据处理异常则缓存所述第一输入数据。

6.一种计算任务处理装置，其特征在于，所述装置包括：

获取模块，用于接收包括多个子流程的计算任务；

第一数据预存模块，用于将所述计算任务的当前子流程的输入数据存入一个队列中；

子流程处理模块，用于从所述队列中获取第一输入数据并根据与所述当前子流程对应的逻辑进行数据处理；

第一判断模块，用于根据数据处理的结果判断是否进入下一个子流程；以及

第二数据预存模块，用于若所述第一判断模块的结果为进入下一个子流程，将所述数据处理的结果作为所述当前子流程的下一子流程的输入数据存入另一个队列中。

7.如权利要求6所述的计算任务处理装置，其特征在于，所述子流程处理模块的数量包括多个，且并行运行。

8.如权利要求7所述的计算任务处理装置，其特征在于，还包括调整模块，用于根据用户输入的数量调整所述子流程处理模块的并发数量。

9.如权利要求7所述的计算任务处理装置，其特征在于，还包括调整模块，用于根据所述另一个队列的长度动态调整所述多个子流程处理模块并发数量。

10.如权利要求6所述的计算任务处理装置，其特征在于，还包括：

第二判断模块，用于判断数据处理是否出现异常；以及

缓存模块，用于若所述第二判断模块的结果为出现异常则缓存所述第一输入数据。