CN111190725A - 任务处理方法、装置、存储介质及服务器 - Google Patents

Abstract

本发明实施例公开了一种任务处理方法、装置、存储介质及服务器，其中，方法包括：获取待执行的任务队列，根据所述第一执行信息、所述第二执行信息、所述第一参数信息及所述第二参数信息获取所述第一数据处理任务与所述第二数据处理任务的依赖关系，根据所述依赖关系确定所述第一数据处理任务和所述第二数据处理任务的调度顺序，并按照所述调度顺序调度执行所述第一数据处理任务和所述第二数据处理任务。通过本发明实施例能够提高数据处理的效率。

Description

任务处理方法、装置、存储介质及服务器

技术领域

本发明涉及计算机技术领域，尤其涉及一种任务处理方法、一种任务处理 装置、一种计算机存储介质及一种服务器。

背景技术

随着互联网技术的广泛应用，大数据处理能力已经逐渐成为企业的核心竞 争力之一。在大数据处理的过程中，同一时间通常需要处理多个数据处理任务， 如读取数据任务、查询数据任务或写入数据任务等等，如何高效率地处理这些 任务是体现大数据处理能力的关键因素。目前，智能终端、服务器等设备采用 定时调度的方式处理这些数据处理任务，定时调度就是指为每个数据处理任务 设定固定的调度时间，当时间到达设定的调度时间时才对数据处理任务进行调 度执行。实践中发现，这种数据处理方式的效率较低；例如，当某一数据处理 任务已经被处理完成，但时间未到达另一数据处理任务的调度时间，则另一数 据处理任务需要长时间等待后才能被执行。

发明内容

本发明实施例所要解决的技术问题在于，提供一种任务处理方法、装置、 存储介质及服务器，可提高数据处理的效率。

一方面，本发明实施例提供一种任务处理方法，该方法包括：

获取待执行的任务队列，所述任务队列中包括第一数据处理任务和第二数 据处理任务，所述任务队列还包括执行所述第一数据处理任务时所需的第一参 数信息、执行所述第二数据处理任务时所需的第二参数信息、所述第一数据处 理任务的第一执行信息及所述第二数据处理任务的第二执行信息；

根据所述第一执行信息、所述第二执行信息、所述第一参数信息及所述第 二参数信息获取所述第一数据处理任务与所述第二数据处理任务的依赖关系；

根据所述依赖关系确定所述第一数据处理任务和所述第二数据处理任务的 调度顺序，并按照所述调度顺序调度执行所述第一数据处理任务和所述第二数 据处理任务。

一方面，本发明实施例提供一种任务处理装置，该装置包括：

获取单元，用于获取待执行的任务队列，所述任务队列中包括第一数据处 理任务和第二数据处理任务，所述任务队列还包括执行所述第一数据处理任务 时所需的第一参数信息、执行所述第二数据处理任务时所需的第二参数信息、 所述第一数据处理任务的第一执行信息及所述第二数据处理任务的第二执行信 息；根据所述第一执行信息、所述第二执行信息、所述第一参数信息及所述第 二参数信息获取所述第一数据处理任务与所述第二数据处理任务的依赖关系；

处理单元，用于根据所述依赖关系确定所述第一数据处理任务和所述第二 数据处理任务的调度顺序，并按照所述调度顺序调度执行所述第一数据处理任 务和所述第二数据处理任务。

又一方面，本发明实施例提供了一种服务器，包括输入设备和输出设备， 还包括：

处理器，适于实现一条或多条指令；以及，

计算机存储介质，所述计算机存储介质存储有一条或多条指令，所述一条 或多条指令适于由所述处理器加载并执行如下步骤：

获取待执行的任务队列，所述任务队列中包括第一数据处理任务和第二数 据处理任务，所述任务队列还包括执行所述第一数据处理任务时所需的第一参 数信息、执行所述第二数据处理任务时所需的第二参数信息、所述第一数据处 理任务的第一执行信息及所述第二数据处理任务的第二执行信息；

根据所述第一执行信息、所述第二执行信息、所述第一参数信息及所述第 二参数信息获取所述第一数据处理任务与所述第二数据处理任务的依赖关系；

根据所述依赖关系确定所述第一数据处理任务和所述第二数据处理任务的 调度顺序，并按照所述调度顺序调度执行所述第一数据处理任务和所述第二数 据处理任务。

又一方面，本发明实施例提供了一种计算机存储介质，所述计算机存储介 质存储有一条或多条指令，所述一条或多条指令适于由处理器加载并执行如下 步骤：

获取待执行的任务队列，所述任务队列中包括第一数据处理任务和第二数 据处理任务，所述任务队列还包括执行所述第一数据处理任务时所需的第一参 数信息、执行所述第二数据处理任务时所需的第二参数信息、所述第一数据处 理任务的第一执行信息及所述第二数据处理任务的第二执行信息；

根据所述第一执行信息、所述第二执行信息、所述第一参数信息及所述第 二参数信息获取所述第一数据处理任务与所述第二数据处理任务的依赖关系；

根据所述依赖关系确定所述第一数据处理任务和所述第二数据处理任务的 调度顺序，并按照所述调度顺序调度执行所述第一数据处理任务和所述第二数 据处理任务。

本发明实施例中，通过第一参数信息、第二参数信息、第一执行信息及第 二执行信息确定第一数据处理任务与第二数据处理任务之间的依赖关系，根据 该依赖关系确定第一数据处理任务与第二数据处理任务的调度顺序，按照该调 度顺序调度执行该第一数据处理任务与第二数据处理任务。即通过依赖关系调 度数据处理任务，即上一个数据处理任务被执行完成时，调度执行与上一个数 据处理任务具体依赖关系的数据处理任务；或者，按照并行调度方式或随机调 度方式调度执行第一数据处理任务和第二数据处理任务。可避免数据处理任务 长时间处于等待状态不能被调度执行，可提高数据处理的效率，并可提高服务 器的资源利用率。同时，这样有序的调度执行各个数据处理任务可以避免处理过程中出现异常，提高数据处理的安全性、准确性。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施 例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述 中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付 出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本发明实施例提供的一种任务调度系统的结构示意图；

图2是本发明实施例提供的一种任务处理方法的流程示意图；

图3是本发明实施例提供的一种任务处理过程的界面示意图；

图4是本发明实施例提供的一种任务处理装置的结构示意图；

图5是本发明实施例提供的一种服务器的结构示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清 楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是 全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造 性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

任务调度系统可以是指对待执行的数据处理任务进行排序，并按照顺序依 次执行各个数据处理任务的系统。现有技术中，任务调度系统通常采用定时调 度方式调度执行数据处理任务，所谓定时调度是指为每个数据处理任务设定固 定的调度时间，当时间到达设定的调度时间时才对数据处理任务进行调度执行。 例如，当任务队列中包括数据处理任务A和数据处理任务B，设置数据处理任 务A的调度时间为10:10:05，数据处理任务B的调度时间为10:10:30。即服务 器必须在时间到达10:10:05时调度执行数据处理任务A，并在时间到达10:10:30 时调度执行数据处理任务B。如果数据处理任务A在10:10:15被执行完成，则 服务器需要等待15s后才能调度执行数据处理任务B，使数据处理任务B不能 及时被调度执行，降低了数据处理的效率。并且，在服务器等待的过程中，服 务器器处于空闲状态，即降低了服务器的资源利用率。另外，假设在调度执行 数据处理任务B时需要数据处理任务A的处理结果，如果数据处理任务A在 10:10:45才被执行完成，服务器在时间到达10:10:30时调度执行数据处理任务B。 这时不能获取到执行数据处理任务A的执行结果，会导致执行数据处理任务B 的过程中出现异常，甚至导致后续数据处理任务均不能被正常执行，进而导致 数据处理任务相关的业务中断。基于此，本发明实施例提供一种依赖调度方法， 首先介绍实现该依赖调度方式的系统，该请参见图1，图1为本发明实施例中的 任务调度系统的结构示意图，该任务调度系统中包括服务器和至少一个终端。

其中，终端可以是指面向用户的终端，该终端具体可以是指用于生成数据 处理任务的终端。终端可以是智能手机、平板电脑、便携式个人计算机、智能 手表、手环及智能电视等智能设备。服务器可以是指用于执行调度数据处理任 务的设备，具体可以是数据处理服务器、web服务器、应用程序对应的应用服务 器等等；服务器可以是一个独立的服务设备，也可以是由多个服务设备共同构 成的集群设备或云计算中心。需要说明的是，当服务器是指多个服务设备的集 群设备时，其中，可以包括调度服务设备和至少一个执行服务设备。调度服务 设备用于确定数据处理任务的执行顺序(即调度顺序)，并用于确定将数据处理任务分配给哪个执行服务设备执行。执行服务设备可以用于执行数据处理任 务。

基于图1所示的任务调度系统能够实现调度任务，具体地，任务调度系统 支持依赖调度功能。所谓依赖调度功能是根据各个数据处理任务之间的依赖关 系形成一条依赖链，按照该依赖链依次执行每个数据处理任务。例如，该依赖 链上包括数据处理任务A、数据处理任务B、数据处理任务C，如果数据处理任 务A依赖于数据处理任务B，数据处理任务B依赖于数据处理任务C。服务器 可以调度执行数据处理任务C，当数据处理任务C被执行文成后，则调度执行 数据处理任务B。当数据处理任务B被执行完成后，调度执行数据处理任务A。 这样根据依赖关系调度各个数据处理任务，可以避免数据处理任务长时间处于 等待状态不能被执行，提高数据处理的效率。同时，这样有序的调度执行各个 数据处理任务可以避免处理过程中出现异常，提高数据处理的安全性、准确性。

基于图1所述的系统所执行的依赖调度方法大致流程包括步骤1-4。1、终 端向服务器发送数据处理请求，如在网页数据处理场景中，该数据处理请求包 括：加载网页请求、搜索请求、播放视频请求等等。2、服务器接收数据处理请 求，服务器将每个数据处理请求作为一个数据处理任务，将数据处理任务添加 至任务队列中。3、服务器确定任务队列中各个数据处理任务的依赖关系。4、 根据依赖关系确定数据处理任务的调度顺序，按照调度顺序调度执行各个数据 处理任务。

基于图1所示的任务调度系统，本发明实施例提供了一种任务处理方法， 该方法应用于图1所示系统中的服务器，请参见图2，该任务处理方法包括如下 步骤S101～S103。

S101、获取待执行的任务队列，该任务队列中包括第一数据处理任务和第 二数据处理任务，该任务队列还包括执行该第一数据处理任务时所需的第一参 数信息、执行该第二数据处理任务时所需的第二参数信息、该第一数据处理任 务的第一执行信息及该第二数据处理任务的第二执行信息。

任务队列可以中包括多个数据处理任务，数据处理任务包括但不限于：读 取数据任务、查询数据任务或写入数据任务等等。下面以任务队列中包括两个 数据处理任务为例进行说明，这两个数据处理任务分别为第一数据处理任务和 第二数据处理任务。该任务队列中还包括执行该第一数据处理任务时所需的第 一参数信息及执行该第二数据处理任务时所需的第二参数信息、该第一数据处 理任务的第一执行信息及该第二数据处理任务的第二执行信息。第一参数信息 用于标识执行该第一数据处理任务时所需要的输入参数，第二参数信息用于标 识执行该第二数据处理任务时所需要的输入参数。第一执行信息用于标识执行 第一数据处理任务时所得到的执行结果，第二执行信息用于标识执行第二数据处理任务时所得到的执行结果。第一参数信息、第二参数信息、第一执行信息 及第二执行信息在第一数据处理任务、第二数据处理任务执行之前设置的。

S102、根据该第一执行信息、该第二执行信息、该第一参数信息及该第二 参数信息获取该第一数据处理任务与该第二数据处理任务的依赖关系。

服务器可以根据该第一执行信息、该第二执行信息、该第一参数信息及该 第二参数信息之间的匹配关系确定该第一数据处理任务与该第二数据处理任务 的依赖关系。其中，该依赖关系可以包括单向依赖关系和双向依赖关系，单向 依赖关系可以是指第一数据处理任务依赖于第二数据处理任务，或者，第二数 据处理任务依赖于第一数据处理任务；双向依赖关系可以是指第一数据处理任 务与第二数据处理任务相互依赖。

S103、根据该依赖关系确定该第一数据处理任务和该第二数据处理任务的 调度顺序，并按照该调度顺序调度执行该第一数据处理任务和该第二数据处理 任务。

若该依赖关系为单向依赖关系，服务器可以先调度执行被依赖的数据处理 任务，然后调度执行依赖的数据处理任务。如，第二数据处理任务依赖于第一 数据处理任务，则第一数据处理任务可称为被依赖的数据处理任务，第二数据 处理任务可称为依赖的数据处理任务。这时该第一数据处理任务和该第二数据 处理任务的调度顺序为：先调度执行第一数据处理任务，然后，调度执行第二 数据处理任务。若该依赖关系为双向调度关系，则服务器可以按照随机调度顺 序、按照数据处理任务生成的时间顺序或并行调度执行第一数据处理任务和第 二数据处理任务。按照数据处理任务生成的时间顺序可以是指：先生成的数据 处理任务先被调度执行，后生成的数据处理任务后被调度执行。或者，后生成 数据处理任务先被调度执行，先生成的数据处理任务后被调度执行。根据依赖 关系对数据处理任务进行调度，不需要等待时间到达固定的调度时间才对数据 处理任务进行调度，提高数据处理的效率。

需要说明是，任务队列中通常包括多个数据处理任务，服务器调度执行各 个数据处理任务的方式可以参见本发明实施例中对第一数据处理任务和第二数 据处理任务调度执行的方式，重复之处不再赘述。

本发明实施例中，通过第一参数信息、第二参数信息、第一执行信息及第 二执行信息确定第一数据处理任务与第二数据处理任务之间的依赖关系，根据 该依赖关系确定第一数据处理任务与第二数据处理任务的调度顺序，按照该调 度顺序调度执行该第一数据处理任务与第二数据处理任务。即通过依赖关系调 度数据处理任务，即上一个数据处理任务被执行完成时，调度执行与上一个数 据处理任务具体依赖关系的数据处理任务，可避免数据处理任务长时间处于等 待状态不能被调度执行，可提高数据处理的效率，并可提高服务器的资源利用 率。同时，这样有序的调度执行各个数据处理任务可以避免处理过程中出现异 常，提高数据处理的安全性、准确性。

在一个实施例中，该第一参数信息包括执行该第一数据处理任务时所需的 输入参数的标识，该第二参数信息包括执行该第二数据处理任务时所需的输入 参数的标识。此处输入参数的标识可以包括如下一项或多项：输入参数的名称、 输入参数的读取地址，该输入参数的名称可以由字母、数字、符号等中的一种 或多种组成。该第一执行信息包括执行该第一数据处理任务时得到的执行结果 对应的标识，该第二执行信息包括执行该第二数据处理任务时得到的执行结果 对应的标识。此处执行结果对应的标识可以包括如下一项或多项：执行结果的 名称、执行结果的存储地址，该执行结果的名称可以由字母、数字、符号等中 的一种或多种组成。

在一个实施例中，步骤S102包括：若第一执行信息与该第二参数信息相匹 配，且该第二执行信息与该第一参数信息不相匹配，确定该第二数据处理任务 依赖于该第一数据处理任务。

若第一执行信息与该第二参数信息相匹配，且该第二执行信息与该第一参 数信息不相匹配，则表明第二数据处理任务的输入参数依赖于第一数据处理任 务的执行结果，且第一数据处理任务的输入参数不依赖于第二数据处理任务的 执行结果，因此，确定第二数据处理任务依赖于第一数据处理任务。第一执行 信息与该第二参数信息相匹配可以是指两者相同，该第二执行信息与该第一参 数信息不相匹配可以是指两者不相同。例如，执行信息是指执行数据处理任务 时得到的执行结果对应的名称，参数信息是指执行数据处理任务时所需要的输 入参数的名称。第一执行信息与该第二参数信息相匹配可以是指：执行该第一 数据处理任务时得到的执行结果对应的名称与执行该第二数据处理任务时所需要的输入参数的名称相同；该第二执行信息与该第一参数信息不相匹配可以是 指：执行该第二数据处理任务时得到的执行结果对应的名称与执行该第一数据 处理任务时所需要的输入参数的名称不相同。再例如，执行信息是指执行数据 处理任务时得到的执行结果对应的存储地址，参数信息是指执行数据处理任务 时所需要的输入参数的读取地址。第一执行信息与该第二参数信息相匹配是指： 执行该第一数据处理任务时得到的执行结果对应的存储地址与执行该第二数据 处理任务时所需要的输入参数的读取地址相同；该第二执行信息与该第一参数 信息不相匹配可以是指：执行该第二数据处理任务时得到的执行结果对应的存 储地址与执行该第一数据处理任务时所需要的输入参数的读取地址不相同。

在此实施例中，步骤S103包括如下步骤s11～s12。

s11、调度执行该第一数据处理任务，得到执行结果。

s12、调度执行该第二数据处理任务，并将该执行结果应用于执行该第二数 据处理任务的过程中。

在步骤s11～s12中，若第二数据处理任务依赖于第一数据处理任务，则第一 数据处理任务和第二数据处理任务的调度顺序为：先调度执行第一数据处理任 务，第一数据处理任务执行完成后，调度执行第二数据处理任务。即服务器可 以调度执行该第一数据处理任务，得到执行结果，第一数据处理任务执行完成 后，调度执行该第二数据处理任务，并将该执行结果应用于执行该第二数据处 理任务的过程中。第二数据处理任务不需要等待时间达到第二数据处理任务的 执行时间才执行第二数据处理任务，只需要第一数据处理任务执行完成就能够 调度执行第二数据处理任务，提高数据处理的效率。另外，第一数据处理任务 的执行结果能够被第二数据处理任务共享，即不需要额外的获取并存储第二数 据处理任务的输入参数，可以节省服务器的内存空间。

同理，若第一执行信息与该第二参数信息不相匹配，且该第二执行信息与 该第一参数信息相匹配，则表明第一数据处理任务的输入参数依赖于第二数据 处理任务的执行结果，且第二数据处理任务的输入参数不依赖于第一数据处理 任务的执行结果，因此，确定第一数据处理任务依赖于第二数据处理任务。这 时第一数据处理任务和第二数据处理任务的调度顺序为：先调度执行第二数据 处理任务，第二数据处理任务执行完成后，调度执行第一数据处理任务。即服 务器可以调度执行该第二数据处理任务，得到执行结果，第二数据处理任务执 行完成后，调度执行该第一数据处理任务，并将该第二数据处理任务的执行结 果应用于执行该第一数据处理任务的过程中。

可选的，得到第一数据处理任务的执行结果后，服务器可以根据第一数据 处理任务的执行结果验证该第一数据处理任务是否被成功执行，若成功被执行， 则执行步骤调度执行该第二数据处理任务的步骤；若未被成功执行，在预设时 间间隔后重新执行第一数据处理任务。即当数据处理任务被执行失败时，可自 动启动重试机制，提高数据处理的准确性。其中，当第一数据处理任务的执行 结果中未出现乱码、报错等信息时，确定第一数据处理任务被成功执行；否则 确定第一数据处理任务未被成功执行。

在一个实施例中，步骤S102包括：若该第一执行信息与该第二参数信息相 匹配，且该第二执行信息与该第一参数信息相匹配，确定该第二数据处理任务 与该第一数据处理任务相互依赖。

若该第一执行信息与该第二参数信息相匹配，且该第二执行信息与该第一 参数信息相匹配，表明第二数据处理任务的输入参数依赖于第一数据处理任务 的执行结果，且第一数据处理任务的输入参数依赖于第二数据处理任务的执行 结果，因此，确定该第二数据处理任务与该第一数据处理任务相互依赖。

在此实施例中，步骤S103包括：按照随机调度顺序调度执行该第一数据处 理任务和该第二数据处理任务；或者，并行调度方式调度执行该第一数据处理 任务和该第二数据处理任务。

若该第二数据处理任务与该第一数据处理任务相互依赖时，服务器可以按 照随机调度顺序调度执行该第一数据处理任务和该第二数据处理任务。例如， 调度顺序为先调度执行第一数据处理任务，然后调度执行第二数据处理任务。 即服务器可以获取第一数据处理任务、第二数据处理任务的历史执行结果，此 处的第一数据处理任务的历史执行结果可以是指上次执行第一数据处理任务所 得到的执行结果，第二数据处理任务的历史执行结果可以是指上次执行第二数 据处理任务所得到的执行结果。进一步，服务器可以调度执行第一数据处理任 务，并将第二数据处理任务的历史执行结果应用于执行第一数据处理任务的过 程中。第一数据处理任务被执行完成后，调度执行第二数据处理任务，将第一 数据处理任务的历史执行结果应用于执行第二数据处理任务的过程中。同理， 调度顺序为先调度执行第二数据处理任务，然后调度执行第一数据处理任务。 服务器可以获取第一数据处理任务、第二数据处理任务的历史执行结果，调度 执行第二数据处理任务，并将第一数据处理任务的历史执行结果应用于执行第 二数据处理任务的过程中。第二数据处理任务被执行完成后，调度执行第一数 据处理任务，将第二数据处理任务的历史执行结果应用于执行第一数据处理任 务的过程中。可选的，若该第二数据处理任务与该第一数据处理任务相互依赖 时，服务器可以并行调度执行该第一数据处理任务和该第二数据处理任务，即可以同时调度执行第一数据处理任务和第二数据处理任务。具体的，服务器可 以获取第一数据处理任务、第二数据处理任务的历史执行结果，同时调度执行 第一数据处理任务和第二数据处理任务。并将第一数据处理任务的历史执行结 果应用于执行第二数据处理任务的过程中，将第二数据处理任务的历史执行结 果应用于执行第一数据处理任务的过程中。

在一个实施例中，服务器可以执行如下步骤s21～s23。

s21、获取关于执行该第一数据处理任务的运行数据。

s22、根据该运行数据验证执行该第一数据处理任务的过程中是否出现异常 事件。

s23、若存在异常事件，则对该异常事件进行处理。

在步骤s21～s23中，服务器可以获取关于执行该第一数据处理任务的运行数 据，该运行数据可以包括第一数据处理任务的开始执行时间、结束执行时间。 根据该开始执行时间和结束执行时间确定执行第一数据处理任务的执行时长， 若该执行时长大于预设时长，则确定该第一数据处理任务的过程中出现异常事 件，该异常事件可以是指服务器的网络异常、或服务器长时间工作造成工作效 率较低。因此，若存在异常事件，服务器可以重新启动服务器的系统和/或自动 修复网络连接。同理，服务器可以获取关于执行该第二数据处理任务的运行数 据，该运行数据可以包括第二数据处理任务的开始执行时间、结束执行时间。 根据该开始执行时间和结束执行时间确定执行第二数据处理任务的执行时长， 若该执行时长大于预设时长，则确定该第二数据处理任务的过程中出现异常事 件。若存在异常事件，则可以对该异常事件进行处理。

在此实施例中，服务器获取到执行第一数据处理任务的执行时长后，可以 获取历史执行该第一数据处理任务的历史执行时长，并根据当前得到执行时长 和历史执行时长生成报表，并输出该报表。通过报表可将第一数据处理任务的 执行时长进行可视化，用户可以通过报表获知服务器处理第一数据处理任务的 稳定性。即当前得到的执行时长与历史执行时长的差值越大，稳定性越差；当 前得到的执行时长与历史执行时长差值越小，稳定性较好。同理，服务器获取 到执行第二数据处理任务的执行时长后，可以获取历史执行该第二数据处理任 务的历史执行时长，并根据当前得到执行时长和历史执行时长生成报表，并输 出该报表。

下面以网页数据处理场景为例，对本方案的任务处理方法进行解释说明。 如图3所示，该任务处理方法包括如下步骤s1-s4。

s1、获取待处理的任务队列。服务器中可以包括任务调度应用程序，该任务 调度应用程序用于调度执行待处理的数据处理任务。当服务器接收到数据处理 任务时，可以通过该调度应用程序将数据处理任务添加至任务队列中，并在任 务调度应用程序界面上展示任务队列，及各个数据处理任务的配置项。如图3 所示，任务调度应用程序界面11上包括第一数据处理任务、第二数据处理任务， 及各个数据处理任务的配置项，配置项包括输入参数配置项12、执行结果的配 置项13。输入参数配置项12可以是指用于配置数据处理任务的参数信息的选项， 执行结果的配置项13可以是指用于配置数据处理任务的处理信息的选项。假设 第一数据处理任务为读取目标文件的任务，该目标文件可以是指需要展示在网页上的视频文件、或文本文件、图像文件等。用户可以通过输入参数配置项12 将第一数据处理任务的参数信息配置为目标文件的名称，如文件1，由于第一数 据处理任务的执行结果为目标文件，因此，可通过执行结果配置项13将第一数 据处理任务的执行信息为目标文件的名称。第二数据处理任务为对目标文件进 行解析处理，如验证目标文件中的有效性、对目标文件进行格式转换等处理。 用户可以通过输入参数配置项12将第二数据处理任务参数信息配置为目标文件 的名称，通过执行结果配置项13将第二数据处理任务的执行信息配置为解析后 的文件的名称，如文件2。

s2、获取依赖关系。第二数据处理任务的参数信息与第一数据处理任务的执 行信息相同，且，第二数据处理任务的执行信息与第一数据处理任务的参数信 息不相同，确定第二数据处理任务依赖于第一数据处理任务。如图3所示，服 务器可以将该依赖关系在任务调度应用程序上进行可视化，即根据该依赖关系 生成有向无环图，该有向无环图的顶点是指数据处理任务(即第一数据处理任 务14和第二数据处理任务)，此处第一数据处理任务14就是指第一数据处理 任务，该有向无环图的剪头指向用于指示数据处理任务的调度执行顺序。有向 无环图具体可以是指无回路的有向图，可以用于描述数据处理任务之间的依赖 关系。

s3、根据依赖关系调度执行第一数据处理任务和第二数据处理任务。即服务 器可以先调度执行读取目标文件的任务，然后执行解析目标文件的任务。并在 执行的过程中，获取并输出各个数据处理任务的执行状态15，执行状态包括执 行中、执行完成、未执行。具体的，服务器可以根据目标文件的名称读取目标 文件，读取到目标文件后，对目标文件进行解析处理。

s4、生成报表。服务器可以获取本次读取目标文件所占用的时长，并获取历 史读取目标文件所占用的时长，根据本次读取所占用时长和历史读取所占用时 长生成报表16。该报表16中包括多个时间点读取目标文件所占用的时长，报表 的纵坐标为读取目标文件所占用的时长，横坐标为读取目标文件的时间。其中， 15:30为本次读取目标文件的时间，除该时间以外的其他时间为历史读取目标文 件的时间。通过该报表16可以确定本次执行该第一数据处理任务的稳定性较差， 这时服务器可以通过即时通信应用程序将该报表发送至相关的技术人员，以便 技术人员可以对服务器进行故障检测处理。

本发明实施例提供一种任务处理装置，该任务处理装置可设置于服务器 中，请参见图4，该装置包括：

获取单元401，用于获取待执行的任务队列，所述任务队列中包括第一数据 处理任务和第二数据处理任务，所述任务队列还包括执行所述第一数据处理任 务时所需的第一参数信息、执行所述第二数据处理任务时所需的第二参数信息、 所述第一数据处理任务的第一执行信息及所述第二数据处理任务的第二执行信 息；根据所述第一执行信息、所述第二执行信息、所述第一参数信息及所述第 二参数信息获取所述第一数据处理任务与所述第二数据处理任务的依赖关系；

处理单元402，用于根据所述依赖关系确定所述第一数据处理任务和所述第 二数据处理任务的调度顺序，并按照所述调度顺序调度执行所述第一数据处理 任务和所述第二数据处理任务。

可选的，所述第一参数信息包括执行所述第一数据处理任务时所需的输入 参数的标识，所述第二参数信息包括执行所述第二数据处理任务时所需的输入 参数的标识；所述第一执行信息包括执行所述第一数据处理任务时得到的执行 结果对应的标识，所述第二执行信息包括执行所述第二数据处理任务时得到的 执行结果对应的标识。

可选的，获取单元401，具体用于若所述第一执行信息与所述第二参数信息 相匹配，且所述第二执行信息与所述第一参数信息不相匹配，确定所述第二数 据处理任务依赖于所述第一数据处理任务。

可选的，处理单元402，具体用于调度执行所述第一数据处理任务，得到执 行结果；调度执行所述第二数据处理任务，并将所述执行结果应用于执行所述 第二数据处理任务的过程中。

可选的，获取单元401，具体用于若所述第一执行信息与所述第二参数信息 相匹配，且所述第二执行信息与所述第一参数信息相匹配，确定所述第二数据 处理任务与所述第一数据处理任务相互依赖。

可选的，处理单元402，具体用于按照随机调度顺序调度执行所述第一数据 处理任务和所述第二数据处理任务；或者，并行调度方式调度执行所述第一数 据处理任务和所述第二数据处理任务。

可选的，获取单元401，还用于获取关于执行所述第一数据处理任务的运行 数据。

可选的，处理单元402，还用于根据所述运行数据验证执行所述第一数据处 理任务的过程中是否出现异常事件；若存在异常事件，则对所述异常事件进行 处理。

本发明实施例中，通过第一参数信息、第二参数信息、第一执行信息及第 二执行信息确定第一数据处理任务与第二数据处理任务之间的依赖关系，根据 该依赖关系确定第一数据处理任务与第二数据处理任务的调度顺序，按照该调 度顺序调度执行该第一数据处理任务与第二数据处理任务。即通过依赖关系调 度数据处理任务，即上一个数据处理任务被执行完成时，调度执行与上一个数 据处理任务具体依赖关系的数据处理任务，可避免数据处理任务长时间处于等 待状态不能被调度执行，可提高数据处理的效率，并可提高服务器的资源利用 率。同时，这样有序的调度执行各个数据处理任务可以避免处理过程中出现异 常，提高数据处理的安全性、准确性。

本发明实施例提供一种服务器，请参见图5。该终端包括：处理器151、用 户接口152、网络接口154以及存储装置155，处理器151、用户接口152、网 络接口154以及存储装置155之间通过总线153连接。

用户接口152，用于实现人机交互，用户接口可以包括显示屏或键盘等等。 网络接口154，用于与外部设备之间进行通信连接。存储装置155与处理器151 耦合，用于存储各种软件程序和/或多组指令。具体实现中，存储装置155可包 括高速随机存取的存储器，并且也可包括非易失性存储器，例如一个或多个磁 盘存储设备、闪存设备或其他非易失性固态存储设备。存储装置155可以存储 操作系统(下述简称系统)，例如ANDROID，IOS，WINDOWS，或者LINUX 等嵌入式操作系统。存储装置155还可以存储网络通信程序，该网络通信程序可用于与一个或多个附加设备，一个或多个应用服务器，一个或多个网络设备 进行通信。存储装置155还可以存储用户接口程序，该用户接口程序可以通过 图形化的操作界面将应用程序的内容形象逼真的显示出来，并通过菜单、对话 框以及按键等输入控件接收用户对应用程序的控制操作。存储装置155还可以 存储视频数据等。

在一个实施例中，所述存储装置155可用于存储一条或多条的指令；所述 处理器151可以调用所述一条或多条的指令时能够实现数据处理方法，具体地， 所述处理器151调用所述一条或多条的指令，执行如下步骤：

获取待执行的任务队列，所述任务队列中包括第一数据处理任务和第二数 据处理任务，所述任务队列还包括执行所述第一数据处理任务时所需的第一参 数信息、执行所述第二数据处理任务时所需的第二参数信息、所述第一数据处 理任务的第一执行信息及所述第二数据处理任务的第二执行信息；

根据所述第一执行信息、所述第二执行信息、所述第一参数信息及所述第 二参数信息获取所述第一数据处理任务与所述第二数据处理任务的依赖关系；

根据所述依赖关系确定所述第一数据处理任务和所述第二数据处理任务的 调度顺序，并按照所述调度顺序调度执行所述第一数据处理任务和所述第二数 据处理任务。

可选的，所述第一参数信息包括执行所述第一数据处理任务时所需的输入 参数的标识，所述第二参数信息包括执行所述第二数据处理任务时所需的输入 参数的标识；所述第一执行信息包括执行所述第一数据处理任务时得到的执行 结果对应的标识，所述第二执行信息包括执行所述第二数据处理任务时得到的 执行结果对应的标识。

可选的，所述处理器调用指令，执行如下步骤：

若所述第一执行信息与所述第二参数信息相匹配，且所述第二执行信息与 所述第一参数信息不相匹配，确定所述第二数据处理任务依赖于所述第一数据 处理任务。

可选的，所述处理器调用指令，执行如下步骤：

调度执行所述第一数据处理任务，得到执行结果；

调度执行所述第二数据处理任务，并将所述执行结果应用于执行所述第二 数据处理任务的过程中。

可选的，所述处理器调用指令，执行如下步骤：

若所述第一执行信息与所述第二参数信息相匹配，且所述第二执行信息与 所述第一参数信息相匹配，确定所述第二数据处理任务与所述第一数据处理任 务相互依赖。

可选的，所述处理器调用指令，执行如下步骤：

按照随机调度顺序调度执行所述第一数据处理任务和所述第二数据处理任 务；或者，

并行调度方式调度执行所述第一数据处理任务和所述第二数据处理任务。

可选的，所述处理器调用指令，执行如下步骤：

获取关于执行所述第一数据处理任务的运行数据；

根据所述运行数据验证执行所述第一数据处理任务的过程中是否出现异常 事件；

若存在异常事件，则对所述异常事件进行处理。

本发明实施例中，通过第一参数信息、第二参数信息、第一执行信息及第 二执行信息确定第一数据处理任务与第二数据处理任务之间的依赖关系，根据 该依赖关系确定第一数据处理任务与第二数据处理任务的调度顺序，按照该调 度顺序调度执行该第一数据处理任务与第二数据处理任务。即通过依赖关系调 度数据处理任务，即上一个数据处理任务被执行完成时，调度执行与上一个数 据处理任务具体依赖关系的数据处理任务，可避免数据处理任务长时间处于等 待状态不能被调度执行，可提高数据处理的效率，并可提高服务器的资源利用 率。同时，这样有序的调度执行各个数据处理任务可以避免处理过程中出现异 常，提高数据处理的安全性、准确性。

本发明实施例还提供了一种计算机可读存储介质，其上存储有计算机程序， 该程序解决问题的实施方式以及有益效果可以参见上述图2所述的一种任务处 理方法的实施方式以及有益效果，重复之处不再赘述。

以上所揭露的仅为本发明部分实施例而已，当然不能以此来限定本发明之 权利范围，因此依本发明权利要求所作的等同变化，仍属本发明所涵盖的范围。

Claims (10)

1.一种任务处理方法，其特征在于，所述方法包括：

获取待执行的任务队列，所述任务队列中包括第一数据处理任务和第二数据处理任务，所述任务队列还包括执行所述第一数据处理任务时所需的第一参数信息、执行所述第二数据处理任务时所需的第二参数信息、所述第一数据处理任务的第一执行信息及所述第二数据处理任务的第二执行信息；

根据所述第一执行信息、所述第二执行信息、所述第一参数信息及所述第二参数信息获取所述第一数据处理任务与所述第二数据处理任务的依赖关系；

根据所述依赖关系确定所述第一数据处理任务和所述第二数据处理任务的调度顺序，并按照所述调度顺序调度执行所述第一数据处理任务和所述第二数据处理任务。

2.如权利要求1所述的方法，其特征在于，所述第一参数信息包括执行所述第一数据处理任务时所需的输入参数的标识，所述第二参数信息包括执行所述第二数据处理任务时所需的输入参数的标识；所述第一执行信息包括执行所述第一数据处理任务时得到的执行结果对应的标识，所述第二执行信息包括执行所述第二数据处理任务时得到的执行结果对应的标识。

3.如权利要求1或2所述的方法，其特征在于，所述根据所述第一执行信息、所述第二执行信息、所述第一参数信息及所述第二参数信息获取所述第一数据处理任务与所述第二数据处理任务的依赖关系，包括：

若所述第一执行信息与所述第二参数信息相匹配，且所述第二执行信息与所述第一参数信息不相匹配，确定所述第二数据处理任务依赖于所述第一数据处理任务。

4.如权利要求3所述的方法，其特征在于，所述根据所述依赖关系确定所述第一数据处理任务和所述第二数据处理任务的调度顺序，并按照所述调度顺序调度执行所述第一数据处理任务和所述第二数据处理任务，包括：

调度执行所述第一数据处理任务，得到执行结果；

调度执行所述第二数据处理任务，并将所述执行结果应用于执行所述第二数据处理任务的过程中。

5.如权利要求1或2所述的方法，其特征在于，所述根据所述第一执行信息、所述第二执行信息、所述第一参数信息及所述第二参数信息获取所述第一数据处理任务与所述第二数据处理任务的依赖关系，包括：

若所述第一执行信息与所述第二参数信息相匹配，且所述第二执行信息与所述第一参数信息相匹配，确定所述第二数据处理任务与所述第一数据处理任务相互依赖。

6.如权利要求5所述的方法，其特征在于，所述根据所述依赖关系确定所述第一数据处理任务和所述第二数据处理任务的调度顺序，并按照所述调度顺序调度执行所述第一数据处理任务和所述第二数据处理任务，包括：

按照随机调度顺序调度执行所述第一数据处理任务和所述第二数据处理任务；或者，

并行调度方式调度执行所述第一数据处理任务和所述第二数据处理任务。

7.如权利要求1或2所述的方法，其特征在于，所述方法还包括：

获取关于执行所述第一数据处理任务的运行数据；

根据所述运行数据验证执行所述第一数据处理任务的过程中是否出现异常事件；

若存在异常事件，则对所述异常事件进行处理。

8.一种任务处理装置，其特征在于，所述装置包括：

获取单元，用于获取待执行的任务队列，所述任务队列中包括第一数据处理任务和第二数据处理任务，所述任务队列还包括执行所述第一数据处理任务时所需的第一参数信息、执行所述第二数据处理任务时所需的第二参数信息、所述第一数据处理任务的第一执行信息及所述第二数据处理任务的第二执行信息；根据所述第一执行信息、所述第二执行信息、所述第一参数信息及所述第二参数信息获取所述第一数据处理任务与所述第二数据处理任务的依赖关系；

处理单元，用于根据所述依赖关系确定所述第一数据处理任务和所述第二数据处理任务的调度顺序，并按照所述调度顺序调度执行所述第一数据处理任务和所述第二数据处理任务。

9.一种服务器，包括输入设备和输出设备，其特征在于，还包括：

处理器，适于实现一条或多条指令；以及，

计算机存储介质，所述计算机存储介质存储有一条或多条指令，所述一条或多条指令适于由所述处理器加载并执行如权利要求1-7任一项所述的方法。

10.一种计算机存储介质，其特征在于，所述计算机存储介质存储有计算机程序指令，该计算机程序指令被执行时，实现如权利要求1-7任一项所述的方法。

Images