CN115080231A - 任务的处理方法及装置 - Google Patents

Abstract

本发明提供一种任务的处理方法及装置，其中方法包括：根据待执行任务之间的依赖关系，构建所述待执行任务的有向无环图DAG；根据所述DAG以及所述待执行任务，确定所述DAG中每一个节点可支持多个任务处理的任务处理配置；根据所述任务处理配置，处理所述待执行任务。本发明提供的任务的处理方法及装置，通过待执行任务之间的依赖关系，构建待执行任务的有向无环图DAG，并配置DAG中每一个节点可以支持多个任务处理的任务处理配置，实现了同一个节点可以处理多个任务，在有限系统资源的情况下，避免了任务处理阻塞，合理利用了系统资源，保障了业务顺利地开展。

Description

任务的处理方法及装置

技术领域

本发明涉及计算机技术领域，尤其涉及一种任务的处理方法及装置。

背景技术

现有的任务处理，通过并行处理的任务处理方式，提升任务处理的处理效率。

现有的通过并行处理的任务处理方式，由于系统资源的限制，支持的并发任务量有限。当系统的并行任务足够多时，这时候就会占用很多资源，如果这些并行任务一直不释放内存，就会导致任务处理的阻塞。

发明内容

本发明提供一种任务的处理方法及装置，用以解决现有技术在有限的资源下，因为并行任务一直不释放内存，而导致任务处理的阻塞，影响业务正常开展的技术问题。

本发明提供一种任务的处理方法，包括：

根据待执行任务之间的依赖关系，构建所述待执行任务的有向无环图DAG；

根据所述DAG以及所述待执行任务，确定所述DAG中每一个节点可支持多个任务处理的任务处理配置；

根据所述任务处理配置，处理所述待执行任务。

根据本发明提供的一种任务的处理方法，还包括：

构建任务处理注册表；

所述任务处理注册表用于记录所述待执行任务是否开始处理。

根据本发明提供的一种任务的处理方法，所述处理所述待执行任务之前，还包括：

读取所述任务处理注册表，根据所述任务处理注册表中记录的任务处理情况，确定所述待执行任务是否已经处理。

根据本发明提供的一种任务的处理方法，还包括：

在新任务加入所述DAG的情况下，确定添加所述新任务的目标节点，并更新所述目标节点的任务处理配置。

根据本发明提供的一种任务的处理方法，构建所述待执行任务的DAG之前，还包括：

根据任务处理负载，确定最大并行处理任务量；

根据所述最大并行处理任务量，确定所述DAG中的节点数量。

根据本发明提供的一种任务的处理方法，在所述待执行任务为文件处理任务的情况下，所述待执行任务包括：文件检查、文件清洗、文件加工以及文件数据更新中的一项或多项。

本发明还提供一种任务的处理装置，包括：

DAG构建模块，用于根据待执行任务之间的依赖关系，构建所述待执行任务的有向无环图DAG；

任务处理配置模块，用于根据所述DAG以及所述待执行任务，确定所述DAG中每一个节点可支持多个任务处理的任务处理配置；

任务执行模块，用于根据所述任务处理配置，处理所述待执行任务。

本发明还提供一种电子设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如上述任一种所述任务的处理方法。

本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现如上述任一种所述任务的处理方法。

本发明还提供一种计算机程序产品，包括计算机程序，所述计算机程序被处理器执行时实现如上述任一种所述任务的处理方法。

本发明提供的任务的处理方法及装置，通过待执行任务之间的依赖关系，构建待执行任务的有向无环图DAG，并配置DAG中每一个节点可以支持多个任务处理的任务处理配置，实现了同一个节点可以处理多个任务，在有限系统资源的情况下，避免了任务处理阻塞，合理利用了系统资源，保障了业务顺利地开展。

附图说明

为了更清楚地说明本发明或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图简要地说明，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本发明提供的任务的处理方法的流程示意图；

图2是本发明提供的有向无环图DAG的结构示意图；

图3是本发明提供的任务处理结构示意图；

图4是本发明提供的任务的处理装置的结构示意图；

图5是本发明提供的电子设备的结构示意图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚，下面将结合本发明中的附图，对本发明中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

图1为本发明提供的任务的处理方法的流程示意图。参照图1，本发明提供的任务的处理方法可以包括：

步骤110，根据待执行任务之间的依赖关系，构建所述待执行任务的有向无环图DAG；

步骤120，根据所述DAG以及所述待执行任务，确定所述DAG中每一个节点可支持多个任务处理的任务处理配置；

步骤130，根据所述任务处理配置，处理所述待执行任务。

本发明提供的任务的处理方法的执行主体可以是电子设备、电子设备中的部件、集成电路、或芯片。该电子设备可以是移动电子设备，也可以为非移动电子设备。示例性的，移动电子设备可以为手机、平板电脑、笔记本电脑、掌上电脑、超级移动个人计算机(ultra-mobile personal computer，UMPC)、上网本或者个人数字助理(personal digitalassistant，PDA)等，非移动电子设备可以为服务器、网络附属存储器(Network AttachedStorage，NAS)或个人计算机(personal computer，PC)等，本发明不作具体限定。

下面以计算机执行本发明提供的任务的处理方法为例，详细说明本发明的技术方案。

需要说明的是，DAG(Directed Acyclic Graph，有向无环图)是有向图的一种，是指任意一条边有方向，且不存在环路的图，即图中没有环。具体结构如图2本发明提供的有向无环图DAG的结构示意图所示。

DAG常常用来表述事件之间的驱动依赖关系，管理任务之间的调度关系。基于DAG的这些特性，可以使用DAG来描述获取的待执行任务之间的逻辑关系。

很多批量任务处理系统就是利用DAG的特性来管理各个任务之间的驱动关系。其原理是把批量任务中的每一个任务对应一个节点，利用DAG来构造一个任务发生在另一个任务之前的任务处理逻辑。

其中，批量任务处理系统是指按照设定好的驱动关系处理所属任务以实现任务自动化调度的系统；任务是指在服务器可以执行的一些应用程序(存储过程、C程序，Shell程序等)，可以被批量任务处理系统进行处理。

在步骤110中，获取所有的待执行任务，根据各待执行任务之间的依赖关系，构建待执行任务的有向无环图DAG。

各待执行任务之间的依赖关系是指各待执行任务之间的执行逻辑。例如，待执行任务之间的先后顺序执行的逻辑、其中一个任务执行的输出作为另一个的输入的逻辑以及待执行任务中相同执行优先级的执行逻辑等。

根据待执行任务之间的依赖关系，可以确定各待执行任务之间的驱动关系，从而构建待执行任务的DAG。其中，DAG中每一个节点就是一个待执行任务。

可以理解的是，构建待执行任务的DAG后，可以使得待执行任务最终构成一种树状结构，不仅使得任务处理逻辑更加清晰，还能极大地提高扩展性。

在步骤120中，确定DAG后，配置DAG中的每个节点。在原始DAG中每个节点只处理一个任务的情况下，根据DAG以及待执行任务，确定DAG中每一个节点可支持多个任务处理的任务处理配置。

改变目前每一个节点只处理一个任务的方式，通过任务处理配置使得每一个节点可以处理多个任务。

例如，待执行任务为文件检查时，在未配置任务处理配置的情况下，当前的文件检查任务只能检查A表的文件。其中，A表包含了多个文件，只有等A表的文件全部到齐并检查后，才能完成检查A表的文件任务。而配置了支持多个任务处理的任务处理配置后，文件检查任务可以支持多个表的多个文件，当某个表的文件都到齐后，那么这个文件检查任务就会处理这个表然后释放资源，并不会因为A表文件未到齐而一直在占用资源，因为此时别的表的文件都到齐了，文件检查任务就可以去处理别的表，从而合理地利用了资源，而不会因为一直在等待处理晚到的文件引起系统阻塞。

在步骤130中，根据步骤120中确定的任务处理配置，对待执行任务进行处理。

在确定DAG中每一个节点的任务处理配置后，使得DAG中每一个节点均可以处理多个任务。

可以理解的是，系统的资源都是有限的，不可能无限地扩展下去，同一时间调度处理的任务的个数其实也是确定的，当系统的并行任务足够多时，就会占用很多内存，如果这些并行任务一直不释放内存就会导致任务处理的阻塞。通过任务处理配置，使得DAG中的每一个节点可以处理多个任务，从而合理地利用了资源，大大降低了多任务处理的阻塞。

本发明实施例提供的任务的处理方法，通过待执行任务之间的依赖关系，构建待执行任务的有向无环图DAG，并配置DAG中每一个节点可以支持多个任务处理的任务处理配置，实现了同一个节点可以处理多个任务，在有限系统资源的情况下，避免了任务处理阻塞，合理利用了系统资源，保障了业务顺利地开展。

在一个实施例中，构建任务处理注册表；所述任务处理注册表用于记录所述待执行任务是否开始处理。

任务处理注册表用于记录待执行任务是否开始处理。

DAG中的每一个节点都支持同时处理多个任务，通过构建任务处理注册表，能够协调各个多任务处理不会进行冲突。例如，传统的文件检查程序只会检查单一的一个文件，而配置了任务处理配置的节点的文件检查程序可以检查多个文件。当可以检查多个文件的多个文件检查程序运行时候，不同文件之间的检查过程还需要保证不冲突。

如图3本发明提供的任务处理结构示意图所示。文件检查程序1可以支持处理数据表A、数据表B以及数据表C，文件检查程序2可以支持处理数据表B、数据表C以及数据表D。对于数据表C的处理，文件检查程序1以及文件检查程序2均可以处理，则可能导致文件检查程序1以及文件检查程序2同时处理的冲突情况。

可选地，由于文件检查程序1可以支持处理数据表A、数据表B以及数据表C，所以可能出现同时处理数据表A、数据表B以及数据表C中三个表的冲突情况，可以根据数据表A、数据表B以及数据表C中文件到达的先后顺序，按照文件到达的先后顺序处理，可以避免冲突情况的发生。

通过构建任务处理注册表，通过任务处理注册表记录待执行任务是否开始处理，在每次任务处理前，根据任务处理注册表记录的任务处理情况，可以确定是否继续对当前任务进行处理，可以避免不同任务之间的处理过程可能出现的冲突情况。

本发明实施例提供的任务的处理方法，通过构建用于记录所述待执行任务是否开始处理的任务处理注册表，有效避免了不同任务之间的处理过程可能出现的冲突情况。

在一个实施例中，处理所述待执行任务之前，还包括：读取所述任务处理注册表，根据所述任务处理注册表中记录的任务处理情况，确定所述待执行任务是否已经处理。

任务处理注册表是用于记录待执行任务是否开始处理，根据读取任务处理注册表，可以确定当前任务处理注册表中记录的任务处理情况，确定待执行任务是否已经处理。

通过读取任务处理注册表，确定任务处理注册表记录待执行任务是否开始处理。在每次任务处理前，根据任务处理注册表记录的任务处理情况，可以确定是否继续对当前任务进行处理，可以避免不同任务之间的处理过程可能出现的冲突情况。

对于DAG中同一个节点，可能出现支持处理的多个任务出现冲突的情况。通过构建任务处理注册表，能避免此种情况的任务执行冲突。例如：检查2个文件(文件A和文件B)，按照传统的文件检查程序，这个时候需要启动2个文件检查程序，分别为检查-A程序和检查-B程序，检查-A程序只检查文件A的情况，同理检查-B程序也只检查文件B的情况。而对于支持处理的多个任务的节点，它可以根据任务处理配置同时检查两个文件，比如检查-AB1程序和检查AB2程序，检查-AB1程序可以同时检查文件A和文件B的情况，检查-AB2程序也可以同时检查文件A和文件B的情况，文件到齐后就会触发后续的一些文件操作。当检查-AB1程序发现A文件都到齐了它就触发后续的文件操作了，并更新任务处理注册表中A文件处理的任务处理情况。而同时检查-AB2程序同时也是发现A文件都到齐了，但是任务处理前通过读取任务处理注册表，得出A文件已处理，检查-AB2程序就不会再处理这个A文件的后续操作了，保障同一个文件只能被一个程序进行处理。

本发明实施例提供的任务的处理方法，通过构建用于记录所述待执行任务是否开始处理的任务处理注册表，有效避免了不同任务之间的处理过程可能出现的冲突情况。

在一个实施例中，还包括：在新任务加入所述DAG的情况下，确定添加所述新任务的目标节点，并更新所述目标节点的任务处理配置。

在实际任务处理中，经常会有新任务的加入。在新任务加入DAG的情况下，根据新任务与原始任务间的依赖关系，确定添加新任务的目标节点，并更新目标节点的任务处理配置，使得目标节点能够完成新任务的处理。

本发明实施例提供的任务的处理方法，通过在新任务加入DAG的情况下，确定添加新任务的目标节点，并更新目标节点的任务处理配置，提升了原有DAG的任务处理的扩展性。

在一个实施例中，构建所述待执行任务的DAG之前，还包括：根据任务处理负载，确定最大并行处理任务量；根据所述最大并行处理任务量，确定所述DAG中的节点数量。

系统的资源都是有限的，不可能无限地扩展下去，同一时间调度处理的任务的个数其实也是确定的，所以需要对DAG中的节点数量进行限制。

尤其是当系统的并行任务足够多时，就会占用很多内存，如果不限制DAG中节点的数量，就会导致任务处理的阻塞。通过确定系统最大并行处理任务量，可以确定DAG中的节点数量，从而保证系统的正常运行。

可选地，确定的DAG中的节点数量可以包括DAG中每一个层级的节点数量以及整个DAG中的节点数量。

本发明实施例提供的任务的处理方法，通过根据任务处理负载，确定最大并行处理任务量；根据最大并行处理任务量，确定DAG中的节点数量，确保了构建的DAG能被正常运行。

在一个实施例中，在所述待执行任务为文件处理任务的情况下，所述待执行任务包括：文件检查、文件清洗、文件加工以及文件数据更新中的一项或多项。

对于待执行任务为文件处理任务的情况下，在进行任务处理时，第一步就是要判断文件是否到齐。例如，为资源的限制，系统同时只能支持10个并发任务。100张表就需要100个文件检查任务，如果刚好检查的10张表文件都未到齐，那么这10个并发任务就会一直等待，而同一时间其它表的文件虽然都到齐了，但由于这10张表的文件一直未到齐，资源一直被占用，导致任务处理阻塞。

通过配置文件处理任务的任务处理配置，使得DAG中每个节点支持多个文件处理任务，在有限系统资源的情况下，避免了任务处理阻塞，合理利用了系统资源，保障了业务顺利地开展。

文件处理任务包括：文件检查、文件清洗、文件加工以及文件数据更新中的一项或多项。其中，文件检查为文件信息以及文件内容信息的检查。文件清洗为纠正文件中可识别的错误，包括检查数据一致性，处理无效值和缺失值等。文件加工包括文件格式的更改等。文件数据更新为文件的内容中的数据信息的更改。

本发明实施例提供的任务的处理方法，在待执行任务为文件处理任务的情况下，实现了对文件处理任务的并行处理，避免了文件处理过程中可能的任务阻塞。

图4为本发明提供的任务的处理装置的结构示意图，如图4所示，该装置包括：

DAG构建模块410，用于根据待执行任务之间的依赖关系，构建所述待执行任务的有向无环图DAG；

任务处理配置模块420，用于根据所述DAG以及所述待执行任务，确定所述DAG中每一个节点可支持多个任务处理的任务处理配置；

任务执行模块430，用于根据所述任务处理配置，处理所述待执行任务。

本发明实施例提供的任务的处理装置，通过待执行任务之间的依赖关系，构建待执行任务的有向无环图DAG，并配置DAG中每一个节点可以支持多个任务处理的任务处理配置，实现了同一个节点可以处理多个任务，在有限系统资源的情况下，避免了任务处理阻塞，合理利用了系统资源，保障了业务顺利地开展。

在一个实施例中，任务执行模块430具体用于：

构建任务处理注册表；

所述任务处理注册表用于记录所述待执行任务是否开始处理。

在一个实施例中，任务执行模块430还具体用于：

处理所述待执行任务之前，还包括：

读取所述任务处理注册表，根据所述任务处理注册表中记录的任务处理情况，确定所述待执行任务是否已经处理。

在一个实施例中，任务处理配置模块420具体用于：

确在新任务加入所述DAG的情况下，确定添加所述新任务的目标节点，并更新所述目标节点的任务处理配置。

在一个实施例中，DAG构建模块410具体用于：

根据任务处理负载，确定最大并行处理任务量；

根据所述最大并行处理任务量，确定所述DAG中的节点数量。

在一个实施例中，任务执行模块430还具体用于：

在所述待执行任务为文件处理任务的情况下，所述待执行任务包括：文件检查、文件清洗、文件加工以及文件数据更新中的一项或多项。

图5示例了一种电子设备的实体结构示意图，如图5所示，该电子设备可以包括：处理器(processor)510、通信接口(Communications Interface)520、存储器(memory)530和通信总线540，其中，处理器510，通信接口520，存储器530通过通信总线540完成相互间的通信。处理器510可以调用存储器530中的逻辑指令，以执行任务的处理方法，该方法包括：

根据待执行任务之间的依赖关系，构建所述待执行任务的有向无环图DAG；

根据所述DAG以及所述待执行任务，确定所述DAG中每一个节点可支持多个任务处理的任务处理配置；

根据所述任务处理配置，处理所述待执行任务。

此外，上述的存储器530中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。

另一方面，本发明还提供一种计算机程序产品，所述计算机程序产品包括存储在非暂态计算机可读存储介质上的计算机程序，所述计算机程序包括程序指令，当所述程序指令被计算机执行时，计算机能够执行上述各方法所提供的任务的处理方法，该方法包括：

根据待执行任务之间的依赖关系，构建所述待执行任务的有向无环图DAG；

根据所述DAG以及所述待执行任务，确定所述DAG中每一个节点可支持多个任务处理的任务处理配置；

根据所述任务处理配置，处理所述待执行任务。

又一方面，本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现以执行上述各提供的任务的处理方法，该方法包括：

根据待执行任务之间的依赖关系，构建所述待执行任务的有向无环图DAG；

根据所述DAG以及所述待执行任务，确定所述DAG中每一个节点可支持多个任务处理的任务处理配置；

根据所述任务处理配置，处理所述待执行任务。

以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。

最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (10)

1.一种任务的处理方法，其特征在于，包括：

根据待执行任务之间的依赖关系，构建所述待执行任务的有向无环图DAG；

根据所述DAG以及所述待执行任务，确定所述DAG中每一个节点可支持多个任务处理的任务处理配置；

根据所述任务处理配置，处理所述待执行任务。

2.根据权利要求1所述的任务的处理方法，其特征在于，还包括：

构建任务处理注册表；

所述任务处理注册表用于记录所述待执行任务是否开始处理。

3.根据权利要求2所述的任务的处理方法，其特征在于，所述处理所述待执行任务之前，还包括：

读取所述任务处理注册表，根据所述任务处理注册表中记录的任务处理情况，确定所述待执行任务是否已经处理。

4.根据权利要求1所述的任务的处理方法，其特征在于，还包括：

在新任务加入所述DAG的情况下，确定添加所述新任务的目标节点，并更新所述目标节点的任务处理配置。

5.根据权利要求1所述的任务的处理方法，其特征在于，所述构建所述待执行任务的DAG之前，还包括：

根据任务处理负载，确定最大并行处理任务量；

根据所述最大并行处理任务量，确定所述DAG中的节点数量。

6.根据权利要求1-5任一项所述的任务的处理方法，其特征在于，在所述待执行任务为文件处理任务的情况下，所述待执行任务包括：文件检查、文件清洗、文件加工以及文件数据更新中的一项或多项。

7.一种任务的处理装置，其特征在于，包括：

DAG构建模块，用于根据待执行任务之间的依赖关系，构建所述待执行任务的有向无环图DAG；

任务处理配置模块，用于根据所述DAG以及所述待执行任务，确定所述DAG中每一个节点可支持多个任务处理的任务处理配置；

任务执行模块，用于根据所述任务处理配置，处理所述待执行任务。

8.一种电子设备，包括存储器、处理器以及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1至6任一项所述任务的处理方法。

9.一种非暂态计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至6任一项所述任务的处理方法。

10.一种计算机程序产品，包括计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至6任一项所述任务的处理方法。

Images