CN114489679A - 一种hadoop大数据任务DAG依赖智能分析系统及方法 - Google Patents

Abstract

本发明公开了一种hadoop大数据任务DAG依赖智能分析系统及方法，系统根据任务创建过程中用户填写的任务信息，后续无需额外的配置，即可很简单、很灵活地解析任务间的关联关系，获得任务的DAG图。通过任务的智能依赖解析，可以方便灵活地控制任务的上线、下线，无需人工干预，智能地得到任务的上下游关系，并执行相应的动作。

Description

一种hadoop大数据任务DAG依赖智能分析系统及方法

技术领域

本发明涉及大数据技术领域，具体涉及一种hadoop大数据任务DAG依赖智能分析系统及方法。

背景技术

随着大数据系统的持续使用，任务数量也在持续增加，任务间的依赖关系日益复杂，如何智能地解析任务间的依赖关系，成为亟待解决的问题。面对日益增加的任务数量，通过手动拖拽或者编写配置文件的简单直接方式会造成日后任务的不准确及任务管理的不便，因此需要一种简单的、灵活的方式解析任务间的依赖关系。

发明内容

针对现有技术的不足，本发明旨在提供一种hadoop大数据任务DAG依赖智能分析系统及方法。

为了实现上述目的，本发明采用如下技术方案：

一种hadoop大数据任务DAG依赖智能分析系统，包括任务创建模块、任务信息解析模块、任务依赖关系分析模块；

所述任务创建模块用于供用户编写并创建任务，以及输入任务的类型、输入源、输入表、输出源、输出表；

所述任务信息解析模块用于对用户输入的任务信息进行解析，获得任务的输入表和输出表信息；

任务依赖关系分析模块用于分析各个任务的输入表和输出表，如果某一个任务A的输出表是另一个任务B的输入表，则任务A是任务B的上游任务，由此获得任务链；用于解析任务链，获得任务之间的依赖关系；用于通过拓扑排序，判断任务链是否存在回环，如果任务链为DAG，提交任务至调度系统，如果任务链存在回环，提示用户重新修改任务信息。

进一步地，所述任务依赖关系分析模块进行拓扑排序的过程为：

a)在任务链中选择一个没有上游任务的节点输出；

b)在任务链中删除该任务和所有以它为尾的线；

c)重复步骤a)和b)，直到全部任务节点已输出或者任务链中不存在无上游任务的节点为止；

d)获得最终的拓扑序列。

本发明还提供一种利用上述系统的方法，具体过程为：

用户通过任务创建模块编写并创建任务，并输入任务的类型、输入源、输入表、输出源、输出表；

用户创建任务完成后，任务信息解析模块对用户输入的任务信息进行解析，获得任务的输入表和输出表信息；

任务依赖关系分析模块分析各个任务的输入表和输出表，如果某一个任务A的输出表是另一个任务B的输入表，则任务A是任务B的上游任务，由此获得任务链；然后解析任务链，获得任务之间的依赖关系；通过拓扑排序，判断任务链是否存在回环，如果任务链为DAG，提交任务至调度系统，如果任务链存在回环，提示用户重新修改任务信息。

本发明的有益效果在于：本发明仅需使用任务新建过程中的基本信息，通过排序的方式，即可智能地解析任务间依赖关系，不需要额外的配置，从而可以解决手动拖拽或编写配置文件繁琐及难于维护的问题。

附图说明

图1为本发明实施例2的方法流程图；

图2为本发明实施例2的拓扑排序示例图。

具体实施方式

以下将结合附图对本发明作进一步的描述，需要说明的是，本实施例以本技术方案为前提，给出了详细的实施方式和具体的操作过程，但本发明的保护范围并不限于本实施例。

实施例1

本实施例提供一种hadoop大数据任务DAG依赖智能分析系统，没有对任务做过多的约束，只是对其做了一些额外的约定，这里涉及的主要有两个方面：

1、在新建任务的程序上，设置提供数据源输入和输出表信息的过程。

2、添加调度时提供任务依赖信息。

本实施例的一个重要目标是让系统无需额外的配置，即可完成任务依赖关系的解析，对于用户来说，他面对的不再是繁琐的配置，而是任务的基本信息。本实施例中，首先需要知道任务的类型、输入源、输入表、输出源、输出表等，而且需要将这些信息进行持久化操作。另外一个核心就是任务调度时的依赖关系，在添加调度时，可以很灵活地设置依赖关系。

具体地，本实施例的系统包括任务创建模块、任务信息解析模块、任务依赖关系分析模块；

所述任务创建模块用于供用户编写并创建任务，以及输入任务的类型、输入源、输入表、输出源、输出表；

所述任务信息解析模块用于对用户输入的任务信息进行解析，获得任务的输入表和输出表信息。

任务依赖关系分析模块用于分析各个任务的输入表和输出表，如果某一个任务A的输出表是另一个任务B的输入表，则任务A是任务B的上游任务，由此获得任务链；用于解析任务链，获得任务之间的依赖关系；用于通过拓扑排序，判断任务链是否存在回环，如果任务链为DAG（有向无环图），提交任务至调度系统，如果任务链存在回环，提示用户重新修改任务信息。

以下为与任务有关的各种表格示例。

t_hive_program（程序表）

id	程序编号
		name	程序名称
content	程序代码

t_job_base（基础任务表）

id	job_base编号
		job_id	job编号
job_type	job类型

t_job_hive（hive任务表）

id	job编号
		program_id	程序编号
dependency_table	输入表
		out_table	输出表

t_job_dependency（任务依赖表）

id	任务依赖编号
		job_base_id	job_base编号
dependency_job_id	依赖任务编号

在本实施例中，所述拓扑排序的过程为：

a)在任务链中选择一个没有上游任务的节点输出。

b)在任务链中删除该任务和所有以它为尾的线。

c)重复步骤a)和b)，直到全部任务节点已输出或者任务链中不存在无上游任务的节点为止。

d)获得最终的拓扑序列。

图2所示为一个任务链的示例，经过拓扑排序得到的拓扑序列为C1、C2、C3、C4、C5、C7、C9、C10、C11、C6、C12、C8。

本实施例系统根据任务创建过程中用户填写的任务信息，后续无需额外的配置，即可很简单、很灵活地解析任务间的关联关系，获得任务的DAG图。通过任务的智能依赖解析，可以方便灵活地控制任务的上线、下线，无需人工干预，智能地得到任务的上下游关系，并执行相应的动作。另外，系统会将任务的相关信息保存在zookeeper中，调度会根据任务的依赖关系，依次运行任务。

实施例2

本实施例提供一种利用实施例1所述系统的方法，如图1所示，具体过程为：

用户通过任务创建模块编写并创建任务，并输入任务的类型、输入源、输入表、输出源、输出表；

用户创建任务完成后。任务信息解析模块对用户输入的任务信息进行解析，获得任务的输入表和输出表信息。

任务依赖关系分析模块分析各个任务的输入表和输出表，如果某一个任务A的输出表是另一个任务B的输入表，则任务A是任务B的上游任务，由此获得任务链；然后解析任务链，获得任务之间的依赖关系；通过拓扑排序，判断任务链是否存在回环，如果任务链为DAG，提交任务至调度系统，如果任务链存在回环，提示用户重新修改任务信息。

对于本领域的技术人员来说，可以根据以上的技术方案和构思，给出各种相应的改变和变形，而所有的这些改变和变形，都应该包括在本发明权利要求的保护范围之内。

Claims (3)

1.一种hadoop大数据任务DAG依赖智能分析系统，其特征在于，包括任务创建模块、任务信息解析模块、任务依赖关系分析模块；

所述任务创建模块用于供用户编写并创建任务，以及输入任务的类型、输入源、输入表、输出源、输出表；

所述任务信息解析模块用于对用户输入的任务信息进行解析，获得任务的输入表和输出表信息；

任务依赖关系分析模块用于分析各个任务的输入表和输出表，如果某一个任务A的输出表是另一个任务B的输入表，则任务A是任务B的上游任务，由此获得任务链；用于解析任务链，获得任务之间的依赖关系；用于通过拓扑排序，判断任务链是否存在回环，如果任务链为DAG，提交任务至调度系统，如果任务链存在回环，提示用户重新修改任务信息。

2.根据权利要求1所述的系统，其特征在于，所述任务依赖关系分析模块进行拓扑排序的过程为：

a)在任务链中选择一个没有上游任务的节点输出；

b)在任务链中删除该任务和所有以它为尾的线；

c)重复步骤a)和b)，直到全部任务节点已输出或者任务链中不存在无上游任务的节点为止；

d)获得最终的拓扑序列。

3.一种利用权利要求1-2任一所述系统的方法，其特征在于，具体过程为：

用户通过任务创建模块编写并创建任务，并输入任务的类型、输入源、输入表、输出源、输出表；

用户创建任务完成后，任务信息解析模块对用户输入的任务信息进行解析，获得任务的输入表和输出表信息；

任务依赖关系分析模块分析各个任务的输入表和输出表，如果某一个任务A的输出表是另一个任务B的输入表，则任务A是任务B的上游任务，由此获得任务链；然后解析任务链，获得任务之间的依赖关系；通过拓扑排序，判断任务链是否存在回环，如果任务链为DAG，提交任务至调度系统，如果任务链存在回环，提示用户重新修改任务信息。

Images