CN109800081A - 一种大数据任务的管理方法及相关设备 - Google Patents

Abstract

本发明公开了一种大数据任务的管理方法及装置，涉及一种大数据处理技术领域，为解决现有技术中大数据集群资源不能实现集中管理的问题而发明。该方法主要包括：接收目标作业任务的启动作业请求，其中，目标作业任务包括依赖数据表、执行结果数据表和逻辑代码，根据目标作业任务的依赖数据表判断目标作业任务是否为可执行作业任务；当目标作业任务为可执行作业任务时，根据逻辑代码执行目标作业任务，生成目标作业任务的执行结果数据表，其中，执行结果数据表包括依赖结果记录表和目标作业任务的执行状态表；根据执行结果数据表，展示目标作业任务和依赖数据表的依赖关系。本发明主要应用于大数据任务管理的过程中。

Description

一种大数据任务的管理方法及相关设备

技术领域

本发明涉及一种大数据处理技术领域，特别是涉及一种大数据任务的管理方法及相关设备。

背景技术

随着大数据时代的到来，构建了越来越多的大数据平台。目前大数据平台的同一管理平台功能比较单一，一般只有任务调度模块，通常单独开发一套分布式调度系统，部署方式繁琐，额外部署调度系统占用CPU/内存等硬件资源，不能实现大数据集群资源的集中管理。

发明内容

有鉴于此，本发明提供一种大数据任务的管理方法及相关设备，主要目的在于现有技术中大数据集群资源不能实现集中管理的问题。

依据本发明一个方面，提供了一种大数据任务的管理方法，包括：

接收目标作业任务的启动作业请求，其中，所述目标作业任务包括依赖数据表、执行结果数据表和逻辑代码；

根据所述目标作业任务的依赖数据表判断所述目标作业任务是否为可执行作业任务；

当所述目标作业任务为可执行作业任务时，根据所述逻辑代码执行所述目标作业任务，生成所述目标作业任务的执行结果数据表，其中，所述执行结果数据表包括依赖结果记录表和所述目标作业任务的执行状态表；

根据所述执行结果数据表，展示所述目标作业任务和所述依赖数据表的依赖关系。

依据本发明另一个方面，提供了一种大数据任务的管理装置，包括：

接收单元，用于接收目标作业任务的启动作业请求，其中，所述目标作业任务包括依赖数据表、执行结果数据表和逻辑代码；

判断单元，用于根据所述目标作业任务的依赖数据表判断所述目标作业任务是否为可执行作业任务；

生成单元，用于当所述目标作业任务为可执行作业任务时，根据所述逻辑代码执行所述目标作业任务，生成所述目标作业任务的执行结果数据表，其中，所述执行结果数据表包括依赖结果记录表和所述目标作业任务的执行状态表；

展示单元，用于根据所述执行结果数据表，展示所述目标作业任务和所述依赖数据表的依赖关系。

根据本发明的又一方面，提供了一种存储介质，所述存储介质中存储有至少一可执行指令，所述可执行指令使处理器执行如上述大数据任务的管理方法对应的操作。

根据本发明的再一方面，提供了一种计算机设备，包括：处理器、存储器、通信接口和通信总线，所述处理器、所述存储器和所述通信接口通过所述通信总线完成相互间的通信；

所述存储器用于存放至少一可执行指令，所述可执行指令使所述处理器执行上述大数据任务的管理方法对应的操作。

借由上述技术方案，本发明实施例提供的技术方案至少具有下列优点：

本发明提供了一种大数据任务的管理方法及相关设备，首先接收目标作业任务的启动作业请求，然后根据目标作业任务的依赖数据表判断目标作业任务是否为可执行任务，当目标作业任务为可执行任务时，根据逻辑代码执行目标作业任务，生成目标作业任务的执行结果数据表，最后根据执行结果数据表，展示目标作业任务和依赖数据表的依赖关系。与现有技术相比，本发明实施例通过执行结果数据表建立依赖数据表和目标作业任务之间的依赖关系，集中管理数据和调度作业任务，方便查找追溯。以界面化的形式展示依赖关系，实现大数据的集中管理。

上述说明仅是本发明技术方案的概述，为了能够更清楚了解本发明的技术手段，而可依照说明书的内容予以实施，并且为了让本发明的上述和其它目的、特征和优点能够更明显易懂，以下特举本发明的具体实施方式。

附图说明

通过阅读下文优选实施方式的详细描述，各种其他的优点和益处对于本领域普通技术人员将变得清楚明了。附图仅用于示出优选实施方式的目的，而并不认为是对本发明的限制。而且在整个附图中，用相同的参考符号表示相同的部件。在附图中：

图1示出了本发明实施例提供的一种大数据任务的管理方法流程图；

图2示出了本发明实施例另一种大数据任务的管理方法流程图；

图3示出了本发明实施例提供的一种大数据任务的管理装置组成框图；

图4示出了本发明实施例提供的另一种大数据任务的管理装置组成框图；

图5示出了本发明实施例提供的一种计算机设备的结构示意图。

具体实施方式

下面将参照附图更详细地描述本公开的示例性实施例。虽然附图中显示了本公开的示例性实施例，然而应当理解，可以以各种形式实现本公开而不应被这里阐述的实施例所限制。相反，提供这些实施例是为了能够更透彻地理解本公开，并且能够将本公开的范围完整的传达给本领域的技术人员。

大数据平台，是指为行业大数据提供处理能力的数据分析挖掘平台，通常采用大数据处理技术和模式，构建与具体业务松耦合的中间性的大数据统计、分析和挖掘平台。Hadoop实现了一个分布式文件系统，具有高容错性的特点，而且能够提供高吞吐量来访问应用程序的数据，适合那些有着超大数据集的应用程序。本发明实施例中的大数据平台以Hadoop系统为基础架构，实现对大数据任务的管理。

本发明实施例提供了一种大数据任务的管理方法，如图1所示，该方法包括：

101、接收目标作业任务的启动作业请求。

目标作业任务，是指特定的处理大数据的方法，包括上传文件、传递文件、计算特定数据的统计数据等等。目标作业任务是应根据用户发送的启动作业请求而执行的。目标作业任务包括依赖数据表、执行结果数据表和逻辑代码。依赖数据表中包括执行目标作业任务的行业数据，执行目标作业任务依赖的依赖作业任务，以及依赖作业任务的行业数据。行业数据是执行目标作业任务所需的单纯的数据信息，可以由用户上传，也可以通过在行业数据的形成端，设置自动上传规则，使得行业数据与大数据平时中的数据同步。

102、根据目标作业任务的依赖数据表判断目标作业任务是否为可执行作业任务。

可执行作业任务是指存在依赖数据表并且依赖数据表中的依赖作业任务都处于已执行状态的作业任务。在依赖数据表中记录依赖作业任务的执行状态，执行状态包括已执行和未执行两种。在依赖数据表中的依赖作业任务的数量为任意值，首个依赖作业任务为虚拟作业任务，其执行状态默认为已执行状态。通过这是虚拟作业任务的方式，使得在目标作业任务没有依赖作业任务时，也能通过该方法判断目标作业任务是否为可执行任务。

103、当目标作业任务为可执行作业任务时，根据逻辑代码执行目标作业任务，生成目标作业任务的执行结果数据表。

逻辑代码，通常是指SQL代码，可以是Hive、Shell、Python、SSH等类执行脚本。在逻辑代码中记录目标作业任务的具体执行过程。目标作业任务执行完成后，生成对应的执行结果数据表，执行结果数据表包括依赖结果记录表和目标作业任务的执行状态表。在依赖结果记录表中，记录执行目标作业任务所需的数据表的数据来源，保存位置、当前状态等等，同时还记录目标作业任务的执行状态、执行日期、作业名称等执行情况。需要说明的是，在实际执行目标作业任务过程中，网络状态、数据传输状态、大数据平台的稳定性和大数据平台的资源分配情况都会干扰目标作业任务的执行进程，所有在启动执行目标任务后，还需要记录执行结果，而不是默认所有目标任务都能够成功执行。

104、根据执行结果数据表，展示目标作业任务和依赖数据表的依赖关系。

在展示依赖关系时，采用ECharts图表的方式。ECharts是用java脚本语言编写的图表库，能够提供直观、生动、可交互、可高度定制化的可视化数据表。利用强大的ECharts技术以图的形式展示依赖数据表、目标作业任务之间的关系，并且可以在界面上将依赖数据表和目标作业任务设置为节点，通过节点实现查找依赖数据表内容、查找目标作业任务内容、目标作业任务执行状态和控制目标作业任务。依赖数据表和目标作业任务之间是生成与输出的关系，所以任意具有连接关系的节点A和B之间的依赖关系是指A节点是B节点的输出结果，B节点是A节点的生成依据。

本发明提供了一种大数据任务的管理方法，首先接收目标作业任务的启动作业请求，然后根据目标作业任务的依赖数据表判断目标作业任务是否为可执行任务，当目标作业任务为可执行任务时，根据逻辑代码执行目标作业任务，生成目标作业任务的执行结果数据表，最后根据执行结果数据表，展示目标作业任务和依赖数据表的依赖关系。与现有技术相比，本发明实施例通过执行结果数据表建立依赖数据表和目标作业任务之间的依赖关系，集中管理数据和调度作业任务，方便查找追溯。以界面化的形式展示依赖关系，实现大数据的集中管理。

本发明实施例提供了另一种大数据任务的管理方法，如图4所示，该方法包括：

201、获取初始数据。

初始数据，是大数据平台运行的基础，是统计行业数据的前提，是执行目标作业任务所需的数据，是实现作业任务的必要条件，初始数据来源于生产库或者从第三方测试或统计系统。初始数据，可以是生产库或者第三方系统主动传递到大数据平台，也可以由生产库或者第三方系统接收到大数据平台发送获取求情指令后再发送的，还可以是大数据平台直接从生产库或者第三方系统抓取的。

随着时间或者使用环境的变化生产库或者第三方系统中的初始数据是不断变化的，据此获取初始数据之后，还包括：按照预置时间间隔，查找是否接收到初始数据的更新指令；如果接收到所述更新指令，则获取所述更新指令对应的初始数据。在大数据平台接收生产库或者第三方系统的更新指令，如果初始数据被更新，则获取更新指令对应的初始数据，以保证初始数据的实时性。

202、将初始数据导入至相应的作业任务。

查找与初始数据相应的作业任务，将初始数据导入至相应的作业任务的依赖数据表中。其导入方法，可以是直接复制初始数据并粘贴至相应的依赖数据表中，还可以通过程序设置以初始数据的存储位置为导入参数，通过导入参数将初始数据导入至依赖数据表。

203、接收目标作业任务的启动作业请求。

204、根据目标作业任务的依赖数据表判断目标作业任务是否为可执行作业任务。

目标作业任务包括依赖数据表、执行结果数据表和逻辑代码，可执行作业任务是指存在依赖数据表并且依赖数据表中的依赖作业任务都处于已执行状态的作业任务。具体判断过程包括：查找目标作业任务的依赖数据表，依赖数据表包括依赖作业任务和依赖作业任务的执行状态；如果依赖作业任务的执行状态都是已执行状态，则确定目标作业任务是可执行任务。

目标作业任务，可能是直接处理初始数据，也可能是在其他作业任务的处理结果基础上进行再处理。所以目标作业任务能够执行的前提是其他作业任务都处于以执行状态。其他作业任务就是目标作业任务的依赖作业任务，依赖作业任务和依赖作业任务的执行状态都保存在依赖数据表中。在判断过程中如果依赖数据表中的依赖作业任务的执行状态为已执行状态，则目标作业任务为可执行任务。如果依赖作业任务为未执行状态，那么设置将未执行的依赖作业任务反馈至大数据平台，或者设置自动重新执行依赖作业任务。

205、当目标作业任务为可执行作业任务时，根据逻辑代码执行目标作业任务，生成目标作业任务的执行结果数据表。

本步骤具体包括：

205a、按照所述逻辑代码执行所述目标作业任务，获取所述目标作业任务的执行状态信息；

205b、创建依赖结果记录表，所述依赖结果表中包括主键、数据库名称、数据库表名、同步状态和同步日期五个字段；

205c、将所述依赖数据表中的对应信息导入所述依赖结果记录表的主键、数据库名称和数据库表名三个字段；

205d、将所述导入的当前时刻时间保存至所述依赖结果记录表的同步日期字段中，并将是否导入成功的结果保存至所述依赖结果记录表中的同步状态字段；

205e、根据所述目标作业任务的执行状态信息，生成所述目标任务的执行状态表，所述执行状态表包括主键、作业中文名、作业英文名、执行状态和执行日期五个字段；

205f、合并所述依赖结果记录表和所述执行状态表，生成所述目标作业任务的所述执行结果数据表。

逻辑代码中记录目标任务对依赖数据表中的依赖任务和初始数据的处理过程。执行逻辑代码，在大数据平台的后台中按照逻辑代码的运算规则进行运算。在执行完成后，通过需要反馈运算结果，如果接收到运算结果那么说明目标作业任务已执行，也就是目标作业任务的的执行状态信息为已执行。如果超过预置的最长执行时间，还未接收到运算结果那么说明目标作业任务未执行，或未成功执行，也就是目标作业任务的执行状态信息为未执行。执行结果数据表包括依赖结果记录表和目标作业任务的执行状态表。依赖结果记录表记录数据信息，将初始数据中的数据来源、存储位置、属性等信息，相应的导入依赖结果记录表的主键、数据库名称、数据库表名、同步状态和同步日期五个字段的字段内容位置。类似的，将目标作业任务的执行情况相应的导入执行状态表中主键、作业中文名、作业英文名、执行状态和执行日期五个字段的字段内容位置。

206、根据执行结果数据表，展示目标作业任务和依赖数据表的依赖关系。

此时的目标作业任务是指已经执行完成，已生成执行结果数据表，在目标作业任务对应文件中包含执行结果数据表。在保存过程中，为了更好的使用或传递执行结果数据表中的内容，可以按照作业任务类型将目标作业任务打包成压缩文件，再通过选择作业任务类型，将目标作业任务解压至预置目录，并在预置目标中保存目标作业任务。

展示目标作业任务和依赖数据表的依赖关系，包括：

206a、以所述目标作业任务建立ECharts的作业节点，所述作业节点用于响应用户操作实现查找作业内容、作业状态和执行日志，所述作业节点用于响应用户操作实现控制作业启动、作业挂起、作业停止和作业重新运行；

206b、以所述依赖数据表为立ECharts的表节点，所述表节点用于响应于用户操作实现查找所述依赖表的属性和所述同步状态；

206c、根据所述执行结果数据表，解析所述目标作业任务和所述依赖数据表之间的依赖关系；

206d、根据所述依赖关系，连接所述作业节点和所述表节点。

依赖关系，是指作业任务与作业任务之间、作业任务与数据表之间、以及数据表与数据表之间的关联关系。如果将作业任务和数据表看做为节点，那么任意具有连接关系的节点A和B之间的依赖关系是指A节点是B节点的输出结果，B节点是A节点的生成依据。依赖数据表是目标作业任务的生成依据，目标作业任务是依赖结果数据表的输出结果，目标作业任务是执行结果数据表的生成依据，执行结果数据表是目标任务的输出结果。在依赖数据表中包括依赖作业任务，每个依赖作业任务与目标作业任务相似，也存在依赖作业任务和其对应的依赖数据表的依赖关系。在本发明中的依赖关系，包括目标作业任务和依赖作业任务与各自的依赖数据表之间的依赖关系。通过依赖关系能够查找到每个作业任务与初始数据之间的关系，也就是将全部的作业任务和初始数据相关联。

展示目标作业任务和依赖数据表的依赖关系之后，还包括：

206e、获取所述执行结果数据表中的依赖作业任务和所述依赖作业任务对应的依赖数据表；

206f、以所述依赖作业任务建立ECharts的作业节点，以所述依赖作业任务对应的依赖数据表为立ECharts的表节点；

206g、根据所述目标作业任务、所述依赖数据表、所述依赖作业任务和所述依赖作业任务对应的依赖数据表的依赖关系，连接所述作业节点和所述表节点。

在展示时，还可以展示目标作业任务、所述依赖数据表、所述依赖作业任务和所述依赖作业任务对应的依赖数据表的依赖关系，以形成所有的初始数据与作业任务之间的依赖关系，实现对整个大数据平台的管理。

通过上述设置，通过大数据平台能够直接查看依赖表，查看或者控制作业任务，方便查找追溯，能够快速找出全部下游关系的表和任务，便于操作。通过展示的包括作业节点和表节点的ECharts图表实现对大数据的管理。针对发布目标作业请求的用户，分为用户分为普通用户和管理员用户，管理员用户发布作业任务不需要经过审批流程即可正式发布到生产环境执行，但是会以站内信和邮件的方式通知到所有管理员。普通用户在得到发布作业权限之后才能上传、测试、提交、发布作业到生产环境。

本发明提供了一种大数据任务的管理方法，首先接收目标作业任务的启动作业请求，然后根据目标作业任务的依赖数据表判断目标作业任务是否为可执行任务，当目标作业任务为可执行任务时，根据逻辑代码执行目标作业任务，生成目标作业任务的执行结果数据表，最后根据执行结果数据表，展示目标作业任务和依赖数据表的依赖关系。与现有技术相比，本发明实施例通过执行结果数据表建立依赖数据表和目标作业任务之间的依赖关系，集中管理数据和调度作业任务，方便查找追溯。以界面化的形式展示依赖关系，实现大数据的集中管理。

进一步的，作为对上述图1所示方法的实现，本发明实施例提供了一种大数据任务的管理装置，如图3所示，该装置包括：

接收单元31，用于接收目标作业任务的启动作业请求，其中，所述目标作业任务包括依赖数据表、执行结果数据表和逻辑代码；

判断单元32，用于根据所述目标作业任务的依赖数据表判断所述目标作业任务是否为可执行作业任务；

生成单元33，用于当所述目标作业任务为可执行作业任务时，根据所述逻辑代码执行所述目标作业任务，生成所述目标作业任务的执行结果数据表，其中，所述执行结果数据表包括依赖结果记录表和所述目标作业任务的执行状态表；

展示单元34，用于根据所述执行结果数据表，展示所述目标作业任务和所述依赖数据表的依赖关系。

本发明提供了一种大数据任务的管理装置，首先接收目标作业任务的启动作业请求，然后根据目标作业任务的依赖数据表判断目标作业任务是否为可执行任务，当目标作业任务为可执行任务时，根据逻辑代码执行目标作业任务，生成目标作业任务的执行结果数据表，最后根据执行结果数据表，展示目标作业任务和依赖数据表的依赖关系。与现有技术相比，本发明实施例通过执行结果数据表建立依赖数据表和目标作业任务之间的依赖关系，集中管理数据和调度作业任务，方便查找追溯。以界面化的形式展示依赖关系，实现大数据的集中管理。

进一步的，作为对上述图2所示方法的实现，本发明实施例提供了另一种大数据任务的管理装置，如图4所示，该装置包括：

接收单元41，用于接收目标作业任务的启动作业请求，其中，所述目标作业任务包括依赖数据表、执行结果数据表和逻辑代码；

判断单元42，用于根据所述目标作业任务的依赖数据表判断所述目标作业任务是否为可执行作业任务；

生成单元43，用于当所述目标作业任务为可执行作业任务时，根据所述逻辑代码执行所述目标作业任务，生成所述目标作业任务的执行结果数据表，其中，所述执行结果数据表包括依赖结果记录表和所述目标作业任务的执行状态表；

展示单元44，用于根据所述执行结果数据表，展示所述目标作业任务和所述依赖数据表的依赖关系。

进一步的，所述判断单元42，包括：

查找模块411，用于查找所述目标作业任务的依赖数据表，所述依赖数据表包括依赖作业任务和所述依赖作业任务的执行状态；

确定模块412，用于如果所述依赖作业任务的执行状态都是已执行状态，则确定所述目标作业任务是所述可执行任务。

进一步的，所述生成单元43，包括：

获取模块431，用于按照所述逻辑代码执行所述目标作业任务，获取所述目标作业任务的执行状态信息；

创建模块432，用于创建依赖结果记录表，所述依赖结果表中包括主键、数据库名称、数据库表名、同步状态和同步日期五个字段；

导入模块433，用于将所述依赖数据表中的对应信息导入所述依赖结果记录表的主键、数据库名称和数据库表名三个字段；

所述导入模块433，还用于将所述导入的当前时刻时间保存至所述依赖结果记录表的同步日期字段中，并将是否导入成功的结果保存至所述依赖结果记录表中的同步状态字段；

生成模块434，用于根据所述目标作业任务的执行状态信息，生成所述目标任务的执行状态表，所述执行状态表包括主键、作业中文名、作业英文名、执行状态和执行日期五个字段；

所述生成模块434，还用于合并所述依赖结果记录表和所述执行状态表，生成所述目标作业任务的所述执行结果数据表。

进一步的，所述展示单元44，包括：

获取模块441，用于获取所述执行结果数据表中的依赖作业任务；

建立模块442，用于以所述目标作业任务和所述依赖作业任务建立ECharts的作业节点，所述作业节点用于响应用户操作实现查找作业内容、作业状态和执行日志，所述作业节点用于响应用户操作实现控制作业启动、作业挂起、作业停止和作业重新运行；

所述获取模块441，还用于获取所述依赖结果记录表中的依赖表；

所述建立模块442，还用于以所述依赖表为立ECharts的表节点，所述表节点用于响应于用户操作实现查找所述依赖表的属性和所述同步状态；

连接模块443，用于根据所述依赖作业任务和所述依赖表的依赖关系，连接作业节点和所述表节点。

进一步的，该方法还包括：

所述获取模块441，还用于获取所述执行结果数据表中的依赖作业任务和所述依赖作业任务对应的依赖数据表；

所述建立模块442，还用于以所述依赖作业任务建立ECharts的作业节点，以所述依赖作业任务对应的依赖数据表为立ECharts的表节点；

所述连接模块443，还用于根据所述目标作业任务、所述依赖数据表、所述依赖作业任务和所述依赖作业任务对应的依赖数据表的依赖关系，连接所述作业节点和所述表节点。

进一步的，所述方法还包括：

获取单元45，用于所述判断所述目标作业任务是否为可执行作业任务之前，获取初始数据，所述初始数据是执行所述目标作业任务所需的数据；

导入单元46，用于将所述初始数据导入至相应的作业任务。

进一步的，所述获取单元45，包括：

查找模块451，用于按照预置时间间隔，查找是否接收到初始数据的更新指令；

获取模块452，用于如果接收到所述更新指令，则获取所述更新指令对应的初始数据。

本发明提供了一种大数据任务的管理装置，首先接收目标作业任务的启动作业请求，然后根据目标作业任务的依赖数据表判断目标作业任务是否为可执行任务，当目标作业任务为可执行任务时，根据逻辑代码执行目标作业任务，生成目标作业任务的执行结果数据表，最后根据执行结果数据表，展示目标作业任务和依赖数据表的依赖关系。与现有技术相比，本发明实施例通过执行结果数据表建立依赖数据表和目标作业任务之间的依赖关系，集中管理数据和调度作业任务，方便查找追溯。以界面化的形式展示依赖关系，实现大数据的集中管理。

根据本发明一个实施例提供了一种存储介质，所述存储介质存储有至少一可执行指令，该计算机可执行指令可执行上述任意方法实施例中的大数据任务的管理方法。

图5示出了根据本发明一个实施例提供的一种计算机设备的结构示意图，本发明具体实施例并不对计算机设备的具体实现做限定。

如图5所示，该计算机设备可以包括：处理器(processor)502、通信接口(Communications Interface)504、存储器(memory)506、以及通信总线508。

其中：处理器502、通信接口504、以及存储器506通过通信总线508完成相互间的通信。

通信接口504，用于与其它设备比如客户端或其它服务器等的网元通信。

处理器502，用于执行程序510，具体可以执行上述大数据任务的管理方法实施例中的相关步骤。

具体地，程序510可以包括程序代码，该程序代码包括计算机操作指令。

处理器502可能是中央处理器CPU，或者是特定集成电路ASIC(ApplicationSpecific Integrated Circuit)，或者是被配置成实施本发明实施例的一个或多个集成电路。计算机设备包括的一个或多个处理器，可以是同一类型的处理器，如一个或多个CPU；也可以是不同类型的处理器，如一个或多个CPU以及一个或多个ASIC。

存储器506，用于存放程序510。存储器506可能包含高速RAM存储器，也可能还包括非易失性存储器(non-volatile memory)，例如至少一个磁盘存储器。

程序510具体可以用于使得处理器502执行以下操作：

接收目标作业任务的启动作业请求，其中，所述目标作业任务包括依赖数据表、执行结果数据表和逻辑代码；

根据所述目标作业任务的依赖数据表判断所述目标作业任务是否为可执行作业任务；

当所述目标作业任务为可执行作业任务时，根据所述逻辑代码执行所述目标作业任务，生成所述目标作业任务的执行结果数据表，其中，所述执行结果数据表包括依赖结果记录表和所述目标作业任务的执行状态表；

根据所述执行结果数据表，展示所述目标作业任务和所述依赖数据表的依赖关系。

显然，本领域的技术人员应该明白，上述的本发明的各模块或各步骤可以用通用的计算装置来实现，它们可以集中在单个的计算装置上，或者分布在多个计算装置所组成的网络上，可选地，它们可以用计算装置可执行的程序代码来实现，从而，可以将它们存储在存储装置中由计算装置来执行，并且在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤，或者将它们分别制作成各个集成电路模块，或者将它们中的多个模块或步骤制作成单个集成电路模块来实现。这样，本发明不限制于任何特定的硬件和软件结合。

以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包括在本发明的保护范围之内。

Claims (10)

1.一种大数据任务的管理方法，其特征在于，包括：

接收目标作业任务的启动作业请求，其中，所述目标作业任务包括依赖数据表、执行结果数据表和逻辑代码；

根据所述目标作业任务的依赖数据表判断所述目标作业任务是否为可执行作业任务；

当所述目标作业任务为可执行作业任务时，根据所述逻辑代码执行所述目标作业任务，生成所述目标作业任务的执行结果数据表，其中，所述执行结果数据表包括依赖结果记录表和所述目标作业任务的执行状态表；

根据所述执行结果数据表，展示所述目标作业任务和所述依赖数据表的依赖关系。

2.如权利要求1所述的方法，其特征在于，所述根据所述目标作业任务的依赖数据表判断所述目标作业任务是否为可执行作业任务，包括：

查找所述目标作业任务的依赖数据表，所述依赖数据表包括依赖作业任务和所述依赖作业任务的执行状态；

如果所述依赖作业任务的执行状态都是已执行状态，则确定所述目标作业任务是所述可执行任务。

3.如权利要求2所述的方法，其特征在于，所述根据所述逻辑代码执行所述目标作业任务，生成所述目标作业任务的执行结果数据表，包括：

按照所述逻辑代码执行所述目标作业任务，获取所述目标作业任务的执行状态信息；

创建依赖结果记录表，所述依赖结果表中包括主键、数据库名称、数据库表名、同步状态和同步日期五个字段；

将所述依赖数据表中的对应信息导入所述依赖结果记录表的主键、数据库名称和数据库表名三个字段；

将所述导入的当前时刻时间保存至所述依赖结果记录表的同步日期字段中，并将是否导入成功的结果保存至所述依赖结果记录表中的同步状态字段；

根据所述目标作业任务的执行状态信息，生成所述目标任务的执行状态表，所述执行状态表包括主键、作业中文名、作业英文名、执行状态和执行日期五个字段；

合并所述依赖结果记录表和所述执行状态表，生成所述目标作业任务的所述执行结果数据表。

4.如权利要求3所述的方法，其特征在于，所述根据所述执行结果数据表，展示所述目标作业任务和所述依赖数据表的依赖关系，包括：

以所述目标作业任务建立ECharts的作业节点，所述作业节点用于响应用户操作实现查找作业内容、作业状态和执行日志，所述作业节点用于响应用户操作实现控制作业启动、作业挂起、作业停止和作业重新运行；

以所述依赖数据表为立ECharts的表节点，所述表节点用于响应于用户操作实现查找所述依赖表的属性和所述同步状态；

根据所述执行结果数据表，解析所述目标作业任务和所述依赖数据表之间的依赖关系；

根据所述依赖关系，连接所述作业节点和所述表节点。

5.如权利要求4所述的方法，其特征在于，所述根据所述执行结果数据表，展示所述目标作业任务和所述依赖数据表的依赖关系之后，所述方法还包括：

获取所述执行结果数据表中的依赖作业任务和所述依赖作业任务对应的依赖数据表；

以所述依赖作业任务建立ECharts的作业节点，以所述依赖作业任务对应的依赖数据表为立ECharts的表节点；

根据所述目标作业任务、所述依赖数据表、所述依赖作业任务和所述依赖作业任务对应的依赖数据表的依赖关系，连接所述作业节点和所述表节点。

6.如权利要求2所述的方法，其特征在于，所述判断所述目标作业任务是否为可执行作业任务之前，所述方法还包括：

获取初始数据，所述初始数据是执行所述目标作业任务所需的数据；

将所述初始数据导入至相应的作业任务。

7.如权利要求1所述的方法，其特征在于，所述获取初始数据之后，所述方法还包括：

按照预置时间间隔，查找是否接收到初始数据的更新指令；

如果接收到所述更新指令，则获取所述更新指令对应的初始数据。

8.一种大数据任务的管理装置，其特征在于，包括：

接收单元，用于接收目标作业任务的启动作业请求，其中，所述目标作业任务包括依赖数据表、执行结果数据表和逻辑代码；

判断单元，用于根据所述目标作业任务的依赖数据表判断所述目标作业任务是否为可执行作业任务；

生成单元，用于当所述目标作业任务为可执行作业任务时，根据所述逻辑代码执行所述目标作业任务，生成所述目标作业任务的执行结果数据表，其中，所述执行结果数据表包括依赖结果记录表和所述目标作业任务的执行状态表；

展示单元，用于根据所述执行结果数据表，展示所述目标作业任务和所述依赖数据表的依赖关系。

9.一种存储介质，所述存储介质中存储有至少一可执行指令，所述可执行指令使处理器执行如权利要求1-7中任一项所述的大数据任务的管理方法对应的操作。

10.一种计算机设备，包括：处理器、存储器、通信接口和通信总线，所述处理器、所述存储器和所述通信接口通过所述通信总线完成相互间的通信；

所述存储器用于存放至少一可执行指令，所述可执行指令使所述处理器执行如权利要求1-7中任一项所述的大数据任务的管理方法对应的操作。