CN108845798A - 一种可视化大数据任务编排框架及处理方法 - Google Patents

Abstract

本发明公开了一种可视化大数据任务编排框架及处理方法，包括：用户交互组件、任务设计面板组件、图形解释组件、任务运行接口组件、任务监控组件、元数据库，其中，用户通过用户交互组件在任务设计面板组件上设计任务流程图；图形解释组件自动分析任务流程图并生成流程图元数据存入元数据库；任务运行接口组件从元数据库中获取流程图元数据并在大数据环境中运行实际任务；任务监控组件监控任务运行状态，并通过图形解释组件和任务设计面板组件实时更新任务运行状态。本发明解决了大数据领域的任务流程化设计不直观的问题，提高了用户编排大数据任务的效率。

Description

一种可视化大数据任务编排框架及处理方法

技术领域

本发明属于计算机可视化设计技术领域，尤其涉及一种可视化大数据任务编排框架及处理方法。

背景技术

目前大数据领域的任务设计方法非常简陋，没有一种用户可视化的设计工具，基本仅靠系统自带shell脚本通过的crontab定时管理器来实现任务的提交与运行，多个任务的流程化设计仅能通过列表或数据库字段手动填写任务的依赖关系，之后用户再通过写程序实现任务的流程化顺序执行，非常的麻烦和不直观，且容易出错。

发明内容

为了克服上述现有技术中的缺陷，本发明提供一种可视化大数据任务编排框架，解决了大数据领域的任务流程化设计不直观的问题，提高了用户编排大数据任务的效率。

为实现上述目的，本发明采用以下技术方案：

一种可视化大数据任务编排框架，包括如下组成部分：

用户交互组件，包括前端web浏览器，前端web浏览器支持展示的终端为手机或电脑，用户交互组件与任务设计面板组件之间双向通信连接，用户通过用户交互组件在任务设计面板上设计任务；任务设计面板组件通过用户交互组件的前端web浏览器向用户展示任务运行状态；

任务设计面板组件，包括任务设计面板，为用户提供可视化的设计任务流程图服务，任务设计面板组件与图形解释组件之间双向通信连接，任务设计面板组件向图形解释组件提交任务流程图；图形解释组件向任务设计面板组件反馈任务运行状态；

图形解释组件，对任务流程图进行自动分析处理，并生成流程图元数据，所述分析处理包括流程解析、依赖管理、任务映射、定时调度，图形解释组件与元数据库之间双向通信连接，图形解释组件将流程图元数据存入元数据库；图形解释组件从元数据库获取任务运行状态数据；

元数据库，存储任务设计面板配置数据、流程图元数据、任务运行状态数据，元数据库连接任务运行接口组件，元数据库向任务运行接口组件发送流程图元数据；

任务运行接口组件，包括任务的实际运行环境接口，任务运行接口组件连接大数据环境，通过任务运行接口组件对大数据环境中实际任务进行运行；

任务监控组件，任务监控组件的输入端连接大数据环境，监控正在运行的任务，任务监控组件的输出端连接元数据库，将任务运行状态数据存入元数据库。

用户在所述任务设计面板上通过鼠标的拖拽连接任务节点和键盘的输入配置任务节点的任务信息来完成任务流程图的设计。

所述流程解析，为任务流程图的解析；所述依赖管理，为任务流程图上的多个任务节点之间依赖关系的处理；所述任务映射，为任务流程图上的任务节点在大数据环境中实际任务的映射；所述定时调度，为任务流程图上的任务节点的运行。

所述可视化大数据任务编排框架嵌入在web前端JS程序中。

所述可视化大数据任务编排框架在嵌入web前端JS程序时，用户使用元数据库中的任务设计面板配置数据来配置任务设计面板组件和图形解释组件，用户通过配置后的任务设计面板组件设计任务流程图，且配置后的图形解释组件对任务流程图进行自动分析处理。

用户通过任务设计面板组件在任务流程图上实时添加和删除任务节点得到新的任务流程图，且图形解释组件会对新的任务流程图进行分析处理，映射为实际任务并运行。

所述可视化大数据任务编排框架支持java，shell，mapreduce，hive，spark类型的大数据任务。

所述图形解释组件获取任务运行状态数据并将任务运行状态反馈给任务设计面板组件，且当任务运行状态出现异常时，图形解释组件将任务运行异常的状态反馈给任务设计面板组件，任务设计面板组件在前端web浏览器产生任务运行异常的告警信息。

本发明还提供一种可视化大数据任务编排框架的处理方法，包括以下步骤：

S1，可视化大数据任务编排框架嵌入到前端web浏览器中，用户使用元数据库中任务设计面板配置数据来配置任务设计面板组件和图形解释组件；

S2，用户启动程序后，可视化大数据任务编排框架根据任务设计面板配置数据初始化任务设计面板组件；

S3，展示可视化的任务设计面板；

S4，用户拖动一个或多个任务节点到任务设计面板上，通过键盘配置任务节点的信息，并通过鼠标在任务节点间拖动连接线，完成任务节点的流程图的建立，保存并提交任务流程图；

S5，图形解释组件自动分析任务流程图，并生成流程图元数据存入元数据库；包括：图形解释组件自动解析任务流程图，图形解释组件自动处理任务流程图上任务节点之间的依赖关系，图形解释组件将任务节点映射到大数据环境中实际任务，图形解释组件运行任务；

S6，任务运行接口组件根据流程图元数据在大数据环境中运行实际任务；

S7，任务监控组件监控大数据环境中正在运行的任务，并将任务运行状态数据存入元数据库，通过图形解释组件和任务设计面板组件在前端web浏览器上实时更新任务运行状态；

S8，前一个任务节点执行完成后，可视化大数据任务编排框架自动运行下个任务节点，多个任务节点按照设计的任务流程图的顺序自动执行。

本发明的优点在于：

(1)本发明向用户提供可视化的设计环境，降低了任务编排的复杂性，减少了设计人员的开发和维护工作，提高了用户体验。

(2)本发明自动分析用户提交的任务流程图，并映射为实际任务定时调度运行。

(3)用户只需把可视化任务编排框架嵌入到web前端JS程序中并进行配置，就可以使用可视化任务编排框架编排任务，极大地简化了大数据任务的设计编排工作。

(4)用户可以实时在任务流程图上添加和删除任务流程图上的任务节点，实现了动态修改任务流程图。

(5)可视化大数据任务编排框架支持主流的java，shell，mapreduce，hive，spark类型的大数据任务，降低了开发门槛。

(6)本发明在前端web浏览器上实时更新任务的运行状态，且对任务运行异常的状态产生告警信息。

附图说明

图1为本发明一种可视化大数据任务编排框架的任务设计面板示意图。

图2为本发明一种可视化大数据任务编排框架处理方法的方法流程图。

图3为本发明一种可视化大数据任务编排框架的系统架构图。

图4为本发明一种可视化大数据任务编排框架的数据流程图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

如图2所示，一种可视化大数据任务编排框架的处理方法，包括以下步骤：

S1，将可视化大数据任务编排框架嵌入到web前端JS程序中；

S2，用户使用元数据库中任务设计面板配置数据来配置任务设计面板组件和图形解释组件；

S3，用户启动程序，可视化大数据任务编排框架根据任务设计面板配置数据初始化并加载任务设计面板组件和图形解释组件；

S4，判断是否加载成功，若是，则执行步骤S5；否则，重新执行步骤S1；

S5，展示可视化任务设计面板；

S6，用户使用鼠标拖动任务节点和连接线到任务设计面板上，用户使用键盘配置设计面板上的任务节点的信息，建立任务流程图；

S7，用户保存并提交任务流程图；

S8，可视化大数据任务编排框架自动分析任务流程图，并生成流程图元数据存入元数据库，自动分析包括：图形解释组件解析任务流程图，图形解释组件处理任务流程图上任务节点之间的依赖关系，图形解释组件将任务节点映射到大数据环境中实际任务，图形解释组件运行任务；

S9，任务运行接口组件根据流程图元数据在大数据环境中运行实际任务；

S10，任务监控组件监控大数据环境中正在运行的任务，并将任务运行状态数据存入元数据库；

S11，图形解释组件获取任务运行状态数据，并将任务运行状态反馈给任务设计面板组件，任务设计面板组件在前端web浏览器上实时更新任务运行状态；

S12，当前任务节点执行完成后，可视化大数据任务编排框架按照任务流程图的顺序自动运行下个任务节点，继续执行步骤S9。

步骤S11中，当任务运行状态出现异常时，图形解释组件也会将任务运行异常的状态反馈给任务设计面板组件，任务设计面板组件在前端web浏览器产生运行异常的告警消息。

如图3所示，一种可视化大数据任务编排框架的系统架构，包括：用户交互组件1、任务设计面板组件2、图形解释组件3、元数据库4、任务运行组件5、任务监控组件6。

其中，用户交互组件1为前端web浏览器，前端web浏览器支持展示的终端为手机或电脑，用户交互组件1与任务设计面板组件2之间双向通信连接，用户通过用户交互组件1在任务设计面板组件2上设计任务流程图；任务设计面板组件2通过用户交互组件1实时更新任务运行状态。

任务设计面板组件2为任务设计面板，任务设计面板组件2与图像解释组件3之间双向通信连接，任务设计面板组件2向图形解释组件3提交任务流程图；图形解释组件3向任务设计面板2反馈任务运行状态。

图形解释组件3自动分析任务流程图，包括：流程解析、依赖管理、任务映射、定时调度，图形解释组件3与元数据库4之间双向通信连接，图形解释组件3向元数据库4提交流程图元数据；元数据库4向图形解释组件3发送任务运行状态数据。

元数据库4存储任务设计面板配置数据、流程图元数据、任务运行状态数据，元数据库4连接任务运行接口组件5，元数据库4向任务运行接口组件5发送流程图元数据。

任务运行接口组件5为任务的实际运行环境接口，任务运行接口组件5连接大数据环境，任务运行接口组件对大数据环境中实际任务进行运行。

任务监控组件6的输入端连接大数据环境，监控正在运行的任务；任务监控组件6的输出端连接元数据库4，将任务运行状态数据存入元数据库4。

如图4所示，一种可视化大数据任务编排框架的数据流程图，包括以下步骤：

S1，用户通过设计面板提交任务流程图。

S2，图形解释组件自动分析任务流程图，生成流程图元数据存入元数据库。

S3，任务运行接口组件从元数据库获取流程图元数据，在大数据任务运行环境中，进行任务的实际运行。

S4，任务监控组件监控大数据任务运行环境中任务的运行状态。

S5，任务监控组件将任务运行状态数据更新到元数据库中。

S6，图形解释组件从元数据中获取任务运行状态数据并将任务运行状态反馈给任务设计面板组件。

S7，任务设计面板组件在前端web浏览器上实时更新任务运行状态。

以上仅为本发明创造的较佳实施例而已，并不用以限制本发明创造，凡在本发明创造的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明创造的保护范围之内。

Claims (9)

1.一种可视化大数据任务编排框架，其特征在于，包括如下组成部分：

用户交互组件，包括前端web浏览器，前端web浏览器支持展示的终端为手机或电脑，用户交互组件与任务设计面板组件之间双向通信连接，用户通过用户交互组件在任务设计面板上设计任务；任务设计面板组件通过用户交互组件的前端web浏览器向用户展示任务运行状态；

任务设计面板组件，包括任务设计面板，为用户提供可视化的设计任务流程图服务，任务设计面板组件与图形解释组件之间双向通信连接，任务设计面板组件向图形解释组件提交任务流程图；图形解释组件向任务设计面板组件反馈任务运行状态；

图形解释组件，对任务流程图进行自动分析处理，并生成流程图元数据，所述分析处理包括流程解析、依赖管理、任务映射、定时调度，图形解释组件与元数据库之间双向通信连接，图形解释组件将流程图元数据存入元数据库；图形解释组件从元数据库获取任务运行状态数据；

元数据库，存储任务设计面板配置数据、流程图元数据、任务运行状态数据，元数据库连接任务运行接口组件，元数据库向任务运行接口组件发送流程图元数据；

任务运行接口组件，包括任务的实际运行环境接口，任务运行接口组件连接大数据环境，通过任务运行接口组件对大数据环境中实际任务进行运行；

任务监控组件，任务监控组件的输入端连接大数据环境，监控正在运行的任务，任务监控组件的输出端连接元数据库，将任务运行状态数据存入元数据库。

2.根据权利要求1所述的一种可视化大数据任务编排框架，其特征在于，用户在所述任务设计面板上通过鼠标的拖拽连接任务节点和键盘的输入配置任务节点的任务信息来完成任务流程图的设计。

3.根据权利要求1所述的一种可视化大数据任务编排框架，其特征在于，所述流程解析，为任务流程图的解析；所述依赖管理，为任务流程图上的多个任务节点之间依赖关系的处理；所述任务映射，为任务流程图上的任务节点在大数据环境中实际任务的映射；所述定时调度，为任务流程图上的任务节点的运行。

4.根据权利要求1所述的一种可视化大数据任务编排框架，其特征在于，所述可视化大数据任务编排框架嵌入在web前端JS程序中。

5.根据权利要求4所述的一种可视化大数据任务编排框架，其特征在于，所述可视化大数据任务编排框架在嵌入web前端JS程序时，用户使用元数据库中的任务设计面板配置数据来配置任务设计面板组件和图形解释组件，用户通过配置后的任务设计面板组件设计任务流程图，且配置后的图形解释组件对任务流程图进行自动分析处理。

6.根据权利要求1所述的一种可视化大数据任务编排框架，其特征在于，用户通过任务设计面板组件在任务流程图上实时添加和删除任务节点得到新的任务流程图，且图形解释组件会对新的任务流程图进行分析处理，映射为实际任务并运行。

7.根据权利要求1所述的一种可视化大数据任务编排框架，其特征在于，所述可视化大数据任务编排框架支持java，shell，mapreduce，hive，spark类型的大数据任务。

8.根据权利要求1所述的一种可视化大数据任务编排框架，其特征在于，所述图形解释组件获取任务运行状态数据并将任务运行状态反馈给任务设计面板组件，且当任务运行状态出现异常时，图形解释组件将任务运行异常的状态反馈给任务设计面板组件，任务设计面板组件在前端web浏览器产生任务运行异常的告警信息。

9.一种可视化大数据任务编排框架的处理方法，其特征在于，包括以下步骤：

S1，可视化大数据任务编排框架嵌入到前端web浏览器中，用户使用元数据库中任务设计面板配置数据来配置任务设计面板组件和图形解释组件；

S2，用户启动程序后，可视化大数据任务编排框架根据任务设计面板配置数据初始化任务设计面板组件；

S3，展示可视化的任务设计面板；

S4，用户拖动一个或多个任务节点到任务设计面板上，通过键盘配置任务节点的信息，并通过鼠标在任务节点间拖动连接线，完成任务节点的流程图的建立，保存并提交任务流程图；

S5，图形解释组件自动分析任务流程图，并生成流程图元数据存入元数据库；包括：图形解释组件自动解析任务流程图，图形解释组件自动处理任务流程图上任务节点之间的依赖关系，图形解释组件将任务节点映射到大数据环境中实际任务，图形解释组件运行任务；

S6，任务运行接口组件根据流程图元数据在大数据环境中运行实际任务；

S7，任务监控组件监控大数据环境中正在运行的任务，并将任务运行状态数据存入元数据库，通过图形解释组件和任务设计面板组件在前端web浏览器上实时更新任务运行状态；

S8，前一个任务节点执行完成后，可视化大数据任务编排框架自动运行下个任务节点，多个任务节点按照设计的任务流程图的顺序自动执行。