CN103019691B - 一种etl作业关系图的转化方法及其实现系统 - Google Patents

Abstract

本发明涉及计算机软件领域，具体来说是一种ETL作业关系图的转化方法及其实现系统。它包括以下步骤：以一个当前任务节点为中心，向后台请求与此当前任务节点相关的任务关系数据；后台接受请求，查找与所述当前任务节点相关的逻辑关系并将其保存成相应的任务关系数据；将所述任务关系数据返回给前台；所述前台接收所述任务关系数据，并将所述任务关系数据绘制成相应的关系图；选择任一任务节点为下一个当前任务节点，重复上述步骤一到步骤四，直至所有任务节点都进行了步骤一到步骤四的操作。使使用者才可以根据自己的意愿观察不同层级和不同角度的逻辑关系图，从而提高工作效率，减少配置中的失误，加快ETL和数据仓库的建设。

Description

一种ETL作业关系图的转化方法及其实现系统

技术领域

本发明涉及计算机软件领域，具体来说是一种ETL作业关系图的转化方法及其实现系统。

背景技术

目前软件行业中的ETL(Extract-Transform-Load，数据抽取、转换、装载)工具，对作业关系之间的描述是通过流程配置或者关系界面进行配置的，作业之间的关系多为树形关系，或者是触发、依赖关系。对于触发、依赖关系的任务，因为依赖关系和触发关系，不是基于标准的树性结构或者层次结构的，所以在ETL任务的依赖，触发关系的图形展示上没有较好的解决方案。它主要存在以下两个缺陷：

1.一般的ETL数据抽取、转换、装载软件的展示都是通过使用者自己定义和绘制依赖，触发关系图，这样的固然可以解决一些问题，但是对于大量的任务作业进行配置的时候，特别是电信，金融行业的逻辑关系，一般情况下会很多，很复杂。对使用者提出了较高的要求，并且造成了很多额外的工作量，需要进行不必要的任务关系绘制；

2.提供快捷的多个逻辑关系的配置，但是在图形展示上面，往往只实现了任务关系树，或者表格数据的展示方式，对于开发者来说，在复杂的作业关系中提供的全部表格数据，如同大海捞针，参考意义基本不大，以至于使用者往往无法正确的观察逻辑关系，而导致逻辑关系配置形成闭环。

发明内容

本发明所要解决的技术问题是提供一种ETL作业关系图的转化方法及其实现系统。

本发明解决上述技术问题的技术方案如下：一种ETL作业关系图的转化方法,包括以下步骤：

步骤一，以一个当前任务节点为中心，向后台J2EE应用开发技术架构请求与此当前任务节点相关的任务关系数据；

步骤二，后台接受请求后，采用前后深度递归的方式，逐层查找与所述当前任务节点相关的逻辑关系，并将所述的逻辑关系保存成相应的任务关系数据；

步骤三，将所述任务关系数据返回给前台Flex词法识别器，所述Flex是一款生成扫描器的工具，它能够识别文本中的词法模式；

步骤四，所述前台接收所述任务关系数据，并将所述任务关系数据绘制成相应的关系图；

步骤五，选择任一任务节点为下一个当前任务节点，重复上述步骤一到步骤四，直至所有任务节点都进行了步骤一到步骤四的操作。

本发明的有益效果是：随着互联网和计算机的快速发展和大量的普及，导致各个行业的数据量都出现了几何数的增长，同时也导致了在大量的冗余数据和数据的不一致，而且这些数据越来越难访问、管理和用于用户决策支持。需要解决这些分散、孤岛数据，势必要建立数据仓库，在数据仓库建设的过程中ETL数据抽取、转换、装载工作是必不可少的一部分，而ETL数据抽取、转换、装载过程中最大、最繁琐、最耗时，耗力的一部分工作就是建立不同的ETL数据抽取、转换、装载任务之间的关系。在关系的建立和以后的管理过程中，对逻辑关系的图形化就有了很多变的要求，只有这样使用者才可以根据自己的意愿观察不同层级和不同角度的逻辑关系图，从而提高工作效率，减少配置中的失误，加快ETL数据抽取、转换、装载和数据仓库的建设。

在上述技术方案的基础上，本发明还可以做如下改进：

进一步，所述逻辑关系以可扩展标记语言的形式保存成任务关系数据并返回给所述前台，所述前台接收所述任务关系数据后对其进行解析并绘制相应的关系图。

进一步，确定当前任务节点后设定所述关系图的样式参数，所述关系图的样式根据所述参数的变化而变化。

进一步，所述参数包括图形布局的选择、所述任务节点的样式、所述任务节点之间的连接线样式。

进一步，所述关系图的绘制包括任务节点的绘制，连接线的绘制，连接线样式的绘制以及布局调整。

采用上述进一步方案的有益效果是，用户可以快速大量的配置逻辑关系，基于一个任务为中心，自动生成不同层次结构，不同区间的逻辑关系图，使用者可以根据不同的观察模式以及参数的设定对生成的逻辑关系图进行重绘，并展示具有层次结构的树形关系图。

一种实现ETL作业关系图转化的系统，它包括数据输入模块，用于输入关系图的样式参数和当前任务节点的选择，并向数据处理模块请求与此当前任务节点相关的任务关系数据；

数据处理模块，用于接收上述的请求，查找与所述当前任务节点相关的逻辑关系，并将所述的逻辑关系封装成相应的任务关系数据返回给数据显示模块；

数据显示模块，用于接收和解析所述的任务关系数据，并将所述任务关系数据绘制成相应的关系图。

所述数据处理模块包括前台处理模块和后台处理模块，所述前台处理包括向后台处理模块请求与此当前任务节点相关的任务关系数据；所述后台处理模块包括用于接收上述的请求，查找与所述当前任务节点相关的逻辑关系，并将所述的逻辑关系封装成相应的任务关系数据返回给数据显示模块。

附图说明

图1为本发明的流程图；

图2为本发明前台的流程图；

图3为本发明后台的流程图；

图4为本发明的实现系统的框图。

具体实施方式

以下结合附图对本发明的原理和特征进行描述，所举实例只用于解释本发明，并非用于限定本发明的范围。

一种ETL作业关系图的转化方法,如图1所示，包括以下步骤：

步骤001，选择一个任务节点作为当前任务节点；

步骤002，用户在前台界面上通过勾选或者下拉菜单的选择的方式配置与所需关系图相关的参数；

步骤003，前台Flex词法识别器以一个当前任务节点为中心，向后台J2EE应用开发技术架构请求与此当前任务节点相关的任务关系数据；

步骤004，后台接受请求后，采用前后深度递归的方式，逐层查找与所述当前任务节点相关的逻辑关系，并将所述的逻辑关系保存成相应的任务关系数据，并将所述任务关系数据返回给前台；

步骤005，所述前台接收所述任务关系数据，并将所述任务关系数据绘制成相应的关系图；

步骤006，选择任一任务节点为下一个当前任务节点，重复上述步骤一到步骤四，直至所有任务节点都进行了步骤一到步骤四的操作或者是前台用户不再继续选择当前任务节点。

在上述技术方案的基础上，本发明还可以做如下改进：

所述逻辑关系以可扩展标记语言(XML)的形式保存成任务关系数据并返回给所述前台，所述前台接收所述任务关系数据后对其进行解析并绘制相应的关系图。

确定当前任务节点后设定所述关系图的样式参数，所述关系图的样式根据所述参数的变化而变化。

所述参数包括图形布局的选择、所述任务节点的样式、所述任务节点之间的连接线样式，所述图形布局的选择可以选择关系图和循环关系图，关系图用于关系较少的任务节点，而循环关系图用于关系比较复杂的关系图，所述任务节点的样式可以设置为基本模式和图标模式，所述基本模式的任务节点是以小圆点的形式表示的，所述图标模式的节点是以形象的图标表示的，所述连接线样式可以设置为直线连接和折线连接。

所述关系图的绘制包括任务节点的绘制，连接线的绘制，连接线样式的绘制以及布局调整。

如图4所示，一种实现ETL作业关系图转化的系统，它包括数据输入模块，用于输入关系图的样式参数和当前任务节点的选择，并向数据处理模块请求与此当前任务节点相关的任务关系数据；

数据处理模块，用于接收上述的请求，查找与所述当前任务节点相关的逻辑关系，并将所述的逻辑关系封装成相应的任务关系数据返回给数据显示模块；

数据显示模块，用于接收和解析所述的任务关系数据，并将所述任务关系数据绘制成相应的关系图。

所述数据处理模块包括前台处理模块和后台处理模块，所述前台处理包括向后台处理模块请求与此当前任务节点相关的任务关系数据；所述后台处理模块包括用于接收上述的请求，查找与所述当前任务节点相关的逻辑关系，并将所述的逻辑关系封装成相应的任务关系数据返回给数据显示模块。

图2为本发明前台的流程图，如图2将所述关系图的绘制流程做了详细的描述，它包括对所述任务关系的解析，根据当前任务节点的有无X、Y坐标的判定确定所述当前任务节点的位置，再根据由所述后台返回的与所述当前任务节点相关的任务关系数据进行连接线的的绘制，根据前台设置的与所述关系图相关的参数绘制决定连接线的样式，所述连接线的样式可以选择直线连接和折线连接。

图3是本发明后台的流程图，后台的主要工作是查找与所述当前任务节点相关的逻辑关系，并将所述的逻辑关系保存成相应的任务关系数据，并将所述任务关系数据返回给前台。如图3所示，关系模式的判断是根据从输入端接收过来的参数设定来判断的，所述关系模式包括当前任务节点之前的所有关系、当前任务节点之后的所有关系以及当前任务节点的所有关系，采用前后深度递归的方式，图3中递归深度判断是指当前任务节点与下一个包括当前任务节点的任务节点或上一个包括当前任务节点的任务节点进行深度的比较，逐层查找与所述当前任务节点相关的逻辑关系，以可扩展标记语言(XML)的形式保存成任务关系数据并返回给所述前台。

以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (5)

1.一种ETL作业关系图的转化方法,其特征在于，包括以下步骤：

步骤一，以一个当前任务节点为中心，向后台J2EE应用开发技术架构请求与此当前任务节点相关的任务关系数据；

步骤二，后台接受请求后，采用前后深度递归的方式，逐层查找与所述当前任务节点相关的逻辑关系，并将所述的逻辑关系保存成相应的任务关系数据；

步骤三，将所述任务关系数据返回给前台Flex词法识别器；

步骤四，所述前台接收所述任务关系数据，并将所述任务关系数据绘制成相应的关系图；

步骤五，选择任一任务节点为下一个当前任务节点，重复上述步骤一到步骤四，直至所有任务节点都进行了步骤一到步骤四的操作；

所述逻辑关系以可扩展标记语言的形式保存成任务关系数据并返回给所述前台，所述前台接收所述任务关系数据后对其进行解析并绘制相应的关系图。

2.根据权利要求1所述的一种ETL作业关系图的转化方法,其特征在于，确定当前任务节点后设定所述关系图的样式参数，所述关系图的样式根据所述参数的变化而变化。

3.根据权利要求2所述的一种ETL作业关系图的转化方法,其特征在于，所述参数包括图形布局的选择、所述任务节点的样式、所述任务节点之间的连接线样式。

4.根据权利要求1至3任一所述的一种ETL作业关系图的转化方法,其特征在于，所述关系图的绘制包括任务节点的绘制，连接线的绘制，连接线样式的绘制以及布局调整。

5.一种实现ETL作业关系图转化的系统，其特征在于，它包括数据输入模块、数据处理模块和数据显示模块；

数据输入模块，用于输入关系图的样式参数和当前任务节点的选择；

数据处理模块包括前台处理模块和后台处理模块，所述前台处理模块用于向后台处理模块请求与此当前任务节点相关的任务关系数据；所述后台处理模块用于接收上述的请求，采用前后深度递归的方式，逐层查找与所述当前任务节点相关的逻辑关系，并将所述的逻辑关系以可扩展标记语言的形式封装成相应的任务关系数据返回给数据显示模块；

数据显示模块，用于接收和解析所述的任务关系数据，并将所述任务关系数据绘制成相应的关系图。