CN103019691A - 一种etl作业关系图的转化方法及其实现系统 - Google Patents
一种etl作业关系图的转化方法及其实现系统 Download PDFInfo
- Publication number
- CN103019691A CN103019691A CN2012104768209A CN201210476820A CN103019691A CN 103019691 A CN103019691 A CN 103019691A CN 2012104768209 A CN2012104768209 A CN 2012104768209A CN 201210476820 A CN201210476820 A CN 201210476820A CN 103019691 A CN103019691 A CN 103019691A
- Authority
- CN
- China
- Prior art keywords
- relation
- task
- data
- task node
- node
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Abstract
本发明涉及计算机软件领域，具体来说是一种ETL作业关系图的转化方法及其实现系统。它包括以下步骤：以一个当前任务节点为中心，向后台请求与此当前任务节点相关的任务关系数据；后台接受请求，查找与所述当前任务节点相关的逻辑关系并将其保存成相应的任务关系数据；将所述任务关系数据返回给前台；所述前台接收所述任务关系数据，并将所述任务关系数据绘制成相应的关系图；选择任一任务节点为下一个当前任务节点，重复上述步骤一到步骤四，直至所有任务节点都进行了步骤一到步骤四的操作。使使用者才可以根据自己的意愿观察不同层级和不同角度的逻辑关系图，从而提高工作效率，减少配置中的失误，加快ETL和数据仓库的建设。
Description
技术领域
本发明涉及计算机软件领域，具体来说是一种ETL作业关系图的转化方法及其实现系统。
背景技术
目前软件行业中的ETL(Extract-Transform-Load，数据抽取、转换、装载)工具，对作业关系之间的描述是通过流程配置或者关系界面进行配置的，作业之间的关系多为树形关系，或者是触发、依赖关系。对于触发、依赖关系的任务，因为依赖关系和触发关系，不是基于标准的树性结构或者层次结构的，所以在ETL任务的依赖，触发关系的图形展示上没有较好的解决方案。它主要存在以下两个缺陷：
1.一般的ETL数据抽取、转换、装载软件的展示都是通过使用者自己定义和绘制依赖，触发关系图，这样的固然可以解决一些问题，但是对于大量的任务作业进行配置的时候，特别是电信，金融行业的逻辑关系，一般情况下会很多，很复杂。对使用者提出了较高的要求，并且造成了很多额外的工作量，需要进行不必要的任务关系绘制；
2.提供快捷的多个逻辑关系的配置，但是在图形展示上面，往往只实现了任务关系树，或者表格数据的展示方式，对于开发者来说，在复杂的作业关系中提供的全部表格数据，如同大海捞针，参考意义基本不大，以至于使用者往往无法正确的观察逻辑关系，而导致逻辑关系配置形成闭环。
发明内容
本发明所要解决的技术问题是提供一种ETL作业关系图的转化方法及其实现系统。
本发明解决上述技术问题的技术方案如下：一种ETL作业关系图的转化方法,包括以下步骤：
步骤一，以一个当前任务节点为中心，向后台J2EE应用开发技术架构请求与此当前任务节点相关的任务关系数据；
步骤二，后台接受请求后，采用前后深度递归的方式，逐层查找与所述当前任务节点相关的逻辑关系，并将所述的逻辑关系保存成相应的任务关系数据；
步骤三，将所述任务关系数据返回给前台Flex词法识别器，所述Flex是一款生成扫描器的工具，它能够识别文本中的词法模式；
步骤四，所述前台接收所述任务关系数据，并将所述任务关系数据绘制成相应的关系图；
步骤五，选择任一任务节点为下一个当前任务节点，重复上述步骤一到步骤四，直至所有任务节点都进行了步骤一到步骤四的操作。
本发明的有益效果是：随着互联网和计算机的快速发展和大量的普及，导致各个行业的数据量都出现了几何数的增长，同时也导致了在大量的冗余数据和数据的不一致，而且这些数据越来越难访问、管理和用于用户决策支持。需要解决这些分散、孤岛数据，势必要建立数据仓库，在数据仓库建设的过程中ETL数据抽取、转换、装载工作是必不可少的一部分，而ETL数据抽取、转换、装载过程中最大、最繁琐、最耗时，耗力的一部分工作就是建立不同的ETL数据抽取、转换、装载任务之间的关系。在关系的建立和以后的管理过程中，对逻辑关系的图形化就有了很多变的要求，只有这样使用者才可以根据自己的意愿观察不同层级和不同角度的逻辑关系图，从而提高工作效率，减少配置中的失误，加快ETL数据抽取、转换、装载和数据仓库的建设。
在上述技术方案的基础上，本发明还可以做如下改进：
进一步，所述逻辑关系以可扩展标记语言的形式保存成任务关系数据并返回给所述前台，所述前台接收所述任务关系数据后对其进行解析并绘制相应的关系图。
进一步，确定当前任务节点后设定所述关系图的样式参数，所述关系图的样式根据所述参数的变化而变化。
进一步，所述参数包括图形布局的选择、所述任务节点的样式、所述任务节点之间的连接线样式。
进一步，所述关系图的绘制包括任务节点的绘制，连接线的绘制，连接线样式的绘制以及布局调整。
采用上述进一步方案的有益效果是，用户可以快速大量的配置逻辑关系，基于一个任务为中心，自动生成不同层次结构，不同区间的逻辑关系图，使用者可以根据不同的观察模式以及参数的设定对生成的逻辑关系图进行重绘，并展示具有层次结构的树形关系图。
一种实现ETL作业关系图转化的系统，它包括数据输入模块，用于输入关系图的样式参数和当前任务节点的选择，并向数据处理模块请求与此当前任务节点相关的任务关系数据；
数据处理模块，用于接收上述的请求，查找与所述当前任务节点相关的逻辑关系，并将所述的逻辑关系封装成相应的任务关系数据返回给数据显示模块；
数据显示模块，用于接收和解析所述的任务关系数据，并将所述任务关系数据绘制成相应的关系图。
所述数据处理模块包括前台处理模块和后台处理模块，所述前台处理包括向后台处理模块请求与此当前任务节点相关的任务关系数据；所述后台处理模块包括用于接收上述的请求，查找与所述当前任务节点相关的逻辑关系，并将所述的逻辑关系封装成相应的任务关系数据返回给数据显示模块。
附图说明
图1为本发明的流程图；
图2为本发明前台的流程图；
图3为本发明后台的流程图；
图4为本发明的实现系统的框图。
具体实施方式
以下结合附图对本发明的原理和特征进行描述，所举实例只用于解释本发明，并非用于限定本发明的范围。
一种ETL作业关系图的转化方法,如图1所示，包括以下步骤：
步骤001，选择一个任务节点作为当前任务节点；
步骤002，用户在前台界面上通过勾选或者下拉菜单的选择的方式配置与所需关系图相关的参数；
步骤003，前台Flex词法识别器以一个当前任务节点为中心，向后台J2EE应用开发技术架构请求与此当前任务节点相关的任务关系数据；
步骤004，后台接受请求后，采用前后深度递归的方式，逐层查找与所述当前任务节点相关的逻辑关系，并将所述的逻辑关系保存成相应的任务关系数据，并将所述任务关系数据返回给前台；
步骤005，所述前台接收所述任务关系数据，并将所述任务关系数据绘制成相应的关系图；
步骤006，选择任一任务节点为下一个当前任务节点，重复上述步骤一到步骤四，直至所有任务节点都进行了步骤一到步骤四的操作或者是前台用户不再继续选择当前任务节点。
在上述技术方案的基础上，本发明还可以做如下改进：
所述逻辑关系以可扩展标记语言（XML）的形式保存成任务关系数据并返回给所述前台，所述前台接收所述任务关系数据后对其进行解析并绘制相应的关系图。
确定当前任务节点后设定所述关系图的样式参数，所述关系图的样式根据所述参数的变化而变化。
所述参数包括图形布局的选择、所述任务节点的样式、所述任务节点之间的连接线样式，所述图形布局的选择可以选择关系图和循环关系图，关系图用于关系较少的任务节点，而循环关系图用于关系比较复杂的关系图，所述任务节点的样式可以设置为基本模式和图标模式，所述基本模式的任务节点是以小圆点的形式表示的，所述图标模式的节点是以形象的图标表示的，所述连接线样式可以设置为直线连接和折线连接。
所述关系图的绘制包括任务节点的绘制，连接线的绘制，连接线样式的绘制以及布局调整。
如图4所示，一种实现ETL作业关系图转化的系统，它包括数据输入模块，用于输入关系图的样式参数和当前任务节点的选择，并向数据处理模块请求与此当前任务节点相关的任务关系数据；
数据处理模块，用于接收上述的请求，查找与所述当前任务节点相关的逻辑关系，并将所述的逻辑关系封装成相应的任务关系数据返回给数据显示模块；
数据显示模块，用于接收和解析所述的任务关系数据，并将所述任务关系数据绘制成相应的关系图。
所述数据处理模块包括前台处理模块和后台处理模块，所述前台处理包括向后台处理模块请求与此当前任务节点相关的任务关系数据；所述后台处理模块包括用于接收上述的请求，查找与所述当前任务节点相关的逻辑关系，并将所述的逻辑关系封装成相应的任务关系数据返回给数据显示模块。
图2为本发明前台的流程图，如图2将所述关系图的绘制流程做了详细的描述，它包括对所述任务关系的解析，根据当前任务节点的有无X、Y坐标的判定确定所述当前任务节点的位置，再根据由所述后台返回的与所述当前任务节点相关的任务关系数据进行连接线的的绘制，根据前台设置的与所述关系图相关的参数绘制决定连接线的样式，所述连接线的样式可以选择直线连接和折线连接。
图3是本发明后台的流程图，后台的主要工作是查找与所述当前任务节点相关的逻辑关系，并将所述的逻辑关系保存成相应的任务关系数据，并将所述任务关系数据返回给前台。如图3所示，关系模式的判断是根据从输入端接收过来的参数设定来判断的，所述关系模式包括当前任务节点之前的所有关系、当前任务节点之后的所有关系以及当前任务节点的所有关系，采用前后深度递归的方式，图3中递归深度判断是指当前任务节点与下一个包括当前任务节点的任务节点或上一个包括当前任务节点的任务节点进行深度的比较，逐层查找与所述当前任务节点相关的逻辑关系，以可扩展标记语言（XML）的形式保存成任务关系数据并返回给所述前台。
以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
Claims (7)
1.一种ETL作业关系图的转化方法,其特征在于，包括以下步骤：
步骤一，以一个当前任务节点为中心，向后台J2EE应用开发技术架构请求与此当前任务节点相关的任务关系数据；
步骤二，后台接受请求后，采用前后深度递归的方式，逐层查找与所述当前任务节点相关的逻辑关系，并将所述的逻辑关系保存成相应的任务关系数据；
步骤三，将所述任务关系数据返回给前台Flex词法识别器；
步骤四，所述前台接收所述任务关系数据，并将所述任务关系数据绘制成相应的关系图；
步骤五，选择任一任务节点为下一个当前任务节点，重复上述步骤一到步骤四，直至所有任务节点都进行了步骤一到步骤四的操作。
2.根据权利要求1所述的一种ETL作业关系图的转化方法,其特征在于，所述逻辑关系以可扩展标记语言的形式保存成任务关系数据并返回给所述前台，所述前台接收所述任务关系数据后对其进行解析并绘制相应的关系图。
3.根据权利要求1所述的一种ETL作业关系图的转化方法,其特征在于，确定当前任务节点后设定所述关系图的样式参数，所述关系图的样式根据所述参数的变化而变化。
4.根据权利要求3所述的一种ETL作业关系图的转化方法,其特征在于，所述参数包括图形布局的选择、所述任务节点的样式、所述任务节点之间的连接线样式。
5.根据权利要求1至4任一所述的一种ETL作业关系图的转化方法,其特征在于，所述关系图的绘制包括任务节点的绘制，连接线的绘制，连接线样式的绘制以及布局调整。
6.一种实现ETL作业关系图转化的系统，其特征在于，它包括数据输入模块，用于输入关系图的样式参数和当前任务节点的选择；
数据处理模块，查找与所述当前任务节点相关的逻辑关系，并将所述的逻辑关系封装成相应的任务关系数据返回给数据显示模块；
数据显示模块，用于接收和解析所述的任务关系数据，并将所述任务关系数据绘制成相应的关系图。
7.根据权利要求6所述的一种实现ETL作业关系图转化的系统，其特征在于，所述数据处理模块包括前台处理模块和后台处理模块，所述前台处理包括向后台处理模块请求与此当前任务节点相关的任务关系数据；所述后台处理模块包括用于接收上述的请求，查找与所述当前任务节点相关的逻辑关系，并将所述的逻辑关系封装成相应的任务关系数据返回给数据显示模块。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201210476820.9A CN103019691B (zh) | 2012-11-20 | 2012-11-20 | 一种etl作业关系图的转化方法及其实现系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201210476820.9A CN103019691B (zh) | 2012-11-20 | 2012-11-20 | 一种etl作业关系图的转化方法及其实现系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN103019691A true CN103019691A (zh) | 2013-04-03 |
| CN103019691B CN103019691B (zh) | 2016-08-10 |
Family
ID=47968330
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201210476820.9A Active CN103019691B (zh) | 2012-11-20 | 2012-11-20 | 一种etl作业关系图的转化方法及其实现系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN103019691B (zh) |
Cited By (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105138666A (zh) * | 2015-09-06 | 2015-12-09 | 深圳市创梦天地科技有限公司 | 一种数据处理的方法及终端 |
| WO2016192604A1 (zh) * | 2015-06-05 | 2016-12-08 | 阿里巴巴集团控股有限公司 | 一种全局任务节点依赖关系可视化方法、装置和系统 |
| CN107111799A (zh) * | 2014-12-16 | 2017-08-29 | 微软技术许可有限责任公司 | 作业调度和监测 |
| CN108038248A (zh) * | 2017-12-28 | 2018-05-15 | 携程计算机技术（上海）有限公司 | Etl依赖自动识别方法与系统 |
| CN110321107A (zh) * | 2018-03-30 | 2019-10-11 | 优酷网络技术（北京）有限公司 | 数据处理模块的生成方法和服务器 |
| CN110908780A (zh) * | 2019-10-12 | 2020-03-24 | 中国平安财产保险股份有限公司 | 调度平台的任务梳理方法、装置、设备及存储介质 |
| CN112783887A (zh) * | 2019-11-07 | 2021-05-11 | 北京沃东天骏信息技术有限公司 | 一种基于数据仓库的数据处理方法及装置 |
| CN113626037A (zh) * | 2021-08-10 | 2021-11-09 | 平安普惠企业管理有限公司 | 任务依赖全景图展示方法、装置、计算机设备及存储介质 |
| CN117235167A (zh) * | 2023-11-14 | 2023-12-15 | 戎行技术有限公司 | 一种应用于etl系统的任务流动态配置方法及系统 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US5999192A (en) * | 1996-04-30 | 1999-12-07 | Lucent Technologies Inc. | Interactive data exploration apparatus and methods |
| CN1527225A (zh) * | 2003-03-03 | 2004-09-08 | ��ʿͨ��ʽ���� | 信息关联性显示方法、程序、存储介质和装置 |
| CN101388038A (zh) * | 2008-10-28 | 2009-03-18 | 杭州华三通信技术有限公司 | 数据抽取、转换和加载的执行方法和装置 |
| US20090115785A1 (en) * | 2007-11-01 | 2009-05-07 | Ebay Inc. | User interface framework for viewing large scale graphs on the web |
| CN102541875A (zh) * | 2010-12-16 | 2012-07-04 | 北京大学 | 有向无环图的关系型节点数据的存取方法、装置及系统 |
-
2012
- 2012-11-20 CN CN201210476820.9A patent/CN103019691B/zh active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US5999192A (en) * | 1996-04-30 | 1999-12-07 | Lucent Technologies Inc. | Interactive data exploration apparatus and methods |
| CN1527225A (zh) * | 2003-03-03 | 2004-09-08 | ��ʿͨ��ʽ���� | 信息关联性显示方法、程序、存储介质和装置 |
| US20090115785A1 (en) * | 2007-11-01 | 2009-05-07 | Ebay Inc. | User interface framework for viewing large scale graphs on the web |
| CN101388038A (zh) * | 2008-10-28 | 2009-03-18 | 杭州华三通信技术有限公司 | 数据抽取、转换和加载的执行方法和装置 |
| CN102541875A (zh) * | 2010-12-16 | 2012-07-04 | 北京大学 | 有向无环图的关系型节点数据的存取方法、装置及系统 |
Cited By (15)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107111799A (zh) * | 2014-12-16 | 2017-08-29 | 微软技术许可有限责任公司 | 作业调度和监测 |
| CN106293928B (zh) * | 2015-06-05 | 2020-04-14 | 阿里巴巴集团控股有限公司 | 一种全局任务节点依赖关系可视化方法、装置和系统 |
| WO2016192604A1 (zh) * | 2015-06-05 | 2016-12-08 | 阿里巴巴集团控股有限公司 | 一种全局任务节点依赖关系可视化方法、装置和系统 |
| CN106293928A (zh) * | 2015-06-05 | 2017-01-04 | 阿里巴巴集团控股有限公司 | 一种全局任务节点依赖关系可视化方法、装置和系统 |
| CN105138666B (zh) * | 2015-09-06 | 2019-04-26 | 深圳市创梦天地科技有限公司 | 一种数据处理的方法及终端 |
| CN105138666A (zh) * | 2015-09-06 | 2015-12-09 | 深圳市创梦天地科技有限公司 | 一种数据处理的方法及终端 |
| CN108038248A (zh) * | 2017-12-28 | 2018-05-15 | 携程计算机技术（上海）有限公司 | Etl依赖自动识别方法与系统 |
| CN108038248B (zh) * | 2017-12-28 | 2021-11-26 | 携程计算机技术（上海）有限公司 | Etl依赖自动识别方法与系统 |
| CN110321107A (zh) * | 2018-03-30 | 2019-10-11 | 优酷网络技术（北京）有限公司 | 数据处理模块的生成方法和服务器 |
| CN110908780A (zh) * | 2019-10-12 | 2020-03-24 | 中国平安财产保险股份有限公司 | 调度平台的任务梳理方法、装置、设备及存储介质 |
| CN110908780B (zh) * | 2019-10-12 | 2023-07-21 | 中国平安财产保险股份有限公司 | 调度平台的任务梳理方法、装置、设备及存储介质 |
| CN112783887A (zh) * | 2019-11-07 | 2021-05-11 | 北京沃东天骏信息技术有限公司 | 一种基于数据仓库的数据处理方法及装置 |
| CN113626037A (zh) * | 2021-08-10 | 2021-11-09 | 平安普惠企业管理有限公司 | 任务依赖全景图展示方法、装置、计算机设备及存储介质 |
| CN117235167A (zh) * | 2023-11-14 | 2023-12-15 | 戎行技术有限公司 | 一种应用于etl系统的任务流动态配置方法及系统 |
| CN117235167B (zh) * | 2023-11-14 | 2024-01-30 | 戎行技术有限公司 | 一种应用于etl系统的任务流动态配置方法及系统 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN103019691B (zh) | 2016-08-10 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN103019691A (zh) | 一种etl作业关系图的转化方法及其实现系统 | |
| CN107391653B (zh) | 一种分布式NewSQL数据库系统及图片数据储存方法 | |
| CA2783451C (en) | Method and system of adapting a data model to a user interface component | |
| CN103984745B (zh) | 分布式视频垂直搜索方法及系统 | |
| CN102236672A (zh) | 一种数据导入方法及装置 | |
| CN104021460A (zh) | 一种工作流程管理系统及工作流程处理方法 | |
| CN107291471B (zh) | 一种支持可定制化数据采集的元模型框架系统 | |
| EP1939731A1 (en) | Method and system for consolidating data type repositories | |
| CN111353235B (zh) | 一种基于模型驱动的组件端口建模方法及终端 | |
| CN112966004B (zh) | 数据查询方法、装置、电子设备以及计算机可读介质 | |
| EP3470992B1 (en) | Efficient storage and utilization of a hierarchical data set | |
| CN108280082A (zh) | 一种统计数据的即席查询方法及系统 | |
| CN104423982A (zh) | 请求的处理方法和处理设备 | |
| CN109684319A (zh) | 数据清洗系统、方法、装置及存储介质 | |
| CN113312392A (zh) | 轻量级的规则引擎处理方法及装置 | |
| US20170132195A1 (en) | Method and Apparatus Providing Contextual Suggestion in Planning Spreadsheet | |
| US20150169675A1 (en) | Data access using virtual retrieve transformation nodes | |
| CN102004633A (zh) | 一种处理控件属性的方法及装置 | |
| CN109460416B (zh) | 一种数据处理方法、装置、电子设备及存储介质 | |
| US9135302B2 (en) | Query rewrite with a nested materialized view | |
| CN116204550A (zh) | 数据库查询语句的优化方法、存储介质与设备 | |
| CN115757479A (zh) | 数据库的查询优化方法、机器可读存储介质与计算机设备 | |
| CN101751260B (zh) | 一种基于动态标签的业务对象持久化处理方法 | |
| CN114579136A (zh) | 代码处理方法、装置、计算机设备和存储介质 | |
| WO2021248319A1 (en) | Database management system and method for graph view selection for relational-graph database |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| C14 | Grant of patent or utility model | ||
| GR01 | Patent grant |