CN107045538B - 一种基于kettle的web端交换管理方法 - Google Patents
一种基于kettle的web端交换管理方法 Download PDFInfo
- Publication number
- CN107045538B CN107045538B CN201710066927.9A CN201710066927A CN107045538B CN 107045538 B CN107045538 B CN 107045538B CN 201710066927 A CN201710066927 A CN 201710066927A CN 107045538 B CN107045538 B CN 107045538B
- Authority
- CN
- China
- Prior art keywords
- kettle
- database
- management method
- web terminal
- web
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000007726 management method Methods 0.000 title claims abstract description 23
- 238000006243 chemical reaction Methods 0.000 claims abstract description 23
- 238000000034 method Methods 0.000 claims abstract description 12
- 230000008569 process Effects 0.000 claims abstract description 11
- 230000002688 persistence Effects 0.000 claims description 4
- 238000007689 inspection Methods 0.000 claims description 2
- 230000004048 modification Effects 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000008901 benefit Effects 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 230000037430 deletion Effects 0.000 description 2
- 238000012217 deletion Methods 0.000 description 2
- 230000006978 adaptation Effects 0.000 description 1
- 238000013480 data collection Methods 0.000 description 1
- 230000007812 deficiency Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 239000002360 explosive Substances 0.000 description 1
- 208000037805 labour Diseases 0.000 description 1
- 230000002045 lasting effect Effects 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/25—Integrating or interfacing systems involving database management systems
- G06F16/254—Extract, transform and load [ETL] procedures, e.g. ETL data flows in data warehouses
Landscapes
- Engineering & Computer Science (AREA)
- Databases & Information Systems (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明公开了一种基于kettle的web端交换管理方法，其实现过程为：首先创建数据库；启动kettle，创建数据库资源库，指向数据库；新建WEB工程，将数据源信息配置为上述步骤中创建的数据库；创建kettle核心脚本的POJO对象，创建POJO的CURD操作工具类以及运行操作的工具类；创建前台页面。该基于kettle的web端交换管理方法与现有技术相比，将kettle中的常用的基础操作从kettle中分离出来，使得kettle中转换与作业更易于管理，增强交换操作易用性以及用户体验性，实用性强，易于推广。
Description
技术领域
本发明涉及计算机技术领域，具体地说是一种实用性强、基于kettle的web端交换管理方法。
背景技术
如今，科技的迅猛发展以及信息化的不断推进，人类的数据量呈爆炸性增长，数据所蕴含的价值也日益得到重视，一个大规模共享和应用的时代已开启。实现数据共享，可以使更多的人充分的使用已有的数据资源，减少资料收集、数据采集等重复性劳动和费用，降低了社会成本。由于数据来源的不同，导致数据质量、数据格式和数据内容千差万别，有时会遇到无法转换或者转换后信息丢失等棘手问题，严重阻碍了数据在各团体以及各系统之间的共享。
kettle作为为数不多的开源ETL工具，以其强大的数据抽取、转换和加载能力，友好的图形界面，丰富的数据仓库适配，大数据的支持，高效的执行效率，可扩展性等优点得到了广泛的应用。但kettle在面对多个转换与任务的管理时显得力不从心，同时kettle的使用者往往会在kettle与其他一个和多个系统之间频繁切换，增加了工作的复杂性，降低了工作效率。
针对这一情况，现提供一种基于kettle的web端交换管理方法。
发明内容
本发明的技术任务是针对以上不足之处，提供一种实用性强、基于kettle的web端交换管理方法。
一种基于kettle的web端交换管理方法，其实现过程为：
首先创建数据库；
启动kettle，创建数据库资源库，指向数据库；
新建WEB工程，将数据源信息配置为上述步骤中创建的数据库；
创建kettle核心脚本的POJO对象，创建POJO的CURD操作工具类以及运行操作的工具类；
创建前台页面。
通过kettle的数据库资源库指向数据库的过程为：
首先创建数据库，将与之对应的JDBC驱动包放置在kettle的目录下，然后启动kettle；
新建数据库资源库，新增数据库连接，在数据库连接页面，填写数据库的信息、资源库名称，完成数据库资源库的配置，并进行初始化操作，将kettle数据库资源库所依赖的表和数据初始化到数据库中。
新建WEB工程的具体过程为，引入kettle依赖jar包core、engine、ui、dbdialog四个jar包，并将数据源配置为kettle资源库对应的数据库信息，完成WEB工程的基础环境配置。
所述建立数据持久化对象POJO过程为，建立数据库操作工具类，分别完成对持久化对象的CURD操作，以此完成kettle转换与作业的基础信息配置；建立运行操作工具类，调用kettle的API，实现对转换、作业的运行的启停操作，运行参数配置操作，日志收集操作。
在建立前台页面后，通过该前台页面，借助后台工具类，进行转换、作业的基础属性配置，转换、作业的单个和批量启停、运行参数配置，转换、作业运行状态的实时查看，历史运行轨迹查看，转换、作业的查询。
本发明的一种基于kettle的web端交换管理方法，具有以下优点：
本发明的一种基于kettle的web端交换管理方法，把kettle中的转换、作业的基础属性配置，运行管理与配置从kettle中剥离，使经常性的操作无需kettle启动即可完成，无需在多个系统之间进行切换，同时方便了转换、作业的批量管理，简化了工作，提高了工作效率，本发明将kettle中的常用的基础操作从kettle中分离出来，使得kettle中转换与作业更易于管理，增强交换操作易用性以及用户体验性，实用性强，适用范围广泛，易于推广。
附图说明
为了更清楚的说明本发明实施例或现有技术的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单的介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
附图1为本发明的实现流程图。
具体实施方式
为了使本技术领域的人员更好地理解本发明方案，下面结合附图和具体实施方式对本发明作进一步的详细说明。显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
如附图1所示，一种基于kettle的web端交换管理方法，依托于kettle的数据库资源库，将kettle中两种核心脚本文件转换与作业的基础属性配置、运行配置管理，数据库连接的管理以及集群子服务器的管理从kettle中剥离，kettle仅负责转换与作业的GUI图形操作。
其实现过程为：
首先创建数据库；
启动kettle，创建数据库资源库，指向数据库；
新建WEB工程，将数据源信息配置为上述步骤中创建的数据库；
创建kettle核心脚本的POJO对象，创建POJO的CURD操作工具类以及运行操作的工具类；
创建前台页面。
更为具体的，本发明的实现过程为：
1）创建数据库，将与之对应的JDBC驱动包放置kettle的LIB目录下，启动kettle。
2）在完成以上技术方案的基础上，新建数据库资源库，新增数据库连接，在数据库连接页面，填写上步中数据库的信息，填写资源库名称，完成数据库资源库的配置，并进行初始化操作，将kettle数据库资源库所依赖的表和数据初始化到数据库中。
3）在完成以上技术方案的基础上，新建WEB工程，引入kettle依赖jar包core、engine、ui、dbdialog四个jar包，并将数据源配置为kettle资源库对应的数据库信息，完成WEB工程的基础环境配置。
4）在完成以上技术方案的基础上，建立kettle核心表r_job、r_job_attribute、r_cluster、r_cluster_slave、r_database、r_database_attribute、r_database_type、r_transformation、r_trans_attribute的核心数据持久化对象POJO。建立数据库操作工具类，分别完成对持久化对象的CURD操作，以此完成kettle转换与作业的基础信息配置。建立运行操作工具类，调用kettle的API，实现对转换、作业的运行的启停操作，运行参数配置操作，日志收集操作。
5）在完成以上技术方案的基础上，建立前台页面，借助后台工具类，实现转换、作业的基础属性配置，转换、作业的单个和批量启停、运行参数配置，转换、作业运行状态的实时查看，历史运行轨迹查看，转换、作业的查询。
借助该工具，可以实现在WEB系统中完成kettle中转换属性与JOB属性的配置以及配置的修改，转换与作业运行参数的配置以及单个转换与作业的启停和批量启停；数据库连接的新增、删除和修改；子服务器的新增、删除以及修改。转换以及作业的运行状态的实时查看，历史运行日志的查看。支持转换与作业的查询。
上述具体实施方式仅是本发明的具体个案，本发明的专利保护范围包括但不限于上述具体实施方式，任何符合本发明的一种基于kettle的web端交换管理方法的权利要求书的且任何所述技术领域的普通技术人员对其所做的适当变化或替换，皆应落入本发明的专利保护范围。
Claims (5)
1.一种基于kettle的web端交换管理方法，其特征在于，其实现过程为：
步骤一、首先创建数据库；
步骤二、启动kettle，创建数据库资源库，指向数据库；
步骤三、新建WEB工程，将数据源信息配置为上述步骤一中创建的数据库；
步骤四、创建kettle核心脚本的POJO对象，创建POJO的CURD操作工具类以及运行操作的工具类；
步骤五、创建前台页面。
2.根据权利要求1所述的一种基于kettle的web端交换管理方法，其特征在于，通过kettle的数据库资源库指向数据库的过程为：
首先创建数据库，将与之对应的JDBC驱动包放置在kettle的目录下，然后启动kettle；
新建数据库资源库，新增数据库连接，在数据库连接页面，填写数据库的信息、资源库名称，完成数据库资源库的配置，并进行初始化操作，将kettle数据库资源库所依赖的表和数据初始化到数据库中。
3.根据权利要求1所述的一种基于kettle的web端交换管理方法，其特征在于，新建WEB工程的具体过程为，引入kettle依赖jar包core、engine、ui、dbdialog四个jar包，并将数据源配置为kettle资源库对应的数据库信息，完成WEB工程的基础环境配置。
4.根据权利要求1所述的一种基于kettle的web端交换管理方法，其特征在于，创建POJO对象的过程为，建立数据库操作工具类，分别完成对持久化对象的CURD操作，以此完成kettle转换与作业的基础信息配置；建立运行操作工具类，调用kettle的API，实现对转换、作业的运行的启停操作，运行参数配置操作，日志收集操作。
5.根据权利要求1所述的一种基于kettle的web端交换管理方法，其特征在于，在建立前台页面后，通过该前台页面，借助后台工具类，进行转换、作业的基础属性配置，转换、作业的单个和批量启停、运行参数配置，转换、作业运行状态的实时查看，历史运行轨迹查看，转换、作业的查询。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201710066927.9A CN107045538B (zh) | 2017-02-07 | 2017-02-07 | 一种基于kettle的web端交换管理方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201710066927.9A CN107045538B (zh) | 2017-02-07 | 2017-02-07 | 一种基于kettle的web端交换管理方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN107045538A CN107045538A (zh) | 2017-08-15 |
| CN107045538B true CN107045538B (zh) | 2019-11-12 |
Family
ID=59544003
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201710066927.9A Active CN107045538B (zh) | 2017-02-07 | 2017-02-07 | 一种基于kettle的web端交换管理方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN107045538B (zh) |
Families Citing this family (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108629052B (zh) * | 2018-05-21 | 2023-06-02 | 平安科技（深圳）有限公司 | Kettle任务调度方法、系统、计算机设备和存储介质 |
| CN112000312B (zh) * | 2020-07-24 | 2022-04-29 | 湖北地信科技集团股份有限公司 | 基于Kettle和GeoTools的空间大数据自动化并行处理方法和系统 |
| CN115687486B (zh) * | 2022-11-14 | 2023-06-13 | 浪潮智慧科技有限公司 | 一种基于kettle的轻量级数据采集方法及设备 |
Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105701094A (zh) * | 2014-11-24 | 2016-06-22 | 北京航管科技有限公司 | 一种etl数据采集方法和装置 |
-
2017
- 2017-02-07 CN CN201710066927.9A patent/CN107045538B/zh active Active
Patent Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105701094A (zh) * | 2014-11-24 | 2016-06-22 | 北京航管科技有限公司 | 一种etl数据采集方法和装置 |
Non-Patent Citations (2)
| Title |
|---|
| 崔有文等.基于KETTLE的数据集成研究.《计算机技术与发展》.2015,第153-157页. * |
| 木大白易.开源ETL工具kettle系列之在应用程序中集成.《https://blog.csdn.net/aiynmimi/article/details/52120134》.2016,第1-8页. * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN107045538A (zh) | 2017-08-15 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| EP3082043B1 (en) | Type-to-type analysis for cloud computing technical components | |
| CN108737168B (zh) | 一种基于容器的微服务架构应用自动构建方法 | |
| CN107045538B (zh) | 一种基于kettle的web端交换管理方法 | |
| CN101082970A (zh) | 政务审批工作流引擎系统的实现方法 | |
| CA2386272A1 (en) | Collaborative design | |
| CN103500102A (zh) | 一种服务调用方法和提供服务调用的装置 | |
| WO2023103247A1 (zh) | 一种组件及策略联动方法、装置、设备、系统及存储介质 | |
| CN103077024A (zh) | 一种支持SaaS应用流程按需定制与运行的装置及方法 | |
| CN103945000A (zh) | 一种负载均衡方法及负载均衡器 | |
| CN105162629A (zh) | 一种linux系统下双网卡绑定的自动化实现方法 | |
| CN105760498A (zh) | 一种xml数据与关系型数据库匹配的实现方法 | |
| CN109948938A (zh) | 一种企业资源计划系统的物料清单配置方法和装置及设备 | |
| CN110851234A (zh) | 基于docker容器的日志处理方法及装置 | |
| Govindarajan et al. | An approach for integrating legacy systems in the manufacturing industry | |
| CN106897060A (zh) | 基于图形化的数据处理方法及装置 | |
| CN104954232A (zh) | 网络中服务组合的方法及装置 | |
| CN104657045B (zh) | 智能终端的资源显示控制方法、资源控制方法及装置 | |
| CN104811479A (zh) | 一种基于转发与控制分离协议的虚拟网络节点的创建方法 | |
| CN103152428A (zh) | 云平台上节点间进行服务通信的方法 | |
| CN106488269A (zh) | 基于第三方应用平台实现对电视设备控制的系统及方法 | |
| CN110209722A (zh) | 一种用于数据交换的数据接口 | |
| CN103220224B (zh) | 报文转发的处理方法和装置及网络设备 | |
| Ritter | Towards a business network management | |
| CN116185988A (zh) | 一种基于Spark技术的数据模转迁移方法、服务器及存储介质 | |
| CN109710605B (zh) | 一种设备信息自动化采集装置以及方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| TA01 | Transfer of patent application right |
Effective date of registration: 20191015 Address after: 250100 No. 1036 Tidal Road, Jinan High-tech Zone, Shandong Province, S01 Building, Tidal Science Park Applicant after: Tidal Cloud Information Technology Co., Ltd. Address before: 250100 Ji'nan science and technology zone, Shandong high tide Road, No. 1036 wave of science and Technology Park, building S06 Applicant before: Shandong wave cloud services Mdt InfoTech Ltd |
|
| TA01 | Transfer of patent application right | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| CP01 | Change in the name or title of a patent holder |
Address after: 250100 No. 1036 Tidal Road, Jinan High-tech Zone, Shandong Province, S01 Building, Tidal Science Park Patentee after: Inspur cloud Information Technology Co., Ltd Address before: 250100 No. 1036 Tidal Road, Jinan High-tech Zone, Shandong Province, S01 Building, Tidal Science Park Patentee before: Tidal Cloud Information Technology Co.,Ltd. |
|
| CP01 | Change in the name or title of a patent holder |