CN112182075A - 基于SpringBoot框架调度Kettle进行数据抽取转换的方法 - Google Patents
基于SpringBoot框架调度Kettle进行数据抽取转换的方法 Download PDFInfo
- Publication number
- CN112182075A CN112182075A CN201910599018.0A CN201910599018A CN112182075A CN 112182075 A CN112182075 A CN 112182075A CN 201910599018 A CN201910599018 A CN 201910599018A CN 112182075 A CN112182075 A CN 112182075A
- Authority
- CN
- China
- Prior art keywords
- servers
- server
- installing
- task
- key
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/25—Integrating or interfacing systems involving database management systems
- G06F16/254—Extract, transform and load [ETL] procedures, e.g. ETL data flows in data warehouses
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
- H04L41/08—Configuration management of networks or network elements
- H04L41/0803—Configuration setting
Landscapes
- Engineering & Computer Science (AREA)
- Databases & Information Systems (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Computer Networks & Wireless Communication (AREA)
- Signal Processing (AREA)
- Stored Programmes (AREA)
Abstract
本发明公开一种基于SpringBoot框架调度Kettle进行数据抽取转换的方法，安装3台Centos7服务器，其中一台服务器安装Mysql数据库，在3台服务器上上传kettle8.1版本的执行文件，启动carte服务器，然后再安装Mysql数据库的服务器作为master节点，启动一个kettle创建一个资源库后连接资源库，并创建一个数据转换的集群任务，将工程项目配置好数据库连接信息和kettle连接信息后编译为一个可运行的jar包，传送到3台服务器上，后台运行3个jar包，通过接口访问其中任意一台服务器的功能接口，对接一个前端，完成可视化操作接口，达到方便，友好的操作调度任务。
Description
技术领域
本发明涉及大数据处理技术领域，具体涉及一种使用SpringBoot框架调度Kettle进行数据抽取转换工作的方法。
背景技术
随着云计算技术的不断发展，云计算技术不断落地成为支撑各行业信息技术发展的重要支柱。而云计算的背后必定需要大数据平台的支撑，大量的数据如何抽取到大数据平台，其中一个解决方案就是使用开源的ETL工具Kettle来进行抽取，但是Kettle的每次抽取都要手动去点击执行，当然，kettle本身也带了定时调度功能，但是使用起来不是非常的友好和方便。
发明内容
本发明目的是提供一种界面友好的，功能强大的、易于操作的基于SpringBoot框架调度Kettle进行大数据抽取调度工具。
本发明的技术方案如下：
一种基于SpringBoot框架调度Kettle进行数据抽取转换的方法，其特征在于：
步骤1：安装3台Centos7服务器，配置好服务器对应的IP为静态地址，在服务器中安装JDK>＝1.8版本的Java运行环境，其中一台服务器安装Mysql数据库。
步骤:2：在3台服务器上上传kettle8.1版本的执行文件，启动carte服务器，然后再安装Mysql数据库的服务器作为master节点，使用启动一个kettle的spoon.sh创建一个资源库后连接资源库，并创建一个数据转换的集群任务。
步骤3：将工程项目配置好数据库连接信息和kettle连接信息后编译为一个可运行的jar包，传送到3台服务器上，并后台运行3个jar包。
步骤4：通过接口访问其中任意一台服务器的功能接口都行，对接一个前端，可以完成可视化操作接口，达到方便，友好的操作调度任务，集群部署方式能达到稳定，高效的功能。
本发明提供了一个功能友好、功能强大、可配置的调度工具，来调度kettle的大数据抽取任务。
具体实施方式
本发明的技术思路如下：
1、技术框架选型：采用目前Java EE最新的开发框架SpringBoot2.0搭建一个提供RESTful接口的Web项目，集成定时调度框架Quartz，和调用Kettle的依赖jar包。
2、定义项目的配置：
定义统一的RESTful接口数据返回格式；
重写JobFactory的实现方式，使其可以放入到sping容器中进行管理；
使用hikari数据库连接池连接资源库和其他数据库，并初始化调度任务数据库和kettle的资源库；
配置quartz为数据库存储，配置其部署方式为集群部署；
配置kettle连接资源库的信息。
3、初始化资源：在工程启动的时候初始化Kettle的运行环境，并返回全局的KettleDatabaseRepository资源库对象，供后面操作；创建2种Job的类，一种拿来实例化kettle的Trans任务，一种拿来实例化kettle的Job任务。
4、设计数据抽取的具体过程：
创建调度数据抽取任务；
运行调度数据抽取任务；
暂停调度数据抽取任务；
恢复调度数据抽取任务；
删除调度数据抽取任务；
更新调度数据抽取任务；
查询调度数据抽取任务列表。
5、通过接口操作调度任务。
6、触发调度任务：运行状态的调度数据抽取任务，在时间触发器的作用下，会触发任务，它根据悲观锁的方式选择一个调度节点执行调度任务，达到简洁，高效，健壮的功能，满足数据抽取的需求。
本发明的具体实施过程如下：
步骤1：安装3台Centos7服务器，配置好服务器对应的IP为静态地址，在服务器中安装JDK>＝1.8版本的Java运行环境，其中一台服务器安装Mysql数据库。
步骤:2：在3台服务器上上传kettle8.1版本的执行文件，启动carte服务器，然后在安装Mysql数据库的服务器作为master节点，使用启动一个kettle的spoon.sh创建一个资源库后连接资源库，并创建一个数据转换的集群任务。
步骤3：将工程项目配置好数据库连接信息和kettle连接信息后编译为一个可运行的jar包，传送到3台服务器上，并后台运行3个jar包。
步骤4：通过接口访问其中任意一台服务器的功能接口都行，对接一个前端，可以完成可视化操作接口，达到方便，友好的操作调度任务，集群部署方式能达到稳定，高效的功能。
Claims (1)
1.一种基于SpringBoot框架调度Kettle进行数据抽取转换的方法，其特征在于：
步骤1：安装3台Centos7服务器，配置好服务器对应的IP为静态地址，在服务器中安装JDK>＝1.8版本的Java运行环境，其中一台服务器安装Mysql数据库；
步骤2：在3台服务器上上传kettle8.1版本的执行文件，启动carte服务器，然后再安装Mysql数据库的服务器作为master节点，使用启动一个kettle的spoon.sh创建一个资源库后连接资源库，并创建一个数据转换的集群任务；
步骤3：将工程项目配置好数据库连接信息和kettle连接信息后编译为一个可运行的jar包，传送到3台服务器上，并后台运行3个jar包；
步骤4：通过接口访问其中任意一台服务器的功能接口都行，对接一个前端，可以完成可视化操作接口，达到方便，友好的操作调度任务，集群部署方式能达到稳定，高效的功能。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910599018.0A CN112182075A (zh) | 2019-07-04 | 2019-07-04 | 基于SpringBoot框架调度Kettle进行数据抽取转换的方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910599018.0A CN112182075A (zh) | 2019-07-04 | 2019-07-04 | 基于SpringBoot框架调度Kettle进行数据抽取转换的方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN112182075A true CN112182075A (zh) | 2021-01-05 |
Family
ID=73915885
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910599018.0A Pending CN112182075A (zh) | 2019-07-04 | 2019-07-04 | 基于SpringBoot框架调度Kettle进行数据抽取转换的方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112182075A (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113297312A (zh) * | 2021-06-22 | 2021-08-24 | 中关村科学城城市大脑股份有限公司 | 一种基于bs和cs架构的数据etl构建方法和系统 |
| CN115687486A (zh) * | 2022-11-14 | 2023-02-03 | 浪潮智慧科技有限公司 | 一种基于kettle的轻量级数据采集方法及设备 |
-
2019
- 2019-07-04 CN CN201910599018.0A patent/CN112182075A/zh active Pending
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113297312A (zh) * | 2021-06-22 | 2021-08-24 | 中关村科学城城市大脑股份有限公司 | 一种基于bs和cs架构的数据etl构建方法和系统 |
| CN115687486A (zh) * | 2022-11-14 | 2023-02-03 | 浪潮智慧科技有限公司 | 一种基于kettle的轻量级数据采集方法及设备 |
| CN115687486B (zh) * | 2022-11-14 | 2023-06-13 | 浪潮智慧科技有限公司 | 一种基于kettle的轻量级数据采集方法及设备 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US10474438B2 (en) | Intelligent cloud engineering platform | |
| CN107766050B (zh) | 一种异构应用的部署方法以及装置 | |
| WO2018036342A1 (zh) | 基于csar的模型文件的可视化设计方法及装置 | |
| CN108897547B (zh) | 一种软件自动化部署方法及装置 | |
| CN111694857B (zh) | 存储资源数据的方法、装置、电子设备及计算机可读介质 | |
| CN112182075A (zh) | 基于SpringBoot框架调度Kettle进行数据抽取转换的方法 | |
| KR102569415B1 (ko) | 워크플로우 생성을 위한 서비스 플랫폼 시스템 및 워크플로우 생성 방법 | |
| US20130318520A1 (en) | Early configuration in deploying an enterprise application | |
| CN104935618A (zh) | 一种集群部署方法 | |
| CN110543295A (zh) | 可视化Web前端项目构建系统 | |
| CN114675875A (zh) | 一种共享组件发布方法、装置、设备及介质 | |
| CN108399095B (zh) | 支持动态管理定时任务的方法、系统、设备和存储介质 | |
| CN109710218B (zh) | 一种对象自动转换方法及终端 | |
| CN104516963A (zh) | 一种Excel数据服务器及其应用 | |
| CN110837533A (zh) | 使用SpringBoot框架调度Kettle实现司法资源信息数据抽取转换的方法 | |
| WO2020124459A1 (zh) | 基于混合云计算平台的无服务函数的服务方法 | |
| CN111367804B (zh) | 基于云计算及网络编程实现前端协作调试的方法 | |
| CN1799059A (zh) | 用于将提供商产品包自动转换成资源管理系统可执行的客户特定的服务环境定义的方法和系统 | |
| CN109753302B (zh) | 基于混合云计算平台的无服务函数的服务方法 | |
| CN107832162B (zh) | 远程调用ModelCenter软件实现多学科设计优化的方法 | |
| CN113296898B (zh) | 异步任务处理方法、装置、电子设备和存储介质 | |
| CN104484226A (zh) | MapReduce作业处理系统、服务器及处理方法 | |
| Pan et al. | Design and Implementation of Server Management System Based on Docker | |
| CN114443050A (zh) | 一种基于ci引擎流水线的新型日志展示方法 | |
| CN109960564B (zh) | 一种虚拟机迁移的方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| WD01 | Invention patent application deemed withdrawn after publication |
Application publication date: 20210105 |
|
| WD01 | Invention patent application deemed withdrawn after publication |