CN110888636A - 一种基于Kettle的ETL Web应用系统架构方法 - Google Patents

Abstract

本发明公开一种基于Kettle的ETL Web应用系统架构方法，包括：步骤1，创建Kettle数据库和ETL Web工程数据库；步骤2，初始化ETL Web工程数据库以及Kettle客户端所需要的表和数据，将初始化后的Kettle数据库中所有表和数据导入到ETL Web工程数据库中；步骤3，创建ETL Web工程，在ETL Web工程中导入相关的Kettle依赖jar包，基于初始化后的ETL Web工程数据库完成Web工程的基础环境配置；步骤4，基于Web工程的基础环境配置开发前台与后台；步骤5，在后台中部署Kettle集群并开启Carte服务。采用浏览器/服务器模式架构开发ETL Web应用的系统架构方案和步骤方法，实现整个企业的ETL工作只需要使用一套系统，基于这套系统能够做到统一管理和监控所有的ETL任务，做到分角色管理，从而降低企业的运营维护成本。

Description

一种基于Kettle的ETL Web应用系统架构方法

技术领域

本发明涉及计算机技术领域，具体是一种基于Kettle的ETL Web应用系统架构方法。

背景技术

Kettle(英文Kettle E.T.T.L Environment的缩写)是一款国外开源的ETL(英文Extract-Transform-Load的缩写)，用来描述将数据从来源端经过抽取(extract)、转换(transform)、加载(load)至目的端的过程)工具，采用纯Java语言编写，可以运行在Windows、Linux、Unix平台上，数据抽取高效稳定。由于Kettle是采用C/S(Client/Server，客户端服务器端)架构的客户端工具，需要ETL从业人员单独维护一套Kettle，特别是对于企业中多个部门的数据如何进行抽取、转换和加载到统一的数据仓库中，如何协调管理和监控Kettle集群中的任务，如何对不同部门的使用者进行管理等，这些都是使用传统的Kettle客户端工具所需要解决的问题。目前大部分专利是基于Kettle客户端工具并结合业务提出的一些数据分发、同步等方法，本质上对于ETL工作还是使用的Kettle客户端工具。

对于Kettle的任务调度方面的研究，其中专利CN108629052A提出一种Kettle任务调度方法，利用Python中的Deamon程序轮询满足调度条件的Kettle任务，根据从Kettle数据库资源库中的数据文件获取参数项，生成参数列表，执行Kettle任务。

对于如何管理和监控Kettle工具生成的转换和作业任务，专利CN107045538A提出一种基于Kettle的web端交换管理方法，把Kettle中转换、作业的基础属性配置，运行管理与配置从Kettle中剥离，使经常性的操作无需启动Kettle即可完成。

在上述背景下，一方面传统地使用Kettle客户端作为ETL工具面临着不易维护、不便管理和监控任务等问题；另一方面基于Kettle客户端在任务调度、管理和监控任务做了改进的专利，需要使用Kettle客户端生成转换和作业，然后在此基础上，通过开发的另外一个系统来完成任务调度或管理、监控Kettle中转换、作业等工作，会导致用户需要在Kettle客户端和其他一个或多个系统之间频繁切换，整体性不强容易出错，同时也增加了工作的复杂性。

现有的技术只是将Kettle客户端生成的转换、作业的基础属性配置、运行管理与配置信息进行分离，通过开发Web应用工程并引用分离出来的配置信息来实现对Kettle的转换、作业的管理和监控。这种实现方式有如下几点缺陷：

1、作为ETL产品整体性不强，由两个系统组成：一是Kettle客户端，负责所有与图形界面操作相关的工作；二是Web后台管理应用，基于B/S架构提供浏览器端的界面网页，负责对系统一生成的数据(包括转换、作业的基础属性配置等)进行查询的功能。导致用户需要在这两个系统之间频繁切换，降低了工作效率。

2、与Kettle客户端耦合度较高，扩展性较差。

发明内容

针对上述现有技术中的不足，本发明提供一种基于Kettle的ETL Web应用系统架构方法。

为实现上述目的，本发明提供一种基于Kettle的ETL Web应用系统架构方法，包括如下步骤：

步骤1，创建Kettle数据库和ETL Web工程数据库；

步骤2，初始化ETL Web工程数据库以及Kettle客户端所需要的表和数据，将初始化后的Kettle数据库中所有表和数据导入到ETL Web工程数据库中；

步骤3，创建ETL Web工程，在ETL Web工程中导入相关的Kettle依赖jar包，基于初始化后的ETL Web工程数据库完成Web工程的基础环境配置；

步骤4，基于Web工程的基础环境配置开发前台与后台；

步骤5，在后台中部署Kettle集群并开启Carte服务。

作为上述技术方案的进一步改进，步骤1中，创建的数据库方案采用关系型数据库的MySQL或Oracle。

作为上述技术方案的进一步改进，步骤2的具体过程为：

步骤2.1，将与数据库方案对应的JDBC驱动jar包拷贝到Kettle客户端的安装路径下的lib文件夹下；

步骤2.2，采用Spoon模式启动Kettle客户端并新建数据库资源库，在数据库资源库新增界面中将创建的Kettle数据库作为其数据库资源库，保存数据资源库的配置；

步骤2.3，初始化Kettle客户端以将Kettle所依赖的表和数据初始化到Kettle数据库中，并将Kettle数据库中所有表和数据导出到脚本文件；

步骤2.4，初始化ETL Web工程数据库，并将步骤2.3导出的脚本文件导入到该ETLWeb工程数据库下，使ETL Web工程数据库下包含Kettle所依赖的表和数据。

作为上述技术方案的进一步改进，步骤3中，所述在ETL Web工程中导入相关的Kettle依赖jar包，基于初始化后的ETL Web工程数据库完成Web工程的基础环境配置，具体为：

在ETL Web工程中导入Kettle客户端的安装路径下的lib文件夹中kettle-core、kettle-engine两个jar包，并将ETL Web工程的数据源配置为步骤1中初始化后的ETL Web工程数据库，完成Web工程的基础环境配置。

作为上述技术方案的进一步改进，步骤4中，所述前台包括前端部分与后端部分；

所述前端部分由前端框架技术构建而成，进而快速实现Kettle客户端对应于Web应用中的ETL配置的界面效果，同时完成同时完成ETL Web应用的相关管理界面开发；

所述后端部分包括与前端部分关联的Controller层、Service层和DAO层，所述Controller层、Service层和DAO层由Spring Boot微服务框架来实现对外的服务提供。

作为上述技术方案的进一步改进，所述ETL配置包括数据转换配置、多个转换或任务组合起来的作业配置。

作为上述技术方案的进一步改进，所述ETL Web应用的相关管理界面包括全景视图、任务管理、调度管理、集群管理、日志管理和系统管理。

作为上述技术方案的进一步改进，所述全景视图包括应用系统的转换统计、任务统计、作业统计，为对应整个应用系统的一个宏观统计的监控视图；

所述任务管理包括转换管理、作业管理、任务组管理和任务监控，其中，转换管理包括对新增的转换进行查询、修改、删除、分配任务组，作业管理包括对新增的作业进行查询、修改、删除、分配任务组、配置定时执行制度，任务组管理包括对任务进行新增、修改、删除，任务监控包括查询用户组织权限下所有的监控任务信息，所述监控任务信息包括任务名、任务节点、任务类型、运行状态；

所述调度管理是对作业的定时任务管理，包括对执行类型、执行节点、任务名的查询，和对定时任务的删除和修改；

所述集群管理是指对Kettle集群的管理，包括集群中节点运行状态的监控、新增和删除节点；

所述日志管理是指任务的历史日志详情记录，包含有任务名、任务类型、开始时间、结束时间、执行方式、状态、参数信息和日志详情；

所述系统管理包括用户查询、新增、修改、变更用户组和用户组查询、新增、删除、修改。

作为上述技术方案的进一步改进，步骤4中，所述后台包括任务调度部分，所述任务调度部分包括定时任务调度和任务执行；

所述定时任务调度采用Quartz框架或SpringSchedule框架实现，通过解析前台保存在数据中的每个任务的调度表达式，完成对每个任务的定时调度；

任务执行通过调用Carte提供的API来执行转换和作业。

本发明提供的一种基于Kettle的ETL Web应用系统架构方法，采用B/S(Browser/Server，浏览器/服务器模式)架构开发ETL Web应用的系统架构方案和步骤方法，实现整个企业的ETL工作只需要使用一套系统，基于这套系统能够做到统一管理和监控所有的ETL任务，做到分角色管理，从而降低企业的运营维护成本。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图示出的结构获得其他的附图。

图1为本发明实施例中基于Kettle的ETL Web应用系统架构的架构图；

图2为本发明实施例中基于Kettle的ETL Web应用系统架构的架构流程示意图；

图3是发明实施例中将初始化后的Kettle数据库中所有表和数据导入到ETL Web工程数据库。

本发明目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明的一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

需要说明，本发明实施例中所有方向性指示(诸如上、下、左、右、前、后……)仅用于解释在某一特定姿态(如附图所示)下各部件之间的相对位置关系、运动情况等，如果该特定姿态发生改变时，则该方向性指示也相应地随之改变。

另外，在本发明中如涉及“第一”、“第二”等的描述仅用于描述目的，而不能理解为指示或暗示其相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。在本发明的描述中，“多个”的含义是至少两个，例如两个，三个等，除非另有明确具体的限定。

在本发明中，除非另有明确的规定和限定，术语“连接”、“固定”等应做广义理解，例如，“固定”可以是固定连接，也可以是可拆卸连接，或成一体；可以是机械连接，也可以是电连接，还可以是物理连接或无线通信连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通或两个元件的相互作用关系，除非另有明确的限定。对于本领域的普通技术人员而言，可以根据具体情况理解上述术语在本发明中的具体含义。

另外，本发明各个实施例之间的技术方案可以相互结合，但是必须是以本领域普通技术人员能够实现为基础，当技术方案的结合出现相互矛盾或无法实现时应当认为这种技术方案的结合不存在，也不在本发明要求的保护范围之内。

如图1所示的一种基于Kettle的ETL Web应用系统架构，由三大部分组成，包括前台、后台和数据库存储部分。前台作为最贴近用户使用的部分，具备ETL配置、任务管理、调度管理、集群管理、日志管理等功能，其中，后续二次开发新增的功能模板主要也是在前台部分实现。

其中，前台在技术层面上包括分离的前台部分与后台部分。前端主要是由HTML静态页面、CSS样式和JavaScript脚本构成；后端主要是给前端提供请求响应的服务端，根据MVC分层理念，将后端分为Controller层、Service层和Dao层。具体的，Controller层用于负责具体的业务模块流程的控制，Service层用于负责业务模块的应用逻辑应用设计，Dao层用于负责数据持久层的工作。

后台部分作为ETL产品的真正执行单元，负责ETL任务的调度和执行，Kettle的运行模式有两种：Spoon模式和Carte模式，Spoon模式是一个IDE(Integrate DevelopmentEnvironment，集成开发环境)，用户需要启动Kettle客户端才能创建/编辑转换或作业，启动/终止转换或作业等功能；Carte是Kettle的一个轻量级的服务进程，可以支持远程监控任务，而且可以部署到多台服务器上组成一个Carte集群，从而为任务提供集群的能力，因此本实施例采用基于Kettle的Carte模式。数据库存储部分作为ETL Web应用的存储单元，负责存储前台的配置数据和元数据等，为后台提供调度配置数据和任务配置数据等。

对于Kettle客户端中组件的功能实现逻辑解释：Kettle客户端中每个组件都涉及到四个类，本实施例中以文本文件输入组件(TextFileInput)为例，本文件输入组件涉及到四个类具体为：kettle-enginejar包中TextFileInput步骤类、TextFileInputData数据类、TextFileInputMeta元数据类，以及kettle-ui-swt jar包中TextFileInputDialog对话框类。其中TextFileInputDialog对话框类是实现Kettle客户端中文本文件输入组件使用时弹出的对话框界面，这个类的作用对应本发明Web应用前台的前端部分；TextFileInput步骤类在文本输入组件步骤执行时的工具类；TextFileInputData数据类是在文本输入组件步骤执行时相关的数据类；TextFileInputMeta元数据类是存储前端页面中关于这个组件的所有值，是作为前台前端部分与后端部分端数据交互中关键类，也是Web工程中需要对前端部分传给后端部分的有关组件的值给这个类进行初始化工作。

参考图2，上述基于Kettle的ETL Web应用系统架构的实现过程具体包括如下步骤：步骤1，创建Kettle数据库和ETL Web工程数据库，其中，创建的数据库方案可以采用关系型数据库的MySQL或Oracle；

步骤2，初始化ETL Web工程数据库以及Kettle客户端所需要的表和数据，将初始化后的Kettle数据库中所有表和数据导入到ETL Web工程数据库中；

步骤3，创建ETL Web工程，在ETL Web工程中导入相关的Kettle依赖jar包，基于初始化后的ETL Web工程数据库完成Web工程的基础环境配置；

步骤4，基于Web工程的基础环境配置开发前台与后台；

步骤5，在后台中部署Kettle集群并开启Carte服务。

参考图3，步骤2的具体过程为：

步骤2.1，将与数据库方案对应的JDBC(Java Database Connectivity，Java数据库连接)驱动jar(Java Archive，一种软件包文件格式)包拷贝到Kettle客户端的安装路径下的lib文件夹下；

步骤2.2，采用Spoon模式启动Kettle客户端并新建数据库资源库，在数据库资源库新增界面中将创建的Kettle数据库作为其数据库资源库，保存数据资源库的配置；

步骤2.3，初始化Kettle客户端以将Kettle所依赖的表和数据初始化到Kettle数据库中，并将Kettle数据库中所有表和数据导出到脚本文件；

步骤2.4，初始化ETL Web工程数据库，并将步骤2.3导出的脚本文件导入到该ETLWeb工程数据库下，使ETL Web工程数据库下包含Kettle所依赖的表和数据。

在步骤3中，所述在ETL Web工程中导入相关的Kettle依赖jar包，基于初始化后的ETL Web工程数据库完成Web工程的基础环境配置，具体为：

在ETL Web工程中导入Kettle客户端的安装路径下的lib文件夹中kettle-core、kettle-engine两个jar包，并将ETL Web工程的数据源配置为步骤1中初始化后的ETL Web工程数据库，完成Web工程的基础环境配置。在步骤4中，前台包括前端部分与后端部分前端部分由目前成熟的前端框架技术构建而成，比如React、Vue、Angular、Bootstrap等构建Web前端工程，进而快速实现Kettle客户端对应于Web应用中的ETL配置的界面效果，同时完成同时完成ETL Web应用的相关管理界面开发；

后端部分包括与前端部分关联的Controller层、Service层和DAO层，所述Controller层、Service层和DAO层由Spring Boot微服务框架来实现对外的服务提供。其中DAO层作为数据持久化层，可以采用Mybatis或Hibernate持久化框架。ETL Web应用中的ETL配置功能部分作为与Kettle底层关系最紧密的一部分，后端需要将前端各组件中用户配置的所有值保存到各组件相应的meta类中。

其中，ETL配置包括数据转换配置、多个转换或任务组合起来的作业配置；

ETL Web应用的相关管理界面包括全景视图、任务管理、调度管理、集群管理、日志管理和系统管理。

具体的，全景视图包括应用系统的转换统计、任务统计、作业统计，为对应整个应用系统的一个宏观统计的监控视图；

任务管理包括转换管理、作业管理、任务组管理和任务监控，其中，转换管理包括对新增的转换进行查询、修改、删除、分配任务组，作业管理包括对新增的作业进行查询、修改、删除、分配任务组、配置定时执行制度，任务组管理包括对任务进行新增、修改、删除，任务监控包括查询用户组织权限下所有的监控任务信息，所述监控任务信息包括任务名、任务节点、任务类型、运行状态；

调度管理是对作业的定时任务管理，包括对执行类型、执行节点、任务名的查询，和对定时任务的删除和修改；

集群管理是指对Kettle集群的管理，包括集群中节点运行状态的监控、新增和删除节点；

日志管理是指任务的历史日志详情记录，包含有任务名、任务类型、开始时间、结束时间、执行方式、状态、参数信息和日志详情；

系统管理包括用户查询、新增、修改、变更用户组和用户组查询、新增、删除、修改。

在步骤4中，后台包括任务调度部分，任务调度部分包括定时任务调度和任务执行。定时任务调度采用Quartz框架或Spring Schedule框架实现，通过解析前台保存在数据中的每个任务的调度表达式，完成对每个任务的定时调度；任务执行通过调用Carte提供的API(Application Programming Interface，应用程序编程接口)来执行转换和作业。

在步骤5中，由于Kettle支持一主多从架构，因此可以在多台服务器上部署Kettle，从而形成分布式集群，使系统具备高可用、高性能。由于ETL Web应用中创建的转换和作业，真正的执行是Kettle的底层Carte，通过carte.sh脚本分别在master节点、slave节点上启动carte服务，实现调用Carte提供的API来执行转换和作业。

以上所述仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是在本发明的发明构思下，利用本发明说明书及附图内容所作的等效结构变换，或直接/间接运用在其他相关的技术领域均包括在本发明的专利保护范围内。

Claims (9)

1.一种基于Kettle的ETL Web应用系统架构方法，其特征在于，包括如下步骤：

步骤1，创建Kettle数据库和ETL Web工程数据库；

步骤2，初始化ETL Web工程数据库以及Kettle客户端所需要的表和数据，将初始化后的Kettle数据库中所有表和数据导入到ETL Web工程数据库中；

步骤3，创建ETL Web工程，在ETL Web工程中导入相关的Kettle依赖jar包，基于初始化后的ETL Web工程数据库完成Web工程的基础环境配置；

步骤4，基于Web工程的基础环境配置开发前台与后台；

步骤5，在后台中部署Kettle集群并开启Carte服务。

2.根据权利要求1所述基于Kettle的ETL Web应用系统架构方法，其特征在于，步骤1中，创建的数据库方案采用关系型数据库的MySQL或Oracle。

3.根据权利要求1所述基于Kettle的ETL Web应用系统架构方法，其特征在于，步骤2的具体过程为：

步骤2.1，将与数据库方案对应的JDBC驱动jar包拷贝到Kettle客户端的安装路径下的lib文件夹下；

步骤2.2，采用Spoon模式启动Kettle客户端并新建数据库资源库，在数据库资源库新增界面中将创建的Kettle数据库作为其数据库资源库，保存数据资源库的配置；

步骤2.3，初始化Kettle客户端以将Kettle所依赖的表和数据初始化到Kettle数据库中，并将Kettle数据库中所有表和数据导出到脚本文件；

步骤2.4，初始化ETL Web工程数据库，并将步骤2.3导出的脚本文件导入到该ETL Web工程数据库下，使ETL Web工程数据库下包含Kettle所依赖的表和数据。

4.根据权利要求1所述基于Kettle的ETL Web应用系统架构方法，其特征在于，步骤3中，所述在ETL Web工程中导入相关的Kettle依赖jar包，基于初始化后的ETL Web工程数据库完成Web工程的基础环境配置，具体为：

在ETL Web工程中导入Kettle客户端的安装路径下的lib文件夹中kettle-core、kettle-engine两个jar包，并将ETL Web工程的数据源配置为步骤1中初始化后的ETL Web工程数据库，完成Web工程的基础环境配置。

5.根据权利要求1所述基于Kettle的ETL Web应用系统架构方法，其特征在于，步骤4中，所述前台包括前端部分与后端部分；

所述前端部分由前端框架技术构建而成，进而快速实现Kettle客户端对应于Web应用中的ETL配置的界面效果，同时完成同时完成ETL Web应用的相关管理界面开发；

所述后端部分包括与前端部分关联的Controller层、Service层和DAO层，所述Controller层、Service层和DAO层由SpringBoot微服务框架来实现对外的服务提供。

6.根据权利要求5所述基于Kettle的ETL Web应用系统架构方法，其特征在于，所述ETL配置包括数据转换配置、多个转换或任务组合起来的作业配置。

7.根据权利要求6所述基于Kettle的ETL Web应用系统架构方法，其特征在于，所述ETLWeb应用的相关管理界面包括全景视图、任务管理、调度管理、集群管理、日志管理和系统管理。

8.根据权利要求7所述基于Kettle的ETL Web应用系统架构方法，其特征在于，所述全景视图包括应用系统的转换统计、任务统计、作业统计，为对应整个应用系统的一个宏观统计的监控视图；

所述任务管理包括转换管理、作业管理、任务组管理和任务监控，其中，转换管理包括对新增的转换进行查询、修改、删除、分配任务组，作业管理包括对新增的作业进行查询、修改、删除、分配任务组、配置定时执行制度，任务组管理包括对任务进行新增、修改、删除，任务监控包括查询用户组织权限下所有的监控任务信息，所述监控任务信息包括任务名、任务节点、任务类型、运行状态；

所述调度管理是对作业的定时任务管理，包括对执行类型、执行节点、任务名的查询，和对定时任务的删除和修改；

所述集群管理是指对Kettle集群的管理，包括集群中节点运行状态的监控、新增和删除节点；

所述日志管理是指任务的历史日志详情记录，包含有任务名、任务类型、开始时间、结束时间、执行方式、状态、参数信息和日志详情；

所述系统管理包括用户查询、新增、修改、变更用户组和用户组查询、新增、删除、修改。

9.根据权利要求1所述基于Kettle的ETL Web应用系统架构方法，其特征在于，步骤4中，所述后台包括任务调度部分，所述任务调度部分包括定时任务调度和任务执行；

所述定时任务调度采用Quartz框架或SpringSchedule框架实现，通过解析前台保存在数据中的每个任务的调度表达式，完成对每个任务的定时调度；

任务执行通过调用Carte提供的API来执行转换和作业。

Images