CN112307108A - 一种基于简单配置方式的数据抽取方法及系统 - Google Patents

Abstract

本发明公开了一种基于简单配置方式的数据抽取方法及系统，属于计算机软件技术领域，包括以下步骤：S1：同步数据配置；S2：连接参数校验；S3：同步调度引擎执行数据同步任务；S4：持久化同步日志。本发明可以大幅度减低Mysql数据同步到ES的操作门槛及难度，通过可视化界面管理，同时也减低了对不同数据源的管理难度，简化了操作复杂度，将大量的用户操作步骤进行了隐藏，显著提升了用户体验，值得被推广使用。

Description

一种基于简单配置方式的数据抽取方法及系统

技术领域

本发明涉及计算机软件技术领域，具体涉及一种基于简单配置方式的数据抽取方法及系统。

背景技术

现有的数据抽取通常是通过ETL工具Kettle从MySql中进行数据的抽取、解析并转换，然后再将数据装载到Elasticsearch中，现有的数据抽取流程示意图如图1所示。

在通过Kettle进行数据抽取时，需安装Kettle客户端工具，然后使用工具，在客户端界面手动操作，创建一个转换和作业，再去编排一个数据抽取流程，界面操作较为繁琐，且一旦出错，不易排查，使用体验较差，同时当投入生产环境使用时，由于生产环境数据量较大，Kettle客户端动辄用上百个工作job需要管理，这时还使用Kettle客户端管理就十分困难了。为此，提出一种基于简单配置方式的数据抽取方法及系统。

发明内容

本发明所要解决的技术问题在于：如何解决原本基于Kettle的数据抽取过程存在的一系列复杂配置以及后期海量数据量难以管理的问题，提供了一种基于简单配置方式的数据抽取方法。

本发明是通过以下技术方案解决上述技术问题的，本发明包括以下步骤：

S1：同步数据配置

在同步数据配置界面，配置源数据库的连接信息、需要同步到ES的数据表以及字段信息；

S2：连接参数校验

在MySql数据配置界面，输入同步库的连接地址以及连接参数，完成后进行连接测试，前台将用户输入的请求地址和参数发往后台进行校验；后台获取连接地址后，使用JDBC驱动类获取连接，得到返回结果后，判断连接对象实例是否为空，不为空则用户提供的信息能够连接到源数据库，参数校验成功，否则用户提供的源数据库连接参数有误，无法连接；

S3：同步调度引擎执行数据同步任务

参数配置完成后，将向后台发送请求，后台执行同步调度引擎，同步调度引擎收到同步请求后，执行数据同步操作；

S4：持久化同步日志

数据抽取完成后，将当前抽取数据过程产生的日志持久化，供用户在抽取失败后查看相应的失败日志排查问题。

更进一步地，在所述步骤S2中，同步库的连接地址参数包括IP、端口、用户名、密码，连接参数包括useSSL、characterEncoding、useUnicode、allowMultiQueries。

更进一步地，在所述步骤S3中，同步调度引擎执行数据同步任务的具体工作过程如下：

S31：调用KettleEnvironment.init()方法初始化Kettle环境；

S32：读取默认的转换时间格式模板，统一MySql和Elasticsearch中的时间格式，使两者的时间格式保持一致；

S33：解析MySql连接信息，包含数据库地址和库表信息，并读取数据到Kettle的DatabaseMeta数据库元数据和StepMeta步骤元数据中；

S34：解析Elasticsearch地址，并使用MySql的数据名和表名，向Elasticsearch的RestClient API发送创建索引请求；

S35：创建Kettle的ElasticSearchBulkMeta对象，设置Elasticsearch的索引、索引类型、集群信息；

S36：调取Kettle的转换引擎Trans执行execute方法进行数据转换，将MySql中数据抽取到Elasticsearch中。

更进一步地，在所述步骤S3中，执行数据同步任务的同步机制包括立即同步和定时同步，定时同步支持Cron表达式配置定时同步数据。

更进一步地，在所述步骤S4中，当数据抽取失败时，将失败日志反馈给用户；成功时将成功日志反馈给用户。

本发明还提供了一种基于简单配置方式的数据抽取系统，采用上述的数据抽取方法完成数据抽取工作，包括：

同步数据配置模块，用于在同步数据配置界面，配置源数据库的连接信息、需要同步到ES的数据表以及字段信息；

连接参数校验模块，用于在MySql数据配置界面，输入同步库的连接地址以及连接参数，完成后进行连接测试，前台将用户输入的请求地址和参数发往后台进行校验；后台获取连接地址后，使用JDBC驱动类获取连接，得到返回结果后，判断连接对象实例是否为空，即用户提供的信息是否能够连接到数据库，并将校验结果实时反馈给前台，前台经过渲染之后反馈给用户；

任务执行模块，用于参数配置完成后，将向后台发送请求，后台执行同步调度引擎，同步调度引擎收到同步请求后，执行数据同步操作；

日志模块，用于在数据抽取完成后，将当前抽取数据过程产生的日志持久化；

中央处理模块，用于向其他模块发出指令，完成相关动作；

所述同步数据配置模块、所述连接参数校验模块、所述任务执行模块、所述日志模块均与中央处理模块电连接。

本发明相比现有技术具有以下优点：该基于简单配置方式的数据抽取方法，相比较于通过Kettle客户端进行创建转化、创建Job等,进行一系列的复杂配置，通过本发明可以大幅度减低Mysql数据同步到ES的操作门槛及难度，通过可视化界面管理，同时也减低了对不同数据源的管理难度，在Kettle客户端中，一旦数据库过多，那么管理起来十分困难，十分地不人性化，同时本发明大大简化了操作复杂度，将大量的用户操作步骤进行了隐藏，显著提升了用户体验，值得被推广使用。

附图说明

图1是现有技术中数据抽取流程示意图；

图2是本发明实施例二中使用kettle基于简单配置方式的MYSQL数据实时同步到ES方法的系统结构图；

图3是本发明实施例二中使用Kettle基于简单配置方式的MySql数据实时同步到ES方法的执行流程图；

图4是本发明实施例三中步骤1的操作界面图；

图5是本发明实施例三中步骤2的第一操作界面图；

图6是本发明实施例三中步骤2的第二操作界面图；

图7是本发明实施例三中步骤3的操作界面图；

图8是本发明实施例三中步骤4的操作界面图。

具体实施方式

下面对本发明的实施例作详细说明，本实施例在以本发明技术方案为前提下进行实施，给出了详细的实施方式和具体的操作过程，但本发明的保护范围不限于下述的实施例。

本实施例提供一种技术方案：一种基于简单配置方式的数据抽取方法，包括以下步骤：

S1：同步数据配置

在同步数据配置界面，配置源数据库的连接信息、需要同步到ES的数据表以及字段信息；

S2：连接参数校验

在MySql数据配置界面，输入同步库的连接地址以及连接参数，完成后进行连接测试，前台将用户输入的请求地址和参数发往后台进行校验；后台获取连接地址后，使用JDBC驱动类获取连接，得到返回结果后，判断连接对象实例是否为空，不为空则用户提供的信息能够连接到源数据库，参数校验成功，否则用户提供的源数据库连接参数有误，无法连接；

S3：同步调度引擎执行数据同步任务

参数配置完成后，将向后台发送请求，后台执行同步调度引擎，同步调度引擎收到同步请求后，执行数据同步操作；

S4：持久化同步日志

数据抽取完成后，将当前抽取数据过程产生的日志持久化，供用户在抽取失败后查看相应的失败日志排查问题。

在所述步骤S2中，同步库的连接地址参数包括IP、端口、用户名、密码，连接参数包括useSSL、characterEncoding、useUnicode、allowMultiQueries。

在所述步骤S3中，同步调度引擎执行数据同步任务的具体工作过程如下：

S31：调用KettleEnvironment.init()方法初始化Kettle环境；

S32：读取默认的转换时间格式模板，统一MySql和Elasticsearch中的时间格式，使两者的时间格式保持一致；

S33：解析MySql连接信息，包含数据库地址和库表信息，并读取数据到Kettle的DatabaseMeta数据库元数据和StepMeta步骤元数据中；

S34：解析Elasticsearch地址，并使用MySql的数据名和表名，向Elasticsearch的RestClient API发送创建索引请求；

S35：创建Kettle的ElasticSearchBulkMeta对象，设置Elasticsearch的索引、索引类型、集群信息；

S36：调取Kettle的转换引擎Trans执行execute方法进行数据转换，将MySql中数据抽取到Elasticsearch中。

在所述步骤S3中，执行数据同步任务的同步机制包括立即同步和定时同步，定时同步支持Cron表达式配置定时同步数据。

在所述步骤S4中，当数据抽取失败时，将失败日志反馈给用户；成功时将成功日志反馈给用户。

本实施例还提供了一种基于简单配置方式的数据抽取系统，采用上述的数据抽取方法完成数据抽取工作，包括：

同步数据配置模块，用于在同步数据配置界面，配置源数据库的连接信息、需要同步到ES的数据表以及字段信息；

连接参数校验模块，用于在MySql数据配置界面，输入同步库的连接地址以及连接参数，完成后进行连接测试，前台将用户输入的请求地址和参数发往后台进行校验；后台获取连接地址后，使用JDBC驱动类获取连接，得到返回结果后，判断连接对象实例是否为空，即用户提供的信息是否能够连接到数据库，并将校验结果实时反馈给前台，前台经过渲染之后反馈给用户；

任务执行模块，用于参数配置完成后，将向后台发送请求，后台执行同步调度引擎，同步调度引擎收到同步请求后，执行数据同步操作；

日志模块，用于数据抽取完成后，将当前抽取数据过程产生的日志持久化；

中央处理模块，用于向其他模块发出指令，完成相关动作；

所述同步数据配置模块、所述连接参数校验模块、所述任务执行模块、所述日志模块均与中央处理模块电连接。

实施例二

本实施例的数据抽取方法主要是基于Kettle的API进行二次开发，将Kettle的配置流程简单化，隐藏Kettle对于转换配置及Job作业管理等的复杂性，极大地方便了用户操作。用户只需要Web操作界面选择源数据源、配置Mysql中需要同步的表以及字段属性，字段信息可以使用默认，不需要更改，就能够轻松实现数据的实时抽取，并支持Cron定时表达式的方式配置定时同步任务，解决了原本基于Kettle的数据抽取过程存在的一系列复杂配置以及后期海量数据量难以管理的问题。

如图2所示，为本实施例的使用kettle基于简单配置方式的MYSQL数据实时同步到ES方法的系统结构图；

其中：

用户为在平台中将数据从MySql实时同步到ES的操作用户；

Web界面即用户操作的浏览器端，通过在Web界面配置数据源、表和字段属性信息，从而进行数据实时抽取。主要通过前端的Vue控制，配置完成后，将数据发送到后台同步调度引擎，完成数据同步操作；

通过前端的Vue控制的原理及过程

用户点击【配置】按钮，触发VUE的点击事件，页面弹出配置界面，在配置界面选择源数据库，选择完成后，页面将展示源数据库所有的表和字段信息，再选择需要同步的Elasticsearch中的表以及字段，VUE将其勾选的表以及字段信息保存临时数组中，并通过VUE数据双向绑定展示在目标表中，勾选完成后，点击【完成】，源数据及目标数据信息将发送到后台同步调度引擎。

验证连接是验证源数据MySql连接、目标数据Elasticsearch的配置信息是否正确；

同步调度引擎：参数验证完成之后，将会通过同步调度引擎实时调取Kettle的API，进行数据实时同步操作；

Job引擎：为Kettle的工作引擎，Job是基于工作流模型的，完成协调数据源、执行过程和相关依赖性的ETL活动，Job引擎将功能性和实体过程聚合在了一起，由工作节点连接、工作实体和工作组成；

Setp引擎：Steps(步骤)是转换的建筑模块，比如一个表输出就是一个步骤，每个步骤用于完成某种特定的功能，通过配置一系列的步骤就可以完成需要完成的任务；

数据库访问引擎：数据库访问引擎建立源数据库目标数据源的连接，并且获取源数据库中表数据。

本发明的目的是实现Mysql数据实时同步到Elasticsearch中，通过界面化的简单配置，降低用户认知成本和使用难度，提升用户使用体验。

如图3所示，为本实施例中使用Kettle基于简单配置方式的MySql数据实时同步到Elasticsearch的方法执行流程图，主要包括以下步骤：

1)同步数据配置界面：

同步数据配置界面，配置源数据库的连接信息、需要同步到ES的数据表以及字段信息；

字段信息：

字段信息是MySql中表的字段信息以及Elasticsearch中索引的字段信息，包含源字段名称、源字段类型、目标字段名称、目标字段类型。一般情况下，MySql和Elasticsearch字段名称以及类型应保持一致，默认即可，如果用户特殊需求，那么也可以更改Elasticsearch中的字段名称以及字段类型，字段信息配置就是提供这样的功能。

2)MySql连接参数校验：

在MySql数据配置界面，输入同步库的连接地址(IP、端口、用户名、密码)以及连接参数(useSSL、characterEncoding、useUnicode、allowMultiQueries)，完成后用户可以进行连接测试，前台会将用户输入的请求地址和参数以RESTFUL风格的方式发往后台进行校验。

后台获取连接地址后，使用JDBC驱动类DriverManager获取Connection连接，得到返回结果后，判断Connection对象实例是否为空，即用户提供的信息是否能够连接到数据库，并将校验结果实时反馈给前台，前台经过渲染之后反馈给用户，帮助用户排查问题。

3)同步调度引擎：

参数配置完成之后，将会向后台发送请求，后台执行同步调度引擎，同步调度引擎收到同步请求后，执行数据同步操作，引擎的工作流程如下：

(1)调用KettleEnvironment.init()方法初始化Kettle环境；

(2)读取默认的转换时间格式模板，统一MySql和Elasticsearch中时间格式，使它们的时间格式保持一致；

(3)解析MySql连接信息，包含数据库地址和库表信息，并读取数据到Kettle的DatabaseMeta数据库元数据和StepMeta步骤元数据中；

(4)解析Elasticsearch地址，并使用MySql的数据名和表名，向Elasticsearch的RestClient API发送创建索引请求；

(5)创建Kettle的ElasticSearchBulkMeta对象，设置Elasticsearch的索引、索引类型、集群等信息；

(6)调取Kettle的转换引擎Trans的执行execute方法进行数据转换，将MySql中数据抽取到Elasticsearch中；

说明：

转换引擎Trans指的是Kettle中的TransMeta对象，它定义了转换的信息及转换的过程，提供了从源数据库中加载出数据，并将其转换到目标数据源的方法；Setp引擎指的是Kettle中的StepMeta对象，一个完整的转换包含了多个步骤TransMeta，例如设置源数据库、设置需要的表及字段等；Job引擎指的是Kettle中的JobMeta对象，它可以加载Kettle的.kjb文件并设置变量。

4)同步日志：

数据抽取完成后，会将当前应用抽取数据过程产生的日志持久化，方便用户在抽取失败后查看相应的失败日志排查问题。

5)日志反馈：

无论数据抽取成功或失败，需要将数据抽取的结果反馈给用户，以便用户对下一步做出判断。当数据抽取失败时，将失败日志反馈给用户；成功时将成功日志反馈给用户。

实施例三

本实施例的使用Kettle基于简单配置方式的MySql数据实时同步到ES的方法包括如下步骤：

步骤1：用户通过页面配置MySql连接地址进行测试

根据用户自身的需求，填写MySql的连接参数，包含IP、端口、用户名、密码，点击测试连接，后台将会以JDBC的方式测试MySql连接是否成功，并将测试结果返回给用户,如图4所示；

步骤2：配置需要同步的MySql表及字段

选择源数据库后，展示源数据库所有表，选择需要同步的表，如图5所示；

选择需要同步的表数据之后，再选择表字段信息，如不需要更改，可以使用默认值，如图6所示；

步骤3：选择同步机制

同步机制包括立即同步和定时同步，定时同步支持Cron表达式配置定时同步数据，如图7所示；

步骤4：查看同步日志

用户完成数据同步之后，同步引擎执行完同步操作之后将，会把同步日志返回给用户，如图8所示。

综上所述，上述实施例的基于简单配置方式的数据抽取方法，相比较于通过Kettle客户端进行创建转化、创建Job等,进行一系列的复杂配置，通过本发明可以大幅度减低Mysql数据同步到ES的操作门槛及难度，通过可视化界面管理，同时也减低了对不同数据源的管理难度，在Kettle客户端中，一旦数据库过多，那么管理起来十分困难，十分地不人性化，同时本发明大大简化了操作复杂度，将大量的用户操作步骤进行了隐藏，显著提升了用户体验，值得被推广使用。

尽管上面已经示出和描述了本发明的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本发明的限制，本领域的普通技术人员在本发明的范围内可以对上述实施例进行变化、修改、替换和变型。

Claims (6)

1.一种基于简单配置方式的数据抽取方法，其特征在于，包括以下步骤：

S1：同步数据配置

在同步数据配置界面，配置源数据库的连接信息、需要同步到ES的数据表以及字段信息；

S2：连接参数校验

在MySql数据配置界面，输入同步库的连接地址以及连接参数，完成后进行连接测试，前台将用户输入的请求地址和参数发往后台进行校验；后台获取连接地址后，使用JDBC驱动类获取连接，得到返回结果后，判断连接对象实例是否为空，并将校验结果实时反馈给前台，前台经过渲染之后再反馈给用户；

S3：同步调度引擎执行数据同步任务

参数配置完成后，将向后台发送请求，后台执行同步调度引擎，同步调度引擎收到同步请求后，执行数据同步操作；

S4：持久化同步日志

数据抽取完成后，将当前抽取数据过程产生的日志持久化，供用户在抽取失败后查看相应的失败日志排查问题。

2.根据权利要求1所述的一种基于简单配置方式的数据抽取方法，其特征在于：在所述步骤S2中，同步库的连接地址参数包括IP、端口、用户名、密码，连接参数包括useSSL、characterEncoding、useUnicode、allowMultiQueries。

3.根据权利要求2所述的一种基于简单配置方式的数据抽取方法，其特征在于：在所述步骤S3中，同步调度引擎执行数据同步任务的具体工作过程如下：

S31：调用KettleEnvironment.init()方法初始化Kettle环境；

S32：读取默认的转换时间格式模板，统一MySql和Elasticsearch中的时间格式，使两者的时间格式保持一致；

S33：解析MySql连接信息，包含数据库地址和库表信息，并读取数据到Kettle的DatabaseMeta数据库元数据和StepMeta步骤元数据中；

S34：解析Elasticsearch地址，并使用MySql的数据名和表名，向Elasticsearch的RestClient API发送创建索引请求；

S35：创建Kettle的ElasticSearchBulkMeta对象，设置Elasticsearch的索引、索引类型、集群信息；

S36：调取Kettle的转换引擎Trans执行execute方法进行数据转换，将MySql中数据抽取到Elasticsearch中。

4.根据权利要求3所述的一种基于简单配置方式的数据抽取方法，其特征在于：在所述步骤S3中，执行数据同步任务的同步机制包括立即同步和定时同步，定时同步支持Cron表达式配置定时同步数据。

5.根据权利要求4所述的一种基于简单配置方式的数据抽取方法，其特征在于：在所述步骤S4中，当数据抽取失败时，将失败日志反馈给用户；成功时将成功日志反馈给用户。

6.一种基于简单配置方式的数据抽取系统，采用如权利要求1～5任一项所述的数据抽取方法完成数据抽取工作，包括：

同步数据配置模块，用于在同步数据配置界面，配置源数据库的连接信息、需要同步到ES的数据表以及字段信息；

连接参数校验模块，用于在MySql数据配置界面，输入同步库的连接地址以及连接参数，完成后进行连接测试，前台将用户输入的请求地址和参数发往后台进行校验；后台获取连接地址后，使用JDBC驱动类获取连接，得到返回结果后，判断连接对象实例是否为空，即用户提供的信息是否能够连接到数据库，并将校验结果实时反馈给前台，前台经过渲染之后反馈给用户；

任务执行模块，用于参数配置完成后，将向后台发送请求，后台执行同步调度引擎，同步调度引擎收到同步请求后，执行数据同步操作；

日志模块，用于在数据抽取完成后，将当前抽取数据过程产生的日志持久化；

中央处理模块，用于向其他模块发出指令，完成相关动作；

所述同步数据配置模块、所述连接参数校验模块、所述任务执行模块、所述日志模块均与中央处理模块电连接。

Images