CN114490892A - 一种基于datax的数据传输方法和装置 - Google Patents

Abstract

本发明提供一种基于datax的数据传输方法和装置，该方法包括：获取用户的配置信息；对配置信息进行参数校验；若参数校验通过，则依据配置信息生成json文件；依据json文件生成执行文件，并发送执行文件到开源工具datax；调用datax接口，进行表到表或表到文件的数据传输；其中，将数据传输所需的参数全部配置在数据库表中；也即，可以借助数据库增删改查的批量操作优势，可以极大提高配置效率，提升对执行结果的批量分析效率；另外，通过将数据传输功能原子化，摒弃了对特定调度工具的依赖，可快速无缝部署在使用其他调度工具的数据仓库中。

Description

一种基于datax的数据传输方法和装置

技术领域

本发明属于数据处理技术领域，更具体的说，尤其涉及一种基于datax的数据传输方法和装置。

背景技术

Datax作为一种异构数据源之间的数据传输工具，可以在不同系统间进行数据传输。但其执行文件为json格式的代码，关键字栏位较多，在实际使用时，面对多系统、不同类型数据传输、大量表的应用场景，配置繁琐，效率低，工作量大。

Datax为开源软件，各厂商在使用时会根据自身需求，结合使用场景，定制化二次开发成适合自己的产品，也有厂商将其封装后作为独立产品提供。

但是，Datax缺少对gbase数据库的支持，需二次开发。其调度配置有独立前端，通过页面操作，当面对大规模任务配置时，难以批量配置，重复工作较多，效率较低，另外当数据仓库使用其他调度工具时，难以集成，存在重复建设问题。

发明内容

有鉴于此，本发明的目的在于提供一种基于datax的数据传输方法和装置，用于借助数据库增删改查的批量操作优势，可以极大提高配置效率，提升对执行结果的批量分析效率。

本申请第一方面公开了一种基于datax的数据传输方法，包括：

获取用户的配置信息；

对所述配置信息进行参数校验；

若参数校验通过，则依据所述配置信息生成json文件；

依据所述json文件生成执行文件，并发送所述执行文件到开源工具datax；

调用datax接口，进行表到表或表到文件的数据传输；其中数据传输所需的参数全部配置在数据库表中。

可选的，在上述基于datax的数据传输方法中，在调用datax接口，进行表到表或表到文件的数据传输之后，还包括：

对数据传输生成的日志进行解析。

可选的，在上述基于datax的数据传输方法中，在所述对数据传输生成的日志进行解析之前，还包括：

判断所述数据传输是否成功；

若所述数据传输成功，则执行所述对数据传输生成的日志进行解析的步骤。

可选的，在上述基于datax的数据传输方法中，依据所述json文件生成执行文件之前，还包括：

判断依据所述配置信息生成json文件是否成功；

若依据所述配置信息生成json文件成功，则执行所述依据所述json文件生成执行文件的步骤。

可选的，在上述基于datax的数据传输方法中，若存在所述数据传输不成功、参数校验不通过、依据所述配置信息生成json文件不成功任意情况，则还包括：

进行日志记录。

本申请第二方面公开了一种基于datax的数据传输装置，包括：

获取单元，用于获取用户的配置信息；

校验单元，用于对所述配置信息进行参数校验；

json文件单元，用于若所述校验单元参数校验通过，则依据所述配置信息生成json文件；

执行文件单元，用于依据所述json文件生成执行文件，并发送所述执行文件到开源工具datax；

传输单元，用于调用datax接口，进行表到表或表到文件的数据传输；其中数据传输所需的参数全部配置在数据库表中。

可选的，在上述基于datax的数据传输装置中，还包括：

解析单元，用于对数据传输生成的日志进行解析。

可选的，在上述基于datax的数据传输装置中，还包括：

第一判断单元，用于判断所述数据传输是否成功；若所述数据传输成功，则触发所述解析单元执行所述对数据传输生成的日志进行解析的步骤。

可选的，在上述基于datax的数据传输装置中，还包括：

记录单元，用于若存在所述数据传输不成功、参数校验不通过、依据所述配置信息生成json文件不成功任意情况，则进行日志记录。

本申请第三方面公开了一种基于datax的数据传输系统，用于执行本申请第一方面任一项所述的基于datax的数据传输方法，所述基于datax的数据传输系统包括：参数配置模块、json文本生成模块、调度模块和数据传输模块；

所述参数配置模块用于配置相应的参数表；

json文本生成模块，用于首先进行参数校验，然后读取配置表并拼接json格式的文本，其间为保证可调试各主要步骤都有日志记录，最后返回文本；

调度模块，用于各传输任务的调度工作；

数据传输模块，用于接收并保存执行传输任务所需的json文件，以及，执行数据传输任务。

从上述技术方案可知，本发明提供的一种基于datax的数据传输方法，包括：获取用户的配置信息；对配置信息进行参数校验；若参数校验通过，则依据配置信息生成json文件；依据json文件生成执行文件，并发送执行文件到开源工具datax；调用datax接口，进行表到表或表到文件的数据传输；其中，将数据传输所需的参数全部配置在数据库表中；也即，可以借助数据库增删改查的批量操作优势，可以极大提高配置效率，提升对执行结果的批量分析效率；另外，通过将数据传输功能原子化，摒弃了对特定调度工具的依赖，可快速无缝部署在使用其他调度工具的数据仓库中。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本发明实施例提供的一种基于datax的数据传输方法的流程图；

图2是本发明实施例提供的另一种基于datax的数据传输方法的流程图；

图3是本发明实施例提供的另一种基于datax的数据传输方法的流程图；

图4是本发明实施例提供的另一种基于datax的数据传输方法的流程图；

图5是本发明实施例提供的另一种基于datax的数据传输方法的流程图；

图6是本发明实施例提供的另一种基于datax的数据传输方法的流程图；

图7是本发明实施例提供的一种基于datax的数据传输系统的示意图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

在本申请中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

本申请实施例提供了一种基于datax的数据传输方法，用于解决现有技术中调度配置有独立前端，通过页面操作，当面对大规模任务配置时，难以批量配置，重复工作较多，效率较低。另外当数据仓库使用其他调度工具时，难以集成，存在重复建设的问题。

术语解释：

Datax：datax是一种可以在不同类型数据库之间传输数据的开源工具。

数据仓库：为企业级的决策制定、信息展示提供数据的数据存储集合。

表：数据库中存储数据的对象，文中表指关系型数据库中的二维表。

Shell：一种交互式执行的程序设计语言。

存储过程：数据库中用于操作数据表的程序。

参见图1，该基于datax的数据传输方法，包括：

S101、获取用户的配置信息。

具体的，用户在新增数据传输任务时，需在源-目标映射表中配置、维护字段映射表；新增外部系统时，需在数据源注册表中维护。

S102、对配置信息进行参数校验。

具体的，主要检查用户配置是否合法，不同类型的传输需要不同的参数，需检查是否缺失信息，以及所配参数是否支持联通外部系统。

若参数校验通过，则执行步骤S103。

S103、依据配置信息生成json文件。

为提高配置效率，简化配置流程，释放人力，达到人员快速上手的目标，本发明可以实现通过高效简洁的配置，提高json文件的生成效率。

具体的，执行数据库存储过程，结合各配置表中的信息生成datax执行所需的json格式文本，并将结果返回给主调程序。

需要说明的是，为实现json文件的高效生成需要做到以下几点：

首先要熟悉并识别出datax进行数据传输时所执行的json文件所需要的关键字，对各个关键字进行归类，如源地址、目标地址可归为一类，方便后续设计配置表时统一打标，最终围绕关键字设计出配置表。

具体的，熟悉datax的原理，掌握datax执行文件的内容和结构，基于所需关键信息，设计一套配置表用于存储这些信息。如，源表-目标表(文件)映射，主要用于存储源和目标表名称、对应的调度任务名称、事前事后需单独执行的程序、以及文件分隔符等字段；字段映射表，用于配置源和目标表之间要传输的字段映射；数据源注册表，为支持不同的数据库系统，如oracle、sqlserver、目标服务器目录等，方便在不同系统之间快速配置；日志记录表，datax数据传输时会产生日志，需要对日志进行解析，并设置关键信息存入表中，方便分析，如传输记录数、速率等。

其次，从配置表中获取关键字，要将这些关键字组装成可供datax执行的json文本。在数据库中需要开发存储过程来实现此功能，程序设计中要充分考虑对各种异常配置校验。

具体的，开发人员要能熟练使用gbase数据库语法开发存储过程，基于配置表生成datax执行所需的json文件。

最后，由于对数据库生成的json文本要形成文件，数据传输过程中涉及到多个系统之间的协调，需要开发shell程序来实现。

具体的，开发人员要能熟练进行shell脚本开发，其中包括，字符串解析、系统间的命令交互、文件传输。

另外，需要说明的是，存储过程是数据库中为了完成对数据表进行特定功能操作的sql语句集合。Shell脚本是利用shell的功能编写的将各种指令汇集在一起执行的程序。

也就是说，最重要的部分是json文件的生成，由于datax栏位较多，为适应不同应用场景，对存储过程的健壮性有较高要求。既要能正确地实现多场景下的功能，也要提高程序的可测试性，因为datax对json文件格式要求严格，在测试过程中需要设计丰富的测试案例。

本发明中datax执行的json文件使用存储过程生成，存储过程操作的是为实现本发明的主要目标而设计的配置信息数据表。具体调度执行使用shell脚本，执行过程中产生的日志信息也由shell程序调用数据库客户端命令写入数据表。

S104、依据json文件生成执行文件，并发送执行文件到开源工具datax。

具体的，生成执行文件，主调程序在获取到数据库返回的json文本后，生成与调度任务关键字相匹配的json文件。

发送文件到datax，执行文件发送命令，将可执行文件传输到datax服务器指定目录，并做好归档工作。

S105、调用datax接口，进行表到表或表到文件的数据传输。

其中，数据传输所需的参数全部配置在数据库表中。

具体的，调用datax接口，datax执行需要依赖json文件，执行结束后会有成功或失败的返回信息。

在本实施例中，获取用户的配置信息；对配置信息进行参数校验；若参数校验通过，则依据配置信息生成json文件；依据json文件生成执行文件，并发送执行文件到开源工具datax；调用datax接口，进行表到表或表到文件的数据传输；其中，将数据传输所需的参数全部配置在数据库表中；也即，可以借助数据库增删改查的批量操作优势，可以极大提高配置效率，提升对执行结果的批量分析效率；另外，通过将数据传输功能原子化，摒弃了对特定调度工具的依赖，可快速无缝部署在使用其他调度工具的数据仓库中。

在实际应用中，参见图2，在步骤S105、调用datax接口，进行数据传输之后，还包括：

S201、对数据传输生成的日志进行解析。

具体的，datax返回的日志为文本格式，需要使用shell命令对其进行解析，提取有用的信息，准备写入数据库。

在实际应用中，参见图3，在步骤S201、对数据传输生成的日志进行解析之前，还包括：

S301、判断数据传输是否成功。

若数据传输成功，则执行步骤S201、对数据传输生成的日志进行解析。

在实际应用中，参见图4，在步骤S104、依据json文件生成执行文件之前，还包括：

S401、判断依据配置信息生成json文件是否成功。

若依据配置信息生成json文件成功，则执行步骤S103、依据json文件生成执行文件。

在实际应用中，参见图5，存在数据传输不成功、参数校验不通过、依据配置信息生成json文件不成功任意情况在还包括：

S501、进行日志记录。

在步骤S201之后，还可以执行步骤S501。

需要说明的是，日志记录含两类，一类是系统内各程序执行产生的日志信息，调试信息；一类是数据传输结果信息，如传输记录数、传输速率、数据量大小等。

当然，日志记录也还可以是包括其他信息，此处不再一一赘述，视实际情况而定即可，均在本申请的保护范围内。

需要说明的是，目前市面上的数据传输解决方案往往作为独立产品提供，采购成本高；而本实施例学习维护成本低，也可减少对其他数据传输产品的依赖，降低企业采购成本。

具体的，以图6所示的流程为例，进行说明：

1)配置信息，用户在新增数据传输任务时，需在源-目标映射表中配置、维护字段映射表。新增外部系统时，需在数据源注册表中维护。

2)参数校验，主要检查用户配置是否合法，不同类型的传输需要不同的参数，需检查是否缺失信息，以及所配参数是否支持联通外部系统。

3)生成json文本，执行数据库存储过程，结合各配置表中的信息生成datax执行所需的json格式文本，并将结果返回给主调程序。

4)生成执行文件，主调程序在获取到数据库返回的json文本后，生成与调度任务关键字相匹配的json文件。

5)发送文件到datax，执行文件发送命令，将可执行文件传输到datax服务器指定目录，并做好归档工作。

6)调用datax接口，datax执行需要依赖json文件，执行结束后会有成功或失败的返回信息。

7)日志解析，datax返回的日志为文本格式，需要使用shell命令对其进行解析，提取有用的信息，准备写入数据库。

8)日志记录，日志记录含两类，一类是系统内各程序执行产生的日志信息，调试信息；一类是数据传输结果信息，如传输记录数、传输速率、数据量大小等。

本申请另一实施例提供一种基于datax的数据传输装置。

该基于datax的数据传输装置，包括：

获取单元，用于获取用户的配置信息。

校验单元，用于对配置信息进行参数校验。

json文件单元，用于若校验单元参数校验通过，则依据配置信息生成json文件。

执行文件单元，用于依据json文件生成执行文件，并发送执行文件到开源工具datax。

传输单元，用于调用datax接口，进行表到表或表到文件的数据传输；其中数据传输所需的参数全部配置在数据库表中。

各个单元的工作过程和原理，详情参见上述实施例提供的基于datax的数据传输方法，此处不再一一赘述，视实际情况而定即可，均在本申请的保护范围内。

在本实施例中，获取单元获取用户的配置信息；检验单元对配置信息进行参数校验；json文件单元，用于若校验单元参数校验通过，则依据配置信息生成json文件；执行文件单元，用于依据json文件生成执行文件，并发送执行文件到开源工具datax；传输单元，用于调用datax接口，进行表到表或表到文件的数据传输；其中数据传输所需的参数全部配置在数据库表中；其中，将数据传输所需的参数全部配置在数据库表中；也即，可以借助数据库增删改查的批量操作优势，可以极大提高配置效率，提升对执行结果的批量分析效率；另外，通过将数据传输功能原子化，摒弃了对特定调度工具的依赖，可快速无缝部署在使用其他调度工具的数据仓库中。

在实际应用中，该基于datax的数据传输装置，还包括：

解析单元，用于对数据传输生成的日志进行解析。

该解析单元的具体工作过程和原理，详情参见上述实施例提供的基于datax的数据传输方法，此处不再一一赘述，视实际情况而定即可，均在本申请的保护范围内。

在实际应用中，该基于datax的数据传输装置，还包括：

第一判断单元，用于判断数据传输是否成功；若数据传输成功，则触发解析单元执行对数据传输生成的日志进行解析的步骤。

第一判断单元的具体工作过程和原理，详情参见上述实施例提供的基于datax的数据传输方法，此处不再一一赘述，视实际情况而定即可，均在本申请的保护范围内。

在实际应用中，该基于datax的数据传输装置，还包括：

第二判断单元，用于判断依据配置信息生成json文件是否成功；若依据配置信息生成json文件成功，则触发执行文件单元执行依据json文件生成执行文件的步骤。

第二判断单元的具体工作过程和原理，详情参见上述实施例提供的基于datax的数据传输方法，此处不再一一赘述，视实际情况而定即可，均在本申请的保护范围内。

在实际应用中，该基于datax的数据传输装置，还包括：

记录单元，用于若存在数据传输不成功、参数校验不通过、依据配置信息生成json文件不成功任意情况，则进行日志记录。

该记录单元的具体工作过程和原理，详情参见上述实施例提供的基于datax的数据传输方法，此处不再一一赘述，视实际情况而定即可，均在本申请的保护范围内。

本申请另一实施例提供了一种基于datax的数据传输系统。

该基于datax的数据传输系统，用于执行基于datax的数据传输方法，该基于datax的数据传输系统的具体过程和原理，详情参见上述实施例提供的基于datax的数据传输方法，此处不再一一赘述，视实际情况而定即可，均在本申请的保护范围内。

参见图7，该基于datax的数据传输系统包括：参数配置模块、json文本生成模块、调度模块和数据传输模块。

需要说明的是，调度模块部署在ETL服务器；参数配置模块和json文本生成模块均部署在gbase数据库；数据传输模块部署在datax服务器。

参数配置模块用于配置相应的参数表。

具体的，与本发明相关的配置表有，源-目标映射表、字段映射表、数据源注册表。在源-目标映射表中可通过源任务和目标任务唯一确定一条记录，其中记录了数据源、字段分隔符、前置sql语句、后置sql语句等信息；数据源注册表中，各数据源有唯一标识，记录了IP地址、文件接收目录、用户名、密码等信息。

json文本生成模块，用于首先进行参数校验，然后读取配置表并拼接json格式的文本，其间为保证可调试各主要步骤都有日志记录，最后返回文本。

具体的，执行时，首先进行参数校验，然后读取配置表并拼接json格式的文本，其间为保证可调试各主要步骤都有日志记录，最后返回文本。在shell脚本调用存储过程时，将结果以返回值形式回传到shell脚本。

调度模块，用于各传输任务的调度工作。

具体的，调度模块主要为shell程序，用于各传输任务的调度工作。其与gbase数据库之间的通信使用gbase客户端命令，执行时首先获取数据库中配置表的信息，每个任务都有其唯一键。第二步调用数据库中的json文本生成程序，文本生成程序从各配置表中获取到生成文本所需必要信息后，生成文本，并将结果返回到shell主程序，生成文件之后将文件传输到datax服务器。第三步调用datax的执行接口，完成表到表或表到文件的数据传输；最后接受datax执行返回结果，解析之后，将结果写入数据库日志表。

数据传输模块，用于接收并保存执行传输任务所需的json文件，以及，执行数据传输任务。

此外，外部系统用于接收数据，需要与传输方约定好数据格式，如表的字段信息、是否可为空、以及文件传输时的字段分隔符、换行符等信息。同时也要约定好下游接受数据表的存储方式、文件的覆盖方式等。

在本实施例中，包含参数表结构设计、生成json文件程序、shell调度程序、日志解析程序，以及各系统之间的协调程序等机制流程可作为保护点。以ETL服务器为核心，协调gbase数据库、datax服务器，为保障各系统之间的数据流转的准确性，增加了多种形式的日志记录信息。

另外，在数据仓库中数据传输作为基本功能广泛应用，不同的企业，不同部门都可能建设自己的数据中心，其所采用的数据库和调度工具等基础软件可能各有不同，本发明部署方便、移植简单，可减少防止重复开发和部署。

本说明书中的各个实施例中记载的特征可以相互替换或者组合，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于系统或系统实施例而言，由于其基本相似于方法实施例，所以描述得比较简单，相关之处参见方法实施例的部分说明即可。以上所描述的系统及系统实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性劳动的情况下，即可以理解并实施。

专业人员还可以进一步意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。

对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其它实施例中实现。因此，本发明将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。

Claims (10)

1.一种基于datax的数据传输方法，其特征在于，包括：

获取用户的配置信息；

对所述配置信息进行参数校验；

若参数校验通过，则依据所述配置信息生成json文件；

依据所述json文件生成执行文件，并发送所述执行文件到开源工具datax；

调用datax接口，进行表到表或表到文件的数据传输；其中数据传输所需的参数全部配置在数据库表中。

2.根据权利要求1所述的基于datax的数据传输方法，其特征在于，在调用datax接口，进行表到表或表到文件的数据传输之后，还包括：

对数据传输生成的日志进行解析。

3.根据权利要求2所述的基于datax的数据传输方法，其特征在于，在所述对数据传输生成的日志进行解析之前，还包括：

判断所述数据传输是否成功；

若所述数据传输成功，则执行所述对数据传输生成的日志进行解析的步骤。

4.根据权利要求1所述的基于datax的数据传输方法，其特征在于，依据所述json文件生成执行文件之前，还包括：

判断依据所述配置信息生成json文件是否成功；

若依据所述配置信息生成json文件成功，则执行所述依据所述json文件生成执行文件的步骤。

5.根据权利要求1-4任一项所述的基于datax的数据传输方法，其特征在于，若存在所述数据传输不成功、参数校验不通过、依据所述配置信息生成json文件不成功任意情况，则还包括：

进行日志记录。

6.一种基于datax的数据传输装置，其特征在于，包括：

获取单元，用于获取用户的配置信息；

校验单元，用于对所述配置信息进行参数校验；

json文件单元，用于若所述校验单元参数校验通过，则依据所述配置信息生成json文件；

执行文件单元，用于依据所述json文件生成执行文件，并发送所述执行文件到开源工具datax；

传输单元，用于调用datax接口，进行表到表或表到文件的数据传输；其中数据传输所需的参数全部配置在数据库表中。

7.根据权利要求6所述的基于datax的数据传输装置，其特征在于，还包括：

解析单元，用于对数据传输生成的日志进行解析。

8.根据权利要求7所述的基于datax的数据传输装置，其特征在于，还包括：

第一判断单元，用于判断所述数据传输是否成功；若所述数据传输成功，则触发所述解析单元执行所述对数据传输生成的日志进行解析的步骤。

9.根据权利要求6所述的基于datax的数据传输装置，其特征在于，还包括：

记录单元，用于若存在所述数据传输不成功、参数校验不通过、依据所述配置信息生成json文件不成功任意情况，则进行日志记录。

10.一种基于datax的数据传输系统，其特征在于，用于执行如权利要求1-5任一项所述的基于datax的数据传输方法，所述基于datax的数据传输系统包括：参数配置模块、json文本生成模块、调度模块和数据传输模块；

所述参数配置模块用于配置相应的参数表；

json文本生成模块，用于首先进行参数校验，然后读取配置表并拼接json格式的文本，其间为保证可调试各主要步骤都有日志记录，最后返回文本；

调度模块，用于各传输任务的调度工作；

数据传输模块，用于接收并保存执行传输任务所需的json文件，以及，执行数据传输任务。

Images