CN112148788A - 异构数据源的数据同步方法及系统 - Google Patents

Abstract

本发明公开了一种异构数据源的数据同步方法及系统，其中该方法包括：接收数据同步请求，获取所述数据同步请求的源数据库类型、目标数据库类型、同步数据属性信息及任务调度配置信息；根据所述源数据库类型及所述目标数据库类型，读取相应的模板文件，基于所述模板文件组装所述同步数据属性信息，并根据所述任务调度配置信息生成相应的数据同步任务；根据所述任务调度配置信息生成所述数据同步任务相应的数据读取线程及数据写入线程，从源数据库中抽取待同步数据并写入至目标数据库。本发明通过数据同步请求中的配置，可对异构数据进行高效的数据同步管理，从而使异构数据的集中汇聚，提高了数据的互用性，便于数据的集成管理。

Description

异构数据源的数据同步方法及系统

技术领域

本发明涉及异构数据源的数据管理，特别涉及一种异构数据源的数据同步方法及系统。

背景技术

IT业务系统很少跨部门、跨单位、跨层级进行统一规划和建设，导致业务系统处于分散、独立的状况，业务间数据资源不仅处于烟囱状态，数据资源的一致性和互用性较差，数据资源的价值无法充分发挥，数据之间的集成也是无章可循。

发明内容

本发明旨在至少解决现有技术中存在的技术问题之一。为此，本发明提出一种异构数据源的数据同步方法，能够支持异构数据源之间的数据在异构网络下高效同步，集成数据。

本发明还提出一种具有上述异构数据源的数据同步方法的异构数据源的数据同步系统。

本发明还提出一种具有上述异构数据源的数据同步方法的计算机可读存储介质。

根据本发明的第一方面实施例的异构数据源的数据同步方法，包括以下步骤：S100，接收数据同步请求，获取所述数据同步请求的源数据库类型、目标数据库类型、同步数据属性信息及任务调度配置信息；S200，根据所述源数据库类型及所述目标数据库类型，读取相应的模板文件，基于所述模板文件组装所述同步数据属性信息，并根据所述任务调度配置信息生成相应的数据同步任务；S300，根据所述任务调度配置信息生成所述数据同步任务相应的数据读取线程及数据写入线程，所述数据读取线程根据所述源数据库类型及所述同步数据属性信息从源数据库中抽取待同步数据，所述数据写入线程根据所述目标数据库类型及所述同步数据属性信息将所述待同步数据写入至目标数据库。

根据本发明实施例的异构数据源的数据同步方法，至少具有如下有益效果：通过数据同步请求中的配置信息，可对不同来源、格式、特点性质的异构数据进行高效的数据同步管理，从而使异构数据的集中汇聚，提高了数据的互用性，便于数据的集成管理。

根据本发明的一些实施例，所述同步数据属性信息包括：数据来源信息、数据去向信息、数据映射关系、脏数据检测规则及写入方式。

根据本发明的一些实施例，所述步骤S300包括：S310，所述数据读取线程根据所述源数据库类型调用相应的读取接口，通过所述数据来源信息获取所述待同步数据；S320，根据所述数据去向信息对所述待同步数据进行类型转换，并通过所述脏数据检测规则对所述待同步数据进行检测过滤；S330，所述数据写入线程根据所述目标数据库类型调用相应的写入接口，根据所述数据去向信息及所述写入方式，将检测过滤后的所述待同步数据写入目标数据库中。

根据本发明的一些实施例，所述数据来源信息及所述数据去向信息均包括：数据库、表及字段；所述写入方式被配置为更新或者覆盖。

根据本发明的一些实施例，所述步骤S300还包括：在启动所述数据读取线程之前，根据所述模板文件中的预处理配置，通过反射调用相应的处理类执行所述数据同步任务的预处理。

根据本发明的一些实施例，所述任务调度配置信息包括：配置资源组、调度周期、任务并发数、资源优先级、任务生效规则及任务失效规则。

根据本发明的第二方面实施例的异构数据源的数据同步系统，包括：配置模块，用于通过可视化交互界面，配置数据同步请求的源数据库类型、目标数据库类型、同步数据属性信息及任务调度配置信息；任务生成模块，用于根据所述源数据库类型及所述目标数据库类型，读取相应的模板文件，基于所述模板文件组装所述同步数据属性信息，并根据所述任务调度配置信息生成相应的数据同步任务；任务调度模块，用于根据所述任务调度配置信息管理所述数据同步任务，根据所述源数据库类型及所述同步数据属性信息从源数据库中抽取待同步数据，并根据所述目标数据库类型及所述同步数据属性信息将所述待同步数据写入至目标数据库。

根据本发明实施例的异构数据源的数据同步系统，至少具有如下有益效果：通过以可视化的方式配置数据同步任务，可对不同来源、格式、特点性质的异构数据进行高效的数据同步管理，从而使异构数据的集中汇聚，提高了数据的互用性，便于数据的集成管理；并提高了数据集成管理的效率，节省人力物力。

根据本发明的一些实施例，所述任务调度模块还包括：数据抽取模块，用于根据所述源数据库类型调用相应的读取接口，通过数据来源信息获取所述待同步数据；数据转化模块，用于根据数据去向信息对所述待同步数据进行类型转换，并通过脏数据检测规则对所述待同步数据进行检测过滤；数据写入模块，用于根据所述目标数据库类型调用相应的写入接口，根据所述数据去向信息及所述待同步数据的写入方式，将所述待同步数据写入目标数据库中。

根据本发明的一些实施例，还包括：结果查看模块，用于从目标数据库中获取所述待同步数据的同步结果，进行界面展示。

根据本发明的第三方面实施例的计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现本发明的第一方面实施例的方法。

根据本发明实施例的计算机可读存储介质，至少具有与本发明第一方面实施例的方法同样的有益效果。

本发明的附加方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。

附图说明

本发明的上述和/或附加的方面和优点从结合下面附图对实施例的描述中将变得明显和容易理解，其中：

图1为本发明实施例的方法的步骤示意图；

图2为本发明实施例的方法中对数据的处理示意图；

图3为本发明实施例中的系统的模块示意框图之一；

图4为本发明实施例中的系统的模块示意框图之二。

配置模块100、任务生成模块200、任务调度模块300、结果查看模块400；

数据抽取模块310、数据转化模块320、数据写入模块330。

具体实施方式

下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，仅用于解释本发明，而不能理解为对本发明的限制。

在本发明的描述中，若干的含义是一个或者多个，多个的含义是两个以上，大于、小于、超过等理解为不包括本数，以上、以下、以内等理解为包括本数。如果有描述到第一、第二只是用于区分技术特征为目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量或者隐含指明所指示的技术特征的先后关系。

名词解释：

资源组：是指群集服务作为一个逻辑单元进行管理的资源集合。通过将逻辑上相关的资源分成资源组，可以非常容易地管理应用资源和群集实体。

Kafka：是一种高吞吐量的分布式发布订阅消息系统。

Flume：一种日志收集系统。

Sqoop：主要用于在Hadoop(Hive)与传统的数据库(mysql、postgresql等)间进行数据的传递，可以将一个关系型数据库(例如：MySQL,Oracle,Postgres等)中的数据导进到Hadoop的HDFS中，也可以将HDFS的数据导进到关系型数据库中。

参照图1，本发明的实施例的方法包括以下步骤：S100，接收数据同步请求，获取数据同步请求的源数据库类型、目标数据库类型、同步数据属性信息及任务调度配置信息；S200，根据源数据库类型及目标数据库类型，读取相应的模板文件，基于模板文件组装同步数据属性信息，并根据任务调度配置信息生成相应的数据同步任务；S300，根据任务调度配置信息生成数据同步任务相应的数据读取线程及数据写入线程，数据读取线程根据源数据库类型及同步数据属性信息从源数据库中抽取待同步数据，数据写入线程根据目标数据库类型及同步数据属性信息将待同步数据写入至目标数据库。

参照图2，本发明的实施例支持Mysql、Oracle、HBase、Hana、Hive、Kafka、ElasticSearch、Redis、CSV等(图2中仅标识出了部分数据库进行示例)异构数据源之间的数据在异构网络下高效同步。本发明实施例的数据同步是通过数据同步任务来驱动的，具体包括如下步骤。

(1)同步请求配置：配置同步数据请求的相关内容，包括：配置待同步数据的源数据库类型及数据来源信息，即待同步数据来源哪种类型的数据库哪张表及哪些字段；配置待同步数据的目标数据库型及数据去向信息，即待同步数据向哪种类型的数据库的哪张表哪些字段进行同步，显然，当同步数据的表或字段包括多项时，还必须约定同步的数据映射关系。在本发明的实施例中，数据来源信息、数据去向信息、字段映射关系均为同步数据属性信息；同步数据属性信息还可以包括脏数据检测规则及写入方式等。

(2)数据的抽取：配置成功后，根据源数据库及目标数据库的类型读取相应的模块文件，组装同步数据属性信息，由数据抽取引擎创建任务执行的上下文。数据抽取引擎基于模板文件中配置的预处理流程，通过反射调用相应的处理类进行数据预处理，同时初始化读线程ReadWorker和WriteWorker写线程，提交到线程池执行。

(3)数据的转化：当待同步数据从源数据库按照配置属性采集成功后，将根据数据去向信息对数据字段类型的转换，基于脏数据检测规则对filter过滤。

(4)数据写入：将已完成转换过滤的待同步数据，根据同步数据属性信息(如字段映射关系)，调用相应的写插件，以选定的写入方式将数据写入到目标数据库。同步任务完成后，可进入目标数据库查看落地数据；也可由程序提供界面展示同步后的落地数据。

参照图2，以从MySQL源表抽取数据到Hive目标表为例，可在界面配置相应字段，通过select sql，配置读取的线程数等配置信息，从源表读入数据，并通过MySQL内置的函数，将取出的列转换为与数据去向信息相应的类型，本发明的实施例中，可在界面配置数据抽取时读取数据的速度。并在界面配置Hive文件在hdfs中的存储格式、分区定义、字段定义、字段类型定义、在hdfs中的文件个数等信息，程序将根据这些配置创建hive表，并通过相应的存储格式和字段定义，使从源表读入的数据按照预设格式写到目标hive表中。

本发明的实施例中，同步数据请求的配置内容具体包括：(1)选择待同步数据的输入输出目标的数据库类型，例如：hive、mysql、oracle等。(2)配置任务基础信息：任务名称、分组类别、资源组信息；其中分组类别用于给任务进行分门别类，让数据同步任务有类可寻；配置资源组，用于指定数据同步任务在集群的哪个环境下运行调度。(3)同步数据属性信息的配置，包括：数据来源信息，用于指定数据来源的数据库、表和字段；数据去向信息，指定数据要写入的数据库、表、字段；数据映射关系；脏数据检查规则(如空值校验、表行数、唯一值个数、汇总值、最小值、最大值等)、写入方式(可配置为更新及覆盖，若选择更新，则在表中追加数据；若选择覆盖，则会先清空目标表里原有的数据，再写入新的数据)。(4)配置任务调度配置信息：同步数据的任务调度周期、任务并发数、资源优先级、任务生效规则和任务失效规则。任务生效规则表示满足何种条件(包括时间)，则运行该任务；任务失效规则表示满足何种条件(包括时间)，则该同步任务失效，不再进行调度。

本发明的实施例的系统，参照图3，包括：配置模块100、任务生成模块200和任务调度模块300。配置模块100，用于通过可视化交互界面，配置数据同步请求的源数据库类型、目标数据库类型、同步数据属性信息及任务调度配置信息。数据同步请求的配置项通过配置模块100配置成功后，由任务生成模块200根据源数据库类型及目标数据库类型，读取相应的模板文件，基于该模板文件组装同步数据属性信息，然后根据任务调度配置信息生成相应的数据同步任务。任务调度模块300，用于根据任务调度配置信息管理数据同步任务，根据源数据库类型及同步数据属性信息从源数据库中抽取待同步数据，并根据目标数据库类型及同步数据属性信息将待同步数据写入至目标数据库。

本发明实施例的系统，参照图4，还包括：结果查看模块400，用于从目标数据库中获取待同步数据的同步结果，进行界面展示。任务调度模块300包括：数据抽取模块310、数据转化模块320和数据写入模块330。数据抽取模块310，用于根据源数据库类型调用相应的读取接口，通过数据来源信息获取待同步数据。数据转化模块320，用于根据数据去向信息对待同步数据进行类型转换，并通过脏数据检测规则对待同步数据进行检测过滤。数据转化模块320确定了写入目标数据库的数据正确。数据写入模块330，用于根据目标数据库类型调用相应的写入接口，根据数据去向信息及待同步数据的写入方式，将待同步数据写入目标数据库中。

本发明的实施例系统在实际部署时，通常包括三层结构：数据源层，数据采集层及数据存储层。数据源层，通过集成开发平台，接入各种业务的数据源，不需要通过数据库连接工具，业务数据源包括：各种关系数据库，网上爬虫获取的数据，上网日志等等。数据采集层，即本发明实施例的系统，通过配置模块100提供的可视化界面，配置异构网络之间异构数据源交换、定时调度和监控信息，通过任务生成模块200在后台生成数据同步任务，由任务调度模块300完成数据的采集和同步；其中数据抽取模块310通过Kafka、Flume、Sqoop等组件，来收集数据源层的业务数据。数据存储层，用于在数据采集同步成功后，通过可视化的配置，生成读取及写入的模板文件并存储。同步数据写入后，通过结果查看模块400访问数据源层，访问目标数据库，查看落地数据。

尽管本文描述了具体实施方案，但是本领域中的普通技术人员将认识到，许多其它修改或另选的实施方案同样处于本公开的范围内。例如，结合特定设备或组件描述的功能和/或处理能力中的任一项可以由任何其它设备或部件来执行。另外，虽然已根据本公开的实施方案描述了各种例示性具体实施和架构，但是本领域中的普通技术人员将认识到，对本文所述的例示性具体实施和架构的许多其它修改也处于本公开的范围内。

上文参考根据示例性实施方案所述的系统、方法、系统和/或计算机程序产品的框图和流程图描述了本公开的某些方面。应当理解，框图和流程图中的一个或多个块以及框图和流程图中的块的组合可分别通过执行计算机可执行程序指令来实现。同样，根据一些实施方案，框图和流程图中的一些块可能无需按示出的顺序执行，或者可以无需全部执行。另外，超出框图和流程图中的块所示的那些部件和/或操作以外的附加部件和/或操作可存在于某些实施方案中。

因此，框图和流程图中的块支持用于执行指定功能的装置的组合、用于执行指定功能的元件或步骤的组合以及用于执行指定功能的程序指令装置。还应当理解，框图和流程图中的每个块以及框图和流程图中的块的组合可以由执行特定功能、元件或步骤的专用硬件计算机系统或者专用硬件和计算机指令的组合来实现。

本文所述的程序模块、应用程序等可包括一个或多个软件组件，包括例如软件对象、方法、数据结构等。每个此类软件组件可包括计算机可执行指令，所述计算机可执行指令响应于执行而使本文所述的功能的至少一部分(例如，本文所述的例示性方法的一种或多种操作)被执行。

软件组件可以用各种编程语言中的任一种来编码。一种例示性编程语言可以为低级编程语言，诸如与特定硬件体系结构和/或操作系统平台相关联的汇编语言。包括汇编语言指令的软件组件可能需要在由硬件架构和/或平台执行之前由汇编程序转换为可执行的机器代码。另一种示例性编程语言可以为更高级的编程语言，其可以跨多种架构移植。包括更高级编程语言的软件组件在执行之前可能需要由解释器或编译器转换为中间表示。编程语言的其它示例包括但不限于宏语言、外壳或命令语言、作业控制语言、脚本语言、数据库查询或搜索语言、或报告编写语言。在一个或多个示例性实施方案中，包含上述编程语言示例中的一者的指令的软件组件可直接由操作系统或其它软件组件执行，而无需首先转换成另一种形式。

软件组件可存储为文件或其它数据存储构造。具有相似类型或相关功能的软件组件可一起存储在诸如特定的目录、文件夹或库中。软件组件可为静态的(例如，预设的或固定的)或动态的(例如，在执行时创建或修改的)。

上面结合附图对本发明实施例作了详细说明，但是本发明不限于上述实施例，在所述技术领域普通技术人员所具备的知识范围内，还可以在不脱离本发明宗旨的前提下作出各种变化。

Claims (10)

1.一种异构数据源的数据同步方法，其特征在于，包括以下步骤：

S100，接收数据同步请求，获取所述数据同步请求的源数据库类型、目标数据库类型、同步数据属性信息及任务调度配置信息；

S200，根据所述源数据库类型及所述目标数据库类型，读取相应的模板文件，基于所述模板文件组装所述同步数据属性信息，并根据所述任务调度配置信息生成相应的数据同步任务；

S300，根据所述任务调度配置信息生成所述数据同步任务相应的数据读取线程及数据写入线程，所述数据读取线程根据所述源数据库类型及所述同步数据属性信息从源数据库中抽取待同步数据，所述数据写入线程根据所述目标数据库类型及所述同步数据属性信息将所述待同步数据写入至目标数据库。

2.根据权利要求1所述的异构数据源的数据同步方法，其特征在于，所述同步数据属性信息包括：数据来源信息、数据去向信息、数据映射关系、脏数据检测规则及写入方式。

3.根据权利要求2所述的异构数据源的数据同步方法，其特征在于，所述步骤S300包括：

S310，所述数据读取线程根据所述源数据库类型调用相应的读取接口，通过所述数据来源信息获取所述待同步数据；

S320，根据所述数据去向信息对所述待同步数据进行类型转换，并通过所述脏数据检测规则对所述待同步数据进行检测过滤；

S330，所述数据写入线程根据所述目标数据库类型调用相应的写入接口，根据所述数据去向信息及所述写入方式，将检测过滤后的所述待同步数据写入目标数据库中。

4.根据权利要求2所述的异构数据源的数据同步方法，其特征在于，所述数据来源信息及所述数据去向信息均包括：数据库、表及字段；所述写入方式被配置为更新或者覆盖。

5.根据权利要求1所述的异构数据源的数据同步方法，其特征在于，所述步骤S300还包括：

在启动所述数据读取线程之前，根据所述模板文件中的预处理配置，通过反射调用相应的处理类执行所述数据同步任务的预处理。

6.根据权利要求1所述的异构数据源的数据同步方法，其特征在于，所述任务调度配置信息包括：配置资源组、调度周期、任务并发数、资源优先级、任务生效规则及任务失效规则。

7.一种异构数据源的数据同步系统，使用权利要求1至6中任一项的方法，其特征在于，包括：

配置模块，用于通过可视化交互界面，配置数据同步请求的源数据库类型、目标数据库类型、同步数据属性信息及任务调度配置信息；

任务生成模块，用于根据所述源数据库类型及所述目标数据库类型，读取相应的模板文件，基于所述模板文件组装所述同步数据属性信息，并根据所述任务调度配置信息生成相应的数据同步任务；

任务调度模块，用于根据所述任务调度配置信息管理所述数据同步任务，根据所述源数据库类型及所述同步数据属性信息从源数据库中抽取待同步数据，并根据所述目标数据库类型及所述同步数据属性信息将所述待同步数据写入至目标数据库。

8.根据权利要求7所述的异构数据源的数据同步系统，其特征在于，所述任务调度模块还包括：

数据抽取模块，用于根据所述源数据库类型调用相应的读取接口，通过数据来源信息获取所述待同步数据；

数据转化模块，用于根据数据去向信息对所述待同步数据进行类型转换，并通过脏数据检测规则对所述待同步数据进行检测过滤；

数据写入模块，用于根据所述目标数据库类型调用相应的写入接口，根据所述数据去向信息及所述待同步数据的写入方式，将所述待同步数据写入目标数据库中。

9.根据权利要求7所述的异构数据源的数据同步系统，其特征在于，还包括：

结果查看模块，用于从目标数据库中获取所述待同步数据的同步结果，进行界面展示。

10.一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现权利要求1至6中任一项的方法。

Images