CN110334146A - 一种数据源之间的数据传输方法 - Google Patents

Abstract

本发明提供一种数据源之间的数据传输方法，包括：S1：通过配置管理界面，配置数据输出端的连接参数信息和目标端的连接参数信息，并保存所述连接参数信息；S2：根据保存的所述连接参数信息，选择数据输出端，并配置所述数据输出端的数据抽取条件；S3：根据保存的所述连接参数信息，将所述数据输出端分配给选择的目标端，并设置所述目标端的数据载入条件；S4：根据所述数据抽取条件和所述数据载入条件，获取所述数据输出端待同步的数据，并将所述待同步的数据载入所述目标端。本发明通过典型架构的管理界面，配置待进行数据输出任务的数据输出端和目标端的数据源，并通过多重数据抽取条件进行数据过滤，在任意环境下，可实现多个数据源之间的数据同步与迁移功能。

Description

一种数据源之间的数据传输方法

技术领域

本发明涉及数据传输服务技术，尤其涉及一种数据源之间的数据传输方法。

背景技术

由于互联网开发日益增多，各平台着力打造开放云架构，云服务也日益丰富，同时，传统应用迁移到私有云的需求也日益增多。因此，不同数据源之间的数据传输服务有待改善和提高。在现有技术中，各个传输服务只能提供片面的功能，现有产品只能提供固定的目标数据源，或者只能在自己的云服务平台进行数据传输，而在传统应用的数据传输使用上，存在着技术困难。现有技术只能通过繁杂的代码逻辑来进行数据过滤，数据提取，数据载入。

举例说明，比如现在有这样一个业务场景，电商会员A在支付平台进行会员冻结时，需要进行多个操作，支付平台是基于分布式架构的一个系统，各个应用之间独立部署，通过远程调用协议可以建立接口连接。冻结会员A的多个操作步骤如下：1.支付平台会员中心修改会员A的状态为冻结状态。2.支付平台账户中心的A会员下的账号信息也修改为冻结状态。3.会员中心A状态修改成功之后API中心需要向电商会员A发送状态修改成功的通知。

如果按照代码控制的话，方案如下，由于支付平台是一个分布式架构的系统，且数据库是分库分表的分布式数据库，数据分布在多个数据库中，无法通过数据库事务消息保证整个过程的原子性。所以需要通过消息队列来分别处理三个中心的业务操作，每个中心操作失败了则根据消息队列的异常重试机制再次处理，直到成功为止。这种消息队列的机制除了需要配置消息队列配置之外，还要对每个事物失败之后手写回滚操作。目前实现方案是这样的，会员中心提供冻结接口，当冻结接口被调用之后，会员中心先写一个数据库事物消息，其中对会员中心数据库D1中的会员A的状态表A1进行修改，修改为冻结状态，并且作为发送者发送消息。此消息有三个接受者(1)会员中心，接收到消息之后，对会员中心数据库D1异构索引表的另一个状态表A2进行修改，修改为冻结状态，若消费抛出异常会有自动重试机制，直到消息消费成功，状态修改成功为止。(2)账户中心，接收到消息之后，消费消息，根据消息里的账户号，将对应的账户中心数据库D2的账户信息表B的状态字段修改为冻结状态。若消费抛出异常会有自动重试机制，直到消息消费成功，状态修改成功为止。(3)会员中心，此消费者调用API中心的接口，通过该API接口向电商会员发送成功通知。若接口抛出异常会有自动重试机制，直到消息消费成功，通知到电商为止。并且针对事务消息的失败还要专门写一个checker方法，检查消息是否消费成功，若失败就回滚。这种方法需要耗费大量的人工去编写代码，并且测试也很繁琐，需要耗费大量时间。

因此，在实现数据源之间的数据传输的基础上，亟需一种简单，便捷，能够实现异构数据源之间的数据传输的方法。

发明内容

为了解决上述问题，本发明提供一种数据源之间的数据传输方法，所述方法包括：

S1：通过配置管理界面，配置数据输出端的连接参数信息和目标端的连接参数信息，并保存所述连接参数信息；

S2：根据保存的所述连接参数信息，选择数据输出端，并配置所述数据输出端的数据抽取条件；

S3：根据保存的所述连接参数信息，将所述数据输出端分配给选择的目标端，并设置所述目标端的数据载入条件；

S4：根据所述数据抽取条件和所述数据载入条件，获取所述数据输出端待同步的数据，并将所述待同步的数据载入所述目标端。

进一步的，所述数据输出端或目标端具体包括，数据库、消息队列和API中的至少一种。

进一步的，步骤S1中配置数据输出端的连接参数信息，具体包括：

配置数据库的连接参数信息，包括数据库的类型，URL，数据库名，用户名，密码，端口；

配置消息队列的连接参数信息，包括消息队列的类型，消息传递模式，端口ID；和/或

配置API接口信息。

进一步的，步骤S1中配置目标端的连接参数信息，具体包括：

配置数据库的连接参数信息，包括数据库的类型，URL，数据库名，用户名，密码，端口；

配置消息队列的连接参数信息，包括消息队列的类型，消息传递模式，端口ID；和/或

配置API接口信息。

进一步的，所述数据输出端和目标端分别为多个。

进一步的，步骤S2中所述数据抽取条件为所述数据库的基础数据表的字段信息。

进一步的，所述数据抽取条件为多个，且将对于一个数据库的数据抽取结果的字段信息，作为对于另一个数据库的数据抽取条件。

进一步的，步骤S3中所述目标端的数据载入条件为所述数据库的基础数据表的字段信息。

进一步的，步骤S4具体包括：

S41,通过所述数据输出端的连接参数信息和所述数据抽取条件，获取待同步的数据配置；

S42,根据所述数据配置和模拟数据库的交互协议，获取数据增量；

S43,根据所述数据增量和所述数据抽取条件，获取所述待同步的数据；

S44,根据所述目标端的连接参数信息和所述数据载入条件，将所述待同步的数据载入所述目标端。

进一步的，步骤S42具体包括：

S421,根据所述数据配置和模拟数据库的交互协议，获取数据库的二进制日志；

S422,通过解析所述二进制日志，获取数据增量。

本发明还提供一种计算机可读的存储介质，存储有用于实现上述方法的计算机可读程序。

与现有技术相比，本发明具有如下优点或有益效果：

本发明通过典型架构的管理界面，配置待进行数据输出任务的数据输出端和目标端的数据源，并通过多重数据抽取条件进行数据过滤，配合数据载入条件，在任意环境下，可实现多个数据源——包括异构数据源——之间的数据同步与迁移功能，解决了现有技术中固定的目标数据源或有限的数据源之间的数据传输与多样性数据传输需求之间的矛盾。并使得应用可以获得云服务的支持，以及给应用代码的简化带来了极大的改革。同时，本发明还提供了在一个同步任务里，多个输出数据源匹配多个目标数据源的复杂数据处理，灵活的解决更多的带逻辑的数据传输。

附图说明

通过结合附图阅读下文示例性实施例的详细描述可更好地理解本发明的保护范围，其中所包括的附图是：

图1为本发明的一种数据源之间的数据传输方法的流程图；

图2为根据本发明实施例的将待同步的数据载入目标端的流程图；

图3为根据本发明实施例的获取数据增量的流程图；

图4为本发明的系统结构的示意图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚，下面结合附图以及实施例来详细说明本发明的实施方案，借此对本发明如何应用技术手段来解决技术问题，并达成技术效果的实现过程能充分理解并据以实施。

首先，本发明的基本设计理念是通过典型架构的管理界面，配置待进行数据输出任务的数据输出端和目标端的数据源，并通过多重数据抽取条件进行数据过滤，在任意环境下，实现多个数据源之间的数据同步与迁移功能。

实施例一

图1是本发明提供的一种数据源之间的数据传输方法的流程图，以下结合图1对每个步骤进行详细说明。如图1所示，该方法主要包括以下步骤：

S1：通过配置管理界面，配置数据输出端的连接参数信息和目标端的连接参数信息，并保存所述连接参数信息。

在该步骤中，通过典型架构的管理界面配置待进行数据输出任务的数据输出端与目标端的数据源，数据输出端与目标端的类型包括数据库，数据仓库，网络服务(WebService)和/或消息队列等各种类型的数据源。当数据源为数据库时，配置数据输出端的连接参数信息包括：配置数据输出端的类型，例如，可为Mysql，Oracle等，配置URL，数据库名，用户名，密码等能够连接数据库的信息。当数据源是消息队列时，配置数据输出端的连接参数信息包括配置数据源类型，例如，可为ONS,KAFKA等，配置Topic，Pid等可以接收推送消息的数据源信息。配置数据传输任务的时候，可先将多个数据源的连接参数信息保存好。

步骤S1通过典型架构的管理界面，配置待进行数据输出任务的数据输出端和目标端的数据源的连接参数，使得配置过程的直观化，对异构数据源之间的数据传输带来了方便，并且操作方便，简单。

S2：根据保存的所述连接参数信息，选择数据输出端，并配置所述数据输出端的数据抽取条件。在S2中，配置管理界面也可根据S1中保存的连接参数信息，给出配置提示信息，以引导用户进行该步骤S2的操作。

在该步骤S2中，根据步骤S1输出的配置页面的配置提示信息，配置数据输出的任务信息:1)首先可以选择多个数据输出端，并配置每个数据输出端的数据抽取条件，例如从A数据输出端只抽取插入(insert)的数据。数据抽取条件还可为数据库的基础数据表的字段信息。2)对于步骤1)选择的多个数据输出端中的数据可进行多重数据抽取配置，且抽取出来的数据的字段信息还可作为下一重抽取配置的数据抽取条件，从而实现包含复杂业务逻辑的数据抽取。例如，对A数据库中基础数据表A中的数据进行过滤，数据抽取条件为：性别字段＝女，年龄＝24，得到过滤后的结果为A表中女性用户A1,A2两位符合条件；然后将A表中女性用户A1,A2的用户ID作为B库中人员操作流水表B表的数据抽取条件，就可以得出A1，A2两位用户的操作流水信息。又如，有数据库A,B,C，消息队列D,E，配置任务的时候可以选择从A里经过抽取获取某些数据，从B里经过抽取获取某些数据，从C里经过抽取获取某些数据。然后将数据汇总，分别通过消息队列D,E发布出去。然后其他目标端数据库可以通过消息队列D,E获取对应的数据信息。例如，现有技术例子中的支付平台，分为会员中心，账户中心等多个系统应用，会员中心即可以通过消息队列获取到D,E消息队列发布出去的消息。

步骤S2通过多重数据抽取条件对数据进行过滤，使得数据筛选更精细化，能够更准确的获取多个数据输出端中待同步的数据。

S3：根据保存的所述连接参数信息，将所述数据输出端分配给选择的目标端，并设置所述目标端的数据载入条件。

其中，可选择多个数据源信息作为目标端，将数据输出端分配给选择的目标端。数据载入条件可为数据载入目标端时，根据目标端的实际情况，设置的一些载入规则，例如，数据载入条件可为数据库的基础数据表的字段信息。步骤S3通过有针对性的数据载入条件，实现了更为灵活，准确的数据载入，实现了异构数据源之间的数据传输。

S4：根据所述数据抽取条件和所述数据载入条件，获取所述数据输出端待同步的数据，并将所述待同步的数据载入所述目标端。图2为根据本发明的实施例将待同步的数据载入目标端的流程图。如图2所示，S4具体包括：

S41,通过所述数据输出端的连接参数信息和所述数据抽取条件，获取待同步的数据配置；

S42,根据所述数据配置和模拟数据库的交互协议，获取数据增量。图3为根据本发明的实施例获取数据增量的流程图，如图3所示，S42具体包括：

S421,根据所述数据配置和模拟数据库的交互协议，获取数据库的二进制日志；

S422,通过解析所述二进制日志，获取数据增量。

S43,根据所述数据增量和所述数据抽取条件，获取所述待同步的数据。数据增量的同步过程基于数据仓库的ETL模型来实现。将获取到的数据增量根据S2所配置的复杂过滤条件，按照多重数据抽取条件进行数据过滤，最终获得符合条件的待同步的数据。

S44,根据所述目标端的连接参数信息和所述数据载入条件，将所述待同步的数据载入所述目标端。根据目标端的连接参数信息连接目标端，并且根据S3中配置的目标端和数据载入条件，将符合条件的待同步的数据转换为目标端里的数据库操作语句，通过上述转换之后的数据库执行语句实现数据的导入，从而实现多种异构数据源之间的数据传输。

实施例二

举例说明本发明在实践中的应用，对比现有技术中电商会员A在支付平台进行会员冻结的例子，如果通过本发明提供的方法来实现数据传输，用户仅仅需要进行页面配置就可以实现。该支付平台分为会员中心，账户中心等多个系统应用，页面配置方案如下：

1)数据源配置：配置会员中心数据库D1，账户中心数据库D2的连接参数信息，包括类型，URL，用户名，密码，端口等链接方式信息，并将其进行保存。同时，将应用程序接口(Application Program Interface,API)中心的接口C也保存至数据源——会员中心数据库D1，账户中心数据库D2——的接口里。

2)选择输出端并配置数据抽取条件：选择数据输出端为会员中心数据库D1，若D1中的会员状态表中A1的状态字段＝“冻结”，从表A1中提取会员A的ID并获得数据集，数据集包括会员A的名称，地址，唯一编码，三证信息等会员数据信息)。

3)选择目标端：(1)选择第一个目标端：选择会员中心数据库D1作为输出的目标端，根据步骤2)提取到的会员A的ID，设置数据载入条件，当D1数据库里的异构索引表A2表里会员ID等于已提取到的会员A的ID时，将A2表里的状态字段修改为“冻结”(2)选择第二个目标端：选择账户中心数据库D2作为输出的目标端，根据步骤2)提取到的会员A的ID，设置数据载入条件，当账户中心数据库D2里的账户信息表B里的会员ID等于已提取到的会员A的ID时，将B表里的状态字段改为“冻结”(3)选择第三个目标端：选择WebService接口服务API接口C作为输出的目标端，根据步骤(2)提取到的会员A的ID作为接口C的参数，调用C接口，并且将上述会员数据信息以及冻结标识同样作为参数传入C接口，实现接口的调用。

实施例三

图4为本发明实施例的系统结构的示意图。本发明还提供了一种数据源之间的数据传输系统。如图4所示，该系统包括数据输出端1，数据提取模块2和输出端3。在该实施例中，数据输出端1包括：应用端(Application，APP)，数据库(Database，DB)，消息队列(Message Queue，MQ)，接口(Application Program Interface，API)。数据提取模块2包括数据接入模块，提取节点模块(Function Collection Service，FCS)。目标端3包括数据DB,API,MQ和APP。

首先，通过配置管理界面，配置数据输出端1的连接参数信息和目标端3的连接参数信息，并保存该连接参数信息。在该实施例中，通过典型架构的管理界面配置待进行数据输出任务的数据输出端1与目标端3的数据源，数据输出端1与目标端3的类型包括数据库，消息队列和API等各种类型的数据源。配置数据传输任务的时候，可先将多个数据源的连接参数信息保存好。

而后，根据保存的连接参数信息，选择数据输出端，并配置该数据输出端的数据抽取条件。在配置管理界面也可以配置数据输出的任务信息:1)首先可以选择多个数据输出端，并配置每个数据输出端的数据抽取条件，例如从BD数据输出端只抽取插入(insert)的数据。数据抽取条件还可为数据库的基础数据表的字段信息。2)对于1)中选择的多个数据输出端中的数据可进行多重数据抽取配置，且抽取出来的数据的字段信息还可作为下一重抽取配置的数据抽取条件，从而实现包含复杂业务逻辑的数据抽取。例如，数据输出端有数据库，API和消息队列，配置任务的时候可以选择从数据库里经过抽取获得某些数据，从API里经过抽取获取某些数据。然后将数据汇总，通过消息队列发布出去。然后目标端DB可通过消息队列获取对应的数据信息。

其次，根据保存的连接参数信息，将该数据输出端分配给选择的目标端，并设置所述目标端的数据载入条件。其中，可选择多个数据源作为目标端，将数据输出端分配给选择的目标端。数据载入条件可为数据载入目标端时，根据目标端的实际情况，设置的一些载入规则。在该实施例中，数据载入的目标端可选择DB,API或MQ。

最后，根据数据抽取条件和数据载入条件，获取数据输出端——如上例的数据库和API——的待同步的数据，并将待同步的数据载入目标端DB,API和/或MQ。

本发明的系统部署在云平台中，分布式集群部署，两台控制台，多台工作节点即可实现分布式部署。控制台用于配置任务，查看任务的管理界面，控制台的部署采用tomcat部署war包；工作节点用于执行数据输出任务，工作节点部署采用jetty方式部署节点打成的tar包。作为技术组件的形式，当项目需要应用该技术组件的时候，去云平台创建租户分配相应的权限，从而可以使用该技术组件。

此外，本发明还提供一种计算机可读存储介质，其中存储有数据源之间的数据传输的系统程序，所述系统程序在被处理器执行时实现上述本发明的数据源之间的数据传输方法。在具体应用时：本发明通过典型架构的管理界面，配置待进行数据输出任务的数据输出端和目标端的数据源，并通过多重数据抽取条件进行数据过滤，配合数据载入条件，在任意环境下，可实现多个数据源——包括异构数据源——之间的数据同步与迁移功能，并使得应用可以获得云服务的支持，给应用代码的简化带来了极大的改革。

以上实施例仅是本发明的具体实施例。显然，本发明不限于以上实施例，还可以存在许多变形。凡是本领域的普通技术人员能以本发明公开的内容直接导出或是联想到的所有变形均应被认为是本发明的保护范围。

Claims (10)

1.一种数据源之间的数据传输方法，其特征在于，包括：

S1：通过配置管理界面，配置数据输出端的连接参数信息和目标端的连接参数信息，并保存所述连接参数信息；

S2：根据保存的所述连接参数信息，选择数据输出端，并配置所述数据输出端的数据抽取条件；

S3：根据保存的所述连接参数信息，将所述数据输出端分配给选择的目标端，并设置所述目标端的数据载入条件；

S4：根据所述数据抽取条件和所述数据载入条件，获取所述数据输出端待同步的数据，并将所述待同步的数据载入所述目标端。

2.根据权利要求1所述的数据源之间的数据传输方法，其特征在于，所述数据输出端或目标端具体包括，数据库、消息队列和API中的至少一种。

3.根据权利要求2所述的数据源之间的数据传输方法，其特征在于，步骤S1中配置数据输出端的连接参数信息，具体包括：

配置数据库的连接参数信息，包括数据库的类型，URL，数据库名，用户名，密码，端口；

配置消息队列的连接参数信息，包括消息队列的类型，消息传递模式，端口ID；和/或

配置API接口信息。

4.根据权利要求2所述的数据源之间的数据传输方法，其特征在于，步骤S1中配置目标端的连接参数信息，具体包括：

配置数据库的连接参数信息，包括数据库的类型，URL，数据库名，用户名，密码，端口；

配置消息队列的连接参数信息，包括消息队列的类型，消息传递模式，端口ID；和/或

配置API接口信息。

5.根据权利要求1所述的数据源之间的数据传输方法，其特征在于，所述数据输出端和目标端分别为多个。

6.根据权利要求2所述的数据源之间的数据传输方法，其特征在于，步骤S2中所述数据抽取条件为所述数据库的基础数据表的字段信息。

7.根据权利要求6所述的数据源之间的数据传输方法，其特征在于，所述数据抽取条件为多个，且将对于一个数据库的数据抽取结果的字段信息，作为对于另一个数据库的数据抽取条件。

8.根据权利要求2所述的数据源之间的数据传输方法，其特征在于，步骤S3中所述目标端的数据载入条件为所述数据库的基础数据表的字段信息。

9.根据权利要求1所述的数据源之间的数据传输方法，其特征在于，步骤S4具体包括：

S41,通过所述数据输出端的连接参数信息和所述数据抽取条件，获取待同步的数据配置；

S42,根据所述数据配置和模拟数据库的交互协议，获取数据增量；

S43,根据所述数据增量和所述数据抽取条件，获取所述待同步的数据；

S44,根据所述目标端的连接参数信息和所述数据载入条件，将所述待同步的数据载入所述目标端。

10.根据权利要求9所述的数据源之间的数据传输方法，其特征在于，步骤S42具体包括：

S421,根据所述数据配置和模拟数据库的交互协议，获取数据库的二进制日志；

S422,通过解析所述二进制日志，获取数据增量。