CN113742420A - 数据同步方法和装置 - Google Patents

Abstract

本发明实施例涉及数据同步技术领域，公开了一种数据同步方法和装置。该方法包括：获取OLTP数据库的变更数据和/或增量数据，并将变更数据和/或增量数据存储于Kafka临时数据库的库级topic中；将变更数据和/或增量数据，以及OLTP数据库中的初始化全量数据存储到Kafka临时数据库的表级topic中；监听Kafka临时数据库，并将Kafka临时数据库同步至数据存储源中。实施本发明实施例，可以使用Kafka临时数据库实现初始化数据和变更数据的复用，同步过程高效便利。

Description

数据同步方法和装置

技术领域

本发明涉及数据同步技术领域，具体涉及一种数据同步方法和装置。

背景技术

数据同步是指在不同的数据源中对数据进行同步操作，使得这些数据源的数据保持完整和统一。现有的数据同步一般采用全量同步的方式，每次同步过程中，都需要完整同步整个数据内容，同步速度慢，效率低下，而且浪费大量的资源。

发明内容

针对所述缺陷，本发明实施例公开了一种数据同步方法和装置，其使用Kafka临时数据库实现初始化数据和变更数据的复用，同步过程高效便利。

本发明实施例第一方面公开一种数据同步方法，其包括：

获取OLTP数据库的变更数据和/或增量数据，并将所述变更数据和/或增量数据存储于Kafka临时数据库的库级topic中；

监听所述Kafka临时数据库的库级topic消息，为OLTP数据库的初始化全量数据添加数据属性，将所述库级topic消息以及数据属性存储到Kafka临时数据库的表级topic中；

监听所述Kafka临时数据库，并将所述Kafka临时数据库同步至数据存储源中。

作为较佳的实施例，在本发明实施例的第一方面中，获取OLTP数据库的变更数据和/或增量数据，并将所述变更数据和/或增量数据存储于Kafka临时数据库的库级topic中，包括：

实时监听所述OLTP数据库DML消息，获取OLTP数据库的操作日志，解析所述操作日志并添加元数据，得到变更数据；

定时查询OLTP数据库的增量日志，基于所述增量日志获取增量数据；

将所述变更数据和/或增量数据存储于Kafka临时数据库的库级topic中。

作为较佳的实施例，在本发明实施例的第一方面中，所述表级topic消息区分数据来源并添加Kafka_offset属性以用于确定先后顺序。

作为较佳的实施例，在本发明实施例的第一方面中，所述数据存储源为数据仓库、实时查询数据库以及其他数据库中的一种或多种。

作为较佳的实施例，在本发明实施例的第一方面中，监听所述Kafka临时数据库，并将所述Kafka临时数据库同步至数据存储源中，包括以下的一种或多种：

创建Spark Streaming实时任务以监听库级Kafka的DML消息，并实现自动加表和字段，将所述库级Kafka中的变更数据自动加表和字段后，存储至快速查询分析型数据引擎中；

通过查询引擎获取表级的topic消息，并将所述topic消息存储至分布式存储分析数据库引擎中，或其他任意的数据库引擎中。

本发明实施例第二方面公开一种数据同步装置，其包括：

第一存储单元，用于获取OLTP数据库的变更数据和/或增量数据，并将所述变更数据和/或增量数据存储于Kafka临时数据库的库级topic中；

第二存储单元，用于将所述变更数据和/或增量数据，以及OLTP数据库中的初始化全量数据存储到Kafka临时数据库的表级topic中；

同步单元，用于监听所述Kafka临时数据库，并将所述Kafka临时数据库同步至数据存储源中。

作为较佳的实施例，在本发明实施例的第二方面中，所述第一存储单元，包括：

第一监听子单元，用于实时监听所述OLTP数据库DML消息，获取OLTP数据库的操作日志，解析所述操作日志并添加元数据，得到变更数据；

查询子单元，用于定时查询OLTP数据库的增量日志，基于所述增量日志获取增量数据；

存储子单元，将所述变更数据和/或增量数据存储于Kafka临时数据库的库级topic中。

作为较佳的实施例，在本发明实施例的第二方面中，所述表级topic消息区分数据来源并添加Kafka_offset属性以用于确定先后顺序。

作为较佳的实施例，在本发明实施例的第二方面中，所述数据存储源为数据仓库、实时查询数据库以及其他数据库中的一种或多种。

作为较佳的实施例，在本发明实施例的第二方面中，所述同步单元，包括以下的一种或多种：

第一同步子单元，用于创建Spark Streaming实时任务以监听库级Kafka的DML消息，并实现自动加表和字段，将所述库级Kafka中的变更数据自动加表和字段后，存储至快速查询分析型数据引擎中；

第二同步子单元，用于通过查询引擎获取表级的topic消息，并将所述topic消息存储至分布式存储分析数据库引擎中，或其他任意的数据库引擎中。

本发明实施例第三方面公开一种电子设备，包括：存储有可执行程序代码的存储器；与所述存储器耦合的处理器；所述处理器调用所述存储器中存储的所述可执行程序代码，用于执行本发明实施例第一方面公开的一种数据同步方法。

本发明实施例第四方面公开一种计算机可读存储介质，其存储计算机程序，其中，所述计算机程序使得计算机执行本发明实施例第一方面公开的一种数据同步方法。

本发明实施例第五方面公开一种计算机程序产品，当所述计算机程序产品在计算机上运行时，使得所述计算机执行本发明实施例第一方面公开的一种数据同步方法。

本发明实施例第六方面公开一种应用发布平台，所述应用发布平台用于发布计算机程序产品，其中，当所述计算机程序产品在计算机上运行时，使得所述计算机执行本发明实施例第一方面公开的一种数据同步方法。

与现有技术相比，本发明实施例具有以下有益效果：

本发明实施例可按需求监听表级topic或库级topic接入各种数据存储源，可追加、可覆盖、可修改存储源数据，以实现初始化数据和变更数据的复用，减少采集数据的繁琐，只需适配存储源的数据格式；整个过程高效便利，灵活应用，即插即用，完全自动化。

附图说明

为了更清楚地说明本发明实施例中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人体来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本发明实施例公开的一种数据同步方法的流程示意图；

图2是本发明实施例公开的一种数据同步装置的结构示意图；

图3是本发明实施例公开的一种电子设备的结构示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人体在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

需要说明的是，本发明的说明书和权利要求书中的术语“第一”、“第二”、“第三”、“第四”等是用于区别不同的对象，而不是用于描述特定顺序。本发明实施例的术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，示例性地，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。

本发明实施例公开了一种数据同步方法和装置，其可按需求监听表级topic或库级topic接入各种数据存储源，可追加、可覆盖、可修改存储源数据，以实现初始化数据和变更数据的复用，减少采集数据的繁琐，只需适配存储源的数据格式；整个过程高效便利，灵活应用，即插即用，完全自动化，以下结合附图进行详细描述。

实施例一

请参阅图1，图1是本发明实施例公开的一种数据同步方法的流程示意图。如图1所示，该数据同步方法包括以下步骤：

S110、获取OLTP(On-Line Transaction Processing联机事务处理过程)数据库的变更数据和/或增量数据。

在Kafka临时数据库的库级topic中，存储的是变更数据和增量数据。对于变更数据，可通过实时监控OLTP数据库的DML(Data Manipulation Language数据操纵语言)消息实现，DML消息一般为增删改等，涉及OLTP数据库的数据变更，根据DML消息可以获取OLTP数据库的操作日志，解析所述操作日志并在解析结果中根据存储需求或业务需求添加字段名、字段类型等元数据，就可以得到变更数据。对OLTP数据库的监控可以通过编写脚本的插件实现，也可以采用现有的监听工具。

定时查询OLTP数据库的增量日志，基于所述增量日志获取增量数据；定时查询增量日志也可以通过编写脚本的插件实现，或者采用现有的查询工具。

S120、将变更数据和/或增量数据存储于Kafka临时数据库的库级topic中。

Kafka临时数据库接入各种数据存储源，从而使得在Kafka临时数据库中实现了数据的复用。对于Kafka临时数据库的库级topic中，其存储内容为数据，且这些数据为变更数据和/或增量数据，其他数据存储源接入Kafka临时数据库的库级topic时，需要先与OLTP数据库的初始全量数据完成全量同步，然后在后续的同步时，只需要监听库级topic的DML消息即可完成将库级topic中的变更数据和/或增量数据同步至目标数据存储源中。

S130、监听所述Kafka临时数据库的库级topic消息，为OLTP数据库的初始化全量数据添加数据属性，将所述库级topic消息以及数据属性存储到Kafka临时数据库的表级topic中。

监听所述Kafka临时数据库的库级topic消息可以通过编写脚本的插件实现，也可以采用现有的监听工具；库级topic消息为数据源的DML消息。

Kafka临时数据库的表级topic存储内容为消息，该表单与库级topic中的变更数据和/或增量数据以及OLTP数据库的初始化全量数据存在映射关系，即可通过该表单从库级topic中获取变更数据和/或增量数据及初始化全量数据。

在一些其他的实施例中，也可以通过监听OLTP数据库的DML消息确定变更数据和/或增量数据。

表级topic的消息需要区分数据的来源，并为每次存储的信息添加一定的字段例如Kafka_offset属性的字段，以确定存储信息的先后顺序。

通过监听所述Kafka临时数据库，就可以将所述Kafka临时数据库同步至数据存储源中。数据存储源根据需要，可以有多种，例如，可以是数据仓库、实时查询数据库以及其他类型的数据存储库。以下步骤S140和S150为同步至数据存储源的一种示例，二者并非同时存在，即使同时存在，也并无先后顺序。

S140、可以通过监听库级topic实现快速查询功能。

由于库级topic存储的是变更数据和/或增量数据，因此，直接将变更数据和/或增量数据同步至快速查询功能的数据库，例如快速查询分析性数据库引擎，从而实现快速同步，提高快速查询功能的数据库的查询能力，并能保证数据的实时更新。

可以理解的是，快速查询功能的数据库在监听库级topic之前，需要OLTP数据库完成全量数据同步，即将OLTP数据库中的初始全量数据同步存储于快速查询功能的数据库中。

对库级topic的监听可以通过创建Spark Streaming实时任务完成，SparkStreaming实时任务监听库级Kafka的DML消息，基于库级Kafka的DML消息确定库级Kafka中的变更数据(这里的变更数据包括增量数据)，并将所述库级Kafka中的变更数据自动加表和字段后，存储至快速查询分析型数据引擎中，无需人工操作，保持和源数据库相同的表结构。

业务初期需求简单，但发展到一定程度后，现有的表及字段必然满足不了业务需求，则需要添加表和字段。例如商城初期只有自营模式，加入商家模块后，订单、商品、用户相关表需要加入字段is_self用于区分自营/商家，同时需要添加商家shop表用于管理商家。因此，通过自动加表和字段的方法，可以实现效率的提升。

自动添加表的方法是：当快速查询分析数据引擎中无该变更数据消息，所述表名，则通过变更数据消息中的元数据信息生成建表语句，自动建表。

自动添加字段的方法是：当快速查询分析数据引擎中无该变更数据消息，所述字段名，则通过变更数据消息中的元数据信息生成创建字段语句，自动加字段。

S150、可以通过查询引擎实现分布式存储功能。

于表级topic存储的是变更数据和/或增量数据以及初始化全量数据的表单，因此，将该表单存储于分布式存储功能的数据库中，例如，分布式存储分析数据库引擎，可以基于该表单实现调取变更数据和/或增量数据以及初始化全量数据，完成分布式存储。

具体地，可以通过查询引擎获取表级的topic消息，将该所述topic消息存储于分布式存储分析数据库引擎中，可通过该Kafka的topic消息获取相应位置的变更数据和/或增量数据以及初始化全量数据。

当然，也可以将其他数据库引擎接入该表级topic，获取并存储表级的topic消息。

由上可以看出，按需求将表级topic或库级topic接入各种数据存储源，通过对表级topic或库级topic的监听，可以实现数据存储源的数据的追加、覆盖和修改，以实现初始化数据和变更数据的复用，减少采集数据的繁琐，只需适配存储源的数据格式；整个过程高效便利，灵活应用，即插即用，完全自动化。

实施例二

请参阅图2，图2是本发明实施例公开的另一种数据同步装置的结构示意图。如图2所示，该数据同步装置，可以包括：

第一存储单元210，用于获取OLTP数据库的变更数据和/或增量数据，并将所述变更数据和/或增量数据存储于Kafka临时数据库的库级topic中；

第二存储单元220，用于监听所述Kafka临时数据库的库级topic消息，为OLTP数据库的初始化全量数据添加数据属性，将所述库级topic消息以及数据属性存储到Kafka临时数据库的表级topic中；

同步单元230，用于监听所述Kafka临时数据库，并将所述Kafka临时数据库同步至数据存储源中。

优选地，所述第一存储单元，包括：

第一监听子单元，用于实时监听所述OLTP数据库DML消息，获取OLTP数据库的操作日志，解析所述操作日志并添加元数据，得到变更数据；

查询子单元，用于定时查询OLTP数据库的增量日志，基于所述增量日志获取增量数据；

存储子单元，将所述变更数据和/或增量数据存储于Kafka临时数据库的库级topic中。

优选地，所述表级topic消息区分数据来源并添加Kafka_offset属性以用于确定先后顺序。

优选地，所述数据存储源为数据仓库、实时查询数据库以及其他数据库中的一种或多种。

优选地，所述同步单元，包括以下的一种或多种：

第一同步子单元，用于创建Spark Streaming实时任务以监听库级Kafka的DML消息，并实现自动加表和字段，将所述库级Kafka中的变更数据自动加表和字段后，存储至快速查询分析型数据引擎中；

第二同步子单元，用于通过查询引擎获取表级的topic消息，并基于所述topic消息获取变更数据和/或增量数据以及初始化全量数据，存储至分布式存储分析数据库引擎中，或其他任意的数据库引擎中。

实施例三

请参阅图3，图3是本发明实施例公开的一种电子设备的结构示意图。如图3所示，该电子设备可以包括：

存储有可执行程序代码的存储器310；

与存储器310耦合的处理器320；

其中，处理器320调用存储器310中存储的可执行程序代码，执行实施例一中的一种数据同步方法中的部分或全部步骤。

本发明实施例公开一种计算机可读存储介质，其存储计算机程序，其中，该计算机程序使得计算机执行实施例一中的一种数据同步方法中的部分或全部步骤。

本发明实施例还公开一种计算机程序产品，其中，当计算机程序产品在计算机上运行时，使得计算机执行实施例一中的一种数据同步方法中的部分或全部步骤。

本发明实施例还公开一种应用发布平台，其中，应用发布平台用于发布计算机程序产品，其中，当计算机程序产品在计算机上运行时，使得计算机执行实施例一中的一种数据同步方法中的部分或全部步骤。

在本发明的各种实施例中，应理解，所述各过程的序号的大小并不意味着执行顺序的必然先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本发明实施例的实施过程构成任何限定。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物单元，即可位于一个地方，或者也可以分布到多个网络单元上。可根据实际的需要选择其中的部分或全部单元来实现本实施例方案的目的。

另外，在本发明各实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。所述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。

所述集成的单元若以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可获取的存储器中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或者部分，可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储器中，包括若干请求用以使得一台计算机设备(可以为个人计算机、服务器或者网络设备等，具体可以是计算机设备中的处理器)执行本发明的各个实施例所述方法的部分或全部步骤。

在本发明所提供的实施例中，应理解，“与A对应的B”表示B与A相关联，根据A可以确定B。但还应理解，根据A确定B并不意味着仅仅根据A确定B，还可以根据A和/或其他信息确定B。

本领域普通技术人体可以理解所述实施例的各种方法中的部分或全部步骤是可以通过程序来指令相关的硬件来完成，该程序可以存储于一计算机可读存储介质中，存储介质包括只读存储器(Read-Only Memory，ROM)、随机存储器(Random Access Memory，RAM)、可编程只读存储器(Programmable Read-only Memory，PROM)、可擦除可编程只读存储器(Erasable Programmable Read-Only Memory，EPROM)、一次可编程只读存储器(One-time Programmable Read-Only Memory，OTPROM)、电子抹除式可复写只读存储器(Electrically-Erasable Programmable Read-Only Memory，EEPROM)、只读光盘(CompactDisc Read-Only Memory，CD-ROM)或其他光盘存储器、磁盘存储器、磁带存储器、或者能够用于携带或存储数据的计算机可读的任何其他介质。

以上对本发明实施例公开的一种数据同步方法和装置进行了详细介绍，本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人体，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。

Claims (10)

1.一种数据同步方法，其特征在于，包括：

获取OLTP数据库的变更数据和/或增量数据，并将所述变更数据和/或增量数据存储于Kafka临时数据库的库级topic中；

监听所述Kafka临时数据库的库级topic消息，为OLTP数据库的初始化全量数据添加数据属性，将所述库级topic消息以及数据属性存储到Kafka临时数据库的表级topic中；

监听所述Kafka临时数据库，并将所述Kafka临时数据库同步至数据存储源中。

2.根据权利要求1所述的数据同步方法，其特征在于，获取OLTP数据库的变更数据和/或增量数据，并将所述变更数据和/或增量数据存储于Kafka临时数据库的库级topic中，包括：

实时监听所述OLTP数据库DML消息，获取OLTP数据库的操作日志，解析所述操作日志并添加元数据，得到变更数据；

定时查询OLTP数据库的增量日志，基于所述增量日志获取增量数据；

将所述变更数据和/或增量数据存储于Kafka临时数据库的库级topic中。

3.根据权利要求1所述的数据同步方法，其特征在于，所述表级topic消息区分数据来源并添加Kafka_offset属性以用于确定先后顺序。

4.根据权利要求1所述的数据同步方法，其特征在于，所述数据存储源为数据仓库、实时查询数据库以及其他数据库中的一种或多种。

5.根据权利要求1-4任一项所述的数据同步方法，其特征在于，监听所述Kafka临时数据库，并将所述Kafka临时数据库同步至数据存储源中，包括以下的一种或多种：

创建Spark Streaming实时任务以监听库级Kafka的DML消息，并实现自动加表和字段，将所述库级Kafka中的变更数据自动加表和字段后，存储至快速查询分析型数据引擎中；

通过查询引擎获取表级的topic消息，并将所述topic消息存储至分布式存储分析数据库引擎中，或其他任意的数据库引擎中。

6.一种数据同步装置，其特征在于，包括：

第一存储单元，用于获取OLTP数据库的变更数据和/或增量数据，并将所述变更数据和/或增量数据存储于Kafka临时数据库的库级topic中；

第二存储单元，用于监听所述Kafka临时数据库的库级topic消息，为OLTP数据库的初始化全量数据添加数据属性，将所述库级topic消息以及数据属性存储到Kafka临时数据库的表级topic中；

同步单元，用于监听所述Kafka临时数据库，并将所述Kafka临时数据库同步至数据存储源中。

7.根据权利要求6所述的数据同步装置，其特征在于，所述第一存储单元，包括：

监听子单元，用于实时监听所述OLTP数据库DML消息，获取OLTP数据库的操作日志，解析所述操作日志并添加元数据，得到变更数据；

查询子单元，用于定时查询OLTP数据库的增量日志，基于所述增量日志获取增量数据；

存储子单元，将所述变更数据和/或增量数据存储于Kafka临时数据库的库级topic中。

8.根据权利要求6所述的数据同步装置，其特征在于，所述表级topic消息区分数据来源并添加Kafka_offset属性以用于确定先后顺序。

9.根据权利要求6所述的数据同步装置，其特征在于，所述数据存储源为数据仓库、实时查询数据库以及其他数据库中的一种或多种。

10.根据权利要求6-9任一项所述的数据同步装置，其特征在于，所述同步单元，包括以下的一种或多种：

第一同步子单元，用于创建Spark Streaming实时任务以监听库级Kafka的DML消息，并实现自动加表和字段，将所述库级Kafka中的变更数据自动加表和字段后，存储至快速查询分析型数据引擎中；

第二同步子单元，用于通过查询引擎获取表级的topic消息，并将所述topic消息存储至分布式存储分析数据库引擎中，或其他任意的数据库引擎中。

Images