CN110083660A - 一种同步数据的方法、装置、介质和电子设备 - Google Patents
一种同步数据的方法、装置、介质和电子设备 Download PDFInfo
- Publication number
- CN110083660A CN110083660A CN201910356218.3A CN201910356218A CN110083660A CN 110083660 A CN110083660 A CN 110083660A CN 201910356218 A CN201910356218 A CN 201910356218A CN 110083660 A CN110083660 A CN 110083660A
- Authority
- CN
- China
- Prior art keywords
- data
- synchronized
- change
- log
- subscribing
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/27—Replication, distribution or synchronisation of data between databases or within a distributed database system; Distributed database system architectures therefor
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/28—Databases characterised by their database models, e.g. relational or object models
- G06F16/284—Relational databases
Landscapes
- Engineering & Computer Science (AREA)
- Databases & Information Systems (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Computing Systems (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本公开提供了一种同步数据方法、装置、介质和电子设备，方法包括：将所述关系型数据库里的变更数据通过binlog机制同步到日志订阅工具；通过分布式计算引擎将同步到所述日志订阅工具里的所述变更数据实时同步到Kafka消息中间件；经过所述Kafka消息中间件，将变更数据同步到相应数据库。通过采用本发明的技术方案，使得MySQL里的数据变更能在秒级同步到Hive以及HBase，为Hive和HBase产生实时的报表提供了底层支撑；并且不再使用JDBC接口，因此数据同步流程不会影响使用JDBC接口的正常业务流程。
Description
技术领域
本公开涉及计算机技术领域，具体而言，涉及一种实现关系型数据库与大数据平台实时同步数据的方法、装置、介质和电子设备。
背景技术
当前在关系型数据库与大数据平台间同步数据主要是通过上层JDBC(一种数据库连接标准)接口定期批量导入的方式完成的。由于是定期批量的方式，所以时效性得不到保证；又由于使用的是上层JDBC接口，所以存在和正常业务流程争抢接口资源的隐患。
公开内容
本公开的目的在于提供一种实现关系型数据库与大数据平台实时同步数据的方法、装置、介质和电子设备，能够解决上述提到的至少一个技术问题。具体方案如下：
根据本公开的具体实施方式，第一方面，本公开提供
一种实现关系型数据库与大数据平台实时同步数据的方法，其特征在于，包括：
将所述关系型数据库里的变更数据通过binlog机制同步到日志订阅工具；
通过分布式计算引擎将同步到所述日志订阅工具里的所述变更数据实时同步到Kafka消息中间件；
经过所述Kafka消息中间件，将变更数据同步到相应数据库。
进一步，将变更数据同步到相应数据库具体包括：
通过分布式计算引擎将所述变更数据同步到大数据生态系统数据仓库Hive；通过实时计算引擎将所述变更数据同步到分布式数据库Hbase。
进一步，所述将所述关系型数据库里的变更数据通过binlog机制同步到日志订阅工具，包括：
在关系型数据库的配置文件中，增加binlog参数；
按照时间段或位置截取所述关系型数据库中数据；
将所述截取的数据同步到日志订阅工具。
进一步，所述通过分布式计算引擎将同步到所述日志订阅工具里的所述变更数据实时同步到Kafka消息中间件，包括：
通过分布式计算引擎调用所述日志订阅工具里的所述变更数据的API接口，将所述变更数据实时同步到Kafka消息中间件；以及
所述通过实时计算引擎将所述变更数据同步到分布式数据库Hbase包括：
所述变更数据分成小的时间片段；
按照批量处理的方式将所述变更数据同步到分布式数据库Hbase。
根据本公开的具体实施方式，第二方面，本公开提供一种实现关系型数据库与大数据平台实时同步数据的装置，其特征在于，包括：
第一同步单元，用于将所述关系型数据库里的变更数据通过binlog机制同步到日志订阅工具；
第二同步单元，用于通过分布式计算引擎将同步到所述日志订阅工具里的所述变更数据实时同步到Kafka消息中间件；
第三同步单元，用于经过所述Kafka消息中间件，将变更数据同步到相应数据库。
进一步，所述第三同步单元还包括通过分布式计算引擎将所述变更数据同步到大数据生态系统数据仓库Hive；通过实时计算引擎将所述变更数据同步到分布式数据库Hbase。
进一步，所述第一同步单元还用于：
在关系型数据库的配置文件中，增加binlog参数；
按照时间段或位置截取所述关系型数据库中数据；
将所述截取的数据同步到日志订阅工具。
进一步，所述第二同步单元还用于：
通过分布式计算引擎调用所述日志订阅工具里的所述变更数据的API接口，将所述变更数据实时同步到Kafka消息中间件。
根据本公开的具体实施方式，第三方面，本公开提供一种计算机可读存储介质，其上存储有计算机程序，所述程序被处理器执行时实现如上任一项所述的方法。
根据本公开的具体实施方式，第四方面，本公开提供一种电子设备，包括：一个或多个处理器；存储装置，用于存储一个或多个程序，当所述一个或多个程序被所述一个或多个处理器执行时，使得所述一个或多个处理器实现如上任一项所述的方法。
本公开实施例的上述方案与现有技术相比，至少具有以下有益效果：通过采用本发明的技术方案，使得MySQL里的数据变更能在秒级同步到Hive以及HBase，为Hive和HBase产生实时的报表提供了底层支撑；并且不再使用JDBC接口，因此数据同步流程不会影响使用JDBC接口的正常业务流程。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本公开的实施例，并与说明书一起用于解释本公开的原理。显而易见地，下面描述中的附图仅仅是本公开的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。在附图中：
图1示出了根据本公开实施例的实现关系型数据库与大数据平台实时同步数据方法流程图；
图2示出了根据本公开实施例的实现关系型数据库与大数据平台实时同步数据装置结构示意图；
图3示出了根据本公开的实施例的电子设备连接结构示意图。
具体实施方式
为了使本公开的目的、技术方案和优点更加清楚，下面将结合附图对本公开作进一步地详细描述，显然，所描述的实施例仅仅是本公开一部分实施例，而不是全部的实施例。基于本公开中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本公开保护的范围。
在本公开实施例中使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本公开。在本公开实施例和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义，“多种”一般包含至少两种。
应当理解，本文中使用的术语“和/或”仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。另外，本文中字符“/”，一般表示前后关联对象是一种“或”的关系。
应当理解，尽管在本公开实施例中可能采用术语第一、第二、第三等来描述……，但这些……不应限于这些术语。这些术语仅用来将……区分开。例如，在不脱离本公开实施例范围的情况下，第一……也可以被称为第二……，类似地，第二……也可以被称为第一……。
取决于语境，如在此所使用的词语“如果”、“若”可以被解释成为“在……时”或“当……时”或“响应于确定”或“响应于检测”。类似地，取决于语境，短语“如果确定”或“如果检测(陈述的条件或事件)”可以被解释成为“当确定时”或“响应于确定”或“当检测(陈述的条件或事件)时”或“响应于检测(陈述的条件或事件)”。
还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的商品或者装置不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种商品或者装置所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的商品或者装置中还存在另外的相同要素。
下面结合附图详细说明本公开的可选实施例。
实施例1
如图1所示，根据本公开的具体实施方式，第一方面，本公开提供一种实现关系型数据库与大数据平台实时同步数据的方法，包括：
S102：将所述关系型数据库里的变更数据通过binlog机制同步到日志订阅工具；
可选的，所述将所述关系型数据库里的变更数据通过binlog机制同步到日志订阅工具，包括：
在关系型数据库的配置文件中，增加binlog参数；
按照时间段或位置截取所述关系型数据库中数据；
将所述截取的数据同步到日志订阅工具。
binlog是用于记录数据库数据变更的二进制日志，是用于数据库主从同步的核心技术，其是一个二进制格式的文件，用于记录用户对数据库更新的SQL语句信息，例如更改数据库表和更改内容的SQL语句都会记录到binlog里，但是对库表等内容的查询不会记录。
默认情况下，binlog日志是二进制格式的，不能使用查看文本工具的命令(比如，cat，vi等)查看，而使用mysqlbinlog解析查看。
当有数据写入到数据库时，还会同时把更新的SQL语句写入到对应的binlog文件里，这个文件就是上文说的binlog文件。使用mysqldump备份时，只是对一段时间的数据进行全备，但是如果备份后突然发现数据库服务器故障，这个时候就要用到binlog的日志了。在mysql的配置文件my.cnf中，增加log_bin参数即可开启binlog日志，也可以通过赋值来指定binlog日志的文件名。
S104：通过分布式计算引擎将同步到所述日志订阅工具Canal里的所述变更数据实时同步到Kafka消息中间件；
可选的，所述通过分布式计算引擎MapReduce将同步到所述日志订阅工具里的所述变更数据实时同步到Kafka消息中间件，包括：通过分布式计算引擎调用所述日志订阅工具里的所述变更数据的API接口，将所述变更数据实时同步到Kafka消息中间件。kafka消息作为日志信息在传输过程中的中间存储，可以确保日志信息的高效性与安全性的持久化，而且满足大容量的中间存储。
分布式计算引擎MapReduce将作业的整个运行过程分为两个阶段，Map(映射)阶段和Reduce(归约)阶段。
Map阶段由一定数量的Map Task组成，包括：
输入数据格式解析：InputFormat；
输入数据处理：Mapper；
数据分组：Partitioner。
Reduce阶段由一定数量的Reduce Task组成，包括：
数据远程拷贝；
数据按照key排序；
数据处理：Reducer；
数据输出格式：OutputFormat。
S106：经过所述消息中间件，将变更数据同步到相应数据库。
同步到相应数据库具体为：通过分布式计算引擎将所述变更数据同步到大数据生态系统数据仓库Hive；通过实时计算引擎将所述变更数据同步到分布式数据库Hbase。
其中，Hive＝数据仓库工具，外文名Hive
Hive是建立在Hadoop上的数据仓库基础构架。它提供了一系列的工具，可以用来进行数据提取转化加载(ETL)，这是一种可以存储、查询和分析存储在Hadoop中的大规模数据的机制。Hive定义了简单的类SQL查询语言，称为HQL，它允许熟悉SQL的用户查询数据。同时，这个语言也允许熟悉MapReduce开发者的开发自定义的mapper和reducer来处理内建的mapper和reducer无法完成的复杂的分析工作。
Hive没有专门的数据格式。Hive可以很好的工作在Thrift之上，控制分隔符，也允许用户指定数据格式。
可选的，所述通过实时计算引擎将所述变更数据同步到分布式数据库Hbase包括：
所述变更数据分成小的时间片段；
按照批量处理的方式将所述变更数据同步到分布式数据库Hbase。
实时计算引擎Spark Streaming：构建在Spark上处理Stream数据的框架，将Stream数据分成小的时间片段(几秒)，以类似batch批量处理的方式来处理这小部分数据。Spark Streaming构建在Spark上，一方面是因为Spark的低延迟执行引擎(100ms+)，另一方面相比基于Record的其它处理框架(如Storm)，一部分窄依赖的RDD数据集可以从源数据重新计算达到容错处理目的。此外小批量处理的方式使得它可以同时兼容批量和实时数据处理的逻辑和算法。
通过采用本发明的技术方案，使得MySQL里的数据变更能在秒级同步到Hive以及HBase，为Hive和HBase产生实时的报表提供了底层支撑；并且不再使用JDBC接口，因此数据同步流程不会影响使用JDBC接口的正常业务流程。
实施例2
如图2所示，根据本公开的具体实施方式，第二方面，本公开提供一种实现关系型数据库与大数据平台实时同步数据的装置，包括：
第一同步单元202：将所述关系型数据库里的变更数据通过binlog机制同步到日志订阅工具；
可选的，所述将所述关系型数据库里的变更数据通过binlog机制同步到日志订阅工具，包括：
在关系型数据库的配置文件中，增加binlog参数；
按照时间段或位置截取所述关系型数据库中数据；
将所述截取的数据同步到日志订阅工具。
binlog是一个二进制格式的文件，用于记录用户对数据库更新的SQL语句信息，例如更改数据库表和更改内容的SQL语句都会记录到binlog里，但是对库表等内容的查询不会记录。
默认情况下，binlog日志是二进制格式的，不能使用查看文本工具的命令(比如，cat，vi等)查看，而使用mysqlbinlog解析查看。
当有数据写入到数据库时，还会同时把更新的SQL语句写入到对应的binlog文件里，这个文件就是上文说的binlog文件。使用mysqldump备份时，只是对一段时间的数据进行全备，但是如果备份后突然发现数据库服务器故障，这个时候就要用到binlog的日志了。在mysql的配置文件my.cnf中，增加log_bin参数即可开启binlog日志，也可以通过赋值来指定binlog日志的文件名。
第二同步单元204：通过分布式计算引擎将同步到所述日志订阅工具里的所述变更数据实时同步到Kafka消息中间件；
可选的，所述通过分布式计算引擎将同步到所述日志订阅工具里的所述变更数据实时同步到Kafka消息中间件，包括：
通过分布式计算引擎调用所述日志订阅工具里的所述变更数据的API接口，将所述变更数据实时同步到Kafka消息中间件。
分布式计算引擎MapReduce将作业的整个运行过程分为两个阶段，Map(映射)阶段和Reduce(归约)阶段。
Map阶段由一定数量的Map Task组成，包括：
输入数据格式解析：InputFormat；
输入数据处理：Mapper；
数据分组：Partitioner。
Reduce阶段由一定数量的Reduce Task组成，包括：
数据远程拷贝；
数据按照key排序；
数据处理：Reducer；
数据输出格式：OutputFormat。
第三同步单元206：经过所述消息中间件，通过分布式计算引擎将所述变更数据同步到大数据生态系统数据仓库Hive；通过实时计算引擎将所述变更数据同步到分布式数据库Hbase。
可选的，所述通过实时计算引擎将所述变更数据同步到分布式数据库Hbase包括：
所述变更数据分成小的时间片段；
按照批量处理的方式将所述变更数据同步到分布式数据库Hbase。
实时计算引擎Spark Streaming：构建在Spark上处理Stream数据的框架，将Stream数据分成小的时间片段(几秒)，以类似batch批量处理的方式来处理这小部分数据。Spark Streaming构建在Spark上，一方面是因为Spark的低延迟执行引擎(100ms+)，另一方面相比基于Record的其它处理框架(如Storm)，一部分窄依赖的RDD数据集可以从源数据重新计算达到容错处理目的。此外小批量处理的方式使得它可以同时兼容批量和实时数据处理的逻辑和算法。
通过采用本发明的技术方案，使得MySQL里的数据变更能在秒级同步到Hive以及HBase，为Hive和HBase产生实时的报表提供了底层支撑；并且不再使用JDBC接口，因此数据同步流程不会影响使用JDBC接口的正常业务流程。
实施例3
如图3所示，本实施例提供一种电子设备，所述电子设备，包括：至少一个处理器；以及，与所述至少一个处理器通信连接的存储器；其中，
所述存储器存储有可被所述一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行如上实施例所述的方法步骤。
实施例4
下面参考图3，其示出了适于用来实现本公开实施例的电子设备300的结构示意图。本公开实施例中的终端设备可以包括但不限于诸如移动电话、笔记本电脑、数字广播接收器、PDA(个人数字助理)、PAD(平板电脑)、PMP(便携式多媒体播放器)、车载终端(例如车载导航终端)等等的移动终端以及诸如数字TV、台式计算机等等的固定终端。图3示出的电子设备仅仅是一个示例，不应对本公开实施例的功能和使用范围带来任何限制。
如图3所示，电子设备300可以包括处理装置(例如中央处理器、图形处理器等)301，其可以根据存储在只读存储器(ROM)302中的程序或者从存储装置303加载到随机访问存储器(RAM)303中的程序而执行各种适当的动作和处理。在RAM 303中，还存储有电子设备300操作所需的各种程序和数据。处理装置301、ROM 302以及RAM 303通过总线303彼此相连。输入/输出(I/O)接口303也连接至总线303。
通常，以下装置可以连接至I/O接口303：包括例如触摸屏、触摸板、键盘、鼠标、摄像头、麦克风、加速度计、陀螺仪等的输入装置306；包括例如液晶显示器(LCD)、扬声器、振动器等的输出装置303；包括例如磁带、硬盘等的存储装置303；以及通信装置303。通信装置303可以允许电子设备300与其他设备进行无线或有线通信以交换数据。虽然图3示出了具有各种装置的电子设备300，但是应理解的是，并不要求实施或具备所有示出的装置。可以替代地实施或具备更多或更少的装置。
特别地，根据本公开的实施例，上文参考流程图描述的过程可以被实现为计算机软件程序。例如，本公开的实施例包括一种计算机程序产品，其包括承载在计算机可读介质上的计算机程序，该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中，该计算机程序可以通过通信装置303从网络上被下载和安装，或者从存储装置303被安装，或者从ROM 302被安装。在该计算机程序被处理装置301执行时，执行本公开实施例的方法中限定的上述功能。
实施例5
本公开实施例提供了一种非易失性计算机存储介质，所述计算机存储介质存储有计算机可执行指令，该计算机可执行指令可执行如上实施例所述的方法步骤。
需要说明的是，本公开上述的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本公开中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。而在本公开中，计算机可读信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读信号介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于：电线、光缆、RF(射频)等等，或者上述的任意合适的组合。
上述计算机可读介质可以是上述电子设备中所包含的；也可以是单独存在，而未装配入该电子设备中。
可以以一种或多种程序设计语言或其组合来编写用于执行本公开的操作的计算机程序代码，上述程序设计语言包括面向对象的程序设计语言—诸如Java、Smalltalk、C++，还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络——包括局域网(LAN)或广域网(WAN)—连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。
附图中的流程图和框图，图示了按照本公开各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，该模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
描述于本公开实施例中所涉及到的单元可以通过软件的方式实现，也可以通过硬件的方式来实现。其中，单元的名称在某种情况下并不构成对该单元本身的限定。
Claims (10)
1.一种实现关系型数据库与大数据平台实时同步数据的方法，其特征在于，包括：
将所述关系型数据库里的变更数据通过binlog机制同步到日志订阅工具；
通过分布式计算引擎将同步到所述日志订阅工具里的所述变更数据实时同步到Kafka消息中间件；
经过所述Kafka消息中间件，将变更数据同步到相应数据库。
2.如权利要求1所述的方法，其特征在于，将变更数据同步到相应数据库具体包括：
通过分布式计算引擎将所述变更数据同步到大数据生态系统数据仓库Hive；通过实时计算引擎将所述变更数据同步到分布式数据库Hbase。
3.如权利要求2所述的方法，其特征在于，所述将所述关系型数据库里的变更数据通过binlog机制同步到日志订阅工具，包括：
在关系型数据库的配置文件中，增加binlog参数；
按照时间段或位置截取所述关系型数据库中数据；
将所述截取的数据同步到日志订阅工具。
4.如权利要求2所述的方法，其特征在于，其中
所述通过分布式计算引擎将同步到所述日志订阅工具里的所述变更数据实时同步到Kafka消息中间件，包括：
通过分布式计算引擎调用所述日志订阅工具里的所述变更数据的API接口，将所述变更数据实时同步到Kafka消息中间件；以及
所述通过实时计算引擎将所述变更数据同步到分布式数据库Hbase包括：
所述变更数据分成小的时间片段；
按照批量处理的方式将所述变更数据同步到分布式数据库Hbase。
5.一种实现关系型数据库与大数据平台实时同步数据的装置，其特征在于，包括：
第一同步单元，用于将所述关系型数据库里的变更数据通过binlog机制同步到日志订阅工具；
第二同步单元，用于通过分布式计算引擎将同步到所述日志订阅工具里的所述变更数据实时同步到Kafka消息中间件；
第三同步单元，用于经过所述Kafka消息中间件，将变更数据同步到相应数据库。
6.如权利要求5所述的装置，其特征在于，所述第三同步单元还包括通过分布式计算引擎将所述变更数据同步到大数据生态系统数据仓库Hive；通过实时计算引擎将所述变更数据同步到分布式数据库Hbase。
7.如权利要求6所述的装置，其特征在于，所述第一同步单元还用于：
在关系型数据库的配置文件中，增加binlog参数；
按照时间段或位置截取所述关系型数据库中数据；
将所述截取的数据同步到日志订阅工具。
8.如权利要求7所述的装置，所述第二同步单元还用于：
通过分布式计算引擎调用所述日志订阅工具里的所述变更数据的API接口，将所述变更数据实时同步到Kafka消息中间件。
9.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述程序被处理器执行时实现如权利要求1至4中任一项所述的方法。
10.一种电子设备，其特征在于，包括：
一个或多个处理器；
存储装置，用于存储一个或多个程序，当所述一个或多个程序被所述一个或多个处理器执行时，使得所述一个或多个处理器实现如权利要求1至4中任一项所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910356218.3A CN110083660A (zh) | 2019-04-29 | 2019-04-29 | 一种同步数据的方法、装置、介质和电子设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910356218.3A CN110083660A (zh) | 2019-04-29 | 2019-04-29 | 一种同步数据的方法、装置、介质和电子设备 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN110083660A true CN110083660A (zh) | 2019-08-02 |
Family
ID=67417754
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910356218.3A Pending CN110083660A (zh) | 2019-04-29 | 2019-04-29 | 一种同步数据的方法、装置、介质和电子设备 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110083660A (zh) |
Cited By (15)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110471925A (zh) * | 2019-08-15 | 2019-11-19 | 浙江执御信息技术有限公司 | 实现搜索系统中索引数据同步的方法及系统 |
| CN110597914A (zh) * | 2019-09-18 | 2019-12-20 | 北京思维造物信息科技股份有限公司 | 数据传输系统、方法、装置及设备 |
| CN110704401A (zh) * | 2019-10-10 | 2020-01-17 | 北京字节跳动网络技术有限公司 | 数据处理方法、装置、电子设备及存储介质 |
| CN110727694A (zh) * | 2019-10-10 | 2020-01-24 | 北京字节跳动网络技术有限公司 | 数据处理方法、装置、电子设备及存储介质 |
| CN111046100A (zh) * | 2019-11-25 | 2020-04-21 | 武汉达梦数据库有限公司 | 一种关系型数据库到非关系型数据库的同步方法和系统 |
| CN111107137A (zh) * | 2019-12-06 | 2020-05-05 | 携程旅游信息技术（上海）有限公司 | 通信数据同步及处理方法和系统 |
| CN111177254A (zh) * | 2019-12-05 | 2020-05-19 | 武汉达梦数据库有限公司 | 一种异构关系型数据库之间数据同步的方法和装置 |
| CN111291127A (zh) * | 2020-03-11 | 2020-06-16 | 北京奇艺世纪科技有限公司 | 一种数据同步方法、装置、服务器及存储介质 |
| CN111371900A (zh) * | 2020-03-13 | 2020-07-03 | 北京奇艺世纪科技有限公司 | 一种监测同步链路健康状态的方法及系统 |
| CN111666344A (zh) * | 2020-06-19 | 2020-09-15 | 中信银行股份有限公司 | 异构数据同步方法及装置 |
| CN112416944A (zh) * | 2020-12-03 | 2021-02-26 | 云知声智能科技股份有限公司 | 一种同步业务数据的方法和设备 |
| CN112783910A (zh) * | 2021-01-29 | 2021-05-11 | 浪潮通用软件有限公司 | 一种基于消息中间件的数据分发方法及系统 |
| CN113742420A (zh) * | 2021-08-09 | 2021-12-03 | 广州市易工品科技有限公司 | 数据同步方法和装置 |
| CN114077518A (zh) * | 2020-08-21 | 2022-02-22 | 湖南福米信息科技有限责任公司 | 数据快照方法、装置、设备及存储介质 |
| CN116737834A (zh) * | 2023-06-26 | 2023-09-12 | 舟谱数据技术南京有限公司 | 经销商多租户分库分表场景数据实时同步系统 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106603690A (zh) * | 2016-12-27 | 2017-04-26 | 东华互联宜家数据服务有限公司 | 数据分析装置、数据分析处理系统和数据分析方法 |
| CN107391719A (zh) * | 2017-07-31 | 2017-11-24 | 南京邮电大学 | 一种云环境中分布式流数据处理方法及系统 |
| CN107784098A (zh) * | 2017-10-24 | 2018-03-09 | 百味云科技股份有限公司 | 实时数据仓库平台 |
| CN109284334A (zh) * | 2018-09-05 | 2019-01-29 | 拉扎斯网络科技（上海）有限公司 | 实时数据库同步方法、装置、电子设备及存储介质 |
-
2019
- 2019-04-29 CN CN201910356218.3A patent/CN110083660A/zh active Pending
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106603690A (zh) * | 2016-12-27 | 2017-04-26 | 东华互联宜家数据服务有限公司 | 数据分析装置、数据分析处理系统和数据分析方法 |
| CN107391719A (zh) * | 2017-07-31 | 2017-11-24 | 南京邮电大学 | 一种云环境中分布式流数据处理方法及系统 |
| CN107784098A (zh) * | 2017-10-24 | 2018-03-09 | 百味云科技股份有限公司 | 实时数据仓库平台 |
| CN109284334A (zh) * | 2018-09-05 | 2019-01-29 | 拉扎斯网络科技（上海）有限公司 | 实时数据库同步方法、装置、电子设备及存储介质 |
Cited By (22)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110471925A (zh) * | 2019-08-15 | 2019-11-19 | 浙江执御信息技术有限公司 | 实现搜索系统中索引数据同步的方法及系统 |
| CN110597914A (zh) * | 2019-09-18 | 2019-12-20 | 北京思维造物信息科技股份有限公司 | 数据传输系统、方法、装置及设备 |
| CN110704401A (zh) * | 2019-10-10 | 2020-01-17 | 北京字节跳动网络技术有限公司 | 数据处理方法、装置、电子设备及存储介质 |
| CN110727694A (zh) * | 2019-10-10 | 2020-01-24 | 北京字节跳动网络技术有限公司 | 数据处理方法、装置、电子设备及存储介质 |
| CN110727694B (zh) * | 2019-10-10 | 2024-01-09 | 北京字节跳动网络技术有限公司 | 数据处理方法、装置、电子设备及存储介质 |
| CN111046100B (zh) * | 2019-11-25 | 2024-03-08 | 武汉达梦数据库股份有限公司 | 一种关系型数据库到非关系型数据库的同步方法和系统 |
| CN111046100A (zh) * | 2019-11-25 | 2020-04-21 | 武汉达梦数据库有限公司 | 一种关系型数据库到非关系型数据库的同步方法和系统 |
| CN111177254A (zh) * | 2019-12-05 | 2020-05-19 | 武汉达梦数据库有限公司 | 一种异构关系型数据库之间数据同步的方法和装置 |
| CN111177254B (zh) * | 2019-12-05 | 2021-08-17 | 武汉达梦数据库股份有限公司 | 一种异构关系型数据库之间数据同步的方法和装置 |
| CN111107137A (zh) * | 2019-12-06 | 2020-05-05 | 携程旅游信息技术（上海）有限公司 | 通信数据同步及处理方法和系统 |
| CN111291127A (zh) * | 2020-03-11 | 2020-06-16 | 北京奇艺世纪科技有限公司 | 一种数据同步方法、装置、服务器及存储介质 |
| CN111291127B (zh) * | 2020-03-11 | 2023-10-27 | 北京奇艺世纪科技有限公司 | 一种数据同步方法、装置、服务器及存储介质 |
| CN111371900A (zh) * | 2020-03-13 | 2020-07-03 | 北京奇艺世纪科技有限公司 | 一种监测同步链路健康状态的方法及系统 |
| CN111666344B (zh) * | 2020-06-19 | 2023-05-16 | 中信银行股份有限公司 | 异构数据同步方法及装置 |
| CN111666344A (zh) * | 2020-06-19 | 2020-09-15 | 中信银行股份有限公司 | 异构数据同步方法及装置 |
| CN114077518A (zh) * | 2020-08-21 | 2022-02-22 | 湖南福米信息科技有限责任公司 | 数据快照方法、装置、设备及存储介质 |
| CN112416944A (zh) * | 2020-12-03 | 2021-02-26 | 云知声智能科技股份有限公司 | 一种同步业务数据的方法和设备 |
| CN112783910A (zh) * | 2021-01-29 | 2021-05-11 | 浪潮通用软件有限公司 | 一种基于消息中间件的数据分发方法及系统 |
| CN113742420A (zh) * | 2021-08-09 | 2021-12-03 | 广州市易工品科技有限公司 | 数据同步方法和装置 |
| CN113742420B (zh) * | 2021-08-09 | 2024-02-02 | 广州市易工品科技有限公司 | 数据同步方法和装置 |
| CN116737834A (zh) * | 2023-06-26 | 2023-09-12 | 舟谱数据技术南京有限公司 | 经销商多租户分库分表场景数据实时同步系统 |
| CN116737834B (zh) * | 2023-06-26 | 2024-04-19 | 舟谱数据技术南京有限公司 | 经销商多租户分库分表场景数据实时同步系统 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110083660A (zh) | 一种同步数据的方法、装置、介质和电子设备 | |
| CN109086409B (zh) | 微服务数据处理方法、装置、电子设备及计算机可读介质 | |
| US20140095505A1 (en) | Performance and scalability in an intelligent data operating layer system | |
| CN103477319A (zh) | 移动设备上的文件搜索 | |
| CN110334109A (zh) | 关系式数据库数据查询方法、系统、介质和电子设备 | |
| CN113190625A (zh) | 请求处理方法、装置、电子设备、介质和程序产品 | |
| CN110390493A (zh) | 任务管理方法、装置、存储介质及电子设备 | |
| CN113282611A (zh) | 一种流数据同步的方法、装置、计算机设备及存储介质 | |
| CN110019539A (zh) | 一种数据仓库的数据同步的方法和装置 | |
| CN110471709A (zh) | 一种加速网页打开速度的方法、装置、介质和电子设备 | |
| CN110109983A (zh) | 一种操作Redis数据库的方法和装置 | |
| CN110489158A (zh) | 对代码托管平台进行优化的方法、装置、介质和电子设备 | |
| CN109697034A (zh) | 一种数据写入方法、装置、电子设备及存储介质 | |
| CN116433388B (zh) | 数据存储资源划分方法、装置、电子设备和计算机介质 | |
| CN117609226A (zh) | 一种信息流数据存储方法、装置、电子设备和可读介质 | |
| CN110020360A (zh) | 用户行为特征提取的方法，系统及服务器 | |
| CN111984686A (zh) | 一种数据处理的方法和装置 | |
| CN114756301B (zh) | 日志处理方法、装置和系统 | |
| CN113886353B (zh) | 分层存储管理软件的数据配置推荐方法、装置及存储介质 | |
| CN114201508A (zh) | 数据处理方法、数据处理装置、电子设备和存储介质 | |
| CN111787043A (zh) | 数据请求方法和装置 | |
| CN116820354B (zh) | 数据存储方法、数据存储装置和数据存储系统 | |
| CN112214500A (zh) | 数据对比的方法、装置、电子设备和存储介质 | |
| CN110472055A (zh) | 用于标注数据的方法和装置 | |
| CN110188119A (zh) | 用于获取数据的方法和装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20190802 |