CN106557592A - 数据同步方法、装置及服务器集群 - Google Patents
数据同步方法、装置及服务器集群 Download PDFInfo
- Publication number
- CN106557592A CN106557592A CN201611096659.7A CN201611096659A CN106557592A CN 106557592 A CN106557592 A CN 106557592A CN 201611096659 A CN201611096659 A CN 201611096659A CN 106557592 A CN106557592 A CN 106557592A
- Authority
- CN
- China
- Prior art keywords
- data
- database
- target database
- information
- source
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/27—Replication, distribution or synchronisation of data between databases or within a distributed database system; Distributed database system architectures therefor
- G06F16/275—Synchronous replication
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/27—Replication, distribution or synchronisation of data between databases or within a distributed database system; Distributed database system architectures therefor
Landscapes
- Engineering & Computer Science (AREA)
- Databases & Information Systems (AREA)
- Theoretical Computer Science (AREA)
- Computing Systems (AREA)
- Data Mining & Analysis (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明实施例提供了一种数据同步方法、装置及服务器集群。一方面，本发明实施例提供的数据同步方法通过：按照与源数据库对应的监听方式监听每个源数据库，以获取源数据库的数据变化信息；根据要同步所述数据变化信息的目标数据库，对所述数据变化信息进行处理，以获得与所述目标数据库对应的同步信息；响应于同步指令，将所述同步信息发送给所述目标数据库，实现了多个不同类型的源数据库到不同类型的目标数据库的数据同步，不需要为每个需要同步的源数据库设置一个用于同步的同类型的目标数据库，降低了存储成本，提高了存储效率，解决了包括大量不同类型数据库的分布式数据系统中，存在的存储成本高、存储效率低的问题。
Description
【技术领域】
本方案涉及通信领域，尤其涉及一种无线搜索方法、装置及服务器集群。
【背景技术】
在信息化时代，各行各业都使用数据库来管理行业信息。铁路信息系统作为铁路行业的运营和管理的基础系统，也使用数据库来存储和管理相关信息。
铁路信息系统是一个庞大、复杂的系统，包括运营系统、营销系统、交易系统等多个系统。铁路信息系统依托于铁路总公司、路局、车站三层业务架构，是一种与地理位置相关的分布式系统。
目前，铁路信息系统的数据库普遍以商业数据库Oracle和Sybase为主。随着国家对于各行业信息系统国产化，自主可控要求的不断提高，铁路信息系统需要引入国产数据库及开源数据库，这样必然导致新老数据库类型不同的现象。同时，为提高铁路信息系统运行效率，铁路信息系统还需要采用新型的非关系型数据库。这些因素导致铁路信息系统中出现了多种类型数据库并存的复杂局面。
基于数据安全的考虑，每个数据库中的数据都需要进行同步。然而，对于不同数据库类型，同步技术也存在差异。如果要为每个需要同步的源数据库设置一个用于同步的同类型的目标数据库，一方面将导致数据库数量非常庞大，增加存储成本，另一方面由于不同类型的源数据库的数据不能同步到同一个目标数据库中，导致存储效率低下。
在实现本方案过程中，发明人发现现有技术中至少存在如下问题：
在包括大量不同类型数据库的分布式数据系统中，存在着存储成本高、存储效率低的问题。
【发明内容】
有鉴于此，本方案实施例提供了一种数据同步方法、装置及服务器集群，用以解决现有技术中包括大量异构数据库的分布式数据系统中，存在的存储成本高、存储效率低的问题。
第一方面，本方案实施例提供一种数据同步方法，应用于包括源数据库和目标数据库的分布式数据系统，所述源数据库和所述目标数据库至少一方包括多个不同类型的数据库，所述方法包括：
按照与源数据库对应的监听方式监听每个源数据库，以获取源数据库的数据变化信息；
根据要同步所述数据变化信息的目标数据库，对所述数据变化信息进行处理，以获得与所述目标数据库对应的同步信息；
响应于同步指令，将所述同步信息发送给所述目标数据库。
如上所述的方面和任一可能的实现方式，进一步提供一种实现方式，在获得与所述目标数据库对应的同步信息之后，所述方法还包括：
将所述同步信息存储到指定位置；
响应于同步指令，将所述同步信息传输到所述目标数据库，包括：
响应于同步指令，从所述指定位置读取所述同步信息；
将读取的同步信息发送给所述目标数据库。
如上所述的方面和任一可能的实现方式，进一步提供一种实现方式，根据要同步所述数据变化信息的目标数据库，对所述数据变化信息进行处理，以获得与所述目标数据库对应的同步信息，包括：
对所述数据变化信息进行数据过滤；
和/或，对所述数据变化信息进行格式化处理，以符合所述目标数据库的数据格式。
如上所述的方面和任一可能的实现方式，进一步提供一种实现方式，在按照与源数据库对应的监听方式监听每个源数据库，以获取源数据库的数据变化信息之后，所述方法还包括：
通过分布式消息队列将所述数据变化信息传输到指定处理位置；
根据要同步所述数据变化信息的目标数据库，对所述数据变化信息进行处理，以获得与所述目标数据库对应的同步信息，包括：
根据要同步所述数据变化信息的目标数据库，在所述指定处理位置对所述数据变化信息进行处理，以获得与所述目标数据库对应的同步信息。
如上所述的方面和任一可能的实现方式，进一步提供一种实现方式，在按照与源数据库对应的监听方式监听每个源数据库之前，所述方法还包括：
根据数据库类型，为每个源数据库设置对应的监听方式。
第二方面，本方案实施例提供一种数据同步装置，应用于包括源数据库和目标数据库的分布式数据系统，所述源数据库和所述目标数据库至少一方包括多个不同类型的数据库，所述装置包括：
监听模块，用于按照与源数据库对应的监听方式监听每个源数据库，以获取源数据库的数据变化信息；
处理模块，用于根据要同步所述数据变化信息的目标数据库，对所述数据变化信息进行处理，以获得与所述目标数据库对应的同步信息；
发送模块，用于响应于同步指令，将所述同步信息发送给所述目标数据库。
如上所述的方面和任一可能的实现方式，进一步提供一种实现方式，所述装置还包括：
存储模块，用于将所述处理模块获得的所述同步信息存储到指定位置；
所述发送模块在用于响应于同步指令，将所述同步信息传输到所述目标数据库时，具体用于：
响应于同步指令，从所述指定位置读取所述同步信息；
将读取的同步信息发送给所述目标数据库。
如上所述的方面和任一可能的实现方式，进一步提供一种实现方式，所述处理模块在用于根据要同步所述数据变化信息的目标数据库，对所述数据变化信息进行处理，以获得与所述目标数据库对应的同步信息时，具体用于：
对所述数据变化信息进行数据过滤；
和/或，对所述数据变化信息进行格式化处理，以符合所述目标数据库的数据格式。
如上所述的方面和任一可能的实现方式，进一步提供一种实现方式，所述装置还包括：
传输模块，用于通过分布式消息队列将所述数据变化信息传输到指定处理位置；
所述处理模块在用于根据要同步所述数据变化信息的目标数据库，对所述数据变化信息进行处理，以获得与所述目标数据库对应的同步信息时，具体用于：
根据要同步所述数据变化信息的目标数据库，在所述指定处理位置对所述数据变化信息进行处理，以获得与所述目标数据库对应的同步信息。
如上所述的方面和任一可能的实现方式，进一步提供一种实现方式，所述装置还包括：
设置模块，用于根据数据库类型，为每个源数据库设置对应的监听方式。
第三方面，本方案实施例提供一种服务器集群，设置于包括源数据库和目标数据库的分布式数据系统，所述源数据库和所述目标数据库至少一方包括多个不同类型的数据库，所述服务器集群包括第二方面所述的数据同步装置。
本发明实施例具有以下有益效果：
本发明实施例通过以不同的对应监听方式监听每个源数据库，并根据要同步数据变化信息的目标数据库，对数据变化信息进行处理，以获得与目标数据库对应的同步信息，实现了多个不同类型的源数据库到不同类型的目标数据库的数据同步，不需要为每个需要同步的源数据库设置一个用于同步的同类型的目标数据库，降低了存储成本，提高了存储效率，解决了包括大量不同类型数据库的分布式数据系统中，存在的存储成本高、存储效率低的问题。
【附图说明】
为了更清楚地说明本方案实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本方案的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其它的附图。
图1为本发明实施例一中数据同步方法的流程示意图；
图2为应用本发明实施例的数据同步方法的DXTX集群的架构示例图；
图3为本发明实施例二中数据同步装置的功能方块图；
图4为本发明实施例三中服务器集群的功能方块图。
【具体实施方式】
为了更好的理解本方案的技术方案，下面结合附图对本方案实施例进行详细描述。
应当明确，所描述的实施例仅仅是本方案一部分实施例，而不是全部的实施例。基于本方案中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其它实施例，都属于本方案保护的范围。
在本方案实施例中使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本方案。在本方案实施例和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义。
应当理解，本文中使用的术语“和/或”仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。另外，本文中字符“/”，一般表示前后关联对象是一种“或”的关系。
取决于语境，如在此所使用的词语“如果”可以被解释成为“在……时”或“当……时”或“响应于确定”或“响应于检测”。类似地，取决于语境，短语“如果确定”或“如果检测(陈述的条件或事件)”可以被解释成为“当确定时”或“响应于确定”或“当检测(陈述的条件或事件)时”或“响应于检测(陈述的条件或事件)”。
实施例一
本发明实施例提供了一种数据同步方法，该数据同步方法可以应用于包括至少一方包括多个不同类型的数据库的源数据库和目标数据库的分布式数据系统。铁路信息系统可以采用本发明实施例的数据同步方法，实现系统中异构数据库之间的数据同步。
图1为本发明实施例一中数据同步方法的流程示意图。如图1所示，本实施例中，数据同步方法可以包括如下步骤：
S101，按照与源数据库对应的监听方式监听每个源数据库，以获取源数据库的数据变化信息；
S102，根据要同步数据变化信息的目标数据库，对数据变化信息进行处理，以获得与目标数据库对应的同步信息；
S103，响应于同步指令，将同步信息发送给目标数据库。
其中，由于源数据库的类型不同，因此不同类型的源数据库对应的监听方式也是不同的。例如，Sybase数据库的监听方式可以是redo日志监听、复制从点代理或触发器，Oracle数据库的监听方式可以是日志监听，Mysql数据库的监听方式可以是日志监听或触发器。
监听的目的是获得源数据库的数据变化信息，以将源数据库的数据变化内容同步到目标数据库，从而使得目标数据库存储的数据内容与源数据库的数据内容一致。
其中，数据变化信息可以是删除数据、增加数据、修改数据等。
在一个具体的实现过程中，在获得与目标数据库对应的同步信息之后，数据同步方法还可以包括：将同步信息存储到指定位置。此时，响应于同步指令，将同步信息传输到目标数据库，可以包括：响应于同步指令，从指定位置读取同步信息，将读取的同步信息发送给目标数据库。
其中，指定位置可以是本地缓存或者专用存储空间，也可以是外部存储设备中的存储空间。当数据同步被中断时，可以将同步数据备份到本地，并记录中断点，当中断恢复后，将中断后的数据继续同步到目标数据库。
在一个具体的实现过程中，根据要同步数据变化信息的目标数据库，对数据变化信息进行处理，以获得与目标数据库对应的同步信息，可以包括：对数据变化信息进行数据过滤；和/或，对数据变化信息进行格式化处理，以符合目标数据库的数据格式。
通过对数据变化信息进行数据过滤，可以将数据变化信息的数据复制颗粒度精确到指定级别，例如，精确到库级、表级或列级。举例说明。通过过滤，可以指定不传输某些表的数据信息，也可以指定只传输某些表的数据信息。
其中，格式化处理可以包括数据结构转换、字符集转化等，如果是列级复制，格式化处理还包括列名对应。
举例说明。例如，Sybase日志捕获到的数据变动中时间格式为2016112809:24:58，到mysql的话需要转换成2016-11-28 09:24:58格式。
例如，oracle日志捕获数据变动为insert into abc(rang)values(a)。rang列名在mysql中为关键字，不能直接使用，传输给mysql的时候需要做处理：需要转成insertinto abc(`rang`)values(a)。
例如，语法格式中，在sybase中库名表名格式为select database_name..table_nmae，到mysql需要转换成database_name.table_name。
例如，在源数据库和目标数据库的时间戳精度不一样的情况下，还需要截取时间戳。比如mysql是到微秒，而sybase只能到毫秒。
在一个具体的实现过程中，在按照与源数据库对应的监听方式监听每个源数据库，以获取源数据库的数据变化信息之后，数据同步方法还可以包括：通过分布式消息队列将数据变化信息传输到指定处理位置。此时，根据要同步数据变化信息的目标数据库，对数据变化信息进行处理，以获得与目标数据库对应的同步信息，可以包括：根据要同步数据变化信息的目标数据库，在指定处理位置对所述数据变化信息进行处理，以获得与目标数据库对应的同步信息。
在一个具体的实现过程中，在按照与源数据库对应的监听方式监听每个源数据库之前，数据同步方法还可以包括：根据数据库类型，为每个源数据库设置对应的监听方式。
下面通过示例，对本发明实施例的数据同步方法作进一步详细说明。
本示例中，假设有两个源数据库Sybase和Oracle，以及一个目标数据库Mysql，两个源数据库Sybase和Oracle的数据需要同步到同一个目标数据库Mysql中，则数据同步过程如下：
a1，按照监听方式一(例如，监听方式一可以是redo日志监听)监听源数据库Sybase，按照监听方式二(例如，监听方式二可以是CDC增量数据库获取)监听源数据库Oracle，以获取源数据库的数据变化信息；
a2，根据目标数据库Mysql，对数据变化信息进行处理，以获得与目标数据库Mysql对应的同步信息；
例如，如果是源数据库Sybase的数据变化信息，则进行的处理可以包括：
(1)时间格式转换，例如20161128 09:59:48转换成2016-11-2809:59:48；
(2)表名的库名前缀格式：例如库名..表名，改成:库名.表名；
(3)对于表中列名有mysql关键字的，需要在列名上加左撇号；
(4)sybase默认采用latin1字符集，需要转换成mysql字符集UTF-8；
(5)如果采用列级复制，需要转换成目标数据库列名。
如果是源数据库Oracle的数据变化信息，则进行的处理可以包括：
(1)列名有mysql关键字的，需要在列名上加左撇号；
(2)oracle字符集如果与mysql不一致，转换字符集；
(3)如果采用列级复制，需要转换成目标数据库列名。
a3，响应于同步指令，将经过步骤a2处理后获得的同步信息发送给目标数据库Mysql。
下面以铁路信息系统的同步服务器集群为例，对本发明实施例的数据同步方法作进一步详细说明。
这里，将铁路信息系统中用以执行数据同步方法的服务器集群称为DXTX(Distributed X To X，分布式多对多)集群。
图2为应用本发明实施例的数据同步方法的DXTX集群的架构示例图。请参见图2，源数据库包括A数据库集群、X数据库集群等多个不同类型的数据库，用于同步源数据库的数据信息的目标数据库包括异构关系型数据库、非关系型数据库和混合型数据库三种。
参见图2，对于每个源数据库，都设置一个数据侦听代理，用于监听对应源数据库的数据变化；当数据侦听代理监听到数据变化后，将数据变化语句通过分布式消息中间件发送给DXTX中的数据处理服务；数据处理服务对数据变化语句进行处理后，通过相应的数据同步代理发送给对应的目标数据库。其中，每一个目标数据库对应一个数据同步代理。
图2中，分布式消息中间件支持多队列多写模式，具有非常高的服务可用性和数据可用性。分布式消息中间件还支持多队列单写，单写可以一个主队列传输数据变动，其他队列作为从点备份，当主队列节点发生故障，通过切换到其他队列继续传输数据变动，这样可以保证数据的安全性和传输效率。单写还可以将一份数据变动通过多个队列同时负载均衡的传输，支持同一张表的数据变动保持在同一个队列传输，这样能够大大提高对数据变化实时顺序不敏感的数据库复制效率，如大数据统计库，历史数据库等等。
图2中，数据处理服务需要进行数据处理，如数据过滤，将数据复制颗粒度精确到表级。数据处理服务还可以包括根据预先设置的源/目标数据同步规则(即数据转换规则)，进行数据转换，比如，将源数据库的数据变动语句转换为目标数据库语句的语法规则，包括字符集转换。操作员可以在WEB控制台里指定源数据库和目标数据库连接，比如指定某台sybase到某台mysql，定义连接的时候需要指定同步规则，包括源端，目标端字符集，源端目标端时间格式，甚至包括列的对应，比如sybase中a表col1列，对应mysql中a表的c1列。
图2中，数据处理服务可以暂时将同步数据缓存及备份到本地，或者当数据同步被中断时，DXTX也会将同步数据备份到本地，并记录中断点，当中断恢复后，将中断后数据继续同步到目标数据库。
图2中，DXTX数据同步服务启动时，需要根据同步规则，在同步引擎容器中创建同步引擎，即某源端数据库至某目标数据库同步引擎，同步引擎负责将数据变化语句写入相应数据缓存区，然后将数据变化语句发送到数据同步代理。
图2中，资源管理器负责建立和管理目标数据同步代理，将同步数据发送到指定数据同步代理，维护代理状态。
图2中，数据同步代理负责与目标数据库通信，执行同步语句，收集执行结果，监视目标数据库连接状态，在目标数据库重启后，发起中断恢复命令。
参见图2，DXTX集群还可以具有web控制台功能，通过web界面进行资源管理，配置，监控等。通过设置失败处理方式(例如重试，丢弃等)及重试次数来进行故障处理。
本发明实施例提供的数据同步方法，通过以不同的对应监听方式监听每个源数据库，并根据要同步数据变化信息的目标数据库，对数据变化信息进行处理，以获得与目标数据库对应的同步信息，实现了多个不同类型的源数据库到不同类型的目标数据库的数据同步，不需要为每个需要同步的源数据库设置一个用于同步的同类型的目标数据库，降低了存储成本，提高了存储效率，解决了包括大量不同类型数据库的分布式数据系统中，存在的存储成本高、存储效率低的问题。
为了实现前述数据同步方法实施例中的各步骤，本发明实施例还提供了数据同步装置实施例。
实施例二
本发明实施例提供了一种数据同步装置，该数据同步装置可以应用于包括源数据库和目标数据库的分布式数据系统，其中，源数据库和目标数据库至少一方包括多个不同类型的数据库。铁路信息系统可以采用本发明实施例的数据同步装置，实现系统中异构数据库之间的数据同步。
图3为本发明实施例二中数据同步装置的功能方块图。如图3所示，本实施例中，数据同步装置可以包括：
监听模块310，用于按照与源数据库对应的监听方式监听每个源数据库，以获取源数据库的数据变化信息；
处理模块320，用于根据要同步所述数据变化信息的目标数据库，对所述数据变化信息进行处理，以获得与所述目标数据库对应的同步信息；
发送模块330，用于响应于同步指令，将所述同步信息发送给所述目标数据库。
在一个具体的实现过程中，数据同步装置还可以包括：
存储模块，用于将所述处理模块获得的所述同步信息存储到指定位置；
发送模块330在用于响应于同步指令，将同步信息传输到所述目标数据库时，可以具体用于：响应于同步指令，从指定位置读取所述同步信息；将读取的同步信息发送给目标数据库。
在一个具体的实现过程中，处理模块320在用于根据要同步数据变化信息的目标数据库，对数据变化信息进行处理，以获得与目标数据库对应的同步信息时，可以具体用于：对数据变化信息进行数据过滤；和/或，对数据变化信息进行格式化处理，以符合目标数据库的数据格式。
在一个具体的实现过程中，数据同步装置还可以包括：传输模块，用于通过分布式消息队列将所述数据变化信息传输到指定处理位置。处理模块320在用于根据要同步数据变化信息的目标数据库，对数据变化信息进行处理，以获得与目标数据库对应的同步信息时，可以具体用于：根据要同步数据变化信息的目标数据库，在指定处理位置对所述数据变化信息进行处理，以获得与目标数据库对应的同步信息。
在一个具体的实现过程中，数据同步装置还可以包括：设置模块，用于根据数据库类型，为每个源数据库设置对应的监听方式。
由于本实施例中的数据同步装置能够执行前述实施例一中的数据同步方法，本实施例未详细描述的部分，可参考对前述实施例一中数据同步方法的相关说明。
本发明实施例提供的数据同步装置，通过以不同的对应监听方式监听每个源数据库，并根据要同步数据变化信息的目标数据库，对数据变化信息进行处理，以获得与目标数据库对应的同步信息，实现了多个不同类型的源数据库到不同类型的目标数据库的数据同步，不需要为每个需要同步的源数据库设置一个用于同步的同类型的目标数据库，降低了存储成本，提高了存储效率，解决了包括大量不同类型数据库的分布式数据系统中，存在的存储成本高、存储效率低的问题。
实施例三
本发明实施例提供了一种服务器集群，该服务器集群可以设置于包括源数据库和目标数据库的分布式数据系统中，其中，源数据库和目标数据库至少一方包括多个不同类型的数据库。
例如，图2中的DXTX集群。
图4为本发明实施例三中服务器集群的功能方块图。如图4所示，本实施例中，服务器集群包括数据同步装置。其中的数据同步装置可以是前述实施例二中的任意一种数据同步装置。
以上所述仅为本方案的较佳实施例而已，并不用以限制本方案，凡在本方案的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本方案保护的范围之内。
Claims (11)
1.一种数据同步方法，应用于包括源数据库和目标数据库的分布式数据系统，所述源数据库和所述目标数据库至少一方包括多个不同类型的数据库，其特征在于，所述方法包括：
按照与源数据库对应的监听方式监听每个源数据库，以获取源数据库的数据变化信息；
根据要同步所述数据变化信息的目标数据库，对所述数据变化信息进行处理，以获得与所述目标数据库对应的同步信息；
响应于同步指令，将所述同步信息发送给所述目标数据库。
2.根据权利要求1所述的方法，其特征在于，在获得与所述目标数据库对应的同步信息之后，所述方法还包括：
将所述同步信息存储到指定位置；
响应于同步指令，将所述同步信息传输到所述目标数据库，包括：
响应于同步指令，从所述指定位置读取所述同步信息；
将读取的同步信息发送给所述目标数据库。
3.根据权利要求1所述的方法，其特征在于，根据要同步所述数据变化信息的目标数据库，对所述数据变化信息进行处理，以获得与所述目标数据库对应的同步信息，包括：
对所述数据变化信息进行数据过滤；
和/或，对所述数据变化信息进行格式化处理，以符合所述目标数据库的数据格式。
4.根据权利要求1所述的方法，其特征在于，在按照与源数据库对应的监听方式监听每个源数据库，以获取源数据库的数据变化信息之后，所述方法还包括：
通过分布式消息队列将所述数据变化信息传输到指定处理位置；
根据要同步所述数据变化信息的目标数据库，对所述数据变化信息进行处理，以获得与所述目标数据库对应的同步信息，包括：
根据要同步所述数据变化信息的目标数据库，在所述指定处理位置对所述数据变化信息进行处理，以获得与所述目标数据库对应的同步信息。
5.根据权利要求1所述的方法，其特征在于，在按照与源数据库对应的监听方式监听每个源数据库之前，所述方法还包括：
根据数据库类型，为每个源数据库设置对应的监听方式。
6.一种数据同步装置，应用于包括源数据库和目标数据库的分布式数据系统，所述源数据库和所述目标数据库至少一方包括多个不同类型的数据库，其特征在于，所述装置包括：
监听模块，用于按照与源数据库对应的监听方式监听每个源数据库，以获取源数据库的数据变化信息；
处理模块，用于根据要同步所述数据变化信息的目标数据库，对所述数据变化信息进行处理，以获得与所述目标数据库对应的同步信息；
发送模块，用于响应于同步指令，将所述同步信息发送给所述目标数据库。
7.根据权利要求6所述的装置，其特征在于，所述装置还包括：
存储模块，用于将所述处理模块获得的所述同步信息存储到指定位置；
所述发送模块在用于响应于同步指令，将所述同步信息传输到所述目标数据库时，具体用于：
响应于同步指令，从所述指定位置读取所述同步信息；
将读取的同步信息发送给所述目标数据库。
8.根据权利要求6所述的装置，其特征在于，所述处理模块在用于根据要同步所述数据变化信息的目标数据库，对所述数据变化信息进行处理，以获得与所述目标数据库对应的同步信息时，具体用于：
对所述数据变化信息进行数据过滤；
和/或，对所述数据变化信息进行格式化处理，以符合所述目标数据库的数据格式。
9.根据权利要求6所述的装置，其特征在于，所述装置还包括：
传输模块，用于通过分布式消息队列将所述数据变化信息传输到指定处理位置；
所述处理模块在用于根据要同步所述数据变化信息的目标数据库，对所述数据变化信息进行处理，以获得与所述目标数据库对应的同步信息时，具体用于：
根据要同步所述数据变化信息的目标数据库，在所述指定处理位置对所述数据变化信息进行处理，以获得与所述目标数据库对应的同步信息。
10.根据权利要求6所述的装置，其特征在于，所述装置还包括：
设置模块，用于根据数据库类型，为每个源数据库设置对应的监听方式。
11.一种服务器集群，设置于包括源数据库和目标数据库的分布式数据系统中，所述源数据库和所述目标数据库至少一方包括多个不同类型的数据库，其特征在于，所述服务器集群包括权利要求6至10任一项所述的数据同步装置。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201611096659.7A CN106557592A (zh) | 2016-12-02 | 2016-12-02 | 数据同步方法、装置及服务器集群 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201611096659.7A CN106557592A (zh) | 2016-12-02 | 2016-12-02 | 数据同步方法、装置及服务器集群 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN106557592A true CN106557592A (zh) | 2017-04-05 |
Family
ID=58446051
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201611096659.7A Pending CN106557592A (zh) | 2016-12-02 | 2016-12-02 | 数据同步方法、装置及服务器集群 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN106557592A (zh) |
Cited By (20)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107203433A (zh) * | 2017-06-13 | 2017-09-26 | 微梦创科网络科技（中国）有限公司 | 一种共享内存的多个程序间数据同步方法和装置 |
| CN107423390A (zh) * | 2017-07-21 | 2017-12-01 | 上海德拓信息技术股份有限公司 | 一种基于oltp‑olap混合关系型数据库系统内部的数据实时同步算法 |
| CN107766425A (zh) * | 2017-09-13 | 2018-03-06 | 广西电网有限责任公司电力科学研究院 | 一种基于大数据的电力客户信息清洗装置 |
| CN107798417A (zh) * | 2017-09-25 | 2018-03-13 | 平安科技（深圳）有限公司 | 基于关联交易数据处理的优化方法、装置和计算机设备 |
| CN108009252A (zh) * | 2017-12-04 | 2018-05-08 | 传神语联网网络科技股份有限公司 | 数据同步的方法及装置 |
| CN108763387A (zh) * | 2018-05-20 | 2018-11-06 | 湖北九州云仓科技发展有限公司 | 异构平台的大数据融合方法、电子设备、存储介质及系统 |
| WO2019047479A1 (zh) * | 2017-09-08 | 2019-03-14 | 广东省建设信息中心 | 一种普适多源异构大规模数据同步系统 |
| CN110245148A (zh) * | 2019-06-25 | 2019-09-17 | 河南中原消费金融股份有限公司 | 一种数据存储方法、装置、系统及介质 |
| CN110674198A (zh) * | 2019-08-07 | 2020-01-10 | 河北省高速公路石安管理处 | 一种基于工程建设同步收集整理归档的电子档案管理系统 |
| CN110704458A (zh) * | 2019-08-15 | 2020-01-17 | 平安科技（深圳）有限公司 | 数据同步方法、装置、计算机设备及存储介质 |
| CN111104464A (zh) * | 2019-12-31 | 2020-05-05 | 成都校精灵科技有限公司 | 一种数据同步修改方法、读取方法及系统、可读存储介质 |
| CN111831481A (zh) * | 2020-07-10 | 2020-10-27 | 厦门靠谱云股份有限公司 | 一种基于c/s架构的数据库异地备份与恢复方法及系统 |
| CN111858762A (zh) * | 2020-07-21 | 2020-10-30 | 中冶南方工程技术有限公司 | 一种全流程质量管理系统的数据存储方法和系统 |
| CN111897808A (zh) * | 2020-07-15 | 2020-11-06 | 苏宁金融科技(南京)有限公司 | 一种数据处理方法、装置、计算机设备及存储介质 |
| CN112214543A (zh) * | 2019-07-11 | 2021-01-12 | 深圳市优必选科技股份有限公司 | 一种数据同步方法、装置及终端设备 |
| CN113032491A (zh) * | 2021-04-07 | 2021-06-25 | 工银科技有限公司 | 实现静态数据同步的方法、装置、电子设备及介质 |
| CN113656502A (zh) * | 2021-08-19 | 2021-11-16 | 携程金融科技(上海)有限公司 | 数据同步方法、系统、电子设备和存储介质 |
| WO2021232243A1 (zh) * | 2020-05-19 | 2021-11-25 | 深圳市欢太科技有限公司 | 集群管理方法、集群管理装置、存储介质与电子设备 |
| CN113949704A (zh) * | 2021-10-15 | 2022-01-18 | 北京奇艺世纪科技有限公司 | 一种用户信息处理方法及服务器集群 |
| CN114416868A (zh) * | 2021-12-30 | 2022-04-29 | 联通智网科技股份有限公司 | 一种数据同步方法、装置、设备及存储介质 |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103699580A (zh) * | 2013-12-03 | 2014-04-02 | 中铁程科技有限责任公司 | 数据库同步方法及装置 |
| CN105183860A (zh) * | 2015-09-10 | 2015-12-23 | 北京京东尚科信息技术有限公司 | 数据同步方法和系统 |
-
2016
- 2016-12-02 CN CN201611096659.7A patent/CN106557592A/zh active Pending
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103699580A (zh) * | 2013-12-03 | 2014-04-02 | 中铁程科技有限责任公司 | 数据库同步方法及装置 |
| CN105183860A (zh) * | 2015-09-10 | 2015-12-23 | 北京京东尚科信息技术有限公司 | 数据同步方法和系统 |
Cited By (29)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107203433A (zh) * | 2017-06-13 | 2017-09-26 | 微梦创科网络科技（中国）有限公司 | 一种共享内存的多个程序间数据同步方法和装置 |
| CN107423390B (zh) * | 2017-07-21 | 2020-10-27 | 上海德拓信息技术股份有限公司 | 一种基于oltp-olap混合关系型数据库系统内部的数据实时同步方法 |
| CN107423390A (zh) * | 2017-07-21 | 2017-12-01 | 上海德拓信息技术股份有限公司 | 一种基于oltp‑olap混合关系型数据库系统内部的数据实时同步算法 |
| US11500903B2 (en) | 2017-09-08 | 2022-11-15 | Guangdong Construction Information Center | Generic multi-source heterogeneous large-scale data synchronization client-server method |
| WO2019047479A1 (zh) * | 2017-09-08 | 2019-03-14 | 广东省建设信息中心 | 一种普适多源异构大规模数据同步系统 |
| CN107766425A (zh) * | 2017-09-13 | 2018-03-06 | 广西电网有限责任公司电力科学研究院 | 一种基于大数据的电力客户信息清洗装置 |
| CN107798417A (zh) * | 2017-09-25 | 2018-03-13 | 平安科技（深圳）有限公司 | 基于关联交易数据处理的优化方法、装置和计算机设备 |
| CN108009252A (zh) * | 2017-12-04 | 2018-05-08 | 传神语联网网络科技股份有限公司 | 数据同步的方法及装置 |
| CN108763387A (zh) * | 2018-05-20 | 2018-11-06 | 湖北九州云仓科技发展有限公司 | 异构平台的大数据融合方法、电子设备、存储介质及系统 |
| CN110245148A (zh) * | 2019-06-25 | 2019-09-17 | 河南中原消费金融股份有限公司 | 一种数据存储方法、装置、系统及介质 |
| CN112214543A (zh) * | 2019-07-11 | 2021-01-12 | 深圳市优必选科技股份有限公司 | 一种数据同步方法、装置及终端设备 |
| CN110674198A (zh) * | 2019-08-07 | 2020-01-10 | 河北省高速公路石安管理处 | 一种基于工程建设同步收集整理归档的电子档案管理系统 |
| CN110704458A (zh) * | 2019-08-15 | 2020-01-17 | 平安科技（深圳）有限公司 | 数据同步方法、装置、计算机设备及存储介质 |
| CN110704458B (zh) * | 2019-08-15 | 2023-04-18 | 平安科技（深圳）有限公司 | 数据同步方法、装置、计算机设备及存储介质 |
| WO2021027363A1 (zh) * | 2019-08-15 | 2021-02-18 | 平安科技（深圳）有限公司 | 数据同步方法、装置、计算机设备及存储介质 |
| CN111104464A (zh) * | 2019-12-31 | 2020-05-05 | 成都校精灵科技有限公司 | 一种数据同步修改方法、读取方法及系统、可读存储介质 |
| WO2021232243A1 (zh) * | 2020-05-19 | 2021-11-25 | 深圳市欢太科技有限公司 | 集群管理方法、集群管理装置、存储介质与电子设备 |
| CN111831481A (zh) * | 2020-07-10 | 2020-10-27 | 厦门靠谱云股份有限公司 | 一种基于c/s架构的数据库异地备份与恢复方法及系统 |
| CN111897808A (zh) * | 2020-07-15 | 2020-11-06 | 苏宁金融科技(南京)有限公司 | 一种数据处理方法、装置、计算机设备及存储介质 |
| CN111897808B (zh) * | 2020-07-15 | 2023-04-11 | 苏宁金融科技(南京)有限公司 | 一种数据处理方法、装置、计算机设备及存储介质 |
| CN111858762A (zh) * | 2020-07-21 | 2020-10-30 | 中冶南方工程技术有限公司 | 一种全流程质量管理系统的数据存储方法和系统 |
| CN113032491A (zh) * | 2021-04-07 | 2021-06-25 | 工银科技有限公司 | 实现静态数据同步的方法、装置、电子设备及介质 |
| CN113032491B (zh) * | 2021-04-07 | 2023-01-06 | 工银科技有限公司 | 实现静态数据同步的方法、装置、电子设备及介质 |
| CN113656502A (zh) * | 2021-08-19 | 2021-11-16 | 携程金融科技(上海)有限公司 | 数据同步方法、系统、电子设备和存储介质 |
| CN113656502B (zh) * | 2021-08-19 | 2023-11-07 | 携程金融科技(上海)有限公司 | 数据同步方法、系统、电子设备和存储介质 |
| CN113949704A (zh) * | 2021-10-15 | 2022-01-18 | 北京奇艺世纪科技有限公司 | 一种用户信息处理方法及服务器集群 |
| CN113949704B (zh) * | 2021-10-15 | 2024-03-08 | 北京奇艺世纪科技有限公司 | 一种用户信息处理方法及服务器集群 |
| CN114416868A (zh) * | 2021-12-30 | 2022-04-29 | 联通智网科技股份有限公司 | 一种数据同步方法、装置、设备及存储介质 |
| CN114416868B (zh) * | 2021-12-30 | 2023-02-17 | 联通智网科技股份有限公司 | 一种数据同步方法、装置、设备及存储介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN106557592A (zh) | 数据同步方法、装置及服务器集群 | |
| US10713135B2 (en) | Data disaster recovery method, device and system | |
| CN101706795B (zh) | 主备服务器上数据库数据同步方法 | |
| CN110209726A (zh) | 分布式数据库集群系统、数据同步方法及存储介质 | |
| CN107491343B (zh) | 一种基于云计算的跨集群资源调度系统 | |
| US10565071B2 (en) | Smart data replication recoverer | |
| EP2790112B1 (en) | Method and system for data synchronization and data access apparatus | |
| CN100478902C (zh) | 地理分布式集群 | |
| CN102955845B (zh) | 数据访问方法、装置与分布式数据库系统 | |
| CN104965850B (zh) | 一种基于开源技术的数据库高可用实现方法 | |
| CN112445863B (zh) | 一种数据实时同步方法及系统 | |
| CN100388225C (zh) | 具有远程数据镜像的集群数据库 | |
| CN111597160A (zh) | 分布式数据库系统、分布式数据处理方法和装置 | |
| US20070094467A1 (en) | Method for rolling back from snapshot with log | |
| CN105306585B (zh) | 一种多数据中心的数据同步方法 | |
| US10067999B2 (en) | High-performance database replication systems and methods | |
| KR102508817B1 (ko) | 메시지 전송 버스를 이용한 고가용성 배전 지능화 시스템 | |
| JP5686034B2 (ja) | クラスタシステム、同期制御方法、サーバ装置および同期制御プログラム | |
| CN103516802A (zh) | 一种实现跨异构虚拟交换机无缝迁移的方法和装置 | |
| CN109298978B (zh) | 一种指定位置的数据库集群的恢复方法及系统 | |
| CN104834700A (zh) | 一种基于轨迹变更的移动数据增量捕获方法 | |
| CN102231161A (zh) | 数据库同步验证及监控方法 | |
| WO2019057193A1 (zh) | 数据删除方法及分布式存储系统 | |
| CN102508886A (zh) | 一种基于xml的空间数据增量同步更新方法 | |
| CN113905054B (zh) | 基于RDMA的Kudu集群数据同步方法、装置、系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20170405 |
|
| RJ01 | Rejection of invention patent application after publication |