CN103853748A - 一种数据库同步方法 - Google Patents

一种数据库同步方法 Download PDF

Info

Publication number
CN103853748A
CN103853748A CN201210505159.XA CN201210505159A CN103853748A CN 103853748 A CN103853748 A CN 103853748A CN 201210505159 A CN201210505159 A CN 201210505159A CN 103853748 A CN103853748 A CN 103853748A
Authority
CN
China
Prior art keywords
data
data center
database
master library
scheduling master
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201210505159.XA
Other languages
English (en)
Inventor
邢浩
金友兵
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
TIANJIN SURSEN CLOUD TECHNOLOGY CO., LTD.
Original Assignee
TIANJIN SHUSHENG INVESTMENT CO Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by TIANJIN SHUSHENG INVESTMENT CO Ltd filed Critical TIANJIN SHUSHENG INVESTMENT CO Ltd
Priority to CN201210505159.XA priority Critical patent/CN103853748A/zh
Publication of CN103853748A publication Critical patent/CN103853748A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/27—Replication, distribution or synchronisation of data between databases or within a distributed database system; Distributed database system architectures therefor

Abstract

本发明实施例提供了一种数据库同步方法，实现数据库的快速安全同步。该方法用于同步多数据中心之间的数据，其中每一个数据中心均包括一个第一分片调度主库，所述第一分片调度主库存储数据分片的索引信息，所述数据库同步方法包括：采用环形同步方式，逐一将每个数据中心的第一分片调度主库都作为前一个数据中心的分片调度从库，进行同步，直至遍历每一个数据中心。

Description

一种数据库同步方法
技术领域
本发明涉及数据库领域，特别涉及一种数据库同步方法。
技术背景
现有技术中关系型数据库之间的同步以主、从同步为主。主从同步方式只能由主库向从库同步，不能由从库向主库写数据。多数据中心情况下，每个数据中心之间的数据库同步也是主从模式，因此通常采用由一个主数据中心生产数据向多个从数据中心进行数据同步，这种方式从数据中心获取数据的延时较大，用户写入的数据往往不能被马上读取到，影响用户体验。
发明内容
有鉴于此，本发明实施例提供一种数据库同步方法，实现数据库的快速安全同步。
为了达到上述目的，本发明实施例提供的一种数据库同步方法，用于同步多数据中心之间的数据，其中每一个数据中心均包括一个第一分片调度主库，所述第一分片调度主库存储数据分片的索引信息，所述数据库同步方法包括：
采用环形同步方式，逐一将每个数据中心的第一分片调度主库都作为前一个数据中心的分片调度从库，进行同步，直至遍历每一个数据中心。
采用多数据中心生产数据的方式，同时利用环形同步的方式对多个数据中心数据进行同步，多个数据中心之间不是单纯的由主数据中心向从数据中心同步的过程，而是每个数据中心都生产数据，每个数据中心也都接受数据。而在这种模式下，用户可以在每个数据中心都能读、写数据，所以不会有延迟的问题。
附图说明
图1所示为本发明一实施例数据库同步方法的示意图。
图2所示为本发明一实施例数据库同步方法的示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚，下面结合附图对本发明作进一步的详细描述。
图1所示为本发明一实施例数据库同步方法的示意图。如图1所示，
在多数据中心生产数据的情况下，以四个数据中心A、B、C、D为例说明，每个数据中心有多组主从数据库分片节点（图示中的Master和Slave）构成，每个数据库只存储每个数据中心的一部分数据，分片调度库（图示中的Convert Master 1，Convert Master 2以及Convert Slave），又称分片索引库，存储数据分片的索引信息，包括被分片的数据ID以及存储该条数据在数据库节点信息。
当需要对多个数据中心的数据进行同步时，采用环形复制方式，将每个数据中心的主库都作为前一个数据中心的从库，同时单个数据中心内的Convert Master 1和Convert Master 2互为备份，以保证整个环形复制的正常运转。
具体来说，当A、B、C、D多个数据中心需要进行数据同步时，首先同步数据中心A和B，即将数据由数据中心A同步到数据中心B；而后将数据中心B同步到数据中心C，将数据中心C同步到数据中心D，最后将数据中心D同步到数据中心A。在此环形同步过程中，可以是每个同步数据中心的Convert Master 1或Convert Master 2任意一个参与同步，比如可以是将数据中心A的Convert Master 1同步到数据中心B的Convert Master 2，而将数据中心B的Convert Master 2同步到数据中心C的Convert Master 2。
同时，在每个数据中心内部，每当该数据中心完成与其它数据中心的同步后，即将参与环形同步的Convert Master中的数据写入到未参与环形同步的Convert Master中，两个Convert Master库互为备份，形成高可用架构，一旦参与环形同步的Convert Master库出问题,可以切换至另一个ConvertMaster，保证整个环形复制的正常运转。
图2所示为本发明一实施例数据库同步系统示意图。在图2中，在关系型数据库的基础上引用了分布式数据库。采用关系型数据库和分布式数据库同时保存生产数据，协同工作，以构建云存储环境下的数据库系统。在多数据中心情况下，采用如图1所示的环形同步方式对关系型数据库的数据进行同步，再由关系型数据库同步至本地分布式数据库，来保证每个数据中心分布式数据库的数据一致。
具体来说，获取对关系型数据库的所有操作包括增、删、改、事务提交、事务回滚等，转换为关系型数据库相应的sql；
将关系型数据库的sql转换为分布式数据库的相应执行语句；具体转换哪种语句取决于分布式数据库的类型；
将转换后的语句写入一个二进制文件，可标记为transfer log；
分布式数据库直接读取transfer log中所要执行的操作语句，并在分布式数据库中执行相应的操作。
利用此方法，可解决关系数据库和分布式数据库的数据一致性问题。同步数据后由关系型数据库处理单库、单表等实时性要求很高的查询，由分布式数据库处理跨表、跨库的统计和查询，这样可以充分利用分布式数据库高扩展性、高性能查询大数据量的特点，最大限度的弥补关系型数据库跨表查询效率低的缺点。
以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换等，均应包含在本发明的保护范围之内。

Claims (6)

1.一种数据库同步方法，用于同步多数据中心之间的数据，其中每一个数据中心均包括一个第一分片调度主库，所述第一分片调度主库存储数据分片的索引信息，所述数据库同步方法包括：
采用环形同步方式，逐一将每个数据中心的第一分片调度主库都作为前一个数据中心的分片调度从库，进行同步，直至遍历每一个数据中心。
2.如权利要求1所述的方法，其特征在于，每个数据中心还进一步包括第二个分片调度主库，当所述数据中心完成与其它数据中心的同步后，所述方法进一步包括：
将所述第一分片调度主库的数据写入到所述第二个分片调度主库。
3.如权利要求1所述的方法，其特征在于，进一步包括：在所述数据中心完成与其它数据中心的同步的过程中，当所述第一分片调度主库无法工作时，所述方法进一步包括：
切换至所述第二分片调度主库。
4.如权利要求1所述的方法，其特征在于，所述多数据中心由关系型数据库构成。
5.如权利要求4所述的方法，其特征在于，进一步包括：将每个数据中心的所述关系型数据库同步至本地分布式数据库。
6.如权利要求5所述的方法，其特征在于，所述将关系型数据库同步至本地分布式数据库包括：
获取对关系型数据库的所有操作，将所述操作转换为关系型数据库的sql；
将关系型数据库的sql转换为分布式数据库的相应执行语句；
将转换后的语句写入一个二进制文件；
分布式数据库直接读取所述二进制文件中所要执行的操作语句，并在分布式数据库中执行相应的操作。
CN201210505159.XA 2012-11-29 2012-11-29 一种数据库同步方法 Pending CN103853748A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201210505159.XA CN103853748A (zh) 2012-11-29 2012-11-29 一种数据库同步方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201210505159.XA CN103853748A (zh) 2012-11-29 2012-11-29 一种数据库同步方法

Publications (1)

Publication Number Publication Date
CN103853748A true CN103853748A (zh) 2014-06-11

Family

ID=50861415

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201210505159.XA Pending CN103853748A (zh) 2012-11-29 2012-11-29 一种数据库同步方法

Country Status (1)

Country Link
CN (1) CN103853748A (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104506638A (zh) * 2014-12-30 2015-04-08 北京天云融创软件技术有限公司 多数据中心数据同步方法
WO2017050179A1 (zh) * 2015-09-25 2017-03-30 阿里巴巴集团控股有限公司 一种库存系统数据更新方法及装置
CN108243209A (zh) * 2016-12-23 2018-07-03 深圳市优朋普乐传媒发展有限公司 一种数据同步方法及装置
CN110019496A (zh) * 2017-07-27 2019-07-16 北京京东尚科信息技术有限公司 数据读写方法和系统
TWI734730B (zh) * 2017-01-19 2021-08-01 香港商阿里巴巴集團服務有限公司 庫存系統資料更新方法及裝置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
红黑联盟: ""mysql多主单向-->环形同步"", 《HTTP://WWW.2CTO.COM/DATABASE/201108/100679.HTML》 *

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104506638A (zh) * 2014-12-30 2015-04-08 北京天云融创软件技术有限公司 多数据中心数据同步方法
WO2017050179A1 (zh) * 2015-09-25 2017-03-30 阿里巴巴集团控股有限公司 一种库存系统数据更新方法及装置
CN108243209A (zh) * 2016-12-23 2018-07-03 深圳市优朋普乐传媒发展有限公司 一种数据同步方法及装置
TWI734730B (zh) * 2017-01-19 2021-08-01 香港商阿里巴巴集團服務有限公司 庫存系統資料更新方法及裝置
CN110019496A (zh) * 2017-07-27 2019-07-16 北京京东尚科信息技术有限公司 数据读写方法和系统

Similar Documents

Publication Publication Date Title
CN103198159B (zh) 一种基于事务重做的异构集群多副本一致性维护方法
US20180137134A1 (en) Data snapshot acquisition method and system
CN107544984B (zh) 一种数据处理的方法和装置
CN101334797B (zh) 一种分布式文件系统及其数据块一致性管理的方法
CN103853748A (zh) 一种数据库同步方法
US20110153570A1 (en) Data replication and recovery method in asymmetric clustered distributed file system
US10067999B2 (en) High-performance database replication systems and methods
CN102622427A (zh) 读写分离数据库的方法及系统
CN103345502A (zh) 分布式数据库的事务处理方法和系统
CN103699638A (zh) 一种基于配置参数实现跨数据库类型同步数据的方法
CN107977396B (zh) 一种KeyValue数据库的数据表的更新方法与表数据更新装置
WO2011114548A1 (ja) ストリームデータ処理障害回復方法および装置
CN102306115A (zh) 异步远程复制方法、系统及设备
US11917005B2 (en) Clustered storage system synchronization
US20150006485A1 (en) High Scalability Data Management Techniques for Representing, Editing, and Accessing Data
CN104021200A (zh) 一种数据库的数据同步方法和装置
JP2016521427A (ja) ピアツーピアデータ複製用の方法、デバイス、およびシステム、ならびにマスタノード切替え用の方法、デバイス、およびシステム
CN105447054A (zh) 一种数据库的数据同步方法、装置及系统
CN112988702A (zh) 异构数据源实时数据传输方法及系统、存储介质及终端
CN105353988A (zh) 一种元数据读写方法及装置
CN111427869A (zh) 一种基于区块链的日志系统
CN106855869B (zh) 一种实现数据库高可用的方法、装置和系统
CN103605732A (zh) 基于Infobright的数据仓库和系统及其构建方法
US10503735B2 (en) Methods and apparatuses for improved database design
CN112000684A (zh) 一种基于trxid实现回环控制的数据库双向同步的方法及工具

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
ASS Succession or assignment of patent right

Owner name: TIANJIN SHUSHENG CLOUD TECHNOLOGY CO., LTD.

Free format text: FORMER OWNER: TIANJIN SHUSHENG INVESTMENT CO., LTD.

Effective date: 20150108

C41 Transfer of patent application or patent right or utility model
COR Change of bibliographic data

Free format text: CORRECT: ADDRESS; FROM: 300308 BINHAI NEW DISTRICT, TIANJIN TO: 300300 DONGLI, TIANJIN

TA01 Transfer of patent application right

Effective date of registration: 20150108

Address after: 300300 645DD18, air support centre, 1 airways airways, Tianjin Airport Economic Zone

Applicant after: TIANJIN SURSEN CLOUD TECHNOLOGY CO., LTD.

Address before: 300308, two floor, building 9, airport business park, 80 ring River North Road, Binhai New Area, Tianjin

Applicant before: Tianjin Shusheng Investment Co., Ltd.

RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20140611