CN103106200A - 非关系型数据库同步系统及双写同步方法 - Google Patents

非关系型数据库同步系统及双写同步方法 Download PDF

Info

Publication number
CN103106200A
CN103106200A CN2011103532389A CN201110353238A CN103106200A CN 103106200 A CN103106200 A CN 103106200A CN 2011103532389 A CN2011103532389 A CN 2011103532389A CN 201110353238 A CN201110353238 A CN 201110353238A CN 103106200 A CN103106200 A CN 103106200A
Authority
CN
China
Prior art keywords
local
daily record
relational database
data
teledata
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN2011103532389A
Other languages
English (en)
Other versions
CN103106200B (zh
Inventor
段如冰
郭理靖
袁岳峰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
SHANGHAI SHENGXIAO CLOUD COMPUTING TECHNOLOGY Co.,Ltd.
Original Assignee
SHANGHAI SHENGXIAO CLOUD COMPUTING TECHNOLOGY Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by SHANGHAI SHENGXIAO CLOUD COMPUTING TECHNOLOGY Co Ltd filed Critical SHANGHAI SHENGXIAO CLOUD COMPUTING TECHNOLOGY Co Ltd
Priority to CN201110353238.9A priority Critical patent/CN103106200B/zh
Publication of CN103106200A publication Critical patent/CN103106200A/zh
Application granted granted Critical
Publication of CN103106200B publication Critical patent/CN103106200B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明提供一种非关系型数据库同步系统及双写同步方法,通过所述本地同步管理器将所述远程非关系型数据库的数据同步到所述本地非关系型数据库中,通过所述远程同步管理器将所述本地非关系型数据库的数据同步到所述远程非关系型数据库中,实现了在远程网络环境中本地非关系型数据库和远程非关系型数据库的双写同步操作;进一步的,通过所述本地数据过滤模块和远程数据过滤模块避免了同步时大量重复日志的产生,节约了存储资源;通过本地数据重放模块和远程数据重放模块避免了数据同步的遗漏。

Description

非关系型数据库同步系统及双写同步方法
技术领域
本发明涉及数据库同步领域,尤其涉及一种非关系型数据库同步系统及双写同步方法。
背景技术
互联网web2.0网站的兴起,对数据库提出了更高的需求,例如:对数据库高并发读写的需求(High performance);对海量数据的高效率存储和访问的需求(Huge Storage);对数据库的高可扩展性和高可用性的需求(High Scalability &High Availability)。而传统的关系数据库已经不能满足互联网web2.0网站,特别是超大规模和高并发的SNS类型的web2.0纯动态网站的这些需求。
非关系型数据库是泛指不同于关系型传统数据库的一类数据库,在此类数据库中存储的数据没有固定的模式,通常没有联合(join)操作,可以满足上述web2.0网站对数据库的新需求,现在成了一个极其热门的新领域。但同时也存在很多新的设计的难点,例如:
1.由于远程间网络的不稳定性,需要在远程网络两端同时安装两套非关系型数据库系统;
2.如何对非关系型数据库系统进行远程双写同步以保持数据一致性成为一个很重要的问题,双写同步是指在对两个或多个数据库同时进行插入和修改数据时,保持多个数据库的数据一致,而传统的非关系型数据库系统的同步机制,包括主从同步和副本集技术,已不能再满足需要。
因此,需要一种非关系型数据库同步系统及方法,以解决在远程网络环境中非关系型数据库无法进行双写同步的问题。
发明内容
本发明的目的在于提供一种非关系型数据库同步系统及双写同步方法,以解决在远程网络环境中非关系型数据库无法进行双写同步的问题。
为解决上述问题,本发明提供一种非关系型数据库同步系统,包括:
本地非关系型数据库,用于保存本地业务所需数据以及产生本地数据日志;
远程非关系型数据库,用于保存远程业务所需数据以及产生远程数据日志;
本地同步管理器,用于抽取所述远程数据日志并产生本地数字签名,以及将抽取的远程数据日志与本地数据日志对比以对本地非关系型数据库的数据进行更新;
远程同步管理器,用于抽取所述本地数据日志并产生远程数字签名,以及将抽取的本地数据日志与远程数据日志对比以对远程非关系型数据库的数据进行更新。
进一步的,所述非关系型数据库同步系统还包括:
本地同步数据库,用于保存所述本地非关系型数据库产生的本地数据日志、本地同步管理器所抽取的远程数据日志以及其本地数字签名;
远程同步数据库,用于保存所述远程非关系型数据库产生的远程数据日志、远程同步管理器所抽取的本地数据日志以及其远程数字签名。
进一步的,所述本地非关系型数据库的本地数据日志为按时间阶段依次产生的本地阶段性日志;所述远程非关系型数据库的远程数据日志为与所述本地阶段性日志所在的相同时间阶段产生的远程阶段性日志。
进一步的,所述本地同步管理器包括:
本地数据抽取模块,用于抽取所述远程非关系型数据库产生的远程数据日志;
本地数据处理模块,用于为抽取出的远程数据日志产生本地数字签名,并将所述抽取出的远程数据日志及其本地数字签名存入所述本地同步数据库;
本地数据同步模块,用于对比所述抽取出的远程数据日志与所述本地数据日志,将所述远程非关系型数据库的数据同步到本地非关系型数据库中,并生成本地同步执行记录。
进一步的,所述本地数据处理模块还用于在完成所述远程非关系型数据库到所述本地非关系型数据库的数据同步后,清理所述本地同步数据库中存储的本地数据日志、远程数据日志及其本地数字签名。
进一步的,所述本地同步管理器还包括:
本地数据过滤模块,用于对所述本地同步数据库中存储的远程数据日志进行识别,过滤掉重复的远程数据日志,以减少所述本地数据同步模块的重复数据同步操作;
本地数据重放模块,用于查询所述本地同步数据库中存储的远程数据日志是否已经被执行,若是,则跳过此条远程数据日志;若否,则重新执行该条远程数据日志,并记录到所述本地同步执行记录中。
进一步的,所述远程同步管理器包括:
远程数据抽取模块,用于抽取所述本地非关系型数据库产生的本地数据日志;
远程数据处理模块,用于为抽取出的本地数据日志产生远程数字签名,并将所述抽取出的本地数据日志及其远程数字签名存入所述远程同步数据库;
远程数据同步模块,用于对比所述抽取出的本地数据日志与所述远程数据日志,将所述本地非关系型数据库的数据同步到远程非关系型数据库中,并生成远程同步执行记录。
进一步的,所述远程数据处理模块还用于在完成所述本地非关系型数据库到所述远程非关系型数据库的数据同步后,清理所述远程同步数据库中存储的远程数据日志、本地数据日志及其远程数字签名。
进一步的,所述远程同步管理器还包括:
远程数据过滤模块,用于对所述远程同步数据库中存储的本地数据日志进行识别,过滤掉重复的本地数据日志,以减少所述远程数据同步模块的重复数据同步操作;
远程数据重放模块,用于查询所述远程同步数据库中存储的本地数据日志是否已经被执行,若是,则跳过此条本地数据日志;若否,则重新执行该条本地数据日志,并记录到所述远程同步执行记录中。
相应的,本发明还提供一种应用上述非关系型数据库同步系统的双写同步方法,包括:
所述本地非关系型数据库保存本地业务所需数据以及产生本地数据日志;
所述远程非关系型数据库保存远程业务所需数据以及产生远程数据日志;
所述本地同步管理器抽取所述远程数据日志并产生本地数字签名,将抽取的远程数据日志与本地数据日志对比,同步所述远程非关系型数据库的数据到所述本地非关系型数据库中,所述本地非关系型数据库产生新的本地数据日志;
所述远程同步管理器抽取所述本地数据日志并产生远程数字签名,将抽取的本地数据日志与远程数据日志对比,同步所述本地非关系型数据库的数据到所述远程非关系型数据库中,所述远程非关系型数据库产生新的远程数据日志。
进一步的,保存所述本地非关系型数据库产生的本地数据日志、本地同步管理器所抽取的远程数据日志及其本地数字签名到一本地同步数据库中;
保存所述远程非关系型数据库产生的远程数据日志、远程同步管理器所抽取的本地数据日志其远程数字签名到一远程同步数据库。
与现有技术相比,本发明提供的非关系型数据库同步系统及双写同步方法,通过所述本地同步管理器将所述远程非关系型数据库的数据同步到所述本地非关系型数据库中,通过所述远程同步管理器将所述本地非关系型数据库的数据同步到所述远程非关系型数据库中,实现了在远程网络环境中本地非关系型数据库和远程非关系型数据库的双写同步操作;进一步的,通过所述本地数据过滤模块和远程数据过滤模块避免了同步时大量重复日志的产生,节约了存储资源;通过本地数据重放模块和远程数据重放模块避免了数据同步的遗漏。
附图说明
图1是本发明实施例一的非关系型数据库同步系统的架构示意图;
图2是本发明实施例一的本地同步管理器的具体结构及其与本地同步数据库的连接示意图;
图3是本发明实施例一的远程同步管理器的具体结构及其与远程同步数据库的连接示意图;
图4是本发明实施例二的基于非关系型数据库同步系统的双写同步方法流程图;
图5是本发明实施例二的非关系型数据库同步系统在双写同步时的日志示意图。
具体实施方式
以下结合附图和具体实施例对本发明提出的非关系型数据库同步系统及双写同步方法作进一步详细说明。
实施例一
如图1所示,本实施例提供一种非关系型数据库同步系统,包括:
本地非关系型数据库11,用于保存本地10业务所需数据以及产生本地数据日志,其中,所述本地非关系型数据库11的本地数据日志为按时间阶段依次产生的本地阶段性日志;
远程非关系型数据库21,用于保存远程20业务所需数据以及产生远程数据日志,其中,所述远程非关系型数据库21的远程数据日志为与所述本地阶段性日志所在的相同时间阶段产生的远程阶段性日志;
本地同步管理器12,用于抽取所述远程数据日志并产生本地数字签名,以及将抽取的远程数据日志与本地数据日志对比以对本地非关系型数据库11的数据进行更新;
远程同步管理器22,用于抽取所述本地数据日志并产生远程数字签名,以及将抽取的本地数据日志与远程数据日志对比以对远程非关系型数据库21的数据进行更新;
本地同步数据库13,用于保存所述本地非关系型数据库11产生的本地数据日志、本地同步管理器12所抽取的远程数据日志以及其本地数字签名;
远程同步数据库23,用于保存所述远程非关系型数据库21产生的远程数据日志、远程同步管理器22所抽取的本地数据日志及其远程数字签名。
如图2所示,本实施例中,所述本地同步管理器12包括:
本地数据抽取模块121,用于抽取一本地阶段性日志的前一时间阶段所述远程非关系型数据库21产生的远程阶段性日志;
本地数据处理模块122,用于为抽取出的远程阶段性日志产生本地数字签名,并将抽取出的远程阶段性日志及其本地数字签名存入所述本地同步数据库13,还用于在完成所述远程非关系型数据库21到所述本地非关系型数据库11的本时间阶段数据同步后,清理所述本地同步数据库11中存储的本时间阶段以前的本地阶段性日志、远程阶段性日志及其本地数字签名;
本地数据过滤模块123,用于对所述本地同步数据库13中存储的远程阶段性日志进行识别,过滤掉重复的远程阶段性日志,减少所述本地数据同步模块的重复数据同步操作;
本地数据重放模块124,用于查询所述本地同步数据库13中存储的远程阶段性日志是否已经被执行,若是,则跳过此条远程阶段性日志;若否,则重新执行该条远程阶段性日志,并记录到本地数据同步模块125的本地同步执行记录中;
本地数据同步模块125,用于对比所述抽取出的远程阶段性日志与所述本地阶段性日志,将所述远程非关系型数据库21的数据同步到本地非关系型数据库11中,并生成本地同步执行记录。
如图3所示,本实施例中,所述远程同步管理器22包括:
远程数据抽取模块221,抽取一远程阶段性日志的前一时间阶段所述本地非关系型数据11产生的本地阶段性日志;
远程数据处理模块222,用于为抽取出的本地阶段性日志产生远程数字签名,并将抽取出的本地阶段性日志及其远程数字签名存入所述远程同步数据库23,还用于在完成所述本地非关系型数据库11到所述远程非关系型数据库21的本时间阶段数据同步后,清理所述远程同步数据库23中存储的本阶段以前的远程阶段性日志、本地阶段性日志及其远程数字签名;
远程数据过滤模块223,用于对所述远程同步数据库23中存储的的本地阶段性日志进行识别,过滤掉重复的本地阶段性日志,减少所述远程同步数据同步模块的重复数据同步操作;
远程数据重放模块224,用于查询所述远程同步数据库23中存储的本地阶段性日志是否已经被执行,若是,则跳过此条本地阶段性日志;若否,则重新执行该条本地阶段性日志,并记录到远程数据同步模块225产生的远程同步执行记录中;
远程数据同步模块225,用于对比所述抽取出的本地阶段性日志与远程阶段性日志,将所述本地非关系型数据库11的数据同步到远程非关系型数据库21中,并生成远程同步执行记录。
需要说明的是,本地数据处理模块122和远程数据处理模块222可以采用SHA1算法(Secure Hash Algorithm,安全哈希算法)对抽取的远程阶段性日志和本地阶段性日志中去除时间标记外其他部分添加新的key:value(键:值)对以产生本地数字签名和远程数字签名。
综上所述,本实施例提供的非关系型数据库同步系统,可以通过所述本地同步管理器将所述远程非关系型数据库的数据同步到所述本地非关系型数据库中,通过所述远程同步管理器将所述本地非关系型数据库的数据同步到所述远程非关系型数据库中,实现了在远程网络环境中本地非关系型数据库和远程非关系型数据库的双写同步操作;进一步的,通过所述本地数据过滤模块和远程数据过滤模块避免了同步时大量重复日志的产生,节约了存储资源;通过本地数据重放模块和远程数据重放模块避免了数据同步的遗漏。
实施例二
如图4所示,本实施例提供一种基于本发明的非关系型数据库同步系统的双写同步方法,包括步骤S1至步骤S4,下面结合附图1-5对本实施例所述的双写同步方法做进一步的详述。
步骤S1,所述本地非关系型数据库保存本地业务所需数据以及产生本地数据日志。
请参考图1和图5,本步骤中,T0-T1阶段,本地非关系型数据库11产生本地阶段性日志C1。
步骤S2,所述远程非关系型数据库保存远程业务所需数据以及产生远程数据日志。
请参考图1和图5,本步骤中,T0-T1阶段,远程非关系型数据库21产生远程阶段性日志U1。
步骤S3,所述本地同步管理器抽取所述远程数据日志并产生远程数字签名,将抽取的远程数据日志与本地数据日志对比,同步所述远程非关系型数据库的数据到所述本地非关系型数据库中,所述本地非关系型数据库产生新的本地数据日志。
请参考图1、图2和图5,本步骤中,T1-T2阶段,本地非关系型数据库11产生本地阶段性日志C2,本地数据抽取模块121抽取步骤S2中T0-T1阶段的远程阶段性日志U1;本地数据处理模块122为远程阶段性日志U1产生本地数字签名,并将远程阶段性日志U1及其本地数字签名存入所述本地同步数据库13;本地数据同步模块125对比远程阶段性日志U1与本地阶段性日志C2,将所述远程非关系型数据库21的数据同步到本地非关系型数据库11中,并生成本地同步执行记录。
步骤S4,所述远程同步管理器抽取所述本地数据日志并产生本地数字签名,将抽取的本地数据日志与远程数据日志对比,同步所述本地非关系型数据库的数据到所述远程非关系型数据库中,所述远程非关系型数据库产生新的远程数据日志。
请参考图1、图2和图5,本步骤中,T1-T2阶段,远程非关系型数据库21产生远程阶段性日志U2,远程数据抽取模块221抽取步骤S1中T0-T1阶段的本地阶段性日志C1;远程数据处理模块222为本地阶段性日志C1产生远程数字签名,并将本地阶段性日志C1及其远程数字签名存入所述远程同步数据库23;远程数据同步模块225对比本地阶段性日志C1与远程阶段性日志U2,将所述本地非关系型数据库11的数据同步到远程非关系型数据库21中,并生成远程同步执行记录。
进一步的,在划分的时间阶段不只仅有T0-T1-T2时,在后续时间阶段中,本地非关系型数据库11按时间阶段T2-T3、T3-T4、T4-T5依次产生本地阶段性日志C3、C4、C5、…,远程非关系型数据库21按相同时间阶段依次产生远程阶段性日志U3,U4、U5、…,只要循环执行步骤S3与步骤S4,即可完成所有时间阶段的本地非关系型数据库11与远程非关系型数据库21的双写同步,例如在T2-T3阶段:
本地非关系型数据库11产生本地阶段性日志C3,本地数据抽取模块121抽取步骤S2中T1-T2阶段的远程阶段性日志U2;本地数据处理模块122为远程阶段性日志U2产生本地数字签名,并将远程阶段性日志U2及其本地数字签名存入所述本地同步数据库13;本地数据同步模块125对比远程阶段性日志U2与本地阶段性日志C3,将所述远程非关系型数据库21的数据同步到本地非关系型数据库11中,并生成本地同步执行记录;
远程非关系型数据库21产生远程阶段性日志U3,远程数据抽取模块221抽取步骤S1中T1-T2阶段的本地阶段性日志C2;远程数据处理模块222为本地阶段性日志C2产生远程数字签名,并将本地阶段性日志C2及其远程数字签名存入所述远程同步数据库23;远程数据同步模块225对比本地阶段性日志C2与远程阶段性日志U3,将所述本地非关系型数据库11的数据同步到远程非关系型数据库21中,并生成远程同步执行记录。
其中,由于本地阶段性日志C1在T1-T2阶段中被同步到远程非关系型数据库21中,所以本地同步数据库13应至少保存本时间阶段在内的前3个时间阶段的本地阶段性日志,例如在T2-T3阶段时,本地同步数据库13保存本地阶段性日志C1、C2、C3(如图5所示);同样,远程同步数据库23应至少保存本时间阶段在内的前3个时间阶段的远程阶段性日志,例如在T2-T3阶段时,远程同步数据库13保存远程阶段性日志U1、U2、U3。
进一步的,在循环执行步骤S3和S4的过程中,还可以通过本地数据处理模块122在完成所述远程非关系型数据库21到所述本地非关系型数据库11的本时间阶段的数据同步后,清理所述本地同步数据库11中存储的本时间阶段以前的本地阶段性日志、远程阶段性日志及其本地数字签名;通过远程数据处理模块222在完成所述本地非关系型数据库11到所述远程非关系型数据库21的本时间阶段数据同步后,清理所述远程同步数据库23中存储的本阶段以前的远程阶段性日志、本地阶段性日志及其远程数字签名;如图5所示,在T3-T4时间阶段,通过本地数据处理模块122删除本地同步数据库13在T1-T2阶段存储的本地阶段性日志C1、及远程阶段性日志U1及其本地数字签名;通过远程数据处理模块222删除远程同步数据库23在T1-T2阶段存储的远程阶段性日志U1、本地阶段性日志C1及其本地数字签名;
进一步的,在循环执行步骤S3和S4的过程中,还可以通过本地数据过滤模块123对所述本地同步数据库13中存储的远程阶段性日志进行识别,过滤掉重复的远程阶段性日志;通过本地数据重放模块124查询所述本地同步数据库13中存储的远程阶段性日志是否已经被执行,若是,则跳过此条远程阶段性日志;若否,则重新执行该条远程阶段性日志,并记录到本地数据同步模块125的本地同步执行记录中。
进一步的,在循环执行步骤S3和S4的过程中,还可以通过远程数据过滤模块223对所述远程同步数据库23中存储的本地阶段性日志进行识别,过滤掉重复的本地阶段性日志;通过远程数据重放模块224查询所述远程同步数据库23中存储的本地阶段性日志是否已经被执行,若是,则跳过此条本地阶段性日志;若否,则重新执行该条本地阶段性日志,并记录到远程数据同步模块225产生的远程同步执行记录中。
需要说明的是,在双写同步过程中可能出现多种问题,考虑对以下情况进行异常处理:
1、步骤S3和步骤S4抽取过程中网络中断,或不能建立和对方非关系型数据库的连接时,网络中断后只对已经抽取的数据日志进行处理;
2、步骤S3和步骤S4抽取过程中运行本地/远程同步管理器的主机死机时,该主机重启后,需要本地/远程同步管理器回到以前状态,检查本地/远程同步数据库,如果不空,继续对抽取的数据进行重放操作;如果本地/远程同步数据库为空,继续下一时间阶段的数据同步;
3、长时间网络中断时,本地/远程同步管理器可以合并时间阶段进行一次性数据同步;
4、本地/远程同步管理器单方面完成本地/远程非关系型数据库的数据同步,而远程/本地同步管理器未完成本地/远程非关系型数据库的数据同步时,完成方可继续进行下一时间阶段的数据同步,未完成方需合并从未完成之时间阶段到完成方的前一时间阶段的所有时间阶段进行一次性数据同步以提高双写同步的效率,如本地同步管理器已完成了T0-T1、T1-T2、T2-T3阶段的远程非关系型数据库到本地非关系型数据库的数据同步,而远程同步管理器只完成了T0-T1阶段的本地非关系型数据库到远程非关系型数据库的数据同步时,那么下一时间阶段,远程同步管理器合并T1-T2、T2-T3阶段,一次性完成的T1-T3阶段的本地非关系型数据库到远程非关系型数据库的数据同步。
综上所述,本发实施例提供的非关系型数据库同步系统的双写方法,通过所述本地同步管理器将所述远程非关系型数据库的数据同步到所述本地非关系型数据库中,通过所述远程同步管理器将所述本地非关系型数据库的数据同步到所述远程非关系型数据库中,实现了在远程网络环境中本地非关系型数据库和远程非关系型数据库的双写同步操作;进一步的,通过所述本地数据过滤模块和远程数据过滤模块避免了同步时大量重复日志的产生,节约了存储资源;通过本地数据重放模块和远程数据重放模块避免了数据同步的遗漏。
显然,本领域的技术人员可以对发明进行各种改动和变型而不脱离本发明的精神和范围。这样,倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内,则本发明也意图包含这些改动和变型在内。

Claims (10)

1.一种非关系型数据库同步系统,其特征在于,包括:
本地非关系型数据库,用于保存本地业务所需数据以及产生本地数据日志;
远程非关系型数据库,用于保存远程业务所需数据以及产生远程数据日志;
本地同步管理器,用于抽取所述远程数据日志并产生本地数字签名,以及将抽取的远程数据日志与本地数据日志对比以对所述本地非关系型数据库的数据进行更新;
远程同步管理器,用于抽取所述本地数据日志并产生远程数字签名,以及将抽取的本地数据日志与远程数据日志对比以对所述远程非关系型数据库的数据进行更新。
2.如权利要求1所述的非关系型数据库同步系统,其特征在于,所述非关系型数据库同步系统还包括:
本地同步数据库,用于保存所述本地非关系型数据库产生的本地数据日志、本地同步管理器所抽取的远程数据日志以及其本地数字签名;
远程同步数据库,用于保存所述远程非关系型数据库产生的远程数据日志、远程同步管理器所抽取的本地数据日志以及其远程数字签名。
3.如权利要求1或2所述的非关系型数据库同步系统,其特征在于,所述本地非关系型数据库的本地数据日志为按时间阶段依次产生的本地阶段性日志;所述远程非关系型数据库的远程数据日志为与所述本地阶段性日志所在的相同时间阶段产生的远程阶段性日志。
4.如权利要求1所述的非关系型数据库同步系统,其特征在于,所述本地同步管理器包括:
本地数据抽取模块,用于抽取所述远程非关系型数据库产生的远程数据日志;
本地数据处理模块,用于为抽取出的远程数据日志产生本地数字签名,并将所述抽取出的远程数据日志及其本地数字签名存入所述本地同步数据库;
本地数据同步模块,用于对比所述抽取出的远程数据日志与所述本地数据日志,将所述远程非关系型数据库的数据同步到本地非关系型数据库中,并生成本地同步执行记录。
5.如权利要求4所述的非关系型数据库同步系统,其特征在于,所述本地数据处理模块还用于在完成所述远程非关系型数据库到所述本地非关系型数据库的数据同步后,清理所述本地同步数据库中存储的本地数据日志、远程数据日志及其本地数字签名。
6.如权利要求4所述的非关系型数据库同步系统,其特征在于,所述本地同步管理器还包括:
本地数据过滤模块,用于对所述本地同步数据库中存储的远程数据日志进行识别,过滤掉重复的远程数据日志,以减少所述本地数据同步模块的重复数据同步操作;
本地数据重放模块,用于查询所述本地同步数据库中存储的远程数据日志是否已经被执行,若是,则跳过此条远程数据日志;若否,则重新执行该条远程数据日志,并记录到所述本地同步执行记录中。
7.如权利要求1所述的非关系型数据库同步系统,其特征在于,所述远程同步管理器包括:
远程数据抽取模块,用于抽取所述本地非关系型数据库产生的本地数据日志;
远程数据处理模块,用于为抽取出的本地数据日志产生远程数字签名,并将所述抽取出的本地数据日志及其远程数字签名存入所述远程同步数据库;
远程数据同步模块,用于对比所述抽取出的本地数据日志与所述远程数据日志,将所述本地非关系型数据库的数据同步到远程非关系型数据库中,并生成远程同步执行记录。
8.如权利要求7所述的非关系型数据库同步系统,其特征在于,所述远程数据处理模块还用于在完成所述本地非关系型数据库到所述远程非关系型数据库的数据同步后,清理所述远程同步数据库中存储的远程数据日志、本地数据日志及其远程数字签名。
9.如权利要求7所述的非关系型数据库同步系统,其特征在于,所述远程同步管理器还包括:
远程数据过滤模块,用于对所述远程同步数据库中存储的本地数据日志进行识别,过滤掉重复的本地数据日志,以减少所述远程数据同步模块的重复数据同步操作;
远程数据重放模块,用于查询所述远程同步数据库中存储的本地数据日志是否已经被执行,若是,则跳过此条本地数据日志;若否,则重新执行该条本地数据日志,并记录到所述远程同步执行记录中。
10.一种应用权利要求1至9中任一项所述的非关系型数据库同步系统的双写同步方法,其特征在于,包括:
所述本地非关系型数据库保存本地业务所需数据以及产生本地数据日志;
所述远程非关系型数据库保存远程业务所需数据以及产生远程数据日志;
所述本地同步管理器抽取所述远程数据日志并产生本地数字签名,将抽取的远程数据日志与本地数据日志对比,同步所述远程非关系型数据库的数据到所述本地非关系型数据库中,所述本地非关系型数据库产生新的本地数据日志;
所述远程同步管理器抽取所述本地数据日志并产生远程数字签名,将抽取的本地数据日志与远程数据日志对比,同步所述本地非关系型数据库的数据到所述远程非关系型数据库中,所述远程非关系型数据库产生新的远程数据日志。
CN201110353238.9A 2011-11-09 2011-11-09 非关系型数据库同步系统及双写同步方法 Active CN103106200B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201110353238.9A CN103106200B (zh) 2011-11-09 2011-11-09 非关系型数据库同步系统及双写同步方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201110353238.9A CN103106200B (zh) 2011-11-09 2011-11-09 非关系型数据库同步系统及双写同步方法

Publications (2)

Publication Number Publication Date
CN103106200A true CN103106200A (zh) 2013-05-15
CN103106200B CN103106200B (zh) 2017-08-01

Family

ID=48314065

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201110353238.9A Active CN103106200B (zh) 2011-11-09 2011-11-09 非关系型数据库同步系统及双写同步方法

Country Status (1)

Country Link
CN (1) CN103106200B (zh)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104408058A (zh) * 2014-10-29 2015-03-11 中国建设银行股份有限公司 一种数据访问的方法及装置
CN105095245A (zh) * 2014-05-04 2015-11-25 阿里巴巴集团控股有限公司 基于关联型数据库的归档日志同步方法及系统
CN105279285A (zh) * 2015-11-23 2016-01-27 上海斐讯数据通信技术有限公司 一种关系型数据库与非关系型数据库的同步系统及方法
CN107515874A (zh) * 2016-06-16 2017-12-26 阿里巴巴集团控股有限公司 一种分布式非关系型数据库中同步增量数据的方法与设备
CN108121718A (zh) * 2016-11-28 2018-06-05 北京国双科技有限公司 一种数据处理方法及同步设备
CN109635038A (zh) * 2018-11-20 2019-04-16 福建亿榕信息技术有限公司 一种结构化数据异地双读写方法
CN115203328A (zh) * 2022-07-14 2022-10-18 武汉友理节能科技有限公司 一种关系型数据库到非关系型数据库的同步方法和系统

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101409614A (zh) * 2007-10-12 2009-04-15 华为技术有限公司 一种数据同步方法、系统和设备
CN102065137A (zh) * 2010-12-21 2011-05-18 山东浪潮齐鲁软件产业股份有限公司 一种网络数据库表数据应用程序同步的方法
CN102088489A (zh) * 2010-12-31 2011-06-08 北京理工大学 一种分布式数据同步系统及方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101409614A (zh) * 2007-10-12 2009-04-15 华为技术有限公司 一种数据同步方法、系统和设备
CN102065137A (zh) * 2010-12-21 2011-05-18 山东浪潮齐鲁软件产业股份有限公司 一种网络数据库表数据应用程序同步的方法
CN102088489A (zh) * 2010-12-31 2011-06-08 北京理工大学 一种分布式数据同步系统及方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
NOSQLFAN: ""Redis复制与可扩展集群搭建"", 《HTTP://BLOG.NOSQLFAN.COM/HTML/3153.HTML》, 26 September 2011 (2011-09-26) *
SETPTODREAM: ""MySql主从复制(Master-Slave)"", 《HTTP://WWW.LITVIP.COM/291/》, 1 June 2011 (2011-06-01) *

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105095245A (zh) * 2014-05-04 2015-11-25 阿里巴巴集团控股有限公司 基于关联型数据库的归档日志同步方法及系统
CN105095245B (zh) * 2014-05-04 2019-10-18 阿里巴巴集团控股有限公司 基于关联型数据库的归档日志同步方法及系统
CN104408058A (zh) * 2014-10-29 2015-03-11 中国建设银行股份有限公司 一种数据访问的方法及装置
CN105279285A (zh) * 2015-11-23 2016-01-27 上海斐讯数据通信技术有限公司 一种关系型数据库与非关系型数据库的同步系统及方法
CN105279285B (zh) * 2015-11-23 2018-07-24 上海斐讯数据通信技术有限公司 一种关系型数据库与非关系型数据库的同步系统及方法
CN107515874A (zh) * 2016-06-16 2017-12-26 阿里巴巴集团控股有限公司 一种分布式非关系型数据库中同步增量数据的方法与设备
CN108121718A (zh) * 2016-11-28 2018-06-05 北京国双科技有限公司 一种数据处理方法及同步设备
CN108121718B (zh) * 2016-11-28 2021-12-24 北京国双科技有限公司 一种数据处理方法及同步设备
CN109635038A (zh) * 2018-11-20 2019-04-16 福建亿榕信息技术有限公司 一种结构化数据异地双读写方法
CN115203328A (zh) * 2022-07-14 2022-10-18 武汉友理节能科技有限公司 一种关系型数据库到非关系型数据库的同步方法和系统

Also Published As

Publication number Publication date
CN103106200B (zh) 2017-08-01

Similar Documents

Publication Publication Date Title
CN103106200A (zh) 非关系型数据库同步系统及双写同步方法
CN108170768B (zh) 数据库同步方法、装置及可读介质
CN107544984B (zh) 一种数据处理的方法和装置
JP5961689B2 (ja) 増分データの抽出
US9183268B2 (en) Partition level backup and restore of a massively parallel processing database
CN110674154B (zh) 一种基于Spark的对Hive中数据进行插入、更新和删除的方法
CN102289524B (zh) 一种数据恢复方法及系统
CN104572689A (zh) 数据同步方法、装置及系统
CN103970585A (zh) 创建虚拟机的方法及装置
CN104239443B (zh) 一种序列化数据操作日志的存储方法
CN103514274A (zh) 非关系型数据库HBase的数据迁移方法
CN102811260B (zh) 文件云同步系统及方法
CN102955720A (zh) 一种提高ext文件系统稳定性的方法
CN101944114A (zh) 内存数据库和物理数据库间的数据同步方法
CN111651519B (zh) 数据同步方法、数据同步装置、电子设备及存储介质
CN104077380A (zh) 一种重复数据删除方法、装置及系统
CN105376277A (zh) 一种数据同步方法及装置
CN104461773A (zh) 一种虚拟机备份去重的方法
CN107766355B (zh) 层级数据管理方法、层级数据管理系统及即时通信系统
CN105447168A (zh) Mp4格式的碎片文件恢复与重组的方法
CN104750744A (zh) 一种基于Oracle数据库的压缩数据同步方法及装置
CN103106271A (zh) 一种基于海量数据的数据库备份及恢复方法和系统
CN103473258A (zh) 云存储文件系统
CN103207916B (zh) 元数据处理的方法和装置
CN103617195A (zh) 一种用于MySQL数据库的数据同步系统和方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
ASS Succession or assignment of patent right

Owner name: SHENGDA NETWORK DEVELOPMENT CO., LTD., SHANGHAI

Free format text: FORMER OWNER: SHANGHAI SHENGXIAO CLOUD COMPUTING TECHNOLOGY CO., LTD.

Effective date: 20140611

C41 Transfer of patent application or patent right or utility model
TA01 Transfer of patent application right

Effective date of registration: 20140611

Address after: 201203 building 666, 1 Zhang Heng Road, Shanghai, Pudong New Area

Applicant after: Shanghai Shangda Networking Development Co., Ltd.

Address before: 201203 Shanghai City, Pudong New Area Shanghai City, Guo Shou Jing Road, Zhangjiang hi tech Park No. 356 building 3 room 124

Applicant before: Shanghai Shengxiao Cloud Computing Technology Co., Ltd.

GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right
TR01 Transfer of patent right

Effective date of registration: 20210106

Address after: 201203 room 208, building 2, Lane 666, zhangheng Road, Pudong New Area, Shanghai

Patentee after: SHANGHAI SHENGXIAO CLOUD COMPUTING TECHNOLOGY Co.,Ltd.

Address before: Building 1, 666 zhangheng Road, Pudong New Area, Shanghai, 201203

Patentee before: SHANDA NETWORKING Co.,Ltd.