CN105824916B - 数据同步系统及方法 - Google Patents

数据同步系统及方法 Download PDF

Info

Publication number
CN105824916B
CN105824916B CN201610149652.0A CN201610149652A CN105824916B CN 105824916 B CN105824916 B CN 105824916B CN 201610149652 A CN201610149652 A CN 201610149652A CN 105824916 B CN105824916 B CN 105824916B
Authority
CN
China
Prior art keywords
data
directory
source
name
reproducer
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201610149652.0A
Other languages
English (en)
Other versions
CN105824916A (zh
Inventor
蔡峰
刘俊
罗勇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Ctrip Business Co Ltd
Original Assignee
Shanghai Ctrip Business Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Ctrip Business Co Ltd filed Critical Shanghai Ctrip Business Co Ltd
Priority to CN201610149652.0A priority Critical patent/CN105824916B/zh
Publication of CN105824916A publication Critical patent/CN105824916A/zh
Application granted granted Critical
Publication of CN105824916B publication Critical patent/CN105824916B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/27—Replication, distribution or synchronisation of data between databases or within a distributed database system; Distributed database system architectures therefor

Abstract

本发明提供一种数据同步系统及方法，观测器获取数据同步任务信息，数据同步任务信息包括待同步数据的源目录和对应接收同步数据的目标目录；观测器收到源目录中数据变化的信息后经处理获得一消息，消息包括数据同步任务信息、源目录中待处理的数据名和每一数据名对应的操作方式；处理器将消息处理后发送给复制器；复制器分析消息，对于操作方式为新增或修改的对应的数据名，从源目录中下载该些数据名中的数据，并上传到对应的目标目录，对于操作方式为删除的对应的数据名，直接从对应的目标目录中删除该些数据名中的数据。本发明能够及时地发现源集群中数据的变化，灵活控制需要同步的数据，且在同步出现错误时能够自我修复，保证同步稳定可靠。

Description

数据同步系统及方法
技术领域
本发明涉及一种数据同步系统及方法。
背景技术
现有的跨IDC(互联网数据中心)集群数据同步方案，多通过轮询的方式来发现源集群中数据的变化，一方面资源消耗大，另一方面发现不够及时；而且，现有的数据同步方案同步粒度基于整个集群，不够灵活。此外，在数据同步出现错误时不能自我修复，同步不可靠。
发明内容
本发明要解决的技术问题是为了克服现有技术中的集群数据同步方案不及时、以轮询的方式查看效率低、同步粒度太大导致灵活性差的缺陷，提供一种新的数据同步方法及系统。
本发明是通过下述技术方案来解决上述技术问题的：
本发明提供一种数据同步系统，其特点在于，其包括一观测器、一处理器和一复制器；
该观测器用于获取一数据同步任务信息，该数据同步任务信息包括待同步数据的源目录和对应接收同步数据的目标目录；
该观测器用于接收到一该源目录中数据变化的信息后，经处理获得一消息并将该消息传输至该处理器，该消息包括该数据同步任务信息、该源目录中待处理的数据名和每一数据名对应的操作方式，该操作方式包括新增的、修改的和删除的；
该处理器用于将该消息处理后发送给对应的复制器；
该复制器用于分析获得的消息，对于操作方式为新增或修改的所对应的数据名，从该源目录中下载该些数据名中的数据，并上传到该对应的目标目录，对于操作方式为删除的所对应的数据名，直接从该对应的目标目录中删除该些数据名中的数据。
较佳地，该观测器用于定期对比该源目录和该对应的目标目录，在该源目录和该对应的目标目录中的数据不一致时生成一数据信息，该数据信息包括该源目录中与该对应的目标目录中数据不一致的数据名和仅该对应的目标目录中具有的数据的数据名；
该处理器用于将该数据信息处理后发送给该复制器；
该复制器用于从该源目录中下载获得的数据信息中数据不一致的数据名中的数据，并上传到该对应的目标目录，并直接删除仅该对应的目标目录中具有的数据名中的数据。
本方案的定期检查方案能够有效地解决同步错误导致的源目录和目标目录间数据不一致的问题，实现自我修复，保证同步稳定可靠。
较佳地，该数据同步系统还包括一源集群和一目标集群，该源集群包括多个存储有多个数据的源目录，该目标集群包括多个目标目录。
本发明还提供一种数据同步方法，其特点在于，其利用上述的数据同步系统实现，该数据同步方法包括以下步骤：
S1、该观测器获取一数据同步任务信息，该数据同步任务信息包括待同步数据的源目录和对应接收同步数据的目标目录；
S2、该观测器接收到一该源目录中数据变化的信息后，经处理获得一消息并将该消息传输至该处理器，该消息包括该数据同步任务信息、该源目录中待处理的数据名和每一数据名对应的操作方式，该操作方式包括新增的、修改的和删除的；
S3、该处理器将该消息处理后发送给对应的复制器；
S4、该复制器分析获得的消息，对于操作方式为新增或修改的所对应的数据名，从该源目录中下载该些数据名中的数据，并上传到该对应的目标目录，对于操作方式为删除的所对应的数据名，直接从该对应的目标目录中删除该些数据名中的数据。
较佳地，在步骤S4之后还包括：
S5、该观测器定期对比该源目录和该对应的目标目录，在该源目录和该对应的目标目录中的数据不一致时生成一数据信息，该数据信息包括该源目录中与该对应的目标目录中数据不一致的数据名和仅该对应的目标目录中具有的数据的数据名；
S6、该处理器将该数据信息处理后发送给该复制器；
S7、该复制器从该源目录中下载获得的数据信息中数据不一致的数据名中的数据，并上传到该对应的目标目录，并直接删除仅该对应的目标目录中具有的数据名中的数据。
本发明的积极进步效果在于：
本发明能够及时地发现源集群中数据的变化，灵活控制需要同步的数据，且在同步出现错误时能够自我修复，保证同步稳定可靠。
附图说明
图1为本发明较佳实施例的数据同步系统的结构框图。
图2为本发明较佳实施例的数据同步方法的流程图。
具体实施方式
下面通过实施例的方式进一步说明本发明，但并不因此将本发明限制在所述的实施例范围之中。
本实施例提供一种数据同步系统，其包括一源集群和一目标集群，该源集群包括多个存储有多个数据的源目录，该目标集群包括多个目标目录。
如图1所示，该数据同步系统还包括一观测器1、一处理器2和一复制器3。
该观测器1用于获取一数据同步任务信息，该数据同步任务信息包括待同步数据的源目录和对应接收同步数据的目标目录。
该观测器1用于接收到一该源目录中数据变化的信息后，经处理获得一消息并将该消息传输至该处理器，该消息包括该数据同步任务信息、该源目录中待处理的数据名和每一数据名对应的操作方式，该操作方式包括新增的、修改的和删除的。
该处理器2用于将该消息处理后发送给对应的复制器。
该复制器3用于分析获得的消息，对于操作方式为新增或修改的所对应的数据名，从该源目录中下载该些数据名中的数据，并上传到该对应的目标目录，对于操作方式为删除的所对应的数据名，直接从该对应的目标目录中删除该些数据名中的数据。
而且，该观测器1还用于定期对比该源目录和该对应的目标目录，在该源目录和该对应的目标目录中的数据不一致时生成一数据信息，该数据信息包括该源目录中与该对应的目标目录中数据不一致的数据名和仅该对应的目标目录中具有的数据的数据名。
该处理器2还用于将该数据信息处理后发送给该复制器。
该复制器3还用于从该源目录中下载获得的数据信息中数据不一致的数据名中的数据，并上传到该对应的目标目录，并直接删除仅该对应的目标目录中具有的数据名中的数据。
本实施例的定期检查方案能够有效地解决同步错误导致的源目录和目标目录间数据不一致的问题，实现自我修复，保证同步稳定可靠。
如图2所示，本实施例还提供一种数据同步方法，其利用上述的数据同步系统实现，该数据同步方法包括以下步骤：
步骤101、该观测器获取一数据同步任务信息，该数据同步任务信息包括待同步数据的源目录和对应接收同步数据的目标目录。
步骤102、该观测器接收到一该源目录中数据变化的信息后，经处理获得一消息并将该消息传输至该处理器，该消息包括该数据同步任务信息、该源目录中待处理的数据名和每一数据名对应的操作方式，该操作方式包括新增的、修改的和删除的。
步骤103、该处理器将该消息处理后发送给对应的复制器。
步骤104、该复制器分析获得的消息，对于操作方式为新增或修改的所对应的数据名，从该源目录中下载该些数据名中的数据，并上传到该对应的目标目录，对于操作方式为删除的所对应的数据名，直接从该对应的目标目录中删除该些数据名中的数据。
而且，在步骤104之后还包括：
步骤105、该观测器定期对比该源目录和该对应的目标目录，在该源目录和该对应的目标目录中的数据不一致时生成一数据信息，该数据信息包括该源目录中与该对应的目标目录中数据不一致的数据名和仅该对应的目标目录中具有的数据的数据名。
步骤106、该处理器将该数据信息处理后发送给该复制器。
步骤107、该复制器从该源目录中下载获得的数据信息中数据不一致的数据名中的数据，并上传到该对应的目标目录，并直接删除仅该对应的目标目录中具有的数据名中的数据。
虽然以上描述了本发明的具体实施方式，但是本领域的技术人员应当理解，这些仅是举例说明，本发明的保护范围是由所附权利要求书限定的。本领域的技术人员在不背离本发明的原理和实质的前提下，可以对这些实施方式做出多种变更或修改，但这些变更和修改均落入本发明的保护范围。

Claims (4)

1.一种数据同步系统，其特征在于，其包括一观测器、一处理器和一复制器；该数据同步系统还包括一源集群和一目标集群，该源集群包括多个存储有多个数据的源目录，该目标集群包括多个目标目录；
该观测器用于获取一数据同步任务信息，该数据同步任务信息包括待同步数据的源目录和对应接收同步数据的目标目录；
该观测器用于接收到一该源目录中数据变化的信息后，经处理获得一消息并将该消息传输至该处理器，该消息包括该数据同步任务信息、该源目录中待处理的数据名和每一数据名对应的操作方式，该操作方式包括新增的、修改的和删除的；
该处理器用于将该消息处理后发送给对应的复制器；
该复制器用于分析获得的消息，对于操作方式为新增或修改的所对应的数据名，从该源目录中下载该些数据名中的数据，并上传到该对应的目标目录，对于操作方式为删除的所对应的数据名，直接从该对应的目标目录中删除该些数据名中的数据。
2.如权利要求1所述的数据同步系统，其特征在于，该观测器用于定期对比该源目录和该对应的目标目录，在该源目录和该对应的目标目录中的数据不一致时生成一数据信息，该数据信息包括该源目录中与该对应的目标目录中数据不一致的数据名和仅该对应的目标目录中具有的数据的数据名；
该处理器用于将该数据信息处理后发送给该复制器；
该复制器用于从该源目录中下载获得的数据信息中数据不一致的数据名中的数据，并上传到该对应的目标目录，并直接删除仅该对应的目标目录中具有的数据名中的数据。
3.一种数据同步方法，其特征在于，其利用如权利要求1所述的数据同步系统实现，该数据同步方法包括以下步骤：
S1、该观测器获取一数据同步任务信息，该数据同步任务信息包括待同步数据的源目录和对应接收同步数据的目标目录；
S2、该观测器接收到一该源目录中数据变化的信息后，经处理获得一消息并将该消息传输至该处理器，该消息包括该数据同步任务信息、该源目录中待处理的数据名和每一数据名对应的操作方式，该操作方式包括新增的、修改的和删除的；
S3、该处理器将该消息处理后发送给对应的复制器；
S4、该复制器分析获得的消息，对于操作方式为新增或修改的所对应的数据名，从该源目录中下载该些数据名中的数据，并上传到该对应的目标目录，对于操作方式为删除的所对应的数据名，直接从该对应的目标目录中删除该些数据名中的数据。
4.如权利要求3所述的数据同步方法，其特征在于，在步骤S4之后还包括：
S5、该观测器定期对比该源目录和该对应的目标目录，在该源目录和该对应的目标目录中的数据不一致时生成一数据信息，该数据信息包括该源目录中与该对应的目标目录中数据不一致的数据名和仅该对应的目标目录中具有的数据的数据名；
S6、该处理器将该数据信息处理后发送给该复制器；
S7、该复制器从该源目录中下载获得的数据信息中数据不一致的数据名中的数据，并上传到该对应的目标目录，并直接删除仅该对应的目标目录中具有的数据名中的数据。
CN201610149652.0A 2016-03-16 2016-03-16 数据同步系统及方法 Active CN105824916B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201610149652.0A CN105824916B (zh) 2016-03-16 2016-03-16 数据同步系统及方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201610149652.0A CN105824916B (zh) 2016-03-16 2016-03-16 数据同步系统及方法

Publications (2)

Publication Number Publication Date
CN105824916A CN105824916A (zh) 2016-08-03
CN105824916B true CN105824916B (zh) 2019-05-31

Family

ID=56523457

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610149652.0A Active CN105824916B (zh) 2016-03-16 2016-03-16 数据同步系统及方法

Country Status (1)

Country Link
CN (1) CN105824916B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106919696B (zh) * 2017-03-07 2020-08-14 上海携程商务有限公司 Seo站点构建方法及seo请求的响应方法
CN111105624A (zh) * 2019-12-27 2020-05-05 恒大智慧科技有限公司 停车场进出控制方法及系统

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102202073A (zh) * 2010-03-24 2011-09-28 杭州华三通信技术有限公司 一种分布式系统及其数据同步方法
CN102739706A (zh) * 2011-04-07 2012-10-17 腾讯科技（深圳）有限公司 进行数据同步的方法及系统
CN102915338A (zh) * 2012-09-18 2013-02-06 浪潮(北京)电子信息产业有限公司 一种分布式文件系统数据同步的方法及文件系统
CN103905561A (zh) * 2014-04-14 2014-07-02 北京君正集成电路股份有限公司 一种同步数据的方法及系统

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102004743B (zh) * 2009-09-02 2013-08-14 中国银联股份有限公司 一种用于异构数据库之间数据复制的系统及方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102202073A (zh) * 2010-03-24 2011-09-28 杭州华三通信技术有限公司 一种分布式系统及其数据同步方法
CN102739706A (zh) * 2011-04-07 2012-10-17 腾讯科技（深圳）有限公司 进行数据同步的方法及系统
CN102915338A (zh) * 2012-09-18 2013-02-06 浪潮(北京)电子信息产业有限公司 一种分布式文件系统数据同步的方法及文件系统
CN103905561A (zh) * 2014-04-14 2014-07-02 北京君正集成电路股份有限公司 一种同步数据的方法及系统

Also Published As

Publication number Publication date
CN105824916A (zh) 2016-08-03

Similar Documents

Publication Publication Date Title
CN109542865B (zh) 分布式集群系统配置文件同步方法、装置、系统及介质
US11507594B2 (en) Bulk data distribution system
EP3300334A1 (en) Network-based file cloud synchronization method
US8775377B1 (en) Efficient data backup with change tracking
CN105205154B (zh) 数据迁移方法以及装置
CN107885804A (zh) 数据库同步方法、应用服务器及计算机可读存储介质
CN109144785B (zh) 用于备份数据的方法和装置
US9036980B2 (en) Methods for efficiently combining partial ABR recordings
CN106850761A (zh) 日志文件存储方法及装置
CN105208060B (zh) 业务数据同步方法、装置及系统
CN110505495B (zh) 多媒体资源抽帧方法、装置、服务器及存储介质
CN104615598B (zh) 元数据服务器的迁移处理方法及装置
WO2016029744A1 (zh) 一种元数据恢复方法及相关装置
CN104378234A (zh) 跨数据中心的数据传输处理方法及系统
CN103577500A (zh) 分布式文件系统进行数据处理的方法及该分布式文件系统
CN106503158A (zh) 数据同步方法及装置
CN105376277A (zh) 一种数据同步方法及装置
CN105824916B (zh) 数据同步系统及方法
CN112559475A (zh) 数据实时捕获和传输方法及系统
CN105320577B (zh) 一种数据备份和恢复方法、系统及装置
CN113485962A (zh) 日志文件的存储方法、装置、设备和存储介质
CN103327112B (zh) 基于云存储的桌面同步方法以及实现桌面同步的装置
CN114328268A (zh) 基于流量回放的软件测试方法、装置、设备及介质
CN106682141B (zh) 一种基于业务操作日志的数据同步方法
CN112835978A (zh) 一种数据存储方法、装置及计算机设备

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant