CN105512207B - 争抢式的数据复制方法 - Google Patents

争抢式的数据复制方法 Download PDF

Info

Publication number
CN105512207B
CN105512207B CN201510848626.2A CN201510848626A CN105512207B CN 105512207 B CN105512207 B CN 105512207B CN 201510848626 A CN201510848626 A CN 201510848626A CN 105512207 B CN105512207 B CN 105512207B
Authority
CN
China
Prior art keywords
synchronous applications
data
task
qualification
synchronous
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201510848626.2A
Other languages
English (en)
Other versions
CN105512207A (zh
Inventor
莫启钧
孟黎明
董平
冯毅
季毅华
邓怡俊
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Ctrip Business Co Ltd
Original Assignee
Shanghai Ctrip Business Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Ctrip Business Co Ltd filed Critical Shanghai Ctrip Business Co Ltd
Priority to CN201510848626.2A priority Critical patent/CN105512207B/zh
Publication of CN105512207A publication Critical patent/CN105512207A/zh
Application granted granted Critical
Publication of CN105512207B publication Critical patent/CN105512207B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/27—Replication, distribution or synchronisation of data between databases or within a distributed database system; Distributed database system architectures therefor
    • G06F16/273—Asynchronous replication or reconciliation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/27—Replication, distribution or synchronisation of data between databases or within a distributed database system; Distributed database system architectures therefor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/27—Replication, distribution or synchronisation of data between databases or within a distributed database system; Distributed database system architectures therefor
    • G06F16/275—Synchronous replication

Landscapes

  • Engineering & Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Computing Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明公开了一种争抢式的数据复制方法。该数据复制方法包括以下步骤：第一同步应用从一争抢器获取当前争执信息；第一同步应用根据获取的当前争执信息进行判断，以及向争抢器发出任务资格请求；争抢器响应任务资格请求，若有其他同步应用的任务资格更优先则拒绝第一同步应用的任务资格请求，否则给予第一同步应用任务资格；第一同步应用从该争抢器所对应的数据库中将数据时间戳起预设时间段的数据复制到目标数据库；第一同步应用在完成数据复制的任务后，向该争抢器提交任务的完成状态及复制数据的时间戳，该争抢器更新信息。本发明能更好地保证数据复制的正常进行，而不会受部分应用或设备的异常或故障的影响，提高了数据同步的效率和可靠性。

Description

争抢式的数据复制方法
技术领域
本发明涉及数据的复制更新，尤其是涉及一种争抢式的数据复制方法。
背景技术
近几年互联网公司的快速发展，各个大公司都采用事业部制的管理方式来提升公司效率和应对行业竞争，但像用户订单等数据需要整体的存储和展示，这就需要将各事业部的不同数据格式的订单数据，复制到整个订单数据中心来存储和展示。
然而，现有技术中的数据库的数据复制方式，通常是通过监听数据库日记的变化由单个同步应用以单一应用循环式的方式进行复制，并且需要源数据和目标数据结构相同，存在着同步延时高、需要人工处理、针对多种类型的同步需求时的同步效率低下的缺陷。
发明内容
本发明要解决的技术问题是为了克服现有技术中的数据复制方法存在着同步延时高、需要人工处理、同步效率低下，以及在个别复制服务和数据出现故障的情况下难以继续数据复制的缺陷，提供一种争抢式的数据复制方法。
本发明是通过下述技术方案来解决上述技术问题的：
一种争抢式的数据复制方法，其特点在于，包括以下步骤：
步骤一、第一同步应用从一争抢器获取当前争执信息，当前争执信息包括当前已获得任务资格的同步应用的ID以及获得任务资格的时间和当前已经完成复制的数据时间戳；
步骤二、第一同步应用根据获取的当前争执信息进行如下判断，若无其他同步应用获得任务资格，则第一同步应用向该争抢器发出任务资格请求，若已有其它同步应用获得任务资格，则第一同步应用计算当前时间与其他同步应用获得任务资格的时间的差值是否超出第一时长，待超出后第一同步应用向该争抢器发出任务资格请求；
步骤三、该争抢器响应第一同步应用的任务资格请求，若有其他同步应用的任务资格请求优先于第一同步应用的任务资格请求，则拒绝第一同步应用的任务资格请求并跳转至步骤一，否则给予第一同步应用任务资格并跳转至步骤四；
步骤四、第一同步应用从该争抢器所对应的数据库中将数据时间戳起预设时间段的数据复制到目标数据库。
步骤五、第一同步应用在完成数据复制的任务后，向该争抢器提交任务的完成状态及复制数据的时间戳，该争抢器将争执信息更新为无应用获得资格的状态及完成复制数据的时间戳。
较佳地，步骤四中的数据复制过程的时长被限制在第一时长内。
较佳地，该争抢器所对应的数据库和目标数据库为异构数据库。
较佳地，该争抢器所对应的数据库中有时间戳的字段。
较佳地，该争抢器所对应的数据库为SQLserver，目标数据库为Mysql。
较佳地，第一时长的取值范围为5-60秒。
较佳地，该预设时间段的取值范围为1-10秒。
在符合本领域常识的基础上，上述各优选条件，可任意组合，即得本发明各较佳实例。
本发明的积极进步效果在于：
本发明提供了一种争抢式的数据复制方法，不仅适于多应用的异构数据的复制，并且在出现故障例如个别异构数据复制应用所在机器死机、应用异常、数据异常的情况下，仍能确保数据复制的功能继续正常的进行，大大提高了数据同步的效率和可靠性。
附图说明
图1为本发明一较佳实施例的争抢式的数据复制方法的流程图。
具体实施方式
下面通过实施例的方式进一步说明本发明，但并不因此将本发明限制在所述的实施例范围之中。
参考图1所示，本发明一较佳实施例的争抢式的数据复制方法，包括以下步骤：
步骤一、第一同步应用从一争抢器获取当前争执信息，当前争执信息包括当前已获得任务资格的同步应用的ID以及获得任务资格的时间和当前已经完成复制的数据时间戳；
步骤二、第一同步应用根据获取的当前争执信息进行如下判断，若无其他同步应用获得任务资格，则第一同步应用向该争抢器发出任务资格请求，若已有其它同步应用获得任务资格，则第一同步应用计算当前时间与其他同步应用获得任务资格的时间的差值是否超出第一时长，待超出后第一同步应用向该争抢器发出任务资格请求；
步骤三、该争抢器响应第一同步应用的任务资格请求，若有其他同步应用的任务资格请求优先于第一同步应用的任务资格请求，则拒绝第一同步应用的任务资格请求并跳转至步骤一，否则给予第一同步应用任务资格并跳转至步骤四；
步骤四、第一同步应用从该争抢器所对应的数据库中将数据时间戳起预设时间段的数据复制到目标数据库。
步骤五、第一同步应用在完成数据复制的任务后，向该争抢器提交任务的完成状态及复制数据的时间戳，该争抢器将争执信息更新为无应用获得资格的状态及完成复制数据的时间戳。
本实施例中，该争抢器所对应的数据库(即源数据库)为SQLserver，SQLserver中有时间戳的字段，目标数据库为Mysql。并且，步骤四中的数据复制过程的时长被限制在20秒内，该预设时间段为5秒。
虽然以上描述了本发明的具体实施方式，但是本领域的技术人员应当理解，这些仅是举例说明，本发明的保护范围是由所附权利要求书限定的。本领域的技术人员在不背离本发明的原理和实质的前提下，可以对这些实施方式做出多种变更或修改，但这些变更和修改均落入本发明的保护范围。

Claims (7)

1.一种争抢式的数据复制方法，其特征在于，包括以下步骤：
步骤一、第一同步应用从一争抢器获取当前争执信息，当前争执信息包括当前已获得任务资格的同步应用的ID以及获得任务资格的时间和当前已经完成复制的数据时间戳；
步骤二、第一同步应用根据获取的当前争执信息进行如下判断，若无其他同步应用获得任务资格，则第一同步应用向该争抢器发出任务资格请求，若已有其它同步应用获得任务资格，则第一同步应用计算当前时间与其他同步应用获得任务资格的时间的差值是否超出第一时长，待超出后第一同步应用向该争抢器发出任务资格请求；
步骤三、该争抢器响应第一同步应用的任务资格请求，若有其他同步应用的任务资格请求优先于第一同步应用的任务资格请求，则拒绝第一同步应用的任务资格请求并跳转至步骤一，否则给予第一同步应用任务资格并跳转至步骤四；
步骤四、第一同步应用从该争抢器所对应的数据库中将数据时间戳起预设时间段的数据复制到目标数据库；
步骤五、第一同步应用在完成数据复制的任务后，向该争抢器提交任务的完成状态及复制数据的时间戳，该争抢器将争执信息更新为无应用获得资格的状态及完成复制数据的时间戳。
2.如权利要求1所述的数据复制方法，其特征在于，步骤四中的数据复制过程的时长被限制在第一时长内。
3.如权利要求1中任意一项所述的数据复制方法，其特征在于，该争抢器所对应的数据库和目标数据库为异构数据库。
4.如权利要求3所述的数据复制方法，其特征在于，该争抢器所对应的数据库中有时间戳的字段。
5.如权利要求4所述的数据复制方法，其特征在于，该争抢器所对应的数据库为SQLserver，目标数据库为Mysql。
6.如权利要求2所述的数据复制方法，其特征在于，第一时长的取值范围为5-60秒。
7.如权利要求1所述的数据复制方法，其特征在于，该预设时间段的取值范围为1-10秒。
CN201510848626.2A 2015-11-27 2015-11-27 争抢式的数据复制方法 Active CN105512207B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201510848626.2A CN105512207B (zh) 2015-11-27 2015-11-27 争抢式的数据复制方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201510848626.2A CN105512207B (zh) 2015-11-27 2015-11-27 争抢式的数据复制方法

Publications (2)

Publication Number Publication Date
CN105512207A CN105512207A (zh) 2016-04-20
CN105512207B true CN105512207B (zh) 2019-04-09

Family

ID=55720189

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201510848626.2A Active CN105512207B (zh) 2015-11-27 2015-11-27 争抢式的数据复制方法

Country Status (1)

Country Link
CN (1) CN105512207B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111382199A (zh) * 2018-12-29 2020-07-07 中兴通讯股份有限公司 一种数据库同步复制的方法和装置

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101196832A (zh) * 2007-12-29 2008-06-11 北京航空航天大学 一种面向照明异构设备的资源代理器
CN101889264A (zh) * 2007-11-02 2010-11-17 高通股份有限公司 可配置系统事件和资源仲裁管理的设备和方法
CN102637214A (zh) * 2012-04-28 2012-08-15 中国工商银行股份有限公司 基于数据库服务间的通用数据同步方法及其系统

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CA2215846A1 (en) * 1995-03-23 1996-09-26 Tatsuya Terada Anhydrous crystals
ES2582364T3 (es) * 2005-12-19 2016-09-12 Commvault Systems, Inc. Sistemas y métodos para realizar replicación de datos

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101889264A (zh) * 2007-11-02 2010-11-17 高通股份有限公司 可配置系统事件和资源仲裁管理的设备和方法
CN101196832A (zh) * 2007-12-29 2008-06-11 北京航空航天大学 一种面向照明异构设备的资源代理器
CN102637214A (zh) * 2012-04-28 2012-08-15 中国工商银行股份有限公司 基于数据库服务间的通用数据同步方法及其系统

Also Published As

Publication number Publication date
CN105512207A (zh) 2016-04-20

Similar Documents

Publication Publication Date Title
US9547563B2 (en) Recovery system and method for performing site recovery using replicated recovery-specific metadata
CN106302806B (zh) 一种数据同步方法、系统、同步获取方法及相关装置
CN103559108B (zh) 一种基于虚拟化实现主备故障自动恢复的方法及系统
CN106716360A (zh) 支持多租户应用服务器环境中的补丁修补的系统和方法
CN103414712B (zh) 一种分布式虚拟桌面管理系统和方法
CN104156367B (zh) 一种搜索引擎的扩容方法及搜索服务系统
CN104021200B (zh) 一种数据库的数据同步方法和装置
CN102890716B (zh) 分布式文件系统和分布式文件系统的数据备份方法
CN106557543A (zh) 节点切换方法及系统
CN104035836B (zh) 集群检索平台中的自动容灾恢复方法及系统
WO2010142111A1 (zh) 一种分布式文件系统中校验和同步数据块的方法及装置
US20120054477A1 (en) Providing a backup service from a remote backup data center to a computer through a network
CN109828867A (zh) 一种跨数据中心的云主机灾备方法及系统
US20190052709A1 (en) Clustered storage system synchronization
CN112190924A (zh) 一种数据容灾方法、装置及计算机可读介质
CN104750755B (zh) 一种数据库主备切换后的数据回补方法及系统
CN111125065A (zh) 可视化数据同步方法、系统、终端和计算机可读存储介质
JP2015535624A (ja) システムアップデートの方法、装置、設備、プログラム及び記録媒体
US8612799B2 (en) Method and apparatus of backing up subversion repository
CN105812169A (zh) 一种主备机切换方法及装置
CN105915391B (zh) 基于单阶段提交并具备自恢复功能的分布式键值存储方法
CN105512207B (zh) 争抢式的数据复制方法
CN113467993A (zh) 一种云平台资源的还原方法、系统、设备及存储介质
CN111078119B (zh) 一种数据重建方法、系统、装置及计算机可读存储介质
CN110377487A (zh) 一种处理高可用集群脑裂的方法及装置

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant