CN105989123A - 一种数据同步方法、装置和系统 - Google Patents

一种数据同步方法、装置和系统 Download PDF

Info

Publication number
CN105989123A
CN105989123A CN201510080976.9A CN201510080976A CN105989123A CN 105989123 A CN105989123 A CN 105989123A CN 201510080976 A CN201510080976 A CN 201510080976A CN 105989123 A CN105989123 A CN 105989123A
Authority
CN
China
Prior art keywords
data
storage
amendment
message queue
asynchronous message
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201510080976.9A
Other languages
English (en)
Inventor
黄金艳
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Advanced New Technologies Co Ltd
Advantageous New Technologies Co Ltd
Original Assignee
Alibaba Group Holding Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Alibaba Group Holding Ltd filed Critical Alibaba Group Holding Ltd
Priority to CN201510080976.9A priority Critical patent/CN105989123A/zh
Priority to EP16748704.0A priority patent/EP3258396A1/en
Priority to PCT/CN2016/073440 priority patent/WO2016127903A1/zh
Priority to JP2017542457A priority patent/JP6749926B2/ja
Publication of CN105989123A publication Critical patent/CN105989123A/zh
Priority to US15/675,138 priority patent/US10509585B2/en
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/27—Replication, distribution or synchronisation of data between databases or within a distributed database system; Distributed database system architectures therefor
    • G06F16/273—Asynchronous replication or reconciliation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0628—Interfaces specially adapted for storage systems making use of a particular technique
    • G06F3/0646—Horizontal data movement in storage systems, i.e. moving data in between storage devices or systems
    • G06F3/065—Replication mechanisms
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0602—Interfaces specially adapted for storage systems specifically adapted to achieve a particular effect
    • G06F3/0614—Improving the reliability of storage systems
    • G06F3/0619—Improving the reliability of storage systems in relation to data integrity, e.g. data losses, bit errors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0668—Interfaces specially adapted for storage systems adopting a particular infrastructure
    • G06F3/0671—In-line storage system
    • G06F3/0683—Plurality of storage devices

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Databases & Information Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Human Computer Interaction (AREA)
  • Computing Systems (AREA)
  • Computer Security & Cryptography (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Hardware Redundancy (AREA)

Abstract

本申请实施例提供了一种数据同步方法、装置和系统。该数据同步方法包括：接收主存储上的第一修改数据；将所述第一修改数据加入异步消息队列；通过消息发送线程，将所述异步消息队列中的所述第一修改数据发送至备用存储。本申请实施例通过将主存储上的修改数据加入异步消息队列，并通过开启一个或多个消息发送线程发送异步消息队列中的修改数据至备用存储，使得主备存储之间的数据同步不再受主存储资源的限制，该方法通过多个线程发送数据减小了数据同步时主备存储之间的延时。

Description

一种数据同步方法、装置和系统
技术领域
本申请涉及数据处理技术领域，特别是涉及一种数据同步方法、一种数据同步装置和一种数据同步系统。
背景技术
在要求高可用和高数据安全的软件系统中，都需要对数据做实时备份。当前主要解决方案有两种，主存储同步写到备份储存和主存储异步写到备份存储。
其中，Oracle Data Guard：Data Guard是甲骨文推出的一种高可用性数据库方案。它是在主存储与备用存储间通过日志同步来保证数据的同步，可以实现数据库快速切换与灾难性恢复。用户能够在对主存储数据库影响很小的情况下，实现主备数据的同步，而主备存储之间的数据差异只限于在线日志部分，因此被不少企业用作数据容灾解决方案。其主备数据同步方式可以配置成同步更新备用存储数据库和异步更新备用存储数据库两种。
然而，该方案中主存储与备用存储之间的延时比较大，对于实时性要求非常高的场景无法适用。
因此，目前需要本领域技术人员迫切解决的一个技术问题就是：如何能在数据同步时减小主存储与备用存储之间的延时
发明内容
本申请实施例所要解决的技术问题是提供一种数据同步方法，能够在数据同步时减小主存储与备用存储之间的延时。
相应的，本申请实施例还提供了一种数据同步装置和一种数据同步系统，用以保证上述方法的实现及应用。
为了解决上述问题，本申请公开了一种数据同步方法，包括：
接收主存储上的第一修改数据；
将所述第一修改数据加入异步消息队列；
通过消息发送线程，将所述异步消息队列中的所述第一修改数据发送至备用存储。
进一步，所述接收主存储上的第一修改数据，包括：
接收主存储上的所述第一修改数据的数据快照。
进一步，所述方法还包括：
接收积压数据查询请求；
反馈所述异步消息队列中未发送的数据。
进一步，所述方法还包括：
接收所述备用存储反馈的所述第一修改数据存储成功的信息；
删除所述第一修改数据。
进一步，所述接收所述备用存储反馈的所述第一修改数据存储成功的信息，包括：
接收所述备用存储在满足反馈条件时触发反馈的所述第一修改数据存储成功的信息，其中，所述反馈条件为在所述备用存储中成功存储所述第一修改数据的存储单元在所述备用存储的存储单元中所占的比例达到预设比例阈值。
进一步，所述通过消息发送线程，将所述异步消息队列中的所述第一修改数据发送至备用存储，包括：
通过消息发送线程，将所述异步消息队列中的所述第一修改数据发送至备用内存存储，其中，所述备用内存存储的数据过期时间大于所述主存储将数据同步到第二备用存储的延时。
本申请还公开了一种数据同步装置，包括：
数据接收单元，被配置为接收主存储发送的第一修改数据；
数据处理单元，被配置为将所述第一修改数据加入异步消息队列；
数据发送单元，被配置为通过消息发送线程，将所述异步消息队列中的所述第一修改数据发送至备用存储。
进一步，所述数据接收单元，具体被配置为接收主存储发送的所述第一修改数据的数据快照。
进一步，所述装置还包括：
请求接收单元，被配置为接收积压数据查询请求；
信息反馈单元，被配置为反馈所述异步消息队列中未发送的数据。
进一步，所述装置还包括：
信息接收单元，被配置为接收所述备用存储反馈的所述第一修改数据存储成功的信息；
数据删除单元，被配置为删除所述第一修改数据。
进一步，所述信息接收单元，具体被配置为接收所述备用存储在满足反馈条件时触发反馈的所述第一修改数据存储成功的信息，其中，所述反馈条件为在所述备用存储中成功存储所述第一修改数据的存储单元在所述备用存储的存储单元中所占的比例达到预设比例阈值。
进一步，所述数据发送单元，具体被配置为通过消息发送线程，将所述异步消息队列中的所述第一修改数据发送至备用内存存储，其中，所述备用内存存储的数据过期时间大于所述主存储将数据同步到第二备用存储的延时。
本申请还公开了一种数据同步系统，包括主存储、异步消息队列系统、备用内存存储和第二备用存储；
所述异步消息队列系统，被配置为接收所述主存储发送的第一修改数据；将所述第一修改数据加入异步消息队列；通过消息发送线程，将所述异步消息队列中的所述第一修改数据发送至所述备用内存存储；
所述第二备用存储，被配置为接收并存储所述主存储的同步数据；
其中，所述备用内存存储的数据过期时间大于所述主存储将数据同步到所述第二备用存储的延时。
与现有技术相比，本申请实施例包括以下优点：
本申请实施例通过将主存储上的修改数据加入异步消息队列，并通过开启一个或多个消息发送线程发送异步消息队列中的修改数据至备用存储，使得主备存储之间的数据同步不再受主存储资源的限制，该方法通过多个线程发送数据减小了数据同步时主备存储之间的延时。
附图说明
图1是本申请的一种数据同步方法实施例的步骤流程图；
图2是本申请中一种提供数据查询的方法实施例的步骤流程图；
图3是本申请的另一种数据同步方法实施例的步骤流程图；
图4是本申请的一种数据同步装置实施例的结构框图；
图5是本申请的另一种数据同步装置实施例的结构框图；
图6是本申请的另一种数据同步装置实施例的结构框图；
图7是本申请的一种数据同步系统实施例的结构框图。
具体实施方式
为使本申请的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本申请作进一步详细的说明。
参照图1，示出了本申请的一种数据同步方法实施例的步骤流程图，具体可以包括如下步骤：
步骤101，接收主存储的第一修改数据。
本申请实施例中的数据同步装置可以是介于主存储与备用存储之间，独立实现同步数据处理和发送的装置。
当主存储上发生数据修改或数据更新等数据变动时，业务系统会读取该主存储上的修改数据，记为第一修改数据，然后将该第一修改数据发送至该数据同步装置。
具体的，该业务系统可以向该数据同步装置发送第一修改数据的数据快照。主存储的数据修改和数据快照的发送在同一个事务内完成，以保证主存储上的数据修改和数据快照发送的原子性。
步骤102，将第一修改数据加入异步消息队列。
本实施例中，该数据同步装置在接收到第一修改数据后，将该第一修改数据加入异步消息队列中，如果接收到的是第一修改数据的快照，则将该快照加入异步消息队列。在数据同步时，读取该异步部消息队列中的数据进行同步。当该数据同步装置将该第一修改数据加入异步消息队列后，还可以向业务系统返回数据入库成功的信息。
该异步消息队列不仅用于放置需要进行同步的数据，还可以对外提供查询接口，以提供对异步消息队列内数据发送情况的查询。
步骤103，通过消息发送线程，将异步消息队列中的第一修改数据发送至备用存储。
在数据同步时，该数据同步装置可以通过消息发送线程将异步消息队列中的第一修改数据发送至备用存储。其中，该数据同步装置可以部署成集群系统，这样可以比单个物理数据库拥有更新的网络链接，可以开启更多的消息发送线程，异步消息队列中的所有修改数据通过多个消息发送线程发送时，异地数据同步的时间延时甚至可以做到单次网络通信的极限，从而主备存储之间的数据同步不受主存储资源的影响。
其中，该备用存储可以是Oracle备用存储，也可以不同种类存储单元的组合等，如内存和Oracle备用存储的组合。
本申请实施例通过将主存储上的修改数据加入异步消息队列，并通过开启一个或多个消息发送线程发送异步消息队列中的修改数据至备用存储，使得主备存储之间的数据同步不再受主存储资源的限制，该方法通过多个线程发送数据减小了数据同步时主备存储之间的延时。
而且，本申请实施例中主存储的数据更新和数据快照消息的发送是同步处理的，引入的不稳定因素就只有异步消息队列。但是对于本实施例中的数据同步方法，应用系统层面可以通过集群方式快速实现主备存储间的数据同步，数据库层面由于数据快照消息没有业务含义，完全可以随机分库，单个异步消息队列的物理库宕机后自动剔除即可，不影响可用性。在业务吞吐量方面，由于对于业务系统只是增加了数据快照消息发送的同步调用，业务逻辑非常简单，主要是网络消耗，一般情况下只需3毫秒，对业务系统的吞吐量和延时影响极小。因此，该数据同步方法几乎不影响在线业务处理，对整个业务的稳定性、延时、吞吐量等几乎无影响。
在本申请的另一实施例中，如图2所示，该方法还可以进一步包括以下步骤：
步骤201，接收积压数据查询请求。
数据同步装置可以提供查询接口，通过该接口接收业务系统等对异步消息队列中积压数据的查询请求。
步骤202，反馈异步消息队列中未发送的数据。
该数据同步装置查询异步消息队列中未投递的数据，并将该数据或该数据的相关信息反馈至业务系统等查询方。
该步骤201～202可以在前述步骤102后执行，也可以根据需要调整其与步骤101～103之间的步骤顺序，此处不做限定。
本实施例中，如果主存储上的修改数据已经成功提交至业务系统，则该数据快照消息也就已经发送到异步消息队列里面，如果在异步消息队列里面没有积压的数据，则该主存储上的修改数据一定已经成功写入备用存储。
该数据同步装置通过对外提供异步消息队列中积压数据的查询，从而可以区分哪些修改数据没有同步到备用存储中，能准确检测到主存储与备用存储之间的数据差异。而且可以检测出备用存储中与这些修改数据对应的不可靠数据，当主存储宕机时可以快速剔除极少量的异常数据，让备用存储中的正常数据提供正常的更新服务。
在本申请的另一实施例中，如图3所示，该方法还可以进一步包括：
步骤301，接收备用存储反馈的第一修改数据存储成功的信息。
备用存储在接收到第一修改数据，并将第一修改数据成功存入备用存储后，备用存储会向该数据同步装置反馈存储成功的信息。
具体的，备用存储可以在满足预置反馈条件时再触发反馈第一修改数据存储成功的信息。
例如，如果备用存储中包含多个相同且相互独立的存储单元，各存储单元各自进行同步数据的存储。则该反馈条件可以是在备用存储中成功存储第一修改数据的存储单元在备用存储的所有存储单元中所占的比例达到预设比例阈值。该比例阈值可以是50％等。也即当该第一修改数据在备用存储中达到半数存储时，备用存储即可反馈第一修改数据存储成功的信息。
在要求极端严格，备用存储中的数据在常规情况不使用的场景可以配置成所有存储单元写入成功才返反馈存储成功的信息。
步骤302，删除第一修改数据。
数据同步装置在将异步消息队列中的第一修改数据发送给备用存储后，不会马上删除该第一修改数据，可以对该第一修改数据进行标记并存储，以表明该第一修改数据已经发送完成，在接收到第一修改数据存储成功的信息后，再删除该第一修改数据。
在本申请另一实施例中，备用存储可以有两个，包括备用内存存储和第二备用存储，该第二备用存储具体可以是Oracle备用存储。
该数据同步装置在将第一修改数据发送至备用存储时，具体可以是通过消息发送线程，将异步消息队列中的第一修改数据发送至备用内存存储。内存的读写速度很快，通过将修改数据发送至备用内存存储可以实现修改数据的快速写入。但是由于备用内存存储的存储空闲限制，不适合保存大数据量的数据，备用内存存储上会设置有数据过期时间，过期的数据会直接被删除掉。
基于此，为了便于大数据量的数据存储和查询，主存储可以采用同步或异步存储的方式将主存储上的数据完全发送至第二备用存储中进行储存。只要将备用内存存储的数据过期时间设置为远大于主存储将数据同步到第二备用存储的延时即可。这样既可以通过备用内存存储快速写入修改数据，并只需保留最近一段时间内的修改数据，也可以通过第二备用存储读取所有同步数据。其中，在设置备用内存存储的数据过期时间时，需要首先获知主存储与第二备用存储在数据同步时的延时，该延时的获得有多种方式，例如，由于主存储同步数据到第二备用存储是有序的，可以通过在主存储的数据上写入一个时间戳，再到第二备用存储中查询接收到该数据的时间，就可以实时监控主存储同步数据到第二备用存储的时间延时。
针对不同应用场景，本申请中备用存储的使用方式不同。对于只需要查询最近一段时间内有变化的数据，则直接查询备用内存存储即可，如金融系统中风险检测；如果是用于容灾，则需要把异步消息队列中积压数据排查在外，这部分数据暂时不提供服务，然后通过比对备用内存存储和第二备用存储获得最新数据，该最新数据剔除了在备用内存存储中未完全成功存储的部分数据，该最新数据和主存储中的数据一定是一致的，该最新数据可以直接对外提供修改服务。这种使用方式是金融系统的高可用、机房级灾备、异地灾备等场景中的最核心解决方案。
需要说明的是，对于方法实施例，为了简单描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本申请实施例并不受所描述的动作顺序的限制，因为依据本申请实施例，某些步骤可以采用其他顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于优选实施例，所涉及的动作并不一定是本申请实施例所必须的。
参照图4，示出了本申请一种数据同步装置实施例的结构框图，具体可以包括如下单元：
数据接收单元401，被配置为接收主存储发送的第一修改数据。
数据处理单元402，被配置为将所述第一修改数据加入异步消息队列。
数据发送单元403，被配置为通过消息发送线程，将所述异步消息队列中的所述第一修改数据发送至备用存储。
本申请实施例通过上述单元将主存储上的修改数据加入异步消息队列，并通过开启一个或多个消息发送线程发送异步消息队列中的修改数据至备用存储，使得主备存储之间的数据同步不再受主存储资源的限制，该装置通过多个线程发送数据减小了数据同步时主备存储之间的延时。
而且，本申请实施例中主存储的数据更新和数据快照消息的发送是同步处理的，引入的不稳定因素就只有异步消息队列。但是对于本实施例中的数据同步装置，应用系统层面可以通过集群方式快速实现主备存储间的数据同步，数据库层面由于数据快照消息没有业务含义，完全可以随机分库，单个异步消息队列的物理库宕机后自动剔除即可，不影响可用性。在业务吞吐量方面，由于对于业务系统只是增加了数据快照消息发送的同步调用，业务逻辑非常简单，主要是网络消耗，一般情况下只需3毫秒，对业务系统的吞吐量和延时影响极小。因此，该数据同步装置几乎不影响在线业务处理，对整个业务的稳定性、延时、吞吐量等几乎无影响。
在本申请的另一实施例中，数据接收单元401，具体被配置为接收主存储发送的所述第一修改数据的数据快照。
在本申请的另一实施例中，如图5所示，该装置还包括：
请求接收单元501，被配置为接收积压数据查询请求。
信息反馈单元502，被配置为反馈所述异步消息队列中未发送的数据。
该数据同步装置通过对外提供异步消息队列中积压数据的查询，从而可以区分哪些修改数据没有同步到备用存储中，从而可以检测出备用存储中与这些修改数据对应的不可靠数据，当主存储宕机时可以快速剔除极少量的异常数据，让备用存储中的正常数据提供正常的更新服务。
在本申请的另一实施例中，如图6所示，该装置还包括：
信息接收单元601，被配置为接收所述备用存储反馈的所述第一修改数据存储成功的信息。
数据删除单元602，被配置为删除所述第一修改数据。
其中，信息接收单元601，具体可以被配置为接收所述备用存储在满足反馈条件时触发反馈的所述第一修改数据存储成功的信息，其中，所述反馈条件为在所述备用存储中成功存储所述第一修改数据的存储单元在所述备用存储的存储单元中所占的比例达到预设比例阈值。
在另一实施例中，数据发送单元403，具体可以被配置为通过消息发送线程，将所述异步消息队列中的所述第一修改数据发送至备用内存存储，其中，所述备用内存存储的数据过期时间大于所述主存储将数据同步到第二备用存储的延时。
本申请实施例还公开了一种电子设备，包括存储器、收发器和处理器。
处理器与收发器和存储器通过总线相互连接；总线可以是ISA总线、PCI总线或EISA总线等。所述总线可以分为地址总线、数据总线、控制总线等。
其中，存储器用于存储一段程序，具体地，程序可以包括程序代码，所述程序代码包括计算机操作指令。存储器可能包含高速RAM存储器，也可能还包括非易失性存储器(non-volatile memory)，例如至少一个磁盘存储器。
收发器，用于接收主存储上的第一修改数据；通过消息发送线程，将异步消息队列中的所述第一修改数据发送至备用存储。
处理器用于读取存储器中的程序代码，执行以下步骤：
将所述第一修改数据加入异步消息队列。
参照图7，示出了本申请一种数据同步系统实施例的结构框图，具体可以包括主存储701、异步消息队列系统702和备用存储，备用存储包括备用内存存储703和第二备用存储704。
异步消息队列系统702，被配置为接收所述主存储701发送的第一修改数据；将所述第一修改数据加入异步消息队列；通过消息发送线程，将所述异步消息队列中的所述第一修改数据发送至所述备用内存存储703。
第二备用存储704，被配置为接收并存储所述主存储701的同步数据；
其中，备用内存存储703的数据过期时间大于所述主存储701将数据同步到第二备用存储704的延时。
该第二备用存储704具体可以是Oracle备用存储。
对于装置实施例而言，由于其与方法实施例基本相似，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
本说明书中的各个实施例均采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似的部分互相参见即可。
本领域内的技术人员应明白，本申请实施例的实施例可提供为方法、装置、或计算机程序产品。因此，本申请实施例可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请实施例可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
在一个典型的配置中，所述计算机设备包括一个或多个处理器(CPU)、输入/输出接口、网络接口和内存。内存可能包括计算机可读介质中的非永久性存储器，随机存取存储器(RAM)和/或非易失性内存等形式，如只读存储器(ROM)或闪存(flash RAM)。内存是计算机可读介质的示例。计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带，磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。按照本文中的界定，计算机可读介质不包括非持续性的电脑可读媒体(transitory media)，如调制的数据信号和载波。
本申请实施例是参照根据本申请实施例的方法、终端设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理终端设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理终端设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理终端设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理终端设备上，使得在计算机或其他可编程终端设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程终端设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
尽管已描述了本申请实施例的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例做出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本申请实施例范围的所有变更和修改。
最后，还需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者终端设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者终端设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者终端设备中还存在另外的相同要素。
以上对本申请所提供的一种数据同步方法和一种数据同步装置，进行了详细介绍，本文中应用了具体个例对本申请的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本申请的方法及其核心思想；同时，对于本领域的一般技术人员，依据本申请的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本申请的限制。

Claims (13)

1.一种数据同步方法，其特征在于，包括：
接收主存储上的第一修改数据；
将所述第一修改数据加入异步消息队列；
通过消息发送线程，将所述异步消息队列中的所述第一修改数据发送至备用存储。
2.根据权利要求1所述的方法，其特征在于，所述接收主存储上的第一修改数据，包括：
接收主存储上的所述第一修改数据的数据快照。
3.根据权利要求1所述的方法，其特征在于，所述方法还包括：
接收积压数据查询请求；
反馈所述异步消息队列中未发送的数据。
4.根据权利要求1所述的方法，其特征在于，所述方法还包括：
接收所述备用存储反馈的所述第一修改数据存储成功的信息；
删除所述第一修改数据。
5.根据权利要求4所述的方法，其特征在于，所述接收所述备用存储反馈的所述第一修改数据存储成功的信息，包括：
接收所述备用存储在满足反馈条件时触发反馈的所述第一修改数据存储成功的信息，其中，所述反馈条件为在所述备用存储中成功存储所述第一修改数据的存储单元在所述备用存储的存储单元中所占的比例达到预设比例阈值。
6.根据权利要求1至5中任意一项所述的方法，其特征在于，所述通过消息发送线程，将所述异步消息队列中的所述第一修改数据发送至备用存储，包括：
通过消息发送线程，将所述异步消息队列中的所述第一修改数据发送至备用内存存储，其中，所述备用内存存储的数据过期时间大于所述主存储将数据同步到第二备用存储的延时。
7.一种数据同步装置，其特征在于，包括：
数据接收单元，被配置为接收主存储发送的第一修改数据；
数据处理单元，被配置为将所述第一修改数据加入异步消息队列；
数据发送单元，被配置为通过消息发送线程，将所述异步消息队列中的所述第一修改数据发送至备用存储。
8.根据权利要求7所述的装置，其特征在于，
所述数据接收单元，具体被配置为接收主存储发送的所述第一修改数据的数据快照。
9.根据权利要求7所述的装置，其特征在于，所述装置还包括：
请求接收单元，被配置为接收积压数据查询请求；
信息反馈单元，被配置为反馈所述异步消息队列中未发送的数据。
10.根据权利要求7所述的装置，其特征在于，所述装置还包括：
信息接收单元，被配置为接收所述备用存储反馈的所述第一修改数据存储成功的信息；
数据删除单元，被配置为删除所述第一修改数据。
11.根据权利要求10所述的装置，其特征在于，
所述信息接收单元，具体被配置为接收所述备用存储在满足反馈条件时触发反馈的所述第一修改数据存储成功的信息，其中，所述反馈条件为在所述备用存储中成功存储所述第一修改数据的存储单元在所述备用存储的存储单元中所占的比例达到预设比例阈值。
12.根据权利要求7至11中任意一项所述的装置，其特征在于，
所述数据发送单元，具体被配置为通过消息发送线程，将所述异步消息队列中的所述第一修改数据发送至备用内存存储，其中，所述备用内存存储的数据过期时间大于所述主存储将数据同步到第二备用存储的延时。
13.一种数据同步系统，其特征在于，包括主存储、异步消息队列系统、备用内存存储和第二备用存储；
所述异步消息队列系统，被配置为接收所述主存储发送的第一修改数据；将所述第一修改数据加入异步消息队列；通过消息发送线程，将所述异步消息队列中的所述第一修改数据发送至所述备用内存存储；
所述第二备用存储，被配置为接收并存储所述主存储的同步数据；
其中，所述备用内存存储的数据过期时间大于所述主存储将数据同步到所述第二备用存储的延时。
CN201510080976.9A 2015-02-13 2015-02-13 一种数据同步方法、装置和系统 Pending CN105989123A (zh)

Priority Applications (5)

Application Number Priority Date Filing Date Title
CN201510080976.9A CN105989123A (zh) 2015-02-13 2015-02-13 一种数据同步方法、装置和系统
EP16748704.0A EP3258396A1 (en) 2015-02-13 2016-02-04 Data synchronization method, device and system
PCT/CN2016/073440 WO2016127903A1 (zh) 2015-02-13 2016-02-04 一种数据同步方法、装置和系统
JP2017542457A JP6749926B2 (ja) 2015-02-13 2016-02-04 データを同期する方法、機器、及びシステム
US15/675,138 US10509585B2 (en) 2015-02-13 2017-08-11 Data synchronization method, apparatus, and system

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201510080976.9A CN105989123A (zh) 2015-02-13 2015-02-13 一种数据同步方法、装置和系统

Publications (1)

Publication Number Publication Date
CN105989123A true CN105989123A (zh) 2016-10-05

Family

ID=56615264

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201510080976.9A Pending CN105989123A (zh) 2015-02-13 2015-02-13 一种数据同步方法、装置和系统

Country Status (5)

Country Link
US (1) US10509585B2 (zh)
EP (1) EP3258396A1 (zh)
JP (1) JP6749926B2 (zh)
CN (1) CN105989123A (zh)
WO (1) WO2016127903A1 (zh)

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107404540A (zh) * 2017-09-01 2017-11-28 北京奇虎科技有限公司 数据的同步方法及装置
CN107590277A (zh) * 2017-09-28 2018-01-16 泰康保险集团股份有限公司 数据同步方法、装置、电子设备及存储介质
CN108089930A (zh) * 2016-11-22 2018-05-29 北京国双科技有限公司 数据的发送方法及装置
CN108256002A (zh) * 2017-12-31 2018-07-06 广东欧珀移动通信有限公司 跨机房数据同步方法、装置、系统以及服务器
CN110348826A (zh) * 2018-04-08 2019-10-18 财付通支付科技有限公司 异地多活容灾方法、系统、设备及可读存储介质
CN111865834A (zh) * 2019-04-26 2020-10-30 华为技术有限公司 一种消息处理方法及装置
CN111858190A (zh) * 2020-06-15 2020-10-30 福建天泉教育科技有限公司 提高集群可用性的方法及其系统
CN112015805A (zh) * 2019-05-29 2020-12-01 中移(苏州)软件技术有限公司 一种用户消息同步方法、装置、服务器及计算机存储介质
CN113407638A (zh) * 2021-07-16 2021-09-17 上海通联金融服务有限公司 实现实时关系型数据库数据同步的方法

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106909477A (zh) * 2017-02-25 2017-06-30 郑州云海信息技术有限公司 一种存储服务器io栈内存数据保护方法及装置
CN109992087B (zh) * 2019-04-09 2023-10-17 努比亚技术有限公司 可穿戴设备数据显示的优化方法、可穿戴设备及存储介质
CN111488317A (zh) * 2020-04-16 2020-08-04 北京雷石天地电子技术有限公司 一种基于文件变化内容的文件同步方法和装置
CN112084264A (zh) * 2020-09-11 2020-12-15 北京金山云网络技术有限公司 一种日志数据同步方法、装置及服务器
CN112764947B (zh) * 2021-01-15 2023-12-26 百果园技术(新加坡)有限公司 消息数据拉取方法、装置、设备和存储介质
CN112817992B (zh) * 2021-01-29 2023-06-23 北京百度网讯科技有限公司 执行更改任务的方法、装置、电子设备以及可读存储介质
CN112965875A (zh) * 2021-03-09 2021-06-15 中消云（北京）物联网科技研究院有限公司 消息队列的监控方法及装置
CN113934797B (zh) * 2021-12-17 2022-03-25 江苏苏宁银行股份有限公司 一种银行业超大数据同步方法和系统
CN115037758A (zh) * 2022-04-27 2022-09-09 浪潮通信技术有限公司 消息同步方法及服务器
CN117527833B (zh) * 2024-01-04 2024-03-29 深圳市度申科技有限公司 一种数据同步方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102023973A (zh) * 2009-09-14 2011-04-20 中国移动通信集团公司 一种应用缓存服务器与数据库同步的方法、装置和系统
CN102681904A (zh) * 2011-03-16 2012-09-19 中国电信股份有限公司 数据同步调度方法和装置
US20120323850A1 (en) * 2011-06-17 2012-12-20 International Business Machines Corporation Continuous and asynchronous replication of a consistent dataset
CN103399795A (zh) * 2013-06-28 2013-11-20 贵阳朗玛信息技术股份有限公司 通讯录同步方法及装置
CN103500229A (zh) * 2013-10-24 2014-01-08 北京奇虎科技有限公司 一种数据库同步方法和数据库系统

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4077172B2 (ja) * 2000-04-27 2008-04-16 富士通株式会社 ファイルレプリケーションシステム、ファイルレプリケーション制御方法及び記憶媒体
ATE487185T1 (de) * 2002-03-19 2010-11-15 Network Appliance Inc System und verfahren zur bestimmung und übertragung von änderungen in schnappschüssen
US20040003007A1 (en) * 2002-06-28 2004-01-01 Prall John M. Windows management instrument synchronized repository provider
EP1680742A2 (en) * 2003-11-04 2006-07-19 Constant Data, Inc. Hybrid real-time data replication
US7882079B2 (en) * 2005-11-30 2011-02-01 Oracle International Corporation Database system configured for automatic failover with user-limited data loss
US9189303B2 (en) * 2006-08-10 2015-11-17 International Business Machines Corporation Shadow queues for recovery of messages
JP5331050B2 (ja) * 2009-08-27 2013-10-30 日本電信電話株式会社 データ同期システム、データ同期方法、情報処理装置、情報処理方法、およびプログラム
CN102629268B (zh) * 2012-03-09 2014-12-17 华为技术有限公司 数据同步方法、系统及数据访问装置
US20130332413A1 (en) * 2012-06-07 2013-12-12 International Business Machines Corporation Reducing data transfers while eliminating data loss for asynchronous replication of databases
CN102945195B (zh) * 2012-11-26 2015-11-18 国电南瑞科技股份有限公司 一种基于SQLite数据库的主备冗余复制方法
CN103885986B (zh) * 2012-12-21 2017-12-19 阿里巴巴集团控股有限公司 主备数据库同步的方法和装置
CN104021200B (zh) * 2014-06-16 2018-06-15 北京京东尚科信息技术有限公司 一种数据库的数据同步方法和装置
US11388131B2 (en) * 2014-12-30 2022-07-12 Avaya Inc. System and method for assessing the sensitivity of social network user populations to response time delays

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102023973A (zh) * 2009-09-14 2011-04-20 中国移动通信集团公司 一种应用缓存服务器与数据库同步的方法、装置和系统
CN102681904A (zh) * 2011-03-16 2012-09-19 中国电信股份有限公司 数据同步调度方法和装置
US20120323850A1 (en) * 2011-06-17 2012-12-20 International Business Machines Corporation Continuous and asynchronous replication of a consistent dataset
CN103399795A (zh) * 2013-06-28 2013-11-20 贵阳朗玛信息技术股份有限公司 通讯录同步方法及装置
CN103500229A (zh) * 2013-10-24 2014-01-08 北京奇虎科技有限公司 一种数据库同步方法和数据库系统

Cited By (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108089930A (zh) * 2016-11-22 2018-05-29 北京国双科技有限公司 数据的发送方法及装置
CN107404540A (zh) * 2017-09-01 2017-11-28 北京奇虎科技有限公司 数据的同步方法及装置
CN107590277A (zh) * 2017-09-28 2018-01-16 泰康保险集团股份有限公司 数据同步方法、装置、电子设备及存储介质
CN108256002A (zh) * 2017-12-31 2018-07-06 广东欧珀移动通信有限公司 跨机房数据同步方法、装置、系统以及服务器
CN108256002B (zh) * 2017-12-31 2021-05-11 Oppo广东移动通信有限公司 跨机房数据同步方法、装置、系统以及服务器
CN110348826A (zh) * 2018-04-08 2019-10-18 财付通支付科技有限公司 异地多活容灾方法、系统、设备及可读存储介质
CN110348826B (zh) * 2018-04-08 2024-05-10 财付通支付科技有限公司 异地多活容灾方法、系统、设备及可读存储介质
CN111865834A (zh) * 2019-04-26 2020-10-30 华为技术有限公司 一种消息处理方法及装置
CN112015805B (zh) * 2019-05-29 2022-12-13 中移(苏州)软件技术有限公司 一种用户消息同步方法、装置、服务器及计算机存储介质
CN112015805A (zh) * 2019-05-29 2020-12-01 中移(苏州)软件技术有限公司 一种用户消息同步方法、装置、服务器及计算机存储介质
CN111858190A (zh) * 2020-06-15 2020-10-30 福建天泉教育科技有限公司 提高集群可用性的方法及其系统
CN111858190B (zh) * 2020-06-15 2023-05-23 福建天泉教育科技有限公司 提高集群可用性的方法及其系统
CN113407638A (zh) * 2021-07-16 2021-09-17 上海通联金融服务有限公司 实现实时关系型数据库数据同步的方法

Also Published As

Publication number Publication date
US20170351435A1 (en) 2017-12-07
US10509585B2 (en) 2019-12-17
JP2018505496A (ja) 2018-02-22
JP6749926B2 (ja) 2020-09-02
WO2016127903A1 (zh) 2016-08-18
EP3258396A4 (en) 2017-12-20
EP3258396A1 (en) 2017-12-20

Similar Documents

Publication Publication Date Title
CN105989123A (zh) 一种数据同步方法、装置和系统
US11888599B2 (en) Scalable leadership election in a multi-processing computing environment
US11514075B2 (en) System and method for prioritizing replication copy activity
US9372908B2 (en) Merging an out of synchronization indicator and a change recording indicator in response to a failure in consistency group formation
US8346719B2 (en) Multi-node replication systems, devices and methods
CN108121782B (zh) 查询请求的分配方法、数据库中间件系统以及电子设备
CN108509462B (zh) 一种同步活动事务表的方法及装置
CN107918620A (zh) 一种数据库的写入方法及装置、电子设备
CN102158540A (zh) 分布式数据库实现系统及方法
CN103186554A (zh) 分布式数据镜像方法及存储数据节点
CN102867035A (zh) 一种分布式文件系统集群高可用方法和装置
CN114594914B (zh) 用于分布式存储系统的控制方法及系统
CN111414403A (zh) 数据访问方法和装置、数据存储方法和装置
CN111638995A (zh) 元数据备份方法、装置及设备、存储介质
CN112612799A (zh) 一种数据同步方法及终端
CN106951456B (zh) 一种内存数据库系统及数据处理系统
WO2023280053A1 (zh) 数据处理方法、系统、电子设备及存储介质
US20180121531A1 (en) Data Updating Method, Device, and Related System
CN113986981A (zh) 一种数据同步方法及装置
CN113297173A (zh) 分布式数据库集群管理方法及装置、电子设备
CN112187889A (zh) 一种数据同步方法、装置及存储介质
CN110569112A (zh) 日志数据写入方法及对象存储守护装置
CN112948501A (zh) 数据解析方法、装置及系统
CN105389368A (zh) 一种mpp架构数据库集群元数据管理方法
CN111399753A (zh) 写入图片的方法和装置

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right

Effective date of registration: 20201010

Address after: Cayman Enterprise Centre, 27 Hospital Road, George Town, Grand Cayman Islands

Applicant after: Innovative advanced technology Co.,Ltd.

Address before: Cayman Enterprise Centre, 27 Hospital Road, George Town, Grand Cayman Islands

Applicant before: Advanced innovation technology Co.,Ltd.

Effective date of registration: 20201010

Address after: Cayman Enterprise Centre, 27 Hospital Road, George Town, Grand Cayman Islands

Applicant after: Advanced innovation technology Co.,Ltd.

Address before: A four-storey 847 mailbox in Grand Cayman Capital Building, British Cayman Islands

Applicant before: Alibaba Group Holding Ltd.

TA01 Transfer of patent application right
RJ01 Rejection of invention patent application after publication

Application publication date: 20161005

RJ01 Rejection of invention patent application after publication