CN110515907A - 一种分布式存储节点的数据同步方法及相关装置 - Google Patents
一种分布式存储节点的数据同步方法及相关装置 Download PDFInfo
- Publication number
- CN110515907A CN110515907A CN201910760807.8A CN201910760807A CN110515907A CN 110515907 A CN110515907 A CN 110515907A CN 201910760807 A CN201910760807 A CN 201910760807A CN 110515907 A CN110515907 A CN 110515907A
- Authority
- CN
- China
- Prior art keywords
- data
- log
- source node
- node
- data synchronization
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 48
- 230000001360 synchronised effect Effects 0.000 claims abstract description 85
- 238000012216 screening Methods 0.000 claims description 15
- 238000004590 computer program Methods 0.000 claims description 10
- 238000012546 transfer Methods 0.000 claims description 7
- 238000001914 filtration Methods 0.000 claims description 6
- 230000008569 process Effects 0.000 abstract description 12
- 230000009286 beneficial effect Effects 0.000 abstract description 2
- 230000008901 benefit Effects 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 230000008859 change Effects 0.000 description 2
- 238000013500 data storage Methods 0.000 description 2
- 230000006872 improvement Effects 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 238000009826 distribution Methods 0.000 description 1
- 239000004744 fabric Substances 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
- 239000002699 waste material Substances 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/10—File systems; File servers
- G06F16/17—Details of further file system functions
- G06F16/1734—Details of monitoring file system events, e.g. by the use of hooks, filter drivers, logs
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/10—File systems; File servers
- G06F16/17—Details of further file system functions
- G06F16/178—Techniques for file synchronisation in file systems
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/10—File systems; File servers
- G06F16/18—File system types
- G06F16/182—Distributed file systems
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Databases & Information Systems (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
- Data Exchanges In Wide-Area Networks (AREA)
Abstract
本申请公开了一种分布式存储节点的数据同步方法，包括：分布式节点获取分布式存储集群中的数据同步日志；根据数据同步日志确定待同步数据的源节点；从源节点对待同步数据进行数据同步操作。通过在数据同步的过程中，获取到集群中的数据同步日志，进而通过数据同步日志确定到待同步数据的源节点，然后从该源节点中对待同步数据进行数据同步操作，可见，是直接从源头，也就是源节点进行数据同步操作，只采用一次数据同步操作就保证了数据的完整性和准确性，降低了数据同步占用的网络带宽，提高了网络性能的利用率。本申请还公开了一种分布式存储节点的数据同步装置、服务器以及计算机可读存储介质，具有以上有益效果。
Description
技术领域
本申请涉及计算机技术领域，特别涉及一种分布式存储节点的数据同步方法、数据同步装置、服务器以及计算机可读存储介质。
背景技术
随着信息技术的不断发展，出现了分布式存储系统，以便采用更好的存储硬件的设施对数据进行存储。
但是，当存在多个分布式存储节点时，不同的节点之间进行数据同步操作，有可能出现不同分布式节点的同步冗余，也就是将已经存在于其他节点中的数据，再从原始的节点中进行同步，导致重复同步的操作，占用了过多的网络带宽，增加了性能浪费。
现有技术中，通常在不同的集群或不同节点中同步相同的数据，以便提高该数据进行存储的安全性和可靠性。目前常用的同步方法是某一个集群或某一个节点接收到数据，然后其他集群从该集群或该节点中获取该数据。但是，通常数据同步的速度不一致，滞后的集群或节点为了保证同步数据的完整性和正确性，通常会向所有存在该数据的集群或节点拉取数据。虽然保证了数据的完整性和正确性，但是会占用大量的网络带宽，降低了网络性能的利用率。
因此，如何降低分布式存储节点在同步过程中的带宽浪费，提高性能利用率是本领域技术人员关注的重点问题。
发明内容
本申请的目的是提供一种分布式存储节点的数据同步方法、数据同步装置、服务器以及计算机可读存储介质，通过在数据同步的过程中从源节点获取到数据，避免从多个节点中拉取同步数据，减少占用的网络带宽。
为解决上述技术问题，本申请提供一种分布式存储节点的数据同步方法，包括：
分布式节点获取分布式存储集群中的数据同步日志；
根据所述数据同步日志确定待同步数据的源节点；
从所述源节点对所述待同步数据进行数据同步操作。
可选的，根据所述数据同步日志确定待同步数据的源节点，包括：
从所述数据同步日志中筛选出包括所述待同步数据的日志记录；
将所有所述日志记录按照数据传输顺序进行连接，得到数据流向；
将所述数据流向的开始节点作为所述源节点。
可选的，根据所述数据同步日志确定待同步数据的源节点，包括：
从所述数据同步日志中筛选出包括所述待同步数据的日志记录；
从所有所述日志记录中筛选时间最早的日志记录，将该日志记录对应的节点作为所述源节点。
可选的，从所述源节点对所述待同步数据进行数据同步操作，包括：
当下次向所述源节点进行数据同步时，从所述源节点对所述待同步数据进行数据同步操作。
本申请还提供一种分布式存储节点的数据同步装置，包括：
同步日志获取模块，用于获取分布式存储集群中的数据同步日志；
目标节点查找模块，用于根据所述数据同步日志确定待同步数据的源节点；
数据同步模块，用于从所述源节点对所述待同步数据进行数据同步操作。
可选的，所述目标节点查找模块，包括：
日志记录筛选单元，用于从所述数据同步日志中筛选出包括所述待同步数据的日志记录；
数据流向获取单元，用于将所有所述日志记录按照数据传输顺序进行连接，得到数据流向；
源节点获取单元，用于将所述数据流向的开始节点作为所述源节点。
可选的，所述目标节点查找模块，包括：
日志记录筛选单元，用于从所述数据同步日志中筛选出包括所述待同步数据的日志记录；
时间筛选单元，用于从所有所述日志记录中筛选时间最早的日志记录，将该日志记录对应的节点作为所述源节点。
可选的，所述数据同步模块，具体用于当下次向所述源节点进行数据同步时，从所述源节点对所述待同步数据进行数据同步操作。
本申请还提供一种服务器，包括：
存储器，用于存储计算机程序；
处理器，用于执行所述计算机程序时实现如以上实施例所述的数据同步方法的步骤。
本申请还提供一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如以上实施例所述的数据同步方法的步骤。
本申请所提供的一种分布式存储节点的数据同步方法，包括：分布式节点获取分布式存储集群中的数据同步日志；根据所述数据同步日志确定待同步数据的源节点；从所述源节点对所述待同步数据进行数据同步操作。
通过在数据同步的过程中，获取到集群中的数据同步日志，进而通过数据同步日志确定到待同步数据的源节点，然后从该源节点中对待同步数据进行数据同步操作，可见，本申请的技术方案中不需要为了保证数据的准确性和完整性而从多个节点中同步数据，而是直接从源头，也就是源节点进行数据同步操作，只采用一次数据同步操作就保证了数据的完整性和准确性，降低了数据同步占用的网络带宽，提高了网络性能的利用率。
本申请还提供一种分布式存储节点的数据同步装置、服务器以及计算机可读存储介质，具有以上有益效果，在此不做赘述。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。
图1为本申请实施例所提供的一种分布式存储节点的数据同步方法的流程图；
图2为本申请实施例所提供的一种分布式存储节点的数据同步装置的结构示意图。
具体实施方式
本申请的核心是提供一种分布式存储节点的数据同步方法、数据同步装置、服务器以及计算机可读存储介质，通过在数据同步的过程中从源节点获取到数据，避免从多个节点中拉取同步数据，减少占用的网络带宽。
为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
现有技术中，通常在不同的集群或不同节点中同步相同的数据，以便提高该数据进行存储的安全性和可靠性。目前常用的同步方法是某一个集群或某一个节点接收到数据，然后其他集群从该集群或该节点中获取该数据。但是，通常数据同步的速度不一致，滞后的集群或节点为了保证同步数据的完整性和正确性，通常会向所有存在该数据的集群或节点拉取数据。虽然保证了数据的完整性和正确性，但是会占用大量的网络带宽，降低了网络性能的利用率。
因此，本申请提供一种分布式存储节点的数据同步方法，通过在数据同步的过程中，获取到集群中的数据同步日志，进而通过数据同步日志确定到待同步数据的源节点，然后从该源节点中对待同步数据进行数据同步操作，可见，本申请的技术方案中不需要为了保证数据的准确性和完整性而从多个节点中同步数据，而是直接从源头，也就是源节点进行数据同步操作，只采用一次数据同步操作就保证了数据的完整性和准确性，降低了数据同步占用的网络带宽，提高了网络性能的利用率。
请参考图1，图1为本申请实施例所提供的一种分布式存储节点的数据同步方法的流程图。
本实施例中，该方法可以包括：
S101，分布式节点获取分布式存储集群中的数据同步日志；
本步骤旨在需要进行数据同步的分布式节点获取到分布式存储集群中的数据同步日志。可以是获取到分布式存储集群中所有节点的数据同步日志，也可以是获取到与该待同步数据相关的数据同步日志，还可以是获取到所有进行相互同步的分布式存储集群中的数据同步日志。可见，本实施例中获取数据同步日志的范围并不做具体限定。只要是可以确定出待同步数据的源节点的数据同步日志即可。
其中，数据同步日志中记录了数据同步过程的数据，一般在记录数据同步过程可以包括：数据源头和数据存储位置。也就是表示了数据从何处获取到，以及同步至本地中的什么位置。因此，就可以通过这些数据同步位置确定每个节点中的数据从何处获取，最终获取到该数据存储的源头。可见，本实施例中，也并不对数据同步日志的形式做具体的限定，只要该数据同步日志中可以获取到数据的来源即可。
S102，根据数据同步日志确定待同步数据的源节点；
在S101的基础上，本步骤旨在根据获取到的数据同步日志确定待同步数据的源节点。由于数据同步日志中包括每个数据的来源，那么就可以查找到任意一个数据的最开始的源头，也就是源节点。
本步骤中获取到源节点主要是因为某个数据在分布式存储集群中进行改变的方式一定是从源节点开始，其他的节点中对应的数据变更的速度稍微滞后一些。因此，在现有技术中为了保证数据同步的准确性和完整信息，需要从多个节点中获取该数据，以保证拉取到正确的数据进行数据同步操作，但是需要耗费带宽。而本步骤中，可以直接获取到该待同数据在分布式存储系统中首先出现的节点，无论该数据发生什么变化，在集群中总是该节点中的数据发生变化，因此从该源节点中获取待同步数据，即可保证数据的完整和准确，同时减低占用的带宽数量。
可选的，本实施例中具体如何获取到待同步数据的源节点的方法，可以包括：
步骤一，从数据同步日志中筛选出包括待同步数据的日志记录；
步骤二，将所有日志记录按照数据传输顺序进行连接，得到数据流向；
步骤三，将数据流向的开始节点作为源节点。
可见，本可选方案中，主要是先筛选出与待同步数据相关的日志记录，然后对该日志记录进行分析，将其中的记录按照数据传输的方向进行连接，得到数据流向，最后将数据流向中的开始节点作为源节点。其中，数据传输顺序就是数据从开始进入分布式存储系统的位置流到其他节点的顺序。
可选的，本实施例中具体如何获取到待同步数据的源节点的方法，可以包括：
步骤一，从数据同步日志中筛选出包括待同步数据的日志记录；
步骤二，从所有日志记录中筛选时间最早的日志记录，将该日志记录对应的节点作为源节点。
可见，本可选方案中主要是通过筛选出的日志记录的时间确定最先获取到待同步数据的节点即为开始进行数据同步的节点，即源节点。
S103，从源节点对待同步数据进行数据同步操作。
在S102的基础上，本步骤旨在从确定的源节点中对待同步数据进行同步操作，也就是将待同步数据从源节点中拉取到本地。其中，进行数据同步操作的方式，可以采用现有技术提供的任意一种数据同步操作，在此不做具体限定。
可选的，本步骤可以包括：
当下次向源节点进行数据同步时，从源节点对待同步数据进行数据同步操作。
可见，本可选方案中是在下次从源节点中同步数据时，同时从源节点中同步该待同步数据。进一步的降低了数据同步占用的带宽，提高了网络性能的利用率。
综上，本实施例通过在数据同步的过程中，获取到集群中的数据同步日志，进而通过数据同步日志确定到待同步数据的源节点，然后从该源节点中对待同步数据进行数据同步操作，可见，本申请的技术方案中不需要为了保证数据的准确性和完整性而从多个节点中同步数据，而是直接从源头，也就是源节点进行数据同步操作，只采用一次数据同步操作就保证了数据的完整性和准确性，降低了数据同步占用的网络带宽，提高了网络性能的利用率。
以下通过一个具体的实施例，对本申请提供的一种分布式存储节点的数据同步方法做进一步说明。
本实施例中，该方法主要针对的是分布式对象存储集群数据同步，通过新增一个集群标记，实现不同区域的划分，也可以是不同节点的划分，用于优化多个存储区域间的数据同步，减少同步过程中不必要的数据传输，近而保证数据的最终一致性。以分布式对象存储存储举例，对象存储会有桶和对象两级结构，在桶与对象的增、删、改、查过程中，都会有相应的操作日志记录。每个对象存储集群都会有相应的数据同步进程，在同步过程中，通过获取桶与对象的操作日志来完成整体的数据同步。
其中，数据同步，需要通过日志来保证数据同步过程中的顺序性，进而保证存储集群数据的最终一致性。
数据同步的实现，主要通过数据同步模块和元数据同步模块。其中，数据同步模块主要管理并完成数据的同步，管理并完成整体数据同步过程中，保证数据同步的有效性和数据的一致性。元数据同步模块主要管理并完成元数据的同步，管理并完成整体元数据同步过程中，保证元数据同步的有效性和数据的一致性。
其中，数据同步模块的实现依赖于操作日志，元数据和数据同步结构类似，下面将解释一下数据同步过程。
举例来说，可以将分布式集群系统通过集群标记，标记为区域A、区域B和区域C为三个独立的存储区域，物理上隔离，互相之间的通过数据同步进程进行数据和元数据的同步操作。
在区域A上传文件F1和文件F2，在区域B上传了文件F3，在区域C上传文件F4，其中数据同步日志使用文件名->区域名的形式(如F1->A即将F1文件同步至A中，其中F1为对应的文件名，A对应的是所在区域)，这时如果区域B想同步数据F1，则需要从A和C中同时获取到数据F1，但是通过数据同步日志发现文件F1的源头在区域A中，因此，只需请求区域A中F1即可保证同步到的数据无误，并最终达到数据的一致。
可见，本实施例通过在数据同步的过程中，获取到集群中的数据同步日志，进而通过数据同步日志确定到待同步数据的源节点，然后从该源节点中对待同步数据进行数据同步操作，可见，本申请的技术方案中不需要为了保证数据的准确性和完整性而从多个节点中同步数据，而是直接从源头，也就是源节点进行数据同步操作，只采用一次数据同步操作就保证了数据的完整性和准确性，降低了数据同步占用的网络带宽，提高了网络性能的利用率。
下面对本申请实施例提供的一种分布式存储节点的数据同步装置进行介绍，下文描述的一种分布式存储节点的数据同步装置与上文描述的一种分布式存储节点的数据同步方法可相互对应参照。
请参考图2，图2为本申请实施例所提供的一种分布式存储节点的数据同步装置的结构示意图。
本实施例中，该装置可以包括：
同步日志获取模块100，用于获取分布式存储集群中的数据同步日志；
目标节点查找模块200，用于根据数据同步日志确定待同步数据的源节点；
数据同步模块300，用于从源节点对待同步数据进行数据同步操作。
可选的，该目标节点查找模块200，可以包括：
日志记录筛选单元，用于从数据同步日志中筛选出包括待同步数据的日志记录；
数据流向获取单元，用于将所有日志记录按照数据传输顺序进行连接，得到数据流向；
源节点获取单元，用于将数据流向的开始节点作为源节点。
可选的，该目标节点查找模块200，可以包括：
日志记录筛选单元，用于从数据同步日志中筛选出包括待同步数据的日志记录；
时间筛选单元，用于从所有日志记录中筛选时间最早的日志记录，将该日志记录对应的节点作为源节点。
可选的，该数据同步模块300，具体可以用于当下次向源节点进行数据同步时，从源节点对待同步数据进行数据同步操作。
本申请实施例还提供一种服务器，包括：
存储器，用于存储计算机程序；
处理器，用于执行所述计算机程序时实现如以上实施例所述的数据同步方法的步骤。
本申请实施例还提供一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如以上实施例所述的数据同步方法的步骤。
该计算机可读存储介质可以包括：U盘、移动硬盘、只读存储器(Read-OnlyMemory，ROM)、随机存取存储器(Random Access Memory，RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的装置而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。
专业人员还可以进一步意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。
结合本文中所公开的实施例描述的方法或算法的步骤可以直接用硬件、处理器执行的软件模块，或者二者的结合来实施。软件模块可以置于随机存储器(RAM)、内存、只读存储器(ROM)、电可编程ROM、电可擦除可编程ROM、寄存器、硬盘、可移动磁盘、CD-ROM、或技术领域内所公知的任意其它形式的存储介质中。
以上对本申请所提供的一种分布式存储节点的数据同步方法、数据同步装置、服务器以及计算机可读存储介质进行了详细介绍。本文中应用了具体个例对本申请的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本申请的方法及其核心思想。应当指出，对于本技术领域的普通技术人员来说，在不脱离本申请原理的前提下，还可以对本申请进行若干改进和修饰，这些改进和修饰也落入本申请权利要求的保护范围内。
Claims (10)
1.一种分布式存储节点的数据同步方法，其特征在于，包括：
分布式节点获取分布式存储集群中的数据同步日志；
根据所述数据同步日志确定待同步数据的源节点；
从所述源节点对所述待同步数据进行数据同步操作。
2.根据权利要求1所述的数据同步方法，其特征在于，根据所述数据同步日志确定待同步数据的源节点，包括：
从所述数据同步日志中筛选出包括所述待同步数据的日志记录；
将所有所述日志记录按照数据传输顺序进行连接，得到数据流向；
将所述数据流向的开始节点作为所述源节点。
3.根据权利要求1所述的数据同步方法，其特征在于，根据所述数据同步日志确定待同步数据的源节点，包括：
从所述数据同步日志中筛选出包括所述待同步数据的日志记录；
从所有所述日志记录中筛选时间最早的日志记录，将该日志记录对应的节点作为所述源节点。
4.根据权利要求1至3任一项所述的数据同步方法，其特征在于，从所述源节点对所述待同步数据进行数据同步操作，包括：
当下次向所述源节点进行数据同步时，从所述源节点对所述待同步数据进行数据同步操作。
5.一种分布式存储节点的数据同步装置，其特征在于，包括：
同步日志获取模块，用于获取分布式存储集群中的数据同步日志；
目标节点查找模块，用于根据所述数据同步日志确定待同步数据的源节点；
数据同步模块，用于从所述源节点对所述待同步数据进行数据同步操作。
6.根据权利要求5所述的数据同步装置，其特征在于，所述目标节点查找模块，包括：
日志记录筛选单元，用于从所述数据同步日志中筛选出包括所述待同步数据的日志记录；
数据流向获取单元，用于将所有所述日志记录按照数据传输顺序进行连接，得到数据流向；
源节点获取单元，用于将所述数据流向的开始节点作为所述源节点。
7.根据权利要求5所述的数据同步装置，其特征在于，所述目标节点查找模块，包括：
日志记录筛选单元，用于从所述数据同步日志中筛选出包括所述待同步数据的日志记录；
时间筛选单元，用于从所有所述日志记录中筛选时间最早的日志记录，将该日志记录对应的节点作为所述源节点。
8.根据权利要求5至7任一项所述的数据同步装置，其特征在于，所述数据同步模块，具体用于当下次向所述源节点进行数据同步时，从所述源节点对所述待同步数据进行数据同步操作。
9.一种服务器，其特征在于，包括：
存储器，用于存储计算机程序；
处理器，用于执行所述计算机程序时实现如权利要求1至4任一项所述的数据同步方法的步骤。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求1至4任一项所述的数据同步方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910760807.8A CN110515907B (zh) | 2019-08-16 | 2019-08-16 | 一种分布式存储节点的数据同步方法及相关装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910760807.8A CN110515907B (zh) | 2019-08-16 | 2019-08-16 | 一种分布式存储节点的数据同步方法及相关装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN110515907A true CN110515907A (zh) | 2019-11-29 |
| CN110515907B CN110515907B (zh) | 2022-03-08 |
Family
ID=68626460
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910760807.8A Active CN110515907B (zh) | 2019-08-16 | 2019-08-16 | 一种分布式存储节点的数据同步方法及相关装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110515907B (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113411368A (zh) * | 2020-03-17 | 2021-09-17 | 北京京东叁佰陆拾度电子商务有限公司 | 数据同步方法、装置、存储介质及电子设备 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101771723A (zh) * | 2010-01-05 | 2010-07-07 | 深圳中兴网信科技有限公司 | 数据同步方法 |
| CN106682140A (zh) * | 2016-12-20 | 2017-05-17 | 华北计算技术研究所（中国电子科技集团公司第十五研究所） | 一种基于时间戳和映射策略的多系统用户增量同步方法 |
| CN108009252A (zh) * | 2017-12-04 | 2018-05-08 | 传神语联网网络科技股份有限公司 | 数据同步的方法及装置 |
| CN108183965A (zh) * | 2018-01-15 | 2018-06-19 | 郑州云海信息技术有限公司 | 一种数据同步方法、装置、设备、系统及可读存储介质 |
| CN110008231A (zh) * | 2019-03-19 | 2019-07-12 | 福建省天奕网络科技有限公司 | MySQL数据回溯方法、存储介质 |
| CN110083656A (zh) * | 2013-03-15 | 2019-08-02 | 亚马逊科技公司 | 日志记录管理 |
-
2019
- 2019-08-16 CN CN201910760807.8A patent/CN110515907B/zh active Active
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101771723A (zh) * | 2010-01-05 | 2010-07-07 | 深圳中兴网信科技有限公司 | 数据同步方法 |
| CN110083656A (zh) * | 2013-03-15 | 2019-08-02 | 亚马逊科技公司 | 日志记录管理 |
| CN106682140A (zh) * | 2016-12-20 | 2017-05-17 | 华北计算技术研究所（中国电子科技集团公司第十五研究所） | 一种基于时间戳和映射策略的多系统用户增量同步方法 |
| CN108009252A (zh) * | 2017-12-04 | 2018-05-08 | 传神语联网网络科技股份有限公司 | 数据同步的方法及装置 |
| CN108183965A (zh) * | 2018-01-15 | 2018-06-19 | 郑州云海信息技术有限公司 | 一种数据同步方法、装置、设备、系统及可读存储介质 |
| CN110008231A (zh) * | 2019-03-19 | 2019-07-12 | 福建省天奕网络科技有限公司 | MySQL数据回溯方法、存储介质 |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113411368A (zh) * | 2020-03-17 | 2021-09-17 | 北京京东叁佰陆拾度电子商务有限公司 | 数据同步方法、装置、存储介质及电子设备 |
| CN113411368B (zh) * | 2020-03-17 | 2024-04-19 | 北京京东叁佰陆拾度电子商务有限公司 | 数据同步方法、装置、存储介质及电子设备 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN110515907B (zh) | 2022-03-08 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP2020038623A (ja) | データを記憶するための方法、装置及びシステム | |
| CN106201355B (zh) | 数据处理方法和装置以及存储系统 | |
| CN102999519B (zh) | 一种数据库的读写方法及系统 | |
| CN105574217B (zh) | 分布式关系型数据库的数据同步方法和装置 | |
| CN106446197B (zh) | 一种数据存储方法、装置及系统 | |
| CN110209726A (zh) | 分布式数据库集群系统、数据同步方法及存储介质 | |
| CN110147204B (zh) | 一种元数据落盘方法、装置、系统及计算机可读存储介质 | |
| CN109542330B (zh) | 数据存储方法、数据查询方法及装置 | |
| CN109643310B (zh) | 用于数据库中数据重分布的系统和方法 | |
| CN109949160A (zh) | 一种区块链的分片方法及装置 | |
| CN103399888B (zh) | 电网模型数据的差分同步方法及系统 | |
| CN106657170A (zh) | 一种数据同步方法及装置 | |
| CN104346373A (zh) | 分区日志队列同步管理方法及设备 | |
| CN109672733B (zh) | 基于dag的区块链的账本同步方法及设备 | |
| CN103150163A (zh) | 一种基于MapReduce模型的并行关联方法 | |
| CN110795416B (zh) | 一种文件复制方法、装置、设备及可读存储介质 | |
| CN106339408A (zh) | 数据同步方法、数据同步装置和服务器 | |
| JP2017045454A (ja) | 同時の、増分の及び世代のマークアンドスィープガーベッジコレクション | |
| CN103971211A (zh) | 一种信息处理方法及装置 | |
| CN106339387A (zh) | 一种数据库集群中新增服务器的数据同步方法及装置 | |
| CN110515907A (zh) | 一种分布式存储节点的数据同步方法及相关装置 | |
| CN105302488B (zh) | 一种存储系统的数据写入方法及系统 | |
| CN101499085B (zh) | 快速提取关键帧的方法和装置 | |
| CN104008116B (zh) | 一种文件同步方法及电子设备 | |
| CN106227470B (zh) | 一种存储资源管理方法及装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |