CN114301930A - 一种分布式数据同步方法、系统及存储介质 - Google Patents

一种分布式数据同步方法、系统及存储介质 Download PDF

Info

Publication number
CN114301930A
CN114301930A CN202111627678.9A CN202111627678A CN114301930A CN 114301930 A CN114301930 A CN 114301930A CN 202111627678 A CN202111627678 A CN 202111627678A CN 114301930 A CN114301930 A CN 114301930A
Authority
CN
China
Prior art keywords
data
identification information
central node
node
edge
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202111627678.9A
Other languages
English (en)
Inventor
梁宁君
蒋聪聪
罗键
沈峻
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Tika Technology Co ltd
Original Assignee
Shanghai Tika Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Tika Technology Co ltd filed Critical Shanghai Tika Technology Co ltd
Priority to CN202111627678.9A priority Critical patent/CN114301930A/zh
Publication of CN114301930A publication Critical patent/CN114301930A/zh
Pending legal-status Critical Current

Links

Images

Landscapes

  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明公开了一种分布式数据同步方法、系统及存储介质,方法包括:当连接中央节点的边缘节点或所述中央节点接收的数据为新数据时,为所述数据生成标识信息,所述标识信息包括数据ID和时间戳;所述中央节点根据所述标识信息将所述数据同步到连接所述中央节点的其它中央节点;当所述中央节点或所述边缘节点接收到其它边缘节点的数据同步请求时,所述中央节点或所述边缘节点根据所述数据同步请求和所述标识信息将所述数据同步至所述其它边缘节点。本发明所提供的技术方案能够解决现有技术中分布式系统只能实现数据的一致性和分区容错性,或实现数据的可用性和分区容错性,导致出现数据传输不可靠的技术问题。

Description

一种分布式数据同步方法、系统及存储介质
技术领域
本发明涉及数据存储技术领域,尤其涉及一种分布式数据同步方法、系统及存储介质。
背景技术
随着科学技术的发展,计算机网络通信技术为人们的生活和娱乐提供了便利,逐渐改变人们的生活。近年来,使用计算机设备的用户数量不断增加,人们使用电脑、手机、平板和电视等通信设备进行娱乐或工作,网络通信系统中的数据量逐年激增,给数据传输系统带来巨大的挑战。
在分布式系统中存在CAP理论,CAP指的是数据的一致性(Consistency)、可用性(Availability)、分区容错性(Partition tolerance),这三个要素最多只能同时实现两点,不可能三者兼顾。由于当前的网络会出现延迟丢包等问题,所以分区容错性是必须要实现的,只能在一致性和可用性之间进行权衡。
分布式系统中布局了很多网络节点,由于CAP理论的存在,如果不同的中央节点之间出现了网络断开或者网络传输延时,则会出现数据分区,导致边缘节点的用户无法访问到数据。为了解决这个问题,现有技术为每个中央节点存储备份数据,但是当数据分处不同地区时,如果不进行数据同步,或者数据同步有延时,就可能导致不同节点的数据不一致的问题。如果保证不同节点的数据一致,就必须等待所有节点的写操作都完成后再进行数据同步,但是不同节点全部完成写操作的时间是不确定的,又会带来可用性问题。所以,为了保证数据传输的稳定性,需要为分布式系统提供一种高效可靠的数据同步方法。
发明内容
本发明提供一种分布式数据同步方法、系统及存储介质,旨在有效解决现有技术中分布式系统只能实现数据的一致性和分区容错性,或实现数据的可用性和分区容错性,导致出现数据传输不可靠的技术问题。
根据本发明的一方面,本发明提供一种分布式数据同步方法,所述方法包括:
当连接中央节点的边缘节点或所述中央节点接收的数据为新数据时,为所述数据生成标识信息,所述标识信息包括数据ID和时间戳;
所述中央节点根据所述标识信息将所述数据同步到连接所述中央节点的其它中央节点;
当所述中央节点或所述边缘节点接收到其它边缘节点的数据同步请求时,所述中央节点或所述边缘节点根据所述数据同步请求和所述标识信息将所述数据同步至所述其它边缘节点。
进一步地,在所述连接中央节点的边缘节点或所述中央节点接收的数据为新数据之后,所述方法还包括:
当接收所述数据的节点为所述边缘节点时,所述边缘节点将所述数据发送到所述中央节点。
进一步地,在所述为所述数据生成标识信息之前,所述方法还包括:
解析所述数据,判断所述数据是否为新数据。
进一步地,所述解析所述数据,判断所述数据是否为新数据包括:
若所述数据没有标识信息,则确定所述数据为新数据。
进一步地,所述为所述数据生成标识信息包括:
根据唯一识别码算法生成与所述数据相关联的数据ID;
获取收到所述数据的接收时间,根据所述接收时间生成与所述数据相关联的时间戳。
进一步地,所述解析所述数据,判断所述数据是否为新数据还包括:
若所述数据有标识信息,获取所述数据的标识信息中的目标数据ID和目标时间戳;
在所述中央节点的数据库中查询所述目标数据ID对应的目标数据,若所述中央节点的数据库中没有所述目标数据ID对应的目标数据,则确定所述数据为新数据。
进一步地,所述为所述数据生成标识信息包括:
将所述目标数据ID确定为与所述数据相关联的数据ID;
获取收到所述数据的接收时间,根据所述接收时间生成与所述数据相关联的时间戳。
进一步地,在所述判断所述数据是否为新数据之后,所述方法还包括:
若所述中央节点的数据库中有所述目标数据ID对应的数据,则判断所述目标数据ID对应的数据是否与接收到的所述数据相同;
若所述目标数据ID对应的数据与接收到的所述数据相同,则删除接收到的所述数据;
若所述目标数据ID对应的数据与接收到的所述数据不相同,则将所述目标数据ID对应的数据更新为接收到的所述数据,并获取收到所述数据的接收时间,以及根据所述接收时间更新与所述目标数据ID对应的数据相关联的时间戳。
进一步地,所述中央节点根据所述标识信息将所述数据同步到连接所述中央节点的其它中央节点包括:
所述其它中央节点中的每一个中央节点根据所述标识信息查询数据库中是否存储了所述数据,并且没有存储所述数据的中央节点同步存储所述数据和所述标识信息。
进一步地,所述方法还包括:
连接所述中央节点的边缘节点定时向所述中央节点发送数据同步请求。
进一步地,在所述根据所述数据同步请求和所述标识信息同步所述数据之前,所述方法还包括:
所述其它边缘节点向所述中央节点或所述边缘节点发送加载了所述请求数据ID和请求时间戳的所述数据同步请求,所述请求时间戳为所述其它边缘节点上与所述请求数据ID对应的数据相关联的时间戳。
进一步地,所述根据所述数据同步请求和所述标识信息同步所述数据还包括:
若与所述数据相关联的时间戳中的时间值大于所述请求时间戳中的时间值,则所述中央节点或所述边缘节点向所述其它边缘节点同步所述数据,以将所述其它边缘节点中所述请求数据ID对应的数据更新为所述中央节点或所述边缘节点接收到的所述数据;
若与所述数据相关联的时间戳中的时间值等于所述请求时间戳中的时间值,则所述中央节点或所述边缘节点不向所述其它边缘节点发送接收到的所述数据;
若与所述数据相关联的时间戳中的时间值小于所述请求时间戳中的时间值,则所述其它边缘节点向所述边缘节点发送所述请求数据ID对应的数据,以用所述请求数据ID对应的数据更新接收到的所述数据。
根据本发明的另一方面,本发明提供一种分布式数据同步系统,其特征在于,包括:
中央节点,用于接收数据,并为所述数据生成标识信息,根据所述标识信息将所述数据同步到连接所述中央节点的其它中央节点,以及当接收到其它边缘节点的数据同步请求时,根据所述数据同步请求和所述标识信息同步所述数据;
边缘节点,用于接收数据并将所述数据传送至所述中央节点以为所述数据生成标识信息,以及当接收到其它边缘节点的数据同步请求时,根据所述数据同步请求和所述标识信息同步所述数据;
其中,所述标识信息包括数据ID和时间戳。
根据本发明的另一方面,本发明提供一种存储介质,所述存储介质中存储有多条指令,所述指令适于由处理器加载以执行如上所述的任一分布式数据同步方法。
通过本发明中的上述实施例中的一个实施例或多个实施例,至少可以实现如下技术效果:
通过本发明的技术方案,当分布式系统中的一个中央节点接收到新数据后,将新数据同步到其它的中央节点,通过时间线保持了新数据的强一致性,保证中央节点之间的数据的一致性与分区容错性。边缘节点通过向最近的中央节点或其它边缘节点发送数据同步请求的方式与中央节点或其它边缘节点通信,保持数据的同步,实现了数据的可用性与分区容错性。通过本方案提供的数据同步方法,在分布式系统中先实现数据的一致性和分区容错性,再实现数据的可用性和分区容错性,为分布式系统实现可靠、高效的数据传输提供了保障,能够解决现有技术中分布式系统只能实现数据的一致性和分区容错性,或实现数据的可用性和分区容错性,导致出现数据传输不可靠的技术问题。
附图说明
下面结合附图,通过对本发明的具体实施方式详细描述,将使本发明的技术方案及其它有益效果显而易见。
图1为本发明实施例一提供的一种分布式数据同步方法的步骤流程图;
图2为本发明实施例提供的一种分布式数据同步系统的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述。显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域技术人员在没有作出创造性劳动前提下所获得的所有其它实施例,都属于本发明保护的范围。
在本发明的描述中,需要说明的是,除非另有明确的规定和限定,本文中术语“和/或”,仅仅是一种描述关联对象的关联关系,表示可以存在三种关系,例如,A和/或B,可以表示:单独存在A,同时存在A和B,单独存在B这三种情况。另外,本文中字符“/”,在不做特别说明的情况下,一般表示前后关联对象是一种“或”的关系。
实施例一
如图1所示,为本发明实施例一所提供的分布式数据同步方法的步骤流程图,所述分布式数据同步方法包括:
步骤101:当连接中央节点的边缘节点或所述中央节点接收的数据为新数据时,为所述数据生成标识信息,所述标识信息包括数据ID和时间戳;
步骤102:所述中央节点根据所述标识信息将所述数据同步到连接所述中央节点的其它中央节点;
步骤103:当所述中央节点或所述边缘节点接收到其它边缘节点的数据同步请求时,所述中央节点或所述边缘节点根据所述数据同步请求和所述标识信息将所述数据同步至所述其它边缘节点。
示例性地,如图2所示,在分布式系统中,有相互通信的多个中央节点,每个中央节点下连接有若干个边缘节点,边缘节点和用户所操控的客户端相连接。在互联网中有各种类型的应用软件,每天有大量新数据上传到分布式系统中以供人们使用,例如视频软件需要上传新的影视剧,购物网站需要上传新产品。同时,用户也会通过客户端向分布式系统传输数据,例如自媒体运营者通过社交软件向通信网络上传图文和小视频。当分布式系统接收到数据时,需要对不同的数据进行增删查改等操作,以及及时向其它节点同步新数据。
在步骤101中,当连接中央节点的边缘节点或所述中央节点接收的数据为新数据时,为所述数据生成标识信息,所述标识信息包括数据ID和时间戳。示例性地,客户端和边缘节点相连接,边缘节点和中央节点相连接,所以边缘节点可能会收到来自客户端或者中央节点的数据。中央节点与多个其它的中央节点或边缘节点相连接,所以中央节点可能会收到来自其它中央节点或者边缘节点的数据。当边缘节点或中央节点接收到的数据为新数据时,中央节点上的中央服务器为数据生成标识信息,在标识信息中,有用于标识数据唯一性的数据ID,在全网中一个数据ID只对应一条数据。另外,在标识信息还包括用于表征数据接收时间的时间戳。
执行步骤101之后,执行步骤102,所述中央节点根据所述标识信息将所述数据同步到连接所述中央节点的其它中央节点。示例性地,为了保证数据的CP特性,即数据的一致性和分区容错性,中央节点接收到数据后,需要将数据同步到其它的中央节点。一方面,分布式系统中的所有节点中都对数据进行了数据备份,且保证每个节点中的数据都是相同的时间戳,即在不同节点中,数据在同一时刻有同样的值,实现了数据的一致性。另一方面,由于各个中央节点都同步了数据,当分布式系统中的一部分节点因为一些原因导致无法通信而导致分布式系统分成多个分区时,不同分区还能正常提供数据,实现了数据的分区容忍性。
执行步骤102之后,执行步骤103,当所述中央节点或所述边缘节点接收到其它边缘节点的数据同步请求时,所述中央节点或所述边缘节点根据所述数据同步请求和所述标识信息将所述数据同步至所述其它边缘节点当所述中央节点或所述边缘节点接收到其它边缘节点的数据同步请求时,根据所述数据同步请求和所述标识信息同步所述数据。示例性地,在本方案的分布式系统中,其它的边缘节点向中央节点或边缘节点发送数据同步请求,边缘节点通过定时轮询的方式与中央节点及其它边缘节点通信,进行数据的同步,保证了数据AP特性,即数据的可用性和分区容错性。一方面,当分布式系统中的不同的边缘节点也存储了数据以后,如果其中的一部分节点出现故障,可运行的节点能响应客户端的读写请求,为客户端提供数据,实现了数据的可用性。另一方面,当分布式系统中的一部分节点因为一些原因导致无法通信而导致分布式系统分成多个分区时,不同分区还能正常提供数据,实现了数据的分区容忍性。
通过本发明的技术方案,当分布式系统中的一个中央节点接收到新数据后,将新数据同步到其它的中央节点,通过时间线保持了新数据的强一致性,保证中央节点之间的数据的一致性与分区容错性(CP)。边缘节点通过向最近的中央节点或其它边缘节点发送数据同步请求的方式与中央节点或其它边缘节点通信,保持数据的同步,实现了数据的可用性与分区容错性(AP)。通过本方案提供的数据同步方法,在分布式系统中先实现数据的一致性和分区容错性,再实现数据的可用性和分区容错性,为分布式系统实现可靠、高效的数据传输提供了保障,能够解决现有技术中分布式系统只能实现数据的一致性和分区容错性,或实现数据的可用性和分区容错性,导致出现数据传输不可靠的技术问题。
实施例二
基于与本发明实施例一种分布式数据同步方法同样的发明构思,本发明实施例二的分布式数据同步方法包括:
进一步地,在所述连接中央节点的边缘节点或所述中央节点接收的数据为新数据之后,当接收所述数据的节点为所述边缘节点时,所述边缘节点将所述数据发送到所述中央节点。示例性地,在分布式系统中,通过中央节点上集成的中央服务器对各类数据和操作指令进行管理。如果接收数据的节点不是中央节点,而是边缘节点时,边缘节点上集成的服务器不对直接数据进行处理,而是将数据转发到中央节点,由中央节点上的中央服务器进行数据处理,所以当边缘节点接收到数据后,需要将数据转发到中央节点。
进一步地,在所述为所述数据生成标识信息之前,解析所述数据,判断所述数据是否为新数据。示例性地,分布式系统中的节点会收到大量数据,为了防止数据重复存储占用空间,收到数据的节点需要判断该数据是否为新数据。
进一步地,若所述数据没有标识信息,则确定所述数据为新数据。示例性地,如果获取到的数据是曾被存储到分布式系统中的数据,那么中央节点会为其分配一个唯一的标识信息,如果数据没有标识信息,则可以确定该数据为新数据。
进一步地,根据唯一识别码算法生成与所述数据相关联的数据ID;获取收到所述数据的接收时间,根据所述接收时间生成与所述数据相关联的时间戳。示例性地,当确定数据为新数据后,中央节点的中央服务器为数据生成数据ID,具体来说,根据通用唯一识别码(Universally Unique Identifier,UUID)算法生成唯一识别码,给数据分配唯一识别码的目的是让分布式系统中的所有元素都能有独一无二的辨识码,每条数据的唯一识别码都不会与其它数据的辨识码产生冲突。在这样的情况下,存储数据时就不需考虑数据名称重复问题。除了数据ID,中央节点还根据接收数据时的时间生成时间戳,通过对时间戳中的时间值的大小做比较,可以在同一个数据ID对应的不同数据中确定出最新的数据。
进一步地,若所述数据有标识信息,获取所述数据的标识信息中的目标数据ID和目标时间戳;在所述中央节点的数据库中查询所述目标数据ID对应的目标数据,若所述中央节点的数据库中没有所述目标数据ID对应的目标数据,则确定所述数据为新数据。示例性地,数据如果曾被存储到分布式系统中,则该数据会有标识信息。中央节点获取到数据后,需要根据数据的标识信息中的目标数据ID和目标时间戳来判断数据是否为目标数据。中央服务器在中央节点的数据库中查询目标数据ID,如果查询不到目标数据ID,则表示该中央节点上没有存储目标数据ID对应的数据,即该数据为新数据。
进一步地,将所述目标数据ID确定为与所述数据相关联的数据ID;获取收到所述数据的接收时间,根据所述接收时间生成与所述数据相关联的时间戳。示例性地,若该数据曾存储在分布式系统中,中央节点无需再为数据生成新的数据ID,直接确定目标数据ID为所述数据的数据ID,中央节点根据接收数据时的接收时间为数据生成时间戳。
进一步地,在所述判断所述数据是否为新数据之后,若所述中央节点的数据库中有所述目标数据ID对应的数据,则判断所述目标数据ID对应的数据是否与接收到的所述数据相同;若所述目标数据ID对应的数据与接收到的所述数据相同,则删除接收到的所述数据;若所述目标数据ID对应的数据与接收到的所述数据不相同,则将所述目标数据ID对应的数据更新为接收到的所述数据,并获取收到所述数据的接收时间,以及根据所述接收时间更新与所述目标数据ID对应的数据相关联的时间戳。示例性地,当中央节点的数据库中有目标数据ID对应的数据,则说明中央节点中已经存储了相同数据ID的数据。进一步需要对数据库中目标数据ID对应的数据和数据进行比较,确定两个数据是否相同,如果相同,则不需要重新存储数据,直接删掉新接收的数据即可。如果两个数据不相同,需要把之前的数据更新为数据,并根据获取数据的接收时间把时间戳更新为新的时间戳。
进一步地,所述其它中央节点中的每一个中央节点根据所述标识信息查询数据库中是否存储了所述数据,并且没有存储所述数据的中央节点同步存储所述数据和所述标识信息。示例性地,中央节点将数据同步到其它中央节点,其它中央节点如果没有存储数据,则将数据同步到各自的数据库中。其它中央节点如果已经存储了数据,需要判断两个数据是否相同,如果数据相同,就不需要再重复存储,如果两个数据不同,则将原数据更新为数据。
进一步地,连接所述中央节点的边缘节点定时向所述中央节点发送数据同步请求。示例性地,为了及时与中央节点的数据保持同步,边缘节点通过定时轮询的方式与最近的中央节点或者其它的边缘节点进行通信来保持数据的同步,由此保证了一个中央节点下的不同边缘节点上的数据的可用性和分区容错性。
进一步地,在所述根据所述数据同步请求和所述标识信息同步所述数据之前,所述其它边缘节点向所述中央节点或所述边缘节点发送加载了所述请求数据ID和请求时间戳的所述数据同步请求,所述请求时间戳为所述其它边缘节点上与所述请求数据ID对应的数据相关联的时间戳。示例性地,其它边缘节点可以通过中央节点或者边缘节点对数据进行同步,同步的过程中需要通过请求数据ID确定同步的是否为同一个数据,并通过请求时间戳中的时间值的大小来确定最新的数据。
进一步地,若与所述数据相关联的时间戳中的时间值大于所述请求时间戳中的时间值,则所述中央节点或所述边缘节点向所述其它边缘节点同步所述数据,以将所述其它边缘节点中所述请求数据ID对应的数据更新为所述中央节点或所述边缘节点接收到的所述数据;若与所述数据相关联的时间戳中的时间值等于所述请求时间戳中的时间值,则所述中央节点或所述边缘节点不向所述其它边缘节点发送接收到的所述数据;若与所述数据相关联的时间戳中的时间值小于所述请求时间戳中的时间值,则所述其它边缘节点向所述边缘节点发送所述请求数据ID对应的数据,以用所述请求数据ID对应的数据更新接收到的所述数据。示例性地,当边缘节通过数据同步请求与中央节点或者边缘节点同步时,节点之间通过比较时间戳中时间值的大小来确定出最新的数据,由此保证不同的节点之间同步的数据都是最新的数据。
实施例三
基于与本发明实施例一种分布式数据同步系统同样的发明构思,本发明实施例提供一种分布式数据同步系统,请参考图2,包括:
中央节点,用于接收数据,并为所述数据生成标识信息,根据所述标识信息将所述数据同步到连接所述中央节点的其它中央节点,以及当接收到其它边缘节点的数据同步请求时,根据所述数据同步请求和所述标识信息同步所述数据;
边缘节点,用于接收数据并将所述数据传送至所述中央节点以为所述数据生成标识信息,以及当接收到其它边缘节点的数据同步请求时,根据所述数据同步请求和所述标识信息同步所述数据;
其中,所述标识信息包括数据ID和时间戳。
根据本发明的另一方面,本发明提供一种存储介质,所述存储介质中存储有多条指令,所述指令适于由处理器加载以执行如上所述的任一分布式数据同步方法。
综上所述,虽然本发明已以优选实施例揭露如上,但上述优选实施例并非用以限制本发明,本领域的普通技术人员,在不脱离本发明的精神和范围内,均可作各种更动与润饰,因此本发明的保护范围以权利要求界定的范围为准。

Claims (14)

1.一种分布式数据同步方法,其特征在于,所述方法包括:
当连接中央节点的边缘节点或所述中央节点接收的数据为新数据时,为所述数据生成标识信息,所述标识信息包括数据ID和时间戳;
所述中央节点根据所述标识信息将所述数据同步到连接所述中央节点的其它中央节点;
当所述中央节点或所述边缘节点接收到其它边缘节点的数据同步请求时,所述中央节点或所述边缘节点根据所述数据同步请求和所述标识信息将所述数据同步至所述其它边缘节点。
2.如权利要求1所述的方法,其特征在于,在所述连接中央节点的边缘节点或所述中央节点接收的数据为新数据之后,所述方法还包括:
当接收所述数据的节点为所述边缘节点时,所述边缘节点将所述数据发送到所述中央节点。
3.如权利要求1所述的方法,其特征在于,在所述为所述数据生成标识信息之前,所述方法还包括:
解析所述数据,判断所述数据是否为新数据。
4.如权利要求3所述的方法,其特征在于,所述解析所述数据,判断所述数据是否为新数据包括:
若所述数据没有标识信息,则确定所述数据为新数据。
5.如权利要求4所述的方法,其特征在于,所述为所述数据生成标识信息包括:
根据唯一识别码算法生成与所述数据相关联的数据ID;
获取收到所述数据的接收时间,根据所述接收时间生成与所述数据相关联的时间戳。
6.如权利要求3所述的方法,其特征在于,所述解析所述数据,判断所述数据是否为新数据还包括:
若所述数据有标识信息,获取所述数据的标识信息中的目标数据ID和目标时间戳;
在所述中央节点的数据库中查询所述目标数据ID对应的目标数据,若所述中央节点的数据库中没有所述目标数据ID对应的目标数据,则确定所述数据为新数据。
7.如权利要求6所述的方法,其特征在于,所述为所述数据生成标识信息包括:
将所述目标数据ID确定为与所述数据相关联的数据ID;
获取收到所述数据的接收时间,根据所述接收时间生成与所述数据相关联的时间戳。
8.如权利要求6所述的方法,其特征在于,在所述判断所述数据是否为新数据之后,所述方法还包括:
若所述中央节点的数据库中有所述目标数据ID对应的数据,则判断所述目标数据ID对应的数据是否与接收到的所述数据相同;
若所述目标数据ID对应的数据与接收到的所述数据相同,则删除接收到的所述数据;
若所述目标数据ID对应的数据与接收到的所述数据不相同,则将所述目标数据ID对应的数据更新为接收到的所述数据,并获取收到所述数据的接收时间,以及根据所述接收时间更新与所述目标数据ID对应的数据相关联的时间戳。
9.如权利要求1所述的方法,其特征在于,所述中央节点根据所述标识信息将所述数据同步到连接所述中央节点的其它中央节点包括:
所述其它中央节点中的每一个中央节点根据所述标识信息查询数据库中是否存储了所述数据,并且没有存储所述数据的中央节点同步存储所述数据和所述标识信息。
10.如权利要求1所述的方法,其特征在于,所述方法还包括:
连接所述中央节点的边缘节点定时向所述中央节点发送数据同步请求。
11.如权利要求1所述的方法,其特征在于,在所述根据所述数据同步请求和所述标识信息同步所述数据之前,所述方法还包括:
所述其它边缘节点向所述中央节点或所述边缘节点发送加载了所述请求数据ID和请求时间戳的所述数据同步请求,所述请求时间戳为所述其它边缘节点上与所述请求数据ID对应的数据相关联的时间戳。
12.如权利要求11所述的方法,其特征在于,所述根据所述数据同步请求和所述标识信息同步所述数据还包括:
若与所述数据相关联的时间戳中的时间值大于所述请求时间戳中的时间值,则所述中央节点或所述边缘节点向所述其它边缘节点同步所述数据,以将所述其它边缘节点中所述请求数据ID对应的数据更新为所述中央节点或所述边缘节点接收到的所述数据;
若与所述数据相关联的时间戳中的时间值等于所述请求时间戳中的时间值,则所述中央节点或所述边缘节点不向所述其它边缘节点发送接收到的所述数据;
若与所述数据相关联的时间戳中的时间值小于所述请求时间戳中的时间值,则所述其它边缘节点向所述边缘节点发送所述请求数据ID对应的数据,以用所述请求数据ID对应的数据更新接收到的所述数据。
13.一种分布式数据同步系统,其特征在于,包括:
中央节点,用于接收数据,并为所述数据生成标识信息,根据所述标识信息将所述数据同步到连接所述中央节点的其它中央节点,以及当接收到其它边缘节点的数据同步请求时,根据所述数据同步请求和所述标识信息同步所述数据;
边缘节点,用于接收数据并将所述数据传送至所述中央节点以为所述数据生成标识信息,以及当接收到其它边缘节点的数据同步请求时,根据所述数据同步请求和所述标识信息同步所述数据;
其中,所述标识信息包括数据ID和时间戳。
14.一种存储介质,其特征在于,所述存储介质中存储有多条指令,所述指令适于由处理器加载以执行如权利要求1至12中任一项所述的方法。
CN202111627678.9A 2021-12-28 2021-12-28 一种分布式数据同步方法、系统及存储介质 Pending CN114301930A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111627678.9A CN114301930A (zh) 2021-12-28 2021-12-28 一种分布式数据同步方法、系统及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111627678.9A CN114301930A (zh) 2021-12-28 2021-12-28 一种分布式数据同步方法、系统及存储介质

Publications (1)

Publication Number Publication Date
CN114301930A true CN114301930A (zh) 2022-04-08

Family

ID=80971753

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111627678.9A Pending CN114301930A (zh) 2021-12-28 2021-12-28 一种分布式数据同步方法、系统及存储介质

Country Status (1)

Country Link
CN (1) CN114301930A (zh)

Similar Documents

Publication Publication Date Title
US8171171B2 (en) Data synchronization method and system between devices
CN107861686B (zh) 文件存储方法、服务端和计算机可读存储介质
CN1988535B (zh) 文件存储同步方法、系统及客户端
CN105138571B (zh) 分布式文件系统及其存储海量小文件的方法
CN106815218B (zh) 数据库访问方法、装置和数据库系统
CN109547512B (zh) 一种基于NoSQL的分布式Session管理的方法及装置
US10831612B2 (en) Primary node-standby node data transmission method, control node, and database system
CN107181686B (zh) 路由表的同步方法、装置及系统
JP2005521946A (ja) 異なるデータ記憶部にデータを記憶する手法に関して同期を取るための方法および装置
US10069941B2 (en) Scalable event-based notifications
KR20080068110A (ko) 데이터 동기화 처리 방법 그리고 클라이언트 단말기, 서버및 그것의 데이터 동기화 시스템
CN109600410B (zh) 数据存储系统以及方法
US11226982B2 (en) Synchronization of offline instances
CN104935634A (zh) 基于分布共享存储的移动设备数据共享方法
KR100728076B1 (ko) 인터럽트된 동기화 프로세스의 처리를 제공하는 데이터를동기화하는 방법, 장치 및 시스템
CN112351068A (zh) 信息同步方法、系统、装置、计算机设备和存储介质
CN115150410A (zh) 多集群访问方法和系统
CN102594874B (zh) 一种同步处理方法和装置
US20180302404A1 (en) Method for processing data request and system therefor, access device, and storage device
CN113766027A (zh) 一种流复制集群节点转发数据的方法及设备
CN112000850A (zh) 进行数据处理的方法、装置、系统及设备
CN111274004A (zh) 进程实例管理方法、装置及计算机存储介质
CN114301930A (zh) 一种分布式数据同步方法、系统及存储介质
CN110728379A (zh) 配置信息管理方法及装置、电子设备和非暂态存储介质
CN113612811B (zh) 一种在多通道中客户端挂载的方法、系统、设备及介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination