CN115174594A - 分布式系统的数据同步方法、装置、设备及介质 - Google Patents
分布式系统的数据同步方法、装置、设备及介质 Download PDFInfo
- Publication number
- CN115174594A CN115174594A CN202210793881.1A CN202210793881A CN115174594A CN 115174594 A CN115174594 A CN 115174594A CN 202210793881 A CN202210793881 A CN 202210793881A CN 115174594 A CN115174594 A CN 115174594A
- Authority
- CN
- China
- Prior art keywords
- target
- data
- synchronization
- node
- adjacent
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 39
- 238000012216 screening Methods 0.000 claims abstract description 26
- 238000004590 computer program Methods 0.000 claims description 10
- 230000001360 synchronised effect Effects 0.000 claims description 10
- 238000012544 monitoring process Methods 0.000 claims description 3
- 238000000605 extraction Methods 0.000 claims description 2
- 230000006870 function Effects 0.000 description 4
- 239000000284 extract Substances 0.000 description 3
- 238000005336 cracking Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/01—Protocols
- H04L67/10—Protocols in which an application is distributed across nodes in the network
- H04L67/1095—Replication or mirroring of data, e.g. scheduling or transport for data synchronisation between network nodes
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/01—Protocols
- H04L67/10—Protocols in which an application is distributed across nodes in the network
- H04L67/1097—Protocols in which an application is distributed across nodes in the network for distributed storage of data in networks, e.g. transport arrangements for network file system [NFS], storage area networks [SAN] or network attached storage [NAS]
Landscapes
- Engineering & Computer Science (AREA)
- Computer Networks & Wireless Communication (AREA)
- Signal Processing (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明涉及数据同步技术领域,提供了一种分布式系统的数据同步方法、装置、设备及介质。该方法包括:接收用户发送的数据同步请求,根据数据同步请求确定目标节点,从目标节点中提取目标数据,并获取与目标节点直接连接的多个相邻节点,确定目标节点与每个相邻节点在历史周期内的同步次数,从多个相邻节点中筛选出同步次数低于预设次数阈值的相邻节点,得到多个目标相邻节点,将目标数据分别同步至多个目标相邻节点,以将目标数据同步至同步次数较低的相邻节点,从而实现科学、合理地选择目标相邻节点,避免了某些节点同步次数较多,存储的数据量较大,导致分布式系统负载不均衡。
Description
技术领域
本发明涉及数据同步技术领域,尤其涉及一种分布式系统的数据同步方法、装置、设备及介质。
背景技术
分布式系统是由一组通过网络进行通信、为了完成共同的任务而协调工作的计算机节点组成的系统。
在分布式系统中,每一个节点都被用来计算或者存储数据,并且在分布式系统中可能需要在节点之间进行数据同步的操作。然而,在目前的分布式系统中,在数据同步一段时间后,会存在某些节点存储的数据量较大,某些节点存储的数据量则较小,导致分布式系统负载不均衡,影响分布式系统数据同步功能的正常运行。
发明内容
本发明提供一种分布式系统的数据同步方法、装置、设备及介质,以解决分布式系统负载不均衡的技术问题。
第一方面,本发明提供了一种分布式系统的数据同步方法,包括如下步骤:
接收用户发送的数据同步请求,根据所述数据同步请求确定目标节点;
从所述目标节点中提取目标数据,并获取与所述目标节点直接连接的多个相邻节点;
确定所述目标节点与每个相邻节点在历史周期内的同步次数,从所述多个相邻节点中筛选出同步次数低于预设次数阈值的相邻节点,得到多个目标相邻节点;
将所述目标数据分别同步至所述多个目标相邻节点。
优选地,所述从所述多个相邻节点中筛选出同步次数低于预设次数阈值的相邻节点,得到多个目标相邻节点的步骤,包括:
获取所述目标节点与每个相邻节点在历史周期内的同步出错次数;
从所述多个相邻节点中筛选出同步出错次数低于预设同步出错次数阈值的相邻节点,得到多个第一相邻节点;
从所述多个第一相邻节点中筛选出同步次数低于预设次数阈值的第一相邻节点,得到多个目标相邻节点。
优选地,所述从所述多个相邻节点中筛选出同步次数低于预设次数阈值的相邻节点,得到多个目标相邻节点的步骤,包括:
获取每个相邻节点的剩余存储容量;
从所述多个相邻节点中筛选出剩余存储容量大于预设剩余存储容量的相邻节点,得到多个第二相邻节点;
从所述多个第二相邻节点中筛选出同步次数低于预设次数阈值的第二相邻节点,得到多个目标相邻节点。
在一实施例中,所述从所述目标节点中提取目标数据的步骤,包括:
获取所述目标节点中各个数据的历史访问频率;
当监测到所述目标节点存储有历史访问频率大于预设访问频率的数据时,则提取出历史访问频率大于预设访问频率的数据,得到目标数据。
优选地,所述将所述目标数据分别同步至所述多个目标相邻节点的步骤,包括:
获取每个目标相邻节点的标识信息;其中,不同的所述标识信息对应不同的加密算法;
根据每个目标相邻节点的所述标识信息查询对应的加密算法,得到每个目标相邻节点的目标加密算法;
基于每个目标相邻节点的所述目标加密算法对所述目标数据进行多次加密,将加密后的所述目标数据分别同步至所述多个目标相邻节点。
在一实施例中,所述获取每个目标相邻节点的标识信息的步骤,包括:
获取每个目标相邻节点中的数据在历史周期内的泄露次数;
根据每个所述目标相邻节点的所述泄露次数为每个所述目标相邻节点设置相应的标识信息。
优选地,所述将所述目标数据分别同步至所述多个目标相邻节点的步骤,包括:
实时监测所述目标数据同步至每个所述目标相邻节点的同步时长;
判断同步过程中是否存在同步时长大于预设同步时长的目标相邻节点;
若是,则暂停将所述目标数据同步至同步时长大于预设同步时长的目标相邻节点。
第二方面,本发明提供的一种分布式系统的数据同步装置,包括:
接收模块,用于接收用户发送的数据同步请求,根据所述数据同步请求确定目标节点;
提取模块,用于从所述目标节点中提取目标数据,并获取与所述目标节点直接连接的多个相邻节点;
确定模块,用于确定所述目标节点与每个相邻节点在历史周期内的同步次数,从所述多个相邻节点中筛选出同步次数低于预设次数阈值的相邻节点,得到多个目标相邻节点;
同步模块,用于将所述目标数据分别同步至所述多个目标相邻节点。
第三方面,本发明提供了一种计算机设备,包括存储器和处理器,所述存储器中存储有计算机可读指令,所述计算机可读指令被所述处理器执行时,使得所述处理器执行如上任一项所述的分布式系统的数据同步方法的步骤。
第四方面,本发明提供的一种存储介质,其上存储有计算机程序,所述计算机程序被处理器执行时,实现如上任一项所述的分布式系统的数据同步方法。
相对于现有技术,本发明的技术方案至少具备如下优点:
本发明提供的分布式系统的数据同步方法、装置、设备及介质,接收用户发送的数据同步请求,根据数据同步请求确定目标节点,从目标节点中提取目标数据,并获取与目标节点直接连接的多个相邻节点,确定目标节点与每个相邻节点在历史周期内的同步次数,从多个相邻节点中筛选出同步次数低于预设次数阈值的相邻节点,得到多个目标相邻节点,将目标数据分别同步至多个目标相邻节点,以将目标数据同步至同步次数较低的相邻节点,从而实现科学、合理地选择目标相邻节点,避免了某些节点同步次数较多,存储的数据量较大,导致分布式系统负载不均衡。
附图说明
图1为本发明分布式系统的数据同步方法一种实施例流程框图;
图2为本发明分布式系统的数据同步装置一种实施例模块框图;
图3为本发明一个实施例中计算机设备的内部结构框图。
本发明目的的实现、功能特点及优点将结合实施例,参照附图做进一步说明。
具体实施方式
为了使本技术领域的人员更好地理解本发明方案,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述。
在本发明的说明书和权利要求书及上述附图中的描述的一些流程中,包含了按照特定顺序出现的多个操作,但是应该清楚了解,这些操作可以不按照其在本文中出现的顺序来执行或并行执行,操作的序号如S11、S12等,仅仅是用于区分开各个不同的操作,序号本身不代表任何的执行顺序。另外,这些流程可以包括更多或更少的操作,并且这些操作可以按顺序执行或并行执行。需要说明的是,本文中的“第一”、“第二”等描述,是用于区分不同的消息、设备、模块等,不代表先后顺序,也不限定“第一”和“第二”是不同的类型。
本领域普通技术人员可以理解,除非特意声明,这里使用的单数形式“一”、“一个”、“所述”和“该”也可包括复数形式。应该进一步理解的是,本发明的说明书中使用的措辞“包括”是指存在所述特征、整数、步骤、操作、元件和/或组件,但是并不排除存在或添加一个或多个其他特征、整数、步骤、操作、元件、组件和/或它们的组。应该理解,当我们称元件被“连接”或“耦接”到另一元件时,它可以直接连接或耦接到其他元件,或者也可以存在中间元件。此外,这里使用的“连接”或“耦接”可以包括无线连接或无线耦接。这里使用的措辞“和/或”包括一个或更多个相关联的列出项的全部或任一单元和全部组合。
本领域普通技术人员可以理解,除非另外定义,这里使用的所有术语(包括技术术语和科学术语),具有与本发明所属领域中的普通技术人员的一般理解相同的意义。还应该理解的是,诸如通用字典中定义的那些术语,应该被理解为具有与现有技术的上下文中的意义一致的意义,并且除非像这里一样被特定定义,否则不会用理想化或过于正式的含义来解释。
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
请参阅图1,本发明所提供的一种分布式系统的数据同步方法,以计算机设备为执行主体,用于解决目前的分布式系统中,存在负载不均衡的技术问题。在一种实施方式中,该分布式系统的数据同步方法包括如下步骤:
S11、接收用户发送的数据同步请求,根据所述数据同步请求确定目标节点;
S12、从所述目标节点中提取目标数据,并获取与所述目标节点直接连接的多个相邻节点;
S13、确定所述目标节点与每个相邻节点在历史周期内的同步次数,从所述多个相邻节点中筛选出同步次数低于预设次数阈值的相邻节点,得到多个目标相邻节点;
S14、将所述目标数据分别同步至所述多个目标相邻节点。
在本实施例中,该分布式系统是将数据分散存储在多台独立的设备上。传统的网络存储系统采用集中的存储服务器存放所有数据,存储服务器成为系统性能的瓶颈,也是可靠性和安全性的焦点,不能满足大规模存储应用的需要。分布式系统采用可扩展的系统结构,利用多台存储服务器分担存储负荷,利用位置服务器定位存储信息,多台存储服务器在分布式系统中以节点的形式进行存在,每个节点代表一台存储服务器,它不但提高了系统的可靠性、可用性和存取效率,还易于扩展。
具体的,分布式系统中包括多个节点,每个节点可以当成一台独立的计算机设备,本实施例可以接收用户发送的数据同步请求,数据同步请求中含有标识,基于该标识确定需要同步的目标节点,从目标节点中提取需要同步至其他节点的目标数据,其中,该目标数据可以自定义指定,如将用户数据作为目标数据,具体可以是用户的身份证号码、手机号码、姓名等等信息;或将用户访问频率最高的数据作为目标数据。
本实施例可获取与目标节点直接连接的多个相邻节点,并确定目标节点与每个相邻节点在历史周期内的同步次数,将每个相邻节点在历史周期内的同步次数与预设次数阈值进行比对,得到比对结果,根据比对结果从多个相邻节点中筛选出同步次数低于预设次数阈值的相邻节点,将同步次数低于预设次数阈值的相邻节点作为目标相邻节点,最终得到多个目标相邻节点。其中,目标节点将数据同步至相邻节点A,则将相邻节点A的同步次数记为一次,该预设次数阈值可自定义设置,如设置为1000。
最后将目标数据分别同步至多个目标相邻节点,例如,当目标相邻节点有目标相邻节点A、目标相邻节点B、目标相邻节点C时,则同时将目标数据同步至目标相邻节点A,将目标数据同步至目标相邻节点B,以及将目标数据同步至目标相邻节点C,实现将目标数据同步至同步次数较少的相邻节点,从而实现科学、合理地选择目标相邻节点,避免了某些节点同步次数较多,存储的数据量较大,导致分布式系统负载不均衡。
在一实施例中,所述从所述多个相邻节点中筛选出同步次数低于预设次数阈值的相邻节点,得到多个目标相邻节点的步骤,可具体包括:
获取所述目标节点与每个相邻节点在历史周期内的同步出错次数;
从所述多个相邻节点中筛选出同步出错次数低于预设同步出错次数阈值的相邻节点,得到多个第一相邻节点;
从所述多个第一相邻节点中筛选出同步次数低于预设次数阈值的第一相邻节点,得到多个目标相邻节点。
本实施例获取目标节点与每个相邻节点在历史周期内的同步出错次数,从多个相邻节点中筛选出同步出错次数低于预设同步出错次数阈值的相邻节点,将同步出错次数低于预设同步出错次数阈值的相邻节点作为第一相邻节点,最终得到多个第一相邻节点,然后从多个第一相邻节点中筛选出同步次数低于预设次数阈值的第一相邻节点,得到多个目标相邻节点,以最终得到同步出错次数较少且同步次数较低的目标相邻节点,确保分布式系统数据同步的正常运行。
例如,本实施例可获取目标节点与每个相邻节点在过去一年内的同步出错次数,如目标节点与相邻节点A在过去一年内的同步出错次数为9次,目标节点与相邻节点B在过去一年内的同步出错次数为8次,目标节点与相邻节点A在过去一年内的同步出错次数为15次,而预设同步出错次数阈值设置为10次,则将相邻节点A和B作为第一相邻节点,并同时获取相邻节点A和B的同步次数,进一步筛选出同步次数低于预设次数阈值的第一相邻节点,得到目标相邻节点,将该目标数据同步至目标相邻节点。
在一实施例中,所述从所述多个相邻节点中筛选出同步次数低于预设次数阈值的相邻节点,得到多个目标相邻节点的步骤,可具体包括:
获取每个相邻节点的剩余存储容量;
从所述多个相邻节点中筛选出剩余存储容量大于预设剩余存储容量的相邻节点,得到多个第二相邻节点;
从所述多个第二相邻节点中筛选出同步次数低于预设次数阈值的第二相邻节点,得到多个目标相邻节点。
本实施例可遍历每个相邻节点的剩余存储容量,根据剩余存储容量由大到小的顺序对每个第一相邻节点进行排序,从多个相邻节点中筛选出剩余存储容量排在前列的相邻节点,得到多个第二相邻节点,且每个第二相邻节点的剩余存储容量大于预设剩余存储容量,然后从多个第二相邻节点中筛选出同步次数低于预设次数阈值的第二相邻节点,将同步次数低于预设次数阈值的第二相邻节点作为目标相邻节点,最终得到多个目标相邻节点。例如,当相邻节点为三个时,分别为相邻节点a、b、c,分别对应的剩余存储容量为100G、90G、99G,则从中筛选出剩余存储容量较大的相邻节点a和b作为第二相邻节点。
其中,存储容量是指存储器可以容纳的二进制信息量,用存储器中存储地址寄存器MAR的编址数与存储字位数的乘积表示。
在一实施例中,所述从所述目标节点中提取目标数据的步骤,可具体包括:
获取所述目标节点中各个数据的历史访问频率;
当监测到所述目标节点存储有历史访问频率大于预设访问频率的数据时,则提取出历史访问频率大于预设访问频率的数据,得到目标数据。
本实施例获取目标节点中各个数据在历史周期内被访问的历史访问频率,遍历分布式系统中目标节点存储的所有数据及每种类型的数据的历史访问频率,当监测到分布式系统中的目标节点存储有历史访问频率大于预设访问频率的数据时,则表示监测到分布式系统中的目标节点存储有目标数据,即本实施例的目标数据为历史访问频率大于预设访问频率的数据,则提取出历史访问频率大于预设访问频率的数据,将其作为目标数据,以对访问频率较高的数据进行同步,以便后续用户访问时,用户可直接访问目标相邻节点,通过目标相邻节点提取目标数据,将目标数据发送给用户,无需通过目标节点返回目标数据,从而减轻目标节点的负载。
在一实施例中,所述将所述目标数据分别同步至所述多个目标相邻节点的步骤,可具体包括:
获取每个目标相邻节点的标识信息;其中,不同的所述标识信息对应不同的加密算法;
根据每个目标相邻节点的所述标识信息查询对应的加密算法,得到每个目标相邻节点的目标加密算法;
基于每个目标相邻节点的所述目标加密算法对所述目标数据进行多次加密,将加密后的所述目标数据分别同步至所述多个目标相邻节点。
在本实施例中,每个目标相邻节点都预先分配有标识信息,不同的标识信息对应不同的加密算法,该加密算法包括对称加密算法、非对称加密算法或对称加密算法与非对称加密算法的组合算法。
然后根据每个目标相邻节点的标识信息查询每个目标相邻节点对应的加密算法,得到每个目标相邻节点的目标加密算法,基于每个目标相邻节点的目标加密算法对目标数据进行多次加密,将加密后的目标数据分别同步至多个目标相邻节点,如可对目标数据先进行对称加密算法加密,再对加密后的目标数据进行非对称加密算法加密,以实现多次加密,提高目标数据被破解的难度,确保目标数据的安全性。
在一实施例中,所述获取每个目标相邻节点的标识信息的步骤,可具体包括:
获取每个目标相邻节点中的数据在历史周期内的泄露次数;
根据每个所述目标相邻节点的所述泄露次数为每个所述目标相邻节点设置相应的标识信息。
本实施例获取每个目标相邻节点中的数据在历史周期内的泄露次数,根据每个目标相邻节点的所述泄露次数为每个目标相邻节点设置相应的标识信息,如目标相邻节点的所述泄露次数较多,则分配破解难度较高的加密算法对应的标识信息,目标相邻节点的所述泄露次数较少,则可分配破解难度较低的加密算法对应的标识信息。
在一实施例中,所述将所述目标数据分别同步至所述多个目标相邻节点的步骤,可具体包括:
实时监测所述目标数据同步至每个所述目标相邻节点的同步时长;
判断同步过程中是否存在同步时长大于预设同步时长的目标相邻节点;
若是,则暂停将所述目标数据同步至同步时长大于预设同步时长的目标相邻节点。
本实施例可在计算机设备中设置一个计时器,该计时器用于实时监测目标数据同步至目标相邻节点的同步时长,判断同步过程中是否存在同步时长大于预设同步时长的目标相邻节点,该预设同步时长可自定义设置,如设置为1小时,当判定存在同步时长大于预设同步时长的目标相邻节点时,则暂停将目标数据同步至同步时长大于预设同步时长的目标相邻节点,以确保数据同步的正常进行。
例如,当判定目标数据同步至目标相邻节点A的过程中,目标数据同步至目标相邻节点A的同步时长大于1小时时,则暂停将目标数据同步至同步时长大于预设同步时长的目标相邻节点A,直至分布式系统处于空闲状态后,才恢复将目标数据同步至同步时长大于预设同步时长的目标相邻节点A。
本发明提供的分布式系统的数据同步方法,接收用户发送的数据同步请求,根据数据同步请求确定目标节点,从目标节点中提取目标数据,并获取与目标节点直接连接的多个相邻节点,确定目标节点与每个相邻节点在历史周期内的同步次数,从多个相邻节点中筛选出同步次数低于预设次数阈值的相邻节点,得到多个目标相邻节点,将目标数据分别同步至多个目标相邻节点,以将目标数据同步至同步次数较低的相邻节点,从而实现科学、合理地选择目标相邻节点,避免了某些节点同步次数较多,存储的数据量较大,导致分布式系统负载不均衡。
请参考图2,本发明的实施例还提供一种分布式系统的数据同步装置,一种本实施例中,包括接收模块11、提取模块12、确定模块13及同步模块14。其中,
接收模块11,用于接收用户发送的数据同步请求,根据所述数据同步请求确定目标节点;
提取模块12,用于从所述目标节点中提取目标数据,并获取与所述目标节点直接连接的多个相邻节点;
确定模块13,用于确定所述目标节点与每个相邻节点在历史周期内的同步次数,从所述多个相邻节点中筛选出同步次数低于预设次数阈值的相邻节点,得到多个目标相邻节点;
同步模块14,用于将所述目标数据分别同步至所述多个目标相邻节点。
在本实施例中,该分布式系统是将数据分散存储在多台独立的设备上。传统的网络存储系统采用集中的存储服务器存放所有数据,存储服务器成为系统性能的瓶颈,也是可靠性和安全性的焦点,不能满足大规模存储应用的需要。分布式系统采用可扩展的系统结构,利用多台存储服务器分担存储负荷,利用位置服务器定位存储信息,多台存储服务器在分布式系统中以节点的形式进行存在,每个节点代表一台存储服务器,它不但提高了系统的可靠性、可用性和存取效率,还易于扩展。
具体的,分布式系统中包括多个节点,每个节点可以当成一台独立的计算机设备,本实施例可以接收用户发送的数据同步请求,数据同步请求中含有标识,基于该标识确定需要同步的目标节点,从目标节点中提取需要同步至其他节点的目标数据,其中,该目标数据可以自定义指定,如将用户数据作为目标数据,具体可以是用户的身份证号码、手机号码、姓名等等信息;或将用户访问频率最高的数据作为目标数据。
本实施例可获取与目标节点直接连接的多个相邻节点,并确定目标节点与每个相邻节点在历史周期内的同步次数,将每个相邻节点在历史周期内的同步次数与预设次数阈值进行比对,得到比对结果,根据比对结果从多个相邻节点中筛选出同步次数低于预设次数阈值的相邻节点,将同步次数低于预设次数阈值的相邻节点作为目标相邻节点,最终得到多个目标相邻节点。其中,目标节点将数据同步至相邻节点A,则将相邻节点A的同步次数记为一次,该预设次数阈值可自定义设置,如设置为1000。
最后将目标数据分别同步至多个目标相邻节点,例如,当目标相邻节点有目标相邻节点A、目标相邻节点B、目标相邻节点C时,则同时将目标数据同步至目标相邻节点A,将目标数据同步至目标相邻节点B,以及将目标数据同步至目标相邻节点C,实现将目标数据同步至同步次数较少的相邻节点,从而实现科学、合理地选择目标相邻节点,避免了某些节点同步次数较多,存储的数据量较大,导致分布式系统负载不均衡。
关于上述实施例中的装置,其中各个模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述,此处将不做详细阐述说明。
本发明提供的一种计算机设备,包括存储器和处理器,所述存储器中存储有计算机可读指令,所述计算机可读指令被所述处理器执行时,使得所述处理器执行如上任一项所述的分布式系统的数据同步方法的步骤。
在一实施例中,如图3所示。本实施例所述的计算机设备可以是服务器、个人计算机以及网络设备等设备。所述计算机设备包括处理器302、存储器303、摄像头、输入单元304以及显示单元305等器件。本领域技术人员可以理解,图3示出的设备结构器件并不构成对所有设备的限定,可以包括比图示更多或更少的部件,或者组合某些部件。例如,在大多数情况下,计算机设备无需配备显示单元305。存储器303可用于存储计算机程序301以及各功能模块,处理器302运行存储在存储器303的计算机程序301,从而执行设备的各种功能应用以及数据处理。存储器可以是内存储器或外存储器,或者包括内存储器和外存储器两者。内存储器可以包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦写可编程ROM(EEPROM)、快闪存储器、或者随机存储器。外存储器可以包括硬盘、软盘、ZIP盘、U盘、磁带等。本发明所公开的存储器包括但不限于这些类型的存储器。本发明所公开的存储器只作为例子而非作为限定。
输入单元304用于接收信号的输入,以及接收用户输入的关键字。输入单元304可包括触控面板以及其它输入设备。触控面板可收集用户在其上或附近的触摸操作(比如用户使用手指、触笔等任何适合的物体或附件在触控面板上或在触控面板附近的操作),并根据预先设定的程序驱动相应的连接装置;其它输入设备可以包括但不限于物理键盘、功能键(比如播放控制按键、开关按键等)、轨迹球、鼠标、操作杆等中的一种或多种。显示单元305可用于显示用户输入的信息或提供给用户的信息及计算机设备的各种菜单。显示单元305可采用液晶显示器、有机发光二极管等形式。处理器302是计算机设备的控制中心,利用各种接口和线路连接整个电脑的各个部分,通过运行或执行存储在存储器302内的软件程序和/或模块,以及调用存储在存储器内的数据,执行各种功能和处理数据。
作为一个实施例,所述计算机设备包括:一个或多个处理器302,存储器303,一个或多个计算机程序301,其中所述一个或多个计算机程序301被存储在存储器303中并被配置为由所述一个或多个处理器302执行,所述一个或多个计算机程序301配置用于执行以上实施例所述的分布式系统的数据同步方法。
在一个实施例中,本发明还提出了一种存储有计算机可读指令的存储介质,该计算机可读指令被一个或多个处理器执行时,使得一个或多个处理器执行上述分布式系统的数据同步方法。例如,所述存储介质可以是ROM、随机存取存储器(RAM)、CD-ROM、磁带、软盘和光数据存储设备等。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程,是可以通过计算机程序来指令相关的硬件来完成,该计算机程序可存储于一存储介质中,该程序在执行时,可包括如上述各方法的实施例的流程。其中,前述的存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory,ROM)等非易失性存储介质,或随机存储记忆体(RandomAccess Memory,RAM)等。
综合上述实施例可知,本发明最大的有益效果在于:
本发明提供的分布式系统的数据同步方法、装置、设备及介质,接收用户发送的数据同步请求,根据数据同步请求确定目标节点,从目标节点中提取目标数据,并获取与目标节点直接连接的多个相邻节点,确定目标节点与每个相邻节点在历史周期内的同步次数,从多个相邻节点中筛选出同步次数低于预设次数阈值的相邻节点,得到多个目标相邻节点,将目标数据分别同步至多个目标相邻节点,以将目标数据同步至同步次数较低的相邻节点,从而实现科学、合理地选择目标相邻节点,避免了某些节点同步次数较多,存储的数据量较大,导致分布式系统负载不均衡。
以上所述实施例的各技术特征可以进行任意的组合,为使描述简洁,未对上述实施例中的各个技术特征所有可能的组合都进行描述,然而,只要这些技术特征的组合不存在矛盾,都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本发明的几种实施方式,其描述较为具体和详细,但并不能因此而理解为对本发明专利范围的限制。应当指出的是,对于本领域的普通技术人员来说,在不脱离本发明构思的前提下,还可以做出若干变形和改进,这些都属于本发明的保护范围。因此,本发明专利的保护范围应以所附权利要求为准。
Claims (10)
1.一种分布式系统的数据同步方法,其特征在于,包括:
接收用户发送的数据同步请求,根据所述数据同步请求确定目标节点;
从所述目标节点中提取目标数据,并获取与所述目标节点直接连接的多个相邻节点;
确定所述目标节点与每个相邻节点在历史周期内的同步次数,从所述多个相邻节点中筛选出同步次数低于预设次数阈值的相邻节点,得到多个目标相邻节点;
将所述目标数据分别同步至所述多个目标相邻节点。
2.根据权利要求1所述的分布式系统的数据同步方法,其特征在于,所述从所述多个相邻节点中筛选出同步次数低于预设次数阈值的相邻节点,得到多个目标相邻节点的步骤,包括:
获取所述目标节点与每个相邻节点在历史周期内的同步出错次数;
从所述多个相邻节点中筛选出同步出错次数低于预设同步出错次数阈值的相邻节点,得到多个第一相邻节点;
从所述多个第一相邻节点中筛选出同步次数低于预设次数阈值的第一相邻节点,得到多个目标相邻节点。
3.根据权利要求1所述的分布式系统的数据同步方法,其特征在于,所述从所述多个相邻节点中筛选出同步次数低于预设次数阈值的相邻节点,得到多个目标相邻节点的步骤,包括:
获取每个相邻节点的剩余存储容量;
从所述多个相邻节点中筛选出剩余存储容量大于预设剩余存储容量的相邻节点,得到多个第二相邻节点;
从所述多个第二相邻节点中筛选出同步次数低于预设次数阈值的第二相邻节点,得到多个目标相邻节点。
4.根据权利要求1所述的分布式系统的数据同步方法,其特征在于,所述从所述目标节点中提取目标数据的步骤,包括:
获取所述目标节点中各个数据的历史访问频率;
当监测到所述目标节点存储有历史访问频率大于预设访问频率的数据时,则提取出历史访问频率大于预设访问频率的数据,得到目标数据。
5.根据权利要求1所述的分布式系统的数据同步方法,其特征在于,所述将所述目标数据分别同步至所述多个目标相邻节点的步骤,包括:
获取每个目标相邻节点的标识信息;其中,不同的所述标识信息对应不同的加密算法;
根据每个目标相邻节点的所述标识信息查询对应的加密算法,得到每个目标相邻节点的目标加密算法;
基于每个目标相邻节点的所述目标加密算法对所述目标数据进行多次加密,将加密后的所述目标数据分别同步至所述多个目标相邻节点。
6.根据权利要求5所述的分布式系统的数据同步方法,其特征在于,所述获取每个目标相邻节点的标识信息的步骤,包括:
获取每个目标相邻节点中的数据在历史周期内的泄露次数;
根据每个所述目标相邻节点的所述泄露次数为每个所述目标相邻节点设置相应的标识信息。
7.根据权利要求1所述的分布式系统的数据同步方法,其特征在于,所述将所述目标数据分别同步至所述多个目标相邻节点的步骤,包括:
实时监测所述目标数据同步至每个所述目标相邻节点的同步时长;
判断同步过程中是否存在同步时长大于预设同步时长的目标相邻节点;
若是,则暂停将所述目标数据同步至同步时长大于预设同步时长的目标相邻节点。
8.一种分布式系统的数据同步装置,其特征在于,包括:
接收模块,用于接收用户发送的数据同步请求,根据所述数据同步请求确定目标节点;
提取模块,用于从所述目标节点中提取目标数据,并获取与所述目标节点直接连接的多个相邻节点;
确定模块,用于确定所述目标节点与每个相邻节点在历史周期内的同步次数,从所述多个相邻节点中筛选出同步次数低于预设次数阈值的相邻节点,得到多个目标相邻节点;
同步模块,用于将所述目标数据分别同步至所述多个目标相邻节点。
9.一种计算机设备,其特征在于,包括存储器和处理器,所述存储器中存储有计算机可读指令,所述计算机可读指令被所述处理器执行时,使得所述处理器执行如权利要求1至7中任一项所述的分布式系统的数据同步方法的步骤。
10.一种存储介质,其上存储有计算机程序,其特征在于,所述计算机程序被处理器执行时,实现如权利要求1至7中任一项所述的分布式系统的数据同步方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210793881.1A CN115174594B (zh) | 2022-07-07 | 2022-07-07 | 分布式系统的数据同步方法、装置、设备及介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210793881.1A CN115174594B (zh) | 2022-07-07 | 2022-07-07 | 分布式系统的数据同步方法、装置、设备及介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN115174594A true CN115174594A (zh) | 2022-10-11 |
CN115174594B CN115174594B (zh) | 2024-03-29 |
Family
ID=83492115
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202210793881.1A Active CN115174594B (zh) | 2022-07-07 | 2022-07-07 | 分布式系统的数据同步方法、装置、设备及介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN115174594B (zh) |
Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109121176A (zh) * | 2018-09-29 | 2019-01-01 | 中国电子科技集团公司第三十研究所 | 一种分布式数据同步方法 |
CN110365768A (zh) * | 2019-07-15 | 2019-10-22 | 腾讯科技(深圳)有限公司 | 分布式系统的数据同步方法、装置、介质、电子设备 |
CN110636090A (zh) * | 2018-06-22 | 2019-12-31 | 北京东土科技股份有限公司 | 窄带宽条件下的数据同步方法和装置 |
CN111526162A (zh) * | 2020-07-02 | 2020-08-11 | 武汉斗鱼鱼乐网络科技有限公司 | 一种区块链攻击节点的多层次综合识别方法及装置 |
CN113157810A (zh) * | 2021-04-29 | 2021-07-23 | 网易(杭州)网络有限公司 | 一种区块同步方法、计算机设备和存储介质 |
CN114281256A (zh) * | 2021-12-20 | 2022-04-05 | 广州炒米信息科技有限公司 | 基于分布式存储系统的数据同步方法、装置、设备及介质 |
CN114281260A (zh) * | 2021-12-23 | 2022-04-05 | 广州炒米信息科技有限公司 | 应用于分布式存储系统的存储方法、装置、设备及介质 |
CN114443770A (zh) * | 2022-01-28 | 2022-05-06 | 中国农业银行股份有限公司 | 数据同步方法、装置、介质及电子设备 |
-
2022
- 2022-07-07 CN CN202210793881.1A patent/CN115174594B/zh active Active
Patent Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110636090A (zh) * | 2018-06-22 | 2019-12-31 | 北京东土科技股份有限公司 | 窄带宽条件下的数据同步方法和装置 |
CN109121176A (zh) * | 2018-09-29 | 2019-01-01 | 中国电子科技集团公司第三十研究所 | 一种分布式数据同步方法 |
CN110365768A (zh) * | 2019-07-15 | 2019-10-22 | 腾讯科技(深圳)有限公司 | 分布式系统的数据同步方法、装置、介质、电子设备 |
CN111526162A (zh) * | 2020-07-02 | 2020-08-11 | 武汉斗鱼鱼乐网络科技有限公司 | 一种区块链攻击节点的多层次综合识别方法及装置 |
CN113157810A (zh) * | 2021-04-29 | 2021-07-23 | 网易(杭州)网络有限公司 | 一种区块同步方法、计算机设备和存储介质 |
CN114281256A (zh) * | 2021-12-20 | 2022-04-05 | 广州炒米信息科技有限公司 | 基于分布式存储系统的数据同步方法、装置、设备及介质 |
CN114281260A (zh) * | 2021-12-23 | 2022-04-05 | 广州炒米信息科技有限公司 | 应用于分布式存储系统的存储方法、装置、设备及介质 |
CN114443770A (zh) * | 2022-01-28 | 2022-05-06 | 中国农业银行股份有限公司 | 数据同步方法、装置、介质及电子设备 |
Also Published As
Publication number | Publication date |
---|---|
CN115174594B (zh) | 2024-03-29 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
KR102476531B1 (ko) | 분산 시스템을 위한 데이터 동기화 방법 및 장치, 매체, 및 전자 디바이스 | |
EP3832578A1 (en) | Electronic invoice identifier allocation method, and electronic ticket generating method, device and system | |
CN107911249B (zh) | 一种网络设备的命令行发送方法、装置和设备 | |
US20150135255A1 (en) | Client-configurable security options for data streams | |
US10908834B2 (en) | Load balancing for scalable storage system | |
US20150134797A1 (en) | Managed service for acquisition, storage and consumption of large-scale data streams | |
CN108696581B (zh) | 分布式信息的缓存方法、装置、计算机设备以及存储介质 | |
US10846186B2 (en) | Central processing unit CPU hot-remove method and apparatus, and central processing unit CPU hot-add method and apparatus | |
CN108427956A (zh) | 一种对象聚类方法和装置 | |
CN110209348B (zh) | 数据存储方法、装置、电子设备及存储介质 | |
US20130019087A1 (en) | System structure management device, system structure management method, and program | |
CN107656705B (zh) | 一种计算机存储介质和一种数据迁移方法、装置及系统 | |
CN110557304B (zh) | 一种地址探测方法、设备及计算机可读存储介质 | |
US20170193070A1 (en) | System and method for a distributed replication lock for active-active geo-redundant systems | |
CN110633046A (zh) | 一种分布式系统的存储方法、装置、存储设备及存储介质 | |
CN111147605B (zh) | 服务注册方法、装置和设备 | |
CN114281256A (zh) | 基于分布式存储系统的数据同步方法、装置、设备及介质 | |
CN109299116B (zh) | 一种数据同步方法、装置、设备及可读存储介质 | |
CN106815318B (zh) | 一种时序数据库的集群化方法及系统 | |
CN103414756B (zh) | 一种任务分发方法、分发节点及系统 | |
CN110119429B (zh) | 数据处理方法、装置、计算机设备和存储介质 | |
CN110581892B (zh) | 基于区块链的网络连接及恢复机制 | |
CN115174594A (zh) | 分布式系统的数据同步方法、装置、设备及介质 | |
JP6063882B2 (ja) | 仮想マシン配置システム及び方法 | |
CN111158595A (zh) | 企业级异构存储资源调度方法及系统 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |