CN114281256A - 基于分布式存储系统的数据同步方法、装置、设备及介质 - Google Patents
基于分布式存储系统的数据同步方法、装置、设备及介质 Download PDFInfo
- Publication number
- CN114281256A CN114281256A CN202111560315.8A CN202111560315A CN114281256A CN 114281256 A CN114281256 A CN 114281256A CN 202111560315 A CN202111560315 A CN 202111560315A CN 114281256 A CN114281256 A CN 114281256A
- Authority
- CN
- China
- Prior art keywords
- target
- data
- node
- adjacent
- synchronization
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 50
- 238000011156 evaluation Methods 0.000 claims abstract description 97
- 230000001360 synchronised effect Effects 0.000 claims abstract description 34
- 238000012216 screening Methods 0.000 claims abstract description 27
- 238000012163 sequencing technique Methods 0.000 claims abstract description 9
- 238000004590 computer program Methods 0.000 claims description 10
- 238000004422 calculation algorithm Methods 0.000 claims description 7
- 238000012544 monitoring process Methods 0.000 claims description 6
- 238000004364 calculation method Methods 0.000 claims description 2
- 238000004904 shortening Methods 0.000 abstract 1
- 238000012545 processing Methods 0.000 description 5
- 230000006870 function Effects 0.000 description 3
- 238000010586 diagram Methods 0.000 description 2
- 239000000284 extract Substances 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 239000000126 substance Substances 0.000 description 1
Images
Landscapes
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明涉及数据同步技术领域，提供了一种基于分布式存储系统的数据同步方法、装置、设备及介质。该方法包括：当监测到目标节点存储有目标数据时，获取与目标节点直接连接的各个相邻节点的历史同步数据；根据历史同步数据计算各个相邻节点的评估值，并筛选出评估值大于预设评估阈值的相邻节点，得到多个第一相邻节点；遍历每个第一相邻节点的剩余存储容量，根据剩余存储容量由大到小的顺序对每个第一相邻节点进行排序，筛选出剩余存储容量排在第一位的目标相邻节点，将目标节点中的目标数据同步至目标相邻节点，以科学、合理地选择剩余存储容量较大且同步效率较高的目标相邻节点，从而能够缩短分布式存储系统的数据同步时间，提高数据同步效率。
Description
技术领域
本发明涉及数据同步技术领域，尤其涉及一种基于分布式存储系统的数据同步方法、装置、设备及介质。
背景技术
分布式存储系统是由一组通过网络进行通信、为了完成共同的任务而协调工作的计算机节点组成的系统。
在分布式存储系统中，每一个节点都被用来计算或者存储数据，并且在分布式存储系统中可能需要在节点之间进行数据同步的操作。然而，在目前的分布式存储系统中，节点之间进行数据同步操作通常存在数据同步效率较低的问题。
发明内容
本发明提供一种基于分布式存储系统的数据同步方法、装置、设备及介质，以提高数据同步效率。
第一方面，本发明提供了一种基于分布式存储系统的数据同步方法，包括如下步骤：
当监测到分布式存储系统中的目标节点存储有目标数据时，获取与所述目标节点直接连接的各个相邻节点的历史同步数据；
根据各个相邻节点的所述历史同步数据计算各个所述相邻节点的评估值；其中，所述评估值用于评估所述目标节点在历史同步过程中将数据同步至所述相邻节点的效率；
从所有相邻节点中筛选出评估值大于预设评估阈值的相邻节点，得到多个第一相邻节点；
遍历每个所述第一相邻节点的剩余存储容量，根据所述剩余存储容量由大到小的顺序对每个所述第一相邻节点进行排序，从所述多个第一相邻节点中筛选出剩余存储容量排在第一位的第一相邻节点，得到目标相邻节点；
将所述目标节点中的目标数据同步至所述目标相邻节点。
优选地，所述根据各个相邻节点的所述历史同步数据计算各个所述相邻节点的评估值的步骤，包括：
获取影响所述目标节点的同步效率的所有维度；
根据各个维度对所述历史同步数据进行分类，将属于相同维度的历史同步数据划分在同一个数据集中，得到各个维度下的分历史同步数据；
获取预先为各个维度设置的权重；
将各个维度下的所述分历史同步数据乘以对应的权重并进行累加后，得到所述评估值。
优选地，所述监测到分布式存储系统中的目标节点存储有目标数据的步骤，包括：
获取各类型数据的历史访问频率；
当监测到分布式存储系统中的目标节点存储有历史访问频率大于预设访问频率的数据时，则表示监测到分布式存储系统中的目标节点存储有目标数据。
优选地，所述将所述目标节点中的目标数据同步至所述目标相邻节点的步骤，包括：
实时监测所述目标数据同步至所述目标相邻节点的耗时；
判断所述耗时是否大于预设耗时；
当判定所述耗时大于预设耗时，则从所述多个第一相邻节点中筛选出剩余存储容量排在第二位的第一相邻节点，将所述目标节点中的目标数据同步至所述剩余存储容量排在第二位的第一相邻节点。
优选地，所述历史同步数据包括所述目标节点与所述相邻节点在历史同步数据过程中的出错次数，所述根据各个相邻节点的所述历史同步数据计算各个所述相邻节点的评估值的步骤，包括：
设定各个所述相邻节点的基准评估值；
将各个所述相邻节点的出错次数及基准评估值配置至预设的衰减算法中，计算得到各个所述相邻节点的评估值。
在一实施例中，所述将各个所述相邻节点的出错次数及基准评估值配置至预设的衰减算法中，计算得到各个所述相邻节点的评估值的步骤，包括如下公式：
Y＝y*e-ωt；
其中，所述Y为某个相邻节点的评估值，所述y为某个相邻节点的基准评估值，所述e和t为常数，所述ω为某个相邻节点的出错次数。
优选地，所述将所述目标节点中的目标数据同步至所述目标相邻节点的步骤，包括：
接收所述目标相邻节点发起针对所述目标数据的同步请求，根据所述同步请求向所述目标相邻节点发送所述目标数据；
在将所述目标节点中的目标数据同步至所述目标相邻节点的过程中，若对所述目标数据同步失败，则记录所述目标节点与所述目标相邻节点之间进行数据同步的出错次数。
第二方面，本发明提供的一种基于分布式存储系统的数据同步装置，包括：
获取模块，用于当监测到分布式存储系统中的目标节点存储有目标数据时，获取与所述目标节点直接连接的各个相邻节点的历史同步数据；
计算模块，用于根据各个相邻节点的所述历史同步数据计算各个所述相邻节点的评估值；其中，所述评估值用于评估所述目标节点在历史同步过程中将数据同步至所述相邻节点的效率；
筛选模块，用于从所有相邻节点中筛选出评估值大于预设评估阈值的相邻节点，得到多个第一相邻节点；
排序模块，用于遍历每个所述第一相邻节点的剩余存储容量，根据所述剩余存储容量由大到小的顺序对每个所述第一相邻节点进行排序，从所述多个第一相邻节点中筛选出剩余存储容量排在第一位的第一相邻节点，得到目标相邻节点；
同步模块，用于将所述目标节点中的目标数据同步至所述目标相邻节点。
第三方面，本发明提供了一种计算机设备，包括存储器和处理器，所述存储器中存储有计算机可读指令，所述计算机可读指令被所述处理器执行时，使得所述处理器执行如上任一项所述的基于分布式存储系统的数据同步方法的步骤。
第四方面，本发明提供的一种存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时，实现如上任一项所述的基于分布式存储系统的数据同步方法。
相对于现有技术，本发明的技术方案至少具备如下优点：
本发明提供的基于分布式存储系统的数据同步方法、装置、设备及介质，当监测到分布式存储系统中的目标节点存储有目标数据时，获取与目标节点直接连接的各个相邻节点的历史同步数据；根据各个相邻节点的历史同步数据计算各个相邻节点的评估值；从所有相邻节点中筛选出评估值大于预设评估阈值的相邻节点，得到多个第一相邻节点；遍历每个第一相邻节点的剩余存储容量，根据剩余存储容量由大到小的顺序对每个第一相邻节点进行排序，从多个第一相邻节点中筛选出剩余存储容量排在第一位的第一相邻节点，得到目标相邻节点，将目标节点中的目标数据同步至目标相邻节点，从而科学、合理地选择目标相邻节点，该目标相邻节点具有剩余存储容量较大且同步效率较高的特点，从而能够缩短分布式存储系统的数据同步的时间，提高分布式存储系统的数据同步效率。
附图说明
图1为本发明基于分布式存储系统的数据同步方法一种实施例流程框图；
图2为本发明基于分布式存储系统的数据同步装置一种实施例模块框图；
图3为本发明一个实施例中计算机设备的内部结构框图。
本发明目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。
具体实施方式
为了使本技术领域的人员更好地理解本发明方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述。
在本发明的说明书和权利要求书及上述附图中的描述的一些流程中，包含了按照特定顺序出现的多个操作，但是应该清楚了解，这些操作可以不按照其在本文中出现的顺序来执行或并行执行，操作的序号如S11、S12等，仅仅是用于区分开各个不同的操作，序号本身不代表任何的执行顺序。另外，这些流程可以包括更多或更少的操作，并且这些操作可以按顺序执行或并行执行。需要说明的是，本文中的“第一”、“第二”等描述，是用于区分不同的消息、设备、模块等，不代表先后顺序，也不限定“第一”和“第二”是不同的类型。
本领域普通技术人员可以理解，除非特意声明，这里使用的单数形式“一”、“一个”、“所述”和“该”也可包括复数形式。应该进一步理解的是，本发明的说明书中使用的措辞“包括”是指存在所述特征、整数、步骤、操作、元件和/或组件，但是并不排除存在或添加一个或多个其他特征、整数、步骤、操作、元件、组件和/或它们的组。应该理解，当我们称元件被“连接”或“耦接”到另一元件时，它可以直接连接或耦接到其他元件，或者也可以存在中间元件。此外，这里使用的“连接”或“耦接”可以包括无线连接或无线耦接。这里使用的措辞“和/或”包括一个或更多个相关联的列出项的全部或任一单元和全部组合。
本领域普通技术人员可以理解，除非另外定义，这里使用的所有术语(包括技术术语和科学术语)，具有与本发明所属领域中的普通技术人员的一般理解相同的意义。还应该理解的是，诸如通用字典中定义的那些术语，应该被理解为具有与现有技术的上下文中的意义一致的意义，并且除非像这里一样被特定定义，否则不会用理想化或过于正式的含义来解释。
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
请参阅图1，本发明所提供的一种基于分布式存储系统的数据同步方法，以计算机设备为执行主体，用于解决目前的分布式存储系统中，节点之间进行数据同步操作通常存在数据同步效率较低的技术问题。在一种实施方式中，该基于分布式存储系统的数据同步方法包括如下步骤：
S11、当监测到分布式存储系统中的目标节点存储有目标数据时，获取与所述目标节点直接连接的各个相邻节点的历史同步数据；
S12、根据各个相邻节点的所述历史同步数据计算各个所述相邻节点的评估值；其中，所述评估值用于评估所述目标节点在历史同步过程中将数据同步至所述相邻节点的效率；
S13、从所有相邻节点中筛选出评估值大于预设评估阈值的相邻节点，得到多个第一相邻节点；
S14、遍历每个所述第一相邻节点的剩余存储容量，根据所述剩余存储容量由大到小的顺序对每个所述第一相邻节点进行排序，从所述多个第一相邻节点中筛选出剩余存储容量排在第一位的第一相邻节点，得到目标相邻节点；
S15、将所述目标节点中的目标数据同步至所述目标相邻节点。
分布式存储系统，是将数据分散存储在多台独立的设备上。传统的网络存储系统采用集中的存储服务器存放所有数据，存储服务器成为系统性能的瓶颈，也是可靠性和安全性的焦点，不能满足大规模存储应用的需要。分布式存储系统采用可扩展的系统结构，利用多台存储服务器分担存储负荷，利用位置服务器定位存储信息，它不但提高了系统的可靠性、可用性和存取效率，还易于扩展。
分布式存储系统中包括多个节点，每个节点可以当成一台独立的计算机设备，本实施例可以任意指定一个节点作为目标节点，并设置定时时间，在到达定时时间后，对目标节点进行一次监测，判断目标节点是否存储有目标数据，该目标数据可以自定义指定，如将用户数据作为目标数据，具体可以是用户的身份证号码、手机号码、姓名等等信息；或将用户访问频率最高的数据作为目标数据。
此外，本实施例还可响应于用户发起的数据同步请求，数据同步请求中携带有需要同步目标数据的目标节点的标识，计算机设备提取数据同步请求中的标识，基于该标识查询得到相应的目标节点，监测所述目标节点是否存储有目标数据；若是，则获取与目标节点直接连接的各个相邻节点的历史同步数据，该历史同步数据为表征目标节点与相邻节点的数据同步效率的数据，如同步时间、同步数据的数据量、出错次数、目标节点或相邻节点的计算机参数等具体数据。
然后根据各个相邻节点的历史同步数据计算各个相邻节点的评估值，其中，评估值用于评估目标节点在历史同步过程中将数据同步至相邻节点的效率。例如，当相邻节点A的历史同步数据中含有出错次数时，该相邻节点A的出错次数为10次，则相邻节点A计算得到的评估值为
评估值越低，则表示目标节点在历史同步过程中将数据同步至相邻节点的效率越低。
本实施例从所有相邻节点中筛选出评估值大于预设评估阈值的相邻节点，将评估值大于预设评估阈值的相邻节点作为第一相邻节点，得到多个第一相邻节点，其中，该预设评估阈值可自定义设置，如设置为90。
最后遍历每个第一相邻节点的剩余存储容量，根据剩余存储容量由大到小的顺序对每个第一相邻节点进行排序，从多个第一相邻节点中筛选出剩余存储容量排在第一位的第一相邻节点，将剩余存储容量排在第一位的第一相邻节点作为目标相邻节点，以得到剩余存储容量最大的第一相邻节点，将目标节点中的目标数据同步至目标相邻节点。例如，当第一相邻节点为三个时，分别为第一相邻节点a、b、c，分别对应的剩余存储容量为100G、90G、99G，则从中筛选出剩余存储容量最大的第一相邻节点a作为目标相邻节点，将目标节点中的目标数据同步至目标相邻节点。
其中，存储容量是指存储器可以容纳的二进制信息量，用存储器中存储地址寄存器MAR的编址数与存储字位数的乘积表示。
本发明提供的基于分布式存储系统的数据同步方法，当监测到分布式存储系统中的目标节点存储有目标数据时，获取与目标节点直接连接的各个相邻节点的历史同步数据；根据各个相邻节点的历史同步数据计算各个相邻节点的评估值；从所有相邻节点中筛选出评估值大于预设评估阈值的相邻节点，得到多个第一相邻节点；遍历每个第一相邻节点的剩余存储容量，根据剩余存储容量由大到小的顺序对每个第一相邻节点进行排序，从多个第一相邻节点中筛选出剩余存储容量排在第一位的第一相邻节点，得到目标相邻节点，将目标节点中的目标数据同步至目标相邻节点，从而科学、合理地选择目标相邻节点，该目标相邻节点具有剩余存储容量较大且同步效率较高的特点，从而能够缩短分布式存储系统的数据同步的时间，提高分布式存储系统的数据同步效率。
在一实施例中，所述根据各个相邻节点的所述历史同步数据计算各个所述相邻节点的评估值的步骤，可具体包括：
获取影响所述目标节点的同步效率的所有维度；
根据各个维度对所述历史同步数据进行分类，将属于相同维度的历史同步数据划分在同一个数据集中，得到各个维度下的分历史同步数据；
获取预先为各个维度设置的权重；
将各个维度下的所述分历史同步数据乘以对应的权重并进行累加后，得到所述评估值。
本实施例可收集影响目标节点的同步效率的所有维度，每个维度用于评估目标节点一个角度的效率，如同步时间、同步数据的数据量、出错次数、目标节点或相邻节点的计算机参数，根据各个维度对历史同步数据进行分类，将属于相同维度的历史同步数据划分在同一个数据集中，得到各个维度下的分历史同步数据，并获取预先为各个维度设置的权重，将各个维度下的分历史同步数据乘以对应的权重并进行累加后，得到第一评估值，对所述第一评估值进行转换后，得到所述评估值。
例如，对于任一个相邻节点A，当影响目标节点的同步效率的所有维度为同步时间及出错次数时，将相邻节点A的历史同步数据中属于同步时间的具体数据划分在一个数据集中，将历史同步数据中属于出错次数的具体数据划分在另一个数据集中，得到各个维度下的分历史同步数据，假设为同步时间这一维度设置的权重为0.9，为出错次数这一维度设置的权重为0.8，同步时间为10分钟，出错次数为10次，则计算得到的第一评估值为0.9*10+0.8*10＝17，则经过转换后的评估值可以表示为
在一实施例中，所述监测到分布式存储系统中的目标节点存储有目标数据的步骤，可具体包括：
获取各类型数据的历史访问频率；
当监测到分布式存储系统中的目标节点存储有历史访问频率大于预设访问频率的数据时，则表示监测到分布式存储系统中的目标节点存储有目标数据。
本实施例获取各类型数据在历史周期内被访问的历史访问频率，遍历分布式存储系统中目标节点存储的所有数据及每种类型的数据的历史访问频率，当监测到分布式存储系统中的目标节点存储有历史访问频率大于预设访问频率的数据时，则表示监测到分布式存储系统中的目标节点存储有目标数据，即本实施例的目标数据为历史访问频率大于预设访问频率的数据，以对访问频率较高的数据进行同步，以便后续用户访问时，用户可直接访问目标相邻节点，通过目标相邻节点提取目标数据，将目标数据发送给用户，无需通过目标节点返回目标数据，从而减轻目标节点的负载。
在一实施例中，所述将所述目标节点中的目标数据同步至所述目标相邻节点的步骤，可具体包括：
实时监测所述目标数据同步至所述目标相邻节点的耗时；
判断所述耗时是否大于预设耗时；
当判定所述耗时大于预设耗时，则从所述多个第一相邻节点中筛选出剩余存储容量排在第二位的第一相邻节点，将所述目标节点中的目标数据同步至所述剩余存储容量排在第二位的第一相邻节点。
本实施例可在计算机设备中设置一个计时器，该计时器用于实时监测目标数据同步至目标相邻节点的耗时，判断耗时是否大于预设耗时，该预设耗时可自定义设置，如设置为1小时，当判定所述耗时大于预设耗时，则从多个第一相邻节点中筛选出剩余存储容量排在第二位的第一相邻节点，将目标节点中的目标数据同步至剩余存储容量排在第二位的第一相邻节点，从而及时切换目标相邻节点，确保数据同步的正常进行。
例如，当判定目标数据同步至目标相邻节点的耗时大于1小时时，则切换至剩余存储容量排在第二位的第一相邻节点，将目标数据重新同步至剩余存储容量排在第二位的第一相邻节点。
在一实施例中，所述历史同步数据包括所述目标节点与所述相邻节点在历史同步数据过程中的出错次数，所述根据各个相邻节点的所述历史同步数据计算各个所述相邻节点的评估值的步骤，可具体包括：
设定各个所述相邻节点的基准评估值；
将各个所述相邻节点的出错次数及基准评估值配置至预设的衰减算法中，计算得到各个所述相邻节点的评估值。
在本实施例中，基准评估值可自定义设置，如将基准评估值设置为80，此外，各个所述相邻节点的基准评估值可设置为相同，也可设置为不同，在此不做具体限定。如可获取各个相邻节点的处理性能，根据各个相邻节点的处理性能设置各个相邻节点的基准评估值；其中，各个相邻节点的基准评估值与对应的处理性能成正比。所述处理性能包括运算效率、存储容量等等。
本实施例获取目标节点与每个相邻节点在历史同步数据过程中的出错次数，将各个相邻节点的出错次数及基准评估值配置至预设的衰减算法中，计算得到各个相邻节点的评估值，从而精准地计算各个相邻节点的评估值。
在一实施例中，所述将各个所述相邻节点的出错次数及基准评估值配置至预设的衰减算法中，计算得到各个所述相邻节点的评估值的步骤，可包括如下公式：
Y＝y*e-ωt；
其中，所述Y为某个相邻节点的评估值，所述y为某个相邻节点的基准评估值，所述e和t为常数，所述ω为某个相邻节点的出错次数。
在一实施例中，所述将所述目标节点中的目标数据同步至所述目标相邻节点的步骤，可具体包括：
接收所述目标相邻节点发起针对所述目标数据的同步请求，根据所述同步请求向所述目标相邻节点发送所述目标数据；
在将所述目标节点中的目标数据同步至所述目标相邻节点的过程中，若对所述目标数据同步失败，则记录所述目标节点与所述目标相邻节点之间进行数据同步的出错次数。
本实施例实时接收目标相邻节点发起针对目标数据的同步请求，根据同步请求向目标相邻节点发送目标数据，并在将目标节点中的目标数据同步至目标相邻节点的过程中，若目标节点对目标数据同步失败，则记录目标节点与目标相邻节点之间进行数据同步的出错次数，以更新历史同步数据中的出错次数。
请参考图2，本发明的实施例还提供一种基于分布式存储系统的数据同步装置，一种本实施例中，包括获取模块11、计算模块12、筛选模块13、排序模块14及同步模块15。其中，
获取模块11，用于当监测到分布式存储系统中的目标节点存储有目标数据时，获取与所述目标节点直接连接的各个相邻节点的历史同步数据；
计算模块12，用于根据各个相邻节点的所述历史同步数据计算各个所述相邻节点的评估值；其中，所述评估值用于评估所述目标节点在历史同步过程中将数据同步至所述相邻节点的效率；
筛选模块13，用于从所有相邻节点中筛选出评估值大于预设评估阈值的相邻节点，得到多个第一相邻节点；
排序模块14，用于遍历每个所述第一相邻节点的剩余存储容量，根据所述剩余存储容量由大到小的顺序对每个所述第一相邻节点进行排序，从所述多个第一相邻节点中筛选出剩余存储容量排在第一位的第一相邻节点，得到目标相邻节点；
同步模块15，用于将所述目标节点中的目标数据同步至所述目标相邻节点。
分布式存储系统，是将数据分散存储在多台独立的设备上。传统的网络存储系统采用集中的存储服务器存放所有数据，存储服务器成为系统性能的瓶颈，也是可靠性和安全性的焦点，不能满足大规模存储应用的需要。分布式存储系统采用可扩展的系统结构，利用多台存储服务器分担存储负荷，利用位置服务器定位存储信息，它不但提高了系统的可靠性、可用性和存取效率，还易于扩展。
分布式存储系统中包括多个节点，每个节点可以当成一台独立的计算机设备，本实施例可以任意指定一个节点作为目标节点，并设置定时时间，在到达定时时间后，对目标节点进行一次监测，判断目标节点是否存储有目标数据，该目标数据可以自定义指定，如将用户数据作为目标数据，具体可以是用户的身份证号码、手机号码、姓名等等信息；或将用户访问频率最高的数据作为目标数据。
此外，本实施例还可响应于用户发起的数据同步请求，数据同步请求中携带有需要同步目标数据的目标节点的标识，计算机设备提取数据同步请求中的标识，基于该标识查询得到相应的目标节点，监测所述目标节点是否存储有目标数据；若是，则获取与目标节点直接连接的各个相邻节点的历史同步数据，该历史同步数据为表征目标节点与相邻节点的数据同步效率的数据，如同步时间、同步数据的数据量、出错次数、目标节点或相邻节点的计算机参数等具体数据。
然后根据各个相邻节点的历史同步数据计算各个相邻节点的评估值，其中，评估值用于评估目标节点在历史同步过程中将数据同步至相邻节点的效率。例如，当相邻节点A的历史同步数据中含有出错次数时，该相邻节点A的出错次数为10次，则相邻节点A计算得到的评估值为
评估值越低，则表示目标节点在历史同步过程中将数据同步至相邻节点的效率越低。
本实施例从所有相邻节点中筛选出评估值大于预设评估阈值的相邻节点，将评估值大于预设评估阈值的相邻节点作为第一相邻节点，得到多个第一相邻节点，其中，该预设评估阈值可自定义设置，如设置为90。
最后遍历每个第一相邻节点的剩余存储容量，根据剩余存储容量由大到小的顺序对每个第一相邻节点进行排序，从多个第一相邻节点中筛选出剩余存储容量排在第一位的第一相邻节点，将剩余存储容量排在第一位的第一相邻节点作为目标相邻节点，以得到剩余存储容量最大的第一相邻节点，将目标节点中的目标数据同步至目标相邻节点。例如，当第一相邻节点为三个时，分别为第一相邻节点a、b、c，分别对应的剩余存储容量为100G、90G、99G，则从中筛选出剩余存储容量最大的第一相邻节点a作为目标相邻节点，将目标节点中的目标数据同步至目标相邻节点。
其中，存储容量是指存储器可以容纳的二进制信息量，用存储器中存储地址寄存器MAR的编址数与存储字位数的乘积表示。
关于上述实施例中的装置，其中各个模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述，此处将不做详细阐述说明。
本发明提供的一种计算机设备，包括存储器和处理器，所述存储器中存储有计算机可读指令，所述计算机可读指令被所述处理器执行时，使得所述处理器执行如上任一项所述的基于分布式存储系统的数据同步方法的步骤。
在一实施例中，如图3所示。本实施例所述的计算机设备可以是服务器、个人计算机以及网络设备等设备。所述计算机设备包括处理器302、存储器303、摄像头、输入单元304以及显示单元305等器件。本领域技术人员可以理解，图3示出的设备结构器件并不构成对所有设备的限定，可以包括比图示更多或更少的部件，或者组合某些部件。例如，在大多数情况下，计算机设备无需配备显示单元305。存储器303可用于存储计算机程序301以及各功能模块，处理器302运行存储在存储器303的计算机程序301，从而执行设备的各种功能应用以及数据处理。存储器可以是内存储器或外存储器，或者包括内存储器和外存储器两者。内存储器可以包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦写可编程ROM(EEPROM)、快闪存储器、或者随机存储器。外存储器可以包括硬盘、软盘、ZIP盘、U盘、磁带等。本发明所公开的存储器包括但不限于这些类型的存储器。本发明所公开的存储器只作为例子而非作为限定。
输入单元304用于接收信号的输入，以及接收用户输入的关键字。输入单元304可包括触控面板以及其它输入设备。触控面板可收集用户在其上或附近的触摸操作(比如用户使用手指、触笔等任何适合的物体或附件在触控面板上或在触控面板附近的操作)，并根据预先设定的程序驱动相应的连接装置；其它输入设备可以包括但不限于物理键盘、功能键(比如播放控制按键、开关按键等)、轨迹球、鼠标、操作杆等中的一种或多种。显示单元305可用于显示用户输入的信息或提供给用户的信息及计算机设备的各种菜单。显示单元305可采用液晶显示器、有机发光二极管等形式。处理器302是计算机设备的控制中心，利用各种接口和线路连接整个电脑的各个部分，通过运行或执行存储在存储器302内的软件程序和/或模块，以及调用存储在存储器内的数据，执行各种功能和处理数据。
作为一个实施例，所述计算机设备包括：一个或多个处理器302，存储器303，一个或多个计算机程序301，其中所述一个或多个计算机程序301被存储在存储器303中并被配置为由所述一个或多个处理器302执行，所述一个或多个计算机程序301配置用于执行以上实施例所述的基于分布式存储系统的数据同步方法。
在一个实施例中，本发明还提出了一种存储有计算机可读指令的存储介质，该计算机可读指令被一个或多个处理器执行时，使得一个或多个处理器执行上述基于分布式存储系统的数据同步方法。例如，所述存储介质可以是ROM、随机存取存储器(RAM)、CD-ROM、磁带、软盘和光数据存储设备等。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，该计算机程序可存储于一存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，前述的存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory，ROM)等非易失性存储介质，或随机存储记忆体(RandomAccess Memory，RAM)等。
综合上述实施例可知，本发明最大的有益效果在于：
本发明提供的基于分布式存储系统的数据同步方法、装置、设备及介质，当监测到分布式存储系统中的目标节点存储有目标数据时，获取与目标节点直接连接的各个相邻节点的历史同步数据；根据各个相邻节点的历史同步数据计算各个相邻节点的评估值；从所有相邻节点中筛选出评估值大于预设评估阈值的相邻节点，得到多个第一相邻节点；遍历每个第一相邻节点的剩余存储容量，根据剩余存储容量由大到小的顺序对每个第一相邻节点进行排序，从多个第一相邻节点中筛选出剩余存储容量排在第一位的第一相邻节点，得到目标相邻节点，将目标节点中的目标数据同步至目标相邻节点，从而科学、合理地选择目标相邻节点，该目标相邻节点具有剩余存储容量较大且同步效率较高的特点，从而能够缩短分布式存储系统的数据同步的时间，提高分布式存储系统的数据同步效率。
以上所述实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本发明的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。因此，本发明专利的保护范围应以所附权利要求为准。
Claims (10)
1.一种基于分布式存储系统的数据同步方法，其特征在于，包括：
当监测到分布式存储系统中的目标节点存储有目标数据时，获取与所述目标节点直接连接的各个相邻节点的历史同步数据；
根据各个相邻节点的所述历史同步数据计算各个所述相邻节点的评估值；其中，所述评估值用于评估所述目标节点在历史同步过程中将数据同步至所述相邻节点的效率；
从所有相邻节点中筛选出评估值大于预设评估阈值的相邻节点，得到多个第一相邻节点；
遍历每个所述第一相邻节点的剩余存储容量，根据所述剩余存储容量由大到小的顺序对每个所述第一相邻节点进行排序，从所述多个第一相邻节点中筛选出剩余存储容量排在第一位的第一相邻节点，得到目标相邻节点；
将所述目标节点中的目标数据同步至所述目标相邻节点。
2.根据权利要求1所述的基于分布式存储系统的数据同步方法，其特征在于，所述根据各个相邻节点的所述历史同步数据计算各个所述相邻节点的评估值的步骤，包括：
获取影响所述目标节点的同步效率的所有维度；
根据各个维度对所述历史同步数据进行分类，将属于相同维度的历史同步数据划分在同一个数据集中，得到各个维度下的分历史同步数据；
获取预先为各个维度设置的权重；
将各个维度下的所述分历史同步数据乘以对应的权重并进行累加后，得到所述评估值。
3.根据权利要求1所述的基于分布式存储系统的数据同步方法，其特征在于，所述监测到分布式存储系统中的目标节点存储有目标数据的步骤，包括：
获取各类型数据的历史访问频率；
当监测到分布式存储系统中的目标节点存储有历史访问频率大于预设访问频率的数据时，则表示监测到分布式存储系统中的目标节点存储有目标数据。
4.根据权利要求1所述的基于分布式存储系统的数据同步方法，其特征在于，所述将所述目标节点中的目标数据同步至所述目标相邻节点的步骤，包括：
实时监测所述目标数据同步至所述目标相邻节点的耗时；
判断所述耗时是否大于预设耗时；
当判定所述耗时大于预设耗时，则从所述多个第一相邻节点中筛选出剩余存储容量排在第二位的第一相邻节点，将所述目标节点中的目标数据同步至所述剩余存储容量排在第二位的第一相邻节点。
5.根据权利要求1所述的基于分布式存储系统的数据同步方法，其特征在于，所述历史同步数据包括所述目标节点与所述相邻节点在历史同步数据过程中的出错次数，所述根据各个相邻节点的所述历史同步数据计算各个所述相邻节点的评估值的步骤，包括：
设定各个所述相邻节点的基准评估值；
将各个所述相邻节点的出错次数及基准评估值配置至预设的衰减算法中，计算得到各个所述相邻节点的评估值。
6.根据权利要求1所述的基于分布式存储系统的数据同步方法，其特征在于，所述将各个所述相邻节点的出错次数及基准评估值配置至预设的衰减算法中，计算得到各个所述相邻节点的评估值的步骤，包括如下公式：
Y＝y*e-ωt；
其中，所述Y为某个相邻节点的评估值，所述y为某个相邻节点的基准评估值，所述e和t为常数，所述ω为某个相邻节点的出错次数。
7.根据权利要求1所述的基于分布式存储系统的数据同步方法，其特征在于，所述将所述目标节点中的目标数据同步至所述目标相邻节点的步骤，包括：
接收所述目标相邻节点发起针对所述目标数据的同步请求，根据所述同步请求向所述目标相邻节点发送所述目标数据；
在将所述目标节点中的目标数据同步至所述目标相邻节点的过程中，若对所述目标数据同步失败，则记录所述目标节点与所述目标相邻节点之间进行数据同步的出错次数。
8.一种基于分布式存储系统的数据同步装置，其特征在于，包括：
获取模块，用于当监测到分布式存储系统中的目标节点存储有目标数据时，获取与所述目标节点直接连接的各个相邻节点的历史同步数据；
计算模块，用于根据各个相邻节点的所述历史同步数据计算各个所述相邻节点的评估值；其中，所述评估值用于评估所述目标节点在历史同步过程中将数据同步至所述相邻节点的效率；
筛选模块，用于从所有相邻节点中筛选出评估值大于预设评估阈值的相邻节点，得到多个第一相邻节点；
排序模块，用于遍历每个所述第一相邻节点的剩余存储容量，根据所述剩余存储容量由大到小的顺序对每个所述第一相邻节点进行排序，从所述多个第一相邻节点中筛选出剩余存储容量排在第一位的第一相邻节点，得到目标相邻节点；
同步模块，用于将所述目标节点中的目标数据同步至所述目标相邻节点。
9.一种计算机设备，其特征在于，包括存储器和处理器，所述存储器中存储有计算机可读指令，所述计算机可读指令被所述处理器执行时，使得所述处理器执行如权利要求1至7中任一项所述的基于分布式存储系统的数据同步方法的步骤。
10.一种存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时，实现如权利要求1至7中任一项所述的基于分布式存储系统的数据同步方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111560315.8A CN114281256A (zh) | 2021-12-20 | 2021-12-20 | 基于分布式存储系统的数据同步方法、装置、设备及介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111560315.8A CN114281256A (zh) | 2021-12-20 | 2021-12-20 | 基于分布式存储系统的数据同步方法、装置、设备及介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN114281256A true CN114281256A (zh) | 2022-04-05 |
Family
ID=80873184
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202111560315.8A Pending CN114281256A (zh) | 2021-12-20 | 2021-12-20 | 基于分布式存储系统的数据同步方法、装置、设备及介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114281256A (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115174594A (zh) * | 2022-07-07 | 2022-10-11 | 广州炒米信息科技有限公司 | 分布式系统的数据同步方法、装置、设备及介质 |
| CN117082083A (zh) * | 2023-08-30 | 2023-11-17 | 杭州浩联智能科技有限公司 | 一种基于分布式物联网架构的数据存储方法、装置及介质 |
Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106161610A (zh) * | 2016-06-29 | 2016-11-23 | 华为技术有限公司 | 一种分布式存储的方法和系统 |
| CN106230982A (zh) * | 2016-09-08 | 2016-12-14 | 哈尔滨工程大学 | 一种考虑节点可靠性的动态自适应安全云存储方法 |
| CN106294511A (zh) * | 2015-06-10 | 2017-01-04 | 中国移动通信集团广东有限公司 | 一种Hadoop分布式文件系统的存储方法及装置 |
| CN108848184A (zh) * | 2018-06-29 | 2018-11-20 | 北京金山安全软件有限公司 | 一种基于信任机制的区块链节点同步方法及装置 |
| CN108924223A (zh) * | 2018-06-29 | 2018-11-30 | 北京金山安全软件有限公司 | 一种区块链的节点同步方法及装置 |
| CN110365768A (zh) * | 2019-07-15 | 2019-10-22 | 腾讯科技（深圳）有限公司 | 分布式系统的数据同步方法、装置、介质、电子设备 |
| CN110650208A (zh) * | 2019-09-29 | 2020-01-03 | 北京浪潮数据技术有限公司 | 分布式集群存储方法、系统、装置及计算机可读存储介质 |
| CN110781006A (zh) * | 2019-10-28 | 2020-02-11 | 重庆紫光华山智安科技有限公司 | 负载均衡方法、装置、节点及计算机可读存储介质 |
| CN113656361A (zh) * | 2021-08-18 | 2021-11-16 | 国家电网公司东北分部 | 面向超融合电力数据中心的高可靠数据存储方法及装置 |
-
2021
- 2021-12-20 CN CN202111560315.8A patent/CN114281256A/zh active Pending
Patent Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106294511A (zh) * | 2015-06-10 | 2017-01-04 | 中国移动通信集团广东有限公司 | 一种Hadoop分布式文件系统的存储方法及装置 |
| CN106161610A (zh) * | 2016-06-29 | 2016-11-23 | 华为技术有限公司 | 一种分布式存储的方法和系统 |
| CN106230982A (zh) * | 2016-09-08 | 2016-12-14 | 哈尔滨工程大学 | 一种考虑节点可靠性的动态自适应安全云存储方法 |
| CN108848184A (zh) * | 2018-06-29 | 2018-11-20 | 北京金山安全软件有限公司 | 一种基于信任机制的区块链节点同步方法及装置 |
| CN108924223A (zh) * | 2018-06-29 | 2018-11-30 | 北京金山安全软件有限公司 | 一种区块链的节点同步方法及装置 |
| CN110365768A (zh) * | 2019-07-15 | 2019-10-22 | 腾讯科技（深圳）有限公司 | 分布式系统的数据同步方法、装置、介质、电子设备 |
| CN110650208A (zh) * | 2019-09-29 | 2020-01-03 | 北京浪潮数据技术有限公司 | 分布式集群存储方法、系统、装置及计算机可读存储介质 |
| CN110781006A (zh) * | 2019-10-28 | 2020-02-11 | 重庆紫光华山智安科技有限公司 | 负载均衡方法、装置、节点及计算机可读存储介质 |
| CN113656361A (zh) * | 2021-08-18 | 2021-11-16 | 国家电网公司东北分部 | 面向超融合电力数据中心的高可靠数据存储方法及装置 |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115174594A (zh) * | 2022-07-07 | 2022-10-11 | 广州炒米信息科技有限公司 | 分布式系统的数据同步方法、装置、设备及介质 |
| CN115174594B (zh) * | 2022-07-07 | 2024-03-29 | 广州炒米信息科技有限公司 | 分布式系统的数据同步方法、装置、设备及介质 |
| CN117082083A (zh) * | 2023-08-30 | 2023-11-17 | 杭州浩联智能科技有限公司 | 一种基于分布式物联网架构的数据存储方法、装置及介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109597685B (zh) | 任务分配方法、装置和服务器 | |
| US10051056B2 (en) | Resource planning method, system, and apparatus for cluster computing architecture | |
| CN114281256A (zh) | 基于分布式存储系统的数据同步方法、装置、设备及介质 | |
| CN110795203A (zh) | 资源调度方法、装置、系统和计算设备 | |
| EP2425349A2 (en) | Application efficiency engine | |
| CN110245145A (zh) | 关系型数据库到Hadoop数据库的结构同步方法和装置 | |
| WO2021126398A1 (en) | Behavior-driven die management on solid-state drives | |
| CN115018081B (zh) | 特征选择方法、应用程序预测方法及装置 | |
| CN117472652A (zh) | 一种云计算运维平台的数据备份方法、装置及系统 | |
| CN116974874A (zh) | 数据库的测试方法、装置、电子设备及可读存储介质 | |
| CN108664322A (zh) | 数据处理方法及系统 | |
| CN107368355B (zh) | 虚拟机的动态调度方法和装置 | |
| CN107357523B (zh) | 一种数据处理方法及电子设备 | |
| CN109359093A (zh) | 一种规则文件更新方法和系统 | |
| CN112003900B (zh) | 实现分布式系统中高负载场景下服务高可用的方法、系统 | |
| CN115269288A (zh) | 故障确定方法、装置、设备和存储介质 | |
| CN114281260A (zh) | 应用于分布式存储系统的存储方法、装置、设备及介质 | |
| CN109254880A (zh) | 一种处理数据库宕机的方法及装置 | |
| CN110489568B (zh) | 生成事件图的方法、装置、存储介质和电子设备 | |
| CN106686082A (zh) | 存储资源调整方法及管理节点 | |
| CN115174594B (zh) | 分布式系统的数据同步方法、装置、设备及介质 | |
| Kang et al. | Spatiotemporal real-time anomaly detection for supercomputing systems | |
| CN111885159A (zh) | 数据采集方法、装置、电子设备及存储介质 | |
| CN106528577B (zh) | 一种设置待清理文件的方法和装置 | |
| CN115002114B (zh) | 节点处理方法、装置、电子设备、存储介质及服务器 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |