CN114281260A - 应用于分布式存储系统的存储方法、装置、设备及介质 - Google Patents
应用于分布式存储系统的存储方法、装置、设备及介质 Download PDFInfo
- Publication number
- CN114281260A CN114281260A CN202111587589.6A CN202111587589A CN114281260A CN 114281260 A CN114281260 A CN 114281260A CN 202111587589 A CN202111587589 A CN 202111587589A CN 114281260 A CN114281260 A CN 114281260A
- Authority
- CN
- China
- Prior art keywords
- target data
- target
- storage
- computer node
- computer
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 47
- 238000011156 evaluation Methods 0.000 claims abstract description 80
- 238000012216 screening Methods 0.000 claims abstract description 44
- 230000000875 corresponding effect Effects 0.000 claims description 45
- 238000004590 computer program Methods 0.000 claims description 10
- 230000002596 correlated effect Effects 0.000 claims description 4
- 238000012545 processing Methods 0.000 claims description 3
- 238000013500 data storage Methods 0.000 abstract description 9
- 238000004458 analytical method Methods 0.000 description 4
- 230000006870 function Effects 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 239000000126 substance Substances 0.000 description 1
Images
Landscapes
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明提供了一种应用于分布式存储系统的存储方法、装置、设备及介质。该方法包括：根据存储请求获取每个目标数据的内容信息，确定每个目标数据的权重值；遍历当前分布式存储系统的所有计算机节点，根据预设筛选规则对所有计算机节点进行筛选，得到多个目标计算机节点；获取每个目标计算机节点的历史存储记录，根据每个目标计算机节点的历史存储记录对每个目标计算机节点进行评估，得到每个目标计算机节点的评估值；根据每个目标数据的权重值为每个目标数据分配相应评估值的目标计算机节点，将每个目标数据存储至相应评估值的目标计算机节点中，以实现精细化分配，从而合理、均衡地分配数据，确保分布式存储系统的数据存储的正常运行。
Description
技术领域
本发明涉及数据存储技术领域，尤其涉及一种应用于分布式存储系统的存储方法、装置、设备及介质。
背景技术
分布式存储系统是由一组通过网络进行通信、为了完成共同的任务而协调工作的计算机节点组成的系统。
在目前的分布式存储系统中，还处于粗放式分配数据，无法合理、均衡地分配数据，容易导致某个计算机节点存储的数据量较大，影响数据存储的正常运行。
发明内容
本发明提供一种应用于分布式存储系统的存储方法、装置、设备及介质，以合理、均衡地分配数据，确保分布式存储系统的数据存储的正常运行。
第一方面，本发明提供了一种应用于分布式存储系统的存储方法，包括如下步骤：
接收对多个目标数据的存储请求，根据每个所述目标数据的存储请求获取每个所述目标数据的内容信息；
根据每个所述目标数据的内容信息确定每个所述目标数据的权重值；其中，所述权重值用于评估所述目标数据的重要性；
遍历当前分布式存储系统的所有计算机节点，根据预设筛选规则对所述所有计算机节点进行筛选，得到多个目标计算机节点；
获取每个所述目标计算机节点的历史存储记录；
根据每个所述目标计算机节点的所述历史存储记录对每个所述目标计算机节点进行评估，得到每个所述目标计算机节点的评估值；
根据每个所述目标数据的权重值为每个所述目标数据分配相应评估值的目标计算机节点，将每个所述目标数据存储至相应评估值的目标计算机节点中。
优选地，所述根据每个所述目标数据的内容信息确定每个所述目标数据的权重值的步骤，包括：
从每个所述目标数据的内容信息中对应提取每个所述目标数据的历史泄露频率或被访问频率；
根据每个所述目标数据的历史泄露频率或被访问频率确定每个所述目标数据的权重值；其中，所述权重值与所述历史泄露频率成反比，所述权重值与所述被访问频率成正比。
优选地，所述根据预设筛选规则对所述所有计算机节点进行筛选，得到多个目标计算机节点的步骤，包括：
获取每个所述计算机节点的剩余存储空间；
从所述所有计算机节点中筛选出剩余存储空间大于预设阈值的计算机节点，得到多个目标计算机节点。
优选地，所述根据预设筛选规则对所述所有计算机节点进行筛选，得到多个目标计算机节点的步骤，包括：
剔除在上一轮存储时已使用的计算机节点，将剩余的计算机节点作为所述目标计算机节点。
在一实施例中，存储所述目标数据的目标计算机节点的评估值与所述目标数据的权重值成正相关。
进一步地，所述将每个所述目标数据存储至相应评估值的目标计算机节点中的步骤之后，还包括：
若任一个所述目标数据的使用频率小于预设频率，则将使用频率小于预设频率的所述目标数据移除，并使移除所述目标数据后的目标计算机节点的剩余存储空间大于预设阈值。
优选地，所述将每个所述目标数据存储至相应评估值的目标计算机节点中的步骤，包括：
在将每个所述目标数据存储至相应评估值的目标计算机节点的过程中，若任一个目标计算机节点对相应的所述目标数据存储失败，则记录存储失败的所述目标计算机节点的存储失败次数；
利用所述存储失败次数对存储失败的所述目标计算机节点的历史存储记录进行更新。
第二方面，本发明提供的一种应用于分布式存储系统的存储装置，包括：
接收模块，用于接收对多个目标数据的存储请求，根据每个所述目标数据的存储请求获取每个所述目标数据的内容信息；
确定模块，用于根据每个所述目标数据的内容信息确定每个所述目标数据的权重值；其中，所述权重值用于评估所述目标数据的重要性；
筛选模块，用于遍历当前分布式存储系统的所有计算机节点，根据预设筛选规则对所述所有计算机节点进行筛选，得到多个目标计算机节点；
获取模块，用于获取每个所述目标计算机节点的历史存储记录；
评估模块，用于根据每个所述目标计算机节点的所述历史存储记录对每个所述目标计算机节点进行评估，得到每个所述目标计算机节点的评估值；
存储模块，用于根据每个所述目标数据的权重值为每个所述目标数据分配相应评估值的目标计算机节点，将每个所述目标数据存储至相应评估值的目标计算机节点中。
第三方面，本发明提供了一种计算机设备，包括存储器和处理器，所述存储器中存储有计算机可读指令，所述计算机可读指令被所述处理器执行时，使得所述处理器执行如上任一项所述的应用于分布式存储系统的存储方法的步骤。
第四方面，本发明提供的一种存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时，实现如上任一项所述的应用于分布式存储系统的存储方法。
相对于现有技术，本发明的技术方案至少具备如下优点：
本发明提供的应用于分布式存储系统的存储方法、装置、设备及介质，接收对多个目标数据的存储请求，根据每个目标数据的存储请求获取每个目标数据的内容信息，根据每个目标数据的内容信息确定每个目标数据的权重值；遍历当前分布式存储系统的所有计算机节点，根据预设筛选规则对所有计算机节点进行筛选，得到多个目标计算机节点；获取每个目标计算机节点的历史存储记录，根据每个目标计算机节点的历史存储记录对每个目标计算机节点进行评估，得到每个目标计算机节点的评估值；根据每个目标数据的权重值为每个目标数据分配相应评估值的目标计算机节点，将每个目标数据存储至相应评估值的目标计算机节点中，以将重要性较高的目标数据存储至评估值较高的目标计算机节点，实现精细化分配，以合理、均衡地分配数据，确保分布式存储系统的数据存储的正常运行。
附图说明
图1为本发明应用于分布式存储系统的存储方法一种实施例流程框图；
图2为本发明应用于分布式存储系统的存储装置一种实施例模块框图；
图3为本发明一个实施例中计算机设备的内部结构框图。
本发明目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。
具体实施方式
为了使本技术领域的人员更好地理解本发明方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述。
在本发明的说明书和权利要求书及上述附图中的描述的一些流程中，包含了按照特定顺序出现的多个操作，但是应该清楚了解，这些操作可以不按照其在本文中出现的顺序来执行或并行执行，操作的序号如S11、S12等，仅仅是用于区分开各个不同的操作，序号本身不代表任何的执行顺序。另外，这些流程可以包括更多或更少的操作，并且这些操作可以按顺序执行或并行执行。需要说明的是，本文中的“第一”、“第二”等描述，是用于区分不同的消息、设备、模块等，不代表先后顺序，也不限定“第一”和“第二”是不同的类型。
本领域普通技术人员可以理解，除非特意声明，这里使用的单数形式“一”、“一个”、“所述”和“该”也可包括复数形式。应该进一步理解的是，本发明的说明书中使用的措辞“包括”是指存在所述特征、整数、步骤、操作、元件和/或组件，但是并不排除存在或添加一个或多个其他特征、整数、步骤、操作、元件、组件和/或它们的组。应该理解，当我们称元件被“连接”或“耦接”到另一元件时，它可以直接连接或耦接到其他元件，或者也可以存在中间元件。此外，这里使用的“连接”或“耦接”可以包括无线连接或无线耦接。这里使用的措辞“和/或”包括一个或更多个相关联的列出项的全部或任一单元和全部组合。
本领域普通技术人员可以理解，除非另外定义，这里使用的所有术语(包括技术术语和科学术语)，具有与本发明所属领域中的普通技术人员的一般理解相同的意义。还应该理解的是，诸如通用字典中定义的那些术语，应该被理解为具有与现有技术的上下文中的意义一致的意义，并且除非像这里一样被特定定义，否则不会用理想化或过于正式的含义来解释。
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
请参阅图1，本发明所提供的一种应用于分布式存储系统的存储方法，以计算机设备为执行主体，用于解决目前的分布式存储系统中，还无法合理、均衡地分配数据，容易导致某个计算机节点存储的数据量较大，影响数据存储的正常运行的技术问题。在一种实施方式中，该应用于分布式存储系统的存储方法包括如下步骤：
S11、接收对多个目标数据的存储请求，根据每个所述目标数据的存储请求获取每个所述目标数据的内容信息；
S12、根据每个所述目标数据的内容信息确定每个所述目标数据的权重值；其中，所述权重值用于评估所述目标数据的重要性；
S13、遍历当前分布式存储系统的所有计算机节点，根据预设筛选规则对所述所有计算机节点进行筛选，得到多个目标计算机节点；
S14、获取每个所述目标计算机节点的历史存储记录；
S15、根据每个所述目标计算机节点的所述历史存储记录对每个所述目标计算机节点进行评估，得到每个所述目标计算机节点的评估值；
S16、根据每个所述目标数据的权重值为每个所述目标数据分配相应评估值的目标计算机节点，将每个所述目标数据存储至相应评估值的目标计算机节点中。
在本实施例中，当用户发起对多个目标数据进行存储的存储请求时，计算机设备接收对多个目标数据的存储请求，存储请求中包含了需要存储的多个目标数据及每个目标数据的内容信息。其中，所述目标数据可以是用户数据，具体可包括用户的姓名、身份证号码、手机号、地址等内容信息，还可以是用户日常浏览网页、视频产生的日志信息。
本实施例提取每个目标数据的内容信息，对每个目标数据的内容信息进行分析，得到分析结果，根据分析结果确定每个目标数据的权重值，该权重值用于评估目标数据的重要性。具体的，当对存储请求进行解析后，得到每个目标数据的内容信息，根据预先构建的对照表确定该内容信息对应的权重值，其中，对照表中记录了每种内容信息对应的权重值。例如，当目标数据的内容信息为用户的银行卡账号信息时，该类内容信息的重要性较高，则为该类内容信息的目标数据设置较高的权重值，如将权重值设置为9，其中，权重值的最大值可以设置为10，最小值可以设置为0。
然后遍历当前分布式存储系统的所有计算机节点，根据预设筛选规则对所有计算机节点进行筛选，得到多个目标计算机节点。具体的，可获取每个计算机节点的历史存储记录，基于历史存储记录计算每个计算机节点的存储效率，如从历史存储记录中提取每个计算机节点在历史存储过程中的累计存储时间及存储次数，基于累计存储时间及存储次数分别计算每个计算机节点的平均存储时间，用于表征计算机节点的存储效率，即计算机节点的平均存储时间越长，则存储效率越低。
此外，本实施例获取每个目标计算机节点的历史存储记录，根据每个目标计算机节点的历史存储记录对每个目标计算机节点进行评估，得到每个目标计算机节点的评估值，该评估值可以用于评估目标计算机节点的存储效率或用于评估目标计算机节点的存储安全性。具体的，对于存储效率的评估，可从历史存储记录中提取计算机节点在历史存储过程中的累计存储时间及存储次数，基于累计存储时间及存储次数分别计算每个计算机节点的平均存储时间，用于表征计算机节点的存储效率，平均存储时间越长，则对应的评估值越小。
而对于目标计算机节点存储安全性的评估，可从历史存储记录中提取计算机节点在历史存储过程中数据被泄露的次数，用于表征计算机节点的存储安全性，数据被泄露的次数越多，则对应的评估值越小。
此外，在一实施例中，还可将评估目标计算机节点的存储效率的评估值与评估目标计算机节点的存储安全性的评估值进行累加后，得到目标计算机节点的评估值，以综合评估目标计算机节点。
本实施例根据每个目标数据的权重值为每个目标数据分配相应评估值的目标计算机节点，将每个目标数据存储至相应评估值的目标计算机节点中，如将权重值较大的目标数据分配至评估值较大的目标计算机节点，将权重值较小的目标数据分配至评估值较小的目标计算机节点，使存储目标数据的目标计算机节点的评估值与目标数据的权重值成正相关，以合理、均衡地分配计算机节点，提高分布式存储系统的资源利用率。
本发明提供的应用于分布式存储系统的存储方法，接收对多个目标数据的存储请求，根据每个目标数据的存储请求获取每个目标数据的内容信息，根据每个目标数据的内容信息确定每个目标数据的权重值；遍历当前分布式存储系统的所有计算机节点，根据预设筛选规则对所有计算机节点进行筛选，得到多个目标计算机节点；获取每个目标计算机节点的历史存储记录，根据每个目标计算机节点的历史存储记录对每个目标计算机节点进行评估，得到每个目标计算机节点的评估值；根据每个目标数据的权重值为每个目标数据分配相应评估值的目标计算机节点，将每个目标数据存储至相应评估值的目标计算机节点中，以将重要性较高的目标数据存储至评估值较高的目标计算机节点，实现精细化分配，以合理、均衡地分配数据，确保分布式存储系统的数据存储的正常运行。
优选地，所述根据每个所述目标数据的内容信息确定每个所述目标数据的权重值的步骤，可具体包括：
从每个所述目标数据的内容信息中对应提取每个所述目标数据的历史泄露频率或被访问频率；
根据每个所述目标数据的历史泄露频率或被访问频率确定每个所述目标数据的权重值；其中，所述权重值与所述历史泄露频率成反比，所述权重值与所述被访问频率成正比。
本实施例从每个目标数据的内容信息中对应提取每个目标数据的历史泄露频率或被访问频率，根据每个目标数据的历史泄露频率或被访问频率确定每个目标数据的权重值，当提取的是目标数据的历史泄露频率时，则该目标数据的权重值与历史泄露频率成反比；当提取的是目标数据的被访问频率时，则该目标数据的权重值与所述被访问频率成正比。例如，当目标数据A的被访问频率为0.9，则目标数据A的权重值也可以设置为0.9；当目标数据B的被访问频率为0.8，则目标数据B的权重值也可以设置为0.8。
其中，所述历史泄露频率可根据目标数据在历史周期内被泄露的次数及累计泄露次数计算得到，所述被访问频率可根据目标数据在历史周期内被访问的次数与累计访问次数计算得到。
优选地，所述根据预设筛选规则对所述所有计算机节点进行筛选，得到多个目标计算机节点的步骤，可具体包括：
获取每个所述计算机节点的剩余存储空间；
从所述所有计算机节点中筛选出剩余存储空间大于预设阈值的计算机节点，得到多个目标计算机节点。
本实施例获取每个计算机节点的剩余存储空间，从所有计算机节点中筛选出剩余存储空间大于预设阈值的计算机节点，该预设阈值可自定义设置，如设置为100G，最后筛选得到剩余存储空间大于预设阈值的多个目标计算机节点，以得到剩余存储空间较大的目标计算机节点，将目标数据存储至剩余存储空间较大的目标计算机节点，以确保目标数据能正常存储。
在一实施例中，所述根据预设筛选规则对所述所有计算机节点进行筛选，得到多个目标计算机节点的步骤，可具体包括：
剔除在上一轮存储时已使用的计算机节点，将剩余的计算机节点作为所述目标计算机节点。
本实施例对所有计算机节点进行筛选时，获取每个计算机节点的历史存储记录，历史存储记录中包括了计算机节点在何时存储了什么数据，因此可根据每个计算机节点的历史存储记录筛选出上一轮存储时已使用的计算机节点，剔除在上一轮存储时已使用的计算机节点，将剩余的计算机节点作为所述目标计算机节点，即将上一轮存储时未使用的计算机节点作为目标计算机节点，以合理、均衡地调用各个目标计算机节点。
进一步地，所述将每个所述目标数据存储至相应评估值的目标计算机节点中的步骤之后，还可包括：
若任一个所述目标数据的使用频率小于预设频率，则将使用频率小于预设频率的所述目标数据移除，并使移除所述目标数据后的目标计算机节点的剩余存储空间大于预设阈值。
本实施例获取每个目标数据的使用频率，将每个目标数据的使用频率与预设频率进行比较，该预设频率可随机设置，当任一个所述目标数据的使用频率小于预设频率，则将使用频率小于预设频率的目标数据移除，并确定移除目标数据后的目标计算机节点的剩余存储空间，判断目标计算机节点的剩余存储空间是否大于预设阈值，若否，则继续对该目标计算机节点的目标数据进行移除，以使移除所述目标数据后的目标计算机节点的剩余存储空间大于预设阈值，确保该目标计算机节点在后续存储时能正常存储，也及时删除使用频率较低的数据。
在一实施例中，所述将每个所述目标数据存储至相应评估值的目标计算机节点中的步骤，可具体包括：
在将每个所述目标数据存储至相应评估值的目标计算机节点的过程中，若任一个目标计算机节点对相应的所述目标数据存储失败，则记录存储失败的所述目标计算机节点的存储失败次数；
利用所述存储失败次数对存储失败的所述目标计算机节点的历史存储记录进行更新。
本实施例在将每个目标数据存储至相应评估值的目标计算机节点的过程中，若监测到任一个目标计算机节点对相应的目标数据存储失败，则记录存储失败的目标计算机节点的存储失败次数，利用存储失败次数对存储失败的目标计算机节点的历史存储记录进行更新，实现对历史存储记录的实时更新。
例如，当目标计算机节点A对目标数据a进行存储，且存储失败时，则尝试对目标数据a多次存储，若多次存储皆失败，则停止目标计算机节点A对目标数据a的存储，并记录目标计算机节点A的存储失败次数，利用存储失败次数对历史存储记录进行实时更新。
请参考图2，本发明的实施例还提供一种应用于分布式存储系统的存储装置，一种本实施例中，包括接收模块11、确定模块12、筛选模块13、获取模块14、评估模块15及存储模块16。其中，
接收模块11，用于接收对多个目标数据的存储请求，根据每个所述目标数据的存储请求获取每个所述目标数据的内容信息；
确定模块12，用于根据每个所述目标数据的内容信息确定每个所述目标数据的权重值；其中，所述权重值用于评估所述目标数据的重要性；
筛选模块13，用于遍历当前分布式存储系统的所有计算机节点，根据预设筛选规则对所述所有计算机节点进行筛选，得到多个目标计算机节点；
获取模块14，用于获取每个所述目标计算机节点的历史存储记录；
评估模块15，用于根据每个所述目标计算机节点的所述历史存储记录对每个所述目标计算机节点进行评估，得到每个所述目标计算机节点的评估值；
存储模块16，用于根据每个所述目标数据的权重值为每个所述目标数据分配相应评估值的目标计算机节点，将每个所述目标数据存储至相应评估值的目标计算机节点中。
在本实施例中，当用户发起对多个目标数据进行存储的存储请求时，计算机设备接收对多个目标数据的存储请求，存储请求中包含了需要存储的多个目标数据及每个目标数据的内容信息。其中，所述目标数据可以是用户数据，具体可包括用户的姓名、身份证号码、手机号、地址等内容信息，还可以是用户日常浏览网页、视频产生的日志信息。
本实施例提取每个目标数据的内容信息，对每个目标数据的内容信息进行分析，得到分析结果，根据分析结果确定每个目标数据的权重值，该权重值用于评估目标数据的重要性。具体的，当对存储请求进行解析后，得到每个目标数据的内容信息，根据预先构建的对照表确定该内容信息对应的权重值，其中，对照表中记录了每种内容信息对应的权重值。例如，当目标数据的内容信息为用户的银行卡账号信息时，该类内容信息的重要性较高，则为该类内容信息的目标数据设置较高的权重值，如将权重值设置为9，其中，权重值的最大值可以设置为10，最小值可以设置为0。
然后遍历当前分布式存储系统的所有计算机节点，根据预设筛选规则对所有计算机节点进行筛选，得到多个目标计算机节点。具体的，可获取每个计算机节点的历史存储记录，基于历史存储记录计算每个计算机节点的存储效率，如从历史存储记录中提取每个计算机节点在历史存储过程中的累计存储时间及存储次数，基于累计存储时间及存储次数分别计算每个计算机节点的平均存储时间，用于表征计算机节点的存储效率，即计算机节点的平均存储时间越长，则存储效率越低。
此外，本实施例获取每个目标计算机节点的历史存储记录，根据每个目标计算机节点的历史存储记录对每个目标计算机节点进行评估，得到每个目标计算机节点的评估值，该评估值可以用于评估目标计算机节点的存储效率或用于评估目标计算机节点的存储安全性。具体的，对于存储效率的评估，可从历史存储记录中提取计算机节点在历史存储过程中的累计存储时间及存储次数，基于累计存储时间及存储次数分别计算每个计算机节点的平均存储时间，用于表征计算机节点的存储效率，平均存储时间越长，则对应的评估值越小。
而对于目标计算机节点存储安全性的评估，可从历史存储记录中提取计算机节点在历史存储过程中数据被泄露的次数，用于表征计算机节点的存储安全性，数据被泄露的次数越多，则对应的评估值越小。
此外，在一实施例中，还可将评估目标计算机节点的存储效率的评估值与评估目标计算机节点的存储安全性的评估值进行累加后，得到目标计算机节点的评估值，以综合评估目标计算机节点。
本实施例根据每个目标数据的权重值为每个目标数据分配相应评估值的目标计算机节点，将每个目标数据存储至相应评估值的目标计算机节点中，如将权重值较大的目标数据分配至评估值较大的目标计算机节点，将权重值较小的目标数据分配至评估值较小的目标计算机节点，使存储目标数据的目标计算机节点的评估值与目标数据的权重值成正相关，以合理、均衡地分配计算机节点，提高分布式存储系统的资源利用率。
关于上述实施例中的装置，其中各个模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述，此处将不做详细阐述说明。
本发明提供的一种计算机设备，包括存储器和处理器，所述存储器中存储有计算机可读指令，所述计算机可读指令被所述处理器执行时，使得所述处理器执行如上任一项所述的应用于分布式存储系统的存储方法的步骤。
在一实施例中，如图3所示。本实施例所述的计算机设备可以是服务器、个人计算机以及网络设备等设备。所述计算机设备包括处理器302、存储器303、摄像头、输入单元304以及显示单元305等器件。本领域技术人员可以理解，图3示出的设备结构器件并不构成对所有设备的限定，可以包括比图示更多或更少的部件，或者组合某些部件。例如，在大多数情况下，计算机设备无需配备显示单元305。存储器303可用于存储计算机程序301以及各功能模块，处理器302运行存储在存储器303的计算机程序301，从而执行设备的各种功能应用以及数据处理。存储器可以是内存储器或外存储器，或者包括内存储器和外存储器两者。内存储器可以包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦写可编程ROM(EEPROM)、快闪存储器、或者随机存储器。外存储器可以包括硬盘、软盘、ZIP盘、U盘、磁带等。本发明所公开的存储器包括但不限于这些类型的存储器。本发明所公开的存储器只作为例子而非作为限定。
输入单元304用于接收信号的输入，以及接收用户输入的关键字。输入单元304可包括触控面板以及其它输入设备。触控面板可收集用户在其上或附近的触摸操作(比如用户使用手指、触笔等任何适合的物体或附件在触控面板上或在触控面板附近的操作)，并根据预先设定的程序驱动相应的连接装置；其它输入设备可以包括但不限于物理键盘、功能键(比如播放控制按键、开关按键等)、轨迹球、鼠标、操作杆等中的一种或多种。显示单元305可用于显示用户输入的信息或提供给用户的信息及计算机设备的各种菜单。显示单元305可采用液晶显示器、有机发光二极管等形式。处理器302是计算机设备的控制中心，利用各种接口和线路连接整个电脑的各个部分，通过运行或执行存储在存储器302内的软件程序和/或模块，以及调用存储在存储器内的数据，执行各种功能和处理数据。
作为一个实施例，所述计算机设备包括：一个或多个处理器302，存储器303，一个或多个计算机程序301，其中所述一个或多个计算机程序301被存储在存储器303中并被配置为由所述一个或多个处理器302执行，所述一个或多个计算机程序301配置用于执行以上实施例所述的应用于分布式存储系统的存储方法。
在一个实施例中，本发明还提出了一种存储有计算机可读指令的存储介质，该计算机可读指令被一个或多个处理器执行时，使得一个或多个处理器执行上述应用于分布式存储系统的存储方法。例如，所述存储介质可以是ROM、随机存取存储器(RAM)、CD-ROM、磁带、软盘和光数据存储设备等。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，该计算机程序可存储于一存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，前述的存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory，ROM)等非易失性存储介质，或随机存储记忆体(RandomAccess Memory，RAM)等。
综合上述实施例可知，本发明最大的有益效果在于：
本发明提供的应用于分布式存储系统的存储方法、装置、设备及介质，接收对多个目标数据的存储请求，根据每个目标数据的存储请求获取每个目标数据的内容信息，根据每个目标数据的内容信息确定每个目标数据的权重值；遍历当前分布式存储系统的所有计算机节点，根据预设筛选规则对所有计算机节点进行筛选，得到多个目标计算机节点；获取每个目标计算机节点的历史存储记录，根据每个目标计算机节点的历史存储记录对每个目标计算机节点进行评估，得到每个目标计算机节点的评估值；根据每个目标数据的权重值为每个目标数据分配相应评估值的目标计算机节点，将每个目标数据存储至相应评估值的目标计算机节点中，以将重要性较高的目标数据存储至评估值较高的目标计算机节点，实现精细化分配，以合理、均衡地分配数据，确保分布式存储系统的数据存储的正常运行。
以上所述实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本发明的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。因此，本发明专利的保护范围应以所附权利要求为准。
Claims (10)
1.一种应用于分布式存储系统的存储方法，其特征在于，包括：
接收对多个目标数据的存储请求，根据每个所述目标数据的存储请求获取每个所述目标数据的内容信息；
根据每个所述目标数据的内容信息确定每个所述目标数据的权重值；其中，所述权重值用于评估所述目标数据的重要性；
遍历当前分布式存储系统的所有计算机节点，根据预设筛选规则对所述所有计算机节点进行筛选，得到多个目标计算机节点；
获取每个所述目标计算机节点的历史存储记录；
根据每个所述目标计算机节点的所述历史存储记录对每个所述目标计算机节点进行评估，得到每个所述目标计算机节点的评估值；
根据每个所述目标数据的权重值为每个所述目标数据分配相应评估值的目标计算机节点，将每个所述目标数据存储至相应评估值的目标计算机节点中。
2.根据权利要求1所述的应用于分布式存储系统的存储方法，其特征在于，所述根据每个所述目标数据的内容信息确定每个所述目标数据的权重值的步骤，包括：
从每个所述目标数据的内容信息中对应提取每个所述目标数据的历史泄露频率或被访问频率；
根据每个所述目标数据的历史泄露频率或被访问频率确定每个所述目标数据的权重值；其中，所述权重值与所述历史泄露频率成反比，所述权重值与所述被访问频率成正比。
3.根据权利要求1所述的应用于分布式存储系统的存储方法，其特征在于，所述根据预设筛选规则对所述所有计算机节点进行筛选，得到多个目标计算机节点的步骤，包括：
获取每个所述计算机节点的剩余存储空间；
从所述所有计算机节点中筛选出剩余存储空间大于预设阈值的计算机节点，得到多个目标计算机节点。
4.根据权利要求1所述的应用于分布式存储系统的存储方法，其特征在于，所述根据预设筛选规则对所述所有计算机节点进行筛选，得到多个目标计算机节点的步骤，包括：
剔除在上一轮存储时已使用的计算机节点，将剩余的计算机节点作为所述目标计算机节点。
5.根据权利要求1所述的应用于分布式存储系统的存储方法，其特征在于，存储所述目标数据的目标计算机节点的评估值与所述目标数据的权重值成正相关。
6.根据权利要求1所述的应用于分布式存储系统的存储方法，其特征在于，所述将每个所述目标数据存储至相应评估值的目标计算机节点中的步骤之后，还包括：
若任一个所述目标数据的使用频率小于预设频率，则将使用频率小于预设频率的所述目标数据移除，并使移除所述目标数据后的目标计算机节点的剩余存储空间大于预设阈值。
7.根据权利要求1所述的应用于分布式存储系统的存储方法，其特征在于，所述将每个所述目标数据存储至相应评估值的目标计算机节点中的步骤，包括：
在将每个所述目标数据存储至相应评估值的目标计算机节点的过程中，若任一个目标计算机节点对相应的所述目标数据存储失败，则记录存储失败的所述目标计算机节点的存储失败次数；
利用所述存储失败次数对存储失败的所述目标计算机节点的历史存储记录进行更新。
8.一种应用于分布式存储系统的存储装置，其特征在于，包括：
接收模块，用于接收对多个目标数据的存储请求，根据每个所述目标数据的存储请求获取每个所述目标数据的内容信息；
确定模块，用于根据每个所述目标数据的内容信息确定每个所述目标数据的权重值；其中，所述权重值用于评估所述目标数据的重要性；
筛选模块，用于遍历当前分布式存储系统的所有计算机节点，根据预设筛选规则对所述所有计算机节点进行筛选，得到多个目标计算机节点；
获取模块，用于获取每个所述目标计算机节点的历史存储记录；
评估模块，用于根据每个所述目标计算机节点的所述历史存储记录对每个所述目标计算机节点进行评估，得到每个所述目标计算机节点的评估值；
存储模块，用于根据每个所述目标数据的权重值为每个所述目标数据分配相应评估值的目标计算机节点，将每个所述目标数据存储至相应评估值的目标计算机节点中。
9.一种计算机设备，其特征在于，包括存储器和处理器，所述存储器中存储有计算机可读指令，所述计算机可读指令被所述处理器执行时，使得所述处理器执行如权利要求1至7中任一项所述的应用于分布式存储系统的存储方法的步骤。
10.一种存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时，实现如权利要求1至7中任一项所述的应用于分布式存储系统的存储方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111587589.6A CN114281260A (zh) | 2021-12-23 | 2021-12-23 | 应用于分布式存储系统的存储方法、装置、设备及介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111587589.6A CN114281260A (zh) | 2021-12-23 | 2021-12-23 | 应用于分布式存储系统的存储方法、装置、设备及介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN114281260A true CN114281260A (zh) | 2022-04-05 |
Family
ID=80874357
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202111587589.6A Pending CN114281260A (zh) | 2021-12-23 | 2021-12-23 | 应用于分布式存储系统的存储方法、装置、设备及介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114281260A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115174594A (zh) * | 2022-07-07 | 2022-10-11 | 广州炒米信息科技有限公司 | 分布式系统的数据同步方法、装置、设备及介质 |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20120102080A1 (en) * | 2010-05-20 | 2012-04-26 | Hitachi Software Engineering Co., Ltd. | Computer system and storage capacity extension method |
| CN103744620A (zh) * | 2013-12-31 | 2014-04-23 | 百度在线网络技术（北京）有限公司 | 一种用于数据存储的方法与设备 |
| CN106230982A (zh) * | 2016-09-08 | 2016-12-14 | 哈尔滨工程大学 | 一种考虑节点可靠性的动态自适应安全云存储方法 |
| CN110365768A (zh) * | 2019-07-15 | 2019-10-22 | 腾讯科技（深圳）有限公司 | 分布式系统的数据同步方法、装置、介质、电子设备 |
| CN110781006A (zh) * | 2019-10-28 | 2020-02-11 | 重庆紫光华山智安科技有限公司 | 负载均衡方法、装置、节点及计算机可读存储介质 |
| CN112486423A (zh) * | 2021-02-05 | 2021-03-12 | 南京群顶科技有限公司 | 一种分布式存储方法及装置 |
| CN113778973A (zh) * | 2021-01-21 | 2021-12-10 | 北京沃东天骏信息技术有限公司 | 数据存储方法和装置 |
-
2021
- 2021-12-23 CN CN202111587589.6A patent/CN114281260A/zh active Pending
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20120102080A1 (en) * | 2010-05-20 | 2012-04-26 | Hitachi Software Engineering Co., Ltd. | Computer system and storage capacity extension method |
| CN103744620A (zh) * | 2013-12-31 | 2014-04-23 | 百度在线网络技术（北京）有限公司 | 一种用于数据存储的方法与设备 |
| CN106230982A (zh) * | 2016-09-08 | 2016-12-14 | 哈尔滨工程大学 | 一种考虑节点可靠性的动态自适应安全云存储方法 |
| CN110365768A (zh) * | 2019-07-15 | 2019-10-22 | 腾讯科技（深圳）有限公司 | 分布式系统的数据同步方法、装置、介质、电子设备 |
| CN110781006A (zh) * | 2019-10-28 | 2020-02-11 | 重庆紫光华山智安科技有限公司 | 负载均衡方法、装置、节点及计算机可读存储介质 |
| CN113778973A (zh) * | 2021-01-21 | 2021-12-10 | 北京沃东天骏信息技术有限公司 | 数据存储方法和装置 |
| CN112486423A (zh) * | 2021-02-05 | 2021-03-12 | 南京群顶科技有限公司 | 一种分布式存储方法及装置 |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115174594A (zh) * | 2022-07-07 | 2022-10-11 | 广州炒米信息科技有限公司 | 分布式系统的数据同步方法、装置、设备及介质 |
| CN115174594B (zh) * | 2022-07-07 | 2024-03-29 | 广州炒米信息科技有限公司 | 分布式系统的数据同步方法、装置、设备及介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11023533B2 (en) | Node task data display method and apparatus, storage medium and computer equipment | |
| US10764218B2 (en) | Tree-type homepage system and homepage management method | |
| CN109344153B (zh) | 业务数据的处理方法及终端设备 | |
| CN104601601B (zh) | 网络爬虫的检测方法及装置 | |
| CN110795203A (zh) | 资源调度方法、装置、系统和计算设备 | |
| CN110007978A (zh) | 一种预加载页面的方法、装置及设备 | |
| US20130019087A1 (en) | System structure management device, system structure management method, and program | |
| WO2020049391A1 (en) | Suspicious activity detection in computer networks | |
| US10313219B1 (en) | Predictive intelligent processor balancing in streaming mobile communication device data processing | |
| CN110956269A (zh) | 数据模型的生成方法、装置、设备以及计算机存储介质 | |
| CN109359263B (zh) | 一种用户行为特征提取方法及系统 | |
| TW201717086A (zh) | 偵測計算設備中的程序上的軟體攻擊 | |
| CN113672375B (zh) | 资源分配预测方法、装置、设备及存储介质 | |
| CN112738172A (zh) | 区块链节点的管理方法、装置、计算机设备和存储介质 | |
| CN113485999A (zh) | 数据清理方法、装置和服务器 | |
| CN107358105B (zh) | 异构功能等价体相异性测量方法，分配方法、装置及设备 | |
| CN110750517B (zh) | 一种本地存储引擎系统的数据处理方法、装置以及设备 | |
| CN114281260A (zh) | 应用于分布式存储系统的存储方法、装置、设备及介质 | |
| TW201929481A (zh) | 一種身份認證方法、伺服器及用戶端設備 | |
| US11474809B2 (en) | Upgrades based on analytics from multiple sources | |
| CN111124791A (zh) | 一种系统测试方法及装置 | |
| CN108228752B (zh) | 数据全量导出方法、数据导出任务分配装置及数据导出节点装置 | |
| CN111694835B (zh) | 物流电子面单的号段存取方法及系统、设备及存储介质 | |
| JP7369219B2 (ja) | 運用管理装置及び方法 | |
| CN110891097A (zh) | 一种跨设备用户识别方法及装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |