CN117075802B - 一种基于人工智能算力的分布式存储方法 - Google Patents

一种基于人工智能算力的分布式存储方法 Download PDF

Info

Publication number
CN117075802B
CN117075802B CN202310978114.2A CN202310978114A CN117075802B CN 117075802 B CN117075802 B CN 117075802B CN 202310978114 A CN202310978114 A CN 202310978114A CN 117075802 B CN117075802 B CN 117075802B
Authority
CN
China
Prior art keywords
node
storage
information
node information
nodes
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202310978114.2A
Other languages
English (en)
Other versions
CN117075802A (zh
Inventor
闻之航
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Honggang Data Information Co ltd
Original Assignee
Shanghai Honggang Data Information Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Honggang Data Information Co ltd filed Critical Shanghai Honggang Data Information Co ltd
Priority to CN202310978114.2A priority Critical patent/CN117075802B/zh
Publication of CN117075802A publication Critical patent/CN117075802A/zh
Application granted granted Critical
Publication of CN117075802B publication Critical patent/CN117075802B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0668—Interfaces specially adapted for storage systems adopting a particular infrastructure
    • G06F3/067—Distributed or networked storage systems, e.g. storage area networks [SAN], network attached storage [NAS]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0628—Interfaces specially adapted for storage systems making use of a particular technique
    • G06F3/0629—Configuration or reconfiguration of storage systems
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明提供一种基于人工智能算力的分布式存储方法，涉及分布式存储技术领域，包括：步骤S1，获取存储节点的若干节点信息，将存储节点标记为可存储节点、饱和节点以及故障节点；步骤S2，使用终端节点对存储节点发送存储数据，并将存储数据进行备份处理；步骤S3，检查若干存储节点内的存储数据以及若干存储节点的节点完整度，并基于检查结果对存储节点进行更新；本发明用于解决现有技术中在存储节点进行运行前缺少对存储节点的有效分析方法，从而导致存储节点在开始运行后因节点故障或节点已满导致数据丢失的问题。

Description

一种基于人工智能算力的分布式存储方法
技术领域
本发明涉及分布式存储技术领域，尤其涉及一种基于人工智能算力的分布式存储方法。
背景技术
分布式存储是一种数据存储技术，通过网络使用企业中的每台机器上的磁盘空间，并将这些分散的存储资源构成一个虚拟的存储设备，数据分散地存储在企业的各个角落；
现有的用于分布式存储方面的改进，通常是对服务器集群进行整体的改进，提高存储节点的稳定性，比如在申请公开号为CN106101213A的申请文件中，公开了信息分布式存储方法，该方案就是简化了服务器集群部署方式，避免用户直接对服务器集群进行操作，保证存储节点的合理性和数据稳定性，其他的用于分布式存储的改进通常是在存储节点运行时提高数据存储的可靠性以及提高数据存储的速率，而在存储节点进行运行前缺少对存储节点的有效分析方法，这会导致存储节点在开始运行后因节点故障或节点已满导致数据丢失，鉴于此，有必要对现有的分布式存储方法进行改进。
发明内容
针对现有技术存在的不足，本发明目的是提供一种基于人工智能算力的分布式存储方法，用于解决现有技术中在存储节点进行运行前缺少对存储节点的有效分析方法，从而导致存储节点在开始运行后因节点故障或节点已满导致数据丢失的问题。
为了实现上述目的，本发明提供一种基于人工智能算力的分布式存储方法，包括：
步骤S1，将分布式存储中用于分发存储数据的服务器记为终端节点，将用于存储数据的若干存储服务器记为若干存储节点；
获取存储节点的若干节点信息，基于存储节点的若干节点信息使用终端节点对存储节点进行筛选，将存储节点标记为可存储节点、饱和节点以及故障节点；
步骤S2，基于步骤S1中的存储节点，使用终端节点对存储节点发送存储数据，并将存储数据进行备份处理；
步骤S3，检查若干存储节点内的存储数据以及若干存储节点的节点完整度，并基于检查结果对存储节点进行更新。
进一步地，所述步骤S1包括如下子步骤：
步骤S101，将若干存储节点记为存储节点1至存储节点N；
步骤S102，获取存储节点1至存储节点N中每个存储节点的节点信息，所述节点信息包括存储节点的存储服务器的存储信息以及存储节点的位置服务器的位置信息；
步骤S103，基于存储节点1至存储节点N的节点信息对存储节点1至存储节点N中的每个存储节点使用信息分析方法；
步骤S104，基于步骤S103中信息分析方法的结果对存储节点1至存储节点N进行筛选，基于筛选结果将存储节点标记为可存储节点、饱和节点以及故障节点。
进一步地，所述步骤S102中所述存储服务器的存储信息包括该存储服务器可存储的最大空间、已存储的空间以及可用于缓冲的缓冲空间，分别记为服务器总容量、已有容量以及缓冲容量；
获取终端节点的位置信息，基于位置服务器的位置信息以及终端节点的位置信息获取存储节点与终端节点之间的传输路径的长度，记为传输距离。
进一步地，所述步骤S103包括如下子步骤：
步骤S1031，将存储节点1至存储节点N中每个节点的节点信息记为节点信息1至节点信息N，对节点信息1至节点信息N使用信息分析法。
进一步地，所述信息分析法包括如下步骤：
步骤S1032，对于节点信息1至节点信息N中的任意一个节点信息；
获取该节点信息对应的服务器总容量以及已有容量，将已有容量除以服务器总容量乘以100％的值记为占用百分比；
当占用百分比小于等于第一百分比时，获取该节点信息对应的存储服务器的历史存储数据，并通过历史存储数据计算所有历史存储数据对应的占用百分比，记为历史占用比1至历史占用比Q，通过存储服务器的历史存储数据获取在历史占用比1至历史占用比Q下存储节点的最大响应时间，记为历史响应时间1至历史响应时间Q；
通过第一比例公式对历史占用比1至历史占用比Q以及历史响应时间1至历史响应时间Q进行计算，得到历史权重1至历史权重Q，获取历史权重1至历史权重Q的最大值，记为标准权重，所述第一比例公式为：V1＝α1×V2+α2×V3，其中，α1为第一比例系数，α2为第二比例系数，V1为历史权重，V2为历史占用比，V3为历史响应时间；
获取标准权重对应的历史占用比以及历史响应时间，记为标准占用比以及标准响应时间；
步骤S1033，当占用百分比大于第一百分比时，将服务器总容量减去已有容量的值记为容量饱和值。
进一步地，所述信息分析法还包括：
步骤S1034，对于节点信息1至节点信息N中的任意一个节点信息；
获取该节点信息对应的缓冲容量，获取该节点信息对应的存储服务器的历史存储数据，获取历史存储数据中存储服务器的缓冲空间承受的最大容量，记为历史最大容量，获取缓冲空间在历史最大容量时持续保持的最长时间，记为最大持续时间；
步骤S1035，当缓冲容量小于历史最大容量时，将该存储节点记为可缓冲节点；
当缓冲容量大于等于历史最大容量时，将缓冲容量处于大于等于历史最大容量状态的时间记为超限时间，当超限时间大于最大持续时间时，获取最后一个向存储服务器输送数据的终端节点，记为故障终端；
当超限时间小于等于最大持续时间时，将该缓冲容量对应的存储节点标记为危险节点。
进一步地，所述信息分析法还包括：
步骤S1036，对于节点信息1至节点信息N中的任意一个节点信息；
获取节点信息的传输距离，当传输距离大于等于第一标准距离时，获取传输路径的最大传输速度，当最大传输速度大于第一标准速度时，将节点信息对应的存储节点记为高速节点；
当最大传输速度小于等于第一标准速度时，将节点信息对应的存储节点记为低速节点；
步骤S1037，当传输距离小于第一标准距离时，获取传输路径的最小传输速度，当最小传输速度小于第二标准速度时，将节点信息对应的存储节点记为低速节点；
当最小传输速度大于等于第二标准速度时，将节点信息对应的存储节点记为高速节点。
进一步地，所述步骤S104包括如下子步骤：
步骤S1041，获取节点信息1至节点信息N中占用百分比小于等于第一百分比的节点信息，记为节点信息11至节点信息1Z；
步骤S1042，对于节点信息11至节点信息1Z中的任意一个节点信息，获取节点信息对应的标准占用比以及标准响应时间，以占用比为y轴，以响应时间为x轴，建立平面直角坐标系，获取标准占用比以及标准响应时间在平面直角坐标系中的点，记为标准点，将标准点与坐标原点进行连线，记为标准线，以标准线为半径，坐标原点为圆心做圆，记为存储圆；
将该节点信息对应的存储节点记为可存储节点，当对该可存储节点进行数据存储时，存储节点的占用百分比以及在该占用百分比对应的响应时间构成的点在存储圆内。
进一步地，所述步骤S104还包括如下子步骤：
步骤S1043，获取节点信息1至节点信息N中具有容量饱和值的节点信息，记为节点信息21至节点信息2X，并将节点信息21至节点信息2X对应的存储节点记为饱和节点，当使用终端节点对存储节点发送存储数据时，饱和节点被发送存储数据的优先级小于可存储节点被发送存储数据的优先级；
步骤S1044，对于节点信息21至节点信息2X中的任意一个节点信息，当节点信息的容量饱和值小于等于第一容量值时，关闭向节点信息对应的存储节点进行数据存储的传输路径；
当节点信息的容量饱和值大于第一容量值时，当传输的数据所占的空间大于第二容量值时，关闭向节点信息对应的存储节点进行数据存储的传输路径。
进一步地，所述步骤S104还包括如下子步骤：
步骤S1045，获取节点信息1至节点信息N中具有超限时间的节点信息，记为节点信息31至节点信息3C，将节点信息31至节点信息3C对应的存储节点记为故障节点，当存储节点被记为故障节点时，停止向故障节点发送存储数据；
步骤S1046，当获取到故障终端时，发送终端故障信号；
步骤S1047，当获取到危险节点时，发送节点故障信号。
进一步地，所述步骤S2包括如下子步骤：
步骤S201，获取与终端节点连接的所有存储节点以及所有存储节点对应的标记；
步骤S202，当终端节点进行存储数据的发送时，设置数据发送顺序，数据发送顺序包括第一发送顺序、第二发送顺序以及第三发送顺序，第一发送顺序对应的节点为高速节点以及可存储节点，第二发送顺序对应的节点为低速节点以及可存储节点，第三发送顺序对应的节点为剩余节点，第一发送顺序的优先级高于第二发送顺序的优先级，第二发送顺序的优先级高于第三发送顺序的优先级；
步骤S203，对所有发送的存储数据进行备份，经过第一工作时间后，删除备份。
进一步地，所述步骤S3包括如下子步骤：
步骤S301，每隔第二工作时间获取与终端节点连接的所有存储节点的存储数据；
步骤S302，当步骤S301中获取的存储数据与步骤S203中备份的数据不一致时，发送数据损坏信号。
进一步地，所述步骤S3还包括如下子步骤：
步骤S303，每隔第三工作时间获取与终端节点连接的存储节点的数量，记为节点数量；
步骤S304，当节点数量小于等于标准节点数量时，发送节点数量不足信号。
第二方面，本申请提供一种电子设备，包括处理器以及存储器，所述存储器存储有计算机可读取指令，当所述计算机可读取指令由所述处理器执行时，运行如上所述方法中的步骤。
第三方面，本申请提供一种存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时，运行如上所述方法中的步骤。
本发明的有益效果：本发明通过获取存储节点的若干节点信息，基于存储节点的若干节点信息使用终端节点对存储节点进行筛选，将存储节点标记为可存储节点、饱和节点以及故障节点，这样的好处在于，在存储节点开始运行前，基于存储节点的节点信息对存储节点进行分析，可以有效找出每个存储节点可能出现的故障以及每个存储节点的优缺点，有利于在后续的数据传输中优先选取更加合适的存储节点，并及时将出现故障的存储节点进行上报；
本发明还使用终端节点对存储节点发送存储数据，并将存储数据进行备份处理；检查若干存储节点内的存储数据以及若干存储节点的节点完整度，并基于检查结果对存储节点进行更新，这样的好处在于，在对存储数据进行备份处理后，通过检查存储节点内的存储数据以及节点完整度，可以有效防止因存储节点的突发故障导致存储节点内的存储数据发生丢失，同时对于连接存储节点较少的终端节点，可以及时发送信号以满足终端节点的正常运行。
本发明附加方面的优点将在下面的具体实施方式的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。
附图说明
通过阅读参照以下附图对非限制性实施例所作的详细描述，本发明的其他特征、目的和优点将会变得更明显：
图1为本发明的方法的步骤流程图；
图2为本发明的存储圆的获取示意图；
图3为本发明的存储节点的结构示意图；
图4为本发明的电子设备的连接框图。
具体实施方式
应该指出，以下详细说明都是示例性的，旨在对本发明提供进一步的说明。除非另有指明，本文使用的所有技术和科学术语具有与本发明所属技术领域的普通技术人员通常理解的相同含义。
需要注意的是，这里所使用的术语仅是为了描述具体实施方式，而非意图限制根据本发明的示例性实施方式。
在不冲突的情况下，本发明中的实施例及实施例中的特征可以相互组合。
实施例一
请参阅图1所示，本发明提供一种基于人工智能算力的分布式存储方法，包括：
步骤S1，将分布式存储中用于分发存储数据的服务器记为终端节点，将用于存储数据的若干存储服务器记为若干存储节点；
获取存储节点的若干节点信息，基于存储节点的若干节点信息使用终端节点对存储节点进行筛选，将存储节点标记为可存储节点、饱和节点以及故障节点；
步骤S1包括如下子步骤：
步骤S101，将若干存储节点记为存储节点1至存储节点N；
步骤S102，获取存储节点1至存储节点N中每个存储节点的节点信息，节点信息包括存储节点的存储服务器的存储信息以及存储节点的位置服务器的位置信息；
请参阅图3所示，步骤S102中存储服务器的存储信息包括该存储服务器可存储的最大空间、已存储的空间以及可用于缓冲的缓冲空间，分别记为服务器总容量、已有容量以及缓冲容量；
获取终端节点的位置信息，基于位置服务器的位置信息以及终端节点的位置信息获取存储节点与终端节点之间的传输路径的长度，记为传输距离；
在具体实施过程中，通过获取位置服务器的IP地址以及终端节点的IP地址得到传输路径的长度；
步骤S103，基于存储节点1至存储节点N的节点信息对存储节点1至存储节点N中的每个存储节点使用信息分析方法；
步骤S103包括如下子步骤：
步骤S1031，将存储节点1至存储节点N中每个节点的节点信息记为节点信息1至节点信息N，对节点信息1至节点信息N使用信息分析法，信息分析法通过步骤S1032至步骤S1037进行描述；
步骤S1032，对于节点信息1至节点信息N中的任意一个节点信息；
获取该节点信息对应的服务器总容量以及已有容量，将已有容量除以服务器总容量乘以100％的值记为占用百分比；
当占用百分比小于等于第一百分比时，获取该节点信息对应的存储服务器的历史存储数据，并通过历史存储数据计算所有历史存储数据对应的占用百分比，记为历史占用比1至历史占用比Q，通过存储服务器的历史存储数据获取在历史占用比1至历史占用比Q下存储节点的最大响应时间，记为历史响应时间1至历史响应时间Q；
在具体实施过程中，获取到已有容量为150G，服务器总容量为200G，则占用百分比为75％，第一百分比设定为80％，当存储节点内的占用百分比大于80％时，说明该存储节点趋于饱和；
通过第一比例公式对历史占用比1至历史占用比Q以及历史响应时间1至历史响应时间Q进行计算，得到历史权重1至历史权重Q，获取历史权重1至历史权重Q的最大值，记为标准权重，第一比例公式为：V1＝α1×V2+α2×V3，其中，α1为第一比例系数，α2为第二比例系数，V1为历史权重，V2为历史占用比，V3为历史响应时间；α1和α2为常数且大于零；
获取标准权重对应的历史占用比以及历史响应时间，记为标准占用比以及标准响应时间；
在具体实施过程中，α1为0.6，α2为0.4，历史响应时间的单位为ms，检测到历史占用比为60％，历史响应时间为10ms，则通过计算可得历史权重为4.36；
步骤S1033，当占用百分比大于第一百分比时，将服务器总容量减去已有容量的值记为容量饱和值；
步骤S103还包括如下子步骤：
步骤S1034，对于节点信息1至节点信息N中的任意一个节点信息；
获取该节点信息对应的缓冲容量，获取该节点信息对应的存储服务器的历史存储数据，获取历史存储数据中存储服务器的缓冲空间承受的最大容量，记为历史最大容量，获取缓冲空间在历史最大容量时持续保持的最长时间，记为最大持续时间；
步骤S1035，当缓冲容量小于历史最大容量时，将该存储节点记为可缓冲节点；
当缓冲容量大于等于历史最大容量时，将缓冲容量处于大于等于历史最大容量状态的时间记为超限时间，当超限时间大于最大持续时间时，获取最后一个向存储服务器输送数据的终端节点，记为故障终端；
当超限时间小于等于最大持续时间时，将该缓冲容量对应的存储节点标记为危险节点；
在具体实施过程中，当缓冲容量大于等于历史最大容量时，说明该存储节点的缓冲空间出现问题，对于处于超限时间较少的存储节点，应当及时标记为危险节点，对于处于超限时间较长的存储节点，说明与该存储节点进行数据传输的终端节点出现故障，应将该终端节点标记为故障终端；
步骤S103还包括如下子步骤：
步骤S1036，对于节点信息1至节点信息N中的任意一个节点信息；
获取节点信息的传输距离，当传输距离大于等于第一标准距离时，获取传输路径的最大传输速度，当最大传输速度大于第一标准速度时，将节点信息对应的存储节点记为高速节点；
在具体实施过程中，第一标准速度为80M/s，第二标准速度为10M/s，第一标准距离为10KM，其中，第一标准速度以及第二标准速度根据实际情况可满足的网络传输速度而定；
当最大传输速度小于等于第一标准速度时，将节点信息对应的存储节点记为低速节点；
步骤S1037，当传输距离小于第一标准距离时，获取传输路径的最小传输速度，当最小传输速度小于第二标准速度时，将节点信息对应的存储节点记为低速节点；
当最小传输速度大于等于第二标准速度时，将节点信息对应的存储节点记为高速节点；
步骤S104，基于步骤S103中信息分析方法的结果对存储节点1至存储节点N进行筛选，基于筛选结果将存储节点标记为可存储节点、饱和节点以及故障节点；
步骤S104包括如下子步骤：
步骤S1041，获取节点信息1至节点信息N中占用百分比小于等于第一百分比的节点信息，记为节点信息11至节点信息1Z；
步骤S1042，对于节点信息11至节点信息1Z中的任意一个节点信息，请参阅图2所示，其中，C1为标准占用比，C2为标准响应时间，C3为标准点，C4为标准线；获取节点信息对应的标准占用比以及标准响应时间，以占用比为y轴，y轴单位为百分比，以响应时间为x轴，x轴单位为毫秒，建立平面直角坐标系，获取标准占用比以及标准响应时间在平面直角坐标系中的点，记为标准点，将标准点与坐标原点进行连线，记为标准线，以标准线为半径，坐标原点为圆心做圆，记为存储圆；
将该节点信息对应的存储节点记为可存储节点，当对该可存储节点进行数据存储时，存储节点的占用百分比以及在该占用百分比对应的响应时间构成的点在存储圆内；
步骤S104还包括如下子步骤：
步骤S1043，获取节点信息1至节点信息N中具有容量饱和值的节点信息，记为节点信息21至节点信息2X，并将节点信息21至节点信息2X对应的存储节点记为饱和节点，当使用终端节点对存储节点发送存储数据时，饱和节点被发送存储数据的优先级小于可存储节点被发送存储数据的优先级；
步骤S1044，对于节点信息21至节点信息2X中的任意一个节点信息，当节点信息的容量饱和值小于等于第一容量值时，关闭向节点信息对应的存储节点进行数据存储的传输路径；
当节点信息的容量饱和值大于第一容量值时，当传输的数据所占的空间大于第二容量值时，关闭向节点信息对应的存储节点进行数据存储的传输路径；
在具体实施过程中，第一容量值为服务器总容量的5％，第二容量值为服务器总容量的4％，为了防止存储服务器因存储过满导致影响存储服务器的运行，因此应当预留出一定空间进行缓冲；
步骤S104还包括如下子步骤：
步骤S1045，获取节点信息1至节点信息N中具有超限时间的节点信息，记为节点信息31至节点信息3C，将节点信息31至节点信息3C对应的存储节点记为故障节点，当存储节点被记为故障节点时，停止向故障节点发送存储数据；
步骤S1046，当获取到故障终端时，发送终端故障信号，终端故障信号包含故障终端的IP地址，故障终端的IP地址用于对故障终端进行定位；
步骤S1047，当获取到危险节点时，发送节点故障信号；
步骤S2，基于步骤S1中的存储节点，使用终端节点对存储节点发送存储数据，并将存储数据进行备份处理；
步骤S2包括如下子步骤：
步骤S201，获取与终端节点连接的所有存储节点以及所有存储节点对应的标记；
步骤S202，当终端节点进行存储数据的发送时，优先向高速节点以及可存储节点进行数据发送，其次向低速节点以及可存储节点进行数据发送，最后向剩余节点进行数据发送；具体地，设置数据发送顺序，数据发送顺序包括第一发送顺序、第二发送顺序以及第三发送顺序，第一发送顺序对应的节点为高速节点以及可存储节点，第二发送顺序对应的节点为低速节点以及可存储节点，第三发送顺序对应的节点为剩余节点，第一发送顺序的优先级高于第二发送顺序的优先级，第二发送顺序的优先级高于第三发送顺序的优先级；
步骤S203，对所有发送的存储数据进行备份，经过第一工作时间后，删除备份；
在具体实施过程中，第一工作时间为48h；
步骤S3，检查若干存储节点内的存储数据以及若干存储节点的节点完整度，并基于检查结果对存储节点进行更新；
步骤S3包括如下子步骤：
步骤S301，每隔第二工作时间获取与终端节点连接的所有存储节点的存储数据；
在具体实施过程中，第二工作时间为12h；
步骤S302，当步骤S301中获取的存储数据与步骤S203中备份的数据不一致时，发送数据损坏信号；
步骤S3还包括如下子步骤：
步骤S303，每隔第三工作时间获取与终端节点连接的存储节点的数量，记为节点数量；
在具体实施过程中，第三工作时间为24h；
步骤S304，当节点数量小于等于标准节点数量时，发送节点数量不足信号；
在具体实施过程中，标准节点数量设置为1，当一个分布式存储仅有一个存储节点时，应当发送节点数量不足信号，提醒工作人员对存储节点进行补充。
实施例二
请参阅图4所示，第二方面，本申请提供一种电子设备40，包括处理器401以及存储器402，存储器402存储有计算机可读取指令，当计算机可读取指令由处理器401执行时，运行如上任意一项方法中的步骤。通过上述技术方案，处理器401和存储器402通过通信总线和/或其他形式的连接机构(未标出)互连并相互通讯，存储器402存储有处理器可执行的计算机程序，当电子设备40运行时，处理器401执行该计算机程序，以执行上述实施例的任一可选的实现方式中的方法，以实现以下功能：通过获取存储节点的若干节点信息，基于存储节点的若干节点信息使用终端节点对存储节点进行筛选，将存储节点标记为可存储节点、饱和节点以及故障节点，本发明还使用终端节点对存储节点发送存储数据，并将存储数据进行备份处理；检查若干存储节点内的存储数据以及若干存储节点的节点完整度，并基于检查结果对存储节点进行更新。
实施例三
第三方面，本申请提供一种存储介质，其上存储有计算机程序，计算机程序被处理器执行时，运行如上任意一项方法中的步骤。通过上述技术方案，计算机程序被处理器执行时，执行上述实施例的任一可选的实现方式中的方法，以实现以下功能：通过获取存储节点的若干节点信息，基于存储节点的若干节点信息使用终端节点对存储节点进行筛选，将存储节点标记为可存储节点、饱和节点以及故障节点，本发明还使用终端节点对存储节点发送存储数据，并将存储数据进行备份处理；检查若干存储节点内的存储数据以及若干存储节点的节点完整度，并基于检查结果对存储节点进行更新。
本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质上实施的计算机程序产品的形式。其中，存储介质可以由任何类型的易失性或非易失性存储设备或者它们的组合实现，如静态随机存取存储器(Static RandomAccess Memory，简称SRAM)，电可擦除可编程只读存储器(Electrically ErasableProgrammable Read-Only Memory，简称EEPROM)，可擦除可编程只读存储器(ErasableProgrammable Read Only Memory，简称EPROM)，可编程只读存储器(Programmable Red-Only Memory，简称PROM)，只读存储器(Read-OnlyMemory，简称ROM)，磁存储器，快闪存储器，磁盘或光盘。这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
以上所述实施例，仅为本发明的具体实施方式，用以说明本发明的技术方案，而非对其限制，本发明的保护范围并不局限于此，尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，其依然可以对前述实施例所记载的技术方案进行修改或可轻易想到变化，或者对其中部分技术特征进行等同替换；而这些修改、变化或者替换，并不使相应技术方案的本质脱离本发明实施例技术方案的精神和范围，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以所述权利要求的保护范围为准。

Claims (9)

1.一种基于人工智能算力的分布式存储方法，其特征在于，包括：
步骤S1，将分布式存储中用于分发存储数据的服务器记为终端节点，将用于存储数据的若干存储服务器记为若干存储节点；
获取存储节点的若干节点信息，基于存储节点的若干节点信息使用终端节点对存储节点进行筛选，将存储节点标记为可存储节点、饱和节点以及故障节点；
步骤S2，基于步骤S1中的存储节点，使用终端节点对存储节点发送存储数据，并将存储数据进行备份处理；
步骤S3，检查若干存储节点内的存储数据以及若干存储节点的节点完整度，并基于检查结果对存储节点进行更新；
所述步骤S1包括如下子步骤：
步骤S101，将若干存储节点记为存储节点1至存储节点N；
步骤S102，获取存储节点1至存储节点N中每个存储节点的节点信息，所述节点信息包括存储节点的存储服务器的存储信息以及存储节点的位置服务器的位置信息；
步骤S103，基于存储节点1至存储节点N的节点信息对存储节点1至存储节点N中的每个存储节点使用信息分析方法；
步骤S104，基于步骤S103中信息分析方法的结果对存储节点1至存储节点N进行筛选，基于筛选结果将存储节点标记为可存储节点、饱和节点以及故障节点；所述步骤S103包括如下子步骤：
步骤S1031，将存储节点1至存储节点N中每个节点的节点信息记为节点信息1至节点信息N，对节点信息1至节点信息N使用信息分析法；
所述信息分析法包括如下步骤：
步骤S1032，对于节点信息1至节点信息N中的任意一个节点信息；
获取该节点信息对应的服务器总容量以及已有容量，将已有容量除以服务器总容量乘以100%的值记为占用百分比；
当占用百分比小于等于第一百分比时，获取该节点信息对应的存储服务器的历史存储数据，并通过历史存储数据计算所有历史存储数据对应的占用百分比，记为历史占用比1至历史占用比Q，通过存储服务器的历史存储数据获取在历史占用比1至历史占用比Q下存储节点的最大响应时间，记为历史响应时间1至历史响应时间Q；
通过第一比例公式对历史占用比1至历史占用比Q以及历史响应时间1至历史响应时间Q进行计算，得到历史权重1至历史权重Q，获取历史权重1至历史权重Q的最大值，记为标准权重，所述第一比例公式为：V1=α1×V2+α2×V3，其中，α1为第一比例系数，α2为第二比例系数，V1为历史权重，V2为历史占用比，V3为历史响应时间；
获取标准权重对应的历史占用比以及历史响应时间，记为标准占用比以及标准响应时间；
步骤S1033，当占用百分比大于第一百分比时，将服务器总容量减去已有容量的值记为容量饱和值；
对于节点信息1至节点信息N中的任意一个节点信息；获取该节点信息对应的缓冲容量，获取该节点信息对应的存储服务器的历史存储数据，获取历史存储数据中存储服务器的缓冲空间承受的最大容量，记为历史最大容量；
当缓冲容量大于等于历史最大容量时，将缓冲容量处于大于等于历史最大容量状态的时间记为超限时间；
所述步骤S104包括如下子步骤：
步骤S1041，获取节点信息1至节点信息N中占用百分比小于等于第一百分比的节点信息，记为节点信息11至节点信息1Z；
步骤S1042，对于节点信息11至节点信息1Z中的任意一个节点信息，获取节点信息对应的标准占用比以及标准响应时间，以占用比为y轴，以响应时间为x轴，建立平面直角坐标系，获取标准占用比以及标准响应时间在平面直角坐标系中的点，记为标准点，将标准点与坐标原点进行连线，记为标准线，以标准线为半径，坐标原点为圆心做圆，记为存储圆；
将该节点信息对应的存储节点记为可存储节点，当对该可存储节点进行数据存储时，存储节点的占用百分比以及在该占用百分比对应的响应时间构成的点在存储圆内；
所述步骤S104还包括如下子步骤：
步骤S1043，获取节点信息1至节点信息N中具有容量饱和值的节点信息，记为节点信息21至节点信息2X，并将节点信息21至节点信息2X对应的存储节点记为饱和节点，当使用终端节点对存储节点发送存储数据时，饱和节点被发送存储数据的优先级小于可存储节点被发送存储数据的优先级；
步骤S1044，对于节点信息21至节点信息2X中的任意一个节点信息，当节点信息的容量饱和值小于等于第一容量值时，关闭向节点信息对应的存储节点进行数据存储的传输路径；
当节点信息的容量饱和值大于第一容量值时，当传输的数据所占的空间大于第二容量值时，关闭向节点信息对应的存储节点进行数据存储的传输路径；
所述步骤S104还包括如下子步骤：
步骤S1045，获取节点信息1至节点信息N中具有超限时间的节点信息，记为节点信息31至节点信息3C，将节点信息31至节点信息3C对应的存储节点记为故障节点，当存储节点被记为故障节点时，停止向故障节点发送存储数据；
步骤S1046，当获取到故障终端时，发送终端故障信号；
步骤S1047，当获取到危险节点时，发送节点故障信号。
2.根据权利要求1所述的一种基于人工智能算力的分布式存储方法，其特征在于，所述步骤S102中所述存储服务器的存储信息包括该存储服务器可存储的最大空间、已存储的空间以及可用于缓冲的缓冲空间，分别记为服务器总容量、已有容量以及缓冲容量；
获取终端节点的位置信息，基于位置服务器的位置信息以及终端节点的位置信息获取存储节点与终端节点之间的传输路径的长度，记为传输距离。
3.根据权利要求2所述的一种基于人工智能算力的分布式存储方法，其特征在于，所述信息分析法还包括：
步骤S1034，获取缓冲空间在历史最大容量时持续保持的最长时间，记为最大持续时间；
步骤S1035，当缓冲容量小于历史最大容量时，将该存储节点记为可缓冲节点；
当超限时间大于最大持续时间时，获取最后一个向存储服务器输送数据的终端节点，记为故障终端；
当超限时间小于等于最大持续时间时，将该缓冲容量对应的存储节点标记为危险节点。
4.根据权利要求3所述的一种基于人工智能算力的分布式存储方法，其特征在于，所述信息分析法还包括：
步骤S1036，对于节点信息1至节点信息N中的任意一个节点信息；
获取节点信息的传输距离，当传输距离大于等于第一标准距离时，获取传输路径的最大传输速度，当最大传输速度大于第一标准速度时，将节点信息对应的存储节点记为高速节点；
当最大传输速度小于等于第一标准速度时，将节点信息对应的存储节点记为低速节点；
步骤S1037，当传输距离小于第一标准距离时，获取传输路径的最小传输速度，当最小传输速度小于第二标准速度时，将节点信息对应的存储节点记为低速节点；
当最小传输速度大于等于第二标准速度时，将节点信息对应的存储节点记为高速节点。
5.根据权利要求4所述的一种基于人工智能算力的分布式存储方法，其特征在于，所述步骤S2包括如下子步骤：
步骤S201，获取与终端节点连接的所有存储节点以及所有存储节点对应的标记；
步骤S202，当终端节点进行存储数据的发送时，设置数据发送顺序，数据发送顺序包括第一发送顺序、第二发送顺序以及第三发送顺序，第一发送顺序对应的节点为高速节点以及可存储节点，第二发送顺序对应的节点为低速节点以及可存储节点，第三发送顺序对应的节点为剩余节点，第一发送顺序的优先级高于第二发送顺序的优先级，第二发送顺序的优先级高于第三发送顺序的优先级；
步骤S203，对所有发送的存储数据进行备份，经过第一工作时间后，删除备份。
6.根据权利要求5所述的一种基于人工智能算力的分布式存储方法，其特征在于，所述步骤S3包括如下子步骤：
步骤S301，每隔第二工作时间获取与终端节点连接的所有存储节点的存储数据；
步骤S302，当步骤S301中获取的存储数据与步骤S203中备份的数据不一致时，发送数据损坏信号。
7.根据权利要求6所述的一种基于人工智能算力的分布式存储方法，其特征在于，所述步骤S3还包括如下子步骤：
步骤S303，每隔第三工作时间获取与终端节点连接的存储节点的数量，记为节点数量；
步骤S304，当节点数量小于等于标准节点数量时，发送节点数量不足信号。
8.一种电子设备，其特征在于，包括处理器以及存储器，所述存储器存储有计算机可读取指令，当所述计算机可读取指令由所述处理器执行时，运行如权利要求1-7任一项所述方法中的步骤。
9.一种存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时，运行如权利要求1-7任一项所述方法中的步骤。
CN202310978114.2A 2023-08-04 2023-08-04 一种基于人工智能算力的分布式存储方法 Active CN117075802B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310978114.2A CN117075802B (zh) 2023-08-04 2023-08-04 一种基于人工智能算力的分布式存储方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310978114.2A CN117075802B (zh) 2023-08-04 2023-08-04 一种基于人工智能算力的分布式存储方法

Publications (2)

Publication Number Publication Date
CN117075802A CN117075802A (zh) 2023-11-17
CN117075802B true CN117075802B (zh) 2024-05-10

Family

ID=88710667

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310978114.2A Active CN117075802B (zh) 2023-08-04 2023-08-04 一种基于人工智能算力的分布式存储方法

Country Status (1)

Country Link
CN (1) CN117075802B (zh)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101431442A (zh) * 2008-10-19 2009-05-13 傅城 无线传感器网络的节点活动分布式规划法
CN108173715A (zh) * 2018-01-02 2018-06-15 郑州云海信息技术有限公司 一种获取分布式存储服务器硬件信息的方法、装置及设备
CN109391510A (zh) * 2018-08-13 2019-02-26 杭州复杂美科技有限公司 一种故障节点检测方法及系统、设备和可存储介质
CN111818149A (zh) * 2020-07-02 2020-10-23 南京聚英数安智能科技有限公司 一种分布式系统验证方法
CN112925828A (zh) * 2021-03-09 2021-06-08 北京明略昭辉科技有限公司 一种分布式多节点查询方法和系统
CN113760469A (zh) * 2021-02-02 2021-12-07 北京沃东天骏信息技术有限公司 分布式计算的方法和装置

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10810168B2 (en) * 2015-11-24 2020-10-20 Red Hat, Inc. Allocating file system metadata to storage nodes of distributed file system

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101431442A (zh) * 2008-10-19 2009-05-13 傅城 无线传感器网络的节点活动分布式规划法
CN108173715A (zh) * 2018-01-02 2018-06-15 郑州云海信息技术有限公司 一种获取分布式存储服务器硬件信息的方法、装置及设备
CN109391510A (zh) * 2018-08-13 2019-02-26 杭州复杂美科技有限公司 一种故障节点检测方法及系统、设备和可存储介质
CN111818149A (zh) * 2020-07-02 2020-10-23 南京聚英数安智能科技有限公司 一种分布式系统验证方法
CN113760469A (zh) * 2021-02-02 2021-12-07 北京沃东天骏信息技术有限公司 分布式计算的方法和装置
CN112925828A (zh) * 2021-03-09 2021-06-08 北京明略昭辉科技有限公司 一种分布式多节点查询方法和系统

Also Published As

Publication number Publication date
CN117075802A (zh) 2023-11-17

Similar Documents

Publication Publication Date Title
CN107341258B (zh) 一种日志数据采集方法及系统
CN110046029A (zh) 应用于集群内多级缓存的数据处理方法和装置
CN111124277A (zh) 一种深度学习数据集缓存方法、系统、终端及存储介质
US20210067534A1 (en) Counting syn packets
US10783005B2 (en) Component logical threads quantity adjustment method and device
CN111654453B (zh) 表单数据离线缓存方法、装置、终端及存储介质
CN112506710B (zh) 分布式文件系统数据修复方法、装置、设备及存储介质
CN117075802B (zh) 一种基于人工智能算力的分布式存储方法
CN111651631A (zh) 高并发视频数据处理方法、电子设备、存储介质及系统
CN108376110A (zh) 一种自动检测方法、系统及终端设备
CN114925015A (zh) 基于多核处理器的数据处理方法、装置、设备及介质
CN114896215A (zh) 元数据的存储方法及装置
CN114840238A (zh) 软件升级方法、装置、电子设备及计算机可读存储介质
EP3166027B1 (en) Method and apparatus for determining hot page in database
CN111352984B (zh) 数据分发方法、设备和存储介质
CN109088705B (zh) 数据的重传方法、重传设备及网关
CN115033927A (zh) 一种检测数据完整性的方法、装置、设备及介质
CN109933413A (zh) 业务实现方法及装置、电子设备、存储介质
CN113608896A (zh) 一种动态切换数据流的方法、系统、介质及终端
CN111752911A (zh) 一种基于Flume的数据传输方法、系统、终端及存储介质
CN115630119A (zh) 异地业务处理方法、设备及存储介质
CN113778952A (zh) 一种日志输出方法、装置、设置及存储介质
CN114331804A (zh) 资源处理方法、装置、设备及存储介质
CN116991937A (zh) 数据处理方法、装置、电子设备及存储介质
CN117061312A (zh) 一种消息限流方法、装置、电子设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant