CN110650208A - 分布式集群存储方法、系统、装置及计算机可读存储介质 - Google Patents

分布式集群存储方法、系统、装置及计算机可读存储介质 Download PDF

Info

Publication number
CN110650208A
CN110650208A CN201910936872.1A CN201910936872A CN110650208A CN 110650208 A CN110650208 A CN 110650208A CN 201910936872 A CN201910936872 A CN 201910936872A CN 110650208 A CN110650208 A CN 110650208A
Authority
CN
China
Prior art keywords
node
storage
state information
cluster
reward value
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201910936872.1A
Other languages
English (en)
Inventor
刘子宁
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Inspur Data Technology Co Ltd
Original Assignee
Beijing Inspur Data Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Inspur Data Technology Co Ltd filed Critical Beijing Inspur Data Technology Co Ltd
Priority to CN201910936872.1A priority Critical patent/CN110650208A/zh
Publication of CN110650208A publication Critical patent/CN110650208A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/10—Protocols in which an application is distributed across nodes in the network
    • H04L67/1097—Protocols in which an application is distributed across nodes in the network for distributed storage of data in networks, e.g. transport arrangements for network file system [NFS], storage area networks [SAN] or network attached storage [NAS]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/10—Protocols in which an application is distributed across nodes in the network
    • H04L67/1001—Protocols in which an application is distributed across nodes in the network for accessing one among a plurality of replicated servers
    • H04L67/1004—Server selection for load balancing
    • H04L67/1008—Server selection for load balancing based on parameters of servers, e.g. available memory or workload
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/50—Network services
    • H04L67/56—Provisioning of proxy services

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Biophysics (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Computer Hardware Design (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本申请公开了一种分布式集群存储方法、系统、装置及计算机可读存储介质，包括：获取存储集群中每个节点的存储性能信息；利用每个节点的存储性能信息，得到每个节点的奖励值；获取每个节点的状态信息；利用智能代理模型接收每个节点的奖励值和状态信息，利用每个节点的奖励值和状态信息，输出对应的数据存储分配任务，完成数据的存储分配；本申请根据存储集群中各节点的存储性能信息设置奖励值，综合各节点的状态信息，利用基于神经网络模型，利用策略梯度算法和存储集群中节点的奖励值优化神经网络参数，利用历史节点的状态信息进行训练而成的智能代理模型进行分析，输出数据存储分配任务，确保了各节点负载均衡，分配结果稳定。

Description

分布式集群存储方法、系统、装置及计算机可读存储介质
技术领域
本发明涉及分布式存储领域，特别涉及一种分布式集群存储方法、系统、装置及计算机可读存储介质。
背景技术
在当今的大数据时代，海量的数据存储占用大量的存储空间。在分布式系统中，数据存储算法主要有两个依据：均匀性和稳定性。其中均匀性保证不同节点负载均衡，稳定性保证分布结果稳定。目前，分布式系统中数据存储技术主要有以下几种方式Hash、一致性Hash、带负载上限的一致性Hash、带虚拟节点的一致性Hash和分片，但上述几种数据分配方法，均无法保证数据存储的均匀性和稳定性，无法确保数据能够分配到最优的节点。
为此，需要进一步改进的使数据能够分配到最优的节点，确保数据存储的均匀性和稳定性的分布式集群存储方法。
发明内容
有鉴于此，本发明的目的在于提供一种分布式集群存储方法、系统、装置及计算机可读存储介质，使数据能够分配到最优的节点，保证数据存储的均匀性和稳定性。其具体方案如下：
一种分布式集群存储方法，包括：
获取存储集群中每个节点的存储性能信息；
利用每个节点的存储性能信息，得到每个节点的奖励值；
获取存储集群中每个节点的状态信息；
利用智能代理模型接收每个节点的奖励值和状态信息，所述智能代理模型利用每个节点的奖励值和状态信息，输出与当前每个节点的奖励值和状态信息对应的数据存储分配任务，完成数据的存储分配；
其中，所述智能代理模型为基于神经网络模型，利用策略梯度算法和所述存储集群中节点的奖励值优化神经网络参数，利用历史节点的状态信息进行训练而成的模型。
可选的，所述获取存储集群中每个节点的存储性能信息的过程，包括：
获取存储集群中每个节点单位时间内的I/O数据量和带宽。
可选的，所述利用每个节点的存储性能信息，得到每个节点的奖励值的过程，包括：
利用每个节点的单位时间内的I/O数据量和带宽之和，作为每个节点的奖励值。
可选的，所述智能代理模型包括分别由全连接网络组成的输入层、隐藏层和输出层。
可选的，所述智能代理模型包括输入层、一层隐藏层和输出层，其中，隐藏层包括64个节点。
可选的，所述智能代理模型基于策略梯度算法，利用参数更新公式更新神经网络参数；
其中，所述参数更新公式为：θn＝θ+α▽θlogπθ(st,at)vt；
式中，θn表示更新后的神经网络参数，θ表示更新前的神经网络参数，a 表示预设的学习率，πθ表示智能代理模型，st表示t时刻环境的状态，at表示 t时刻智能代理模型输出的数据存储分配任务，vt表示在t时刻πθ在单位时间内所获得的所述存储集群各节点的累积奖励值。
可选的，所述获取存储集群中每个节点的状态信息的过程，包括：
获取存储集群中每个节点的真实状态信息；
利用归一化公式对每个节点的真实状态信息进行归一化，得到每个节点的状态信息；
其中，所述归一化公式为：
Figure BDA0002221812890000021
式中，D表示归一化后的每个节点的状态信息，Dr表示真实状态信息，μD表示各节点的真实状态信息的均值，σD表示各节点的真实状态信息的标准差。
本发明还公开了一种分布式集群存储系统，包括：
性能信息获取模块，用于获取存储集群中每个节点的存储性能信息；
奖励值计算模块，用于利用每个节点的存储性能信息，得到每个节点的奖励值；
状态信息获取模块，用于获取存储集群中每个节点的状态信息；
任务分配模块，用于利用智能代理模型接收每个节点的奖励值和状态信息，所述智能代理模型利用每个节点的奖励值和状态信息，输出与当前每个节点的奖励值和状态信息对应的数据存储分配任务，完成数据的存储分配；
其中，所述智能代理模型为基于神经网络模型，利用策略梯度算法和所述存储集群中节点的奖励值优化神经网络参数，利用历史节点的状态信息进行训练而成的模型。
本发明还公开了一种分布式集群存储装置，包括：
存储器，用于存储计算机程序；
处理器，用于执行所述计算机程序以实现如前述的分布式集群存储方法。
本发明还公开了一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如前述的分布式集群存储方法。
本发明中，分布式集群存储方法，包括：获取存储集群中每个节点的存储性能信息；利用每个节点的存储性能信息，得到每个节点的奖励值；获取存储集群中每个节点的状态信息；利用智能代理模型接收每个节点的奖励值和状态信息，智能代理模型利用每个节点的奖励值和状态信息，输出与当前每个节点的奖励值和状态信息对应的数据存储分配任务，完成数据的存储分配；其中，智能代理模型为基于神经网络模型，利用策略梯度算法和存储集群中节点的奖励值优化神经网络参数，利用历史节点的状态信息进行训练而成的模型。
本发明根据存储集群中各节点的存储性能信息设置奖励值，综合各节点的状态信息，利用基于神经网络模型，利用策略梯度算法和存储集群中节点的奖励值优化神经网络参数，利用历史节点的状态信息进行训练而成的智能代理模型进行分析，输出数据存储分配任务，完成数据存储的分配工作，使数据能够分配到最优的节点，确保了各节点负载均衡，分配结果稳定，保证了数据存储的均匀性和稳定性。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。
图1为本发明实施例公开的一种分布式集群存储方法流程示意图；
图2为本发明实施例公开的另一种分布式集群存储方法流程示意图；
图3为本发明实施例公开的一种智能代理模型结构示意图；
图4为本发明实施例公开的一种分布式集群存储系统结构示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本发明实施例公开了一种分布式集群存储方法，参见图1所示，该方法包括：
S11：获取存储集群中每个节点的存储性能信息。
具体的，节点的存储性能信息可以包括节点单位时间内I/O次数、I/O数据量和带宽(即读取的速率)等能够反映当前节点的运行状况，利用节点的存储性能信息能够分析出节点是否能够胜任对大量数据存储的要求，是否能够高效执行当前存储任务，因此，在决定将数据存储在哪个节点时，需要获取需要节点的存储性能信息，以进行进一步的判断。
S12：利用每个节点的存储性能信息，得到每个节点的奖励值。
具体的，为了使后续的智能代理模型逐渐输出最优结果，将数据存储至最优的节点，输出最优的数据存储分配任务，完成数据的存储分配，设置奖励值。
可以理解的是，一个节点在存储一定数据后会出现存储性能下降，说明该节点的存储负荷过大，出现存储分配不合理的情况，因此，在分配数据存储任务时，应根据节点的存储性能来进行分配，一个存储性能好的节点在不影响其存储性能的情况下能够存储更多更大的数据，一个存储性能稍差的节点，则适合存储少量的数据量小的数据，所以设置能够反映当前节点存储性能信息的奖励值，奖励值越高说明节点的存储性能越不受影响，当前数据分配的结果越合理，通过让后续的智能代理模型追求高奖励值，可以使智能代理模型输出数据存储分配任务越合理越高效。
S13：获取存储集群中每个节点的状态信息。
具体的，仅依靠奖励值无法得到一个综合多种因素得到的最优结果，还需获取存储集群中每个节点的状态信息，状态信息可以包括节点的硬件配置和节点数量，还可以获取节点的存储性能信息以便从另一角度综合考虑，不将存储性能信息仅用于奖励值分析，其中，节点的硬件配置可以包括节点中控制器的数量、处理器的数量和性能和剩余的存储空间。
需要说明的是，S13与S11和S12之间没有执行先后顺序，可以同时执行，也可以依次执行，在此不做限定。
S14：利用智能代理模型接收每个节点的奖励值和状态信息，智能代理模型利用每个节点的奖励值和状态信息，输出与当前每个节点的奖励值和状态信息对应的数据存储分配任务，完成数据的存储分配。
具体的，智能代理模型为基于神经网络模型，利用策略梯度算法和存储集群中节点的奖励值优化神经网络参数，利用历史节点的状态信息进行训练而成的模型，因此，智能代理模型接收每个节点的奖励值和状态信息，能够利用当前的神经网络参数输出最优的数据存储分配任务，完成数据的存储分配。
进一步的，智能代理模型可以利用策略梯度算法和存储集群中节点的奖励值不断优化自身神经网络参数，使智能代理模型能够根据存储集群中各节点的运行状态进行变化，而不会固定不变，确保智能代理模型能够跟随存储集群的状态进行改变，确保了各节点负载均衡，分配结果稳定，保证了数据存储的均匀性和稳定性。
其中，数据存储分配任务中记载了将数据存储至那个节点，依据数据存储分配任务可以完成数据的存储。
可见，本发明实施例根据存储集群中各节点的存储性能信息设置奖励值，综合各节点的状态信息，利用基于神经网络模型，利用策略梯度算法和存储集群中节点的奖励值优化神经网络参数，利用历史节点的状态信息进行训练而成的智能代理模型进行分析，输出数据存储分配任务，完成数据存储的分配工作，使数据能够分配到最优的节点，确保了各节点负载均衡，分配结果稳定，保证了数据存储的均匀性和稳定性。
本发明实施例公开了一种具体的分布式集群存储方法，相对于上一实施例，本实施例对技术方案作了进一步的说明和优化。参见图2所示，具体的：
S21：获取存储集群中每个节点单位时间内的I/O数据量和带宽。
具体的，可以选择节点单位时间内的I/O数据量和带宽来反映节点的存储性能，I/O数据量能够直接体现节点单位时间能够存储的数据量，带宽能够反映数据最大传输速度。
S22：利用每个节点的单位时间内的I/O数据量和带宽之和，作为每个节点的奖励值；
S23：获取存储集群中每个节点的真实状态信息；
S24：利用归一化公式对每个节点的真实状态信息进行归一化，得到每个节点的状态信息。
具体的，由于存储集群的状态信息的数值范围相差较大，导致智能代理模型训练不稳定，难以收敛，所以需要对数据进行归一化处理，以确保智能代理模型能够收敛，为此，利用归一化公式对每个节点的真实状态信息进行归一化，得到每个节点的状态信息。
其中，归一化公式为：
Figure BDA0002221812890000061
式中，D表示归一化后的每个节点的状态信息，Dr表示真实状态信息，μD表示各节点的真实状态信息的均值，σD表示各节点的真实状态信息的标准差。
S25：利用智能代理模型接收每个节点的奖励值和状态信息，智能代理模型利用每个节点的奖励值和状态信息，输出与当前每个节点的奖励值和状态信息对应的数据存储分配任务，完成数据的存储分配。
具体的，参见图3所示，智能代理模型可以包括分别由全连接网络组成的输入层11、隐藏层12和输出层13；因存储集群的状态信息没有局部相关性等特性，所以采用全连接层作为模型的结果，输入层11、隐藏层12和输出层13均采用全连接结构；其中，隐藏层12可以包括64个节点，在此提出的智能代理模型结构，为通过实验得出的处理效率较高的模型结构，当然，可以根据实际应用需求，增加隐藏层12层数或通过调整神经网络参数修改隐藏层12的节点数。
具体的，智能代理模型基于策略梯度算法，利用参数更新公式更新神经网络参数；
其中，参数更新公式为：θn＝θ+α▽θlogπθ(st,at)vt；
式中，θn表示更新后的神经网络参数，θ表示更新前的神经网络参数，a 表示预设的学习率，πθ表示智能代理模型，st表示t时刻环境的状态，at表示 t时刻智能代理模型输出的数据存储分配任务，vt表示在t时刻πθ在单位时间内所获得的存储集群各节点的累积奖励值。
其中，学习率为预先设定的值，可以根据智能代理模型实际运行情况进行调整；πθ相当于智能代理模型的执行策略。
需要说明的是，存储集群需要提供可持续，稳定的服务，在相对短时间内无法检测到存储集群停止服务的阶段，所以本发明实施例假设每隔24小时集群到达终止状态，然后计算各个时间段的累积奖励，更新智能代理模型的神经网络参数，即单位时间可以为24小时。
相应的，本发明实施例还公开了一种分布式集群存储系统，参见图4所示，该系统包括：
性能信息获取模块，用于获取存储集群中每个节点的存储性能信息；
奖励值计算模块，用于利用每个节点的存储性能信息，得到每个节点的奖励值；
状态信息获取模块，用于获取存储集群中每个节点的状态信息；
任务分配模块，用于利用智能代理模型接收每个节点的奖励值和状态信息，智能代理模型利用每个节点的奖励值和状态信息，输出与当前每个节点的奖励值和状态信息对应的数据存储分配任务，完成数据的存储分配；
其中，智能代理模型为基于神经网络模型，利用策略梯度算法和存储集群中节点的奖励值优化神经网络参数，利用历史节点的状态信息进行训练而成的模型。
具体的，性能信息获取模块，具体用于获取存储集群中每个节点单位时间内的I/O数据量和带宽。
具体的，奖励值计算模块，具体用于利用每个节点的单位时间内的I/O数据量和带宽之和，作为每个节点的奖励值。
具体的，智能代理模型包括分别由全连接网络组成的输入层、隐藏层和输出层；其中，智能代理模型可以包括输入层、一层隐藏层和输出层，其中，隐藏层包括64个节点。
具体的，智能代理模型基于策略梯度算法，利用参数更新公式更新神经网络参数；
其中，参数更新公式为：θn＝θ+α▽θlogπθ(st,at)vt；
式中，θn表示更新后的神经网络参数，θ表示更新前的神经网络参数，a 表示预设的学习率，πθ表示智能代理模型，st表示t时刻环境的状态，at表示 t时刻智能代理模型输出的数据存储分配任务，vt表示在t时刻πθ在单位时间内所获得的存储集群各节点的累积奖励值。
具体的，状态信息获取模块，包括真实信息获取单元和信息归一化单元；其中，
真实信息获取单元，用于获取存储集群中每个节点的真实状态信息；
信息归一化单元，用于利用归一化公式对每个节点的真实状态信息进行归一化，得到每个节点的状态信息；
其中，归一化公式为：
式中，D表示归一化后的每个节点的状态信息，Dr表示真实状态信息，μD表示各节点的真实状态信息的均值，σD表示各节点的真实状态信息的标准差。
此外，本发明实施例还公开了一种分布式集群存储装置，包括：
存储器，用于存储计算机程序；
处理器，用于执行计算机程序以实现如前述的分布式集群存储方法。
另外，本发明实施例还公开了一种计算机可读存储介质，计算机可读存储介质上存储有计算机程序，计算机程序被处理器执行时实现如前述的分布式集群存储方法。
最后，还需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
专业人员还可以进一步意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。
以上对本发明所提供的技术内容进行了详细介绍，本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。

Claims (10)

1.一种分布式集群存储方法，其特征在于，包括：
获取存储集群中每个节点的存储性能信息；
利用每个节点的存储性能信息，得到每个节点的奖励值；
获取存储集群中每个节点的状态信息；
利用智能代理模型接收每个节点的奖励值和状态信息，所述智能代理模型利用每个节点的奖励值和状态信息，输出与当前每个节点的奖励值和状态信息对应的数据存储分配任务，完成数据的存储分配；
其中，所述智能代理模型为基于神经网络模型，利用策略梯度算法和所述存储集群中节点的奖励值优化神经网络参数，利用历史节点的状态信息进行训练而成的模型。
2.根据权利要求1所述的分布式集群存储方法，其特征在于，所述获取存储集群中每个节点的存储性能信息的过程，包括：
获取存储集群中每个节点单位时间内的I/O数据量和带宽。
3.根据权利要求2所述的分布式集群存储方法，其特征在于，所述利用每个节点的存储性能信息，得到每个节点的奖励值的过程，包括：
利用每个节点的单位时间内的I/O数据量和带宽之和，作为每个节点的奖励值。
4.根据权利要求1所述的分布式集群存储方法，其特征在于，所述智能代理模型包括分别由全连接网络组成的输入层、隐藏层和输出层。
5.根据权利要求4所述的分布式集群存储方法，其特征在于，所述智能代理模型包括输入层、一层隐藏层和输出层，其中，隐藏层包括64个节点。
6.根据权利要求1至5任一项所述的分布式集群存储方法，其特征在于，所述智能代理模型基于策略梯度算法，利用参数更新公式更新神经网络参数；
其中，所述参数更新公式为：θn＝θ+α▽θlogπθ(st,at)vt；
式中，θn表示更新后的神经网络参数，θ表示更新前的神经网络参数，a表示预设的学习率，πθ表示智能代理模型，st表示t时刻环境的状态，at表示t时刻智能代理模型输出的数据存储分配任务，vt表示在t时刻πθ在单位时间内所获得的所述存储集群各节点的累积奖励值。
7.根据权利要求1至5任一项所述的分布式集群存储方法，其特征在于，所述获取存储集群中每个节点的状态信息的过程，包括：
获取存储集群中每个节点的真实状态信息；
利用归一化公式对每个节点的真实状态信息进行归一化，得到每个节点的状态信息；
其中，所述归一化公式为：
Figure FDA0002221812880000021
式中，D表示归一化后的每个节点的状态信息，Dr表示真实状态信息，μD表示各节点的真实状态信息的均值，σD表示各节点的真实状态信息的标准差。
8.一种分布式集群存储系统，其特征在于，包括：
性能信息获取模块，用于获取存储集群中每个节点的存储性能信息；
奖励值计算模块，用于利用每个节点的存储性能信息，得到每个节点的奖励值；
状态信息获取模块，用于获取存储集群中每个节点的状态信息；
任务分配模块，用于利用智能代理模型接收每个节点的奖励值和状态信息，所述智能代理模型利用每个节点的奖励值和状态信息，输出与当前每个节点的奖励值和状态信息对应的数据存储分配任务，完成数据的存储分配；
其中，所述智能代理模型为基于神经网络模型，利用策略梯度算法和所述存储集群中节点的奖励值优化神经网络参数，利用历史节点的状态信息进行训练而成的模型。
9.一种分布式集群存储装置，其特征在于，包括：
存储器，用于存储计算机程序；
处理器，用于执行所述计算机程序以实现如权利要求1至7任一项所述的分布式集群存储方法。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求1至7任一项所述的分布式集群存储方法。
CN201910936872.1A 2019-09-29 2019-09-29 分布式集群存储方法、系统、装置及计算机可读存储介质 Pending CN110650208A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910936872.1A CN110650208A (zh) 2019-09-29 2019-09-29 分布式集群存储方法、系统、装置及计算机可读存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910936872.1A CN110650208A (zh) 2019-09-29 2019-09-29 分布式集群存储方法、系统、装置及计算机可读存储介质

Publications (1)

Publication Number Publication Date
CN110650208A true CN110650208A (zh) 2020-01-03

Family

ID=69012157

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910936872.1A Pending CN110650208A (zh) 2019-09-29 2019-09-29 分布式集群存储方法、系统、装置及计算机可读存储介质

Country Status (1)

Country Link
CN (1) CN110650208A (zh)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112162966A (zh) * 2020-09-11 2021-01-01 北京浪潮数据技术有限公司 分布式存储系统参数调节方法、装置及电子设备和介质
CN112822099A (zh) * 2020-12-29 2021-05-18 北京浪潮数据技术有限公司 一种网卡工作模式的切换方法、装置和介质
CN113094243A (zh) * 2020-01-08 2021-07-09 北京小米移动软件有限公司 节点性能检测方法和装置
CN113127446A (zh) * 2021-04-01 2021-07-16 山东英信计算机技术有限公司 一种基于Ottertune服务的集群调优方法及装置
CN113420874A (zh) * 2020-04-07 2021-09-21 阿里巴巴集团控股有限公司 分布式训练中梯度同步方法、分布式训练系统
CN114281256A (zh) * 2021-12-20 2022-04-05 广州炒米信息科技有限公司 基于分布式存储系统的数据同步方法、装置、设备及介质
CN115202591A (zh) * 2022-09-16 2022-10-18 厦门大学 一种分布式数据库系统的存储装置、方法及存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101820384A (zh) * 2010-02-05 2010-09-01 浪潮(北京)电子信息产业有限公司 一种集群服务动态分配方法及装置
CN103401939A (zh) * 2013-08-08 2013-11-20 中国航天科工集团第三研究院第八三五七研究所 一种采用混合调度策略的负载均衡方法
CN109101339A (zh) * 2018-08-15 2018-12-28 北京邮电大学 异构集群中视频任务并行化方法、装置及异构集群系统
US20200153896A1 (en) * 2015-10-29 2020-05-14 Capital One Services, Llc Automated server workload management using machine learning

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101820384A (zh) * 2010-02-05 2010-09-01 浪潮(北京)电子信息产业有限公司 一种集群服务动态分配方法及装置
CN103401939A (zh) * 2013-08-08 2013-11-20 中国航天科工集团第三研究院第八三五七研究所 一种采用混合调度策略的负载均衡方法
US20200153896A1 (en) * 2015-10-29 2020-05-14 Capital One Services, Llc Automated server workload management using machine learning
CN109101339A (zh) * 2018-08-15 2018-12-28 北京邮电大学 异构集群中视频任务并行化方法、装置及异构集群系统

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113094243A (zh) * 2020-01-08 2021-07-09 北京小米移动软件有限公司 节点性能检测方法和装置
CN113420874A (zh) * 2020-04-07 2021-09-21 阿里巴巴集团控股有限公司 分布式训练中梯度同步方法、分布式训练系统
CN112162966A (zh) * 2020-09-11 2021-01-01 北京浪潮数据技术有限公司 分布式存储系统参数调节方法、装置及电子设备和介质
CN112822099A (zh) * 2020-12-29 2021-05-18 北京浪潮数据技术有限公司 一种网卡工作模式的切换方法、装置和介质
CN113127446A (zh) * 2021-04-01 2021-07-16 山东英信计算机技术有限公司 一种基于Ottertune服务的集群调优方法及装置
CN113127446B (zh) * 2021-04-01 2023-04-07 山东英信计算机技术有限公司 一种基于Ottertune服务的集群调优方法及装置
CN114281256A (zh) * 2021-12-20 2022-04-05 广州炒米信息科技有限公司 基于分布式存储系统的数据同步方法、装置、设备及介质
CN115202591A (zh) * 2022-09-16 2022-10-18 厦门大学 一种分布式数据库系统的存储装置、方法及存储介质
CN115202591B (zh) * 2022-09-16 2022-11-18 厦门大学 一种分布式数据库系统的存储装置、方法及存储介质

Similar Documents

Publication Publication Date Title
CN110650208A (zh) 分布式集群存储方法、系统、装置及计算机可读存储介质
CN111858009B (zh) 基于迁移和强化学习的移动边缘计算系统任务调度方法
CN107888669B (zh) 一种基于深度学习神经网络的大规模资源调度系统及方法
US11354594B2 (en) Black-box optimization using neural networks
CN111406264B (zh) 神经架构搜索
CN114721833B (zh) 一种基于平台业务类型的智能云端协调方法和装置
CN110727506B (zh) 一种基于成本模型的spark参数自动调优方法
JP7287397B2 (ja) 情報処理方法、情報処理装置及び情報処理プログラム
CN113485826B (zh) 一种边缘服务器负载均衡方法、系统
CN112862112A (zh) 联邦学习方法、存储介质、终端、服务器、联邦学习系统
CN111783000B (zh) 门户网站的静态化处理方法及装置
CN113176944A (zh) 集群计算存储资源分配方法和装置
CN116339932A (zh) 资源调度方法、装置和服务器
CN114090239B (zh) 一种基于模型的强化学习的边缘资源调度方法和装置
CN117521783B (zh) 联邦机器学习方法、装置、存储介质及处理器
CN117687774A (zh) 用于算力调度的任务模型训练方法及算力调度方法和系统
CN116862025A (zh) 模型训练方法、系统、客户端和服务器节点、电子设备和存储介质
CN106648895A (zh) 一种处理数据的方法、装置及终端
CN109951243A (zh) 一种频谱预测方法、系统及电子设备
CN111027709B (zh) 信息推荐方法、装置、服务器及存储介质
CN110399974A (zh) 一种超参数的自动确定方法及装置
CN113555008B (zh) 一种针对模型的调参方法及装置
CN117873702A (zh) 混合云自适应资源管理方法、系统、设备及可读存储介质
CN109359182A (zh) 一种应答方法及装置
CN118170524B (zh) 基于强化学习的任务调度方法、装置、设备、介质及产品

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20200103

RJ01 Rejection of invention patent application after publication