CN105357294B - 一种存储数据的方法及集群管理节点 - Google Patents

一种存储数据的方法及集群管理节点 Download PDF

Info

Publication number
CN105357294B
CN105357294B CN201510727893.4A CN201510727893A CN105357294B CN 105357294 B CN105357294 B CN 105357294B CN 201510727893 A CN201510727893 A CN 201510727893A CN 105357294 B CN105357294 B CN 105357294B
Authority
CN
China
Prior art keywords
node
hard disk
data
nodes
cluster
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201510727893.4A
Other languages
English (en)
Other versions
CN105357294A (zh
Inventor
汪正洋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Chengdu Huawei Technology Co Ltd
Original Assignee
Chengdu Huawei Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Chengdu Huawei Technology Co Ltd filed Critical Chengdu Huawei Technology Co Ltd
Priority to CN201510727893.4A priority Critical patent/CN105357294B/zh
Publication of CN105357294A publication Critical patent/CN105357294A/zh
Priority to PCT/CN2016/103267 priority patent/WO2017071563A1/zh
Application granted granted Critical
Publication of CN105357294B publication Critical patent/CN105357294B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/10—Protocols in which an application is distributed across nodes in the network
    • H04L67/1097—Protocols in which an application is distributed across nodes in the network for distributed storage of data in networks, e.g. transport arrangements for network file system [NFS], storage area networks [SAN] or network attached storage [NAS]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/40—Support for services or applications
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/10—Protocols in which an application is distributed across nodes in the network
    • H04L67/104—Peer-to-peer [P2P] networks
    • H04L67/1074—Peer-to-peer [P2P] networks for supporting data block transmission mechanisms
    • H04L67/1078—Resource delivery mechanisms

Abstract

本发明实施例公开了一种存储数据的方法及集群管理节点，所述方法包括：集群管理节点接收各个存储节点上报的节点信息并存储至节点信息表；根据所述节点信息表中的节点信息划分硬盘分组，对于冗余配比为N+M的集群，为每个区域选择的硬盘数量小于M；若某个区域发生故障，则将故障区域内的存储节点在所述节点信息表中的状态更新为故障状态；将更新后的节点信息表中的内容以及硬盘分组的信息同步至正常存储节点以及客户端代理节点，以便所述客户端代理节点在接收到数据读写的业务请求时，与所述硬盘分组中的正常存储节点交互完成数据读写的业务。采用本发明，可提升数据存储以及数据读写业务的可靠性。

Description

一种存储数据的方法及集群管理节点
技术领域
本发明涉及存储技术领域，尤其涉及一种存储数据的方法及集群管理节点。
背景技术
横向扩展(Scale-out，NAS)的存储系统具有灵活的扩展性，随着用户对容量、性能的要求逐步提升，集群规模可以从几个节点扩展为几百个节点。集群部署完成后，会先把硬盘分组，文件写入时，通过哈希(hash)算法选择文件写入的硬盘分组。以冗余配比为2+1为例，即每个硬盘分组包括3块硬盘，数据写入时，两块硬盘存放原始数据，一块硬盘存放校验和，当分组中一块硬盘故障后，会为该分组重新选一块硬盘，然后通过纠删码(ErasureCode)算法，根据剩下两块硬盘的内容恢复出故障硬盘的数据。通常一个硬盘分组在一个节点只选择一块硬盘，当任一节点故障时，不影响数据读写的业务：对于读数据的业务，如果原始数据在故障节点，可根据校验和恢复出原始数据；对于写数据的业务，只将数据写入正常的节点。当故障节点恢复正常后，会根据Erasure Code算法计算出故障期间缺失的数据，并写入恢复正常后的故障节点。为了保证各硬盘占用率均衡，一块硬盘一般属于多个硬盘分组。
虽然以上的现有技术可以确保节点故障时数据读写的业务正常进行，例如当冗余配比为4+2时，任何2个节点故障都不会影响数据读写的业务，但是对于跨区域的集群即集群分布在多个区域(通常一个区域对应一个机房)，任一区域的节点全部故障时，数据读写的业务将无法正常进行，因此也就不能实现区域级可靠性。
发明内容
本发明实施例提供一种存储数据的方法及集群管理节点，以解决跨区域的集群中某个区域的节点全部故障时数据读写的业务无法正常进行的问题。
本发明第一方面提供了一种存储数据的方法，包括：
集群管理节点接收各个存储节点上报的节点信息并存储至节点信息表，所述节点信息中包含节点标识、节点的硬盘列表及节点所属区域；
所述集群管理节点根据所述节点信息表中的节点信息划分硬盘分组，对于冗余配比为N+M的集群，为每个区域选择的硬盘数量小于M，其中，N为用于存储原始数据的硬盘数量，M为用于存储校验和的硬盘数量，且N和M均为大于1的整数；
若某个区域发生故障，则所述集群管理节点将故障区域内的存储节点在所述节点信息表中的状态更新为故障状态；
所述集群管理节点将更新后的节点信息表中的内容以及硬盘分组的信息同步至正常存储节点以及客户端代理节点，以便所述客户端代理节点在接收到数据读写的业务请求时，与所述硬盘分组中的正常存储节点交互完成数据读写的业务。
结合第一方面的实现方式，在第一方面第一种可能的实现方式中，所述集群管理节点根据所述节点信息表中的节点信息划分硬盘分组，对于冗余配比为N+M的集群，为每个区域选择的硬盘数量小于M，还包括：
根据所述冗余配比和所述集群中的区域数量，为所述集群中的区域平均选择硬盘数量。
结合第一方面的第一种可能的实现方式，在第一方面第二种可能的实现方式中，所述各个存储节点上报的节点信息通过心跳信息上报。
结合第一方面、或第一方面第一种至第二种任一可能的实现方式，在第一方面第三种可能的实现方式中，若所述客户端代理节点接收到客户端的写数据业务请求，则选择硬盘分组，在向该硬盘分组中的正常存储节点发送写数据消息并进行写数据之后，向元数据管理节点写元数据。
结合第一方面、或第一方面第一种至第二种任一可能的实现方式，在第一方面第四种可能的实现方式中，若所述客户端代理节点接收到客户端的读数据业务请求，则向元数据管理节点读元数据，并根据所述元数据得到对应文件所在的硬盘分组，向该硬盘分组中的正常存储节点发送读数据消息读数据，并在根据正常存储节点中读到的冗余数据恢复出原始数据之后，将所述原始数据返回给所述客户端。
本发明第二方面提供了一种集群管理节点，包括：
接收单元，用于接收各个存储节点上报的节点信息并存储至节点信息表，所述节点信息中包含节点标识、节点的硬盘列表及节点所属区域；
分组单元，用于根据所述节点信息表中的节点信息划分硬盘分组，对于冗余配比为N+M的集群，为每个区域选择的硬盘数量小于M，其中，N为用于存储原始数据的硬盘数量，M为用于存储校验和的硬盘数量，且N和M均为大于1的整数；
更新单元，用于若某个区域发生故障，则将故障区域内的存储节点在所述节点信息表中的状态更新为故障状态；
发送单元，用于将更新后的节点信息表中的内容以及硬盘分组的信息同步至正常存储节点以及客户端代理节点，以便所述客户端代理节点在接收到数据读写的业务请求时，与选择的硬盘分组中的正常存储节点交互完成数据读写的业务。
结合第二方面的实现方式，在第二方面第一种可能的实现方式中，所述分组单元还用于：
根据所述冗余配比和所述集群中的区域数量，为所述集群中的区域平均选择硬盘数量。
结合第二方面的第一种可能的实现方式，在第二方面第二种可能的实现方式中，所述各个存储节点上报的节点信息通过心跳信息上报。
结合第二方面、或第二方面第一种至第二种任一可能的实现方式，在第二方面第三种可能的实现方式中，若所述客户端代理节点接收到客户端的写数据业务请求，则选择硬盘分组，在向该硬盘分组中的正常存储节点发送写数据消息并进行写数据之后，向元数据管理节点写元数据。
结合第二方面、或第二方面第一种至第二种任一可能的实现方式，在第二方面第四种可能的实现方式中，若所述客户端代理节点接收到客户端的读数据业务请求，则向元数据管理节点读元数据，并根据所述元数据得到对应文件所在的硬盘分组，向该硬盘分组中的正常存储节点发送读数据消息读数据，并在根据正常存储节点中读到的冗余数据恢复出原始数据之后，将所述原始数据返回给所述客户端。
实施本发明实施例，具有如下有益效果：
通过在划分硬盘分组时，对于冗余配比为N+M的集群，为每个区域选择的硬盘数量小于M，使得某个区域故障导致其包含的存储节点全部故障时，可以更新故障存储节点的状态，并在进行数据读写的业务时，仅通过CA节点和正常存储节点的交互便能够确保数据读写的业务正常进行，从而提成了数据存储的可靠性以及数据读写业务的可靠性，并将这种可靠性扩大至区域级别，利于存储系统在容量扩大后的正常工作，提供更加大容量且稳定的存储性能。
附图说明
为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明存储数据的方法的第一实施例的流程示意图；
图2为本发明存储数据的方法的第二实施例的流程示意图；
图3为本发明存储数据的方法的第三实施例的流程示意图
图4为本发明集群管理节点的第一实施例的组成示意图；
图5为本发明集群管理节点的第二实施例的组成示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
请参阅图1，为本发明存储数据的方法的第一实施例的流程示意图，在本实施例中，所述方法包括：
S101，集群管理节点接收各个存储节点上报的节点信息并存储至节点信息表。
其中，所述节点信息中包含节点标识、节点的硬盘列表及节点所属区域。
S102，所述集群管理节点根据所述节点信息表中的节点信息划分硬盘分组，对于冗余配比为N+M的集群，为每个区域选择的硬盘数量小于M。
其中，N为用于存储原始数据的硬盘数量，M为用于存储校验和的硬盘数量，且N和M均为大于1的整数。
进一步地，还可以根据所述冗余配比和所述集群中的区域数量，为所述集群中的区域平均选择硬盘数量。
以3个区域为例：冗余配比为5+4，每个区域硬盘数可以为3；冗余配比为7+5，每个区域硬盘数可以为4；若无法完全平均如冗余配比为6+5，每个区域硬盘数可以为4、4、3；冗余配比为9+6，每个区域硬盘数可以为5；
以4个区域为例：冗余配比为8+4，每个区域硬盘数可以为3；冗余配比为11+5，每个区域硬盘数可以为4。
S103，若某个区域发生故障，则所述集群管理节点将故障区域内的存储节点在所述节点信息表中的状态更新为故障状态。
S104，所述集群管理节点将更新后的节点信息表中的内容以及硬盘分组的信息同步至正常存储节点以及客户端代理节点，以便所述客户端代理节点在接收到数据读写的业务请求时，与所述硬盘分组中的正常存储节点交互完成数据读写的业务。
通过在划分硬盘分组时，对于冗余配比为N+M的集群，为每个区域选择的硬盘数量小于M，使得某个区域故障导致其包含的存储节点全部故障时，可以更新故障存储节点的状态，并在进行数据读写的业务时，仅通过CA节点和正常存储节点的交互便能够确保数据读写的业务正常进行，从而提成了数据存储的可靠性以及数据读写业务的可靠性，并将这种可靠性扩大至区域级别，利于存储系统在容量扩大后的正常工作，提供更加大容量且稳定的存储性能。
请参见图2，为本发明存储数据的方法的第二实施例的流程示意图。在本实施例中，假设采用5+4的冗余配比，集群内一共存在三个区域即三个机房，所有区域都处于正常状态，区域内各个存储节点都可正常发送心跳消息。所述方法包括：系统上电初始化过程、写数据过程及读数据过程。具体如下：
系统上电初始化过程
1)系统启动。存储节点上电启动。
2)区域1-3中的存储节点向集群管理节点上报心跳消息，携带本存储节点标识、硬盘列表及节点所属区域。
3)集群管理节点在节点信息表中加入接收到的节点信息。
4)根据冗余配比和区域数量划分硬盘分组。确保为每个区域选择的硬盘数量小于4，例如对于冗余配比为5+4的分组，集群分为3个区域，可以按区域平均选择硬盘，每个区域选择3块硬盘。
5)集群管理节点把节点信息和分组信息同步到存储节点。
6)集群管理节点把节点信息和分组信息同步到客户端代理(Client Agent，CA)节点。
写数据过程
7)CA节点接收到来自客户端的写数据业务请求。
8)CA节点选择硬盘分组。
9)CA节点向硬盘分组中的各个存储节点发写数据消息并写数据。
10)CA节点向元数据管理节点写元数据。
读数据过程
11)CA节点接收到来自客户端的读数据业务请求.
12)CA节点向元数据管理节点发读元数据消息并读元数据。
13)CA节点根据元数据得到对应文件所在硬盘分组。
14)CA节点向硬盘分组中的各个存储节点发读数据消息并读数据。
15)CA节点将读到的数据返回给客户端。
在本实施例中，描述了区域正常时的硬盘分组及数据读写流程，在划分硬盘分组时充分考虑了区域信息以及冗余配比的关系，既可以在区域正常时满足数据读写业务的需求，也可以在区域故障时满足数据读写业务的需求，具体可参照图3所示的实施例。
请参见图3，为本发明存储数据的方法的第三实施例的流程示意图，在本实施例中，假设采用5+4的冗余配比，集群内一共存在三个区域即三个机房，区域1处于异常状态，区域2和区域3都处于正常状态，所述方法包括：区域故障过程、写数据过程及读数据过程。具体如下：
区域故障过程
1)区域1故障，其包含的存储节点1、2、3不再上报心跳消息。
2)集群管理节点超时没有收到区域1内存储节点的心跳消息，更新节点信息表中存储节点1、2、3的状态为故障状态。
3)集群管理节点将更新后的节点信息同步到区域2和区域3内的正常存储节点4～9。
4)集群管理节点将更新后的节点信息同步到CA节点。
需要说明的是，在本发明实施例中默认区域2和区域3内的存储节点已在图2所示实施例的步骤中通过心跳消息上报过自己的节点信息，因此此处省略了该步骤，若区域2和区域3内的节点未上报过自己的节点信息，则此处可增加存储节点4-9通过心跳消息上报自身节点信息的步骤。
写数据过程
5)CA节点接收到来自客户端的写数据业务请求。
6)CA节点选择硬盘分组。
7)CA节点向硬盘分组中正常存储节点发写数据消息并写数据。其中，CA节点判断对于5+4冗余配比，硬盘分组中正常存储节点数大于或等于5，就认为写数据成功。
8)CA节点向元数据管理节点写元数据。
读数据过程
9)CA节点接收到来自客户端的读数据业务请求。
10)CA节点向元数据管理中心发读元数据消息并读元数据。
11)CA节点根据元数据得到对应文件所在硬盘分组。
12)CA节点向硬盘分组中正常存储节点发读数据消息并读数据。
13)CA节点根据读到的冗余数据恢复出原始数据，将原始数据返回给客户端。
通过硬盘分组的划分，使得某个区域故障导致其包含的存储节点全部故障时，仍然不影响数据读写的业务正常进行，从而提成了数据存储的可靠性以及数据读写业务的可靠性，并将这种可靠性扩大至区域级别，利于存储系统在容量扩大后的正常工作，提供更加大容量且稳定的存储性能。
请参见图4，为本发明集群管理节点的第一实施例的组成示意图，在本实施例中，所述集群管理节点包括：
接收单元100，用于接收各个存储节点上报的节点信息并存储至节点信息表，所述节点信息中包含节点标识、节点的硬盘列表及节点所属区域；
分组单元200，用于根据所述节点信息表中的节点信息划分硬盘分组，对于冗余配比为N+M的集群，为每个区域选择的硬盘数量小于M，其中，N为用于存储原始数据的硬盘数量，M为用于存储校验和的硬盘数量，且N和M均为大于1的整数；
更新单元300，用于若某个区域发生故障，则将故障区域内的存储节点在所述节点信息表中的状态更新为故障状态；
发送单元400，用于将更新后的节点信息表中的内容以及硬盘分组的信息同步至正常存储节点以及客户端代理节点，以便所述客户端代理节点在接收到数据读写的业务请求时，与选择的硬盘分组中的正常存储节点交互完成数据读写的业务。
可选地，所述分组单元200还用于：
根据所述冗余配比和所述集群中的区域数量，为所述集群中的区域平均选择硬盘数量。
所述各个存储节点上报的节点信息通过心跳信息上报。
若所述客户端代理节点接收到客户端的写数据业务请求，则选择硬盘分组，在向该硬盘分组中的正常存储节点发送写数据消息并进行写数据之后，向元数据管理节点写元数据。
若所述客户端代理节点接收到客户端的读数据业务请求，则向元数据管理节点读元数据，并根据所述元数据得到对应文件所在的硬盘分组，向该硬盘分组中的正常存储节点发送读数据消息读数据，并在根据正常存储节点中读到的冗余数据恢复出原始数据之后，将所述原始数据返回给所述客户端。
需要说明的是，以上接收单元100、分组单元200、更新单元300和发送单元400可以独立存在，也可以集成设置，且以上集群管理节点实施例中接收单元100、分组单元200、更新单元300或发送单元400可以以硬件的形式独立于集群管理节点的处理器单独设置，且设置形式可以是微处理器的形式；也可以以硬件形式内嵌于集群管理节点的处理器中，还可以以软件形式存储于集群管理节点的存储器中，以便于集群管理节点的处理器调用执行以上接收单元100、分组单元200、更新单元300和发送单元400对应的操作。
例如，在本发明集群管理节点的第一实施例(图4所示的实施例)中，分组单元200可以为集群管理节点的处理器，而接收单元100、更新单元300和发送单元400的功能可以内嵌于该处理器中，也可以独立于处理器单独设置，也可以以软件的形式存储于存储器中，由处理器调用实现其功能。当然，发送单元400可以与处理器集成设置，也可以独立设置，或者还可以作为集群管理节点的接口电路，独立设置或集成设置。本发明实施例不做任何限制。以上处理器可以为中央处理单元(CPU)、微处理器、单片机等。
请参见图5，为本发明集群管理节点的第二实施例的组成示意图，在本实施例中，所述集群管理节点包括：
输入装置10、输出装置20、存储器30及处理器40。其中，所述存储器30用于存储一组程序代码，所述处理器40用于调用所述存储器30中存储的程序代码，执行本发明存储数据的方法第一至第三实施例中的任一操作。
需要说明的是，本说明书中的各个实施例均采用递进的方式描述，每个实施例重点说明的都是与其它实施例的不同之处，各个实施例之间相同相似的部分互相参见即可。对于装置实施例而言，由于其与方法实施例基本相似，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
通过上述实施例的描述，本发明具有以下优点：
通过在划分硬盘分组时，对于冗余配比为N+M的集群，为每个区域选择的硬盘数量小于M，使得某个区域故障导致其包含的存储节点全部故障时，可以更新故障存储节点的状态，并在进行数据读写的业务时，仅通过CA节点和正常存储节点的交互便能够确保数据读写的业务正常进行，从而提成了数据存储的可靠性以及数据读写业务的可靠性，并将这种可靠性扩大至区域级别，利于存储系统在容量扩大后的正常工作，提供更加大容量且稳定的存储性能。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于一计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，所述的存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory，ROM)或随机存储记忆体(Random AccessMemory，RAM)等。
以上所揭露的仅为本发明较佳实施例而已，当然不能以此来限定本发明之权利范围，因此依本发明权利要求所作的等同变化，仍属本发明所涵盖的范围。

Claims (10)

1.一种存储数据的方法，其特征在于，包括：
集群管理节点接收各个存储节点上报的节点信息并存储至节点信息表，所述节点信息中包含节点标识、节点的硬盘列表及节点所属区域；
所述集群管理节点根据所述节点信息表中的节点信息划分硬盘分组，对于冗余配比为N+M的集群，为每个区域选择的硬盘数量小于M，其中，N为用于存储原始数据的硬盘数量，M为用于存储校验和的硬盘数量，且N和M均为大于1的整数；
若某个区域发生故障，则所述集群管理节点将故障区域内的存储节点在所述节点信息表中的状态更新为故障状态；
所述集群管理节点将更新后的节点信息表中的内容以及硬盘分组的信息同步至正常存储节点以及客户端代理节点，以便所述客户端代理节点在接收到数据读写的业务请求时，与所述硬盘分组中的正常存储节点交互完成数据读写的业务。
2.如权利要求1所述的方法，其特征在于，所述集群管理节点根据所述节点信息表中的节点信息划分硬盘分组，对于冗余配比为N+M的集群，为每个区域选择的硬盘数量小于M，还包括：
根据所述冗余配比和所述集群中的区域数量，为所述集群中的区域平均选择硬盘数量。
3.如权利要求2所述的方法，其特征在于，所述各个存储节点上报的节点信息通过心跳信息上报。
4.如权利要求1-3任一项所述的方法，其特征在于，若所述客户端代理节点接收到客户端的写数据业务请求，则选择硬盘分组，在向该硬盘分组中的正常存储节点发送写数据消息并进行写数据之后，向元数据管理节点写元数据。
5.如权利要求1-3任一项所述的方法，其特征在于，若所述客户端代理节点接收到客户端的读数据业务请求，则向元数据管理节点读元数据，并根据所述元数据得到对应文件所在的硬盘分组，向该硬盘分组中的正常存储节点发送读数据消息并读数据，并在根据正常存储节点中读到的冗余数据恢复出原始数据之后，将所述原始数据返回给所述客户端。
6.一种集群管理节点，其特征在于，包括：
接收单元，用于接收各个存储节点上报的节点信息并存储至节点信息表，所述节点信息中包含节点标识、节点的硬盘列表及节点所属区域；
分组单元，用于根据所述节点信息表中的节点信息划分硬盘分组，对于冗余配比为N+M的集群，为每个区域选择的硬盘数量小于M，其中，N为用于存储原始数据的硬盘数量，M为用于存储校验和的硬盘数量，且N和M均为大于1的整数；
更新单元，用于若某个区域发生故障，则将故障区域内的存储节点在所述节点信息表中的状态更新为故障状态；
发送单元，用于将更新后的节点信息表中的内容以及硬盘分组的信息同步至正常存储节点以及客户端代理节点，以便所述客户端代理节点在接收到数据读写的业务请求时，与选择的硬盘分组中的正常存储节点交互完成数据读写的业务。
7.如权利要求6所述的集群管理节点，其特征在于，所述分组单元还用于：
根据所述冗余配比和所述集群中的区域数量，为所述集群中的区域平均选择硬盘数量。
8.如权利要求7所述的集群管理节点，其特征在于，所述各个存储节点上报的节点信息通过心跳信息上报。
9.如权利要求6-8任一项所述的集群管理节点，其特征在于，若所述客户端代理节点接收到客户端的写数据业务请求，则选择硬盘分组，在向该硬盘分组中的正常存储节点发送写数据消息并进行写数据之后，向元数据管理节点写元数据。
10.如权利要求6-8任一项所述的集群管理节点，其特征在于，若所述客户端代理节点接收到客户端的读数据业务请求，则向元数据管理节点读元数据，并根据所述元数据得到对应文件所在的硬盘分组，向该硬盘分组中的正常存储节点发送读数据消息并读数据，并在根据正常存储节点中读到的冗余数据恢复出原始数据之后，将所述原始数据返回给所述客户端。
CN201510727893.4A 2015-10-31 2015-10-31 一种存储数据的方法及集群管理节点 Active CN105357294B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN201510727893.4A CN105357294B (zh) 2015-10-31 2015-10-31 一种存储数据的方法及集群管理节点
PCT/CN2016/103267 WO2017071563A1 (zh) 2015-10-31 2016-10-25 一种存储数据的方法及集群管理节点

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201510727893.4A CN105357294B (zh) 2015-10-31 2015-10-31 一种存储数据的方法及集群管理节点

Publications (2)

Publication Number Publication Date
CN105357294A CN105357294A (zh) 2016-02-24
CN105357294B true CN105357294B (zh) 2018-10-02

Family

ID=55333153

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201510727893.4A Active CN105357294B (zh) 2015-10-31 2015-10-31 一种存储数据的方法及集群管理节点

Country Status (2)

Country Link
CN (1) CN105357294B (zh)
WO (1) WO2017071563A1 (zh)

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105357294B (zh) * 2015-10-31 2018-10-02 成都华为技术有限公司 一种存储数据的方法及集群管理节点
CN106020975B (zh) * 2016-05-13 2020-01-21 华为技术有限公司 数据操作方法、装置和系统
CN108153615B (zh) * 2016-12-02 2019-07-23 中科星图股份有限公司 一种故障数据恢复方法
CN108205573B (zh) * 2016-12-20 2023-04-14 中兴通讯股份有限公司 一种数据分布式存储方法及系统
CN106844108B (zh) * 2016-12-29 2019-05-24 成都华为技术有限公司 一种数据存储方法、服务器以及存储系统
CN106789362B (zh) * 2017-02-20 2020-04-14 京信通信系统（中国）有限公司 一种设备管理方法及网管系统
CN111026621B (zh) * 2019-12-23 2023-04-07 杭州安恒信息技术股份有限公司 面向Elasticsearch集群的监控报警方法、装置、设备、介质
CN111488124A (zh) * 2020-04-08 2020-08-04 深信服科技股份有限公司 一种数据更新方法、装置、电子设备及存储介质
CN113625957B (zh) * 2021-06-30 2024-02-13 济南浪潮数据技术有限公司 一种硬盘故障的检测方法、装置及设备
CN113885798A (zh) * 2021-09-29 2022-01-04 浙江大华技术股份有限公司 一种数据操作方法、装置、设备及介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5638384A (en) * 1993-01-07 1997-06-10 Kabushiki Kaisha Toshiba Data communication system
CN101840377A (zh) * 2010-05-13 2010-09-22 上海交通大学 基于rs纠删码的数据存储方法
CN103699494A (zh) * 2013-12-06 2014-04-02 北京奇虎科技有限公司 一种数据存储方法、数据存储设备和分布式存储系统
CN103984607A (zh) * 2013-02-08 2014-08-13 华为技术有限公司 分布式存储的方法、装置和系统

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8799429B1 (en) * 2008-05-06 2014-08-05 American Megatrends, Inc. Boot acceleration by consolidating client-specific boot data in a data storage system
CN102081508A (zh) * 2009-11-27 2011-06-01 中国移动通信集团四川有限公司 一种划分磁盘到主机的方法及装置
US9613656B2 (en) * 2012-09-04 2017-04-04 Seagate Technology Llc Scalable storage protection
CN105357294B (zh) * 2015-10-31 2018-10-02 成都华为技术有限公司 一种存储数据的方法及集群管理节点

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5638384A (en) * 1993-01-07 1997-06-10 Kabushiki Kaisha Toshiba Data communication system
CN101840377A (zh) * 2010-05-13 2010-09-22 上海交通大学 基于rs纠删码的数据存储方法
CN103984607A (zh) * 2013-02-08 2014-08-13 华为技术有限公司 分布式存储的方法、装置和系统
CN103699494A (zh) * 2013-12-06 2014-04-02 北京奇虎科技有限公司 一种数据存储方法、数据存储设备和分布式存储系统

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
基于RS纠删码的HDFS云存储动态副本策略研究;王引娜等;《科技创新导报》;20131231(第9期);第29-31页 *

Also Published As

Publication number Publication date
CN105357294A (zh) 2016-02-24
WO2017071563A1 (zh) 2017-05-04

Similar Documents

Publication Publication Date Title
CN105357294B (zh) 一种存储数据的方法及集群管理节点
CN107807794B (zh) 一种数据存储方法和装置
US9823970B2 (en) Data storage method, data recovery method, related apparatus, and system
CN108780386B (zh) 一种数据存储的方法、装置和系统
US8205139B1 (en) Method for lock-free clustered erasure coding and recovery of data across a plurality of data stores in a network
US20160357440A1 (en) Data distribution method, data storage method, related apparatus, and system
EP2250563B1 (en) Storage redundant array of independent drives
US8639878B1 (en) Providing redundancy in a storage system
US20120089799A1 (en) Data backup processing method, data storage node apparatus and data storage device
TW201911041A (zh) 用於儲存資料的系統以及方法
US20190243553A1 (en) Storage system, computer-readable recording medium, and control method for system
CN107729536B (zh) 一种数据存储方法和装置
CN107870731B (zh) 独立盘冗余阵列系统的管理方法和电子设备
CN107357689B (zh) 一种存储节点的故障处理方法及分布式存储系统
US20110208910A1 (en) Storage Control Device for Storage System Provided with Storage Device Coupled to Switch Network
CN103617006A (zh) 存储资源的管理方法与装置
CN110413694A (zh) 元数据管理方法及相关装置
CN108037894B (zh) 一种磁盘空间管理方法及装置
CN114385755A (zh) 一种分布式存储系统
WO2020034695A1 (zh) 数据存储方法、数据恢复方法、装置、设备及存储介质
CN111752892B (zh) 分布式文件系统及其实现方法、管理系统、设备及介质
EP3167372B1 (en) Methods for facilitating high availability storage services and corresponding devices
US8775734B2 (en) Virtual disks constructed from unused distributed storage
CN110431538B (zh) 存储系统控制
JP5910117B2 (ja) ファイルシステム

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant