CN104994168A - 分布式存储方法及分布式存储系统 - Google Patents

分布式存储方法及分布式存储系统 Download PDF

Info

Publication number
CN104994168A
CN104994168A CN201510411698.0A CN201510411698A CN104994168A CN 104994168 A CN104994168 A CN 104994168A CN 201510411698 A CN201510411698 A CN 201510411698A CN 104994168 A CN104994168 A CN 104994168A
Authority
CN
China
Prior art keywords
metadata
back end
node
server cluster
metadata node
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201510411698.0A
Other languages
English (en)
Other versions
CN104994168B (zh
Inventor
孟宪晴
沈伟平
杨旭
高杰
顾旭
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Suzhou Keda Technology Co Ltd
Original Assignee
Suzhou Keda Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Suzhou Keda Technology Co Ltd filed Critical Suzhou Keda Technology Co Ltd
Priority to CN201510411698.0A priority Critical patent/CN104994168B/zh
Publication of CN104994168A publication Critical patent/CN104994168A/zh
Application granted granted Critical
Publication of CN104994168B publication Critical patent/CN104994168B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/10—Protocols in which an application is distributed across nodes in the network
    • H04L67/1097—Protocols in which an application is distributed across nodes in the network for distributed storage of data in networks, e.g. transport arrangements for network file system [NFS], storage area networks [SAN] or network attached storage [NAS]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/50—Network services
    • H04L67/56—Provisioning of proxy services
    • H04L67/561—Adding application-functional data or data for application control, e.g. adding metadata

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Library & Information Science (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明提供一种分布式存储方法及分布式存储系统，分布式存储系统包括：元数据服务器集群，包括多个元数据节点，各所述元数据节点储存元数据并控制对象数据的写入；以及数据服务器集群，包括多个数据节点，各数据节点上储存所述对象数据及对象元数据，所述对象元数据描述所述对象数据，其中，所述元数据服务器集群不可用时，由至少一个所述数据节点代理所述元数据节点控制所述对象数据写入所述数据节点。本发明提供的分布式存储方法及分布式存储系统，其能够避免元数据节点不可用时的数据丢失。

Description

分布式存储方法及分布式存储系统
技术领域
本发明涉及计算机应用技术领域，尤其涉及一种分布式存储方法及分布式存储系统。
背景技术
在安防监控领域，由于监控需要，监控数据如录像、图片需要进行不间断的存储。传统的构建于磁盘阵列(Redundant Arrays of Independent Disks，RAID)之上阵列产品往往只能做到磁盘级别的容错，无法做到整个节点级别的容错，如果整台阵列设备故障数据就会丢失。
现有技术中，利用分布式存储系统代替集中储存方式，分担存储负荷，它不但提高了系统的可靠性、可用性和存取效率，还易于扩展。但其仍有许多缺陷，例如，现有的基于Zookeeper(分布式的、开放源码的分布式应用程序协调服务)和HDFS(Hadoop Distributed File System)的分布式存储系统，使用Zookeeper组成全局Paxos(基于消息的一致性算法)服务负责分布式存储系统的主元数据节点的选举及租约维护，有如下缺陷：
1)Paxos服务和元数据节点分离的方式部署麻烦、维护不方便；
2)Paxos一致性算法不仅理解困难而且难以实现和应用。由于Paxos算法的细节难以全部被理解，因此开发人员无法完全实现并应用Paxos算法的全部功能，进而导致基于Paxos算法的分布式系统可靠性降低；
3)当全局Paxos服务或由元数据节点所组成的高可用集群(HighAvailability Cluster,HA集群)失效的情况下整个系统就会瘫痪，数据面临完全丢失的风险。
发明内容
本发明为了克服上述现有技术存在的缺陷，提供一种分布式存储方法及分布式存储系统，其能够避免元数据节点不可用时的数据丢失。
本发明提供一种分布式存储系统，包括：元数据服务器集群，包括多个元数据节点，各所述元数据节点储存元数据并控制对象数据的写入；以及数据服务器集群，包括多个数据节点，各数据节点上储存所述对象数据及对象元数据，所述对象元数据描述所述对象数据，其中，所述元数据服务器集群不可用时，由至少一个所述数据节点代理所述元数据节点控制所述对象数据写入所述数据节点。
优选地，所述数据节点具有节点信息，所述元数据包括集群元数据以及对象元数据，其中，所述数据节点的节点信息用于恢复所述元数据节点储存的集群元数据；以及所述数据节点中储存的对象元数据用于恢复所述元数据节点储存的对象元数据。
优选地，所述节点信息/所述集群元数据至少包括：所述数据节点的位置信息及所述数据节点的容量信息。
优选地，所述对象元数据至少包括：对象数据名称、对象数据大小、对象数据对应的时间以及对象数据在所述数据节点中的位置。
优选地，所述元数据服务器集群从所述多个元数据节点选举主元数据节点，并将所述多个元数据节点中除所述主元数据节点外的元数据节点作为从元数据节点，所述主元数据节点配置成向各所述从元数据节点同步所述元数据。
优选地，所述元数据服务器集群通过布置在各元数据节点内的RAFT一致性算法协议选举所述主元数据节点并同步所述元数据。
优选地，所述数据节点中储存的对象元数据至少包括：所述元数据服务器集群不可用时，由至少一个所述数据节点代理所述元数据节点控制所述对象数据写入所述数据节点所产生的对象元数据。
优选地，所述元数据服务器集群从不可用状态恢复成可用状态时，所述主元数据节点获取所述元数据服务器集群不可用时，根据代理所述元数据节点的至少一个数据节点储存在所述数据节点中的对象元数据同步至所述元数据节点以恢复所述元数据。
优选地，所述数据节点中储存的对象元数据还包括：所述元数据服务器集群可用时，由所述元数据节点控制所述对象数据写入所述数据节点所产生的对象元数据。
优选地，所述元数据服务器集群恢复可用后，所述元数据服务器集群重新从所述多个元数据节点选举主元数据节点，所述主元数据节点获取各所述数据节点的节点信息以及储存在所述数据节点中的对象元数据以恢复所述元数据，并将恢复的所述元数据同步至各所述从元数据节点。
优选地，还包括客户端，配置成：向所述数据节点写入所述对象数据。
优选地，所述客户端还配置成：在向所述数据节点写入所述对象数据前，获取所述集群元数据。
优选地，所述元数据服务器集群布置有奇数个元数据节点。
优选地，所述元数据节点及所述数据节点控制所述对象数据写入所述数据节点时，生成向所述对象数据分配的对象标识，其中，由所述元数据节点及所述数据节点按不同规则生成所述对象标识。
优选地，所述元数据服务器集群为高可用集群。
根据本发明的又一个方面，还提供一种分布式存储方法，应用上述分布式存储系统，包括：所述元数据服务器集群不可用时，由至少一个所述数据节点代理所述元数据节点控制所述对象数据写入所述数据节点；以及所述元数据服务器集群恢复可用后，至少通过代理所述元数据节点的至少一个所述数据节点恢复所述元数据节点储存的元数据。
优选地，还包括：所述元数据服务器集群进行格式化并恢复可用后，通过所有数据节点恢复所述元数据节点储存的元数据。
相比现有技术，本发明的优势在于：
1)本发明在元数据服务器集群失效的情形下，数据仍能被写入分布式存储系统，保证了分布式系统在极度灾难下的高可用性。
2)当所有元数据节点上的元数据都被破坏时，如存储元数据的物理介质损坏，可以通过数据节点恢复出所有的元数据。
3)本发明不需要单独布置实现一致性算法的服务器集群，直接在元数据节点内部布置RAFT一致性算法协议，既降低了系统实现的复杂度又简化了系统架构，使得整个系统更加易于维护。
附图说明
通过参照附图详细描述其示例实施方式，本发明的上述和其它特征及优点将变得更加明显。
图1示出了根据本发明实施例的元数据服务器集群可用时，客户端向数据节点写入数据的示意图。
图2示出了根据本发明实施例的元数据服务器集群不可用时，客户端向数据节点写入数据的示意图。
图3示出了根据本发明实施例的元数据服务器集群恢复为可用，通过数据节点恢复元数据节点的元数据的示意图。
具体实施方式
现在将参考附图更全面地描述示例实施方式。然而，示例实施方式能够以多种形式实施，且不应被理解为限于在此阐述的实施方式；相反，提供这些实施方式使得本发明将全面和完整，并将示例实施方式的构思全面地传达给本领域的技术人员。在图中相同的附图标记表示相同或类似的结构，因而将省略对它们的重复描述。
参考图1-3所示的分布式存储系统100，本发明提供的分布式存储系统100包括具有多个元数据节点111的元数据服务器集群110及具有多个数据节点121的数据服务器集群120。本实施例中，元数据服务器集群110为高可用集群。
在一些实施例中，元数据服务器集群110可以包括奇数个元数据节点111，例如元数据服务器集群110可以包括3个、5个或7个元数据节点111。一般而言，至少元数据节点111中多数元数据节点并未失效，则元数据服务器集群110仍然能正常工作。例如，当布置5个元数据节点111时，可以允许2个元数据节点同时失效；当布置7个元数据节点111时，可以允许3个元数据节点同时失效。可见，布置奇数个元数据节点111的元数据服务器集群110的容错率更高。
各元数据节点111储存元数据，并控制对象数据写入数据节点121。元数据可以包括集群元数据及对象元数据。集群元数据描述数据服务器集群的状态。集群元数据可以是数据节点的节点信息。数据节点的节点信息包括数据节点的位置信息(数据节点的网络拓扑、数据节点的IP地址和/或数据节点的端口号等)及容量信息(数据节点的用于储存数据的磁盘的ID、该磁盘已用空间和/或该磁盘剩余空间等)。对象元数据描述存入数据节点121的对象数据。具体而言，对象元数据包括对象数据名称(例如新创建/更新的对象数据的名称)、对象数据大小、对应时间(例如修改/访问时间)以及对象数据在数据节点中的位置等。
具体而言，元数据服务器集群110从多个元数据节点111选举主元数据节点，并将剩余的元数据节点111作为从元数据节点。主元数据节点配置成向各从元数据节点同步元数据。优选地，主元数据节点的选举及各元数据节点的数据同步通过各元数据节点111中设置的RAFT一致性算法协议来完成。RAFT一致性算法与Paxos一致性算法相比，更容易理解和实现。并且利用RAFT一致性算法不需要额外布置用于选举及同步数据的服务器集群，其增加了分布式存储系统的工作效率。分布式存储系统的调试、部署和维护更为简单。还降低分布式存储系统发生错误的概率，提高系统可用性。
数据服务器集群120的各数据节点121上储存写入的对象数据及描述对象数据的对象元数据。各数据节点具有节点信息。数据节点的节点信息可用于恢复元数据节点储存的集群元数据。数据节点中储存的对象元数据可用于恢复元数据节点储存的对象元数据。在一些实施例中，数据节点121会在元数据服务器集群110不可用的情形下担当客户端元数据处理的临时代理节点。在另一些实施例中，所有元数据节点111上面的元数据都被破坏的情况下仍然可以通过数据节点121快速地恢复出所有元数据。
在本实施例中，本发明提供的分布式存储系统还包括客户端130，客户端130用于将对象数据写入数据节点121。客户端130可从元数据节点111加载集群元数据并且缓存。在元数据服务器集群110可以正常对外服务的情况下，客户端130创建新的对象数据会先向元数据节点111发起请求，由元数据节点111来负责控制。当元数据服务器集群110不可用时，客户端130会依据之前缓存的集群元数据，直接通过数据节点121代理完成对象数据的创建和写入操作。这样使得极度灾难情形下，即使所有元数据节点111都失效仍然能继续向数据服务器集群120里写入对象数据，保证了不丢失数据的同时也给运维人员争取了更多的维护抢修时间。
首先，参见图1，图1示出了根据本发明实施例的元数据服务器集群可用时，客户端向数据节点写入数据的示意图。
当元数据服务器集群可用时，客户端130首先向元数据节点请求元数据操作。换言之，客户端130首先向元数据节点请求集群元数据。元数据节点111将集群元数据返回至客户端130。客户端130将集群元数据缓存至客户端130中。
客户端130向元数据节点111请求写入对象数据时，元数据节点111还为客户端130要写入的对象数据分配与该对象数据对应的对象标识(对象ID)。该对象标识优选地为64位。客户端130根据缓存在本地的集群元数据以及分配的对象ID将对象数据分为多个数据分片并写入不同的数据节点121中。对象数据写入所产生的对应该对象数据的对象元数据储存至元数据节点111中。在一优选地中，对象数据写入所产生的对应该对象数据的对象元数据还储存至数据节点121中。
参见图2，图2示出了根据本发明实施例的元数据服务器集群不可用时，客户端向数据节点写入数据的示意图。
当元数据服务器集群110中的大多数元数据节点111因软件或硬件问题无法正常工作时，就会因无法满足RAFT一致性算法的主元数据节点选举的条件而无法选出主元数据节点。元数据服务器集群110就进入到了不可用的状态，此时，由至少一个数据节点121代理元数据节点111与客户端130协作完成对象数据的创建和写入工作。
元数据服务器集群110不可用时，客户端130创建对象数据时首先将请求发送给代理元数据节点111的至少一个数据节点121。与该对象数据对应的对象ID的分配由代理元数据节点111的数据节点121完成。在一具体实施例中，为了区分数据节点121及元数据节点111控制写入的对象数据，数据节点121分配对象ID的规则与元数据节点111分配对象ID的规则不同。例如，数据节点121分配的对象ID都为奇数，而元数据节点111分配的对象ID都为偶数。
客户端130基于缓存在本地的集群元数据(也就是数据节点121的节点信息)为基础将对象数据的数据分片直接写入到各个数据节点121。优选地，在将对象数据的数据分片写入各个数据节点121的过程中，还需考虑数据分片在各个数据节点121间的均衡分布。将对象数据写入数据节点121时产生的该对象数据的对象元数据储存至数据节点121中。在一具体实施例中，该对象元数据被缓存至数据节点121中。
当元数据服务器集群110恢复可用后，客户端130重新连接元数据节点111。之后的对象数据的写入恢复为通过元数据节点111来控制(如图1所示)。
同时，参考图3，其示出了根据本发明实施例的元数据服务器集群恢复为可用，通过数据节点恢复元数据节点的元数据的示意图。代理元数据节点111的至少一个数据节点121会将元数据服务器集群110不可用期间产生的对象元数据同步到元数据节点111上，以恢复元数据节点111的元数据。这样的实施例描述的是元数据节点111不可用前的元数据并未被破坏或丢失的情况。在本实施例中，数据节点121中储存的对象元数据仅包括元数据服务器集群110不可用时，由数据节点121代理控制对象数据写入数据节点121所产生的对象元数据。
然而，在一变化例中，当遇到极度灾难时，所有元数据节点111不可用前的元数据都被破坏时，可以通过所有数据节点121来恢复元数据节点111的元数据。在这样的变化例中，数据节点121中储存的对象元数据除了包括元数据服务器集群110不可用时，由数据节点121代理控制对象数据写入数据节点121所产生的对象元数据，其还包括元数据服务器集群110可用时，由元数据节点111控制对象数据写入数据节点121所产生的对象元数据。
具体而言，该变化例中，元数据节点111从数据节点111获取集群内部的通用唯一识别码(Universally Unique Identifier，UUID)，收集所有数据节点111的机器ID，格式化元数据节点111中用于储存元数据的磁盘，启动元数据节点111服务。通过RAFT一致性算法选举主元数据节点成功后，将上述信息传给主元数据节点，启动元数据恢复。所有数据节点121会将其数据磁盘中存储的对象元数据及其节点信息发送给主元数据节点进行元数据节点元数据恢复。主元数据节点恢复的过程中会使用RAFT一致性算法向从元数据节点同步操作日志，以此来保证元数据节点的元数据同步。
相比现有技术，本发明的优势在于：
1)本发明在元数据服务器集群失效的情形下，数据仍能被写入分布式存储系统，保证了分布式系统在极度灾难下的高可用性。
2)当所有元数据节点上的元数据都被破坏时，如存储元数据的物理介质损坏，可以通过数据节点恢复出所有的元数据。
3)本发明不需要单独布置实现一致性算法的服务器集群，直接在元数据节点内部布置RAFT一致性算法协议，既降低了系统实现的复杂度又简化了系统架构，使得整个系统更加易于维护。
以上具体地示出和描述了本发明的示例性实施方式。应该理解，本发明不限于所公开的实施方式，相反，本发明意图涵盖包含在所附权利要求范围内的各种修改和等效置换。

Claims (17)

1.一种分布式存储系统，其特征在于，包括：
元数据服务器集群，包括多个元数据节点，各所述元数据节点储存元数据并控制对象数据的写入；以及
数据服务器集群，包括多个数据节点，各数据节点上储存所述对象数据及对象元数据，所述对象元数据描述所述对象数据，
其中，所述元数据服务器集群不可用时，由至少一个所述数据节点代理所述元数据节点控制所述对象数据写入所述数据节点。
2.如权利要求1所述的分布式存储系统，其特征在于，所述数据节点具有节点信息，所述元数据包括集群元数据以及对象元数据，其中，
所述数据节点的节点信息用于恢复所述元数据节点储存的集群元数据；以及
所述数据节点中储存的对象元数据用于恢复所述元数据节点储存的对象元数据。
3.如权利要求2所述的分布式存储系统，其特征在于，所述节点信息/所述集群元数据至少包括：所述数据节点的位置信息及所述数据节点的容量信息。
4.如权利要求2所述的分布式存储系统，其特征在于，所述对象元数据至少包括：对象数据名称、对象数据大小、对象数据对应的时间以及对象数据在所述数据节点中的位置。
5.如权利要求2所述的分布式存储系统，其特征在于，所述元数据服务器集群从所述多个元数据节点选举主元数据节点，并将所述多个元数据节点中除所述主元数据节点外的元数据节点作为从元数据节点，所述主元数据节点配置成向各所述从元数据节点同步所述元数据。
6.如权利要求5所述的分布式存储系统，其特征在于，所述元数据服务器集群通过布置在各元数据节点内的RAFT一致性算法协议选举所述主元数据节点并同步所述元数据。
7.如权利要求5所述的分布式存储系统，其特征在于，所述数据节点中储存的对象元数据至少包括：所述元数据服务器集群不可用时，由至少一个所述数据节点代理所述元数据节点控制所述对象数据写入所述数据节点所产生的对象元数据。
8.如权利要求7所述的分布式存储系统，其特征在于，所述元数据服务器集群从不可用状态恢复成可用状态时，所述主元数据节点获取所述元数据服务器集群不可用时，根据代理所述元数据节点的至少一个数据节点储存在所述数据节点中的对象元数据同步至所述元数据节点以恢复所述元数据。
9.如权利要求7所述的分布式存储系统，其特征在于，所述数据节点中储存的对象元数据还包括：所述元数据服务器集群可用时，由所述元数据节点控制所述对象数据写入所述数据节点所产生的对象元数据。
10.如权利要求9所述的分布式存储系统，其特征在于，所述元数据服务器集群恢复可用后，所述元数据服务器集群重新从所述多个元数据节点选举主元数据节点，所述主元数据节点获取各所述数据节点的节点信息以及储存在所述数据节点中的对象元数据以恢复所述元数据，并将恢复的所述元数据同步至各所述从元数据节点。
11.如权利要求2所述的分布式存储系统，其特征在于，还包括客户端，配置成：向所述数据节点写入所述对象数据。
12.如权利要求11所述的分布式存储系统，其特征在于，所述客户端还配置成：在向所述数据节点写入所述对象数据前，获取所述集群元数据。
13.如权利要求1所述的分布式存储系统，其特征在于，所述元数据服务器集群布置有奇数个元数据节点。
14.如权利要求1所述的分布式存储系统，其特征在于，所述元数据节点及所述数据节点控制所述对象数据写入所述数据节点时，生成向所述对象数据分配的对象标识，其中，由所述元数据节点及所述数据节点按不同规则生成所述对象标识。
15.如权利要求1所述的分布式存储系统，其特征在于，所述元数据服务器集群为高可用集群。
16.一种分布式存储方法，应用在如权利要求1至15任一项所述的分布式存储系统，其特征在于，包括：
所述元数据服务器集群不可用时，由至少一个所述数据节点代理所述元数据节点控制所述对象数据写入所述数据节点；以及
所述元数据服务器集群恢复可用后，至少通过代理所述元数据节点的至少一个所述数据节点恢复所述元数据节点储存的元数据。
17.如权利要求16所述的分布式存储方法，其特征在于，还包括：所述元数据服务器集群进行格式化并恢复可用后，通过所有数据节点恢复所述元数据节点储存的元数据。
CN201510411698.0A 2015-07-14 2015-07-14 分布式存储方法及分布式存储系统 Active CN104994168B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201510411698.0A CN104994168B (zh) 2015-07-14 2015-07-14 分布式存储方法及分布式存储系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201510411698.0A CN104994168B (zh) 2015-07-14 2015-07-14 分布式存储方法及分布式存储系统

Publications (2)

Publication Number Publication Date
CN104994168A true CN104994168A (zh) 2015-10-21
CN104994168B CN104994168B (zh) 2018-05-01

Family

ID=54305919

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201510411698.0A Active CN104994168B (zh) 2015-07-14 2015-07-14 分布式存储方法及分布式存储系统

Country Status (1)

Country Link
CN (1) CN104994168B (zh)

Cited By (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106250278A (zh) * 2016-08-04 2016-12-21 深圳市泽云科技有限公司 一种一键执行的磁盘阵列数据恢复方法
CN106951445A (zh) * 2017-02-17 2017-07-14 深圳市中博睿存信息技术有限公司 一种分布式文件系统及其存储节点上线方法
WO2017133233A1 (zh) * 2016-02-05 2017-08-10 华为技术有限公司 基于心跳的数据同步装置、方法及分布式存储系统
CN107613026A (zh) * 2017-10-31 2018-01-19 四川仕虹腾飞信息技术有限公司 基于云存储系统的分布式文件管理系统
CN108984635A (zh) * 2018-06-21 2018-12-11 郑州云海信息技术有限公司 一种hdfs存储系统以及数据存储方法
CN109426587A (zh) * 2017-08-25 2019-03-05 杭州海康威视数字技术股份有限公司 一种数据恢复方法及装置
CN109862090A (zh) * 2019-01-25 2019-06-07 深圳市太之阳网络技术有限公司 一种高安全度分布式云存储系统
CN110399098A (zh) * 2019-06-25 2019-11-01 联想(北京)有限公司 一种数据处理方法及电子设备
CN110431533A (zh) * 2016-12-30 2019-11-08 华为技术有限公司 故障恢复的方法、设备和系统
CN110633580A (zh) * 2019-09-20 2019-12-31 徐州医科大学附属医院 一种面向xml数据的安全分布式存储方法
WO2020024587A1 (en) * 2018-08-02 2020-02-06 Memverge, Inc. Naming service in distributed memory object architecture
CN111124301A (zh) * 2019-12-18 2020-05-08 深圳供电局有限公司 一种对象存储设备的数据一致性存储方法及系统
CN111447275A (zh) * 2020-03-26 2020-07-24 深圳市中盛瑞达科技有限公司 存储系统和存储装置
US11134055B2 (en) 2018-08-02 2021-09-28 Memverge, Inc. Naming service in a distributed memory object architecture

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1552020A (zh) * 2001-07-05 2004-12-01 �����ɷ� 用于在集群式消息传递服务器中在节点故障以及网络划分期间确保操作的方法
CN101577735A (zh) * 2009-06-24 2009-11-11 成都市华为赛门铁克科技有限公司 一种接管故障元数据服务器的方法、装置及系统
CN103475566A (zh) * 2013-07-10 2013-12-25 北京发发时代信息技术有限公司 一种实时消息交换平台及分布式集群组建方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1552020A (zh) * 2001-07-05 2004-12-01 �����ɷ� 用于在集群式消息传递服务器中在节点故障以及网络划分期间确保操作的方法
CN101577735A (zh) * 2009-06-24 2009-11-11 成都市华为赛门铁克科技有限公司 一种接管故障元数据服务器的方法、装置及系统
CN103475566A (zh) * 2013-07-10 2013-12-25 北京发发时代信息技术有限公司 一种实时消息交换平台及分布式集群组建方法

Cited By (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107046552B (zh) * 2016-02-05 2020-10-23 华为技术有限公司 基于心跳的数据同步装置、方法及分布式存储系统
WO2017133233A1 (zh) * 2016-02-05 2017-08-10 华为技术有限公司 基于心跳的数据同步装置、方法及分布式存储系统
CN107046552A (zh) * 2016-02-05 2017-08-15 华为技术有限公司 基于心跳的数据同步装置、方法及分布式存储系统
US10025529B2 (en) 2016-02-05 2018-07-17 Huawei Technologies Co., Ltd. Heartbeat-based data synchronization apparatus and method, and distributed storage system
CN106250278A (zh) * 2016-08-04 2016-12-21 深圳市泽云科技有限公司 一种一键执行的磁盘阵列数据恢复方法
CN110431533A (zh) * 2016-12-30 2019-11-08 华为技术有限公司 故障恢复的方法、设备和系统
CN110431533B (zh) * 2016-12-30 2021-09-14 华为技术有限公司 故障恢复的方法、设备和系统
US11102084B2 (en) 2016-12-30 2021-08-24 Huawei Technologies Co., Ltd. Fault rectification method, device, and system
CN106951445A (zh) * 2017-02-17 2017-07-14 深圳市中博睿存信息技术有限公司 一种分布式文件系统及其存储节点上线方法
CN109426587A (zh) * 2017-08-25 2019-03-05 杭州海康威视数字技术股份有限公司 一种数据恢复方法及装置
CN107613026A (zh) * 2017-10-31 2018-01-19 四川仕虹腾飞信息技术有限公司 基于云存储系统的分布式文件管理系统
CN108984635A (zh) * 2018-06-21 2018-12-11 郑州云海信息技术有限公司 一种hdfs存储系统以及数据存储方法
WO2020024587A1 (en) * 2018-08-02 2020-02-06 Memverge, Inc. Naming service in distributed memory object architecture
US11134055B2 (en) 2018-08-02 2021-09-28 Memverge, Inc. Naming service in a distributed memory object architecture
CN109862090A (zh) * 2019-01-25 2019-06-07 深圳市太之阳网络技术有限公司 一种高安全度分布式云存储系统
CN110399098A (zh) * 2019-06-25 2019-11-01 联想(北京)有限公司 一种数据处理方法及电子设备
CN110399098B (zh) * 2019-06-25 2021-09-14 联想(北京)有限公司 一种数据处理方法及电子设备
CN110633580A (zh) * 2019-09-20 2019-12-31 徐州医科大学附属医院 一种面向xml数据的安全分布式存储方法
CN111124301A (zh) * 2019-12-18 2020-05-08 深圳供电局有限公司 一种对象存储设备的数据一致性存储方法及系统
CN111124301B (zh) * 2019-12-18 2024-02-23 深圳供电局有限公司 一种对象存储设备的数据一致性存储方法及系统
CN111447275A (zh) * 2020-03-26 2020-07-24 深圳市中盛瑞达科技有限公司 存储系统和存储装置
CN111447275B (zh) * 2020-03-26 2021-01-01 深圳市中盛瑞达科技有限公司 存储系统和存储装置

Also Published As

Publication number Publication date
CN104994168B (zh) 2018-05-01

Similar Documents

Publication Publication Date Title
CN104994168A (zh) 分布式存储方法及分布式存储系统
US10114580B1 (en) Data backup management on distributed storage systems
KR101547719B1 (ko) 데이터 센터들에 걸쳐 데이터 서버들내 데이터 무결정의 유지
US8904231B2 (en) Synchronous local and cross-site failover in clustered storage systems
CN106776130B (zh) 一种日志恢复方法、存储装置和存储节点
US9477565B2 (en) Data access with tolerance of disk fault
US6915448B2 (en) Storage disk failover and replacement system
US10565071B2 (en) Smart data replication recoverer
US20140244578A1 (en) Highly available main memory database system, operating method and uses thereof
CN101755257B (zh) 管理在不同的网络上将写入从首要存储器拷贝到次要存储器
JP2006209775A (ja) データ追跡を有するストレージ複製システム
US20060179218A1 (en) Method, apparatus and program storage device for providing geographically isolated failover using instant RAID swapping in mirrored virtual disks
JP2008059583A (ja) クラスタ・システムならびにクラスタ・システム内でレプリカをバックアップする方法およびプログラム製品
CN102652423A (zh) 用于集群选择和协作复制的集群族
CN104536971A (zh) 一种具备高可用性的数据库
US8527454B2 (en) Data replication using a shared resource
CN106919473A (zh) 一种数据灾备系统及业务处理方法
JP2014219787A (ja) ストレージシステム、情報処理装置の制御プログラム、およびストレージシステムの制御方法
CN106331166A (zh) 一种存储资源的访问方法及装置
WO2017014814A1 (en) Replicating memory volumes
CN106873902B (zh) 一种文件存储系统、数据调度方法及数据节点
US9015433B2 (en) Resiliency with a destination volume in a replication environment
CN112783694B (zh) 一种高可用Redis的异地灾备方法
CN116389233B (zh) 容器云管理平台主备切换系统、方法、装置和计算机设备
EP3167372B1 (en) Methods for facilitating high availability storage services and corresponding devices

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant