CN107734008A - 一种数据存储系统中的故障处理的方法、装置、节点设备以及存储介质 - Google Patents

一种数据存储系统中的故障处理的方法、装置、节点设备以及存储介质 Download PDF

Info

Publication number
CN107734008A
CN107734008A CN201710891010.2A CN201710891010A CN107734008A CN 107734008 A CN107734008 A CN 107734008A CN 201710891010 A CN201710891010 A CN 201710891010A CN 107734008 A CN107734008 A CN 107734008A
Authority
CN
China
Prior art keywords
data
cluster
storage
mapped
stored
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201710891010.2A
Other languages
English (en)
Inventor
许宇峰
张烨
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Data Technology (shenzhen) Ltd By Share Ltd
Original Assignee
Data Technology (shenzhen) Ltd By Share Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Data Technology (shenzhen) Ltd By Share Ltd filed Critical Data Technology (shenzhen) Ltd By Share Ltd
Priority to CN201710891010.2A priority Critical patent/CN107734008A/zh
Publication of CN107734008A publication Critical patent/CN107734008A/zh
Pending legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/10—Protocols in which an application is distributed across nodes in the network
    • H04L67/1097—Protocols in which an application is distributed across nodes in the network for distributed storage of data in networks, e.g. transport arrangements for network file system [NFS], storage area networks [SAN] or network attached storage [NAS]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/10—Protocols in which an application is distributed across nodes in the network
    • H04L67/104—Peer-to-peer [P2P] networks
    • H04L67/1061—Peer-to-peer [P2P] networks using node-based peer discovery mechanisms
    • H04L67/1065—Discovery involving distributed pre-established resource-based relationships among peers, e.g. based on distributed hash tables [DHT] 
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/10—Protocols in which an application is distributed across nodes in the network
    • H04L67/1095—Replication or mirroring of data, e.g. scheduling or transport for data synchronisation between network nodes

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明实施例公开了一种数据存储系统中的故障处理的方法、装置、节点设备以及存储介质，若添加的新存储簇为Ni，存储簇Ni在Chord环中的位置是在存储簇Nj‑1和Nj之间，根据新的存储簇的管理节点的IP和端口号使用SHA‑1算法得出所述Ni在Chord环中的位置Ni；若所述Chord环上Nj‑1到Ni的哈希空间为S1，Ni到Nj之间的哈希空间为S2，复制Ni和Nj上的数据到Ni上；删除所述Nj‑1上映射到所述S2内的用户数据及元数据；删除所述Nj中保存的所述Nj‑1上数据的冗余副本；删除所述Nj‑1中映射在所述S1内的用户数据及其元数据；从而解决在存储簇故障时的数据存储系统中的故障处理的问题。

Description

一种数据存储系统中的故障处理的方法、装置、节点设备以及 存储介质
技术领域
本发明实施例涉及通信技术，尤其涉及一种数据存储系统中的故障处理的方法、装置、节点设备以及存储介质。
背景技术
P2P是Peer-to-Peer的简写，又被称为对等技术。P2P不依赖于集中的那一个服务器，而是依赖于参与到P2P网络中的所有机器。从系统的结构来看，P2P系统是分布式的结构，它不同于集中式的结构或者基于服务器的结构。因为它不依靠与某个网络中的中心服务器节点来提供索引服务，网络中的任何两台机器之间都能够直接建立连接共享资源，并能够发现P2P系统中的各种服务。与客户端服务器架构相比，P2P的关键优势是它把整个系统提供的服务分散到系统中的每个对等节点上了，如此一来整个P2P系统就不存在单点故障的风险。
P2P网络体系结构包括集中目录式结构、纯P2P网络结构、混合式网络结构等三种：(1)集中目录式结构；集中目录式结构的系统中存在一个中央目录服务，该目录服务器负责保存各个节点的索引信息，比如节点的地址、存储的资源等元数据。(2)纯P2P网络结构；纯P2P网络，去除了集中的中央目录服务器，网络中的每个节点都完全对等，任何一个用户都是随机地接入到P2P网络中，而且利用端到端的连接与自己相邻的一组邻居节点在逻辑上组成一个覆盖网络。(3)混合式网络结构；混合式网络结构是将集中式P2P与纯P2P网络两者结合的混合式网络结构。混合式网络结构系统中的节点都是以簇的形态存在，一个簇由一个索引节点和在它附近的多个普通节点组成，在每个簇内，索引节点作为簇的中央目录服务器，其他普通节点负责资源的存储。
随着移动互联网等技术的不断快速发展，尤其是Web2.0时代的开启，全球众多互联网用户生产的各种数据呈现爆炸式地增长。互联网数据中心统计2015年全球的数据量就达到8ZB，到2020年更将达到35ZB。全球社会生产的海量数据对存储产生了巨大的需求，为解决海量数据的高性能、低成本以及高安全可靠性的存储需求，云存储技术应运而生，相比于传统的存储技术，不仅仅能够低成本的存储海量数据，并且能够更简单、高效地存储与管理数据。云存储非常有效地解决了传统存储技术的瓶颈。
目前主流的云存储系统(含谷歌GFS、亚马逊S3以及开源的HDFS)使用了主从式的系统架构，即系统由一个中心的主节点和多个从节点构成。其中最典型就是GFS，它的系统由一个主节点GFS主服务器和多个从节点GFS数据块服务器。而通常GFS主服务器只有一个，一旦云存储系统中的主节点GFS主服务器出现故障，将导致整个系统的瘫痪。即使系统中可能采用多机热备份技术，但是其依然没有从根本上解决系统里元数据高度集中的中心节点的单点故障隐患。
发明内容
本发明实施例提供一种数据存储系统中的故障处理的方法、装置、节点设备以及存储介质，旨在解决存储簇出现故障时的数据存储系统中的故障处理问题。
第一方面，一种数据存储系统中的故障处理的方法，所述方法包括：
若添加的新存储簇为N i，存储簇N i在Chord环中的位置是在存储簇N j-1和N j之间，根据新的存储簇的管理节点的IP和端口号使用SHA-1算法得出所述Ni在Chord环中的位置N i；
若所述Chord环上N j-1到N i的哈希空间为S 1，N i到N j之间的哈希空间为S 2，复制Ni和Nj上的数据到Ni上；
删除所述N j-1上映射到所述S 2内的用户数据及元数据；删除所述N j中保存的所述N j-1上数据的冗余副本；删除所述N j-1中映射在所述S 1内的用户数据及其元数据。
可选地，所述复制Ni和Nj上的数据到Ni上，包括：
将通过哈希函数算出映射到所述S 1内的数据，从所述N j上复制到所述N i上；
将通过哈希函数算出映射到所述S 2内的数据，从所述N j上复制到所述N i上；
将所述N j保存的N j-1的冗余副本，复制到所述N i上。
可选地，所述方法还包括：
若存储簇出现故障，故障存储簇编号为N j，N j-1到N j之间的哈希空间为S 3，Nj到N j+1之间的哈希空间为S4，则将所述N j+1上存储的映射到S 2的数据复制到所述N j-1；将所述N j-1上存储的原副本数据复制到所述N j+1将所述N j+1上存储的映射到S 1的数据复制到N j+2。
可选地，所述方法还包括：
若非当前存储簇所有数据块服务器都出现故障，则存储簇的管理节点保存有每个数据块服务器节点的存放的数据的元数据，查询直接前继和直接后继存储簇获取丢失数据，将所述丢失数据重新存入到存储簇的其他数据块服务器上。
第二方面，一种数据存储系统中的故障处理的装置，所述装置包括：
计算模块，用于若添加的新存储簇为N i，存储簇N i在Chord环中的位置是在存储簇N j-1和N j之间，根据新的存储簇的管理节点的IP和端口号使用SHA-1算法得出所述Ni在Chord环中的位置N i；
复制模块，用于若所述Chord环上N j-1到N i的哈希空间为S 1，N i到N j之间的哈希空间为S 2，复制Ni和Nj上的数据到Ni上；
删除模块，用于删除所述N j-1上映射到所述S 2内的用户数据及元数据；删除所述N j中保存的所述N j-1上数据的冗余副本；删除所述N j-1中映射在所述S 1内的用户数据及其元数据。
可选地，所述复制模块，用于：
将通过哈希函数算出映射到所述S 1内的数据，从所述N j上复制到所述N i上；
将通过哈希函数算出映射到所述S 2内的数据，从所述N j上复制到所述N i上；
将所述N j保存的N j-1的冗余副本，复制到所述N i上。
可选地，所述装置还包括：
映射模块，用于若存储簇出现故障，故障存储簇编号为N j，N j-1到N j之间的哈希空间为S 3，N j到N j+1之间的哈希空间为S4，则将所述N j+1上存储的映射到S 2的数据复制到所述N j-1；将所述N j-1上存储的原副本数据复制到所述N j+1将所述N j+1上存储的映射到S 1的数据复制到N j+2。
可选地，所述装置还包括：
存储模块，用于若非当前存储簇所有数据块服务器都出现故障，则存储簇的管理节点保存有每个数据块服务器节点的存放的数据的元数据，查询直接前继和直接后继存储簇获取丢失数据，将所述丢失数据重新存入到存储簇的其他数据块服务器上。
第三方面，一种节点设备，包括：
一个或多个处理器；
存储装置，用于存储一个或多个程序；
所述一个或多个程序被所述处理器执行，使得所述处理器实现上述的数据存储系统中的故障处理的方法。
第四方面，一种计算机可读存储介质，其特征在于，其上存储有计算机程序，该计算机程序被处理器执行时实现上述的数据存储系统中的故障处理的方法。
本发明实施例，若添加的新存储簇为N i，存储簇N i在Chord环中的位置是在存储簇N j-1和N j之间，根据新的存储簇的管理节点的IP和端口号使用SHA-1算法得出所述Ni在Chord环中的位置N i；若所述Chord环上N j-1到N i的哈希空间为S 1，N i到N j之间的哈希空间为S 2，复制Ni和Nj上的数据到Ni上；删除所述N j-1上映射到所述S 2内的用户数据及元数据；删除所述N j中保存的所述N j-1上数据的冗余副本；删除所述N j-1中映射在所述S 1内的用户数据及其元数据；从而解决在存储簇故障时的数据存储系统中的故障处理的问题。
附图说明
图1是本发明实施例一中的一种P2P的结构示意图；
图2是本发明实施例二中的一种数据存储系统中的故障处理的方法的流程示意图；
图3是本发明实施例二中的一种数据存储系统中的故障处理的示意图；
图4是本发明实施例三中的一种数据存储系统中的故障处理的方法的流程示意图；
图5是本发明实施例四中的一种数据存储系统中的故障处理的方法的流程示意图；
图6是本发明实施例五种的一种数据存储系统中的故障处理的装置的功能模块示意图；
图7为本发明实施例六提供的一种设备的结构示意图。
具体实施方式
下面结合附图和实施例对本发明作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释本发明，而非对本发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本发明相关的部分而非全部结构。
实施例一
如图1所示，在P2P网络拓扑中对等结构，根据对等的基本单元特性，主要分为所有结点的完全对等结构和基于存储簇为单元的对等结构。
基于完全对等的云存储模型中的完全对等，即是云存储中的所有用于存储的服务器结点形成一个环形结构，各个结点间都是平等的，没有层次关系。在该环形结构中存储服务器结点上，既负责存储文件数据以及这些文件数据的元数据，同时又存储着相关的路由数据，它的系统结构是一个分布式哈希表(DHT)网络，其使用一致性哈希算法，将所有构成云存储网络的服务器设备通过哈希函数映射到一个哈希空间上，该哈希空间首尾相连抽象为环。在基于完全对等的云存储模型中，构成云存储系统的每个存储服务器都是会被映射为Chord环(Chord是最简单，最精确的环形P2P模型，是DHT(Distributed Hash Table)的一种经典实现)上的一个节点，每个存储服务器都是一个能够小范围路由的独立自治节点，这样的结构使得映射到Chord环上的节点过多，不利于管理及路由。而且，在云存储系统的一般访问过程中，用户对于文件元数据和路由数据的访问频度要远远大于对于文件内容的访问频度。每个节点同时维护低频访问的本地数据块及提供高频访问的路由功能，节点任务复杂，将两者放置在一起不利于提高系统的性能。
基于存储簇为单元的对等结构，是在完全对等结构基础的优化。在这种结构中，将负责管理高频访问的文件元数据以及维护用于路由信息数据的功能，集中由更高性能的存储簇的管理节点提供；而普通性能的数据块服务器将扮演维护相对低频访问的副本数据。基于存储簇对等结构模型中的服务器分为两种大的类型：高性能的存储簇的管理服务器和普通性能的数据块存储服务器。在每个存储簇中，它的管理节点的主要功能为用户信息的认证、维护存储簇的目录以及文件与数据块服务器之间的映射等元数据，而数据块服务器是用于存储用户文件数据。根据云存储系统中数据访问的特点，将用于路由的数据、文件的元数据等热点数据集中，交由更高性能服务器处理，有利于更好的提高系统的性能，存储簇之间采用结构化P2P网络的拓扑结构，形成一个DHT网络。
另外，对于数据块服务器，按照可靠程度，又分为可信的数据块服务器节点(Reliable Chunk Server Node,简称RCSN、RN)和不可信的数据块服务器节点(UnreliableChunk Server Node,简称UCSN、UN)。可信的数据块服务器节点(Reliable Chunk ServerNode,简称RCSN)主要由云存储服务商提供的高可靠性的服务器构成。RCSN负责系统中用户数据的存储，每个RCSN由存储簇的管理节点管理。因为RCSN可靠性高，存储在RCSN中的数据相对可靠性、可用性就更高，所以把用户数据存储系统中的故障处理在RCSN上是云存储系统中可靠性和可用性的重要保证之一。不可信的数据块服务器节点(Unreliable ChunkServer Node,简称UCSN)主要是用户的机器构成。由于用户机器一般可靠性不能得到保证，所以云存储模型中假设存储在UCSN中的数据不保证其可靠性和可用性。
实施例二
参考图2，该数据存储系统中的故障处理的方法包括：
步骤210，若添加的新存储簇为N i，存储簇N i在Chord环中的位置是在存储簇Nj-1和N j之间，根据新的存储簇的管理节点的IP和端口号使用SHA-1算法得出所述Ni在Chord环中的位置N i；
步骤220，若所述Chord环上N j-1到N i的哈希空间为S 1，N i到N j之间的哈希空间为S 2，复制Ni和Nj上的数据到Ni上；
其中，所述复制Ni和Nj上的数据到Ni上，包括：
将通过哈希函数算出映射到所述S 1内的数据，从所述N j上复制到所述N i上；
将通过哈希函数算出映射到所述S 2内的数据，从所述N j上复制到所述N i上；
将所述N j保存的N j-1的冗余副本，复制到所述N i上。
步骤230，删除所述N j-1上映射到所述S 2内的用户数据及元数据；删除所述N j中保存的所述N j-1上数据的冗余副本；删除所述N j-1中映射在所述S1内的用户数据及其元数据。
示例性的，如图3所示，假设添加的新存储簇编号为N i，存储簇N i在Chord环中的位置是在存储簇N j-1和N j之间。这种情况，一般过程如下：
(1)根据新的存储簇的管理节点的IP和端口号使用SHA-1算法得出其在Chord环中的位置，假设编号为N i；
(2)假设Chord环上N j-1到N i的这段哈希空间为S 1，N i到N j之间的哈希空间为S 2。存储簇N i上的数据存储系统中的故障处理过程：
a将通过哈希函数算出映射到S 1内的数据，从N j上复制到N i上；
b将通过哈希函数算出映射到S 2内的数据，从N j上复制到N i上；
c将N j保存的N j-1的冗余副本，复制到N i上。
(3)删除存储簇N j-1上映射到S 2内的用户数据及其相关元数据；
(4)删除存储簇N j中保存的N j-1上数据的冗余副本；
(5)删除存储簇N j-1中映射在S 1内的用户数据及其相关元数据。
另外，基于存储簇对等的云存储模型中，其中某个存储簇可能会出现添加新的数据块服务器的情况，当有用户数据存入到该存储簇时，存储簇中的管理节点会根据存储簇中的各个数据块服务器的负载情况，分配存放数据的位置，以达到新的负载均衡。所以，对于添加新的数据块服务器的情况，系统中的副本不需要调整。
实施例三
参考图4，该数据存储系统中的故障处理的方法包括：
步骤410，若添加的新存储簇为N i，存储簇N i在Chord环中的位置是在存储簇Nj-1和N j之间，根据新的存储簇的管理节点的IP和端口号使用SHA-1算法得出所述Ni在Chord环中的位置N i；
步骤420，若所述Chord环上N j-1到N i的哈希空间为S 1，N i到N j之间的哈希空间为S 2，复制Ni和Nj上的数据到Ni上；
步骤430，删除所述N j-1上映射到所述S 2内的用户数据及元数据；删除所述N j中保存的所述N j-1上数据的冗余副本；删除所述N j-1中映射在所述S1内的用户数据及其元数据；
步骤440，若存储簇出现故障，故障存储簇编号为N j，N j-1到N j之间的哈希空间为S 3，N j到N j+1之间的哈希空间为S4，则将所述N j+1上存储的映射到S 2的数据复制到所述N j-1；将所述N j-1上存储的原副本数据复制到所述N j+1将所述N j+1上存储的映射到S 1的数据复制到N j+2。
示例性的，存储簇出现故障，一般是由于该存储簇的管理节点出现故障，导致的整个存储簇不可用，此时存放在故障存储簇上的数据副本数量在系统中可用数量变为两份，需要再生成一份新的副本，以提高系统的可靠性和可用性。
假设故障存储簇编号为N j，N j-1到N j之间的哈希空间为S 1，N j到N j+1之间的哈希空间为S 2，那么当存储簇出现故障的情况的一般处理过程如下：
(1)将存储簇N j+1上存储的映射到S 2的数据复制到存储簇N j-1；
(2)将存储簇N j-1上存储的原副本数据复制到存储簇N j+1；
(3)将存储簇N j+1上存储的映射到S 1的数据复制到N j+2。
实施例四
参考图5，该数据存储系统中的故障处理的方法包括：
步骤510，若添加的新存储簇为N i，存储簇N i在Chord环中的位置是在存储簇Nj-1和N j之间，根据新的存储簇的管理节点的IP和端口号使用SHA-1算法得出所述Ni在Chord环中的位置N i；
步骤520，若所述Chord环上N j-1到N i的哈希空间为S 1，N i到N j之间的哈希空间为S 2，复制Ni和Nj上的数据到Ni上；
步骤530，删除所述N j-1上映射到所述S 2内的用户数据及元数据；删除所述N j中保存的所述N j-1上数据的冗余副本；删除所述N j-1中映射在所述S1内的用户数据及其元数据；
步骤540，若非当前存储簇所有数据块服务器都出现故障，则存储簇的管理节点保存有每个数据块服务器节点的存放的数据的元数据，查询直接前继和直接后继存储簇获取丢失数据，将所述丢失数据重新存入到存储簇的其他数据块服务器上。
示例性的，云存储系统中如果某个存储簇中的数据块服务器出现故障，那么该数据块服务器上存放的副本数据的数据块就会丢失，也会导致这些副本数据的数据块的数量在云存储系统中变为两份，此时系统的可靠性会下降。某个存储簇中数据块服务器出现，则存在该故障数据数据块服务器上的数据块就不再可用。
为了系统的可靠性和可用性，需要在该存储簇中恢复这些丢失的数据。假如当前存储簇的所有数据块服务器都出现故障，可以按照第三种情况整个存储簇出现故障的处理策略进行处理。假如不是当前存储簇所有数据块服务器都出现故障，由放置策略可知，每份数据都会存放原副本，以及存放在直接前继和直接后继上的冗余副本等三份副本。存储簇的管理节点保存有每个数据块服务器节点的存放的数据的元数据，所以可知丢失哪些数据。通过查询直接前继和直接后继存储簇获取到这些丢失数据，重新存入到存储簇的其他数据块服务器上即可。
实施例五
参考图6，该数据存储系统中的故障处理的装置应用于通过配置客户端来进行数据存储系统中的故障处理的情况，该装置可以采用软件和/或硬件的方式实现，一般集成于存储簇的数据服务器中。如图6所示，装置包括：计算模块610、复制模块620和删除模块630；
计算模块610，用于若添加的新存储簇为N i，存储簇N i在Chord环中的位置是在存储簇N j-1和N j之间，根据新的存储簇的管理节点的IP和端口号使用SHA-1算法得出所述Ni在Chord环中的位置N i；
复制模块620，用于若所述Chord环上N j-1到N i的哈希空间为S 1，N i到N j之间的哈希空间为S 2，复制Ni和Nj上的数据到Ni上；
删除模块630，用于删除所述N j-1上映射到所述S 2内的用户数据及元数据；删除所述N j中保存的所述N j-1上数据的冗余副本；删除所述N j-1中映射在所述S 1内的用户数据及其元数据。
可选地，所述复制模块620，用于：
将通过哈希函数算出映射到所述S 1内的数据，从所述N j上复制到所述N i上；
将通过哈希函数算出映射到所述S 2内的数据，从所述N j上复制到所述N i上；
将所述N j保存的N j-1的冗余副本，复制到所述N i上。
可选地，所述装置还包括：
映射模块，用于若存储簇出现故障，故障存储簇编号为N j，N j-1到N j之间的哈希空间为S 3，N j到N j+1之间的哈希空间为S4，则将所述N j+1上存储的映射到S 2的数据复制到所述N j-1；将所述N j-1上存储的原副本数据复制到所述N j+1将所述N j+1上存储的映射到S 1的数据复制到N j+2。
可选地，所述装置还包括：
存储模块，用于若非当前存储簇所有数据块服务器都出现故障，则存储簇的管理节点保存有每个数据块服务器节点的存放的数据的元数据，查询直接前继和直接后继存储簇获取丢失数据，将所述丢失数据重新存入到存储簇的其他数据块服务器上。
实施例六
图7为本发明实施例六提供的一种设备的结构示意图，如图7所示，该设备包括处理器701、存储器702、输入装置703以及输出装置704；设备中处理器701的数量可以是一个或多个，图7中以一个处理器701为例；设备中的处理器701、存储器702、输入装置703以及输出装置704可以通过总线或其他方式连接，图7中以通过总线连接为例。
存储器702作为一种计算机可读存储介质，可用于存储软件程序、计算机可执行程序以及模块，如本发明实施例中的请求的负载均衡方法对应的程序指令/模块。处理器701通过运行存储在存储器702中的软件程序、指令以及模块，从而执行设备的各种功能应用以及数据存储系统中的故障处理，即实现上述的请求的数据存储系统中的故障处理的方法。
存储器702可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序；存储数据区可存储根据终端的使用所创建的数据等。此外，存储器702可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他非易失性固态存储器件。在一些实例中，存储器702可进一步包括相对于处理器701远程设置的存储器，这些远程存储器可以通过网络连接至设备。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
输入装置703可用于接收输入的数字或字符信息，以及产生与设备的用户设置以及功能控制有关的键信号输入。
输出装置704可包括显示屏等显示设备。
实施例七
本发明实施例七还提供一种包含计算机可执行指令的存储介质，所述计算机可执行指令在由计算机处理器执行时用于执行一种数据存储系统中的故障处理的方法，该方法包括：
若添加的新存储簇为N i，存储簇N i在Chord环中的位置是在存储簇N j-1和N j之间，根据新的存储簇的管理节点的IP和端口号使用SHA-1算法得出所述Ni在Chord环中的位置N i；
若所述Chord环上N j-1到N i的哈希空间为S 1，N i到N j之间的哈希空间为S 2，复制Ni和Nj上的数据到Ni上；
删除所述N j-1上映射到所述S 2内的用户数据及元数据；删除所述N j中保存的所述N j-1上数据的冗余副本；删除所述N j-1中映射在所述S 1内的用户数据及其元数据。
当然，本发明实施例所提供的一种包含计算机可执行指令的存储介质，其计算机可执行指令不限于如上所述的方法操作，还可以执行本发明任意实施例所提供的请求的负载均衡方法中的相关操作。
通过以上关于实施方式的描述，所属领域的技术人员可以清楚地了解到，本发明可借助软件及必需的通用硬件来实现，当然也可以通过硬件实现，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如计算机的软盘、只读存储器(Read-Only Memory，简称ROM)、随机存取存储器(RandomAccess Memory，简称RAM)、闪存(FLASH)、硬盘或光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述的方法。
值得注意的是，上述请求的负载均衡装置的实施例中，所包括的各个单元和模块只是按照功能逻辑进行划分的，但并不局限于上述的划分，只要能够实现相应的功能即可；另外，各功能单元的具体名称也只是为了便于相互区分，并不用于限制本发明的保护范围。
注意，上述仅为本发明的较佳实施例及所运用技术原理。本领域技术人员会理解，本发明不限于这里所述的特定实施例，对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本发明的保护范围。因此，虽然通过以上实施例对本发明进行了较为详细的说明，但是本发明不仅仅限于以上实施例，在不脱离本发明构思的情况下，还可以包括更多其他等效实施例，而本发明的范围由所附的权利要求范围决定。

Claims (10)

1.一种数据存储系统中的故障处理的方法，其特征在于，所述方法包括：
若添加的新存储簇为Ni，存储簇Ni在Chord环中的位置是在存储簇N j-1和Nj之间，根据新的存储簇的管理节点的IP和端口号使用SHA-1算法得出所述Ni在Chord环中的位置Ni；
若所述Chord环上N j-1到Ni的哈希空间为S1，Ni到Nj之间的哈希空间为S2，复制Ni和Nj上的数据到Ni上；
删除所述N j-1上映射到所述S2内的用户数据及元数据；删除所述Nj中保存的所述Nj-1上数据的冗余副本；删除所述N j-1中映射在所述S1内的用户数据及其元数据。
2.根据权利要求1所述的方法，其特征在于，所述复制Ni和Nj上的数据到Ni上，包括：
将通过哈希函数算出映射到所述S1内的数据，从所述Nj上复制到所述Ni上；
将通过哈希函数算出映射到所述S2内的数据，从所述Nj上复制到所述Ni上；
将所述Nj保存的N j-1的冗余副本，复制到所述Ni上。
3.根据权利要求1或2所述的方法，其特征在于，所述方法还包括：
若存储簇出现故障，故障存储簇编号为Nj，N j-1到Nj之间的哈希空间为S3，Nj到N j+1之间的哈希空间为S4，则将所述Nj+1上存储的映射到S2的数据复制到所述N j-1；将所述Nj-1上存储的原副本数据复制到所述N j+1将所述N j+1上存储的映射到S1的数据复制到Nj+2。
4.根据权利要求1或2所述的方法，其特征在于，所述方法还包括：
若非当前存储簇所有数据块服务器都出现故障，则存储簇的管理节点保存有每个数据块服务器节点的存放的数据的元数据，查询直接前继和直接后继存储簇获取丢失数据，将所述丢失数据重新存入到存储簇的其他数据块服务器上。
5.一种数据存储系统中的故障处理的装置，其特征在于，所述装置包括：
计算模块，用于若添加的新存储簇为Ni，存储簇Ni在Chord环中的位置是在存储簇N j-1和Nj之间，根据新的存储簇的管理节点的IP和端口号使用SHA-1算法得出所述Ni在Chord环中的位置Ni；
复制模块，用于若所述Chord环上N j-1到Ni的哈希空间为S1，Ni到Nj之间的哈希空间为S2，复制Ni和Nj上的数据到Ni上；
删除模块，用于删除所述N j-1上映射到所述S2内的用户数据及元数据；删除所述Nj中保存的所述N j-1上数据的冗余副本；删除所述N j-1中映射在所述S1内的用户数据及其元数据。
6.根据权利要求5所述的装置，其特征在于，所述复制模块，用于：
将通过哈希函数算出映射到所述S1内的数据，从所述Nj上复制到所述Ni上；
将通过哈希函数算出映射到所述S2内的数据，从所述Nj上复制到所述Ni上；
将所述Nj保存的N j-1的冗余副本，复制到所述Ni上。
7.根据权利要求5或6所述的装置，其特征在于，所述装置还包括：
映射模块，用于若存储簇出现故障，故障存储簇编号为Nj，N j-1到Nj之间的哈希空间为S3，Nj到N j+1之间的哈希空间为S4，则将所述N j+1上存储的映射到S2的数据复制到所述N j-1；将所述N j-1上存储的原副本数据复制到所述N j+1将所述N j+1上存储的映射到S1的数据复制到N j+2。
8.根据权利要求5或6所述的装置，其特征在于，所述装置还包括：
存储模块，用于若非当前存储簇所有数据块服务器都出现故障，则存储簇的管理节点保存有每个数据块服务器节点的存放的数据的元数据，查询直接前继和直接后继存储簇获取丢失数据，将所述丢失数据重新存入到存储簇的其他数据块服务器上。
9.一种节点设备，其特征在于，包括：
一个或多个处理器；
存储装置，用于存储一个或多个程序；
所述一个或多个程序被所述处理器执行，使得所述处理器实现权利要求1-4中任一项所述的数据存储系统中的故障处理的方法。
10.一种计算机可读存储介质，其特征在于，其上存储有计算机程序，该计算机程序被处理器执行时实现权利要求1-4中任一项所述的数据存储系统中的故障处理的方法。
CN201710891010.2A 2017-09-27 2017-09-27 一种数据存储系统中的故障处理的方法、装置、节点设备以及存储介质 Pending CN107734008A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710891010.2A CN107734008A (zh) 2017-09-27 2017-09-27 一种数据存储系统中的故障处理的方法、装置、节点设备以及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710891010.2A CN107734008A (zh) 2017-09-27 2017-09-27 一种数据存储系统中的故障处理的方法、装置、节点设备以及存储介质

Publications (1)

Publication Number Publication Date
CN107734008A true CN107734008A (zh) 2018-02-23

Family

ID=61206481

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710891010.2A Pending CN107734008A (zh) 2017-09-27 2017-09-27 一种数据存储系统中的故障处理的方法、装置、节点设备以及存储介质

Country Status (1)

Country Link
CN (1) CN107734008A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110457263A (zh) * 2019-08-13 2019-11-15 北京首都在线科技股份有限公司 一种数据存储方法和装置
CN111399754A (zh) * 2019-09-03 2020-07-10 杭州海康威视系统技术有限公司 存储空间的释放方法、装置及分布式系统

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101729390A (zh) * 2008-10-22 2010-06-09 中国移动通信集团公司 分布式哈希表dht网络及其构建方法、节点
CN102035861A (zh) * 2009-09-24 2011-04-27 中兴通讯股份有限公司 一种单跳分布式哈希表叠加网络的负载均衡方法和系统
CN103139081A (zh) * 2011-11-28 2013-06-05 中兴通讯股份有限公司 分布式哈希表路由表更新方法及节点
CN105743980A (zh) * 2016-02-03 2016-07-06 上海理工大学 一种自组织的云资源共享分布式对等网络模型构造方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101729390A (zh) * 2008-10-22 2010-06-09 中国移动通信集团公司 分布式哈希表dht网络及其构建方法、节点
CN102035861A (zh) * 2009-09-24 2011-04-27 中兴通讯股份有限公司 一种单跳分布式哈希表叠加网络的负载均衡方法和系统
CN103139081A (zh) * 2011-11-28 2013-06-05 中兴通讯股份有限公司 分布式哈希表路由表更新方法及节点
CN105743980A (zh) * 2016-02-03 2016-07-06 上海理工大学 一种自组织的云资源共享分布式对等网络模型构造方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
赵奇: "基于DHT的P2P资源定位算法研究及Chord协议的改进", 《中国优秀硕士学位论文全文数据库信息科技辑》 *
高俊华: "分层网络资源发现机制及结构化Chord协议的改进", 《中国优秀硕士学位论文全文数据库信息科技辑》 *

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110457263A (zh) * 2019-08-13 2019-11-15 北京首都在线科技股份有限公司 一种数据存储方法和装置
CN110457263B (zh) * 2019-08-13 2021-10-26 北京首都在线科技股份有限公司 一种数据存储方法和装置
CN111399754A (zh) * 2019-09-03 2020-07-10 杭州海康威视系统技术有限公司 存储空间的释放方法、装置及分布式系统
CN111399754B (zh) * 2019-09-03 2023-11-03 杭州海康威视系统技术有限公司 存储空间的释放方法、装置及分布式系统

Similar Documents

Publication Publication Date Title
CN104008152B (zh) 支持海量数据访问的分布式文件系统的架构方法
US9904599B2 (en) Method, device, and system for data reconstruction
CN109729129A (zh) 存储集群的配置修改方法、存储集群及计算机系统
JP2008533564A (ja) データ管理のための方法および装置
JP7270755B2 (ja) 分散システムでのメタデータルーティング
US8296420B2 (en) Method and apparatus for constructing a DHT-based global namespace
WO2010121218A2 (en) Policy-based storage structure distribution
US10320905B2 (en) Highly available network filer super cluster
KR101371202B1 (ko) 멀티 메타데이터 서버 구조를 갖는 분산 파일 시스템 및 이를 이용한 데이터 처리 방법
Trifa et al. A novel replication technique to attenuate churn effects
CN107547657A (zh) 一种基于云存储系统中单点数据编号的方法、装置以及存储介质
CN104951475B (zh) 分布式文件系统和实现方法
CN107734008A (zh) 一种数据存储系统中的故障处理的方法、装置、节点设备以及存储介质
Zhao et al. Research of P2P architecture based on cloud computing
CN107678688A (zh) 一种基于云存储系统中的管理冗余副本的方法、装置和存储介质
Confais et al. Data location management protocol for object stores in a fog computing infrastructure
Pérez-Miguel et al. High throughput computing over peer-to-peer networks
Dewan et al. Julunga: A new large-scale distributed read-write file storage system for cloud computing environments
CN106657334A (zh) 一种基于Chord网络模型的改进数据复制方法
Dobre et al. A fault-tolerant approach to storing objects in distributed systems
CN107707643A (zh) 一种数据存储系统中更新数据的方法及装置
Brinkmann et al. Request load balancing for highly skewed traffic in p2p networks
Huang et al. A novel replica placement strategy for data center network
Boukhelef et al. Dynamic load balancing in RCAN content addressable network
JP5845298B2 (ja) ノードおよびプログラム

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20180223

RJ01 Rejection of invention patent application after publication