CN110209670A - 基于网络存储设备集群的数据处理方法及装置 - Google Patents

基于网络存储设备集群的数据处理方法及装置 Download PDF

Info

Publication number
CN110209670A
CN110209670A CN201910386652.6A CN201910386652A CN110209670A CN 110209670 A CN110209670 A CN 110209670A CN 201910386652 A CN201910386652 A CN 201910386652A CN 110209670 A CN110209670 A CN 110209670A
Authority
CN
China
Prior art keywords
network storage
data
storage equipment
equipment
cluster
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910386652.6A
Other languages
English (en)
Other versions
CN110209670B (zh
Inventor
秦江波
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Cat Disk Technology Co Ltd
Original Assignee
Beijing Cat Disk Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Cat Disk Technology Co Ltd filed Critical Beijing Cat Disk Technology Co Ltd
Priority to CN201910386652.6A priority Critical patent/CN110209670B/zh
Publication of CN110209670A publication Critical patent/CN110209670A/zh
Application granted granted Critical
Publication of CN110209670B publication Critical patent/CN110209670B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/07—Responding to the occurrence of a fault, e.g. fault tolerance
    • G06F11/14—Error detection or correction of the data by redundancy in operation
    • G06F11/1402—Saving, restoring, recovering or retrying
    • G06F11/1446—Point-in-time backing up or restoration of persistent data
    • G06F11/1448—Management of the data involved in backup or backup restore
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/07—Responding to the occurrence of a fault, e.g. fault tolerance
    • G06F11/14—Error detection or correction of the data by redundancy in operation
    • G06F11/1402—Saving, restoring, recovering or retrying
    • G06F11/1446—Point-in-time backing up or restoration of persistent data
    • G06F11/1458—Management of the backup or restore process
    • G06F11/1464—Management of the backup or restore process for networked environments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/22—Indexing; Data structures therefor; Storage structures
    • G06F16/2228—Indexing structures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/23—Updating
    • G06F16/2365—Ensuring data consistency and integrity
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/27—Replication, distribution or synchronisation of data between databases or within a distributed database system; Distributed database system architectures therefor
    • H—ELECTRICITY
    • H03—ELECTRONIC CIRCUITRY
    • H03M—CODING; DECODING; CODE CONVERSION IN GENERAL
    • H03M13/00—Coding, decoding or code conversion, for error detection or error correction; Coding theory basic assumptions; Coding bounds; Error probability evaluation methods; Channel models; Simulation or testing of codes
    • H03M13/03—Error detection or forward error correction by redundancy in data representation, i.e. code words containing more digits than the source words
    • H03M13/05—Error detection or forward error correction by redundancy in data representation, i.e. code words containing more digits than the source words using block codes, i.e. a predetermined number of check bits joined to a predetermined number of information bits
    • H03M13/11—Error detection or forward error correction by redundancy in data representation, i.e. code words containing more digits than the source words using block codes, i.e. a predetermined number of check bits joined to a predetermined number of information bits using multiple parity bits
    • H03M13/1102—Codes on graphs and decoding on graphs, e.g. low-density parity check [LDPC] codes

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Databases & Information Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Quality & Reliability (AREA)
  • Computer Security & Cryptography (AREA)
  • Probability & Statistics with Applications (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本申请公开了一种基于网络存储设备集群的数据处理方法及装置。该方法包括：当网络存储设备N发起与网络存储设备M的点对点连接，拟从网络存储设备M中读取数据或向网络存储设备M写入数据时，判断所述网络存储设备M是否有效，其中，N和M为整数，表示网络存储设备的ID；如果网络存储设备M失效，则尝试采用未失效的所述网络存储设备在网络存储设备N读取数据时恢复数据，并且在所述数据的恢复过程中使所述失效的网络存储设备节点数不超过预设纠错码的容错能力。本申请解决了云存储中的副本冗余、RS纠删码等都会占用大量存储空间和计算资源的技术问题。通过本申请的方法，降低了分布式副本冗余方案的存储空间占用，降低了RS纠删码的计算资源消耗。

Description

基于网络存储设备集群的数据处理方法及装置
技术领域
本申请涉及数据处理领域，具体而言，涉及一种基于网络存储设备集群的数据处理方法及装置。
背景技术
针对企业客户或个人用户的本地存储资源如计算机、移动硬盘、USB闪存、网络存储设备(英文全称：Network Attached Storage，简称：NAS)等均存在资源和访问的局限，通过使用云存储的可以让使用者在任何时间、地点，通过可连网并安装云存储应用的装置，方便地访问云存储空间和存取数据。
发明人发现，对于云存储中的副本冗余、RS纠删码等都会占用大量存储空间并且消耗大量计算资源。
针对相关技术中云存储中的副本冗余、RS纠删码等都占用大量存储空间和计算资源的问题，目前尚未提出有效的解决方案。
发明内容
本申请的主要目的在于提供一种基于网络存储设备集群的数据处理方法及装置，以解决云存储中的副本冗余、RS纠删码等都占用大量存储空间和计算资源的问题。
为了实现上述目的，根据本申请的一个方面，提供了一种基于网络存储设备集群的数据处理方法。
本申请提供了一种基于网络存储设备集群的数据处理方法包括：当网络存储设备N发起与网络存储设备M的点对点连接，拟从网络存储设备M中读取数据或向网络存储设备M写入数据时，判断所述网络存储设备M是否有效，其中，N和M为整数，表示网络存储设备的ID；如果网络存储设备M失效，则尝试采用未失效的所述网络存储设备在网络存储设备N读取数据时恢复数据，并且在所述数据的恢复过程中使所述失效的网络存储设备节点数不超过预设纠错码的容错能力。
进一步地，如果网络存储设备M失效，则尝试采用未失效的所述网络存储设备在网络存储设备N读取数据时恢复数据时还包括：在读取数据的所述网络存储设备节点，根据所述预设纠错码读取与所述数据属于同一编码组中的数据；以及如果判断所述数据所在的其他网络存储设备的节点中有效，则读取所述其他网络存储设备上的数据。
进一步地，还包括：当所述网络存储设备拟进行写数据操作时，将待写入的所述数据写入相应的网络存储设备节点，并对属于同一数据块组中并参与编码的其他校验数据同步更新。
进一步地，所述预设纠错码为：LDPC纠错码。
进一步地，所述网络存储设备组成了一个分布式存储集群，所述分布式存储集群按照如下方法建立：在多个网络存储设备之间建立Peer-to-Peer，P2P连接；以及在索引和信令服务器和多个所述网络存储设备之间建立第二连接，以使所述网络存储设备组成分布式存储集群，其中，所述预设服务器被配置为：提供索引和信令。
为了实现上述目的，根据本申请的另一方面，提供了一种基于网络存储设备集群的数据处理装置。
根据本申请的基于网络存储设备集群的数据处理装置包括：判断模块，当网络存储设备N发起与网络存储设备M的点对点连接，拟从网络存储设备M中读取数据或向网络存储设备M写入数据时，判断所述网络存储设备M是否有效，其中，N和M为整数，表示网络存储设备的ID；恢复模块，用于在网络存储设备M失效时，则尝试采用未失效的所述网络存储设备在网络存储设备N读取数据时恢复数据，并且在所述数据的恢复过程中使所述失效的网络存储设备节点数不超过预设纠错码的容错能力。
进一步地，还包括：读取模块，所述读取模块包括：第一读取单元，用于在读取数据的所述网络存储设备节点，根据所述预设纠错码读取与所述数据属于同一编码组中的数据；以及第二读取单元，用于判断所述数据所在的其他网络存储设备的节点中有效时，则读取所述其他网络存储设备上的数据。
进一步地，装置还包括：写入模块，所述写入模块包括：写入单元，用于当所述网络存储设备拟进行写数据操作时，将待写入的所述数据写入相应的网络存储设备的节点，并对属于同一数据块组中并参与编码的其他校验数据同步更新。
进一步地，装置还包括：集群模块，所述集群模块包括：第一建立单元，用于在多个网络存储设备之间的建立第一连接；以及第二建立单元，用于在预设服务器和多个所述网络存储设备之间建立第二连接，以使所述网络存储设备组成分布式存储集群，其中，所述预设服务器被配置为：提供索引和信令。
进一步地，所述恢复模块包括：LDPC编码器，用于使用二进制异或运算进行LDPC纠错码编码。
在本申请实施例中基于网络存储设备集群的数据处理方法及装置，实现了降低存储空间占用和降低计算资源的的技术效果，进而解决了云存储中的副本冗余、RS纠删码等都占用大量存储空间和计算资源的问题。
附图说明
构成本申请的一部分的附图用来提供对本申请的进一步理解，使得本申请的其它特征、目的和优点变得更明显。本申请的示意性实施例附图及其说明用于解释本申请，并不构成对本申请的不当限定。在附图中：
图1是根据本申请第一实施例中的基于网络存储设备集群的数据处理方法示意图；
图2是根据本申请第二实施例中的基于网络存储设备集群的数据处理方法示意图；
图3是根据本申请第三实施例中的基于网络存储设备集群的数据处理方法示意图；
图4是根据本申请第四实施例中的基于网络存储设备集群的数据处理方法示意图；
图5是根据本申请第一实施例中的基于网络存储设备集群的数据处理装置示意图；
图6是根据本申请第二实施例中的基于网络存储设备集群的数据处理装置示意图；
图7是根据本申请第三实施例中的基于网络存储设备集群的数据处理装置示意图；
图8是根据本申请第四实施例中的基于网络存储设备集群的数据处理装置示意图；
图9是本申请的实现原理示意图；
图10是本申请的新型分布式存储集群结构示意图。
具体实施方式
为了使本技术领域的人员更好地理解本申请方案，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分的实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本申请保护的范围。
需要说明的是，本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本申请的实施例。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
在本申请中，术语“上”、“下”、“左”、“右”、“前”、“后”、“顶”、“底”、“内”、“外”、“中”、“竖直”、“水平”、“横向”、“纵向”等指示的方位或位置关系为基于附图所示的方位或位置关系。这些术语主要是为了更好地描述本申请及其实施例，并非用于限定所指示的装置、元件或组成部分必须具有特定方位，或以特定方位进行构造和操作。
并且，上述部分术语除了可以用于表示方位或位置关系以外，还可能用于表示其他含义，例如术语“上”在某些情况下也可能用于表示某种依附关系或连接关系。对于本领域普通技术人员而言，可以根据具体情况理解这些术语在本申请中的具体含义。
此外，术语“安装”、“设置”、“设有”、“连接”、“相连”、“套接”应做广义理解。例如，可以是固定连接，可拆卸连接，或整体式构造；可以是机械连接，或电连接；可以是直接相连，或者是通过中间媒介间接相连，又或者是两个装置、元件或组成部分之间内部的连通。对于本领域普通技术人员而言，可以根据具体情况理解上述术语在本申请中的具体含义。
需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本申请。
如图1所示，该方法包括如下的步骤S102至步骤S104：
步骤S102，当网络存储设备N发起与网络存储设备M的点对点连接，拟从网络存储设备M中读取数据或向网络存储设备M写入数据时，判断所述网络存储设备M是否有效，其中，N和M为整数，表示网络存储设备的ID
在由非服务器的网络存储设备组成的分布式存储系统中，无法耗费过多的计算处理资源于类似RS纠删码的容错编码的编解码运算，即要求编译码算法相对简单，且计算复杂度较小。网络存储设备拟从其他网络存储设备中读取数据时，首先需要判断所述数据所在的其他网络存储设备的节点是否有效。
步骤S104，如果网络存储设备M失效，则尝试采用未失效的所述网络存储设备在网络存储设备N读取数据时恢复数据，并且在所述数据的恢复过程中使所述失效的网络存储设备节点数不超过预设纠错码的容错能力。
如果判断所述数据所在的其他网络存储设备的节点中失效时，则需要采用所述其他网络存储设备的节点上的数据丢失数据进行恢复。通常地，如果当某个网络存储设备需要从其他网络存储设备读取数据时，如果所有数据所在存储节点都完好，则数据读取完成，此时的读性能最好。为了保证数据读取完成，当存储于其他网络存储设备的节点上的数据暂时无法访问或已丢失，需要利用其他网络存储设备节点上的数据来进行丢失数据的恢复。
具体地，如图9所示，通过采用短LDPC纠删码的冗余方案，解决了副本冗余方案的高存储空间占用，和RS纠删码需要消耗大量计算资源的问题。
考虑到在由非服务器的网络存储设备组成的分布式存储系统中，无法耗费过多的计算处理资源于类似RS纠删码的容错编码的编解码运算，即要求编译码算法相对简单，且计算复杂度较小。
具体地，当某个网络存储设备需要从其他网络存储设备读取数据时，如果所有数据所在存储节点都完好，则数据读取完成，此时的读性能最好；但当数据所在网络存储设备节点发生失效，则存储于其上的数据暂时无法访问或已丢失，这就需要利用其他网络存储设备节点上的数据来进行丢失数据的恢复，读取数据的网络存储设备节点将根据短LDPC码的tanner图，读取与此数据同一编码组的其他数据，在失效存储节点数不超过短LDPC码的容错能力的情况下，就可解码恢复原始数据。当某个网络存储设备需要进行写数据操作时，除了需要将此数据写入相应的存储节点，还需要对同一数据块组中参与编码的其他校验数据同步更新。
从以上的描述中，可以看出，本申请实现了如下技术效果：
在本申请实施例中基于网络存储设备集群的数据处理方法及装置，采用当网络存储设备拟从其他网络存储设备中读取数据时，判断所述数据所在的其他网络存储设备的节点是否有效的方式，通过判断所述数据所在的其他网络存储设备的节点中失效，则采用所述其他网络存储设备的节点上的数据进行丢失数据的恢复，达到了在所述数据的恢复过程中使所述失效的存储节点数不超过预设纠错码的容错能力的目的，从而实现了采用预设纠错码处理纠删码的冗余方案，实现了降低存储空间占用和降低计算资源的的技术效果，进而解决了占用大量存储空间和计算资源的技术问题。
根据本申请实施例，作为本实施例中的优选，如图2所示，如果网络存储设备M失效，则尝试采用未失效的所述网络存储设备在网络存储设备N读取数据时恢复数据时还包括：
步骤S202，在读取数据的所述网络存储设备节点，根据所述预设纠错码读取与所述数据属于同一编码组中的数据；以及
步骤S204，如果判断所述数据所在的其他网络存储设备的节点中有效，则读取所述其他网络存储设备上的数据。
具体地，利用分布式存储集群中其他网络存储设备节点上的数据来进行丢失数据的恢复，读取数据的网络存储设备节点将根据所述预设纠错码的tanner图，读取与该数据属于同一编码组的其他数据，并且在失效存储节点数不超过预设纠错码的容错能力的情况下，即可通过解码恢复原始数据。
根据本申请实施例，作为本实施例中的优选，如图3所示，还包括：步骤S302，当所述网络存储设备拟进行写数据操作时，将待写入的所述数据写入相应的网络存储设备的节点，并对属于同一数据块组中并参与编码的其他校验数据同步更新。具体地，当某个网络存储设备需要进行写数据操作时，除了需要将所述数据写入相应的存储节点，还需要对属于同一数据块组(属于同一数据纠删码的冗余方案)中参与编码的其他校验数据同步更新。
优选地，所述预设纠错码为：LDPC纠错码。通过采用LDPC纠错码纠删码的冗余方案，在失效存储节点数不超过短LDPC码的容错能力的情况下，就可解码恢复原始数据。LDPC纠错码由于具有较低的迭代译码复杂度，是目前接近信道容量限的最佳编码技术之一，LDPC纠错码运算仅需使用二进制异或运算，计算负载非常低，符合编译码算法相对简单，且计算复杂度较小的要求。
根据本申请实施例，作为本实施例中的优选，如图4所示，所述网络存储设备组成了一个分布式存储集群，所述分布式存储集群按照如下方法建立：
步骤S402，在多个网络存储设备之间的建立第一连接；以及
所述网络存储设备，是指具备本地和远程访问能力，但存储容量缺乏弹性，当本地存储器损坏时无法确保用户数据安全，远程访问文件传输速率体验较差。
通过在多个所述网络存储设备之间建立第一连接，可以完成对于分布式存储集群的构建。由于在每个所述网络存储设备之间建立了连接，从而可以在所述网络存储设备之间极性数据的读取或写入。所述网络存储设备之间通过节点间的第一连接组成分布式存储集群。
步骤S404，在预设服务器和多个所述网络存储设备之间建立第二连接，以使所述网络存储设备组成分布式存储集群。
通过在预设服务器和所述网络存储设备之间建立相关连接，可以使得所述网络存储设备组成分布式存储集群。
具体地，由于通过将网络存储设备组成分布式存储集群，可以解决公有云和私有云存储成本高的问题。由于每个所述网络存储设备之间建立了连接，可以解决集中式存储的单点稳定性、可用性和扩展性问题。通过在预设服务器和多个所述网络存储设备之间建立的连接，可以解决分布式存储的分布式节点性能差异的问题。
如图10所示，通过将网络存储设备组成分布式存储集群，解决公有云和私有云存储成本高的问题，解决集中式存储的单点稳定性、可用性和扩展性问题，解决分布式存储的分布式节点性能差异问题。采用可提供索引和信令的索引服务器和信令服务器与每个网络存储设备建立长连接，网络存储设备通过节点间的P2P连接组成分布式存储集群。
需要说明的是，在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行，并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。
根据本申请实施例，还提供了一种用于实施上述基于网络存储设备集群的数据处理方法的装置，如图5所示，该装置包括：判断模块10，当网络存储设备N发起与网络存储设备M的点对点连接，拟从网络存储设备M中读取数据或向网络存储设备M写入数据时，判断所述网络存储设备M是否有效，其中，N和M为整数，表示网络存储设备的ID；恢复模块20，用于在网络存储设备M失效时，则尝试采用未失效的所述网络存储设备在网络存储设备N读取数据时恢复数据，并且在所述数据的恢复过程中使所述失效的网络存储设备节点数不超过预设纠错码的容错能力。
本申请实施例的判断模块10中在由非服务器的网络存储设备组成的分布式存储系统中，无法耗费过多的计算处理资源于类似RS纠删码的容错编码的编解码运算，即要求编译码算法相对简单，且计算复杂度较小。网络存储设备拟从其他网络存储设备中读取数据时，首先需要判断所述数据所在的其他网络存储设备的节点是否有效。
本申请实施例的恢复模块20中如果判断所述数据所在的其他网络存储设备的节点中失效时，则需要采用所述其他网络存储设备的节点上的数据丢失数据进行恢复。通常地，如果当某个网络存储设备需要从其他网络存储设备读取数据时，如果所有数据所在存储节点都完好，则数据读取完成，此时的读性能最好。为了保证数据读取完成，当存储于其他网络存储设备的节点上的数据暂时无法访问或已丢失，需要利用其他网络存储设备节点上的数据来进行丢失数据的恢复。
根据本申请实施例，作为本实施例中的优选，如图所示6，装置还包括：读取模块30，所述读取模块30包括：第一读取单元301，用于在读取数据的所述网络存储设备节点，根据所述预设纠错码读取与所述数据属于同一编码组中的数据；以及第二读取单元302，用于判断所述数据所在的其他网络存储设备的节点中有效时，则读取所述其他网络存储设备上的数据。
本申请实施例的第一读取单元301、第二读取单元302中具体地，利用分布式存储集群中其他网络存储设备节点上的数据来进行丢失数据的恢复，读取数据的网络存储设备节点将根据所述预设纠错码的tanner图，读取与该数据属于同一编码组的其他数据，并且在失效存储节点数不超过预设纠错码的容错能力的情况下，即可通过解码恢复原始数据。
根据本申请实施例，作为本实施例中的优选，如图所示7，还包括：写入模块40，所述写入模块40包括：写入单元401，用于当所述网络存储设备拟进行写数据操作时，将待写入的所述数据写入相应的网络存储设备的节点，并对属于同一数据块组中并参与编码的其他校验数据同步更新。
本申请实施例的写入单元401中具体地，当某个网络存储设备需要进行写数据操作时，除了需要将所述数据写入相应的存储节点，还需要对属于同一数据块组(属于同一数据纠删码的冗余方案)中参与编码的其他校验数据同步更新。
根据本申请实施例，作为本实施例中的优选，如图所示8，还包括：集群模块，所述集群模块包括：第一建立单元501，用于在多个网络存储设备之间的建立第一连接；以及第二建立单元502，用于第二在预设服务器和多个所述网络存储设备之间建立第二连接，以使所述网络存储设备组成分布式存储集群。
本申请实施例的第一建立单元501中所述网络存储设备，是指具备本地和远程访问能力，但存储容量缺乏弹性，当本地存储器损坏时无法确保用户数据安全，远程访问文件传输速率体验较差。
通过在多个所述网络存储设备之间建立第一连接，可以完成对于分布式存储集群的构建。由于在每个所述网络存储设备之间建立了连接，从而可以在所述网络存储设备之间极性数据的读取或写入。所述网络存储设备之间通过节点间的第一连接组成分布式存储集群。
本申请实施例的第二建立单元502中通过在预设服务器和所述网络存储设备之间建立相关连接，可以使得所述网络存储设备组成分布式存储集群。
具体地，由于通过将网络存储设备组成分布式存储集群，可以解决公有云和私有云存储成本高的问题。由于每个所述网络存储设备之间建立了连接，可以解决集中式存储的单点稳定性、可用性和扩展性问题。通过在预设服务器和多个所述网络存储设备之间建立的连接，可以解决分布式存储的分布式节点性能差异的问题。
优选地，所述恢复模块包括：LDPC编码器，用于使用二进制异或运算进行LDPC纠错码编码。
显然，本领域的技术人员应该明白，上述的本申请的各模块或各步骤可以用通用的计算装置来实现，它们可以集中在单个的计算装置上，或者分布在多个计算装置所组成的网络上，可选地，它们可以用计算装置可执行的程序代码来实现，从而，可以将它们存储在存储装置中由计算装置来执行，或者将它们分别制作成各个集成电路模块，或者将它们中的多个模块或步骤制作成单个集成电路模块来实现。这样，本申请不限制于任何特定的硬件和软件结合。
以上所述仅为本申请的优选实施例而已，并不用于限制本申请，对于本领域的技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。

Claims (10)

1.一种基于网络存储设备集群的数据处理方法，其特征在于，包括：
当网络存储设备N发起与网络存储设备M的点对点连接，拟从网络存储设备M中读取数据或向网络存储设备M写入数据时，判断所述网络存储设备M是否有效，其中，N和M为整数，表示网络存储设备的ID；
如果网络存储设备M失效，则尝试采用未失效的所述网络存储设备在网络存储设备N读取数据时恢复数据，并且在所述数据的恢复过程中使所述失效的网络存储设备节点数不超过预设纠错码的容错能力。
2.根据权利要求1所述的数据处理方法，其特征在于，如果网络存储设备M失效，则尝试采用未失效的所述网络存储设备在网络存储设备N读取数据时恢复数据时还包括：
在读取数据的所述网络存储设备节点，根据所述预设纠错码读取与所述数据属于同一编码组中的数据；以及
如果判断所述数据所在的其他网络存储设备的节点中有效，则读取所述其他网络存储设备上的数据。
3.根据权利要求2所述的数据处理方法，其特征在于，还包括：
当所述网络存储设备拟进行写数据操作时，将待写入的所述数据写入相应的网络存储设备节点，并对属于同一数据块组中并参与编码的其他校验数据同步更新。
4.根据权利要求1所述的数据处理方法，其特征在于，所述预设纠错码为：LDPC纠错码。
5.根据权利要求1所述的数据处理方法，其特征在于，所述网络存储设备组成了一个分布式存储集群，所述分布式存储集群按照如下方法建立：在多个网络存储设备之间建立Peer-to-Peer，P2P连接；以及
在索引和信令服务器和多个所述网络存储设备之间建立第二连接，以使所述网络存储设备组成分布式存储集群，其中，所述预设服务器被配置为：提供索引和信令。
6.一种基于网络存储设备集群的数据处理装置，其特征在于，包括：
判断模块，当网络存储设备N发起与网络存储设备M的点对点连接，拟从网络存储设备M中读取数据或向网络存储设备M写入数据时，判断所述网络存储设备M是否有效，其中，N和M为整数，表示网络存储设备的ID；
恢复模块，用于在网络存储设备M失效时，则尝试采用未失效的所述网络存储设备在网络存储设备N读取数据时恢复数据，并且在所述数据的恢复过程中使所述失效的网络存储设备节点数不超过预设纠错码的容错能力。
7.根据权利要求6所述的数据处理装置，其特征在于，还包括：读取模块，所述读取模块包括：
第一读取单元，用于在读取数据的所述网络存储设备节点，根据所述预设纠错码读取与所述数据属于同一编码组中的数据；以及
第二读取单元，用于判断所述数据所在的其他网络存储设备的节点中有效时，则读取所述其他网络存储设备上的数据。
8.根据权利要求7所述的数据处理装置，其特征在于，还包括：写入模块，所述写入模块包括：
写入单元，用于当所述网络存储设备拟进行写数据操作时，将待写入的所述数据写入相应的网络存储设备的节点，并对属于同一数据块组中并参与编码的其他校验数据同步更新。
9.根据权利要求6所述的数据处理装置，其特征在于，还包括：集群模块，所述集群模块包括：
第一建立单元，用于在多个网络存储设备之间的建立第一连接；以及
第二建立单元，用于在预设服务器和多个所述网络存储设备之间建立第二连接，以使所述网络存储设备组成分布式存储集群，其中，所述预设服务器被配置为：提供索引和信令。
10.根据权利要求6所述的数据处理装置，其特征在于，所述恢复模块包括：LDPC编码器，用于使用二进制异或运算进行LDPC纠错码编码。
CN201910386652.6A 2019-05-09 2019-05-09 基于网络存储设备集群的数据处理方法及装置 Active CN110209670B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910386652.6A CN110209670B (zh) 2019-05-09 2019-05-09 基于网络存储设备集群的数据处理方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910386652.6A CN110209670B (zh) 2019-05-09 2019-05-09 基于网络存储设备集群的数据处理方法及装置

Publications (2)

Publication Number Publication Date
CN110209670A true CN110209670A (zh) 2019-09-06
CN110209670B CN110209670B (zh) 2022-03-25

Family

ID=67787024

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910386652.6A Active CN110209670B (zh) 2019-05-09 2019-05-09 基于网络存储设备集群的数据处理方法及装置

Country Status (1)

Country Link
CN (1) CN110209670B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111475109A (zh) * 2020-03-20 2020-07-31 苏州浪潮智能科技有限公司 一种数据处理方法、装置、设备及介质

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TW200601733A (en) * 2004-06-21 2006-01-01 Spin Interactive Technology Co Ltd Network cluster file backup and storage system and control method thereof
US20080126842A1 (en) * 2006-09-27 2008-05-29 Jacobson Michael B Redundancy recovery within a distributed data-storage system
CN102520890A (zh) * 2011-12-30 2012-06-27 北京天地云箱科技有限公司 基于gpu的rs-draid系统及存储设备数据控制方法
CN102681791A (zh) * 2012-04-13 2012-09-19 华中科技大学 一种集群存储系统的节能存储方法
CN102857554A (zh) * 2012-07-26 2013-01-02 福建网龙计算机网络信息技术有限公司 基于分布式存储系统进行数据冗余处理方法
CN103544270A (zh) * 2013-10-18 2014-01-29 南京大学镇江高新技术研究院 面向数据中心的通用化网络编码容错存储平台及工作方法
CN104052576A (zh) * 2014-06-07 2014-09-17 华中科技大学 一种云存储下基于纠错码的数据恢复方法
CN106708653A (zh) * 2016-12-29 2017-05-24 广州中国科学院软件应用技术研究所 一种基于纠删码与多副本的混合税务大数据安全保护方法
CN109117292A (zh) * 2017-06-22 2019-01-01 中兴通讯股份有限公司 一种集群存储的方法和装置及集群存储系统
CN109254956A (zh) * 2018-07-27 2019-01-22 深圳市江波龙电子股份有限公司 一种数据存储的方法、数据下载的方法、装置及电子设备

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TW200601733A (en) * 2004-06-21 2006-01-01 Spin Interactive Technology Co Ltd Network cluster file backup and storage system and control method thereof
US20080126842A1 (en) * 2006-09-27 2008-05-29 Jacobson Michael B Redundancy recovery within a distributed data-storage system
CN102520890A (zh) * 2011-12-30 2012-06-27 北京天地云箱科技有限公司 基于gpu的rs-draid系统及存储设备数据控制方法
CN102681791A (zh) * 2012-04-13 2012-09-19 华中科技大学 一种集群存储系统的节能存储方法
CN102857554A (zh) * 2012-07-26 2013-01-02 福建网龙计算机网络信息技术有限公司 基于分布式存储系统进行数据冗余处理方法
CN103544270A (zh) * 2013-10-18 2014-01-29 南京大学镇江高新技术研究院 面向数据中心的通用化网络编码容错存储平台及工作方法
CN104052576A (zh) * 2014-06-07 2014-09-17 华中科技大学 一种云存储下基于纠错码的数据恢复方法
CN106708653A (zh) * 2016-12-29 2017-05-24 广州中国科学院软件应用技术研究所 一种基于纠删码与多副本的混合税务大数据安全保护方法
CN109117292A (zh) * 2017-06-22 2019-01-01 中兴通讯股份有限公司 一种集群存储的方法和装置及集群存储系统
CN109254956A (zh) * 2018-07-27 2019-01-22 深圳市江波龙电子股份有限公司 一种数据存储的方法、数据下载的方法、装置及电子设备

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
徐文强: "基于HDFS的云存储系统研究—分布式架构REPERA设计与实现", 《中国优秀硕士学位论文全文数据库信息科技辑》 *
杨明: "基于LDPC码的分布式容灾系统及其性能研究", 《中国优秀硕士学位论文全文数据库信息科技辑》 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111475109A (zh) * 2020-03-20 2020-07-31 苏州浪潮智能科技有限公司 一种数据处理方法、装置、设备及介质
CN111475109B (zh) * 2020-03-20 2022-10-28 苏州浪潮智能科技有限公司 一种数据处理方法、装置、设备及介质

Also Published As

Publication number Publication date
CN110209670B (zh) 2022-03-25

Similar Documents

Publication Publication Date Title
CN106662983B (zh) 分布式存储系统中的数据重建的方法、装置和系统
CN104052576B (zh) 一种云存储下基于纠错码的数据恢复方法
US9722637B2 (en) Construction of MBR (minimum bandwidth regenerating) codes and a method to repair the storage nodes
US9104603B2 (en) Method of exact repair of pairs of failed storage nodes in a distributed data storage system and corresponding device
CN105393225A (zh) 跨多个区的纠删编码
WO2020010505A1 (zh) 分布式存储系统的数据同步修复方法及存储介质
US20150127974A1 (en) Method of storing a data item in a distributed data storage system, corresponding storage device failure repair method and corresponding devices
CN102694863B (zh) 基于负载调整和系统容错的分布式存储系统的实现方法
CN106951340B (zh) 一种基于局部性优先的rs纠删码数据布局方法及系统
CN104035732B (zh) 一种面向纠删码的数据放置方法
CN105069152A (zh) 数据处理方法及装置
CN111444042A (zh) 一种基于纠删码的区块链数据存储方法
US10558638B2 (en) Persistent data structures on a dispersed storage network memory
Hollmann Storage codes—Coding rate and repair locality
CN103544270A (zh) 面向数据中心的通用化网络编码容错存储平台及工作方法
CN106027638A (zh) 一种基于混合编码的hadoop数据分发方法
JP2021086289A (ja) 分散ストレージシステムおよび分散ストレージシステムのパリティ更新方法
CN110209670A (zh) 基于网络存储设备集群的数据处理方法及装置
CN103650462A (zh) 基于同态的自修复码的编码、解码和数据修复方法及其存储系统
US10067998B2 (en) Distributed sync list
CN110032338B (zh) 一种面向纠删码的数据副本放置方法及系统
CN108647108B (zh) 一种基于循环vfrc的最小带宽再生码的构造方法
Zhao et al. Reliable IoT storage for sensor monitoring applications: Trading off early redundancy injection costs and repair costs
CN113064768B (zh) 在区块链系统中切换分片节点的方法和装置
CN110781163B (zh) 基于完全图的异构部分重复码构造及故障节点修复方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant