CN106227617A - 自修复方法和基于纠删码算法的存储系统 - Google Patents

自修复方法和基于纠删码算法的存储系统 Download PDF

Info

Publication number
CN106227617A
CN106227617A CN201610562862.2A CN201610562862A CN106227617A CN 106227617 A CN106227617 A CN 106227617A CN 201610562862 A CN201610562862 A CN 201610562862A CN 106227617 A CN106227617 A CN 106227617A
Authority
CN
China
Prior art keywords
block
sub
self
storage system
storage medium
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201610562862.2A
Other languages
English (en)
Inventor
吴兴义
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
LeTV Holding Beijing Co Ltd
LeTV Cloud Computing Co Ltd
Original Assignee
LeTV Holding Beijing Co Ltd
LeTV Cloud Computing Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by LeTV Holding Beijing Co Ltd, LeTV Cloud Computing Co Ltd filed Critical LeTV Holding Beijing Co Ltd
Priority to CN201610562862.2A priority Critical patent/CN106227617A/zh
Publication of CN106227617A publication Critical patent/CN106227617A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/07—Responding to the occurrence of a fault, e.g. fault tolerance
    • G06F11/08—Error detection or correction by redundancy in data representation, e.g. by using checking codes
    • G06F11/10—Adding special bits or symbols to the coded information, e.g. parity check, casting out 9's or 11's
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/07—Responding to the occurrence of a fault, e.g. fault tolerance
    • G06F11/0796—Safety measures, i.e. ensuring safe condition in the event of error, e.g. for controlling element
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0668—Interfaces specially adapted for storage systems adopting a particular infrastructure
    • G06F3/0671—In-line storage system
    • G06F3/0683—Plurality of storage devices
    • G06F3/0689—Disk arrays, e.g. RAID, JBOD

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Quality & Reliability (AREA)
  • Human Computer Interaction (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

自修复方法和基于纠删码算法的存储系统。本公开提供的自修复方法，应用于存储系统，所述存储系统将接收到的数据根据纠删码算法计算出n个数据子块和k个校验子块，所述n个数据子块和k个校验子块组成(n+k)个子块，所述(n+k)个子块满足：能根据其中的任意n个子块计算获得其余k个子块，所述(n+k)子块被分别存储在(n+k)个存储介质上，该自修复方法包括：多次选择，每次从(n+k)个存储介质中选出n个存储介质；针对每次选择，从选出的n个存储介质中获取n个子块，根据n个子块计算获得k个子块；将多次获得的(n+k)个子块进行比对；以及根据比对结果确定问题子块，以进行修复，其中，n,k为正整数。该自修复方法能够较准确地定位到问题子块。本公开同时提供应用该自修复方法的存储系统。

Description

自修复方法和基于纠删码算法的存储系统
技术领域
本公开涉及存储领域，具体涉及自修复方法和基于纠删码算法的存储系统。
背景技术
通常用户都会对数据冗余及安全性提出要求：例如，必须对数据进行多副本备份，防止单块硬盘损坏造成数据丢失。为了满足这一要求，通常的技术方案会提供给用户多副本或者基于纠删码算法的冗余存储方案，多副本的方案的问题是成本过高，为了存储一份数据，需要备份多个副本，纠删码算法的原理就是将一份数据切分成N块数据，其中包括D块数据块和P块校验块，N＝D+P，通过任意的D块数据都可以将缺失的P块数据恢复出来，也就是说可以P块数据是可丢失的，比如在D＝4,P＝2的纠删码算法的方案中，数据安全性相当于3副本(即可丢失两个副本)，但是冗余方案只需要存储1.5倍于数据本身的量，相比于3副本模式，节省了50％的成本。
在使用纠删码算法的场景中，前述的D＝4,P＝2的情况，传统的方式都是由一个存储介质负责接收请求(通常是排在第一位的存储介质)，将数据切分成4个数据块和2个校验块，并分别转发数据给另外五块存储介质，等另外五块落盘成功之后，自己再落盘，并在成功之后给予客户回应，至于存储介质驱动是否能够完全正确的写入，并没有任何机制可以完全确认，这样有可能存在问题，即其中的某块盘出现在落盘是写入出现与实际不相符的情况，这对于数据一致性要求非常高的场景下是无法接受的。另外的一点是，这样的不一致性存在的时间越长，数据的安全性就越受到威胁，因为存储介质有寿命，随着坏掉的存储介质越来越多，存储介质的更换都会带来潜在的数据丢失。
发明内容
有鉴于此，本公开提供一种自修复方法和基于纠删码算法的存储系统，以解决基于纠删码算法的存储系统中的数据不一致的问题。
根据本公开的第一方面，本公开提供一种自修复方法，应用于存储系统，所述存储系统将接收到的数据根据纠删码算法计算出n个数据子块和k个校验子块，所述n个数据子块和k个校验子块组成(n+k)个子块，所述(n+k)个子块满足：能根据其中的任意n个子块计算获得其余k个子块，所述(n+k)子块被分别存储在(n+k)个存储介质上，
所述自修复方法包括：多次选择，每次从所述(n+k)个存储介质中选出n个存储介质；针对每次选择，从选出的n个存储介质中获取n个子块，根据所述n个子块计算获得k个子块；将多次获得的(n+k)个子块进行比对；以及根据比对结果确定问题子块，以进行修复，其中，n,k为正整数。
可选地，根据比对结果确定问题子块包括：根据至少两次的比对结果确定所述问题子块。
可选地，所述存储介质为磁盘或磁盘阵列。
可选地，通过定时器定时启动所述自修复方法。
可选地，根据所述存储系统的报警信息启动所述自修复方法。
根据本公开的第二方面，本公开提供一种基于纠删码算法的存储系统，所述存储系统将接收到的数据根据纠删码算法计算出n个数据子块和k个校验子块，所述n个数据子块和k个校验子块组成(n+k)个子块，所述(n+k)个子块满足：能根据其中的任意n个子块计算获得其余k个子块，所述(n+k)子块被分别存储在(n+k)个存储介质上，所述存储系统还包括自修复模块，
所述自修复模块包括：获取单元，用于多次选择，每次从所述(n+k)个存储介质中选出n个存储介质；针对每次选择，从选出的n个存储介质中获取n个子块，根据所述n个子块计算获得k个子块；比较单元，用于将多次获得的(n+k)个子块进行比对；修复单元，用于根据比对结果确定问题子块，以进行修复，其中，n,k为正整数。
可选地，所述修复单元根据至少两次的比对结果确定所述问题子块。
可选地，所述存储介质为磁盘或磁盘阵列。
可选地，所述存储系统还包括：定时器模块，通过所述定时器模块定时启动所述自修复模块。
可选地，所述存储系统还包括：报警启动单元，用于根据所述存储系统的报警信息启动所述自修复模块。
本公开提供的自修复方法，应用于基于纠删码算法的存储系统，通过获取基于纠删码算法存储的存储介质上的多组子块，进行计算比对，确定问题子块，进而修复问题子块。该自修复方法能够较准确地定位到问题子块。本公开同时提供对应的基于纠删码算法的存储系统。
附图说明
通过参照以下附图对本公开实施例的描述，本公开的上述以及其它目的、特征和优点将更为清楚，在附图中：
图1是根据本公开实施例的自修复方法的流程图；
图2是根据本公开实施例的基于纠删码算法的存储系统的示意图。
具体实施方式
以下基于实施例对本公开进行描述，但是本公开并不仅仅限于这些实施例。在下文对本公开的细节描述中，详尽描述了一些特定的细节部分。对本领域技术人员来说没有这些细节部分的描述也可以完全理解本公开。为了避免混淆本公开的实质，公知的方法、过程、流程没有详细叙述。另外附图不一定是按比例绘制的。
术语说明：
纠删码算法是一种数据保护方法，它将数据分割成片段，把冗余数据块扩展、编码，并将其存储在不同的位置，比如磁盘、存储节点或者其它位置。
图1是根据本公开实施例的自修复方法的流程图。图1所示的方法应用于一个纠删码的存储系统，假设该存储系统将接收到的数据文件根据纠删码算法计算出n个数据子块和k个校验子块，根据纠删码策略，这n个数据子块和k个校验子块组成的(n+k)个子块满足：能够根据其中的任意n个子块计算获得其余k个子块，这(n+k)个子块会被存储系统分别存储在(n+k)个存储介质上(例如，磁盘、磁盘阵列等)。
基于此，在纠删码的存储系统实现一个自修复方法，该自修复方法包括步骤201-204。
在步骤201中，从(n+k)个存储介质中取出任意n个存储介质。
在步骤202中，获取n个子块，根据n个子块计算获得k个子块。
在步骤202中，从n个存储介质中取出n个子块，根据n个子块计算获得k个子块。
步骤201和202在一个循环体中执行，即循环多次，得到多组(n+k)个子块。
在步骤203中，将多组(n+k)个子块进行分组比对。
在步骤204中，根据比对结果确定问题子块，以进行修复。
由于原始存储在(n+k)个存储介质上的子块满足这样的关系，即能够通过其中的任意的n个子块计算获得其余k个子块，理论上，通过这种方式获得的(n+k)个子块总是保持一致，但实际上，由于存储介质的损坏或者人为的一些原因，可能导致存储介质上的一些子块出现问题。但是，如何确定哪个子块出现问题呢，本发明实施例提供的方法是通过多次计算，得到多组(n+k)个子块，将多组(n+k)个子块进行综合比对，从而找出问题子块。
该自修复方法具体可以通过下述示例进行理解。
假设n＝4(x1,x2,x3,x4)，k＝2(x5,x6)，则可以得到15种排列组合(即次)，根据纠删码算法的描述，分别根据每个组合计算出其余的子块，最终，可以得到最多15个组合结果，根据该组合结果判别，确定问题子块。
下面的讨论是以x1，x2，x3，x4为匹配最多的来讨论的，有下面几种情况：
如果x1，x2，x3，x4组合算出的结果与x5，x6都能匹配，则数据没有损坏，算法退出，这种情况下，仅需要做一次计算；
如果其中有一块不能够被匹配上，比如x5＝x5’且x6！＝x6’或者是x5！＝x5’且x6＝x6’，则分别是x6出错、x5出错，分别向这两个存储介质发送正确的x6’和x5’数据即可；
如果其中两块不能够被匹配上，即x5！＝x5’且x6！＝x6’,则确定x5，x6出错，此时需向这两个存储介质发送x5’和x6’；
如果超过3块无法匹配的情况，则无法确认出问题子块，此时需要向用户通知数据出错。
在另一个实施例中，如果有存储介质的报警信息，可以根据报警信息判断，如果没有，最好通过至少两次的比对确定一个问题子块，以保证数据的正确性。例如，根据纠删码算法f(x1,x2,x3,x4)计算x5’,x6’，同时通过f(x1,x2,x3,x5)计算x4”,x6”，将(x1,x2,x3,x4,x5’,x6’)和(x1,x2,x3,x4,x5,x6)比对，同时将(x1,x2,x3,x4”，x5，x6”)和(x1,x2,x3,x4,x5,x6)比对，根据两次的比对结果确定x6子块是否是问题子块。
在优选的实施例中，上述存储介质包括磁盘或者磁盘阵列。如果安装有磁盘阵列管理软件，可以通过管理软件的报警信息帮助确定问题子块。
另外，本公开实施例的自修复方法可以通过定时器定时完成。例如，设置定时器午夜0时启动完成自修复方法。另外，也可以根据磁盘管理软件的告警信息启动磁盘数据的自修复进程。在自修复失败后给出日志告警或用其他方式给出告警信息。
本发明实施例提供的自修复方法，应用于基于纠删码算法的存储系统，该存储系统基于纠删码算法将接收到的数据计算获得n个数据子块和k个校验子块，n个数据子块和k个校验子块组成(n+k)个子块，该(n+k)个子块满足：能根据其中的任意n个子块计算获得其余k个子块，该(n+k)子块被分别存储在不同的存储介质上，通过多次从存储介质上获取n个子块，以计算其余的k个子块，从而得到多组(n+k)个子块，将(n+k)个子块进行综合判断确定问题子块。通过多组比对，避免误判。该方法能够比较准确地定位问题子块。
相应地，本公开实施例提供一种基于纠删码算法的存储系统，如图2所示。
在图2中，磁盘阵列上204上按照纠删码算法存储有数据子块和校验子块，数据子块和校验子块分别存储在不同的存储介质上(磁盘上)，纠删码算法保证能够通过任意n个子块计算获得k个子块，这里n,k的数值由纠删码算法决定。
该存储系统还包括自修复模块。所述自修复模块包括获取单元201、比较单元202和修复单元203。
获取单元201从存储介质上取出n个存储介质上的子块，并计算获得k个子块。通过多次计算，形成多组(n+k)的子块。
比较单元202，将多组(n+k)的子块比对。
修复单元203，根据比较单元202的比较结果确定问题子块，并修复问题子块，n,k为正整数。
在一个可选的实施方式中，上述的存储系统可以通过多进程实现。如果(n+k)个子块被分别部署到(n+k)个磁盘上，则在每个磁盘上可以部署一个存储进程，并将其中的一个磁盘上的存储进程作为主进程，主进程负责管理其他进程，并进行纠删码算法计算。主进程启动后，向从属进程发送请求，要求提供子块的数据，主进程获得子块的数据后，进行基于纠删码算法的计算，算出多组结果，根据多组结果进行比对，确定问题子块，并将正确子块的数据发送给对应的从属进程用于替换。
优选地，在该存储系统中，包括定时器模块，通过定时器模块定时启动自修复模块。或者，通过报警信息启动自修复模块。
本公开提供的方法和系统可以体现为利用计算机语言编码的一个或多个程序，以计算机可读介质的形式存储。计算机可读存储介质包括计算机存储器、一个或多个软盘、压缩盘(CD)、光盘、数字视频盘(DVD)、磁带、闪存、现场可编程门阵列或其他半导体器件中的电路配置、或者其他非瞬态有形计算机存储介质。该一个或多个程序被处理器从可读介质中读取后执行以实现本公开提供的方法和系统。计算机可读存储介质可以是可携带的，使得可以将其上存储的程序加载至一个或多个不同计算机或其他处理器上以实现上述的本公开的各个方面。这里使用的术语“非瞬态计算机可读存储介质”仅包括可被视为制造品或机器的可读介质。备选地，本公开可以体现为与计算机可读存储介质不同的计算机可读介质，如传播信号。
附图中的流程图、框图图示了本公开实施例的系统、方法、装置的可能的体系框架、功能和操作，流程图和框图上的方框可以代表一个、程序段或仅仅是一段代码，所述、程序段和代码都是用来实现规定逻辑功能的可执行指令。也应当注意，所述实现规定逻辑功能的可执行指令可以重新组合，从而生成新的和程序段。因此附图的方框以及方框顺序只是用来更好的图示实施例的过程和步骤，而不应以此作为对发明本身的限制。
系统的各个或单元可以通过硬件、固件或软件实现。软件例如包括采用JAVA、C/C++/C#、SQL等各种编程语言形成的编码程序。虽然在方法以及方法图例中给出本公开实施例的步骤以及步骤的顺序，但是所述步骤实现规定的逻辑功能的可执行指令可以重新组合，从而生成新的步骤。所述步骤的顺序也不应该仅仅局限于所述方法以及方法图例中的步骤顺序，可以根据功能的需要随时进行调整。例如将其中的某些步骤并行或按照相反顺序执行。
根据本公开的系统和方法可以部署在单个或多个服务器上。例如，可以将不同的分别部署在不同的服务器上，形成专用服务器。或者，可以在多个服务器上分布式部署相同的功能单元、或系统，以减轻负载压力。所述服务器包括但不限于在同一个局域网以及通过Internet连接的多个PC机、PC服务器、刀片机、超级计算机等。
以上所述仅为本公开的优选实施例，并不用于限制本公开，对于本领域技术人员而言，本公开可以有各种改动和变化。凡在本公开的精神和原理之内所作的任何修改、等同替换、改进等，均应包含在本公开的保护范围之内。

Claims (10)

1.一种自修复方法，应用于存储系统，所述存储系统将接收到的数据根据纠删码算法计算出n个数据子块和k个校验子块，所述n个数据子块和k个校验子块组成(n+k)个子块，所述(n+k)个子块满足：能根据其中的任意n个子块计算获得其余k个子块，所述(n+k)子块被分别存储在(n+k)个存储介质上，所述自修复方法包括：
多次选择，每次从所述(n+k)个存储介质中选出n个存储介质；
针对每次选择，从选出的n个存储介质中获取n个子块，根据所述n个子块计算获得k个子块；
将多次获得的(n+k)个子块进行比对；以及
根据比对结果确定问题子块，以进行修复，
其中，n,k为正整数。
2.根据权利要求1所述的自修复方法，其中，根据比对结果确定问题子块包括：
根据至少两次的比对结果确定所述问题子块。
3.根据权利要求1或2所述的自修复方法，其中，所述存储介质为磁盘或磁盘阵列。
4.根据权利要求1所述的自修复方法，其中，通过定时器定时启动所述自修复方法。
5.根据权利要求1所述的自修复方法，其中，根据所述存储系统的报警信息启动所述自修复方法。
6.一种基于纠删码算法的存储系统，所述存储系统将接收到的数据根据纠删码算法计算出n个数据子块和k个校验子块，所述n个数据子块和k个校验子块组成(n+k)个子块，所述(n+k)个子块满足：能根据其中的任意n个子块计算获得其余k个子块，所述(n+k)子块被分别存储在(n+k)个存储介质上，所述存储系统还包括自修复模块，所述自修复模块包括：
获取单元，用于多次选择，每次从所述(n+k)个存储介质中选出n个存储介质；针对每次选择，从选出的n个存储介质中获取n个子块，根据所述n个子块计算获得k个子块；
比较单元，用于将多次获得的(n+k)个子块进行比对；
修复单元，用于根据比对结果确定问题子块，以进行修复，
其中，n,k为正整数。
7.根据权利要求6所述的存储系统，其中，所述修复单元根据根据至少两次的比对结果确定所述问题子块。
8.根据权利要求6或7所述的存储系统，其中，所述存储介质为磁盘或磁盘阵列。
9.根据权利要求6所述的存储系统，还包括：定时器模块，通过所述定时器模块定时启动所述自修复模块。
10.根据权利要求1所述的存储系统，还包括：报警启动单元，用于根据所述存储系统的报警信息启动所述自修复模块。
CN201610562862.2A 2016-07-15 2016-07-15 自修复方法和基于纠删码算法的存储系统 Pending CN106227617A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201610562862.2A CN106227617A (zh) 2016-07-15 2016-07-15 自修复方法和基于纠删码算法的存储系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201610562862.2A CN106227617A (zh) 2016-07-15 2016-07-15 自修复方法和基于纠删码算法的存储系统

Publications (1)

Publication Number Publication Date
CN106227617A true CN106227617A (zh) 2016-12-14

Family

ID=57519771

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610562862.2A Pending CN106227617A (zh) 2016-07-15 2016-07-15 自修复方法和基于纠删码算法的存储系统

Country Status (1)

Country Link
CN (1) CN106227617A (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106681848A (zh) * 2016-12-13 2017-05-17 中国科学院计算技术研究所 一种纠删码raid的数据一致性保障方法及系统
CN108631947A (zh) * 2018-05-21 2018-10-09 南京大学 一种基于纠删码的rdma网络数据传输方法
CN110309012A (zh) * 2018-03-27 2019-10-08 杭州海康威视数字技术股份有限公司 一种数据处理方法及其装置
CN112115001A (zh) * 2020-09-18 2020-12-22 深圳市欢太科技有限公司 数据备份方法、装置、计算机存储介质及电子设备
CN112115001B (zh) * 2020-09-18 2024-06-07 深圳市欢太科技有限公司 数据备份方法、装置、计算机存储介质及电子设备

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6178536B1 (en) * 1997-08-14 2001-01-23 International Business Machines Corporation Coding scheme for file backup and systems based thereon
CN103034567A (zh) * 2012-12-06 2013-04-10 华为技术有限公司 发现并修复损坏数据的装置和方法
CN103412799A (zh) * 2013-07-26 2013-11-27 华为技术有限公司 数据恢复方法、数据恢复设备和分布式存储系统
CN104156283A (zh) * 2014-08-27 2014-11-19 华为技术有限公司 数据恢复方法、装置及存储系统
CN103761195B (zh) * 2014-01-09 2017-05-10 浪潮电子信息产业股份有限公司 一种利用分布式数据编码的存储方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6178536B1 (en) * 1997-08-14 2001-01-23 International Business Machines Corporation Coding scheme for file backup and systems based thereon
CN103034567A (zh) * 2012-12-06 2013-04-10 华为技术有限公司 发现并修复损坏数据的装置和方法
CN103412799A (zh) * 2013-07-26 2013-11-27 华为技术有限公司 数据恢复方法、数据恢复设备和分布式存储系统
CN103761195B (zh) * 2014-01-09 2017-05-10 浪潮电子信息产业股份有限公司 一种利用分布式数据编码的存储方法
CN104156283A (zh) * 2014-08-27 2014-11-19 华为技术有限公司 数据恢复方法、装置及存储系统

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106681848A (zh) * 2016-12-13 2017-05-17 中国科学院计算技术研究所 一种纠删码raid的数据一致性保障方法及系统
CN110309012A (zh) * 2018-03-27 2019-10-08 杭州海康威视数字技术股份有限公司 一种数据处理方法及其装置
CN110309012B (zh) * 2018-03-27 2021-01-26 杭州海康威视数字技术股份有限公司 一种数据处理方法及其装置
US11841762B2 (en) 2018-03-27 2023-12-12 Hangzhou Hikvision Digital Technology Co., Ltd. Data processing
CN108631947A (zh) * 2018-05-21 2018-10-09 南京大学 一种基于纠删码的rdma网络数据传输方法
CN112115001A (zh) * 2020-09-18 2020-12-22 深圳市欢太科技有限公司 数据备份方法、装置、计算机存储介质及电子设备
CN112115001B (zh) * 2020-09-18 2024-06-07 深圳市欢太科技有限公司 数据备份方法、装置、计算机存储介质及电子设备

Similar Documents

Publication Publication Date Title
US10013325B1 (en) Providing resiliency to a raid group of storage devices
AU2017228544B2 (en) Nonvolatile media dirty region tracking
US9846629B2 (en) Object storage system for an unreliable storage medium
US9158927B1 (en) Cross-region recovery of encrypted, erasure-encoded data
US9009402B2 (en) Content addressable storage in legacy systems
US6195761B1 (en) Method and apparatus for identifying and repairing mismatched data
CN105550229B (zh) 分布式存储系统数据修复的方法和装置
CN106776130B (zh) 一种日志恢复方法、存储装置和存储节点
US20110302141A1 (en) Save set bundling for staging
US20130246358A1 (en) Online verification of a standby database in log shipping physical replication environments
WO2020035086A3 (en) Data security of shared blockchain data storage based on error correction code
US9740440B2 (en) Separating a hybrid asymmetric mix of a RAID 1 mirror and a parity-based RAID array
US9329799B2 (en) Background checking for lost writes and data corruption
CN108573007A (zh) 检测数据一致性的方法、装置、电子设备及存储介质
EP3244315A1 (en) Method and apparatus for performing data recovery in redundant storage system
CN106104460A (zh) 分布式存储系统中的可靠性增强
CN106227617A (zh) 自修复方法和基于纠删码算法的存储系统
US9489254B1 (en) Verification of erasure encoded fragments
US20180095985A1 (en) Physical Location Scrambler for Hashed Data De-Duplicating Content-Addressable Redundant Data Storage Clusters
CN108141229A (zh) 损坏数据的高效检测
CN108874611A (zh) 一种测试数据的构建方法及装置
US8762336B2 (en) Geo-verification and repair
CN111782623A (zh) Hdfs存储平台中的文件校验修复方法
CN105550230B (zh) 分布式存储系统节点故障的侦测方法和装置
CN107247643A (zh) 一种数据库管理方法、装置、系统、存储介质及设备

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20161214

WD01 Invention patent application deemed withdrawn after publication