CN107357685A - 一种数据存储的容错冗余方法及设备 - Google Patents

一种数据存储的容错冗余方法及设备 Download PDF

Info

Publication number
CN107357685A
CN107357685A CN201710561507.8A CN201710561507A CN107357685A CN 107357685 A CN107357685 A CN 107357685A CN 201710561507 A CN201710561507 A CN 201710561507A CN 107357685 A CN107357685 A CN 107357685A
Authority
CN
China
Prior art keywords
data
codes
lrc
xor
hitchhiker
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201710561507.8A
Other languages
English (en)
Other versions
CN107357685B (zh
Inventor
汪东升
王海霞
王梓仲
邵艾然
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tsinghua University
Original Assignee
Tsinghua University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tsinghua University filed Critical Tsinghua University
Priority to CN201710561507.8A priority Critical patent/CN107357685B/zh
Publication of CN107357685A publication Critical patent/CN107357685A/zh
Application granted granted Critical
Publication of CN107357685B publication Critical patent/CN107357685B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/07—Responding to the occurrence of a fault, e.g. fault tolerance
    • G06F11/14—Error detection or correction of the data by redundancy in operation
    • G06F11/1402—Saving, restoring, recovering or retrying
    • G06F11/1446—Point-in-time backing up or restoration of persistent data
    • G06F11/1448—Management of the data involved in backup or backup restore
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/07—Responding to the occurrence of a fault, e.g. fault tolerance
    • G06F11/08—Error detection or correction by redundancy in data representation, e.g. by using checking codes
    • G06F11/10—Adding special bits or symbols to the coded information, e.g. parity check, casting out 9's or 11's
    • G06F11/1004—Adding special bits or symbols to the coded information, e.g. parity check, casting out 9's or 11's to protect a block of data words, e.g. CRC or checksum
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/07—Responding to the occurrence of a fault, e.g. fault tolerance
    • G06F11/14—Error detection or correction of the data by redundancy in operation
    • G06F11/1402—Saving, restoring, recovering or retrying
    • G06F11/1446—Point-in-time backing up or restoration of persistent data
    • G06F11/1458—Management of the backup or restore process
    • G06F11/1469—Backup restoration techniques

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Quality & Reliability (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Security & Cryptography (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明提供一种数据存储的容错冗余方法及设备，所述方法包括：在数据存储时，对访问频次高的数据进行LRC码编码后存储为LRC码数据，对访问频次低的数据进行Hitchhiker‑XOR码编码后存储为Hitchhiker‑XOR码数据；若所述LRC码数据的访问频次降低，则将其编码方式切换为Hitchhiker‑XOR码编码；若所述Hitchhiker‑XOR码数据的访问频次升高，则将其编码方式切换为LRC码编码。本发明分别利用存储开销低的Hitchhiker‑XOR码和恢复延迟低的LRC码进行存储；在数据的访问频次变化后，进行两种编码之间的切换，整体上降低数据恢复延迟并保证较低的存储开销。

Description

一种数据存储的容错冗余方法及设备
技术领域
本发明涉及计算机数据存储技术领域，更具体地，涉及一种数据存储的容错冗余方法及设备。
背景技术
随着信息技术对社会各个领域的渗透，人类无时不刻地产生着大量的数据。现在，人们只要在线上甚至线下进行一些电子设备上的操作，例如发送定位信息、使用搜索引擎搜索、网上购物、进行网络社交等，都可能产生出能被分析的数据。现阶段，相应的技术已经能够通过分析这些数据，在科技、商业甚至国计民生等各个方面产生影响。而在信息技术日益发展的今天，海量数据的产生，使得需要进行分析处理的数据量也达到了TB甚至是PB级别。以腾讯公司为例，其微信应用的月活跃账户数已达到8.05亿，其大数据资源调度平台每日接入2.4PB的数据量，日扫描数据量达到20PB。因此对于任何组织和个人来说，数据丢失都会带来严重的后果。
针对可能发生的数据丢失，存储系统会通过对数据进行冗余，使得系统能够容忍一定限度的错误，使得当系统无法访问某些存放在不可用机器中的数据时，可以通过在其他可用机器上的冗余数据对暂时无法访问的数据进行恢复。一般而言，数据冗余可以通过多副本容错技术或纠删码容错技术实现。
在使用纠删码进行数据恢复时，可以在保证同等容错能力的前提下大大降低存储开销，但它的部署会使得在数据恢复时产生更大的开销，进而增大了恢复延迟时间，即退化读的延迟及重构时间。
发明内容
本发明提供一种克服上述问题或者至少部分地解决上述问题的数据存储的容错冗余方法及设备。
根据本发明的一个方面，提供一种数据存储的容错冗余方法，包括：
在数据存储时，对访问频次高的数据进行LRC码编码后存储为LRC码数据，对访问频次低的数据进行Hitchhiker-XOR码编码后存储为Hitchhiker-XOR码数据；
若所述LRC码数据的访问频次降低，则将其编码方式切换为Hitchhiker-XOR码编码；若所述Hitchhiker-XOR码数据的访问频次升高，则将其编码方式切换为LRC码编码。
进一步，所述在数据存储时，还包括：在每一数据条带中，LRC码数据和Hitchhiker-XOR码数据具有相同的数据块数，LRC码数据的全局冗余块数和Hitchhiker-XOR码数据的冗余块数相等，LRC码数据的局部冗余块数比LRC码数据的全局冗余块数少1。
进一步，所述若LRC码数据的访问频次降低，则将其编码方式切换为Hitchhiker-XOR码编码，进一步包括：
基于LRC码数据的每两个数据条带，获取其中第一数据条带的局部冗余块和其中第二数据条带的全局冗余块；
对所述第一数据条带的局部冗余块和所述第二数据条带的全局冗余块进行异或运算，获得第一数据子块，并将所述第一数据子块作为Hitchhiker-XOR码数据在所述第二数据条带上的冗余块；
将LRC码数据的所有数据块作为Hitchhiker-XOR码数据的数据块；
将LRC码数据在第一数据条带上的全局冗余块作为Hitchhiker-XOR码数据在第一数据条带上的冗余块。
进一步，所述若LRC码数据的访问频次降低，则将其编码方式切换为Hitchhiker-XOR码编码，还包括：删除LRC码数据的所有局部冗余块。
进一步，所述若Hitchhiker-XOR码数据的访问频次升高，则将其编码方式切换为LRC码编码，进一步包括：
基于Hitchhiker-XOR码数据的每两个数据条带，获取其中第一数据条带的冗余块和其中第二数据条带的冗余块；
对所述第一数据条带的冗余块和所述第二数据条带的冗余块进行异或运算，获得第二数据子块，并将所述第二数据子块作为LRC码数据的局部冗余块；
将所述LRC码数据的局部冗余块中第一数据条带上的局部冗余块与所述Hitchhiker-XOR码数据在第二数据条带上的冗余块进行异或运算，获得第三数据子块，并将所述第三数据子块作为LRC码数据在第二数据条带上的全局冗余块；
将Hitchhiker-XOR码数据的所有数据块作为LRC码数据的数据块；
将Hitchhiker-XOR码数据在第一数据条带上的冗余块作为LRC码数据在第一数据条带上的全局冗余块。
进一步，还包括：在数据恢复时，根据所述数据采用的编码对应的解码方法进行恢复。
根据本发明的一个方面，还提供一种数据存储的容错冗余设备，包括：
至少一个处理器；以及
与所述处理器通信连接的至少一个存储器，其中：
所述存储器存储有可被所述处理器执行的程序指令，所述处理器调用所述程序指令能够执行本发明实施例所述数据存储的容错冗余方法及其所有可选实施例的方法。
根据本发明的一个方面，还提供一种非暂态计算机可读存储介质，所述非暂态计算机可读存储介质存储计算机指令，所述计算机指令使所述计算机执行本发明实施例所述数据存储的容错冗余方法及其所有可选实施例的方法。
本发明提出数据存储的容错冗余方法及设备，对存储数据按访问频次进行划分，将占绝大多数数据量的被访频次较低的数据通过存储开销低的Hitchhiker-XOR码进行存储，使得系统总体上存储开销较低；将占绝大多数访问量的被访频次较高的数据通过恢复延迟低的LRC码进行存储，使得系统总体上恢复延迟较低；并在数据的访问频次发生变化后，能适时的进行两种编码之间的切换，整体上降低数据恢复延迟并保证较低的存储开销。
附图说明
图1为本发明实施例一种数据存储的容错冗余方法流程图；
图2为本发明实施例从LRC码切换至Hitchhiker-XOR码的方法示意图；
图3为本发明实施例从Hitchhiker-XOR码切换至LRC码的方法示意图；
图4为本发明实施例一种数据存储的容错冗余设备的结构示意图。
具体实施方式
下面结合附图和实施例，对本发明的具体实施方式作进一步详细描述。以下实施例用于说明本发明，但不用来限制本发明的范围。
如图1所示，一种数据存储的容错冗余方法，包括：
S100，在数据存储时，对访问频次高的数据进行LRC码编码后存储为LRC码数据，对访问频次低的数据进行Hitchhiker-XOR码编码后存储为Hitchhiker-XOR码数据；
本发明实施例对存储数据按访问频次进行划分，将占绝大多数数据量的被访频次较低的数据通过存储开销低的Hitchhiker-XOR码进行存储，使得系统总体上存储开销较低；将占绝大多数访问量的被访频次较高的数据通过恢复延迟低的LRC码进行存储，使得系统总体上恢复延迟较低。具体访问频次的高低，可根据应用环境的性能和要求确定，本发明实施例对此不作具体限定。
本发明实施例所述的LRC码和Hitchhiker-XOR码是进行数据存储和恢复的两种不同的纠删码，二者各有优势，Hitchhiker-XOR码的存储开销比较低，LRC码的数据恢复延迟比较低。本发明实施例对需要存储的数据按访问频次分类后，利用二种纠删码各自的优势分别编码，使系统存储开销小而恢复延迟低。
S200，若所述LRC码数据的访问频次降低，则将其编码方式切换为Hitchhiker-XOR码编码；若所述Hitchhiker-XOR码数据的访问频次升高，则将其编码方式切换为LRC码编码。
在一个时间段内访问频次高的数据可能在另一个时间段的访问频次变低，同样在一个时间段内访问频次低的数据可能在另一个时间段的访问频次变高。本发明实施例在数据的访问频次发生变化后，能适时的进行两种编码之间的切换，若LRC码数据的访问频次由高变低，则将若LRC码数据的编码方式切换为Hitchhiker-XOR码编码；若Hitchhiker-XOR码数据的访问频次由低变高，则将Hitchhiker-XOR码数据的编码方式切换为LRC码编码，这样可以保证访问频次高的数据总是以LRC码编码，访问频次低的数据总是以Hitchhiker-XOR码编码，整体上降低数据恢复延迟并保证较低的存储开销。
本发明实施例中用到的S100和S200仅表示处理步骤的标识，不表示处理步骤之间的先后顺序关系。S100所标识的数据存储是持续发生的，S200标识的数据编码切换也是持续发生的；数据存储过程中，不同数据的访问频次可能发生变化，则需要进行数据的编码切换；数据变换切换的过程中或之后，也可能有数据存储发生。S100和S100是各自独立执行，二者可以是交叉执行，可以是同步执行，也可以是异步执行。
在一个可选的实施例中，本发明实施例一种数据存储的容错冗余方法还包括：在数据恢复时，根据所述数据采用的编码对应的解码方法进行恢复，即LRC码数据使用LRC码对应的解码方法进行恢复，Hitchhiker-XOR码数据使用Hitchhiker-XOR码对应的解码方法进行恢复。
在一个可选的实施例中，所述在数据存储时，还包括：在每一数据条带中，LRC码数据和Hitchhiker-XOR码数据具有相同的数据块数，LRC码数据的全局冗余块数和Hitchhiker-XOR码数据的冗余块数相等，LRC码数据的局部冗余块数比LRC码数据的全局冗余块数少1。
由于本发明实施例需要在数据的访问频次发生变化时，进行两种纠错码之间的切换，为了保证切换的准确高效，因此在数据存储时，LRC码和Hitchhiker-XOR码的参数选取应满足：每一数据条带中，LRC码数据和Hitchhiker-XOR码数据拥有相同的数据块数，LRC码数据的全局冗余块数和Hitchhiker-XOR码数据的冗余块数相等，LRC码数据的局部冗余块数应比其全局冗余块数少1。可以记Hitchhiker-XOR码数据的数据块数为k，冗余块数为t，则LRC码数据的数据块数为k，全局冗余块数为t，局部冗余块数为(t-1)。
图2为本发明实施例从LRC码切换至Hitchhiker-XOR码的方法示意图，在一个可选的实施例中，所述若LRC码数据的访问频次降低，则将其编码方式切换为Hitchhiker-XOR码编码，进一步包括：
基于LRC码数据的每两个数据条带，获取其中第一数据条带的局部冗余块和其中第二数据条带的全局冗余块；对所述第一数据条带的局部冗余块和所述第二数据条带的全局冗余块进行异或运算，获得新的数据子块，并将所述新的数据子块作为Hitchhiker-XOR码数据在所述第二数据条带上的冗余块。按这样的方法对LRC码数据的所有每两个数据条带进行处理后的所有的新的数据子块分别作为Hitchhiker-XOR码数据在每个第二数据条带上的冗余块。
将LRC码数据的所有数据块作为Hitchhiker-XOR码数据的数据块；
将LRC码数据在第一数据条带上的全局冗余块作为Hitchhiker-XOR码数据在第一数据条带上的冗余块。
最后，删除LRC码数据的所有局部冗余块，以释放存储空间。
上述实施例从LRC码数据切换至Hitchhiker-XOR码数据的高效切换方法，如图2所示，可以按以下步骤进行：
步骤11，将LRC码数据的每两个数据条带视为一个数据条带中的两个子数据条带，读取其中一个子数据条带(记为第一数据条带)上的所有局部冗余子块；
步骤12，将步骤11中读取的局部冗余子块与它们各自对应的另一个子数据条带(记为第二数据条带)上的全局冗余子块进行异或运算，计算得到的各子块作为Hitchhiker-XOR码数据在子第二数据条带上的冗余子块；
步骤13，删除LRC码数据的所有局部冗余块；
步骤14，保留LRC码数据的所有数据块，作为Hitchhiker-XOR码数据的数据块；
步骤15，保留LRC码数据在第一数据条带上的全局冗余子块，作为Hitchhiker-XOR码数据在第一数据条带上的冗余子块。
在从LRC码切换至Hitchhiker-XOR码时，采用本发明实施例提出的方法，可以避免Hitchhiker-XOR码冗余块中的伽罗瓦域运算，在大大降低计算复杂度的同时，使得整个切换过程可以分布式地进行。
图3为本发明实施例从Hitchhiker-XOR码切换至LRC码的方法示意图，在一个可选的实施例中，所述若Hitchhiker-XOR码数据的访问频次升高，则将其编码方式切换为LRC码编码，进一步包括：
基于Hitchhiker-XOR码数据的每两个数据条带，获取其中第一数据条带的冗余块和其中第二数据条带的冗余块；对所述第一数据条带的冗余块和所述第二数据条带的冗余块进行异或运算，获得第二数据子块，并将所述第二数据子块作为LRC码数据的局部冗余块。
将所述LRC码数据的局部冗余块中第一数据条带上的局部冗余块与所述Hitchhiker-XOR码数据在第二数据条带上的冗余块进行异或运算，获得第三数据子块，并将所述第三数据子块作为LRC码数据在第二数据条带上的全局冗余块。
将Hitchhiker-XOR码数据的所有数据块作为LRC码数据的数据块；
将Hitchhiker-XOR码数据在第一数据条带上的冗余块作为LRC码数据在第一数据条带上的全局冗余块。
上述实施例从Hitchhiker-XOR码切换至LRC码的高效切换方法，如图3所示，可以按以下步骤进行：
步骤21，读取Hitchhiker-XOR码数据的所有数据块，并对它们按照LRC码数据的分组进行异或运算，计算得到的各块作为LRC码数据的局部冗余块；
步骤22，将步骤21中计算得到的LRC码数据的局部冗余块中第一数据条带上的局部冗余子块，与它们各自对应的Hitchhiker-XOR码数据在第二数据条带上的冗余子块进行异或运算，计算得到的各子块作为LRC码在第二数据条带上的全局冗余子块；
步骤23，保留Hitchhiker-XOR码数据的所有数据块，作为LRC码的数据块；
步骤24，保留Hitchhiker码数据在第一数据条带上的冗余子块，作为LRC码数据在第一数据条带上的全局冗余子块；
步骤25，将LRC码数据的第一数据条带和第二数据条带分别视为独立的两个条带。
在从Hitchhiker-XOR码切换至LRC码时，采用本发明实施例提出的方法，可以避免LRC码全局冗余块中的伽罗瓦域运算，在大大降低计算复杂度的同时，使得整个切换过程可以分布式地进行。
图4示出了本发明实施例一种数据存储的容错冗余设备的结构示意图。
参照图4，所述设备，包括：处理器(processor)601、存储器(memory)602和总线603；
其中，所述处理器601和存储器602通过所述总线603完成相互间的通信；
所述处理器601用于调用所述存储器602中的程序指令，以执行上述各方法实施例所提供的方法，例如包括：在数据存储时，对访问频次高的数据进行LRC码编码后存储为LRC码数据，对访问频次低的数据进行Hitchhiker-XOR码编码后存储为Hitchhiker-XOR码数据；若所述LRC码数据的访问频次降低，则将其编码方式切换为Hitchhiker-XOR码编码；若所述Hitchhiker-XOR码数据的访问频次升高，则将其编码方式切换为LRC码编码。
本发明另一实施例公开一种计算机程序产品，所述计算机程序产品包括存储在非暂态计算机可读存储介质上的计算机程序，所述计算机程序包括程序指令，当所述程序指令被计算机执行时，计算机能够执行上述各方法实施例所提供的方法，例如包括：在数据存储时，对访问频次高的数据进行LRC码编码后存储为LRC码数据，对访问频次低的数据进行Hitchhiker-XOR码编码后存储为Hitchhiker-XOR码数据；若所述LRC码数据的访问频次降低，则将其编码方式切换为Hitchhiker-XOR码编码；若所述Hitchhiker-XOR码数据的访问频次升高，则将其编码方式切换为LRC码编码。
本发明另一实施例提供一种非暂态计算机可读存储介质，所述非暂态计算机可读存储介质存储计算机指令，所述计算机指令使所述计算机执行上述各方法实施例所提供的方法，例如包括：在数据存储时，对访问频次高的数据进行LRC码编码后存储为LRC码数据，对访问频次低的数据进行Hitchhiker-XOR码编码后存储为Hitchhiker-XOR码数据；若所述LRC码数据的访问频次降低，则将其编码方式切换为Hitchhiker-XOR码编码；若所述Hitchhiker-XOR码数据的访问频次升高，则将其编码方式切换为LRC码编码。
本领域普通技术人员可以理解：实现上述方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成，前述的程序可以存储于一计算机可读取存储介质中，该程序在执行时，执行包括上述方法实施例的步骤；而前述的存储介质包括：ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。
以上所描述的数据存储的容错冗余设备等实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。
最后，本申请的方法仅为较佳的实施方案，并非用于限定本发明的保护范围。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (8)

1.一种数据存储的容错冗余方法，其特征在于，包括：
在数据存储时，对访问频次高的数据进行LRC码编码后存储为LRC码数据，对访问频次低的数据进行Hitchhiker-XOR码编码后存储为Hitchhiker-XOR码数据；
若所述LRC码数据的访问频次降低，则将其编码方式切换为Hitchhiker-XOR码编码；若所述Hitchhiker-XOR码数据的访问频次升高，则将其编码方式切换为LRC码编码。
2.如权利要求1所述的方法，其特征在于，所述在数据存储时还包括：
在每一数据条带中，LRC码数据和Hitchhiker-XOR码数据具有相同的数据块数，LRC码数据的全局冗余块数和Hitchhiker-XOR码数据的冗余块数相等，LRC码数据的局部冗余块数比LRC码数据的全局冗余块数少1。
3.如权利要求2所述的方法，其特征在于，所述若LRC码数据的访问频次降低，则将其编码方式切换为Hitchhiker-XOR码编码，进一步包括：
基于LRC码数据的每两个数据条带，获取其中第一数据条带的局部冗余块和其中第二数据条带的全局冗余块；
对所述第一数据条带的局部冗余块和所述第二数据条带的全局冗余块进行异或运算，获得第以数据子块，并将所述第一数据子块作为Hitchhiker-XOR码数据在所述第二数据条带上的冗余块；
将LRC码数据的所有数据块作为Hitchhiker-XOR码数据的数据块；
将LRC码数据在第一数据条带上的全局冗余块作为Hitchhiker-XOR码数据在第一数据条带上的冗余块。
4.如权利要求3所述的方法，其特征在于，所述若LRC码数据的访问频次降低，则将其编码方式切换为Hitchhiker-XOR码编码，还包括：删除LRC码数据的所有局部冗余块。
5.如权利要求2所述的方法，其特征在于，所述若Hitchhiker-XOR码数据的访问频次升高，则将其编码方式切换为LRC码编码，进一步包括：
基于Hitchhiker-XOR码数据的每两个数据条带，获取其中第一数据条带的冗余块和其中第二数据条带的冗余块；
对所述第一数据条带的冗余块和所述第二数据条带的冗余块进行异或运算，获得第二数据子块，并将所述第二数据子块作为LRC码数据的局部冗余块；
将所述LRC码数据的局部冗余块中第一数据条带上的局部冗余块与所述Hitchhiker-XOR码数据在第二数据条带上的冗余块进行异或运算，获得第三数据子块，并将所述第三数据子块作为LRC码数据在第二数据条带上的全局冗余块；
将Hitchhiker-XOR码数据的所有数据块作为LRC码数据的数据块；
将Hitchhiker-XOR码数据在第一数据条带上的冗余块作为LRC码数据在第一数据条带上的全局冗余块。
6.如权利要求1所述的方法，其特征在于，还包括：在数据恢复时，根据所述数据采用的编码对应的解码方法进行恢复。
7.一种数据存储的容错冗余设备，其特征在于，包括：
至少一个处理器；以及
与所述处理器通信连接的至少一个存储器，其中：
所述存储器存储有可被所述处理器执行的程序指令，所述处理器调用所述程序指令能够执行如权利要求1至6任一所述的方法。
8.一种非暂态计算机可读存储介质，其特征在于，所述非暂态计算机可读存储介质存储计算机指令，所述计算机指令使所述计算机执行如权利要求1至6任一所述的方法。
CN201710561507.8A 2017-07-11 2017-07-11 一种数据存储的容错冗余方法及设备 Active CN107357685B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710561507.8A CN107357685B (zh) 2017-07-11 2017-07-11 一种数据存储的容错冗余方法及设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710561507.8A CN107357685B (zh) 2017-07-11 2017-07-11 一种数据存储的容错冗余方法及设备

Publications (2)

Publication Number Publication Date
CN107357685A true CN107357685A (zh) 2017-11-17
CN107357685B CN107357685B (zh) 2019-06-18

Family

ID=60292366

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710561507.8A Active CN107357685B (zh) 2017-07-11 2017-07-11 一种数据存储的容错冗余方法及设备

Country Status (1)

Country Link
CN (1) CN107357685B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108958973A (zh) * 2018-06-27 2018-12-07 清华大学 分布式文件系统纠删码数据重构存储节点选择方法及装置
CN115793984A (zh) * 2023-01-03 2023-03-14 苏州浪潮智能科技有限公司 一种数据存储方法、装置、计算机设备及存储介质

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101770504A (zh) * 2009-12-29 2010-07-07 成都市华为赛门铁克科技有限公司 数据存储、读取方法及设备
CN102411542A (zh) * 2011-10-26 2012-04-11 上海文广互动电视有限公司 动态分级存储系统和方法
CN103118133A (zh) * 2013-02-28 2013-05-22 浙江大学 基于文件访问频次的混合云存储方法
CN103617007A (zh) * 2013-12-04 2014-03-05 深圳市华成峰实业有限公司 多级智能存储实现方法和系统
CN104281533A (zh) * 2014-09-18 2015-01-14 深圳市中博科创信息技术有限公司 一种存储数据的方法及装置
CN106649406A (zh) * 2015-11-04 2017-05-10 华为技术有限公司 一种自适应存储文件的方法和装置

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101770504A (zh) * 2009-12-29 2010-07-07 成都市华为赛门铁克科技有限公司 数据存储、读取方法及设备
CN102411542A (zh) * 2011-10-26 2012-04-11 上海文广互动电视有限公司 动态分级存储系统和方法
CN103118133A (zh) * 2013-02-28 2013-05-22 浙江大学 基于文件访问频次的混合云存储方法
CN103617007A (zh) * 2013-12-04 2014-03-05 深圳市华成峰实业有限公司 多级智能存储实现方法和系统
CN104281533A (zh) * 2014-09-18 2015-01-14 深圳市中博科创信息技术有限公司 一种存储数据的方法及装置
CN106649406A (zh) * 2015-11-04 2017-05-10 华为技术有限公司 一种自适应存储文件的方法和装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
K.V. RASHMI: "A "hitchhiker"s" guide to fast and efficient data reconstruction in erasure-coded data centers", 《ACM CONFERENCE ON SIGCOMM》 *

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108958973A (zh) * 2018-06-27 2018-12-07 清华大学 分布式文件系统纠删码数据重构存储节点选择方法及装置
CN108958973B (zh) * 2018-06-27 2020-07-07 清华大学 分布式文件系统纠删码数据重构存储节点选择方法及装置
CN115793984A (zh) * 2023-01-03 2023-03-14 苏州浪潮智能科技有限公司 一种数据存储方法、装置、计算机设备及存储介质
WO2024146186A1 (zh) * 2023-01-03 2024-07-11 苏州元脑智能科技有限公司 一种数据存储方法、装置、计算机设备及非易失性可读存储介质

Also Published As

Publication number Publication date
CN107357685B (zh) 2019-06-18

Similar Documents

Publication Publication Date Title
US9141679B2 (en) Cloud data storage using redundant encoding
JP6670311B2 (ja) 分散ストレージのための多重イレージャーコード
US10140172B2 (en) Network-aware storage repairs
CN102831127B (zh) 重复数据处理方法、装置及系统
CN108170555A (zh) 一种数据恢复方法及设备
CN107357685A (zh) 一种数据存储的容错冗余方法及设备
CN106681862A (zh) 数据的增量恢复方法和装置
CN104536852B (zh) 数据恢复方法及装置
CN113641952B (zh) 卷积设备、卷积方法、矩阵拆聚装置以及矩阵拆聚方法
CN103544270A (zh) 面向数据中心的通用化网络编码容错存储平台及工作方法
Hollmann Storage codes—Coding rate and repair locality
CN116501553B (zh) 数据恢复方法、装置、系统、电子设备及存储介质
CN113687975A (zh) 数据处理方法、装置、设备及存储介质
CN107329806A (zh) 一种开发环境构建方法及装置
CN106201354A (zh) 数据存储方法及系统
CN103593447A (zh) 用于数据库表的数据处理方法和装置
CN107992268A (zh) 一种坏块标记的方法及相关装置
CN107515801A (zh) 一种基于关系型数据库的数据自动修复方法
CN111858157B (zh) 基于纠删码的丢失数据恢复方法、系统、终端及存储介质
CN109426587B (zh) 一种数据恢复方法及装置
CN106293509A (zh) 数据存储方法及系统
CN109828723A (zh) 一种分布式存储系统及其精确数据修复方法及装置
CN104199687B (zh) 一种在虚拟机系统中处理数据的方法和装置
CN104348571B (zh) 数据分块方法及装置
CN102684928B (zh) 一种业务备份和恢复的方法和装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant