CN107992264A - 数据保护方法和装置 - Google Patents

数据保护方法和装置 Download PDF

Info

Publication number
CN107992264A
CN107992264A CN201610948022.XA CN201610948022A CN107992264A CN 107992264 A CN107992264 A CN 107992264A CN 201610948022 A CN201610948022 A CN 201610948022A CN 107992264 A CN107992264 A CN 107992264A
Authority
CN
China
Prior art keywords
data block
object data
record
block
small
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201610948022.XA
Other languages
English (en)
Other versions
CN107992264B (zh
Inventor
龚靖
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
China Telecom Corp Ltd
Original Assignee
China Telecom Corp Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by China Telecom Corp Ltd filed Critical China Telecom Corp Ltd
Priority to CN201610948022.XA priority Critical patent/CN107992264B/zh
Publication of CN107992264A publication Critical patent/CN107992264A/zh
Application granted granted Critical
Publication of CN107992264B publication Critical patent/CN107992264B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0602—Interfaces specially adapted for storage systems specifically adapted to achieve a particular effect
    • G06F3/061—Improving I/O performance
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/07—Responding to the occurrence of a fault, e.g. fault tolerance
    • G06F11/08—Error detection or correction by redundancy in data representation, e.g. by using checking codes
    • G06F11/10—Adding special bits or symbols to the coded information, e.g. parity check, casting out 9's or 11's
    • G06F11/1004—Adding special bits or symbols to the coded information, e.g. parity check, casting out 9's or 11's to protect a block of data words, e.g. CRC or checksum
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/07—Responding to the occurrence of a fault, e.g. fault tolerance
    • G06F11/08—Error detection or correction by redundancy in data representation, e.g. by using checking codes
    • G06F11/10—Adding special bits or symbols to the coded information, e.g. parity check, casting out 9's or 11's
    • G06F11/1008—Adding special bits or symbols to the coded information, e.g. parity check, casting out 9's or 11's in individual solid state devices
    • G06F11/1048—Adding special bits or symbols to the coded information, e.g. parity check, casting out 9's or 11's in individual solid state devices using arrangements adapted for a specific error detection or correction feature
    • G06F11/1056—Updating check bits on partial write, i.e. read/modify/write
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0628—Interfaces specially adapted for storage systems making use of a particular technique
    • G06F3/0638—Organizing or formatting or addressing of data
    • G06F3/064—Management of blocks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0668—Interfaces specially adapted for storage systems adopting a particular infrastructure
    • G06F3/067—Distributed or networked storage systems, e.g. storage area networks [SAN], network attached storage [NAS]

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Quality & Reliability (AREA)
  • Computer Security & Cryptography (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明提出一种数据保护方法和装置，涉及云计算领域。其中，本发明的一种数据保护方法包括：根据对象数据块的小数据块更新请求在纠删编码列表中查询对象数据块的对象数据记录；若纠删编码列表中包括对象数据块的对象数据记录，则更新所述对象数据块，否则根据更新请求生成对象数据块的对象数据记录，并发起计时；当计时达到预定时长时，生成对象数据块的纠删码，并删除对象数据块的对象数据记录。通过这样的方法，能够在处理完成预定时长内的针对同一对象数据块的所有小数据块更新请求再生成对象数据块的纠删码，从而能够提高数据块更新频发时的纠删码编码效率，进而提高分布式块存储中的读写数据速率。

Description

数据保护方法和装置
技术领域
本发明涉及云计算领域，特别是一种数据保护方法和装置。
背景技术
EC(Erasure Coding，纠删码)是一种数据保护方法，它将数据分割成片段，把冗余数据块扩展、编码，并将其存储在不同的位置，比如磁盘、存储节点或者其它地理位置。
纠删码会创建一个数学函数来描述一组数字，这样就可以检查它们的准确性，而且一旦其中一个数字丢失，还可以恢复。多项式插值(polynomial interpolation)或过采样(oversampling)就是纠删码所使用的关键技术。
从数据函数角度来说，纠删码提供的保护可以用下面这个简单的公式来表示：n＝k+m。变量“k”代表原始数据或符号的值。变量“m”代表故障后添加的提供保护的额外或冗余符号的值。变量“n”代表纠删码过程后创建的符号的总值。
举个例子来说，在一个EC 10/16的配置中，会有6个额外的符号(变量m)被添加到10个原始符号(变量k)中。这16个数据片段(变量n)会遍布16个驱动器、节点或地理位置中。而原始文件可以从10个验证片段中重建。纠删码可以用于有大量数据和任何需要容错的应用程序或系统中，比如分布式块存储、数据网格、分布式存储应用程序、对象存储或归档存储。
但是，由于分布式块存储中数据块较小，落盘时通常会将小块数据整合为128K、256K等大小的对象数据块。在做纠删码编码时，对象数据块会被分成N个小块，并与M块扰码计算后获得N+M块数据，因此，会发生不同应用在同一时间修改同一个纠删码对象数据块内容，导致纠删码频繁重复计算，影响系统输入输出性能。
发明内容
本发明的一个目的在于提高分布式块存储中纠删码编码效率，提高系统输入输出性能。
根据本发明的一个方面，提出一种数据保护方法，包括：根据对象数据块的小数据块更新请求在纠删编码列表中查询对象数据块的对象数据记录；若纠删编码列表中包括对象数据块的对象数据记录，则更新对象数据块；若纠删编码列表中不包括对象数据块的对象数据记录，则根据更新请求生成对象数据块的对象数据记录，并发起计时；当计时达到预定时长时，将对象数据块分片编码，生成对象数据块的纠删码，并删除对象数据块的对象数据记录。
可选地，对象数据记录包括对象数据块的标识、对象数据块中各个小数据块的记录的指针，小数据块的记录包括小数据块的地址指针；若收到小数据块的更新请求，则小数据块的记录中还包括小数据块的更新标识。
可选地，对象数据记录中还包括前一个生成的对象数据记录的指针和/或后一个生成的对象数据记录的指针。
可选地，更新对象数据块包括：在小数据块记录中添加小数据块的更新标识；更新小数据块的地址指针指向的小数据块中的内容。
可选地，更新对象数据块包括：在小数据块记录中添加小数据块的更新标识；更新小数据块的地址指针指向的小数据块中的内容。
可选地，还包括：若计时未达到预定时长，则持续等待更新请求，直至计时达到预定时长。
通过这样的方法，能够在处理完成预定时长内的针对同一对象数据块的所有小数据块更新请求再生成对象数据块的纠删码，从而避免出现不同应用在相近的时间修改同一个纠删码对象数据块内容导致纠删码频繁重复计算，能够提高数据块更新频发时的纠删码编码效率，进而提高分布式块存储中的数据读写速率。
根据本发明的另一个方面，提出一种数据保护装置，包括：请求接收模块，用于获取对象数据块的小数据块更新请求；数据更新模块，用于当纠删编码列表中包括对象数据块的对象数据记录时更新对象数据块；当纠删编码列表中不包括对象数据块的对象数据记录时，根据更新请求生成对象数据块的对象数据记录；计时器，用于当生成对象数据记录时发起计时，直至预定时长；编码模块，用于当计时器对对象数据记录的计时达到预定时长时，将对象数据块分片编码，生成对象数据块的纠删码；删除模块，用于当计时器对对象数据记录的计时达到预定时长时，删除对象数据记录。
可选地，对象数据记录包括对象数据块的标识、对象数据块中各个小数据块的记录的指针，小数据块的记录包括小数据块的地址指针；若收到小数据块的更新请求，则小数据块的记录中还包括小数据块的更新标识。
可选地，对象数据记录中还包括前一个生成的对象数据记录的指针和/或后一个生成的对象数据记录的指针。
可选地，当纠删编码列表中不包括对象数据块的对象数据记录时，数据更新模块具体用于：根据小数据块更新请求生成更新后的小数据块；读取对象数据块的其他小数据块的内容，进而生成对象数据记录。
可选地，当纠删编码列表中包括对象数据块的对象数据记录时，数据更新模块具体用于：在小数据块记录中添加小数据块的更新标识；更新小数据块的地址指针指向的小数据块中的内容。
可选地，还包括：当计时器计时未达到预定时长时，则数据更新模块还用于持续等待来自请求获取模块的更新请求，直至计时达到预定时长。
这样的装置能够在处理完成预定时长内的针对同一对象数据块的所有小数据块更新请求再生成对象数据块的纠删码，从而避免出现不同应用在相近的时间修改同一个纠删码对象数据块内容导致纠删码频繁重复计算，能够提高数据块更新频发时的纠删码编码效率，进而提高分布式块存储中的数据读写速率。
附图说明
此处所说明的附图用来提供对本发明的进一步理解，构成本申请的一部分，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：
图1为本发明的数据保护方法的一个实施例的流程图。
图2为本发明的对象数据记录的一个实施例的示意图。
图3为本发明的数据保护方法的另一个实施例的状态转移图。
图4为本发明的数据保护装置的一个实施例的示意图。
具体实施方式
下面通过附图和实施例，对本发明的技术方案做进一步的详细描述。
本发明的数据保护方法的一个实施例的流程图如图1所示。
在步骤101中，根据对象数据块的小数据块更新请求在纠删编码列表中查询对象数据块的对象数据记录。在一个实施例中，可以持续等待，当小数据块更新请求到来时，确定其存储的对象数据块。小数据块更新请求可以是删除、添加、修改等请求。小数据块更新请求中可以包括添加或修改的具体内容。
在步骤102中，判断纠删编码列表中是否包括小数据块所存储的对象数据块的对象数据记录。若存在该对象数据块的对象数据记录，则执行步骤103；若不存在该对象数据块的对象数据记录，则执行步骤104。在一个实施例中，纠删编码列表存储于缓存空间中。
在步骤103中，更新对象数据块。在一个实施例中，可以根据小数据块更新请求中的要求或内容更新对象数据块的小数据块。
在步骤104中，生成小数据块所属的对象数据块的对象数据记录，并发起计时。
在步骤105中，判断是否计时达到预定时长。若计时达到预定时长，则执行步骤106；若未达到预定时长，则返回执行步骤101，继续等待小数据块更新请求，直至达到预定时长。
在步骤106中，将对象数据块分片编码，生成对象数据块的纠删码。在一个实施例中，可以采用RS(Reed-solomon codes，里所码)对对象数据库进行分片编码，计算分片数据块的校验码，并更新存储的校验码。在一个实施例中，可以返回成功消息，确认纠删码写入成功。在一个实施例中，若在预定时间阈值内未收到成功消息，可以重新生成或重新写入校验码。
在步骤107中，删除对象数据块的对象数据记录。
通过这样的方法，能够在处理完成预定时长内的针对同一对象数据块的所有小数据块更新请求后生成对象数据块的纠删码，从而避免出现不同应用在相近的时间修改同一个纠删码对象数据块内容导致纠删码频繁重复计算，能够提高数据块更新频发时的纠删码编码效率，进而提高分布式块存储中的数据读写速率。
在一个实施例中，生成对象数据记录包括：根据小数据块更新请求生成更新后的小数据块，并从永久存储中读取对象数据块的其他小数据块的内容，进而生成对象数据记录。通过这样的方法，能够在收到小数据块更新请求后生成对象数据记录，而对于未接到小数据块更新请求的对象数据库，无需生成对象数据记录，从而较少纠删编码列表中对象数据记录的数量，降低系统负担，且能够提高数据处理效率。
本发明的对象数据记录的一个实施例的示意图如图2所示，对象数据块具有k个小数据块。对象数据记录可以包括对象数据块的标识、对象数据块中各个小数据块的记录的指针，如小数据块1的记录的指针、小数据块2的记录的指针等，分别指向对应的小数据块的记录；小数据块的记录包括小数据块的地址指针，如图中的小数据块1的地址指针，指向小数据块1的地址。
通过这样的方法，能够采用对象数据记录掌握对象数据库中每个小数据块的位置，从而能够迅速的更新小数据块，提高系统的反应速度。
在一个实施例中，若收到小数据块的更新请求，则小数据块的记录中还包括小数据块的更新标识，如图2中所示的小数据块1的更新标识，从而能够掌握对象数据库中哪个或哪些小数据块发生了更新，提高数据掌握力，同时提高纠删码生成效率。
在一个实施例中，更新对象数据块包括：在小数据块记录中添加小数据块的更新标识；更新小数据块的地址指针指向的小数据块中的内容。通过这样的方法，能够在更新小数据块具体内容的同时更新小数据块的更新标识，从而能够掌握对象数据库中哪个或哪些小数据块发生了更新，提高数据掌握力，进一步提高纠删码生成效率。
在一个实施例中，对象数据记录中还可以包括前一个生成的对象数据记录的指针、后一个生成的对象数据记录的指针，从而能够方便的查找前、后一个对象数据记录，一方面由于计时的预定时长固定，对象数据记录的生成顺序和删除顺序相同，纠删编码列表可作为等待编码队列，按照队列顺序进行纠删码计算；另一方面，能够充分利用磁盘资源，无需保证存储的连续，提高磁盘利用率，提高系统性能。
本发明的数据保护方法的另一个实施例的状态转移图如图3所示。其中，常驻状态为等待小数据块更新请求31。
状态转移条件301为接收到小数据块更新请求，且纠删编码列表中不存在该小数据块属于的对象数据块的对象数据记录，状态从等待小数据块更新请求31转移到生成对象数据记录并开始计时32。
状态转移条件302为接收到小数据块更新请求，且纠删编码列表中存在该小数据块属于的对象数据块的对象数据记录，状态从等待小数据块更新请求31转移到更新对象数据块33。
状态转移条件303为计时达到预定时长，状态从任意状态转移到结束计时且生成纠删码34。
状态转移条件304为当前状态执行结束，状态从任意当前状态转移到等待小数据块更新请求31。
通过这样的方法，能够通过上述状态的转移持续等待小数据块更新请求，保证所有的更新请求均能够得到处理，保证数据得到更新；能够对一段时间内的修改进行统一处理，在保证数据安全稳定的同时，减少纠删码频繁重复计算次数，提高数据块更新频发时的纠删码编码效率，提高分布式块存储中的数据读写速率。
本发明的数据保护装置的一个实施例的示意图如图4所示。其中，请求接收模块401能够获取对象数据块的小数据块更新请求。在一个实施例中，请求接收模块401可以持续等待小数据块更新请求，当小数据块更新请求到来时，确定其存储的对象数据块。小数据块更新请求可以是删除、添加、修改等请求。小数据块更新请求中可以包括添加或修改的具体内容。数据更新模块402能够在纠删编码列表中包括对象数据块的对象数据记录的情况下，根据小数据块更新请求更新对象数据块；在纠删编码列表中不包括对象数据块的对象数据记录的情况下，根据更新请求生成对象数据块的对象数据记录。在一个实施例中，可以根据小数据块更新请求中的要求或内容更新对象数据块的小数据块。计时器403能够当生成对象数据记录时发起计时，直至预定时长。编码模块404能够当计时器对对象数据记录的计时达到预定时长时，将对象数据块分片编码，生成对象数据块的纠删码。删除模块405能够当计时器对对象数据记录的计时达到预定时长时，删除对象数据记录。
这样的装置能够在处理完成预定时长内的针对同一对象数据块的所有小数据块更新请求后生成对象数据块的纠删码，从而避免出现不同应用在相近的时间修改同一个纠删码对象数据块内容，导致纠删码频繁重复计算，能够提高数据块更新频发时的纠删码编码效率，进而提高分布式块存储中的数据读写速率。
在一个实施例中，数据更新模块402生成对象数据记录包括：根据小数据块更新请求生成更新后的小数据块，并从永久存储中读取对象数据块的其他小数据块的内容，进而生成对象数据记录。这样的装置能够在收到小数据块更新请求后生成对象数据记录，而对于未接到小数据块更新请求的对象数据库，无需生成对象数据记录，从而较少纠删编码列表中对象数据记录的数量，降低系统负担，且能够提高数据处理效率。
在一个实施例中，数据更新模块402更新对象数据块包括：在小数据块记录中添加小数据块的更新标识；更新小数据块的地址指针指向的小数据块中的内容。这样的装置能够在更新小数据块具体内容的同时更新小数据块的更新标识，从而能够掌握对象数据库中哪个或哪些小数据块发生了更新，提高数据掌握力，进一步提高纠删码生成效率。
在一个实施例中，当计时器计时未达到预定时长时，则数据更新模块还用于持续等待来自请求获取模块的更新请求，直至计时达到预定时长。这样的装置能够保证以预定时长为周期接收小数据块更新请求和生成纠删码，在保证数据安全稳定的同时提高分布式块存储中的读写数据速率。
最后应当说明的是：以上实施例仅用以说明本发明的技术方案而非对其限制；尽管参照较佳实施例对本发明进行了详细的说明，所属领域的普通技术人员应当理解：依然可以对本发明的具体实施方式进行修改或者对部分技术特征进行等同替换；而不脱离本发明技术方案的精神，其均应涵盖在本发明请求保护的技术方案范围当中。

Claims (12)

1.一种数据保护方法，其特征在于，包括：
根据对象数据块的小数据块更新请求在纠删编码列表中查询所述对象数据块的对象数据记录；
若所述纠删编码列表中包括所述对象数据块的所述对象数据记录，则更新所述对象数据块；
若所述纠删编码列表中不包括所述对象数据块的所述对象数据记录，则根据所述更新请求生成所述对象数据块的所述对象数据记录，并发起计时；
当计时达到预定时长时，将所述对象数据块分片编码，生成所述对象数据块的纠删码，并删除所述对象数据块的所述对象数据记录。
2.根据权利要求1所述的方法，其特征在于，
所述对象数据记录包括所述对象数据块的标识、所述对象数据块中各个小数据块的记录的指针，所述小数据块的记录包括所述小数据块的地址指针；
若收到所述小数据块的更新请求，则所述小数据块的记录中还包括所述小数据块的更新标识。
3.根据权利要求2所述的方法，其特征在于，所述对象数据记录中还包括前一个生成的所述对象数据记录的指针和/或后一个生成的所述对象数据记录的指针。
4.根据权利要求1所述的方法，其特征在于，所述根据所述更新请求生成所述对象数据块的所述对象数据记录包括：
根据小数据块更新请求生成更新后的小数据块；
读取对象数据块的其他小数据块的内容，进而生成对象数据记录。
5.根据权利要求2、3或4所述的方法，其特征在于，
所述更新所述对象数据块包括：
在所述小数据块记录中添加所述小数据块的更新标识；
更新所述小数据块的地址指针指向的所述小数据块中的内容。
6.根据权利要求1所述的方法，其特征在于，还包括：若计时未达到预定时长，则持续等待所述更新请求，直至计时达到所述预定时长。
7.一种数据保护装置，其特征在于，包括：
请求接收模块，用于获取对象数据块的小数据块更新请求；
数据更新模块，用于当纠删编码列表中包括所述对象数据块的所述对象数据记录时根据小数据块更新请求更新所述对象数据块；当所述纠删编码列表中不包括所述对象数据块的所述对象数据记录时，根据所述更新请求生成所述对象数据块的所述对象数据记录；
计时器，用于当生成所述对象数据记录时发起计时，直至预定时长；
编码模块，用于当所述计时器对所述对象数据记录的计时达到预定时长时，将所述对象数据块分片编码，生成所述对象数据块的纠删码；
删除模块，用于当所述计时器对所述对象数据记录的计时达到所述预定时长时，删除所述对象数据记录。
8.根据权利要求7所述的装置，其特征在于，
所述对象数据记录包括所述对象数据块的标识、所述对象数据块中各个小数据块的记录的指针，所述小数据块的记录包括所述小数据块的地址指针；
若收到所述小数据块的更新请求，则所述小数据块的记录中还包括所述小数据块的更新标识。
9.根据权利要求7所述的装置，其特征在于，所述对象数据记录中还包括前一个生成的所述对象数据记录的指针和/或后一个生成的所述对象数据记录的指针。
10.根据权利要求7所述的装置，其特征在于，当所述纠删编码列表中不包括所述对象数据块的所述对象数据记录时，所述数据更新模块具体用于：
根据小数据块更新请求生成更新后的小数据块；
读取对象数据块的其他小数据块的内容，进而生成对象数据记录。
11.根据权利要求8、9或10任一所述的装置，其特征在于，当纠删编码列表中包括所述对象数据块的所述对象数据记录时，所述数据更新模块具体用于：
在所述小数据块记录中添加所述小数据块的更新标识；
更新所述小数据块的地址指针指向的所述小数据块中的内容。
12.根据权利要求7所述的装置，其特征在于，还包括：
当所述计时器计时未达到预定时长时，则所述数据更新模块还用于持续等待来自所述请求获取模块的所述更新请求，直至计时达到所述预定时长。
CN201610948022.XA 2016-10-27 2016-10-27 数据保护方法和装置 Active CN107992264B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201610948022.XA CN107992264B (zh) 2016-10-27 2016-10-27 数据保护方法和装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201610948022.XA CN107992264B (zh) 2016-10-27 2016-10-27 数据保护方法和装置

Publications (2)

Publication Number Publication Date
CN107992264A true CN107992264A (zh) 2018-05-04
CN107992264B CN107992264B (zh) 2021-03-05

Family

ID=62029226

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610948022.XA Active CN107992264B (zh) 2016-10-27 2016-10-27 数据保护方法和装置

Country Status (1)

Country Link
CN (1) CN107992264B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110895497A (zh) * 2019-12-09 2020-03-20 成都信息工程大学 一种分布式存储中降低纠删码修复的方法及装置

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102681793A (zh) * 2012-04-16 2012-09-19 华中科技大学 一种基于纠删码集群存储系统的局部式数据更新方法
CN103645861A (zh) * 2013-12-03 2014-03-19 华中科技大学 一种纠删码集群中失效节点的重构方法
US20150309863A1 (en) * 2014-04-24 2015-10-29 University Of Maryland Practical dynamic proofs of retrievability
CN105630423A (zh) * 2015-12-25 2016-06-01 华中科技大学 一种基于数据缓存的纠删码集群存储扩容方法
CN105930103A (zh) * 2016-05-10 2016-09-07 南京大学 一种分布式存储ceph的纠删码覆盖写方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102681793A (zh) * 2012-04-16 2012-09-19 华中科技大学 一种基于纠删码集群存储系统的局部式数据更新方法
CN103645861A (zh) * 2013-12-03 2014-03-19 华中科技大学 一种纠删码集群中失效节点的重构方法
US20150309863A1 (en) * 2014-04-24 2015-10-29 University Of Maryland Practical dynamic proofs of retrievability
CN105630423A (zh) * 2015-12-25 2016-06-01 华中科技大学 一种基于数据缓存的纠删码集群存储扩容方法
CN105930103A (zh) * 2016-05-10 2016-09-07 南京大学 一种分布式存储ceph的纠删码覆盖写方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
JOHNSON THIE，DAVID TAUBMAN；: "Optimal Erasure Protection Assignment for Scalable Compressed Data with Small Channel Packets and Short Channel Codewords", 《EURASIP JOURNAL ON ADVANCES IN SIGNAL PROCESSING》 *
杨靖: "基于数据块的数据保护技术研究", 《中国博士学位论文全文数据库信息科技辑》 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110895497A (zh) * 2019-12-09 2020-03-20 成都信息工程大学 一种分布式存储中降低纠删码修复的方法及装置
CN110895497B (zh) * 2019-12-09 2022-06-07 成都信息工程大学 一种分布式存储中降低纠删码修复的方法及装置

Also Published As

Publication number Publication date
CN107992264B (zh) 2021-03-05

Similar Documents

Publication Publication Date Title
CN103136243B (zh) 基于云存储的文件系统去重方法及装置
CN102483714B (zh) 恢复闪存存储器设备中的索引页的系统及方法
CN104239518B (zh) 重复数据删除方法和装置
US9619334B2 (en) System and method for merging continuous volume snapshots
CN103870514A (zh) 重复数据删除方法和装置
CN109213420A (zh) 数据存储方法、装置及系统
CN107122130B (zh) 一种数据重删方法及装置
CN105677508B (zh) 一种云存储中纠删码数据的修改方法及系统
CN104142969B (zh) 数据分块的处理方法和装置
JP2010535379A (ja) フラッシュメモリに最適化された入出力制御方法および装置
US20200073593A1 (en) Memory controller and associated accessing method and electronic device
CN106686095A (zh) 一种基于纠删码技术的数据存储方法及装置
CN108733324A (zh) 一种固态硬盘的数据读写方法、装置、设备及存储介质
CN109189613A (zh) 一种数据库数据恢复方法及相关装置
TW202014908A (zh) 向量處理器儲存
CN109471843A (zh) 一种元数据缓存方法、系统及相关装置
CN108897859A (zh) 一种元数据检索方法、装置、设备及计算机可读存储介质
WO2021151298A1 (zh) 一种数据冗余处理方法、装置、设备及存储介质
CN107992264A (zh) 数据保护方法和装置
KR101481898B1 (ko) Ｓｓｄ의 명령어 큐 스케줄링 장치 및 방법
CN104408126B (zh) 一种数据库的持久化写入方法、装置和系统
CN112988819A (zh) 区块链交易执行方法、区块链节点及控制装置
CN113596010A (zh) 一种数据处理方法、装置、节点设备及计算机存储介质
CN105095352B (zh) 应用于分布式系统的数据处理方法及装置
JP5664318B2 (ja) 仮想ファイルシステム

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant