CN106991118A - 基于ceph纠删除容错的读取文件方法及装置 - Google Patents

基于ceph纠删除容错的读取文件方法及装置 Download PDF

Info

Publication number
CN106991118A
CN106991118A CN201710088760.6A CN201710088760A CN106991118A CN 106991118 A CN106991118 A CN 106991118A CN 201710088760 A CN201710088760 A CN 201710088760A CN 106991118 A CN106991118 A CN 106991118A
Authority
CN
China
Prior art keywords
data block
client
reading
osd
block
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201710088760.6A
Other languages
English (en)
Inventor
李发明
张勤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Tongyou Feiji Science and Technology Co., Ltd.
Original Assignee
Shenzhen City Rui Bo Deposit Information Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen City Rui Bo Deposit Information Technology Co Ltd filed Critical Shenzhen City Rui Bo Deposit Information Technology Co Ltd
Priority to CN201710088760.6A priority Critical patent/CN106991118A/zh
Publication of CN106991118A publication Critical patent/CN106991118A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10—File systems; File servers
    • G06F16/17—Details of further file system functions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10—File systems; File servers
    • G06F16/18—File system types
    • G06F16/182—Distributed file systems
    • H—ELECTRICITY
    • H03—ELECTRONIC CIRCUITRY
    • H03M—CODING; DECODING; CODE CONVERSION IN GENERAL
    • H03M13/00—Coding, decoding or code conversion, for error detection or error correction; Coding theory basic assumptions; Coding bounds; Error probability evaluation methods; Channel models; Simulation or testing of codes
    • H03M13/03—Error detection or forward error correction by redundancy in data representation, i.e. code words containing more digits than the source words
    • H03M13/05—Error detection or forward error correction by redundancy in data representation, i.e. code words containing more digits than the source words using block codes, i.e. a predetermined number of check bits joined to a predetermined number of information bits
    • H03M13/13—Linear codes
    • H03M13/15—Cyclic codes, i.e. cyclic shifts of codewords produce other codewords, e.g. codes defined by a generator polynomial, Bose-Chaudhuri-Hocquenghem [BCH] codes
    • H03M13/151—Cyclic codes, i.e. cyclic shifts of codewords produce other codewords, e.g. codes defined by a generator polynomial, Bose-Chaudhuri-Hocquenghem [BCH] codes using error location or error correction polynomials
    • H03M13/1515—Reed-Solomon codes

Abstract

本发明公开了一种基于CEPH纠删除容错的读取文件方法，该方法包括：接收客户端发送读取对象的请求；根据请求计算需要读取的数据块，并根据客户端id和对象id，向所有其它OSD发送请求读取数据块的广播消息；接收纠删数据块及校验块所在的OSD发送过来的请求读取的数据块；将接收到的请求读取的数据块恢复出原对象并发送给客户端。本发明还公开了一种基于CEPH纠删除容错的读取文件装置。采用本发明的读取文件方法实现了读取纠删数据的优化，提高了纠删编码数据的读取性能。

Description

基于CEPH纠删除容错的读取文件方法及装置
技术领域
本发明涉及分布式存储领域，尤其涉及一种基于CEPH纠删除容错的读取文件方法及装置。
背景技术
在CEPH分布式文件系统中，通常采用RS(k,m)的纠删码，即原始数据切片k块，编码出m块校验块，分别存储到k+m个节点中。纠删码覆盖写，需要至少m+1个节点的参与，包括1个数据节点，m个校验块节点。RS(k,m)的纠删码至多容忍m个节点丢失，需要k个节点才能解码原始数据，所以覆盖写更新需要保持至少k个节点数据版本一致，才能保证更新不会造成数据丢失。特别是在做读取操作时，纠删数据块分散在多个OSD或主机上，该数据的相应时间即为最慢的OSD或者主机上的纠删数据块相应时间，导致使用纠删编码的数据读取性能较差。
发明内容
本发明的主要目的在于提供一种基于CEPH纠删除容错的读取文件方法及装置，旨在提高使用纠删编码的数据读取性能。
为实现上述目的，本发明提供的一种基于CEPH纠删除容错的读取文件方法包括如下步骤：
接收客户端发送的读取对象的请求；
根据请求计算需要读取的数据块，并根据客户端id和对象id，向所有其它OSD发送请求读取数据块的广播消息；
接收纠删数据块及校验块所在的OSD发送过来的请求读取的数据块；
将接收到的请求读取的数据块恢复出原对象并发送给客户端。
优选地，所述接收客户端发送的读取对象的请求的步骤具体包括：客户端根据Crush算法找到主OSD，主OSD接收客户端发送的读取对象的请求。
优选地，所述将接收到的请求读取的数据块恢复出原对象并发送给客户端的步骤包括：
若纠删比为K：M，则根据最先发回的K个数据块或检验块恢复出原对象，将恢复后的原对象发送给客户端。
优选地，所述接收纠删数据块及校验块所在的OSD发送过来的请求读取的数据块的步骤具体包括：
主OSD根据客户端id检索纠删数据块及校验块所在的OSD内的缓存组内是否存在所述数据块，如果存在，则直接提取；
如果不存在，则根据对象id和读取范围内对应的数据块序号检索Hashmap的索引结构，如果存在对应数据块，则直接将所述数据块返回至主OSD。
此外，为实现上述目的，本发明还提供一种基于CEPH纠删除容错的读取文件装置，所述基于CEPH纠删除容错的读取文件装置：
第一接收模块，用于接收客户端发送的读取对象的请求；
第一发送模块，用于根据请求计算需要读取的数据块，并根据客户端id和对象id，向所有其它OSD发送请求读取数据块的广播消息；
第二接收模块，用于接收纠删数据块及校验块所在的OSD发送过来的请求读取的数据块；
第二发送模块，用于将接收到的请求读取的数据块恢复出原对象并发送给客户端。
优选地，所述客户端用于根据Crush算法找到主OSD，所述第一接收模块用于主OSD接收客户端发送的读取对象的请求。
优选地，所述第二发送模块包括：
恢复单元，用于当纠删比为K：M时，根据最先发回的K个数据块或检验块恢复出原对象，将恢复后的原对象发送给客户端。
优选地，所述第二接收模块包括：
提取单元，用于根据客户端id检索纠删数据块及校验块所在的OSD内的缓存组，如果存在所述数据块，则直接提取；
返回单元，用于当不存在所述数据块时，则根据对象id和读取范围内对应的数据块序号检索Hashmap的索引结构，如果存在对应数据块，则直接将所述数据块返回至主OSD。
本发明通过接收客户端发送读取对象的请求；根据请求计算需要读取的数据块，并根据客户端id和对象id，向所有OSD发送请求读取数据块的消息；接收接收纠删数据块及校验块所在的OSD发送过来的请求读取的数据块；将接收到的请求读取的数据块恢复出原对象并发送给客户端。采用本发明的读取文件方法实现了读取纠删数据的优化，提高了纠删编码数据的读取性能。
附图说明
图1为本发明基于CEPH纠删除容错的读取文件方法第一实施例的流程示意图；
图2为本发明基于CEPH纠删除容错的读取文件方法第二实施例中读取数据块的细化流程示意图；
图3为本发明基于CEPH纠删除容错的读取文件装置第一实施例的功能模块示意图；
图4为本发明基于CEPH纠删除容错的读取文件装置第二实施例中第二接收模块的细化功能模块示意图；
图5为基于CEPH纠删除容错的读取文件方法的时序图。
本发明目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。
具体实施方式
应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
本发明提供一种基于CEPH纠删除容错的读取文件方法，参照图1和图5，在第一实施例中，该基于CEPH纠删除容错的读取文件方法包括：
步骤S10，接收客户端发送过来的读取对象的请求；
本实施例中，在CEPH存储系统中，读取数据时，客户端只会向CEPH的存储节点中的主OSD节点发起读取数据请求，并不会有类似于数据库中的读写分类的情况出现。在CEPH分布式存储系统中，每个存储服务器上可能包含了众多的OSD节点，每个节点监听不同的端口，每个OSD节点可以设置一个目录作为实际存储区域，也可以是一个分区。本实施例中，所有OSD节点均分布于CEPH分布式存储系统中。
本实施例中，所述客户端根据Crush算法找到主OSD，Crush算法是CEPH的两大创新之一，CEPH摒弃了传统的集中式存储元数据寻址的方案，转而使用Crush算法完成数据的寻址操作。Crush在一致性哈希基础上很好的考虑了容灾域的隔离，能够实现各类负载的副本放置规则，例如跨机房、机架感知等。Crush算法有相当强大的扩展性，理论上支持数千个存储节点。客户端发送需要读取数据的请求，主OSD接收客户端发送过来的读取对象的请求。
步骤S20，根据请求计算需要读取的数据块，并根据客户端id和对象id，向所有OSD发送请求读取数据的消息；
本实施例中，所述主OSD根据相应的编码方法计算出需要读取的数据块，并根据客户端id和对象id向所有OSD发送请求读取数据的消息。
步骤S30，接收纠删数据块及校验块所在的OSD发送过来的请求读取的数据块；
步骤S40，将接收到的请求读取的数据块恢复出原对象并发送给客户端。
具体地，若纠删比为K：M，则根据最先发回的K个数据块或检验块恢复出原对象，将恢复后的原对象发送给客户端。其中K和M均为正整数。
本实施例中，以纠删码RS(4,2)为例说明本发明方法，即原始数据块切成四块，经过RS编码处2块校验码，所有涉及的运算皆为RS编码中的有限域运算。以4MB大小作为编码条带，其中每个节点都会存储条带中1MB大小的数据块，原始文件会以4MB为大小切分成多个编码条带。一个PG组包含6个存储节点OSD，其中前4个节点存储原始数据块，称为数据节点，第2个节点存储编码块，称为校验块节点，并且数据节点中第一块数据块所在节点为主OSD。读取数据请求由额外的1个客户端节点发起。
图5为CEPH系统中实现纠删码容错读取文件的时序图。包括客户端发起读取请求到CEPH的存储节点中的主OSD，主OSD分析读取请求选定编码方法后构造对应的读取请求，发送给对应数据块OSD，然后异步等待数据返回。主OSD收到所有返回的数据后，将接收到的请求读取的数据块恢复出原对象后发送给客户端。
本实施例通过接收客户端发送读取对象的请求；计算需要读取的数据块，并根据客户端id和对象id，向所有OSD发送请求读取数据块的消息；接收特定的OSD发送过来的请求读取的数据块；将接收到的请求读取的数据块恢复出原对象并发送给客户端。采用本发明的读取文件方法实现了读取纠删数据的优化，提高了纠删编码数据的读取性能。
进一步地，请参阅图2，基于本发明基于CEPH纠删除容错的读取文件方法第一实施例，在本发明基于CEPH纠删除容错的读取文件方法第二实施例中，上述步骤S30包括：
步骤S31，主OSD根据客户端id检索纠删数据块及校验块所在的OSD内的缓存组，如果存在所述数据块，则直接提取；
步骤S32，如果没有，则根据对象id和读取范围内对应的数据块序号检索Hashmap的索引结构，如果存在对应数据块，则直接将所述数据块返回至主OSD。
具体地，本实施例中，根据客户端id检索缓存组，如果存在，则直接提取，如果没有则分配新的缓存组，如果空间足够，则直接分配，如果已分配数超过预定客户端缓存数时，从LRU链表中删除末尾客户端id，新建当前客户端id的缓存组索引。并加入LRU结构。从缓存组中，根据对象id和读取范围对应的数据块序号检索Hashmp的索引结构，如果存在对应数据块，则直接返回；如果不存在，则发起读取请求，在读取数据返回后将数据块加入缓存组，在缓存满时。则根据LRU算法删除最近未使用的数据块。
本实施例通过在OSD内读取数据块，并根据OSD内的存储情况，及时将数据块缓存到OSD内的缓存组中，并及时清理OSD内的缓存空间。提高了数据读取速度以及扩展了存储空间。
本发明还提供一种基于CEPH纠删除容错的读取文件装置，参照图3，在第一实施例中，该基于CEPH纠删除容错的读取文件装置包括：
第一接收模块10，用于接收客户端发送过来的读取对象的请求；
本实施例中，在CEPH存储系统中，读取数据时，客户端只会向CEPH的存储节点中的主OSD节点发起读取数据请求，并不会有类似于数据库中的读写分类的情况出现。在CEPH分布式存储系统中，每个存储服务器上可能包含了众多的OSD节点，每个节点监听不同的端口，每个OSD节点可以设置一个目录作为实际存储区域，也可以是一个分区。本实施例中，所有OSD节点均分布于CEPH分布式存储系统中。
本实施例中，所述客户端根据Crush算法找到主OSD，Crush算法是CEPH的两大创新之一，CEPH摒弃了传统的集中式存储元数据寻址的方案，转而使用Crush算法完成数据的寻址操作。Crush在一致性哈希基础上很好的考虑了容灾域的隔离，能够实现各类负载的副本放置规则，例如跨机房、机架感知等。Crush算法有相当强大的扩展性，理论上支持数千个存储节点。客户端发送需要读取数据的请求，主OSD接收客户端发送过来的读取对象的请求。
第一发送模块20，用于根据请求计算需要读取的数据块，并根据客户端id和对象id，向所有OSD发送请求读取数据的消息；
本实施例中，所述主OSD根据相应的编码方法计算出需要读取的数据块，并根据客户端id和对象id向所有OSD发送请求读取数据的消息。
第二接收模块30，用于接收纠删数据块及校验块所在的OSD发送过来的请求读取的数据块；
第二发送模块40，用于将接收到的请求读取的数据块恢复出原对象并发送给客户端。
具体地，若纠删比为K：M，则根据最先发回的K个数据块或检验块恢复出原对象，将恢复后的原对象发送给客户端。其中K和M均为正整数。
本实施例中，以纠删码RS(4,2)为例说明本发明方法，即原始数据块切成四块，经过RS编码处2块校验码，所有涉及的运算皆为RS编码中的有限域运算。以4MB大小作为编码条带，其中每个节点都会存储条带中1MB大小的数据块，原始文件会以4MB为大小切分成多个编码条带。一个PG组包含6个存储节点OSD，其中前4个节点存储原始数据块，称为数据节点，第2个节点存储编码块，称为校验块节点，并且数据节点中第一块数据块所在节点为主OSD。读取数据请求由额外的1个客户端节点发起。
图5为CEPH系统中实现纠删码容错读取文件的时序图。包括客户端发起读取请求到CEPH的存储节点中的主OSD，主OSD分析读取请求选定编码方法后构造对应的读取请求，发送给对应数据块OSD，然后异步等待数据返回。主OSD收到所有返回的数据后，将接收到的请求读取的数据块恢复出原对象后发送给客户端。
本实施例通过接收客户端发送读取对象的请求；计算需要读取的数据块，并根据客户端id和对象id，向所有OSD发送请求读取数据块的消息；接收特定的OSD发送过来的请求读取的数据块；将接收到的请求读取的数据块恢复出原对象并发送给客户端。采用本发明的读取文件方法实现了读取纠删数据的优化，提高了纠删编码数据的读取性能。
进一步地，请参阅图4，基于本发明基于CEPH纠删除容错的读取文件装置第一实施例，在本发明基于CEPH纠删除容错的读取文件装置第二实施例中，所述第二接收模块30还包括：
提取单元31，用于主OSD根据客户端id检索纠删数据块及校验块所在的OSD内的缓存组内是否存在所述数据块，如果存在，则直接提取；
返回单元32，用于当不存在所述数据块时，则根据对象id和读取范围内对应的数据块序号检索Hashmap的索引结构，如果存在对应数据块，则直接将所述数据块返回至主OSD。
具体地，本实施例中，根据客户端id检索缓存组，如果存在，则直接提取，如果没有则分配新的缓存组，如果空间足够，则直接分配，如果已分配数超过预定客户端缓存数时，从LRU链表中删除末尾客户端id，新建当前客户端id的缓存组索引。并加入LRU结构。从缓存组中，根据对象id和读取范围对应的数据块序号检索Hashmp的索引结构，如果存在对应数据块，则直接返回；如果不存在，则发起读取请求，在读取数据返回后将数据块加入缓存组，在缓存满时。则根据LRU算法删除最近未使用的数据块。
本实施例通过在OSD内读取数据块，并根据OSD内的存储情况，及时将数据块缓存到OSD内的缓存组中，并及时清理OSD内的缓存空间。提高了数据读取速度以及扩展了存储空间。
以上仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。

Claims (8)

1.一种基于CEPH纠删除容错的读取文件方法，其特征在于，所述基于CEPH纠删除容错的读取文件方法包括如下步骤：
接收客户端发送的读取对象的请求；
根据请求计算需要读取的数据块，并根据客户端id和对象id，向所有其它OSD发送请求读取数据块的广播消息；
接收纠删数据块及校验块所在的OSD发送过来的请求读取的数据块；
将接收到的请求读取的数据块恢复出原对象并发送给客户端。
2.根据权利要求1所述的基于CEPH纠删除容错的读取文件方法，其特征在于，所述接收客户端发送的读取对象的请求的步骤具体包括：客户端根据Crush算法找到主OSD，主OSD接收客户端发送的读取对象的请求。
3.根据权利要求1所述的基于CEPH纠删除容错的读取文件方法，其特征在于，所述将接收到的请求读取的数据块恢复出原对象并发送给客户端的步骤包括：
若纠删比为K：M，则根据最先发回的K个数据块或检验块恢复出原对象，将恢复后的原对象发送给客户端。
4.根据权利要求1-3任一项所述的基于CEPH纠删除容错的读取文件方法，其特征在于，所述接收纠删数据块及校验块所在的OSD发送过来的请求读取的数据块的步骤具体包括：
主OSD根据客户端id检索纠删数据块及校验块所在的OSD内的缓存组内是否存在所述数据块，如果存在，则直接提取；
如果不存在，则根据对象id和读取范围内对应的数据块序号检索Hashmap的索引结构，如果存在对应数据块，则直接将所述数据块返回至主OSD。
5.一种基于CEPH纠删除容错的读取文件装置，其特征在于，所述基于CEPH纠删除容错的读取文件装置包括：
第一接收模块，用于接收客户端发送的读取对象的请求；
第一发送模块，用于根据请求计算需要读取的数据块，并根据客户端id和对象id，向所有其它OSD发送请求读取数据块的广播消息；
第二接收模块，用于接收纠删数据块及校验块所在的OSD发送过来的请求读取的数据块；
第二发送模块，用于将接收到的请求读取的数据块恢复出原对象并发送给客户端。
6.根据权利要求6所述的基于CEPH纠删除容错的读取文件装置，其特征在于，所述客户端用于根据Crush算法找到主OSD，所述第一接收模块用于主OSD接收客户端发送的读取对象的请求。
7.根据权利要求6所述的基于CEPH纠删除容错的读取文件装置，其特征在于，所述第二发送模块包括：
恢复单元，用于当纠删比为K：M时，根据最先发回的K个数据块或检验块恢复出原对象，将恢复后的原对象发送给客户端。
8.根据权利要求5-7任一项所述的基于CEPH纠删除容错的读取文件装置，其特征在于，所述第二接收模块包括：
提取单元，用于根据客户端id检索纠删数据块及校验块所在的OSD内的缓存组内是否存在所述数据块，如果存在，则直接提取；
返回单元，用于当不存在所述数据块时，则根据对象id和读取范围内对应的数据块序号检索Hashmap的索引结构，如果存在对应数据块，则直接将所述数据块返回至主OSD。
CN201710088760.6A 2017-02-17 2017-02-17 基于ceph纠删除容错的读取文件方法及装置 Pending CN106991118A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710088760.6A CN106991118A (zh) 2017-02-17 2017-02-17 基于ceph纠删除容错的读取文件方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710088760.6A CN106991118A (zh) 2017-02-17 2017-02-17 基于ceph纠删除容错的读取文件方法及装置

Publications (1)

Publication Number Publication Date
CN106991118A true CN106991118A (zh) 2017-07-28

Family

ID=59413800

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710088760.6A Pending CN106991118A (zh) 2017-02-17 2017-02-17 基于ceph纠删除容错的读取文件方法及装置

Country Status (1)

Country Link
CN (1) CN106991118A (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108512908A (zh) * 2018-03-13 2018-09-07 山东超越数控电子股份有限公司 一种基于Ceph的云存储容错机制和基于Ceph的web管理平台
CN109799954A (zh) * 2018-12-19 2019-05-24 创新科存储技术（深圳）有限公司 实现ceph集群缓存的方法和osd
CN110059068A (zh) * 2019-04-11 2019-07-26 厦门网宿有限公司 一种分布式存储系统中的数据校验方法及数据校验系统
CN113190384A (zh) * 2021-05-21 2021-07-30 重庆紫光华山智安科技有限公司 基于纠删码的数据恢复控制方法、装置、设备及介质
CN113360315A (zh) * 2020-03-06 2021-09-07 科大国盾量子技术股份有限公司 一种数据中心

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102937967A (zh) * 2012-10-11 2013-02-20 南京中兴新软件有限责任公司 数据冗余实现方法及装置
US20150149819A1 (en) * 2013-11-27 2015-05-28 Electronics And Telecommunications Research Institute Parity chunk operating method and data server apparatus for supporting the same in distributed raid system
CN105930103A (zh) * 2016-05-10 2016-09-07 南京大学 一种分布式存储ceph的纠删码覆盖写方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102937967A (zh) * 2012-10-11 2013-02-20 南京中兴新软件有限责任公司 数据冗余实现方法及装置
US20150149819A1 (en) * 2013-11-27 2015-05-28 Electronics And Telecommunications Research Institute Parity chunk operating method and data server apparatus for supporting the same in distributed raid system
CN105930103A (zh) * 2016-05-10 2016-09-07 南京大学 一种分布式存储ceph的纠删码覆盖写方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
刘莎 等: "Ceph云文件系统中纠删码的应用研究", 《计算机时代》 *

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108512908A (zh) * 2018-03-13 2018-09-07 山东超越数控电子股份有限公司 一种基于Ceph的云存储容错机制和基于Ceph的web管理平台
CN109799954A (zh) * 2018-12-19 2019-05-24 创新科存储技术（深圳）有限公司 实现ceph集群缓存的方法和osd
CN109799954B (zh) * 2018-12-19 2022-02-22 深圳创新科技术有限公司 实现ceph集群缓存的方法和osd
CN110059068A (zh) * 2019-04-11 2019-07-26 厦门网宿有限公司 一种分布式存储系统中的数据校验方法及数据校验系统
CN113360315A (zh) * 2020-03-06 2021-09-07 科大国盾量子技术股份有限公司 一种数据中心
CN113190384A (zh) * 2021-05-21 2021-07-30 重庆紫光华山智安科技有限公司 基于纠删码的数据恢复控制方法、装置、设备及介质

Similar Documents

Publication Publication Date Title
US11461296B2 (en) Systems and methods for database management using append-only storage devices
JP6778795B2 (ja) データを記憶するための方法、装置及びシステム
CN106991118A (zh) 基于ceph纠删除容错的读取文件方法及装置
US10656866B2 (en) Unidirectional vault synchronization to support tiering
US11080245B2 (en) Multi-tier cloud file system
US9715507B2 (en) Techniques for reconciling metadata and data in a cloud storage system without service interruption
US10853340B2 (en) Static sorted index replication
US20140372383A1 (en) Log Access Method Storage Control Apparatus, Archive System, and Method of Operation
US20200117362A1 (en) Erasure coding content driven distribution of data blocks
WO2019001521A1 (zh) 数据存储方法、存储设备、客户端及系统
CN110998537B (zh) 一种过期备份处理方法及备份服务器
KR101922044B1 (ko) 데이터베이스 이중화 무중단 정합성 복구 기법
CN104881466A (zh) 数据分片的处理以及垃圾文件的删除方法和装置
CN105677238A (zh) 一种基于分布式存储重复数据删除的虚拟机系统盘的方法
CN104965835A (zh) 一种分布式文件系统的文件读写方法及装置
CN105915595B (zh) 一种集群存储系统存取数据的方法以及集群存储系统
CN106874399B (zh) 一种联网备份系统及备份方法
JP6269253B2 (ja) 分散ストレージシステム、記憶装置制御方法、および記憶装置制御プログラム
US10545825B2 (en) Fault-tolerant enterprise object storage system for small objects
US20180307437A1 (en) Backup control method and backup control device
US10209909B1 (en) Storage element cloning in presence of data storage pre-mapper
US20230128077A1 (en) System and Method for Aggregation of Write Commits To Control Written Block Size
CN106383664B (zh) 数据存储方法及装置
US20150088826A1 (en) Enhanced Performance for Data Duplication
US9111015B1 (en) System and method for generating a point-in-time copy of a subset of a collectively-managed set of data items

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right

Effective date of registration: 20190919

Address after: 100089 Floor 1-4, No. 2 Building, No. 9 Courtyard, Dijin Road, Haidian District, Beijing

Applicant after: Beijing Tongyou Feiji Science and Technology Co., Ltd.

Address before: 518000 Feiyada Science and Technology Building, Yuehai Street, Nanshan District, Shenzhen City, Guangdong Province, 1402E

Applicant before: Shenzhen City Rui Bo deposit information technology Co. Ltd.

TA01 Transfer of patent application right
RJ01 Rejection of invention patent application after publication

Application publication date: 20170728

RJ01 Rejection of invention patent application after publication