CN105893169A - 一种基于纠删码的文件存储方法和系统 - Google Patents

一种基于纠删码的文件存储方法和系统 Download PDF

Info

Publication number
CN105893169A
CN105893169A CN201610201684.0A CN201610201684A CN105893169A CN 105893169 A CN105893169 A CN 105893169A CN 201610201684 A CN201610201684 A CN 201610201684A CN 105893169 A CN105893169 A CN 105893169A
Authority
CN
China
Prior art keywords
block
sub
file
disk
written
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201610201684.0A
Other languages
English (en)
Inventor
吴兴义
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
LeTV Holding Beijing Co Ltd
LeTV Cloud Computing Co Ltd
Original Assignee
LeTV Holding Beijing Co Ltd
LeTV Cloud Computing Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by LeTV Holding Beijing Co Ltd, LeTV Cloud Computing Co Ltd filed Critical LeTV Holding Beijing Co Ltd
Priority to CN201610201684.0A priority Critical patent/CN105893169A/zh
Publication of CN105893169A publication Critical patent/CN105893169A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/07—Responding to the occurrence of a fault, e.g. fault tolerance
    • G06F11/08—Error detection or correction by redundancy in data representation, e.g. by using checking codes
    • G06F11/10—Adding special bits or symbols to the coded information, e.g. parity check, casting out 9's or 11's
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0628—Interfaces specially adapted for storage systems making use of a particular technique
    • G06F3/0646—Horizontal data movement in storage systems, i.e. moving data in between storage devices or systems
    • G06F3/0647—Migration mechanisms
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0668—Interfaces specially adapted for storage systems adopting a particular infrastructure
    • G06F3/0671—In-line storage system
    • G06F3/0673—Single storage device
    • G06F3/0674—Disk device

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Quality & Reliability (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明公开了一种基于纠删码的文件存储方法和系统，其中，方法包括：接收写入文件请求；获取待写入文件的大小值K；根据预先设置的分解值Q，将待写入文件分解成至少S个子块,S＝[K/Q]；对至少S个子块中的每个子块进行纠删编码，使得每个子块生成L个纠删块；将所述至少S个子块中，每个子块所生成的L个纠删块分别写入不同的磁盘。本发明能够在节约存储空间、节约成本的基础之上，提升计算设备存储数据和读取数据的性能，尤其在提升读取目录、验证用户权限等操作的速度、节约文件系统的inode、提升数据迁移过程方面具有良好的效果。

Description

一种基于纠删码的文件存储方法和系统
技术领域
本发明涉及数据存储技术领域，特别涉及一种基于纠删码的文件存储方法和系统。
背景技术
近年来，随着视频码率越来越高，视频文件也变得越来越大，对文件的存储要求也越来越高。通常用户都会对数据冗余及安全性提出要求：必须对数据进行备份，防止由于单块硬盘损坏造成数据丢失。为了满足这一要求，现有技术通常采用多副本或者纠删码的冗余存储方案。
其中，多副本的方案的问题是成本过高。以最常用的三副本为例，为了存储一份数据，需要备份两个副本，这种冗余存储方案造成需要存储3倍于数据本身的量，占用大量的磁盘。
纠删码的原理就是将一份数据纠删编码后形成L个纠删块，其中，L个纠删块包括D块数据块和P块校验块，L＝D+P，通过任意的D块数据都可以将缺失的P块数据恢复出来。例如，在D＝4,P＝2的纠删码方案中，数据安全性相当于三副本(即可丢失两个副本)，但是该冗余存储方案只需要存储1.5倍于数据本身的量，相比于三副本模式，节省了50％的成本。
纠删码方案相比多副本方案，虽然能够节省磁盘空间，但是也存在以下问题：
1.相比于多副本的冗余存储方案，纠删码会将一个完整的文件切分成非常多的较小的子块。比如，1个文件大小为4兆字节的文件，采用三副本方案，底层文件系统会存为3个4M的文件。但是采用纠删码方案(以D＝4，P＝2为例)，底层文件系统会存为D＝4，P＝2的6个1M的文件。底层文件系统中的大量小文件会让文件系统的负载加重，使得读取目录、验证用户权限等操作都会比较慢，另外，过大的文件数量可能会耗光文件系统的inode。
2.当对存储集群内的磁盘进行扩容时，会将大部分写入导入到新磁盘中。这种情况下，当老磁盘数据量逐渐增多时，慢慢就会变为基本只能够响应读请求，这样会造成集群磁盘的负载严重不均衡。为使得每块磁盘的数据尽量均匀，从而充分发挥每块磁盘的带宽，数据映射机制会在扩容磁盘时，迫使数据进行一次迁移，将部分数据从老磁盘中迁入到新的磁盘。数据迁移过程中，势必需要从老磁盘中读取数据，如果大部分数据都是比较小的文件，则存在大量的随机IO，从而使得迁移过程进行的非常缓慢，影响服务的可用性。
3.三副本方案中，每个副本的数据都是完全相同的，当存放一个副本的磁盘损坏时，另外两副本中的任一个写入到一个新磁盘即可。然而，在纠删码方案中，每个子块形成的纠删码都是不同的，比如前面例子提到的D＝4,P＝2的情况，纠删码分为(0,1,2,3,4,5)六块，(0,1,2,3)是数据块，(4,5)是校验块，每个纠删码分别存储于一个磁盘上。当存放数据块0的磁盘损坏时，管是否在坏磁盘的位置上是否有新盘插入，必须有一种数据映射机制必须保证，原有的数据不会迁移，否则数据迁移会带来大量磁盘和网络带宽的浪费。
4.三副本方案中，由于每个副本的内容都是一致的，所以响应读请求时，只需任意挑选一个读取即可，但是采用纠删编码的情况下，在响应读请求时，现有技术中的读取方案需要进行优化。
发明内容
本发明的目的是：对现有技术中的纠删码方案进行改进，提供一种节约存储空间、减轻文件系统的负载、当对存储集群内的磁盘进行扩容时提高数据的迁移效率的文件存储方法和系统。
根据本发明的一个方面，提供了一种基于纠删码的文件存储方法，包括以下步骤：
接收写入文件请求；
获取待写入文件的大小值K；
根据预先设置的分解值Q，将待写入文件分解成至少S个子块,S＝[K/Q]；其中，所述S个子块中，每个子块的大小为所述分解值Q；
对至少S个子块中的每个子块进行纠删编码，使得每个子块生成L个纠删块；
将所述至少S个子块中，每个子块所生成的L个纠删块分别写入不同的磁盘。
进一步，所述基于纠删码的文件存储方法，其中：所述分解值Q的取值范围为32兆字节到96兆字节。
进一步，所述基于纠删码的文件存储方法，其中：所述分解值Q的取值范围为48兆字节到80兆字节。
进一步，所述基于纠删码的文件存储方法，其中：所述分解值Q的取值为64兆字节。
进一步，所述基于纠删码的文件存储方法，其中：在所述获取待写入文件的大小值K之后，还包括：当所述待写入文件的大小值K大于等于预设阈值I时，执行所述根据预先设置的分解值Q，将待写入文件分解成至少S个子块。
进一步，所述基于纠删码的文件存储方法，其中：所述预设阈值I的取值范围为大于或等于512兆字节。
进一步，所述基于纠删码的文件存储方法，其中：
在所述将每个子块所生成的L个纠删块分别写入不同的磁盘之后，当其中某一个磁盘损坏时，则采用以下方法对所述损害磁盘中所存储的纠删块进行迁移；
根据剩余的L-1个磁盘中所存储的纠删码进行纠删解码，恢复所述损害磁盘中所存储的纠删块；
根据预设的磁盘与纠删码的映射关系表，得到所述损害磁盘的位置，并将所述恢复的纠删块写入在所述损害磁盘的位置上所插入的新磁盘，或将所述恢复的纠删块写入另外的磁盘。
根据本发明的另一个方面，提供了一种基于纠删码的文件存储系统，包括以下模块：
请求接收模块，用于接收写入文件请求；
文件大小获取模块，获取待写入文件的大小值K；
文件分解模块，根据预先设置的分解值Q，将待写入文件分解成至少S个子块,S＝[K/Q]；其中，所述S个子块中，每个子块的大小为所述分解值Q；
纠删编码模块，对至少S个子块中的每个子块进行纠删编码，使得每个子块生成L个纠删块；和
磁盘写入模块，将所述至少S个子块中，每个子块所生成的L个纠删块分别写入不同的磁盘。
进一步，所述基于纠删码的文件存储系统，其中：
所述分解值Q的取值范围为32兆字节到96兆字节。
进一步，所述基于纠删码的文件存储系统，其中：
所述分解值Q的取值范围为48兆字节到80兆字节。
进一步，所述基于纠删码的文件存储系统，其中：所述分解值Q的取值为64兆字节。
进一步，所述基于纠删码的文件存储系统，还包括：比较模块，用于判断待写入文件的大小值K是否大于等于预设阈值I，若是，则向所述文件分解模块发送分解指令。
进一步，所述基于纠删码的文件存储系统，其中：所述预设阈值I的取值范围为大于或等于512兆字节。
进一步，所述基于纠删码的文件存储系统，还包括：数据迁移模块，用于当存储有L个纠删块的不同的磁盘的中，某一个磁盘损坏时,根据剩余的L-1个磁盘中所存储的纠删码进行纠删解码，恢复所述损害磁盘中所存储的纠删块；根据预设的磁盘与纠删码的映射关系表，得到所述损害磁盘的位置，并将所述恢复的纠删块写入在所述损害磁盘的位置上所插入的新磁盘，或将所述恢复的纠删块写入另外的磁盘。
本发明在提升读取目录、验证用户权限等操作的速度、节约文件系统的inode、提升数据迁移过程方面具有良好的效果。
附图说明
图1是本发明基于纠删码的文件存储方法流程图；
图2是本发明基于纠删码的文件存储系统的模块关系示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚明了，下面结合具体实施方式并参照附图，对本发明进一步详细说明。应该理解，这些描述只是示例性的，而并非要限制本发明的范围。此外，在以下说明中，省略了对公知结构和技术的描述，以避免不必要地混淆本发明的概念。
图1是本发明基于纠删码的文件存储方法流程图。
如图1所示，基于纠删码的文件存储方法包括以下步骤：
步骤S1，接收写入文件请求。
当客户端有存储文件的需求时，向服务器发送写入文件请求，服务器接收写入文件请求。文件包括文字、图片、视频以及音频等形式的数据。需要说明的是，本发明针对大文件的存储时效果更显著，因此，优选的，可以在当写入文件请求为写入视频文件时，采用本发明。
步骤S2，获取待写入文件的大小值K。文件的大小值K可以为大于零的任意值。
步骤S3，根据预先设置的分解值Q，将待写入文件分解成至少S个子块,S＝[K/Q]。
其中，所述S个子块中，每个子块的大小为所述分解值Q。[K/Q]表示对K/Q取整数，至少S个子块表示的含义为，若K/Q能够整除，则待写入文件分解成S个子块；若K/Q不能够整除，则待写入文件分解成S+1个子块。
步骤S4，对至少S个子块中的每个子块进行纠删编码，使得每个子块生成L个纠删块。L＝D+P，其中，D为数据块的个数，P为校验块的个数。
步骤S5，将所述至少S个子块中，每个子块所生成的L个纠删块分别写入不同的磁盘。
需要说明的是，本发明针对大文件的存储时效果更显著，因此，优选的，可以在当写入文件请求为写入视频文件时，采用本发明。经多次试验验证，分解值Q的取值范围为32兆字节到96兆字节时，本发明在提升读取目录、验证用户权限等操作的速度、节约文件系统的inode、提升数据迁移过程方面具有良好的效果。进一步，分解值Q的取值范围为48兆字节到80兆字节时，本发明在提升读取目录、验证用户权限等操作的速度、节约文件系统的inode、提升数据迁移过程方面具有更好的效果。进一步，分解值Q的取值为64兆字节，本发明在提升读取目录、验证用户权限等操作的速度、节约文件系统的inode、提升数据迁移过程方面的效果最优。
以下，以待写入文件的大小值K分别为1024兆字节，分解值Q的取值为64兆字节，纠删码采用D＝4，P＝2，对上述步骤S3-S5进行进一步说明。
待写入文件的大小值K为1024兆字节，分解值Q的取值为64兆字节时，根据分解值64兆字节，将待写入文件分解成S＝[K/Q]＝1024兆字节/64兆字节＝16个子块。每个子块的大小为64兆字节。对16个子块中的每个子块进行纠删编码，使得每个子块生成L＝D+P＝4+2＝6个纠删块。即每个字块纠删编码后生成4个数据块，2个校验块。且每个数据块的大小为：64兆字节/4＝16兆字节,每个校验块的大小也为16兆字节。这样，每个64兆字节的子块在纠删编码之后，生成了6个每个大小为16兆字节的纠删块。将每个子块所生成的6个纠删块分别写入不同的磁盘。
通过以上方案，可知，本发明的存储方案中，1024兆字节的待写入文件在纠删编码之后，生成了16*6＝96个每个大小为16兆字节的纠删块。即在底层文件系统中，所存储的每个文件的大小为16兆字节，相比现有技术中在底层文件系统存储的每个文件的大小为1兆字节，减轻了文件系统的负载，提升了读取目录、验证用户权限等操作速度，另外，减少了文件数量，节约了文件系统的inode。当对存储集群内的磁盘进行扩容时，大部分数据都是16兆字节的文件，减少了随机IO，从而使得数据迁移过程进行较快，提高了服务的可用性。
在上文中提到过，由于本发明在针对大文件的存储时效果更显著，因此，本发明提供了两种实施方式.
实施方式一:采用上述的步骤S1—S5。
实施方式二：在上述的步骤S2，获取待写入文件的大小值K之后，还包括：步骤S21，判断待写入文件的大小值K是否大于等于预设阈值I，若是，则执行上述步骤S3，根据预先设置的分解值Q，将待写入文件分解成至少S个子块。所述预设阈值I的取值范围为大于或等于512兆字节。根据本发明的经验数据证明，在实际情况中，存储于云服务器中的视频文件一般都在512兆字节以上，且多数在1024兆字节以上。
在本发明中，读取通过上述的方法存储于磁盘上的文件流程如下几个步骤：
步骤S101，接收读取文件请求；
步骤S102，获取待读取文件的在先子块，所述子块包括L个纠删块；
步骤S103，根据文件映射机制将所述L个纠删块发送到对应的L块磁盘上以读取数据；
步骤S104，若接收到纠删编码所要求的最低块数的磁盘的回应，则执行步骤S105，否则等待磁盘回应，直到等待到最低块数的磁盘的回应执行步骤S105。以D＝4，P＝2为例，纠删编码所要求的最低块数为4，则需要接收到最少4个磁盘的回应才能读取文件，若接收不到4个磁盘的回应，则等待磁盘回应，直到等待到4块磁盘的回应执行步骤S105。
步骤S105，通知客户端读取成功，并将读取内容返回给客户端。
在所述将每个子块所生成的L个纠删块分别写入不同的磁盘的步骤之后，若存储有L个纠删块的不同的磁盘的中，有一个磁盘被损坏,则采用以下步骤对的磁盘中所存储的纠删块进行数据迁移：
根据剩余的L-1个磁盘中所存储的纠删码进行纠删解码，恢复被损害的磁盘中所存储的纠删块；
根据磁盘与纠删码的映射关系，得到被损害的磁盘的位置，并将所述恢复的纠删块写入在被损害的磁盘的位置上所插入的新磁盘，或将所述恢复的纠删块写入另外的磁盘。
图2是本发明基于纠删码的文件存储系统的模块关系示意图。
如图2所示，基于纠删码的文件存储系统，包括请求接收模块、文件大小获取模块、文件分解模块、纠删编码模块和磁盘写入模块。
请求接收模块，用于接收写入文件请求。文件大小获取模块，获取待写入文件的大小值K。文件分解模块，根据预先设置的分解值Q，将待写入文件分解成至少S个子块,S＝[K/Q]；其中，所述S个子块中，每个子块的大小为所述分解值Q。纠删编码模块，对至少S个子块中的每个子块进行纠删编码，使得每个子块生成L个纠删块。磁盘写入模块，将所述至少S个子块中，每个子块所生成的L个纠删块分别写入不同的磁盘。
需要说明的是，本发明针对大文件的存储时效果更显著，因此，优选的，可以在当写入文件请求为写入视频文件时，采用本发明。经多次试验验证，分解值Q的取值范围为32兆字节到96兆字节时，本发明在提升读取目录、验证用户权限等操作的速度、节约文件系统的inode、提升数据迁移过程方面具有良好的效果。进一步，分解值Q的取值范围为48兆字节到80兆字节时，本发明在提升读取目录、验证用户权限等操作的速度、节约文件系统的inode、提升数据迁移过程方面具有更好的效果。进一步，分解值Q的取值为64兆字节，本发明在提升读取目录、验证用户权限等操作的速度、节约文件系统的inode、提升数据迁移过程方面的效果最优。
进一步，在本发明的一个优选实施例中，基于纠删码的文件存储系统还包括比较模块，用于判断待写入文件的大小值K是否大于等于预设阈值I，若是，则向所述文件分解模块发送分解指令。其中，所述预设阈值I的取值范围为大于或等于512兆字节。
在本发明的另一个实施例中，基于纠删码的文件存储系统还包括数据迁移模块，用于当存储有L个纠删块的不同的磁盘的中，有一个磁盘被损坏时,根据剩余的L-1个磁盘中所存储的纠删码进行纠删解码，恢复被损害的磁盘中所存储的纠删块；并根据磁盘与纠删码的映射关系，得到被损害的磁盘的位置，并将所述恢复的纠删块写入在被损害的磁盘的位置上所插入的新磁盘，或将所述恢复的纠删块写入另外的磁盘。
应当理解的是，本发明的上述具体实施方式仅仅用于示例性说明或解释本发明的原理，而不构成对本发明的限制。因此，在不偏离本发明的精神和范围的情况下所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。此外，本发明所附权利要求旨在涵盖落入所附权利要求范围和边界、或者这种范围和边界的等同形式内的全部变化和修改例。

Claims (14)

1.一种基于纠删码的文件存储方法，包括：
接收写入文件请求；
获取待写入文件的大小值K；
根据预先设置的分解值Q，将待写入文件分解成至少S个子块,S＝[K/Q]；其中，所述S个子块中，每个子块的大小为所述分解值Q；
对至少S个子块中的每个子块进行纠删编码，使得每个子块生成L个纠删块；
将所述至少S个子块中，每个子块所生成的L个纠删块分别写入不同的磁盘。
2.根据权利要求1所述的方法，其中：
所述分解值Q的取值范围为32兆字节到96兆字节。
3.根据权利要求2所述的方法，其中：
所述分解值Q的取值范围为48兆字节到80兆字节。
4.根据权利要求3所述的方法，其中：
所述分解值Q的取值为64兆字节。
5.根据权利要求1-4任一项所述的方法，其中：在所述获取待写入文件的大小值K之后，还包括：
当所述待写入文件的大小值K大于等于预设阈值I时，执行所述根据预先设置的分解值Q，将待写入文件分解成至少S个子块。
6.根据权利要求5所述的方法，其中：
所述预设阈值I的取值范围为大于或等于512兆字节。
7.根据权利要求1-6任一项所述的方法，其中：在所述将每个子块所生成的L个纠删块分别写入不同的磁盘之后，当其中某一个磁盘损坏时，则采用以下方法对所述损害磁盘中所存储的纠删块进行迁移；
根据剩余的L-1个磁盘中所存储的纠删码进行纠删解码，恢复所述损害磁盘中所存储的纠删块；
根据预设的磁盘与纠删码的映射关系表，得到所述损害磁盘的位置，并将所述恢复的纠删块写入在所述损害磁盘的位置上所插入的新磁盘，或将所述恢复的纠删块写入另外的磁盘。
8.一种基于纠删码的文件存储系统，包括以下模块：
请求接收模块，用于接收写入文件请求；
文件大小获取模块，获取待写入文件的大小值K；
文件分解模块，根据预先设置的分解值Q，将待写入文件分解成至少S个子块,S＝[K/Q]；其中，所述S个子块中，每个子块的大小为所述分解值Q；
纠删编码模块，对至少S个子块中的每个子块进行纠删编码，使得每个子块生成L个纠删块；和
磁盘写入模块，将所述至少S个子块中，每个子块所生成的L个纠删块分别写入不同的磁盘。
9.根据权利要求8所述的系统，其中：
所述分解值Q的取值范围为32兆字节到96兆字节。
10.根据权利要求9所述的系统，其中：
所述分解值Q的取值范围为48兆字节到80兆字节。
11.根据权利要求10所述的系统，其中：
所述分解值Q的取值为64兆字节。
12.根据权利要求8-10任一项所述的系统，还包括：
比较模块，用于判断待写入文件的大小值K是否大于等于预设阈值I，若是，则向所述文件分解模块发送分解指令。
13.根据权利要求12所述的系统，其中：
所述预设阈值I的取值范围为大于或等于512兆字节。
14.根据权利要求8-13任一项所述的系统，还包括：
数据迁移模块，用于当存储有L个纠删块的不同的磁盘的中，某一个磁盘损坏时,根据剩余的L-1个磁盘中所存储的纠删码进行纠删解码，恢复所述损害磁盘中所存储的纠删块；根据预设的磁盘与纠删码的映射关系表，得到所述损害磁盘的位置，并将所述恢复的纠删块写入在所述损害磁盘的位置上所插入的新磁盘，或将所述恢复的纠删块写入另外的磁盘。
CN201610201684.0A 2016-03-31 2016-03-31 一种基于纠删码的文件存储方法和系统 Pending CN105893169A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201610201684.0A CN105893169A (zh) 2016-03-31 2016-03-31 一种基于纠删码的文件存储方法和系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201610201684.0A CN105893169A (zh) 2016-03-31 2016-03-31 一种基于纠删码的文件存储方法和系统

Publications (1)

Publication Number Publication Date
CN105893169A true CN105893169A (zh) 2016-08-24

Family

ID=57012841

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610201684.0A Pending CN105893169A (zh) 2016-03-31 2016-03-31 一种基于纠删码的文件存储方法和系统

Country Status (1)

Country Link
CN (1) CN105893169A (zh)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107562566A (zh) * 2017-09-11 2018-01-09 郑州云海信息技术有限公司 一种通过纠删码对数据的处理方法及装置
CN109976663A (zh) * 2017-12-27 2019-07-05 浙江宇视科技有限公司 分布式存储响应方法和系统
CN110389855A (zh) * 2018-04-19 2019-10-29 浙江宇视科技有限公司 磁带库数据校验方法、装置、电子设备和可读存储介质
CN111125041A (zh) * 2018-10-31 2020-05-08 伊姆西Ip控股有限责任公司 数据读取方法、电子设备和计算机程序产品
CN112416660A (zh) * 2021-01-21 2021-02-26 南京群顶科技有限公司 一种基于纠删技术的大文件分布式备份方法及装置
CN112463460A (zh) * 2020-12-11 2021-03-09 苏州浪潮智能科技有限公司 一种基于纠删码的小块数据恢复方法及系统
CN113296697A (zh) * 2021-03-17 2021-08-24 阿里巴巴新加坡控股有限公司 数据处理系统、数据处理方法以及装置
CN114489508A (zh) * 2022-01-26 2022-05-13 重庆紫光华山智安科技有限公司 数据管理方法、装置、设备及介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101840377A (zh) * 2010-05-13 2010-09-22 上海交通大学 基于rs纠删码的数据存储方法
CN104461781A (zh) * 2014-12-01 2015-03-25 华中科技大学 一种基于纠删码的数据块重建方法
CN104484126A (zh) * 2014-11-13 2015-04-01 华中科技大学 一种基于纠删码的数据安全删除方法和系统
CN105095013A (zh) * 2015-06-04 2015-11-25 华为技术有限公司 数据存储方法、恢复方法、相关装置以及系统

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101840377A (zh) * 2010-05-13 2010-09-22 上海交通大学 基于rs纠删码的数据存储方法
CN104484126A (zh) * 2014-11-13 2015-04-01 华中科技大学 一种基于纠删码的数据安全删除方法和系统
CN104461781A (zh) * 2014-12-01 2015-03-25 华中科技大学 一种基于纠删码的数据块重建方法
CN105095013A (zh) * 2015-06-04 2015-11-25 华为技术有限公司 数据存储方法、恢复方法、相关装置以及系统

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107562566A (zh) * 2017-09-11 2018-01-09 郑州云海信息技术有限公司 一种通过纠删码对数据的处理方法及装置
CN109976663A (zh) * 2017-12-27 2019-07-05 浙江宇视科技有限公司 分布式存储响应方法和系统
CN109976663B (zh) * 2017-12-27 2021-12-28 浙江宇视科技有限公司 分布式存储响应方法和系统
CN110389855A (zh) * 2018-04-19 2019-10-29 浙江宇视科技有限公司 磁带库数据校验方法、装置、电子设备和可读存储介质
CN111125041A (zh) * 2018-10-31 2020-05-08 伊姆西Ip控股有限责任公司 数据读取方法、电子设备和计算机程序产品
CN112463460A (zh) * 2020-12-11 2021-03-09 苏州浪潮智能科技有限公司 一种基于纠删码的小块数据恢复方法及系统
CN112463460B (zh) * 2020-12-11 2022-11-29 苏州浪潮智能科技有限公司 一种基于纠删码的小块数据恢复方法及系统
CN112416660A (zh) * 2021-01-21 2021-02-26 南京群顶科技有限公司 一种基于纠删技术的大文件分布式备份方法及装置
CN113296697A (zh) * 2021-03-17 2021-08-24 阿里巴巴新加坡控股有限公司 数据处理系统、数据处理方法以及装置
CN113296697B (zh) * 2021-03-17 2024-04-19 阿里巴巴创新公司 数据处理系统、数据处理方法以及装置
CN114489508A (zh) * 2022-01-26 2022-05-13 重庆紫光华山智安科技有限公司 数据管理方法、装置、设备及介质
CN114489508B (zh) * 2022-01-26 2023-09-01 重庆紫光华山智安科技有限公司 数据管理方法、装置、设备及介质

Similar Documents

Publication Publication Date Title
CN105893169A (zh) 一种基于纠删码的文件存储方法和系统
US9785498B2 (en) Archival storage and retrieval system
CN106708653B (zh) 一种基于纠删码与多副本的混合税务大数据安全保护方法
CN106776130B (zh) 一种日志恢复方法、存储装置和存储节点
US20160006461A1 (en) Method and device for implementation data redundancy
CN102033924B (zh) 一种数据存储方法和系统
CN103136243B (zh) 基于云存储的文件系统去重方法及装置
CN102419766B (zh) 基于hdfs分布式文件系统的数据冗余及文件操作方法
CN112948171A (zh) 数据处理方法、装置、终端设备及计算机可读存储介质
CN102024034B (zh) 一种面向高清媒体的嵌入式文件系统的碎片处理方法
CN103761162A (zh) 分布式文件系统的数据备份方法
CN101488104A (zh) 一种实现高效安全存储的系统和方法
CN105069111A (zh) 云存储中基于相似性的数据块级数据去重方法
KR101953548B1 (ko) 네트워크 트래픽 기록 장치 및 그 방법
WO2021208400A1 (zh) 现代应用的备份恢复系统及方法
CN111400083A (zh) 数据存储方法及系统、存储介质
CN102469142A (zh) 重复数据删除程序的数据传输方法
CN110618974A (zh) 一种数据存储方法、装置、设备及存储介质
CN105376277A (zh) 一种数据同步方法及装置
CN104965835B (zh) 一种分布式文件系统的文件读写方法及装置
CN110427156A (zh) 一种基于分片的mbr的并行读方法
CN106528338A (zh) 一种远程数据复制方法、存储设备及存储系统
CN106991118A (zh) 基于ceph纠删除容错的读取文件方法及装置
US8312237B2 (en) Automated relocation of in-use multi-site protected data storage
JP6671708B2 (ja) バックアップリストアシステム及びバックアップリストア方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20160824

WD01 Invention patent application deemed withdrawn after publication