CN106909470A - 基于纠删码的分布式文件系统存储方法及装置 - Google Patents
基于纠删码的分布式文件系统存储方法及装置 Download PDFInfo
- Publication number
- CN106909470A CN106909470A CN201710046771.8A CN201710046771A CN106909470A CN 106909470 A CN106909470 A CN 106909470A CN 201710046771 A CN201710046771 A CN 201710046771A CN 106909470 A CN106909470 A CN 106909470A
- Authority
- CN
- China
- Prior art keywords
- data
- stored
- parts
- correcting
- eleting codes
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/07—Responding to the occurrence of a fault, e.g. fault tolerance
- G06F11/08—Error detection or correction by redundancy in data representation, e.g. by using checking codes
- G06F11/10—Adding special bits or symbols to the coded information, e.g. parity check, casting out 9's or 11's
- G06F11/1008—Adding special bits or symbols to the coded information, e.g. parity check, casting out 9's or 11's in individual solid state devices
- G06F11/1048—Adding special bits or symbols to the coded information, e.g. parity check, casting out 9's or 11's in individual solid state devices using arrangements adapted for a specific error detection or correction feature
- G06F11/1056—Updating check bits on partial write, i.e. read/modify/write
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/07—Responding to the occurrence of a fault, e.g. fault tolerance
- G06F11/14—Error detection or correction of the data by redundancy in operation
- G06F11/1402—Saving, restoring, recovering or retrying
- G06F11/1446—Point-in-time backing up or restoration of persistent data
- G06F11/1458—Management of the backup or restore process
- G06F11/1464—Management of the backup or restore process for networked environments
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/10—File systems; File servers
- G06F16/18—File system types
- G06F16/182—Distributed file systems
- G06F16/184—Distributed file systems implemented as replicated file system
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Quality & Reliability (AREA)
- Data Mining & Analysis (AREA)
- Databases & Information Systems (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明公开了一种基于纠删码的分布式文件系统存储方法，包括：获取客户端写入的待存储数据，并通过纠删码编码方式得到所述待存储数据对应的校验数据；对所述待存储数据和所述校验数据进行分片处理，得到K份的所述待存储数据和M份的所述校验数据；其中，K和M为正整数；存储K份所述待存储数据和M份所述校验数据。本发明还公开了一种基于纠删码的分布式文件系统存储装置。本发明降低了待存储数据所占用的空间。
Description
技术领域
本发明涉及计算机互联网技术领域，尤其涉及一种基于纠删码的分布式文件系统存储方法及装置。
背景技术
随着网络技术及信息处理技术的不断发展，个人数据和企业数据的产生量呈现爆炸性膨胀的趋势，IT系统正面临着海量数据存储成本高、管理困难、可靠性低的问题，为了充分利用资源，减少重复的投资，数据存储作为IT系统的主要架构和基础设施之一，逐步被作为一个完整的系统从IT系统中独立出来。分布式文件系统因为具有海量数据存储、高扩展性、高性能、高可靠性、高可用性的特点，目前正被作为企业海量数据存储方案被业界所广泛讨论和应用。因此对于分布式文件系统的研究不仅紧跟目前发展的趋势，而且具有较高的应用价值。
在如金融行业、保险行业、电信行业等对数据安全可靠性要求高的行业，为了保证数据的高可靠性，通常采用数据冗余备份的方法进行容灾。传统的数据容灾方式通过对原始数据进行完全复制备份，将备份数据存储在异地的存储服务端上，但是这种容灾方式花费的成本十分高昂。
发明内容
本发明的主要目的在于提供一种基于纠删码的分布式文件系统存储方法，旨在降低待存储数据所占用的空间。
为实现上述目的，本发明提供的一种基于纠删码的分布式文件系统存储方法，所述基于纠删码的分布式文件系统存储方法包括：
获取客户端写入的待存储数据，并通过纠删码编码方式得到所述待存储数据对应的校验数据；
对所述待存储数据和所述校验数据进行分片处理，得到K份的所述待存储数据和M份的所述校验数据；其中，K和M为正整数；
存储K份所述待存储数据和M份所述校验数据。
优选地，所述对所述待存储数据和所述校验数据进行分片处理之前还包括：
根据存储空间设置适当的纠删码比例，即K：M。
优选地，所述对所述待存储数据和所述校验数据进行分片处理包括：
判断所述待存储数据的长度是否为分片长度的K倍；
若否，则在所述待存储数据的末端添加数据以使所述待存储数据的长度达到分片长度的K倍。
优选地，所述存储K份所述待存储数据和M份所述校验数据包括：
判断所述客户端请求的存储地址是否为缓存层；
若是，则将所述K份所述待存储数据和M份所述校验数据存入所述缓存层；
若否，则将所述K份所述待存储数据和M份所述校验数据存入存储层。
优选地，K份所述待存储数据和M份所述校验数据中均包括用于查找自身数据的检索信息。
此外，为实现上述目的，本发明还提供一种基于纠删码的分布式文件系统存储装置，所述基于纠删码的分布式文件系统存储装置包括：
获取模块，用于获取客户端写入的待存储数据，并通过纠删码编码方式得到所述待存储数据对应的校验数据；
分片模块，用于对所述待存储数据和所述校验数据进行分片处理，得到K份的所述待存储数据和M份的所述校验数据；其中，K和M为正整数；
存储模块，用于存储K份所述待存储数据和M份所述校验数据。
优选地，所述基于纠删码的分布式文件系统存储装置还包括：
设置模块，用于根据存储空间设置适当的纠删码比例，即K：M。
优选地，所述分片模块包括：
第一判断单元，用于判断所述待存储数据的长度是否为分片长度的K倍；
添加单元，用于在所述待存储数据的长度不足分片长度的整数倍时，在所述待存储数据的末端添加数据以使所述待存储数据的长度达到分片长度的K倍。
优选地，所述存储模块包括：
第二判断单元，用于判断所述客户端请求的存储地址是否为缓存层；
第一存储单元，用于在所述客户端请求的存储地址是缓存层时，将所述K份所述待存储数据和M份所述校验数据存入所述缓存层；
第二存储单元，用于在所述客户端请求的存储地址不是缓存层时，将所述K份所述待存储数据和M份所述校验数据存入存储层。
优选地，K份所述待存储数据和M份所述校验数据中均包括用于查找自身数据的检索信息。
本发明通过获取客户端写入的待存储数据，并通过纠删码编码方式得到所述待存储数据对应的校验数据；对所述待存储数据和所述校验数据进行分片处理，得到K份的所述待存储数据和M份的所述校验数据；其中，K和M为正整数；存储K份所述待存储数据和M份所述校验数据。在后续读取待存储数据时，纠删码函数读取K份所述待存储数据能够重建原所述待存储数据，若在待存储数据损坏的情况下，只要对应的校对数据的损坏数量在M份以内，依旧可以通过已有的待存储数据计算出原所述待存储数据，相较于现有技术中需要对原始数据进行完全复制备份的方式，降低了待存储数据所占用的空间。
附图说明
图1为本发明基于纠删码的分布式文件系统存储方法第一实施例的流程示意图；
图2为本发明基于纠删码的分布式文件系统存储方法第二实施例的流程示意图；
图3为本发明基于纠删码的分布式文件系统存储方法第三实施例的流程示意图；
图4为本发明基于纠删码的分布式文件系统存储方法第四实施例的流程示意图；
图5为本发明基于纠删码的分布式文件系统存储装置第一实施例的功能模块示意图；
图6为本发明基于纠删码的分布式文件系统存储装置第二实施例的功能模块示意图；
图7为本发明基于纠删码的分布式文件系统存储装置第三实施例中分片模块的细化功能模块示意图；
图8为本发明基于纠删码的分布式文件系统存储装置第四实施例中存储模块的细化功能模块示意图。
本发明目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。
具体实施方式
应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
本发明提供一种基于纠删码的分布式文件系统存储方法，请参阅图1，在第一实施例中，该基于纠删码的分布式文件系统存储方法包括：
步骤S10，获取客户端写入的待存储数据，并通过纠删码编码方式得到所述待存储数据对应的校验数据；
本发明实施例提供的基于纠删码的分布式文件系统存储方法用于分布式文件系统中的存储装置存储客户端的数据。
客户端需要待存储数据时向存储装置发出请求，在获准后将待存储写入所述存储装置。所述存储装置获取客户端写入的所述待存储数据，纠删码函数会根据所述待存储数据通过纠删码编码方式得到所述待存储数据对应的校验数据。所述校验数据为一组描述所述待存储数据的数字，在部分所述待存储数据丢失后可通过算法计算出丢失的待存储数据。
步骤S20，对所述待存储数据和所述校验数据进行分片处理，得到K份的所述待存储数据和M份的所述校验数据；其中，K和M为正整数；
步骤S30，存储K份所述待存储数据和M份所述校验数据。
本发明通过获取客户端写入的待存储数据，并通过纠删码编码方式得到所述待存储数据对应的校验数据；对所述待存储数据和所述校验数据进行分片处理，得到K份的所述待存储数据和M份的所述校验数据；其中，K和M为正整数；存储K份所述待存储数据和M份所述校验数据。在后续读取待存储数据时，纠删码函数读取K份所述待存储数据能够重建原所述待存储数据，若在待存储数据损坏的情况下，只要对应的校对数据的损坏数量在M份以内，依旧可以通过已有的待存储数据计算出原所述待存储数据，相较于现有技术中需要对原始数据进行完全复制备份的方式，降低了待存储数据所占用的空间。
进一步地，K份所述待存储数据和M份所述校验数据中包括用于查找自身数据的检索信息。
在客户端读取所述待存储数据时能够根据所述检索信息查读取到目标待存储数据，避免了系统全盘搜索，不仅加快了读取速度也减轻了系统的负载，而且优化了分布式文件系统的性能。
进一步地，请参阅图2，基于本发明基于纠删码的分布式文件系统存储方法第一实施例，本发明基于纠删码的分布式文件系统存储方法第二实施例中，所述步骤S20之前还包括：
步骤S40，根据存储空间设置适当的纠删码比例，即K：M。
M数量越多，整体损坏程度修复的几率就越高，但是占据的存储空间就会越多，根据所述存储空间设置设置适当的纠删码比例能够更好的提升用户体验，所述纠删码比例可以是用户预先根据存储条件设定，或是由系统预设的。
本实施例中，存储装置在分片处理之前先根据存储空间设置适当的纠删码比例，之后按照所述纠删码比例对所述待存储数据和所述校验数据进行分片处理，能够得到最优的存储效果。
进一步地，请参阅图3，基于本发明基于纠删码的分布式文件系统存储方法第一实施例，本发明基于纠删码的分布式文件系统存储方法第三实施例中，所述步骤S20之前包括：
步骤S50，判断所述待存储数据的长度是否为分片长度的K倍；
步骤S60，若否，则在所述待存储数据的末端添加数据以使所述待存储数据的长度达到分片长度的K倍。
需要说明的是，所述待存储数据的长度只会出现短于分片长度的K倍，或等于分片长度的K倍，并不会出现大于分片长度K倍的情况。例如，当所述待存储数据的长度为超过分片长度的2倍，不足分片长度的三倍时，K＝3。
本实施例中，分片模块根据待存储数据的长度判断是否为分片长度的K倍，在不足待存储数据的长度的K倍时，通过自行补满数据至所述待存储数据的长度达到分片长度的K倍。通过这个步骤，能够保证分片后每个片段的数据长度都是相同的，可以均衡负载，提高系统性能。
进一步地，请参阅图4，基于本发明基于纠删码的分布式文件系统存储方法第一实施例，本发明基于纠删码的分布式文件系统存储方法第四实施例中，所述步骤S30包括：
步骤S31，判断所述客户端请求的存储地址是否为缓存层；
步骤S32，若是，则将所述K份所述待存储数据和M份所述校验数据存入所述缓存层；
步骤S33，若否，则将所述K份所述待存储数据和M份所述校验数据存入存储层。
本实施例中，存储采用缓存分层的方式进行存储，缓存分层包含了使用快速、昂贵的存储设备来创建一个池，用这个存储池作为缓存层；同时包含了一个使用低速、便宜设备组成的池作为经济的存储层。
对于分布式文件系统这种大型的架构系统，通过缓存分层能够更好地优化存储集群；在使用缓存时，尽管多个客户端需要多个缓存，但是其存储的热数据不一样，存储和读取时I/O的利用率更高。
本发明还提供一种基于纠删码的分布式文件系统存储装置，请参照阅5，在第一实施例中，本发明提供的基于纠删码的分布式文件系统存储装置100包括：
获取模块10，用于获取客户端写入的待存储数据，并通过纠删码编码方式得到所述待存储数据对应的校验数据；
本发明实施例提供的基于纠删码的分布式文件系统存储方法用于分布式文件系统中的存储装置存储客户端的数据。
客户端需要待存储数据时向存储装置发出请求，在获准后将待存储写入所述存储装置。所述存储装置获取客户端写入的所述待存储数据，纠删码函数会根据所述待存储数据通过纠删码编码方式得到所述待存储数据对应的校验数据。所述校验数据为一组描述所述待存储数据的数字，在部分所述待存储数据丢失后可通过算法计算出丢失的待存储数据。
分片模块20，用于对所述待存储数据和所述校验数据进行分片处理，得到K份的所述待存储数据和M份的所述校验数据；其中，K和M为正整数；
存储模块30，用于存储K份所述待存储数据和M份所述校验数据。
本发明通过获取客户端写入的待存储数据，并通过纠删码编码方式得到所述待存储数据对应的校验数据；对所述待存储数据和所述校验数据进行分片处理，得到K份的所述待存储数据和M份的所述校验数据；其中，K和M为正整数；存储K份所述待存储数据和M份所述校验数据。在后续读取待存储数据时，纠删码函数读取K份所述待存储数据能够重建原所述待存储数据，若在待存储数据损坏的情况下，只要对应的校对数据的损坏数量在M份以内，依旧可以通过已有的待存储数据计算出原所述待存储数据，相较于现有技术中需要对原始数据进行完全复制备份的方式，降低了待存储数据所占用的空间。
进一步地，K份所述待存储数据和M份所述校验数据中包括用于查找自身数据的检索信息。
在客户端读取所述待存储数据时能够根据所述检索信息查读取到目标待存储数据，避免了系统全盘搜索，不仅加快了读取速度也减轻了系统的负载，而且优化了分布式文件系统的性能。
进一步地，请参阅图6，基于本发明基于纠删码的分布式文件系统存储装置的第一实施例，在本发明基于纠删码的分布式文件系统存储装置的第二实施例中，所述基于纠删码的分布式文件系统存储装置100还包括：
设置模块40，用于根据存储空间设置适当的纠删码比例，即K：M。
M数量越多，整体损坏程度修复的几率就越高，但是占据的存储空间就会越多，根据所述存储空间设置设置适当的纠删码比例能够更好的提升用户体验，所述纠删码比例可以是用户预先根据存储条件设定，或是由系统预设的。
本实施例中，存储装置在分片处理之前先根据存储空间设置适当的纠删码比例，之后按照所述纠删码比例对所述待存储数据和所述校验数据进行分片处理，能够得到最优的存储效果。
进一步地，请参阅图7，基于本发明基于纠删码的分布式文件系统存储装置的第一实施例，在本发明基于纠删码的分布式文件系统存储装置的第三实施例中，所述分片模块20包括：
第一判断单元21，用于判断所述待存储数据的长度是否为分片长度的K倍；
添加单元22，用于在所述待存储数据的长度不足分片长度的整数倍时，在所述待存储数据的末端添加数据以使所述待存储数据的长度达到分片长度的K倍。
需要说明的是，所述待存储数据的长度只会出现短于分片长度的K倍，或等于分片长度的K倍，并不会出现大于分片长度K倍的情况。例如，当所述待存储数据的长度为超过分片长度的2倍，不足分片长度的三倍时，K＝3。
本实施例中，分片模块根据待存储数据的长度判断是否为分片长度的K倍，在不足待存储数据的长度的K倍时，通过自行补满数据至所述待存储数据的长度达到分片长度的K倍。通过这个步骤，能够保证分片后每个片段的数据长度都是相同的，可以均衡负载，提高系统性能。
进一步地，请参阅图8，基于本发明基于纠删码的分布式文件系统存储装置的第一实施例，在本发明基于纠删码的分布式文件系统存储装置的第四实施例中，所述存储模块30包括：
第二判断单元31，用于判断所述客户端请求的存储地址是否为缓存层；
第一存储单元32，用于在所述客户端请求的存储地址是缓存层时，将所述K份所述待存储数据和M份所述校验数据存入所述缓存层；
第二存储单元33，用于在所述客户端请求的存储地址不是缓存层时，将所述K份所述待存储数据和M份所述校验数据存入存储层。
本实施例中，存储采用缓存分层的方式进行存储，缓存分层包含了使用快速、昂贵的存储设备来创建一个池，用这个存储池作为缓存层；同时包含了一个使用低速、便宜设备组成的池作为经济的存储层。
对于分布式文件系统这种大型的架构系统，通过缓存分层能够更好地优化存储集群；在使用缓存时，尽管多个客户端需要多个缓存，但是其存储的热数据不一样，存储和读取时I/O的利用率更高。
以上仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。
Claims (10)
1.一种基于纠删码的分布式文件系统存储方法，其特征在于，所述基于纠删码的分布式文件系统存储方法包括：
获取客户端写入的待存储数据，并通过纠删码编码方式得到所述待存储数据对应的校验数据；
对所述待存储数据和所述校验数据进行分片处理，得到K份的所述待存储数据和M份的所述校验数据；其中，K和M为正整数；
存储K份所述待存储数据和M份所述校验数据。
2.根据权利要求1所述的基于纠删码的分布式文件系统存储方法，其特征在于，所述对所述待存储数据和所述校验数据进行分片处理之前还包括：
根据存储空间设置适当的纠删码比例，即K：M。
3.根据权利要求1所述的基于纠删码的分布式文件系统存储方法，其特征在于，所述对所述待存储数据和所述校验数据进行分片处理包括：
判断所述待存储数据的长度是否为分片长度的K倍；
若否，则在所述待存储数据的末端添加数据以使所述待存储数据的长度达到分片长度的K倍。
4.根据权利要求1所述的基于纠删码的分布式文件系统存储方法，其特征在于，所述存储K份所述待存储数据和M份所述校验数据包括：
判断所述客户端请求的存储地址是否为缓存层；
若是，则将所述K份所述待存储数据和M份所述校验数据存入所述缓存层；
若否，则将所述K份所述待存储数据和M份所述校验数据存入存储层。
5.根据权利要求1-4中任一项所述的基于纠删码的分布式文件系统存储方法，其特征在于，K份所述待存储数据和M份所述校验数据中均包括用于查找自身数据的检索信息。
6.一种基于纠删码的分布式文件系统存储装置，其特征在于，所述基于纠删码的分布式文件系统存储装置包括：
获取模块，用于获取客户端写入的待存储数据，并通过纠删码编码方式得到所述待存储数据对应的校验数据；
分片模块，用于对所述待存储数据和所述校验数据进行分片处理，得到K份的所述待存储数据和M份的所述校验数据；其中，K和M为正整数；
存储模块，用于存储K份所述待存储数据和M份所述校验数据。
7.根据权利要求6所述的基于纠删码的分布式文件系统存储装置，其特征在于，所述基于纠删码的分布式文件系统存储装置还包括：
设置模块，用于根据存储空间设置适当的纠删码比例，即K：M。
8.根据权利要求6所述的基于纠删码的分布式文件系统存储装置，其特征在于，所述分片模块包括：
第一判断单元，用于判断所述待存储数据的长度是否为分片长度的K倍；
添加单元，用于在所述待存储数据的长度不足分片长度的整数倍时，在所述待存储数据的末端添加数据以使所述待存储数据的长度达到分片长度的K倍。
9.根据权利要求6所述的基于纠删码的分布式文件系统存储装置，其特征在于，所述存储模块包括：
第二判断单元，用于判断所述客户端请求的存储地址是否为缓存层；
第一存储单元，用于在所述客户端请求的存储地址是缓存层时，将所述K份所述待存储数据和M份所述校验数据存入所述缓存层；
第二存储单元，用于在所述客户端请求的存储地址不是缓存层时，将所述K份所述待存储数据和M份所述校验数据存入存储层。
10.根据权利要求6-9中任一项所述的基于纠删码的分布式文件系统存储装置，其特征在于，K份所述待存储数据和M份所述校验数据中均包括用于查找自身数据的检索信息。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201710046771.8A CN106909470A (zh) | 2017-01-20 | 2017-01-20 | 基于纠删码的分布式文件系统存储方法及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201710046771.8A CN106909470A (zh) | 2017-01-20 | 2017-01-20 | 基于纠删码的分布式文件系统存储方法及装置 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN106909470A true CN106909470A (zh) | 2017-06-30 |
Family
ID=59206609
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201710046771.8A Pending CN106909470A (zh) | 2017-01-20 | 2017-01-20 | 基于纠删码的分布式文件系统存储方法及装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN106909470A (zh) |
Cited By (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108874913A (zh) * | 2018-05-29 | 2018-11-23 | 郑州云海信息技术有限公司 | 一种存储用户自定义的数据存储方法、系统及装置 |
| CN109144770A (zh) * | 2018-08-02 | 2019-01-04 | 联想(北京)有限公司 | 存储系统的数据处理方法和装置 |
| CN109361952A (zh) * | 2018-12-14 | 2019-02-19 | 司马大大（北京）智能系统有限公司 | 视频管理方法、装置、系统及电子设备 |
| CN109885256A (zh) * | 2019-01-23 | 2019-06-14 | 平安科技（深圳）有限公司 | 一种基于数据分片的数据存储方法、设备及介质 |
| WO2019170133A1 (zh) * | 2018-03-09 | 2019-09-12 | 杭州海康威视系统技术有限公司 | 一种数据存储方法及装置 |
| CN110493192A (zh) * | 2019-07-17 | 2019-11-22 | 北京泰立鑫科技有限公司 | 一种基于数据网关的数据安全传输系统及方法 |
| WO2020140394A1 (zh) * | 2019-01-04 | 2020-07-09 | 平安科技（深圳）有限公司 | 文件存储方法及终端设备 |
| CN111858129A (zh) * | 2019-04-28 | 2020-10-30 | 深信服科技股份有限公司 | 一种纠删码读请求处理方法、系统、设备及计算机介质 |
| CN113326006A (zh) * | 2021-06-17 | 2021-08-31 | 上海天玑科技股份有限公司 | 一种基于纠删码的分布式块存储系统 |
| CN113672174A (zh) * | 2021-08-03 | 2021-11-19 | 中移（杭州）信息技术有限公司 | 数据重构方法、设备、存储介质及装置 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102546755A (zh) * | 2011-12-12 | 2012-07-04 | 华中科技大学 | 云存储系统的数据存储方法 |
| CN102833040A (zh) * | 2012-08-03 | 2012-12-19 | 中兴通讯股份有限公司 | 解码处理方法、装置及编解码系统 |
| US9201733B2 (en) * | 2013-03-13 | 2015-12-01 | Futurewei Technologies, Inc. | Systems and methods for data repair |
| CN105791353A (zh) * | 2014-12-23 | 2016-07-20 | 深圳市腾讯计算机系统有限公司 | 基于纠删码的分布式数据存储方法及系统 |
-
2017
- 2017-01-20 CN CN201710046771.8A patent/CN106909470A/zh active Pending
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102546755A (zh) * | 2011-12-12 | 2012-07-04 | 华中科技大学 | 云存储系统的数据存储方法 |
| CN102833040A (zh) * | 2012-08-03 | 2012-12-19 | 中兴通讯股份有限公司 | 解码处理方法、装置及编解码系统 |
| US9201733B2 (en) * | 2013-03-13 | 2015-12-01 | Futurewei Technologies, Inc. | Systems and methods for data repair |
| CN105791353A (zh) * | 2014-12-23 | 2016-07-20 | 深圳市腾讯计算机系统有限公司 | 基于纠删码的分布式数据存储方法及系统 |
Cited By (16)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2019170133A1 (zh) * | 2018-03-09 | 2019-09-12 | 杭州海康威视系统技术有限公司 | 一种数据存储方法及装置 |
| CN110244903A (zh) * | 2018-03-09 | 2019-09-17 | 杭州海康威视系统技术有限公司 | 一种数据存储方法及装置 |
| CN108874913A (zh) * | 2018-05-29 | 2018-11-23 | 郑州云海信息技术有限公司 | 一种存储用户自定义的数据存储方法、系统及装置 |
| CN109144770A (zh) * | 2018-08-02 | 2019-01-04 | 联想(北京)有限公司 | 存储系统的数据处理方法和装置 |
| CN109144770B (zh) * | 2018-08-02 | 2020-11-20 | 联想(北京)有限公司 | 存储系统的数据处理方法和装置 |
| CN109361952A (zh) * | 2018-12-14 | 2019-02-19 | 司马大大（北京）智能系统有限公司 | 视频管理方法、装置、系统及电子设备 |
| WO2020140394A1 (zh) * | 2019-01-04 | 2020-07-09 | 平安科技（深圳）有限公司 | 文件存储方法及终端设备 |
| WO2020151323A1 (zh) * | 2019-01-23 | 2020-07-30 | 平安科技（深圳）有限公司 | 一种基于数据分片的数据存储方法、设备及介质 |
| CN109885256A (zh) * | 2019-01-23 | 2019-06-14 | 平安科技（深圳）有限公司 | 一种基于数据分片的数据存储方法、设备及介质 |
| CN111858129A (zh) * | 2019-04-28 | 2020-10-30 | 深信服科技股份有限公司 | 一种纠删码读请求处理方法、系统、设备及计算机介质 |
| CN111858129B (zh) * | 2019-04-28 | 2024-02-23 | 深信服科技股份有限公司 | 一种纠删码读请求处理方法、系统、设备及计算机介质 |
| CN110493192A (zh) * | 2019-07-17 | 2019-11-22 | 北京泰立鑫科技有限公司 | 一种基于数据网关的数据安全传输系统及方法 |
| CN113326006A (zh) * | 2021-06-17 | 2021-08-31 | 上海天玑科技股份有限公司 | 一种基于纠删码的分布式块存储系统 |
| CN113326006B (zh) * | 2021-06-17 | 2023-09-29 | 上海天玑科技股份有限公司 | 一种基于纠删码的分布式块存储系统 |
| CN113672174A (zh) * | 2021-08-03 | 2021-11-19 | 中移（杭州）信息技术有限公司 | 数据重构方法、设备、存储介质及装置 |
| CN113672174B (zh) * | 2021-08-03 | 2024-05-07 | 中移（杭州）信息技术有限公司 | 数据重构方法、设备、存储介质及装置 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN106909470A (zh) | 基于纠删码的分布式文件系统存储方法及装置 | |
| CN103336785B (zh) | 一种基于网络编码的分布式存储方法及其装置 | |
| US10248556B2 (en) | Forward-only paged data storage management where virtual cursor moves in only one direction from header of a session to data field of the session | |
| CN105718455A (zh) | 一种数据查询方法及装置 | |
| CN102857554A (zh) | 基于分布式存储系统进行数据冗余处理方法 | |
| CN111414389B (zh) | 一种数据处理方法、装置、电子设备及存储介质 | |
| US20170269848A1 (en) | Selecting pages implementing leaf nodes and internal nodes of a data set index for reuse | |
| CN102142006A (zh) | 分布式文件系统的文件处理方法及装置 | |
| CN106874348A (zh) | 文件存储和索引方法、装置及读取文件的方法 | |
| CN108021717B (zh) | 一种轻量级嵌入式文件系统的实现方法 | |
| CN110262922A (zh) | 基于副本数据日志的纠删码更新方法及系统 | |
| CN106484559A (zh) | 一种校验矩阵的构造方法及水平阵列纠删码的构造方法 | |
| CN110362542B (zh) | 核电站文件编码方法、装置、计算机设备和存储介质 | |
| US20210133047A1 (en) | System and method for fast rebuild of metadata tier | |
| CN105447166A (zh) | 一种基于关键字查找信息的方法及系统 | |
| CN104750727A (zh) | 一种列式内存存储查询装置及列式内存存储查询方法 | |
| CN109194444A (zh) | 一种基于网络拓扑的平衡二叉树修复方法 | |
| CN107205024A (zh) | 一种云存储系统中数据去重方法及系统 | |
| CN107766258A (zh) | 内存存储方法与装置、内存查询方法与装置 | |
| US20120324560A1 (en) | Token data operations | |
| CN103841168B (zh) | 数据副本更新方法及元数据服务器 | |
| CN105095352B (zh) | 应用于分布式系统的数据处理方法及装置 | |
| CN108563470A (zh) | 一种iOS下web页面加载优化策略 | |
| CN105808451A (zh) | 一种数据缓存方法以及相关装置 | |
| CN104516899B (zh) | 字库更新方法和装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| TA01 | Transfer of patent application right |
Effective date of registration: 20190902 Address after: 100089 Floor 1-4, No. 2 Building, No. 9 Courtyard, Dijin Road, Haidian District, Beijing Applicant after: Beijing Toyou Feiji Electronics Co., Ltd. Address before: 518000 Room 1402, Feiyada Science and Technology Building, Nanshan District, Shenzhen City, Guangdong Province Applicant before: Shenzhen Zhongbo Kechuang Information Technology Co., Ltd. |
|
| TA01 | Transfer of patent application right | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20170630 |
|
| RJ01 | Rejection of invention patent application after publication |