CN102546755A - 云存储系统的数据存储方法 - Google Patents

云存储系统的数据存储方法 Download PDF

Info

Publication number
CN102546755A
CN102546755A CN2011104107396A CN201110410739A CN102546755A CN 102546755 A CN102546755 A CN 102546755A CN 2011104107396 A CN2011104107396 A CN 2011104107396A CN 201110410739 A CN201110410739 A CN 201110410739A CN 102546755 A CN102546755 A CN 102546755A
Authority
CN
China
Prior art keywords
data
file
size
fragmentation
encoding buffer
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN2011104107396A
Other languages
English (en)
Inventor
金海�
廖小飞
陆枫
胡宁
向小宝
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Huazhong University of Science and Technology
Original Assignee
Huazhong University of Science and Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Huazhong University of Science and Technology filed Critical Huazhong University of Science and Technology
Priority to CN2011104107396A priority Critical patent/CN102546755A/zh
Publication of CN102546755A publication Critical patent/CN102546755A/zh
Pending legal-status Critical Current

Links

Images

Landscapes

  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

一种云存储系统的数据存储方法，包括：基于缓冲区纠删码技术对文件进行编码分片，以得到数据分片和校验分片，对数据分片和校验分片进行处理，以获取校验标识，将校验标识存入索引服务器，根据数据分片和校验分片的数量向索引服务器请求存储资源信息，根据存储资源信息将数据分片和校验分片发送到多个存储节点，判断是否需要对多个存储节点中数据分片和校验分片进行完整性检查，若需要对多个存储节点中数据分片和校验分片进行完整性检查，则将数据完整性检查信息发送到多个存储节点，接收多个存储节点返回的标识信息集合，根据标识信息集合判断是否存在数据存储错误或数据丢失，若存在则对数据进行编码恢复，将恢复后的数据发送到对应的存储节点。

Description

云存储系统的数据存储方法
技术领域
本发明属于计算机网络与计算机存储领域，具体涉及一种云存储系统的数据存储方法。
背景技术
对于网络存储系统，临时或永久失效的节点相比于传统系统将多很多。因此，一个网络存储系统必须要用一定的策略屏蔽这些节点失效，以保证数据的安全存储。如今，云存储系统的数据存储方法被广泛采用，该方法可以通过数据冗余、直接数据分发、定期错误检查、冗余数据维护这些主要手段来实现数据安全有效的存储。
然而，现有的数据存储方法存在以下问题：在低存储空间和带宽开销的情况下很难保证数据的高可用性，很难提供高效的完整性检查和保证数据私密性，并且欠缺一定的容错和容灾能力。
发明内容
本发明的目的在于提供一种云存储系统的数据存储方法，该方法实现了在低存储空间和带宽开销的情况下保证数据的高可用性，同时提供高效的完整性检查和保证数据私密性，并具有一定的容错和容灾能力。
本发明是通过以下技术方案实现的：
一种云存储系统的数据存储方法，包括以下步骤：用户上传需存储的文件，基于缓冲区纠删码技术对文件进行编码分片，以得到数据分片和校验分片，对数据分片和校验分片进行处理，以获取校验标识，将校验标识存入索引服务器，根据数据分片和校验分片的数量向索引服务器请求存储资源信息，根据存储资源信息将数据分片和校验分片以基于目录的分发方式发送到多个存储节点，判断是否需要对多个存储节点中数据分片和校验分片进行完整性检查，若需要对多个存储节点中数据分片和校验分片进行完整性检查，则将数据完整性检查信息发送到多个存储节点，接收多个存储节点返回的标识信息集合，根据标识信息集合判断是否存在数据存储错误或数据丢失，若存在数据存储错误或数据丢失，则对数据进行编码恢复，将恢复后的数据发送到对应的存储节点。
基于缓冲区纠删码技术对文件进行编码分片，以得到数据分片和校验分片的步骤包括：设置编码缓冲区的大小初始值为1MB，判断编码数据大小w与数据分片的数量k的乘积是否可以整除编码缓冲区的大小，若编码数据大小w与数据分片的数量k的乘积可以整除编码缓冲区的大小，则根据编码缓冲区的大小将文件读入内存，将读入内存的数据平均分成k个数据块，对k个数据块进行编码，以得到m个校验块，判断编码过程是否为第一次编码，若编码过程为第一次编码，则在磁盘上创建k+m个空文件，将k个数据块和m个校验块分别从内存写到空文件的末尾，判断编码过程是否结束，若编码过程结束，则整个过程结束。
基于缓冲区纠删码技术对文件进行编码分片，以得到数据分片和校验分片的步骤包括：若编码数据大小w与数据分片的数量k的乘积不可以整除编码缓冲区的大小，则调整编码缓冲区的大小以使编码数据大小w与数据分片的数量k的乘积可以整除编码缓冲区的大小，判断编码过程不是第一次编码，则进入将k个数据块和m个校验块分别从内存写到空文件的末尾的步骤，若编码过程没有结束，则判断文件的剩余数据是否小于编码缓冲区的大小，若文件的剩余数据不小于编码缓冲区的大小，则返回根据编码缓冲区的大小将文件读入内存的步骤，若文件的剩余数据小于编码缓冲区的大小，则在文件的剩余数据末尾以0补齐，直到与编码缓冲区的大小相等为止，并返回根据编码缓冲区的大小将文件读入内存的步骤。
根据存储资源信息将数据分片和校验分片以基于目录的分发方式发送到多个存储节点的步骤包括：在多个存储节点中选择一个存储节点作为目录节点，以记录所有存储节点的存储数据信息，将数据分片存入除目录节点以外的存储节点，更新目录节点的信息。
根据标识信息集合判断是否存在数据存储错误或数据丢失的步骤包括：从索引服务器接收完整性检查消息，根据完整性检查消息计算数据分片的校验值，对校验值进行线性组合以得到一组合值，将组合值发送到索引服务器，索引服务器根据组合值得到数据存储错误或数据丢失信息
对数据进行编码恢复的步骤包括：获取数据的分片编号和数量，从存储节点接收k个数据分片，根据编码缓冲区的大小对数据分片进行分段读取，对k个数据块进行解码，以得到n个解码数据块，判断解码过程是否为第一次解码，若解码过程是第一次解码，则在磁盘上创建n个空文件，将n个解码数据块写到空文件的末尾，判断解码过程是否结束，若解码过程结束，则整个过程结束。
对数据进行编码恢复的步骤还包括：若解码过程不是第一次解码，则进入将n个解码数据块写到空文件的末尾的步骤，若解码过程没有结束，则返回根据编码缓冲区的大小对数据分片进行分段读取的步骤。
本发明具有以下优点：
(1)高可用性
基于纠删码技术的数据分片方法，通过对数据进行编码，得到数据分块和校验块，任意数据分片的丢失都不会影响原数据的恢复，在相同的存储空间和带宽消耗下可以获得更高的数据可用性。
(2)高效的完整性检查
数据的完整性检查在处理海量数据时容易成为性能瓶颈，如果不能批量地处理相关数据，简单的标识信息核对方法只会迅速降低系统的服务能力。而纠删码技术的使用很好地解决了这个问题，得益于其运算的相关特性，在数据完整性检查方面支持批量处理，使得检查过程更高效。
(3)容错与容灾
通过纠删码编码后得到的文件分片彻底去掉了还原过程中每个独立分片的强依赖性，任意一个文件分片的出错或丢失都不会影响到数据的还原，可以提供很好的容错与容灾能力。
(4)私密性
当对文件的分段写入编码完成以后，在各个文件分片中的数据并不是连续的，而是来自原文件的不同分段。分段读入进行编码的方法有效地分散了原文件内容信息，保证数据私密性。当分段越多时，信息将越分散，私密性越好。
附图说明
图1为本发明云存储系统的数据存储方法的流程图。
图2为本发明数据存储方法中步骤(2)的细化流程图。
图3为本发明数据存储方法中步骤(6)的细化流程图。
图4为本发明数据存储方法中步骤(10)的细化流程图。
图5为本发明数据存储方法中步骤(11)的细化流程图。
具体实施方式
如图1所示，本发明云存储系统的数据存储方法包括以下步骤：
(1)用户上传需存储的文件；
(2)基于缓冲区纠删码技术对文件进行编码分片，以得到数据分片和校验分片；
(3)对数据分片和校验分片进行处理，以获取校验标识；
(4)将校验标识存入索引服务器；
(5)根据数据分片和校验分片的数量向索引服务器请求存储资源信息；
(6)根据存储资源信息将数据分片和校验分片以基于目录的分发方式发送到多个存储节点；
(7)判断是否需要对多个存储节点中数据分片和校验分片进行完整性检查，若需要对多个存储节点中数据分片和校验分片进行完整性检查，则进入步骤(8)，若不需要对多个存储节点中数据分片和校验分片进行完整性检查，则过程结束；
(8)将数据完整性检查信息发送到多个存储节点；
(9)接收多个存储节点返回的标识信息集合；
(10)根据标识信息集合判断是否存在数据存储错误或数据丢失，若存在数据存储错误或数据丢失，则进入步骤(11)，若不存在数据存储错误或数据丢失，则过程结束；
(11)对数据进行编码恢复；
(12)将恢复后的数据发送到对应的存储节点。
如图2所示，本发明云存储系统的数据存储方法中步骤(2)包括：
(2-1)设置编码缓冲区的大小初始值为1MB；
(2-2)判断编码数据大小w与数据分片的数量k的乘积是否可以整除编码缓冲区的大小，若编码数据大小w与数据分片的数量k的乘积不可以整除编码缓冲区的大小，则进入步骤(2-3)，若编码数据大小w与数据分片的数量k的乘积可以整除编码缓冲区的大小，则进入步骤(2-4)；
(2-3)调整编码缓冲区的大小以使编码数据大小w与数据分片的数量k的乘积可以整除编码缓冲区的大小；
(2-4)根据编码缓冲区的大小将文件读入内存；
(2-5)将读入内存的数据平均分成k个数据块；
(2-6)对k个数据块进行编码，以得到m个校验块；
(2-7)判断编码过程是否为第一次编码，若编码过程为第一次编码，则进入步骤(2-8)，若编码过程不是第一次编码，则进入步骤(2-9)；
(2-8)在磁盘上创建k+m个空文件；
(2-9)将k个数据块和m个校验块分别从内存写到空文件的末尾；
(2-10)判断编码过程是否结束，若编码过程结束，则过程结束，若编码过程没有结束，则进入步骤(2-11)；
(2-11)判断文件的剩余数据是否小于编码缓冲区的大小，若文件的剩余数据不小于编码缓冲区的大小，则返回步骤(2-4)，若文件的剩余数据小于编码缓冲区的大小，则进入步骤(2-12)；
(2-12)在文件的剩余数据末尾以0补齐，直到与编码缓冲区的大小相等为止，然后返回步骤(2-4)；
如图3所示，上述步骤(6)包括：
(6-1)在多个存储节点中选择一个存储节点作为目录节点，以记录所有存储节点的存储数据信息；
(6-2)将数据分片存入除目录节点以外的存储节点；
(6-3)更新目录节点的信息。
如图4所示，上述步骤(10)包括：
(10-1)从索引服务器接收完整性检查消息；
(10-2)根据完整性检查消息计算数据分片的校验值；
(10-3)对校验值进行线性组合以得到一组合值；
(10-4)将组合值发送到索引服务器；
(10-5)索引服务器根据组合值得到数据存储错误或数据丢失信息。
如图5所示，上述步骤(11)包括：
(11-1)获取数据的分片编号和数量；
(11-2)从存储节点接收k个数据分片；
(11-3)根据编码缓冲区的大小对数据分片进行分段读取；
(11-4)对k个数据块进行解码，以得到n个解码数据块；
(11-5)判断解码过程是否为第一次解码，若解码过程是第一次解码，则进入步骤(11-6)，若解码过程不是第一次解码，则进入步骤(11-7)；
(11-6)在磁盘上创建n个空文件；
(11-7)将n个解码数据块写到空文件的末尾；
(11-8)判断解码过程是否结束，若解码过程结束，则整个过程结束。若解码过程未结束，则返回步骤(11-3)；
实例：
为了验证本发明方法的可行性和有效性，通过实验验证本发明方法。实验环境包括安装Windows Server 2003操作系统和Microsoft SQL Server2005数据库系统的索引服务器，服务端程序PPServe ASDL SQLSERVER、支持IE内核的浏览器、安装Windows XP操作系统的用户节点、ActiveX程序以及Flex程序。实验环境配置如下表1所示。
表1
  结点类型   操作系统   CPU   内存   硬盘   网络带宽
  索引服务器   Windows Server 2003   2.11GHz   64GB   300G   100Mbps
  用户节点   Windows XP   2.33GHz   2GB   150G   100Mbps
  无线路由器   无   无   无   无   54Mbps
用户节点登陆以后选择上传文件，通过对文件信息解析后，开始对文件进行分片编码，在本地临时文件里存放得到的文件分片和校验片，等待上传。此时，索引服务器段获得将要上传的文件分片数量，通过查询数据库存储资源元数据信息，取得相关存储资源信息并返回给用户节点，用户节点完成文件的上传。对冗余文件分片在覆盖网内某全局命名空间内基于目录进行存放，所有文件信息存放于目录节点。当有用户查找该文件，通过目录节点就可以找到存放数据的节点而获得文件。当用户需要下载文件时，首先从索引服务器取得文件分片的存储位置，获取相关信息。然后分别下载文件分片，下载的文件分片存放在本地临时文件夹中，一旦完成下载的文件分片总数量达到阈值，便可进行编码，完成分片的合并。对于丢失或损坏的文件分片，基于现有文件分片对其进行编码还原。
经过多次测试，采用本发明所论述的数据持久存储方法，对于用户文件进行纠删码编码分片，采用基于目录的分发技术，对发生存储错误或丢失的文件分片，基于现有分片进行解码恢复，实现了在低存储空间和网络带宽消耗的情况下保证数据的高可用性。

Claims (7)

1.一种云存储系统的数据存储方法，包括以下步骤：
用户上传需存储的文件；
基于缓冲区纠删码技术对所述文件进行编码分片，以得到数据分片和校验分片；
对所述数据分片和所述校验分片进行处理，以获取校验标识；
将所述校验标识存入索引服务器；
根据所述数据分片和所述校验分片的数量向所述索引服务器请求存储资源信息；
根据所述存储资源信息将所述数据分片和所述校验分片以基于目录的分发方式发送到多个存储节点；
判断是否需要对所述多个存储节点中所述数据分片和所述校验分片进行完整性检查；
若需要对所述多个存储节点中所述数据分片和所述校验分片进行完整性检查，则将数据完整性检查信息发送到所述多个存储节点；
接收所述多个存储节点返回的标识信息集合；
根据所述标识信息集合判断是否存在数据存储错误或数据丢失；
若存在数据存储错误或数据丢失，则对数据进行编码恢复；
将恢复后的数据发送到对应的存储节点。
2.根据权利要求1所述的数据存储方法，其特征在于，所述基于缓冲区纠删码技术对所述文件进行编码分片，以得到数据分片和校验分片的步骤包括：
设置编码缓冲区的大小初始值为1MB；
判断编码数据大小w与所述数据分片的数量k的乘积是否可以整除所述编码缓冲区的大小； 
若所述编码数据大小w与所述数据分片的数量k的乘积可以整除所述编码缓冲区的大小，则根据所述编码缓冲区的大小将所述文件读入内存；
将读入内存的数据平均分成k个数据块；
对所述k个数据块进行编码，以得到m个校验块；
判断编码过程是否为第一次编码；
若所述编码过程为第一次编码，则在磁盘上创建k+m个空文件；
将k个数据块和m个校验块分别从内存写到所述空文件的末尾；
判断所述编码过程是否结束；
若所述编码过程结束，过程结束。
3.根据权利要求2所述的数据存储方法，其特征在于，所述基于缓冲区纠删码技术对所述文件进行编码分片，以得到数据分片和校验分片的步骤包括：
若所述编码数据大小w与所述数据分片的数量k的乘积不可以整除所述编码缓冲区的大小，则调整所述编码缓冲区的大小以使所述编码数据大小w与所述数据分片的数量k的乘积可以整除所述编码缓冲区的大小；
判断编码过程不是第一次编码，则进入所述将k个数据块和m个校验块分别从内存写到所述空文件的末尾的步骤；
若所述编码过程没有结束，则判断所述文件的剩余数据是否小于所述编码缓冲区的大小；
若所述文件的剩余数据不小于所述编码缓冲区的大小，则返回所述根据所述编码缓冲区的大小将所述文件读入内存的步骤；
若所述文件的剩余数据小于所述编码缓冲区的大小，则在所述文件的剩余数据末尾以0补齐，直到与所述编码缓冲区的大小相等为止，并返回所述根据所述编码缓冲区的大小将所述文件读入内存的步骤。
4.根据权利要求1所述的数据存储方法，其特征在于，所述根据所述存储资源信息将所述数据分片和所述校验分片以基于目录的分发方式发送 到多个存储节点的步骤包括：
在所述多个存储节点中选择一个存储节点作为目录节点，以记录所有存储节点的存储数据信息；
将所述数据分片存入除所述目录节点以外的存储节点；
更新所述目录节点的信息。
5.根据权利要求1所述的数据存储方法，其特征在于，所述根据所述标识信息集合判断是否存在数据存储错误或数据丢失的步骤包括：
从所述索引服务器接收所述完整性检查消息；
根据所述完整性检查消息计算所述数据分片的校验值；
对所述校验值进行线性组合以得到一组合值；
将所述组合值发送到所述索引服务器；
所述索引服务器根据组合值得到数据存储错误或数据丢失信息。
6.根据权利要求2所述的数据存储方法，其特征在于，所述对数据进行编码恢复的步骤包括：
获取所述数据的分片编号和数量；
从所述存储节点接收所述k个数据分片；
根据所述编码缓冲区的大小对所述数据分片进行分段读取；
对所述k个数据块进行解码，以得到n个解码数据块；
判断解码过程是否为第一次解码；
若所述解码过程是第一次解码，则在磁盘上创建n个空文件；
将所述n个解码数据块写到所述空文件的末尾；
判断所述解码过程是否结束；
若所述解码过程结束，过程结束。
7.根据权利要求6所述的数据存储方法，其特征在于，所述对数据进行编码恢复的步骤还包括：
若所述解码过程不是第一次解码，则进入所述将所述n个解码数据块 写到所述空文件的末尾的步骤；
若所述解码过程没有结束，则返回所述根据所述编码缓冲区的大小对所述数据分片进行分段读取的步骤。 
CN2011104107396A 2011-12-12 2011-12-12 云存储系统的数据存储方法 Pending CN102546755A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN2011104107396A CN102546755A (zh) 2011-12-12 2011-12-12 云存储系统的数据存储方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN2011104107396A CN102546755A (zh) 2011-12-12 2011-12-12 云存储系统的数据存储方法

Publications (1)

Publication Number Publication Date
CN102546755A true CN102546755A (zh) 2012-07-04

Family

ID=46352704

Family Applications (1)

Application Number Title Priority Date Filing Date
CN2011104107396A Pending CN102546755A (zh) 2011-12-12 2011-12-12 云存储系统的数据存储方法

Country Status (1)

Country Link
CN (1) CN102546755A (zh)

Cited By (59)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102752402A (zh) * 2012-07-20 2012-10-24 广东威创视讯科技股份有限公司 一种云存储方法及系统
CN102799543A (zh) * 2012-08-10 2012-11-28 杭州极云网络技术有限公司 在动态变化的存储介质上分散存储数据及恢复方法
CN102932331A (zh) * 2012-09-29 2013-02-13 南京云创存储科技有限公司 应用于分布式存储系统的超安存编解码方法
CN102937967A (zh) * 2012-10-11 2013-02-20 南京中兴新软件有限责任公司 数据冗余实现方法及装置
CN103218574A (zh) * 2013-04-09 2013-07-24 电子科技大学 一种基于哈希树的数据动态操作可验证性方法
CN103326822A (zh) * 2013-07-18 2013-09-25 上海交通大学 基于数据分片的参与式感知系统隐私保护方法及系统
CN103561057A (zh) * 2013-10-15 2014-02-05 深圳清华大学研究院 基于分布式哈希表和纠删码的数据存储方法
CN103605582A (zh) * 2013-11-27 2014-02-26 华中科技大学 一种基于写重定向的纠删码存储重构优化方法
CN103647815A (zh) * 2013-12-03 2014-03-19 清华大学 基于纠删码和选择因子的最优存储云构建方法
CN103793666A (zh) * 2014-01-24 2014-05-14 中经云数据存储科技（北京）有限公司 一种数据文件的保护方法及系统
CN103942112A (zh) * 2013-01-22 2014-07-23 深圳市腾讯计算机系统有限公司 磁盘容错方法、装置及系统
CN104679830A (zh) * 2015-01-30 2015-06-03 乐视网信息技术（北京）股份有限公司 一种文件处理方法和装置
CN104794239A (zh) * 2015-05-08 2015-07-22 成都博元科技有限公司 一种云平台数据处理方法
CN105159603A (zh) * 2015-08-18 2015-12-16 福建省海峡信息技术有限公司 一种分布式数据存储系统的修复方法
CN105635252A (zh) * 2015-12-23 2016-06-01 浪潮集团有限公司 一种Hadoop分布式文件系统HDFS纠删码冗余备份策略
CN106657266A (zh) * 2016-11-10 2017-05-10 南京云创大数据科技股份有限公司 一种基于公有云的安全可靠的公有云存储系统的架构及方法
CN106776111A (zh) * 2017-01-06 2017-05-31 东北大学 一种基于lrc纠删码的可恢复云存储系统
CN106796605A (zh) * 2014-10-06 2017-05-31 微软技术许可有限责任公司 分段数据录入的验证
CN106878293A (zh) * 2017-01-23 2017-06-20 深圳市中博科创信息技术有限公司 基于云存储平台的数据存储方法和装置
CN106878417A (zh) * 2017-02-15 2017-06-20 北京东方亿盟科技有限公司 一种利用点对点数据传输技术进行计算机系统自动部署的方法
CN106888261A (zh) * 2017-02-27 2017-06-23 深圳市先河系统技术有限公司 一种分布式文件传输方法、服务器及私有云设备
CN106909470A (zh) * 2017-01-20 2017-06-30 深圳市中博科创信息技术有限公司 基于纠删码的分布式文件系统存储方法及装置
CN107085571A (zh) * 2016-02-14 2017-08-22 阿里巴巴集团控股有限公司 一种校验规则的执行方法和装置
CN107105037A (zh) * 2017-04-25 2017-08-29 上海幻电信息科技有限公司 一种基于文件校验的分布式视频cdn资源管理系统及方法
CN107197324A (zh) * 2017-05-15 2017-09-22 郑州云海信息技术有限公司 一种分布式文件系统的视频容错方法及装置
CN107251523A (zh) * 2015-12-29 2017-10-13 深圳大学 基于云服务的数据存储方法、完整性检测方法及装置、终端设备
WO2018011670A1 (en) * 2016-07-12 2018-01-18 International Business Machines Corporation Manipulating distributed agreement protocol to identify desired set of storage units
CN107608820A (zh) * 2017-09-26 2018-01-19 郑州云海信息技术有限公司 一种基于纠删码的文件写入方法及相关装置
CN107743137A (zh) * 2016-09-27 2018-02-27 腾讯科技（深圳）有限公司 一种文件上传方法及装置
CN107957919A (zh) * 2016-10-14 2018-04-24 北京京东尚科信息技术有限公司 数据容灾系统、方法和装置
WO2018094704A1 (zh) * 2016-11-25 2018-05-31 华为技术有限公司 一种数据校验的方法及存储系统
CN108173958A (zh) * 2018-01-05 2018-06-15 东华大学 一种多云环境下基于蚁群算法的数据优化存储方法
CN108491488A (zh) * 2018-03-14 2018-09-04 成都创信特电子技术有限公司 媒体高速存储方法
CN108810063A (zh) * 2017-11-21 2018-11-13 北京大学深圳研究生院 一种多云存储环境下数据的安全分发和修复方法、系统及介质
CN108829815A (zh) * 2018-06-12 2018-11-16 四川希氏异构医疗科技有限公司 一种医学影像图像筛选方法
CN108920104A (zh) * 2018-06-29 2018-11-30 吴俊杰 一种无中心的视频监控云存取方法
CN109147295A (zh) * 2018-08-13 2019-01-04 广州迈得豪电子科技有限公司 数据采集传输方法、装置、系统及中继器
CN109150792A (zh) * 2017-06-15 2019-01-04 杭州海康威视数字技术股份有限公司 一种提高数据存储安全性方法及装置
CN109271360A (zh) * 2018-08-03 2019-01-25 北京城市网邻信息技术有限公司 分布式对象存储数据冗余方法、装置、设备及存储介质
CN109412755A (zh) * 2018-11-05 2019-03-01 东方网力科技股份有限公司 一种多媒体数据处理方法、装置及存储介质
CN109426590A (zh) * 2017-09-01 2019-03-05 阿里巴巴集团控股有限公司 用于数据节点存储数据的方法和用于恢复数据的方法
CN109522310A (zh) * 2018-11-16 2019-03-26 北京锐安科技有限公司 数据存储、检索方法、系统及存储介质
CN109597566A (zh) * 2017-09-30 2019-04-09 杭州海康威视系统技术有限公司 一种数据读取、存储方法及装置
CN109614037A (zh) * 2018-11-16 2019-04-12 新华三技术有限公司成都分公司 数据巡检方法、装置和分布式存储系统
CN109643257A (zh) * 2016-08-26 2019-04-16 高通股份有限公司 存储器系统中的链路纠错
CN109799948A (zh) * 2017-11-17 2019-05-24 航天信息股份有限公司 一种数据存储方法及装置
CN109803015A (zh) * 2019-01-21 2019-05-24 韩雪松 一种基于d2d的去中心化共享存储系统及其控制方法
CN109842653A (zh) * 2017-11-27 2019-06-04 电信科学技术研究院 一种进行数据传输的方法和设备
CN109871294A (zh) * 2019-01-31 2019-06-11 北京百度网讯科技有限公司 用于校验数据、处理请求的方法和装置
CN110502365A (zh) * 2019-07-11 2019-11-26 平安科技（深圳）有限公司 数据存储及恢复的方法、装置及计算机设备
CN110568993A (zh) * 2019-08-06 2019-12-13 新华三技术有限公司成都分公司 一种数据更新方法及相关装置
CN110888750A (zh) * 2018-09-07 2020-03-17 阿里巴巴集团控股有限公司 数据处理方法及装置
CN110968255A (zh) * 2018-09-29 2020-04-07 阿里巴巴集团控股有限公司 数据处理方法、装置、存储介质以及处理器
US10644726B2 (en) 2013-10-18 2020-05-05 Universite De Nantes Method and apparatus for reconstructing a data block
CN111444046A (zh) * 2020-06-16 2020-07-24 北京金山云科技有限公司 一种数据恢复方法及分布式数据恢复系统
CN111475839A (zh) * 2020-04-06 2020-07-31 华中科技大学 一种用于不可信环境的冗余数据编码方法、存储介质
CN112446056A (zh) * 2019-08-29 2021-03-05 成都品果科技有限公司 一种分布式存储方法
CN113726832A (zh) * 2020-05-26 2021-11-30 杭州海康存储科技有限公司 分布式存储系统的数据存储方法、装置、系统及设备
CN115904235A (zh) * 2022-11-11 2023-04-04 深圳市数存科技有限公司 一种数据生命周期管理方法及装置

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110029809A1 (en) * 2009-07-30 2011-02-03 Cleversafe, Inc. Method and apparatus for distributed storage integrity processing
CN102088491A (zh) * 2011-02-01 2011-06-08 西安建筑科技大学 一种面向分散式的云存储安全架构及其数据存取方法
CN102255974A (zh) * 2011-08-24 2011-11-23 无锡中科方德软件有限公司 一种云计算服务器的云存储方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110029809A1 (en) * 2009-07-30 2011-02-03 Cleversafe, Inc. Method and apparatus for distributed storage integrity processing
CN102088491A (zh) * 2011-02-01 2011-06-08 西安建筑科技大学 一种面向分散式的云存储安全架构及其数据存取方法
CN102255974A (zh) * 2011-08-24 2011-11-23 无锡中科方德软件有限公司 一种云计算服务器的云存储方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
余林琛等: "《RS纠删码在云存储中的应用》", 《微电子学与计算机》, vol. 28, no. 8, 5 August 2011 (2011-08-05) *

Cited By (92)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102752402A (zh) * 2012-07-20 2012-10-24 广东威创视讯科技股份有限公司 一种云存储方法及系统
CN102799543A (zh) * 2012-08-10 2012-11-28 杭州极云网络技术有限公司 在动态变化的存储介质上分散存储数据及恢复方法
CN102799543B (zh) * 2012-08-10 2015-12-02 杭州极云网络技术有限公司 在动态变化的存储介质上分散存储数据及恢复方法
CN102932331A (zh) * 2012-09-29 2013-02-13 南京云创存储科技有限公司 应用于分布式存储系统的超安存编解码方法
CN102937967A (zh) * 2012-10-11 2013-02-20 南京中兴新软件有限责任公司 数据冗余实现方法及装置
CN102937967B (zh) * 2012-10-11 2018-02-27 南京中兴新软件有限责任公司 数据冗余实现方法及装置
CN103942112B (zh) * 2013-01-22 2018-06-15 深圳市腾讯计算机系统有限公司 磁盘容错方法、装置及系统
CN103942112A (zh) * 2013-01-22 2014-07-23 深圳市腾讯计算机系统有限公司 磁盘容错方法、装置及系统
CN103218574A (zh) * 2013-04-09 2013-07-24 电子科技大学 一种基于哈希树的数据动态操作可验证性方法
CN103326822A (zh) * 2013-07-18 2013-09-25 上海交通大学 基于数据分片的参与式感知系统隐私保护方法及系统
CN103326822B (zh) * 2013-07-18 2016-02-17 上海交通大学 基于数据分片的参与式感知系统隐私保护方法及系统
CN103561057A (zh) * 2013-10-15 2014-02-05 深圳清华大学研究院 基于分布式哈希表和纠删码的数据存储方法
US10644726B2 (en) 2013-10-18 2020-05-05 Universite De Nantes Method and apparatus for reconstructing a data block
CN103605582A (zh) * 2013-11-27 2014-02-26 华中科技大学 一种基于写重定向的纠删码存储重构优化方法
CN103605582B (zh) * 2013-11-27 2017-01-25 华中科技大学 一种基于写重定向的纠删码存储重构优化方法
CN103647815A (zh) * 2013-12-03 2014-03-19 清华大学 基于纠删码和选择因子的最优存储云构建方法
CN103647815B (zh) * 2013-12-03 2017-04-12 清华大学 基于纠删码和选择因子的最优存储云构建方法
CN103793666A (zh) * 2014-01-24 2014-05-14 中经云数据存储科技（北京）有限公司 一种数据文件的保护方法及系统
CN106796605A (zh) * 2014-10-06 2017-05-31 微软技术许可有限责任公司 分段数据录入的验证
CN104679830A (zh) * 2015-01-30 2015-06-03 乐视网信息技术（北京）股份有限公司 一种文件处理方法和装置
CN104794239A (zh) * 2015-05-08 2015-07-22 成都博元科技有限公司 一种云平台数据处理方法
CN105159603B (zh) * 2015-08-18 2018-01-12 福建省海峡信息技术有限公司 一种分布式数据存储系统的修复方法
CN105159603A (zh) * 2015-08-18 2015-12-16 福建省海峡信息技术有限公司 一种分布式数据存储系统的修复方法
CN105635252A (zh) * 2015-12-23 2016-06-01 浪潮集团有限公司 一种Hadoop分布式文件系统HDFS纠删码冗余备份策略
CN105635252B (zh) * 2015-12-23 2019-06-25 浪潮集团有限公司 一种Hadoop分布式文件系统HDFS纠删码冗余备份方法
CN107251523B (zh) * 2015-12-29 2020-03-27 深圳大学 基于云服务的数据存储方法、完整性检测方法及装置、终端设备
CN107251523A (zh) * 2015-12-29 2017-10-13 深圳大学 基于云服务的数据存储方法、完整性检测方法及装置、终端设备
CN107085571A (zh) * 2016-02-14 2017-08-22 阿里巴巴集团控股有限公司 一种校验规则的执行方法和装置
CN107085571B (zh) * 2016-02-14 2020-06-16 阿里巴巴集团控股有限公司 一种校验规则的执行方法和装置
GB2567106A (en) * 2016-07-12 2019-04-03 Ibm Manipulating distributed agreement protocol to identify desired set of storage units
GB2567106B (en) * 2016-07-12 2021-07-14 Ibm Manipulating distributed agreement protocol to identify desired set of storage units
WO2018011670A1 (en) * 2016-07-12 2018-01-18 International Business Machines Corporation Manipulating distributed agreement protocol to identify desired set of storage units
CN109478125A (zh) * 2016-07-12 2019-03-15 国际商业机器公司 操纵分布式一致性协议以识别期望的存储单元集
US10942806B2 (en) 2016-07-12 2021-03-09 International Business Machines Corporation Manipulating a distributed agreement protocol to identify a desired set of storage units
CN109643257A (zh) * 2016-08-26 2019-04-16 高通股份有限公司 存储器系统中的链路纠错
CN109643257B (zh) * 2016-08-26 2020-07-03 高通股份有限公司 用于存储器系统中的链路纠错的方法和设备
CN107743137A (zh) * 2016-09-27 2018-02-27 腾讯科技（深圳）有限公司 一种文件上传方法及装置
CN107743137B (zh) * 2016-09-27 2020-03-17 腾讯科技（深圳）有限公司 一种文件上传方法及装置
CN107957919A (zh) * 2016-10-14 2018-04-24 北京京东尚科信息技术有限公司 数据容灾系统、方法和装置
CN106657266A (zh) * 2016-11-10 2017-05-10 南京云创大数据科技股份有限公司 一种基于公有云的安全可靠的公有云存储系统的架构及方法
WO2018094704A1 (zh) * 2016-11-25 2018-05-31 华为技术有限公司 一种数据校验的方法及存储系统
US10303374B2 (en) 2016-11-25 2019-05-28 Huawei Technologies Co.,Ltd. Data check method and storage system
CN106776111A (zh) * 2017-01-06 2017-05-31 东北大学 一种基于lrc纠删码的可恢复云存储系统
CN106909470A (zh) * 2017-01-20 2017-06-30 深圳市中博科创信息技术有限公司 基于纠删码的分布式文件系统存储方法及装置
CN106878293A (zh) * 2017-01-23 2017-06-20 深圳市中博科创信息技术有限公司 基于云存储平台的数据存储方法和装置
CN106878417A (zh) * 2017-02-15 2017-06-20 北京东方亿盟科技有限公司 一种利用点对点数据传输技术进行计算机系统自动部署的方法
CN106888261A (zh) * 2017-02-27 2017-06-23 深圳市先河系统技术有限公司 一种分布式文件传输方法、服务器及私有云设备
CN107105037A (zh) * 2017-04-25 2017-08-29 上海幻电信息科技有限公司 一种基于文件校验的分布式视频cdn资源管理系统及方法
CN107197324A (zh) * 2017-05-15 2017-09-22 郑州云海信息技术有限公司 一种分布式文件系统的视频容错方法及装置
CN109150792A (zh) * 2017-06-15 2019-01-04 杭州海康威视数字技术股份有限公司 一种提高数据存储安全性方法及装置
CN109150792B (zh) * 2017-06-15 2022-03-08 杭州海康威视数字技术股份有限公司 一种提高数据存储安全性方法及装置
US11232228B2 (en) 2017-06-15 2022-01-25 Hangzhou Hikvision Digital Technology Co., Ltd. Method and device for improving data storage security
CN109426590A (zh) * 2017-09-01 2019-03-05 阿里巴巴集团控股有限公司 用于数据节点存储数据的方法和用于恢复数据的方法
CN107608820A (zh) * 2017-09-26 2018-01-19 郑州云海信息技术有限公司 一种基于纠删码的文件写入方法及相关装置
CN107608820B (zh) * 2017-09-26 2020-08-21 苏州浪潮智能科技有限公司 一种基于纠删码的文件写入方法及相关装置
CN109597566A (zh) * 2017-09-30 2019-04-09 杭州海康威视系统技术有限公司 一种数据读取、存储方法及装置
CN109597566B (zh) * 2017-09-30 2022-03-04 杭州海康威视系统技术有限公司 一种数据读取、存储方法及装置
CN109799948A (zh) * 2017-11-17 2019-05-24 航天信息股份有限公司 一种数据存储方法及装置
CN108810063B (zh) * 2017-11-21 2021-01-15 北京大学深圳研究生院 一种多云存储环境下数据的安全分发和修复方法、系统及介质
CN108810063A (zh) * 2017-11-21 2018-11-13 北京大学深圳研究生院 一种多云存储环境下数据的安全分发和修复方法、系统及介质
CN109842653A (zh) * 2017-11-27 2019-06-04 电信科学技术研究院 一种进行数据传输的方法和设备
CN109842653B (zh) * 2017-11-27 2022-04-01 大唐移动通信设备有限公司 一种进行数据传输的方法和设备
CN108173958A (zh) * 2018-01-05 2018-06-15 东华大学 一种多云环境下基于蚁群算法的数据优化存储方法
CN108491488B (zh) * 2018-03-14 2021-11-30 成都创信特电子技术有限公司 媒体高速存储方法
CN108491488A (zh) * 2018-03-14 2018-09-04 成都创信特电子技术有限公司 媒体高速存储方法
CN108829815A (zh) * 2018-06-12 2018-11-16 四川希氏异构医疗科技有限公司 一种医学影像图像筛选方法
CN108920104B (zh) * 2018-06-29 2021-06-25 吴俊杰 一种无中心的视频监控云存取方法
CN108920104A (zh) * 2018-06-29 2018-11-30 吴俊杰 一种无中心的视频监控云存取方法
CN109271360A (zh) * 2018-08-03 2019-01-25 北京城市网邻信息技术有限公司 分布式对象存储数据冗余方法、装置、设备及存储介质
CN109147295A (zh) * 2018-08-13 2019-01-04 广州迈得豪电子科技有限公司 数据采集传输方法、装置、系统及中继器
CN110888750A (zh) * 2018-09-07 2020-03-17 阿里巴巴集团控股有限公司 数据处理方法及装置
CN110968255B (zh) * 2018-09-29 2023-05-02 阿里巴巴集团控股有限公司 数据处理方法、装置、存储介质以及处理器
CN110968255A (zh) * 2018-09-29 2020-04-07 阿里巴巴集团控股有限公司 数据处理方法、装置、存储介质以及处理器
CN109412755A (zh) * 2018-11-05 2019-03-01 东方网力科技股份有限公司 一种多媒体数据处理方法、装置及存储介质
CN109412755B (zh) * 2018-11-05 2021-11-23 东方网力科技股份有限公司 一种多媒体数据处理方法、装置及存储介质
CN109522310A (zh) * 2018-11-16 2019-03-26 北京锐安科技有限公司 数据存储、检索方法、系统及存储介质
CN109614037A (zh) * 2018-11-16 2019-04-12 新华三技术有限公司成都分公司 数据巡检方法、装置和分布式存储系统
CN109803015B (zh) * 2019-01-21 2021-10-12 韩雪松 一种基于d2d的去中心化共享存储系统及其控制方法
CN109803015A (zh) * 2019-01-21 2019-05-24 韩雪松 一种基于d2d的去中心化共享存储系统及其控制方法
CN109871294A (zh) * 2019-01-31 2019-06-11 北京百度网讯科技有限公司 用于校验数据、处理请求的方法和装置
CN110502365B (zh) * 2019-07-11 2024-03-01 平安科技（深圳）有限公司 数据存储及恢复的方法、装置及计算机设备
CN110502365A (zh) * 2019-07-11 2019-11-26 平安科技（深圳）有限公司 数据存储及恢复的方法、装置及计算机设备
WO2021003822A1 (zh) * 2019-07-11 2021-01-14 平安科技（深圳）有限公司 数据存储及恢复的方法、装置及计算机设备
CN110568993A (zh) * 2019-08-06 2019-12-13 新华三技术有限公司成都分公司 一种数据更新方法及相关装置
CN110568993B (zh) * 2019-08-06 2022-04-12 新华三技术有限公司成都分公司 一种数据更新方法及相关装置
CN112446056A (zh) * 2019-08-29 2021-03-05 成都品果科技有限公司 一种分布式存储方法
CN111475839B (zh) * 2020-04-06 2023-04-18 华中科技大学 一种用于不可信环境的冗余数据编码方法、存储介质
CN111475839A (zh) * 2020-04-06 2020-07-31 华中科技大学 一种用于不可信环境的冗余数据编码方法、存储介质
CN113726832A (zh) * 2020-05-26 2021-11-30 杭州海康存储科技有限公司 分布式存储系统的数据存储方法、装置、系统及设备
CN113726832B (zh) * 2020-05-26 2024-03-05 杭州海康存储科技有限公司 分布式存储系统的数据存储方法、装置、系统及设备
CN111444046A (zh) * 2020-06-16 2020-07-24 北京金山云科技有限公司 一种数据恢复方法及分布式数据恢复系统
CN115904235A (zh) * 2022-11-11 2023-04-04 深圳市数存科技有限公司 一种数据生命周期管理方法及装置

Similar Documents

Publication Publication Date Title
CN102546755A (zh) 云存储系统的数据存储方法
US10241695B2 (en) Optimizing rebuilds when using multiple information dispersal algorithms
US10659225B2 (en) Encrypting existing live unencrypted data using age-based garbage collection
US20190250989A1 (en) Distributed data object management system
US9923966B1 (en) Flexible media storage and organization in automated data storage systems
US20170006099A1 (en) Using broadcast for parallelized and rapid slice replication in a dispersed storage network
JP6522008B2 (ja) 散在ストレージ・ネットワークにおける多世代記憶されたデータの読取り
US10620830B2 (en) Reconciling volumelets in volume cohorts
US9715507B2 (en) Techniques for reconciling metadata and data in a cloud storage system without service interruption
US7827137B2 (en) Seeding replication
CN104541251A (zh) 在存储群集中的擦除编码和复制
CN102187316B (zh) 备份并恢复用于所选数据库对象的安全信息
US20150169716A1 (en) Volume cohorts in object-redundant storage systems
CN102307210A (zh) 一种数据下载系统及其数据管理和下载方法
CN103548003A (zh) 用于提高去重复系统备份性能的客户端侧指纹缓存的过程和方法
CN101488104A (zh) 一种实现高效安全存储的系统和方法
CN106547859A (zh) 一种多租户数据存储系统下的数据文件的存储方法及装置
CN103561057A (zh) 基于分布式哈希表和纠删码的数据存储方法
CN106789249B (zh) 热更新方法、客户端及服务器
US9998150B1 (en) Layered data redundancy coding techniques for layer-local data recovery
WO2016130091A1 (en) Methods of encoding and storing multiple versions of data, method of decoding encoded multiple versions of data and distributed storage system
US20180365104A1 (en) Distributed data object management system operations
US20230306041A1 (en) Asynchronous Data Replication in a Storage Network
US9961141B1 (en) Techniques and systems for tray-based storage and organization in automated data storage systems
CN104965835A (zh) 一种分布式文件系统的文件读写方法及装置

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C12 Rejection of a patent application after its publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20120704