CN106027653B - 一种基于raid4的多云存储系统扩展方法 - Google Patents

一种基于raid4的多云存储系统扩展方法 Download PDF

Info

Publication number
CN106027653B
CN106027653B CN201610344015.9A CN201610344015A CN106027653B CN 106027653 B CN106027653 B CN 106027653B CN 201610344015 A CN201610344015 A CN 201610344015A CN 106027653 B CN106027653 B CN 106027653B
Authority
CN
China
Prior art keywords
cloud
data block
data
raid4
block
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201610344015.9A
Other languages
English (en)
Other versions
CN106027653A (zh
Inventor
胡燏翀
常拴霞
王阿孟
文可
吴锋
肖仁智
张晓阳
李宗玮
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Huazhong University of Science and Technology
Original Assignee
Huazhong University of Science and Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Huazhong University of Science and Technology filed Critical Huazhong University of Science and Technology
Priority to CN201610344015.9A priority Critical patent/CN106027653B/zh
Publication of CN106027653A publication Critical patent/CN106027653A/zh
Application granted granted Critical
Publication of CN106027653B publication Critical patent/CN106027653B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/10—Protocols in which an application is distributed across nodes in the network
    • H04L67/1097—Protocols in which an application is distributed across nodes in the network for distributed storage of data in networks, e.g. transport arrangements for network file system [NFS], storage area networks [SAN] or network attached storage [NAS]

Abstract

本发明公开了一种基于RAID4的多云存储系统扩展方法，包括：云用户从本地上传文件数据到已注册并购买服务的各个云的对象存储服务，数据块在各个云之间以RAID4方式存储。当用户由于某些原因需要将已有云中的数据迁移一部分到新的云中，并保持云之间的数据仍以RAID4方式存储时，从存储原始数据的云中选择一部分数据迁移到新的云中，并将一部分迁移的数据发送到校验云中，运用校验云的计算资源计算得出新的校验块以保证新的多云存储系统仍然保持RAID4方式存储。本发明中云的概念也可以扩展为不同云的不同存储区域。本发明是基于RAID4方式存储，故能容“1”错；另外，通过耗费校验云的计算资源来换取带宽资源，减少因扩展带来的迁移数据量。

Description

一种基于RAID4的多云存储系统扩展方法
技术领域
本发明属于云存储领域，更具体地，涉及一种基于RAID4的多云存储系统扩展方法。
背景技术
云存储是在云计算的基础上发展出来的一种新兴网络存储技术。然而由于单云存储会引发诸如单点故障和服务商垄断等问题，因此将数据分割并存储在多个云上。多云将各种类型的云存储服务部署在一起，更好地满足企业和个人的应用需求。
多云存储的数据分布于多个云存储平台，但又整合在一个多云存储架构中，因此具有较高的系统复杂度。由于多云存储能够有效地解决单点故障和服务商垄断的问题，因此能带来更低的成本和更高的价值。
将数据在多云平台上以RAID4方式存储，通过保证多云系统存储数据的冗余度来保证容错性，并节约了存储空间。RAID4方式存储可使多云存储系统容“1”错，即当其中任意一个云发生故障时，其丢失的数据可以通过其他云中的数据来恢复；另外，由于有校验云的存在，不需要将原始数据块存储两个备份，大大节约了存储空间。
多云的扩展需要将一部分原始数据块发送到新的云上，由于云个数的增加，校验云上每个校验块所携带的数据块信息也要增多，因此需要将迁移的数据块再次发送到校验云上进行计算从而生成新的校验块。这样扩展所需要的迁移数据量就是迁移数据块的两倍，严重耗费带宽资源，延长了扩展时间。
发明内容
针对现有技术的以上缺陷或改进需求，本发明提供了一种基于RAID4的多云存储系统扩展方法，其目的在于保证一定的数据冗余度，使系统可容“1”错，又大大节约数据存储空间，通过利用校验云上的计算资源来换取带宽资源，使扩展时需要向校验云传输的数据量大大减少，由此解决扩展时如何减少传输数据量的技术问题。
为实现上述目的，本发明提供了一种基于RAID4的多云存储系统扩展方法，包括：
(1)云用户将原始文件分成若干个相同大小的数据块，并将其以RAID4方式存储在M+1个云上，其中M≥2；
(2)云用户存储的总数据量不变时，将数据从M+1个云扩展到N+1个云上，保持数据在N+1个云上仍然以RAID4方式存储；
(3)申请校验云中与存储区域在同一数据中心的弹性计算服务的服务器实例来实现校验云内部的数据计算；
(4)在原来的M+1个云上删除无用的数据块；
(5)根据各个数据块的元数据信息合成原始文件。
优选的，在步骤(1)中，第1至M个云存储原始数据块，第M+1个云存储校验数据块，所用云存储服务是各个云对应的对象存储服务。
优选的，在步骤(2)中，M<N。
优选的，所述步骤(2)包括如下子步骤：
(2.1)找到一个合数p，这个合数是两个不同因子M和N的最小公倍数；
(2.2)若原始数据块的个数为p，则将这p个数据块以RAID0方式平均分配到M个云上，每个云上存储N个数据块，第M+1个云为校验云，存储相应的校验块，每个校验块含M个数据块的信息；
(2.3)将这p个数据块扩展到N+1个云上时，每个云上存储M个数据块，校验云上的每个校验块含N个数据块的信息；
(2.4)在上述扩展情境下，总的原始数据块的个数大于p时，以每p个数据块为一组划分区域，在每个区域内进行相似的扩展，最后一个区域的数据块个数少于p时，不扩展该区域。
优选的，在子步骤(2.3)中，在一个区域内，向校验云传输的数据块的个数占需要迁移到新的云的数据块总个数的比例为：
由于存在M和N不互质的情况，故上式不一定为最简分式；即从M+1个云扩展到N+1个云时，一个区域内需要向校验云传输的数据块个数至少为上述分式化简后的最简分式的分子。
优选的，在步骤(3)中，所述各个云的弹性计算服务的服务器实例所申请的地区与这个云的对象存储服务的数据存储区域是一样的，即在同一个数据中心，由于同一数据中心内的数据传输不收费，故可节约扩展成本。
优选的，所述步骤(3)包括如下子步骤：
(3.1)申请校验云中与存储区域在同一数据中心的弹性计算服务的服务器实例；
(3.2)下载校验云的对象存储服务中的原始校验块和接收的原始数据块到服务器实例的存储空间，并进行相应的计算，得出新的校验块；
(3.3)将新的校验块上传到与服务器实例同一区域的对象存储服务，并删除服务器实例存储空间下载的数据块和计算过程中产生的其他数据块。
优选的，在步骤(4)中，需要删除迁移数据块和校验云中无用的数据块，其特征在于，
对于存储原始数据块的第1至M个云，当需要传输的数据块传输完成时，自动删除这个云已经迁移的数据块；
对于存储校验数据块的第M+1个云，当服务器实例下载对象存储服务的原始校验块和接收的原始数据块到服务器实例的存储空间后，即删除这些已经下载的数据块。
优选的，本发明的一个实施例中，所述步骤(1)中的M+1取值为3，所述步骤(2)中的N+1取值为4。
总体而言，通过本发明所构思的以上技术方案与现有技术相比，由于利用数据冗余技术、RAID4技术以及编码技术，能够取得下列有益效果：
1、本发明利用数据冗余技术，提高多云存储系统的数据存储可靠性；
2、本发明利用RAID4技术在多云存储系统中存储数据，可以对由于单个云故障等原因发生的数据丢失和损坏进行快速恢复，提高了数据存储的安全性和可靠性；
3、本发明利用编码技术，在云内部通过更多的计算来减少原始数据块到校验云的传输量，大大节约了带宽，提高了扩展速度。
附图说明
图1是本发明的基于RAID4的多云存储及扩展示意图；
图2是本发明的基于RAID4的多云存储及扩展流程；
图3是本发明实施例中一个区域内的基于RAID4的多云存储扩展过程。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。此外，下面所描述的本发明各个实施方式中所涉及到的技术特征只要彼此之间未构成冲突就可以相互组合。
本发明的基于RAID4的多云存储系统扩展完全在云上实现。
如图1所示，本发明的基于RAID4的多云存储及扩展示意图描述如下：
云用户从本地上传文件数据到已注册并购买服务的各个云的对象存储服务，数据块在各个云之间以RAID4方式存储。当用户由于某些原因需要将已有云中的数据迁移一部分到新的云中，并保持云之间的数据仍以RAID4方式存储时，从存储原始数据的云中选择一部分数据迁移到新的云中，并将一部分迁移的数据发送到校验云中，运用校验云的计算资源计算得出新的校验块，保证新的多云存储系统仍然保持RAID4方式存储。
如图2所示，本发明的基于RAID4的多云存储及扩展流程详细描述如下：
首先，云用户将需要上传的文件分割成大小相等的数据块；然后，将这些原始数据块均匀上传到第1至M个云上，并将相应的校验块上传到第M+1个云(校验云)上，以RAID4方式存储；在总数据量不变的情况下，将数据从M+1个云扩展到N+1个云时，从M个存储原始数据块的云中选择一部分原始块迁移到N-M个新的云上，并将其中一部分块传输到校验云上；在校验云上申请与对象存储服务同一区域的服务器实例，计算得到新的校验块，将其上传到对象存储服务；在原来的M+1个云上删除无用的数据块；根据元数据信息合成原始文件。
如图3所示，本发明实施例的基于RAID4的多云存储扩展过程详细描述如下：
本实施例以从3个云到4个云的扩展过程为例简单介绍其基于RAID4的多云存储扩展方法，本实施例描述的是3个云扩展为4个云的一个区域内的扩展过程，其他区域内的扩展过程与之类似，一个区域内的数据块个数少于(2×3＝)6时，不扩展该区域。
Amazon S3(Simple Storage Service,简单存储服务)上存储原始数据块0、2、4，Rackspace Cloud Files上存储原始数据块1、3、5，Aliyun OSS(Object Storage Service,对象存储服务)作为校验云存储校验块0+1、2+3、4+5。
扩展时，从Amazon S3中选择原始数据块4，从Rackspace Cloud Files中选择原始数据块5；将数据块4和5迁移到Windows Azure Blob中，将数据块5传输到校验云中；此时删除Amazon S3中的数据块4和Rackspace Cloud Files中的数据块5；在Aliyun ECS(ElasticCompute Service,弹性计算服务)中申请服务器实例，将原有校验块0+1、2+3、4+5和接收的原始块5下载到服务器实例的存储空间，并删除对象存储服务上的这些数据块；通过计算(4+5)+5＝4得出原始数据块4，然后再利用原有校验块0+1和2+3，计算出新的校验块0+1+4和2+3+5；将新的校验块0+1+4和2+3+5上传到Aliyun OSS，删除服务器实例中下载的数据块和计算过程中产生的数据块。
根据每个数据块的元数据信息来合并原始文件。
图3中，本发明通过耗费校验云中的计算资源来减少需要向校验云传输的原始数据块的数量，节约了带宽资源，减少了扩展时间。扩展后仍然保持RAID4方式存储，保证了多云扩展后数据存储的安全性和可靠性。
本领域的技术人员容易理解，以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (8)

1.一种基于RAID4的多云存储系统扩展方法，其特征在于，所述方法包括：
(1)云用户将原始文件分成若干个相同大小的数据块，并将其以RAID4方式存储在M+1个云上，其中M≥2；
(2)云用户存储的总数据量不变时，将数据从M+1个云扩展到N+1个云上，保持数据在N+1个云上仍然以RAID4方式存储；
(3)申请校验云中与存储区域在同一数据中心的弹性计算服务的服务器实例来实现校验云内部的数据计算；
(4)在原来的M+1个云上删除无用的数据块，存储原始数据块的云中删除传输的数据块，校验云中删除新的校验块以外的数据块；
(5)根据各个数据块的元数据信息合成原始文件；
所述步骤(2)具体包括如下子步骤：
(2.1)找到一个合数p，这个合数是两个不同因子M和N的最小公倍数；
(2.2)若原始数据块的个数为p，则将这p个数据块以RAID0方式平均分配到M个云上，每个云上存储N个数据块，第M+1个云为校验云，存储相应的校验块，每个校验块含M个数据块的信息；
(2.3)将这p个数据块扩展到N+1个云上时，每个云上存储M个数据块，校验云上的每个校验块含N个数据块的信息；
(2.4)在上述扩展情境下，总的原始数据块的个数大于p时，以每p个数据块为一组划分区域，在每个区域内进行相似的扩展，最后一个区域的数据块个数少于p时，不扩展该区域。
2.如权利要求1所述的基于RAID4的多云存储系统扩展方法，其特征在于，在步骤(1)中，第1至M个云存储原始数据块，第M+1个云存储校验数据块，所用云存储服务是各个云对应的对象存储服务。
3.如权利要求1或2所述的基于RAID4的多云存储系统扩展方法，其特征在于，在步骤(2)中，M<N。
4.如权利要求1所述的基于RAID4的多云存储系统扩展方法，其特征在于，所述子步骤(2.3)中，在一个区域内，向校验云传输的数据块的个数占需要迁移到新的云的数据块总个数的比例为：
5.如权利要求1或2所述的基于RAID4的多云存储系统扩展方法，其特征在于，在步骤(3)中，所述各个云的弹性计算服务的服务器实例所申请的地区与这个云的对象存储服务的数据存储区域是一样的，即在同一个数据中心。
6.如权利要求1或2所述的基于RAID4的多云存储系统扩展方法，其特征在于，所述步骤(3)包括如下子步骤：
(3.1)申请校验云中与存储区域在同一数据中心的弹性计算服务的服务器实例；
(3.2)下载校验云的对象存储服务中的原始校验块和接收的原始数据块到服务器实例的存储空间，并进行相应的计算，得出新的校验块；
(3.3)将新的校验块上传到与服务器实例同一区域的对象存储服务，并删除服务器实例存储空间下载的数据块和计算过程中产生的其他数据块。
7.如权利要求1或2所述的基于RAID4的多云存储系统扩展方法，其特征在于，在步骤(4)中，需要删除迁移数据块和校验云中无用的数据块，
对于存储原始数据块的第1至M个云，当需要传输的数据块传输完成时，自动删除这个云已经迁移的数据块；
对于存储校验数据块的第M+1个云，当服务器实例下载对象存储服务的原始校验块和接收的原始数据块到服务器实例的存储空间后，即删除这些已经下载的数据块。
8.如权利要求1或2所述的基于RAID4的多云存储系统扩展方法，其特征在于，所述步骤(1)中的M+1取值为3，所述步骤(2)中的N+1取值为4。
CN201610344015.9A 2016-05-23 2016-05-23 一种基于raid4的多云存储系统扩展方法 Active CN106027653B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201610344015.9A CN106027653B (zh) 2016-05-23 2016-05-23 一种基于raid4的多云存储系统扩展方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201610344015.9A CN106027653B (zh) 2016-05-23 2016-05-23 一种基于raid4的多云存储系统扩展方法

Publications (2)

Publication Number Publication Date
CN106027653A CN106027653A (zh) 2016-10-12
CN106027653B true CN106027653B (zh) 2019-04-12

Family

ID=57095731

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610344015.9A Active CN106027653B (zh) 2016-05-23 2016-05-23 一种基于raid4的多云存储系统扩展方法

Country Status (1)

Country Link
CN (1) CN106027653B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108011764A (zh) * 2017-12-07 2018-05-08 国云科技股份有限公司 一种预测多云平台存储资源增长量的方法
CN109491610A (zh) * 2018-11-07 2019-03-19 郑州云海信息技术有限公司 一种基于硬盘配置的存储带宽分析方法及装置

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102055797A (zh) * 2010-11-29 2011-05-11 北京卓微天成科技咨询有限公司 一种云存储的数据存取的方法、装置及系统
CN102281321A (zh) * 2011-04-25 2011-12-14 程旭 云存储分割与备份数据的方法及装置
CN102780769A (zh) * 2012-07-04 2012-11-14 南京邮电大学 一种基于云计算平台的容灾存储方法
CN104123100A (zh) * 2013-04-25 2014-10-29 国际商业机器公司 控制存储设备阵列中的数据存储

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20160080490A1 (en) * 2014-09-15 2016-03-17 Microsoft Corporation Online data movement without compromising data integrity

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102055797A (zh) * 2010-11-29 2011-05-11 北京卓微天成科技咨询有限公司 一种云存储的数据存取的方法、装置及系统
CN102281321A (zh) * 2011-04-25 2011-12-14 程旭 云存储分割与备份数据的方法及装置
CN102780769A (zh) * 2012-07-04 2012-11-14 南京邮电大学 一种基于云计算平台的容灾存储方法
CN104123100A (zh) * 2013-04-25 2014-10-29 国际商业机器公司 控制存储设备阵列中的数据存储

Also Published As

Publication number Publication date
CN106027653A (zh) 2016-10-12

Similar Documents

Publication Publication Date Title
US10664493B2 (en) Replication of data objects from a source server to a target server
CN108780386B (zh) 一种数据存储的方法、装置和系统
RU2501072C2 (ru) Распределенное хранение восстанавливаемых данных
US8615588B2 (en) Accelerate copying of virtual machine images
CN109492013B (zh) 应用于数据库集群的数据处理方法、装置和系统
CN110602147B (zh) 一种基于云平台的数据加密安全存储方法、系统和存储介质
US9916478B2 (en) Data protection enhancement using free space
US10871911B2 (en) Reducing data amplification when replicating objects across different sites
US9805140B2 (en) Striping of directed graphs and nodes with improved functionality
CN102902600A (zh) 有效的应用感知的灾难恢复
CN106156359A (zh) 一种云计算平台下的数据同步更新方法
CN108733311B (zh) 用于管理存储系统的方法和设备
CN110851080B (zh) 多云盘平台的分布式存储管理系统
US10747458B2 (en) Methods and systems for improving efficiency in cloud-as-backup tier
CN112000627B (zh) 一种数据存储方法、系统、电子设备及存储介质
CN104573064A (zh) 一种大数据环境下的数据处理方法
CN110968554A (zh) 一种基于文件链分块的区块链存储方法、存储系统及存储介质
CN106027653B (zh) 一种基于raid4的多云存储系统扩展方法
CN104125294B (zh) 一种大数据安全管理方法和系统
JP2019021284A (ja) ＩｏＴ装置がデータセンタでバックアップするための分散型重複データ削除記憶システム及びその分散型重複データ削除を実現する方法
CN109446202A (zh) 标识符分配方法、装置、服务器和存储介质
CN106027638A (zh) 一种基于混合编码的hadoop数据分发方法
CN109597903A (zh) 图像文件处理装置和方法、文件存储系统及存储介质
US11416447B2 (en) Deduplicating distributed erasure coded objects
JP6256167B2 (ja) データセンターネットワークにおけるリスク軽減

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant