CN102033717A - 基于磁盘阵列的数据存储方法及系统 - Google Patents

基于磁盘阵列的数据存储方法及系统 Download PDF

Info

Publication number
CN102033717A
CN102033717A CN 201010584085 CN201010584085A CN102033717A CN 102033717 A CN102033717 A CN 102033717A CN 201010584085 CN201010584085 CN 201010584085 CN 201010584085 A CN201010584085 A CN 201010584085A CN 102033717 A CN102033717 A CN 102033717A
Authority
CN
China
Prior art keywords
data
disk array
raid
demand
requirement
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN 201010584085
Other languages
English (en)
Other versions
CN102033717B (zh
Inventor
薛一波
张洛什
孙广路
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tsinghua University
Original Assignee
Tsinghua University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tsinghua University filed Critical Tsinghua University
Priority to CN 201010584085 priority Critical patent/CN102033717B/zh
Publication of CN102033717A publication Critical patent/CN102033717A/zh
Application granted granted Critical
Publication of CN102033717B publication Critical patent/CN102033717B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Debugging And Monitoring (AREA)

Abstract

本发明公开了一种基于磁盘阵列的数据存储方法及系统,该方法包括步骤:S1.利用统计学方法,分析不同磁盘阵列模式的特性,获得统计数据,对不同磁盘阵列模式的安全性、传输速率及空间利用率进行数字化分级;S2.对将要存储的数据按照项目要求以及需求分析的要求进行分析;S3.根据步骤S1得出的磁盘阵列模式数字化分级标准和步骤S2得出的数据要求,选择磁盘阵列模式;S4.将要存储的数据按照选择的磁盘阵列模式存储。本发明的方法及系统可直观、合理、且数字化地进行磁盘阵列模式选,为用户根据自身的需求选择合适的磁盘阵列RAID模式提供了技术及理论支持,也为对已用的磁盘阵列提供评估标准。

Description

基于磁盘阵列的数据存储方法及系统
技术领域
本发明涉及数据保护及数据安全技术领域,尤其涉及一种基于磁盘阵列的数据存储方法及系统。
背景技术
磁盘阵列(Redundant Arrays of Inexpensive Disks,RAID)是数据保护及数据安全领域的一种新型的核心技术和热点问题,致力于提供大容量、高速度、可恢复的数据保护技术,是目前最常用的海量数据存储系统的解决方案。
现有的较为常用的磁盘阵列模式分为RAID 0~RAID 7,9种主要的规范,分别根据各自的特点侧重于不同的数据保护及数据安全要求。
RAID 0是连续以位或字节为单位对数据进行分割,并行读/写于多个磁盘上,具有较高的数据传输率,但由于没有数据冗余,不能算是真正的RAID结构。RAID 0只是单纯地提高性能,并没有为数据的可靠性提供保证,而且其中的一个磁盘失效将影响到所有数据。
RAID 1是通过磁盘数据镜像实现数据冗余,在成对的独立磁盘上产生互为备份的数据。当原始数据繁忙时,可直接从镜像拷贝中读取数据,因此RAID 1可以提高读取性能,提供了很高的数据安全性和可用性,但是单位成本最高。当一个磁盘失效时,系统可以自动切换到镜像磁盘上读写,而不需要重组失效的数据。
RAID 0+1也被称为RAID 10标准,实际是将RAID 0和RAID 1标准结合的产物,在连续地以位或字节为单位分割数据并且并行读/写多个磁盘的同时,为每一块磁盘作磁盘镜像进行冗余。优点是同时拥有RAID 0的超凡速度和RAID 1的数据高可靠性,但是CPU占用率同样也更高,而且磁盘的利用率比较低。
RAID 2是将数据条块化地分布于不同的硬盘上,条块单位为位或字节,并使用称为“加重平均纠错码(海明码)”的编码技术来提供错误检查及恢复,但这种编码技术需要多个磁盘存放检查及恢复信息,因此RAID 2技术实施更复杂。
RAID 3同RAID 2非常类似,都是将数据条块化分布于不同的硬盘上,区别在于RAID 3使用简单的奇偶校验,并用单块磁盘存放奇偶校验信息。如果一块磁盘失效,奇偶校验盘及其他数据盘可以重新产生数据;如果奇偶盘失效则不影响数据使用。RAID 3对于大量的连续数据可提供很好的传输率,但对于随机数据来说,奇偶盘会成为写操作的瓶颈。
RAID 4同样也将数据条块化并分布于不同的磁盘上,但条块单位为块或记录,并使用一块磁盘作为奇偶校验盘,每次写操作都需要访问奇偶盘,因此奇偶校验盘成为了写操作的瓶颈。
RAID 5并不单独指定奇偶校验盘,而是在所有磁盘上交叉地存取数据及奇偶校验信息,读/写指针可同时对阵列设备进行操作,提供了更高的数据流量。对于RAID 5来说,大部分数据传输只对一块磁盘操作,并可进行并行操作。在RAID 5中存在“写损失”,即每一次写操作将产生四个实际的读/写操作,其中两次读旧的数据及奇偶信息,两次写新的数据及奇偶信息。
RAID 6与RAID 5相比,增加了第二个独立的奇偶校验信息块。两个独立的奇偶校验系统使用不同的算法,数据的可靠性非常高,即使两块磁盘同时失效也不会影响数据的使用。但需要分配给奇偶校验信息更大的磁盘空间,相对于RAID 5有更大的“写损失”,因此“写性能”非常差。
RAID 7是一种较新的RAID标准,其自身带有智能化实时操作系统和用于存储管理的软件工具,可完全独立于主机运行,不占用主机CPU资源,因此可以看作是一种存储计算机(Storage Computer),与其他RAID标准有明显区别。
除了以上的各种标准,还可以如RAID 0+1那样结合多种RAID规范来构筑所需的RAID阵列,例如RAID 5+3(RAID 53)就是一种应用较为广泛的阵列形式。
虽然磁盘阵列具有多种RAID等级供用户选择,可以满足不同场景的不同需要,但是,正因为模式过多,也为用户的选择增加了困难,用户无法直观的、有可靠依据的选择最合适的磁盘阵列RAID等级,大多数只能依靠经验进行判断,一旦出现误判,对数据及成本都会造成巨大的损失。
发明内容
(一)要解决的技术问题
本发明所要解决的技术问题是:如何提供一种可直观、合理、且数字化地进行磁盘阵列模式选择的基于磁盘阵列的数据存储方法及系统。
(二)技术方案
为解决上述问题,本发明提供了一种基于磁盘阵列的数据存储方法,该方法包括步骤:
S1.利用统计学方法,分析不同磁盘阵列模式的特性,获得统计数据,对不同磁盘阵列模式的安全性、传输速率及空间利用率进行数字化分级;
S2.对将要存储的数据按照项目要求以及需求分析的要求进行分析;
S3.根据步骤S1得出的磁盘阵列模式数字化分级标准和步骤S2得出的数据要求,选择磁盘阵列模式;
S4.将要存储的数据按照选择的磁盘阵列模式存储。
其中,步骤S1进一步包括:
S11.分析不同磁盘阵列模式的安全性特性,统计不同磁盘阵列模式的磁盘阵列的最长无故障运行时间、故障恢复所需时间以及故障恢复所需资源,并按照统计结果进行数字化分级;
S12.分析不同磁盘阵列模式的传输速率特性,对三类数据文件分别进行多次读取和写入操作,记录每次所消耗的时间,对每类数据的读取时间和写入时间分别求取平均值,之后对每类数据的三种数据类型读取和写入时间进行加权运算,获得唯一的统计结果,并按照统计结果进行数字化分级;
S13.分析不同磁盘阵列模式的空间利用率特性,记录在对同一磁盘阵列或同一标准大小的磁盘阵列建立不同磁盘阵列模式情况后,磁盘阵列可被用户使用的空间占总体空间的比例,并按照统计结果进行数字化分级。
其中,步骤S2中的需求分析包括:使用频率、安全性要求、生命周期、以及访问速度分析。
其中,步骤S2进一步包括:
S21.根据项目要求以及需求分析,分析出数据在使用频率方面的要求,包括数据的读/写次数要求、被访问几率要求、被访问频率信息要求;
S22.根据项目要求以及需求分析,分析出数据在安全能力方面的要求,包括数据的重要程度要求、是否需要安全保护要求、是否需求数据备份及是否需要数据恢复信息要求;
S23.根据项目要求以及需求分析,分析出数据在生命周期方面的要求,包括数据的生命周期长短要求、更新频率信息要求;
S24.根据项目要求以及需求分析,分析出数据在访问速度方面的要求,包括数据的读速度要求、写速度要求。
其中,步骤S3进一步包括:
S31.依据所述步骤S2的安全性要求分析,选择所述步骤S1中的安全性分级中的两种;
S32.依据所述步骤S2的访问速度和使用频率要求分析,选择所述步骤S1的传输速率分级中的两种;
S33.依据所述步骤S2得出的生命周期和使用频率要求分析,选择所述步骤S1的空间利用率分级中的两种分值;
S34.选择安全性分级、传输速率分级及生命周期分级三项同时符合数据要求的磁盘阵列模式。
其中,在步骤S31-S34中,均可选择2或3个连续的分级。
其中,在步骤S34中,若出现多个磁盘阵列模式均满足要求或均不满足要求的情况,则根据数据的特性比重增加或减少分级的选择数量。
本发明还提供了一种基于磁盘阵列的数据存储系统,该系统包括:模式分析模块,用于利用统计学方法,分析不同磁盘阵列模式的特性,获得统计数据,对不同磁盘阵列模式的安全性、传输速率及空间利用率进行数字化分级;数据分析模块,用于对将要存储的数据按照项目要求以及需求分析的要求进行分析;选择模块,用于根据模式分析模块得出的磁盘阵列模式数字化分级标准和数据分析模块得出的数据要求,选择磁盘阵列模式;存储模块,用于将要存储的数据按照选择模块选择的磁盘阵列模式存储。
(三)有益效果
本发明的方法及系统可直观、合理、且数字化地进行磁盘阵列模式选,为用户根据自身的需求选择合适的磁盘阵列RAID模式提供了技术及理论支持,也为对已用的磁盘阵列提供评估标准。
附图说明
图1为依照本发明一种实施方式的基于磁盘阵列的数据存储方法。
具体实施方式
对于本发明所提出的基于磁盘阵列的数据存储方法及系统,结合附图和实施例详细说明。
本发明是用于选择合理的RAID模式进行数据存储的一种直观的、合理的、数字化的新方法及系统。由于RAID模式规范较多,差异性较大,多依靠经验进行选择,对技能要求较高且容易造成误判,本发明考虑将多种RAID模式规范进行数字化评分,并提出一套合理的数据分析标准,利用数据分析结构采用合理算法得出可选RAID模式进行数据存储。本发明分两个阶段进行,第一个阶段是针对RAID模式规范进行分析,对比优势及缺点,对RAID模式的安全性、传输速率及空间利用率进行合理的数字化评分,同时对数据本身进行分析,得出数据在安全性、可靠性、速度、空间等方面的要求,最终完成数字化评分;第二个阶段是分析实际数据需求,与数据特征对应将数据要求与RAID数字化评分相关联,依据数据特性选择符合要求的RAID模式评分,最终选择三项评分均满足需求的一种RAID模式。
如图1所示,依照本发明一种实施方式的直观、合理、数字化的磁盘阵列模式选择方法,包括如下步骤:
S1.利用工具及统计学方法,分析不同RAID模式的特性,对比优势及缺点,对RAID模式的安全性、传输速率及空间利用率进行合理的数字化分级;
S2.对将要存储在RAID中的数据按照项目要求说明书、需求分析文档的基本要求进行分析,包括使用频率、安全性要求、生命周期、以及访问速度;
S3.利用步骤S1得出的RAID模式评分标准和步骤S2得出的数据详细分析,选择比较恰当的RAID模式;
S4.根据步骤S3选择的RAID模式存储要存储的数据。
其中,步骤S1进一步包括:
S11、以多种RAID模式的规范标准为基础,分别单独建立RAID0至RAID6等7种RAID模式,在不附加其他单独的数据安全保护模块情况下,利用不同RAID模式自身特有的安全保护能力,采用标准化程序以对磁盘阵列中的数据进行高速存取访问为基本操作,通过统计不同RAID模式的磁盘阵列在此情形下的“最长无故障运行时间”、“故障恢复所需时间”以及“故障恢复所需资源(包括硬件损耗、人力资源消耗以及数据损坏程度等)”,分析多种RAID模式的安全性特性,并进行数字化分级,分级从1开始,1表示最低的安全性能,即“最长无故障运行时间”最长、“故障恢复所需时间”最高、“故障恢复所需资源”最高,其他RAID模式按照与1的差别分别进行评分,标准为以“最长无故障运行时间”为最高优先级别,逐次递减,以“故障恢复所需时间”为第二优先级别,逐次递增,以“故障恢复所需资源”为第三优先级别,逐次递增,其中,1/2两级表示低甚至无安全保障;3/4/5三级表示中等安全保障,能通过技术手段,一定程度保证数据的安全;6/7两级表示最高等级安全保证,能通过技术手段,最大限度保证数据的安全。如表1所示;
表1 RAID等级安全性评价表
Figure BSA00000382942900071
S12、以多种RAID模式的规范标准为基础,分别单独建立RAID0至RAID6等7种RAID模式,在不附加其他单独的相关模块情况下,利用不同RAID模式自身特有的数据访问能力,采用标准化程序对不同RAID模式的磁盘阵列中的数据进行高速存取访问。数据采用三种类别,第一种数据为单一数据文件并且数据文件大小大于等于磁盘阵列空间大小的千分之一,并标记为A,第二种为多个小于等于百兆单位的数据文件并且总数据文件大小大于等于磁盘阵列空间大小的千分之一,并标记为B,第三种数据为单一数据文件并且数据文件大小小于等于百兆单位,并标记为C。对这三类数据文件分别进行多次读取和写入操作,记录每次所消耗的时间,最终对每类数据的读取时间和写入时间分别求取平均值,之后对每类数据的三种数据类型读取和写入时间进行加权运算,获得唯一的统计结果,分析多种RAID模式的传输速率特性,并进行数字化分级,分级从1开始,1表示具有最快的读取/写入平均传输速率,其他RAID模式按照与1的差别分别进行评分,其中,1/2两级读/写速度无差异且平均速度最快;3/4两级平均速度中等,但均有一定程度的“写损失”;5/6两级平均速度较低,并且“写损失”严重,仅适合高速读取。如表2所示;
表2 RAID等级传输速率评价表
Figure BSA00000382942900081
S13、以多种RAID模式的规范标准为基础,分别单独建立RAID0至RAID6等7种RAID模式,在不附加其他单独的相关模块情况下,利用不同RAID模式自身特有的能力,对磁盘阵列空间进行规划。记录在对同一磁盘阵列或同一标准大小的磁盘阵列建立不同RAID模式情况后,磁盘阵列可被用户使用的空间占总体空间的比例,分析多种RAID模式的空间利用率特性,并进行数字化评分,评分从1开始,1表示最差的空间利用率,其他RAID模式按照与1的差别分别进行评分,其中,1等级表示空间利用率最低,仅保证50%的空间利用;2/3/4三级表示由于技术的要求,有相当程度的空间损失,但可用空间比例占75%左右;5等级表示空间利用率最高,保证100%的空间利用。如表3所示;
表3 RAID等级空间利用率评价表
Figure BSA00000382942900091
步骤S2进一步包括:
S21、对数据的使用频率要求进行分析,以同类型数据行业内部公用标准为基础,根据产品的项目说明书及需要分析文档相关要求,了解不同种类数据在使用频率方面的特性要求,包括数据的读/写次数、被访问几率、被访问频率等要求;
S22、对数据的安全性要求进行分析,以同类型数据行业内部公用标准为基础,根据产品的项目说明书及需要分析文档相关要求,了解不同种类数据在安全能力方面的特性要求,包括数据的重要程度、是否需要安全保护、是否需求数据备份及是否需要数据恢复等要求;
S23、对数据的生命周期要求进行分析,以同类型数据行业内部公用标准为基础,根据产品的项目说明书及需要分析文档相关要求,了解不同种类数据在生命周期方面的特性要求,包括数据的生命周期长短、更新频率等要求;
S24、对数据的访问速度要求进行分析,以同类型数据行业内部公用标准为基础,根据产品的项目说明书及需要分析文档相关要求,了解不同种类数据在访问速度方面的特性要求,包括数据的读速度要求、写速度要求等要求。
步骤S3进一步包括:
S31、依据步骤S2得出的数据详细分析中的安全性特性选择步骤S1得出的RAID模式评分标准中的安全性分级,可选择2或3个连续的基本符合要求的分级;
S32、依据步骤S2得出的数据需求分析中的访问速度和使用频率特性要求选择步骤S1得出的RAID模式评分标准中的传输速率分级,可选择2或3个连续的基本符合要求的分级;
S33、依据步骤S2得出的数据需求分析中的生命周期和使用频率特性要求选择步骤S1得出的RAID模式评分标准中的空间利用率分级,可选择2或3个连续的基本符合要求的分级;
S34、将安全性分值、传输速率分值及生命周期分级三项同时符合数据要求的RAID模式作为此数据的磁盘阵列选择,如果出现多个磁盘阵列均满足要求或均不满足要求的情况,则根据数据的特性比重增加或减少分值的选择数量,直到符合要求为止。
本发明还提供了一种基于磁盘阵列的数据存储系统,该系统包括:模式分析模块,用于分析不同磁盘阵列模式的特性,对不同磁盘阵列模式的安全性、传输速率及空间利用率进行数字化分级;数据分析模块,用于对将要存储的数据按照项目要求说明书、需求分析文档的基本要求进行分析;选择模块,用于利用模式分析模块得出的磁盘阵列模式数字化分级标准和数据分析模块得出的数据要求,选择磁盘阵列模式;存储模块,用于将要存储的数据按照选择模块选择的磁盘阵列模式存储。
实施例
以下通过具体的实施例来进一步说明本发明的技术方案。本实施例的方法包括如下步骤:
S1、利用工具及统计学方法,分析不同RAID模式的特性,对比优势及缺点,对RAID模式的安全性、传输速率及空间利用率进行合理的数字化分级;
步骤S1中包括以下子步骤:
S11、以多种RAID模式的规范标准为基础,分别单独建立RAID0至RAID6等7种RAID模式,在不附加其他单独的数据安全保护模块情况下,利用不同RAID模式自身特有的安全保护能力,采用标准化程序以对磁盘阵列中的数据进行高速存取访问为基本操作,通过统计不同RAID模式的磁盘阵列在此情形下的“最长无故障运行时间”、“故障恢复所需时间”以及“故障恢复所需资源(包括硬件损耗、人力资源消耗以及数据损坏程度等)”,分析多种RAID模式的安全性特性,并进行数字化分级,分级从1开始,1表示最低的安全性能,其他RAID模式按照与1的差别分别进行分级,标准为以“最长无故障运行时间”为最高优先级别,逐次递减,以“故障恢复所需时间”为第二优先级别,逐次递增,以“故障恢复所需资源”为第三优先级别,逐次递增,如上表1所示;
S12、以多种RAID模式的规范标准为基础,分别单独建立RAID0至RAID6等7种RAID模式,在不附加其他单独的相关模块情况下,利用不同RAID模式自身特有的数据访问能力,采用标准化程序对不同RAID模式的磁盘阵列中的数据进行高速存取访问。数据采用三种类别,第一种数据为单一数据文件并且数据文件大小大于等于磁盘阵列空间大小的千分之一,并标记为A,第二种为多个小于等于百兆单位的数据文件并且总数据文件大小大于等于磁盘阵列空间大小的千分之一,并标记为B,第三种数据为单一数据文件并且数据文件大小小于等于百兆单位,并标记为C。对这三类数据文件分别进行多次读取和写入操作,记录每次所消耗的时间,最终对每类数据的读取时间和写入时间分别统计求取平均值,之后对每类数据的三种数据类型读取和写入时间进行加权运算,获得唯一的统计结果表示此类磁盘阵列RAID模式的平均读写速度,分析多种RAID模式的传输速率特性,并进行数字化分级,分级从1开始,1表示最快的传输速率,其他RAID模式按照与1的差别分别进行分级,如上表2所示;
S13、以多种RAID模式的规范标准为基础,分别单独建立RAID0至RAID6等7种RAID模式,在不附加其他单独的相关模块情况下,利用不同RAID模式自身特有的能力,对磁盘阵列空间进行规划。记录在对同一磁盘阵列或同一标准大小的磁盘阵列建立不同RAID模式情况后,磁盘阵列可被用户使用的空间占总体空间的比例,分析多种RAID模式的空间利用率特性,并进行数字化分级,分级从1开始,1表示最差的空间利用率,其他RAID模式按照与1的差别分别进行分级,如上表3所示;
S2、对将要管理及存储的数据进行整理分析,获得具体的数据种类,某项目需要四类数据,包括日志类数据、缓存及临时文件数据、一般数据和关键数据,对该四种数据按照项目要求说明书及需求分析文档的相关要求,结合同类型数据行业内容公用标准进行需求分析,,包括使用频率、安全性要求、生命周期、访问速度;
步骤S2中包括以下子步骤:
S21、对数据的使用频率要求进行分析,以同类型数据行业内部公用标准为基础,根据产品的项目说明书及需要分析文档相关要求,了解不同种类数据在使用频率方面的特性,包括数据的读/写次数、被访问几率、被访问频率等信息,如表4所示;
表4数据使用频率分类表
Figure BSA00000382942900131
S22、对数据的安全性要求进行分析,以同类型数据行业内部公用标准为基础,根据产品的项目说明书及需要分析文档相关要求,了解不同种类数据在安全能力方面的特性,包括数据的重要程度、是否需要安全保护、是否需求数据备份及是否需要数据恢复等信息,如表5所示;
表5数据安全性分类表
S23、对数据的生命周期要求进行分析,以同类型数据行业内部公用标准为基础,根据产品的项目说明书及需要分析文档相关要求,了解不同种类数据在生命周期方面的特性,包括数据的生命周期长短、更新频率等信息,如表6所示;
表6数据生命周期分类表
Figure BSA00000382942900141
S24、对数据的访问速度要求进行分析,以同类型数据行业内部公用标准为基础,根据产品的项目说明书及需要分析文档相关要求,了解不同种类数据在访问速度方面的特性,包括数据的读速度要求、写速度要求等信息,如表7所示。
表7数据访问速度分类表
Figure BSA00000382942900142
S3、利用RAID模式评分标准和步骤S2得出的数据要求,选择比较恰当的磁盘阵列RAID模式。
步骤S3中包括以下子步骤:
S31、依据步骤S2得出的数据要求中的安全性特性选择RAID模式分级标准中的安全性分级,可选择2或3个连续的基本符合要求的分级,如表8所示;
表8数据安全性特性选择表
Figure BSA00000382942900151
S32、依据步骤S2得出的数据要求中的访问速度和使用频率特性选择RAID模式分级标准中的传输速率分级,可选择2或3个连续的基本符合要求的分级,如表9所示;
表19数据传输速率特性选择表
Figure BSA00000382942900152
S33、依据步骤S2得出的数据要求中的生命周期和使用频率特性选择RAID模式分级标准中的空间利用率分级,可选择2或3个连续的基本符合要求的分级,如表10所示;
表10数据空间利用率特性选择表
Figure BSA00000382942900161
S34、将安全性分级、传输速率分级及生命周期分级三项同时符合数据要求的磁盘阵列RAID模式作为此数据的磁盘阵列选择,日志类数据三项特性全部满足的磁盘阵列模式为RAID1,缓存及临时类数据三项特性全部满足的磁盘阵列模式为RAID0,一般类数据三项特向全部满足的磁盘阵列模式为RAID5。由于关键类数据没有三项特性全部满足的磁盘阵列模式,考虑到关键数据在安全性方面的比重较高,所以将安全性特性的评分扩大为5/6/7,则RAID5为三项特性全部满足的磁盘阵列模式。
S4.根据步骤S3的选择存储数据。
以上实施方式仅用于说明本发明,而并非对本发明的限制,有关技术领域的普通技术人员,在不脱离本发明的精神和范围的情况下,还可以做出各种变化和变型,因此所有等同的技术方案也属于本发明的范畴,本发明的专利保护范围应由权利要求限定。

Claims (8)

1.一种基于磁盘阵列的数据存储方法,其特征在于,该方法包括步骤:
S1.利用统计学方法,分析不同磁盘阵列模式的特性,获得统计数据,对不同磁盘阵列模式的安全性、传输速率及空间利用率进行数字化分级;
S2.对将要存储的数据按照项目要求以及需求分析的要求进行分析;
S3.根据步骤S1得出的磁盘阵列模式数字化分级标准和步骤S2得出的数据要求,选择磁盘阵列模式;
S4.将要存储的数据按照选择的磁盘阵列模式存储。
2.如权利要求1所述的基于磁盘阵列的数据存储方法,其特征在于,步骤S1进一步包括:
S11.分析不同磁盘阵列模式的安全性特性,统计不同磁盘阵列模式的磁盘阵列的最长无故障运行时间、故障恢复所需时间以及故障恢复所需资源,并按照统计结果进行数字化分级;
S12.分析不同磁盘阵列模式的传输速率特性,对三类数据文件分别进行多次读取和写入操作,记录每次所消耗的时间,对每类数据的读取时间和写入时间分别求取平均值,之后对每类数据的三种数据类型读取和写入时间进行加权运算,获得唯一的统计结果,并按照统计结果进行数字化分级;
S13.分析不同磁盘阵列模式的空间利用率特性,记录在对同一磁盘阵列或同一标准大小的磁盘阵列建立不同磁盘阵列模式情况后,磁盘阵列可被用户使用的空间占总体空间的比例,并按照统计结果进行数字化分级。
3.如权利要求2所述的基于磁盘阵列的数据存储方法,其特征在于,步骤S2中的需求分析包括:使用频率、安全性要求、生命周期、以及访问速度分析。
4.如权利要求3所述的基于磁盘阵列的数据存储方法,其特征在于,步骤S2进一步包括:
S21.根据项目要求以及需求分析,分析出数据在使用频率方面的要求,包括数据的读/写次数要求、被访问几率要求、被访问频率信息要求;
S22.根据项目要求以及需求分析,分析出数据在安全能力方面的要求,包括数据的重要程度要求、是否需要安全保护要求、是否需求数据备份及是否需要数据恢复信息要求;
S23.根据项目要求以及需求分析,分析出数据在生命周期方面的要求,包括数据的生命周期长短要求、更新频率信息要求;
S24.根据项目要求以及需求分析,分析出数据在访问速度方面的要求,包括数据的读速度要求、写速度要求。
5.如权利要求4所述的基于磁盘阵列的数据存储方法,其特征在于,步骤S3进一步包括:
S31.依据所述步骤S2的安全性要求分析,选择所述步骤S1中的安全性分级中的两种;
S32.依据所述步骤S2的访问速度和使用频率要求分析,选择所述步骤S1的传输速率分级中的两种;
S33.依据所述步骤S2得出的生命周期和使用频率要求分析,选择所述步骤S1的空间利用率分级中的两种分值;
S34.选择安全性分级、传输速率分级及生命周期分级三项同时符合数据要求的磁盘阵列模式。
6.如权利要求5所述的基于磁盘阵列的数据存储方法,其特征在于,在步骤S31-S34中,均可选择2或3个连续的分级。
7.如权利要求5所述的基于磁盘阵列的数据存储方法,其特征在于,在步骤S34中,若出现多个磁盘阵列模式均满足要求或均不满足要求的情况,则根据数据的特性比重增加或减少分级的选择数量。
8.一种基于磁盘阵列的数据存储系统,其特征在于,该系统包括:
模式分析模块,用于利用统计学方法,分析不同磁盘阵列模式的特性,获得统计数据,对不同磁盘阵列模式的安全性、传输速率及空间利用率进行数字化分级;
数据分析模块,用于对将要存储的数据按照项目要求以及需求分析的要求进行分析;
选择模块,用于根据模式分析模块得出的磁盘阵列模式数字化分级标准和数据分析模块得出的数据要求,选择磁盘阵列模式;
存储模块,用于将要存储的数据按照选择模块选择的磁盘阵列模式存储。
CN 201010584085 2010-12-07 2010-12-07 基于磁盘阵列的数据存储方法及系统 Active CN102033717B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN 201010584085 CN102033717B (zh) 2010-12-07 2010-12-07 基于磁盘阵列的数据存储方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN 201010584085 CN102033717B (zh) 2010-12-07 2010-12-07 基于磁盘阵列的数据存储方法及系统

Publications (2)

Publication Number Publication Date
CN102033717A true CN102033717A (zh) 2011-04-27
CN102033717B CN102033717B (zh) 2013-05-08

Family

ID=43886669

Family Applications (1)

Application Number Title Priority Date Filing Date
CN 201010584085 Active CN102033717B (zh) 2010-12-07 2010-12-07 基于磁盘阵列的数据存储方法及系统

Country Status (1)

Country Link
CN (1) CN102033717B (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102999401A (zh) * 2012-11-30 2013-03-27 华为技术有限公司 一种平均备份数据的方法和装置
CN107122126A (zh) * 2016-12-22 2017-09-01 华为技术有限公司 数据的迁移方法、装置和系统
CN107832202A (zh) * 2017-11-06 2018-03-23 郑州云海信息技术有限公司 一种检测硬盘的方法、装置及计算机可读存储介质
CN109189333A (zh) * 2018-08-15 2019-01-11 郑州云海信息技术有限公司 一种硬盘适配的方法、装置及系统
CN109933448A (zh) * 2014-12-25 2019-06-25 华为技术有限公司 一种预测非易失性存储介质发生故障的方法及装置

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20020184442A1 (en) * 2001-05-31 2002-12-05 Veitch Alistair C. Method and apparatus for assigning raid levels
CN101414273A (zh) * 2008-11-28 2009-04-22 中国移动通信集团四川有限公司 存储系统raid冗余的数据风险评估方法
CN101454745A (zh) * 2006-05-24 2009-06-10 克姆佩棱特科技公司 用于raid管理、重新分配以及重新分段的系统和方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20020184442A1 (en) * 2001-05-31 2002-12-05 Veitch Alistair C. Method and apparatus for assigning raid levels
CN101454745A (zh) * 2006-05-24 2009-06-10 克姆佩棱特科技公司 用于raid管理、重新分配以及重新分段的系统和方法
CN101414273A (zh) * 2008-11-28 2009-04-22 中国移动通信集团四川有限公司 存储系统raid冗余的数据风险评估方法

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102999401A (zh) * 2012-11-30 2013-03-27 华为技术有限公司 一种平均备份数据的方法和装置
CN102999401B (zh) * 2012-11-30 2015-04-29 华为技术有限公司 一种平均备份数据的方法和装置
CN109933448A (zh) * 2014-12-25 2019-06-25 华为技术有限公司 一种预测非易失性存储介质发生故障的方法及装置
CN109933448B (zh) * 2014-12-25 2021-04-20 华为技术有限公司 一种预测非易失性存储介质发生故障的方法及装置
CN107122126A (zh) * 2016-12-22 2017-09-01 华为技术有限公司 数据的迁移方法、装置和系统
CN107122126B (zh) * 2016-12-22 2020-09-08 华为技术有限公司 数据的迁移方法、装置和系统
CN107832202A (zh) * 2017-11-06 2018-03-23 郑州云海信息技术有限公司 一种检测硬盘的方法、装置及计算机可读存储介质
CN109189333A (zh) * 2018-08-15 2019-01-11 郑州云海信息技术有限公司 一种硬盘适配的方法、装置及系统
CN109189333B (zh) * 2018-08-15 2021-10-15 郑州云海信息技术有限公司 一种硬盘适配的方法、装置及系统

Also Published As

Publication number Publication date
CN102033717B (zh) 2013-05-08

Similar Documents

Publication Publication Date Title
CN101566931B (zh) 虚拟磁盘驱动系统和方法
KR100974043B1 (ko) 디스크 데이터 기억 시스템의 유지보수비를 결정하기 위한주문형 비용량성 기반 방법, 장치 및 컴퓨터 프로그램
CN107250975B (zh) 数据存储系统和数据存储方法
CN107220148A (zh) 针对独立磁盘冗余阵列的重建方法和设备
CN103019887B (zh) 数据备份方法及装置
CN103339609A (zh) Raid阵列中的装置内数据保护
CN102033717B (zh) 基于磁盘阵列的数据存储方法及系统
CN103348326A (zh) Ssd环境中的适配raid
CN104205065B (zh) 用于列表数据压缩的多重分类
CN103314361A (zh) 具有动态几何的raid阵列中的重构读取
CN101770413B (zh) 冗余磁盘阵列重建的方法及设备
CN101556802B (zh) 一种raid阵列转换的方法及装置
CN102184079B (zh) 一种raid5级别磁盘阵列的写性能优化方法
US20170083244A1 (en) Mitigating the impact of a single point of failure in an object store
CN105302665A (zh) 一种改进的写时拷贝快照方法及系统
CN100478865C (zh) 虚拟磁盘驱动系统和方法
CN109196458B (zh) 存储系统可用容量计算方法及装置
CN104484135A (zh) 一种快速数据读取方法及装置
CN102207893B (zh) 廉价磁盘冗余阵列的管理设备和方法
CN102147714A (zh) 一种网络存储系统的管理方法及装置
CN103177085A (zh) 一种检查点操作方法及装置
CN106997277B (zh) 高效利用回收的存储空间的方法及装置
US20200363958A1 (en) Efficient recovery of resilient spaces
CN116069266B (zh) 磁盘漫游控制方法、装置、设备及计算机可读存储介质
CN101149946B (zh) 一种处理流媒体数据的方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant