CN106933515A - 一种兼顾读写速度与数据安全的磁盘raid冗余方法 - Google Patents

一种兼顾读写速度与数据安全的磁盘raid冗余方法 Download PDF

Info

Publication number
CN106933515A
CN106933515A CN201710153164.1A CN201710153164A CN106933515A CN 106933515 A CN106933515 A CN 106933515A CN 201710153164 A CN201710153164 A CN 201710153164A CN 106933515 A CN106933515 A CN 106933515A
Authority
CN
China
Prior art keywords
disk
data
redundancy
raid
data block
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201710153164.1A
Other languages
English (en)
Inventor
马国良
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhengzhou Yunhai Information Technology Co Ltd
Original Assignee
Zhengzhou Yunhai Information Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhengzhou Yunhai Information Technology Co Ltd filed Critical Zhengzhou Yunhai Information Technology Co Ltd
Priority to CN201710153164.1A priority Critical patent/CN106933515A/zh
Publication of CN106933515A publication Critical patent/CN106933515A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0602—Interfaces specially adapted for storage systems specifically adapted to achieve a particular effect
    • G06F3/061—Improving I/O performance
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0602—Interfaces specially adapted for storage systems specifically adapted to achieve a particular effect
    • G06F3/0614—Improving the reliability of storage systems
    • G06F3/0619—Improving the reliability of storage systems in relation to data integrity, e.g. data losses, bit errors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0628—Interfaces specially adapted for storage systems making use of a particular technique
    • G06F3/0629—Configuration or reconfiguration of storage systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0668—Interfaces specially adapted for storage systems adopting a particular infrastructure
    • G06F3/0671—In-line storage system
    • G06F3/0683—Plurality of storage devices
    • G06F3/0689—Disk arrays, e.g. RAID, JBOD

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Security & Cryptography (AREA)
  • Techniques For Improving Reliability Of Storages (AREA)

Abstract

本发明提供一种兼顾读写速度与数据安全的磁盘RAID冗余方法，涉及RAID系统设计技术，本发明包括：1）数据冗余机制；2）磁盘损坏后数据的处理；3）新添加磁盘后的冗余处理。数据被分隔成固定大小分布式存放在各磁盘，提高磁盘读写速度。在不同磁盘上实现冗余并且当其中磁盘损坏后数据会在剩余磁盘上重新建立冗余。

Description

一种兼顾读写速度与数据安全的磁盘RAID冗余方法
技术领域
本发明涉及RAID系统设计技术，尤其涉及一种兼顾读写速度与数据安全的磁盘RAID冗余方法。
背景技术
目前基于硬件的磁盘RAID技术一般常用的分别是RAID 0、RAID1、RAID 2、RAID 3、RAID 4以及RAID 5，再加上二合一型 RAID 0+1﹝或称RAID 10﹞。以上RAID各有优缺点。
RAID 0数据在磁盘间条带化分布，对数据的读写性能都有了很大的提升，但不提供冗余能力，至少要求两块磁盘，损坏一块盘不影响数据安全，但损坏两块盘可能造成数据丢失。
RAID 1是两块磁盘之间做镜像具有冗余能力，当磁盘中的一块坏掉后不会损失任何数据，对数据写入的性能下降，空间的利用率低，仅有1/2。
RAID 4采用校验技术,有一个特定的磁盘作为数据的完全存储，其他的磁盘采用条带技术，对数据的读写性能都有提高并且磁盘利用率高，磁盘损坏一个或者是校验盘损坏也不会造成数据的流失，但是校验码盘访问量大的性能很大程度的牵制着整个磁盘阵列的性能校验码盘很有可能会成为性能的瓶颈，并且修复损坏磁盘的数据的需要遍历整个阵列，修复慢，性能损失大，至少三块盘。
RAID 5采用校验技术，与RAID 4不同的是每个磁盘都是校验盘，轮替的当做校验盘的功能，降低了对单个磁盘的巨大的访问量，使其读写性能在RAID4 的基础上又了提高；与RAID4相同磁盘的损坏个数只能有一个，校验盘损坏也不会造成数据的流失，都可以重新计算。修复损坏磁盘的数据的需要遍历整个阵列，修复慢，性能损失大，相对RAID4有改善，至少三块盘。
RAID01对数据的读写有提升，并且对数据具有冗余能力,同组的盘损坏也不会影响数据的损坏。损坏一个盘时，全部的盘都会被牵制，因为两个镜像的条带的方式可能不同对应的盘数据即不相同，需要变量整个镜像盘才能修复坏掉的盘, 损坏两块盘可能造成数据丢失。空间利用率低仅有1/2，至少四块磁盘。
发明内容
为了解决以上问题，本发明提出了一种兼顾读写速度与数据安全的磁盘RAID冗余方法。在磁盘损坏后数据在正常磁盘间重新构建冗余，提高磁盘读写速度。
一种兼顾读写速度与数据安全的磁盘RAID冗余方法，包括：
1）数据冗余机制；
2）磁盘损坏后数据的处理；
3）新添加磁盘后的冗余处理；
数据被分隔成固定大小分布式存放在各磁盘，提高磁盘读写速度；在不同磁盘上实现冗余并且当其中磁盘损坏后数据会在剩余磁盘上重新建立冗余。
本发明是一种磁盘RAID冗余技术，数据被分隔成固定大小分布式存放在各磁盘，提高磁盘读写速度；每份数据在不同磁盘间提供两份冗余，任何一块磁盘损坏不影响数据安全性；当其中一块磁盘损坏后，根据冗余在剩余磁盘上重新构建损坏磁盘上的数据形成新的数据冗余，构建完毕后每份数据在不同磁盘间提供两份冗余，当磁盘再有损坏时按此方法重新构建冗余直到剩余一块磁盘或剩余磁盘无法存放所有数据冗余，根据空间实际使用情况不同可以损坏1~(N-1)块磁盘（N为磁盘总数）。
1）数据冗余机制
数据可以按128K、256K、512K等大小进行等分，称之为RAID数据块，具体使用哪种大小进行划分可在对磁盘做RAID配置的时候进行选择。数据被分成若干RAID数据块后，这些RAID数据块基本以随机方式被分配到所有磁盘上存储，分配原则会使各磁盘使用率基本一致。每个RAID数据块还会有一个冗余数据块即每个RAID数据块的副本，RAID数据块及副本会被存储在不同磁盘上，任何一块磁盘损坏至少系统中还有一个RAID数据块的冗余，不影响数据完整性可正常读写。不同的读写请求所需要的RAID数据块可能落在不同的磁盘上，也就提高了磁盘的读写能力。
2）磁盘损坏后数据的处理
当某块磁盘损坏后,因为RAID数据块的冗余依然存在,所以不影响数据的正常读写。发现有磁盘损坏后，已损坏磁盘上的RAID数据块在其它剩余磁盘上还有RAID数据块冗余，根据RAID数据块的冗余在其它剩余磁盘上重新构建损坏磁盘上的数据，构建完毕后每份RAID数据块在不同磁盘上又重新形成了冗余，保证了再有磁盘损坏时不丢失数据。由于剩余磁盘分担了损坏磁盘上的数据，所以剩余磁盘的使用量会增加。
3）、新添加磁盘后的冗余处理
当向系统中添加新磁盘时，各磁盘上的RAID数据块会被重新分配，分配原则：各磁盘使用量基本相同，每个RAID数据块及其冗余被分配到不同的磁盘上。由于新增磁盘会存放RAID数据块，所以每块磁盘的使用量会减小。
本发明的有益效果是
1）、较高的磁盘读写速度
本专利是一种磁盘RAID冗余技术，数据被分隔成固定大小分布式存放在各磁盘，对数据的读写请求可能落在不同的磁盘上，提高磁盘读写速度。
2）、有效保证数据安全
数据可以按128K、256K、512K等固定大小进行等分，称之为RAID数据块，每份RAID数据及其冗余分别存放在不同磁盘上，任何一块磁盘损坏不影响数据安全性。
3）、更优的磁盘损坏策略
当其中一块磁盘损坏后，根据冗余在剩余磁盘上重新构建损坏磁盘上的数据形成新的数据冗余，构建完毕后每份数据在不同磁盘间提供两份冗余，当磁盘再有损坏时按此方法重新构建冗余直到剩余一块磁盘或剩余磁盘无法存放所有数据冗余，根据空间实际使用情况不同可以损坏1~(N-1)块磁盘（N为磁盘总数）。
附图说明
图1是数据冗余示意图；
图2是磁盘损坏后数据的处理示意图；
图3是新添加磁盘后的冗余处理示意图。
具体实施方式
下面根据附图对本发明的内容进行更加详细的阐述：
图1为数据冗余分布图，图中所示每个方框为一个RAID数据块，每个RAID数据块及其冗余分别存放在不同磁盘上。如RAID数据块A存放在DISK1上，它的冗余存放在DISK2上。如RAID数据块Y存放在DISK2上，它的冗余存放在DISK3上。
图2为磁盘损坏后数据的处理示意图，损坏磁盘上的数据会在剩余磁盘上进行重新构建。RAID数据块C及其冗余分别存放在DISK1和DISK3上，当DISK3损坏后，由于C在DISK1上的RAID数据块状态正常，所以不影响数据的正常访问。RAID数据块C的冗余被重新构建后存储到DISK2上，这样每个RAID数据块都有了新的冗余存储在不同磁盘上。DISK3损坏后，存储在DISK3上的数据重新在DISK1和DISK2上构建，DISK1和DISK2的使用量相应的增加。
图3为新添加磁盘后RAID数据块的冗余处理过程。新增加磁盘DISK3，DISK1和DISK2上的RAID数据块会被重新在DISK1、DISK2和DISK3上分配，每个RAID数据块和它的冗余被分配到不同磁盘上。
本发明中，数据以块的方式在不同磁盘上实现冗余并且当其中磁盘损坏后数据会在剩余磁盘上重新建立冗余的机制。

Claims (5)

1.一种兼顾读写速度与数据安全的磁盘RAID冗余方法，其特征在于，包括：
1）数据冗余机制；
2）磁盘损坏后数据的处理；
3）新添加磁盘后的冗余处理；
数据被分隔成固定大小分布式存放在各磁盘，提高磁盘读写速度；在不同磁盘上实现冗余并且当其中磁盘损坏后数据会在剩余磁盘上重新建立冗余。
2.根据权利要求1所述的方法，其特征在于，
数据被分隔成固定大小分布式存放在各磁盘；每份数据在不同磁盘间提供两份冗余；当其中一块磁盘损坏后，根据冗余在剩余磁盘上重新构建损坏磁盘上的数据形成新的数据冗余，构建完毕后每份数据在不同磁盘间提供两份冗余，当磁盘再有损坏时按此方式重新构建冗余直到剩余一块磁盘或剩余磁盘无法存放所有数据冗余，根据空间实际使用情况不同可以损坏1~(N-1)块磁盘，其中N为磁盘总数。
3.根据权利要求2所述的方法，其特征在于，
1）数据冗余机制
数据按128K、256K、512K进行等分，称之为RAID数据块，数据被分成数个RAID数据块后，这些RAID数据块以随机方式被分配到所有磁盘上存储，分配原则会使各磁盘使用率一致；每个RAID数据块还会有一个冗余数据块即每个RAID数据块的副本，RAID数据块及副本会被存储在不同磁盘上，任何一块磁盘损坏至少系统中还有一个RAID数据块的冗余。
4.根据权利要求3所述的方法，其特征在于，
2）磁盘损坏后数据的处理
发现有磁盘损坏后，已损坏磁盘上的RAID数据块在其它剩余磁盘上还有RAID数据块冗余，根据RAID数据块的冗余在其它剩余磁盘上重新构建损坏磁盘上的数据，构建完毕后每份RAID数据块在不同磁盘上又重新形成了冗余。
5.根据权利要求4所述的方法，其特征在于，
3）、新添加磁盘后的冗余处理
当向系统中添加新磁盘时，各磁盘上的RAID数据块会被重新分配，分配原则：各磁盘使用量相同，每个RAID数据块及其冗余被分配到不同的磁盘上。
CN201710153164.1A 2017-03-15 2017-03-15 一种兼顾读写速度与数据安全的磁盘raid冗余方法 Pending CN106933515A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710153164.1A CN106933515A (zh) 2017-03-15 2017-03-15 一种兼顾读写速度与数据安全的磁盘raid冗余方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710153164.1A CN106933515A (zh) 2017-03-15 2017-03-15 一种兼顾读写速度与数据安全的磁盘raid冗余方法

Publications (1)

Publication Number Publication Date
CN106933515A true CN106933515A (zh) 2017-07-07

Family

ID=59433290

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710153164.1A Pending CN106933515A (zh) 2017-03-15 2017-03-15 一种兼顾读写速度与数据安全的磁盘raid冗余方法

Country Status (1)

Country Link
CN (1) CN106933515A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109032513A (zh) * 2018-07-16 2018-12-18 山东大学 基于ssd和hdd的raid架构及其备份、重建方法

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1808398A (zh) * 2005-01-18 2006-07-26 英业达股份有限公司 在线增加廉价磁盘冗余阵列磁盘数量的方法与系统
CN101329691A (zh) * 2008-07-30 2008-12-24 中兴通讯股份有限公司 一种冗余磁盘阵列共享文件系统及其读写方法
CN102857554A (zh) * 2012-07-26 2013-01-02 福建网龙计算机网络信息技术有限公司 基于分布式存储系统进行数据冗余处理方法
CN103530206A (zh) * 2013-09-29 2014-01-22 华为技术有限公司 一种数据恢复的方法和设备
CN104424052A (zh) * 2013-09-11 2015-03-18 杭州信核数据科技有限公司 一种自动冗余的分布式存储系统及方法
CN105549915A (zh) * 2015-12-25 2016-05-04 曙光信息产业(北京)有限公司 磁盘坏块隔离方法及系统
CN106155847A (zh) * 2016-08-19 2016-11-23 浪潮(北京)电子信息产业有限公司 一种磁盘阵列

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1808398A (zh) * 2005-01-18 2006-07-26 英业达股份有限公司 在线增加廉价磁盘冗余阵列磁盘数量的方法与系统
CN101329691A (zh) * 2008-07-30 2008-12-24 中兴通讯股份有限公司 一种冗余磁盘阵列共享文件系统及其读写方法
CN102857554A (zh) * 2012-07-26 2013-01-02 福建网龙计算机网络信息技术有限公司 基于分布式存储系统进行数据冗余处理方法
CN104424052A (zh) * 2013-09-11 2015-03-18 杭州信核数据科技有限公司 一种自动冗余的分布式存储系统及方法
CN103530206A (zh) * 2013-09-29 2014-01-22 华为技术有限公司 一种数据恢复的方法和设备
CN105549915A (zh) * 2015-12-25 2016-05-04 曙光信息产业(北京)有限公司 磁盘坏块隔离方法及系统
CN106155847A (zh) * 2016-08-19 2016-11-23 浪潮(北京)电子信息产业有限公司 一种磁盘阵列

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109032513A (zh) * 2018-07-16 2018-12-18 山东大学 基于ssd和hdd的raid架构及其备份、重建方法
CN109032513B (zh) * 2018-07-16 2020-08-25 山东大学 基于ssd和hdd的raid架构及其备份、重建方法

Similar Documents

Publication Publication Date Title
US10896089B2 (en) System level data-loss protection using storage device local buffers
CN102880428B (zh) 分布式独立磁盘冗余阵列的创建方法及装置
CN104503706B (zh) 一种基于磁盘阵列的数据存储及读取方法
US6393516B2 (en) System and method for storage media group parity protection
CN101236482B (zh) 降级状态下处理数据的方法及独立冗余磁盘阵列系统
CN104503923B (zh) 一种非对称磁盘阵列高速缓存调度方法
CN112799604B (zh) 一种基于N-Code的RAID6磁盘阵列扩容方法及数据填充方法
US20080109602A1 (en) Method and apparatus for writing data to a disk array
CN107220148A (zh) 针对独立磁盘冗余阵列的重建方法和设备
US20130036340A1 (en) Method for improving performance in raid systems
CN101923501B (zh) 一种磁盘阵列多级容错方法
WO2016090541A1 (zh) 数据存储系统和数据存储方法
US8977893B2 (en) Accelerated rebuild and zero time rebuild in raid systems
CN101546249A (zh) 磁盘阵列在线容量扩展方法
CN104956309A (zh) 存储系统及数据管理方法
JPH07320422A (ja) ディスク・アレイ・システムおよび記憶方法並びに制御装置
CN103699336B (zh) 一种磁盘阵列数据分布与重建方法及系统
CN102799533B (zh) 一种磁盘损坏扇区屏蔽方法及装置
CN102722340A (zh) 数据处理方法、装置及系统
CN104267913A (zh) 一种可动态异步调整raid级别的存储方法及存储系统
US20080091916A1 (en) Methods for data capacity expansion and data storage systems
CN107678690A (zh) 一种固态硬盘及其冗余独立磁盘阵列的实现方法
CN105988727A (zh) 一种基于raid的存储方法和存储装置
CN104714758B (zh) 一种基于校验raid加入镜像结构的阵列构建方法及读写系统
CN108958656A (zh) 基于raid5固态硬盘阵列的动态条带系统设计方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20170707