CN103345450A - 一种动态调整冗余raid阵列重建的装置和方法 - Google Patents
一种动态调整冗余raid阵列重建的装置和方法 Download PDFInfo
- Publication number
- CN103345450A CN103345450A CN2013102603155A CN201310260315A CN103345450A CN 103345450 A CN103345450 A CN 103345450A CN 2013102603155 A CN2013102603155 A CN 2013102603155A CN 201310260315 A CN201310260315 A CN 201310260315A CN 103345450 A CN103345450 A CN 103345450A
- Authority
- CN
- China
- Prior art keywords
- rebuild
- buffer memory
- reconstruction
- writing
- order
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Landscapes
- Debugging And Monitoring (AREA)
Abstract
本发明提供一种动态调整冗余RAID阵列重建的装置，该装置应用于存储设备，该存储设备具有供业务写IO使用的写缓存，其特征在于，该装置包括：写缓存使用判断模块，用于判断写缓存使用空间是否超过阈值，并将判断结果通知重建命令下发模块；重建命令下发模块，用于在写缓存使用空间超过阈值时，将RAID重建线程休眠m毫秒后再下发重建命令以降低重建速率，所述m为预设值；用于在写缓存使用空间低于所述阈值时，立即下发重建命令。基于同样的构思，本发明还提供一种动态调整冗余RAID阵列重建的方法。本发明的技术利用写缓存所使用的空间作为判断业务压力大小的依据，相对于统计阵列的IO数的方法更准确。
Description
技术领域
本发明涉及存储领域，尤其涉及冗余RAID阵列（Redundant Array ofInexpensive Disks，廉价磁盘冗余阵列）重建方面的技术。
背景技术
在存在业务流量的时候，RAID阵列的重建对阵列中的磁盘来说，既有重建IO，又有业务IO。磁盘能承担的IO是一定的。如果重建速度比较快，当业务流量比较大的时候，会影响业务，导致业务性能降低；如果重建速度比较慢，又会导致重建时间非常长，如果再有其他盘发生故障，阵列失效的风险也大大增加。现有方案大多是基于阵列进行IO统计来调整RAID阵列重建的。但是对于有写缓存的存储设备，基于阵列进行IO统计来调整RAID阵列重建，不是非常准确。
对于有写缓存的存储设备，写缓存一方面缓存了数据，让更多的数据累积一起下发，一方面进行了排序，尽量凑成满条带下发，大大提高了存储系统的顺序性能。基于阵列的IO统计，不区分随机IO和顺序IO。对于随机IO，即便IO数不是很大，RAID重建都对性能影响比较大；对于顺序IO，即使IO数比较大，因为是很多命令一起下发，RAID重建对性能影响就没那么大。所以基于阵列的IO统计来调整RAID阵列重建对于有写缓存的存储系统不是很合适。
现有方案很多已经实现了基于外部IO流量的大小，动态调整RAID重建速度的机制。即统计一段时间内每个阵列的业务IO数，发现IO数比较大，说明此时业务压力比较大，就降低RAID的重建速度，保证业务IO的性能；当IO数比较小的时候，说明此时业务压力比较小，就提高RAID的重建速度，使RAID尽快重建完，减小RAID失效的风险。
基于阵列IO统计作为判断外部IO流量大小的依据，这种依据不能区分顺序IO还是随机IO，所以据此来调整冗余RAID阵列重建的速度并不是一种很理想的方法。
发明内容
有鉴于此，本发明提供一种动态调整冗余RAID阵列重建的装置和方法。本发明的该装置和方法应用于存储设备，该存储设备具有供业务写IO使用的写缓存。
该装置包括：写缓存使用判断模块，用于判断写缓存使用空间是否超过阈值，并将判断结果通知重建命令下发模块；重建命令下发模块，用于在写缓存使用空间超过阈值时，将RAID重建线程休眠预设时长后再下发重建命令以降低重建速率；用于在写缓存使用空间低于所述阈值时，立即下发重建命令。
优选地，不同的业务具有不同的阈值。
优选地，写缓存使用判断模块在每一次重建线程被调度时执行所述判断。
优选地，存储设备为用于监控系统的存储设备，所述业务为视频监控媒体流存储业务。
基于同样的构思本发明还一种动态调整冗余RAID阵列重建的方法，该方法包括：A、准备下发重建命令前先判断写缓存使用空间是否超过阈值，如果是，执行步骤B，否则执行步骤C；B、将RAID重建线程休眠预设时长后再下发重建命令以降低重建速率；C、立即下发重建命令。
相较于现有技术，本发明的利用写缓存所使用的空间作为判断业务压力大小的依据更准确。在写缓存占用空间超过阈值时，推迟下发重建命令来调整重建速率，使得外部业务尽量不受影响。
附图说明
图1是本发明实施例方法流程图。
图2是本发明装置逻辑结构图。
具体实施方式
本发明提供的动态调整冗余RAID阵列（RAID0以外的其他RAID类型）重建的方式建立在具有写缓存的存储设备中，冗余RAID阵列重建的时候，将写缓存的使用情况作为外部业务流量大小的依据，动态调整阵列重建的速率。该方法对于具有写缓存的存储设备是一种更优的调整重建速率的方法。以下结合具体实施例进行详细描述。
图1是本发明实施例流程图。下面结合图1来描述本发明实施例。
步骤11、准备下发重建命令。
调度RAID阵列重建线程，准备下发重建命令。RAID阵列重建命令下发后即进入RAID阵列重建执行过程。
步骤12、判断写缓存使用空间是否超过阈值，如果超过阈值，执行步骤13，如果未超过阈值，执行步骤14。
步骤13、本次不下发重建命令，重建线程休眠（sleep）m毫秒后再下发重建命令。
步骤14、立即下发重建命令。
存储设备具有写缓存是实现本发明的前提条件。从逻辑角度来看，写缓存位于阵列之上。整个存储系统启动后，系统会为每个阵列分配一块写缓存空间，写缓存对业务写IO进行缓存和排序，当凑成满条带之后写入磁盘。如果写入磁盘的速度大大低于业务写到写缓存空间的速度，或者业务写包括较多的随机IO的时候，写缓存空间就会占满。写缓存空间占满表明外部业务性能已经或者即将受到很大的影响。这时就需要尽量的满足外部业务写入操作。这里的业务流量不是一段时间内单纯的业务IO总数，而是写磁盘速度与业务写入写缓存速度的一个比例。如果比例越大，写缓存占用空间越小，磁盘压力不大，写缓存的数据都能及时写到磁盘上；这个时候阵列重建速度不需要调整。如果比例越小，写缓存占用空间越大，磁盘压力越大，写缓存中累积的数据较多，这个时候阵列重建速度需要调整，以使得写缓存中的数据尽快的写入到磁盘中去。
阵列写缓存空间的占用情况是业务流量大小的体现，所以本实施例对写缓存空间的使用设定一个阈值，如果超过这个阈值，则认为外部的业务流量比较大，需要调整重建速度；如果没有超过这个阈值，则认为重建并没有影响外部业务，不需要调整重建速度。不同的业务可以设置不同的阈值，比如说对于监控业务和对于数据库业务，可以分别设置不同的阈值。该阈值可以根据测试验证给出一个最佳的值。
本实施例中，调整阵列重建速度的方法为：让重建线程休眠m毫秒后再下发重建命令。
步骤15、下发业务命令。
重建线程调度之后，继续下发业务命令。等到下一个重建调度线程的时候，在重复步骤11。
可能步骤13执行一次后，写缓存的压力并不能降低，但是每当准备下发重建命令时，就判断写缓存使用空间是否超过阈值，如果超过就推迟下发重建命令。这样一段时间下来，业务命令可能被执行x次，比如8次，而重建命令可能仅被执行y次，比如3次，x>y。这样，写缓存的压力将被降低。从而业务性能将被提高。这里的业务可以是视频监控媒体流存储业务。
通过上述流程，可以看出：下发重建命令的时候，当写缓存空间占用比较多，推迟一段时间下发重建命令，这样使得业务命令可以更及时的被处理，降低写缓存的压力，使得业务尽量不受影响。
基于同样的构思，本发明还一种动态调整冗余RAID阵列重建的装置。该装置应用于存储设备，该存储设备具有供业务写IO使用的写缓存。请参图2，该装置包括写缓存使用判断模块和重建命令下发模块。该写缓存使用判断模块，用于判断写缓存使用空间是否超过阈值，并将判断结果通知重建命令下发模块；重建命令下发模块，用于在写缓存使用空间超过阈值时，将重建线程休眠m毫秒后再下发重建命令以降低重建速率，所述m为预设值；用于在写缓存使用空间低于所述阈值时，立即下发重建命令。该写缓存使用判断模块在每一次重建线程被调度时执行所述判断。该存储设备为用于监控系统的存储设备，该业务为视频监控媒体流存储业务。
以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明保护的范围之内。
Claims (7)
1.一种动态调整冗余RAID阵列重建的装置，该装置应用于存储设备，该存储设备具有供业务写IO使用的写缓存，其特征在于，该装置包括：
写缓存使用判断模块，用于判断写缓存使用空间是否超过阈值，并将判断结果通知重建命令下发模块；
重建命令下发模块，用于在写缓存使用空间超过阈值时，将RAID重建线程休眠预设时长后再下发重建命令以降低重建速率并用于在写缓存使用空间低于所述阈值时，立即下发重建命令。
2.如权利要求1所述的方法，其特征在于，不同的业务具有不同的阈值。
3.如权利要求1所述的装置，其特征在于，所述写缓存使用判断模块在每一次重建线程被调度时执行所述判断。
4.如权利要求1所述的装置，所述存储设备为用于监控系统的存储设备，所述业务为视频监控媒体流存储业务。
5.一种动态调整冗余RAID阵列重建的方法，该方法应用于存储设备，该存储设备具有供业务写IO使用的写缓存，其特征在于，所述方法包括：
A、准备下发重建命令前先判断写缓存使用空间是否超过阈值，如果是，执行步骤B，否则执行步骤C;
B、将RAID重建线程休眠预设时长后再下发重建命令以降低重建速率；
C、立即下发重建命令。
6.如权利要求5所述的方法，其特征在于，不同的业务具有不同的阈值。
7.如权利要求5所述的方法，其特征在于，所述存储设备为用于监控系统的存储设备，所述业务为视频监控媒体流存储业务。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201310260315.5A CN103345450B (zh) | 2013-06-26 | 2013-06-26 | 一种动态调整冗余raid阵列重建的装置和方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201310260315.5A CN103345450B (zh) | 2013-06-26 | 2013-06-26 | 一种动态调整冗余raid阵列重建的装置和方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN103345450A true CN103345450A (zh) | 2013-10-09 |
| CN103345450B CN103345450B (zh) | 2016-11-02 |
Family
ID=49280248
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201310260315.5A Active CN103345450B (zh) | 2013-06-26 | 2013-06-26 | 一种动态调整冗余raid阵列重建的装置和方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN103345450B (zh) |
Cited By (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104182361A (zh) * | 2014-08-20 | 2014-12-03 | 北京国双科技有限公司 | 数据缓存处理方法及装置 |
| CN104407806A (zh) * | 2014-10-09 | 2015-03-11 | 杭州华为企业通信技术有限公司 | 独立磁盘冗余阵列组硬盘信息的修改方法和装置 |
| CN105224243A (zh) * | 2015-08-31 | 2016-01-06 | 北京神州云科数据技术有限公司 | 一种磁盘阵列的初始化和重建的速度调节方法 |
| CN106371916A (zh) * | 2016-08-22 | 2017-02-01 | 浪潮(北京)电子信息产业有限公司 | 一种存储系统io线程优化方法及其装置 |
| CN106980468A (zh) * | 2017-03-03 | 2017-07-25 | 杭州宏杉科技股份有限公司 | 触发raid阵列重建的方法及装置 |
| US10417069B2 (en) | 2017-12-01 | 2019-09-17 | International Business Machines Corporation | Handling zero fault tolerance events in machines where failure likely results in unacceptable loss |
| US10664187B2 (en) | 2017-12-01 | 2020-05-26 | International Business Machines Corporation | Reducing a rate at which data is mirrored from a primary server to a secondary server |
| CN111352584A (zh) * | 2020-02-21 | 2020-06-30 | 北京天融信网络安全技术有限公司 | 一种数据重建方法及装置 |
| US10725776B2 (en) | 2017-12-01 | 2020-07-28 | International Business Machines Corporation | Reducing a rate at which requests are sent from one processor to another to reduce processor utilization at the processor receiving the requests |
| CN111880962A (zh) * | 2020-07-24 | 2020-11-03 | 北京浪潮数据技术有限公司 | 一种raid重构速度控制方法、系统及装置 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20080320214A1 (en) * | 2003-12-02 | 2008-12-25 | Super Talent Electronics Inc. | Multi-Level Controller with Smart Storage Transfer Manager for Interleaving Multiple Single-Chip Flash Memory Devices |
| CN102521147A (zh) * | 2011-11-17 | 2012-06-27 | 曙光信息产业(北京)有限公司 | 一种使用高速非易失介质做缓存的管理方法 |
| CN102591594A (zh) * | 2012-02-10 | 2012-07-18 | 杭州华三通信技术有限公司 | 一种数据的处理方法和设备 |
-
2013
- 2013-06-26 CN CN201310260315.5A patent/CN103345450B/zh active Active
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20080320214A1 (en) * | 2003-12-02 | 2008-12-25 | Super Talent Electronics Inc. | Multi-Level Controller with Smart Storage Transfer Manager for Interleaving Multiple Single-Chip Flash Memory Devices |
| CN102521147A (zh) * | 2011-11-17 | 2012-06-27 | 曙光信息产业(北京)有限公司 | 一种使用高速非易失介质做缓存的管理方法 |
| CN102591594A (zh) * | 2012-02-10 | 2012-07-18 | 杭州华三通信技术有限公司 | 一种数据的处理方法和设备 |
Cited By (16)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104182361A (zh) * | 2014-08-20 | 2014-12-03 | 北京国双科技有限公司 | 数据缓存处理方法及装置 |
| CN104407806A (zh) * | 2014-10-09 | 2015-03-11 | 杭州华为企业通信技术有限公司 | 独立磁盘冗余阵列组硬盘信息的修改方法和装置 |
| CN104407806B (zh) * | 2014-10-09 | 2017-10-10 | 杭州华为企业通信技术有限公司 | 独立磁盘冗余阵列组硬盘信息的修改方法和装置 |
| CN105224243A (zh) * | 2015-08-31 | 2016-01-06 | 北京神州云科数据技术有限公司 | 一种磁盘阵列的初始化和重建的速度调节方法 |
| CN105224243B (zh) * | 2015-08-31 | 2018-06-12 | 深圳神州数码云科数据技术有限公司 | 一种磁盘阵列的初始化和重建的速度调节方法 |
| CN106371916A (zh) * | 2016-08-22 | 2017-02-01 | 浪潮(北京)电子信息产业有限公司 | 一种存储系统io线程优化方法及其装置 |
| CN106371916B (zh) * | 2016-08-22 | 2019-01-22 | 浪潮(北京)电子信息产业有限公司 | 一种存储系统io线程优化方法及其装置 |
| CN106980468A (zh) * | 2017-03-03 | 2017-07-25 | 杭州宏杉科技股份有限公司 | 触发raid阵列重建的方法及装置 |
| US10417069B2 (en) | 2017-12-01 | 2019-09-17 | International Business Machines Corporation | Handling zero fault tolerance events in machines where failure likely results in unacceptable loss |
| US10664187B2 (en) | 2017-12-01 | 2020-05-26 | International Business Machines Corporation | Reducing a rate at which data is mirrored from a primary server to a secondary server |
| US10691518B2 (en) | 2017-12-01 | 2020-06-23 | International Business Machines Corporation | Handling zero fault tolerance events in machines where failure likely results in unacceptable loss |
| US10725776B2 (en) | 2017-12-01 | 2020-07-28 | International Business Machines Corporation | Reducing a rate at which requests are sent from one processor to another to reduce processor utilization at the processor receiving the requests |
| US11334275B2 (en) | 2017-12-01 | 2022-05-17 | International Business Machines Corporation | Reducing a rate at which data is mirrored from a primary server to a secondary server |
| CN111352584A (zh) * | 2020-02-21 | 2020-06-30 | 北京天融信网络安全技术有限公司 | 一种数据重建方法及装置 |
| CN111880962A (zh) * | 2020-07-24 | 2020-11-03 | 北京浪潮数据技术有限公司 | 一种raid重构速度控制方法、系统及装置 |
| CN111880962B (zh) * | 2020-07-24 | 2022-06-10 | 北京浪潮数据技术有限公司 | 一种raid重构速度控制方法、系统及装置 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN103345450B (zh) | 2016-11-02 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN103345450A (zh) | 一种动态调整冗余raid阵列重建的装置和方法 | |
| CN102122235B (zh) | 一种raid4系统及其数据读写方法 | |
| KR101574844B1 (ko) | Smr raid용의 대블록 무작위 쓰기 핫 스페어 ssd 구현 | |
| CN102298561B (zh) | 一种对存储设备进行多通道数据处理的方法、系统和装置 | |
| TWI540436B (zh) | 冗餘緩存數據的彈性緩存 | |
| CN106293511B (zh) | 一种面向连续数据存储的动态局部并行数据布局方法 | |
| US20160098196A1 (en) | Storage system | |
| US20130067144A1 (en) | Controller for storage apparatus and controlling method for storage apparatus | |
| US20120036309A1 (en) | Coordinated garbage collection for raid array of solid state disks | |
| US6671767B2 (en) | Storage subsystem, information processing system and method of controlling I/O interface | |
| CN101727299A (zh) | 连续数据存储中面向raid5的写操作优化设计方法 | |
| CN102637147A (zh) | 利用固态硬盘作为计算机写缓存的存储系统以及相应的管理调度方法 | |
| JP5947398B2 (ja) | 統合データマスキング、データポイズニング及びデータバス反転シグナリング | |
| US20190087096A1 (en) | Persistent writes for non-volatile memory | |
| CN110069442A (zh) | 一种基于zynq系列fpga的超高速数据采集装置及方法 | |
| US20160170656A1 (en) | Implementing enhanced performance flash memory devices | |
| CN103744623A (zh) | 一种实现存储系统ssd缓存的数据智能降级的方法 | |
| WO2018024214A1 (zh) | Io流调节方法与装置 | |
| CN101625586A (zh) | 一种管理存储设备节能的方法、设备和计算机 | |
| US7590800B2 (en) | 2D dynamic adaptive data caching | |
| CN105653213A (zh) | 一种基于Freescale P3041的双控磁盘阵列 | |
| CN104461961B (zh) | 一种多核多线程的闪存装置及闪存控制方法 | |
| CN105260146A (zh) | 一种磁盘节能的设置方法及装置 | |
| CN115221070B (zh) | 基于NVMe盘的片上系统诊断方法 | |
| CN102446261A (zh) | 一种提高raid写效率的方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| C14 | Grant of patent or utility model | ||
| GR01 | Patent grant |