CN104778015A - 一种磁盘阵列性能优化方法及系统 - Google Patents
一种磁盘阵列性能优化方法及系统 Download PDFInfo
- Publication number
- CN104778015A CN104778015A CN201510059613.7A CN201510059613A CN104778015A CN 104778015 A CN104778015 A CN 104778015A CN 201510059613 A CN201510059613 A CN 201510059613A CN 104778015 A CN104778015 A CN 104778015A
- Authority
- CN
- China
- Prior art keywords
- reading
- read
- performance
- disk array
- interval
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Landscapes
- Signal Processing For Digital Recording And Reproducing (AREA)
Abstract
本发明涉及一种磁盘阵列性能优化方法及系统，所述方法包括：遍历磁盘阵列条带内的数据间隔区，如果存在多个数据间隔区，则判定进行预读，执行下一步；设定预读区间，并生成预读任务；对所述条带进行预读；预读完成后，对预读填充后的连续区间进行回写。本发明的方法采取预读的方法将离散的缓冲区间拼接为连续的缓存区间，降低了磁盘阵列底层实际的额外IO数，提高了磁盘阵列的IOPS性能。
Description
技术领域
本发明涉及磁盘存储技术，尤其涉及一种预读缓存的磁盘阵列性能优化方法及系统。
背景技术
RAID5，RAID6等算法对条带内输入输出IO的数据大小和连续性很敏感。如果磁盘阵列RAID条带内数据块大并且连续，则算法过程产生的额外读写IO很少，性能高；如果raid条带内数据块小而且离散，则算法过程中产生的额外读写IO很多，最坏的情况是外部IO的4倍多，造成性能下降。如何将条带内数据拼接成大的、连续的发送给RAID处理，成为优化RAID性能的主要手段。
通常拼条带技术是在写缓存(w_cache)基础上做的。写缓存的拼条带效果由外部实际IO数据在一定时间内的积累决定。写缓存拼条带的实际效果在很多情况下都效果不佳，如会出现条带内数据连续性很差，条带数据被分为很多小段，最差的情况是小段数据跨条块，导致一个IO要拆分为条块内的两个IO进行。如果对外部实际IO拼条带的原始状态不做分析和优化，则RAID拼条带在实际使用中的性能提升有限。
发明内容
基于上述问题，本发明提供一种磁盘阵列性能优化方法及系统，采取预读的方法将离散的回写区间拼接为连续的回写区间，降低了磁盘阵列底层实际的额外IO数，提高了磁盘阵列的IOPS(Input/Output Operations Per Second)性能。
根据上述目的，本发明提供了一种磁盘阵列性能优化方法，其特征在于，所述方法包括：
遍历磁盘阵列条带内的数据间隔区，如果存在多个数据间隔区，则判定进行预读，执行下一步；
设定预读区间，并生成预读任务；
对所述条带进行预读；
预读完成后，对预读填充后的连续区间进行回写。
其中，所述预读区间的大小设定为不超过所述条带内数据总和的大小。
其中，所述预读区间的大小设定为预读一次能够填补的数据区域大于一个数据包空白区。
根据本发明的另一个方面，提供一种磁盘阵列性能优化系统，其特征在于，所述系统包括：
判断单元，用于遍历条带内的数据间隔区，判断是否进行预读；
预读设定单元，用于设定预读区间，并生成预读任务；
预读单元，用于对所述条带进行预读；
回写单元，用于在预读完成后，对预读填充后的连续区间进行回写。
本发明的磁盘阵列性能优化方法及系统，通过判断预读能否优化磁盘阵列性能，采取预读的方法将离散的缓冲块拼接为连续的缓冲块，降低了磁盘阵列底层实际的额外IO数，提高了磁盘阵列的IOPS性能。
附图说明
通过参考附图会更加清楚的理解本发明的特征和优点，附图是示意性的而不应理解为对本发明进行任何限制，在附图中：
图1示出了本发明的磁盘阵列性能优化的方法的流程图。
图2示出了本发明的磁盘阵列性能优化系统的结构框图。
具体实施方式
下面将结合附图对本发明的实施例进行详细描述。
本发明的实施例的磁盘阵列性能优化方法，预先计算采用预读的方法，能否降低底层磁盘阵列的IO次数，若能，则进行预读，将条带内离散的数据块填充为连续的整数据块。
图1示出了本发明的磁盘阵列性能优化的方法的流程图。
参照图1，本发明实施例的磁盘阵列性能优化方法具体包括：
S1，遍历磁盘阵列条带内的数据间隔区，如果存在多个数据间隔区，则判定进行预读，执行下一步；
S2，设定预读区间，并生成预读任务；
在本实施例中，预读区间的大小设定为不超过所述条带内数据总和的大小，或者预读区间的大小设定为预读一次能够填补的数据区域大于一个数据包空白区。
S3，对所述条带进行预读；
S4，预读完成后，对预读填充后的连续区间进行回写。
图2示出了本发明的磁盘阵列性能优化系统的结构框图。
本发明的另一个方面，提供一种磁盘阵列性能优化系统，所述系统包括：
判断单元10，用于遍历条带内的数据间隔区，判断是否进行预读；
预读设定单元20，用于设定预读区间，并生成预读任务；
预读单元30，用于对所述条带进行预读；
回写单元40，用于在预读完成后，对预读填充后的连续区间进行回写。
本发明的磁盘阵列性能优化方法及系统，通过判断预读能否优化磁盘阵列性能，采取预读的方法将离散的缓冲块拼接为连续的缓冲块，降低了磁盘阵列底层实际的额外IO数，提高了磁盘阵列的IOPS性能。
虽然结合附图描述了本发明的实施方式，但是本领域技术人员可以在不脱离本发明的精神和范围的情况下做出各种修改和变型，这样的修改和变型均落入由所附权利要求所限定的范围之内。
Claims (4)
1.一种磁盘阵列性能优化方法，其特征在于，所述方法包括：
遍历磁盘阵列条带内的数据间隔区，如果存在多个数据间隔区，则判定进行预读，执行下一步；
设定预读区间，并生成预读任务；
对所述条带进行预读；
预读完成后，对预读填充后的连续区间进行回写。
2.根据权利要求1所述的磁盘阵列性能优化的方法，其特征在于，所述预读区间的大小设定为不超过所述条带内数据总和的大小。
3.根据权利要求1所述的磁盘阵列性能优化的方法，其特征在于，所述预读区间的大小设定为预读一次能够填补的数据区域大于一个数据包空白区。
4.一种磁盘阵列性能优化系统，其特征在于，所述系统包括：
判断单元，用于遍历条带内的数据间隔区，判断是否进行预读；
预读设定单元，用于设定预读区间，并生成预读任务；
预读单元，用于对所述条带进行预读；
回写单元，用于在预读完成后，对预读填充后的连续区间进行回写。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201510059613.7A CN104778015B (zh) | 2015-02-04 | 2015-02-04 | 一种磁盘阵列性能优化方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201510059613.7A CN104778015B (zh) | 2015-02-04 | 2015-02-04 | 一种磁盘阵列性能优化方法及系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN104778015A true CN104778015A (zh) | 2015-07-15 |
| CN104778015B CN104778015B (zh) | 2018-02-16 |
Family
ID=53619508
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201510059613.7A Active CN104778015B (zh) | 2015-02-04 | 2015-02-04 | 一种磁盘阵列性能优化方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN104778015B (zh) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110879687A (zh) * | 2019-10-18 | 2020-03-13 | 支付宝(杭州)信息技术有限公司 | 一种基于磁盘存储的数据读取方法、装置及设备 |
| US10768827B2 (en) | 2017-04-07 | 2020-09-08 | Microsoft Technology Licensing, Llc | Performance throttling of virtual drives |
| CN111708742A (zh) * | 2020-05-24 | 2020-09-25 | 苏州浪潮智能科技有限公司 | 一种分布式文件系统的输入输出预读方法和装置 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN1512353A (zh) * | 2002-12-27 | 2004-07-14 | 国际商业机器公司 | 性能改善的数据存储和方法 |
| US6928515B2 (en) * | 2002-11-09 | 2005-08-09 | International Business Machines Corporation | Integrated sector format-error correction code system and method for efficient writing in a disk array system |
| CN1737745A (zh) * | 2004-08-18 | 2006-02-22 | 华为技术有限公司 | 一种磁盘阵列数据的读写方法及并行读写方法 |
| CN101231637A (zh) * | 2007-01-22 | 2008-07-30 | 中兴通讯股份有限公司 | 一种基于文件系统缓存的自适应预读取方法 |
| CN103605833A (zh) * | 2013-10-30 | 2014-02-26 | 华为数字技术（苏州）有限公司 | 一种对存储阵列系统的性能进行仿真的方法及装置 |
-
2015
- 2015-02-04 CN CN201510059613.7A patent/CN104778015B/zh active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6928515B2 (en) * | 2002-11-09 | 2005-08-09 | International Business Machines Corporation | Integrated sector format-error correction code system and method for efficient writing in a disk array system |
| CN1512353A (zh) * | 2002-12-27 | 2004-07-14 | 国际商业机器公司 | 性能改善的数据存储和方法 |
| CN1737745A (zh) * | 2004-08-18 | 2006-02-22 | 华为技术有限公司 | 一种磁盘阵列数据的读写方法及并行读写方法 |
| CN101231637A (zh) * | 2007-01-22 | 2008-07-30 | 中兴通讯股份有限公司 | 一种基于文件系统缓存的自适应预读取方法 |
| CN103605833A (zh) * | 2013-10-30 | 2014-02-26 | 华为数字技术（苏州）有限公司 | 一种对存储阵列系统的性能进行仿真的方法及装置 |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US10768827B2 (en) | 2017-04-07 | 2020-09-08 | Microsoft Technology Licensing, Llc | Performance throttling of virtual drives |
| CN110879687A (zh) * | 2019-10-18 | 2020-03-13 | 支付宝(杭州)信息技术有限公司 | 一种基于磁盘存储的数据读取方法、装置及设备 |
| CN111708742A (zh) * | 2020-05-24 | 2020-09-25 | 苏州浪潮智能科技有限公司 | 一种分布式文件系统的输入输出预读方法和装置 |
| WO2021238284A1 (zh) * | 2020-05-24 | 2021-12-02 | 苏州浪潮智能科技有限公司 | 一种分布式文件系统的输入输出预读方法和装置 |
| CN111708742B (zh) * | 2020-05-24 | 2022-11-29 | 苏州浪潮智能科技有限公司 | 一种分布式文件系统的输入输出预读方法和装置 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN104778015B (zh) | 2018-02-16 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US9406368B2 (en) | Dynamic temperature adjustments in spin transfer torque magnetoresistive random-access memory (STT-MRAM) | |
| CN101727299B (zh) | 连续数据存储中面向raid5的写操作优化设计方法 | |
| US9582433B2 (en) | Disk array flushing method and disk array flushing apparatus | |
| CN105573888B (zh) | 一种分布式文件系统中的磁盘性能检测方法及装置 | |
| US20200272892A1 (en) | Super-tiling in neural network processing to enabling analytics at lower memory speed | |
| US9400603B2 (en) | Implementing enhanced performance flash memory devices | |
| CN102810050A (zh) | 日志数据写入方法和日志系统 | |
| CN103927270A (zh) | 一种面向多个粗粒度动态可重构阵列的共享数据缓存装置及控制方法 | |
| US20150154066A1 (en) | Error correction in solid state drives (ssd) | |
| US20160019156A1 (en) | Disk cache allocation | |
| CN105183378A (zh) | 自适应混合读/写缓存的方法 | |
| CN104778015A (zh) | 一种磁盘阵列性能优化方法及系统 | |
| CN104199784A (zh) | 一种基于分级存储的数据迁移方法及装置 | |
| CN109144419A (zh) | 一种固态硬盘内存读写方法及系统 | |
| CN107577614B (zh) | 数据写入方法及内存系统 | |
| CN109375868B (zh) | 一种数据存储方法、调度装置、系统、设备及存储介质 | |
| CN107193693A (zh) | 一种基于存储系统的在线数据存储优化方法 | |
| CN103514140B (zh) | 用于实现可重构系统中配置信息多发射的重构控制器 | |
| CN104834478A (zh) | 一种基于异构混合存储设备的数据写入及读取方法 | |
| CN104281545A (zh) | 一种数据读取方法及设备 | |
| KR100900489B1 (ko) | 디스크 어레이 매스 프리페칭 방법 | |
| CN103577349B (zh) | 在高速缓存中选择数据进行刷盘的方法和装置 | |
| JP6332756B2 (ja) | データ処理方法、装置、およびシステム | |
| EP3327574B1 (en) | Method and apparatus for managing memory | |
| US20150212949A1 (en) | Storage control device and storage control method |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| EXSB | Decision made by sipo to initiate substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| TA01 | Transfer of patent application right | ||
| TA01 | Transfer of patent application right |
Effective date of registration: 20170331 Address after: Nanshan District Guangdong streets, Shenzhen city 518131 Guangdong Province Road No. 8 financial services technology innovation base 1 building 11 floor F3 Applicant after: Shenzhen science and Technology Co.,Ltd. digital cloud data Address before: 100085 Beijing, Haidian District, No. 9 on the ground floor of the digital science and Technology Plaza, 9 Applicant before: YUNKE CHINA DATA TECHNOLOGY LTD. |
|
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| TR01 | Transfer of patent right | ||
| TR01 | Transfer of patent right |
Effective date of registration: 20190508 Address after: 430200 Six Floors of 777B Office Building, Guanggu Third Road, Donghu New Technology Development Zone, Wuhan City, Hubei Province Patentee after: Wuhan Shenzhou Digital Cloud Technology Co.,Ltd. Address before: 518131 F3, 11th floor, No. 8 Kefa Road, Yuehai Street, Nanshan District, Shenzhen City, Guangdong Province Patentee before: Shenzhen science and Technology Co.,Ltd. digital cloud data |
|
| TR01 | Transfer of patent right | ||
| TR01 | Transfer of patent right |
Effective date of registration: 20230425 Address after: 6 / F, office building B, No.777, Guanggu Third Road, Donghu New Technology Development Zone, Wuhan, Hubei 430200 Patentee after: Wuhan Shenzhou Digital Cloud Technology Co.,Ltd. Patentee after: Shenzhou Yunke (Beijing) Technology Co.,Ltd. Address before: 6 / F, office building B, No.777, Guanggu Third Road, Donghu New Technology Development Zone, Wuhan, Hubei 430200 Patentee before: Wuhan Shenzhou Digital Cloud Technology Co.,Ltd. |