CN109885261B - 一种提高存储系统性能的方法 - Google Patents
一种提高存储系统性能的方法 Download PDFInfo
- Publication number
- CN109885261B CN109885261B CN201910146740.9A CN201910146740A CN109885261B CN 109885261 B CN109885261 B CN 109885261B CN 201910146740 A CN201910146740 A CN 201910146740A CN 109885261 B CN109885261 B CN 109885261B
- Authority
- CN
- China
- Prior art keywords
- commands
- hard disk
- cache
- expander card
- same
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 16
- 230000005540 biological transmission Effects 0.000 claims abstract description 7
- 230000007423 decrease Effects 0.000 description 2
- 238000007792 addition Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000007812 deficiency Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Images
Landscapes
- Memory System Of A Hierarchy Structure (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明提供了一种提高存储系统性能的方法,包括:获取IO命令的数量;IO命令的数量低于设定值,则Expander卡利用Cache高效地完成IO命令,实现与硬盘之间的快速数据传输;IO命令的数量高于设定值,则Expander卡将cache平均分配给挂载在Expander卡下的每个硬盘。提高优化Expander下挂载的每个硬盘对Expander cache的利用率,实现存储系统性能的提高,满足客户对存储性能的需求。
Description
技术领域
本发明涉及的是一种提高存储系统性能的方法。
背景技术
在现有技术中,公知的技术是随着互联网和信息行业的飞速发展,大数据已经成为信息技术发展的趋势,在数据获取和快速分析需求的推动下,数据量开始了爆发性增长,推动着服务器行业向越来越多领域延伸,大量数据的珍贵价值使得人们对于存储性能的要求不断提高,因此对于大数据的传输和处理成为行业焦点,因此如何提高优化Expander下挂载的每个硬盘对Expander cache的利用率,实现存储系统性能的提高成为迫切需要解决的问题。
发明内容
本发明的目的就是针对现有技术所存在的不足,而提供一种提高存储系统性能的方法,该方法通过提高了cache利用率,实现存储系统的数据传输效率的提高,满足客户对存储性能的需求。
本方案是通过如下技术措施来实现的:一种提高存储系统性能的方法,
首先,获取IO命令的数量;然后将IO命令的数量与设定值进行比较;
如果,IO命令的数量低于设定值,则Expander卡利用Cache高效地完成IO命令,实现与硬盘之间的快速数据传输;即在常规模式下执行IO命令;
如果,IO命令的数量高于设定值,则Expander卡将cache平均分配给挂载在Expander卡下的每个硬盘。
结合IO命令的数量与设定值进行比较,可以及时的判断出工作状态,避免IO命令过多时,某一硬盘占用cache过大影响整体存储系统的数据传输效率。
当IO命令的数量高于设定值,将待处理IO命令进行优先级排队,按照优先级由高到低,优先处理高优先级的IO命令。这样可以优先处理高等级的IO命令,提高了客户的使用体验。
当IO命令的数量高于设定值时,根据预设的IO命令的参数判断有无相同的IO命令;
如果IO命令的参数相同则判断为相同IO命令,将相同IO命令进行捆绑,发送到同一硬盘进行处理,捆绑后的相同IO命令为同一级别的优先级。这样避免了相同IO命令被多次执行,浪费cache资源。
设定时间周期T,在周期T内只进行一次优先级的排队,后一周期T的IO命令不参与上一周期T的优先级排队。这样可以分时间段的执行,避免低优先级的IO命令一直处于等待状态。
在一个周期T内,相同IO命令的数量大于Expander卡所挂载硬盘数量时,则将IO命令平均分组,分组数等于Expander卡所挂载硬盘数量,这样避免捆绑的相同IO命令过多,使得某一硬盘一直执行,影响cache的使用率。
当某一硬盘的IO命令执行结束后,Expander卡的FW会将cache重新划分,减少该硬盘占用的cache数量,分配给还在执行IO命令的其他硬盘,提高了Expander卡下的硬盘的使用率。
当IO命令的数量高于设定值时,Expander卡的FW将cache平均分配给挂载在Expander卡下的每个硬盘,使IO命令数量可以让每个硬盘满负荷运行,减少IO命令排队等待的时间。
当执行的IO命令数量减少并低于所述的设定值时,则停止将cache平均分配给挂载在Expander卡下的每个硬盘,恢复到常规模式执行IO命令,这样可以充分调用cache,提高了存储系统性能。
由此可见,本发明与现有技术相比,具有突出的实质性特点和显著的进步,其实施的有益效果也是显而易见的。
附图说明
图1为本发明具体实施方式的流程图。
具体实施方式
为能清楚说明本方案的技术特点,下面通过一个具体实施方式,并结合其附图,对本方案进行阐述。
通过附图可以看出,本方案的提高存储系统性能的方法,包括:
获取IO命令的数量;
如果IO命令的数量低于设定值,则Expander卡利用Cache高效地完成IO命令,实现与硬盘之间的快速数据传输;
如果IO命令的数量高于设定值,则Expander卡的FW将cache平均分配给挂载在Expander卡下的每个硬盘,使IO命令数量可以让每个硬盘满负荷运行,减少IO命令排队等待的时间,某一硬盘的IO命令执行结束后,Expander卡的FW会将cache重新划分,减少该硬盘占用的cache数量,分配给还在执行IO命令的其他硬盘。
当执行的IO命令数量减少并低于所述的设定值时,则停止将cache平均分配给挂载在Expander卡下的每个硬盘,恢复到常规模式执行IO命令。
当IO命令的数量高于设定值时,将待处理IO命令进行优先级排队,按照优先级由高到低,优先处理高优先级的IO命令。并且设定时间周期T,在周期T内只进行一次优先级的排队,后一周期T的IO命令不参与上一周期T的优先级排队。
预设的IO命令的参数,如果IO命令的参数相同则判断为相同IO命令,当IO命令的数量高于设定值时,将相同IO命令进行捆绑,发送到同一硬盘进行处理,捆绑后的相同IO命令为同一级别的优先级。这样可以同时处理,避免重复处理的情况,提高存储系统性能。
在一个周期T内,相同IO命令的数量大于Expander卡所挂载硬盘数量时,则将IO命令平均分组,分组数等于Expander卡所挂载硬盘数量。
本发明并不仅限于上述具体实施方式,本领域普通技术人员在本发明的实质范围内做出的变化、改型、添加或替换,也应属于本发明的保护范围。
Claims (5)
1.一种提高存储系统性能的方法,其特征在于,包括:
获取IO命令的数量;
IO命令的数量低于设定值,则Expander卡利用Cache高效地完成IO命令,实现与硬盘之间的快速数据传输;
IO命令的数量高于设定值,则Expander卡将cache平均分配给挂载在Expander卡下的每个硬盘;
方法中,IO命令的数量高于设定值,
将待处理IO命令进行优先级排队,按照优先级由高到低,优先处理高优先级的IO命令;
方法还包括:IO命令的数量高于设定值时,
预设的IO 命令的参数,如果IO命令的参数相同则判断为相同IO命令,将相同IO命令进行捆绑,发送到同一硬盘进行处理,捆绑后的相同IO命令为同一级别的优先级;
方法还包括:IO命令的数量高于设定值时,Expander卡的FW将cache平均分配给挂载在Expander卡下的每个硬盘,使IO命令数量可以让每个硬盘满负荷运行,减少IO命令排队等待的时间。
2.根据权利要求1所述的提高存储系统性能的方法,其特征在于:
设定时间周期T,在周期T内只进行一次优先级的排队,后一周期T的IO命令不参与上一周期T的优先级排队。
3.根据权利要求2所述的提高存储系统性能的方法,其特征在于:一个周期T内,相同IO命令的数量大于Expander卡所挂载硬盘数量时,则将IO命令平均分组,分组数等于Expander卡所挂载硬盘数量。
4.根据权利要求1所述的提高存储系统性能的方法,其特征在于:
某一硬盘的IO命令执行结束后, Expander卡的FW会将cache重新划分,减少该硬盘占用的cache数量,分配给还在执行IO命令的其他硬盘。
5.根据权利要求1所述的提高存储系统性能的方法,其特征在于:
当执行的IO命令数量减少并低于所述的设定值时,则停止将cache平均分配给挂载在Expander卡下的每个硬盘,恢复到常规模式执行IO命令。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910146740.9A CN109885261B (zh) | 2019-02-27 | 2019-02-27 | 一种提高存储系统性能的方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910146740.9A CN109885261B (zh) | 2019-02-27 | 2019-02-27 | 一种提高存储系统性能的方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN109885261A CN109885261A (zh) | 2019-06-14 |
CN109885261B true CN109885261B (zh) | 2022-08-05 |
Family
ID=66929748
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201910146740.9A Active CN109885261B (zh) | 2019-02-27 | 2019-02-27 | 一种提高存储系统性能的方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN109885261B (zh) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN117827699B (zh) * | 2023-12-27 | 2024-09-24 | 中电云计算技术有限公司 | 并行读cache持久化方法、装置、设备及存储介质 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103049215A (zh) * | 2012-12-07 | 2013-04-17 | 记忆科技(深圳)有限公司 | Io命令处理的方法及其固态硬盘 |
CN104991737A (zh) * | 2015-06-18 | 2015-10-21 | 杭州电子科技大学 | 一种基于存储卡阵列架构的硬盘实现方法 |
CN107967224A (zh) * | 2017-10-12 | 2018-04-27 | 记忆科技(深圳)有限公司 | 一种固态硬盘提升性能一致性的方法 |
CN109144908A (zh) * | 2018-08-27 | 2019-01-04 | 郑州云海信息技术有限公司 | 一种基于级联Expander的数据存储系统及方法 |
-
2019
- 2019-02-27 CN CN201910146740.9A patent/CN109885261B/zh active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103049215A (zh) * | 2012-12-07 | 2013-04-17 | 记忆科技(深圳)有限公司 | Io命令处理的方法及其固态硬盘 |
CN104991737A (zh) * | 2015-06-18 | 2015-10-21 | 杭州电子科技大学 | 一种基于存储卡阵列架构的硬盘实现方法 |
CN107967224A (zh) * | 2017-10-12 | 2018-04-27 | 记忆科技(深圳)有限公司 | 一种固态硬盘提升性能一致性的方法 |
CN109144908A (zh) * | 2018-08-27 | 2019-01-04 | 郑州云海信息技术有限公司 | 一种基于级联Expander的数据存储系统及方法 |
Also Published As
Publication number | Publication date |
---|---|
CN109885261A (zh) | 2019-06-14 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN102317917B (zh) | 热点域虚拟机cpu调度方法及虚拟机系统 | |
CN113238838A (zh) | 一种任务调度方法、装置及计算机可读存储介质 | |
KR101350755B1 (ko) | 클라우드 컴퓨팅에서 다중 워크플로우를 위한 비용기반 스케줄링 방법 및 그 시스템 | |
CN102630316B (zh) | 并发任务的处理方法及装置 | |
CN107291550B (zh) | 一种针对迭代应用的Spark平台资源动态分配方法及系统 | |
Shin et al. | Deadline-guaranteed scheduling algorithm with improved resource utilization for cloud computing | |
CN101739293A (zh) | 一种基于多线程的卫星数据产品生产任务并行调度方法 | |
CN101013388A (zh) | 面向异构多核体系的进程调度方法 | |
CN102521265B (zh) | 一种海量数据管理中动态一致性控制方法 | |
CN103036946A (zh) | 一种用于云平台处理文件备份任务的方法和系统 | |
CN104199739B (zh) | 一种基于负载均衡的推测式Hadoop调度方法 | |
CN110362392A (zh) | 一种etl任务调度方法、系统、设备及存储介质 | |
CN108574645B (zh) | 一种队列调度方法及装置 | |
CN109799956B (zh) | 一种存储控制器及io请求处理方法 | |
CN107341041A (zh) | 基于优先队列的云任务多维约束回填调度方法 | |
US8090903B2 (en) | Fair and dynamic disk input/output bandwidth distribution | |
CN111104211A (zh) | 基于任务依赖的计算卸载方法、系统、设备及介质 | |
CN111737015B (zh) | 基于多gpu提高大幅面非线性编辑实时层数的方法 | |
CN104571931B (zh) | 基于系统资源的i/o请求合并调度系统与方法 | |
CN103902361A (zh) | 一种可动态调节尺寸的线程池 | |
CN111176847B (zh) | 物理核超多线程服务器上大数据集群性能优化方法及装置 | |
CN109885261B (zh) | 一种提高存储系统性能的方法 | |
CN101777009A (zh) | 应用程序的负载控管方法 | |
CN114661415A (zh) | 调度方法及计算机系统 | |
CN114860449A (zh) | 数据处理方法、装置、设备和存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |