CN109885261B - 一种提高存储系统性能的方法 - Google Patents

一种提高存储系统性能的方法 Download PDF

Info

Publication number
CN109885261B
CN109885261B CN201910146740.9A CN201910146740A CN109885261B CN 109885261 B CN109885261 B CN 109885261B CN 201910146740 A CN201910146740 A CN 201910146740A CN 109885261 B CN109885261 B CN 109885261B
Authority
CN
China
Prior art keywords
commands
hard disk
cache
expander card
same
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910146740.9A
Other languages
English (en)
Other versions
CN109885261A (zh
Inventor
张晶晶
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Suzhou Inspur Intelligent Technology Co Ltd
Original Assignee
Suzhou Inspur Intelligent Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Suzhou Inspur Intelligent Technology Co Ltd filed Critical Suzhou Inspur Intelligent Technology Co Ltd
Priority to CN201910146740.9A priority Critical patent/CN109885261B/zh
Publication of CN109885261A publication Critical patent/CN109885261A/zh
Application granted granted Critical
Publication of CN109885261B publication Critical patent/CN109885261B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Memory System Of A Hierarchy Structure (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明提供了一种提高存储系统性能的方法,包括:获取IO命令的数量;IO命令的数量低于设定值,则Expander卡利用Cache高效地完成IO命令,实现与硬盘之间的快速数据传输;IO命令的数量高于设定值,则Expander卡将cache平均分配给挂载在Expander卡下的每个硬盘。提高优化Expander下挂载的每个硬盘对Expander cache的利用率,实现存储系统性能的提高,满足客户对存储性能的需求。

Description

一种提高存储系统性能的方法
技术领域
本发明涉及的是一种提高存储系统性能的方法。
背景技术
在现有技术中,公知的技术是随着互联网和信息行业的飞速发展,大数据已经成为信息技术发展的趋势,在数据获取和快速分析需求的推动下,数据量开始了爆发性增长,推动着服务器行业向越来越多领域延伸,大量数据的珍贵价值使得人们对于存储性能的要求不断提高,因此对于大数据的传输和处理成为行业焦点,因此如何提高优化Expander下挂载的每个硬盘对Expander cache的利用率,实现存储系统性能的提高成为迫切需要解决的问题。
发明内容
本发明的目的就是针对现有技术所存在的不足,而提供一种提高存储系统性能的方法,该方法通过提高了cache利用率,实现存储系统的数据传输效率的提高,满足客户对存储性能的需求。
本方案是通过如下技术措施来实现的:一种提高存储系统性能的方法,
首先,获取IO命令的数量;然后将IO命令的数量与设定值进行比较;
如果,IO命令的数量低于设定值,则Expander卡利用Cache高效地完成IO命令,实现与硬盘之间的快速数据传输;即在常规模式下执行IO命令;
如果,IO命令的数量高于设定值,则Expander卡将cache平均分配给挂载在Expander卡下的每个硬盘。
结合IO命令的数量与设定值进行比较,可以及时的判断出工作状态,避免IO命令过多时,某一硬盘占用cache过大影响整体存储系统的数据传输效率。
当IO命令的数量高于设定值,将待处理IO命令进行优先级排队,按照优先级由高到低,优先处理高优先级的IO命令。这样可以优先处理高等级的IO命令,提高了客户的使用体验。
当IO命令的数量高于设定值时,根据预设的IO命令的参数判断有无相同的IO命令;
如果IO命令的参数相同则判断为相同IO命令,将相同IO命令进行捆绑,发送到同一硬盘进行处理,捆绑后的相同IO命令为同一级别的优先级。这样避免了相同IO命令被多次执行,浪费cache资源。
设定时间周期T,在周期T内只进行一次优先级的排队,后一周期T的IO命令不参与上一周期T的优先级排队。这样可以分时间段的执行,避免低优先级的IO命令一直处于等待状态。
在一个周期T内,相同IO命令的数量大于Expander卡所挂载硬盘数量时,则将IO命令平均分组,分组数等于Expander卡所挂载硬盘数量,这样避免捆绑的相同IO命令过多,使得某一硬盘一直执行,影响cache的使用率。
当某一硬盘的IO命令执行结束后,Expander卡的FW会将cache重新划分,减少该硬盘占用的cache数量,分配给还在执行IO命令的其他硬盘,提高了Expander卡下的硬盘的使用率。
当IO命令的数量高于设定值时,Expander卡的FW将cache平均分配给挂载在Expander卡下的每个硬盘,使IO命令数量可以让每个硬盘满负荷运行,减少IO命令排队等待的时间。
当执行的IO命令数量减少并低于所述的设定值时,则停止将cache平均分配给挂载在Expander卡下的每个硬盘,恢复到常规模式执行IO命令,这样可以充分调用cache,提高了存储系统性能。
由此可见,本发明与现有技术相比,具有突出的实质性特点和显著的进步,其实施的有益效果也是显而易见的。
附图说明
图1为本发明具体实施方式的流程图。
具体实施方式
为能清楚说明本方案的技术特点,下面通过一个具体实施方式,并结合其附图,对本方案进行阐述。
通过附图可以看出,本方案的提高存储系统性能的方法,包括:
获取IO命令的数量;
如果IO命令的数量低于设定值,则Expander卡利用Cache高效地完成IO命令,实现与硬盘之间的快速数据传输;
如果IO命令的数量高于设定值,则Expander卡的FW将cache平均分配给挂载在Expander卡下的每个硬盘,使IO命令数量可以让每个硬盘满负荷运行,减少IO命令排队等待的时间,某一硬盘的IO命令执行结束后,Expander卡的FW会将cache重新划分,减少该硬盘占用的cache数量,分配给还在执行IO命令的其他硬盘。
当执行的IO命令数量减少并低于所述的设定值时,则停止将cache平均分配给挂载在Expander卡下的每个硬盘,恢复到常规模式执行IO命令。
当IO命令的数量高于设定值时,将待处理IO命令进行优先级排队,按照优先级由高到低,优先处理高优先级的IO命令。并且设定时间周期T,在周期T内只进行一次优先级的排队,后一周期T的IO命令不参与上一周期T的优先级排队。
预设的IO命令的参数,如果IO命令的参数相同则判断为相同IO命令,当IO命令的数量高于设定值时,将相同IO命令进行捆绑,发送到同一硬盘进行处理,捆绑后的相同IO命令为同一级别的优先级。这样可以同时处理,避免重复处理的情况,提高存储系统性能。
在一个周期T内,相同IO命令的数量大于Expander卡所挂载硬盘数量时,则将IO命令平均分组,分组数等于Expander卡所挂载硬盘数量。
本发明并不仅限于上述具体实施方式,本领域普通技术人员在本发明的实质范围内做出的变化、改型、添加或替换,也应属于本发明的保护范围。

Claims (5)

1.一种提高存储系统性能的方法,其特征在于,包括:
获取IO命令的数量;
IO命令的数量低于设定值,则Expander卡利用Cache高效地完成IO命令,实现与硬盘之间的快速数据传输;
IO命令的数量高于设定值,则Expander卡将cache平均分配给挂载在Expander卡下的每个硬盘;
方法中,IO命令的数量高于设定值,
将待处理IO命令进行优先级排队,按照优先级由高到低,优先处理高优先级的IO命令;
方法还包括:IO命令的数量高于设定值时,
预设的IO 命令的参数,如果IO命令的参数相同则判断为相同IO命令,将相同IO命令进行捆绑,发送到同一硬盘进行处理,捆绑后的相同IO命令为同一级别的优先级;
方法还包括:IO命令的数量高于设定值时,Expander卡的FW将cache平均分配给挂载在Expander卡下的每个硬盘,使IO命令数量可以让每个硬盘满负荷运行,减少IO命令排队等待的时间。
2.根据权利要求1所述的提高存储系统性能的方法,其特征在于:
设定时间周期T,在周期T内只进行一次优先级的排队,后一周期T的IO命令不参与上一周期T的优先级排队。
3.根据权利要求2所述的提高存储系统性能的方法,其特征在于:一个周期T内,相同IO命令的数量大于Expander卡所挂载硬盘数量时,则将IO命令平均分组,分组数等于Expander卡所挂载硬盘数量。
4.根据权利要求1所述的提高存储系统性能的方法,其特征在于:
某一硬盘的IO命令执行结束后, Expander卡的FW会将cache重新划分,减少该硬盘占用的cache数量,分配给还在执行IO命令的其他硬盘。
5.根据权利要求1所述的提高存储系统性能的方法,其特征在于:
当执行的IO命令数量减少并低于所述的设定值时,则停止将cache平均分配给挂载在Expander卡下的每个硬盘,恢复到常规模式执行IO命令。
CN201910146740.9A 2019-02-27 2019-02-27 一种提高存储系统性能的方法 Active CN109885261B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910146740.9A CN109885261B (zh) 2019-02-27 2019-02-27 一种提高存储系统性能的方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910146740.9A CN109885261B (zh) 2019-02-27 2019-02-27 一种提高存储系统性能的方法

Publications (2)

Publication Number Publication Date
CN109885261A CN109885261A (zh) 2019-06-14
CN109885261B true CN109885261B (zh) 2022-08-05

Family

ID=66929748

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910146740.9A Active CN109885261B (zh) 2019-02-27 2019-02-27 一种提高存储系统性能的方法

Country Status (1)

Country Link
CN (1) CN109885261B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117827699B (zh) * 2023-12-27 2024-09-24 中电云计算技术有限公司 并行读cache持久化方法、装置、设备及存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103049215A (zh) * 2012-12-07 2013-04-17 记忆科技(深圳)有限公司 Io命令处理的方法及其固态硬盘
CN104991737A (zh) * 2015-06-18 2015-10-21 杭州电子科技大学 一种基于存储卡阵列架构的硬盘实现方法
CN107967224A (zh) * 2017-10-12 2018-04-27 记忆科技(深圳)有限公司 一种固态硬盘提升性能一致性的方法
CN109144908A (zh) * 2018-08-27 2019-01-04 郑州云海信息技术有限公司 一种基于级联Expander的数据存储系统及方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103049215A (zh) * 2012-12-07 2013-04-17 记忆科技(深圳)有限公司 Io命令处理的方法及其固态硬盘
CN104991737A (zh) * 2015-06-18 2015-10-21 杭州电子科技大学 一种基于存储卡阵列架构的硬盘实现方法
CN107967224A (zh) * 2017-10-12 2018-04-27 记忆科技(深圳)有限公司 一种固态硬盘提升性能一致性的方法
CN109144908A (zh) * 2018-08-27 2019-01-04 郑州云海信息技术有限公司 一种基于级联Expander的数据存储系统及方法

Also Published As

Publication number Publication date
CN109885261A (zh) 2019-06-14

Similar Documents

Publication Publication Date Title
CN102317917B (zh) 热点域虚拟机cpu调度方法及虚拟机系统
CN113238838A (zh) 一种任务调度方法、装置及计算机可读存储介质
KR101350755B1 (ko) 클라우드 컴퓨팅에서 다중 워크플로우를 위한 비용기반 스케줄링 방법 및 그 시스템
CN102630316B (zh) 并发任务的处理方法及装置
CN107291550B (zh) 一种针对迭代应用的Spark平台资源动态分配方法及系统
Shin et al. Deadline-guaranteed scheduling algorithm with improved resource utilization for cloud computing
CN101739293A (zh) 一种基于多线程的卫星数据产品生产任务并行调度方法
CN101013388A (zh) 面向异构多核体系的进程调度方法
CN102521265B (zh) 一种海量数据管理中动态一致性控制方法
CN103036946A (zh) 一种用于云平台处理文件备份任务的方法和系统
CN104199739B (zh) 一种基于负载均衡的推测式Hadoop调度方法
CN110362392A (zh) 一种etl任务调度方法、系统、设备及存储介质
CN108574645B (zh) 一种队列调度方法及装置
CN109799956B (zh) 一种存储控制器及io请求处理方法
CN107341041A (zh) 基于优先队列的云任务多维约束回填调度方法
US8090903B2 (en) Fair and dynamic disk input/output bandwidth distribution
CN111104211A (zh) 基于任务依赖的计算卸载方法、系统、设备及介质
CN111737015B (zh) 基于多gpu提高大幅面非线性编辑实时层数的方法
CN104571931B (zh) 基于系统资源的i/o请求合并调度系统与方法
CN103902361A (zh) 一种可动态调节尺寸的线程池
CN111176847B (zh) 物理核超多线程服务器上大数据集群性能优化方法及装置
CN109885261B (zh) 一种提高存储系统性能的方法
CN101777009A (zh) 应用程序的负载控管方法
CN114661415A (zh) 调度方法及计算机系统
CN114860449A (zh) 数据处理方法、装置、设备和存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant