CN109885261B - 一种提高存储系统性能的方法 - Google Patents
一种提高存储系统性能的方法 Download PDFInfo
- Publication number
- CN109885261B CN109885261B CN201910146740.9A CN201910146740A CN109885261B CN 109885261 B CN109885261 B CN 109885261B CN 201910146740 A CN201910146740 A CN 201910146740A CN 109885261 B CN109885261 B CN 109885261B
- Authority
- CN
- China
- Prior art keywords
- commands
- hard disk
- cache
- expander card
- same
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 16
- 230000005540 biological transmission Effects 0.000 claims abstract description 7
- 230000007423 decrease Effects 0.000 description 2
- 238000007792 addition Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000007812 deficiency Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Images
Landscapes
- Memory System Of A Hierarchy Structure (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明提供了一种提高存储系统性能的方法，包括：获取IO命令的数量；IO命令的数量低于设定值，则Expander卡利用Cache高效地完成IO命令，实现与硬盘之间的快速数据传输；IO命令的数量高于设定值，则Expander卡将cache平均分配给挂载在Expander卡下的每个硬盘。提高优化Expander下挂载的每个硬盘对Expander cache的利用率，实现存储系统性能的提高，满足客户对存储性能的需求。
Description
技术领域
本发明涉及的是一种提高存储系统性能的方法。
背景技术
在现有技术中，公知的技术是随着互联网和信息行业的飞速发展，大数据已经成为信息技术发展的趋势，在数据获取和快速分析需求的推动下，数据量开始了爆发性增长，推动着服务器行业向越来越多领域延伸，大量数据的珍贵价值使得人们对于存储性能的要求不断提高，因此对于大数据的传输和处理成为行业焦点，因此如何提高优化Expander下挂载的每个硬盘对Expander cache的利用率，实现存储系统性能的提高成为迫切需要解决的问题。
发明内容
本发明的目的就是针对现有技术所存在的不足，而提供一种提高存储系统性能的方法，该方法通过提高了cache利用率，实现存储系统的数据传输效率的提高，满足客户对存储性能的需求。
本方案是通过如下技术措施来实现的：一种提高存储系统性能的方法，
首先，获取IO命令的数量；然后将IO命令的数量与设定值进行比较；
如果，IO命令的数量低于设定值，则Expander卡利用Cache高效地完成IO命令，实现与硬盘之间的快速数据传输；即在常规模式下执行IO命令；
如果，IO命令的数量高于设定值，则Expander卡将cache平均分配给挂载在Expander卡下的每个硬盘。
结合IO命令的数量与设定值进行比较，可以及时的判断出工作状态，避免IO命令过多时，某一硬盘占用cache过大影响整体存储系统的数据传输效率。
当IO命令的数量高于设定值，将待处理IO命令进行优先级排队，按照优先级由高到低，优先处理高优先级的IO命令。这样可以优先处理高等级的IO命令，提高了客户的使用体验。
当IO命令的数量高于设定值时，根据预设的IO命令的参数判断有无相同的IO命令；
如果IO命令的参数相同则判断为相同IO命令，将相同IO命令进行捆绑，发送到同一硬盘进行处理，捆绑后的相同IO命令为同一级别的优先级。这样避免了相同IO命令被多次执行，浪费cache资源。
设定时间周期T，在周期T内只进行一次优先级的排队，后一周期T的IO命令不参与上一周期T的优先级排队。这样可以分时间段的执行，避免低优先级的IO命令一直处于等待状态。
在一个周期T内，相同IO命令的数量大于Expander卡所挂载硬盘数量时，则将IO命令平均分组，分组数等于Expander卡所挂载硬盘数量，这样避免捆绑的相同IO命令过多，使得某一硬盘一直执行，影响cache的使用率。
当某一硬盘的IO命令执行结束后，Expander卡的FW会将cache重新划分，减少该硬盘占用的cache数量，分配给还在执行IO命令的其他硬盘，提高了Expander卡下的硬盘的使用率。
当IO命令的数量高于设定值时，Expander卡的FW将cache平均分配给挂载在Expander卡下的每个硬盘，使IO命令数量可以让每个硬盘满负荷运行，减少IO命令排队等待的时间。
当执行的IO命令数量减少并低于所述的设定值时，则停止将cache平均分配给挂载在Expander卡下的每个硬盘，恢复到常规模式执行IO命令，这样可以充分调用cache，提高了存储系统性能。
由此可见，本发明与现有技术相比，具有突出的实质性特点和显著的进步，其实施的有益效果也是显而易见的。
附图说明
图1为本发明具体实施方式的流程图。
具体实施方式
为能清楚说明本方案的技术特点，下面通过一个具体实施方式，并结合其附图，对本方案进行阐述。
通过附图可以看出，本方案的提高存储系统性能的方法，包括：
获取IO命令的数量；
如果IO命令的数量低于设定值，则Expander卡利用Cache高效地完成IO命令，实现与硬盘之间的快速数据传输；
如果IO命令的数量高于设定值，则Expander卡的FW将cache平均分配给挂载在Expander卡下的每个硬盘，使IO命令数量可以让每个硬盘满负荷运行，减少IO命令排队等待的时间，某一硬盘的IO命令执行结束后，Expander卡的FW会将cache重新划分，减少该硬盘占用的cache数量，分配给还在执行IO命令的其他硬盘。
当执行的IO命令数量减少并低于所述的设定值时，则停止将cache平均分配给挂载在Expander卡下的每个硬盘，恢复到常规模式执行IO命令。
当IO命令的数量高于设定值时，将待处理IO命令进行优先级排队，按照优先级由高到低，优先处理高优先级的IO命令。并且设定时间周期T，在周期T内只进行一次优先级的排队，后一周期T的IO命令不参与上一周期T的优先级排队。
预设的IO命令的参数，如果IO命令的参数相同则判断为相同IO命令，当IO命令的数量高于设定值时，将相同IO命令进行捆绑，发送到同一硬盘进行处理，捆绑后的相同IO命令为同一级别的优先级。这样可以同时处理，避免重复处理的情况，提高存储系统性能。
在一个周期T内，相同IO命令的数量大于Expander卡所挂载硬盘数量时，则将IO命令平均分组，分组数等于Expander卡所挂载硬盘数量。
本发明并不仅限于上述具体实施方式，本领域普通技术人员在本发明的实质范围内做出的变化、改型、添加或替换，也应属于本发明的保护范围。
Claims (5)
1.一种提高存储系统性能的方法，其特征在于，包括：
获取IO命令的数量；
IO命令的数量低于设定值，则Expander卡利用Cache高效地完成IO命令，实现与硬盘之间的快速数据传输；
IO命令的数量高于设定值，则Expander卡将cache平均分配给挂载在Expander卡下的每个硬盘；
方法中，IO命令的数量高于设定值，
将待处理IO命令进行优先级排队，按照优先级由高到低，优先处理高优先级的IO命令；
方法还包括：IO命令的数量高于设定值时，
预设的IO 命令的参数，如果IO命令的参数相同则判断为相同IO命令，将相同IO命令进行捆绑，发送到同一硬盘进行处理，捆绑后的相同IO命令为同一级别的优先级；
方法还包括：IO命令的数量高于设定值时，Expander卡的FW将cache平均分配给挂载在Expander卡下的每个硬盘，使IO命令数量可以让每个硬盘满负荷运行，减少IO命令排队等待的时间。
2.根据权利要求1所述的提高存储系统性能的方法，其特征在于：
设定时间周期T，在周期T内只进行一次优先级的排队，后一周期T的IO命令不参与上一周期T的优先级排队。
3.根据权利要求2所述的提高存储系统性能的方法，其特征在于：一个周期T内，相同IO命令的数量大于Expander卡所挂载硬盘数量时，则将IO命令平均分组，分组数等于Expander卡所挂载硬盘数量。
4.根据权利要求1所述的提高存储系统性能的方法，其特征在于：
某一硬盘的IO命令执行结束后， Expander卡的FW会将cache重新划分，减少该硬盘占用的cache数量，分配给还在执行IO命令的其他硬盘。
5.根据权利要求1所述的提高存储系统性能的方法，其特征在于：
当执行的IO命令数量减少并低于所述的设定值时，则停止将cache平均分配给挂载在Expander卡下的每个硬盘，恢复到常规模式执行IO命令。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910146740.9A CN109885261B (zh) | 2019-02-27 | 2019-02-27 | 一种提高存储系统性能的方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910146740.9A CN109885261B (zh) | 2019-02-27 | 2019-02-27 | 一种提高存储系统性能的方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN109885261A CN109885261A (zh) | 2019-06-14 |
| CN109885261B true CN109885261B (zh) | 2022-08-05 |
Family
ID=66929748
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910146740.9A Active CN109885261B (zh) | 2019-02-27 | 2019-02-27 | 一种提高存储系统性能的方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN109885261B (zh) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117827699B (zh) * | 2023-12-27 | 2024-09-24 | 中电云计算技术有限公司 | 并行读cache持久化方法、装置、设备及存储介质 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103049215A (zh) * | 2012-12-07 | 2013-04-17 | 记忆科技(深圳)有限公司 | Io命令处理的方法及其固态硬盘 |
| CN104991737A (zh) * | 2015-06-18 | 2015-10-21 | 杭州电子科技大学 | 一种基于存储卡阵列架构的硬盘实现方法 |
| CN107967224A (zh) * | 2017-10-12 | 2018-04-27 | 记忆科技(深圳)有限公司 | 一种固态硬盘提升性能一致性的方法 |
| CN109144908A (zh) * | 2018-08-27 | 2019-01-04 | 郑州云海信息技术有限公司 | 一种基于级联Expander的数据存储系统及方法 |
-
2019
- 2019-02-27 CN CN201910146740.9A patent/CN109885261B/zh active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103049215A (zh) * | 2012-12-07 | 2013-04-17 | 记忆科技(深圳)有限公司 | Io命令处理的方法及其固态硬盘 |
| CN104991737A (zh) * | 2015-06-18 | 2015-10-21 | 杭州电子科技大学 | 一种基于存储卡阵列架构的硬盘实现方法 |
| CN107967224A (zh) * | 2017-10-12 | 2018-04-27 | 记忆科技(深圳)有限公司 | 一种固态硬盘提升性能一致性的方法 |
| CN109144908A (zh) * | 2018-08-27 | 2019-01-04 | 郑州云海信息技术有限公司 | 一种基于级联Expander的数据存储系统及方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN109885261A (zh) | 2019-06-14 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN102317917B (zh) | 热点域虚拟机cpu调度方法及虚拟机系统 | |
| CN113238838A (zh) | 一种任务调度方法、装置及计算机可读存储介质 | |
| KR101350755B1 (ko) | 클라우드 컴퓨팅에서 다중 워크플로우를 위한 비용기반 스케줄링 방법 및 그 시스템 | |
| CN102630316B (zh) | 并发任务的处理方法及装置 | |
| CN107291550B (zh) | 一种针对迭代应用的Spark平台资源动态分配方法及系统 | |
| Shin et al. | Deadline-guaranteed scheduling algorithm with improved resource utilization for cloud computing | |
| CN101739293A (zh) | 一种基于多线程的卫星数据产品生产任务并行调度方法 | |
| CN101013388A (zh) | 面向异构多核体系的进程调度方法 | |
| CN102521265B (zh) | 一种海量数据管理中动态一致性控制方法 | |
| CN103036946A (zh) | 一种用于云平台处理文件备份任务的方法和系统 | |
| CN104199739B (zh) | 一种基于负载均衡的推测式Hadoop调度方法 | |
| CN110362392A (zh) | 一种etl任务调度方法、系统、设备及存储介质 | |
| CN108574645B (zh) | 一种队列调度方法及装置 | |
| CN109799956B (zh) | 一种存储控制器及io请求处理方法 | |
| CN107341041A (zh) | 基于优先队列的云任务多维约束回填调度方法 | |
| US8090903B2 (en) | Fair and dynamic disk input/output bandwidth distribution | |
| CN111104211A (zh) | 基于任务依赖的计算卸载方法、系统、设备及介质 | |
| CN111737015B (zh) | 基于多gpu提高大幅面非线性编辑实时层数的方法 | |
| CN104571931B (zh) | 基于系统资源的i/o请求合并调度系统与方法 | |
| CN103902361A (zh) | 一种可动态调节尺寸的线程池 | |
| CN111176847B (zh) | 物理核超多线程服务器上大数据集群性能优化方法及装置 | |
| CN109885261B (zh) | 一种提高存储系统性能的方法 | |
| CN101777009A (zh) | 应用程序的负载控管方法 | |
| CN114661415A (zh) | 调度方法及计算机系统 | |
| CN114860449A (zh) | 数据处理方法、装置、设备和存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |