CN109885261B - 一种提高存储系统性能的方法 - Google Patents
一种提高存储系统性能的方法 Download PDFInfo
- Publication number
- CN109885261B CN109885261B CN201910146740.9A CN201910146740A CN109885261B CN 109885261 B CN109885261 B CN 109885261B CN 201910146740 A CN201910146740 A CN 201910146740A CN 109885261 B CN109885261 B CN 109885261B
- Authority
- CN
- China
- Prior art keywords
- commands
- hard disk
- cache
- expander card
- same
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 15
- 230000005540 biological transmission Effects 0.000 claims abstract description 6
- 238000007792 addition Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Images
Landscapes
- Memory System Of A Hierarchy Structure (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明提供了一种提高存储系统性能的方法，包括：获取IO命令的数量；IO命令的数量低于设定值，则Expander卡利用Cache高效地完成IO命令，实现与硬盘之间的快速数据传输；IO命令的数量高于设定值，则Expander卡将cache平均分配给挂载在Expander卡下的每个硬盘。提高优化Expander下挂载的每个硬盘对Expander cache的利用率，实现存储系统性能的提高，满足客户对存储性能的需求。
Description
技术领域
本发明涉及的是一种提高存储系统性能的方法。
背景技术
在现有技术中，公知的技术是随着互联网和信息行业的飞速发展，大数据已经成为信息技术发展的趋势，在数据获取和快速分析需求的推动下，数据量开始了爆发性增长，推动着服务器行业向越来越多领域延伸，大量数据的珍贵价值使得人们对于存储性能的要求不断提高，因此对于大数据的传输和处理成为行业焦点，因此如何提高优化Expander下挂载的每个硬盘对Expander cache的利用率，实现存储系统性能的提高成为迫切需要解决的问题。
发明内容
本发明的目的就是针对现有技术所存在的不足，而提供一种提高存储系统性能的方法，该方法通过提高了cache利用率，实现存储系统的数据传输效率的提高，满足客户对存储性能的需求。
本方案是通过如下技术措施来实现的：一种提高存储系统性能的方法，
首先，获取IO命令的数量；然后将IO命令的数量与设定值进行比较；
如果，IO命令的数量低于设定值，则Expander卡利用Cache高效地完成IO命令，实现与硬盘之间的快速数据传输；即在常规模式下执行IO命令；
如果，IO命令的数量高于设定值，则Expander卡将cache平均分配给挂载在Expander卡下的每个硬盘。
结合IO命令的数量与设定值进行比较，可以及时的判断出工作状态，避免IO命令过多时，某一硬盘占用cache过大影响整体存储系统的数据传输效率。
当IO命令的数量高于设定值，将待处理IO命令进行优先级排队，按照优先级由高到低，优先处理高优先级的IO命令。这样可以优先处理高等级的IO命令，提高了客户的使用体验。
当IO命令的数量高于设定值时，根据预设的IO命令的参数判断有无相同的IO命令；
如果IO命令的参数相同则判断为相同IO命令，将相同IO命令进行捆绑，发送到同一硬盘进行处理，捆绑后的相同IO命令为同一级别的优先级。这样避免了相同IO命令被多次执行，浪费cache资源。
设定时间周期T，在周期T内只进行一次优先级的排队，后一周期T的IO命令不参与上一周期T的优先级排队。这样可以分时间段的执行，避免低优先级的IO命令一直处于等待状态。
在一个周期T内，相同IO命令的数量大于Expander卡所挂载硬盘数量时，则将IO命令平均分组，分组数等于Expander卡所挂载硬盘数量，这样避免捆绑的相同IO命令过多，使得某一硬盘一直执行，影响cache的使用率。
当某一硬盘的IO命令执行结束后，Expander卡的FW会将cache重新划分，减少该硬盘占用的cache数量，分配给还在执行IO命令的其他硬盘，提高了Expander卡下的硬盘的使用率。
当IO命令的数量高于设定值时，Expander卡的FW将cache平均分配给挂载在Expander卡下的每个硬盘，使IO命令数量可以让每个硬盘满负荷运行，减少IO命令排队等待的时间。
当执行的IO命令数量减少并低于所述的设定值时，则停止将cache平均分配给挂载在Expander卡下的每个硬盘，恢复到常规模式执行IO命令，这样可以充分调用cache，提高了存储系统性能。
由此可见，本发明与现有技术相比，具有突出的实质性特点和显著的进步，其实施的有益效果也是显而易见的。
附图说明
图1为本发明具体实施方式的流程图。
具体实施方式
为能清楚说明本方案的技术特点，下面通过一个具体实施方式，并结合其附图，对本方案进行阐述。
通过附图可以看出，本方案的提高存储系统性能的方法，包括：
获取IO命令的数量；
如果IO命令的数量低于设定值，则Expander卡利用Cache高效地完成IO命令，实现与硬盘之间的快速数据传输；
如果IO命令的数量高于设定值，则Expander卡的FW将cache平均分配给挂载在Expander卡下的每个硬盘，使IO命令数量可以让每个硬盘满负荷运行，减少IO命令排队等待的时间，某一硬盘的IO命令执行结束后，Expander卡的FW会将cache重新划分，减少该硬盘占用的cache数量，分配给还在执行IO命令的其他硬盘。
当执行的IO命令数量减少并低于所述的设定值时，则停止将cache平均分配给挂载在Expander卡下的每个硬盘，恢复到常规模式执行IO命令。
当IO命令的数量高于设定值时，将待处理IO命令进行优先级排队，按照优先级由高到低，优先处理高优先级的IO命令。并且设定时间周期T，在周期T内只进行一次优先级的排队，后一周期T的IO命令不参与上一周期T的优先级排队。
预设的IO命令的参数，如果IO命令的参数相同则判断为相同IO命令，当IO命令的数量高于设定值时，将相同IO命令进行捆绑，发送到同一硬盘进行处理，捆绑后的相同IO命令为同一级别的优先级。这样可以同时处理，避免重复处理的情况，提高存储系统性能。
在一个周期T内，相同IO命令的数量大于Expander卡所挂载硬盘数量时，则将IO命令平均分组，分组数等于Expander卡所挂载硬盘数量。
本发明并不仅限于上述具体实施方式，本领域普通技术人员在本发明的实质范围内做出的变化、改型、添加或替换，也应属于本发明的保护范围。
Claims (5)
1.一种提高存储系统性能的方法，其特征在于，包括：
获取IO命令的数量；
IO命令的数量低于设定值，则Expander卡利用Cache高效地完成IO命令，实现与硬盘之间的快速数据传输；
IO命令的数量高于设定值，则Expander卡将cache平均分配给挂载在Expander卡下的每个硬盘；
方法中，IO命令的数量高于设定值，
将待处理IO命令进行优先级排队，按照优先级由高到低，优先处理高优先级的IO命令；
方法还包括：IO命令的数量高于设定值时，
预设的IO 命令的参数，如果IO命令的参数相同则判断为相同IO命令，将相同IO命令进行捆绑，发送到同一硬盘进行处理，捆绑后的相同IO命令为同一级别的优先级；
方法还包括：IO命令的数量高于设定值时，Expander卡的FW将cache平均分配给挂载在Expander卡下的每个硬盘，使IO命令数量可以让每个硬盘满负荷运行，减少IO命令排队等待的时间。
2.根据权利要求1所述的提高存储系统性能的方法，其特征在于：
设定时间周期T，在周期T内只进行一次优先级的排队，后一周期T的IO命令不参与上一周期T的优先级排队。
3.根据权利要求2所述的提高存储系统性能的方法，其特征在于：一个周期T内，相同IO命令的数量大于Expander卡所挂载硬盘数量时，则将IO命令平均分组，分组数等于Expander卡所挂载硬盘数量。
4.根据权利要求1所述的提高存储系统性能的方法，其特征在于：
某一硬盘的IO命令执行结束后， Expander卡的FW会将cache重新划分，减少该硬盘占用的cache数量，分配给还在执行IO命令的其他硬盘。
5.根据权利要求1所述的提高存储系统性能的方法，其特征在于：
当执行的IO命令数量减少并低于所述的设定值时，则停止将cache平均分配给挂载在Expander卡下的每个硬盘，恢复到常规模式执行IO命令。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910146740.9A CN109885261B (zh) | 2019-02-27 | 2019-02-27 | 一种提高存储系统性能的方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910146740.9A CN109885261B (zh) | 2019-02-27 | 2019-02-27 | 一种提高存储系统性能的方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN109885261A CN109885261A (zh) | 2019-06-14 |
| CN109885261B true CN109885261B (zh) | 2022-08-05 |
Family
ID=66929748
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910146740.9A Active CN109885261B (zh) | 2019-02-27 | 2019-02-27 | 一种提高存储系统性能的方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN109885261B (zh) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117827699B (zh) * | 2023-12-27 | 2024-09-24 | 中电云计算技术有限公司 | 并行读cache持久化方法、装置、设备及存储介质 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103049215A (zh) * | 2012-12-07 | 2013-04-17 | 记忆科技(深圳)有限公司 | Io命令处理的方法及其固态硬盘 |
| CN104991737A (zh) * | 2015-06-18 | 2015-10-21 | 杭州电子科技大学 | 一种基于存储卡阵列架构的硬盘实现方法 |
| CN107967224A (zh) * | 2017-10-12 | 2018-04-27 | 记忆科技(深圳)有限公司 | 一种固态硬盘提升性能一致性的方法 |
| CN109144908A (zh) * | 2018-08-27 | 2019-01-04 | 郑州云海信息技术有限公司 | 一种基于级联Expander的数据存储系统及方法 |
-
2019
- 2019-02-27 CN CN201910146740.9A patent/CN109885261B/zh active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103049215A (zh) * | 2012-12-07 | 2013-04-17 | 记忆科技(深圳)有限公司 | Io命令处理的方法及其固态硬盘 |
| CN104991737A (zh) * | 2015-06-18 | 2015-10-21 | 杭州电子科技大学 | 一种基于存储卡阵列架构的硬盘实现方法 |
| CN107967224A (zh) * | 2017-10-12 | 2018-04-27 | 记忆科技(深圳)有限公司 | 一种固态硬盘提升性能一致性的方法 |
| CN109144908A (zh) * | 2018-08-27 | 2019-01-04 | 郑州云海信息技术有限公司 | 一种基于级联Expander的数据存储系统及方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN109885261A (zh) | 2019-06-14 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN113238838B (zh) | 一种任务调度方法、装置及计算机可读存储介质 | |
| US7739268B2 (en) | Optimization of performing query compilations | |
| JP4797095B2 (ja) | バッチ処理多重化方法 | |
| US11194623B2 (en) | Resource scheduling method and related apparatus | |
| CN105824691B (zh) | 动态调节线程的方法及装置 | |
| CN102541460A (zh) | 一种多磁盘场景下的磁盘管理方法和设备 | |
| WO2020233262A1 (zh) | 一种基于Spark的多中心数据协同计算的流处理方法 | |
| WO2021253851A1 (zh) | 一种集群分布式资源调度方法、装置、设备及存储介质 | |
| CN112000703B (zh) | 数据入库处理方法、装置、计算机设备和存储介质 | |
| CN106598740A (zh) | 一种限制多线程程序占用cpu利用率的系统及限制方法 | |
| CN109885261B (zh) | 一种提高存储系统性能的方法 | |
| WO2018133821A1 (en) | Memory-aware plan negotiation in query concurrency control | |
| CN106775975B (zh) | 进程调度方法及装置 | |
| CN111782396B (zh) | 一种基于分布式数据库的并发弹性控制方法 | |
| US9864771B2 (en) | Method and server for synchronizing a plurality of clients accessing a database | |
| CN116974994A (zh) | 一种基于集群的高效能文件协作系统 | |
| CN111708799A (zh) | Spark任务处理方法、装置、电子设备及存储介质 | |
| CN112395063B (zh) | 一种动态多线程调度方法及系统 | |
| CN107220166A (zh) | 一种cpu占用率的统计方法及装置 | |
| CN109582460B (zh) | 一种Redis内存数据的淘汰方法和装置 | |
| CN106227739B (zh) | 一种实现基于多任务的数据请求方法 | |
| CN114860449A (zh) | 数据处理方法、装置、设备和存储介质 | |
| CN111176848B (zh) | 集群任务的处理方法、装置、设备和存储介质 | |
| CN109660576B (zh) | 用户数据实时迁移方法、存储介质、电子设备及系统 | |
| Wang et al. | OPTAS: Optimal data placement in MapReduce |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |