CN103744623A - 一种实现存储系统ssd缓存的数据智能降级的方法 - Google Patents
一种实现存储系统ssd缓存的数据智能降级的方法 Download PDFInfo
- Publication number
- CN103744623A CN103744623A CN201410011355.0A CN201410011355A CN103744623A CN 103744623 A CN103744623 A CN 103744623A CN 201410011355 A CN201410011355 A CN 201410011355A CN 103744623 A CN103744623 A CN 103744623A
- Authority
- CN
- China
- Prior art keywords
- module
- data
- degradation
- attribute
- ssd
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Memory System Of A Hierarchy Structure (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明公开了一种实现存储系统SSD缓存的数据智能降级的方法，所述方法采用一套缓存数据智能降级的策略，利用一个缓存数据智能降级线程，识别并统计缓存数据的降级特征属性，随后根据智能降级算法，当满足降级条件时，主动完成缓存数据的降级操作，将需要降级的数据块从SSD缓存中迁移至HDD硬盘中，从而实现缓存数据的主动降级，降低缓存污染，高效的利用SSD缓存空间。采用该方法，能够大幅降低缓存污染，保证缓存中的数据就是最热点的数据，保证SSD缓存空间的高效利用，提高存储系统吞吐量，减少响应时间，整体提高存储系统性能。
Description
技术领域
本发明涉及一种实现存储系统SSD缓存的数据智能降级的方法，通常用于存储系统中，旨在提供一种SSD缓存数据智能降级的方法。
技术背景
随着当今社会的进步，需要处理的数据信息越来越多，数据量呈爆炸式增长。这给传统的存储系统带来了诸多问题。传统存储系统一般使用机械式硬盘（HDD），传统存储系统的性能已经成为瓶颈。近两年，SSD即固态存储硬盘开始兴起。一方面，SSD本身具有快速随机存取、低耗能、超轻超薄、低故障率（非机械部件）等特点。另一方面，由于技术发展，SSD逐渐解决了容量小，顺序存取速度慢的问题。当前市场上的最新SSD，单盘容量达到几TB，PCIE接口的SSD 吞吐量超过1GB/s，IOPS达到几十万次/s。SSD性能全面超过传统机械硬盘，而其存取速度、响应时间等关键指标更是大幅超过传统机械硬盘。
但是因为SSD的价格要远远高于HDD硬盘，因此将SSD作为缓存既能满足当今数据处理的性能要求，又能不提高存储系统成本。
SSD具有一些特性，一是SSD具有特殊的读写特性，其读写性能不对称，SSD读性能远远大于写性能，尤其是在随机小数据的情况下，写操作对SSD的性能影响更严重；二是SSD的容量还远远小于HDD硬盘，因此SSD空间是极其珍贵的。
同时，存储系统传统缓存技术也面临着一些挑战。一是缓存的污染问题。一般来说，传统缓存技术只有在SSD缓存存满后才会触发降级操作，可想而知，此时缓存中一定会存在大量的过时数据，造成极大的缓存污染，并且会降低缓存的命中率；二是缓存的性能问题。传统缓存技术采用被动的降级策略，只有存在新的升级数据并且缓存已满的情况下，才会被动执行降级操作。首先从缓存中降级数据，为即将升级的数据腾出空间，然后才能执行数据的升级操作，可见这种被动策略会对缓存的性能产生一定影响。
发明内容
本发明要解决的技术问题是：
针对SSD特性和传统缓存技术的诸多问题，存储系统SSD缓存的数据智能降级方法急需解决两个问题。一是解决SSD缓存的污染问题，如何减少缓存的过时数据，降低缓存污染的程度，从而提高有限的SSD空间的有效利用率，缓存最有价值的数据；二是解决被动降级策略带来的性能问题，如何能够采取一个有效的策略，转被动为主动并且分离降级操作对升级操作的依赖，解决SSD读写特性的问题，提高缓存的整体性能。
通过该存储系统SSD缓存的数据智能降级的方法，能够实现SSD缓存数据智能的主动降级，大幅降低SSD缓存的缓存污染，提高缓存空间的有效利用率，提升缓存的整体性能，满足存储系统高性能的需求。
本发明所采用的技术方案为：
一种实现存储系统SSD缓存的数据智能降级的方法，该方法支持在不同的操作系统，实现SSD缓存数据的智能降级。
所述方法采用一套缓存数据智能降级的策略，利用一个缓存数据智能降级线程，识别并统计缓存数据的降级特征属性，随后根据智能降级算法，当满足降级条件时，主动完成缓存数据的降级操作，将需要降级的数据块从SSD缓存中迁移至HDD硬盘中，从而实现缓存数据的主动降级，降低缓存污染，高效的利用SSD缓存空间，采用独立的降级策略，在一定程度上保证升级操作的高效性。
所述方法包括系统如下：1）缓存数据降级监控模块；2）降级特征属性收集模块；3）降级特征属性统计模块；4）缓存数据降级策略模块；5）降级数据处理模块，其中：
模块1）缓存数据降级监控模块，负责触发缓存数据的降级操作，该模块可以根据定时时间或者SSD缓存容量占用百分比实现触发缓存数据降级的时机；定时时间或者SSD容量百分比均可以由用户指定。
模块2）降级特征属性收集模块，负责收集缓存中数据块的特征属性，特征属性包括访问时间和访问频率，该模块会对每个数据块的访问时间和访问频率这两项特征属性进行收集；
模块3）降级特征属性统计模块，负责统计计算缓存中数据块的特征属性信息，该模块会计算缓存中所有数据块的访问时间属性和访问频率属性的平均值，其中，访问时间属性按照时间等级划分，以小时为单位，最近一小时的访问时间等级为1，最近一小时至两小时的访问时间等级为2，以此类推，访问时间越久的数据块的时间等级就会越高；访问频率属性按照命中次数完成统计，平均值计算公式为特征属性值的总和/特征属性统计个数；
模块4）缓存数据降级策略模块，负责降级数据块的确定，首先，在缓存信息链表中，根据缓存数据块访问时间属性的平均值，将低于平均值的数据块信息拷贝至待降级链表；然后，在待降级链表中，根据缓存数据块访问频率属性的平均值，将低于平均值的数据块信息加入到降级链表；最后，清空待降级链表；
模块5）降级数据处理模块，负责处理数据块的降级，清除这部分数据块的缓存信息，首先，在缓存信息中清除降级数据块的缓存信息；然后，将待降级链表中的数据块加入到旧数据链表，并清空降级链表。
所述方法流程如下：
1、模块1）根据用户指定的缓存数据降级方式监控降级条件，判断是否满足降级条件，若未满足条件，则继续监控；若满足条件，则会调用模块2）；
2、模块2）收集缓存数据特征属性，两项特征属性收集完成后调用模块3）；
3、模块3）根据模块2）输入的特征属性信息，分别计算访问时间和访问频率的平均值，并调用模块4）；
4、模块4）根据模块3）输入的两项特征属性的平均值，获取降级链表的数据块，并调用模块5）；
5、模块5）清除降级数据块的缓存信息，完成将降级数据块加入至旧数据链表。
本发明的有益效果为：
采用该方法，能够保证SSD缓存数据的智能的主动降级，缓存最有价值的数据，高效的利用缓存，满足用户对高性能存储系统的需求，实现SSD缓存数据的智能降级，按照用户指定的降级触发方式，监控缓存数据的降级情况，根据智能降级策略主动完成缓存数据的降级操作，分离缓存降级升级策略，实现独立的主动的降级策略，大幅降低缓存污染，保证缓存中的数据就是最热点的数据，保证SSD缓存空间的高效利用，提高存储系统吞吐量，减少响应时间，整体提高存储系统性能。
因此采用此方法，能够高效、智能、主动的实现存储系统SSD缓存数据的智能降级。
附图说明
图1为本发明数据智能降级整体流程示意图；
图2为缓存数据降级策略模块流程示意图；
图3为降级数据处理模块流程示意图。
具体实施方式
下面参照附图，通过具体实施方式对本发明进一步说明：
本发明实施方案非常简单，只需要在LINUX内核中安装本发明的系统模块程序即可。
根据本发明，SSD缓存系统能够自动实现缓存数据的智能降级，当存储系统需要降级缓存数据时，SSD缓存系统会智能的主动的完成降级数据的识别和降级操作，满足SSD缓存系统的数据智能降级的特性。
一种实现存储系统SSD缓存的数据智能降级的方法，该方法支持在不同的操作系统，实现SSD缓存数据的智能降级。
所述方法采用一套缓存数据智能降级的策略，利用一个缓存数据智能降级线程，识别并统计缓存数据的降级特征属性，随后根据智能降级算法，当满足降级条件时，主动完成缓存数据的降级操作，将需要降级的数据块从SSD缓存中迁移至HDD硬盘中，从而实现缓存数据的主动降级，降低缓存污染，高效的利用SSD缓存空间，采用独立的降级策略，在一定程度上保证升级操作的高效性。
所述方法包括系统如下：1）缓存数据降级监控模块；2）降级特征属性收集模块；3）降级特征属性统计模块；4）缓存数据降级策略模块；5）降级数据处理模块，其中：
模块1）缓存数据降级监控模块，负责触发缓存数据的降级操作，该模块可以根据定时时间或者SSD缓存容量占用百分比实现触发缓存数据降级的时机；定时时间或者SSD容量百分比均可以由用户指定。
模块2）降级特征属性收集模块，负责收集缓存中数据块的特征属性，特征属性包括访问时间和访问频率，该模块会对每个数据块的访问时间和访问频率这两项特征属性进行收集；
模块3）降级特征属性统计模块，负责统计计算缓存中数据块的特征属性信息，该模块会计算缓存中所有数据块的访问时间属性和访问频率属性的平均值，其中，访问时间属性按照时间等级划分，以小时为单位，最近一小时的访问时间等级为1，最近一小时至两小时的访问时间等级为2，以此类推，访问时间越久的数据块的时间等级就会越高；访问频率属性按照命中次数完成统计，平均值计算公式为特征属性值的总和/特征属性统计个数；
模块4）缓存数据降级策略模块，负责降级数据块的确定，如图2所示，首先，在缓存信息链表中，根据缓存数据块访问时间属性的平均值，将低于平均值的数据块信息拷贝至待降级链表；然后，在待降级链表中，根据缓存数据块访问频率属性的平均值，将低于平均值的数据块信息加入到降级链表；最后，清空待降级链表；
模块5）降级数据处理模块，负责处理数据块的降级，清除这部分数据块的缓存信息，如图3所示，首先，在缓存信息中清除降级数据块的缓存信息；然后，将待降级链表中的数据块加入到旧数据链表，并清空降级链表。
如图1所示，所述方法流程如下：
1、模块1）根据用户指定的缓存数据降级方式监控降级条件，判断是否满足降级条件，若未满足条件，则继续监控；若满足条件，则会调用模块2）；
2、模块2）收集缓存数据特征属性，两项特征属性收集完成后调用模块3）；
3、模块3）根据模块2）输入的特征属性信息，分别计算访问时间和访问频率的平均值，并调用模块4）；
4、模块4）根据模块3）输入的两项特征属性的平均值，获取降级链表的数据块，并调用模块5）；
5、模块5）清除降级数据块的缓存信息，完成将降级数据块加入至旧数据链表。
Claims (2)
1.一种实现存储系统SSD缓存的数据智能降级的方法，其特征在于：所述方法采用一套缓存数据智能降级的策略，利用一个缓存数据智能降级线程，识别并统计缓存数据的降级特征属性，随后根据智能降级算法，当满足降级条件时，主动完成缓存数据的降级操作，将需要降级的数据块从SSD缓存中迁移至HDD硬盘中，实现缓存数据的主动降级，降低缓存污染，高效的利用SSD缓存空间，所述方法包括系统如下：1）缓存数据降级监控模块；2）降级特征属性收集模块；3）降级特征属性统计模块；4）缓存数据降级策略模块；5）降级数据处理模块，其中：
模块1）缓存数据降级监控模块，负责触发缓存数据的降级操作，根据定时时间或者SSD缓存容量占用百分比实现触发缓存数据降级的时机；
模块2）降级特征属性收集模块，负责收集缓存中数据块的特征属性，特征属性包括访问时间和访问频率，该模块会对每个数据块的访问时间和访问频率这两项特征属性进行收集；
模块3）降级特征属性统计模块，负责统计计算缓存中数据块的特征属性信息，该模块会计算缓存中所有数据块的访问时间属性和访问频率属性的平均值，其中，访问时间属性按照时间等级划分，以小时为单位，最近一小时的访问时间等级为1，最近一小时至两小时的访问时间等级为2，以此类推，访问时间越久的数据块的时间等级就会越高；访问频率属性按照命中次数完成统计，平均值计算公式为特征属性值的总和/特征属性统计个数；
模块4）缓存数据降级策略模块，负责降级数据块的确定，首先，在缓存信息链表中，根据缓存数据块访问时间属性的平均值，将低于平均值的数据块信息拷贝至待降级链表；然后，在待降级链表中，根据缓存数据块访问频率属性的平均值，将低于平均值的数据块信息加入到降级链表；最后，清空待降级链表；
模块5）降级数据处理模块，负责处理数据块的降级，清除这部分数据块的缓存信息，首先，在缓存信息中清除降级数据块的缓存信息；然后，将待降级链表中的数据块加入到旧数据链表，并清空降级链表。
2.根据权利要求1所述的一种实现存储系统SSD缓存的数据智能降级的方法，其特征在于，所述方法流程如下：
a、模块1）根据用户指定的缓存数据降级方式监控降级条件，判断是否满足降级条件，若未满足条件，则继续监控；若满足条件，则会调用模块2）；
b、模块2）收集缓存数据特征属性，两项特征属性收集完成后调用模块3）；
c、模块3）根据模块2）输入的特征属性信息，分别计算访问时间和访问频率的平均值，并调用模块4）；
d、模块4）根据模块3）输入的两项特征属性的平均值，获取降级链表的数据块，并调用模块5）；
e、模块5）清除降级数据块的缓存信息，完成将降级数据块加入至旧数据链表。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201410011355.0A CN103744623A (zh) | 2014-01-10 | 2014-01-10 | 一种实现存储系统ssd缓存的数据智能降级的方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201410011355.0A CN103744623A (zh) | 2014-01-10 | 2014-01-10 | 一种实现存储系统ssd缓存的数据智能降级的方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN103744623A true CN103744623A (zh) | 2014-04-23 |
Family
ID=50501644
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201410011355.0A Pending CN103744623A (zh) | 2014-01-10 | 2014-01-10 | 一种实现存储系统ssd缓存的数据智能降级的方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN103744623A (zh) |
Cited By (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104123264A (zh) * | 2014-08-01 | 2014-10-29 | 浪潮(北京)电子信息产业有限公司 | 一种基于异构融合架构的缓存管理方法及装置 |
| CN105224473A (zh) * | 2015-09-15 | 2016-01-06 | 浪潮(北京)电子信息产业有限公司 | 一种固态硬盘缓存数据的更新方法及装置 |
| CN105302493A (zh) * | 2015-11-19 | 2016-02-03 | 浪潮(北京)电子信息产业有限公司 | 一种混合存储阵列中ssd缓存的换入换出控制方法及系统 |
| CN105653642A (zh) * | 2015-12-25 | 2016-06-08 | 曙光信息产业股份有限公司 | 分布式文件系统的数据管理方法和装置 |
| CN106484329A (zh) * | 2016-09-26 | 2017-03-08 | 浪潮电子信息产业股份有限公司 | 一种基于多级存储的大数据传输完整性保护机制 |
| CN106933495A (zh) * | 2015-12-30 | 2017-07-07 | 华为技术有限公司 | 一种数据读取方法、raid控制器及存储设备 |
| CN107168652A (zh) * | 2017-05-19 | 2017-09-15 | 郑州云海信息技术有限公司 | 一种提升SSD Cache读性能的方法 |
| WO2018157278A1 (zh) * | 2017-02-28 | 2018-09-07 | 华为技术有限公司 | 缓存管理方法、缓存管理器、共享缓存和终端 |
| CN109726035A (zh) * | 2017-10-31 | 2019-05-07 | 美光科技公司 | 用以防止数据丢失的eol性能节流 |
| CN112825023A (zh) * | 2019-11-20 | 2021-05-21 | 上海商汤智能科技有限公司 | 集群资源管理方法、装置、电子设备和存储介质 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20080172423A1 (en) * | 2005-09-12 | 2008-07-17 | Fujitsu Limited | Hsm control program, hsm control apparatus, and hsm control method |
| CN102667772A (zh) * | 2010-03-01 | 2012-09-12 | 株式会社日立制作所 | 文件级分级存储管理系统、方法和设备 |
| CN103078933A (zh) * | 2012-12-29 | 2013-05-01 | 深圳先进技术研究院 | 一种确定数据迁移时机的方法和装置 |
| CN103106047A (zh) * | 2013-01-29 | 2013-05-15 | 浪潮(北京)电子信息产业有限公司 | 一种基于对象的存储系统及其存储方法 |
-
2014
- 2014-01-10 CN CN201410011355.0A patent/CN103744623A/zh active Pending
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20080172423A1 (en) * | 2005-09-12 | 2008-07-17 | Fujitsu Limited | Hsm control program, hsm control apparatus, and hsm control method |
| CN102667772A (zh) * | 2010-03-01 | 2012-09-12 | 株式会社日立制作所 | 文件级分级存储管理系统、方法和设备 |
| CN103078933A (zh) * | 2012-12-29 | 2013-05-01 | 深圳先进技术研究院 | 一种确定数据迁移时机的方法和装置 |
| CN103106047A (zh) * | 2013-01-29 | 2013-05-15 | 浪潮(北京)电子信息产业有限公司 | 一种基于对象的存储系统及其存储方法 |
Cited By (18)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104123264A (zh) * | 2014-08-01 | 2014-10-29 | 浪潮(北京)电子信息产业有限公司 | 一种基于异构融合架构的缓存管理方法及装置 |
| CN105224473A (zh) * | 2015-09-15 | 2016-01-06 | 浪潮(北京)电子信息产业有限公司 | 一种固态硬盘缓存数据的更新方法及装置 |
| CN105302493B (zh) * | 2015-11-19 | 2018-04-17 | 浪潮(北京)电子信息产业有限公司 | 一种混合存储阵列中ssd缓存的换入换出控制方法及系统 |
| CN105302493A (zh) * | 2015-11-19 | 2016-02-03 | 浪潮(北京)电子信息产业有限公司 | 一种混合存储阵列中ssd缓存的换入换出控制方法及系统 |
| CN105653642A (zh) * | 2015-12-25 | 2016-06-08 | 曙光信息产业股份有限公司 | 分布式文件系统的数据管理方法和装置 |
| CN106933495A (zh) * | 2015-12-30 | 2017-07-07 | 华为技术有限公司 | 一种数据读取方法、raid控制器及存储设备 |
| CN106933495B (zh) * | 2015-12-30 | 2019-07-23 | 华为技术有限公司 | 一种数据读取方法、raid控制器及存储设备 |
| CN106484329A (zh) * | 2016-09-26 | 2017-03-08 | 浪潮电子信息产业股份有限公司 | 一种基于多级存储的大数据传输完整性保护机制 |
| CN106484329B (zh) * | 2016-09-26 | 2019-01-08 | 浪潮电子信息产业股份有限公司 | 一种基于多级存储的大数据传输完整性保护方法 |
| WO2018157278A1 (zh) * | 2017-02-28 | 2018-09-07 | 华为技术有限公司 | 缓存管理方法、缓存管理器、共享缓存和终端 |
| CN109196473A (zh) * | 2017-02-28 | 2019-01-11 | 华为技术有限公司 | 缓存管理方法、缓存管理器、共享缓存和终端 |
| CN109196473B (zh) * | 2017-02-28 | 2021-10-01 | 华为技术有限公司 | 缓存管理方法、缓存管理器、共享缓存和终端 |
| CN107168652A (zh) * | 2017-05-19 | 2017-09-15 | 郑州云海信息技术有限公司 | 一种提升SSD Cache读性能的方法 |
| CN109726035A (zh) * | 2017-10-31 | 2019-05-07 | 美光科技公司 | 用以防止数据丢失的eol性能节流 |
| US10998066B2 (en) | 2017-10-31 | 2021-05-04 | Micron Technology, Inc. | End of life performance throttling to prevent data loss |
| CN109726035B (zh) * | 2017-10-31 | 2022-02-25 | 美光科技公司 | 存储器装置、操作该装置的方法和非易失性机器可读媒体 |
| US11756638B2 (en) | 2017-10-31 | 2023-09-12 | Micron Technology, Inc. | End of life performance throttling to prevent data loss |
| CN112825023A (zh) * | 2019-11-20 | 2021-05-21 | 上海商汤智能科技有限公司 | 集群资源管理方法、装置、电子设备和存储介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN103744623A (zh) | 一种实现存储系统ssd缓存的数据智能降级的方法 | |
| CN101673188B (zh) | 一种固态硬盘的数据存取方法 | |
| US9152599B2 (en) | Managing cache memories | |
| CN104536701A (zh) | 一种nvme协议多命令队列的实现方法及系统 | |
| WO2014015828A1 (zh) | 数据存储空间的处理方法、处理系统及数据存储服务器 | |
| CN113836084A (zh) | 一种数据存储方法、装置和系统 | |
| CN104516824B (zh) | 数据存储系统中的存储管理方法和系统 | |
| CN101751225B (zh) | 一种混合硬盘的数据存取方法 | |
| CN102982122A (zh) | 一种适用于海量存储系统的重复数据删除方法 | |
| CN106469123A (zh) | 一种基于nvdimm的写缓存分配、释放方法及其装置 | |
| CN105095495B (zh) | 一种分布式文件系统缓存管理方法和系统 | |
| CN102981783A (zh) | 一种基于Nand Flash的Cache加速方法 | |
| CN102541746B (zh) | 一种队列的数据处理方法和系统 | |
| CN104050057B (zh) | 一种历史感知的数据去重碎片消除方法与系统 | |
| CN113672166A (zh) | 数据处理方法、装置、电子设备及存储介质 | |
| CN105373487A (zh) | 一种存储操作系统的碎片整理方法及系统 | |
| US10146783B2 (en) | Using file element accesses to select file elements in a file system to defragment | |
| CN106681660A (zh) | Io调度方法及io调度装置 | |
| CN106201918B (zh) | 一种基于大数据量和大规模缓存快速释放的方法和系统 | |
| CN106469119A (zh) | 一种基于nvdimm的数据写缓存方法及其装置 | |
| CN103150268A (zh) | 一种cdp中的块级数据捕获方法 | |
| CN108958667A (zh) | 一种基于分布式存储系统的数据读取方法、系统及装置 | |
| CN107274923A (zh) | 一种提高固态硬盘中顺序读取流性能的方法及固态硬盘 | |
| CN102609486A (zh) | 一种Linux文件系统的数据读写加速方法 | |
| CN103744624A (zh) | 一种实现存储系统ssd缓存数据选择性升级的系统架构 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20140423 |
|
| RJ01 | Rejection of invention patent application after publication |