CN105892947B - 一种节能存储系统的ssd与hdd混合缓存管理方法及系统 - Google Patents

一种节能存储系统的ssd与hdd混合缓存管理方法及系统 Download PDF

Info

Publication number
CN105892947B
CN105892947B CN201610196315.7A CN201610196315A CN105892947B CN 105892947 B CN105892947 B CN 105892947B CN 201610196315 A CN201610196315 A CN 201610196315A CN 105892947 B CN105892947 B CN 105892947B
Authority
CN
China
Prior art keywords
data
caching
hdd
ssd
request
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201610196315.7A
Other languages
English (en)
Other versions
CN105892947A (zh
Inventor
万继光
刘丽琼
瞿晓阳
谭志虎
谢长生
张钰彪
张和泉
李大平
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Huazhong University of Science and Technology
Original Assignee
Huazhong University of Science and Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Huazhong University of Science and Technology filed Critical Huazhong University of Science and Technology
Priority to CN201610196315.7A priority Critical patent/CN105892947B/zh
Publication of CN105892947A publication Critical patent/CN105892947A/zh
Application granted granted Critical
Publication of CN105892947B publication Critical patent/CN105892947B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0602—Interfaces specially adapted for storage systems specifically adapted to achieve a particular effect
    • G06F3/0625—Power saving in storage systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0628—Interfaces specially adapted for storage systems making use of a particular technique
    • G06F3/0655—Vertical data movement, i.e. input-output transfer; data movement between one or more hosts and one or more storage devices
    • G06F3/0656—Data buffering arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0668—Interfaces specially adapted for storage systems adopting a particular infrastructure
    • G06F3/0671—In-line storage system
    • G06F3/0673—Single storage device
    • G06F3/068—Hybrid storage device

Abstract

本发明公开了一种节能存储系统的SSD与HDD混合缓存管理方法及系统，其方法包括：构建包括SSD缓存与HDD缓存的混合缓存，利用SSD缓存存放最热数据，用HDD缓存存放次热数据；创建基于状态与热度结合的全局访问表；根据全局访问表对用户请求进行分类处理；根据供电状况对主存储池的数据节点进行操作：在面向新能源的节能存储系统的主存储池之上引入由SSD缓存和HDD缓存组成的混合缓存；在供电不足时段，缓存层在处理存储系统的绝大部分请求，在保证数据可用性和存取性能的同时，减少对主存储池的访问次数；并优先淘汰缓存中处于开启状态磁盘的数据，尽可能在HDD缓存中保留关闭磁盘的数据，减少关闭磁盘的被动开启，起到减少磁盘被动开启、降低访问能耗的作用。

Description

一种节能存储系统的SSD与HDD混合缓存管理方法及系统
技术领域
本发明属于信息存储技术领域，更具体地，涉及一种节能存储系统的SSD与HDD混合缓存管理方法及系统。
背景技术
随着信息技术的高速发展，信息量的爆炸式增长给数据中心带来了巨大的能耗需求，存储系统的能耗在数据中心总能耗中的占比逐渐增大；主要原因包括：(1)单个存储设备的容量增长速度缓慢，需要更多的存储设备以满足急剧增长的数据存储需求，导致存储设备的能效提升速度缓慢；(2)存储设备性能的提升速度落后于存储容量的增长速度，导致存储系统的能效指数增长缓慢；(3)存储部件能效的提升速度远远低于计算部件能效的提升速度，当数据中心的负载较低的时候，存储设备的能耗占数据中心总体能耗的比例显著增大；(4)随着云存储支撑的云环境的发展，“胖服务器瘦客户端”的服务趋势使更多的数据存储在数据中心，进一步增加了数据中心存储系统的负担。
现有技术引入了新能源来解决数据中心存储系统能耗问题；但新能源的间歇性和不稳定性对数据存储稳定性可靠性带来了很大的挑战，具体为：
(1)在能源供应不足时段，如何找到最佳的数据组织方案来开启最少的存储节点以保证数据可用性；
(2)在能源不足时，迁移哪些数据、关闭哪些节点以满足系统的可用性；若不能有效组织经常访问的节点和较少访问的节点的数据布局，会导致性能下降，可靠性降低，甚至出现数据无法正常访问的问题；
(3)当能源的供应大于负载需求时，迁移哪些数据、开启哪些存储节点以最大化地利用新能源、发挥存储系统的性能；在开启部分节点后，如何组织和管理这些节点里的数据将影响到存储系统的负载均衡、可用性以及可靠性。
发明内容
针对现有技术的以上缺陷或改进需求，本发明提供了一种节能存储系统的SSD(Solid-State Drives)与HDD(Hard Disk Drive)混合缓存管理方法及系统，其目的在于在能源供电不足时段减少对主存储池的访问次数，降低该时段的能耗需求。
为实现上述目的，按照本发明的一个方面，提供了一种节能存储系统的SSD与HDD混合缓存管理方法，具体如下：
(1)构建包括SSD缓存与HDD缓存的混合缓存；SSD缓存用于存放最热数据，从而充分利用SSD的高性能；而HDD缓存作为SSD容量的补充，存放次热数据；
其中，最热数据是指访问频率超过M(M>0)的数据集，次热数据是指访问频率介于N(0<N<M)与M之间的数据集；其中，M与N可根据系统由用户设置；
(2)创建基于状态与热度结合的全局访问表，维护全局数据访问信息；在所述全文访问表中，以“对象编号，磁盘编号，热度值”的格式记录各数据对象的状态信息；
(3)对用户请求进行分类处理；
对于写请求，根据全局访问表将写请求的数据优先写在缓存层的SSD中，并在磁盘缓存中以日志方式写入副本；
由此保证数据可靠性，既可以提高写性能，又可以将该写请求后续的倒盘操作延迟至供电充足的时段，从而充分利用新能源所供电力；
对于读请求，根据全局访问表确定请求的数据所在的位置；优先在缓存层中查找目标数据，若未在缓存层的SSD缓存和HDD缓存中命中，则进入主存储池中查找请求的数据。
优选地，上述节能存储系统的SSD与HDD混合缓存管理方法，其步骤(3)包括如下子步骤：
(3-1)判断用户请求类型，若是读请求则进入步骤(3-2)，若是写请求则进入步骤(3-5)；
(3-2)根据全局访问表判断用户请求的数据是否存在SSD缓存中：若是，则更新该数据对象在全局访问表中的状态，并返回请求数据，结束请求；若否，则进入步骤(3-3)；
(3-3)采用全局访问表判断用户请求的数据是否在HDD缓存中，若是，则更新该数据对象在全局访问表中的状态，并返回请求数据，结束请求；若否，则进入步骤(3-4)；
(3-4)开启主存储池中存放数据的磁盘；从磁盘中读取用户请求的数据，结束请求；
(3-5)采用全局访问表判断请求的数据是否在SSD缓存中；若是，则更新命中的数据，并更新该数据在全局访问表的状态，并结束请求；若否，则进入步骤(3-6)；
(3-6)采用全局访问表判断请求的数据是否在HDD缓存中；若是，则更新命中的数据，并更新该数据在全局访问表的状态，并结束请求；若否，则进入步骤(3-7)；
(3-7)判断SSD缓存中是否有多余的空间；若是，则将新数据写入SSD缓存；若否，则进入步骤(3-8)；
(3-8)对SSD缓存中的数据按照LRU算法(Least Recently Used，近期最少使用算法)淘汰部分数据获得新的数据，并将新的数据写入到HDD缓存中，结束请求。
优选地，上述节能存储系统的SSD与HDD混合缓存管理方法，对于数据淘汰，优先淘汰缓存中开启磁盘的冷数据；其中，冷数据是指访问频率小于N的数据集。
优选地，本发明提供的节能存储系统的SSD与HDD混合缓存管理方法，步骤(3)之后还包括基于供电状况的缓存管理步骤，具体如下：
(4-1)当能源供应为0时，关闭主存储池中所有HDD磁盘，开启SSD缓存和HDD缓存；
(4-2)当能源供应不足时，优先关闭最热数据少的磁盘和次热数据少的磁盘，以减少数据迁移量；
(4-3)当能源供应充足时，优先开启在缓存中数据量最大的磁盘，以释放更多的缓存空间。
优选地，上述节能存储系统的SSD与HDD混合缓存管理方法，其步骤(4-2)包括以下子步骤：
(4-2-1)计算需要关闭的磁盘个数；减少的新能源供应量为I，而单位节点需要消耗的能量为K，那么关闭的磁盘个数为I/K；
(4-2-2)根据全局访问表对需要关闭的磁盘上的热数据数量进行统计并排序；
(4-2-3)将待关闭磁盘的热数据预取到HDD缓存中；
(4-2-4)根据排序情况关闭次热数据最少的磁盘，以减少磁盘的数据迁移。
优选地，上述节能存储系统的SSD与HDD混合缓存管理方法，对于数据预取，优先从主存储池中预取关闭磁盘的最热数据和次热数据。
优选地，上述节能存储系统的SSD与HDD混合缓存管理方法，其步骤(4-3)包括以下子步骤：
(4-3-1)计算需要关闭的磁盘个数；增加的新能源供应量为H，而单位节点需要消耗的能量为J，则关闭的磁盘个数为H/J；
(4-3-2)根据全局访问表对每个磁盘的热数据数量进行统计并排序；
(4-3-3)根据上述排序情况开启次热数据最多的磁盘，从而让HDD缓存腾出更多的空间；
(4-3-4)对HDD缓存的数据进行淘汰。
为实现本发明目的，按照本发明的另一方面，提供了一种节能存储系统的SSD与HDD混合缓存管理系统，包括：
(1)第一模块，包括SSD缓存和HDD缓存组成的混合缓存；SSD缓存主要是存放最热数据，从而充分利用SSD的高性能，而HDD缓存作为SSD容量的补充，存放次热数据，从而尽可能保证存储系统在能源供应不足期间的数据可用性，主存储区则存放完整的数据集；
(2)第二模块，用于创建基于状态与热度结合的全局访问表，维护全局数据访问信息；采用“对象编号，磁盘编号，热度值”的格式记录每个对象数据的状态信息；
(3)第三模块，用于分类处理用户请求；
对于写请求，根据全局访问表将所请求的数据优先写在缓存层的SSD中，并在磁盘缓存中以日志方式写入副本；以保证数据可靠性，这样既可以提供较高的写性能，也可以将该写请求后续的倒盘操作延迟至供电充足的时段，从而充分利用新能源所供电力；
对于读请求，根据全局访问表确定数据所在位置，优先在缓存层中查找目标数据，如果未在缓存层的SSD缓存和HDD缓存中命中，则进入主存储池中查找请求的数据；
(4)第四模块，用于根据收集到的新能源数据获取新能源供电状况，并根据供电状况对选择性的开启主存储池中的数据节点。
总体而言，通过本发明所构思的以上技术方案与现有技术相比，能够取得下列有益效果；
(1)本发明提供的节能存储系统的SSD与HDD混合缓存管理方法及系统，在面向新能源的节能存储系统的主存储池之上加入由SSD缓存和HDD缓存组成的混合缓存，在供电不足时段，缓存层处理存储系统的绝大部分请求，保证数据可用性和存取性能的同时，最大程度减少对主存储池的访问次数，因为主存储池的操作能耗高，由此可降低访问能耗；
(2)本发明提供的节能存储系统的SSD与HDD混合缓存管理方法及系统，为了减少对处于关闭状态磁盘的访问，还包括基于供电状况的缓存管理步骤，优先淘汰缓存中处于开启状态磁盘的数据，尽可能在HDD缓存中保留关闭磁盘的数据，从而减少已关闭磁盘的被动开启；
在能源供应不足时，优先关闭热数据和次热数据比较少的磁盘，从而减少数据迁移量；而当能源充足时，优先开启在缓存中数据量最大的磁盘，从而释放更多的缓存空间；由于访问已关闭磁盘的数据需要先开启磁盘，而开启磁盘会带来相对较大的延迟时间，以至于影响到存储系统的整体访问性能；本方法通过减少被动开启，减少数据迁移量，不仅减少存储访问能耗，还达到开启最少的存储节点以保证数据可用性的目的，并且减少磁盘开启带来的延时，提高存储系统的整体访问性能；
(3)本发明提供的节能存储系统的SSD与HDD混合缓存管理方法及系统，将最热数据与次热数据分开存储，起到有效组织经常访问的节点和较少访问的节点的数据布局的作用，提高存储的可靠性。
附图说明
图1是本发明实施例中SSD和HDD混合缓存的缓存区域划分示意图；
图2是本发明实施例中基于供电状况的缓存管理方法示意图；
图3是本发明实施例中分层分布式存储系统示意图；
图4是本发明实施例中的混合缓存的访问路径示意图；
图5是本发明实施例中的混合缓存的访问流程图；
图6是本发明实施例中的基于新能源的能耗调度以及缓存管理流程图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。此外，下面所描述的本发明各个实施方式中所涉及到的技术特征只要彼此之间未构成冲突就可以相互组合。
本发明的整体思路在于，在面向新能源的节能存储系统的主存储池之上引入SSD和HDD组成的混合缓存；在新能源供电不足时段，缓存层在处理存储系统的绝大部分请求，在保证数据可用性和存取性能的同时，最大程度减少对主存储池的访问次数；由于主存储区的磁盘存在开启与关闭两种不同状态，为了减少对处于关闭状态磁盘的访问，优先淘汰缓存中处于开启状态磁盘的数据，尽可能在HDD缓存中保留关闭磁盘的数据，减少关闭磁盘的被动开启。
图1所示，是本发明实施例中SSD和HDD混合缓存的缓存区域划分示意图；其中，SSD缓存用于存放最热数据，而HDD缓存作为SSD容量的补充，存放次热数据，以尽可能保证存储系统在供应不足期间的数据可用性，主存储区用于存放完整的数据集。
图2所示，是本发明实施例中基于供电状况的缓存管理方法中HDD缓存的淘汰算法示意图；
其中，LRU-链表：是为了保证最近被访问但是访问频率很低的数据被淘汰；Hotness-链表：为了保正访问频率很低但是最近没有被访问的数据被淘汰；对象的属性包括对象编号，磁盘编号，热度值，所在磁盘的开关状态，所在位置。
实施例所提供的节能存储系统的SSD与HDD混合缓存管理方法，包括以下步骤：
(1)构建包括SSD缓存与HDD缓存的混合缓存；SSD缓存用于存放最热数据，从而充分利用SSD的高性能；而HDD缓存作为SSD容量的补充，存放次热数据；
其中，最热数据是指访问频率超过10次/天的数据集，次热数据是指访问频率介于5次/天与10次/天之间的数据集；
(2)采用基于状态与热度结合的全局访问表来维护全局数据访问信息，每个数据对象都以“对象编号，磁盘编号，热度值”的格式记录每个对象的状态信息；并用不同的形状表示磁盘的开关状态；图2中，矩形表示磁盘是开启状态，椭圆表示磁盘是关闭状态，白色表示数据在主存储池中，淡灰色表示数据在HDD缓存中，深灰色表示数据在SSD缓存中；
步骤(2)的处理，既考虑了数据的热度，又考虑了数据所在磁盘的开关状态，以便于全局控制；
(3)对用户请求进行分类处理；
对于写请求，根据全局访问表将写请求的数据优先写在缓存层的SSD中，并在磁盘缓存中以日志方式写入副本；
由此保证数据可靠性，既可以提高写性能，也可以将该写请求后续的倒盘操作延迟至供电充足的时段，从而充分利用新能源所供电力；
对于读请求，根据全局访问表确定请求的数据所在的位置；优先在缓存层中查找目标数据，若未在SSD缓存和HDD缓存中命中，则进入主存储池中查找请求的数据。
图3是本发明实施例中基于SSD和HDD缓存的分层分布式存储系统示意图；缓存层由持续工作的SSD缓存和HDD缓存组成；其中SSD缓存用于存储主存储池中的热点数据，HDD则是作为SSD的容量补充；借助SSD的高性能，缓存区可保证数据存取性能；高效识别热点数据的缓存管理机制，可有效保证从主存储池中预取热点数据、缓存层数据倒盘的操作在新能源供电充足时进行。
实施例中，步骤(3)包括以下子步骤：
(3-1)判断请求类型，如果是读请求进入步骤(3-2)，如果是写请求则进入步骤(3-5)；
(3-2)采用全局访问表判断请求的数据是否在SSD里，若是，更新该数据对象在全局访问表中的状态，返回请求数据，结束请求；若否，则进入步骤(3-3)；
(3-3)采用全局访问表判断请求的数据是否在HDD缓存中，若是，则更新该数据对象在全局访问表中的状态，返回请求数据，结束请求；若否，则进入步骤(3-4)；
(3-4)开启主存储池中存放数据的磁盘；并从该磁盘中读取请求的数据，结束请求；
(3-5)采用全局访问表判定请求的数据是否在SSD里，若是，更新命中的数据，并更新该数据在全局访问表的状态(包括访问次数，是否干净)，返回请求数据，结束请求；若否，则进入步骤(3-6)；
(3-6)采用全局访问表判定请求的数据是否在HDD缓存里，若是，则更新命中的数据，并更新该数据在全局访问表的状态(包括访问次数，是否干净)返回请求数据，结束请求；若否，则进入步骤(3-7)；
(3-7)判断SSD中是否有多余的空间，若是，则直接将新数据写入SSD缓存，返回请求；若否，则进入步骤(3-8)；
(3-8)对SSD的数据按照LRU的方法淘汰部分数据构成新数据，将新数据写入到HDD缓存中，结束请求。
图4所示，是本发明实施例中的混合缓存的访问路径示意图；由于缓存层聚合了整个存储系统的热数据以及最新的数据，用户的请求首先在缓存层中进行处理，而后根据供电的状况对主存储池中的数据节点进行操作；
图5所示，是本发明实施例中的混合缓存的访问流程图；用户的请求到达后，对用户请求进行分类处理；
用户的写请求到达后，首先将写请求的数据在缓存层中，且优先写在缓存层的SSD中，并在磁盘缓存中以日志方式写入副本，以保证数据可靠性，这样既可以提高写性能，又可以将该写请求后续的倒盘操作延迟至供电充足的时段，从而充分利用新能源所供电力；
用户的读请求到达后，系统首先在缓存层中查找目标数据，如果未在SSD缓存和HDD缓存中命中，则进入主存储池中查找请求的数据。
在实施例中，由于缓存层聚合了整个存储系统的热数据以及最新的数据，因此还包括先在缓存层进行用户请求处理，再根据供电的状况选择性的开启主存储池中的数据节点的步骤(4)，具体如下：
(4-1)当能源供应为0时，关闭主存储池中所有HDD磁盘，开启SSD缓存和HDD缓存；
(4-2)当能源供应不足时，优先关闭最热数据少的磁盘和次热数据少的磁盘，以减少数据迁移量；
(4-3)当能源充足时，优先开启在缓存中数据量最大的磁盘，以释放更多的缓存空间；
并且，为了减少“关闭磁盘”的被动开启操作，对于数据淘汰，优先淘汰缓存中开启磁盘的冷数据；对于数据预取，优先从主存储池中预取关闭磁盘的最热数据和次热数据；实施例中，冷数据是指访问频率小于5次/天的数据。
其中，步骤(4-2)的流程如图6所示，包括以下子步骤：
(4-2-1)计算需要关闭的磁盘个数；
(4-2-2)根据全局访问表对拟关闭的磁盘上的热数据数量进行统计并排序；
(4-2-3)将拟关闭磁盘上的热数据预存到HDD缓存中；
(4-2-4)关闭次热数据最少的磁盘，以减少磁盘的数据迁移。
实施例中，步骤(4-3)包括以下子步骤：
(4-3-1)计算需要关闭的磁盘个数；
(4-3-2)根据全局访问表对每个磁盘的热数据数量进行统计并排序；
(4-3-3)开启次热数据最多的磁盘，从而可以让HDD缓存腾出更多的空间；
(4-3-4)对HDD缓存的数据进行淘汰。
实施例还提供了一种节能存储系统的SSD与HDD混合缓存管理系统，包括：
(1)第一模块，包括SSD缓存和HDD缓存组成的混合缓存；SSD缓存主要是存放最热数据，HDD缓存由于存放次热数据；主存储区则存放完整的数据集；
(2)第二模块，用于创建基于状态与热度结合的全局访问表，维护全局数据访问信息；采用“对象编号，磁盘编号，热度值”的格式记录每个对象数据的状态信息；
(3)第三模块，用于分类处理用户请求；
对于写请求，根据全局访问表将所请求的数据优先写在缓存层的SSD中，并在磁盘缓存中以日志方式写入副本；对于读请求，根据全局访问表确定数据所在位置，优先在缓存层中查找目标数据，如果未在缓存层的SSD缓存和HDD缓存中命中，则进入主存储池中查找请求的数据；
(4)第四模块，用于根据收集到的新能源数据获取新能源供电状况，并根据新能源供电状况对选择性的开启主存储池中的数据节点。采用实施例提供的上述节能存储系统的SSD与HDD混合缓存管理方法及系统，在供电不足时段，由缓存层处理存储系统的绝大部分请求，减少对主存储池的访问次数，可减少访问能耗；并且，优先淘汰缓存中处于开启状态磁盘的数据，尽可能在HDD缓存中保留关闭磁盘的数据，减少已关闭磁盘的被动开启，起到减少数据迁移、减少访问能耗的效果；以解决新能源的间歇性和不稳定性对数据存储稳定性可靠性带来的问题。
本领域的技术人员容易理解，以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (6)

1.一种节能存储系统的SSD与HDD混合缓存管理方法，其特征在于，具体如下：
(1)构建包括SSD缓存与HDD缓存的混合缓存；所述SSD缓存用于存放最热数据，所述HDD缓存用于存放次热数据；
(2)创建基于状态与热度结合的全局访问表，在所述全文访问表中，以“对象编号，磁盘编号，热度值”的格式记录各数据对象的状态信息；
(3)根据所述全局访问表对用户请求进行分类处理，
对于用户写请求，将写请求的数据优先写在SSD缓存中，并在HDD缓存中以日志方式写入副本；
对于用户读请求，优先在缓存层中查找目标数据，当未在缓存层命中时，再进入主存储池中查找请求的数据。
2.如权利要求1所述的SSD与HDD混合缓存管理方法，其特征在于，所述步骤(3)包括如下子步骤：
(3-1)判断用户请求类型，若为读请求则进入步骤(3-2)，若为写请求则进入步骤(3-5)；
(3-2)根据全局访问表判断用户请求的数据是否存在SSD缓存中，若是，则更新所述数据对象在全局访问表中的状态，并返回请求数据，结束请求；若否，则进入步骤(3-3)；
(3-3)根据全局访问表判断用户请求的数据是否在HDD缓存中，若是，则更新所述数据对象在全局访问表中的状态，并返回请求数据，结束请求；若否，则进入步骤(3-4)；
(3-4)开启主存储池中存放数据的磁盘；从磁盘中读取用户请求的数据，结束请求；
(3-5)采用全局访问表判断请求的数据是否在SSD缓存中；若是，则更新命中的数据，并更新所述数据对象在全局访问表的状态，并结束请求；若否，则进入步骤(3-6)；
(3-6)采用全局访问表判断请求的数据是否在HDD缓存中；若是，则更新命中的数据，并更新所述数据对象在全局访问表的状态，并结束请求；若否，则进入步骤(3-7)；
(3-7)判断SSD缓存中是否有多余空间；若是，则将新数据写入SSD缓存；若否，则进入步骤(3-8)；
(3-8)对SSD缓存中的数据按照LRU算法淘汰部分数据，获得新的数据，并将新的数据写入到HDD缓存中，结束请求。
3.如权利要求1或2所述的SSD与HDD混合缓存管理方法，其特征在于，其步骤(3)之后还包括基于能源供应状况的缓存管理步骤，具体如下：
(4-1)当能源供应为0时，关闭主存储池中所有HDD磁盘，开启SSD缓存和HDD缓存；
(4-2)当能源供应不足时，优先关闭最热数据少的磁盘和次热数据少的磁盘，以减少数据迁移量；
(4-3)当能源供应充足时，优先开启在缓存中数据量最大的磁盘，以释放更多的缓存空间。
4.如权利要求3所述的SSD与HDD混合缓存管理方法，其特征在于，对于数据预取，优先从主存储池中预取关闭磁盘的最热数据和次热数据。
5.如权利要求3所述的SSD与HDD混合缓存管理方法，其特征在于，对于数据淘汰，优先淘汰缓存中开启磁盘的冷数据。
6.一种节能存储系统的SSD与HDD混合缓存管理系统，其特征在于，包括：
(1)第一模块，包括SSD缓存和HDD缓存组成的混合缓存；所述SSD缓存用于存放最热数据，所述HDD缓存用于存放次热数据；
(2)第二模块，用于创建基于状态与热度结合的全局访问表，采用“对象编号，磁盘编号，热度值”的格式记录每个对象数据的状态信息；
(3)第三模块，用于分类处理用户请求；
对于写请求，根据全局访问表将所请求的数据优先写在缓存层的SSD中，并在HDD缓存中以日志方式写入副本；对于读请求，根据全局访问表确定数据所在位置，优先在缓存层中查找目标数据，如果未在缓存层的SSD缓存和HDD缓存中命中，再进入主存储池中查找请求的数据；
(4)第四模块，用于根据收集到的新能源数据获取供电状况，并根据新能源供电状况选择性的开启主存储池中的数据节点。
CN201610196315.7A 2016-03-31 2016-03-31 一种节能存储系统的ssd与hdd混合缓存管理方法及系统 Active CN105892947B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201610196315.7A CN105892947B (zh) 2016-03-31 2016-03-31 一种节能存储系统的ssd与hdd混合缓存管理方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201610196315.7A CN105892947B (zh) 2016-03-31 2016-03-31 一种节能存储系统的ssd与hdd混合缓存管理方法及系统

Publications (2)

Publication Number Publication Date
CN105892947A CN105892947A (zh) 2016-08-24
CN105892947B true CN105892947B (zh) 2019-01-22

Family

ID=57011717

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610196315.7A Active CN105892947B (zh) 2016-03-31 2016-03-31 一种节能存储系统的ssd与hdd混合缓存管理方法及系统

Country Status (1)

Country Link
CN (1) CN105892947B (zh)

Families Citing this family (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106775453B (zh) * 2016-11-22 2019-07-05 华中科技大学 一种混合存储阵列的构建方法
CN107741940B (zh) * 2016-11-24 2021-03-02 腾讯科技（深圳）有限公司 一种数据储存方法及存储系统
WO2019119332A1 (zh) * 2017-12-21 2019-06-27 深圳大学 一种面向异构存储的Spark任务动态迁移方法和系统
CN108388406B (zh) * 2018-01-10 2021-07-02 链家网（北京）科技有限公司 数据处理方法及装置
CN108829341B (zh) * 2018-05-03 2021-09-07 上海科技大学 一种基于混合存储系统的数据管理方法
CN109375868B (zh) * 2018-09-14 2022-07-08 深圳爱捷云科技有限公司 一种数据存储方法、调度装置、系统、设备及存储介质
CN111104048B (zh) 2018-10-26 2021-02-12 华为技术有限公司 一种数据处理方法及分布式存储系统
CN109814804A (zh) * 2018-12-21 2019-05-28 创新科存储技术（深圳）有限公司 一种降低分布式存储系统能耗的方法和装置
CN110007862A (zh) * 2019-04-01 2019-07-12 北京猫盘技术有限公司 基于网络存储设备的混合云存储系统及其数据处理方法
CN110941396A (zh) * 2019-11-22 2020-03-31 暨南大学 一种面向云数据中心的基于气流组织的副本放置方法
CN111027941A (zh) * 2019-12-19 2020-04-17 重庆电子工程职业学院 一种基于stm32单片机的教学实验平台
CN111552442A (zh) * 2020-05-13 2020-08-18 重庆紫光华山智安科技有限公司 一种基于ssd的缓存管理系统及方法
CN111831222A (zh) * 2020-06-15 2020-10-27 新浪网技术(中国)有限公司 一种分布式对象存储方法及系统
CN112214178B (zh) * 2020-11-13 2022-08-19 新华三大数据技术有限公司 一种存储系统、数据读取方法及数据写入方法
CN115586869B (zh) * 2022-09-28 2023-06-06 中国兵器工业计算机应用技术研究所 一种自组网系统及自组网系统的流数据处理方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102662607A (zh) * 2012-03-29 2012-09-12 华中科技大学 一种raid6级别混合磁盘阵列及其性能加速和可靠性提高方法
CN102662459A (zh) * 2012-04-22 2012-09-12 复旦大学 利用固态硬盘与机械硬盘混合存储减少服务器能源消耗的方法
CN102831088A (zh) * 2012-07-27 2012-12-19 国家超级计算深圳中心(深圳云计算中心) 基于混合存储器的数据迁移方法和装置
CN103678169A (zh) * 2013-11-11 2014-03-26 华中科技大学 一种高效利用固态盘缓存的方法和系统

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8838895B2 (en) * 2011-06-09 2014-09-16 21Vianet Group, Inc. Solid-state disk caching the top-K hard-disk blocks selected as a function of access frequency and a logarithmic system time
JP5492156B2 (ja) * 2011-08-05 2014-05-14 株式会社東芝 情報処理装置およびキャッシュ方法
KR20130070178A (ko) * 2011-12-19 2013-06-27 한국전자통신연구원 하이브리드 저장 장치 및 그것의 동작 방법

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102662607A (zh) * 2012-03-29 2012-09-12 华中科技大学 一种raid6级别混合磁盘阵列及其性能加速和可靠性提高方法
CN102662459A (zh) * 2012-04-22 2012-09-12 复旦大学 利用固态硬盘与机械硬盘混合存储减少服务器能源消耗的方法
CN102831088A (zh) * 2012-07-27 2012-12-19 国家超级计算深圳中心(深圳云计算中心) 基于混合存储器的数据迁移方法和装置
CN103678169A (zh) * 2013-11-11 2014-03-26 华中科技大学 一种高效利用固态盘缓存的方法和系统

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
层次混合存储系统中缓存和预取技术研究;刘洋;《中国博士学位论文全文数据库-信息科技辑》;20150215;第2015年卷(第2期);全文
混合存储系统中自适应存储策略的研究;聂凤;《万方硕士学位论文全文数据库》;20140609;全文

Also Published As

Publication number Publication date
CN105892947A (zh) 2016-08-24

Similar Documents

Publication Publication Date Title
CN105892947B (zh) 一种节能存储系统的ssd与hdd混合缓存管理方法及系统
CN103885728B (zh) 一种基于固态盘的磁盘缓存系统
CN107193646B (zh) 一种基于混合主存架构的高效动态页面调度方法
CN103019958B (zh) 使用数据属性来管理固态存储器里的数据的方法
CN101604226B (zh) 一种基于虚拟raid构建动态缓存池提高存储系统性能的方法
CN110232049A (zh) 一种元数据缓存管理方法和装置
CN109815163A (zh) 基于预测的高效高速缓存行处理的系统和方法
CN109062505A (zh) 一种缓存策略写入分层硬件架构下的写性能优化方法
CN103345451B (zh) 一种在多核处理器中缓冲数据的方法
US20130205089A1 (en) Cache Device and Methods Thereof
CN105389135B (zh) 一种固态盘内部缓存管理方法
CN102156753A (zh) 面向固态硬盘文件系统的数据页缓存方法
CN108829341A (zh) 一种基于混合存储系统的数据管理方法
CN106909515A (zh) 面向混合主存的多核共享末级缓存管理方法及装置
CN104008075B (zh) 一种分布式存储系统请求的处理方法
CN109582593A (zh) 一种基于计算的ftl地址映射方法及数据读、写方法
CN109739780A (zh) 基于页级映射的动态二级缓存闪存转换层地址映射方法
CN100377117C (zh) 用于虚实地址变换及读写高速缓冲存储器的方法及装置
CN104657461A (zh) 基于内存与ssd协作式的文件系统元数据搜索缓存方法
CN107943719A (zh) 一种基于请求分类的闪存转换层控制方法
CN104111898A (zh) 基于多维数据相似性的混合存储系统及数据管理方法
CN103049393B (zh) 内存空间管理方法和装置
CN110888600A (zh) 一种面向nand闪存的缓冲区管理方法
CN108572799B (zh) 一种双向哈希链表的异构内存系统数据页迁移方法
CN104424119B (zh) 存储空间配置方法和装置

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant