CN109710184A - 瓦记录磁盘感知的分层式混合存储方法及系统 - Google Patents
瓦记录磁盘感知的分层式混合存储方法及系统 Download PDFInfo
- Publication number
- CN109710184A CN109710184A CN201811554066.XA CN201811554066A CN109710184A CN 109710184 A CN109710184 A CN 109710184A CN 201811554066 A CN201811554066 A CN 201811554066A CN 109710184 A CN109710184 A CN 109710184A
- Authority
- CN
- China
- Prior art keywords
- region
- solid
- state disk
- smr
- caf
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Landscapes
- Signal Processing For Digital Recording And Reproducing (AREA)
Abstract
本发明公开了一种瓦记录磁盘感知的分层式混合存储方法及系统，方法实施步骤包括将固态盘划分为固态盘区域并与主机感知型瓦记录磁盘的区域构成总的存储空间为上层提供连续的逻辑块地址；计算各个区域的关键访问频率并进行排序，根据排序结果确定向上迁移队列、向下迁移队列，生成连续的I/O请求序列对向上迁移队列、向下迁移队列执行数据迁移。本发明以区域为基本单位对分层式混合存储系统内部数据进行管理，利用区域中的实时数据分布来优化存储层间的数据布局、将区域迁移过程中产生的对瓦记录磁盘的非顺序写请求转化为顺序写操作，能够充分发挥固态盘和瓦记录磁盘各自的优点，提高基于固态盘和瓦记录磁盘构建的分层式混合存储系统的性能。
Description
技术领域
本发明涉及混合存储技术，具体涉及一种基于固态盘和瓦记录磁盘构成的分层式混合存储系统的区域化存储分层方法。
背景技术
叠瓦式磁记录（Shingled Magnetic Recording）技术是一种通过部分重叠相邻磁道提升磁盘面密度（Areal Density）的新型磁记录技术。叠瓦式磁记录技术不需要改变现有的磁头技术和磁盘的生产方法，只需对磁盘进行较小的改动和固件升级就可以明显的提升磁盘内磁道密度（Tracks Per Inch）。叠瓦式磁记录技术采用读修改写RMW（Read-Modify-Write）的方式对磁盘内的数据进行更新，以避免在对某一磁道上的数据进行更新时相邻磁道中的有效数据被磁头覆盖。读修改写操作会在磁盘内部引入严重的写放大问题，导致磁盘在非顺序写请求密集负载下性能表现较差。与当前主流磁盘中采用的垂直磁记录（Perpendicular Magnetic Recording）技术相比，叠瓦式磁记录技术可以为磁盘提供相似的顺序读写性能和非顺序读性能。减少非顺序写请求对磁盘性能的影响是叠瓦式磁记录技术面临的主要挑战。
如图1所示，主机感知型瓦记录磁盘（简称为HA-SMR磁盘）内部集成了介质缓存、传统磁记录区域、顺序写首选区域。瓦记录转换层STL（Shingle Translation Layer）是瓦记录磁盘内的固件，集合了对介质缓存中数据进行管理的各类算法。瓦记录磁盘将其存储空间划分为256MB大小的区域。采用叠瓦式磁记录技术的顺序写首选区域组成了瓦记录磁盘的主要存储空间。本发明只面向瓦记录磁盘中的顺序写首选区域，并简称为HA-SMR区域。每个HA-SMR区域有一个写指针指向该区域中下一个可以写入的块地址。每个HA-SMR区域的状态可以是顺序状态或者非顺序状态。瓦记录磁盘只接收指向顺序区域的写指针位置的写请求作为顺序写请求。如图2所示，瓦记录磁盘对顺序写请求采用本地更新的写入方式。瓦记录磁盘将指向非顺序区域的所有写请求和指向顺序区域非写指针位置的写请求定义为非顺序写请求。对于一个被非顺序写入的HA-SMR区域，瓦记录磁盘会将其状态保持在非顺序状态，并将其写指针标记为无效。如图3所示，瓦记录磁盘对非顺序写请求采用异地更新方式，将非顺序写请求缓存到介质缓存中。STL会触发介质缓存清除操作，将缓存的数据按照RMW的方式写回到各自的区域中。一个HA-SMR区域在介质缓存中的数据被写回到该区域后，瓦记录磁盘将该区域变回顺序状态，并更新写指针位置。瓦记录磁盘可以向上层提供基于块的通用数据存取接口和基于区域的访问接口。瓦记录磁盘的区域访问接口可以使主机利用HA-SMR区域的实时信息优化系统软件，更好的解决非顺序写请求对瓦记录磁盘性能的影响。
存储分层技术利用高性能存储器和廉价存储器构建高成本效益的分层式混合存储系统，满足大数据存储的高性能和大容量需求。存储分层技术的根本目的是在有效降低存储系统总体拥有成本TCO（Total Cost of Ownership）的同时使存储系统达到最优的性能。不同的数据在特定时间内往往呈现不同的访问模式，特定数据的访问模式在不同时间也会呈现动态变化的趋势。存储分层技术根据存储系统内数据的访问模式动态调整数据的放置，使数据处于与其访问模式相适配的存储层中。存储分层技术的核心算法主要包括数据分层和数据迁移。存储分层技术将存储系统的逻辑地址空间以Extent为基本单位进行划分。Extent分层算法通过Extent信息收集、Extent优先级分析等过程生成新的Extent放置决定。Extent迁移算法实现对Extent级数据在不同存储层间的位置调整，并减轻对存储系统性能的影响。
综上所述，利用固态盘和瓦记录磁盘构建大规模混合存储系统可以同时满足大数据存储的性能和容量需求，并大幅降低存储系统的总体拥有成本。现有存储分层方法没有针对瓦记录磁盘设计完善的非顺序写处理方法，无法适配新型瓦记录磁盘，针对基于固态盘和瓦记录磁盘构成的分层式混合存储系统如何实现针对瓦记录磁盘设计完善的非顺序写处理的问题，已经成为一项亟待解决的关键技术问题。
发明内容
本发明要解决的技术问题：针对现有技术的上述问题，提供一种瓦记录磁盘感知的分层式混合存储方法和系统，本发明能够针对利用固态盘和瓦记录磁盘构建分层式混合存储系统以区域为基本单位对内部数据进行管理，利用HA-SMR区域中的实时数据分布来优化区域在存储层间的布局、将区域迁移过程中产生的对瓦记录磁盘的非顺序写请求转化为顺序写操作，能够充分发挥固态盘和瓦记录磁盘各自的优点，提高基于固态盘和瓦记录磁盘构建的分层式混合存储系统的性能。
为了解决上述技术问题，本发明采用的技术方案为：
一种瓦记录磁盘感知的分层式混合存储方法，实施步骤包括：
1）针对固态盘和瓦记录磁盘构建的分层式混合存储系统，将固态盘的存储空间划分为M个固态盘区域，并与瓦记录磁盘的N个HA-SMR区域构成总的存储空间，为上层提供连续的逻辑块地址空间；
2）分别计算固态盘中的每一个区域以及各个HA-SMR区域的关键访问频率CAF；
3）根据关键访问频率CAF对固态盘的M个固态盘区域、瓦记录磁盘的N个HA-SMR区域构成的M+N个区域进行排序；
4）根据排序结果确定向上迁移队列、向下迁移队列，所述上迁移队列是指需要从瓦记录磁盘迁移到固态盘中的HA-SMR区域，所述向下迁移队列是指需要从固态盘迁移到瓦记录磁盘中的区域；
5）生成连续的I/O请求序列对向上迁移队列、向下迁移队列执行数据迁移。
优选地，步骤2）中分别统计固态盘中的每一个区域以及各个HA-SMR区域的关键访问频率CAF时，具体是指分别计算固态盘中的每一个区域以及各个HA-SMR区域的写关键访问频率W-CAF和读关键访问频率R-CAF，然后将写关键访问频率W-CAF和读关键访问频率R-CAF进行综合计算该区域的关键访问频率CAF。
优选地，所述将写关键访问频率W-CAF和读关键访问频率R-CAF进行综合计算该区域的关键访问频率CAF的函数表达式如式（1）所示；
CAF=R-CAR+λ*W-CAF （1）
式（1）中，CAF表示某区域的关键访问频率，R-CAR表示该区域的读关键访问频率，W-CAF表示该区域的写关键访问频率，λ为写关键访问频率的权值，写关键访问频率的权值λ的取值大于1。
优选地，所述分别统计固态盘中的每一个区域以及各个HA-SMR区域的写关键访问频率W-CAF和读关键访问频率R-CAF时：（I）针对HA-SMR区域的写关键访问频率W-CAF的统计步骤包括：利用瓦记录磁盘的主机感知特性获取HA-SMR区域内部的数据分布信息，并以此来判断指向该HA-SMR区域的写请求是否为顺序写请求，如果新到达的写请求指向的是一个顺序HA-SMR区域的写指针位置，识别该写请求为对HA-SMR区域的顺序写请求，并将该写请求认为是非关键访问，保持该HA-SMR区域的写关键访问频率W-CAF不变；否则识别该写请求为对HA-SMR区域的非顺序写请求，并将该写请求认为是一次关键访问，该HA-SMR区域的写关键访问频率W-CAF加1；（II）针对固态盘区域的写关键访问频率W-CAF的统计步骤包括：为每一个固态盘区域维持一个虚拟写指针VWP用来记录该固态盘区域中写入有效数据的块中最大的块地址，固态盘区域的虚拟写指针VWP随着新数据的写入需要及时更新，保持其始终指向逻辑地址最大的有效数据块；在每一个观察时间窗口开始时，设置每个固态盘区域都处于顺序状态；如果一个写请求是从该区域的虚拟写指针VWP位置开始写入，且该固态盘区域处于顺序状态，则表明即使该固态盘区域迁移至瓦记录磁盘中，这个写请求也不会对存储系统性能产生不利影响，将该写请求识别为对固态盘区域的非关键访问，不计入固态盘区域的写关键访问频率W-CAF中；如果有一个写请求访问了顺序状态的固态盘区域中非VWP位置，则识别该写请求为对固态盘区域的关键访问，将该固态盘区域设置为非顺序状态，该固态盘区域的写关键访问频率W-CAF加1，将对该固态盘区域的后续所有写请求识别为对该区域的关键访问；在后续过程中，固态盘区域的虚拟写指针VWP随着写请求的访问动态变化，固态盘区域的状态直至该观察时间窗口结束后再次变为顺序状态；（III）针对HA-SMR区域以及固态盘区域的读关键访问频率R-CAF采用相同的统计步骤，包括：如果连续的读请求满足逻辑地址之间相隔在较小的范围内且是按照逻辑地址递增的顺序进行读操作，则将这些连续的读请求识别为对该HA-SMR区域或固态盘区域的一个顺序读请求流，并将该区域的读关键访问频率R-CAF加1，除此之外将其它的每个读请求识别为对HA-SMR区域或固态盘区域的一次关键访问，并将该区域的读关键访问频率R-CAF加1。
优选地，步骤3）中的排序具体是指降序排列；步骤4）中根据排序结果确定向上迁移队列、向下迁移队列具体是指：针对降序排列结果将前M个固态盘区域中的HA-SMR区域加入向上迁移队列，将重排序后的第M+N个区域到第M+1个区域中的固态盘区域加入向下迁移队列。
优选地，步骤5）中开始生成连续的I/O请求序列对向上迁移队列、向下迁移队列执行数据迁移时，用户I/O请求的优先级始终高于数据迁移产生的I/O请求的优先级。
优选地，步骤5）中开始生成连续的I/O请求序列对向上迁移队列、向下迁移队列执行数据迁移时，将整个数据迁移过程划分为间断性的内部数据移动，每进行一段时间的数据迁移操作之后，暂停相同的时间长度后再进行下一阶段的数据迁移操作。
优选地，步骤5）中开始生成连续的I/O请求序列对向上迁移队列、向下迁移队列执行数据迁移时，对向上迁移队列执行数据迁移的详细步骤包括：针对向上迁移队列中的每一个HA-SMR区域，如果这个区域的状态为顺序状态，则表明该区域中位于写指针后方的所有块都没有被写入有效数据，在将此HA-SMR区域从瓦记录磁盘读出并写入固态盘时，只读取该HA-SMR区域中写指针前方的数据；如果这个区域的状态为非顺序状态，则总是将非顺序HA-SMR区域完整的从瓦记录磁盘读出，然后完整写入到固态盘中。
优选地，步骤5）中开始生成连续的I/O请求序列对向上迁移队列、向下迁移队列执行数据迁移时，对向下迁移队列执行数据迁移的详细步骤包括：针对向下迁移队列中的每一个固态盘区域，首先将准备容纳向下迁移的固态盘区域的HA-SMR区域的写指针重置，再将被迁移固态盘区域中的数据依次读出并写入到该HA-SMR区域中，使得在此过程中向下迁移的数据是完全按照顺序写入的方式写入到HA-SMR区域。
本发明还提供一种瓦记录磁盘感知的分层式混合存储系统，所述瓦记录磁盘感知的分层式混合存储系统被编程以执行本发明前述瓦记录磁盘感知的分层式混合存储方法的步骤。
和现有技术相比，本发明具有下述优点：针对现有存储分层方法没有针对瓦记录磁盘设计完善的非顺序写处理方法无法适配新型瓦记录磁盘的技术问题，本发明能够针对固态盘和瓦记录磁盘构建分层式混合存储系统以区域为基本单位对内部数据进行管理，利用HA-SMR区域中的实时数据分布来优化区域在存储层间的布局、将区域迁移过程中产生的非顺序写请求转化为对瓦记录磁盘的顺序写操作，能够充分发挥固态盘和瓦记录磁盘各自的优点，提高基于固态盘和瓦记录磁盘构建的分层式混合存储系统的性能。
附图说明
图1为现有的HA-SMR磁盘内部结构示意图。
图2为现有的HA-SMR磁盘的顺序写请求的处理方式。
图3为现有的HA-SMR磁盘的非顺序写请求的处理方式。
图4为本发明实施例方法的基本流程示意图。
图5为本发明实施例的内部结构示意图。
图6为本发明实施例方法的W-CAF统计流程示意图。
具体实施方式
下文将以固态盘和主机感知型瓦记录磁盘构建的分层式混合存储系统为例，对本发明瓦记录磁盘感知的分层式混合存储方法及系统进行进一步的详细说明。
如图4所示，本实施例中瓦记录磁盘感知的分层式混合存储方法的实施步骤包括：
1）针对固态盘和瓦记录磁盘构建的分层式混合存储系统，将固态盘的存储空间划分为M个固态盘区域，并与瓦记录磁盘的N个HA-SMR区域构成总的存储空间，为上层提供连续的逻辑块地址空间；如图5所示，逻辑块地址使用区域映射表可以实现到物理地址的映射；
2）分别计算固态盘中的每一个区域以及各个HA-SMR区域的关键访问频率CAF（Critical Access Frequency）；
3）根据关键访问频率CAF对固态盘的M个固态盘区域、瓦记录磁盘的N个HA-SMR区域构成的M+N个区域进行排序；
4）根据排序结果确定向上迁移队列、向下迁移队列，所述上迁移队列是指需要从瓦记录磁盘迁移到固态盘中的HA-SMR区域，所述向下迁移队列是指需要从固态盘迁移到瓦记录磁盘中的区域；
5）生成连续的I/O请求序列对向上迁移队列、向下迁移队列执行数据迁移。
本实施例中，步骤2）中分别统计固态盘中的每一个区域以及各个HA-SMR区域的关键访问频率CAF时，具体是指分别计算固态盘中的每一个区域以及各个HA-SMR区域的写关键访问频率W-CAF和读关键访问频率R-CAF，然后将写关键访问频率W-CAF和读关键访问频率R-CAF进行综合计算该区域的关键访问频率CAF。本实施例中使用关键访问频率CAF（Critical Access Frequency）来衡量区域放置到固态盘中的优先级。每个区域的CAF由写关键访问频率W-CAF和读关键访问频率R-CAF决定。在固定长度的观察时间窗口内统计每个区域的关键访问频率CAF，并以此决定每个区域的最终放置决定。观察时间窗口大小的设置与现有存储分层方法中的设置相同。
本实施例中，将写关键访问频率W-CAF和读关键访问频率R-CAF进行综合计算该区域的关键访问频率CAF的函数表达式如式（1）所示；
CAF=R-CAR+λ*W-CAF （1）
式（1）中，CAF表示某区域的关键访问频率，R-CAR表示该区域的读关键访问频率，W-CAF表示该区域的写关键访问频率，λ为写关键访问频率的权值。
在一个观察时间窗口结束时，各个区域根据其写关键访问频率W-CAF和读关键访问频率R-CAF获得最终的关键访问频率CAF。为了使非顺序写密集的区域能够获得更高的放置在固态盘中的优先级，本实施例中写关键访问频率的权值λ的取值大于1。在计算一个区域的关键访问频率CAF时总是为写关键访问频率W-CAF赋予一个大于1的权值λ。通过负载分析等方法可以获得更加准确的λ权值并实现λ值随负载变化而动态调整。为了避免区域CAF值对负载变化过于敏感，可以记录多个观察时间窗口采集到的CAF并分别赋予不同的优先级，从而使得区域CAF值更好的描述一个区域的负载特性，提高区域放置的准确性。
本实施例中，所述分别统计固态盘中的每一个区域以及各个HA-SMR区域的写关键访问频率W-CAF和读关键访问频率R-CAF时：
（I）针对HA-SMR区域的写关键访问频率W-CAF的统计步骤包括：利用瓦记录磁盘的主机感知特性获取HA-SMR区域内部的数据分布信息，并以此来判断指向该HA-SMR区域的写请求是否为顺序写请求，如果新到达的写请求指向的是一个顺序HA-SMR区域的写指针位置，识别该写请求为对HA-SMR区域的顺序写请求，并将该写请求认为是非关键访问，保持该HA-SMR区域的写关键访问频率W-CAF不变；否则识别该写请求为对HA-SMR区域的非顺序写请求，并将该写请求认为是一次关键访问，该HA-SMR区域的写关键访问频率W-CAF加1（即：W-CAF++），如图6所示；
（II）针对固态盘区域的写关键访问频率W-CAF的统计步骤包括：本实施例中将每个固态盘区域模拟成具有写指针的类HA-SMR区域进行W-CAF的统计以便在区域放置的优先级比较时具有可比性，具体为每一个固态盘区域维持一个虚拟写指针VWP（Virtual WritePointer）用来记录该固态盘区域中写入有效数据的块中最大的块地址，固态盘区域的虚拟写指针VWP随着新数据的写入需要及时更新，保持其始终指向逻辑地址最大的有效数据块；在每一个观察时间窗口开始时，设置每个固态盘区域都处于顺序状态；如果一个写请求是从该区域的虚拟写指针VWP位置开始写入，且该固态盘区域处于顺序状态，则表明即使该固态盘区域迁移至瓦记录磁盘中，这个写请求也不会对存储系统性能产生不利影响，将该写请求识别为对固态盘区域的非关键访问，不计入固态盘区域的写关键访问频率W-CAF中；如果有一个写请求访问了顺序状态的固态盘区域中非VWP位置，则识别该写请求为对固态盘区域的关键访问，将该固态盘区域设置为非顺序状态，该固态盘区域的写关键访问频率W-CAF加1，将对该固态盘区域的后续所有写请求识别为对该区域的关键访问；在后续过程中，固态盘区域的虚拟写指针VWP随着写请求的访问动态变化，固态盘区域的状态直至该观察时间窗口结束后再次变为顺序状态；
（III）针对HA-SMR区域以及固态盘区域的读关键访问频率R-CAF采用相同的统计步骤，包括：如果连续的读请求满足逻辑地址之间相隔在较小的范围内且是按照逻辑地址递增的顺序进行读操作，则将这些连续的读请求识别为对该HA-SMR区域或固态盘区域的一个顺序读请求流，并将该区域的读关键访问频率R-CAF加1，除此之外将其它的每个读请求识别为对HA-SMR区域或固态盘区域的一次关键访问，并将该区域的读关键访问频率R-CAF加1。HA-SMR区域和固态盘区域采用统一的读关键访问频率R-CAF统计方法，读关键访问频率R-CAF是顺序读请求流数目和随机读请求数目的总和。
本实施例中，步骤3）中的排序具体是指降序排列；步骤4）中根据排序结果确定向上迁移队列、向下迁移队列具体是指：针对降序排列结果将前M个固态盘区域中的HA-SMR区域加入向上迁移队列，将重排序后的第M+N个区域到第M+1个区域中的固态盘区域加入向下迁移队列。在为每个区域计算CAF后，按照CAF降序对所有的HA-SMR区域和固态盘区域进行重新排列，并以此识别出需要在存储层间进行迁移的区域。每次生成的向上迁移和向下迁移队列的有效期只有一个观察时间窗口，即在一个观察时间窗口结束时，上一个观察时间窗口中生成的所有区域迁移队列将会被完全清空。假设当前固态盘区域数为M，HA-SMR区域数为N。首先对重排序后的前M个区域进行分析，如果一个区域当前放置位置为HA-SMR磁盘，则将该区域添加到向上迁移的区域队列中。对重排序后的第M+N个区域到第M+1个区域进行分析，如果一个区域当前放置位置为固态盘，则将其添加到向下迁移区域队列中。
本实施例中，步骤5）中开始生成连续的I/O请求序列对向上迁移队列、向下迁移队列执行数据迁移时，用户I/O请求的优先级始终高于数据迁移产生的I/O请求的优先级，通过上述方式，能够确保用户I/O请求优先处理，对用户I/O请求的性能影响较小。
本实施例中，步骤5）中开始生成连续的I/O请求序列对向上迁移队列、向下迁移队列执行数据迁移时，将整个数据迁移过程划分为间断性的内部数据移动，每进行一段时间的数据迁移操作之后，暂停相同的时间长度后再进行下一阶段的数据迁移操作，通过上述方式，能够减弱数据迁移操作与用户I/O请求对存储资源的竞争。
在向上区域迁移过程中，本实施例通过利用HA-SMR磁盘的主机感知特性识别被迁移区域中数据的有效性，从而减少数据的迁移量。步骤5）中开始生成连续的I/O请求序列对向上迁移队列、向下迁移队列执行数据迁移时，对向上迁移队列执行数据迁移的详细步骤包括：针对向上迁移队列中的每一个HA-SMR区域，如果这个区域的状态为顺序状态，则表明该区域中位于写指针后方的所有块都没有被写入有效数据，在将此HA-SMR区域从瓦记录磁盘读出并写入固态盘时，只读取该HA-SMR区域中写指针前方的数据，从而避免对该区域中无效数据的读取和写入操作；如果这个区域的状态为非顺序状态，则总是将非顺序HA-SMR区域完整的从瓦记录磁盘读出，然后完整写入到固态盘中，这是因为此时HA-SMR磁盘的介质缓存中存有该HA-SMR区域的有效数据，这些数据可能是指向HA-SMR区域当前写指针的后方。如果只读取这些区域写指针前方的数据会造成数据迁移过程中有效数据丢失的情况发生。
在向下区域迁移过程中，本实施例利用HA-SMR磁盘的主机感知特性将对HA-SMR磁盘的非顺序写操作转换为对完全顺序写操作，从而减少对HA-SMR磁盘的非顺序写请求。步骤5）中开始生成连续的I/O请求序列对向上迁移队列、向下迁移队列执行数据迁移时，对向下迁移队列执行数据迁移的详细步骤包括：针对向下迁移队列中的每一个固态盘区域，首先将准备容纳向下迁移的固态盘区域的HA-SMR区域的写指针重置，再将被迁移固态盘区域中的数据依次读出并写入到该HA-SMR区域中，使得在此过程中向下迁移的数据是完全按照顺序写入的方式写入到HA-SMR区域。因此，向下迁移的数据不会占用HA-SMR磁盘中的介质缓存资源，即充分利用了HA-SMR磁盘的顺序写性能，又避免了介质缓存清除操作影响HA-SMR磁盘的性能。
本实施例还提供一种瓦记录磁盘感知的分层式混合存储系统，瓦记录磁盘感知的分层式混合存储系统被编程以执行本实施例瓦记录磁盘感知的分层式混合存储方法的步骤。
以上所述仅是本发明的优选实施方式，本发明的保护范围并不仅局限于上述实施例，凡属于本发明思路下的技术方案均属于本发明的保护范围。应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理前提下的若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。
Claims (10)
1.一种瓦记录磁盘感知的分层式混合存储方法，其特征在于实施步骤包括：
1）针对固态盘和瓦记录磁盘构建的分层式混合存储系统，将固态盘的存储空间划分为M个固态盘区域，并与瓦记录磁盘的N个HA-SMR区域构成总的存储空间，为上层提供连续的逻辑块地址空间；
2）分别计算固态盘中的每一个区域以及各个HA-SMR区域的关键访问频率CAF；
3）根据关键访问频率CAF对固态盘的M个固态盘区域、瓦记录磁盘的N个HA-SMR区域构成的M+N个区域进行排序；
4）根据排序结果确定向上迁移队列、向下迁移队列，所述上迁移队列是指需要从瓦记录磁盘迁移到固态盘中的HA-SMR区域，所述向下迁移队列是指需要从固态盘迁移到瓦记录磁盘中的区域；
5）生成连续的I/O请求序列对向上迁移队列、向下迁移队列执行数据迁移。
2.根据权利要求1所述的瓦记录磁盘感知的分层式混合存储方法，其特征在于，步骤2）中分别统计固态盘中的每一个区域以及各个HA-SMR区域的关键访问频率CAF时，具体是指分别计算固态盘中的每一个区域以及各个HA-SMR区域的写关键访问频率W-CAF和读关键访问频率R-CAF，然后将写关键访问频率W-CAF和读关键访问频率R-CAF进行综合计算该区域的关键访问频率CAF。
3.根据权利要求2所述的瓦记录磁盘感知的分层式混合存储方法，其特征在于，所述将写关键访问频率W-CAF和读关键访问频率R-CAF进行综合计算该区域的关键访问频率CAF的函数表达式如式（1）所示；
CAF=R-CAR+λ*W-CAF （1）
式（1）中，CAF表示某区域的关键访问频率，R-CAR表示该区域的读关键访问频率，W-CAF表示该区域的写关键访问频率，λ为写关键访问频率的权值,，写关键访问频率的权值λ的取值大于1。
4.根据权利要求2所述的瓦记录磁盘感知的分层式混合存储方法，其特征在于，所述分别统计固态盘中的每一个区域以及各个HA-SMR区域的写关键访问频率W-CAF和读关键访问频率R-CAF时：（I）针对HA-SMR区域的写关键访问频率W-CAF的统计步骤包括：利用瓦记录磁盘的主机感知特性获取HA-SMR区域内部的数据分布信息，并以此来判断指向该HA-SMR区域的写请求是否为顺序写请求，如果新到达的写请求指向的是一个顺序HA-SMR区域的写指针位置，识别该写请求为对HA-SMR区域的顺序写请求，并将该写请求认为是非关键访问，保持该HA-SMR区域的写关键访问频率W-CAF不变；否则识别该写请求为对HA-SMR区域的非顺序写请求，并将该写请求认为是一次关键访问，该HA-SMR区域的写关键访问频率W-CAF加1；（II）针对固态盘区域的写关键访问频率W-CAF的统计步骤包括：为每一个固态盘区域维持一个虚拟写指针VWP用来记录该固态盘区域中写入有效数据的块中最大的块地址，固态盘区域的虚拟写指针VWP随着新数据的写入需要及时更新，保持其始终指向逻辑地址最大的有效数据块；在每一个观察时间窗口开始时，设置每个固态盘区域都处于顺序状态；如果一个写请求是从该区域的虚拟写指针VWP位置开始写入，且该固态盘区域处于顺序状态，则表明即使该固态盘区域迁移至瓦记录磁盘中，这个写请求也不会对存储系统性能产生不利影响，将该写请求识别为对固态盘区域的非关键访问，不计入固态盘区域的写关键访问频率W-CAF中；如果有一个写请求访问了顺序状态的固态盘区域中非VWP位置，则识别该写请求为对固态盘区域的关键访问，将该固态盘区域设置为非顺序状态，该固态盘区域的写关键访问频率W-CAF加1，将对该固态盘区域的后续所有写请求识别为对该区域的关键访问；在后续过程中，固态盘区域的虚拟写指针VWP随着写请求的访问动态变化，固态盘区域的状态直至该观察时间窗口结束后再次变为顺序状态；（III）针对HA-SMR区域以及固态盘区域的读关键访问频率R-CAF采用相同的统计步骤，包括：如果连续的读请求满足逻辑地址之间相隔在较小的范围内且是按照逻辑地址递增的顺序进行读操作，则将这些连续的读请求识别为对该HA-SMR区域或固态盘区域的一个顺序读请求流，并将该区域的读关键访问频率R-CAF加1，除此之外将其它的每个读请求识别为对HA-SMR区域或固态盘区域的一次关键访问，并将该区域的读关键访问频率R-CAF加1。
5.根据权利要求1所述的瓦记录磁盘感知的分层式混合存储方法，其特征在于，步骤3）中的排序具体是指降序排列；步骤4）中根据排序结果确定向上迁移队列、向下迁移队列具体是指：针对降序排列结果将前M个固态盘区域中的HA-SMR区域加入向上迁移队列，将重排序后的第M+N个区域到第M+1个区域中的固态盘区域加入向下迁移队列。
6.根据权利要求1所述的瓦记录磁盘感知的分层式混合存储方法，其特征在于，步骤5）中开始生成连续的I/O请求序列对向上迁移队列、向下迁移队列执行数据迁移时，用户I/O请求的优先级始终高于数据迁移产生的I/O请求的优先级。
7.根据权利要求6所述的瓦记录磁盘感知的分层式混合存储方法，其特征在于，步骤5）中开始生成连续的I/O请求序列对向上迁移队列、向下迁移队列执行数据迁移时，将整个数据迁移过程划分为间断性的内部数据移动，每进行一段时间的数据迁移操作之后，暂停相同的时间长度后再进行下一阶段的数据迁移操作。
8.根据权利要求1所述的瓦记录磁盘感知的分层式混合存储方法，其特征在于，步骤5）中开始生成连续的I/O请求序列对向上迁移队列、向下迁移队列执行数据迁移时，对向上迁移队列执行数据迁移的详细步骤包括：针对向上迁移队列中的每一个HA-SMR区域，如果这个区域的状态为顺序状态，则表明该区域中位于写指针后方的所有块都没有被写入有效数据，在将此HA-SMR区域从瓦记录磁盘读出并写入固态盘时，只读取该HA-SMR区域中写指针前方的数据；如果这个区域的状态为非顺序状态，则总是将非顺序HA-SMR区域完整的从瓦记录磁盘读出，然后完整写入到固态盘中。
9.根据权利要求1所述的瓦记录磁盘感知的分层式混合存储方法，其特征在于，步骤5）中开始生成连续的I/O请求序列对向上迁移队列、向下迁移队列执行数据迁移时，对向下迁移队列执行数据迁移的详细步骤包括：针对向下迁移队列中的每一个固态盘区域，首先将准备容纳向下迁移的固态盘区域的HA-SMR区域的写指针重置，再将被迁移固态盘区域中的数据依次读出并写入到该HA-SMR区域中，使得在此过程中向下迁移的数据是完全按照顺序写入的方式写入到HA-SMR区域。
10.一种瓦记录磁盘感知的分层式混合存储系统，其特征在于：所述瓦记录磁盘感知的分层式混合存储系统被编程以执行权利要求1～9中任意一项所述瓦记录磁盘感知的分层式混合存储方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201811554066.XA CN109710184B (zh) | 2018-12-19 | 2018-12-19 | 瓦记录磁盘感知的分层式混合存储方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201811554066.XA CN109710184B (zh) | 2018-12-19 | 2018-12-19 | 瓦记录磁盘感知的分层式混合存储方法及系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN109710184A true CN109710184A (zh) | 2019-05-03 |
| CN109710184B CN109710184B (zh) | 2022-02-18 |
Family
ID=66256070
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201811554066.XA Active CN109710184B (zh) | 2018-12-19 | 2018-12-19 | 瓦记录磁盘感知的分层式混合存储方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN109710184B (zh) |
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111722797A (zh) * | 2020-05-18 | 2020-09-29 | 西安交通大学 | 面向ssd与ha-smr混合存储系统数据管理方法、存储介质及设备 |
| CN111858469A (zh) * | 2020-07-24 | 2020-10-30 | 成都成信高科信息技术有限公司 | 一种基于时间滑动窗口的自适应分级存储的方法 |
| CN111858470A (zh) * | 2020-07-24 | 2020-10-30 | 成都成信高科信息技术有限公司 | 一种时间窗口迁移策略 |
| CN112214169A (zh) * | 2020-09-28 | 2021-01-12 | 深圳大学 | 一种数据存储装置及存储数据的迁移方法 |
| CN112306404A (zh) * | 2020-10-10 | 2021-02-02 | 苏州浪潮智能科技有限公司 | 一种瓦记录磁盘数据布局方法、系统及相关设备 |
| CN113741794A (zh) * | 2020-05-29 | 2021-12-03 | 浙江宇视科技有限公司 | 一种smr盘阵列重建方法、系统、设备及计算机介质 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105138286A (zh) * | 2015-08-11 | 2015-12-09 | 智云创新（北京）科技有限公司 | 一种在磁盘文件系统中混合利用ssd和smr硬盘的方法 |
| US9317216B1 (en) * | 2013-12-20 | 2016-04-19 | Emc Corporation | SMR auto-tiering |
| CN106293543A (zh) * | 2016-08-25 | 2017-01-04 | 中国科学院计算技术研究所 | 一种基于捎带回收的瓦记录raid写顺序化方法及装置 |
| CN106970764A (zh) * | 2017-02-24 | 2017-07-21 | 中国科学院计算技术研究所 | 一种基于条带版本的瓦记录raid写顺序化方法及系统 |
| CN108139995A (zh) * | 2015-12-16 | 2018-06-08 | 西部数据技术公司 | 将感测设备数据缓存在数据存储设备中 |
| US20180342261A1 (en) * | 2017-05-26 | 2018-11-29 | Microsoft Technology Licensing, Llc | File system for shingled magnetic recording (smr) |
-
2018
- 2018-12-19 CN CN201811554066.XA patent/CN109710184B/zh active Active
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US9317216B1 (en) * | 2013-12-20 | 2016-04-19 | Emc Corporation | SMR auto-tiering |
| CN105138286A (zh) * | 2015-08-11 | 2015-12-09 | 智云创新（北京）科技有限公司 | 一种在磁盘文件系统中混合利用ssd和smr硬盘的方法 |
| CN108139995A (zh) * | 2015-12-16 | 2018-06-08 | 西部数据技术公司 | 将感测设备数据缓存在数据存储设备中 |
| CN106293543A (zh) * | 2016-08-25 | 2017-01-04 | 中国科学院计算技术研究所 | 一种基于捎带回收的瓦记录raid写顺序化方法及装置 |
| CN106970764A (zh) * | 2017-02-24 | 2017-07-21 | 中国科学院计算技术研究所 | 一种基于条带版本的瓦记录raid写顺序化方法及系统 |
| US20180342261A1 (en) * | 2017-05-26 | 2018-11-29 | Microsoft Technology Licensing, Llc | File system for shingled magnetic recording (smr) |
Non-Patent Citations (1)
| Title |
|---|
| LINGFANG ZENG等: "《CosaFS: A Cooperative Shingle-Aware File System》", 《ACM TRANSACTIONS ON STORAGE》 * |
Cited By (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111722797A (zh) * | 2020-05-18 | 2020-09-29 | 西安交通大学 | 面向ssd与ha-smr混合存储系统数据管理方法、存储介质及设备 |
| CN111722797B (zh) * | 2020-05-18 | 2021-06-29 | 西安交通大学 | 面向ssd与ha-smr混合存储系统数据管理方法、存储介质及设备 |
| CN113741794A (zh) * | 2020-05-29 | 2021-12-03 | 浙江宇视科技有限公司 | 一种smr盘阵列重建方法、系统、设备及计算机介质 |
| CN113741794B (zh) * | 2020-05-29 | 2024-04-05 | 浙江宇视科技有限公司 | 一种smr盘阵列重建方法、系统、设备及计算机介质 |
| CN111858469A (zh) * | 2020-07-24 | 2020-10-30 | 成都成信高科信息技术有限公司 | 一种基于时间滑动窗口的自适应分级存储的方法 |
| CN111858470A (zh) * | 2020-07-24 | 2020-10-30 | 成都成信高科信息技术有限公司 | 一种时间窗口迁移策略 |
| CN111858469B (zh) * | 2020-07-24 | 2024-01-26 | 成都成信高科信息技术有限公司 | 一种基于时间滑动窗口的自适应分级存储的方法 |
| CN112214169A (zh) * | 2020-09-28 | 2021-01-12 | 深圳大学 | 一种数据存储装置及存储数据的迁移方法 |
| CN112306404A (zh) * | 2020-10-10 | 2021-02-02 | 苏州浪潮智能科技有限公司 | 一种瓦记录磁盘数据布局方法、系统及相关设备 |
| CN112306404B (zh) * | 2020-10-10 | 2022-09-20 | 苏州浪潮智能科技有限公司 | 一种瓦记录磁盘数据布局方法、系统及相关设备 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN109710184B (zh) | 2022-02-18 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109710184A (zh) | 瓦记录磁盘感知的分层式混合存储方法及系统 | |
| Jin et al. | AD-LRU: An efficient buffer replacement algorithm for flash-based databases | |
| CN107193646A (zh) | 一种基于混合主存架构的高效动态页面调度方法 | |
| US9959054B1 (en) | Log cleaning and tiering in a log-based data storage system | |
| CN104699424B (zh) | 一种基于页面热度的异构内存管理方法 | |
| CN106326133A (zh) | 存储系统、存储管理装置、存储器、混合存储装置及存储管理方法 | |
| CN109783020A (zh) | 一种基于ssd-smr混合键值存储系统的垃圾回收方法 | |
| CN106548789A (zh) | 用于操作叠瓦式磁记录设备的方法和装置 | |
| CN110413199A (zh) | 管理存储系统的方法、设备和计算机程序产品 | |
| CN103605615A (zh) | 一种分级存储中基于块级数据的定向分配方法 | |
| CN110888600B (zh) | 一种面向nand闪存的缓冲区管理方法 | |
| CN109582593A (zh) | 一种基于计算的ftl地址映射方法及数据读、写方法 | |
| CN103631729A (zh) | 一种基于块级的分级存储方法及系统 | |
| CN106355031A (zh) | 基于层次分析法的数据价值度计算方法 | |
| CN103150245A (zh) | 确定数据实体的访问特性的方法和存储控制器 | |
| CN110532200A (zh) | 一种基于混合内存架构的内存系统 | |
| Carniel et al. | A generic and efficient framework for flash-aware spatial indexing | |
| CN106598501A (zh) | 用于存储自动分层的数据迁移设备及方法 | |
| CN106775453B (zh) | 一种混合存储阵列的构建方法 | |
| Ma et al. | Alleviating hot data write back effect for shingled magnetic recording storage systems | |
| CN109582222B (zh) | 一种主机感知瓦记录磁盘中持久缓存的清理方法 | |
| Fevgas et al. | LB-Grid: An SSD efficient grid file | |
| JP2008046763A (ja) | ディスクアレイサブシステム及びプログラム | |
| CN111078143B (zh) | 基于段映射进行数据布局和调度的混合存储方法及系统 | |
| CN102117262A (zh) | 用于多核处理器的Cache的主动复制方法及系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |