CN113094004A - 一种存储设备中针对特定规律数据镜像映射优化处理方法 - Google Patents
一种存储设备中针对特定规律数据镜像映射优化处理方法 Download PDFInfo
- Publication number
- CN113094004A CN113094004A CN202110519975.5A CN202110519975A CN113094004A CN 113094004 A CN113094004 A CN 113094004A CN 202110519975 A CN202110519975 A CN 202110519975A CN 113094004 A CN113094004 A CN 113094004A
- Authority
- CN
- China
- Prior art keywords
- data
- area
- hot
- data area
- layer
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000013507 mapping Methods 0.000 title claims abstract description 50
- 238000005457 optimization Methods 0.000 title claims abstract description 14
- 238000003672 processing method Methods 0.000 title claims abstract description 13
- 238000004422 calculation algorithm Methods 0.000 claims abstract description 22
- 230000008859 change Effects 0.000 claims abstract description 12
- 238000005192 partition Methods 0.000 claims description 11
- 238000000034 method Methods 0.000 claims description 9
- 238000013523 data management Methods 0.000 claims 1
- 238000007726 management method Methods 0.000 claims 1
- 238000013519 translation Methods 0.000 abstract description 4
- 238000005299 abrasion Methods 0.000 description 3
- 238000012545 processing Methods 0.000 description 3
- 238000006243 chemical reaction Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 230000007246 mechanism Effects 0.000 description 2
- 238000012360 testing method Methods 0.000 description 2
- 101150088682 HMT-1 gene Proteins 0.000 description 1
- 101100490834 Homo sapiens ALG1 gene Proteins 0.000 description 1
- 101100216116 Homo sapiens PRMT2 gene Proteins 0.000 description 1
- 101100126329 Mus musculus Islr2 gene Proteins 0.000 description 1
- 102100022988 Protein arginine N-methyltransferase 2 Human genes 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000005055 memory storage Effects 0.000 description 1
- 238000013508 migration Methods 0.000 description 1
- 230000005012 migration Effects 0.000 description 1
- 238000011056 performance test Methods 0.000 description 1
- 230000002035 prolonged effect Effects 0.000 description 1
- 238000011084 recovery Methods 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 238000012163 sequencing technique Methods 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
- G06F3/0601—Interfaces specially adapted for storage systems
- G06F3/0602—Interfaces specially adapted for storage systems specifically adapted to achieve a particular effect
- G06F3/061—Improving I/O performance
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
- G06F3/0601—Interfaces specially adapted for storage systems
- G06F3/0602—Interfaces specially adapted for storage systems specifically adapted to achieve a particular effect
- G06F3/0614—Improving the reliability of storage systems
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
- G06F3/0601—Interfaces specially adapted for storage systems
- G06F3/0602—Interfaces specially adapted for storage systems specifically adapted to achieve a particular effect
- G06F3/0614—Improving the reliability of storage systems
- G06F3/0616—Improving the reliability of storage systems in relation to life time, e.g. increasing Mean Time Between Failures [MTBF]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
- G06F3/0601—Interfaces specially adapted for storage systems
- G06F3/0628—Interfaces specially adapted for storage systems making use of a particular technique
- G06F3/0638—Organizing or formatting or addressing of data
- G06F3/0644—Management of space entities, e.g. partitions, extents, pools
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
- G06F3/0601—Interfaces specially adapted for storage systems
- G06F3/0668—Interfaces specially adapted for storage systems adopting a particular infrastructure
- G06F3/0671—In-line storage system
- G06F3/0673—Single storage device
- G06F3/0679—Non-volatile semiconductor memory device, e.g. flash memory, one time programmable memory [OTP]
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明公开了一种存储设备中针对特定规律数据镜像映射优化处理方法，在存储设备的逻辑层到FTL固件算法层之间，建立重映射层，在重映射层划分热数据区、冷数据区，对应热数据区、冷数据区分别建立映射表，动态追踪各区变化，调整各区热度值，将热数据区数据依次组合对应到固件算法层的日记区，将冷数据区数据依次组合对应到固件算法层的数据区。本申请的重映射层，使多变的数据在进入FTL层之前重映射为顺序写，提升存储设备的性能，管理重映射层中的冷、热数据区分布，在逻辑层做替换映射，提高可靠性保障。
Description
技术领域
本发明涉及存储设备技术领域，尤其是涉及一种存储设备中针对特定规律数据镜像映射优化处理方法。
背景技术
目前，常用的存储设备主要由主控制器、闪存芯片构成，主控制器主要负责闪存芯片的管理、载荷分配等，通过固件算法层也叫闪存转换层 FTL（Flash Translate Layer），对外提供与普通硬盘（HDD）相同的访问接口，即系统应用可以通过逻辑扇区号以扇区为单位对闪存设备进行访问。每家闪存制造商都有各自开发的FTL，闪存设备上的一切读写操作需要透过 FTL 来进行操作。
闪存设备包括逻辑层、固件算法层、物理层，逻辑层实际就是文件系统层，是应用中直接能看到的，由连续的逻辑地址组成的。
在固件算法层FTL里，存放了逻辑块地址（Logical Block Address，LBA）到物理块地址（Physical Block Address，PBA）的映射。
操作系统访问的硬盘地址，其实都是逻辑地址，只有通过FTL转换后，才会变成实际的物理地址，找到对应的块进行访问操作，系统本身不需要去考虑块的磨损程度，只要和操作来读写数据即可。
主流的FTL主要有3种地址映射方法：页映射、块映射和混合映射，页映射，以页为单位执行地址映射，直接定位数据，但页映射表保存内存开销大；块映射，保存逻辑块到物理块的映射信息，内存开销小，但映射信息的粒度较大易发生地址覆盖，读写性能较低。混合映射,物理块被逻辑地分为DataZone数据区和CacheZone日记区，数据区中使用块映射,同时利用页映射定位在日志区的更新数据。虽然混合映射方法结合了块级和页级映射两者的优点.但它并未完全解决前两者中的性能问题。随机写效率低、写循环寿命受限等等仍然是闪存设备存储亟待优化的问题。
由于 FTL 涉及GC（垃圾回收）和磨损均衡（Wearing Level），会直接影响设备读写平均速率和寿命等重要参数。
而基于 NandFlash物理机制上的特点，其物理操作主要受限于：① 必须先擦除整个块，并以页为单位写入数据；②闪存写寿命有限，并伴随着磨损增加，数据块稳定性降低。当发生覆盖写将严重影响设备的性能和稳定性。加之，当前众多的应用场景件数据流热点独立变化，多个动态变化的I/O行为，降低了以顺序存取方式见长的闪存设备的存取性能，增加了损益平衡管理的难度。
因此，提高随机写效率、增加写循环寿命，是闪存设备目前亟待解决的问题。
发明内容
本发明的目的是提供一种存储设备中针对特定规律数据镜像映射优化处理方法，在闪存设备中设置重映射层，在重映射层中进行热数据区与冷数据区的区分，并根据冷数据区与热数据区的热度值，动态地追踪各区的变化，调整冷数据区与热数据区，将热数据区数据依次组合对应到FTL层的日志区 CacheZone上，将冷数据区数据依次组合对应到FTL层的数据区 DataZone上，将多变的Host数据请求在到达FTL层前重映射为顺序写，提升存储设备的性能，并利于FTL中无效数据回收和磨损平衡的管理而增加闪存设备的稳定性，动态追踪冷热数据区并在逻辑层做替换映射，提高可靠性保障。
第一方面，本发明的上述发明目的通过以下技术方案得以实现：
一种存储设备结构，包括依次设置的逻辑层、重映像层、固件算法层、物理层，重映像层用于对HOST数据进行冷热数据分区存储，通过热映射表与冷映射表分别进行管理，动态追踪冷数据与热数据变化，调整数据区热度值。
本发明进一步设置为：热数据区包括固定热数据区、可变热数据区，固定热数据区用于存储高频小数据，可变热数据区用于存储低频小数据；重映像层中除热数据区外的区域为冷数据区。
本发明进一步设置为：将热数据区划分为若干个热数据子区；将冷数据区划分为若干个冷数据子区，建立父子热度值表用于管理。
第二方面，本发明的上述发明目的通过以下技术方案得以实现：
一种存储设备中针对特定规律数据镜像映射优化处理方法，在存储设备的逻辑层到FTL固件算法层之间，建立重映射层，在重映射层划分热数据区、冷数据区，对应热数据区、冷数据区分别建立映射表，动态追踪各区变化，调整各区热度值，将热数据区数据依次组合对应到固件算法层的日记区，将冷数据区数据依次组合对应到固件算法层的数据区。
本发明进一步设置为：根据数据请求中的写入逻辑扇区位置、长度、频度，将数据请求划分为：高频度小数据、低频度小数据、大数据、混合类； 以高频度小数据、低频度小数据所在的区为热数据区，重映像层中除热数据区外的区域为冷数据区。
本发明进一步设置为：以高频度小数据所在区及其延展区为固定热数据区，以低频度小数据所在区及其延展区为可变热数据区，建立固定热数据区、可变热数据区热映射表。
本发明进一步设置为：以热数据区一个逻辑块所含的扇区个数为单位，将热数据区划分为若干热数据子区，各热数据子区节点的热度值总和为热数据区父节点热度值；以日志区大小为单位，将冷数据区划分为若干冷数据子区，记录各冷数据子区节点的热度值。
本发明进一步设置为：根据工作流变化情况，结合I/O特性，动态追踪冷热区域变化，根据数据访问次数，更新热度值表，根据热度值表，更新热数据区与冷数据区。
本发明进一步设置为：重映射层热数据区动态追踪，包括以下步骤：
S1、接收到HOST数据请求；
S2、查找数据请求所在重映射层的分区；
S3、所在分区是否为热数据区，若是，进入下一步，若否，转S 10；
S4、增加所在热数据区的子节点热度值、父节点热度值；
S5、判断热度值是否溢出，若是，进入下一步，若否，转S13；
S6、将所有区域热度值均右移一位；
S7、判断是否有热度值为0的节点，若否，进入下一步，若是，转S12；
S8、判断热数据区长度是否超过日志区长度，若是，进入下一步，若否，转S13；
S9、根据热度值重新排列节点，将最低热度值对应节点调入冷数据区；转S13；
S10、增加所在冷数据子区的热度值；
S11、判断是否有冷数据区热度值大于热数据区节点热度值, 若是，转S6，若否，转S13；
S12、将热度值为0的节点存入冷数据区，将冷数据区热度值最大的节点替换到热数据区；
S13、等待接收下一个写入数据请求，转S1。
第三方面，本发明的上述发明目的通过以下技术方案得以实现：
一种存储设备，包括主控制器与存储阵列，存储设备中设置逻辑层、重映射层、固件算法层、物理层，主控制器中存储有存取数据程序，主控制器执行存取数据程序时实现本申请所述方法。
与现有技术相比，本申请的有益技术效果为：
1.本申请通过在逻辑层和固件算法层之间建立一个重映射层，使多变的数据在进入FTL层之前重映射为顺序写，提升存储设备的性能；
2.进一步地，本申请通过在重映射层采用数据冷热区域动态追踪，管理重映射层中的冷、热数据区分布，在逻辑层做替换映射，提高可靠性保障；
3.进一步地，本申请通过将热数据区数据依次组合对应到FTL层的日志区上，将冷数据区数据依次组合对应到FTL层的数据区上，实现了数据的分区放置，减少频繁擦除对闪存设备的损坏，增加了闪存设备的寿命。
附图说明
图1是本申请的一个具体实施例的存储设备结构示意图；
图2是本申请的一个具体实施例的存储设备数据传输示意图；
图3是本申请的一个具体实施例的重映射层控制流程示意图。
具体实施方式
以下结合附图对本发明作进一步详细说明。
具体实施例一
本申请的一种存储设备结构，如图1所示，包括依次设置的逻辑层、重映射层、固件算法层、物理层；逻辑层即是文件系统层，由连续的逻辑地址组成；固件算法层，也就是FTL（Flash Translate Layer），也叫闪存转换层，重映射层，用于对数据进行冷热区分，将冷数据放置在冷数据区，将热数据放置在热数据区，根据数据的热度值，动态追踪冷数据区、热数据区的变化，将冷数据区的数据依次组合对应到FTL 的数据区（DataZone）上，将热数据区的数据依次组合对应到FTL的日志区（CacheZone）上，减少FTL的擦除频率，提高存储设备的性能。
重映射层包括冷数据区、热数据区，设置热映射表HMT(Hot Mapping Table)，对热数据区进行管理；设置冷映射表CMT（Cold Mapping Tabe），对冷数据区进行管理。
热数据区包括固定热数据区、可变热数据区。
存储高频小数据的区域及其延展区，为固定热数据区。一般从起始逻辑位置开始，其大小为文件系统占用的区间。
存储低频小数据的区域及其延展区，为可变热数据区。可变热数据区的大小为日志区长度减去固定热数据区长度。
重映射层中除热数据区以外的逻辑扇区为冷数据区。
对应固定热数据区设置固定热映射表HMT0，可变热数据区设置可变热映射表HMT1，热映射表包括固定热映射表HMT0和可变热映射表HMT1。
将热映射表HMT按照逻辑扇区地址由低到高进行排列,以一个逻辑块所含的扇区个数为单位，将热数据区划分为若干热数据子区。对每个热数据子区设置热数据子区热度值，所有热数据子区热度值之和为热数据区热度值。
以日志区大小为单位，将冷数据区划分为若干个冷数据子区，对应各冷数据子区的设置冷数据子区热度值。
如图2所示，将冷数据区的数据依次组合对应到FTL 的数据区（DataZone）上，将热数据区的数据依次组合对应到FTL的日志区（CacheZone）上，这样就实现了热数据的顺序写入，冷数据的顺序写入。
具体实施例二
本申请的一种存储设备中针对特定规律数据镜像映射优化处理方法，在具体实施例1的存储设备结构上，进行存储处理。
存储设备存储的数据，包括Host数据流。
利用 trace、磁盘驱动数据跟踪器等应用软件，抓取并收集Host数据访问闪存设备的数据请求，采用工作流模拟软件测试等方法，综合分析数据请求的规律及对闪存设备的性能影响，作为存储设备性能优化的依据。
多种应用场景下收集Host的数据请求，包括：在操作系统、测试应用、系统盘等场景下收集Host的数据请求。
在各操作系统中，分别抓取和收集发生文件系统创建和更新时Host的数据请求；操作系统包括winXP、win7、win10、Mac、Linx、车载设备操作系统、工控设备操作系统、移动设备操作系统。
在各测试应用场景中，抓取和收集Host的数据请求。
在第一系统盘Systemdisk1~第三系统盘Systemdisk3 中，通过Diskmon收集的 PC上的磁盘访问请求，包括单一和多个文件拷贝操作、视频在线播放、多程序数据处理等的数据集，其涵盖了日常数据环境下的连续写、随机写、不同请求长度的应用场景下Host的数据请求。
对收集到的数据请求，分析数据请求所在逻辑扇区分布及长度规律。
按照数据请求中写入的逻辑扇区位置、长度、频度，将Host数据请求，主要是读写频率高、对响应时间敏感的数据请求，划分为高频度小数据区、低频度小数据区、大数据区、混合区。
高频度小数据区，主要为文件系统的元数据，系统需要经常读取写入, 分布于闪存设备逻辑扇区前部子区域。
低频度小数据区，主要为随机写操作的小数据写, 在闪存设备逻辑扇区上位置不固定依应用场景有变动，但是数据长度小。
大数据区，主要为一般性数据存入及顺序小数据写,是通用闪存设备的主主存储区，占大部分逻辑扇区。
混合区，主要是针对特殊性能测试应用场景等的数据随机组合，位置及长度都不具有规律性，占比很低。
高频度小数据区及其延展区为固定热数据区，低频度小数据区及其延展区为可变热数据区，固定热数据区、可变热数据区的大小与FTL设置的CacheZone大小相关。
多种应用场景中的工作数据流各自独立变化，跟踪工作流随时间的变化情况，动态调整热数据区域。
动态调整热数据区域，包括热数据区管理、替换。
热数据区管理，包括：
以设定大小为单位，将闪存设备划分为若干个子区，以子区作为访问信息记录单元；采用类似基树的数据结构形式管理各子区的访问历史，基树的叶子节点指向每个子区，每个叶子节点记录各子区的热度值、对子区数据块计数、对节点访问计数。
每访问一次子区内的数据块，该子区的热度值增加1，与该子区节点相关联的所有父节点的热度值也相应增加1。
当叶子节点或父节点的访问计数大于设定值时，对应节点的热度值右移1位，与其相关联的所有父节点的热度值也同样右移1位。
当访问量增加到一定数值时，节点的热度值会产生溢出，此时，与节点相关的所有节点热度值右移1位。
热度值右移，不会改变本子区热度值的排序，却能够隔离历史访问信息，相当于此时刻之前的访问量在热度值中所占权重降为1/2，即下降一半，从而使距离计算时刻近期的访问量在热度值中占有更高的权重。
当一个子区的热度值的溢出，使另外一个数据块长时间没有访问的子区的热度值会不断减小，直至变为0，从而成为冷区。
热数据子区、冷数据子区替换，包括：
当有新冷数据子区产生时，对所有冷数据子区热度值进行重新排序，以新冷数据子区长度为条件，查找与新冷数据子区长度相同、且热度值最高的在先冷数据子区，作为替代冷数据子区，替换到热数据子区，更新热映射表。
对所有冷数据子区的热度值从低到高进行排序， 查找热度值最低的N个子区、且N个子区的长度组合等于日志区长度，将此N个子区作为冷数据区，更新冷映射表。
重映射层的动态嵌入管理，包括：
将经常访问的逻辑扇区调入热映射区，上层应用有数据请求时，以页管理模式，在日志区（CacheZone）存取数据，冷映射区继续采用FTL算法中的垃圾回收（GarbageCollection）、磨损均衡等设计规则。
利用冷数据区、热数据区的动态追踪，识别多应用场景中数据请求变化，采用快速动态迁移算法和GC脏块去冗机制，进一步减小数据传输，减少覆盖写及平均磨损概率。
利用SLC 突出的随机存取性能，克服多种类应用场景工作流随机性增加导致的性能下降问题。
热数据区跟踪采用高效的数据结构，维护全局数据块的存取热度，确保热区数据驻留在CacheZone中。
具体实施例三
本申请的一种存储设备，包括主控制器、存储阵列，存储设备分为逻辑层、重映射层、固件算法层、物理层；主控制器中存储有存取数据程序，主控制器执行存取数据程序时，按照本申请具体实施例二的方法，对数据请求进行冷数据与热数据区分，并根据热度值动态调整次数据区与热数据区的数据，将冷数据区的数据依次组合对应到FTL 的数据区（DataZone）上，将热数据区的数据依次组合对应到FTL的日志区（CacheZone）上。
具体实施例四
本申请的一种存储设备中针对特定规律数据镜像映射优化处理方法，如图3所示，包括以下步骤：
S1、接收到HOST数据请求；
S2、查找数据请求所在重映射层的分区；
S3、所在分区是否为热数据区，若是，进入下一步，若否，转S 10；
S4、增加所在热数据区的子节点热度值、父节点热度值；
S5、判断热度值是否溢出，若是，进入下一步，若否，转S13；
S6、将所有区域热度值均右移一位；
S7、判断是否有热度值为0的节点，若否，进入下一步，若是，转S12；
S8、判断热数据区长度是否超过日志区长度，若是，进入下一步，若否，转S13；
S9、根据热度值重新排列节点，将最低热度值对应节点调入冷数据区；转S13；
S10、增加所在冷数据子区的热度值；
S11、判断是否有冷数据区热度值大于热数据区节点热度值, 若是，转S6，若否，转S13；
S12、将热度值为0的节点存入冷数据区，将冷数据区热度值最大的节点替换到热数据区；
S13、等待接收下一个写入数据请求，转S1。
本具体实施方式的实施例均为本发明的较佳实施例，并非依此限制本发明的保护范围，故：凡依本发明的结构、形状、原理所做的等效变化，均应涵盖于本发明的保护范围之内。
Claims (10)
1.一种存储设备结构，其特征在于：包括依次设置的逻辑层、重映像层、固件算法层、物理层，重映像层用于对HOST数据进行冷热数据分区存储，通过热映射表与冷映射表分别进行管理，动态追踪冷数据与热数据变化，调整数据区热度值。
2.根据权利要求1所述存储设备结构，其特征在于：热数据区包括固定热数据区、可变热数据区，固定热数据区用于存储高频小数据，可变热数据区用于存储低频小数据；重映像层中除热数据区外的区域为冷数据区。
3.根据权利要求2所述存储设备结构，其特征在于：将热数据区划分为若干个热数据子区；将冷数据区划分为若干个冷数据子区，建立父子热度值表用于管理。
4.一种存储设备中针对特定规律数据镜像映射优化处理方法，其特征在于：在存储设备的逻辑层到FTL固件算法层之间，建立重映射层，在重映射层划分热数据区、冷数据区，对应热数据区、冷数据区分别建立映射表，动态追踪各区变化，调整各区热度值，将热数据区数据依次组合对应到固件算法层的日记区，将冷数据区数据依次组合对应到固件算法层的数据区。
5.根据权利要求4所述存储设备中针对特定规律数据镜像映射优化处理方法，其特征在于：根据数据请求中的写入逻辑扇区位置、长度、频度，将数据请求划分为：高频度小数据、低频度小数据、大数据、混合类； 以高频度小数据、低频度小数据所在的区为热数据区，重映像层中除热数据区外的区域为冷数据区。
6.根据权利要求5所述存储设备中针对特定规律数据镜像映射优化处理方法，其特征在于：以高频度小数据所在区及其延展区为固定热数据区，以低频度小数据所在区及其延展区为可变热数据区，建立固定热数据区、可变热数据区热映射表。
7.根据权利要求4所述存储设备中针对特定规律数据镜像映射优化处理方法，其特征在于：以热数据区一个逻辑块所含的扇区个数为单位，将热数据区划分为若干热数据子区，各热数据子区节点的热度值总和为热数据区父节点热度值；以日志区大小为单位，将冷数据区划分为若干冷数据子区，记录各冷数据子区节点的热度值。
8.根据权利要求4所述存储设备中针对特定规律数据镜像映射优化处理方法，其特征在于：根据工作流变化情况，结合I/O特性，动态追踪冷热区域变化，根据数据访问次数，更新热度值表，根据热度值表，更新热数据区与冷数据区。
9.根据权利要求4所述存储设备中针对特定规律数据镜像映射优化处理方法，其特征在于：重映射层热数据区动态追踪，包括以下步骤：
S1、接收到HOST数据请求；
S2、查找数据请求所在重映射层的分区；
S3、所在分区是否为热数据区，若是，进入下一步，若否，转S 10；
S4、增加所在热数据区的子节点热度值、父节点热度值；
S5、判断热度值是否溢出，若是，进入下一步，若否，转S13；
S6、将所有区域热度值均右移一位；
S7、判断是否有热度值为0的节点，若否，进入下一步，若是，转S12；
S8、判断热数据区长度是否超过日志区长度，若是，进入下一步，若否，转S13；
S9、根据热度值重新排列节点，将最低热度值对应节点调入冷数据区；转S13；
S10、增加所在冷数据子区的热度值；
S11、判断是否有冷数据区热度值大于热数据区节点热度值, 若是，转S6，若否，转S13；
S12、将热度值为0的节点存入冷数据区，将冷数据区热度值最大的节点替换到热数据区；
S13、等待接收下一个写入数据请求，转S1。
10.一种存储设备，包括主控制器与存储阵列，其特征在于，存储设备中设置逻辑层、重映射层、固件算法层、物理层，主控制器中存储有存取数据程序，主控制器执行存取数据程序时实现如权利要求4-9任一所述方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110519975.5A CN113094004B (zh) | 2021-05-13 | 2021-05-13 | 一种存储设备中针对特定规律数据镜像映射优化处理方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110519975.5A CN113094004B (zh) | 2021-05-13 | 2021-05-13 | 一种存储设备中针对特定规律数据镜像映射优化处理方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113094004A true CN113094004A (zh) | 2021-07-09 |
| CN113094004B CN113094004B (zh) | 2023-11-03 |
Family
ID=76665565
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110519975.5A Active CN113094004B (zh) | 2021-05-13 | 2021-05-13 | 一种存储设备中针对特定规律数据镜像映射优化处理方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113094004B (zh) |
Citations (14)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102799534A (zh) * | 2012-07-18 | 2012-11-28 | 上海宝存信息科技有限公司 | 基于固态存储介质的存储系统及方法、冷热数据识别方法 |
| CN102902628A (zh) * | 2012-09-18 | 2013-01-30 | 记忆科技(深圳)有限公司 | 一种基于闪存实现的冷热数据自动分离方法、系统及闪存 |
| US20140095827A1 (en) * | 2011-05-24 | 2014-04-03 | Agency For Science, Technology And Research | Memory storage device, and a related zone-based block management and mapping method |
| CN104794064A (zh) * | 2015-04-21 | 2015-07-22 | 华中科技大学 | 一种基于区域热度的缓存管理方法 |
| US9218849B1 (en) * | 2014-11-24 | 2015-12-22 | Seagate Technology Llc | Data loss mitigation in a heat assisted magnetic recording data storage device |
| CN105677242A (zh) * | 2015-12-31 | 2016-06-15 | 杭州华为数字技术有限公司 | 冷热数据的分离方法和装置 |
| US20170024326A1 (en) * | 2015-07-22 | 2017-01-26 | CNEX-Labs, Inc. | Method and Apparatus for Caching Flash Translation Layer (FTL) Table |
| CN107368436A (zh) * | 2017-06-29 | 2017-11-21 | 西安交通大学 | 一种联合地址映射表的闪存冷热数据分离存储方法 |
| US20180113631A1 (en) * | 2016-10-26 | 2018-04-26 | ScaleFlux, Inc. | Enhancing flash translation layer to improve performance of databases and filesystems |
| KR20180079900A (ko) * | 2017-01-03 | 2018-07-11 | 한양대학교 산학협력단 | 캐시 매핑 테이블 관리 방법 및 장치 |
| CN109448770A (zh) * | 2018-09-21 | 2019-03-08 | 华中科技大学 | 一种交叉开关结构阻变存储器的优化方法 |
| CN109582593A (zh) * | 2018-11-05 | 2019-04-05 | 华侨大学 | 一种基于计算的ftl地址映射方法及数据读、写方法 |
| US20190114272A1 (en) * | 2017-10-12 | 2019-04-18 | Western Digital Technologies, Inc. | Methods and apparatus for variable size logical page management based on hot and cold data |
| CN111090392A (zh) * | 2019-11-20 | 2020-05-01 | 深圳市得一微电子有限责任公司 | 一种基于特征码的冷热数据分离方法 |
-
2021
- 2021-05-13 CN CN202110519975.5A patent/CN113094004B/zh active Active
Patent Citations (14)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20140095827A1 (en) * | 2011-05-24 | 2014-04-03 | Agency For Science, Technology And Research | Memory storage device, and a related zone-based block management and mapping method |
| CN102799534A (zh) * | 2012-07-18 | 2012-11-28 | 上海宝存信息科技有限公司 | 基于固态存储介质的存储系统及方法、冷热数据识别方法 |
| CN102902628A (zh) * | 2012-09-18 | 2013-01-30 | 记忆科技(深圳)有限公司 | 一种基于闪存实现的冷热数据自动分离方法、系统及闪存 |
| US9218849B1 (en) * | 2014-11-24 | 2015-12-22 | Seagate Technology Llc | Data loss mitigation in a heat assisted magnetic recording data storage device |
| CN104794064A (zh) * | 2015-04-21 | 2015-07-22 | 华中科技大学 | 一种基于区域热度的缓存管理方法 |
| US20170024326A1 (en) * | 2015-07-22 | 2017-01-26 | CNEX-Labs, Inc. | Method and Apparatus for Caching Flash Translation Layer (FTL) Table |
| CN105677242A (zh) * | 2015-12-31 | 2016-06-15 | 杭州华为数字技术有限公司 | 冷热数据的分离方法和装置 |
| US20180113631A1 (en) * | 2016-10-26 | 2018-04-26 | ScaleFlux, Inc. | Enhancing flash translation layer to improve performance of databases and filesystems |
| KR20180079900A (ko) * | 2017-01-03 | 2018-07-11 | 한양대학교 산학협력단 | 캐시 매핑 테이블 관리 방법 및 장치 |
| CN107368436A (zh) * | 2017-06-29 | 2017-11-21 | 西安交通大学 | 一种联合地址映射表的闪存冷热数据分离存储方法 |
| US20190114272A1 (en) * | 2017-10-12 | 2019-04-18 | Western Digital Technologies, Inc. | Methods and apparatus for variable size logical page management based on hot and cold data |
| CN109448770A (zh) * | 2018-09-21 | 2019-03-08 | 华中科技大学 | 一种交叉开关结构阻变存储器的优化方法 |
| CN109582593A (zh) * | 2018-11-05 | 2019-04-05 | 华侨大学 | 一种基于计算的ftl地址映射方法及数据读、写方法 |
| CN111090392A (zh) * | 2019-11-20 | 2020-05-01 | 深圳市得一微电子有限责任公司 | 一种基于特征码的冷热数据分离方法 |
Non-Patent Citations (2)
| Title |
|---|
| 周权彪;张兴军;梁宁静;霍文洁;董小社;: "基于缓存映射项重用距离的闪存地址映射方法", 计算机研究与发展, no. 05, pages 1065 - 1076 * |
| 杜晨杰: "基于NAND闪存的固态盘关键技术研究", 《中国优秀硕士学位论文全文数据库信息科技辑》, no. 2017, pages 137 - 6 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN113094004B (zh) | 2023-11-03 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR101894625B1 (ko) | 데이터 저장 시스템들에 대한 우선순위 기반 가비지 수집 | |
| JP4185058B2 (ja) | フラッシュメモリのリマッピング方法 | |
| JP4988215B2 (ja) | 複数のマッピング技法を採用した適応型フラッシュメモリ制御装置及びそれを含むフラッシュメモリシステム | |
| CN102576293B (zh) | 固态存储设备和分层存储系统中的数据管理 | |
| US9378131B2 (en) | Non-volatile storage addressing using multiple tables | |
| CN109656486B (zh) | 固态硬盘的配置方法、数据存储方法、固态硬盘和存储控制器 | |
| CN104102591A (zh) | 计算机子系统及在其中实现闪存转换层的方法 | |
| KR20120090965A (ko) | 고체-상태 저장 디바이스 상에서 데이터를 캐싱하는 장치, 시스템, 및 방법 | |
| JP2008015769A (ja) | ストレージシステム及び書き込み分散方法 | |
| JPWO2005106673A1 (ja) | 不揮発性記憶装置及びデータ書込み方法 | |
| KR20100089229A (ko) | 플래시 메모리의 주소 매핑에 의한 데이터 관리 방법 및 장치 | |
| KR101297442B1 (ko) | 공간 지역성을 고려한 요구 기반 플래시 메모리 변환 계층을 포함하는 낸드 플래시 메모리 시스템 | |
| US11144224B2 (en) | Locality-aware, memory-efficient, time-efficient hot data identification using count-min-sketch for flash or streaming applications | |
| JP2007220107A (ja) | 不揮発性メモリのマッピング情報管理装置及び方法 | |
| CN109478164A (zh) | 用于存储用于高速缓存条目传输的高速缓存位置信息的系统和方法 | |
| JP6531574B2 (ja) | ストレージ装置、ストレージ装置制御プログラム及びストレージ装置制御方法 | |
| CN113253926A (zh) | 提升新型存储器的查询和存储性能的存储内索引构建方法 | |
| KR101191650B1 (ko) | 낸드 플래시 메모리에서 데이터의 주소를 사상시키는 장치 및 방법 | |
| JP2013222434A (ja) | キャッシュ制御装置、キャッシュ制御方法、及びそのプログラム | |
| CN113094004B (zh) | 一种存储设备中针对特定规律数据镜像映射优化处理方法 | |
| CN111078143B (zh) | 基于段映射进行数据布局和调度的混合存储方法及系统 | |
| KR101353967B1 (ko) | 환형 구조의 비휘발성 메모리 캐쉬에 데이터를 읽고 쓰기 위한 데이터 처리 방법 | |
| KR20210158043A (ko) | 스트림 분류 번호에 따른 데이터 분류 스토리지 장치 및 그 동작 방법 | |
| KR101373613B1 (ko) | 환형 구조의 비휘발성 메모리 캐쉬를 포함하는 하이브리드 스토리지 장치 | |
| US20210263648A1 (en) | Method for managing performance of logical disk and storage array |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| CB02 | Change of applicant information |
Address after: 518000 area a, 7th floor, building A1, Shenzhen digital technology park, 17 Gaoxin South 7th Road, high tech Zone community, Yuehai street, Nanshan District, Shenzhen City, Guangdong Province Applicant after: Deyi Microelectronics Co.,Ltd. Address before: 518000 area a, 7th floor, building A1, Shenzhen digital technology park, 17 Gaoxin South 7th Road, high tech Zone community, Yuehai street, Nanshan District, Shenzhen City, Guangdong Province Applicant before: YEESTOR MICROELECTRONICS Co.,Ltd. |
|
| CB02 | Change of applicant information | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |