CN108062278A - 一种闪存冷热数据分析器及分析方法 - Google Patents

一种闪存冷热数据分析器及分析方法 Download PDF

Info

Publication number
CN108062278A
CN108062278A CN201810030687.1A CN201810030687A CN108062278A CN 108062278 A CN108062278 A CN 108062278A CN 201810030687 A CN201810030687 A CN 201810030687A CN 108062278 A CN108062278 A CN 108062278A
Authority
CN
China
Prior art keywords
data
flash memory
cold
flash
node
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201810030687.1A
Other languages
English (en)
Inventor
许豪江
李庭育
齐元辅
蔡定国
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Jiangsu Hua Cun Electronic Technology Co Ltd
Original Assignee
Jiangsu Hua Cun Electronic Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Jiangsu Hua Cun Electronic Technology Co Ltd filed Critical Jiangsu Hua Cun Electronic Technology Co Ltd
Priority to CN201810030687.1A priority Critical patent/CN108062278A/zh
Publication of CN108062278A publication Critical patent/CN108062278A/zh
Priority to PCT/CN2018/099761 priority patent/WO2019136982A1/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F12/00—Accessing, addressing or allocating within memory systems or architectures
    • G06F12/02—Addressing or allocation; Relocation
    • G06F12/0223—User address space allocation, e.g. contiguous or non contiguous base addressing
    • G06F12/023—Free address space management
    • G06F12/0238—Memory management in non-volatile memory, e.g. resistive RAM or ferroelectric memory
    • G06F12/0246—Memory management in non-volatile memory, e.g. resistive RAM or ferroelectric memory in block erasable memory, e.g. flash memory

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Read Only Memory (AREA)

Abstract

本发明公开了一种闪存冷热数据分析器及分析方法，本发明可以在不依靠其他存储器的情况下，结合应分析出冷热数据，减少垃圾回收的次数。相较于传统方式需要一块能存储262144空间的存储器，本发明能省去存储器成本又可以达到分辨冷热数据的效益。

Description

一种闪存冷热数据分析器及分析方法
技术领域
本发明涉及数据分析技术领域，具体为一种闪存冷热数据分析器及分析方法。
背景技术
闪存是一种长寿命的非易失性(在断电情况下仍能保持所存储的数据信息)的存储器，数据删除不是以单个的字节为单位而是以固定的区块为单位，区块大小一般为256KB到20MB。闪存是电子可擦除只读存储器(EEPROM)的变种，闪存与EEPROM不同的是，EEPROM能在字节水平上进行删除和重写而不是整个芯片擦写，而闪存的大部分芯片需要块擦除。由于其断电时仍能保存数据，闪存通常被用来保存设置信息，如在电脑的BIOS(基本程序)、PDA(个人数字助理)、数码相机中保存资料等；闪存正朝大容量、低功耗、低成本的方向发展。与传统硬盘相比，闪存的读写速度高、功耗较低，市场上已经出现了闪存硬盘，也就是SSD硬盘，该硬盘的性价比进一步提升。随着制造工艺的提高、成本的降低，闪存将更多地出现在日常生活之中。
闪存为非消失性的存储器装置，须先经过抹除后才能使用。因此在闪存中需要一个闪存转换层在闪存芯片上实现了一个虚拟块设备。主要透过映像表来把逻辑地址映像到闪存的物理地址。
由于闪存写入数据后不可以重复再写入数据，必须要使用额外的闪存块整理已写入的数据，此过程称为闪存垃圾回收。垃圾回收有三种情况，第一种类型称为替换机制，新的闪存数据完全取代旧的闪存块；第二种类型为部分替换机制，新的数据闪存块只有部分需要由旧闪存块取得数据补足；第三种类型为不能替换机制，新产生的数据闪存块，全部的数据内容都从好几个旧的闪存块取出。第一类型最有效率，第三类型需花费最多的时间和成本。
闪存冷热数据分析在闪存转换层是个重要的议题，闪存冷热数据分析是经由分析闪存冷热数据区分出数据是否频繁更新，减少垃圾回收。冷数据为写入闪存后很少被更新的数据，这种数据整理后，不容易被更新，垃圾回收的效益最高。相反的热数据频繁的被写入，回收此数据后在很短的时间内，立马又再被回收，影响效能。传统的方式，需要额外的存储器空间记录冷热数据的信息，增加成本。本发明的目的是提供一种结合映射表的分析冷热数据方法，本发明在不增加存储器空间下，分辨出冷热数据，减少闪存垃圾回收的次数。
发明内容
本发明的目的在于提供一种闪存冷热数据分析器及分析方法，以解决上述背景技术中提出的问题。
为实现上述目的，本发明提供如下技术方案：一种闪存冷热数据分析器，包括数据传输装置、闪存转换层和闪存，所述数据传输装置通过闪存转换层连接闪存，数据从数据传输装置发出通过闪存转换层后写入闪存内。
优选的，分析方法包括以下步骤：
A、以链表方式将映像表拆解成一个一个的节点，其中，每个节点都是小型的映射表；
B、依数据写入的顺序链接起来；
C、当有新的数据写入时把最新的节点安插在尾节点的后方；
D、当有数据写入时，检测是否有旧数据重复；
E、若无重复，则直接跳转步骤F；热数据会留在链表的尾位置，冷数据汇留在头部；若有重复数据，则先清除旧有的节点，再进入步骤F；
F、对冷热数据进行分辨。
优选的，所述闪存采用三元单元闪存或3D堆栈闪存，所述三元单元闪存有2048个块，每个块有512个页，共产生1048576个数据信息; 所述3D堆栈闪存有4个平面，每个平面有548个块，每个块有1536个页，共产生3366912个数据信息。
与现有技术相比，本发明的有益效果是：本发明可以在不依靠其他存储器的情况下，结合应分析出冷热数据，减少垃圾回收的次数。相较于传统方式需要一块能存储262144空间的存储器，本发明能省去存储器成本又可以达到分辨冷热数据的效益；利用本发明可以区分出在链表尾位置的都是热数据，留在头部的为冷数据。
附图说明
图1为本发明结构示意图；
图2为本发明的闪存示意图；
图3为本发明分析流程图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
请参阅图1-3，本发明提供一种技术方案：一种闪存冷热数据分析器，包括数据传输装置1、闪存转换层2和闪存3，所述数据传输装置1通过闪存转换层2连接闪存3，数据从数据传输装置1发出通过闪存转换层2后写入闪存3内；其中，闪存采用三元单元闪存或3D堆栈闪存，三元单元闪存有2048个块，每个块有512个页，共产生1048576个数据信息; 3D堆栈闪存有4个平面，每个平面有548个块，每个块有1536个页，共产生3366912个数据信息。
本发明的分析方法包括以下步骤：
A、以链表方式将映像表拆解成一个一个的节点，其中，每个节点都是小型的映射表；
B、依数据写入的顺序链接起来；
C、当有新的数据写入时把最新的节点安插在尾节点的后方；
D、当有数据写入时，检测是否有旧数据重复；
E、若无重复，则直接跳转步骤F；热数据会留在链表的尾位置，冷数据汇留在头部；若有重复数据，则先清除旧有的节点，再进入步骤F；
F、对冷热数据进行分辨。
举例说明：例如依序插入为数据1 (逻辑地址0，物理地址10)、数据2 (逻辑地址1，物理地址45)、数据3 (逻辑地址2，物理地址34)、数据4 (逻辑地址3，物理地址78)，若数据2(逻辑地址1，物理地址56)被再次写入，则检测是否有旧数据重复，若有重复，则清除旧有的节点。写入后链表为数据1、数据3、数据4和数据2；热数据会留在链表的尾位置，冷数据汇留在头部。
综上所述，本发明可以在不依靠其他存储器的情况下，结合应分析出冷热数据，减少垃圾回收的次数。相较于传统方式需要一块能存储262144空间的存储器，本发明能省去存储器成本又可以达到分辨冷热数据的效益；利用本发明可以区分出在链表尾位置的都是热数据，留在头部的为冷数据。
尽管已经示出和描述了本发明的实施例，对于本领域的普通技术人员而言，可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由所附权利要求及其等同物限定。

Claims (3)

1.一种闪存冷热数据分析器，其特征在于：包括数据传输装置（1）、闪存转换层（2）和闪存（3），所述数据传输装置（1）通过闪存转换层（2）连接闪存（3），数据从数据传输装置（1）发出通过闪存转换层（2）后写入闪存（3）内。
2.实现权利要求1所述的一种闪存冷热数据分析器的分析方法，其特征在于：分析方法包括以下步骤：
A、以链表方式将映像表拆解成一个一个的节点，其中，每个节点都是小型的映射表；
B、依数据写入的顺序链接起来；
C、当有新的数据写入时把最新的节点安插在尾节点的后方；
D、当有数据写入时，检测是否有旧数据重复；
E、若无重复，则直接跳转步骤F；热数据会留在链表的尾位置，冷数据汇留在头部；若有重复数据，则先清除旧有的节点，再进入步骤F；
F、对冷热数据进行分辨。
3.根据权利要求1所述的一种闪存冷热数据分析器，其特征在于：所述闪存采用三元单元闪存或3D堆栈闪存，所述三元单元闪存有2048个块，每个块有512个页，共产生1048576个数据信息; 所述3D堆栈闪存有4个平面，每个平面有548个块，每个块有1536个页，共产生3366912个数据信息。
CN201810030687.1A 2018-01-12 2018-01-12 一种闪存冷热数据分析器及分析方法 Pending CN108062278A (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN201810030687.1A CN108062278A (zh) 2018-01-12 2018-01-12 一种闪存冷热数据分析器及分析方法
PCT/CN2018/099761 WO2019136982A1 (zh) 2018-01-12 2018-08-09 一种闪存冷热数据分析器及分析方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810030687.1A CN108062278A (zh) 2018-01-12 2018-01-12 一种闪存冷热数据分析器及分析方法

Publications (1)

Publication Number Publication Date
CN108062278A true CN108062278A (zh) 2018-05-22

Family

ID=62141592

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810030687.1A Pending CN108062278A (zh) 2018-01-12 2018-01-12 一种闪存冷热数据分析器及分析方法

Country Status (2)

Country Link
CN (1) CN108062278A (zh)
WO (1) WO2019136982A1 (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019136982A1 (zh) * 2018-01-12 2019-07-18 江苏华存电子科技有限公司 一种闪存冷热数据分析器及分析方法
US11829636B2 (en) 2021-09-01 2023-11-28 Micron Technology, Inc. Cold data identification

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080082729A1 (en) * 2006-10-02 2008-04-03 Samsung Electronics Co. Ltd. Device driver including a flash memory file system and method thereof and a flash memory device and method thereof
CN102902628A (zh) * 2012-09-18 2013-01-30 记忆科技(深圳)有限公司 一种基于闪存实现的冷热数据自动分离方法、系统及闪存
CN106294197A (zh) * 2016-08-05 2017-01-04 华中科技大学 一种面向nand闪存的页面置换方法
CN107368436A (zh) * 2017-06-29 2017-11-21 西安交通大学 一种联合地址映射表的闪存冷热数据分离存储方法
CN107391398A (zh) * 2016-05-16 2017-11-24 中国科学院微电子研究所 一种闪存缓存区的管理方法及系统

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108062278A (zh) * 2018-01-12 2018-05-22 江苏华存电子科技有限公司 一种闪存冷热数据分析器及分析方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080082729A1 (en) * 2006-10-02 2008-04-03 Samsung Electronics Co. Ltd. Device driver including a flash memory file system and method thereof and a flash memory device and method thereof
CN102902628A (zh) * 2012-09-18 2013-01-30 记忆科技(深圳)有限公司 一种基于闪存实现的冷热数据自动分离方法、系统及闪存
CN107391398A (zh) * 2016-05-16 2017-11-24 中国科学院微电子研究所 一种闪存缓存区的管理方法及系统
CN106294197A (zh) * 2016-08-05 2017-01-04 华中科技大学 一种面向nand闪存的页面置换方法
CN107368436A (zh) * 2017-06-29 2017-11-21 西安交通大学 一种联合地址映射表的闪存冷热数据分离存储方法

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019136982A1 (zh) * 2018-01-12 2019-07-18 江苏华存电子科技有限公司 一种闪存冷热数据分析器及分析方法
US11829636B2 (en) 2021-09-01 2023-11-28 Micron Technology, Inc. Cold data identification

Also Published As

Publication number Publication date
WO2019136982A1 (zh) 2019-07-18

Similar Documents

Publication Publication Date Title
US8909986B2 (en) Data storing method for solid state drive to preserve data integrity after power failure
JP4812192B2 (ja) フラッシュメモリ装置、及び、それに記憶されたデータのマージ方法
US11354236B2 (en) Garbage collection method for data storage device
CN102819496B (zh) 闪存ftl的地址转换方法
CN108733510A (zh) 数据储存装置及映射表重建方法
US20120166709A1 (en) File system of flash memory
US20190251039A1 (en) Methods and apparatus for implementing a logical to physical address mapping in a solid state drive
CN106776376B (zh) 缓冲存储器管理方法、存储器控制电路单元及存储装置
CN106557432B (zh) 缓冲存储器管理方法、存储器控制电路单元及存储装置
CN104268095A (zh) 一种存储器及基于该存储器进行数据读/写操作的方法
US20100064095A1 (en) Flash memory system and operation method
CN110674056B (zh) 一种垃圾回收方法及装置
US11334480B2 (en) Data storage device and non-volatile memory control method
CN102520885B (zh) 一种混合硬盘的数据管理系统
CN111737162A (zh) 一种快速恢复数据的固态硬盘使用方法及计算机可读存储介质
CN108062278A (zh) 一种闪存冷热数据分析器及分析方法
CN109597570B (zh) 高速处理闪存的方法及基于该方法的设备和可读存储介质
CN105138277A (zh) 一种固态盘阵列的缓存管理方法
CN102521146A (zh) 一种flash存储器块细分的数据寻址存储方法
CN202443462U (zh) 辅助上位机检索页映射单元块中空闲块的装置
CN106205707A (zh) 存储器装置
CN108197040A (zh) 一种实体位置映到逻辑映像位置的高效能方法
CN114415942B (zh) L2p映射表重建方法及固态硬盘
CN101692211B (zh) 一种Flash数据管理方法
CN105608014B (zh) 一种使用mram的存储设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20180522