CN111190834A - 一种非对称读延迟感知的数据放置方法 - Google Patents
一种非对称读延迟感知的数据放置方法 Download PDFInfo
- Publication number
- CN111190834A CN111190834A CN201911345274.3A CN201911345274A CN111190834A CN 111190834 A CN111190834 A CN 111190834A CN 201911345274 A CN201911345274 A CN 201911345274A CN 111190834 A CN111190834 A CN 111190834A
- Authority
- CN
- China
- Prior art keywords
- data
- page
- read
- cold
- slow
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F12/00—Accessing, addressing or allocating within memory systems or architectures
- G06F12/02—Addressing or allocation; Relocation
- G06F12/0223—User address space allocation, e.g. contiguous or non contiguous base addressing
- G06F12/023—Free address space management
- G06F12/0238—Memory management in non-volatile memory, e.g. resistive RAM or ferroelectric memory
- G06F12/0246—Memory management in non-volatile memory, e.g. resistive RAM or ferroelectric memory in block erasable memory, e.g. flash memory
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F12/00—Accessing, addressing or allocating within memory systems or architectures
- G06F12/02—Addressing or allocation; Relocation
- G06F12/08—Addressing or allocation; Relocation in hierarchically structured memory systems, e.g. virtual memory systems
- G06F12/12—Replacement control
- G06F12/121—Replacement control using replacement algorithms
- G06F12/123—Replacement control using replacement algorithms with age lists, e.g. queue, most recently used [MRU] list or least recently used [LRU] list
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2212/00—Indexing scheme relating to accessing, addressing or allocation within memory systems or architectures
- G06F2212/10—Providing a specific technical effect
- G06F2212/1016—Performance improvement
- G06F2212/1024—Latency reduction
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Read Only Memory (AREA)
Abstract
本发明公开了一种非对称读延迟感知的数据放置方法,其特点是在闪存控制器中添加热读数据识别机制和冷读数据识别机制以及数据放置标记,通过使用有限的最近最久未使用链表(LRU)来记录最近访问慢页上的数据位置,实现数据的重新放置。本发明与现有技术相比具有良好的闪存读性能,优化了数据的放置,大大降低了延迟差异所带来的性能损耗,以最大限度地利用高密度闪存页面的特征,提高快页访问的效益,减少对慢页访问的影响,提高闪存读性能。
Description
技术领域
本发明涉及数据放置及闪存堆叠技术领域,尤其是一种基于高密度闪存中非对称读延迟感知的数据放置方法。
背景技术
在过去几十年中NAND闪存得到了迅速的发展,特别是闪存堆叠技术的发展使得闪存的密度越来越高,例如,3bits/cell的TLC闪存已经成为闪存市场的主导,闪存的架构已经朝着3D堆叠的方式转变,可达96层甚至更高。更为重要的是,4bits/cell的QLC以及5bits/cell的PLC也正在开发之中,并且可以进一步增加层数。由于闪存出色的读取性能,可将一些高密度的闪存,例如QLC,用作读取密集型存储。但是存在的问题是,闪存的读取延迟也在不断的增加,更为糟糕的是,随着闪存密度的增加,其读延迟将进一步提高,因此,降低高密度闪存的读延迟已经成为一项至关重要的任务。
读取延迟的增加至少来源于两个方面:第一个方面是存储单元中存放了多个bit,而读取不同位置的bit所代表的页延迟不一致,最高位的bit所代表的的页延迟最高,最低位的bit所代表的的页延迟最低。以使用QLC为例且四个页面分别记为1-page、2-page、3-page、4-page。但不限于QLC,可以扩展到其他多位单元的高密度闪存,如MLC、TLC和PLC等。那么根据格雷编码方案,不同类型的页面在读取的时候所使用的参考电压的数量是不同的,这四种类型的页面之间具有4-5倍的差异。第二个是由于这些页面之间不对称的可靠性问题,字线中的多个页面具有不对称的原始误码率(RBER),其中,1-page的误码率最低,4-page的误码率最高。在这种情况下,由于纠错码纠错所产生的等待时间,使得不同类型的页面之间的读取延迟进一步扩大。
目前,具有强纠错能力的低密度奇偶校验码LDPC已经被部署到高密度闪存中,而LDPC在纠错的时候需要更多次的参考电压比对。因此,使得高误码率的页面在被读取的时候所产生的解码延迟进一步增加,对于先前启用LDPC的QLC闪存,四个页面之间的最大访问等待时间差异可以达到30倍。
综上所述,高密度闪存的不同页面之间读取延迟差异之大,是由闪存硬件和软件解码共同导致的,这极大地影响了闪存的性能和可靠性。由于字线中的多个页面之间存在显著的不对称读取延迟特征,如果这些页面上的读取数据没有很好地放置,那么性能将受到很大的影响。显然,最好的情况是大多数读取操作发生在快页上,而最坏的情况是大多数读取操作发生在慢页上。实验发现,以QLC为例,高延迟的页面2-page,3-page和4-page上的热读请求并不多,如果将这些请求所访问的页面迁移到低延迟的1-page,将大大提升性能。
现有技术的数据放置由于未进行任何页面类型区分,性能损耗大,以至平均读取延迟时间长,大大影响了闪存的读性能和可靠性。
发明内容
本发明的目的是针对现有技术的不足而设计的一种非对称读延迟感知的数据放置方法,采用识别慢页上的热读数据和快页上的冷读数据,并将其以字线为单位进行迁移,使得热读数据重新放置在快页上,而冷读数据重新放置在慢页上,通过动态的识别热数据和冷数据,并且进行适当地迁移以改善读性能,优化数据的放置,以降低非对称延迟导致的延迟差异所带来的性能损耗,以最大限度地利用高密度闪存页面的特征,提高快页访问的效益,减少对慢页访问的影响,提高闪存读性能。
本发明的目的是这样实现的:一种非对称读延迟感知的数据放置方法,其特点是闪存控制器中添加热读数据识别机制、冷读数据识别机制和数据放置标记,通过使用有限的最近最久未使用链表(LRU)来记录最近访问慢页上的数据位置,通过位图来标记快页是否被访问,并将慢页上的热读数据和快页上的冷读数据进行迁移,实现数据的重新放置。
所述快页是指在单个字线上多个页中在相同条件下访问时速度较快的闪存页;所述慢页是指在单个字线上多个页中在相同条件下访问时速度较慢的闪存页;所述快页和慢页的确定根据相同条件下访问的延迟确定,从延迟高到低的顺序由快变慢。
所述慢页上的数据采用热读识别机制,根据当前访问为慢页上的数据是否在LRU中命中来判别数据是否迁移与剔除。若命中,那么判别当前访问的数据是否为热读数据,如果是则立即在快页中寻找几个冷页组合成一个字线形式进行迁移;若不为热读数据,则根据LRU方法命中放链表首位。若没有命中,将当前访问的数据位置放入LRU,并将LRU末尾一个数据剔除。
所述快页上的数据采用冷读识别机制,若快页上的数据被访问了就认为是热读数据,若从来没有被访问过则认为是冷读数据。初始时,所对应的快页均重置为0,表示未被读取。一旦被读取之后,则标记为1,那么所有在快页上标记为0的数据均可能作为冷页被迁移。
所述慢页上的热读数据和快页上的冷读数据进行适当的迁移,进行数据的重新放置,其基本思想是将热(冷)读数据放置到快速(慢)页,以最大限度地提高快页访问的效益,最大限度地减少对慢页访问的影响。
所述数据放置对闪存实现慢页上的热读数据和快页上的冷读数据的重新放置。在迁移时,慢页上只选择热读数据进行迁移;快页上只会选择冷读数据进行迁移,并且在以字线为单位的一次迁移中,热读数据被重新放置在快页上,冷读数据被重新放置在慢页上。闪存编程时按字线为单位,因此每次迁移的时候对于QLC闪存来说需要迁移四个页面,分别记为1-page、2-page、3-page、4-page,通过热读数据触发的迁移机制来进行迁移。但本发明不限于QLC,可以扩展到如MLC、TLC和PLC等其他多位单元的高密度闪存。
所述热读识别机制识别出LRU中命中且访问次数超过阈值的页面,并做好标记。在放置之前,几个冷读数据也被另一个识别过程所识别,结合热读和冷读数据,通过一次程序操作将它们编程到一个新的字线上。
所述慢页不对称延迟,对不同类型的慢页中的数据使用不同的阈值,页面越慢,阈值就越小。例如,2-page上访问次数超过T1为热读数据,3-page上访问次数超过T2为热读数据,由于3-page上的数据延迟相对较高,因此T2小于T1,以确保更低的延迟恶化。将慢页上的热数据放在LRU进行管理,以确保慢页上一旦发现热读数据了立即进行迁移,在造成极小延迟损失的前提下最大限度的减少对慢页访问的影响。
本发明与现有技术相比具有优化数据的放置,热数据被放置在快页中,冷数据被放置在慢页中,大大改善了读取性能,有效降低了这种非对称延迟导致的延迟差异所带来的性能损耗,以最大限度地提高快页访问的效益,最大限度地减少对慢页访问的影响,大大提高了闪存的读性能。
附图说明
图1为本发明数据放置架构示意图;
图2为热(冷)读数据放置流程图;
图3为1-page的冷读数据和其他页的热读数据图;
图4为1-page没有冷读数据和2-page是热读数据图;
图5为2-page的冷读数据和3-page或4-page的热读数据。
具体实施方式
通过以下具体实施例对本发明作进一步的详细说明。
实施例1
参阅附图1,本发明在闪存控制器中添加了热读数据识别机制、冷读数据识别机制和数据放置标记三个新组件,通过使用有限的最近最久未使用链表(LRU)来记录最近访问慢页上的数据位置,通过位图来标记快页是否被访问,并将慢页上的热读数据和快页上的冷读数据进行迁移,其数据的重新放置主要分为以下几个步骤实现:
1)当读取的页为慢页时,热读标识组件将检查所访问数据的热度;当读取为快页时,冷读识别组件将记录所访问数据的热度。
2)一旦确定了当前读取的慢页存放为热读数据,就会对其进行标记并为迁移做好准备。
3)然后,启动冷读数据识别过程,找出几个冷数据页和当前识别的热数据页组合成一个字线大小。
4)一旦所有页面都准备就绪,将利用现有的刷新方法来实现数据迁移,并将当前已经读取出来的已标记的热读数据和寻找到的几个冷数据组合写入一个字线单元。
上述热数据识别过程针对慢页,冷数据识别过程针对快页。在慢页上进行识别时,结合LRU链表,若访问的页面在LRU上,那么判断是否为热读数据,若为热读数据,则迁移;否则,访问次数增加。若不在LRU上,则此次访问后将此数据位置记录在LRU中。若为快页,采用的是位图方式,访问过的页面和未访问过的页面区别开即可。
在闪存中,数据可以分为快页上的冷数据、快页上的热数据、慢页上的冷数据和慢页上的热数据。而快页上的热数据和慢页上的冷数据无需迁移,所要迁移的是快页上的冷数据和慢页上的热数据。判断冷热时通过阈值的方式,并且从快页到慢页,判断热数据的阈值逐渐减小。
上述实施过程,由于迁移与刷新操作有相同的影响,因此使用刷新操作给设计带来了可以忽略不计的成本。此外,这种实现需要两种类型的开销:存储和固件开销。存储开销包括所有快页的位图,以及每个缓存数据的访问计数和页面类型记录。假设SSD的容量为256 GB,则16 KB页面的位图大小为1MB。由于只采用了一个很小的LRU列表,所以缓存成本很小。固件开销包括涉及热和冷数据标识的进程。这些简单过程的开销可以忽略不计。对于迁移成本,由于利用当前SSD中的现有刷新组件,因此成本可以忽略不计。
参阅附图2,本发明所采用的技术方法是通过识别慢页上的热读数据和快页上的冷读数据,并将其以字线为单位进行迁移,使得热读数据重新放置在快页上而冷读数据重新放置在慢页上以降低这种非对称延迟导致的延迟差异所带来的性能损耗,其数据放置的基本过程主要分为如下两个方面:
1)设计了一种热读数据识别机制,包括:采用基于访问阈值的热读数据识别方法,并在以往的工作中得到了广泛的应用。该方法的基本思想是记录对慢页的读取操作的次数,一旦访问数高于阈值,页面中的数据就被标记为热读数据。由于慢页的不对称延迟,所述对不同类型的慢页中的数据使用不同的阈值,页面越慢,阈值就越小。为了避免所有慢页使用访问计数器,因此只记录最近的访问页面,使用了最近最少使用(LRU)列表。在链表上,最近访问的慢页的页码被记录下来,一旦页面访问数高于预定义的阈值,页面中的数据就会被标记,并为进一步迁移做好准备,显然,慢页的阈值和LRU列表的大小是重要的参数。
上述热读数据识别由于使用有限大小的LRU列表来记录访问的慢页,在这种情况下,只记录最近的读取操作热度识别,不同类型慢页的不同阈值有效地减少了数据迁移,所以该机制具有良好的工作性能。
2)设计了一种冷读数据识别机制,该机制与在慢页中识别热读数据不同,因为冷读数据是很长一段时间没有被访问的数据。本发明采用了基于位图的冷读数据识别方法,该方法的基本思想是每个快页使用1位来记录它是否在上一个周期内被访问。初始时,位映射被重置为0。一旦一个快页被访问,它的对应位就会被设置,定期重置位图以避免长期影响。在冷读数据识别过程中,位图被索引了,位图中为0的位将用于确定相应页中的数据。利用上述方法,可以识别冷读数据,每个快速页面只有一位,所以运行成本低。
上述两种识别机制,其数据放置在下述三种情况下起作用:
参阅附图3,第一种情况:如果在2-page、3-page或4-page的慢页中识别出一页热读数据,则将从快页中识别出三页冷读数据,例如1-page结合这四页,发出一次程序操作,将这四页放在一个字线中。
参阅附图4,第二种情况:如果没有从快页中读取足够的冷读数据,则将检查存储在其中的热读数据的页类型,如果是2-page,迁移则被取消。这是因为当1-page中没有冷读数据了,也就是说全部都是热读数据,那么2-page也应该准备好存放热读数据。
参阅附图5,第三种情况:如果热读数据来自3-page或4-page,而没有1-page的冷读数据,则将识别2-page的冷读数据并为迁移做好准备。
以上只是对本发明作进一步的说明,并非用以限制本专利,凡为本发明等效实施,均应包含于本专利的权利要求范围之内。
Claims (3)
1.一种非对称读延迟感知的数据放置方法,其特征在于闪存控制器中添加热读数据识别机制、冷读数据识别机制和数据放置标记,通过使用有限的最近最久未使用链表(LRU)来记录最近访问慢页上的数据位置,通过位图来标记快页是否被访问,并将慢页上的热读数据和快页上的冷读数据进行迁移,实现数据的重新放置,所述慢页上的数据采用热读识别机制,并根据当前访问为慢页上的数据是否在LRU中命中来判别数据是否迁移与剔除,若命中,那么判别当前访问的数据是否为热读数据,如果是则立即在快页中寻找几个冷页组合成一个字线形式进行迁移;若不为热读数据,则根据LRU方法命中放链表首位;若没有命中,将当前访问的数据位置放入LRU,并将LRU末尾一个数据剔除;所述快页上的数据采用冷读识别机制,若快页上的数据被访问了就认为是热读数据,若从来没被访问过则认为是冷读数据,初始时,所对应的快页均重置为0,表示未被读取,一旦被读取之后,则标记为1,那么所有在快页上标记为0的数据均可能作为冷页而被迁移;所述热读识别机制识别出被LRU命中且访问次数超过阈值的页面,并做好标记,在放置之前,几个冷读数据也被另一个识别过程所识别,结合热读和冷读数据,通过闪存编程到新的字线上。
2.根据权利要求1所述非对称读延迟感知的数据放置方法,其特征在于所述快页为单个字线上多个页中在相同条件下访问时速度较快的闪存页;所述慢页为单个字线上多个页中在相同条件下访问时速度较慢的闪存页;所述快页和慢页是根据相同条件下访问的延迟而确定,从延迟高到低的顺序由快变慢。
3.根据权利要求1所述非对称读延迟感知的数据放置方法,其特征在于所述迁移在慢页上采用热读数据触发的迁移机制,快页上采用冷读数据触发的迁移机制,并以字线为单位的一次迁移中,热读数据被重新放置在快页上,冷读数据被重新放置在慢页上。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201911345274.3A CN111190834B (zh) | 2019-12-24 | 2019-12-24 | 一种非对称读延迟感知的数据放置方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201911345274.3A CN111190834B (zh) | 2019-12-24 | 2019-12-24 | 一种非对称读延迟感知的数据放置方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN111190834A true CN111190834A (zh) | 2020-05-22 |
CN111190834B CN111190834B (zh) | 2023-03-31 |
Family
ID=70709353
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201911345274.3A Active CN111190834B (zh) | 2019-12-24 | 2019-12-24 | 一种非对称读延迟感知的数据放置方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN111190834B (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN115509799A (zh) * | 2022-09-27 | 2022-12-23 | 青海师范大学 | 一种基于副本和ldpc混合解码结合的存储器读取优化方法 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103092920A (zh) * | 2012-12-26 | 2013-05-08 | 新浪网技术(中国)有限公司 | 半结构化数据的存储方法及存储系统 |
CN103514106A (zh) * | 2012-06-20 | 2014-01-15 | 北京神州泰岳软件股份有限公司 | 一种数据缓存方法 |
CN106294197A (zh) * | 2016-08-05 | 2017-01-04 | 华中科技大学 | 一种面向nand闪存的页面置换方法 |
CN106528454A (zh) * | 2016-11-04 | 2017-03-22 | 中国人民解放军国防科学技术大学 | 一种基于闪存的内存系统缓存机制 |
-
2019
- 2019-12-24 CN CN201911345274.3A patent/CN111190834B/zh active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103514106A (zh) * | 2012-06-20 | 2014-01-15 | 北京神州泰岳软件股份有限公司 | 一种数据缓存方法 |
CN103092920A (zh) * | 2012-12-26 | 2013-05-08 | 新浪网技术(中国)有限公司 | 半结构化数据的存储方法及存储系统 |
CN106294197A (zh) * | 2016-08-05 | 2017-01-04 | 华中科技大学 | 一种面向nand闪存的页面置换方法 |
CN106528454A (zh) * | 2016-11-04 | 2017-03-22 | 中国人民解放军国防科学技术大学 | 一种基于闪存的内存系统缓存机制 |
Non-Patent Citations (4)
Title |
---|
B. VAN HOUDT: "On the necessity of hot and cold data identification to reduce", 《PERFORMANCE EVALUATION》 * |
YING-FENG HSU ET AL.: "A Novel Automated Cloud Storage Tiering System through Hot-Cold Data", 《 2018 IEEE 11TH INTERNATIONAL CONFERENCE ON CLOUD COMPUTING (CLOUD)》 * |
刘翠梅等: "一种代价感知的细粒度闪存缓冲区替换算法", 《小型微型计算机系统》 * |
马竹琳等: "面向非易失性存储器的多表连接写操作的优化研究", 《计算机学报》 * |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN115509799A (zh) * | 2022-09-27 | 2022-12-23 | 青海师范大学 | 一种基于副本和ldpc混合解码结合的存储器读取优化方法 |
Also Published As
Publication number | Publication date |
---|---|
CN111190834B (zh) | 2023-03-31 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
KR102333297B1 (ko) | 압축 데이터 및 태그가 있는 캐시 | |
US11119940B2 (en) | Sequential-write-based partitions in a logical-to-physical table cache | |
CN108874701B (zh) | 用于混合存储器中的写入和刷新支持的系统和方法 | |
US7856528B1 (en) | Method and apparatus for protecting data using variable size page stripes in a FLASH-based storage system | |
CN112992206A (zh) | 防止nand存储器中的读取干扰的技术 | |
US9189313B2 (en) | Memory system having NAND-type flash memory and memory controller with shift read controller and threshold voltage comparison module | |
US20110231598A1 (en) | Memory system and controller | |
KR20190016562A (ko) | 저장 클래스 메모리를 위한 웨어 레벨링의 장치 및 방법 | |
CN109952565B (zh) | 内存访问技术 | |
US9535611B2 (en) | Cache memory for hybrid disk drives | |
CN107221351B (zh) | 一种固态盘系统中纠错码的优化处理方法及其应用 | |
US11645006B2 (en) | Read performance of memory devices | |
CN112463647A (zh) | 使用散列来减小前向映射表的大小 | |
CN107402890B (zh) | 一种基于固态盘阵列和缓存的数据处理方法及系统 | |
US10496546B2 (en) | Cache memory and processor system | |
US20230195356A1 (en) | Source address memory managment | |
CN111190834B (zh) | 一种非对称读延迟感知的数据放置方法 | |
CN114613405A (zh) | 频繁读取干扰攻击者的标识和高速缓存 | |
US11494306B2 (en) | Managing data dependencies in a transfer pipeline of a hybrid dimm | |
US12066949B2 (en) | Address translation based on page identifier and queue identifier | |
CN111210858B (zh) | 一种缓解相变存储器写干扰的方法及系统 | |
US20210334031A1 (en) | Data Parking for SSDs with Zones | |
TWI763050B (zh) | 自適應損耗平衡方法及演算法與相關記憶體裝置及設備 | |
US11776611B2 (en) | Managing write disturb for units of a memory device using weighted write disturb counts | |
CN114924690B (zh) | 一种基于非均衡磨损闪存的读性能优化方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |