CN108777157B - 基于深度神经网络预测mlc闪存电压阈值的自适应方法 - Google Patents

基于深度神经网络预测mlc闪存电压阈值的自适应方法 Download PDF

Info

Publication number
CN108777157B
CN108777157B CN201810429797.5A CN201810429797A CN108777157B CN 108777157 B CN108777157 B CN 108777157B CN 201810429797 A CN201810429797 A CN 201810429797A CN 108777157 B CN108777157 B CN 108777157B
Authority
CN
China
Prior art keywords
voltage
voltage threshold
distribution
neural network
deep neural
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201810429797.5A
Other languages
English (en)
Other versions
CN108777157A (zh
Inventor
孔令军
李俊
王诚
韦康
赵熙唯
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanjing University of Posts and Telecommunications
Original Assignee
Nanjing University of Posts and Telecommunications
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanjing University of Posts and Telecommunications filed Critical Nanjing University of Posts and Telecommunications
Priority to CN201810429797.5A priority Critical patent/CN108777157B/zh
Publication of CN108777157A publication Critical patent/CN108777157A/zh
Application granted granted Critical
Publication of CN108777157B publication Critical patent/CN108777157B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11C—STATIC STORES
    • G11C16/00—Erasable programmable read-only memories
    • G11C16/02—Erasable programmable read-only memories electrically programmable
    • G11C16/06—Auxiliary circuits, e.g. for writing into memory
    • G11C16/34—Determination of programming status, e.g. threshold voltage, overprogramming or underprogramming, retention
    • G11C16/3404—Convergence or correction of memory cell threshold voltages; Repair or recovery of overerased or overprogrammed cells
    • H—ELECTRICITY
    • H03—ELECTRONIC CIRCUITRY
    • H03M—CODING; DECODING; CODE CONVERSION IN GENERAL
    • H03M13/00—Coding, decoding or code conversion, for error detection or error correction; Coding theory basic assumptions; Coding bounds; Error probability evaluation methods; Channel models; Simulation or testing of codes
    • H03M13/03—Error detection or forward error correction by redundancy in data representation, i.e. code words containing more digits than the source words
    • H03M13/05—Error detection or forward error correction by redundancy in data representation, i.e. code words containing more digits than the source words using block codes, i.e. a predetermined number of check bits joined to a predetermined number of information bits
    • H03M13/11—Error detection or forward error correction by redundancy in data representation, i.e. code words containing more digits than the source words using block codes, i.e. a predetermined number of check bits joined to a predetermined number of information bits using multiple parity bits
    • H03M13/1102—Codes on graphs and decoding on graphs, e.g. low-density parity check [LDPC] codes
    • H03M13/1105—Decoding
    • H03M13/1111—Soft-decision decoding, e.g. by means of message passing or belief propagation algorithms
    • H03M13/1125—Soft-decision decoding, e.g. by means of message passing or belief propagation algorithms using different domains for check node and bit node processing, wherein the different domains include probabilities, likelihood ratios, likelihood differences, log-likelihood ratios or log-likelihood difference pairs

Landscapes

  • Physics & Mathematics (AREA)
  • Probability & Statistics with Applications (AREA)
  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Techniques For Improving Reliability Of Storages (AREA)
  • Read Only Memory (AREA)

Abstract

本发明公开了一种基于深度神经网络预测MLC闪存电压阈值的自适应方法，包括如下步骤：获取当前合适的电压阈值；估计存储电压分布的特征值；利用深度神经网络建立存储电压分布的特征值与电压阈值的关系。通过大量存储电压的分布特征值作为训练输入，训练输出结果作为预测的电压阈值，进行一次训练，将训练好的网络权重保存下来；对MLC闪存进行一次译码，若译码成功，则进入下一次译码。若译码失败，获取存储电压的分布特征值；获取电压阈值；建立高斯模型，从而获取新的LLR信息；重新进行一次译码。本发明通过建立当前存储电压的分布与其分布对应的较优电压阈值的关系，从而实现优化不同数据保留时间的电压阈值优化。

Description

基于深度神经网络预测MLC闪存电压阈值的自适应方法
技术领域
本发明涉及存储技术领域，具体涉及一种基于深度神经网络预测MLC闪存电压阈值的自适应方法。
背景技术
随着手机、计算机及其他消费电子产品的广泛应用，传统的存储技术已经不能适用于当前高集成度低功耗快速集成电路技术的发展。闪存(Flash Memory)与DRAM、SRAM等存储介质相比较，其存储密度更大、单位成本更低、高读写访问速度，而且具有非易失性、抗震性、功耗低等特点。
由于半导体器件尺寸的不断缩小和多层式存储(Multi-level Cell，MLC)高密度技术的使用，存储中的噪声造成的影响不断增大，急需解决NAND闪存所面临的可靠性降低、读写时延加长等主要问题。存储的可靠性是MLC闪存的一个关键技术指标。高密度使存储的可靠性降低，表现为较低的P/E循环耐久性，较短的数据保持。
机器学习是人工智能领域的一个重要学科。自从20世纪80年代以来,机器学习在算法、理论和应用等方面都获得巨大成功。2006年以来，机器学习领域中一个叫“深度学习”的课题开始受到学术界广泛关注，到今天已经成为互联网大数据和人工智能的一个热潮。深度学习通过建立类似于人脑的分层模型结构，对输入数据逐级提取从底层到高层的特征，从而能很好地建立从底层信号到高层语义的映射关系。
传统的闪存只针对不同的P/E次数进行阈值电压的优化，而对于数据保留时间(Data retention time)则无法进行进一步处理。其主要原因是，数据保留时间无法直接获取，就无法针对不同的数据保留时间来设计合适的阈值电压。
发明内容
发明目的：为了克服现有技术中存在的不足，通过深度神经网络对存储信道特征值的学习，提供一种基于深度神经网络预测MLC闪存电压阈值的自适应方法，通过建立当前存储电压的分布与其分布对应的较优电压阈值的关系，从而实现优化不同数据保留时间的电压阈值优化。
技术方案：为实现上述目的，本发明提供一种基于深度神经网络预测MLC闪存电压阈值的自适应方法，包括如下步骤：
1)获取当前合适的电压阈值Vi(6×1)；
2)估计存储电压分布的特征向量值Xi，特征向量长度为特征值的个数；
3)利用深度神经网络建立存储电压分布的特征向量值与电压阈值的关系。网络的输入为Xi，网络的输出为预测电压阈值Vei。在此，若将整个网络结构视为一个函数f，其参数为Φ，那么我们通过深度神经网络学习的方法，将解决数据保留噪声问题转换为学习电压阈值的问题，预测电压阈值Vei＝f(Xi)。在网络学习过程中，我们根据最小均方差，对网络进行逆向传播。其误差函数为：
Figure BDA0001653111010000021
在训练过程中，我们改变P/E以及数据保留时间以获得不同的电压信息Xi和Vi，从而训练出最优的Φ作为我们的神经网络参数。通过大量线下的数据训练，完善我们的神经网络，并将训练好的网络权重保存下来；
4)对MLC闪存进行一次译码，若译码成功，则进入下一次译码。若译码失败，则调用训练好的深度神经网络对当前的存储噪声数据进行一次估计，获取存储电压的分布特征值；
5)将存储数据的特征值输入到神经网络的输入端，获取神经网络估计的电压阈值；
6)利用存储数据的特征值和预测的电压阈值，建立高斯模型，从而获取新的LLR信息；
7)将获取的预测电压阈值和新的LLR信息输入译码器当中，重新进行一次译码。
本发明的设计原理为：在闪存中，随着数据保存时间的增长以及存储编写/擦除(program/erase，P/E)的增加，存储电压的分布会发生改变，这会导致译码器译码失败，从而需要提高存储的读取精度以获取更准确的似然比信息(log-likelihood-ratio，LLR)。提高存储的读取精度，带来大量的存储时延，这就需要我们提出一种有效的方法去进行信道估计。传统的方法不能很好地解决这个问题，其主要原因是无法获取存储的数据保留时间，无法估计出准确的电压分布，进行软判决电压阈值的更新。因此，在旧的软判决电压阈值出现大量译码失败的情况下，我们可以通过神经网络对信道模型进行学习，重新获取合适的软判决阈值电压。这样，更可靠的似然比信息能帮助译码器进行更准确的译码。
有益效果：本发明与现有技术相比，具备如下优点：
1、本发明首次使用深度神经网络针对存储中存在的问题进行分析，利用深度神经网络对存储信道的电压分布特性进行学习并估计合适的电压阈值，根据电压阈值计算出新的似然比信息；
2、本发明提出的基于深度神经网络预测MLC闪存电压阈值的自适应设计方案，只在译码算法译码失败的情况下才调用神经网络进行电压阈值更新并计算LLR值，从而降低系统时延。
附图说明
图1是本发明的MLC存储系统噪声说明图；
图2是本发明的深度神经网络结构图；
图3是本发明的流程图。
具体实施方式
下面结合附图和具体实施例，进一步阐明本发明，应理解这些实施例仅用于说明本发明而不用于限制本发明的范围，在阅读了本发明之后，本领域技术人员对本发明的各种等价形式的修改均落于本申请所附权利要求所限定的范围。
在闪存中，随着数据保存时间的增长以及存储编写/擦除(program/erase，P/E)的增加，存储电压的分布会发生改变，这会导致译码器译码失败，从而需要提高存储的读取精度以获取更准确的似然比信息(log-likelihood-ratio，LLR)。提高存储的读取精度，带来大量的存储时延，这就需要我们提出一种有效的方法去进行信道估计。
如图1所示，数据保存时间的增长使存储电压的分布左移，软判决电压阈值已经不再适用于新的电压分布了。传统的方法不能很好地解决这个问题，其主要原因是无法获取存储的数据保留时间，无法估计出准确的电压分布，进行软判决电压阈值的更新。因此，在旧的软判决电压阈值出现大量译码失败的情况下，我们可以通过神经网络对信道模型进行学习，重新获取合适的软判决阈值电压。这样，更可靠的似然比信息能帮助译码器进行更准确的译码。
如图3所示，本发明提供一种基于深度神经网络预测MLC闪存电压阈值的自适应方法，包括如下步骤：
1)利用已知的存储电分布产生不同P/E和不同数据保留时间(T)存储数据，根据存储不同状态之间的互信息最大来获取当前合适的电压阈值；
2)利用高斯分布对不同P/E和不同T的存储电压分布进行近似操作，从而估计存储电压分布的特征值，其具体为：
电压分布的估计：为获取存储信道的特征值，首先对信道进行了简化，用高斯分布对信道进行近似拟合。由于存储的内容是随机的，所以存储每个状态都是等概率。将读取的电压数据D(N×1)按着从大到小，均匀分为4个部分。当N足够大时，我们可以认为4个数据分布就对应着每个电压状态所产生的数据。据此，可以获得4个状态的均值μ和方差σ，作为网络的输入。
3)利用深度神经网络建立存储电压分布的特征值与电压阈值的关系。通过大量存储电压的分布特征值作为训练输入，训练输出结果作为预测的电压阈值，将预测的电压阈值与最大互信息计算的电压阈值求最小均方差，作为深度神经网络的误差函数(costfunction)，从而进行一次训练，具体如图2所示，将训练好的网络权重保存下来；
4)对MLC闪存进行一次译码，若译码成功，则进入下一次译码。若译码失败，则调用训练好的深度神经网络对当前的存储噪声数据进行一次估计，获取存储电压的分布特征值；
5)将存储数据的特征值输入到神经网络的输入端，获取神经网络估计的电压阈值；
6)利用存储数据的特征值和预测的电压阈值，建立高斯模型，从而获取新的LLR信息，其具体为：
似然比信息的获取：在获取预测门限阈值Vei和4个高斯分布估计函数后，根据下面的公式，我们可以获取似然比信息。其中，fk(x)为第k个状态的概率分布函数，α为该电压所在区域。
Figure BDA0001653111010000041
7)将获取的预测电压阈值和新的LLR信息输入译码器当中，重新进行一次译码。

Claims (5)

1.基于深度神经网络预测MLC闪存电压阈值的自适应方法，其特征在于：包括如下步骤：
1)获取当前合适的电压阈值Vi；
2)估计存储电压分布的特征向量值Xi，特征向量长度为特征值的个数；
3)利用深度神经网络建立存储电压分布的特征向量值与电压阈值的关系；网络的输入为Xi，网络的输出为预测电压阈值Vei，将整个网络结构视为一个函数f，其参数为Φ，通过深度神经网络学习的方法，将解决数据保留噪声问题转换为学习电压阈值的问题，预测电压阈值Vei＝f(Xi)；在网络学习过程中，我们根据最小均方差，对网络进行逆向传播，其误差函数为：
Figure FDA0003011342210000011
在训练过程中，改变P/E以及数据保留时间以获得不同的电压信息Xi和Vi，从而训练出最优的Φ作为神经网络参数，通过大量线下的数据训练，完善神经网络，并将训练好的网络权重保存下来；
4)对MLC闪存进行一次译码，若译码成功，则进入下一次译码；若译码失败，则调用训练好的深度神经网络对当前的存储噪声数据进行一次估计，获取存储电压的分布特征值；
5)将存储数据的特征值输入到神经网络的输入端，获取神经网络估计的电压阈值；
6)利用存储数据的特征值和预测的电压阈值，建立高斯模型，从而获取新的LLR信息；
7)将获取的预测电压阈值和新的LLR信息输入译码器当中，重新进行一次译码。
2.根据权利要求1所述的基于深度神经网络预测MLC闪存电压阈值的自适应方法，其特征在于：所述步骤1中利用已知的存储电分布产生不同P/E和不同数据保留时间(T)存储数据，根据存储不同状态之间的互信息最大来获取当前合适的电压阈值。
3.根据权利要求2所述的基于深度神经网络预测MLC闪存电压阈值的自适应方法，其特征在于：所述步骤2中利用高斯分布对不同P/E和不同T的存储电压分布进行近似操作，从而估计存储电压分布的特征值。
4.根据权利要求3所述的基于深度神经网络预测MLC闪存电压阈值的自适应方法，其特征在于：所述步骤2中为获取存储信道的特征值，首先对信道进行了简化，用高斯分布对信道进行近似拟合，将读取的电压数据D(N×1)按着从大到小，均匀分为4个部分；当N足够大时，我们可以认为4个数据分布就对应着每个电压状态所产生的数据，据此，可以获得4个状态的均值μ和方差σ，作为网络的输入。
5.根据权利要求4所述的基于深度神经网络预测MLC闪存电压阈值的自适应方法，其特征在于：所述步骤6中LLR信息的获取具体为：在获取预测门限阈值Vei和4个高斯分布估计函数后，根据下面的公式，我们可以获取LLR信息；其中，fk(x)为第k个状态的概率分布函数，α为该电压所在区域。
Figure FDA0003011342210000021
CN201810429797.5A 2018-05-08 2018-05-08 基于深度神经网络预测mlc闪存电压阈值的自适应方法 Active CN108777157B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810429797.5A CN108777157B (zh) 2018-05-08 2018-05-08 基于深度神经网络预测mlc闪存电压阈值的自适应方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810429797.5A CN108777157B (zh) 2018-05-08 2018-05-08 基于深度神经网络预测mlc闪存电压阈值的自适应方法

Publications (2)

Publication Number Publication Date
CN108777157A CN108777157A (zh) 2018-11-09
CN108777157B true CN108777157B (zh) 2021-07-09

Family

ID=64026951

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810429797.5A Active CN108777157B (zh) 2018-05-08 2018-05-08 基于深度神经网络预测mlc闪存电压阈值的自适应方法

Country Status (1)

Country Link
CN (1) CN108777157B (zh)

Families Citing this family (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11610116B2 (en) * 2018-12-31 2023-03-21 SK Hynix Inc. Storage device performance optimization using deep learning
CN111475326A (zh) * 2019-01-23 2020-07-31 深圳衡宇芯片科技有限公司 训练人工智能执行低密度奇偶检查码的译码程序的方法
CN110058956A (zh) * 2019-04-22 2019-07-26 广东工业大学 一种nand闪存读取方法、系统及电子设备和存储介质
US10861562B1 (en) 2019-06-24 2020-12-08 SK Hynix Inc. Deep learning based regression framework for read thresholds in a NAND flash memory
CN110417516B (zh) * 2019-08-16 2022-03-01 北京小米移动软件有限公司 无线调制解调器的调整方法及装置
CN111277275B (zh) * 2020-02-11 2021-01-05 上海威固信息技术股份有限公司 一种ldpc译码算法标准化因子自适应获取方法
CN111309544B (zh) * 2020-02-11 2021-01-26 上海威固信息技术股份有限公司 一种读参考电压受多维因子影响的预测建模及施加方法
CN111429959A (zh) * 2020-03-23 2020-07-17 中国科学院微电子研究所 Ldpc软译码方法、存储器及电子设备
US12068757B2 (en) 2020-03-23 2024-08-20 Institute of Microelectronics, Chinese Academy of Sciences Method for performing LDPC soft decoding, memory, and electronic device
CN111863079A (zh) * 2020-07-08 2020-10-30 上海威固信息技术股份有限公司 一种用于三维闪存的原始误码率降低方法
US11960989B2 (en) 2020-07-24 2024-04-16 SK Hynix Inc. Read threshold estimation systems and methods using deep learning
CN112929033B (zh) * 2021-01-26 2023-09-01 福州大学 基于深度学习的MLC型NAND闪存Polar-RNNA量化器的优化方法
CN113689910B (zh) * 2021-08-04 2022-07-26 广东工业大学 一种基于卷积神经网络的nand闪存信号检测方法及系统
CN114171095B (zh) * 2021-11-30 2023-03-10 华中科技大学 3d nand闪存阈值电压分布预测方法、设备及存储系统
CN116469442B (zh) * 2022-03-23 2024-05-03 武汉置富半导体技术有限公司 芯片数据保持时间的预测方法、装置及存储介质

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2153442A1 (en) * 2007-03-16 2010-02-17 Spansion LLC Division-based sensing and partitioning of electronic memory
CN102831026A (zh) * 2012-08-13 2012-12-19 忆正科技（武汉）有限公司 多层单元闪存及其软信息位读取电压阈值动态调整方法
CN106571832A (zh) * 2016-11-04 2017-04-19 华南理工大学 一种多进制ldpc码级联神经网络解码方法及装置
CN107271925A (zh) * 2017-06-26 2017-10-20 湘潭大学 基于深度卷积网络的模块化五电平换流器故障定位方法
CN107622303A (zh) * 2016-07-13 2018-01-23 三星电子株式会社 用于神经网络的方法和执行该方法的设备
CN107967928A (zh) * 2017-10-18 2018-04-27 武汉忆数存储技术有限公司 一种基于数学模型的闪存芯片寿命预测方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9830981B2 (en) * 2015-01-14 2017-11-28 International Business Machines Corporation Neuromorphic memory circuit using a leaky integrate and fire (LIF) line to transmit axon LIF pulse and a conductive denrite LIF line

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2153442A1 (en) * 2007-03-16 2010-02-17 Spansion LLC Division-based sensing and partitioning of electronic memory
CN102831026A (zh) * 2012-08-13 2012-12-19 忆正科技（武汉）有限公司 多层单元闪存及其软信息位读取电压阈值动态调整方法
CN107622303A (zh) * 2016-07-13 2018-01-23 三星电子株式会社 用于神经网络的方法和执行该方法的设备
CN106571832A (zh) * 2016-11-04 2017-04-19 华南理工大学 一种多进制ldpc码级联神经网络解码方法及装置
CN107271925A (zh) * 2017-06-26 2017-10-20 湘潭大学 基于深度卷积网络的模块化五电平换流器故障定位方法
CN107967928A (zh) * 2017-10-18 2018-04-27 武汉忆数存储技术有限公司 一种基于数学模型的闪存芯片寿命预测方法

Also Published As

Publication number Publication date
CN108777157A (zh) 2018-11-09

Similar Documents

Publication Publication Date Title
CN108777157B (zh) 基于深度神经网络预测mlc闪存电压阈值的自适应方法
US9368225B1 (en) Determining read thresholds based upon read error direction statistics
TWI375228B (en) Adaptive dynamic reading of flash memories
CN110515760B (zh) 一种基于机器学习的ldpc闪存纠错方法
US8799556B2 (en) Adaptive read and write systems and methods for memory cells
US8645793B2 (en) Statistical tracking for flash memory
TWI581269B (zh) 利用解碼器效能回饋用於記憶體裝置之軟性資料產生的設備及方法
US9741431B2 (en) Optimal read threshold estimation
US7894267B2 (en) Deterministic programming algorithm that provides tighter cell distributions with a reduced number of programming pulses
US9147491B1 (en) Adaptive read and write systems and methods for memory cells
CN110837477B (zh) 一种基于寿命预测的存储系统损耗均衡方法及装置
US11342040B2 (en) Memory system
CN115713956A (zh) 用于动态补偿非易失性存储器存储装置中多个干扰源的系统和方法
Hwang et al. Dynamic error recovery flow prediction based on reusable machine learning for low latency NAND flash memory under process variation
CN109032514B (zh) 一种数据读取方法、装置、设备及可读存储介质
US20230069909A1 (en) Power system based on beta source and method for operating the same
US8116151B2 (en) Multi-level storage algorithm to emphasize disturb conditions
Ahmed et al. Process and runtime variation robustness for spintronic-based neuromorphic fabric
TWI842048B (zh) 非揮發性記憶體儲存裝置中用於動態細胞間干擾補償的系統和方法
Yoshikiyo et al. Nn algorithm aware alternate layer retraining on computation-in-memory for write variation compensation of non-volatile memories at edge ai
CN113516234B (zh) 一种缓解忆阻加速器非理想因素的方法及装置
Abe et al. Computational approximate storage with neural network-based error patrol of 3D-TLC NAND flash memory for machine learning applications
Chen et al. A NAND flash endurance prediction scheme with FPGA-based memory controller system
US20200264974A1 (en) Decoding of high-density memory cells in a solid-state drive
Yoshikiyo et al. Edge retraining of FeFET LM-GA CiM for write variation & reliability error compensation

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant