CN110956256B - 利用忆阻器本征噪声实现贝叶斯神经网络的方法及装置 - Google Patents

利用忆阻器本征噪声实现贝叶斯神经网络的方法及装置 Download PDF

Info

Publication number
CN110956256B
CN110956256B CN201911251361.2A CN201911251361A CN110956256B CN 110956256 B CN110956256 B CN 110956256B CN 201911251361 A CN201911251361 A CN 201911251361A CN 110956256 B CN110956256 B CN 110956256B
Authority
CN
China
Prior art keywords
memristor
weight distribution
bayesian
bayesian network
memristors
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201911251361.2A
Other languages
English (en)
Other versions
CN110956256A (zh
Inventor
吴华强
高滨
林钰登
张清天
唐建石
钱鹤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tsinghua University
Original Assignee
Tsinghua University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tsinghua University filed Critical Tsinghua University
Priority to CN201911251361.2A priority Critical patent/CN110956256B/zh
Publication of CN110956256A publication Critical patent/CN110956256A/zh
Priority to PCT/CN2020/121244 priority patent/WO2021114859A1/zh
Application granted granted Critical
Publication of CN110956256B publication Critical patent/CN110956256B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/047—Probabilistic or stochastic networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11C—STATIC STORES
    • G11C13/00—Digital stores characterised by the use of storage elements not covered by groups G11C11/00, G11C23/00, or G11C25/00
    • G11C13/0002—Digital stores characterised by the use of storage elements not covered by groups G11C11/00, G11C23/00, or G11C25/00 using resistive RAM [RRAM] elements
    • G11C13/0004—Digital stores characterised by the use of storage elements not covered by groups G11C11/00, G11C23/00, or G11C25/00 using resistive RAM [RRAM] elements comprising amorphous/crystalline phase transition cells

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Molecular Biology (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Probability & Statistics with Applications (AREA)
  • Chemical & Material Sciences (AREA)
  • Crystallography & Structural Chemistry (AREA)
  • Semiconductor Integrated Circuits (AREA)
  • Complex Calculations (AREA)

Abstract

本发明公开了一种利用忆阻器本征噪声实现贝叶斯神经网络的方法及装置，其中，该方法包括：获取贝叶斯网络，根据选定的数据集对所述贝叶斯网络进行训练得到所述贝叶斯网络的权重分布；对所述贝叶斯网络的权重分布进行处理，根据处理后的权重分布及多个忆阻器的电导进行计算，得到目标电导值，将所述目标电导值映射到所述忆阻器中。该方法利用忆阻器交叉阵列实现贝叶斯神经网络，功耗低，计算速度快，计算能效高。

Description

利用忆阻器本征噪声实现贝叶斯神经网络的方法及装置
技术领域
本发明涉及神经网络技术领域，特别涉及一种利用忆阻器本征噪声实现贝叶斯神经网络的方法及装置。
背景技术
在人工智能领域，深度神经网络(Deep neural networks，DNNs)近年来得到快速发展，在图像和视觉计算、语音和语言处理、信息安全、棋类比赛等领域取得了令人瞩目的成绩。然而，普通的DNN难以抵御攻击，比如在图像分类的情况下，输入图像添加了人眼察觉不到的小扰动，但是DNN产生错误和过分自信的分类结果，因为DNN不能捕捉预测和模型中的不确定性。这样的扰动输入(被称为对抗样本，adversarial example)是在安全关键应用中使用DNN的主要障碍。另一方面，贝叶斯神经网络(Bayesian neural network，BayNN)可以通过评估预测的不确定性来检测对抗样本。基于这一优点，贝叶斯神经网络被广泛应用于医疗诊断、推荐系统、少样本学习、非线性动态系统控制和攻击检测等领域。与标准DNNs中的定值权值不同，BayNNs中的所有权值都用随机变量表示。概率分布的均值和标准差应可调，以训练网络应用在不同的场景。但是BayNNs用马尔可夫链蒙特卡罗(Markov ChainMonte-Carlo，MCMC)方法对权重分布进行采样。
马尔可夫链蒙特卡罗方法由于要进行大量的抽样计算，对计算机速度依赖性强，在传统的硬件计算平台上，BayNN需要比较大的计算成本。在神经网络预测时，如图1所示，需要先用MCMC对权重进行采样的到权重矩阵Wsample，然后输入X与Wsample进行向量矩阵乘运算(VMM)。这通常会带来很高的计算成本，成为了贝叶斯神经网络应用的一个主要限制。
发明内容
本发明旨在至少在一定程度上解决相关技术中的技术问题之一。
为此，本发明的一个目的在于提出一种利用忆阻器本征噪声实现贝叶斯神经网络的方法及装置，该方法计算功耗低，速度快。
本发明的另一个目的在于提出一种利用忆阻器本征噪声实现贝叶斯神经网络的装置。
为达到上述目的，本发明一方面实施例提出了一种利用忆阻器本征噪声实现贝叶斯神经网络的方法，包括：
S1，获取贝叶斯网络，根据选定的数据集对所述贝叶斯网络进行训练得到所述贝叶斯网络的权重分布；
S2，对所述贝叶斯网络的权重分布进行处理，根据处理后的权重分布及多个忆阻器的电导进行计算，得到目标电导值，将所述目标电导值映射到所述忆阻器中。
本发明实施例的利用忆阻器本征噪声实现贝叶斯神经网络的方法，将贝叶斯神经网络的权重分布映射到忆阻器中，利用忆阻器交叉阵列实现分布采样和矩阵向量乘的方法以及利用忆阻器在读取时的本征噪声实现对随机变量的采样，通过忆阻器交叉阵列实现贝叶斯神经网络，功耗低，速度快。
另外，根据本发明上述实施例的利用忆阻器本征噪声实现贝叶斯神经网络的方法还可以具有以下附加的技术特征：
进一步地，在本发明的一个实施例中，在所述S2之后还包括：
通过所述贝叶斯网络进行预测计算时，将输入序列以READ电压脉冲施加到映射后的忆阻器的位线上，采集所述映射后的忆阻器的源线流出的输出电流，对所述输出电流进行计算，得到预测结果。
进一步地，在本发明的一个实施例中，所述对所述贝叶斯网络进行计算得到所述贝叶斯网络的权重分布，包括：
通过变分方法对所述选定的数据集进行计算，得到所述贝叶斯网络的权重分布。
进一步地，在本发明的一个实施例中，所述对所述贝叶斯网络的权重分布进行处理，包括：
对所述权重分布进行偏置和放缩，以使所述权重分布满足所述忆阻器的电导窗口。
进一步地，在本发明的一个实施例中，所述根据处理后的权重分布及多个忆阻器的电导进行计算，得到目标电导值，包括：
处理后的所述贝叶斯网络的权重分布为(μ,σ2)，其中，μ为均值，σ为标准差，多个忆阻器的电导Gntarget(n＝1,2,…,N)；
使处理后的所述贝叶斯网络的权重分布与所述多个忆阻器的电导满足公式(1)和(2)：
sum(Gntarget)＝μ (1)
sum[σ(Gntarget)2]＝σ2 (2)
对式(1)和式(2)进行求解，得到所述目标电导值。
进一步地，在本发明的一个实施例中，在将所述目标电导值映射到所述忆阻器中时，还包括：
测量所述忆阻器的电导值，验证所述忆阻器的电导值与所述目标电导值的差是否小于误差阈值，若小于，则通过验证，若不小于，则对所述忆阻器进行调节脉冲SET/RESET操作，直至通过验证或达到最大验证次数。
进一步地，在本发明的一个实施例中，所述贝叶斯网络包括但不限于全连接结构和卷积神经网络结构，所述贝叶斯网络的每个权重分布为相互独立的分布。
为达到上述目的，本发明另一方面实施例提出了一种利用忆阻器本征噪声实现贝叶斯神经网络的装置，包括：
训练模块，用于获取贝叶斯网络，根据选定的数据集对所述贝叶斯网络进行训练得到所述贝叶斯网络的权重分布；
映射模块，用于对所述贝叶斯网络的权重分布进行处理，根据处理后的权重分布及多个忆阻器的电导进行计算，得到目标电导值，将所述目标电导值映射到所述忆阻器中。
本发明实施例的利用忆阻器本征噪声实现贝叶斯神经网络的装置，将贝叶斯神经网络的权重分布映射到忆阻器中，利用忆阻器交叉阵列实现分布采样和矩阵向量乘的方法以及利用忆阻器在读取时的本征噪声实现对随机变量的采样，通过忆阻器交叉阵列实现贝叶斯神经网络，功耗低，速度快。
另外，根据本发明上述实施例的利用忆阻器本征噪声实现贝叶斯神经网络的装置还可以具有以下附加的技术特征：
进一步地，在本发明的一个实施例中，还包括：
预测模块，用于通过所述贝叶斯网络进行预测计算时，将输入序列以READ电压脉冲施加到映射后的忆阻器的位上，采集所述映射后的忆阻器的源线流出的输出电流，对所述输出电流进行计算，得到预测结果。
进一步地，在本发明的一个实施例中，所述映射模块，具体用于，
对所述权重分布进行偏置和放缩处理，处理后的所述贝叶斯网络的权重分布为(μ,σ2)，其中，μ为均值，σ为标准差，多个忆阻器的电导Gntarget(n＝1,2,…,N)；
使处理后的所述贝叶斯网络的权重分布与所述多个忆阻器的电导满足公式(1)和(2)：
sum(Gntarget)＝μ (1)
sum[σ(Gntarget)2]＝σ2 (2)
对式(1)和式(2)进行求解，得到所述目标电导值。
本发明附加的方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。
附图说明
本发明上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解，其中：
图1为基于MCMC采样方法的贝叶斯网络计算过程示意图；
图2为根据本发明一个实施例的利用忆阻器本征噪声实现贝叶斯神经网络的方法流程图；
图3为根据本发明一个实施例的基于忆阻器的贝叶斯神经网络系统架构图；
图4为根据本发明一个实施例的目标电导值计算及写入过程图；
图5为根据本发明一个实施例的贝叶斯网络映射到忆阻器阵列的示意图；
图6为根据本发明一个实施例的多个忆阻器在READ时，输出的总电流呈现高斯分布的示意图；
图7为根据本发明一个实施例的利用忆阻器本征噪声实现贝叶斯神经网络的装置结构示意图。
具体实施方式
下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，旨在用于解释本发明，而不能理解为对本发明的限制。
下面参照附图描述根据本发明实施例提出的利用忆阻器本征噪声实现贝叶斯神经网络的方法及装置。
首先将参照附图描述根据本发明实施例提出的利用忆阻器本征噪声实现贝叶斯神经网络的方法。
图2为根据本发明一个实施例的利用忆阻器本征噪声实现贝叶斯神经网络的方法流程图。
如图2所示，该利用忆阻器本征噪声实现贝叶斯神经网络的方法包括以下步骤：
步骤S1，获取贝叶斯网络，根据选定的数据集对贝叶斯网络进行训练得到贝叶斯网络的权重分布。
图3为根据本发明一个实施例的基于忆阻器的贝叶斯神经网络系统架构图，贝叶斯神经网络的结构包括但不限于全连接结构和CNN结构等，但网络权值是随机变量。在训练完成后，全连接网络/CNN等的权值是固定值，而贝叶斯神经网络的每一个权重都是一个分布。如图3所示的，贝叶斯网络中的权重都是一个分布，如高斯分布或者拉普拉斯分布。
本发明的实施例中针对的贝叶斯神经网络，每一个权重都是相互独立的分布。
进一步地，对一个贝叶斯网络进行offline训练，offline训练为在计算机上，针对选定的数据集利用变分方法计算贝叶斯神经网络中权重的分布。
根据所要实现的不同目的选取不同的数据集对贝叶斯网络进行训练，得到贝叶斯网络的权重分布。
步骤S2，对贝叶斯网络的权重分布进行处理，根据处理后的权重分布及多个忆阻器的电导进行计算，得到目标电导值，将目标电导值映射到忆阻器中。
在BayNN offline训练完成得到权重分布后，对权重分布进行偏置和放缩，直至权重分布满足合适的电导窗口，其中，在进行偏置和放缩时，同一层的权重都进行相同的偏置和放缩。在后续进行神经网络预测时，需要除去偏置和放缩。
对权重分布进行偏置和放缩处理后，根据处理后的权重分布和忆阻器的电导值计算目标电导值，将计算出的目标电导值映射到忆阻器阵列中。
如图4所示，假设偏置和放缩后得到的某一个权重为(μ,σ2)，其中，μ为均值，σ为标准差，多个忆阻器的电导Gntarget(n＝1,2,…,N)；
为了在阵列上使用N个忆阻器实现期望的分布电导权重(μ,σ2)，N个忆阻器的电导Gntarget(n＝1,2,…,N)需要满足方程sum(Gntarget)＝μ与sum[σ(Gntarget)2]＝σ2。
对不定方程进行求解，可以得到一组目标电导值Gntarget(n＝1,2,…,N)，将目标电导值写入忆阻器中。
如图5所示，展示了将权重分布映射到忆阻器阵列的过程，其中，N个忆阻器充当网络中层与层之间的一个权重。将贝叶斯网络中的权重分布转换为电导值映射到忆阻器阵列的交叉序列中。
传统的贝叶斯神经网络在预测计算时，首先对这一层的所有的权重进行采样得到权重采样值矩阵，然后输入向量与该权重采样值矩阵相乘，计算功耗大，速度慢。
在本发明的实施例中，通过贝叶斯网络进行预测计算时，将输入序列以READ电压脉冲施加到映射后的忆阻器的位线(Bit-line)上，采集映射后的忆阻器的源线(Source-line)流出的输出电流，对输出电流进行计算，得到预测结果。
可以理解的是，如图6所示，输入序列以READ电压脉冲施加在BL(Bit-line)上，然后采集从SL(Source-line)流出的输出电流进行进一步计算处理。N个忆阻器在读电流且N比较大时，输出的总电流呈现类似于高斯的分布。所有电压脉冲的输出总电流就是输入向量与权重采样值矩阵相乘的结果。在忆阻器交叉阵列中，这样的一次并行读操作就相当于实现了采样和向量矩阵乘法的两个操作。
进一步地，在本发明的实施例中，还包括：测量忆阻器的电导值，验证忆阻器的电导值与目标电导值的差是否小于误差阈值，若小于，则通过验证，若不小于，则对忆阻器进行调节脉冲SET/RESET操作，直至通过验证或达到最大验证次数。
可以理解的是，在将目标电导值写入忆阻器的过程中，为减小忆阻器电导在调节时存在波动以及非线性因素的带来的影响，确保更新的有效，先测量忆阻器电导值G，验证电导值与目标电导值的差是否达到误差ε。如果没有达到再对忆阻器阵列进行调节脉冲SET/RESET操作。如果达到误差ε，则通过验证；否则，继续对对应的忆阻器进行SET/RESET操作，直到通过验证或者达到最大验证次数为止。
根据本发明实施例提出的利用忆阻器本征噪声实现贝叶斯神经网络的方法，将贝叶斯神经网络的权重分布映射到忆阻器中，利用忆阻器交叉阵列实现分布采样和矩阵向量乘的方法以及利用忆阻器在读取时的本征噪声实现对随机变量的采样，通过忆阻器交叉阵列实现贝叶斯神经网络，功耗低，速度快。
其次参照附图描述根据本发明实施例提出的利用忆阻器本征噪声实现贝叶斯神经网络的装置。
图7为根据本发明一个实施例的利用忆阻器本征噪声实现贝叶斯神经网络的装置结构示意图。
如图7所示，该利用忆阻器本征噪声实现贝叶斯神经网络的装置包括：训练模块100和映射模块200。
训练模块100，用于获取贝叶斯网络，根据选定的数据集对贝叶斯网络进行训练得到贝叶斯网络的权重分布。
映射模块200，用于对贝叶斯网络的权重分布进行处理，根据处理后的权重分布及多个忆阻器的电导进行计算，得到目标电导值，将目标电导值映射到忆阻器中。
进一步地，在本发明的一个实施例中，还包括：预测模块，用于通过贝叶斯网络进行预测计算时，将输入序列以READ电压脉冲施加到映射后的忆阻器的位线(Bit-line)上，采集映射后的忆阻器的源线(Source-line)流出的输出电流，对输出电流进行计算，得到预测结果。
进一步地，在本发明的一个实施例中，对贝叶斯网络进行计算得到贝叶斯网络的权重分布，包括：
通过变分方法对选定的数据集进行计算，得到贝叶斯网络的权重分布。
进一步地，在本发明的一个实施例中，对贝叶斯网络的权重分布进行处理，包括：
对权重分布进行偏置和放缩，以使权重分布满足忆阻器的电导窗口。
进一步地，在本发明的一个实施例中，根据处理后的权重分布及多个忆阻器的电导进行计算，得到目标电导值，包括：
处理后的贝叶斯网络的权重分布为(μ,σ2)，其中，μ为均值，σ为标准差，多个忆阻器的电导Gntarget(n＝1,2,…,N)；
使处理后的贝叶斯网络的权重分布与多个忆阻器的电导满足公式(1)和(2)：
sum(Gntarget)＝μ (1)
sum[σ(Gntarget)2]＝σ2 (2)
对式(1)和式(2)进行求解，得到目标电导值。
进一步地，在本发明的一个实施例中，在将目标电导值映射到忆阻器中时，还包括：
测量忆阻器的电导值，验证忆阻器的电导值与目标电导值的差是否小于误差阈值，若小于，则通过验证，若不小于，则对忆阻器进行调节脉冲SET/RESET操作，直至通过验证或达到最大验证次数。
需要说明的是，前述对利用忆阻器本征噪声实现贝叶斯神经网络的方法实施例的解释说明也适用于该实施例的装置，此处不再赘述。
根据本发明实施例提出的利用忆阻器本征噪声实现贝叶斯神经网络的装置，将贝叶斯神经网络的权重分布映射到忆阻器中，利用忆阻器交叉阵列实现分布采样和矩阵向量乘的方法以及利用忆阻器在读取时的本征噪声实现对随机变量的采样，通过忆阻器交叉阵列实现贝叶斯神经网络，功耗低，速度快。
此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。在本发明的描述中，“多个”的含义是至少两个，例如两个，三个等，除非另有明确具体的限定。
在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。
尽管上面已经示出和描述了本发明的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本发明的限制，本领域的普通技术人员在本发明的范围内可以对上述实施例进行变化、修改、替换和变型。

Claims (5)

1.一种利用忆阻器本征噪声实现贝叶斯神经网络的方法，其特征在于，包括以下步骤：
S1，获取贝叶斯网络，根据选定的数据集对所述贝叶斯网络进行训练得到所述贝叶斯网络的权重分布；
S2，对所述权重分布进行偏置和放缩，以使所述权重分布满足所述忆阻器的电导窗口，根据处理后的权重分布及多个忆阻器的电导进行计算，得到目标电导值，将所述目标电导值映射到所述忆阻器中；其中，所述根据处理后的权重分布及多个忆阻器的电导进行计算，得到目标电导值，包括：
处理后的所述贝叶斯网络的权重分布为(μ,σ2)，其中，μ为均值，σ为标准差，多个忆阻器的电导Gntarget(n＝1,2,...,N)；
使处理后的所述贝叶斯网络的权重分布与所述多个忆阻器的电导满足公式(1)和(2)：
sum(Gntarget)＝μ (1)
sum[σ(Gntarget)2]＝σ2 (2)
对式(1)和式(2)进行求解，得到所述目标电导值；
通过所述贝叶斯网络进行预测计算时，将输入序列以READ电压脉冲的方式施加到映射后的忆阻器的位线上，采集所述映射后的忆阻器的源线流出的输出电流，对所述输出电流进行计算，得到预测结果。
2.根据权利要求1所述的利用忆阻器本征噪声实现贝叶斯神经网络的方法，其特征在于，所述对所述贝叶斯网络进行计算得到所述贝叶斯网络的权重分布，包括：
通过变分方法对所述选定的数据集进行计算，得到所述贝叶斯网络的权重分布。
3.根据权利要求1所述的利用忆阻器本征噪声实现贝叶斯神经网络的方法，其特征在于，在将所述目标电导值映射到所述忆阻器中时，还包括：
测量所述忆阻器的电导值，验证所述忆阻器的电导值与所述目标电导值的差是否小于误差阈值，若小于，则通过验证，若不小于，则对所述忆阻器进行调节脉冲SET/RESET操作，直至通过验证或达到最大验证次数。
4.根据权利要求1所述的利用忆阻器本征噪声实现贝叶斯神经网络的方法，其特征在于，所述贝叶斯网络包括但不限于全连接结构和卷积神经网络结构，所述贝叶斯网络的每个权重分布为相互独立的分布。
5.一种利用忆阻器本征噪声实现贝叶斯神经网络的装置，其特征在于，包括：
训练模块，用于获取贝叶斯网络，根据选定的数据集对所述贝叶斯网络进行训练得到所述贝叶斯网络的权重分布；
映射模块，用于对所述权重分布进行偏置和放缩，以使所述权重分布满足所述忆阻器的电导窗口，根据处理后的权重分布及多个忆阻器的电导进行计算，得到目标电导值，将所述目标电导值映射到所述忆阻器中，其中，所述根据处理后的权重分布及多个忆阻器的电导进行计算，得到目标电导值，包括：
处理后的所述贝叶斯网络的权重分布为(μ,σ2)，其中，μ为均值，σ为标准差，多个忆阻器的电导Gntarget(n＝1,2,...,N)；
使处理后的所述贝叶斯网络的权重分布与所述多个忆阻器的电导满足公式(1)和(2)：
sum(Gntarget)＝μ (1)
sum[σ(Gntarget)2]＝σ2 (2)
对式(1)和式(2)进行求解，得到所述目标电导值；
预测模块，用于通过所述贝叶斯网络进行预测计算时，将输入序列以READ电压脉冲的方式施加到映射后的忆阻器的位线上，采集所述映射后的忆阻器的源线流出的输出电流，对所述输出电流进行计算，得到预测结果。
CN201911251361.2A 2019-12-09 2019-12-09 利用忆阻器本征噪声实现贝叶斯神经网络的方法及装置 Active CN110956256B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN201911251361.2A CN110956256B (zh) 2019-12-09 2019-12-09 利用忆阻器本征噪声实现贝叶斯神经网络的方法及装置
PCT/CN2020/121244 WO2021114859A1 (zh) 2019-12-09 2020-10-15 利用忆阻器本征噪声实现贝叶斯神经网络的方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911251361.2A CN110956256B (zh) 2019-12-09 2019-12-09 利用忆阻器本征噪声实现贝叶斯神经网络的方法及装置

Publications (2)

Publication Number Publication Date
CN110956256A CN110956256A (zh) 2020-04-03
CN110956256B true CN110956256B (zh) 2022-05-17

Family

ID=69980472

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911251361.2A Active CN110956256B (zh) 2019-12-09 2019-12-09 利用忆阻器本征噪声实现贝叶斯神经网络的方法及装置

Country Status (2)

Country Link
CN (1) CN110956256B (zh)
WO (1) WO2021114859A1 (zh)

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110956256B (zh) * 2019-12-09 2022-05-17 清华大学 利用忆阻器本征噪声实现贝叶斯神经网络的方法及装置
CN111582473B (zh) * 2020-04-23 2023-08-25 中科物栖(南京)科技有限公司 一种对抗样本的生成方法及装置
CN111553415B (zh) * 2020-04-28 2022-11-15 宁波工程学院 一种基于忆阻器的esn神经网络图像分类处理方法
EP3907665A1 (en) * 2020-05-06 2021-11-10 Commissariat à l'énergie atomique et aux énergies alternatives Bayesian neural network with resistive memory hardware accelerator and method for programming the same
CN111681696B (zh) * 2020-05-28 2022-07-08 中国科学院微电子研究所 基于非易失存储器的存储和数据处理方法、装置及设备
CN113191402B (zh) * 2021-04-14 2022-05-20 华中科技大学 基于忆阻器的朴素贝叶斯分类器设计方法、系统及分类器
CN113610220B (zh) * 2021-08-27 2023-12-26 中国人民解放军国防科技大学 神经网络模型的训练方法、应用方法及装置
CN113505887B (zh) * 2021-09-12 2022-01-04 浙江大学 一种针对忆阻器误差的忆阻器存储器神经网络训练方法
CN114781628A (zh) * 2022-03-29 2022-07-22 清华大学 基于忆阻器噪声的数据增强方法、装置、电子设备及介质
CN114819093A (zh) * 2022-05-09 2022-07-29 清华大学 利用基于忆阻器阵列的环境模型的策略优化方法和装置
CN114819128A (zh) * 2022-05-09 2022-07-29 清华大学 基于忆阻器阵列的贝叶斯神经网络的变分推理方法和装置
CN114742218A (zh) * 2022-05-09 2022-07-12 清华大学 基于忆阻器阵列的数据处理方法和数据处理装置

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106030620A (zh) * 2014-02-21 2016-10-12 高通股份有限公司 用于随机尖峰贝叶斯网络的基于事件的推断和学习
US20180082177A1 (en) * 2016-09-16 2018-03-22 International Business Machines Corporation Multi-memristive synapse with clock-arbitrated weight update
CN109460817A (zh) * 2018-09-11 2019-03-12 华中科技大学 一种基于非易失存储器的卷积神经网络片上学习系统
CN109543827A (zh) * 2018-12-02 2019-03-29 清华大学 生成式对抗网络装置及训练方法
CN109657787A (zh) * 2018-12-19 2019-04-19 电子科技大学 一种二值忆阻器的神经网络芯片
US20190311267A1 (en) * 2018-04-05 2019-10-10 Western Digital Technologies, Inc. Noise injection training for memory-based learning
CN110443168A (zh) * 2019-07-23 2019-11-12 华中科技大学 一种基于忆阻器的神经网络人脸识别系统

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109902801B (zh) * 2019-01-22 2020-11-17 华中科技大学 一种基于变分推理贝叶斯神经网络的洪水集合预报方法
CN110020718A (zh) * 2019-03-14 2019-07-16 上海交通大学 基于变分推断的逐层神经网络剪枝方法和系统
CN110956256B (zh) * 2019-12-09 2022-05-17 清华大学 利用忆阻器本征噪声实现贝叶斯神经网络的方法及装置

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106030620A (zh) * 2014-02-21 2016-10-12 高通股份有限公司 用于随机尖峰贝叶斯网络的基于事件的推断和学习
US20180082177A1 (en) * 2016-09-16 2018-03-22 International Business Machines Corporation Multi-memristive synapse with clock-arbitrated weight update
US20190311267A1 (en) * 2018-04-05 2019-10-10 Western Digital Technologies, Inc. Noise injection training for memory-based learning
CN109460817A (zh) * 2018-09-11 2019-03-12 华中科技大学 一种基于非易失存储器的卷积神经网络片上学习系统
CN109543827A (zh) * 2018-12-02 2019-03-29 清华大学 生成式对抗网络装置及训练方法
CN109657787A (zh) * 2018-12-19 2019-04-19 电子科技大学 一种二值忆阻器的神经网络芯片
CN110443168A (zh) * 2019-07-23 2019-11-12 华中科技大学 一种基于忆阻器的神经网络人脸识别系统

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Versatile stochastic dot product circuits based on nonvolatile memories for high performance neurocomputing and neurooptimization;M.R. Mahmoodi,et al.;《nature communications》;20191108;全文 *
基于忆阻器交叉阵列的卷积神经网络电路设计;胡飞 等;《计算机研究与发展》;20181231;全文 *

Also Published As

Publication number Publication date
WO2021114859A1 (zh) 2021-06-17
CN110956256A (zh) 2020-04-03

Similar Documents

Publication Publication Date Title
CN110956256B (zh) 利用忆阻器本征噪声实现贝叶斯神经网络的方法及装置
Papamakarios et al. Fast ε-free inference of simulation models with bayesian conditional density estimation
Okut Bayesian regularized neural networks for small n big p data
Sivakumar et al. River flow forecasting: use of phase-space reconstruction and artificial neural networks approaches
Leung et al. On the selection of weight decay parameter for faulty networks
El-Shafie et al. Generalized versus non-generalized neural network model for multi-lead inflow forecasting at Aswan High Dam
Brown et al. Evaluating methods for approximating stochastic differential equations
Perugachi-Diaz et al. Invertible densenets with concatenated lipswish
Papadelis et al. An application of calibration and uncertainty quantification techniques for agent-based models
Gloeckler et al. Adversarial robustness of amortized Bayesian inference
El-Shafie et al. Generalized versus non-generalized neural network model for multi-lead inflow forecasting at Aswan High Dam
CN111582461B (zh) 神经网络训练方法、装置、终端设备和可读存储介质
Badjate et al. Multi step ahead prediction of north and south hemisphere sun spots chaotic time series using focused time lagged recurrent neural network model
JP2023533846A (ja) クロスバーアレイを更新するためのパルス生成
CN113269313A (zh) 突触权重训练方法、电子设备和计算机可读介质
Therhaag Introduction to neural networks in high energy physics
Jones et al. A segmented attractor network for neuromorphic associative learning
Gaytan et al. Node-Decoupled Extended Kalman Filter versus Adam Optimizer in Approximation of Functions with Multilayer Neural Networks
Ünal et al. Artificial neural networks
CN110852451A (zh) 基于核函数的递归核自适应滤波方法
Golovko et al. Modeling nonlinear dynamics using multilayer neural networks
KR20180019347A (ko) 심층 신경망 기반의 음성인식 시스템
Huang et al. Signal processing by polynomial NN and equivalent polynomial function
Milovanović et al. Data denoising procedure for neural network performance improvement
Pitcl A MACHINE LEARNING APPROACH TO ATLAS PARTICLE ENERGY CALIBRATIONS

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant