CN117787350A - 忆阻贝叶斯神经网络的关键权重在线更新方法及装置 - Google Patents
忆阻贝叶斯神经网络的关键权重在线更新方法及装置 Download PDFInfo
- Publication number
- CN117787350A CN117787350A CN202311518309.5A CN202311518309A CN117787350A CN 117787350 A CN117787350 A CN 117787350A CN 202311518309 A CN202311518309 A CN 202311518309A CN 117787350 A CN117787350 A CN 117787350A
- Authority
- CN
- China
- Prior art keywords
- weight
- memristive
- gradient
- neural network
- bayesian neural
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000013531 bayesian neural network Methods 0.000 title claims abstract description 81
- 238000000034 method Methods 0.000 title claims abstract description 73
- 238000009826 distribution Methods 0.000 claims abstract description 46
- 238000012549 training Methods 0.000 claims abstract description 42
- 230000008859 change Effects 0.000 claims abstract description 30
- 230000008569 process Effects 0.000 claims abstract description 23
- 230000006870 function Effects 0.000 claims description 33
- 238000004422 calculation algorithm Methods 0.000 claims description 8
- 238000004590 computer program Methods 0.000 claims description 7
- 230000000946 synaptic effect Effects 0.000 claims description 6
- 238000004364 calculation method Methods 0.000 claims description 5
- 238000013528 artificial neural network Methods 0.000 description 7
- 238000004891 communication Methods 0.000 description 7
- 238000010586 diagram Methods 0.000 description 6
- 238000013459 approach Methods 0.000 description 3
- 230000008901 benefit Effects 0.000 description 3
- 238000012545 processing Methods 0.000 description 3
- 238000010187 selection method Methods 0.000 description 3
- 238000002679 ablation Methods 0.000 description 2
- 238000003491 array Methods 0.000 description 2
- 239000000463 material Substances 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000012360 testing method Methods 0.000 description 2
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000002860 competitive effect Effects 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000000802 evaporation-induced self-assembly Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
Landscapes
- Complex Calculations (AREA)
Abstract
本发明涉及忆阻贝叶斯神经网络技术领域，特别涉及一种忆阻贝叶斯神经网络的关键权重在线更新方法及装置，其中，方法包括：利用预设数据集对忆阻贝叶斯神经网络进行训练，以优化权重的后验分布，得到最优权重后验分布；根据最优权重后验分布计算损失函数对均值的梯度和标准差的梯度；根据均值的梯度和标准差的梯度计算权重信噪比变化值；选择训练后的忆阻贝叶斯神经网络的当前关键权重，利用权重信噪比变化值更新当前关键权重，得到新的关键权重，以作为当前关键权重，迭代执行训练过程，直至训练后的忆阻贝叶斯神经网络达到预设收敛条件。由此，解决了现有训练过程中需要进行大量读取和编程操作，难以实现高速且高效的在线训练等问题。
Description
技术领域
本发明涉及忆阻贝叶斯神经网络技术领域，特别涉及一种忆阻贝叶斯神经网络的关键权重在线更新方法及装置。
背景技术
忆阻器受到各种的电导扰动和噪声的影响，即使在相同的编程条件下，在不同的时间进行编程时也会产生电导的波动。由于这些电导扰动，很难将学到的权重精确地编程到交叉阵列中。这种编程误差通常对神经网络的性能有很大影响。为了解决编程误差的问题，人们提出了带阈值的基于梯度符号的忆阻器权重更新方法。
传统的权重更新方法，如梯度下降法，是基于连续的数值操作的。然而，基于梯度符号的忆阻权重更新方法则是基于离散的符号操作的，更新的方向由损失函数的梯度的符号决定，而不是梯度的具体值。这意味着，如果损失函数在某个方向上增加，权重将在相反的方向上更新。同时，为了避免梯度过小而导致的不必要的权重更新，还会判断这个梯度的绝对值是否超过了一个预设的阈值。只有当梯度的绝对值超过阈值时，才会更新权重。同时，通过调整阈值的大小，可以在一定程度上控制权重更新的频率和幅度，从而影响神经网络的学习速度和性能。阈值的设定通常需要根据实际问题和数据进行调整，以达到最优的学习效果。这种方法的一个关键优点是它可以大大减少忆阻器编程的复杂性，因为它只需要编程部分忆阻权重，且变化方向与梯度的符号一致即可。这使得这种方法在在线训练大规模神经网络时特别有用，可以显著提高学习效率。但该种方案在训练过程中需要进行大量的读取和编程操作，十分消耗时间和能量，难以实现高速且高效的在线训练。
发明内容
本发明提供一种忆阻贝叶斯神经网络的关键权重在线更新方法及装置，以解决现有忆阻贝叶斯神经网络过程中需要进行大量的读取和编程操作，十分消耗时间和能量，难以实现高速且高效的在线训练等问题。
本发明第一方面实施例提供一种忆阻贝叶斯神经网络的关键权重在线更新方法，包括以下步骤：利用预设数据集对忆阻贝叶斯神经网络进行训练，以优化权重的后验分布，得到最优权重后验分布；根据所述最优权重后验分布计算损失函数对均值的梯度和标准差的梯度；根据所述均值的梯度和所述标准差的梯度计算权重信噪比变化值；选择训练后的忆阻贝叶斯神经网络的当前关键权重，利用所述权重信噪比变化值更新所述当前关键权重，得到新的关键权重，以作为所述当前关键权重，迭代执行训练过程，直至训练后的忆阻贝叶斯神经网络达到预设收敛条件。
可选地，所述根据所述最优权重后验分布计算损失函数对均值的梯度和标准差的梯度，包括：根据所述最优权重后验分布计算损失函数；基于反向传播算法，计算所述损失函数对所述均值的梯度和所述标准差的梯度。
可选地，所述损失函数L为：
其中，n为样本数，Ln为第n个样本的预测误差，yn为数据集的输出值，f(xn,w)为忆阻贝叶斯神经网络的输出，xn为第n个样本，w为突触权重，KL(q(w|θ)||p(w))为权重后验分布q(w|θ)与权重先验分布p(w)之间的KL散度。
可选地，所述权重信噪比变化值dSNR为：
其中，μ为均值，gμ为均值的梯度，σ为标准差，gσ为标准差的梯度。
可选地，所述选择训练后的忆阻贝叶斯神经网络的当前关键权重，并利用所述权重信噪比变化值更新所述当前关键权重，得到新关键权重，包括：
计算训练后的忆阻贝叶斯神经网络的忆阻权重信噪比；
选取所述忆阻权重信噪比大于预设信噪比阈值的权重作为所述当前关键权重；
将所述权重信噪比变化值与预设噪比变化阈值进行比较，在所述权重信噪比变化值大于所述预设噪比变化阈值的情况下，利用所述均值的梯度和所述标准差的梯度更新所述当前关键权重的均值和标准差，得到所述新的关键权重，否则不对所述当前关键权重进行更新。
可选地，所述新的关键权重的均值μt+1为：
其中，t为迭代次数，μt为第t次迭代后的均值，η为学习率，为第t次迭代后的均值的梯度。
可选地，所述新的关键权重的梯度σt+1为：
其中，t为迭代次数，σt为第t次迭代后的标准差，η为学习率，为第t次迭代后的标准差的梯度。
本发明第二方面实施例提供一种忆阻贝叶斯神经网络的关键权重在线更新装置，包括：训练模块，用于利用预设数据集对忆阻贝叶斯神经网络进行训练，以优化权重的后验分布，得到最优权重后验分布；第一计算模块，用于根据所述最优权重后验分布计算损失函数对均值的梯度和标准差的梯度；第二计算模块，用于根据所述均值的梯度和所述标准差的梯度计算权重信噪比变化值；更新模块，用于选择训练后的忆阻贝叶斯神经网络的当前关键权重，利用所述权重信噪比变化值更新所述当前关键权重，得到新的关键权重，以作为所述当前关键权重，迭代执行训练过程，直至训练后的忆阻贝叶斯神经网络达到预设收敛条件。
本发明第三方面实施例提供一种电子设备，包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述程序，以实现如上述实施例所述的忆阻贝叶斯神经网络的关键权重在线更新方法。
本发明第四方面实施例提供一种计算机可读存储介质，所述计算机可读存储介质存储计算机程序，该程序被处理器执行时实现如上的忆阻贝叶斯神经网络的关键权重在线更新方法。
本发明实施提出的忆阻贝叶斯神经网络的关键权重在线更新方法及装置，通过更新贝叶斯神经网络的关键权重，减少需要编程的权重数量，从而减少训练过程中需要的读取和编程操作，进而减少消耗的时间和能量，实现高速和高效的在线训练方案。
本发明附加的方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。
附图说明
本发明上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解，其中：
图1为根据本发明实施例提供的忆阻贝叶斯神经网络的关键权重在线更新方法的流程图；
图2为根据本发明实施例提供的贝叶斯神经网络结构示意图；
图3为根据本发明实施例提供的忆阻贝叶斯神经网络的关键权重在线更新方法的具体执行图；
图4为根据本发明实施例提供的关键权重的选取方法流程图；
图5为根据本发明实施例提供的消融测试结果的示意图；
图6为根据本发明实施例的忆阻贝叶斯神经网络的关键权重在线更新装置的方框示意图；
图7为根据本发明实施例的电子设备的结构示意图。
具体实施方式
下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，旨在用于解释本发明，而不能理解为对本发明的限制。
下面参考附图描述本发明实施例的忆阻贝叶斯神经网络的关键权重在线更新方法及装置。
具体而言，图1为本发明实施例所提供的一种忆阻贝叶斯神经网络的关键权重在线更新方法的流程示意图。
如图1所示，该忆阻贝叶斯神经网络的关键权重在线更新方法包括以下步骤：
在步骤S101中，利用预设数据集对忆阻贝叶斯神经网络进行训练，以优化权重的后验分布，得到最优权重后验分布。
需要说明的是，贝叶斯神经网络(Bayesian neural network，BNN)是一个参数化的模型，它将神经网络的灵活性置于贝叶斯框架。如图2所示，BNN中的所有权重不像传统神经网络中的固定值，而是由概率分布来表示。贝叶斯神经网络的结构包括但不限于全连接结构、CNN结构等，其网络权值w是随机变量。在忆阻贝叶斯神经网络中，忆阻器交叉阵列上的忆阻器的电导值G代表了贝叶斯神经网络中的突触权重w。在神经网络中，权重的更新是学习过程的重要部分。在在线训练的方法中，忆阻神经网络的电导值会根据反传算法得到的梯度来进行编程，以更新权重值。
给定一个数据集D＝{xn,yn}，网络在线训练目标是利用贝叶斯定理优化权重的后验分布p(w|D)：
其中，p(w)是先验权重分布，p(D|w)＝p(y|x,w)是对应于网络输出的似然，而p(D)是边缘似然，即证据。
在步骤S102中，根据最优权重后验分布计算损失函数对均值的梯度和标准差的梯度。
进一步地，根据最优权重后验分布计算损失函数对均值的梯度和标准差的梯度，包括：
根据最优权重后验分布计算损失函数；
基于反向传播算法，计算损失函数对均值的梯度和标准差的梯度。
具体地，如图3所示，由于真正的后验分布p(w|D)是难以实现的，所以真正的后验不是直接计算的，而是通常使用推理方法进行近似。推理方法进行优化时，会找到适当的参数θ＝(μ,σ)使q(wθ)尽可能接近真实后验。接近的程度可以用Kullback-Leibler(KL)散度来衡量。通过数学转换，最小化q(w|θ)和p(w|D)之间的KL散度的目标可以表述为：
其中，KL(q(w|θ)||p(w))和Eq(w|θ)[logp(D|w)]，即复杂度成本项和似然成本项，这两项构成了损失函数L，具体为：
其中，n为样本数，Ln为第n个样本的预测误差，yn为数据集的输出值，f(xn,w)为忆阻贝叶斯神经网络的输出，xn为第n个样本，w为突触权重，KL(q(w|θ)||p(w))为权重后验分布q(w|θ)与权重先验分布p(w)之间的KL散度，θ为突触权重的参数，比如高斯权重的情况下θ为均值μ和标准差σ。
通常，假设权重的先验分布是一个高斯分布，这样就可以使用变分推断进行后验分布的近似。对于高斯分布的权重，θ相当于平均值μ和标准差σ，则后验q(w|θ)可以表述为：
BNN通过先验p(w)和似然概率p(w|D)推断出后验权重分布。在训练过程中，需要找到权重分布w的均值μ和标准差σ。这个过程可以通过SGD(随机梯度下降)算法实现。
在SGD过程中，首先反向传播计算损失函数对均值和标准差的梯度gμ和gσ：
在步骤S103中，根据均值的梯度和标准差的梯度计算权重信噪比变化值。
其中，权重信噪比变化值dSNR为：
其中，μ为均值，gμ为均值的梯度，σ为标准差，gσ为标准差的梯度。
在某权重的dSNR比较大时，说明该权重在更新之后它的SNR会有比较大的变化，因此需要更新这一类权重以快速迭代改变SNR。
在步骤S104中，选择训练后的忆阻贝叶斯神经网络的当前关键权重，利用权重信噪比变化值更新当前关键权重，得到新的关键权重，以作为当前关键权重，迭代执行训练过程，直至训练后的忆阻贝叶斯神经网络达到预设收敛条件。
进一步地，选择训练后的忆阻贝叶斯神经网络的当前关键权重，并利用权重信噪比变化值更新当前关键权重，得到新关键权重，包括：
计算训练后的忆阻贝叶斯神经网络的忆阻权重信噪比；
选取忆阻权重信噪比大于预设信噪比阈值的权重作为当前关键权重；
将权重信噪比变化值与预设噪比变化阈值进行比较，在权重信噪比变化值大于预设噪比变化阈值的情况下，利用均值的梯度和标准差的梯度更新当前关键权重的均值和标准差，得到新的关键权重，否则不对当前关键权重进行更新。
具体地，为了减少更新忆阻权重的成本，本发明实施例提出新的关键权重选择方法，只有被选中的权重才会被更新。
如图4所示，首先计算忆阻权重的信噪比：
SNR＝|μ/σ|
如果某权重信噪比SNR比设定阈值SNRth大，那么就认为该权重对网络的前向传播计算精度的影响就越大，也就是说该权重是关键权重。其中阈值SNRth大小可以根据实际的网络模型和数据集来确定。
因此，选取忆阻权重信噪比大于预设信噪比阈值的权重作为当前关键权重，再将权重信噪比变化值与预设噪比变化阈值进行比较，在权重信噪比变化值大于预设噪比变化阈值(预设噪比变化阈值dSNRth的大小可以根据实际的网络模型和数据集来确定)的情况下，利用均值的梯度和标准差的梯度更新当前关键权重的均值和标准差。其中，更新当前关键权重的均值和标准差的公式可以写为：
新的关键权重的均值μt+1为：
其中，t为迭代次数，μt为第t次迭代后的均值，η为学习率，为第t次迭代后的均值的梯度。
新的关键权重的梯度σt+1为：
其中，t为迭代次数，σt为第t次迭代后的标准差，η为学习率，为第t次迭代后的标准差的梯度。
最后，将新的关键权要作为当前关键权重，迭代执行训练过程，直至训练后的忆阻贝叶斯神经网络达到预设收敛条件。
需要说明的是，在实际应该过程中，本发明实施例会将所有的权重分别按照SNR和dSNR的降序进行排序，然后选取排前的固定百分比的权重作为需要更新的关键权重。例如，根据任务需求，希望更新的权重数量小于10％，则选取SNR前5％的权重和dSNR前5％的权重。选择关键权重时，可以对每层网络分别排序和选择，也可以网络的所有权重一起排序和选择，根据具体人工智能任务和网络规模和性能而定。
另外，如图5所示，在固定的电导波动指标情况下，在一个分类任务中进行了消融测试。可以看到，在更新相同的权重比例的情况下，使用SNR+dSNR的方法时，忆阻贝叶斯神经网络的分类性能最有竞争力。
根据本发明实施例提出的忆阻贝叶斯神经网络的关键权重在线更新方法，利用样本及标签训练忆阻BNN，再根据BNN前向传播的结果，计算损失函数值；基于损失函数利用反向传播算法计算出均值及标准差的梯度；采用关键权重选择方法来选择网络中的关键权重；最后更新网络中的关键权重，通过反复迭代训练，网络就可以完成在线更新的过程。该方法通过更新贝叶斯神经网络的关键权重，减少了需要编程的权重数量，从而减少训练过程中需要的读取和编程操作，进而减少消耗的时间和能量，实现高速和高效的在线训练方案。
其次参照附图描述根据本发明实施例提出的忆阻贝叶斯神经网络的关键权重在线更新装置。
图6是本发明实施例的忆阻贝叶斯神经网络的关键权重在线更新装置的方框示意图。
如图6所示，该忆阻贝叶斯神经网络的关键权重在线更新装置60包括：训练模块601、第一计算模块602、第二计算模块603和更新模块604。
其中，训练模块601，用于利用预设数据集对忆阻贝叶斯神经网络进行训练，以优化权重的后验分布，得到最优权重后验分布。第一计算模块602，用于根据最优权重后验分布计算损失函数对均值的梯度和标准差的梯度。第二计算模块603，用于根据均值的梯度和标准差的梯度计算权重信噪比变化值。更新模块604，用于选择训练后的忆阻贝叶斯神经网络的当前关键权重，利用权重信噪比变化值更新当前关键权重，得到新的关键权重，以作为当前关键权重，迭代执行训练过程，直至训练后的忆阻贝叶斯神经网络达到预设收敛条件。
进一步地，第一计算模块602包括：
根据最优权重后验分布计算损失函数；
基于反向传播算法，计算损失函数对均值的梯度和标准差的梯度。
其中，损失函数L为：
其中，n为样本数，Ln为第n个样本的预测误差，yn为数据集的输出值，f(xn,w)为忆阻贝叶斯神经网络的输出，xn为第n个样本，w为突触权重，KL(q(w|θ)||p(w))为权重后验分布q(w|θ)与权重先验分布p(w)之间的KL散度。
其中，权重信噪比变化值dSNR为：
其中，μ为均值，gμ为均值的梯度，σ为标准差，gσ为标准差的梯度。
进一步地，更新模块604包括：
计算训练后的忆阻贝叶斯神经网络的忆阻权重信噪比；
选取忆阻权重信噪比大于预设信噪比阈值的权重作为当前关键权重；
将权重信噪比变化值与预设噪比变化阈值进行比较，在权重信噪比变化值大于预设噪比变化阈值的情况下，利用均值的梯度和标准差的梯度更新当前关键权重的均值和标准差，得到新的关键权重，否则不对当前关键权重进行更新。
其中，新的关键权重的均值μt+1为：
其中，t为迭代次数，μt为第t次迭代后的均值，η为学习率，为第t次迭代后的均值的梯度。
新的关键权重的梯度σt+1为：
其中，t为迭代次数，σt为第t次迭代后的标准差，η为学习率，为第t次迭代后的标准差的梯度。
需要说明的是，前述对忆阻贝叶斯神经网络的关键权重在线更新方法实施例的解释说明也适用于该实施例的忆阻贝叶斯神经网络的关键权重在线更新装置，此处不再赘述。
根据本发明实施例提出的忆阻贝叶斯神经网络的关键权重在线更新装置，利用样本及标签训练忆阻BNN，再根据BNN前向传播的结果，计算损失函数值；基于损失函数利用反向传播算法计算出均值及标准差的梯度；采用关键权重选择方法来选择网络中的关键权重；最后更新网络中的关键权重，通过反复迭代训练，网络就可以完成在线更新的过程。该方法通过更新贝叶斯神经网络的关键权重，减少了需要编程的权重数量，从而减少训练过程中需要的读取和编程操作，进而减少消耗的时间和能量，实现高速和高效的在线训练方案。
图7为本发明实施例提供的电子设备的结构示意图。该电子设备可以包括：
存储器701、处理器702及存储在存储器701上并可在处理器702上运行的计算机程序。
处理器702执行程序时实现上述实施例中提供的忆阻贝叶斯神经网络的关键权重在线更新方法。
进一步地，电子设备还包括：
通信接口703，用于存储器701和处理器702之间的通信。
存储器701，用于存放可在处理器702上运行的计算机程序。
存储器701可能包含高速RAM存储器，也可能还包括非易失性存储器(non-volatile memory)，例如至少一个磁盘存储器。
如果存储器701、处理器702和通信接口703独立实现，则通信接口703、存储器701和处理器702可以通过总线相互连接并完成相互间的通信。总线可以是工业标准体系结构(Industry Standard Architecture，简称为ISA)总线、外部设备互连(PeripheralComponent，简称为PCI)总线或扩展工业标准体系结构(Extended Industry StandardArchitecture，简称为EISA)总线等。总线可以分为地址总线、数据总线、控制总线等。为便于表示，图7中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。
可选地，在具体实现上，如果存储器701、处理器702及通信接口703，集成在一块芯片上实现，则存储器701、处理器702及通信接口703可以通过内部接口完成相互间的通信。
处理器702可能是一个中央处理器(Central Processing Unit，简称为CPU)，或者是特定集成电路(Application Specific Integrated Circuit，简称为ASIC)，或者是被配置成实施本发明实施例的一个或多个集成电路。
本发明实施例还提供一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如上的忆阻贝叶斯神经网络的关键权重在线更新方法。
在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或N个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。
此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。在本发明的描述中，“N个”的含义是至少两个，例如两个，三个等，除非另有明确具体的限定。
流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为，表示包括一个或N个用于实现定制逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分，并且本发明的优选实施方式的范围包括另外的实现，其中可以不按所示出或讨论的顺序，包括根据所涉及的功能按基本同时的方式或按相反的顺序，来执行功能，这应被本发明的实施例所属技术领域的技术人员所理解。
在流程图中表示或在此以其他方式描述的逻辑和/或步骤，例如，可以被认为是用于实现逻辑功能的可执行指令的定序列表，可以具体实现在任何计算机可读介质中，以供指令执行系统、装置或设备(如基于计算机的系统、包括处理器的系统或其他可以从指令执行系统、装置或设备取指令并执行指令的系统)使用，或结合这些指令执行系统、装置或设备而使用。就本说明书而言，"计算机可读介质"可以是任何可以包含、存储、通信、传播或传输程序以供指令执行系统、装置或设备或结合这些指令执行系统、装置或设备而使用的装置。计算机可读介质的更具体的示例(非穷尽性列表)包括以下：具有一个或N个布线的电连接部(电子装置)，便携式计算机盘盒(磁装置)，随机存取存储器(RAM)，只读存储器(ROM)，可擦除可编辑只读存储器(EPROM或闪速存储器)，光纤装置，以及便携式光盘只读存储器(CDROM)。另外，计算机可读介质甚至可以是可在其上打印所述程序的纸或其他合适的介质，因为可以通过对纸或其他介质进行光学扫描，接着进行编辑、解译或必要时以其他合适方式进行处理来以电子方式获得所述程序，然后将其存储在计算机存储器中。
应当理解，本发明的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中，N个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。如果用硬件来实现和在另一实施方式中一样，可用本领域公知的下列技术中的任一项或他们的组合来实现：具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路，具有合适的组合逻辑门电路的专用集成电路，可编程门阵列(PGA)，现场可编程门阵列(FPGA)等。
本技术领域的普通技术人员可以理解实现上述实施例方法携带的全部或部分步骤是可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，该程序在执行时，包括方法实施例的步骤之一或其组合。
此外，在本发明各个实施例中的各功能单元可以集成在一个处理模块中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。所述集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。
上述提到的存储介质可以是只读存储器，磁盘或光盘等。尽管上面已经示出和描述了本发明的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本发明的限制，本领域的普通技术人员在本发明的范围内可以对上述实施例进行变化、修改、替换和变型。
Claims (10)
1.一种忆阻贝叶斯神经网络的关键权重在线更新方法，其特征在于，包括以下步骤：
利用预设数据集对忆阻贝叶斯神经网络进行训练，以优化权重的后验分布，得到最优权重后验分布；
根据所述最优权重后验分布计算损失函数对均值的梯度和标准差的梯度；
根据所述均值的梯度和所述标准差的梯度计算权重信噪比变化值；
选择训练后的忆阻贝叶斯神经网络的当前关键权重，利用所述权重信噪比变化值更新所述当前关键权重，得到新的关键权重，以作为所述当前关键权重，迭代执行训练过程，直至训练后的忆阻贝叶斯神经网络达到预设收敛条件。
2.根据权利要求1所述的忆阻贝叶斯神经网络的关键权重在线更新方法，其特征在于，所述根据所述最优权重后验分布计算损失函数对均值的梯度和标准差的梯度，包括：
根据所述最优权重后验分布计算损失函数；
基于反向传播算法，计算所述损失函数对所述均值的梯度和所述标准差的梯度。
3.根据权利要求2所述的忆阻贝叶斯神经网络的关键权重在线更新方法，其特征在于，所述损失函数L为：
其中，n为样本数，Ln为第n个样本的预测误差，yn为数据集的输出值，f(xn,w)为忆阻贝叶斯神经网络的输出，xn为第n个样本，w为突触权重，KL(q(w|θ)||p(w))为权重后验分布q(w|θ)与权重先验分布p(w)之间的KL散度。
4.根据权利要求1所述的忆阻贝叶斯神经网络的关键权重在线更新方法，其特征在于，所述权重信噪比变化值dSNR为：
其中，μ为均值，gμ为均值的梯度，σ为标准差，gσ为标准差的梯度。
5.根据权利要求1所述的忆阻贝叶斯神经网络的关键权重在线更新方法，其特征在于，所述选择训练后的忆阻贝叶斯神经网络的当前关键权重，并利用所述权重信噪比变化值更新所述当前关键权重，得到新关键权重，包括：
计算训练后的忆阻贝叶斯神经网络的忆阻权重信噪比；
选取所述忆阻权重信噪比大于预设信噪比阈值的权重作为所述当前关键权重；
将所述权重信噪比变化值与预设噪比变化阈值进行比较，在所述权重信噪比变化值大于所述预设噪比变化阈值的情况下，利用所述均值的梯度和所述标准差的梯度更新所述当前关键权重的均值和标准差，得到所述新的关键权重，否则不对所述当前关键权重进行更新。
6.根据权利要求5所述的忆阻贝叶斯神经网络的关键权重在线更新方法，其特征在于，所述新的关键权重的均值μt+1为：
其中，t为迭代次数，μt为第t次迭代后的均值，η为学习率，为第t次迭代后的均值的梯度。
7.根据权利要求5所述的忆阻贝叶斯神经网络的关键权重在线更新方法，其特征在于，所述新的关键权重的梯度σt+1为：
其中，t为迭代次数，σt为第t次迭代后的标准差，η为学习率，为第t次迭代后的标准差的梯度。
8.一种忆阻贝叶斯神经网络的关键权重在线更新装置，其特征在于，包括：
训练模块，用于利用预设数据集对忆阻贝叶斯神经网络进行训练，以优化权重的后验分布，得到最优权重后验分布；
第一计算模块，用于根据所述最优权重后验分布计算损失函数对均值的梯度和标准差的梯度；
第二计算模块，用于根据所述均值的梯度和所述标准差的梯度计算权重信噪比变化值；
更新模块，用于选择训练后的忆阻贝叶斯神经网络的当前关键权重，利用所述权重信噪比变化值更新所述当前关键权重，得到新的关键权重，以作为所述当前关键权重，迭代执行训练过程，直至训练后的忆阻贝叶斯神经网络达到预设收敛条件。
9.一种电子设备，其特征在于，包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述程序，以实现如权利要求1-7任一项所述的忆阻贝叶斯神经网络的关键权重在线更新方法。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行，以用于实现如权利要求1-7任一项所述的忆阻贝叶斯神经网络的关键权重在线更新方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311518309.5A CN117787350A (zh) | 2023-11-14 | 2023-11-14 | 忆阻贝叶斯神经网络的关键权重在线更新方法及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311518309.5A CN117787350A (zh) | 2023-11-14 | 2023-11-14 | 忆阻贝叶斯神经网络的关键权重在线更新方法及装置 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN117787350A true CN117787350A (zh) | 2024-03-29 |
Family
ID=90391677
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202311518309.5A Pending CN117787350A (zh) | 2023-11-14 | 2023-11-14 | 忆阻贝叶斯神经网络的关键权重在线更新方法及装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117787350A (zh) |
-
2023
- 2023-11-14 CN CN202311518309.5A patent/CN117787350A/zh active Pending
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US10460230B2 (en) | Reducing computations in a neural network | |
| US11423311B2 (en) | Automatic tuning of artificial neural networks | |
| CN109817267B (zh) | 一种基于深度学习的闪存寿命预测方法、系统及计算机可读存取介质 | |
| CN112990444B (zh) | 一种混合式神经网络训练方法、系统、设备及存储介质 | |
| US20220147680A1 (en) | Method for co-design of hardware and neural network architectures using coarse-to-fine search, two-phased block distillation and neural hardware predictor | |
| US11574193B2 (en) | Method and system for training of neural networks using continuously differentiable models | |
| CN110866113A (zh) | 基于稀疏自注意力机制微调伯特模型的文本分类方法 | |
| CN116089870A (zh) | 基于元学习的小样本条件下工业设备故障预测方法及装置 | |
| US5561741A (en) | Method of enhancing the performance of a neural network | |
| JPH06337852A (ja) | ニューラルネットワークによる時系列予測方法 | |
| CN114154615A (zh) | 基于硬件性能的神经架构搜索方法和设备 | |
| WO2021038190A1 (en) | Skip predictor for pre-trained recurrent neural networks | |
| CN117787350A (zh) | 忆阻贝叶斯神经网络的关键权重在线更新方法及装置 | |
| JP7279225B2 (ja) | 破滅的忘却の発生を抑えつつ、転移学習を行う方法、情報処理装置及びプログラム | |
| KR102441442B1 (ko) | 그래프 컨볼루션 네트워크 학습 방법 및 장치 | |
| CN115879536A (zh) | 一种基于因果效应的学习认知分析模型鲁棒性优化方法 | |
| CN115345303A (zh) | 卷积神经网络权重调优方法、装置、存储介质和电子设备 | |
| EP3736746A1 (en) | Arithmetic processing apparatus, arithmetic processing method, and arithmetic processing program | |
| CN114297053A (zh) | 一种基于多层感知机平滑的软件程序安全检测方法 | |
| CN113269313A (zh) | 突触权重训练方法、电子设备和计算机可读介质 | |
| CN112541568A (zh) | 用于运行人工神经网络的方法、设备和计算机程序 | |
| CN113408692A (zh) | 网络结构的搜索方法、装置、设备及存储介质 | |
| CN117152588B (zh) | 一种数据优化方法、系统、装置及介质 | |
| US20240078424A1 (en) | Neural network arrangement | |
| US20220405599A1 (en) | Automated design of architectures of artificial neural networks |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |