CN113987985A - 基于忆阻器交叉阵列神经网络加速器热效应优化方法 - Google Patents

基于忆阻器交叉阵列神经网络加速器热效应优化方法 Download PDF

Info

Publication number
CN113987985A
CN113987985A CN202111349327.6A CN202111349327A CN113987985A CN 113987985 A CN113987985 A CN 113987985A CN 202111349327 A CN202111349327 A CN 202111349327A CN 113987985 A CN113987985 A CN 113987985A
Authority
CN
China
Prior art keywords
temperature
matrix
neural network
pulse
memristor
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202111349327.6A
Other languages
English (en)
Other versions
CN113987985B (zh
Inventor
徐宁
商梦君
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Wuhan University of Technology WUT
Original Assignee
Wuhan University of Technology WUT
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Wuhan University of Technology WUT filed Critical Wuhan University of Technology WUT
Priority to CN202111349327.6A priority Critical patent/CN113987985B/zh
Publication of CN113987985A publication Critical patent/CN113987985A/zh
Application granted granted Critical
Publication of CN113987985B publication Critical patent/CN113987985B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F30/00—Computer-aided design [CAD]
    • G06F30/30—Circuit design
    • G06F30/32—Circuit design at the digital level
    • G06F30/337—Design optimisation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F30/00—Computer-aided design [CAD]
    • G06F30/30—Circuit design
    • G06F30/32—Circuit design at the digital level
    • G06F30/33—Design verification, e.g. functional simulation or model checking
    • G06F30/3308—Design verification, e.g. functional simulation or model checking using simulation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/06—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons
    • G06N3/063—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons using electronic means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2119/00—Details relating to the type or aim of the analysis or the optimisation
    • G06F2119/02—Reliability analysis or reliability optimisation; Failure analysis, e.g. worst case scenario performance, failure mode and effects analysis [FMEA]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2119/00—Details relating to the type or aim of the analysis or the optimisation
    • G06F2119/06—Power analysis or power optimisation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2119/00—Details relating to the type or aim of the analysis or the optimisation
    • G06F2119/08—Thermal analysis or thermal optimisation
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Hardware Design (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Artificial Intelligence (AREA)
  • Geometry (AREA)
  • Data Mining & Analysis (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Neurology (AREA)
  • Complex Calculations (AREA)

Abstract

一种基于忆阻器交叉阵列神经网络加速器热效应优化方法,包括：步骤一，建立快速温度分布计算模型：选取实际功率矩阵中的一点的脉冲功率除以体积得到脉冲热源值，将脉冲热源值输入进ANSYS软件中得到一个脉冲温度矩阵，最后将获取的脉冲温度矩阵和实际功率矩阵进行卷积后再除以脉冲功率便得到实际的温度分布矩阵；步骤二，建立MLP神经网络失效评估模型：将快速温度分布计算模型得到的实际温度T的分布矩阵应用在MLP神经网络失效评估模型中，得到MLP神经网络模型中实际温度T对权重值
Figure 347236DEST_PATH_IMAGE001
的影响；步骤三，离线热优化的MLP神经网络模型映射。本设计不仅优化忆阻器阵列的排布，而且减小温度上升对忆阻器所带来的影响，提高神经网络离线训练过程的精度。

Description

基于忆阻器交叉阵列神经网络加速器热效应优化方法
技术领域
本发明涉及一种基于忆阻器交叉阵列神经网络加速器热效应优化方法，具体适用于降低忆阻器热效应、提高忆阻器计算精度。
背景技术
近年随着神经网络的深入研究，其规模越来越大，为神经网络模型的计算系统带来巨大挑战，对传统的冯诺依曼架构也带来了挑战。而忆阻器能够在同一器件单元进行数据处理和存储功能，有望实现存储计算一体化结构，因此被广泛关注。忆阻器是电路元器件中的第四种基本单元，具有高集成度，能构建大规模的交叉阵列结构，忆阻器阵列具有模拟特性，它基于自身构建的交叉阵列的欧姆定律和基尔霍夫定律，能够并行的处理矩阵的向量乘加运算，大大缩短了时间。由于其高速和低成本的原因，忆阻器被广泛用于实现神经网络加速器的研究中。在训练过程中，能并行处理权重更新操作，显著减少了神经网络算法的训练时间。
虽然忆阻器已展现出很多优势，但一个问题也显露出来了，即热问题。忆阻器单元的热效应会严重降低基于忆阻器的加速器的计算精度。C.Walczyk发现在213～413K的环境温度范围内温度的变化会导致器件特性的变化，随着温度的升高，忆阻器的电导值也会相应改变，开态电导会显著降低，比值会降低一半，关态电导会有小幅度的增高。近两年来，这个问题逐渐引起了人们的关注。忆阻器电阻对热很敏感，而在运算的过程中器件可能会发热，导致温度变化，影响忆阻器单元的电导值，从而使得权值的映射过程有误差，影响计算精度。当连续工作时，累计的热会影响更多的阵列单元，越来越多的权值在推理的过程中被错误表示，使神经网络失去准确性。X.Liu等研究了由于热效应导致电导窗口的变化，从而引发基于忆阻器神经网络加速器准确率的影响。以四种神经网络结果为例，发现四种网络模型的准确率均降低了90％以上，极大的影响了忆阻器神经网络加速器的性能。因此解决热带来的影响也越发重要。
发明内容
本发明的目的是克服现有技术中存在的忆阻器发生热效应计算精度降低的问题，提供了一种降低电导提高精度的基于忆阻器交叉阵列神经网络加速器热效应优化方法
为实现以上目的，本发明的技术解决方案是：
一种基于忆阻器交叉阵列神经网络加速器热效应优化方法,包括如下步骤：
步骤一，建立快速温度分布计算模型：
首先自定义输入数据，将这些数据定义为功率值P得到实际功率矩阵，选取实际功率矩阵中的一点(x,y)的脉冲功率，利用脉冲功率除以体积得到脉冲热源值，然后将脉冲热源值输入进ANSYS软件中通过其有限元计算功能得到一个脉冲温度矩阵，最后将获取的脉冲温度矩阵和实际功率矩阵进行卷积运算再除以脉冲功率便得到实际的温度分布矩阵；
步骤二，建立MLP神经网络失效评估模型：将快速温度分布计算模型得到的实际温度T的分布矩阵应用在MLP神经网络失效评估模型中，得到MLP神经网络模型中实际温度T对权重值RON的影响；
步骤三，离线热优化的MLP神经网络模型映射，由向量矩阵的乘加运算特性可知，同时调整同一行的输入向量值和矩阵权重值的顺序并不影响向量矩阵乘计算结果，而在权值的映射过程中，对神经网络模型中输入值和模型权重值顺序进行调整，实现热的再分布，从而避免阵列结构内的局部异常高温，实现对热效应的优化；具体研究内容如下：
将步骤一热效应快速评估模型中得到的实际的温度T的分布矩阵利用贪婪算进行热行、冷行之间的交换，得到多个不同的换行方案，将交换后矩阵映射到离线状态下MLP神经网络中并求取忆阻器的精度值，选取最高精度值下对应的换行方案作为最优的映射方案。
所述步骤一，建立快速温度分布计算模型中，具体建立步骤如下：
首先自定义输入数据，将这些数据定义为功率值P得到实际功率矩阵，以解析计算方法求得忆阻器神经网络加速器准确的全域温度分布，同时确保与传统数值计算方法获得的温度分布的最大误差不超过5％；建立以下温度分布快速计算模型，如式(1)所示：
Figure BDA0003355334560000021
式中Tδ(x,y,τ)表示脉冲信号热作用下在τ时刻基于忆阻器的神经网络加速器内(x,y)位置处的温度值，功率矩阵P为已知量，P(x,y,τ)表示在τ时刻基于忆阻器的神经网络加速器内(x,y)位置处的功率,Pδ(τ)表示在τ时刻脉冲信号热的功率，τ表示系统达到稳态温度分布时所用的时间，在公式(1)中，当t等于τ时，则得到快速温度分布计算模型；
选取实际功率矩阵中的一点(x,y)的脉冲功率，利用脉冲功率除以体积得到脉冲热源值，然后将脉冲热源值输入进ANSYS软件中通过其有限元计算功能得到一个脉冲温度矩阵，最后将获取的脉冲温度矩阵和实际功率矩阵进行卷积运算再除以脉冲功率便得到实际的温度分布矩阵；
将脉冲温度矩阵与功率矩阵进行卷积后便是实际温度分布，式(1)表示，将脉冲温度矩阵与功率矩阵进行卷积除以脉冲功率值便可得到实际温度T的分布矩阵。
所述步骤一，建立快速温度分布计算模型中，选取实际功率矩阵中的一点(x,y)的脉冲功率时，选取的是矩阵的中心位置附近的点。
所述步骤一，建立快速温度分布计算模型中，将脉冲温度矩阵与功率矩阵进行卷积后便是实际温度分布，卷积过程相当于是加入一个探针，将实际温度分布除以脉冲功率值便可得到实际温度T的分布矩阵，而最后除以脉冲功率则是去探针的过程。
所述步骤二，建立MLP神经网络失效评估模型中：随着温度的逐渐升高，忆阻器关态电导会有微小幅度的增大，而开态电导会显著的降低，其比值减小一半；
导通状态下忆阻器电导主要由热电子行为决定，关断状态下忆阻器电导主要由隧穿行为决定，该输运机制下关断状态的忆阻器电导模型表示如下：
Figure BDA0003355334560000031
其中J0表示电流密度，V表示忆阻器两端的电势差，βPF＝(q3/πε0εr)1/2表示Poole-Frenkel系数，q指元电荷的电荷量，ε0表示真空介电常数，εr表示相对介电常数，T表示实际温度，k为玻尔兹曼常数，
Figure BDA0003355334560000032
表示氧空位相对于导带的能量差；可以将式(2)在常温T0＝300K位置处进行泰勒级数展开，去掉高阶项，得到低阶的忆阻器可靠性简化模型；
另一方面，通态电流随温度的变化而减小，但丝状路径内外的散射事件变得更加重要，故通态串联电阻用下式简化计算：
Figure BDA0003355334560000041
其中是温度
Figure BDA0003355334560000042
的电阻，ρ是温度系数，RON是通态串联电阻即权重值，T表示实际温度；与关闭状态相反，在没有连续的开关事件时，ρ＝3*10-21/K；说明通态电流随温度的变化与关态电流的变化不相关。
所述步骤三，离线热优化的MLP神经网络模型映射中，在离线状态下MLP神经网络中，发现将全连接层中的输入数据的行与相对应的权值行同时进行交换后，最后输出的结果值都是相等的，从而得知，在忆阻器阵列上将输入的电压信息行与权重映射为电导的单元行同时进行交换后对于整体的操作是没有任何影响的，而将阵列上的行交换又可以进一步的调整原本的热源位置，将原本集中的高温热源进行分散，便可以达到整体温度的降低，实现解决热所带来的精度损失问题；
借助交换行来直接降低整体的温度分布，行交换的判断的依据是整个行的温度，所以首先计算得到每一行的温度平均值，根据这些温度来确定高温和低温，而判别高温和低温的标准则是将所有的温度求取平均值，超过平均温度的则划分到高温范围，低于平均温度的划分到低温范围，然后再在高温范围和低温范围内继续划分，使温度的高低划分更细致；在这个基础上找到高温集中的单元行，即是连续高温的几行，将其划分为热类；相反，也可以找到低温集中的单元行，将其划分为冷类；收集和估计每个交叉条行的温度，当热位置比较集中时，可将冷行插入到热行之间，避免多个高温互相影响，从而实现整体降温。
所述步骤三，离线热优化的MLP神经网络模型映射中的贪婪算法，输入信息包括脉冲信号热作用下忆阻器阵列的稳态温度分布、神经网络的初始输入图片像素点和训练得到的神经网络的权值；首先根据求得每行阵列上的平均温度值找出最大温度值和最小温度值，求出平均值；初始化相关信息，设置两组数组，分布存储读取每行温度值和原始温度的行值；读取每一行的温度值，分别记录高温度的行值和低温度的行值，然后每行开始扫描，将高温行和低温行分别存入不同的数组里，当有两行或以上的温度值都是非常高的时候，便需要将低温度行插入在这几行中间，依次往后推，这样便把所有的高温行和低温行交错，使它们分散；最后将新的行的数值记录下来，新权重值按照新的温度行数值进行排列，得到输出。
与现有技术相比，本发明的有益效果为：
1、本发明一种基于忆阻器交叉阵列神经网络加速器热效应优化方法中根据MLP神经网络中同时交换输入行以及权值行对最后的结果没有影响的思路，提出了一个新的映射方法，即在密集的高温行中间插入低温行从而进行分散，可以将阵列上的整体温度分布降低，减小温度上升所带来的影响，提高神经网络离线训练过程的精度。
2、本发明一种基于忆阻器交叉阵列神经网络加速器热效应优化方法中的快速温度分布计算模型用来快速计算忆阻器阵列上的结构温度值，它是基于将温度与热的关系作为线性信号系统处理，将热作为输入，温度则为响应输出。将功率分布与系统真实的热分布进行时域上的卷积计算快速获得系统的真实温度分布的方法，这种方法在一定的误差容许范围内准确度很高，能够有效缩短运算时间。
3、本发明一种基于忆阻器交叉阵列神经网络加速器热效应优化方法中的MLP神经网络失效评估模型，分析在忆阻器上的热影响，已知忆阻器的开态电导与关态电导随着温度的升高而变化，导通状态下忆阻器电导主要由热电子行为决定，关断状态下忆阻器电导主要由隧穿行为决定。将建模而模拟得到电导与温度之间的关系，并将其添加引进忆阻器的映射关系中，这样可得到温度对忆阻器的影响，以及精度值的变化。
4、本发明一种基于忆阻器交叉阵列神经网络加速器热效应优化方法中的离线热优化的MLP神经网络模型映射利用贪婪算法将忆阻器上的热单元进行分散，使得整个阵列上的温度下降，从而降低精度损失。在基于忆阻器的神经网络结构的每个单元施加同样的温度后，发现一层明显比第二层对温度影响更加敏感，基于忆阻器的神经网络加速器的精度降低主要受MLP模型中前端层的影响。这个发现可以简化基于忆阻器的神经网络加速器的温度感知硬件优化设计，降低功耗。并在有温度影响后的忆阻器上进行了新的离线映射方法，将自定义的冷行插入多个连续的热行之间，从而达到分散高温行的效果，该方法可以将精度提升30％左右，优化效果明显。
附图说明
图1为本发明整体方法的结构框图。
图2为本发明所述热效应评估模型的基本框图。
图3为本发明模块功能关系图。
具体实施方式
以下结合附图说明和具体实施方式对本发明作进一步详细的说明。
参见图1至图3，一种基于忆阻器交叉阵列神经网络加速器热效应优化方法,包括如下步骤：
步骤一，建立快速温度分布计算模型：
首先自定义输入数据，将这些数据定义为功率值P得到实际功率矩阵，选取实际功率矩阵中的一点(x,y)的脉冲功率，利用脉冲功率除以体积得到脉冲热源值，然后将脉冲热源值输入进ANSYS软件中通过其有限元计算功能得到一个脉冲温度矩阵，最后将获取的脉冲温度矩阵和实际功率矩阵进行卷积运算再除以脉冲功率便得到实际的温度分布矩阵；
步骤二，建立MLP神经网络失效评估模型：将快速温度分布计算模型得到的实际温度T的分布矩阵应用在MLP神经网络失效评估模型中，得到MLP神经网络模型中实际温度T对权重值RON的影响；
步骤三，离线热优化的MLP神经网络模型映射，由向量矩阵的乘加运算特性可知，同时调整同一行的输入向量值和矩阵权重值的顺序并不影响向量矩阵乘计算结果，而在权值的映射过程中，对神经网络模型中输入值和模型权重值顺序进行调整，实现热的再分布，从而避免阵列结构内的局部异常高温，实现对热效应的优化；具体研究内容如下：
将步骤一热效应快速评估模型中得到的实际的温度T的分布矩阵利用贪婪算进行热行、冷行之间的交换，得到多个不同的换行方案，将交换后矩阵映射到离线状态下MLP神经网络中并求取忆阻器的精度值，选取最高精度值下对应的换行方案作为最优的映射方案。
所述步骤一，建立快速温度分布计算模型中，具体建立步骤如下：
首先自定义输入数据，将这些数据定义为功率值P得到实际功率矩阵，以解析计算方法求得忆阻器神经网络加速器准确的全域温度分布，同时确保与传统数值计算方法获得的温度分布的最大误差不超过5％；建立以下温度分布快速计算模型，如式(1)所示：
Figure BDA0003355334560000061
式中Tδ(x,y,τ)表示脉冲信号热作用下在τ时刻基于忆阻器的神经网络加速器内(x,y)位置处的温度值，功率矩阵P为已知量，P(x,y,τ)表示在τ时刻基于忆阻器的神经网络加速器内(x,y)位置处的功率,Pδ(τ)表示在τ时刻脉冲信号热的功率，τ表示系统达到稳态温度分布时所用的时间，在公式(1)中，当t等于τ时，则得到快速温度分布计算模型；
选取实际功率矩阵中的一点(x,y)的脉冲功率，利用脉冲功率除以体积得到脉冲热源值，然后将脉冲热源值输入进ANSYS软件中通过其有限元计算功能得到一个脉冲温度矩阵，最后将获取的脉冲温度矩阵和实际功率矩阵进行卷积运算再除以脉冲功率便得到实际的温度分布矩阵；
将脉冲温度矩阵与功率矩阵进行卷积后便是实际温度分布，式(1)表示，将脉冲温度矩阵与功率矩阵进行卷积除以脉冲功率值便可得到实际温度T的分布矩阵。
所述步骤一，建立快速温度分布计算模型中，选取实际功率矩阵中的一点(x,y)的脉冲功率时，选取的是矩阵的中心位置附近的点。
所述步骤一，建立快速温度分布计算模型中，将脉冲温度矩阵与功率矩阵进行卷积后便是实际温度分布，卷积过程相当于是加入一个探针，将实际温度分布除以脉冲功率值便可得到实际温度T的分布矩阵，而最后除以脉冲功率则是去探针的过程。
所述步骤二，建立MLP神经网络失效评估模型中：随着温度的逐渐升高，忆阻器关态电导会有微小幅度的增大，而开态电导会显著的降低，其比值减小一半；
导通状态下忆阻器电导主要由热电子行为决定，关断状态下忆阻器电导主要由隧穿行为决定，该输运机制下关断状态的忆阻器电导模型表示如下：
Figure BDA0003355334560000071
其中J0表示电流密度，V表示忆阻器两端的电势差，βPF＝(q3/πε0εr)1/2表示Poole-Frenkel系数，q指元电荷的电荷量，ε0表示真空介电常数，εr表示相对介电常数，T表示实际温度，k为玻尔兹曼常数，
Figure BDA0003355334560000072
表示氧空位相对于导带的能量差；可以将式(2)在常温T0＝300K位置处进行泰勒级数展开，去掉高阶项，得到低阶的忆阻器可靠性简化模型；
另一方面，通态电流随温度的变化而减小，但丝状路径内外的散射事件变得更加重要，故通态串联电阻用下式简化计算：
Figure BDA0003355334560000081
其中是温度
Figure BDA0003355334560000082
的电阻，ρ是温度系数，RON是通态串联电阻即权重值，T表示实际温度；与关闭状态相反，在没有连续的开关事件时，ρ＝3*10-21/K；说明通态电流随温度的变化与关态电流的变化不相关。
所述步骤三，离线热优化的MLP神经网络模型映射中，在离线状态下MLP神经网络中，发现将全连接层中的输入数据的行与相对应的权值行同时进行交换后，最后输出的结果值都是相等的，从而得知，在忆阻器阵列上将输入的电压信息行与权重映射为电导的单元行同时进行交换后对于整体的操作是没有任何影响的，而将阵列上的行交换又可以进一步的调整原本的热源位置，将原本集中的高温热源进行分散，便可以达到整体温度的降低，实现解决热所带来的精度损失问题；
借助交换行来直接降低整体的温度分布，行交换的判断的依据是整个行的温度，所以首先计算得到每一行的温度平均值，根据这些温度来确定高温和低温，而判别高温和低温的标准则是将所有的温度求取平均值，超过平均温度的则划分到高温范围，低于平均温度的划分到低温范围，然后再在高温范围和低温范围内继续划分，使温度的高低划分更细致；在这个基础上找到高温集中的单元行，即是连续高温的几行，将其划分为热类；相反，也可以找到低温集中的单元行，将其划分为冷类；收集和估计每个交叉条行的温度，当热位置比较集中时，可将冷行插入到热行之间，避免多个高温互相影响，从而实现整体降温。
所述步骤三，离线热优化的MLP神经网络模型映射中的贪婪算法，输入信息包括脉冲信号热作用下忆阻器阵列的稳态温度分布、神经网络的初始输入图片像素点和训练得到的神经网络的权值；首先根据求得每行阵列上的平均温度值找出最大温度值和最小温度值，求出平均值；初始化相关信息，设置两组数组，分布存储读取每行温度值和原始温度的行值；读取每一行的温度值，分别记录高温度的行值和低温度的行值，然后每行开始扫描，将高温行和低温行分别存入不同的数组里，当有两行或以上的温度值都是非常高的时候，便需要将低温度行插入在这几行中间，依次往后推，这样便把所有的高温行和低温行交错，使它们分散；最后将新的行的数值记录下来，新权重值按照新的温度行数值进行排列，得到输出。
本发明的原理说明如下：
Poole-Frenkel系数为蒲尔-弗朗克系数。
多层感知机(Multi-layer Perception,MLP)神经网络。
有限元分析模型(FEA)：完全使用有限元软件ANSYS进行温度仿真。有限元分析是利用数学近似的方法来对集合进行模拟，利用傅里叶传导方程通过已知的热源来进行求解，便可求得近似温度分布。对于矩阵温度求解而言，FEA需要知道每个位置的热源，从而通过软件的近似求解获得温度分布，即式(4)中的FEA(x，y)。
而快速温度分布计算模型只需要选取矩阵中的某一点脉冲功率利用脉冲功率除以体积得到脉冲热源值，然后将脉冲能量输入进ANSYS软件中，得到一个脉冲温度矩阵。一般选取的是中心位置，因为在做卷积运算求值的时候会更加均匀。获取的脉冲温度矩阵和实际功率矩阵进行卷积运算再除以脉冲功率便得到实际的温度分布矩阵。即式(4)的RTS(x，y)
为了验证本发明快速温度分布计算模型的准确性，将快速温度分布计算模型的结果与ANSYS自带的有限元分析结果进行了对比，将这两者的温度结果值进行比较，并求其误差值，将其误差定义为：
Figure BDA0003355334560000091
其中RTS(x,y)是由本发明提出的模型预测的元件(x,y)的温度，FEA(x,y)是由有限元软件ANSYS预测的该元件上的温度；
因为忆阻器的环境温度变化一般在300K～400K，因此为了确保模型可以在不同温度变化里都合适，在不同的温度下对模型进行了实验，结果发现温度是与热有关的。通过改变功率值可以改变温度，可以得到不同温度下的实验所对应的结果。发现可以看出RTS的温度比FEA的温度略小一点，非常接近，误差最大在1K之间，表明本发明采用的快速温度分布计算模型是合适的。
本发明提供的基于忆阻器交叉阵列的神经网络加速器热效应方法，所述方法包括：基于C++编写的仿真平台，是一个能够满足整体工作的一个基于忆阻器神经网络的仿真平台，设计了MLP感知机神经网络模型，通过仿真得到阵列中电导与权值映射的关系，获得基于忆阻器阵列的离线以及在线训练结果；设计一种快速热效应评估模型，基于信号与系统的基本原理得到实际的温度分布，建立其计算模型，根据脉冲温度分布和功率间的卷积能够快速并精确的由热和功率求得温度矩阵。对忆阻器的热影响进行评估，将热影响添加进网络模型中，研究温度对基于忆阻器的神经形态结构的影响，并发现了温度变化对计算精度的负面影响。利用此模型在离线训练的过程中求得基于忆阻器的温度分布，同时也将实际的温度分布添加进网络结构中，找到两层神经网络MLP的精度变化趋势。研究了加速器中不同神经网络层的温度升高对计算精度的影响，提出新的映射方法，即交换忆阻器阵列上的行，将原本温度较低的阵列单元行数据插入到温度较高的阵列单元行之间，从而降低温度影响引起的计算精度损失。在仿真平台上采用算法实现以上操作，将温度感知的神经网络权值映射方案应用于最敏感的温度层；最后实现了精度的提升。
实施例1：
一种基于忆阻器交叉阵列神经网络加速器热效应优化方法,包括如下步骤：
步骤一，建立快速温度分布计算模型：
首先自定义输入数据，将这些数据定义为功率值P得到实际功率矩阵，选取实际功率矩阵中的一点(x,y)的脉冲功率，利用脉冲功率除以体积得到脉冲热源值，然后将脉冲热源值输入进ANSYS软件中通过其有限元计算功能得到一个脉冲温度矩阵，最后将获取的脉冲温度矩阵和实际功率矩阵进行卷积运算再除以脉冲功率便得到实际的温度分布矩阵；
步骤二，建立MLP神经网络失效评估模型：将快速温度分布计算模型得到的实际温度T的分布矩阵应用在MLP神经网络失效评估模型中，得到MLP神经网络模型中实际温度T对权重值RON的影响；
步骤三，离线热优化的MLP神经网络模型映射，由向量矩阵的乘加运算特性可知，同时调整同一行的输入向量值和矩阵权重值的顺序并不影响向量矩阵乘计算结果，而在权值的映射过程中，对神经网络模型中输入值和模型权重值顺序进行调整，实现热的再分布，从而避免阵列结构内的局部异常高温，实现对热效应的优化；具体研究内容如下：
将步骤一热效应快速评估模型中得到的实际的温度T的分布矩阵利用贪婪算进行热行、冷行之间的交换，得到多个不同的换行方案，将交换后矩阵映射到离线状态下MLP神经网络中并求取忆阻器的精度值，选取最高精度值下对应的换行方案作为最优的映射方案。
实施例2：
实施例2与实施例1基本相同，其不同之处在于：
所述步骤一，建立快速温度分布计算模型中，具体建立步骤如下：
首先自定义输入数据，将这些数据定义为功率值P得到实际功率矩阵，以解析计算方法求得忆阻器神经网络加速器准确的全域温度分布，同时确保与传统数值计算方法获得的温度分布的最大误差不超过5％；建立以下温度分布快速计算模型，如式(1)所示：
Figure BDA0003355334560000111
式中Tδ(x,y,τ)表示脉冲信号热作用下在τ时刻基于忆阻器的神经网络加速器内(x,y)位置处的温度值，功率矩阵P为已知量，P(x,y,τ)表示在τ时刻基于忆阻器的神经网络加速器内(x,y)位置处的功率,Pδ(τ)表示在τ时刻脉冲信号热的功率，τ表示系统达到稳态温度分布时所用的时间，在公式(1)中，当t等于τ时，则得到快速温度分布计算模型；
选取实际功率矩阵中的一点(x,y)的脉冲功率，利用脉冲功率除以体积得到脉冲热源值，然后将脉冲热源值输入进ANSYS软件中通过其有限元计算功能得到一个脉冲温度矩阵，最后将获取的脉冲温度矩阵和实际功率矩阵进行卷积运算再除以脉冲功率便得到实际的温度分布矩阵；
将脉冲温度矩阵与功率矩阵进行卷积后便是实际温度分布，式(1)表示，将脉冲温度矩阵与功率矩阵进行卷积除以脉冲功率值便可得到实际温度T的分布矩阵。
所述步骤一，建立快速温度分布计算模型中，选取实际功率矩阵中的一点(x,y)的脉冲功率时，选取的是矩阵的中心位置附近的点。
所述步骤一，建立快速温度分布计算模型中，将脉冲温度矩阵与功率矩阵进行卷积后便是实际温度分布，卷积过程相当于是加入一个探针，将实际温度分布除以脉冲功率值便可得到实际温度T的分布矩阵，而最后除以脉冲功率则是去探针的过程。
所述步骤二，建立MLP神经网络失效评估模型中：随着温度的逐渐升高，忆阻器关态电导会有微小幅度的增大，而开态电导会显著的降低，其比值减小一半；
导通状态下忆阻器电导主要由热电子行为决定，关断状态下忆阻器电导主要由隧穿行为决定，该输运机制下关断状态的忆阻器电导模型表示如下：
Figure BDA0003355334560000121
其中J0表示电流密度，V表示忆阻器两端的电势差，βPF＝(q3/πε0εr)1/2表示Poole-Frenkel系数，q指元电荷的电荷量，ε0表示真空介电常数，εr表示相对介电常数，T表示实际温度，k为玻尔兹曼常数，
Figure BDA0003355334560000122
表示氧空位相对于导带的能量差；可以将式(2)在常温T0＝300K位置处进行泰勒级数展开，去掉高阶项，得到低阶的忆阻器可靠性简化模型；
另一方面，通态电流随温度的变化而减小，但丝状路径内外的散射事件变得更加重要，故通态串联电阻用下式简化计算：
Figure BDA0003355334560000123
其中是温度
Figure BDA0003355334560000124
的电阻，ρ是温度系数，RON是通态串联电阻即权重值，T表示实际温度；与关闭状态相反，在没有连续的开关事件时，ρ＝3*10-21/K；说明通态电流随温度的变化与关态电流的变化不相关。
所述步骤三，离线热优化的MLP神经网络模型映射中，在离线状态下MLP神经网络中，发现将全连接层中的输入数据的行与相对应的权值行同时进行交换后，最后输出的结果值都是相等的，从而得知，在忆阻器阵列上将输入的电压信息行与权重映射为电导的单元行同时进行交换后对于整体的操作是没有任何影响的，而将阵列上的行交换又可以进一步的调整原本的热源位置，将原本集中的高温热源进行分散，便可以达到整体温度的降低，实现解决热所带来的精度损失问题；
借助交换行来直接降低整体的温度分布，行交换的判断的依据是整个行的温度，所以首先计算得到每一行的温度平均值，根据这些温度来确定高温和低温，而判别高温和低温的标准则是将所有的温度求取平均值，超过平均温度的则划分到高温范围，低于平均温度的划分到低温范围，然后再在高温范围和低温范围内继续划分，使温度的高低划分更细致；在这个基础上找到高温集中的单元行，即是连续高温的几行，将其划分为热类；相反，也可以找到低温集中的单元行，将其划分为冷类；收集和估计每个交叉条行的温度，当热位置比较集中时，可将冷行插入到热行之间，避免多个高温互相影响，从而实现整体降温。
所述步骤三，离线热优化的MLP神经网络模型映射中的贪婪算法，输入信息包括脉冲信号热作用下忆阻器阵列的稳态温度分布、神经网络的初始输入图片像素点和训练得到的神经网络的权值；首先根据求得每行阵列上的平均温度值找出最大温度值和最小温度值，求出平均值；初始化相关信息，设置两组数组，分布存储读取每行温度值和原始温度的行值；读取每一行的温度值，分别记录高温度的行值和低温度的行值，然后每行开始扫描，将高温行和低温行分别存入不同的数组里，当有两行或以上的温度值都是非常高的时候，便需要将低温度行插入在这几行中间，依次往后推，这样便把所有的高温行和低温行交错，使它们分散；最后将新的行的数值记录下来，新权重值按照新的温度行数值进行排列，得到输出。
实施例3：
实施例3与实施例2基本相同，其不同之处在于：
本发明的基于忆阻器交叉阵列的神经网络加速器热效应方法，包括如下步骤：
在模型部分借鉴“功率模糊”快速温度计算方法来快速建立温度分布计算模型，主要思路如下：热和温度分布之间的关系用线性信号系统处理的方法将热作为输入值，相应的温度分布则为响应输出。而信号与系统的基本原理表示线性系统的输出可以当成输入与脉冲信号响应之间的时域卷积过程。因为传统的方法是通过精细的数值计算在所有的热源上，这样会导致耗时过长，而本发明提出的模型使用的方法只需要先计算出具有脉冲信号热的温度分布，再将其与实际功率分布在时域上卷积计算，时间上会比传统方法有很大的降低。
该思路成立的前提是“热导致温度分布可作为线性系统处理”。这一假设在忆阻器神经网络加速器的实际应用中是成立的。由傅里叶热传导方程可知，在热不变的情况下，系统内的温度分布是由热导率所决定的。在目前集成电路最严苛的军标温度范围-55℃～125℃(约220K～400K)内，半导体材料的热导率与温度呈现的是1～2次方关系，可知这一温度范围内热导率并没有温度的高阶项关系。而在本发明中仅研究基于忆阻器的神经网络加速器在300K～400K范围内的情况，所以作为线性系统处理是合理的。
具体研究内容包括：
(1)建立快速温度分布计算模型。以解析计算方法求得忆阻器神经网络加速器准确的全域温度分布，同时确保与传统数值计算方法获得的温度分布的最大误差不超过5％。
因此，可以建立以下温度分布快速计算模型，如式(1)所示。
Figure BDA0003355334560000141
式中Tδ(x,y,τ)表示脉冲信号热作用下在τ时刻基于忆阻器的神经网络加速器内(x,y)位置处的温度值；P(x,y,τ)表示在τ时刻基于忆阻器的神经网络加速器内(x,y)位置处的功率；Pδ(τ)表示在τ时刻脉冲信号热的功率；τ表示系统达到稳态温度分布时所用的时间。在公式(1)中，当t等于τ时，则得到快速温度分布计算模型。
具体步骤如图2所示，首先自定义输入数据，将这些数据定义为功率值，并选取其中的某一点脉冲功率利用脉冲功率除以体积得到脉冲热源值，一般选取的是中心位置，因为在后续做卷积运算求值的时候会更加均匀。然后将脉冲能量输入进ANSYS软件中，可以得到一个脉冲温度矩阵，ANSYS有限元分析是利用数学近似的方法来对集合进行模拟，可用简单的问题来代替复杂的问题从而进行求解，温度求取可用这个软件实现。最后获取的脉冲温度矩阵和实际功率矩阵进行卷积运算再除以脉冲功率便得到实际的温度分布。卷积过程相当于是加入一个探针，而最后除以脉冲功率则是去探针的过程。
脉冲温度是将脉冲能量输入进ANSYS软件中，利用软件的有限元计算得到一个脉冲温度矩阵。
功率矩阵则是利用现有的忆阻器阵列上的输入电压值以及权值映射的电导值计算得到的结果，它是一个矩阵分布，与脉冲温度的大小一致。
将脉冲温度与功率矩阵进行卷积后便是实际温度分布。根据式(1)表示，将脉冲温度矩阵与功率矩阵进行卷积除以脉冲功率值便可得到实际的温度分布。
(2)建立可靠性简化模型。对已有的完整可靠性模型进行简化处理，该简化模型仅反应与宏观参数的关系，并实现在300～400K的窄温范围与完整可靠性模型计算结果的最大误差不超过5％。
为了验证本发明模型的准确性，将这个模型的结果与ANSYS自带的有限元分析结果进行了对比。将这两者的温度结果值进行比较，并求其误差值，将其误差定义为：
Figure BDA0003355334560000151
其中RTS(x,y)是由本发明提出的模型预测的元件(x,y)的温度，FEA(x,y)是由有限元软件ANSYS预测的该元件上的温度。
因为忆阻器的环境温度变化一般在300K～400K，因此为了确保模型可以在不同温度变化里都合适，在不同的温度下对模型进行了实验，结果发现温度是与热有关的。通过改变功率值可以改变温度，可以得到不同温度下的实验所对应的结果。发现可以看出RTS的温度比FEA的温度略小一点，非常接近，误差最大在1K之间，表明本发明采用的模型是合适的。
(3)建立神经网络失效评估模型。分析神经网络模型权重值与模型计算准确率的关系。
C.Walczyk研究了主流的TiN/HfO2/Ti/TiN型忆阻器在213～413K环境温度条件下器件特性的变化情况。发现随着温度的逐渐升高，忆阻器关态电导会有微小幅度的增大，而开态电导会显著的降低，其比值减小一半。这个现象将会引发忆阻器在多值应用中严重的计算错误。同时研究了在四种不同的网络结构中精度的损失。这些“热”挑战将严重降低忆阻器神经网络加速器的性能。
导通状态下忆阻器电导主要由热电子行为决定，关断状态下忆阻器电导主要由隧穿行为决定。该输运机制下关断状态的忆阻器电导模型表示如下：
Figure BDA0003355334560000152
其中J0表示电流密度，V表示忆阻器两端的电势差。βPF＝(q3/πε0εr)1/2表示Poole-Frenkel系数，q指元电荷的电荷量，ε0表示真空介电常数，εr表示相对介电常数，T表示温度，k为玻尔兹曼常数，Φ表示氧空位相对于导带的能量差。可以将式(3)在常温T0＝300K位置处进行泰勒级数展开，去掉高阶项，得到低阶的忆阻器可靠性简化模型。
另一方面，通态电流随温度的变化而减小。这与前面的叙述一致，但丝状路径内外的散射事件变得更加重要，不可忽视。
通态串联电阻用下式(4)简化计算
Figure BDA0003355334560000161
其中是温度
Figure BDA0003355334560000162
的电阻，ρ是温度系数。值得注意的是，与观察到的关闭状态相反，在没有连续的开关事件时，ρ＝3*10-21/K。这说明通态电流随温度的变化与关态电流的变化不相关。
由向量矩阵的乘加运算特性可知，同时调整同一行的输入向量值和矩阵权重值的顺序并不影响向量矩阵乘计算结果。而在权值的映射过程中，对神经网络模型中输入值和模型权重值顺序进行调整，实现热的再分布，从而避免阵列结构内的局部异常高温，实现对热效应的优化。具体研究内容如下：
(1)面向离线热优化的神经网络模型映射方法。利用热效应快速评估模型，结合温度、权重值等有效信息，以小规模神经网络模型举例，对Ann(n为输入的个数)种映射方案进行枚举，统计各方案下忆阻器神经网络加速器的热效应及计算准确率，确定最优映射方案。
在MLP网络中，发现将全连接层中的输入数据的行与相对应的权值行同时进行交换后，最后输出的结果值都是相等的，从而得知，在忆阻器阵列上将输入的电压信息行与权重映射为电导的单元行同时进行交换后对于整体的操作是没有任何影响的，而将阵列上的行交换又可以进一步的调整原本的热源位置，将原本集中的高温热源进行分散，便可以达到整体温度的降低，实现解决热所带来的精度损失问题。
该方法借鉴了Sumed Weight Variations(SWV)的思路，SWV是为了避免热单元与影响较大的权值映射，而本发明的思路则是借助交换行来直接降低整体的温度分布，因为进行的是行交换，判断的依据是整个行的温度，用每行的平均温度来进行判断，所以首先计算得到每一行的温度平均值，根据这些温度来确定高温和低温，而判别高温和低温的标准则是将所有的温度求取平均值，超过平均温度的则划分到高温范围，低于平均温度的划分到低温范围，然后再在高温范围和低温范围内继续划分，使温度的高低划分更细致。在这个基础上找到温度较高的单元，特别是连续高温的几行。将其划分为热类；相反，也可以找到温度较低的单元行，将其划分为冷类。收集和估计每个交叉条行的温度，当热位置比较集中时，可将冷行插入到这些热行之间，避免多个高温互相影响，从而实现整体降温。
(2)离线网络模型高效映射算法研究。理论上枚举所有种映射方案的研究方法仅适用于小规模神经网络模型。需要设计高效的映射算法以使离线优化方案适用于大规模神经网络模型。
本发明在算法上所用到的是贪婪算法，输入信息包括脉冲信号热作用下忆阻器阵列的稳态温度分布、神经网络的初始输入图片像素点和训练得到的神经网络的权值。首先根据求得每行阵列上的平均温度值找出最大温度值和最小温度值，求出平均值。初始化相关信息，设置两组数组，分布存储读取每行温度值和原始温度的行值。读取每一行的温度值，分别记录高温度的行值和低温度的行值，然后每行开始扫描，将高温行和低温行分别存入不同的数组里，当有两行或以上的温度值都是非常高的时候，便需要将低温度行插入在这几行中间，依次往后推，这样便把所有的高温行和低温行交错，使它们分散。最后将新的行的数值记录下来，新权重值按照新的温度行数值进行排列，得到输出。
所提出的映射方案可以有效地将多行连续高温的单元分开，当实际的温度影响施加在整个网络结构后，会导致精度下降到44.82％，而通过贪婪算法确定的最优映射方案运行后得到的精度值可以提升至73.77％。虽然达不到理想情况，但有效提高了系统的计算精度。
参阅图3，其为本发明系统的功能模块图，在实例中，完整的基于忆阻器交叉阵列的神经网络加速器热效应优化方法可以分成三个模块，共同协作完成本发明。在图3中，分别是热效应评估模块、热影响模块以及离线优化模块。本发明所述的模块是指在整个工作中的执行过程。
热效应评估模块，对应快速温度分布计算模型，用于获取温度分布，由快速温度分布计算模型和基于物理可靠性模型构成，用来快速计算忆阻器阵列上的结构温度值，所用的方法是线性卷积，借助信号与系统的基本原理，并且在可靠性模型中进行多次的对比实验验证了模型的准确性，在一定的误差容许范围内准确度很高，但时间上有很大的提升。
热影响模块，对应MLP神经网络失效评估模型，分析在忆阻器上的热影响，已知忆阻器的开态电导与关态电导随着温度的升高而变化，导通状态下忆阻器电导主要由热电子行为决定，关断状态下忆阻器电导主要由隧穿行为决定。将建模而模拟得到电导与温度之间的关系，并将其添加引进忆阻器的映射关系中，这样可得到温度对忆阻器的影响，以及精度值的变化。
离线优化模块，对应离线热优化的MLP神经网络模型映射，利用贪婪算法将忆阻器上的热单元进行分散，使得整个阵列上的温度下降，从而降低精度损失。在基于忆阻器的神经网络结构的每个单元施加同样的温度后，发现一层明显比第二层对温度影响更加敏感，基于忆阻器的神经网络加速器的精度降低主要受MLP模型中第一层的影响。这个发现可以简化基于忆阻器的神经网络加速器的温度感知硬件优化设计，降低功耗。并在有温度影响后的忆阻器上进行了新的离线映射方法，将自定义的冷行插入多个连续的热行之间，从而达到分散高温行的效果，该方法可以将精度提升30％左右，优化效果明显。

Claims (7)

1.一种基于忆阻器交叉阵列神经网络加速器热效应优化方法,其特征在于：
所述神经网络加速器热效应方法包括如下步骤：
步骤一，建立快速温度分布计算模型：
首先自定义输入数据，将这些数据定义为功率值P得到实际功率矩阵，选取实际功率矩阵中的一点(x,y)的脉冲功率，利用脉冲功率除以体积得到脉冲热源值，然后将脉冲热源值输入进ANSYS软件中通过其有限元计算功能得到一个脉冲温度矩阵，最后将获取的脉冲温度矩阵和实际功率矩阵进行卷积运算再除以脉冲功率便得到实际的温度分布矩阵；
步骤二，建立MLP神经网络失效评估模型：将快速温度分布计算模型得到的实际温度T的分布矩阵应用在MLP神经网络失效评估模型中，得到MLP神经网络模型中实际温度T对权重值RON的影响；
步骤三，离线热优化的MLP神经网络模型映射，由向量矩阵的乘加运算特性可知，同时调整同一行的输入向量值和矩阵权重值的顺序并不影响向量矩阵乘计算结果，而在权值的映射过程中，对神经网络模型中输入值和模型权重值顺序进行调整，实现热的再分布，从而避免阵列结构内的局部异常高温，实现对热效应的优化；具体研究内容如下：
将步骤一热效应快速评估模型中得到的实际的温度T的分布矩阵利用贪婪算进行热行、冷行之间的交换，得到多个不同的换行方案，将交换后矩阵映射到离线状态下MLP神经网络中并求取忆阻器的精度值，选取最高精度值下对应的换行方案作为最优的映射方案。
2.根据权利要求1所述的一种基于忆阻器交叉阵列神经网络加速器热效应优化方法,其特征在于：
所述步骤一，建立快速温度分布计算模型中，具体建立步骤如下：
首先自定义输入数据，将这些数据定义为功率值P得到实际功率矩阵，以解析计算方法求得忆阻器神经网络加速器准确的全域温度分布，同时确保与传统数值计算方法获得的温度分布的最大误差不超过5％；建立以下温度分布快速计算模型，如式(1)所示：
Figure FDA0003355334550000021
式中Tδ(x,y,τ)表示脉冲信号热作用下在τ时刻基于忆阻器的神经网络加速器内(x,y)位置处的温度值，功率矩阵P为已知量，P(x,y,τ)表示在τ时刻基于忆阻器的神经网络加速器内(x,y)位置处的功率,Pδ(τ)表示在τ时刻脉冲信号热的功率，τ表示系统达到稳态温度分布时所用的时间，在公式(1)中，当t等于τ时，则得到快速温度分布计算模型；
选取实际功率矩阵中的一点(x,y)的脉冲功率，利用脉冲功率除以体积得到脉冲热源值，然后将脉冲热源值输入进ANSYS软件中通过其有限元计算功能得到一个脉冲温度矩阵，最后将获取的脉冲温度矩阵和实际功率矩阵进行卷积运算再除以脉冲功率便得到实际的温度分布矩阵；
将脉冲温度矩阵与功率矩阵进行卷积后便是实际温度分布，式(1)表示，将脉冲温度矩阵与功率矩阵进行卷积除以脉冲功率值便可得到实际温度T的分布矩阵。
3.根据权利要求2所述的一种基于忆阻器交叉阵列神经网络加速器热效应优化方法,其特征在于：
所述步骤一，建立快速温度分布计算模型中，选取实际功率矩阵中的一点(x,y)的脉冲功率时，选取的是矩阵的中心位置附近的点。
4.根据权利要求2所述的一种基于忆阻器交叉阵列神经网络加速器热效应优化方法,其特征在于：
所述步骤一，建立快速温度分布计算模型中，将脉冲温度矩阵与功率矩阵进行卷积后便是实际温度分布，卷积过程相当于是加入一个探针，将实际温度分布除以脉冲功率值便可得到实际温度T的分布矩阵，而最后除以脉冲功率则是去探针的过程。
5.根据权利要求2、3或4所述的一种基于忆阻器交叉阵列神经网络加速器热效应优化方法,其特征在于：
所述步骤二，建立MLP神经网络失效评估模型中：随着温度的逐渐升高，忆阻器关态电导会有微小幅度的增大，而开态电导会显著的降低，其比值减小一半；
导通状态下忆阻器电导主要由热电子行为决定，关断状态下忆阻器电导主要由隧穿行为决定，该输运机制下关断状态的忆阻器电导模型表示如下：
Figure FDA0003355334550000031
其中J0表示电流密度，V表示忆阻器两端的电势差，βPF＝(q3/πε0εr)1/2表示Poole-Frenkel系数，q指元电荷的电荷量，ε0表示真空介电常数，εr表示相对介电常数，T表示实际温度，k为玻尔兹曼常数，
Figure FDA0003355334550000032
表示氧空位相对于导带的能量差；可以将式(2)在常温T0＝300K位置处进行泰勒级数展开，去掉高阶项，得到低阶的忆阻器可靠性简化模型；
另一方面，通态电流随温度的变化而减小，但丝状路径内外的散射事件变得更加重要，故通态串联电阻用下式简化计算：
Figure FDA0003355334550000033
其中是温度
Figure FDA0003355334550000034
的电阻，ρ是温度系数，RON是通态串联电阻即权重值，T表示实际温度；与关闭状态相反，在没有连续的开关事件时，ρ＝3*10-21/K；说明通态电流随温度的变化与关态电流的变化不相关。
6.根据权利要求5所述的一种基于忆阻器交叉阵列神经网络加速器热效应优化方法,其特征在于：
所述步骤三，离线热优化的MLP神经网络模型映射中，在离线状态下MLP神经网络中，发现将全连接层中的输入数据的行与相对应的权值行同时进行交换后，最后输出的结果值都是相等的，从而得知，在忆阻器阵列上将输入的电压信息行与权重映射为电导的单元行同时进行交换后对于整体的操作是没有任何影响的，而将阵列上的行交换又可以进一步的调整原本的热源位置，将原本集中的高温热源进行分散，便可以达到整体温度的降低，实现解决热所带来的精度损失问题；
借助交换行来直接降低整体的温度分布，行交换的判断的依据是整个行的温度，所以首先计算得到每一行的温度平均值，根据这些温度来确定高温和低温，而判别高温和低温的标准则是将所有的温度求取平均值，超过平均温度的则划分到高温范围，低于平均温度的划分到低温范围，然后再在高温范围和低温范围内继续划分，使温度的高低划分更细致；在这个基础上找到高温集中的单元行，即是连续高温的几行，将其划分为热类；相反，也可以找到低温集中的单元行，将其划分为冷类；收集和估计每个交叉条行的温度，当热位置比较集中时，可将冷行插入到热行之间，避免多个高温互相影响，从而实现整体降温。
7.根据权利要求6所述的一种基于忆阻器交叉阵列神经网络加速器热效应优化方法,其特征在于：
所述步骤三，离线热优化的MLP神经网络模型映射中的贪婪算法，输入信息包括脉冲信号热作用下忆阻器阵列的稳态温度分布、神经网络的初始输入图片像素点和训练得到的神经网络的权值；首先根据求得每行阵列上的平均温度值找出最大温度值和最小温度值，求出平均值；初始化相关信息，设置两组数组，分布存储读取每行温度值和原始温度的行值；读取每一行的温度值，分别记录高温度的行值和低温度的行值，然后每行开始扫描，将高温行和低温行分别存入不同的数组里，当有两行或以上的温度值都是非常高的时候，便需要将低温度行插入在这几行中间，依次往后推，这样便把所有的高温行和低温行交错，使它们分散；最后将新的行的数值记录下来，新权重值按照新的温度行数值进行排列，得到输出。
CN202111349327.6A 2021-11-15 2021-11-15 基于忆阻器交叉阵列神经网络加速器热效应优化方法 Active CN113987985B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111349327.6A CN113987985B (zh) 2021-11-15 2021-11-15 基于忆阻器交叉阵列神经网络加速器热效应优化方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111349327.6A CN113987985B (zh) 2021-11-15 2021-11-15 基于忆阻器交叉阵列神经网络加速器热效应优化方法

Publications (2)

Publication Number Publication Date
CN113987985A true CN113987985A (zh) 2022-01-28
CN113987985B CN113987985B (zh) 2024-04-16

Family

ID=79748584

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111349327.6A Active CN113987985B (zh) 2021-11-15 2021-11-15 基于忆阻器交叉阵列神经网络加速器热效应优化方法

Country Status (1)

Country Link
CN (1) CN113987985B (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114399037A (zh) * 2022-03-24 2022-04-26 之江实验室 基于忆阻器的卷积神经网络加速器核心的模拟方法及装置
CN114463161A (zh) * 2022-04-12 2022-05-10 之江实验室 一种基于忆阻器的神经网络处理连续图像的方法和装置
CN115951584A (zh) * 2023-02-09 2023-04-11 浙江上洋机械股份有限公司 用于滚筒杀青机的温度控制系统及方法
CN117371315A (zh) * 2023-10-09 2024-01-09 河海大学 一种模型预测精度的特征智能处理方法与系统

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20180114569A1 (en) * 2016-03-11 2018-04-26 Hewlett Packard Enterprise Development Lp Hardware accelerators for calculating node values of neural networks
US20200193300A1 (en) * 2018-12-18 2020-06-18 Hewlett Packard Enterprise Development Lp Systems for introducing memristor random telegraph noise in hopfield neural networks
US20200334523A1 (en) * 2019-04-17 2020-10-22 Hewlett Packard Enterprise Development Lp Systems and methods for harnessing analog noise in efficient optimization problem accelerators
CN112183739A (zh) * 2020-11-02 2021-01-05 中国科学技术大学 基于忆阻器的低功耗脉冲卷积神经网络的硬件架构
US10970441B1 (en) * 2018-02-26 2021-04-06 Washington University System and method using neural networks for analog-to-information processors
US20210125667A1 (en) * 2019-10-29 2021-04-29 Hewlett Packard Enterprise Development Lp Methods and systems for highly optimized memristor write process
CN113407258A (zh) * 2021-07-05 2021-09-17 武汉理工大学 一种存算一体架构的自适应资源配置布局布线方法及系统

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20180114569A1 (en) * 2016-03-11 2018-04-26 Hewlett Packard Enterprise Development Lp Hardware accelerators for calculating node values of neural networks
US10970441B1 (en) * 2018-02-26 2021-04-06 Washington University System and method using neural networks for analog-to-information processors
US20200193300A1 (en) * 2018-12-18 2020-06-18 Hewlett Packard Enterprise Development Lp Systems for introducing memristor random telegraph noise in hopfield neural networks
US20200334523A1 (en) * 2019-04-17 2020-10-22 Hewlett Packard Enterprise Development Lp Systems and methods for harnessing analog noise in efficient optimization problem accelerators
US20210125667A1 (en) * 2019-10-29 2021-04-29 Hewlett Packard Enterprise Development Lp Methods and systems for highly optimized memristor write process
CN112183739A (zh) * 2020-11-02 2021-01-05 中国科学技术大学 基于忆阻器的低功耗脉冲卷积神经网络的硬件架构
CN113407258A (zh) * 2021-07-05 2021-09-17 武汉理工大学 一种存算一体架构的自适应资源配置布局布线方法及系统

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
MENGJUN SHANG: "Degradation analysis and optimization of temperature effect on MEMRISTOR-based Neural Network Accelerators by electro-thermal simulation", JOURNAL OF PHYSICS: CONFERENCE SERIES, 28 February 2021 (2021-02-28) *
戴澜;王建勋;: "一种基于忆阻器的用于识别手写数字图像神经网络研究", 电子世界, no. 11, 15 June 2020 (2020-06-15) *
谭金沛;王丽丹;段书凯;朱航涛;尚柳汀;: "忆阻交叉阵列模糊PID控制器设计及仿真", 西南大学学报(自然科学版), no. 02, 22 January 2018 (2018-01-22) *

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114399037A (zh) * 2022-03-24 2022-04-26 之江实验室 基于忆阻器的卷积神经网络加速器核心的模拟方法及装置
CN114399037B (zh) * 2022-03-24 2022-07-15 之江实验室 基于忆阻器的卷积神经网络加速器核心的模拟方法及装置
CN114463161A (zh) * 2022-04-12 2022-05-10 之江实验室 一种基于忆阻器的神经网络处理连续图像的方法和装置
CN114463161B (zh) * 2022-04-12 2022-09-13 之江实验室 一种基于忆阻器的神经网络处理连续图像的方法和装置
CN115951584A (zh) * 2023-02-09 2023-04-11 浙江上洋机械股份有限公司 用于滚筒杀青机的温度控制系统及方法
CN115951584B (zh) * 2023-02-09 2024-03-15 浙江上洋机械股份有限公司 用于滚筒杀青机的温度控制系统及方法
CN117371315A (zh) * 2023-10-09 2024-01-09 河海大学 一种模型预测精度的特征智能处理方法与系统

Also Published As

Publication number Publication date
CN113987985B (zh) 2024-04-16

Similar Documents

Publication Publication Date Title
CN113987985B (zh) 基于忆阻器交叉阵列神经网络加速器热效应优化方法
US10339202B2 (en) Resistive memory arrays for performing multiply-accumulate operations
Wijesinghe et al. An all-memristor deep spiking neural computing system: A step toward realizing the low-power stochastic brain
Lim et al. Adaptive learning rule for hardware-based deep neural networks using electronic synapse devices
Xia et al. Stuck-at fault tolerance in RRAM computing systems
Wang et al. Echo state graph neural networks with analogue random resistive memory arrays
US10079058B1 (en) Resistive memory device for matrix-vector multiplications
US10311126B2 (en) Memory device for matrix-vector multiplications
Liu et al. Fault tolerance in neuromorphic computing systems
CN114298296A (zh) 基于存算一体阵列的卷积神经网络处理方法和装置
Lepri et al. Modeling and compensation of IR drop in crosspoint accelerators of neural networks
Chen et al. A new SOH estimation method for Lithium-ion batteries based on model-data-fusion
CN115358178B (zh) 一种基于融合神经网络的电路良率分析方法
Fernando et al. 3D memristor crossbar architecture for a multicore neuromorphic system
Cao et al. A non-idealities aware software–hardware co-design framework for edge-AI deep neural network implemented on memristive crossbar
Han et al. Reservoir computing dissection and visualization based on directed network embedding
Zanotti et al. Low-Bit precision neural network architecture with high immunity to variability and random telegraph noise based on resistive memories
CN117390953A (zh) 一种基于有限感知的锂电池分布式热过程建模方法、系统及介质
Mao et al. A versatile ReRAM-based accelerator for convolutional neural networks
Cao et al. Parasitic-aware modelling for neural networks implemented with memristor crossbar array
CN111130544A (zh) 基于交叉开关的计算环境中的缺陷减轻
CN115312090A (zh) 一种存内计算电路及方法
CN115659790A (zh) 一种动力电池包的温度实时检测方法
Chiang et al. Hardware-robust in-rram-computing for object detection
Cao et al. RRAM-PoolFormer: a resistive memristor-based PoolFormer modeling and training framework for edge-AI applications

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant