CN111553415B - 一种基于忆阻器的esn神经网络图像分类处理方法 - Google Patents

一种基于忆阻器的esn神经网络图像分类处理方法 Download PDF

Info

Publication number
CN111553415B
CN111553415B CN202010347137.XA CN202010347137A CN111553415B CN 111553415 B CN111553415 B CN 111553415B CN 202010347137 A CN202010347137 A CN 202010347137A CN 111553415 B CN111553415 B CN 111553415B
Authority
CN
China
Prior art keywords
memristor
image
input
circuit
voltage
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010347137.XA
Other languages
English (en)
Other versions
CN111553415A (zh
Inventor
王建民
贾仲言
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ningbo University of Technology
Original Assignee
Ningbo University of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ningbo University of Technology filed Critical Ningbo University of Technology
Priority to CN202010347137.XA priority Critical patent/CN111553415B/zh
Publication of CN111553415A publication Critical patent/CN111553415A/zh
Application granted granted Critical
Publication of CN111553415B publication Critical patent/CN111553415B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/06—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons
    • G06N3/063—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons using electronic means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Evolutionary Computation (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Computing Systems (AREA)
  • Molecular Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Computational Linguistics (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Neurology (AREA)
  • Image Analysis (AREA)

Abstract

一种基于忆阻器的ESN神经网络图像分类处理方法，涉及图像处理技术领域。利用忆阻器的独特的记忆特性和运算能力并给合回声状态网络，设计基于忆阻器的ESN神经网络电路以适于在图像处理过程中对存储能力的要求，以减少训练数据的访存操作，最后达到提高整体神经网络性能和效率的目的。方法将基于忆阻器的数据存储与运算进行融合，以图像数据为训练对象，利用图像的卷积操作实现图像的预处理功能，筛选出图像预处理所需要的基本逻辑运算，通过参考蕴含电路来对这些基本逻辑运算进行忆阻器的电路设计，从而完成基于忆阻器的数据存储与运算结构，通过图像数据的存储和运算结合来减少训练数据的访存操作。本发明的应用将提高整体神经网络的性能。

Description

一种基于忆阻器的ESN神经网络图像分类处理方法
技术领域
本发明涉及ESN神经网络图像处理方法，涉及图像处理技术领域。
背景技术
随着大数据时代的来临，神经网络对很多实际问题的解决展现了很好的作用效果，如图像识别，语音识别及一些其他时间序列的预测等。然而随着需要处理的数据规模的增大，类型复杂程度的增多，神经网络性能问题也愈发突出，需要研究具有更加时效性的神经网络技术。
忆阻器作为一种新型的电子器件，具有独特的记忆功能和非易失性存储能力，在人工神经网络方面有着巨大的应用潜能。正因为这些特性，使它有希望解决硬件实现神经网络的一系列问题。然而，由于忆阻器目前还处于实验室研究阶段，基于忆阻器的独特的记忆特性和运算能力，以回声状态网络(ESN)为所面向的应用领域目前还没有人进行研究。
从ESN和忆阻器两个方面介绍现有技术状况。
ESN最早是Jaeger[1]在2001年提出回声状态网络，Mass等[2]于2002年提出液体状态机，后Verstraeten等[3]证明二者本质上一致。ESN的提出主要是当时研究发现反向传播算法对递归神经网络的输入层和中间连接层的变化十分缓慢，只有输出连接权变化明显，所以使用一个不需要训练的储备池代替传统神经网络的中间层，只训练输出层的输出连接权。由此ESN 大大简化了传统神经网络的训练过程，并且在时间序列预测、非线性系统建模、语音识别和自动控制领域均取得了成功应用。可以说随着科学技术的发展，回声状态网络技术已经广泛应用到了多个领域，因此ESN技术的研究具有非常重要的意义。传统神经网络泛指各种利用计算机进行神经网络运算的方法。具体来说包括神经网络架构的搭建，对神经网络突触权重进行计算训练以及最后的验证和应用。在传统计算机系统中，以图像处理的神经网络应用为例，其一般过程为，首先在存储结构中搭建好神经网络架构，然后从存储系统中读出图像数据和网络中突触权重数据和激励函数数据将其运送到处理器中进行训练，在处理器对这些数据运算完成后得到运算结果，最后再将结果写回到存储系统中完成神经网络。由于数据规模不断扩大，对运算速度的需求也不断提高，神经网络算法对访存带宽有越来越高的要求[8]。为了解决这些关于计算性能的问题，研究者们提出了很多解决方案，包括将专门搭建传统数字电路、模拟电路、以及结合光电传感器和它们的混合技术等应用来对神经网络进行硬件搭建[9-11]；或者使用数字信号处理器(Digital SignalProcessor，DSP)、现场可编程门阵列(Field Processing Gate Array，FPGA)、图形处理器(Graphics Processing Units，GPU)等应用对神经网络数据进行处理来对整体神经网络进行加速。这些技术有些是对神经网络中权重读取和存储能力进行加强，有些是对训练数据存储部件进行加强，但是都无法克服传统计算机体系存在的存储墙问题[8]，而且或多或少都存在一些不同的问题。这些问题会在接下来的研究现状中讲解。由此可见传统神经网络算法的发展存在许多挑战，而已有的技术要解决这些问题需要更多的研究。
忆阻器提出始于20世纪70年代，是由L.O.Chua提出的电路中第四种基础元件[16]。忆阻器可以根据流经自身的电荷量来改变阻值，具有存储，搭建逻辑电路和模拟运算电路等功能。近几年，引起了很多学者和工业界的关注，也有一些实验室做出了样品，其中典型代表是HP实验室研究发现的忆阻器[17]。忆阻器的集成度，功耗，读写速度都比传统的存储器优越。在目前已有的研究中忆阻器存储器(Resistive RAM，RRAM)器件结构简单，擦写速度可达到0.3ns[18]远高于Flash存储器而且和半导体工艺兼容性好可以利用现有的半导体工艺生产从而缩减开发成本。在现如今对数字信息量处理需求越来越大的神经网络研究中，理论上忆阻器已经是为一种极为理想的存储神经网络权重值，存储训练数据的材料。过去已经有研究提出，使用忆阻器辅助其他电子器件集成搭建BP神经网络，使用忆阻器组合电路来存储突触的权重值并使用计算机对数据进行学习[19]。也就是说，在传统计算机中学习得到网络中权值的量，通过辅助电路将权值输入到硬件网络中的忆阻器上。因为忆阻器存储权重值时存在非易失性，权重一直存储在忆阻器上，在下一次训练神经网络时不需要再重新读取权重值，直接得到输出值，仅在这一步就大大地减少了训练神经网络的时间和功耗。所以这种具有高密度，非易失特性的存储器为解决神经网络在硬件实现上的发展所面临的各种问题提供了新的思路。
回声状态网络的发展现状：
ESN作为一种特殊的递归神经网络，由输入层、隐藏层(储备池)和输出层组成。它将隐藏层设计成一个具有很多神经元组成的稀疏网络，其拓扑图如图1所示。通过调整网络内部权值的特性达到记忆数据的功能，其内部的动态储备池包含了大量稀疏连接的神经元，蕴含系统的运行状态，并具有短期训练记忆功能。在ESN神经网络训练中，输入层连接矩阵以及储备池连接矩阵是不需要训练的，训练过程中一般根据简单的线性回归算法就可以确定输出连接权。ESN神经网络的节点状态更新方程和输出方程为：
x(n+1)＝fres[Winu(n+1)+Wresx(n)+Wbacky(n)]， (1)
y(n+1)＝fout[Woutx(n+1)]， (2)
其中x(n)为节点状态，u(n)为输入信号，y(n)为输出信号，n为时间步数，Win、Wres、Wout和Wback分别为输入连接权、内部连接权和反馈连接权，fres和fout分别为节点状态激励函数和输出激励函数。
ESN目前的研究主要集中在理论上的优化和改进。首先是储备池性能的优化，在最原始的ESN中储备池的内部连接权值都是随机分配的，目前已有研究针对储备池的数量特征和结构进行优化[20]。此外还有针对输出网络的优化，其中包括了针对输出层结构[21]以及输出层激励函数[22]的优化。
神经网络硬件化的发展现状：
为了取得较高的识别准确率，所需要的训练数据越来越大，网络也越来越复杂，需要更多的能量和硬件资源。目前绝大多数学习算法都是在计算机上完成，但其存储单元的访问速度已经跟不上目前的需求[8]，许多研究工作都致力于神经网络的硬件加速乃至神经网络硬件电路的设计。
在目前的硬件电路神经网络的设计，已有研究将权重值存储于电阻器、电容器、浮栅晶体管以及半导体光放大器中，但是这些存储方式的缺陷都很明显。例如电阻器存储使电路过于固定降低了神经网络的灵活性[9]；电容器存储由于需要经常读取权重值，所存储的电荷经常泄露[10]；浮栅晶体管可以使用但它本身存在高度非线性，不利于权重的赋值[23]。还有使用半导体光放大器制作神经网络的节点，但成本过于高昂而且体积相比其他方式过于巨大不宜集成[11]。2016年一团队首次提出了一个以实现卷积神经网络为目标的数字与模拟信号混合的忆阻器电路[24]，但是经过分析其方案在训练神经网络时，主要应用一个输入正负电压的两个忆阻器的电路网络模块来存储一个神经元的突触权重值，也就是说使用正电压存储正权重值，使用负电压存储负权重值，本质上是使用了忆阻器的多值存储能力。这样对于硬件神经网络中每一个忆阻器都必须保证几乎完全相同，这一点对于工业应用上正是十分困难的一点。所以使用忆阻器对神经网络进行硬件实现时，突触权重的存储方式正是十分重要的一点。
在硬件加速上，主要工作还是在于对训练数据的预处理，其中包括数字信号处理器 (DSP)、可编程逻辑门电路(FPGA)和图形处理器(GPU)。他们的主要工作大部分都是提取训练数据的特征值，减少训练量。以图像数据的处理为例，DSP运算主要类型是乘法和累加运算，对于图像处理大量使用的卷积滤波帮助很大，所以在数据的预处理上得到了广泛的应用，但是DSP的工作模式是和CPU一样的，依然存在和CPU一样的问题，无法满足实时性，只适用于小批量的训练数据。FPGA器件中包含大量的逻辑单元，根据功能需求完成不同的功能，目前已经有用FPGA实现一些复杂的运算如中值滤波、卷积和形态学算子[14] 来实现训练数据的加速，但是当引入带有小数的计算过程时如在处理均值和卷积平均池化过程处理效率会降低。因此这时需要在算法的精度和处理效率上进行折中。GPU在神经网络上近年来取得了极大的成果，在高性能计算领域大量使用。这主要是得益于其强大的并行处理能力。GPU设计的宗旨是实现图形加速，在对训练数据的处理上也主要体现在了对图像数据的处理，其中包括实现傅里叶变化[15],做三维卷积运算[25]等功能。实际应用中GPU图像处理的速度和效率受限于GPU的显存，存储器和总线带宽，但总体上具有较强的数据处理能力。
忆阻器模型的研究现状：
忆阻器，全称记忆电阻，具有电阻的量纲。它的提出始于20世纪70年代，是由蔡少棠从对称性的角度出发，根据如图2所示的电路学中的变量电压电流电荷磁通量中的关系，提出的电路第四种基础元件[16]。忆阻器表达的是电荷q和磁通量
Figure BDA0002470522880000041
的基本关系。它的特点是，忆阻器的阻值会随流经它的电荷量改变而改变，所以可以通过测定忆阻器的阻值来确定通过它的电荷值，起到记忆电荷的作用从而可以存储信息。
受限于当时的技术等问题直到2008年惠普实验室才首次做出纳米忆阻器件[17]。如图3 所示，该器件模型由两个铂片和一个钛氧化合物薄膜组成。薄膜主要包括两层，一层缺乏氧原子，氧空缺携带一定的电荷。缺氧二氧化钛和非缺氧二氧化钛的界面决定了忆阻器结构的阻值，而输入不同的电流强度和电压方向都会导致分界面的移动从而改变忆阻器件的阻值。当流经的电荷量达到极限值，忆阻器的伏安特性类似于一个普通的线性电阻，输入反向电压后忆阻器的阻值又开始发生变化，这体现了忆阻器的可编程特性。当对忆阻器断电操作时，忆阻器的阻值不变，这体现了忆阻器的记忆特性。
关于忆阻器的导电机理除了上述的这种忆阻器中间层薄膜中导电粒子的漂移影响忆阻器阻值变化外，还有研究认为忆阻器阻值变化是由薄膜中导电细丝的形成和断裂引起[26]；另外还有少数研究认为电子自旋引起忆阻器阻值变化[27]。
忆阻器应用的研究现状：
忆阻器的应用研究主要是围绕存储和逻辑运算以及由二者延伸出的神经网络和混沌电路等方面研究。
在存储方面，由于忆阻器有良好的非易失性以及高集成度，所以非常适合于存储。HP实验室提出了通过忆阻器交叉阵列和CMOS外围电路相结合的方式实现了在64×64的忆阻器存储结构上实现了读写操作[28]。另外已有研究设计并验证了一种基于忆阻器的内容寻址存储器(CAM)结构，提出了四种可能的寻址存储器的单元设计[29]。
在逻辑运算方面，理想忆阻器如图4所示，由于忆阻器很容易就可以实现两个阻态，低阻态(阻值为RCLOSE)和高阻态(阻值为ROPEN)，所以参考二极管的功能就轻松实现数字逻辑中的0和1操作。在2010年的研究中证实了忆阻器电路可以实现蕴含操作和清0操作[30],并且这两种操作具有逻辑完备性。根据数理逻辑的基本原理可知，这也就意味着所有逻辑操作都可以由忆阻电路组合来实现。下面介绍一下HP实验室实现蕴含逻辑电路的过程。
如图5所示，HP实验室实现的蕴含逻辑电路由两个忆阻器P、Q，负载电阻RG(RCLOSE<<RG<<ROPEN)，水平垂直纳米线，偏置电压V1、V2。其中水平垂直纳米线通过忆阻器相连，并且通过负载电阻RG接地。也就是说P和Q的阻值可以通过水平垂直纳米线进行读写。当0<V1<VCLOSE,VCLOSE<V2时，P，Q都置为高电阻也就是逻辑0。通过理想忆阻器V-I曲线 (图4)可知，此时Q状态变为低阻值状态，也就是逻辑1，结合其他的输入状态可得到蕴含真值表表1。蕴含操作可以IMP来表示并且可以用简单的逻辑关系式来表示，
Figure BDA0002470522880000051
由这个关系式很容易就可看出，当Q赋值为0时相当于对P取反并将运算结果存储到Q 上。
而清零操作就是通过水平垂直纳米线向忆阻器输入电压为VCLEAR的脉冲电压，使忆阻器阻值回复到RCLOSE的状态。由蕴含操作和清零操作衍生出来的其他逻辑操作将会结合课题需要实现的功能在后文一一介绍。
Figure BDA0002470522880000052
表1蕴含真值表
在神经网络研究方面，由于忆阻器的特性和神经元突触的行为十分类似，一直都被认为是制作突触最理想的材料[31]。现已有研究通过忆阻器突触实现BP神经网络[19]和卷积神经网络的电路设计[32]。但是由于也有研究认为单个忆阻器神经元结构作为突触存在瓶颈问题 [33]，所以通常神经元突触的设计都是由两个甚至跟多的忆阻器组进行实现。
忆阻器在神经网络上应用研究面临的不足：
目前已有的忆阻器用于神经网络上的研究本身很少，而且大多数都是针对神经网络模型训练电路的设计，对于更加复杂的学习环节的操作通常还是由计算机完成。也就是说，忆阻器在大多数神经网络电路中起到存储突触权重值或者存储训练数据的存储功能，也有少部分会实现逻辑运算功能比如针对图像的卷积运算和池化运算[32]，而更加复杂的生成新的权重值的运算都是交给计算机来做，每次权重值的更新都是，等新的权重值从计算机出现后再通过赋值电路存储到忆阻器突触中。
另外，由于忆阻器工艺的问题，虽然忆阻器理论上可以实现多值存储，但是依然不如只实现数字逻辑0和1稳定[34]。所以随着技术发展，忆阻器突触权重的存储能力将会有更加广阔的发展空间。因此目前基于忆阻器的硬件神经网络设计需要更倾向于基本逻辑单元的忆阻器设计结构。
发明内容
本发明要解决的技术问题为：
本发明的目的是提供一种基于忆阻器的ESN神经网络图像处理方法，利用忆阻器的独特的记忆特性和运算能力并给合回声状态网络(ESN)，设计基于忆阻器的ESN神经网络电路以适于在图像处理过程中对存储能力的要求，以减少训练数据的访存操作，最后达到提高整体神经网络性能和效率的目的。
本发明为解决上述技术问题所采用的技术方案为：
一种基于忆阻器的ESN神经网络图像分类处理方法，所述方法将基于忆阻器的数据存储与运算(预处理是运算的一部分)进行融合，以图像数据为训练对象，利用图像的卷积操作实现图像的预处理功能，筛选出图像预处理所需要的基本逻辑运算，通过参考蕴含电路来对这些基本逻辑运算进行忆阻器的电路设计，从而完成基于忆阻器的数据存储与运算结构，通过图像数据的存储和运算结合来减少训练数据的访存操作。
进一步地，基于忆阻器的数据存储与运算功能的实现过程为：
步骤1、训练图像的运算存储结构的总体设计，结合忆阻器的存储和逻辑运算能力，设计融合简单逻辑运算的存储结构
1.1存储结构的设计
图像数据的存储结构根据图像数据存储方式可知，图像数据在逻辑上都是M×N的矩阵，每个矩阵的元素根据图像类型的不同而不同，结合忆阻器交叉阵列结构来构建存储结构时，图像数据可一一映射到交叉阵列结构中，一幅M×N大小的8位灰度图像映射到忆阻器交叉阵列结构中，使图像在忆阻交叉阵列中的存储；
灰度图像的每个像素点的像素值P的范围是(0,255)，存储位数是8，用8位2进制数表示，而忆阻器阵列中，8个忆阻器为一组，表示一个像素点的灰度值大小；用高阻态表示逻辑0，低阻态表示逻辑1，这样8个忆阻器就可以表示一个像素点的灰度值大小；
数据存储与运算融合的结构包括至少一个融合单元，每个融合单元包括忆阻器交叉阵列、读写控制模块、脉冲信号生成电路、行驱动电路、列驱动电路、行接地电阻、列接地电阻及读电路、行互联电路、列互联电路，
行驱动电路、列驱动电路通过对应的行总线、列总线与忆阻器交叉阵列相连，行接地电阻与忆阻器交叉阵列的行总线末端连接，列接地电阻及读电路与忆阻器交叉阵列的列总线末端连接，读写控制模块输出脉冲控制信号，使脉冲信号生成电路生成需要的脉冲信号，脉冲信号通过行驱动电路和列驱动电路进行放大从而改变忆阻器交叉阵列的阻值状态；行互联电路连接在忆阻器交叉阵列的行总线上，列互联电路连接在忆阻器交叉阵列的列总线上，行互联电路和列互联电路用于与相邻的融合单元的忆阻器交叉阵列连接；训练数据规模大于当前忆阻器模块时，配合相邻融合单元(存储模块)存储训练数据；
忆阻器交叉阵列由多个通过总线连接的忆阻器按照矩阵形式阵列构成；忆阻器交叉阵列中多个忆阻器一部分用于存储，一部分用于运算，通过控制器发出不同的控制信号来控制忆阻器进行存储或运算，从而实现存储与运算的融合；
1.2图像数据的读写设计过程：
当读取该忆阻器的阻值时，确定读取的忆阻器的位置后，所有的读取放大器的开关闭合，第1行的输入电压置为VR，VR为读电压，满足0<VR<VCLOSE，其他所有行输入电压为VREF，VREF为参考电压，参考电压VREF满足0<VREF<VR；将该忆阻器的读出电压VR和参考电压VREF通过对应放大器进行比较输出，根据放大器工作原理，如果忆阻器状态为1，输出结果为1,反之输出结果为0；只要读取第二个放大器的状态就可以知道忆阻器(1,2)的状态，同理读取其他放大器的状态就可以知道该行所有其他忆阻器的状态；
当写入存储器时，将目标忆阻器输入大于等于正向阈值电压VCLOSE的电压信号，打开所有放大器开关，使放大器处于静默状态，主要通过水平和竖直两条纳米线对忆阻器进行赋值同时需要避免影响到其他忆阻器的状态；除目标忆阻器的纳米总线连通外，其余纳米线的输入均置为0，将写电压分为两部分从水平、竖直纳米线分别输入；将目标忆阻器置1，需要从水平纳米线输入V1＝+VW/2,再从垂直纳米线输入V1’＝-VW/2，使目标忆阻器两端电压为VW，VW为写电压，满足条件
max{|VSET|,|VCLEAR|}≦VW≦min{|VOPEN|,|VCLOSE|}；若将目标忆阻器置0，则输入 V1＝-VW/2,V1’＝+VW/2；
步骤2、基于忆阻器的运算逻辑单元电路设计，以实现训练图像预处理的基本操作
选取卷积算法进行训练图像预处理的基本操作，操作过程为，采集图像将图像存储于忆阻交叉电路中；滤波，去除噪声；边缘检测，确定图像最大矩形边缘并分割掉图像中边缘外的空白部分，删除无关数据减少运算量；引入卷积算子与图像进行卷积运算，视情况确认卷积层的个数，卷积核的大小以及步长；激励，对卷积层输出进行非线性映射；池化处理，最大池化或平均池化减少特征值参数的数量，最后得到训练数据合适的特征值；
基于忆阻器的运算逻辑单元电路包含多个异或运算电路，单独一个异或运算电路主要由两个输入忆阻器P、Q以及两个辅助运算忆阻器m1和m2组成，
四个忆阻器P、Q、m1、m2并行排列最终连接在接地电阻上，对应的输入电压分别为、V1、V2、V3、V4，输入电压可以对该四个忆阻器进行分别赋值；其中P，Q是存储输入信号状态的存储忆阻器，m1和m2是负责辅助完成逻辑运算的辅助忆阻器，在输入信号输入到P，Q后，首先对m1，m2输入清零电压VCLEAR进行清零操作，然后根据已有的蕴含操作以及与操作赋值电压的步骤对异或运算电路进行赋值，首先通过非操作通过对V1赋值电压VCOND，对V3电压输入VSET，使m1赋值为P的反，同理使m2赋值为Q 的反，然后通过对V1输入电压VCOND对V4输入电压VSET，将两结果进行或操作并存储于m2中，这样m2中的结果就是P'+Q'，在通过对已得到的P'和Q取蕴含操作得到P+Q 并存储于Q中，最后对V2输入电压V'COND，对V4输入电压VCLEAR，将二者结果进行与操作即(P+Q)(P'+Q')就得到了
Figure BDA0002470522880000081
(具体的操作步骤和施加电压序列如表3所示)。
进一步地，忆阻器的ESN神经网络的训练过程采用以脉冲电压信号为输入、输出信号的非在片学习方式，
首先将训练数据经过适当的变换转为脉冲电压信号输入到硬件神经网络中，在忆阻器硬件上通过对图像进行简单的卷积操作提取特征值从而大大减少数据训练量；在训练过程中，图像数据的特征值和训练权重都存储与忆阻交叉阵列中；训练过程中产生的复杂运算在主机中完成；相当于整体神经网络的搭建是在忆阻器交叉阵列结构和主机上共同完成；
设计合适的忆阻器运算电路来实现需要的逻辑运算功能，通过就卷积操作得到图像的特征值。
在设计ESN结构时，首先确定储备池的大小，即神经元的个数；然后随机生成连接矩阵，这个矩阵表示神经元之间的连接方式以及连接的方向和权值，接下来对矩阵进行缩放以实实归一化的操作；
第二步进行训练：空转过程，初始化储备池的状态，先使用一些数据来初始化储备池的状态以降低噪声的影响；然后使用线性回归确定输出权值，确定ESN的连接权值；
第三步进行使用，此时将训练结果对神经网络的权值矩阵进行赋值输入，即可完善ESN；输入神经元的数据是图像数据的特征值；在使用时从图像数据处理结构入口输入图像数据，经过卷积运算得到图像特征值，然后将图像特征值输入到ESN输入神经元中。
本发明具有以下有益技术效果：
本发明主要基于忆阻器的独特的记忆特性和运算能力，以回声状态网络(ESN)为所面向的应用领域，研究基于忆阻器的ESN神经网络电路设计，提高存储能力，适于图像处理。本发明针对忆阻器的非易失特性和蕴含特性，给出了基于忆阻器的训练数据存储与预处理模块和ESN电路模型。在本发明中，主要是依据忆阻器本身的特性，对训练数据进行优化，来提高整体神经网络的性能。通过实验验证和分析验证了本发明设计的训练数据存储模块和ESN网络硬件结构的正确性和高效性。
本发明的主要创新点主要包括以下几点：1、提出了基于忆阻器的数据存储与预处理融合模块。主要以图像数据为对象，通过对图像预处理算法的考察和忆阻器本身的存储特性和简单的逻辑运算能力，选出适合于忆阻器的预处理算法，然后再对这些算法进行分析抽象出基本的逻辑运算单元，最后对这些操作进行性能分析。和过去的神经网络加速器相比，将图像数据的存储和预处理结合在一起可以大大减少训练数据的访存操作，最后达到提高整体神经网络性能和效率的目的。2、提出了基于忆阻器的ESN电路模型。
通过对ESN神经网络算法的分析，确定ESN和忆阻器组成的硬件之间的映射关系。和传统的设计相比，本发明提出的设计在可行性和稳定性上略胜一筹。
附图说明
图1为传统的储备池计算示意图，图2为四种电路变量之间的关系，图3为HP忆阻器的结构图，图4为理想忆阻器V-I曲线图，图5为蕴含操作电路图；
图6为图像在忆阻交叉阵列中的存储示意图；图7为运算存储总体结构图；图8为数据的读写结构示意图；图9为与操作电路图；图10为异或运算电路图；图11为VCS模型示意图；图12为第一个单个忆阻器的仿真模型图，图13为第二个单个忆阻器的测试模块图；图14为忆阻器的仿真图，横坐标表示输入电压纵坐标表示输出电流；图15本发明的整体网络的训练过程框图。
具体实施方式
下面结合附图6至15对本发明的实现进行如下阐述：
本发明主要以HP实验室所研究的三明治结构为研究对象对整个神经网络模型进行硬件搭建。根据该漂移模型可得到相应的电路模型。
在忆阻器电路中
Figure BDA0002470522880000101
表示磁通和电荷存在一定映射关系，将两端同时做关于时间t 的微分得到公式(1)：
Figure BDA0002470522880000102
由电路基本知识可知，在t时刻的忆阻器两端电压和电流的关系式为：
Figure BDA0002470522880000103
其中M(q)是为忆阻器的阻值简称忆阻。所以可以得到忆阻和所经过电荷的关系为：
Figure BDA0002470522880000104
从物理模型的建立上来看，忆阻主要与TiO2-x的宽度w(t)有关，而TiO2-x的宽度只和外界的输入电压或电流有关并且其映射是非线性的，但在中间范围内可以视为线性的，其关系式为
Figure BDA0002470522880000105
其中薄膜长度用D来表示，掺杂区域长度是w(t)，μv表示例子平均漂移速度，该材料的输入电压与电流之间的关系可以表示为:
Figure BDA0002470522880000106
其中RON是完全是TiO2-x材料时忆阻器的阻值，ROFF是完全是TiO2材料时忆阻器的阻值。经推导忆阻值M(q)与电荷之间的关系如下所示：
Figure BDA0002470522880000107
Figure BDA0002470522880000111
忆阻值的改变量ΔMi与电荷的改变量Δqi之间的关系即为
Figure BDA0002470522880000112
由此可见忆阻器的可编程特性和记忆特性。
所以可以选择相应的电压脉冲信号为输入信号，通过控制脉冲信号的幅值或脉冲宽度来控制输入电荷量，从而改变忆阻器的阻值，对忆阻器进行赋值。
本发明所的一种基于忆阻器的ESN神经网络图像分类处理方法的实现过程如下：
1、本发明以ESN为所面向的领域，主要针对忆阻器的发展现状部分所阐述的忆阻器在神经网络方面目前的研究现状和不足，利用忆阻器的存储能力和逻辑运算能力来实现ESN的电路结构设计。研究内容主要分为三部分：第一部分在针对训练数据的预处理上提出基于忆阻器的数据预处理与存储的融合结构；第二部分利用忆阻器结构替代神经突触功能结合其他辅助电路提出ESN的电路结构；第三部分为实验验证部分，包括忆阻器建模与验证，数据预处理的功能验证和ESN电路结构的性能验证。下面将会对这三方面工作进行介绍。
1.1训练数据的预处理与存储融合结构
传统的神经网络受限于访存的性能，所以针对忆阻器的高刷新率和非易失性，本发明将对训练数据的存储和预处理方面进行研究，选出合适的处理算法。针对这一问题主要考虑两方面：一是对图像预处理算法进行考察和分析。经过研究，图像预处理过程中灰度化、边缘检测、阈值分割以及一些简单的滤波操作都可以由简单的逻辑运算组合完成，由于忆阻器同时兼具存储能力和简单的逻辑运算能力并且已有的忆阻器神经网络结构研究中大多都会将存储能力和运算能力结合起来，所以针对ESN设计合适的数据预处理与存储融合结构是完全可行的。二是忆阻器目前本身的运算能力有限，所以针对训练数据预处理抽象出基本的逻辑操作，对这些基本逻辑操作进行电路设计和性能分析可以为后文整体融合结构的提出和ESN电路结构性能验证部分做准备。
在上述工作的基础上，提出整体的融合结构设计。具体包括训练数据的读写、存储和预处理运算。在结构中，训练数据可以在存储位置上就进行预处理操作可以大大减少训练数据访存操作，达到神经网络加速效果。
1.2结合忆阻器的ESN电路结构设计
人工神经网络中突触需要存储它自己的权重值，并且根据前后神经元的存储状态来改变自己的权重值。而忆阻器同时存在存储特性、可编程特性和运算能力，使用忆阻器作为神经突触的主要材料，既可以存储当前突触的权重值，又可以在上一个神经元信号来到时计算下一个神经元的状态，而且可以通过编程对忆阻器突触进行赋值来改变突触的权重。
所以结合忆阻器在整体电路中的功能可以大概分为两类，一类是实现训练数据的存储和预处理功能，以图像数据为例包括图像的存储，读取边缘检测阈值分割和滤波处理。而这些操作又可以用一些基本的逻辑单元表示，比如存储和读取操作需要对数据进行随机寻址所以需要译码器，计数器；阈值操作主要是由比较操作组成，边缘检测和滤波操作都可以由加法和移位操作组成；另一类是实现忆阻器的突触功能，主要需要实现点积功能，但是由于该乘法功能经常存在包含小数点的运算无法使用简单的逻辑功能实现，所以对图像数据和突触权重数据的存储方式都选取不同的方式。
图像数据以8位灰度图像为例，每一个像素点的像素值使用8个忆阻器组成的忆阻器组来表示，通常使用高阻态来表示逻辑0，低阻态表示1.具体的读写电路和具体的运算电路都会在后文中说明。突触的权重值不能简单的用0和1表示甚至忆阻器存储信息的大小都会影响整体电路的误差率，根据忆阻器的存储特性大概有两种解决方案，一种是根据忆阻器阻值变化的连续性，通过编码和模数转换让经过单独一个或两个忆阻器组成的忆阻器组的不同的电流值来代表不同的突触权重，这样做的好处是理论上只要模数转换的位数够高忆阻器就可以存储无限大的数据，但是这样做的缺点是需要保证所有的忆阻器在工艺上都保证在一定程度上需要完全相同，而这在目前的工艺上正是很难达到的。在该研究中发现以忆阻器为突触的卷积神经网络电路中突触权重忆阻器存储大小为 4b,6b,8b的情况时，以训练70张图片为例，误差率分别为1.6％，1.2％，1.17％[32]。但是该文献中权重值的大小大多分布在(0,5)中，所以针对不同的模型还需要具体分析。另外一种方式，使用上文存储像素值的方式来存储权重值，由于权重值时存在正负之分的，需要有一位来表示正负，所以如果直接使用图像数据的存储方式每个忆阻器组最多可以存储7b数据来表示每个权重值。这样做的好处是稳定，但是问题是明显比单独使用一个或两个忆阻器存储权重值需要的资源多。
解决了最重要的存储和基本逻辑单元，其中主要包括译码器、计数器、加法器以及移位器等问题，只需要结合ESN的网络结构和训练算法，配合计算机解决一些目前无法使用忆阻器电路轻松解决的算法，例如一些复杂的激励函数和学习规则最后就可以完成整体的神经网络电路设计。
1.3实验验证和分析
为了分析验证本发明提出的ESN电路结构和设计的正确性，我们对其进行实验验证和分析。由于目前忆阻器还没有成熟的商业产品，实验主要是采用模拟实验，使用matlab进行模拟验证。实验主要是从三个方面进行。
1)对忆阻器模型在matlab中进行模拟验证，选择合适参数对基本逻辑单元的忆阻器设计验证，其中包括3-8译码器、4位二进制计数器、8位数据的移位操作和加法器以及带正负号的7位数据的移位操作和加法器。
2)以图像数据作为训练数据进行图像预处理的模拟验证和性能分析。
3)对整体网络进行软件验证和硬件仿真，进行性能分析，从而验证我们设计的高效性。
2、基于忆阻器的图像存储及运算结构设计
考察和分析适合于忆阻器实现的预处理算法并抽象出基本逻辑操作，最后在此基础上设计出基于忆阻器的训练数据存储和预处理融合结构。从上述研究背景可知，对神经网络进行加速面临很多问题，为了解决这些问题，提高神经网络的速度需要更多的深入研究。忆阻器具有良好的存储特性并兼具运算能力，这使其拥有更广阔的发展前景。本部分将基于忆阻器来设计训练数据的存储与运算融合结构，包括总体结构的设计、存储设计、读写设计和基本逻辑运算结构设计。
2.1训练图像的运算存储结构的总体设计
结合忆阻器的存储和逻辑运算能力，设计融合简单逻辑运算的存储结构。
2.1.1存储结构的设计
首先是图像数据的存储结构，根据图像数据存储方式可知，图像数据在逻辑上都是 M×N的矩阵，每个矩阵的元素根据图像类型的不同而不同，比如二值图像对应的长度为1，灰度图像是8，而彩色图像是24，由于图像数据都有这些结构规范、类型统一的特点所以传统存储中都按行或者列的形式和主存交换数据。结合目前流行的忆阻器交叉阵列结构来构建存储结构时，图像数据可以一一映射到交叉阵列结构中，如图6所示，一幅M×N 大小的8位灰度图像映射到忆阻器交叉阵列结构中。
其中P代表每个像素点的像素值，由于是灰度图像，灰度值范围是(0,255)，存储位数是8，正好可以用8位2进制数表示。而忆阻器阵列中，8个忆阻器为一组，表示一个像素点的灰度值大小。通常用高阻态表示逻辑0，低阻态表示逻辑1，这样8个忆阻器就可以表示一个像素点的灰度值大小。采用与HP实验室类似的思路，每个忆阻器通过两条总线和读写控制模块连接，这样控制模块就可以通过两条总线对忆阻器进行随机寻址最后通过读写控制器以及相应的驱动电路对忆阻器进行写入或读取。结合训练数据存储和运算融合的基本思想，配合相应的带有选址系统、多种图像数据运算功能的控制模块、脉冲生成模块以及相应的驱动电路等模块组成如图7所示的训练数据的运算存储总体结构。
下面详细介绍各个模块的功能。P代表的是数据存储区用于存储训练数据，数据按照上文的存储方式储存在忆阻器交叉阵列结构上。每8个忆阻器为一个存储单元存储一个像素点的像素值大小。阴影部分是逻辑运算区，实际上也是忆阻交叉阵列的一部分，主要用来存储中间值辅助逻辑运算的进行。控制模块的主要功能是使脉冲信号生成电路产生不同的脉冲信号序列从而实现读写数据，数据逻辑操作等功能。脉冲信号生成电路主要是由脉冲发生器构成，它不仅要在逻辑操作时生成不同的脉冲信号序列，在进行读写操作时也要生成不同的脉冲电压。驱动电路包括行和列驱动电路等，主要根据逻辑操作或读写操作的地址对存储单元进行寻址，将相应的脉冲电压作用到相应的忆阻器行或列，配合控制器完成读写操作和逻辑运算操作。接地电阻即忆阻器应用的研究现状中提到的负载电阻，主要是帮助结构实现逻辑功能。读电路主要是配合读写驱动，放大读出的电压信号。互联电路时为了训练数据规模大于当前忆阻器模块时，配合其他存储模块存储训练数据。
2.1.2图像数据的读写设计
根据HP实验室采用交叉阵列结构存储数据的思路，分析并设计存储读取数据需要满足的条件和结构。忆阻器模型主要采用的在忆阻器应用的研究现状中提到的理想忆阻器。由于本结构仅存储忆阻器的高电阻和低电阻状态，所以在生产上大大减少了对工艺的要求，增加了整体结构的可行性。读写电路，在上文实现蕴含电路中也有提到，主要是通过水平垂直两条纳米线对忆阻器进行赋值和读取，下面对读写操作的具体细节进行分析。
数据的读写模块如图8所示，以图中第1行第2列的忆阻器(1,2)为例，当读取该忆阻器的阻值时，确定读取的忆阻器的位置后，所有的读取放大器的开关闭合，1行的输入电压置为VR，VR为读电压，满足0<VR<VCLOSE，其他所有行输入电压为VREF，VREF为参考电压，参考电压VREF满足0<VREF<VR。将该忆阻器的读出电压VR和参考电压VREF通过对应放大器进行比较输出，根据放大器工作原理很轻松就知道，如果忆阻器状态为1，输出结果为1,反之输出结果为0。只要读取第二个放大器的状态就可以知道忆阻器 (1,2)的状态，同理读取其他放大器的状态就可以知道该行所有其他忆阻器的状态。由于被读出的忆阻器两端电压为(VR-VREF)<VCLOSE,小于正向阈值电压VCLOSE，所以在读取电压时不会对忆阻器原本的状态进行改变。若想读取某一列的忆阻器状态，也是相同原理，在每一行纳米线的末尾连接相同的放大器，类比上文的步骤就可以读取每一列忆阻器的阻值。通常没有特殊要求按行读取忆阻器状态就可以满足读数据的要求。
当写入存储器时，原理是将目标忆阻器输入大于等于正向阈值电压VCLOSE的电压信号，打开所有放大器开关，使放大器处于静默状态，主要通过水平和竖直两条纳米线对忆阻器进行赋值同时需要避免影响到其他忆阻器的状态。所以，以忆阻器(1,1)为例，除第一行第一列纳米线连通外，其余纳米线的输入都置为0。为了避免影响其他忆阻器的状态，输入电压都不可以超过正向或反向阈值电压VCLOSE，VOPEN。所以将写电压分为两部分从水平、竖直纳米线分别输入。例如目标将忆阻器(1,1)置1，则输入 V1＝+VW/2,V1’＝-VW/2，使目标忆阻器两端电压为VW，VW为写电压，满足条件 max{|VSET|,|VCLEAR|}≦VW≦min{|VOPEN|,|VCLOSE|}。若将目标忆阻器置0，则输入 V1＝-VW/2,V1’＝+VW/2。这样既可以保证目标忆阻器顺利赋值，也可以避免其他忆阻器的输入电压超过正向，反向阈值电压来保证其状态不变。
2.2图像预处理算法分析
本发明对图像预处理领域涉及到的算法进行分析以得到适合于忆阻器实现的预处理算法，并总结出基本操作，并分析这些操作的性能，为基于忆阻器的图像存储运算结构设计提供理论依据。
2.2.1训练图像预处理的基本操作
传统图像预处理的主要目的是减少噪声，最后方便提取特征，而本发明所提到的训练数据的预处理主要目的是提取图像特征从而减少输入神经网络的训练数据的大小，最后提高神经网络的效率。提取图像特征的方法主要包括空间域和频率域两大类。空间域是直接对图像的像素点进行处理最后得到相应的特征值，上文的存储方式十分适合图片数据在空间域的存储；频率域是先将图像从空间域转换到频率域，再在频域率进行相应的计算，最后再把计算结果转换到空间域。由于频率域图像处理需要傅里叶正变换和傅里叶逆变换等复杂的数学操作和大量的计算过程并不适合目前忆阻器能实现的简单逻辑操作，所以在本发明中所有预处理操作都是在空间域上的操作。
首先对需要的图像处理算法进行分析，抽取其中的基本图像操作，验证这些基本的图像操作可以用忆阻器逻辑运算来进行实现，并对这些操作和一般计算机进行同样的图像操作进行对比。
目标是将图像数据提取特征值，以彩色图像为例，传统处理过程为：采集、灰度化、滤波、边缘检测、分割、二值化，最后通过合适的模板操作提取特征值。为了使图像处理更有泛用性，所选择的处理过程和传统做法有所不同。彩色RGB图像可以分解为3个8 位的图像分别进行存储，相当于存储3个灰度图像，同样提取特征值时也就是提取3个灰度图像的特征值，所以研究时以1个灰度图像为目标即可。对灰度图像提取特征值的算子和模板相当的多，本发明选取卷积算法这种目前在神经网络领域十分流行的算法。本发明选择的操作过程为，采集图像将图像存储于忆阻交叉电路中；滤波，去除噪声；边缘检测，确定图像最大矩形边缘并分割掉图像中边缘外的空白部分，删除无关数据减少运算量；引入卷积算子与图像进行卷积运算，视情况确认卷积层的个数，卷积核的大小以及步长；激励，对卷积层输出进行非线性映射；池化处理，最大池化或平均池化减少特征值参数的数量。这样就得到训练数据合适的特征值。
分析上述图像处理的过程，首先滤波，可以使用简单逻辑实现的滤波算法有均值滤波，中值滤波，都可以通过简单的加法、除法以及排序算法实现，但是比较复杂的滤波算法比如高斯滤波，所需要的高斯函数就无法用简单的逻辑算法实现。此时主要根据训练数据的质量选择滤波算法，如果图像质量比较好，噪声比较少，只需要简单的滤波就可以实现；如果图像质量比较差，需要更复杂甚至更多的滤波算法实现，可以选择更改操作过程，提前在计算机中将图像滤波后再存储到忆阻交叉网络中。卷积算子在某种程度上可以看做是一个小图片，以3×3卷积算子为例，就相当于一幅3×3大小的图片。但是和简单的图片之间的与运算不同，卷积运算主要包含的是数字乘法和加法运算。激励主要是为了保证系统的非线性，可选择的激励函数很多，并且在后文的ESN中也要用到，所以在这里一并讨论。如果选择比较简单的激励函数例如线性整流函数(ReLU)其函数表达如下所示：
f(x)＝max(0,wTx+b),
从函数上看需要的数字操作仅包括简单的清零操作，乘法和加法，所以该激励函数在忆阻存储与运算融合器上就可以完成。不过激励函数的选择大多是根据目标模型或应用来确定，仅可以完成一种激励函数无法满足需求。在过去的硬件神经网络设计中关于激励函数的电路设计十分丰富，但是绝大多数都只采用一种激励函数，也就是说对面向的模型和应用过于局限。所以本发明选择，在对输出进行激励的时候将输出结果输入到计算机中，在计算机中完成激励操作后再重新输入到忆阻存储器中。这样虽然增加了读取和写入的时间但是保证了对研究对象的通用性。池化处理，平均池化可以类比均值滤波的操作方法，但是由于本发明忆阻存储器存储位数仅有8位的原因，除法操作会出现结果的损失。最大池化主要需要的是对激励层的输出结果的冒泡排序。冒泡操作的基本操作是比较操作。这里以一个3×3的输出窗口为例，冒泡操作的最终输出结果应是输出窗口中的最大值。设输出窗口内的像素值为mij,i,j＝1,2,3,首先计算每一行的最大值： Maxi＝MAX(mi1,mi2,mi3),然后将其暂时存储于逻辑运算区中，并按行排列。最后排序出这些结果的最大值：Max＝(Max1,Max2,Max3)，最后将结果拷贝到对应的最大池化输出结果中。这样一共需要4次比较就能完成一个窗口最大池化的操作。
分析这些基本操作可以得出，需要的基本算数操作有，加法操作，乘法操作，除法操作等操作。这些操作都可以用简单的逻辑单元实现。同时实现这些操作还需要外部逻辑电路的配合，例如为了对数据进行随机寻址，需要译码单元，地址的增添以及乘法器需要计数单元。因此，下面将对这些基本逻辑单元进行基于忆阻器的设计。
2.3基本逻辑单元的分析和设计
在忆阻器应用的研究现状中就介绍过忆阻器的蕴含逻辑操作P→Q＝P'+Q，并且该逻辑操作可以实现传统电路中的所有基本逻辑操作例如非操作：P'＝P→0；或操作 P+Q＝(P→0)→Q；与操作P·Q＝(P'+Q')'＝(Q→P')'＝(Q→(P→0))→0。但也有研究采用与蕴含操作类似的想法设计与操作的电路[35]，其结构如图9示，和蕴含操作电路完全相同。
输入电压VCLEAR<V1＝V'COND<0,V2＝VCLEAR，`输出结果存储于忆阻器Q真值表如表2所示，记为PANDQ。
Figure BDA0002470522880000171
Figure BDA0002470522880000181
表2与操作真值表
本发明的逻辑操作都会基于上述蕴含逻辑操作电路和与操作电路实现。例如实现异或运算
Figure BDA0002470522880000182
若完全以蕴含操作实现异或逻辑，可以来推导出两种操作步骤：
Figure BDA0002470522880000183
Figure BDA0002470522880000184
这两种操作步骤都一样需要两个辅助忆阻器m1和m2来帮助完成逻辑实现，其运算电路如图10所示。以第一种操作步骤为例，需要的操作步骤以及对应的激励电压序列如表3所示，空白处表示未施加电压。在完成每一个步骤后，每个忆阻器的状态如表4所示。
步骤 操作 V<sub>1</sub> V<sub>2</sub> V<sub>3</sub> V<sub>4</sub>
1 m<sub>1</sub>＝0,m<sub>2</sub>＝0 V<sub>CLEAR</sub> V<sub>CLEAR</sub>
2 m<sub>1</sub>＝P→0 V<sub>COND</sub> V<sub>SET</sub>
3 m<sub>2</sub>＝Q→0 V<sub>COND</sub> V<sub>SET</sub>
4 m<sub>2</sub>＝P→(Q→0) V<sub>COND</sub> V<sub>SET</sub>
5 Q＝(P→0)→Q V<sub>SET</sub> V<sub>COND</sub>
6 m<sub>2</sub>＝Q·m<sub>2</sub> V'<sub>COND</sub> V<sub>CLEAR</sub>
表3操作步骤及施加电压序列
步骤 P Q m1 m2
1 P Q 0 0
2 P Q P'
3 P Q P' Q'
4 P Q P' P'+Q'
5 P P+Q P' P'+Q'
6 P P+Q P' P⊕Q
表4步骤完成后每个忆阻器的状态
3、实验仿真及验证
针对上述提出的异或运算电路的设计方案，在Matlab的Simulink环境下对其正确性进行仿真验证。由于只考虑其开关特性，验证此结构和算法的逻辑正确性，参考类似的仿真工作[],将忆阻器抽象为阻变双稳态单元，并以此为基础对本发明设计的所有忆阻器电路结构进行仿真。
由于本发明主要采用忆阻器的开关特性，所以单个忆阻器采用Matlab中具有阻变双稳态特性的VCS模型。其特性是当控制电压大于阈值电压(VT)和滞回电压(VH) 的和时，开关关闭，此时开关电阻阻值可以视为打开电阻，即RON的参数值， VCLOSE＝VT+VH；当控制电压小于阈值电压和滞回电压的差时，开关打开，此时开关电阻可视为关闭电阻，即ROFF的参数值，VOPEN＝VT-VH。压控开关的示意图如图11所示。
其中1、3两端电压为控制电压，通过改变两端电压值可以改变开关的通断状态。将1、2端连接，3、4端连接在一起，通过调节施加在开关上电压控制开关的通断状态，这和忆阻器在理想状态下的电路特性基本一致。
本发明采用的忆阻器的参数如下：
RON＝1Ω，ROFF＝105Ω，VCLOSE＝1V，VOPEN＝-1V
根据压控开关的特性可以设置压控开关的参数如下：
VT＝0V，VH＝1V,RON＝1Ω，ROFF＝105Ω
其工作条件为其两端控制电压高于1V时，开关电阻为1Ω，处于低阻态，当控制电压小于1V时，开关电阻为105Ω，处于高阻态。为了实时监控忆阻器的阻值状态和通过电压，电流情况，加入测量忆阻器两端电压和通过电流以及计算忆阻器阻值的电路，称为Test模块。图12是第一个单个忆阻器的仿真模型图，图13是第二个单个忆阻器的测试模块图。
公共单元的分析和设计
上面分析了一些实验验证的基本逻辑操作后，接下来对数据进行随机寻址，此时我们需要译码单元；地址的增加，以及一些基本逻辑操作如乘法，除法等需要的计数单元。
4、实验验证和分析
对忆阻器特性验证和分析，Roff＝2*10^5，Ron＝100，如图14所示，图14为忆阻器的仿真图，其横坐标表示输入电压，纵坐标表示输出电流；从图中可看出忆阻器随着电压的变化，其阻值产生变化并可以保存起来。通过基于忆阻器的公共逻辑单元的验证和基于忆阻器的ESN神经网络结果验证，可得出，本发明的各项性能指标均优于现有技术。
5、针对本发明的整体网络的训练过程，如图15所示。
在这一过程，主要是研究从训练样本的输入到整个网络训练完毕的整体过程。初步拟定的研究方案是采用以脉冲电压信号为输入、输出信号的非在片学习方式。
首先将训练数据经过适当的变换转为脉冲电压信号输入到硬件神经网络中，在忆阻器硬件上通过对图像进行简单的卷积操作提取特征值从而大大减少数据训练量。在训练过程中，图像数据的特征值和训练权重都存储与忆阻交叉阵列中。训练过程中产生的复杂运算依然在主机中完成。相当于整体神经网络的搭建是在忆阻器交叉阵列结构和主机上共同完成。设计合适的忆阻器运算电路来实现需要的逻辑运算功能，通过就卷积操作得到图像的特征值。在设计ESN结构时，首先确定储备池的大小，即神经元的个数。与传统的神经网络相同，节点数越多，拟合能力越强。然后随机生成连接矩阵，这个矩阵表示了神经元之间的连接方式以及连接的方向和权值，接下来对矩阵进行缩放矩阵，实际上这是归一化的操作，有时会直接使用一个缩放因子，使用该缩放因子乘以原始的随机生成的矩阵，相比于使用特征值来缩放更加快速。
第二步进行训练。空转过程，实际上就是初始化储备池的状态。由于最开始的输入序列得到储备池状态的噪声会比较大，所以会先使用一些数据来初始化储备池的状态，从而降低噪声的影响。然后使用线性回归确定输出权值，确定ESN的连接权值。
第三步进行使用，此时将训练结果对神经网络的权值矩阵进行赋值输入，即可完善ESN。此时只需要注意输入神经元的数据是图像数据的特征值。在使用时，从图像数据处理结构入口输入图像数据，经过卷积运算得到图像特征值，然后将图像特征值输入到ESN输入神经元中。
本发明中援引的参考文献：
[1]Jaeger H.The“echo state”approach to analysing and trainingrecurrent neural networks[J].Bonn:German National Research Center forInformation Technology GMD Technical Report,2001,148.
[2]Jaeger H,Haas H.Harnessing nonlinearity：predicting chaotic systemsand saving energy in wireless communication[J].Science,2004,304(5667):78.
[3]Verstraeten D,Schrauwen B,Stroobandt D.An experimental unificationof reservoircomputing methods[J].Neural Networks,2007,20(3):391-403.
[4]韩敏,王亚楠.基于储备池主成分分析的多元时间序列预测研究[J].控制与决策,2009,24(10):1526-1530.
[5]韩莹,井元伟,金建宇等.基于改进黑洞算法优化ESN的网络流量短期预测[J].东北大学学报(自然科学版),2018,39(3):311-315.
[6]Holzmann G.Reservoir computing:a powerful black-box framework fornonlinear audio processing[C].Proceedings of the 12th InternationalConference on Digital Audio Effects.Como, 2009,DAFx-09.
[7]李国友,苏侠飞,秦晓磊等.基于回声状态网络的机械臂的视觉伺服控制[J].系统仿真学报,2017,29(8):1845-1850.
[8]Hennessy J L,Patterson D A.Computer Architecture(5th Ed):AQuantitative Approach[M].San Francisco,CA,USA:Morgan Kaufmann PublishersInc.,2011.
[9]J.B.Lont and W.Guggenbuhl.Analog CMOS implementation of amultilayer perceptron with nonlinear synapses[J].IEEE Trans.Neural Netw,1992,2(3):457–465.
[10]F.M.Diasa.Artificial neural networks:A review of commercialhardware[J].Eng.Appl.Artif. Intell,2004,17(8):945-952.
[11]Vandoorne K.Experimental demonstration of silicon photonics chip[J].Nature Communications,2014,5(5):3541.
[12]单祥茹.Cadence Tensilica Vision C5 DSP完美匹配嵌入式神经网络需求[J].中国电子商情 (基础电子),2017,6:20-21.
[13]王念旭.DSP基础与应用系统设计[M].北京:北京航空航天大学出版社,2001.
[14]Wang Ying.Deepburning:Automatic generation of fpga-based learningaccelerators for the neural network family[C].Proc of the 35th Int Conf onComputer-Aided Design.New York,2016,Article No.13.
[15]张平.新图形、新AI解析Imagination新一代GPU及神经网络加速器[J].微型计算机,2019,1:89-92.
[16]O C L.Memristor–the missing circuit element[J].IEEE Transactionson Circuit Theory.1971,18(5):507–519.
[17]Struckov D B,Snider G S,Stewart D R,et al.The missing memristorfound[J]. Nature.2008,453:80–83.
[18]C Y.Challenges and opportunities for HfOX based resistive randomaccess memory[C].In Proceedings of IEEE International Electron DevicesMeeting Washington DC,America, 2011:31.3.1–31.3.4.
[19]Shyam Prasad Adhikari.Memristor Bridge Synapse-Based NeuralNetwork and Its Learning[J].IEEE transaction on neural networks and learningsystems.2012,23(9):1426-1435.
[20]Xue Y B,Yang L,Haykin S.Decoupled echo state networks withlateral inhibition[J].Neural Networks.2007.20(3)：365.
[21]王卓群.一种小波分解回声状态网络时间序列预测方法[J].电子测量与仪器学报.2010,10:947-952.
[22]杨凌.一种改进型回声状态网络及其在声纹识别上的应用[J].中国科技信息.2014,8:142-145.
[23]T.Morishita,Y.Tamura,T.Otsuki,and G.Kan.A BiCMOS analog neuralnetwork with dynamically update weights[J].IEICE Trans.Electron,1992,3(75):297-302.
[24]Yakopcic C,Alom M Z,Taha T M.Memristor crossbar deep networkimple-mentation based on a convolutional neural network[C].Proc of the2016Int Joi-nt Conf on Neural Networks. Piscataway,NJ,2016:963-970.
[25]Hopf M,Ertl T.Accelerating 3D convolution using graphics hardware[C].In Proceedings of IEEE Visualization.San Francisco,America,1999:471-474.
[26]Auciello O.Science and technology of thin films and interfaciallayers in ferroelectric and high-dielectric constant heterostructures andapplication to devices[J].Journal of Applied Physics. 2006,100(5):051614-15.
[27]Wang X,Chen Y,Gu Y,et al.Spintronic memristor temperature sensor[J].IEEE Electron Device Letters.2010,31(1):20-22.
[28]Vontobel P O,Robinett W,Kuekes P J,et al.Writing to and Readingfrom a nano-scale crossbar memory based on memristors[J].Nanotechnology.2009,20:5204–5225.
[29]Eshraghian K,Cho K-R,Kavehei O,et al.Memritor MOS contentaddressable memory
(MCAM):hybrid architecture for future high performance search engines[J].IEEE Transactions on very large scale integration(VLSI)systems.2011,19(8):1407–1417.
[30]Borghetti J,Snider G S,Kuekes P J,et al.‘Memristive’switchesenable‘stateful’logic operations via material implication[J].Nature.2010,464(7290):873–876.
[31]Linares-Barranco B.Exploiting memristance for implementing spike-time-dependent-plasticity in neuromorphic nanotechnology systems[C].InProceedings of the 9th IEEE Conference on Nanotechnology.Genoa,Italy,2009:601–601.
[32]胡飞.基于忆阻器交叉阵列的卷积神经网络电路设计[J].计算机研究与发展,2018,55(5):1097-1107.
[33]Li Boxun.Memristor-based approximated computation[C].Proc of the2013Int Symp on Low Power Electronics and Design.Piscataway,NJ,2013:1-8.
[34]Yilmaz Y,Mazumder P.Threshold read method for multi-bitmemristive crossbar memory [C].In Proceedings of International Symposium onElectronic System Design.Cochin, India,2011:217–222.
[35]张娜,吴俊杰,黄达,et al.忆阻器状态逻辑中与操作的高效设计与实现[J].计算机研究与发展.2012,49(suppl):73–78。

Claims (2)

1.一种基于忆阻器的ESN神经网络图像分类处理方法，其特征在于，所述方法包括以下步骤：获取图像数据，将图像数据输入到训练好的忆阻器的ESN神经网络中，获得图像的类别；
所述忆阻器的ESN神经网络将基于忆阻器的数据存储与运算进行融合，以图像数据为训练对象，利用图像的卷积操作实现图像的预处理功能，筛选出图像预处理所需要的基本逻辑运算，通过参考蕴含电路来对这些基本逻辑运算进行忆阻器的电路设计，从而完成基于忆阻器的数据存储与运算结构，通过图像数据的存储和运算结合来减少训练数据的访存操作；
基于忆阻器的数据存储与运算功能的实现过程为：
步骤1、训练图像的运算存储结构的总体设计，结合忆阻器的存储和逻辑运算能力，设计融合简单逻辑运算的存储结构
1.1存储结构的设计
图像数据的存储结构根据图像数据存储方式可知，图像数据在逻辑上都是M×N的矩阵，每个矩阵的元素根据图像类型的不同而不同，结合忆阻器交叉阵列结构来构建存储结构时，图像数据可一一映射到交叉阵列结构中，一幅M×N大小的8位灰度图像映射到忆阻器交叉阵列结构中，使图像在忆阻交叉阵列中的存储；
灰度图像的每个像素点的像素值P的范围是(0,255)，存储位数是8，用8位2进制数表示，而忆阻器阵列中，8个忆阻器为一组，表示一个像素点的灰度值大小；用高阻态表示逻辑0，低阻态表示逻辑1，这样8个忆阻器就可以表示一个像素点的灰度值大小；
数据存储与运算融合的结构包括至少一个融合单元，每个融合单元包括忆阻器交叉阵列、读写控制模块、脉冲信号生成电路、行驱动电路、列驱动电路、行接地电阻、列接地电阻及读电路、行互联电路、列互联电路，
行驱动电路、列驱动电路通过对应的行总线、列总线与忆阻器交叉阵列相连，行接地电阻与忆阻器交叉阵列的行总线末端连接，列接地电阻及读电路与忆阻器交叉阵列的列总线末端连接，读写控制模块输出脉冲控制信号，使脉冲信号生成电路生成需要的脉冲信号，脉冲信号通过行驱动电路和列驱动电路进行放大从而改变忆阻器交叉阵列的阻值状态；行互联电路连接在忆阻器交叉阵列的行总线上，列互联电路连接在忆阻器交叉阵列的列总线上，行互联电路和列互联电路用于与相邻的融合单元的忆阻器交叉阵列连接；训练数据规模大于当前忆阻器模块时，配合相邻融合单元存储训练数据；
忆阻器交叉阵列由多个通过总线连接的忆阻器按照矩阵形式阵列构成；忆阻器交叉阵列中多个忆阻器一部分用于存储，一部分用于运算，通过控制器发出不同的控制信号来控制忆阻器进行存储或运算，从而实现存储与运算的融合；
1.2图像数据的读写设计过程：
当读取该忆阻器的阻值时，确定读取的忆阻器的位置后，所有的读取放大器的开关闭合，第1行的输入电压置为VR，VR为读电压，满足0<VR<VCLOSE，其他所有行输入电压为VREF，VREF为参考电压，参考电压VREF满足0<VREF<VR；将该忆阻器的读出电压VR和参考电压VREF通过对应放大器进行比较输出，根据放大器工作原理，如果忆阻器状态为1，输出结果为1,反之输出结果为0；只要读取第二个放大器的状态就可以知道忆阻器(1,2)的状态，同理读取其他放大器的状态就可以知道该行所有其他忆阻器的状态；
当写入存储器时，将目标忆阻器输入大于等于正向阈值电压VCLOSE的电压信号，打开所有放大器开关，使放大器处于静默状态，主要通过水平和竖直两条纳米线对忆阻器进行赋值同时需要避免影响到其他忆阻器的状态；除目标忆阻器的纳米总线连通外，其余纳米线的输入均置为0，将写电压分为两部分从水平、竖直纳米线分别输入；将目标忆阻器置1，需要从水平纳米线输入V1＝+Vw/2,再从垂直纳米线输入V1’＝-Vw/2，使目标忆阻器两端电压为Vw，Vw为写电压，满足条件
max{|VSET|,|VCLEAR|}≤VW≤min{|VOPEN|,|VCLOSE|}；若将目标忆阻器置0，则输入V1＝-Vw/2，V1’＝+Vw/2；
其中，VOPEN是反向阈值电压；
步骤2、基于忆阻器的运算逻辑单元电路设计，以实现训练图像预处理的基本操作
选取卷积算法进行训练图像预处理的基本操作，操作过程为，采集图像将图像存储于忆阻交叉电路中；滤波，去除噪声；边缘检测，确定图像最大矩形边缘并分割掉图像中边缘外的空白部分，删除无关数据减少运算量；引入卷积算子与图像进行卷积运算，视情况确认卷积层的个数，卷积核的大小以及步长；激励，对卷积层输出进行非线性映射；池化处理，最大池化或平均池化减少特征值参数的数量，最后得到训练数据合适的特征值；
基于忆阻器的运算逻辑单元电路包含多个异或运算电路，单独一个异或运算电路主要由两个输入忆阻器P、Q以及两个辅助运算忆阻器m1和m2组成，
四个忆阻器P、Q、m1、m2并行排列最终连接在接地电阻上，对应的输入电压分别为V1、V2、V3、V4，输入电压可以对该四个忆阻器进行分别赋值；其中P，Q是存储输入信号状态的存储忆阻器，m1和m2是负责辅助完成逻辑运算的辅助忆阻器，在输入信号输入到P，Q后，首先对m1，m2输入清零电压VCLEAR进行清零操作，然后根据已有的蕴含操作以及与操作赋值电压的步骤对异或运算电路进行赋值，首先通过非操作通过对V1赋值电压VCOND，对V3电压输入VSET，使m1赋值为P的反，同理使m2赋值为Q的反，然后通过对V1输入电压VCOND对V4输入电压VSET，将两结果进行或操作并存储于m2中，这样m2中的结果就是P'+Q'，在通过对已得到的P'和Q取蕴含操作得到P+Q并存储于Q中，最后对V2输入电压V'COND，对V4输入电压VCLEAR，将二者结果进行与操作即(P+Q)(P'+Q')就得到了P⊕Q。
2.根据权利要求1所述的一种基于忆阻器的ESN神经网络图像分类处理方法，其特征在于，忆阻器的ESN神经网络的训练过程采用以脉冲电压信号为输入、输出信号的非在片学习方式，
首先将训练数据经过适当的变换转为脉冲电压信号输入到硬件神经网络中，在忆阻器硬件上通过对图像进行简单的卷积操作提取特征值从而大大减少数据训练量；在训练过程中，图像数据的特征值和训练权重都存储与忆阻交叉阵列中；训练过程中产生的复杂运算在主机中完成；相当于整体神经网络的搭建是在忆阻器交叉阵列结构和主机上共同完成；
设计合适的忆阻器运算电路来实现需要的逻辑运算功能，通过就卷积操作得到图像的特征值；
在设计ESN结构时，首先确定储备池的大小，即神经元的个数；然后随机生成连接矩阵，这个矩阵表示神经元之间的连接方式以及连接的方向和权值，接下来对矩阵进行缩放以实施 归一化的操作；
第二步进行训练：空转过程，初始化储备池的状态，先使用一些数据来初始化储备池的状态以降低噪声的影响；然后使用线性回归确定输出权值，确定ESN的连接权值；
第三步进行使用，此时将训练结果对神经网络的权值矩阵进行赋值输入，即可完善ESN；输入神经元的数据是图像数据的特征值；在使用时从图像数据处理结构入口输入图像数据，经过卷积运算得到图像特征值，然后将图像特征值输入到ESN输入神经元中。
CN202010347137.XA 2020-04-28 2020-04-28 一种基于忆阻器的esn神经网络图像分类处理方法 Active CN111553415B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010347137.XA CN111553415B (zh) 2020-04-28 2020-04-28 一种基于忆阻器的esn神经网络图像分类处理方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010347137.XA CN111553415B (zh) 2020-04-28 2020-04-28 一种基于忆阻器的esn神经网络图像分类处理方法

Publications (2)

Publication Number Publication Date
CN111553415A CN111553415A (zh) 2020-08-18
CN111553415B true CN111553415B (zh) 2022-11-15

Family

ID=72008240

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010347137.XA Active CN111553415B (zh) 2020-04-28 2020-04-28 一种基于忆阻器的esn神经网络图像分类处理方法

Country Status (1)

Country Link
CN (1) CN111553415B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20230169148A1 (en) * 2021-11-30 2023-06-01 International Business Machines Corporation Providing reduced training data for training a machine learning model

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112150343A (zh) * 2020-09-29 2020-12-29 清华大学 基于忆阻器阵列实现二值形态学操作的方法及电子装置
CN112308221B (zh) * 2020-10-14 2024-02-27 成都市深思创芯科技有限公司 一种基于储备池计算的工作记忆硬件实现方法
CN112215855B (zh) * 2020-10-20 2024-04-12 清华大学 基于忆阻器阵列实现图像连通区域判断的方法及电子装置
CN112799513B (zh) * 2021-01-29 2022-07-05 清华大学 信号处理方法、电子装置、信号处理装置
CN113205102B (zh) * 2021-04-13 2022-11-01 宜宾电子科技大学研究院 一种基于忆阻神经网络的车辆标志识别方法
CN113285710B (zh) * 2021-06-04 2023-01-20 广东工业大学 基于忆阻器交叉阵列的逻辑门电路及与非门、或非门实现方法
CN113469271A (zh) * 2021-07-19 2021-10-01 北京邮电大学 一种基于Echo State Network的图像分类方法
CN113987488A (zh) * 2021-10-21 2022-01-28 河南省鼎信信息安全等级测评有限公司 基于忆阻神经网络的恶意软件检测方法及系统
KR102595529B1 (ko) * 2021-11-04 2023-10-27 서울대학교산학협력단 시간 커널 소자, 시간 커널 컴퓨팅 시스템 및 그들의 동작 방법
CN115032946B (zh) * 2022-06-21 2022-12-06 浙江同发塑机有限公司 吹塑机的吹塑控制方法及其系统
CN115081373B (zh) * 2022-08-22 2022-11-04 统信软件技术有限公司 忆阻器的仿真方法、装置、计算设备及可读存储介质
CN115482215B (zh) * 2022-09-20 2023-04-18 广东炬森智能装备有限公司 一种适用于pcb板真假缺陷的识别方法及系统

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103810497A (zh) * 2014-01-26 2014-05-21 华中科技大学 一种基于忆阻器的图像识别系统及方法
CN108388213A (zh) * 2018-02-05 2018-08-10 浙江天悟智能技术有限公司 基于局部可塑性回声状态网络的聚酯纺丝工艺控制方法
CN109542392A (zh) * 2018-11-09 2019-03-29 复旦大学 基于忆阻器交叉阵列的低功耗加权求和电路
CN109800870A (zh) * 2019-01-10 2019-05-24 华中科技大学 一种基于忆阻器的神经网络在线学习系统
CN110443168A (zh) * 2019-07-23 2019-11-12 华中科技大学 一种基于忆阻器的神经网络人脸识别系统
CN110738093A (zh) * 2019-08-16 2020-01-31 杭州电子科技大学 基于改进小世界回声状态网络肌电的分类方法
CN110889672A (zh) * 2019-11-19 2020-03-17 哈尔滨理工大学 一种基于深度学习的学生打卡及上课状态的检测系统
CN110956256A (zh) * 2019-12-09 2020-04-03 清华大学 利用忆阻器本征噪声实现贝叶斯神经网络的方法及装置
CN111027619A (zh) * 2019-12-09 2020-04-17 华中科技大学 一种基于忆阻器阵列的K-means分类器及其分类方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20200012924A1 (en) * 2018-07-03 2020-01-09 Sandisk Technologies Llc Pipelining to improve neural network inference accuracy

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103810497A (zh) * 2014-01-26 2014-05-21 华中科技大学 一种基于忆阻器的图像识别系统及方法
CN108388213A (zh) * 2018-02-05 2018-08-10 浙江天悟智能技术有限公司 基于局部可塑性回声状态网络的聚酯纺丝工艺控制方法
CN109542392A (zh) * 2018-11-09 2019-03-29 复旦大学 基于忆阻器交叉阵列的低功耗加权求和电路
CN109800870A (zh) * 2019-01-10 2019-05-24 华中科技大学 一种基于忆阻器的神经网络在线学习系统
CN110443168A (zh) * 2019-07-23 2019-11-12 华中科技大学 一种基于忆阻器的神经网络人脸识别系统
CN110738093A (zh) * 2019-08-16 2020-01-31 杭州电子科技大学 基于改进小世界回声状态网络肌电的分类方法
CN110889672A (zh) * 2019-11-19 2020-03-17 哈尔滨理工大学 一种基于深度学习的学生打卡及上课状态的检测系统
CN110956256A (zh) * 2019-12-09 2020-04-03 清华大学 利用忆阻器本征噪声实现贝叶斯神经网络的方法及装置
CN111027619A (zh) * 2019-12-09 2020-04-17 华中科技大学 一种基于忆阻器阵列的K-means分类器及其分类方法

Non-Patent Citations (9)

* Cited by examiner, † Cited by third party
Title
Global exponential stability of uncertain memristor‑based recurrent neural networks with mixed time delays;Jianmin Wang等;《International Journal of Machine Learning and Cybernetics》;20171212;第10卷;第743-755页 *
Hardware Implementation of Echo State Networks using Memristor Double Crossbar Arrays;Amr M. Hassan等;《IJCNN》;20170703;第2171-2177页 *
回声状态网络优化设计及应用研究;王磊;《中国博士学位论文全文数据库 信息科技辑》;20200315(第（2020）03期);I140-16 *
基于CMOS忆阻器混合电路的递归神经网络研究与设计;李瑶;《中国优秀硕士学位论文全文数据库 信息科技辑》;20190115(第（2019）01期);I135-813 *
基于忆阻器交叉阵列的卷积神经网络电路设计;胡飞等;《计算机研究与发展》;20181231;第55卷(第5期);第1097-1107页 *
基于忆阻器的神经网络应用研究;陈佳等;《微纳电子与智能制造》;20191231;第1卷(第4期);第24-38页第1.1、3节、图2、6、7 *
基于忆阻器的逻辑网络建模与验证;贾仲言;《中国优秀硕士学位论文全文数据库 信息科技辑》;20210415(第（2021）04期);I135-124 *
基于改进黑洞算法优化ESN的网络流量短期预测;韩莹等;《东北大学学报(自然科学版)》;20180331;第39卷(第3期);第311-315页 *
忆阻计算时代来临了吗？;江先阳等;《微纳电子与智能制造》;20200315;第2卷(第01期);第12-36页 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20230169148A1 (en) * 2021-11-30 2023-06-01 International Business Machines Corporation Providing reduced training data for training a machine learning model
US11853392B2 (en) * 2021-11-30 2023-12-26 International Business Machines Corporation Providing reduced training data for training a machine learning model

Also Published As

Publication number Publication date
CN111553415A (zh) 2020-08-18

Similar Documents

Publication Publication Date Title
CN111553415B (zh) 一种基于忆阻器的esn神经网络图像分类处理方法
Sung et al. Perspective: A review on memristive hardware for neuromorphic computation
US10740671B2 (en) Convolutional neural networks using resistive processing unit array
WO2022179533A1 (zh) 一种量子卷积操作器
Zhang et al. Memristive quantized neural networks: A novel approach to accelerate deep learning on-chip
CN113505887A (zh) 一种针对忆阻器误差的忆阻器存储器神经网络训练方法
Bao et al. Toward memristive in-memory computing: principles and applications
Yilmaz Reservoir computing using cellular automata
Gupta et al. FPGA implementation of simplified spiking neural network
Pannu et al. Design and fabrication of flow-based edge detection memristor crossbar circuits
Vianello et al. Resistive memories for spike-based neuromorphic circuits
Bennett et al. Contrasting advantages of learning with random weights and backpropagation in non-volatile memory neural networks
Liu et al. 3D Convolutional Neural Network based on memristor for video recognition
Zayer et al. RRAM crossbar-based in-memory computation of anisotropic filters for image preprocessingloa
Chakraborty et al. Input-aware flow-based computing on memristor crossbars with applications to edge detection
Sun et al. Analysis and optimization of network properties for bionic topology hopfield neural network using gaussian-distributed small-world rewiring method
Dong et al. Performance estimation for the memristor-based computing-in-memory implementation of extremely factorized network for real-time and low-power semantic segmentation
Tang et al. Energy efficient spiking neural network design with RRAM devices
Van Nguyen et al. Comparative study on quantization-aware training of memristor crossbars for reducing inference power of neural networks at the edge
Sang et al. Image recognition based on multiscale pooling deep convolution neural networks
Vianello et al. Multiple binary oxrams as synapses for convolutional neural networks
Gong et al. Convolutional networks with short-term memory effects
Slavova et al. Mathematical analysis of memristor CNN
Guo et al. A multi-conductance states memristor-based cnn circuit using quantization method for digital recognition
Yu et al. Design of multilayer cellular neural network based on memristor crossbar and its application to edge detection

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right
TA01 Transfer of patent application right

Effective date of registration: 20220920

Address after: 201 Fenghua Road, Ningbo, Zhejiang 315000

Applicant after: Ningbo University of Technology

Address before: 150080 No. 52, Xuefu Road, Nangang District, Heilongjiang, Harbin

Applicant before: HARBIN University OF SCIENCE AND TECHNOLOGY

GR01 Patent grant
GR01 Patent grant