CN103430186A - 神经网络电路的学习方法 - Google Patents

神经网络电路的学习方法 Download PDF

Info

Publication number
CN103430186A
CN103430186A CN2012800140896A CN201280014089A CN103430186A CN 103430186 A CN103430186 A CN 103430186A CN 2012800140896 A CN2012800140896 A CN 2012800140896A CN 201280014089 A CN201280014089 A CN 201280014089A CN 103430186 A CN103430186 A CN 103430186A
Authority
CN
China
Prior art keywords
circuit
electrode
input
variable resistor
nerve network
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN2012800140896A
Other languages
English (en)
Inventor
西谷雄
金子幸广
上田路人
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Holdings Corp
Original Assignee
Matsushita Electric Industrial Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Matsushita Electric Industrial Co Ltd filed Critical Matsushita Electric Industrial Co Ltd
Publication of CN103430186A publication Critical patent/CN103430186A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/06—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons
    • G06N3/063—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons using electronic means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/049—Temporal neural networks, e.g. delay elements, oscillating neurons or pulsed inputs
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • General Health & Medical Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Computational Linguistics (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Artificial Intelligence (AREA)
  • Neurology (AREA)
  • Semiconductor Memories (AREA)

Abstract

本发明提供一种能够以更少的数量的元件的结构实现利用脉冲定时进行的学习动作的神经网络电路的学习方法。突触电路（20）具备可变电阻元件（10），构成为能在第一输入信号（其他的神经网络电路元件（40）的输出信号）能够输入至可变电阻元件（10）的第一电极（13）的状态，和不能够输入的状态之间进行切换，构成为神经元电路（30）具备产生双极性锯齿形脉冲电压的波形发生电路（32），使第一输入信号具有双极性锯齿形脉冲波形，在第一输入信号能够输入至第一电极（13）的状态的期间，对可变电阻元件（10）的控制电极（15）输入在与该可变电阻元件（10）相同的神经网络电路元件（40）内生成的双极性锯齿形脉冲电压，根据依赖于施加至第一电极（13）的电压与施加至控制电极（15）的电压的输入时刻差而产生的第一电极（13）和控制电极（15）之间电位差，使可变电阻元件（10）的电阻值发生变化。

Description

神经网络电路的学习方法
技术领域
本发明涉及神经网络电路的学习方法。
背景技术
当前，计算机的发展是显著的，在日常生活中的多种多样的情况下得以利用。但是，现有的计算机的处理能力的发展是通过部件的细微化和算法的进化而实现的，基本的信息处理的原理没有变化。另一方面，这些计算机，由于其处理方式的特性，对于人能够容易地进行的动作非常不擅长。例如实时的面部识别、空间结构的把握等。这样的处理的能力，即使使用最新的算法和最大规模的计算机，也无法赶上人类的处理速度。
与此相对，模拟生物体的脑的信息处理方式的计算机的研究正在进行。该处理模型中最基本的是神经网络（neural network）。
神经网络是模拟生物体的神经回路网的网络。在此，已知在生物体的神经细胞中，对大致一定形状的脉冲（尖峰脉冲，spike pulse）进行交互。在此，作为实现神经网络的神经网络电路，提出了更忠实地模拟生物体的神经回路、对脉冲直接进行处理的模型（model）。例如，在专利文献1中，公开了使用脉冲密度表现信息的模型（脉冲密度模型）。该模型为使用例如一定时间中传播的脉冲的数量表现模拟信息的模型。另外，在专利文献2中，公开了使用脉冲定时（Pulse timing）表现信息的模型（脉冲定时模型）。该模型是使用脉冲与脉冲的时间间隔来表现模拟信息的模型。在对这些脉冲信号进行处理的模型中，神经元（neuron）间交互的信号是一定（固定）波形的信号，所以具有容易硬件化的优点。但是，在专利文献1这样的脉冲密度模型中需要提取出密度，所以为了表现信息需要花费一定的时间。因此，具有无法表现神经元的细微的时间标度下的动作的缺点。另一方面，如专利文献2这样的脉冲定时模型，能够利用一个一个的脉冲表现信息，所以能够进行比脉冲密度模型更高速的信息处理。例如，在非专利文献1中，公开了通过使用脉冲定时模型，能够得到比使用脉冲密度模型的情况下更高的性能的情况。
现有技术文献
专利文献
专利文献1：日本特开平7-114524号公报
专利文献2：日本特开2010-146514号公报
非专利文献
非专利文献1:W.Maass、“Networks of Spiking Neurons：TheThird Generation of Neural Network Models、”Neural Networks、vol.10、no.9、pp.1659－1671、1997.
发明内容
发明要解决的技术问题
但是，在实现如专利文献2这样的脉冲定时模型的神经网络电路中，具有神经网络电路整体的电路面积变大的技术问题。
本发明的目的在于，提供一种能够以更少的数量的元件的结构实现利用脉冲定时进行的学习动作的神经网络电路的学习方法。
用于解决技术问题的技术手段
为了解决上述技术问题的一个方式的神经网络电路的学习方法，为通过连接多个神经网络电路元件（40）而构成的神经网络电路的学习方法，上述多个神经网络电路元件（40）分别具备：被输入其他的神经网络电路元件（40）的输出信号（以下称为第一输入信号）的至少1个突触电路（20）；和被输入上述至少1个突触电路（20）的输出信号的1个神经元电路（30），上述突触电路（20）具备可变电阻元件（10），该可变电阻元件（10）包括：形成于半导体膜（11）上的第一电极（13）和第二电极（14）；和在上述半导体膜（11）的主面隔着铁电体（强电介质）膜（12）形成的控制电极（15），响应上述第一电极（13）和上述控制电极（15）之间的电位差，上述第一电极（13）和上述第二电极（14）之间的电阻值发生变化，能够切换在可变电阻元件（10）的上述第一电极（13）能够输入上述第一输入信号的状态和不能输入上述第一输入信号的状态，上述神经元电路（30）具有产生双极性锯齿形脉冲电压的波形发生电路（32），上述第一输入信号具有双极性锯齿形脉冲波形，在上述第一输入信号能够输入至上述第一电极（13）的状态的期间，对上述可变电阻元件（10）的上述控制电极（15）输入在与该可变电阻元件（10）相同的神经网络电路元件（40）内生成的上述双极性锯齿形脉冲电压，根据依赖于施加至上述第一电极（13）的电压与施加至上述控制电极（15）的电压的输入时刻差而产生的上述第一电极（13）和上述控制电极（15）之间的电位差，使上述可变电阻元件（10）的电阻值发生变化。
本发明的上述目的、其他目的、特征和优点，通过参照添加的附图、根据以下的优选实施方式的详细的说明能够清楚。
发明的效果
根据本发明，能够以更少的数量的元件结构实现利用脉冲定时进行的学习动作。
附图说明
图1表示实施方式的神经网络电路元件的框图。
图2A表示实施方式的第一输入电压和第三输入电压中使用的双极性锯齿形脉冲电压的形状。
图2B表示实施方式的第二输入信号电压中使用的方波脉冲电压的形状。
图3表示在实施方式的第一开关中，对图2A所示的双极性锯齿形脉冲电压VPRE的导通和非导通，使用图2B所示的方波脉冲电压VPOST2，进行开关的动作。
图4A表示实施方式的可变电阻元件的截面图。
图4B表示实施方式的可变电阻元件的电路记号。
图5表示实施例的STDP的评价电路。
图6A表示实施例1的第一输入电压中使用的双极性锯齿形脉冲电压的形状。
图6B表示实施例1的第二输入信号电压中使用的方波脉冲电压的形状。
图6C表示实施例1的非对称型STDP。
图7表示实施例1的积分动作的评价中使用的电路。
图8表示实施例1的积分动作的评价结果。
图9A表示用于说明阶层型神经网络的概略图。
图9B表示用于说明相互结合型神经网络的概略图。
图10表示用于说明一般的神经元的动作的概略图。
图11表示用于说明积分点火（Integrate-and-Fire）型神经元的动作的概略图。
图12A表示用于说明STDP的概略图。
图12B表示表现非对称型STDP的特征的概略图。
图12C表示表现对称型STDP的概略图。
图13表示专利文献2公开的电阻变化型存储元件的截面图。
图14A表示表现专利文献2公开的现有的STDP神经网络电路元件的框图。
图14B表示表现专利文献2公开的现有的突触电路的STDP部的框图。
图14C表示表现专利文献2公开的现有的突触电路的STDP部的框图。
图15表示实施方式的信号发生电路。
具体实施方式
[神经网络的说明]
首先，对作为本发明的实施方式的前提的神经网络和用于实现该网络的现有的神经网络电路的技术问题进行更详细的说明。神经网络是模拟生物体的神经回路网的网络。神经网络以模拟作为神经回路网的功能单位的神经细胞的神经元为功能单位，以网络状配置多个神经元而进行信息处理。例如有如图9A所示以阶层状连接神经元100而得的阶层型神经网络、如图9B所示将神经元100彼此相互连接而得的相互结合型神经网络（霍普菲尔德网络，Hopfield Network）。
神经网络大体上具有两种功能。第一种为从输入得到输出的“处理”功能，第二种为将神经网络整体的输入输出的关系设定为所期望的关系的“学习”功能。
[处理功能]
在此以阶层型神经网络电路为例对信息处理的动作进行说明。图9A所示的阶层型神经网络电路包括输入层400、中间层500、输出层600三个层。各层至少包含1个神经元100。输入层400与中间层500的各神经元100连接，同样地，中间层500的各神经元100与输出层的各神经元100连接。输入信号200向输入层400输入，以中间层500、输出层600的顺序传播，从输出层600输出。在神经元100，对输入值进行后述的规定的运算，将其输出值向下一个层的神经元传播。由此，从输出层600输出的输出值，成为网络的最终输出300。该一系列动作为神经网络电路的信息处理，包含于中间层500的神经元足够多时，能够实现任意的输入输出。图9A所示的阶层型神经网络电路具备3个层，但也可以具备多个中间层500。
接着，对作为神经网络电路的构成单位的神经元进行说明。图10为神经元的示意图。神经元100具备突触（synapse）部121、122和神经元部130。此外，突触部121、122的数量等于与前级连接的神经元的数量，即输入信号的数量。突触部121、122分别对来自外部的多个输入信号111、112进行加权。加权的值（w1、w2）称为连接权重。神经元部130，对由突触部121、122加权后的输入信号的和进行计算，将对和的值进行非线性运算而得的值输出。在此，来自外部的输入信号分别表示为xi（1、2、……、n）。n等于输入信号的数量。如式1所示，突触部121、122针对各输入信号，对对应的连接权重的值wi（1、2、……、n）进行乘法运算，神经元部130对它们的和Vn进行计算。
Vn＝Σwixi     （式1）
在此，Σ为关于i的和记号。
进而神经元部130，将对求得的和Vn进行非线性运算f的结果作为输出值y。由此神经元部130的输出y如式2所示。
y＝f（Vn）       （式2）
非线性函数f使用具有饱和特性的单调增加函数。例如，多使用阶跃函数（阶梯函数）或S型函数（sigmoid function）。
神经网络电路中，多个神经元部130能够同时进行运算，所以具有并行处理性。即，其特长在于，与现有的计算机的逐次信息处理不同，能够进行并行信息处理。
[学习功能]
神经网络电路的重要的特征，不仅在于如上所述的从输入得到输出的“处理”功能，还在于具备“学习”功能这方面。在此所说的学习，是指通过对上述的突触的连接权重进行更新，将神经网络电路整体的输入输出的关系设定为所期望的关系。
[脉冲神经元模型]
上面详细叙述了神经网络的处理功能和学习功能。在上面说明中使用的模型中，在神经元间传播的信号，是将电流或电位的值以模拟值表现的信号。与此相对，已知在生物体的神经细胞中，对大致一定形状的脉冲（尖峰脉冲）进行交互。在此，提出了更忠实地模拟生物体的神经回路，对脉冲直接处理的模型。例如，在专利文献1中，公开了使用脉冲密度表现信息的模型（脉冲密度模型）。该模型为使用例如一定时间中传播的脉冲的数量表现模拟信息的模型。另外，在专利文献2中，公开了使用脉冲定时表现信息的模型（脉冲定时模型）。该模型是使用脉冲与脉冲的时间间隔来表现模拟信息的模型。在对这些脉冲信号进行处理的模型中，神经元间交互的信号是一定（固定）波形的信号，所以具有后述的容易硬件化的优点。但是，在脉冲密度模型中需要提取出密度，所以为了表现信息需要花费一定的时间。因此，具有无法表现神经元的细微时间标度下的动作的缺点。另一方面，脉冲定时模型，能够利用一个一个的脉冲表现信息，所以能够进行比脉冲密度模型更高速的信息处理。例如，在非专利文献1中，公开了通过使用脉冲定时模型，能够得到比使用脉冲密度模型的情况下更高的性能的情况。
如上所述，作为能够适用于使用脉冲的信息表现的神经元的动作模型，提出了积分点火（Integrate-and-Fire）模型。在此，对具有2个输入端子的神经元的积分点火动作，用图11进行说明。
如图11所示，从外部或其他的神经元，将输入脉冲x1输入至突触1、将输入脉冲x2输入至突触2时，在输入脉冲的时刻，在各个突触部出现单峰性的电压变化。这样的突触部的电位称为突触后电位（Post-synaptic potential下面简称为“PSP”）。图11从上起第三个和第四个图表，表示突触1和突触2的PSP的时间变化P1（t）和P2（t）。PSP的高度与突触结合强度成比例。在此t表示时间。
神经元对来自与之连接的所有的突触的PSP的总和进行运算。这被称为神经元的内部电位Vn（t）。向神经元的输入端子为2个时，如图11的从上起第五个图表所示，内部电位Vn（t）为P1（t）和P2（t）之和。作为一般的表示，内部电位Vn（t）如式3所示。
Vn（t）＝ΣPi（t）      （式3）
在此，Pi为突触i的PSP，Σ为关于i的和记号。
如图13所示，内部电位Vn超过预先决定的阈值Vth时，该神经元输出脉冲信号y。这被称为神经元的“点火（Fire）”。脉冲输出y从神经元输出、经过一定的传递时间tDelay后，输入至其他的神经元。
使用由脉冲定时实现的信息表现时，即使在学习动作的突触连接权重的更新中也能够利用脉冲定时。特别是，使用尖峰定时突触可塑性（Spike-timing dependent synaptic plasticity，以下简称为“STDP”）的性质的学习动作受到注目。STDP的特征在于，在着眼于某突触1时，依赖于将信号送至突触1的神经元（前神经元）点火的时刻，和接收在突触1加权后的信号的神经元（后神经元）点火的时刻，突触1的突触连接权重发生变化。在实际的生物的神经细胞中，能够观测到几种STDP。
在此，使用图12A，对STDP进行说明。如图12A所示，设连接于突触120的前神经元点火的时刻为tPRE，令后神经元点火的时刻为tPOST。STDP是指，将此时的tPRE和tPOST的时间差tPOST-tPRE作为函数，突触的结合强度w变化的特性。已知STDP大体上分为2种类。图12B所示的特性为非对称型STDP，突触结合强度的变化量Δw不仅依赖于2个脉冲的时间差tPOST-tPRE，还依赖于两个脉冲的时间顺序。图12C所示的特性为对称型STDP，突触结合强度的变化量Δw仅由2个脉冲的时间差tPOST-tPRE的函数决定，不依赖于脉冲的顺序。
[集成电路化]
上面对神经网络的概况进行了详细叙述，但构成神经网络电路时，上述的神经元的功能如何实现是一个问题。在现有技术中，多数情况下使用现有型计算机，使用通过软件处理实现神经元的功能的方案。但是，在这种情况下，多个神经元的处理由CPU分时进行，所以本来的并行信息处理并没有进行。因此，使用硬件构成神经元而实现集成电路化是必须的。
如上所述，表现基于利用脉冲定时实现的信息表现的神经网络电路能够实现较高的性能。另外，神经元间交互的信号是一定（固定）波形的信号，所以容易硬件化。所以，近年来，安装有使用STDP的学习功能的神经网络的硬件化，即关于神经网络电路的实现的研究得以广泛进行。在包含使用STDP的学习功能的现有的神经网络电路中，实现适于将突触结合强度作为模拟量存储的元件是最大的技术问题。对此，例如在专利文献2中，公开了将可变电阻型存储元件的可变电阻值作为突触连接权重存储的方案。图13为专利文献2公开的可变电阻型存储元件720的截面示意图。可变电阻型存储元件720具有由上部电极721和下部电极723夹着金属氧化膜722的结构。该元件是在上部电极721和下部电极723之间施加电压时，依赖于流过的电流值、上部电极721和下部电极723之间的电阻值非易失地变化的元件。
图14A是专利文献2公开的现有的STDP神经网络电路元件的框图。在此，神经网络电路元件，是用硬件对作为神经网络的功能单位的神经元进行再现的元件。神经网络电路元件700包括多个突触电路710和1个神经元电路730。突触电路710使用可变电阻型存储元件720对突触连接权重进行存储。另外，通过上述方案对可变电阻型存储元件720的电阻值进行变更，实现学习功能。图14B和图14C是关于图14A中表示的STDP部的具体结构在专利文献2中例示的电路图。
由图9A和图9B可知，为了构成神经网络电路，针对1个神经元电路，需要多个输入端子。另外，随着神经网络电路整体的神经网络电路元件的数量的增加，针对1个神经元电路所需的输入端子的数量增加。针对1个神经元电路，需要与输入端子的数量相同数量的突触电路。因此，在构成由多个神经网络电路元件形成的神经网络电路时，需要非常多的突触电路。例如，在图9B所示的相互结合型神经网络电路中，神经元的数量为n时需要的突触的数量为n的2次方。因此，为了使神经网络电路的面积更小，突触电路的结构的简略化是重要的。
在现有的神经网络电路元件700中，在突触电路710中生成向神经元电路730传播的信号，和用于通过STDP对电阻变化型存储元件720的突触权重进行更新的信号。例如，在图14A中的脉冲发生部或STDP部生成波形。因此，在突触电路内，需要图14B和图14C所示的信号发生器和运算电路，突触电路710的结构将变得大规模化。
由以上的方面可知，在现有的突触电路710及其驱动方法中，存在突触电路710的面积变得极大的技术问题，使用该电路的神经网络电路的规模也变得很大。
针对上述现有的技术问题，本发明的发明者们，经过锐意研究，得到了下面的实施方式，作为能够以更少的数量的元件的结构实现通过STDP实现的学习动作的神经网络电路的学习方法和神经网络电路。
本发明的发明者们，注意到在现有的神经网络电路元件700中，在突触电路710内生成用于更新突触权重的非线性波形，是由于输入至突触电路730的来自其他的神经网络电路元件的信号（在此称为其他输入信号）是尖峰脉冲本身（图11的输入脉冲x1）。即，在现有的结构中，由于其他的输入信号为尖峰脉冲，所以为了与和输入的该突触电路710相同的神经网络电路元件700生成的尖峰脉冲（在此称为自身输入信号）进行比较，需要将其他输入信号作为触发器由该突触电路710另外产生非线性波形。
在此，本发明的发明者们，令神经网络电路元件的输出信号自身为非线性波形，令其他输入信号和自身输入信号都为非线性波形，对它们进行比较，由此得出了能够无需再由输入其他的输入信号的突触电路另外生成非线性波形的结论。进而，得出了在对非线性波形彼此进行比较时，为了有效地检测出输入时刻差，优选使用后述的双极性锯齿形波形（bipolar sawtooth waveform）作为该非线性波形的结论。
以下参照附图说明本发明的实施方式的神经网络电路的学习方法。
（实施方式）
图1表示实施方式的神经网络电路元件40的框图。1个神经网络电路元件40包括至少1个输入端子51、与输入端子51数量相同的突触电路20、1个神经元电路30和1个输出端子52。神经网络电路，如图9A和图9B所示，由多个神经网络电路元件40连接构成。具体而言，神经网络电路元件40的输出端子52，与其他的神经网络电路元件40的输入端子51连接。
神经网络电路元件40的输入端子51，与突触电路20的第一输入端子41连接。突触电路20的输出端子44，与神经元电路30的输入端子45连接。神经元电路30的第一输出端子46，与神经网络电路元件40的输出端子52连接。此外，在图1中，为便于观察附图，仅记载了1个神经元电路30和1个突触电路20，但实际上在1个神经元电路30连接有多个突触电路20。
神经元电路30，包括积分电路31、波形发生电路32和延迟电路33。
神经元电路30的输入端子45，与积分电路31连接。积分电路31，对从与神经元电路30连接的多个突触电路20流入的电流的和进行运算。而且，运算值超过规定的值时，向波形发生电路32输出信号（触发器信号）。
信号发生电路32，以来自积分电路31的信号作为触发器，生成非线性波形脉冲电压VPOST1和开关脉冲电压VPOST2。非线性波形脉冲电压VPOST1，例如为图2A所示的形状，或将这些进行符号反转而形成的形状。在此将图2A所示的非线性波形脉冲电压称为“双极性锯齿形脉冲电压”。双极性锯齿形脉冲电压的特征在于，最初为0伏特的电位，随着时间经过上升至规定的正电位，其后降低到规定的负电位，然后再恢复为0伏特。在开关脉冲电压VPOST2，能够使用例如图2B所示的方波脉冲电压。
例如，信号发生电路32，如图15所示，具备以来自积分电路31的输出信号为触发器进行驱动的数字/模拟转换器321，和存储有用于生成双极性锯齿形脉冲电压的数字波形数据的数字存储器322。数字/模拟转换器321，在输入来自积分电路31的输出信号时，从数字存储器322读出数字波形数据，将其转换为模拟波形输出。
非线性波形脉冲电压VPOST1，输出至神经元电路30的第二输出端子47。第二输出端子47，与连接至神经元电路30的、其他所有的突触电路20的第三输入端子43连接，作为第三输入信号电压80被输入。另外，非线性波形电压VPOST1通过延迟电路33经过规定的延迟时间后，输出至第一输出端子46。神经元电路30的第一输出端子46，与神经网络电路元件40的输出端子52连接，所以延迟电路33的输出信号成为神经网络电路元件40的输出信号。而且，该输出信号作为第一输入信号电压被输入至其他的神经网络电路元件（省略图示）的突触电路的第一输入端子。开关脉冲电压VPOST2，输出至神经元电路30的第三输出端子48。第三输出端子48，与连接至神经元电路30的、所有的突触电路20的第二输入端子42连接，作为第二输入信号电压70被输入。
突触电路20，具备第一开关22、第二开关21、可变电阻元件10和规定的直流电压源23。突触电路20的第一输入端子41，与第一开关22的第一输入端子26连接。突触电路20的第二输入端子42，与第一开关的控制端子29连接。
第一开关22的输出端子28，与可变电阻元件10的第一电极13连接。突触电路20的第三输入端子43，与可变电阻元件10的控制电极15连接。突触电路20的输出端子44，与可变电阻元件10的第二电极14连接。突触电路20的输出端子44，与神经元电路30的输入端子45连接。向突触电路20的第一输入端子41输出的第一输入信号电压60，为来自其他的神经网络电路元件（省略图示）的非线性波形脉冲电压VPRE。另外，向突触电路20的第二输入端子42输出的第二输入信号电压70，为神经元电路30的波形生成电路32生成的开关脉冲电压VPOST2。另外，向突触电路20的第三输入端子43输出的第三输入信号电压80，为相同神经网络电路元件40内的神经元电路30的波形生成电路32生成的非线性波形脉冲电压VPOST1。
在此，本实施方式的神经网络电路元件40的结构中的重点在于，波形生成均由神经元电路30进行，使用生成的非线性波形脉冲电压VPOST1和开关脉冲电压VPOST2进行处理和学习动作。由此能够使突触电路20简化。
接着，对可变电阻元件10进行说明。图4A和图4B分别表示可变电阻元件10的截面示意图和电路记号。可变电阻元件10具备半导体膜11、铁电体膜12、第一电极13、第二电极14和控制电极15。Z轴为铁电体膜12的法线方向。X轴为与Z轴正交的方向。另外，对可变电阻元件10的电路记号如图4B所示地标记。在图1中，基于图4B的标记表示组入了该可变电阻元件10的神经网络电路元件40。
半导体膜11的材料例如为ZnO、GaN或InGaZnO。铁电体膜12的材料例如为Pb（Zr、Ti）O3、Sr（Bi、Ta）O，或Bi12TiO20。第一电极13、第二电极14和控制电极15例如为由铂膜和钛膜构成的层叠体。
半导体膜11、铁电体膜12和控制电极15沿Z轴层叠。在半导体膜11的表侧的面，配置有第一电极13和第二电极14。
接着，对于本实施方式的、可变电阻元件10的可变电阻值，用图4A进行说明。可变电阻元件10的可变电阻值，为第一电极13和第二电极14之间的电阻值。铁电体膜12的一部分具有上方向的极化方向时，该一部分上层叠的半导体膜11的部分具有低电阻。另一方面，铁电体膜12的一部分具有下方向的极化方向时，该一部分上层叠的半导体层11的部分具有高电阻。此时，第一电极13和第二电极14之间的电阻值，成为第一电极13和第二电极14所夹的区域的半导体的电阻值。由此，根据该区域之下层叠的铁电体膜12中具有上方向和下方向的极化方向的区域的比例，第一电极13和第二电极14之间的电阻值连续地变化。
接着，对于本实施方式的可变电阻元件10的电阻值的控制方法，用图4A进行说明。可变电阻元件10中，通过在第一电极13、第二电极14和控制电极15之间设置电位差，使铁电体膜12的极化方向发生变化，控制第一电极13和第二电极14之间的电阻值。例如，以第一电极13和第二电极14为基准，在两电极和控制电极15之间设置正的电位差时，通过铁电体膜12的极化实现的电场的朝向容易朝向上方向（半导体膜11侧）。相反，在设置负的电位差时，通过铁电体膜12极化实现的电场的朝向容易朝向下方向（控制电极15侧）。另外，施加的电位差的绝对值越大，通过电位差实现的铁电体膜12的极化的变化量越大。因此，设置正的电位差时，第一电极13和第二电极14之间的电阻值减少，设置负的电位差时第一电极13和第二电极14之间的电阻值增加，这些电阻值的变化随着施加的电位差的绝对值越大而越显著。在此，上方向是指半导体膜11层叠的方向，下方向是指控制电极15层叠的方向。
在此，对于通过在第一电极13、第二电极14和控制电极15之间设置电位差，对可变电阻元件10的电阻值进行控制的方案进行了说明，但例如，通过在第一电极3和控制电极15之间设置电位差，或在第二电极14和控制电极15之间设置电位差，也能够对可变电阻元件10的电阻值进行控制。
接着对神经网络电路元件40的动作的详细情况进行说明。
首先对处理动作进行说明。
在“处理”动作期间，根据突触电路的第二输入信号电压70，第一开关22，与可变电阻元件10的第一电极13和第一开关22的第二输入端子27保持导通的状态。
另外，第二开关21，在作为第一输入信号的非线性波形脉冲电压VPRE输入至突触电路20的期间，将供给规定的第一基准电压（电源电压VDD）的直流电压源（第一基准电压源）23和可变电阻元件10的第一电极13连接。即，从其他的神经网络电路元件（省略图示），非线性波形脉冲电压VPRE作为第一输入信号电压60被向突触电路20输入时，根据该非线性波形脉冲电压VPRE，第二开关21开闭。例如，第二开关21，在非线性波形脉冲电压VPRE为规定的电压以上的HI电平的期间为闭合状态，在其以外的期间为打开状态。另外，突触电路20的第二电极14，成为与接地电压（以与第一基准电压不同的方式，从第二基准电压源供给的第二基准电压）相等的电位。
可变电阻元件10的第一电极13和第一开关22的第二输入端子27，利用第一开关22导通，所以第二开关21成为闭合状态时，作为第一基准电压源的直流电压源23和可变电阻元件10的第一电极13连接。可变电阻元件10，如上所述，具有第一电极13和第二电极14之间的电阻值可变的特性。通过使第二开关21为闭合状态，在可变电阻元件10的第一电极13和第二电极14之间施加有电源电压VDD，从直流电压源23向可变电阻元件10的第二电极14，与可变电阻元件10的当前的传导率（电阻值的倒数）成比例的电流流过，输入至神经元电路30。输入至神经元电路30的电流的大小，与突触连接权重w成比例，表现图11的PSP（P1（t）、P2（t））。由此，在本实施方式中，可变电阻元件10的传导率（电阻值的倒数）相当于突触连接权重w。
向这样的神经元电路30的输入，是从多个其他的神经网络电路元件经由突触电路20非同步地施加的。来自这些多个突触电路20的输入电流，在神经元电路30的积分电路31进行时间空间求和（时间求和和空间求和）。由时间空间求和生成的积分电压视为内部电位Vn。内部电位Vn超过规定的阈值电压Vth时，波形发生电路32生成脉冲电压（VPOST1、VPOST2）。其中，波形发生电路32生成的非线性波形脉冲电压VPOST1，在经过由延迟电路33设定的规定的延迟时间后，向其他的神经网络电路元件电路（省略图示）的突触电路的第一输入端子施加。该延迟时间相当于神经元模型中的传递延迟时间tDelay。
接着，对学习动作，特别是利用STDP的学习动作进行说明。
在“学习”动作时，神经元电路30的波形发生电路32与非线性波形脉冲电压VPOST1同时生成开关脉冲电压VPOST2。例如，以图2A和图2B的各个中分别以虚线表示的时刻Tin为相同时刻的方式，输出脉冲电压。非线性波形脉冲电压VPOST1作为第三输入信号电压80向突触电路20的可变电阻元件10的控制电极15施加。开关脉冲电压VPOST2作为第二输入信号电压60向突触电路20的第一开关22的控制端子29施加。另外，其他的神经网络电路元件的非线性波形脉冲电压VPRE，作为第一输入信号电压60被向突触电路20的第一开关22输入。在突触电路20，通过开关脉冲电压VPOST2，对第一开关22进行切换。
接着，对在具备可变电阻元件10的突触电路20中实现STDP的方法，用图1进行说明。例如，考虑开关脉冲电压VPOST2为HI电平期间，利用第一开关22使可变电阻元件10的第一电极13和突触电路20的第一输入端子41连接的情况。即，开关脉冲电压VPOST2为HI电平期间，为第一输入信号电压VPRE能够输入至可变电阻元件10的第一电极13的状态，开关脉冲电压VPOST2为LO电平期间，为第一输入信号电压VPRE不能够输入至可变电阻元件10的第一电极13的状态。此时，通过开关脉冲电压VPOST2，第一开关22在使可变电阻元件10的第一电极13和第一输入端子41导通的期间，向第一输入端子41输入非线性波形脉冲电压VPRE作为第一输入信号电压60时，仅在该期间，向可变电阻元件10的第一电极13施加脉冲电压。在此，如图2A和图2B所示，非线性波形脉冲电压VPOST1和开关脉冲电压VPOST2，在相同时刻被输入至突触电路20，所以在可变电阻元件10的第一电极13和突触电路20的第一输入端子41导通的期间，非线性波形脉冲电压VPOST1被施加至可变电阻元件10的控制电极15。因此，非线性波形脉冲电压VPOST1和开关脉冲电压VPOST2、以及非线性波形脉冲电压VPRE在时间上叠加输入，由此在可变电阻元件10的第一电极13和控制电极15之间设置有限的电位差。根据该电位差，可变电阻元件10的电阻值变更。如上所述，在本实施方式中，可变电阻元件10的电阻值的倒数（传导率）表示突触结合强度，所以能够进行对该电阻值的变化对突触电路20的突触结合强度进行更新的“学习”动作。
另外，根据非线性波形脉冲电压VPOST1和开关脉冲电压VPOST2、以及非线性波形脉冲电压VPRE被施加的时刻，在可变电阻元件10第一电极13和控制电极15之间设置的电位差的大小发生变化。如上所述，可变电阻元件10的电阻值变化的程度依赖于施加的电压的大小，所以依赖于根据施加脉冲电压的时刻而变化的电位差的大小，电阻值变化的程度也变化。在本实施方式中，通过将图2A所示的双极性锯齿形脉冲电压作为非线性波形脉冲电压使用，能够实现图12B所示的非对称型的STDP。
非线性波形脉冲电压VPRE和VPOST1作为图2A所示的双极性锯齿形脉冲电压，令开关脉冲电压VPOST2为图2B所示的方波脉冲电压时，对于第一开关22的动作，在图3中总结。在此，仅考虑在开关脉冲电压VPOST2为HI电平期间，非线性波形脉冲电压VPRE施加至可变电阻元件10的第一电极13的情况。在第一电极13和控制电极15之间设置的电位差，由施加至第一电极13的非线性波形的第一输入电压VPRE，与施加至控制电极15的非线性波形的第三输入电压VPOST1的差值VPOST1-VPRE表示。令该差值为Veffect。第一输入电压VPRE与第三输入电压VPOST1的输入时刻差tPOST1-tPRE变化时，Veffect的波形也发生变化。例如tPOST1-tPRE＜0时（第一输入信号电压VPRE比第三输入信号电压VPOST1更早被输入时）非线性波形脉冲电压VPRE和VPOST1在时间上叠加时，Veffect的负方向的电位差变化变大。可变电阻元件10的、在第一电极13和控制电极15之间设置的负电位差越大，传导率（电阻值的倒数）减小得越大。由此，Veffect的负方向的变化增大时，传导率（电阻值的倒数）大幅减小。另一方面，tPOST1-tPRE＞0时（第一输入信号电压VPRE比第三输入信号电压VPOST1更晚被输入时），非线性波形脉冲电压VPRE和VPOST1在时间上叠加时，Veffect的正方向的电位差变化变大。可变电阻元件10的、在第一电极13和控制电极15之间设置的正电位差越大，传导率（电阻值的倒数）越大幅增加，所以Veffect的正方向的变化增大时，传导率（电阻值的倒数）大幅增加。
这样使用开关脉冲电压VPOST2对第一开关22进行切换，由此基于相同的神经网络电路元件40内生成的第三输入电压VPOST1和从其他的神经网络电路元件输入的第一输入信号电压VPRE的输入时刻差，在可变电阻元件10的第一电极13和控制电极15之间设置有依赖于该输入时刻差的电位差。根据这样设置的电位差，在可变电阻元件10依赖于输入时刻差的电阻值的调制得以实现。
这样，将从其他的神经网络电路元件输入的双极性锯齿形脉冲电压VPRE，与相同神经网络电路元件40内的神经元电路30生成的双极性锯齿形脉冲电压VPOST1进行比较，所以不需要由突触电路20自身生成该比较用的波形，能够使突触电路20的面积减小。由此，能够使神经网络电路元件40自身的电路面积减小。由此，能够以更少的数量的元件结构实现利用脉冲定时进行的学习动作。
另外，作为比较对象的非线性脉冲波形电压VPRE、VPOST1，使用具有2个极性、以0伏特的位置为基准成为点对称的双极性锯齿形脉冲电压波形。因此，能够使第一输入信号电压VPRE和第三输入信号电压VPOST1之间的时刻偏差容易地反映至可变电阻元件10的电阻值的调制。
非线性脉冲波形电压VPRE、VPOST1的波形，只要是上述这样的双极性锯齿形脉冲电压波形，没有特别的限定，但是例如能够采用图2A所示那样各极性的顶点和0伏特的位置之间的倾斜角度比其他部分的倾斜角度更大的波形。由于0伏特的位置附近的区域的倾斜度较大，即使在第一输入信号电压VPRE和第三输入信号电压VPOST1的输入时刻差很微小时，电位差Veffect的变化变大，所以能够针对输入时刻差提高灵敏度。
此外，在本实施方式中，使用非线性波形脉冲电压VPRE，对突触电路20的第二开关21进行开闭，但也可以例如在输入非线性波形脉冲电压VPRE的期间，使用成为规定的电压的方波脉冲电压对第二开关21进行开闭。
（实施例）
以下参照实施例对本发明进行更详细的说明。
（实施例1）
（可变电阻元件10的制作）
将厚度30nm的由钌酸锶（SrRuO3）形成的氧化物导电膜，在由钛酸锶（SrTiO3）形成的（001）单晶基板上，通过脉冲激光沉积（以下称为PLD）法堆积。堆积时的基板的温度为700℃。堆积后，通过光刻和离子铣削（ion milling）法形成控制电极15。
在基板的温度为700℃的状态，使用PLD法在SRO上堆积由厚度450nm的锆钛酸铅（Pb（Zr、Ti）O3）形成的铁电体膜12。其后，使基板的温度下降至400℃。接着，堆积由厚度30nm的氧化锌（ZnO）形成的半导体膜11。
在半导体膜11上形成图案化后的抗蚀剂后，将由厚度5nm的钛膜和厚度30nm的铂膜形成的层叠体，在室温下通过电子束蒸镀法进行堆积。堆积后，通过剥离法形成第一电极13和第二电极14。这样，得到可变电阻元件10。
（突触电路的评价）
对构成图5所示的突触电路，使用上述的可变电阻元件10的突触电路的STDP特性进行评价。在VDD连接0.1伏特的直流电压源。在第一开关使用图6所示的开关电路25。开关电路25，仅在开关脉冲电压VPOST2为HI电平期间，非线性波形脉冲电压VPRE施加至可变电阻元件10的第一电极13，其以外的期间进行直流电压源23和可变电阻元件10的第一电极13的被连接的动作。此外，在图5中，图1的第二开关21的结构省略。
在本实施例中，通过令图6A所示的波形为非线性波形脉冲电压VPRE，令图6B所示的波形为开关脉冲电压VPOST2，将开关电路25作为图1的第一开关22使用而实现图3所示的开关动作。一边改变所施加的非线性波形脉冲电压VPRE和开关脉冲电压VPOST2的时刻，一边对施加两脉冲电压的前后的传导率（电阻值的倒数）的变化进行测定，如图6C所示，得到图12B这样的非对称形的STDP。
（积分动作的评价）
接着，制作图7所示的将积分电路31连接至1个突触电路20而得的电路，对由STDP实现的可变电阻元件10的电阻变化伴随的积分动作的变化进行评价。
积分电路31包括运算放大器53、电容器36和电阻37。电容器36的电容值为1皮法，电阻37的电阻值为1兆欧姆。积分电路31使用从突触电路20输入的电流对电容器36进行充电。通过该动作，电流的时间积分的运算结果作为积分电位Vn被输出。另外，电容器36配置于运算放大器35的负极性输入端子（-）和输出端子间。另外运算放大器35的输出信号经由电阻37回到负极性输入端子（-）。其结果是，通过运算放大器35的反馈功能，向负极性输入端子（-）的输入成为虚拟接地。
由于向运算放大器35的负极性输入端子（-）的输入成为虚拟接地，所以与突触电路20的数量和电容器36的积分电位无关地，由规定的电源电压和可变电阻元件20的电阻值决定的一定电流，通过各突触电路20，向神经元电流30输入。
使用与图5同样的电路25作为图7所示的突触电路20的第一开关22，使用场效应晶体管24作为第二开关21。在场效应晶体管24的栅极端子施加非线性波形脉冲电压VPRE。本实施例中使用的场效应晶体管24，在非线性波形脉冲电压VPRE为HI时为导通，在其以外的情况下为断开。场效应晶体管24的导通电阻为可变电阻元件10的电阻值的百分之一以下，所以直流电压源23和运算放大器35的负极性输入端子（-）之间的电阻值大约等于可变电阻元件10的电阻值。因此，仅在非线性波形脉冲电压VPRE为HI的期间，在可变电阻元件10流过脉冲电流。脉冲电流的大小大体上与可变电阻元件10的电阻值的倒数（传导率）成比例。
输入至神经元电路20的电流脉冲，对积分电路31的电容器36进行充电，所以时间积分结果作为输出Vn被输出。对被施加非线性波形脉冲电压VPRE而20微秒后的积分电压Vn进行评价。
在本实施例中，令图6A所示的波形为非线性波形脉冲电压VPRE和VPOST1，令图6B所示的波形为开关脉冲电压VPOST2。一边改变所施加的非线性波形脉冲电压和开关脉冲电压的时刻，一边对施加两脉冲电压的前后的积分电压Vn的变化进行测定。图8的左轴表示积分电压的变化量。在图8的右轴，为了参考，对与图6C所示的传导率的变化量相同的量进行绘点（plot）。积分电压的变化量，表示与传导率的变化量对应的特性，表示可变电阻元件10的STDP特性也反映于积分电路31的积分动作。
根据上述说明，本领域技术人员能够清楚本发明的多种改良和其他的实施方式。因此，上述说明，仅应被解释为例示，是以向本领域技术人员表现实行本发明的最优的方式为目的而提供的。能够在不脱离本发明的主旨的情况下，对其结构和/或功能的详细内容进行实质性的变更。
产业上的可利用性
本发明能够用于神经网络电路的权重更新动作。
附图标记说明
10可变电阻元件
11半导体膜
12铁电体膜
13第一电极
14第二电极
15控制电极
20突触电路
21第二开关
22第一开关
23直流电压源（第一基准电压源）
30神经元电路
31积分电路
32波形发生电路
33延迟电路
40神经网络电路元件
54接地电压源（第二基准电压源）
321数字/模拟转换器
322数字存储器

Claims (5)

1.一种神经网络电路的学习方法，该神经网络电路通过连接多个神经网络电路元件（40）而构成，该神经网络电路的学习方法的特征在于：
所述多个神经网络电路元件（40）分别具备：
被输入其他的神经网络电路元件（40）的输出信号的至少1个突触电路（20），以下将该输出信号称为第一输入信号；和
被输入所述至少1个突触电路（20）的输出信号的1个神经元电路（30），
所述突触电路（20）具备可变电阻元件（10），该可变电阻元件（10）包括：形成于半导体膜（11）上的第一电极（13）和第二电极（14）；和在所述半导体膜（11）的主面隔着铁电体膜（12）形成的控制电极（15），响应所述第一电极（13）和所述控制电极（15）之间的电位差，所述第一电极（13）和所述第二电极（14）之间的电阻值发生变化，
能够切换在可变电阻元件（10）的所述第一电极（13）能够输入所述第一输入信号的状态和不能输入所述第一输入信号的状态，
所述神经元电路（30）具有产生双极性锯齿形脉冲电压的波形发生电路（32），所述第一输入信号具有双极性锯齿形脉冲波形，
在所述第一输入信号能够输入至所述第一电极（13）的状态的期间，对所述可变电阻元件（10）的所述控制电极（15）输入在与该可变电阻元件（10）相同的神经网络电路元件（40）内生成的所述双极性锯齿形脉冲电压，
根据依赖于施加至所述第一电极（13）的电压与施加至所述控制电极（15）的电压的输入时刻差而产生的所述第一电极（13）和所述控制电极（15）之间的电位差，使所述可变电阻元件（10）的电阻值发生变化。
2.权利要求1所述的神经网络电路的学习方法，其特征在于：
所述突触电路（20）具备第一开关（22），该第一开关（22）对使得成为能够将输入的所述第一输入信号输入至所述可变电阻元件（10）的所述第一电极（13）的状态和使得成为不能输入的状态进行切换，
所述神经元电路（30）生成第二输入信号，该第二输入信号用于对所述第一开关（22）进行切换，以使得在与所述双极性锯齿形脉冲电压的生成期间相同的期间，成为所述第一输入信号能够输入至所述第一电极（13）的状态。
3.如权利要求1所述的神经网络电路的学习方法，其特征在于：
所述神经元电路（30）包括：
对在所述至少1个突触电路（20）的所述可变电阻元件（10）流过的电流值进行积分的积分电路（31）；和
使由所述波形发生电路（32）产生的所述双极性锯齿形脉冲电压延迟规定时间并将其作为所述神经网络电路元件（40）的输出信号输出的延迟电路（33），
所述波形发生电路（32），在由所述积分电路（31）积分后的电流值超过规定的值时，产生所述双极性锯齿形脉冲电压。
4.如权利要求1所述的神经网络电路的学习方法，其特征在于：
所述突触电路（20）具备第二开关（21），该第二开关（21）的一端与第一基准电压源（23）连接，另一端与所述可变电阻元件（10）的所述第一电极（13）连接，
所述第二开关（21）构成为在被输入所述第一输入信号的期间，连接所述第一基准电压源（23）和所述第一电极（13）。
5.一种神经网络电路，其通过多个神经网络电路元件（40）连接而构成，该神经网络电路的特征在于：
所述多个神经网络电路元件（40）分别具备：
被输入其他的神经网络电路元件（40）的输出信号的至少1个突触电路（20），以下将该输出信号称为第一输入信号；和
被输入所述至少1个突触电路（20）的输出信号的1个神经元电路（30），
所述突触电路（20）具备可变电阻元件（10），该可变电阻元件（10）包括：形成于半导体膜（11）上的第一电极（13）和第二电极（14）；和在所述半导体膜（11）的主面隔着铁电体膜（12）形成的控制电极（15），响应所述第一电极（13）和所述控制电极（15）之间的电位差，所述第一电极（13）和所述第二电极（14）之间的电阻值发生变化，
能够切换在可变电阻元件（10）的所述第一电极（13）能够输入所述第一输入信号的状态和不能输入所述第一输入信号的状态，
所述神经元电路（30）具有生成双极性锯齿形脉冲电压的波形发生电路（32），
在所述第一输入信号能够输入至所述第一电极（13）的状态的期间，对所述可变电阻元件（10）的所述控制电压输入在与该可变电阻元件（10）相同的神经网络电路元件（40）内生成的所述双极性锯齿形脉冲电压，并且构成为所述第一输入信号具有双极性锯齿形脉冲波形，
根据依赖于施加至所述第一电极（13）的电压与施加至所述控制电极（15）的电压的输入时刻差而产生的所述第一电极（13）和所述控制电极（15）之间电位差，使所述可变电阻元件（10）的电阻值发生变化。
CN2012800140896A 2012-01-20 2012-05-29 神经网络电路的学习方法 Pending CN103430186A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2012009889 2012-01-20
JP2012-009889 2012-01-20
PCT/JP2012/003491 WO2013108299A1 (ja) 2012-01-20 2012-05-29 ニューラルネットワーク回路の学習方法

Publications (1)

Publication Number Publication Date
CN103430186A true CN103430186A (zh) 2013-12-04

Family

ID=48798759

Family Applications (1)

Application Number Title Priority Date Filing Date
CN2012800140896A Pending CN103430186A (zh) 2012-01-20 2012-05-29 神经网络电路的学习方法

Country Status (4)

Country Link
US (1) US8775346B2 (zh)
JP (1) JP5289646B1 (zh)
CN (1) CN103430186A (zh)
WO (1) WO2013108299A1 (zh)

Cited By (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2016113643A1 (en) * 2015-01-14 2016-07-21 International Business Machines Corporation Neuromorphic memory circuit
WO2017001956A1 (en) * 2015-06-29 2017-01-05 International Business Machines Corporation Neuromorphic processing devices
CN106875005A (zh) * 2017-01-20 2017-06-20 清华大学 自适应阈值神经元信息处理方法和系统
CN107533459A (zh) * 2016-03-31 2018-01-02 慧与发展有限责任合伙企业 使用电阻存储器阵列的数据处理
CN107622306A (zh) * 2017-11-02 2018-01-23 北京理工大学珠海学院 一种基于人工神经网络的新型函数信号源生成方法及装置
WO2019097494A1 (en) * 2017-11-20 2019-05-23 International Business Machines Corporation Synaptic weight transfer between conductance pairs with polarity inversion for reducing fixed device asymmetries
CN109800851A (zh) * 2018-12-29 2019-05-24 中国人民解放军陆军工程大学 神经突触电路和脉冲神经网络电路
CN109997155A (zh) * 2017-11-02 2019-07-09 Tdk株式会社 包含仿神经元件的阵列装置及神经网络系统
CN110363276A (zh) * 2019-06-21 2019-10-22 石致宇 一种模拟人工神经网络的基因电路及其构建方法
CN110401450A (zh) * 2018-04-25 2019-11-01 株式会社电装 神经网络电路
CN110766130A (zh) * 2018-07-28 2020-02-07 华中科技大学 一种bp神经网络学习电路
CN111247534A (zh) * 2017-10-17 2020-06-05 汉阳大学校产学协力团 基于相变材料的神经网络器件
CN111279351A (zh) * 2018-03-16 2020-06-12 Tdk株式会社 积和运算器、神经形态器件以及积和运算器的使用方法
CN111512313A (zh) * 2017-12-28 2020-08-07 Tdk株式会社 积和运算器、神经形态器件及积和运算器的使用方法
CN111512312A (zh) * 2017-12-28 2020-08-07 Tdk株式会社 积和运算器、神经形态器件及积和运算器的使用方法
CN111630529A (zh) * 2019-11-15 2020-09-04 江苏时代全芯存储科技股份有限公司 类神经电路以及运作方法
CN111656371A (zh) * 2018-01-23 2020-09-11 美商安纳富来希股份有限公司 具有非易失性突触阵列的神经网络电路
CN111801693A (zh) * 2018-03-06 2020-10-20 Tdk株式会社 神经网络装置、信号生成方法及程序
CN112639797A (zh) * 2018-10-11 2021-04-09 Tdk株式会社 积和运算器、逻辑运算器件、神经形态器件及积和运算方法
CN112654996A (zh) * 2018-09-27 2021-04-13 Tdk株式会社 积和运算器、神经形态器件以及积和运算方法
CN113033793A (zh) * 2021-03-02 2021-06-25 常州大学 一种双极性脉冲电流激励二维Wilson神经元模型的电路
CN113646912A (zh) * 2020-02-27 2021-11-12 Tdk株式会社 运算电路及神经形态器件
CN113807161A (zh) * 2020-06-11 2021-12-17 华邦电子股份有限公司 尖峰时序相依可塑性的写入方法及突触数组装置
CN116824512A (zh) * 2023-08-28 2023-09-29 西华大学 一种27.5kV可视化接地刀闸状态识别方法及装置
US11861429B2 (en) 2018-04-30 2024-01-02 Hewlett Packard Enterprise Development Lp Resistive and digital processing cores

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8775341B1 (en) 2010-10-26 2014-07-08 Michael Lamport Commons Intelligent control with hierarchical stacked neural networks
US9015093B1 (en) 2010-10-26 2015-04-21 Michael Lamport Commons Intelligent control with hierarchical stacked neural networks
WO2013111200A1 (ja) * 2012-01-23 2013-08-01 パナソニック株式会社 ニューラルネットワーク回路の学習方法
WO2015001697A1 (ja) 2013-07-04 2015-01-08 パナソニックＩｐマネジメント株式会社 ニューラルネットワーク回路、およびその学習方法
EP3208750A1 (en) * 2016-02-22 2017-08-23 Universität Zürich An analogue electronic deep neural network
KR102473839B1 (ko) * 2016-08-26 2022-12-02 가부시키가이샤 한도오따이 에네루기 켄큐쇼 표시 장치 및 전자 기기
US10579092B2 (en) 2016-11-01 2020-03-03 International Business Machines Corporation Global timing generator
US10649912B2 (en) 2017-07-14 2020-05-12 International Business Machines Corporation Method and apparatus for an efficient TLB lookup
US10714242B2 (en) 2017-12-20 2020-07-14 International Business Machines Corporation Symmetrically tunable electrical resistor
EP3671750A1 (en) * 2018-12-21 2020-06-24 IMEC vzw Synapse circuit with memory
US12050982B1 (en) * 2019-09-26 2024-07-30 Reflex Arc, Llc Delay spiking neural networks

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0731705B2 (ja) * 1992-08-24 1995-04-10 東京工業大学長 自己学習型積和演算回路素子及び回路
JPH07114524A (ja) 1993-10-14 1995-05-02 Ricoh Co Ltd 信号処理装置
JP4728055B2 (ja) 2005-06-24 2011-07-20 エルピーダメモリ株式会社 人工神経回路
US8103602B2 (en) * 2006-12-29 2012-01-24 Neurosciences Research Foundation, Inc. Solving the distal reward problem through linkage of STDP and dopamine signaling
JP5160304B2 (ja) * 2008-05-22 2013-03-13 シャープ株式会社 抵抗変化型可変抵抗素子を備えた積演算装置、及び積和演算装置、これらの装置を各ニューロン素子に備えるニューラルネットワーク、並びに積演算方法
JP5155843B2 (ja) * 2008-12-22 2013-03-06 シャープ株式会社 情報処理装置及びこれを用いたニューラルネットワーク回路

Cited By (51)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB2548762B (en) * 2015-01-14 2018-05-09 Ibm Neuromorphic memory circuit
WO2016113643A1 (en) * 2015-01-14 2016-07-21 International Business Machines Corporation Neuromorphic memory circuit
CN107111783B (zh) * 2015-01-14 2020-04-03 国际商业机器公司 神经元存储器电路
CN107111783A (zh) * 2015-01-14 2017-08-29 国际商业机器公司 神经元存储器电路
GB2548762A (en) * 2015-01-14 2017-09-27 Ibm Neuromorphic memory circuit
US10217046B2 (en) 2015-06-29 2019-02-26 International Business Machines Corporation Neuromorphic processing devices
GB2556550A (en) * 2015-06-29 2018-05-30 Ibm Neuromorphic processing devices
GB2556550B (en) * 2015-06-29 2019-10-02 Ibm Neuromorphic processing devices
WO2017001956A1 (en) * 2015-06-29 2017-01-05 International Business Machines Corporation Neuromorphic processing devices
CN107533459B (zh) * 2016-03-31 2020-11-20 慧与发展有限责任合伙企业 使用电阻存储器阵列的数据处理方法和单元
CN107533459A (zh) * 2016-03-31 2018-01-02 慧与发展有限责任合伙企业 使用电阻存储器阵列的数据处理
US10942673B2 (en) 2016-03-31 2021-03-09 Hewlett Packard Enterprise Development Lp Data processing using resistive memory arrays
CN106875005A (zh) * 2017-01-20 2017-06-20 清华大学 自适应阈值神经元信息处理方法和系统
CN106875005B (zh) * 2017-01-20 2019-09-20 清华大学 自适应阈值神经元信息处理方法和系统
CN111247534B (zh) * 2017-10-17 2023-11-24 三星电子株式会社 基于相变材料的神经网络器件
CN111247534A (zh) * 2017-10-17 2020-06-05 汉阳大学校产学协力团 基于相变材料的神经网络器件
CN109997155A (zh) * 2017-11-02 2019-07-09 Tdk株式会社 包含仿神经元件的阵列装置及神经网络系统
CN107622306A (zh) * 2017-11-02 2018-01-23 北京理工大学珠海学院 一种基于人工神经网络的新型函数信号源生成方法及装置
GB2581310A (en) * 2017-11-20 2020-08-12 Ibm Synaptic weight transfer between conductance pairs with polarity inversion for reducing fixed device asymmetries
US11915132B2 (en) 2017-11-20 2024-02-27 International Business Machines Corporation Synaptic weight transfer between conductance pairs with polarity inversion for reducing fixed device asymmetries
WO2019097494A1 (en) * 2017-11-20 2019-05-23 International Business Machines Corporation Synaptic weight transfer between conductance pairs with polarity inversion for reducing fixed device asymmetries
GB2581310B (en) * 2017-11-20 2020-12-09 Ibm Synaptic weight transfer between conductance pairs with polarity inversion for reducing fixed device asymmetries
CN111512312B (zh) * 2017-12-28 2023-08-18 Tdk株式会社 积和运算器、神经形态器件及积和运算器的使用方法
CN111512313B (zh) * 2017-12-28 2023-07-18 Tdk株式会社 积和运算器、神经形态器件及积和运算器的使用方法
CN111512313A (zh) * 2017-12-28 2020-08-07 Tdk株式会社 积和运算器、神经形态器件及积和运算器的使用方法
CN111512312A (zh) * 2017-12-28 2020-08-07 Tdk株式会社 积和运算器、神经形态器件及积和运算器的使用方法
CN111656371A (zh) * 2018-01-23 2020-09-11 美商安纳富来希股份有限公司 具有非易失性突触阵列的神经网络电路
CN111656371B (zh) * 2018-01-23 2024-06-04 美商安纳富来希股份有限公司 具有非易失性突触阵列的神经网络电路
CN111801693A (zh) * 2018-03-06 2020-10-20 Tdk株式会社 神经网络装置、信号生成方法及程序
CN111801693B (zh) * 2018-03-06 2024-02-23 Tdk株式会社 神经网络装置、信号生成方法及程序
CN111279351A (zh) * 2018-03-16 2020-06-12 Tdk株式会社 积和运算器、神经形态器件以及积和运算器的使用方法
CN111279351B (zh) * 2018-03-16 2023-08-25 Tdk株式会社 积和运算器、神经形态器件以及积和运算器的使用方法
CN110401450B (zh) * 2018-04-25 2024-09-17 株式会社电装 神经网络电路
CN110401450A (zh) * 2018-04-25 2019-11-01 株式会社电装 神经网络电路
US11861429B2 (en) 2018-04-30 2024-01-02 Hewlett Packard Enterprise Development Lp Resistive and digital processing cores
CN110766130B (zh) * 2018-07-28 2022-06-14 华中科技大学 一种bp神经网络学习电路
CN110766130A (zh) * 2018-07-28 2020-02-07 华中科技大学 一种bp神经网络学习电路
CN112654996A (zh) * 2018-09-27 2021-04-13 Tdk株式会社 积和运算器、神经形态器件以及积和运算方法
CN112639797A (zh) * 2018-10-11 2021-04-09 Tdk株式会社 积和运算器、逻辑运算器件、神经形态器件及积和运算方法
CN109800851B (zh) * 2018-12-29 2024-03-01 中国人民解放军陆军工程大学 神经突触电路和脉冲神经网络电路
CN109800851A (zh) * 2018-12-29 2019-05-24 中国人民解放军陆军工程大学 神经突触电路和脉冲神经网络电路
CN110363276A (zh) * 2019-06-21 2019-10-22 石致宇 一种模拟人工神经网络的基因电路及其构建方法
CN111630529B (zh) * 2019-11-15 2023-09-01 北京时代全芯存储技术股份有限公司 类神经电路以及运作方法
CN111630529A (zh) * 2019-11-15 2020-09-04 江苏时代全芯存储科技股份有限公司 类神经电路以及运作方法
CN113646912B (zh) * 2020-02-27 2024-02-27 Tdk株式会社 运算电路及神经形态器件
CN113646912A (zh) * 2020-02-27 2021-11-12 Tdk株式会社 运算电路及神经形态器件
CN113807161A (zh) * 2020-06-11 2021-12-17 华邦电子股份有限公司 尖峰时序相依可塑性的写入方法及突触数组装置
CN113033793A (zh) * 2021-03-02 2021-06-25 常州大学 一种双极性脉冲电流激励二维Wilson神经元模型的电路
CN113033793B (zh) * 2021-03-02 2023-08-22 常州大学 一种双极性脉冲电流激励二维Wilson神经元模型的电路
CN116824512B (zh) * 2023-08-28 2023-11-07 西华大学 一种27.5kV可视化接地刀闸状态识别方法及装置
CN116824512A (zh) * 2023-08-28 2023-09-29 西华大学 一种27.5kV可视化接地刀闸状态识别方法及装置

Also Published As

Publication number Publication date
JP5289646B1 (ja) 2013-09-11
JPWO2013108299A1 (ja) 2015-05-11
WO2013108299A1 (ja) 2013-07-25
US8775346B2 (en) 2014-07-08
US20130311415A1 (en) 2013-11-21

Similar Documents

Publication Publication Date Title
CN103430186A (zh) 神经网络电路的学习方法
CN103460220A (zh) 神经网络电路的学习方法
JP5659361B1 (ja) ニューラルネットワーク回路、およびその学習方法
JP6501146B2 (ja) ニューラルネットワーク回路およびその学習方法
Yan et al. A low-power Si: HfO2 ferroelectric tunnel memristor for spiking neural networks
KR102230784B1 (ko) Stdp 동작을 위한 시냅스 회로 및 시냅스 회로를 포함하는 뉴로모픽 시스템
KR102313075B1 (ko) 인공 뉴런 및 멤리스터를 갖는 장치
CN110428050B (zh) 一种基于忆阻器实现多样化stdp学习规则的突触仿生电路
CN109447250A (zh) 一种基于忆阻器中电池效应的人工神经元
JP2010146514A (ja) 情報処理装置及びこれを用いたニューラルネットワーク回路
CN110232440B (zh) 基于铁电晶体管的脉冲神经元电路
CN210488595U (zh) 基于忆阻器实现多样化stdp学习规则的突触仿生电路
Bisquert Electrical charge coupling dominates the hysteresis effect of halide perovskite devices
CN115222026A (zh) 一种脉冲神经网络硬件电路
Zheng et al. Memristor-based synapses and neurons for neuromorphic computing
Wang et al. Ferroelectric tunnel memristor-based neuromorphic network with 1T1R crossbar architecture
CN114648108A (zh) 自适应仿生神经元电路及仿生神经元自适应模拟方法
Ntinas et al. Coupled physarum-inspired memristor oscillators for neuron-like operations
CN108777153B (zh) 一种多端输入突触器件及其可塑性调制方法
Zhong et al. ‘Stateful’threshold switching for neuromorphic learning
Shin et al. Neuronal spike event generation by memristors
Uleru et al. Influence of capacitor variability on the electronic spiking neurons
Vu et al. Spiking Neural Networks with Nonidealities from Memristive Silicon Oxide Devices
Vincan et al. All-memristive Spiking Neural Network Circuit Simulator
CN115688891A (zh) 一种可塑神经元电路及其应用

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C05 Deemed withdrawal (patent law before 1993)
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20131204