CN108268938A - 神经网络及其信息处理方法、信息处理系统 - Google Patents

神经网络及其信息处理方法、信息处理系统 Download PDF

Info

Publication number
CN108268938A
CN108268938A CN201810069603.5A CN201810069603A CN108268938A CN 108268938 A CN108268938 A CN 108268938A CN 201810069603 A CN201810069603 A CN 201810069603A CN 108268938 A CN108268938 A CN 108268938A
Authority
CN
China
Prior art keywords
unit
neural network
dendron
layer
neuron
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201810069603.5A
Other languages
English (en)
Other versions
CN108268938B (zh
Inventor
李辛毅
吴华强
钱鹤
高滨
宋森
张清天
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tsinghua University
Original Assignee
Tsinghua University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tsinghua University filed Critical Tsinghua University
Priority to CN201810069603.5A priority Critical patent/CN108268938B/zh
Priority to US16/964,435 priority patent/US20210049448A1/en
Priority to PCT/CN2018/077087 priority patent/WO2019144453A1/zh
Publication of CN108268938A publication Critical patent/CN108268938A/zh
Application granted granted Critical
Publication of CN108268938B publication Critical patent/CN108268938B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/06—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons
    • G06N3/061—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons using biological neurons, e.g. biological neurons connected to an integrated circuit
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/049—Temporal neural networks, e.g. delay elements, oscillating neurons or pulsed inputs
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/06—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons
    • G06N3/063—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons using electronic means
    • G06N3/065—Analogue means

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Evolutionary Computation (AREA)
  • General Physics & Mathematics (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Neurology (AREA)
  • Microelectronics & Electronic Packaging (AREA)
  • Semiconductor Memories (AREA)
  • Measurement And Recording Of Electrical Phenomena And Electrical Characteristics Of The Living Body (AREA)
  • Image Analysis (AREA)

Abstract

一种神经网络及其信息处理方法、信息处理系统。该神经网络包括逐一连接的N层神经元层，除第一层神经元层外，其余各层神经元层的各个神经元包括m个树突单元和一个海马单元；其中，所述树突单元包括阻值渐变器件，所述海马单元包括阻值突变器件，且所述m个树突单元可分别设置有不同的阈值电压或电流；以及第n层神经元层的神经元分别与第n+1层神经元层的神经元的所述m个树突单元相连接；其中，N为大于等于3的整数，m为大于1的整数，n为大于等于1且小于N的整数。该神经网络可以通过树突单元过滤掉大部分非关键信息，从而减少了神经网络的信息处理量，降低了神经网络运算的功耗，提高了神经网络对关键信息的处理效率。

Description

神经网络及其信息处理方法、信息处理系统
技术领域
本公开实施例涉及一种神经网络及其信息处理方法、信息处理系统。
背景技术
随着信息技术的高速发展，神经网络在语音和图像识别等很多领域都取得了令人瞩目的成果。但是，随着神经网络能力的不断加强，对计算资源的需求也越来越高，而数据处理单元和数据存储单元分离的冯诺依曼架构对信息的处理能力已经远远落后于信息涌现的速度，从而成为了制约其发展的瓶颈。因此，在生物神经网络的启发下，数据处理单元和数据存储单元融合在一起的分布式信息处理系统(即人工神经网络)成为了解决冯诺依曼架构的数据处理瓶颈的最有效的途径之一。
发明内容
本公开至少一实施例提供一种神经网络，包括逐一连接的N层神经元层，除第一层神经元层外，其余各层神经元层的各个神经元包括m个树突单元和一个海马单元。所述树突单元包括阻值渐变器件，所述海马单元包括阻值突变器件，且所述m个树突单元可以分别设置有不同的阈值电压或电流；以及第n层神经元层的神经元分别与第n+1层神经元层的神经元的所述m个树突单元相连接；其中，N为大于等于3的整数，m为大于1的整数，n为大于等于1且小于N的整数。
例如，在本公开一实施例提供的神经网络中，所述m个树突单元可进行不同的串并联组合连接且与所述海马单元串联连接。
例如，在本公开一实施例提供的神经网络中，所述m个树突单元的输出符合如下表达式：
其中，a表示非线性系数，即所述树突单元的阈值电压或电流。
例如，在本公开一实施例提供的神经网络中，所述海马单元的输出振荡频率符合如下表达式：
其中，c表示所述海马单元的阈值电压或电流，sigmoid函数表示为：
其中，z＝x-c。
例如，在本公开一实施例提供的神经网络中，所述第n层神经元层和所述第n+1层神经元层之间通过突触单元连接。
例如，在本公开一实施例提供的神经网络中，所述突触单元包括忆阻器阵列。
本公开至少一实施例还提供一种信息处理系统，包括本公开任一实施提供的神经网络以及输入单元、输出单元、反向传播单元和驱动器。所述输入单元配置为将数据信号处理为所述神经网络所需的输入信号；所述输出单元配置为对所述神经网络输出的输出结果进行处理并发送至所述反向传播单元；所述反向传播单元配置为对所述神经网络的突触单元的参数进行优化；所述驱动器配置为通过信号线向所述神经网络施加电压信号。
本公开至少一实施例还提供一种本公开任一实施提供的神经网络的信息处理方法，包括：将第n+1层神经元层的各个神经元的输入信号分为m组，并分别发送至所述各个神经元的m个树突单元；通过所述m个树突单元分别对所述m组输入信号进行非线性过滤操作；将经过所述非线性过滤操作后的输入信号进行数据处理后发送至所述海马单元进行进一步的数据处理。
例如，在本公开一实施例提供的信息处理方法中，所述非线性过滤操作包括：对所述m个树突单元分别设置阈值电压或电流；当所述输入信号大于所述阈值电压或电流时，对所述输入信号进行运算；当所述输入信号小于所述阈值电压或电流时，不对所述输入信号进行运算。
例如，本公开一实施例提供的信息处理方法还包括：当所述海马单元对所述树突单元的输出进行数据处理后，通过轴突单元向第n+2层神经元层传输信号。
例如，本公开一实施例提供的信息处理方法还包括：当所述树突单元进行数据处理后，关闭所述输入信号，使所述树突单元和海马单元恢复初始状态。
例如，本公开一实施例提供的信息处理方法还包括：通过所述突触单元计算出所述第n+1层神经元层的各个神经元的输入信号。
附图说明
为了更清楚地说明本公开实施例的技术方案，下面将对实施例的附图作简单地介绍，显而易见地，下面描述中的附图仅仅涉及本公开的一些实施例，而非对本公开的限制。
图1A为一种生物神经元单元的示意图；
图1B为一个神经元的信息处理模型的示意图；
图1C为一种树突结构的示意图；
图2A为本公开一实施例提供的一种神经网络10的示意图；
图2B为图2A所示的神经网络10的树突单元对数据进行分级处理的示意图；
图3为图2A中所示的神经元的电路结构图；
图4为本公开一实施例提供的一种阻值渐变器件的电学特性曲线图；
图5为本公开一实施例提供的一种阻值突变器件的电学特性曲线图；
图6为图2A中所示的神经网络10的一种忆阻器阵列的示意图；
图7A为图2A中所示的神经网络10的另一种忆阻器阵列的示意图；
图7B为图7A中所示的忆阻器阵列的一个忆阻器单元的连接关系图；
图8A为图2A中所示的神经网络10的电路结构图；
图8B为图8A中所示的电路结构的工作时序图；
图9为本公开另一实施例提供的一种信息处理系统的示意框图；
图10为图2A中所示的神经网络10的信息处理方法的流程图；
图11为图10中所示的信息处理方法中的非线性过滤操作的流程图。
具体实施方式
为使本公开实施例的目的、技术方案和优点更加清楚，下面将结合本公开实施例的附图，对本公开实施例的技术方案进行清楚、完整地描述。显然，所描述的实施例是本公开的一部分实施例，而不是全部的实施例。基于所描述的本公开的实施例，本领域普通技术人员在无需创造性劳动的前提下所获得的所有其他实施例，都属于本公开保护的范围。
除非另外定义，本公开使用的技术术语或者科学术语应当为本公开所属领域内具有一般技能的人士所理解的通常意义。本公开中使用的“第一”、“第二”以及类似的词语并不表示任何顺序、数量或者重要性，而只是用来区分不同的组成部分。同样，“一个”、“一”或者“该”等类似词语也不表示数量限制，而是表示存在至少一个。“包括”或者“包含”等类似的词语意指出现该词前面的元件或者物件涵盖出现在该词后面列举的元件或者物件及其等同，而不排除其他元件或者物件。“连接”或者“相连”等类似的词语并非限定于物理的或者机械的连接，而是可以包括电性的连接，不管是直接的还是间接的。“上”、“下”、“左”、“右”等仅用于表示相对位置关系，当被描述对象的绝对位置改变后，则该相对位置关系也可能相应地改变。
下面，将参照附图详细描述根据本公开的各个实施例。需要注意的是，在附图中，将相同的附图标记赋予基本上具有相同或类似结构和功能的组成部分，并且将省略关于它们的重复描述。
例如人的大脑主要依靠神经元和在神经元之间进行信息传递的突触来实现信息的传递和处理。神经元是大脑神经系统处理信息的基本单元，其可以用于接收、整合、过滤、存储和传递信息等，从而使人的各种机能活动有规律的进行，以适应内、外环境的变化。
图1A示出了一种生物神经元单元，图1B示出了一个神经元的信息处理模型，图1C示出了一种树突结构。
神经元是神经网络的基本组成单元，其可以对信息进行传递、过滤和整合等。如图1A所示，在神经元内，由一个神经元传出的信号通过轴突，首先到达轴突末梢，使轴突末梢中的囊泡产生变化从而释放神经递质，该神经递质通过突触的间隙进入到另一个神经元的树突中，树突上的受体能够接受神经递质从而改变细胞体的膜向离子的通透性，使细胞膜内外离子的浓度产生变化，进而使细胞体内外的电位产生变化。由此，信息就由一个神经元传输到另一个神经元中。在信息传递过程中，一些轴突在轴突末梢可以形成多个分支，来自轴突主支上的电位动作可以在各个分支上同时继续传递，最终到达不同的目标神经元，从而轴突可以实现多个神经元之间的通信。另一方面，在神经网络结构上，不同神经元的轴突末梢的分支可以到达同一个神经元的树突并形成大量的突触，来源不同的突触所释放的神经递质都可以对同一个神经元的细胞体的膜电位的变化产生作用，由此，神经元可以对来源不同的输入信息进行整合。再一方面，在神经元中，突触中神经递质的释放和细胞体的膜电位的变化是连续的，当膜电位高于一定阈值时，输入信息则由轴突传递出去；当膜电位小于该阈值时，则输入信息无法被传递出去，由此，神经元实现过滤信息的功能。
神经元是一个多输入单输出的信息处理单元，它对信息的处理是非线性的，根据神经元的功能和特性，其可以被抽象为一个简单的数学模型。如图1B所示，在一个神经元中，x0，x1，x2，….，xn是来自前多个神经元的轴突传输的信号，w0，w1，w2，….，wn是突触01的传递效率，x0，x1，x2，….，xn经过突触01后形成神经元的输入信号P0，P1，P2，….，Pn，该输入信号进入树突02；然后，树突02和细胞体03对输入信号进行处理，并得到输出信号Y，输出信号Y最终被传输到该神经元的轴突04，轴突04可以将输出信号Y继续传输给其他的神经元。
当一个神经元接收来自其他神经元的信息时，树突02具有阈值函数的功能，其功能可以通过如下公式表示：
当输入信号的值大于阈值θ时，channel(通道)的值为1，从而树突02中的电压门控离子通道打开，输入信号可以被传输到细胞体03中；当输入信号的值小于阈值θ时，channel的值为0，从而树突02中的电压门控离子通道关闭，输入信号在树突02的传输过程中衰减，从而无法传输到细胞体03中。当细胞体03接收到来自树突02传递的输入信号后，其膜电位按时间连续逐渐变化，当膜电位的变化超出一定阈值时，细胞体03产生突变上升的脉冲信号，该脉冲信号即为神经元的输出信号，接着，这个脉冲信号沿轴突04传递到其他的神经元中，从而完成神经元的信息传递。
如图1C所示，根据神经元理论，15％的树突位于细胞体的近端，且携带有抑制性突触和兴奋性突触；其余85％的树突位于细胞体的远端，且只携带有兴奋性突触。抑制性突触对位于细胞体远端的树突上的兴奋性突触具有抵消作用，且抑制性突触对于输入信号不发挥作用。因此，树突中产生的兴奋性突触电位可以通过叠加所有大于阈值θ的兴奋性突触表示，具体可以表示为如下公式：
其中，i，j和k表示兴奋性突触输入的数量。Dex表示产生的兴奋性突触电位。
神经元对输入信号进行传递、过滤和整合后形成输出信号Y，然后通过轴突将输出信号Y传递给其他的神经元，其输出信号Y可以表示为如下公式：
Y＝Dex-upstream-Dinhibi+Dex-downstream
其中，Dex-upstream表示上游树突产生的兴奋性突触电位，Dinhibi表示细胞体接收的抑制性突触输入，Dex-downstream表示下游树突产生的兴奋性突触电位。
人工神经网络是一种模拟大脑神经元通过突触相互联接的计算机系统，其可以广泛应用于图像识别、自动控制、预测估计以及数据分析等领域。人工神经网络主要使用空间分布的类神经元电子器件和类突触电子器件将输入信号非线性地变换为输出信号，人工神经网络可以在密集互连结构中并行处理信息，其具有非线性、自适应性及处理速度快等特点。
人工神经网络主要包括两个部分：神经元和突触。神经元主要负责信息的处理计算；突触主要负责数据的存储。目前人工神经网络中神经元的功能只是将接收到的信号进行积分，当积分到一定程度时发放脉冲信号。由于信息处理单元功能过于简单，当处理稍微复杂一点的任务的时候就需要通过增加网络规模(即增加数据处理单元和数据存储单元的数量)，因此，这将极大程度地增加人工神经网络对硬件资源d的需求，从而造成成本和功耗的攀升。
本公开至少一实施例提供一种神经网络，包括逐一连接的N层神经元层，除第一层神经元层外，其余各层神经元层的各个神经元包括m个树突单元和一个海马单元。所述树突单元包括阻值渐变器件，所述海马单元包括阻值突变器件，且所述m个树突单元分别设置阈值电压或电流；以及第n层神经元层的神经元分别与第n+1层神经元层的神经元的所述m个树突单元相连接；其中，N为大于等于3的整数，m为大于1的整数，n为大于等于1且小于N的整数。
本公开至少一实施例还提供了一种该神经网络的信息处理方法以及包括该神经网络的信息处理系统。
本公开实施例提供的神经网络及其信息处理方法、信息处理系统，能够针对不同的需求设置不同的阈值参数，以过滤掉与目标任务无关的非关键信息，只对关键信息进行处理，从而减少神经网络的信息处理量，降低神经网络的运算功耗，从而提高神经网络对关键信息的处理效率。
下面结合附图对本公开的示范性实施例进行详细说明。
如图2A所示，该神经网络10包括输入层11、至少一个隐含层12以及输出层13。例如，该神经网络10包括逐一连接的N(N为大于等于3的整数)层神经元层。例如，输入层11包括第一层神经元层，至少一个隐含层12包括第二层至第N-1层神经元层，输出层13包括第N层神经元层。例如，输入层11将接收的输入数据传递到至少一个隐含层12，至少一个隐含层12对该输入数据进行逐层计算转换发送至输出层13，输出层13输出神经网络10的输出结果。例如，如图2A所示，神经网络10的层与层之间是全连接的结构。
例如，如图2A所示，输入层11、至少一个隐含层12以及输出层13均包括多个神经元14，各层的神经元14的个数可以根据不同的应用情况设定。例如，当有M(M为大于1的整数)个输入数据时，输入层11有M个神经元14。
例如，如图2A所示，除第一层神经元层(即输入层)外，其余各层神经元层(即隐含层12和输出层13)的各个神经元14包括m(m为大于1的整数)个树突单元141和一个海马单元142。例如，m个树突单元141可进行不同的串并联组合连接且与海马单元142串联连接。例如，如图2A所示，m个树突单元141并联连接，且与一个海马单元142串联连接。例如，m个树突单元141的输出可以分别发送至所述海马单元142做进一步的数据处理。需要注意的是，隐含层12和输出层13的每个神经元14中的树突单元141的个数可以相同也可以不同，具体个数视具体情况而定，在此不作限制。
例如，在神经网络10中，第n(n为大于等于1且小于N的整数)层神经元层的神经元14分别与第n+1层神经元层的神经元14的m个树突单元相连接。如图2A所示，第一层神经元层例如包括a(a为大于1的整数)个神经元14，那么第二层神经元层的各个神经元14可以包括a个输入信号。例如，可以将该a个输入信号平均分配给m个树突单元141。如图2A所示，例如可以分配给每个树突单元两个输入信号，那么第一个树突单元141可以与第一层神经元层的第一个神经元14以及第二个神经元14相连接，第二个树突单元141可以与第一层神经元层的第三个神经元14以及第四个神经元14相连接，以此类推，第m个树突单元141可以与第一层神经元层第a-1个神经元14以及第a个神经元14相连接。需要注意的是，不限于此，例如，分配给每个树突单元的输入信号的个数也可以不同，例如第一个树突单元141可以与上一层神经元层的三个神经元相连接，第二个树突单元141可以与上一层神经元层的两个神经元相连接等，该树突单元的输入信号的个数视具体情况而定，在此不做限制。
需要注意的是，例如，如图2B所示，树突单元不仅仅只处理由上一层神经元层传输过来的输入信号A，还可以对同层的信息B以及反向传播过程中产生的信息C同时进行信号的分级处理。
在本实施例中，通过在神经元中设置多个树突单元以实现对输入信号进行分组处理的功能，从而提高神经网络10的信号处理的效率。
图3示出了图2A中所示的神经元14的电路结构图。例如，如图3所示，树突单元141可以实现为阻值渐变器件1410，海马单元142可以实现为阻值突变器件1420。例如，如图3所示，阻值渐变器件1410并联连接且与阻值突变器件1420串联连接，从而可以实现多通道同步传输信号。例如，m个树突单元分别对应m个阻值渐变器件1410。需要注意的是，不限于此，例如树突单元141还可以由电容与二极管串联实现，例如海马单元142还可以由震荡电路实现，在此不再赘述。
例如，该阻值渐变器件1410可以实现树突单元141的过滤功能。例如，在一个示例中，该树突单元141(即阻值渐变器件)的输出可以符合如下表达式：
其中，a表示非线性系数，即树突单元141的阈值电压或电流。
图4示出了本公开实施例提供的阻值渐变器件的电学特性曲线图。例如，一个阻值渐变器件1410的非线性系数a可以设置为3V，即此时非线性系数a表示该树突单元141的阈值电压。例如，如图4所示，对阻值渐变器件1410施加电压信号36，当电压信号36的值小于3V时，阻值渐变器件1410的响应电流37较小(几乎为0μA)，此时，电路单元不传输信号(该信号即响应电流)。而当电压信号36的值大于3V时，阻值渐变器件1410的响应电流37急剧增加，此时，电路单元开始传输信号。也就是说，当电压信号36的值小于3V时，电路单元无法进行信号传输，从而该阻值渐变器件1410可以过滤电压值小于3V的电压信号，从而实现神经元的过滤功能。需要注意的是，本公开的实施例不限于此，例如该m个树突单元141可以分别设置有相同的阈值电压或电流，也可以设置有不同的阈值电压或电流(即非线性系数a)，即一个树突单元的非线性系数a例如可以设置为1V，另一个树突单元的非线性系数a例如可以设置为2V等。该非线性系数a的大小可以根据实际需求而定，在此不做限制。
本实施例提供的神经网络10可以对不同的树突单元设置不同的阈值电压或电流以及根据不同的任务对同一个树突单元可以设置不同的阈值电压或电流，所以该神经网络10可以实现同时在时间和空间上的进行信号处理的功能，从而大大提高了神经网络10的信息处理效率。同时，由于树突单元将无关信息进行过滤，从而神经网络10只需要处理过滤后的关键信息，因此，该神经网络10有效地减少了需要处理的信息量，从而可以对关键信息进行更高精度以及更复杂的数据处理，从而提高了关键信息的处理效率。
例如，在一个示例中，海马单元的输出振荡频率可以符合如下表达式：
其中，x表示输入信号，c表示海马单元142的阈值电压或电流，sigmoid函数表示为：
其中，z＝x-c。
例如，该振荡频率表示海马单元发射信号的频率，进而表示了该神经元处理信息的效率。
图5示出了本公开实施例提供的阻值突变器件的电学特性曲线图。例如，对阻值突变器件1420施加电压信号，在电压信号达到其阈值电压c前，阻值突变器件1420的阻值基本不变。而在电压信号达到阈值电压c时，阻值突变器件20的阻值产生突变。对阻值突变器件20进行电阻测试，其电压-电流曲线图如图5所示，在正向电压下，对阻值突变器件1420进行正向扫描，当正向电压为1V左右时，阻值突变器件1420的阻值突然变小；在负向电压下，对阻值突变器件1420进行正向扫描，当负向电压为-1V左右时，阻值突变器件1420的阻值突然变小。曲线25、曲线26和曲线27分别表示对阻值突变器件1420进行1次、5次和10次电阻测试的曲线图，由图5可知，对阻值突变器件1420进行多次电阻测试，该阻值突变器件1420表现出相同的特性，即该阻值突变器件1420可以反复使用而保持相同的特性。
例如，阻值渐变器件1410具有第一阻值，阻值突变器件1420具有第二阻值，在未加电压的情况下，第一阻值的范围为1-100兆欧(MΩ)，第二阻值的范围为1-1000千欧(KΩ)。阻值渐变器件1410和阻值突变器件1420的阻值相差较大，且阻值渐变器件1410的阻值大于阻值突变器件1420的阻值。
例如，当外加电压信号小于阻值渐变器件1410的阈值电压时，阻值渐变器件和阻值突变器件的电阻几乎没有变化，电路结构中的响应电流为0，此时没有信号传输；当外加电压信号大于阻值渐变器件1410的阈值电压且被施加到如图3所示的电路结构时，最开始阶段，外加电压信号几乎全部被施加到阻值渐变器件1410上，从而使阻值渐变器件10的阻值缓慢减小，整个电路结构中的响应电流缓慢增加；当阻值渐变器件1410的阻值减小到一定程度，例如当阻值渐变器件1410的阻值与阻值突变器件1420的阻值相差不大或小于阻值突变器件1420的阻值时，在阻值渐变器件1410上的分压将会转移到阻值突变器件1420上，从而阻值突变器件1420的阻值会突然急剧变小，整个电路结构中的电流突然变大，形成一个上升的脉冲电流，该脉冲电流可以被传递出去。在此过程中，外加电压信号大部分施加到阻值渐变器件1410上，电路结构中的电流缓慢变化的过程对应积分阶段；而外加电压信号转移到阻值突变器件1420上，电路结构中的电流突然变大的过程对应发射阶段，从而实现了神经元的分组、过滤、积分和发射功能。
例如，当响应电流被发射至下一层神经元层后，撤去外加电压信号，阻值渐变器件1410和阻值突变器件1420的阻值快速恢复到初始电阻状态，其恢复时间为毫秒量级，恢复时间取决于施加到阻值渐变器件1410和阻值突变器件1420的电压值和施加电压的时间等因素，电压值越大则恢复时间越短。例如，本公开实施例提供的阻值突变器件1420的恢复时间小于1s。
例如，如图2A所示，神经网络10的第n层神经元层和第n+1层神经元层(即相邻两层神经元层)之间可以通过突触单元15连接。例如，在本实施例中，突触单元15可以包括忆阻器阵列。例如，该忆阻器阵列可以是如图6所示的两端忆阻器阵列。
具体地，根据基尔霍夫定律，如图6所示忆阻器阵列的输出电流可以根据下述公式得出：
其中，j＝1,…,M，k＝1,…,K。
在上述公式中，vk表示输入层中神经元节点k输入的电压激励，ij表示下一层中神经元节点j的输出电流，gk,j表示忆阻器阵列的电导矩阵。
例如，该忆阻器阵列也可以是如图7A所示的忆阻器阵列，例如，如图7A所示，该忆阻器阵列可以包括多个忆阻器单元。例如，如图7B所示，每个忆阻器单元包括一个晶体管151和一个忆阻器152。例如，每个忆阻器单元还可以是包括一个选择器和一个忆阻器的结构。例如，忆阻器阵列的每一行晶体管的源极相连作为源极线，晶体管的栅极线相连作为字线，每一列忆阻器的顶电极相连作为位线。例如，如图7A和图7B所示，通过在位线上并行输入电压激励，通过在字线上输入相应的高低电平以控制相应的忆阻器导通，以在源极线上得到由输入向量和忆阻器阵列的电导矩阵分压之后得到的输出电压，该输出电压作为树突单元的输入信号进行传输。例如。该晶体管可以是N型晶体管，也可以是P型晶体管。例如，如果是N型晶体管，则高电平导通；如果是P型晶体管，则低电平导通。
例如，在如图7A所示的忆阻器阵列中，通过在忆阻器152的一端串联晶体管151，可以有效抑制突触单元15的数据读取和写入时产生的串扰，并在数据写入时对忆阻器阵列提供防击穿保护。
图8A示出了图2A中所示的神经网络10的电路结构图。图8B示出了该电路结构的工作时序图。如图8A所示，该突触单元15采用如图7A所示的忆阻器阵列。例如，电压信号v11，……，vmn为控制忆阻器阵列中相应晶体管导通的高低脉冲信号，R11，……，Rmn为忆阻器。例如，在本实施例中，该晶体管可以是N型晶体管，即高电平导通。例如，电压信号V1，……，Vm为忆阻器阵列(即突触单元15)的输入信号，v1，……，vm为通过忆阻器阵列后形成的神经元14的输入信号，例如，该输入信号v1，……，vm可以被分配m个树突单元。例如，突触单元15的输入电压V1，……，Vm的波形如图8B中的波形Vc所示。例如，该神经元14的输入信号v1，……，vm被分别传递到树突单元141后，相应的阻值渐变器件1410的电阻变化R141和输出电压信号V141如图8B中所示，并将该树突单元141的输出信号输入海马单元142。例如，阻值突变器件1420的电阻变化R142和输出电压信号V142如图8B中所示，最后，阻值突变器件1420的阻值突变时发射电流信号Iout至轴突单元(图中未示出)。轴突单元将该电流信号Iout转换成相应的电压信号发送至下一层突触单元15。
本公开一实施例提供一种用于上述神经网络10的信息处理系统100。图9示出了该信息处理系统100的示意框图。
例如，如图9所示，该信息处理系统100包括：一个或多个处理器(图中未示出)、一个或多个存储器(图中未示出)、输入单元20、输出单元30、反向传播单元40以及驱动器50。例如，这些组件通过总线系统(图中未示出)和/或其它形式的耦合机构(未示出)互连。需要注意的是，图9所示的信息处理系统100的组件和结构只是示例性的，而非限制性的，根据需要，信息处理系统100也可以具有其他组件和结构。
例如，该处理器可以是中央处理单元(CPU)或者具有数据处理能力和/或指令执行能力的其它形式的处理单元，可以为通用处理器或专用处理器，并且可以控制信息处理系统100中的其它组件以执行期望的功能。存储器可以包括一个或多个计算机程序产品，所述计算机程序产品可以包括各种形式的计算机可读存储介质，例如易失性存储器和/或非易失性存储器。所述易失性存储器例如可以包括随机存取存储器(RAM)和/或高速缓冲存储器(cache)等。所述非易失性存储器例如可以包括只读存储器(ROM)、硬盘、闪存等。在所述计算机可读存储介质上可以存储一个或多个计算机程序指令，处理器可以运行所述程序指令，以实现所述的本公开实施例中(由处理器实现)的功能以及/或者其它期望的功能，例如非线性过滤操作等。在所述计算机可读存储介质中还可以存储各种应用程序和各种数据，例如图像数据以及所述应用程序使用和/或产生的各种数据等。
例如，该计算机可读存储介质可以是一个或多个计算机可读存储介质的任意组合，例如一个计算机可读存储介质包含用于非线性过滤操作的计算机可读的程序代码，另一个计算机可读存储介质包含计算输出信号的计算机可读的程序代码。例如，当该程序代码由计算机读取时，计算机可以执行该计算机存储介质中存储的程序代码，执行例如本公开任一实施例提供的非线性过滤操作等操作方法。
例如，计算机可读存储介质可以包括智能电话的存储卡、平板电脑的存储部件、个人计算机的硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM)、便携式紧致盘只读存储器(CD-ROM)、USB存储器、或者上述存储介质的任意组合，也可以为其他适用的存储介质。
例如，输入单元20与神经网络10的输入层11相连接，配置为将数据信号处理为神经网络10所需的输入信号。例如，数据信号可以是图像信号、语言信号等，输入单元20可以将该图像信号转换为神经网络10可以识别的灰度矩阵作为输入数据。例如，输入单元20可以通过例如硬件、软件、固件或其任意组合实现。例如，输入单元20可以包括多个DAC(数模转换器)，将数字信号转换为模拟信号，例如电压信号。
例如，输出单元30与神经网络10的输出层13和反向传播单元40相连接，配置为对神经网络10输出的输出结果进行处理并发送给反向传播单元40。例如，输出单元30可以通过例如硬件、软件、固件或其任意组合实现。例如，输出单元30可以通过ADC(模数转换器)将神经网络10的输出结果进行离散化处理操作，即转换为数字信号，并将该数字信号发送至反向传播单元40。
例如，反向传播单元40与神经网络10和输出单元30相连接，配置为对神经网络10的突触单元15的参数进行优化。例如，在本实施例中，反向传播单元40配置为优化忆阻器阵列中的忆阻器的电导。例如，反向传播单元40可以通过例如硬件、软件、固件或其任意组合实现。
例如，驱动器50与神经网络10相连接，配置为通过信号线向神经网络10施加电压信号。例如，通过驱动器50向神经网络10施加控制忆阻器阵列中晶体管开关的高低脉冲信号。例如，该驱动器可以通过例如硬件、软件、固件或其任意组合实现。
需要说明的是，上述各个单元的具体结构和实现方式可以采用现有的各种可行的方案，在此不作限定。
本公开一实施例还提供了一种神经网络10的信息处理方法，下面，参考图10对本公开实施例的信息处理方法进行描述。
该信息处理方法可以由神经网络10执行。由于该信息处理方法中各个操作的细节与在上文中针对图2A描述的神经网络10的方法基本相同，因此为了避免重复，在下文中对信息处理方法的操作步骤进行描述的同时，省略相同细节的描述。
步骤S110：将第n+1层神经元层的各个神经元的输入信号分为m组，并分别发送至各个神经元的m个树突单元。
例如，该第n+1层神经元层各个神经元的输入信号可以是由突触单元15计算得出电压信号。例如，可以将输入信号平均分为m组，也可以非平均分配为m组，并分别发送给m个树突单元141，从而实现对输入信号进行分组处理，从而提高神经网络10的信号处理的效率。
例如，如图2A所示，第一层神经元层例如包括a(a为大于1的整数)个神经元14，那么第二层神经元层的各个神经元14可以包括a个输入信号。例如，可以将该a个输入信号平均分配给m个树突单元141。如图2A所示，例如可以分配给每个树突单元两个输入信号，那么第一个树突单元141可以与第一层神经元层的第一个神经元14以及第二个神经元14相连接，第二个树突单元141可以与第一层神经元层的第三个神经元14以及第四个神经元14相连接，以此类推，第m个树突单元141可以与第一层神经元层第a-1个神经元14以及第a个神经元14相连接。需要注意的是，不限于此，例如，分配给每个树突单元的输入信号的个数也可以不同，例如第一个树突单元141可以与上一层神经元层的三个神经元相连接，第二个树突单元141可以与上一层神经元层的两个神经元相连接等，该树突单元的输入信号的个数视具体情况而定，在此不做限制。
步骤S120：通过m个树突单元分别对m组输入信号进行非线性过滤操作。
例如，树突单元141包括阻值渐变器件1410。例如，可以通过对m个树突单元141分别设置不同的阈值电压或电流(即非线性系数a)以实现不同的树突单元对输入数据进行不同强度的过滤。
步骤130：将经过非线性过滤操作后的输入信号进行数据处理后发送至海马单元142进行进一步的数据处理。
例如，在一个示例中，m个树突单元的输出可以符合如下表达式：
其中，a表示非线性系数，即树突单元141的阈值电压或电流。
例如，将树突单元141输出信号y发送至海马单元142。例如，海马单元142包括阻值突变器件1420。
例如，在一个示例中，海马单元的输出振荡频率符合如下表达式：
其中，c表示海马单元142的阈值电压或电流。
例如，对阻值突变器件1420施加电压信号，在电压信号达到其阈值电压c前，阻值突变器件1420的阻值基本不变。而在电压信号达到阈值电压c时，阻值突变器件20的阻值产生突变。例如，阻值突变器件的电导突然变大，从而海马单元中的响应电流突然增大，形成一个上升的脉冲电流。例如，轴突单元将该脉冲电流通过相应的电路结构转化为相应的电压信号传输至下一层的突触单元15以及神经元层。
例如，该信息处理方法还包括：当树突单元141进行数据处理后，关闭输入信号，使树突单元141和海马单元142恢复初始状态。例如，当外加电压信号被撤去，阻值渐变器件和阻值突变器件的阻值逐渐恢复到初始状态，电路中的响应电流逐渐减小，从而实现神经元的衰减功能。
图11示出了本公开一实施例提供的信息处理方法中的非线性过滤操作的流程图。也就是说，也就是说，图11为图10所示的步骤S120的一个示例的操作流程图。
如图11所示，该实施例提供的非线性过滤操作包括步骤S121至步骤S124。
步骤S121：对m个树突单元141分别设置阈值电压或电流。
例如，可以通过设置非线性系数a来实现。例如，上一层神经元层的输出被分组到下一层神经元层的各个神经元的树突单元后，通过设置不同位置以及不同时刻的树突单元的非线性系数a来实现根据不同的需求对数据进行不同的过滤强度的功能。
步骤S122：判断输入信号是否大于该阈值电压或电流；如果是，则执行步骤S123；如果否，则执行步骤S124。
例如，在本实施例中，该输入信号可以是经过忆阻器阵列得出的电压信号。例如，当电压信号小于阻值渐变器件的阈值电压时，阻值渐变器件中的的阻值不发生变化，此时，电路单元产生的响应电流较小(几乎为0μA)，电路单元不传输信号(该信号即为响应电流)；当电压信号大于所有阻值渐变器件的阈值电压时，所有阻值渐变器件的阻值逐渐变小，此时，电路单元产生的响应电流较大，电路单元开始传输信号。也就是说，小于阻值渐变器件的阈值电压的电压信号被阻挡，从而电路单元可以实现过滤电压信号的功能。
步骤S123：对输入信号进行运算。
例如，当电压信号大于所有阻值渐变器件的阈值电压时，所有阻值渐变器件的阻值逐渐变小，此时，电路单元对该电压信号进行积分运算，产生的较大的响应电流，电路单元开始传输信号，并将该信号传输至海马单元142进行下一步的处理。
步骤S124：不对输入信号进行运算。
例如，当电压信号小于阻值渐变器件的阈值电压时，阻值渐变器件中的的阻值不发生变化，此时，电路单元不进行运算，产生较小的响应电流(几乎为0μA)，电路单元不传输信号(该信号即为响应电流)，也就是说，小于阻值渐变器件的阈值电压的电压信号被阻挡，从而电路单元可以实现过滤电压信号的功能。
需要说明的是，本公开的实施例中，该神经网络的信息处理方法至少部分步骤可以通过软件、硬件、固件或它们的任意组合的方式实现。同样，该神经网络的信息处理方法的流程可以包括更多或更少的操作，这些操作可以顺序执行或并行执行。虽然上文描述的训练方法的流程包括特定顺序出现的多个操作，但是应该清楚的了解，多个操作的顺序并不受限制。上文描述的信息处理方法可以执行一次，也可以按照预定条件执行多次。例如，如果输输入信号一直大于阈值电压或电流，则继续进行步骤123。
本公开实施例提供的神经网络及其信息处理方法、信息处理系统，能够针对不同的需求设置不同的阈值参数，以过滤掉与目标任务无关的信息，从而减少神经网络的信息处理量，降低神经网络的运算功耗，提高神经网络对关键信息的处理效率。
以上所述，仅为本公开的具体实施方式，但本公开的保护范围并不局限于此，本公开的保护范围应以所述权利要求的保护范围为准。

Claims (12)

1.一种神经网络，包括逐一连接的N层神经元层，除第一层神经元层外，其余各层神经元层的各个神经元包括m个树突单元和一个海马单元；其中，
所述树突单元包括阻值渐变器件，所述海马单元包括阻值突变器件，且所述m个树突单元可分别设置有不同的阈值电压或电流；以及
第n层神经元层的神经元分别与第n+1层神经元层的神经元的所述m个树突单元相连接；
其中，N为大于等于3的整数，m为大于1的整数，n为大于等于1且小于N的整数。
2.根据权利要求1所述的神经网络，其中，所述m个树突单元可进行不同的串并联组合连接且与所述海马单元串联连接。
3.根据权利要求1或2任一所述的神经网络，其中，所述m个树突单元的输出符合如下表达式：
其中，a表示非线性系数，即所述树突单元的阈值电压或电流。
4.根据权利要求1或2任一所述的神经网络，其中，所述海马单元的输出振荡频率符合如下表达式：
其中，c表示所述海马单元的阈值电压或电流，sigmoid函数表示为：
其中，z＝x-c。
5.根据权利要求1所述的神经网络，其中，所述第n层神经元层和所述第n+1层神经元层之间通过突触单元连接。
6.根据权利要求5所述的神经网络，其中，所述突触单元包括忆阻器阵列。
7.一种信息处理系统，包括权利要求1-6任一所述的神经网络以及输入单元、输出单元、反向传播单元和驱动器；其中，
所述输入单元配置为将数据信号处理为所述神经网络所需的输入信号；
所述输出单元配置为对所述神经网络输出的输出结果进行处理并发送至所述反向传播单元；
所述反向传播单元配置为对所述神经网络的突触单元的参数进行优化；
所述驱动器配置为通过信号线向所述神经网络施加电压信号。
8.一种如权利要求1-6任一所述的神经网络的信息处理方法，包括：
将第n+1层神经元层的各个神经元的输入信号分为m组，并分别发送至所述各个神经元的m个树突单元；
通过所述m个树突单元分别对所述m组输入信号进行非线性过滤操作；
将经过所述非线性过滤操作后的输入信号进行数据处理后发送至所述海马单元进行进一步的数据处理。
9.根据权利要求8所述的信息处理方法，其中，所述非线性过滤操作包括：
对所述m个树突单元分别设置阈值电压或电流；
当所述输入信号大于所述阈值电压或电流时，对所述输入信号进行运算；
当所述输入信号小于所述阈值电压或电流时，不对所述输入信号进行运算。
10.根据权利要求8所述的信息处理方法，还包括：
当所述海马单元对所述树突单元的输出进行数据处理后，通过轴突单元向第n+2层神经元层传输信号。
11.根据权利要求8所述的信息处理方法，还包括：
当所述树突单元进行数据处理后，关闭所述输入信号，使所述树突单元和海马单元恢复初始状态。
12.根据权利要求8所述的信息处理方法，还包括通过所述突触单元计算出所述第n+1层神经元层的各个神经元的输入信号。
CN201810069603.5A 2018-01-24 2018-01-24 神经网络及其信息处理方法、信息处理系统 Active CN108268938B (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN201810069603.5A CN108268938B (zh) 2018-01-24 2018-01-24 神经网络及其信息处理方法、信息处理系统
US16/964,435 US20210049448A1 (en) 2018-01-24 2018-02-24 Neural network and its information processing method, information processing system
PCT/CN2018/077087 WO2019144453A1 (zh) 2018-01-24 2018-02-24 神经网络及其信息处理方法、信息处理系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810069603.5A CN108268938B (zh) 2018-01-24 2018-01-24 神经网络及其信息处理方法、信息处理系统

Publications (2)

Publication Number Publication Date
CN108268938A true CN108268938A (zh) 2018-07-10
CN108268938B CN108268938B (zh) 2020-04-21

Family

ID=62776587

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810069603.5A Active CN108268938B (zh) 2018-01-24 2018-01-24 神经网络及其信息处理方法、信息处理系统

Country Status (3)

Country Link
US (1) US20210049448A1 (zh)
CN (1) CN108268938B (zh)
WO (1) WO2019144453A1 (zh)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109165731A (zh) * 2018-08-09 2019-01-08 清华大学 电子神经网络及其参数设置方法
CN109255437A (zh) * 2018-08-17 2019-01-22 郑州轻工业学院 一种可灵活配置的忆阻神经网络电路
CN109711537A (zh) * 2018-11-30 2019-05-03 郑州轻工业学院 一种基于忆阻神经网络的预测电路
CN111695678A (zh) * 2020-06-01 2020-09-22 电子科技大学 一种基于忆阻模块阵列的图像标题生成方法
CN112567392A (zh) * 2018-07-26 2021-03-26 泰雷兹公司 包括自旋电子谐振器的神经网络
CN112567393A (zh) * 2018-07-26 2021-03-26 泰雷兹公司 包括基于自旋二极管效应的自旋电子谐振器的突触链及包括这种突触链的神经网络
WO2021088248A1 (zh) * 2019-11-07 2021-05-14 清华大学 基于忆阻器的神经网络的并行加速方法及处理器、装置

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20210056357A1 (en) * 2019-08-19 2021-02-25 Board Of Trustees Of Michigan State University Systems and methods for implementing flexible, input-adaptive deep learning neural networks
CN114897143A (zh) * 2022-02-20 2022-08-12 北京大学 神经元单元电路、脉冲神经网络及智能物联网芯片
CN117863948B (zh) * 2024-01-17 2024-06-11 广东工业大学 一种辅助调频的分散电动汽车充电控制方法及装置

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150206048A1 (en) * 2014-01-23 2015-07-23 Qualcomm Incorporated Configuring sparse neuronal networks
CN105224986A (zh) * 2015-09-29 2016-01-06 清华大学 基于忆阻器件的深度神经网络系统
CN106815636A (zh) * 2016-12-30 2017-06-09 华中科技大学 一种基于忆阻器的神经元电路
CN107122828A (zh) * 2017-05-09 2017-09-01 清华大学 电路结构及其驱动方法、神经网络

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5218529A (en) * 1990-07-30 1993-06-08 University Of Georgia Research Foundation, Inc. Neural network system and methods for analysis of organic materials and structures using spectral data
US8433665B2 (en) * 2010-07-07 2013-04-30 Qualcomm Incorporated Methods and systems for three-memristor synapse with STDP and dopamine signaling
CN105160401B (zh) * 2015-08-27 2017-08-11 电子科技大学 一种基于忆阻器阵列的wta神经网络及其应用
WO2017073373A1 (ja) * 2015-10-30 2017-05-04 株式会社モルフォ 学習システム、学習装置、学習方法、学習プログラム、教師データ作成装置、教師データ作成方法、教師データ作成プログラム、端末装置及び閾値変更装置
US10860923B2 (en) * 2016-12-20 2020-12-08 Samsung Electronics Co., Ltd. High-density neuromorphic computing element
US10817259B2 (en) * 2017-07-31 2020-10-27 Allegro Artificial Intelligence Ltd System and method for causing actions in a dataset management system

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150206048A1 (en) * 2014-01-23 2015-07-23 Qualcomm Incorporated Configuring sparse neuronal networks
CN105224986A (zh) * 2015-09-29 2016-01-06 清华大学 基于忆阻器件的深度神经网络系统
CN106815636A (zh) * 2016-12-30 2017-06-09 华中科技大学 一种基于忆阻器的神经元电路
CN107122828A (zh) * 2017-05-09 2017-09-01 清华大学 电路结构及其驱动方法、神经网络

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112567392A (zh) * 2018-07-26 2021-03-26 泰雷兹公司 包括自旋电子谐振器的神经网络
CN112567393A (zh) * 2018-07-26 2021-03-26 泰雷兹公司 包括基于自旋二极管效应的自旋电子谐振器的突触链及包括这种突触链的神经网络
CN112567392B (zh) * 2018-07-26 2024-03-22 泰雷兹公司 用于实施神经网络的装置
CN112567393B (zh) * 2018-07-26 2024-03-26 泰雷兹公司 用于实施神经网络的突触链及用于实施神经网络的装置
CN109165731A (zh) * 2018-08-09 2019-01-08 清华大学 电子神经网络及其参数设置方法
CN109165731B (zh) * 2018-08-09 2020-06-30 清华大学 电子神经网络及其参数设置方法
CN109255437A (zh) * 2018-08-17 2019-01-22 郑州轻工业学院 一种可灵活配置的忆阻神经网络电路
CN109711537A (zh) * 2018-11-30 2019-05-03 郑州轻工业学院 一种基于忆阻神经网络的预测电路
CN109711537B (zh) * 2018-11-30 2020-09-11 郑州轻工业学院 一种基于忆阻神经网络的预测电路
WO2021088248A1 (zh) * 2019-11-07 2021-05-14 清华大学 基于忆阻器的神经网络的并行加速方法及处理器、装置
CN111695678A (zh) * 2020-06-01 2020-09-22 电子科技大学 一种基于忆阻模块阵列的图像标题生成方法
CN111695678B (zh) * 2020-06-01 2022-05-03 电子科技大学 一种基于忆阻模块阵列的图像标题生成方法

Also Published As

Publication number Publication date
WO2019144453A1 (zh) 2019-08-01
US20210049448A1 (en) 2021-02-18
CN108268938B (zh) 2020-04-21

Similar Documents

Publication Publication Date Title
CN108268938A (zh) 神经网络及其信息处理方法、信息处理系统
Demin et al. Necessary conditions for STDP-based pattern recognition learning in a memristive spiking neural network
JP2019519045A (ja) ニューラルネットワーク、およびニューラルネットワークトレーニングの方法
CN108009640A (zh) 基于忆阻器的神经网络的训练装置及其训练方法
GB2579528A (en) Neuromorphic processing apparatus
Lee et al. Oxide based nanoscale analog synapse device for neural signal recognition system
US10671911B2 (en) Current mirror scheme for an integrating neuron circuit
EP2635889A1 (en) Neuromorphic and synaptronic spiking neural network with synaptic weights learned using simulation
Stewart et al. A biologically realistic cleanup memory: Autoassociation in spiking neurons
WO2015065729A2 (en) Causal saliency time inference
WO2015020802A2 (en) Computed synapses for neuromorphic systems
KR20130036318A (ko) Ｓｔｄｐ 및 도파민 시그널을 갖는 3―멤리스터 시냅스에 대한 방법들 및 시스템들
JP2021511566A (ja) ニューロモーフィック・チップ、ニューロモーフィック・システム、ニューロモーフィック・チップ内のシナプス重みを更新するための方法およびコンピュータ・プログラム
CN107122828B (zh) 电路结构及其驱动方法、神经网络
JPH0628331A (ja) マルチプレクスされる出力ニューロンを採用する多層ニューロンネットワーク
Zhao et al. Synchronization of coupled memristive competitive BAM neural networks with different time scales
EP3114615A2 (en) Neural network adaptation to current computational resources
KR20150128781A (ko) 인공 뉴런 및 멤리스터를 갖는 장치
Zoppo et al. Equilibrium propagation for memristor-based recurrent neural networks
CA2921831A1 (en) Methods and apparatus for implementation of group tags for neural models
Battistoni et al. Organic memristive devices for perceptron applications
Liaw et al. Dynamic synapse: Harnessing the computing power of synaptic dynamics
Jiang et al. Single dendritic neuron with nonlinear computation capacity: A case study on xor problem
Shen et al. Brain-inspired neural circuit evolution for spiking neural networks
Grewal et al. Going beyond the point neuron: active dendrites and sparse representations for continual learning

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
REG Reference to a national code

Ref country code: HK

Ref legal event code: DE

Ref document number: 1257938

Country of ref document: HK

GR01 Patent grant
GR01 Patent grant