CN111210013B - 阈值可塑的人工神经元电路 - Google Patents

阈值可塑的人工神经元电路 Download PDF

Info

Publication number
CN111210013B
CN111210013B CN201911393826.8A CN201911393826A CN111210013B CN 111210013 B CN111210013 B CN 111210013B CN 201911393826 A CN201911393826 A CN 201911393826A CN 111210013 B CN111210013 B CN 111210013B
Authority
CN
China
Prior art keywords
threshold
threshold value
module
memristor
signal
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201911393826.8A
Other languages
English (en)
Other versions
CN111210013A (zh
Inventor
李辛毅
钱鹤
吴华强
高滨
唐建石
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tsinghua University
Original Assignee
Tsinghua University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tsinghua University filed Critical Tsinghua University
Priority to CN201911393826.8A priority Critical patent/CN111210013B/zh
Publication of CN111210013A publication Critical patent/CN111210013A/zh
Priority to PCT/CN2020/120941 priority patent/WO2021135502A1/zh
Application granted granted Critical
Publication of CN111210013B publication Critical patent/CN111210013B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/06—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons
    • G06N3/063—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons using electronic means
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Theoretical Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Artificial Intelligence (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Neurology (AREA)
  • Semiconductor Memories (AREA)

Abstract

本发明公开了一种阈值可塑的人工神经元电路，该电路包括：累加模块、阈值发放模块和阈值调节模块，其中，累加模块与阈值发放模块连接，用于累积突触产生的信号，并将信号发送给阈值发放模块；阈值发放模块用于接收累加模块输出的信号，并比较接收到的信号与预设阈值的大小，若接收到的信号大于预设阈值时，则神经元被激活，若接收到的信号小于预设阈值，则神经元未被激活；阈值调节模块与阈值发放模块连接，用于根据学习算法调节预设阈值的大小。该电路在训练的过程中，突触和神经元同时都具有可调节性，使得人工神经网络具有更强的学习能力，功能更丰富和灵活，更加智能化。

Description

阈值可塑的人工神经元电路
技术领域
本发明涉及人工神经网络技术领域，特别涉及一种阈值可塑的人工神经元电路。
背景技术
模拟生物神经网络信息处理方式的人工神经网络被认为是解决冯诺依曼信息处理架构中，计算与存储之间数据搬运，以及计算单元和存储单元速度不匹配等问题的最有效的途径。虽然人工神经网络强大的计算能力在各行各业也得到了验证，但与生物神经网络相比，人工神经网络在自适应性学习能力，容错能力以及推理能力方面还有非常明显的差距。
要开发出能够与生物神经网络，甚至人类大脑的智能相比拟的人工神经系统，除了系统架构和算法上的创新设计外，硬件电路的创新性设计是及其关键的。
无论是生物神经网络还是人工神经网络，都主要由两个关键的计算单元组成，也就是突触和神经元。突触在神经元之间起到连接作用。在神经网络的学习过程中，会改变突触连接的强弱。而目前的人工神经网络主要也是通过改变突触的权重，也就是神经元之间连接的强弱来表征学习过程的。人工神经网络中的神经元主要是对突触输出的信号进行积分和非线性阈值发放处理。
在生物神经网络中，学习对神经元也是有调节的。最明显的就是通过学习，神经元的发放阈值会改变。这一功能在目前人工神经网络中还没有硬件实现报道。
发明内容
本发明旨在至少在一定程度上解决相关技术中的技术问题之一。
为此，本发明的目的在于提出一种种阈值可塑的人工神经元电路。
为达到上述目的，本发明实施例提出了种阈值可塑的人工神经元电路，包括：累加模块、阈值发放模块和阈值调节模块，其中，所述累加模块与所述阈值发放模块连接，用于累积突触产生的信号，并将所述信号发送给所述阈值发放模块；所述阈值发放模块用于接收所述累加模块的信号，并比较所述信号与预设阈值的大小，若所述信号大于预设阈值时，则神经元被激活，若所述信号小于所述预设阈值时，则神经元未被激活；所述阈值调节模块与所述阈值发放模块连接，用于根据学习算法调节所述预设阈值的大小。
本发明实施例的阈值可塑的人工神经元电路，具有学习能力，且在训练的过程中，突触和神经元同时都具有可调节性，使得人工神经网络具有更强的学习能力，功能更丰富和灵活，更加智能化，为构建功能更强大的人工神经网络提供了关键的硬件电路模块设计方案，另外，该人工神经元电路具有硬件实现简单、体积小和功耗低的优点，可做为植入式应用和便携式用。
另外，根据本发明上述实施例的阈值可塑的人工神经元电路还可以具有以下附加的技术特征：
进一步地，在本发明的一个实施例中，所述阈值发放模块为阈值开关型忆阻器或比较器。
可选地，在本发明的一个实施例中，所述阈值开关型忆阻器包括Mott型器件、导电细丝型阈值开关器件和硫族元素基的相变材料阈值开关型器件。
进一步地，在本发明的一个实施例中，所述阈值调节模块利用所述学习算法对神经元进行训练，以调节非挥发忆阻器的阻值，改变所述预设阈值的大小。
可选地，在本发明的一个实施例中，所述非挥发忆阻器包括氧空位导电细丝型忆阻器和金属离子导电细丝型忆阻器。
进一步地，在本发明的一个实施例中，若所述阈值发放模块采用阈值开关型忆阻器，则所述阈值开关型忆阻器与所述阈值调节模块的非挥发忆阻器连接，通过所述信号调节所述预设阈值的大小。
进一步地，在本发明的一个实施例中，若所述阈值发放模块采用比较器，则所述阈值调节模块的非挥发忆阻器与电阻连接，所述电阻与所述比较器连接，通过所述信号和所述电阻的分压调节所述预设阈值的大小。
本发明附加的方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。
附图说明
本发明上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解，其中：
图1为根据本发明一个实施例的阈值可塑的人工神经元电路结构示意图；
图2为根据本发明一个实施例的基于非挥发忆阻器的阈值可塑性神经元电路结构示意图；
图3为根据本发明一个实施例的基于比较器的阈值可塑性神经元电路结构示意图。
具体实施方式
下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，旨在用于解释本发明，而不能理解为对本发明的限制。
下面参照附图描述根据本发明实施例提出的阈值可塑的人工神经元电路。
图1是本发明一个实施例的阈值可塑的人工神经元电路结构示意图。
如图1所示，该人工神经元电路10包括：累加模块100、阈值发放模块200和阈值调节模块300。
其中，累加模块100与阈值发放模块200连接，用于累积突触产生的信号，并将信号发送给阈值发放模块200。
也就是说，累加模块100也就是积分电路对来自突触模块的信号进行积分。
阈值发放模块200用于接收累加模块100的信号，并比较信号与预设阈值的大小，若信号大于预设阈值时，则神经元被激活，若信号小于预设阈值时，则神经元未被激活。
也就是说，阈值发放模块200接收来自累加模块100输出的信号。如果收到的信号大于其阈值，则输出一个脉冲信号，认为神经元被激活，如果收到的信号小于其阈值，这该模块不发放脉冲，则神经元没有被激活。
可以理解的是，当神经元的阈值比较低的时，更容易发放，也就更容易被激活，表明神经网络对某一类信息更敏感。反之，如果神经元的阈值比较高，则不容易被激活，神经网络就对相应的信息不敏感。
进一步地，在本发明的一个实施例中，阈值发放模块200可以为阈值开关型忆阻器或比较器，其中，阈值开关型忆阻器可以包括Mott型器件、导电细丝型阈值开关器件和硫族元素基的相变材料阈值开关型器件。
例如，阈值开关型忆阻器可为基于NbOx，VOx的Mott型器件，也可以为基于Ag，Cu的导电细丝型阈值开关器件，也可为基于Sb，Te等硫族元素基的相变材料阈值开关型器件。
阈值调节模块300与阈值发放模块200连接，用于根据学习算法调节预设阈值电压大小。
进一步地，在本发明的一个实施例中，阈值调节模块300利用学习算法对神经元进行训练，以调节非挥发忆阻器的阻值，改变预设阈值电压。其中，非挥发忆阻器包括氧空位导电细丝型忆阻器和金属离子导电细丝型忆阻器，具体地，非挥发忆阻器可为基于TaOx，HfOx，AlOx等的氧空位导电细丝型忆阻器，也可为基于Ag，Cu等金属离子的导电细丝型忆阻器。
也就是说，阈值调节模块300可以根据学习算法，采用调节忆阻器的阻值，通过调节忆阻器上分压的大小来调节阈值发放模块的阈值电压，进而对阈值发放模块200的阈值大小进行调节。后面将详细介绍阈值调节模块300的电路设计和工作过程。
需要说明的是，忆阻器内部离子对外部电学激励的不同具有不同的响应的物理机制，故本发明实施例可利用忆阻器本身的物理过程对脑电信号进行滤波和编码，对阈值进行调节。
进一步地，在本发明的一个实施例中，若阈值发放模块采用阈值开关型忆阻器，则阈值开关型忆阻器直接与阈值调节模块的非挥发忆阻器连接，通过信号调节预设阈值的大小。
具体地，如图2所示，当阈值发放模块200采用阈值开关型忆阻器时，阈值开关型忆阻器直接与阈值调节模块300的非挥发忆阻器连接，阈值调节模块300利用学习算法对神经元进行训练，调节非挥发忆阻器的阻值，进而改变预设阈值电压，公式如下：
Vth＝Vin*[RN/(RN+RH)]
其中，Vth为阈值电压，RN为阈值开关型忆阻器电阻，RH为非挥发忆阻器电阻，Vin为输入的信号。
进一步地，在本发明的一个实施例中，若阈值发放模块采用比较器，则阈值调节模块的非挥发忆阻器与电阻连接，电阻与比较器连接，通过信号和电阻的分压调节预设阈值的大小。
具体地，如图3所示，当阈值发放模200块采用比较器时，阈值调节模块300的非挥发忆阻器与电阻连接，电阻与比较器连接，通过调节非挥发忆阻器的阻值，改变其上的分压，来改变神经元模块的发放阈值电压。在相同的输入电压下，由于非挥发忆阻器的阻值大小不同，其后电路模块的输入电压也就不同，就可在神经元电路制备完成后，通过后续的训练，使神经元电路具有对不同任务进行不同处理的功能，公式如下：
Vth＝Vin＝Vbias*[Ri/(Ri+RH)]
其中，Vth为阈值电压，Ri为电阻Ri上的分压，RH为非挥发忆阻器电阻，Vin为输入的信号，Vbias为偏置电压。
可以理解的是，非挥发忆阻器的电阻调节范围越大，电阻状态越多，则神经元的阈值可塑性越强。
综上，本发明提出的阈值可塑的人工神经元电路与传统的人工神经网络相比，传统的人工神经网络在训练的过程中，只是通过调节突触的权重来达到学习的目的，然而本发明提出的神经元电路结构具有学习能力，且在训练的过程中，突触和神经元同时都具有可调节性，使得人工神经网络具有更强的学习能力，功能更丰富和灵活，更加智能化，为构建功能更强大的人工神经网络提供了关键的硬件电路模块设计方案，另外，该人工神经元电路具有硬件实现简单、体积小和功耗低的优点，可做为植入式应用和便携式用。
此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。在本发明的描述中，“多个”的含义是至少两个，例如两个，三个等，除非另有明确具体的限定。
在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。
尽管上面已经示出和描述了本发明的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本发明的限制，本领域的普通技术人员在本发明的范围内可以对上述实施例进行变化、修改、替换和变型。

Claims (5)

1.一种阈值可塑的人工神经元电路，其特征在于，包括：累加模块、阈值发放模块和阈值调节模块，其中，
所述累加模块与所述阈值发放模块连接，用于累积突触产生的信号，并将所述信号发送给所述阈值发放模块；所述阈值发放模块用于接收所述累加模块的信号，并比较所述信号与预设阈值的大小，若所述信号大于预设阈值时，则神经元被激活，若所述信号小于所述预设阈值时，则神经元未被激活；所述阈值调节模块与所述阈值发放模块连接，用于根据学习算法调节所述预设阈值的大小；
其中，所述阈值发放模块为阈值开关型忆阻器或比较器，所述阈值调节模块利用所述学习算法对神经元进行训练，以调节非挥发忆阻器的阻值，改变所述预设阈值的大小，公式如下：
Vth＝Vin*[RN/(RN+RH)]
其中，Vth为阈值电压，RN为阈值开关型忆阻器电阻，RH为非挥发忆阻器电阻，Vin为输入的信号。
2.根据权利要求1所述的阈值可塑的人工神经元电路，其特征在于，所述阈值开关型忆阻器包括Mott型器件、导电细丝型阈值开关器件和硫族元素基的相变材料阈值开关型器件。
3.根据权利要求1所述的阈值可塑的人工神经元电路，其特征在于，所述非挥发忆阻器包括氧空位导电细丝型忆阻器和金属离子导电细丝型忆阻器。
4.根据权利要求1所述的阈值可塑的人工神经元电路，其特征在于，若所述阈值发放模块采用阈值开关型忆阻器，则所述阈值开关型忆阻器与所述阈值调节模块的非挥发忆阻器连接，通过所述信号调节所述预设阈值的大小。
5.根据权利要求1所述的阈值可塑的人工神经元电路，其特征在于，若所述阈值发放模块采用比较器，则所述阈值调节模块的非挥发忆阻器与电阻连接，所述电阻与所述比较器连接，通过所述信号和所述电阻的分压调节所述预设阈值的大小。
CN201911393826.8A 2019-12-30 2019-12-30 阈值可塑的人工神经元电路 Active CN111210013B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN201911393826.8A CN111210013B (zh) 2019-12-30 2019-12-30 阈值可塑的人工神经元电路
PCT/CN2020/120941 WO2021135502A1 (zh) 2019-12-30 2020-10-14 阈值可塑的人工神经元电路

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911393826.8A CN111210013B (zh) 2019-12-30 2019-12-30 阈值可塑的人工神经元电路

Publications (2)

Publication Number Publication Date
CN111210013A CN111210013A (zh) 2020-05-29
CN111210013B true CN111210013B (zh) 2023-04-07

Family

ID=70789413

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911393826.8A Active CN111210013B (zh) 2019-12-30 2019-12-30 阈值可塑的人工神经元电路

Country Status (2)

Country Link
CN (1) CN111210013B (zh)
WO (1) WO2021135502A1 (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111210013B (zh) * 2019-12-30 2023-04-07 清华大学 阈值可塑的人工神经元电路
CN113189905B (zh) * 2021-04-15 2023-01-10 常州易控汽车电子股份有限公司 一种可调参考阈值的磁电转速处理系统
CN113311702B (zh) * 2021-05-06 2022-06-21 清华大学 一种基于Master-Slave神经元的人工神经网络控制器

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3305267B2 (ja) * 1998-08-07 2002-07-22 株式会社モノリス シナプス素子、しきい値回路およびニューロン装置
CN101770560B (zh) * 2008-12-31 2013-04-24 南方医科大学 模拟生物神经元信息处理机制的信息处理方法及装置
US20120011092A1 (en) * 2010-07-07 2012-01-12 Qualcomm Incorporated Methods and systems for memristor-based neuron circuits
US8909576B2 (en) * 2011-09-16 2014-12-09 International Business Machines Corporation Neuromorphic event-driven neural computing architecture in a scalable neural network
US10169701B2 (en) * 2015-05-26 2019-01-01 International Business Machines Corporation Neuron peripheral circuits for neuromorphic synaptic memory array based on neuron models
KR102565273B1 (ko) * 2016-01-26 2023-08-09 삼성전자주식회사 뉴럴 네트워크에 기초한 인식 장치 및 뉴럴 네트워크의 학습 방법
US10922608B2 (en) * 2017-03-08 2021-02-16 Arm Ltd Spiking neural network
CN109447250B (zh) * 2018-09-14 2020-07-10 华中科技大学 一种基于忆阻器中电池效应的人工神经元
CN109948786B (zh) * 2019-02-21 2021-05-11 山东师范大学 一种仿脑的数模混合神经元电路及方法
CN111210013B (zh) * 2019-12-30 2023-04-07 清华大学 阈值可塑的人工神经元电路

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
A scalable neuristor built with Mott memristors;Matthew D.Pickett等;《nature materials》;20131231;全文 *
基于神经元晶体管和忆阻器的Hopfield神经网络及其在联想记忆中的应用;朱航涛等;《西南大学学报(自然科学版)》;20180228;第40卷(第2期);全文 *

Also Published As

Publication number Publication date
WO2021135502A1 (zh) 2021-07-08
CN111210013A (zh) 2020-05-29

Similar Documents

Publication Publication Date Title
CN111210013B (zh) 阈值可塑的人工神经元电路
KR102628709B1 (ko) 스파이킹 신경망
US8682822B2 (en) Electronic learning synapse with spike-timing dependent plasticity using memory-switching elements
Suri et al. CBRAM devices as binary synapses for low-power stochastic neuromorphic systems: auditory (cochlea) and visual (retina) cognitive processing applications
US11625588B2 (en) Neuron circuit and artificial neural network chip
Feng et al. Stability analysis of bidirectional associative memory networks with time delays
US8463723B2 (en) Electronic synapse
JP2020531954A (ja) 神経形態学的処理装置
Linares-Barranco et al. Exploiting memristance in adaptive asynchronous spiking neuromorphic nanotechnology systems
CN103580668A (zh) 一种基于忆阻器的联想记忆电路
US20170243109A1 (en) Device with multiple resistance switches with different switching characteristics
CN109086881B (zh) 卷积神经网络及具有其的神经网络系统
Zhu et al. Harnessing adaptive dynamics in neuro-memristive nanowire networks for transfer learning
CN112598124A (zh) 神经元模拟电路及神经网络装置
CN109165731B (zh) 电子神经网络及其参数设置方法
US3496382A (en) Learning computer element
US11625590B2 (en) Memristive multi-terminal spiking neuron
US11551070B2 (en) Artificial neuromorphic circuit and operation method
Watanabe et al. Self-organization dynamics in chaotic neural networks
KR20170117861A (ko) 뉴럴 네트워크 시스템
US20210406658A1 (en) Artificial neuromorphic circuit and operation method
KR20190057932A (ko) 인공신경망 프로세서용 활성화 소자
US20220215229A1 (en) Neural network device and learning method
RU2701705C1 (ru) Синаптический резистор
US11468307B2 (en) Artificial neuromorphic circuit and operation method

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant