CN110135571B - 一种基于细胞突触结构的单层线性神经网络 - Google Patents
一种基于细胞突触结构的单层线性神经网络 Download PDFInfo
- Publication number
- CN110135571B CN110135571B CN201910290338.8A CN201910290338A CN110135571B CN 110135571 B CN110135571 B CN 110135571B CN 201910290338 A CN201910290338 A CN 201910290338A CN 110135571 B CN110135571 B CN 110135571B
- Authority
- CN
- China
- Prior art keywords
- stage
- resistors
- neural network
- post
- layer linear
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000013528 artificial neural network Methods 0.000 title claims abstract description 34
- 239000002356 single layer Substances 0.000 title claims abstract description 28
- 230000000946 synaptic effect Effects 0.000 title claims abstract description 19
- 210000002569 neuron Anatomy 0.000 claims abstract description 41
- 210000000225 synapse Anatomy 0.000 claims abstract description 33
- 210000005036 nerve Anatomy 0.000 claims abstract description 25
- 210000004027 cell Anatomy 0.000 claims abstract description 16
- 238000000034 method Methods 0.000 claims description 4
- 230000015654 memory Effects 0.000 claims description 3
- 230000001413 cellular effect Effects 0.000 claims description 2
- 230000000875 corresponding effect Effects 0.000 description 4
- 230000007423 decrease Effects 0.000 description 4
- 238000010586 diagram Methods 0.000 description 4
- 230000007246 mechanism Effects 0.000 description 4
- 230000000694 effects Effects 0.000 description 3
- 239000011159 matrix material Substances 0.000 description 3
- 210000004556 brain Anatomy 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 230000002596 correlated effect Effects 0.000 description 2
- 238000010304 firing Methods 0.000 description 2
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 238000004088 simulation Methods 0.000 description 1
- 230000003956 synaptic plasticity Effects 0.000 description 1
- 230000036962 time dependent Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/06—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons
- G06N3/063—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons using electronic means
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/06—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons
- G06N3/063—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons using electronic means
- G06N3/065—Analogue means
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/049—Temporal neural networks, e.g. delay elements, oscillating neurons or pulsed inputs
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/088—Non-supervised learning, e.g. competitive learning
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Theoretical Computer Science (AREA)
- Evolutionary Computation (AREA)
- General Engineering & Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Artificial Intelligence (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Computational Linguistics (AREA)
- General Physics & Mathematics (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Neurology (AREA)
- Semiconductor Memories (AREA)
- Feedback Control In General (AREA)
- Image Analysis (AREA)
Abstract
本发明公开的一种基于细胞突触结构的单层线性神经网络，包括前神经突触和后神经突触，所述前神经突触包括m个前级电阻，所述前神经突触中m个前级电阻的一端共同连接中间点，另一端分别连接m个前级信号输入端；所述前级信号输入端用于接收输入电压，所述后神经突触包括n个后级电阻，所述后神经突触中的n个后级电阻的一端共同连接中间点，另一端分别连接n个后级信号输出端；所述后级信号输出端用于输出电流。本发明提供的一种基于细胞突触结构的单层线性神经网络，可以减少电阻的个数；另外，只需要调整两个可变电阻或者其中一个可变电阻，即可改变外部前神经元和后神经元之间的权重。
Description
技术领域
本发明涉及人工智能神经网络领域，具体涉及一种基于细胞突触结构的单层线性神经网络。
背景技术
在人工智能领域，如何搭建一个合理的神经网络进行有效学习，同时能够再结合硬件实现，是一件非常有前景的研究领域。通过对人脑思考的模拟也是近年来的一个研究方向。在神经科学领域，赫布理论(Hebbian theory)是解释在学习过程中脑中神经元所发生的变化的一种假说。根据这个理论，神经元"A"必须对神经元"B"的激发“作出了一定贡献”，因此，神经元"A"的激发必须在神经元"B"之前，而不能同时激发。赫布理论中的这一部分研究，后来被称作STDP(尖峰时间相关可塑性)，表明突触可塑性需要一定的时间延迟。
这种学习方式是无监督学习的一种重要的生物学解释。在硬件上，最基本的想法，如附图1所示，可以构建一个可变电阻矩阵阵列，该阵列由M行N列的可变电阻形成，其中，每行可变电阻连接一个前级电压，每一列可变电阻连接一个后级电流接收，采用上述阵列模拟单层的前后神经突触之间的连接，实现一种简化版本的STDP机制。通过改变某一个电阻值来改变连接前后神经元之间的权重大小。
附图1中的这种结构存在一些不足之处。首先，需要电阻的数量是前神经突触与后神经突触的乘积，随着神经元规模变化，电阻的数量也会以指数规模变大。其次，实际神经网络中，一个神经突触的增强会使与之一起相连神经元的其他突触有所减弱，但是阵列中因为电阻之间不存在互相影响，所以相对于实际的STDP效应，只能实现简单的效应。
发明内容
本发明的目的是提供一种基于细胞突触结构的单层线性神经网络，由于整个神经网络的电阻数量与端口数量是一次相关的，相比现有技术，可以减少电阻的个数；另外，只需要调整调整两个可变电阻或者其中一个可变电阻，即可改变外部前神经元和后神经元之间的权重。
为了实现上述目的，本发明采用如下技术方案：一种基于细胞突触结构的单层线性神经网络，包括前神经突触和后神经突触，所述前神经突触包括m个前级电阻，所述前神经突触中m个前级电阻的一端共同连接中间点，另一端分别连接m个前级信号输入端；所述前级信号输入端用于接收输入电压，
所述后神经突触包括n个后级电阻，所述后神经突触中的n个后级电阻的一端共同连接中间点，另一端分别连接n个后级信号输出端；所述后级信号输出端用于输出电流；其中，m和n均为大于1的整数。
进一步地，所述前级电阻和后级电阻均为可变电阻。
进一步地，所述前级电阻和后级电阻均为阻变式存储器。
进一步地，所述m个前级电阻的电阻值均大于n个后级电阻的电阻值。
进一步地，所述n个后级电阻的电阻值均大于m个前级电阻的电阻值。
进一步地，改变第k路输入端到第i路输出端的阻值方法为：改变第k个前级电阻和/或第i个后级电阻的阻值，其余的前级电阻和后级电阻保持不变；其中，k为大于0小于等于m的整数，i为大于0小于等于n的整数。
进一步地，所述单层线性神经网络还包括m个前神经元和n个后神经元，所述m个前神经元分别连接m个前级信号输入端，所述n个后神经元分别连接n个后级信号输入端。
进一步地，所述单层线性神经网络还包括m个前神经元电路和n个后神经元电路，分别对应m个前神经元和n个后神经元，所述n个后神经元电路的输出端同时连接中间点和m个前神经元电路。
本发明的有益效果为：本发明中单层线性神经网络的电阻特性与实际的STDP机制非常接近，即当两个神经元之间的权重增强时，这两个神经元与其他神经元之间的权重会有所降低。传统的矩阵网络需要调整每一个相关的阻值才能调整所有权重，而本发明中单层线性神经网络只需要调整两个电阻或者其中的一个电阻，即可达到同样的效果。除此之外，整个单层线性神经网络的电阻数量与端口数量只是一次相关，相比于传统技术中的两次相关，在相同条件下用到更少的电阻，即将电阻数量有附图1中的m×n减少到m+n个。
附图说明
附图1为现有技术中的神经网络可变电阻矩阵阵列示意图。
附图2为本发明一种基于细胞突触结构的单层线性神经网络的框架示意图。
附图3为本发明一种基于细胞突触结构的单层线性神经网络的电阻阻值简要示意图。
附图4为本发明一种基于细胞突触结构的单层线性神经网络利用RRAM实现的大致电路架构示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚，下面结合附图对本发明的具体实施方式做进一步的详细说明。
如附图2所示，本发明中提供的一种基于细胞突触结构的单层线性神经网络，包括前神经突触和后神经突触，前神经突触包括m个前级电阻，前神经突触中m个前级电阻的一端共同连接中间点，另一端分别连接m个前级信号输入端，前级信号输入端用于接收输入电压。
后神经突触包括n个后级电阻，后神经突触中的n个后级电阻的一端共同连接中间点，另一端分别连接n个后级信号输出端；后级信号输出端用于输出电流；m和n均为大于1的整数。
本发明中前级电阻和后级为可变电阻，因此，在上述单层线性神经网络中，一共存在m+n个可变电阻，具体的可变电阻例如可以是阻变式存储器。
在附图2的结构中，前级信号输入端提供电压，后级信号输出端接收由电阻网络得到的电流值。每一个后级信号输出端的电流值与前级信号输入端的每一个电压值以及网络中的每一个电阻相关。具体的，如附图3所示，假设前级信号输入端的电压值分别为V1，V2，…，Vm，后级信号输出端电流分别为I1，I2，…，In，前级可变电阻值分别为R11，R12，…，R1m，后级可变电阻值分别为R21，R22，…，R2n。那么中间点的电压值为
从而可以推导出第i路电流值为
其中，
其中，Vk表示第k个前级信号输入端输入的电压值，R1k表示第k个前级电阻的电阻值，R2k表示第k个后级电阻的电阻值，R2i表示第i个后级电阻的电阻值，R_(e_ki)表示第k个前级信号输入端到第i个后级信号输出端的等效电阻值。可以发现连接在第k路前级信号输入端和第i路后级信号输出端的电阻大小与该电阻正相关，变化率与其他的阻值大小相关，其他电阻越小，这种正相关性越强。而其他的电阻与该电阻负相关。也就是说，在本发明结构基础上，改变第k路输入端到第i路输出端的阻值方法为：改变第k个前级电阻和/或第i个后级电阻的阻值，其余的前级电阻和后级电阻保持不变；其中，k为大于0小于等于m的整数，i为大于0小于等于n的整数。
由于单层线性神经网络的电阻特性与实际的STDP机制非常接近，即当两个前神经突触和后神经突触之间的权重增强时，这两个神经突触与其他神经突触之间的权重会有所降低。在上述改变前级电阻和/或后级电阻的过程中，假设同时改变第k个前级电阻和第i个后级电阻的阻值，其余的前级电阻和后级电阻保持不变，则第k个前神经突触与第i个后神经突触之间的权重增加，第k个前神经突触与其余的n-1个后神经突触之间的权重减小；同样的道理，其余的m-1个前神经突触与第i个后神经突触之间的权重减小。即本发明中单层线性神经网络只需要调整两个可变电阻或者其中的一个可变电阻，即可使得整个神经网络的权重发生相应的改变。而在附图1中的传统结构中，需要调整每一个相关的阻值才能调整所有权重。
在上述基础上，可以合理设计前级电阻和后级电阻的大小，使一边的阻值更大，这样调节的阈度也更大。具体可以使得m个前级电阻的电阻值均大于n个后级电阻的电阻值，或者n个后级电阻的电阻值均大于m个前级电阻的电阻值。
如附图4所示，在上述基础上，使用具有多值存储特性的RRAM作为前级电阻和后级电阻，在前后级分别设计相应的前神经元、后神经元、前神经元电路和后神经元电路，其中，m个前神经元分别连接m个前级信号输入端，n个后神经元分别连接n个后级信号输入端；n个后神经元电路的输出端同时连接中间点和m个前神经元电路；可以构成一个基本的类脑神经网络，实现STDP机制。
如附图4所示，前神经元电路负责将刺激信号转化为脉冲电压信号，作为前级信号输入端的输入电压，后神经元电路包括处理模块，处理模块用于接收和处理后级信号输出端输出的电流，并判断其是否达到改变RRAM的触发条件，若达到触发条件，则将信号反馈到对应的前级神经元中，通过该前神经元对应的前级信号配合控制完成该前级电阻的编程，从而实现前级阻值的更新；若未达到触发条件，则不反馈信号。这里的后神经元电路接收处理电流之后，根据触发条件可以判断出需要改变哪一个前级电阻或者后级电阻，并将判断结构对应的信号反馈至m个前神经元电路中，结合外界施加的电压对需要改变的前级电阻或后级电阻进行编程。
以上所述仅为本发明的优选实施例，所述实施例并非用于限制本发明的专利保护范围，因此凡是运用本发明的说明书及附图内容所作的等同结构变化，同理均应包含在本发明所附权利要求的保护范围内。
Claims (8)
1.一种基于细胞突触结构的单层线性神经网络，其特征在于，包括前神经突触和后神经突触，所述前神经突触包括m个前级电阻，所述前神经突触中m个前级电阻的一端共同连接中间点，另一端分别连接m个前级信号输入端；所述前级信号输入端用于接收输入电压；
所述后神经突触包括n个后级电阻，所述后神经突触中的n个后级电阻的一端共同连接中间点，另一端分别连接n个后级信号输出端；所述后级信号输出端用于输出电流；其中，m和n均为大于1的整数。
2.根据权利要求1所述的一种基于细胞突触结构的单层线性神经网络，其特征在于，所述前级电阻和后级电阻均为可变电阻。
3.根据权利要求2所述的一种基于细胞突触结构的单层线性神经网络，其特征在于，所述前级电阻和后级电阻均为阻变式存储器。
4.根据权利要求1所述的一种基于细胞突触结构的单层线性神经网络，其特征在于，所述m个前级电阻的电阻值均大于n个后级电阻的电阻值。
5.根据权利要求1所述的一种基于细胞突触结构的单层线性神经网络，其特征在于，所述n个后级电阻的电阻值均大于m个前级电阻的电阻值。
6.根据权利要求1所述的一种基于细胞突触结构的单层线性神经网络，其特征在于，改变第k路输入端到第i路输出端的阻值方法为：改变第k个前级电阻和/或第i个后级电阻的阻值，其余的前级电阻和后级电阻的阻值保持不变；其中，k为大于0小于等于m的整数，i为大于0小于等于n的整数。
7.根据权利要求1所述的一种基于细胞突触结构的单层线性神经网络，其特征在于，所述单层线性神经网络还包括m个前神经元和n个后神经元，所述m个前神经元分别连接m个前级信号输入端，所述n个后神经元分别连接n个后级信号输入端。
8.根据权利要求7所述的一种基于细胞突触结构的单层线性神经网络，其特征在于，所述单层线性神经网络还包括m个前神经元电路和n个后神经元电路，分别对应m个前神经元和n个后神经元；所述n个后神经元电路的输出端同时连接中间点和m个前神经元电路。
Priority Applications (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910290338.8A CN110135571B (zh) | 2019-04-11 | 2019-04-11 | 一种基于细胞突触结构的单层线性神经网络 |
| PCT/CN2019/099581 WO2020206890A1 (zh) | 2019-04-11 | 2019-08-07 | 一种基于细胞突触结构的单层线性神经网络 |
| US17/602,804 US20220156570A1 (en) | 2019-04-11 | 2019-08-07 | Single-layered linear neural network based on cell synapse structure |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910290338.8A CN110135571B (zh) | 2019-04-11 | 2019-04-11 | 一种基于细胞突触结构的单层线性神经网络 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN110135571A CN110135571A (zh) | 2019-08-16 |
| CN110135571B true CN110135571B (zh) | 2023-09-29 |
Family
ID=67569681
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910290338.8A Active CN110135571B (zh) | 2019-04-11 | 2019-04-11 | 一种基于细胞突触结构的单层线性神经网络 |
Country Status (3)
| Country | Link |
|---|---|
| US (1) | US20220156570A1 (zh) |
| CN (1) | CN110135571B (zh) |
| WO (1) | WO2020206890A1 (zh) |
Family Cites Families (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US8504503B1 (en) * | 2009-07-16 | 2013-08-06 | Massachusetts Institute Of Technology | Pulse modulated neural integrator circuit |
| US9111222B2 (en) * | 2011-11-09 | 2015-08-18 | Qualcomm Incorporated | Method and apparatus for switching the binary state of a location in memory in a probabilistic manner to store synaptic weights of a neural network |
| CN105224986B (zh) * | 2015-09-29 | 2018-01-23 | 清华大学 | 基于忆阻器件的深度神经网络系统 |
| CN106815636B (zh) * | 2016-12-30 | 2019-03-05 | 华中科技大学 | 一种基于忆阻器的神经元电路 |
| CN108804786B (zh) * | 2018-05-26 | 2022-04-15 | 江西理工大学 | 一种联想神经网络突触权值可塑的忆阻模型电路设计方法 |
| CN109447250B (zh) * | 2018-09-14 | 2020-07-10 | 华中科技大学 | 一种基于忆阻器中电池效应的人工神经元 |
| CN109460818A (zh) * | 2018-09-25 | 2019-03-12 | 电子科技大学 | 一种基于忆阻桥和阵列的多层神经网络设计方法 |
-
2019
- 2019-04-11 CN CN201910290338.8A patent/CN110135571B/zh active Active
- 2019-08-07 WO PCT/CN2019/099581 patent/WO2020206890A1/zh active Application Filing
- 2019-08-07 US US17/602,804 patent/US20220156570A1/en active Pending
Also Published As
| Publication number | Publication date |
|---|---|
| CN110135571A (zh) | 2019-08-16 |
| US20220156570A1 (en) | 2022-05-19 |
| WO2020206890A1 (zh) | 2020-10-15 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| DE112018005726B4 (de) | Resistive verarbeitungseinheit auf zählerbasis für programmierbare und rekonfigurierbare künstliche neuronale netzwerke | |
| KR101432202B1 (ko) | Ｓｔｄｐ 및 도파민 시그널을 갖는 3―멤리스터 시냅스에 대한 방법들 및 시스템들 | |
| US9466362B2 (en) | Resistive cross-point architecture for robust data representation with arbitrary precision | |
| EP2718933B1 (en) | Synapse for function cell of spike timing dependent plasticity (stdp), function cell of stdp, and neuromorphic circuit using function cell of stdp | |
| Prezioso et al. | Modeling and implementation of firing-rate neuromorphic-network classifiers with bilayer Pt/Al2O3/TiO2− x/Pt memristors | |
| US5087826A (en) | Multi-layer neural network employing multiplexed output neurons | |
| DE102019116305A1 (de) | Pipelining zur verbesserung der inferenzgenauigkeit neuronaler netze | |
| CN112598124B (zh) | 神经元模拟电路及神经网络装置 | |
| US20210049448A1 (en) | Neural network and its information processing method, information processing system | |
| CN111967589B (zh) | 神经元模拟电路及其驱动方法、神经网络装置 | |
| US11468300B2 (en) | Circuit structure and driving method thereof, neural network | |
| WO2019202427A1 (en) | Resistive processing unit architecture with separate weight update and inference circuitry | |
| Wang et al. | A programmable axonal propagation delay circuit for time-delay spiking neural networks | |
| Afshar et al. | Turn down that noise: synaptic encoding of afferent SNR in a single spiking neuron | |
| Bianchi et al. | Energy-efficient continual learning in hybrid supervised-unsupervised neural networks with PCM synapses | |
| US5043913A (en) | Neural network | |
| CN110135571B (zh) | 一种基于细胞突触结构的单层线性神经网络 | |
| CN109165731B (zh) | 电子神经网络及其参数设置方法 | |
| Zhou et al. | A fully memristive spiking neural network with unsupervised learning | |
| Garbin et al. | Probabilistic neuromorphic system using binary phase-change memory (PCM) synapses: Detailed power consumption analysis | |
| CN111461312B (zh) | 一种基于忆阻器随机丢弃神经元 | |
| Jiang et al. | Circuit design of RRAM-based neuromorphic hardware systems for classification and modified Hebbian learning | |
| CN114186667B (zh) | 一种循环神经网络权重矩阵向忆阻阵列的映射方法 | |
| CN114089630B (zh) | 一种基于stdp学习规则的低功耗非对称性可调突触电路 | |
| Wang et al. | An analogue VLSI implementation of polychromous spiking neural networks |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |