CN112633487B - 一种卷积神经网络最大池化层电路 - Google Patents

一种卷积神经网络最大池化层电路 Download PDF

Info

Publication number
CN112633487B
CN112633487B CN202011564118.9A CN202011564118A CN112633487B CN 112633487 B CN112633487 B CN 112633487B CN 202011564118 A CN202011564118 A CN 202011564118A CN 112633487 B CN112633487 B CN 112633487B
Authority
CN
China
Prior art keywords
gate
resistance value
change unit
value change
analog
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202011564118.9A
Other languages
English (en)
Other versions
CN112633487A (zh
Inventor
蔡一茂
凌尧天
王宗巍
鲍盛誉
黄如
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Peking University
Original Assignee
Peking University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Peking University filed Critical Peking University
Priority to CN202011564118.9A priority Critical patent/CN112633487B/zh
Publication of CN112633487A publication Critical patent/CN112633487A/zh
Application granted granted Critical
Publication of CN112633487B publication Critical patent/CN112633487B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/06—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons
    • G06N3/063—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons using electronic means
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Theoretical Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Artificial Intelligence (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Computational Linguistics (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Neurology (AREA)
  • Semiconductor Memories (AREA)
  • Logic Circuits (AREA)

Abstract

本发明公开了一种卷积神经网络最大池化层电路，包含两个选通器、一个模拟数字转化器和一个阻值变化单元，阻值变化单元的两端分别连接两个选通器的输出端，其中第一选通器的一输入端接外部输入信号r1，另一输入端接地，控制端接外部控制信号c1；第二选通器的一输入端接前端电路的阻值变化单元交叉阵列中一根位线的输出，另一输入端接地，控制端接外部控制信号c1的逻辑取反信号；所述模拟数字转化器的模拟输入端与第二选通器的输出端相连，输出为数字信号，控制端连外部控制信号c2。该最大池化层电路利用阻值变化单元的内在机理完成小阵列中最大值的寻找，相比传统CMOS电路结构得到极大的简化，能够极大提升神经网络加速芯片的速度并降低能耗。

Description

一种卷积神经网络最大池化层电路
技术领域
本发明属于半导体(semiconductor)、人工智能(artificial intelligence)和CMOS混合集成电路技术领域，具体涉及一种利用阻值变化单元和CMOS混合集成的最大池化层电路(Max-pooling circuit)。
背景技术
RRAM是一种新型非易失存储器件，在当前对神经网络加速芯片中的研究中，RRAM阵列常被用来加速矩阵向量积(vector matrix multiplication，VMM)。卷积神经网络(Convolutional neural network,CNN)被广泛应用在各种人工智能应用中，目前为止，已有多种基于阻值变化单元的人工智能芯片问世，相比于传统的CPU和GPU，它们在进行神经网络计算时有着更高的计算速度和更低的能耗。但是这些芯片都面临着一个重要的问题，它们实际用于矩阵向量积的能耗并不高，大部分能量耗散在数据传输路径和片上存储上。最大池化层是卷积神经网络中的一个重要步骤，它的功能是从一个小矩阵(通常是2×2或者3×3)中寻找最大值并输出，并对不同小矩阵重复多次这样的操作，包含了大量的数据传输和片上缓存。当前的神经网络加速芯片通常使用复杂CMOS电路来完成最大池化层的功能，加剧了数据传输路径中的能量耗散和运行速度问题。
发明内容
本发明的目的是提出一种基于阻值变化单元的新型最大池化层电路，以代替传统的完全使用CMOS的最大池化层电路。
本发明提供的卷积神经网络最大池化层电路，包含两个选通器、一个模拟数字转化器(Analog-to-digital converter,ADC)和一个阻值变化单元，所述阻值变化单元的两端分别连接两个选通器的输出端，其中第一选通器至少具有两个输入端，一端接外部输入信号r1，另一端接地，而其控制端接外部控制信号c1；第二选通器至少具有两个输入端，一端接前端电路的阻值变化单元交叉阵列中一根位线的输出，另一端接地，其控制端接外部控制信号c1的逻辑取反信号；所述模拟数字转化器的模拟输入端与第二选通器的输出端相连，输出为数字信号o，模拟数字转化器的控制端连外部控制信号c2。
上述最大池化层电路中，两个选通器的控制信号互为反相，可以通过在两个选通器的控制端之间连入一个反相器来实现，该反相器的输入外接控制信号c1，输出连接第二选通器的控制端；或者，不使用反相器，直接向两个选通器的控制端输入反相的控制信号。
所述第一选通器和第二选通器可以是2选1选通器，也可以是4选1选通器等具有更多个输入端的选通器，但仅需要使用其中的2个输入端。
所述模拟数字转化器的精度优选为4bit到16bit，但是并不限定其具体精度。
所述阻值变化单元是指可以用外部输入电流来调控其电阻大小的器件或电路，包括但不仅限于：相变存储器(PCM)、电阻式RAM(ReRAM)(包括基于金属氧化物或氧空位的ReRAM和基于灯丝的ReRAM(filament-based ReRAM))、导电桥接RAM(CBRAM)、铁电RAM(FeRAM)、铁电晶体管RAM(Fe-TRAM)、磁阻RAM(MRAM)(包括就地写入非易失性MRAM(NVMRAM)和自旋转移扭矩(STT)存储器)、磁隧道结(MTJ)等，或者其他能够实现通过外加电流调控其阻抗的器件或电路。
图1给出的本发明的一个具体电路结构，其中：
由阻值变化单元构成的交叉阵列1由多根字线(图中横向连线)和位线(图中纵向连线)组成，在字线和位线的交叉点上生长有阻值变化单元，需要说明的是，该阻值变化单元构成的交叉阵列不属于本发明要保护的结构，仅用于示意本发明的最大池化层电路的应用目的和与前端电路的连接关系；
第一选通器3是一个2选1选通管，输入端的一端接外部信号r1，另一端接地，输出端接阻值变化单元5的一端，控制端接外部控制信号c1；
第二选通器2是一个2选1选通管，输入端的一端接阻值变化单元构成的交叉阵列1中一根位线的输出，另一端接地，输出端接阻值变化单元5与第一选通器3输出端相异的一端，控制端接外部输入的控制信号c1的逻辑取反信号。
需要注意的是，图1仅示意了电路中各器件的基本连接关系，并不限定具体电路中的实现方式，例如选通器也可以使用4选1选通器，但仅使用其2个输入端，也同样应视为本发明的内容；图1中该最大池化层电路仅连接阻值变化单元交叉阵列中的一根位线，但是通过选通装置，使得一个电路连接多根位线也同样应视为本发明的内容。
本发明通过在传统CMOS电路中创新性地引入阻值变化单元，形成了新型器件-传统CMOS协同工作的结构，这种基于阻值变化单元的新型最大池化层电路，利用阻值变化单元的内在机理完成小阵列中最大值的寻找，相比传统CMOS电路结构得到极大的简化，用很小的电路代价完成卷积神经网络中最大池化层所要完成的复杂功能，这一发明为神经网络加速芯片的设计与优化提供了新的方式，能够极大提升神经网络加速芯片的速度并降低能耗，因此具有重要意义。
附图说明
图1是本发明实施例的最大池化层电路的结构示意图，其中：1-阻值变化单元构成的交叉阵列，2-第二选通器，3-第一选通器，4-模拟数字转化器(ADC)，5-阻值变化单元，6-反相器。
图2是图1所示电路一次示例操作的时钟周期。
图3是本发明实施例电路对图像的识别结果。
具体实施方式
为进一步说明本电路能够实现的功能，提供该电路的一次操作作为示例加以进一步说明。
如图1所示建立一个最大池化层电路，包括第一选通器3、第二选通器2、模拟数字转化器(ADC)4、阻值变化单元5和反相器6。为说明该最大池化层电路的应用目的和与前端电路的连接关系，将该最大池化层电路与阻值变化单元构成的交叉阵列1如图1所示连接，所述阻值变化单元构成的交叉阵列1采用基于TaOx的阻变存储器阵列，大小为4×1。最大池化层电路中的第一选通器3和第二选通器2均采用2选1选通器，模拟数字转化器4的精度定位8bit，最大池化层电路中的阻值变化单元5采用基于Al掺杂的TaOx的阻变存储器，两个选通器的控制信号之间采用一个反相器6来保证两个选通器的控制信号必定互为逻辑反向。
图2显示了一次示例操作的时钟周期：
在第一个时钟周期，输入信号r1被置为高电平，第二选通器2的控制信号c1为高电平，此时第一选通器3控制的信号c1的逻辑反信号为低电平，第二选通器2选通r1，第一选通器3选通地，使得阻值变化单元5上端接地，下端接高电平，其阻值被初始化为高阻态。
在第二到第五个时钟周期，第二选通器2的控制信号c1为低电平，此时第一选通器3控制的信号c1的逻辑反信号为高电平，第二选通器2选通地，第一选通器3选通阻值变化单元构成的交叉阵列1的位线，使得阻值变化单元5上端位线输出，下端接地，其阻值受到位线电流大小所影响。
同时，阻值变化单元构成的交叉阵列1中字线输入端i1-i4上加上了具有模拟电平的电压，通过欧姆定律和基尔霍夫定律，转化成了不同的位线电流输出，经过阻值变化单元5流向地。当第五个时钟周期结束后，阻值变化单元5通过其阻值变化机制，内部存储的阻值反应了这四个时钟周期中流过它的电流的最大值，即最大池化层电路所要完成的功能。
在第六个时钟周期，输入信号c2被置为高电平，模拟数字转化器4的控制信号被打开，读取阻值变化单元5上方节点的电压(与阻值变化单元的阻值正相关)，并转化为数字输出o。
至此，该电路的一次最大池化操作完成，后续可进行下一次操作。
为了进一步说明该电路在卷积神经网络识别中的有效性，这里给出用该电路结构代替传统最大池化层电路后，对图像的识别结果。数据集采用的是cifar 10，所用的卷积神经网络架构是VGG，调整最大池化电路中基于Al掺杂的TaOx的阻变存储器5的本征噪声大小，得到了不同的识别结果，如图3所示。在实际噪声条件下(σ＝7.4e-5)，得到识别精度约为92.71％。实验结果充分说明了该电路的有效性。

Claims (4)

1.一种卷积神经网络最大池化层电路，包含两个选通器、一个模拟数字转化器和一个阻值变化单元，所述阻值变化单元的两端分别连接两个选通器的输出端，其中第一选通器至少具有两个输入端，一端接外部输入信号r1，另一端接地，而其控制端接外部控制信号c1；第二选通器至少具有两个输入端，一端接前端电路的阻值变化单元交叉阵列中一根位线的输出，另一端接地，其控制端接外部控制信号c1的逻辑取反信号；所述模拟数字转化器的模拟输入端与第二选通器的输出端相连，输出为数字信号，模拟数字转化器的控制端连外部控制信号c2；在两个选通器的控制端之间连入一个反相器，该反相器的输入外接控制信号c1，输出连接第二选通器的控制端。
2.如权利要求1所述的卷积神经网络最大池化层电路，其特征在于，所述第一选通器和第二选通器均为2选1选通器。
3.如权利要求1所述的卷积神经网络最大池化层电路，其特征在于，所述模拟数字转化器的精度为4 bit到16 bit。
4.如权利要求1所述的卷积神经网络最大池化层电路，其特征在于，所述阻值变化单元选自下列器件或电路中的一种：相变存储器、电阻式RAM、导电桥接RAM、铁电RAM、铁电晶体管RAM、磁阻RAM、磁隧道结。
CN202011564118.9A 2020-12-25 2020-12-25 一种卷积神经网络最大池化层电路 Active CN112633487B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011564118.9A CN112633487B (zh) 2020-12-25 2020-12-25 一种卷积神经网络最大池化层电路

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011564118.9A CN112633487B (zh) 2020-12-25 2020-12-25 一种卷积神经网络最大池化层电路

Publications (2)

Publication Number Publication Date
CN112633487A CN112633487A (zh) 2021-04-09
CN112633487B true CN112633487B (zh) 2022-05-20

Family

ID=75325007

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011564118.9A Active CN112633487B (zh) 2020-12-25 2020-12-25 一种卷积神经网络最大池化层电路

Country Status (1)

Country Link
CN (1) CN112633487B (zh)

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106530210A (zh) * 2016-10-31 2017-03-22 北京大学 基于阻变存储器件阵列实现并行卷积计算的设备和方法

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11087207B2 (en) * 2018-03-14 2021-08-10 Silicon Storage Technology, Inc. Decoders for analog neural memory in deep learning artificial neural network
US11423979B2 (en) * 2019-04-29 2022-08-23 Silicon Storage Technology, Inc. Decoding system and physical layout for analog neural memory in deep learning artificial neural network

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106530210A (zh) * 2016-10-31 2017-03-22 北京大学 基于阻变存储器件阵列实现并行卷积计算的设备和方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
《MobiLattice: A Depth-wise DCNN Accelerator with Hybrid Digital/Analog Nonvolatile Processing-In-Memory Block》;Qilin Zheng et al.;《IEEE Xplore》;20201115;全文 *
王宗巍 等.《 面向神经形态计算的智能芯片与器件技术》.《中国科学基金》.2019,第33卷(第06期), *

Also Published As

Publication number Publication date
CN112633487A (zh) 2021-04-09

Similar Documents

Publication Publication Date Title
CN112581996B (zh) 基于磁性随机存储器的时域存内计算阵列结构
Chen et al. Design and optimization of FeFET-based crossbars for binary convolution neural networks
US9548741B1 (en) Memristive akers logic array
Cai et al. Proposal of analog in-memory computing with magnified tunnel magnetoresistance ratio and universal STT-MRAM cell
CN108154225B (zh) 一种使用模拟计算的神经网络芯片
JP6489216B2 (ja) 再構成可能回路およびその利用方法
CN102882513B (zh) 全加器电路和芯片
CN112015367B (zh) 非易失性布尔逻辑操作单元及方法、装置
CN113688984B (zh) 一种基于磁性随机存储器的存内二值化神经网络计算电路
CN113178219B (zh) 一种应用于图像识别领域的忆阻器感存算一体电路结构
CN112802515A (zh) 三态自旋电子器件、存储单元、存储阵列及读写电路
CN114496010A (zh) 一种基于磁性随机存储器的模拟域近存计算阵列结构
CN115862708A (zh) 忆阻器阵列的操作方法、数据处理装置
CN114400031A (zh) 一种补码映射的rram存算一体芯片及电子设备
CN114974337A (zh) 一种基于自旋磁随机存储器的时间域存内计算电路
CN116860696A (zh) 一种基于非易失性存储器的存内计算电路
US20220366211A1 (en) Dropout in neutral networks using threshold switching selectors in non-volatile memories
CN114627937A (zh) 基于非易失存储器件的存内计算电路和方法
CN112633487B (zh) 一种卷积神经网络最大池化层电路
JP2013149309A (ja) 磁気メモリ装置、および、磁気メモリ装置のデータ書き込み方法
CN110572149B (zh) 一种Toffoli门电路及其操作方法
CN113222131B (zh) 基于1t1r的可实现带符号权重系数的突触阵列电路
CN116468090A (zh) 一种基于忆阻器实现的硬件卷积神经网络模型
CN112951290B (zh) 一种基于非易失性随机存储器的内存计算电路及装置
Wang et al. TAM: A Computing in Memory based on Tandem Array within STT-MRAM for Energy-Efficient Analog MAC Operation

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant