CN110751279A - 一种铁电电容耦合神经网络电路结构及神经网络中向量与矩阵的乘法运算方法 - Google Patents

一种铁电电容耦合神经网络电路结构及神经网络中向量与矩阵的乘法运算方法 Download PDF

Info

Publication number
CN110751279A
CN110751279A CN201910822008.9A CN201910822008A CN110751279A CN 110751279 A CN110751279 A CN 110751279A CN 201910822008 A CN201910822008 A CN 201910822008A CN 110751279 A CN110751279 A CN 110751279A
Authority
CN
China
Prior art keywords
neural network
weight
circuit structure
ferroelectric
multiplexer
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910822008.9A
Other languages
English (en)
Other versions
CN110751279B (zh
Inventor
王宗巍
蔡一茂
凌尧天
郑琪霖
鲍盛誉
喻志臻
陈青钰
鲍霖
吴林东
黄如
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Peking University
Original Assignee
Peking University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Peking University filed Critical Peking University
Priority to CN201910822008.9A priority Critical patent/CN110751279B/zh
Publication of CN110751279A publication Critical patent/CN110751279A/zh
Application granted granted Critical
Publication of CN110751279B publication Critical patent/CN110751279B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/06—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons
    • G06N3/063—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons using electronic means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
    • G06F17/10—Complex mathematical operations
    • G06F17/16—Matrix or vector computation, e.g. matrix-matrix or matrix-vector multiplication, matrix factorization
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F7/00—Methods or arrangements for processing data by operating upon the order or content of the data handled
    • G06F7/38—Methods or arrangements for performing computations using exclusively denominational number representation, e.g. using binary, ternary, decimal representation
    • G06F7/48—Methods or arrangements for performing computations using exclusively denominational number representation, e.g. using binary, ternary, decimal representation using non-contact-making devices, e.g. tube, solid state device; using unspecified devices
    • G06F7/52—Multiplying; Dividing
    • G06F7/523—Multiplying only
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computational Mathematics (AREA)
  • Mathematical Analysis (AREA)
  • Mathematical Optimization (AREA)
  • Pure & Applied Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Biomedical Technology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Artificial Intelligence (AREA)
  • Neurology (AREA)
  • Algebra (AREA)
  • Databases & Information Systems (AREA)
  • Filters That Use Time-Delay Elements (AREA)
  • Semiconductor Memories (AREA)

Abstract

本发明涉及一种铁电电容耦合神经网络电路结构及神经网络中向量与矩阵的乘法运算方法。该铁电电容耦合神经网络电路结构包括基于铁电电容的权值阵列，以及与权值阵列连接的外部电路结构；权值阵列的每一个权值单元包含一个场效应晶体管和一个铁电电容。外部电路结构包括多路选择器和神经元电路。将训练好的神经网络的权值预先写入到权值矩阵中；使用互补时钟控制多路选择器和神经元电路中的开关，实现神经网络中向量与矩阵的乘法运算。本发明利用铁电电容的非易失多值特性，通过电容电荷积累与电荷重分配的特性，可以高速度、低功耗地完成向量与矩阵的乘法，电路结构简单，与现有CMOS工艺兼容，对未来神经网络加速芯片的研究有着重要意义。

Description

一种铁电电容耦合神经网络电路结构及神经网络中向量与矩 阵的乘法运算方法
技术领域
本发明属于半导体(semiconductor)、人工智能(artificial intelligence)和CMOS混合集成电路技术领域，具体涉及一种基于铁电电容(Ferroelectric Capacitor)的电容耦合神经网络电路结构，以及采用该电路结构实现神经网络中向量与矩阵的乘法运算的方法。
背景技术
随着现代社会逐步迈入信息化、智能化的时代，信息处理能力和数据存储能力正在以各种各样的形式推动着现代社会的进步，未来的智能终端和计算平台将不仅强调传统的计算和大数据，更是在有限的功耗和嵌入式的平台中实现海量传感数据和信息的智能化处理，在复杂的数据处理中学习并进化，实现更加快速高效的信息处理、分类和存储。因此计算能力和存储能力是衡量未来信息化终端和平台的重要参数。以神经网络计算为代表的人工智能迅速崛起，神经网络计算中需要进行频繁的向量、矩阵之间的乘法运算。在现有的存储架构下，存储器系统由于在处理器和各级存储器间存在运行速度差异，导致数据交换存在“存储墙”的问题，使得存储系统的运行效率受到限制，从而降低了信息传输和存储的性能。
基于新器件和新机制实现存算一体的计算平台是未来的趋势。目前，新型的神经形态计算研究多采用具有缓变多值的忆阻器(Memristor)、相变存储器(PCRAM)等新型器件。通常通过模拟域的电流欧姆定律和基尔霍夫定律实现并行的矩阵乘积。但是这类器件在多值特性上存在较多问题，且组成的阵列存在泄漏电流问题，仍需要进一步研究解决。
基于高介电常数的过渡金属氧化物材料可以通过掺杂等实现非易失的多值电容特性，有别于基于电流运算的范例，铁电电容可通过特定电压对电容进行调节，实现多个电容值。利用电容中的电量而非电阻值来存储神经网络算法中的节点权重，通过电容中电荷的再分布实现矩阵相乘，具有良好的功耗和性能，为新型神经网络计算提供了新的解决方式。
发明内容
本发明针对上述问题，提供一种基于铁电电容的电容耦合神经网络电路结构，以及采用该电路结构实现神经网络中向量与矩阵的乘法运算的方法。
本发明采用的技术方案如下：
一种铁电电容耦合神经网络电路结构，包括基于铁电电容的权值阵列，以及与所述权值阵列连接的外部电路结构；所述权值阵列的每一个权值单元包含一个场效应晶体管和与所述场效应晶体管连接的一个铁电电容。
进一步地，所述外部电路结构包括多路选择器和神经元电路。
进一步地，所述权值阵列中每一列的连线即字线连接一个多路选择器的输出端，该多路选择器的输入端接入输入信号和零电平信号；所述权值阵列中每一行的连线即位线连接一个神经元电路。
进一步地，所述神经元电路包括一个运算放大器、一个与运算放大器并联的电容、以及一个与运算放大器并联的开关；所述权值阵列中每一行的连线即位线连接一个运算放大器的同向输入端，并通过并联的开关和电容与该运算放大器的输出端相连，该运算放大器的反相输入端接地。
进一步地，还包括权值擦写控制模块，用于控制新权值数据通过多路选择器写入权值阵列。
一种实现神经网络中向量与矩阵的乘法运算的方法，将训练好的神经网络的权值预先写入到本发明的铁电电容耦合神经网络电路结构的权值矩阵中；使用互补时钟控制多路选择器和神经元电路中的开关，实现神经网络中向量与矩阵的乘法运算。
进一步地，在数据输入阶段，输入数据通过前端电路后调制成脉冲输入信号，在时钟相Clk0，时钟控制多路选择器接入输入信号，神经元电路中的电容被闭合的开关短路，输入信号被编码为小信号电压脉冲，并行给铁电电容充电，在铁电电容上积累一定量的电荷。
进一步地，在数据输出阶段，在时钟相Clk1，时钟控制多路选择器接地，神经元电路中的开关断开，位线上所有铁电电容积累的电荷量与神经元电路中的电容上通过电容分享在输出端形成输出电压信号，电压值即为向量与矩阵的乘法的计算结果。
本发明的有益效果如下：
本发明提出了一种基于铁电电容的突触权值阵列(神经网络电路中的“突触”是指在网络中存储权值大小的节点)和其外部电路，通过创新的电路设计，使得向量与矩阵的乘法运算有了新型的解决方式。这种解决方式利用铁电电容的非易失多值特性，通过电容电荷积累与电荷重分配的特性，可以高速度、低功耗地完成向量与矩阵的乘法，且具有电路结构简单，与现有CMOS工艺兼容的特性，对未来新型神经网络加速芯片的研究有着重要意义。
附图说明
图1是在时钟相Clk0的铁电电容权值阵列和相应的外围电路结构图。
图2是在时钟相Clk1的铁电电容权值阵列和相应的外围电路结构图。
图3是采用本发明的电路结构识别MINST手写数字数据集的仿真结果图。
具体实施方式
为使本发明的上述目的、特征和优点能够更加明显易懂，下面通过具体实施例和附图，对本发明做进一步详细说明。
本发明提出了一种基于非易失多值铁电电容的权值阵列和其外部的神经元等控制电路，实现了基于电容存储权值并通过电荷再分布读出的方式实现神经网络中向量与矩阵的乘法运算。
本发明的铁电电容权值阵列和相应的外围电路结构如图1和图2所示。本例中，通过十字交叉(crossbar)的阵列实现基于非易失多值铁电电容的权值阵列，权值阵列的每一个权值单元中包括一个铁电电容和一个场效应晶体管。
非易失多值铁电电容的权值阵列的一侧(本例位于1图中阵列的上方)，阵列中的每一列的连线(本示例中称之为字线)上接一个多路选择器(MUX)，多路选择器的输入端分别接入输入信号(如图1中的
Figure BDA0002187821310000031
)和零电平信号，输出端连接阵列的字线。
在与上文所述的阵列中每一列垂直的每一行的连线(本示例中在阵列的右侧边缘)称为位线，阵列中的字线与位线应为垂直关系，每一根位线分别连接一个运算放大器的同向输入端，并通过并联的开关和电容与输出端相连，运算放大器的反相输入端接地。位线电路也称为神经元电路(Neuron Circuits)。图1与图2中仅画出了两处字线的电路和一处位线的电路，但是需要明白的是，每一根字线和位线都连接有上述电路。
图1和图2中Clk0/Clk1表示多路选择器的时钟输入信号；Vdd表示全局高电平信号。
图1和图2中的权值擦写控制模块，其功能是控制新权值数据通过多路选择器写入权值阵列，该模块仅用于示意本发明中的电路和外部电路的连接关系，可以采用现有技术实现。
本发明的电路结构实现向量与矩阵的乘法的过程可以分为两步进行操作，首先将训练好的神经网络的权值预先写入到铁电电容的权值矩阵中，使用一个互补时钟去控制一个开关和多路选择器。
(a)数据输入阶段
将信号转换为矩阵向量进行输入。具体的，输入数据通过前端电路(前端电路不属于本发明内容，可以采用现有技术实现)后调制成脉冲输入信号。图1左上角所示的符号代表手写输入“4”，表示手写输入经过外部电路调制成一系列脉冲，进入本发明中的外围电路部分。
在时钟相Clk0，图1中时钟控制多路选择器接入输入信号，图1的神经元电路(neuron circuit)中的连接到输出的电容(一个普通电容，非铁电电容)被闭合的开关短路，输入信号被编码为小信号电压脉冲，并行给铁电电容充电，在铁电电容上积累一定量的电荷Q，如图1中的公式(1)所示。也即下面公式：
Figure BDA0002187821310000043
其中，Qj表示第j行位线上所有铁电电容中积累的电荷量的总值；
Figure BDA0002187821310000042
表示第i列字线上脉冲电压的输入值；Cij表示第i列字线和第j行位线相交处铁电电容的电容值。
(b)数据输出阶段
时钟相Clk1，图1中时钟控制多路选择器接地，图2中的神经元电路中的开关断开，该位线上所有铁电电容积累的电荷量与神经元电路中的电容上通过电容分享在输出端形成输出电压信号，如图2中的公式(2)所示，电压值即为向量与矩阵的乘法的计算结果。电容矩阵完成的操作如公式(3)所示。公式(2)、公式(3)具体如下：
Qj＝VoutCreference (2)
Figure BDA0002187821310000041
其中，Vout表示第j行位线输出端的电压值；Creference表示位线外围电路(即神经元电路)中电容的大小；Input表示输入到权值阵列中的字线总数。
图3是上述电路识别MINST手写数字数据集的仿真结果，横轴代表铁电电容作为权值单元的精度，纵轴代表MINST手写数字数据集的识别率，可以看到当权值精度大于2比特的时候，识别精度在75％-87％。
以上实施例仅用以说明本发明的技术方案而非对其进行限制，本领域的普通技术人员可以对本发明的技术方案进行修改或者等同替换，而不脱离本发明的原理和范围，本发明的保护范围应以权利要求书所述为准。

Claims (10)

1.一种铁电电容耦合神经网络电路结构，其特征在于，包括基于铁电电容的权值阵列，以及与所述权值阵列连接的外部电路结构；所述权值阵列的每一个权值单元包含一个场效应晶体管和与所述场效应晶体管连接的一个铁电电容。
2.根据权利要求1所述的铁电电容耦合神经网络电路结构，其特征在于，所述外部电路结构包括多路选择器和神经元电路。
3.根据权利要求2所述的铁电电容耦合神经网络电路结构，其特征在于，所述权值阵列中每一列的连线即字线连接一个多路选择器的输出端，该多路选择器的输入端接入输入信号和零电平信号；所述权值阵列中每一行的连线即位线连接一个神经元电路。
4.根据权利要求3所述的铁电电容耦合神经网络电路结构，其特征在于，所述神经元电路包括一个运算放大器、一个与运算放大器并联的电容、以及一个与运算放大器并联的开关；所述权值阵列中每一行的连线即位线连接一个运算放大器的同向输入端，并通过并联的开关和电容与该运算放大器的输出端相连，该运算放大器的反相输入端接地。
5.根据权利要求1所述的铁电电容耦合神经网络电路结构，其特征在于，还包括权值擦写控制模块，用于控制新权值数据通过多路选择器写入权值阵列。
6.一种实现神经网络中向量与矩阵的乘法运算的方法，其特征在于，将训练好的神经网络的权值预先写入到权利要求4所述的铁电电容耦合神经网络电路结构的权值矩阵中；使用互补时钟控制多路选择器和神经元电路中的开关，实现神经网络中向量与矩阵的乘法运算。
7.根据权利要求6所述的方法，其特征在于，在数据输入阶段，输入数据通过前端电路后调制成脉冲输入信号，在时钟相Clk0，时钟控制多路选择器接入输入信号，神经元电路中的电容被闭合的开关短路，输入信号被编码为小信号电压脉冲，并行给铁电电容充电，在铁电电容上积累一定量的电荷。
8.根据权利要求7所述的方法，其特征在于，在铁电电容上积累的电荷为：
Figure FDA0002187821300000011
其中，Qj表示第j行位线上所有铁电电容中积累的电荷量的总值；
Figure FDA0002187821300000012
表示第i列字线上脉冲电压的输入值；Cij表示第i列字线和第j行位线相交处铁电电容的电容值。
9.根据权利要求6所述的方法，其特征在于，在数据输出阶段，在时钟相Clk1，时钟控制多路选择器接地，神经元电路中的开关断开，位线上所有铁电电容积累的电荷量与神经元电路中的电容上通过电容分享在输出端形成输出电压信号，电压值即为向量与矩阵的乘法的计算结果。
10.根据权利要求9所述的方法，其特征在于，形成的输出电压为：
Figure FDA0002187821300000021
其中，Vout表示第j行位线输出端的电压值；Creference表示位线外围电路(即神经元电路)中电容的大小；Input表示输入到权值阵列中的字线总数。
CN201910822008.9A 2019-09-02 2019-09-02 一种铁电电容耦合神经网络电路结构及神经网络中向量与矩阵的乘法运算方法 Active CN110751279B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910822008.9A CN110751279B (zh) 2019-09-02 2019-09-02 一种铁电电容耦合神经网络电路结构及神经网络中向量与矩阵的乘法运算方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910822008.9A CN110751279B (zh) 2019-09-02 2019-09-02 一种铁电电容耦合神经网络电路结构及神经网络中向量与矩阵的乘法运算方法

Publications (2)

Publication Number Publication Date
CN110751279A true CN110751279A (zh) 2020-02-04
CN110751279B CN110751279B (zh) 2022-10-14

Family

ID=69275990

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910822008.9A Active CN110751279B (zh) 2019-09-02 2019-09-02 一种铁电电容耦合神经网络电路结构及神经网络中向量与矩阵的乘法运算方法

Country Status (1)

Country Link
CN (1) CN110751279B (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114239815A (zh) * 2021-11-15 2022-03-25 电子科技大学 一种可重构神经网络计算芯片
CN115985380A (zh) * 2023-03-17 2023-04-18 之江实验室 一种基于数字电路控制的FeFET阵列数据校验方法
WO2024051170A1 (zh) * 2022-09-09 2024-03-14 北京大学 基于铁电电容的原位红外动态感知感算一体阵列

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5264734A (en) * 1992-05-19 1993-11-23 Intel Corporation Difference calculating neural network utilizing switched capacitors
US20050180220A1 (en) * 2004-02-18 2005-08-18 Symetrix Corporation Non-destructive readout of ferroelectric memories
WO2019049741A1 (ja) * 2017-09-07 2019-03-14 パナソニック株式会社 不揮発性半導体記憶素子を用いたニューラルネットワーク演算回路
WO2019049686A1 (ja) * 2017-09-07 2019-03-14 パナソニック株式会社 半導体記憶素子を用いたニューラルネットワーク演算回路及び動作方法
CN109800870A (zh) * 2019-01-10 2019-05-24 华中科技大学 一种基于忆阻器的神经网络在线学习系统
CN110010176A (zh) * 2017-12-28 2019-07-12 英特尔公司 用于在存储器阵列上执行计算的方法和系统

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5264734A (en) * 1992-05-19 1993-11-23 Intel Corporation Difference calculating neural network utilizing switched capacitors
US20050180220A1 (en) * 2004-02-18 2005-08-18 Symetrix Corporation Non-destructive readout of ferroelectric memories
WO2019049741A1 (ja) * 2017-09-07 2019-03-14 パナソニック株式会社 不揮発性半導体記憶素子を用いたニューラルネットワーク演算回路
WO2019049686A1 (ja) * 2017-09-07 2019-03-14 パナソニック株式会社 半導体記憶素子を用いたニューラルネットワーク演算回路及び動作方法
CN110010176A (zh) * 2017-12-28 2019-07-12 英特尔公司 用于在存储器阵列上执行计算的方法和系统
CN109800870A (zh) * 2019-01-10 2019-05-24 华中科技大学 一种基于忆阻器的神经网络在线学习系统

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114239815A (zh) * 2021-11-15 2022-03-25 电子科技大学 一种可重构神经网络计算芯片
CN114239815B (zh) * 2021-11-15 2023-05-12 电子科技大学 一种可重构神经网络计算芯片
WO2024051170A1 (zh) * 2022-09-09 2024-03-14 北京大学 基于铁电电容的原位红外动态感知感算一体阵列
CN115985380A (zh) * 2023-03-17 2023-04-18 之江实验室 一种基于数字电路控制的FeFET阵列数据校验方法

Also Published As

Publication number Publication date
CN110751279B (zh) 2022-10-14

Similar Documents

Publication Publication Date Title
US11361216B2 (en) Neural network circuits having non-volatile synapse arrays
TWI661428B (zh) 神經形態權重單元及其形成的方法以及人工神經網路
CN112183739A (zh) 基于忆阻器的低功耗脉冲卷积神经网络的硬件架构
CN110751279B (zh) 一种铁电电容耦合神经网络电路结构及神经网络中向量与矩阵的乘法运算方法
US11657259B2 (en) Kernel transformation techniques to reduce power consumption of binary input, binary weight in-memory convolutional neural network inference engine
CN111652363B (zh) 存算一体电路
US11568200B2 (en) Accelerating sparse matrix multiplication in storage class memory-based convolutional neural network inference
US11615299B2 (en) Neural network computation circuit including non-volatile semiconductor memory element
US11620505B2 (en) Neuromorphic package devices and neuromorphic computing systems
CN110647983A (zh) 一种基于存算一体器件阵列的自监督学习加速系统及方法
TWI716215B (zh) 近記憶體計算系統及非揮發性記憶體單元
US20200218967A1 (en) Complex-Valued Neural Networks
EP3743857A2 (en) Neural network circuits having non-volatile synapse arrays
CN116092553A (zh) 一种兼具乘加功能的存储器
CN113936717B (zh) 一种复用权重的存算一体电路
CN115691613B (zh) 一种基于忆阻器的电荷型存内计算实现方法及其单元结构
CN110619108B (zh) 一种基于铁电存储器的神经网络电路及其控制方法
Wei et al. Emerging Memory-Based Chip Development for Neuromorphic Computing: Status, Challenges, and Perspectives
CN114093394B (zh) 一种可转置存内计算电路及其实现方法
Au et al. Neuron-MOS multiple-valued memory technology for intelligent data processing
CN115458005A (zh) 数据处理方法和存算一体装置、电子设备
Cao et al. A Ternary Weight Mapping and Charge-mode Readout Scheme for Energy Efficient FeRAM Crossbar Compute-in-Memory System
Ren et al. Batmann: A binarized-all-through memory-augmented neural network for efficient in-memory computing
US20240185916A1 (en) Devices, chips, and electronic equipment for sensing-memory-computing synergy
CN111243648A (zh) 闪存单元、闪存模块以及闪存芯片

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant