CN107545305A

CN107545305A - 一种基于cmos工艺的、数模混合的、电荷域的神经元电路

Info

Publication number: CN107545305A
Application number: CN201710833028.7A
Authority: CN
Inventors: 吴枫; 许磊; 张勇东; 陈松; 葛阳洋; 陈闽强; 杨艳君
Original assignee: University of Science and Technology of China USTC
Current assignee: Hefei Zhongke Microelectronics Innovation Center Co ltd
Priority date: 2017-09-15
Filing date: 2017-09-15
Publication date: 2018-01-05
Anticipated expiration: 2037-09-15
Also published as: CN107545305B

Abstract

本发明公开了一种基于CMOS工艺的、数模混合的、电荷域的神经元电路，其特征在于，包括：4bit DAC、神经元突触电路、8bit ADC、激活函数电路以及时序电路；所述4bit DAC、神经元突触电路、8bit ADC以及激活函数电路依次连接，时序电路分别与4bit DAC、神经元突触电路、8bit ADC以及激活函数电路连接。该电路具有工艺成熟、成本低、功耗低、通用性高的优点。

Description

一种基于CMOS工艺的、数模混合的、电荷域的神经元电路

技术领域

本发明涉及人工神经网络技术领域，尤其涉及一种基于CMOS工艺的、数模混合的、电荷域的神经元电路。

背景技术

人类大脑皮层中大约有100亿个神经元和大约60万亿个突触或连接。大脑拥有非常高效的结构，具体来说，脑的能量效率为每秒每个操作大约10^-16焦耳，而今天所用的最好计算机的相应值则远远大于人脑。

人工神经网络就是从信息处理的角度对人脑神经元网络进行抽象，建立某种简单模型，按不同的连接方式组成不同的网络。最近十多年来，人工神经网络的研究工作不断深入，已经取得了很大的进展，其在模式识别、自动控制、预测估计等领域已成功地解决了许多现代计算机难以解决的实际问题。

人工神经网络的硬件实现是神经网络研究的一个重要方面。要想用硬件实现人工神经网络，首先要解决的问题就是神经元的建模与硬件实现。目前广泛使用的神经元模型是McCulloch-Pitts模型(简称MP模型)，其由突触、加法器和激活函数三部分组成。突触由其权值作为特征，一个神经元可以包括多个突触，每一个突触都将连接到该突触的输入信号与权值相乘。加法器用于求输入信号被神经元的相应突触加权的和。激活函数用来限制神经元的输出振幅。

目前根据所用器件不同，MP模型的实现主要有两种方式：运用CMOS(互补金属氧化物半导体)器件实现或者运用忆阻器实现(H.Kim,M.P.Sah,C.Yang,T.Roska,and L.Chua,“Memristor bridge synapses,”Proc.IEEE,vol.100,no.6,pp.2060–2070,Jun.2012.)。CMOS工艺成熟，标准统一，是当今集成电路领域的主流工艺；而忆阻器还处于研究阶段，目前还没有实现产业化。

在CMOS工艺下，又可以分为数字集成电路实现或者模拟集成电路实现。数字集成电路有抗噪声能力强、精度高、扩展性好、设计方法成熟等优点，但是数字电路占用芯片面积大，功耗大，难以实现大规模神经网络。而模拟电路具有结构简单、功耗较低、运算速度高等优点，因此涌现出许多方案，最常见的一种做法是采用吉尔伯特单元及其改进电路(M.Holler,S.Tam,H.Castro,and R.Benson,“An electrically trainableartificialneural network(ETANN)with 10240floating gate synapses,”in Proc.Int.JointConf.Neural Networks,Washington,June 1989,pp.191–196.)，它的突触电路的尾电流管为浮栅晶体管，用来存储权重，通过MOS管的电流电压特性得到差分电流输出正比于差分输入与权重的乘积，从而实现乘法。但这种结构存在一个缺点就是存在静态工作电流，功耗较大。而且大规模模拟电路难以整体设计，现在没有较好的模拟电路自动化设计工具，设计很大程度依赖设计者的经验。

发明内容

本发明的目的是提供一种基于CMOS工艺的、数模混合的、电荷域的神经元电路，具有工艺成熟、成本低、功耗低、通用性高的优点。

本发明的目的是通过以下技术方案实现的：

一种基于CMOS工艺的、数模混合的、电荷域的神经元电路，包括：4bit DAC、神经元突触电路、8bit ADC、激活函数电路以及时序电路；所述4bit DAC、神经元突触电路、8bitADC以及激活函数电路依次连接，时序电路分别与4bit DAC、神经元突触电路、8bit ADC以及激活函数电路连接；其中：

所述4bit DAC接收外部的数字权重输入，将数字权重转换为模拟权重；所述神经元突触电路先将4bit DAC输出的模拟权重以电荷的形式存储，等到外部的数字信号输入后，进行电荷域的乘法运算，产生电荷差输出；所述8bit ADC将神经元突触电路输出的电荷差进行逐次逼近转换，产生数字输出；所述激活函数电路对8bit ADC的数字输出的幅度进行限制，产生最终输出；所述时序电路给4bit DAC、神经元突触电路、8bit ADC以及激活函数电路提供时序。

所述4bit DAC采用电压按比例缩放DAC的结构。

所述神经元突触电路分为四个比特位，每个比特位内部结构都相同，不同的是MOS电容和平行板电容的大小，高比特是次高比特的双倍复制，即电容值扩大两倍。

每个比特位包括四个结构相同且输入信号不同的基本单元；每一基本单元由开关电路以及乘法运算电路组成；所述开关电路包括：PMOS开关M1、NMOS开关M2、NMOS开关M3、PMOS开关M4以及NMOS开关M5；所述乘法运算电路包括：串联在一起的MOS电容和平行板电容；其中，所述MOS电容短接的源漏极通过PMOS开关M1接到VDD，通过NMOS开关M2接到GND上，PMOS开关M1以及NMOS开关M2的栅极连在一起由外部输入的数字信号X控制；所述MOS电容的栅极与所述平行板电容的上极板的连接处，通过NMOS开关M3连接到外部的模拟输入信号W，通过PMOS开关M4连接到VDD，NMOS开关M3开关与PMOS开关M4的栅极由时序电路的输出信号控制；所述平行板电容下极板通过NMOS开关M5接到GND，NMOS开关M5的栅极也由时序电路的输出信号控制；

在一个比特位里，左右两个基本单元的平行板电容的下极板连接在一起，模拟输入信号W互为差分信号，而且PMOS开关M1与NMOS开关M2的控制信号反相；上下两个基本单元的模拟输入信号W相同，而且PMOS开关M1与NMOS开关M2的控制信号反相；

神经元突触电路的上、下两半部分中基本单元内的平行板电容的下极板都分别连接在一起，通过同一个NMOS开关连接到GND，即共用NMOS开关M5。

所述8bit ADC采用电荷分享式SAR ADC的结构，包括依次连接的DAC、比较器和SAR逻辑电路三个部分；

其中，DAC由8个结构相同的单元构成，每个单元里包括一个MIM电容和6个NMOS开关；MIM电容的上极板通过第一NMOS开关连接到基准电压Vref，同时通过第二与第三NMOS开关连接到比较器的正向输入端；MIM电容的下极板通过第四NMOS开关连接到GND，同时通过第五与第六NMOS开关连接到比较器的反相输入端；

所述比较器的时序由时序电路提供。

所述激活函数电路以及时序电路均在FPGA中通过代码实现，并综合成数字集成电路。

由上述本发明提供的技术方案可以看出，基于标准的CMOS工艺，工艺成熟，标准统一，制作方便，成本低；将神经网络中占用面积最大、功耗最大的乘加部分用基于电荷搬移原理的模拟电路实现，运算时不存在静态电流，从而大大减小功耗，而采用数字输入输出以及数字电路实现激活函数，提供灵活的接口，同时避免信号的传输失真。

附图说明

为了更清楚地说明本发明实施例的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域的普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他附图。

图1为本发明实施例提供的一种基于CMOS工艺的、数模混合的、电荷域的神经元电路的结构示意图；

图2为本发明实施例提供的4bit DAC的结构示意图；

图3为本发明实施例提供的神经元突触电路的示意图；

图4为本发明实施例提供的神经元突触电路中的基本单元的电路图；

图5为本发明实施例提供的MOS电容容值与电压的关系曲线图；

图6为本发明实施例提供的神经元突触电路中的基本单元状态变化图；

图7为本发明实施例提供的神经元突触电路中的单比特的详细电路图；

图8为本发明实施例提供的8bit ADC的结构示意图。

具体实施方式

下面结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明的保护范围。

图1为本发明实施例提供的一种基于CMOS工艺的、数模混合的、电荷域的神经元电路的结构示意图。如图1所述，其主要包括：4bit DAC、神经元突触电路、8bit ADC、激活函数电路以及时序电路；其结构如下：所述4bit DAC、神经元突触电路、8bit ADC以及激活函数电路依次连接，时序电路分别与4bit DAC、神经元突触电路、8bit ADC以及激活函数电路连接；

各部分功能及工作过程如下：所述4bit DAC接收外部的数字权重输入，将数字权重转换为模拟权重；所述神经元突触电路先将4bit DAC输出的模拟权重以电荷的形式存储，等到外部的数字信号输入后，进行电荷域的乘法运算，产生电荷差输出；所述8bit ADC将神经元突触电路输出的电荷差进行逐次逼近转换，产生数字输出；所述激活函数电路对8bit ADC的数字输出的幅度进行限制，产生最终输出；所述时序电路给4bit DAC、神经元突触电路、8bit ADC以及激活函数电路提供时序。

为了便于理解，下面针对电路各个部分做详细的说明。

1、4bit DAC

本发明实施例中，4bit DAC可以采用经典的电压按比例缩放DAC(D.R.Holbergand P.E.Allen,“CMOS Analog Circuit Design,”Oxford University Press,2NDEdition,January 2002.)，如图2所示，在两个参考电压之间连接着17个串联的CMOS poly电阻，首尾两个电阻的阻值是中间电阻的一半。除尾端电阻以外，前面的电阻的下端都引出一个抽头，连接到开关树上，这些开关树的开关由码字的不同位控制。如果第i位为1，则bi控制的开关闭合；如果第i位为0，则b_i控制的开关断开。在本发明中，所有的开关由PMOS构成。而且由于神经元突触电路需要的是差分输入，所以DAC需要两个，但数字控制信号反相。

2、神经元突触电路

所述神经元突触电路是本发明的主要部分，如图3所示(此为电路简图，省略了一些开关)，因为数字输入信号是4bit，所以可以将神经元突触电路分为四个比特位，每个比特位内部结构都相同，不同的是MOS电容和平行板电容的大小，高比特是次高比特的双倍复制，即电容值扩大两倍；

每个比特位包括四个结构相同但输入信号不同的基本单元；每一个基本单元由开关电路以及乘法运算电路组成；所述开关电路由多个MOS开关构成，实现模拟权重输入的控制、数字输入的控制以及运算结果的读出；所述乘法运算电路由一个MOS电容和一个电容值较小的平行板电容串联构成，实现电荷域的乘法运算。

如图4所示，所述开关电路包括：PMOS开关M1、NMOS开关M2、NMOS开关M3、PMOS开关M4以及NMOS开关M5；所述乘法运算电路包括：串联在一起的MOS电容和平行板电容；其中，所述MOS电容短接的源漏极通过PMOS开关M1接到VDD，通过NMOS开关M2接到GND上，PMOS开关M1以及NMOS开关M2的栅极连在一起由外部输入的数字信号X控制；所述MOS电容的栅极与所述平行板电容的上极板的连接处，通过NMOS开关M3连接到外部的模拟输入信号W，通过PMOS开关M4连接到VDD，NMOS开关M3与PMOS开关M4的栅极由时序电路的输出信号控制；所述平行板电容下极板通过NMOS开关M5接到GND，NMOS开关M5的栅极也由时序电路的输出信号控制；

本发明实施例中，神经元突触在电荷域实现乘法是减小功耗的核心办法，其工作原理如下：

所述神经元突触电路基于一个最基本的原理即为MOS电容容值在阈值电压附近发生跳变，如图5所示。记电容较小值为C1，较大值为C2。

以图4的基本单元为例，在写权重状态下，开关M2，M3，M5闭合，M1，M4断开，通过外部电压给所述MOS电容和所述平行板电容充电，实现权重存储。

在计算状态下，开关M1，M5闭合，M2，M3，M4断开，由于所述MOS电容两端电压的变化，使所述MOS电容容值发生变化，从而改变了存储在所述平行板电容上的电荷，完成计算。

在读出状态下，开关M1，M4闭合，M2，M3，M5断开，将电荷通过所述平行板电容的下极板读出。

图6是基本单元可能经历的两种状态变化，分为状态1->状态2或者状态1->状态3。在第一种情况，开关先闭合，外部的模拟输入信号W(>Vth)给MOS电容和平行板电容充电，稳定后两电容上的电荷以及连接处的总电荷可以表示为：

上式中，W代表外部的模拟输入信号，C₂代表MOS电容在状态1时的电容值，C₀代表平行板电容的电容值，Q₂代表MOS电容在状态1时存储的电荷量，Q₁代表平行板电容在状态1时存储的电荷量，Q代表MOS电容和平行板电容连接处的总电荷量。

接着开关断开，MOS电容上极板电压保持GND不变。由于MOS电容下极板和平行板电容上极板之间没有放电回路，两电容上电荷保持不变：

Q₁'＝Q₁＝C₀W (2)

上式中，Q₁’代表平行板电容在状态2时存储的电荷量。

在第二种情况，在状态1和第一种情况相同，不过开关断开后，MOS电容上极板的电压由GND变化到VDD，此时MOS电容由C2变化到C1。但MOS电容下极板和平行板电容上极板之间也没有放电回路，总电荷保持不变。根据电荷守恒，平行板电容上的电荷可以表示为：

上式中，VDD为电源电压，C₁代表MOS电容在状态3时的电容值，Q₁‘’代表平行板电容在状态3时存储的电荷量。

从式(2)和式(3)可以看出，无论哪种状态变化，平行板电容上的电荷总是和W成线性关系。为了后面表述方便，将变化后平行板电容上的电荷记为：

上式中，k1、k2、b2是为了表述方便引入的量，k1代表公式(2)中的C₀，k2代表公式(3)中W的系数b2代表公式(3)的

由四个基本单元组成一个单比特单元，如图7所示，其中Vx＝VDD或GND，Vx_是Vx的反相，即Vx＝VDD，Vx_＝GND；Vx＝GND，Vx_＝VDD。以最低比特为例，当Vx＝VDD时，有：

上式中，Q₊代表单比特单元上半部分的输出总电荷量，Q_-代表单比特单元下半部分的输出总电荷量，Wcm代表外部的模拟输入信号的共模量，Wdm代表外部的模拟输入信号的差模量，ΔQ代表单比特单元输出的差分电荷量。

当Vx＝GND时，有：

从式(5)和式(6)可以得到：

ΔQ＝(-1)^1-X0(k₂-k₁)*2W_dm (7)

上式中，X0是外部输入的数字控制信号的最低比特位，控制图7中Vx的变换，当X0＝1时，Vx＝VDD；当X0＝0，Vx＝GND。

对于次低比特，平行板电容C0变为2C0，而且原来的每个MOS电容也都变为两倍，即C1变为2C1，C2变为2C2，那么k1和k2均变为2k1和2k2，导致：

ΔQ＝(-1)^1-X1*2(k₂-k₁)*2W_dm

以此类推，包含四比特的乘法单元的输出电荷差可以写为：

ΔQ_4bit＝(-1)^1-X0*(k₂-k₁)*2W_dm+(-1)^1-X1*2(k₂-k₁)*2W_dm+

(-1)^1-X2*4(k₂-k₁)*2W_dm+(-1)^1-X3*8(k₂-k₁)*2W_dm

＝2W_dm(k₂-k₁)[(-1)^1-X0*2⁰+(-1)^1-X1*2¹+(-1)^1-X2*2²+(-1)^1-X3*2³]

令X＝(-1)^1-X0*2⁰+(-1)^1-X1*2¹+(-1)^1-X2*2²+(-1)^1-X3*2³

ΔQ_4bit＝2(k₂-k₁)W_dmX (8)

上式中，ΔQ_4bit代表四比特的乘法单元输出的差分电荷量，X3、X2、X1、X0分别代表外部输入的四比特数字控制信号的最高比特、次高比特、次低比特、最低比特。

上式即为乘法运算。可以看出，乘法运算的实质是电荷的搬移，是电荷域上的运算，不存在静态电流，因此从根本上降低了功耗。

3、8bit ADC

本发明实施例中，所述8bit ADC可以采用电荷分享式逐次逼近ADC(J.Craninckxand G.Van der Plas,“A 65fJ/conversion-step 0-to-50MS/s 0-to-0.7mW 9b charge-sharing SAR ADC in 90nm digital CMOS,”in IEEE ISSCC Dig.Tech.Papers,Feb.2007,pp.246–247.)，如图8所示，因为神经元突触电路的输出是电荷差，所以ADC必须在电荷域上进行逐次逼近转换。

本发明实施例中，所述ADC包括依次连接的DAC、比较器和SAR逻辑电路三个部分；其中，DAC由8个结构相同的单元构成，每个单元里包括一个平行板电容(可用MIM电容实现)和6个NMOS开关；MIM电容的上极板通过第一NMOS开关连接到基准电压Vref，同时通过第二与第三NMOS开关连接到比较器的正向输入端；MIM电容的下极板通过第四NMOS开关连接到GND，同时通过第五与第六NMOS开关连接到比较器的反相输入端。MIM电容的大小随着比特位的增加依次增大两倍，同时相应电容连接着的开关的宽长比依次增大两倍，尽量保证每次转换的电容的充放电的时间常数相等。

所述比较器以及SAR逻辑电路可参考文章(C.C.Liu,S.J.Chang,G.Y.Huang,andY.Z.Lin,“A 10-bit 50-MS/sSAR ADC with a monotonic capacitor switchingprocedure,”IEEE J.Solid-State Circuits,vol.45,no.4,pp.731–740,2010.)，需要注意的是，本发明实施例中的ADC采用同步SAR逻辑，比较器时序由时序电路提供，而不是像参考论文里由SAR逻辑电路自己产生。本发明实施例中的ADC的输入同神经元突触电路的输出通过NMOS开关相连，相当于将神经元突触电路看作ADC的采样电容。SAR逻辑电路的产生信号SN_0～SN_7(或SP_0～SP_7)作为输出信号传输到激活函数电路里。转换之前，用参考电压给电容充电，将参考电荷以二进制方式存储在分开的各个电容上，转换时根据比较器的极性决定每个电容的连接方向。

4、激活函数电路与时序电路

所述激活函数电路可实现各种sigmoid函数，负责将ADC的数字输出传输到FPGA中，经过处理即可输出。

时序电路主要负责给其他各个电路提供时序。

本发明实施例上述方案主要具有如下有益效果：

(1)基于标准的CMOS工艺，工艺成熟，标准统一，制作方便，成本低；

(2)数模混合电路，数字输入输出，接口灵活，避免信号传输失真；模拟乘法运算单元，结构简单，适合大规模集成；

(3)基于电荷搬移原理的模拟乘法运算，纯电荷域上的运算，从原理上降低了计算功耗。

以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明披露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应该以权利要求书的保护范围为准。

Claims

1.一种基于CMOS工艺的、数模混合的、电荷域的神经元电路，其特征在于，包括：4bitDAC、神经元突触电路、8bit ADC、激活函数电路以及时序电路；所述4bit DAC、神经元突触电路、8bit ADC以及激活函数电路依次连接，时序电路分别与4bit DAC、神经元突触电路、8bit ADC以及激活函数电路连接；其中：

2.根据权利要求1所述的一种基于CMOS工艺的、数模混合的、电荷域的神经元电路，其特征在于，所述4bit DAC采用电压按比例缩放DAC的结构。

3.根据权利要求1所述的一种基于CMOS工艺的、数模混合的、电荷域的神经元电路，其特征在于，

4.根据权利要求3所述的一种基于CMOS工艺的、数模混合的、电荷域的神经元电路，其特征在于，

每个比特位包括四个结构相同且输入信号不同的基本单元；每一基本单元由开关电路以及乘法运算电路组成；所述开关电路包括：PMOS开关M1、NMOS开关M2、NMOS开关M3、PMOS开关M4以及NMOS开关M5；所述乘法运算电路包括：串联在一起的MOS电容和平行板电容；其中，所述MOS电容短接的源漏极通过PMOS开关M1接到VDD，通过NMOS开关M2接到GND上，PMOS开关M1以及NMOS开关M2的栅极连在一起由外部输入的数字信号X控制；所述MOS电容的栅极与所述平行板电容的上极板的连接处，通过NMOS开关M3连接到外部的模拟输入信号W，通过PMOS开关M4连接到VDD，NMOS开关M3开关与PMOS开关M4的栅极由时序电路的输出信号控制；所述平行板电容下极板通过NMOS开关M5接到GND，NMOS开关M5的栅极也由时序电路的输出信号控制。

5.根据权利要求3所述的一种基于CMOS工艺的、数模混合的、电荷域的神经元电路，其特征在于，

在一个比特位里，左右两个基本单元的平行板电容的下极板连接在一起，模拟输入信号W互为差分信号，而且PMOS开关M1与NMOS开关M2的控制信号反相；上下两个基本单元的模拟输入信号W相同，而且PMOS开关M1与NMOS开关M2的控制信号反相。

6.根据权利要求3所述的一种基于CMOS工艺的、数模混合的、电荷域的神经元电路，其特征在于，

7.根据权利要求1所述的一种基于CMOS工艺的、数模混合的、电荷域的神经元电路，其特征在于，所述8bit ADC采用电荷分享式SAR ADC的结构，包括依次连接的DAC、比较器和SAR逻辑电路三个部分；

所述比较器的时序由时序电路提供。

8.根据权利要求1所述的一种基于CMOS工艺的、数模混合的、电荷域的神经元电路，其特征在于，所述激活函数电路以及时序电路均在FPGA中通过代码实现，并综合成数字集成电路。