CN111327317A

CN111327317A - 一种数模混合神经元电路

Info

Publication number: CN111327317A
Application number: CN202010137218.7A
Authority: CN
Inventors: 张峰; 李淼; 赵婷; 马春宇
Original assignee: Tianjin Zhimo Technology Co ltd
Current assignee: Tianjin Zhimo Technology Co ltd
Priority date: 2020-03-02
Filing date: 2020-03-02
Publication date: 2020-06-23
Anticipated expiration: 2040-03-02
Also published as: CN111327317B

Abstract

本发明涉及神经网络领域，尤其涉及一种数模混合神经元电路，旨在解决现有技术中提高精度时所需电容数量大，占用芯片面积大，芯片成本较高的问题。本发明包括：数据存储器，用于存储激活值；权重存储器，用于存储与激活值一一对应的二值权重值；数据选择电路，用于选择mbit目标激活值的其中4bit；开关电容神经元电路，用于对每一次选择的4bit激活值和mbit目标激活值对应的二值权重值进行卷积操作，得到相应的模拟电压值；锁存电路，用于锁定并存储经加法电路得到的模拟电压值；加法电路，用于对锁存电路中锁存的模拟电压值和当次卷积操作得到的模拟电压值进行加法计算。本发明通过开关电容神经元复用技术，降低了开关电容个数，减小芯片面积，降低成本。

Description

一种数模混合神经元电路

技术领域

本发明涉及神经网络领域，尤其涉及一种数模混合神经元电路。

背景技术

现在神经网络一般采用浮点计算，需要较大的存储空间和计算量，严重阻碍了神经网络在移动端的应用。神经网络量化算法，无需改变网络结构，且对内存需求大大降低，为实现网络终端提供了便利。然而，权重和激活值都进行1bit量化会使得精度损失较大，所以为了提高精度，将权重进行1bit量化，激活值进行定点量化(如4bit、8bit、16bit等)。但是，在对激活值进行定点量化时，由于针对激活值的每一bit位，采用相同的电路结构和不同容值的开关电容，实现N个维度数据的激活值的卷积操作。即：高比特位的容值是次高比特位的双倍，若最低比特位开关电容的容值为Cu，那么第二、三、四比特位的容值分别为：2Cu、4Cu、8Cu，若同时实现N个维度4bit的激活值的卷积操作则需要N*15个容值为Cu的电容。因此，激活值的精度越高，所需要的电容数量越大，这将占用大量芯片面积，使得芯片成本较高。

发明内容

本发明所要解决的技术问题是针对现有技术的不足，提供一种数模混合神经元电路，当权重1bit量化，激活值8bit、16bit或更高精度mbit量化时，采用开关电容神经元复用技术进行卷积操作，从而降低神经元电路中的电容个数，减小芯片面积，降低成本。

本发明解决上述技术问题的技术方案如下：

一种数模混合神经元电路，包括：数据存储器、数据选择电路、权重存储器、开关电容神经元电路、锁存电路和加法电路，其中，

所述数据存储器，用于存储激活值；

所述权重存储器，用于存储与所述激活值一一对应的二值权重值；

所述数据选择电路，用于选择mbit目标激活值的其中4bit，所述mbit目标激活值为所述数据存储器中存储的任一激活值，其中，m＝2ⁿ，且n≥3；

所述开关电容神经元电路，用于对每一次选择的4bit激活值和所述mbit目标激活值对应的二值权重值进行卷积操作，得到相应的模拟电压值；

所述锁存电路，用于锁定并存储经所述加法电路得到的模拟电压值；

所述加法电路，用于对所述锁存电路中锁存的模拟电压值和当次卷积操作得到的模拟电压值进行加法计算。

在一些优先的实施例中，所述开关电容神经元电路，用于对第1次选择的4bit激活值和所述mbit目标激活值对应的二值权重值进行卷积操作，得到模拟电压值；

所述加法电路，用于对所述模拟电压值和初始模拟电压值进行加法计算得到第一模拟电压值；

所述锁存电路，用于锁定并存储所述第一模拟电压值；

复用所述开关电容神经元电路对第k次选择的4bit激活值和所述mbit目标激活值对应的二值权重值进行卷积操作，得到模拟电压值V_k，其中，k＝2,…m/4；

所述加法电路对所述模拟电压值V_k和第k-1次锁存的模拟电压值进行加法计算得到第二模拟电压值，直至k＝m/4时输出所述第二模拟电压值；

所述锁存电路，用于锁定并存储所述第二模拟电压值。

在一些优先的实施例中，所述开关电容神经元电路包括：异或逻辑电路、开关电容阵列、偏置电路和运算放大器，其中，

所述异或逻辑电路，用于对输入数据N个维度中每一个维度数据的二值权重和该维度数据的定点量化激活值的每一位进行乘法操作；

所述开关电容阵列，用于向所述运算放大器提供分压；

所述偏置电路，用于修正所述分压；

所述运算放大器，基于所述偏置电路修正后的分压对所述异或逻辑电路输出结果进行宽矢量求和，输出模拟电压值。

在一些优先的实施例中，所述开关电容阵列包括N*4个设定大小的开关电容、2N*4+1个开关，所述开关基于获取的二项非重叠时钟信号，控制所述开关电容阵列中N*4个设定大小的开关电容的连接状态，其中，

所述二项非重叠时钟信号为φ1时，所述开关电容阵列中N*4个设定大小的开关电容的两个基板均与参考地相连，电容清零；

所述二项非重叠时钟信号为φ2时，基于所述异或逻辑电路输出结果，所述开关电容阵列中N*4个设定大小的开关电容的一个极板与参考电源或参考地相连，电容的另一极板与所述运算放大器正向输入端相连。

在一些优先的实施例中，基于所述异或逻辑电路输出结果，所述开关电容阵列中N*4个设定大小的开关电容的一个极板与参考电源或参考地相连，包括：

所述异或逻辑电路输出结果为1时，其对应电容的一个极板通过所述开关与参考电源相连；

所述异或逻辑电路输出结果为0时，其对应电容的一个极板通过所述开关与参考地相连。

在一些优先的实施例中，通过15个容值为Cu的单位电容构成4个不同容值的开关电容。

在一些优先的实施例中，所述4个不同容值的开关电容，其电容大小依次为Cu，2¹Cu，2²Cu，2³Cu。

本发明的有益效果是：通过开关电容神经元复用技术，降低了开关电容个数，减小芯片面积，降低成本。

本发明附加的方面的优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明实践了解到。

附图说明

为了更清楚地说明本发明实施例的技术方案，下面将对本发明实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面所描述的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例提供的数模混合神经元电路的结构框架示意图；

图2为本发明实施例提供的数模混合神经元电路中的数据选择电路示意图；

图3为本发明实施例提供的数模混合神经元电路中的开关电容神经元电路示意图；

图4为本发明实施例提供的数模混合神经元电路中的开关电容神经元电路差分结构示意图；

图5为本发明实施例提供的数模混合神经元电路中的锁存电路示意图；

图6为本发明实施例提供的数模混合神经元电路中的加法电路示意图；

图7为本发明实施例提供的数模混合神经元电路的输出电压时序图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明的一部分实施例，而不是全部实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都应属于本发明保护的范围。

另外，需要说明的是，为了便于描述，附图中仅示出了与有关发明相关的部分。还应理解，在不冲突的情况下，本申请的实施例及实施例中的特征可以相互组合。

本申请提供了一种数模混合神经元电路，如图1所示，该电路包括：数据存储器1、数据选择电路2、权重存储器3、开关电容神经元电路4、锁存电路5和加法电路6，其中：

数据存储器1用于存储激活值，可并行读写操作；

数据选择电路2的输入端与数据存储器1连接，用于选择mbit激活值的其中4比特位，mbit目标激活值为数据存储器中存储的任一激活值，其中，m＝2ⁿ，且n≥3。

权重存储器3用于存储权重值，可并行读写操作；该权重值为与存储在数据存储器1中的激活值一一对应的二值权重值。

开关电容神经元电路4的输入端与数据选择电路2的输出端和权重存储器3的输出端连接，用于实现每一次选择的4bit激活值与对应二值权重值的卷积操作，得到相应的模拟电压值；

锁存电路5的输入端与加法电路6的输出端连接，用于对加法电路6得到的模拟电压值进行锁存；

加法电路6的输入端与开关电容神经元电路4的输出端和锁存电路5的输出端连接，用于对两个模拟电压值进行加法操作，得到最终的模拟电压值V。其中，两个模拟电压值分别为锁存电路中锁存的模拟电压值和当次卷积操作得到的模拟电压值。

具体的，在该实施例中，开关电容神经元电路4用于对第1次选择的4bit激活值和mbit目标激活值对应的二值权重值进行卷积操作，得到模拟电压值V₁；

加法电路6用于对模拟电压值V₁和初始模拟电压值＝0V进行加法计算得到第一模拟电压值V₁；

锁存电路5用于锁定并存储第一模拟电压值V₁；

复用开关电容神经元电路4对第k次选择的4bit激活值和mbit目标激活值对应的二值权重值进行卷积操作，得到模拟电压值V_k，其中，k＝2,…m/4；

加法电路6对模拟电压值V_k和第k-1次锁存的模拟电压值进行加法计算得到第二模拟电压值，直至k＝m/4时输出第二模拟电压值V；

锁存电路5锁定并存储第二模拟电压值。

也就是说，从第2次选择的4bit激活值开始，每次复用开关电容神经元电路。k＝2时，第k-1次锁存的模拟电压值就是第1次锁存模拟电压值，即为：第一模拟电压值V₁；k＝3、4、…m/4时，第k-1次锁存的模拟电压值就是第2、3、…m/4-1次锁存模拟电压值，即为：第二模拟电压值，且当k＝m/4时经加法电路得到的第二模拟电压值V为最终的mbit位卷积操作的模拟电压。

下面结合实例，对本申请的技术方案进行详细的说明。

实例1：

当激活值是8bit时，首先通过数据选择电路2选择激活值的低4bit位，通过开关电容神经元4对低4bit位进行卷积操作，得到模拟电压V₁。V₁和初始化模拟电压(V₀＝0V)经过加法电路6仍然得到V₁，锁存电路5存储V₁。

然后，采用开关电容神经元复用技术，即：通过数据选择电路2选择激活值的高4bit位，通过开关电容神经元4对高4bit位进行卷积操作，得到模拟电压V₂。V₁和V₂经过加法电路6得到最终的8bit位卷积操作的模拟电压V。

实例2：

当激活值是16bit时，首先通过数据选择电路2选择激活值的最低4bit位，通过开关电容神经元4对最低4bit位进行卷积操作，得到模拟电压V₁，V₁和初始化模拟电压(V₀＝0V)经过加法电路6仍然得到V₁，锁存电路5存储V₁。

然后，采用开关电容神经元复用技术，即通过数据选择电路2选择激活值的次低4bit位，通过开关电容神经元4对次低4bit位进行卷积操作，得到模拟电压V₂。V₁和V₂经过加法电路6得到模拟电压V₃，锁存电路5存储V₃。

再次，采用开关电容神经元复用技术，即通过数据选择电路2选择激活值的次高4bit位，通过开关电容神经元4对次高4bit位进行卷积操作，得到模拟电压V₄。V₃和V₄经过加法电路6得到模拟电压V₅，锁存电路5存储V₅。

再次，采用开关电容神经元复用技术，即通过数据选择电路2选择激活值的最高4bit位，通过开关电容神经元4对最高4bit位进行卷积操作，得到模拟电压V₆。V₅和V₆经过加法电路6得到最终的16bit位卷积操作的模拟电压V。

如图2所示，为本发明的实施例提供的8bit激活值的数据选择电路的结构示意图。该数据选择电路的第一输入端与8bit激活值的低4bit位b_i,0～b_i,3连接，第二输入端与8bit激活值的高4bit位b_i,4～b_i,7连接，输出端得到四位激活值X_i,0～X_i,3。当控制端S输入0时选择低4bit位的激活值，当选择端输入1时选择高4bit位的激活值。其中，i为N维中的任一维。

类似的，16bit激活值的数据选择电路第一输入端与16bit激活值的最低4bit位b_i,0～b_i,3连接，第二输入端与16bit激活值的次低4bit位b_i,4～b_i,7连接，第三输入与16bit激活值的次高4bit位b_i,8～b_i,11连接，第四输入端与16bit激活值的最高4bit位b_i,12～b_i,15连接，输出端得到四位激活值X_i,0～X_i,3。

当控制端S输入00时选择最低4bit位的激活值，当控制端S输入01时选择次低4bit位的激活值，当选择端输入10时选择次高4bit位的激活值，当控制端S输入11时选择最高4bit位的激活值。

如图3所示，为本发明实施例提供的开关电容神经元电路结构示意图，该神经元电路包括：异或逻辑电路(附图中未示出)、开关电容阵列、偏置电路b、参考电源、参考地与运算放大器。

异或逻辑电路，分别用于对输入数据N个维度中每一个维度的二值权重值和该维度数据的激活值的每一bit位进行乘法操作。

开关电容阵列中每一个电容在宽矢量求和操作之前，两个极板均接地，实现电容清零；清零操作后，电容的一个极板通过开关选择连接到参考电源或参考地，电容的另一个极板与运算放大器的正向输入端连接，用于向运算放大器提供分压。

开关电容阵列包括N*4个设定大小的开关电容、2N*4+1个开关，开关基于获取的二项非重叠时钟信号，控制开关电容阵列中N*4个设定大小的开关电容的连接状态，其中，

二项非重叠时钟信号为φ1时，开关电容阵列中N*4个设定大小的开关电容的两个基板均与参考地相连，电容清零；

二项非重叠时钟信号为φ2时，基于异或逻辑电路输出结果，开关电容阵列中N*4个设定大小的开关电容的一个极板与参考电源或参考地相连，电容的另一极板与运算放大器正向输入端相连。

其中，异或逻辑电路输出结果为1时，其对应电容的一个极板通过开关与参考电源相连；异或逻辑电路输出结果为0时，其对应电容的一个极板通过开关与参考地相连。

通过15个容值为Cu的单位电容构成4个不同容值的开关电容。4个不同容值的开关电容，其电容大小依次为Cu，2¹Cu，2²Cu，2³Cu。

偏置电路，用于修正分压。

运算放大器则基于所述偏置电路修正后的分压对所述异或逻辑电路输出结果进行宽矢量求和，输出模拟电压值。

具体的，神经元激活值X_i，j与二值权重值W_i进行逐位异或运算操作，并将异或运算后的信号施加到控制开关，使其与参考电源或地连接。

控制开关采用二相非重叠时钟，开关状态为φ1时，所有电容的两端都接地；开关状态为φ2时，电容的一个极板由异或逻辑电路对二值权重值和选择的4bit激活值进行乘法操作的结果来控制，若结果为1，则与参考电源连接，若结果为0，则与参考地连接，电容的另一个极板与运算放大器正向输入端连接，通过运算放大器后输出模拟电压值。

本发明的一个实施例中，为了降低噪声干扰，确保信号稳定可靠，开关电容神经元电路可采用差分方式工作。如图4所示，为本发明实施例提供的开关电容神经元电路差分结构示意图，上半部分电路电容驱动电压为高时，与其相对应的电容在下半部分电路中驱动电压为低；反之上半部分电路电容驱动电压为低时，与其相对应的电容在下半部分电路中驱动电压为高。

本发明的一个实施例中，锁存电路包括：开关S、电容C_H及缓冲放大器。如图5所示，为本发明实施例提供的锁存电路结构示意图。控制信号控制开关S，当S闭合时，模拟信号V对电容C_H进行充电，电容电压跟随模拟信号V电压变化；当S断开时，电容电压为开关断开瞬间的模拟电压，使用该电路，模拟电压得以锁存。

本发明的一个实施例中，如图6所示，为本发明实施例提供的加法电路结构示意图，该加法电路包括：电阻R₁、R₂、R₃及运算放大器。其中，电阻R₁、R₂和R₃均为可调电阻。该电路中输出电压V与输入电压V₁、V₂的关系如下式所示：

如图7所示，为本发明实施例提供的激活值16bit时的输出电压时序图，其中φ1和φ2是二相非重叠时钟，在φ1期间所有电容的两端都接地，在φ2期间激活值X_i,j与权重W_i进行卷积操作，忽略延时的影响，运算放大器最终的输出电压V如下：第一周期内输出的电压V₁为4bit位的卷积操作结果；第二周期内输出的电压a₁V₁+b₁V₂是电容复用一次即8bit位的卷积操作结果；第四周期内输出的电压a₃(a₂(a₁V₁+b₁V₂)+b₂V₃)+b₃V₄是电容复用三次即16bit位的卷积操作结果；其中a₁、b₁、a₂、b₂、a₃、b₃可通过调节电阻R₁、R₂、R₃实现。以此类推，采用开关电容神经元复用技术可以实现更高精度的卷积操作，且电容数量不会随着精度的增大而增加，因此，不会占用大量芯片面积，出现芯片成本较高的问题。

需要说明的是，上述实施例提供的数模混合神经元电路，仅以上述各功能模块的划分进行举例说明，在实际应用中，可以根据需要而将上述功能分配由不同的功能模块来完成，即将本发明实施例中的模块再分解或者组合，例如，上述实施例的模块可以合并为一个模块，也可以进一步拆分成多个子模块，以完成以上描述的全部或者部分功能。对于本发明实施例中涉及的模块的名称，仅仅是为了区分各个模块，不视为对本发明的不当限定。

另外，本文中术语“和/或”，仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。另外，本文中字符“/”，一般表示前后关联对象是一种“或”的关系。

术语“第一”、“第二”等是用于区别类似的对象，而不是用于描述或表示特定的顺序或先后次序。

术语“包括”或者任何其他类似用于旨在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备/装置不仅包括哪些要素，而且还包括没有明确列出的其他要素，或者还包括这些过程、方法、物品或者设备/装置所固有的要素。

至此，已经结合附图所示的优选实施方式描述了本发明的技术方案。以上，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到各种等效的修改或替换，这些修改或替换都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以权利要求的保护范围为准。

Claims

1.一种数模混合神经元电路，其特征在于，包括：数据存储器、数据选择电路、权重存储器、开关电容神经元电路、锁存电路和加法电路，其中，

所述数据存储器，用于存储激活值；

2.根据权利要求1所述的数模混合神经元电路，其特征在于，

所述开关电容神经元电路，用于对第1次选择的4bit激活值和所述mbit目标激活值对应的二值权重值进行卷积操作，得到模拟电压值；

所述锁存电路，用于锁定并存储所述第一模拟电压值；

所述锁存电路，用于锁定并存储所述第二模拟电压值。

3.根据权利要求1或2所述的数模混合神经元电路，其特征在于，所述开关电容神经元电路包括：异或逻辑电路、开关电容阵列、偏置电路和运算放大器，其中，

所述开关电容阵列，用于向所述运算放大器提供分压；

所述偏置电路，用于修正所述分压；

4.根据权利要求3所述的数模混合神经元电路，其特征在于，所述开关电容阵列包括N*4个设定大小的开关电容、2N*4+1个开关，所述开关基于获取的二项非重叠时钟信号，控制所述开关电容阵列中N*4个设定大小的开关电容的连接状态，其中，

5.根据权利要求4所述的数模混合神经元电路，其特征在于，基于所述异或逻辑电路输出结果，所述开关电容阵列中N*4个设定大小的开关电容的一个极板与参考电源或参考地相连，包括：

6.根据权利要求4或5所述的数模混合神经元电路，其特征在于，通过15个容值为Cu的单位电容构成4个不同容值的开关电容。

7.根据权利要求6所述的数模混合神经元电路，其特征在于，所述4个不同容值的开关电容，其电容大小依次为Cu，2¹Cu，2²Cu，2³Cu。