CN110750231B

CN110750231B - 一种面向卷积神经网络的双相系数可调模拟乘法计算电路

Info

Publication number: CN110750231B
Application number: CN201910922468.9A
Authority: CN
Inventors: 刘波; 沈泽昱; 孙煜昊; 黄乐朋; 朱文涛; 杨军
Original assignee: Southeast University
Current assignee: Southeast University
Priority date: 2019-09-27
Filing date: 2019-09-27
Publication date: 2021-09-28
Anticipated expiration: 2039-09-27
Also published as: CN110750231A; WO2021056980A1; WO2021056677A1

Abstract

本发明公开了一种面向卷积神经网络的双相系数可调模拟乘法计算电路，属于计算、推算、计数的技术领域。该乘法计算电路包括电流型网络数模转换模块、双相系数可调模拟乘法阵列、流水线型模数转换模块和计算单元控制模块，采用离散时间电路结构实现神经网络层的乘法计算，并新增了有符号乘数设计提供正向控制和负向控制，能实现带符号位的乘法，提供更宽范围的电压幅度。

Description

一种面向卷积神经网络的双相系数可调模拟乘法计算电路

技术领域

本发明公开了一种面向卷积神经网络的双相系数可调模拟乘法计算电路，涉及数模混合集成电路技术，属于计算、推算、计数的技术领域。

背景技术

当今卷积神经网络的卷积层已经存在很多较好的优化设计，在功耗、面积和能效方面效果显著。例如，在数据存储方面运用了量化、压缩等方法，实现了卷积神经网络的二值化；在计算电路方面采用异或非门作为近似乘法器进行卷积运算等。因此，在缩减网络层以及数字电路领域对卷积层的进一步优化设计已经到达了瓶颈期，卷积神经网络的计算量和参数量大，对硬件加速器的要求较高，想要进一步优化，降低卷积运算的功耗，节省电路成本，有很多研究提出了将模拟电路与数字电路结合在一块芯片中的方案。比如用模拟乘法器替代数字乘法器。但与数字乘法器相比，传统模拟乘法器并未充分利用CMOS工艺的缩放比例，在实际中乘法电路设计较为困难，为了达到可靠的精度，对数模转换电路要求较高。因此无法充分利用模拟电路的优势，能降低的计算功耗十分有限。

发明内容

为了解决现有神经网络卷积层的进一步优化设计已经到达了瓶颈期的问题，本发明提供了一种面向神经网络的双相系数可调模拟乘法电路，能将乘法运算中的数字信号转换为模拟信号，采用了离散时间电路的方案设计模拟乘法计算电路，可以降低非规则网络层的计算功耗，实现高线性度的稳健性，双相系数开关电路的设计可以宽频率响应调谐范围。

本发明为实现上述发明目的采用如下技术方案：面向神经网络的双相系数可调模拟乘法器包括电流型网络数模转换模块、双相系数可调模拟乘法阵列、流水线型模数转换模块和计算单元控制模块。电流型网络数模转换模块将从存储模块中读取的特征数据转换为模拟电压，将模拟电压作为双相系数可调模拟乘法阵列的输入电压。计算单元控制模块从存储模块中读取权重数据，结合卷积核大小控制双相系数可调模拟乘法阵列中模拟乘法单元的开关状态，完成系数和工作状态的设置。双相系数可调模拟乘法阵列为由模拟乘法单元组成的阵列，用于实现神经网络中各种网络层的乘法运算。流水线型模数转换模块将双相系数可调模拟乘法阵列的输出电压转换为数字信号。最后将流水线型模数转换模块输出的数字信号存储在存储模块中。

本发明采用上述技术方案，具有以下有益效果：

（1）本专利提出的一种面向卷积神经网络的双相系数可调模拟乘法计算电路采用离散时间电路结构实现神经网络层的乘法计算，并新增了有符号乘数设计提供正向控制和负向控制，能实现带符号位的乘法，提供更宽范围的电压幅度。

（2）双相系数可调模拟乘法阵列多个系数可调模拟乘法电路单元构成，每个系数可调模拟乘法电路单元由双相采样和保持缓冲电路和开关控制的模拟乘法电路组成，双相采样和保持缓冲电路将输入的模拟电压转换为有符号的乘数，通过控制模拟乘法电路中的开关切换电路结构调节乘法系数，以表征有符号乘数的模拟电压为模拟乘法电路的输入电压，叠加模拟乘法电路输出的模拟电压即可实现系数在0到1之间、精度为2^-6的乘法，在低电源电压下也能保持低功耗和高线性度。

（3）电流型网络数模转换模块将输出信号端预充电到模拟电压与输入数值成比例，以此达到数模转换的目的，具有很好的线性度和失配度，采用多路复用器为每个数据生成一个输入脉冲，减少面积开销和信号路由。

（4）流水型模数转换模块采用的是并行结构，可以同时对多个采样数据进行处理，信号处理速度高，在保持高精度的同时所需功耗低，并具有良好的线性度和低失调特点，因此能够实现高速及高分辨率的转换。

附图说明

图1为本发明的整体架构示意图。

图2为本发明的电流型网络数模转换模块。

图3为本发明的模拟乘法单元及其双相电路结构。

图4为本发明的流水线型模数转换模块。

具体实施方式

下面结合具体实施例进一步阐明本发明，应理解这些实施例仅用于说明本发明而不用于限制本发明的范围，在阅读了本发明之后，本领域技术人员对本发明的各种等价形式的修改均落于本申请所附权利要求所限定的范围。

面向卷积神经网络的双相系数可调模拟乘法计算电路在内部各模块之间的控制和调度下进行神经网络中的深度卷积、逐点卷积、激活层、池化层和批归一化层中的乘法运算。如图1所示，面向神经网络的双相系数可调模拟乘法器包括：电流型网络数模转换模块、双相系数可调模拟乘法阵列、流水线型模数转换模块和计算单元控制模块。

如图2所示，电流型网络数模转换模块由输入脉冲生成模块和级联PMOS恒流源组成。输入脉冲生成模块由具有8个定时信号的8：1多路复用器构成，目的是为每个输入数值生成一个输入脉冲，同时减少面积开销和信号路由。并且可以根据不同的精度需求设计多路复用器，如6：1或10：1多路复用器等。级联PMOS恒流源由3个PMOS晶体管（M_P1、M_P2、M_P3）和1个NMOS管M_N（负沟道金属氧化物半导体场效应）晶体管组成。输出信号端充电电流时间与输入数值成正比，这种数模转换模块架构比二进制加权PMOS充电数模转换模块具有更好的线性度和失配度。此外，与由PMOS的阈值电压失配产生的信号相比，定时信号的脉冲宽度通常具有较小的变化，因此具有很好的稳定性。

输入特征数据从存储模块中读出，输入特征数据进入电流型网络数模转换模块的先进先出存储器中，输入数据为6bit时，先将输入数据通过6：1多路复用器，使用输入数据的3个最高有效位来选择前半个充电脉冲宽度，使用输入数据的3个最低有效位确定后半个充电脉冲宽度，然后将充电脉冲输入电流型网络数模转换模块，转换为模拟电压。电流型网络数模转换模块输出的模拟电压传递至双相系数可调模拟乘法计算阵列作为输入电压。

权重数据从存储模块中读出，权重数据进入计算单元控制模块。计算单元控制模块结合卷积核大小和权重数据给每个模拟乘法计算单元配置2位的控制信号和6位的乘法系数值。2位控制信号控制每个模拟乘法计算单元的开关7和开关8进而实现输入信号的正向控制或反向控制，6位的乘法系数值控制开关1到6进而实现乘法系数取值的调整。通常情况下，卷积核尺寸大小为3×3，这时系数可调模拟乘法阵列会调动阵列中的3×3个计算单元完成任务。当卷积核尺寸为2×2时，系数可调模拟乘法电路阵列可同时进行4组运算操作。当卷积核尺寸为1×1时，系数可调模拟乘法电路阵列可同时进行16组运算操作。当卷积核尺寸为4×4时，系数可调模拟乘法电路阵列可同时进行1组运算操作。当卷积核尺寸为N×N，且N大于4时，可以采用多个系数可调模拟乘法电路阵列并行计算。

双相系数可调模拟乘法阵列由4乘4共16个系数可调模拟乘法电路单元构成。每个系数可调模拟乘法电路单元由双相采样和保持缓冲电路和开关控制的模拟乘法电路组成，双相采样和保持缓冲电路由一个公共源放大器构成，通过对输入信号的正向控制或反向控制实现有符号乘数的输入，以有符号的乘数作为开关控制的模拟乘法电路的输入信号，再结合乘法系数的调节实现系数在0到1之间、精度为2^-6的乘法，同时在低电源电压下也能保持低功耗和高线性度。

如图3所示，可调模拟乘法计算阵列的输入电压进入模拟乘法计算单元后，在开关7闭合而开关8断开时为正向控制，模拟乘法计算单元在开关7断开而开关8闭合时为负向控制，模拟乘法计算单元在开关7和8都断开时停止。选择工作模式以后，输入电压经过采样和保持缓冲电路稳定电压。输入电压经过稳定后作为六个并联开关支路的输入电压，开关1到开关6共6条支路，每个支路上的开关串联一个对应一比特位乘法系数值大小的电容。开关1串联10fF电容，开关2串联30fF电容，开关3串联40fF电容，开关4串联10fF电容，开关5串联20fF电容，开关6串联40fF电容。开关1至开关6的开启和闭合由计算单元控制模块控制，开关1到开关6分别对应6比特系数值的最低位到最高位，若对应比特位为1则开关闭合，对应的电容充电；若对应比特位为0则开关打开，对应的电容放电。将开关1支路、开关2支路、开关3支路和一个10fF的电容并联为主支路1，将开关4支路、开关5支路、开关6支路并联为主支路2，然后将按顺序将主支路1、一个800/7fF的电容、主支路2串联。主支路2的端点电压即是输出电压。若开关1闭合，输出电压会有8/569（约1/64）输入电压的增加；若开关2闭合，输出电压会有24/569（约1/32）输入电压的增加；若开关3闭合，输出电压会有32/569约（1/16）输入电压的增加；若开关4闭合，输出电压会有72/575（约1/8）输入电压的增加；若开关5闭合，输出电压会有144/575（约1/4）输入电压的增加；若开关6闭合，输出电压会有288/575（约1/2）输入电压的增加。可见，模拟乘法单元使用的是离散时间开关电容电路，根据开关电路实现可调节的高阶窄带宽可编程滤波，于是由数字电路控制6个开关的闭合，将开关电路上充电电容时产生的支路电压叠加就能得到模拟乘法单元的输出电压。

流水线型模数转换器能够实现高速及高分辨率的转换，并且满足低功耗和面积小的芯片设计要求。如图4所示，流水线型模数转换器主要由多个级联电路组成，每一级包括一个采样/保持（Sample/Hold，S/H）放大器、低精度ADC、DAC以及求和电路。输入模拟量经过一个3位粗精度ADC转换为3bit数字量，该数字量则为输出数据的高3位，3bit数字量经DAC转换为模拟量。S/H放大器对ADC输出的3bit数字量进行采样后与DAC转换得到的模拟量进行求和或求差操作，从而将3bit数字量对应的模拟信号从输入信号中删除，所得差值经放大得到输出数据的低3位数值并将输出数据的低3位数值送往下一级电路处理。根据数字量的精度需求，对参与信号进行转换并最终得到高精度的n位输出数据。流水型ADC需要采用数字误差校正技术来降低内部比较器的精度要求，如果上一级的比较器存在较大的失调且输入电压正处于该比较点，则会生成错误的输出值，从而产生不同的差值。经过放大器后，可以恢复至正确的ADC结果。与其它模数转换器相比，流水型ADC是并行结构，可以同时对多个采样数据进行处理，信号处理速度高，在保持高精度的同时所需功耗低，并具有良好的线性度和低失调特点，因此能够实现高速及高分辨率的转换。

本申请公开的双相系数可调模拟乘法计算电路的整个功能的实现包括如下6个步骤。

步骤1：输入特征数据从存储模块中读出，特征数据进入电流型网络数模转换模块的先进先出存储器中，数模转换模块将特征数据转换为模拟电压后传递至双相系数可调模拟乘法计算阵列作为输入电压。

步骤2：权重数据从存储模块中读出，权重数据进入计算单元控制模块，计算单元控制模块结合卷积核大小和权重数据控制每个模拟乘法计算单元中的八个开关，设置好乘法的系数以及双相符号选择器的工作模式（正向控制，负向控制，停止）。

步骤3：模拟乘法计算单元的输入电压经过正向控制或负向控制模式的双相符号选择器，完成符号位的运算；然后，有符号的乘数经过采样和保持缓冲电路维持输入电压数值，防止其衰减影响到计算结果，同时，开关1到开关6根据系数值的六比特数字信号转换为闭合或者打开状态，闭合的开关所在支路上的电容进行充电，打开的开关所在支路上的电容进行放电，当充放电过程结束后，按照电容大小的不同和电路结构的不同即可确定乘法计算结果，不同开关支路上的电容对输出电压的贡献不同，开关1对输出电压的贡献是约1/64的输入电压，开关2对输出电压的贡献是约1/32的输入电压，开关3对输出电压的贡献是约1/16的输入电压，开关4对输出电压的贡献是约1/8的输入电压；开关5对输出电压的贡献是约1/4的输入电压，开关6对输出电压的贡献是约1/2的输入电压；最后，根据开关的闭合情况，就能得到对应的输出电压，即为模拟乘法器的输出。

步骤4：模拟乘法器的输出电压最后传递至流水型模数转换器得到输出数值，保存在存储器中，等待下一次的读取指令。

Claims

1.一种面向卷积神经网络的双相系数可调模拟乘法计算电路，其特征在于，包括：

数模转换模块，将读取的特征数据转换为模拟电压后输出至双相系数可调乘法阵列；

计算单元控制模块，根据读取的权重数据并结合卷积核大小输出双相系数可调乘法阵列的工作状态控制信号及乘法系数控制信号；

双相系数可调乘法阵列，包含16个乘法单元，每个乘法单元在其工作状态控制信号及乘法系数控制信号的作用下将输入的模拟电压转换为有符号的乘数并选择对应乘法系数的电路结构，输出乘法运算结果，所述每个乘法单元包括：

双相采样和保持缓冲电路，其正向输入端和反向输入端各串联有一开关，两个开关的控制端接计算单元控制模块输出的工作状态控制信号，对输入的模拟电压进行正向控制或反向控制后输出表征有符号乘数的模拟电压，及，

开关控制的模拟乘法电路，由多个并联的电容支路组成，每个电容支路上串接一个受控于乘法系数控制信号的开关，各电容支路正极板一端连接形成的输入端接双相采样和保持缓冲电路的输出端，各电容支路在乘法系数控制信号的作用下切换至充电状态或放电状态，表征有符号乘数的模拟电压作用于处于充电状态的电容支路，各电容支路负极板一端连接后形成的输出端输出表征乘法运算结果的模拟电压；

模数转换模块，对双向系数可调乘法阵列输出的乘法运算结果进行模数转换。

2.根据权利要求1所述一种面向卷积神经网络的双相系数可调模拟乘法计算电路，其特征在于，当卷积核尺寸为N×N，且N大于4时，双相系数可调乘法阵列至少有一个，各双相系数可调乘法阵列并行计算。

3.根据权利要求1所述一种面向卷积神经网络的双相系数可调模拟乘法计算电路，其特征在于，所述数模转换模块包括：

输入脉冲生成模块，对输入的特征数据多路复用后映射至级联PMOS恒流源的输入端，及，

级联PMOS恒流源，将输入端映射的特征数据正比例转换为模拟电压输出端的充电电流时间。

4.根据权利要求1所述一种面向卷积神经网络的双相系数可调模拟乘法计算电路，其特征在于，所述模数转换模块由多个级联模块组成，每个级联模块包括：

低精度ADC，对其输入端的乘法运算结果进行模数转换得到输出数字信号的高位数据，

DAC，对其输入端的输出数字信号的高位数据进行模数转换后输出高位数据对应的模拟信号，

采样/保持放大器，对输入端的乘法运算结果进行采样保持后输出，及，

求和电路，对采样/保持放大器输出的乘法运算结果及DAC输出的高位数据对应的模拟信号进行求和或求差操作，输出删除高位数据的乘法运算结果至下一个级联模块。

5.根据权利要求3所述一种面向卷积神经网络的双相系数可调模拟乘法计算电路，其特征在于，所述输入脉冲生成模块为多路复用器，该多路复用器为每个特征数据生成一个输入脉冲。

6.根据权利要求4所述一种面向卷积神经网络的双相系数可调模拟乘法计算电路，其特征在于，所述模数转换模块还包括对各级联模块输出信号进行校正后拼接得到要求精度数字量的数字校正和对齐电路。

7.面向卷积神经网络的双相系数可调模拟乘法的实现方法，其特征在于，通过权利要求1所述双相系数可调模拟乘法计算电路实现，将特征数据转换为模拟电压后作为双相系数可调乘法阵列的输入量，根据权重数据并结合卷积核大小控制双相系数可调乘法阵列中各乘法单元的工作状态及乘法系数，对双向系数可调乘法阵列输出的乘法运算结果进行模数转换得到计算结果。

8.根据权利要求7所述面向卷积神经网络的双相系数可调模拟乘法的实现方法，其特征在于，根据权重数据并结合卷积核大小控制双相系数可调乘法阵列中各乘法单元的工作状态及乘法系数的具体方法为：根据权重数据并结合卷积核大小生成对各乘法单元输入端的模拟电压进行正向控制或反向控制的工作状态控制信号以及选择各乘法单元电路结构以实现不同乘法系数的乘法系数控制信号。

9.根据权利要求7所述面向卷积神经网络的双相系数可调模拟乘法的实现方法，其特征在于，将特征数据转换为模拟电压后作为双相系数可调乘法阵列的输入量的具体方法为：将特征数据映射为正比例转换为级联PMOS恒流源模拟电压输出端的充电电流时间。

10.根据权利要求7所述面向卷积神经网络的双相系数可调模拟乘法的实现方法，其特征在于，采用流水线型模数转换方法对双向系数可调乘法阵列输出的乘法运算结果进行模数转换得到计算结果。