CN111669527A

CN111669527A - 一种cmos图像传感器内的卷积运算架构

Info

Publication number: CN111669527A
Application number: CN202010625859.7A
Authority: CN
Inventors: 黄科杰; 宋瑞冰; 沈海斌
Original assignee: Zhejiang University ZJU
Current assignee: Zhejiang University ZJU
Priority date: 2020-07-01
Filing date: 2020-07-01
Publication date: 2020-09-15
Anticipated expiration: 2040-07-01
Also published as: CN111669527B

Abstract

本发明公开了一种CMOS图像传感器内的卷积运算架构。具有作为实现感光和乘加运算的基本单元的像素内电路、由基本单元组成的用于实现阵列卷积运算的像素阵列电路；一基本单元控制图像一像素，基本单元的一组元件代表图像像素一通道，用卷积核一像素一通道的权重值控制一基本单元中一元件PMOS晶体管的导通时间；通过元件中的PMOS晶体管切换导通控制电容的充放电，进而控制各组元件电容电压，实现单像素运算控制。本发明能在感光同时完成卷积神经网络第一层运算，并将第一层运算结果转化为数字信号进行输出，减少后续计算的能耗，具有高动态范围、高帧率、低功耗、支持可变卷积运算参数等特点。

Description

一种CMOS图像传感器内的卷积运算架构

技术领域

本发明公开了一种CMOS图像传感器的卷积运算架构，特别涉及了一种能完成卷积神经网络第一层卷积运算的CMOS图像传感器的卷积运算架构。

背景技术

在图像领域，随着卷积神经网络(CNN)等机器学习技术的不断发展，目标检测、人脸识别等应用逐渐成熟，各种机器视觉感知系统被提出。在多数应用场景中，机器视觉系统都需要长时间持续拍摄和工作，对功耗要求很严格，尤其是使用电池供电的设备，如野外监控设备、可穿戴设备等。然而，这些系统的功耗问题尚未得到好的解决。一方面，深度学习算法往往具有较高的计算量需求，使其计算功耗居高不下。另一方面，传统的图像传感器是为了获得更高分辨率的图像而设计的，其需要高能耗的模拟读出电路，这同样是机器视觉系统能源效率提升的一个重要瓶颈。

采用CNN进行运算的机器视觉系统可以分为两个主要部分，起感知作用的CMOS图像传感器(CIS)，以及起运算功能的计算模块。由于卷积运算的计算量高，出于效率与资源两方面的原因，很多终端物联网设备只能将运算数据送往云端服务器进行计算，这样的数据传输过程中又产生了额外的能量损耗，且产生了具有数据安全性等多方面的附加问题。为此，需要研究新的硬件架构和算法来同时满足信息的获取、处理和分析等多方面的要求。传感器内计算是解决该问题的有效方法之一。

已有的研究在CIS性能优化及卷积硬件加速等方面已经取得了非常多的突破，近年来，在传感器和视觉分析硬件集成上也出现了许多创新和改进。如将传感器与片上的深度学习加速器集成在一起、在传感器内直接进行模拟卷积运算等，对于系统的性能都带来了很大的提升。然而，这些研究仍然没有充分的利用图像传感器本身的特性，作为光电转换的接口，像素阵列本身就具有模拟存储的功能，并具有完成简单运算的条件。

发明内容

为了充分利用CIS的特性，减少机器视觉系统中CIS模拟读出及卷积运算的功耗，本发明提出了一种基于CNN的双模传感器内计算架构，其具有计算模式和传统模式。

本发明在计算模式下，其能在传感器内部完成CNN的第一层卷积运算，大幅降低传感器输出数据密度，从而减小模拟输出功耗。其具有基于脉冲宽度控制和电荷重分配原理实现的乘加运算操作电路，权重以脉冲宽度的形式与像素电流相乘，从而减少了数据移动的能耗。当在计算模式下检测到前景发生变化时或其他用户指定的情况下，可以切换到全高清模式，如普通CIS一样进行工作，输出全高清图像。

为了实现上述目的，本发明采用的技术方案如下：

具有作为实现感光和乘加运算的基本单元的像素内电路；

具有主要由若干上述基本单元组成的用于实现阵列卷积运算的像素阵列电路。

如图4所示，所述的基本单元，主要由PMOS晶体管RST及完全相同的四组元件组成，四组元件结构相同，第一组元件包括用于控制读出的PMOS晶体管RD1、用于控制曝光时间的PMOS晶体管W1、用于感光的光电二极管D1和用于存储电荷的电容C1，光电二极管D1的1脚与PMOS晶体管W1的2脚相连，PMOS晶体管W1的1脚、PMOS晶体管RD1的2脚均和电容C1的1脚相连，光电二极管D1的2脚和电容C1的2脚接地；

四组元件具体包括用于控制读出的PMOS晶体管RD1～RD4、用于控制曝光时间的PMOS晶体管W1～W4、用于感光的光电二极管D1～D4和用于存储电荷的电容C1～C4；同理，光电二极管D2的1脚与PMOS晶体管W2的2脚相连，PMOS晶体管W2的1脚与PMOS晶体管RD2的2脚和电容C2的1脚相连；光电二极管D3的1脚与PMOS晶体管W3的2脚相连，PMOS晶体管W3的1脚与PMOS晶体管RD3的2脚和电容C3的1脚相连；光电二极管D4的1脚与PMOS晶体管W4的2脚相连，PMOS晶体管W4的1脚与PMOS晶体管RD4的2脚和电容C4的1脚相连。四组元件的PMOS管RD1～4的1脚、PMOS晶体管RST的2脚相连接到一起作为互连脚convlink；四组元件的PMOS晶体管W1～W4和PMOS晶体管RD1～RD4的3脚以及PMOS晶体管RST的3脚均连接到外部的开关控制信号，PMOS晶体管RST的1脚接电源电压。

所述的互连脚convlink为双向的输入/输出端口，用于相邻基本单元之间的连接。

本发明中的MOS晶体管的1脚指代源极，2脚指代漏极，3脚指代栅极。

如图1所示，所述的像素阵列电路由所述基本单元及其他器件遵循一定的规律相互连接组成，具体组成为：

由各个基本单元按矩阵排列，且矩阵的大小为图像的长*高，即一行中基本单元的数量为图像的长，一列中基本单元的数量为图像的宽；以四个位于田字的相邻的基本单元共同构成一个复合单元，复合单元内部的四个基本单元的互连脚convlink直接相连；

如图2所示，在相邻的两个复合单元之间，两个复合单元内部各自连接在一起的互连脚convlink通过一个隔断管进行连接，起到分割矩阵的作用；

如图2所示，像素阵列电路虽然在图1中是绘制为将复合单元以NMOS晶体管相互连接所构成的，但图1是为了方便理解而绘制的，实际的像素阵列中，所有基本单元是间距均匀的排列的，不论是否同属于一个复合单元。如图2中的9个基本单元，为图1中左上角的9个基本单元，左起第一行的两个基本单元和左起第二行的两个基本单元同属于同一个复合单元，其互连脚convlink直接相连，而相邻的其他像素由于属于其他的复合单元，故其互连脚convlink通过一个隔断管再与这四个像素的互连脚convlink相连。

每列上的所有复合单元对应连接一个读出电路，如图3所示，读出电路包括一个NMOS晶体管SF、一个NMOS晶体管EN、一个模数转换器ADC，其中NMOS晶体管SF的3脚与该列上的所有复合单元内部的互连脚convlink连接，NMOS晶体管SF的1脚与NMOS晶体管EN的2脚连接，NMOS晶体管EN的3脚连接用于控制该列复合单元的读取信号，NMOS晶体管EN的1脚与模数转换器ADC的输入端口连接，模数转换器ADC的输出端口作为整个电路的输出端口。

所述的隔断管采用NMOS管，N沟道场效应管。

本发明电路架构能在感知图像的同时完成卷积神经网络第一层卷积运算，用于CMOS图像传感器。

一个所述基本单元代表控制图像中的一个像素，不同基本单元代表了不同的像素，基本单元中的一组元件代表了图像像素中的一个通道，具体是以卷积核中一个像素的权重参数代表控制一个基本单元的工作，用卷积核一个像素中一个通道的权重值代表控制一个基本单元中一组元件的PMOS晶体管W的导通时间；不同通道代表了不同的元件，通道的数量和元件的数量相同。通常图像为RGB通道，分为R、G1、G2、B的四个通道，其中G1和G2通过取平均得到图像的G通道。通过元件中的PMOS晶体管W和PMOS晶体管RD的切换导通控制电容C的充放电，进而控制各组元件的电容C的电压，实现对单个像素的卷积时运算控制。

本发明按照所述电路适配不同尺寸卷积核的分割设计和时序处理实现CMOS图像传感器内的卷积运算。根据卷积核的尺寸，分割使像素阵列能够完成对应卷积运算以及相应的时序顺序。

具体实施中，首先导通所有基本单元中的PMOS晶体管RST、PMOS晶体管RD1～RD4、PMOS晶体管W1～W4；使得电容C1～C4复位并处于最高电位；

然后，对于每个基本单元的像素卷积运算处理，关断其中的PMOS晶体管RST和PMOS晶体管RD1～RD4，导通PMOS晶体管W1～W4，且通过卷积核一个像素中不同通道的权重值分别控制不同PMOS晶体管W的导通时间，若例如RGB通道的权重值分别为6、8、12，四个PMOS晶体管W分别代表了R、G、G、B，导通时间分配时长比例分别为6、8、8、12；使得电容C1～C4经各自的光电二极管D1～D4短暂放电，电位降低；

接着，对于每个基本单元的像素卷积运算处理，关断其中的PMOS晶体管RST和导通PMOS晶体管W1～W4，导通PMOS晶体管RD1～RD4，且导通保持，使得电容C1～C4相互充放电电荷平均形成相同的电位。

由此完成了一个像素的卷积运算处理，由此对各个像素进行相同处理以及对卷积核遍历的不同时序进行相同处理就能完成完整的卷积运算。

本发明能够在感光的同时完成卷积神经网络的第一层运算，并将第一层运算结果转化为数字信号进行输出，从而减少后续计算的能耗，具有高动态范围、高帧率、低功耗、支持可变的卷积运算参数的特点。

本发明具有的有益效果是：

1.本发明能在CMOS图像传感器内部完成CNN的第一层卷积运算，大幅降低传感器输出数据密度，从而减小模拟输出功耗；

2.本发明具有基于脉冲宽度控制和电荷重分配原理实现的乘加运算电路，权重以脉冲宽度的形式与像素电流相乘，从而减少了数据移动的能耗；

3.本发明可以进行双模态工作，在计算模式下检测到前景发生变化时或其他用户指定的情况下，可以切换到全高清模式，如普通CIS一样进行工作，输出全高清图像；

4.本发明支持3*3、5*5、7*7等各种尺寸的卷积核及各种步长的卷积运算，能够适用于各种卷积神经网络的需要；

5.本发明所需模数转化模块的工作频率很低，大大降低功耗的同时能保证高帧率高动态范围的图像获取和运算。

附图说明

图1是本发明的总体架构示意图。

图2是本发明的像素阵列电路连接示意图。

图3是本发明的列读出电路图。

图4是本发明作为基本单元的像素内电路的电路图。

图5是本发明进行像素内乘加计算的时序示意图。

图6是本发明以3*3、步长为2的卷积核为例进行卷积运算的流程示意图。

图7是本发明以3*3、步长为2的卷积核为例进行卷积运算的时序图。

图8是本发明以7*7、步长为2的卷积核为例进行卷积运算的流程示意图。

具体实施方式

以下结合附图和实施例，对本发明进行进一步的描述。

如图4所示，基本单元，主要由PMOS晶体管RST及完全相同的四组元件组成，四组元件结构相同，第一组元件包括用于控制读出的PMOS晶体管RD1、用于控制曝光时间的PMOS晶体管W1、用于感光的光电二极管D1和用于存储电荷的电容C1，光电二极管D1的1脚与PMOS晶体管W1的2脚相连，PMOS晶体管W1的1脚、PMOS晶体管RD1的2脚均和电容C1的1脚相连，光电二极管D1的2脚和电容C1的2脚接地。

四组元件具体包括用于控制读出的PMOS晶体管RD1～RD4、用于控制曝光时间的PMOS晶体管W1～W4、用于感光的光电二极管D1～D4和用于存储电荷的电容C1～C4；同理，光电二极管D2的1脚与PMOS晶体管W2的2脚相连，PMOS晶体管W2的1脚与PMOS晶体管RD2的2脚和电容C2的1脚相连；光电二极管D3的1脚与PMOS晶体管W3的2脚相连，PMOS晶体管W3的1脚与PMOS晶体管RD3的2脚和电容C3的1脚相连；光电二极管D4的1脚与PMOS晶体管W4的2脚相连，PMOS晶体管W4的1脚与PMOS晶体管RD4的2脚和电容C4的1脚相连。四组元件的PMOS管RD1～4的1脚、PMOS晶体管RST的2脚相连接到一起作为互连脚convlink；四组元件的PMOS晶体管W1～W4和PMOS晶体管RD1～RD4的3脚以及PMOS晶体管RST的3脚均连接到外部的开关控制信号，PMOS晶体管RST的1脚接电源电压。互连脚convlink为双向的输入/输出端口，用于相邻基本单元之间的连接。

如图1所示，像素阵列电路由基本单元及其他器件遵循一定的规律相互连接组成，具体组成为：

具体实施中，像素阵列模块由1920*1080个像素单元组成，支持3*3、5*5、7*7等多种卷积核及步长参数进行卷积运算。

如图5所示，结合该时序图介绍像素内电路实现乘加运算的原理：

在复位阶段，所有的PMOS晶体管(RST、RD1-4、W1-4)都导通，使电容C1-4上的电压被复位；

复位结束后，PMOS晶体管RST和RD1-4关断，进入曝光阶段，此阶段中，根据卷积核对应的权重值控制PMOS晶体管W1-4的导通时间，令导通时间t与权重值w成正比，由于短时间内光电流I的大小基本不变，则电容器C上存储的电荷Q可表示为：

Q＝CU_rst-It＝CU_rst-Ikw

其中，U_rst表示复位电压，C为电容器C的电容大小，k为设定的曝光常数，根据外界光照强度可以通过软件进行调整，从而增大传感器的动态范围。

曝光结束后，PMOS晶体管W1-W4关断；进入读取阶段后，PMOS晶体管RD1-4导通，电容C1-4内存储的电荷Q1-Q4通过互连脚convlink连接在一起，根据电荷重分配原理，其电压将达到统一值U。仅考虑图4中所示的四个像素，则U的值由下式可得：

其中，I₁表示光电二极管D1的光电流，w₁表示卷积核中控制PMOS晶体管W1的导通时间的对应权重值；

其中k/4C已知，故读取互连脚convlink上的电压，即可得到四个像素与卷积核中对应权重值的乘积的和，由此完成了一次乘加运算。进一步的，只需将需要进行卷积运算的区域的所有基本单元的互连脚convlink连在一起，即可得到卷积后d输出层的一个计算结果。

此外，图5中还介绍了卷积核的权重的正负值的处理方法，通过前后两次曝光，前一次仅对权重为正的像素进行曝光，后一次仅曝光权重为负的，两次运算的结果在输出后数字端相减，同时消去偏移噪声的影响，实现类似相关双采样的功能。

下面结合图6、图7，以卷积核尺寸3*3、步长为2介绍本发明的卷积运算的整体实现：

如图6所示，首先根据计算区域互相不重叠的原则，本发明具体实施将整个阵列上的卷积分为step1-4四个状态，每个状态下的卷积计算区域互不重叠，从而只需要一次曝光就可以对所有计算区域进行计算和读出。要指出的是，该分步方案并不是唯一的，这里给出了最直观的一种方案。

图6中将矩阵进行分割的虚线代表着将该位置上所有的复合单元之间的开关断开，没有虚线的位置代表开关闭合，从而实现将整个矩阵分割为互不干扰的若干个区块。每个区块内的所有基本单元的互连脚convlink在此时是连通的，不参与运算的基本单元始终关断其内部的PMOS晶体管RD1-4使其不工作，从而实现所需要的3*3个基本单元与卷积核之间的卷积运算。运算在行方向上完全并行，即每行的所有区块同时进行计算和读出；在列方向上，将两行区块同时进行读出，上下两行的运算结果分别通过区块内包含的左右两列复合单元对应的列读出电路进行读出，互不影响。

像素阵列的曝光和读取采取流水线的形式同时进行，即在第n+1次要读出的数据对应的区块进行重分配和读取操作的同时，将刚刚完成了读出的第n次读出的数据对应的区块进行复位、曝光，依次滚动进行。卷积运算的时序流程详见图7，其中Rd信号代表控制PMOS晶体管RD的读出控制信号，Rst为复控制PMOS晶体管RST的复位信号，Expo为控制PMOS晶体管W的曝光控制信号，下标n代表第次读出对应的区块。

图7中包含的时间数据计算如下，在1080P分辨率下，每个step包含270行区块的输出，每次读出两行即135次读取，故下一次该行的读取和复位之间相隔(135-1)个读取周期。假设模数转换器读出所需的总时间为240ns，则时间间隔为240*134＝32.16us。设像素复位时间为100ns，单次最大曝光周期限制为25.6us，则完成复位和曝光最多需要25.6+0.1＝25.7us，小于两次读取的时间间隔，故一定能够在下一次读取之前完成复位和曝光流程。

本发明在某个工作状态下所需的最低模数转换器工作速率是可以计算的。如在1080P、60帧、64通道下，每个step包含135次读取，正负权重需要各曝光一次，则所需的最低模数转换器读取速率约为135*4*2*64*60≈4.2MHz。

下面结合图8，以尺寸为7*7、步长为2的卷积核为辅例，介绍对于不同尺寸的卷积核进行电路分割的通用算法：

第一步为状态分割，即以区域不重叠的原则将需要进行的所有卷积运算分割为尽可能少的若干个状态，以最直观的方式进行分割，即将卷积核在横向和纵向上逐步平移至完全不重叠，易知在卷积核尺寸为r(设r为奇数)、步长为s的情况下，分割出的总状态数step为[(r+1)/s]²(特别的，当(r+1)/s的结果不为整数时，则向上取整)。如图5所示的7*7，s＝2时，step＝16。特别的，当s＝1时，由于每个区块内包含两列复合单元，所以对于r*r(r为奇数)的卷积核，最少的状态数并不是r²,而是(r+1)²。由于s＝1的情况同样会导致数据输出量增加很多，因此实际应用中建议尽可能避免使用该类型的卷积核。

第二步为阵列分割，根据第一步中分离出的若干状态的要求，改变复合单元之间的开关的工作状态，将阵列分割为若干个区块，每个区块内包含且仅包含一个卷积运算区域。

第三步为时序计算，通过运算确定模数转换器所需的最低工作速率及光电管支持的最大曝光时间。值得注意的是，当卷积核的尺寸增大后，如图8所示的7*7的情况，由于每个区块内包含的复合单元的列数增加为了4列，因此每次可以同时读出四行区块的计算结果。具体计算可知，由于step的数量为[(r+1)/s]²(注意当(r+1)/s的结果不为整数时，需向上取整)，每个区块内包含的列ADC数目即同时读出的行数为(r+1)/2，每个状态step的总输出行数为H/(r+1)，帧率为f，通道数为n，正负权重分两次曝光，故模数转换器最低工作速率为4nf·H·[(r+1)/s]²/(r+1)²，假设需要取整的部分总恰好为整数，即可消去重复项得，最低工作速率为4nfH/s²。即在固定的阵列高度H下，模数转换器最低工作速率仅由帧率f、通道数n和步长s所决定，而与卷积核尺寸无关。

Claims

1.一种CMOS图像传感器内的卷积运算架构，其特征在于：

具有作为实现感光和乘加运算的基本单元的像素内电路；

2.根据权利要求1所述的一种CMOS图像传感器内的卷积运算架构，其特征在于：所述的基本单元，主要由PMOS晶体管RST及完全相同的四组元件组成，四组元件结构相同，第一组元件包括用于控制读出的PMOS晶体管RD1、用于控制曝光时间的PMOS晶体管W1、用于感光的光电二极管D1和用于存储电荷的电容C1，光电二极管D1的1脚与PMOS晶体管W1的2脚相连，PMOS晶体管W1的1脚、PMOS晶体管RD1的2脚均和电容C1的1脚相连，光电二极管D1的2脚和电容C1的2脚接地；四组元件的PMOS管RD1～4的1脚、PMOS晶体管RST的2脚相连接到一起作为互连脚convlink；四组元件的PMOS晶体管W1～W4和PMOS晶体管RD1～RD4的3脚以及PMOS晶体管RST的3脚均连接到外部的开关控制信号，PMOS晶体管RST的1脚接电源电压。

3.根据权利要求2所述的一种CMOS图像传感器内的卷积运算架构，其特征在于：所述的互连脚convlink为双向的输入/输出端口，用于相邻基本单元之间的连接。

4.根据权利要求1所述的一种CMOS图像传感器内的卷积运算架构，其特征在于：所述的像素阵列电路具体组成为：

由各个基本单元按矩阵排列，且矩阵的大小为图像的长*高；以四个相邻的基本单元共同构成一个复合单元，复合单元内部的四个基本单元的互连脚convlink直接相连；

在相邻的两个复合单元之间，两个复合单元内部各自连接在一起的互连脚convlink通过一个隔断管进行连接；

每列上的所有复合单元对应连接一个读出电路，读出电路包括一个NMOS晶体管SF、一个NMOS晶体管EN、一个模数转换器ADC，其中NMOS晶体管SF的3脚与该列上的所有复合单元内部的互连脚convlink连接，NMOS晶体管SF的1脚与NMOS晶体管EN的2脚连接，NMOS晶体管EN的3脚连接用于控制该列复合单元的读取信号，NMOS晶体管EN的1脚与模数转换器ADC的输入端口连接，模数转换器ADC的输出端口作为整个电路的输出端口。

5.根据权利要求4所述的一种CMOS图像传感器内的卷积运算架构，其特征在于：所述的隔断管采用NMOS管。

6.根据权利要求4所述的一种CMOS图像传感器内的卷积运算架构，其特征在于：一个所述基本单元代表控制图像中的一个像素，基本单元中的一组元件代表了图像像素中的一个通道，具体是以卷积核中一个像素的权重参数代表控制一个基本单元的工作，用卷积核一个像素中一个通道的权重值代表控制一个基本单元中一组元件的PMOS晶体管的导通时间；通过元件中的PMOS晶体管W和PMOS晶体管RD的切换导通控制电容C的充放电，进而控制各组元件的电容C的电压，实现对单个像素的运算控制。