CN116266889A - 整合卷积神经网络运算电路的图像传感器 - Google Patents

Abstract

一种整合卷积神经网络运算电路的图像传感器，其中包括：像素数组，包括区分为多个像素群组的多个像素，各个像素转换光信号为第一脉宽调制信号；卷积运算电路，根据每个像素群组中各像素的第一脉宽调制信号控制对应权重电流的开启时间，并将多个像素的权重电流累积为积分电流；比较电路将积分电流转换为第二脉宽调制信号并与相邻像素群组比较，输出数值较大的第二脉宽调制信号；以及分类电路，根据各像素群组所对应全连接层节点的权重，将第二脉宽调制信号量化为量化值，累计所有像素群组的量化值为特征值并与特征阈值比较以获得分类结果。

Description

整合卷积神经网络运算电路的图像传感器

技术领域

本公开是有关于一种图像传感器，且特别是有关于一种整合卷积神经网络运算电路的图像传感器。

背景技术

随着卷积神经网络(convolutional neural network，CNN)的进阶研究及开发，人工智能(artificial intelligence，AI)在各种应用上取得越来越多的成功，例如图像识别及图像分类。然而，复杂的网络训练及运算需要现场可编程门阵列(field-programmablegate array，FPGA)、中央处理器(central processing unit，CPU)、图像处理单元(graphics processing unit，GPU)等硬件资源来支持大量的运算工作。而大量的数据存取及运算算法中的乘积累加(multiply-accumulate，MAC)运算，将造成可观的能源损耗及数据传输延迟。

因此，功率限制、计算能力和本地端数据存储是将智能网络引入物联网(internet-of-things，IoT)装置的关键挑战。

公开内容

本公开提出了一种整合卷积神经网络运算的图像传感器，可在单一图像感测芯片中完成图像感测、卷积神经网络运算与人脸或特征判别。

本公开提供一种整合卷积神经网络运算的图像传感器，其包括像素数组、卷积运算电路、比较电路及分类电路。其中，像素数组包括区分为多个像素群组的多个像素，各个像素转换所接收的光信号为第一脉宽调制(pulse width modulation，PWM)信号。卷积运算电路根据每一个像素群组中各个像素的第一脉宽调制信号控制对应的权重电流的开启时间，并将多个像素的权重电流累积为积分电流，其中权重电流的数值对应于经训练卷积神经网络中卷积层节点的权重。比较电路将积分电流转换为第二脉宽调制信号，并比较相邻的像素群组的第二脉宽调制信号，输出数值较大的第二脉宽调制信号。分类电路根据各个像素群组在经训练卷积神经网络中所对应的全连接层节点的权重，将像素群组的第二脉宽调制信号量化为多个量化值其中之一，累计所有像素群组的量化值为特征值并与特征阈值比较以获得分类结果。

为让本公开能更明显易懂，下文特举实施例，并配合附图作详细说明如下。

附图说明

图1是根据本公开一实施例所绘示的执行概念的示意图。

图2是根据本公开一实施例所绘示的整合卷积神经网络运算的图像传感器的架构图。

图3是根据本公开一实施例所绘示的图像传感器20在不同模式下的操作流程图。

图4是根据本公开一实施例所绘示的像素电路的电路图。

图5是根据本公开一实施例所绘示的卷积运算电路和最大池化运算电路的电路图。

图6是根据本公开一实施例所绘示的权重产生电路的电路图。

图7是根据本公开一实施例所绘示的最大池化运算的示意图。

图8A至图8F是根据本公开一实施例所绘示的最大池化运算电路的电路图及对应的时序图。

图9A及图9B分别是根据本公开一实施例所绘示的比较电路与分类电路的电路图及对应的时序图。

符号说明

10：特征图像数据集

12：卷积神经网络

20：图像传感器

21：脉宽调制像素数组

22：传感器内运算电路

221、50：模拟卷积运算电路

222：激活函数运算电路

223、60：最大池化运算电路

224：模数转换器电路

225：数字全连接运算电路

23：数字控制电路

24：行控制电路

25：列选择电路

26：卷积运算权重暂存与处理电路

27：全连接运算权重暂存与处理电路

40：像素电路

52：符号位逻辑

54：开关电流积分单元

70：权重产生电路

72：缓冲器

74：电流数模转换器

92：量化计数器

94：译码器

96：可逆计数器

A、B、C：流程

A1、B1、B2、C1、C2、C3、C4：步骤

A₁：总和开关

ADD：加信号

AN：与门

B2T_FC：量化值

CLK_Load、CLK_{FC_QZ}、CLK_{FC_SUM}：频率信号

CLK_{FC_CNT}：量化频率信号

CLK_FCE：脉冲信号

CM_E、CMo：中央电容

CMP：比较器

CMP_EN,MODE：模式信号

CNT_FC：脉冲数目

CSEL_FC：选择信号

COL_FC：全连接选择信号

C_R：积分电容

DFF、FF1～FF9：触发器

FCE：全连接元件信号

I_B、I：电流

I_P：正权重相关电流

I_N：负权重相关电流

INT、MCN、MCP、MRD、MRST、SCI_E、SCI_O、SCI_RST、SUB_E、SUB_O：开关

MP0～MP20：或门

MUX：复用器

ph：光电流

PD：光传感器

PIX_RST：复位信号线

PW、PW_MP：脉宽调制信号

P：滤波器权重

RAMP1、RAMP2：斜坡产生器

RAMP_E、RAMP_O、SUB_E、SUB_O：信号

RSEL、RSELB：选择信号线

QZ0～QZ20：与门

S₁～S₄：权重开关

SIGN、SIGN_FC：符号位信号

SPA(0,0)、SPA(0,1)、SPA(10,0)、SPA(1,1)：像素群组

SUB：减信号

VB、V_PD、V_PW：电压

VIN、VIP：输入端

VP_E、V_P：正积分电压

VN_E、V_N：负积分电压

VR、V_REF：参考电压

UDC：可逆计数器

W₁、W₂、W₄：权重位信号

ZERO：零位信号

具体实施方式

本公开实施例提出一个可运算执行经训练验证的卷积神经网络，可在单一图像感测芯片中完成图像感测、卷积神经网络运算与人脸或特征判别(如人脸侦测等应用)，另亦可提供原始图像、卷积运算图像的多模式输出。其中，本公开实施例是以脉宽调制(pulsewidth modulation，PWM)像素作为感光元件，于纵向平行电路中执行完整卷积神经网络所需运算，输出人脸或特征判别结果。因此，可解决数据运算需在芯片间传输所造成的帧率下降、功耗上升与判别速度较慢等问题。

图1是根据本公开一实施例所绘示的执行概念的示意图。请参照图1，本实施例透过欲判别的特征图像数据集(dataset)10，如人脸与非人脸图像，对卷积神经网络12进行训练与验证(包括3x3卷积运算、2x2最大池化运算、全连接运算等)，产生卷积运算权重与全连接运算权重，而创建一个客制化卷积神经网络12。此卷积神经网络12的权重及运算可实现于下述的图像传感器，使其可独立进行图像拍摄与人脸特征判别。

图2是根据本公开一实施例所绘示的整合卷积神经网络运算的图像传感器的架构图。请参照图2，本实施例的图像传感器20例如是将图像感测、卷积神经网络运算及特征判别整合在单一图像感测芯片上，其中主要包含脉宽调制像素数组(以下简称像素数组)21、纵向平行传感器内运算电路22及周边控制电路(包括数字控制电路23、行控制电路24、列选择电路25、卷积运算权重暂存与处理电路26、全连接运算权重暂存与处理电路27等)。其中，像素数组21例如具有128×128像素，负责感测环境图像并撷取光信号、传感器内运算电路22则可实现一个完整的卷积神经网络，其中例如包含步长(stride)为3的3x3模拟卷积运算电路(以下简称卷积运算电路)221、执行线性整流的激活函数(ReLU)运算电路222、步长为2的2x2最大池化运算电路(即，比较电路)223、模数转换器电路224与数字全连接运算电路(即，分类电路)225。

图3是根据本公开一实施例所绘示的图像传感器20在不同模式下的操作流程图。请参照图3，像素数组21输出的像素数组数据经A流程(包括步骤A1)经过模拟数字换器电路224输出一般图像。B流程(包括步骤B1、B2)经模拟卷积运算电路221与模数转换器电路224输出卷积运算图像。C流程(包括步骤C1、C2、C3、C4)可完成一个完整卷积神经网络，而输出人脸或特征判别的运算结果。

在一实施例中，图像传感器20主要包括像素数组21、卷积运算电路221、最大池化运算电路223及全连接运算电路224。其中，像素数组21包括区分为多个像素群组的多个像素，各个像素转换所接收的光信号为第一脉宽调制信号。卷积运算电路221根据每一个像素群组中各个像素的第一脉宽调制信号控制对应的权重电流的开启时间，并将多个像素的权重电流累积为积分电流。其中，所述权重电流的数值对应于经训练卷积神经网络中卷积层节点的权重。最大池化运算电路223将积分电流转换为第二脉宽调制信号，并与相邻的像素群组的第二脉宽调制信号进行比较，从而输出数值较大的第二脉宽调制信号。全连接运算电路225根据各个像素群组在经训练卷积神经网络中所对应的全连接层节点的权重，将像素群组的第二脉宽调制信号量化为多个量化值其中之一，累计所有像素群组的量化值为特征值并与特征阈值比较以获得分类结果。其中，各个像素群组中的像素的数目例如是依据经训练卷积神经网络所使用的内核(kernel)的大小来决定，例如为3×3，但不限于此。对于图像传感器20中的像素数组21、卷积运算电路221、最大池化运算电路223及全连接运算电路224，以下将各举实施例详细说明。

在一实施例中，像素数组21中每个像素的电路例如包括光传感器、像素内比较器、像素复位开关及输出选择开关。举例来说，图4是根据本公开一实施例所绘示的像素电路的电路图。请参照图4，像素电路40包括光传感器PD、像素内比较器(包括开关MCP和MCN)、输出选择开关MRD及像素复位开关MRST。其中，光传感器例如是光电二极管(photodiode)。开关MCP具有连接参考电压VR的控制端，以及连接选择信号线RSEL的第一端。开关MCN具有连接开关MCP的第二端的第一端，连接光传感器PD的第一端及接地端的第二端，以及连接光传感器PD的第二端的控制端。在曝光阶段，电压VPD的值是经由光电二极管PD所感测到的光电流ph从初始电压VPD<RST>开始放电。在经过一段曝光时间后，电压VPD的值是由像素内比较器基于斜坡参考电压(ramping reference voltage)使用脉宽调制转换来选择的读出值。像素复位开关MRST具有连接复位信号线PIX_RST的控制端、连接光传感器PD的第二端的第一端，以及连接开关MCP的第二端及开关MCN的第一端的第二端，且经配置以根据复位信号线PIX_RST的复位信号选择性地导通第一端及第二端。输出选择开关MRD具有连接开关MCP的第二端及开关MCN的第一端的控制端、连接选择信号线RSELB的第一端，以及连接信号输出线的第二端，经配置以输出自光信号转换的脉宽调制信号PW<m>。针对同一列(例如Col<n>)的行方向上的三个像素，本实施例一次可输出三个脉宽调制信号PW<m-1>、PW<m>、PW<m+1>。

在一实施例中，卷积运算电路221包括对应于像素群组的多列像素的多个列卷积运算电路。以大小为3×3像素的像素群组为例，卷积运算电路221包括分别对应于其中3列像素的3个列卷积运算电路。各个列卷积运算电路包括多个符号位逻辑、多个开关电流积分(switch-current integration，SCI)单元及积分电路。

符号位元逻辑分别接收像素的第一脉宽调制信号，并根据对应于各像素的权重相关信号中的符号位信号及零位信号，选通(gate)第一脉宽调制信号。

详细而言，图像传感器20开始运作时，例如会将由5位信号(包括W₁、W₂、W₄、SIGN、ZERO)表示的3×3内核的9个权重，在9个频率周期内加载缓存器。而在开关电流积分运作期间，图像传感器20即会应用其中的3位信号(W₁、W₂、W₄)来将数组共享的电流数模转换器(DAC)控制在正确的电流水平，并将另外2位(SIGN、ZERO)用于符号位逻辑。其中，符号位逻辑例如会在零位信号(ZERO)为1时，输出选通第一脉宽调制信号的信号，并在零位信号为0时，输出不选通第一脉宽调制信号的信号。此外，符号位逻辑例如会在符号位信号(SIGN)为1时，输出选通为加(ADD)的信号，并在符号位信号为0时，输出选通为减(SUB)的信号。

开关电流积分单元分别接收经符号位逻辑选通的第一脉宽调制信号，并根据对应于各个像素的权重相关信号中的权重位信号，控制对应于该像素的权重电流的开启时间。

积分电路包括至少一个积分电容，用以累积由所有开关电流积分单元输出的权重电流以产生积分电压。

在一实施例中，各个开关电流积分单元还包括正开关及负开关。其中当所接收的权重相关信号中的符号位信号为正值时，开关电流积分单元将会关闭负开关并开启正开关以经由正开关输出权重电流；当所接收的权重相关信号中的符号位信号为负值时，开关电流积分单元则会关闭正开关并开启负开关以经由负开关输出权重电流。此外，上述的积分电路包括第一侧电路及第二侧电路，其中的第一侧电路包括第一积分电容，用以累积由所有正开关输出的权重电流以产生正积分电压，而第二侧电路包括第二积分电容，用以累积由所有负开关输出的权重电流以产生负积分电压。

举例来说，图5是根据本公开一实施例所绘示的卷积运算电路和最大池化运算电路的电路图。请参照图5，本实施例包括卷积运算电路50和最大池化运算电路60。左侧绘示3×3像素群组中各像素对应的滤波器权重P<x>，由左上至右下依序为P<1>～P<9>，其可区分为零位信号ZERO<1:9>、符号位信号SIGN<1:9>及权重位信号W_1,2,4<1:9>，其中零位信号ZERO<1:9>及符号位信号SIGN<1:9>分别输入右侧卷积运算电路52的三个列卷积运算电路COL<n-1>～COL<n+1>中的符号位逻辑；权重位信号W_1,2,4<1:9>则经由9组电流数模转换器(IDAC)74转换为电压信号VB<1:9>，而分别输入右侧卷积运算电路52的三个列卷积运算电路COL<n-1>～COL<n+1>中的开关电流积分(SCI)单元。

详细而言，图6是根据本公开一实施例所绘示的权重产生电路的电路图。请参照图6，本实施例的权重产生电路70包括9个5位的触发器FF1～FF9、缓冲器72以及多个电流数模转换器(IDAC)74。

触发器FF1～FF9依序串接，其中的第一触发器FF1的输入端接收权重相关信号(包括SIGN、ZERO、W₁、W₂、W₄)，其他触发器FF1～FF8的输入端则连接所串接的前一个触发器的输出端。触发器FF1～FF9的频率输入端接收频率信号CLK_Load。

缓冲器72暂存触发器FF1～FF9输出的权重相关信号中的零位信号ZERO<1:9>、符号位信号SIGN<1:9>及权重位信号W_1,2,4<1:9>。9组电流数模转换器(IDAC)74分别接收缓冲器72暂存的像素的权重位元信号W_1,2,4<1:9>。其中，各电流数模转换器包括多个权重开关S₁～S₄及总和开关A₁。权重开关S₁～S₄具有彼此连接的第一端及彼此连接且接地的第二端，其中权重开关S₁～S₄的面积具有预设比例(例如图6中所示的1:1:2:4)，使得权重开关S₁～S₄在控制端根据权重位信号W_1,2,4<1:9>开启时，导通具有该预设比例的电流(例如图6中所示的I_B、I_B、2×I_B、4×I_B)。总和开关A₁具有连接供应电压的第一端以及连接权重开关S₁～S₄的第一端的第二端及控制端，其中控制端的电压VB<1:9>对应于流经权重开关S₁～S₄的权重电流(I_B、I_B、2*I_B、4*I_B)的总和。

本实施例的卷积运算电路在执行卷积运算时，通过同时开启三行(<m-1>、<m>、<m+1>)来选择3×3像素子数组，以输出相邻列(<n-1>、<n>、<n+1>)的9个像素值。此9个像素的输出将以9个权重电流相乘，并积分在积分电容CM_E，以完成卷积(MAC)运算。

以第<n>列的列卷积运算电路为例，当符号位信号SIGN<m>＝1或0时，来自三个选定行的三个信号相关脉冲(PW<m>)首先由3组符号位逻辑52根据正/负权重选通(gated)为加(ADD<m>)/减(SUB<m>)信号。同时，在开关电流积分单元54中，由电压VB<m>偏置的权重电流I_P<m>/I_N<m>被开启，并在积分电容CM_E的左右两侧累积为该列COL<n>的积分电流I_P<n>/I_N<n>。

在积分电容CM_E上的累积电荷是由时间域的加(ADD<m>)/减(SUB<m>)信号及权重电流来决定。通过同时开启相邻两列(COL<n-1>和COL<n+1>)的列卷积运算电路，正权重相关电流(I_P<n-1>、I_P<n>、I_P<n+1>)和负权重相关电流(I_N<n-1>、I_N<n>、I_N<n+1>)分别被相加为I_P和I_N，并分别积分在积分电容CM_E的两侧，从而实现3×3像素子数组及3×3内核的MAC运算。

经过使用SCI的MAC运算之后，在积分电容CM的两侧的积分电压V_P和V_N可分别表示模拟卷积的正负结果。在一实施例中，最大池化运算电路利用电压比较器比较所述正积分电压及负积分电压以输出卷积结果，并使用判断逻辑(judging logic，JG)检视卷积结果的信号极性(POL)，即检视是否正积分电压V_P大于负积分电压V_N。其中，判断逻辑在卷积结果为正积分电压大于负积分电压时，可控制积分电路保存正积分电压与负积分电压的电压差，而在卷积结果为正积分电压小于负积分电压时，则可控制积分电路将正积分电压与负积分电压复位。

此外，最大池化运算电路还包括连接积分电路的第一侧电路的第一斜坡电路及连接积分电路的第二侧电路的第二斜坡电路。

举例来说，当信号极性＝1(即，V_P>V_N)时，负积分电压V_N将由信号SUB控制，连接至积分起始电压V_REF，而正积分电压V_P将同时向下位移V_N电压量，完成正负积分电压相减动作(V_P-V_N)。另一方面，为了实现激活函数(ReLU)运算，若输入为负值(即，V_P-V_N<0)，正负积分电压V_N与V_P将由信号SUB控制，同时连接至积分起始电压V_REF，复位正负积分电压结果。

使用上述的架构，ReLU函数可简单地通过依据信号极性只将正卷积结果量化并忽略负卷积结果来实现。

举例来说，图7是根据本公开一实施例所绘示的最大池化运算的示意图。图8A至图8F是根据本公开一实施例所绘示的最大池化运算电路的电路图及对应的时序图。请参照图7，本实施例是以3×3像素为像素群组，说明对相邻4个像素群组SPA(0,0)、SPA(0,1)、SPA(10,0)、SPA(1,1)实施卷积及最大池化运算的过程。

首先，针对偶数行(第0行)的像素群组SPA(0,0)，请同时参照图7及图8A，在经由图5的卷积运算电路50运算之后，其输出的积分电流将通过开关INT而累积于电容C_R，并通过开通开关SCI_E，在中央电容CM_E两侧累积正负积分电压VP_E和VN_E。正负积分电压VP_E和VN_E分别输入比较器CMP的输入端VIP和VIN，而经由比较器CMP判断VP_E>VN_E。请参考图8B，此时判断逻辑62、64根据比较器CMP的判断结果，输出信号SUB_E，以控制连接于参考电压V_REF的开关SUB_E导通，而在中央电容CM_E的左侧保存完整的卷积运算结果。

接着，针对奇数行(第1行)的像素群组SPA(1,0)，请同时参照图7及图8C，在经由图5的卷积运算电路50运算之后，其输出的积分电流将通过开关INT而累积于电容C_R，并通过开通开关SCI_O，在中央电容CM_O两侧累积正负积分电压VP_O和VN_O。正负积分电压VP_O和VN_O分别输入比较器CMP的输入端VIP和VIN，而经由比较器CMP判断VP_E<VN_E。请参考图8D，此时判断逻辑62、64根据比较器CMP的判断结果，输出信号SUB_O，以控制连接于参考电压V_REF的两侧开关SUB_O导通，而将正负积分电压VP_O和VN_O同时复位至积分起始点，此代表完整卷积运算结果可视为0。

然后，进行最大池化运算，请同时参照图7及图8E，在此模式中，开关INT断开停止接收积分电流，而判断逻辑62、64根据比较器CMP的判断结果，输出信号SUB_E及RAMP_E，以针对中央电容CM_E控制连接于参考电压V_REF的右侧开关SUB_E导通，并控制连接于斜坡产生器RAMP1的左侧开关RAMP_E导通，使得累积于中央电容CM_E左侧的积分电压VP_E输入比较器CMP的输入端VIP。另一方面，判断逻辑62、64还根据比较器CMP的判断结果，输出信号SUB_O及RAMP_O，以针对中央电容CM_O控制连接于参考电压V_REF的左侧及右侧开关SUB_O导通，而将累积于中央电容CM_O左侧的积分电压VP_O复位并入比较器CMP的输入端VIN。

请同时参照图7及图8F，比较器CMP将比较输入端VIP、VIN的电压，而输出脉宽调制信号PW_MP<j>。其中，针对偶数行(第0行)的像素群组SPA(0,0)执行卷积及ReLU运算的结果为0.7，而针对奇数行(第1行)的像素群组SPA(1,0)执行卷积及ReLU运算的结果为0，因此经由比较器CMP输出的脉宽调制信号PW_MP<j>为0.7。另一方面，针对偶数行(第0行)的在行方向上相邻的像素群组SPA(0,1)执行卷积及ReLU运算的结果为0，而针对奇数行(第1行)的在行方向上相邻的像素群组SPA(1,1)执行卷积及ReLU运算的结果为0.2，因此经由比较器CMP输出的脉宽调制信号PW_MP<j+1>为0.2。两个脉宽调制信号PW_MP<j>和PW_MP<j+1>可经由或门取脉宽较长的脉宽调制信号输出，而获得最大池化结果(0.7)。

详细而言，比较电路例如包括或门，用以取行方向上相邻的像素群组的第二脉宽调制信号中脉宽最长的第二脉宽调制信号，而输出至分类电路。

在一实施例中，分类电路包括多个列分类电路、可逆计数器(up-down counter)及特征比较器。其中，各个列分类电路对应于像素群组中在行方向上相邻的两个像素群组中的多列像素，其中包括与门、量化计数器及译码器。与门输入全连接层节点的权重相关信号中的零位信号、比较电路输出的第二脉宽调制信号及频率信号，并输出非零且位在第二脉宽调制信号的脉宽内的量化频率信号。量化计数器用以计算量化频率信号中的脉冲数目。译码器则用以将脉冲数目解碼为量化值。可逆计数器则根据全连接层节点的权重相关信号中的符号位信号，累计所有列分类电路输出的量化值来作为特征值。特征值比较器则会将所计算的特征值与特征阈值比较，以获得分类结果。

举例来说，图9A及图9B分别是根据本公开一实施例所绘示的比较电路与分类电路的电路图及时序图。请参照图9A，本实施例的比较电路包括或门MP0～MP20。以或门MP0为例，其可接收行方向上相邻像素群组的第二脉宽调制信号PW_MP<0>、PW_MP<1>。请同时参照图9A及图9B，在滤波器#1处理时间内，或门MP0例如是取脉宽调制信号PW_MP<0>、PW_MP<1>中脉宽最长的脉宽调制信号输出为脉宽调制信号PW_FC<0>。同理，或门MP1例如是取脉宽调制信号PW_MP<2>、PW_MP<3>中脉宽最长的脉宽调制信号输出为脉宽调制信号PW_FC<1>。

另一方面，本实施例的分类电路包括多个列分类电路，各个列分类电路对应于行方向上相邻的两个像素群组中的多列像素。其中，每个列分类电路具有6列间距且包括与门、量化计数器及译码器。

以第1个列分类电路为例，与门QZ0将接收全连接层节点的权重相关信号中的零位信号ZERO_FC<0>、最大池化运算电路的或门MP0输出的脉宽调制信号PW_FC<0>及频率信号CLK_{FC_QZ}的输入，并输出非零且位在脉宽调制信号PW_FC<0>的脉宽内的量化频率信号CLK_{FC_CNT}<0>至量化计数器92。

在一实施例中，量化计数器92例如包括3位计数器及锁存器，其是利用3位记录脉冲数目。在第1个列分类电路中，量化计数器92会计算量化频率信号CLK_{FC_CNT}<0>中的脉冲数目CNT_FC<0>。请同时参照图9A及图9B，在本实施例中，与门QZ0所接收的零位信号ZERO_FC<0>＝0，因此输出量化频率信号CLK_{FC_CNT}<0>为0，量化计数器92所计算的脉冲数目CNT_FC<0>为3位的[000]。另一方面，与门QZ1所接收的零位信号ZERO_FC<0>＝1，因此输出非零且位在脉宽调制信号PW_FC<1>的脉宽内的量化频率信号CLK_{FC_CNT}<1>(包括3个脉冲)，量化计数器92所计算的脉冲数目CNT_FC<0>为3位的[011]。

接着，译码器94将量化计数器92计算的脉冲数目CNT_FC<0>解碼为量化值B2T_FC<0>。在一实施例中，译码器94例如是二位温度计(binary-to-thermometer)译码器，用以将3位的脉冲数目转码为4位的量化值。此量化值的4个位将经由复用器MUX输入串接的4个触发器DFF，并经由开关(由选择信号CSEL_FC控制)的切换，依序输入与门AN，以通过频率信号CLK_{FC_SUM}转换为脉冲信号CLK_FCE，最终送入可逆计数器UDC进行计数。在本实施例中，可逆计数器UDC例如是15位的可进行上数及下数的计数器，但不限于此。

可逆计数器UDC除了接收由列分类电路依序输出的量化值(转换为脉冲信号CLK_FCE)外，还接收全连接层节点的权重相关信号中的符号位信号SIGN_FC，以根据符号位信号SIGN_FC的正负值将所有列分类电路输出的量化值累计为特征值。其中，若符号位信号SIGN_FC为正，则可逆计数器UDC将使用量化值对累计的特征值进行上数，若符号位信号SIGN_FC为负，则可逆计数器UDC则使用量化值对累计的特征值进行下数，最终获得整合所有列分类电路输出的量化值的特征值。

请同时参照图9A及图9B，在滤波器#2处理时间内，由列全连接选择信号COL_FC<0:20>依序开启触发器DFF的输出开关，以输出全连接元件信号FCE<0:20>，再经由与门AN使用频率信号CLK_{FC_SUM}转换为脉冲信号CLK_FCE后送入可逆计数器UDC以根据符号位信号SIGN_FC进行上数及下数。其中，在脉冲信号CLK_FCE中，对应于第2个列分类电路的频率包括3个脉冲且符号位信号SIGN_FC为正，因此可逆计数器UDC将对特征值进行上数3(即，+3)；对应于第3个列分类电路的频率包括2个脉冲且符号位信号SIGN_FC为负，因此可逆计数器UDC将对特征值进行下数2(即，-2)，以此类推，最终可逆计数器UDC即可输出整合所有列分类电路输出的量化值的特征值。

综上所述，本公开实施例的整合卷积神经网络运算的图像传感器是以脉冲宽度调制像素作为感光元件，于纵向平行电路中执行完整卷积神经网络所需运算，直接输出人脸或特征判别结果，从而解决数据运算需在芯片间传输所造成的帧率下降、功耗上升与判别速度较慢的问题。

然本公开已以实施例揭示如上，然其并非用以限定本公开，任何本领域技术人员，在不脱离本公开的精神和范围内，当可作些许的更动与润饰，因此本公开的保护范围当视后附的权利要求及其均等范围所界定的为准。

Claims (10)

1.一种整合卷积神经网络运算的图像传感器，包括：

像素数组，包括区分为多个像素群组的多个像素，各所述像素转换所接收的光信号为第一脉宽调制信号；

卷积运算电路，根据每一所述像素群组中各所述像素的所述第一脉宽调制信号控制对应的一权重电流的开启时间，并累积所述多个像素的所述权重电流为积分电流，其中所述权重电流的数值对应于经训练卷积神经网络中卷积层节点的权重；

比较电路，转换所述积分电流为第二脉宽调制信号，并比较行方向上相邻的所述像素群组的所述第二脉宽调制信号，输出数值较大的所述第二脉宽调制信号；以及

分类电路，根据各所述像素群组在所述经训练卷积神经网络中所对应的全连接层节点的权重，将所述像素群组的所述第二脉宽调制信号量化为多个量化值其中之一，累计所有所述像素群组的所述量化值为特征值并与特征阈值比较以获得分类结果。

2.根据权利要求1所述的图像传感器，其中各所述像素包括：

光传感器；

像素内比较器，包括第一开关及第二开关，其中

所述第一开关具有连接参考电压的控制端，以及连接选择信号线的第一端，

所述第二开关具有连接所述第一开关的第二端的第一端，连接所述光传感器的第一端及接地端的第二端，以及连接所述光传感器的第二端的控制端；

像素复位开关，具有连接复位信号线的控制端、连接所述光传感器的第二端的第一端，以及连接所述第一开关的第二端及所述第二开关的第一端的第二端，经配置以根据所述复位信号线的复位信号选择性地导通所述第一端及所述第二端；以及

输出选择开关，具有连接所述第一开关的第二端及所述第二开关的第一端的控制端、连接第二选择信号线的第一端，以及连接信号输出线的第二端，经配置以输出自所述光信号转换的所述第一脉宽调制信号。

3.根据权利要求1所述的图像传感器，其中所述卷积运算电路包括对应于所述像素群组的多列像素的多个列卷积运算电路，各所述列卷积运算电路包括：

多个符号位逻辑，分别接收所述像素的所述第一脉宽调制信号，并根据对应于各所述像素的权重相关信号中的符号位信号及零位信号，选通所述第一脉宽调制信号；

多个开关电流积分单元，分别接收经所述符号位逻辑选通的所述第一脉宽调制信号，并根据对应于各所述像素的所述权重相关信号中的权重位信号，控制对应于该像素的所述权重电流的所述开启时间；以及

积分电路，包括至少一积分电容，累积由所有的所述开关电流积分单元输出的所述权重电流以产生积分电压。

4.根据权利要求3所述的图像传感器，其中所述卷积运算电路还包括：

权重产生电路，包括：

依序串接的多个触发器，其中所述触发器中的第一触发器的输入端接收所述权重相关信号，所述触发器中的其他触发器的输入端连接所串接的前一所述触发器的输出端；

缓冲器，暂存所述触发器输出的所述权重相关信号的多个零位信号、多个符号位信号及多个权重位信号；以及

多个电流数模转换器，分别接收所述缓冲器暂存的所述像素的所述权重位信号，各所述电流数模转换器包括：

多个权重开关，具有彼此连接的第一端及彼此连接且接地的第二端，其中所述权重开关的面积具有预设比例，使得所述权重开关在控制端根据所述权重位信号开启时，导通具有所述预设比例的电流；以及

总和开关，具有连接供应电压的第一端以及连接所述权重开关的所述第一端的第二端及控制端，其中所述控制端的电压对应于流经所述权重开关的所述权重电流的总和。

5.根据权利要求3所述的图像传感器，其中

各所述开关电流积分单元还包括正开关及负开关，其中

当所接收的所述权重相关信号中的所述符号位信号为正值时，关闭所述负开关并开启所述正开关以经由所述正开关输出所述权重电流，以及

当所接收的所述权重相关信号中的所述符号位信号为负值时，关闭所述正开关并开启所述负开关以经由所述负开关输出所述权重电流；以及

所述积分电路包括第一侧电路及第二侧电路，其中

所述第一侧电路包括第一积分电容，用以累积由所有的所述正开关输出的所述权重电流以产生正积分电压，以及

所述第二侧电路包括第二积分电容，用以累积由所有的所述负开关输出的所述权重电流以产生负积分电压。

6.根据权利要求5所述的图像传感器，其中所述比较电路包括：

电压比较器，比较所述正积分电压及所述负积分电压以输出卷积结果；以及

判断逻辑，检视所述卷积结果的信号极性，在所述卷积结果为所述正积分电压大于所述负积分电压时，控制所述积分电路保存所述正积分电压与所述负积分电压的电压差，以及在所述卷积结果为所述正积分电压小于所述负积分电压时，控制所述积分电路复位所述正积分电压与所述负积分。

7.根据权利要求6所述的图像传感器，其中所述比较电路还包括：

第一斜坡电路，连接所述积分电路的所述第一侧电路；以及

第二斜坡电路，连接所述积分电路的所述第二侧电路，其中

所述判断逻辑在判断所述卷积结果为所述正积分电压大于所述负积分电压时，利用参考电压复位所述负积分电压，并控制所述第一斜坡电路将所述正积分电压向下位移数值等同于所述负积分电压的电压量，以保存所述正积分电压与所述负积分电压的电压差，且

所述判断逻辑在判断所述卷积结果为所述正积分电压小于所述负积分电压时，退出所述第一斜坡电路及所述第二斜坡电路，并利用参考电压复位所述正积分电压与所述负积分电压。

8.根据权利要求1所述的图像传感器，其中所述比较电路包括：

或门，取行方向上相邻的所述像素群组的所述第二脉宽调制信号中脉宽最长的所述第二脉宽调制信号输出。

9.根据权利要求1所述的图像传感器，其中所述分类电路包括：

多个列分类电路，各所述列分类电路对应于所述像素群组中在行方向上相邻的两个像素群组中的多列像素，其中包括：

与门，输入所述全连接层节点的权重相关信号中的零位信号、所述比较电路输出的所述第二脉宽调制信号及频率信号，输出非零且位在所述第二脉宽调制信号的脉宽内的量化频率信号；

量化计数器，计算所述量化频率信号中的脉冲数目；以及

译码器，解碼所述脉冲数目为量化值；

可逆计数器，根据所述全连接层节点的权重相关信号中的符号位信号，累计所有的所述列分类电路输出的所述量化值作为所述特征值；以及

特征值比较器，比较所述特征值及所述特征阈值，以获得所述分类结果。

10.根据权利要求1所述的图像传感器，其中各所述像素群组中的所述像素的数目是依据所述经训练卷积神经网络的内核的大小来决定。

Images