CN111901541B - 一种直接光电流计算单元电路 - Google Patents

一种直接光电流计算单元电路 Download PDF

Info

Publication number
CN111901541B
CN111901541B CN202010676560.4A CN202010676560A CN111901541B CN 111901541 B CN111901541 B CN 111901541B CN 202010676560 A CN202010676560 A CN 202010676560A CN 111901541 B CN111901541 B CN 111901541B
Authority
CN
China
Prior art keywords
calculation unit
switch
weight
direct photocurrent
calculation
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010676560.4A
Other languages
English (en)
Other versions
CN111901541A (zh
Inventor
许晗
乔飞
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tsinghua University
Original Assignee
Tsinghua University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tsinghua University filed Critical Tsinghua University
Priority to CN202010676560.4A priority Critical patent/CN111901541B/zh
Publication of CN111901541A publication Critical patent/CN111901541A/zh
Application granted granted Critical
Publication of CN111901541B publication Critical patent/CN111901541B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/06—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons
    • G06N3/063—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons using electronic means
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H04N23/54—Mounting of pick-up tubes, electronic image sensors, deviation or focusing coils
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/73—Circuitry for compensating brightness variation in the scene by influencing the exposure time
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/50—Control of the SSIS exposure

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Theoretical Computer Science (AREA)
  • Computational Linguistics (AREA)
  • Artificial Intelligence (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Neurology (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)

Abstract

本发明实施例提供一种直接光电流计算单元电路，该单元电路实现卷积核内乘累加计算，包括：权重寄存器、第一预充电开关、第二预充电开关、第一权重控制开关、第二权重控制开关、第三权重控制开关、第四权重控制开关、光电二极管、电容、比较器和输出电路，权重寄存器用于接收输入的目标权重，并根据目标权重输出相应的信号，以控制预充电开关的状态；第一预充电开关和第二预充电开关通过预充电信号确定状态；光电二极管将光电效应产生的电荷传输到节点，以产生电压降；比较器根据电压差输出目标卷积核内乘累加的计算结果。利用光电流在模拟域直接进行二值化CNN的第一层卷积运算，避免了模拟数据的转换、存储和移动，降低了功耗。

Description

一种直接光电流计算单元电路
技术领域
本发明涉及微电子技术领域，尤其涉及一种直接光电流计算单元电路。
背景技术
在物联网(IoT)时代，智能设备将分布在各个地方，实现与用户的无缝交互。为了不遗漏任何关键事件，一些用于智能视觉应用的设备需要以始终打开的模式工作，例如处于监视目的针对特定对象的检测和识别。然而，这种连续感知需求巨大的能量开销，这对于大多数电池驱动的设备非常不利。
最近，许多研究工作中提出了在终端设备上部署始终在线的视觉处理算法的各种解决方案。在算法层面，提出了一种二值化神经网络(BNN)，通过将神经网络中的权值和激活值量化为+1和-1来减少存储和计算的负担。在系统级，分级处理是一种很有前途的方法，用于常开的应用程序。也就是说，低精度、低功耗的算法运行在长时间开启的模式下，当检测到感兴趣的对象时，处理器将切换到高精度、大功率模式。在电路级，传感器内处理架构将CMOS图像传感器(CIS)和模拟处理器集成到一个芯片中，用来完成预处理和低吞吐量的特征提取工作，以此来节省大量的ADC功耗和片外数据传输功耗。
以传统的面部识别系统举例，它主要通过3个步骤识别人脸：(1)外部成像仪通过模数转换器(ADC)将图像传输到数字域；(2)人脸检测处理器从整个图像中获取感兴趣的人脸区域；(3)最后通过面部识别处理器获得识别结果。
传统系统的问题就在于需要将图像从模拟域转换并传输到数字域，然后再进行处理，在全精度图像数据的转换和传输过程中，消耗了大量的能量和带宽，进一步增加了常开智能设备的能量开销和使用时间。
发明内容
为了解决上述问题，本发明实施例提供一种直接光电流计算单元电路。
第一方面，本发明实施例提供一种直接光电流计算单元电路，包括：所述直接光电流计算单元电路用于实现目标卷积核内乘累加计算，所述直接光电流计算单元电路包括：权重寄存器、第一预充电开关、第二预充电开关、第一权重控制开关、第二权重控制开关、第三权重控制开关、第四权重控制开关、光电二极管、电容、比较器和输出电路，其中：
所述第一预充电开关的一端与电源端连接，所述第一预充电开关的另一端与所述光电二极管的负极连接，所述光电二极管的正极接地，所述第二预充电开关的一端与所述电源端连接，所述第二预充电开关的另一端与所述电容的一端连接，所述电容的另一端接地；
所述第一权重控制开关的一端与负计算节点连接，所述第一权重控制开关的另一端与所述光电二极管的负极连接，所述第二权重控制开关的一端与所述光电二极管的负极连接，所述第二权重控制开关的另一端与正计算节点连接，所述第三权重控制开关的一端与所述负计算节点连接，所述第三权重控制开关的另一端与所述电容的一端连接，所述第四权重控制开关的一端与所述电容的一端连接，所述第四权重控制开关的另一端与所述正计算节点连接，所述光电二极管的电容和所述电容的大小相等；
所述比较器的第一输入端与所述正计算节点连接，所述比较器的第二输入端与所述负计算节点连接，所述比较器的使能端由比较使能信号控制；
所述第一预充电开关和所述第二预充电开关均由预充电信号控制，所述第一权重控制开关和所述第四权重控制开关由所述权重寄存器的正输出端的输出信号控制，所述第二权重控制开关和所述第三权重控制开关由所述权重寄存器的负输出端的输出信号控制；
所述权重寄存器用于接收输入的目标权重，并根据所述目标权重输出相应的信号，以控制所述第一预充电开关、所述第二预充电开关、所述第三预充电开关和所述第四预充电开关的断开或闭合；
所述第一预充电开关和所述第二预充电开关通过所述预充电信号确定断开或闭合状态；
所述光电二极管将光电效应产生的电荷传输到所述正计算节点或所述负计算节点，以使得在所述正计算节点产生第一电压降和所述负计算节点产生第二电压降；
所述比较器根据电压差输出目标卷积核内乘累加的计算结果，所述电压差为所述第一电压降和所述第二电压降之间的差值；
所述输出电路的一端与所述负计算节点连接，用于输出所述目标卷积核内乘累加的计算结果。
优选地，所述预充电信号为周期性信号，所述周期性信号分为由第一阶段、第二阶段、第三阶段和第四阶段，所述预充电信号在所述第一阶段的取值为0，所述预充电信号在所述第二阶段、所述第三阶段和所述第四阶段的取值为1，所述第二阶段的时长为预设曝光时长。
优选地，所述比较使能信号为周期信号，且所述比较使能信号与所述预充电信号的周期相同，所述比较使能信号在所述第一阶段、所述第二阶段和所述第四阶段的取值为0，所述比较使能信号在所述第三阶段的取值为1。
优选地，所述第一电压降和所述第二电压降的计算公式如下：
Figure BDA0002584257830000031
Figure BDA0002584257830000032
其中，ΔV+表示所述第一电压降，ΔV-表示所述第二电压降，Texp表示所述预设曝光时长，Qi表示第i个单元存储的权值，CL表示所述正计算节点上电容的大小，Iph,i表示第i个单元内光电二极管流过的电流值。
优选地，所述正计算节点和所述负计算节点上的电容相等，所述正计算节点上的电容计算公式如下：
CL＝N×CPD，
其中，N表示所述目标卷积核内直接光电流计算单元电路的个数，CPD表示所述光电二极管电容的大小。
第二方面，本发明实施例提供一种卷积计算电路，包括：
M×N个第一方面提供的一种直接光电流计算单元电路，所有的直接光电流计算单元电路按照M行N列的方式排列，每一直接光电流计算单元电路的正计算节点相连，每一直接光电流计算单元电路的负计算节点相连；
所述卷积计算电路用于根据每一直接光电流计算单元电路的乘累加结果，计算出所述目标卷积核的运算结果，其中，Wk和Hk表示所述目标卷积核的大小，且Wk≤M，Hk≤N。
优选地，所述每一直接光电流计算单元电路的正计算节点相连，每一直接光电流计算单元电路的负计算节点相连，具体为：
对于任一行或任一列中的任一直接光电流计算单元电路，所述任一直接光电流计算单元电路的正计算节点通过组合开关与相邻直接光电流计算单元电路的正计算节点连接，所述任一直接光电流计算单元电路的负计算节点通过组合开关与所述相邻直接光电流计算单元电路的负计算节点连接。
优选地，还包括M个行寄存器和N个列寄存器，M个行寄存器循环连接，N个列寄存器循环连接，其中：每一行寄存器用于控制位于同一行的所有组合开关，每一列寄存器用于控制位于同一列的所有组合开关；
若任意两个相邻的直接光电流计算单元电路被同一个卷积核覆盖，所述任意两个相邻的直接光电流计算单元电路之间的组合开关为闭合，否则所述任意两个相邻的直接光电流计算单元电路之间的组合开关为断开。
优选地，还包括：M个行寄存器由SCSV信号进行控制，N个列寄存器由SCSH信号进行控制，SCSV信号和SCSH信号由两个不同的时钟触发。
优选地，还包括：对于位于同一行的直接光电流计算单元电路，每一直接光电流计算单元电路中的权重寄存器依次相连，最后一个直接光电流计算单元电路的寄存器的输出与该行第一个直接光电流计算单元电路的寄存器的输入连接；
对于位于同一列的直接光电流计算单元电路，每一直接光电流计算单元电路中的权重寄存器依次相连，最后一个直接光电流计算单元电路的寄存器的输出与该列第一个直接光电流计算单元电路的寄存器的输入连接；
通过SCH信号控制所有直接光电流计算单元电路中的权重寄存器进行循环右移或循环下移。
优选地，所述通过SCH信号控制所有直接光电流计算单元电路中的权重寄存器进行循环右移或循环下移，具体包括：
若所述SCH信号的取值为1，每一直接光电流计算单元电路中寄存器的权值向右移动一步；
若所述SCH信号的取值为0，每一直接光电流计算单元电路中寄存器的权值向下移动一步。
本发明实施例提供的一种直接光电流计算单元电路，该直接光电流计算单元电路利用光电流在模拟域直接进行二值化CNN的第一层卷积运算，避免了模拟数据的转换、存储和移动，从而降低了功耗。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的一种直接光电流计算单元电路的结构示意图；
图2为本发明实施例中预充电信号和比较使能信号的时序图；
图3为本发明实施例中直接光电流计算单元的连接结构示意图；
图4为本发明实施例中DPCE的计算节点连接方式示意图；
图5为本发明实施例提供的各直接光电流计算单元的权重寄存器连接方式示意图；
图6为本发明实施例中包含四个卷积核的示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
为了后面描述方便，先对需要使用到的英文缩写进行简单的介绍，如表1所示：
表1
英文缩略语 完整的英文表述/英文标准用语 中文表述/中文术语
CNN Convolutional Neural Network 卷积神经网络
BNN Binary Neural Netwok 二值神经网络
PIS Processing In Sensor 传感器内处理
DPCE Direct Photocurrent Computation Element 直接光电流计算单元
MAC Multiply Accumulate Computation 乘累加计算
针对全精度图像在转换和传输过程中，能量和带宽消耗比较大的问题，传感器内计算(PIS)概念的提出为解决上述问题提供了可行办法，PIS中提出这些智能传感设备应该能够执行信号的初步处理，以减少设备和数据中心的吞吐量，提高用户的低延迟体验。
本发明实施例旨在充分利用图像传感器内部的光电二极管上产生的光电流直接进行计算，提出了一种直接光电流计算单元(DPCE)的电路结构，并使用DPCE构成了能够计算BNN第一层卷积层的图像传感器阵列，以用于进行图像的卷积运算。
某一现有技术提出了一种图像传感器的系统架构，该现有技术公开了一个超低功耗的CNN面部识别处理器和一个集成了常开Haar-Like面部特征检测功能的图像传感器，用于超低功耗的智能可穿戴设备。该系统由两块芯片组成：面部图像传感器(FIS)和CNN处理器。首先，FIS执行常开的成像和Haar-Like特征的面部识别。一旦检测到面部，FIS只会将脸部图像传输到CNN处理器中，然后由CNN处理器完成面部识别。
在该现有技术中，通过将Haar-Like特征识别集成在图像传感器芯片上实现对面部的识别，进而实现对后面的CNN处理器的唤醒。通过这种识别模块前置的方案，显著减少了在相同时间内图像数据向后级处理模块传输的次数，降低了功耗。
该现有技术存在的缺点为：该图像传感器中仍需要将全精度图像传输给后级处理模块，对于后级处理模块被唤醒频率较高的系统仍然会产生大量开销。
又一现有技术提出了图像传感器的系统架构示意图，该图像传感器是2019年刊登在ASSCC上的一项工作，该项工作中提出了一种工作电压0.5V的带有计算功能的CMOS图像传感器，该传感器阵列具有并行计算能力，可用于始终在线的特征提取。设计了一种脉宽调制像素单元和开关电流集成技术，实现了传感器内的8方向矩阵并行乘累加(MAC)操作。此外，模拟域卷积读出(COR)操作、可编程的±3位加权的3×3卷积核和可调的列并行ADC实现了实时特征提取，不需要额外的内存。
另一现有技术中提出了一种像素单元和卷积计算电路，该技术中使用的像素单元为基于脉宽调制(PWM)原理的像素单元，这种像素单元的优势在于可以实现在超低的供电电压下工作，实现功耗的降低；当经过PWM像素单元将光信号转换成模拟域的电流信号之后，并行地传输到图右侧的计算电路中，通过在计算电路中将3×3卷积核中的电流按照正负权值分类并在利用电容进行加减，卷积结束后通过逻辑判断模块对MAC结果进行正负判断，最后输出到ADC中向外传输。
在该发明中，通过特殊的像素单元结构，将卷积计算功能转移到图像传感器中，经过列并行的模拟计算电路在模拟域进行3×3卷积核大小的卷积，然后将卷积结果通过模数转换器输出。不仅减少了后级处理电路的开启时间，还避免了全精度图像的输出，大大降低了常开视觉设备的功耗。
该现有技术存在的缺点为：(1)计算电路与传感器阵列虽然都是在模拟域进行数据传输，但是卷积计算电路的控制较复杂，会造成更多的能量和面积开销。(2)卷积核大小不可配置，对大多数神经网络算法兼容性差。
因此，本发明实施例提出一种直接光电流计算单元电路，为一种新的像素级传感器内计算电路，通过直接光电流计算单元(DPCE)，利用光电流在模拟域直接进行二值化CNN的第一层卷积运算，避免了模拟数据的转换、存储和移动。这意味着视觉传感系统中不可或缺的用于成像功耗可以被用来进行计算，从而降低功耗。
图1为本发明实施例提供的一种直接光电流计算单元电路的结构示意图，如图1所示，所述直接光电流计算单元电路用于实现目标卷积核内乘累加计算，所述直接光电流计算单元电路包括：权重寄存器101、第一预充电开关102、第二预充电开关103、第一权重控制开关104、第二权重控制开关105、第三权重控制开关106、第四权重控制开关107、光电二极管108、电容109、比较器110和输出电路111，其中：
所述第一预充电开关的一端与电源端连接，所述第一预充电开关的另一端与所述光电二极管的负极连接，所述光电二极管的正极接地，所述第二预充电开关的一端与所述电源端连接，所述第二预充电开关的另一端与所述电容的一端连接，所述电容的另一端接地；
所述第一权重控制开关的一端与负计算节点连接，所述第一权重控制开关的另一端与所述光电二极管的负极连接，所述第二权重控制开关的一端与所述光电二极管的负极连接，所述第二权重控制开关的另一端与正计算节点连接，所述第三权重控制开关的一端与所述负计算节点连接，所述第三权重控制开关的另一端与所述电容的一端连接，所述第四权重控制开关的一端与所述电容的一端连接，所述第四权重控制开关的另一端与所述正计算节点连接，所述光电二极管的电容和所述电容的大小相等；
所述比较器的第一输入端与所述正计算节点连接，所述比较器的第二输入端与所述负计算节点连接，所述比较器的使能端由比较使能信号控制；
所述第一预充电开关和所述第二预充电开关均由预充电信号控制，所述第一权重控制开关和所述第四权重控制开关由所述权重寄存器的正输出端的输出信号控制，所述第二权重控制开关和所述第三权重控制开关由所述权重寄存器的负输出端的输出信号控制；
所述权重寄存器用于接收输入的目标权重，并根据所述目标权重输出相应的信号，以控制所述第一预充电开关、所述第二预充电开关、所述第三预充电开关和所述第四预充电开关的断开或闭合；
所述第一预充电开关和所述第二预充电开关通过所述预充电信号确定断开或闭合状态；
所述光电二极管将光电效应产生的电荷传输到所述正计算节点或所述负计算节点，以使得在所述正计算节点产生第一电压降和所述负计算节点产生第二电压降；
所述比较器根据电压差输出目标卷积核内乘累加的计算结果，所述电压差为所述第一电压降和所述第二电压降之间的差值；
所述输出电路111的一端与所述负计算节点连接，用于输出所述目标卷积核内乘累加的计算结果。
本发明实施例提供的直接光电流计算单元简称DPCE，用来实现一个卷积核运算中的乘累加(MAC)计算功能。
具体地，权重寄存器为存放权重的寄存器，本发明实施例中的权重寄存器有一个输入端D，两个输出端Q和QN，其中，Q表示该权重寄存器的正输出端，QN表示该权重寄存器的负输出端，正输出端和负输出端输出的信号相反。
第一权重控制开关、第二权重控制开关、第三权重控制开关和第四权重控制开关的断开或闭合是由权重寄存器的两个输出端控制的，第一权重控制开关和第四权重控制开关是由权重寄存器的正输出端的输出信号控制的，第二权重控制开关和第三权重控制开关是由权重寄存器的负输出端的输出信号控制的，也就是说第一权重控制开关和第四权重控制开关的状态是相同的，第二权重控制开关和第三权重控制开关的开关状态是相同的。
本发明实施例提供的一种直接光电流计算单元电路，其功能是计算二值化的卷积神经网络(CNN)的第一层卷积层的乘累加(MAC)结果，光电二极管和电容的电容大小相等，通过四个由权值控制的开关(第一权重开关、第二权重开关、第三权重开关和第四权重开关)连接到V+和V-线上，V+表示正计算节点，V-表示负计算节点，每个DPCE单元的权值Q存储在权值寄存器(Weight Register)中，BNN算法中的二进制权值+1和-1分别映射为权值寄存器中的逻辑0和逻辑1。
需要说明的是，比较器的使能端是由比较使能信号控制的，第一预充电开关和第二预充电开关的打开或闭合是由预充电信号控制的，比较使能信号和预充电信号都是预先设置好的信号。
在该直接光电流计算单元电路具体工作的过程中，向权重寄存器中输入目标权重值，权重寄存器根据输入的目标权重值会有相应的输出Q和QN，Q和QN是相反的，Q＝1时QN＝0，Q＝0时QN＝1，通过权重寄存器的输出从而控制第一权重控制开关、第二权重控制开关、第三权重控制开关和第四权重控制开关的状态，根据预充电信号控制第一预充电开关和第二预充电开关的开关状态。
光电二极管进行感光，将光转化为光电流，根据电路中每个开关的连接状态，光电二极管将光电效应产生的电荷传输到正计算节点或者负计算节点，从而使得在正计算节点上产生第一电压降，在负计算节点上产生第二电压降，比较器的两端分别与正计算节点、负计算节点两端连接，通过比较第一电压降和第二电压降的大小，输出目标卷积核内乘累加的计算结果。
本发明实施例提出了一种新的像素级计算电路，通过直接光电流计算单元(DPCE)，利用光电流在模拟域直接进行二值化CNN的第一层卷积运算，避免了模拟数据的转换、存储和移动，从而降低了功耗。这意味着视觉传感系统中不可或缺的用于成像的图像传感器可以被用来进行计算。
在上述实施例的基础上，优选地，所述预充电信号为周期性信号，所述周期性信号分为由第一阶段、第二阶段、第三阶段和第四阶段，所述预充电信号在所述第一阶段的取值为0，所述预充电信号在所述第二阶段、所述第三阶段和所述第四阶段的取值为1，所述第二阶段的时长为预设曝光时长。
在上述实施例的基础上，优选地，所述比较使能信号为周期信号，且所述比较使能信号与所述预充电信号的周期相同，所述比较使能信号在所述第一阶段、所述第二阶段和所述第四阶段的取值为0，所述比较使能信号在所述第三阶段的取值为1。
图2为本发明实施例中预充电信号和比较使能信号的时序图，如图2所示，预充电信号和比较使能信号都是周期性信号，并且这两个信号的周期相同，预充电信号的取值为0时，其对应的开关状态为闭合，预充电信号的取值为1时，其对应的开关状态为断开，比较使能信号用于控制比较器，作为比较器的使能信号。
在这两个信号的驱动下，得到电路中正计算节点和负计算节点的电压如图所示。
在上述实施例的基础上，优选地，所述第一电压降和所述第二电压降的计算公式如下：
Figure BDA0002584257830000121
Figure BDA0002584257830000122
其中，ΔV+表示所述第一电压降，ΔV-表示所述第二电压降，Texp表示所述预设曝光时长，Qi表示第i个单元存储的权值，CL表示所述正计算节点上电容的大小，Iph,i表示第i个单元内光电二极管流过的电流值。
所述正计算节点和所述负计算节点上的电容相等，所述正计算节点上的电容计算公式如下：
CL＝N×CPD，
其中，N表示所述目标卷积核内直接光电流计算单元电路的个数，CPD表示所述光电二极管电容的大小。
为了便于说明，本发明实施例中以Q＝1的情况进行说明，在该情况下，第一权重控制开关和第四权重控制开关的状态为断开，第二权重控制开关和第三权重控制开关的状态为闭合，此时，光电二极管108通过开关控制搭载到V+线上，电容109通过开关搭载到V-线上，通过这种方式把光电二极管上通过光电效应产生的电荷传输到V+上。
此外，图3为本发明实施例中直接光电流计算单元的连接结构示意图，如图3所示，为了完成卷积核内进行乘累加(MAC)操作，将一个卷积核内的N个DPCE单元的V+和V-连接到一起，图中为3×3阵列，即N＝9的情况。此时，卷积核内的V+和V-线上的电容相等，大小为CL＝N×CPD，CPD表示光电二极管108的电容，具体的工作流程如下：
在开始计算之前，图中的开关102和103闭合，109和108被预充到VDD，相当于V+和V-线上的电容CL被预充到VDD上。102和103断开，计算开始，V+和V-线上的CL通过光电流I+和I-放电，CL表示光电二极管的电容大小，I+和I-公式如下：
Figure BDA0002584257830000131
Figure BDA0002584257830000132
光电流I+造成了V+线上的电压降，光电流I-造成了V-线上的电压降，经过Texp(预设曝光时间)的曝光时间后，V+和V-线上的电压降公式如下：
Figure BDA0002584257830000133
Figure BDA0002584257830000134
曝光时间Texp结束后，V+和V-两条线上的电压下降大小的差异由中的比较器(Comparator)进行感知，如果ΔV+>ΔV-，则V-线上的电压被拉高至逻辑1，代表卷积核内MAC(乘累加)的结果为-1；若ΔV+<ΔV-，则V-线上的电压被拉低至逻辑0，代表卷积核内MAC的结果为+1。
本发明实施例中所设计的DPCE单元，首先利用光电效应将光电二极管上的光信号转换成电流信号，光电二极管将光信号转化为电流信号后，直接光电流计算单元电路内通过开关控制此电流信号叠加到V+线上或V-线上，所有直接光电流计算单元电路的电流叠加后在曝光时间Texp内共同对V+线和V-线放电产生两个电压降，最后比较器再对这两个电压降进行比较，比较过程实现了二值化。
本发明实施例中所涉及的单元不同于传统视觉系统的基本像素单元只用于成像，然后将图像经过模数转换后传输到数字域进行处理，而是利用了CMOS图像传感器成像时产生的必不可少的光电流进行直接光电流计算的原理，在模拟域直接完成卷积计算，省去了传统视觉分类系统传输模拟图像数据到数字域进行处理造成的能量和带宽开销。
本发明实施例还提供的一种卷积计算电路，该卷积计算电路包括M×N个直接光电流计算单元电路，所有的直接光电流计算单元电路按照M行N列的方式排列，每一直接光电流计算单元电路的正计算节点相连，每一直接光电流计算单元电路的负计算节点相连；
所述卷积计算电路用于根据每一直接光电流计算单元电路的乘累加结果，计算出所述目标卷积核的运算结果，其中，Wk和Hk表示所述目标卷积核的大小，且Wk≤M，Hk≤N。
如图3所示，图3中为M和N相等且均等于3的情况，将其按照M行N列的方式进行排列，并且所有DPCE的正计算节点是连接在一起的，所有DPCE的负计算节点是连接在一起的，该卷积计算电路用来根据每个DPCE的乘累加结果，计算出该目标卷积核的运算结果。
本发明实施例提供的一种卷积计算电路中，卷积核大小可以通过控制DPCE之间的连接实现，从而实现可配置的卷积核大小。
为了实现可配置的卷积核大小这一功能，需要DPCE的连接具备可重构性；而且在焦平面上，所有像素数据的位置都是固定的，为了使一个卷积核可以在焦平面上的任意位置进行卷积运算，DPCE的连接还需要具备权值的可移动性。为了实现该功能，本发明实施例中DPCE之间的连接方式如下：
在上述实施例的基础上，优选地，所述每一直接光电流计算单元电路的正计算节点相连，每一直接光电流计算单元电路的负计算节点相连，具体为：
对于任一行或任一列中的任一直接光电流计算单元电路，所述任一直接光电流计算单元电路的正计算节点通过组合开关与相邻直接光电流计算单元电路的正计算节点连接，所述任一直接光电流计算单元电路的负计算节点通过组合开关与所述相邻直接光电流计算单元电路的负计算节点连接。
图4为本发明实施例中DPCE的计算节点连接方式示意图，图5为本发明实施例提供的各直接光电流计算单元的权重寄存器连接方式示意图，如图4和5所示，对于DPCE的可重构性，本发明实施例中提出了一个可重新配置的DPCE阵列，如图4所示，将每个DPCE单元彼此分离开，并通过两个模拟开关连接两个相邻DPCE单元的V+和V-线。连接横向DPCE的开关由一组开关控制信号SCSV控制，连接纵向DPCE的开关由SCSH信号控制。
同一列的横向开关由同一信号控制，同一行的纵向开关也由同一信号控制。SCSV和SCSH是由两个不同的时钟触发的，并且它们分别以循环的方式连接，允许它们执行独立的循环移位。也就是说每个行寄存器是前后依次连接的，并且第一个行寄存器的输出和最后一个行寄存器的输入连接，每个列寄存器是前后依次连接的，并且第一个列寄存器和最后一个列寄存器连接。只有当这两个DPCE被同一个卷积核覆盖时，才会打开它们之间的开关；否则，相邻DPCE之间的开关将关闭。本发明实施例中将关闭状态下的开关称为边界开关。
核滑动则由另一个开关网络实现，如图5所示。DPCE中的寄存器从左到右、从上到下都连接在一起，同一列/行的最后一个寄存器的输出会连接回到该列/行的第一个寄存器的输入。横向开关和纵向开关由SCH和
Figure BDA0002584257830000151
两种反向信号控制，当SCH＝1时，寄存器阵列可以进行循环向右移位；当SCH＝0时，寄存器阵列可以进行循环向下移位。
当执行Wk×Hk大小的卷积运算时，通过边界开关将焦平面划分为包含Wk×Hk个DPCE的几块，每个块计算一个二进制激活值(MAC的结果)。此外，多个卷积核可以同时映射到焦平面上，并行地进行处理。
图6为本发明实施例中包含四个卷积核的示意图，如图6所示，M×N表示DPCE阵列的大小，Wk×Hk表示卷积核大小，此处，M＝N＝6，Wk＝Hk＝3，一次右移(Rightshift)操作可以控制寄存器阵列使得寄存器权值向右移动一步，同时右移操作还将边界开关向右移动一位，实现DPCE的重新组织，使同一卷积核对不同的位置进行卷积。同理卷积核的下移由寄存器阵列和SCSH的下移来实现。
因此，所有的卷积核都可以到达任何位置，并在焦平面上进行卷积运算，从而实现了卷积核大小可配置的功能。
当一个卷积核穿过图像边缘时，将没有有效的输出。卷积运算比移位运算消耗更多的能量和时间，因此一帧图像的卷积数决定了能量和时间的消耗。
表2
Figure BDA0002584257830000161
为了验证本发明实施例的有效性，将本发明与其它几种方法进行了对比，表2为本发明实施例与现有技术的对比结果，从表2中可以看出，可以看到使用了直接光电流计算单元的阵列能够实现BNN第一层的卷积计算，且卷积核的大小可配置，能耗和能效方面都明显优于同类的工作。
因此，本发明实施例通过组合开关连接DPCE单元的V+和V-线构成DPCE阵列，实现了卷积核大小的可配置。并且通过DPCE中权值寄存器构成的网络，实现了卷积核在焦平面上的移动，实现了同一卷积核对整幅图像的卷积。
综上所述，本发明的关键创新点如下：
(1)、提出了一种新的直接光电流计算单元电路(DPCE)，该电路为像素级传感器内计算架构，利用光电流在模拟域直接进行二值化CNN的第一层卷积运算。
其对应的有益效果为：采取传感器内计算和神经网络结合的方法，利用光电二极管产生的光电流直接在模拟域进行卷积运算，避免了模拟数据的转换、存储和移动，减小了功耗。
(2)、提出了一种卷积计算电路，该电路通过组合开关控制光电流计算单元(DPCE)阵列的V+和V-线的连接，以此来实现卷积过程中的卷积核的可重构性，并且通过DPCE阵列中的寄存器网络进一步实现卷积核在焦平面上的可移动性，以此实现对整幅图像的卷积，在能效和功耗方面都优于其它方法。
以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (11)

1.一种直接光电流计算单元电路，其特征在于，所述直接光电流计算单元电路用于实现目标卷积核内乘累加计算，所述直接光电流计算单元电路包括：权重寄存器、第一预充电开关、第二预充电开关、第一权重控制开关、第二权重控制开关、第三权重控制开关、第四权重控制开关、光电二极管、电容、比较器和输出电路，其中：
所述第一预充电开关的一端与电源端连接，所述第一预充电开关的另一端与所述光电二极管的负极连接，所述光电二极管的正极接地，所述第二预充电开关的一端与所述电源端连接，所述第二预充电开关的另一端与所述电容的一端连接，所述电容的另一端接地；
所述第一权重控制开关的一端与负计算节点连接，所述第一权重控制开关的另一端与所述光电二极管的负极连接，所述第二权重控制开关的一端与所述光电二极管的负极连接，所述第二权重控制开关的另一端与正计算节点连接，所述第三权重控制开关的一端与所述负计算节点连接，所述第三权重控制开关的另一端与所述电容的一端连接，所述第四权重控制开关的一端与所述电容的一端连接，所述第四权重控制开关的另一端与所述正计算节点连接，所述光电二极管的电容和所述电容的大小相等；
所述比较器的第一输入端与所述正计算节点连接，所述比较器的第二输入端与所述负计算节点连接，所述比较器的使能端由比较使能信号控制；
所述第一预充电开关和所述第二预充电开关均由预充电信号控制，所述第一权重控制开关和所述第四权重控制开关由所述权重寄存器的正输出端的输出信号控制，所述第二权重控制开关和所述第三权重控制开关由所述权重寄存器的负输出端的输出信号控制；
所述权重寄存器用于接收输入的目标权重，并根据所述目标权重输出相应的信号，以控制所述第一预充电开关、所述第二预充电开关、第三预充电开关和第四预充电开关的断开或闭合；
所述第一预充电开关和所述第二预充电开关通过所述预充电信号确定断开或闭合状态；
所述光电二极管将光电效应产生的电荷传输到所述正计算节点或所述负计算节点，以使得在所述正计算节点产生第一电压降和所述负计算节点产生第二电压降；
所述比较器根据电压差输出目标卷积核内乘累加的计算结果，所述电压差为所述第一电压降和所述第二电压降之间的差值；
所述输出电路的一端与所述负计算节点连接，用于输出所述目标卷积核内乘累加的计算结果。
2.根据权利要求1所述的直接光电流计算单元电路，其特征在于，所述预充电信号为周期性信号，所述周期性信号分为由第一阶段、第二阶段、第三阶段和第四阶段，所述预充电信号在所述第一阶段的取值为0，所述预充电信号在所述第二阶段、所述第三阶段和所述第四阶段的取值为1，所述第二阶段的时长为预设曝光时长。
3.根据权利要求2所述的直接光电流计算单元电路，其特征在于，所述比较使能信号为周期信号，且所述比较使能信号与所述预充电信号的周期相同，所述比较使能信号在所述第一阶段、所述第二阶段和所述第四阶段的取值为0，所述比较使能信号在所述第三阶段的取值为1。
4.根据权利要求2所述的直接光电流计算单元电路，其特征在于，所述第一电压降和所述第二电压降的计算公式如下：
Figure FDA0003058319360000021
Figure FDA0003058319360000022
其中，ΔV+表示所述第一电压降，ΔV-表示所述第二电压降，Texp表示所述预设曝光时长，Qi表示第i个单元存储的权值，CL表示所述正计算节点上电容的大小，Iph,i表示第i个单元内光电二极管流过的电流值。
5.根据权利要求4所述的直接光电流计算单元电路，其特征在于，所述正计算节点和所述负计算节点上的电容相等，所述正计算节点上的电容计算公式如下：
CL＝N×CPD，
其中，N表示所述目标卷积核内直接光电流计算单元电路的个数，CPD表示所述光电二极管电容的大小。
6.一种基于权利要求1-5任一所述的直接光电流计算单元电路的卷积计算电路，其特征在于，包括M×N个权利要求1-5任一所述的直接光电流计算单元电路，所有的直接光电流计算单元电路按照M行N列的方式排列，每一直接光电流计算单元电路的正计算节点相连，每一直接光电流计算单元电路的负计算节点相连；
所述卷积计算电路用于根据每一直接光电流计算单元电路的乘累加结果，计算出所述目标卷积核的运算结果，Wk和Hk表示所述目标卷积核的大小，且Wk≤M，Hk≤N。
7.根据权利要求6所述的卷积计算电路，其特征在于，所述每一直接光电流计算单元电路的正计算节点相连，每一直接光电流计算单元电路的负计算节点相连，具体为：
对于任一行或任一列中的任一直接光电流计算单元电路，所述任一直接光电流计算单元电路的正计算节点通过组合开关与相邻直接光电流计算单元电路的正计算节点连接，所述任一直接光电流计算单元电路的负计算节点通过组合开关与所述相邻直接光电流计算单元电路的负计算节点连接。
8.根据权利要求6所述的卷积计算电路，其特征在于，还包括M个行寄存器和N个列寄存器，M个行寄存器循环连接，N个列寄存器循环连接，其中：每一行寄存器用于控制位于同一行的所有组合开关，每一列寄存器用于控制位于同一列的所有组合开关；
若任意两个相邻的直接光电流计算单元电路被同一个卷积核覆盖，所述任意两个相邻的直接光电流计算单元电路之间的组合开关为闭合，否则所述任意两个相邻的直接光电流计算单元电路之间的组合开关为断开。
9.根据权利要求8所述的卷积计算电路，其特征在于，还包括：M个行寄存器由SCSV信号进行控制，N个列寄存器由SCSH信号进行控制，SCSV信号和SCSH信号由两个不同的时钟触发。
10.根据权利要求8所述的卷积计算电路，其特征在于，还包括：
对于位于同一行的直接光电流计算单元电路，每一直接光电流计算单元电路中的权重寄存器依次相连，最后一个直接光电流计算单元电路的寄存器的输出与该行第一个直接光电流计算单元电路的寄存器的输入连接；
对于位于同一列的直接光电流计算单元电路，每一直接光电流计算单元电路中的权重寄存器依次相连，最后一个直接光电流计算单元电路的寄存器的输出与该列第一个直接光电流计算单元电路的寄存器的输入连接；
通过SCH信号控制所有直接光电流计算单元电路中的权重寄存器进行循环右移或循环下移。
11.根据权利要求10所述的卷积计算电路，其特征在于，所述通过SCH信号控制所有直接光电流计算单元电路中的权重寄存器进行循环右移或循环下移，具体包括：
若所述SCH信号的取值为1，每一直接光电流计算单元电路中寄存器的权值向右移动一步；
若所述SCH信号的取值为0，每一直接光电流计算单元电路中寄存器的权值向下移动一步。
CN202010676560.4A 2020-07-14 2020-07-14 一种直接光电流计算单元电路 Active CN111901541B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010676560.4A CN111901541B (zh) 2020-07-14 2020-07-14 一种直接光电流计算单元电路

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010676560.4A CN111901541B (zh) 2020-07-14 2020-07-14 一种直接光电流计算单元电路

Publications (2)

Publication Number Publication Date
CN111901541A CN111901541A (zh) 2020-11-06
CN111901541B true CN111901541B (zh) 2021-07-09

Family

ID=73192704

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010676560.4A Active CN111901541B (zh) 2020-07-14 2020-07-14 一种直接光电流计算单元电路

Country Status (1)

Country Link
CN (1) CN111901541B (zh)

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107679622A (zh) * 2017-09-06 2018-02-09 清华大学 一种面向神经网络算法的模拟感知计算架构
CN108475348A (zh) * 2015-12-15 2018-08-31 美国亚德诺半导体公司 卷积神经网络
CN110288510A (zh) * 2019-06-11 2019-09-27 清华大学 一种近传感器视觉感知处理芯片及物联网传感装置
CN110311676A (zh) * 2019-06-24 2019-10-08 清华大学 一种采用开关电流技术的物联网视觉系统和数据处理方法
WO2019224800A1 (en) * 2018-05-25 2019-11-28 Mahajan Vidur Method and system for simulating and constructing original medical images from one modality to other modality
WO2019241155A1 (en) * 2018-06-11 2019-12-19 Arterys Inc. Simulating abnormalities in medical images with generative adversarial networks
CN110826258A (zh) * 2019-12-06 2020-02-21 创新奇智(重庆)科技有限公司 基于时空卷积神经网络的数据中心机房仿真环境构建方法
CN111260048A (zh) * 2020-01-14 2020-06-09 上海交通大学 一种基于忆阻器的神经网络加速器中激活函数的实现方法

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108475348A (zh) * 2015-12-15 2018-08-31 美国亚德诺半导体公司 卷积神经网络
CN107679622A (zh) * 2017-09-06 2018-02-09 清华大学 一种面向神经网络算法的模拟感知计算架构
WO2019224800A1 (en) * 2018-05-25 2019-11-28 Mahajan Vidur Method and system for simulating and constructing original medical images from one modality to other modality
WO2019241155A1 (en) * 2018-06-11 2019-12-19 Arterys Inc. Simulating abnormalities in medical images with generative adversarial networks
CN110288510A (zh) * 2019-06-11 2019-09-27 清华大学 一种近传感器视觉感知处理芯片及物联网传感装置
CN110311676A (zh) * 2019-06-24 2019-10-08 清华大学 一种采用开关电流技术的物联网视觉系统和数据处理方法
CN110826258A (zh) * 2019-12-06 2020-02-21 创新奇智(重庆)科技有限公司 基于时空卷积神经网络的数据中心机房仿真环境构建方法
CN111260048A (zh) * 2020-01-14 2020-06-09 上海交通大学 一种基于忆阻器的神经网络加速器中激活函数的实现方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
《AICNN:implement typical CNN algorithms with analog-to-information conversion architecture》;Kaige Jia等;《IEEE》;20170724;全文 *
《From"mission:impossible"to mission possible：fully flexible intelligent contact lens for image classification with analog-to-information processing》;Qin Li等;《IEEE》;20170724;全文 *
《基于域自适应的红外目标检测研究》;徐天;《电子技术及信息科学》;20191231;全文 *

Also Published As

Publication number Publication date
CN111901541A (zh) 2020-11-06

Similar Documents

Publication Publication Date Title
US11475269B2 (en) Convolutional neural network
Hsu et al. A 0.5-V real-time computational CMOS image sensor with programmable kernel for feature extraction
Kim et al. An ultra-low-power analog-digital hybrid CNN face recognition processor integrated with a CIS for always-on mobile devices
Chen et al. Pulse-modulation imaging—Review and performance analysis
WO2023056779A1 (zh) 一种用于卷积神经网络的内存计算eDRAM加速器
Lefebvre et al. 7.7 A 0.2-to-3.6 TOPS/W programmable convolutional imager SoC with in-sensor current-domain ternary-weighted MAC operations for feature extraction and region-of-interest detection
Tang et al. Considerations of integrating computing-in-memory and processing-in-sensor into convolutional neural network accelerators for low-power edge devices
WO2021004466A1 (zh) 一种基于多位并行二进制突触阵列的神经形态计算电路
CN111669527B (zh) 一种cmos图像传感器内的卷积运算电路
CN111343398B (zh) 基于动态视觉传感技术的cmos感存算一体电路结构
CN110288510B (zh) 一种近传感器视觉感知处理芯片及物联网传感装置
Hsu et al. A 0.8 V intelligent vision sensor with tiny convolutional neural network and programmable weights using mixed-mode processing-in-sensor technique for image classification
Hsu et al. A 0.5 V real-time computational CMOS image sensor with programmable kernel for always-on feature extraction
CN113596361B (zh) 一种基于像素内实现正负权值运算的感存算一体电路结构
US9402044B2 (en) Pixel processing circuitry
Yousefzadeh et al. Conversion of synchronous artificial neural network to asynchronous spiking neural network using sigma-delta quantization
Abedin et al. Mr-pipa: An integrated multilevel rram (hfo x)-based processing-in-pixel accelerator
Oh et al. A 57mW embedded mixed-mode neuro-fuzzy accelerator for intelligent multi-core processor
Datta et al. In-sensor & neuromorphic computing are all you need for energy efficient computer vision
CN111901541B (zh) 一种直接光电流计算单元电路
Ma et al. HOGEye: neural approximation of hog feature extraction in rram-based 3d-stacked image sensors
GB2442874A (en) Method and system for providing automatic gain control in an imaging device using signal combination and threshold comparison
Yin et al. A 0.5 V 34.4 uW 14.28 kfps 105dB smart image sensor with array-level analog signal processing
Tabrizchi et al. TizBin: A low-power image sensor with event and object detection using efficient processing-in-pixel schemes
Li et al. A 5.9 μw ultra-low-power dual-resolution CIS chip of sensing-with-computing for always-on intelligent visual devices

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant