CN116506750A - 一种低功耗图像传感器 - Google Patents
一种低功耗图像传感器 Download PDFInfo
- Publication number
- CN116506750A CN116506750A CN202310623895.3A CN202310623895A CN116506750A CN 116506750 A CN116506750 A CN 116506750A CN 202310623895 A CN202310623895 A CN 202310623895A CN 116506750 A CN116506750 A CN 116506750A
- Authority
- CN
- China
- Prior art keywords
- dynamic monitoring
- pixel
- signal
- image sensor
- circuit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000012544 monitoring process Methods 0.000 claims abstract description 268
- 230000008859 change Effects 0.000 claims abstract description 36
- 238000000034 method Methods 0.000 claims abstract description 18
- 230000003287 optical effect Effects 0.000 claims abstract description 8
- 230000000694 effects Effects 0.000 claims description 21
- 238000012545 processing Methods 0.000 claims description 21
- 239000003990 capacitor Substances 0.000 claims description 20
- 238000006243 chemical reaction Methods 0.000 claims description 12
- 230000007274 generation of a signal involved in cell-cell signaling Effects 0.000 claims description 7
- 101100524516 Saccharomyces cerevisiae (strain ATCC 204508 / S288c) RFA2 gene Proteins 0.000 claims description 6
- 101100248200 Arabidopsis thaliana RGGB gene Proteins 0.000 claims description 5
- 230000008569 process Effects 0.000 abstract description 8
- 230000003068 static effect Effects 0.000 abstract description 6
- 238000005070 sampling Methods 0.000 description 18
- 238000010586 diagram Methods 0.000 description 15
- 230000006870 function Effects 0.000 description 8
- 241000750042 Vini Species 0.000 description 6
- 238000009825 accumulation Methods 0.000 description 6
- 238000009792 diffusion process Methods 0.000 description 6
- SGZRFMMIONYDQU-UHFFFAOYSA-N n,n-bis(2-methylpropyl)-2-[octyl(phenyl)phosphoryl]acetamide Chemical compound CCCCCCCCP(=O)(CC(=O)N(CC(C)C)CC(C)C)C1=CC=CC=C1 SGZRFMMIONYDQU-UHFFFAOYSA-N 0.000 description 6
- 102100038026 DNA fragmentation factor subunit alpha Human genes 0.000 description 4
- 102100038023 DNA fragmentation factor subunit beta Human genes 0.000 description 4
- 101100277639 Homo sapiens DFFB gene Proteins 0.000 description 4
- 101000950906 Homo sapiens DNA fragmentation factor subunit alpha Proteins 0.000 description 4
- 238000001514 detection method Methods 0.000 description 3
- 230000002093 peripheral effect Effects 0.000 description 3
- 230000009471 action Effects 0.000 description 2
- 230000007423 decrease Effects 0.000 description 2
- 238000004519 manufacturing process Methods 0.000 description 2
- 230000000750 progressive effect Effects 0.000 description 2
- 230000002035 prolonged effect Effects 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 230000008054 signal transmission Effects 0.000 description 2
- 230000000087 stabilizing effect Effects 0.000 description 2
- 230000009466 transformation Effects 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 238000013459 approach Methods 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 239000011664 nicotinic acid Substances 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 230000000630 rising effect Effects 0.000 description 1
- 230000035945 sensitivity Effects 0.000 description 1
- 239000002699 waste material Substances 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/70—SSIS architectures; Circuits associated therewith
- H04N25/76—Addressed sensors, e.g. MOS or CMOS sensors
- H04N25/766—Addressed sensors, e.g. MOS or CMOS sensors comprising control or output lines used for a plurality of functions, e.g. for pixel output, driving, reset or power
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/70—SSIS architectures; Circuits associated therewith
- H04N25/709—Circuitry for control of the power supply
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Transforming Light Signals Into Electric Signals (AREA)
- Solid State Image Pick-Up Elements (AREA)
Abstract
本发明涉及图像传感技术领域,公开了一种低功耗图像传感器,包括像素阵列、动态监测模块、动态监测用时序控制模块、行选择模块、时序控制模块。像素阵列将光信号转换为电压信号输出;动态监测模块根据动态监测用时序控制信号对电压信号进行处理,输出模式切换使能信号;动态监测用时序控制模块根据模式切换使能信号,分别输出动态监测用时序控制信号、动态监测用像素驱动控制信号和图像传感器使能信号;行选择模块根据动态监测用像素驱动控制信号输出动态监测用像素控制信号;时序控制模块根据图像传感器使能信号控制图像传感器在监测到画面变化时进入正常工作模式,当画面静止时控制图像传感器进入超低功耗模式,从而降低设备功耗。
Description
技术领域
本发明涉及图像传感技术领域,具体而言,涉及一种低功耗图像传感器。
背景技术
随着物联网时代的到来,图像传感器(简称CIS:CMOS Image Sensor)的应用范围越来越广泛,其中也产生了很多新的应用场景,对运动物体的监测和低功耗是其中的两个重要研究方向。与传统的应用场景不同,近年来兴起的物联网和智能安防等领域更多地采用电池供电的模式,因此所使用传感器的功耗很大程度上决定了设备的待机时间以及使用体验。
传统的图像传感器的工作模式相对单一。正常工作模式下,图像传感器长时间处于高分辨率高帧率的高功耗工作模式,这对于电量有限的电池供电的情况下,其续航时间往往非常有限,这一特性很大程度限制了传统图像传感器在某些低功耗领域的应用。例如,可视门铃以及没有电源布线条件的户外监控和行车记录仪等应用场景,画面经常是长时间处于静止状态,传统图像传感器即使在静止画面下仍然会进行正常的画面采样输出等工作,但是由于画面持续不变,这种功耗往往是徒劳的,同时也会消耗大量的数据量,对于数据存储空间和数据传输资源都造成很大的浪费。
关于画面变化的判断及识别方面,现有的常规方法是通过后端数字信号处理单元或者外置图像处理器,利用算法来分析画面状态的方式实现画面变化的判断,往往需要比较复杂的数字逻辑以及更多的存储单元来实现,从而导致芯片面积更大,功耗也更大。
另外一方面,基于对运动物体的监测需求,近年来图像传感器领域也开始研究基于仿生原理设计的动态视觉传感器(简称DVS:Dynamic Vision Sensor),此类图像传感器的主要工作原理是基于连续地对环境光进行采样比较,仅在前后光强度变化并超过一定阈值后才会产生事件脉冲,而与光强度绝对值没有关系;同时,其仅仅输出画面视场内像素信号有无变化的状态判断信号,对于画面没有变化的场景则不产生任何输出。基于此特性,使得其具有输出数据量小,大大减小了数字图像处理中对于画面变化判断过程的存储和运算规模的要求,同时实时性也得到了显著提高。
但是,目前的动态视觉传感器DVS也存在以下主要问题,导致实际应用难以落地。一是由于传统的DVS为了实现全像素的并发性,每个像素单元都集成了差分电路和比较电路,导致单个像素单元的电路十分复杂,单个像素单元面积非常大(普遍大于10um*10um),造价昂贵,而且难以做到高分辨率集成;二是由于DVS无法输出图像数据,实际应用中几乎都需要结合CIS组成双摄系统配合使用,其空间位置的配准和对齐需要通过复杂双目光学镜头等方式才能实现。
有鉴于此,特提出本申请。
发明内容
本发明的目的在于提供一种低功耗图像传感器,解决现有的图像传感器功耗大的问题。
本发明通过下述技术方案实现:
提供一种低功耗图像传感器,包括
像素阵列,像素阵列包含多个动态监测用像素单元,动态监测用像素单元用于根据行选择模块输出的动态监测用像素控制信号采集拍摄对象的光信号,将光信号转换为电压信号VDVS后输出至动态监测模块;
动态监测模块,用于根据动态监测用时序控制模块输出的动态监测用时序控制信号C1对电压信号VDVS进行处理,输出模式切换使能信号LP_EN至动态监测用时序控制模块;
动态监测用时序控制模块,用于根据基准低速时钟CK0和模式切换使能信号LP_EN向动态监测模块输出动态监测用时序控制信号C1,向行选择模块输出动态监测用像素驱动控制信号,以及向时序控制模块输出图像传感器使能信号CIS_EN;
行选择模块,用于根据动态监测用像素驱动控制信号向像素阵列输出动态监测用像素控制信号;
时序控制模块,用于根据图像传感器使能信号CIS_EN对图像传感器的工作模式进行切换;图像传感器的工作模式包括正常工作模式和低功耗工作模式。
本发明与现有技术相比,具有如下的优点和有益效果:对现有图像传感器进行改进,在图像传感器内增加动态监测模块来实现对拍摄画面的变化状态进行判断,并根据画面变化状态对图像传感器的工作模式进行切换,实现在画面静止场景下可以进入超低功耗的动态监测模式,当监测到有画面变化的情况后,及时切换到正常工作模式,从而降低设备功耗,大幅延长设备工作时长。
附图说明
为了更清楚地说明本发明示例性实施方式的技术方案,下面将对实施例中所需要使用的附图作简单地介绍,应当理解,以下附图仅示出了本发明的某些实施例,因此不应被看作是对范围的限定,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他相关的附图。
图1为本发明实施例提供的低功耗图像传感器的整体结构示意图;
图2为本发明实施例提供的像素阵列结构示意图;
图3为本发明实施例提供的CIS像素结构示意图;
图4为本发明实施例提供的包含动态监测用像素D的像素阵列分别与行选择模块、动态监测模块和列ADC的连接关系示意图;
图5为本发明实施例提供的对数型光电转换像素结构示意图;
图6为本发明实施例提供的动态监测单元整体结构示意图;
图7为本发明实施例提供的减法器电路和比较器电路内部结构及二者连接关系示意图;
图8为本发明实施例提供的选择动态监测用像素结构A情况下减法器电路及比较器电路的工作时序图;
图9为本发明实施例提供的选择动态监测用像素结构B情况下减法器电路及比较器电路的工作时序图;
图10为本发明实施例提供的生成减法器电路基准电压、比较器电路的正阈值电压和负阈值电压的一种可选的电路结构示意图;
图11为本发明实施例提供的生成减法器电路基准电压、比较器电路的正阈值电压和负阈值电压的流程图;
图12为本发明实施例提供的差分判断电路结构示意图;
图13为本发明实施例提供的活跃度判断电路的电路结构示意图;
图14为本发明实施例提供的行状态判断电路及活跃度判断电路的工作时序图;
图15为本发明实施例提供的动态监测用时序控制模块整体结构及工作原理示意图;
图16为本发明实施例提供的行选择模块结构的局部示意图;
图17为本发明实施例提供的画面变化前后全像素图像的帧数据和动态监测像素图像的帧数据对比图。
附图中标记及对应的零部件名称:
1-像素阵列,2-动态监测模块,3-动态监测用时序控制模块,4-行选择模块,5-时序控制模块,6-列ADC,7-锁相环及分频器,8-数字信号处理及输出模块,11-像素区块,21-减法器电路,22-比较器电路,23-差分判断电路,24-活跃度判断电路,31-动态监测用控制信号生成单元,32-定时单元,41-动态监测用像素驱动单元i,42-常规像素驱动单元d。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚明白,下面结合实施例和附图,对本发明作进一步的详细说明,本发明的示意性实施方式及其说明仅用于解释本发明,并不作为对本发明的限定。
实施例
本实施例提供一种所示的低功耗图像传感器,在传统的图像传感器的基础上结合了动态视觉传感器的特征,实现在静止场景下可以进入超低功耗的动态监测模式,当监测到画面变化后,及时切换到正常工作模式,从而实现设备低功耗,大幅延长设备的工作时长。
以下对低功耗图像传感器的各组成部分及各组成部分的功能进行详细说明。
如图1所示,本实施例提供的一种低功耗图像传感器由像素阵列1、动态监测模块2、动态监测用时序控制模块3、行选择模块4、时序控制模块5、列ADC6、锁相环及分频器7和数字信号处理及输出模块8组成。
其中,像素阵列1包含多个动态监测用像素单元,动态监测用像素单元用于根据行选择模块4输出的动态监测用像素控制信号采集拍摄对象的光信号,将光信号转换为电压信号VDVS后输出至动态监测模块2;动态监测模块2用于根据动态监测用时序控制模块3输出的动态监测用时序控制信号C1对电压信号VDVS进行处理,输出模式切换使能信号LP_EN至动态监测用时序控制模块3;动态监测用时序控制模块3用于根据基准低速时钟CK0和模式切换使能信号LP_EN向动态监测模块2输出动态监测用时序控制信号C1,向行选择模块4输出动态监测用像素驱动控制信号,以及向时序控制模块5输出图像传感器使能信号CIS_EN;行选择模块4用于根据动态监测用像素驱动控制信号向像素阵列1输出动态监测用像素控制信号;时序控制模块5用于根据模式切换使能信号LP_EN、图像传感器使能信号CIS_EN和图像传感器的当前工作模式,列ADC6、锁相环及分频器7和数字信号处理及输出模块8的工作状态。需说明的是,工作状态包括正常工作状态和停止工作状态。
根据上述图像传感器的整体结构可以看出,本实施例提供的一种低功耗图像传感器在现有的图像传感器的基础上做出了改进,即在现有图像传感器的内部增设了动态监测部分。动态监测部分由动态监测模块、动态监测用时序控制模块和改进后的像素阵列组成,通过监测拍摄对象的变化状态并输出控制信号的方式对图像传感器的工作模式进行切换——当动态监测部分监测到拍摄对象处于变化状态下时,控制图像传感器正常工作,输出全分辨率图像数据;当动态监测部分未监测到拍摄对象的变化状态时,控制图像传感器处于低功耗工作模式,即仅维持动态监测部分正常工作,使图像传感器的其余部分(如列ADC、锁相环及分频器、数字信号处理及输出模块)停止工作,从而实现根据拍摄对象的变化状态对图像传感器的工作模式进行切换,达到低功耗的目的。
下面,分别对像素阵列、动态监测模块、动态监测用时序控制模块和行选择模块的结构、特征、功能及效果做详细说明。
1、像素阵列
(1)像素阵列的结构
本实施例的像素阵列基于传统图像传感器的RGGB拜尔阵列像素架构,转用了其中的少量像素作为动态监测用像素来实时监测采集环境光强度。在保证整体画面质量的前提下,为减小像素单元面积,本实施例采用了这两种动态监测用像素结构(动态监测用像素结构A和动态监测用像素结构B)。并且,本实施例采用独立的像素控制信号来驱动动态监测用像素工作,以实现动态监测部分与图像传感器部分(列ADC、锁相环及分频器、数字信号处理及输出模块)独立工作。
传统的像素阵列1通常由RGGB拜耳阵列构成,各个像素仅有滤光片颜色的区分。本实施例的像素阵列如图2所示,其中,Box1为一个像素区块11,每一个像素区块11的规模为8×8的像素单元,由16个RGGB拜耳阵列组成。本实施例的像素阵列1则是对每一个像素区块11内的一个RGGB拜耳阵列的其中1个G(绿色)像素替换为了动态监测用像素D。
需说明的是,由于本实施例采用的是替换常规像素来实现动态监测的功能,一定程度上会对正常图像传感器的输出画质产生一定影响。当某些应用场景对画质要求较高时,就需要在画质和动态监测中间找到平衡。为了弥补对画质的影响,通常采用的手段是在数字信号处理模块中使用插值算法,即使用动态监测用像素D周围的像素信息对动态监测用像素D所在点位的图像进行补偿。这种插值算法是一种常用的画面补偿手段,通常认为配置替换的像素的总数小于总像素数量的3.125%则认为对总体画面影响是较小的。另一方面,为了使配置的动态监测用像素D能够有效地监测到画面动态,因此配置的动态监测用像素D的密度需大于总像素数量的1%。因此,本实施例划分的每一个像素区块的规模应满足下式:
m的可取值范围为6≤m≤10,本实施例选择了m=8。
(2)动态监测用像素数D的结构
本实施例为动态监测用像素D提供了两种可选择的结构——动态监测用像素结构A和动态监测用像素结构B。以下对两种动态监测用像素结构分别进行说明。
如图3所示,动态监测用像素结构A为传统的CIS像素结构,由光电二极管PD、MOS管M0、MOS管M1、MOS管M2和MOS管M3组成。其中,光电二极管PD的阳极接地,光电二极管PD的阴极连接MOS管M0的源极;MOS管M0的栅极接入动态监测用像素控制信号TX_Di,MOS管M0的漏极连接MOS管M2的栅极;MOS管M1的源极连接在MOS管M0的漏极与MOS管M2的栅极之间,MOS管M1的栅极接入动态监测用像素控制信RS_Di;MOS管M2的源极连接MOS管M3的漏极,MOS管M3的栅极接入动态监测用像素控制信号SX_Di,MOS管M3的源极输出VDVS电压信号。其中,i=0,2,…,R,R表示像素阵列1中接收动态监测用像素控制信号的行数,本实施例中R=8。
位于同一列的多个动态监测用像素结构A输出的VDVS电压信号通过同一条VDVS信号线输入动态监测模块的输入端。图4给出了一个包含动态监测用像素D的像素阵列Box2分别与行选择模块4、动态监测模块2和列ADC6的连接关系,可以看到,与常规像素(像素R、像素B和像素G)不同,针对动态监测用像素D,本实施例采用了独立的动态监测用像素控制信号传输通道驱动动态监测用像素工作,并且动态监测用像素D输出的电压信号VDVS同样由独立的VDVS信号传输线输出至动态监测模块2。
需说明的是,由于CIS像素结构占用面积小,而动态监测用像素D不需要识别颜色信息,仅需要采集光线强度信息,因此当选择CIS像素结构时,为了使动态监测用像素能够更加有效地监测到光强度变化,同时防止由于有效像素的减少而对画面质量产生影响,本实施例中的动态监测用像素D选择了白色像素,以增加动态监测用像素的进光量。
如图5所示,动态监测用像素结构B是一种对数型光电转换像素结构。动态监测用像素结构B分为对数光电转换部分和源极电压跟随电路缓冲电路部分。
其中,对数光电转换部分由光电二极管PD、反向放大器和MOS管M1组成。光电二极管PD的阳极接地,光电二极管PD的阴极连接反向放大器的输入端,反向放大器的输出端连接MOS管M1的栅极,MOS管M1的源极连接光电二极管PD的阴极,形成了一个闭环反馈结构。此时,V1节点因为闭环放大器输入端虚地的原因被钳位在一个固定电位,光电流的变换会以对数转换的形式体现在输出电压节点V2上。
源极电压跟随电路缓冲电路部分由MOS管M2和MOS管M3组成。MOS管M2的栅极连接到MOS管M1的栅极与反向放大器的输出端之间,MOS管M2的源极连接MOS管M3的漏极,MOS管M3的源极接地,MOS管M3的栅极接入动态监测用像素控制信号SX_Di;VDVS电压信号从MOS管M2的源极与MOS管M3的漏极之间输出。
对数光电转换部分的输出节点V2连接到源极电压跟随电路缓冲电路部分的输入端M2的栅极,最后从MOS管M2的源极与MOS管M3的漏极之间输出像素的最终信号电压VO。根据源跟随器的工作原理可知,输出VO近似等于输出V2;MOS管M3的作用是源极跟随器的电流源负载,其栅极接入行选择模块提供的偏置电压SX_D,使MOS管M3工作在正常工作的状态。另外,由行选择模块提供的SX_D信号同时也能实现行选择的功能,当SX_D为高电平的时候,动态监测用像素的源跟随电流负载MOS管M3开启,像素正常输出信号;当SX_D为低电平的时候,动态监测用像素的源跟随电流负载MOS管M3关闭,像素不输出信号。
同理,位于同一列的多个动态监测用像素结构B输出的VDVS电压信号通过同一条VDVS信号线输入动态监测模块的输入端,可参考图4的连接关系。
需说明的是,考虑动态监测用像素结构B的面积,反向放大器可选用构造较为简单的电流源负载共源极单极放大器或者二极管连接MOS管作为负载的共源极单极放大器等。
需进一步说明的是,动态监测用像素结构B中包含了闭环反馈结构。与动态监测用像素结构A相比,动态监测用像素结构B不需要长时间的曝光来积累电荷,通过检测监测PD电流信号的大小即可连续实时获取光照强度的一种像素结构,其输出电压为对数转换后的光电流信息。具体地,由于闭环放大器输入端虚地的原因,PD的阴极端V1节点被钳位在一个固定点位上。为了保证虚地,光电流的变化体现在V2节点的电压上,其V2节点的电压可以表示为:V2=UTln(Iph/I0)+K,其中,Iph为光电二极管PD的光电流,I0为MOS管M1的亚阈值电流,UT为热电压(常温下约为26mV),K为常数。根据V2节点的电压表达式可以看出,动态监测用像素结构B可以实现将光电流对数转换为电压输出,因此可以实现更加高速的动态监测(与传统的DVS像素相比,动态监测用像素结构B仅包含对数光电转换部分和源跟随部分,将减法器部分和比较器部分别转移到外围电路,总计约5个MOS管,可以实现同CIS像素结构同等程度的面积常见的大约2um2到3um2的程度)。
2、动态监测模块
本实施例提供的动态监测模块区别于常见的采用数字逻辑处理方式的功能模块。常见的数字逻辑处理模块需要对两帧数据进行判断,而本实施例的动态监测模块2可通过模拟电路前端,实现逐行扫描并判断画面是否变化,当扫描到变化行数达到阈值时,即时判断并切换模式,可以不用等到全帧数据出来再做判断,进而更加高效地实施传感器工作模式的切换。
以下对动态监测模块的组成及工作时序做具体说明。
动态监测模块包括多个动态监测单元。每一个动态监测单元包括如图6所示的减法器电路21、比较器电路22、差分判断电路23和活跃度判断电路24。减法器电路21、比较器电路22、差分判断电路23和活跃度判断电路24顺次连接。
减法器电路21、比较器电路22、差分判断电路23和活跃度判断电路24分别接入对应的动态监测用时序控制信号。像素阵列输出的电压信号VDVS从减法器电路21的输入端进入,经过减法器电路21、比较器电路22、差分判断电路23和活跃度判断电路24依次处理后,活跃度判断电路24的输出端输出模式切换使能信号LP_EN至动态监测用时序控制模块和时序控制模块,实现控制模块后续会根据模式切换使能信号LP_EN和动态监测用时序控制模块发送的图像传感器使能信号CIS_EN对行选择模块、列ADC、锁相环及分频器以及数字信号处理及输出模块进行模式切换控制。
(1)减法器电路和比较器电路
减法器电路和比较器电路的内部结构及二者的连接关系如图7所示。
减法器电路21由输入缓冲器BUF1、运算放大器OPA1、电容C1、电容C2、开关S1和开关S2组成。VDVS电压信号通过开关S2进入输入缓冲器BUF1的输入端,输入缓冲器BUF1的输出端连接电容C2的一端,电容C2的另一端连接运算放大器OPA1的反相输入端,运算放大器OPA1的同相输入端接入基准电压VREF,运算放大器OPA1的输出端连接比较器电路22的输入端;电容C1的一端连接在电容C2与运算放大器OPA1的反相输入端之间,电容C1的另一端连接在运算放大器OPA1的输出端与比较器电路的输入端之间;开关S1跨接在电容C1的两端。
比较器电路22由比较器CM1、比较器CM2、或门OR0和D触发器DFF0组成。预算放大器OPA1的输出端分别连接比较器CM1的同相输入端和比较器CM2的反相输入端,比较器CM1的反相输入端接收正阈值电压VSPEC1,比较器CM2的同相输入端接收负阈值电压VSPEC2,比较器CM1的输出端连接或门OR0的一个输入端,比较器CM2的输出端连接或门OR0的另一个输入端;或门OR0的输出端连接D触发器DFF0的CLK端,D触发器DFF0的端连接差分判断电路的输入端;比较器CM1、比较器CM2和D触发器DFF0的CLR端均接入比较器使能信号CM_EN。
工作原理:减法器电路通过在两次指定时间段内对从像素阵列输出的电压信号VDVS进行采样,将前后两次采样得到的电压信号VDVS分别命名为Vini和Vaft,然后计算得到Vaft和Vini之间的电压差值Vdiff。减法器电路输出该电压差值Vdiff至比较器电路。比较器电路设置有两个阈值电压,分别为正阈值电压VSPEC2和负阈值电压VSPEC1,如果电压差值Vdiff在两个阈值电压之间,则比较器电路输出低电平,判断为画面没有变化,如果电压差值Vdiff超出任一阈值电压范围,则比较器电路输出高电平,判断为画面产生了变化。
需说明的是,根据选用的动态监测用像素结构的不同,像素的控制时序会产生区别。下面针对选择动态监测用像素结构A和选择动态监测用像素结构B两种情况下,对减法器电路和比较器电路的详细工作原理分别进行说明。
1)选择动态监测用像素结构A情况
结合图8,减法器电路的工作原理为:
首先,关于一行像素读取的开始时间点,像素选择信号的状态SX_D为低电平,像素选择管M3为关闭状态;像素复位信号RS_D为高电平,复位管M1开启,并持续将浮动扩散电容FD点的电荷泄放到电源,因此FD点的初始电压为电源电压高电平状态;像素控制信号TX_D为低电平,初始状态下像素控制管M0处于关闭状态,光电二极管PD上的电荷无法传输到FD点;同时减法器的开关S1和开关S2均断开,比较器使能信号CM_EN信号也处于关闭状态。
在T0时间点,该行像素的动态监测用像素的像素选择信号SX_D置高电平,此时整行像素中,所有动态监测用像素的选择管M3开启;此时像素输出信号线的VDVS的初始点位为高电平状态。
在T1~T2时间段,像素控制信号TX_D置高一定时间,此时间段内像素控制管M0开启,另外像素复位管M1也处于开启状态,此时将光电二极管PD中所积累的电荷通过像素复位管M1清空并泄放到电源端。T1~T2的时间长度设置为能够充分泄放光电二极管PD中的电荷为目标。
在T2时间点,像素控制信号TX_D置低,此时像素控制管M0关闭,光电二极管PD重新接受光线并积累电荷。
在T3时间点,像素复位信号RS_D置低,像素复位管M1关闭,结束对浮动扩散电容FD点的像素复位状态。
在T2~T4时间段,像素控制管M0关闭,光电二极管PD处于第一次电荷积累阶段。
在T4~T5时间段,像素控制信号TX_D置高一定时间,此时间段内像素控制管M0开启,将光电二极管PD第一次电荷积累阶段所积累的电荷流入浮动扩散电容FD点。FD点电压VFD随着累计电荷量的增加和降低,该电压通过像素放大管M2和像素选择管M3转递到动态监测用像素的输出信号线VDVS上。
在T4时间点,减法器电路中的开关S2闭合,动态监测用像素的输出信号线VDVS的状态通过缓冲器BUF1传递到减法器的N0点。
在T6时间点设置为待动态监测用像素的输出信号线VDVS的电位稳定位置,此时减法器电路中的开关S1闭合,减法器工作在采样模式,此时开始对动态监测用像素的输出信号线VDVS的电压进行第一次采样。定义此时的VDVS电压为Vini,此时节点N1所存储的电荷为Q1=(VREF-Vini)*C1。
在T7时间点,像素复位信号RS_D置为高电平,像素复位管M1开启,像素重新进入复位状态,此时复位管M1开启,并持续将浮动扩散电容FD点的电荷泄放到电源,因此FD点的电压回到电源电压高电平状态;另外,在T7时间点,开关S2断开,此时节点N1的电荷量保持为:Q1=(VREF-Vini)*C1。
在T8~T9时间段,像素控制信号TX_D置高一定时间,此时间段内像素控制管M0开启;另外,像素复位管M1也处于开启状态;此时,将光电二极管PD中所积累的电荷通过像素复位管M1清空并泄放到电源端。T8~T9的时间长度设置为能够充分泄放光电二极管PD中的电荷为目标。
在T9时间点,像素控制信号TX_D置低,此时像素控制管M0关闭,光电二极管PD重新接受光线并积累电荷。
在T10时间点,像素复位信号RS_D置低,像素复位管M1关闭,结束对浮动扩散电容FD点的像素复位状态。
在T9~T11时间段,像素控制管M0关闭,光电二极管PD处于第二次电荷积累阶段。
在T11~T12时间段,像素控制信号TX_D置高一定时间,此时间段内像素控制管M0开启,将光电二极管PD第二次电荷积累阶段所积累的电荷流入浮动扩散电容FD点。FD点电压VFD随着累计电荷量的增加和降低,该电压通过像素放大管M2和像素选择管M3转递到动态监测用像素的输出信号线VDVS上。
在T13时间点设置为待动态监测用像素的输出信号线VDVS的电位稳定位置,此时减法器电路中的开关S2闭合,同时开关S1断开,减法器工作在放大模式,此时开始对动态监测用像素的输出信号线VDVS的电压进行第二次采样。定义此时的VDVS电压为Vaft,减法器输出节点N2的电压为Vout,容易得出N1节点所存储的电荷量为:Q2=(VREF-Vaft)*C1+(VREF-Vout)*C2。根据节点N1的电荷守恒,即Q1=Q2,当电容C1和电容C2的电容容量相等的情况下可以得出:Vout=VREF+Vaft–Vini。此时,便得到了第一次采样电压Vini和第二次采样电压Vaft的差值。需要注意的是,本实施例所涉及的两次采样的原理是通过两次相同时间长度分别对光电二极管所积累的电荷量进行采样作差来判断环境光线强度是否产生变化,因此,T9~T11时间段第二次电荷积累阶段需要设置为同T2~T4时间段第一次电荷积累阶段的时间长度相等。
在T14时间点,减法器电路中的开关S2在开启一段时间后关闭,此时减法器电路输出节点N2的点位保持为:Vout=VREF+Vaft–Vini。
在T15~T16时间段,比较器使能信号CM_EN置高,此时比较器电路打开,对减法器电路的输出电压进行判断。定义比较器的阈值电压为VTH,正阈值电压VSPEC2=VREF+VTH,负阈值电压VSPEC2=VREF–VTH。
同样结合图8,比较器电路的工作原理为:
当减法器输出电压Vout电位处于VSPEC2和VSPEC1之间的情况,比较器CM1和CM2的输出CMPO1和CMPO2均为低电平,经过与非门OR0输出CMPO也为低电平,此时D触发器DFF0的输出VDVSO为初始状态高电平,判断为画面没有产生变化。
当减法器输出电压Vout电位处于大于VSPEC2的情况,比较器CM2的输出CMPO2变化为高电平,经过与非门OR0输出CMPO变化为高电平,此时D触发器DFF0的输出VDVSO为变化低电平,判断为画面产生变化。
当减法器输出电压Vout电位处于小于VSPEC1的情况,比较器CM1的输出CMPO1变化为高电平,经过与非门OR0输出CMPO变化为高电平,此时D触发器DFF0的输出VDVSO为变化低电平,判断为画面产生变化。
在T15时间点,动态监测用像素的选择信号SX_D置低,该行所有动态监测用像素的选择管M3关闭。
在T16时间点,比较器使能信号CM_EN置低,此时比较器关闭,同时动态监测用像素的复位信号RS_D置高,该行的动态监测用像素进入复位状态。
到此,一行动态监测用像素的读取采样过程结束。
1)选择动态监测用像素结构B情况
结合图9,减法器电路的工作原理为:
首先,关于一行像素读取的开始时间点,像素选择信号的状态SX_D为低电平,源跟随电流源负载管M5为关闭状态;同时减法器的开关S1和开关S2均断开,比较器使能信号CM_EN信号也处于关闭状态。
在T0时间点,该行像素的动态监测用像素的像素选择信号SX_D置高电平,此时整行像素的动态监测用像素的源跟随电流源负载管M5开启;由于对数型像素单元的实施光电转换特性,像素单元输出即时将光电信息量通过电压的形式反应到动态监测像素信号线VDVS上,VDVS输出当前像素的信号量。
在T1时间点,减法器电路中的开关S2闭合,动态监测用像素的输出信号线VDVS的状态通过缓冲器BUF1传递到减法器的N0点。
在T2时间点时减法器电路中的开关S1闭合,减法器工作在采样模式,此时开始对动态监测用像素的输出信号线VDVS的电压进行第一次采样。
定义此时的VDVS电压为Vini,此时节点N1所存储的电荷为:Q1=(VREF-Vini)*C1。
在T3时间点,在T7时间点,开关S2断开,此时节点N1的电荷量保持为:Q1=(VREF-Vini)*C1。
在等待一定时间后(定义为两次电压采样间隔),在T4时间点,减法器电路中的开关S2闭合,同时开关S1断开,减法器工作在放大模式,此时开始对动态监测用像素的输出信号线VDVS的电压进行第二次采样。定义此时的VDVS电压为Vaft,减法器输出节点N2的电压为Vout,容易得出N1节点所存储的电荷量为:Q2=(VREF-Vaft)*C1+(VREF-Vout)*C2。
根据节点N1的电荷守恒,即Q1=Q2,当电容C1和电容C2的电容容量相等的情况下可以得出:Vout=VREF+Vaft–Vini。此时,便得到了第一次采样电压Vini和第二次采样电压Vaft的差值。
在T5时间点,减法器电路中的开关S2在开启一段时间后关闭,此时减法器电路输出节点N2的点位保持为:Vout=VREF+Vaft–Vini。
在T6~T7时间段,比较器使能信号CM_EN置高,此时比较器电路打开,对减法器电路的输出电压进行判断。定义比较器的阈值电压为VTH,正阈值电压VSPEC2=VREF+VTH,负阈值电压VSPEC2=VREF–VTH。
同样结合图9,比较器电路的工作原理如下:
当减法器输出电压Vout电位处于VSPEC2和VSPEC1之间的情况,比较器CM1和CM2的输出CMPO1和CMPO2均为低电平,经过与非门OR0输出CMPO也为低电平,此时D触发器DFF0的输出VDVSO为初始状态高电平,判断为画面没有产生变化。
当减法器输出电压Vout电位处于大于VSPEC2的情况,比较器CM2的输出CMPO2变化为高电平,经过与非门OR0输出CMPO变化为高电平,此时D触发器DFF0的输出VDVSO为变化低电平,判断为画面产生变化。
当减法器输出电压Vout电位处于小于VSPEC1的情况,比较器CM1的输出CMPO1变化为高电平,经过与非门OR0输出CMPO变化为高电平,此时D触发器DFF0的输出VDVSO为变化低电平,判断为画面产生变化。
在T6时间点,动态监测用像素的选择信号SX_D置低,该行所有动态监测用像素的源跟随电流源负载管M5关闭。
在T7时间点,比较器使能信号CM_EN置低,此时比较器关闭。
到此,一行动态监测用像素的读取采样过程结束。
3)关于基准电压VREF、正阈值电压VSPEC1和负阈值电压VSPEC2的生成电路
图10为生成减法器电路基准电压VREF及比较器电路的正阈值电压VSPEC1和负阈值电压VSPEC2的一种可选结构。图10所示的电路结构为一种电阻分压式结构,包括两组相同的电阻分压式结构,两组电阻分压式结构串联;电阻分压式结构包括个并联的电阻,每一个电阻串联一个开关VTH_ADJ。
该电阻分压式结构可实现阈值电压VSPEC2/VSPEC1与基准电压VREF之间产生一个确定的电压差VTH。同时电压差产生部分设置为多个电阻并联的形式,同时可通过开关VTH_ADJ进行开关选通,从而可以设定所需的阈值电压范围。
另外,固定的阈值电压容易造成检测问题,如过高的阈值电压,在暗光环境下会出现检测灵敏度低的情况;而过低的阈值电压则容易在亮光场景下过于灵敏的情况出现,因此本实施例所设计的阈值电压生成电路设置为一种根据环境光强进行能够进行动态调整的方式进行,减法器电路基准电压、比较器电路的正阈值电压和负阈值电压的产生的流程如图11所示,包括以下3个步骤:
步骤1:图像传感器正常工作模式时,数字信号处理模块通过正常帧图像整体亮度数据通过算法得出环境光强信息,此功能通常包含在数字信号处理模块中自动曝光处理等过程中,此处不再详述。
步骤2:将步骤1产生的环境光强信息反馈到动态监测用时序控制模块。动态监测用时序控制模块根据光强信息产生阈值电压产生相应的比较器阈值电压控制信号VTH_ADJ。当环境光线强度较高的时候提供较宽的阈值电压范围。而当环境光线强度较弱的时候提供较低的阈值电压范围。
步骤3:比较器阈值电压生成电路根据比较器阈值电压控制信号VTH_ADJ,通过电阻分压的形式产生一对在基准电压VREF上加减电压差值VTH,产生阈值电压VSPEC2/VSPEC1。
(2)差分判断电路和活跃度判断电路
1)差分判断电路
差分判断电路通过一种简易的结构实现当前扫描行是否存在变化的判断功能,其具体结构如图12所示,包括上拉管阵和NMOS管MN1。其中,上拉管阵包括n个PMOS管MPj,j=1,2,…,n,n表示PMOS管的个数,PMOS管的个数与一行像素中动态监测用像素的个数相等;每一个PMOS管MPj的源极接入工作电压VDD,每一个PMOS管MPj的栅极连接比较电路的输出端;NMOS管MN1的栅极接入行复位信号HRST,NMOS管MN1的源极接入公共接地端电压VSS;NMOS管MN1的漏极和每一个PMOS管MPj的漏极连接活跃度判断电路的输入端,NMOS管MN1与一个或多个PMOS管Mpj共同输出行状态信号HSTATE。
差分判断电路的工作原理为:当比较器电路输出信号VDVSO中任意有一个或者多个状态为低电平状态时,输出行状态信号HSTATE为高电平,代表该行存在变化。然后在该行动作结束的时间点通过行复位信号HRST置高电平将行状态信号复位为低电平。
2)活跃度判断电路
活跃度判断电路的电路结构如图13所示,包括使能信号生成部分和选择器部分。其中,使能信号生成部分包括多段串联的D触发器DFFk,k=1,2,…,T,T表示串联的D触发器的段数,选择器部分包括多个与门ANDm和或门OR1,m=1,2,…,U,U表示与门的总数,本实施例中U=T=3;每一段D触发器DFFk的CLK端接入行状态信号HSTATE,每一段D触发器DFFk的CLR端接入帧复位信号VRST,每一个D触发器DFFk的Q端输出使能信号Qk至对应的与门的一个输入端;每一个与门的另一个输入端接入活跃度调整信号ACT_ADJm,每一个与门的输出端连接或门的OR1输入端,或门OR1的输出端输出模式切换使能信号LP_EN。
3)差分判断电路和活跃度判断电路的工作状态
以下结合图14所示的行状态判断电路及活跃度判断电路的工作时序,对行状态判断电路和活跃度判断电路的状态进行详细说明。
如图14所示,一帧画面的时序从帧复位开始,然后通行选择模块依次读取每一行的像素,最后再次进入帧复位状态,然后进入下一帧动作。此处说明首先假定通过前端比较器输出状态判断,一帧画面中存在第2行/第3行/第5行等3行以上的像素行存在状态变化。
首先,一帧画面读取动作开始前为帧复位区间,该区间中行复位信号置高,将差分判断单元中的行状态输出信号HSTATE进行复位为低电平,帧复位信号VRST将活跃度判断电路中的使能信号生成部分的D触发器输出Q1~Q3进行复位为低电平,此时选择器部分输出的工作状态切换信号LP_EN也为低电平。
进入第1行像素读取,首先行复位信号变化为低电平,解除行复位状态。第1行无变化检出,因此在该行读取区间差分判断单元中的行状态输出信号HSTATE保持低电平,活跃度判断电路中的使能信号生成部分的D触发器输出Q1~Q3保持低电平。
进入第2行像素读取,首先行复位信号变化为低电平,解除行复位状态。第2行有变化检出,因此在该行读取区间差分判断单元中的行状态输出信号HSTATE变化为高电平,活跃度判断电路中的使能信号生成部分的第1段D触发器DFF1输出Q1变化为高电平,第2段D触发器DFF2和第3段D触发器DFF3的输出Q2~Q3保持低电平。在该行读取动作的最后行复位信号置高电平,行状态输出信号HSTATE重新变化为低电平。
进入第3行像素读取,首先行复位信号变化为低电平,解除行复位状态。第3行有变化检出,因此在该行读取区间差分判断单元中的行状态输出信号HSTATE变化为高电平,活跃度判断电路中的使能信号生成部分的第1段D触发器DFF1输出Q1保持高电平,第2段D触发器DFF2输出Q2变化为高电平,第3段D触发器DFF3的输出Q3保持低电平。在该行读取动作的最后行复位信号置高电平,行状态输出信号HSTATE重新变化为低电平。
进入第4行像素读取,首先行复位信号变化为低电平,解除行复位状态。第4行无变化检出,因此在该行读取区间差分判断单元中的行状态输出信号HSTATE保持为低电平,活跃度判断电路中的使能信号生成部分的第1段D触发器DFF1输出Q1保持高电平,第2段D触发器DFF2输出Q2保持为高电平,第3段D触发器DFF3的输出Q3保持低电平。
进入第5行像素读取,首先行复位信号变化为低电平,解除行复位状态。第5行有变化检出,因此在该行读取区间差分判断单元中的行状态输出信号HSTATE变化为高电平,活跃度判断电路中的使能信号生成部分的第1段D触发器DFF1输出Q1保持高电平,第2段D触发器DFF2输出Q2保持为高电平,第3段D触发器DFF3的输出Q3变化为高电平。在该行读取动作的最后行复位信号置高电平,行状态输出信号HSTATE重新变化为低电平。
至此,3段D触发器的输出均已经变化为高电平,后续行读取的过程中无论是否存在状态变化,活跃度判断电路中的D触发器输出均不会再产生变化直至一帧结束帧复位信号VRST置低电平才会将D触发器输出信号Q1~Q3置低。
活跃度判断单元中的选择器通过活跃度设定信号ACT_ADJ[1:3]设定选择输出Q1~Q3中的其中一个信号的状态作为最终的工作状态切换信号LP_EN。例如:当ACT_ADJ[3]为高电平,ACT_ADJ[1:2]为低电平时,选择第3段D触发器DFF3的输出Q3。则此时,当一帧画面中存在3行及以上像素存在状态变化时,即判断达到活跃度阈值,图像传感器需进入正常的图像视频输出模式。
3、动态监测用时序控制模块
如图15所示,动态监测用时序控制模块包括动态监测用控制信号生成单元31和定时单元32。
(1)动态监测用时序控制模块
动态监测用时序控制模块的输入包含基准低速时钟CK0和模式切换使能信号LP_EN,提供动态监测模块所需要的控制信号C1(C1包含多种控制信号,详细见后述内容),动态监测用时序控制模块基于基准低速时钟CK0工作。
动态监测用控制信号生成单元31用于接收基准低速时钟CK0和模式切换使能信号LP_EN,根据基准低速时钟CK0和模式切换使能信号LP_EN生成动态监测用像素驱动控制信号和动态监测用时序控制信号C1,将动态监测用像素驱动控制信号输出至行选择模块,将动态监测用时序控制信号C1输出至动态监测模块;动态监测用像素驱动控制信号包括动态监测监测用像素控制信号TX/SX/RS_DVS和行地址选择信号ADD_DVS,动态监测用时序控制信号C1包括行复位信号HRST、帧复位信号VRST、减法器电路控制信号、比较器电路控制信号、差分判断电路控制信号和活跃度判断电路控制信号。
需补充说明的是,为了提高动态监测的扫描帧率,本实施例提出基于逐行扫描判断的工作方式,当动态监测用控制信号产生单元通过接受动态监测模块输出的模式切换使能信号LP_EN,可以设置当模式切换使能信号LP_EN变化为高的行的时间点触发帧复位信号VRST脉冲,提前结束当前帧的扫描进入到下一帧。
(2)定时单元
定时单元32通过对帧复位信号VRST的脉冲个数进行计数,当计数值达到预置的计数阈值的时候,输出图像传感器使能信号CIS_EN到时序控制模块。定时单元32接收基准低速时钟CK0和模式切换使能信号LP_EN,根据基准低速时钟CK0和模式切换使能信号LP_EN生成图像传感器使能信号CIS_EN,将图像传感器使能信号CIS_EN输出至时序控制模块。
另外,当图像传感器处于正常工作状态且在达到计数阈值之前模式切换使能信号LP_EN有低电平状态切换为高电平状态,定时单元32从最后一个变化结束的时间点重新开始计数。
4、行选择模块
图16给出了行选择模块结构的局部示意图,该局部示意图可用于向一个像素区块输出像素控制信号。如图16所示,行选择模块包括多个动态监测用像素驱动单元i41和多个常规像素驱动单元d42。
其中,动态监测用像素驱动单元i41用于向动态监测用像素D输出动态监测用像素控制信号;当动态监测用像素D为动态监测用像素结构A时,动态监测用像素驱动单元i41输出动态监测用像素控制信号TX_Di/SX_Di/RS_Di,当动态监测用像素D为动态监测用像素结构B时,动态监测用像素驱动单元i41输出动态监测用像素控制信号SX_Di。
常规像素驱动单元u42用于向常规像素输出常规像素控制信号TXu/SXu/RSu;d=0,1,…,U,U表示常规像素驱动单元的总数。
动态监测用像素驱动模块的配置个数与像素阵列中配置动态监测用像素的行数相对应。本实施例所出示的为每8行配置一个动态监测用像素驱动模块。实际运用过程中也可以为其他组合。
5、时序控制模块
本实施例中,图1所示的时序控制模块5根据图像传感器使能信号CIS_EN对图像传感器的工作模式进行切换;图像传感器的工作模式包括正常工作模式和低功耗工作模式。具体分为以下几种情况:
第一种情况:图像传感器处于低功耗模式,当动态监测模块2持续没有检测到画面变化时,模式切换使能信号LP_EN持续为低电平无效状态,此时定时模块输出CIS_EN保持为低电平状态,图像传感器只保留动态监测部分的工作。其他部分如列ADC6、锁相环及分频器7以及数字信号处理及输出模块8均停止工作。
第二种情况:图像传感器处于低功耗模式,当动态监测模块2检测到画面变化时,模式切换使能信号LP_EN变为高电平有效状态,使得图像传感器进入正常工作模式后,定时器输出CIS_EN即输出高电平有效状态,此时全像素正常输出图像。
第三种情况:图像传感器处于正常模式,同时动态监测模块2检测也持续监测画面状态,若在达到计数阈值之前,画面监测模块检测到画面产生变化,定时模块从最后一个变化结束的时间点重新开始计数。
第四种情况:图像传感器处于正常模式,同时动态监测模块2检测也持续监测画面状态,若在达到计数阈值后,画面监测模块没有检测到画面产生变化,定时模块输出CIS_EN从高电平变化为低电平状态,图像传感器只保留动态监测部分的工作;其他部分如列ADC6、锁相环及分频器7、数字信号处理及输出模块8等部分均停止工作。
图17示出了画面变化前后全像素图像的帧数据和动态监测像素图像的帧数据。其中,分图a为画面变化前全像素图像帧数据示意图,此时画面中的黑色球形物体在画面的右上角,假定在此之前画面都没有变化。如分图b所示,动态监测像素的帧数据则显示为空白,判断当前帧画面没有变化。当画面中的黑色球形物体从分图a的右上角移动到分图c的左下角后,动态监测像素的帧数据如分图d所示,动态监测像素的帧数据判断为画面右上角和左下角均存在画面变化。
综上所示,本实施例提供的一种低功耗图像传感器基于常规的图像传感器的像素结构,通过调用小部分的像素单元来进行画面监测的功能,当直接采用现有CIS像素结构时,不需要重新设计动态监测用像素,通过增加一些外围电路和特定的时序控制的方式实现了在同一个芯片中进行画面正常拍摄和动态监测功能,很大程度降低设计和制造成本。当像素单元采用对数型光电转换的结构,共用同一套外围动态监测模块2,可以实现更高的动态范围和扫描速度。
对于物联网应用中的可视门铃以及没有电源布线条件的户外监控和智能行车记录仪等应用场景,在长时间处于静止状态的环境下,能够大幅降低设备的功耗,延长设备工作时长的目的。
以上所述的具体实施方式,对本发明的目的、技术方案和有益效果进行了进一步详细说明,所应理解的是,以上所述仅为本发明的具体实施方式而已,并不用于限定本发明的保护范围,凡在本发明的精神和原则之内,所做的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。
Claims (10)
1.一种低功耗图像传感器,其特征在于,包括
像素阵列(1),像素阵列(1)包含多个动态监测用像素单元,动态监测用像素单元用于根据行选择模块(4)输出的动态监测用像素控制信号采集拍摄对象的光信号,将光信号转换为电压信号VDVS后输出至动态监测模块(2);
动态监测模块(2),用于根据动态监测用时序控制模块(3)输出的动态监测用时序控制信号C1对电压信号VDVS进行处理,输出模式切换使能信号LP_EN至动态监测用时序控制模块(3);
动态监测用时序控制模块(3),用于根据基准低速时钟CK0和模式切换使能信号LP_EN向动态监测模块(2)输出动态监测用时序控制信号C1,向行选择模块(4)输出动态监测用像素驱动控制信号,以及向时序控制模块(5)输出图像传感器使能信号CIS_EN;
行选择模块(4),用于根据动态监测用像素驱动控制信号向像素阵列(1)输出动态监测用像素控制信号;
时序控制模块(5),用于根据图像传感器使能信号CIS_EN对图像传感器的工作模式进行切换;图像传感器的工作模式包括正常工作模式和低功耗工作模式。
2.根据权利要求1所述的一种低功耗图像传感器,其特征在于,像素阵列(1)基于RGGB拜耳阵列;像素阵列(1)包括多个像素区块(11);每一个像素区块(11)的规模为m×m;每一个像素区块(11)的其中一个G像素的位置为一个动态监测用像素D,动态监测用像素D为白色像素。
3.根据权利要求2所述的一种低功耗图像传感器,其特征在于,动态监测用像素D的其中一种结构为动态监测用像素结构A;动态监测用像素结构A包括光电二极管PD、MOS管M0、MOS管M1、MOS管M2和MOS管M3;光电二极管PD的阳极接地,光电二极管PD的阴极连接MOS管M0的源极;MOS管M0的栅极接入动态监测用像素控制信号TX_Di,MOS管M0的漏极连接MOS管M2的栅极;MOS管M1的源极连接在MOS管M0的漏极与MOS管M2的栅极之间,MOS管M1的栅极接入动态监测用像素控制信RS_Di;MOS管M2的源极连接MOS管M3的漏极,MOS管M3的栅极接入动态监测用像素控制信号SX_Di,MOS管M3的源极输出VDVS电压信号;位于同一列的多个动态监测用像素结构A输出的VDVS电压信号通过同一条VDVS信号线输入动态监测模块(2)的输入端;i=0,2,…,R,R表示像素阵列(1)中接收动态监测用像素控制信号的行数。
4.根据权利要求3所述的一种低功耗图像传感器,其特征在于,动态监测用像素D的另一种结构为动态监测用像素结构B;
动态监测用像素结构B包括对数光电转换部分;对数光电转换部分包括光电二极管PD、反向放大器和MOS管M1;光电二极管PD的阳极接地,光电二极管PD的阴极连接反向放大器的输入端,反向放大器的输出端连接MOS管M1的栅极,MOS管M1的源极连接光电二极管PD的阴极;
动态监测用像素结构B还包括源极电压跟随电路缓冲电路部分;源极电压跟随电路缓冲电路部分包括MOS管M2和MOS管M3;MOS管M2的栅极连接到MOS管M1的栅极与反向放大器的输出端之间,MOS管M2的源极连接MOS管M3的漏极,MOS管M3的源极接地,MOS管M3的栅极接入动态监测用像素控制信号SX_Di;VDVS电压信号从MOS管M2的源极与MOS管M3的漏极之间输出;位于同一列的多个动态监测用像素结构B输出的VDVS电压信号通过同一条VDVS信号线输入动态监测模块(2)的输入端。
5.根据权利要求1所述的一种低功耗图像传感器,其特征在于,动态监测模块(2)包括多个动态监测单元;每一个动态监测单元包括减法器电路(21)、比较器电路(22)、差分判断电路(23)和活跃度判断电路(24);减法器电路(21)、比较器电路(22)、差分判断电路(23)和活跃度判断电路(24)顺次连接,减法器电路(21)的输入端接收电压信号VDVS,活跃度判断电路的输出端输出模式切换使能信号LP_EN,减法器电路(21)、比较器电路(22)、差分判断电路(23)和活跃度判断电路(24)分别接入对应的动态监测用时序控制信号C1。
6.根据权利要求5所述的一种低功耗图像传感器,其特征在于,
减法器电路(21)包括输入缓冲器BUF1、运算放大器OPA1、电容C1、电容C2、开关S1和开关S2;VDVS电压信号通过开关S2进入输入缓冲器BUF1的输入端,输入缓冲器BUF1的输出端连接电容C2的一端,电容C2的另一端连接运算放大器OPA1的反相输入端,运算放大器OPA1的同相输入端接入基准电压VREF,运算放大器OPA1的输出端连接比较器电路(22)的输入端;电容C1的一端连接在电容C2与运算放大器OPA1的反相输入端之间,电容C1的另一端连接在运算放大器OPA1的输出端与比较器电路(22)的输入端之间;开关S1跨接在电容C1的两端;
比较器电路(22)包括比较器CM1、比较器CM2、或门OR0和D触发器DFF0;预算放大器OPA1的输出端分别连接比较器CM1的同相输入端和比较器CM2的反相输入端,比较器CM1的反相输入端接收正阈值电压VSPEC1,比较器CM2的同相输入端接收负阈值电压VSPEC2,比较器CM1的输出端连接或门OR0的一个输入端,比较器CM2的输出端连接或门OR0的另一个输入端;或门OR0的输出端连接D触发器DFF0的CLK端,D触发器—
DFF0的Q端连接差分判断电路(23)的输入端;比较器CM1、比较器CM2和D触发器DFF0的CLR端均接入比较器使能信号CM_EN;
生成基准电压VREF、正阈值电压VSPEC1和负阈值电压VSPEC2的电路,包括两组相同的电阻分压式结构,两组电阻分压式结构串联;电阻分压式结构包括个并联的电阻,每一个电阻串联一个开关VTH_ADJ。
7.根据权利要求5所述的一种低功耗图像传感器,其特征在于,
动态监测用时序控制信号C1包括行复位信号HRST和帧复位信号VRST;
差分判断电路(23)包括上拉管阵和NMOS管MN1;上拉管阵包括多个PMOS管MPj,j=1,2,…,S,S表示PMOS管的个数,PMOS管的个数与一行像素中动态监测用像素的个数相等;每一个PMOS管MPj的源极接入工作电压VDD,每一个PMOS管MPj的栅极连接比较电路(22)的输出端;NMOS管MN1的栅极接入行复位信号HRST,NMOS管MN1的源极接入公共接地端电压VSS;NMOS管MN1的漏极和每一个PMOS管MPj的漏极连接活跃度判断电路(24)的输入端,NMOS管MN1与一个或多个PMOS管Mpj共同输出行状态信号HSTATE;
活跃度判断电路(24)包括使能信号生成部分和选择器部分;使能信号生成部分包括多段串联的D触发器DFFk,k=1,2,…,T,T表示串联的D触发器的段数,选择器部分包括多个与门ANDm和或门OR1,m=1,2,…,U,U表示与门的总数,U=T;每一段D触发器DFFk的CLK端接入行状态信号HSTATE,每一段D触发器DFFk的CLR端接入帧复位信号VRST,每一个D触发器DFFk的Q端输出使能信号Qk至对应的与门的一个输入端;每一个与门的另一个输入端接入活跃度调整信号ACT_ADJm,每一个与门的输出端连接或门的OR1输入端,或门OR1的输出端输出模式切换使能信号LP_EN。
8.根据权利要求1所述的一种低功耗图像传感器,其特征在于,动态监测用时序控制模块(3)包括
动态监测用控制信号生成单元(31),用于接收基准低速时钟CK0和模式切换使能信号LP_EN,根据基准低速时钟CK0和模式切换使能信号LP_EN生成动态监测用像素驱动控制信号和动态监测用时序控制信号C1,将动态监测用像素驱动控制信号输出至行选择模块(4),将动态监测用时序控制信号C1输出至动态监测模块(2);动态监测用像素驱动控制信号包括动态监测监测用像素控制信号TX/SX/RS_DVS和行地址选择信号ADD_DVS,动态监测用时序控制信号C1包括行复位信号HRST、帧复位信号VRST、减法器电路控制信号、比较器电路控制信号、差分判断电路控制信号和活跃度判断电路控制信号;
定时单元(32),用于接收基准低速时钟CK0和模式切换使能信号LP_EN,根据基准低速时钟CK0和模式切换使能信号LP_EN生成图像传感器使能信号CIS_EN,将图像传感器使能信号CIS_EN输出至时序控制模块(5);
当图像传感器处于正常工作状态且在达到计数阈值之前模式切换使能信号LP_EN有低电平状态切换为高电平状态,定时单元(32)从最后一个变化结束的时间点重新开始计数。
9.根据权利要求4所述的一种低功耗图像传感器,其特征在于,行选择模块(4)包括多个动态监测用像素驱动单元i(41)和多个常规像素驱动单元d(42);
动态监测用像素驱动单元i(41)用于向动态监测用像素D输出动态监测用像素控制信号;当动态监测用像素D为动态监测用像素结构A时,动态监测用像素驱动单元i(41)输出动态监测用像素控制信号TX_Di/SX_Di/RS_Di,当动态监测用像素D为动态监测用像素结构B时,动态监测用像素驱动单元i(41)输出动态监测用像素控制信号SX_Di;
常规像素驱动单元u42用于向常规像素输出常规像素控制信号TXu/SXu/RSu;d=0,1,…,U,U表示常规像素驱动单元的总数。
10.根据权利要求8所述的一种低功耗图像传感器,其特征在于,
若图像传感器的当前工作模式为低功耗模式,当模式切换使能信号LP_EN为低电平无效状态且图像传感器使能信号CIS_EN为低电平无效状态时,则图像传感器继续保持低功耗工作模式,时序控制模块(5)控制列ADC(6)、锁相环及分频器(7)和数字信号处理及输出模块(8)停止工作;
若图像传感器的当前工作模式为低功耗模式,当模式切换使能信号LP_EN为高电平无效状态且图像传感器使能信号CIS_EN为高电平无效状态时,则图像传感器由低功耗工作模式切换为正常工作模式,时序控制模块(5)控制列ADC(6)、锁相环及分频器(7)和数字信号处理及输出模块(8)正常工作;
若图像传感器的当前工作模式为正常工作模式,当定时单元(32)内计数值达到计数阈值、模式切换使能信号LP_EN为低电平无效状态且图像传感器使能信号CIS_EN由高电平状态变化为低电平状态时,则图像传感器由正常工作模式切换为低功耗工作模式,序控制模块(5)控制列ADC(6)、锁相环及分频器(7)和数字信号处理及输出模块(8)停止工作。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310623895.3A CN116506750A (zh) | 2023-05-30 | 2023-05-30 | 一种低功耗图像传感器 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310623895.3A CN116506750A (zh) | 2023-05-30 | 2023-05-30 | 一种低功耗图像传感器 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN116506750A true CN116506750A (zh) | 2023-07-28 |
Family
ID=87328450
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202310623895.3A Pending CN116506750A (zh) | 2023-05-30 | 2023-05-30 | 一种低功耗图像传感器 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN116506750A (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN118301468A (zh) * | 2024-06-06 | 2024-07-05 | 深圳市积加创新技术有限公司 | 一种低功耗aov摄像机的图像传感器复位方法及装置 |
-
2023
- 2023-05-30 CN CN202310623895.3A patent/CN116506750A/zh active Pending
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN118301468A (zh) * | 2024-06-06 | 2024-07-05 | 深圳市积加创新技术有限公司 | 一种低功耗aov摄像机的图像传感器复位方法及装置 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US8729451B2 (en) | Multilevel reset voltage for multi-conversion gain image sensor | |
US9344649B2 (en) | Floating point image sensors with different integration times | |
CN110753192B (zh) | 一种集成电路图像传感器 | |
JP3969190B2 (ja) | 撮像信号処理方法、撮像信号処理装置、撮像装置 | |
US8619168B2 (en) | Image sensor with high dynamic range imaging and integrated motion detection | |
US7830436B2 (en) | Method of controlling semiconductor device, signal processing method, semiconductor device, and electronic apparatus | |
US8735795B2 (en) | Image sensor with integrated ambient light detection | |
JP5247007B2 (ja) | 撮像装置及び撮像システム | |
US7502060B2 (en) | Solid-state imaging device providing wide dynamic range and high low-illuminance sensitivity | |
CN1909379B (zh) | 互补金属氧化物半导体图像传感器中低功耗的模数转换器 | |
US20060261251A1 (en) | In-pixel kTC noise suppression using circuit techniques | |
WO2016002382A1 (ja) | 固体撮像素子及び電子情報機器 | |
JP5012188B2 (ja) | 固体撮像装置 | |
US8547452B2 (en) | Image processing apparatus, image processing method, and image processing program | |
CN109151293A (zh) | 具有增益补偿的hdr图像传感器、读出电路及方法 | |
JP2018207488A (ja) | 撮像装置 | |
CN116506750A (zh) | 一种低功耗图像传感器 | |
JP2008283467A (ja) | 固体撮像装置 | |
CN117479034A (zh) | 具有无源差分检测电路系统的低功率事件驱动像素及用于其的复位控制电路 | |
WO2020086287A1 (en) | Ultra-high dynamic range cmos sensor | |
Belmonte et al. | Linear high-dynamic-range bouncing pixel with single sample | |
US8902343B1 (en) | Charge pump for pixel floating diffusion gain control | |
KR20040093876A (ko) | 리셋전압 보상부를 구비한 이미지센서 | |
JP4650445B2 (ja) | クランプ信号生成装置およびクランプ信号生成方法 | |
CN221409010U (zh) | 传感器像素单元、信号处理电路和电子设备 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |