CN111510651A - 一种图像传感电路、图像传感器及终端设备 - Google Patents
一种图像传感电路、图像传感器及终端设备 Download PDFInfo
- Publication number
- CN111510651A CN111510651A CN202010339135.6A CN202010339135A CN111510651A CN 111510651 A CN111510651 A CN 111510651A CN 202010339135 A CN202010339135 A CN 202010339135A CN 111510651 A CN111510651 A CN 111510651A
- Authority
- CN
- China
- Prior art keywords
- signal
- voltage
- circuit
- comparator
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/70—SSIS architectures; Circuits associated therewith
- H04N25/76—Addressed sensors, e.g. MOS or CMOS sensors
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/70—SSIS architectures; Circuits associated therewith
- H04N25/71—Charge-coupled device [CCD] sensors; Charge-transfer registers specially adapted for CCD sensors
- H04N25/75—Circuitry for providing, modifying or processing image signals from the pixel array
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Transforming Light Signals Into Electric Signals (AREA)
Abstract
本申请属于图像传感器技术领域,提供一种图像传感电路、图像传感器及终端设备。本申请实施例所提供的图像传感电路,在处于图像传感模式时,通过相关双采样电路对像素结构在一次曝光完成后依次输出的复位信号和模拟图像信号进行差分,得到第一差分信号,然后通过模数转换电路将第一差分信号转换为数字图像信号后输出,能够获取场景的完整图像信息;在处于动态视觉传感模式时,通过相关双采样电路对像素结构在连续两次曝光完成后输出的两个模拟图像信号进行差分,得到第二差分信号,然后通过比较电路根据第二差分信号的电压大小输出对应的数字图像信号,能够仅输出光强发生变化的像素的地址和信息,识别场景变化。
Description
技术领域
本申请属于图像传感器(Image Sensor)技术领域,尤其涉及一种图像传感电路、图像传感器及终端设备。
背景技术
目前,传统的图像传感器主要包括互补金属氧化物半导体(Complementary MetalOxide Semiconductor,CMOS)图像传感器(CMOS Image Sensor,CIS)和电荷耦合元件(Charge-coupled Device,CCD)图像传感器。传统的CMOS图像传感器的视觉图像采集方式是按照固定频率采集图像帧,存在高冗余、高延迟、高噪声、低动态范围和高数据量等缺陷。动态视觉传感器(Dynamic Vision Sensor,DVS)是一种新型的CMOS图像传感器,其工作原理模仿生物视觉的工作机理,仅输出光强发生变化的像素的地址和信息,而非被动地依次读出图像帧内每个像素的信息,可以从源头上消除冗余数据,具有输出随场景变化实时动态响应、图像超稀疏表示、事件异步输出等特点,广泛应用于目标跟踪、实时监控、工业自动化和机器人等领域。
然而,现有的动态视觉传感器仅能输出光强发生变化的像素的地址和信息,只能识别场景变化,无法获取场景的完整图像信息。
发明内容
本申请的目的在于提供一种图像传感电路、图像传感器及终端设备,旨在解决现有的动态视觉传感器仅能输出光强发生变化像素的地址和信息,只能识别场景变化,无法获取场景的完整图像信息的问题。
本申请实施例的第一方面提了一种图像传感电路,包括像素结构、相关双采样电路、通路选择电路、模数转换电路和比较电路;
所述像素结构、所述相关双采样电路和所述通路选择电路依次电性连接,所述通路选择电路还与所述模数转换电路和所述比较电路电性连接;
在所述图像传感电路处于图像传感模式时,所述通路选择电路用于接通所述相关双采样电路与所述模数转换电路之间的电性连接,所述像素结构用于在一次曝光完成后依次输出复位信号和模拟图像信号,所述相关双采样电路用于对所述复位信号和所述模拟图像信号进行差分后得到第一差分信号,所述模数转换电路用于将所述第一差分信号转换为数字图像信号后输出;
在所述图像传感电路处于动态视觉传感模式时,所述通路选择电路用于接通所述相关双采样电路与所述比较电路之间的电性连接,所述像素结构用于在一次曝光完成后输出第一模拟图像信号、在下一次曝光完成后输出第二模拟图像信号,所述相关双采样电路用于对所述第一模拟图像信号和所述第二模拟图像信号进行差分后得到第二差分信号,所述比较电路用于根据所述第二差分信号的电压大小输出对应的数字图像信号。
在一个实施例中,所述相关双采样电路包括电容器、第一比较器和第一开关;
所述电容器的正极与所述像素结构电性连接,所述电容器的负极与所述第一比较器的负输入端和所述第一开关的一端电性连接,所述所述第一比较器的正输入端用于接入斜坡信号,所述第一比较器的输出端与所述第一开关的另一端和所述通路选择电路电性连接;
在所述图像传感电路处于图像传感模式时,所述第一开关的一端和另一端在所述像素结构输出所述复位信号时接通、在所述像素结构输出所述模拟图像信号时断开,所述电容器用于存储所述复位信号,所述第一比较器用于对所述复位信号和所述模拟图像信号进行差分后得到第一差分信号并输出至所述模数转换电路;
在所述图像传感电路处于动态视觉传感模式时,所述第一开关的一端和另一端断开,所述电容器用于存储所述第一模拟图像信号,所述第一比较器用于对第一模拟图像信号和所述第二模拟图像信号进行差分后得到第二差分信号并输出至所述比较电路。
在一个实施例中,所述通路选择电路包括第二开关;
所述第二开关的输入端与所述相关双采样电路电性连接,所述第二开关的第一输出端与所述模数转换电路电性连接,所述第二开关的第二输出端与所述比较电路电性连接;
在所述图像传感电路处于图像传感模式时,所述第二开关的输入端和第一输出端接通,以接通所述相关双采样电路与所述模数转换电路之间的电性连接;
在所述图像传感电路处于动态视觉传感模式时,所述第二开关的输入端和第二输出端接通,以接通所述相关双采样电路与所述比较电路之间的电性连接。
在一个实施例中,所述比较电路包括第二比较器;
所述第二比较器的负输入端与所述通路选择电路电性连接,所述第二比较器的正输入端用于接入阈值电压信号;
在所述图像传感电路处于动态视觉传感模式时,所述第二比较器用于比较所述第二差分信号的电压与所述阈值电压信号的电压大小,在所述第二差分信号的电压大于所述阈值电压信号的电压时输出第一数字图像信号,在所述第二差分信号的电压小于所述阈值电压信号的电压时输出第二数字图像信号,在所述第二差分信号的电压等于所述阈值电压信号的电压时无输出。
在一个实施例中,所述比较电路包括第二比较器和第三比较器;
所述第二比较器的负输入端和所述第三比较器的负输入端与所述通路选择电路电性连接,所述第二比较器的正输入端和所述第三比较器的正输入端用于接入阈值电压信号;
在所述图像传感电路处于动态视觉传感模式时,所述第二比较器和所述第三比较器用于比较所述第二差分信号的电压与所述阈值电压信号的电压大小,所述第二比较器在所述第二差分信号的电压大于所述阈值电压信号的电压时输出第一数字图像信号,所述第三比较器在所述第二差分信号的电压小于所述阈值电压信号的电压时输出第二数字图像信号,所述第二比较器和所述第三比较器在所述第二差分信号的电压等于所述阈值电压信号的电压时无输出。
在一个实施例中,所述比较电路包括第二比较器和第三比较器;
所述第二比较器的负输入端和所述第三比较器的正输入端与所述通路选择电路电性连接,所述第二比较器的正输入端用于接入正阈值电压信号,所述第三比较器的负输入端用于接入负阈值电压信号;
在所述图像传感电路处于动态视觉传感模式时,所述第二比较器用于比较所述第二差分信号的电压与所述正阈值电压信号的电压大小,在所述第二差分信号的电压大于所述正阈值电压信号的电压时输出第一数字图像信号,在所述第二差分信号的电压小于或等于所述正阈值电压信号的电压时输出第二数字图像信号,所述第三比较器用于比较所述第二差分信号的电压与所述负阈值电压信号的电压大小,在所述第二差分信号的电压大于或等于所述负阈值电压信号的电压时输出第二数字图像信号,在所述第二差分信号的电压小于所述负阈值电压信号的电压时输出第三数字图像信号。
本申请实施例的第二方面提供一种图像传感器,包括由M行×N列如本申请实施例的第一方面所述的图像传感电路组成的图像传感电路阵列;
其中,M≥1、N≥1且M、N为整数。
本申请实施例的第三方面提供一种终端设备,包括处理器以及与所述处理器电性连接的显示屏和如本申请实施例的第二方面所述的图像传感器;
所述处理器用于:
在所述显示屏熄灭时,控制所述图像传感器进入动态视觉传感模式;
在所述图像传感器处于动态视觉传感模式时,检测所述图像传感器是否输出第一预设目标的数字图像信号;
在所述图像传感器输出第一预设目标的数字图像信号时,点亮所述显示屏。
在一个实施例中,所述处理器还用于:
在所述图像传感器处于动态视觉传感模式时,检测所述图像传感器是否输出第二预设目标的数字图像信号;
在所述图像传感器输出第二预设目标的数字图像信号时,运行第一预设应用。
在一个实施例中,所述处理器还用于:
在运行第二预设应用时,控制所述图像传感器进入图像传感模式。
本申请实施例的第一方面提供的图像传感电路,在处于图像传感模式时,通过相关双采样电路对像素结构在一次曝光完成后依次输出的复位信号和模拟图像信号进行差分,得到第一差分信号,然后通过模数转换电路将第一差分信号转换为数字图像信号后输出,能够获取场景的完整图像信息;在处于动态视觉传感模式时,通过相关双采样电路对像素结构在连续两次曝光完成后输出的两个模拟图像信号进行差分,得到第二差分信号,然后通过比较电路根据第二差分信号的电压大小输出对应的数字图像信号,能够仅输出光强发生变化的像素的地址和信息,识别场景变化。
本申请实施例的第二方面提供的图像传感器,能够兼容动态视觉传感器和传统的图像传感器的功能,既能够获取场景的完整图像信息,又能够识别场景变化。
本申请实施例的第三方面提供的终端设备,通过在显示屏熄灭时,控制图像传感器进入动态视觉传感模式;在图像传感器处于动态视觉传感模式时,检测图像传感器是否输出第一预设目标的数字图像信号;以在图像传感器输出第一预设目标的数字图像信号时,点亮显示屏,可以在动态视觉传感模式下,通过检测图像传感器是否输出第一预设目标的数字图像信号,来实现对显示屏的亮灭状态的控制。
附图说明
图1为本申请实施例提供的图像传感电路的结构示意图;
图2为本申请实施例提供的图像传感电路的电路原理图;
图3为本申请实施例提供的图像传感电路处于图像传感模式时的节点电压波形图;
图4为本申请实施例提供的图像传感电路处于动态视觉传感模式时的节点电压波形图;
图5为本申请实施例提供的图像传感器的结构示意图;
图6为本申请实施例提供的终端设备的结构示意图。
具体实施方式
为了使本申请所要解决的技术问题、技术方案及有益效果更加清楚明白,以下结合附图及实施例,对本申请进行进一步详细说明。应当理解,此处所描述的具体实施例仅仅用以解释本申请,并不用于限定本申请。
需要说明的是,当元件被称为“固定于”或“设置于”另一个元件,它可以直接在另一个元件上或者间接在该另一个元件上。当一个元件被称为是“连接于”另一个元件,它可以是直接连接到另一个元件或间接连接至该另一个元件上。
需要理解的是,术语“长度”、“宽度”、“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系,仅是为了便于描述本申请和简化描述,而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作,因此不能理解为对本申请的限制。
此外,术语“第一”、“第二”仅用于描述目的,而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此,限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个该特征。在本申请的描述中,“多个”的含义是两个或两个以上,除非另有明确具体的限定。
如图1所示,本申请实施例提供一种图像传感电路1,包括像素结构10、相关双采样电路20、通路选择电路30、模数转换电路40和比较电路50;
像素结构10、相关双采样电路20和通路选择电路30依次电性连接,通路选择电路30还与模数转换电路40和比较电路50电性连接。
在应用中,图像传感电路具体可以是适用于CMOS图像传感器的CMOS图像传感电路,像素结构可以根据实际需要选择适用于CMOS图像传感器和相关双采样电路的PPD像素(Pinned Photodiode Pixel)结构。相关双采样(Correlated Double Sampling,CDS)电路可以根据实际需要选择具有相关双采样功能的电路结构。模数转换电路可以通过模数转换器、模数转换芯片等具有模数转换功能的电子元器件实现。比较电路可以通过比较器、比较芯片等具有比较功能的电子元器件实现。
本申请实施例提供的图像传感电路1的工作原理为:
在图像传感电路1处于图像传感模式时,通路选择电路30用于接通相关双采样电路20与模数转换电路40之间的电性连接,像素结构10用于在一次曝光完成后依次输出复位信号和模拟图像信号,相关双采样电路20用于对复位信号和模拟图像信号进行差分后得到第一差分信号,模数转换电路40用于将第一差分信号转换为数字图像信号后输出;
在图像传感电路1处于动态视觉传感模式时,通路选择电路30用于接通相关双采样电路20与比较电路50之间的电性连接,像素结构10用于在一次曝光完成后输出第一模拟图像信号、在下一次曝光完成后输出第二模拟图像信号,相关双采样电路20用于对第一模拟图像信号和第二模拟图像信号进行差分后得到第二差分信号,比较电路50用于根据第二差分信号的电压大小输出对应的数字图像信号。
在应用中,像素结构用于外接行扫描驱动器、列扫描驱动器和时序控制器,并在行扫描驱动器、列扫描驱动器和时序控制器的驱动控制下实现其功能。相关双采样电路用于外接斜坡发生器和处理器,并在斜坡发生器和处理器的控制下实现其功能。通路选择电路和比较电路用于外接处理器,并在处理器的控制下实现其功能。处理器与时序控制器可以为同一器件。
如图2所示,在一个实施例中,示例性的示出了像素结构10为PPD像素结构,其包括光电二极管(Photo Diode)PD、传输晶体管(Transfer Transistor)TX、复位晶体管(ResetTransistor)RST、源跟随晶体管(Source-Follower Transistor)SF和行选择晶体管(RowSelect Transistor)RS;
光电二极管PD的正极接模拟地、负极与传输晶体管TX的输入端电性连接,传输晶体管TX的输出端与复位晶体管RST的输出端和源跟随晶体管SF的受控端共同电性连接于漂浮节点FD(Floating Diffusion),复位晶体管RST和源跟随晶体管SF的输入端与电源VDD电性连接,源跟随晶体管SF的输出端与行选择晶体管RS的输入端电性连接,行选择晶体管RS与电流源和相关双采样电路电性连接于输出节点OUT,电流源接模拟地。
在应用中,传输晶体管、复位晶体管、源跟随晶体管和行选择晶体管可以根据实际需要选择场效应管或三极管来实现。
如图2所示,在一个实施例中,相关双采样电路20包括电容器C0和第一比较器U1和第一开关S1;
电容器C0的正极与像素结构10电性连接,电容器C0的负极与第一比较器U1的负输入端和第一开关S1的一端电性连接,第一比较器U1的正输入端用于接入斜坡信号,第一比较器U1的输出端与第一开关S1的另一端和通路选择电路30电性连接;
在图像传感电路1处于图像传感模式时,第一开关S1的一端和另一端在像素结构10输出复位信号时接通、在像素结构10输出模拟图像信号时断开,电容器C0用于存储复位信号,第一比较器U1用于对复位信号和模拟图像信号进行差分后得到第一差分信号并输出至模数转换电路40;
在图像传感电路1处于动态视觉传感模式时,第一开关S1的一端和另一端断开,电容器C0用于存储第一模拟图像信号,第一比较器U1用于对第一模拟图像信号和第二模拟图像信号进行差分后得到第二差分信号并输出至比较电路50。
在应用中,第一比较器的正输入端用于连接斜坡发生器(RAMP)以输入斜坡信号。第一开关可以为单刀单掷模拟开关或者与单刀单掷模拟开关具有同等功能的电子开关。第一开关与处理器电性连接,在处理器的控制下接通或断开。图2示例性的示出第一开关S1为单刀单掷模拟开关。
如图2所示,在一个实施例中,通路选择电路30包括第二开关S2;
第二开关S2的输入端与相关双采样电路20电性连接,第二开关S2的第一输出端与模数转换器40电性连接,第二开关的第二输出端与比较电路50电性连接;
在图像传感电路1处于图像传感模式时,第二开关S2的输入端和第一输出端接通,以接通相关双采样电路20与模数转换电路40之间的电性连接;
在图像传感电路1处于动态视觉传感模式时,第二开关S2的输入端和第二输出端接通,以接通相关双采样电路20与比较电路50之间的电性连接。
在应用中,第二开关可以为单刀双掷模拟开关或者与单刀双掷模拟开关具有同等功能的电子开关。第二开关与处理器电性连接,在处理器的控制下接通或断开。单刀双掷模拟开关可以等效替换为两个单刀单掷模拟开关。图2示例性的示出第二开关S2为单刀双掷模拟开关。
如图2所示,在一个实施例中,比较电路50包括第二比较器U2和第三比较器U3;
第二比较器U2的负输入端和第三比较器U3的负输入端与通路选择电路30电性连接,第二比较器U2的正输入端和第三比较器的正输入端用于接入阈值电压信号;
在图像传感电路1处于动态视觉传感模式时,第二比较器U2和第三比较器U3用于比较第二差分信号的电压与阈值电压信号的电压大小,第二比较器U2在第二差分信号的电压大于阈值电压信号的电压时输出第一数字图像信号,第三比较器U3在第二差分信号的电压小于阈值电压信号的电压时输出第二数字图像信号,第二比较器U2和第三比较器U3在第二差分信号的电压等于阈值电压信号的电压时无输出。
在应用中,阈值电压信号的电压可以根据实际需要进行设置为大于或等于0V。当第二差分信号的电压大于阈值电压信号的电压时,表明像素结构的模拟图像信号变强,即第二模拟图像信号的电压大于第一模拟图像信号的电压,此时第二比较器输出第一数字图像信号,用于表征像素结构的模拟信号变强,称之为“ON”事件,第三比较器无输出;当第二差分信号的电压小于阈值电压信号的电压时,表明像素结构的模拟图像信号变弱,即第二模拟图像信号的电压小于第一模拟图像信号的电压,此时第三比较器输出第二数字图像信号,用于表征像素结构的模拟信号变弱,称之为“OFF”事件,第二比较器无输出;当第二差分信号的电压等于阈值电压信号的电压时,第二比较器和第三比较器均无输出。第一数字图像信号可以为高电平信号或二进制信号“1”,第二数字图像信号可以为低电平信号或二进制信号“0”。
在一个实施例中,所述比较电路包括第二比较器;
所述第二比较器的负输入端与所述通路选择电路电性连接,所述第二比较器的正输入端用于接入阈值电压信号;
在所述图像传感电路处于动态视觉传感模式时,所述第二比较器用于比较所述第二差分信号的电压与所述阈值电压信号的电压大小,在所述第二差分信号的电压大于所述阈值电压信号的电压时输出第一数字图像信号,在所述第二差分信号的电压小于所述阈值电压信号的电压时输出第二数字图像信号,在所述第二差分信号的电压等于所述阈值电压信号的电压时无输出。
在应用中,可以仅通过一个比较器来比较第二差分信号的电压与阈值电压信号的电压大小。阈值电压信号的电压设置为大于或等于0V。当第二差分信号的电压大于阈值电压信号的电压时,表明像素结构的模拟图像信号变强,即第二模拟图像信号的电压大于第一模拟图像信号的电压,此时第二比较器输出第一数字图像信号,用于表征像素结构的模拟信号变强,称之为“ON”事件;当第二差分信号的电压小于阈值电压信号的电压时,表明像素结构的模拟图像信号变弱,即第二模拟图像信号的电压小于第一模拟图像信号的电压,此时第二比较器输出第二数字图像信号,用于表征像素结构的模拟信号变弱,称之为“OFF”事件;当第二差分信号的电压等于阈值电压信号的电压时,第二比较器无输出。第一数字图像信号可以为高电平信号或二进制信号“1”,第二数字图像信号可以为低电平信号或二进制信号“0”。
在一个实施例中,所述比较电路包括第二比较器和第三比较器;
所述第二比较器的负输入端和所述第三比较器的正输入端与所述通路选择电路电性连接,所述第二比较器的正输入端用于接入正阈值电压信号,所述第三比较器的负输入端用于接入负阈值电压信号;
在所述图像传感电路处于动态视觉传感模式时,所述第二比较器用于比较所述第二差分信号的电压与所述正阈值电压信号的电压大小,在所述第二差分信号的电压大于所述正阈值电压信号的电压时输出第一数字图像信号,在所述第二差分信号的电压小于或等于正所述阈值电压信号的电压时输出第二数字图像信号,所述第三比较器用于比较所述第二差分信号的电压与所述负阈值电压信号的电压大小,在所述第二差分信号的电压大于或等于所述负阈值电压信号的电压时输出第二数字图像信号,在所述第二差分信号的电压小于所述负阈值电压信号的电压时输出第三数字图像信号。
在应用中,还可以设置两个大小相等极性相反的阈值电压信号,即正阈值电压信号和负阈值电压信号,正阈值电压信号的电压可以根据实际需要进行设置为大于0V,负阈值电压信号则为与正阈值电压信号大小相等极性相等的负值,也即小于0V。当第二差分信号的电压大于正阈值电压信号的电压时,第二比较器输出第一数字图像信号,用于表征像素结构的模拟信号变强,此时第三比较器无输出;当第二差分信号的电压小于或等于正阈值电压信号的电压时,第二比较器输出第二数字图像信号,用于表征像素结构的模拟信号无变化,此时第三比较器无输出;当第二差分信号的电压大于或等于负阈值电压信号的电压时,第三比较器输出第二数字图像信号,用于表征像素结构输出的模拟信号无变化,此时第二比较器无输出;当第二差分信号的电压小于负阈值电压信号的电压时,第三比较器输出第三数字图像信号,用于表征像素结构输出的模拟信号变弱,此时第二比较器无输出。第一数字图像信号可以为高电平信号或二进制信号“1”,第二数字图像信号可以为0电平信号或二进制信号“0”,第三数字图像信号可以为低电平信号或二进制信号“-1”。
基于图2所示的图像传感电路1的结构,第二开关S2接通相关双采样电路20和模数转换器40之间的电性连接,图像传感电路1处于图像传感模式时,图像传感电路1的工作流程如下:
1.曝光。PPD像素结构在光照射下产生的电子-空穴对因PPD电场的存在而分开,电子移向n区,空穴移向p区。
2.复位。在曝光结束时,激活复位晶体管RST,将读出区复位到高电平。
3.复位电平读出。复位晶体管RST复位完成后,第一开关S1接通,读出复位电平,将读出的信号存储在相关双采样电路20的电容器C0中。
4.电荷转移。第一开关S1断开,激活传输晶体管TX,将电荷从感光区完全转移到n+区用于读出。
5.读出信号电平得到复位信号和模拟图像信号,相关双采样电路30将复位信号和模拟图像信号进行差分后得到第一差分信号,模数转换电路40对第一差分信号进行模数转换得到数字图像信号后输出。
如图3所示,示例性的示出了图像传感电路1处于图像传感模式时,图像传感电路1各节点的电压;其中,图像传感电路1处于复位(reset)状态时,RST节点电平由高到低,RS节点处于高电平,TX节点处于关断状态,第一开关S1接通,此时读出的电信号就是复位信号的电平Reset level;然后,第一开关S1断开,RST节点电平由高到低,RS节点处于高电平,TX节点处于打开状态,光电二极管PD的电信号转移出来,经过RS节点后读出模拟图像信号的电平Signal level,然后通过相关双采样电路对复位信号和模拟图像信号进行差分,得到第一差分信号PD Signal。
基于图2所示的图像传感电路1的结构,第一开关S1断开,第二开关S2接通相关双采样电路20和比较电路50之间的电性连接,图像传感电路1处于动态视觉传感模式时,图像传感电路1的工作流程如下:
1.曝光。PPD像素结构在光照射下产生的电子-空穴对因PPD电场的存在而分开,电子移向n区,空穴移向p区。
2.复位。在曝光结束时,激活复位晶体管RST,将读出区复位到高电平。
3.电荷转移。激活传输晶体管TX,将电荷从感光区完全转移到n+区用于读出。
4.第一模拟图像信号电平读出存储在电容器C0中。
5.重复流程1~3,读出第二模拟图像信号电平得到第二模拟图像信号,相关双采样电路30将第一模拟图像信号第二模拟图像信号进行差分后输出至比较电路50进行比较,输出表征“ON”事件或“OFF”事件的第一数字图像信号或第二数字图像信号。
如图4所示,示例性的示出了图像传感电路1处于动态视觉传感模式时,图像传感电路1各节点的电压;其中,第一模拟图像信号的电平Signal level1读出过程中,RST节点的电平由低到高,RS节点处于高电平,TX节点处于打开状态,光电二极管PD的电信号转移出来,经过RS节点读出后复位,此时得到第一模拟图像信号的电平Signal level1;第二模拟图像信号的电平Signal level2读出过程中,RST节点的电平由低到高,RS节点处于高电平,TX节点处于打开状态,光电二极管PD的电信号转移出来,经过RS节点读出后复位,此时得到第二模拟图像信号的电平Signal level2;再通过相关双采样电路用于对第一模拟图像信号和第二模拟图像信号进行差分,得到第二差分信号Difference。
本申请实施例通过提供一种包括像素结构、相关双采样电路、通路选择电路、模数转换电路和比较电路的图像传感电路,在处于图像传感模式时,通过相关双采样电路对像素结构在一次曝光完成后依次输出的复位信号和模拟图像信号进行差分,得到第一差分信号,然后通过模数转换电路将第一差分信号转换为数字图像信号后输出,能够获取场景的完整图像信息,从而实现对场景的正常成像,可以应用于拍照或视频录制等需要进行摄像的工作场景;在处于动态视觉传感模式时,通过相关双采样电路对像素结构在连续两次曝光完成后输出的两个模拟图像信号进行差分,得到第二差分信号,然后通过比较电路根据第二差分信号的电压大小输出对应的数字图像信号,能够仅输出光强发生变化的像素的地址和信息,识别场景变化,可以广泛应用于目标跟踪、实时监控、工业自动化和机器人等领域。
如图5所示,本申请实施例还提供一种图像传感器100,包括由M行×N列图像传感电路1组成的图像传感电路阵列;
其中,M≥1、N≥1且M、N为整数。
在应用中,图像传感器所包括的图像传感电路的数量可以根据实际需要进行设置,图像传感电路的数量正比于图像传感器的分辨率。
本申请实施例通过提供一种由M行×N列能够在图像传感模式和动态视觉传感模式下工作的图像传感电路组成的图像传感器,使得该图像传感器能够兼容动态视觉传感器和传统的图像传感器的功能,既能够获取场景的完整图像信息,又能够识别场景变化。
如图6所示,本申请实施例还提供一种终端设备1000,包括处理器200以及与处理器200电性连接的显示屏300和图像传感器100;
处理器200用于:
在显示屏300熄灭时,控制图像传感器100进入动态视觉传感模式;
在图像传感器100处于动态视觉传感模式时,检测图像传感器100是否输出第一预设目标的数字图像信号;
在图像传感器100输出第一预设目标的数字图像信号时,点亮显示屏300。
在应用中,处理器可以是中央处理单元(Central Processing Unit,CPU),还可以是其他通用处理器、数字图像信号处理器(Digital Signal Processor,DSP)、专用集成电路(Application Specific Integrated Circuit,ASIC)、现成可编程门阵列(Field-Programmable Gate Array,FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。处理器还可以是时序控制器。
在应用中,显示屏可以是TFT-LCD(Thin Film Transistor Liquid CrystalDisplay,薄膜晶体管液晶显示屏)、LCD(Liquid Crystal Display,液晶显示装置)、基于OLED(Organic Electroluminesence Display,有机电激光显示)技术的有机电激光显示屏、基于QLED(Quantum Dot Light Emitting Diodes,量子点发光二极管)技术的量子点发光二极管显示屏或曲面显示屏等。进一步的,显示屏还可以包括覆盖显示屏的触控面板,触控面板检测到在其上或附近的触摸操作后,传送给处理器以确定触摸事件的类型,随后处理器根据触摸事件的类型在显示屏上提供相应的视觉输出。
在应用中,显示屏熄灭时,终端设备处于休眠状态,可以控制图像传感器进入动态视觉传感模式,以降低功耗。第一预设目标可以是人脸、特定手势或人体的其他特征点,也可以是其他与人体有关或无关特定场景。通过在检测到第一预设目标时,点亮显示屏,可以唤醒终端设备,使其进入工作状态。
在一个实施例中,所述处理器还用于:
在所述图像传感器处于动态视觉传感模式时,检测所述图像传感器是否输出第二预设目标的数字图像信号;
在所述图像传感器输出第二预设目标的数字图像信号时,运行第一预设应用。
在应用中,不论终端设备处于休眠状态还是工作状态,图像传感器都可以处于动态视觉传感模式。第二预设目标可以是特定手势,第一预设应用可以为根据实际需要设定的运行于终端设备的特定应用,例如,通话应用、游戏应用、社交软件、办公软件等。在检测到特定手势时,可以触发终端设备运行特定应用。
在一个实施例中,所述处理器还用于:
在运行第二预设应用时,控制所述图像传感器进入图像传感模式。
在应用中,第二预设应用可以为相机应用、监控应用、社交软件、美图应用等具有相机启动权限,可以实现拍照或视频录制等功能的应用,通过在运行这些应用时,控制图像传感器进入图像传感模式,能够获得被拍摄场景的完整图像信息,从而实现正常成像。
在应用中,终端设备可以是具有摄像头或者可外接摄像头的设备,例如,手机、平板电脑、个人计算机、个人数字助理、监控设备或虚拟现实/增强现实/混合现实设备等,本申请实施例中不对终端设备的具体类型作特别限定。
本申请实施例提供一种包括处理器以及与处理器电性连接的显示屏和图像传感器的终端设备,通过在显示屏熄灭时,控制图像传感器进入动态视觉传感模式;在图像传感器处于动态视觉传感模式时,检测图像传感器是否输出第一预设目标的数字图像信号;以在图像传感器输出第一预设目标的数字图像信号时,点亮显示屏,可以在动态视觉传感模式下,通过检测图像传感器是否输出第一预设目标的数字图像信号,来实现对显示屏的亮灭状态的控制。
以上所述实施例仅用以说明本申请的技术方案,而非对其限制;尽管参照前述实施例对本申请进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围,均应包含在本申请的保护范围之内。
Claims (10)
1.一种图像传感电路,其特征在于,包括像素结构、相关双采样电路、通路选择电路、模数转换电路和比较电路;
所述像素结构、所述相关双采样电路和所述通路选择电路依次电性连接,所述通路选择电路还与所述模数转换电路和所述比较电路电性连接;
在所述图像传感电路处于图像传感模式时,所述通路选择电路用于接通所述相关双采样电路与所述模数转换电路之间的电性连接,所述像素结构用于在一次曝光完成后依次输出复位信号和模拟图像信号,所述相关双采样电路用于对所述复位信号和所述模拟图像信号进行差分后得到第一差分信号,所述模数转换电路用于将所述第一差分信号转换为数字图像信号后输出;
在所述图像传感电路处于动态视觉传感模式时,所述通路选择电路用于接通所述相关双采样电路与所述比较电路之间的电性连接,所述像素结构用于在一次曝光完成后输出第一模拟图像信号、在下一次曝光完成后输出第二模拟图像信号,所述相关双采样电路用于对所述第一模拟图像信号和所述第二模拟图像信号进行差分后得到第二差分信号,所述比较电路用于根据所述第二差分信号的电压大小输出对应的数字图像信号。
2.如权利要求1所述的图像传感电路,其特征在于,所述相关双采样电路包括电容器、第一比较器和第一开关;
所述电容器的正极与所述像素结构电性连接,所述电容器的负极与所述第一比较器的负输入端和所述第一开关的一端电性连接,所述所述第一比较器的正输入端用于接入斜坡信号,所述第一比较器的输出端与所述第一开关的另一端和所述通路选择电路电性连接;
在所述图像传感电路处于图像传感模式时,所述第一开关的一端和另一端在所述像素结构输出所述复位信号时接通、在所述像素结构输出所述模拟图像信号时断开,所述电容器用于存储所述复位信号,所述第一比较器用于对所述复位信号和所述模拟图像信号进行差分后得到第一差分信号并输出至所述模数转换电路;
在所述图像传感电路处于动态视觉传感模式时,所述第一开关的一端和另一端断开,所述电容器用于存储所述第一模拟图像信号,所述第一比较器用于对第一模拟图像信号和所述第二模拟图像信号进行差分后得到第二差分信号并输出至所述比较电路。
3.如权利要求1所述的图像传感电路,其特征在于,所述通路选择电路包括第二开关;
所述第二开关的输入端与所述相关双采样电路电性连接,所述第二开关的第一输出端与所述模数转换电路电性连接,所述第二开关的第二输出端与所述比较电路电性连接;
在所述图像传感电路处于图像传感模式时,所述第二开关的输入端和第一输出端接通,以接通所述相关双采样电路与所述模数转换电路之间的电性连接;
在所述图像传感电路处于动态视觉传感模式时,所述第二开关的输入端和第二输出端接通,以接通所述相关双采样电路与所述比较电路之间的电性连接。
4.如权利要求1所述的图像传感电路,其特征在于,所述比较电路包括第二比较器;
所述第二比较器的负输入端与所述通路选择电路电性连接,所述第二比较器的正输入端用于接入阈值电压信号;
在所述图像传感电路处于动态视觉传感模式时,所述第二比较器用于比较所述第二差分信号的电压与所述阈值电压信号的电压大小,在所述第二差分信号的电压大于所述阈值电压信号的电压时输出第一数字图像信号,在所述第二差分信号的电压小于所述阈值电压信号的电压时输出第二数字图像信号,在所述第二差分信号的电压等于所述阈值电压信号的电压时无输出。
5.如权利要求1所述的图像传感电路,其特征在于,所述比较电路包括第二比较器和第三比较器;
所述第二比较器的负输入端和所述第三比较器的负输入端与所述通路选择电路电性连接,所述第二比较器的正输入端和所述第三比较器的正输入端用于接入阈值电压信号;
在所述图像传感电路处于动态视觉传感模式时,所述第二比较器和所述第三比较器用于比较所述第二差分信号的电压与所述阈值电压信号的电压大小,所述第二比较器在所述第二差分信号的电压大于所述阈值电压信号的电压时输出第一数字图像信号,所述第三比较器在所述第二差分信号的电压小于所述阈值电压信号的电压时输出第二数字图像信号,所述第二比较器和所述第三比较器在所述第二差分信号的电压等于所述阈值电压信号的电压时无输出。
6.如权利要求1所述的图像传感电路,其特征在于,所述比较电路包括第二比较器和第三比较器;
所述第二比较器的负输入端和所述第三比较器的正输入端与所述通路选择电路电性连接,所述第二比较器的正输入端用于接入正阈值电压信号,所述第三比较器的负输入端用于接入负阈值电压信号;
在所述图像传感电路处于动态视觉传感模式时,所述第二比较器用于比较所述第二差分信号的电压与所述正阈值电压信号的电压大小,在所述第二差分信号的电压大于所述正阈值电压信号的电压时输出第一数字图像信号,在所述第二差分信号的电压小于或等于所述正阈值电压信号的电压时输出第二数字图像信号,所述第三比较器用于比较所述第二差分信号的电压与所述负阈值电压信号的电压大小,在所述第二差分信号的电压大于或等于所述负阈值电压信号的电压时输出第二数字图像信号,在所述第二差分信号的电压小于所述负阈值电压信号的电压时输出第三数字图像信号。
7.一种图像传感器,其特征在于,包括由M行×N列如权利要求1~6任一项所述的图像传感电路组成的图像传感电路阵列;
其中,M≥1、N≥1且M、N为整数。
8.一种终端设备,其特征在于,包括处理器以及与所述处理器电性连接的显示屏和如权利要求7所述的图像传感器;
所述处理器用于:
在所述显示屏熄灭时,控制所述图像传感器进入动态视觉传感模式;
在所述图像传感器处于动态视觉传感模式时,检测所述图像传感器是否输出第一预设目标的数字图像信号;
在所述图像传感器输出第一预设目标的数字图像信号时,点亮所述显示屏。
9.如权利要求8所述的终端设备,其特征在于,所述处理器还用于:
在所述图像传感器处于动态视觉传感模式时,检测所述图像传感器是否输出第二预设目标的数字图像信号;
在所述图像传感器输出第二预设目标的数字图像信号时,运行第一预设应用。
10.如权利要求8或9所述的终端设备,其特征在于,所述处理器还用于:
在运行第二预设应用时,控制所述图像传感器进入图像传感模式。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010339135.6A CN111510651B (zh) | 2020-04-26 | 2020-04-26 | 一种图像传感电路、图像传感器及终端设备 |
PCT/CN2021/077597 WO2021218315A1 (zh) | 2020-04-26 | 2021-02-24 | 一种图像传感电路、图像传感器及终端设备 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010339135.6A CN111510651B (zh) | 2020-04-26 | 2020-04-26 | 一种图像传感电路、图像传感器及终端设备 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN111510651A true CN111510651A (zh) | 2020-08-07 |
CN111510651B CN111510651B (zh) | 2022-09-06 |
Family
ID=71864273
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202010339135.6A Active CN111510651B (zh) | 2020-04-26 | 2020-04-26 | 一种图像传感电路、图像传感器及终端设备 |
Country Status (2)
Country | Link |
---|---|
CN (1) | CN111510651B (zh) |
WO (1) | WO2021218315A1 (zh) |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2021218315A1 (zh) * | 2020-04-26 | 2021-11-04 | Oppo广东移动通信有限公司 | 一种图像传感电路、图像传感器及终端设备 |
CN114125332A (zh) * | 2020-09-01 | 2022-03-01 | 原相科技股份有限公司 | 像素电路及像素阵列的运行方法 |
CN114500868A (zh) * | 2022-04-18 | 2022-05-13 | 深圳锐视智芯科技有限公司 | 一种evs像素工作方法及相关装置 |
CN115118881A (zh) * | 2022-06-24 | 2022-09-27 | 维沃移动通信有限公司 | 信号处理电路、图像传感器、电子设备及图像处理方法 |
WO2024113371A1 (zh) * | 2022-12-02 | 2024-06-06 | 京东方科技集团股份有限公司 | 一种确定人眼位置的感光系统、显示装置及方法 |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114136209B (zh) * | 2021-11-24 | 2023-11-24 | 京东方科技集团股份有限公司 | 一种眼球位置定位电路、方法、基板及虚拟现实穿戴设备 |
Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20140009648A1 (en) * | 2012-07-03 | 2014-01-09 | Tae Chan Kim | Image sensor chip, method of operating the same, and system including the same |
CN103595411A (zh) * | 2013-10-14 | 2014-02-19 | 天津市晶奇微电子有限公司 | Cmos图像传感器单斜adc数字相关双采样电路 |
US9521337B1 (en) * | 2012-07-13 | 2016-12-13 | Rambus Inc. | Reset-marking pixel sensor |
US20180295298A1 (en) * | 2017-04-06 | 2018-10-11 | Samsung Electronics Co., Ltd. | Intensity image acquisition from dynamic vision sensors |
CN109151293A (zh) * | 2018-11-02 | 2019-01-04 | 上海晔芯电子科技有限公司 | 具有增益补偿的hdr图像传感器、读出电路及方法 |
US20200029033A1 (en) * | 2017-03-30 | 2020-01-23 | Shenzhen University | Pixel unit and denoising method therefor, dynamic vision sensor and imaging apparatus |
CN110891152A (zh) * | 2018-09-07 | 2020-03-17 | 三星电子株式会社 | 含cmos图像传感器像素和动态视觉传感器像素的图像传感器 |
Family Cites Families (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2010093548A (ja) * | 2008-10-08 | 2010-04-22 | Fujifilm Corp | 撮像装置及び固体撮像素子の駆動方法 |
CN107736015B (zh) * | 2015-12-22 | 2021-02-19 | 索尼公司 | 图像传感器、电子设备、控制装置、控制方法和程序 |
WO2018096813A1 (ja) * | 2016-11-24 | 2018-05-31 | ソニーセミコンダクタソリューションズ株式会社 | 固体撮像素子、固体撮像装置、および、固体撮像素子の制御方法 |
JP7307725B2 (ja) * | 2018-06-12 | 2023-07-12 | ソニーセミコンダクタソリューションズ株式会社 | 固体撮像素子、撮像装置、および、固体撮像素子の制御方法 |
CN110351500B (zh) * | 2019-07-09 | 2021-08-31 | 西安微电子技术研究所 | 一种兼容两种曝光模式的cmos图像传感器读出电路 |
CN111510651B (zh) * | 2020-04-26 | 2022-09-06 | Oppo广东移动通信有限公司 | 一种图像传感电路、图像传感器及终端设备 |
-
2020
- 2020-04-26 CN CN202010339135.6A patent/CN111510651B/zh active Active
-
2021
- 2021-02-24 WO PCT/CN2021/077597 patent/WO2021218315A1/zh active Application Filing
Patent Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20140009648A1 (en) * | 2012-07-03 | 2014-01-09 | Tae Chan Kim | Image sensor chip, method of operating the same, and system including the same |
CN103533263A (zh) * | 2012-07-03 | 2014-01-22 | 三星电子株式会社 | 图像传感器芯片、操作方法和包括图像传感器芯片的系统 |
US9521337B1 (en) * | 2012-07-13 | 2016-12-13 | Rambus Inc. | Reset-marking pixel sensor |
CN103595411A (zh) * | 2013-10-14 | 2014-02-19 | 天津市晶奇微电子有限公司 | Cmos图像传感器单斜adc数字相关双采样电路 |
US20200029033A1 (en) * | 2017-03-30 | 2020-01-23 | Shenzhen University | Pixel unit and denoising method therefor, dynamic vision sensor and imaging apparatus |
US20180295298A1 (en) * | 2017-04-06 | 2018-10-11 | Samsung Electronics Co., Ltd. | Intensity image acquisition from dynamic vision sensors |
CN110891152A (zh) * | 2018-09-07 | 2020-03-17 | 三星电子株式会社 | 含cmos图像传感器像素和动态视觉传感器像素的图像传感器 |
CN109151293A (zh) * | 2018-11-02 | 2019-01-04 | 上海晔芯电子科技有限公司 | 具有增益补偿的hdr图像传感器、读出电路及方法 |
Cited By (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2021218315A1 (zh) * | 2020-04-26 | 2021-11-04 | Oppo广东移动通信有限公司 | 一种图像传感电路、图像传感器及终端设备 |
CN114125332A (zh) * | 2020-09-01 | 2022-03-01 | 原相科技股份有限公司 | 像素电路及像素阵列的运行方法 |
CN114125332B (zh) * | 2020-09-01 | 2023-11-21 | 原相科技股份有限公司 | 像素电路及像素阵列的运行方法 |
CN114500868A (zh) * | 2022-04-18 | 2022-05-13 | 深圳锐视智芯科技有限公司 | 一种evs像素工作方法及相关装置 |
CN115118881A (zh) * | 2022-06-24 | 2022-09-27 | 维沃移动通信有限公司 | 信号处理电路、图像传感器、电子设备及图像处理方法 |
WO2024113371A1 (zh) * | 2022-12-02 | 2024-06-06 | 京东方科技集团股份有限公司 | 一种确定人眼位置的感光系统、显示装置及方法 |
Also Published As
Publication number | Publication date |
---|---|
CN111510651B (zh) | 2022-09-06 |
WO2021218315A1 (zh) | 2021-11-04 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN111510651B (zh) | 一种图像传感电路、图像传感器及终端设备 | |
US11064147B2 (en) | Solid-state image pickup device, signal processing method for the same, and image pickup apparatus using the same | |
CN110753192B (zh) | 一种集成电路图像传感器 | |
US9088726B2 (en) | Solid-state image capturing device, method of driving solid-state image capturing device, and image capturing apparatus | |
JP5247007B2 (ja) | 撮像装置及び撮像システム | |
US7326904B2 (en) | In-pixel kTC noise suppression using circuit techniques | |
CN101232559B (zh) | 具有图像模糊减少机制的图像传感器 | |
US8854244B2 (en) | Imagers with improved analog-to-digital converters | |
JP4423112B2 (ja) | 固体撮像装置および撮像システム | |
EP2285098A2 (en) | Solid-state image pickup device and driving mehtod thereof, and electronic apparatus | |
KR20160018506A (ko) | 분할-게이트 조건부-재설정 이미지 센서 | |
WO2009042901A1 (en) | Image sensor with high dynamic range imaging and integrated motion detection | |
WO2019208412A1 (ja) | 撮像装置及び撮像装置の駆動方法 | |
JPWO2017141727A1 (ja) | 固体撮像装置、固体撮像装置の駆動方法、及び、電子機器 | |
WO2016158484A1 (ja) | 固体撮像装置および電子機器 | |
CN111787250B (zh) | 比较器电路、图像感测装置及方法 | |
CN111918007A (zh) | Cmos图像传感器、像素单元及其控制方法 | |
JP2004159155A (ja) | エリアイメージセンサ | |
JP7164579B2 (ja) | 画像センサー及び電子デバイス | |
CN111935427B (zh) | Cmos图像传感器、像素单元及其控制方法 | |
CN114339001A (zh) | 图像传感器、曝光控制方法、摄像模组和电子设备 | |
CN110557587B (zh) | 图像传感器和操作该图像传感器的方法 | |
JP2007036457A (ja) | 撮像装置 | |
JP2006262070A (ja) | 光電変換装置及びcmosイメージセンサ | |
CN111953914B (zh) | Cmos图像传感器、像素单元及其控制方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |