CN108462844B - 用于像素合并和读出的方法和装置 - Google Patents

用于像素合并和读出的方法和装置 Download PDF

Info

Publication number
CN108462844B
CN108462844B CN201810099401.5A CN201810099401A CN108462844B CN 108462844 B CN108462844 B CN 108462844B CN 201810099401 A CN201810099401 A CN 201810099401A CN 108462844 B CN108462844 B CN 108462844B
Authority
CN
China
Prior art keywords
image
region
pixels
interest
rows
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201810099401.5A
Other languages
English (en)
Other versions
CN108462844A (zh
Inventor
R·S·约翰逊
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Semiconductor Components Industries LLC
Original Assignee
Semiconductor Components Industries LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Semiconductor Components Industries LLC filed Critical Semiconductor Components Industries LLC
Publication of CN108462844A publication Critical patent/CN108462844A/zh
Application granted granted Critical
Publication of CN108462844B publication Critical patent/CN108462844B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G06V40/165—Detection; Localisation; Normalisation using facial parts and geometric relationships
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/255—Detecting or recognising potential candidate objects based on visual cues, e.g. shapes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/50—Extraction of image or video features by performing operations within image blocks; by using histograms, e.g. histogram of oriented gradients [HoG]; by summing image-intensity values; Projection analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G06V40/166—Detection; Localisation; Normalisation using acquisition arrangements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/61—Control of cameras or camera modules based on recognised objects
    • H04N23/611—Control of cameras or camera modules based on recognised objects where the recognised objects include parts of the human body
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/40—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/40—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled
    • H04N25/44—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled by partially reading an SSIS array
    • H04N25/443—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled by partially reading an SSIS array by reading pixels from selected 2D regions of the array, e.g. for windowing or digital zooming
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/40—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled
    • H04N25/44—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled by partially reading an SSIS array
    • H04N25/445—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled by partially reading an SSIS array by skipping some contiguous pixels within the read portion of the array
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/71—Charge-coupled device [CCD] sensors; Charge-transfer registers specially adapted for CCD sensors
    • H04N25/75—Circuitry for providing, modifying or processing image signals from the pixel array
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/76—Addressed sensors, e.g. MOS or CMOS sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/76—Addressed sensors, e.g. MOS or CMOS sensors
    • H04N25/77—Pixel circuitry, e.g. memories, A/D converters, pixel amplifiers, shared circuits or shared components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G06V40/171—Local features and components; Facial parts ; Occluding parts, e.g. glasses; Geometrical relationships
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/01—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
    • H04N7/0127—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level by changing the field or frame frequency of the incoming video signal, e.g. frame rate converter

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Geometry (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)
  • Image Processing (AREA)

Abstract

本发明涉及用于像素合并和读出的方法和装置。具体地讲，本发明涉及能够识别预定特征并产生输出图像的成像装置、用于降低成像装置的帧速率同时保留相关图像数据的方法以及对应的成像系统。本发明所解决的技术问题是在捕获数字图像时消耗额外功率、具有低帧速率和/或具有低空间分辨率。所述方法和装置可根据所检测的特征来确定图像帧内的感兴趣区和非感兴趣区。在各种实施方案中，所述方法和装置可读出所述感兴趣区中的每行而产生高分辨率区，并且合并所述非感兴趣区内的像素而产生低分辨率区。本发明所实现的技术效果是以高帧速率生成具有高空间分辨率的数字图像，同时消耗最少量的功率。

Description

用于像素合并和读出的方法和装置
技术领域
本发明涉及成像装置，并且具体地讲，涉及能够识别预定特征并产生输出图像的成像装置、用于降低成像装置的帧速率同时保留相关图像数据的方法以及对应的成像系统。
背景技术
电子设备(诸如移动电话、相机、汽车和计算机)通常使用图像传感器来捕获图像。典型的CMOS(互补金属氧化物半导体)成像器电路包括像素的焦平面阵列，并且每个像素包括用于在衬底的一部分中聚积光生电荷的光传感器，诸如光电门或光电二极管。
数字图像使用来自像素的数据构建，并且可根据其空间分辨率来描述。具有较高空间分辨率的图像使用与较低空间分辨率的图像相比更大数量的像素来构成。一般来讲，帧速率(在一秒内可读取全像素阵列的次数)、空间分辨率和功率消耗之间存在折衷。为了获得高分辨率图像，常规系统读出整个像素阵列，这会导致较低的帧速率并且需要较高的功率消耗。为了保持相同的帧速率，产生较高分辨率图像的系统必须消耗相对于产生较低分辨率图像的系统而言更多的功率，因为功率消耗与像素时钟频率相关。
发明内容
本发明所解决的技术问题是在捕获数字图像时消耗额外功率、低帧速率和/或低空间分辨率。
该方法和装置可根据所检测的特征来确定图像帧内的感兴趣区和非感兴趣区。在各种实施方案中，该方法和装置可读出感兴趣区中的每行而产生高分辨率区，并且合并非感兴趣区内的像素而产生低分辨率区。
根据一个方面，能够识别预定特征并产生输出图像的成像装置包括：像素阵列，该像素阵列包括被布置为形成多个行的多个像素；图像信号处理器，该图像信号处理器耦接到像素阵列并且被配置成：从所述多个像素接收像素数据；并且根据预定特征来确定：感兴趣区，其中该感兴趣区对应于来自所述多个行的第一组连续行；和包含剩余行的非感兴趣区；以及读出电路，该读出电路耦接到像素阵列并且被配置成：有利于合并来自非感兴趣区的像素数据的部分以形成多个第二组；根据第一读出速率来读出第一组的每行；以及根据第二读出速率来读出第二组中的每一者。
在上述成像装置的一个实施方案中，图像信号处理器根据所述多个像素内的预定特征的位置来确定感兴趣区；并且第一读出速率基本上等于第二读出速率。
在上述成像装置的一个实施方案中，第一组产生输出图像中的高分辨率区；并且第二组产生输出图像中的低分辨率区。
在上述成像装置的一个实施方案中，成像装置还包括以下至少一者：浮动扩散区，该浮动扩散区耦接到来自所述多个像素的像素子集并且被配置成累加来自像素子集的电荷；以及多个源极跟随器设备，所述多个源极跟随器设备将来自所述多个像素的像素子集耦接到公共读出路径，其中激活所述多个源极跟随器设备有利于累加来自像素子集的电荷。
根据另一个方面，用于降低帧速率同时保留相关数据的方法包括：使用图像传感器捕获包含第一图像数据的第一图像，该图像传感器包括被布置为形成多个行的多个像素；检测第一图像中的特征；根据第一图像内的所检测的特征的位置来识别与来自所述多个行的第一组连续行相对应的感兴趣区；捕获包含第二图像数据的第二图像；合并感兴趣区外部的第二图像数据的部分以形成多个第二组合并的图像数据；读出合并的第二图像数据；以及读出剩余的第二图像数据。
在上述方法的一种操作中，合并第二图像数据的子集包括在浮动扩散区和公共读出路径的一者处累加来自所选行的像素数据。
在一种操作中，上述方法还包括：检测第二图像中的特征；以及监测从第一图像到第二图像的特征的特性变化。
根据另一个方面，能够产生具有高分辨率区和低分辨率区的输出图像的成像系统包括：能够捕获一系列图像帧的成像装置，该成像装置包括：像素阵列，该像素阵列包括被布置为形成多个行的多个像素；图像信号处理器，该图像信号处理器耦接到像素阵列并且被配置成：从所述多个像素接收像素数据；检测和识别第一图像帧中的预定特征；根据所述多个像素内的预定特征的位置来确定：感兴趣区，其中该感兴趣区对应于来自所述多个行的第一组连续行；和包含剩余行的非感兴趣区；监测第二图像帧中的预定特征的特性；以及基于预定特征的特性来传输输出信号；以及读出电路，该读出电路耦接到像素阵列并且被配置成：有利于合并来自非感兴趣区的像素数据以形成第二组；根据第一读出速率来读出第一组的每行；以及根据第二读出速率来读出第二组；以及主机处理器，该主机处理器耦接到成像装置并且对输出信号作出响应。
在上述成像系统的一个实施方案中，第一组产生输出图像中的高分辨率区；并且第二组产生输出图像中的低分辨率区。
在上述成像系统的一个实施方案中，成像系统还包括以下至少一者：浮动扩散区，该浮动扩散区耦接到来自所述多个像素的像素子集并且被配置成累加来自像素子集的电荷；以及多个源极跟随器设备，所述多个源极跟随器设备将来自所述多个像素的像素子集耦接到公共读出路径，其中激活所述多个源极跟随器设备有利于累加来自像素子集的电荷。
本发明所实现的技术效果是以高帧速率生成具有高空间分辨率的数字图像，同时消耗最少量的功率。
附图说明
当结合以下示例性附图考虑时，可参照具体实施方式更全面地了解本技术。在以下附图中，通篇以类似附图标记指代各附图当中的类似元件和步骤。
图1是根据本技术的示例性实施方案的成像系统的框图；
图2是根据本技术的示例性实施方案的图像传感器的框图；
图3代表性地示出了根据本技术的示例性实施方案的使用像素阵列捕获的全分辨率图像；
图4代表性地示出了根据本技术的示例性实施方案的具有所检测的预定特征的图像；
图5代表性地示出了根据本技术的示例性实施方案的感兴趣区和非感兴趣区；
图6A和6B代表性地示出了根据本技术的示例性实施方案的像素数据行的合并；
图7代表性地示出了根据本技术的示例性实施方案的像素数据的读出；并且
图8是根据本技术的示例性实施方案的图像传感器的一部分的电路图。
具体实施方式
本技术可在功能块部件和各种加工步骤方面进行描述。这样的功能块可通过被配置成执行指定功能并且实现各种结果的任何数量的部件来实现。例如，本技术可采用可执行多种功能的各种采样电路、模数转换器、滤色器阵列、像素体系结构、读出和合并操作以及半导体器件，诸如晶体管、电容器、图像处理单元等。另外，本技术可结合任何数量的系统(诸如汽车、航空航天、医疗、科学、监视和消费电子器件)实施，所述的这些系统仅为该技术的示例性应用。此外，本技术可采用任何数量的常规技术来检测预定特征、捕获图像数据、采样图像数据、处理图像数据等。另外，本技术可结合任何图像传感器操作模式(诸如全局重置释放模式、全局快门模式和电子卷帘快门模式)一起实施。
根据本技术的各个方面的用于像素合并和读出的方法和装置可结合任何合适的电子系统(诸如汽车系统(例如，高级驾驶员辅助系统)、“智能设备”、可穿戴设备、便携式电子器件、消费电子器件等)一起操作。此外，用于电源管理单元的方法和装置可与任何合适的成像系统(诸如相机系统、视频系统、机器视觉、车辆导航、监视系统、运动检测系统等)一起使用。
参见图1，示例性系统可包括汽车系统，诸如高级驾驶员辅助系统(ADAS)100。ADAS100可包括各种集成电路，这些集成电路被配置成与一个或多个外围系统130(诸如车辆制动系统、转向系统等)通信。ADAS 100还可包括图像传感器105和主机处理器125。
主机处理器125可与各种设备(诸如图像传感器105和外围系统130)通信并控制这些设备。例如，主机处理器125可基于从图像传感器105传输的信息将信号传输到外围系统130。主机处理器125可包括被配置成执行各种功能(诸如数据处理、决策等)的各种电路。主机处理器125可结合其他集成电路一起操作以执行所需功能。例如，主机处理器125可结合图像传感器105一起操作以控制外围系统130的各个方面。可基于主机处理器125的特定应用程序来确定主机处理器125的各种功能。主机处理器125可包括适用于决策和/或与其他设备或系统通信的任何硬件和/或软件。
图像传感器105捕获图像数据。例如，光可进入并入射到图像传感器105的光敏表面。图像传感器105可进一步处理图像数据。例如，图像传感器105可将光转换为电信号。在各种实施方案中，图像传感器105可被配置为集成电路(即，管芯)，该集成电路包括执行图像捕获和各种处理功能的各种设备和/或系统。图像传感器105可结合任何合适的技术来实施，诸如互补金属氧化物半导体(CMOS)和电荷耦合器件(CCD)中的有源像素传感器。例如，图像传感器105可包括像素阵列110和图像信号处理器115。
参见图2，像素阵列110检测光并通过以下方式传送构成图像的信息：将波的可变衰减(在它们穿过物体或经物体反射时)转换成电信号。像素阵列110可包括被布置为形成行和列的多个像素205，并且像素阵列110可包含任何数量的行和列，例如数百或数千行和列。像素阵列110可耦接到图像信号处理器115并且被配置成将像素信号传输到该图像信号处理器。
每个像素205可包括用于收集电荷的光敏区830(图8)，诸如光电门或光电二极管，以检测光并将所检测的光转换为电荷，并且每个像素205包括将电荷转换为像素信号并有利于像素信号的读出的各种设备。每个像素205的位置可由像素阵列110内的行数和列数限定。
在各种实施方案中，图像传感器105还可包括透镜(未示出)，该透镜被配置成将图像聚焦在像素阵列110上。例如，透镜可包括固定焦距透镜和/或可调焦距透镜。
在各种实施方案中，图像传感器105还可包括滤色器系统(未示出)，诸如滤色器阵列(CFA)，以根据波长来过滤入射光。CFA可包括位于像素阵列110上的滤色器图案以捕获颜色信息。在示例性实施方案中，像素阵列110中的每个像素205覆盖有一种颜色的CFA。例如，可提供包括红色、蓝色和绿色滤色器图案的拜耳滤色器阵列，其中每个像素205覆盖有红色、蓝色或绿色滤色器之一。在其他实施方案中，CFA可使用其他滤色器来形成，诸如RCCG滤色器(一个红色、两个透光和一个绿色)、RCCC滤色器(一个红色和三个透光)、CRGB滤色器(一个青色、一个红色、一个绿色和一个蓝色)以及任何其他合适的颜色图案。在各种实施方案中，CFA可包括“透光”或透明的滤色器元件。CFA可形成2×2颜色图案、4×4颜色图案、2×4颜色图案或任何其他合适的图案尺寸。在各种实施方案中，CFA可重复覆盖整个像素阵列110。
在各种实施方案中，参见图2和8，图像传感器105还可包括在读出之前或期间合并像素数据的区域和/或电路。例如，多个像素205和/或光敏区830可耦接到并共享公共区和/或公共读出路径，该公共区和/或公共读出路径可用于合并(即，组合)像素数据。
在各种实施方案中，图像传感器105可包括公共区805，诸如浮动扩散区(也称为浮动扩散节点)，以收集和聚积来自多个像素和/或多个行的电荷。公共区805可用作感测节点，并且可用适于存储电荷的任何设备或结构(诸如二极管或电容器)形成。
在各种实施方案中，多个像素205和/或光敏区830可共享公共区805，并且可直接耦接到公共区805或经由转移栅极835间接耦接到该公共区。耦接到公共区805的像素205和/或光敏区830的数量可基于任何合适的标准，诸如图像传感器105的体系结构(物理布局)。因此，来自多个像素205和/或光敏区830的电荷可在公共区805处合并成单个电荷值。
在各种实施方案中，图像传感器105还可包括源极跟随器设备810，以将光敏区830和/或公共区805中的电荷转换成电压信号。源极跟随器设备810耦接到公共读出路径825并且可将单个输出电压Vout输出到该公共读出路径。两个或更多个单独的源极跟随器设备810可通过其相应行选择栅极820来启用(即，激活)，以在读出期间将电压信号一起合并成单个输出电压Vout。
图像传感器105还可包括执行采样、放大信号和对信号执行各种处理的各种电路。例如，图像传感器105可包括读出电路240，以选择性地激活连续像素行并将像素信号传输(即，读出)到采样保持电路225。读出电路240还可通过以下方式有利于合并来自多个像素和/或多个行的像素数据：将电荷从光敏区830转移出并转入图像传感器105的另一个区域，诸如浮动扩散区和公共读出路径825。在各种实施方案中，图像传感器105可包括行电路210、列电路215以及定时和控制单元220。
行电路210可从定时和控制单元220接收行地址，并且通过通向像素阵列110中的像素205的行控制路径将对应的行控制信号(诸如重置信号、行选择信号、电荷转移信号和读出控制信号)提供给像素205。行电路210还可包括集成在像素阵列110内并且耦接到每个光敏区830的各种导线、电气连接和/或设备。例如，对行电路210信号作出响应的转移栅极835、行选择晶体管820和重置晶体管815可集成在像素阵列110中。
列电路215可包括列控制电路、读出电路、处理电路和列解码器电路，并且可接收图像信号，诸如由像素205生成的模拟像素信号。列路径245可被配置成将像素阵列110的每一列耦接到列电路210。列路径245可用于从像素205读出图像信号并且/或者提供偏置信号(例如偏置电流或偏置电压)。列电路215还可包括集成在像素阵列110内并且耦接到光敏区830的各种导线、电气连接和/或设备。例如，像素阵列110可包括供电电压VAA和输出总线825以将输出电压Vout传输到列电路215。
在各种实施方案中，定时和控制单元220可以以通信方式耦接到图像信号处理器115和/或主机处理器125以接收读出操作指令。例如，定时和控制单元220可被配置成根据图像信号处理器115和/或主机处理器125所提供的各种指令来调整像素信号读出的定时，控制合并操作及其他所需操作。图像信号处理器115和/或主机处理器125可根据图像信号处理器115所检测的数字图像中的特征和/或特征的特性来传输读出操作指令。
采样后，图像传感器105可将像素信号传输到放大器230，其中放大器230先放大信号，再通过模数转换器235将信号转换为数字信号(数字像素数据)。然后，数字像素数据可被传输到图像信号处理器115，以进行进一步处理。
在各种实施方案中，图像信号处理器115可执行各种数字信号处理功能，诸如颜色插值、颜色校正、自动聚焦、曝光调整、噪声降低、白平衡调整、压缩等，以产生最终输出图像。图像信号处理器115可进一步检测和识别数字图像中的各种特征。在一个实施方案中，图像信号处理器115可被配置成检测和识别面部特征，诸如对象的双眼。图像信号处理器115可进一步分析一个或多个所选特征以确定特定特性，例如，特征的相对位置、尺寸、颜色和/或形状。例如，图像信号处理器115可确定对象的双眼是睁开还是闭上的，和/或确定对象注视的方向(例如，仰望、俯视等)。图像信号处理器115还可被配置成监测在一段时间内(诸如从一个图像帧到另一个图像帧)特征的变化。
图像信号处理器115可包括用于执行计算、传输和接收图像像素数据的任何数量的半导体器件(诸如晶体管、电容器等)以及用于存储像素数据的存储单元，诸如随机存取存储器、非易失性存储器或任何其他适用于特定应用的存储器设备。图像信号处理器115可进一步与主机处理器125通信并结合该主机处理器一起操作，以执行所需功能和/或将操作信号传输到外围系统130。
在第一实施方案中，图像信号处理器115可用可编程逻辑设备(诸如现场可编程门阵列(FPGA))或具有可重构数字电路的任何其他设备实现。在第二实施方案中，图像信号处理器115可在使用不可编程设备的硬件中实现。在又一个实施方案中，图像信号处理器115可部分或完全地使用任何合适的互补金属氧化物半导体(CMOS)技术或制造工艺形成于含硅的集成电路内，使用处理器和存储器系统形成于ASIC(专用集成电路)中，或使用另一合适的实施方式形成。
一般来讲，数字图像可根据其空间分辨率(例如，高分辨率图像或低分辨率图像)来描述。常规图像传感器一般逐行读出像素数据，其中每行的读出速率是相同的并且空间分辨率在整个数字图像内是一致的。读出速率可影响系统的各种特性，诸如功率消耗和帧速率(可在预定时间段内捕获的帧数)，因为随着读出速率和帧速率增大，构建数字图像所需的功率量也增加。
在操作中，该方法和装置可从一系列图像帧捕获和读出像素数据，以监测每个帧的一部分中出现的相关特征的特性，同时减小帧速率并保留相关数据。该方法和装置可在读出之前或期间合并来自所选像素和/或像素行的数据(即，图像数据子集)，以形成给定帧的一个或多个低分辨率区，而包括相关特征的感兴趣区可形成该帧的一个或多个高分辨率区。与仅用高分辨率读出的帧相比，可更快读出包括感兴趣区和合并的像素数据(低分辨率区)的帧，从而增大了帧速率。因此，功率消耗可少于以高分辨率读出每个图像帧的整个帧的现有技术的功率消耗。
参见图1、2和3，图像传感器105可捕获图像数据并利用接收自像素阵列110的像素数据来构建数字图像。数字图像的每个区域可对应于像素阵列110的一个像素205。在各种实施方案中，图像传感器105可捕获一系列图像帧。图像传感器105可以相同读出速率顺序地从第一帧300捕获读出像素数据行。因此，由第一帧300捕获产生的数字图像可被描述为高分辨率图像。
在各种实施方案中，图像信号处理器115可采用一定机制检测和识别数字图像300中的一个或多个预定特征。例如，如图4中所示，图像信号处理器115可检测和识别面部特征，诸如脸部、鼻部、嘴唇、眼睛和眉毛。图像信号处理器115可被配置成检测和识别数字图像300中的任何特征，并且不限于面部特征识别。一旦图像信号处理器115已识别一个或多个特征，其就可选择一个特征作为相关特征。图像信号处理器115可被配置成以任何分辨率检测和识别图像中的特征。例如，图像信号处理器115可能能够识别和检测低分辨率图像以及高分辨率图像中的特征。图像信号处理器115可包括检测和识别预定特征的任何合适的设备和/或系统，并且这种设备和/或系统可在硬件、软件或它们的组合中实现。
在图像信号处理器115已识别和选择相关特征之后，例如在这种情况下相关特征是对象的双眼，图像信号处理器115可进一步分析相关特征的任何所需或预定特性，诸如对象的双眼是睁开的还是闭上的。图像信号处理器115可将与该特征相关的数据传输到主机处理器125。例如，如果对象的双眼是闭上的，则图像信号处理器115可将信号传输到主机处理器125以指示对象可能正在睡觉或俯视。就汽车系统而言，当图像信号处理器115可用于高级驾驶员辅助系统中时，主机处理器125则可传输信号以接合外围系统130，从而确保驾驶员注意力和/或安全性。例如，外围系统130可通过以下方式对来自主机处理器125的信号作出响应：使汽车转向、发出警报、使方向盘振动和/或任何其他合适的动作以增强驾驶员安全性和/或注意力。
参见图2、4和5，图像信号处理器115可进一步将所识别的特征与像素阵列110中的特定像素205和/或像素行相关联。一般来讲，数字图像300中的特征的位置对应于像素阵列110上的位置，这可根据行数和/或列数来描述。图像信号处理器115可根据相关特征的位置来识别感兴趣区(ROI)500。类似地，图像信号处理器115可识别非感兴趣区505，其可在ROI500上方和/或下方。
在各种实施方案中，ROI 500可包括对应于相关特征的行以及在相关特征上方和/或下方的行。例如，参见图5，感兴趣区500可包括行14到18，即使相关特征仅对应于行15和16。ROI 500可包括任何数量的行，并且行数可根据特定应用和/或待识别的特定特征进行选择。在各种实施方案中，非感兴趣区505可包括ROI 500中不包括的任何剩余行。例如，图像信号处理器115可识别第一非感兴趣区505(1)(其包括ROI 500上方的行(例如，行1到13))和第二非感兴趣区505(2)(其包括ROI 500下方的行(例如，行19到33))。图像信号处理器115可识别任何数量的感兴趣区500和非感兴趣区505，因为每一者的数量可对应于相关特征的数量。
参见图2和图6A-6B，在后续帧600的捕获期间，图像传感器105可使用如上所述的像素阵列110收集电荷。图像传感器105可合并(即，组合)来自后续帧600的像素数据的部分，从而形成包括高分辨率区和低分辨率区两者的数字图像。例如，合并的像素数据可形成低分辨率区，并且非合并的像素数据可形成高分辨率区。
在各种实施方案中，图像传感器105可合并来自像素阵列110的与非感兴趣区505相对应的两个或更多个行。合并的行可统称为组。例如，参见图5和6B，图像传感器105可合并行1到4以形成第一组620，合并行5到8以形成第二组625，合并行9到13以形成第三组630，合并行19到22以形成第四组635，合并行23到26以形成第五组640，合并行27到30以形成第六组645，并且合并行31到33以形成第七组650。每组中合并的行数可根据特定应用、总行数、所需分辨率、所需读出速率、所需功率消耗、所需帧速率等进行选择。
可顺序地读出与ROI 500相对应的后续帧的像素数据行，一次读出一行。因此所得的图像(例如图6B所示)将包括对应于ROI 500(和相关特征)的高分辨率区610和对应于非感兴趣区505的低分辨率区615。所得的图像可包括任何数量的高分辨率区610和低分辨率区615，并且可基于感兴趣区500和非感兴趣区505的数量。
在各种实施方案中，图像信号处理器115可继续跟踪低分辨率区610中的一般特征。例如，图像信号处理器115可跟踪脸部或头部的外边缘。图像信号处理器115可将来自低分辨率区的数据与来自高分辨率区的数据结合用于评估整体图像并将信息传输到主机处理器125。
图像传感器105可根据各种方法合并像素数据行。合并方法可包括增大帧速率的任何合适的方法。例如，在一个实施方案中，图像传感器105可在浮动扩散区上收集和聚积来自多个像素和/或多个行的电荷。在另一个实施方案中，图像传感器105可在读出期间将两个或更多个电压输入合并(例如，累积或平均)成单个输出电压。
随后图像传感器105可从像素阵列100的顶部(例如，第一行)开始顺序地读出像素数据。例如，并参见图5，由于第一组620包括行1，图像传感器105读出第一组620。然后图像传感器105可顺序地读出合并的像素数据的剩余组(例如，第二组625和第三组630)，直到图像传感器105到达高分辨率区610。之后图像传感器105可逐行读出高分辨率区610(例如，感兴趣区)中的行。例如，在读出第三组630之后，图像传感器105可读出ROI 500的第一行(例如，行14)，然后读出ROI 500的第二行(例如，行15)等，直到已读出ROI 500的所有行。随后图像传感器105可继续顺序地读出合并的像素数据的任何剩余组，例如第四组635、第五组640、第六组645和第七组650。
在各种实施方案中，第一帧300的帧速率大于后续帧600的帧速率。例如，第一帧300中的每行(假定有33行)的读出速率可为大约10ms(毫秒)，从而提供大约330ms的帧速率。相比之下，后续帧600的读出速率根据ROI 500中的行数和行组数而变化。例如，后续帧600中的每组可为大约10ms，而ROI 500中的每行的读出速率可为大约10ms，从而提供大约120ms的帧速率(假定ROI中有7组和5行)。因此，ROI 500中的每行的读出速率可基本上等于每组的读出速率。
在各种实施方案中，后续帧600的ROI 500中的行的读出速率可与第一帧300中的行的读出速率相同。每组的读出速率可基于合并成一组的像素数和/或行数。因此，后续帧600的帧速率小于第一帧300的帧速率，并且与被配置成以相同速率读出所有行的图像传感器相比，图像传感器105将消耗更少功率。
在各种实施方案中，读出电路240可控制ROI 500中的组和单独行的读出速率。例如，读出电路240可对来自图像信号处理器115和/或主机处理器125的信号作出响应，以控制(减慢或加快)一个或多个像素数据行和/或行组的读出速率。在各种实施方案中，图像信号处理器115和/或主机处理器125可根据ROI 500和/或所检测特征的位置来调整后续帧的合并操作和读出速率。
在各种实施方案中，图像传感器105可被配置成以高分辨率读出每第n个帧。例如，图像传感器105可对每第20个帧读出像素阵列105中的每行，而图像传感器105可对剩余帧执行合并操作。以高分辨率读出每第n个帧可确保相关特征被正确跟踪且未部分地或完全地移出最初限定的感兴趣区。在诸如相关特征已部分地或完全地移出最初限定的感兴趣区的情况下，图像信号处理器115可更新和/或重新限定感兴趣区以包括具有所检测的特征的行。例如，图像传感器105可以以高分辨率读出第一帧并且检测和识别一个或多个相关特征。图像信号处理器115可将感兴趣区限定为行14到18。图像传感器105可根据上述操作来读出帧2到19，其中仅感兴趣区以高分辨率读出。随后图像传感器105可以以高分辨率读出帧20。如果图像信号处理器115确定所检测的特征已部分地或完全地移离行14到18，例如如果图像信号处理器115检测和识别行19和20中的一个或多个相关特征，则图像信号处理器115可将感兴趣区重新限定为行17到21。然后图像传感器105可根据重新限定的感兴趣区及根据上文针对合并非感兴趣区所述的读出操作来读出帧21到39。
在上述描述中，已结合具体示例性实施方案描述了所述技术。所示和所述特定具体实施方式用于展示所述技术及其最佳模式，而不旨在以任何方式另外限制本技术的范围。实际上，为简洁起见，方法和系统的常规制造、连接、制备和其它功能方面可能未详细描述。此外，多张图中示出的连接线旨在表示各种元件之间的示例性功能关系和/或步骤。在实际系统中可能存在多个替代的或另外的功能关系或物理连接。
根据一个方面，能够识别预定特征并产生输出图像的成像装置包括：像素阵列，该像素阵列包括被布置为形成多个行的多个像素；图像信号处理器，该图像信号处理器耦接到像素阵列并且被配置成：从所述多个像素接收像素数据；并且根据预定特征来确定：感兴趣区，其中该感兴趣区对应于来自所述多个行的第一组连续行；和包含剩余行的非感兴趣区；读出电路，该读出电路耦接到像素阵列并且被配置成：有利于合并来自非感兴趣区的像素数据的部分以形成多个第二组；根据第一读出速率来读出第一组的每行；以及根据第二读出速率来读出第二组中的每一者。
在一个实施方案中，图像信号处理器根据所述多个像素内的预定特征的位置来确定感兴趣区。
在一个实施方案中，感兴趣区包括预定特征的位置上方和下方的预定行数。
在一个实施方案中，第一组产生输出图像中的高分辨率区；并且第二组产生输出图像中的低分辨率区。
在一个实施方案中，第一读出速率基本上等于第二读出速率。
在一个实施方案中，成像装置还包括浮动扩散区，该浮动扩散区耦接到来自所述多个像素的像素子集并且被配置成累加来自像素子集的电荷。
在一个实施方案中，成像装置还包括多个源极跟随器设备，所述多个源极跟随器设备将来自所述多个像素的像素子集耦接到公共读出路径，其中可激活所述多个源极跟随器设备以有利于累加来自像素子集的电荷。
根据另一个方面，用于降低帧速率同时保留相关数据的方法包括：使用图像传感器捕获包含第一图像数据的第一图像，该图像传感器包括被布置为形成多个行的多个像素；检测第一图像中的特征；根据第一图像内的所检测的特征的位置来识别与来自所述多个行的第一组连续行相对应的感兴趣区；捕获包含第二图像数据的第二图像；合并感兴趣区外部的第二图像数据的部分以形成多个第二组合并的图像数据；读出合并的第二图像数据；以及读出剩余的第二图像数据。
在一种方法中，合并第二图像数据的子集包括在浮动扩散区处累加来自所选行的像素数据。
在一种方法中，合并第二图像数据的子集包括在公共读出路径处累加来自所选行的像素数据。
在一种方法中，检测第一图像中的特征包括：顺序地读出第一图像数据的每行；以及分析第一图像数据。
在一种方法中，上述方法还包括检测第二图像中的特征。
在一种方法中，上述方法还包括监测从第一图像到第二图像的特征的特性变化。
根据另一个方面，一种能够产生具有高分辨率区和低分辨率区的输出图像的成像系统，包括：能够捕获一系列图像帧的成像装置，该成像装置包括：像素阵列，该像素阵列包括被布置为形成多个行的多个像素；图像信号处理器，该图像信号处理器耦接到像素阵列并且被配置成：从所述多个像素接收像素数据；检测和识别第一图像帧中的预定特征；根据所述多个像素内的预定特征的位置来确定：感兴趣区，其中该感兴趣区对应于来自所述多个行的第一组连续行；和包含剩余行的非感兴趣区；监测第二图像帧中的预定特征的特性；以及基于预定特征的特性来传输输出信号；以及读出电路，该读出电路耦接到像素阵列并且被配置成：有利于合并来自非感兴趣区的像素数据以形成第二组；根据第一读出速率来读出第一组的每行；以及根据第二读出速率来读出第二组；以及主机处理器，该主机处理器耦接到成像装置并且对输出信号作出响应。
在一个实施方案中，感兴趣区包括预定特征的位置上方和下方的预定行数。
在一个实施方案中，第一组产生输出图像中的高分辨率区；并且第二组产生输出图像中的低分辨率区。
在一个实施方案中，成像系统还包括浮动扩散区，该浮动扩散区耦接到来自所述多个像素的像素子集并且被配置成累加来自像素子集的电荷。
在一个实施方案中，成像系统还包括多个源极跟随器设备，该多个源极跟随器设备将来自所述多个像素的像素子集耦接到公共读出路径。
在一个实施方案中，主机处理器基于输出信号来接合外围系统。
在一个实施方案中，第一图像帧仅产生高分辨率图像；并且第二图像帧产生具有高分辨率区和低分辨率区的图像。
已结合具体示例性实施方案描述了所述技术。然而，可在不脱离本技术的范围的情况下作出各种修改和变化。以示例性而非限制性方式考虑说明和附图，并且所有此类修改旨在包括在本技术的范围内。因此，应通过所述的一般实施方案及其在法律意义上的等同形式，而不是仅通过上述具体示例确定所述技术的范围。例如，除非另外明确说明，否则可以任何顺序执行任何方法或工艺实施方案中列举的步骤，并且不限于具体示例中提供的明确顺序。另外，任何装置实施方案中列举的组件和/或元件可以多种排列组装或者以其他方式进行操作配置，以产生与本技术基本上相同的结果，因此不限于具体例子中阐述的具体配置。
上文已经针对具体实施方案描述了有益效果、其他优点和问题解决方案。然而，任何有益效果、优点、问题解决方案或者可使任何具体有益效果、优点或解决方案出现或变得更明显的任何要素都不应被解释为关键、所需或必要特征或组成部分。
术语“包含”、“包括”或其任何变型形式旨在提及非排他性的包括，使得包括一系列要素的过程、方法、制品、组合物或装置不仅仅包括这些列举的要素，而且还可包括未明确列出的或此类过程、方法、制品、组合物或装置固有的其他要素。除了未具体引用的那些，本技术的实施所用的上述结构、布置、应用、比例、元件、材料或组件的其他组合和/或修改可在不脱离其一般原理的情况下变化或以其他方式特别适于具体环境、制造规范、设计参数或其他操作要求。
上文已结合示例性实施方案描述了本技术。然而，可在不脱离本技术的范围的情况下对示例性实施方案作出变化和修改。这些和其他变化或修改旨在包括在本技术的范围内，如随附权利要求所述。

Claims (10)

1.一种能够识别预定特征并产生输出图像的成像设备，其特征在于包括：
像素阵列，所述像素阵列包括被布置为形成多个行的多个像素；
图像信号处理器，所述图像信号处理器耦接到所述像素阵列并且被配置成：
从所述多个像素接收像素数据；并且
根据所述预定特征来确定感兴趣区，其中所述感兴趣区对应于来自所述多个行的第一组连续行；以及
确定非感兴趣区，所述非感兴趣区包括来自所述多个行的多个剩余行；以及读出电路，所述读出电路耦接到所述像素阵列并且被配置成：
有利于合并来自所述非感兴趣区的所述像素数据的部分以形成多个第二组；
根据第一读出速率来读出所述第一组的每行；以及
根据第二读出速率来读出所述第二组中的每一者；
其中所述第一读出速率等于所述第二读出速率。
2.根据权利要求1所述的成像设备，其特征在于：
所述图像信号处理器根据所述多个像素内的所述预定特征的位置来确定所述感兴趣区。
3.根据权利要求1所述的成像设备，其特征在于：
所述第一组产生所述输出图像中的高分辨率区；并且
所述第二组产生所述输出图像中的低分辨率区。
4.根据权利要求1所述的成像设备，其特征还在于包括下列中的至少一者：
浮动扩散区，所述浮动扩散区耦接到来自所述多个像素的像素子集，并且被配置成累加来自所述像素子集的电荷；以及
多个源极跟随器装置，所述多个源极跟随器装置将来自所述多个像素的像素子集耦接到公共读出路径，其中激活所述多个源极跟随器装置有利于累加来自所述像素子集的电荷。
5.一种用于降低帧速率同时保留相关数据的方法，其特征在于包括：
使用图像传感器捕获包括第一图像数据的第一图像，所述图像传感器包括被布置为形成多个行的多个像素；
检测所述第一图像中的特征；
根据所述第一图像内的所述所检测的特征的位置来识别与来自所述多个行的第一组连续行相对应的感兴趣区；
捕获包括第二图像数据的第二图像；
合并所述第二图像数据的在所述感兴趣区外部的部分以形成多个第二组合并的图像数据；
读出所述多个第二组合并的图像数据；以及
以逐行的方式读出与所述感兴趣区对应的第二图像数据；
其中从所述多个第二组中读出每一第二组的持续时间等于从与所述感兴趣区对应的所述第二图像数据中读出一行的持续时间。
6.根据权利要求5所述的方法，其特征在于合并所述第二图像数据的部分包括：在浮动扩散区和公共读出路径中的一者处累加来自所选行的像素数据。
7.根据权利要求5所述的方法，其特征还在于包括：
检测所述第二图像中的所述特征；以及
监测从所述第一图像到所述第二图像的所述特征的特性变化。
8.一种能够产生具有高分辨率区和低分辨率区的输出图像的成像系统，其特征在于包括：
成像设备，所述成像设备能够捕获一系列图像帧，所述成像设备包括：
像素阵列，所述像素阵列包括被布置为形成多个行的多个像素；
图像信号处理器，所述图像信号处理器耦接到所述像素阵列并且被配置成：
从所述多个像素接收像素数据；
检测和识别第一图像帧中的预定特征；
根据所述多个像素内的所述预定特征的位置来确定感兴趣区，其中所述感兴趣区对应于来自所述多个行的第一组连续行；
确定非感兴趣区，所述非感兴趣区包括来自所述多个行的多个剩余行；
监测第二图像帧中的所述预定特征的特性；以及
基于所述预定特征的所述特性来传输输出信号；以及
读出电路，所述读出电路耦接到所述像素阵列并且被配置成：
有利于合并来自所述非感兴趣区的像素数据以形成第二组；
根据第一读出速率来读出所述第一组的每行；以及
根据第二读出速率来读出所述第二组，
其中所述第一读出速率等于所述第二读出速率；以及
主机处理器，所述主机处理器耦接到所述成像设备并且对所述输出信号作出响应。
9.根据权利要求8所述的成像系统，其特征在于：
所述第一组产生所述输出图像中的高分辨率区；并且
所述第二组产生所述输出图像中的低分辨率区。
10.根据权利要求8所述的成像系统，其特征还在于包括下列中的至少一者：
浮动扩散区，所述浮动扩散区耦接到来自所述多个像素的像素子集，并且被配置成累加来自所述像素子集的电荷；以及
多个源极跟随器装置，所述多个源极跟随器装置将来自所述多个像素的像素子集耦接到公共读出路径，其中激活所述多个源极跟随器装置有利于累加来自所述像素子集的电荷。
CN201810099401.5A 2017-02-17 2018-01-31 用于像素合并和读出的方法和装置 Active CN108462844B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US15/435,351 US10218923B2 (en) 2017-02-17 2017-02-17 Methods and apparatus for pixel binning and readout
US15/435,351 2017-02-17

Publications (2)

Publication Number Publication Date
CN108462844A CN108462844A (zh) 2018-08-28
CN108462844B true CN108462844B (zh) 2021-03-23

Family

ID=63168133

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810099401.5A Active CN108462844B (zh) 2017-02-17 2018-01-31 用于像素合并和读出的方法和装置

Country Status (2)

Country Link
US (1) US10218923B2 (zh)
CN (1) CN108462844B (zh)

Families Citing this family (31)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10686996B2 (en) 2017-06-26 2020-06-16 Facebook Technologies, Llc Digital pixel with extended dynamic range
US10598546B2 (en) 2017-08-17 2020-03-24 Facebook Technologies, Llc Detecting high intensity light in photo sensor
JP7060413B2 (ja) * 2018-03-08 2022-04-26 浜松ホトニクス株式会社 光検出装置及び光検出方法
US11906353B2 (en) 2018-06-11 2024-02-20 Meta Platforms Technologies, Llc Digital pixel with extended dynamic range
US11463636B2 (en) 2018-06-27 2022-10-04 Facebook Technologies, Llc Pixel sensor having multiple photodiodes
US10897586B2 (en) 2018-06-28 2021-01-19 Facebook Technologies, Llc Global shutter image sensor
US10931884B2 (en) 2018-08-20 2021-02-23 Facebook Technologies, Llc Pixel sensor having adaptive exposure time
US11956413B2 (en) 2018-08-27 2024-04-09 Meta Platforms Technologies, Llc Pixel sensor having multiple photodiodes and shared comparator
CN109117830B (zh) * 2018-09-21 2022-09-09 思特威(上海)电子科技股份有限公司 图像传感器、目标跟踪系统及方法
US11812171B2 (en) * 2018-10-31 2023-11-07 Sony Semiconductor Solutions Corporation Electronic device, method and computer program
US11595602B2 (en) 2018-11-05 2023-02-28 Meta Platforms Technologies, Llc Image sensor post processing
CN111246128B (zh) * 2018-11-29 2022-09-13 北京图森智途科技有限公司 一种像素合并方法、成像设备、图像传感器及汽车
US11962928B2 (en) 2018-12-17 2024-04-16 Meta Platforms Technologies, Llc Programmable pixel array
US11888002B2 (en) 2018-12-17 2024-01-30 Meta Platforms Technologies, Llc Dynamically programmable image sensor
CN109587455B (zh) * 2019-02-01 2024-05-03 思特威(上海)电子科技股份有限公司 智能变焦图像传感器
US11218660B1 (en) 2019-03-26 2022-01-04 Facebook Technologies, Llc Pixel sensor having shared readout structure
US11943561B2 (en) 2019-06-13 2024-03-26 Meta Platforms Technologies, Llc Non-linear quantization at pixel sensor
KR20210014021A (ko) * 2019-07-29 2021-02-08 삼성전자주식회사 이미지 센서, 이미지 처리 시스템 및 이의 동작 방법
US20210044742A1 (en) * 2019-08-05 2021-02-11 Facebook Technologies, Llc Dynamically programmable image sensor
US11164279B2 (en) * 2019-09-19 2021-11-02 Semiconductor Components Industries, Llc Systems and methods for authenticating image data
US11694314B2 (en) 2019-09-25 2023-07-04 The Regents Of The University Of Michigan Digital foveation for machine vision
US11936998B1 (en) 2019-10-17 2024-03-19 Meta Platforms Technologies, Llc Digital pixel sensor having extended dynamic range
US11935291B2 (en) 2019-10-30 2024-03-19 Meta Platforms Technologies, Llc Distributed sensor system
KR20210054628A (ko) * 2019-11-05 2021-05-14 삼성전자주식회사 이미지 센서
US11948089B2 (en) 2019-11-07 2024-04-02 Meta Platforms Technologies, Llc Sparse image sensing and processing
US11902685B1 (en) 2020-04-28 2024-02-13 Meta Platforms Technologies, Llc Pixel sensor having hierarchical memory
US11825228B2 (en) 2020-05-20 2023-11-21 Meta Platforms Technologies, Llc Programmable pixel array having multiple power domains
US11910114B2 (en) 2020-07-17 2024-02-20 Meta Platforms Technologies, Llc Multi-mode image sensor
US11956560B2 (en) 2020-10-09 2024-04-09 Meta Platforms Technologies, Llc Digital pixel sensor having reduced quantization operation
US11935575B1 (en) 2020-12-23 2024-03-19 Meta Platforms Technologies, Llc Heterogeneous memory system
US12022218B2 (en) 2020-12-29 2024-06-25 Meta Platforms Technologies, Llc Digital image sensor using a single-input comparator based quantizer

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101018299A (zh) * 2006-02-07 2007-08-15 日本胜利株式会社 摄像方法以及摄像装置
CN101204080A (zh) * 2005-04-21 2008-06-18 宽银幕电影成像有限责任公司 采用具有交错像素的多个芯片的扫描成像器
JP2012216946A (ja) * 2011-03-31 2012-11-08 Sony Computer Entertainment Inc 情報処理装置、情報処理方法、および位置情報のデータ構造
CN102984472A (zh) * 2011-09-02 2013-03-20 索尼公司 固态成像设备和相机系统
CN205792895U (zh) * 2015-05-27 2016-12-07 半导体元件工业有限责任公司 成像系统

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6455831B1 (en) * 1998-09-11 2002-09-24 The Research Foundation Of Suny At Buffalo CMOS foveal image sensor chip
US6839452B1 (en) * 1999-11-23 2005-01-04 California Institute Of Technology Dynamically re-configurable CMOS imagers for an active vision system
US7408572B2 (en) * 2002-07-06 2008-08-05 Nova Research, Inc. Method and apparatus for an on-chip variable acuity imager array incorporating roll, pitch and yaw angle rates measurement
JP4084991B2 (ja) * 2002-11-29 2008-04-30 富士通株式会社 映像入力装置
US20040246354A1 (en) 2003-06-04 2004-12-09 Hongli Yang CMOS image sensor having high speed sub sampling
EP1659778A1 (en) 2004-11-23 2006-05-24 Dialog Semiconductor GmbH A column averaging/row binning circuit for image sensor resolution adjustment in lower intensity light environment
US7724301B2 (en) * 2006-11-27 2010-05-25 Nokia Corporation Determination of mechanical shutter exposure time
US8089522B2 (en) * 2007-09-07 2012-01-03 Regents Of The University Of Minnesota Spatial-temporal multi-resolution image sensor with adaptive frame rates for tracking movement in a region of interest
US9030583B2 (en) * 2011-09-21 2015-05-12 Semiconductor Components Industries, Llc Imaging system with foveated imaging capabilites
US8809759B2 (en) 2011-10-11 2014-08-19 Omnivision Technologies, Inc. Multiple-row concurrent readout scheme for high-speed CMOS image sensor with backside illumination
JP6361965B2 (ja) * 2013-10-24 2018-07-25 パナソニックＩｐマネジメント株式会社 撮像システム、撮像装置、符号化装置、および撮像方法
US9706114B2 (en) * 2014-09-12 2017-07-11 Sony Corporation Image pickup apparatus, information processing apparatus, display apparatus, information processing system, image data sending method, image displaying method, and computer program
US10152764B2 (en) * 2015-03-24 2018-12-11 Intel Corporation Hardware based free lists for multi-rate shader

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101204080A (zh) * 2005-04-21 2008-06-18 宽银幕电影成像有限责任公司 采用具有交错像素的多个芯片的扫描成像器
CN101018299A (zh) * 2006-02-07 2007-08-15 日本胜利株式会社 摄像方法以及摄像装置
JP2012216946A (ja) * 2011-03-31 2012-11-08 Sony Computer Entertainment Inc 情報処理装置、情報処理方法、および位置情報のデータ構造
CN102984472A (zh) * 2011-09-02 2013-03-20 索尼公司 固态成像设备和相机系统
CN205792895U (zh) * 2015-05-27 2016-12-07 半导体元件工业有限责任公司 成像系统

Also Published As

Publication number Publication date
US10218923B2 (en) 2019-02-26
CN108462844A (zh) 2018-08-28
US20180241953A1 (en) 2018-08-23

Similar Documents

Publication Publication Date Title
CN108462844B (zh) 用于像素合并和读出的方法和装置
JP4702441B2 (ja) 撮像装置及び撮像方法
US9030583B2 (en) Imaging system with foveated imaging capabilites
US9762840B2 (en) Imaging device and method of driving the same
US9088726B2 (en) Solid-state image capturing device, method of driving solid-state image capturing device, and image capturing apparatus
US9118883B2 (en) High dynamic range imaging with multi-storage pixels
US9848141B2 (en) Image pixels having processed signal storage capabilities
US9277147B2 (en) Multimode pixel readout for enhanced dynamic range
US9729806B2 (en) Imaging systems with phase detection pixels
CN206759610U (zh) 像素、图像传感器和成像系统
CN111741242A (zh) 图像传感器及其操作方法
JPWO2017150240A1 (ja) 固体撮像素子、駆動方法、および電子機器
CN211152056U (zh) 图像传感器和成像系统
US10855939B1 (en) Stacked image sensor with programmable edge detection for high frame rate imaging and an imaging method thereof
US11637980B2 (en) Image sensor including DRAM capacitor and operating method thereof
JP2010171666A (ja) 固体撮像素子の駆動方法および固体撮像素子
CN108965750B (zh) 成像装置和用于形成图像的方法
WO2017006746A1 (ja) 撮像素子、画像処理方法、および電子機器
JP7410675B2 (ja) 撮像装置及びその制御方法
US9491380B2 (en) Methods for triggering for multi-camera system
US20230353905A1 (en) Solid-state imaging element and electronic device including a shared structure for pixels for sharing an ad converter
US10939056B2 (en) Imaging apparatus, imaging method, imaging program
US20230026814A1 (en) Image sensor with embedded neural processing unit
JP7433793B2 (ja) 撮像装置およびその制御方法
WO2016208416A1 (ja) 固体撮像装置および電子機器

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant