CN113196741A - 动态可编程图像传感器 - Google Patents

动态可编程图像传感器 Download PDF

Info

Publication number
CN113196741A
CN113196741A CN201980083991.5A CN201980083991A CN113196741A CN 113196741 A CN113196741 A CN 113196741A CN 201980083991 A CN201980083991 A CN 201980083991A CN 113196741 A CN113196741 A CN 113196741A
Authority
CN
China
Prior art keywords
image
pixel
controller
subset
data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201980083991.5A
Other languages
English (en)
Other versions
CN113196741B (zh
Inventor
安德鲁·塞缪尔·贝尔科维奇
刘新桥
汉斯·雷瑟霍夫
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Meta Platforms Technologies LLC
Original Assignee
Facebook Technologies LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Facebook Technologies LLC filed Critical Facebook Technologies LLC
Publication of CN113196741A publication Critical patent/CN113196741A/zh
Application granted granted Critical
Publication of CN113196741B publication Critical patent/CN113196741B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144—Devices controlled by radiation
    • H01L27/146—Imager structures
    • H01L27/14601—Structural or functional details thereof
    • H01L27/14609—Pixel-elements with integrated switching, control, storage or amplification elements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2413—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G06V10/12—Details of acquisition arrangements; Constructional details thereof
    • G06V10/14—Optical characteristics of the device performing the acquisition or on the illumination arrangements
    • G06V10/147—Details of sensors, e.g. sensor lenses
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/20—Scenes; Scene-specific elements in augmented reality scenes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10—Character recognition
    • G06V30/24—Character recognition characterised by the processing or recognition method
    • G06V30/248—Character recognition characterised by the processing or recognition method involving plural approaches, e.g. verification by template match; Resolving confusion among similar patterns, e.g. "O" versus "Q"
    • G06V30/2504—Coarse or fine approaches, e.g. resolution of ambiguities or multiscale approaches
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144—Devices controlled by radiation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • H04N23/11—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths for generating image signals from visible and infrared light wavelengths
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/61—Control of cameras or camera modules based on recognised objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/617—Upgrading or updating of programs or applications for camera control
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/65—Control of camera operation in relation to power supply
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/665—Control of cameras or camera modules involving internal camera communication with the image sensor, e.g. synchronising or multiplexing SSIS control signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/40—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/40—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled
    • H04N25/44—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled by partially reading an SSIS array
    • H04N25/443—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled by partially reading an SSIS array by reading pixels from selected 2D regions of the array, e.g. for windowing or digital zooming
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/47—Image sensors with pixel address output; Event-driven image sensors; Selection of pixels to be read out based on image data
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/50—Control of the SSIS exposure
    • H04N25/51—Control of the gain
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/50—Control of the SSIS exposure
    • H04N25/53—Control of the integration time
    • H04N25/533—Control of the integration time by using differing integration times for different sensor regions
    • H04N25/535—Control of the integration time by using differing integration times for different sensor regions by dynamic region selection
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/703—SSIS architectures incorporating pixels for producing signals other than image signals
    • H04N25/707—Pixels for event detection
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/709—Circuitry for control of the power supply
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/76—Addressed sensors, e.g. MOS or CMOS sensors
    • H04N25/77—Pixel circuitry, e.g. memories, A/D converters, pixel amplifiers, shared circuits or shared components
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/76—Addressed sensors, e.g. MOS or CMOS sensors
    • H04N25/77—Pixel circuitry, e.g. memories, A/D converters, pixel amplifiers, shared circuits or shared components
    • H04N25/772—Pixel circuitry, e.g. memories, A/D converters, pixel amplifiers, shared circuits or shared components comprising A/D, V/T, V/F, I/T or I/F converters
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/76—Addressed sensors, e.g. MOS or CMOS sensors
    • H04N25/78—Readout circuits for addressed sensors, e.g. output amplifiers or A/D converters
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/79—Arrangements of circuitry being divided between different or multiple substrates, chips or circuit boards, e.g. stacked image sensors

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • Signal Processing (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • Power Engineering (AREA)
  • General Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Medical Informatics (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Microelectronics & Electronic Packaging (AREA)
  • Computer Hardware Design (AREA)
  • Condensed Matter Physics & Semiconductors (AREA)
  • Electromagnetism (AREA)
  • Data Mining & Analysis (AREA)
  • Vascular Medicine (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Studio Devices (AREA)
  • Image Processing (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)
  • Image Analysis (AREA)

Abstract

在一个示例中，一种装置包括：图像传感器，包括像素单元阵列，每个像素单元包括光电二极管和用于生成图像数据的电路，光电二极管形成在第一半导体衬底中；以及形成在一个或更多个第二半导体衬底中的控制器，该第二半导体衬底包括像素单元阵列的电路，第一半导体衬底和第二半导体衬底形成堆叠并容纳在半导体封装内。控制器被配置为：确定由图像传感器生成的第一图像数据是否包含对象的特征；基于第一图像数据是否包含对象的特征，为图像传感器生成编程信号；以及基于编程信号控制图像传感器以生成第二图像数据。

Description

动态可编程图像传感器
背景
本公开一般涉及图像传感器，且更具体地说，涉及动态可编程图像传感器。
典型的图像传感器包括像素单元阵列。每个像素单元可以包括光电二极管，以通过将光子转换成电荷(例如，电子或空穴)来感测光。在每个像素单元处转换的电荷可以被量化成数字像素值，并且可以从数字像素值的阵列生成图像。像素单元阵列的操作可以基于预定的编程信号来配置。
概述
本公开涉及图像传感器。更具体地，但不限于此，本公开涉及一种图像传感器，该图像传感器可由集成控制器基于图像传感器捕获的图像数据动态编程。
在一个示例中，一种装置包括：图像传感器，其包括像素单元阵列，每个像素单元包括光电二极管和用于生成图像数据的电路，光电二极管形成在第一半导体衬底中；以及形成在一个或更多个第二半导体衬底中的控制器，该第二半导体衬底包括像素单元阵列的电路，第一半导体衬底和第二半导体衬底形成堆叠并容纳在半导体封装内。控制器被配置为：确定由图像传感器生成的第一图像数据是否包含对象的特征；基于第一图像数据是否包含对象的特征，为图像传感器生成编程信号；以及基于编程信号控制图像传感器以生成第二图像数据。
在一些方面，该装置还包括被配置为提取对象特征的图像处理器。图像处理器在一个或更多个第二半导体衬底中实现。
在一些方面，图像处理器被配置为向控制器提供在第一图像帧中对象的提取的特征的像素位置。控制器被配置为：基于提取的特征的像素位置，确定包含第二图像数据的第二图像帧中的感兴趣区域(ROI)；并基于ROI生成编程信号。
在一些方面，控制器被配置为基于对象的运动模型来确定第二图像帧中的ROI。
在一些方面，编程信号包括以ROI内的像素单元阵列的第一子集为目标的编程信号的第一子集和以像素单元阵列的第二子集为目标的编程信号的第二子集。
在一些方面，控制器被配置为控制像素单元阵列的所有像素单元输出第一图像帧的像素数据。编程信号的第一子集控制像素单元阵列的第一子集输出第二图像帧的像素数据。编程信号的第二子集控制像素单元阵列的第二子集不输出第二图像帧的像素数据。
在一些方面，编程信号的第一子集控制以下中的至少一个：像素单元阵列的第一子集消耗的第一功率、像素单元阵列的第一子集输出的第一像素数据的第一量化分辨率、或者第一像素数据的第一位长度。编程信号的第二子集控制以下各项中的至少一项：像素单元阵列的第二子集消耗的第二功率、像素单元阵列的第二子集输出的第二像素数据的第二量化分辨率、或第一像素数据的第二位长度。
在一些方面，阵列像素单元的每个像素单元是可单独寻址的。编程信号包括分别以每个像素单元为目标的像素级信号。
在一些方面，控制器被配置为：从图像处理器接收第一图像数据不包含对象的特征的指示；以及基于所述指示，基于以下至少一项来生成编程信号以控制图像传感器执行子采样操作：禁用像素单元阵列的子集，或者控制像素单元阵列的子集不输出像素数据。
在一些方面，控制器被配置成生成编程信号以缩放图像传感器的电源电压。
在一些方面，图像处理器被配置成：从第二传感器接收指示对象的物理定位(position)的定位信息；并且基于定位信息从第一图像数据中提取对象的特征。
在一些方面，图像处理器实现神经网络来提取对象的特征。
在一些方面，当装置以训练模式操作并获得对象的图像数据时，获得神经网络的权重。
在一些方面，编程信号是第一编程信号。图像处理器包括多个子块，每个子块被配置为从来自图像传感器的图像数据块中提取对象的特征。控制器被配置为向图像处理器发送第二编程信号，以基于图像处理器从第一图像数据提取对象特征的结果，禁止子块的子集用于从第二图像数据提取对象特征。
在一些方面，编程信号是第一编程信号。控制器被配置为向图像处理器发送第二编程信号，以调整图像处理器的电源电压或图像处理器的操作频率中的至少一个。
在一些方面，编程信号是第一编程信号。控制器被配置为向图像处理器发送第二编程信号，以控制图像处理器不从第二图像数据中提取对象的特征，并将第二图像数据转发到外部系统。
在一些方面，该装置还包括：像素互连，其通过第一半导体衬底和一个或更多个第二半导体衬底之间的芯片对芯片铜键合来实现，以将由第一半导体衬底中的光电二极管产生的信号传输到一个或更多个第二半导体衬底中的每个像素单元的电路；和贯穿硅通孔(TSV)，其在所述第一半导体衬底和所述一个或更多个第二半导体衬底之间，以将所述编程信号从所述控制器传输到所述图像传感器。
在一些示例中，提供了一种方法。该方法包括：由控制器确定由图像传感器生成的第一图像数据是否包含对象的特征，其中图像传感器和控制器形成堆叠并且被容纳在半导体封装内；基于第一图像数据是否包含对象的特征，由控制器生成用于图像传感器的编程信号；以及由控制器基于编程信号控制图像传感器以生成第二图像数据。
在一些方面，该方法还包括通过图像处理器提取对象的特征。图像处理器是堆叠的一部分，并且容纳在半导体封装内。
在一些方面，该方法还包括：由图像处理器确定第一图像帧中对象的提取的特征的像素位置；由控制器基于提取的特征的像素位置确定包含第二图像数据的第二图像帧中的感兴趣区域(ROI)；以及由控制器基于ROI生成编程信号。
附图简述
参考以下附图描述说明性实施例。
图1A和图1B是近眼显示器的实施例的示意图。
图2是近眼显示器的横截面的实施例。
图3示出了具有单个源组件的波导显示器的实施例的等轴视图。
图4示出了波导显示器的实施例的横截面。
图5是包括近眼显示器的系统的实施例的框图。
图6A、图6B、图6C和图6D示出了图像传感器及其操作的示例。
图7A、图7B和图7C示出了成像系统及其操作的示例。
图8A、图8B、图8C和图8D示出了图7A-7C的图像处理系统的示例部件。
图9A和图9B示出了图7A-图7C的成像系统的示例物理布置。
图10示出了用于生成图像数据的示例过程的流程图。
附图仅为了说明的目的而描绘本公开的实施例。本领域中的技术人员从下面的描述中将容易认识到示出的结构和方法的可选的实施例可以被采用而不偏离本公开的原理和所推崇的益处。
在附图中，相似的部件和/或特征可以具有相同的参考标记。此外，可以通过在参考标记之后用短划线(dash)和在相似部件之间进行区分的第二标记来区分相同类型的各个部件。如果说明书中仅使用第一参考标记，则该描述适用于具有相同第一参考标记的任何一个相似部件，而与第二参考标记无关。
详细描述
在以下描述中，为了解释的目的而阐述了具体细节，以便提供对某些创造性实施例的透彻理解。然而，很明显，没有这些具体细节也可以实施各种实施例。附图和描述并不旨在是限制性的。
图像传感器包括像素单元阵列。每个像素单元包括执行光感测操作的电路部件。例如，每个像素单元可以包括通过将光子转换成电荷(例如，电子或空穴)来感测入射光的光电二极管，以及将电荷转换成电压的电荷感测单元(例如，浮置漏极和缓冲器)。图像传感器还可以包括一个或更多个模数转换器(ADC)，以将像素单元的电荷感测单元输出的电压量化为数字值。ADC可以通过例如使用比较器将表示电荷的电压与一个或更多个量化电平进行比较来量化电荷，并且可以基于比较结果产生数字值。然后，数字值可以存储在存储器中以生成图像。图像传感器通常包括控制器，用于发出一个或更多个芯片级编程信号，以配置图像传感器的像素单元的操作。例如，控制器可以打开或关闭图像传感器的所有像素单元，设置像素单元执行光感测操作的全局曝光时间等。
来自图像传感器的像素数据可以支持各种应用，例如2D和3D感测的融合、对象识别和跟踪、位置跟踪等。这些应用可以从图像中提取一个或更多个对象的特征，并基于提取的特征执行计算。例如，为了执行3D感测，应用可以识别反射的结构光的像素(例如，点)，将从像素提取的图案与透射的结构光进行比较，并基于该比较执行深度计算。该应用还可以识别来自相同像素单元的2D像素数据，这些像素单元提供提取的结构光图案以执行2D和3D感测的融合。为了执行对象识别和跟踪，应用还可以识别对象的图像特征的像素，从像素中提取图像特征，并基于提取结果执行识别和跟踪。对象识别和跟踪结果可以支持更高级别的应用，例如同时定位和映射(SLAM)应用、眼睛跟踪应用等。这些应用通常在主机处理器上执行，主机处理器可以与图像传感器电连接，并通过互连来接收像素数据。主机处理器、图像传感器和互连可以是移动设备的成像系统的一部分。
虽然这些主机应用可以从像素单元阵列生成的图像数据中受益，但整体成像系统的性能，如功耗、速度、精度等，会受到各种因素的限制。首先，典型地，这些应用对图像数据的生成以及这些像素单元的光感测操作没有控制。缺少来自主机应用的关于像素单元配置的输入会对图像传感器和这些应用的可实现性能造成限制。例如，主机应用可以受益于高分辨率图像和/或高帧速率。更高分辨率的图像允许应用提取更详细的特征/图案(例如，反射结构光的更精细的图案、更详细的图像特征等)，而提供以较高帧速率生成的图像使得应用能够跟踪对象的位置、移动设备的位置等，在较高的采样率下，这两种方法都可以提高应用的性能。然而，高分辨率图像和高帧速率会导致大量像素数据的生成、传输和处理，这可能会带来许多挑战。例如，以高数据速率传输和处理大量像素数据会导致图像传感器、互连和主机处理器的高功耗。此外，图像传感器和主机处理器可能对大量像素数据的产生和处理施加带宽限制并增加延迟。由于形状因素和安全考虑，高功率和高带宽要求对于倾向于以相对低的功率和相对低的速度工作的移动设备来说尤其成问题。
此外，通常图像传感器和主机处理器根据不同的规格单独设计和优化。当它们被组合以形成成像系统时，这种布置会导致在图像传感器和主机处理器处的低效率和资源浪费(例如，功率、带宽等)。例如，图像传感器可以被配置为从每个像素单元生成像素数据并将像素数据传输到主机处理器，但是主机处理器不需要来自每个像素单元的像素数据，而只需要来自像素单元子集的像素数据来跟踪对象。作为另一个例子，图像传感器可以被配置为以高帧速率输出高精度像素数据，这两者都超出了主机处理器的处理能力。结果，主机处理器仅处理来自每个像素单元的像素数据的几个最高有效位(MSB)，并且需要跳过(skip)帧。所有这些导致图像传感器在生成不能由主机处理器处理的像素数据时浪费功率和带宽，同时整体系统性能(例如，帧速率、精度等)受到主机处理器的限制。
本公开涉及能够解决上述问题中的至少一些问题的成像系统。具体地，图像系统可以包括图像传感器、图像处理器和控制器。图像传感器包括被配置成生成第一图像数据的像素单元阵列。图像处理器可以基于提取对象的特征来处理第一图像数据，并生成输出，该输出指示对象的特征是否在第一图像数据中，并且如果在，则指示第一图像数据中的特征的像素位置。控制器可以基于图像处理器的输出确定第一图像数据是否包含对象的特征，并基于该确定为图像传感器生成编程信号。控制器然后可以基于编程信号控制图像传感器产生第二图像数据。图像传感器可以在第一半导体衬底上实现，而图像处理器和控制器可以在一个或更多个第二半导体衬底上实现，其中第一半导体衬底和一个或更多个第二半导体衬底形成堆叠并容纳在半导体封装内。在一些示例中，图像处理器和控制器可以是在单个半导体衬底上实现的单个计算块的一部分，而在其他示例中，图像处理器和控制器可以是在不同半导体衬底上实现的单独的处理电路块。图像传感器、图像处理器和控制器可以使用垂直电连接来电连接，例如贯穿硅通孔(TSV)、芯片到芯片铜键合(chip-to-chipcopper bonding)等。
在一些示例中，图像传感器、图像处理器和控制器可以形成闭环系统，以基于由图像传感器生成的图像数据对图像传感器进行动态编程。具体地，在图像处理器向控制器输出对象的特征在包含第一图像数据的第一图像帧中的位置的情况下，控制器可以确定要由图像传感器生成的第二图像帧中的感兴趣区域(ROI)。控制器可以基于例如对象的运动模型来确定ROI，以基于对象的特征在第一图像帧中的像素位置来预测对象在第二图像帧中的像素位置。控制器然后可以为ROI中的像素单元阵列的第一子集生成编程信号的第一子集，并为ROI之外的像素单元阵列的第二子集生成编程信号的第二子集。编程信号的不同子集可以不同地配置像素单元阵列的相应子集。例如，编程信号的第一子集可以开启(poweron)像素单元的第一子集和/或允许像素单元的第一子集输出像素数据，而编程信号的第二子集可以关闭像素单元的第二子集和/或禁止像素单元的第二子集输出像素数据。作为另一个例子，相对于编程信号的第二子集对于像素单元的第二子集，编程信号的第一子集可以增加量化分辨率、像素数据的位长度等。在每个像素单元包括被配置为感测不同频率范围的光的多个光电二极管的情况下，图像处理器可以提取对应于不同频率范围的特征，并且控制器可以针对不同频率范围确定ROI，并且基于针对不同频率范围的ROI生成编程信号。
另一方面，在图像处理器输出对象的特征不在第一帧中，和/或对象的像素位置在多个帧中保持静态的情况下，控制器可以生成编程信号来调整图像传感器处的操作的各个方面。例如，控制器可以控制图像传感器执行子采样操作(例如，仅开启像素单元的子集和/或使其能够输出像素数据)、降低图像传感器的帧速率等。
在一些示例中，像素阵列中的每个像素单元或每组像素单元(例如，2×2像素单元)是可单独编程的。在上述两种情况下，编程信号可以包括以每个单独的像素单元/像素单元组为目标的像素级编程信号，以提供对图像传感器的细粒度控制。此外，图像处理器可以从每个图像帧中提取特征并更新特征的像素位置，这允许控制器动态地更新用于每个帧的生成的编程信号，以反映例如对象的特征的检测/未检测、ROI的更新位置等。
图像处理器可以采用各种技术来提取对象的特征。例如，图像处理器可以实现神经网络，例如卷积神经网络(CNN)，以利用权重对像素数据执行算术运算来执行提取。图像处理器可以包括存储设备(例如，自旋隧道随机存取存储器(STRAM)、非易失性随机存取存储器(NVRAM)等)来存储权重。图像处理器可以离线接收权重，和/或基于训练过程或两者的组合来生成权重。例如，在图像处理器要提取用户眼睛的特征的情况下，图像处理器可以离线获得一组初始权重。然后，图像处理器可以在训练模式中更新初始权重，在训练模式中，当要求用户在特定物理位置观看特定对象时，图像传感器捕获眼睛的图像，并且图像处理器更新初始权重，使得可以从对应于物理位置的像素位置提取眼睛的特征。图像处理器还可以从其他传感器接收传感器数据(例如惯性测量单元(IMU)，其可以包含对象的物理位置信息)，并基于传感器数据执行对象特征的提取。
在一些例子中，控制器还可以控制图像处理器的特征提取操作。例如，基于操作条件(例如，场景特征的密度、图像系统的可用功率、光条件等)，控制器可以调节图像传感器的工作电压、图像处理器提取对象特征的速度等。控制器还可以将ROI的预测位置提供回图像处理器，使得图像处理器仅从后续图像帧中的ROI提取特征。控制器还可以基于例如由像素单元输出的像素数据的位长度来禁用图像处理器的一部分以实现目标效率。在控制器确定图像处理器不能完成特征提取的情况下(例如，在目标功率使用量下、以所需的帧速率等)，控制器还可以将图像传感器的至少部分像素数据传输到外部系统(例如，主机)以执行特征提取。控制器还可以将提取的特征传输到主机，以支持各种主机应用(例如，眼睛跟踪、SLAM等)。
利用所公开的技术，图像传感器可以与包括图像处理器和控制器的计算块紧密集成，这使得图像传感器和由特定目标(例如，目标功率、目标精度、目标速度等)驱动的计算块能够共同优化。与根据不同规范优化图像系统的每个部件的情况相比，这种布置可以提高整个成像系统的性能。例如，基于功率预算，可以确定当每个图像传感器和计算块所花费的总功率保持低于功率预算时的最高可实现的像素数据精度。然后，图像传感器和计算块可以被配置为基于目标像素数据精度进行操作，以在功率预算的约束下最大化整个系统的性能。
图像传感器和计算块在单个半导体封装中的紧密集成也可以提供各种性能优势。具体地，图像处理操作的可靠性和安全性可以通过在半导体封装内本地消耗图像传感器数据来执行。相反，将图像传感器数据传输到外部芯片(例如，通过有线或无线数据链路)会使数据受到破坏和拦截。此外，由于原始图像数据由图像处理器在本地消耗，因此可以避免将原始像素数据存储在外部存储器中，因此也可以改善数据隐私。此外，图像数据的本地处理还减少了系统等待时间，并且通过例如减少需要在芯片到芯片互连上传输的数据量来实现更高速度的操作，其中芯片到芯片互连往往是带宽受限的。例如，原始像素数据不需要片外传输到主机。相反，像素数据可以在内部传输到图像处理器进行处理。这种布置可以提高诸如增强现实(AR)应用、虚拟现实(VR)应用等应用的性能，对于这些应用，等待时间是一个关键指标，尤其是在传感、跟踪和显示系统方面。此外，可以降低功耗。具体来说，数据传输的功耗可能与数据必须发送的物理距离直接相关。例如，C-PHY移动工业处理器接口(MIPI)需要几皮焦耳(pJ)/位，而通过60GHz链路的无线传输需要几百pJ/位。因此，可以通过将像素数据传输从片外传输移到封装内的互连(例如，通过C-PHY MIPI、无线信道等)来降低功耗。类似地，32位片上SRAM存储器访问比32位片外DRAM存储器访问消耗的能量大约少100倍。因此，将感测和计算块都结合在同一封装中的紧密集成系统可以导致比异构系统(其中图像传感器和计算块在通过片外互连或无线连接连接的两个不同封装中)低得多的功耗。
此外，利用所公开的技术，可以实现闭环反馈系统来动态配置图像传感器和/或图像处理器处的操作，这可以进一步提高成像系统的整体性能。具体地，控制器可以基于像素单元是否在ROI中来对像素单元编程。控制器还可以对ROI内的像素单元进行编程，以更高的精度/更高的速度生成像素数据，从而进一步提高系统的性能。此外，控制器可以配置图像处理器从图像帧的ROI中提取特征，以提高效率并减少特征提取中的系统等待时间。所有这些都可以减少生成、传输和处理主机应用不需要的像素数据时资源(如功率、带宽等)的浪费，同时允许资源用于提高主机应用所需的像素数据的质量。此外，由于图像传感器和计算块紧密集成在单个半导体封装内，所以反馈系统可以高速操作，并且编程信号的更新可以更响应于成像系统的操作条件的变化。这些都可以提高成像系统的效率和整体性能，尤其是在捕捉快速变化场景的图像以支持目标跟踪应用、SLAM应用等方面。
所公开的技术可以包括人工现实系统或者结合人工现实系统来实现。人工现实是一种在呈现给用户之前已经以某种方式进行了调整的现实形式，其可以包括例如虚拟现实(VR)、增强现实(AR)、混合现实(mixed reality，MR)、混杂现实(hybrid reality)或其某种组合和/或衍生物。人工现实内容可以包括完全生成的内容或者与所捕获的(例如，真实世界)内容组合地生成的内容。人工现实内容可以包括视频、音频、触觉反馈或它们的某种组合，它们中的任何一个都可以在单个通道或多个通道(例如向观看者产生三维效果的立体视频)中呈现。此外，在一些实施例中，人工现实还可以与应用、产品、附件、服务或其某种组合相关联，这些应用、产品、附件、服务或其某种组合用于例如在人工现实中创建内容和/或在人工现实中以其他方式被使用(例如在人工现实中执行活动)。提供人工现实内容的人工现实系统可以在各种平台上实现，这些平台包括连接到主计算机系统的头戴式显示器(HMD)、独立的HMD、移动设备或计算系统、或者能够向一个或更多个观看者提供人工现实内容的任何其他硬件平台。
图1A是近眼显示器100的实施例的示意图。近眼显示器100向用户呈现媒体。由近眼显示器100呈现的媒体的示例包括一个或更多个图像、视频和/或音频。在一些实施例中，音频经由外部设备(例如，扬声器和/或头戴式耳机(headphone))呈现，该外部设备从近眼显示器100、控制台或两者接收音频信息，并基于音频信息来呈现音频数据。近眼显示器100通常被配置成作为虚拟现实(VR)显示器进行操作。在一些实施例中，近眼显示器100被修改为作为增强现实(AR)显示器和/或混合现实(MR)显示器来进行操作。
近眼显示器100包括框架105和显示器110。框架105耦合到一个或更多个光学元件。显示器110被配置成让用户看到由近眼显示器100呈现的内容。在一些实施例中，显示器110包括波导显示组件，用于将来自一个或更多个图像的光导向用户的眼睛。
近眼显示器100还包括图像传感器120a、120b、120c和120d。图像传感器120a、120b、120c和120d中的每一个可以包括像素阵列，该像素阵列被配置为生成表示沿着不同方向的不同视场的图像数据。例如，传感器120a和120b可以被配置为提供表示沿着Z轴朝向方向A的两个视场的图像数据，而传感器120c可以被配置为提供表示沿着X轴朝向方向B的视场的图像数据，并且传感器120d可以被配置为提供表示沿着X轴朝向方向C的视场的图像数据。
在一些实施例中，传感器120a-120d可以被配置为输入设备，以控制或影响近眼显示器100的显示内容，从而向佩戴近眼显示器100的用户提供交互式VR/AR/MR体验。例如，传感器120a-120d可以生成用户所处物理环境的物理图像数据。物理图像数据可以被提供给定位跟踪系统，以跟踪用户在物理环境中的定位和/或移动路径。然后，系统可以基于例如用户的定位和定向来更新提供给显示器110的图像数据，以提供交互式体验。在一些实施例中，当用户在物理环境内移动时，定位跟踪系统可以运行SLAM算法来跟踪在物理环境中且在用户的视场内的一组对象。定位跟踪系统可以基于该组对象来构建和更新物理环境的地图(map)，并且跟踪用户在地图内的定位。通过提供对应于多个视场的图像数据，传感器120a-120d可以向定位跟踪系统提供物理环境的更全面的视图，这可以导致更多的对象被包括在地图的构建和更新中。利用这种布置，可以提高跟踪用户在物理环境内的定位的精确度和鲁棒性。
在一些实施例中，近眼显示器100还可以包括一个或更多个有源照明器130，以将光投射到物理环境中。投射的光可以与不同的频谱(例如，可见光、红外光、紫外光等)相关联，并且可以用于各种目的。例如，照明器130可以在黑暗环境中(或者在具有低强度的红外光、紫外光等的环境中)投射光，以帮助传感器120a-120d捕获黑暗环境内不同对象的图像，从而例如实现对用户进行定位跟踪。照明器130可以将某些标记(marker)投射到环境内的对象上，以帮助定位跟踪系统识别对象用于地图构建/更新。
在一些实施例中，照明器130还可以实现立体成像。例如，传感器120a或120b中的一个或更多个可以包括用于可见光感测的第一像素阵列和用于红外(IR)光感测的第二像素阵列。第一像素阵列可以覆盖有彩色滤光器(filter)(例如，Bayer滤光器)，第一像素阵列的每个像素被配置为测量与特定颜色(例如，红色、绿色或蓝色之一)相关联的光的强度。第二像素阵列(用于IR光感测)也可以覆盖有仅允许IR光通过的滤光器，第二像素阵列的每个像素被配置为测量IR光的强度。像素阵列可以生成对象的RGB图像和IR图像，其中IR图像的每个像素被映射到RGB图像的每个像素。照明器130可以将一组IR标记投射到对象上，该对象的图像可以被IR像素阵列捕获。基于图像中所示的对象的IR标记分布，系统可以估计对象的不同部分离IR像素阵列的距离，并基于该距离生成对象的立体图像。基于对象的立体图像，系统可以确定例如，对象相对于用户的相对位置，并且可以基于相对位置信息来更新提供给显示器100的图像数据，以提供交互式体验。
如上面所讨论的，近眼显示器100可以在与非常宽的光强度范围相关联的环境中操作。例如，近眼显示器100可以在室内环境或室外环境中和/或在一天中的不同时间操作。近眼显示器100也可以在开启或不开启有源照明器130的情况下操作。结果，图像传感器120a-120d可能需要具有宽的动态范围，以便能够在与近眼显示器100的不同操作环境相关联的非常宽的光强度范围上正确操作(例如，生成与入射光的强度相关的输出)。
图1B是近眼显示器100的另一个实施例的示意图。图1B示出了近眼显示器100的面向佩戴近眼显示器100的用户的眼球135的一侧。如图1B所示，近眼显示器100还可以包括多个照明器140a、140b、140c、140d、140e和140f。近眼显示器100还包括多个图像传感器150a和150b。照明器140a、140b和140c可以朝向方向D(与图1A的方向A相反)发射特定频率范围(例如NIR)的光。发射的光可以与某种图案相关联，并且可以被用户的左眼球反射。传感器150a可以包括像素阵列，以接收反射的光并生成反射图案的图像。类似地，照明器140d、140e和140f可以发射携带图案的NIR光。NIR光可以被用户的右眼球反射，并且可以被传感器150b接收。传感器150b还可以包括像素阵列，以生成反射图案的图像。基于来自传感器150a和150b的反射图案的图像，系统可以确定用户的凝视点，并基于所确定的凝视点来更新提供给显示器100的图像数据，以向用户提供交互式体验。
如上面所讨论的，为了避免损害用户的眼球，照明器140a、140b、140c、140d、140e和140f通常被配置为输出非常低强度的光。在图像传感器150a和150b包括与图1A的图像传感器120a-120d相同的传感器设备的情况下，当入射光的强度非常低时，图像传感器120a-120d可能需要能够生成与入射光的强度相关的输出，这可能进一步增加图像传感器的动态范围要求。
此外，图像传感器120a-120d可能需要能够以高速度生成输出来跟踪眼球的运动。例如，用户的眼球可以进行非常快速的运动(例如，眼跳运动(saccade movement))，其中可以从一个眼球位置快速跳跃到另一个眼球位置。为了跟踪用户眼球的快速运动，图像传感器120a-120d需要以高速度生成眼球的图像。例如，图像传感器生成图像帧的速率(帧速率)至少需要匹配眼球的运动速度。高的帧速率要求生成图像帧所涉及的所有像素单元的总曝光时间要短，并且要求将传感器输出转换成用于图像生成的数字值的速度要快。此外，如上面所讨论的，图像传感器也需要能够在低光强度的环境下操作。
图2是图1所示的近眼显示器100的横截面200的实施例。显示器110包括至少一个波导显示组件210。出射光瞳(exit pupil)230是当用户佩戴近眼显示器100时，用户的单个眼球220在适眼区(eyebox)区域中的定位。为了说明的目的，图2示出了与眼球220和单个波导显示组件210相关联的横截面200，但是第二波导显示器用于用户的第二只眼睛。
波导显示组件210被配置成将图像光导向位于出射光瞳230处的适眼区，并导向眼球220。波导显示组件210可以由具有一个或更多个折射率的一种或更多种材料(例如，塑料、玻璃等)组成。在一些实施例中，近眼显示器100包括在波导显示组件210和眼球220之间的一个或更多个光学元件。
在一些实施例中，波导显示器组件210包括一个或更多个波导显示器的堆叠，包括但不限于堆叠波导显示器、变焦距波导显示器等。堆叠波导显示器是多色显示器(例如，红-绿-蓝(RGB)显示器)，其通过堆叠波导显示器来创建，波导显示器的相应单色源具有不同的颜色。堆叠式波导显示器也是可以被投射在多个平面上的多色显示器(例如，多平面彩色显示器)。在一些配置中，堆叠式波导显示器是可以被投射在多个平面上的单色显示器(例如，多平面单色显示器)。变焦波导显示器是可以调节从波导显示器发射的图像光的焦点位置的显示器。在替代实施例中，波导显示组件210可以包括堆叠式波导显示器和变焦波导显示器。
图3示出了波导显示器300的实施例的等轴视图。在一些实施例中，波导显示器300是近眼显示器100的部件(例如，波导显示组件210)。在一些实施例中，波导显示器300是将图像光导向特定定位的某个其他近眼显示器或其他系统的一部分。
波导显示器300包括源组件310、输出波导320和控制器330。为了说明的目的，图3示出了与单个眼球220相关联的波导显示器300，但是在一些实施例中，与波导显示器300分离或部分分离的另外的波导显示器向用户的另一只眼睛提供图像光。
源组件310生成图像光355。源组件310生成图像光355并将其输出到位于输出波导320的第一侧面370-1上的耦合元件350。输出波导320是向用户的眼球220输出扩展的图像光340的光波导。输出波导320在位于第一侧面370-1上的一个或更多个耦合元件350处接收图像光355，并将接收到的输入图像光355引导至导向元件360。在一些实施例中，耦合元件350将来自源组件310的图像光355耦合到输出波导320中。耦合元件350可以是，例如，衍射光栅、全息光栅、一个或更多个级联反射器、一个或更多个棱柱面元件(prismatic surfaceelement)、和/或全息反射器阵列。
导向元件360将接收到的输入图像光355重定向到去耦元件(decouplingelement)365，使得接收到的输入图像光355经由去耦元件365从输出波导320去耦出去。导向元件360是输出波导320的第一侧面370-1的一部分，或固定到输出波导320的第一侧面370-1。去耦元件365是输出波导320的第二侧面370-2的一部分，或固定到输出波导320的第二侧面370-2，使得导向元件360与去耦元件365相对。导向元件360和/或去耦元件365可以是例如，衍射光栅、全息光栅、一个或更多个级联反射器、一个或更多个棱柱面元件、和/或全息反射器阵列。
第二侧面370-2表示沿x维度和y维度的平面。输出波导320可以由有助于图像光355的全内反射的一种或更多种材料组成。输出波导320可以由例如硅、塑料、玻璃和/或聚合物组成。输出波导320具有相对较小的形状因子。例如，输出波导320可以沿x维度宽约50mm，沿y维度长约30mm，以及沿z维度厚约0.5mm-1mm。
控制器330控制源组件310的扫描操作。控制器330确定源组件310的扫描指令。在一些实施例中，输出波导320将扩展的图像光340以大视场(FOV)输出到用户的眼球220。例如，扩展的图像光340以(x和y中的)60度和/或更大和/或150度和/或更小的对角FOV被提供给用户的眼球220。输出波导320被配置成提供适眼区，该适眼区长度为20mm或更大和/或等于或小于50mm；和/或宽度为10mm或更大和/或等于或小于50mm。
此外，控制器330还基于由图像传感器370提供的图像数据来控制由源组件310生成的图像光355。图像传感器370可以位于第一侧370-1上，并且可以包括例如图1A的图像传感器120a-120d。图像传感器120a-120d可以被操作来执行对例如用户前方(例如，面向第一侧370-1)的对象372的2D感测和3D感测。对于2D感测，图像传感器120a-120d的每个像素单元可以被操作来生成表示由光源376生成并被对象372反射的光374的强度的像素数据。对于3D感测，图像传感器120a-120d的每个像素单元可以被操作来生成表示由照明器325生成的光378的飞行时间测量结果的像素数据。例如，图像传感器120a-120d的每个像素单元可以确定当照明器325被启用以投射光378的第一时间和当像素单元检测到从对象372反射的光378的第二时间。第一时间和第二时间之间的差可以指示图像传感器120a-120d和对象372之间的光378的飞行时间，并且飞行时间信息可以用于确定图像传感器120a-120d和对象372之间的距离。图像传感器120a-120d可以被操作来在不同时间执行2D和3D感测，并且将2D和3D图像数据提供给远程控制台390，远程控制台390可以(或者可以不)位于波导显示器300内。远程控制台可以组合2D和3D图像，以例如生成用户所处环境的3D模型，以跟踪用户的位置和/或取向等。远程控制台可以基于从2D和3D图像导出的信息来确定要向用户显示的图像的内容。远程控制台可以向控制器330传输与所确定的内容相关的指令。基于这些指令，控制器330可以控制源组件310生成并输出图像光355，以向用户提供交互式体验。
图4示出了波导显示器300的横截面400的实施例。横截面400包括源组件310、输出波导320和图像传感器370。在图4的示例中，图像传感器370可以包括位于第一侧面370-1上的一组像素单元402，以生成用户前方的物理环境的图像。在一些实施例中，可以在像素单元402集合和物理环境之间插入机械快门404和光学滤波器阵列406。机械快门404可以控制像素单元402集合的曝光。在一些实施例中，如下面将讨论的，机械快门404可以由电子快门(electronic shutter gate)代替。如下所述，光学滤波器阵列406可以控制像素单元402集合暴露于的光的光学波长范围。每个像素单元402可以对应于图像的一个像素。尽管图4中未示出，但应当理解，每个像素单元402也可以叠加有滤波器，以控制要由像素单元感测的光的光学波长范围。
在从远程控制台接收到指令之后，机械快门404可以在曝光周期中打开并曝光该组像素单元402。在曝光周期期间，图像传感器370可以获得入射到该组像素单元402上的光样本，并且基于由该组像素单元402检测到的入射光样本的强度分布来生成图像数据。图像传感器370然后可以向远程控制台提供图像数据，该远程控制台确定显示内容，并向控制器330提供显示内容信息。控制器330然后可以基于显示内容信息来确定图像光355。
源组件310根据来自控制器330的指令生成图像光355。源组件310包括源410和光学系统415。源410是生成相干光或部分相干光的光源。源410可以是，例如，激光二极管、垂直腔面发射激光器和/或发光二极管。
光学系统415包括一个或更多个光学部件，光学部件调节来自源410的光。调节来自源410的光可以包括例如，根据来自控制器330的指令来扩展、准直和/或调整定向。一个或更多个光学部件可以包括一个或更多个透镜、液体透镜、反射镜、光圈和/或光栅。在一些实施例中，光学系统415包括具有多个电极的液体透镜，该液体透镜允许用阈值的扫描角度来扫描光束，以将光束移到液体透镜外部的区域。从光学系统415(还有源组件310)发射的光被称为图像光355。
输出波导320接收图像光355。耦合元件350将来自源组件310的图像光355耦合到输出波导320中。在耦合元件350是衍射光栅的实施例中，衍射光栅的栅距被选择成使得在输出波导320中发生全内反射，并且图像光355在输出波导320中(例如，通过全内反射)朝向去耦元件365进行内部传播。
导向元件360将图像光355重定向到去耦元件365，用于从输出波导320去耦。在导向元件360是衍射光栅的实施例中，衍射光栅的栅距被选择成使得入射图像光355以相对于去耦元件365的表面倾斜的角度离开输出波导320。
在一些实施例中，导向元件360和/或去耦元件365在结构上类似。离开输出波导320的扩展的图像光340沿着一个或更多个维度被扩展(例如，可以沿着x维度被拉长)。在一些实施例中，波导显示器300包括多个源组件310和多个输出波导320。每个源组件310发射对应于原色(例如，红色、绿色或蓝色)的特定波段的单色图像光。每个输出波导320可以以一定的间隔距离堆叠在一起，以输出多色的扩展的图像光340。
图5是包括近眼显示器100的系统500的实施例的框图。系统500包括近眼显示器100、成像设备535、输入/输出接口540以及图像传感器120a-120d和150a-150b，它们各自耦合到控制电路510。系统500可以被配置为头戴式设备、移动设备、可穿戴设备等。
近眼显示器100是向用户呈现媒体的显示器。由近眼显示器100呈现的媒体示例包括一个或更多个图像、视频和/或音频。在一些实施例中，音频经由外部设备(例如，扬声器和/或头戴式耳机)呈现，该外部设备从近眼显示器100和/或控制电路510接收音频信息，并基于音频信息来向用户呈现音频数据。在一些实施例中，近眼显示器100也可以充当AR眼镜。在一些实施例中，近眼显示器100利用计算机生成的元素(例如，图像、视频、声音等)来增强物理、真实世界环境的视图。
近眼显示器100包括波导显示组件210、一个或更多个位置传感器525和/或惯性测量单元(IMU)530。波导显示组件210包括源组件310、输出波导320和控制器330。
IMU 530是一种电子设备，其基于从一个或更多个位置传感器525接收的测量信号生成快速校准数据，该快速校准数据指示相对于近眼显示器100的初始位置的近眼显示器100的估计位置。
成像设备535可以生成用于各种应用的图像数据。例如，成像设备535可以根据从控制电路510接收的校准参数来生成图像数据以提供慢速校准数据。成像设备535可以包括例如图1A的图像传感器120a-120d，用于生成用户所处的物理环境的图像数据，用于执行用户的位置跟踪。成像设备535可以进一步包括例如图1B的图像传感器150a-150b，用于生成用于确定用户注视点的图像数据，以识别用户感兴趣的对象。
输入/输出接口540是允许用户向控制电路510发送动作请求的设备。动作请求是执行特定动作的请求。例如，动作请求可以是开始或结束应用，或者是在应用内执行特定动作。
控制电路510根据从成像设备535、近眼显示器100和输入/输出接口540中的一个或更多个接收的信息来向近眼显示器100提供媒体以呈现给用户。在一些示例中，控制电路510可以被容纳在被配置为头戴式设备的系统500内。在一些示例中，控制电路510可以是与系统500的其他部件通信耦合的独立控制台设备。在图5所示的示例中，控制电路510包括应用储存器545、跟踪模块550和引擎555。
应用储存器545存储用于由控制电路510执行的一个或更多个应用。应用是一组指令，该组指令当由处理器执行时生成用于显现给用户的内容。应用的示例包括：游戏应用、会议应用、视频回放应用或其他合适的应用。
跟踪模块550使用一个或更多个校准参数来校准系统500，并且可以调整一个或更多个校准参数以减小近眼显示器100的位置确定中的误差。
跟踪模块550使用来自成像设备535的慢速校准信息来跟踪近眼显示器100的移动。跟踪模块550还使用来自快速校准信息的位置信息来确定近眼显示器100的参考点的位置。
引擎555执行系统500内的应用，并从跟踪模块550接收近眼显示器100的位置信息、加速度信息、速度信息和/或预测的未来位置。在一些实施例中，引擎555接收的信息可以用于产生信号(例如，显示指令)给波导显示组件210，该信号确定呈现给用户的内容类型。例如，为了提供交互式体验，引擎555可以基于(例如，由跟踪模块550提供的)用户的定位、(例如，基于由成像设备535提供的图像数据的)用户的凝视点、(例如，基于由成像设备535提供的图像数据的)对象与用户之间的距离来确定要呈现给用户的内容。
图6A、图6B、图6C和图6D示出了图像传感器600及其操作的示例。如图6A所示，图像传感器600可以包括像素单元阵列，包括像素单元601，并且可以生成对应于图像像素的数字强度数据。像素单元601可以是图4的像素单元402的一部分。如图6A所示，像素单元601可以包括光电二极管602、电子快门开关603、转移开关604、电荷存储设备605、缓冲器606和量化器607。光电二极管602可以包括例如P-N结二极管、P-I-N结二极管、钉扎二极管等，而电荷存储设备605可以是转移开关604的浮置漏极节点。当在曝光周期内接收光时，光电二极管602可以产生并积累剩余电荷。当在曝光周期内剩余电荷饱和时，光电二极管602可以通过转移开关604向电荷存储设备605输出溢出电荷。电荷存储设备605可以将溢出电荷转换成电压，该电压可以由缓冲器606缓冲。量化器607可以对缓冲电压进行量化，以生成测量数据608，例如表示曝光周期内光电二极管602接收的光的强度。
量化器607可以包括比较器，用于针对与不同强度范围相关联的不同量化操作，将缓冲电压与不同阈值进行比较。例如，对于由光电二极管602产生的溢出电荷量超过电荷存储设备605的饱和极限的高强度范围，量化器607可以通过检测缓冲电压是否超过表示饱和极限的静态阈值来执行饱和时间(TTS)测量操作，并且如果超过，则测量缓冲电压超过静态阈值所花费的时间。测量到的时间可以与光强度成反比。此外，对于其中光电二极管被剩余电荷饱和但溢出电荷保持低于电荷存储设备605的饱和极限的中等强度范围，量化器607可以执行FD ADC操作来测量存储在电荷存储设备605中的溢出电荷的量。此外，对于光电二极管没有被剩余电荷饱和并且没有溢出电荷累积在电荷存储设备605中的低强度范围，量化器607可以执行PD ADC操作来测量累积在光电二极管602中的剩余电荷的量。TTS、FD ADC或PD ADC操作之一的输出可以作为测量数据608输出，以表示光的强度。
图6B示出了像素单元601的示例操作序列。如图6B所示，可以基于控制电子快门开关603的AB信号的时序(timing)并基于控制转移开关604的TG信号的时序来定义曝光周期，该电子快门开关603可以在被使能时将光电二极管602产生的电荷引导走，该转移开关604被控制以转移溢出电荷，然后将剩余电荷转移到电荷存储设备605以供读出。例如，参考图6B，AB信号可以在时间T0被宣称无效，以允许光电二极管602产生电荷。T0可以标志曝光周期的开始。在曝光周期内，TG信号可以将转移开关604设置为部分导通状态，以允许光电二极管602累积电荷中的至少一些作为剩余电荷，直到光电二极管602饱和，之后溢出的电荷可以被转移到电荷存储设备605。在时间T0和T1之间，量化器607可以执行TTS操作以确定电荷存储设备605处的溢出电荷是否超过饱和极限，然后在时间T1和T2之间，量化器607可以执行FD ADC操作以测量电荷存储设备605处的溢出电荷的量。在时间T2和T3之间，TG信号可以被宣称有效以将转移开关604偏置在完全导通状态，从而将剩余电荷转移到电荷存储设备605。在时间T3，TG信号可以被宣称无效以将电荷存储设备605与光电二极管602隔离，而AB信号可以被宣称有效以将光电二极管602产生的电荷引导走。时间T3可以标记曝光周期的结束。在时间T3和T4之间，量化器607可以执行PD操作来测量剩余电荷的量。
AB和TG信号可以由控制器(图6A中未示出)产生，该控制器可以是像素单元601的一部分，以控制曝光周期的持续时间和量化操作的序列。控制器还可以检测电荷存储设备605是否饱和以及光电二极管602是否饱和，以从TTS、FD ADC或PD ADC操作之一中选择输出作为测量数据608。例如，如果电荷存储设备605饱和，控制器可以提供TTS输出作为测量数据608。如果电荷存储设备605未饱和，但是光电二极管602饱和，则控制器可以提供FD ADC输出作为测量数据608。如果光电二极管602不饱和，控制器可以提供PD ADC输出作为测量数据608。在曝光周期内生成的来自图像传感器600的每个像素单元的测量数据608可以形成图像帧。控制器可以在后续曝光周期中重复图6B中的操作序列，以生成后续图像帧。
来自图像传感器600的图像帧数据可以被传输到主机处理器(图6A-图6D中未示出)，以支持不同的应用，例如识别和跟踪对象612、相对于图像传感器600执行对象612的深度感测等。对于所有这些应用，只有像素单元的子集提供相关信息(例如，对象612的像素数据)，而其余像素单元不提供相关信息。例如，参考图6C，在时间T0，图像传感器600的一组像素单元620接收由对象612反射的光，而在时间T6，对象612可能已经移位(例如，由于对象612的移动、图像传感器600的移动或两者)，并且图像传感器600的一组像素单元630接收由对象612反射的光。
在一些示例中，图像传感器600可以仅将来自像素单元组620和630的像素数据传输到主机处理器，以减少传输的像素数据量。在一些示例中，图像传感器600也可以使所有像素传输像素数据，但是像素单元620和630的组可以具有与其他组不同的配置。例如，像素单元组620和630可以以较高的量化分辨率生成和输出像素数据，以表示对象612的图像，而其余像素单元可以以较低的分辨率生成和输出像素数据。作为另一个例子，像素单元组620和630可以具有比其他像素单元更长的曝光周期。所有这些布置可以允许生成和传输更高分辨率的图像，而不相应地增加功率和带宽。例如，包括更多像素单元的更大的像素单元阵列可以用于对对象612成像以提高图像分辨率，而当只有包括提供对象612的像素数据的像素单元在内的像素单元的子集生成高分辨率像素数据并将高分辨率像素数据传输到主机处理器时，提供提高的图像分辨率所需的带宽和功率可以减少，而其余的像素单元或者不生成/传输像素数据，或者以非常低的分辨率生成/传输像素数据。此外，虽然图像传感器600可以被操作来以较高的帧速率生成图像，但是当每个图像仅包括高分辨率并且由大量的位表示的一小组像素值，而其余的像素值具有非常低的分辨率并且由较少的位表示时，可以减少带宽和功率的增加。
在3D感测的情况下，也可以减少像素数据传输的量。例如，参考图6D，照明器640可以将结构光的图案642投射到对象650上。结构光可以在对象650的表面上反射，并且反射光的图案652可以被图像传感器600捕获以生成图像。主机处理器可以将图案652与图案642匹配，并基于图像中图案652的图像位置来确定对象650相对于图像传感器600的深度。对于3D感测，只有像素单元组660、662、664和666包含相关信息(例如，图案652的像素数据)。为了减少被传输的像素数据量，图像传感器600可以被配置为仅从像素单元组660、662、664和666发送像素数据，或者以高分辨率从像素单元组660、662、664和666发送像素数据，而其余像素数据以低分辨率发送到主机处理器。
图7A、图7B和图7C示出了成像系统700及其操作的示例。如图7A所示，成像系统700包括图像传感器702、图像处理器704和控制器706。图像传感器702、图像处理器704和控制器706可以是半导体芯片的一部分，并且容纳在单个半导体封装内。图像传感器702包括像素单元阵列712，以生成图像数据，例如图像数据722。在一些示例中，像素单元阵列712的每个像素单元可以包括图6A的像素单元601，并且图像数据可以包括例如表示由每个像素单元接收的光强度的像素数据。图像处理器704可以处理来自图像传感器702的图像数据722，以提取场景的特征，例如对象612、图案652等，并生成图像数据722中提取的特征及其像素位置的输出724。图像处理器704可以将输出724传输到外部系统，例如主机处理器725，以支持在主机处理器725上运行的各种应用，例如SLAM应用、对象跟踪应用等。主机处理器725和成像系统700可以通过互连(图7A中未示出)(例如与移动工业处理器接口(MIPI)兼容的互连)电连接。此外，控制器706可以生成编程信号726，以控制图像传感器702的光感测和图像数据生成操作。控制器706还可以产生编程信号728来控制图像处理器704的操作。
在一些示例中，图像传感器702、图像处理器704和控制器706可以形成闭环系统，以基于图像传感器生成的图像数据动态地确定图像传感器702的编程信号726和/或图像处理器704的编程信号728。图7B和图7C示出了图像传感器702、图像处理器704和控制器706的反馈操作的例子。如图7B所示，图像处理器704可以在时间T0从图像传感器702接收图像帧730作为部分图像数据722。从图像帧730，图像处理器704可以提取场景的特征，包括例如对象612的边缘732、纹理734等，以及图像帧730中的特征的像素位置，并且在输出724中包括识别特征及其像素位置的信息。基于输出724中的特征和像素位置，控制器706可以确定图像帧730中是否存在对象612。如果图像帧730中存在对象612，则控制器706可以确定图像帧730中对象612的像素的像素位置，以及图像帧730中围绕对象612的像素的感兴趣区域(ROI)742。控制器706还可以确定ROI 742在由像素单元阵列712在时间T1生成的后续图像帧中的位置。该确定可以基于预测对象612的移动距离(在图7B中标记为“d”)，其可以基于例如对象612的运动模型(例如，基于在先前图像帧中捕获的对象612的移动/像素位置的历史)、图像帧730和后续图像之间的时间差等。基于ROI 742在后续图像帧中的位置，控制器706可以识别在时间T1在ROI 742内的像素单元阵列712的第一子集，以及在时间T1在ROI742外的像素单元阵列712的第二子集。
控制器706可以基于像素单元阵列712的第一子集和第二子集的识别来生成编程信号726和/或728。例如，控制器706然后可以为ROI中的像素单元阵列的第一子集生成编程信号726的第一子集，并为ROI之外的像素单元阵列的第二子集生成编程信号726的第二子集。编程信号的不同子集可以不同地配置像素单元阵列的相应子集。例如，编程信号726的第一子集可以开启像素单元的第一子集和/或允许像素单元的第一子集输出像素数据，而编程信号726的第二子集可以关闭像素单元的第二子集，和/或禁止像素单元的第二子集输出像素数据，以减少像素单元阵列712输出的像素数据量。
作为另一个例子，编程信号726的第二子集可以允许像素单元阵列的第二子集生成和输出像素数据，但是相比于像素单元阵列712的第一子集，像素数据可以以较低的精度(例如，以较低的量化分辨率、具有较低的位长度等)生成和输出。这种布置允许图像处理器704从像素单元阵列的第二子集提取ROI 742之外的场景的特征，并将提取的特征提供给控制器706，这允许控制器706确认ROI 742在后续图像帧中的预测位置是否正确。同时，编程信号726的第一子集还可以提高像素单元阵列712的第一子集处的像素数据生成的精度，以提高图像传感器704针对对象612提取特征的精度。
在一些示例中，像素单元阵列712的每个像素单元可以包括多个光电二极管，这些光电二极管被配置为感测不同频率范围的光，并为不同频率范围生成不同的图像帧。例如，回头参考图7A和图7B，像素单元阵列712可以生成用于2D感测的可见光频率范围内的包括对象612的图像帧，以及用于3D感测的包括红外频率范围内的图案652的另一图像帧。在这种情况下，图像处理器704可以从对应于不同频率范围的每个帧中提取特征。控制器706还可以为每个不同的频率范围确定ROI，并基于ROI为不同的频率范围生成编程信号726。例如，控制器706可以基于对象612的ROI为以2D感测模式操作的像素单元阵列712生成编程信号726的第一集合，并且基于图案652的ROI为以3D感测模式操作的像素单元阵列712生成编程信号726的第二集合。
在一些示例中，作为反馈操作的一部分，控制器706还可以基于ROI确定来生成编程信号728，以控制图像处理器704处的特征提取操作，这可以减少特征提取操作引起的等待时间和功率。例如，控制器706还可以将ROI 742的预测位置作为编程信号728的一部分提供回图像处理器704，使得图像处理器704仅在时间T1从像素单元阵列712输出的后续图像帧中的ROI提取特征，而不在图像帧的其他像素位置执行特征提取操作。作为另一个例子，在图像处理器704包括并行处理来自每个像素单元的像素数据的计算子块的情况下，控制器706还可以禁用分配给ROI 742之外的像素单元的计算子块，或者以其他方式配置那些子块以较低的功率操作(例如，以较低的操作频率、较低的精度执行计算、降低那些子块的电源电压等)以减少特征提取操作消耗的总功率。
图7C示出了图像传感器702、图像处理器704和控制器706的另一反馈操作。在图7C中，控制器706可以确定在时间T0的图像帧730不包含对象612的特征，或者对象612在先前的图像帧中是静态的。基于这种确定，控制器706可以生成编程信号726，以调整像素单元阵列712处的操作的各个方面。例如，如图7C所示，控制器706可以控制像素单元阵列712来执行子采样操作，其中像素单元阵列712被分成采样组(例如，组750)，每个采样组包括多个像素单元，并且在时间T1，从每个组中，只有一个像素单元(例如，像素单元752)被使能或允许传输后续帧的像素数据。作为另一个例子，控制器706可以控制像素单元阵列712以较低的帧速率生成像素数据。控制器706还可以生成编程信号728，以相应地调整图像处理器704的操作。例如，在像素单元阵列712执行子采样操作的情况下，控制器706可以控制图像处理器704处理来自每个采样组的一个像素单元的像素数据。作为另一个例子，在降低帧速率的情况下，控制器706还可以根据降低的帧速率来降低图像处理器704的操作频率。
除了图7B和图7C中描述的反馈操作之外，成像系统700还可以支持基于例如来自主机处理器725的输入的其他反馈操作。例如，主机处理器725可以向控制器706提供操作条件的信息。操作条件可以包括例如要成像的场景的特征密度、成像系统的可用功率、光条件等。基于操作条件，控制器706可以调整像素单元阵列712的编程信号726和/或图像处理器704的编程信号728。例如，在成像系统的可用功率降低的情况下(例如，由于电池电量低)，控制器706可以调整编程信号726和/或编程信号728，以分别降低图像传感器702和图像处理器704处的电压供应。作为另一个例子，在图像系统在弱光环境中操作的情况下，控制器706可以调整编程信号726，以例如增加像素单元阵列712的曝光周期，控制每个像素单元仅使用特定的量化操作(例如PD ADC)来生成像素数据等。控制器706还可以调整编程信号728，以配置图像处理器704基于弱光条件执行提取操作。
图8A、图8B、图8C和图8D示出了图像传感器702和图像处理器704的示例部件。图8A示出了图像传感器702的例子。如图8A所示，图像传感器704可以包括列控制器804、行控制器806和功率控制器807。列控制器804与列总线808(例如，808a、808b、808c...808n等)连接，而行控制器806与行总线810(例如，810a、810b...808n等)连接。行列控制器804或行控制器806中的一个也与编程总线812连接，以传输针对特定像素单元或一组像素单元的像素级编程信号826。每个标有P00、P01、P0j等的方框可以表示像素单元或像素单元阵列712的一组像素单元(例如，一组2×2像素单元)。每个像素单元或像素单元组可以连接到列总线808之一、行总线810之一、编程总线812、功率总线816和输出数据总线，以输出像素数据(图8A中未示出)。每个像素单元(或每组像素单元)可由列控制器804提供的列总线808上的列地址信号830和行控制器806提供的行总线810上的行地址信号832单独寻址，以一次经由像素级编程总线812接收像素级编程信号826。此外，功率控制器807可以基于编程信号726控制经由功率总线816提供给每个像素单元的电压818，以支持控制器706基于如上所述由主机处理器725提供的操作条件信息的电压缩放操作。
返回参考图8A，图像传感器704还包括编程信号解析器820，其可以从编程信号726中提取像素级编程信号。在一些示例中，编程信号726可以是像素阵列编程图的形式，其可以包括像素单元阵列712的每个像素单元或每组像素单元的编程数据。图8B示出了像素阵列编程图840的示例。如图8B所示，像素阵列编程图840可以包括像素级编程数据的二维阵列，二维阵列的每个像素级编程数据针对像素单元阵列712的一个像素单元或一组像素单元。例如，在每个像素级编程数据以像素单元为目标的情况下，并且假设像素单元阵列718具有M个像素的宽度(例如，M列像素)和N个像素的高度(例如，N行像素)，像素阵列编程图840还可以具有M个条目的宽度(例如，M列条目)和N个条目的高度(例如，N行条目)，每个条目存储对应像素单元的像素级编程数据。例如，像素阵列编程图840的条目(0，0)处的像素级编程数据A00以像素单元阵列718的像素位置(0，0)处的像素单元P00为目标，而像素阵列编程图720的条目(0，1)处的像素级编程数据A01以像素单元阵列718的像素位置(0，1)处的像素单元P01为目标。在像素级编程数据以一组像素单元为目标的情况下，像素阵列编程图840沿高度和宽度的条目数量可以基于每组中的像素单元数量进行缩放。
像素阵列编程图840可以被配置为支持图7B和图7C中描述的反馈操作。例如，存储在每个条目处的像素级编程数据可以单独地将每个像素单元(或每组像素单元)编程为例如通电或断电、启用或禁用像素数据的输出、设置量化分辨率、设置输出像素数据的精度、选择量化操作(例如TTS、FD ADC、PD ADC之一)、设置帧率等。像素阵列编程图840可以基于例如一个或更多个ROI的预测来生成，其中ROI内的像素单元的像素级编程数据不同于ROI外的像素单元的像素级编程数据，如上所述。可以生成像素阵列编程图840，以选择性地使像素单元的子集(或像素单元组)能够执行子采样操作，或者对所有像素单元进行编程，以相同但经调整的帧速率操作。
返回参考图8A，编程图解析器820可以解析可以在串行数据流中的像素阵列编程图840，以识别每个像素单元(或每个像素单元组)的像素级编程数据。像素级编程数据的识别可以基于例如预定的扫描模式(通过该扫描模式二维像素阵列编程图被转换成串行格式)，以及编程信号解析器820从串行数据流接收像素级编程数据的顺序。对于编程数据的每个条目，编程信号解析器820可以生成行地址信号830和列地址信号832，并将行地址信号830和列地址信号832分别发送到行控制器806和列控制器804，以选择像素单元并将像素级编程信号826发送到所选择的像素单元(或像素单元组)。
图8C示出了像素单元阵列718的像素单元850的示例内部部件，其可以包括图6A的像素单元601的至少一些部件。像素单元601可以通过功率总线816接收电源电压。如图8C所示，像素单元850可以包括多个光电二极管852a、852b等。每个可以被配置成检测不同频率范围的光。例如，光电二极管852a可以检测可见光(例如，单色，或红色、绿色或蓝色之一)，而光电二极管852b可以检测红外光。像素单元850还包括开关854(例如，晶体管、控制器阻挡层等)来控制哪个光电二极管输出电荷用于像素数据生成。
此外，像素单元850还包括电子快门开关603、转移开关604、电荷存储设备605、缓冲器606、量化器607，如图6A所示，以及存储器855。电荷存储设备605可以具有可配置的电容，以设置电荷-电压转换增益。在一些示例中，可以增加电荷存储设备605的电容，以存储用于中等光强的FD ADC操作的溢出电荷，从而降低电荷存储设备605被溢出电荷饱和的可能性。电荷存储设备605的电容也可以减小，以增加低光强下PD ADC操作的电荷-电压转换增益。电荷-电压转换增益的增加可以减少量化误差并增加量化分辨率。在一些示例中，电荷存储设备605的电容也可以在FD ADC操作期间减小，以增加量化分辨率。缓冲器606包括电流源856和功率门858，电流源856的电流可以由偏置信号BIAS1设置，功率门858可以由PWR_GATE信号控制以打开/关闭缓冲器606。作为禁用像素单元850的一部分，可以关闭缓冲器606。
此外，量化器607包括比较器860和输出逻辑862。比较器860可以将缓冲器的输出与VREF进行比较，以产生输出。根据量化操作(例如，TTS、FD ADC和PD ADC操作)，比较器60可以将缓冲的电压与不同的VREF电压进行比较以生成输出，并且输出被输出逻辑862进一步处理以使存储器855存储来自自由运行计数器的值作为像素输出。比较器860的偏置电流可以由偏置信号BIAS2控制，该偏置信号BIAS2可以设置比较器860的带宽，该带宽可以基于像素单元850支持的帧速率来设置。此外，比较器860的增益可以由增益控制信号GAIN控制。比较器860的增益可以基于像素单元850支持的量化分辨率来设置。比较器860还包括电源开关861，其也可以由PWR_GATE信号控制以开启/关闭比较器860。作为禁用像素单元850的一部分，可以关闭比较器860。
此外，输出逻辑862可以选择TTS、FD ADC或PD ADC操作之一的输出，并且基于该选择，确定是否将比较器860的输出转发到存储器855以存储来自计数器的值。输出逻辑862可以包括内部存储器，以基于比较器860的输出来存储光电二极管852(例如，光电二极管852a)是否被剩余电荷饱和以及电荷存储设备605是否被溢出电荷饱和的指示。如果电荷存储设备605被溢出电荷饱和，输出逻辑862可以选择TTS输出以存储在存储器855中，并且防止存储器855通过FD ADC/PD ADC输出来重写TTS输出。如果电荷存储设备605未饱和，但是光电二极管852饱和，输出逻辑862可以选择FD ADC输出以存储在存储器855中；否则，输出逻辑862可以选择PD ADC输出来存储在存储器855中。在一些示例中，代替计数器值，光电二极管852是否被剩余电荷饱和以及电荷存储设备605是否被溢出电荷饱和的指示可以存储在存储器855中，以提供最低精度的像素数据。
此外，像素单元850可包括像素单元控制器870，其可包括逻辑电路以产生控制信号，例如AB、TG、BIAS1、BIAS2、GAIN、VREF、PWR_GATE等。像素单元控制器870也可以由像素级编程信号826来编程。例如，为了禁用像素单元850，可以通过像素级编程信号826对像素单元控制器870进行编程，以宣称PWR_GATE无效，从而关闭缓冲器606和比较器860。此外，为了增加量化分辨率，可以通过像素级编程信号826对像素单元控制器870进行编程，以减小电荷存储设备605的电容，通过GAIN信号增加比较器860的增益，等等。为了增加帧速率，像素单元控制器870可以由像素级编程信号826编程，以增加BIAS1信号和BIAS2信号，从而分别增加缓冲器606和比较器860的带宽。此外，为了控制像素单元850输出的像素数据的精度，像素单元控制器870可以通过像素级编程信号826进行编程，以例如仅将计数器的位子集(例如，最高有效位)连接到存储器855，使得存储器855仅存储位子集，或者将存储在输出逻辑862中的指示作为像素数据存储到存储器855。另外，像素单元控制器870可以由像素级编程信号826编程，以控制AB和TG信号的序列和时序，例如，调整曝光周期和/或选择特定量化操作(例如，TTS、FD ADC或PD ADC之一)，同时基于操作条件跳过其他操作，如上所述。
图8D示出了图像处理器704的示例内部部件。如图8D所示，图像处理器704可以包括特征提取电路880和存储器882。特征提取电路880可以包括子块阵列，例如子块00、子块10、子块i0、子块0j、子块1j、子块ij等。每个子块可以被配置为从由像素单元阵列712生成的像素数据块中提取特征，使得图像帧的像素数据块可以被并行处理以加速提取过程。每个子块可以输出表示提取的特征以及提取的特征的像素位置的数据。存储器882可以提供片上存储器来存储子块的输入数据(例如，像素数据)、用于特征提取操作的各种配置数据以及特征提取电路880的子块的输出。存储器882可以包括例如自旋隧道随机存取存储器(STRAM)、非易失性随机存取存储器(NVRAM)等。在一些示例中，图像处理器704还可以包括到片外存储器(例如，动态随机存取存储器)的接口，以支持特征提取电路880处的特征提取操作。
特征提取电路880可以采用各种技术来执行特征提取操作。在一个示例中，特征提取电路880的每个子块可以执行像素数据块与包括要提取的目标特征的像素的滤波器之间的卷积运算，其中滤波器在特定步幅位置与像素数据块的一部分叠加，并且可以确定滤波器的每个元素和该部分内的每个像素的乘积之和。当滤波器在像素块内移位时，关于不同步幅位置的乘积和的分布可以被确定为卷积输出。来自像素数据块的卷积输出可以被提供给控制器706，控制器706可以识别卷积输出的峰值，并且如果峰值超过阈值，则控制器可以确定像素数据块包含目标特征，而像素数据块内的滤波器的步幅位置可以提供目标特征的像素位置。
在一些示例中，特征提取电路880的每个子块可以包括执行前述卷积运算的电路。在一些示例中，特征提取电路880可以包括现场可编程门阵列(FPGA)、数字信号处理器(DSP)、线性求解器单元、微控制器等。在一些示例中，特征提取电路880可以包括专用算术电路来执行卷积运算。每个子块的算术电路可以实现神经网络，例如卷积神经网络(CNN)，以执行卷积运算，其中算术电路可以表示多个神经网络层。第一神经网络层包括节点，每个节点被配置为将像素值乘以权重，该权重可以是卷积滤波器的一部分，以生成中间输出。第二神经网络层可以将来自第一神经网络层的中间输出与另一组权重相乘以生成输出。例如，输出可以指示在像素数据块中是否检测到目标特征及其像素位置。除了CNN之外，特征提取电路880可以实现其他神经网络拓扑/架构，例如随机神经网络、尖峰神经网络、神经形态计算单元等。
神经网络的权重可以被存储并从存储器882中取出。权重可以通过训练过程来生成，以最大化神经网络正确检测像素数据块中的特征的可能性。训练过程可以离线、在线或两者结合进行。在离线训练过程中，可以在特征提取操作之前(例如，当图像处理器704被制造或加电时)将权重提取到图像处理器704。权重可以从基于训练数据集的训练过程中获得，该训练数据集覆盖了期望由图像处理器704处理的图像数据的范围。训练数据集可以存储在云环境中，并且训练也可以作为离线训练过程在云环境中执行。从离线训练过程获得的权重对于不同成像系统700的所有图像处理器704来说可以是公共的。
在在线训练过程中，当图像处理器704接收待检测的实际对象的图像数据时，可以获得图像处理器704使用的权重。示例应用可以是眼睛跟踪(例如，基于由图像传感器捕获的眼睛图像)。作为在线训练过程的一部分，图像处理器704可以在训练模式下操作，在该模式下，当要求用户观察空间中的特定目标或位置时，图像处理器704接收用户眼睛的像素数据。通过训练过程，图像处理器704可以调整权重以最大化正确识别用户眼睛的可能性。在这种情况下，特定成像系统700的图像处理器704使用的权重可以不同于另一成像系统700的图像处理器704使用的权重，因为权重是针对特定用户和/或特定操作条件优化的。
在一些示例中，图像处理器704使用的权重可以通过离线和在线训练过程的组合来获得。例如，第一神经网络层使用的权重可以是用于提取对象的一般特征的一般权重，而上层神经网络层的权重可以在在线训练过程中被训练，以变得特定于用户和/或特定的操作条件。
除了像素数据和权重之外，特征提取电路880还可以基于其他输入执行特征提取操作，例如来自惯性测量单元的传感器数据，其可以检测成像系统700的运动和位置。基于传感器数据，特征提取电路880可以考虑成像系统700的运动和/或成像系统700相对于待检测目标对象的相对物理位置来调整特征提取操作，所有这些都可以反映在像素数据中。
除了特征提取电路880和存储器882之外，图像处理器704还可以包括功率控制器884、时钟控制器886和特征提取控制器888，它们中的每一个都可以由来自控制器706的编程信号828控制。功率控制器884可以基于来自控制器706的编程信号828来控制图像处理器704的电源电压。例如，基于目标功率使用量、帧速率、等待时间要求等，功率控制器884可以增大或减小特征提取电路880的电源电压。此外，时钟控制器886可以基于编程信号828控制提供给特征提取电路880的时钟信号的频率，以设置特征提取电路880的操作频率。操作频率可以基于例如由图像传感器702提供的像素数据的帧速率、目标功率使用量、等待时间要求等来设置。
此外，特征提取控制器888可以基于编程信号828控制特征提取电路880处的特征提取操作。例如，当特征提取电路880的一个或更多个子块不期望从图像传感器702接收像素数据时，特征提取控制器888可以基于来自控制器706的ROI信息禁用这些子块。作为另一个例子，特征提取控制器888还可以控制子块的输出，例如输出的精度(例如，位长度)、输出是否被压缩等。特征提取电路880可以控制特征提取电路880跳过特征提取操作，并将像素数据直接转发到例如主机处理器725或其他外部系统。这可能发生在例如，当控制器706确定特征提取电路880不能按时完成特征提取操作(例如，基于功率控制器884和时钟控制器886的功率/频率设置)并且确定特征提取操作将由外部系统执行时。
图9A和图9B示出了成像系统700中的图像传感器702、图像处理器704和控制器706的物理布置的示例。如图9A所示，成像系统700可以包括第一半导体衬底900和一个或更多个第二半导体衬底902，第一半导体衬底900包括图像传感器702的一些部件，例如像素单元的光电二极管，第二半导体衬底902包括像素单元的量化器、图像处理器704和控制器706。在一些示例中，一个或更多个第二半导体衬底902包括包含图像处理器704的第二半导体衬底902a和包含控制器706的第二半导体衬底902b。在一些示例中，图像处理器704和控制器706可以在同一第二半导体衬底902中。
在一些示例中，第一半导体衬底900和一个或更多个第二半导体衬底902可以沿着垂直方向(例如，由z轴表示)形成堆叠，垂直互连904和906提供衬底之间的电连接。这种布置可以减小图像传感器702、图像处理器704和控制器706之间的电连接的布线距离，这可以提高数据(尤其是像素数据)从图像传感器702到图像处理器704的传输速度，并降低传输所需的功率。
图9B示出了成像系统700的堆叠结构的示例细节。如图9B所示，第一半导体衬底900可以包括被配置为光接收表面并包括每个像素单元的光电二极管的背侧表面908，以及在其上实现传输晶体管604和电荷存储设备605(例如，传输晶体管604的浮置漏极)的前侧表面910，而缓冲器606、量化器607以及图像处理器704在第二半导体衬底902a的前侧表面912下方实现。第一半导体衬底900的前侧表面910可以通过包括芯片对芯片铜键合的垂直互连904与第二半导体衬底902a的前侧表面912电连接。芯片到芯片的铜键合可以在例如每个像素单元的传输晶体管604和每个像素单元的缓冲器606之间提供像素互连。每个像素单元的量化器607然后可以通过图9B中未示出的水平金属互连(例如，平行于x或y轴)连接到图像处理器704。
此外，成像系统700还包括贯穿硅通孔(TSV)，其在例如图像传感器702和控制器706之间提供垂直互连。TSV可以在堆叠的肩部区域920和922上，并且可以传输例如编程信号726。TSV穿过第二半导体衬底902a，并且可以通过水平金属互连(图9B中未示出)与图像处理器704连接，以向图像处理器704提供编程信号728。
图10示出了操作图像传感器的方法100。方法1000可以由例如图7A的成像系统700来执行，成像系统700包括例如图像传感器702、图像处理器704和控制器706。图像传感器702可以包括被配置成生成图像数据的像素单元阵列。图像传感器可以在第一半导体衬底上实现，而图像处理器和控制器可以在一个或更多个第二半导体衬底上实现，其中第一半导体衬底和一个或更多个第二半导体衬底形成堆叠并容纳在半导体封装内。在一些示例中，图像处理器和控制器可以是在单个半导体衬底上实现的单个计算块的一部分，而在其他示例中，图像处理器和控制器可以是在不同半导体衬底上实现的单独的处理电路块。图像传感器、图像处理器和控制器可以使用垂直电连接来电连接，例如贯穿硅通孔(TSV)、芯片到芯片铜键合等。
在步骤1002中，控制器706可以确定来自图像传感器702的第一图像数据是否包含对象的特征。该确定可以基于图像处理器704的输出，图像处理器704可以从第一图像中提取对象的特征。图像处理器可以采用各种技术来提取对象的特征。例如，图像处理器可以实现神经网络，例如卷积神经网络(CNN)，以利用权重对像素数据执行算术运算来执行提取。图像处理器可以包括存储设备(例如，自旋隧道随机存取存储器(STRAM)、非易失性随机存取存储器(NVRAM)等)来存储权重。图像处理器可以离线接收权重，和/或基于训练过程或两者的组合来生成权重。例如，在图像处理器要提取用户眼睛的特征的情况下，图像处理器可以离线获得一组初始权重。然后，图像处理器可以在训练模式中更新初始权重，在训练模式中，当要求用户在特定物理位置观看特定对象时，图像传感器捕获眼睛的图像，并且图像处理器更新初始权重，使得可以从对应于物理位置的像素位置提取眼睛的特征。图像处理器还可以从其他传感器接收传感器数据(例如惯性测量单元(IMU)，其可以包含对象的物理位置信息)，并基于传感器数据执行对象特征的提取。
在步骤1004中，控制器706可以基于第一图像数据是否包含对象的特征来为图像传感器生成编程信号。然后，在步骤1006，控制器706可以基于编程信号控制图像传感器以生成第二图像数据。
具体地，在图像处理器向控制器输出在包含第一图像数据的第一图像帧中对象的特征的位置的情况下，控制器可以确定要由图像传感器生成的第二图像帧中的感兴趣区域(ROI)。控制器可以基于例如对象的运动模型来确定ROI，以基于对象的特征在第一图像帧中的像素位置来预测对象在第二图像帧中的像素位置。控制器然后可以为ROI中的像素单元阵列的第一子集生成编程信号的第一子集，并为ROI之外的像素单元阵列的第二子集生成编程信号的第二子集。编程信号的不同子集可以不同地配置像素单元阵列的相应子集。例如，编程信号的第一子集可以开启像素单元的第一子集和/或允许像素单元的第一子集输出像素数据，而编程信号的第二子集可以关闭像素单元的第二子集和/或禁止像素单元的第二子集输出像素数据。作为另一个例子，相对于编程信号的第二子集对于像素单元的第二子集，编程信号的第一子集可以增加量化分辨率、像素数据的位长度等。在每个像素单元包括被配置为感测不同频率范围的光的多个光电二极管的情况下，图像处理器可以提取对应于不同频率范围的特征，并且控制器可以针对不同频率范围确定ROI，并且基于针对不同频率范围的ROI生成编程信号。
另一方面，在图像处理器输出对象的特征不在第一帧中，和/或对象的像素位置在多个帧中保持静态的情况下，控制器可以生成编程信号来调整图像传感器处的操作的各个方面。例如，控制器可以控制图像传感器执行子采样操作(例如，仅开启像素单元的子集和/或使其能够输出像素数据)、降低图像传感器的帧速率等。
在一些示例中，控制器还可以控制图像处理器的特征提取操作。例如，基于操作条件(例如，场景特征的密度、图像系统的可用功率、光条件等)，控制器可以调节图像传感器的工作电压、图像处理器提取对象特征的速度等。控制器还可以将ROI的预测位置提供回图像处理器，使得图像处理器仅从后续图像帧中的ROI提取特征。控制器还可以基于例如由像素单元输出的像素数据的位长度来禁用图像处理器的一部分以实现目标效率。在控制器确定图像处理器不能完成特征提取的情况下(例如，在目标功率使用量下、以所需的帧速率等)，控制器还可以将图像传感器的至少部分像素数据传输到外部系统(例如，主机)以执行特征提取。控制器还可以将提取的特征传输到主机，以支持各种主机应用(例如，眼睛跟踪、SLAM等)。
本描述的一些部分从对信息的操作的算法和符号表示方面描述了本公开的实施例。数据处理领域的技术人员通常使用这些算法描述和表示来向本领域的其他技术人员有效地传达他们工作的实质。这些操作虽然在功能上、计算上或逻辑上进行了描述，但应理解为将由计算机程序或等效电路、微代码等来实现。此外，将操作的这些布置称为模块有时候也被证明是方便的而不失一般性。所描述的操作和它们的相关模块可以体现在软件、固件和/或硬件中。
可以利用一个或更多个硬件或软件模块单独地或与其他设备组合地来执行或实现所描述的步骤、操作或过程。在一些实施例中，利用包括包含计算机程序代码的计算机可读介质的计算机程序产品来实现软件模块，计算机程序代码可以由计算机处理器执行，用于执行所描述的任何或全部步骤、操作或过程。
本公开的实施例也可以涉及用于执行所描述操作的装置。该装置可以被特别构造成用于所需的目的，和/或它可以包括由存储在计算机中的计算机程序选择性地激活或重新配置的通用计算设备。这种计算机程序可以存储在非暂时性的、有形的计算机可读存储介质中，或者任何类型的适于存储电子指令的介质中，其可以耦合到计算机系统总线。此外，说明书中提到的任何计算系统可以包括单个处理器，或者可以是采用多处理器设计来提高计算能力的架构。
本公开的实施例也可以涉及由本文所述的计算过程产生的产品。这样的产品可以包括由计算过程产生的信息，其中信息被存储在非暂时性的、有形的计算机可读存储介质上且可以包括计算机程序产品或本文所述的其他数据组合的任何实施例。
在说明书中使用的语言主要出于可读性和指导性的目的而被选择，并且它可以不被选择来描绘或限制发明的主题。因此，意图是本公开的范围不由该详细描述限制，而是由在基于其的申请上发布的任何权利要求限制。因此，实施例的公开意图对本公开的范围是说明性的，而不是限制性的，在所附权利要求中阐述了本公开的范围。

Claims (20)

1.一种装置，包括：
图像传感器，其包括像素单元阵列，每个像素单元包括光电二极管和产生图像数据的电路，所述光电二极管形成在第一半导体衬底中；和
控制器，其形成在包括所述像素单元阵列的所述电路的一个或更多个第二半导体衬底中，所述第一半导体衬底和所述第二半导体衬底形成堆叠并容纳在半导体封装内；
其中所述控制器被配置成：
确定由所述图像传感器生成的第一图像数据是否包含对象的特征；
基于所述第一图像数据是否包含所述对象的特征，为所述图像传感器生成编程信号；和
基于所述编程信号控制所述图像传感器以生成第二图像数据。
2.根据权利要求1所述的装置，还包括图像处理器，所述图像处理器被配置为提取所述对象的特征；
其中所述图像处理器在所述一个或更多个第二半导体衬底中实现。
3.根据权利要求2所述的装置，其中，所述图像处理器被配置为向所述控制器提供第一图像帧中所提取的所述对象的特征的像素位置；
其中所述控制器被配置成：
基于所提取的特征的像素位置，确定包含所述第二图像数据的第二图像帧中的感兴趣区域(ROI)；和
根据所述ROI生成所述编程信号。
4.根据权利要求3所述的装置，其中，所述控制器被配置为基于所述对象的运动模型来确定所述第二图像帧中的所述ROI。
5.根据权利要求3所述的装置，其中所述编程信号包括以所述ROI内的所述像素单元阵列的第一子集为目标的编程信号的第一子集和以所述像素单元阵列的第二子集为目标的编程信号的第二子集。
6.根据权利要求5所述的装置，其中所述控制器被配置为控制所述像素单元阵列的所有像素单元来输出所述第一图像帧的像素数据；
其中所述编程信号的第一子集控制所述像素单元阵列的第一子集输出所述第二图像帧的像素数据；和
其中所述编程信号的第二子集控制所述像素单元阵列的第二子集不输出所述第二图像帧的像素数据。
7.根据权利要求5所述的装置，其中所述编程信号的第一子集控制以下各项中的至少一项：由所述像素单元阵列的第一子集消耗的第一功率、由所述像素单元阵列的第一子集输出的第一像素数据的第一量化分辨率、或所述第一像素数据的第一位长度；和
其中所述编程信号的第二子集控制以下各项中的至少一项：所述像素单元阵列的第二子集消耗的第二功率、所述像素单元阵列的第二子集输出的第二像素数据的第二量化分辨率、或所述第一像素数据的第二位长度。
8.根据权利要求3所述的装置，其中所述阵列像素单元的每个像素单元是可单独寻址的；和
其中所述编程信号包括分别以每个像素单元为目标的像素级信号。
9.根据权利要求2所述的装置，其中所述控制器被配置成：
从所述图像处理器接收所述第一图像数据不包含所述对象的特征的指示；和
基于所述指示，基于以下中的至少一项来生成所述编程信号以控制所述图像传感器执行子采样操作：禁用所述像素单元阵列的子集，或者控制所述像素单元阵列的子集不输出像素数据。
10.根据权利要求1所述的装置，其中，所述控制器被配置为生成所述编程信号，以缩放所述图像传感器的电源电压。
11.根据权利要求3所述的装置，其中所述图像处理器被配置成：
从第二传感器接收指示所述对象的物理定位的定位信息；和
基于所述定位信息从所述第一图像数据提取所述对象的特征。
12.根据权利要求2所述的装置，其中所述图像处理器实现神经网络来提取所述对象的特征。
13.根据权利要求12所述的装置，其中，当所述装置以训练模式操作并获得所述对象的图像数据时，获得所述神经网络的权重。
14.根据权利要求2所述的装置，其中所述编程信号是第一编程信号；
其中所述图像处理器包括多个子块，每个子块被配置为从来自所述图像传感器的图像数据块中提取所述对象的特征；和
其中所述控制器被配置为向所述图像处理器发送第二编程信号，以基于所述图像处理器从所述第一图像数据提取所述对象的特征的结果，禁止所述子块的子集用于从所述第二图像数据提取所述对象的特征。
15.根据权利要求2所述的装置，其中所述编程信号是第一编程信号；和
其中，所述控制器被配置为向所述图像处理器发送第二编程信号，以调整所述图像处理器的电源电压或所述图像处理器的操作频率中的至少一个。
16.根据权利要求2所述的装置，其中所述编程信号是第一编程信号；和
其中所述控制器被配置为向所述图像处理器发送第二编程信号，以控制所述图像处理器不从所述第二图像数据中提取所述对象的特征，并将所述第二图像数据转发给外部系统。
17.根据权利要求1所述的装置，还包括：
像素互连，其通过所述第一半导体衬底和所述一个或更多个第二半导体衬底之间的芯片对芯片铜键合来实现，以将由所述第一半导体衬底中的光电二极管产生的信号传输到所述一个或更多个第二半导体衬底中的每个像素单元的电路；和
贯穿硅通孔(TSV)，其在所述第一半导体衬底和所述一个或更多个第二半导体衬底之间，以将所述编程信号从所述控制器传输到所述图像传感器。
18.一种方法，包括：
由控制器确定由图像传感器生成的第一图像数据是否包含对象的特征，其中所述图像传感器和所述控制器形成堆叠并且被容纳在半导体封装内；
基于所述第一图像数据是否包含所述对象的特征，由所述控制器生成用于所述图像传感器的编程信号；和
由所述控制器基于所述编程信号控制所述图像传感器以生成第二图像数据。
19.根据权利要求18所述的方法，还包括：
由图像处理器提取所述对象的特征，
其中所述图像处理器是所述堆叠的一部分并且被容纳在所述半导体封装内。
20.根据权利要求19所述的方法，还包括：
由所述图像处理器确定第一图像帧中提取的所述对象的特征的像素位置；
由所述控制器基于提取的特征的像素位置确定包含所述第二图像数据的第二图像帧中的感兴趣区域(ROI)；和
由所述控制器基于所述ROI生成编程信号。
CN201980083991.5A 2018-12-17 2019-12-17 动态可编程图像传感器 Active CN113196741B (zh)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201862780743P 2018-12-17 2018-12-17
US62/780,743 2018-12-17
US16/716,050 2019-12-16
US16/716,050 US11888002B2 (en) 2018-12-17 2019-12-16 Dynamically programmable image sensor
PCT/US2019/066831 WO2020131860A1 (en) 2018-12-17 2019-12-17 Dynamically programmable image sensor

Publications (2)

Publication Number Publication Date
CN113196741A true CN113196741A (zh) 2021-07-30
CN113196741B CN113196741B (zh) 2023-09-26

Family

ID=71073141

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201980083991.5A Active CN113196741B (zh) 2018-12-17 2019-12-17 动态可编程图像传感器

Country Status (7)

Country Link
US (1) US11888002B2 (zh)
EP (1) EP3900319B1 (zh)
JP (1) JP2022511414A (zh)
KR (1) KR20210102329A (zh)
CN (1) CN113196741B (zh)
TW (1) TW202038596A (zh)
WO (1) WO2020131860A1 (zh)

Families Citing this family (37)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10962780B2 (en) * 2015-10-26 2021-03-30 Microsoft Technology Licensing, Llc Remote rendering for virtual images
US10686996B2 (en) 2017-06-26 2020-06-16 Facebook Technologies, Llc Digital pixel with extended dynamic range
US10598546B2 (en) 2017-08-17 2020-03-24 Facebook Technologies, Llc Detecting high intensity light in photo sensor
US12034015B2 (en) * 2018-05-25 2024-07-09 Meta Platforms Technologies, Llc Programmable pixel array
US11906353B2 (en) 2018-06-11 2024-02-20 Meta Platforms Technologies, Llc Digital pixel with extended dynamic range
US11463636B2 (en) 2018-06-27 2022-10-04 Facebook Technologies, Llc Pixel sensor having multiple photodiodes
US10897586B2 (en) 2018-06-28 2021-01-19 Facebook Technologies, Llc Global shutter image sensor
US10931884B2 (en) 2018-08-20 2021-02-23 Facebook Technologies, Llc Pixel sensor having adaptive exposure time
US11956413B2 (en) 2018-08-27 2024-04-09 Meta Platforms Technologies, Llc Pixel sensor having multiple photodiodes and shared comparator
US11595602B2 (en) 2018-11-05 2023-02-28 Meta Platforms Technologies, Llc Image sensor post processing
US11888002B2 (en) 2018-12-17 2024-01-30 Meta Platforms Technologies, Llc Dynamically programmable image sensor
US11962928B2 (en) 2018-12-17 2024-04-16 Meta Platforms Technologies, Llc Programmable pixel array
US11218660B1 (en) 2019-03-26 2022-01-04 Facebook Technologies, Llc Pixel sensor having shared readout structure
US11037968B2 (en) * 2019-04-05 2021-06-15 Waymo Llc Image sensor architecture
US11943561B2 (en) 2019-06-13 2024-03-26 Meta Platforms Technologies, Llc Non-linear quantization at pixel sensor
US11936998B1 (en) 2019-10-17 2024-03-19 Meta Platforms Technologies, Llc Digital pixel sensor having extended dynamic range
US11935291B2 (en) 2019-10-30 2024-03-19 Meta Platforms Technologies, Llc Distributed sensor system
US11948089B2 (en) 2019-11-07 2024-04-02 Meta Platforms Technologies, Llc Sparse image sensing and processing
US11468146B2 (en) 2019-12-06 2022-10-11 Globalfoundries U.S. Inc. Array of integrated pixel and memory cells for deep in-sensor, in-memory computing
US11195580B2 (en) * 2020-02-26 2021-12-07 Globalfoundries U.S. Inc. Integrated pixel and two-terminal non-volatile memory cell and an array of cells for deep in-sensor, in-memory computing
US11902685B1 (en) 2020-04-28 2024-02-13 Meta Platforms Technologies, Llc Pixel sensor having hierarchical memory
US11825228B2 (en) 2020-05-20 2023-11-21 Meta Platforms Technologies, Llc Programmable pixel array having multiple power domains
US11543666B2 (en) * 2020-05-22 2023-01-03 Magic Leap, Inc. Augmented and virtual reality display systems with correlated in-coupling and out-coupling optical regions for efficient light utilization in at least one waveguide
US11910114B2 (en) * 2020-07-17 2024-02-20 Meta Platforms Technologies, Llc Multi-mode image sensor
CN114079709B (zh) * 2020-08-07 2024-04-12 安霸国际有限合伙企业 用于卷帘式快门传感器的驱动器机构以获取结构光图案
US12075175B1 (en) 2020-09-08 2024-08-27 Meta Platforms Technologies, Llc Programmable smart sensor with adaptive readout
CN114359014A (zh) * 2020-09-30 2022-04-15 安霸国际有限合伙企业 用于卷帘式快门传感器的动态驱动器机构以获取结构光图案
US11956560B2 (en) 2020-10-09 2024-04-09 Meta Platforms Technologies, Llc Digital pixel sensor having reduced quantization operation
US11849232B2 (en) * 2020-11-03 2023-12-19 Samsung Electronics Co., Ltd. Integrated image sensor with internal feedback and operation method thereof
US11756283B2 (en) * 2020-12-16 2023-09-12 Waymo Llc Smart sensor implementations of region of interest operating modes
US11935575B1 (en) 2020-12-23 2024-03-19 Meta Platforms Technologies, Llc Heterogeneous memory system
US12022218B2 (en) 2020-12-29 2024-06-25 Meta Platforms Technologies, Llc Digital image sensor using a single-input comparator based quantizer
CN112992956B (zh) * 2021-05-17 2022-02-01 甬矽电子(宁波)股份有限公司 芯片封装结构、芯片封装方法和电子设备
US11706546B2 (en) * 2021-06-01 2023-07-18 Sony Semiconductor Solutions Corporation Image sensor with integrated single object class detection deep neural network (DNN)
KR20230114071A (ko) * 2022-01-24 2023-08-01 삼성전자주식회사 거리 정보를 획득하는 전자 장치 및 이의 제어 방법
WO2023171333A1 (ja) * 2022-03-08 2023-09-14 ソニーセミコンダクタソリューションズ株式会社 光検出装置および電子機器
SE2251116A1 (en) * 2022-09-28 2024-03-29 Tobii Ab Image acquisition with dynamic resolution

Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008270500A (ja) * 2007-04-19 2008-11-06 Sharp Corp 固体撮像素子およびその製造方法、電子情報機器
US20100245600A1 (en) * 2009-03-30 2010-09-30 Chang Soon-Keun Digital photographing device, method of controlling the digital photographing device, and computer-readable storage medium
US20110096216A1 (en) * 2009-09-10 2011-04-28 Fujifilm Corporation Imaging pickup device and image pickup method
US20130215290A1 (en) * 2012-02-21 2013-08-22 Johannes Solhusvik Detecting transient signals using stacked-chip imaging systems
US20130293753A1 (en) * 2012-05-02 2013-11-07 Aptina Imaging Corporation Image data compression using stacked-chip image sensors
CN103907133A (zh) * 2011-09-21 2014-07-02 普廷数码影像控股公司 堆叠芯片成像系统
US20160021302A1 (en) * 2014-07-18 2016-01-21 Samsung Electronics Co., Ltd. Cognitive sensor and method of operating of the same
US20170117310A1 (en) * 2014-03-31 2017-04-27 Sony Corporation Solid-state image sensor, electronic apparatus, and imaging method
CN107005641A (zh) * 2014-12-03 2017-08-01 株式会社尼康 拍摄装置、电子设备以及程序
US20180167575A1 (en) * 2015-07-23 2018-06-14 Olympus Corporation Solid-state imaging device
US20180204867A1 (en) * 2017-01-13 2018-07-19 Samsung Electronics Co., Ltd. Cmos image sensor (cis) including mram (magnetic random access memory)
US20180239108A1 (en) * 2015-09-16 2018-08-23 Canon Kabushiki Kaisha Image sensor and image capturing apparatus
US20180284594A1 (en) * 2017-03-31 2018-10-04 Beijing Neusoft Medical Equipment Co., Ltd. Imaging method and imaging system

Family Cites Families (207)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4121896A (en) 1976-03-24 1978-10-24 Shepherd Thomas H Apparatus for the production of contact lenses
JPH06113139A (ja) * 1992-09-25 1994-04-22 Olympus Optical Co Ltd 画像２値化装置
JPH09142031A (ja) 1995-11-22 1997-06-03 Fujicopian Co Ltd 熱転写記録材料
US6486504B1 (en) 1999-10-26 2002-11-26 Eastman Kodak Company CMOS image sensor with extended dynamic range
US6384905B1 (en) 2000-07-07 2002-05-07 The United States Of America As Represented By The Secretary Of The Navy Optic flow sensor with fused elementary motion detector outputs
US7079178B2 (en) 2001-02-20 2006-07-18 Jaroslav Hynecek High dynamic range active pixel CMOS image sensor and data processing system incorporating adaptive pixel reset
US6854045B2 (en) 2001-06-29 2005-02-08 Intel Corporation Hardware emulation of parallel ATA drives with serial ATA interface
JP4175828B2 (ja) 2002-04-18 2008-11-05 抱 石井 撮像カメラ装置及びイメージャの画像データ読取り方法
WO2004064168A1 (en) 2003-01-10 2004-07-29 Paul Scherrer Institut Photon counting imaging device
EP1603170B1 (en) 2003-03-10 2018-08-01 Toyoda Gosei Co., Ltd. Method for manufacturing a solid-state optical element device
US7280143B2 (en) 2003-04-14 2007-10-09 Micron Technology, Inc. CMOS image sensor with active reset and 4-transistor pixels
WO2004097506A2 (en) 2003-04-24 2004-11-11 Displaytech, Inc. Microdisplay and interface on a single chip
US7362355B1 (en) 2003-08-04 2008-04-22 Pixim, Inc. Digital CMOS image sensor incorporating a programmable multi-functional lookup table
JP4241259B2 (ja) 2003-08-06 2009-03-18 セイコーエプソン株式会社 マイクロレンズの製造方法
US6853579B1 (en) 2003-09-09 2005-02-08 Taiwan Semiconductor Manufacturing Co., Ltd. Non-refresh four-transistor memory cell
US6885331B2 (en) 2003-09-15 2005-04-26 Micron Technology, Inc. Ramp generation with capacitors
US6934182B2 (en) 2003-10-03 2005-08-23 International Business Machines Corporation Method to improve cache capacity of SOI and bulk
JP4228876B2 (ja) 2003-10-23 2009-02-25 富士フイルム株式会社 磁気記録媒体
JP4317115B2 (ja) 2004-04-12 2009-08-19 国立大学法人東北大学 固体撮像装置、光センサおよび固体撮像装置の動作方法
WO2005104552A1 (ja) 2004-04-23 2005-11-03 Sumitomo Electric Industries, Ltd. 動画像データの符号化方法、復号化方法、これらを実行する端末装置、及び双方向対話型システム
GB0416496D0 (en) 2004-07-23 2004-08-25 Council Of The Central Lab Of Imaging device
WO2006022077A1 (ja) * 2004-08-23 2006-03-02 Sony Corporation 撮像装置、撮像結果の処理方法及び集積回路
US7603514B2 (en) 2005-03-31 2009-10-13 Intel Corporation Method and apparatus for concurrent and independent data transfer on host controllers
TWI429066B (zh) 2005-06-02 2014-03-01 Sony Corp Semiconductor image sensor module and manufacturing method thereof
JP2006348085A (ja) 2005-06-13 2006-12-28 Nissan Motor Co Ltd イオン性液体を用いたクッションアクチュエータ、及びそれからなる車両用部品
US7359275B1 (en) 2005-09-08 2008-04-15 Integrated Device Technology, Inc. Reduced size dual-port SRAM cell
KR100775058B1 (ko) 2005-09-29 2007-11-08 삼성전자주식회사 픽셀 및 이를 이용한 이미지 센서, 그리고 상기 이미지센서를 포함하는 이미지 처리 시스템
US7659925B2 (en) 2005-10-04 2010-02-09 Alexander Krymski High speed CMOS image sensor circuits with memory readout
JP4238898B2 (ja) 2006-08-30 2009-03-18 ソニー株式会社 光学素子の製造装置
JP2008228232A (ja) 2007-03-15 2008-09-25 Canon Inc 撮像装置、撮像方法、プログラム、及び記憶媒体
US7920409B1 (en) 2007-06-05 2011-04-05 Arizona Board Of Regents For And On Behalf Of Arizona State University SRAM cell with intrinsically high stability and low leakage
JP5067850B2 (ja) 2007-08-02 2012-11-07 キヤノン株式会社 システム、頭部装着型表示装置、その制御方法
US7956914B2 (en) * 2007-08-07 2011-06-07 Micron Technology, Inc. Imager methods, apparatuses, and systems providing a skip mode with a wide dynamic range operation
US8441535B2 (en) 2008-03-05 2013-05-14 Omnivision Technologies, Inc. System and method for independent image sensor parameter control in regions of interest
EP2104234B1 (en) 2008-03-21 2011-08-31 STMicroelectronics Limited Analog-to-digital conversion in image sensors
US8098955B2 (en) 2008-03-25 2012-01-17 Point Grey Research Inc. Efficient selection and application of regions of interest in digital imaging
US8339567B2 (en) 2008-07-04 2012-12-25 Lg Chem, Ltd. Radial-shaped liquid crystal compound, and optical film and liquid crystal display device comprising the same
TWI422063B (zh) 2008-11-14 2014-01-01 Samsung Electronics Co Ltd 半導體發光裝置
US7969759B1 (en) 2008-12-19 2011-06-28 Suvolta, Inc. Method and apparatus for improving SRAM write operations
KR20100089389A (ko) 2009-02-03 2010-08-12 삼성전자주식회사 점착 조성물 및 이로부터 제조되는 점착 필름
KR101627725B1 (ko) 2009-02-03 2016-06-07 삼성전자 주식회사 광경화형 화합물
US8625012B2 (en) 2009-02-05 2014-01-07 The Hong Kong University Of Science And Technology Apparatus and method for improving dynamic range and linearity of CMOS image sensor
US8329306B2 (en) 2009-03-03 2012-12-11 Fujifilm Corporation Barrier laminate, gas barrier film, and device using the same
US8868821B2 (en) 2009-08-26 2014-10-21 Densbits Technologies Ltd. Systems and methods for pre-equalization and code design for a flash memory
JP5330520B2 (ja) 2009-09-11 2013-10-30 パナソニック株式会社 アナログ・デジタル変換器、イメージセンサシステム、カメラ装置
US8174868B2 (en) 2009-09-30 2012-05-08 Taiwan Semiconductor Manufacturing Co., Ltd. Embedded SRAM structure and chip
US8405017B2 (en) 2009-12-24 2013-03-26 Imagerlabs Inc. Adjustable CMOS sensor array
US20150309316A1 (en) 2011-04-06 2015-10-29 Microsoft Technology Licensing, Llc Ar glasses with predictive control of external device based on event input
US20120200499A1 (en) 2010-02-28 2012-08-09 Osterhout Group, Inc. Ar glasses with event, sensor, and user action based control of applications resident on external devices with feedback
KR20110100974A (ko) 2010-03-05 2011-09-15 동우 화인켐 주식회사 착색 감광성 수지 조성물, 이를 포함하는 컬러필터 및 액정표시장치
IT1400750B1 (it) 2010-06-30 2013-07-02 St Microelectronics Srl Memoria sram 5t per applicazioni a bassa tensione
IT1400749B1 (it) 2010-06-30 2013-07-02 St Microelectronics Srl Cella sram configurabile dinamicamente per funzionamento a bassa tensione
JP5630146B2 (ja) 2010-08-23 2014-11-26 ソニー株式会社 撮像装置、撮像装置の制御方法およびプログラム。
US8183639B2 (en) 2010-10-07 2012-05-22 Freescale Semiconductor, Inc. Dual port static random access memory cell layout
US20120240007A1 (en) 2010-10-20 2012-09-20 Stec, Inc. Ldpc decoding for solid state storage devices
US8773577B2 (en) * 2010-10-27 2014-07-08 Qualcomm Incorporated Region of interest extraction
US8698843B2 (en) 2010-11-02 2014-04-15 Google Inc. Range of focus in an augmented reality application
US20120113119A1 (en) 2010-11-05 2012-05-10 Nova Research, Inc. Super resolution infrared imaging system
US9030598B2 (en) 2010-11-24 2015-05-12 Nokia Corporation Optically refracting surfaces
TWI462265B (zh) 2010-11-30 2014-11-21 Ind Tech Res Inst 影像擷取裝置
KR101453769B1 (ko) 2010-12-24 2014-10-22 제일모직 주식회사 감광성 수지 조성물 및 이를 이용한 컬러 필터
US8631294B2 (en) 2011-02-02 2014-01-14 Seagate Technology Llc Methods and devices to increase memory device data reliability
US8587501B2 (en) 2011-02-17 2013-11-19 Global Oled Technology Llc Electroluminescent display device with optically communicating chiplets
KR101241704B1 (ko) 2011-04-14 2013-03-19 엘지이노텍 주식회사 픽셀, 픽셀 어레이, 이를 포함하는 이미지센서 및 그 구동방법
US20190331914A1 (en) 2011-07-20 2019-10-31 Google Llc Experience Sharing with Region-Of-Interest Selection
JP5868065B2 (ja) 2011-08-05 2016-02-24 キヤノン株式会社 撮像装置
JP2013043383A (ja) 2011-08-24 2013-03-04 Fujifilm Corp バリア性積層体、ガスバリアフィルムおよびこれらを用いたデバイス
JP5901186B2 (ja) 2011-09-05 2016-04-06 キヤノン株式会社 固体撮像装置及びその駆動方法
US20130056809A1 (en) 2011-09-07 2013-03-07 Duli Mao Image Sensor with Reduced Noiseby Blocking Nitridation Over Selected Areas
US8223024B1 (en) 2011-09-21 2012-07-17 Google Inc. Locking mechanism based on unnatural movement of head-mounted display
CN103906624B (zh) 2011-09-26 2016-02-10 富士胶片株式会社 屏障积层体与其制造方法与其用途、屏障装置的制造方法、可聚合化合物与可聚合组合物
GB201117319D0 (en) * 2011-10-06 2011-11-16 Isis Innovation Active pixel image sensor
US10598929B2 (en) 2011-11-09 2020-03-24 Google Llc Measurement method and system
KR20130062188A (ko) 2011-12-02 2013-06-12 삼성전자주식회사 이미지 센서 및 이를 포함하는 이미지 처리 장치
US20130180841A1 (en) 2012-01-17 2013-07-18 Esat Yilmaz Sensor Stack with Opposing Electrodes
KR20130084492A (ko) 2012-01-17 2013-07-25 삼성전자주식회사 비휘발성 메모리 시스템
US8735795B2 (en) 2012-01-20 2014-05-27 Omnivision Technologies, Inc. Image sensor with integrated ambient light detection
KR102264765B1 (ko) 2012-01-24 2021-06-11 더 아리조나 보드 오브 리전츠 온 비핼프 오브 더 유니버시티 오브 아리조나 컴팩트한 시선추적 기능의 헤드 탑재형 디스플레이
KR101990971B1 (ko) 2012-01-30 2019-06-19 삼성전자 주식회사 메모리, 메모리 시스템, 및 메모리에 대한 에러 검출/정정 방법
JP6110595B2 (ja) 2012-02-07 2017-04-05 イーエイチエス レンズ フィリピン インク 眼鏡用偏光プラスチックレンズの製造方法
TW201340708A (zh) 2012-03-19 2013-10-01 Sony Corp 固體攝像裝置及電子機器
JP5749678B2 (ja) 2012-03-29 2015-07-15 富士フイルム株式会社 ガスバリアフィルム
JP5934544B2 (ja) 2012-03-29 2016-06-15 富士フイルム株式会社 ガスバリアフィルム
US9723233B2 (en) 2012-04-18 2017-08-01 Brightway Vision Ltd. Controllable gated sensor
US8957358B2 (en) 2012-04-27 2015-02-17 Taiwan Semiconductor Manufacturing Company, Ltd. CMOS image sensor chips with stacked scheme and methods for forming the same
US9233511B2 (en) 2012-05-10 2016-01-12 Optiz, Inc. Method of making stamped multi-layer polymer lens
US8779346B2 (en) 2012-05-14 2014-07-15 BAE Systems Imaging Solutions Inc. Digital pixel sensor with reduced noise
US9058281B2 (en) 2012-06-01 2015-06-16 Seagate Technology Llc Allocating memory usage based on quality metrics
KR20140024707A (ko) 2012-08-21 2014-03-03 삼성전자주식회사 이미지 센서 및 이를 포함하는 전자 기기
KR101384332B1 (ko) 2012-09-06 2014-04-10 현대모비스 주식회사 차량 영상처리 장치 및 방법과 이를 이용한 차량 영상처리 시스템
KR101965632B1 (ko) 2012-09-07 2019-04-05 삼성전자 주식회사 아날로그-디지털 변환 회로, 이를 포함하는 이미지 센서, 및 그 동작 방법
EP2904770B1 (en) 2012-10-05 2018-01-10 Rambus Inc. Conditional-reset, multi-bit read-out image sensor
JP6369911B2 (ja) * 2013-01-25 2018-08-08 テレダイン・イノバシオネス・ミクロエレクトロニカス・ソシエダッド・リミターダ・ユニパーソナルＴｅｌｅｄｙｎｅ Ｉｎｎｏｖａｃｉｏｎｅｓ Ｍｉｃｒｏｅｌｅｃｔｒｏｎｉｃａｓ，Ｓｌｕ 画像センサ用の自動関心領域機能
EP2969258A4 (en) 2013-03-13 2016-11-30 Harvard College COMPRESSIVE COMPOSITION FOR PREPARING GLOSSY SURFACES WITH LIQUID INFUSION AND METHOD OF USE
GB2513579A (en) 2013-04-29 2014-11-05 Tobii Technology Ab Power efficient image sensing apparatus, method of operating the same and eye/gaze tracking system
JP2014236183A (ja) 2013-06-05 2014-12-15 株式会社東芝 イメージセンサ装置及びその製造方法
JP6303297B2 (ja) 2013-06-14 2018-04-04 富士通株式会社 端末装置、視線検出プログラムおよび視線検出方法
JP6188451B2 (ja) 2013-06-27 2017-08-30 オリンパス株式会社 アナログデジタル変換器および固体撮像装置
US9001251B2 (en) 2013-09-10 2015-04-07 Rambus Inc. Oversampled image sensor with conditional pixel readout
US9410850B2 (en) 2013-09-20 2016-08-09 Vlad Joseph Novotny Infrared imager readout electronics
US20160210785A1 (en) 2013-10-03 2016-07-21 Sulon Technologies Inc. Augmented reality system and method for positioning and mapping
KR102210539B1 (ko) 2013-12-26 2021-02-01 삼성전자주식회사 상관 이중 샘플링 회로, 이를 포함하는 아날로그-디지털 컨버터, 및 이미지 센서
US20160171769A1 (en) 2014-01-24 2016-06-16 Osterhout Group, Inc. See-through computer display systems
JP6336286B2 (ja) * 2014-01-31 2018-06-06 キヤノン株式会社 撮像装置、撮像システム、撮像装置の制御方法および撮像装置を有する撮影装置
JP6338385B2 (ja) * 2014-01-31 2018-06-06 キヤノン株式会社 撮像装置、撮像システム、撮像装置の制御方法および撮像装置を有する撮影装置
US9264639B2 (en) 2014-02-07 2016-02-16 Rambus Inc. Feedthrough-compensated image sensor
US20160011422A1 (en) 2014-03-10 2016-01-14 Ion Virtual Technology Corporation Method and system for reducing motion blur when experiencing virtual or augmented reality environments
EP2924979B1 (en) 2014-03-25 2023-01-18 IMEC vzw Improvements in or relating to imaging sensors
TWI656631B (zh) 2014-03-28 2019-04-11 日商半導體能源研究所股份有限公司 攝像裝置
KR102246553B1 (ko) 2014-04-24 2021-04-30 엘지전자 주식회사 Hmd 및 그 제어 방법
US9672416B2 (en) 2014-04-29 2017-06-06 Microsoft Technology Licensing, Llc Facial expression tracking
US20190307313A1 (en) 2014-05-09 2019-10-10 Jack Wade Systems and methods for medical imaging
US10007350B1 (en) 2014-06-26 2018-06-26 Leap Motion, Inc. Integrated gestural interaction and multi-user collaboration in immersive virtual reality environments
US9247162B2 (en) 2014-06-27 2016-01-26 Omnivision Technologies, Inc. System and method for digital correlated double sampling in an image sensor
WO2016014860A1 (en) 2014-07-25 2016-01-28 Rambus Inc. Low-noise, high dynamic-range image sensor
KR20160032586A (ko) 2014-09-16 2016-03-24 삼성전자주식회사 관심영역 크기 전이 모델 기반의 컴퓨터 보조 진단 장치 및 방법
JP6593711B2 (ja) * 2014-09-19 2019-10-23 パナソニックＩｐマネジメント株式会社 固体撮像装置
US10515284B2 (en) * 2014-09-30 2019-12-24 Qualcomm Incorporated Single-processor computer vision hardware control and application execution
WO2016076126A1 (ja) * 2014-11-12 2016-05-19 ソニー株式会社 固体撮像装置および電子機器
US9332200B1 (en) * 2014-12-05 2016-05-03 Qualcomm Incorporated Pixel readout architecture for full well capacity extension
WO2016095057A1 (en) 2014-12-19 2016-06-23 Sulon Technologies Inc. Peripheral tracking for an augmented reality head mounted device
US9819882B2 (en) 2015-06-05 2017-11-14 Caeleste Cvba Global shutter high dynamic range sensor
US10535296B2 (en) 2015-06-10 2020-01-14 Apple Inc. Display panel redundancy schemes
US10524667B2 (en) 2015-06-14 2020-01-07 Facense Ltd. Respiration-based estimation of an aerobic activity parameter
US9743024B2 (en) 2015-07-01 2017-08-22 Massachusetts Institute Of Technology Method and apparatus for on-chip per-pixel pseudo-random time coded exposure
WO2017003477A1 (en) 2015-07-01 2017-01-05 Tyrrell Brian M Method and apparatus for on-chip per-pixel pseudo-random time coded exposure
US10042165B2 (en) 2015-08-03 2018-08-07 Oculus Vr, Llc Optical system for retinal projection from near-ocular display
US10607413B1 (en) 2015-09-08 2020-03-31 Ultrahaptics IP Two Limited Systems and methods of rerendering image hands to create a realistic grab experience in virtual reality/augmented reality environments
JP6929027B2 (ja) * 2015-09-16 2021-09-01 キヤノン株式会社 撮像素子及び撮像装置
GB2596028B (en) 2015-09-16 2022-04-20 Canon Kk Image sensor and image capturing apparatus
US9735131B2 (en) 2015-11-10 2017-08-15 Taiwan Semiconductor Manufacturing Company, Ltd. Multi-stack package-on-package structures
JP2017108397A (ja) 2015-11-30 2017-06-15 株式会社半導体エネルギー研究所 信号処理回路、及び該信号処理回路を有する半導体装置
DE102015122055B4 (de) 2015-12-17 2018-08-30 Carl Zeiss Ag Optisches System sowie Verfahren zum Übertragen eines Quellbildes
EP3414702A1 (en) 2016-02-08 2018-12-19 Spero Devices, Inc. Analog co-processor
JP6736911B2 (ja) 2016-02-29 2020-08-05 セイコーエプソン株式会社 光束径拡大素子及び画像表示装置
US10715824B2 (en) * 2016-03-17 2020-07-14 Facebook Technologies, Llc System and method for data compressing optical sensor data prior to transferring to a host system
US10420523B2 (en) 2016-03-21 2019-09-24 The Board Of Trustees Of The Leland Stanford Junior University Adaptive local window-based methods for characterizing features of interest in digital images and systems for practicing same
US10003726B2 (en) 2016-03-25 2018-06-19 Microsoft Technology Licensing, Llc Illumination module for near eye-to-eye display system
US10594974B2 (en) * 2016-04-07 2020-03-17 Tobii Ab Image sensor for vision based on human computer interaction
CN108353137A (zh) * 2016-04-07 2018-07-31 托比股份公司 用于基于视觉的人机交互的图像传感器
US9646681B1 (en) 2016-04-25 2017-05-09 Qualcomm Incorporated Memory cell with improved write margin
US9885870B2 (en) 2016-04-25 2018-02-06 Microsoft Technology Licensing, Llc Diffractive optical elements with analog modulations and switching
US9967472B2 (en) 2016-05-17 2018-05-08 JVC Kenwood Corporation Image sensor combining high dynamic range techniques
US20180027174A1 (en) 2016-07-19 2018-01-25 Qualcomm Incorporated Signaling camera configuration changes using metadata defined for a camera command set
JP6806494B2 (ja) * 2016-08-24 2021-01-06 キヤノン株式会社 撮像装置、撮像システム、移動体及び撮像装置の駆動方法
US20210283871A1 (en) 2016-09-06 2021-09-16 The Australian National University Method for fabricating lenses
JP2018046430A (ja) 2016-09-15 2018-03-22 ソニー株式会社 情報処理装置および方法、並びにプログラム
US9859245B1 (en) 2016-09-19 2018-01-02 Taiwan Semiconductor Manufacturing Co., Ltd. Chip package structure with bump and method for forming the same
US10484628B2 (en) 2016-10-21 2019-11-19 The Johns Hopkins University Flexible pixel-wise exposure control and readout
IL301297B2 (en) 2016-11-16 2024-08-01 Magic Leap Inc A multi-resolution display assembly for head-mounted display systems
KR20180056962A (ko) 2016-11-21 2018-05-30 삼성전자주식회사 전원 제어 회로를 포함하는 이벤트 기반 센서
GB2556910A (en) 2016-11-25 2018-06-13 Nokia Technologies Oy Virtual reality display
US10395111B2 (en) 2016-12-01 2019-08-27 Varjo Technologies Oy Gaze-tracking system and method
US10984235B2 (en) * 2016-12-16 2021-04-20 Qualcomm Incorporated Low power data generation for iris-related detection and authentication
US9955091B1 (en) 2016-12-20 2018-04-24 Omnivision Technologies, Inc. High dynamic range image sensor read out architecture using in-frame multi-bit exposure control
US10218923B2 (en) 2017-02-17 2019-02-26 Semiconductor Components Industries, Llc Methods and apparatus for pixel binning and readout
US10838110B2 (en) 2017-03-03 2020-11-17 Microsoft Technology Licensing, Llc Metasurface optical coupling elements for a display waveguide
JP2018148528A (ja) * 2017-03-09 2018-09-20 ソニーセミコンダクタソリューションズ株式会社 固体撮像装置および電子機器
US10360732B2 (en) 2017-03-23 2019-07-23 Intel Corporation Method and system of determining object positions for image processing using wireless network angle of transmission
US20180288344A1 (en) * 2017-03-28 2018-10-04 Qualcomm Incorporated Systems and methods for dynamic voltage scaling of an image signal processor
JP7170673B2 (ja) 2017-06-13 2022-11-14 ドリンクサビー，インコーポレイテッド 比色センサーおよびその製造方法
US10395376B2 (en) 2017-07-19 2019-08-27 Qualcomm Incorporated CMOS image sensor on-die motion detection using inter-pixel mesh relationship
US11568609B1 (en) 2017-07-25 2023-01-31 Meta Platforms Technologies, Llc Image sensor having on-chip compute circuit
US20210264679A1 (en) 2017-07-25 2021-08-26 Facebook Technologies, Llc Smart sensor
US10726627B2 (en) 2017-07-25 2020-07-28 Facebook Technologies, Llc Sensor system based on stacked sensor layers
US10090342B1 (en) * 2017-08-01 2018-10-02 Semiconductor Components Industries, Llc Stacked image sensor capacitors and related methods
JP7072362B2 (ja) * 2017-09-26 2022-05-20 ブリルニクス シンガポール プライベート リミテッド 固体撮像装置、固体撮像装置の駆動方法、および電子機器
US10506217B2 (en) 2017-10-09 2019-12-10 Facebook Technologies, Llc Head-mounted display tracking system
KR102467845B1 (ko) * 2017-10-24 2022-11-16 삼성전자주식회사 적층형 씨모스 이미지 센서
US11039092B2 (en) 2017-11-15 2021-06-15 Nvidia Corporation Sparse scanout for image sensors
KR102558488B1 (ko) 2017-12-06 2023-07-20 소니 세미컨덕터 솔루션즈 가부시키가이샤 고체 촬상 장치, 고체 촬상 장치의 제어 방법 및 컴퓨터 프로그램
US11112613B2 (en) 2017-12-18 2021-09-07 Facebook Technologies, Llc Integrated augmented reality head-mounted display for pupil steering
US10708529B2 (en) 2017-12-20 2020-07-07 Semiconductor Components Industries, Llc Image sensors with low-voltage transistors
US10999539B2 (en) * 2017-12-26 2021-05-04 Waymo Llc Adjustable vertical field of view
JP6951967B2 (ja) 2017-12-28 2021-10-20 日本電産サンキョー株式会社 レンズユニット及び金型の製造方法
WO2019133008A1 (en) 2017-12-30 2019-07-04 Intel Corporation Ultra-thin, hyper-density semiconductor packages
US11057581B2 (en) 2018-01-24 2021-07-06 Facebook Technologies, Llc Digital pixel array with multi-stage readouts
US20190246036A1 (en) 2018-02-02 2019-08-08 Futurewei Technologies, Inc. Gesture- and gaze-based visual data acquisition system
KR102469080B1 (ko) 2018-02-13 2022-11-23 에스케이하이닉스 주식회사 비교 장치 및 그에 따른 씨모스 이미지 센서
CN111886533A (zh) 2018-03-12 2020-11-03 奇跃公司 基于倾斜阵列的显示器
US12034015B2 (en) 2018-05-25 2024-07-09 Meta Platforms Technologies, Llc Programmable pixel array
KR20190139082A (ko) 2018-06-07 2019-12-17 삼성전자주식회사 메모리 장치의 비트 에러율 균등화 방법
US10684681B2 (en) 2018-06-11 2020-06-16 Fotonation Limited Neural network image processing apparatus
US11067848B1 (en) 2018-06-22 2021-07-20 Facebook Technologies, Llc Switchable reflective devices including first and second optically transparent materials with different refractive indexes and methods and systems for fabrication thereof
US10345447B1 (en) 2018-06-27 2019-07-09 Luminar Technologies, Inc. Dynamic vision sensor to direct lidar scanning
US10897586B2 (en) 2018-06-28 2021-01-19 Facebook Technologies, Llc Global shutter image sensor
US11820289B2 (en) 2018-07-31 2023-11-21 Sony Semiconductor Solutions Corporation Solid-state imaging device and electronic device
US10708522B2 (en) 2018-08-10 2020-07-07 International Business Machines Corporation Image sensor with analog sample and hold circuit control for analog neural networks
JP6635222B1 (ja) 2018-08-31 2020-01-22 ソニー株式会社 撮像装置、撮像システム、撮像方法および撮像プログラム
US10915995B2 (en) * 2018-09-24 2021-02-09 Movidius Ltd. Methods and apparatus to generate masked images based on selective privacy and/or location tracking
KR102687054B1 (ko) 2018-10-12 2024-07-22 수퍼멤, 인크. 오류 정정 및 데이터 클리닝 회로가 구비된 메모리 시스템
KR102599047B1 (ko) 2018-11-13 2023-11-06 삼성전자주식회사 데이터 신뢰성을 향상한 메모리 컨트롤러, 이를 포함하는 메모리 시스템 및 메모리 컨트롤러의 동작방법
JP2020088723A (ja) 2018-11-29 2020-06-04 ソニーセミコンダクタソリューションズ株式会社 固体撮像素子、および、撮像装置
US11888002B2 (en) 2018-12-17 2024-01-30 Meta Platforms Technologies, Llc Dynamically programmable image sensor
US11962928B2 (en) 2018-12-17 2024-04-16 Meta Platforms Technologies, Llc Programmable pixel array
US10755128B2 (en) 2018-12-18 2020-08-25 Slyce Acquisition Inc. Scene and user-input context aided visual search
US10867655B1 (en) 2019-07-08 2020-12-15 Micron Technology, Inc. Methods and apparatus for dynamically adjusting performance of partitioned memory
US11010327B2 (en) 2019-07-23 2021-05-18 Qualcomm Incorporated I3C point to point
US11018113B2 (en) 2019-10-17 2021-05-25 Taiwan Semiconductor Manufacturing Company, Ltd. Memory module, semiconductor package including the same, and manufacturing method thereof
US11948089B2 (en) 2019-11-07 2024-04-02 Meta Platforms Technologies, Llc Sparse image sensing and processing
US11394905B2 (en) 2019-12-13 2022-07-19 Sony Semiconductor Solutions Corporation Dynamic region of interest and frame rate for event based sensor and imaging camera
JP7455588B2 (ja) 2020-01-17 2024-03-26 キヤノン株式会社 撮像装置
US11825228B2 (en) 2020-05-20 2023-11-21 Meta Platforms Technologies, Llc Programmable pixel array having multiple power domains
US11910114B2 (en) 2020-07-17 2024-02-20 Meta Platforms Technologies, Llc Multi-mode image sensor
US10970619B1 (en) 2020-08-21 2021-04-06 Moffett Technologies Co., Limited Method and system for hierarchical weight-sparse convolution processing
US20220076726A1 (en) 2020-09-04 2022-03-10 Micron Technology, Inc. Methods and apparatus for probabilistic refresh in volatile memory devices
US11620818B2 (en) 2020-10-01 2023-04-04 Intel Corporation Spatially sparse neural network accelerator for multi-dimension visual analytics

Patent Citations (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008270500A (ja) * 2007-04-19 2008-11-06 Sharp Corp 固体撮像素子およびその製造方法、電子情報機器
US20100245600A1 (en) * 2009-03-30 2010-09-30 Chang Soon-Keun Digital photographing device, method of controlling the digital photographing device, and computer-readable storage medium
US20110096216A1 (en) * 2009-09-10 2011-04-28 Fujifilm Corporation Imaging pickup device and image pickup method
CN106791504A (zh) * 2011-09-21 2017-05-31 普廷数码影像控股公司 堆叠芯片成像系统
CN103907133A (zh) * 2011-09-21 2014-07-02 普廷数码影像控股公司 堆叠芯片成像系统
US20130215290A1 (en) * 2012-02-21 2013-08-22 Johannes Solhusvik Detecting transient signals using stacked-chip imaging systems
US20130293753A1 (en) * 2012-05-02 2013-11-07 Aptina Imaging Corporation Image data compression using stacked-chip image sensors
US20170117310A1 (en) * 2014-03-31 2017-04-27 Sony Corporation Solid-state image sensor, electronic apparatus, and imaging method
US20160021302A1 (en) * 2014-07-18 2016-01-21 Samsung Electronics Co., Ltd. Cognitive sensor and method of operating of the same
CN107005641A (zh) * 2014-12-03 2017-08-01 株式会社尼康 拍摄装置、电子设备以及程序
US20180167575A1 (en) * 2015-07-23 2018-06-14 Olympus Corporation Solid-state imaging device
US20180239108A1 (en) * 2015-09-16 2018-08-23 Canon Kabushiki Kaisha Image sensor and image capturing apparatus
US20180204867A1 (en) * 2017-01-13 2018-07-19 Samsung Electronics Co., Ltd. Cmos image sensor (cis) including mram (magnetic random access memory)
US20180284594A1 (en) * 2017-03-31 2018-10-04 Beijing Neusoft Medical Equipment Co., Ltd. Imaging method and imaging system

Also Published As

Publication number Publication date
US11888002B2 (en) 2024-01-30
JP2022511414A (ja) 2022-01-31
TW202038596A (zh) 2020-10-16
WO2020131860A1 (en) 2020-06-25
CN113196741B (zh) 2023-09-26
US20200195875A1 (en) 2020-06-18
EP3900319B1 (en) 2024-02-28
KR20210102329A (ko) 2021-08-19
EP3900319A1 (en) 2021-10-27

Similar Documents

Publication Publication Date Title
CN113196741B (zh) 动态可编程图像传感器
US11948089B2 (en) Sparse image sensing and processing
JP7515477B2 (ja) プログラム可能なピクセルアレイ
CN111955002B (zh) 全局快门图像传感器
US20210044742A1 (en) Dynamically programmable image sensor
EP3431938A2 (en) Digital pixel with extended dynamic range
EP3804297A1 (en) Programmable pixel array
CN114586331A (zh) 分布式传感器系统
US12075175B1 (en) Programmable smart sensor with adaptive readout
TW202219890A (zh) 稀疏影像感測及處理

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB02 Change of applicant information

Address after: California, USA

Applicant after: Yuan Platform Technology Co.,Ltd.

Address before: California, USA

Applicant before: Facebook Technologies, LLC

CB02 Change of applicant information
GR01 Patent grant
GR01 Patent grant