CN108353137A - 用于基于视觉的人机交互的图像传感器 - Google Patents

用于基于视觉的人机交互的图像传感器 Download PDF

Info

Publication number
CN108353137A
CN108353137A CN201780003958.8A CN201780003958A CN108353137A CN 108353137 A CN108353137 A CN 108353137A CN 201780003958 A CN201780003958 A CN 201780003958A CN 108353137 A CN108353137 A CN 108353137A
Authority
CN
China
Prior art keywords
multiple pixel
pixel
data
imaging sensor
light
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201780003958.8A
Other languages
English (en)
Inventor
马田·斯科郭
皮特·布利克斯特
亨里克·琼森
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toby Joint-Stock Co
Original Assignee
Toby Joint-Stock Co
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toby Joint-Stock Co filed Critical Toby Joint-Stock Co
Publication of CN108353137A publication Critical patent/CN108353137A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G06V40/19—Sensors therefor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G06V40/193—Preprocessing; Feature extraction
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144—Devices controlled by radiation
    • H01L27/146—Imager structures
    • H01L27/14601—Structural or functional details thereof
    • H01L27/14609—Pixel-elements with integrated switching, control, storage or amplification elements
    • H01L27/1461—Pixel-elements with integrated switching, control, storage or amplification elements characterised by the photosensitive area
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144—Devices controlled by radiation
    • H01L27/146—Imager structures
    • H01L27/14601—Structural or functional details thereof
    • H01L27/1462—Coatings
    • H01L27/14621—Colour filter arrangements
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144—Devices controlled by radiation
    • H01L27/146—Imager structures
    • H01L27/14643—Photodiode arrays; MOS imagers
    • H01L27/14649—Infrared imagers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • H04N23/11—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths for generating image signals from visible and infrared light wavelengths
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/56—Cameras or camera modules comprising electronic image sensors; Control thereof provided with illuminating means
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/76—Circuitry for compensating brightness variation in the scene by influencing the image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/131—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements including elements passing infrared wavelengths
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/135—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on four or more different wavelength filter elements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2209/00—Details of colour television systems
    • H04N2209/04—Picture signal generators
    • H04N2209/041—Picture signal generators using solid-state devices
    • H04N2209/042—Picture signal generators using solid-state devices having a single pick-up sensor
    • H04N2209/047—Picture signal generators using solid-state devices having a single pick-up sensor using multispectral pick-up elements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
    • H04N23/843—Demosaicing, e.g. interpolating colour pixel values

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Power Engineering (AREA)
  • Multimedia (AREA)
  • General Physics & Mathematics (AREA)
  • Signal Processing (AREA)
  • Electromagnetism (AREA)
  • Condensed Matter Physics & Semiconductors (AREA)
  • Computer Hardware Design (AREA)
  • Microelectronics & Electronic Packaging (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Ophthalmology & Optometry (AREA)
  • Human Computer Interaction (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Processing (AREA)
  • Studio Devices (AREA)

Abstract

根据本发明，公开了一种图像传感器。该图像传感器可以包括多个像素。多个像素的第一部分的每个像素可以包括近红外滤光片，所述近红外滤光片配置为阻挡红、绿和蓝光；并使近红外光通过。多个像素的第二部分的每个像素可以被配置为接收红、绿或蓝光中的至少一个；并接收近红外光。

Description

用于基于视觉的人机交互的图像传感器
相关申请的交叉引用
本申请要求2016年4月7日提交的、题为“IMAGE SENSOR FOR VISION BASED HUMANCOMPUTER INTERACTION”的、申请号为62/319,666的美国临时专利申请的优先权，其全部公开在此通过引用方式全部并入本文并用于一切用途。
发明内容
在一个实施例中，提供了一种图像传感器。该图像传感器可以包括多个像素。多个像素的第一部分的每个像素可以包括近红外滤光片，所述近红外滤光片配置为阻挡红、绿和蓝光；并使近红外光通过。多个像素的第二部分的每个像素可以被配置为接收红、绿或蓝光中的至少一个；并接收近红外光。
在另一实施例中，提供了用于捕获图像的方法。该方法可以包括在多个像素处接收光。在多个像素处接收光可以包括：利用近红外滤光片阻挡在多个像素的第一部分的每个像素处的红、绿和蓝光。在多个像素处接收光也可以包括在所述多个像素的第一部分的每个像素处接收近红外光。在多个像素处接收光还可以包括在所述多个像素的第二部分的每个像素处接收红、绿或蓝光中的至少一个。在多个像素处接收光也可以另外地包括在所述多个像素的第二部分的每个像素处接收近红外光。
在另一实施例中，提供了非暂时性机器可读介质，其上存储有用于捕获图像的指令。所述指令可由一个或多个处理器执行，以处理由接收光的多个像素的第一部分所产生的信号。在多个像素的第一部分处接收光可以包括：利用近红外滤光片在多个像素的第一部分的每个像素处阻挡红、绿和蓝光。在多个像素的第一部分处接收光也可以包括：在所述多个像素的第一部分的每个像素处接收近红外光。所述指令也是可执行的，以处理由接收光的多个像素的第二部分所产生的信号。在多个像素的第二部分处接收光可以包括：在所述多个像素的第二部分的每个像素处接收红、绿或蓝光中的至少一个。在多个像素的第二部分处接收光也可以包括：在所述多个像素的第二部分的每个像素处接收近红外光。
附图说明
结合附图描述本发明：
图1是本发明的一个图像传感器的示意图；
图2是图1的图像传感器的示意图，其中只有两行被激活；
图3是本发明的另一图像传感器的示意图，其中采用了合并(binning)；
图4是图1的图像传感器的示意图，其中采用了跳过(skipping)；
图5是在突发模式成像处理的单周期中获得的图像的序列的示意图；
图6是由本发明的图像传感器成像的多个感兴趣的区域的各种配置的示意图；
图7是示例性计算机系统的框图，其能够被用于本发明的装置或系统的至少一些部分，或实施在本发明的方法的至少一些部分；
图8是在另一突发模式成像处理的单周期中获得的图像的序列的示意图；
图9是在另一突发模式成像处理的单周期中获得的图像的序列的示意图；
图10是在另一突发模式成像处理的单周期中获得的图像的序列的示意图；
图11是在另一突发模式成像处理的单周期中获得的图像的序列的示意图；以及
图12是不同的清洁IR图像的示意图，这些清洁IR图像潜在地记录了用户存在或不存在于本发明的图像传感器的视野中的。
在附图中，类似的部件和/或特征可以具有相同的附图标记。此外，相同类型的各种部件可以通过在附图标记之后用区分类似部件和/或特征的字母来区分。如果说明书中仅使用了第一附图标记，则该描述适于具有相同第一附图标记的任何一个类似部件和/或特征，而不考虑字母后缀。
具体实施方式
本发明大体上涉及图像传感器以及使用该图像传感器的方法，该图像传感器尤其适于基于视觉的人机交互。
不同类型、功能和设计的图像传感器是众所周知的。通常地，图像传感器适于广泛的各种领域。
基本地，图像传感器由包括多个像点(photosite)的光敏衬底组成，当光子被收集在像点上时，产生了电荷。通常地，一个像点与图像传感器的一个像素相关联。电荷的大小取决于所收集到的光的量，例如更亮的光将导致更高的电荷。一旦曝光完成，则每个像点的电荷被测量，并通过模拟到数字转换器被转换到数字值。
两种形式的图像传感器技术包括当今的大多数的图像传感器——CCD和CMOS图像传感器。电荷耦合器件(Charge-Coupled Device，CCD)图像传感器包括由P掺杂MOS电容器表示的多个像素。这些电容器允许在半导体-氧化物界面将入射的光子转换成电子电荷，然后CCD经由需要分离的电源的栅极结构读出这些电荷。
当今最常见的图像传感器的形式的CMOS图像传感器，其中图像传感器是使用互补金属氧化物半导体(Metal–Oxide–Semiconductor,CMOS)技术制造的有源像素传感器。基本地，CMOS图像传感器以与CCD图像传感器相同的方式操作，然而，其使用产量高得多的工艺来制造。COMS图像传感器包括大型晶体管阵列，该阵列包括光电二极管和放大器。当暴露于光时，光电二极管累积电荷，并且这些电荷然后被转换成电压、放大并作为电信号传输。
CMOS图像传感器通常比CCD图像传感器消耗更少的功率，并能更快速地读出电荷。
由于图像传感器大致仅记录光的等级，为了记录颜色信息，通常使用拜尔滤光片。拜尔滤光片是一种结合到传感器衬底的颜色滤光片，其仅允许某种颜色的光子进入每个像素。通过在红、绿和蓝之间在像素间交替滤光片，不同颜色的光可以通过相邻的不同的像素被记录。
尽管先前的图像传感器已经被提出用于基于视觉的人机交互的功能，但是先前没有描述使用本文描述的技术的传感器，尤其是在眼球追踪技术中的使用。
本发明的目的是提出一种图像传感器，其适于与眼球追踪以及其他基于人机交互的技术一起起作用。
随后的描述中仅提供了示例性实施例，并不旨在限制本公开的范围、适用性和配置。相反，随后描述的示例性实施例将向本领域技术人员提供用于实现一个或多个示例性实施例的有可能的描述。应该理解，在不脱离如在此阐述的本发明的精神和范围的情况下，可以对元件的功能和布置进行各种改变。
例如，关于一个实施例讨论的任何细节可以存在或不存在于该实施例的所有预期版本中。类似地，关于一个实施例讨论的任何细节可以存在或不存在于在本文描述的另外的实施例的所有预期版本中。最后，关于本文的实施例的任何细节的讨论的缺乏将是隐含的认识，这种细节可以存在或不存在于本文讨论的任何实施例的任何版本中。
在以下描述中给出具体细节以提供实施例的透彻的理解。然而，本领域技术人员将理解，实施例可以在没有这些具体细节的情况下实施。例如，在本发明中的电路、系统、网络、处理器及其他元件可以以框图的形式示出为部件，以便不会在不必要的细节上使实施例模糊。在其他例子中，可以在没有不必要的细节的情况下示出公知的电路、过程、算法、结构和技术，以避免使实施例模糊。
另外，应当注意，单独的实施例可被描述为被描绘为流程图、作业图、数据流程图、结构图或框图的过程。尽管流程图可以将操作描述为顺序过程，但是许多操作可以并行或同时地被执行。此外，操作的顺序可以被重新安排。当操作完成后，过程可以被终止，但可能有其他步骤未讨论或包含在图中。此外，并非在任何具体描述过程中的所有操作都可能发生在所有实施例中。过程可以对应于方法、功能、步骤、子例程、子程序等。当过程对应于功能时，其终止对应于到调用函数或主函数的函数的返回。
术语“计算机可读介质”包括但不限于暂时性和非暂时性的便携式或固定的存储设备、光学存储设备、无线信道，以及能够存储、包含或携带指令和/或数据的各种其他的介质。代码段或机器可执行指令可以表示程序、函数、子程序、步骤、例程，子例程、模块、软件包、类或指令、数据结构或程序语句的任何组合。代码段可以通过传递和/或接收信息、数据、变元、参数或存储器内容来连接到另一代码段或硬件电路。信息、变元、参数、数据等可以通过包括存储器共享、消息传递、令牌传递、网络传输等的任何合适的手段被传递、转发或传输。
此外，本发明的实施例可以至少部分地手动或自动地被实施。手动或自动实施可以通过使用机器、硬件、软件、固件、中间件、微码、硬件描述语言或其任何组合来执行或至少辅助。当以软件、固件、中间件或微码实现时，执行必要任务的程序代码或代码段可以存储在机器可读介质中。处理器将执行必要的任务。
首先，本发明的目的是提供一种图像传感器，该图像传感器适于基于视觉的人机交互。根据本发明的第一方面，提供了一种图像传感器，该图像传感器包含集成的拜尔滤光片和近红外光(NIR)滤光片。
如本领域技术人员将容易理解的那样，拜尔滤光片滤除红、绿或蓝(RGB)光之外的可见光，以避免其进入图像传感器的一个或多个像素。NIR滤光片通常阻止低于大约650纳米(nm)的光进入图像传感器的一个或多个像素。NIR光可以是850nm、905nm、940nm、1100nm和/或一些其他NIR波长的光。
由于许多基于视觉的人机交互技术(例如眼球追踪)需要红外光以起作用，有利的是图像传感器适于结合两种形式的滤光片。
眼球追踪是基于视觉的人机交互技术的一个示例。在眼球追踪中，至少一个图像传感器和至少一个照明器结合，以确定用户注视的方向。大体上有两种类型的眼球追踪技术：“亮瞳”(Bright Pupil,BP)和“暗瞳”(Dark Pupil,DP)。BP眼球追踪包括与图像传感器的光路同轴的照明源，随着来自照明源的光线反射离开视网膜，用户的眼球将充当回射器，产生类似于红眼的明亮的瞳孔效果。如果照明源是非同轴的，则如在DP眼球追踪中那样，瞳孔显得是暗的，因为来自视网膜的回射被导向远离摄像头。
两种眼球追踪技术都能充分地起作用，最常使用近红外照明。BP眼球追踪创建了更大的虹膜/瞳孔对比度，但对环境光(例如呈现在户外的光)更敏感。而DP眼球追踪通常比BP眼球追踪对更多种族起作用。本发明与两种形式的眼球追踪都可以起作用。
为了实现滤除RGB和NIR光二者的图像传感器，存在几种替代方案。这里将在本发明的背景下描述每一种方案。
在第一种替代方案中，传感器被提供为例如2048像素×2048像素的尺寸。16个像素中的15个具有与其关联的滤光片，该滤光片仅允许NIR光进入，而16个像素中的一个像素仅允许红、绿或蓝光以及NIR光进入。在一些实施例中，红、绿和蓝像素可以包括NIR滤光片，并且不允许NIR光通过。在另一实施例中，特别可能在仅需要眼球追踪而不需要脸部特征检测的实施例中，红、绿和蓝像素将不存在。在本文描述的任何实施例中，因为所公开的具体实施例仅仅是所公开的构造的示例配置，所以可以采用不同于所讨论或示出的像素布局和分辨率。
这允许图像传感器既可以用作传统的RGB图像传感器，也可以用作NIR敏感的图像传感器。
参考图1，为了说明的目的，以简化的形式示出图像传感器10的一部分。图像传感器10包括像素12，像素12具有仅响应于NIR光的滤光片，以及分别相应于红、绿和蓝光的像素14、16和18。
在使用中，图像传感器可以以多种模式操作，如下所示：
模式1——RGB
在RGB模式中，图像传感器可以读出仅由与RGB图像关联的像素组成的图像。通常地，这将是整个活动的图像传感器区域的子集，例如如果图像传感器包括2048×2048像素的矩阵，则可以从图像传感器读出512×512的像素子集，其中每行的4个像素中有三个被跳过，并且4行中的3行被跳过，这样只有具有关联的R、G或B滤光片的那些像素才被读出。图2演示了如何读出这些图像，其中被读出的像素用数字24表示，RGB像素由数字26表示，以及图像传感器的不读出区域用数字28表示。
当读出图像时，只有具有红、绿或蓝像素的传感器线被读出。读出的数据通过1×3内核运行，以分别从红、绿和蓝像素中减去相邻NIR像素的平均值，使得它们的值仅表示来自意图颜色的信号。在此之后，仅保留来自剩余像素中的四分之一的数据，该剩余像素的四分之一代表已被NIR补偿的红、绿和蓝像素。来自剩余的四分之三的像素被丢弃。
模式2——清洁IR(Clean IR)
整个图像区域的子集(例如512×512图像)可以在合并和/或跳过模式下从图像传感器读出，所有的红、绿和蓝敏感像素被跳过，使得只有NIR敏感像素被读出。在红外光被激活的同时，第一图像从图像传感器被读出，然后在红外光没有被激活的情况下，相同的第二图像被读出。从第一图像中减去第二图像，得到仅包括红外光的第三图像——所谓的“清洁IR”图像。
理想地，应当在时间上十分接近地捕获两个图像，以确保在两个图像之间移动了的对象所造成的缺陷最小。主动照明的图像可以在不发光图像之前或之后捕获。
模式3——感兴趣区域
在感兴趣区域(ROI)模式下，图像传感器的活动区域的子集被读出，使得在图像内包含某些特征。例如，在眼球追踪中，已经知道仅读出包含用户的眼球或双眼中的整个图像区域的一部分。参见例如美国专利申请No.7572008以获得更多信息。出于所有目的，上述专利的全部公开内容通过引用结合于此，如同在此完全阐述一样。
在本发明中，感兴趣区域可以仅使用NIR敏感像素或包括区域内的所有像素(还包括红、绿和蓝像素)来读出。在捕获感兴趣区域的图像时，也可以使用清洁IR图像的概念。即使一些像素对可见光也敏感，但减去环境光图像后剩余的图像只会是由主动照明造成的图像，其在NIR照明器的情况下将是NIR图像。
在从照明源频闪NIR照明时，一部分图像传感器的活动区域被读出。所有像素均收集该频闪照明的至少一部分，以及周围的NIR照明。红、绿和蓝像素也将收集周围可见光的一部分。这些红、绿和蓝像素将因此比纯NIR像素具有更高的值。在眼球追踪设备中，在短曝光时间的情况下，这些图像仍然可以用于确定来自用户的瞳孔的闪光。
在该模式下，红、绿和蓝像素可在NIR像素寄存相对较低的值时寄存高的值。这是由于传感器在NIR照明的波长处比在可见光的波长处具有较低的量子效率。为了最大限度地减少该问题的影响并更好地利用像素动态，可以为NIR和红、绿和蓝像素设定不同的像素增益和像素偏移。例如，红、绿和蓝像素的增益可以设定为低于NIR像素的增益。如果是这种情况，则必须稍后在算法中进行补偿。
可替代地或附加地，图像可以被捕获为每像素10或12比特的数据，但是然后，特别是在已经减去环境光图像之后的清洁IR模式下，图像可以被转换成每像素10、8或甚至更少的比特。
作为可选的改进，连接到图像传感器的处理装置可以插入从传感器读出的数据，以利用来自相邻像素的平均NIR值来代替红、绿和蓝像素值。
此外，在本发明的另一方面，从图像传感器读出的感兴趣区域可以具有不同的特性。例如，感兴趣区域可以水平地或垂直地定向。此外，可以同时从图像传感器中读出多于一个感兴趣区域。
考虑眼球追踪的示例使用情形，在传统成像技术中，可以读出包括用户的双眼的一个兴趣区域。该感兴趣区域也包括额外的信息，例如两眼之间的人脸区域。该额外的信息不是眼球追踪所需要的，因此浪费了用于捕获这些额外的信息的功率和数据。通过读出两个感兴趣区域、每个大致包括单个眼球或瞳孔，不会消耗过多的数据和功率，并且同时读出时间被最小化了。如果传感器为滚动快门(rolling shutter)类型，这也意味着传感器收集的环境光的量被最小化。
通过读出具有不同方位的感兴趣区域，图像传感器可以在多种方位上起作用。例如，由于眼球的自然形状，有利的是读出用户的眼球的大致横向视野。在正常定向的图像传感器中，由于图像传感器通常具有像素的大致横向布局(x维度上的尺寸大于y维度上的尺寸)，所以这是可能的，但如果图像传感器被旋转(例如在便携式设备中的情况，例如电话或平板电脑)，则图像传感器不能读出仅包括眼球的横向感兴趣区域。为了捕获整个眼球或瞳孔，图像传感器将不得不读出大的竖向图像。
为了影响矩形或正方形图像的读出，多个(例如4个)区域可以被读出，形成矩形或正方形。可以使用标准图像传输格式(如MIPI联盟(www.mipi.org)发布的MIPI标准)读出这些内容。替代性地，读出接口可以是传感器内部接口，该传感器内部接口将图像数据传送到具备处理能力的传感器的第二层。这种3D堆叠式传感器在过去一年已经变得越来越常见，特别是在智能手机中，这种传感器包含与处理层、以及通常还有第三存储器/RAM层堆叠的有源光敏层。这四个感兴趣区域可以用于形成任何形状方位，例如其可以用于形成对角线地定向的形状。
此外，已经知道功率消耗以与读出区域的增加近似的速率成比例。通过不读出眼球之间的区域，可以为这些区域关闭像素和模拟到数字转换器(ADC)。根据现有技术的图像传感器读出完整的行，这为不感兴趣的像素提供不必要的功率。
用于眼球追踪的目的而优化的多个感兴趣区域的一个具体实施方式是：总是使四个不重叠的、同样大小的感兴趣区域被读出，例如，每个区域在尺寸上可以是120×120像素。这些感兴趣区域的总和被放置为包括人的双眼的预期位置，这个人位于包括根据本发明的图像传感器的眼球追踪器的前方。
此外，还有额外的限制：两个最顶部的感兴趣区域总是位于相同的行上，两个最底部的感兴趣区域也位于相同的行上，两个最左边的感兴趣区域位于相同的列上，并且两个最右边的感兴趣区域位于相同的列上。因此，对于给定大小的感兴趣区域，只需要两个“x”坐标和两个“y”坐标来完全定义要读出的区域。
每个都是120×120像素的四个感兴趣区域然后被读出，并被结合到单个240×240图像中。可选地，可以从传感器发出240×241像素的图像，其中第一行或最后一行可以包括：描述感兴趣区域在传感器上的坐标的元数据，以及与算法相关的其他可以使用图像的数据。
这种方法的好处是，多个感兴趣区域图像的读出时间将同样与用户的头部方位无关，并且读出区域被最小化以降低环境光对眼球追踪器性能的负面影响。
此外，如果用户朝眼球追踪器向前倾，并且由于眼球与眼球追踪器的接近，这个人的眼球太大，不适于120×120的感兴趣区域，则传感器可以进入使用2×2跳过、但仍以前述模式操作的模式，以将所有对象缩小为图像像素的一半尺寸，同时仍保持相同的读出格式和近似相同的读出时间。
为了阐释本发明的这个方面，图6展示了对于多个感兴趣区域的各种可能的方位。在图6中，用户的眼球被显示为圆形，并且感兴趣区域被展示为正方形。
合并和跳过
根据本发明，可以使用两种不同的形式：合并和/或跳过。这些在图3和图4中演示。图3允许低分辨率的图像，其中通常可能确定眼球追踪系统中的闪光，这是因为读出的像素之间的间隙相当小，因此没有成像对象可以落在所读出的像素之间。
突发序列
根据本发明，有可能以几种模式的突发序列来操作图像传感器。图5展示了这种序列的示例。
在该示例序列中(其可以以任何顺序被执行)，根据前面描述的本发明的清洁IR方面，第一和第二图像被读出。然后根据之前描述的本发明的RGB方面，第三图像从图像传感器被读出。在该第三图像之后是根据本发明先前描述的方面的四个感兴趣区域(ROI)图像。
现在将在它们用于眼球追踪系统的情况下更详细地描述这四个ROI图像。在眼球追踪系统中，希望产生阐释“暗瞳”效果的图像和阐释“亮瞳”效果的图像。这些效果以及其在眼球追踪中的使用在本说明书中已有描述，并且本领域技术人员将容易理解。
在序列中的第四图像是具有DP效果的ROI图像，即图像传感器的轴外的照明器已向用户的瞳孔发射了红外照明。在序列中的第五以及可选的第六图像是具有BP效果的ROI图像，即与图像传感器同轴的照明器已向用户的瞳孔发射了红外照明。在序列中第七和最后的图像是利用DP照明器发光所捕获的ROI图像。可选地，可以从序列中的第七和/或第四图像中减去仅包括环境光的可选的第六图像，以减去环境光并且仅隔离DP图像中的主动照明。这里主要的权衡是，图像已经被及时地进一步分开捕获，并且由于在两次曝光之间移动了的对象，从另一个图像中减去一个图像具有更高的增加假象的风险。
在本发明的进一步方面，可能读出仅包括适于眼球追踪的图像的图像序列。在本发明的这个方面，该图像序列近似于先前描述的图像序列中的第四、第五、第六和第七图像。
优选的是具有传感器，在该传感器中全图像序列(即突发模式)可以被一次地编程，包括每个图像的照明类型和时间、曝光时间、增益、合并/跳过、ROI大小和位置等。在一些实施例中，在突发模式下，只有整体可用图像的ROI大小/位置可以针对随后的图像而被更新。
还优选的是，在图像序列被捕获之后，传感器直接进入低功率模式。在该低功率模式中，传感器应当优选地仍然响应于下一个图像序列的重新编程，而传感器的大部分的其他部分在睡眠状态。
如在本文中描述的那样，图像传感器因此适于允许三种形式的图像：RGB、通过合并或跳过得到的子样本图像、以及ROI或裁剪的图像。对于后两种类型的图像，两个随后的图像捕获可以被用于创建图像的清洁IR版本，这两个随后的图像捕获一个具有主动照明，另一个没有。因此该图像传感器可以在适用于基于视觉的人机交互的各种模式中起作用。例如，RGB图像可以用于脸部识别、成像(例如Skype)常规图像捕获等，当结合基于NIR图像的生物测定学(例如脸部或虹膜)时进行反欺骗，或者用于确定眼球的位置以引导感兴趣区域的读出；子样本图像(清洁IR图像或仅单照明图像)可以用于脸部识别、脸部特征追踪，或用于确定眼球的位置以引导感兴趣区域的读出；以及感兴趣区域图像可以用于眼球追踪。
可以由本文所描述的图像传感器采用的另一种可能的突发序列可以包括：用于低功率绘制眼球追踪和识别脸部特征的序列，参照图8讨论该突发序列。在该突发序列中，三到五帧可以包括针对一个成像周期接收的数据。可选的第一帧可以包括合并的或跳过的NIR图像(展示了2×2跳过和2×2合并)。第二帧还可以包括在由NIR照明器照明期间的合并的或跳过的NIR图像(展示了2×2跳过和2×2合并)。在感兴趣区域中的第三帧可以包括在由NIR照明器照明期间的组合的NIR和RGB图像。在感兴趣区域中的可选的第四帧可以包括组合的NIR和RGB图像。在感兴趣区域中的第五帧可以包括在由NIR照明器照明期间的组合的NIR和RGB图像。所描述的第二和第三帧可以被采用在BP眼球追踪中，而第二和第五帧可以被用于DP眼球追踪。在一些实施例中，在这个或其他序列中采用的图像传感器可以是只有NIR的传感器，没有可见光或RGB像素。对于具有主动NIR照明的眼球追踪、脸部特征追踪和/或机器视觉来说，这可能是有用的解决方案。尽管这种传感器不能输出RGB图像，但其可以执行本文详述的NIR功能。
可以由本文所描述的图像传感器采用的另一种可能的突发序列可以包括：用于低功率绘制眼球追踪的序列，参照图9讨论该突发序列。在该突发序列中，两到三帧可以包括针对一个成像周期接收的数据。在感兴趣区域中的第一帧可以包括在由NIR照明器照明期间的组合的NIR和RGB图像。在感兴趣区域中的可选的第二帧可以包括组合的NIR和RGB图像。在感兴趣区域中的第三帧可以包括在由NIR照明器照明期间的组合的NIR和RGB图像。所描述的第一帧可以被采用在BP眼球追踪中，而第三帧可以被用于DP眼球追踪。在一些实施例中，在这个或其他序列中采用的图像传感器可以是只有NIR的传感器，没有可见光或RGB像素。对于具有主动NIR照明的眼球追踪、脸部特征追踪和/或机器视觉来说，这可能是有用的解决方案。尽管这种传感器不能输出RGB图像，但其可以执行本文详述的NIR功能。
可以由本文所描述的图像传感器采用的另一种可能的突发序列可以包括：用于低功率绘制眼球追踪和识别脸部特征的序列，参照图10讨论该突发序列。在该突发序列中，三帧可以包括针对一个成像周期接收的数据。第一帧可以包括在由NIR照明器照明的期间的合并的或跳过的NIR图像(展示了2×2跳过和2×2合并)。在感兴趣区域中的第二帧可以包括在由NIR照明器照明期间的组合的NIR和RGB图像。在感兴趣区域中的第三帧也可以包括在由NIR照明器照明期间的组合的NIR和RGB图像。所描述的第一和第二帧可以被采用在BP眼球追踪中，而第三帧可以被用于DP眼球追踪。在一些实施例中，在这个或其他序列中采用的图像传感器可以是只有NIR的传感器，没有可见光或RGB像素。对于具有主动NIR照明的眼球追踪、脸部特征追踪和/或机器视觉来说，这可能是有用的解决方案。尽管这种传感器不能输出RGB图像，但其可以执行本文详述的NIR功能。
可以由本文所描述的图像传感器采用的另一种可能的突发序列可以包括：用于低功率绘制眼球追踪的序列，参照图11讨论该突发序列。在该突发序列中，两帧可以包括针对一个成像周期接收的数据。可以包括在感兴趣区域中的第一帧可以包括在由NIR照明器照明期间的组合的NIR和RGB图像。在感兴趣区域中的第二帧也可以包括在由NIR照明器照明期间的组合的NIR和RGB图像。所描述的第一帧可以被采用在BP眼球追踪中，而第二帧可以被用于DP眼球追踪。在一些实施例中，在这个或其他序列中采用的图像传感器可以是只有NIR的传感器，没有可见光或RGB像素。对于具有主动NIR照明的眼球追踪、脸部特征追踪和/或机器视觉来说，这可能是有用的解决方案。尽管这种传感器不能输出RGB图像，但其可以执行本文详述的NIR功能。
使用如本文所述的组合的RGB/NIR传感器，或使用也如本文中所述的只有NIR的传感器的其他可能的成像序列可能在本发明的范围内。仅作为示例，出于所有目的，这种成像序列可以包括美国专利公开号2015/0262010中公开的序列，其全部公开内容通过引用并入本文，如在本文中完全阐述那样。
在另一实施例中，本文描述的图像传感器对于使用本文所述的低功率清洁IR成像序列来确定用户的存在是有用的。计算设备可以处于睡眠模式，并且只有相关的图像传感器是可操作的，以确定计算设备何时应该醒来。在这些实施例中的一些中，传感器可被设定为在极端二次采样模式下操作，以实现非常低的分辨率，其中优选地将大量像素合并在一起以增加传感器的信噪比。在一些情况下，使用一些跳过以捕获NIR照明器的照明期间的帧，紧接着捕获没有NIR照明的来自同样像素的帧。以这种方式，从如本文所述的图像传感器产生清洁IR图像。如图12所示，不同的非常低分辨率的清洁IR图像可以在用户存在于(或不存在于)图像传感器前方的各种状态期间产生。通过合并大量像素，这些图像可以在极短的曝光时间内被实现，且具有可接受的信噪比。此外，这些图像可以以低功耗照明实现，且在用于创造清洁IR图像的点亮和不点亮图像之间的短时间内实现，从而使运动或其他时间假象最小化。
从在该过程中接收的清洁IR图像中，可以提取两个参数：最大像素值和平均像素值。在一个实施例中，如果(A)最大像素值小于第一值，(B)平均像素值大于第二值但小于第三值，(C)最大像素值除以平均像素值的商大于第四值但小于第五值，以及(D)平均像素值除以先前图像与当前图像的平均像素值的商大于第六值但小于第七值，然后用户的存在被潜在地检测到。第一至第六值是预定的或动态的，并设定为使得这些变量对于检测用户的存在是有用的。重复该过程，并且在潜在检测的特定阈值总数下，用户被确定为可能存在，并且计算设备被如此指示的处理器唤醒。然而，如果上述的任何比较都为假，则通过将潜在检测次数重置为零并开始重新分析上述每个图像而重复整个过程。通常，可以使用任何类型的机器视觉算法来检测存在。在一些使用清洁IR图像的实施例中，只检测到由系统主动NIR照明器照明的内容。坐在靠近照明器的地方的人可能看起来更亮且更大，而坐在更远处的人可能看起来更小且亮度更低。如果人太靠近或几乎遮住了传感器前面的镜头，照明器也可能被遮盖，传感器将捕获纯白色的图像。如果要在离传感器预定距离内(例如距离传感器20-70cm)捕获人体的头部和上身，则可以设置指示被捕获的对象的大小和亮度的一个或多个阈值。例如，指示第一尺寸或亮度的阈值可以指示某人或某物距离传感器近于20cm(例如被捕获的对象太大和/或太亮)。类似地，指示第二尺寸或亮度的另一阈值可以指示某人或某物距离传感器远于70cm(例如对象太小和/或太暗而不能触发系统)。尽管提供了20cm和70cm作为示例，但可以使用其他距离或标准。
图7是阐释了其中可实现本发明的实施例的示例性计算机系统700的框图。该示例阐释了计算机系统700，例如可以全部地、部分地或以各种修改来使用，以提供例如以上所讨论的那些组件的功能。例如，上述图像传感器的任何功能可以由计算机系统700控制。
计算机系统700被示出为包括可以经由总线790电连接的硬件元件。硬件元件可以包括一个或多个中央处理器单元710、一个或多个输入设备720(例如鼠标、键盘等)，以及一个或多个输出设备730(例如显示设备、打印机等)。计算机系统700也可以包括一个或多个存储设备740。作为示例，存储设备740可以是磁盘驱动器、光存储设备、固态存储设备(例如随机存取存储器(“RAM”)和/或只读存储器(“ROM”))，其可以是可编程的、闪存可更新的和/或其他类似的。
计算机系统700可以另外地包括计算机可读存储介质读取器750、通信系统760(例如调制解调器、网卡(无线的或有线的)、红外通信设备、蓝牙设备、蜂窝通信设备等)，以及工作存储器780，其可以包括如上所述的RAM和ROM设备。在一些实施例中，计算机系统700也可以包括处理加速单元770，其可以包括数字信号处理器、专用处理器和/或其他类似的处理器。
计算机可读存储介质读取器750可以进一步被连接至计算机可读存储介质，共同(并且可选地与存储设备740组合)全面地表示用于临时和/或永久地包含计算机可读信息的远程、本地、固定和/或可移动存储设备以及存储介质。通信系统760可以允许与上述的网络、系统、计算机和/或其他组件交换数据。
计算机系统700还可以包括软件元件，该软件元件显示为当前位于工作存储器780内，包括操作系统784和其他代码788。应当理解，计算机系统700的替代的实施例可以具有上述内容的许多变化。例如，也可以使用定制的硬件和/或可以在硬件、软件(包括便携式软件，例如小应用程序)或两者中实现特定的元件。此外，也可以发生与其他计算设备(如网络输入/输出和数据采集设备)的连接。
计算机系统700的软件可以包括代码788，该代码788用于实现本文所述的架构的各种元件的任何或全部功能。例如，存储在例如系统700的计算机系统上和/或由其执行的软件可以提供本文讨论的组件、和/或例如上述所讨论的那些本发明的其他组件功能。上文已经更详细地讨论了在这些组件中的一些上由软件实现的方法。
现在已经为了清楚和理解的目的详细描述了本发明。然而，应当理解，在所附权利要求的范围内可以进行某些改变和修改。

Claims (20)

1.图像传感器，包括：
多个像素，其中：
所述多个像素的第一部分的每个像素包括近红外滤光片，所述近红外滤光片配置为：
阻挡红、绿和蓝光；以及
使至少一部分近红外光通过；以及
所述多个像素的第二部分的每个像素被配置为：
接收红、绿或蓝光中的至少一种；以及
接收近红外光。
2.根据权利要求1所述的图像传感器，其特征在于：
所述多个像素的第一部分大致包括所述多个像素中的每16个像素中的15个；并且
所述多个像素的第二部分大致包括所述多个像素中的每16个像素中的1个。
3.根据权利要求1所述的图像传感器，其特征在于，所述图像传感器还包括：
至少一个处理器，其配置为在至少两种模式下处理来自所述多个像素的信息，其中：
在第一模式下，所述至少一个处理器被配置为：返回由所述多个像素接收的表征红、蓝和绿光中的至少一个的数据；
在第二模式下，所述至少一个处理器被配置为：返回由所述多个像素接收的表征近红外光的数据。
4.根据权利要求3所述的图像传感器，其特征在于，被配置为返回由所述多个像素接收的表征红、蓝和绿光的至少一个的数据包括被配置为：
仅接收来自所述多个像素的第二部分的数据；以及
仅处理来自所述多个像素的第二部分的数据。
5.根据权利要求3所述的图像传感器，其特征在于，被配置为返回由所述多个像素接收的表征红、蓝和绿光的至少一个的数据包括被配置为：
接收来自所述多个像素的第一部分和所述多个像素的第二部分的数据；
移除从所述多个像素的第一部分接收的数据；以及
处理保留自所述多个像素的第二部分的数据。
6.根据权利要求3所述的图像传感器，其特征在于，被配置为返回由所述多个像素接收的表征近红外光的数据包括被配置为：
接收来自所述多个像素的第一部分和所述多个像素的第二部分的第一组数据，所述第一组数据是在近红外照明器激活期间产生的；
接收来自所述多个像素的第一部分和所述多个像素的第二部分的第二组数据，所述第二组数据是在近红外照明器没有被激活时产生的；以及
处理所述第一组数据和所述第二组数据。
7.根据权利要求6所述的图像传感器，其特征在于，处理所述第一组数据和所述第二组数据包括：
将所述第一组数据与所述第二组数据进行比较。
8.根据权利要求6所述的图像传感器，其特征在于：
产生所述第一组数据的时间与产生所述第二组数据的时间基本接近。
9.根据权利要求3所述的图像传感器，其特征在于，在所述第一模式或所述第二模式中的任一个下，所述至少一个处理器被进一步配置为：
仅接收来自所述多个像素的第一部分的子部分以及仅接收来自所述像素的第二部分的子部分的数据。
10.根据权利要求9所述的图像传感器，其特征在于：
所述多个像素的第一部分的子部分以及所述多个像素的第二部分的子部分代表所述多个像素的四个不重叠的尺寸相同的像素区域。
11.根据权利要求9所述的图像传感器，其特征在于：
所述多个像素的四个不重叠的尺寸相同的像素区域由两对x/y坐标定义。
12.根据权利要求11所述的图像传感器，其特征在于，四个不重叠的尺寸相同的区域中的每一个的尺寸至少部分地基于由图像传感器所观察到的用户的特征。
13.根据权利要求11所述的图像传感器，其特征在于，四个不重叠的尺寸相同的区域中的每一个的尺寸至少部分地基于由图像传感器观察的用户眼球的大小或位置中的至少一个。
14.根据权利要求3所述的图像传感器，其特征在于，在所述第一模式或所述第二模式中的任一个下，所述至少一个处理器被进一步配置为至少：
调整从所述多个像素的第一部分接收的数据的增益水平或从所述多个像素的第二部分接收的数据的增益水平。
15.根据权利要求14所述的图像传感器，其特征在于，调整从所述多个像素的第二部分接收的数据的增益水平包括：
降低从所述多个像素的第二部分接收的数据的增益水平。
16.根据权利要求3所述的图像传感器，其特征在于，在所述第二模式下，所述至少一个处理器被进一步配置为：
插入来自所述多个像素的第一部分的数据，以确定表示在所述多个像素的第二部分处接收的近红外光的估计值的数据。
17.根据权利要求1所述的图像传感器，其特征在于，所述图像传感器设置在虚拟现实耳机、增强现实耳机或显示器耳机的眼球追踪设备中。
18.根据权利要求1所述的图像传感器，其特征在于，所述图像传感器还包括：
处理层，所述处理层设置在所述多个像素的下方，并且与所述多个像素通信地连接；以及
存储器层，所述存储器层设置在所述处理层下方，并且与所述处理层通信地连接。
19.用于捕获图像的方法，其特征在于，所述方法包括：
在多个像素处接收光，其中在多个像素处接收光包括：
利用近红外滤光片在所述多个像素的第一部分的每个像素处阻挡红、绿和蓝光；以及
在所述多个像素的第一部分的每个像素处接收近红外光；
在所述多个像素的第二部分的每个像素处接收红、绿或蓝光中的至少一个；以及
在所述多个像素的第二部分的每个像素处接收近红外光。
20.非暂时性机器可读介质，其上存储有用于捕获图像的指令，其中所述指令可由一个或多个处理器执行，以至少：
处理由接收光的多个像素的第一部分所产生的信号，其中在所述多个像素的第一部分处接收光包括：
利用近红外滤光片在所述多个像素的第一部分的每个像素处阻挡红、绿和蓝光；以及
在所述多个像素的第一部分的每个像素处接收近红外光；
处理由接收光的所述多个像素的第二部分所产生的信号，其中在所述多个像素的第二部分处接收光包括：
在所述多个像素的第二部分的每个像素处接收红、绿或蓝光中的至少一个；以及
在所述多个像素的第二部分的每个像素处接收近红外光。
CN201780003958.8A 2016-04-07 2017-04-07 用于基于视觉的人机交互的图像传感器 Pending CN108353137A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201662319666P 2016-04-07 2016-04-07
US62/319,666 2016-04-07
PCT/US2017/026674 WO2017177177A1 (en) 2016-04-07 2017-04-07 Image sensor for vision based human computer interaction

Publications (1)

Publication Number Publication Date
CN108353137A true CN108353137A (zh) 2018-07-31

Family

ID=58692563

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201780003958.8A Pending CN108353137A (zh) 2016-04-07 2017-04-07 用于基于视觉的人机交互的图像传感器

Country Status (5)

Country Link
US (2) US20170293799A1 (zh)
EP (1) EP3440831B1 (zh)
CN (1) CN108353137A (zh)
ES (1) ES2847200T3 (zh)
WO (1) WO2017177177A1 (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110989166A (zh) * 2019-12-25 2020-04-10 歌尔股份有限公司 一种近眼显示设备的眼球追踪系统及近眼显示设备
CN111240464A (zh) * 2018-11-28 2020-06-05 简韶逸 眼球追踪的校正方法和其装置
CN113259608A (zh) * 2020-02-07 2021-08-13 恒景科技股份有限公司 适用于影像感测以及额外侦测的多模式影像感测器

Families Citing this family (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10594974B2 (en) 2016-04-07 2020-03-17 Tobii Ab Image sensor for vision based on human computer interaction
US20180189547A1 (en) * 2016-12-30 2018-07-05 Intel Corporation Biometric identification system
DE102017103884A1 (de) * 2017-02-24 2018-08-30 Osram Opto Semiconductors Gmbh Beleuchtungseinrichtung, elektronisches Gerät mit einer Beleuchtungseinrichtung und Verwendung einer Beleuchtungseinrichtung
US10686996B2 (en) 2017-06-26 2020-06-16 Facebook Technologies, Llc Digital pixel with extended dynamic range
US10598546B2 (en) 2017-08-17 2020-03-24 Facebook Technologies, Llc Detecting high intensity light in photo sensor
US11906353B2 (en) 2018-06-11 2024-02-20 Meta Platforms Technologies, Llc Digital pixel with extended dynamic range
US11463636B2 (en) 2018-06-27 2022-10-04 Facebook Technologies, Llc Pixel sensor having multiple photodiodes
US10897586B2 (en) 2018-06-28 2021-01-19 Facebook Technologies, Llc Global shutter image sensor
US10931884B2 (en) 2018-08-20 2021-02-23 Facebook Technologies, Llc Pixel sensor having adaptive exposure time
US11956413B2 (en) 2018-08-27 2024-04-09 Meta Platforms Technologies, Llc Pixel sensor having multiple photodiodes and shared comparator
US11595602B2 (en) 2018-11-05 2023-02-28 Meta Platforms Technologies, Llc Image sensor post processing
US11962928B2 (en) 2018-12-17 2024-04-16 Meta Platforms Technologies, Llc Programmable pixel array
US11888002B2 (en) * 2018-12-17 2024-01-30 Meta Platforms Technologies, Llc Dynamically programmable image sensor
US11218660B1 (en) 2019-03-26 2022-01-04 Facebook Technologies, Llc Pixel sensor having shared readout structure
US11943561B2 (en) 2019-06-13 2024-03-26 Meta Platforms Technologies, Llc Non-linear quantization at pixel sensor
US11936998B1 (en) 2019-10-17 2024-03-19 Meta Platforms Technologies, Llc Digital pixel sensor having extended dynamic range
US11935291B2 (en) 2019-10-30 2024-03-19 Meta Platforms Technologies, Llc Distributed sensor system
US11948089B2 (en) * 2019-11-07 2024-04-02 Meta Platforms Technologies, Llc Sparse image sensing and processing
US11902685B1 (en) 2020-04-28 2024-02-13 Meta Platforms Technologies, Llc Pixel sensor having hierarchical memory
US11825228B2 (en) 2020-05-20 2023-11-21 Meta Platforms Technologies, Llc Programmable pixel array having multiple power domains
US11910114B2 (en) 2020-07-17 2024-02-20 Meta Platforms Technologies, Llc Multi-mode image sensor
US11956560B2 (en) 2020-10-09 2024-04-09 Meta Platforms Technologies, Llc Digital pixel sensor having reduced quantization operation
US11935575B1 (en) 2020-12-23 2024-03-19 Meta Platforms Technologies, Llc Heterogeneous memory system

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110228097A1 (en) * 2010-03-19 2011-09-22 Pixim Inc. Image Sensor Including Color and Infrared Pixels
CN204791017U (zh) * 2015-07-06 2015-11-18 北京中科虹霸科技有限公司 基于多生物特征模态的移动终端用户身份认证装置
US20150373278A1 (en) * 2013-02-08 2015-12-24 Denso Corporation Image processing apparatus
CN105308436A (zh) * 2013-03-25 2016-02-03 索尼公司 方法、系统和介质，该介质上存储有指令以致使处理器执行用于获得生物体的包含一组光学数据的图像信息的方法
WO2016018586A1 (en) * 2014-08-01 2016-02-04 Sri International Imaging sensor and method for color night vision

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7012643B2 (en) * 2002-05-08 2006-03-14 Ball Aerospace & Technologies Corp. One chip, low light level color camera
SE524003C2 (sv) 2002-11-21 2004-06-15 Tobii Technology Ab Förfarande och anläggning för att detektera och följa ett öga samt dess blickvinkel
JP4941482B2 (ja) * 2009-02-17 2012-05-30 株式会社豊田中央研究所 擬似カラー画像生成装置、及びプログラム
US8989455B2 (en) * 2012-02-05 2015-03-24 Apple Inc. Enhanced face detection using depth information
US9996743B2 (en) * 2012-11-28 2018-06-12 The Trustees Of Columbia University In The City Of New York Methods, systems, and media for detecting gaze locking
US9071765B2 (en) * 2012-12-28 2015-06-30 Nvidia Corporation System, method, and computer program product implementing an image processing pipeline for high-dynamic range images
US9224362B2 (en) * 2013-03-14 2015-12-29 Microsoft Technology Licensing, Llc Monochromatic edge geometry reconstruction through achromatic guidance
US20150029322A1 (en) * 2013-07-23 2015-01-29 Qualcomm Incorporated Method and computations for calculating an optical axis vector of an imaged eye
WO2015104870A1 (ja) * 2014-01-08 2015-07-16 三菱電機株式会社 画像生成装置
GB2523356A (en) 2014-02-21 2015-08-26 Tobii Technology Ab Apparatus and method for robust eye/gaze tracking
US9456132B2 (en) * 2014-12-19 2016-09-27 Semiconductor Components Industries, Llc Image sensor system for detection and information processing based on user preferences
US9778814B2 (en) * 2014-12-19 2017-10-03 Microsoft Technology Licensing, Llc Assisted object placement in a three-dimensional visualization system
KR102360424B1 (ko) * 2014-12-24 2022-02-09 삼성전자주식회사 얼굴 검출 방법, 영상 처리 방법, 얼굴 검출 장치 및 이를 포함하는 전자 시스템
JP6185213B2 (ja) * 2015-03-31 2017-08-23 富士フイルム株式会社 撮像装置及び撮像装置の画像処理方法及びプログラム
US9911023B2 (en) * 2015-08-17 2018-03-06 Hand Held Products, Inc. Indicia reader having a filtered multifunction image sensor

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110228097A1 (en) * 2010-03-19 2011-09-22 Pixim Inc. Image Sensor Including Color and Infrared Pixels
US20150373278A1 (en) * 2013-02-08 2015-12-24 Denso Corporation Image processing apparatus
CN105308436A (zh) * 2013-03-25 2016-02-03 索尼公司 方法、系统和介质，该介质上存储有指令以致使处理器执行用于获得生物体的包含一组光学数据的图像信息的方法
WO2016018586A1 (en) * 2014-08-01 2016-02-04 Sri International Imaging sensor and method for color night vision
CN204791017U (zh) * 2015-07-06 2015-11-18 北京中科虹霸科技有限公司 基于多生物特征模态的移动终端用户身份认证装置

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111240464A (zh) * 2018-11-28 2020-06-05 简韶逸 眼球追踪的校正方法和其装置
CN110989166A (zh) * 2019-12-25 2020-04-10 歌尔股份有限公司 一种近眼显示设备的眼球追踪系统及近眼显示设备
US11782268B2 (en) 2019-12-25 2023-10-10 Goertek Inc. Eyeball tracking system for near eye display apparatus, and near eye display apparatus
CN113259608A (zh) * 2020-02-07 2021-08-13 恒景科技股份有限公司 适用于影像感测以及额外侦测的多模式影像感测器

Also Published As

Publication number Publication date
ES2847200T3 (es) 2021-08-02
WO2017177177A1 (en) 2017-10-12
EP3440831A1 (en) 2019-02-13
US20170293799A1 (en) 2017-10-12
US20200160052A1 (en) 2020-05-21
EP3440831B1 (en) 2020-11-18
US11138428B2 (en) 2021-10-05

Similar Documents

Publication Publication Date Title
CN108353137A (zh) 用于基于视觉的人机交互的图像传感器
US11089254B2 (en) Image sensor for vision based on human computer interaction
CN104113688B (zh) 一种图像处理方法及其电子设备
CN105144699B (zh) 阈值监测的有条件重置的图像传感器及其操作方法
US10681296B2 (en) Scaling down pixel sizes in image sensors
US9692968B2 (en) Multi-mode power-efficient light and gesture sensing in image sensors
US20200084407A1 (en) Sensors and systems for the capture of scenes and events in space and time
US20070263099A1 (en) Ambient Light Rejection In Digital Video Images
CN106254785B (zh) 图像传感器及用于改进非可见照明的方法
JP2018170278A (ja) 照明源として構成されるディスプレイデバイス
CN108334204B (zh) 成像装置
CN106331513B (zh) 一种高质量皮肤图像的获取方法及系统
CN105430362B (zh) 成像方法、成像装置及电子装置
JP2016111475A (ja) 画像処理装置、画像処理方法、及び撮像システム
JP6711286B2 (ja) 画像処理装置、画像処理方法、プログラムおよび画像処理システム
CN109461186A (zh) 图像处理方法、装置、计算机可读存储介质和电子设备
EP4022339A1 (en) Phase detection autofocus (pdaf) sensor
WO2017006746A1 (ja) 撮像素子、画像処理方法、および電子機器
CN107809601A (zh) 图像传感器
TWI638334B (zh) 前景影像提取的影像處理方法與電子裝置
US20230156323A1 (en) Imaging apparatus, imaging control method, and program
CN112926367A (zh) 一种活体检测的设备及方法
CN109447925A (zh) 图像处理方法和装置、存储介质、电子设备
CN109040548A (zh) 一种采用背照式超宽紫外cmos传感器的物证成像装置
TWI526112B (zh) 可隨室外環境影像動態變化之照明系統

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20180731

WD01 Invention patent application deemed withdrawn after publication