CN106303306A - 具有单光子雪崩二极管和传感器平移的成像系统，及相关的方法 - Google Patents

具有单光子雪崩二极管和传感器平移的成像系统，及相关的方法 Download PDF

Info

Publication number
CN106303306A
CN106303306A CN201610453384.1A CN201610453384A CN106303306A CN 106303306 A CN106303306 A CN 106303306A CN 201610453384 A CN201610453384 A CN 201610453384A CN 106303306 A CN106303306 A CN 106303306A
Authority
CN
China
Prior art keywords
image
resolution
pixel
photon avalanche
avalanche diode
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201610453384.1A
Other languages
English (en)
Other versions
CN106303306B (zh
Inventor
张博伟
许明恺
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Omnivision Technologies Inc
Original Assignee
Omnivision Technologies Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Omnivision Technologies Inc filed Critical Omnivision Technologies Inc
Publication of CN106303306A publication Critical patent/CN106303306A/zh
Application granted granted Critical
Publication of CN106303306B publication Critical patent/CN106303306B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/76—Addressed sensors, e.g. MOS or CMOS sensors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144—Devices controlled by radiation
    • H01L27/146—Imager structures
    • H01L27/14601—Structural or functional details thereof
    • H01L27/14603—Special geometry or disposition of pixel-elements, address-lines or gate-electrodes
    • H01L27/14605—Structural or functional details relating to the position of the pixel elements, e.g. smaller pixel elements in the center of the imager compared to pixel elements at the periphery
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144—Devices controlled by radiation
    • H01L27/146—Imager structures
    • H01L27/14601—Structural or functional details thereof
    • H01L27/14609—Pixel-elements with integrated switching, control, storage or amplification elements
    • H01L27/1461—Pixel-elements with integrated switching, control, storage or amplification elements characterised by the photosensitive area
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144—Devices controlled by radiation
    • H01L27/146—Imager structures
    • H01L27/14601—Structural or functional details thereof
    • H01L27/14634—Assemblies, i.e. Hybrid structures
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144—Devices controlled by radiation
    • H01L27/146—Imager structures
    • H01L27/14643—Photodiode arrays; MOS imagers
    • H01L27/14645—Colour imagers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • H04N23/11—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths for generating image signals from visible and infrared light wavelengths
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/133—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements including elements passing panchromatic light, e.g. filters passing white light
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/135—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on four or more different wavelength filter elements
    • H04N25/136—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on four or more different wavelength filter elements using complementary colours
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/20—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming only infrared radiation into image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/40—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled
    • H04N25/44—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled by partially reading an SSIS array
    • H04N25/441—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled by partially reading an SSIS array by reading contiguous pixels from selected rows or columns of the array, e.g. interlaced scanning
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/30—Transforming light or analogous information into electric information
    • H04N5/33—Transforming infrared radiation

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Power Engineering (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • General Physics & Mathematics (AREA)
  • Electromagnetism (AREA)
  • Condensed Matter Physics & Semiconductors (AREA)
  • Computer Hardware Design (AREA)
  • Microelectronics & Electronic Packaging (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Theoretical Computer Science (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)
  • Studio Devices (AREA)
  • Solid State Image Pick-Up Elements (AREA)

Abstract

一种具有单光子雪崩二极管(SPADs)和传感器平移的成像系统，用于捕获多个第一图像，促使增强的分辨率的图像的生成，成像系统包括(A)具有SPAD像素的图像传感器，用于分别在图像传感器的多个空间上移位的位置捕获多个第一图像，和(B)致动器，用于将图像传感器平行于它的光接收表面平移，以便将图像传感器放置在多个空间上移位的位置。一种用于捕获多个第一图像的方法，多个第一图像能被组合成增强的分辨率的图像，该方法包括：(A)将图像传感器平行于其光接收表面平移，以便将图像传感器放置在图像传感器的多个空间上移位的位置，和(B)分别在多个空间上移位的位置上，使用实施于图像传感器的像素阵列中的SPAD像素，捕获多个第一图像。

Description

具有单光子雪崩二极管和传感器平移的成像系统，及相关的 方法
技术领域
本发明涉及成像系统，以及相关的方法。
背景技术
单光子雪崩二极管(SPAD)是一种对单光子敏感的固态光检测器。入射到SPAD的单一光子可以产生光诱导的载体，如电子。由于横跨SPAD的相对高的电压偏压，这光所诱导载体会触发二次载体的雪崩而产生雪崩电流脉冲。经由检测雪崩电流脉冲就可检测到入射到SPAD的单一光子。SPAD能确定单光子的到达时间的精度约10-100皮秒。入射到SPAD的光的强度可以从在一段时间检测到的雪崩电流脉冲的速率或雪崩电流脉冲的数目而得到。SPADs对光的敏感通常大于传统的图像传感器，例如电荷耦合装置(CCD)传感器和互补金属氧化物半导体(CMOS)图像传感器。基于SPAD的图像传感器也有突现噪音的限制且即使在高帧率下有良好的信号对噪音比。因此，基于SPAD的图像传感器可以操作于比CCD和CMOS图像传感器更高的帧率下。
超分辨率成像是提高成像系统的分辨率的技艺。在几何超分辨率成像中，图像传感器的分辨率被提高。例如，图像传感器的分辨率可被增强超过图像传感器的实际像素的分辨率。在一种方法中，场景的单一的低分辨率的图像是被后处理，以产生超分辨率图像。这种方法利用个别像素之间的内插值并以大于像素分辨率的分辨率来产生信息。在另一种方法中，场景的几个空间移位的低分辨率图像被组合以产生超分辨率图像。
发明内容
在实施例中，成像系统具有单光子雪崩二极管和传感器平移，用于捕捉多个第一图像，促使场景的增强的分辨率的图像的生成。成像系统包括具有像素阵列的图像传感器，该像素阵列包括单光子雪崩二极管像素，其用于分别在图像传感器的多个空间上移动的位置上捕获多个场景的第一图像。该成像系统还包括致动器，其用于将图像传感器沿着图像传感器的光接收面的平行方向平移，以便将图像传感器放置在多个空间上移位的位置上。
在实施例中，用于捕获多个可组合场景的增强的分辨率的图像的第一图像的方法，其包括：(a)沿着图像传感器的光接收面的平行方向将图像传感器平移，使图像传感器放置在多个空间上移位的位置上；和(b)利用图像传感器的像素阵列的单光子雪崩二极管的像素，分别在多个空间移位的位置上捕获多个场景的第一图像。
附图说明
图1显示根据实施例的具有单光子雪崩二极管(SPADs)和传感器平移的成像系统。
图2显示根据实施例的用于捕获可组合场景的增强的分辨率的图像的方法。
图3显示根据实施例的包括SPAD像素的阵列的SPAD像素阵列。
图4A和4B显示图3的SPAD像素阵列的示例性的平移，以产生多个图像，从中可以产生增强的分辨率的图像。
图5显示根据实施例的包括多个SPAD像素和多个彩色像素组的混合像素阵列。
图6A和6B显示图5的混合像素阵列的示例性的平移，以使用SPAD像素来产生多个图像，从中可以产生增强的分辨率的图像。
图7显示根据实施例的另一种包括多个SPAD像素和多个彩色像素组的混合像素阵列。
图8A和8B显示图7的混合像素阵列的示例性的平移，以使用SPAD像素来产生多个图像，从中可以产生增强的分辨率的图像。
图8C显示彩色像素组的示例性的空间位置，其与图8A和8B所示的图7的混合型的像素阵列的平移相关联。
图9显示根据实施例的包括混合像素阵列的混合图像传感器。
图10显示根据实施例的混合图像传感器，其具有混合的像素阵列且其SPAD像素和彩色像素组可分别读取。
图11显示根据实施例的用于捕获图像的方法，其能执行增强的分辨率的图像和完整的彩色图像两者的组合。
图12显示根据实施例的对彩色敏感的SPAD像素阵列。
图13A和13B显示图12的对彩色敏感的SPAD像素阵列的示例性的平移，以使用SPAD彩色像素组来生成多个彩色图像，从其中可以产生增强的分辨率的图像。
图14显示根据实施例的用于捕获图像的方法，其能执行增强的分辨率的红外线图像和可见的彩色图像两者的组合。
图15显示根据实施例的具有传感器平移功能的成像系统。
图16显示根据实施例的具有传感器平移功能的另一个成像系统。
图17显示根据实施例的具有传感器平移功能的又另一个成像系统。
图18显示根据实施例的具有凸轮致动的传感器平移的成像系统。
具体实施方式
图1显示具有单光子雪崩二极管(SPADs)和传感器平移的示例性的成像系统100。成像系统100结合SPADs与传感器平移来提供传统的图像传感器无法实现的成像能力，该传统的图像传感器有如传统的电荷耦合装置(CCD)传感器和传统的互补金属氧化物半导体(CMOS)图像传感器。
成像系统100包括图像传感器110和致动器130，该致动器130可平移图像传感器110而使图像传感器110放置在多个空间上移位的位置上。图像传感器110包括具有多个感光像素122的感光像素阵列120，至少一些像素122是SPAD像素。此处，“SPAD像素”指包括用于检测光的SPAD的图像传感器像素。为了说明的清楚起见，不是所有的像素122被标记在图1中。在图中所示的情形，图像传感器110从场景190捕获入射在图像传感器110的光接收面112的光的图像。选择性地，成像系统100包括成像物镜150，其可使场景190成像到光接收表面112。虽然图1显示的是一个单一的透镜，成像物镜150可以包括多个透镜和/或一个或多个其它光学组件，如本领域中已知的，或者成像物镜150可以是无透镜的成像物镜，其不脱离本发明的范围。在一个实施例中，图像传感器110包括与像素阵列120耦合的电路140，用以从像素阵列120读取信号，以便输出图像180。
致动器130被配置用来将图像传感器110平行于光接收表面112平移。图1显示图像传感器110沿方向135的平移。然而，致动器130可以被配置用来在其它方向平移图像传感器110。该方向为平行于光接收表面112，并具有正交于图1的平面的分量。在一个实施例中，致动器130被配置用来平移图像传感器110，其沿着(a)方向135和(b)平行于光接收表面112且垂直于方向135的方向。在另一个实施例中，致动器130被配置用来平移图像传感器110，其沿着两个非平行方向，这两者都平行于光接收表面112。
在一个实施例中，成像系统100包括控制模块160，其控制着(a)经由致动器130的图像传感器110的平移，和(b)经由图像传感器110的图像采集或图像读取。控制模块160可以与电路140合作来控制图像的采集或经由传感器110的读取。选择性地，控制模块160，或至少其一部分，被实施于图像传感器110内，例如，与电路140集成制成。在一个实施例中，成像系统100包括处理模块170，其可处理图像180以组合增强的分辨率的图像185。处理模块170可以利用本领域中已知的方法。在一个实施中，处理模块170被实施于图像传感器110内，例如，与电路140集成制成。在另一个实施中，处理模块170被实施于处理模块170在图像传感器110的外部的计算器系统中。
本文中，“分辨率”(“resolution”)指像素阵列或图像的像素的分辨率。在一个实例中，像素阵列以及由像素阵列所捕获的图像180的分辨率，是800×600，而从多个这样的图像180所组成的增强的分辨率的图像185可具有分辨率1600×1200。
SPADs对光很敏感，其操作于光子计数体系而不同于光集成方式，且至少接近突现噪音限制。SPAD的读取比传统的CCD或CMOS图像传感器的像素的读取快得多。在示例性的比较中，传统的CCD或CMOS图像传感器操作于每秒约30至60帧的帧率，而在相同的条件下，基于SPAD的图像传感器可操作于每秒超过10000帧的帧率。因此，相对于传统的CCD和CMOS的图像传感器，SPADs更适合在高的帧率的低光成像和/或图像捕获。SPADs还提供光检测的精确的定时，因此，非常适用于飞行时间成像，例如，如利用基于飞行时间的三维成像。
在低光的情况下或在成像运动物体时，与传统的CCD和CMOS图像传感器有关的相对较低的帧率排除了多图像组成超分辨率图像的捕获。然而，由于成像系统100利用SPADs，即使在相对低光的条件，成像系统100可以以高的帧率捕获图像180。因此，成像系统100可应用超高分辨率成像于低光的情况及移动的物体上。
SPAD像素往往比传统的CCD或CMOS图像传感器的像素大。由于这个原因，基于SPAD的飞行时间的图像传感器(例如那些用于基于飞行时间的三维成像)一般具有比传统的CCD和CMOS图像传感器较低的分辨率。成像系统100利用基于传感器平移的超分辨率成像来克服这个问题，并由此促使高空间分辨率的飞行时间成像。
图2显示用于捕获图像的一个示例性的方法200，其能组合场景的增强的分辨率的图像。方法200由例如成像系统100所执行。
在步骤210中，方法200使用具有SPAD像素的图像传感器捕获场景的多个图像。步骤210包括步骤212和214。在步骤212中，方法200平移图像传感器，将图像传感器放置在多个空间上移位的位置上。在一个实施例中，空间上移位的位置包括彼此的相对移动小于图像传感器的相邻像素之间的中心到中心的距离。在步骤214中，方法200捕获在步骤212中所达到的空间上移位的各个位置的场景的第一图像。在步骤212和214的一个例子中，致动器130在平行于光接收面112的一个或多个方向上平移图像传感器110，以便将图像传感器110放置在多个空间上移位的位置上。在各个这些空间上移位的位置上，图像传感器110捕捉场景190的图像180。选择性地，控制模块160控制致动器130的平移和图像传感器110的图像捕获，如上面参考图1的讨论。
在某些实施例中，方法200还包括步骤220，其从在步骤214中所捕获的第一图像组合增强的分辨率的图像，其中增强的分辨率的图像具有的分辨率大于各个第一图像的分辨率。在步骤220的一个例子中，处理模块170处理在步骤214中所捕获的场景190的多个图像180，以组合场景190的增强的高分辨率的图像185。
在一个实施例中，方法200包括重复包含步骤210和220的步骤230，以产生增强的高分辨率图像流，例如场景190的增强的分辨率的图像185流。在替代的实施例中，步骤230省略步骤220，并产生在步骤214中所捕获的场景的第一图像流，由此场景的第一图像流可生成增强的分辨率的图像流。在图1中所示的情形，场景190是沿方向195移动的手。步骤230可以产生或使能产生，移动的手的增强的分辨率的图像185流，以促进手势识别。
图3显示一个示例性的包括SPAD像素310的SPAD像素阵列300。SPAD像素阵列300是像素阵列120的实施例，并且每一个SPAD像素310是像素122的实施例。每一个SPAD像素310例如对红外光敏感。当SPAD像素阵列300被实施于传感器110中作为像素阵列120，图3显示从场景190来看的SPAD像素阵列300。在不脱离本发明的范围下，SPAD像素阵列300可以包括比图3所显示的更多或更少的SPAD像素310。
图4A和4B显示SPAD像素阵列300的示例性的平移，以生成多个场景190的图像180，从中可以产生增强的分辨率的图像185。图4A和4B显示方法200的步骤212所执行的平移的实施例。图4A显示具有3×3SPAD像素阵列310的像素阵列300。各个SPAD像素310由它的轮廓及其中心的黑点来表示。为了说明的清楚起见，不是所有的SPAD像素310被标记在图4A中。SPAD像素310被放置在具有网格的间隔450的规则的网格上，网格间距450是在，例如，1至20微米之间的范围。虽然显示在图3和图4A为正方形，SPAD像素310可以具有不是方形的其它形状而不脱离本发明的范围。例如，每一个SPAD像素310可以是非正方形的矩形。一个SPAD像素310(i)在中心位置410上。图4B显示，在致动器130平移具有像素阵列120的图像传感器110时，所得到的SPAD像素阵列300的3×3的部分的示例性空间移位的位置，该像素阵列120被实施作为SPAD像素阵列300。图4A和4B最好被一起参阅。
在图4B中所示的示例性的平移中，SPAD像素阵列300被放置在四个不同的位置上。初始位置的特征在于SPAD像素310(i)位在位置410上。第二位置被移动到第一位置的右边一段距离460，并用虚线圆表示。第二位置的特征在于SPAD像素310(i)位于位置410'上。第三位置被移动到第二位置的上面一段距离460，并用阴影圆表示。第三位置的特征在于SPAD像素310(i)位于位置410″上。第四位置被移动到第三位置的左边一段距离460，并用实线圆表示。第四位置的特征在于SPAD像素310(i)位于位置410″'上。在一个例子中，距离460小于网格间距450，如此使得增强的分辨率的图像185的分辨率大于SPAD像素阵列300的分辨率。在另一个例子中，距离460是网格的间隔450的一半，如此使得在这四个位置上所捕获的图像180可以经由例如处理模块170来处理，以组合成增强的分辨率的图像185，该图像185的个别图像180的每一个图像像素具有四个均匀分布的图像像素。在此例子中，相比于个别的图像180，增强的分辨率的图像185的分辨率在增强的分辨率的图像185的每一个正交尺寸中被加倍。
在不脱离本发明的范围下，致动器130可以以不同的顺序将以SPAD像素阵列300实施的图像传感器110平移到位置410、410'、410″及410″'上。也在不脱离本发明的范围的前提下，致动器130可以将以SPAD像素阵列300实施的图像传感器110放置在空间上更偏移的位置上，以促使产生增强的分辨率的图像185的分辨率更大于从图4B所示的例子所得到的分辨率。例如，致动器130可以将以SPAD像素阵列300实施的图像传感器110放置在九个不同的位置上，各位置与其近邻位置分开距离460，距离460是网格的间距450的三分之一。这个例子可促使产生增强的分辨率的图像185，该图像185的个别图像的每一个图像像素具有九个均匀分布的图像像素。在此例子中，相比于个别的图像180，增强的分辨率的图像185的分辨率在增强的分辨率的图像185的每一个正交尺寸中被增强了三倍。
图5显示一个示例性混合像素阵列500，其包括多个SPAD像素510和多个设置在规则网格上的彩色像素组520。SPAD像素510均匀地分布在整个混合像素阵列500中，每八个彩色像素组520中有一个SPAD像素510。混合像素阵列500被布置为3×3单元的相邻区块，每一个单元由一个SPAD像素510，或一个彩色像素组520所占据，其中每一个区块包括正好一个SPAD像素510。每一个SPAD像素510对例如红外光敏感。混合像素阵列500是像素阵列120的实施例。图5显示，当混合像素阵列500实施于图像传感器110中作为像素阵列120时，从场景190看到的混合像素阵列500。在不脱离本发明的范围下，混合像素阵列500可以大于图5中所示的且包括多于图5中所示的SPAD像素510，同时维持每八个彩色像素组520有一个SPAD510像素。
每一个彩色像素组520包括多个彩色像素。在图5所示的例子中，每一个彩色像素组520包括(a)主要对红光敏感的红色彩色像素522，(b))主要对绿光敏感的两个绿色彩色像素524和526，和(c)主要对蓝光敏感的蓝色彩色像素528。然而，在不脱离本发明的范围的前提下，彩色像素组520可以有不同的配置。例如，每一个彩色像素组520可以根据RGBE(红，绿，蓝，和翠绿)的图案，CYGM(青，黄，绿，品红)的图案，RGBW(红，绿，蓝，和白)的图案，或本领域中已知的其它图案来配置。彩色像素522、524、526和528可以是传统的像素，诸如CMOS或CCD像素。
当混合像素阵列500被实施于图像传感器110中，图像传感器110可以使用SPAD像素510来捕获单色图像，并使用彩色像素组520来捕获彩色图像。用SPAD像素510所捕获的单色图像所具有的分辨率低于混合像素阵列500的全分辨率，其中全分辨率系指SPAD像素510和彩色像素组520二者都被考虑进来的分辨率。然而，致动器130可以将以混合像素阵列500执行的图像传感器110平移而使混合像素阵列500放置到多个空间上移位的位置上，并由此能产生比混合像素阵列500内的SPAD像素510的分辨率更高的分辨率的单色图像。
图6A和6B显示混合像素阵列500的示例性的例子，用来使用SPAD像素510以产生场景190的多个的图像180，从其中可以产生增强的分辨率的图像185。图6A和6B显示在方法200的步骤212中所执行的平移的实施例。图6A显示具有2×2SPAD像素510的混合像素阵列500。每一个SPAD像素510由它的轮廓及中心黑点来表示。为了说明的清楚起见，不是所有的SPAD像素510被标记在图6A中。虽然显示于图5和图6A的是正方形，SPAD像素510和彩色像素组520可以具有不是方形的其它形状而不脱离本发明的范围。例如，每一个SPAD像素510和每一个彩色像素组520可以是一个非正方形的矩形。每一个SPAD像素510离开其近邻SPAD像素510有一距离655。距离655在例如1至20微米之间的范围内。一个SPAD像素510(i)位于中心位置61上。图6B显示2×2SPAD像素510在致动器130平移图像传感器110时所得到的示例性的空间移位的位置，图像传感器110具有实施为混合像素阵列500的像素阵列120。图6A和6B最好被一起参阅。
在图6B所示的示例性的平移中，混合像素阵列500被放置在四个不同的位置上。初始位置的特征在于SPAD像素510(i)位在位置610上，第二位置被移动到第一位置的右边一段距离660，并用虚线圆表示。第二位置的特征在于SPAD像素510(i)位在位置610'上。第三位置被移动到第二位置的上面一段距离660，并用阴影圆表示。第三位置的特征在于SPAD像素510(i)在位置610″上。第四位置被移动到第三位置的左边一段距离660，并用实线圆表示。第四位置的特征在于SPAD像素510(i)位在位置610″'上。在一个例子中，距离660是距离655的一半。在该例子中，使用SPAD像素510在这四个位置上所捕获的图像180，可以经由例如处理模块170来处理，以组合成增强的分辨率的图像185，该图像185的混合像素阵列500的每一个SPAD像素510具有四个均匀分布的图像像素。在该例子中，相比于混合像素阵列500中的SPAD像素510的分辨率，基于SPAD像素510产生的信号所生成的增强的高分辨率图像185的分辨率，在增强的高分辨率图像185的每一个正交的维度中被加倍。
在不脱离本发明的范围下，致动器130可以以不同的顺序将以SPAD像素阵列300实施的图像传感器110平移到位置610、610'、610″及610″'上。也在不脱离本发明的范围的前提下，致动器130可以将以混合像素阵列500实施的图像传感器110放置在空间上更偏移的位置上，以促使产生增强的分辨率的图像185的分辨率更大于从图6B所示的例子所得到的分辨率。例如，致动器130可以将以混合像素阵列500实施的图像传感器110放置在九个不同的位置上，各位置与其近邻位置分开距离660，距离660是网格间距655的三分之一。这个例子，可基于SPAD像素510所产生的信号来促使增强的分辨率的图像185的组合，混合像素阵列500中的各个SPAD像素510具有九个均匀分布的图像像素。在此例子中，相比于混合像素阵列500中的SPAD像素510的分辨率，基于SPAD像素510所产生的信号的增强的分辨率的图像185，其分辨率在增强的分辨率的图像185的每一个正交尺寸中被增强了三倍。这将导致增强的分辨率的图像185的分辨率可匹配于考虑到SPAD像素510和彩色像素组520时的混合像素阵列500的全分辨率。
图7显示一个示例性的包括多个SPAD像素510和多个设置在规则网格的彩色像素组520的混合像素阵列700。混合像素阵列700类似于混合像素阵列500，不同之处在于混合像素阵列700中每三个彩色像素组520有一个SPAD像素510。混合像素阵列700被布置为2×2单元的相邻的区块。每一个单元由一个SPAD像素510或一个彩色像素组520所占据，其中每一个区块包括正好一个SPAD像素510。混合像素阵列500是像素阵列120的实施例。图7显示，当混合像素阵列700被实施于图像传感器110中作为像素阵列120时，从场景190所看到的混合像素阵列700。在不脱离本发明的范围下，混合像素阵列700可大于图7所显示的，且包括的SPAD像素510多于图7所显示的，同时维持每三个彩色像素组520有一个SPAD像素510。
当混合像素阵列700被实施于图像传感器110中，图像传感器110可以使用SPAD像素510捕获单色图像，并使用彩色像素组520捕获彩色图像。使用SPAD像素510所捕获的单色图像的分辨率低于混合像素阵列700的全分辨率，其中全分辨率系指考虑进来SPAD像素510和彩色像素组520二者的分辨率。然而，致动器130可以平移以混合像素阵列700实施的图像传感器110，而将混合像素阵列700放置到多个空间上移位的位置上，并由此促使单色图像的产生，单色图像的分辨率大于混合像素阵列700中的SPAD像素510的分辨率。
图8A和8B显示混合像素阵列700的示例性的平移，用以使用SPAD像素510来产生场景190的多个图像180，从其中可以产生增强的分辨率的图像185。图8A和8B显示在方法200的步骤212中所执行的平移的实施例。图8A显示具有2×2SPAD像素510的混合像素阵列700的一部分。每一个SPAD像素510由它的轮廓和其中心黑点来表示。为了说明的清楚起见，不是所有的SPAD像素510被标记在图8A中。SPAD像素510和彩色像素组520被放置在具有栅格间距850的规则网格上。栅格间距850在例如1至20微米之间的范围内。一个SPAD像素510(i)位在中心位置810。图8B显示2×2SPAD像素510的示例性的空间位移的位置，其在致动器130平移图像传感器110时所得到的，传感器110具有以像素阵列120用作为混合像素阵列700。图8A和8B最好一起被参阅。
在图8B中所示的示例性的平移中，混合像素阵列700放置在四个不同的位置上。初始位置的特征在于SPAD像素510(i)位于位置810。第二位置被移动到第一位置的右边且有网格间隔850，并用虚线圆表示。第二位置的特征在于SPAD像素510(i)位于位置810'上。第三位置被移动到第二位置的上面且有网格间隔850，并用阴影圆表示。第三位置的特征在于SPAD像素510(i)位于位置810″上。第四位置被移动到第三位置的左边且有网格间隔850，并用实线圆表示。第四位置的特征在于SPAD像素510(i)位于位置810″'上。使用SPAD像素510在这四个位置上所捕获的图像180，可通过例如处理模块170进行处理，以组合成增强的分辨率的图像185，混合像素阵列700的每一个SPAD像素510具有四个均匀分布的图像像素。在此例子中，基于SPAD像素510产生的信号所组成的增强的高分辨率的图像185，其分辨率相匹配于同时考虑到SPAD像素510和彩色像素组520的混合像素阵列700的全分辨率。
在不脱离本发明的范围的情况下，致动器130可以以不同的顺序来平移以混合像素阵列700执行的图像传感器110，使其移到以位置810、810'、810″及810″'上。也在不脱离本发明的范围的前提下，致动器130可以平移以混合像素阵列700执行的图像传感器110，将图像传感器110放置在空间上更偏移的位置，以促使增强的分辨率的图像185的产生，图像185的分辨率大于图8B从所示的例子的分辨率。
图8C显示与图8A和8B所示的混合像素阵列700的平移相关联的彩色像素组520的示例性的空间位置。在图8C中，彩色像素组的位置以一个黑色方形来表示。在初始情况下，对应于图8A的SPAD像素510(i)位于中心位置810时，一个示例性的彩色像素组520(i)位于中心位置820上。当混合像素阵列被平移到右边一个网格间距850(对应于图8A的SPAD像素510(i)的从位置810到位置810'的平移)，彩色像素组520(i)从位置820被平移到位置810。因此，先前由SPAD像素510(i)所占据的位置，现在由彩色像素组520(i)所占据。它遵循图8A和8B所示的混合像素阵列700的平移确保了，图8B所示的空间上移位的位置的一个中的SPAD像素510所占据的各个像素位置，由至少一个的其它的这些空间上移位的位置中的一个中的彩色像素组520所占据。
该相同的结果可经由，将混合像素阵列500向右平移一段距离660来实现，其中，距离660是距离655的三分之一。因此，混合像素阵列500和700的每一个都与平移的方案兼容，其中，被空间上移位的位置中的一个的SPAD像素510所占据的各个像素的位置，可被在这些空间上移位的位置中的至少一个其它的位置中的彩色像素组520所占据。在至少一些的这些空间上移位的位置并使用彩色像素组520所捕获的图像组，可以组合成场景190的完整的彩色图像，其没有与SPAD像素510相关联的间隙。
图9显示图像传感器110的一个实施例的示例性的混合图像传感器910。图像传感器110包括混合像素阵列920和电路140。混合像素阵列920是像素阵列120的实施例，并包括多个SPAD像素510和多个彩色像素组520。SPAD像素510穿插在彩色像素组520中，虽然图9显示混合像素阵列920包括三个SPAD像素510和三个彩色像素组520，混合像素阵列920可以包括不同数量的SPAD像素510和不同数量的彩色像素组520，而不脱离本发明的范围。在一个实施例中，混合像素阵列920是混合像素阵列500。在另一个实施例中，混合像素阵列920是混合像素阵列700。
混合像素阵列920被如此配置，使得混合像素阵列920可以经由致动器130被平移，如参考图1时所讨论的，可将混合像素阵列920放置在(a)捕获相应的多个图像180的多个第一空间上移位的位置上，以促使基于SPAD像素510所产生的信号的增强的分辨率的图像185能够被组合，和(b)使用彩色像素组520来捕获相应的多个彩色图像的多个空间上移位的第二位置上，以促使没有与SPAD像素510有关联的间隙的完整的彩色图像能够被组合。多个在空间上移位的第二位置是如此使得被在空间上移位的第二位置中的一个的SPAD像素510所占据的各个像素位置，由至少一个其它的空间上移位的第二位置中的一个的彩色像素组520所占据。完整的彩色图像的组合可以由处理模块170来执行。
在一个实施例中，多个空间上移位的第二位置是多个第一空间上移位的位置中的子集。在本实施例中，电路140可以生成包括来自SPAD像素510的信号和来自彩色像素组520的信号所组合的图像180，使得处理模块170可以组合成增强的分辨率的图像185，及来自这些组合图像的完整的彩色图像。在另一个实施例中，多个空间上移位的第二位置相同于多个第一空间上移位的位置。而且，在本实施例中，电路140可以生成包括来自SPAD像素510的信号和来自彩色像素组520的信号所组合成的图像180，使得处理模块170可以组合成增强的分辨率的图像185，及来自这些组合成图像的完整的彩色图像。在另一个实施例中，至少一个空间上移位的第二位置不同于第一空间上移位的位置的每一个。在本实施例中，电路140可生成个别的图像集，用于组合成每一个(a)基于SPAD像素510所产生的信号的增强的分辨率的图像185，和(b)基于彩色像素组520所产生的信号的完整的彩色图像。
图10显示一个具有混合像素阵列1060以及个别读取的像素510和彩色像素组520的示例性的混合图像传感器1000。图10显示混合图像传感器1000的横截面侧视图，其中横截面是垂直于混合图像传感器1000光接收面的平面。混合像素阵列1060是混合像素阵列920的实施例，以及混合图像传感器1000是图像传感器110的实施例。混合像素阵列1060可以是混合像素阵列500或混合像素阵列700。
混合像素阵列1060包括多个SPAD像素510和多个彩色像素组520。为了清楚地说明，只有关联于混合像素阵列1060的一部分的混合图像传感器1000的一部分被显示于图10中。本特定部分包括两个属于两个不同的彩色像素组520的彩色像素524，两个属于两个不同的彩色像素组520的彩色像素528，以及一个SPAD像素510。两个彩色像素组520的彩色像素522和526位于图10所示的横截面之外。在图10所示的实施中。每一个彩色像素524包括光电二极管1020，彩色滤光片1022，和选择性的微透镜1026；每一个彩色像素528包括光电二极管1020，彩色滤光片1024，和选择性的微透镜1026；每一个SPAD像素510包括SPAD 1010和选择性的彩色滤光片1012和微透镜1016的一个或两个。彩色滤光片1012被构造成用来传导例如红外光。
混合图像传感器1000包括第一晶粒1070和第二晶粒1080。第一晶粒1070包括混合像素阵列1060和电路1030。电路1030被连接到每一个彩色像素组520的彩色像素522、524、526和528，用来读取彩色像素组520的信号，并输出基于彩色像素520所产生的信号的彩色图像。第二晶粒1080包括基板1050，各个SPADs 1010的SPAD读取电路，及连接层1040。对于各个SPAD 1010，混合图像传感器1000还包括连接SPAD 1010到相应的SPAD读取电路1052的键结1014。SPAD读取电路1052分别读取SPADs 1010的信号，而连接层1040处理来自SPAD读取电路1052的读取信号，以输出图像180。电路1030，连接层1040，和SPAD读取电路1052合作以形成电路140的实施例。
个别的SPAD像素510和彩色像素组520使混合图像传感器1000能执行SPAD像素510的读取的帧率大于彩色像素组520的读取的帧率。由此，个别的SPAD像素510和彩色像素组520的读取能够利用SPADS 1010的高的帧率能力，而不被与彩色像素组520的读取相关联的较慢的帧率所限制。
图11显示一个示例性方法1100，其用于捕获能够组合场景的增强的分辨率的图像和完整的彩色图像两者的图像。方法1100是方法200的延伸。方法1100可以以混合像素阵列920实施的成像系统100来执行。
在步骤1110中，方法1100使用具有SPAD像素和彩色像素组两者的混合图像传感器来捕获场景的多个图像。步骤1110包括步骤212和214，其中步骤214使用混合图像传感器的SPAD像素来执行。在步骤212和214的一个例子中，如在方法1100中所实施的，致动器130平移以混合像素阵列920实施的图像传感器110，以将混合像素阵列920放置在多个空间上移位的第一位置上。在各个这些空间移位的第一位置上，图像传感器110使用混合像素阵列920的SPAD像素510来捕获场景190的图像180。在该例子中，混合像素阵列920可以是混合像素阵列500且步骤212可以包括如图6A和6B所示的平移，或混合像素阵列920可以是混合像素阵列700且步骤212可以包括如图8A和8B所示的平移。
步骤1110还包括步骤1112，其使用混合图像传感器的彩色图像组来捕获至少一个彩色图像。步骤1110可以使用混合像素阵列500或混合像素阵列700来执行。
在一个实施例中，步骤1112以单一的第二位置的图像传感器来捕获单一的彩色图像。第二位置可以是步骤212中的多个空间移位的第一位置中的一个，或第二位置可以不同于多个空间上移位的第一位置中的每一个。在此步骤1112的实施例的一个例子中，以混合像素阵列920实施的图像传感器110使用彩色像素组520来捕获场景190的彩色图像。
在另一个实施例中，步骤1112包括步骤1114，其平移混合图像传感器，其平移的方向平行于混合图像传感器的光接收表面，用来将混合图像传感器放置在多个空间移位的第二位置上，使得步骤1112在多个空间移位的第二位置上分别捕获多个彩色图像。单一个的第二位置可以是步骤212中的多个空间移位的第一位置中的一个。多个空间上移位的第二位置可以如上面参考图9所讨论的有关于多个空间上移位的第一位置。在本实施例的一个例子中，致动器130平移以混合像素阵列920实施的图像传感器110，以便将混合像素阵列920放置在多个空间上移位的第二位置上。在各个这些空间移位的第二位置上，图像传感器110使用混合像素阵列920的彩色像素组520来捕获场景190的彩色图像。在本例中，混合像素阵列920可以是混合像素阵列500。另外，在本例中，步骤1114可以包括平移，其确保在多个空间移位的第二位置中的一个的SPAD像素510所占据的各个像素的位置，是由在至少一个其它的多个空间移位的第二位置中的一个的彩色像素组520所占据，例如，如图9的所示。
在一个实施例中，步骤1110使用具有个别读取的SPAD像素和彩色像素组的图像传感器，使得方法1100可以在步骤214中执行图像的捕获，其帧率大于在步骤1112中执行的图像捕获的帧率。在本实例的一个例子中，步骤1110使用混合图像传感器1000。
在某些实施例中，方法1100包括步骤220，用以组合成基于在多个空间移位的第一位置的SPAD像素所产生的信号的增强的分辨率的图像185。在步骤220的一个例子中，处理模块170组合成增强的分辨率的图像185。
选择性地，方法1100包括步骤1112，其从在步骤1112中所捕获的至少一个彩色图像来组合成场景的完整的彩色图像。此完整的彩色图像没有与SPAD像素510相关联的间隙。步骤1120由例如处理模块170来执行。在一个实施例中，步骤1120包括步骤1112，其使用分别在多个空间移位的第二位置上所获取的彩色图像，以组合成完整的彩色图像。在本实施例中，空间移位的第二位置是如此，使得被多个空间移位的第二位置中的一个的SPAD像素所占据的各个像素位置，被至少一个其它的多个空间移位的第二位置中的一个的彩色像素组所占据。在另一个实施例中，步骤1120包括步骤1124，其组合成仅基于在步骤1112中所捕获的单个彩色图像的完整的彩色图像。步骤1124使用对应于彩色像素组的彩色图像像素之间的内插值以决定对应于SPAD像素的彩色图像像素的值。
在实施例中，方法1100包括步骤1130，其输出在步骤1112中所捕获的彩色图像。在步骤1130的一个例子中，以混合像素阵列920实施的图像传感器110输出使用彩色像素组520所捕获的彩色图像。
尽管在图11中未显示出，方法1100可重复进行，以产生或促使产生增强的分辨率的图像流，完整的彩色图像，和/或捕获的彩色图像，而不脱离本发明的范围。
图12显示一个示例性的对彩色敏感的SPAD像素阵列1200，其是像素阵列120的一个实施例。对彩色敏感的SPAD像素阵列1200包括多个SPAD彩色像素组1210。各个SPAD彩色像素组1210包括多个对相应的多个颜色敏感的颜色特定的SPAD像素1212、1214、1216和1218。在图12所示的例子中，颜色特定的SPAD像素1212、1214、1216和1218主要分别对红、绿、蓝和红外光敏感。然而，特定颜色的SPAD像素1212、1214、1216和1218可以具有其它颜色的敏感性而不脱离本发明的范围。同样地，颜色敏感的SPAD像素阵列1200可以包括比图12所示更少或更多的SPAD彩色像素组1210。
图13A和13B显示对彩色敏感的SPAD像素阵列1200的示例性的平移，并使用SPAD彩色像素组1210，用以生成场景190的多个彩色图像180，从其中可产生增强的分辨率的图像185。图13A和13B显示在方法200的步骤212中所执行的平移的一个实施例。图13A显示具有对彩色敏感的3×3SPAD彩色像素组1210的SPAD像素阵列1200。各个SPAD彩色像素组1210由其轮廓及在特定颜色的SPAD像素1218的中心黑点来表示。为了清楚地说明，并不是所有的SPAD颜色像素组1210，及不是所有的特定颜色的SPAD像素1212、1214、1216和1218被标记在图13A中。虽然显示于图12和13A中的是正方形，但SPAD彩色像素组1210和特定颜色的SPAD像素1212、1214、1216和1218可以具有不是方形的其它形状而不脱离本发明的范围。例如，各个SPAD彩色像素组1210和各个特定颜色的SPAD像素1212、1214、1216和1218可以是一个非正方形的矩形。各个特定颜色的SPAD像素离开它最近的特定颜色的SPAD像素一段距离1250。距离1250是在例如1至20微米之间的范围内。一个SPAD彩色像素组1210(i)被如此定位，使得相关联的特定颜色的SPAD像素1218位在中心位置1228。图13B显示3×3SPAD彩色像素组1210的示例性的空间移位的位置，其如在致动器130平移以像素阵列120实施作为对彩色敏感的SPAD像素阵列1200的图像传感器110时之所获得的。图13A和13B最好被一起参阅。
在图13B所示的示例性的平移中，对彩色敏感的SPAD像素阵列1200被放置在四个不同的位置上。初始位置的特征在于一个特定颜色的SPAD像素1218(i)位在位置1228上。第二位置被移到第一位置上面一段距离1250，并用虚线圆表示。第二位置的特征在于特定颜色的SPAD像素1218(i)位在位置1228'上。第三位置被移到第二位置左边一段距离1250，并用阴影圆表示。第三位置的特征在于特定颜色的SPAD像素1218(i)位在位置1228″上。第四位置被移到第三位置下面一段距离1250，并用实线圆表示。第四位置的特征在于特定颜色的SPAD像素1218(i)位在位置1228″'上。
在这四个位置上使用SPAD彩色像素组1210所捕获的彩色图像180，可以以例如处理模块170来进行处理，以组合成增强的分辨率的图像185，在对彩色敏感的SPAD像素阵列1200中的各个SPAD彩色像素组1210具有四个均匀分布的彩色图像像素。因此，基于SPAD彩色像素组1210产生的增强的分辨率的图像185的分辨率，相比于彩色敏感的SPAD像素阵列1200中的SPAD彩色像素组1210的分辨率，在各个正交尺寸的增强的分辨率的图像185中被加倍。可替代地，使用SPAD彩色像素组1210在这四个位置上所捕获的彩色图像180，可以以处理模块170来进行处理，以组合成(a)基于特定颜色的SPAD像素1218产生的信号的红外光图像，相比于彩色敏感的SPAD像素阵列1200中的彩色敏感的SPAD彩色像素组1210的分辨率，该特定颜色的SPAD像素1218有双倍的分辨率，及(b)基于特定颜色的SPAD像素1212、1214和1216所产生的信号的可见的彩色图像。此可见的彩色图像可以是使用特定颜色的SPAD像素1212、1214和1216所捕获的单一的可见的彩色图像，或由使用特定颜色的SPAD像素1212、1214和1216在图13B中所示的四个空间上移位的位置上所捕获的图像所组合成的增强的分辨率的可见的彩色图像。
在不脱离本发明范围的情况下，致动器130可以以不同的顺序将以彩色敏感的SPAD像素阵列1200实施的图像传感器110平移到位置1228、1228'、1228″和1228″'上。也在不脱离本发明的范围的前提下，致动器130可以将以彩色敏感的SPAD像素阵列1200实施的图像传感器110放置在空间上更偏移的位置上，以促使增强的分辨率的图像185的产生，增强的分辨率的图像185的分辨率甚至高于从13B所示的例子所得到的分辨率。
图14显示用于捕获图像的一个示例性的方法1400，这些图像可促使场景的增强的分辨率的红外光图像和可见的彩色图像两者的组合。方法1100是方法200的实施例，其使用彩色敏感的SPAD像素阵列。方法1100可以以彩色敏感的SPAD像素阵列1200实施的成像系统100来执行。
在步骤1410中，方法1400使用具有彩色敏感的SPAD像素阵列的彩色图像传感器来捕获场景的多个图像。彩色敏感的SPAD像素阵列包括多个SPAD彩色像素组。各个SPAD彩色像素组具有(a)至少一个对红外光敏感的SPAD像素，以及(b)对多个不同颜色的可见光敏感的多个SPAD像素。步骤1410包括步骤1412、1414和1416。
在步骤1412中，彩色图像传感器被平移而放置在多个空间上移位的位置上。步骤1412是步骤212的一个实施例。步骤1412将图像传感器平移，使得在空间上移位的位置中的一个被对可见光敏感的SPAD像素所占用的各个像素位置，在至少一个其它的一个在空间上移位的位置，被对红外光敏感的SPAD像素所占用。在步骤1412的一个例子中，致动器130平移以彩色敏感的SPAD像素阵列1200实施的图像传感器110，以便将彩色敏感的SPAD像素阵列1200放置在多个图13B所示的空间上移位的位置上。
步骤1414使用对红外光敏感的SPAD像素来捕获在步骤1412中达到的各个空间上移位的位置的场景的第一红外线(IR)的图像。在步骤1414的一个例子中，以彩色敏感的SPAD像素阵列1200实施的图像传感器110，在图13B所示的各个空间上移位的位置上，使用特定颜色的SPAD像素1218来捕获场景190的第一红外线的图像。
步骤1416使用对可见光敏感的SPAD像素来捕获在步骤1412中达到的一个或多个空间上移位的位置上的场景的可见的彩色图像。在步骤1416的一个例子中，以彩色敏感的SPAD像素阵列1200实施的图像传感器110，在图13B所示的一个或多个空间上移位的位置上，使用特定颜色的SPAD像素1212、1214、1216来捕获场景190的可见的彩色图像。
在一个实施例中，方法1400同时执行步骤1414和1416，使得步骤1410捕获在步骤1412中达到的各个空间上移位的位置上的彩色图像，其中各个彩色图像是使用对红外光敏感的SPAD像素及对可见光敏感的SPAD像素二者来捕获。在本实施例中，步骤1410包括处理这些彩色图像，以产生个别的红外线图像和可见的彩色图像，它们分别被对红外线敏感的SPAD像素和对可见光敏感的SPAD像素生成的信号所形成。
在某些实施例中，方法1100包括步骤1420，用以组合成基于在步骤1414中捕获的第一红外线图像所生成的信号的增强的分辨率的红外线图像185。在步骤1420的一个例子中，处理模块170组合成增强的分辨率的红外线图像185。
在一个实施例中，方法1400包括步骤1430，其输出在步骤1416中所捕获的可见的彩色图像。在步骤1430的一个例子中，以彩色敏感的SPAD像素阵列1200实施的图像传感器110，来输出在步骤1416中所捕获的可见的彩色图像。
在另一个实施例中，方法1400包括步骤1440，其组合成基于分别在至少两个空间上移位的位置上在步骤1416中所捕获的至少两个可见的彩色图像的增强的分辨率的可见的彩色图像185。在步骤1440的一个例子中，处理模块170组合成成增强的分辨率的可见的彩色图像185。
虽然在14图中未显示出，方法1400可以重复进行，以产生或促使一连串的增强的分辨率的红外线图像，增强的分辨率的可见的彩色图像，和/或捕获的可见的彩色图像的生成，而不脱离本发明的范围。
图15说明了一个示例性的具有平移功能的传感器的成像系统1500。成像系统1500包括图像传感器110，致动器1530，和夹具1560。致动器1530是致动器130的一个实施例，成像系统1500是成像系统100的一个实施例。成像系统1500可实施方法200、1100和1400中的一个或多个。
致动器1530被固定到夹具1560和图像传感器110上。致动器1530使图像传感器110沿着方向135相对于夹具1560平移。在不脱离本发明的范围下，成像系统1500可包括也被固定到夹具1560和图像传感器110上的第二致动器1530(未显示出)，其中，该第二致动器1530使图像传感器110沿着平行于光接收表面112的方向，而不是平行于方向135平移。
在一个实施例中，致动器1530包括具有电压控制的厚度的压电组件，其用来改变图像传感器110和夹具1560之间的距离。在另一个实施例中，致动器1530包括微电子机械系统(MEMS)来使图像传感器110相对于夹具1560平移。这种MEMS例如是一个电热致动器，其具有Mallick等人所公开的电热致动器的某些特性(Mallick等人，“基于三维空间移动的电热微镜的MEMS的设计与模拟”，Proceedings of the 2011COMSOL Conference inBangalore)。在又另一个实施例中，致动器1530包括凸轮，其用来使图像传感器110相对于夹具1560平移。
在某些实施例中，控制模块160和/或处理模块170与夹具1560集成制成。夹具1560可以是电路板，使得成像系统1500具有片上平移的功能。在不脱离本发明范围的情况下，至少控制模块160和/或处理模块170的一部分可以被实施于图像传感器110中，例如，作为电路140的一部分。
图16说明了具有传感器平移功能的另一个示例性的成像系统1600。成像系统1600包括图像传感器110、两个致动器1530和夹具1660。成像系统1600是成像系统100的实施例。成像系统1700可实施方法200、1100和1400中的一个或多个。
各个致动器1530被固定到夹具1660和图像传感器110上。致动器1530使图像传感器110沿着方向135相对于夹具1660平移。致动器1530被安装在图像传感器的相对侧，使得当一个致动器1530增加了图像传感器110和夹具1660之间的距离时，另一个致动器则减少了图像传感器110和夹具1660之间的距离。在不脱离本发明范围的情况下，成像系统1600可包括第二个类似配置的致动器1530对(未显示出)，其也被固定到夹具1660和图像传感器110上，其中，该第二对致动器1530使图像传感器110沿着平行于光接收表面112的方向但不是平行于方向135平移。
在某些实施例中，控制模块160和/或处理模块170与夹具1660集成制成。夹具1660可以是电路板，使得成像系统1600具有片上平移的功能。在不脱离本发明的范围的情况下，至少控制模块160和/或处理模块170的一部分可以被实施于在图像传感器110中，例如，作为电路140的一部分。
图17说明又另一个示例性的具有传感器平移功能的成像系统1700。成像系统1700包括图像传感器110、致动器1530、支撑组件1730和夹具1660。成像系统1700是成像系统100的实施例。成像系统1700可实施方法200、1100和1400中的一个或多个。
致动器1530被固定到夹具1660且接触图像传感器110。致动器1530使图像传感器110沿着方向135相对于夹具1660平移。支撑组件1730被固定到夹具1660和图像传感器110上，其在图像传感器110的一侧而在致动器1530的相对侧。支撑组件1730包括弹簧或具有弹簧常数的材料。当致动器1530增加或减少图像传感器110和夹具1660之间的距离时，在与致动器1530相关联的图像传感器110的一侧，支撑组件1730因此延伸或收缩。
在不脱离本发明的范围的情况下，成像系统1700可以包括致动器1530的第二组类似配置的致动器1530和支撑组件1730组(未显示出)，其也被固定到夹具1660和图像传感器110上，其中，该第二组的致动器1530和支撑组件1730使图像传感器110沿着平行于光接收表面112的方向但是不平行于方向135平移。
在某些实施例中，控制模块160和/或处理模块170与夹具1660集成制成。夹具1660可以是电路板，使得成像系统1700具有片上平移的功能。在不脱离本发明的范围的情况下，至少控制模块160和/或处理模块170的一部分可以被实施于图像传感器110中，例如，作为电路140的一部分。
图18显示具有凸轮致动传感器平移的一个示例性的成像系统1800。成像系统1800包括图像传感器110、凸轮致动器1830、支撑组件1730和夹具1660。成像系统1800是成像系统1700的实施例。成像系统1800可实施方法200、1100和1400中的一个或多个。
凸轮致动器1830包括马达1832和被安装在马达1832的轴上的凸轮1834。马达1832被固定到夹具1660上，而凸轮1834压抵在图像传感器110上。马达1832可被驱动以旋转凸轮1834，以便改变在与凸轮致动器1830相关联的图像传感器110的侧面的图像传感器110和夹具1660之间的距离。其由成像系统1800的两个状态1802和1804所表示。状态1802和1804对应于凸轮1834的两个不同的旋转状态。在状态1804中，图像传感器110相对于状态1802中的图像传感器110被移位一段距离1890。当凸轮致动器1830减小或增加图像传感器110和夹具1660之间的距离时，支撑组件1730因此延伸或收缩。
在不脱离本发明的范围的情况下，成像系统1800可包括第二组类似配置的凸轮致动器1830和支撑组件1730组。其也被固定到夹具1660和图像传感器110上，其中第二组凸轮致动器1830和支撑组件1730使图像传感器110沿着平行于光接收表面112的方向，但是不平行于方向135平移。
特征的组合
在不脱离本发明的范围下，上述的特性以及下面的权利要求的特性可以以各种方式来组合，例如，可以理解到，本文所描述的具有SPADs和传感器平移的成像系统，或相关联的方法，可以与本文所述的具有SPADs和传感器平移的另一个成像系统，或相关联的方法结合或交换。下列例子说明上述实施例的一些可能的，非限制性的组合。应当清楚地，可对本文所述的系统和方法进行许多其它的变化和修改而不脱离本发明的精神和范围：
(A1)一种具有单光子雪崩二极管和传感器平移的成像系统，其用于捕获多个第一图像，以促使场景的增强的分辨率的图像的生成，该成像系统可包括(a)具有单光子雪崩二极管像素的像素阵列的图像传感器，用于分别在图像传感器的多个空间上移位的位置上捕获多个场景的第一图像，和(b)致动器，其使图像传感器平行于图像传感器的光接收表面平移，以便将图像传感器放置在多个空间移位的位置上。
(A2)如(A1)所述的成像系统，其还可以包括处理模块，用于处理多个第一图像，以组合成增强的分辨率的图像。
(A3)如(A1)或(A2)所述的成像系统，其中，单光子雪崩二极管像素可以形成像素阵列的所有像素。
(A4)如(A1)至(A3)中任一项所述的成像系统，其中，空间上移位的位置可包括的位置是彼此相对移位的距离小于单光子雪崩二极管的像素的最邻近对之间的中心至中心的间距，如此使得增强的分辨率的图像的分辨率超过像素阵列的分辨率。
(A5)如(A1)至(A4)中任一项所述的成像系统，其中，像素阵列可以进一步包括彩色像素组，用于捕获场景的彩色图像，其各个彩色像素组具有多个对相应的多个不同颜色敏感的特定颜色的像素，其单光子雪崩二极管像素穿插于彩色像素组之间。
(A6)如(A5)所述的成像系统，其中，各个彩色像素组可以具有如各个单光子雪崩二极管像素相同的范围。
(A7)如(A5)或(A6)所述的成像系统，其中，像素阵列可布置为相邻的3×3区块，其中各个3×3区块包括一个单光子雪崩二极管像素和八个彩色像素组。
(A8)如(A5)或(A6)所述的成像系统，其中，像素阵列可布置为相邻的2×2区块，其中，各个2×2区块包括一个单光子雪崩二极管像素和三个彩色像素组。
(A9)如(A5)至(A8)中任一项所述的成像系统，其中，空间上移位的位置可包括第一位置，其彼此移位的距离小于单光子雪崩二极管像素的最邻近对之间的中心至中心的间距，如此使得增强的分辨率的图像的分辨率超过像素阵列中的单光子雪崩二极管像素的分辨率。
(A10)如(A5)至(A9)中任一项所述的成像系统，其中，致动器可以进一步被配置以便将图像传感器放置在多个空间上移位的第二位置上，使得在一个空间上移位的第二位置被一个单光子雪崩二极管像素所占据的各个像素位置，是由在至少一个其它的空间上移位的第二位置上被一个彩色像素组所占据，如此以便促使场景的完整的彩色图像的组合。该彩色图像没有与单光子雪崩二极管像素相关的间隙。
(A11)如(A5)至(A10)中任一项所述的成像系统，其中，图像传感器可以包括第一电路和第二电路，该第一电路用于以第一帧率读取单光子雪崩二极管像素，该第二电路用于以第二帧率读取彩色像素组，第二帧率小于第一帧率。
(A12)如(A1)至(A4)中任一项所述的成像系统，其中，像素阵列将单光子雪崩二极管像素布置在彩色像素组中，各个像素阵列包括对相应的多个不同颜色敏感的多个不同类型的单光子雪崩二极管像素的各个中的至少一个。
(A13)如(A12)所述的成像系统，其中，不同类型的单光子雪崩二极管像素可以是(a)对红外光敏感的第一类型，及(b)，对相应的可见光的三个不同颜色敏感的三种不同的第二类型，空间上移位的位置包括如此的位置，使得在空间上移位的位置中的一个被对可见光敏感的一个单光子雪崩二极管像素所占据的各像素位置，被在至少一个其它的空间上移位的位置中的一个对红外光敏感的单光子雪崩二极管像素所占据。增强的分辨率的图像是红外线图像，其分辨率大于对红外光敏感的单光子雪崩二极管像素的分辨率。
(B1)一种用于捕获多个第一图像的方法，该多个第一图像可促使场景的增强的分辨率的图像的组合，该方法可包括(a)平行于图像传感器的光接收表面平移图像传感器，使图像传感器放置在多个空间上移位的位置上，和(b)分别在多个空间上移位的位置上，使用实施于图像传感器的像素阵列中的单光子雪崩二极管像素，来捕获多个场景的第一图像。
(B2)如(B1)所述的方法，其还可以包括从第一图像来组合成增强的分辨率的图像。
(B3)如(B2)所述的方法，其可进一步包括重复几次平移的步骤以生成增强的分辨率的图像流，在几次平移的步骤的各次步骤中，进行捕获的步骤用以生成个别的增强的分辨率的图像，并将增强的分辨率的图像并入到增强的分辨率的图像流中。
(B4)如(B1)至(B3)中任一项所述的方法，其中，像素阵列可以由单光子雪崩二极管像素组成。
(B5)如(B4)所述的方法，其中，平移的步骤可以包括将图像传感器移位一段距离，该距离小于相邻的单光子雪崩二极管像素的中心之间的距离，如此使得增强的分辨率的图像的分辨率大于像素阵列的分辨率。
(B6)如(B1)至(B3)中任一项所述的方法，其中，像素阵列可以由单光子雪崩二极管像素和与单光子雪崩二极管像素相同尺寸的彩色像素所组成，单光子雪崩二极管像素被散布在彩色像素组间。
(B7)如(B6)所述的方法，其中，平移的步骤可以包括将图像传感器移位一段距离，该距离小于相邻的单光子雪崩二极管像素的中心之间的距离，如此使得增强的分辨率的图像的分辨率大于像素阵列中的单光子雪崩二极管像素的分辨率。
(B8)如(B6)至(B7)中任一项所述的方法，其中，捕获的步骤可以进一步包括使用彩色像素组来捕获场景中的至少一个彩色图像。
(B9)如(B6)至(B8)中任一项所述的方法，其中，平移的步骤可以进一步包括将图像传感器放置在多个空间上移位的第二位置上，使得在一个空间上移位的第二位置被一个单光子雪崩二极管像素所占据的各个像素位置，是由在至少一个其它的空间上移位的第二位置中的一个被彩色像素组中的一个所占据，以及捕获的步骤可还包括分别在多个空间上移位的第二位置上使用彩色像素组捕获多个彩色图像，以促使场景的完整的彩色图像的组合，该完整的彩色图像没有与单光子雪崩二极管像素相关联的间隙。
(B10)如(B6)至(B9)中任一项所述的方法，其中，捕获的步骤可以包括以大于彩色图像的帧率来捕获第一图像。
(B11)如(B1)至(B5)中任一项所述的方法，其中，像素阵列可以将单光子雪崩二极管像素布置在彩色像素组中，其中，各个彩色像素组包括对相应的多个不同颜色敏感的多个不同类型的单光子雪崩二极管像素中的各个中的至少一个。
(B12)如(B11)所述的方法，其中，捕获的步骤可以包括捕获各个作为彩色图像的第一图像，以促使场景的增强的分辨率的彩色图像的组合。
(B13)如(B1)至(B5)和(B11)中任一项所述的方法，其中，像素阵列可以将单光子雪崩二极管像素布置在彩色像素组中，其中各个彩色像素组包括(a)对红外光敏感的第一类型的单光子雪崩二极管像素，及(b)对三个相应的不同颜色的可见光敏感的三个不同的第二类型的单光子雪崩二极管像素。
(B14)如(B13)所述的方法，其中，平移的步骤可以包括平移图像传感器，使得在一个空间上移位的位置被一个对可见光敏感的单光子雪崩二极管像素所占据的各个像素位置，是由在至少一个其它的空间上移位的位置的对红外光敏感的单光子雪崩二极管像素所占据，以促使组合成场景的红外光的图像，该红外光的图像的分辨率大于对红外光敏感的单光子雪崩二极管像素的分辨率。
不脱离本发明的范围下，可以改变上述的系统和方法。因此应当指出，包含在上述和显示在附图中的事项应当被解释为说明性的而不是限制性的意义。下面的权利要求旨在涵盖本文中所描述的一般和具体的特征，以及本发明的系统和方法的所有陈述，其中，只是因为语言的关系，可以说它们均落入其间。

Claims (23)

1.一种具有单光子雪崩二极管和传感器平移的成像系统，用于捕获场景的多个第一图像以促使增强分辨率图像的生成，其包括：
具有包括单光子雪崩二极管像素的像素阵列的图像传感器，其用于分别在所述图像传感器的多个空间上移位的位置捕获所述场景的所述多个第一图像；和
致动器，其使所述图像传感器在所述图像传感器的光接收面的平行方向上平移，以便将所述图像传感器放置在所述多个空间上移位的位置。
2.如权利要求1所述的成像系统，其还包括处理模块，用于处理所述多个第一图像，以组合成所述增强分辨率图像。
3.如权利要求1所述的成像系统，其中，所述单光子雪崩二极管像素形成所述像素阵列的所有像素。
4.如权利要求3所述的成像系统，其中，所述空间上移位的位置所包括的位置是彼此相对移动的距离小于所述单光子雪崩二极管像素的最邻近对之间的中心至中心的间距，而使得所述增强分辨率图像的分辨率超过所述像素阵列的分辨率。
5.如权利要求1所述的成像系统，其中，所述像素阵列还包括彩色像素组，所述彩色像素组用于捕获所述场景的彩色图像，所述彩色像素组中的每一个具有多个对相应的多个不同颜色敏感的特定颜色像素，所述单光子雪崩二极管像素散布在所述彩色像素组间。
6.如权利要求5所述的成像系统，其中，所述彩色像素组中的每一个具有和所述单光子雪崩二极管像素中的每一个相同的范围。
7.如权利要求6所述的成像系统，其中，所述像素阵列布置成相邻的3×3区块，所述3×3区块中的每一个包括所述单光子雪崩二极管像素中的一个和所述彩色像素组中的八个。
8.如权利要求6所述的成像系统，其中，所述像素阵列布置成相邻的2×2区块，所述2×2区块中的每一个包括所述单光子雪崩二极管像素中的一个和所述彩色像素组中的三个。
9.如权利要求6所述的成像系统，其中，所述空间上移位的位置包括第一位置，所述第一位置彼此相对移动的距离小于所述单光子雪崩二极管像素的最邻近对之间的中心至中心的间距，而使得所述增强分辨率图像的分辨率超过所述像素阵列内的所述单光子雪崩二极管像素的分辨率。
10.如权利要求6所述的成像系统，其中，所述致动器还被配置用来将所述图像传感器放置在多个空间上移位的第二位置，使得在所述空间上移位的第二位置中的一个中，被所述单光子雪崩二极管像素中的一个所占据的各像素位置，在所述空间上移位的第二位置中的至少一个其它者中，被所述彩色像素组中的一个所占据，而使得所述场景的完整彩色图像的组合可以没有与所述单光子雪崩二极管像素相关联的间隙。
11.如权利要求5所述的成像系统，其中，所述图像传感器包括第一电路和第二电路，所述第一电路以第一帧率读取所述单光子雪崩二极管像素，所述第二电路以第二帧率读取所述彩色像素组，所述第二帧率小于所述第一帧率。
12.如权利要求1所述的成像系统，其中，所述像素阵列排列所述单光子雪崩二极管像素在彩色像素组中，各个彩色像素组包括对相应的不同颜色敏感的多个不同类型的所述单光子雪崩二极管像素中每一个中的至少一个。
13.如权利要求12所述的成像系统，其中，所述不同类型的单光子雪崩二极管像素为(a)对红外光敏感的第一类型，以及(b)对三个相应的不同颜色的可见光敏感的三种不同的第二类型，所述空间上移位的位置包括如此的位置，所述位置使得在所述空间上移位的位置中的一个中，被对可见光敏感的所述单光子雪崩二极管像素中的一个所占据的各像素位置，在所述空间上移位的位置中的其它者的至少一个，被对红外光敏感的所述单光子雪崩二极管像素中的一个所占据，所述增强分辨率图像是红外线图像，其分辨率大于对红外光敏感的所述单光子雪崩二极管像素的分辨率。
14.一种用于捕获多个第一图像的方法，多个第一图像促使场景的增强分辨率图像的合成，所述方法包括：
将图像传感器平移，所述图像传感器是平行于所述图像传感器的光接收面的，以便将所述图像传感器放置在多个空间上移位的位置；和
通过使用实施于所述图像传感器的像素阵列中的单光子雪崩二极管像素，分别在所述多个空间上移位的位置捕获所述场景的所述多个第一图像。
15.如权利要求14所述的方法，其还包括从所述第一图像组合成所述增强分辨率图像。
16.如权利要求15所述的方法，其还包括经由下面的步骤来生成增强分辨率图像流：
重复几次所述平移的步骤；和
在各个重复所述平移的步骤中，执行所述捕获的步骤，以产生所述个别的增强分辨率的图像，并将所述增强分辨率的图像并入所述增强分辨率图像流中。
17.如权利要求14所述的方法，其中，所述像素阵列是由所述单光子雪崩二极管像素所组成，所述平移的步骤包括将所述图像传感器平移一段小于相邻的单光子雪崩二极管像素的中心之间的距离，使得所述增强分辨率图像的分辨率大于所述像素阵列的分辨率。
18.如权利要求14所述的方法，其中，所述像素阵列是由所述单光子雪崩二极管像素和彩色像素组所组成，所述彩色像素组的尺寸相同于所述单光子雪崩二极管像素的尺寸，所述单光子雪崩二极管像素散布于所述彩色像素组间，所述平移的步骤包括将所述图像传感器平移一段小于所述单光子雪崩二极管像素的最邻近对的中心之间的距离，使得所述增强分辨率图像的分辨率超过所述像素阵列中的所述单光子雪崩二极管像素的分辨率。
19.如权利要求18所述的方法，其中，所述捕获的步骤还包括使用所述彩色像素组捕获所述场景的至少一个彩色图像。
20.如权利要求18所述的方法，其进一步包括：
在所述平移的步骤中，将所述图像传感器放置在多个空间上移位的第二位置，使得在所述空间上移位的第二位置中的一个中，被所述单光子雪崩二极管像素中的一个所占据的各像素位置，在所述空间上移位的第二位置之至少一个其他者中，被所述多个彩色像素组中的一个所占据；和
在所述捕获的步骤中，分别在所述多个空间上移位的第二位置，使用所述彩色像素组来捕获多个彩色图像，以促使于没有与所述单光子雪崩二极管像素相关的间隙，所述场景的完整的彩色图像能被组合成。
21.如权利要求18所述的方法，其中，所述捕获的步骤包括以大于所述彩色图像的帧率来捕获所述第一图像。
22.如权利要求14所述的方法，其中，所述像素阵列排列所述单光子雪崩二极管像素在彩色像素组中，各个彩色像素组包括对相应的多个不同的颜色敏感的多个不同类型的所述单光子雪崩二极管像素中每一个的至少一个，所述捕获的步骤包括捕获作为彩色图像的各个所述第一图像，以促使所述场景的增强分辨率彩色图像能够被组合成。
23.如权利要求14所述的方法，其中，所述像素阵列排列所述单光子雪崩二极管像素在彩色像素组中，各个彩色像素组包括(a)对红外光敏感的第一类型的单光子雪崩二极管像素，和(b)对三个相应的不同颜色的可见光敏感的三种不同的第二类型的单光子雪崩二极管像素，所述平移的步骤包括将所述图像传感器平移，使得在所述空间上移位的位置中的一个中，被对可见光敏感的所述单光子雪崩二极管像素中的一个所占据的各个像素位置，在所述空间上移位的位置中的其它者的至少一个，被对红外光敏感的所述单光子雪崩二极管像素中的一个所占据，以促使所述场景的红外线图像能够被组合成，所述红外线图像的分辨率大于对红外光敏感的所述单光子雪崩二极管像素的分辨率。
CN201610453384.1A 2015-06-22 2016-06-21 具有单光子雪崩二极管和传感器平移的成像系统，及相关的方法 Active CN106303306B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US14/745,954 2015-06-22
US14/745,954 US9628735B2 (en) 2015-06-22 2015-06-22 Imaging systems with single-photon-avalanche-diodes and sensor translation, and associated methods

Publications (2)

Publication Number Publication Date
CN106303306A true CN106303306A (zh) 2017-01-04
CN106303306B CN106303306B (zh) 2019-03-26

Family

ID=57588737

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610453384.1A Active CN106303306B (zh) 2015-06-22 2016-06-21 具有单光子雪崩二极管和传感器平移的成像系统，及相关的方法

Country Status (3)

Country Link
US (1) US9628735B2 (zh)
CN (1) CN106303306B (zh)
TW (1) TWI596938B (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111314634A (zh) * 2018-12-11 2020-06-19 江西合力泰科技有限公司 一种图像传感器的制造方法、传感器与像素读取方法
CN111601096A (zh) * 2020-04-03 2020-08-28 清华大学 具有单光子雪崩二极管的合成图像方法
CN112397542A (zh) * 2020-11-16 2021-02-23 Oppo（重庆）智能科技有限公司 图像传感模组及时间飞行器件、电子设备
CN113747141A (zh) * 2020-05-29 2021-12-03 华为技术有限公司 一种电子设备和深度图像的拍摄方法

Families Citing this family (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20170192511A1 (en) * 2015-09-29 2017-07-06 Telefonaktiebolaget Lm Ericsson (Publ) Touchscreen Device and Method Thereof
US20170351336A1 (en) * 2016-06-07 2017-12-07 Stmicroelectronics, Inc. Time of flight based gesture control devices, systems and methods
US11417002B2 (en) 2016-06-17 2022-08-16 Pixart Imaging Inc. Image recognition system, sensor module, and method for image recognition
TW201800901A (zh) * 2016-06-17 2018-01-01 原相科技股份有限公司 偵測動作資訊的方法及感光陣列
US10638060B2 (en) * 2016-06-28 2020-04-28 Intel Corporation Color correction of RGBIR sensor stream based on resolution recovery of RGB and IR channels
AU2018278515A1 (en) * 2017-05-31 2019-12-19 Monash University An imaging method and apparatus
US10677899B2 (en) 2017-08-07 2020-06-09 Waymo Llc Aggregating non-imaging SPAD architecture for full digital monolithic, frame averaging receivers
US10616512B2 (en) * 2018-07-27 2020-04-07 Wisconsin Alumni Research Foundation Systems, methods, and media for high dynamic range imaging using dead-time-limited single photon detectors
JP7293002B2 (ja) * 2018-08-08 2023-06-19 キヤノン株式会社 撮像装置
US10985203B2 (en) 2018-10-10 2021-04-20 Sensors Unlimited, Inc. Sensors for simultaneous passive imaging and range finding
JP7281895B2 (ja) * 2018-12-06 2023-05-26 ソニーセミコンダクタソリューションズ株式会社 撮像素子および電子機器
US11212498B2 (en) * 2018-12-11 2021-12-28 Intel Corporation Infrared crosstalk correction for hybrid RGB-IR sensors
JP7492338B2 (ja) * 2020-01-30 2024-05-29 キヤノン株式会社 光電変換装置、光電変換システム及び移動体
US11269075B2 (en) 2020-04-17 2022-03-08 Samsung Electronics Co., Ltd. Hybrid sensor system and method for providing 3D imaging
CN112731443B (zh) * 2021-02-08 2022-11-25 山东大学 一种单光子激光雷达与短波红外图像融合的三维成像系统及方法
US11539895B1 (en) * 2021-09-27 2022-12-27 Wisconsin Alumni Research Foundation Systems, methods, and media for motion adaptive imaging using single-photon image sensor data

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103369339A (zh) * 2008-07-25 2013-10-23 三星电子株式会社 成像方法和设备
CN103733340A (zh) * 2011-07-28 2014-04-16 索尼公司 固体摄像元件和摄像系统
WO2014178539A1 (ko) * 2013-04-29 2014-11-06 주식회사 뷰웍스 영상촬영장치
CN104576667A (zh) * 2013-10-28 2015-04-29 全视科技有限公司 堆叠芯片spad图像传感器

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7683308B2 (en) * 2004-01-12 2010-03-23 Ecole Polytechnique Federale de Lausanne EFPL Controlling spectral response of photodetector for an image sensor
TWI440886B (zh) * 2009-04-24 2014-06-11 Hon Hai Prec Ind Co Ltd 致動器及相機模組
US8866921B2 (en) * 2012-06-26 2014-10-21 Htc Corporation Devices and methods involving enhanced resolution image capture

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103369339A (zh) * 2008-07-25 2013-10-23 三星电子株式会社 成像方法和设备
CN103733340A (zh) * 2011-07-28 2014-04-16 索尼公司 固体摄像元件和摄像系统
WO2014178539A1 (ko) * 2013-04-29 2014-11-06 주식회사 뷰웍스 영상촬영장치
CN104576667A (zh) * 2013-10-28 2015-04-29 全视科技有限公司 堆叠芯片spad图像传感器

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111314634A (zh) * 2018-12-11 2020-06-19 江西合力泰科技有限公司 一种图像传感器的制造方法、传感器与像素读取方法
CN111601096A (zh) * 2020-04-03 2020-08-28 清华大学 具有单光子雪崩二极管的合成图像方法
CN111601096B (zh) * 2020-04-03 2022-02-22 清华大学 具有单光子雪崩二极管的合成图像方法
CN113747141A (zh) * 2020-05-29 2021-12-03 华为技术有限公司 一种电子设备和深度图像的拍摄方法
WO2022002162A1 (zh) * 2020-05-29 2022-01-06 华为技术有限公司 一种电子设备和深度图像的拍摄方法
CN112397542A (zh) * 2020-11-16 2021-02-23 Oppo（重庆）智能科技有限公司 图像传感模组及时间飞行器件、电子设备
CN112397542B (zh) * 2020-11-16 2023-04-07 Oppo（重庆）智能科技有限公司 图像传感模组及时间飞行器件、电子设备

Also Published As

Publication number Publication date
TW201701642A (zh) 2017-01-01
US9628735B2 (en) 2017-04-18
TWI596938B (zh) 2017-08-21
CN106303306B (zh) 2019-03-26
US20160373676A1 (en) 2016-12-22

Similar Documents

Publication Publication Date Title
CN106303306B (zh) 具有单光子雪崩二极管和传感器平移的成像系统，及相关的方法
CN206727071U (zh) 图像传感器
CN206758436U (zh) 像素阵列
US8917327B1 (en) Method to use array sensors to measure multiple types of data at full resolution of the sensor
WO2021227250A1 (zh) 图像传感器和电子设备
CN105306786B (zh) 用于具有相位检测像素的图像传感器的图像处理方法
TWI610426B (zh) 具有比例濾波陣列及像素內合併的影像感測器
US9136300B2 (en) Next generation imaging methods and systems
US20110317048A1 (en) Image sensor with dual layer photodiode structure
CN106161890A (zh) 成像装置、成像系统以及信号处理方法
JP2016099632A (ja) カラーエイリアシングを最小化するｒｇｂｃカラーフィルタアレイのパターン
US9438827B2 (en) Imaging systems and methods for generating binned high-dynamic-range images
CN103945115A (zh) 用于通过使用多个微透镜拍照的拍摄装置和拍摄方法
CN110113546A (zh) 成像系统及像素阵列中相邻像素单元的组合和读出方法
CN105323498A (zh) 不含运动伪影的高动态范围hdr图像
CN102948141A (zh) 图像捕获装置和图像捕获方法
US10855959B2 (en) Image sensing device
US20180164156A1 (en) Hybrid Sensor with Enhanced Infrared Detection Capabilities
CN104639921A (zh) 双像素大小彩色影像传感器及其制造方法
CN106298822A (zh) 用于减少色彩混叠的彩色滤光器阵列及图像传感器
JP6473350B2 (ja) カラー撮像素子
CN109979953A (zh) 一种图像传感器
CN112839215A (zh) 一种摄像模组、摄像头、终端设备及图像信息的确定方法
CN101350893B (zh) 影像传感器及相机模组
CN203350517U (zh) 阵列式镜头模组

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant