CN108141571A - 无掩模相位检测自动聚焦 - Google Patents

无掩模相位检测自动聚焦 Download PDF

Info

Publication number
CN108141571A
CN108141571A CN201680054782.4A CN201680054782A CN108141571A CN 108141571 A CN108141571 A CN 108141571A CN 201680054782 A CN201680054782 A CN 201680054782A CN 108141571 A CN108141571 A CN 108141571A
Authority
CN
China
Prior art keywords
diode
image
lenticule
light
phase
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201680054782.4A
Other languages
English (en)
Other versions
CN108141571B (zh
Inventor
M·加洛罗·格卢斯金
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Qualcomm Inc
Original Assignee
Qualcomm Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Qualcomm Inc filed Critical Qualcomm Inc
Publication of CN108141571A publication Critical patent/CN108141571A/zh
Application granted granted Critical
Publication of CN108141571B publication Critical patent/CN108141571B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B7/00—Mountings, adjusting means, or light-tight connections, for optical elements
    • G02B7/02—Mountings, adjusting means, or light-tight connections, for optical elements for lenses
    • G02B7/04—Mountings, adjusting means, or light-tight connections, for optical elements for lenses with mechanism for focusing or varying magnification
    • G02B7/09—Mountings, adjusting means, or light-tight connections, for optical elements for lenses with mechanism for focusing or varying magnification adapted for automatic focusing or varying magnification
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144—Devices controlled by radiation
    • H01L27/146—Imager structures
    • H01L27/14601—Structural or functional details thereof
    • H01L27/1462—Coatings
    • H01L27/14621—Colour filter arrangements
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144—Devices controlled by radiation
    • H01L27/146—Imager structures
    • H01L27/14601—Structural or functional details thereof
    • H01L27/14625—Optical elements or arrangements associated with the device
    • H01L27/14627—Microlenses
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/67—Focus control based on electronic image sensor signals
    • H04N23/672—Focus control based on electronic image sensor signals based on the phase difference signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
    • H04N23/843—Demosaicing, e.g. interpolating colour pixel values
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/134—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on three different wavelength filter elements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/703—SSIS architectures incorporating pixels for producing signals other than image signals
    • H04N25/704—Pixels specially adapted for focusing, e.g. phase difference pixel sets

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Power Engineering (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Condensed Matter Physics & Semiconductors (AREA)
  • Electromagnetism (AREA)
  • Computer Hardware Design (AREA)
  • Microelectronics & Electronic Packaging (AREA)
  • Optics & Photonics (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Automatic Focus Adjustment (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)
  • Focusing (AREA)
  • Color Television Image Signal Generators (AREA)
  • Studio Devices (AREA)

Abstract

一种实例图像俘获装置包含：图像传感器，其具有用于感测来自目标场景的光的二极管；彩色滤光片阵列，其安置在所述二极管上方，且包含各自定位于所述二极管中的一个之上的彩色滤光片；单二极管微透镜，其定位于布置成拜耳图案的一些彩色滤光片上方；以及多二极管微透镜，其各自定位于使相同波长的光传到在所述彩色滤光片下方的对应邻近二极管的至少两个邻近彩色滤光片上方，每一多二极管微透镜经形成而使得在第一方向上入射的光收集在所述邻近二极管中的一个中，且在第二方向上入射的光收集在所述邻近二极管中的另一个中。所述图像俘获装置的图像信号处理器可使用从所述邻近二极管接收的信号执行相位检测自动聚焦，且可内插所述邻近二极管的色彩值。

Description

无掩模相位检测自动聚焦
技术领域
本文中揭示的系统和方法是针对相位检测自动聚焦，且更确切地说，是针对无掩模相位检测自动聚焦传感器和处理技术。
背景技术
一些图像俘获装置使用相位差检测传感器(其也可被称作“像素”)来执行自动聚焦。依靠传感器的相位差检测通过将相位差检测像素散置于成像像素之间，通常布置成左像素与右像素的重复稀疏图案，而起作用。系统检测由例如在左像素与附近的右像素之间的不同相位差检测像素产生的信号之间的相位差。可使用所检测到的相位差来执行自动聚焦。
相位检测自动聚焦比基于对比度的自动聚焦操作起来要快，然而，当前实施方案将金属掩模放置于图像传感器之上以产生左和右相位检测像素，从而导致较少光到达被掩蔽的像素。典型成像传感器具有形成于每一个别像素之上的微透镜以将光聚焦到每一像素上，且放置在微透镜之上的相位检测自动聚焦掩模使进入相位检测像素的微透镜的光减少约50％。因为相位检测像素的输出比正常图像俘获像素的输出具有的亮度低，因此相位差检测像素在所俘获图像中产生需要校正的明显伪影。通过将相位检测像素个别地放置在成像像素当中，系统可内插相位检测像素的值。
被掩蔽像素成对地使用。在场景离焦时，相位检测像素掩模使入射光稍微相移。可对相位检测像素之间的距离以及其相对偏移进行卷积，以给出成像装置的光学组合件需要将透镜移动多远以使场景处于焦点的确定。
发明内容
大体来说，本发明涉及通过使用经形成以在邻近像素之上延伸的微透镜或在图像传感器中的感测元件(例如，光电二极管)来提供相位差信息的无掩模相位检测像素。根据本文中所描述的设计，可选择放置在多像素微透镜与对应二极管之间的彩色滤光片以使相同波长的光通过。在一个实施例中，可选择安置在所述多像素微透镜与所述对应二极管之间的彩色滤光片以使绿光通过。然而，放置在单像素微透镜与对应二极管之间的彩色滤光片可遵循标准拜耳(Bayer)图案。
一个创新包含一种图像俘获装置，所述图像俘获装置包括：图像传感器，其包含多个用于感测来自目标场景的光的二极管；彩色滤光片阵列，其安置在所述多个二极管上方，所述彩色滤光片阵列包含各自定位于所述多个二极管中的一个之上的多个彩色滤光片；多个单二极管微透镜，其各自定位于所述多个彩色滤光片中的一个上方，所述多个彩色滤光片对应于所述多个单二极管微透镜、布置成拜耳图案；用于相位差检测的多个多二极管微透镜，所述多个多二极管微透镜中的每一多二极管微透镜定位于所述多个彩色滤光片中的至少两个邻近彩色滤光片上方，所述至少两个邻近彩色滤光片中的每一个经配置以使相同波长的光通过，且经形成而使得在第一方向上入射的光收集在所述至少两个邻近二极管中的第一二极管中，且在第二方向上入射的光收集在所述至少两个邻近二极管中的第二二极管中；以及图像信号处理器，其经配置以使用从所述至少两个邻近二极管接收的值执行相位检测自动聚焦。
以下为此类图像俘获装置的一些特征和实施例的非限制性实例。举例来说，对于所述多个多二极管微透镜中的每一个，所述至少两个邻近彩色滤光片经配置以通过的光的波长可对应于绿光。所述多个多二极管微透镜中的每一个可定位于两个邻近彩色滤光片和相关联二极管之上，或彩色滤光片和相关联二极管的2×2群集之上。在一些实例中，为执行相位检测自动聚焦，所述图像信号处理器可进一步经配置以：从所述第一二极管接收表示在所述第一方向上入射在所述图像传感器上的光的第一图像数据；从所述第二二极管接收表示在所述第二方向上入射在所述图像传感器上的光的第二图像数据；计算所述第一图像数据与所述第二图像数据之间的视差；以及使用所述视差产生聚焦指令。所述图像俘获装置可进一步包含定位于所述图像传感器上方的可移动透镜组合件，且所述聚焦指令可包含用于将所述可移动透镜组合件移动到所需焦点位置的距离和方向。所述图像信号处理器可进一步经配置以产生致使所述图像传感器进行以下操作的指令：利用定位在所述所需焦点位置中的所述可移动透镜组合件俘获图像数据；以及至少部分地基于所述图像数据建构所述目标场景的最终图像。所述图像俘获装置可进一步包含定位于所述图像传感器上方的透镜组合件，其中所述图像传感器可相对于所述透镜组合件移动，且所述聚焦指令可包含用于将所述图像传感器移动到所需焦点位置的距离和方向。所述多个单二极管微透镜和所述多个多二极管微透镜可布置成重复图案，所述多个多二极管微透镜在所述重复图案中各自位于多个自动聚焦点中的一个处。
另一创新包含一种图像传感器，所述图像传感器包含：多个二极管，其用于感测来自目标场景的光；彩色滤光片阵列，其安置在所述多个二极管上方，所述彩色滤光片阵列包含各自定位于所述多个二极管中的一个之上的多个彩色滤光片；以及多个微透镜，其安置在所述彩色滤光片阵列上方，所述多个微透镜包含第一子集，所述第一子集包含各自定位于所述多个彩色滤光片中的一个上方的多个单二极管微透镜，所述多个彩色滤光片中的所述彩色滤光片对应于所述多个单二极管微透镜、布置成拜耳图案；以及多个多二极管微透镜，所述多个多二极管微透镜中的每一多二极管微透镜定位于所述多个彩色滤光片中的至少两个邻近彩色滤光片上方，所述至少两个邻近彩色滤光片中的每一个经配置以使相同波长的光通过，且经形成而使得在第一方向上入射的光收集在所述至少两个邻近二极管中的第一二极管中，且在第二方向上入射的光收集在所述至少两个邻近二极管中的第二二极管中。
以下为此类图像传感器的一些特征和实施例的非限制性实例。举例来说，所述至少两个邻近彩色滤光片经配置以通过波长的光的波长可对应于绿光。所述多个多二极管微透镜中的至少一个多二极管微透镜可为具有圆形周界的平凸透镜，其经设定大小以使光传到所述多个二极管中的二极管的2×2群集。所述多个多二极管微透镜中的至少一个多二极管微透镜可为具有椭圆形周界的平凸透镜，其经设定大小以使光传到所述多个二极管中的二极管的2×1群集。所述多个二极管可形成在半导体衬底中形成的具有多个光电二极管的阵列，且所述多个光电二极管中的每一个可从所述多个微透镜中的一个接收光。
另一创新包含一种图像信号处理器，其配置有用于执行用于建构最终图像的过程的指令，所述过程包含：从图像传感器的多个二极管接收图像数据，所述图像数据包含来自所述多个二极管中的与布置成拜耳图案的多个彩色滤光片相关联的第一子集的多个成像像素值和来自所述多个二极管中的与从所述拜耳图案偏离的多个彩色滤光片相关联的第二子集的多个相位检测像素值，使得所述多个相位检测像素值中的每一个包括绿色像素值，所述多个二极管的所述第二子集布置成邻近二极管的多个群组，所述多个群组中的每一群组从经形成而使得在第一方向上入射的光收集在所述群组的第一二极管中且在第二方向上入射的光收集在所述群组的第二二极管中的对应微透镜接收光；对于邻近二极管的所述多个群组中的每一个，计算对应于所述群组的所述第一二极管的位置的单个绿色像素值；对于邻近二极管的所述多个群组中的每一个，计算对应于所述群组的所述第二二极管的位置的缺失蓝色或红色像素值；以及至少部分地基于所述多个成像像素值、所述所计算的缺失蓝色或红色像素值和所述所计算的单个绿色像素值建构所述最终图像。
以下为此类图像信号处理器的一些特征和实施例的非限制性实例。举例来说，从所述多个二极管中的一个二极管接收的所述多个相位检测像素值中的相位检测像素值可具有类似于从所述多个二极管中邻近于所述一个二极管的其它二极管接收的成像像素值的亮度值的亮度值。建构所述最终图像可至少部分地经由解马赛克来完成。计算邻近二极管的所述多个群组中的每一个的所述单个绿色像素值可包含对从所述群组中的每一二极管接收的值的值进行求和。计算邻近二极管的所述多个群组中的每一个的所述缺失蓝色或红色像素值可包含基于所述拜耳图案识别所述第二二极管是否对应于蓝色像素位置或红色像素位置。在所述第二二极管对应于所述蓝色像素时，计算所述缺失蓝色或红色像素值包含：从所述多个成像像素值中识别在所述第二二极管的所述蓝色像素位置的预定邻域内的多个蓝色像素值；以及至少部分地基于所述多个蓝色像素值内插所述第二二极管的蓝色像素值。所述预定邻域可包含从在所述第二二极管处于其中心的5×5群集内的二极管接收的值。在所述第二二极管对应于所述红色像素时，计算所述缺失蓝色或红色像素值可包含：从所述多个成像像素值中识别在所述第二二极管的所述红色像素位置的预定邻域内的多个红色像素值；以及至少部分地基于所述多个红色像素值内插所述第二二极管的红色像素值。
另一创新包含一种图像俘获设备，所述图像俘获设备包含：图像俘获装置，其包含用于感测来自目标场景的光的多个感测装置；多个彩色滤光片装置，其安置在所述多个感测装置上方，所述多个彩色滤光片装置中的每一个定位于所述多个感测装置中的一个之上；多个第一光聚焦装置，其各自定位于所述多个彩色滤光片装置中的一个上方，所述多个彩色滤光片装置的第一子集对应于所述多个第一光聚焦装置、布置成拜耳图案；用于产生相位差检测信息的多个第二光聚焦装置，所述多个第二光聚焦装置中的每一个定位于所述多个彩色滤光片装置中的至少两个邻近彩色滤光片装置上方，所述至少两个邻近彩色滤光片装置中的每一个经配置以使相同波长的光通过，且经形成而使得在第一方向上入射的光收集在所述至少两个邻近感测装置中的第一感测装置中，且在第二方向上入射的光收集在所述至少两个邻近感测装置中的第二感测装置中；以及相位检测装置，其经配置以使用从对应于所述多个第二光聚焦装置中的一个的所述至少两个邻近感测装置接收的值执行相位检测自动聚焦。
以下为此类图像俘获设备的一些特征和实施例的非限制性实例。举例来说，所述图像俘获设备可包含主要聚焦装置，所述主要聚焦装置可至少部分地基于从所述图像信号处理装置接收的数据而定位以产生所述目标场景的焦点内图像。所述主要聚焦装置可包含定位于所述多个彩色滤光片装置上方的可移动透镜组合件。所述主要聚焦装置可包含用于移动所述多个感测装置的机构。所述图像俘获设备可包含用于计算从所述多个第二光聚焦装置接收光的一些感测装置的缺失色彩值的内插装置。
附图说明
将在下文结合附图及附录来描述所揭示的方面，提供附图及附录是为了说明而非限制所揭示的方面，其中相同符号表示相同元件。
图1A描绘如本文所描述的实例多二极管微透镜的示意图。
图1B描绘进入一对相位检测二极管的光的实例光线迹线。
图1C描绘进入一对相位检测二极管的光的实例光线迹线。
图1D描绘进入一对相位检测二极管的光的实例光线迹线。
图2描绘说明使用图1A的实例多二极管微透镜进行的相位检测的实例的示意图。
图3A描绘用于如本文所描述的相位检测图像传感器的彩色滤光片、单二极管微透镜和多二极管微透镜的实例布置。
图3B描绘内插以确定对应于在图3A的多二极管微透镜下方的传感器的值的实例的表示。
图3C描绘内插以获得在图3A的多二极管微透镜下方的值的另一实例的表示。
图4A描绘用于相位检测图像传感器的彩色滤光片、单二极管微透镜和多二极管微透镜的另一实例布置。
图4B描绘用于相位检测图像传感器的彩色滤光片和多二极管微透镜的实例布置。
图5描绘使用具有多二极管微透镜的传感器进行的实例相位检测自动聚焦过程的高阶概述。
图6描绘说明配备有相位检测自动聚焦装置和技术的成像系统的实例的示意性框图。
具体实施方式
引言
本发明的实施例涉及通过使用经形成以在图像传感器(在本文中称为多像素微透镜或多二极管微透镜)中的邻近二极管之上延伸的微透镜的用于无掩模相位检测像素的系统和技术。在多像素微透镜下方的相位差检测像素经提供以获得指示图像焦点的偏移方向(离焦方向)和偏移量(离焦量)的相位差信号。
与亮度减小的被掩蔽相位检测像素相比，使用此类多像素微透镜允许相位检测像素的全亮度，即，相对于邻近成像像素的类似亮度。此可产生伪影与使用具有被掩蔽相位检测像素的传感器产生的图像相比有所减少的最终图像，且还可在低光设定中产生相位检测自动聚焦的更好性能。此类多像素微透镜还提供极接近于彼此，例如直接邻近的左与右相位检测像素，从而提供比隔开的传统被掩蔽相位检测像素更准确的相位检测信息，以减少最终图像中的伪影。
根据本文中所描述的设计，可选择放置在多像素微透镜与对应二极管之间的彩色滤光片以使相同波长的光通过。放置在单像素微透镜与对应二极管之间的彩色滤光片可遵循标准拜耳图案。通过仅使单种色彩在每一多像素微透镜“下方”，与具有多个彩色滤光片色彩在多像素微透镜下方的传感器相比，可更准确地计算像素色彩值。在一个实施例中，可选择安置在多像素微透镜与对应二极管之间的彩色滤光片以使绿光通过。因此，绿色校正无足轻重，且所得图像数据不会由于具有有缺陷的或缺失的绿色像素信息而失去任何绿色像素信息，因为绿色像素对于人类视觉特别重要。
因为在多像素微透镜下方的彩色滤光片全部使相同色彩的光(例如绿色)通过，因此这些绿色彩色滤光片中的一些从拜耳图案偏离，因此产生原本将根据拜耳图案存在于特定位置的“缺失”彩色滤光片。在一些实施例中，被多像素微透镜下方的绿色彩色滤光片替换的缺失彩色滤光片可为蓝色滤光片，因为图像数据的蓝色通道对于人类视觉的质量最不重要。另外，通过仅提供对标准拜耳图案的极小修改(即，在多像素微透镜的位置)，所得图像数据将可用于常规解马赛克算法。可内插缺失色彩值，且可使用经内插的值来建构最终图像。此可涉及基于拜耳图案识别缺失色彩是否对应于蓝色像素位置或红色像素位置。
在各种实施方案中，多像素微透镜可形成于行或列中的两个邻近像素之上，或可形成于四个邻近像素的2×2分组之上。使用2×2像素微透镜可允许自动聚焦算法检查多个方向：其可组合以产生左/右、上/下和对角线以改善在所有定向上到边缘的稳健性。多种图案可用于布置个别微透镜、两像素微透镜和2×2像素微透镜。在一些实施例中，2×1微透镜可大致为2μm乘1μm，这取决于图像传感器中的二极管的大小。在一些实施例中，2×2微透镜可大致为2μm乘2μm，这取决于图像传感器中的二极管的大小。
如本文所使用，描述像素或彩色滤光片的红色、绿色和蓝色是指大致遵循人类眼睛中的色彩受体的波长范围。如所属领域的技术人员将了解，限定光的色彩(例如，红光、绿光和蓝光)的确切开始和结束波长(或电磁光谱的部分)通常并不限定为单个波长。每一彩色滤光片可具有在可见光谱内的光谱响应功能，且由于将彩色滤光片放置在图像传感器的一部分之上而产生的每一色彩通道可具有典型的人类响应功能。图像传感器滤波器响应近乎相同，然而可从传感器到传感器而改变。如本文所描述的用来俘获相位检测自动聚焦信息的图像传感器可与彩色滤光片阵列(CFA)或彩色滤光片嵌合体(CFM)结合使用。此类彩色滤光片将可见范围中的所有入射光分解成红色、绿色和蓝色类别以将所分解的光引导到图像传感器上的专用红色、绿色或蓝色光电二极管接受器。由此，彩色滤光片的波长范围可确定由所俘获图像中的每一色彩通道表示的波长范围。因此，在各种实施例中，图像的红色通道可对应于彩色滤光片的红色波长区，且可包含一些黄色和橙色光，范围在大致570nm到大致760nm。在各种实施例中，图像的绿色通道可对应于彩色滤光片的绿色波长区，且可包含一些黄光，范围在大致570nm到大致480nm。在各种实施例中，图像的蓝色通道可对应于彩色滤光片的蓝色波长区，且可包含一些紫光，范围在大致490nm到大致400nm。
尽管本文中主要在相位检测自动聚焦的上下文中进行论述，但本文中所描述的相位检测图像传感器和技术可用于其它上下文，例如产生立体图像对或集合。
下文将出于说明的目的结合图式描述各种实施例。应了解，所揭示概念的许多其它实施方案是可能的,且可以所揭示实施方案实现各种优点。出于参考目的及为了辅助定位各个章节，本文中包含一些标题。这些标题不意欲限制关于其描述的概念的范围。此类概念可在整个说明书中都适用。
实例相位检测微透镜和彩色滤光片布置的概述
图1A描绘包含如本文所描述的多二极管微透镜110的实例传感器部分100的示意图。所述传感器部分包含单二极管微透镜105A、105B，多二极管微透镜110，彩色滤光片115A到115D，和光电二极管(“二极管”)120A到120D。多二极管微透镜110经设定大小和定位而使得来自目标场景的入射光传播穿过多二极管微透镜110，随后入射在由多二极管微透镜110覆盖的二极管120B、120C上。
举例来说，二极管可为形成于半导体衬底中，例如形成于互补金属氧化物半导体(CMOS)图像传感器中的光电二极管。如本文中所使用，二极管是指将入射光转化为电流的任何材料、半导体、传感器元件或其它装置的单个单元。如本文所使用，术语“像素”由于例如彩色滤光片或微透镜等邻近光学元件而在其感测功能性的上下文中可指单个二极管。因此，尽管“像素”通常可指显示图片元件，但如本文所使用，“像素”可指接收光且产生信号的传感器(例如，光电二极管)，所述信号如果显现在显示器上，则可显示为由所述传感器(和多个其它传感器)俘获的图像中的点。例如CMOS或电荷耦合(CCD)装置中的传感器阵列的个别单元或感测元件还可称为感测点(sensels)。
彩色滤光片115A到115D充当波长选择性通过滤光片，且将可见范围中的入射光分解成红色、绿色和蓝色范围(如由贯穿各图使用的R、G和B记法所指示)。光通过仅允许特定所选波长通过彩色滤光片115A到115D而被“分解”。经分解的光由图像传感器上的专用红色、绿色或蓝色二极管120A到120D接收。尽管常常使用红色、蓝色和绿色彩色滤光片，但在其它实施例中，彩色滤光片可根据所俘获图像数据的色彩通道要求而变化，例如包含紫外线、红外线或近红外通过滤光片。
每一单二极管微透镜105A、105B定位于单个彩色滤光片115A、115D和单个二极管120A、120D之上。二极管120A、120D因此提供成像像素信息。多二极管微透镜110定位于两个邻近彩色滤光片115B、115C和两个对应邻近二极管120B、120C之上。二极管120B、120C因此通过二极管120B接收在第一方向上进入多二极管微透镜110的光且二极管120C接收在第二方向上进入多二极管微透镜110的光而提供相位检测像素信息。在一些实施例中，多二极管微透镜110可为具有圆形周界的平凸透镜，所述至少一个多二极管微透镜经设定大小以使光传到所述多个二极管中的二极管的2×2群集。在其它实施例中，多二极管微透镜110可为具有椭圆形周界的平凸透镜，所述至少一个多二极管微透镜经设定大小以使光传到所述多个二极管中的二极管的2×1群集。
如本文中所使用，“之上”和“上方”是指结构(例如，彩色滤光片或透镜)的位置，使得从目标场景入射的光传播穿过结构，随后其到达(或入射到)另一结构上。为了说明，微透镜阵列105A、110、105B定位于彩色滤光片阵列115A到115D上方，所述彩色滤光片阵列定位于二极管120A到120D上方。因此，来自目标场景的光首先通过微透镜阵列105A、110、105B，接着通过彩色滤光片阵列115A到115D，且最终入射在二极管115A到115D上。
将微透镜放置在每一光电二极管120A到120D上方使光重定向且聚焦到有效检测器区上。每一微透镜可通过将呈液体形式的透镜材料滴到彩色滤光片115A到115D(所述透镜材料在所述彩色滤光片上凝固)上而形成。在其它实施例中，晶片级光学件可用来使用类似半导体的技术产生微透镜的一维或二维阵列，其中阵列中的微透镜的第一子集包含单二极管微透镜，且阵列中的微透镜的第二子集包含多二极管微透镜。如由单二极管微透镜105A、105B和多二极管微透镜110所说明，每一微透镜可为具有一个平坦表面和用以折射光的一个球面凸表面的单个元件。微透镜的其它实施例可使用非球面表面，且一些实施例可使用若干层光学材料来实现其设计性能。
在一些实施例中，在单二极管微透镜105A、105B下方的彩色滤光片115A、115D可根据拜耳图案而定位。因此，彩色滤光片115A为红色滤光片或蓝色滤光片，而彩色滤光片115D为绿色滤光片。对于单二极管微透镜下方的二极管120A、120B、120D和其它二极管保持拜耳图案可提供计算益处，例如使得能够对所俘获图像数据使用广泛的解马赛克技术。拜耳图案为用于将RGB彩色滤光片布置在光传感器的矩形栅格上的特定图案。拜耳图案的彩色滤光片的特定布置用于数码相机、摄录影机和扫描仪中所使用的大部分单芯片数字图像传感器中以产生彩色图像。拜耳图案为50％绿色、25％红色和25％蓝色，其中重复的红色和绿色滤光片的行与重复的蓝色和绿色滤光片的行交替。
尽管在本文中在拜耳图案布置的上下文中描述单二极管微透镜105A、105B定位在其之上的彩色滤光片，但此类彩色滤光片可布置成50％绿色滤光片、25％蓝色滤光片和25％红色滤光片的其它图案、包含的绿色滤光片比蓝色或红色滤光片多的其它图案或绿色滤光片大体为蓝色或红色滤光片的两倍多的其它图案。在一些实施例中，彩色滤光片还可根据其它彩色滤光片图案而定位，例如经设计用于与用于使可见光谱外部的光通过的全色二极管(对所有可见波长敏感)和/或彩色滤光片一起使用的彩色滤光片图案。
如对于绿色滤光片115C所描绘，定位在多二极管微透镜110下方的彩色滤光片115B、115C中的至少一些可不同于原本将根据拜耳图案而定位于所述位置中的彩色滤光片。如在所说明的实施例中，可选择多二极管微透镜110与对应二极管120B、120C之间的彩色滤光片115B、115C以使绿光通过。因此，绿色校正无足轻重，因为可通过组合来自二极管120B、120C的值来重构全绿色像素。由此，所得图像数据不会由于具有有缺陷的或缺失的绿色像素信息而失去任何绿色通道信息，因为绿色通道对于人类视觉特别重要。一个可能关注点为此中心绿色位置可从拜耳图案中的原始绿色像素位置水平地偏移1/2像素，然而，此偏移可能不会对最终图像的质量具有明显影响。提供组合来自二极管120B、120C的值的实例以解释用于经由简单内插(求和)来执行绿色校正的一个过程，然而，在其它实施例中，可经由高阶绿色内插(使用预定义邻域中的额外绿色像素)来执行绿色校正。
在一些实施例中，由多像素微透镜下方的绿色滤光片115C替换的“缺失”彩色滤光片可为蓝色滤光片，因为图像数据的蓝色通道对于人类视觉的质量最不重要。在其它实施例中，绿色滤光片115C可处于如果不因多二极管微透镜110中断彩色滤光片图案则红色彩色滤光片原本将处于的位置。此类彩色滤光片选择可用于例如经设计用于常用摄影应用的图像传感器中。在用于其它应用的图像传感器中，图像数据色彩通道和色彩通道重要性可能变化，且彩色滤光片选择可相应地变化。
图1A描绘(短划)线130，其应理解为并非物理结构，而实际上经描绘以说明由多二极管微透镜110提供的相位检测能力。线130通过多二极管微透镜110的光学中心，且正交地通到由彩色滤光片115A到115D的彩色滤光片阵列形成的平面。在多二极管微透镜为2×1微透镜的情况下，多二极管微透镜110经形成而使得在第一方向上入射(即，从线130的一个侧进入多二极管微透镜110)的光L(x)收集在第一二极管120B中。在第二方向上入射(即，从线130的另一侧进入多二极管微透镜110)的光收集在第二二极管120C中。因此，从二极管120B、120C接收的数据可用于相位检测。在多二极管微透镜为2×2微透镜的情况下，多二极管微透镜110经形成而使得在四个方向(其中一方向被视为光通过多二极管微透镜110的四分之一)上入射的光L(x)入射在四个二极管上。
图1B到1D描绘穿过主透镜150，接着穿过多二极管微透镜110，随后入射在一对相位检测二极管120B、120C上的光的实例光线迹线。将了解，主透镜150和多二极管微透镜110的尺寸未按比例展示。多二极管微透镜110的直径可大致等于横跨图像传感器的两个邻近二极管的距离，而主透镜150的直径可等于或大于图像传感器的宽度(沿二极管的行或列的距离)。
具体地说，图1B描绘焦点内条件的实例光线迹线，图1C描绘聚焦前条件的实例光线迹线，且图1D描绘聚焦后条件的实例光线迹线。光从目标场景中的点160行进，行进穿过用于将目标场景聚焦到包含相位检测二极管120B、120C的图像传感器上的透镜150，且通过多二极管微透镜110，随后入射在相位检测二极管120B、120C上。如所说明，二极管120B从主透镜150的左方向接收光L(x)，且二极管120C从主透镜150的右方向接收光R(x)。在一些实施例中，来自左方向的光L(x)可为来自主透镜150的左半部(在图1B到1C的说明中描绘为下半部)的光，且来自右方向的光R(x)可为来自主透镜150的右半部(在图1B到1C的说明中描绘为上半部)的光。因此，跨越图像传感器与成像二极管交错的数个相位检测二极管可用来提取从成像二极管所俘获的中心图像偏移的左图像和右图像。并非右和左，其它实施例可使用上和下图像、对角图像或左/右、上/下和对角图像的组合来计算自动焦点调整。
在图像处于焦点内时，左光线L(x)与右光线R(x)在相位检测二极管115B、115C的平面处会聚。如图1C和1D中所说明，在前和后离焦位置中，光线分别会聚在二极管的平面的前部与后部。如上文所描述，来自相位检测二极管的信号可用来产生在前或后离焦位置从中心图像偏移的左和右图像，且偏移量可用来确定主透镜150的自动焦点调整。主透镜150可取决于焦点处于对象之前(较接近于图像传感器)还是对象之后(距图像传感器较远)而向前(朝向图像传感器)或向后(远离图像传感器)移动。因为自动聚焦过程可算出移动主透镜150的方向和量，因此相位差自动聚焦可非常快速地聚焦。
图2描绘使用图1A的实例多二极管微透镜进行相位检测的示意性实例。图2说明图像传感器可包含其它相位检测位置，如由具有额外单二极管微透镜105C、105D，额外多二极管微透镜125，额外彩色滤光片115E-H和额外二极管120E-H所展示。
入射光由箭头表示，且应理解为是从目标场景入射。如本文中所使用，“目标场景”是指具有反射或发出由图像传感器感测的光或可由图像传感器检视的任何其它现象的物体的任何场景或区域。来自目标场景的光朝向二极管120A到120H传播，且在首先通过微透镜且接着通过彩色滤光片阵列之后入射在二极管上。
为执行相位检测，成像系统可保存仅含有从相位检测二极管120B、120C、120F、120G接收的值的两个图像：用于左侧数据的图像L(x)和用于右侧数据的图像R(x)。二极管120B接收从左侧方向进入多二极管微透镜110的光，且二极管120C接收从右侧方向进入多二极管微透镜110的光。类似地，二极管120F接收从左侧方向进入多二极管微透镜125的光，且二极管120G接收从右侧方向进入多二极管微透镜125的光。基于平衡以下考虑因素，任何数目个多二极管微透镜可安置在图像传感器上，范围从传感器的一个到全部微透镜：较多的多二极管微透镜提供更可靠的相位检测自动聚焦数据，但需要较大计算量用于像素值计算且还会增大最终图像中出现伪影的可能性。
可通过对表示左图像和右图像的数据应用交叉相关函数来计算焦点。如果两个图像之间的距离比焦点内条件中的对应距离窄，则自动聚焦系统确定焦点处于对象之前。如果所述距离比参考值宽，则系统确定焦点在对象后方。自动聚焦系统可计算透镜位置(或传感器位置，在具有可移动传感器的实施例中)应移动的程度和方向，且将此信息提供到透镜致动器以相应地移动透镜，从而提供快速聚焦。在一些实例中，上述过程可由图6的图像信号处理器620执行。
图3A描绘用于如本文所描述的相位检测图像传感器300的彩色滤光片305、310、315，单二极管微透镜320和多二极管微透镜325的实例布置。仅说明传感器300的一部分，且此部分可跨越传感器阵列重复或散置在拜耳图案中的所选相位检测位置中，这取决于相位检测像素的数目与图像质量之间的所需平衡。
如所说明，数个绿色滤光片305、红色滤光片310和蓝色滤光片315在数个单二极管微透镜320下方布置成拜耳图案。一旦使用参考数字305、310或315则指代每一彩色滤光片，且每一彩色滤光片为说明简单起见而贯穿图3A到3C的其余部分使用G、R或B来展示。然而，在多二极管微透镜320的位置处，拜耳图案中断，且额外绿色滤光片插入于右(R)相位检测像素的位置处。由此，在右相位检测像素的位置处存在“缺失”的红色滤光片。在所说明的实施例中，右相位检测像素绿色滤光片替换根据拜耳图案原本将为红色滤光片的滤光片。在其它实施例中，相位检测像素绿色滤光片可替换蓝色滤光片。
图3B描绘内插图3A的多二极管微透镜325下方的值的实例的表示。在一些实施例中，此类内插可提供像素值(表示相位检测像素的色彩和亮度)以用于输出到解马赛克过程供用于产生目标场景的最终图像，且可由图6的图像信号处理器620执行。
如所说明，可通过对微透镜325下方的左和右相位检测像素的绿色值进行求和来确定左相位检测像素(L)值。经求和绿色值指派给左相位检测像素，因为用来将彩色滤光片布置在单二极管微透镜下方的拜耳图案在左相位检测像素的位置中指定绿色像素。经求和绿色值的小相移可提供改善的绿色混叠。因此，绿色补偿无足轻重，这意味着其不需要详尽的计算，且在一些实施例中甚至可在传感器上执行。在一些实施例中，经求和值可除以在微透镜下方的二极管的数目(此处，二)以获得绿色值。
如所说明，可通过使用两个靠近的红色像素值(从在红色滤光片下方的二极管接收的值)进行内插来确定右相位检测像素值。两个水平定位的红色像素被说明为用于内插，然而，替代地或另外，可使用两个竖直定位的红色像素。经内插的值指派给右相位检测像素，因为用来将彩色滤光片布置在单二极管微透镜下方的拜耳图案在右相位检测像素的位置中指定红色像素。
在一些实施例中，如所描绘用于图3B的绿色值和缺失像素值的水平内插不需要任何线缓冲器，可在标准解马赛克过程之前进行，且可甚至在传感器上执行。
图3C描绘内插在图3A的多二极管微透镜325下方的值的另一实例的表示，且在一些实施例中可由图6的图像信号处理器620执行。此处，从在右相位检测像素处于其中心的5×5邻域中的红色滤光片下方的八个二极管接收的红色值(称为“红色像素值”)用来内插“缺失”红色像素值。在其它实施方案中，来自周围二极管的不同预定邻域的数据可用于内插，例如四个相邻红色像素值。尽管图3B和3C呈现用于内插缺失像素色彩值的两个选项，但其它内插技术可为合适的，例如使用更多或更少数目的像素值用于内插。另外，在一些实施例中，具有“缺失”彩色滤光片的像素可指定为有缺陷像素，且可使用有缺陷像素补偿过程来确定其值。
关于使用哪些相邻像素用于计算“缺失”像素值的决策可预先确定，或可适应性地选自一系列预先识别的替代例，例如基于所计算的边缘数据。
图4A描绘用于如本文所描述的相位检测图像传感器的绿色滤光片405、红色滤光片410、蓝色滤光片415、单二极管微透镜420和多二极管微透镜425的另一实例布置400A。在单二极管微透镜420下方的彩色滤光片布置成拜耳图案。此处，多二极管微透镜425定位于彩色滤光片的2×2群集和相关联二极管之上。根据本发明的彩色滤光片布置，选择在多二极管微透镜425下方的所有四个彩色滤光片使相同波长(或波长范围)的光选择，此处描绘为绿光。
因为多二极管微透镜425覆盖2×2群集，因此下方的相位检测像素可用来形成多个对，例如两个左-右对提供左相位图像数据和右相位图像数据，或两个上-下对提供上相位图像数据和下相位图像数据。还可使用对角对。在一些实施例中，稳健的相位检测聚焦过程可使用左-右和上-下或左-右、上-下和对角相位检测对数据用于计算自动聚焦。此举可改善相位检测自动聚焦过程在所有方向上到边缘的稳健性。举例来说，具有所有竖直边缘(考虑包含桥墩的标塔的目标场景的实例)的图像可能缺乏从图3A到3C的配置接收的显著的左-右相位检测信息，然而，通过使用多二极管微透镜425，相位检测可在所有方向上到边缘变得稳健。
在输出色彩值以用于解马赛克以产生最终图像时，根据依据拜耳图案而存在于单二极管微透镜下方的那些位置所预测的“缺失”色彩，右上方相位检测像素可具有经内插红色色彩值，且左下方相位检测像素可具有经内插蓝色色彩值。可使用从接收来自多二极管微透镜425的光的二极管中的一些或全部接收的绿色值来计算用于左上方相位检测像素和右下方相位检测像素的绿色值。举例来说，可通过对来自在多二极管微透镜425下方的所有四个二极管的值进行求和来计算累积绿色值。可基于所述累积绿色值和到绿色位置的三个直接绿色对角相邻者来内插在多二极管微透镜425下方的每一绿色位置(如从拜耳图案确定)的值。可例如分别基于四个最接近的红色和蓝色相邻者或基于较大预定邻域来内插在多二极管微透镜425下方的红色和蓝色位置。
图4B描绘用于如本文所描述的相位检测图像传感器的绿色滤光片405、红色滤光片410、蓝色滤光片415和多二极管微透镜425的实例布置400B。在图4B的布置400B中，不存在单二极管微透镜。每一2×2多二极管微透镜425仅具有定位在其下方的单个色彩的彩色滤光片，使得多二极管微透镜425下方的所有二极管接收相同波长的光。每一多二极管微透镜425提供上文相对于图4A所论述的相同的多方向相位检测益处。另外，此类圆形多二极管微透镜425可能比2×1椭圆形透镜更容易经由将液体透镜材料液滴放置到彩色滤光片阵列上以硬化为微透镜的纳米制造技术制造得具有所需光学质量。在一些实施例中，每一多二极管微透镜425可具有在0.9μm与1.1μm之间的直径。
一般来说，对于传感器制造，不预期像素大小会显著缩小，因为当前像素大小已经达到衍射限制。基于此当前传感器，预期外观尺寸有效分辨率不会增大。然而，CMOS制造工艺仍然在不断改善。来自改善的制造的额外缩小逻辑可用于使用具有图4B的布置400B的传感器实施多二极管相位检测方案。举例来说，图像传感器总线速度仍然可增大，且可用来从传感器传送更多数据。多二极管微透镜425中的每一个下方的四个二极管可使用共享读出架构的4像素逻辑。
图4B中的彩色滤光片群集布置得类似于拜耳图案，使得由多二极管微透镜425限定的群集遵循拜耳图案。因此，在输出色彩值以用于解马赛克时，没有“缺失”像素值需要内插，且没有伪影需要校正。可通过对从在多二极管微透镜425中的每一个下方的二极管接收的值进行求和来产生规则拜耳图案。
实例相位检测自动聚焦过程的概述
图5描绘使用具有本文中所描述的多二极管微透镜的传感器进行的实例相位检测自动聚焦过程500的高阶概述。在一个实施例中，过程500可在传感器上执行。在其它实施方案中，过程500可涉及一或多个处理器，例如图6的图像信号处理器620。表示目标场景505的光通过透镜组合件510且由图像传感器接收，其中使用上文所描述的多二极管微透镜产生半图像样本515。因为透镜组合件510和传感器的尺寸大于光波的长度，因此透镜组合件510可建模为具有对称脉冲响应的线性低通滤波器，其中透镜组合件510的脉冲响应(也称为点扩散函数)具有矩形形状，其中宽度参数和传感器与图像平面之间的距离成比例。在传感器处于图像平面(即来自场景处的单个点的所有光线会聚为单个点的平面)中时，场景“在焦点内”。如图2中所展示，半图像样本可保存仅含有来自相位检测像素的信息的两个图像。半图像可视为具有透镜组合件510的左和右(或，在其它实例中，上和下)脉冲响应的目标场景的卷积。在使用图4A和4B的布置的传感器实施例中，可保存更多部分图像。
聚焦函数计算器520将交叉相关函数应用于所述部分图像以确定视差。透镜组合件510的左和右脉冲响应的交叉相关函数可大致对称且为单峰的，然而，由于目标场景505的性质，应用于左和右所俘获图像的交叉相关函数可能具有一或多个假局部极大值。各种方法可用来识别交叉相关函数的真最大值。交叉相关函数的结果提供为到自动聚焦控件525的反馈，自动聚焦控件可用来驱动透镜致动器以将主要聚焦透镜组合件510移动到所需焦点位置。其它实施例可使用静止主要聚焦透镜组合件且将图像传感器移动到所需焦点位置。因此，在相位检测自动聚焦过程500中，聚焦等效于搜索交叉相关函数最大值。此为可以足够快速地完成以按典型帧率(例如30帧每秒)提供每一帧的焦点调整的快速过程，且因此可用来提供平滑自动聚焦以用于视频俘获。一些实施方案组合相位检测自动聚焦与基于对比度的自动聚焦技术，例如以增大准确度。
在主要聚焦透镜组合件和/或图像传感器处于所需焦点位置时，图像传感器可俘获焦点内成像像素信息和相位检测像素信息，且如上文所描述，计算并内插相位检测像素的色彩值。可输出所述成像像素值和所确定的相位检测像素值以用于解马赛克且任选地用于其它图像处理技术以产生目标场景的最终图像。
实例相位检测自动聚焦过程的概述
图6说明具有多光谱光阑验证能力的图像俘获装置600的实施例的高阶示意性框图，图像俘获装置600具有包含链接到相位检测自动聚焦相机615的图像信号处理器620的一组组件。图像信号处理器620还与工作存储器605、存储器630和装置处理器650通信，所述装置处理器又与存储模块610和任选的电子显示器625通信。
图像俘获装置600可为携带型个人计算装置，例如移动电话、数码相机、平板电脑、个人数字助理等。存在使用如本文所描述的相位检测自动聚焦技术将提供优点的许多便携式计算装置。图像俘获装置600还可为静止计算装置或多光谱光阑验证技术将有利的任何装置。用户可获得图像俘获装置600的多个应用。这些应用可包含传统摄影和视频应用以及数据存储应用和网络应用。
图像俘获装置600包含用于俘获外部图像的相位检测自动聚焦相机615。相位检测自动聚焦相机615可包含具有根据上述实施例而布置的多二极管微透镜和彩色滤光片的图像传感器。相位检测自动聚焦相机615还可具有可至少部分地基于从图像信号处理器620接收的数据而定位以产生目标场景的焦点内图像的主要聚焦机构。在一些实施例中，主要聚焦机构可为经定位以使来自目标场景的光传到传感器的可移动透镜组合件。在一些实施例中，主要聚焦机构可为用于移动传感器的机构。
相位检测自动聚焦相机615的传感器在不同实施方案中可具有不同处理功能性。在一个实施方案中，传感器可不处理任何数据，且图像信号处理器620可执行所有需要的数据处理。在另一实施方案中，传感器可能能够将相位检测像素例如提取到单独的移动行业处理器界面(MIPI)通道中。另外，传感器可额外能够内插例如RAW通道中的缺失像素值。在一些实施方案中，传感器可额外能够内插例如正常通道中的缺失像素值，且可能能够在内部(在传感器上)处理整个相位检测计算。举例来说，传感器可包含用于对从二极管接收的值执行求和、相减和/或比较的模拟电路。如本文所描述的成像设备可包含能够执行所有相位检测计算的图像传感器或能够与图像信号处理器620和/或装置处理器650一起执行一些处理或不执行处理的图像传感器。
图像信号处理器620可被配置成对所接收的图像数据执行各种处理操作以便执行相位检测自动聚焦和图像处理技术。图像信号处理器620可为通用处理单元或经专门设计以用于成像应用的处理器。图像处理操作的实例包含解马赛克、白平衡、交叉干扰降低、裁剪、缩放(例如，到不同分辨率)、图像拼接、图像格式转换、色彩内插、色彩处理、图像滤波(例如，空间图像滤波)、透镜假影或缺陷校正，等。图像信号处理器620还可控制例如自动聚焦和自动曝光等图像俘获参数。在一些实施例中，图像信号处理器620可包括多个处理器。图像信号处理器620可为一或多个专用图像信号处理器(ISP)或处理器的软件实施方案。在一些实施例中，图像信号处理器620对于相位检测操作可为任选的，因为相位检测操作中的一些或全部可在图像传感器上执行。
如图所示，图像信号处理器620连接到存储器630和工作存储器605。在所说明的实施例中，存储器630存储俘获控制模块635、相位检测自动聚焦模块640和操作系统模块645。存储器630的模块包含配置装置处理器650的图像信号处理器620以执行各种图像处理和装置管理任务的指令。工作存储器605可由图像信号处理器620用来存储含于存储器的模块中的处理器指令的工作集合。或者，工作存储器605还可由图像信号处理器620用来存储在图像俘获装置600的操作期间产生的动态数据。
如上文所提及，图像信号处理器620通过存储在存储器中的若干模块加以配置。俘获控制模块635可包含配置图像信号处理器620以例如响应于在相位检测自动聚焦技术期间产生的指令而调整相位检测自动聚焦相机615的焦点位置的指令。俘获控制模块635可进一步包含控制图像俘获装置600的总体图像俘获功能的指令。举例来说，俘获控制模块635可包含调用子例程以配置图像信号处理器620来使用相位检测自动聚焦相机615俘获包含目标场景的一或多个帧的多光谱图像数据的指令。在一个实施例中，俘获控制模块635可调用相位检测自动聚焦模块240来计算实现所需自动聚焦位置所需要的透镜或传感器移动且将所需移动输出到成像处理器220。俘获控制模块635可调用相位检测自动聚焦模块240以内插定位在多像素微透镜下方的像素的色彩值。
因此，相位检测自动聚焦模块640可存储用于执行相位检测自动聚焦的指令。相位检测自动聚焦模块640还可存储用于计算相位检测像素的色彩值且基于相位检测像素值和成像像素值产生图像的指令。
操作系统模块645配置图像信号处理器620以管理图像俘获装置600的工作存储器605和处理资源。举例来说，操作系统模块645可包含装置驱动程序以管理例如相位检测自动聚焦相机615等硬件资源。因此，在一些实施例中，含于上文所论述的图像处理模块中的指令可能并不直接与这些硬件资源交互，而改为经由标准子例程或位于操作系统组件650中的API进行交互。操作系统645的指令可接着直接与这些硬件组件交互。操作系统模块645可进一步配置图像信号处理器620以与装置处理器650共享信息。
装置处理器650可经配置以控制显示器625以向用户显示所俘获图像或所俘获图像的预览。显示器625可在成像装置200外部，或可为成像装置200的部分。显示器625还可经配置以提供取景器，所述取景器显示预览图像以供在俘获图像之前使用，例如辅助用户对准图像传感器视场与用户的眼睛，或可经配置以显示存储在存储器中或最近由用户俘获的所俘获图像。显示器625可包括LCD、LED或OLED屏幕，且可实施触敏技术。
装置处理器650可将数据写入到存储模块610，例如表示所俘获图像的数据和在相位检测和/或像素值计算期间产生的数据。在存储模块610示意性地表示为传统磁盘装置时，存储模块610可配置为任何存储媒体装置。举例来说，存储模块610可包含磁盘驱动器，例如光盘驱动器或磁光盘驱动器，或固态存储器，例如闪存存储器、RAM、ROM和/或EEPROM。存储模块610还可包含多个存储器单元，且所述存储器单元中的任一个可经配置以在图像俘获装置600内，或可在图像俘获装置600外部。举例来说，存储模块610可包含含有存储于图像俘获装置600内的系统程序指令的ROM存储器。存储模块610还可包含经配置以存储所俘获图像、可从相机移除的存储器卡或高速存储器。存储模块610也可在图像俘获装置600外部，且在一个实例中，图像俘获装置600可将数据无线地发射到存储模块610，例如经由网络连接。在此类实施例中，存储模块610可为服务器或其它远程计算装置。
尽管图6描绘图像俘获装置600具有单独的组件以包含处理器、成像传感器和存储器，但所属领域的技术人员将认识到，这些单独组件可以多种方式组合以实现特定设计目的。举例来说，在替代实施例中，存储器组件可与处理器组件组合，例如以节约成本及/或改善性能。
另外，尽管图6说明包含包括若干模块的存储器630及包括工作存储器605的单独存储器组件的两个存储器组件，但所属领域的技术人员将认识到利用不同存储器架构的若干实施例。举例来说，设计可利用ROM或静态RAM存储器以用于存储实施含于存储器630中的模块的处理器指令。可将处理器指令加载到RAM中以便于由图像信号处理器620执行。举例来说，工作存储器605可包括RAM存储器，其中指令在由图像信号处理器620执行之前被加载到工作存储器605中。
实施系统及术语
本文中所揭示的实施方案提供用于无掩模相位检测自动聚焦的系统、方法及设备。所属领域的技术人员将认识到，这些实施例可实施于硬件、软件、固件或其任何组合中。
在一些实施例中，可在无线通信装置中利用上文所论述的电路、过程和系统。无线通信装置可为一种用于以无线方式与其它电子装置通信的电子装置。无线通信装置的实例包含蜂窝电话、智能手机、个人数字助理(PDA)、电子读取器、游戏系统、音乐播放器、上网本、无线调制解调器、膝上型计算机、平板电脑装置等。
无线通信装置可包含：一或多个图像传感器；一或多个图像信号处理器；以及存储器，其包含用于实施上文所论述的过程的指令或模块。装置还可具有数据、从存储器加载指令和/或数据的处理器、一或多个通信接口、一或多个输入装置、一或多个输出装置(例如，显示装置)和电源/接口。无线通信装置可另外包含传输器和接收器。发射器和接收器可共同被称作收发器。收发器可耦合到一或多个天线以用于发射和/或接收无线信号。
所述无线通信装置可无线地连接到另一电子装置(例如，基站)。无线通信装置可替代地被称作移动装置、移动台、订户台、用户装备(UE)、远程站、接入终端、移动终端、终端、用户终端、订户单元等。无线通信装置的实例包括膝上型计算机或台式计算机、蜂窝电话、智能电话、无线调制解调器、电子阅读器、平板电脑装置、游戏系统等。无线通信装置可根据例如第三代合作伙伴计划(3GPP)等一或多个业界标准来操作。因此，通用术语“无线通信装置”可包含根据业界标准的不同命名法所描述的无线通信装置(例如，接入终端、用户装备(UE)、远程终端等)。
可将本文中所描述的功能作为一或多个指令而存储在处理器可读或计算机可读媒体上。术语“计算机可读媒体”是指可由计算机或处理器存取的任何可用媒体。借助于实例而非限制，此类媒体可包括RAM、ROM、EEPROM、快闪存储器、CD-ROM或其它光盘存储装置、磁盘存储装置或其它磁性存储装置或任何其它可用来存储指令或数据结构的形式的期望程序代码并且可由计算机存取的媒体。如本文中所使用，磁盘及光盘包含压缩光盘(CD)、激光光盘、光学光盘、数字多功能光盘(DVD)、软性磁盘及Blu-光盘，其中磁盘通常以磁性方式再现数据，而光盘利用激光以光学方式再现数据。应注意，计算机可读媒体可为有形且非暂时性的。术语“计算机程序产品”是指计算装置或处理器，其与可由计算装置或处理器执行、处理或计算的代码或指令(例如，“程序”)组合。如本文中所使用，术语“代码”可指可由计算装置或处理器执行的软件、指令、代码或数据。
本文中所揭示的方法包括用于实现所描述方法的一或多个步骤或动作。在不脱离权利要求书的范围的情况下，方法步骤和/或动作可以彼此互换。换句话说，除非正描述的方法的适当操作需要步骤或动作的特定次序，否则，在不脱离权利要求书的范围的情况下，可修改特定步骤及/或动作的次序及/或使用。
应注意，如本文中所使用，术语“耦合(couple、coupling、coupled)”或词语耦合的其它变体可指示间接连接或者直接连接。举例来说，如果第一组件“耦合”到第二组件，那么第一组件可间接连接到第二组件或者直接连接到第二组件。如本文所使用，术语“多个”指示两个或两个以上。举例来说，多个组件指示两个或更多个组件。
术语“确定”涵盖多种多样的动作，且因此“确定”可以包含计算、运算、处理、导出、调查、查找(例如，在表、数据库或另一数据结构中查找)、查实及类似者。而且，“确定”可包含接收(例如，接收信息)、存取(例如，存取存储器中的数据)等。而且，“确定”可包含分辨、选择、挑选、建立等等。
除非另外明确地指定，否则短语“基于”并不意味着“仅基于”。换句话说，短语“基于”描述“仅基于”与“至少基于”两者。
在以下描述中，给出特定细节以提供对实例的透彻理解。然而，所属领域的技术人员将理解，可在没有这些具体细节的情况下实践所述实例。举例来说，可在框图中展示电组件/装置，以免用不必要的细节混淆所述实例。在其它实例中，可详细展示此些组件、其它结构和技术以进一步解释所述方面。因此，本发明并不希望限于本文中所展示的实施方案，而是应符合与本文中所揭示的原理和新颖特征一致的最广范围。

Claims (30)

1.一种图像俘获装置，其包括：
图像传感器，其包括
多个用于感测来自目标场景的光的二极管；
彩色滤光片阵列，其安置在所述多个二极管上方，所述彩色滤光片阵列包括各自定位于所述多个二极管中的一个之上的多个彩色滤光片；
多个单二极管微透镜，其各自定位于所述多个彩色滤光片中的一个上方，所述多个彩色滤光片对应于所述多个单二极管微透镜、布置成拜耳图案；
用于相位差检测的多个多二极管微透镜，所述多个多二极管微透镜中的每一多二极管微透镜定位于所述多个彩色滤光片中的至少两个邻近彩色滤光片上方，所述至少两个邻近彩色滤光片中的每一个经配置以使相同波长的光通过，且经形成而使得在第一方向上入射的光收集在所述至少两个邻近二极管中的第一二极管中，且在第二方向上入射的光收集在所述至少两个邻近二极管中的第二二极管中；以及
图像信号处理器，其经配置以使用从所述至少两个邻近二极管接收的值执行相位检测自动聚焦。
2.根据权利要求1所述的图像俘获装置，其中，对于所述多个多二极管微透镜中的每一个，所述至少两个邻近彩色滤光片经配置以通过的光的波长对应于绿光。
3.根据权利要求1所述的图像俘获装置，其中所述多个多二极管微透镜中的每一个定位于两个邻近彩色滤光片和相关联二极管之上。
4.根据权利要求1所述的图像俘获装置，其中所述多个多二极管微透镜中的每一个定位于彩色滤光片的2×2群集和相关联二极管之上。
5.根据权利要求1所述的图像俘获装置，其中，为执行相位检测自动聚焦，所述图像信号处理器进一步经配置以：
从所述第一二极管接收表示在所述第一方向上入射在所述图像传感器上的光的第一图像数据；
从所述第二二极管接收表示在所述第二方向上入射在所述图像传感器上的光的第二图像数据；
计算所述第一图像数据与所述第二图像数据之间的视差；以及
使用所述视差产生聚焦指令。
6.根据权利要求5所述的图像俘获装置，其进一步包括定位于所述图像传感器上方的可移动透镜组合件。
7.根据权利要求6所述的图像俘获装置，其中所述聚焦指令包括用于将所述可移动透镜组合件移动到所需焦点位置的距离和方向。
8.根据权利要求7所述的图像俘获装置，其中所述图像信号处理器进一步经配置以产生致使所述图像传感器进行以下操作的指令：利用定位在所述所需焦点位置中的所述可移动透镜组合件俘获图像数据；以及至少部分地基于所述图像数据建构所述目标场景的最终图像。
9.根据权利要求5所述的图像俘获装置，其进一步包括定位于所述图像传感器上方的透镜组合件，其中所述图像传感器可相对于所述透镜组合件移动。
10.根据权利要求9所述的图像俘获装置，其中所述聚焦指令包括用于将所述图像传感器移动到所需焦点位置的距离和方向。
11.根据权利要求1所述的图像俘获装置，其中所述多个单二极管微透镜和所述多个多二极管微透镜布置成重复图案，所述多个多二极管微透镜在所述重复图案中各自位于多个自动聚焦点中的一个处。
12.一种图像传感器，其包括：
多个用于感测来自目标场景的光的二极管；
彩色滤光片阵列，其安置在所述多个二极管上方，所述彩色滤光片阵列包括各自定位于所述多个二极管中的一个之上的多个彩色滤光片；以及
多个微透镜，其安置在所述彩色滤光片阵列上方，所述多个微透镜包括
第一子集，所述第一子集包含各自定位于所述多个彩色滤光片中的一个上方的多个单二极管微透镜，所述多个彩色滤光片中的所述彩色滤光片对应于所述多个单二极管微透镜、布置成拜耳图案；以及
多个多二极管微透镜，所述多个多二极管微透镜中的每一多二极管微透镜
定位于所述多个彩色滤光片中的至少两个邻近彩色滤光片上方，所述至少两个邻近彩色滤光片中的每一个经配置以使相同波长的光通过，且
经形成而使得在第一方向上入射的光收集在所述至少两个邻近二极管中的第一二极管中，且在第二方向上入射的光收集在所述至少两个邻近二极管中的第二二极管中。
13.根据权利要求12所述的图像传感器，其中所述至少两个邻近彩色滤光片经配置以通过波长的光的所述波长对应于绿光。
14.根据权利要求12所述的图像传感器，其中所述多个多二极管微透镜中的至少一个多二极管微透镜包括具有圆形周界的平凸透镜，所述至少一个多二极管微透镜经设定大小以使光传到所述多个二极管中的二极管的2×2群集。
15.根据权利要求12所述的图像传感器，其中所述多个多二极管微透镜中的至少一个多二极管微透镜包括具有椭圆形周界的平凸透镜，所述至少一个多二极管微透镜经设定大小以使光传到所述多个二极管中的二极管的2×1群集。
16.根据权利要求12所述的图像传感器，其中所述多个二极管包括形成于半导体衬底中的具有多个光电二极管的阵列。
17.根据权利要求16所述的图像传感器，其中所述多个光电二极管中的每一个从所述多个微透镜中的一个接收光。
18.一种图像信号处理器，其配置有用于执行用于建构最终图像的过程的指令，所述过程包括：
从图像传感器的多个二极管接收图像数据，所述图像数据包括：
来自所述多个二极管中的与布置成拜耳图案的多个彩色滤光片相关联的第一子集的多个成像像素值，和
来自所述多个二极管中的与从所述拜耳图案偏离的多个彩色滤光片相关联的第二子集的多个相位检测像素值，使得所述多个相位检测像素值中的每一个包括绿色像素值，所述多个二极管的所述第二子集布置成邻近二极管的多个群组，所述多个群组中的每一群组从经形成而使得在第一方向上入射的光收集在所述群组的第一二极管中且在第二方向上入射的光收集在所述群组的第二二极管中的对应微透镜接收光；
对于邻近二极管的所述多个群组中的每一个，计算对应于所述群组的所述第一二极管的位置的单个绿色像素值；
对于邻近二极管的所述多个群组中的每一个，计算对应于所述群组的所述第二二极管的位置的缺失蓝色或红色像素值；以及
至少部分地基于所述多个成像像素值、所述所计算的缺失蓝色或红色像素值和所述所计算的单个绿色像素值建构所述最终图像。
19.根据权利要求18所述的图像信号处理器，其中从所述多个二极管中的一个二极管接收的所述多个相位检测像素值中的相位检测像素值具有类似于从所述多个二极管中邻近于所述一个二极管的其它二极管接收的成像像素值的亮度值的亮度值。
20.根据权利要求18所述的图像信号处理器，其中建构所述最终图像至少部分地经由解马赛克来完成。
21.根据权利要求18所述的图像信号处理器，其中计算邻近二极管的所述多个群组中的每一个的所述单个绿色像素值包括对从所述群组中的每一二极管接收的值的值进行求和。
22.根据权利要求18所述的图像信号处理器，其中计算邻近二极管的所述多个群组中的每一个的所述缺失蓝色或红色像素值包括基于所述拜耳图案识别所述第二二极管是否对应于蓝色像素位置或红色像素位置。
23.根据权利要求22所述的图像信号处理器，其中，在所述第二二极管对应于所述蓝色像素时，计算所述缺失蓝色或红色像素值包括：
从所述多个成像像素值中识别在所述第二二极管的所述蓝色像素位置的预定邻域内的多个蓝色像素值；以及
至少部分地基于所述多个蓝色像素值内插所述第二二极管的蓝色像素值。
24.根据权利要求23所述的图像信号处理器，其中所述预定邻域包括从在所述第二二极管处于其中心的5×5群集内的二极管接收的值。
25.根据权利要求22所述的图像信号处理器，其中，在所述第二二极管对应于所述红色像素时，计算所述缺失蓝色或红色像素值包括：
从所述多个成像像素值中识别在所述第二二极管的所述红色像素位置的预定邻域内的多个红色像素值；以及
至少部分地基于所述多个红色像素值内插所述第二二极管的红色像素值。
26.一种图像俘获设备，其包括：
图像俘获装置，其包括
多个用于感测来自目标场景的光的感测装置；
多个彩色滤光片装置，其安置在所述多个感测装置上方，所述多个彩色滤光片装置中的每一个定位于所述多个感测装置中的一个之上；
多个第一光聚焦装置，其各自定位于所述多个彩色滤光片装置中的一个上方，所述多个彩色滤光片装置的第一子集对应于所述多个第一光聚焦装置、布置成拜耳图案；
用于产生相位差检测信息的多个第二光聚焦装置，所述多个第二光聚焦装置中的每一个
定位于所述多个彩色滤光片装置中的至少两个邻近彩色滤光片装置上方，所述至少两个邻近彩色滤光片装置中的每一个经配置以使相同波长的光通过，且
经形成而使得在第一方向上入射的光收集在所述至少两个邻近感测装置中的第一感测装置中，且在第二方向上入射的光收集在所述至少两个邻近感测装置中的第二感测装置中；以及
相位检测装置，其经配置以使用从对应于所述多个第二光聚焦装置中的一个的所述至少两个邻近感测装置接收的值执行相位检测自动聚焦。
27.根据权利要求26所述的图像俘获设备，其中所述图像俘获设备进一步包括主要聚焦装置，所述主要聚焦装置可至少部分地基于从所述图像信号处理装置接收的数据而定位以产生所述目标场景的焦点内图像。
28.根据权利要求27所述的图像俘获设备，其中所述主要聚焦装置包括定位于所述多个彩色滤光片装置上方的可移动透镜组合件。
29.根据权利要求27所述的图像俘获设备，其中所述主要聚焦装置包括用于移动所述多个感测装置的机构。
30.根据权利要求26所述的图像俘获设备，其进一步包括用于计算从所述多个第二光聚焦装置接收光的一些感测装置的缺失色彩值的内插装置。
CN201680054782.4A 2015-09-24 2016-08-23 无掩模相位检测自动聚焦 Active CN108141571B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US14/864,153 US10044959B2 (en) 2015-09-24 2015-09-24 Mask-less phase detection autofocus
US14/864,153 2015-09-24
PCT/US2016/048156 WO2017052893A1 (en) 2015-09-24 2016-08-23 Mask-less phase detection autofocus

Publications (2)

Publication Number Publication Date
CN108141571A true CN108141571A (zh) 2018-06-08
CN108141571B CN108141571B (zh) 2020-07-17

Family

ID=56894258

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201680054782.4A Active CN108141571B (zh) 2015-09-24 2016-08-23 无掩模相位检测自动聚焦

Country Status (7)

Country Link
US (1) US10044959B2 (zh)
EP (2) EP3354017A1 (zh)
JP (1) JP2018536315A (zh)
KR (1) KR20180059478A (zh)
CN (1) CN108141571B (zh)
BR (1) BR112018005945A2 (zh)
WO (1) WO2017052893A1 (zh)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109068111A (zh) * 2018-10-12 2018-12-21 北京地平线机器人技术研发有限公司 一种监控装置、监控方法和电子设备
CN110310970A (zh) * 2019-07-09 2019-10-08 德淮半导体有限公司 图像传感器及其形成方法
CN110335879A (zh) * 2019-07-09 2019-10-15 德淮半导体有限公司 图像传感器及其形成方法
CN110429093A (zh) * 2019-08-05 2019-11-08 德淮半导体有限公司 图像传感器及其制造方法
CN110636207A (zh) * 2018-06-25 2019-12-31 豪威科技股份有限公司 具有相位检测自动聚焦像素的图像传感器
CN112243095A (zh) * 2020-09-29 2021-01-19 格科微电子（上海）有限公司 像素合成模式下的pd像素的读取方法及装置、存储介质、图像采集设备
CN112992945A (zh) * 2019-12-17 2021-06-18 台湾积体电路制造股份有限公司 集成芯片以及形成集成芯片的方法
CN113053932A (zh) * 2019-12-27 2021-06-29 豪威科技股份有限公司 用于使用偏振和相位检测光电二极管获得三维形状信息的装置和方法

Families Citing this family (35)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6600246B2 (ja) * 2015-12-17 2019-10-30 キヤノン株式会社 撮像装置及びカメラ
US10033949B2 (en) * 2016-06-16 2018-07-24 Semiconductor Components Industries, Llc Imaging systems with high dynamic range and phase detection pixels
JP2018046394A (ja) * 2016-09-14 2018-03-22 オリンパス株式会社 撮像素子、撮像装置
EP3590134A4 (en) * 2017-02-28 2020-10-14 BAE Systems Imaging Solutions Inc. AUTOFOCUS SYSTEM FOR CMOS IMAGING SENSORS
CN106982328B (zh) * 2017-04-28 2020-01-10 Oppo广东移动通信有限公司 双核对焦图像传感器及其对焦控制方法和成像装置
CN107124536B (zh) * 2017-04-28 2020-05-08 Oppo广东移动通信有限公司 双核对焦图像传感器及其对焦控制方法和成像装置
CN107105141B (zh) * 2017-04-28 2019-06-28 Oppo广东移动通信有限公司 图像传感器、图像处理方法、成像装置和移动终端
CN107040724B (zh) * 2017-04-28 2020-05-15 Oppo广东移动通信有限公司 双核对焦图像传感器及其对焦控制方法和成像装置
CN107040730B (zh) * 2017-04-28 2020-05-08 Oppo广东移动通信有限公司 图像传感器的成像控制方法、图像传感器，以及成像装置
CN106921823B (zh) * 2017-04-28 2019-09-17 Oppo广东移动通信有限公司 图像传感器、摄像模组和终端设备
CN107105140B (zh) * 2017-04-28 2020-01-24 Oppo广东移动通信有限公司 双核对焦图像传感器及其对焦控制方法和成像装置
CN107135340A (zh) * 2017-04-28 2017-09-05 广东欧珀移动通信有限公司 图像传感器、对焦控制方法、成像装置和移动终端
CN107146797B (zh) * 2017-04-28 2020-03-27 Oppo广东移动通信有限公司 双核对焦图像传感器及其对焦控制方法和成像装置
EP3447678A1 (en) * 2017-08-21 2019-02-27 Axis AB Method and image processing device for detecting a portion of an image
US10375293B2 (en) * 2017-08-31 2019-08-06 Qualcomm Incorporated Phase disparity engine with low-power mode
US10498947B2 (en) * 2017-10-30 2019-12-03 Taiwan Semiconductor Manufacturing Co., Ltd. Image sensor including light shielding layer and patterned dielectric layer
EP3522106A1 (en) 2018-01-31 2019-08-07 InterDigital CE Patent Holdings A filter array enabling easy demosaicing
US20210088697A1 (en) * 2018-03-16 2021-03-25 Lg Electronics Inc. Liquid iris, optical device comprising same, and mobile terminal
US10848681B2 (en) * 2018-04-17 2020-11-24 Facebook Technologies, Llc Image reconstruction from image sensor output
CN108900772A (zh) * 2018-07-19 2018-11-27 维沃移动通信有限公司 一种移动终端及图像拍摄方法
KR20200036264A (ko) 2018-09-28 2020-04-07 삼성전자주식회사 자동 초점 방법 및 이를 수행하는 전자 장치
JP2020068289A (ja) * 2018-10-24 2020-04-30 キヤノン株式会社 光電変換装置、撮像システム、移動体、および積層用の半導体チップ
KR102624107B1 (ko) 2018-12-06 2024-01-12 삼성전자주식회사 복수의 서브 픽셀들을 덮는 마이크로 렌즈를 통해 발생된 광의 경로 차에 의해 깊이 데이터를 생성하는 이미지 센서 및 그 이미지 센서를 포함하는 전자 장치
WO2020158541A1 (ja) * 2019-01-30 2020-08-06 ソニー株式会社 センサ装置、暗号化方法
US11405535B2 (en) 2019-02-28 2022-08-02 Qualcomm Incorporated Quad color filter array camera sensor configurations
US11245878B2 (en) * 2019-02-28 2022-02-08 Qualcomm Incorporated Quad color filter array image sensor with aperture simulation and phase detection
DE102020103092A1 (de) * 2019-06-19 2020-12-24 Samsung Electronics Co., Ltd. Bildsensor und elektronische vorrichtung umfassend einen bildsensor
KR20210047687A (ko) 2019-10-22 2021-04-30 삼성전자주식회사 위상 검출 픽셀을 포함하는 이미지 센서
US11367743B2 (en) * 2019-10-28 2022-06-21 Omnivision Technologies, Inc. Image sensor with shared microlens between multiple subpixels
KR20210087809A (ko) 2020-01-03 2021-07-13 삼성전자주식회사 이미지 센서를 포함하는 전자 장치 및 그의 동작 방법
KR20210095461A (ko) 2020-01-23 2021-08-02 삼성전자주식회사 복수의 공유 픽셀들을 포함하는 이미지 장치 및 이의 동작 방법
KR20210101049A (ko) * 2020-02-07 2021-08-18 삼성전자주식회사 전자 장치 및 객체 인식 방법
KR20220068034A (ko) 2020-11-18 2022-05-25 삼성전자주식회사 카메라 모듈 및 카메라 모듈을 포함하는 전자 장치
CN113540138B (zh) * 2021-06-03 2024-03-12 奥比中光科技集团股份有限公司 一种多光谱图像传感器及其成像模块
DE102022125838A1 (de) 2022-10-06 2024-04-11 Arnold & Richter Cine Technik Gmbh & Co. Betriebs Kg Bildsensor

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103140925A (zh) * 2010-09-29 2013-06-05 富士胶片株式会社 固态图像拾取元件和图像拾取设备
CN103155542A (zh) * 2010-09-24 2013-06-12 富士胶片株式会社 图像拾取装置和图像拾取设备

Family Cites Families (27)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7808023B2 (en) * 2005-08-24 2010-10-05 Aptina Imaging Corporation Method and apparatus providing integrated color pixel with buried sub-wavelength gratings in solid state imagers
JP4967296B2 (ja) 2005-10-03 2012-07-04 株式会社ニコン 撮像素子、焦点検出装置、および、撮像システム
JP5359465B2 (ja) * 2009-03-31 2013-12-04 ソニー株式会社 固体撮像装置、固体撮像装置の信号処理方法および撮像装置
JP2010252277A (ja) * 2009-04-20 2010-11-04 Panasonic Corp 固体撮像装置及び電子カメラ
CN103003944B (zh) 2010-07-12 2016-01-20 富士胶片株式会社 固态成像装置
JP5655543B2 (ja) * 2010-12-20 2015-01-21 ソニー株式会社 画像処理装置、画像処理方法およびプログラム。
JP5744545B2 (ja) * 2011-01-31 2015-07-08 キヤノン株式会社 固体撮像装置およびカメラ
JP5744556B2 (ja) 2011-02-10 2015-07-08 オリンパス株式会社 撮像素子および撮像装置
TW201245768A (en) * 2011-03-29 2012-11-16 Sony Corp Image pickup apparatus, image pickup device, image processing method, aperture control method, and program
JP5765081B2 (ja) * 2011-06-22 2015-08-19 ソニー株式会社 撮像素子、電子機器、製造方法、および検査装置
JP2013072923A (ja) * 2011-09-27 2013-04-22 Sanyo Electric Co Ltd 撮像装置
JP6384323B2 (ja) * 2012-03-30 2018-09-05 株式会社ニコン 撮像素子および撮像装置
WO2013190899A1 (ja) * 2012-06-19 2013-12-27 富士フイルム株式会社 撮像装置及び自動焦点調節方法
JP5749403B2 (ja) * 2012-07-06 2015-07-15 富士フイルム株式会社 撮像装置及び画像処理方法
WO2014046037A1 (ja) * 2012-09-19 2014-03-27 富士フイルム株式会社 撮像装置及びその制御方法
JP2014106476A (ja) * 2012-11-29 2014-06-09 Canon Inc 焦点検出装置、撮像装置、撮像システム、焦点検出方法、プログラム、および、記憶媒体
EP2738812B8 (en) * 2012-11-29 2018-07-18 ams Sensors Belgium BVBA A pixel array
KR101373132B1 (ko) 2013-09-03 2014-03-14 (주)실리콘화일 마이크로 렌즈를 이용한 위상차 검출 픽셀
US9711553B2 (en) * 2014-04-28 2017-07-18 Samsung Electronics Co., Ltd. Image sensor including a pixel having photoelectric conversion elements and image processing device having the image sensor
US9967451B2 (en) * 2014-09-30 2018-05-08 Canon Kabushiki Kaisha Imaging apparatus and imaging method that determine whether an object exists in a refocusable range on the basis of distance information and pupil division of photoelectric converters
US9945718B2 (en) * 2015-01-07 2018-04-17 Semiconductor Components Industries, Llc Image sensors with multi-functional pixel clusters
US9807294B2 (en) * 2015-08-05 2017-10-31 Omnivision Technologies, Inc. Image sensor with symmetric multi-pixel phase-difference detectors, and associated methods
US9420164B1 (en) * 2015-09-24 2016-08-16 Qualcomm Incorporated Phase detection autofocus noise reduction
US9804357B2 (en) * 2015-09-25 2017-10-31 Qualcomm Incorporated Phase detection autofocus using masked and unmasked photodiodes
US10523860B2 (en) * 2016-05-12 2019-12-31 Canon Kabushiki Kaisha Focus detection device, control method thereof, and image capture apparatus
US10044926B2 (en) * 2016-11-04 2018-08-07 Qualcomm Incorporated Optimized phase detection autofocus (PDAF) processing
JP2018077190A (ja) * 2016-11-11 2018-05-17 株式会社東芝 撮像装置及び自動制御システム

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103155542A (zh) * 2010-09-24 2013-06-12 富士胶片株式会社 图像拾取装置和图像拾取设备
CN103140925A (zh) * 2010-09-29 2013-06-05 富士胶片株式会社 固态图像拾取元件和图像拾取设备

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110636207A (zh) * 2018-06-25 2019-12-31 豪威科技股份有限公司 具有相位检测自动聚焦像素的图像传感器
CN109068111A (zh) * 2018-10-12 2018-12-21 北京地平线机器人技术研发有限公司 一种监控装置、监控方法和电子设备
CN110310970A (zh) * 2019-07-09 2019-10-08 德淮半导体有限公司 图像传感器及其形成方法
CN110335879A (zh) * 2019-07-09 2019-10-15 德淮半导体有限公司 图像传感器及其形成方法
CN110429093A (zh) * 2019-08-05 2019-11-08 德淮半导体有限公司 图像传感器及其制造方法
CN112992945A (zh) * 2019-12-17 2021-06-18 台湾积体电路制造股份有限公司 集成芯片以及形成集成芯片的方法
CN112992945B (zh) * 2019-12-17 2024-02-20 台湾积体电路制造股份有限公司 集成芯片以及形成集成芯片的方法
CN113053932A (zh) * 2019-12-27 2021-06-29 豪威科技股份有限公司 用于使用偏振和相位检测光电二极管获得三维形状信息的装置和方法
CN112243095A (zh) * 2020-09-29 2021-01-19 格科微电子（上海）有限公司 像素合成模式下的pd像素的读取方法及装置、存储介质、图像采集设备

Also Published As

Publication number Publication date
EP3354017A1 (en) 2018-08-01
WO2017052893A1 (en) 2017-03-30
EP3672229A1 (en) 2020-06-24
US20170094210A1 (en) 2017-03-30
JP2018536315A (ja) 2018-12-06
US10044959B2 (en) 2018-08-07
CN108141571B (zh) 2020-07-17
BR112018005945A2 (pt) 2018-10-09
KR20180059478A (ko) 2018-06-04

Similar Documents

Publication Publication Date Title
CN108141571A (zh) 无掩模相位检测自动聚焦
CN107105141B (zh) 图像传感器、图像处理方法、成像装置和移动终端
US9973678B2 (en) Phase-detect autofocus
CN105917641B (zh) 具有自动聚焦的纤薄多孔径成像系统及其使用方法
CN108141527A (zh) 相位检测自动聚焦算法
US9900582B2 (en) Plenoptic foveated camera
CN108141528A (zh) 相位检测自动聚焦降噪
US20190075233A1 (en) Extended or full-density phase-detection autofocus control
CN104170377B (zh) 图像处理装置、摄像装置
CN103229509A (zh) 处理多孔径像数据
US20190253608A1 (en) Artificial optical state simulation
JP6821028B2 (ja) 撮像装置および画像データ読み出し方法
US20170337667A1 (en) Method and device for obtaining a hdr image by graph signal processing
CN103621078B (zh) 图像处理装置和图像处理程序
CN103907188B (zh) 摄像元件、摄像装置及图像处理装置
TW201721852A (zh) 彩色濾波器感測器
AU2017207519A1 (en) Image sensor
US20240127407A1 (en) Image sensor apparatus for capturing depth information

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant