CN113053932A - 用于使用偏振和相位检测光电二极管获得三维形状信息的装置和方法 - Google Patents

用于使用偏振和相位检测光电二极管获得三维形状信息的装置和方法 Download PDF

Info

Publication number
CN113053932A
CN113053932A CN202011562351.3A CN202011562351A CN113053932A CN 113053932 A CN113053932 A CN 113053932A CN 202011562351 A CN202011562351 A CN 202011562351A CN 113053932 A CN113053932 A CN 113053932A
Authority
CN
China
Prior art keywords
photodiodes
image sensor
photodiode
microlens
polarization
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202011562351.3A
Other languages
English (en)
Inventor
陈文首
刘关松
任仡奕
彭进宝
B·帕德马纳班
A·博纳克达
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Howe Technology Co ltd
Omnivision Technologies Inc
Original Assignee
Howe Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Howe Technology Co ltd filed Critical Howe Technology Co ltd
Publication of CN113053932A publication Critical patent/CN113053932A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/76—Addressed sensors, e.g. MOS or CMOS sensors
    • H04N25/77—Pixel circuitry, e.g. memories, A/D converters, pixel amplifiers, shared circuits or shared components
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144—Devices controlled by radiation
    • H01L27/146—Imager structures
    • H01L27/14643—Photodiode arrays; MOS imagers
    • H01L27/14645—Colour imagers
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144—Devices controlled by radiation
    • H01L27/146—Imager structures
    • H01L27/14601—Structural or functional details thereof
    • H01L27/14603—Special geometry or disposition of pixel-elements, address-lines or gate-electrodes
    • H01L27/14605—Structural or functional details relating to the position of the pixel elements, e.g. smaller pixel elements in the center of the imager compared to pixel elements at the periphery
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144—Devices controlled by radiation
    • H01L27/146—Imager structures
    • H01L27/14601—Structural or functional details thereof
    • H01L27/14603—Special geometry or disposition of pixel-elements, address-lines or gate-electrodes
    • H01L27/14607—Geometry of the photosensitive area
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144—Devices controlled by radiation
    • H01L27/146—Imager structures
    • H01L27/14601—Structural or functional details thereof
    • H01L27/1462—Coatings
    • H01L27/14621—Colour filter arrangements
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144—Devices controlled by radiation
    • H01L27/146—Imager structures
    • H01L27/14601—Structural or functional details thereof
    • H01L27/14625—Optical elements or arrangements associated with the device
    • H01L27/14627—Microlenses
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144—Devices controlled by radiation
    • H01L27/146—Imager structures
    • H01L27/14601—Structural or functional details thereof
    • H01L27/14634—Assemblies, i.e. Hybrid structures
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/207—Image signal generators using stereoscopic image cameras using a single 2D image sensor
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/67—Focus control based on electronic image sensor signals
    • H04N23/672—Focus control based on electronic image sensor signals based on the phase difference signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/134—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on three different wavelength filter elements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/703—SSIS architectures incorporating pixels for producing signals other than image signals
    • H04N25/704—Pixels specially adapted for focusing, e.g. phase difference pixel sets
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/71—Charge-coupled device [CCD] sensors; Charge-transfer registers specially adapted for CCD sensors
    • H04N25/75—Circuitry for providing, modifying or processing image signals from the pixel array

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Power Engineering (AREA)
  • General Physics & Mathematics (AREA)
  • Electromagnetism (AREA)
  • Condensed Matter Physics & Semiconductors (AREA)
  • Computer Hardware Design (AREA)
  • Microelectronics & Electronic Packaging (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)
  • Solid State Image Pick-Up Elements (AREA)
  • Holo Graphy (AREA)
  • Optical Head (AREA)

Abstract

本公开涉及用于使用偏振和相位检测光电二极管获得三维形状信息的装置和方法。在一些实施例中，提供了图像传感器。图像传感器包括布置成光电二极管阵列的多个光电二极管。多个光电二极管包含被配置为相位检测光电二极管的第一组光电二极管，以及被配置为偏振检测光电二极管的第二组光电二极管。在一些实施例中，提供了控制器。控制器包括电路系统，所述电路系统被配置为处理来自光电二极管阵列的第一组光电二极管的信号以获得深度信息；处理来自光电二极管阵列的第二组光电二极管的信号以获得偏振信息；处理偏振信息以获得模糊的一组表面法线；并且使用深度信息处理模糊的一组表面法线以获得三维形状图像。

Description

用于使用偏振和相位检测光电二极管获得三维形状信息的装 置和方法
技术领域
本公开总体上涉及图像传感器，并且特别地但不排他地，涉及CMOS图像传感器及其应用。
背景技术
图像传感器已经变得无处不在，并且现在广泛用于数码相机、蜂窝电话、安全相机以及医疗、汽车和其他应用中。随着图像传感器被集成到更宽的电子装置范围中，期望以尽可能多的方式(例如，分辨率、功耗、动态范围等)通过装置架构设计以及图像采集处理来增强它们的功能、性能度量等。
典型的图像传感器响应于从外部场景反射的图像光入射到图像传感器上进行操作。图像传感器包含具有光敏元件(例如，光电二极管)的像素阵列，该光敏元件吸收入射图像光的一部分并且在吸收图像光时生成图像电荷。像素中的每一个的图像电荷可以作为随入射图像光的函数变化的每个光敏元件的输出电压被测量。换句话说，所生成的图像电荷量与图像光的强度成比例，该图像光用于生成表示外部场景的数字图像(即，图像数据)。
发明内容
在一方面，本申请涉及图像传感器，包括：多个光电二极管，所述多个光电二极管布置成光电二极管阵列，其中所述多个光电二极管包含：第一组光电二极管，所述第一组光电二极管配置为相位检测光电二极管；以及第二组光电二极管，所述第二组光电二极管配置为偏振检测光电二极管。
在另一方面，本申请涉及控制器，所述控制器包括电路系统，所述电路系统被配置为：处理来自光电二极管阵列的第一组光电二极管的信号以获得深度信息；处理来自所述光电二极管阵列的第二组光电二极管的信号以获得偏振信息；处理所述偏振信息以获得模糊的一组表面法线；以及使用所述深度信息处理所述模糊的一组表面法线，以获得三维形状图像。
附图说明
参考以下附图描述了本发明的非限制性和非穷尽性实施例，其中除非另有说明，否则贯穿各个视图相同的附图标记指代相同的部分。为了容易识别任何特定元件或动作的讨论，参考数字中的最高有效的一或多个数字是指该元件首次引入的图号。
图1示出了根据本公开的各个方面的带有共享的微透镜的图像传感器100的截面图的非限制性示例性实施例。
图2示出了根据本公开的各个方面的带有共享的微透镜的图像传感器的非限制性示例性实施例的俯视图。
图3示出了根据本公开的各个方面的相对于图像传感器的焦平面的图像传感器的非限制性示例性实施例的截面图。
图4示出了根据本公开的各个方面的在包含在图像传感器的子像素中的半导体材料、滤色器和微透镜的相应部分的横向区域之间的示例性相对大小比较。
图5示出了根据本公开的各个方面的带有共享的微透镜的图像传感器的非限制性示例性实施例的俯视图。
图6示出了根据本公开的各个方面的在包含在图像传感器的子像素中的半导体材料、滤色器和微透镜的横向区域之间的相对大小比较。
图7是示出了根据本公开的各个方面的用于包含相位检测光电二极管和偏振检测光电二极管的图像传感器的图案的两个非限制性示例性实施例的示意图。
图8是示出了根据本公开的各个方面的用于包含相位检测光电二极管和偏振检测光电二极管的图像传感器的图案的三个附加的非限制性示例性实施例的示意图。
图9是示出了根据本公开的各个方面的用于包含相位检测光电二极管和偏振检测光电二极管的图像传感器的图案的再有三个的非限制性示例性实施例的示意图。
图10是示出了根据本公开的各个方面的用于包含相位检测光电二极管和偏振检测光电二极管的图像传感器的图案的再有两个的非限制性示例性实施例的示意图。
图11是示出了根据本公开的各个方面的用于包含相位检测光电二极管和偏振检测光电二极管的图像传感器的图案的另一非限制性示例性实施例的示意图。
图12是示出了根据本公开的各个方面的用于包含相位检测光电二极管和偏振检测光电二极管的图像传感器的图案的又一非限制性示例性实施例的示意图。
图13是示出了根据本公开的各个方面的用于包含相位检测光电二极管和偏振检测光电二极管的图像传感器的图案的又一非限制性示例性实施例的示意图。
图14是示出了根据本公开的各个方面的用于包含相位检测光电二极管和偏振检测光电二极管的图像传感器的图案的又一非限制性示例性实施例的示意图。
图15是根据本公开的各个方面的包含带有共享的微透镜的图像传感器的成像系统的非限制性示例性实施例的功能框图。
图16是示出了根据本公开的各个方面的创建三维形状图像的方法的非限制性示例性实施例的流程图。
贯穿附图的若干视图，相对应的附图标记指示相应的部件。本领域技术人员将理解的是，图中的元件仅为简单和清晰起见而进行说明，但不一定按比例绘制。例如，附图中一些元件的尺寸可以被相对于其他的元件放大，以帮助提高对于本发明的各种实施例的理解。并且，在商业可用实施例中有用或必要的普通而又容易理解的元件往往没有示出，以便于提供本发明的这些各种实施例的较少妨碍的视图。
具体实施方式
本文描述了各自包含或否则与能够生成三维形状和深度图像的图像传感器相关的的设备、系统和方法的实施例。在以下描述中，阐述大量特定细节以提供实施例的全面理解。然而，相关领域技术人员将认识到本文描述的技术可以在没有这些具体细节中的一或多个或者具有其他方法、部件、材料等情况下被实践。在其他实例中，没有详细地示出或描述公知的结构、材料或操作以避免模糊某些方面。
贯穿本说明书，对“一个示例”、“一个实施例”的引用意味着结合该示例描述的特定特征、结构或特性被包含在本发明的至少一个示例中。因此，贯穿本说明书，在各个地方中出现的短语“在一个示例中”或“在一个实施例中”不一定均指相同的示例和实施例。另外，特定特征、结构或特性可以以任何合适的方式结合在一或多个示例和实施例中。
贯穿本说明书，使用了几个领域术语。这些术语采取了它们所来自的领域中的通常的含义，除非本文明确定义了，或者它们的使用的上下文将以其它的方式明确建议。
本文描述的实施例利用图像传感器，该图像传感器包含被配置为收集偏振信息的光电二极管和被配置为收集深度信息的光电二极管，以便于生成三维形状和深度图像。在一些实施例中，被配置为收集偏振信息的光电二极管与偏振网格对齐，以便于生成可以用于确定一组模糊的表面法线的信息。在一些实施例中，被配置为收集深度信息的光电二极管可以包含共享公共滤色器和微透镜的相位检测光电二极管。在一些实施例中，深度信息可以用于解决模糊的表面法线中的模糊，从而创建三维形状和深度图像。在单个图像传感器中组合相位检测光电二极管和偏振检测光电二极管提供了多种技术益处，包含但不限于消除由单独的图像传感器捕获的在深度信息和偏振信息之间的配准错误，和简化包含单个组合的图像传感器而不是单独的深度传感器和偏振传感器的装置。
图1-图4示出了图像传感器100的非限制性示例性实施例的表示性视图，所述图像传感器包含半导体材料102、多个光电二极管104、多个滤色器106和多个微透镜108。应当理解的是，图1-图4中呈现的视图可以省略图像传感器100的某些元件，以避免模糊本公开的细节。还应当理解的是，在一些实施例中，图像传感器100不一定包含图1-图4中所示的所有元件。
图1示出了根据本公开的各个方面的带有共享的微透镜的图像传感器100的截面图的非限制性示例性实施例。更具体地，截面图是沿着图像传感器100的行或列截取的表示性视图(例如，图2中所示的列“C1”)。再次参考图1，图像传感器100包含多个光电二极管104，所述多个光电二极管布置为含有M个单独的光电二极管(例如，光电二极管104-1、光电二极管104-2……光电二极管104-M)的光电二极管阵列，多个光电二极管104中的每一个被设置在半导体材料102(例如，硅)的相应部分内。换句话说，在半导体材料102的各个部分的数量和单独的光电二极管104的数量之间存在1比1的比率。在一些实施例中，包含在多个光电二极管104中的单独的光电二极管可以与在半导体材料102的相应部分内的掺杂区域相对应，这些掺杂区域共同响应入射光(例如，掺杂区域可以形成PN结，所述PN结生成与入射光的幅度或强度成比例的电荷或图像电荷)。在所示的实施例中，半导体材料102(例如，半导体材料102-1、半导体材料102-2……半导体材料102-M)的各个部分中的每一个包含多个光电二极管104中的相对应的一个，使得半导体材料102的相应的部分各自具有第一横向区域，所述第一横向区域大于包含在多个光电二极管104中的单独的光电二极管的相应的一个的横向区域。例如，光电二极管104-1形成在半导体材料102-1的相应部分内，但是明显不横向延伸跨过半导体材料102-1的相应部分的整体。因此，应当理解的是，包含在多个光电二极管104中的单独的光电二极管不必要横向滴延伸跨过半导体材料102的各个部分的整个横截面积。相反，设置在邻近光电二极管之间的半导体材料102的部分(例如，在光电二极管104-1和光电二极管104-2之间的半导体材料102的区域)可以用于在半导体材料内形成附加结构(例如，隔离沟槽、浮动扩散件等)。在其他实施例中，半导体材料102的相应部分和相关联的第一横向区域与包含在多个光电二极管104中的各个光电二极管的最大横向区域相对应。换句话说，在一些实施例中，第一横向区域与包含在多个光电二极管104中的各个光电二极管的区域相对应。
在所示的实施例中，图像传感器100进一步包含多个滤色器106，所述多个滤色器被布置为与由多个光电二极管104形成的光电二极管阵列光学对齐的滤色器阵列。多个滤色器106可以包含N个滤色器(例如，滤色器106-1……滤色器106-N)，这些滤色器各自具有特定的光谱光响应，以过滤通过多个滤色器中的单独的滤色器传播到多个光电二极管104的组的入射光。例如，蓝色滤色器106-1与至少两个光电二极管(光电二极管104-1和光电二极管104-2)光学对齐，使得响应于入射光由光电二极管104-1和光电二极管104-2生成的图像电荷基本上与入射到光电二极管104-1和光电二极管104-2上的光谱内的蓝色分量的强度或幅度成比例。应当理解的是，多个滤色器106不限于单个光谱光响应，并且其他类型的滤色器可以被包含在图像传感器100中，其中相应的光谱光响应基本上等同于红色、绿色、蓝色、全色(即，透明或白色)、黄色、青色、品红色或其他颜色中的任一个或它们的组合。在一些实施例中，滤色器阵列因此可以用于生成表示至少在可见光谱内的入射光的图像信号，以生成表示外部场景的图像。在所示实施例中，包含在多个滤色器106中的各个滤色器与包含在多个光电二极管104中的至少两个光电二极管的组光学对齐，使得各个滤色器(例如，滤色器106-1……滤色器106-N)各自具有比相应的光学对齐的光电二极管(例如，光电二极管104-1、光电二极管104-2……光电二极管104-M)的第一横向区域大的第二横向区域。
如图1所示，图像传感器100包含多个微透镜108，所述多个微透镜布置为与滤色器阵列(例如，由多个滤色器106形成)和光电二极管阵列(例如，由多个光电二极管104形成)光学对齐。微透镜中的每一个可以由聚合物(例如，聚甲基丙烯酸甲酯、聚二甲基硅氧烷等)或其他材料形成，并且被成形为具有光焦度，所述光焦度用于通过多个滤色器106中的与包含在多个光电二极管104中的光电二极管的相应组(例如，至少光电二极管104-1和光电二极管104-2)相对应的滤色器(例如，滤色器106-1)光学对齐，将入射光会聚、发散或以其他方式引导在多个微透镜108(例如，微透镜108-1)上。在一些实施例中，在包含在多个滤色器106中的滤色器的数量和包含在多个微透镜108中的微透镜的数量之间存在1比1的比率，所述数量可以小于包含在多个光电二极管104中的光电二极管的数量。在一些实施例中，光电二极管与微透镜和/或滤色器的比率可以是2比1、3比1、4比1或其他比率。相应地，包含在多个微透镜108中的各个微透镜(例如，微透镜108-1……微透镜108-N)可以具有第三横向区域，所述第三横向区域大于包含在多个光电二极管104中的各个光电二极管的第一横向区域，但是所述第三横向区域小于包含在多个滤色器106中的滤色器的第二横向区域。
应当理解的是，图像传感器100可以通过本领域普通技术人员已知的半导体装置处理和微制造技术来制备。在一个实施例中，图像传感器100的制备可以包含：提供半导体材料(例如，具有正面和背面的硅晶片)；经由光刻在半导体材料102的正面上形成掩模或模板(例如，由固化的光致抗蚀剂)，以提供半导体材料102的正面的多个暴露区域；掺杂(例如，经由离子注入、化学气相沉积、物理气相沉积等)半导体材料102的暴露部分，以形成从半导体材料102的正面延伸到半导体材料102中的多个光电二极管104；移除掩模或模板(例如，通过利用溶剂溶解固化的光致抗蚀剂)；以及平面化(例如，经由化学机械平面化或抛光)半导体材料102的正面。在相同或另一实施例中，可以类似地使用光刻来形成多个滤色器106(例如，具有期望的光谱光响应的固化的有色聚合物)和多个微透镜108(例如，基于聚合物的、具有目标形状和大小的、由母模或模板形成的微透镜)。应当理解的是，所描述的技术仅仅是说明性的，而不是穷尽性的，并且可以利用其他技术来制备图像传感器100的一或多个部件。
图2示出了根据本公开的各个方面的具有共享的微透镜的图像传感器100的非限制性示例性实施例的俯视图。如图所示，图像传感器100可以被寻址或以其他方式描述为包含多个行(例如，R1、R2、R3……RY)和列(例如，C1、C2、C3……CX)的阵列。具有Y行和X列的阵列的每个元件可以包含：相应光电二极管，所述相应光电二极管包含在多个光电二极管104中；滤色器，所述滤色器包含在多个滤色器106中；以及微透镜，所述微透镜包含在多个微透镜108中。例如，与图2中所示的图像传感器100的行1列1相关联的阵列元件可以表示从微透镜108-1延伸并通过滤色器106-1、光电二极管104-1和半导体材料102-1的相应部分的图1中所示的自顶向下的视图。再次参考图2，可以理解的是，可以省略或不标记一些元件(例如，在图1中所示的多个光电二极管104、多个滤色器106、半导体材料102的相应部分等)，以避免模糊本公开的一些方面。
在图2所示的实施例中，多个滤色器106形成滤色器阵列，所述滤色器阵列包含以预定图案布置的蓝色滤色器106-B、绿色滤色器106-G和红色滤色器106-R。滤色器阵列的预定图案包含与包含在多个滤色器106中的四个邻接滤色器的组相对应的多个平铺的最小重复单元(例如，重复单元110)。四个邻接滤色器的组包含带有第一光谱光响应的第一滤色器、带有第二光谱光响应的第二滤色器、带有第三光谱光响应的第三滤色器和带有第四光谱光响应的第四滤色器。在一些实施例中，第二光谱光响应是基本上与第三光谱光响应相同的。在相同或另一实施例中，第一光谱光响应与第四光谱光响应彼此不同，第二光谱光响应与第三光谱光响应彼此不同。在一些实施例中，第二滤色器和第三滤色器在光谱光响应方面基本相同，并且在多个平铺的最小重复单元中的单独的一个内成对角地彼此相对设置。
如图2中所示，多个平铺的最小重复单元中的每一个表示带有不同滤色器的预定布置的图像传感器100的全色像素(即，图像像素)，使得由下伏光电二极管生成的图像信号(例如，具有与入射光强度成比例的幅度的电信号)共同表示电磁辐射的可见光谱。如图所示，重复单元110包含四个象限(例如，带有蓝色滤色器的Q1、带有第一绿色滤色器的Q2、带有第二绿色滤色器的Q3、带有红色滤色器的Q4)。每个象限与子像素相对应，并且重复单元110共同形成图像传感器100的图像像素。附加地，最小重复单元(例如，重复单元110)的每个象限包含布置成2乘2模式或阵列的共享(即，被光学对齐)公共滤色器和公共微透镜(例如，如图2中左上角所示)的四个光电二极管的组。更具体地，在所示的实施例中，多个滤色器106中的每一个在最小重复单元的相应一个中的相对应的象限内延伸穿过四个相邻光电二极管104的各个组。在一些实施例中，多个微透镜108中的每一个都是对称的，并且在包含在图像传感器100的相对应的像素或子像素中的光电二极管和滤色器的相对应的2乘2阵列上是光学居中的。例如，在图2中所示的相对应的微透镜的直径112基本上延伸跨过图像传感器100的两列。应当理解的是，由于各个微透镜(即，在各个微透镜彼此不接触的实施例中)之间的间隔，微透镜的直径不一定必须恰好横跨图像传感器100的两列或两行。相反，各个微透镜的直径可以大于图像传感器100的一行或一列，但是小于或等于两列或两行。还应当理解的是，在一些实施例中，多个微透镜106中的一些或全部不一定必须是对称的(即，微透镜可以是非对称的)。
图3示出了根据本公开的各个方面的相对于图像传感器100的焦平面120的图像传感器100的非限制性示例性实施例的截面图。更具体地，所示的实施例展示了在半导体材料102的相应部分的第一横向区域114、多个滤色器106的第二横向区域118和多个微透镜108的第三横向区域116之间的相对于图像传感器100的焦平面120的示例性关系。在所示的实施例中，第一横向区域、第二横向区域和第三横向区域是沿着基本上各自平行于图像传感器100的焦平面120(即，其中入射光122被聚焦在其上)的光电二极管阵列(例如，由半导体材料102的相应部分内的多个光电二极管104形成)、滤色器阵列(例如，由多个滤色器106形成)和微透镜阵列(例如，由多个微透镜108形成)的相应横截面截取的。应当理解的是，在一些实施例中，第一横向区域114、第二横向区域118和第三横向区域116各自沿着相应半导体部分102-1……102-M、多个滤色器106以及基本上平行于图像传感器100的焦平面120的多个微透镜108中的光学对齐的一个的最大横截面截取的。
图4示出了根据本公开的各个方面的包含在图像传感器100的子像素中的半导体材料102-M、滤色器106-N和微透镜108-N的相应部分的横向区域之间的示例性相对大小比较。在所示的实施例中，半导体材料102的各个部分(例如，半导体材料102-M)中的每一个具有第一横向区域114。多个滤色器106(例如，滤色器106-N)中的每一个具有大于第一横向区域114的第二横向区域118。多个微透镜108(例如，108-N)中的每一个具有大于第一横向区域114但小于第二横向区域118的第三横向区域116。在一些实施例中，多个微透镜108中的每一个的第三横向区域116具有圆形形状，所述圆形形状带有延伸或以其他方式跨越半导体材料102的相应部分中的大约两个的直径。
图5示出了根据本公开的各个方面的具有共享的微透镜的图像传感器500的非限制性示例性实施例的俯视图。图像传感器500基本上类似于图1-图4中所示的图像传感器100，并且包含多个光电二极管202、多个滤色器210和多个微透镜208。图像传感器500和图像传感器100的架构之间的一个差异是相对于多个微透镜108的多个微透镜208的布置和形状。
再次参考图5，图像传感器500包含与包含在多个滤色器210中的四个邻接滤色器组的相对应的多个平铺的最小重复单元(例如，重复单元212)。重复单元212可以由四个象限来描述(例如，Q1、Q2、Q3和Q4)，其中每个象限包含有包含在多个滤色器210中的相应滤色器(例如，蓝色、绿色、绿色或红色滤色器)。象限中的每一个包含四个相邻光电二极管的组(例如，如在图像传感器500的左上角所示的呈2乘2阵列布置的)。多个微透镜208形成包含多个平铺的最小重复微透镜单元的微透镜阵列，所述最小重复微透镜单元各自包含分别设置在滤色器阵列的平铺最小重复单元的第二滤色器(例如，在重复单元212的Q2内)上的第一对微透镜208-A和第三滤色器(例如，在重复单元212的Q3内)上的第二对微透镜208-B。如图所示，第一对微透镜208-A被定向成纵向地正交于第二对微透镜208-B。单独地，包含在多个平铺的最小重复微透镜单元中的微透镜在包含在四个相邻光电二极管的各个组中的两个相邻光电二极管上光学对齐，该两个相邻光电二极管带有一定长度204和宽度206，该长度在至少两个相邻光电二极管上延伸，并且该宽度在包含在多个光电二极管202中的光电二极管的大约一个上延伸。
应当理解的是，在所示的实施例中，Q2和Q3(例如，含有绿色滤色器的象限)各自都包含在两列和一行(或两行和一列)上延伸的两个微透镜，但是在其他实施例中，类似形状的微透镜也可以被设置在其他象限内(例如，重复单元212的Q1和Q4)。更进一步，应当理解的是，在一些实施例中，Q1和Q4可以各自不包含微透镜、多个微透镜(例如，在重复单元212的单独的象限内居中的四个微透镜的2乘2阵列)、单个微透镜(例如，类似于图1-图3中所示的多个微透镜106在两列和两行上延伸的微透镜)或其组合。
图6示出了根据本公开的各个方面的在包含在图像传感器500的子像素(例如，图5中所示的重复单元212的Q3)中的半导体材料214、滤色器210和微透镜208的横向区域之间的相对大小比较。如图所示，半导体材料214的每个相应部分(例如，半导体材料214-1)具有第一横向区域，并且滤色器210具有大于第一横向区域的第二横向区域220。微透镜208具有第三横向区域216，所述第三横向区域具有带有一定长度和宽度卵形形状，该长度大致在半导体材料214的相应部分中的两个部分上延伸，并且该宽度大致在半导体材料214的相应部分中的一个部分上延伸。因此，第三横向区域216是大于第一横向区域218，但小于第二横向区域220的。
图1-图6中所讨论的图像传感器被配置为使用共享的微透镜配置，以便于进行相位检测，并且从而获得用于外部场景的深度信息。由共享微透镜的光电二极管获得的粗糙深度信息适用于自动聚焦技术。然而，如果期望详细的信息来创建三维形状图像，则期望附加的信息来增强数据质量。
在本公开的一些实施例中，利用被配置为检测偏振信息的光电二极管来增强如上所述的共享的微透镜光电二极管阵列。在一些实施例中，偏振信息可以包含线性偏振角(AoLP)信息和线性偏振度(DoLP)信息。来自物体的表面反射改变所反射的光的偏振。通过检测AoLP信息和DoLP信息，可以提取一组表面法线，这些表面法线中的每一个法线包含方位角值和天顶角值。在一些实施例中，仅仅使用偏振信息计算的表面法线是模糊的——也就是说，计算的方位角值可以是实际值，或者可以比实际值小pi弧度。通过使用从相位检测光电二极管获得的深度信息，本公开的实施例可以对从偏振信息获得的模糊的表面法线消除模糊，并且可以生成详细的三维形状图像。
图7是示出了根据本公开的各个方面的用于包含相位检测光电二极管和偏振检测光电二极管的图像传感器的图案的两个非限制性示例性实施例的示意图。图案702类似于图2中所示的图像传感器100，因为图案702由重复单元706构成，所述重复单元包含四个2x2光电二极管的正方形组。像在图2中，四个光电二极管的第一组与第一光谱光响应的滤色器相关联(由带有“B”的方块表示)，四个光电二极管的第二组与第二光谱光响应的滤色器相关联(由带有“G”的方块表示)，四个光电二极管的第三组与第三光谱光响应的滤色器相关联(由带有“R”的方块表示)。这些光电二极管组中的每一个都包含布置在该组中的所有四个光电二极管的至少一部分上的微透镜(由标有B、G或R的方框上的虚线圆圈表示)。因为这些光电二极管组与共享的微透镜相关联，所以这些光电二极管组可以用于深度信息的相位检测/收集。
与图2不同，代替重复单元706包含与滤色器和单个微透镜相关联的四个光电二极管的第四组，重复单元706包含被配置为获得偏振信息的四个光电二极管710的第四组。如图所示，第四组中的光电二极管中的每一个与单独的微透镜相关联。为了获得偏振信息，在一些实施例中，四个光电二极管710的组的光电二极管中的每一个与一组偏振网格的偏振线相关联。偏振网格可以被放置在光电二极管的光路径中，诸如在微透镜和光电二极管之间。在一些实施例中，偏振线定向在以下四个方向中的一个中：0度、45度、90度或135度。这些取向在图7中用数字1、2、3和4指示。相应地，图7示出了图案702的四个光电二极管710的组在四个取向中的每一个取向中包含一个光电二极管。在一些实施例中，可以使用不同于这些的方向。在一些实施例中，可以仅使用四个取向中的三个。与图2一样，重复单元706共同形成图像传感器的像素，并且重复单元706的图案被重复多次以形成图像传感器的面。
图7还示出了图案704。图案704类似于图案702，因为它包含由四个光电二极管组成的正方形组，它们或者与单一类型的滤色器和共享的微透镜相关联(并且可以用于相位检测)，或者与偏振线和各个微透镜相关联(并且可以用于偏振检测)。然而，在图案704中，滤色器以不同的图案布置，使得重复单元708在图案被重复之前使用十六组四个光电二极管(每侧有八个光电二极管)。
图8是示出了根据本公开的各个方面的用于包含相位检测光电二极管和偏振检测光电二极管的图像传感器的图案的三个附加的非限制性示例性实施例的示意图。图8中示出的图案802、图案804和图案806包含与图7中示出的图案702和图案704相似的部件，但是对于组件的不同布局而言，并且对于偏振检测光电二极管与滤色器相关联的事实而言，属于例外情况。
图9是示出了根据本公开的各个方面的用于包含相位检测光电二极管和偏振检测光电二极管的图像传感器的图案的再有三个的非限制性示例性实施例的示意图。图9中示出的图案902、图案904和图案906还包含带有与图7中示出和描述的那些部件类似的部件的由四个光电二极管组成的正方形组。然而，在图9中，图案902、图案904和图案906对于部件具有不同的布局，并且具有与滤色器相关联的偏振检测光电二极管(与图8相同)。并且，在图案902、图案904和图案906中，代替每个偏振检测光电二极管与各个微透镜相关联，由四个偏振检测光电二极管组成的正方形组各自使用单个共享的微透镜。
图10是示出了根据本公开的各个方面的用于包含相位检测光电二极管和偏振检测光电二极管的图像传感器的图案的再有两个的非限制性示例性实施例的示意图。类似于图7，图10中示出的图案1002使用重复单元1006，所述重复单元包含四个由四个光电二极管的正方形组，这些组中的三个与滤色器相关联，并且这些组中的一个与偏振线相关联。与图7相同，偏振检测光电二极管中的每一个与单独的微透镜相关联。然而，不同于图7，共享的微透镜被布置在少于由四个光电二极管组成的每一个组中的所有光电二极管的光电二极管上。图案1002包含在由四个光电二极管组成的每一个组中仅两个光电二极管上的共享的微透镜。如图所示，微透镜位于水平相邻的光电二极管上方，留下由四个光电二极管组成的每一个组中的剩余光电二极管未被微透镜覆盖。图案1004类似于图案1002，但是图案1004的重复单元1008包含位于竖直相邻的光电二极管上方而不是水平相邻的光电二极管上方的微透镜。
图11是示出了根据本公开的各个方面的用于包含相位检测光电二极管和偏振检测光电二极管的图像传感器的图案的另一非限制性示例性实施例的示意图。在图案1100中，使用光电二极管的3x3正方形组而不是在其重复单元1102中使用光电二极管的2x2正方形组。如图所示，由九个光电二极管组成的第一3x3组与单个共享的微透镜和第一光谱光响应的滤色器相关联，由九个光电二极管组成的第二3x3组与单个共享的微透镜和第二光谱光响应的滤色器相关联，并且由九个光电二极管组成的第三3x3组与单个共享的微透镜和第三光谱光响应的滤色器相关联。由九个光电二极管组成的第四3x3组中的光电二极管与偏振线相关联。在这个组中，光电二极管中的四个光电二极管与在第一取向上的偏振线相关联，光电二极管中的两个光电二极管与第二取向的偏振线相关联，光电二极管中的两个光电二极管与第三取向的偏振线相关联，并且光电二极管中的一个光电二极管与第四取向的偏振线相关联。如图所示，九个偏振光电二极管与单个共享的微透镜相关联。
图12是示出了根据本公开的各个方面的用于包含相位检测光电二极管和偏振检测光电二极管的图像传感器的图案的又一非限制性示例性实施例的示意图。图案1200包含与相对于图11所示和所描述的那些类似的部件。然而，在图案1200中，偏振检测光电二极管与滤色器相关联。这种图示的布局仅是非限制性示例，并且在一些实施例中，滤色器和/或偏振检测光电二极管的布局可以不同。
图13是示出了根据本公开的各个方面的用于包含相位检测光电二极管和偏振检测光电二极管的图像传感器的图案的又一非限制性示例性实施例的示意图。在图案1300中，使用光电二极管的4x4正方形组，而不是在其重复单元1302中使用光电二极管的2x2正方形组或光电二极管的3x3正方形组。如图所示，由十六个光电二极管组成的第一4x4组与单个共享的微透镜和第一光谱光响应的滤色器相关联，由十六个光电二极管组成的第二4x4组与单个共享的微透镜和第二光谱光响应的滤色器相关联，并且由十六个光电二极管组成的第三4x4组与单个共享的微透镜和第三光谱光响应的滤色器相关联。由十六个光电二极管组成的第四4x4组的光电二极管与偏振线相关联。在这个组中，四个光电二极管与在第一取向的偏振线相关联，四个光电二极管与在第二取向的偏振线相关联，四个光电二极管与在第三取向的偏振线相关联，并且四个光电二极管与在第四取向的偏振线相关联。如图所示，十六个偏振光电二极管与单个共享的微透镜相关联。在一些实施例中，由十六个光电二极管组成的第四4x4组的光电二极管也可以与第一、第二或第三光谱光响应的滤色器相关联。
图14是示出了根据本公开的各个方面的用于包含相位检测光电二极管和偏振检测光电二极管的图像传感器的图案的又一非限制性示例性实施例的示意图。图案1400包含与相对于图13所示和所描述的那些类似的部件。然而，在图案1400中，偏振检测光电二极管与滤色器相关联。这种图示的布局仅是非限制性示例，并且在一些实施例中，滤色器和/或偏振检测光电二极管的布局可以不同。
图15是根据本公开的各个方面的包含带有共享的微透镜的图像传感器1504的成像系统1502的非限制性示例性实施例的功能框图。成像系统1502能够响应于入射光1516聚焦在外部场景1518内的兴趣点(POI)上。成像系统1502包含：图像传感器1504，该图像传感器响应入射光1516来生成电信号或图像信号；(多个)物镜1514，该物镜具有可调光焦度，以聚焦在外部场景1518内的一或多个兴趣点上；以及控制器1520，以控制尤其是图像传感器1504和(多个)物镜1514的操作。图像传感器1504是如图1-图13中任一所示的图像传感器的一种可能的实现，并且包含：半导体材料1506，该半导体材料带有设置在半导体材料1506的相应部分内的多个光电二极管1508；多个滤色器1510和多个微透镜1512。控制器1520包含一或多个处理器1522、存储器1524、控制电路系统1526、读出电路系统1528和功能逻辑1530。
控制器1520包含逻辑和/或电路系统，以控制成像系统1502的各种部件的操作(例如，在图像和/或视频采集的前、后和原阶段期间)。控制器1520可以被实现为硬件逻辑(例如，专用集成电路、现场可编程门阵列、片上系统等)、在通用微控制器或微处理器上执行的软件/固件逻辑或者硬件和软件/固件逻辑的组合。在一个实施例中，控制器1520包含耦合到存储器1524的处理器1522，该存储器存储由控制器1520或以其他方式由成像系统1502的一或多个部件执行的指令。当由控制器1520执行时，这些指令可以使得成像系统1502执行可以与成像系统1502的各种功能模块、逻辑块或电路系统相关联的操作，该成像系统的各种功能模块、逻辑块或电路系统包含控制电路系统1526、读出电路系统1528、功能逻辑1530、图像传感器1504、物镜1514和成像系统1502的任何其他元件(示出或以其他方式)中的任何一个或其组合。存储器是可以包含但不限于由控制器1520可读的易失性(例如，RAM)或非易失性(例如，ROM)存储系统的非暂时性计算机可读介质。应进一步理解的是，控制器1520可以是单片式集成电路、一或多个分立的互连电气部件或其组合。附加地，在一些实施例中，一或多个电气部件可以彼此耦合，以共同作为用于协调成像系统1502的操作的控制器1520起作用。
控制电路系统1526可以控制图像像素阵列的操作特性(例如，曝光持续时间、何时捕捉数字图像或视频等)。读出电路系统1528从各个光电二极管读取或者以其他方式采样模拟信号(例如，读出由多个光电二极管1508中的每一个响应于入射光生成的电信号，以生成相位检测自动聚焦信号、深度信息信号、偏振信息信号，读出图像信号以捕获图像帧等)，并且可以包含放大电路系统、模拟至数字(ADC)电路系统、图像缓冲器或其他。在所示实施例中，读出电路系统1528是包含在控制器1520中的，但是在其他实施例中，读出电路系统1528可以与控制器1520分离。功能逻辑1530被耦合到读出电路系统1528，响应于接收电信号来生成相位检测自动聚焦(PDAF)信号，响应于接收图像信号或数据来生成图像，基于偏振信息来确定模糊的表面法线，以及使用深度信息来使表面法线消除模糊以生成三维形状图像等。在一些实施例中，电信号或图像信号可以分别存储为PDAF信号、三维形状数据或图像数据，并且可以由功能逻辑1530操纵(例如，对图像数据进行去马赛克，应用后期图像效果(诸如，修剪、旋转、去红眼、调节亮度、调节对比度或其他操作))。
图16是示出了根据本公开的各个方面的创建三维形状图像的方法的非限制性示例性实施例的流程图。在一些实施例中，方法1600可以由图15中所示的成像系统1502和/或图1-图13中所示的任何图像传感器来实现。应当理解的是，方法1600的编号框可以以任何顺序甚至并行的方式出现。附加地，根据本公开的教导，可以向方法1600添加或从其移除框。
在开始框处，方法1600在接收到信号(例如，成像系统1502的按下的快门按钮，或任何其他合适的信号)时初始化成像系统1502，以捕捉表示外部场景1518的图像帧。在初始化期间，可以提供(例如，由成像系统1502的用户选择)、自动地检测(例如，在带有相位检测自动聚焦信号的后续步骤期间)或者以其他方式获得要由图像传感器1504成像的外部场景1518的兴趣点(POI)。POI可以表示期望被聚焦的外部场景1518的一或多个区域，和/或期望使用三维形状数据的外部场景1518的一或多个区域。
从开始框起，方法1600前进到框1602至框1610，这包含用于使用带有共享的微透镜的图像传感器生成相位检测自动聚焦(PDAF)信号的动作，并且如果需要，将调节物镜的光焦度以配置成像系统聚焦在一或多个兴趣点上，如本公开的各种实施例中所示。更具体地，所用的图像传感器包含布置有(即，光学对齐)公共微透镜的光电二极管的组，使得在图像传感器的图像像素阵列内的每个子像素可以被配置为相位检测器。
在框1602处，多个光电二极管暴露于与外部场景相关联的入射光。响应于入射光，多个光电二极管生成与入射光的强度成比例的电信号。
在框1604处，响应于入射光读出(例如，经由图15中所示的读出电路系统1528)电信号。可以响应于入射光从各个子像素中单独读出电信号(例如，通过将光电二极管中的每一个中生成的图像电荷作为电信号一次一行地传送到列存储电容器，并且然后使用耦合到多路复用器的列解码器单独读出这些元件)，使得由包含在共享公共滤色器和微透镜的光电二极管组中的相对应的光电二极管生成的电信号中的每一个可以被分组在一起。
在框1606处，比较电信号以给成像系统提供相位检测自动聚焦。功能逻辑1530可以用于至少部分地基于与由包含在多个光电二极管中的四个光电二极管组成的至少一组相关联的电信号之间的比较来生成PDAF信号。在一些实施例中，由于共享公共滤色器和公共微透镜而被分组在一起的电信号可以被相互比较以作为相位检测器操作。在一些实施例中，功能逻辑1530通过比较包含在由四个光电二极管组成的组中的相邻光电二极管之间的电信号并且进一步比较在包含在由四个光电二极管组成的组中的对角光电二极管之间的电信号来生成PDAF信号。
在判定框1608处，至少部分地基于电信号之间的比较来确定兴趣点是否处于焦点中。在一些实施例中，基于电信号生成一或多个相位图像。例如，如果共享的微透镜与四个光电二极管光学对齐，则来自每个相应象限的电信号可以用于生成相应的相位图像(即，四个相位图像)。对可以比较的相位图像中的每一个(即，与光电二极管的2乘2阵列中相应一个的公共微透镜相关联的电信号组)进行比较，以生成提供关于兴趣点是否处于焦点中的多方向信息的PDAF信号。
如果兴趣点不处于焦点中，则判定框1608的结果为否，并且方法1600前进到框1610，其中基于电信号的比较来调节光焦度(例如，由物镜1514提供)。换句话说，该比较允许确定物镜1514的光焦度是否导致外部场景1518是处于焦点中、前聚焦或后聚焦，并且提供相应地调节光焦度的指令。一旦调节了物镜的光焦度，方法1600返回到框1602。
返回到判定框1608，如果兴趣点是处于焦点中，则判定框1608的结果为是，并且方法1600前进到框1612。在框1612处，对与不同相位检测光电二极管(例如，共享公共微透镜的光电二极管)相关联的电信号进行比较，以确定用于生成外部场景1518的深度图的相对深度信息。在一些实施例中，PDAF信号或与PDAF信号相关联的深度图可以被用作深度信息，而无需执行单独的比较。
在框1614处，分析来自偏振检测光电二极管(例如，与偏振线相关联的光电二极管)的电信号以确定模糊的表面法线，并且在框1616处，通过使用深度信息澄清模糊的表面法线来确定三维形状信息。一旦获得消除模糊的表面法线，作为方法1600的结果，它们可以被提供为三维形状图像(或者可以用于生成这样的三维形状图像)。
可以使用任何合适的技术从来自偏振线的电信号中获得模糊的表面法线。例如，对于给定的偏振器角度φpol，在给定图像点处的强度可以被给出为：
Figure BDA0002861101810000151
其中，在这个等式中的三个未知变量是I最大值、I最小值和方位角
Figure BDA0002861101810000152
可以看出的是，方位角是模糊的，因为
Figure BDA0002861101810000153
和
Figure BDA0002861101810000154
的方位角对于上述等式返回相同的值。作为另一示例，方位角可以根据斯托克斯矢量确定，该斯托克斯矢量从来自不同偏振的偏振光电探测器的四个样本中导出：
S0＝强度＝Itot
S0＝I0°+I90°
S1＝I0°-I90°
S2＝I45°-I135°
Figure BDA0002861101810000155
Figure BDA0002861101810000156
线性偏振度(DoLP)可以用于获得表面法线的天顶角，如下所示：
Figure BDA0002861101810000157
其中θ是天顶角，并且n是折射率。
线性偏振角(AoLP)可以用于获得模糊的方位角，如下所示：
Figure BDA0002861101810000158
模糊的方位角＝ψ+(0或π)
不同的技术可以用于不同的材料。例如，以上技术可以用于对电介质表面成像，而其他技术可以用于非电介质表面，诸如镜子或金属。
一旦获得模糊方位角和天顶角，可以使用任何合适的技术来使使用深度信息的模糊方位角消除模糊。例如，在一些实施例中，使用这些技术来基于深度信息生成单独的表面法线集合。然后可以发现基于偏振信息的法线和基于深度信息的法线相关的算子
Figure BDA0002861101810000161
使得两组法线之间的变化可以最小化为总变化最小化问题。一旦获得了算子
Figure BDA0002861101810000162
就可以应用它来使偏振法线消除模糊。
方法1600然后前进到结束框并终止。
虽然已经说明和描述了本发明的优选的实施例，但是应当理解的是，在不脱离本发明的精神和范围的情况下，在其中可以做出各种变化。因此，包含摘要中描述的内容的本发明的所示示例的上述描述并不旨在穷尽或限制所开的精确形式。虽然出于例示目的在本文中描述了本发明的具体实施例和示例，但在不偏离本发明更宽范围精神和范围的情况下，可以进行各种等同的修改。实际上，应当理解的是，为了解释的目的提供了具体示例性电压、电流、频率、功率范围值、时间等，且根据本发明的教导在其他实施例和示例中也可以采用其他值。
根据上面详细的描述可以对本发明的示例做出修改。在以下权利要求书中所使用的术语不应理解为将本发明限制于说明书及权利要求书中所公开的特定实施例。相反，本范围应完全由所附权利要求书确定，应根据所确立的权利要求阐释原则解释所附权利要求书。因此，本说明书和附图应被认为是说明性的而非限制性的。

Claims (20)

1.一种图像传感器，包括：
多个光电二极管，所述多个光电二极管布置成光电二极管阵列，其中所述多个光电二极管包含：
第一组光电二极管，所述第一组光电二极管配置为相位检测光电二极管；以及
第二组光电二极管，所述第二组光电二极管配置为偏振检测光电二极管。
2.根据权利要求1所述的图像传感器，其中被配置为相位检测光电二极管的所述第一组光电二极管包含：
至少一个光电二极管正方形组；以及
至少一个微透镜，所述至少一个微透镜布置在所述至少一个光电二极管正方形组中的多于一个的光电二极管上。
3.根据权利要求2所述的图像传感器，其中所述至少一个微透镜被布置在所述至少一个光电二极管正方形组中的所有光电二极管的至少一部分上。
4.根据权利要求3所述的图像传感器，其中所述至少一个光电二极管正方形组包含四个光电二极管、九个光电二极管或十六个光电二极管。
5.根据权利要求2所述的图像传感器，其中所述至少一个微透镜布置在少于所述至少一个光电二极管正方形组的所有光电二极管的光电二极管上。
6.根据权利要求5所述的图像传感器，其中所述至少一个微透镜布置在水平相邻的一对光电二极管上。
7.根据权利要求5所述的图像传感器，其中所述至少一个微透镜布置在竖直相邻的一对光电二极管上。
8.根据权利要求1所述的图像传感器，其中被配置为偏振检测光电二极管的所述第二组光电二极管包含至少一个由四个光电二极管组成的正方形组，并且其中所述图像传感器进一步包括：
至少四个微透镜，每个微透镜布置在所述四个光电二极管中的一个光电二极管上；
与所述四个光电二极管的第一光电二极管相对应的在第一取向上的偏振线；
与所述四个光电二极管的第二光电二极管相对应的在第二取向上的偏振线；
与所述四个光电二极管的第三光电二极管相对应的在第三取向上的偏振线；以及
与所述四个光电二极管的第四光电二极管相对应的在第四取向上的偏振线。
9.根据权利要求1所述的图像传感器，其中被配置为偏振检测光电二极管的所述第二组光电二极管包含至少一个由九个光电二极管组成的正方形组，并且其中所述图像传感器进一步包括：
与所述九个光电二极管中的四个相对应的在第一取向上的偏振线；
与所述九个光电二极管中的两个相对应的在第二取向上的偏振线；
与所述九个光电二极管中的两个相对应的在第三取向上的偏振线；以及
与所述九个光电二极管中的一个相对应的在第四取向上的偏振线。
10.根据权利要求9所述的图像传感器，进一步包括布置在所述至少一个由九个光电二极管组成的正方形组上的至少一个微透镜。
11.根据权利要求9所述的图像传感器，进一步包括布置在所述至少一个由九个光电二极管组成的正方形组上的滤色器。
12.根据权利要求1所述的图像传感器，其中被配置为偏振检测光电二极管的所述第二组光电二极管包含至少一个由十六个光电二极管组成的正方形组，并且其中所述图像传感器进一步包括：
与所述十六个光电二极管中的四个相对应的在第一取向上的偏振线；
与所述十六个光电二极管中的四个相对应的在第二取向上的偏振线；
与所述十六个光电二极管中的四个相对应的在第三取向上的偏振线；以及
与所述十六个光电二极管中的四个相对应的在第四取向上的偏振线。
13.根据权利要求12所述的图像传感器，进一步包括布置在所述至少一个由十六个光电二极管组成的正方形组上的至少一个微透镜。
14.根据权利要求12所述的图像传感器，进一步包括布置在所述至少一个由十六个光电二极管组成的正方形组上的滤色器。
15.根据权利要求1所述的图像传感器，进一步包括电路系统，所述电路系统被配置为：
处理来自所述第一组光电二极管的信号以获得深度信息；
处理来自所述第二组光电二极管的信号以获得偏振信息；
处理所述偏振信息以获得模糊的一组表面法线；以及
使用所述深度信息处理所述模糊的一组表面法线，以获得三维形状图像。
16.根据权利要求15所述的图像传感器，其中处理来自所述第一组光电二极管的信号以获得深度信息包含比较具有公共相对应的微透镜的光电二极管之间的电信号。
17.根据权利要求16所述的图像传感器，其中比较具有公共相对应的微透镜的光电二极管之间的电信号包含比较相邻光电二极管之间的电信号和比较对角光电二极管之间的电信号。
18.一种控制器，所述控制器包括电路系统，所述电路系统被配置为：
处理来自光电二极管阵列的第一组光电二极管的信号以获得深度信息；
处理来自所述光电二极管阵列的第二组光电二极管的信号以获得偏振信息；
处理所述偏振信息以获得模糊的一组表面法线；以及
使用所述深度信息处理所述模糊的一组表面法线，以获得三维形状图像。
19.根据权利要求18所述的控制器，其中处理来自所述光电二极管阵列的所述第一组光电二极管的信号以获得所述深度信息包含比较具有公共相对应的微透镜的光电二极管之间的电信号。
20.根据权利要求19所述的控制器，其中比较具有公共相对应的微透镜的光电二极管之间的电信号包含比较相邻光电二极管之间的电信号和比较对角光电二极管之间的电信号。
CN202011562351.3A 2019-12-27 2020-12-25 用于使用偏振和相位检测光电二极管获得三维形状信息的装置和方法 Pending CN113053932A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US16/729,088 2019-12-27
US16/729,088 US11233963B2 (en) 2019-12-27 2019-12-27 Devices and methods for obtaining three-dimensional shape information using polarization and phase detection photodiodes

Publications (1)

Publication Number Publication Date
CN113053932A true CN113053932A (zh) 2021-06-29

Family

ID=76508176

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011562351.3A Pending CN113053932A (zh) 2019-12-27 2020-12-25 用于使用偏振和相位检测光电二极管获得三维形状信息的装置和方法

Country Status (3)

Country Link
US (1) US11233963B2 (zh)
CN (1) CN113053932A (zh)
TW (1) TWI792128B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117630969A (zh) * 2023-12-18 2024-03-01 珠海燧景科技有限公司 用于倒车过程中的障碍物检测装置及方法

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20220144087A (ko) * 2021-04-19 2022-10-26 삼성전자주식회사 이미지 센서 및 이미지 센싱 시스템

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010256138A (ja) * 2009-04-23 2010-11-11 Canon Inc 撮像装置及びその制御方法
CN103219350A (zh) * 2012-01-23 2013-07-24 全视科技有限公司 用于3d成像的有具有交替偏光的滤光器的图像传感器
CN204720451U (zh) * 2014-06-03 2015-10-21 半导体元件工业有限责任公司 成像系统和处理器系统
CN105580352A (zh) * 2014-09-01 2016-05-11 索尼公司 固体摄像器件、固体摄像器件的信号处理方法和电子装置
US20160286108A1 (en) * 2015-03-24 2016-09-29 Semiconductor Components Industries, Llc Imaging systems having image sensor pixel arrays with phase detection capabilities
CN106449674A (zh) * 2015-08-05 2017-02-22 豪威科技股份有限公司 具有对称多像素相位差检测器的图像传感器及相关方法
CN107615485A (zh) * 2015-06-10 2018-01-19 索尼公司 固态成像装置和电子设备
US20180100731A1 (en) * 2016-10-07 2018-04-12 Arizona Board Of Regents On Behalf Of The University Of Arizona Depth and/or orientation tracker using division of focal plane polarization and/or color camera
CN108141571A (zh) * 2015-09-24 2018-06-08 高通股份有限公司 无掩模相位检测自动聚焦
US20180367747A1 (en) * 2017-06-15 2018-12-20 SmartSens Technology (U.S.),Inc. Four shared pixel with phase detection and full array readout modes

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5890095A (en) 1997-01-21 1999-03-30 Nichols Research Corporation System for receiving and enhancing electromagnetic radiation input signals
US10260866B2 (en) 2015-03-06 2019-04-16 Massachusetts Institute Of Technology Methods and apparatus for enhancing depth maps with polarization cues
US9915524B2 (en) * 2015-05-11 2018-03-13 Kla-Tencor Corporation Optical metrology with small illumination spot size
US10694169B1 (en) * 2015-08-14 2020-06-23 Apple Inc. Depth mapping with polarization and focus pixels
WO2017099253A1 (ja) * 2015-12-11 2017-06-15 株式会社ニコン 偏光特性画像計測装置、偏光特性画像計測方法
WO2019026287A1 (ja) * 2017-08-04 2019-02-07 株式会社ソニー・インタラクティブエンタテインメント 撮像装置および情報処理方法
JP6951917B2 (ja) * 2017-09-15 2021-10-20 株式会社ソニー・インタラクティブエンタテインメント 撮像装置
CN208579746U (zh) * 2018-06-15 2019-03-05 杭州海康机器人技术有限公司 3d信息检测设备
KR102534247B1 (ko) * 2018-10-01 2023-05-18 삼성전자주식회사 편광판을 포함한 3d 이미지 센서, 및 그 3d 이미지 센서를 기반으로 한 깊이 보정방법과 3d 영상 생성방법
US11367743B2 (en) * 2019-10-28 2022-06-21 Omnivision Technologies, Inc. Image sensor with shared microlens between multiple subpixels
US10924689B1 (en) * 2019-11-22 2021-02-16 Karl Storz Imaging, Inc. Method and apparatus to improve high dynamic range image capture using image sensor with polarization
US11647175B2 (en) * 2019-12-06 2023-05-09 Omnivision Technologies, Inc. Determining depth information from a single camera
US20210255584A1 (en) * 2020-02-18 2021-08-19 Electronics And Telecommunications Research Institute Method and apparatus for generating full-color holographic image

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010256138A (ja) * 2009-04-23 2010-11-11 Canon Inc 撮像装置及びその制御方法
CN103219350A (zh) * 2012-01-23 2013-07-24 全视科技有限公司 用于3d成像的有具有交替偏光的滤光器的图像传感器
CN204720451U (zh) * 2014-06-03 2015-10-21 半导体元件工业有限责任公司 成像系统和处理器系统
CN105580352A (zh) * 2014-09-01 2016-05-11 索尼公司 固体摄像器件、固体摄像器件的信号处理方法和电子装置
US20160286108A1 (en) * 2015-03-24 2016-09-29 Semiconductor Components Industries, Llc Imaging systems having image sensor pixel arrays with phase detection capabilities
CN107615485A (zh) * 2015-06-10 2018-01-19 索尼公司 固态成像装置和电子设备
CN106449674A (zh) * 2015-08-05 2017-02-22 豪威科技股份有限公司 具有对称多像素相位差检测器的图像传感器及相关方法
CN108141571A (zh) * 2015-09-24 2018-06-08 高通股份有限公司 无掩模相位检测自动聚焦
US20180100731A1 (en) * 2016-10-07 2018-04-12 Arizona Board Of Regents On Behalf Of The University Of Arizona Depth and/or orientation tracker using division of focal plane polarization and/or color camera
US20180367747A1 (en) * 2017-06-15 2018-12-20 SmartSens Technology (U.S.),Inc. Four shared pixel with phase detection and full array readout modes

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117630969A (zh) * 2023-12-18 2024-03-01 珠海燧景科技有限公司 用于倒车过程中的障碍物检测装置及方法

Also Published As

Publication number Publication date
TWI792128B (zh) 2023-02-11
US11233963B2 (en) 2022-01-25
US20210203872A1 (en) 2021-07-01
TW202143706A (zh) 2021-11-16

Similar Documents

Publication Publication Date Title
CN112928130B (zh) 具有共用微透镜和偏振像素的图像传感器
CN112736101B (zh) 在多个子像素之间具有共享微透镜的图像传感器
CN112951858B (zh) 具有共享微透镜的图像传感器
US10498990B2 (en) Imaging systems with high dynamic range and phase detection pixels
CN109981939B (zh) 成像系统
US20170347042A1 (en) Imaging systems with high dynamic range and phase detection pixels
KR102353634B1 (ko) 촬상 장치, 촬상 소자, 및 화상 처리 장치
JP2014011526A (ja) 画像処理装置、撮像装置および画像処理方法
WO2008042137A2 (en) Imaging method, apparatus and system having extended depth of field
KR20110016438A (ko) 카메라 센서 교정
US9386203B2 (en) Compact spacer in multi-lens array module
CN113053932A (zh) 用于使用偏振和相位检测光电二极管获得三维形状信息的装置和方法
US11967602B2 (en) Image sensor with multi-pixel detector and partial isolation structure
GB2540922B (en) Full resolution plenoptic imaging
TW202404336A (zh) 用於相位偵測自動對焦之混合影像像素
US11758109B2 (en) Techniques for measuring depth and polarization from a single sensor
US20230314681A1 (en) Symmetric polarization filter for autofocus pixel structures
KR20130128226A (ko) 광학 수단 및 영상 촬영 장치
KR20240091440A (ko) 서로 다른 크기의 마이크로 렌즈를 포함하는 이미지 센서
TW202412292A (zh) 改善半四象限光電二極體(qpd)通道不平衡之半四象限光電二極體

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination