CN112736101A - 在多个子像素之间具有共享微透镜的图像传感器 - Google Patents
在多个子像素之间具有共享微透镜的图像传感器 Download PDFInfo
- Publication number
- CN112736101A CN112736101A CN202011162342.5A CN202011162342A CN112736101A CN 112736101 A CN112736101 A CN 112736101A CN 202011162342 A CN202011162342 A CN 202011162342A CN 112736101 A CN112736101 A CN 112736101A
- Authority
- CN
- China
- Prior art keywords
- photodiodes
- sub
- pixel
- image
- color filter
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 239000000463 material Substances 0.000 claims abstract description 25
- 239000004065 semiconductor Substances 0.000 claims abstract description 22
- 238000001514 detection method Methods 0.000 claims description 51
- 238000003384 imaging method Methods 0.000 claims description 40
- 230000003595 spectral effect Effects 0.000 claims description 40
- 230000004298 light response Effects 0.000 claims description 19
- 230000004044 response Effects 0.000 claims description 17
- 238000012935 Averaging Methods 0.000 claims 1
- 238000000034 method Methods 0.000 description 33
- 230000003287 optical effect Effects 0.000 description 8
- 230000008569 process Effects 0.000 description 8
- 238000003860 storage Methods 0.000 description 7
- 238000012545 processing Methods 0.000 description 6
- 238000001228 spectrum Methods 0.000 description 6
- 230000035945 sensitivity Effects 0.000 description 5
- XUIMIQQOPSSXEZ-UHFFFAOYSA-N Silicon Chemical compound [Si] XUIMIQQOPSSXEZ-UHFFFAOYSA-N 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 229920000642 polymer Polymers 0.000 description 3
- 229910052710 silicon Inorganic materials 0.000 description 3
- 239000010703 silicon Substances 0.000 description 3
- 238000001429 visible spectrum Methods 0.000 description 3
- 238000006243 chemical reaction Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 238000009792 diffusion process Methods 0.000 description 2
- 230000010354 integration Effects 0.000 description 2
- 238000004519 manufacturing process Methods 0.000 description 2
- 238000013507 mapping Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000000206 photolithography Methods 0.000 description 2
- 229920002120 photoresistant polymer Polymers 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 241000593989 Scardinius erythrophthalmus Species 0.000 description 1
- 230000003321 amplification Effects 0.000 description 1
- 239000000872 buffer Substances 0.000 description 1
- 239000003990 capacitor Substances 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 238000005229 chemical vapour deposition Methods 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 239000004205 dimethyl polysiloxane Substances 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000005670 electromagnetic radiation Effects 0.000 description 1
- 238000005538 encapsulation Methods 0.000 description 1
- 238000011065 in-situ storage Methods 0.000 description 1
- 230000000977 initiatory effect Effects 0.000 description 1
- 238000005468 ion implantation Methods 0.000 description 1
- 238000002955 isolation Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 239000003607 modifier Substances 0.000 description 1
- 238000003199 nucleic acid amplification method Methods 0.000 description 1
- 201000005111 ocular hyperemia Diseases 0.000 description 1
- 230000001151 other effect Effects 0.000 description 1
- 238000005240 physical vapour deposition Methods 0.000 description 1
- 238000005498 polishing Methods 0.000 description 1
- 229920000435 poly(dimethylsiloxane) Polymers 0.000 description 1
- 229920003229 poly(methyl methacrylate) Polymers 0.000 description 1
- -1 polydimethylsiloxane Polymers 0.000 description 1
- 239000004926 polymethyl methacrylate Substances 0.000 description 1
- 238000011084 recovery Methods 0.000 description 1
- 239000002904 solvent Substances 0.000 description 1
- 239000000126 substance Substances 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H10—SEMICONDUCTOR DEVICES; ELECTRIC SOLID-STATE DEVICES NOT OTHERWISE PROVIDED FOR
- H10F—INORGANIC SEMICONDUCTOR DEVICES SENSITIVE TO INFRARED RADIATION, LIGHT, ELECTROMAGNETIC RADIATION OF SHORTER WAVELENGTH OR CORPUSCULAR RADIATION
- H10F39/00—Integrated devices, or assemblies of multiple devices, comprising at least one element covered by group H10F30/00, e.g. radiation detectors comprising photodiode arrays
- H10F39/80—Constructional details of image sensors
- H10F39/806—Optical elements or arrangements associated with the image sensors
- H10F39/8063—Microlenses
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/67—Focus control based on electronic image sensor signals
- H04N23/672—Focus control based on electronic image sensor signals based on the phase difference signals
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
- H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
- H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
- H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
- H04N25/133—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements including elements passing panchromatic light, e.g. filters passing white light
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/40—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled
- H04N25/44—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled by partially reading an SSIS array
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/40—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled
- H04N25/46—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled by combining or binning pixels
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/70—SSIS architectures; Circuits associated therewith
- H04N25/703—SSIS architectures incorporating pixels for producing signals other than image signals
- H04N25/704—Pixels specially adapted for focusing, e.g. phase difference pixel sets
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/70—SSIS architectures; Circuits associated therewith
- H04N25/76—Addressed sensors, e.g. MOS or CMOS sensors
-
- H—ELECTRICITY
- H10—SEMICONDUCTOR DEVICES; ELECTRIC SOLID-STATE DEVICES NOT OTHERWISE PROVIDED FOR
- H10F—INORGANIC SEMICONDUCTOR DEVICES SENSITIVE TO INFRARED RADIATION, LIGHT, ELECTROMAGNETIC RADIATION OF SHORTER WAVELENGTH OR CORPUSCULAR RADIATION
- H10F39/00—Integrated devices, or assemblies of multiple devices, comprising at least one element covered by group H10F30/00, e.g. radiation detectors comprising photodiode arrays
- H10F39/011—Manufacture or treatment of image sensors covered by group H10F39/12
- H10F39/024—Manufacture or treatment of image sensors covered by group H10F39/12 of coatings or optical elements
-
- H—ELECTRICITY
- H10—SEMICONDUCTOR DEVICES; ELECTRIC SOLID-STATE DEVICES NOT OTHERWISE PROVIDED FOR
- H10F—INORGANIC SEMICONDUCTOR DEVICES SENSITIVE TO INFRARED RADIATION, LIGHT, ELECTROMAGNETIC RADIATION OF SHORTER WAVELENGTH OR CORPUSCULAR RADIATION
- H10F39/00—Integrated devices, or assemblies of multiple devices, comprising at least one element covered by group H10F30/00, e.g. radiation detectors comprising photodiode arrays
- H10F39/80—Constructional details of image sensors
- H10F39/802—Geometry or disposition of elements in pixels, e.g. address-lines or gate electrodes
- H10F39/8023—Disposition of the elements in pixels, e.g. smaller elements in the centre of the imager compared to larger elements at the periphery
-
- H—ELECTRICITY
- H10—SEMICONDUCTOR DEVICES; ELECTRIC SOLID-STATE DEVICES NOT OTHERWISE PROVIDED FOR
- H10F—INORGANIC SEMICONDUCTOR DEVICES SENSITIVE TO INFRARED RADIATION, LIGHT, ELECTROMAGNETIC RADIATION OF SHORTER WAVELENGTH OR CORPUSCULAR RADIATION
- H10F39/00—Integrated devices, or assemblies of multiple devices, comprising at least one element covered by group H10F30/00, e.g. radiation detectors comprising photodiode arrays
- H10F39/80—Constructional details of image sensors
- H10F39/805—Coatings
- H10F39/8053—Colour filters
-
- H—ELECTRICITY
- H10—SEMICONDUCTOR DEVICES; ELECTRIC SOLID-STATE DEVICES NOT OTHERWISE PROVIDED FOR
- H10F—INORGANIC SEMICONDUCTOR DEVICES SENSITIVE TO INFRARED RADIATION, LIGHT, ELECTROMAGNETIC RADIATION OF SHORTER WAVELENGTH OR CORPUSCULAR RADIATION
- H10F39/00—Integrated devices, or assemblies of multiple devices, comprising at least one element covered by group H10F30/00, e.g. radiation detectors comprising photodiode arrays
- H10F39/10—Integrated devices
- H10F39/12—Image sensors
- H10F39/18—Complementary metal-oxide-semiconductor [CMOS] image sensors; Photodiode array image sensors
- H10F39/182—Colour image sensors
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Physics & Mathematics (AREA)
- Spectroscopy & Molecular Physics (AREA)
- Solid State Image Pick-Up Elements (AREA)
- Transforming Light Signals Into Electric Signals (AREA)
- Automatic Focus Adjustment (AREA)
Abstract
本公开涉及一种在多个子像素之间具有共享微透镜的图像传感器。一种图像传感器像素包含:多个光电二极管、共享微透镜和多个微透镜。所述多个光电二极管被布置为光电二极管阵列,其中所述多个光电二极管中的每一个被设置在半导体材料内。所述共享微透镜与包含在所述多个光电二极管中的一组相邻光电二极管光学地对准。所述多个微透镜中的每一个与所述多个光电二极管中除所述组相邻光电二极管之外的个别光电二极管光学地对准。所述多个微透镜横向包围所述共享微透镜。
Description
技术领域
本公开总体上涉及图像传感器,并且具体但非排他地涉及CMOS图像传感器及其应用。
背景技术
图像传感器已变得无处不在,并且现在数码相机、蜂窝式电话、监控摄像机、以及医疗、汽车及其它应用中广泛使用。由于图像传感器被集成到更宽范围的电子设备中,期望通过设备架构设计以及图像获取处理两者来以尽可能多的方式增强它们的功能性、性能度量等(例如,分辨率、功耗、动态范围等)。
典型的图像传感器响应于从外部场景反射的图像光入射到图像传感器上而操作。图像传感器包含具有光敏元件(例如,光电二极管)的像素阵列,所述光敏元件吸收入射图像光的一部分并且在吸收图像光时生成图像电荷。像素中的每一个的图像电荷可被测量为每个光敏元件的根据入射图像光变化的输出电压。换句话说,所生成的图像电荷量与图像光的强度成比例,所述图像光用于生成表示外部场景的数字图像(即,图像数据)。
发明内容
本申请的一个实施例提供了一种图像传感器像素,其包括:被布置为光电二极管阵列的多个光电二极管,所述多个光电二极管中的每一个被设置在半导体材料内;共享微透镜,所述共享微透镜与包含在多个光电二极管中的一组相邻光电二极管光学地对准;以及多个微透镜,所述多个微透镜各自与多个光电二极管中除所述一组相邻光电二极管之外的个别光电二极管光学地对准,并且其中所述多个微透镜横向包围所述共享微透镜。
本申请的另一实施例提供了一种成像系统,其包括:图像传感器,所述图像传感器包含多个光电二极管,所述多个光电二极管被布置为光电二极管阵列以形成多个图像像素,所述多个图像像素中的每一个包含:相位检测像素,所述相位检测像素包含第一滤色器,所述第一滤色器光学性设置在共享微透镜与包含在多个光电二极管中的一组相邻光电二极管之间;以及共同包围相位检测像素的多个子像素,所述多个子像素中的每一个包含子像素滤色器,所述子像素滤色器光学设置在多个微透镜与除所述一组相邻光电二极管之外的多个光电二极管之间。
附图说明
参考以下图式描述本发明的非限制且非详尽实施例,其中除非另有说明,否则相同的附图标记在各个视图中指代相同部件。并非元件的所有实例都必须被标记,以免在适当的情况下干扰附图。附图不一定按比例绘制,而是强调示出所描述的原理。
图1A示出了根据本公开教导的在多个子像素之间具有共享微透镜的图像传感器的俯视图。
图1B至1C示出了根据本公开教导的在多个子像素之间具有共享微透镜的图像传感器的不同横截面视图。
图1D示出了根据本公开教导的与共享微透镜对准的滤色器、子像素滤色器、共享微透镜和包含在图像传感器中的个别微透镜之间的相对尺寸比较。
图2是根据本公开教导的成像系统的功能框图,所述成像系统包含在多个子像素之间具有共享微透镜的图像传感器。
图3示出了根据本公开教导的用于利用成像系统捕获图像的示例性方法,所述成像系统包含在多个子像素之间具有共享微透镜的图像传感器。
图4A示出了根据本公开教导的用于恢复图像传感器的全分辨率的示例性方法,所述图像传感器在多个子像素之间具有共享微透镜。
图4B示出了根据本公开教导的用于计算包含在图像传感器的相位检测像素中的每个光电二极管的预期图像信号的转换过程,所述图像传感器在多个子像素之间具有共享微透镜。
图5A示出了根据本公开教导的用于合并来自图像传感器的图像信号的示例性方法,所述图像传感器在多个子像素之间具有共享微透镜。
图5B示出了根据本公开教导的用于在图像传感器的合并模式操作期间对图像信号进行求和,所述图像传感器在多个子像素之间具有共享微透镜。
具体实施方式
在本文描述了各自包含或者以其它方式涉及在多个子像素之间具有共享微透镜的图像传感器的装置、系统和方法的实施例。在以下描述中,阐述了许多具体细节以提供对实施例的透彻理解。然而,相关领域的技术人员将认识到,可在没有具体细节中的一或多者的情况下实践或者以其它方法、部件、材料等实践本文中描述的技术。在其它实例中,未示出或详细描述众所周知的结构、材料或操作以避免模糊某些方面。
贯穿本说明书对“一个实施例”、或“实施例”的参考意味着结合实施例描述的特定特征、结构或特性包含在本发明的至少一个实施例中。因此,在贯穿本说明书的各种地方出现短语“在一个实施例中”或“在实施例中”不一定都指代同一实施例。此外,特定特征、结构或特性可在一或多个实施例中以任何合适方式组合。
观察本说明书,使用若干技术术语。这些术语具有其所来源于的领域中的一般含义,除非本文中具体定义或其使用背景清楚地以其它方式指示。应当注意,贯穿本文档,元件名称及符号可互换使用(例如,Si与.硅);然而,这两者均具有相同意义。
在本文描述的实施例利用具有包含设置在个别图像像素的多个子像素之间的共享微透镜的架构的图像传感器,以提供单个传感器解决方案,所述单个传感器解决方案使得能够对包含在图像传感器中的每个图像像素进行多向相位检测自动聚焦(PDAF)以及全尺寸分辨率恢复和子像素合并。在一些实施例中,图像传感器的每个图像像素可包含共同包围相位检测像素的多个子像素。相位检测像素可包含共享微透镜,所述共享微透镜与包含在图像传感器的多个光电二极管中的一组相邻光电二极管光学地对准。多个子像素中的每一个可包含子像素滤色器,所述子像素滤色器光学设置在除所述组相邻光电二极管之外的多个光电二极管与多个微透镜之间。在此实施例中,给定的图像像素的多个微透镜可共同包围共享微透镜。每个图像像素的相位检测像素可被配置为确定图像帧内的兴趣点(POI)是否聚焦,并且可提供关于当POI离焦时应当如何调整成像系统的物镜的多向引导。有利地,在本文描述的实施例提供了用于基本上即时自动聚焦的密集型和全向相位差计算的单个传感器解决方案,而不必需要经由对比度检测和深度映射进行微调。
图1A至1D示出了图像传感器100的典型视图。应当理解,图1A至1D中呈现的视图可省略图像传感器100的某些元件以避免模糊本公开的细节。换句话说,并非图像传感器100的所有元件都可在图1A至1D的个别图内被标记、示出或以其它方式示出。还应当理解,在一些实施例中,图像传感器100可不必包括图1A至1D所示的所有元件。
图1A示出了根据本公开教导的在图像像素102的多个子像素(例如,103、104、105、106)之间具有共享微透镜109的图像传感器100的俯视图100-A。图像传感器100包含多个光电二极管113(例如,B1、B2、B3、GB1、GB2、GB4、GR1、GR3、GR4、R2、R3、R4、120、122、124、126、130、132、134、136、140、142、144、146、150、152、154、156等等),所述多个光电二极管被布置为行和列以形成光电二极管阵列。在一些实施例中,多个光电二极管113以规则的、重复的方式布置,使得多个光电二极管以规则间隔定位在半导体材料内,以经由光电二极管的行和列形成具有正方形或矩形形状的光电二极管阵列。在一些实施例中,包含在多个光电二极管113中的个别光电二极管可对应于半导体材料的共同响应于入射光的相应部分内的掺杂区(例如,掺杂区可形成PN结,所述PN结生成与入射光的幅度或强度成比例的图像电荷)。应当理解,多个光电二极管113中的每一个被设置在半导体材料内(例如,参见图1B和1C)并且与包含在给定的图像像素(例如,102)的多个子像素(例如,103、104、105、106等)中的一个或相位检测像素(例如,108)中的滤色器光学地对准。因此,为了清楚起见,图1A所示的视图100-A通常通过标记的光电二极管元件符号来指代给定的子像素或相位检测像素的各部分,而没有示出给定的光电二极管的示范性尺寸或形状。然而,应当理解,此些示范性视图在图1B至1D中示出。
返回参考图1A,图像像素102表示包含在共同形成图像传感器100的多个图像像素中的任何个别图像像素。图像像素102包含由多个子像素(例如,子像素103、104、105和106)包围的相位检测像素108。相位检测像素108包含与包含在多个光电二极管113中的一组相邻光电二极管(例如,120、122、124和126)光学地对准的共享微透镜109。在一些实施例中,共享微透镜109在包含于光电二极管阵列中的大约两行和两列上方延伸。相位检测像素108还包含与所述组相邻光电二极管光学地对准的第一滤色器115。如图1C所示,第一滤色器115被设置在所述组相邻光电二极管与共享微透镜109之间。
如图1A所示,图像像素102是全色图像像素(例如,能够响应于入射光生成图像信号,所述入射光可共同表示电磁光谱的至少可见部分),并且包含共同包围相位检测像素108的多个子像素(例如,子像素103、104、105和106)。图像像素102还包含多个微透镜107,每个微透镜与多个光电二极管113中除所述组相邻光电二极管之外的个别光电二极管(例如,B1、B2、B3、GB1、GB2、GB4、GR1、GR3、GR4、R2、R3、R4等,但并非包含在任何相位检测像素108中的光电二极管)光学地对准。换句话说,包含在多个微透镜107中的个别微透镜在光电二极管阵列的大约一行和一列上方延伸。在一些实施例中,包含在多个微透镜107中的个别微透镜相对于多个光电二极管113是不共享的,并且因此分别将光引导朝向多个光电二极管113中的单个光电二极管。基于图像像素102的多个子像素和相位检测像素的布置,多个微透镜107横向包围共享微透镜109。
在一些实施例中,包含在图像像素102中的多个微透镜107的数量与光电二极管的数量减去所述组相邻光电二极管(例如,光电二极管120、122、124和126)之间存在1:1的比率。此外,应当理解,术语“横向包围”并不一定意味着完全封装。相反,如图1A所示,根据本公开的实施例,在个别光电二极管、微透镜和滤色器之间可存在间隔和/或间隔距离。此外,在一些实施例中,可将其它部件(例如,通孔、布线、电路等)设置在所述间隔内。微透镜(例如,多个微透镜107和/或共享微透镜109)中的每一个可由聚合物(例如,聚甲基丙烯酸甲酯、聚二甲基硅氧烷等)或其它材料形成,并且被成形为具有用于将通过滤色器(例如,多个子像素滤色器110、第一滤色器115等)中的一个对应的光学地对准的滤色器入射在微透镜上的光会聚、发散或以其它方式引导到包含在多个光电二极管113中的相应的一或多个光电二极管的光焦度。
为了促进成为全色图像像素,图像像素102包含具有相应的光谱光响应的多个子像素滤色器110。术语“光谱光响应”描述了滤色器(例如,子像素滤色器110、第一滤色器115等)透射的电磁光谱的一部分。例如,与绿色相对应的光谱光响应指示滤色器将透射与绿色相对应的电磁光谱的一部分,同时基本上吸收与绿色不对应的电磁光谱的其它部分。类似地,与全色或透明相对应的光谱光响应指示滤色器基本上透射与光的可见光谱相对应的电磁光谱的一部分,同时基本上吸收可见光谱之外的电磁光谱区域(例如,如果光电二极管的光谱响应在可见范围之外,则吸收UV、IR等)。
在所示实施例中,子像素103是包含具有第一光谱光响应的第一子像素滤色器的第一子像素,子像素104是包含具有第二光谱光响应的第二子像素滤色器的第二子像素,子像素105是包含具有第三光谱光响应的第三子像素滤色器的第三子像素,并且子像素106是包含具有第四光谱光响应的第四子像素滤色器的第四子像素。如图1A所示,第一子像素103的第一子像素滤色器与第二子像素104的第二子像素滤色器和第三子像素105的第三子像素滤色器横向相邻。此外,第一子像素103的第一子像素滤色器与第四子像素106的第四子像素滤色器对角地设置,并且第二子像素104的第二子像素滤色器与第三子像素105的第三子像素滤色器对角地设置。在一些实施例中,第二光谱光响应基本上等于第三光谱光响应。在所示实施例中,第一光谱光响应对应于蓝色,第二光谱光响应和第三光谱光响应各自对应于绿色,并且第四光谱光响应对应于红色。在一些实施例中,相位检测像素108的第一滤色器115被设置在第二子像素104的第二子像素滤色器与第三子像素105的第三子像素滤色器之间。在一个实施例中,第一滤色器115具有基本等于第二光谱光响应和第三光谱光响应的光谱光响应。在相同或其它实施例中,相位检测像素108的第一滤色器115的光谱光响应对应于绿色或全色。
在一些实施例中,第一滤色器115可共同表示各自具有相同的光谱光响应的四个不同的滤色器。在相同或其它实施例中,多个子像素滤色器和第一滤色器可具有与红色、绿色、蓝色、全色(即,透明或白色)、黄色、青色、洋红色或其它颜色中的任一个或组合相对应的不同光谱光响应。如图1A所示,多个光电二极管113被布置在彼此不同且分开的光电二极管的多组二乘二图案(例如,每个单元具有四个光电二极管)中。光电二极管的每个二乘二图案包含给定的子像素(例如,B1、B2和B3)的光电二极管和相位检测像素(例如,120)的光电二极管。包含用于多个子像素中的每一个的相位检测像素的光电二极管的二乘二图案的部分与被统称为第一滤色器115的相应滤色器光学地对准,所述第一滤色器共同具有大于包含在多个滤色器110中的任何单个滤色器的横向区域。在一些实施例中,包含在多个光电二极管113中的所有光电二极管的四分之一用于形成每个图像像素的相位检测像素,以提供具有准确相位差的密集型相位检测像素位置,所述相位差可用于自动聚焦和深度计算。有利地,当外部场景包含相对于图像传感器平面成对角线、水平和竖直的特征时,可利用相位检测。
应当理解,图像传感器100可通过本领域的普通技术人员已知的半导体设备处理和微制造技术来制造。在一个实施例中,图像传感器100的制造可包含:提供半导体材料(例如,具有前侧和背侧的硅晶片);由光刻法提供半导体材料的前侧的多个曝光区域在半导体材料的前侧上形成掩模或模板(例如,由固化的光致抗蚀剂形成);(例如,经由离子注入、化学气相沉积、物理气相沉积等)对半导体材料的曝光部分进行掺杂以形成从半导体材料的前侧延伸到半导体材料中的多个光电二极管113;(例如,通过用溶剂溶解固化的光致抗蚀剂)去除掩模或模板;以及(例如,经由化学机械平坦化或抛光)对半导体材料的前侧进行平坦化。在相同或另一实施例中,光刻法可类似地用于形成多个子像素滤色器110、第一滤色器115(例如,经由具有期望的光谱光响应的固化着色聚合物)、多个微透镜107以及共享微透镜109(例如,具有由主模或模板形成的目标形状和尺寸的基于聚合物的微透镜)。应当理解,所描述的技术仅仅是说明性的而不是详尽性的,并且可利用其它技术来制造图像传感器100的一或多个部件。
图1B示出了根据本公开教导的沿着图1A所示的图像传感器100的线A-A'的横截面视图100-AA'。如图所示,图像传感器100包含被设置在半导体材料101(例如,硅)的相应部分中的多个微透镜107、多个子像素滤色器110和多个光电二极管113。多个子像素滤色器110中的每一个(例如,B)在一组相邻光电二极管(例如,B1和B3)与多个微透镜107之间光学地对准。换句话说,多个子像素滤色器110中的每一个延伸跨过所述组相邻光电二极管。多个微透镜107中的每一个与多个光电二极管113中的个别光电二极管光学地对准或以其它方式延伸跨过所述个别光电二极管。
在所示实施例中,半导体材料101的相应部分中的每一个(例如101-1、101-2等)包含多个光电二极管113中的相应光电二极管。应当理解,包含在多个光电二极管113中的个别光电二极管不必延伸跨过半导体材料101的相应部分的整个横截面。相反,半导体材料101的被设置在相邻光电二极管之间的各部分(例如,半导体材料101的在光电材料B1和B3之间的区域)可用于在半导体材料101内形成附加结构(例如,隔离沟槽、浮动扩散区等)。
图1C示出了根据本公开教导的沿着图1A所示的图像传感器100的线B-B'的横截面视图100-BB'。如图所示,图像传感器100包含第一滤色器115(例如,115-1),所述第一滤色器被设置在所述组相邻光电二极管(例如,130、134)与共享微透镜109(例如,109-1)之间。类似地,多个子像素滤色器110(例如,110-1)光学设置在除所述组相邻光电二极管之外的多个光电二极管113(例如,B2)与多个微透镜107(例如,107-1)之间。如图1A所示并且如图1C所示,多个子像素滤色器(例如,110-1和110-2)横向包围第一滤色器115(例如,115-1)。
图1D示出了根据本公开教导的在第一滤色器115、子像素滤色器110、共享微透镜109和包含在图1A至1C所示的图像传感器100中所包含的多个微透镜107中的个别微透镜之间的相对尺寸比较。另外,相对尺寸比较示出了多个光电二极管113之间相对于第一滤色器115和子像素滤色器110两者的典型光学地对准。具体地,第一滤色器115与以二乘二图案布置的一组相邻光电二极管113-1光学地对准。子像素滤色器110与一组相邻光电二极管113-2光学地对准。在一些实施例中,子像素滤色器110具有“L”形状,所述形状在包含于多个光电二极管113中的至少三个光电二极管上方延伸。所述组相邻光电二极管113-1包含第一数量的光电二极管,所述第一数量的光电二极管大于包含在所述组相邻光电二极管113-2中的第二数量的光电二极管。在所示实施例中,第一数量是四个光电二极管,并且第二数量是三个光电二极管。因此,第一滤色器115具有大于子像素滤色器110的第二横向区域的第一横向区域。另外,由于共享微透镜109在所述组相邻光电二极管113-1上方延伸,而微透镜107在光电二极管中的个别光电二极管上方延伸,因此共享微透镜109具有大于任何个别微透镜107的横向区域。
图2是根据本公开教导的成像系统270的功能框图,所述成像系统包含在多个子像素之间具有共享微透镜的图像传感器200。成像系统270能够响应于入射光292而聚焦在外部场景295内的兴趣点(POI)上。成像系统270包含:图像传感器200,所述图像传感器响应于入射光292而生成电或图像信号;物镜275,所述物镜具有可调光焦度以聚焦在外部场景292内的一或多个兴趣点上;以及控制器280,所述控制器尤其控制图像传感器200和物镜275的操作。图像传感器200是图1A至1D所示的图像传感器100的一种可能的实现方式,并且包含类似的设备架构,诸如半导体材料201,其中多个光电二极管213被设置在半导体材料201、多个子像素颜色滤光器210和多个微透镜207的相应部分内。控制器280包含一或多个处理器282、存储器284、控制电路286、读出电路288和功能逻辑290。
控制器280包含逻辑和/或电路以控制成像系统270的各个部件的操作(例如,在图像和/或视频采集的前、后和原位阶段期间)。控制器280可被实现为硬件逻辑(例如,专用集成电路、现场可编程门阵列、片上系统等)、在通用微控制器或微处理器上执行的软件/固件逻辑、或硬件和软件/固件逻辑两者的组合。在一个实施例中,控制器280包含耦合到存储器284的处理器282,所述存储器存储用于由控制器280或以其它方式由成像系统270的一或多个部件执行的指令。指令在由控制器280执行时可使成像系统270执行可与包含控制电路286、读出电路288、功能逻辑290、图像传感器200、物镜275和成像系统270的任何其它元件(所示的或其它的元件)中的任一个或组合的成像系统270的各种功能模块、逻辑块或电路相关联的操作。存储器是非易失性计算机可读介质,其可包含但不限于控制器280可读的易失性(例如,RAM)或非易失性(例如,ROM)存储系统。还应当理解,控制器280可为单片集成电路、一或多个分立互连电子部件或它们的组合。另外,在一些实施例中,一或多个电子部件可彼此耦合以共同用作控制器280以用于组织成像系统270的操作。
控制电路286可控制图像像素阵列213的操作特性(例如,曝光持续时间、何时捕获数字图像或视频等)。读出电路288从个别光电二极管读取模拟信号或以其它方式对模拟信号进行采样(例如,读出由多个光电二极管305中的每一个生成的电信号,所述电信号表示响应于入射光而生成以生成相位检测自动聚焦信号的图像电荷;读出图像信号以捕获图像帧或视频等),并且可包含放大电路、模数(ADC)电路、图像缓冲区或其它。在所示实施例中,读出电路288包含在控制器280中,但是在其它实施例中,读出电路288可与控制器280分开。功能逻辑290耦合到读出电路288以接收电信号以作为响应而生成相位检测自动聚焦(PDAF)信号,响应于接收到图像信号或数据而生成图像等。在一些实施例中,电信号或图像信号可分别存储为PDAF信号或图像数据,并且可由功能逻辑290操纵(例如,计算预期图像信号、合并图像信号、对图像数据去马赛克、施加后期图像效果(诸如裁切、旋转、去除红眼、调整亮度、调整对比度或其它效果))。
图3示出了根据本公开教导的用于利用成像系统捕获图像的示例性方法300,所述成像系统包含在多个子像素之间具有共享微透镜的图像传感器。在一些实施例中,方法300可由图2所示的成像系统270和/或图1A至1D所示的图像传感器100或图2所示的图像传感器200中的任一个来实现。应当理解,方法300的编号框(包含框305至360)可以任何顺序甚至并行发生。另外,根据本公开教导,框可被添加到方法300或从所述方法中去除。
框305示出了在接收到信号(例如,成像系统的快门按钮按下)以捕获表示外部场景的图像或视频帧时方法300的初始化。在初始化期间,可提供(例如,成像系统的用户选择)、(例如,在随后的步骤中利用相位检测自动聚焦信号)自动检测或以其它方式获得要由图像传感器成像的外部场景的兴趣点(POI)。POI可表示外部场景的期望被聚焦的一或多个区域。
框310至330示出了使用在多个子像素之间具有共享微透镜的图像传感器来生成相位检测自动聚焦(PDAF)信号并且如果需要则调整物镜的光焦度以将成像系统配置为聚焦在如本公开的各个实施例中所示的一或多个上兴趣点上的步骤。更具体地,所利用的图像传感器(例如,分别在图1A至1D和图2中示出的图像传感器100或200)包含多个图像像素。图像像素中的每一个包含共同包围相位检测像素的多个子像素。相位检测像素包含与共享微透镜光学地对准的一组相邻光电二极管(例如,以二乘二模式布置的四个光电二极管)。
框310示出了将多个光电二极管曝光于与外部场景相关联的入射光。响应于入射光,多个光电二极管生成与入射光的强度成比例的图像电荷。随后为多个像素中的每一个存储图像电荷(例如,存储在浮动扩散区中),并且随后可将其作为电信号读出。应当理解,术语“电”和“图像”信号可互换使用,并且都表示由多个光电二极管响应于入射光而生成的图像电荷。在一些实施例中,在术语“信号”前面的修饰语“电”或“图像”可分别指示所述信号正用于自动聚焦/深度映射或图像/视频捕获。
框315示出了响应于入射光而(例如,经由图2所示的读出电路288)读出电信号。可从包含在多个光电二极管中的相应光电二极管中单独读出电信号(例如,通过将在光电二极管中的每一个中生成的图像电荷作为电信号一次一行地传递到列存储电容器,然后使用耦合到多路复用器的列解码器单独读出所述元素)。具体地,对于包含在多个图像像素中的每个图像像素,可读出由包含在相位检测像素中的所述组相邻光电二极管生成的电信号以用于生成相位检测自动聚焦信号。
框320示出了将与相位检测像素相关联的电信号进行比较以为成像系统提供相位检测自动聚焦。功能逻辑(例如,如图2中所示)可用于至少部分地基于与和共享微透镜光学地对准的所述组相邻光电二极管相关联的电信号之间的比较来生成PDAF信号。在一个实施例中,与个别相位检测像素相关联的电信号被分组在一起并且彼此进行比较以用作相位检测器。在一个实施例中,所述功能逻辑通过将包含在相位检测像素的所述组相邻光电二极管中的相邻光电二极管之间的电信号进行比较,并且将包含在所述组相邻光电二极管中的对角光电二极管之间的电信号进行进一步比较来生成PDAF信号。
框325示出了至少部分地基于电信号之间的比较来确定兴趣点是否聚焦。在一个实施例中,基于电信号生成一或多个相位图像。例如,如果每个相位检测像素包含与一组相邻光电二极管光学地对准的共享微透镜,则可利用来自包含在所述组相邻光电二极管中的每个光电二极管的电信号来生成相应的相位图像(即,四个相位图像各自表示当所述组相邻光电二极管以二乘二图案布置时相位检测像素的象限)。可将相位图像中的每一个进行比较以生成PDAF信号,所述PDAF信号提供关于兴趣点是否聚焦的全向信息。
如果兴趣点未聚焦,则框325前进到框330,并且基于电信号的比较来调整光焦度(例如,由物镜提供)。换句话说,所述比较允许确定物镜的光焦度是否导致外部场景聚焦、前聚焦或后聚焦,并且因此提供指令来调整光焦度。一旦调整了物镜的光焦度,框330就前进到框310以再次开始确定兴趣点是否聚焦的过程。如果兴趣点聚焦,则框325前进到框335以利用成像系统捕获图像或视频帧。
框335示出了将多个光电二极管曝光于与外部场景相关联的入射光,并且(例如,经由包含在图2所示的成像系统270中的读出电路288)随后读出响应于利用成像系统捕获图像或视频帧而生成的图像信号。应当理解,用于捕获图像或视频帧的积分时间(即,曝光持续时间)可与生成自动聚焦信号时的积分时间不同。因此,当涉及图像或视频帧捕获时,使用术语“图像信号”。对于包含在图像传感器的每个图像像素中的多个子像素中的每一个,可从包含在多个光电二极管中的光电二极管中读出图像信号。给定的图像像素的子像素可共同地表示全色(即,表示电磁辐射的可见光谱)图像像素。然而,由于每个图像像素还包含由多个子像素包围的相位检测像素,因此图像处理可用于恢复图像传感器的全分辨率、合并图像信号以提高灵敏度等。
框340示出了当图像传感器的一或多个图像像素包含相位检测像素时恢复图像传感器的全分辨率,所述相位检测像素包含由多个子像素包围的一组相邻光电二极管。这可通过为包含在所述组相邻光电二极管中的每个光电二极管计算预期图像信号来实现。在一个实施例中,包含在给定的图像像素中的多个子像素中的每一个包含一组三个光电二极管和与相位检测像素相关联的一个光电二极管。至少部分地基于与所述组三个光电二极管相关联的图像信号来计算与相位检测像素相关联的光电二极管的预期图像信号。
框345示出了通过以合并模式进行操作来提高图像传感器的灵敏度,所述合并模式组合了与包含在图像传感器中的多个图像像素中的个别图像像素相关联的图像信号。在一个实施例中,当以合并模式进行操作时,对于包含在图像传感器中的每个图像像素对包含在多个子像素中的每个相应子像素的图像信号进行平均。就灵敏度而言,这可能是有利的,并且具体地,当可能不需要图像传感器的全分辨率时,这在视频捕获期间是期望的。
框350示出了确定是否应当拍摄另一图像。如果信号、设置或其它配置参数指示应当拍摄另一图像(例如,连续按下成像系统的快门按钮),则框350前进到框355以确定是否选择或以其它方式确定同一兴趣点。如果选择了同一兴趣点,则框355前进到框335以基于图像类型来捕获图像。然而,如果未选择相同一兴趣点或期望确保兴趣点的焦点,则框355前进到框305。如果不需要另一图像,则框350前进到框360以结束图像获取过程。
图4A示出了根据本公开教导的用于恢复图像传感器的全分辨率的示例性方法400,所述图像传感器在多个子像素之间具有共享微透镜。方法400可为图3所示的框340的一种可能的实现过程。
返回参考图4A,框410示出了对于包含在图像传感器的多个图像像素中的每个图像像素,读出由包含在多个子像素中的每一个中的多个光电二极管响应于入射光而生成的图像信号。图像传感器可具有如本公开的实施例中所描述的配置(例如,图1A至1D所示的图像传感器100),其中每个图像像素包含被多个子像素包围的相位检测像素。
框415示出了对于图像传感器的每个图像像素,为包含在相位检测像素的所述组相邻光电二极管中的每个光电二极管计算预期图像信号。对于多个图像像素中的一个给定图像像素,多个子像素中的每一个可包含一组三个光电二极管,并且进一步与包含在相位检测像素的所述组相邻光电二极管中的光电二极管中的一个相关联。如图4B所示,可基于与所述组三个光电二极管相关联的图像信号来确定相关联的光电二极管的预期图像信号。在一些实施例中,还可利用其它图像处理或深度学习技术来为包含在相位检测像素中的每个光电二极管确定预期图像信号。
框420示出了将图像传感器的多个图像像素中的每一个的图像信号(包含预期图像信号)转换为被编码为拜耳滤色器图案的转换后图像值。更具体地,一个预期图像信号是已知的,所获取的图像信号可共同表示“4C”或“Quad Bayer”滤色器图案,其随后可被编码为拜耳滤色器图案以用于进一步的图像处理。
图4B示出了根据本公开教导的用于计算包含在图像传感器的相位检测像素中的每个光电二极管的预期图像信号的转换过程,所述图像传感器在多个子像素之间具有共享微透镜。更具体地,图4B示出了在执行图4A所示的方法400的步骤415之前和之后的给定的图像像素的可视化输出。如图所示,可根据从光电二极管B1、B2和B3获取的图像信号来计算PD1的预期图像信号值(即,B4')。可根据从光电二极管GB1、GB2和GB4获取的图像信号来计算PD2的预期图像信号值(即,GB3')。可根据从光电二极管GR1、GR3和GR4获取的图像信号来计算PD3的预期图像信号值(即,GR2')。可根据从光电二极管R2、R3和R4获取的图像信号来计算PD4的预期图像信号(即,R1')。因此,应当理解,可使用邻域同信道正常像素和邻域信息来确定相位检测像素的预期图像信号。在一些实施例中,用于计算预期图像信号的函数可为平均值或均值。在相同或其它实施例中,可利用进一步的图像处理或深度学习技术来确定预期图像信号值。
图5A示出了根据本公开教导的用于合并来自图像传感器的图像信号的示例性方法500,所述图像传感器在多个子像素之间具有共享微透镜。方法500可为图3所示的过程框345的一种可能的实现方式。
返回参考图5A,框510示出了对于包含在图像传感器的多个图像像素中的每个图像像素,读出由包含在多个子像素中的每一个中的多个光电二极管响应于入射光而生成的图像信号。图像传感器可具有如本公开的实施例中所描述的配置(例如,图1A至1D所示的图像传感器100),其中每个图像像素包含被多个子像素包围的相位检测像素。如果图像传感器以合并模式进行操作(例如,以提高对入射光的灵敏度),则框510前进到框515或520。
框515示出了对于给定的图像像素,对与多个子像素中的个别子像素相关联的所述图像信号求和,并且除以包含在多个子像素中的个别子像素中的图像信号的第一数量。换句话说,取图像信号的平均值以实现最高灵敏度。在一个实施例中,子像素在公共滤色器下包含三个光电二极管,将这三个光电二极管的图像信号求和,并且随后将图像信号除以第一数量(即,三)以有效地合并图像像素的输出。
框520示出了对于给定的图像像素,对与彼此对角地布置的光电二极管相对应的图像信号求和并且除以包含在多个子像素中的个别子像素中的图像信号的第二数量,所述光电二极管与所述多个子像素中的个别子像素相关联。换句话说,获取图像信号的平均值,所述平均值也保持光电二极管布置的对称性。在一个实施例中,每个子像素包含被布置为“L”形的三个光电二极管。在此实施例中,仅将来自彼此对角设置的两个光电二极管的图像信号求和,并且随后除以第二数量(即,二)以有效地合并图像像素的输出。
图5B示出了根据本公开教导的用于在图像传感器的合并模式操作期间对图像信号进行求和,所述图像传感器在多个子像素之间具有共享微透镜。更具体地,图5B示出了在执行图5A所示的方法500的步骤515或520之前和之后给定的图像像素的可视化输出,所述给定的图像像素包含第一子像素503、第二子像素504、第三子像素505和第四子像素506。如图所示,子像素503的合并后的图像信号值可被计算为来自光电二极管B1、B2和B3或B2和B3的图像信号的总和除以图像信号的数量(例如,三或二)。子像素504的合并后的图像信号值可被计算为来自光电二极管GB1、GB2和GB4或GB1和GB4的图像信号的总和除以图像信号的数量(例如,三或二)。子像素505的合并后的图像信号值可被计算为来自光电二极管GR1、GR3和GR4或GR1和GR4的图像信号的总和除以图像信号的数量(例如,三或二)。子像素506的合并后的图像信号值可被计算为来自光电二极管R2、R3和R4或R2和R3的图像信号的总和除以图像信号的数量(例如,三或二)。应当理解,可为包含在图像传感器中的每个图像像素完成该过程以提供合并后的图像或视频帧。
可使用软件和/或硬件来实现上文解释的过程。所描述的技术可构成体现在有形或非暂时性机器(例如,计算机)可读存储介质中的机器可执行指令,所述机器可执行指令在由机器(例如,图1A的控制器120)执行时将使机器执行所描述的操作。另外,所述过程可在诸如专用集成电路(“ASIC”)、现场可编程门阵列(FPGA)或其它硬件中体现。
有形机器可读存储介质包含以非暂时性形式提供(即,存储)信息的任何机制,所述信息可由机器(例如,计算机、网络设备、个人数字助理、制造工具、具有一组一或多个处理器的任何设备等)访问。例如,机器可读存储介质包含可记录/不可记录介质(例如,只读存储器(ROM)、随机存取存储器(RAM)、磁盘存储介质、光学存储介质、闪存设备等)。
对本发明的所说明的实例的以上描述(包含在说明书摘要中描述的内容)不希望为穷举性的或将本发明限于所揭示的精确形式。如本领域的技术人员将认识到,虽然出于说明目的在本文中描述了本发明的特定实例,但各种修改在本发明的范围内是可能的。
在以上详细描述的背景下可对本发明做出这些修改。所附权利要求书中使用的术语不应被解释为将本发明限于说明书中揭示的特定实例。而是,本发明的范围将完全由根据沿用已久的权利要求解释规则来解释的所附权利要求书确定。
Claims (24)
1.一种图像传感器像素,其包括:
被布置为光电二极管阵列的多个光电二极管,所述多个光电二极管中的每一个被设置在半导体材料内;
共享微透镜,所述共享微透镜与包含在所述多个光电二极管中的一组相邻光电二极管光学地对准;以及
多个微透镜,所述多个微透镜各自与所述多个光电二极管中除所述一组相邻光电二极管之外的个别光电二极管光学地对准,并且其中所述多个微透镜横向包围所述共享微透镜。
2.根据权利要求1所述的图像传感器像素,其还包括:
第一滤色器,所述第一滤色器光学地设置在所述一组相邻光电二极管与所述共享微透镜之间;以及
多个子像素滤色器,所述多个子像素滤色器光学地设置在除所述一组相邻光电二极管之外的所述多个光电二极管与所述多个微透镜之间,并且其中所述多个子像素滤色器横向包围所述第一滤色器。
3.根据权利要求2所述的图像传感器像素,其中所述第一滤色器具有第一横向区域,并且其中所述第一横向区域大于包含在所述多个子像素滤色器中的任何个别子像素滤色器的对应第二横向区域。
4.根据权利要求2所述的图像传感器像素,其中所述多个子像素滤色器中的每一个具有“L”形状,所述形状在包含于所述多个光电二极管中的至少三个光电二极管上方延伸。
5.根据权利要求4所述的图像传感器像素,其中所述多个子像素滤色器包含具有第一光谱光响应的第一子像素滤色器、具有第二光谱光响应的第二子像素滤色器、具有第三光谱光响应的第三子像素滤色器以及具有第四光谱光响应的第四子像素滤色器。
6.根据权利要求5所述的图像传感器像素,其中所述第一子像素滤色器与所述第二子像素滤色器和所述第三子像素滤色器横向相邻,其中所述第一子像素滤色器与所述第四子像素滤色器对角地设置,其中所述第二子像素滤色器与所述第三子像素滤色器对角地设置,并且其中所述第二光谱光响应基本上等于所述第三光谱光响应。
7.根据权利要求5所述的图像传感器像素,其中所述第一光谱光响应对应于蓝色,所述第二光谱光响应和所述第三光谱光响应各自对应于绿色,并且所述第四光谱光响应对应于红色。
8.根据权利要求7所述的图像传感器像素,其中所述第一滤色器具有与绿色或全色相对应的光谱光响应。
9.根据权利要求2所述的图像传感器像素,其中所述多个子像素滤色器中的每一个分别与包含在所述多个光电二极管中除所述一组相邻光电二极管之外的多组相邻光电二极管光学地对准,其中所述多组相邻光电二极管共同包围所述一组相邻光电二极管。
10.根据权利要求9所述的图像传感器像素,其中所述一组相邻光电二极管包含第一数量的光电二极管,所述第一数量的光电二极管大于包含在所述多组相邻光电二极管的任一组中的第二数量的光电二极管。
11.根据权利要求10所述的图像传感器像素,其中所述第一数量是四个光电二极管,并且其中所述第二数量是三个光电二极管。
12.一种成像系统,其包括:
图像传感器,所述图像传感器包含多个光电二极管,所述多个光电二极管被布置为光电二极管阵列以形成多个图像像素,所述多个图像像素中的每一个包含:
相位检测像素,所述相位检测像素包含第一滤色器,所述第一滤色器光学性设置在共享微透镜与包含在所述多个光电二极管中的一组相邻光电二极管之间;以及
共同包围所述相位检测像素的多个子像素,所述多个子像素中的每一个包含子像素滤色器,所述子像素滤色器光学设置在多个微透镜与除所述一组相邻光电二极管之外的所述多个光电二极管之间。
13.根据权利要求12所述的成像系统,其中对于所述多个图像像素中的每一个,包含在所述多个子像素中的每一个中的所述子像素滤色器共同地横向包围所述第一滤色器。
14.根据权利要求12所述的成像系统,其中所述第一滤色器具有第一横向区域,并且其中所述第一横向区域大于所述子像素滤色器的对应第二横向区域。
15.根据权利要求12所述的成像系统,其中包含在所述多个图像像素中的每个子像素滤色器具有“L”形状,所述形状在包含于所述多个光电二极管中的至少三个光电二极管上方延伸。
16.根据权利要求15所述的成像系统,其中包含在所述相位检测像素中的所述一组相邻光电二极管包含以二乘二图案布置的四个光电二极管。
17.根据权利要求12所述的成像系统,其中对于所述多个图像像素中的每一个,包含在所述多个子像素中的每一个中的所述子像素滤色器与一组相邻光电二极管光学地对准,并且其中所述一组相邻光电二极管包含第一数量的光电二极管,所述第一数量的光电二极管大于包含在所述一组相邻光电二极管中的第二数量的光电二极管。
18.根据权利要求17所述的成像系统,其中所述第一数量是四个光电二极管,并且所述第二数量是三个光电二极管。
19.根据权利要求12所述的成像系统,其中所述多个光电二极管被布置为行和列以形成所述光电二极管阵列,其中所述共享微透镜在包含于所述光电二极管阵列中的大约两行和两列上方延伸,并且其中所述多个微透镜中的每一个在包含于所述光电二极管阵列中的大约一行和一列上方延伸,使得所述共享微透镜具有大于所述多个微透镜中的任一个别微透镜的横向区域。
20.根据权利要求12所述的成像系统,其中对于所述多个图像像素的每一个,所述多个子像素包含第一子像素、第二子像素、第三子像素和第四子像素,其中所述第一子像素、所述第二子像素、所述第三子像素和所述第四子像素的所述子像素滤色器分别具有第一光谱光响应、第二光谱光响应、第三光谱光响应和第四光谱光响应,其中所述第二子像素与所述第三子像素成对角地设置,并且其中所述第二光谱光响应基本上等于所述第三光谱光响应。
21.根据权利要求20所述的成像系统,其中所述第一滤色器被设置在所述第二子像素的所述子像素滤色器与所述第三子像素滤色器之间,并且其中所述第一滤色器具有基本上等于所述第二光谱光响应和所述第三光谱光响应或者与全色相对应的光谱光响应。
22.根据权利要求12所述的成像系统,其还包括:
耦合到所述图像传感器的控制器,所述控制器包含在由所述控制器执行时使所述成像系统执行包含以下项的操作的逻辑:
读出由包含在所述相位检测像素中的所述一组相邻光电二极管响应于所述多个图像像素中的至少一个的入射光而生成的电信号;以及
将所述电信号进行比较以提供用于所述成像系统的相位检测自动聚焦PDAF。
23.根据权利要求12所述的成像系统,其还包括:
耦合到所述图像传感器的控制器,所述控制器包含在由所述控制器执行时使所述成像系统执行包含以下项的操作的逻辑:
对于所述多个图像像素中的每一个,读出由包含在所述多个子像素中的每一个中的所述多个光电二极管响应于入射光而生成的图像信号;以及
对于所述多个图像像素中的每一个,为所述一组相邻光电二极管中的每一个计算预期图像信号,其中对于所述多个图像像素中的一个给定图像像素,所述多个子像素中的每一个包含所述多个光电二极管中所包含的一组三个光电二极管和所述一组相邻光电二极管中所包含的一个光电二极管,并且其中所述一个光电二极管的所述预期图像信号是至少部分地基于与所述一组三个光电二极管相关联的所述图像信号。
24.根据权利要求12所述的成像系统,其还包括:
耦合到所述图像传感器的控制器,所述控制器包含在由所述控制器执行时使所述成像系统执行包含以下项的操作的逻辑:
对于所述多个图像像素中的每一个,读出由包含在所述多个子像素中的每一个中的所述多个光电二极管响应于入射光而生成的图像信号;以及
通过对于包含在所述多个图像像素中的每一个的所述多个子像素中的每个相应子像素对所述图像信号进行平均来合并所述图像信号,所述合并图像信号包含:
对与所述多个子像素中的个别子像素相关联的所有所述图像信号求和,并且除以包含在所述多个子像素中的所述个别子像素中的所述图像信号的第一数量;或
对与彼此对角地布置的光电二极管相对应的所述图像信号求和并且除以包含在所述多个子像素中的所述个别子像素中的所述图像信号的第二数量,所述光电二极管与所述多个子像素中的所述个别子像素相关联。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US16/666,129 US11367743B2 (en) | 2019-10-28 | 2019-10-28 | Image sensor with shared microlens between multiple subpixels |
US16/666,129 | 2019-10-28 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN112736101A true CN112736101A (zh) | 2021-04-30 |
CN112736101B CN112736101B (zh) | 2023-10-17 |
Family
ID=75586083
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202011162342.5A Active CN112736101B (zh) | 2019-10-28 | 2020-10-27 | 在多个子像素之间具有共享微透镜的图像传感器 |
Country Status (3)
Country | Link |
---|---|
US (1) | US11367743B2 (zh) |
CN (1) | CN112736101B (zh) |
TW (1) | TWI795686B (zh) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114827500A (zh) * | 2021-09-27 | 2022-07-29 | 深圳市汇顶科技股份有限公司 | 数字成像系统中相位检测自动聚焦的保留视差合并 |
CN116264644A (zh) * | 2021-12-14 | 2023-06-16 | 格科微电子(上海)有限公司 | 全向相位对焦中的pd像素的读取方法及装置、介质、终端 |
Families Citing this family (15)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR102662032B1 (ko) * | 2019-06-19 | 2024-05-03 | 삼성전자주식회사 | 이미지 센서 및 이미지 센서를 포함하는 전자 장치 |
US12301961B2 (en) | 2019-12-05 | 2025-05-13 | Samsung Electronics Co., Ltd. | Dual camera module including hyperspectral camera module, apparatuses including dual camera module, and method of operating the same |
KR102813372B1 (ko) * | 2019-12-05 | 2025-05-27 | 삼성전자주식회사 | 초분광 카메라 모듈을 포함하는 듀얼 카메라 모듈과 이를 포함하는 장치와 그 동작방법 |
US11233963B2 (en) * | 2019-12-27 | 2022-01-25 | Omnivision Technologies, Inc. | Devices and methods for obtaining three-dimensional shape information using polarization and phase detection photodiodes |
JP7593953B2 (ja) * | 2020-02-03 | 2024-12-03 | ソニーセミコンダクタソリューションズ株式会社 | 電子機器 |
KR20220051881A (ko) * | 2020-10-19 | 2022-04-27 | 삼성전자주식회사 | 비닝 모드에서의 아티팩트를 개선하는 이미지 센서 |
US11765470B2 (en) * | 2020-10-26 | 2023-09-19 | Samsung Electronics Co., Ltd. | Pixel array including evenly arranged phase detection pixels and image sensor including the pixel array |
KR20220127003A (ko) * | 2021-03-10 | 2022-09-19 | 삼성전자주식회사 | 이미지 센서, 및 이미지 센서를 포함하는 카메라 모듈 |
US20220384513A1 (en) * | 2021-05-31 | 2022-12-01 | Samsung Electronics Co., Ltd. | Image sensor |
CN113823652B (zh) * | 2021-09-17 | 2023-09-01 | 联合微电子中心有限责任公司 | 带有pdaf功能的cmos图像传感器 |
US12046609B2 (en) * | 2021-10-07 | 2024-07-23 | Visera Technologies Company Limited | Solid-state image sensor |
KR20230103437A (ko) * | 2021-12-31 | 2023-07-07 | 에스케이하이닉스 주식회사 | 이미지 센서 및 이미지 처리 시스템 |
WO2023206030A1 (zh) * | 2022-04-25 | 2023-11-02 | 北京小米移动软件有限公司 | 拍摄装置及其控制方法 |
US11843858B1 (en) * | 2022-05-19 | 2023-12-12 | Qualcomm Incorporated | Machine learning for phase detection autofocus |
US20230395626A1 (en) * | 2022-06-03 | 2023-12-07 | Omnivision Technologies, Inc. | Hybrid image pixels for phase detection auto focus |
Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20080068477A1 (en) * | 2006-09-20 | 2008-03-20 | Kabushiki Kaisha Toshiba | Solid-state imaging device |
WO2013136809A1 (ja) * | 2012-03-16 | 2013-09-19 | 株式会社ニコン | 画像処理装置、撮像装置および画像処理プログラム |
CN105282459A (zh) * | 2014-05-30 | 2016-01-27 | 苹果公司 | 图像传感器中的像素分选 |
CN105580352A (zh) * | 2014-09-01 | 2016-05-11 | 索尼公司 | 固体摄像器件、固体摄像器件的信号处理方法和电子装置 |
US20170094210A1 (en) * | 2015-09-24 | 2017-03-30 | Qualcomm Incorporated | Mask-less phase detection autofocus |
US20170207259A1 (en) * | 2016-01-15 | 2017-07-20 | Samsung Electronics Co., Ltd. | Cmos image sensors |
JP2019175912A (ja) * | 2018-03-27 | 2019-10-10 | ソニーセミコンダクタソリューションズ株式会社 | 撮像装置、及び、画像処理システム |
Family Cites Families (15)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5890095A (en) | 1997-01-21 | 1999-03-30 | Nichols Research Corporation | System for receiving and enhancing electromagnetic radiation input signals |
US7002627B1 (en) | 2002-06-19 | 2006-02-21 | Neomagic Corp. | Single-step conversion from RGB Bayer pattern to YUV 4:2:0 format |
JP5471117B2 (ja) * | 2009-07-24 | 2014-04-16 | ソニー株式会社 | 固体撮像装置とその製造方法並びにカメラ |
US8530266B1 (en) | 2012-07-18 | 2013-09-10 | Omnivision Technologies, Inc. | Image sensor having metal grid with a triangular cross-section |
US9633441B2 (en) | 2014-06-09 | 2017-04-25 | Omnivision Technologies, Inc. | Systems and methods for obtaining image depth information |
JP2016015430A (ja) * | 2014-07-03 | 2016-01-28 | ソニー株式会社 | 固体撮像素子および電子機器 |
US9369681B1 (en) | 2014-11-25 | 2016-06-14 | Omnivision Technologies, Inc. | RGBC color filter array patterns to minimize color aliasing |
US10260866B2 (en) | 2015-03-06 | 2019-04-16 | Massachusetts Institute Of Technology | Methods and apparatus for enhancing depth maps with polarization cues |
US9807294B2 (en) | 2015-08-05 | 2017-10-31 | Omnivision Technologies, Inc. | Image sensor with symmetric multi-pixel phase-difference detectors, and associated methods |
US9443899B1 (en) | 2015-11-04 | 2016-09-13 | Omnivision Technologies, Inc. | BSI CMOS image sensor with improved phase detecting pixel |
US11201186B2 (en) * | 2016-01-20 | 2021-12-14 | Sony Corporation | Solid-state imaging device, driving method therefor, and electronic apparatus |
US10015389B2 (en) | 2016-09-22 | 2018-07-03 | Omnivision Technologies, Inc. | Image sensor with asymmetric-microlens phase-detection auto-focus (PDAF) detectors, associated PDAF imaging system, and associated method |
US10475838B2 (en) | 2017-09-25 | 2019-11-12 | Omnivision Technologies, Inc. | Multi-pixel detector and associated method for increasing angular sensitivity |
US10334189B1 (en) * | 2018-06-06 | 2019-06-25 | Smartsens Technology (Cayman) Co., Ltd. | HDR pixel array with double diagonal binning |
US11405535B2 (en) * | 2019-02-28 | 2022-08-02 | Qualcomm Incorporated | Quad color filter array camera sensor configurations |
-
2019
- 2019-10-28 US US16/666,129 patent/US11367743B2/en active Active
-
2020
- 2020-10-27 CN CN202011162342.5A patent/CN112736101B/zh active Active
- 2020-10-28 TW TW109137442A patent/TWI795686B/zh active
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20080068477A1 (en) * | 2006-09-20 | 2008-03-20 | Kabushiki Kaisha Toshiba | Solid-state imaging device |
WO2013136809A1 (ja) * | 2012-03-16 | 2013-09-19 | 株式会社ニコン | 画像処理装置、撮像装置および画像処理プログラム |
CN105282459A (zh) * | 2014-05-30 | 2016-01-27 | 苹果公司 | 图像传感器中的像素分选 |
CN105580352A (zh) * | 2014-09-01 | 2016-05-11 | 索尼公司 | 固体摄像器件、固体摄像器件的信号处理方法和电子装置 |
US20170094210A1 (en) * | 2015-09-24 | 2017-03-30 | Qualcomm Incorporated | Mask-less phase detection autofocus |
US20170207259A1 (en) * | 2016-01-15 | 2017-07-20 | Samsung Electronics Co., Ltd. | Cmos image sensors |
JP2019175912A (ja) * | 2018-03-27 | 2019-10-10 | ソニーセミコンダクタソリューションズ株式会社 | 撮像装置、及び、画像処理システム |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114827500A (zh) * | 2021-09-27 | 2022-07-29 | 深圳市汇顶科技股份有限公司 | 数字成像系统中相位检测自动聚焦的保留视差合并 |
CN114827500B (zh) * | 2021-09-27 | 2024-11-19 | 深圳市汇顶科技股份有限公司 | 数字成像系统中相位检测自动聚焦的保留视差合并 |
CN116264644A (zh) * | 2021-12-14 | 2023-06-16 | 格科微电子(上海)有限公司 | 全向相位对焦中的pd像素的读取方法及装置、介质、终端 |
Also Published As
Publication number | Publication date |
---|---|
TW202127646A (zh) | 2021-07-16 |
US20210126033A1 (en) | 2021-04-29 |
TWI795686B (zh) | 2023-03-11 |
CN112736101B (zh) | 2023-10-17 |
US11367743B2 (en) | 2022-06-21 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN112736101B (zh) | 在多个子像素之间具有共享微透镜的图像传感器 | |
US11367744B2 (en) | Image sensor with shared microlens and polarization pixel | |
US11252381B2 (en) | Image sensor with shared microlens | |
CN206947348U (zh) | 图像传感器 | |
CN109981939B (zh) | 成像系统 | |
KR101373132B1 (ko) | 마이크로 렌즈를 이용한 위상차 검출 픽셀 | |
TWI866916B (zh) | 攝像元件及攝像元件之製造方法 | |
US10672813B2 (en) | Solid-state imaging device, imaging apparatus, and manufacturing method of solid-state imaging device with pixels that include light shielding portions | |
CN114500892A (zh) | 像素阵列和包括该像素阵列的图像传感器 | |
TW201350951A (zh) | 分區影像感測器之透鏡陣列 | |
TWI792128B (zh) | 利用極化和相位檢測光電二極體獲得三維形狀資訊之裝置及方法 | |
US11967602B2 (en) | Image sensor with multi-pixel detector and partial isolation structure | |
KR20240091440A (ko) | 서로 다른 크기의 마이크로 렌즈를 포함하는 이미지 센서 | |
US11412190B2 (en) | Image sensor with subtractive color filter pattern | |
US11758109B2 (en) | Techniques for measuring depth and polarization from a single sensor | |
TW202515388A (zh) | 光檢測裝置及照相機 | |
JP5103341B2 (ja) | 固体撮像素子及び撮像装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |