CN115516633A - 具有偏振检测像素阵列的堆叠式图像传感器 - Google Patents

具有偏振检测像素阵列的堆叠式图像传感器 Download PDF

Info

Publication number
CN115516633A
CN115516633A CN202180032398.5A CN202180032398A CN115516633A CN 115516633 A CN115516633 A CN 115516633A CN 202180032398 A CN202180032398 A CN 202180032398A CN 115516633 A CN115516633 A CN 115516633A
Authority
CN
China
Prior art keywords
image
pixel array
image pixel
infrared
pixels
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202180032398.5A
Other languages
English (en)
Inventor
马努基·比库曼德拉
约翰·恩德斯·罗伯逊
安德鲁·马修·巴尔达吉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Meta Platforms Technologies LLC
Original Assignee
Meta Platforms Technologies LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Meta Platforms Technologies LLC filed Critical Meta Platforms Technologies LLC
Publication of CN115516633A publication Critical patent/CN115516633A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/45—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from two or more image sensors being of different type or operating in different modes, e.g. with a CMOS sensor for moving images in combination with a charge-coupled device [CCD] for still images
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144—Devices controlled by radiation
    • H01L27/146—Imager structures
    • H01L27/14601—Structural or functional details thereof
    • H01L27/14625—Optical elements or arrangements associated with the device
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B1/00—Optical elements characterised by the material of which they are made; Optical coatings for optical elements
    • G02B1/04—Optical elements characterised by the material of which they are made; Optical coatings for optical elements made of organic materials, e.g. plastics
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B27/0172—Head mounted characterised by optical features
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/28—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 for polarising
    • G02B27/288—Filters employing polarising elements, e.g. Lyot or Solc filters
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B5/00—Optical elements other than lenses
    • G02B5/30—Polarising elements
    • G02B5/3025—Polarisers, i.e. arrangements capable of producing a definite output polarisation state from an unpolarised input state
    • G02B5/3058—Polarisers, i.e. arrangements capable of producing a definite output polarisation state from an unpolarised input state comprising electrically conductive elements, e.g. wire grids, conductive particles
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144—Devices controlled by radiation
    • H01L27/146—Imager structures
    • H01L27/14643—Photodiode arrays; MOS imagers
    • H01L27/14645—Colour imagers
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144—Devices controlled by radiation
    • H01L27/146—Imager structures
    • H01L27/14643—Photodiode arrays; MOS imagers
    • H01L27/14649—Infrared imagers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • H04N23/11—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths for generating image signals from visible and infrared light wavelengths
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/56—Cameras or camera modules comprising electronic image sensors; Control thereof provided with illuminating means
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/131—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements including elements passing infrared wavelengths
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/17—Colour separation based on photon absorption depth, e.g. full colour resolution obtained simultaneously at each pixel location
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0138—Head-up displays characterised by optical features comprising image capture systems, e.g. camera
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144—Devices controlled by radiation
    • H01L27/146—Imager structures
    • H01L27/14601—Structural or functional details thereof
    • H01L27/1462—Coatings
    • H01L27/14621—Colour filter arrangements
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144—Devices controlled by radiation
    • H01L27/146—Imager structures
    • H01L27/14601—Structural or functional details thereof
    • H01L27/14634—Assemblies, i.e. Hybrid structures

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Power Engineering (AREA)
  • Electromagnetism (AREA)
  • Condensed Matter Physics & Semiconductors (AREA)
  • Computer Hardware Design (AREA)
  • Microelectronics & Electronic Packaging (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Human Computer Interaction (AREA)
  • Solid State Image Pick-Up Elements (AREA)
  • Color Television Image Signal Generators (AREA)
  • Polarising Elements (AREA)
  • Blocking Light For Cameras (AREA)
  • Studio Devices (AREA)

Abstract

一种传感器(233)包括第一图像像素阵列(201)和第二图像像素阵列(251)，该第一图像像素阵列包括多个第一图像像素(P1、P2、P3Pn、370)，该第二图像像素阵列包括多个第二图像像素(380)。在该多个第一图像像素(P1、P2、P3Pn、370)和该多个第二图像像素(380)之间设置有偏振层(355)。入射到该多个第二图像像素(380)上的场景光(339)传播穿过该多个第一图像像素(P1、P2、P3Pn、370)和偏振层(355)，而到达该多个第二图像像素(380)。

Description

具有偏振检测像素阵列的堆叠式图像传感器
相关申请的交叉引用
本申请要求于2020年5月15日提交的、美国临时申请号为63/025,370的优先权，该申请通过引用合并于此。
技术领域
本公开总体上涉及光学和图像传感器。
背景技术
在消费类电子产品中，摄像头随处可见。例如，智能手机、平板电脑、运动型摄像机、笔记本电脑、甚至监控器均可以包含摄像头。通常，包含在消费类电子产品中的摄像头包括配备有互补金属氧化物半导体(complementary metal-oxide semiconductor，CMOS)图像传感器的镜头组件，以采集彩色图像。在特定的情境中，除彩色图像之外，还对其他数据进行采集可能是有利的。
发明内容
根据本公开的第一方面，提供了一种堆叠式传感器，该堆叠式传感器包括第一图像像素阵列和第二图像像素阵列；该第一图像像素阵列包括多个第一图像像素，该第二图像像素阵列包括多个第二图像像素和偏振层，其中：该偏振层设置在该多个第一图像像素和该多个第二图像像素之间，并且入射到该多个第二图像像素上的场景光传播穿过该多个第一图像像素和偏振层，而到达该多个第二图像像素。
该多个第一图像像素的硅衬底可以仅允许场景光的红外部分传播穿过该多个第一图像像素到达该多个第二图像像素。
第一图像像素阵列可以被配置为采集入射的场景光的红-绿-蓝(red-green-blue，RGB)图像。第二图像像素阵列可以被配置为采集偏振图像，该偏振图像包括传播穿过该多个第一图像像素的入射的场景光的多个偏振方向。
第一图像像素阵列可以被配置为采集入射的场景光的近红外图像。第二图像像素阵列可以被配置为采集偏振图像，该偏振图像包括入射的场景光的多个偏振方向。
偏振层可以包括多个偏振滤光器。该多个中的各偏振滤光器可以被配置为允许场景光的不同偏振方向通过。
第一图像像素阵列可以被结合到第二图像像素阵列。
第一图像像素阵列可以为背照式(back-side illuminated，BSI)图像像素阵列。第二图像像素阵列可以是前照式(front-side illuminated，FSI)偏振敏感硅芯片。
偏振层可以至少部分地由BSI图像像素阵列的金属互连层形成。
偏振层可以包括多个偏振滤光器。该多个偏振滤光器中的各偏振滤光器的偏振轴可以具有不同方向。
偏振滤光器可以包括线栅线偏振器。
偏振滤光器可以包括聚乙烯醇(polyvinyl alcohol，PVA)线偏振器。
根据本公开的第二方面，提供了一种摄像系统，该摄像系统包括第一图像像素阵列、第二图像像素阵列和处理逻辑；该第一图像像素阵列包括多个第一图像像素，该第二图像像素阵列包括多个第二图像像素和偏振层，该处理逻辑被配置为接收来自第一图像像素阵列的第一图像，且被配置为接收来自第二图像像素阵列的第二图像，其中：该第二图像由入射到第二图像像素阵列的该多个第二图像像素上的红外场景光生成，并且入射到该多个第二图像像素上的红外场景光传播穿过了该多个第一图像像素和偏振层。
第一图像像素阵列可以被配置为采集入射的场景光的红-绿-蓝(RGB)图像。第二图像像素阵列可以被配置为采集偏振图像，该偏振图像包括传播穿过该多个第一图像像素的红外场景光的偏振方向。
第一图像像素阵列可以被配置为采集红外场景光的近红外图像。第二图像像素阵列可以被配置为采集偏振图像，该偏振图像包括红外场景光的偏振方向。
偏振层可以包括多个偏振滤光器。该多个中的各偏振滤光器可以被配置为允许场景光的不同偏振方向通过。
偏振层可以至少部分地由第一图像像素阵列的金属互连层形成。
根据本公开的第三方面，提供了一种头戴式设备，该头戴式设备包括近红外发射器和堆叠式图像传感器；该近红外发射器被配置为发射近红外光，该堆叠式图像传感器包括第一图像像素阵列和第二图像像素阵列；该第一图像像素阵列包括多个第一图像像素，该第二图像像素阵列包括多个第二图像像素和偏振层，其中偏振层设置在该多个第一图像像素和该多个第二图像像素之间。
头戴式设备还可以包括处理逻辑，该处理逻辑被配置为驱动堆叠式图像传感器开始图像采集，同时驱动近红外发射器发射近红外光。
入射到该多个第二图像像素上的光可以传播穿过该多个第一图像像素和偏振层，而到达该多个第二图像像素。
第一图像像素阵列可以被配置为采集入射场景光的红-绿-蓝(RGB)图像。第二图像像素阵列可以被配置为采集偏振图像，该偏振图像包括由堆叠式图像传感器的视场中的对象散射的近红外光的偏振方向。
附图说明
参考以下附图描述了非限制性和非穷举性示例，其中，除非另有说明，否则在各个视图中相似的附图标记指的是相似的部分。
图1A示出了显示根据本公开方面的硅的吸收系数相对于光的波长的关系趋势线的图表。
图1B示出了根据本公开方面的多个光波长进入到示例硅衬底中。
图2A示出了根据本公开方面的包括堆叠式图像传感器的系统的示意图。
图2B示出了根据本公开方面的堆叠式图像传感器的侧视图。
图2C示出了根据本公开方面的红外滤光器，该红外滤光器设置在第一图像像素阵列上方，使得第一图像像素阵列被配置为采集近红外图像。
图3示出了根据本公开方面的包括来自第一图像像素阵列的第一像素的图像像素示意图，该第一像素设置在来自第二图像像素阵列的第二像素上方。
图4示出了根据本公开方面的包括堆叠式图像传感器的头戴式设备，该堆叠式图像传感器包括在摄像头中。
具体实施方式
本文描述了具有偏振检测像素阵列的堆叠式图像传感器的多个示例。在以下描述中，阐述了许多具体的细节，以提供对这些示例的透彻理解。然而，相关领域的技术人员将认识到，本文所描述的技术可以在没有这些具体细节中的一个或多个具体细节的情况下而被实践，或者可以利用其他方法、部件、材料等而被实践。在其他实例中，未详细显示或描述众所周知的结构、材料或操作，以避免模糊某些方面。
在整个说明书中对“一个实施例”或“一实施例”的引用意味着，所描述的与该实施例有关的特定的特征、结构或特性被包括在本公开的至少一个实施例中。因此，在整个说明书中各位置处出现的短语“在一个实施例中”或“在一实施例中”并不一定都指的是同一实施例。此外，这些特定特征、结构或特性可以以任何合适的方式被组合在一个或多个实施例中。
在本公开的方面，可以将可见光定义为具有大约380nm(纳米)-700nm的波长范围。可以将不可见光定义为具有在可见光范围之外的波长的光，例如紫外光和红外光。可以将红外光定义为具有大约700nm-1mm(毫米)的波长范围的光。在本公开的方面，可以将近红外光定义为具有大约700nm-1.4μm(微米)的波长范围。
本公开的方面包括一种堆叠式图像传感器，该堆叠式图像传感器包括红-绿-蓝(RGB)可见光图像像素阵列，该RGB可见光图像像素阵列设置在对红外波长偏振敏感的第二图像像素阵列的上方。该RGB图像像素阵列可以被结合到第二图像像素阵列。该RGB图像像素阵列中的RGB硅芯片可以是，被结合到前照式(front-side illuminated,FSI)偏振敏感硅芯片的背照式(back-side illuminated,BSI)图像像素阵列。偏振敏感图像像素阵列可以具有设置在多个图像像素上方的、处于不同方向的多个线偏振器，以测量入射的红外光的偏光性。显而易见地，偏振敏感图像像素阵列可以依靠RGB硅芯片中硅的深度来滤除可见光(红外光比可见光更深地进入硅中)。由此产生的堆叠式图像传感器提供了覆盖偏振信息的标准RGB图像。附加偏振信息可用于各种情境，这些情境包括帮助确定图像中的表面材料(例如，金属表面趋向于反射特定偏振光，而木材表面可散射随机偏振光)。人工智能或高级视觉系统可以基于偏振特征来生成合成纹理，并且颜色的共存(co-location)允许更准确的渲染。此外，偏振信息可以帮助确定图像中特定对象的景深。在一些实施方式中，RGB图像像素阵列被替换为对红外光敏感的红外图像像素阵列。在这些实施方式中，可以在红外图像像素阵列的上方设置使红外光通过且阻挡可见光的滤光器。该滤光器可以是被调谐为仅使特定波长的红外光(例如，850nm)通过的带通滤光器。结合图1A至图4对这些示例和其他示例进行更详细地描述。
图1A示出了显示硅的吸收系数相对于光的波长的关系趋势线111的图表100。显而易见地，较短波长的光比较长波长的光被硅吸收地更早，使得红色波长和近红外(near-infrared，NIR)波长的光进入硅的深度更大。
图1B示出了入射光190中的多个波长进入到示例硅衬底101中。例如，入射光190中的蓝色光191在硅衬底101的深度D1处被吸收。入射光190中的绿色光192在硅衬底101的深度D2处被吸收，并且入射光190中的蓝色光193在硅衬底101的深度D3处被吸收。显而易见地，包括在入射光190中的近红外光194的至少一部分穿过硅衬底101。
图2A示出了根据本公开方面的包括堆叠式图像传感器233的系统200的示意图。堆叠式图像传感器233包括第一图像像素阵列201，该第一图像像素阵列设置在第二图像像素阵列251的上方。第一图像像素阵列201被配置为采集第一图像203并将第一图像203提供给处理逻辑299。第二图像像素阵列251被配置为采集第二图像253并将第二图像253提供给处理逻辑299。第一图像像素阵列201具有排列成整数x列和整数y行的整数n个图像像素(P1、P2、P3、……、Pn)。第一图像像素阵列201可以是互补金属氧化物半导体(CMOS)图像传感器。可以类似于第一图像像素阵列201对第二图像像素阵列251进行配置。第二图像像素阵列251可以具有与第一图像像素阵列201相同数量的图像像素，或者具有比第一图像像素阵列201更多的图像像素。在一些实施方式中，第一图像像素阵列201和第二图像像素阵列251具有相同数量的图像像素(即，它们具有相同的分辨率)。图2A显示了，在一些实施方式中，处理逻辑299可以被配置为驱动红外光源240向一场景(堆叠式图像传感器233被定位成对该场景进行成像)发射红外照明光241。
图2B示出了根据本公开方面的系统200中的堆叠式图像传感器233的侧视图。图2B示出了处理逻辑299可以被配置为选择性地激活红外源240，以发射红外照明光241来对场景进行照明。红外源240可以包括激光二极管、垂直腔面发射激光器(vertical-cavityside-emitting laser，VCSEL)、红外超发光LED(superluminescent LED，SLED或S-LED)或红外LED。红外源240可以发射具有窄线宽的红外照明光241。例如，红外照明光241可以以850nm、940nm或1400nm为中心。红外照明光241的波长可以基于第二图像像素阵列251的半导体的带隙。用于第二图像像素阵列251的半导体可以是硅(Si)或硅锗(Si-Ge)。
在图2B中，红外照明光241对一场景(堆叠式图像传感器233被配置为对该场景进行成像)进行照明。堆叠式图像传感器233被配置为接收场景光239，该场景光包括场景光259、以及红外照明光241中被一个或多个对象280反射/散射而作为入射红外光249的部分。场景中的一个或多个对象280还对包括可见光的场景光259进行反射/散射。
图2B示出了场景光259中的可见光被第一图像像素阵列201中的硅完全或大部分吸收，并因此没有可见光、或一小部分可见光传播穿过第一图像像素阵列201而入射到第二图像像素阵列251上。在所示的实施方式中，第一图像像素阵列201被配置为采集入射的场景光259的红-绿-蓝(RGB)图像203，且第二图像像素阵列251被配置为采集偏振图像253，该偏振图像包括该入射的场景光的偏振方向。
图2C示出了本公开的作为系统250的附加实施方式，该系统具有设置在第一图像像素阵列201上方的红外滤光器207，使得第一图像像素阵列201被配置为采集近红外图像263而不是RGB图像203。在图2C中，堆叠式图像传感器283包括红外滤光器207、第一图像像素阵列201和第二图像像素阵列251。在所示的实施方式中，可以在第一图像像素阵列201的上方放置接收窄带红外波长的红外滤光器207，如此该红外滤光器对特定窄带的近红外波长敏感，同时拒绝场景光259中的可见光以及该窄带之外的波长。红外滤光器207可以与由红外源240发射的红外照明光241的线宽相匹配。入射红外光249由第一图像像素阵列201成像，且入射红外光249中的至少一部分还穿过第一图像像素阵列201的半导体层，以入射到第二图像像素阵列251上。对入射红外光249中的入射到第二图像像素阵列251上的该部分进行成像，以生成偏振图像253。
处理逻辑298可以被配置为驱动红外光源240向堆叠式图像传感器283被定位成对其进行成像的场景(即，该场景在堆叠式图像传感器的视场内)发射红外照明光241。第一图像像素阵列201被配置为采集近红外图像263并将近红外图像263提供给处理逻辑298。第二图像像素阵列251被配置为采集第二图像253并将第二图像253提供给处理逻辑298。第二图像253可以是包括场景光239的偏振方向的偏振图像。
在一些示例中，第二图像像素阵列251可以配置有多个角度敏感像素。可以在多个像素上方设置多个衍射光栅以提供多个角度敏感像素。这些衍射光栅可以用光刻工艺来制造。除了第二图像像素阵列251中的多个偏振敏感像素之外，还可以包括多个角度敏感像素。
图3示出了根据本公开方面的包括来自第一图像像素阵列301的第一像素370的图像像素示意图，该第一像素设置在来自第二图像像素阵列351的第二像素380的上方。第一像素和第二像素被示出为包括钉扎光电二极管(pinned photodiode)，尽管可以使用其他光电二极管配置。第一像素370的钉扎光电二极管包括钉扎层(pinning layer)306和N掺杂层308。在采集图像的累积期之后，晶体管Tx1 371将由入射的光359产生的图像电荷转移到浮动扩散(floating diffusion，FD)374。图像电荷被源极跟随器(source follower，SF)373放大而变成图像信号，该图像信号在位线375上被读出。然后，复位(reset，RST)晶体管372将FD 374和钉扎光电二极管复位(同时Tx1 371也被激活)，以用于下一个累积期来采集后续图像。第二像素380的钉扎光电二极管包括钉扎层356和N掺杂层358。在采集入射红外光349的偏振图像的累积期之后，晶体管Tx2 381将由入射红外光349产生的图像电荷转移到浮动扩散(FD)384。图像电荷被源极跟随器(SF)383放大而变成图像信号，该图像信号在位线385上被读出。然后，复位(RST)晶体管382将FD 384和钉扎光电二极管复位(同时Tx2381也被激活)，以用于下一个累积期来采集后续偏振图像。在一些实施方式中，第一图像像素阵列301和第二图像像素阵列351在同时间采集RGB图像和偏振图像。
第二图像像素阵列351包括偏振层，该偏振层具有设置在第二图像像素阵列351的多个图像像素上方的不同偏振滤光器，以检测入射到第二图像像素阵列351中特定图像像素上的场景光339的偏振方向。特别是，入射红外光349传播穿过第一图像像素阵列301(包括穿过硅衬底层307和金属互连层309)，穿过偏振层355，并入射到衬底层357上。入射红外光349在衬底层357的硅中生成图像信号，并使用3T或4T图像像素架构读出到位线385上，如上所述。在图3的实例中，第一图像像素阵列301包括聚焦场景光339的微透镜302、以及传输特定颜色(例如，RGB)同时阻止其他波长传输到图像像素的彩色滤光器阵列(color filterarray，CFA)304。例如，第一图像像素阵列301可以包括以拜耳(Bayer)排列(RGGB)来配置的彩色滤光器层。也可以在彩色滤光器层中使用诸如红-青-青-蓝(RCCB)或红-黄-绿-蓝(RYGB)等全色滤光器。
入射红外光349在设置在第二图像像素上方的偏振滤光器允许入射红外光349的特定偏振方向通过时，才传播到硅衬底357。例如，如果设置在第二像素上方的偏振层中的偏振滤光器允许s-偏振光通过，则仅具有s-偏振方向的入射红外光349将通过偏振滤光器，以在第二像素上生成图像信号。
图3的右半部示出了可以设置在像素上方的偏振层355中的不同偏振滤光器355A-355F。这些偏振滤光器可以是线栅偏振器。这些偏振滤光器可以是聚乙烯醇(polyvinylalcohol，PVA)线偏振器。这些偏振滤光器阻挡特定的多个偏振方向，同时允许另一偏振方向通过。示例偏振滤光器可以允许s-偏振光通过且阻挡p-偏振光。一不同的偏振滤光器可以允许p-偏振光通过且阻挡s-偏振光。因此，设置在特定偏振滤光器下方的图像像素将生成表示光的特定偏振方向的强度的图像信号，该图像信号与RGB图像共存。每个偏振滤光器355A-F可以与第二图像像素阵列351中的第二像素一一对应。在一示例中，在第一图像像素阵列301的金属互连层309中形成线栅偏振层，而不是增加单独的偏振层355。
所公开的堆叠式图像传感器提供覆盖偏振图像的RGB图像(可见光)。本公开的另一实施方式(例如，图2C的堆叠式图像传感器283)包括一种提供覆盖偏振图像的红外图像的堆叠式图像传感器。偏振图像的附加偏振信息可以用于各种情境，这些情境包括帮助确定图像中的表面材料(例如，金属表面趋向于反射特定偏振光，而木材表面可散射随机偏振光)。因此，出于图像处理目的，偏振信息可以用于确定由堆叠式图像传感器成像的场景的内容、物质或材质。此外，偏振信息可以帮助确定图像中特定对象的景深，在该图像中，偏振信息指示了，在RGB图像或红外图像中呈现为相同的两个表面实际上是定位在不同景深的不同表面。所公开的堆叠式图像传感器在弱光或高亮度成像情境中可能是特别有用的。所公开的堆叠式图像传感器在待成像场景包括高亮度场景和弱光场景这两者(例如，室内过渡到室外明亮的阳光)的成像情境中也可能是特别有用的。
图4示出了根据本公开方面的包括堆叠式图像传感器401的头戴式设备400，该堆叠式图像传感器包括在摄像头447中。图像传感器401可以包括本公开的堆叠式图像传感器的特征，以采集场景光491的图像。可以在头戴式设备400中包括近红外发射器440，以利用窄带近红外光对环境中的对象进行照明。头戴式设备400可以包括诸如摄像头447和/或处理逻辑445等各种电子器件。
头戴式设备400包括耦接到框架414的臂部411A和411B。光学元件422A和422B包括在框架414中。在一些实施方式中，光学元件422A和/或422B包括用于向头戴式设备400的用户呈现图像的近眼显示器。在这种情境中，头戴式设备400可以被认为是头戴式显示器(head mounted display，HMD)。包括在头戴式设备400中的一个或多个摄像头447可以包括堆叠式图像传感器401，使得头戴式设备400能够采集覆盖偏振图像的RGB图像或采集覆盖偏振图像的红外图像。因此，例如，头戴式设备400可以具有确定环境对象的表面材料和/或确定周围对象的景深的改进性能。
本公开的实施例和示例可以包括人工现实系统(artificial reality system)、或结合人工现实系统而被实现。人工现实是在呈现给用户之前已经以某种方式进行了调整的现实形式，该人工现实例如可以包括，虚拟现实(virtual reality，VR)、增强现实(augmented reality，AR)、混合现实(mixed reality，MR)、混合现实(hybrid reality)，或它们的一些组合和/或衍生物。人工现实内容可以包括完全生成的内容或与采集的(例如，真实世界)内容相结合的生成的内容。人工现实内容可以包括视频、音频、触觉反馈或它们的一些组合，以上任何一种都可以在单通道或多通道(例如，给观看者带来三维效果的立体视频)中被呈现。此外，在一些实施例和示例中，人工现实还可以与应用、产品、附件、服务或它们的一些组合相关联，这些应用、产品、附件、服务或它们的一些组合例如用于在人工现实中创建内容，和/或以其他方式用于人工现实中(例如，在人工现实中执行动作)。提供人工现实内容的人工现实系统可以在各种平台上实现，这些平台包括连接到主控计算机系统的头戴式显示器(HMD)、独立HMD、移动设备或计算系统、或能够向一位或多位观看者提供人工现实内容的任何其他硬件平台。
本公开中的术语“处理逻辑”(例如，299或298)可以包括一个或多个处理器、一个或多个微处理器、一个或多个多核处理器、一个或多个专用集成电路(Application-specific integrated circuit，ASIC)和/或一个或多个现场可编程门阵列(FieldProgrammable Gate Array，FPGA)，以执行本文中所公开的操作。在一些实施例和示例中，存储器(未示出)被集成到处理逻辑中，以存储执行操作的指令和/或存储数据。处理逻辑还可以包括模拟或数字电路，以执行根据本公开实施例和示例的操作。
本公开中所描述的“存储器(memory)”或“存储器(memories)”可以包括一个或多个易失性或非易失性存储器架构。“存储器(memory)”或“存储器(memories)”可以是以任何方法或技术实现的、用于存储诸如计算机可读指令、数据结构、程序模块或其他数据等信息的可移动的和不可移动的介质。示例存储器技术可以包括随机存取存储器(RAM)、只读存储器(ROM)、带电可擦可编程只读存储器(EEPROM)、闪存、紧凑型光盘只读存储器(CD-ROM)、数字多用途光盘(digital versatile disk，DVD)、高清晰度多媒体/数据存储盘、或其他光学存储器、磁盒、磁带、磁盘存储器或其他磁存储设备、或可以用于存储信息以供计算设备访问的任何其他非传输介质。
通信信道可以包括一个或多个有线或无线通信或通过一个或多个有线或无线通信进行路由，该一个或多个有线或无线通信使用电气和电子工程师协会(IEEE)802.11协议、蓝牙、串行外设接口(Serial Peripheral Interface，SPI)、内部集成电路(Inter-Integrated Circuit，I2C)、通用串行端口(Universal Serial Port，USB)、控制器局部网(Controller Area Network，CAN)、蜂窝数据协议(例如，3G、4G、LTE、5G)、光通信网络、互联网服务提供商(Internet Service Provider，ISP)、对等网络(peer-to-peer network)、局域网(Local Area Network，LAN)、广域网(Wide Area Network，WAN)、公共网络(例如“因特网”)、私有网络、卫星网络、或其他。
计算设备可以包括台式计算机、笔记本电脑、平板电脑、平板手机、智能手机、功能手机、服务器计算机、或其他。服务器计算机可以远程地位于数据中心中、或在本地储存。
上面所说明的过程是从计算机软件和硬件的角度来描述的。所描述的技术可以构成包含在有形或非暂态机器(例如，计算机)可读存储介质中的机器可执行指令，这些机器可执行指令在由机器执行时，将使得该机器执行所描述的操作。此外，这些过程可以体现在诸如专用集成电路(“ASIC”)或其他等硬件中。
有形非暂态机器可读存储介质包括以可由机器(例如，计算机、网络设备、个人数字助理、制造工具、具有一个或多个处理器的集合的任何设备等)访问的形式提供(即，存储)信息的任何机制。例如，机器可读存储介质包括可记录/不可记录介质(例如，只读存储器(read only memory，ROM)、随机存取存储器(random access memory，RAM)、磁盘存储介质、光存储介质、闪存设备等)。
所示出示例的以上描述(包括在摘要中描述的内容)不旨在是详尽的或不旨在将本发明限制成所公开的精确形式。尽管本文为了说明的目的描述了本发明的特定实施例和用于本发明的示例，但如相关领域的技术人员将认识到的，可以在本公开的范围内进行各种修改。
可以根据以上详细描述进行这些修改。在随附的权利要求中所使用的术语不应被解释为将本发明限制成本说明书中所公开的特定实施例。而是，本发明的范围将完全地由随附的权利要求来确定，这些权利要求将根据建立的权利要求解释的原则而被解释。

Claims (15)

1.一种堆叠式传感器，包括：
第一图像像素阵列，所述第一图像像素阵列包括多个第一图像像素；以及
第二图像像素阵列，所述第二图像像素阵列包括多个第二图像像素和偏振层，
其中：
所述偏振层设置在所述多个第一图像像素与所述多个第二图像像素之间，并且
入射到所述多个第二图像像素上的场景光传播穿过所述多个第一图像像素和所述偏振层，而到达所述多个第二图像像素。
2.根据权利要求1所述的堆叠式传感器，其中，所述多个第一图像像素的硅衬底仅允许所述场景光的红外部分传播穿过所述多个第一图像像素到达所述多个第二图像像素。
3.根据权利要求1或2所述的堆叠式传感器，其中：
所述第一图像像素阵列被配置为采集入射的所述场景光的红-绿-蓝(RGB)图像，并且
所述第二图像像素阵列被配置为采集偏振图像，所述偏振图像包括传播穿过所述多个第一图像像素的入射的所述场景光的多个偏振方向。
4.根据任一前述权利要求所述的堆叠式传感器，其中：
所述第一图像像素阵列被配置为采集入射的所述场景光的近红外图像，并且
所述第二图像像素阵列被配置为采集偏振图像，所述偏振图像包括入射的所述场景光的多个偏振方向。
5.根据任一前述权利要求所述的堆叠式图像传感器，其中：
所述偏振层包括多个偏振滤光器，并且
所述多个中的各偏振滤光器被配置为允许所述场景光的不同偏振方向通过。
6.根据任一前述权利要求所述的堆叠式图像传感器，其中，所述第一图像像素阵列被结合到所述第二图像像素阵列。
7.根据任一前述权利要求所述的堆叠式图像传感器，其中：
所述第一图像像素阵列为背照式(BSI)图像像素阵列，并且
所述第二图像像素阵列为前照式(FSI)偏振敏感硅芯片；
优选地，其中，所述偏振层至少部分地由所述BSI图像像素阵列的金属互连层形成。
8.根据任一前述权利要求所述的堆叠式图像传感器，其中：
所述偏振层包括多个偏振滤光器，并且
所述多个偏振滤光器中的各偏振滤光器的偏振轴具有不同方向；
优选地，其中，所述偏振滤光器包括线栅线偏振器和/或聚乙烯醇(PVA)线偏振器。
9.一种摄像系统，包括：
第一图像像素阵列，所述第一图像像素阵列包括多个第一图像像素；
第二图像像素阵列，所述第二图像像素阵列包括多个第二图像像素和偏振层；以及
处理逻辑，所述处理逻辑被配置为接收来自所述第一图像像素阵列的第一图像，且被配置为接收来自所述第二图像像素阵列的第二图像，
其中：
所述第二图像由入射到所述第二图像像素阵列中的所述多个第二图像像素上的红外场景光生成，并且
入射到所述多个第二图像像素上的所述红外场景光传播穿过了所述多个第一图像像素和所述偏振层。
10.根据权利要求9所述的摄像系统，其中：
所述第一图像像素阵列被配置为采集所述入射场景光的红-绿-蓝(RGB)图像，并且
所述第二图像像素阵列被配置为采集偏振图像，所述偏振图像包括传播穿过所述多个第一图像像素的所述红外场景光的偏振方向。
11.根据权利要求9或10所述的摄像系统，其中：
所述第一图像像素阵列被配置为采集所述红外场景光的近红外图像，并且
所述第二图像像素阵列被配置为采集偏振图像，所述偏振图像包括所述红外场景光的偏振方向。
12.根据权利要求9至11中任一项所述的摄像系统，其中：
所述偏振层包括多个偏振滤光器，并且
所述多个中的各偏振滤光器被配置为允许所述场景光的不同偏振方向通过；
优选地，其中，所述偏振层至少部分地由所述第一图像像素阵列的金属互连层形成。
13.一种头戴式设备，包括：
近红外发射器，所述近红外发射器被配置为发射近红外光；以及
堆叠式图像传感器，所述堆叠式图像传感器包括：
第一图像像素阵列，所述第一图像像素阵列包括多个第一图像像素；以及
第二图像像素阵列，所述第二图像像素阵列包括多个第二图像像素和偏振层，其中所述偏振层设置在所述多个第一图像像素和所述多个第二图像像素之间。
14.根据权利要求13所述的头戴式设备，还包括：
处理逻辑，所述处理逻辑被配置为驱动所述堆叠式图像传感器开始图像采集，同时驱动所述近红外发射器发射所述近红外光；
优选地，其中，入射到所述多个第二图像像素上的光传播穿过所述多个第一图像像素和所述偏振层而到达所述多个第二图像像素。
15.根据权利要求13或14所述的头戴式设备，其中：
所述第一图像像素阵列被配置为采集所述入射场景光的红-绿-蓝(RGB)图像，并且
所述第二图像像素阵列被配置为采集偏振图像，所述偏振图像包括由所述堆叠式图像传感器的视场中的对象散射的所述近红外光的偏振方向。
CN202180032398.5A 2020-05-15 2021-05-01 具有偏振检测像素阵列的堆叠式图像传感器 Pending CN115516633A (zh)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US202063025370P 2020-05-15 2020-05-15
US63/025,370 2020-05-15
US17/159,041 US11477360B2 (en) 2020-05-15 2021-01-26 Stacked image sensor with polarization sensing pixel array
US17/159,041 2021-01-26
PCT/US2021/030374 WO2021231112A1 (en) 2020-05-15 2021-05-01 Stacked image sensor with polarization sensing pixel array

Publications (1)

Publication Number Publication Date
CN115516633A true CN115516633A (zh) 2022-12-23

Family

ID=78512065

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202180032398.5A Pending CN115516633A (zh) 2020-05-15 2021-05-01 具有偏振检测像素阵列的堆叠式图像传感器

Country Status (5)

Country Link
US (1) US11477360B2 (zh)
EP (1) EP4150673A1 (zh)
JP (1) JP2023525442A (zh)
CN (1) CN115516633A (zh)
WO (1) WO2021231112A1 (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11374050B2 (en) * 2020-07-27 2022-06-28 Raytheon Company Focal plane array detectors with selectable polarization
CN113965688A (zh) * 2021-11-30 2022-01-21 维沃移动通信有限公司 图像传感器、摄像模组、摄像装置及控制方法

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102087377B (zh) * 2009-12-02 2013-12-11 鸿富锦精密工业（深圳）有限公司 偏振元件及其制作方法
US9941319B2 (en) * 2010-10-13 2018-04-10 Monolithic 3D Inc. Semiconductor and optoelectronic methods and devices
JP6192428B2 (ja) 2013-08-20 2017-09-06 オリンパス株式会社 撮像装置
US9749553B2 (en) * 2013-08-23 2017-08-29 Semiconductor Components Industries, Llc Imaging systems with stacked image sensors
US9113096B1 (en) * 2014-06-30 2015-08-18 Amazon Technologies, Inc. Single sensor two-sided camera
JP2018514748A (ja) * 2015-02-06 2018-06-07 ザ ユニバーシティ オブ アクロンＴｈｅ Ｕｎｉｖｅｒｓｉｔｙ ｏｆ Ａｋｒｏｎ 光学撮像システムおよびその方法
JP6566749B2 (ja) 2015-07-01 2019-08-28 株式会社ソニー・インタラクティブエンタテインメント 撮像素子、イメージセンサ、および情報処理装置
US10652497B2 (en) * 2017-04-21 2020-05-12 Trustees Of Dartmouth College Quanta image sensor with polarization-sensitive jots
US11037966B2 (en) 2017-09-22 2021-06-15 Qualcomm Incorporated Solid state image sensor with on-chip filter and extended spectral response
US20210150744A1 (en) * 2017-12-20 2021-05-20 Olympus Corporation System and method for hybrid depth estimation

Also Published As

Publication number Publication date
JP2023525442A (ja) 2023-06-16
US11477360B2 (en) 2022-10-18
WO2021231112A1 (en) 2021-11-18
EP4150673A1 (en) 2023-03-22
US20210360132A1 (en) 2021-11-18

Similar Documents

Publication Publication Date Title
KR102125154B1 (ko) 이미징 시스템들에 대한 근적외선 스펙트럼 응답을 확장하는 시스템 및 방법
US10158843B2 (en) Imaging pixels with depth sensing capabilities
TWI825092B (zh) 以多光二極體型像素單元量測入射光強度的設備和方法
US9595556B2 (en) Image sensor for reducing crosstalk characteristic and method of manufacturing the same
TW201706224A (zh) 具有選擇性紅外濾光片陣列的感測器元件
US9666620B2 (en) Stacked filter and image sensor containing the same
US9679933B2 (en) Image sensors and methods of forming the same
TWI677086B (zh) 製作像素陣列的方法
US20130222603A1 (en) Imaging systems for infrared and visible imaging
JP6060851B2 (ja) 固体撮像装置の製造方法
US9282268B2 (en) Solid-state image pickup device, method of manufacturing solid-state image pickup device, and image pickup system
US20180301484A1 (en) Image sensors with high dynamic range and autofocusing hexagonal pixels
KR102312964B1 (ko) 이미지 센서 및 그 제조방법
CN109728014A (zh) 摄像装置
US20190067346A1 (en) Image sensors with high dynamic range and infrared imaging toroidal pixels
CN115516633A (zh) 具有偏振检测像素阵列的堆叠式图像传感器
US20150281538A1 (en) Multi-array imaging systems and methods
CN103907189A (zh) 固体摄像元件、摄像装置和信号处理方法
US8988778B2 (en) Color filter array using dichroic filter
US10609361B2 (en) Imaging systems with depth detection
WO2021029130A1 (ja) 撮像素子、撮像装置および撮像方法
CN113965703A (zh) 图像感测装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination