CN110661940A - 具有深度检测的成像系统及操作该成像系统的方法 - Google Patents

具有深度检测的成像系统及操作该成像系统的方法 Download PDF

Info

Publication number
CN110661940A
CN110661940A CN201910531935.5A CN201910531935A CN110661940A CN 110661940 A CN110661940 A CN 110661940A CN 201910531935 A CN201910531935 A CN 201910531935A CN 110661940 A CN110661940 A CN 110661940A
Authority
CN
China
Prior art keywords
image
light
image sensor
imaging system
depth
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201910531935.5A
Other languages
English (en)
Inventor
M·米利纳尔
U·博提格
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Semiconductor Components Industries LLC
Original Assignee
Semiconductor Components Industries LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Semiconductor Components Industries LLC filed Critical Semiconductor Components Industries LLC
Publication of CN110661940A publication Critical patent/CN110661940A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H04N23/55—Optical parts specially adapted for electronic image sensors; Mounting thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • H04N23/11—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths for generating image signals from visible and infrared light wavelengths
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/271—Image signal generators wherein the generated image signals comprise depth maps or disparity maps
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/521—Depth or shape recovery from laser ranging, e.g. using interferometry; from the projection of structured light
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • H04N23/12—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths with one sensor only
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H04N23/54—Mounting of pick-up tubes, electronic image sensors, deviation or focusing coils
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/131—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements including elements passing infrared wavelengths
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/135—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on four or more different wavelength filter elements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10048—Infrared image

Abstract

本发明提供了一种成像系统及操作该成像系统的方法，该成像系统可包括图像传感器、透镜、和位于透镜与图像传感器之间的具有反射特性的层，诸如红外截止滤波器。透镜可将来自场景中的对象的光聚焦到图像传感器上。被导向到图像传感器上的光中的一些光可在图像传感器上形成第一图像。被导向到图像传感器上的光的其他部分可反射离开图像传感器并且朝具有反射特性的层反射回去。这些层可将光反射回到图像传感器上，从而形成相对于第一图像偏移的第二图像。深度映射电路可比较第一图像和第二图像以确定成像系统与场景中对象之间的距离。

Description

具有深度检测的成像系统及操作该成像系统的方法
技术领域
本专利申请涉及成像系统及操作该成像系统的方法，并且更具体地涉及具有深度检测能力的成像系统和操作该成像系统的方法。
背景技术
成像系统常常在电子设备诸如蜂窝电话、相机和计算机中用来捕获图像。在典型的布置中，电子设备设置有布置成像素行和像素列的图像像素阵列。图像像素包含光电二极管以便响应于光而生成电荷。常常将电路耦接到各个像素列以读出来自图像像素的图像信号。滤色器元件通常覆盖每个光电二极管。
在一些应用中，可能期望确定成像系统与场景中正被成像系统捕获为图像的对象之间的距离。常规系统通常使用与图像像素阵列分离的传感器来进行这种类型的深度测量，或者在测量反射光以进行深度感测的同时，可能需要单独的光源来照明场景。然而，这些布置需要将附加的硬件实施到成像系统中，并且可导致成像系统的尺寸和功率消耗增加。
因此，期望提供具有改善的深度检测能力的成像系统。
发明内容
本专利申请的一个方面提供了一种成像系统，包括：透镜；图像传感器，该图像传感器包括生成图像数据的像素阵列；至少部分地具有反射性的中间层，该中间层插置在透镜与图像传感器之间；红外截止滤波器，该红外截止滤波器插置在中间层与透镜之间，其中，来自对象的光穿过透镜、红外截止滤波器和中间层以到达图像传感器，其中，光的第一部分被像素阵列捕获以生成主图像，并且其中，光的第二部分朝中间层反射离开图像传感器、离开中间层朝图像传感器反射回去并被像素阵列捕获以生成不同于主图像的次级图像；和深度映射电路，深度映射电路检测主图像和次级图像并将主图像与次级图像进行比较以确定成像系统与对象之间的距离。
本专利申请的另一方面提供了另一种成像系统，包括：透镜；图像传感器，该图像传感器捕获场景的图像；反射性层，该反射性层插置在透镜与图像传感器之间；和深度处理电路，该深度处理电路基于反射离开反射性层并且反射到图像传感器上的光来确定场景的深度信息。
本专利申请的再一方面提供了一种操作包括图像传感器、反射性层和深度确定引擎的成像系统的方法，该方法包括：使用图像传感器捕获场景的图像数据，其中，图像数据包括主图像数据和次级图像数据，主图像数据响应于直接入射到图像传感器上的光而生成，次级图像数据响应于反射离开图像传感器、反射离开反射性层并且反射回到图像传感器上的光而生成；以及使用深度确定引擎，通过将主图像数据与次级图像数据进行比较来确定场景的深度信息。
附图说明
图1是根据一个实施方案的具有图像传感器的示例性电子设备的示意图。
图2是根据一个实施方案的示例性像素阵列和相关联的读出电路的示意图。
图3是根据一个实施方案的示例性相机模块的横截面侧视图，该示例性相机模块捕获场景中对象的图像。
图4是根据一个实施方案的图3的图像传感器和捕获的图像的自顶向下视图。
图5是根据一个实施方案的示例性相机模块的横截面侧视图，该示例性相机模块捕获场景中对象的图像。
图6是根据一个实施方案的图5的图像传感器和捕获的图像的自顶向下视图。
图7是根据一个实施方案的示例性相机模块的横截面侧视图，该示例性相机模块捕获场景中对象的图像。
图8是根据一个实施方案的图7的图像传感器和捕获的图像的自顶向下视图。
图9是根据一个实施方案的具有滤色器图案的示例性图像传感器的示意图，该滤色器图案可用于为图像传感器提供可见光敏感度和近红外敏感度两者。
图10是根据一个实施方案的示例性电子设备的示意图，该示例性电子设备包括用于照明场景的光源。
图11是根据一个实施方案的示出了示例性部件的框图，该示例性部件可用于执行深度映射操作。
图12是根据一个实施方案的示例性步骤的流程图，该步骤可用于使用自相关来确定场景的深度信息。
图13是根据一个实施方案的示例性步骤的流程图，该步骤可用于使用光谱分析来确定场景的深度信息。
具体实施方式
电子设备诸如数字相机、计算机、蜂窝电话和其他电子设备可包括图像传感器，该图像传感器采集入射光以捕获图像。图像传感器可包括像素阵列。图像传感器中的像素可包括光敏元件，诸如将入射光转换成图像信号的光电二极管。图像传感器可具有任何数量(例如，数百或数千或更多)的像素。典型的图像传感器可例如具有数十万或数百万像素(例如，数兆像素)。图像传感器可包括控制电路(诸如，用于操作像素的电路)和用于读出图像信号的读出电路，该图像信号与光敏元件生成的电荷相对应。
图1是示例性成像和响应系统的示意图，该系统包括使用图像传感器捕获图像的成像系统。图1的电子设备10可以是电子设备诸如相机、蜂窝电话、视频相机、或捕获数字图像数据的其他电子设备，可以是车辆安全系统(例如，主动制动系统或其他车辆安全系统)，或者可以是监视系统。
如图1所示，电子设备10可包括成像系统(诸如成像系统12)和主机子系统(诸如主机子系统22)。成像系统12可包括相机模块14。相机模块14可包括一个或多个图像传感器16以及一个或多个透镜18。
相机模块14中的每个图像传感器可相同，或者，在给定图像传感器阵列集成电路中可以存在不同类型的图像传感器。在图像捕获操作期间中，每个透镜18可将光聚焦到相关联的图像传感器16上。图像传感器16可包括将光转换成数字数据的光敏元件(即，像素)。图像传感器可具有任何数量(例如，数百、数千、数百万或更多)的像素。典型的图像传感器可例如具有数百万的像素(例如，数兆像素)。例如，图像传感器16可包括偏置电路(例如，源极跟随器负载电路)、采样保持电路、相关双采样(CDS)电路、放大器电路、模拟-数字转换器电路、数据输出电路、存储器(例如，缓冲电路)、寻址电路等。
可将来自图像传感器16的静态图像数据和视频图像数据经由路径28提供到图像处理和数据格式化电路20。图像处理和数据格式化电路20可用于执行图像处理功能，诸如数据格式化、调节白平衡和曝光、实现视频图像稳定、脸部检测等。图像处理和数据格式化电路20也可用于根据需要压缩原始相机图像文件(例如，压缩成联合图像专家组格式或JPEG格式)。在一些布置(有时称为片上系统(SOC)布置)中，图像传感器16以及图像处理和数据格式化电路20在共用半导体衬底(例如，共用硅图像传感器集成电路管芯)上实现。如果需要，图像传感器16和图像处理电路20可以形成在单独的半导体衬底上。例如，图像传感器16和图像处理电路20可形成在已堆叠的单独的衬底上。
成像系统12(例如，图像处理和数据格式化电路20)可通过路径30将采集的图像数据传送到主机子系统22。主机子系统22可包括处理软件，该处理软件用于检测图像中的对象、检测对象在图像帧之间的运动、确定与图像中的对象相距的距离、过滤或以其他方式处理成像系统12提供的图像。
如果需要，电子设备10可为用户提供许多高级功能。例如，在计算机或高级蜂窝电话中，可为用户提供运行用户应用程序的能力。为实现这些功能，设备10的主机子系统22可具有输入-输出设备24(诸如小键盘、输入-输出端口、操纵杆和显示器)以及存储和处理电路26。存储和处理电路26可包括易失性存储器和非易失性存储器(例如，随机存取存储器、闪存存储器、硬盘驱动器、固态驱动器等)。存储和处理电路26还可包括微处理器、微控制器、数字信号处理器、专用集成电路等。
如图2所示，图像传感器16可包括包含布置成行和列的像素23的像素阵列21以及控制和处理电路25(该控制和处理电路可包括例如图像信号处理电路)。阵列21可包含例如几百或几千行以及几百或几千列像素23。控制电路25可耦接到行控制电路27和图像读出电路29(有时称为列控制电路、读出电路、处理电路或列解码器电路)。行控制电路27可从控制电路25接收行地址，并且通过行控制路径31将对应的行控制信号，诸如重置控制信号、行选择控制信号、电荷转移控制信号、双转换增益控制信号和读出控制信号供应给像素23。可将一根或多根导线(诸如，列线33)耦接到阵列21中的像素23的每一列。列线33可用于从像素23读出图像信号并且可用于将偏置信号(例如，偏置电流或偏置电压)供应给像素23。如果需要，在像素读出操作期间，可使用行控制电路27选择阵列21中的像素行，并且可沿列线33读出由该像素行中的图像像素23生成的图像信号。
图像读出电路29可以通过列线33接收图像信号(例如，由像素23生成的模拟像素值)。图像读出电路29可包括用于对从阵列21读出的图像信号进行采样和暂时存储的采样保持电路、放大器电路、模拟-数字转换(ADC)电路、偏置电路、列存储器、用于选择性地启用或禁用列电路的锁存电路，或者耦接到阵列21中的一个或多个像素列以用于操作像素23以及用于从像素23读出图像信号的其他电路。读出电路29中的ADC电路可将从阵列21接收的模拟像素值转换成对应的数字像素值(有时称为数字图像数据或数字像素数据)。图像读出电路29可针对一个或多个像素列中的像素通过路径35将数字像素数据供应给控制和处理电路25和/或处理器20(图1)。
如果需要，可在阵列21中的光敏区上方形成滤色器阵列，使得在相关联的像素23的光敏区的上表面上方形成滤色器阵列中的预期滤色器元件。可在滤色器阵列的上表面上方形成微透镜，以将入射光聚焦到与该像素23相关联的光敏区上。入射光可由微透镜聚焦到光敏区上，并且可穿过滤色器元件，使得在光敏区处仅捕获对应颜色的光。
如果需要，图2的阵列21中的像素23可设置有各自通过一种或多种颜色的光的滤色器元件的阵列。像素23中的全部或一些像素可设置有滤色器元件。像素23的滤色器元件可为红色滤色器元件(例如，使红光通过同时将其他颜色的光反射和/或吸收的光致抗蚀剂材料或干涉/二向色性/薄膜过滤材料)、蓝色滤色器元件(例如，使蓝光通过同时将其他颜色的光反射和/或吸收的光致抗蚀剂材料)和/或绿色滤色器元件(例如，使绿光通过同时将其他颜色的光反射和/或吸收的光致抗蚀剂材料)。滤色器元件也可被配置为过滤人可见光谱之外的光。例如，滤色器元件可被配置为过滤紫外光或红外光(例如，滤色器元件可仅允许红外光或紫外光到达光电二极管)。滤色器元件可将图像像素23配置为仅检测某波长或波长范围(有时在本文称作波段)的光，并且可被配置为允许多个波长的光通过同时阻止某些其他波长的光(例如，其波长对应于某个可见颜色和/或红外波长或紫外波长的光)。
使两种或更多种颜色的光(例如，选自包含红光、蓝光和绿光的集合的两种或更多种颜色的光)通过的滤色器元件有时在本文称为“宽带”滤波器元件。例如，被配置为使红光和绿光通过的黄色滤色器元件以及被配置为使红光、绿光和蓝光通过的透明滤色器元件在本文可称为宽带滤波器元件或宽带滤色器元件。被配置为使红光和蓝光通过的洋红色滤色器元件在本文也可称为宽带滤波器元件或宽带滤色器元件。相似地，包括宽带滤色器元件(例如，黄色滤色器元件、洋红色滤色器元件或透明滤色器元件)并且因此对两种或更多种颜色的光敏感(例如，响应于检测到选自包括红光、蓝光和绿光的集合的两种或更多种颜色的光来捕获图像信号)的图像像素有时在本文可称为宽带像素或宽带图像像素。由宽带图像像素生成的图像信号有时在本文可称为宽带图像信号。宽带图像像素可具有天然敏感度，该天然敏感度由形成宽带滤色器元件的材料和/或形成图像传感器像素的材料(例如，硅)限定。在另一个合适布置中，宽带图像像素可被形成为不具有任何滤色器元件。如果需要，可通过使用光吸收剂诸如颜料来调节宽带图像像素的敏感度以获得更佳的颜色再现特性和/或噪声特性。相比之下，“着色”像素在本文可用于指代主要对一种颜色的光(例如，红光、蓝光、绿光或任何其他合适颜色的光)敏感的图像像素。着色像素有时在本文可称为窄带图像像素，由于着色像素具有比宽带图像像素窄的光谱响应。
如果需要，未被配置为对红外光敏感的窄带像素和/或宽带像素可设置有结合了NIR辐射吸收剂的滤色器。阻止近红外光的滤色器可使红外光对既包含可见光辐射又包含红外辐射的光源中的颜色再现的影响最小化。
例如，图像传感器像素诸如阵列21中的图像像素可设置有滤色器阵列，该滤色器阵列允许单个图像传感器使用布置成拜耳马赛克图案的红色、绿色和蓝色图像传感器像素来对对应的红光、绿光和蓝光(RGB)进行采样。拜耳马赛克图案由重复的2×2个图像像素的单元格组成，其中两个绿色图像像素沿对角线彼此相对，并且邻近与蓝色图像像素沿对角线相对的红色图像像素。在另一个合适示例中，拜耳图案中的绿色像素被具有宽带滤色器元件的宽带图像像素替换。在另一个合适示例中，可通过为阵列21中的全部像素23提供透明材料(例如，至少使红光、蓝光和绿光通过的材料)而不是阻止一些波长而使其他波长通过的滤色器来提供单色图像传感器16。这些示例仅仅是示例性的，并且一般来讲，可在任何所需数量的图像像素23上方形成任何所需颜色和任何所需图案的滤色器元件。
图3中示出了示例性相机模块14的横截面侧视图。如图3所示，相机模块14包括将光聚焦到图像传感器16上的透镜18。相机模块14可包括位于图像传感器16与透镜18之间的界面层34(本文中有时称为中间层或玻璃层)。界面层34可以是玻璃层、塑料层或其他透明材料的层。在界面层34为玻璃的布置中，界面层34可具有约4％的反射率。一般来讲，界面层34可至少部分地具有反射性。如果需要，可使用抗反射涂层来处理界面层，以帮助减少相机模块14内的内部反射，诸如图像传感器16与透镜18之间的反射。抗反射涂层的抗反射特性可被调节(例如，在相机模块14的制造期间选择)以反射不同光量。例如，抗反射涂层可阻止所有反射，可阻止99％的反射，可阻止介于90％至99％之间的反射，可阻止介于50％的反射和90％的反射之间的反射，或者可被配置为具有其他抗反射特性。然而，这仅仅是示例性的。在一些布置中，界面层34可不具有抗反射涂层，或可完全省略。
相机模块14还可包括位于图像传感器16与透镜18之间的红外截止滤波器32。红外截止滤波器32可阻止穿过透镜18的红外光到达图像传感器16。这样，来自正被成像的场景的红外光可被阻止到达图像传感器16，并且被阻止在由图像传感器16生成的图像中产生不期望的视觉伪影。如果需要，红外截止滤波器32可阻止红外光谱中的所有波长(例如，700nm至1,000nm)，可为仅阻止红外光谱中的所选波段(例如，700nm至800nm以及900nm至1,000nm)同时允许其他波段通过的双波段截止滤波器，可阻止除特定波长之外的所有波长(例如，除850nm红外光之外的所有波长)，或者可为另一种合适类型的红外截止滤波器。
相机模块14可具有景深36。景深36可表示在相机模块14所捕获的图像中被对焦的场景中最近对象与最远对象之间的距离。给定相机模块14的景深36可取决于透镜18的焦距、相机模块的光圈尺寸、以及相机模块14的可被调节以改变景深36的其他特性。因此，图3中所示的景深36仅仅是示例性的。景深36可被调节成使得场景中的基本上所有对象都被对焦(例如，相对大的景深)，或者被调节成使得仅距相机模块14的小距离范围内的对象被对焦(例如，相对小的景深)。
在图3中，正被相机模块14捕获的场景中的示例性对象38定位在与图像传感器16相距距离d1处。对象38与相机模块14的光轴对齐。如图3所示，光线40-1、40-2和40-3源于对象38(例如，作为反射离开对象38的环境光)。光线40-1、40-2和40-3(在本文中有时称为主光线)穿过透镜18并且作为主图像42聚焦到图像传感器16上。由于对象38在相机模块14的景深内，因此主图像42被对焦。
图像传感器16可包括反射性结构诸如导电迹线、金属互连层、再分布层和微透镜，该反射性结构导致光线40-1、40-2和/或40-3的一部分(例如，直接入射在传感器16上的光的1％、2％、5％-10％、20％、50％或另一合适部分)反射离开图像传感器16。在图3的示例性示例中，光40-1的第一部分作为反射光线44-1反射离开传感器16，并且光40-3的第二部分作为反射光线44-3(在本文中有时称为次级光线)反射离开传感器16。反射光线44-1和44-3朝至少部分地具有反射性的结构(诸如红外截止滤波器32和/或界面层34)被反射，该结构将反射光线44-1和44-3朝图像传感器16反射回去。在再次到达图像传感器16时，反射光线44-1和44-3可来自传感器16上的次级图像46。取决于来自光线40-1、40-2和40-3的最初反射离开图像传感器16的光量，与主图像42相比，次级图像46可能是模糊的，并且可能不被查看图像的人类用户注意到。
虽然图3的示例中未示出，但直接入射在图像传感器16上的光线40-2的一部分光线可反射离开图像传感器16。然而，由于光线40-1与相机模块14的光轴对齐，因此反射光将再次入射在主图像42的位置处，而不是限定次级图像46的边界。
图4中示出了图像传感器16上的主图像42和次级图像46的自顶向下视图。由于光线40-1和40-3与相机模块14的光轴不对齐(即，光线为偏轴的)，因此反射光线44-1和44-3扩散开并导致次级图像46失焦。
图5中示出了相机模块14的横截面侧视图，该相机模块捕获与图像传感器16相距距离d2(该距离大于距离d1)的对象48的图像。在图5中，对象48与相机模块14的光轴不对齐，因此所有光线50-1、50-2和50-3均相对于相机模块14的光轴为偏轴的。当光线50-1、50-2和50-3穿过透镜18时，透镜18至少部分地将光线聚焦到图像传感器16上以形成主图像52。然而，由于对象48在相机模块14的景深36之外，因此主图像52失焦。失焦的主图像52可被称为模糊点、主模糊点或第一模糊点。模糊点52可具有第一尺寸。
由于图像传感器16中存在反射性结构(例如，如上文结合图3所述)，因此光线50-1、50-2和50-3的一部分光线可分别作为反射光线54-1、54-2和54-3反射离开传感器16。这些光线朝至少部分地具有反射性的结构32和34向上反射回去。红外截止滤波器32(和/或至少部分地具有反射性的界面层34)可将这些反射光线反射回到图像传感器16上以形成次级图像56。由于反射光线54-1、54-2和54-3随着这些反射光线在相机模块14内反射时为偏轴的并且被扩散开，因此次级图像比主图像52甚至更为失焦(即，模糊)。次级图像56可被称为模糊点、次级模糊点、第二模糊点或反射模糊点。模糊点56可具有大于第一模糊点52的尺寸的第二尺寸。
图6中示出了图像传感器16上的主图像52和次级图像56的自顶向下视图。如图6所示，次级图像56比主图像52大并且更为失焦(即，更模糊)。
基于在尺寸、传感器16上的位置以及主图像52与次级图像56之间相对聚焦方面的差异，电子设备10(例如，图像处理电路20和/或存储和处理电路26)可能能够执行深度感测操作以确定对象48与图像传感器16之间的距离d2。深度感测操作可基于主图像52与次级图像56的比较以及相机模块14的已知特性的组合。有关相机模块14的已知信息可包括图像传感器16与至少部分地具有反射性的层32和34之间的距离d4、透镜18的焦距、以及主光线50-1、50-2和50-3入射到传感器16上的主光线角度。基于这些已知特性，深度感测操作可能能够确定传感器16上的主图像52和次级图像56必定是因源自与传感器16相距某个距离(例如，距离d2)的对象的入射光所致。
图7中示出了相机模块14的横截面侧视图，该相机模块捕获与图像传感器16相距距离d3(该距离大于距离d1和d2)的对象58的图像。在图7中，对象58与相机模块14的光轴不对齐，因此所有光线60-1、60-2和60-3均相对于相机模块14的光轴为偏轴的。当光线60-1、60-2和60-3穿过透镜18时，透镜18至少部分地将光线聚焦到图像传感器16上以形成主图像62。然而，由于对象58在相机模块14的景深36之外(例如，比图5中的对象48甚至更远离景深之外)，因此主图像62失焦(例如，比图5中的主图像52甚至更为失焦)。由于距离d3大于距离d2(例如，对象58比图5中的对象48甚至更远离景深36之外)，因此主图像62可比图5中的主图像52甚至更为失焦。失焦的主图像62可被称为模糊点、主模糊点或第一模糊点。模糊点62可具有第一尺寸。
由于图像传感器16中存在反射性结构(如上文结合图3所述)，因此光线60-1、60-2和60-3的一部分光线可分别作为反射光线64-1、64-2和64-3反射离开传感器16。这些光线朝至少部分地具有反射性的结构32和34向上反射回去。红外截止滤波器32(和/或至少部分地具有反射性的界面层34)可将反射光线反射回到图像传感器16上以形成次级图像66。由于反射光线64-1、64-2和64-3随着这些反射光线在相机模块14内反射时为偏轴的并且被扩散开，因此次级图像比主图像62甚至更为失焦(即，模糊)。由于距离d3大于距离d2(例如，对象58比图5中的对象48甚至更远离景深36之外)，因此反射光线64-1、64-2和64-3可以更大的角度反射离开图像传感器16并且在相机模块14内比反射光线54-1、54-2和54-3更多地扩散开。这样，次级图像66可比图5中的次级图像56甚至更为失焦。次级图像66可被称为模糊点、次级模糊点、第二模糊点或反射模糊点。模糊点66可具有大于第一模糊点62的尺寸的第二尺寸。
图8中示出了图像传感器16上的主图像62和次级图像66的自顶向下视图。如图8所示，次级图像66比主图像62大并且更为失焦(即，更模糊)。当与图6进行比较时，可以看出，主图像62比主图像52大并且更为失焦(即，更模糊)，并且次级图像66比次级图像56大并且更为失焦(即，更模糊)。然而，这仅仅是示例性的。主模糊点与次级模糊点之间的相对尺寸、形状和对焦度可取决于对象在场景中的位置、对象与相机模块14之间的距离、相机模块14的特性以及其他因素而变化。
在图5至图8的示例性示例中，对象48和58距离相机模块14太远而不在景深36内。透镜18实际上将对象48和58的图像聚焦在传感器16的表面前面的位置处。因此，主图像至少部分地失焦，并且次级图像大体上比主图像大并且更为失焦。然而，这仅仅是示例性的。在一些情形下，对象可能太靠近相机模块14而不在景深36内。在这种情形下，透镜18可将图像聚焦在图像传感器16的表面后方。因此，主图像至少部分地失焦。然而由于反射光线在传感器16与至少部分地具有反射性的层34和32之间反射，因此反射光线可会聚，使得次级图像比主图像小并且更为对焦。通过比较主图像和次级图像的尺寸、形状和相对聚焦程度(例如，哪个图像更为聚焦、以及聚焦程度)，可确定图像传感器16与对象之间的距离。无论对象是太靠近相机模块14而不在景深36内，还是距离相机模块14太远而不对焦，都可以执行这种类型的深度感测操作。
相机模块14内的光反射也可基于图像传感器16与至少部分地具有反射性的层32和/或34之间的距离d4来调制。一般来讲，传感器16与至少部分地具有反射性的层32/34之间的间隙(即，距离d4)越宽，主光线和反射光线在到达传感器16之前将扩散得越多，并且主图像和次级图像将越失焦(即，模糊)。在一个示例性实施方案中，距离d4可在相机模块14的设计和/或制造期间确定，并且可为固定距离。可(基于相机模块14的其他已知特性，诸如例如透镜18的焦距、入射到传感器16上的光的主光线角度、和/或传感器16和/或层32和34的反射率)确定该固定距离，以在相机模块14内提供所需的反射特性并产生可用于深度映射操作的主图像和次级图像。在另一个示例性实施方案中，距离d4可由用户(例如，使用输入-输出设备24)或在电子设备10上运行的软件实时调节。在该示例中，距离d4可基于相机模块14的已知特性(诸如例如透镜18的焦距、景深36、入射到传感器16上的光的主光线角度、和/或传感器16和/或层32和34的反射率)以及需要其深度信息的特定场景(例如，需要其深度信息的对象的位置、场景的亮度、正用于捕获图像的光圈设置等)来改变。
图3、图5和图7中的形成主图像42、52和62的主光线以及形成次级图像46、56和66的次级光线可为电磁光谱的可见光部分或红外光部分中的光。在一个示例性示例中，主图像和次级图像可为可见光图像。尽管来自主光线的仅相对少量的光(例如，1％、2.5％、3％、1％-5％、多于5％或其他合适值)可作为反射光线反射离开传感器16，但是当主光线和反射光线在光谱的可见光区部分时，次级图像56可在传感器16捕获的图像中为可见的。在这种情形下，可能期望的是，将滤波器(例如，基于软件的滤波器)应用到包括主图像数据和次级图像数据两者的图像数据，以便去除次级图像，从而防止该次级图像在用户查看图像时表现为不期望的伪影。
在另一个示例性示例中，主图像和次级图像可为红外光图像。因此，可能期望的是，红外截止滤波器32使较多的红外光(例如，2％的红外光、10％的红外光、50％的红外光、或其他合适百分比的入射到滤波器32上的红外光)通过，使得较多的红外光可用于形成用于确定场景中对象深度的主图像和次级图像。在相机模块14的设计和/或制造期间，可选择红外截止滤波器32通过或阻止的红外光量，或者可由用户调节该光量。如果需要，可完全省略红外截止滤波器32以允许红外光到达传感器16。在将红外光用于深度感测操作的布置中，可以执行处理操作以将响应于红外光生成的图像数据与响应于可见光生成的图像数据分离，从而防止响应于红外光生成的数据导致图像中产生不期望的视觉伪影。然后可将红外光图像数据用于深度感测操作，而将可见光图像数据用于生成数字图像(例如，用于呈现给用户)。
也可能期望的是，图像传感器16、红外截止滤波器32和/或界面层34反射较多的光，使得较多的光可用于形成次级图像。一般来讲，图像传感器16和红外截止滤波器32/界面层34的反射率可被选择成具有如下这样的反射特性：该反射特性优化或最大化入射到传感器16上以用于形成次级图像的反射光量。如果需要，可将具有特定反射特性的附加的反射性层定位在透镜18与图像传感器16之间，以调节形成次级图像的反射光线的反射。
在将红外光用于深度确定处理的布置中，可能期望的是，图像传感器16既具有可见光敏感度，又具有红外敏感度或近红外(NIR)敏感度。因此，图像传感器16可在像素阵列21上方包括可见光滤色器元件和红外滤色器元件68两者。图9示出了具有滤色器图案的示例性图像传感器，该滤色器图案可用于为图像传感器提供可见光敏感度和近红外敏感度两者。具有绿色滤色器元件的像素被标记为“G”，具有红色滤色器元件的像素被标记为“R”，具有蓝色滤色器元件的像素被标记为“B”，并且具有红外滤色器元件或近红外滤色器元件的像素被标记为“N”。被可见光(例如，红光、绿光、蓝光等)滤色器元件覆盖的像素可被称为可见光像素，并且被红外滤色器元件覆盖的像素可被称为红外光像素。图9的图案可包括可跨成像传感器中的像素阵列重复的4×4单元格。
在图9的滤色器图案中，百分之五十的像素是红外像素。如图所示，图9的图案可包括以相邻行和单个列分组在一起的两个像素(有时称为1×2或2×1布置)。这些1×2像素组有时可被称为子组。例如，图9的图案可包括子组70-1(具有两个绿色滤色器元件)、70-2(具有两个红外滤色器元件)、70-3(具有两个红色滤色器元件)、70-4(具有两个红外滤色器元件)、70-5(具有两个蓝色滤色器元件)、70-6(具有两个红外滤色器元件)、70-7(具有两个绿色滤色器元件)、和70-8(具有两个红外滤色器元件)。子组还可形成像素组(和滤色器元件组)。例如，子组70-1和子组70-2可形成第一组，子组70-3和子组70-4可形成第二组，子组70-5和子组70-6可形成第三组，并且子组70-7和子组70-8可形成第四组。换句话说，每组滤色器元件可以是4×4单元格的象限。如果需要，4×4单元格的每个象限可包括红外滤色器元件子组和可见光(例如，红色、绿色或蓝色)滤色器元件子组。
相对于仅提供可见光滤色器的布置，当红外滤色器元件设置在图像传感器16中的像素上方时，到达传感器16的像素的红外光量(以及因此可用于形成主图像和次级图像的红外光量)可增加。在一种合适布置中，红外滤色器元件可仅允许红外光通过(例如，红外光的主光线或红外光的反射光线)并到达传感器16。在另一种合适布置中，可见光滤色器可被配置为将红外光远离传感器反射回去。在被重新定向离开例如红外截止滤波器32之后，反射的红外光可穿过红外滤色器中的一个红外滤色器以到达传感器16。虽然图9中的可见光滤色器元件和红外滤色器元件的布置表示了一种可能的滤色器布局，但该布置仅仅是示例性的。一般来讲，可使用可见光滤色器元件和红外滤色器元件的任何合适布置来调制红外光到传感器16的像素的传递。
在一些情形下，可能期望的是，使用可控光源来照明要确定其深度信息的场景。在图10的示例性示例中，电子设备10包括光源72，该光源将光74发射到对象38、48和58(例如，图3、图5和图7中的对象)所在的场景中。光源72可为产生准直光的光源(本文中有时称为准直光源)，可发射使用一个或多个离散光束跨场景扫描的光(本文中有时称为扫描光源)，可为扫描光源和准直光源(本文中有时称为扫描准直光源)两者，可使用光源阵列以对应的点阵列来照明场景，可为以周期性间隔发射光的脉冲光源，或者可使用这些类型的光源的组合来照明场景。如果需要，光源72可仅发射特定波长或特定波长范围的光(例如，可仅发射850nm的红外光，可发射跨红外光谱的介于750nm和1000nm之间的光，可发射可发射可见光等)，这些光用于照明场景。
光源72的特性可被电子设备10已知或传达到该电子设备，以便在深度确定操作期间使用。例如，电子设备可将光源72的已知扫描图案或投影图案与相机模块14的其他已知特性(例如，焦距、光圈尺寸等)组合使用，以确定照明场景中的对象的深度。例如，来自光源72的准直光可预期基于该准直光与传感器16的距离而不同地反射离开对象。可利用与到达传感器16的光的这些类型的预定特性有关的信息来确定给定深度处对象的主光线和反射光线的预期路径，并且可有助于使深度检测操作更准确。
在光源72发射一个或多个特定波长的光的示例中，可仅使用反射离开场景中的对象并到达图像传感器16的特定波长的光来执行深度感测操作。通过仅监测用于深度感测操作的特定波长(而不是监测例如整个可见光谱或整个红外光谱)，识别主图像和次级图像，该主图像和该次级图像在传感器上的相对位置以及该主图像和该次级图像的相对聚焦程度可变得更容易。这当然仅仅是示例性的。可使用来自光源72的一种或多种波长的光的组合、来自环境的环境光与来自光源72的光的组合、或来自其他合适源的到达传感器16的光，来执行深度感测操作。在一些情形下，场景的明亮部分(例如，汽车前照灯、照明灯、高反射性对象等)可以是场景的执行深度感测操作的特别好的部分。由于来自这些源的相对大量的光到达传感器16，因此用于形成次级图像的反射光量可大于用于场景的正常或暗部分的反射光量。
图11中示出了可用于执行深度感测操作的电子设备10的示例性部件的框图。如图11所示，深度感测操作可以光源72开始，该光源将光发射到需要其深度信息的场景中(如上文结合图10所述)。然而，这是任选的。光源72不需要用于照明场景。可使用反射离开场景中的对象的环境光或场景中对象自身发射的并且到达图像传感器16的光(例如，汽车前照灯、照明灯等)来执行深度感测操作，如上文结合图3至图8所述。
无论源为何，来自场景的光都会作为直接入射到图像传感器16上并且被像素检测到的主光线，以及作为反射离开传感器16内的内部结构并且最终被像素检测到的次级光线，到达图像传感器16。主光线和次级光线在传感器16上形成主图像和次级图像。由传感器16为主图像生成的图像数据可被称为主图像数据，并且由传感器16为次级图像生成的图像数据可被称为次级图像数据。
一般来讲，主图像数据和次级图像数据将仅被捕获的场景的整个图像的图像数据的部分。例如，主图像数据可对应于场景中的给定对象，并且次级图像数据可对应于来自场景中的对象的光的有限部分，该有限部分反射离开传感器16中的内部结构以形成次级图像。由于传感器上的形成次级图像的任何位置也接收来自场景的直接入射到传感器上的该部分上的其他光，因此次级图像数据可与其他图像数据混合(例如，被其他图像数据模糊)。为了使电子设备10识别用于比较和深度确定操作的主图像和次级图像，可能需要专门的图像处理(例如，专门的硬件和/或软件)。
深度映射电路76(该深度映射电路可为图像处理和数据格式化电路20、存储和处理电路26或成像系统12或主机子系统22中的分立部件或部件组的一部分)可用于从图像传感器16收集的所有图像数据识别主图像数据和次级图像数据并基于主图像数据和次级图像数据确定场景中对象的深度信息。例如，深度映射电路可对图像数据执行自相关操作以检测主图像和次级图像(例如，深度映射电路76可包括自相关器)，可对图像数据执行光谱分析以识别主图像和次级图像(例如，深度映射电路76可包括光谱分析仪)，可使用关于光源72的已知信息(例如，波长、发射图案等)来识别主图像和次级图像(例如，深度映射电路76可包括光源分析仪)，或者可对来自图像传感器16的图像数据执行其他类型的分析以便识别主图像数据和次级图像数据并确定深度信息。深度映射电路76在本文中可被称为深度确定引擎、深度处理器、距离映射电路或测距电路。
深度映射电路还可使用相机模块14的已知特性(诸如例如透镜18的焦距、景深36、入射到传感器16上的光的主光线角度、和/或传感器16和/或层32和34的反射率)以及关于需要其深度信息的特定场景的已知信息(例如，需要其深度信息的对象的位置、场景的亮度、正用于捕获图像的光圈尺寸等)来识别主图像和次级图像。
一旦已识别主图像和次级图像，深度映射电路76便可比较主图像数据和次级图像数据，以确定场景中的对象(例如，主光线和次级光线所源自的对象)的深度。例如，深度映射电路76可能能够分析主图像数据和次级图像数据，以确定次级图像相对于主图像的失焦程度、主图像相对于次级图像的尺寸，和/或在主图像数据与次级图像数据之间进行其他比较以确定对象与图像传感器16之间的距离。在处理主图像数据和次级图像数据之后，深度映射电路76可针对场景中的一个或多个对象输出深度信息。
在一个示例性布置中，深度映射电路76可将深度信息提供到辅助处理器78以供进一步处理或使用。例如，辅助处理器78可为利用来自深度映射电路76的深度信息来执行机器视觉任务(例如，当驾驶员的车辆太靠近某个对象时警告车辆的该驾驶员、控制需要控制部件放置深度的自动化组装步骤等)的机器视觉处理器。
另选地或除了使用来自深度映射电路76的深度信息进行自动化处理之外，可能期望的是，将生成深度信息时所依据的图像数据提供到用户以供查看。例如，包括主图像数据和次级图像数据的图像数据可包括对于车辆中备份相机的用户、对于安全相机所捕获的图像的观察者、或者对于其他可能的应用有用的图像数据。由于次级图像数据是响应于在传感器16内反射的光而生成的，因此对于包含次级图像数据的图像的观察者，次级图像可表现为不期望的视觉伪影。当次级图像是可见光的产物时，可能尤其如此。为了提供不含视觉伪影的图像，但同时又仍使用次级图像数据来进行深度映射，可在提取深度信息之后从图像去除次级图像。
如图11所示，可将次级图像滤波器80(例如，基于软件的图像滤波器或其他电子实现的图像滤波器)应用到图像数据以去除次级图像。由于深度映射电路76已经识别次级图像数据，因此次级图像滤波器80可仅去除次级图像数据，同时保留主图像数据以及来自场景的图像数据的其余部分。然而，如果需要，次级图像滤波器80可基于生成次级图像的光的波长、基于次级图像中焦点的缺乏、或者基于次级图像的其他特性来滤除次级图像。
在已去除了次级图像数据之后，可将场景的图像(包括主图像和图像数据的未被次级图像滤波器80去除的其余部分)在显示器82上提供到用户。这样，图像传感器16所捕获的单个图像既可用于深度感测，又可用于被用户查看，而不呈现不利于查看体验的不期望的视觉伪影。
图12中示出了在使用自相关确定深度信息时可执行的步骤的示例性流程图。
在步骤84处，图像数据(例如，场景的图像)被图像传感器16捕获。图像数据可包括响应于来自场景中对象的光而生成的主图像数据、响应于来自该对象的反射光而生成的次级图像数据、以及响应于来自场景中其余部分(例如，来自场景的除该对象之外的部分)的光而生成的其他图像数据。
在步骤86处，深度映射电路76可分析在步骤84处生成的图像数据以确定图像数据的不同部分之间是否存在自相关。一般来讲，自相关检测操作用于检测图像数据的彼此相关(即，具有类似的特性)的部分。在例如上文结合图3至图8所述的示例性示例中，深度映射电路可对图像的包括主图像和次级图像的部分执行自相关检测操作。由于主图像是响应于来自对象的直接入射到图像传感器上的光而生成的，并且次级图像是响应于该相同的光的反射而生成的，因此主图像和次级图像将具有类似的特性(例如，波长分布、图像的特定部分的形状和尺寸等)。换句话说，主图像数据和次级图像数据将是自相关的。在确定了图像数据的两个部分是自相关的之后，深度映射电路可将该两个部分识别为主图像和次级图像对。然后，深度映射电路可继续使用主图像和次级图像所特定的图像数据来执行深度映射操作。
在步骤88处，深度映射电路76可将主图像数据与次级图像数据进行比较以确定与次级图像相对于主图像的偏移有关的信息。在一个示例性示例中，深度映射电路76可将主图像与次级图像之间的自相关程度用作偏移的一个量度。一般来讲，主图像与次级图像的自相关越大，该主图像与该次级图像之间的偏移程度越低，而主图像与次级图像的自相关越小，该主图像与该次级图像之间的偏移程度越高。如果需要，深度映射电路76可确定次级图像相对于第一图像的偏移程度(如例如在像素或子像素单元中测得)，可确定偏移的方向，可确定主图像和次级图像的失焦程度(例如，确定主图像和次级图像的相对模糊度)，或者可以其他方式比较主图像和次级图像。比较主图像数据和次级图像数据可提供与被捕获为主图像和次级图像的对象的深度有关的信息。
在步骤90处，深度映射电路76可基于在步骤88处确定的偏移信息、相机模块14的其他已知特性、以及图像被捕获时的个别情形，来确定对象的深度信息。偏移信息可包括上文结合步骤88所述的类型的信息。相机模块14的已知特性以及图像捕获的情形可包括透镜18的焦距、景深36、入射到传感器16上的光的主光线角度、传感器16和/或层32和34的反射率、传感器16与反射性结构之间的距离d4的长度、需要其深度信息的对象的位置、场景的亮度、用于捕获图像的光圈尺寸以及其他因素。基于该信息，深度映射电路可计算或估计图像传感器16(或相机模块14的另一个部件)与对象之间的距离(例如，图3、图5和图7中的d1、d2和/或d3)。该距离可以任何合适长度单位(例如，毫米、厘米、米、英寸、英尺、码等)来测量。这样，深度映射操作可提供与场景中对象的位置有关的有用信息。
图13中示出了在使用光谱分析确定深度信息时可执行的步骤的示例性流程图。
在步骤92处，图像数据(例如，场景的图像)被图像传感器16捕获。图像数据可包括响应于来自场景中对象的光而生成的主图像数据、响应于来自该对象的反射光而生成的次级图像数据、以及响应于来自场景中其余部分(例如，来自场景的除该对象之外的部分)的光而生成的其他图像数据。
在步骤94处，深度映射电路76可从主图像和次级图像提取亮度信息。亮度信息可包括与传感器16上的主图像和次级图像的位置对应的像素的独立输出值。
在任选步骤96处，可补偿基于图像传感器16与至少部分地具有反射性的结构32和/或34之间的间隙的宽度d4的光学差异。例如，d4的大宽度可导致主图像和次级图像高度失真和/或模糊。在最终将向用户显示主图像、次级图像或它们两者的情况下，可能期望的是，补偿大宽度d4导致的失真。在一个示例性示例中，这可通过基于透镜18的已知特性执行校准操作来实现。由于这种类型的补偿可仅在大间隙宽度d4时并且/或者在将要向用户显示图像时才是必要的，因此步骤96是任选的，并且如果需要，可以被省略。
在步骤98处，深度映射电路76可为主图像中的每个像素以及次级图像中的每个像素执行局部亮度光谱分析。可通过将多分辨率高斯低通滤波器应用到每个像素的亮度输出并查看每个像素处得到的响应，由深度映射电路76或电子设备10中的其他硬件来执行局部亮度光谱分析。
在步骤100处，深度映射电路76可通过选择每个像素处的最大相对亮度频率响应来确定每个像素处的单个主亮度频率。在一些情形下(例如，在计算精确的深度测量时)，可能有必要内插相对亮度频率响应以确定分数最大相对亮度频率响应。
在步骤102处，深度映射电路76可通过比较主图像和次级图像的(分数)最大相对亮度频率响应的比率来确定给定像素位置处的对象的深度。给定像素位置处主图像和次级图像的最大相对亮度频率响应之间的比率确定给定像素位置处的对象的深度。
一般来讲，当相机模块14具有相对深的景深36时，可优选使用上文结合图12所述的自相关操作来确定深度信息。当相机模块14具有相对浅的景深36时，可优选使用上文结合图13所述的光谱分析操作来确定深度信息。然而，这仅仅是示例性的。如果需要，图12和图13的操作可用于为使用具有任何景深的相机模块14捕获的图像执行深度映射操作。
根据一个实施方案，成像系统可包括：透镜；图像传感器，该图像传感器包括生成图像数据的像素阵列；至少部分地具有反射性的中间层，该中间层插置在透镜与图像传感器之间；红外截止滤波器，该红外截止滤波器插置在中间层与透镜之间，其中来自对象的光穿过透镜、红外截止滤波器和中间层以到达图像传感器，光的第一部分被像素阵列捕获以生成主图像，并且光的第二部分朝中间层反射离开图像传感器、反射离开中间层朝图像传感器反射回去并被像素阵列捕获以生成不同于主图像的次级图像；和深度映射电路，该深度映射电路检测主图像和次级图像并将主图像与次级图像进行比较以确定成像系统与对象之间的距离。
根据另一个实施方案，成像系统具有景深，该对象在成像系统的景深之外，并且主图像是具有第一尺寸的第一模糊点。
根据另一个实施方案，次级图像是具有大于第一尺寸的第二尺寸的第二模糊点，并且深度映射电路基于第一模糊点的第一尺寸和第二模糊点的第二尺寸确定成像系统与对象之间的距离。
根据另一个实施方案，深度映射电路将自相关检测操作应用到图像数据以检测主图像和次级图像并确定成像系统与对象之间的距离。
根据另一个实施方案，深度映射电路将光谱分析应用到图像数据以检测主图像和次级图像并确定成像系统与对象之间的距离。
根据另一个实施方案，光的第一部分和第二部分是可见光。
根据另一个实施方案，成像系统还可包括处理电路，该处理电路将滤波器应用到图像数据以在深度映射电路确定成像系统与对象之间的距离之后从图像数据去除次级图像。
根据另一个实施方案，在已去除了次级图像之后，处理电路向用户显示图像数据。
根据另一个实施方案，光的第一部分和第二部分是红外光。
根据另一个实施方案，间隙将中间层与图像传感器分离，并且间隙的宽度是可调节的。
根据一个实施方案，成像系统可包括：透镜；图像传感器，该图像传感器捕获场景的图像；反射性层，该反射性层插置在透镜与图像传感器之间；和深度处理电路，该深度处理电路基于反射离开反射性层并且反射到图像传感器上的光来确定场景的深度信息。
根据另一个实施方案，图像传感器可包括具有可见光滤色器和红外滤色器的滤色器层，并且反射离开反射性层并反射到图像传感器上的光穿过红外滤色器并被可见光滤色器阻止。
根据另一个实施方案，成像系统还可包括照明场景的光源。反射离开反射性层并反射到图像传感器上的光可由光源生成，并且可反射离开被光源照明的场景中的对象。
根据另一个实施方案，光源为选自由以下项构成的组的光源：扫描准直光源和脉冲光源。
根据另一个实施方案，图像传感器从入射到图像传感器上的主光线捕获场景中对象的主图像，主光线的一部分作为次级光线反射离开图像传感器，次级光线是反射离开反射性层并反射到图像传感器上的光，图像传感器从反射离开反射性层并反射到图像传感器上的光捕获场景中对象的次级图像，并且深度处理电路通过基于主图像和次级图像确定成像系统与对象之间的距离来确定场景的深度信息。
根据一个实施方案，操作包括图像传感器、反射性层和深度确定引擎的成像系统的方法可包括：使用图像传感器捕获场景的图像数据，其中图像数据包括响应于直接入射到图像传感器上的光而生成的主图像数据以及响应于反射离开图像传感器、反射离开反射性层并反射回到图像传感器上的光而生成的次级图像数据；以及使用深度确定引擎，通过将主图像数据与次级图像数据进行比较来确定场景的深度信息。
根据另一个实施方案，该方法还可包括使用深度确定引擎对图像数据执行自相关操作以识别主图像数据和次级图像数据并确定深度信息。
根据另一个实施方案，该方法还可包括使用深度确定引擎对图像数据执行光谱分析操作以识别主图像数据和次级图像数据并确定深度信息。
根据另一个实施方案，该方法还可包括对图像数据进行滤波以去除次级图像数据，同时保留主图像数据并向用户显示经滤波的图像数据。
根据另一个实施方案，该方法还可包括将场景的深度信息提供到机器视觉处理器。
前述内容仅仅是对本发明原理的示例性说明，并且本领域技术人员可以进行多种修改。前述实施方案可单独实施或以任意组合方式实施。

Claims (10)

1.一种成像系统，其特征在于，包括：
透镜；
图像传感器，所述图像传感器包括生成图像数据的像素阵列；
至少部分地具有反射性的中间层，所述中间层插置在所述透镜与所述图像传感器之间；
红外截止滤波器，所述红外截止滤波器插置在所述中间层与所述透镜之间，其中，来自对象的光穿过所述透镜、所述红外截止滤波器和所述中间层以到达所述图像传感器，其中，所述光的第一部分被所述像素阵列捕获以生成主图像，并且其中，所述光的第二部分朝所述中间层反射离开所述图像传感器、离开所述中间层朝所述图像传感器反射回去并被所述像素阵列捕获以生成不同于所述主图像的次级图像；和
深度映射电路，所述深度映射电路检测所述主图像和所述次级图像并将所述主图像与所述次级图像进行比较以确定所述成像系统与所述对象之间的距离。
2.根据权利要求1所述的成像系统，其中，所述成像系统具有景深，其中，所述对象在所述成像系统的所述景深之外，其中，所述主图像是具有第一尺寸的第一模糊点，其中，所述次级图像是具有大于所述第一尺寸的第二尺寸的第二模糊点，并且其中，所述深度映射电路基于所述第一模糊点的所述第一尺寸和所述第二模糊点的所述第二尺寸确定所述成像系统与所述对象之间的所述距离。
3.根据权利要求1所述的成像系统，其中，所述深度映射电路将自相关检测操作应用到所述图像数据以检测所述主图像和所述次级图像并确定所述成像系统与所述对象之间的所述距离。
4.根据权利要求1所述的成像系统，其中，所述深度映射电路将光谱分析应用到所述图像数据以检测所述主图像和所述次级图像并确定所述成像系统与所述对象之间的所述距离。
5.根据权利要求1所述的成像系统，其中，所述光的所述第一部分和所述第二部分是可见光。
6.根据权利要求5所述的成像系统，还包括：
处理电路，所述处理电路将滤波器应用到所述图像数据以在所述深度映射电路确定所述成像系统与所述对象之间的所述距离之后从所述图像数据去除所述次级图像，其中，在已去除了所述次级图像之后，所述处理电路向用户显示所述图像数据。
7.根据权利要求1所述的成像系统，其中，所述光的所述第一部分和所述第二部分是红外光。
8.根据权利要求1所述的成像系统，其中，间隙将所述中间层与所述图像传感器分离，并且所述间隙的宽度是可调节的。
9.一种成像系统，其特征在于，包括：
透镜；
图像传感器，所述图像传感器捕获场景的图像；
反射性层，所述反射性层插置在所述透镜与所述图像传感器之间；和
深度处理电路，所述深度处理电路基于反射离开所述反射性层并且反射到所述图像传感器上的光来确定所述场景的深度信息。
10.一种操作包括图像传感器、反射性层和深度确定引擎的成像系统的方法，其特征在于，所述方法包括：
使用所述图像传感器捕获场景的图像数据，其中，所述图像数据包括主图像数据和次级图像数据，所述主图像数据响应于直接入射到所述图像传感器上的光而生成，所述次级图像数据响应于反射离开所述图像传感器、反射离开所述反射性层并且反射回到所述图像传感器上的光而生成；以及
使用所述深度确定引擎，通过将所述主图像数据与所述次级图像数据进行比较来确定所述场景的深度信息。
CN201910531935.5A 2018-06-29 2019-06-19 具有深度检测的成像系统及操作该成像系统的方法 Pending CN110661940A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US16/023,077 2018-06-29
US16/023,077 US10609361B2 (en) 2018-06-29 2018-06-29 Imaging systems with depth detection

Publications (1)

Publication Number Publication Date
CN110661940A true CN110661940A (zh) 2020-01-07

Family

ID=69007691

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910531935.5A Pending CN110661940A (zh) 2018-06-29 2019-06-19 具有深度检测的成像系统及操作该成像系统的方法

Country Status (2)

Country Link
US (1) US10609361B2 (zh)
CN (1) CN110661940A (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10798332B1 (en) * 2020-02-20 2020-10-06 Varjo Technologies Oy Dual pass-through imaging system and method
US11935295B2 (en) * 2020-06-01 2024-03-19 The Regents Of The University Of Michigan Scene caching for video capture data reduction
US11200458B1 (en) 2020-06-15 2021-12-14 Bank Of America Corporation System for integration of a hexagonal image processing framework within a technical environment

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH05275668A (ja) * 1992-03-25 1993-10-22 Hitachi Ltd 固体撮像装置
CN1959341A (zh) * 2006-11-17 2007-05-09 中国科学院上海光学精密机械研究所 单孔径多重成像的光学成像测距装置
JP2007201536A (ja) * 2006-01-23 2007-08-09 Canon Inc 撮像装置
JP2008054206A (ja) * 2006-08-28 2008-03-06 Matsushita Electric Ind Co Ltd ゴースト検出装置およびその関連技術
CN101971339A (zh) * 2007-12-28 2011-02-09 郑苍隆 用于图像传感器的光导阵列
CN103163710A (zh) * 2011-12-09 2013-06-19 全视科技有限公司 用于数码相机的具有红色吸收层的红外截止滤波器
CN105321159A (zh) * 2014-07-29 2016-02-10 宏达国际电子股份有限公司 手持式电子装置、图像提取装置及景深信息的获取方法
CN105578019A (zh) * 2014-08-15 2016-05-11 光宝科技股份有限公司 一种可获得深度信息的影像提取系统与对焦方法
US20160165108A1 (en) * 2014-12-09 2016-06-09 Samsung Electro-Mechanics Co., Ltd. Camera module

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9070902B2 (en) * 2008-12-05 2015-06-30 Koninklijke Philips N.V. Patterned LED device, method of generating a patterning, system and method of calibrating the system
US8971612B2 (en) * 2011-12-15 2015-03-03 Microsoft Corporation Learning image processing tasks from scene reconstructions
US9244158B2 (en) 2012-02-27 2016-01-26 Mitsubishi Electric Research Laboratories, Inc. Depth sensing using active coherent signals
WO2014011241A2 (en) * 2012-04-30 2014-01-16 Zuk David M System and method for scan range gating
US9733297B2 (en) * 2013-02-19 2017-08-15 Hamamatsu Photonics K.K. Electric field concentration location observation device and electric field concentration location observation method
US9407837B2 (en) 2013-02-28 2016-08-02 Google Inc. Depth sensor using modulated light projector and image sensor with color and IR sensing
US9992469B2 (en) * 2014-06-24 2018-06-05 Hitachi Maxell, Ltd. Imaging processing device and imaging processing method
JP6144425B2 (ja) * 2014-07-15 2017-06-07 ブリルニクス インク 固体撮像装置、固体撮像装置の製造方法、および電子機器
US9393901B2 (en) * 2014-07-21 2016-07-19 Kostal Of America Turn signal systems and methods
US20170230638A1 (en) * 2015-02-26 2017-08-10 Dual Aperture International Co. Ltd. Depth Measurement Techniques for a Multi-Aperture Imaging System
CN108369639B (zh) * 2015-12-11 2022-06-21 虞晶怡 使用多相机和深度相机阵列的基于图像的图像渲染方法和系统
CN105516563A (zh) * 2015-12-15 2016-04-20 三星半导体(中国)研究开发有限公司 晶圆级照相模块
US9924866B2 (en) 2016-01-11 2018-03-27 Heptagon Micro Optics Pte. Ltd. Compact remote eye tracking system including depth sensing capacity
US10362429B2 (en) * 2016-04-28 2019-07-23 California Institute Of Technology Systems and methods for generating spatial sound information relevant to real-world environments
CN114795151A (zh) * 2016-06-30 2022-07-29 松下知识产权经营株式会社 方法及系统
CN206698329U (zh) * 2016-11-08 2017-12-01 聚晶半导体股份有限公司 摄像模块和摄像装置

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH05275668A (ja) * 1992-03-25 1993-10-22 Hitachi Ltd 固体撮像装置
JP2007201536A (ja) * 2006-01-23 2007-08-09 Canon Inc 撮像装置
JP2008054206A (ja) * 2006-08-28 2008-03-06 Matsushita Electric Ind Co Ltd ゴースト検出装置およびその関連技術
CN1959341A (zh) * 2006-11-17 2007-05-09 中国科学院上海光学精密机械研究所 单孔径多重成像的光学成像测距装置
CN101971339A (zh) * 2007-12-28 2011-02-09 郑苍隆 用于图像传感器的光导阵列
CN103163710A (zh) * 2011-12-09 2013-06-19 全视科技有限公司 用于数码相机的具有红色吸收层的红外截止滤波器
CN105321159A (zh) * 2014-07-29 2016-02-10 宏达国际电子股份有限公司 手持式电子装置、图像提取装置及景深信息的获取方法
CN105578019A (zh) * 2014-08-15 2016-05-11 光宝科技股份有限公司 一种可获得深度信息的影像提取系统与对焦方法
US20160165108A1 (en) * 2014-12-09 2016-06-09 Samsung Electro-Mechanics Co., Ltd. Camera module

Also Published As

Publication number Publication date
US20200007853A1 (en) 2020-01-02
US10609361B2 (en) 2020-03-31

Similar Documents

Publication Publication Date Title
US9224782B2 (en) Imaging systems with reference pixels for image flare mitigation
US9615030B2 (en) Luminance source selection in a multi-lens camera
JP6179827B2 (ja) フォーカス信号を生成する方法
US10084974B2 (en) Ambient infrared detection in solid state sensors
CN105306786B (zh) 用于具有相位检测像素的图像传感器的图像处理方法
KR102040368B1 (ko) 하이퍼스펙트럴 이미지 센서와 이를 이용한 3차원 스캐너
US7460160B2 (en) Multispectral digital camera employing both visible light and non-visible light sensing on a single image sensor
KR101442313B1 (ko) 카메라 센서 교정
US8427632B1 (en) Image sensor with laser for range measurements
US9432568B2 (en) Pixel arrangements for image sensors with phase detection pixels
US9638575B2 (en) Measuring apparatus, measuring system, and measuring method
US20020025164A1 (en) Solid-state imaging device and electronic camera and shading compensation method
US20120013760A1 (en) Characterization of image sensors
US10419664B2 (en) Image sensors with phase detection pixels and a variable aperture
KR20170015160A (ko) 선택적 적외선 필터 어레이를 갖는 센서 어셈블리
US11747533B2 (en) Spectral sensor system using optical filter subarrays
CN110661940A (zh) 具有深度检测的成像系统及操作该成像系统的方法
US10212401B2 (en) Image generation device and imaging device
US20060125945A1 (en) Solid-state imaging device and electronic camera and shading compensaton method
US20200111193A1 (en) Image acquisition using time-multiplexed chromatic illumination
US9497427B2 (en) Method and apparatus for image flare mitigation
US11696043B2 (en) White balance compensation using a spectral sensor system
JP2014504375A (ja) オートフォーカス画像システム
EP4300936A1 (en) Image sensor, image data acquisition method and imaging device
US11079277B2 (en) Spectral imaging device and method

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20200107