CN114270803A - 相位检测自动聚焦(pdaf)传感器 - Google Patents

相位检测自动聚焦(pdaf)传感器 Download PDF

Info

Publication number
CN114270803A
CN114270803A CN202080058900.5A CN202080058900A CN114270803A CN 114270803 A CN114270803 A CN 114270803A CN 202080058900 A CN202080058900 A CN 202080058900A CN 114270803 A CN114270803 A CN 114270803A
Authority
CN
China
Prior art keywords
depth data
pixels
depth
sensor
infrared
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202080058900.5A
Other languages
English (en)
Inventor
M·加洛尔格卢斯金
B-C·赫塞
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Qualcomm Inc
Original Assignee
Qualcomm Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Qualcomm Inc filed Critical Qualcomm Inc
Publication of CN114270803A publication Critical patent/CN114270803A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/491—Details of non-pulse systems
    • G01S7/4912—Receivers
    • G01S7/4913—Circuits for detection, sampling, integration or read-out
    • G01S7/4914—Circuits for detection, sampling, integration or read-out of detector arrays, e.g. charge-transfer gates
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S11/00—Systems for determining distance or velocity not using reflection or reradiation
    • G01S11/12—Systems for determining distance or velocity not using reflection or reradiation using electromagnetic waves other than radio waves
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06—Systems determining position data of a target
    • G01S17/08—Systems determining position data of a target for measuring distance only
    • G01S17/32—Systems determining position data of a target for measuring distance only using transmission of continuous waves, whether amplitude-, frequency-, or phase-modulated, or unmodulated
    • G01S17/36—Systems determining position data of a target for measuring distance only using transmission of continuous waves, whether amplitude-, frequency-, or phase-modulated, or unmodulated with phase comparison between the received signal and the contemporaneously transmitted signal
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06—Systems determining position data of a target
    • G01S17/42—Simultaneous measurement of distance and other co-ordinates
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06—Systems determining position data of a target
    • G01S17/46—Indirect determination of position data
    • G01S17/48—Active triangulation systems, i.e. using the transmission and reflection of electromagnetic waves other than radio waves
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • G01S17/894—3D imaging with simultaneous measurement of time-of-flight at a 2D array of receiver pixels, e.g. time-of-flight cameras or flash lidar
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B13/00—Viewfinders; Focusing aids for cameras; Means for focusing for cameras; Autofocus systems for cameras
    • G03B13/32—Means for focusing
    • G03B13/34—Power focusing
    • G03B13/36—Autofocus systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/521—Depth or shape recovery from laser ranging, e.g. using interferometry; from the projection of structured light
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/593—Depth or shape recovery from multiple images from stereo images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/66—Remote control of cameras or camera parts, e.g. by remote control devices
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/66—Remote control of cameras or camera parts, e.g. by remote control devices
    • H04N23/663—Remote control of cameras or camera parts, e.g. by remote control devices for controlling interchangeable camera parts based on electronic image sensor signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/67—Focus control based on electronic image sensor signals
    • H04N23/671—Focus control based on electronic image sensor signals in combination with active ranging signals, e.g. using light or sound signals emitted toward objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/67—Focus control based on electronic image sensor signals
    • H04N23/672—Focus control based on electronic image sensor signals based on the phase difference signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/703—SSIS architectures incorporating pixels for producing signals other than image signals
    • H04N25/704—Pixels specially adapted for focusing, e.g. phase difference pixel sets
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/76—Addressed sensors, e.g. MOS or CMOS sensors
    • H04N25/77—Pixel circuitry, e.g. memories, A/D converters, pixel amplifiers, shared circuits or shared components
    • H04N25/778—Pixel circuitry, e.g. memories, A/D converters, pixel amplifiers, shared circuits or shared components comprising amplifiers shared between a plurality of pixels, i.e. at least one part of the amplifier must be on the sensor array itself
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/30—Transforming light or analogous information into electric information
    • H04N5/33—Transforming infrared radiation
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/86—Combinations of lidar systems with systems other than lidar, radar or sonar, e.g. with direction finders
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10048—Infrared image

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Electromagnetism (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Optics & Photonics (AREA)
  • Measurement Of Optical Distance (AREA)

Abstract

各个实施例针对一种包括红外相位检测自动聚焦(PDAF)传感器的设备。该设备可以包括投射器，其被配置为将源光发送到场景上。该设备可以包括红外PDAF传感器，其被配置为接收源光从场景内的对象的反射。红外PDAF传感器可以包括第一像素集合，第一像素集合包括聚焦像素。该设备可以包括耦合到红外PDAF传感器和存储器的处理器。处理器可以被配置为：基于源光的所接收的反射来生成第一深度数据。处理器可以被配置为基于聚焦像素的对应对来生成第二深度数据。处理器可以被配置为：基于第一深度数据和第二深度数据来生成组合深度数据。

Description

相位检测自动聚焦(PDAF)传感器
要求优先权
本申请要求享受以下申请的优先权：于2020年8月26日递交的、名称为“PHASEDETECTION AUTOFOCUS(PDAF)SENSOR”的美国专利申请No.17/003,807；于2019年8月30日递交的、名称为“PDAF SENSOR”的序列号为62/893,982的美国临时专利申请，据此将上述申请的全部内容通过引用的方式并入。
技术领域
本公开内容涉及光学传感器，并且具体地，本公开内容涉及相位检测自动聚焦(PDAF)传感器。
背景技术
设备可以使用不同的深度感测或深度测距系统来确定其周围的距离。深度感测系统可以包括主动深度系统和/或被动深度系统。主动深度系统包括结构光系统、飞行时间(TOF)系统等。被动深度系统包括立体声或多相机系统等。与其它深度感测系统相比，不同的深度感测系统中的每一者都具有优势和局限性。例如，发送红外(IR)或近红外(NIR)光的主动深度系统在低可见光条件下良好地工作，但是在明亮的室外条件下可能由于环境光而遭受噪声。消费者主动深度系统越来越多地承担着用于诸如生物计量安全之类的应用的室外操作的任务。深度系统可以在窄带内进行发送，并且由于阳光而导致的任何不期望的带外泄漏可能降低信噪比，这使得深度结果降级。替代地，被动深度系统在日光下良好地工作，但是在低光条件下或平坦和/或无纹理区域下不能良好地工作。各种深度感测系统的额外限制可能包括校准要求和尺寸。例如，对于主动深度系统和结构光需要校准，而立体声系统包括宽设备尺寸，因为发送器和传感器之间和/或传感器之间需要宽基线。
发明内容
本公开内容描述了包括聚焦像素的红外传感器的各个实施例。
各个实施例可以包括一种设备，其包括投射器和红外相位检测自动聚焦(PDAF)传感器。所述投射器可以被配置为将源光发送到场景上。所述红外PDAF传感器可以被配置为接收所述源光从所述场景内的对象的反射。所述设备可以包括存储器和处理器。所述处理器可以耦合到所述红外PDAF传感器和所述存储器。所述处理器可以被配置为：基于所述源光的所接收的反射来生成第一深度数据；基于所述红外PDAF传感器的聚焦像素来生成第二深度数据；以及基于所述第一深度数据和所述第二深度数据来生成组合深度数据。
在一些方面中，所述红外PDAF传感器可以包括多个像素。所述多个像素可以包括第一像素集合，所述第一像素集合包括所述聚焦像素。所述多个像素可以包括第二像素集合，所述第二像素集合包括窄带滤波器。所述第一像素集合的至少子集可以包括所述窄带滤波器。
在一些方面中，生成所述第二深度数据可以是基于确定的在从对应的聚焦像素对而生成的信号之间的差异的。
在一些方面中，所述红外PDAF传感器可以包括一个或多个滤波器。所述一个或多个滤波器可以包括一个或多个窄带滤波器。所述一个或多个滤波器可以包括一个或多个滤色器。所述一个或多个滤波器可以被机械地控制以在所述红外PDAF传感器的一个或多个像素上方移动。
在一些方面中，所述红外PDAF传感器可以被包括在主动深度系统内。所述第一深度数据可以是基于所述主动深度系统来生成的。
在一些方面中，所述源光可以包括红外光。在一些方面中，所述源光可以包括图案。所述图案可以包括结构化图案。在一些方面中，所述源光可以包括泛洪图案。
在一些方面中，生成所述组合深度数据可以包括：基于与所述第一深度数据相关联的所述第一置信度值集合和与所述第二深度数据相关联的所述第二置信度值集合，来对所述第一深度数据的一部分和所述第二深度数据的一部分进行组合。
在一些方面中，基于与所述第一深度数据相关联的所述第一置信度值集合和与所述第二深度数据相关联的所述第二置信度值集合，来对所述第一深度数据的所述一部分和所述第二深度数据的所述一部分进行组合可以包括：将与所述第一深度数据相关联的所述第一置信度值集合中的第一置信度值同与所述第二深度数据相关联的所述第二置信度值集合中的对应第二置信度值进行比较；基于所述比较来确定所述第一置信度值和所述第二置信度值之间的较高置信度值；以及选择与所述较高置信度值相关联的深度值，以包括在所述组合深度数据中。
在一些方面中，基于与所述第一深度数据相关联的所述第一置信度值集合和与所述第二深度数据相关联的所述第二置信度值集合，来对所述第一深度数据的所述一部分和所述第二深度数据的所述一部分进行组合可以包括：将第一权重分配给与所述第一深度数据相关联的所述第一置信度值集合中的第一置信度值相关联的第一深度值；将第二权重分配给和与所述第二深度数据相关联的所述第二置信度值集合中的对应第二置信度值相关联的对应第二深度值，其中，所述第一权重与所述第一置信度值成比例，并且所述第二权重与所述第二置信度值成比例；以及选择与所述第一深度数据相关联的第一加权深度值和与所述第二深度数据相关联的第二加权深度值，以包括在所述组合深度数据中。
在另一方面中，公开了一种方法。所述方法可以包括：基于包括红外相位检测自动聚焦(PDAF)传感器的主动深度系统来生成第一深度数据。所述方法还可以包括：基于被包括在所述红外PDAF传感器内的的聚焦像素来生成第二深度数据。所述方法还可以包括：基于所述第一深度数据和所述第二深度数据来生成组合深度数据。
在另一方面中，公开了一种非暂时性计算机可读存储介质。所述非暂时性计算机可读存储介质可以在其上存储指令，所述指令在被执行时使得一个或多个处理器进行以下操作：基于包括红外相位检测自动聚焦(PDAF)传感器的主动深度系统来生成第一深度数据；基于被包括在所述红外PDAF传感器内的的聚焦像素来生成第二深度数据；以及基于所述第一深度数据和所述第二深度数据来生成组合深度数据。
在另外的方面中，公开了一种设备。所述设备可以包括：用于基于包括红外相位检测自动聚焦(PDAF)传感器的主动深度系统来生成第一深度数据的单元。所述设备可以包括：用于基于被包括在所述红外PDAF传感器内的的聚焦像素来生成第二深度数据的单元。所述设备还可以包括：用于基于所述第一深度数据和所述第二深度数据来生成组合深度数据的单元。
在附图和以下说明书中阐述了一个或多个示例的细节。根据说明书、附图和权利要求，其它特征、目的和优势将是显而易见的。
附图说明
图1是示出设备和包括设备的视场的场景的示例图。
图2是示例结构光系统的描绘。
图3A是示例飞行时间(TOF)系统的描绘。
图3B-3D描绘了具有示例PDAF架构的示例TOF解调像素的电路。
图3E描绘了对TOF信号进行解调的时序图。
图4A-4E描绘了包括不同的聚焦像素的不同的像素阵列配置。
图5描绘了绝对差之和(SAD)度量的示例绘图。
图6描绘了用于生成组合深度数据的方法的流程图。
图7A描绘了示例场景和基于单个深度映射系统而生成的相应深度数据。
图7B描绘了示例场景和基于组合深度图而生成的相应深度数据。
图8是包括深度感测系统的示例设备的框图。
具体实施方式
概括而言，本文公开的各种示例提供了一种包括红外相位检测自动聚焦(PDAF)传感器的设备。该设备可以包括投射器或发送器，其被配置为将源光发送到场景上。红外PDAF传感器可以被配置为接收源光从场景内的对象的反射。该设备可以包括存储器以及耦合到存储器和红外PDAF传感器的处理器。处理器可以被配置为基于所接收的源光的反射来生成第一深度数据，基于红外PDAF传感器的聚焦像素来生成第二深度数据，以及基于第一深度数据和第二深度数据来生成组合深度数据。
本公开内容的好处包括通过在包括聚焦像素的单个传感器处接收光使得深度数据可以由主动深度系统和聚焦像素两者来生成，从而生成用于场景的改进的深度数据。由于由红外PDAF传感器的聚焦像素生成的深度数据可以用于校准包括投射器和红外PDAF传感器的主动深度系统，因此可以降低针对设备的校准要求。一些主动深度系统(包括结构光系统)需要对投射器和传感器两者的校准。在一些校准方法中，首先校准传感器，并且然后使用传感器来校准投射器。然而，这将传感器校准的任何误差传播到投射器校准中。相反，PDAF不需要校准。因此，使用由红外PDAF传感器的聚焦像素(例如，在主动深度系统中使用的相同传感器的聚焦像素)生成的深度数据可以帮助更快且更准确地校准主动深度系统。进一步地，由于发送器(例如，投射器)和接收器(例如，红外PDAF传感器)之间不需要大基线(因为由红外PDAF传感器的聚焦像素生成的深度数据可以用于改善由结构光系统生成的深度数据)，因此该设备可以具有与传统结构光系统相比更窄的尺寸。在一些示例中，除了可见光之外，单个传感器还可以用于捕获IR和/或NIR光，从而减小设备的大小。如下文将进一步详细讨论的，红外PDAF传感器可以包括一个或多个滤波器。一个或多个滤波器可以包括一个或多个滤色器和/或一个或多个窄带滤波器。以这种方式，除了可见光之外，红外PDAF传感器还可以用于捕获IR和/或NIR光。
将参考附图详细地描述各个实施例。通常，在整个附图中使用相同的附图标记来指代相同或类似的部分。对特定示例和实现的引用仅用于说明性目的，而并不旨在限制本公开内容或权利要求的范围。
图1是示出场景、设备102以及在场景内并且在设备102的视场内的各种对象的图。如图1所示，设备102可以包括光学接收器104(在本文中也被称为接收器和/或传感器)和光学发送器105(在本文中也被称为发送器和/或投射器)。设备102的示例可以包括图像捕获设备(诸如相机)，其可以是以下各者或者可以是以下各者的一部分：台式计算机、膝上型计算机、平板设备、个人数字助理、个人相机、数字相机、动作相机、安装的相机、连接的相机、可穿戴设备、汽车、无人机、无线通信设备、电话、电视机、显示设备、数字媒体播放器、视频游戏控制台或视频流式传输设备。设备102能够捕获静止或运动图像，而不管格式(例如，数字、胶片等)或类型(例如，摄像机、静态相机、网络相机等)如何。设备102可以包括主动深度映射系统。主动深度映射系统可以包括但不限于飞行时间系统、结构光系统等。设备102可以用于出于各种目的(包括但不限于生物计量安全性(例如，面部扫描、手势等)、休闲等)而捕获图像(例如，2D图像、3D图像、深度图等)。
光学发送器105的示例可以包括投射器、激光器等。光学接收器104的示例可以包括一个或多个光学传感器(例如，图像传感器)，诸如本文公开的红外PDAF传感器。在一些示例中，光学发送器105可以将源光(例如，红外光(IR)、近红外光(NIR)、光、图案、结构化图案、泛洪图案、一个或多个码字、闪光等)发送到场景中，并且光学接收器104可以接收可见光和/或从场景中的对象反射的源光。在一些实施例中，光学发送器105可以以特定波长的窄带和/或光波长范围来发送(例如，发射)源光(例如，源光可以包括光波长的窄带)。通过光学发送器105和光学接收器104之间的箭头描绘了基线。虽然传统结构光系统要求投射器和传感器之间的大基线，但是在本文公开的包括结构光系统的设备的情况下，由于被包括在结构光系统的传感器内的聚焦像素，所以本文公开的设备可以减小投射器(例如，光学发送器105)和传感器(例如，光学接收器104)之间的基线。
如本文所使用的，IR是电磁辐射光谱的一个区域，其中波长范围从大约700纳米(nm；0.7微米)到1毫米(mm；1000微米)。IR波长比可见光的波长要长。IR光谱通常被细分为较小的部分，因为有时仅有限的光谱区域是感兴趣的。常见的细分包括但不限于NIR、短波长红外(SWIR)、中波长红外(MWIR)或中红外(IIR)、长波长红外(LWIR)和远红外(FIR)。例如，NIR光谱包括从大约0.75微米到1.4微米的波长，如上所述，其被包括在IR光谱范围内。
设备102的视场(“FOV”)可以包括对象108a-c，包括灌木108a、人108b和树108c。场景100可以包括独立于设备102的外部光源110。示例外部光源110可以包括来自设备102外部的自然光源(例如，太阳)或人工光源。反射光106a-c可以分别表示从对象108a-c反射的光的路径。发射的光112a可以表示从外部光源110发射的光的路径。发射的光112b可以表示从光学发送器105发送的源光的路径。
如图1所示，光学接收器104可以包括一个或多个聚焦像素。将参考图4A-4E进一步详细地描述聚焦像素。光学接收器104可以例如经由在该图中未示出的设备102的光学元件来感测光(例如，可见光信号、IR信号和/或NIR信号)，并且因此基于所感测的光来捕获设备102的FOV的图像。由光学接收器104接收的光可以包括经由光学发送器105发送的源光的反射。由光学接收器104接收的光可以包括来自外部光源110的光和/或来自外部光源110的光的反射。换言之，光学接收器104可以直接地或在其从设备102的FOV内的对象108a-c反射之后吸收从外部光源110发射的光。在一些实施例中，当设备102用于捕获图像时，光学发送器105可以发送源光112b。在其它实施例中，光学发送器105可以在光学接收器104的感测时段的持续时间内提供恒定或脉冲照明。在一些实施例中，光学接收器104和光学发送器105可以是两个独立(例如，分开)的组件，它们被配置为一起操作。光学接收器104可以被配置为基于所接收的光来生成FOV的图像。
与光学发送器105一样，外部光源110可以独立于设备102运行(例如，作为持续照明的源，诸如太阳)，或者可以依赖于设备102(例如，作为外部闪光灯设备)运行。例如，外部光源110可以包括在设备102的FOV内或在设备102的FOV的一部分中持续地发射所发射的光112a的外部光。
设备102能够基于在光学接收器104处接收的光来确定场景的深度或对象的深度。图1的示例实施例示出了光学接收器104接收从设备102的FOV内的对象108a-c反射的光106a-c。如图所示，对象108a-c可以处于距设备102的各种深度处。然而，在一些实施例中，对象108a-c可以处于距设备102的单一深度处。
在一些实施例中，设备102和/或光学接收器104可以包括光学滤波器。光学滤波器可以被设置(例如，放置)在被包括在光学接收器104内的图像传感器的一个或多个光探测器的前面，使得经由光学发送器105发送的源光的反射可以在光学滤波器处被接收(在于光学接收器104的图像传感器的一个或多个光探测器处被接收之前)。如上所述，在光学发送器105在窄带中发送源光的一些实施例中，光学接收器104可以被配置为经由窄带滤波器接收窄带源光。光学滤波器可以被放置在光学接收器104的前面(或光学接收器104的前面和/或在光学接收器104内包括的图像传感器的一个或多个光探测器之间的任何位置)，使得光学滤波器可以滤除(例如，阻挡)与源光的波长的窄带不相关联的光波长。以这种方式，光学滤波器可以允许特定波长的光通过光学滤波器，从而在光学接收器104处被接收。
光学滤波器可以包括但不限于干涉滤波器、二向色滤波器、吸收滤波器、单色滤波器、红外滤波器、紫外滤波器、长通滤波器、带通滤波器、短通滤波器和其它滤波器。光学带通滤波器通常被配置为选择性地发送特定范围内的波长，而抑制在该范围之外的波长。窄带通滤波器通常被配置为发送光谱的窄区域(例如，当使用IR或NIR窄带通滤波器时，NIR或IR光谱的窄区域)，而抑制在光谱的该窄区域之外的光(例如，如果窄带通滤波器是IR或NIR窄带通滤波器，则抑制可见光)。窄带通滤波器(在本文中也被称为窄带滤波器)的示例可以包括红外或近红外带通滤波器，其被配置为发送红外或近红外波长的光。通过将光学滤波器(例如，窄带通滤波器、光学带通滤波器等)设置在光学接收器104的图像传感器的一个或多个光探测器前面的位置上，光学滤波器可以在光进入光学接收器104的一个或多个光探测器区域之前对光进行过滤(例如，抑制干扰光，而发送源光和/或源光的反射)。例如，光学滤波器可以发送窄波长范围内的光(例如，允许光通过)，而抑制在该窄波长范围之外的光。然后，已经被光学滤波器过滤的光可以进入光学接收器104的一个或多个光探测器并且被其检测。以这种方式，光学接收器104可以经由光学滤波器(例如，窄带通滤波器、光学带通滤波器等)仅检测与光学滤波器相关联的特定波长范围(或一个以上的特定波长范围)内的光，诸如NIR和/或IR光。
虽然在图1中未示出，但是设备102可以包括一个或多个额外光学传感器，以捕获FOV的单色和/或彩色图像。用于捕获FOV的单色和/或彩色图像的一个或多个额外光学传感器可以与光学接收器104分离。替代地，光学接收器104的一个或多个光探测器可以用于捕获FOV的单色和/或彩色图像。
如上所讨论的，设备102可以能够基于在光学接收器104处接收的光来确定场景的深度(例如，生成深度数据和/或深度图)或对象的深度。设备102可以包括一个或多个主动深度感测系统。主动深度感测系统可以包括但不限于结构光系统、飞行时间系统等。
主动深度系统可以包括投射器(例如，发送器105)和接收器(例如，光学接收器104)。投射器可以被配置为将源光发送到场景上。光源可以包括红外光。源光可以包括图案。图案可以是已知图案。图案可以包括结构化图案。图案可以包括泛洪图案。源光的图案可以针对不同时间处的不同投射而改变和/或更新，和/或源光的图案可以针对不同时间处的一个或多个不同的投射而保持相同。
在一些示例中，投射器(例如，发送器105)可以投射泛洪光。在其它示例中，单独的泛洪照明器(未示出)可以被包括在设备102或本文公开的其它设备内，以投射泛洪光。所投射的泛洪光可以包括IR或NIR光。传感器(例如，接收器104)可以接收泛洪光从场景内的对象的反射。传感器可以基于所接收的反射来生成二维(2D)图像。在包括聚焦像素的传感器的示例中，2D图像可以由包括聚焦像素的传感器的一个或多个像素来生成。这改善了低光环境中的成像，并且提高了正面人脸识别和人脸认证。
图2是示例结构光系统200的描绘。结构光系统200可以用于生成场景的深度数据和/或深度图(未图示)(其中，对象206A和206B在场景中处于不同的深度)，或可以用于用以对对象206A和206B或场景的其它部分进行测距的其它应用。结构光系统200可以包括发送器202和接收器208。发送器302可以被称为“发送器”、“投射器”、“发射器”等，并且不应当限于特定的发送组件。类似地，接收器308可以被称为“探测器”、“传感器”、“感测元件”、“光探测器”等，并且不应当限于特定的接收组件。
发送器202可以被配置为将空间分布204投射到场景(包括对象206A和206B)上。在一些示例实现中，发送器202可以包括一个或多个光源224(诸如激光源)、透镜226和光调制器228。在一些实施例中，光调制器228可以包括一个或多个衍射光学元件(DOE)，以将来自一个或多个光源224的发射(其可以由透镜226引导至光调制器228)衍射成额外发射。光调制器228还可以调整发射的强度。另外或替代地，光源224可以被配置为调整发射的强度。
在发送器202的一些示例中，DOE可以直接耦合到光源(不具有透镜226)，并且可以被配置为将从光源发射的光扩散到空间分布204的至少一部分中。空间分布204可以是投射器发送到场景上的发射光的固定分布。例如，码掩码可以由DOE进行编码，使得当来自光源224的光投射通过DOE时，从投射器和/或发送器202投射码字图案(例如，也被称为结构化图案)图像。码字图案可以包括由多个符号定义的唯一可识别的经空间编码的码字。在一个示例中，可以制造DOE，使得空间分布204中的黑点对应于DOE中的防止发送器202发射来自光源224的光的位置。以这种方式，在分析接收器208接收到的任何反射时，空间分布204可以是已知的。发送器202可以通过发送器202的光圈222以空间分布将光发送到场景(包括对象206A和206B)上。
在一些示例中，可以使用多个不同的投射图案，其中，可以针对不同的条件配置不同的图案(例如，对于处于不同距离的对象，或者发送器202和接收器208之间的不同配置)。
接收器208可以包括光圈220，其中所发射的光的反射(例如，光源的反射)可以通过该光圈220，由透镜230引导并且击中传感器210。传感器210可以被配置为从场景中检测(或“感测”)光的空间分布的一个或多个反射。如图所示，发送器202可以位于与接收器208相同的参考面上，并且发送器202和接收器208可以隔开被称为“基线”的距离212。传感器210可以包括如本文公开的红外PDAF传感器。
传感器210可以包括像素和/或光电二极管(诸如雪崩光电二极管)阵列以测量或感测反射。阵列可以耦合到互补金属氧化物半导体(CMOS)传感器，该传感器包括与阵列中的多个光电二极管相对应的多个像素或区域。由阵列生成的多个电脉冲可以触发CMOS传感器的对应像素或区域，以提供由阵列感测的反射的测量。替代地，传感器210可以是光敏CMOS传感器，其用于感测或测量包括所反射的码字分布的反射。CMOS传感器在逻辑上可以被划分为与空间分布204的比特大小或码字(比特的斑块)大小相对应的像素组。如图2所示，传感器210可以包括一个或多个聚焦像素。将参考图4A-4E讨论聚焦像素。
反射可以包括光的空间分布从场景的处于不同深度的不同对象或部分(诸如对象206A和206B)的多个反射。基于基线212、在空间分布204中所感测到的光的位移和失真以及反射的强度，结构光系统200可以用于确定来自结构光系统200的对象(诸如对象206A和206B)的一个或多个深度和位置。利用基于基线和距离的三角测量，结构光系统200可以用于确定对象206A和206B之间的不同距离。例如，如果在传感器210处接收的来自对象206A和206B的反射的空间分布204的部分被辨识或识别为相同，则从对象206B反射的光击中传感器210的位置216与传感器210的中心214之间的距离小于从对象206A反射的光击中传感器210的位置218与传感器210的中心214之间的距离。较小的距离可以指示与对象206A相比，对象206B距发送器202较远。计算还可以包括确定空间分布204的位移或失真，以确定深度或距离。
图3A是示例飞行时间(TOF)系统300的描绘。TOF系统300可以用于生成场景(在场景中具有表面306)的深度数据和/或深度图(未图示)，或可以用于用以对表面306或场景的其它部分进行测距的其它应用。TOF系统300可以包括发送器302和接收器308。发送器302可以被称为“发送器”、“投射器”、“发射器”等，并且不应当限于特定的发送组件。类似地，接收器308可以被称为“探测器”、“传感器”、“感测元件”、“光探测器”等，并且不应当限于特定的接收组件。
发送器302可以被配置为将信号(诸如光场，其可以包括泛洪图案，也被称为源光)发送、发射或投射到场景(包括表面306)上。虽然TOF系统在该示例中被描述为发射光(其可以包括NIR)，但是可以使用处于其它频率的信号，诸如微波、射频信号、声音等。本公开内容不应当针对所发射的信号的特定频率范围。
发送器302朝着场景发送光304。虽然所发送的光304被示为引导到表面306，但是由发送器进行的发射或发送场延伸到针对所发送的光304所描绘的范围之外。例如，传统的TOF系统发送器可以具有用于发射的固定焦距透镜，其定义了来自发送器302的发送场。用于传统TOF系统的固定发送场在距发送器一定深度处大于用于传统结构光系统的空间分布的每个点的固定发送场。因此，与传统TOF系统相比，传统结构光系统可以具有较长的有效范围。
所发送的光304包括处于已知时间间隔(诸如周期性)的光脉冲314。接收器308包括用于感测和/或接收所发送的光304的反射312的传感器310。传感器310可以包括本文公开的红外PDAF传感器。反射312包括反射光脉冲316，并且TOF系统通过将所发送的光脉冲的定时318与反射光脉冲的定时320进行比较来确定光的往返时间322。表面306与TOF系统的距离可以被计算为往返时间的一半乘以发射速度(诸如光发射的光速)。
传感器310可以包括用于测量或感测反射的像素和/或光电二极管阵列。在一些示例中，传感器310可以包括CMOS传感器或其它适当的光敏传感器，包括用于感测的多个像素或区域。如图3A所示，传感器310可以包括一个或多个聚焦像素。将参考图4A-4E讨论聚焦像素。当脉冲的幅度大于门限时，TOF系统300识别由传感器210感测的反射光脉冲316。例如，TOF系统在没有信号的情况下测量环境光和其它干扰的幅度，并且然后确定进一步的测量是否比先前测量大门限。然而，在感测之前的噪声或信号的降级可能导致信噪比(SNR)太大，以至于传感器无法准确感测反射光脉冲316。
为了减少干扰，接收器308可以在传感器310之前包括带通滤波器，以过滤传入光中的处于与所发送的光不同的波长的一些光。然而，仍然存在由传感器感测到的噪声，并且SNR随着反射312的信号强度降低而增加(诸如表面306移动得距TOF系统300更远，或者表面306的反射率降低)。TOF系统300还可以增加发送器302的功率，以增加所发送的光304的强度。然而，许多设备具有功率约束(诸如智能电话、平板设备或其它电池设备)，并且在用于TOF系统的固定场中增加所发射的光的强度方面受到限制。
如上所讨论的，并且返回参考图1，在一些实施例中，光学发送器105(例如，图2的发送器202和/或图3A的发送器302)可以被配置为发送窄带源光(例如，红外光或近红外光)。在设备102可以在室外使用的场景(诸如图1的示例场景)中，来自太阳的光可能导致低于理想的信噪比，这可能导致室外操作是不切实际的。在光学接收器104(例如，图2的接收器208和/或图3A的接收器308)处接收的这种阳光(其可以被称为干扰或带外泄漏，因为其与光学接收器104被配置为接收/捕获的源光和/或源光的部分不相关联)可能导致噪声、伪影、过饱和、和/或所产生的捕获图像的其它缺陷。用于从在光学接收器104处接收的光中滤除阳光和/或干扰光(例如，与经由光学发送器105发送的源光不相关联的光和/或与旨在由设备102捕获的光不相关联的光)的传统解决方案包括将窄带通滤波器设置(例如，放置)在和/或光学接收器104和/或光学接收器104的一个或多个光探测器的前面/之前，使得在光学接收器104接收光之前，可以滤除与源光和/或旨在由设备102捕获的光不相关联的阳光和/或干扰光。然而，所产生的由设备102捕获的图像的质量(例如，深度数据或深度图)取决于窄带通滤波器，该窄带通滤波器抑制尽可能多的干扰光并且发送尽可能多的要捕获的源光/预期光。因此，在明亮的户外场景中，这并不总是可能的。为了生成改进的深度图，下面讨论一种红外相位检测自动聚焦(PDAF)传感器。
如上所讨论的，光学接收器104可以包括接收光(诸如红外(IR)光)的光学传感器或图像传感器。接收源光从场景(例如，FOV)内的对象的反射的相同光学接收器104在本文中可以称为红外相位检测自动聚焦(PDAF)传感器。红外PDAF传感器可以包括多个像素，也被称为像素阵列。多个像素中的每个像素可以包括一个或多个光电二极管(本文中也被称为二极管)。多个像素可以包括包含聚焦像素的第一像素集合和包含窄带滤波器的第二像素集合。聚焦像素也可以被称为相位检测像素或相位检测自动聚焦像素。
可以存在被包括在图像传感器(作为一个示例，包括光学接收器104(例如，分别为图2和图3的接收器208和/或308))中的许多不同类型的聚焦像素图案和/或布置。例如，聚焦像素可以包括限制照射到聚焦像素二极管的光的量和方向的掩模，聚焦像素可以包括双光电二极管(2PD)像素，其中，每个2PD聚焦像素包括两个二极管，聚焦像素可以包括诸如微透镜之类的片上透镜(OCL)，这可能限制照射到聚焦像素二极管的光的量和方向。
聚焦像素可以包括限制照射到聚焦像素二极管的光的量和方向的掩模。参考图4A，一些图像传感器(例如，像素阵列400)可以包括一个或多个聚焦像素(例如，具有掩模402a、402b的像素位置)，其已经被遮掩以限制光从特定方向照射到聚焦像素的二极管。掩模402a和402b可以在相反方向上设置在两个不同的聚焦像素二极管上，以产生一对左侧和右侧图像(例如，由于掩模402a和402b所创建的半光圈，聚焦像素二极管可以接收50％的光)。虽然在图4A中仅示出了一对聚焦像素，但是这仅用于示例性目的。在图像传感器中可以包括任何数量的聚焦像素。左侧和右侧聚焦像素对可以彼此相邻，或者可以由一个或多个成像二极管404(例如，未被遮掩的成像像素)隔开。左侧和右侧聚焦像素对可以在同一行或列中，或者在不同的行或列中。如图4A所示，具有掩模402a和402b的聚焦像素位于同一列中，但是位于不同的行中，并且由不包括掩模的成像像素404隔开(例如，不包括掩模的成像像素304的成像二极管接收100％的光)。这仅是出于示例性目的而示出的，并非意在作为本公开内容的限制。虽然掩模402a和402b在像素阵列400内被示为遮掩聚焦像素二极管的左侧和右侧部分，但这仅出于示例性目的。聚焦像素掩模可以遮掩聚焦像素二极管的顶部和底部，从而生成上部和下部(或顶部和底部)图像对。
聚焦像素可以包括双光电二极管(2PD)像素，其中，每个聚焦像素包括两个二极管，即第一光电二极管和与第一光电二极管相邻的第二光电二极管。参考图4B，一些图像传感器(例如，像素阵列410)可以包括一个或多个2PD像素，诸如包括左侧二极管412L和右侧二极管412R的2PD像素412。左侧二极管412L可以生成左侧图像，并且右侧二极管412R可以生成右侧图像。虽然像素阵列410内的每个像素被示为包括2PD聚焦像素，但这仅出于示例性目的。聚焦像素(例如，2PD像素)可以是稀疏的，使得仅被包括在图像传感器的像素阵列内的像素子集是以任何方式布置的2PD聚焦像素(例如，彼此相邻、彼此间隔开等)，而剩余像素是包括单个二极管的成像像素。此外，虽然图4B的所有2PD聚焦像素被示为左侧和右侧对，但这仅出于示例性目的。2PD聚焦像素的其它配置可以包括单个图像传感器中的顶部和底部对(例如，上部和下部对)和/或左侧和右侧对以及顶部和底部对的混合。
参考图4C，像素阵列420的聚焦像素可以包括4PD像素，其中，每个聚焦像素422包括四个二极管(也被称为QPD)。如图4C所示，聚焦像素422包括四个二极管422a、422b、422c和422d。以这种方式，4PD聚焦像素二极管可以生成两对图像：左侧和右侧对(例如，左侧是基于聚焦像素422a和422c，而右侧是基于聚焦像素422b和422d)以及上部和下部(例如，顶部和底部)对(例如，上部是基于聚焦像素422a和422b，而下部是基于聚焦像素422c和422d)。虽然像素阵列420内的每个像素被示为包括4PD聚焦像素，但这仅用于出于示例性目的。聚焦像素(例如，4PD像素)可以是稀疏的，使得仅被包括在图像传感器的像素阵列内的像素子集是以任何方式布置的4PD聚焦像素(例如，彼此相邻、彼此间隔开等)，而剩余像素是包括单个二极管的成像像素。在其它传感器布置中，单个像素阵列可以包括作为2PD像素的一些聚焦像素，而其它聚焦像素为4PD像素。
聚焦像素可以包括片上透镜(OCL)(诸如微透镜)，其可以限制照射到聚焦像素二极管的光的量和方向。参考图4D和4E，一些图像传感器(例如，像素阵列430和440)可以包括一个或多个片上透镜(例如，片上透镜432和442)。片上透镜可以跨越多个相邻像素/二极管，使得可以生成一对图像。例如，OCL 432跨越4个像素/二极管(例如，2x2 OCL)，使得可以生成两对图像：左侧和右侧对以及上部和下部(例如，顶部和底部)对。类似地，OCL 442跨越2个像素/二极管(例如，2x1 OCL)，使得可以生成一对左侧和右侧图像。虽然OCL 442在像素阵列440内被示为跨越左侧和右侧相邻像素/二极管(例如，在水平方向上)，但这仅出于示例性目的。片上镜头可以跨越顶部和底部相邻的像素/二极管(例如，在垂直方向上)，从而生成上部和下部(或顶部和底部)图像对。在像素阵列中可以包括任何数量的聚焦像素，并且可以包括跨越4个像素/二极管和/或2个像素/二极管的OCL的混合。
在图4A-4E中所示的聚焦像素的任何示例配置或任何其它配置可以被包括在红外PDAF传感器内。也就是说，聚焦像素的任何配置可以被包括在主动深度系统的传感器/接收器内。例如，聚焦像素的任何配置可以被包括在图2的结构光系统200的传感器/接收器210内。替代地或除此之外，聚焦像素的任何配置可以被包括在图3A的TOF系统300的传感器/接收器310内。
图3B描绘了具有示例PDAF架构的TOF解调像素的等效电路。多个TOF解调像素可以被包括在图3A的传感器310内。在图3B中描绘的PDAF架构可以包括如参考图4A所示和描述的掩模(例如，左侧屏蔽和/或右侧屏蔽)、或如参考图4B所示和描述的2PD像素。双传输门TG1a和TG1b被并入以提高电荷传输速度。在这种时分像素设计方案中，双传输门(例如，TG1a和TG1b)减小了光生电子从光电二极管(PD1和/或PD2)到浮动扩散(FD)节点(例如，FD1和/或FD2)的行进距离，从而导致快速电荷传输。像素还可以包括一些功能性晶体管，包括复位晶体管(RST)、源极跟随器放大器(SF_AMP)和像素选择晶体管(SEL)。
图3C描绘了具有示例PDAF架构的TOF解调像素的另一示例电路。多个TOF解调像素可以被包括在图3A的传感器310内。在图3C中描绘的PDAF架构可以包括跨越2个像素/二极管(例如，左侧和右侧和/或上部和下部)的OCL，如参考图4E所示和描述的。
图3D描绘了具有示例PDAF架构的TOF解调像素的另一示例电路。多个TOF像素可以被包括在图3A的传感器310内。在图3D中描绘的架构可以包括跨越4个像素/二极管(例如，左侧、右侧、上部和下部)的OCL，如参考图4D所示和描述的。在图3B中描绘的具有双传输门和存储节点的4x1共享像素单元导致快速电荷传输。浮动扩散(FD_2n、FD2n+1、FD1和/或FD2)节点充当存储节点。这实现结构光(SL)和/或TOF深度感测帧的交替读出模式。
在SL成像模式下，像素操作类似于处于滚动快门方式的具有共享放大器结构的4T有源像素。4T像素传感器是有源像素传感器，其中，每个像素传感器单元具有光探测器和一个或多个有源晶体管。4T像素单元主要由传输门、复位门、行选择门和连接到光探测器的源极跟随器(放大器)输入晶体管组成。在用于SL感测的NIR滚动快门成像模式期间，可以仅激活像素中的双传输门中的一个传输门。当读出第n行中的像素时，在对FD1和FD2节点进行复位之后，可以仅激活两个传输门TG1和TG4。当访问n+1行中的像素时，接通TG5和TG8。在此期间，始终断开其它4个传输门(TG2、TG3、TG6和TG7)。该操作允许一次读出同一行中的所有像素。
当在TOF模式下操作时，所有传输门与在深度图像模式下的发射器信号同步地接通和断开。在图3E中示出发射光和反射光之间的相位差以及调制信号的周期的一半。
图3E描绘了对TOF信号进行解调的时序图。当在TOF模式下操作时，图3A的所有像素和发送器302在积分时间段期间全局地操作，而传感器310的其它控制信号根本不应用。当TG_2n传输门(例如，TG2、TG4、TG6和TG8)和发送器302被激活时，TG_2n+1传输门(例如，TG1、TG3、TG5和TG7)被去激活，由反射光生成的电子从PD扫描到FD_2n节点(例如，来自图3D的FD2)。电子的数量与TG_2n和反射光信号(这被称为同相原始信号S0)的重叠持续时间成比例。接下来，接通TG_2n+1传输门，而断开其它门，从而将所生成的电子传输到FD_2n+1节点(例如，来自图3D的FD1)。这些电子贡献于异相原始信号S180。在积分时段结束之后，跟随着读出操作，两个FD节点都充当存储节点，并且断开TG门。其允许以滚动快门方式进行读出操作，这种方式首先提取累积信号电荷，并且稍后读取重置值。在不激活发送器302的情况下，使用捕获的额外帧来执行背景光消除。当计算深度数据和/或深度图时，从原始信号S0和S180的两个相位中减去暗偏移信号。
一旦已经在聚焦像素处接收到光，信号(例如，来自成对聚焦像素的信号，诸如左侧聚焦像素和右侧聚焦像素或上部聚焦像素和下部聚焦像素)可以彼此比较。例如，可以对从左侧聚焦像素和右侧聚焦像素生成的信号之间的相位差进行比较，并且可以确定信号之间的分离误差(例如，差异)。与聚焦像素相关联的左侧图像和右侧图像之间的差异可以是针对该聚焦像素的散焦值。
深度数据可以基于差异信息来生成，差异信息是基于一个或多个聚焦像素而确定的。如果图像传感器是密集的2PD传感器，使得每个像素是2PD聚焦像素，则每个像素可以与散焦值相关联。对于1200万像素的传感器，可能需要处理大量数据来确定针对每个像素的散焦值。可以使用神经网络来确定差异信息(例如，针对每个聚焦像素的散焦值)。替代地，可以针对像素组或区域确定差异信息(例如，散焦值)，以便缩减要处理的数据量。例如，可以针对20x20像素的组或任何其它数量的像素确定差异数据。与帧关联的差异信息越多，深度数据越准确。
基于聚焦像素的深度数据可以基于差异信息来确定。如将参考图5讨论的，使用公知技术，可以基于差异来确定深度数据。
如在图4A-4E中所描绘的，像素阵列400、410、420、430和440的多个像素未示为包括滤波器。对于用于捕获彩色图像的传统图像传感器，可以在一个或多个像素上方设置一个或多个滤色器，使得在传感器处接收的光照射到滤色器，以仅允许特定波长的光照射到像素的光电二极管。在红外PDAF传感器的示例中，一个或多个窄带滤波器可以被设置在一个或多个像素上方，使得在传感器处接收的光照射到窄带滤波器，以仅允许特定波长的光照射到像素的光电二极管。在该示例中，一个或多个窄带滤波器可以允许源光的波长(例如，红外光或近红外光)照射到一个或多个光电二极管。
红外PDAF传感器可以包括一个或多个窄带滤波器。单个窄带滤波器可以被设置在整个红外PDAF传感器上方，使得光在照射到红外PDAF传感器的任何光电二极管之前照射到单个窄带滤波器。在一些示例中，单个窄带滤波器可以被设置在红外PDAF传感器的一部分上，使得一些光在照射到在单个窄带滤波器下方的红外PDAF传感器的光电二极管之前照射到单个窄带滤波器，而由于缺少被设置在红外PDAF传感器的一部分上方的窄带滤波器，红外PDAF传感器的其它光电二极管可以接收所有光(例如，所有波长的光)。在一些示例中，窄带滤波器可以被设置在红外PDAF传感器的像素阵列的每一个像素上方，使得光在照射到红外PDAF传感器的每个光电二极管之前照射到每个窄带滤波器。在一些示例中，窄带滤波器可以被设置在像素子集(例如，第二像素集合)上方，使得光在照射到红外PDAF传感器的该像素子集的任何光电二极管之前照射到在该像素子集上方的窄带滤波器，而由于缺少被设置在红外PDAF传感器的剩余像素上方的窄带滤波器，红外PDAF传感器的其它光电二极管可以接收所有光(例如，所有波长的光)。在红外PDAF传感器的一些示例中，除了各自包括窄带滤波器的一个或多个成像像素之外，一些聚焦像素(例如，包括聚焦像素的第一像素集合)也可以各自包括窄带滤波器。在单个窄带滤波器的一些示例中，可以机械地控制单个窄带滤波器，以使其在红外PDAF传感器上方移动和/或从红外PDAF传感器移开，使得光在照射到红外PDAF传感器的光电二极管之前不再照射到单个窄带滤波器。滤波器可以基于一天中的时间、环境照明条件、用户偏好、用户输入等自动地控制。例如，如图8所示，设备的处理器可以输出指令，以将一个或多个滤波器移动到红外PDAF传感器的一个或多个像素上方。在一些示例中，除了窄带滤波器和/或代替窄带滤波器，红外PDAF传感器的一些像素可以包括滤色器。在一些示例中，滤色器可以不被包括在红外PDAF传感器中，而是被包括在用于捕获单色和/或彩色图像的单独图像传感器中。窄带滤波器可以被设置在光学接收器104的透镜的前面或上方、在光学接收器104的透镜后面或下方、或任何其它位置，使得在光学接收器104处接收的光在光学接收器104的图像传感器的光探测器处接收到光(例如，源光的反射)之前被过滤。
红外PDAF传感器的一个或多个聚焦像素可以基于被设置在一个或多个聚焦像素上方的滤波器(或缺少滤波器)来接收特定波长的光，并且基于所接收的波长的光来生成深度数据。例如，如果在一个或多个聚焦像素上方没有设置滤波器，则一个或多个聚焦像素可以接收所有光，包括所接收的源光的反射和任何环境光。替代地，如果一个或多个滤波器被设置在一个或多个聚焦像素上方，则一个或多个聚焦像素可以接收通过一个或多个滤波器的任何光(例如，IR或NIR、环境光等)。然后，如上所讨论的，可以基于在一个或多个聚焦像素处接收的光来生成深度数据。
图1的设备100可以确定与第一深度数据相关联的第一置信度值集合。第一深度数据可以基于主动深度系统(诸如结构光系统、TOF系统等)来生成。第一深度数据可以包括第一深度图。深度图可以是包含关于从设备100(例如，设备100的传感器)到场景内的对象的表面的距离的信息的图像。在一些示例中，可以基于将第一像素位置的深度数据(例如，深度值)与来自第一像素位置的一个或多个相邻像素的深度数据进行比较来确定第一置信度值集合。例如，虽然与前景和/或背景的相邻像素相比，沿着对象边界的深度值差异可能是普遍的，但是具有相似深度值的像素的邻域内的单个像素变化可能与较低置信度值相关联(与和相邻像素相关联的置信度值相比)。在一些示例中，第一置信度值集合可以基于第一深度图内的一个或多个像素位置处的空间码间隙(例如，中断)来确定。在一些示例中，第一置信度值集合可以基于接收到的码字和/或图案中的失真来确定。例如，如果与预期的码字和/或图案相比(例如，基于先前存储的关于码字和/或图案的数据)，所接收的码字和/或图案的反射的部分是失真的，则深度图的这些部分可以与较低置信度值相关联(与深度图的其它部分相比)。在一些示例中，第一置信度值集合可以基于环境照明条件和/或与设备相关联的元数据来确定(例如，如上所讨论的，与在室内或低光环境中捕获场景相比，在日光下在室外捕获场景可以指示由于导致降低的信噪比的噪声而与第一深度数据相关联的较低的置信度值)。在一些示例中，第一置信度值集合可以基于将基于所接收的源光的反射的第一深度数据(例如，第一深度图)与先前存储的与主动深度系统相关联的数据进行比较来确定。在一些示例中，第一置信度值集合可以基于以上示例的一个或多个组合来确定。这并不意在作为本公开内容的限制，因为可以使用任何方式来确定与第一深度数据相关联的第一置信度值集合。
置信度得分可以与第一深度图的一个或多个像素相关联。例如，第一个深度图中的每个像素与置信度得分相关联。替代地，第一深度图中的像素组(例如，包括任何数量的像素(诸如2x2、4x4、10x10等)的像素邻域)可以与置信度得分相关联。第一深度图可以包括上述的组合，使得第一深度图的单个像素可以与单个置信度得分相关联，而包括该单个像素或与该单个像素分离的像素组可以与置信度得分相关联。在一些示例中，与像素组相关联的置信度得分可以是与在像素组内包括的各个像素相关联的各个置信度值的平均。
图1的设备100可以确定与第二深度数据相关联的第二置信度值集合。可以基于红外PDAF传感器的聚焦像素来生成第二深度数据。红外PDAF传感器可以是被包括在主动深度系统中的相同接收器。图5描绘了与聚焦像素相关联的示例绝对差之和(SAD)度量的绘图500，其中SAD绘制(在y轴上)相对于聚焦像素的相位差(在x轴上)。SAD度量可以表示左侧和右侧聚焦像素和/或上部和下部聚焦像素之间的绝对差之和。例如，SAD度量可以表示来自图像传感器的第一聚焦像素集合的信号之间的绝对差之和。相位差(在x轴上)可以对应于到场景中的对象的候选距离，并且因此确定到场景中的对象的距离对应于确定SAD被最小化的相位差。
对应于最小SAD的相位差(“最小相位差”)可以对应于基于一个或多个聚焦像素对到场景中的对象的距离或对象的深度的估计。更具体地，最小相位差可以对应于来自相应聚焦像素的信号之间的估计差异(例如，来自左侧和右侧聚焦像素和/或上部和下部聚焦像素的信号之间的差异)，其结合传感器的已知配置(例如，传感器内的聚焦像素的已知位置)有助于提供估计深度。关于图5，绘图500中的SAD的最小值被描绘在510处，并且发生在略大于4的相位差处。针对图5中的绘图500的最小相位差被示为“PD”，近似等于4.0299。
SAD度量可以用于确定与第二深度数据相关联的第二置信度值集合。可以使用多种技术来确定第二置信度值集合。在一些示例中，可以使用在所确定的最小相位差附近的SAD度量的局部属性来确定第二置信度值集合中的一个或多个置信度值。在一个示例中，从在最小值附近具有大斜率的SAD度量确定的最小SAD(从而产生不同的最小值)可以具有较高置信度值(与从在最小值附近具有较浅斜率的SAD度量确定的最小SAD相比)。在一个示例中，置信度值可以对应于在相位差范围内SAD度量的平均值与SAD度量的所确定的最小值之间的比率。因此，SAD度量的最小值相对于平均值越小，最小值越明显，并且置信度值越高。关于图5，这样的置信度值可以对应于平均SAD值530与最小SAD值520之间的比率。
在一些示例中，可以针对与第二深度数据相关联的第二深度图内的每个像素确定SAD度量、最小相位差和置信度值。例如，每个像素可以与估计深度(对应于所确定的最小相位差)和针对所确定的最小相位差的对应置信度值相关联。替代地，可以针对像素组(例如，包括任何数量的像素(例如，2x2、4x4、10x10等)的像素邻域)确定SAD度量、最小相位差和置信度值。第二深度图可以包括上述的组合，使得第二深度图的单个像素可以与单个置信度得分相关联，而包括该单个像素或与该单个像素分离的像素组可以与置信度得分相关联。在一些示例中，与像素组相关联的置信度得分可以是与被包括在像素组内的各个像素相关联的各个置信度值的平均。
设备100可以基于第一深度数据和第二深度数据来生成组合深度数据。基于第一深度数据和第二深度数据来生成组合深度数据可以包括：基于与第一深度数据关联的第一置信度值集合和与第二深度数据关联的第二置信度值集合来对第一深度数据的一部分和第二深度数据的一部分进行组合。例如，可以选择来自第一深度数据的一个或多个深度值和来自第二深度数据的一个或多个深度值以包括在组合深度数据中。可以基于与来自第一深度数据和第二深度数据的一个或多个深度值相关联的对应置信度值来选择来自第一深度数据和第二深度数据的一个或多个深度值。在一些示例中，组合深度数据可以包括组合深度图。
可以在第一深度数据和第二深度数据之间比较与深度值相关联的对应置信度值(例如，对应于单个像素或像素组)。可以选择基于比较与最高置信度值相关联的深度值，以包括在组合深度数据和/或组合深度图中。可以针对单个像素和/或针对像素组选择所选择的深度值。例如，可以将与第一深度数据相关联的第一置信度值集合中的与第一深度值(针对单个像素或针对像素组)相关联的第一置信度值同与第二深度数据相关联的第二置信度值集合中的与第二深度值(针对对应的单个像素或针对对应的像素组)相关联的对应第二置信度值进行比较。基于该比较，可以在第一置信度值和第二置信度值之间确定较高置信度值。可以选择与较高置信度值相关联的深度值，以包括在组合深度数据和/或组合深度图中。换句话说，基于第一深度图或第二深度图中的哪个深度值具有最高置信度值，第一深度数据的第一深度值或第二深度数据的第二深度值可以被包括在针对该对应像素或像素组的组合深度数据和/或组合深度图中。
在另一示例中，可以基于第一置信度值集合和第二置信度值集合来选择来自第一深度数据和第二深度数据的每个深度值的比例贡献。例如，在第一深度数据和第二深度数据之间的针对对应像素或像素组的、在第一深度数据和第二深度数据之间具有较高置信度值的深度值可以被分配第一权重，而在第一深度数据和第二深度数据之间的较低置信度值可以被分配第二权重，使得第一权重大于第二权重。在加权之后，可以在针对该像素或像素组的组合深度数据和/或组合深度图内表示这两个深度值。例如，可以将与第一深度数据相关联的第一置信度值集合中的与第一深度值(针对单个像素或针对像素组)相关联的第一置信度值同与第二深度数据相关联的第二置信度值集合中的与第二深度值(针对对应的单个像素或针对对应的像素组)相关联的对应第二置信度值进行比较。基于该比较，可以在第一置信度值和第二置信度值之间确定较高置信度值和较低置信度值。第一权重可以被分配给第一深度值，并且第二权重可以被分配给第二深度值。第一权重可以与第一置信度值成比例，而第二权重可以与第二置信度值成比例。可以选择与第一深度数据相关联的第一加权深度值和与第二深度数据相关联的第二加权深度值两者，以包括在针对该对应像素的组合深度数据和/或组合深度图中。换句话说，如果第一深度数据和第二深度数据在给定像素或像素组处具有相似的置信度值，则组合深度数据和/或组合深度图中的该像素或像素组可以反映来自第一深度数据和第二深度数据中的每一者的相似贡献。相反，如果第一深度数据在给定像素或像素组处具有较低置信度值(与第二深度数据的与相同像素或像素组相关联的置信度值相比)，则在组合深度数据和/或组合深度图中，第一深度数据的针对该像素或像素组的深度值的贡献可以较小。
在一些示例中，图1的设备100可以可选地禁用主动深度系统。例如，设备100可以接收来自用户的用以禁用主动深度系统的输入。在另一示例中，设备100可以基于当前照明条件和/或元数据来确定何时禁用主动深度系统。例如，如果场景因阳光而明亮，则可以可选地禁用主动深度系统。可以通过断开发送器/投射器来禁用主动深度系统，使得源光不会发送到场景上。在这种情况下，可以基于红外PDAF传感器的聚焦像素来生成深度数据。
在一些示例中，可以基于被包括在单独传感器(例如，RGB传感器)和/或单独立体声相机系统内的聚焦像素来生成额外的深度数据。可以考虑基于被包括在单独传感器(例如，RGB传感器)和/或单独立体声相机系统内的聚焦像素而生成的额外深度数据以用于组合在组合深度数据和/或组合深度图中。
图6是根据一些实施例的生成组合深度数据的方法的流程图。在框602处，方法600可以基于包括传感器的主动深度系统来生成第一深度数据。如上所讨论的，主动深度系统可以包括结构光系统、TOF系统等。主动深度系统可以包括发送器和接收器。接收器可以包括传感器。在框604处，方法600可以基于被包括在传感器内的聚焦像素来生成第二深度数据。聚焦像素可以被包括在主动深度系统的相同传感器/接收器内。在框606处，方法600可以基于第一深度数据和第二深度数据来生成组合深度数据和/或组合深度图。
图7A描绘了基于单个深度映射系统而生成的示例场景702和相应的深度图704。单个深度映射系统可以包括主动深度系统，诸如结构光、TOF等。替代地，单个深度映射系统可以包括被动深度系统，诸如立体声相机系统或PDAF传感器的聚焦像素。如图7A所示，深度图704包括场景702中的人的面部和/或身体应当在其中的间隙(例如，白色或浅灰色区域)。图7B描绘了示例场景712以及使用本文公开的技术、基于组合深度数据和/或组合深度图而生成的对应深度图714。如图7B的场景712所示，将具有点的形式的源光投射到场景712上。可以基于本文公开的技术来生成组合深度数据和/或组合深度图(例如，深度图174)，包括：基于在红外PDAF传感器处接收的点的反射和/或环境光来生成第一深度数据；基于红外PDAF传感器的聚焦像素，基于所接收的点的反射和/或环境光来生成第二深度数据；以及基于第一深度数据和第二深度数据来生成组合深度数据和/或组合深度图(例如，组合深度图714)。如图7B所示，与场景702的深度图704相比，组合深度图714包括其中人的面部和/或身体在场景712中的更多深度数据，场景702的深度图704仅使用一种深度映射技术，而不使用本文公开的红外PDAF传感器。
图8是包括主动深度系统的示例设备800的框图。在一些示例中，主动深度系统可以耦合到设备800。示例设备800可以包括以下各者或耦合到以下各者：发送器801(诸如图1的发送器105、图2的发送器202和/或图3A的发送器302)、接收器802(诸如图1的接收器104、图2的接收器208和/或图3A的接收器308)、处理器804、存储指令808的存储器806、深度控制器810(其可以包括一个或多个信号处理器812)。设备800可以可选地包括(或耦合到)显示器814和多个输入/输出(I/O)组件816。设备800可以可选地包括耦合到相机控制器822(其可以包括用于处理来自相机803的捕获的一个或多个图像信号处理器824)的相机803(其可以是单相机、双相机模块或具有任何数量的相机传感器的模块)。与相机803相关联的图像传感器可以包括聚焦像素和/或滤色器。设备800还可以可选地包括一个或多个传感器820(诸如陀螺仪、磁强计、惯性传感器、NIR传感器等)。设备800可以包括未示出的额外特征或组件。例如，可以包括用于无线通信设备的无线接口，该无线接口可以包括多个收发机和基带处理器。设备800还可以包括电源818，其可以耦合到设备800或集成到设备800中。
发送器801和接收器802可以是由深度控制器810和/或处理器804控制的主动深度系统(诸如图2的结构光系统200和/或图3A中的TOF系统300)的一部分。设备800可以包括或耦合到包括一个或多个结构光系统和/或TOF系统的额外主动深度系统。本公开内容不应当限于任何特定示例或示图，包括示例设备800。如图8所示，主动深度系统的接收器802可以包括一个或多个聚焦像素，如参考图4A-4E所讨论的。
存储器806可以是存储用于执行在本公开内容中描述的一个或多个操作的全部或部分操作的计算机可执行指令808的非瞬态或非暂时性计算机可读介质。处理器804可以是能够执行存储在存储器806内的一个或多个软件程序的脚本或指令(诸如指令808)的一个或多个适当的处理器。在一些方面中，处理器804可以是一个或多个通用处理器，所述通用处理器执行指令808以使得设备800执行任何数量的功能或操作。在额外或替代的方面中，处理器804可以包括集成电路或其它硬件以在不使用软件的情况下执行功能或操作。虽然在图8的示例中示为经由处理器804彼此耦合，但是处理器804、存储器806、深度控制器810、可选显示器814、可选I/O组件816、可选相机控制器822和可选传感器820可以以各种布置彼此耦合。例如，处理器804、存储器806、深度控制器810、可选显示器814、可选I/O组件816、可选相机控制器822和/或可选传感器820可以经由一个或多个本地总线互相耦合(为了简单起见未示出)。一个或多个本地总线可以是各种总线结构中的任何一种，诸如第三代总线(例如，HyperTransport总线或InfiniBand总线)、第二代总线(例如，高级图形端口总线、外围组件互连(PCI)快速总线、或高级可扩展接口(AXI)总线)或其它类型的总线或设备互连。应当注意，图8的不同组件之间的总线和通信接口的特定配置仅仅是示例性的，并且具有相同或不同组件的设备的其它配置可以用于实现本公开内容的技术。
显示器814可以是考虑到用户交互和/或呈现用于由用户观看的项目(诸如场景的深度图或预览图像)的任何适当的显示器或屏幕。在一些方面中，显示器814可以是触敏显示器。I/O组件816可以是或者包括用于从用户接收输入(比如命令)以及向用户提供输出的任何适当的机制、接口或设备。例如，I/O组件816可以包括(但不限于)图形用户界面、键盘、鼠标、麦克风和扬声器、设备800的可压缩外框(bezel)或边框、位于设备800上的物理按钮等。显示器814和/或I/O组件816可以向用户提供场景的预览图像或深度图，和/或接收用于调整设备800的一个或多个设置(诸如调整由发送器801进行的发射的强度，确定或切换主动深度系统的模式，调整发送器801的发射场等)的用户输入。
深度控制器810可以包括信号处理器812，其可以是一个或多个处理器以处理接收器802提供/接收的测量和/或控制发送器801(诸如切换模式)。在一些方面中，信号处理器812可以执行来自存储器的指令(诸如来自存储器806的指令808或被存储在耦合到信号处理器812的单独存储器中的指令)。在其它方面中，信号处理器812可以包括用于操作的特定硬件。信号处理器812可以替代地或另外包括特定硬件和执行软件指令的能力的组合。
详细描述是针对某些特定实施例的。然而，可以设想不同的实施例。应当显而易见的是，本文中的各方面可以以多种多样的形式来体现，并且本文中公开的任何特定的结构、功能或这两者仅是代表性的。基于本文的教导，本领域技术人员应当明白的是，本文公开的方面可以独立于任何其它方面来实现，并且这些方面中的两个或更多个方面可以以各种方式进行组合。例如，使用本文阐述的任何数量的方面，可以实现一种装置或者可以实施一种方法。另外，使用除了或者不同于本文阐述的方面中的一个或多个方面的其它结构、功能、或者结构和功能，可以实现这样的装置或者可以实施这样的方法。
应理解的是，所有的目的或优点可能不一定是根据本文描述的任何特定实施例来实现的。因此，例如，本领域技术人员将认识到的是，某些实施例可以被配置为以实现或优化如本文所教导的一个优点或一组优点的方式进行操作，而不必实现可能如本文所教导或启示的其它目的或优点。
本文描述的所有过程可以体现在由包括一个或多个计算机或处理器的计算系统执行的软件代码模块中，并且经由其而被完全自动化。代码模块可以被存储在任何类型的非暂时性计算机可读介质或其它计算机存储设备中。一些或所有方法可以体现在专用计算机硬件中。
根据本公开内容，除了本文描述的那些之外的许多其它变型将是显而易见的。例如，根据实施例，本文描述的算法中的任何算法的某些动作、事件或功能可以以不同的顺序来执行，可以被添加、合并或者完全省略(例如，对于实施算法而言，并非所有描述的动作或事件都是必要的)。此外，在某些实施例中，动作或事件可以例如通过多线程处理、中断处理或多个处理器或处理器核、或者在其它并行架构上并发执行，而不是顺序地执行。另外，可以由可以一起运作的不同机器和/或计算系统来执行不同的任务或过程。
结合本文公开的实施例所描述的各种说明性的逻辑框和模块可以由机器来实现或执行，诸如被设计为执行本文描述的功能的处理单元或处理器、数字信号处理器(DSP)、专用集成电路(ASIC)、现场可编程门阵列(FPGA)或其它可编程逻辑器件、分立门或晶体管逻辑、分立硬件组件或其任何组合。处理器可以是微处理器，但是在替代方案中，处理器可以是控制器、微控制器、或状态机、这些项的组合等。处理器可以包括被配置为处理计算机可执行指令的电路。在另一实施例中，处理器包括执行逻辑运算而不处理计算机可执行指令的FPGA或其它可编程器件。处理器还可以被实现为计算设备的组合，例如，DSP和微处理器的组合、多个微处理器、一个或多个微处理器与DSP核的结合、或任何其它这样的配置。尽管本文中主要关于数字技术进行描述，但是处理器还可以主要包括模拟组件。计算环境可以包括任何类型的计算机系统，仅举几例，其包括但不限于基于微处理器、大型计算机、数字信号处理器、便携式计算设备、设备控制器、或在电器内的计算引擎的计算机系统。
除非另有明确说明，否则条件性语言(尤其诸如“能够(can)”、“能(could)”、“可能(might)”或“可以(may)”)在上下文中被理解为通常用于传达某些实施例包括(而其它实施例不包括)某些特征、元素和/或步骤。因此，这样的条件性语言通常并不旨在暗示：特征、元素和/或步骤无论如何对于一个或多个实施例都是所需要的，或者一个或多个实施例必然包括用于在具有或不具有用户输入或提示的情况下决定这些特征、元素和/或步骤是否被包括在任何特定实施例中或者是否要在任何特定实施例中执行的逻辑单元。
除非另有明确说明，否则诸如短语“X、Y或Z中的至少一个”之类的分离性语言与上下文一起被理解为通常用于呈现项目、术语等可以是X、Y或Z或其任何组合(例如，X，Y和/或Z)。因此，这种分离性语言通常并不旨在并且不应当暗示某些实施例要求分别存在X中的至少一个、Y中的至少一个或Z的至少一个。
术语“确定”包括多种多样的动作，并且因此，“确定”可以包括计算、运算、处理、推导、研究、查找(例如，在表、数据库或另一种数据结构中查找)、查明等等。此外，“确定”可以包括接收(例如，接收信息)、访问(例如，访问存储器中的数据)等。此外，“确定”可以包括解析、选择、选定、建立等等。
除非另外明确指出，否则短语“基于”并不意味着“仅基于”。换句话说，短语“基于”描述了“仅基于”和“至少基于”两者。
本文中描述的和/或在附图中描绘的流程图中的任何过程描述、元素或框应当被理解为潜在地表示代码的模块、段或部分，其包括用于实现过程中的特定逻辑功能或元素的一个或多个可执行指令。替代实现方式被包括在本文中描述的实施例的范围内，在替代实现方式中，如本领域技术人员将理解的，根据所涉及的功能，元素或功能可以被删除，不按所示出或所讨论的次序执行(包括基本上并发地或者以相反的次序)。
除非另有明确说明，否则诸如“一(a)”或“一个(an)”之类的冠词通常应当被解释为包括一个或多个描述的项目。因此，诸如“被配置为……的设备”之类的短语旨在包括一个或多个记载的设备。这种一个或多个记载的设备也可以被共同地配置为执行所阐明的记载。例如，“被配置为执行记载A、B和C的处理器”可以包括被配置为执行记载A的第一处理器，其与被配置为执行记载B和C的第二处理器相结合地工作。
应当强调的是，可以对上述实施例进行许多变型和修改，其中的元素要被理解为在其它可接受的示例当中。本文中所有这些修改和变型旨在被包括在本公开内容的范围内并且由跟随的权利要求保护。

Claims (34)

1.一种设备，包括：
投射器，其被配置为将源光发送到场景上；
红外相位检测自动聚焦(PDAF)传感器，其被配置为接收所述源光从所述场景内的对象的反射，所述红外PDAF传感器包括第一像素集合，所述第一像素集合包括聚焦像素；
存储器；以及
耦合到所述红外PDAF传感器和所述存储器的处理器，所述处理器被配置为：
基于所述源光的所接收的反射来生成第一深度数据；
基于从所述聚焦像素的对应对而生成的信号来生成第二深度数据；以及
基于所述第一深度数据和所述第二深度数据来生成组合深度数据。
2.根据权利要求1所述的设备，其中，所述红外PDAF传感器包括第二像素集合，所述第二像素集合包括窄带滤波器。
3.根据权利要求1所述的设备，其中，生成所述第二深度数据是基于确定的在从对应的聚焦像素对而生成的所述信号之间的差异的。
4.根据权利要求2所述的设备，其中，所述第一像素集合的至少子集包括所述窄带滤波器。
5.根据权利要求1所述的设备，其中，所述红外PDAF传感器包括一个或多个滤波器。
6.根据权利要求5所述的设备，其中，所述一个或多个滤波器包括一个或多个窄带滤波器。
7.根据权利要求5所述的设备，其中，所述一个或多个滤波器包括一个或多个滤色器。
8.根据权利要求5所述的设备，其中，所述一个或多个滤波器被机械地控制以在所述红外PDAF传感器的一个或多个像素上方移动。
9.根据权利要求1所述的设备，其中，所述红外PDAF传感器被包括在主动深度系统内。
10.根据权利要求9所述的设备，其中，所述第一深度数据是基于所述主动深度系统来生成的。
11.根据权利要求1所述的设备，其中，所述源光包括红外光。
12.根据权利要求1所述的设备，其中，所述源光包括图案。
13.根据权利要求12所述的设备，其中，所述图案包括结构化图案。
14.根据权利要求1所述的设备，其中，所述源光包括泛洪图案。
15.根据权利要求1所述的设备，其中，所述处理器还被配置为：
确定与所述第一深度数据相关联的第一置信度值集合；以及
确定与所述第二深度数据相关联的第二置信度值集合。
16.根据权利要求15所述的设备，其中，生成所述组合深度数据包括：基于与所述第一深度数据相关联的所述第一置信度值集合和与所述第二深度数据相关联的所述第二置信度值集合，来对所述第一深度数据的一部分和所述第二深度数据的一部分进行组合。
17.根据权利要求16所述的设备，其中，基于与所述第一深度数据相关联的所述第一置信度值集合和与所述第二深度数据相关联的所述第二置信度值集合，来对所述第一深度数据的一部分和所述第二深度数据的一部分进行组合，包括：
将与所述第一深度数据相关联的所述第一置信度值集合中的第一置信度值同与所述第二深度数据相关联的所述第二置信度值集合中的对应第二置信度值进行比较；
基于所述比较来确定所述第一置信度值和所述第二置信度值之间的较高置信度值；以及
选择与所述较高置信度值相关联的深度值，以包括在所述组合深度数据中。
18.根据权利要求16所述的设备，其中，基于与所述第一深度数据相关联的所述第一置信度值集合和与所述第二深度数据相关联的所述第二置信度值集合，来对所述第一深度数据的一部分和所述第二深度数据的一部分进行组合，包括：
将第一权重分配给与所述第一深度数据相关联的所述第一置信度值集合中的第一置信度值相关联的第一深度值；
将第二权重分配给和与所述第二深度数据相关联的所述第二置信度值集合中的对应第二置信度值相关联的对应第二深度值，其中，所述第一权重与所述第一置信度值成比例，并且所述第二权重与所述第二置信度值成比例；以及
选择与所述第一深度数据相关联的第一加权深度值和与所述第二深度数据相关联的第二加权深度值，以包括在所述组合深度数据中。
19.一种方法，包括：
基于包括红外相位检测自动聚焦(PDAF)传感器的主动深度系统来生成第一深度数据，所述红外PDAF传感器包括第一像素集合，所述第一像素集合包括聚焦像素；
基于从所述聚焦像素的对应对而生成的信号来生成第二深度数据；以及
基于所述第一深度数据和所述第二深度数据来生成组合深度数据。
20.根据权利要求19所述的方法，其中，所述红外PDAF传感器包括第二像素集合，所述第二像素集合包括窄带滤波器。
21.根据权利要求19所述的方法，其中，生成所述第二深度数据是基于确定的在从对应的聚焦像素对而生成的所述信号之间的差异的。
22.根据权利要求20所述的方法，其中，所述第一像素集合的至少子集包括所述窄带滤波器。
23.根据权利要求19所述的方法，其中，所述红外PDAF传感器包括一个或多个滤波器。
24.根据权利要求23所述的方法，其中，所述一个或多个滤波器包括一个或多个窄带滤波器。
25.根据权利要求23所述的方法，其中，所述一个或多个滤波器包括一个或多个滤色器。
26.根据权利要求23所述的方法，其中，所述一个或多个滤波器被机械地控制以在所述红外PDAF传感器的一个或多个像素上方移动。
27.根据权利要求19所述的方法，还包括：
经由投射器将源光发送到场景上；以及
经由所述红外PDAF传感器接收所述源光从所述场景内的对象的反射。
28.根据权利要求27所述的方法，其中，所述源光包括红外光。
29.根据权利要求27所述的方法，其中，所述源光包括图案。
30.根据权利要求29所述的方法，其中，所述图案包括结构化图案。
31.根据权利要求27所述的方法，其中，所述源光包括泛洪图案。
32.根据权利要求19所述的方法，还包括：
确定与所述第一深度数据相关联的第一置信度值集合；以及
确定与所述第二深度数据相关联的第二置信度值集合。
33.根据权利要求32所述的方法，其中，生成所述组合深度数据包括：基于与所述第一深度数据相关联的所述第一置信度值集合和与所述第二深度数据相关联的所述第二置信度值集合，来对所述第一深度数据的一部分和所述第二深度数据的一部分进行组合。
34.一种在其上存储指令的非暂时性计算机可读存储介质，所述指令在被执行时使得一个或多个处理器进行以下操作：
基于包括传感器的主动深度系统来生成第一深度数据，所述传感器包括第一像素集合，所述第一像素集合包括聚焦像素；
基于从所述聚焦像素的对应对而生成的信号来生成第二深度数据；以及
基于所述第一深度数据和所述第二深度数据来生成组合深度数据。
CN202080058900.5A 2019-08-30 2020-08-27 相位检测自动聚焦(pdaf)传感器 Pending CN114270803A (zh)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201962893982P 2019-08-30 2019-08-30
US62/893,982 2019-08-30
US17/003,807 2020-08-26
US17/003,807 US11818462B2 (en) 2019-08-30 2020-08-26 Phase detection autofocus sensor apparatus and method for depth sensing
PCT/US2020/048210 WO2021041683A1 (en) 2019-08-30 2020-08-27 Phase detection autofocus (pdaf) sensor

Publications (1)

Publication Number Publication Date
CN114270803A true CN114270803A (zh) 2022-04-01

Family

ID=74679216

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202080058900.5A Pending CN114270803A (zh) 2019-08-30 2020-08-27 相位检测自动聚焦(pdaf)传感器

Country Status (5)

Country Link
US (1) US11818462B2 (zh)
EP (1) EP4022339A1 (zh)
CN (1) CN114270803A (zh)
TW (1) TW202119809A (zh)
WO (1) WO2021041683A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113141468A (zh) * 2021-05-24 2021-07-20 维沃移动通信（杭州）有限公司 对焦方法、装置和电子设备

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110956657B (zh) * 2018-09-26 2023-06-30 Oppo广东移动通信有限公司 深度图像获取方法及装置、电子设备及可读存储介质
US20210231808A1 (en) * 2020-01-29 2021-07-29 Melexis Technologies Nv Depth mapping system and method therefor
WO2022195537A1 (en) * 2021-03-17 2022-09-22 The Trustees Of Princeton University Microlens amplitude masks for flying pixel removal in time-of-flight imaging
KR20240007277A (ko) 2021-05-18 2024-01-16 스냅 인코포레이티드 스테레오 비전 및 위상 검출 오토 포커스(pdaf)를 사용한 가변 깊이 결정

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016090785A (ja) * 2014-11-04 2016-05-23 キヤノン株式会社 撮像装置及びその制御方法
CN106982329A (zh) * 2017-04-28 2017-07-25 广东欧珀移动通信有限公司 图像传感器、对焦控制方法、成像装置和移动终端
CN108886571A (zh) * 2017-03-13 2018-11-23 亮锐控股有限公司 具有改善的自动对焦性能的成像设备

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100657915B1 (ko) * 2004-11-26 2006-12-14 삼성전자주식회사 코너 검출 방법 및 코너 검출 장치
JP5319347B2 (ja) * 2009-03-17 2013-10-16 キヤノン株式会社 撮像装置及びその制御方法
US8885890B2 (en) 2010-05-07 2014-11-11 Microsoft Corporation Depth map confidence filtering
US10178373B2 (en) * 2013-08-16 2019-01-08 Qualcomm Incorporated Stereo yaw correction using autofocus feedback
US10061028B2 (en) * 2013-09-05 2018-08-28 Texas Instruments Incorporated Time-of-flight (TOF) assisted structured light imaging
US9906772B2 (en) 2014-11-24 2018-02-27 Mediatek Inc. Method for performing multi-camera capturing control of an electronic device, and associated apparatus
US9584716B2 (en) * 2015-07-01 2017-02-28 Sony Corporation Method and apparatus for autofocus area selection by detection of moving objects
US9906706B2 (en) * 2015-12-23 2018-02-27 Visera Technologies Company Limited Image sensor and imaging device
KR102618542B1 (ko) * 2016-09-07 2023-12-27 삼성전자주식회사 ToF (time of flight) 촬영 장치 및 ToF 촬영 장치에서 깊이 이미지의 블러 감소를 위하여 이미지를 처리하는 방법
US10271033B2 (en) 2016-10-31 2019-04-23 Verizon Patent And Licensing Inc. Methods and systems for generating depth data by converging independently-captured depth maps
US10044926B2 (en) 2016-11-04 2018-08-07 Qualcomm Incorporated Optimized phase detection autofocus (PDAF) processing
CN107888829B (zh) 2017-11-23 2020-08-28 努比亚技术有限公司 移动终端的对焦方法、移动终端及存储介质
US10755426B2 (en) * 2018-05-23 2020-08-25 Apple Inc. Efficient scene depth map enhancement for low power devices

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016090785A (ja) * 2014-11-04 2016-05-23 キヤノン株式会社 撮像装置及びその制御方法
CN108886571A (zh) * 2017-03-13 2018-11-23 亮锐控股有限公司 具有改善的自动对焦性能的成像设备
CN106982329A (zh) * 2017-04-28 2017-07-25 广东欧珀移动通信有限公司 图像传感器、对焦控制方法、成像装置和移动终端

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113141468A (zh) * 2021-05-24 2021-07-20 维沃移动通信（杭州）有限公司 对焦方法、装置和电子设备
CN113141468B (zh) * 2021-05-24 2022-08-19 维沃移动通信（杭州）有限公司 对焦方法、装置和电子设备

Also Published As

Publication number Publication date
US20210067705A1 (en) 2021-03-04
WO2021041683A1 (en) 2021-03-04
TW202119809A (zh) 2021-05-16
EP4022339A1 (en) 2022-07-06
US11818462B2 (en) 2023-11-14

Similar Documents

Publication Publication Date Title
US11818462B2 (en) Phase detection autofocus sensor apparatus and method for depth sensing
US11405535B2 (en) Quad color filter array camera sensor configurations
US9182490B2 (en) Video and 3D time-of-flight image sensors
US9338380B2 (en) Image processing methods for image sensors with phase detection pixels
US9432568B2 (en) Pixel arrangements for image sensors with phase detection pixels
US10582178B2 (en) Systems and methods for active depth imager with background subtract
KR20170015160A (ko) 선택적 적외선 필터 어레이를 갖는 센서 어셈블리
KR101991237B1 (ko) 공간 및 시간 내의 이벤트들의 포착
US20100157094A1 (en) Focus detection apparatus, focus detection method, and image sensing apparatus
EP3980807A1 (en) Mixed active depth
US20230046521A1 (en) Control method, camera assembly, and mobile terminal
WO2015188146A2 (en) Sensors and systems for the capture of scenes and events in space and time
JP7259756B2 (ja) 撮像装置および信号処理装置
US10574872B2 (en) Methods and apparatus for single-chip multispectral object detection
US20160241772A1 (en) Dynamic auto focus zones for auto focus pixel systems
WO2023279289A1 (en) Processing image data using multi-point depth sensing system information
KR20220072834A (ko) 전자기기
US11056528B2 (en) Image sensor with phase-sensitive pixels
WO2019188396A1 (ja) 撮像装置および方法、画像処理装置および方法、並びに、撮像素子
US11438486B2 (en) 3D active depth sensing with laser pulse train bursts and a gated sensor
US11418697B2 (en) Image sensor and photographing apparatus including the same
US10890839B1 (en) Structured light imaging device
CN110598685A (zh) 分辨前景的成像装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination