CN114143435A - 用于多个f值镜头的方法和系统 - Google Patents

用于多个f值镜头的方法和系统 Download PDF

Info

Publication number
CN114143435A
CN114143435A CN202111508715.4A CN202111508715A CN114143435A CN 114143435 A CN114143435 A CN 114143435A CN 202111508715 A CN202111508715 A CN 202111508715A CN 114143435 A CN114143435 A CN 114143435A
Authority
CN
China
Prior art keywords
light
imaging system
nir
wavelength range
lens
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202111508715.4A
Other languages
English (en)
Inventor
A·佩尔曼
E·塔德莫尔
D·科恩
G·雅哈夫
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Magic Leap Inc
Original Assignee
Magic Leap Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Magic Leap Inc filed Critical Magic Leap Inc
Publication of CN114143435A publication Critical patent/CN114143435A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/254—Image signal generators using stereoscopic image cameras in combination with electromagnetic radiation sources for illuminating objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/67—Focus control based on electronic image sensor signals
    • H04N23/671—Focus control based on electronic image sensor signals in combination with active ranging signals, e.g. using light or sound signals emitted toward objects
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06—Systems determining position data of a target
    • G01S17/42—Simultaneous measurement of distance and other co-ordinates
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • G01S17/894—3D imaging with simultaneous measurement of time-of-flight at a 2D array of receiver pixels, e.g. time-of-flight cameras or flash lidar
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/481—Constructional features, e.g. arrangements of optical elements
    • G01S7/4816—Constructional features, e.g. arrangements of optical elements of receivers alone
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/483—Details of pulse systems
    • G01S7/486—Receivers
    • G01S7/4865—Time delay measurement, e.g. time-of-flight measurement, time of arrival measurement or determining the exact position of a peak
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B1/00—Optical elements characterised by the material of which they are made; Optical coatings for optical elements
    • G02B1/10—Optical coatings produced by application to, or surface treatment of, optical elements
    • G02B1/11—Anti-reflection coatings
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B13/00—Optical objectives specially designed for the purposes specified below
    • G02B13/14—Optical objectives specially designed for the purposes specified below for use with infrared or ultraviolet radiation
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/0093—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for monitoring data relating to the user, e.g. head-tracking, eye-tracking
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/10—Beam splitting or combining systems
    • G02B27/1006—Beam splitting or combining systems for splitting or combining different wavelengths
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/10—Beam splitting or combining systems
    • G02B27/14—Beam splitting or combining systems operating by reflection only
    • G02B27/141—Beam splitting or combining systems operating by reflection only using dichroic mirrors
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/30—Collimators
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B5/00—Optical elements other than lenses
    • G02B5/20—Filters
    • G02B5/208—Filters for use with infrared or ultraviolet radiation, e.g. for separating visible light from infrared and/or ultraviolet radiation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/521—Depth or shape recovery from laser ranging, e.g. using interferometry; from the projection of structured light
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/332—Displays for viewing with the aid of special glasses or head-mounted displays [HMD]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/366—Image reproducers using viewer tracking
    • H04N13/383—Image reproducers using viewer tracking for tracking with gaze detection, i.e. detecting the lines of sight of the viewer's eyes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H04N23/55—Optical parts specially adapted for electronic image sensors; Mounting thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/56—Cameras or camera modules comprising electronic image sensors; Control thereof provided with illuminating means
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/667—Camera operation mode switching, e.g. between still and video, sport and normal or high- and low-resolution modes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/67—Focus control based on electronic image sensor signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/71—Circuitry for evaluating the brightness variation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/75—Circuitry for compensating brightness variation in the scene by influencing optical camera components
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/40—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled
    • H04N25/42—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled by switching between different modes of operation using different resolutions or aspect ratios, e.g. switching between interlaced and non-interlaced mode
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/40—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled
    • H04N25/46—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled by combining or binning pixels
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/71—Charge-coupled device [CCD] sensors; Charge-transfer registers specially adapted for CCD sensors
    • H04N25/75—Circuitry for providing, modifying or processing image signals from the pixel array

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Optics & Photonics (AREA)
  • Electromagnetism (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Health & Medical Sciences (AREA)
  • Toxicology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Studio Devices (AREA)
  • Blocking Light For Cameras (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)
  • Lenses (AREA)
  • Optical Radar Systems And Details Thereof (AREA)
  • Measurement Of Optical Distance (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Optical Filters (AREA)
  • Automatic Focus Adjustment (AREA)
  • Photometry And Measurement Of Optical Pulse Characteristics (AREA)

Abstract

本发明涉及用于多个F值镜头的方法和系统。一种成像镜头包括一个或多个镜头元件，该镜头元件被配置为接收被一个或多个第一对象反射的第一波长范围内的光并将该光聚焦到像平面上。成像镜头进一步包括孔径光阑以及位于孔径光阑处的滤波器。滤波器包括中心区域和围绕该中心区域的外部区域。滤波器的中心区域的特征在于第一波长范围内的第一透射带和第二波长范围内的第二透射带。滤波器的外部区域的特征在于第一波长范围内的第三透射带和第二波长范围内的基本上低的透射率值。

Description

用于多个F值镜头的方法和系统
本申请是申请日为2017年11月3日、PCT国际申请号为PCT/US2017/059951、中国国家阶段申请号为201780069250.2、发明名称为“用于多个F值镜头的方法和系统”的申请的分案申请。
相关申请的交叉引用
本申请主张2016年11月10日提交的序列号为62/420,249的美国临时专利申请的优先权益，该申请的全部公开内容通过引用并入。
背景技术
在光学系统中，成像镜头用于准直光，聚焦光等。尽管在光学系统的开发方面取得了进展，但本领域仍需要改进的成像镜头。
发明内容
本发明一般地涉及具有多个F值镜头的成像系统。根据本发明的实施例，成像系统包括近红外(NIR)光源，该近红外光源被配置为朝向一个或多个第一对象发射多个NIR光脉冲。多个NIR光脉冲中的每一者的一部分可以被一个或多个第一对象反射。该成像系统进一步包括成像镜头。该成像镜头包括一个或多个镜头元件，该镜头元件被配置为接收被一个或多个第一对象反射的多个NIR光脉冲中的每一者的该部分并将该部分聚焦到像平面上，并且被配置为接收被一个或多个第二对象反射的可见光并将该可见光聚焦到该像平面上。该成像镜头进一步包括孔径光阑，以及位于该孔径光阑处的滤波器。该滤波器包括具有第一线性尺寸的中心区域，以及围绕该中心区域的具有大于该第一线性尺寸的第二线性尺寸的外部区域。该滤波器的中心区域的特征在于NIR波长范围内的第一透射带和可见波长范围内的第二透射带。该滤波器的外部区域的特征在于第一波长范围内的第三透射带和第二波长范围内的基本上低的透射率值。该成像系统进一步包括位于像平面上的图像传感器。该图像传感器包括二维像素阵列。该图像传感器被配置为：以未合并像素分辨率对可见波长范围内的一个或多个第二对象的二维强度图像进行检测；以及以合并(bin)像素分辨率对NIR波长范围内的一个或多个第一对象的飞行时间三维图像进行检测。
根据本发明的另一实施例，一种成像镜头包括一个或多个镜头元件，该镜头元件被配置为接收被一个或多个第一对象反射的第一波长范围内的光并将该光聚焦到像平面上，并且被配置为接收被一个或多个第二对象反射的第二波长范围内的光并将该光聚焦到该像平面上。该成像镜头进一步包括孔径光阑，以及位于该孔径光阑处的滤波器。该滤波器包括：具有第一线性尺寸的中心区域；以及围绕该中心区域的具有大于该第一线性尺寸的第二线性尺寸的外部区域。该滤波器的中心区域的特征在于第一波长范围内的第一透射带和第二波长范围内的第二透射带。该滤波器的外部区域的特征在于第一波长范围内的第三透射带和第二波长范围内的基本上低的透射率值。
根据本发明的又一实施例，提供了一种操作成像系统的方法。该成像系统包括近红外(NIR)光源、成像镜头和位于该成像镜头的像平面处的图像传感器。该方法包括通过以下方式使用成像系统来执行三维感测：使用NIR光源朝向一个或多个第一对象发射多个NIR光脉冲，其中，该多个NIR光脉冲中的每一者的一部分被该一个或多个第一对象反射；使用成像镜头来接收被该一个或多个第一对象反射的多个NIR光脉冲中的每一者的该部分并将该部分聚焦到图像传感器上；以及通过确定多个NIR光脉冲中的每一者的该部分从发射到检测的飞行时间，使用该图像传感器来对该一个或多个第一对象的三维图像进行检测。该成像镜头包括孔径光阑和位于该孔径光阑上的波长选择滤波器。该波长选择滤波器具有第一区域和围绕该第一区域的第二区域。该波长选择滤波器被配置为通过第一区域和第二区域透射NIR光，并被配置为仅通过第一区域透射可见光。该方法进一步包括通过以下方式使用成像系统来执行计算机视觉：使用成像镜头接收被一个或多个第二对象反射的来自环境光源的可见光并将该可见光聚焦到图像传感器上；以及使用该图像传感器来对一个或多个第二对象的二维强度图像进行检测。
根据本发明的进一步的实施例，用于对第一波长范围内和第二波长范围内的光进行感测的图像传感器包括二维像素阵列和处理器。噶及处理器被配置为对第一波长范围内的像素阵列的每个像素的光强进行测量，以及对像素组的集合的第二波长范围内的光强进行测量。每个像素组包括m×n个像素的像素阵列，其中，m和n是整数，并且m和n中的至少一个大于1。在一些实施例中，第一波长范围与可见波长对应，第二波长范围与近红外(NIR)波长对应。在一些实施例中，m等于2，n等于2。在一些实施例中，对像素组的集合的第二波长范围内的光强进行测量包括读出每组m×n个像素的总电荷量。在一些替代实施例中，对像素组的集合的第二波长范围内的光强进行测量包括读出该像素阵列的每个像素的电荷量，并且通过对每组中的m×n个像素的电荷量求和来计算每组m×n个像素的总电荷量。
用本发明的方法实现了优于常规技术的许多优势。例如，本发明的实施例提供了一种成像镜头，该成像镜头的特征可以在于通过在其孔径光阑处使用波长选择滤波器，使得NIR光的f值较低，可见光的f值较高。此外，本发明的实施例提供了一种图像传感器。该图像传感器可以针对NIR光，使用像素合并以较低分辨率模式操作，并且可以针对可见光，使用原始像素分辨率以较高分辨率模式操作。在需要更快的镜头和更多的光集成的情况下，成像镜头和图像传感器可以适合用作TOF深度传感器，该深度传感器具有NIR波长范围内的有源照明，并且在需要较高的图像分辨率和较大的景深的情况下成像镜头和图像传感器可以适合用作计算机视觉传感器，该计算机视觉传感器具有可见波长范围内的无源照明。成像镜头可以适合用于以较低照相速度对可见光进行成像和以较快照相速度对IR光进行成像。将结合下面的文本和附图更详细地描述本发明的这些和其它实施例，以及它们的许多优点和特征。
附图说明
图1示意性地示出了包括根据本发明的实施例的成像系统的系统。
图2示意性地示出了根据本发明的实施例的包括成像镜头和图像传感器的成像系统。
图3示出了根据本发明的实施例的可以在成像镜头中使用的波长选择滤波器的示意性平面图。
图4A是示出根据本发明的实施例的根据图3所示的波长选择滤波器的中心区域的波长的透射率曲线的简化曲线图。
图4B是示出根据本发明的实施例的根据图3所示的波长选择滤波器的外部区域的波长的透射率曲线的简化曲线图。
图5示出了根据本发明的一些实施例的波长选择滤波器的示意性截面图。
图6示出了根据本发明的一些实施例的示意性成像系统。
图7示出了根据本发明的一些实施例的用于场点(例如，处于特定入射角的准直射线)的示例性成像系统的射线跟踪图。
图8示出了根据本发明的一些实施例的如射线跟踪所模拟的图像传感器处的强度分布。
图9示出了根据本发明的一些实施例的可以在成像系统中使用的波长选择滤波器的示意性截面图。
图10A示出了根据本发明的一些实施例的重影图像的强度分布，该重影图像来自利用图6所示的波长选择滤波器的射线跟踪模拟。
图10B示出了根据本发明的一些实施例的重影图像的强度分布，该重影图像来自利用图9所示的波长选择滤波器的射线跟踪模拟的。
图10C示出了根据本发明的一些实施例的使用图6所示的波长选择滤波器的重影图像强度与使用图9所示的波长选择滤波器的重影图像强度的比率。
图11示出了根据本发明的一些其它实施例的波长选择滤波器的示意性截面图。
图12示出了根据本发明的一些实施例的根据波长的图11所示的“黑色涂层”的透射率曲线和反射率曲线。
图13示出了根据本发明的一些实施例的根据波长的图11所示的第二多层薄膜的反射率曲线。
图14示出了根据本发明的实施例的根究图像传感器的波长的示例性量子效率(Q.E.)曲线。
图15示意性地示出了根据本发明的实施例的图像传感器的平面图。
图16示意性地示出了根据本发明的实施例的操作图像传感器的模式。
图17示意性地示出了根据本发明的另一实施例的成像系统。
图18示意性地示出了根据本发明的进一步的实施例的成像系统。
图19是示出根据本发明的实施例的操作成像系统的方法的简化流程图。
具体实施方式
本发明一般地涉及具有多个F值镜头的成像系统。在光学系统中，镜头的f值(有时被称为焦距比、f比、f光阑或相对光圈)是镜头焦距与入瞳直径的比率。F值是无量纲值，是镜头速度的定量度量。因此，F值或f/#由下式给出：
Figure BDA0003405114900000051
其中，f是焦距，D是入瞳的直径(有效光圈)。较高的F值意味着对于给定焦距镜头，应用较小直径的光阑。由于圆形光阑的面积为A＝πr2，因此对光圈直径进行翻倍以及因而减半F值，使得允许多达四倍的光进入系统。相反，增加成像镜头的F值通过减少光圈大小而减小了进入相机的光量。例如，F值翻倍允许多达1/4的光进入系统。
为了在F值翻倍时保持相同的摄影曝光，曝光时间需要长达四倍，或者可选地，需要将照度增加到高达原始水平的四倍。增加F值可以具有增加景深(DoF)和增加图像的空间分辨率(例如，通过调制传递函数或MTF测量)的益处。
图1示意性地示出了根据本发明的实施例的包括成像系统102和照射源104的系统100。系统100可以合并在护目镜中，如图1所示，用户可以佩戴该护目镜来进行虚拟现实(VR)或增强现实(AR)体验。系统100可以包括用于创建VR和AR体验的其它光学器件和电子部件。
在一个实施例中，成像系统102和照射源104可以用于飞行时间(TOF)深度感测。照射源104可以被配置为发射多个激光脉冲。多个激光脉冲中的每一者的一部分可以被用户前方的对象反射。由一个或多个对象反射的多个激光脉冲中的每一者的一部分可以由成像系统102接收和成像。成像系统102可以被配置为确定激光脉冲中的每一者从发送到检测的飞行时间，从而确定对象距用户的距离。照射源104可以包括激光源，诸如竖直腔面发射激光器(VCSEL)。在一些实施例中，激光源可以被配置为发射近红外(NIR)波长范围内的激光脉冲，例如在从约750nm至约1400nm的波长范围内。照射源104还可以包括准直镜头，该准直镜头用于准直多个激光脉冲。
在一些实施例中，成像系统102还可以用于计算机视觉。当用于计算机视觉时，成像系统102被配置为对用户前方的对象进行成像，该对象被可见波长范围内的无源背景光照射。通过将共享成像系统用于TOF深度感测和计算机视觉，可以实现更低成本和更紧凑的系统设计。应当理解，尽管上面将成像系统102描述为AR或VR系统的一部分，但是成像系统102可以用在其它系统中。在其它实施例中，世界相机(WC)106和108以及图片相机110也可以配置用于两种功能，即，用于对可见光和红外光两者进行成像。
在一些实施例中，系统100可以以时分方式操作成像系统102，使得在不同时隙处交替执行深度感测和计算机视觉。在一些实施例中，每个时隙的持续时间的范围可以为从约1ms至约50ms，从而在深度感测或计算机视觉中没有明显的延迟。在其它实施例中，系统100可以操作成像系统102以同时执行深度感测和计算机视觉，如下面更详细描述的。
图2示意性地示出了根据本发明的一些实施例的可用于双波长感测的成像系统200。例如，成像系统200可以用于NIR波长范围内的TOF深度感测和可见波长范围内的计算机视觉两者。成像系统200包括成像镜头210和位于成像镜头210的像平面处的图像传感器220。成像镜头210可包括沿光轴设置的一个或多个镜头元件216a至216e。成像镜头还可包括孔径光阑212，孔径光阑212可限定入瞳尺寸。在镜头系统中，确定到达图像的光量的限制直径被称为孔径光阑。在一些实施例中，孔径光阑可以定位在复合成像镜头的前部附近。在一些其它实施例中，孔径光阑可以定位在复合成像镜头的两组镜头元件之间(例如，如图2所示)。在这种情况下，入瞳尺寸由孔径光阑前面的镜头元件形成的孔径光阑的图像确定。在下文中，假设入瞳尺寸与孔径光阑尺寸相同。
当成像系统200用于TOF深度感测时，可以有利地将成像镜头210配置为快速镜头，以使得相对低功率的激光源可用于有源照明。低功率照明可导致较低的成本、较小的形状因子和较低的功耗以及其它优点。在一些情况下，对于TOF深度感测，可能需要相对低的f/#，例如在从约f/1至约f/1.4的范围内。相反，当成像系统200用于计算机视觉时，可以有利地将成像镜头210配置为慢镜头，从而可以实现较高的空间分辨率和较大的景深(DoF)。在一些情况下，对于计算机视觉，可能需要相对高的f/#，例如在从约f/2至约f/2.8的范围内。在可能需要具有不同的镜头速度来感测不同波长范围内的光(例如，红外感测和可见光感测)的情况下，成像系统200可以应用于其它应用。
根据本发明的实施例，成像镜头210包括位于孔径光阑212处的滤波器214，该滤波器214可以用作波长选择滤波器。图3示出了根据本发明的实施例的可以在成像镜头210中使用的滤波器214的示意性平面图。滤波器214可包括两个区域：具有第一直径D1的中心(例如，圆形)区域310和围绕中心区域310的外部(例如，环形)区域320。外部区域320的特征在于作为其外径的第二直径D2。第二直径D2可以与孔径光阑212的直径基本相同。应该理解，尽管中心区域310在图3中被示出为具有圆形形状，但是也可以使用其它形状，诸如椭圆形、正方形、矩形。类似地，尽管外部区域320在图3中被示出为具有环形形状，但是其它形状也是可能的。
图4A是根据本发明的实施例的根据滤波器214的中心区域310的波长的示例性透射率曲线图。图4B是根据本发明的实施例的根据滤波器214的外部区域320的波长的示例性透射率曲线图。如图4A所示，滤波器214的中心区域310可以被配置为具有NIR波长范围(例如，从约800nm至约950nm)内的第一透射带430和可见(VIS)波长范围(例如，从约400nm至约700nm)内的第二透射带440。因此，中心区域310的特征可以在于在NIR和可见波长范围两个范围内均具有高透射率值。如图4B所示，外部区域320可以被配置为在NIR波长范围(例如，从约800nm至约950nm)内只有一个透射带450，以使得外部区域320的特征在于在NIR波长范围内具有高透射率值而在可见波长范围内具有低透射率值。
在一些实施例中，滤波器214可包括形成在透明基板(诸如，玻璃)的表面上的多层薄膜堆叠。多层薄膜可以包括周期层系统，该周期层系统包括两种或更多种折射率不同的材料。该周期系统可以被设计为在一个或多个所需波长范围内显著增强表面的透射率，同时在其它波长范围内抑制该表面的透射率。随着堆叠中层数的增加，最大透射率可以增加到接近100％。构成多层薄膜堆叠的层的厚度通常是四分之一波长，该厚度被设计为使得透射光束相互结构性地干涉以最大化透射并且最小化反射。在一个实施例中，中心区域310中的多层薄膜堆叠可以被设计为具有两个高透射带，一个在可见波长范围内，另一个在NIR波长范围内，并且对于所有其它波长具有低透射率。环形区域320中的多层薄膜堆叠可以被设计为在NIR波长范围内仅具有一个高透射带，并且对于所有其它波长具有低透射率。在其它实施例中，可以使用其它类型的带通滤波器，诸如超表面滤波器。
图5示出了根据本发明的一些实施例的波长选择滤波器500的示意性截面图。滤波器500可以包括透明基板502，例如玻璃片，设置在基板502的正面上的第一多层薄膜510，以及设置在第一多层薄膜510上的第二多层薄膜520。第一多层薄膜510可以具有直径D2的圆形形状。第二多层薄膜520可以具有内径D1和外径D2的环形形状。在一些实施例中，滤波器500还可以包括在基板502的背面上的抗反射涂层530。
第一多层薄膜510可以被配置为具有透射率曲线，该透射率曲线在NIR波长范围(例如，约800nm至约950nm)内呈现第一透射带430，且在可见光(VIS)波长范围(例如，约400nm至约700nm)内呈现第二透射带440，如图4A所示。第二多层薄膜520可以被配置为高通滤波器，该高通滤波器透射NIR波长范围内的光并阻挡可见波长范围内的光，如图4A中的虚线460所示。这样，对于滤波器500的外部区域，第一多层薄膜510和第二多层薄膜520的组合可以产生图4B所示的有效透射率曲线450。因此，滤波器500的外部区域可以仅有效地透射NIR波长范围内的光，而滤波器500的中心区域可以透射可见波长范围和NIR波长范围两个范围内的光。
如图2所示，当滤波器214或500位于成像镜头210中的孔径光阑212处时，取决于被成像的光的波长范围滤波器214或500可以有效地产生用于成像镜头210的两个不同的光圈。参考图3和图4A至图4B，当成像镜头210用于对NIR光进行成像时，例如，在照明激光源104(如图1所示)在NIR波长范围内运行的情况下用于TOF深度感测，，通过滤波器214的中心区域310和外部区域320两个区域透射NIR光。因此，用于NIR光的成像镜头210的有效光圈是第二直径D2。当成像镜头210用于对可见光进行成像时，例如在照明来自环境可见光的情况下用于计算机视觉，可见光仅通过中心区域310透射。因此，用于可见光的成像镜头210的有效光圈是第一直径D1。具有波长选择滤波器214的成像镜头210可以应用于其它需要不同镜头速度来感测不同波长范围内的光的应用。
假设成像镜头210具有焦距f。当成像镜头用于对可见光进行成像时，成像镜头210的特征在于用于可见光的第一f/#，该特征由下式给出，
Figure BDA0003405114900000091
当成像镜头用于对NIR光进行成像时，成像镜头210的特征可以在于以用于NIR光的第二f/#，该特征由下式给出，
Figure BDA0003405114900000101
因此，成像镜头210可以被配置为具有：在NIR波长范围内用于TOF深度感测的相对低的f/#NIR；以及在可见波长范围内用于计算机视觉的相对高的f/#VIS。对于TOF深度感测，较低的f/#意味着更多主动照明NIR光可以传播通过成像镜头210。因此，可以使用相对低功率的激光源进行照明，这可导致更低的成本、更小的形状因子、以及更低的功耗等其它优势。在一些实施例中，可以选择D2的值以使得f/#NIR在从约f/1至约f/1.4的范围内。
对于可见波长范围内的计算机视觉，较高的f/#可以在像平面处提供更高的空间分辨率(例如，如通过MTF测量的)和更大的DoF等其它优点。实际上，在一些情况下对可见光进行成像时可能不需要较低的f/#。如下面更全面描述的，图像传感器在可见波长范围内通常具有比在NIR波长范围内更高的量子效率。因此，当快速镜头用于对可见光进行成像时，图像传感器可能饱和。在一些实实施例中，可以选择D1的值，以使得f/#VIS在从约f/2至约f/2.8的范围内。可以通过相应地设置比率D1/D2来控制VIS与NIR模式之间的强度比。在一些实实施例中，D1/D2的比率可以被选择为在约0.4至约0.6的范围内。在一个实施例中，D1/D2的比率可以被选择为约0.5，以使得f/#VIS的值约是f/#NIR的值的两倍大。
图6示出了根据一些实施例的示意性成像系统。成像系统可以包括波长选择滤波器600、光学镜头610和图像传感器620。尽管为了简化说明，图6中对于光学镜头610示出了单个镜头元件，但是光学镜头610可包括若干镜头元件。滤波器600可包括：透明基板602，诸如玻璃片；第一多层薄膜604，其具有圆形形状，该圆形形状具有第一直径D1；以及第二多层薄膜606，其具有围绕第一多层薄膜604的环形形状，该环形形状具有外径D2。第一多层薄膜604可以被配置为对于可见光范围和NIR波长范围两个范围都具有高透射率，且第二多层薄膜606可以被配置为仅对NIR波长范围具有高透射率，如上所述。
如图6所示，可见波长范围内的入射光线可以由第一多层薄膜604透射，并在图像传感器处形成图像点622，如由实线箭头所表示的光路所示。入射光中的部分可以被图像传感器620反射并入射在第二多层薄膜606的背面上，如由虚线箭头所表示的光路所示。对于可见波长范围内的入射光，反射光可以被第二多层薄膜606反射，因为第二多层薄膜606被配置为在可见波长范围内具有低透射率值和高反射率值。被第二多层薄膜606反射的光可以在图像传感器620处形成重影图像624。注意，对于NIR波长范围内的入射光，被图像传感器620反射并入射在第二多层薄膜606背面的该光部分将主要被第二多层薄膜606透射，因为第二多层薄膜606被配置为在NIR波长范围内具有高透射率值。因此，对于NIR波长范围内的光，滤波器600可能不会呈现明显的重影图像问题。
图7示出了根据一些实施例的用于场点(例如，处于特定入射角的准直射线)的示例性成像系统的射线跟踪图。图像系统可以包括波长选择滤波器700、光学镜头710和图像传感器720。图8示出了如射线跟踪所模拟的图像传感器720处的强度分布。如图所示，强度分布示出了图像点810以及重影图像820。重影图像可能使实际图像变得模糊。因此，可能需要防止重影图像的形成。
图9示出了根据一些实施例的可以在成像系统中使用并且可以防止重影图像形成的波长选择滤波器900的示意性截面图。类似于图6所示的波长选择滤波器600，滤波器900包括：透明基板602；形成在基板602的正面的第一多层薄膜604，第一多层薄膜604具有圆形形状，该圆形形状具有第一直径D1；以及形成在基板602正面的第二多层薄膜606，第二多层薄膜606具有围绕第一多层薄膜604的环形形状，该环形形状具有外径D2。第一多层薄膜604可以被配置为在可见波长范围和NIR波长范围两个范围内具有高透射率值，并且第二多层薄膜606可以被配置为仅在NIR波长范围内具有高透射率值，如上所述。
滤波器900还可以包括形成在基板602的背面上的第三薄膜910。第三薄膜910可以具有环形形状，该环形形状具有外径D2和内径D3。D3可以略大于第二多层薄膜606的内径D1，以便不阻挡通过波长选择滤波器600的中心区域(例如，第一多层薄膜604)进入成像系统的入射光线。在一些实施例中，D3的值可取决于基板602的厚度。对于相对薄的基板602，D3可与D1相当。第三薄膜910可以被配置为在可见波长范围内具有高吸收系数并且在NIR波长范围内具有高透射率值。因此，第三薄膜910可以被称为“黑色涂层”。当从图像传感器620反射的可见光入射在第三薄膜910R光脉冲中的光可以被第三薄膜910吸收，只有一小部分光可以被第三薄膜910透射并入射在第二多层薄膜606的背面上，如图9中的较细虚线箭头表示的光路所示。因此，与图6所示的使用不带“黑色涂层”的滤波器600的情况相比，可以显著减小重影图像624的强度。
图10A示出了根据一些实施例的根据射线跟踪模拟的重影图像的强度分布，该射线跟踪模拟使用图6所示的波长选择滤波器600。图10B示出了一些实施例的根据射线跟踪模拟的重影图像的强度分布，该射线跟踪模拟使用图9所示的包括“黑色涂层”910的波长选择滤波器900。如图所示，通过在波长选择滤波器900中包括“黑色涂层”910，可以显著减小重影图像的强度。图10C示出了使用不包括“黑色涂层”的波长选择性滤波器600的重影图像强度与使用具有“黑色涂层”910的波长选择滤波器900的重影图像强度的比率。如图所示，通过在波长选择滤波器900中包括“黑色涂层”910，重影图像强度可以减少多达20倍。
图11示出了根据一些其它实施例的波长选择滤波器1100的示意性截面图。滤波器1100可以包括透明基板1102、形成在基板1102的正面上的第一多层薄膜1110。第一多层薄膜1110可以被配置为在NIR波长范围内具有第一透射带430和在可见波长范围内具有第二透射带440，如图4A所示。滤波器1100还可以包括形成在第一多层薄膜1110的外部区域上的第二多层薄膜1120。第二多层薄膜1120可以被配置为与图5所示的波长选择滤波器500类似的高通滤波器。滤波器1100还可以包括形成在基板1102的背面上的抗反射涂层1130。抗反射涂层1130可以防止或减少从基板1102的背面反射的入射光的量。滤波器1100还可以包括形成在抗反射涂层1130的背面上的“黑色涂层”1140。“黑色涂层”1140可以被配置为吸收可见光并透射NIR光，如上所述。
图12示出了根据一些实施例的根据波长的“黑色涂层”1140的透射率曲线1210和反射率曲线1220。还示出了第一多层薄膜1110的透射率曲线1230。如图所示，“黑色涂层”1140可以被配置为对于从约400nm至约700nm的可见波长范围具有低透射率值，并且在从约800nm至约950nm的NIR波长范围内具有高透射率值。“黑色涂层”1140可以在从约700nm至约800nm的波长范围内具有相对高的反射率值，但是这不能显著影响波长选择性滤波器1100的性能，因为在该波长范围内的光主要被第一多层薄膜1110阻挡，如由第一多层薄膜1110的透射率曲线1230所证明的。
注意，“黑色涂层”1140在可见波长范围内具有低反射率值和低透射率值两个值。因此，“黑色涂层”1140可以基本上吸收可见光，从而对有被图像传感器620反射的可见光(如图9所示)透射和入射在第二多层薄膜606的背面上以在图像传感器620上形成重影图像624进行阻止。相反，抗反射涂层1130通常被配置为具有低反射率值但具有高透射率值。因此，被图像传感器620反射的可见光可以由抗反射涂层1130透射并且被第二多层薄膜1120反射，以在没有“黑色涂层”1140的情况下在图像传感器620上形成重影图像624。
图13示出了根据一些实施例的根据波长的第二多层薄膜1120的反射率曲线1310。如图所示，第二多层薄膜1120可以被配置为仅在从约800nm至约950nm的NIR波长范围内具有低反射率值(因此具有高透射率值)，并且对于所有其它波长具有相对高的反射率值。图13还示出了“黑色涂层”1140的反射率曲线1220，以及第一多层薄膜1110的透射率曲线1230。如图所示，“黑色涂层”1140在可见波长范围内的低反射率值可以减少可见波长范围内的光反射，从而降低重影图像的强度。
图14示出了根据本发明的实施例的根据图像传感器220的波长的示例性量子效率(Q.E.)曲线1410，该图像传感器220可以在如图2所示的成像系统200中使用函数的示。如图所示，图像传感器220在可见(VIS)波长范围内的量子效率可以多达在IR波长范围内的量子效率的四倍。因此，低f/#镜头可允许太多可见光传播通过成像镜头210到达图像传感器220并且可使图像传感器220饱和。
在一些实施例中，图2所示的成像系统200中的图像传感器220可以包括电荷耦合器件(CCD)或互补金属氧化物半导体(CMOS)器件，其将光转换为像素单元二维阵列中的电子。图15示意性地示出了根据本发明的实施例的图像传感器220的平面图。图像传感器220可以包括像素单元222的二维阵列。可以读出每个像素单元222的累积电荷的值以获得图像的强度分布。当成像系统200用于可见波长范围内的计算机视觉时，可能需要在图像传感器220处具有最高可能的的空间分辨率。另一方面，当成像系统200用于NIR波长范围内的TOF深度感测时，可以有利地以牺牲像素分辨率来获得更多的光集成，从而实现更好的信噪比(SNR)。
根据本发明的一些实施例，针对可见波长范围和NIR波长范围，可以以不同的分辨率模式对图像传感器220进行操作。在一个实施例中，针对可见波长范围，可以以原始分辨率对图像传感器220进行操作，即，以图像传感器的物理像素尺寸能支持的最大可能分辨率进行操作。因此，对于可见波长范围内的计算机视觉，可以操作图像传感器220，从而读出每个像素单元222中的累积电荷。
对于NIR波长范围，可以以低于原始分辨率的分辨率对图像传感器220进行操作，以实现更大的光集成。图16示意性地示出了根据本发明的实施例的操作图像传感器220的模式。像素单元222的二维阵列可以被合并为2×2的组224、每个组224包括四个像素单元222a至222d。该操作模式可被称为图像传感器像素合并。在其它实施例中，可以使用其它合并配置。例如，图像传感器220的像素单元222可以被合并为n×n的组，其中，n是大于1的整数。图像传感器的像素也可以被合并为m×n的组，其中，m和n是整数，并且m和n中的至少一个大于1，并且m可以等于或不等于n。通过对像素进行合并，与原始分辨率相比，可以降低空间分辨率。当图像传感器220用在包括波长选择滤波器214、500、600、900或1100的成像系统中时，因为成像系统的空间分辨率(例如，如通过调制传递函数或MTF所测量的)由于有效光圈大小较大在NIR波长范围内可能较低，所以降低图像传感器处的空间分辨率可能不是有害的。通过利用合并提供的更大的光集成，可以将相对低功率的激光源用于有源照明。较低功率照明可以导致较低的成本、较小的形状因子和较低的功耗以及其它优点。
在一个实施例中，可以在模拟级上执行合并，其中，读出每组中的m×n个像素的总累积电荷的值。在这种情况下，读出噪声不会被加入。在另一实施例中，可以在数字级上执行合并，其中，读出每个像素的累积电荷的值，然后对每组中的m×n个像素的读出值求和。在这种情况下，在求和过程中读出噪声被加入。因此，在读出噪声相对较低的情况下，后一实施例可能更合适。
如上所述，图2所示的成像系统200包括：成像镜头210，该成像镜头210的特征在于通过在其孔径光阑处利用波长选择滤波器214，以使得对于NIR光的F值较低，对于可见光的F值较高；以及图像传感器220，该图像传感器220对于使用像素合并的NIR光以较低分辨率模式操作，对于可见光以较高分辨率模式操作。成像系统200可以适合用作TOF深度传感器，该深度传感器具有NIR波长范围内的有源照明，其中，需要更快的镜头和更多的光集成，且成像系统200适合用作计算机视觉传感器，该计算机视觉传感器具有可见波长范围内的无源照明，其中，需要更高的图像分辨率和更大的景深。
图17是示出根据本发明另一实施例的成像系统1700的示意图。成像系统1700可包括多个镜头元件1702a至1702f，以及位于孔径光阑212处的滤波器214。成像系统800还可包括位于滤波器214之后的光路中的二向色分束器1710。二向色分束器1710可以被配置为沿第一光路透射可见光，并沿第二光路反射IR光。成像系统1700还可包括用于可见光的第一图像传感器1720(VIS传感器)和用于IR光的第二图像传感器1730(IR传感器)。第一图像传感器1720沿第一光路设置，并被配置为接收由二向色分束器1710透射的可见光。第二图像传感器1730沿第二光路设置，并被配置为接收由二向色反射的IR光。以这种方式，可见光和IR光可以分别由第一图像传感器1720和第二图像传感器17830同时进行成像。在该配置中，到第一图像传感器1720的第一光路和到第二图像传感器1730的第二光路彼此垂直。
图18是示出根据本发明又一实施例的成像系统1800的示意图。成像系统1800类似于成像系统1700，因为成像系统1800也包括：位于滤波器214之后的二向色分束器1710，该二向色分束器1710并被配置为沿第一光路透射可见光并沿第二光路反射IR光。成像系统1800还包括反射镜1810，反射镜1810沿第二光路设置并被配置为朝向第二图像传感器1730反射IR光。在该配置中，到第一图像传感器1720的第一光路和到第二图像传感器1730的第二光路彼此平行。成像系统1800还可以包括沿第二光路设置在反射镜1810之后的镜头元件1820，该镜头元件1820用于将IR光重新聚焦到第二图像传感器1730处。
图19是示出根据本发明的实施例的操作成像系统的方法1900的简化流程图。方法1900包括使用成像系统执行三维感测。在一些实施例中，在第一时隙中对执行三维感测进行执行。成像系统可以包括近红外(NIR)光源、成像镜头以及位于成像镜头的像平面处的图像传感器。
在一个实施例中，可以通过以下方式执行三维感测，该方式包括使用NIR光源朝向一个或多个第一对象发射多个NIR光脉冲(1910)。多个NIR光脉冲中的每一者的一部分可以被一个或多个第一对象反射。该方法还包括使用成像镜头接收被一个或多个第一对象反射的多个NIR光脉冲中的每一者的一部分并将该部分聚焦到到图像传感器上(1912)。成像镜头可以包括孔径光阑和位于孔径光阑处的波长选择滤波器。波长选择滤波器可以具有第一区域和围绕第一区域的第二区域。在一个实施例中，波长选择滤波器被配置为通过第一区域和第二区域两者透射NIR光，并且仅通过第一区域透射可见光。该方法还包括通过确定多个NIR光脉冲中的每一者的一部分从发射到检测的飞行时间，以使用图像传感器来对一个或多个第一对象的三维图像进行检测(1914)。
方法1900还包括使用成像系统在第二时隙中执行计算机视觉。可以在第一时隙之后的第二时隙中对执行计算机视觉进行执行。在一个实施例中，可以通过以下方式执行计算机视觉使用成像镜头接收被一个或多个第二对象反射的来自环境光源的可见光并将该可见光聚焦到到图像传感器上(1916)；以及使用图像传感器对一个或多个第二对象的二维强度图像进行检测(1918)。在一些实施例中，第二对象中的一些可以与在上述步骤1910至1914中成像的第一对象中的一些相同。
根据本发明的实施例，图像传感器包括像素的二维阵列。在一些实施例中，通过读出每组m×n个像素的总电荷量来执行对一个或多个第一对象的三维图像进行检测，其中，m和n是整数，并且m和n中的至少一个大于1。在一些其它实施例中，通过以下方式执行对一个或多个第一对象的三维图像进行检测：读出像素的二维阵列的每个像素的电荷量；以及通过对每组中的m×n个像素的电荷量求和来计算每组m×n个像素的总电荷量，其中，m和n是整数，并且m和n中的至少一个大于1。
在一个实施例中，通过读出像素的二维阵列的每个像素的电荷量来执行对一个或多个第二对象的二维强度图像进行检测。
在一些实施例中，方法1900可以包括在顺序时隙中交替地执行三维感测和计算机视觉，并且每个时隙的持续时间的范围可以为约1ms至约50ms。
在一些其它实施例中，方法1900可以包括使用诸如图17或图18所示的成像系统同时执行三维感测和计算机视觉。
应该理解的是，图19所示的具体步骤提供了根据本发明的实施例的特定方法1900。根据替代实施例，还可以执行其它步骤序列。例如，本发明的替代实施例可以以不同的顺序执行上面概述的步骤。此外，图19所示的各个步骤可以包括多个子步骤，这些子步骤可以以适合于各个步骤的各种顺序执行。此外，取决于特定应用，可以添加或移除附加步骤。本领域普通技术人员将认识到许多变化、修改和替代。
还应理解，本文描述的示例和实施例仅用于说明目的，并且建议本领域技术人员稍微对其进行各种修改或改变，这些修改和改变包括在本申请的精神和范围内以及所附权利要求的范围内。

Claims (18)

1.一种成像系统，包括：
第一组镜头元件，其被配置为接收并透射近红外NIR波长范围内的光并接收并透射可见波长范围内的光；
孔径光阑；以及
位于所述孔径光阑处的滤波器，所述滤波器包括：
具有第一线性尺寸的中心区域，所述中心区域被配置为使透射通过所述第一组镜头元件的所述NIR波长范围内的光和所述可见波长范围内的光都透射；以及
围绕所述中心区域的外部区域，其具有大于所述第一线性尺寸的第二线性尺寸，所述外部区域被配置为仅使透射通过所述第一组镜头元件的所述NIR波长范围内的光透射；
二向色分束器，其被配置为沿着第一光路引导透射通过所述滤波器的所述NIR波长范围内的光，并且沿着第二光路引导透射通过所述滤波器的所述可见波长范围内的光，其中，所述滤波器被设置在所述第一组镜头元件和所述二向色分束器之间；
沿所述第一光路定位的第二组镜头元件，其中所述第一组镜头元件、所述孔径光阑、所述滤波器和所述第二组镜头元件形成第一镜头系统，所述第一镜头系统限定第一焦平面；
第一图像传感器，其沿着所述第一光路定位在所述第一镜头系统的所述第一焦平面处，所述第一图像传感器被配置为检测由所述NIR波长范围内的光形成的第一图像；以及
第二图像传感器，其沿所述第二光路定位，并被配置为检测由所述可见波长范围内的光形成的第二图像。
2.根据权利要求1所述的成像系统，其中，所述第一图像包括基于飞行时间的一个或多个对象的三维图像。
3.根据权利要求1所述的成像系统，其中所述第二图像包括一个或多个对象的二维图像。
4.根据权利要求1所述的成像系统，其中，所述第一镜头系统的特征在于基于所述第二线性尺寸的所述NIR波长范围内的光的f值。
5.根据权利要求4所述的成像系统，其中，所述f值的范围为1.0至1.4。
6.根据权利要求1所述的成像系统，还包括第三组镜头元件，所述第三组镜头元件沿着所述第二光路定位在所述二向色分束器与所述第二图像传感器之间，其中所述第一组镜头元件、所述孔径光阑、所述滤波器、所述二向色分束器和所述第三组镜头元件形成第二镜头系统，所述第二镜头系统限定第二焦平面，其中，所述第二图像传感器位于所述第二镜头系统的所述第二焦平面处。
7.根据权利要求6所述的成像系统，其中，所述第二镜头系统的特征在于基于所述第一线性尺寸的所述可见波长范围内的光的f值。
8.根据权利要求7所述的成像系统，其中，所述f值的范围为2.0至2.8。
9.根据权利要求1所述的成像系统，其中，所述滤波器的所述中心区域具有圆形形状，所述滤波器的所述外部区域具有环形形状，并且其中，所述第一线性尺寸是所述中心区域的直径，所述第二线性尺寸是所述外部区域的外径。
10.根据权利要求9所述的成像系统，其中，所述第一线性尺寸和所述第二线性尺寸的比率的范围为0.4至0.6。
11.根据权利要求1所述的成像系统，还包括反射镜，所述反射镜沿着所述第一光路定位在所述二向色分束器和所述第一图像传感器之间。
12.根据权利要求11所述的成像系统，还包括第四镜头元件，其中，所述反射镜沿着所述第一光路定位在所述第二组镜头元件和所述第四镜头元件之间。
13.根据权利要求1所述的成像系统，还包括NIR光源，所述NIR光源被配置为朝向所述第一组镜头元件前方的一个或多个对象发射多个NIR光脉冲，其中，所述多个NIR光脉冲中的每一个NIR光脉冲的一部分从所述一个或多个对象反射，并且其中，用于形成所述第一图像的所述NIR波长的光包括从所述一个或多个对象反射的所述多个NIR光脉冲中的每一个NIR光脉冲的所述一部分。
14.一种操作成像系统的方法，所述方法包括：
使用所述成像系统的近红外NIR光源朝向一个或多个第一对象发射多个NIR光脉冲，其中所述多个NIR光脉冲中的每一个NIR光脉冲的一部分从所述一个或多个第一对象反射；
使用所述成像系统的第一组镜头元件，接收并透射从所述一个或多个第一对象反射的所述多个NIR光脉冲中的每一个NIR光脉冲的所述一部分以及从一个或多个第二对象反射或散射的来自环境光源的可见光；
使用位于所述成像系统的孔径光阑处的波长选择滤波器，接收由所述第一组镜头元件透射的从所述一个或多个第一对象反射的所述多个NIR光脉冲中的每一个NIR光脉冲的所述一部分以及从一个或多个第二对象反射或散射的来自环境光源的所述可见光，其中所述波长选择滤波器包括：
具有第一线性尺寸的中心区域，所述中心区域被配置为透射由所述第一组镜头元件透射的从所述一个或多个第一对象反射的所述多个NIR光脉冲中的每一个NIR光脉冲的所述一部分以及从一个或多个第二对象反射或散射的来自环境光源的所述可见光；以及
围绕所述中心区域的外部区域，其具有大于所述第一线性尺寸的第二线性尺寸，所述外部区域被配置为仅使透射通过所述第一组镜头元件的从所述一个或多个第一对象反射的所述多个NIR光脉冲中的每一个NIR光脉冲的所述一部分透射；
使用所述成像系统的二向色分束器，沿第一光路引导透射通过所述波长选择滤波器的所述多个NIR光脉冲中的每一个NIR光脉冲中的所述一部分；
使用沿所述第一光路定位的所述成像系统的第二组镜头元件，接收并透射所述多个NIR光脉冲中的每一个NIR光脉冲的所述一部分，其中所述第一组镜头元件、所述孔径光阑、所述波长选择滤波器和所述第二组镜头元件形成第一镜头系统，所述第一镜头系统限定第一焦平面；
使用在所述第一镜头系统的所述第一焦平面处沿着所述第一光路设置的所述成像系统的第一图像传感器，检测所述多个NIR光脉冲中的每一个NIR光脉冲的所述一部分；
通过确定所述多个NIR光脉冲中的每一个NIR光脉冲的所述一部分从发射到检测的飞行时间，形成所述一个或多个第一对象的三维图像；
使用所述二向色分束器，沿第二光路引导透射通过所述波长选择滤波器的所述可见光；以及
使用沿所述第二光路设置的所述成像系统的第二图像传感器，检测所述一个或多个第二对象的二维强度图像。
15.根据权利要求14所述的方法，其中，所述波长选择滤波器的所述中心区域具有以第一直径为特征的圆形形状，并且所述波长选择滤波器的所述外部区域具有以大于所述第一直径的第二外径为特征的环形形状。
16.根据权利要求15所述的方法，其中，所述第一直径与所述第二外径的比率的范围为0.4至0.6。
17.根据权利要求15所述的方法，其中，所述成像系统还包括在所述二向色分束器和所述第二图像传感器之间沿所述第二光路定位的第三组镜头元件，并且其中，所述第一组镜头元件、所述孔径光阑、所述波长选择滤波器、所述二向色分束器和所述第三组镜头元件形成第二镜头系统，所述第二镜头系统限定第二焦平面，并且其中，所述第二图像传感器位于所述第二镜头系统的所述第二焦平面处。
18.根据权利要求17所述的方法，其中，所述第一镜头系统的特征在于基于所述第二外径的所述NIR波长范围内的光的第一f值，并且所述第二镜头系统的特征在于基于所述第一直径的所述可见波长范围内的光的第二f值。
CN202111508715.4A 2016-11-10 2017-11-03 用于多个f值镜头的方法和系统 Pending CN114143435A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201662420249P 2016-11-10 2016-11-10
US62/420,249 2016-11-10
CN201780069250.2A CN109964097B (zh) 2016-11-10 2017-11-03 用于多个f值镜头的方法和系统

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
CN201780069250.2A Division CN109964097B (zh) 2016-11-10 2017-11-03 用于多个f值镜头的方法和系统

Publications (1)

Publication Number Publication Date
CN114143435A true CN114143435A (zh) 2022-03-04

Family

ID=62064946

Family Applications (2)

Application Number Title Priority Date Filing Date
CN201780069250.2A Active CN109964097B (zh) 2016-11-10 2017-11-03 用于多个f值镜头的方法和系统
CN202111508715.4A Pending CN114143435A (zh) 2016-11-10 2017-11-03 用于多个f值镜头的方法和系统

Family Applications Before (1)

Application Number Title Priority Date Filing Date
CN201780069250.2A Active CN109964097B (zh) 2016-11-10 2017-11-03 用于多个f值镜头的方法和系统

Country Status (10)

Country Link
US (2) US10659701B2 (zh)
EP (1) EP3538840A4 (zh)
JP (2) JP7093773B2 (zh)
KR (2) KR102507365B1 (zh)
CN (2) CN109964097B (zh)
AU (1) AU2017356847B2 (zh)
CA (1) CA3041852C (zh)
IL (2) IL308136A (zh)
NZ (1) NZ752710A (zh)
WO (1) WO2018089266A1 (zh)

Families Citing this family (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
IL308136A (en) 2016-11-10 2023-12-01 Magic Leap Inc Method and system for multiple F number lenses
US11080874B1 (en) * 2018-01-05 2021-08-03 Facebook Technologies, Llc Apparatuses, systems, and methods for high-sensitivity active illumination imaging
CN113614783A (zh) 2019-01-25 2021-11-05 奇跃公司 使用具有不同曝光时间的图像的眼睛跟踪
TWI691742B (zh) 2019-02-01 2020-04-21 光芒光學股份有限公司 鏡頭
US11315288B2 (en) 2019-05-20 2022-04-26 Magic Leap, Inc. Systems and techniques for estimating eye pose
TWI745745B (zh) 2019-09-10 2021-11-11 光芒光學股份有限公司 取像鏡頭與遮光元件的製作方法
FR3105453B1 (fr) * 2019-12-23 2023-08-25 Latelec Module optique pour l’éclairage et la transmission de données par la technologie Li-Fi
IL299775A (en) 2020-07-15 2023-03-01 Magic Leap Inc Eye tracking using an aspheric cornea model
US11853845B2 (en) * 2020-09-02 2023-12-26 Cognex Corporation Machine vision system and method with multi-aperture optics assembly
CA3201941A1 (en) * 2020-11-15 2022-05-19 Qioptiq Limited Retroreflection defeat filter
CN113031367A (zh) * 2021-03-12 2021-06-25 杭州海康威视数字技术股份有限公司 一种多光谱镜头和多光谱摄像机
CN115097604B (zh) * 2022-07-05 2023-10-24 杭州海康威视数字技术股份有限公司 一种多光谱镜头和一种多光谱摄像装置
WO2024013142A1 (en) * 2022-07-15 2024-01-18 Lightcode Photonics Oü Image capture device with wavelength separation device
CN115047433B (zh) * 2022-08-16 2022-11-01 杭州宇称电子技术有限公司 用于tof距离量测系统光学自动化调整方法及其应用

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002152777A (ja) * 2000-11-07 2002-05-24 Asahi Optical Co Ltd ３次元画像入力装置
JP2002369223A (ja) * 2001-06-08 2002-12-20 Pentax Corp 画像検出装置と絞り装置
CN101238397A (zh) * 2005-08-12 2008-08-06 飞利浦拉米尔德斯照明设备有限责任公司 带有波长相关的孔径光阑的成像光学装置
US20160092731A1 (en) * 2014-08-08 2016-03-31 Fotonation Limited Optical system for an image acquisition device

Family Cites Families (32)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6593574B2 (en) * 1999-09-16 2003-07-15 Wayne State University Hand-held sound source gun for infrared imaging of sub-surface defects in materials
US6578987B1 (en) * 2000-05-03 2003-06-17 Vari-Lite, Inc. Intra-lens color and dimming apparatus
JP3726699B2 (ja) * 2001-04-20 2005-12-14 日本ビクター株式会社 光学撮像装置、光学測距装置
JP2005004181A (ja) * 2003-05-21 2005-01-06 Fujinon Corp 可視光・赤外光撮影用レンズシステム
US7297951B2 (en) * 2005-07-27 2007-11-20 Raytheon Company Two F-number, two-color sensor system
JP4508279B2 (ja) * 2008-07-17 2010-07-21 ソニー株式会社 画像処理装置、画像処理方法、及び、プログラム
DE102008048379B4 (de) * 2008-09-22 2016-03-31 Schott Ag Verfahren zur Herstellung eines Linsen-Arrays
US8988508B2 (en) * 2010-09-24 2015-03-24 Microsoft Technology Licensing, Llc. Wide angle field of view active illumination imaging system
KR101925137B1 (ko) * 2010-10-29 2018-12-06 삼성전자주식회사 전기 신호를 이용하여 선택적으로 가시광선과 적외선을 투과하는 필터
US20170161557A9 (en) * 2011-07-13 2017-06-08 Sionyx, Inc. Biometric Imaging Devices and Associated Methods
US8749796B2 (en) 2011-08-09 2014-06-10 Primesense Ltd. Projectors of structured light
US9063574B1 (en) * 2012-03-14 2015-06-23 Amazon Technologies, Inc. Motion detection systems for electronic devices
US9036080B2 (en) * 2012-09-04 2015-05-19 Canon Kabushiki Kaisha Apparatus and method for acquiring information about light-field data
KR101933994B1 (ko) * 2012-10-16 2018-12-31 삼성전자주식회사 깊이 영상과 컬러 영상을 획득하는 픽셀 구조를 가진 이미지 센서
KR20140055025A (ko) * 2012-10-30 2014-05-09 삼성전자주식회사 깊이 영상을 센싱하는 영상 센싱 장치
US9134114B2 (en) * 2013-03-11 2015-09-15 Texas Instruments Incorporated Time of flight sensor binning
KR102112298B1 (ko) * 2013-09-30 2020-05-18 삼성전자주식회사 컬러 영상 및 깊이 영상을 생성하는 방법 및 장치
DE102014103010A1 (de) * 2014-03-06 2015-09-10 Skidata Ag Digitalkamera
US9756263B2 (en) * 2014-05-01 2017-09-05 Rebellion Photonics, Inc. Mobile gas and chemical imaging camera
WO2015191594A1 (en) * 2014-06-10 2015-12-17 Hui Tian Layout and operation of pixels for image sensors
US9805454B2 (en) * 2014-07-15 2017-10-31 Microsoft Technology Licensing, Llc Wide field-of-view depth imaging
EP3001867B1 (en) * 2014-08-08 2017-06-21 FotoNation Limited Smartphone configured to perform biometric recognition of an iris pattern and corresponding facial features of a subject
US10074011B2 (en) 2015-01-20 2018-09-11 Eyelock Llc Lens system for high quality visible image acquisition and infra-red iris image acquisition
US20160262602A1 (en) * 2015-03-09 2016-09-15 Steven Sounyoung Yu Laparoscopic Cholecystectomy With Fluorescence Cholangiography
US10043282B2 (en) * 2015-04-13 2018-08-07 Gerard Dirk Smits Machine vision for ego-motion, segmenting, and classifying objects
KR101748260B1 (ko) * 2015-04-23 2017-06-16 엘지전자 주식회사 카메라 모듈
JP6442065B2 (ja) * 2015-09-16 2018-12-19 富士フイルム株式会社 フォーカス装置，撮像システムおよびフォーカス駆動信号出力方法
JP6234621B2 (ja) * 2015-09-18 2017-11-22 オリンパス株式会社 内視鏡装置
US20170155873A1 (en) * 2015-11-30 2017-06-01 Sensors Unlimited, Inc. Sensor systems and methods
US10475171B2 (en) * 2016-01-22 2019-11-12 Hera Systems, Inc. Multi-camera imaging system for nanosatellites
CN105911559A (zh) * 2016-06-02 2016-08-31 中国科学院光电研究院 基于可见光-近红外-短波红外波段的激光雷达系统
IL308136A (en) 2016-11-10 2023-12-01 Magic Leap Inc Method and system for multiple F number lenses

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002152777A (ja) * 2000-11-07 2002-05-24 Asahi Optical Co Ltd ３次元画像入力装置
JP2002369223A (ja) * 2001-06-08 2002-12-20 Pentax Corp 画像検出装置と絞り装置
CN101238397A (zh) * 2005-08-12 2008-08-06 飞利浦拉米尔德斯照明设备有限责任公司 带有波长相关的孔径光阑的成像光学装置
US20160092731A1 (en) * 2014-08-08 2016-03-31 Fotonation Limited Optical system for an image acquisition device

Also Published As

Publication number Publication date
US10659701B2 (en) 2020-05-19
JP2019537895A (ja) 2019-12-26
IL266393B1 (en) 2023-12-01
KR102377023B1 (ko) 2022-03-21
KR20220038828A (ko) 2022-03-29
AU2017356847B2 (en) 2022-11-17
EP3538840A4 (en) 2019-12-04
NZ752710A (en) 2023-09-29
EP3538840A1 (en) 2019-09-18
JP7420849B2 (ja) 2024-01-23
JP7093773B2 (ja) 2022-06-30
US20200244857A1 (en) 2020-07-30
WO2018089266A1 (en) 2018-05-17
US20180131853A1 (en) 2018-05-10
US11240422B2 (en) 2022-02-01
IL308136A (en) 2023-12-01
CN109964097B (zh) 2021-12-14
KR20190084993A (ko) 2019-07-17
IL266393A (en) 2019-06-30
CA3041852A1 (en) 2018-05-17
KR102507365B1 (ko) 2023-03-07
AU2017356847A1 (en) 2019-05-02
CA3041852C (en) 2023-07-18
CN109964097A (zh) 2019-07-02
IL266393B2 (en) 2024-04-01
JP2022066564A (ja) 2022-04-28

Similar Documents

Publication Publication Date Title
CN109964097B (zh) 用于多个f值镜头的方法和系统
US8379329B2 (en) Imaging optical system, camera and personal digital assistant
KR102125154B1 (ko) 이미징 시스템들에 대한 근적외선 스펙트럼 응답을 확장하는 시스템 및 방법
JP5896061B1 (ja) 光学系および撮像システム
JP2019537895A5 (zh)
CN105681687B (zh) 图像处理设备以及包括图像处理设备的移动相机
KR102480618B1 (ko) 낮은 광 및 높은 광 레벨 이미징을 위한 단일 옵틱
JP4532968B2 (ja) 焦点検出装置
CN103811509A (zh) 测量入射光在三维空间中入射角度的像素阵列及方法
JP7314659B2 (ja) 測距装置および撮影装置
NZ794045A (en) Method and system for multiple f-number lens
JP6127973B2 (ja) 撮像装置及び撮像装置用の撮像素子
CN117528063A (zh) 一种手机摄像头景深测量的光学装置及方法
RU2543688C2 (ru) Камера и оптическая система для получения 3d изображений (варианты)
JP2008276135A (ja) 光学系及び撮像装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination