CN117203550A - 飞行时间系统和飞行时间方法 - Google Patents

飞行时间系统和飞行时间方法 Download PDF

Info

Publication number
CN117203550A
CN117203550A CN202280030114.3A CN202280030114A CN117203550A CN 117203550 A CN117203550 A CN 117203550A CN 202280030114 A CN202280030114 A CN 202280030114A CN 117203550 A CN117203550 A CN 117203550A
Authority
CN
China
Prior art keywords
wavelength
light
time
flight
type
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202280030114.3A
Other languages
English (en)
Inventor
迈达尼·阿里欧亚
莫林·德汉
安东尼·安东
卡洛斯·贝尔蒙特·帕尔梅罗
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Semiconductor Solutions Corp
Original Assignee
Sony Semiconductor Solutions Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Semiconductor Solutions Corp filed Critical Sony Semiconductor Solutions Corp
Publication of CN117203550A publication Critical patent/CN117203550A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/491—Details of non-pulse systems
    • G01S7/4912—Receivers
    • G01S7/4915—Time delay measurement, e.g. operational details for pixel components; Phase measurement
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/481—Constructional features, e.g. arrangements of optical elements
    • G01S7/4814—Constructional features, e.g. arrangements of optical elements of transmitters alone
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • G01S17/894—3D imaging with simultaneous measurement of time-of-flight at a 2D array of receiver pixels, e.g. time-of-flight cameras or flash lidar
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/481—Constructional features, e.g. arrangements of optical elements
    • G01S7/4816—Constructional features, e.g. arrangements of optical elements of receivers alone
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/491—Details of non-pulse systems
    • G01S7/4911—Transmitters
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144—Devices controlled by radiation
    • H01L27/146—Imager structures
    • H01L27/14601—Structural or functional details thereof
    • H01L27/14603—Special geometry or disposition of pixel-elements, address-lines or gate-electrodes
    • H01L27/14605—Structural or functional details relating to the position of the pixel elements, e.g. smaller pixel elements in the center of the imager compared to pixel elements at the periphery
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144—Devices controlled by radiation
    • H01L27/146—Imager structures
    • H01L27/14601—Structural or functional details thereof
    • H01L27/14625—Optical elements or arrangements associated with the device
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144—Devices controlled by radiation
    • H01L27/146—Imager structures
    • H01L27/14643—Photodiode arrays; MOS imagers
    • H01L27/14649—Infrared imagers
    • H01L27/14652—Multispectral infrared imagers, having a stacked pixel-element structure, e.g. npn, npnpn or MQW structures
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01S—DEVICES USING THE PROCESS OF LIGHT AMPLIFICATION BY STIMULATED EMISSION OF RADIATION [LASER] TO AMPLIFY OR GENERATE LIGHT; DEVICES USING STIMULATED EMISSION OF ELECTROMAGNETIC RADIATION IN WAVE RANGES OTHER THAN OPTICAL
    • H01S5/00—Semiconductor lasers
    • H01S5/04—Processes or apparatus for excitation, e.g. pumping, e.g. by electron beams
    • H01S5/041—Optical pumping
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01S—DEVICES USING THE PROCESS OF LIGHT AMPLIFICATION BY STIMULATED EMISSION OF RADIATION [LASER] TO AMPLIFY OR GENERATE LIGHT; DEVICES USING STIMULATED EMISSION OF ELECTROMAGNETIC RADIATION IN WAVE RANGES OTHER THAN OPTICAL
    • H01S5/00—Semiconductor lasers
    • H01S5/40—Arrangement of two or more semiconductor lasers, not provided for in groups H01S5/02 - H01S5/30
    • H01S5/42—Arrays of surface emitting lasers
    • H01S5/423—Arrays of surface emitting lasers having a vertical cavity
    • H01S5/426—Vertically stacked cavities
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06—Systems determining position data of a target
    • G01S17/08—Systems determining position data of a target for measuring distance only
    • G01S17/32—Systems determining position data of a target for measuring distance only using transmission of continuous waves, whether amplitude-, frequency-, or phase-modulated, or unmodulated
    • G01S17/36—Systems determining position data of a target for measuring distance only using transmission of continuous waves, whether amplitude-, frequency-, or phase-modulated, or unmodulated with phase comparison between the received signal and the contemporaneously transmitted signal
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/481—Constructional features, e.g. arrangements of optical elements
    • G01S7/4814—Constructional features, e.g. arrangements of optical elements of transmitters alone
    • G01S7/4815—Constructional features, e.g. arrangements of optical elements of transmitters alone using multiple transmitters
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G06V40/166—Detection; Localisation; Normalisation using acquisition arrangements
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01S—DEVICES USING THE PROCESS OF LIGHT AMPLIFICATION BY STIMULATED EMISSION OF RADIATION [LASER] TO AMPLIFY OR GENERATE LIGHT; DEVICES USING STIMULATED EMISSION OF ELECTROMAGNETIC RADIATION IN WAVE RANGES OTHER THAN OPTICAL
    • H01S5/00—Semiconductor lasers
    • H01S5/02—Structural details or components not essential to laser action
    • H01S5/026—Monolithically integrated components, e.g. waveguides, monitoring photo-detectors, drivers
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01S—DEVICES USING THE PROCESS OF LIGHT AMPLIFICATION BY STIMULATED EMISSION OF RADIATION [LASER] TO AMPLIFY OR GENERATE LIGHT; DEVICES USING STIMULATED EMISSION OF ELECTROMAGNETIC RADIATION IN WAVE RANGES OTHER THAN OPTICAL
    • H01S5/00—Semiconductor lasers
    • H01S5/10—Construction or shape of the optical resonator, e.g. extended or external cavity, coupled cavities, bent-guide, varying width, thickness or composition of the active region
    • H01S5/1092—Multi-wavelength lasing
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01S—DEVICES USING THE PROCESS OF LIGHT AMPLIFICATION BY STIMULATED EMISSION OF RADIATION [LASER] TO AMPLIFY OR GENERATE LIGHT; DEVICES USING STIMULATED EMISSION OF ELECTROMAGNETIC RADIATION IN WAVE RANGES OTHER THAN OPTICAL
    • H01S5/00—Semiconductor lasers
    • H01S5/30—Structure or shape of the active region; Materials used for the active region
    • H01S5/34—Structure or shape of the active region; Materials used for the active region comprising quantum well or superlattice structures, e.g. single quantum well [SQW] lasers, multiple quantum well [MQW] lasers or graded index separate confinement heterostructure [GRINSCH] lasers
    • H01S5/343—Structure or shape of the active region; Materials used for the active region comprising quantum well or superlattice structures, e.g. single quantum well [SQW] lasers, multiple quantum well [MQW] lasers or graded index separate confinement heterostructure [GRINSCH] lasers in AIIIBV compounds, e.g. AlGaAs-laser, InP-based laser
    • H01S5/34313—Structure or shape of the active region; Materials used for the active region comprising quantum well or superlattice structures, e.g. single quantum well [SQW] lasers, multiple quantum well [MQW] lasers or graded index separate confinement heterostructure [GRINSCH] lasers in AIIIBV compounds, e.g. AlGaAs-laser, InP-based laser with a well layer having only As as V-compound, e.g. AlGaAs, InGaAs

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Electromagnetism (AREA)
  • Power Engineering (AREA)
  • Condensed Matter Physics & Semiconductors (AREA)
  • Computer Hardware Design (AREA)
  • Microelectronics & Electronic Packaging (AREA)
  • Optics & Photonics (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Optical Radar Systems And Details Thereof (AREA)

Abstract

一种飞行时间系统，具有光源和飞行时间传感器，光源向物体发射第一波长的第一光线和第二波长的第二光线，第二波长大于第一波长，飞行时间传感器检测第一波长的第一光线和第二波长的第二光线，并生成与检测到的第一光线相关联的第一飞行时间数据和与检测到的第二光线相关联的第二飞行时间数据。

Description

飞行时间系统和飞行时间方法
技术领域
本公开总体上涉及一种飞行时间系统和一种用于控制飞行时间系统的飞行时间方法。
背景技术
典型地，已知的飞行时间(ToF)系统具有用于照射感兴趣区域的光源和用于检测源自感兴趣区域的光以确定光源和感兴趣区域之间的距离的相机。例如，可以基于当光从光源传播到相机时引入的相移来确定该距离，该相移又与该距离相关联，并且该距离可以基于例如当光从光源传播到相机时的往返时间。
为了在飞行时间技术中检测光，已知使用光源朝向感兴趣区域内的物体发射特定波长(例如，850nm、940nm等)的光，并且还使用具有多个像素的飞行时间传感器，其检测来自被照射物体的光。
尽管存在用于在飞行时间系统中聚焦和检测光的技术，但是通常希望提供一种飞行时间系统和一种用于控制这种飞行时间系统的方法。
发明内容
根据第一方面，本公开提供了一种飞行时间系统，其包括光源和飞行时间传感器，光源被配置为向物体发射第一波长的第一光线和第二波长的第二光线，第二波长大于第一波长，飞行时间传感器被配置为检测第一波长的第一光线和第二波长的第二光线，并生成与检测到的第一光线相关联的第一飞行时间数据和与检测到的第二光线相关联的第二飞行时间数据。
根据第二方面，本公开提供了一种飞行时间方法，包括：驱动光源向物体发射第一波长的第一光线和第二波长的第二光线，第二波长大于第一波长；以及驱动飞行时间传感器检测第一波长的第一光线和第二波长的第二光线，并生成与检测到的第一光线相关联的第一飞行时间数据和与检测到的第二光线相关联的第二飞行时间数据。
根据第三方面，本公开提供了一种飞行时间方法，包括：向物体发射第一波长的第一光线和第二波长的第二光线，第二波长大于第一波长；检测第一波长的第一光线和第二波长的第二光线；以及生成与检测到的第一光线相关联的第一飞行时间数据和与检测到的第二光线相关联的第二飞行时间数据。
在从属权利要求、以下描述和附图中阐述了进一步的方面。
附图说明
参考附图，通过示例来解释实施方式，其中：
图1示出了在FaceID场景中由基于NIR的成像系统捕获的人脸图像；
图2示出了由基于短波红外(SWIR)的成像系统捕获的图1的人脸图像；
图3示意性地示出了包括具有两个光源元件的光源的飞行时间(ToF)系统的示例；
图4示意性地示出了包括在用于ToF系统的光源的每个发光元件中的双波长垂直腔表面发射激光器的侧视图；
图5示意性地示出了用于包括布置在第一层上的第一类型的成像元件和布置在第二层上的第二类型的成像元件的ToF系统的ToF传感器的实施方式的侧视图；
图6示意性地示出了用于包括布置在第一层上的第一类型的成像元件和布置在第二层上的第二类型的成像元件的ToF系统的ToF传感器的实施方式的俯视图；
图7示意性地示出了包括布置在一层上的第一类型和第二类型的成像元件的ToF传感器的另一实施方式的侧视图；
图8示意性地示出了包括布置在一层上的第一类型和第二类型的成像元件的ToF传感器的另一实施方式的俯视图；
图9示意性地示出了包括布置在一层上的第一类型、第二类型和第三类型的成像元件的ToF传感器的另一实施方式的俯视图；
图10示意性地示出了飞行时间深度感测系统；
图11是用于控制ToF系统的飞行时间方法的实施方式的流程图；以及
图12是用于控制飞行时间系统的飞行时间方法的另一实施方式的流程图。
具体实施方式
在给出参考图3的实施方式的详细描述之前，先进行一般性解释。
如开始所述，飞行时间(ToF)系统可以具有用于照射感兴趣区域的光源和用于检测来自感兴趣区域的光以确定光源和感兴趣区域之间的距离的飞行时间相机。飞行时间相机通常具有ToF图像传感器、光学部件(例如，透镜系统)等。
通常，众所周知，ToF系统对一系列环境参数(例如，太阳光)敏感，这导致在被照射的感兴趣区域中存在高水平太阳光时饱和，因此，由太阳光在传感器上生成的噪声使得感兴趣区域中的信噪比(SNR)低，即，使得深度估计不精确，并且ToF系统的效率低。
此外，ToF系统的效率通常不仅取决于其对太阳光谱功率的噪声容限、量子效率等，还取决于物体的颜色。感兴趣区域内被照射物体的材料具有不同的反射率，因此发射的光不会被同等地反射。这可能导致准确度和精确度的损失，例如，对于较暗的材料，例如，人的头发或深色汽车喷漆。这在基于近红外(NIR)的成像系统中也是有效的，例如，NIR iToF(间接ToF)。基于NIR的成像系统在近红外范围(750nm-1000nm)内起作用，并且通常其工作波长为(大约)850nm或(大约)940nm(不将本公开限制于这些特定波长)。
为了说明的目的，图1示出了在FaceID场景中由基于NIR的成像系统捕获的人脸图像1。在这个示例中，NIR ToF系统的工作波长为940nm或980nm。在该NIR工作波长下，皮肤反射率允许确定皮肤上的深度测量，但是由于NIR中头发和胡须的反射率，不能精确地确定黑色头发或黑色胡须的深度。从图1可以看出，在近红外范围内，人的头发具有低反射率，而人的皮肤具有平均反射率。在NIR工作波长下，其中，诸如人的头发之类的材料具有低反射率，感兴趣区域中的相关SNR可能较低，因此可能难以确定深度。
短波红外(SWIR)成像系统已经被设想为基于NIR的成像系统所面临的饱和度和颜色依赖性问题的解决方案。典型地，SWIR成像系统具有1000和1700nm之间的工作波长，例如，在1550nm左右，在这方面不限制本公开。通常，在本公开的实施方式中，NIR光的波长小于SWIR光的波长。SWIR实施方式可以有效地利用大气对波长高于NIR范围波长的太阳光的吸收，以增加感兴趣区域中存在太阳光时的整体SNR。然而，如果在图1的FaceID场景中使用例如1550nm的SWIR波长，则头发的反射率可能较高，而皮肤的反射率可能较低，这可能导致较低的对比度，从而导致所得图像中的不同强度。
图2示例性地示出了在FaceID场景中由基于短波红外(SWIR)的成像系统捕获的图1的人脸的图像2。在这个示例中，SWIR ToF系统的工作波长为1550nm。从图2可以看出，在这样的工作波长下，人的头发具有高反射率，而人的皮肤具有低反射率。使用单一波长照射感兴趣区域中的物体对ToF系统的性能施加了不期望的限制。
在现实生活场景(例如，上述FaceID场景)中，感兴趣区域通常可以由具有不同反射率的材料(例如，头发和皮肤)组成，并且传统的ToF系统的性能可能与材料反射率密切相关，这可以从上面的图1和图2中看出。此外，在光谱的NIR域中具有低反射率的一些材料在光谱的SWIR域中具有较高的反射率。例如，这是人的头发的情况，其中，头发在被基于SWIR的成像系统捕获时比皮肤更可见。
鉴于上面的讨论，已经认识到，在ToF系统中，组合在特定选择的波长下工作的光源，例如，NIR(例如，在940nm)和SWIR(例如，在1550nm)，可以提高环境光的鲁棒性，并解决感兴趣区域内被照射物体的颜色依赖性问题。
此外，在间接飞行时间(iToF)系统中，其中，基于发射光和检测到的反射光之间的相位延迟来计算距离，由于这些传统的ToF系统在单一波长下工作，如已经讨论过的(由于距离与相移直接相关，原则上，相同的相移发生在不同的距离)，可能出现模糊的范围问题。为了扩展明确的范围，通常连续使用两个不同的调制频率进行两次测量，由此可以消除距离模糊。这导致iToF系统的帧速率降低和运动鲁棒性降低。
已经认识到，通过在单个集成ToF系统(设备等)中使用两个波长作为工作波长，其中，一个波长大于另一个波长，可以解决至少一个或多个上述问题。
因此，一些实施方式涉及飞行时间(ToF)系统，该系统具有光源和飞行时间传感器，光源被配置为向物体发射第一波长的第一光线和第二波长的第二光线，第二波长大于第一波长，飞行时间传感器被配置为检测第一波长的第一光线和第二波长的第二光线，并生成与检测到的第一光线相关联的第一飞行时间数据和与检测到的第二光线相关联的第二飞行时间数据。
通常，本公开的实施方式涉及不同的ToF技术，例如，直接ToF、Spot ToF、间接ToF等。然而，在下文中主要讨论间接ToF，其中，基于相移来确定距离，其中，iToF技术也可以与其他技术相结合，例如，Spot ToF，而不将本公开限制于这种特定的组合。
通常，光源可以被配置为脉冲光源、连续光源等，并且可以基于LED(发光二极管)、激光元件，例如，VCSEL(垂直腔表面发射激光器)、EEL(边缘发射激光器)等。术语“激光器”在一些实施方式中从功能上理解，并且VCSEL可以包括多个垂直腔表面发射激光元件，这些元件一起形成激光器，即VCSEL。因此，通常，对VCSEL进行的解释也适用于VCSEL的单个VCSEL元件。
光源可以包括单个光源元件，或者可以包含一个或多个光源元件。光源可以被配置为同时或依次发射第一波长和第二波长的光线，例如，通过具有单个或多个窄带光源元件。在一些实施方式中，在不将本公开限制于该特定示例的情况下，两个波长在NIR中，例如，在(大约)940nm处，以及在SWIR中，例如，在(大约)1550nm处。如上所述，这些数字仅作为示例给出，在其他实施方式中，可以使用任何特定的波长值。
此外，光源可以发射多于两种波长的光线，例如，光源可以发射第一波长的光线，该第一波长是750nm和1000nm之间的任何波长，第二波长是1000nm和1700nm之间的任何波长，第三波长是1000nm和1700nm之间的任何波长，第四波长是10nm到400nm之间的任何波长，诸如此类。光源可以发射特定波长的光线，并且可以用不同的编码信号和/或频率进行调制。
飞行时间(ToF)传感器可以专门设计用于飞行时间测量，并且可以适于检测如本文所述的从光源发射的光，例如，检测第一波长的第一光线和第二波长的第二光线。如上所述，ToF传感器(和相关读出电路)可以被配置用于直接ToF(dToF)，其中，检测由光源发射并由场景反射的光子的时间延迟，和/或可以与相关读出电路一起被配置用于间接ToF(iToF)，其中，基本上检测由光源发射并由场景反射的光的相移等。
ToF传感器可以基于以下技术中的至少一种：CMOS(互补金属氧化物半导体)、CCD(电荷耦合器件)、SPAD(单光子雪崩二极管)、CAPD(电流辅助光电二极管)技术等。
ToF传感器可以生成与检测到的第一光线相关联的第一飞行时间数据和与检测到的第二光线相关联的第二飞行时间数据。第一飞行时间数据和第二飞行时间数据可以由ToF系统使用用于处理和分析由ToF传感器生成的检测信号的电路来处理和分析。该电路可以是逻辑电路，例如，是或包括控制单元，并且可以被配置为相应地控制ToF系统，如本文所述。ToF系统可以提供距离测量，可以扫描感兴趣区域，并且可以从感兴趣区域提供深度图/图像等。ToF系统可以被布置用于飞行时间测量，并且还可以包括用于读出和/或分析由ToF传感器等生成的信号的相应电路。
ToF系统可以用于不同的技术应用中，例如，在汽车中，例如，在用于检测物体和障碍物的汽车户外安全应用中，用于检测冰、黑冰、雪、水等的应用中，在需要面部识别的应用中以及在智能电话或其他电子设备(例如，计算机、膝上型电脑)中或医疗设备等中。
在一些实施方式中，ToF传感器可以包括被配置为检测第一光线的至少一个第一类型的第一成像元件和被配置为检测第二光线的至少一个第二类型的第二成像元件。ToF传感器可以与窄带滤光器组装在一起，使得第一成像元件和第二成像元件中的每一个对单一波长敏感，例如，对第一光线的第一波长或第二光线的第二波长等敏感。ToF传感器可以包括更宽的红外带通滤光器(IRBPF)，以截止低于940nm等的光。
ToF传感器可以对例如NIR和SWIR波长敏感。传统上，硅基传感器通常对较长的波长是透明的，因此制造工艺可以基于InGaAs衬底或类似物。这些衬底已经用于现有的SWIR成像系统，并且对NIR和SWIR都敏感。
在一些实施方式中，至少一个第一类型的第一成像元件可以布置在第一层中，并且至少一个第二类型的第二成像元件布置在第二层中。第一层和第二层可以彼此层叠布置，在这方面不限制本公开。至少在一些实施方式中，至少一个第一类型的第一成像元件可以与至少一个第二类型的第二成像元件相邻。第一类型和第二类型的成像元件可以布置在一层中，形成马赛克图案，使得第一类型的成像元件交替地位于第二类型的成像元件附近。ToF传感器可以由例如像素阵列制成，其中，两组或更多组像素(即成像元件类型)对光源的工作波长(即第一波长和/或第二波长)敏感。根据制造要求和光源中使用的波长，像素组可以并排制造或者彼此层叠制造。每组像素可以用独立的解调信号来操作。解调信号可以根据光源中使用的信号生成。可以独立定义不同像素组的曝光时间，以便最大化不同波长的SNR。
或者，ToF传感器可以包括被配置为检测第一光线的至少一个第一类型的第一成像元件、被配置为检测第二光线的至少一个第二类型的第二成像元件以及被配置为检测第三光线的至少一个第三类型的第三成像元件。例如，ToF传感器可以由像素阵列制成，其中，三组或更多组像素(例如，NIR(750nm至1000nm)-SWIR1(1000nm至1700nm)-SWIR2(1000nm至1700nm)-UV(10nm至400nm))对光源的工作波长敏感。像素组可以通过与RGB相机中的拜耳图案相似的方式布置，形成2×2像素的宏像素，在这方面不限制本公开。
在一些实施方式中，ToF传感器还可以包括被配置为通过第一光线或第二光线的可调谐滤光器。可调谐滤光器可以被配置为响应于电控制信号而让第一光线、第二光线或连续光线通过，使得相同的成像元件可以用于通过根据应该通过滤光器的波长调谐滤光器，来检测第一光线或第二光线。
在一些实施方式中，可以通过将第一解调方案应用于至少一个第一类型的第一成像元件来生成第一飞行时间数据，并且通过将第二解调方案应用于至少一个第二类型的第二成像元件来生成第二飞行时间数据。第一解调方案可以独立于第二解调方案来应用，使得不同的调制方案可以用于ToF测量。
在记录与检测到的第一光线相关联的第一飞行时间数据和与检测到的第二光线相关联的第二飞行时间数据之后，为第一类型的第一成像元件生成原始深度图，并且为第二类型的第二成像元件生成另一原始深度图。组合这两个深度图，可以用单个深度采集序列扩展模糊范围，因为对于不同波长的测量，模糊距离是不同的。
在一些实施方式中，如上所述，第一波长可以在近红外范围内，第二波长可以在短波红外范围内。第一波长可以在750nm至1000nm的范围内，例如，在(大约)940nm或980nm，第二波长可以在1000nm至1700nm的范围内，例如，在(大约)1550nm。
在一些实施方式中，光源可以包括被配置为发射第一光线和/或第二光线的至少一个双垂直腔表面发射激光器。双垂直腔表面发射激光器是发射两种波长的光的VCSEL，在这方面不限制本公开。光发射可以扩展到任何数量的波长。这种光源可以是具有例如NIR和SWIR工作波长的混合光源。
在一些实施方式中，ToF系统还可以包括被配置为将第一光线聚焦在第一层中的第一透镜和被配置为将第二光线聚焦在第二层中的第二透镜。或者，ToF系统还可以包括一个透镜，其将第一光线聚焦在第一层中，并将第二光线聚焦在第二层中。该透镜可以在所有工作波长下提供足够的性能。透镜的设计可以考虑深度，即第一层和第二层中的每一层之间的距离，即第一层和第二层中的每一层相对于透镜的“高度”，以便最小化所有层中的色差，并在所有层中提供足够的清晰度，例如，最大化所有层中的清晰度。具体而言，透镜设计可以在计算每个工作波长的焦距时考虑每一层的深度，以便相对于所有像素层的奈奎斯特(Nyquist)频率提供足够的调制传递函数(MTF)，指示捕获图像的清晰度和质量。
在一些实施方式中，ToF系统还可以包括控制器，该控制器被配置为控制光源同时发射第一波长的第一光线和第二波长的第二光线。此外，至少在一些实施方式中，同时生成两个或更多波长的光，其中，并行生成和/或发射第一和第二(或更多)波长，在这方面不限制本公开。或者，可以依次生成光，使得在第一时间点以第一波长生成第一光线，在第二时间点以第二波长生成第二光线，诸如此类。
在一些实施方式中，ToF系统还可以包括逻辑电路，该逻辑电路被配置为融合第一飞行时间数据和第二飞行时间数据，用于增强融合数据中的信号强度。信号强度取决于被光源照射的物体的材料反射率，并且对于第一波长的第一光线和第二波长的第二光线，材料反射率可以不同。
在一些实施方式中，第一波长和第二波长可以均基于被光源照射的物体的材料反射率来选择。例如，当人的面部是被光源照射的物体时，人的头发在SWIR波长比在NIR波长具有更高的反射率。相反，人的皮肤在NIR波长比在SWIR波长具有更高的反射率。
在一些实施方式中，逻辑电路还可以被配置为通过组合第一波长和第二波长的相位信息来对第一飞行时间数据和第二飞行时间数据执行去混叠。可以对飞行时间数据执行去混叠，以解决在该过程中出现的任何模糊误差，即，用单个深度采集序列来扩展模糊范围(也参见上面对距离模糊的讨论)。
一些实施方式涉及飞行时间(ToF)方法，包括：驱动光源向物体发射第一波长的第一光线和第二波长的第二光线，第二波长大于第一波长；以及驱动飞行时间传感器检测第一波长的第一光线和第二波长的第二光线，并生成与检测到的第一光线相关联的第一飞行时间数据和与检测到的第二光线相关联的第二飞行时间数据。
一些实施方式涉及飞行时间(ToF)方法，该方法可以由本文讨论的飞行时间系统来执行。该方法包括：向物体发射第一波长的第一光线和第二波长的第二光线，第二波长大于第一波长；检测第一波长的第一光线和第二波长的第二光线；以及生成与检测到的第一光线相关联的第一飞行时间数据和与检测到的第二光线相关联的第二飞行时间数据。
在一些实施方式中，ToF方法还可以包括融合第一飞行时间数据和第二飞行时间数据，以增强融合数据中的信号强度，其中，信号强度取决于被光源照射的物体的材料反射率，其中，材料反射率对于第一波长的第一光线和第二波长的第二光线是不同的。
在一些实施方式中，ToF方法还可以包括通过组合第一波长和第二波长的相位信息来对第一飞行时间数据和第二飞行时间数据执行去混叠。
在一些实施方式中，ToF方法还可以包括控制光源同时发射第一波长的第一光线和第二波长的第二光线。
在一些实施方式中，ToF方法还可以包括控制飞行时间传感器检测与第二波长的第二光线同时发射的第一波长的第一光线。
回到图3，示意性地示出了飞行时间(ToF)系统10的示例，该系统可以用于深度传感或提供距离测量。
ToF系统10具有包括两个发光元件11a和11b的光源，其中，在本实施方式中，发光元件11a和11b中的每一个都是双波长垂直腔面发射激光器(VCSEL)，这将在下面参考图4进行讨论。
第一发光元件11a发射第一波长的第一光线，例如，近红外(NIR)波长，例如，980nm，第二发光元件11b发射第二波长的第二光线，例如，短波红外(SWIR)波长，例如，1550nm。第一光线和第二光线朝向物体15(感兴趣区域)发射，该物体反射光(黑色箭头)。正如本领域技术人员通常所知的，通过反复向物体15发射光线，可以照射物体15。反射光线被包括透镜的光学堆栈14聚焦到具有ToF传感器13的光检测器，这将在下面参考图6至图9进行讨论。
在这个实施方式中，示出了两个双波长VCSEL元件。然而，光源可以仅包括一个发射两种波长的光线的双波长VCSEL元件11。
图4示意性地示出了包括在用于(例如，图3的)ToF系统的光源的发光元件11a和11b的每一个中的双波长VCSEL 20的侧视图。
双波长VCSEL具有GaAs衬底21，在该衬底上生长980nm电泵浦腔内VCSEL结构，该结构由980nm有源多量子阱(MQW)腔25构成，具有顶部GaAs/Al0.8Ga0.2As DBR反射镜系统28和底部GaAs/Al0.8Ga0.2As DBR反射镜系统22。在底部GaAs/Al0.8Ga0.2As DBR反射镜系统22和980nm有源MQW腔25之间，布置了n接触层23和n包覆层24。p包覆层26位于980nm有源MQW腔25的顶部，并且p接触层27布置在p包覆层26的顶部并且在顶部GaAs/Al0.8Ga0.2As DBR反射镜系统28和p包覆层26之间。
双波长VCSEL具有1550nm的有源腔31，该腔具有顶部DBR反射镜系统33和底部DBR反射镜系统29。1550nm有源腔31位于布置在顶部GaAs/Al0.8Ga0.2As DBR反射镜系统28上的底部DBR反射镜系统29上。n包覆层30位于1550nm有源腔31和底部DBR反射镜系统29之间。p包覆层32位于顶部DBR反射镜系统33和1550nm有源腔31之间。在这两个VCSEL部分(即980nm VCSEL和1550nm VCSEL)的顶部，另一个980nm GaAs/Al0.8Ga0.2As DBR反射镜系统34在1550nm顶部反射镜系统33上生长。
底部980nm VCSEL电泵浦，以生成980nm光输出，其一部分(50％)从VCSEL的底部出来。980nm光的剩余部分从顶侧出来，穿过底部GaAs/Al0.8Ga0.2As 1550nm DBR反射镜系统29，并进入被称为有源吸收区的1550nm MQW有源区31。在此处，吸收980nm的光，因为1550nm有源区31具有较低的带隙。如果有足够量的光可用于吸收，则由于设计和顶部和底部反射镜系统的原因，该过程将生成1550nm的激光输出。1550nm激光输出由来自底部电泵浦980nm激光器的980nm激光输出的光泵浦生成，从双腔集成VCSEL的顶部出来。
例如，如在Islam等人的公开论文“在底部使用电泵浦的GaInAs/AlGaAs 980nm腔并在顶部使用光泵浦的GaInAs/AlGaAs 1550nm腔的集成双波长VCSEL(Integrated DuoWavelength VCSEL Using an Electrically Pumped GaInAs/AlGaAs 980nm Cavity atthe Bottom and an Optically Pumped GaInAs/AlGaInAs 1550nm Cavity on the Top)”中所述，1550nm的光将不能从底部出来，因为1550nm底部GaAs/Al0.8Ga0.2As DBR反射镜系统和980nm激光器的反射率为99.9％。然而，如果没有被完全吸收，则一些980nm的激光可能与1550nm的激光输出一起从顶部出来。考虑到这种情况，另一个980nm DBR反射镜系统被放置在顶部1550nm DBR反射镜系统的顶部。最终，1550nm的激光输出将从VCSEL的顶部出来，而980nm的激光输出将通过双腔VCSEL的底部出来。
图4的实施方式不限于两个描述的波长，而是可以扩展到任何数量的波长和任何波长。这种双波长VCSEL在两个工作波长上都具有窄光谱。
图5和图6示出了图3的ToF传感器13的实施方式，其中，图5示意性地示出了ToF传感器13和布置在ToF传感器13上的透镜14的侧视图40，图6示意性地示出了ToF传感器13的俯视图45和46。
在图5的实施方式中，ToF传感器13包括两层成像元件和透镜14，透镜将从被照射物体反射的光聚焦到ToF传感器13。ToF传感器13包括被配置为检测第一光线的至少一个第一类型的第一成像元件41和被配置为检测第二光线的至少一个第二类型的第二成像元件42。第一类型的成像元件布置在第一层上，第二类型的成像元件布置在第二层上。第一层和第二层彼此层叠布置。
第一类型的成像元件41被配置为检测以NIR波长发射的第一光线。第二类型的成像元件42被配置为检测以SWIR波长发射的第二光线。以NIR波长发射的第一光线是由图3的VCSEL 11a发射的光线，而以NIR波长发射的第二光线是由图3的VCSEL 11b发射的光线。透镜14聚焦第一层中的第一光线和第二层中的第二光线。
图6的上部示意性地示出了ToF传感器13的俯视图45，该传感器具有彼此层叠布置的第一层和第二层，并且图6的下部示出了ToF传感器13的俯视图46，其中，至少一个第一类型的第一成像元件41布置在第一层47中，并且至少一个第二类型的第二成像元件42布置在第二层48中，如上面图5中所述。
图7和图8示意性地示出了图3的ToF传感器13的另一实施方式，其中，图7示意性地示出了ToF传感器54的侧视图50，其中，透镜53布置在ToF传感器54上，图8示出了ToF传感器54的俯视图55和60。
在图7的实施方式中，ToF传感器54包括一层两种类型的成像元件和两个透镜53a和53b，透镜将从被照射物体反射的光聚焦到ToF传感器54。ToF传感器54基本上对应于图3的ToF传感器13，并且包括被配置为检测第一光线的至少一个第一类型的第一成像元件51和被配置为检测第二光线的至少一个第二类型的第二成像元件52。第一类型的成像元件51被配置为检测以NIR波长发射的第一光线。第二类型的成像元件52被配置为检测以SWIR波长发射的第二光线。布置在ToF传感器54上的透镜53包括在第一层51中聚焦以NIR波长发射的第一光线的第一透镜53a以及在第二层52中聚焦以SWIR波长发射的第二光线的第二透镜53b。
图8的上部示意性地示出了具有一个层56的ToF传感器54的俯视图55，在该层上布置了至少一个第一类型的第一成像元件51和至少一个第二类型的第二成像元件52。第一类型51和第二类型52成像元件布置在层56上，从而形成马赛克图案。
图8的下部示出了ToF传感器54的俯视图60，其中，至少一个第一类型的第一成像元件51与至少一个第二类型的第二成像元件52相邻，形成马赛克图案，如本文所讨论的。
图9示出了具有一层的ToF传感器54的俯视图61，在该层上布置了至少一个第一类型的第一成像元件51、至少一个第二类型的第二成像元件52和至少一个第三类型的第三成像元件57。第一类型51、第二类型52和第三类型57成像元件布置在该层上，从而形成马赛克图案。至少一个第一类型的第一成像元件51、至少一个第二类型的第二成像元件52和至少一个第三类型的第三成像元件57彼此相邻，形成马赛克图案。
第三成像元件57被配置为检测以SWIR2波长(以1000nm到1700nm，例如，以大约1500nm)发射的第三光线，在这方面不限制本实施方式。或者，第三成像元件57可以被配置为检测UV波长(以10nm至400nm)发射的第三光线。
图9的ToF传感器基本上对应于图7的ToF传感器54，并且透镜53包括第三类型的透镜，该透镜将例如以SWIR2波长发射的第三光线聚焦在第三层57中。
图10总体上示出了飞行时间深度感测系统70。系统70基本上对应于上面参考图3讨论的ToF系统10。系统70具有脉冲光源71，其可以是适用于飞行时间深度传感的任何种类的光源，并且包括例如至少一个发光元件，例如，上面参考图4讨论的双波长VCSEL 20。光源71向反射光的物体72(感兴趣区域)发射第一光线和第二光线。
反射光被光学堆栈73聚焦到光检测器74。光检测器74具有图像传感器75和至少两种类型的透镜76，图像传感器基本上对应于ToF传感器13，如上文参考图5至图9所述，透镜如上文参考图7和图9所述，将从物体72反射的光聚焦到ToF传感器75。
例如，透镜76可以被实现为上面关于图7和图9描述的透镜。透镜76可以包括在第一层中聚焦以NIR波长发射的第一光线的第一透镜以及在第二层中聚焦以SWIR波长发射的第二光线的第二透镜，在这方面不限制本实施方式。或者，透镜76可以包括第三透镜，该第三透镜聚焦以SWIR2或UV波长发射的第三光线，在这方面不限制本实施方式。或者，透镜76可以包括聚焦以SWIR2波长发射的第三光线的第三透镜，并且还可以包括聚焦以UV波长发射的第四光线的第四透镜。
当在被物体72反射后检测到光时，光发射时间信息从光源71馈送到包括飞行时间测量单元78的电路77，飞行时间测量单元也从ToF传感器75接收相应的时间信息。基于从光源71接收的发射时间信息和从ToF传感器75接收的到达时间信息，飞行时间测量单元78计算从光源71发射并被物体72反射的光的往返时间，并基于此计算图像传感器75和物体72之间的距离d(深度信息)。
深度信息从飞行时间测量单元78馈送到电路77的3D图像重建单元79，该单元基于从飞行时间测量单元78接收的深度信息重建(生成)物体72的3D图像。3D图像重建单元79可以具有逻辑电路，该逻辑电路被配置为融合第一飞行时间数据和第二飞行时间数据，用于增强融合数据中的信号强度，其中，信号强度取决于被光源71照射的物体72的材料反射率，如本文所讨论的。逻辑电路还可以通过组合第一波长和第二波长的相位信息来对第一飞行时间数据和第二飞行时间数据执行去混叠，在这方面不限制本实施方式。逻辑电路可以由ToF系统70之外的处理器等来实现。
此外，ToF系统70还具有控制器80(包括在电路77中，此处包括逻辑电路)，以在施加电压之后控制工作波长，从而控制光源71同时或依次发射第一波长的第一光线和第二波长的第二光线，如本文所述。如本文所讨论的，第一波长和第二波长均基于被光源71照射的物体72的材料反射率来选择。
在关于图10描述的实施方式中，光检测器74具有图像传感器75和至少两种类型的透镜76，透镜将从物体72反射的光聚焦到ToF传感器75，在这方面不限制本公开。或者，在一些实施方式中，光检测器74包括图像传感器75，该图像传感器基本上对应于ToF传感器13，如上面参考图5至图9所讨论的，并且包括布置在ToF传感器13上的一个透镜，该透镜基本上对应于布置在ToF传感器13上的透镜14，如上面参考图5至图6所讨论的。在这样的实施方式中，透镜聚焦第一层中的第一光线和第二层中的第二光线。
图11是飞行时间方法90的实施方式的流程图，该方法可以由飞行时间系统执行，例如，本文讨论的图3的飞行时间系统10和/或图10的飞行时间系统70。
在下文中，基于图10的飞行时间系统70的功能来讨论方法90，而不在这方面限制本公开。通常，方法90可用于控制飞行时间系统，如本文所讨论的。
在91，通过控制相应的电压施加来驱动光源71，其中，电压施加使得光源71发射由双波长垂直腔表面发射激光器以第一波长生成的第一光线，并发射由双波长VCSEL以第二波长生成的第二光线，如本文所讨论的。
在92，通过控制相应的电压施加来驱动ToF传感器75，并读出ToF传感器75，使得ToF传感器75检测第一波长的第一光线和第二波长的第二光线，并生成与检测到的第一光线相关联的第一飞行时间数据和与检测到的第二光线相关联的第二飞行时间数据，如本文所讨论的。如所讨论的，ToF传感器75的工作波长对应于光源71的工作波长，即第一波长和/或第二波长。
在93，通过施加电压来选择工作波长。如此控制或选择电压施加，使得飞行时间系统70的光源71和ToF传感器75的工作波长彼此对应，如本文所讨论的。工作波长的选择可以基于被光源71照射的物体72的材料反射率，如本文所讨论的。
如上所述，飞行时间系统70能够在两种波长下工作，在这方面不限制本公开。飞行时间系统70能够在两个或更多波长下工作。也就是说，ToF系统70的光源71可以发射多于一个波长的光线，即第一波长和第二波长，其中，第二波长大于第一波长。因此，提供多个集成波长的照射，其中，ToF系统70的光源71在光谱的窄部分中发射所有工作波长附近的光，例如，在VCSEL中就是这种情况，以便有效地看到存在太阳光时SNR的增加，即，尽可能有效地滤除太阳光。此外，透镜76和ToF传感器75的设计可以考虑光子的穿透深度，以将光聚焦在正确的深度，使得像素串扰最小化。ToF传感器75可以是选择性的，从而拒绝光谱中不存在有源光的部分中的环境光。
图12是可以由飞行时间系统(例如，本文讨论的图3的飞行时间系统10和/或图10的飞行时间系统70)执行的飞行时间方法95的实施方式的流程图。
在96，通过控制相应的电压施加来驱动光源71，其中，电压施加使得光源71发射由双波长垂直腔表面发射激光器以第一波长生成的第一光线，并发射由双波长VCSEL以第二波长生成的第二光线，如本文所讨论的。
在97，通过控制相应的电压施加来驱动ToF传感器75，并读出ToF传感器75，使得ToF传感器75检测第一波长的第一光线和第二波长的第二光线，并生成与检测到的第一光线相关联的第一飞行时间数据和与检测到的第二光线相关联的第二飞行时间数据，如本文所讨论的。如所讨论的，ToF传感器75的工作波长对应于光源71的工作波长，即第一波长和/或第二波长。
在98，控制ToF传感器75检测从物体72反射到ToF传感器75的光。如本文所讨论的，ToF传感器75包括至少两种类型的成像元件和透镜，透镜将从被照射的物体反射的光聚焦到ToF传感器。可以控制ToF传感器75来检测与第二波长的第二光线同时发射的第一波长的第一光线。
例如，如图5和图6的实施方式中所述，ToF传感器可以具有两层，而ToF传感器可以包括至少一个被配置为检测第一光线的第一类型的第一成像元件和至少一个被配置为检测第二光线的第二类型的第二成像元件。第一类型的成像元件可以布置在第一层上，第二类型的成像元件可以布置在第二层上。第一层和第二层彼此层叠布置。布置在ToF传感器上的透镜将第一光线聚焦到第一层，并将第二光线聚焦到第二层。
或者，如图7和图8的实施方式中所述，ToF传感器可以具有一层，在该层上可以布置至少一个第一类型的第一成像元件和至少一个第二类型的第二成像元件。第一类型和第二类型的成像元件可以布置在该层上，以便形成马赛克图案。布置在ToF传感器上的透镜可以包括在第一层中聚焦以第一波长发射的第一光线的第一透镜以及在第二层中聚焦以第二波长发射的第二光线的第二透镜，在这方面不限制本实施方式。如图9的实施方式中所述，ToF传感器可以具有一层，在该层上可以布置至少一个第一类型的第一成像元件、至少一个第二类型的第二成像元件和至少一个第三类型的第三成像元件，并且布置在ToF传感器上的透镜将第一类型、第二类型和第三类型的光线分别聚焦到第一类型、第二类型和第三类型的成像元件。
本文描述的方法(特别是方法90和方法95)在一些实施方式中还被实现为计算机程序，当在计算机和/或处理器上执行时，该计算机程序使得计算机和/或处理器执行该方法。在一些实施方式中，提供了一种非暂时性计算机可读记录介质，其中存储了计算机程序产品，当由处理器(例如，上述处理器)执行时，该计算机程序产品使得执行本文描述的方法。
应当认识到，实施方式描述了具有方法步骤的示例性排序的方法。然而，方法步骤的特定顺序仅仅是为了说明的目的而给出的，并且不应该被解释为具有约束力。例如，图11的实施方式中91和92的顺序和/或图12的实施方式中96和97的顺序可以互换。方法步骤的顺序的其他变化对技术人员来说是显而易见的。
请注意，将控制77划分为单元78和79仅仅是为了说明的目的，并且本公开不限于特定单元中的任何特定功能划分。例如，控制器77可以由相应的编程处理器、现场可编程门阵列(FPGA)等实现。
如果没有另外说明，在本说明书中描述的和在所附权利要求中要求保护的所有单元和实体可以被实现为集成电路逻辑，例如，在芯片上，并且如果没有另外说明，由这样的单元和实体提供的功能可以由软件实现。
就至少部分地使用软件控制的数据处理装置来实现上述公开的实施方式而言，将会理解，提供这种软件控制的计算机程序和提供这种计算机程序的传输、存储或其他介质被设想为本公开的方面。
注意，本技术也可以如下所述进行配置。
(1)一种飞行时间系统，包括：
光源，光源被配置为向物体发射第一波长的第一光线和第二波长的第二光线，第二波长大于第一波长；以及
飞行时间传感器，飞行时间传感器被配置为检测第一波长的第一光线和第二波长的第二光线，并生成与检测到的第一光线相关联的第一飞行时间数据和与检测到的第二光线相关联的第二飞行时间数据。
(2)根据(1)所述的飞行时间系统，其中，飞行时间传感器包括至少一个被配置为检测第一光线的第一类型的第一成像元件和至少一个被配置为检测第二光线的第二类型的第二成像元件。
(3)根据(2)所述的飞行时间系统，其中，至少一个第一类型的第一成像元件布置在第一层中，至少一个第二类型的第二成像元件布置在第二层中，第一层和第二层彼此层叠布置。
(4)根据(2)所述的飞行时间系统，其中，至少一个第一类型的第一成像元件与至少一个第二类型的第二成像元件相邻。
(5)根据(4)所述的飞行时间系统，其中，第一类型和第二类型的成像元件布置在一层中，形成马赛克图案。
(6)根据(1)至(5)中任一项所述的飞行时间系统，其中，飞行时间传感器还包括可调谐滤光器，可调谐滤光器被配置为通过第一光线或第二光线。
(7)根据(2)所述的飞行时间系统，其中，通过将第一解调方案应用于至少一个第一类型的第一成像元件来生成第一飞行时间数据，并且通过将第二解调方案应用于至少一个第二类型的第二成像元件来生成第二飞行时间数据，第一解调方案独立于第二解调方案来应用。
(8)根据(1)至(7)中任一项所述的飞行时间系统，其中，第一波长在近红外范围内，第二波长在短波红外范围内。
(9)根据(1)至(8)中任一项所述的飞行时间系统，其中，光源包括至少一个双垂直腔表面发射激光器，双垂直腔表面发射激光器被配置为发射第一光线和/或第二光线。
(10)根据(3)所述的飞行时间系统，还包括：
被配置为将第一光线聚焦在第一层中的第一透镜和被配置为将第二光线聚焦在第二层中的第二透镜。
(11)根据(1)至(10)中任一项所述的飞行时间系统，还包括：
控制器，被配置为控制光源同时发射第一波长的第一光线和第二波长的第二光线。
(12)根据(1)至(11)中任一项所述的飞行时间系统，还包括：
逻辑电路，被配置为融合第一飞行时间数据和第二飞行时间数据，以增强融合数据中的信号强度，其中，信号强度取决于被光源照射的物体的材料反射率，其中，材料反射率对于第一波长的第一光线和第二波长的第二光线是不同的。
(13)根据(12)所述的飞行时间系统，其中，第一波长和第二波长都是根据被光源照射的物体的材料反射率来选择的。
(14)根据(12)所述的飞行时间系统，其中，逻辑电路还被配置为通过组合第一波长和第二波长的相位信息来对第一飞行时间数据和第二飞行时间数据执行去混叠。
(15)一种飞行时间方法，包括：
驱动光源向物体发射第一波长的第一光线和第二波长的第二光线，第二波长大于第一波长；以及
驱动飞行时间传感器检测第一波长的第一光线和第二波长的第二光线，并生成与检测到的第一光线相关联的第一飞行时间数据和与检测到的第二光线相关联的第二飞行时间数据。
(16)一种飞行时间方法，包括：
向物体发射第一波长的第一光线和第二波长的第二光线，第二波长大于第一波长；
检测第一波长的第一光线和第二波长的第二光线；以及
生成与检测到的第一光线相关联的第一飞行时间数据和与检测到的第二光线相关联的第二飞行时间数据。
(17)根据(16)所述的飞行时间方法，还包括：
融合第一飞行时间数据和第二飞行时间数据，以增强融合数据中的信号强度，其中，信号强度取决于被光源照射的物体的材料反射率，其中，材料反射率对于第一波长的第一光线和第二波长的第二光线是不同的。
(18)根据(17)所述的飞行时间方法，还包括：
通过组合第一波长和第二波长的相位信息来对第一飞行时间数据和第二飞行时间数据执行去混叠。
(19)根据(17)或(18)所述的飞行时间方法，还包括：
控制光源同时发射第一波长的第一光线和第二波长的第二光线。
(20)根据(17)至(19)中任一项所述的飞行时间方法，还包括：
控制飞行时间传感器检测与第二波长的第二光线同时发射的第一波长的第一光线。

Claims (20)

1.一种飞行时间系统，包括：
光源，被配置为向物体发射第一波长的第一光线和第二波长的第二光线，所述第二波长大于所述第一波长；以及
飞行时间传感器，被配置为检测所述第一波长的所述第一光线和所述第二波长的所述第二光线，并生成与所检测到的第一光线相关联的第一飞行时间数据和与所检测到的第二光线相关联的第二飞行时间数据。
2.根据权利要求1所述的飞行时间系统，其中，所述飞行时间传感器包括至少一个被配置为检测所述第一光线的第一类型的第一成像元件和至少一个被配置为检测所述第二光线的第二类型的第二成像元件。
3.根据权利要求2所述的飞行时间系统，其中，至少一个所述第一类型的第一成像元件布置在第一层中，并且至少一个所述第二类型的第二成像元件布置在第二层中，所述第一层和所述第二层彼此层叠布置。
4.根据权利要求2所述的飞行时间系统，其中，至少一个所述第一类型的第一成像元件与至少一个所述第二类型的第二成像元件相邻。
5.根据权利要求4所述的飞行时间系统，其中，第一类型的成像元件和第二类型的成像元件布置在一层中，形成马赛克图案。
6.根据权利要求1所述的飞行时间系统，其中，所述飞行时间传感器还包括可调谐滤光器，所述可调谐滤光器被配置为通过所述第一光线或所述第二光线。
7.根据权利要求2所述的飞行时间系统，其中，通过将第一解调方案应用于至少一个所述第一类型的第一成像元件来生成所述第一飞行时间数据，并且通过将第二解调方案应用于至少一个所述第二类型的第二成像元件来生成所述第二飞行时间数据，所述第一解调方案独立于所述第二解调方案来应用。
8.根据权利要求1所述的飞行时间系统，其中，所述第一波长在近红外范围内，并且所述第二波长在短波红外范围内。
9.根据权利要求1所述的飞行时间系统，其中，所述光源包括至少一个双垂直腔表面发射激光器，所述双垂直腔表面发射激光器被配置为发射所述第一光线和/或所述第二光线。
10.根据权利要求3所述的飞行时间系统，还包括：
被配置为将所述第一光线聚焦在所述第一层中的第一透镜和被配置为将所述第二光线聚焦在所述第二层中的第二透镜。
11.根据权利要求1所述的飞行时间系统，还包括：
控制器，被配置为控制所述光源同时发射所述第一波长的所述第一光线和所述第二波长的所述第二光线。
12.根据权利要求1所述的飞行时间系统，还包括：
逻辑电路，被配置为融合所述第一飞行时间数据和所述第二飞行时间数据，以增强融合数据中的信号强度，其中，所述信号强度取决于被所述光源照射的所述物体的材料反射率，其中，所述材料反射率对于所述第一波长的所述第一光线和所述第二波长的所述第二光线是不同的。
13.根据权利要求12所述的飞行时间系统，其中，所述第一波长和所述第二波长各自是基于被所述光源照射的所述物体的材料反射率来选择的。
14.根据权利要求12所述的飞行时间系统，其中，所述逻辑电路还被配置为通过组合所述第一波长和所述第二波长的相位信息来对所述第一飞行时间数据和所述第二飞行时间数据执行去混叠。
15.一种飞行时间方法，包括：
驱动光源向物体发射第一波长的第一光线和第二波长的第二光线，所述第二波长大于所述第一波长；以及
驱动飞行时间传感器检测所述第一波长的所述第一光线和所述第二波长的所述第二光线，并生成与所检测到的第一光线相关联的第一飞行时间数据和与所检测到的第二光线相关联的第二飞行时间数据。
16.一种飞行时间方法，包括：
向物体发射第一波长的第一光线和第二波长的第二光线，所述第二波长大于所述第一波长；
检测所述第一波长的所述第一光线和所述第二波长的所述第二光线；以及
生成与所检测到的第一光线相关联的第一飞行时间数据和与所检测到的第二光线相关联的第二飞行时间数据。
17.根据权利要求16所述的飞行时间方法，还包括：
融合所述第一飞行时间数据和所述第二飞行时间数据，以增强融合数据中的信号强度，其中，所述信号强度取决于所照射的物体的材料反射率，其中，所述材料反射率对于所述第一波长的所述第一光线和所述第二波长的所述第二光线是不同的。
18.根据权利要求17所述的飞行时间方法，还包括：
通过组合所述第一波长和所述第二波长的相位信息来对所述第一飞行时间数据和所述第二飞行时间数据执行去混叠。
19.根据权利要求17所述的飞行时间方法，还包括：
控制光源同时发射所述第一波长的所述第一光线和所述第二波长的所述第二光线。
20.根据权利要求17所述的飞行时间方法，还包括：
控制飞行时间传感器检测与所述第二波长的所述第二光线同时发射的所述第一波长的所述第一光线。
CN202280030114.3A 2021-04-28 2022-04-26 飞行时间系统和飞行时间方法 Pending CN117203550A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
EP21170946.4 2021-04-28
EP21170946 2021-04-28
PCT/EP2022/061087 WO2022229208A1 (en) 2021-04-28 2022-04-26 Time-of-flight system and time-of-flight methods

Publications (1)

Publication Number Publication Date
CN117203550A true CN117203550A (zh) 2023-12-08

Family

ID=75728713

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202280030114.3A Pending CN117203550A (zh) 2021-04-28 2022-04-26 飞行时间系统和飞行时间方法

Country Status (4)

Country Link
US (1) US20240183955A1 (zh)
EP (1) EP4330714A1 (zh)
CN (1) CN117203550A (zh)
WO (1) WO2022229208A1 (zh)

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102014103010A1 (de) * 2014-03-06 2015-09-10 Skidata Ag Digitalkamera
WO2020104296A2 (en) * 2018-11-22 2020-05-28 Sony Semiconductor Solutions Corporation Time-of-flight light source, time-of-flight imaging sensor, time-of-flight device and method
US20200412980A1 (en) * 2019-06-28 2020-12-31 Apple Inc. Stacked Electromagnetic Radiation Sensors for Visible Image Sensing and Infrared Depth Sensing, or for Visible Image Sensing and Infrared Image Sensing

Also Published As

Publication number Publication date
EP4330714A1 (en) 2024-03-06
WO2022229208A1 (en) 2022-11-03
US20240183955A1 (en) 2024-06-06

Similar Documents

Publication Publication Date Title
EP2790034B1 (en) 3D image acquisition apparatus and method of generating depth image in the 3D image acquisition apparatus
EP3365700B1 (en) System and method for determining a distance to an object
EP3519860B1 (en) System and method for determining a distance to an object
JP7174780B2 (ja) ３次元画像を記録するためのｓｍｉセンサー用ｖｃｓｅｌデバイス
KR101675112B1 (ko) 거리 정보 추출 방법 및 상기 방법을 채용한 광학 장치
KR102451010B1 (ko) 물체까지의 거리를 결정하기 위한 시스템
US20110063437A1 (en) Distance estimating device, distance estimating method, program, integrated circuit, and camera
US20170090018A1 (en) Optical imaging modules and optical detection modules including a time-of-flight sensor
CN107018295B (zh) 用于产生深度图像的方法和装置
US20210041539A1 (en) Method and apparatus for determining malfunction, and sensor system
EP3519855A1 (en) System for determining a distance to an object
EP3701603B1 (en) Vcsel based biometric identification device
CN113039690A (zh) 飞行时间光源、飞行时间成像传感器、飞行时间装置及方法
CN117203550A (zh) 飞行时间系统和飞行时间方法
US10698237B2 (en) Optical modulator including multiple quantum well and carrier blocks and 3D image acquisition apparatus including the same
CN112567580A (zh) 低发散垂直腔表面发射激光器及结合其的模块和主机装置
US20240114235A1 (en) Power management techniques in depth imaging
CN112639518A (zh) 使用偏振特定vcsel的三维成像和感测应用
US11418006B1 (en) Integrated device for optical time-of-flight measurement
US20220357434A1 (en) Imaging system and detection method
US20220357452A1 (en) Imaging system and detection method
US11995857B2 (en) Shape-from-shading
CN116342854B (zh) 微型感光传感器和感光识别方法
US20230408699A1 (en) Time-of-flight image sensor with quantom dot photodetectors
CN112351270B (zh) 确定故障的方法和装置以及传感器系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination