CN106911888A - 一种装置 - Google Patents

一种装置 Download PDF

Info

Publication number
CN106911888A
CN106911888A CN201610282806.3A CN201610282806A CN106911888A CN 106911888 A CN106911888 A CN 106911888A CN 201610282806 A CN201610282806 A CN 201610282806A CN 106911888 A CN106911888 A CN 106911888A
Authority
CN
China
Prior art keywords
depth map
distance
tof
camera
camera model
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201610282806.3A
Other languages
English (en)
Other versions
CN106911888B (zh
Inventor
杨骁勇
N·达顿
K·钱农
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
STMicroelectronics Research and Development Ltd
Original Assignee
STMicroelectronics Research and Development Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by STMicroelectronics Research and Development Ltd filed Critical STMicroelectronics Research and Development Ltd
Publication of CN106911888A publication Critical patent/CN106911888A/zh
Application granted granted Critical
Publication of CN106911888B publication Critical patent/CN106911888B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06—Systems determining position data of a target
    • G01S17/08—Systems determining position data of a target for measuring distance only
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06—Systems determining position data of a target
    • G01S17/08—Systems determining position data of a target for measuring distance only
    • G01S17/10—Systems determining position data of a target for measuring distance only using transmission of interrupted, pulse-modulated waves
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06—Systems determining position data of a target
    • G01S17/46—Indirect determination of position data
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/86—Combinations of lidar systems with systems other than lidar, radar or sonar, e.g. with direction finders
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • G01S17/894—3D imaging with simultaneous measurement of time-of-flight at a 2D array of receiver pixels, e.g. time-of-flight cameras or flash lidar
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/481—Constructional features, e.g. arrangements of optical elements
    • G01S7/4816—Constructional features, e.g. arrangements of optical elements of receivers alone
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/483—Details of pulse systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/593—Depth or shape recovery from multiple images from stereo images
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/128—Adjusting depth or disparity
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/239—Image signal generators using stereoscopic image cameras using two 2D image sensors having a relative position equal to or related to the interocular distance
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/243—Image signal generators using stereoscopic image cameras using three or more 2D image sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/25—Image signal generators using stereoscopic image cameras using two or more image sensors with different characteristics other than in their location or field of view, e.g. having different resolutions or colour pickup characteristics; using image signals from one sensor to control the characteristics of another sensor
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/254—Image signal generators using stereoscopic image cameras in combination with electromagnetic radiation sources for illuminating objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/271—Image signal generators wherein the generated image signals comprise depth maps or disparity maps
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/57—Mechanical or electrical details of cameras or camera modules specially adapted for being embedded in other devices
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/65—Control of camera operation in relation to power supply
    • H04N23/651—Control of camera operation in relation to power supply for reducing power consumption by affecting camera operations, e.g. sleep mode, hibernation mode or power off of selective parts of the camera
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/667—Camera operation mode switching, e.g. between still and video, sport and normal or high- and low-resolution modes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N2013/0074—Stereoscopic image analysis
    • H04N2013/0081—Depth or disparity estimation from stereoscopic image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N2013/0074—Stereoscopic image analysis
    • H04N2013/0092—Image segmentation from stereoscopic image signals

Abstract

本发明的各实施方式总体上涉及一种装置，包括：至少一个相机模块，被配置成生成至少一个图像；至少一个基于ToF SPAD的范围检测模块，被配置成生成在装置与在模块视场内的目标之间的至少一个距离确定；以及处理器，被配置成从至少一个相机模块输出接收至少一个图像、并且从基于ToF SPAD的范围检测模块输出接收至少一个距离确定、并且基于至少一个相机模块输出和至少一个距离确定来确定深度图。

Description

一种装置
技术领域
一些实施例涉及一种装置，并且特别地而非排他性地涉及一种具有光敏器件阵列的装置。
背景技术
用于确定到目标的距离的设备是已知的。
当前的光(或激光)范围和检测(LIDAR)设备和/或3D图/深度设备通常限于单个应用，它们针对该单个应用被优化。例如，在一些设备中，多个相机或者相机阵列提供可以用于确定范围的图像。计算相机应用可以将这些图像内的特征相比较并且使用与相机或相机阵列相关联的内部和外部参数的知识来确定距设备的距离。计算相机应用因此可以产生具有相关联的3D深度图的3D图像。这些应用例如可以采用诸如前景背景分离、3D扫描、3D建模之类的技术。这些3D深度图或模型然后可以在增强现实(AR)、虚拟现实(VR)以及甚至物流应用中被采用。
3D/深度计算的准确度、速度和一致性对于诸如3D扫描和建模等关键使用情况而言是重要的。比如，3D扫描设备应当生成一致的3D模型，这些3D模型可以被物流公司用于存储空间估计。3D模型中的错误例如可以导致不正确的空间估计。
然而，相机、算法和设备生产中的限制阻止了对所有的错误、运动和变型的有效纠正。另外，这些问题在移动设备中由于受限的计算能力、电池容量以及设备在捕获期间的运动而通常更糟糕。
发明内容
根据第一方面，提供了一种装置，包括：至少一个相机模块，被配置成生成至少一个图像；至少一个基于ToF SPAD的范围检测模块，被配置成生成在装置与在模块视场内的目标之间的至少一个距离确定；以及处理器，被配置成从至少一个相机模块输出接收至少一个图像、并且从基于ToF SPAD的范围检测模块输出接收至少一个距离确定、并且基于至少一个相机模块输出和至少一个距离确定来确定深度图。
处理器可以被配置成确定操作模式，并且基于至少一个相机模块输出和至少一个距离确定来确定深度图还可以基于操作模式。
操作模式可以是光强度模式，其中光强度模式可以基于由装置确定的周围光水平而被确定。
还基于操作模式来确定深度图还可以包括被配置成进行以下操作的处理器：当光强度模式是低周围光时，基本上基于来自基于ToFSPAD的范围检测模块的至少一个距离确定来确定深度图；当光强度模式是高周围光时，基本上基于来自至少一个相机模块的至少一个图像来确定深度图；以及当光强度模式既不是低周围光也不是高周围光时，基于来自基于ToF SPAD的范围检测模块的至少一个距离确定以及来自至少一个相机模块的至少一个图像二者的组合来确定深度图。
操作模式可以是速度模式，其中速度模式可以基于在深度图内的目标的速度被确定。
还基于操作模式来确定深度图还可以包括被配置成进行以下操作的处理器：当速度模式是快时，基本上基于来自基于ToF SPAD的范围检测模块的至少一个距离确定来确定深度图；当速度模式是慢时，基本上基于来自至少一个相机模块的至少一个图像来确定深度图；以及当速度模式既不是快也不是慢或者既是快又是慢时，基于来自基于ToF SPAD的范围检测模块的至少一个距离确定以及来自至少一个相机模块的至少一个图像二者的组合来确定深度图。
操作模式可以是准确度模式，其中准确度模式可以基于在深度图内的目标的期望准确度被确定。
还基于操作模式来确定深度图还可以包括被配置成进行以下操作的处理器：当准确度模式是高准确度模式时，基本上基于来自基于ToF SPAD的范围检测模块的至少一个距离确定来确定深度图；当准确度模式是低准确度模式时，基本上基于来自至少一个相机模块的至少一个图像来确定深度图；以及当准确度模式既不是低准确度模式也不是高准确度模式时，基于来自基于ToF SPAD的范围检测模块的至少一个距离确定以及来自至少一个相机模块的至少一个图像二者的组合来确定深度图。
操作模式可以是范围模式，其中范围模式可以基于在深度图内的目标距装置的期望距离被确定。
还基于操作模式来确定深度图还可以包括被配置成进行以下操作的处理器：当范围模式是微距离或近距离时，基本上基于来自基于ToF SPAD的范围检测模块的至少一个距离确定来确定深度图；当范围模式是远距离时，基本上基于来自至少一个相机模块的至少一个图像来确定深度图；以及当范围模式既不是近距离也不是远距离或者既是近距离又是远距离时，基于来自基于ToF SPAD的范围检测模块的至少一个距离确定以及来自至少一个相机模块的至少一个图像二者的组合来确定深度图。
操作模式可以是功率模式，其中功率模式可以基于装置的期望功率使用被确定。
还基于操作模式来确定深度图还可以包括被配置成进行以下操作的处理器：当功率模式是低功率模式时，基本上基于来自基于ToFSPAD的范围检测模块的至少一个距离确定来确定深度图；当功率模式是高功率模式时，基本上基于来自至少一个相机模块的至少一个图像来确定深度图；以及当功率模式既不是低功率模式也不是高功率模式时，基于来自基于ToF SPAD的范围检测模块的至少一个距离确定以及来自至少一个相机模块的至少一个图像二者的组合来确定深度图。
至少一个相机模块可以包括以确定的距离被分离的两个相机模块，其中至少一个基于ToF SPAD的范围检测模块之一可以被配置成位于由确定的距离定义的体积内。
至少一个相机模块可以包括多孔径相机。
处理器可以被配置成：基于来自至少一个相机模块输出的至少一个图像来确定第一深度图；确定深度图上的至少一个点，该至少一个点与来自基于ToF SPAD的范围检测模块的至少一个距离确定在空间上重合；以及基于在空间上重合的距离确定来在至少一个点处校准第一深度图。
根据第二方面，提供了一种方法，包括：提供被配置成生成至少一个图像的至少一个相机模块；提供被配置成生成在装置与在模块视场内的目标之间的至少一个距离确定的至少一个基于ToF SPAD的范围检测模块；从至少一个相机模块输出接收至少一个图像并且从基于ToF SPAD的范围检测模块输出接收至少一个距离确定；以及基于至少一个相机模块输出和至少一个距离确定来确定深度图。
该方法还可以包括确定操作模式，并且其中基于至少一个相机模块输出和至少一个距离确定来确定深度图还可以包括基于操作模式根据至少一个相机模块输出和至少一个距离确定来确定深度图。
确定操作模式可以包括确定光强度模式。
确定光强度模式可以包括确定周围光水平。
基于操作模式确定深度图还可以包括：当光强度模式是低周围光时，基本上基于来自基于ToF SPAD的范围检测模块的至少一个距离确定来确定深度图；当光强度模式是高周围光时，基本上基于来自至少一个相机模块的至少一个图像来确定深度图；以及当光强度模式既不是低周围光也不是高周围光时，基于来自基于ToF SPAD的范围检测模块的至少一个距离确定以及来自至少一个相机模块的至少一个图像二者的组合来确定深度图。
确定操作模式可以包括确定速度模式。
确定速度模式可以包括确定在深度图内的目标的速度。
还基于操作模式来确定深度图还可以包括：当速度模式是快时，基本上基于来自基于ToF SPAD的范围检测模块的至少一个距离确定来确定深度图；当速度模式是慢时，基本上基于来自至少一个相机模块的至少一个图像来确定深度图；以及当速度模式既不是快也不是慢或者既是快又是慢时，基于来自基于ToF SPAD的范围检测模块的至少一个距离确定以及来自至少一个相机模块的至少一个图像二者的组合来确定深度图。
确定操作模式可以包括确定准确度模式。
确定准确度模式可以包括确定在深度图内的目标的期望准确度。
还基于操作模式来确定深度图还可以包括：当准确度模式是高准确度模式时，基本上基于来自基于ToF SPAD的范围检测模块的至少一个距离确定来确定深度图；当准确度模式是低准确度模式时，基本上基于来自至少一个相机模块的至少一个图像来确定深度图；以及当准确度模式既不是低准确度模式也不是高准确度模式时，基于来自基于ToF SPAD的范围检测模块的至少一个距离确定以及来自至少一个相机模块的至少一个图像二者的组合来确定深度图。
确定操作模式可以包括确定范围模式。
确定范围模式可以包括确定在深度图内的目标距装置的期望距离。
还基于操作模式来确定深度图还可以包括：当范围模式是微距离或近距离时，基本上基于来自所述基于ToF SPAD的范围检测模块的至少一个距离确定来确定深度图；当范围模式是远距离时，基本上基于来自至少一个相机模块的至少一个图像来确定深度图；以及当范围模式既不是近距离也不是远距离或者既是近距离又是远距离时，基于来自基于ToF SPAD的范围检测模块的至少一个距离确定以及来自至少一个相机模块的至少一个图像二者的组合来确定深度图。
确定操作模式可以包括确定功率模式。
确定功率模式可以包括确定装置的期望功率使用。
还基于操作模式来确定深度图还可以包括：当功率模式是低功率模式时，基本上基于来自基于ToF SPAD的范围检测模块的至少一个距离确定来确定深度图；当功率模式是高功率模式时，基本上基于来自至少一个相机模块的至少一个图像来确定深度图；以及当功率模式既不是低功率模式也不是高功率模式时，基于来自基于ToF SPAD的范围检测模块的至少一个距离确定以及来自至少一个相机模块的至少一个图像二者的组合来确定深度图。
提供至少一个相机模块可以包括定位以确定的距离被分离的两个相机模块，其中提供至少一个基于ToF SPAD的范围检测模块包括在由确定的距离定义的体积内定位至少一个基于ToF SPAD的范围检测模块之一。
提供至少一个相机模块可以包括提供多孔径相机。
该方法还可以包括：基于来自至少一个相机模块输出的至少一个图像来确定第一深度图；确定所述深度图上的至少一个点，该至少一个点与来自基于ToF SPAD的范围检测模块的至少一个距离确定在空间上重合；以及基于在空间上重合的距离确定来在至少一个点处校准第一深度图。
根据第三方面，提供了一种装置，包括：用于生成至少一个图像的部件；用于从基于ToF SPAD的范围检测模块生成至少一个距离确定的部件；以及用于基于至少一个相机模块输出和至少一个距离确定来确定深度图的部件。
该装置还可以包括用于确定操作模式的部件，其中用于基于至少一个相机模块输出和至少一个距离确定来确定深度图的部件还可以包括用于基于操作模式根据至少一个相机模块输出和至少一个距离确定来确定深度图的部件。
用于确定操作模式的部件可以包括用于确定光强度模式的部件。
用于确定光强度模式的部件可以包括用于确定周围光水平的部件。
用于基于操作模式确定深度图的部件还可以包括：用于在光强度模式是低周围光时基本上基于来自基于ToF SPAD的范围检测模块的至少一个距离确定来确定深度图的部件；用于在光强度模式是高周围光时基本上基于来自至少一个相机模块的至少一个图像来确定深度图的部件；以及用于在光强度模式既不是低周围光也不是高周围光时基于来自基于ToF SPAD的范围检测模块的至少一个距离确定以及来自至少一个相机模块的至少一个图像二者的组合来确定深度图的部件。
用于确定操作模式的部件可以包括用于确定速度模式的部件。
用于确定速度模式的部件可以包括用于确定在深度图内的目标的速度的部件。
用于还基于操作模式来确定深度图的部件还可以包括：用于在速度模式是快时基本上基于来自基于ToF SPAD的范围检测模块的至少一个距离确定来确定深度图的部件；用于在速度模式是慢时基本上基于来自至少一个相机模块的至少一个图像来确定深度图的部件；以及用于在速度模式既不是快也不是慢或者既是快又是慢时基于来自基于ToF SPAD的范围检测模块的至少一个距离确定以及来自至少一个相机模块的至少一个图像二者的组合来确定深度图的部件。
用于确定操作模式的部件可以包括用于确定准确度模式的部件。
用于确定准确度模式的部件可以包括用于确定在深度图内的目标的期望准确度的部件。
用于还基于操作模式来确定深度图的部件还可以包括：用于在准确度模式是高准确度模式时基本上基于来自基于ToF SPAD的范围检测模块的至少一个距离确定来确定深度图的部件；用于在准确度模式是低准确度模式时基本上基于来自至少一个相机模块的至少一个图像来确定深度图的部件；以及用于在准确度模式既不是低准确度模式也不是高准确度模式时基于来自基于ToF SPAD的范围检测模块的至少一个距离确定以及来自至少一个相机模块的至少一个图像二者的组合来确定深度图的部件。
用于确定操作模式的部件可以包括用于确定范围模式的部件。
用于确定范围模式的部件可以包括用于确定在深度图内的目标距装置的期望距离的部件。
用于还基于操作模式来确定深度图的部件还可以包括：用于在范围模式是微距离或近距离时基本上基于来自基于ToF SPAD的范围检测模块的至少一个距离确定来确定深度图的部件；用于在范围模式是远距离时基本上基于来自至少一个相机模块的至少一个图像来确定深度图的部件；以及用于在范围模式既不是近距离也不是远距离或者既是近距离又是远距离时基于来自基于ToF SPAD的范围检测模块的至少一个距离确定以及来自至少一个相机模块的至少一个图像二者的组合来确定深度图的部件。
用于确定操作模式的部件可以包括用于确定功率模式的部件。
用于确定功率模式的部件可以包括用于确定装置的期望功率使用的部件。
用于还基于操作模式来确定深度图的部件还可以包括：用于在功率模式是低功率模式时基本上基于来自基于ToF SPAD的范围检测模块的至少一个距离确定来确定深度图的部件；用于在功率模式是高功率模式时基本上基于来自至少一个相机模块的至少一个图像来确定深度图的部件；以及用于在功率模式既不是低功率模式也不是高功率模式时基于来自基于ToF SPAD的范围检测模块的至少一个距离确定以及来自至少一个相机模块的至少一个图像二者的组合来确定深度图的部件。
该装置还可以包括：用于基于来自至少一个相机模块输出的至少一个图像来确定第一深度图的部件；用于确定深度图上的至少一个点的部件，该至少一个点与来自基于ToF SPAD的范围检测模块的至少一个距离确定在空间上重合；以及用于基于在空间上重合的距离确定来在该至少一个点处校准第一深度图的部件。
附图说明
现在将参考附图仅作为示例来描述一些实施例，在附图中：
图1示出了根据一些实施例的包括距离确定模块的示例装置的示意性视图；
图2示出了使用图1所示的示例装置的示例波束覆盖；
图3示出了通过图1所示的示例装置实现的示例测距时序图；
图4示出了在图1所示的装置内实现的飞行时间(SPAD)和相机模块的示意性视图；
图5示出了示例相机和相机阵列配置；
图6a到图6i示出了根据一些实施例的、包括距离确定模块的另外的示例装置；
图7示出了图1以及图6a到图6i中所示的装置内的飞行时间模块的锥体尺寸的示例集电极和发射极视场；
图8示出了使用图6f和图6g所示的装置的示例波束覆盖；
图9到图11示出了采用根据一些实施例的装置的示例方法；
图12示出了根据一些实施例的示例飞行时间模块的示意性视图；以及
图13示出了示例装置的操作的流程图。
具体实施方式
与本文中描述的实施例相关联的概念是采用范围求解模块和应用并且使其相关联以帮助实现3D测距应用和3D建模应用。
移动电话中传统的多相机或相机阵列实施方式例如可以确定目标远离移动电话并且从而使得能够对移动电话进行姿态控制。首先，多个相机可以捕获图像。图像信号处理器(ISP)然后对图像进行后处理以构造3D图。多相机(以及尤其是双相机)实施方式可以提供3D扫描和前景背景分离。多相机实施方式通常不增加移动电话的Z高度(或厚度)，这对于更高分辨率的移动相机而言在“像素竞赛(pixelrace)”方面是一个普遍的问题。不幸的是，计算相机实施方式具有以下问题：
噪声：相机的图像质量(IQ)在低光条件下通常由于高的环境噪声、低的信号速率以及图像传感器灵敏度的限制而很差。
速度：相机实施方式在捕获低光中的图像方面通常由于更长的聚焦时间和更长的曝光时间而很慢。任何对象移动和设备运动(例如握手)可以在所捕获的图像中引起闪烁并且因此在生成的任何3D模型中引起错误。
准确性：由于3D/深度图通过图形处理被创建，所以3D/深度图的准确性受到图像质量和ISP算法的限制。比如，如果相机由于对象移动或握手移动设备而没有正确地聚焦，则图像将会很模糊并且因此所计算的结果可能不正确。另外，制造和生产一致性可能限制准确性。
功率：多相机和多芯片实施方式相对于电池供电设备消耗大量功率。多帧捕获和计算也非常耗电。
大小：相机模块大小相对于手持式或移动式设备很明显。多个相机因此可能在移动设备中占据更多空间。
生产：多相机设备由于零件到零件的变化以及多相机之间的潜在未对准而可能面临生产挑战，而深度计算部分基于多个相机之间的距离来计算。因此，多相机实施方式的变化和未对准可能导致不准确的3D/深度图生成。
诸如相机IQ、捕获速度和准确性等以上限制因此可能限制多相机3D/深度实施方式的使用及其用户体验。另外，尺寸和功耗问题可能进一步限制其在移动设备中的实施方式。
本文中进一步详细讨论的概念可以体现在其中传统的多相机实施方式与飞行时间(ToF)模块组合的示例中。ToF模块可以包括支持激光器、传感器和孔径(其可以是合适的光学窗口或透镜)的封装。光脉冲从激光器发出，穿过孔径，并且可以被反射离开目标(通过返回孔径)并且回到传感器。光行进到目标并且被反射回传感器所需要的时间可以用于基于已知的光速来确定目标与设备之间的距离。这被称为距离的直接测量。替选地，可以通过测量光源输出的信号与在目标上被反射并且被光传感器检测到的信号之间的相位平移来获得所需要的时间的间接测量。
ToF模块传感器可以包括被用作反射光的指示器的单光子雪崩二极管(SPAD)。通常，SPAD的阵列被提供作为传感器以便检测反射的光脉冲。光子生成的载波(诸如光脉冲中的光子)可以在SPAD阵列中的SPAD中的一个或多个SPAD中触发雪崩电流。雪崩电流可以将事件发信号，即已经检测到光的光子。
以这样的方式，飞行时间模块可以改善精度、速度并且减小由计算相机应用产生的变化。
虽然可以使用传统的红外(IR)光和IR接近传感器来克服所提出的问题中的一些问题，然而其在准确性和测距方面受到限制。例如，以下表格说明了与飞行时间(ToF)模块相比而言使用传统的IR和IR反射辅助的问题。
另外，包括IR光和IR传感器的IR模块可能占据很大的空间并且因此将增加成本、尺寸和功率。
在下文中进一步详细描述的实施例中，ToF模块辅助的3D/深度解决方案在低的光、速度、准确性、范围、功率、尺寸等方面具有很多优点。例如，可以使用单光子雪崩二极管(SPAD)并且计数所返回的光子而非返回信号功率的ToF模块可以改善低光性能、测量速度和测距准确性。类似地，在一些实施例中，使用SPAD的ToF模块可以测量光速并且可以降低整个系统功耗。ToF模块还可以使用被合并在单个模块内的竖直腔体表面发射激光器(VCSEL)加上SPAD并且可以用于针对多相机3D/深度实施方式减小物理尺寸。例如，如本文中所描述的，ToF模块可以代替多个相机中的一个或多个相机。另外，ToF模块的封装大小可以使得能够复用多个相机之间的空间。
图1中示出了根据一些实施例的包括ToF距离确定模块的第一示例设备或装置。
图1示出了例如包括耦合到柔性线缆117的第一相机111的装置或设备101。另外，示例装置101包括也耦合到柔性线缆117的第二相机115。第一相机和第二相机111、115被布置成使得它们被配置成至少捕获部分交叠的视场，但是它们通过“空白”空间被分离，使得每个相机的视场充分难以使得3D/深度分析被执行。示例装置101还包括柔性线缆117。柔性线缆117是适合用于向诸如相机等模块提供功率和定时信号并且还使得能够向诸如图像信号处理器(ISP)119和存储器121等处理器提供图像和感测数据的输出的电气耦合的示例。因此，在一些实施例中，柔性线缆117可以用诸如印刷电路板迹线等任意合适的电气耦合来代替，其中印刷电路还支持或定位相机和其他模块。
示例装置或设备101可以包括被配置成执行或运行用于处理图像或传感器数据的程序或应用的处理器或图像信号处理器119。例如，ISP 119可以被配置成处理图像和/或传感器数据以生成合适的3D/深度图或模型。示例装置或设备101还可以包括耦合到柔性线缆117的存储器121。存储器121可以被配置成存储传感器数据和图像信号数据，并且还存储由ISP 119执行的应用。
装置101还可以包括也耦合到柔性线缆117的ToF模块113。ToF模块113在示例装置101中被定位在第一相机111与第二相机115之间的“空白”空间中。ToF模块的示意性示例关于图12被进一步详细地示出。ToF模块包括电压源1204。这一电压源可以是片上电压源或者可以是可以在芯片外部并且可以采用任意合适格式的电压源。
电压源1204被配置成控制向SPAD阵列1202施加的电压。电压源1204提供在SPAD阵列1202中的每个SPAD中使用的电压。每个SPAD的输出可以被提供给数字计数器/时间-距离变换器(TDC)1206。在一个实施例中，数字计数器/TDC 1206被配置成在SPAD的输出每次指示单个光子的到达时进行计数。数字计数器/TDC 1206还被配置成使用这些计数并且应用时间-距离变换来输出所检测的合适的目标距离值。时间-距离变换可以是任意合适的过程，诸如“码表”功能或者基于强度的调节功能。数字计数器/TDC 1206的输出可以被输入到控制器1208。控制器1208可以采用任意合适的形式并且可以用硬件、软件和/或这二者的组合来实现。在一些实施例中，控制器可以包括固件控制器。在其他实施例中，控制器包括至少一个处理器。控制器1208的输出可以用于向电压源1204提供输入。由控制器1208提供的输入控制由电压源1204提供的电压。
ToF模块113还可以包括光源1212，光源1212可以由光源驱动器1209来驱动并且由控制器1208来控制。光源可以是竖直腔体表面发射激光器(VCSEL)。ToF模块可以被配置成根据任意合适的方式来确定目标与该模块之间的距离。
图1所示的示例还示出了可以由装置来感测的“近处”或前景目标103以及“远处”或背景目标105。
ISP 119被配置成接收ToF模块113的传感器输出并且从第一相机111和第二相机115接收图像以执行更优化的测距确定。在以下示例中，这些通过生成3D/深度图或模型的操作来例示。另外，在一些实施例中，ISP 119可以被配置成控制相机和ToF模块以便更加优化所生成的3D/深度图或模型的功耗、生成速度或准确性。这一控制在一些实施例中可以基于到ISP 119的传感器或相机输入。
关于图13，描述如图1所示的装置执行的一系列示例操作。
ISP 110在一些实施例中可以被配置成确定操作模式或使用情况。操作模式或使用情况可以基于传感器或用户输入被确定。例如，操作模式可以是基于光的操作模式(低、中、高光水平)、基于速度的操作模式(快、中、慢)、基于范围的操作模式、或者基于目标的操作模式。操作模式可以定义要向所接收的数据应用的处理的类型并且因此定义如何控制传感器或相机生成传感器或图像数据。
图13中通过步骤1301示出了确定操作模式的操作。
ISP然后可以被配置成基于所确定的操作模式来控制ToF模块和/或相机模块。
图13中通过步骤1302示出了基于所确定的操作模式来控制模块的操作。
ISP然后可以被配置成接收ToF模块输出和/或相机图像数据。
图13中通过步骤1305示出了接收ToF模块输出和/或相机图像数据的操作。
ISP然后可以被配置成处理所接收的ToF传感器数据和/或相机图像数据。例如，ISP可以被配置成生成环绕装置的3D/深度图或模型。在一些实施例中，ISP被配置成使用ToF传感器数据生成“近处”目标模型，并且使用相机图像数据生成“远处”目标模型，并且将这两个目标模型组合以生成3D/深度图，所生成的3D/深度图与可以通过传感器类型中的一个或其他传感器类型实现的相比具有更大的范围或更低的功耗。
例如，虽然相机通常在强光条件下性能更好，然而ToF模块在低光条件下性能更好。ToF模块对所返回的光子进行计数以便测量距离。由于环境噪声在暗或差光条件下更低，所以ToF模块的测量准确性和测距距离在暗/低光下更高。因此，例如，在其中ISP 119被配置成接收多相机图像和ToF模块传感器输出二者的一些实施例中，ISP 119可以确定光水平并且根据这一光水平来选择使用ToF模块输出还是相机图像来生成3D映射。例如，在强光(其可以是>3K勒克斯卤素)使用情况或模式下，使用相机图像数据，对于低光(其可以是<1K勒克斯卤素)使用情况或模式，使用ToF模块输出，并且对于中间光模式(其可以是在1K到3K勒克斯卤素之间)，可以使用两种类型的混合。这在下面的表格中被概括。
另外，在其中相机能够捕获在红外频谱的范围内的图像(换言之，IR相机以多相机配置被使用，或者如果IR过滤器和RGB相机以多相机配置被使用)的一些实施例中，ToF模块也可以用作照亮场景的IR照明器。
在一些实施例中，ISP 119还可以确定在定义的周期内是否需要3D/深度图或模型，并且确定是否使用相机图像数据、ToF传感器数据或者这二者的组合数据。多相机方法生成3D/深度应用输出所需要的时间要求相机捕获图像并且然后要求ISP捕获深度图。图像捕获和ISP计算操作占用大量时间。比如，相机通常需要大约500ms以聚焦。然而，ToF模块通常需要大约33ms以测量准确的范围。
在一些实施例中，ISP 119可以确定要实现快(诸如<120ms)、中等(诸如120ms到1s)还是慢(诸如>1s)估计模式或使用情况，并且基于该确定来选择图像或传感器数据输入。因此，ISP可以被配置成初始化ToF模块用于快速捕获模式或使用情况，例如当确定范围为“移动”对象时。ISP还可以在慢捕获模式或使用情况下(诸如在3D/深度图为“静止”对象的情况下)初始化并且处理多相机图像。
ISP还可以并行地操作ToF模块和多个相机二者，并且可以使用ToF模块输出以在很短时间内估计移动对象(诸如移动的手)上的范围，同时多相机图像可以被配置成并行地构建更慢目标(诸如身体的休息)和背景的3D图。这在下面的表格中被概述。
如本文中所讨论的，采用纯多相机实施方式的传统的3D/深度应用可能具有很难或者不能够克服的准确性限制。比如，相机图像质量(IQ)可能受到诸如自动聚焦(AF)实施方式、镜头和图像传感器等硬件的限制。另外，多个相机在装置的生产或制造中可能未对准。由于ToF传感器包括激光器和SPAD，其中范围测量结果基于平均光子到达时间而非返回功率的幅度或光子计数，所以测距准确性独立于目标反射率，并且因此可能导致低于几个百分比的测距测量的平均误差。
ISP在一些实施例中因此可以确定准确性模式或使用情况(换言之需要准确性的情况)并且基于所需要的准确性模式或使用情况来选择多相机和ToF模块输出。例如，如果ISP被配置成生成坐在沙发上的人员的3D图，则可以使用ToF模块测距估计来给出与该人员(主要对象)有关的准确的3D/深度信息并且并行地移动“感兴趣的窗口”以构建背景(次要对象)的不太准确的3D图。然后可以将两个深度图组合以生成完整的3D/深度模型。以下表格示出了示例准确性使用情况的概述。
ToF模块还可以使得能够在近距离和微距离处测量准确性范围，而多相机实施方式针对距装置的远距离和近“无限”距离产生更好的结果。在一些实施例中，ISP可以被配置成确定基于距离的模式或者使用情况，并且基于所确定的模式选择使用ToF模块还是相机数据。例如，通过将ToF模块与相机模块组合，ISP可以被配置成通过校准相机模块来生成在宽的距离范围上准确的3D/深度图。因此，在一些实施例中，ToF模块可以被配置成产生测距信息，测距信息可以用于帮助或偏移多相机模块内的任何生产或制造误差。多相机模块例如可以具有零件到零件变化、热变化和电势未对准，这些可能导致3D/深度图的不准确计算。类似地，在一些实施例中，ISP可以使用ToF模块测距信息提供用于多相机模块的参考。比如，ToF模块范围可以确定在例如20mm的第一距离处的诸如墙壁等目标，而多相机确定的范围是第二距离，例如220mm。因此，例如由于相机模块内的生产变化或者热变化而导致困难。由于已知ToF模块测距更准确，所以ISP可以使用ToF测距作为校准或参考值并且将多相机测距确定值偏移第一距离和第二距离之差，例如偏移-20mm。提供所确定的第一距离和第二距离之间的误差针对多个距离是恒定的，多相机模块因此可以用于确定超过ToF最大有效范围距离(例如>1300mm)但是得益于由ToF模块提供的校准或参考的目标的范围。
因此，通过使用ToF模块校准相机模块，可以生成能够同时提供近距离范围和远距离范围的3D图的3D/深度模型或图。例如，如果装置试图映射或建模附近的目标，诸如停留在花上的蝴蝶，并且还尝试映射或建模诸如花园背景等目标。蝴蝶和花可以在距设备大致10cm的距离处，而花园在大约10m的距离处，ToF模块可以被配置成测量与在“微”距离处蝴蝶/花有关的信息。并行地，多相机可以移动“感兴趣的窗口”(WoI)以构建花园的3D图。处理器或ISP然后可以组合或合并两个深度模型以生成与在其他传感器类型的情况下有可能的明显更大范围的3D图。
因此，例如关于图2，通过所示出的微距离201以及近、中间和远距离205示出了第一相机111的视场宽度211、ToF模块113的视场213以及第二相机115的视场215。这一基于距离的使用情况/模式选择例如在下面的表格中被概括。
在一些实施例中，ISP可以被配置成确定基于功率的使用情况或操作模式。在这样的实施例中，ToF模块可以被配置成测量范围以便在一些模式/使用情况下(诸如当装置在低光或功率效率(或低功率)模式下操作时)降低功耗。指示由于在低光水平下，相机趋向于具有差的IQ。在试图克服差的IQ时，相机需要更多的时间(以及因此更多的能量)以聚焦，另外增加了相机增益并且扩展了曝光时间。
例如，图3示出了针对多相机实施方式的第一测距周期、第二测距周期和第三测距周期的功耗。第一测距周期311示出了“高”功率实施方式，其中示出了在低光情况下仅使用相机的装置执行测距或映射操作的功耗与时间的图。第二测距周期331示出了“平衡的”功率实施方式，其中示出了使用ToF模块帮助装置在低光情况下执行测距操作的装置的功耗与时间的图。第三测距周期351示出了示例“低”功率实施方式，其中示出了仅使用ToF模块执行测距操作的装置的功耗与时间的图。第一测距周期311包括校准及数字内务处理(CDH)部分301，之后是测距部分303并且之后是处理部分305，其中测距部分期间的功耗是由CDH部分301、测距部分303和处理部分305下面的总面积定义的整个功耗的一大部分。第一测距周期之后是备用周期321，之后是第二测距周期331，之后是ToF辅助CDH部分341、ToF辅助测距部分343和处理部分345。通过使用ToF模块，稍微增加了瞬时功耗，但是使得测距操作明显更短并且因此明显降低了整个周期上的功耗。第二测距周期之后是另外的备用周期323，之后是第三测距周期351，之后是仅ToF的CDH部分361、仅ToF的测距部分363以及仅ToF的处理部分365。通过使用ToF模块，在测距部分和处理部分中仅降低了瞬时功耗，并且测距操作可以明显更短并且因此进一步明显降低整个周期上的功耗。
因此，在一些实施例中，ISP可以被配置成使用ToF传感器的输出直接读出范围并且减小相机聚焦时间(并且因此减小整个功耗)。由于ToF传感器被设计成激光器安全(通常为第1等级)，所以激光器的最大功率受到限制并且因此能够可靠地确定的距离范围在仅使用ToF模块的情况下受到限制。因此，在一些实施例中，ISP可以被配置成确定在涉及远距离和宽视场(FoV)测距的高/最大功率范围模式或使用情况下要使用来自多相机的图像。另外，ISP可以被配置成使得组合的ToF传感器和多相机3D/深度实施方式能够在不同的功率模式下实现“平衡的”功耗。
图4示出了(并未按比例)ToF模块401和相机模块411的平面图。ToF模块远远更小并且如图1所示可以复用相机模块周围的空间并且与多相机共享柔性连接。ToF模块通常远小于相机模块。比如，ToF模块401可以具有由长度405、宽度407和深度409定义的体积，该体积比由尺寸(长度413、宽度415和深度417)定义的简单的相机模块411的体积大约小25倍。
这样，ToF模块可以被放置在相机模块之间的空隙或者空间中而不影响对封装件定尺寸。例如，图6a中示出了图1所示的装置的合适的实施方式的顶视图，其中第一相机611和第二相机615的双相机配置通过ToF模块613分离并且全部安装在柔性连接器617上。
在一些情况下，一个或多个相机模块可以用相机阵列/混合的相机和相机阵列来代替。
图5中示出了相机阵列和混合的相机和相机阵列的示例，其中示出了包括第一阵列相机501和第二阵列相机501b的双阵列。图5还示出了包括第一阵列相机503a、第二阵列相机503b和相机模块503c的三阵列503。另外，图5示出了包括第一阵列相机505a、第二阵列相机505b、第三阵列相机505c和第四阵列相机505d的多孔径阵列505。
图6b例如示出了示例设备，其中图6a的布置的第一相机611被多孔径相机阵列619取代。
如先前所讨论的，为了产生合适的3D/深度图，在双相机配置中，相机模块之间需要间隙或空隙。由于ToF模块远小于双相机配置中的每个相机模块，所以ToF模块有可能复用相机模块之间的这一空隙或间隙或空间。另外，在一些实施例中，还可以通过使用在ToF模块“下面”以及在多个相机之间的空间来改进封装件体积优化。例如，如图6c所示，可以在ToF模块613下面以及第一相机611与第二相机615之间放置主OIS(光学图像稳定器)模块621等另一部件。以这样的方式，可以最小化ToF辅助的3D/深度相机实施方式所需要的整个系统空间/体积。另外，通过在相机模块之间放置ToF模块，ToF模块的视场(FoV)与每个相机模块的FoV对称地并且在最大程度上交叠。
虽然本文中所描述的实施例特征化基于多相机的ToF模块辅助的3D/深度相机实施方式，然而在一些实施例中，ToF模块可以代替相机模块或相机阵列模块之一以及帮助3D/深度图或模型确定。例如，图6d示出了其中第二相机被柔性连接器617上的ToF模块去除/取代的示例。图6e另外示出了其中图6d所示的第一相机模块611被多相机阵列619取代的示例。在这样的实施例中，ToF模块可以与单个相机或相机阵列一起使用以用于紧凑且经济的3D/深度实施方式。比如，ToF模块和单个相机解决方案可以用在低成本或中端3D/深度使用情况下，其中设计具有紧凑的空间以及材料单(BoM)预算。
在一些实施例中，ToF模块或传感器可以是任意合适类型的模块或传感器。例如，在一些实施例中，模块或传感器可以是具有直方图生成能力的直接ToF传感器。直方图生成能力使用SPAD技术从不同的目标采集返回的光子。在这样的实施例中，不同的目标示出不同的直方图峰值并且因此可以用于生成或者帮助产生简单的低分辨率3D/深度图或模型。这些低分辨率图或模型可以用在诸如前景/背景或目标/背景分离等简单使用情况下。直方图功能和低分辨率图或模型也可以在诸如低光条件等情况下改善3D/深度相机阵列。
3D/深度图的应用在3D感测中。对象在视场中的运动也可以在产生对象的3D图之后来计算。3D感测因此可以用在装置的目标跟踪和姿态控制中。纯多相机实施例的挑战之一在于模块的计算速度和尺寸。比如，典型的3D感测结构化光或ToF相机产品(诸如微软的Kinect和因特尔的RealSense)使用IR照明和IR传感器用于姿态控制。虽然IR解决方案可以在低光条件下确定3D图，然而IR解决方案需要另外的功率和成本，尤其是在移动形状因子内实现的情况下。这是由于典型的移动设备相机是具有IR截止滤波器的RGB相机。在一些实施例中，姿态控制和3D感测应用可以使用多个相机模块(或相机阵列)的多个ToF模块帮助来实现。这些实施例具有以下优点。
首先，ToF模块远小于并且远便宜于RGB相机和IR相机模块。因此，多个ToF模块小于单个相机，并且在姿态控制设备中使用多个ToF模块比在多相机实施方式中使用另外的相机是更加空间和成本有效的。比如，可以使用双ToF模块加上双相机实施方式而非四相机解决方案。
因此，例如，如图6f所示，示出了多ToF模块和单相机阵列设备。该设备包括位于相机阵列619的一侧的第一ToF模块613a以及位于相机阵列619的另一侧的第二ToF模块613b。第一ToF模块613a、相机阵列619和第二ToF模块613b连接到柔性连接器617。图6h示出了对图6f的设备的修改，其中相机阵列619用相机模块611来代替。
另外，关于图6g和图6i，示出了示例多ToF模块和多相机示例。关于图6g，相机阵列619和相机模块611彼此相邻并且与两个ToF模块113a和113b分离。每个ToF模块因此可以检测距离以及由目标运动引起的距离的任何变化。图6i示出了其中ToF模块113a和113b以及相机611/相机阵列619模块交替以便两个ToF模块能够分离并且相机/相机阵列模块二者能够分离的示例。
在这样的实施例中，可以通过使用ToF模块来实现初始或简单3D感测。例如，可以通过多个ToF和至少一个相机来实现诸如手部移动等目标跟踪或简单姿态检测。
ToF模块113a和113b因此可以非常快地确定视场内的任何目标并且确定其位置和移动。多相机和ISP因此可以进行图像的进一步计算分析以用于另外的3D感测和复杂姿态分析(例如手指姿态分析)。
在一些实施例中，由多个ToF模块生成的3D感测可以用多相机3D感测来补充。因此，多ToF模块和多相机3D/测距图或模型可以比多相机实施方式具有更好和更准确的结果。
多ToF实施方式可以具有另外的优点。如图7所示，ToF模块113具有发射极视场(FoV)701和集电极视场(FoV)703。在图7所示的示例中定义传感器FoV的其最小值为大约25度。增加单ToF模块中的FoV需要更高的功率(其因此受到第1等级安全极限的限制)或者更短的最大有效范围(由于逆平方定律)。在本文中所描述的实施例中，通过采用多个ToF模块，增加了FoV而没有减小最大有效测距距离。这例如可以在图8中被示出，图8示出了第一单相机611、双ToF模块613a、613b配置(类似于图6f和图6h)，其中相机FoV 811和ToF模块FoV 813a和813b产生比图2所示的ToF模块FoV大的用于ToF模块的组合FoV。图8还示出了双相机611、615以及双ToF模块613a、613b配置(类似于图6g)，其中相机FoV 831和835、ToF模块FoV 833a和833b产生比图2所示的ToF模块FoV大的用于ToF模块的组合FoV。
在一些实施例中，可以管理ToF模块与多个相机之间的生产对准。比如，通过将ToF定位在相机模块之间的空隙中，减小了相机未对准的自由度，因为相机之间几乎不存在“空间”并且因此减小了变化的机会。另外，在一些实施例中，相机可以在生产期间用于检查ToFVCSEL的IR FoV以便确保正确的ToF对准。
关于图9到图11示出了相机和ToF模块数据的组合的示例。因此，例如，图9到图11示出了各种“困难的”示例目标901、1001、1101。还示出了由相机产生的目标相机视图903、1003、1103。还示出了具有VCSEL照明的目标相机视图905、1005、1105。能够使用基于ToF SPAD的模块产生距离估计的已经被照明的这些区域在附图中用907、1007、1107来示出，其中光色区域定义其中可以以高的置信度来估计距离的区域。确定了基于ToF SPAD的距离估计之后，可以将这些估计与目标相机图像上的点组合以生成目标相机视图的图像909、1009、1109以及基于ToF SPAD的距离视图。换言之，图9到图11示出了如何能够将基于ToF SPAD的距离数据与相机图像组合以生成更准确的距离确定，因为已知的ToF估计距离可以用于设置计算3D图像的数据点。
应当清楚，设备可以是任意合适的设备。仅作为示例而非限制，设备可以是移动电话、智能电话、平板、计算机、测量设备、诸如用于灯的开关控制器、诸如水龙头或者厕所中的水源的控制、门控制器、距离传感器、影响控制器或者任何其他合适的设备。
一些实施例可以使用其他传感器而非SPAD。这些传感器可以集成能够接收光强度、到达时间、频率或相位或幅度/强度调制、波长(颜色)或其他信息的光敏元件。
应当理解，以上描述的布置可以至少部分用集成电路、芯片集、封装在一起或者在不同的封装件中的一个或多个晶片、离散电路系统或者这些选项的任意组合来实现。
以上已经描述了具有不同变型的各种实施例。应当注意，本领域技术人员可以组合这些不同的实施例和变型的各种元素。
这样的替选、修改和改进意在作为本公开内容的一部分，并且意在处于本发明的范围内。因此，以上描述仅作为示例而非意在限制。本发明仅如以下权利要求及其等同方案中所定义地被限制。

Claims (15)

1.一种装置，包括：
至少一个相机模块，被配置成生成至少一个图像；
至少一个基于ToF SPAD的范围检测模块，被配置成生成在所述装置与在模块视场内的目标之间的至少一个距离确定；以及
处理器，被配置成从所述至少一个相机模块输出接收至少一个图像，并且从所述基于ToF SPAD的范围检测模块输出接收至少一个距离确定，并且基于所述至少一个相机模块输出和所述至少一个距离确定来确定深度图。
2.根据权利要求1所述的装置，其中所述处理器被配置成确定操作模式，并且基于所述至少一个相机模块输出和所述至少一个距离确定来确定所述深度图还基于所述操作模式。
3.根据权利要求2所述的装置，其中所述操作模式是光强度模式，其中所述光强度模式基于由所述装置确定的周围光水平而被确定。
4.根据权利要求3所述的装置，其中还基于所述操作模式来确定所述深度图还包括被配置成进行以下操作的所述处理器：
当所述光强度模式是低周围光时，基本上基于来自所述基于ToFSPAD的范围检测模块的至少一个距离确定来确定所述深度图；
当所述光强度模式是高周围光时，基本上基于来自所述至少一个相机模块的所述至少一个图像来确定所述深度图；以及
当所述光强度模式既不是低周围光也不是高周围光时，基于来自所述基于ToF SPAD的范围检测模块的至少一个距离确定以及来自所述至少一个相机模块的所述至少一个图像二者的组合来确定所述深度图。
5.根据权利要求2到4中的任一项所述的装置，其中所述操作模式是速度模式，其中所述速度模式基于在所述深度图内的目标的速度被确定。
6.根据权利要求5所述的装置，其中还基于所述操作模式来确定所述深度图还包括被配置成进行以下操作的所述处理器：
当所述速度模式是快时，基本上基于来自所述基于ToF SPAD的范围检测模块的至少一个距离确定来确定所述深度图；
当所述速度模式是慢时，基本上基于来自所述至少一个相机模块的所述至少一个图像来确定所述深度图；以及
当所述速度模式既不是快也不是慢或者既是快又是慢时，基于来自所述基于ToF SPAD的范围检测模块的至少一个距离确定以及来自所述至少一个相机模块的所述至少一个图像二者的组合来确定所述深度图。
7.根据权利要求2到6中的任一项所述的装置，其中所述操作模式是准确度模式，其中所述准确度模式基于在所述深度图内的目标的期望准确度被确定。
8.根据权利要求7所述的装置，其中还基于所述操作模式来基于所述至少一个相机模块输出和所述至少一个距离确定来确定所述深度图还包括被配置成进行以下操作的所述处理器：
当所述准确度模式是高准确度模式时，基本上基于来自所述基于ToF SPAD的范围检测模块的至少一个距离确定来确定所述深度图；
当所述准确度模式是低准确度模式时，基本上基于来自所述至少一个相机模块的所述至少一个图像来确定所述深度图；以及
当所述准确度模式既不是低准确度模式也不是高准确度模式时，基于来自所述基于ToF SPAD的范围检测模块的至少一个距离确定以及来自所述至少一个相机模块的所述至少一个图像二者的组合来确定所述深度图。
9.根据权利要求2到8中的任一项所述的装置，其中所述操作模式是范围模式，其中所述范围模式基于在所述深度图内的目标距所述装置的期望距离被确定。
10.根据权利要求9所述的装置，其中还基于所述操作模式来基于所述至少一个相机模块输出和所述至少一个距离确定来确定所述深度图还包括被配置成进行以下操作的所述处理器：
当所述范围模式是微距离或近距离时，基本上基于来自所述基于ToF SPAD的范围检测模块的至少一个距离确定来确定所述深度图；
当所述范围模式是远距离时，基本上基于来自所述至少一个相机模块的所述至少一个图像来确定所述深度图；以及
当所述范围模式既不是近距离也不是远距离或者既是近距离又是远距离时，基于来自所述基于ToF SPAD的范围检测模块的至少一个距离确定以及来自所述至少一个相机模块的所述至少一个图像二者的组合来确定所述深度图。
11.根据权利要求2到10中的任一项所述的装置，其中所述操作模式是功率模式，其中所述功率模式基于所述装置的期望功率使用被确定。
12.根据权利要求11所述的装置，其中还基于所述操作模式来基于所述至少一个相机模块输出和所述至少一个距离确定来确定所述深度图还包括被配置成进行以下操作的所述处理器：
当所述功率模式是低功率模式时，基本上基于来自所述基于ToFSPAD的范围检测模块的至少一个距离确定来确定所述深度图；
当所述功率模式是高功率模式时，基本上基于来自所述至少一个相机模块的所述至少一个图像来确定所述深度图；以及
当所述功率模式既不是低功率模式也不是高功率模式时，基于来自所述基于ToF SPAD的范围检测模块的至少一个距离确定以及来自所述至少一个相机模块的所述至少一个图像二者的组合来确定所述深度图。
13.根据权利要求1到12中的任一项所述的装置，其中所述至少一个相机模块包括以确定的距离被分离的两个相机模块，其中所述至少一个基于ToF SPAD的范围检测模块之一被配置成位于由所述确定的距离定义的体积内。
14.根据权利要求1到13中的任一项所述的装置，其中所述至少一个相机模块包括多孔径相机。
15.根据权利要求1到14中的任一项所述的装置，其中所述处理器被配置成：
基于来自所述至少一个相机模块输出的所述至少一个图像来确定第一深度图；
确定所述深度图上的至少一个点，所述至少一个点与来自所述基于ToF SPAD的范围检测模块的所述至少一个距离确定在空间上重合；以及
基于在空间上重合的所述距离确定来在所述至少一个点处校准所述第一深度图。
CN201610282806.3A 2015-12-23 2016-04-29 一种装置 Active CN106911888B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
EP15202558.1 2015-12-23
EP15202558.1A EP3185037B1 (en) 2015-12-23 2015-12-23 Depth imaging system

Publications (2)

Publication Number Publication Date
CN106911888A true CN106911888A (zh) 2017-06-30
CN106911888B CN106911888B (zh) 2020-07-21

Family

ID=55027487

Family Applications (2)

Application Number Title Priority Date Filing Date
CN201610282806.3A Active CN106911888B (zh) 2015-12-23 2016-04-29 一种装置
CN201620389010.3U Active CN206650757U (zh) 2015-12-23 2016-04-29 一种装置

Family Applications After (1)

Application Number Title Priority Date Filing Date
CN201620389010.3U Active CN206650757U (zh) 2015-12-23 2016-04-29 一种装置

Country Status (3)

Country Link
US (1) US10120066B2 (zh)
EP (1) EP3185037B1 (zh)
CN (2) CN106911888B (zh)

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108254757A (zh) * 2018-04-11 2018-07-06 大连理工大学 一种基于双tof传感器的测速装置
CN108427940A (zh) * 2018-04-04 2018-08-21 浙江安精智能科技有限公司 基于深度相机的饮水机出水智能控制装置及其控制方法
CN109429024A (zh) * 2017-08-31 2019-03-05 佳能株式会社 固态图像传感器和摄像设备
CN109584313A (zh) * 2018-11-30 2019-04-05 Oppo广东移动通信有限公司 摄像头标定方法、装置、计算机设备和存储介质
CN109714536A (zh) * 2019-01-23 2019-05-03 Oppo广东移动通信有限公司 图像校正方法、装置、电子设备及计算机可读存储介质
CN110879398A (zh) * 2018-09-05 2020-03-13 英飞凌科技股份有限公司 飞行时间相机和用于校准飞行时间相机的方法
CN111026325A (zh) * 2018-10-09 2020-04-17 慧荣科技股份有限公司 闪存控制器、闪存控制器的控制方法及相关的电子装置
CN111355891A (zh) * 2020-03-17 2020-06-30 香港光云科技有限公司 基于ToF的微距对焦方法、微距拍摄方法及其拍摄装置
CN111684304A (zh) * 2017-12-04 2020-09-18 ams 国际有限公司 距离飞行时间模组
TWI721290B (zh) * 2017-07-18 2021-03-11 大陸商杭州他若信息科技有限公司 使用反射光源的智能物體追蹤
US11561303B2 (en) 2018-04-27 2023-01-24 Sony Semiconductor Solutions Corporation Ranging processing device, ranging module, ranging processing method, and program

Families Citing this family (39)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017027196A (ja) * 2015-07-17 2017-02-02 株式会社リコー 通信装置、電力制御方法、及び電力制御プログラム
US10620300B2 (en) 2015-08-20 2020-04-14 Apple Inc. SPAD array with gated histogram construction
US10540750B2 (en) * 2016-07-07 2020-01-21 Stmicroelectronics Sa Electronic device with an upscaling processor and associated method
US10075702B2 (en) * 2016-07-07 2018-09-11 Stmicroelectronics Sa Electronic device with an upscaling processor and associated methods
WO2018094307A1 (en) * 2016-11-18 2018-05-24 Robert Bosch Start-Up Platform North America, Llc, Sensing system and method
US10877153B2 (en) * 2017-06-08 2020-12-29 Stmicroelectronics, Inc. Time of flight based 3D scanner
WO2019005260A1 (en) 2017-06-29 2019-01-03 Apple Inc. FLIGHT TIME DEPTH MAPPING WITH PARALLAX COMPENSATION
TWI647661B (zh) * 2017-08-10 2019-01-11 緯創資通股份有限公司 影像深度感測方法與影像深度感測裝置
KR102338576B1 (ko) * 2017-08-22 2021-12-14 삼성전자주식회사 이미지를 이용하여 획득된 깊이 정보의 속성에 따라 이미지와 연관하여 깊이 정보를 저장하는 전자 장치 및 전자 장치 제어 방법
US10955552B2 (en) 2017-09-27 2021-03-23 Apple Inc. Waveform design for a LiDAR system with closely-spaced pulses
CN107907884B (zh) * 2017-10-02 2021-07-16 广东美的制冷设备有限公司 物体距离检测方法、装置、空调器及存储介质
US11209634B2 (en) 2017-11-17 2021-12-28 Robert Bosch Start-Up Platform North America, LLC, Series 1 Optical system
DE102017222972A1 (de) 2017-12-15 2019-07-04 Ibeo Automotive Systems GmbH Empfangsanordnung zum Empfang von Lichtsignalen
DE102017222974A1 (de) * 2017-12-15 2019-06-19 Ibeo Automotive Systems GmbH Anordnung und Verfahren zur Ermittlung einer Entfernung wenigstens eines Objekts mit Lichtsignalen
KR102403544B1 (ko) 2017-12-18 2022-05-30 애플 인크. 방출기들의 어드레스가능 어레이를 사용하는 비행 시간 감지
DE102018203534A1 (de) * 2018-03-08 2019-09-12 Ibeo Automotive Systems GmbH Empfängeranordnung zum Empfang von Lichtimpulsen, LiDAR-Modul und Verfahren zum Empfangen von Lichtimpulsen
EP3798968A4 (en) * 2018-06-06 2021-08-11 Guangdong Oppo Mobile Telecommunications Corp., Ltd. IMAGE PROCESSING METHOD AND DEVICE, ELECTRONIC DEVICE, COMPUTER APPARATUS AND INFORMATION MEDIA
EP3811113A1 (en) * 2018-06-22 2021-04-28 Ams Ag Using time-of-flight and pseudo-random bit sequences to measure distance to object
US10817996B2 (en) 2018-07-16 2020-10-27 Samsung Electronics Co., Ltd. Devices for and methods of combining content from multiple frames
US11272112B2 (en) * 2018-08-08 2022-03-08 Canon Kabushiki Kaisha Image capturing apparatus
US10818721B2 (en) * 2018-08-22 2020-10-27 Stmicroelectronics (Research & Development) Limited Pixel circuit and method of operating the same in an always-on mode
US10951809B2 (en) * 2018-10-09 2021-03-16 The Boeing Company Adaptive camera control and calibration for dynamic focus
CN109454669A (zh) * 2018-11-14 2019-03-12 深圳蓝胖子机器人有限公司 机器人实时感知系统及具有其的感知机器人
US11579263B2 (en) * 2018-11-29 2023-02-14 Taiwan Semiconductor Manufacturing Co., Ltd. Method and apparatus for a hybrid time-of-flight sensor with high dynamic range
KR102604902B1 (ko) * 2019-02-11 2023-11-21 애플 인크. 펄스형 빔들의 희소 어레이를 사용하는 깊이 감지
CN109975753B (zh) * 2019-04-19 2021-08-03 中国矿业大学(北京) 一种矿井动目标测距误差判定及精确定位方法
US10950743B2 (en) 2019-05-02 2021-03-16 Stmicroelectronics (Research & Development) Limited Time of flight (TOF) sensor with transmit optic providing for reduced parallax effect
US11500094B2 (en) 2019-06-10 2022-11-15 Apple Inc. Selection of pulse repetition intervals for sensing time of flight
US11555900B1 (en) 2019-07-17 2023-01-17 Apple Inc. LiDAR system with enhanced area coverage
JP7175872B2 (ja) * 2019-11-14 2022-11-21 株式会社日立エルジーデータストレージ 測距装置
TWI711834B (zh) * 2019-11-28 2020-12-01 國立交通大學 測距裝置及方法
US11733359B2 (en) 2019-12-03 2023-08-22 Apple Inc. Configurable array of single-photon detectors
WO2022081968A1 (en) * 2020-10-16 2022-04-21 Nikon Corporation Systems and methods for fusing lidar and stereo depth estimation
US11785199B2 (en) * 2020-11-30 2023-10-10 Microsoft Technology Licensing, Llc SPAD array for intensity image capture and time of flight capture
US20240114235A1 (en) * 2021-01-22 2024-04-04 Airy3D Inc. Power management techniques in depth imaging
US11681028B2 (en) 2021-07-18 2023-06-20 Apple Inc. Close-range measurement of time of flight using parallax shift
CN113686881A (zh) * 2021-09-23 2021-11-23 云智汇（深圳）高新科技服务有限公司 一种高反光镜面环境的视觉全角度成像装置
CN114511048B (zh) * 2022-04-20 2022-07-29 深圳市海清视讯科技有限公司 图像处理方法、装置、设备及系统
CN116320746B (zh) * 2023-05-16 2023-08-01 武汉昊一源科技有限公司 Tof对焦装置、对焦方法及拍摄设备

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20020060784A1 (en) * 2000-07-19 2002-05-23 Utah State University 3D multispectral lidar
CN101130353A (zh) * 2006-08-24 2008-02-27 高田株式会社 摄像系统、车辆乘员检测系统、动作装置控制系统、车辆
US20130126716A1 (en) * 2011-11-17 2013-05-23 Samsung Electronics Co., Ltd. Pixel circuit, depth sensor and operating method
US20130182075A1 (en) * 2012-01-18 2013-07-18 Harris Corporation, Corporation Of The State Of Delaware Geospatial and image data collection system including image sensor for capturing 3d geospatial data and 2d image data and related methods
CN103955954A (zh) * 2014-04-21 2014-07-30 杭州电子科技大学 一种结合同场景立体图对的高分辨率深度图像重建方法
US20140362253A1 (en) * 2013-06-11 2014-12-11 Samsung Electronics Co., Ltd. Beamforming method and apparatus for sound signal
CN104243798A (zh) * 2013-06-14 2014-12-24 索尼公司 图像处理装置、服务器和存储介质

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7348963B2 (en) * 2002-05-28 2008-03-25 Reactrix Systems, Inc. Interactive video display system
US7852461B2 (en) * 2007-11-15 2010-12-14 Microsoft International Holdings B.V. Dual mode depth imaging
US8334893B2 (en) * 2008-11-07 2012-12-18 Honeywell International Inc. Method and apparatus for combining range information with an optical image
US9485397B2 (en) * 2010-06-14 2016-11-01 Heptagon Micro Optics Pte. Ltd. Camera, and method of manufacturing a plurality of cameras
EP2469295A1 (en) * 2010-12-23 2012-06-27 André Borowski 3D landscape real-time imager and corresponding imaging methods
US20130308013A1 (en) * 2012-05-18 2013-11-21 Honeywell International Inc. d/b/a Honeywell Scanning and Mobility Untouched 3d measurement with range imaging
US9332167B1 (en) * 2012-11-20 2016-05-03 Amazon Technologies, Inc. Multi-directional camera module for an electronic device
TWI558166B (zh) * 2013-04-04 2016-11-11 杜比國際公司 用於多視點裸視立體顯示器的深度地圖遞送格式
EP2860492B1 (de) * 2013-10-09 2018-02-28 Hexagon Technology Center GmbH Vermessungsgerät zum optischen Abtasten einer Umgebung
JP6304567B2 (ja) * 2014-02-28 2018-04-04 パナソニックＩｐマネジメント株式会社 測距装置及び測距方法
KR102214193B1 (ko) * 2014-03-25 2021-02-09 삼성전자 주식회사 깊이 카메라 장치, 그것을 구비한 3d 영상 디스플레이 시스템 및 그 제어방법
JP6417702B2 (ja) * 2014-05-01 2018-11-07 富士通株式会社 画像処理装置、画像処理方法および画像処理プログラム
CN105517666B (zh) * 2014-09-05 2019-08-27 深圳市大疆创新科技有限公司 基于情景的飞行模式选择
WO2016089305A1 (en) * 2014-12-02 2016-06-09 Heptagon Micro Optics Pte. Ltd. Depth sensor module and depth sensing method
CN104482934B (zh) * 2014-12-30 2016-10-19 华中科技大学 一种多传感器融合的超近距离自主导航装置与方法
CN105141939B (zh) * 2015-08-18 2017-05-17 宁波盈芯信息科技有限公司 一种工作范围可调的三维深度感知方法及装置

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20020060784A1 (en) * 2000-07-19 2002-05-23 Utah State University 3D multispectral lidar
CN101130353A (zh) * 2006-08-24 2008-02-27 高田株式会社 摄像系统、车辆乘员检测系统、动作装置控制系统、车辆
US20130126716A1 (en) * 2011-11-17 2013-05-23 Samsung Electronics Co., Ltd. Pixel circuit, depth sensor and operating method
US20130182075A1 (en) * 2012-01-18 2013-07-18 Harris Corporation, Corporation Of The State Of Delaware Geospatial and image data collection system including image sensor for capturing 3d geospatial data and 2d image data and related methods
US20140362253A1 (en) * 2013-06-11 2014-12-11 Samsung Electronics Co., Ltd. Beamforming method and apparatus for sound signal
CN104243798A (zh) * 2013-06-14 2014-12-24 索尼公司 图像处理装置、服务器和存储介质
CN103955954A (zh) * 2014-04-21 2014-07-30 杭州电子科技大学 一种结合同场景立体图对的高分辨率深度图像重建方法

Cited By (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI721290B (zh) * 2017-07-18 2021-03-11 大陸商杭州他若信息科技有限公司 使用反射光源的智能物體追蹤
CN109429024B (zh) * 2017-08-31 2021-12-14 佳能株式会社 固态图像传感器和摄像设备
CN109429024A (zh) * 2017-08-31 2019-03-05 佳能株式会社 固态图像传感器和摄像设备
US11115612B2 (en) 2017-08-31 2021-09-07 Canon Kabushiki Kaisha Solid-state image sensor and image capture apparatus
CN111684304A (zh) * 2017-12-04 2020-09-18 ams 国际有限公司 距离飞行时间模组
CN108427940A (zh) * 2018-04-04 2018-08-21 浙江安精智能科技有限公司 基于深度相机的饮水机出水智能控制装置及其控制方法
CN108427940B (zh) * 2018-04-04 2023-11-17 徐育 基于深度相机的饮水机出水智能控制装置及其控制方法
CN108254757A (zh) * 2018-04-11 2018-07-06 大连理工大学 一种基于双tof传感器的测速装置
TWI798408B (zh) * 2018-04-27 2023-04-11 日商索尼半導體解決方案公司 測距處理裝置，測距模組，測距處理方法及程式
US11561303B2 (en) 2018-04-27 2023-01-24 Sony Semiconductor Solutions Corporation Ranging processing device, ranging module, ranging processing method, and program
CN110879398A (zh) * 2018-09-05 2020-03-13 英飞凌科技股份有限公司 飞行时间相机和用于校准飞行时间相机的方法
CN111026325A (zh) * 2018-10-09 2020-04-17 慧荣科技股份有限公司 闪存控制器、闪存控制器的控制方法及相关的电子装置
CN109584313A (zh) * 2018-11-30 2019-04-05 Oppo广东移动通信有限公司 摄像头标定方法、装置、计算机设备和存储介质
CN109714536A (zh) * 2019-01-23 2019-05-03 Oppo广东移动通信有限公司 图像校正方法、装置、电子设备及计算机可读存储介质
CN111355891A (zh) * 2020-03-17 2020-06-30 香港光云科技有限公司 基于ToF的微距对焦方法、微距拍摄方法及其拍摄装置

Also Published As

Publication number Publication date
EP3185037A1 (en) 2017-06-28
CN206650757U (zh) 2017-11-17
CN106911888B (zh) 2020-07-21
US20170184704A1 (en) 2017-06-29
US10120066B2 (en) 2018-11-06
EP3185037B1 (en) 2020-07-08

Similar Documents

Publication Publication Date Title
CN206650757U (zh) 一种装置
US11693115B2 (en) Determining positional information of an object in space
US11889046B2 (en) Compact, low cost VCSEL projector for high performance stereodepth camera
Giancola et al. A survey on 3D cameras: Metrological comparison of time-of-flight, structured-light and active stereoscopy technologies
EP3422955B1 (en) System and method for assisted 3d scanning
US10477118B2 (en) System and methods for depth imaging using conventional CCD image sensors
CN110596721B (zh) 双重共享tdc电路的飞行时间距离测量系统及测量方法
Butkiewicz Low-cost coastal mapping using Kinect v2 time-of-flight cameras
KR20160124664A (ko) 포인트 스캔으로 삼각 측량을 이용한 깊이 측정을 위한 씨모스 이미지 센서
CN111045029B (zh) 一种融合的深度测量装置及测量方法
CN110596725A (zh) 基于插值的飞行时间测量方法及测量系统
CN103491897A (zh) 运动模糊补偿
JP2023509137A (ja) パノラマ３次元画像をキャプチャ及び生成するシステム及び方法
CN102438111A (zh) 一种基于双阵列图像传感器的三维测量芯片及系统
JP2016102697A (ja) 距離画像生成装置、距離画像生成方法、及び距離画像生成プログラム
US11494925B2 (en) Method for depth image acquisition, electronic device, and storage medium
JP2020095038A (ja) 飛行時間型深度画像化システムの内蔵較正
CN202406199U (zh) 一种基于双阵列图像传感器的三维测量芯片及系统
CN102401901B (zh) 测距系统及测距方法
CN112740065A (zh) 使用视觉惯性测距的增强深度映射
CN109270546A (zh) 一种基于结构光和双图像传感器的测距装置及其测距方法
Laukkanen Performance evaluation of time-of-flight depth cameras
WO2021199225A1 (ja) 情報処理システム、センサシステム、情報処理方法、及びプログラム
CN111289989B (zh) 确定用于坐标系统之间转换的旋转参数的方法和装置
CN111982071B (zh) 一种基于tof相机的3d扫描方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant