CN110431447A - 基于点的飞行时间 - Google Patents

基于点的飞行时间 Download PDF

Info

Publication number
CN110431447A
CN110431447A CN201880018206.3A CN201880018206A CN110431447A CN 110431447 A CN110431447 A CN 110431447A CN 201880018206 A CN201880018206 A CN 201880018206A CN 110431447 A CN110431447 A CN 110431447A
Authority
CN
China
Prior art keywords
node
light
tof
output light
pattern
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201880018206.3A
Other languages
English (en)
Other versions
CN110431447B (zh
Inventor
M·布莱耶
R·K·普里塞
D·德曼多尔克斯
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Microsoft Technology Licensing LLC
Original Assignee
Microsoft Technology Licensing LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Microsoft Technology Licensing LLC filed Critical Microsoft Technology Licensing LLC
Publication of CN110431447A publication Critical patent/CN110431447A/zh
Application granted granted Critical
Publication of CN110431447B publication Critical patent/CN110431447B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/50Depth or shape recovery
    • G06T7/55Depth or shape recovery from multiple images
    • G06T7/557Depth or shape recovery from multiple images from light fields, e.g. from plenoptic cameras
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01BMEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00Measuring arrangements characterised by the use of optical techniques
    • G01B11/24Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G01B11/25Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88Lidar systems specially adapted for specific applications
    • G01S17/89Lidar systems specially adapted for specific applications for mapping or imaging
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/50Depth or shape recovery
    • G06T7/521Depth or shape recovery from laser ranging, e.g. using interferometry; from the projection of structured light
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50Constructional details
    • H04N23/51Housings
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10016Video; Image sequence
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10028Range image; Depth image; 3D point clouds
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10052Images from lightfield camera

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Electromagnetism (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Optics & Photonics (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

一种用于三维成像的系统包括结构化光照射器、成像传感器、以及与结构化光照射器和成像传感器进行数据通信的飞行时间控制器。结构化光照射器以结构化光图案提供输出光,并且成像传感器接收输出光的反射部分。飞行时间控制器协调结构化光照射器和成像传感器,并且计算输出光和反射部分的飞行时间。

Description

基于点的飞行时间
背景技术
三维(3D)成像系统被配置为基于从目标反射的光来标识和映射目标。这些成像系统中的很多系统配置有光源和感光器,该光源被配置为朝向目标发射光,该感光器在光从目标反射回来之后接收光。
一些成像系统(即,飞行时间成像系统)能够通过测量来自光源的光的发射与反射离开对象的光的接收之间的经过时间来标识对象在任何给定时间在目标环境内的距离和位置。
传统的飞行时间(TOF)成像系统以宽光束发射输出光以利用输出光照射照射场。当输出光反射离开对象和照射场中的环境并且返回到成像系统时,TOF成像系统的相机收集一系列子帧。然后,成像系统可以通过从对象反射并且返回到相机的光的TOF来计算对象在照射场中的深度。
因为TOF计算基于与输出光的输出相关的精确测量,所以成像系统必须能够积极地辨别来自任何环境光的反射光。因此,成像系统必须产生比环境光更高强度的输出光,和/或提供足以产生从低反射对象和/或镜面反射对象反射的可标识信号的输出光。
本文中要求保护的技术方案不限于解决任何缺点或仅在诸如上述那些环境中操作的实施例。而是,提供该背景仅用于说明可以实践本文中描述的一些实施例的一个示例性技术领域。
发明内容
在一些实施例中,一种用于三维成像的系统包括结构化光照射器、成像传感器、以及与结构化光照射器和成像传感器进行数据通信的飞行时间控制器。结构化光照射器以结构化光图案提供输出光,并且成像传感器接收输出光的反射部分。飞行时间控制器协调结构化光照射器和成像传感器,并且计算输出光和反射部分的飞行时间。
在其他实施例中,一种用于三维成像的方法包括从结构化光照射器发射点图案输出光,利用成像传感器接收点图案输出光的反射部分,计算点图案输出光和输出光的反射部分的飞行时间(TOF),以及基于TOF计算深度信息。
在其他实施例中,该方法包括将检测阈值应用于由成像传感器检测的输出光的反射部分。检测阈值可以至少部分基于反射部分的检测到的峰值强度。
提供本“发明内容”是为了以简化的形式介绍一些概念,这些概念将在下面的“具体实施方式”中进一步描述。本“发明内容”不旨在标识所要求保护的主题的关键特征或必要特征,也不旨在用于帮助确定所要求保护的主题的范围。
附加的特征和优点将在随后的描述中阐述,并且部分地将从描述中很清楚,或者可以通过本文中的教导的实践来学习。本发明的特征和优点可以借助于所附权利要求中特别指出的仪器和组合来实现和获取。本发明的特征根据以下描述和所附权利要求将变得更加明显,或者可以通过如下所述的本发明的实践来学习。
附图说明
为了描述可以获取上述和其他优点和特征的方式,将通过参考附图中所示的具体实施例来呈现上面简要描述的主题的更具体的描述。为了更好地理解,在各个附图中,相同的元素由相同的附图标记表示。虽然一些附图可以是概念的示意性或夸大的表示,但是至少一些附图可以按比例绘制。应当理解,这些附图仅描绘了典型实施例,因此不应当被认为是对范围的限制,实施例将通过使用附图的附加特征和细节进行描述和解释,在附图中:
图1是飞行时间(TOF)成像系统的实施例的示意图;
图2A是测量输出光的TOF并且接收反射部分的TOF成像系统的实施例的示意图;
图2B是示出图2A中的TOF成像系统的实施例的定时的曲线图;
图3是单点输出光的多路径反射的示意性俯视图;
图4A是根据本公开的由照射器产生的矩形栅格结构化光图案的实施例的示意图;
图4B是根据本公开的由照射器产生的等距六边形结构化光图案的实施例的示意图;
图5A是3D成像系统的实施例的示意性俯视图。该3D成像系统经历与利用结构化光图案照射的表面交互的单点输出光的多路径反射;
图5B是示出由图5A中的照射的实施例生成的反射光强度的曲线图;以及
图6是示出根据本公开的利用3D成像系统计算深度信息的方法的流程图。
具体实施方式
所公开的实施例包括改进的成像系统、以及用于提高三维(3D)成像的效率和分辨率的设备、系统和方法。
关于以下公开内容,应当理解,在所公开的实施例的开发中,如在任何工程或设计项目中,将做出很多特定于实施例的决定以实现开发者的特定目标,诸如遵守与系统相关的和与业务相关的约束,这些约束可能因实施例而异。还应当理解,这种开发工作可能是复杂且耗时的,但是对于受益于本公开的普通技术人员来说仍然是设计、制备和制造的常规任务。
在一些实施例中,飞行时间(TOF)3D成像系统可以包括结构化光照射器。结构化光照射器可以在照射场中提供具有集中照射点的输出光。例如,照射器可以包括衍射光学元件(DOE),DOE将输出光衍射成高强度节点的几何图案和分布在其间的低强度区域。在一些实施例中,诸如图1中描绘和描述的实施例,节点可以是基本上圆形的点。在其他实施例中,节点可以是正方形、三角形、六边形、其他规则形状、不规则形状或其组合。节点集中照射器的输出以产生强度大于来自相同光源的等效泛光照射的小区域。
节点可以向照射场的区域提供高强度照射,以产生从距离对象、低反射率(“暗”)对象、镜面反射表面(例如,朝向照射器和/或成像系统具有低反射率的光泽表面)、或相对于光源产生低反射信号的其他对象反射的可检测光。因此,相对于泛光照射,较高强度的节点可以允许即使在存在高环境光时也能够对各种低反射率对象或环境进行成像。
图1是包括结构化光照射器102的3D成像系统100的示意图。结构化光照射器102被配置为以结构化光图案产生输出光104。结构化光图案可以是任何适当的图案,和/或可以通过任何适当的方法生成。例如,可以通过将DOE定位在来自照射器102的发射光的路径中以衍射输出光104来生成结构化光图案。在其他示例中,结构化光照射器102可以包括被布置成提供结构化光图案的多个分立光源(例如,多个激光二极管)。
输出光104可以与照射器102的照射场中的对象106交互。输出光104可以在从对象106反射之前在多个高强度节点108(相对于对象106之间的照射功率)中与对象106交互。可以通过3D成像系统100中的成像传感器112检测反射光110的至少一部分。
成像传感器112和照射器102可以由TOF控制器114协调,该TOF控制器114与照射器102和成像传感器112进行数据通信。TOF控制器114可以协调输出光104的发射和反射光110的检测以计算子帧的TOF,计算子帧的深度信息,并且将子帧编译成包括深度信息的完整帧。
在一些实施例中,3D成像系统100可以定位在壳体116中。壳体116可以是台式或桌面安装设备、便携式设备、可穿戴设备或车辆。例如,壳体116可以是笔记本电脑或电子设备壳体,以允许手势识别或生物标识。在其他示例中,壳体116可以是头戴式设备(HMD),以标识用户周围的环境中的对象或危险,以确保安全或与环境交互。例如,阻碍用户对环境的视觉的虚拟现实系统可以使用3D成像系统100来检测周围环境中的对象或危险,以向用户提供关于附近对象或障碍物的警告。在另一示例中,将虚拟信息和图像与用户的周围环境相混合的混合现实系统可以使用3D成像系统100来检测用户环境中的对象或人,以将虚拟信息与物理环境和对象集成。在其他示例中,用于3D成像系统100的壳体116可以是车身,诸如飞行器(例如,无人驾驶飞机)或汽车的车身,以允许对操作者进行自动驾驶、半自动驾驶或驾驶辅助。
图2A和图2B示出了TOF成像系统100的操作以及光的发射和检测的相应定时。图2A示出了提供输出光104的照射器102。输出光104可以在多个节点108处照射对象106,并且成像传感器112可以检测反射光110的一部分。TOF控制器114可以通过测量输出光104和反射光110的TOF来测量到对象106的距离。
图2B描绘了图2A的TOF成像系统100的输出信号220和输入信号222的时间协调图218。输出信号220可以在第一持续时间被发射,并且可以检测反射光,因为输入信号222可以在第二持续时间被接收。在相位调制的TOF中,输出信号220与输入信号222之间的相关性224可以允许计算输出光与反射光之间的相位差,这又可以允许图2A的TOF控制器114计算反射输入信号222的对象的深度。在门控TOF中,输出信号220和输入信号222的时间位移可以允许图2A的TOF控制器114计算反射输入信号222的对象的深度。因为输出信号220和输入信号222的相关224和/或位移可以具有短的持续时间(例如,在微秒到纳秒量级),通过在节点处集中照射功率而提供的增加的信噪比可以改善深度计算。
图3示出了根据本公开的TOF成像系统300的实施例的另一应用。TOF成像系统300可以利用照射器304发射输出光304,照射器304可以在接触对象时散射并且可以通过多个路径反射回成像传感器312。例如,当输出光304与壁326或角墙交互时,可能发生这种“多路径”情况。输出光304可以与壁326交互并且在第一反射光310-1中直接反射回成像传感器312。另外,输出光304可以与壁326相交互并且朝向壁326的另一部分散射,然后朝向成像传感器312反射,作为经历比第一反射光310-1更长的飞行路径的第二反射光310-2。类似地,输出光304的另一部分可以不止一次地从壁的角落散射并且最终朝向成像传感器312散射回,作为经历比第二反射光310-2更长的飞行路径的第三反射光310-3。
在TOF成像系统中,成像系统将在不同时间从相同输出光304从墙326上的相同位置检测至少三个不同的反射光310-1、310-2、310-3。因此,TOF成像系统可能无法准确地确定壁326的深度,因为信号点产生用于深度计算的多个输入信号。在一些实施例中,与第二反射光310-2和/或第三反射光310-3相比,本文所述的更高强度的节点可以实现第一反射光310-1(即,用于深度计算的正确输入信号)的更大的强度对比度。
例如,图4A和图4B示出了可以允许在节点处的照射功率的集中度(concentration)的示例性结构化光图案。图4A是矩形网格的示例结构化光图案428。输出光404可以集中在节点408中。如图4A所示的节点408的直径可以对应于照射功率的高斯分布的半高全宽(FWHM)的边界。在一些实施例中,输出光404在节点408处聚焦得越多,节点408的FWHM可以相对于结构化光图案428的竖直间距430(在节点408的中心之间)和/或水平间距432(在节点408的中心之间)越小。
在一些实施例中,FWHM和竖直间距430可以是相关的。例如,节点408的FWHM可以是具有上限值、下限值或上限值和下限值的范围内的竖直间距430的特定百分比,包括2%、4%、6%、8%、10%、12%、15%、20%、25%、50%或其间的任何值中的任何一个。例如,节点408的FWHM可以小于节点408的竖直间距430的50%。在其他示例中,节点408的FWHM可以大于节点408的竖直间距430的2%。在其他示例中,FWHM可以在竖直间距430的2%到50%之间。在其他示例中,FWHM可以在竖直间距430的4%到25%之间。在其他示例中,FWHM可以在竖直间距430的5%到20%之间。
在一些实施例中,FWHM和水平间距432可以是相关的。例如,节点408的FWHM可以是具有上限值、下限值或上限值和下限值的范围内的水平间距432的特定百分比,包括2%、4%、6%、8%、10%、12%、15%、20%、25%、50%或其间的任何值中的任何一个。例如,节点408的FWHM可以小于节点408的水平间距432的50%。在其他示例中,节点408的FWHM可以大于节点408的水平间距432的2%。在其他示例中,FWHM可以在水平间距432的2%到50%之间。在其他示例中,FWHM可以在水平间距432的4%到25%之间。在其他示例中,FWHM可以在水平间距432的5%到20%之间。
图4B示出了结构化光图案528的另一实施例。在一些实施例中,结构化光图案528可以是基本上六边形的图案,其中每个节点508具有围绕节点508六边形定位的六个相邻节点508。在这种六边形分布中,每个节点508与相邻节点508之间的间距534可以基本相等。
在一些实施例中,FWHM和间距534可以是相关的。例如,节点508的FWHM可以是具有上限值、下限值或上限值和下限值的范围内的间距534的特定百分比,包括2%、4%、6%、8%、10%、12%、15%、20%、25%、50%或其间的任何值中的任何一个。例如,节点508的FWHM可以小于节点508的间距534的50%。在其他示例中,节点508的FWHM可以大于节点508的间距534的2%。在其他示例中,FWHM可以在间距534的2%到50%之间。在其他示例中,FWHM可以在间距534的4%到25%之间。在其他示例中,FWHM可以在间距534的5%到20%之间。
在一些实施例中,节点508的密度可以是可变的。例如,图4B的间距534、或者图4A的竖直间距530和/或水平间距532可以基于用户输入、预定值或环境考虑而改变。例如,根据本公开的TOF 3D成像系统可以仅在节点508处对视场进行采样。节点的密度可以确定可以针对深度信息对环境进行成像的最大分辨率。例如,低密度结构化照射源可以允许100倍的照射功率增加,但也使得成像具有相对较低的分辨率,这可能损害边缘检测并且不利地影响图像识别。在其他示例中,相对于先前示例(例如,10倍),高密度结构化照射源可以提供更小的照射功率增加,但是对于相同的总照射功率,提供分辨率的相关的10倍增加。如本文所述,传统的泛光照射器在视场中的任何给定位置处以显著较低的照射功率提供连续照射。
虽然图4A和图4B示出了重复和/或规则的结构化光图案,但是在其他实施例中,结构化光图案可以是点的基本上随机的分布。例如,在使用给定图案的失真来计算深度信息的传统的结构化光3D成像系统中,结构化光图案可以是随机的或非重复的。传统的结构化光3D成像系统利用非重复图案来标识图案的独特区域的位移。因为本文中描述的TOF 3D成像系统的实施例利用所测量的TOF,所以根据本公开的3D成像系统可以另外使用重复的结构化光图案,而不损害深度计算。
图5A是根据本公开的具有结构化光照射器的TOF 3D成像系统500的示意图。3D成像系统500可以在多个节点508处发射输出光504。在一些实施例中,输出光束536中的至少一个可以接触壁526的一侧并且朝向壁526的另一部分散射,其中其他光束在节点508处投射。在传统的TOF成像系统中,由于漫反射,散射光在沿着后壁的任何点处产生多径情况。沿着后壁散射的光的强度是背景照射强度。在漫反射的情况下,该背景照射强度对于泛光填充照射和基于点的照射大致相同。直接从对象反弹的光504将测量对象的深度,而不被多径效应破坏,该光504是直接照射。直接照射给出了正确的深度,而背景照射给出了错误的深度。
例如,图5B是由图5A的3D成像系统500的成像传感器检测到的反射光的强度分布540的曲线图。该图示出了由3D成像系统500检测到的从壁526反射的每个节点508处的峰值强度542。强度分布540描绘了节点508之间的最小水平,其包括散射光538均匀地散布在整个区域上。峰值强度是直接照射和背景照射538的总和。直接照射对该总和的贡献显著高于背景光538的贡献。因此,在所示的实施例中由538引起的深度误差很小。
在具有泛光照射的传统TOF系统中,背景照射538仍然是相同的,但是每个像素将接收相同的较小量的直接照射。因此,这种直接照射将是强度图中的另一条平坦线(类似于538)。与基于点的照射相比,直接照射的量可能与背景照射大致相同。这导致深度误差很高。
在一些实施例中,3D成像系统500可以将检测阈值544应用于强度分布540以滤除不观察点的像素。该滤波操作移除了仅接收背景照射的像素,导致错误的深度估计。因此,该滤波操作仅允许考虑被标识为节点508的反射光的TOF。
在一些实施例中,检测阈值544可以与检测到的峰值强度544相关。例如,检测阈值544可以是检测到的强度分布540的峰值强度542的5%。在其他示例中,检测阈值544可以是峰值强度542的10%、15%、20%、25%、30%、35%、40%、45%、50%或其间的任何值。在一些实施例中,检测阈值544可以是基于瞬时峰值强度或时间平均峰值强度值的动态值。
在其他实施例中,检测阈值544可以是给定照射器的恒定值。例如,给定照射器可以针对输出光的每个节点具有已知峰值输出强度。检测阈值544可以是设置为照射器的峰值输出强度的特定百分比的恒定值。例如,检测阈值可以是照射器的峰值输出强度的5%、10%、15%、20%、25%、30%、35%、40%、45%、50%或其间的任何值。
图6示出了根据本公开的利用TOF成像系统进行3D成像的方法的实施例的流程图600。该方法可以包括在602处使用结构化光照射器发射点图案输出光。点图案可以是几何图案、重复图案、均匀图案、其他规则图案或其组合。在一些实施例中,点图案光可以是相位调制的或门控的。例如,点图案光可以以调制脉冲从红外照射器发射,该调制脉冲由与照射器通信的TOF控制器控制。调制可以足以计算点图案输出光和由3D成像系统检测的反射部分的TOF。例如,调制可以大于1.0兆赫(MHz),大于2.0MHz,大于3.0MHz,大于4.0MHz,大于5.0MHz或更大。点图案光可以具有相对于节点周围或节点之间的其他区域的较高强度输出光的集中节点。
该方法还可以包括在604处接收光的反射部分的动作。在一些实施例中,3D成像系统可以利用成像传感器直接从投射在对象上的节点接收输出光的反射部分。在其他实施例中,3D成像系统可以在光从多于一个表面散射之后间接地接收输出光的反射部分(例如,在3D成像系统处接收之前经历了多路径场景)。在其他实施例中,3D成像系统可以与周围环境中的环境光的一部分同时地接收输出光的反射部分。
在一些实施例中,该方法可以可选地包括在606处将检测阈值应用于所接收的光以排除可能限制的散射光,和/或从节点接收的检测到的光中排除环境光和/或散射多径光的影响。该方法还可以包括在608处基于检测到的与照射器发射的输出光的相关性来计算接收光的飞行时间。例如,TOF控制器可以与照射器和成像传感器通信。因此,TOF控制器可以能够分别计算输出信号和输入信号的发射和接收的精确差异,如关于图2A和2B所述。
该方法还可以包括在610处至少部分基于所测量的TOF计算成像子帧的深度信息。在一些实施例中,可以由TOF控制器使用整个成像FOV的深度信息编译多个子帧以形成完整帧。
本发明的实施例可以包括或利用包括计算机硬件的专用或通用计算机,如下面更详细讨论的。在本发明的范围内的实施例还包括用于携带或存储计算机可执行指令和/或数据结构的物理和其他计算机可读介质。这样的计算机可读介质可以是可以被通用或专用计算机系统访问的任何可用介质。存储计算机可执行指令的计算机可读介质是物理存储介质。携带计算机可执行指令的计算机可读介质是传输介质。因此,作为示例而非限制,本发明的实施例可以包括至少两种截然不同的计算机可读介质:物理计算机可读存储介质和传输计算机可读介质。
物理计算机可读存储介质包括RAM、ROM、EEPROM、CD-ROM或其他光盘存储(诸如CD、DVD等)、磁盘存储或其他磁存储设备、或者可以用于以计算机可执行指令或数据结构的形式存储期望的程序代码装置并且可以由通用或专用计算机访问的任何其他介质。
“网络”被定义为能够在计算机系统和/或模块和/或其他电子设备之间传输电子数据的一个或多个数据链路。当通过网络或另一通信连接(硬连线、无线或者硬连线或无线的组合)向计算机传输或提供信息时,计算机将连接正确地视为传输介质。传输介质可以包括可以用于以计算机可执行指令或数据结构的形式携带期望的程序代码装置并且可以由通用或专用计算机访问的网络和/或数据链路。上述的组合也被包括在计算机可读介质的范围内。
此外,在到达各种计算机系统组件时,计算机可执行指令或数据结构形式的程序代码装置可以从传输计算机可读介质自动传输到物理计算机可读存储介质(反之亦然)。例如,通过网络或数据链路接收的计算机可执行指令或数据结构可以缓存在网络接口模块(例如,“NIC”)内的RAM中,并且然后最终传送到计算机系统RAM和/或计算机系统处的较不易失性计算机可读物理存储介质。因此,计算机可读物理存储介质可以被包括在也(甚至主要)利用传输介质的计算机系统组件中。
计算机可执行指令包括例如引起通用计算机、专用计算机或专用处理设备执行特定功能或功能组的指令和数据。计算机可执行指令可以是例如二进制文件、诸如汇编语言等中间格式指令、或甚至是源代码。尽管用结构特征和/或方法动作专用的语言描述了本主题,但应当理解,所附权利要求书中定义的主题不必限于上述特征或动作。而是,所描述的特征和动作被公开作为实现权利要求的示例形式。
本领域技术人员将理解,本发明可以在具有很多类型的计算机系统配置的网络计算环境中实践,包括个人计算机、台式计算机、膝上型计算机、消息处理器、手持设备、多处理器系统、基于微处理器或可编程的消费电子产品、网络PC、小型计算机、大型计算机、移动电话、PDA、寻呼机、路由器、交换机等。本发明也可以在分布式系统环境中实施,其中通过网络链接(通过硬连线数据链路、无线数据链路或者通过硬连线和无线数据链路的组合)的本地和远程计算机系统都执行任务。在分布式系统环境中,程序模块可以位于本地和远程存储器存储设备两者中。
替代地或另外地,本文中描述的功能可以至少部分由一个或多个硬件逻辑组件执行。例如而非限制,可以使用的说明性类型的硬件逻辑组件包括现场可编程门阵列(FPGA)、程序专用集成电路(ASIC)、程序专用标准产品(ASSP)、片上系统(SOC)、复杂可编程逻辑器件(CPLD)等。
冠词“一个(a)”、“一个(an)”和“该(the)”旨在表示在前面的描述中存在一个或多个元素。术语“包括(comprising)”、“包括(including)”和“具有(having)”旨在是包含性的,并且表示可能存在除了所列元素之外的其他元素。另外,应当理解,对本公开的“一个实施例”或“实施例”的引用不旨在被解释为排除也包含所述特征的另外的实施例的存在。本文所述的数字、百分比、比率或其他值旨在包括该值、以及“约”或“大约”所述值的其他值,如本公开的实施例所涵盖的本领域普通技术人员所理解的。因此,所述值应当足够宽泛地解释以包含至少足够接近所述值以执行期望功能或实现期望结果的值。所述值至少包括在合适的制造或生产过程中预期的变化,并且可以包括在所述值的5%、1%、0.1%或0.01%内的值。
本领域普通技术人员鉴于本公开应当认识到,等同构造没有脱离本公开的精神和范围,并且在不脱离本公开的精神和范围的情况下,可以对本文中公开的实施例进行各种改变、替换和变更。包括功能“装置加功能”子句的等效构造旨在覆盖本文中描述为执行所述功能的结构,包括以相同方式操作的结构等同物、以及提供相同功能的等同结构。申请人的明确意图是不对任何权利要求援引手段加功能或其他功能性权利要求,除非“装置”一词与相关功能一起出现。落入权利要求的含义和范围内的实施例的每个添加、删除和修改都包含在权利要求中。
本文种使用的术语“大约”、“约”和“基本上”表示仍然执行期望功能或实现期望结果的接近所述量的量。例如,术语“大约”、“约”和“基本上”可以是指小于所述量的5%、小于所述量的1%、小于所述量的0.1%、小于所述量的0.01%。此外,应当理解,前面描述中的任何方向或参考系仅仅是相对方向或运动。例如,对“向上”和“向下”或“在……之上”或“在……之下”的任何引用仅仅描述相关元素的相对位置或移动。
在不脱离本发明的精神或特性的情况下,可以以其他具体形式来实施发明。所描述的实施例在所有方面仅被认为是说明性的而非限制性的。因此,本发明的范围由所附权利要求而不是由前面的描述来指示。在权利要求的等同物的含义和范围内的所有变化都将被包含在其范围内。

Claims (15)

1.一种用于三维(3D)成像的系统,所述系统包括:
结构化光照射器,被配置为以具有多个节点的结构化光图案提供输出光;
成像传感器,被配置为检测包括所述输出光的至少一部分的反射光;以及
飞行时间(TOF)控制器,与所述结构化光照射器和所述成像传感器进行数据通信,所述TOF控制器被配置为计算所述输出光和所述反射光的TOF。
2.根据权利要求1所述的系统,所述结构化光图案是重复图案。
3.根据权利要求1所述的系统,所述多个节点中的至少一个节点与相邻节点等距。
4.根据权利要求1所述的系统,所述TOF控制器被配置为测量所述输出光和所述反射光的相关性。
5.根据权利要求1所述的系统,还包括壳体,其中所述结构化光照射器、所述成像传感器和所述TOF控制器定位于所述壳体中。
6.根据权利要求5所述的系统,所述壳体是头戴式设备。
7.根据权利要求1所述的系统,所述结构化光图案具有可变密度。
8.根据权利要求1所述的系统,所述节点中的至少一个节点具有至少10倍的照射功率集中度。
9.根据权利要求1所述的系统,所述多个节点中的至少一个节点具有小于所述结构化光图案的节点中心之间的间距的50%的半高全宽(FWHM)。
10.根据权利要求1所述的系统,所述多个节点中的至少一个节点具有小于所述结构化光图案的节点中心之间的水平间距的50%并且小于所述结构化光图案的节点中心之间的竖直间距的50%的半高全宽(FWHM)。
11.根据权利要求10所述的系统,所述竖直间距和所述水平间距是不同的。
12.一种3D成像的方法,所述方法包括:
从结构化光照射器发射点图案输出光;
利用成像传感器接收所述点图案输出光的反射部分;
计算所述点图案输出光和所述输出光的所述反射部分的飞行时间(TOF);以及
基于所述TOF计算深度信息。
13.根据权利要求12所述的方法,所述点图案输出光以具有节点的结构化光图案被发射,所述节点具有小于节点之间的间距的50%的半高全宽。
14.根据权利要求13所述的方法,还包括检测多径场景并且将检测阈值应用于所述反射部分。
15.根据权利要求12所述的方法,所述点图案输出光具有重复的结构化光图案。
CN201880018206.3A 2017-03-10 2018-03-05 用于三维成像的系统和方法 Active CN110431447B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US15/455,808 2017-03-10
US15/455,808 US10445893B2 (en) 2017-03-10 2017-03-10 Dot-based time of flight
PCT/US2018/020827 WO2018164974A1 (en) 2017-03-10 2018-03-05 Dot-based time of flight

Publications (2)

Publication Number Publication Date
CN110431447A true CN110431447A (zh) 2019-11-08
CN110431447B CN110431447B (zh) 2023-10-20

Family

ID=61692112

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201880018206.3A Active CN110431447B (zh) 2017-03-10 2018-03-05 用于三维成像的系统和方法

Country Status (4)

Country Link
US (1) US10445893B2 (zh)
EP (1) EP3593168B1 (zh)
CN (1) CN110431447B (zh)
WO (1) WO2018164974A1 (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112824935A (zh) * 2019-11-20 2021-05-21 深圳市光鉴科技有限公司 基于调制光场的深度成像系统、方法、设备及介质
CN114518566A (zh) * 2020-11-18 2022-05-20 动态Ad有限责任公司 用于运载工具的方法和感知系统

Families Citing this family (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10542245B2 (en) * 2017-05-24 2020-01-21 Lg Electronics Inc. Mobile terminal and method for controlling the same
JPWO2019039017A1 (ja) * 2017-08-23 2020-08-06 パナソニックIpマネジメント株式会社 画像処理装置、距離検出装置、画像処理方法及びプログラム
JP6970376B2 (ja) * 2017-12-01 2021-11-24 オムロン株式会社 画像処理システム、及び画像処理方法
CN111566705B (zh) * 2017-12-29 2023-07-21 上海联影医疗科技股份有限公司 一种确定医学成像中的感兴趣区域的系统和方法
CN111542827B (zh) 2017-12-29 2021-09-28 上海联影医疗科技股份有限公司 一种患者定位的系统和方法
US10916023B2 (en) * 2018-09-14 2021-02-09 Facebook Technologies, Llc Depth measurement assembly with a structured light source and a time of flight camera
WO2020149139A1 (ja) * 2019-01-16 2020-07-23 株式会社小糸製作所 イメージング装置、その演算処理装置、車両用灯具、車両、センシング方法
GB2585952A (en) * 2019-07-26 2021-01-27 Cambridge Mechatronics Ltd Method
US20210255327A1 (en) * 2020-02-17 2021-08-19 Mediatek Inc. Emission And Reception Of Patterned Light Waves For Range Sensing
CN113093213B (zh) * 2021-04-08 2023-05-09 上海炬佑智能科技有限公司 ToF传感装置及其距离检测方法
GB202105701D0 (en) * 2021-04-21 2021-06-02 Ams Sensors Singapore Pte Ltd A method of forming a three-dimensional image
US11922606B2 (en) 2021-10-04 2024-03-05 Samsung Electronics Co., Ltd. Multipass interference correction and material recognition based on patterned illumination without frame rate loss
JP2023172742A (ja) * 2022-05-24 2023-12-06 Toppanホールディングス株式会社 距離画像撮像装置、及び距離画像撮像方法

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2003042631A1 (en) * 2001-10-02 2003-05-22 Ivp Integrated Vision Products Ab Method and arrangement in a measuring system
CN1657873A (zh) * 2004-02-17 2005-08-24 欧姆龙株式会社 光学式测定装置及光学式测定方法
CN101675333A (zh) * 2007-04-26 2010-03-17 西克Ivp股份公司 机器视觉系统中确定散射光量的方法和设备
US20130148102A1 (en) * 2011-12-12 2013-06-13 Mesa Imaging Ag Method to Compensate for Errors in Time-of-Flight Range Cameras Caused by Multiple Reflections
US20140285818A1 (en) * 2013-03-15 2014-09-25 Leap Motion, Inc. Determining positional information of an object in space
CN104428625A (zh) * 2012-07-13 2015-03-18 微软公司 使用结构化光的距离传感器
US20150253429A1 (en) * 2014-03-06 2015-09-10 University Of Waikato Time of flight camera system which resolves direct and multi-path radiation components
US20150310663A1 (en) * 2014-04-25 2015-10-29 Canon Kabushiki Kaisha Measurement apparatus and method thereof
CN105723238A (zh) * 2013-10-17 2016-06-29 微软技术许可有限责任公司 概率飞行时间成像

Family Cites Families (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005321403A (ja) * 2004-05-10 2005-11-17 Ibeo Automobile Sensor Gmbh 距離測定のための方法及び装置
DE112006000918T5 (de) * 2005-04-19 2008-04-17 Virtek Vision International Inc., Bedford Verfahren und Vorrichtung zum Schützen von Mitarbeitern, die ein Laserprojektionssystem verwenden
US9137463B2 (en) 2011-05-12 2015-09-15 Microsoft Technology Licensing, Llc Adaptive high dynamic range camera
US20120045330A1 (en) * 2011-07-29 2012-02-23 General Electric Company System and method for monitoring and controlling physical structures
US8786730B2 (en) 2011-08-18 2014-07-22 Microsoft Corporation Image exposure using exclusion regions
US9098908B2 (en) 2011-10-21 2015-08-04 Microsoft Technology Licensing, Llc Generating a depth map
US8854426B2 (en) 2011-11-07 2014-10-07 Microsoft Corporation Time-of-flight camera with guided light
EP2815251B1 (en) 2012-02-15 2017-03-22 Heptagon Micro Optics Pte. Ltd. Time of flight camera with stripe illumination
US9297889B2 (en) 2012-08-14 2016-03-29 Microsoft Technology Licensing, Llc Illumination light projection for a depth camera
SG11201509788QA (en) 2013-06-06 2015-12-30 Heptagon Micro Optics Pte Ltd Sensor system with active illumination
US9182490B2 (en) 2013-11-27 2015-11-10 Semiconductor Components Industries, Llc Video and 3D time-of-flight image sensors
CN106662433B (zh) 2014-06-27 2019-09-06 新加坡恒立私人有限公司 结构化光成像系统及方法
US10054675B2 (en) 2014-10-24 2018-08-21 Analog Devices, Inc. Active compensation for phase alignment errors in time-of-flight cameras
US9330464B1 (en) 2014-12-12 2016-05-03 Microsoft Technology Licensing, Llc Depth camera feedback
EP3278408B1 (en) * 2015-04-01 2019-07-03 Nederlandse Organisatie voor toegepast- natuurwetenschappelijk onderzoek TNO Multi-beam laser system
US10062201B2 (en) 2015-04-21 2018-08-28 Microsoft Technology Licensing, Llc Time-of-flight simulation of multipath light phenomena
US9866208B2 (en) * 2015-06-15 2018-01-09 Microsoft Technology Lincensing, LLC Precision measurements and calibrations for timing generators
US9280829B1 (en) 2015-06-25 2016-03-08 Amazon Technologies, Inc. Using linear functions to calculate depth information for scenes illuminated with structured light
US10585174B2 (en) * 2017-03-10 2020-03-10 Sensl Technologies Ltd. LiDAR readout circuit

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2003042631A1 (en) * 2001-10-02 2003-05-22 Ivp Integrated Vision Products Ab Method and arrangement in a measuring system
CN1657873A (zh) * 2004-02-17 2005-08-24 欧姆龙株式会社 光学式测定装置及光学式测定方法
CN101675333A (zh) * 2007-04-26 2010-03-17 西克Ivp股份公司 机器视觉系统中确定散射光量的方法和设备
US20130148102A1 (en) * 2011-12-12 2013-06-13 Mesa Imaging Ag Method to Compensate for Errors in Time-of-Flight Range Cameras Caused by Multiple Reflections
CN104428625A (zh) * 2012-07-13 2015-03-18 微软公司 使用结构化光的距离传感器
US20140285818A1 (en) * 2013-03-15 2014-09-25 Leap Motion, Inc. Determining positional information of an object in space
CN105723238A (zh) * 2013-10-17 2016-06-29 微软技术许可有限责任公司 概率飞行时间成像
US20150253429A1 (en) * 2014-03-06 2015-09-10 University Of Waikato Time of flight camera system which resolves direct and multi-path radiation components
US20150310663A1 (en) * 2014-04-25 2015-10-29 Canon Kabushiki Kaisha Measurement apparatus and method thereof

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
D. FALIE: "Further investigations on TOF cameras distance errors and their corrections", 《2008 4TH EUROPEAN CONFERENCE ON CIRCUITS AND SYSTEMS FOR COMMUNICATIONS》 *

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112824935A (zh) * 2019-11-20 2021-05-21 深圳市光鉴科技有限公司 基于调制光场的深度成像系统、方法、设备及介质
CN112824935B (zh) * 2019-11-20 2023-02-28 深圳市光鉴科技有限公司 基于调制光场的深度成像系统、方法、设备及介质
CN114518566A (zh) * 2020-11-18 2022-05-20 动态Ad有限责任公司 用于运载工具的方法和感知系统
CN114518566B (zh) * 2020-11-18 2024-01-26 动态Ad有限责任公司 用于运载工具的方法和感知系统

Also Published As

Publication number Publication date
CN110431447B (zh) 2023-10-20
US10445893B2 (en) 2019-10-15
EP3593168B1 (en) 2022-03-30
US20180260967A1 (en) 2018-09-13
EP3593168A1 (en) 2020-01-15
WO2018164974A1 (en) 2018-09-13

Similar Documents

Publication Publication Date Title
CN110431447A (zh) 基于点的飞行时间
EP3652703B1 (en) Visual, depth and micro-vibration data extraction using a unified imaging device
CN105556337B (zh) 深度成像中的间接反射抑制
JP6484071B2 (ja) 物体検出装置
CN105100638B (zh) 使用点矩阵照明的光学区域监测
JP6531326B2 (ja) 光学式検知装置
CN109959942A (zh) 距离测量设备、识别设备和距离测量方法
Hanke et al. Generation and validation of virtual point cloud data for automated driving systems
CN107850706B (zh) 用于使用多边形物体生成光图案的方法和系统
US20160334509A1 (en) Structured-light based multipath cancellation in tof imaging
CN101305337A (zh) 使用单个自混合激光器测量对象和光学输入设备的二维相对运动的方法
US10133834B2 (en) Method for simulating wave propagation; simulator, computer program and recording medium for implementing the method
JP5073495B2 (ja) レンジおよび速度を検出するシステム
Rosenberger et al. Analysis of real world sensor behavior for rising fidelity of physically based lidar sensor models
US20230258809A9 (en) Patterned illumination for three dimensional imaging
RU2018116893A (ru) Устройство, система и способ получения информации о показателе жизненно важной функции живого существа
EP4280589A1 (en) Imaging method and imaging device
KR20100040307A (ko) 위치들을 나타내기 위해 사용자 입력 디바이스에 의해 생성된 데이터를 처리하는 방법
WO2015014849A1 (fr) Dispositif d'aide a la detection d'objets poses sur le sol a partir d'images du sol issues d'un dispositif d'imagerie par reflexion d'ondes
CN204944449U (zh) 深度数据测量系统
Henley et al. Bounce-flash lidar
JPH01240863A (ja) スペックルパターン発生方法及び装置
Ngo A methodology for validation of a radar simulation for virtual testing of autonomous driving
Chen et al. Analysis of real-time lidar sensor simulation for testing automated driving functions on a vehicle-in-the-loop testbench
US11995761B2 (en) Methods and system for generating virtual sensor data of a virtual single-photon avalanche diode (SPAD) lidar sensor of a virtual vehicle simulator

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant