CN110337598B - 使用立体消歧的单频飞行时间深度计算 - Google Patents

使用立体消歧的单频飞行时间深度计算 Download PDF

Info

Publication number
CN110337598B
CN110337598B CN201880013582.3A CN201880013582A CN110337598B CN 110337598 B CN110337598 B CN 110337598B CN 201880013582 A CN201880013582 A CN 201880013582A CN 110337598 B CN110337598 B CN 110337598B
Authority
CN
China
Prior art keywords
distance
radiation
image
stereo
emitted
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201880013582.3A
Other languages
English (en)
Other versions
CN110337598A (zh
Inventor
M·布莱耶
R·K·普里塞
D·德曼多尔克斯
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Microsoft Technology Licensing LLC
Original Assignee
Microsoft Technology Licensing LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Microsoft Technology Licensing LLC filed Critical Microsoft Technology Licensing LLC
Publication of CN110337598A publication Critical patent/CN110337598A/zh
Application granted granted Critical
Publication of CN110337598B publication Critical patent/CN110337598B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/481—Constructional features, e.g. arrangements of optical elements
    • G01S7/4811—Constructional features, e.g. arrangements of optical elements common to transmitter and receiver
    • G01S7/4813—Housing arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/593—Depth or shape recovery from multiple images from stereo images
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G01B11/25—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06—Systems determining position data of a target
    • G01S17/08—Systems determining position data of a target for measuring distance only
    • G01S17/10—Systems determining position data of a target for measuring distance only using transmission of interrupted, pulse-modulated waves
    • G01S17/26—Systems determining position data of a target for measuring distance only using transmission of interrupted, pulse-modulated waves wherein the transmitted pulses use a frequency-modulated or phase-modulated carrier wave, e.g. for pulse compression of received signals
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06—Systems determining position data of a target
    • G01S17/08—Systems determining position data of a target for measuring distance only
    • G01S17/32—Systems determining position data of a target for measuring distance only using transmission of continuous waves, whether amplitude-, frequency-, or phase-modulated, or unmodulated
    • G01S17/36—Systems determining position data of a target for measuring distance only using transmission of continuous waves, whether amplitude-, frequency-, or phase-modulated, or unmodulated with phase comparison between the received signal and the contemporaneously transmitted signal
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06—Systems determining position data of a target
    • G01S17/46—Indirect determination of position data
    • G01S17/48—Active triangulation systems, i.e. using the transmission and reflection of electromagnetic waves other than radio waves
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/86—Combinations of lidar systems with systems other than lidar, radar or sonar, e.g. with direction finders
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/521—Depth or shape recovery from laser ranging, e.g. using interferometry; from the projection of structured light
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/332—Displays for viewing with the aid of special glasses or head-mounted displays [HMD]
    • H04N13/344—Displays for viewing with the aid of special glasses or head-mounted displays [HMD] with head-mounted left-right displays
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/66—Tracking systems using electromagnetic waves other than radio waves
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B2027/0178—Eyeglass type
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Electromagnetism (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Optics & Photonics (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Measurement Of Optical Distance (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Optical Radar Systems And Details Thereof (AREA)

Abstract

公开了一种用于通过飞行时间(ToF)和立体视觉的组合进行3D重建的技术。在ToF计算中使用单个调制频率提供一组模糊距离。为了确定该候选组中的单个精确距离，图像对的立体比较提供消歧距离。立体比较使用所存储的至少部分发射光的虚拟图像和检测到的从对象反射的光的图像。立体距离用于基于接近度确定多个精确距离中的哪个是正确的。将多个距离中与消歧距离最接近的距离作为实际距离。

Description

使用立体消歧的单频飞行时间深度计算
技术领域
本公开涉及飞行时间(ToF)深度感测系统。更具体地，本公开涉及使用立体消歧的单频ToF深度计算。
背景技术
深度感测技术可以用于确定人与附近对象相对位置或者用于在三维(3D)中生成人的直接环境的图像。深度感测技术的示例是飞行时间(ToF)传感器。ToF传感器具有用于将光发射到附近对象上的光源。ToF相机可以捕获由对象的表面反射的光线。与从对象返回的反射光的相位相比，通过计算来自光源的发射光的相位被转换为深度计算(即，到对象的距离)。可以处理深度计算以映射用户环境中的物理表面并且如果需要则渲染用户环境的3D图像。在基于相位的ToF中，使用来自单个调制频率的光的相位测量提供了不完美的深度计算。返回光的相位可以用于计算在给定相位“卷绕”(即，波长)内的准确测量，但是不提供关于传感器与反射光的对象之间的相位卷绕的数目的信息。因此，每个单频测量提供多个距离，每个距离由相位卷绕隔开。解决这种模糊性的一种方法涉及比较来自至少第二频率的光的类似距离计算，称为去混叠(de-alias)的过程。
ToF传感器及其相关的照射系统需要功率来操作。在移动设备中，通常对功耗、以及尺寸、重量和成本存在严格的限制。每帧距离计算产生附加光发射的ToF照射模块导致功耗的相应增加。该问题涉及很多类型的设备，诸如深度感测设备、主动红外(IR)模块、夜视摄像机、安全摄像机和机器视觉的其他应用。通常选择这些系统的帧速率和照射持续时间以在给定时刻满足期望的准确度水平或者增加有源成像系统的操作范围。较高的帧速率倾向于提供关于深度传感器视图内的对象的当前位置的更高的确定性。与使用较低帧速率的设备相比，被设计成以高帧速率提供有效照射的设备往往需要具有更高容量以及因此更大尺寸和重量的电源(例如，一个或多个电池)，从而不期望地增加了终端产品的尺寸、重量和成本。
发明内容
在此介绍了一种距离计算技术，其以一个电磁(EM)频率进行传输并且使用立体比较来消除该计算的歧义。为了生成两个立体图像(例如，左和右)，从EM发射器发射结构光图案(例如，随机定位点的)。由ToF传感器捕获的结构光图案的返回(反射)版本是立体对的第一图像。立体对的第二图像是与原始结构光图案相匹配的所存储的虚拟图像。立体图像的视点可以分别是第一图像和第二图像的ToF传感器和EM发射器的物理位置。立体距离计算用于消除基于相位延迟而获取的距离计算之间的歧义。每帧距离计算使用单频捕获降低了与深度感测相关的功耗并且减少了数据传输。
在一些实施例中，该方法可以包括首先从设备的发射器发射EM辐射。EM辐射以指定的结构光图案从发射器发射。然后，设备上的ToF传感器基于返回的辐射捕获第一图像。返回的辐射是在从距设备一定距离的对象反射之后的发射的EM辐射的至少一部分。接下来，设备使用立体图像对计算对象与设备的距离。立体图像对包括由ToF传感器检测的第一图像。立体图像对的第二图像是EM辐射的不同变化。第二图像准确地表示正如由发射器发射的结构光图案的至少一部分。该设备将第二图像存储在存储器中，因此不需要重复检测第二图像。
在一些实施例中，第二图像是对应于与发射器并置的虚拟图像传感器的虚拟图像。因此，立体图像对的基线距离是发射器与ToF传感器之间的距离。该方法还包括基于返回的辐射的相位来计算到对象的初步距离。初步距离包括固有模糊性。立体距离对初步距离进行消歧。
根据附图和具体实施方式，所公开实施例的其他方面将很清楚。
提供本发明内容是为了以简化的形式介绍一些概念，这些概念将在下面的具体实施方式中进一步说明。本发明内容不旨在标识所要求保护的主题的关键特征或必要特征，也不旨在用于限制所要求保护的主题的范围。
附图说明
通过示例而非限制的方式在附图中示出了本公开的一个或多个实施例，附图中的相同的附图标记表示相似的元素。
图1示出了其中可以使用具有虚拟现实(VR)或增强现实(AR)功能的头戴式显示设备(下文中称为“HMD设备”)的环境的示例。
图2示出了HMD设备的示例的透视图。
图3是示出使用立体去混叠的单个频率下的深度计算的曲线图。
图4是虚拟相机立体距离计算的图示。
图5是由EM发射器发射并且用于立体计算的结构光图案的图示。
图6是示出使用ToF传感器的立体深度计算的方法的流程图。
图7是示出利用立体距离计算来对相位距离计算进行消歧的方法的流程图。
图8是其中可以执行用于引起系统执行前述方法和逻辑流程中的任何一个的指令集的计算机系统的示例形式的系统的示意框图。
具体实施方式
在本说明书中，对“实施例”、“一个实施例”等的引用表示所描述的特定特征、功能、结构或特性被包括在这里介绍的至少一个实施例中。在本说明书中出现的这些短语并不一定都指代同一个实施例。另一方面，所提到的实施例也不一定是相互排斥的。
附图和相关说明书描述了适用于近眼显示器(NED)系统的照射模块的某些实施例，诸如头戴式显示器(HMD)设备。然而，所公开的实施例不限于NED系统并且具有各种可能的应用，包括诸如在有源光投影系统或任何有源相机模块中使用的任何有源照射系统(即，主动使用光源)。所有这些应用、改进或修改都被认为在这里公开的概念的范围内。
以下描述通常假定显示设备的“用户”是人。然而，注意，非人类的用户(诸如机器或动物)可能潜在地使用所公开的实施例的显示设备。因此，术语“用户”可以指代这些可能性中的任何一种，除非可以另外说明或从上下文中很清楚的。此外，术语“光接收器”在此用作通用术语以指代人眼、动物眼、或被设计成以类似于人眼的方式检测图像的机器实现的光学传感器。
具有虚拟现实(VR)或增强现实(AR)功能的HMD设备和其他NED系统可以包括透明显示元件，这些透明显示元件使得用户能够同时看到它们周围的真实世界和由HMD设备显示的AR内容。HMD设备可以包括诸如发光元件(例如，发光二极管(LED))、波导装置、各种类型的传感器和处理电子设备等组件。HMD设备还可以包括一个或多个成像器设备，以基于根据HMD设备中所包括的组件而确定的测量和计算，根据穿戴HMD设备的用户的环境来生成图像(例如，用于3D视觉的立体对图像)。
HMD设备还可以包括深度感测系统，该深度感测系统解析用户穿戴的HMD设备与用户的紧邻附近的对象的物理表面(例如，墙壁、家具、人和其他对象)之间的距离。深度感测系统可以包括用于产生用户的附近真实世界环境的3D图像的ToF深度相机(例如，相位ToF深度相机)。所捕获的图像具有与HMD设备与真实世界环境的点之间的距离相对应的像素值。
HMD设备可以具有成像器设备，成像器设备基于解析的距离生成全息图像，例如，使得全息对象出现在相对于用户环境中的物理对象的特定位置处。HMD设备还可以具有一个或多个显示设备，以在用户穿戴HMD设备时显示被覆盖在用户的光学接收器的视图上的所生成的图像。具体地，HMD设备的一个或多个透明波导可以被布置成使得当用户穿戴HMD设备时HMD设备被定位成直接位于用户的每只眼睛前面，以将表示所生成的图像的光发射到用户的眼睛中。利用这样的配置，由HMD设备生成的图像可以被覆盖在用户对真实世界的三维视图上。
图1示意性地示出了其中可以使用HMD设备的环境的示例，其中这种HMD可以实现这里介绍的有源照射技术。在所示示例中，HMD设备10被配置为通过连接14与外部处理系统12进行数据通信(发送和接收)，连接14可以是有线连接、无线连接或其组合。然而，在其他用例中，HMD设备10可以作为独立设备操作。连接14可以被配置为携带任何类型的数据，诸如图像数据(例如，静止图像和/或全动态视频，包括2D和3D图像)、音频、多媒体、语音和/或任何其他类型的数据。处理系统12可以是例如游戏机、个人计算机、平板计算机、智能电话或其他类型的处理设备。连接14可以是例如通用串行总线(USB)连接、Wi-Fi连接、蓝牙或低功耗蓝牙(BLE)连接、以太网连接、电缆连接、数字用户线(DSL)连接、蜂窝连接(例如，3G、LTE/4G或5G)等、或其组合。另外，处理系统12可以经由网络18与一个或多个其他处理系统16通信，网络18可以是或包括例如局域网(LAN)、广域网(WAN)、内联网、城域网(MAN)、全球因特网或其组合。
图2示出了根据某些实施例的可以结合在此引入的特征的HMD设备20的透视图。HMD设备20可以是图1的HMD设备10的实施例。HMD设备20具有包括机架24的保护性密封遮阳板组件22(下文中称为“遮阳板组件22”)。机架24是一种结构组件，显示元件、光学器件、传感器和电子器件通过该结构组件耦合到HMD设备20的其余部分。机架24可以由例如模制塑料、轻质金属合金或聚合物形成。
遮阳板组件22分别包括左AR显示器26-1和右AR显示器26-2。AR显示器26-1和26-2被配置为显示被覆盖在用户对真实世界环境的视图上的图像，例如，通过将光投射到用户的眼睛中。左侧臂28-1和右侧臂28-2分别是经由柔性或刚性紧固机构(包括一个或多个夹具、铰链等)分别在机架24的左右开口端处附接到机架24的结构。HMD设备20包括附接到侧臂28-1和28-2的可调节头带(或其他类型的头部配件)30，HMD设备20可以通过该头带30穿戴在用户的头部上。
机架24可以包括各种固定装置(例如，螺钉孔、凸起的平坦表面等)，传感器组件32和其他组件可以附接到该固定装置。在一些实施例中，传感器组件32被包含在遮阳板组件22内并且经由轻质金属框架(未示出)安装到机架24的内表面。承载HMD 20的电子组件(例如，微处理器、存储器)的电路板(图2中未示出)也可以安装到遮阳板组件22内的机架24。
传感器组件32包括深度感测系统的深度相机34和一个或多个相关照射模块36(统称为照射模块36并且单独地称为照射模块36-1至36-N)。照射模块36发射光以照射附近的真实世界环境。一些光反射离开环境中的对象的表面，并且返回到深度相机34。深度相机34捕获包括来自照射模块36的至少一部分光的反射光。深度相机可以被配置为在不同的深度范围的多个视场中进行观察。对于被配置为观察用户的手的深度范围，深度相机的视场可以包括从深度相机发出的120度锥形。
从照射模块36发射的“光”是适合于深度感测的电磁辐射，并且不应当干扰用户对真实世界的视图。如此，从照射模块36发射的光通常不是可见光谱的一部分。发射光的示例包括红外(IR)光以使照射不引人注目。由照射模块36发射的光的源可以包括LED，诸如超发光LED、激光二极管、或具有足够功率输出的任何其他基于半导体的光源。
深度相机34可以是或包括被配置为捕获由照射模块36发射的光的任何图像传感器。深度相机34可以包括聚集反射光并且将环境成像到图像传感器上的透镜。光学带通滤波器可以用于仅使具有与由照射模块36发射的光相同波长的光通过。例如，在门控ToF深度感测系统中，深度相机34的每个像素可以表示光从照射模块36行进到对象的表面并且返回到深度相机34所花费的时间的度量。相反，在相位延迟ToF深度感测系统中，深度相机34的每个像素可以用于测量反射光相对于从照射模块36发射的光的相位的相位延迟。本领域技术人员已知的各种方法中的任何一种可以用于确定时序、相位、相位延迟和相应的深度计算。
HMD设备20包括用于控制和同步深度相机34和照射模块36的操作并且执行相关的数据处理功能的电子电路(图2中未示出)。该电路可以包括例如一个或多个处理器和一个或多个存储器。因此，HMD设备20可以提供表面重建以模拟用户的环境，或者用作传感器以接收人类交互信息，诸如手部跟踪信息。利用这样的配置，由HMD设备20生成的图像可以被适当地覆盖在用户对真实世界的3D视图上以提供虚拟或增强现实。注意，在其他实施例中，前述组件可以位于HMD设备20上的不同位置。另外，一些实施例可以省略一些上述组件，和/或可以包括上面未讨论的或图2中未示出的附加组件。
图3是示出通过使用立体去混叠的在单个频率下的深度计算的曲线图。特别地，图3包括使用单调制频率的信号和立体深度计算的来自HMD设备的深度计算的图。图的横轴跟踪距HMD设备的照射模块的距离。单个频率由实线表示并且具有波长(λ)。单个频率在零时刻以零相位发射。星形图标指示返回信号的相位延迟(在被对象的表面反射之后的发射信号)。每个星形图标在返回信号中的每个频率的每次重复中位于相同的相位。对于每个深度帧，获取一个频率捕获。对于每个频率捕获，获取多个相位捕获以确定该特定频率的相位。
在这里介绍的技术的一些实施例中，使用返回信号的相位来执行深度计算。返回信号的相位对应于由信号频率(f)的特定部分除以光速而定义的距离。然而，返回信号的相位是重复距离，因此是模糊的。这种模糊性也称为相位混叠。
模糊度可以由等式表示，其中f是频率，c表示光速，以及N是相位卷绕的数目。在没有附加信息的情况下，无法求解N。使用第二距离计算(通过任何合适的方法获取)使得能够对计算进行去混叠并且基于相位测量提供准确深度。在这种情况下，使用立体距离计算。由于相位延迟计算的高准确度，立体计算不需要非常精确。此外，单个频率的频率越低(因此波长越大)，立体计算的精度要求越低。通常，与仅依赖于立体声(即，没有ToF)的深度传感器相比，对立体声深度准确度的要求较弱。因此，系统可以在相机与照射器之间采用较小的基线，这对立体深度精度产生负面作用，但是能够构建小型设备。标准结构光立体声系统在这种条件下表现不佳。
立体计算仅需要足够精确以允许选择单个频率的计算相位卷绕之一(因此在上面的等式中求解“N”)。因此，深度跟踪系统可以利用具有有限功能或精度的立体计算系统。如图3所示，立体距离计算和相位距离计算不匹配；然而，立体计算对相位计算进行消歧为第三相位卷绕，作为最接近立体计算的相位卷绕。在实践中，两个计算不需要匹配，只要与其他的相比第二距离计算更接近相位卷绕计算中的某一个。
图4是根据在此介绍的技术的虚拟相机立体距离计算的图示。立体距离计算利用具有不同视角并且分开已知距离(“基线距离”)的至少两个图像。获取这两个图像的一种方法是在不同的已知位置处具有两个传感器来捕获图像帧。然而，图2(和图4)中描绘的设备包括单个ToF传感器34。其他设备也可以包括单个相机。
图4包括与EM发射器36配对的ToF传感器34，每个安装在机架24上。ToF传感器34包括其中检测来自EM发射器的反射EM辐射的实际视场(FoV)38。由于没有第二相机，虚拟相机提供第二图像帧。虚拟相机具有虚拟FoV 40。虚拟相机与EM发射器36并置，其相应FoV 40的几何中心和照射足迹也并置。图4另外包括存储器44和与至少ToF传感器34通信的处理器46。在一些实施例中，存储器44和处理器46可以安装在同一机架24内。
因为在EM发射器位置处没有实际的相机，所以没有在该位置处捕获的实时图像帧。相反，使用被包含在存储器/数字存储器44中的所存储的图像42。所存储的图像42是EM辐射的描绘，因为EM辐射表现为从EM发射器36发射。由ToF传感器检测的图像帧(“所捕获的图像帧”)表示反射离开一个或多个外部对象和表面的EM辐射。因此，所捕获的图像帧是所存储的图像42的空间偏移版本。因此，由ToF传感器34检测的所捕获的图像帧和所存储的图像42记录EM辐射的不同的空间变化。当ToF传感器34检测到的所捕获的图像帧随着外部对象相对于ToF传感器34的相对位置移动而改变和调节时，所存储的图像42保持不变。
为了执行立体距离计算，处理器46使用ToF传感器34和虚拟相机(其中后者位于EM发射器36的位置)的已知位置来比较从ToF传感器34接收的所捕获的图像帧和所存储的图像42。处理器46使用由ToF传感器34检测的相同返回的辐射来计算每帧的立体距离计算以及相位延迟距离计算。
每帧使用单个频率捕获的益处是降低了深度感测系统的功耗。使用多个频率捕获来对距离计算进行去混叠的现有系统需要ToF传感器34的附加捕获和EM发射器36的附加照射。虽然使用立体视觉来去混叠涉及计算中的一些功耗，但是相对于通过减少传感器和发射器的使用的功耗节省，这些功耗非常低。
此外，每帧具有单个频率捕获减少了ToF传感器的数据收集。收集数据的减少减轻了数据传输速度的问题。每帧使用单个频率捕获的另一好处是减少了运动模糊。由于必须捕获更多数目的图像，利用多个频率捕获来消歧的深度感测技术可能具有更长的曝光时间。结果，深度感测可以将运动模糊引入到一些帧中。相反，在每帧仅有单个频率捕获的情况下，由于较小的曝光时间，减少了运动模糊问题。
在一些实施例中，基线距离相对较小。基线可以是安装在HMD上的照射模块的尺寸的一部分。小的基线距离降低了立体距离计算的精度。然而，因为立体距离计算仅用于对距离进行消歧而不是提供准确距离，所以立体计算不需要精确。
图5是由EM发射器36发射并且用于立体计算的结构光图案的图示。结构光立体是将已知图案(通常是随机点图案，但也可以是更规则的图案)投射到场景上的过程，或者是形成这种图案的光。对于由相机记录的图像的每个像素，经由立体匹配来确定第二图像中的相应像素位置。一旦建立立体对应关系，就可以经由三角测量来计算深度。
图5中描绘的结构光图案是由EM发射器36发射的随机点图案48。所存储的图像42是正如由发射器36发射的结构光图案48的至少一部分。虽然描绘了随机点图案48，但是很多其他图案也是合适的(例如，随机条纹、复杂凯尔特图案、密集单调图片等)。图案48可以基于诸如总体覆盖和变化等多个因素而被选择。
为了检测每帧中的最大数目的像素的输入，具有高的整体光到对象表面覆盖是重要的。结构光图案的副作用是外部对象上不会有覆盖的光覆盖。相反，对象表面上至少会有一些区域不接收所发射的光线以反射。这些区域不向ToF传感器34提供相应输入。在没有发射辐射的情况下，ToF传感器34不能检测相应反射光，从而产生检测间隙。因此，具有致密的结构光图案对于减小检测间隙的尺寸是重要的。与照射图案中的间隙相对应的像素可以经由其他方法接收输入，或者基于相邻的检测像素来推断。
结构光图案48还应当包括一些变化。特别地，重要的是，图案在水平方向上是非重复的，使得可以在每个像素处估计唯一的明确的立体对应关系。变化的图案是其中可以基于相对于图案的其他元素的可识别位置来可以容易地辨别图案的每个元素的图案(例如，其中每个点与周围点具有随机距离的随机点图案)。在识别相对于发射的EM辐射的反射EM辐射的部分方面的更大确定性提高了深度计算的总体准确性。
图6是示出使用ToF传感器的立体深度计算方法的流程图。在步骤602中，设备的EM发射器发射EM辐射。发射远离深度跟踪系统并且反射离开对象。至少一些所得到的反射返回到深度跟踪系统并且被称为“返回的辐射”。在一些实施例中，EM辐射是结构光图案。
在步骤604中，设备上的ToF传感器基于返回的辐射来捕获图像帧。返回的辐射是在已经被距设备一定距离的对象反射之后的发射的EM辐射的至少一部分。在EM辐射是结构光图案的情况下，返回的辐射是结构光图案的偏移版本。
在使用结构光图案的情况下，在检测到的图像帧中不一定存在全像素覆盖。相反，返回的辐射可以包括结构光不反射的任何地方的间隙。在逐像素的基础上执行该方法，因此，可以不计算图像帧的像素间隙的立体距离计算。
在步骤606中，设备的处理器执行返回的辐射的图像帧与第二图像的立体比较。在EM辐射是结构光图案的情况下，图像帧是结构光图案的空间偏移版本。在一些实施例中，第二图像是设备上的存储的图像。当ToF传感器检测到的图像帧发生变化时，存储的图像保持不变。备选地，从第二相机的角度检测第二图像。
所存储的图像表示正如发射器发射的结构光图案的至少一部分。因此，图像帧与存储图像之间的立体比较是发射的EM辐射与检测到的返回的辐射之间的比较(与返回的辐射的两个视点相反)。在步骤608中，处理器基于立体比较来计算立体距离。
图7是示出通过使用立体距离计算来对相位距离计算进行消歧的方法的流程图。在步骤702中，EM发射器以第一频率发射进行辐射。在一些实施例中，第一频率是该过程中使用的唯一频率。发射远离深度跟踪系统并且反射离开对象。至少一些反射返回深度跟踪系统。在步骤704中，ToF传感器捕获第一频率的返回的辐射。在逐像素的基础上捕获当前帧的返回的辐射。在步骤706中，深度跟踪系统计算当前帧的有效亮度和返回的第一频率的相位。有效亮度是由EM发射器的照射产生的返回的辐射的大小，并且用于建立立体图像之间的对应关系并且计算立体距离。深度跟踪系统将返回的第一频率的相位与发射的相位进行比较以计算相位延迟。
在步骤708中，深度跟踪系统基于相位延迟和第一频率的波长来计算初步或估计深度。初步距离具有多个值，这些值对应于进入可变数目的相位卷绕中的相位卷绕的特定距离。在步骤710中，深度跟踪系统计算立体距离。该步骤在图6和上面的相应文本中更详细地描述。在步骤712中，深度跟踪系统计算对象的消歧距离(在逐像素的基础上)。深度跟踪系统使用在步骤710中计算的立体距离来求解步骤708的可变数目的相位卷绕。相位卷绕的数目基于相位卷绕的数目来确定，在进入相位卷绕的特定距离处，最接近立体距离。然后深度跟踪系统将消歧的初步距离作为对象的实际距离。
深度跟踪系统计算到在逐像素的基础上产生反射的对象的实际距离。在EM辐射是结构光图案的情况下，对于所有像素，返回的辐射可能不完全覆盖。在步骤714中，深度跟踪系统推断未被ToF传感器检测到的像素的距离。有很多方法可以推断出丢失的像素。这些方法之一是基于检测到的像素来导出检测到的对象的形状，并且基于导出的形状来填充剩余的像素。另一种方法是检测已知类型的对象(诸如控制器)，并且基于该对象的已知特性来填充像素。深度跟踪系统还可以使用本领域已知的其他合适的方法。
示例机器概述
上述机器实现的操作可以至少部分由通过软件和/或固件编程/配置的可编程电路实现，或者完全由专用电路实现，或者由这些形式的组合实现。这种专用电路(如果有的话)可以是例如一个或多个专用集成电路(ASIC)、可编程逻辑器件(PLD)、现场可编程门阵列(FPGA)、片上系统(SOC)等形式。
用于实现这里介绍的实施例的软件或固件可以被存储在机器可读存储介质上，并且可以由一个或多个通用或专用可编程微处理器执行。这里使用的术语“机器可读介质”包括可以以机器可访问的形式存储信息的任何机制(机器可以是例如计算机、网络设备、蜂窝电话、个人数字助理(PDA)、制造工具、具有一个或多个处理器的任何设备等)。例如，机器可访问介质包括可记录/不可记录介质(例如，只读存储器(ROM)；随机存取存储器(RAM)；磁盘存储介质；光存储介质；闪存设备；等)等。
图8是其中可以执行用于引起系统执行前述方法和逻辑流程中的任何一个的指令集的计算机系统800的说明性形式的系统的示意框图。在替代实施例中。
计算机系统800包括处理器802、主存储器804和静态存储器806，它们经由总线808彼此通信。计算机系统800还包括照射模块810和相位ToF相机812。计算机系统800还包括输出接口814，例如USB接口、网络接口或电信号连接和/或触点。
磁盘驱动器单元816包括机器可读介质818，机器可读介质818上存储有实现本文所述的任何一种或所有方法的一组可执行指令，即软件820。软件820还被示出为完全或可以至少部分驻留在主存储器804和/或处理器802内。软件820还可以通过网络接口设备814在网络上而被发射或接收。
与上面讨论的系统800相反，不同的实施例使用逻辑电路而不是计算机执行的指令来实现处理实体。根据应用在速度、费用、加工成本等方面的特定要求，该逻辑可以通过构造具有数千个微型集成晶体管的专用集成电路(ASIC)来实现。这种ASIC可以用CMOS(互补金属氧化物半导体)、TTL(晶体管-晶体管逻辑)、VLSI(非常大的系统集成)或其他合适的结构来实现。其他替代方案包括数字信号处理芯片(DSP)、分立电路(诸如电阻器、电容器、二极管、电感器和晶体管)、现场可编程门阵列(FPGA)、可编程逻辑阵列(PLA)、可编程逻辑器件(PLD)等。
应当理解，实施例可以用作或支持在某种形式的处理核(诸如计算机的CPU)上执行的或者以其他方式在系统或计算机可读介质上或在其内实现的软件程序或软件模块。机器可读介质包括用于以机器可读的形式存储或传输信息的任何机制，例如，计算机。例如，机器可读介质包括只读存储器(ROM)；随机存取存储器(RAM)；磁盘存储介质；光存储介质；闪存设备；电、光、声或其他形式的传播信号，例如载波、红外信号、数字信号等；或者适用于存储或传输信息的任何其他类型的介质。
此外，应当理解，实施例可以包括执行操作并且使用具有云计算的存储装置。出于本文中讨论的目的，云计算可以表示在任何网络上执行算法，这些算法可以由具有因特网或网络功能的设备、服务器或客户端访问并且不需要复杂的硬件配置，例如，需要电缆和复杂的软件配置，例如需要顾问来安装。例如，实施例可以提供根据本文中的实施例的一个或多个云计算解决方案，这些解决方案允许用户(例如，移动用户)在这样的具有因特网或其他网络功能的设备、服务器或客户端上访问实时视频传送。还应当理解，一个或多个云计算实施例包括使用移动设备、平板电脑等的实时视频传送，因为这样的设备正在成为标准的消费者设备。
某些实施例的示例
1.一种方法，包括：从设备的发射器发射电磁(EM)辐射；通过所述设备上的ToF传感器基于返回的辐射捕获第一图像，其中返回的辐射是在所发射的EM辐射的至少一部分已经由距设备一定距离的对象反射之后的所发射的EM辐射的至少一部分；以及通过使用包括所述第一图像的立体图像对来计算对象距所述设备的距离。
2.根据示例1所述的方法，其中所述立体图像对还包括第二图像，并且其中第一图像和第二图像记录EM辐射的不同变化。
3.根据示例1或示例2所述的方法，其中EM辐射是以指定的结构光图案从发射器被发射。
4.根据示例1至3中任一项所述的方法，其中第二图像表示正如由发射器发射的结构光图案的至少一部分，所述方法还包括：在所述发射之前将所述第二图像存储在设备的存储器中。
5.根据示例1至4中任一项所述的方法，其中所述第二图像是对应于与发射器并置的虚拟图像传感器的虚拟图像，并且其中所述立体图像对的基线距离是发射器与ToF传感器之间的距离。
6.根据示例1至5中任一项所述的方法，其中对象的距离是通过立体视觉测量的第一距离，所述方法还包括：基于所返回的辐射的相位来计算到对象的初步距离；以及基于初步距离和第一距离来计算到对象的消歧距离。
7.根据示例1至6中任一项所述的方法，其中EM辐射是红外光。
8.一种方法，包括：通过无线介质从设备的发射器发射电磁(EM)辐射，EM辐射被配置为确定从所述设备到对象的距离；由设备上的ToF传感器基于返回的辐射捕获第一图像，所返回的辐射是在所发射的EM辐射的至少一部分已经由距设备一定距离的对象反射之后的所发射的EM辐射的至少一部分；以及基于所返回的辐射的相位来计算到对象的模糊距离；以及基于包括所述第一图像和第二图像的立体图像对，使用立体视觉根据初步距离计算从设备到对象的去混叠距离，第二图像被存储在设备的存储器中并且表示正如由发射器发射的EM辐射的至少一部分。
9.根据示例8所述的方法，其中所述EM辐射是红外光。
10.根据示例8或示例9所述的方法，其中所述EM辐射是由发射器以结构光图案发射。
11.根据示例8至10中任一项所述的方法，其中所返回的辐射包括空间偏移的结构光图案，并且所述计算去混叠距离还包括：基于所述第一图像和所述第二图像的立体比较来计算估计距离；基于所返回的辐射的相位和EM辐射的频率来确定所返回的辐射的最接近所述估计距离的相位卷绕的数目；以及基于相位卷绕的数目和返回的辐射的相位来输出去混叠距离。
12.根据示例8至10中任一项所述的方法，其中所述第二图像表示正如由所述发射器发射的结构光图案的至少一部分，所述方法还包括：在所述发射之前，将第二图像存储在设备的存储器中。
13.根据示例8至12中任一项所述的方法，其中所述第二图像是对应于与所述发射器并置的虚拟图像传感器的虚拟图像，并且其中所述立体图像对的基线距离是发射器与ToF传感器之间的距离。
14.根据示例8至13中任一项所述的方法，其中所述去混叠还包括：确定所返回的辐射的有效亮度，将EM辐射的照射功率与所返回的辐射的有效亮度进行比较。
15.根据示例8至14中任一项所述的方法，其中发射EM辐射包括仅以一个频率发射EM辐射。
16.根据示例8至15中任一项所述的方法，其中所述设备是近眼显示设备。
17.一种装置，包括：电磁(EM)发射器，被配置为以一个频率通过无线介质发射EM辐射以确定从装置到对象的距离；飞行时间(ToF)传感器，被配置为捕获返回的辐射的第一帧，所述返回的辐射是在发射的EM辐射的至少一部分已经由距装置一定距离的对象反射之后的发射的EM辐射的至少一部分；以及处理器，被配置为使用包括所述第一帧的立体图像对来计算到对象的第一距离。
18.根据示例17所述的装置，其中第一帧还包括所述返回的辐射的相位，并且其中处理器还被配置为基于所返回的辐射的相位来计算模糊距离并且使用第一距离对模糊距离进行去混叠。
19.根据示例17或示例18所述的装置，还包括：存储第二帧和映射的立体图像位置的存储器，所述第二帧是与位于所述映射的立体图像位置的虚拟图像传感器相对应的虚拟图像。
20.根据示例17至19中任一项所述的装置，还包括：壳体，被定形状为允许所述装置作为头戴式显示设备的至少一部分穿戴在用户的头部上。
上述任何或所有特征和功能可以彼此组合，除非在上文中另外说明或者任何这样的实施例由于其功能或结构而可能不相容，如对于本领域普通技术人员来说是很清楚的。除非与物理可能性相反，否则设想(i)本文中描述的方法/步骤可以以任何顺序和/或以任何组合被执行，并且(ii)各个实施例的组成可以以任何方式被组合。
尽管用结构特征和/或动作专用的语言描述了本主题，但是应当理解，所附权利要求书中限定的主题不必限于上述具体特征或动作。相反，上面描述的具体特征和动作被公开作为实现权利要求的示例，并且其他等同特征和动作旨在落入权利要求的范围内。

Claims (7)

1.一种用于计算距离的方法，包括：
由设备的发射器以结构光图案向对象发射电磁EM辐射；
由所述设备上的飞行时间ToF传感器捕获所发射的所述EM辐射被所述对象反射的部分作为第一图像数据；
由所述设备使用所述第一图像数据来计算所述设备和所述对象之间的一组混叠相位延迟距离；
由所述设备使用所述第一图像数据和包括所述结构光图案的未发射和未捕获版本的存储图像帧来计算所述设备和所述对象之间的立体距离，其中所述存储图像帧是从所述发射器被发射的所述EM辐射的描绘；以及
由所述设备通过使用所计算的所述立体距离去混叠所述一组混叠相位延迟距离，确定所述设备和所述对象之间的距离。
2.根据权利要求1所述的方法，其中所述立体距离的基线距离是所述发射器与所述ToF传感器之间的距离。
3.根据权利要求1所述的方法，其中所述EM辐射是红外光。
4.根据权利要求1所述的方法，其中所述去混叠还包括：
确定返回的辐射的有效亮度；以及
将所述EM辐射的照射功率与所述返回的辐射的所述有效亮度进行比较。
5.根据权利要求1所述的方法，其中所述设备是近眼显示设备。
6.一种用于计算距离的装置，包括：
电磁EM发射器，其被配置为向对象发送EM辐射；
飞行时间ToF传感器，其被配置为捕获所发射的EM辐射被所述对象反射的部分作为第一图像数据；以及
处理器，其被配置为：
使用所述第一图像数据来计算设备和所述对象之间的一组混叠相位延迟距离；
使用所述第一图像数据和包括所发射的所述EM辐射的未发射和未捕获版本的存储图像帧来计算所述设备和所述对象之间的立体距离，其中所述存储图像帧是从所述发射器被发射的所述EM辐射的描绘；以及
通过使用所计算的所述立体距离去混叠所述一组混叠相位延迟距离，确定所述设备和所述对象之间的距离。
7.根据权利要求6所述的装置，还包括：
壳体，其形状被设置为允许所述装置作为头戴式显示设备的至少一部分戴在用户的头部上。
CN201880013582.3A 2017-02-27 2018-02-23 使用立体消歧的单频飞行时间深度计算 Active CN110337598B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US15/444,161 2017-02-27
US15/444,161 US10810753B2 (en) 2017-02-27 2017-02-27 Single-frequency time-of-flight depth computation using stereoscopic disambiguation
PCT/US2018/019300 WO2018156821A1 (en) 2017-02-27 2018-02-23 Single-frequency time-of-flight depth computation using stereoscopic disambiguation

Publications (2)

Publication Number Publication Date
CN110337598A CN110337598A (zh) 2019-10-15
CN110337598B true CN110337598B (zh) 2023-08-18

Family

ID=61622684

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201880013582.3A Active CN110337598B (zh) 2017-02-27 2018-02-23 使用立体消歧的单频飞行时间深度计算

Country Status (4)

Country Link
US (1) US10810753B2 (zh)
EP (1) EP3586165B1 (zh)
CN (1) CN110337598B (zh)
WO (1) WO2018156821A1 (zh)

Families Citing this family (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10334076B2 (en) * 2016-02-22 2019-06-25 Google Llc Device pairing in augmented/virtual reality environment
CN109246410B (zh) * 2017-05-31 2021-04-02 江苏慧光电子科技有限公司 全息影像的成像方法和数据生成方法及装置
US10802117B2 (en) 2018-01-24 2020-10-13 Facebook Technologies, Llc Systems and methods for optical demodulation in a depth-sensing device
US10735640B2 (en) 2018-02-08 2020-08-04 Facebook Technologies, Llc Systems and methods for enhanced optical sensor devices
US10805594B2 (en) 2018-02-08 2020-10-13 Facebook Technologies, Llc Systems and methods for enhanced depth sensor devices
US10643341B2 (en) * 2018-03-22 2020-05-05 Microsoft Technology Licensing, Llc Replicated dot maps for simplified depth computation using machine learning
US10565720B2 (en) 2018-03-27 2020-02-18 Microsoft Technology Licensing, Llc External IR illuminator enabling improved head tracking and surface reconstruction for virtual reality
WO2019236563A1 (en) 2018-06-06 2019-12-12 Magik Eye Inc. Distance measurement using high density projection patterns
US10916023B2 (en) * 2018-09-14 2021-02-09 Facebook Technologies, Llc Depth measurement assembly with a structured light source and a time of flight camera
US11513197B2 (en) * 2018-10-15 2022-11-29 Leica Geosystems Ag Multiple-pulses-in-air laser scanning system with ambiguity resolution based on range probing and 3D point analysis
JP7565282B2 (ja) 2019-01-20 2024-10-10 マジック アイ インコーポレイテッド 複数個の通過域を有するバンドパスフィルタを備える三次元センサ
WO2020197813A1 (en) 2019-03-25 2020-10-01 Magik Eye Inc. Distance measurement using high density projection patterns
EP3757615A1 (en) 2019-06-28 2020-12-30 Infineon Technologies AG Method for determining distance information of an object using a time of flight system and time of flight system
EP4065929A4 (en) * 2019-12-01 2023-12-06 Magik Eye Inc. IMPROVEMENT OF TRIANGULATION-BASED THREE-DIMENSIONAL DISTANCE MEASUREMENTS WITH TIME OF FLIGHT INFORMATION
WO2021253321A1 (zh) * 2020-06-18 2021-12-23 深圳市汇顶科技股份有限公司 飞时测距方法与相关系统
US20240103168A1 (en) * 2021-01-27 2024-03-28 Sony Semiconductor Solutions Corporation Three-dimensional image capturing according to time-of-flight measurement and light spot pattern measurement
US11909950B1 (en) * 2021-09-21 2024-02-20 Amazon Technologies, Inc. Three-dimensional (3D) sensor performance evaluation
US11922606B2 (en) 2021-10-04 2024-03-05 Samsung Electronics Co., Ltd. Multipass interference correction and material recognition based on patterned illumination without frame rate loss

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102222329A (zh) * 2010-03-17 2011-10-19 微软公司 深度检测的光栅扫描
CN102685402A (zh) * 2010-11-03 2012-09-19 洛克威尔自动控制技术股份有限公司 对距离改变不敏感的颜色传感器
US8355565B1 (en) * 2009-10-29 2013-01-15 Hewlett-Packard Development Company, L.P. Producing high quality depth maps
US8845107B1 (en) * 2010-12-23 2014-09-30 Rawles Llc Characterization of a scene with structured light
US8878780B2 (en) * 2011-07-10 2014-11-04 Industrial Technology Research Institute Display apparatus
CN105103006A (zh) * 2012-12-19 2015-11-25 微软技术许可有限责任公司 飞行去混叠的单个频率时间

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7791715B1 (en) 2006-10-02 2010-09-07 Canesta, Inc. Method and system for lossless dealiasing in time-of-flight (TOF) systems
US8629976B2 (en) 2007-10-02 2014-01-14 Microsoft Corporation Methods and systems for hierarchical de-aliasing time-of-flight (TOF) systems
KR101483462B1 (ko) 2008-08-27 2015-01-16 삼성전자주식회사 깊이 영상 획득 장치 및 방법
US9098908B2 (en) 2011-10-21 2015-08-04 Microsoft Technology Licensing, Llc Generating a depth map
NZ719204A (en) * 2012-01-24 2017-11-24 Univ Arizona Compact eye-tracked head-mounted display
KR101975971B1 (ko) 2012-03-19 2019-05-08 삼성전자주식회사 깊이 카메라, 다중 깊이 카메라 시스템, 그리고 그것의 동기 방법
US9175957B2 (en) 2012-09-24 2015-11-03 Alces Technology, Inc. Grayscale patterns from binary spatial light modulators
RU2012154657A (ru) 2012-12-17 2014-06-27 ЭлЭсАй Корпорейшн Способы и устройство для объединения изображений с глубиной, генерированных с использованием разных способов формирования изображений с глубиной
US20140361175A1 (en) 2013-06-07 2014-12-11 Korea Institute Of Science And Technology Device for extracting depth information using infrared light and method thereof
KR20150010230A (ko) 2013-07-18 2015-01-28 삼성전자주식회사 단일 필터를 이용하여 대상체의 컬러 영상 및 깊이 영상을 생성하는 방법 및 장치.
US10061028B2 (en) 2013-09-05 2018-08-28 Texas Instruments Incorporated Time-of-flight (TOF) assisted structured light imaging
US10291329B2 (en) 2013-12-20 2019-05-14 Infineon Technologies Ag Exchanging information between time-of-flight ranging devices
EP2890125B1 (en) 2013-12-24 2021-10-13 Sony Depthsensing Solutions A time-of-flight camera system
US9702976B2 (en) 2014-10-27 2017-07-11 Microsoft Technology Licensing, Llc Time of flight camera
US9823352B2 (en) 2014-10-31 2017-11-21 Rockwell Automation Safety Ag Absolute distance measurement for time-of-flight sensors
US20160205378A1 (en) 2015-01-08 2016-07-14 Amir Nevet Multimode depth imaging

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8355565B1 (en) * 2009-10-29 2013-01-15 Hewlett-Packard Development Company, L.P. Producing high quality depth maps
CN102222329A (zh) * 2010-03-17 2011-10-19 微软公司 深度检测的光栅扫描
CN102685402A (zh) * 2010-11-03 2012-09-19 洛克威尔自动控制技术股份有限公司 对距离改变不敏感的颜色传感器
US8845107B1 (en) * 2010-12-23 2014-09-30 Rawles Llc Characterization of a scene with structured light
US8878780B2 (en) * 2011-07-10 2014-11-04 Industrial Technology Research Institute Display apparatus
CN105103006A (zh) * 2012-12-19 2015-11-25 微软技术许可有限责任公司 飞行去混叠的单个频率时间

Also Published As

Publication number Publication date
EP3586165B1 (en) 2023-11-01
CN110337598A (zh) 2019-10-15
US20180247424A1 (en) 2018-08-30
US10810753B2 (en) 2020-10-20
EP3586165A1 (en) 2020-01-01
WO2018156821A1 (en) 2018-08-30

Similar Documents

Publication Publication Date Title
CN110337598B (zh) 使用立体消歧的单频飞行时间深度计算
US10497137B2 (en) Temperature compensation for structured light depth imaging system
JP7329444B2 (ja) 機械知覚のためのシステム及び方法
US10425628B2 (en) Alternating frequency captures for time of flight depth sensing
CN110352364B (zh) 多光谱照射和传感器模块
US10440349B2 (en) 3-D 360 degrees depth projector
EP3775995B1 (en) Reduced power operation of time-of-flight camera
US11585937B2 (en) Autonomous gating selection to reduce noise in direct time-of-flight depth sensing
US20140375541A1 (en) Eye tracking via depth camera
WO2018144368A1 (en) Active illumination management through contextual information
US10209360B2 (en) Reduced phase sampling for high speed depth sensing
IL308285B1 (en) System and method for augmentation and virtual reality
EP3791209B1 (en) Phase wrapping determination for time-of-flight camera
CN108495113B (zh) 用于双目视觉系统的控制方法和装置
US11803982B2 (en) Image processing device and three-dimensional measuring system
EP3371780A1 (en) System and methods for imaging three-dimensional objects
US20190132574A1 (en) Depth sensing system with differential imaging camera
EP3462128A1 (en) 3-d 360 degree depth projector
KR101296365B1 (ko) 카메라를 이용한 홀로그램 터치 인식방법
JP6868167B1 (ja) 撮像装置および撮像処理方法
JP7528485B2 (ja) 撮像装置およびプログラム
WO2021253308A1 (zh) 图像采集装置
JP6868168B1 (ja) 撮像装置および撮像処理方法
JP2021150880A (ja) 撮像装置および撮像処理方法
Razavi et al. A camera simulation framework for passive depth recovery systems

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant