CN109477710A - 基于点的结构化光系统的反射率图估计 - Google Patents

基于点的结构化光系统的反射率图估计 Download PDF

Info

Publication number
CN109477710A
CN109477710A CN201780046129.8A CN201780046129A CN109477710A CN 109477710 A CN109477710 A CN 109477710A CN 201780046129 A CN201780046129 A CN 201780046129A CN 109477710 A CN109477710 A CN 109477710A
Authority
CN
China
Prior art keywords
point
pixel
structured light
light image
intensity
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201780046129.8A
Other languages
English (en)
Other versions
CN109477710B (zh
Inventor
M·布莱耶
R·K·普里塞
赵建
D·C·P·德曼多尔克斯
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Microsoft Technology Licensing LLC
Original Assignee
Microsoft Technology Licensing LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Microsoft Technology Licensing LLC filed Critical Microsoft Technology Licensing LLC
Publication of CN109477710A publication Critical patent/CN109477710A/zh
Application granted granted Critical
Publication of CN109477710B publication Critical patent/CN109477710B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/521—Depth or shape recovery from laser ranging, e.g. using interferometry; from the projection of structured light
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G01B11/25—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object
    • G01B11/2513—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object with several lines being projected in more than one direction, e.g. grids, patterns
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/17—Systems in which incident light is modified in accordance with the properties of the material investigated
    • G01N21/47—Scattering, i.e. diffuse reflection
    • G01N21/4738—Diffuse reflection, e.g. also for testing fluids, fibrous materials
    • G01N21/474—Details of optical heads therefor, e.g. using optical fibres
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G06V10/12—Details of acquisition arrangements; Constructional details thereof
    • G06V10/14—Optical characteristics of the device performing the acquisition or on the illumination arrangements
    • G06V10/145—Illumination specially adapted for pattern recognition, e.g. using gratings
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/17—Systems in which incident light is modified in accordance with the properties of the material investigated
    • G01N2021/1734—Sequential different kinds of measurements; Combining two or more methods
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/17—Systems in which incident light is modified in accordance with the properties of the material investigated
    • G01N2021/1765—Method using an image detector and processing of image signal
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/17—Systems in which incident light is modified in accordance with the properties of the material investigated
    • G01N2021/178—Methods for obtaining spatial resolution of the property being measured
    • G01N2021/1785—Three dimensional
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/04—Texture mapping
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/08—Indexing scheme for image data processing or generation, in general involving all processing steps from image acquisition to 3D model generation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2215/00—Indexing scheme for image rendering
    • G06T2215/16—Using real world measurements to influence rendering

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Biochemistry (AREA)
  • General Health & Medical Sciences (AREA)
  • Immunology (AREA)
  • Pathology (AREA)
  • Optics & Photonics (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

提供了用于从结构化光图像确定深度图和反射率图的系统和方法。深度图可以通过以下方式来被确定：捕获结构化光图像并且然后使用三角测量方法以基于所捕获的结构化光图像中的点来确定深度图。反射率图可以基于深度图并且基于对所捕获的结构化光图像中的点执行附加分析来被确定。

Description

基于点的结构化光系统的反射率图估计
背景技术
机器视觉系统的特征之一可以是识别场景并且标识场景中的特征和对象的能力。了解三维形状和对象反射率可以极大地助于机器视觉系统的准确性。用于识别场景的传统方法可以包括使用两种单独类型的相机。第一相机可以对应于可以提供针对场景的深度图的结构化光相机。第二相机可以对应于用于确定反射率图的传统的可见光相机。然后，反射率图可以例如用于纹理映射。
发明内容
在各个方面，提供了用于从结构化光图像来确定深度图和反射率图的系统和方法。反射率图可以对应于由结构化光源和/或结构化光相机使用的波长的反射率。在将结构化光图像投射到场景上之后，可以捕获并且处理结构化光图像以确定适合于使用的场景的总强度廓型(profile)，例如，作为反射率图。总强度廓型可以对应于已校正强度廓型，该已校正强度廓型可以减小或最小化由结构化光图像设备和/或投射和捕获结构化光图像的物理器件而引入的强度变化。尽管结构化光图像可以具有多个点被投射到场景上，该数目远小于与场景相对应的像素的数目，但是本文中描述的处理可以允许确定最初与来自结构化光图像的点不相关联的像素的强度值。
提供本“发明内容”是为了以简化的形式介绍一些概念，这些概念将在下面的“具体实施方式”中进一步描述。本“发明内容”不旨在标识所要求保护的主题的关键特征或必要特征，也不旨在单独使用以帮助确定所要求保护的主题的范围。
附图说明
图1示意性地示出了用于处理结构化光图像的系统的示例。
图2示出了作为距离的函数的光强度廓型的示例。
图3示出了作为距离的函数的光强度的校正因子的示例。
图4示意性地示出了投射在场景上的结构化光图像的示例。
图5示意性地示出了基于结构化光图像的已校正强度廓型的示例。
图6示意性地示出了计算与来自结构化光图像中的点不相关的像素的强度值的示例。
图7示出了用于从结构化光图像确定深度图和强度廓型的处理流程。
图8示意性地示出了结构化光源的示例和用于捕获结构化光图像的结构化光成像系统的示例。
具体实施方式
概述
在各个方面，提供了用于从结构化光图像确定深度图和反射率图的系统和方法。深度图和反射率图可以在不需要反射光的相位信息的情况下而被确定。深度图可以通过以下方式来被确定：捕获结构化光图像并且然后使用三角测量方法以基于所捕获的结构化光图像中的点来确定深度廓型(即，深度图)。反射率图可以基于对所捕获的结构化光图像中的点执行附加分析来被确定。首先，可以检测结构化光图像内的点。这可以包括确定跨越点的大小和/或形状的强度，而不是简单地确定或向检测到的点分配单个强度。针对所有检测到的点的强度可以称为强度廓型。此时，强度廓型可以对应于部分强度廓型，因为大量像素可能与检测到的点不相关联。在检测到点并且确定跨点的强度(诸如对于与点相关联的像素)之后，可以校正点的强度。这可以包括例如基于由于距离引起的二次衰减来校正强度、校正光相对于反射表面的入射角、和/或校正可能与照射廓型和相机成像系统相关联的强度损失或误差。需要注意，强度的校正可以部分地基于从深度图获取的信息。在校正检测到的点的强度之后，可以获取与强度已校正点相对应的强度廓型。然而，由于可能存在与点不相关联的大量像素，已校正强度廓型可能对应于部分已校正强度廓型。该部分已校正强度廓型可以通过修补(in-paint)而被转换成可能适合用作反射率图的总已校正强度廓型。基于针对每个点确定的强度，可以基于像素附近的检测到的点的强度来向与点不相关联的像素指定强度。
用于使用结构化光图像来确定深度图和反射率图的一个潜在应用可以是确定增强现实设备的环境的网格表示。增强现实设备可以支持增强现实(和/或混合现实)图像的呈现。增强现实图像包括增强现实对象，其是为与增强现实设备相关联的用户绘制的虚拟对象或实体(例如，全息内容或混合现实内容)。在一些方面，由增强现实设备检测到的自由空间输入也可以用于控制设备和/或与环境交互。例如，可以基于真实世界环境来绘制增强现实图像中的一个或多个对象，其中真实世界环境可以由增强现实设备以数字表示来捕获。理解真实世界环境可以基于几种不同的为增强现实设备提供关于环境的信息的技术。这可以包括实时地扫描环境并且生成环境的网格表示，以向增强现实设备提供关于环境的信息。
如果环境的深度图和反射率图可用，则网格表示还可以用于向用户显示看起来包含扫描环境的增强现实图像。这可以允许例如用户基于增强现实对象来在真实世界环境中导航和/或结合真实世界环境来观看增强现实对象。附加地或替代地，这可以允许增强现实设备检测环境中的用户移动，以便将用户移动转换为用于控制增强现实设备的输入。
用于确定环境的深度图和反射率图两者的一种传统方法可以是使用单独的相机。第一相机(或第一多个相机)可以对应于用于检测结构化光图像的相机，诸如红外相机。然后，可以使用结构化光图像来确定环境的深度图。然而，部分由于结构化光图像中数据的稀疏性，通常认为结构化光图像不能用于确定反射率图。相反，第二可见光相机用于捕获可以用于确定环境的反射率图的可见光图像(诸如RGB反射图像)。遗憾的是，由于两个单独相机的视角偏移，涉及用于捕获结构化光图像和可见光图像的单独相机的典型系统可能存在困难。当由具有不同视点的相机生成深度图和反射率图时，执行纹理映射在试图将反射率图的视角转换为深度图的视角时可能需要对反射率图进行翘曲。这可能导致反射率图的像素的失真，其在向用户显示时可能是可见的。另外，由于相机的不同视角，反射率图中存在的像素的一部分可能在深度图中缺失(或反之亦然)，这可能导致纹理图不完整。
具有用于生成深度图和反射率图的单独相机的一种替代方案可以是使用飞行时间3D成像。在飞行时间3D成像中，通过调制信号均匀地照射场景，并且传感器记录从照射器到传感器的光子的往返时间。在操作期间，可以通过捕获多个高频时间或相移图像来生成深度图和反射率图。通过向传感器像素提供连续照射并且通过捕获时间或相位信息，飞行时间成像系统可以允许计算深度图和反射率图。然而，由于需要以皮秒准确度来精确地捕获时间和相位信息，因此飞行时间系统可能需要专用设备。此外，由于如何基于飞行时间3D成像系统中的相位信息来确定深度图的这一性质，由飞行时间3D成像系统捕获的图像中的多道次(multi-pass)干涉可能导致非刚性变形和/或失真。
在各个方面，可以通过从具有稀疏分布的点的所捕获的结构化光图像确定深度图和反射率图来克服上述缺陷中的一个或多个。在一些方面，本文中描述的系统和方法可以减小或最小化对相机进行时间同步的需要，这在具有捕获反射率/强度图像的物理的第二相机的设置中将是需要的。在一些方面，与基于具有不同视角的图像来生成深度图和反射率图相反，本文中描述的系统和方法可以允许基于具有单个视角的图像来确定深度图和反射率图。因此，在一个或多个方面，本文中描述的系统和方法可以提供如下技术效果：提高计算设备向用户提供环境的增强现实(和/或混合现实)视图的能力，同时减小或最小化视图中的失真。
从所捕获的结构化光图像生成的反射率图可以表示与关联于结构化光系统的波长相对应的反射率图。在一些方面，结构化光源可以对应于基本上发射大约特定波长的辐射(和/或发射单个波长)的源。例如，用于结构化光源的合适的激光二极管可以对应于基本上发射850nm或接近850nm的辐射的激光二极管。从由这种源生成的结构化光图像生成的反射率图可以对应于～850nm处的反射率的反射率图。在一些方面，结构化光源可以提供大约以下波长(或在单个波长处)的照射，该波长对应于IR光、紫外(UV)光、可见光或可以由成像装置容易捕获的另一方便波长。
在本讨论中，结构化光图像对应于部分地源自结构化光源的使用的图像。结构化光源对应于投射多个点的光源或照射源。在一些方面，用于投射结构化光图像的光源可以是红外光源和/或在可见光谱中具有的或最小化的可检测性的另一光源。这可以允许结构化光图像投射到环境上，同时对使用传统可见光相机(和/或其他可见光检测器)而获取的图像具有降低的或最小化的影响。然后可以使用适合于检测由结构化光源投射的光的类型的相应相机(和/或其他检测器)来捕获结构化光图像。
结构化光图像的点可以对应于任何方便类型的参考图案，只要在(诸如预定的)校准时在任何时间点处的参考图案是已知的。可以通过例如三角测量以基于结构化光图像来确定深度图。用于三角测量的一个选项可以是具有重叠视场的至少两个相机以用于检测结构化光图像，其中至少两个相机之间具有已知距离关系。另一选项可以是在结构化光源与用于捕获结构化光图像的相机之间具有已知的距离关系。在这种类型的选项中，结构化光源和相机之间的已知偏移可以与由结构化光源投射的预定参考图案结合使用，以允许光源用作“虚拟相机”以用于三角测量的目的。
在各个方面，由结构化光源投射的点的数目可以远小于用于表示环境的像素的数目。因此，由来自结构化光源的点照射的像素的数目可以远小于像素的总数。这可以与由飞行时间系统投射的光图像相反，其中投射的照射可以对应于连续照射或照射视图中的所有或基本上所有像素的“泛洪填充(flood fill)”。例如，对于基于来自结构化光源的照射的结构化光图像，(至少部分地)由点照射的像素的数目可以是与环境相对应的视场中的像素总数的60％或更小、或者50％或更小、或者25％或更小，或者10％或更小、或者甚至可能1％或更小。在一些方面，由点照射的像素的数目可以是视场中的像素总数的约0.01％到约60％、或约0.1％到约60％、或约0.01％到约10％。以比率表示，由点照射的像素的数目与未由点照射的像素的数目可以是1.5或更小(即，总像素的60％或更小)、或者1.0或更小(即，总像素的50％或更小)、或者0.3或更小、或者0.1或更小。在一些方面，该比率可以为约0.0001到约1.5、或约0.001到约1.5、或约0.0001到约0.1。附加地或替代地，由结构化光源投射的点可以对应于照射像素与非照射像素在竖直和/或水平方向上的比率为约1.0或更小、或约0.5或更小、或约0.3或更小、或约0.2或更小。在一些方面，照射像素与未照射像素在垂直和/或水平方向上的比率可以为约0.01到约1.0、或约0.05到约0.5、或约0.05到约0.3。更一般地，由结构化光源投射的点可以对应于照射像素与非照射像素在适合于限定结构化光源的结构化光图像的性质的参考方向上的比率为约1.0或更小、或约0.5或更小、或约0.3或更小、或约0.2或更小。在该讨论中，由点照射的像素可以被称为覆盖点和/或与点相关联的像素。
注意，可以替代地将照射像素与非照射像素的比率转换为照射像素与总像素的比率。例如，照射像素与非照射像素的比率为约1.0或更小可以对应于照射像素与总像素的比率为约0.5或更小。还应当注意，在结构化光图像中投射的点的数目远小于相应视场中的像素的数目的方面，投射在结构化光图像中的点可以与多于一个像素重叠。
点检测
用于基于结构化光图像来确定反射率图的起点可以与检测结构化光图像中的点有关。这可以包括获取图像的二进制分割，以使得每个像素被分类为：(1)覆盖点，或者(2)不覆盖点。覆盖点的像素也可以称为与点相关联的像素。这还可以包括基于每个检测到的点的强度来确定强度廓型。点检测可以在任何方便的时间被执行，诸如在确定所捕获的结构化光图像的深度廓形/图之前、期间和/或之后(深度分布可以通过任何方便的方法来确定，诸如三角测量。)
关于检测像素处的点的存在(或不存在)，可以使用各种策略。一种选项可以是基于全局阈值来执行阈值运算。如果在像素处检测到的强度大于全局阈值，则认为该像素与点相关联。然而，由于针对某些类型的目标的点图案的返回强度的变化，用于点检测的简单阈值计算可能性能不佳。例如，具有低反射率的目标，距离光源较远距离的目标、和/或存在大量环境光的位置处的目标可能导致难以正确地确定像素是否与点相关联。另一选项可以是在阈值运算之前执行点图案的对比度归一化。例如，该对比度归一化可以通过以下方式来执行：计算平均和标准偏差图像，这些图像是通过计算以每个像素为中心的小块内的强度的平均和标准偏差来获取。然后可以从原始点图案图像中减去平均图像，并且可以通过将所得到的减影图像除以标准偏差图像来获取对比度归一化图像。另一种策略可以是对点图案图像运行显式圆检测器或局部最大检测器(例如，拉普拉斯算子)。
除了检测点并且确定与投射点相关联的像素之外，还可以确定强度廓型。这可以包括确定每个点的多个强度，诸如针对与点相关联的每个像素的至少一个强度。可以在多个位置采样/确定点的强度(诸如针对每个像素进行采样和/或针对每个像素内的多个位置进行采样)，而不是对点的单个点进行采样，从而使得跨点的强度的差异可以被考虑到。作为示例，由于跨点的距离的变化，以一定角度照射在表面上的点可能跨点具有变化的强度。如果仅获取点的强度的一个采样，则可以向点(以及与点相关联的所有像素)分配强度值，但是可能丢失大量的强度信息。
可以通过任何方便的方法来确定检测到的点的强度变化。结构化光图像的检测到的点的强度的组合可以对应于针对与结构化光图像相关联的场景或环境的部分强度廓型。
检测到的点的强度廓型的校正
在检测到点并且确定检测到的点的强度以产生初始的部分强度廓型之后，可以校正强度廓型以确定已校正强度廓型。在一些方面，可以部分基于与深度图相关联的校正来确定已校正强度廓型。
结构化光系统可以使用诸如激光等有源照射源。物理学中公知的现象是光强度随着距离的平方而衰减。这表示在1米处的点将是在2米处点的4倍。当生成纹理图时，返回信号强度随距离的这种变化可能是不期望的。例如，考虑尝试生成人脸的三维图。如上所述，观察到的点强度可以具有对距离的二次依赖。然而，对于面部的纹理映射，可能期望获取不依赖于距离的强度/反射率图，从而可以检测表面的反射率的任何潜在差异。可以通过利用结构化光系统的深度图来执行对反射率图的这种类型的校正以解决光衰减。该校正因子可以使用由结构化光响应测量的显式深度值来求解并且返回用于材料反射率的基础值(即，与距离无关)。
图2和3提供了如何应用这种类型的距离相关校正的示例。图2示出了作为距离的函数的来自表面的光的反射强度的变化的示例。(强度轴和距离轴两者都可以具有任意单位；距离依赖性曲线对于本文中关注的所有长度尺度具有相似的形状。)为了校正图2中所示的强度随着距离的下降，可以使用校正因子，诸如从类似于图3中所示的曲线的曲线中采样的校正因子。图3中轴的单位也可以是任意的，只要校正曲线的单位与强度的单位相当即可。将图2中的曲线乘以图3所示的曲线可以产生已校正强度值，其作为距离的函数基本上是恒定的。能够将强度值校正为与距离无关可以允许更容易地标识由于其他因素而引起的强度/反射率的变化。
在一些方面，除了上述距离校正之外，还可以通过考虑入射角来执行对检测到的点强度的更复杂的校正。例如，为了校正入射角的像素p，可以计算a)从相机的焦点到像素p的三维光线与b)在像素p的位置处的表面的法线之间的角度。然后可以通过将反射率(在任何其他校正之前、期间或之后)与入射角的余弦相乘来校正像素p的反射率。
在一些方面，还可以对检测到的点强度应用其他校正。附加的强度误差源的示例可以包括：照射强度的变化、镜头阴影的下降以及相机组件中使用的保护玻璃的光学损失。更一般地，可以被考虑/校正以便为检测到的点提供已校正强度廓型的误差源可以包括但不限于：由于用于为结构化光图像生成图案的光学元件的不均匀性而导致的强度差异；光学元件生成的“0阶”点的强度差异；由于不同入射角而引起的强度差异；由于不同的光程长度(即，距离)而引起的强度差异；由于用于检测强度的相机的保护玻璃而引起的变化，其可以包括抗反射涂层损耗和/或角度相关损耗；由于相机镜头而引起的强度损耗，包括在较高入射角下的光学损耗；和/或由于IR带通滤波器的存在而引起的带通滤波器损耗，包括在不同入射角处的损耗变化。
在对检测到的点应用上述校正强度中的一个或多个之后，可以获取已校正强度廓型。此时的已校正强度廓型可以对应于与结构化光图像中的检测到的点相关联的像素的已校正强度廓型。由于结构化光图像中的点的稀疏性，该已校正强度廓型可以表示针对环境或场景的一部分的廓形。
用于强度廓型的附加部分的计算的修补
在基于与检测到的点相关联的像素确定已校正强度廓型之后，可以计算已校正强度廓型的附加部分，使得可以向与检测到的点不相关的像素分配强度值。与检测到的点不直接相关的像素的强度值的这种类型的推断可以被称为像素的“修补(in-painting)”。已校正强度廓型的附加部分的计算可以提供组合的或总的已校正强度廓型。组合的或总的已校正强度廓型可以包括具有强度值能够允许使用组合的或总的已校正强度廓型作为反射率图的足够的像素密度。
可以使用各种方法来计算与检测到的点不相关的像素的强度值。注意，在该讨论中，与检测到的点相关联的像素也可以被称为“有效”像素，而与检测到的点不相关的像素可以被称为“无效”像素。
作为示例，用于计算与检测到的点不相关的像素(即，无效像素)的强度值的一种方法可以包括：在每个无效像素p周围居中或以其他方式构建窗口Wp。窗口Wp可以足够大，使得多个有效像素被包括在所构建的窗口的内部。确切的窗口大小可以取决于由结构化光源提供的参考点图案、相机分辨率(像素密度)和/或各种其他因素。取决于方面，场景或环境的窗口Wp内包括的有效像素的平均数目可以是至少5个有效像素、或者至少10个、或者至少20个、诸如最多约100个或更多，并且可能高达500或更多。对于每个无效像素p，可以计算Wp内的所有有效像素的中值反射率。像素p的反射率值可以被指定为该中值反射率。在一些方面，可以使用中值反射率来代替均值或平均反射率，以便考虑与窗口相关联的场景的基础部分中存在大的变化的情况，诸如由于基础场景中存在的不连续性而引起的变化。如果存在一些高(低)强度像素，则平均值可能明显高于(低于)窗口内大多数像素的强度值。中值滤波器可以在反射率图中反射率通常突然改变的对象边界处产生尖锐的不连续。其他过滤器(诸如均值过滤器)可能会倾向于使对象边界模糊。因此，选择中值可以减小或最小化在基础场景中的这种不连续处附近进行修补时的困难。
上述方法的可选改进可以是避免在深度不连续处混合反射率。例如，当计算Wp内的中值反射率时，可以从中值强度的计算中排除深度与中心(无效)像素p的深度基本上不同的有效像素。已经观察到，深度图中的不连续性通常在反射率图中具有相应的不连续性。例如，考虑深度图中的不连续性可以获得对对象边界的更好的描绘。又一选项可以是基于深度图来计算加权中值，其中基于像素p与窗口Wp内的相应有效像素之间的深度图中的深度值的相似性来分配权重。
图4、图5和图6提供了将结构化光图像转换为已校正的组合的或总的强度廓型的示例。图4、图5和图6是为便于说明而提供的示意图。例如，可以理解，图4和图5显示的点密度可以低于实际的结构化光图像所预期的点密度。
图4示意性地表示由相机捕获的结构化光图像。图4中的结构化光图像中的点可以因为与基于基础场景或环境的预期强度不直接相关的各种原因而具有强度变化。例如，图4中的中心点405可以具有比预期强的亮度，因为它是“0阶”衍射点。而且，在图4所示的假设示例中，由于用于生成点的衍射图案的光学元件的性质，随着沿着竖直轴线的距离增加，点的强度会降低。因此，行420和行430中的点可以具有比预期的依次更低的强度。图4中还使用虚线示出了两个对象470和471。对象470和471表示来自基础场景的对象，其中结构化光图像被投射到该基础场景上。在图4的假设的基础场景中，对象471的朝向表面成角度地远离图的平面。因此，点412和点413具有与图4中的其他点略微不同的形状分布。这可以导致例如点412和点413与其他位置的点相比与更多像素相关联。在图4中，元件490表示与点不相关的像素(或其他位置)。图4中的结构化光图像可以用于基于结构化光图像的预期参考图案的知识与观察到的结构化光图像相比较来确定深度图。应当注意，对象470和对象471仅用于说明，因为这些对象不是结构化光图像和/或任何随后确定的强度廓型的明确部分。
图5表示基于图4所示的深度图和结构化光图像而确定的已校正光强度廓型。在这个阶段，已校正光强度廓型可以与图4中与点相关联的像素大致相同的像素相关联。然而，图5中的已校正光廓形可以被校正以解决由于距离和/或由于结构化光系统的固有特性而引起的强度变化。因此，例如，图3中的中心点505的强度可以相对于图4中的中心点405被校正，以解决对于“0阶”衍射点预期的附加强度。类似地，在图5中基于与图4中的点412和点413的所捕获的点强度相关联的相应深度值来校正与点512和点513相关联的像素的强度。
图6示出了计算与点不相关的像素的强度的示例。如图4所示，像素490最初不与图4所示的任何点相关。可以在像素490周围绘制窗口685。如图6所示，窗口685包括与多个点(包括点611和点512)相关联的像素。可以基于窗口685内的有效像素(与点相关联)的中值来确定像素690的强度。注意，对象471在点611和点512之间具有对象边界。由于与点611和点512相关联的像素的深度图差异，像素490的中值强度值可以对应于加权中值强度值，其中与点611相关联的像素由于与来自深度图中的深度值类似而接收更高的权重。
图8示意性地表示结构化光源810和可以用于捕获结构化光图像的成像系统830。在图8所示的结构化光源的示例中，结构化光源810包括用于生成在期望波长(或可选地波长)处或附近的光的激光二极管812(或可选地一个或多个激光二极管812)，诸如单模激光二极管。然后，来自激光二极管812的光可以通过准直光学元件814以提供(基本上)准直光。准直光然后可以通过衍射光学元件816以生成与结构化光源图案相对应的光。
来自结构化光源810的光可以用于将结构化光源图案投射到视图或场景上以形成结构化光图像。视图或场景由表面820示意性地表示。然后可以由成像系统830捕获结构化光图像。在图8所示的示例中，成像系统830可以包括成像透镜832、一个或多个滤波器834(诸如IR带通滤波器)和传感器836。
图1示意性地表示适合于从结构化光图像确定反射率图和深度图的结构化光系统100的示例。图1所示的系统包括用于将结构化光图像投射到场景或环境上的结构化光源110。相机或成像系统120可以用于捕获投射的结构化光图像。然后可以通过一个或多个组件处理所捕获的结构化光图像，以便生成深度图和可以用作反射率图的已校正总强度廓型。图1所示的组件可以使用具有执行计算机可执行指令的相关存储器的处理单元来实现。更一般地，图1所示的组件可以使用硬件、固件和/或软件的任何方便组合来实现。为方便起见，图1中示出了多个单独的组件。但是应当理解，这些组件可以以任何方便的方式来组合和/或分开。这些组件可以包括深度图计算组件130、强度廓型确定组件140、廓形校正组件150和修补组件160。深度图计算组件130可以基于由成像系统120捕获的结构化光图像来确定深度图。强度廓型确定组件140可以检测由成像系统120捕获的结构化光图像中的点，并且然后确定与检测到的点相关联的像素的强度。廓形校正组件150可以基于来自强度廓型组件140的所确定的像素强度来提供已校正强度廓型。像素修补组件160可以使用已校正强度廓型来计算场景的另外部分中与检测到的点不相关联的像素的像素强度。基于由像素修补组件160生成的场景的附加部分的像素，可以通过反射率图生成器170生成组合强度廓型(包括已修补像素)，该组合强度廓形具有足够数目的像素，这些像素具有对应于和/或允许计算反射率图的指定强度。
另外，图1示出了附加处理组件，其用于基于由像素修补组件160生成的总的已校正强度廓型和/或由反射率图生成器170生成的反射率图来执行附加处理。附加处理组件180可以例如对应于纹理映射和渲染组件。来自这样的附加处理组件180的输出可以经由显示设备190被显示给用户。显示设备可以对应于传统的独立视频显示器、增强现实耳机(即，头戴式显示设备)、移动计算设备上的显示屏、与另一计算设备相关联的显示屏、和/或任何其他方便的显示设备。
在一些方面，本文中描述的系统和/或方法可以在由计算机或其他机器(诸如个人数据助理或其他手持设备)执行的计算机代码或机器可用指令(包括计算机可执行指令，诸如程序模块)的一般上下文中实现。通常，包括例程、程序、对象、组件、数据结构等在内的程序模块指代执行特定任务或实现特定抽象数据类型的代码。本发明可以在各种系统配置中实施，包括手持设备、消费电子产品、通用计算机、更专业的计算设备等。本发明还可以在分布式计算环境中实施，其中任务由通过通信网络而被链接的远程处理设备来被执行。
计算机存储介质包括以用于存储诸如计算机可读指令、数据结构、程序模块或其他数据等信息的任何方法或技术实现的易失性和非易失性、可移动和不可移动介质。计算机存储介质包括但不限于：RAM、ROM、EEPROM、闪存或其他存储器技术、CD-ROM、数字通用盘(DVD)或其他光盘存储器、磁带盒、磁带、磁盘存储器或其他磁存储设备、或者可以用于存储所需信息并且可以由计算设备访问的任何其他介质。存储器包括易失性和/或非易失性存储器形式的计算机存储介质。存储器可以是可移除的、不可移除的或其组合。示例性硬件设备包括固态存储器、硬盘驱动器、光盘驱动器等。
计算机存储介质排除信号本身。计算机存储介质与无形计算机可读介质形成对比，无形计算机可读介质对应于诸如载波和/或其他传输机制等调制数据信号。术语“调制数据信号”表示以在信号中对信息进行编码的方式设置或改变其一个或多个特征的信号。这些信号可以通过有线介质(例如，有线网络或直接有线连接)或无线介质(例如，声学、RF、红外和其他无线介质)来传输。
图7示出了适合于使用结构化光图像来形成深度图和反射率图的方法的示例。在图7所示的方法中，将包括多个点的结构化光图像投射(710)到场景上。然后可以捕获(720)结构化光图像。可选地，所捕获的结构化光图像可以包括比结构化光图像中的点大得多的数目的像素。例如，与点相关联的像素同与点不相关联的像素的比率可以是约1.0或更小。可以基于所捕获的结构化光图像来确定(730)深度图。还可以检测(740)多个点中的一个或多个点，诸如检测多个点中的基本上所有点。可以基于检测到的点来确定(750)第一已校正强度廓型。然后可以基于第一已校正强度廓型来计算(760)附加强度廓型。第一已校正强度廓型和附加强度廓型的组合可以对应于例如反射率图。
附加实施例
实施例1.一种用于获取场景的深度图和反射率图的方法，包括：将结构化光图像投射到场景上，投射的结构化光图像包括多个点；捕获场景的结构化光图像，所捕获的结构化光图像包括多个像素，与来自多个点中的点相关联的像素同与来自多个点中的点不相关联的像素的比率为约1.0或更小；基于所捕获的结构化光图像确定深度图；检测多个点中被投射到场景上的一个或多个点；基于所确定的深度图来确定针对与检测到的点相对应的所捕获的结构化光图像的一个或多个部分的第一已校正强度廓型；以及基于所确定的第一已校正强度廓型来计算针对所捕获的结构化光图像的至少一个附加部分的附加强度廓型，组合的第一已校正强度廓型和附加强度廓型包括反射率图。
实施例2.一种用于获取场景的深度图和反射率图的方法，包括：将结构化光图像投射到场景上；捕获场景的结构化光图像，所捕获的结构化光图像包括多个像素；基于所捕获的结构化光图像确定深度图；检测被投射到场景上的多个点，与检测到的点相关联的像素同与检测到的点不相关的像素在竖直方向和水平方向中的至少一个方向上的比率为约0.5或更小；基于所确定的深度图来确定与检测到的点相对应的所捕获的结构化光图像的一个或多个部分的第一已校正强度廓型；基于所确定的第一已校正强度廓型来计算针对所捕获的结构化光图像的至少一个附加部分的附加强度廓型，组合的第一已校正强度廓型和附加强度廓型包括反射率图。
实施例3.根据实施例1或2的方法，其中检测多个点中被投射到场景上的一个或多个点还包括：标识与检测到的每个点相关联的一个或多个像素；以及确定针对所标识的一个或多个像素的至少一个强度。
实施例4.根据上述实施例中任一项的方法，其中与来自多个点中的点相关联的像素同与来自多个点中的点不相关的像素的比率为约0.1或更小；或者其中与多个点中的点相关联的像素同与多个点中的点不相关联的像素的比率为约0.0001到约0.1。
实施例5.根据上述实施例中任一项的方法，其中深度图是通过三角测量来确定的，可选地，三角测量是基于a)用于捕获结构化光图像的成像系统与用于投射结构化光图像的结构化光源之间的距离，以及b)用于结构化光图像的参考图案来执行的。
实施例6.根据上述实施例中任一项的方法，其中已校正强度廓型包括基于以下而被校正的强度廓型：所投射的结构化光图像在目标上的距离、入射角或其组合。
实施例7.根据上述实施例中任一项的方法，其中计算附加强度廓型包括：在与检测到的点不相关联的像素附近构建窗口，所构建的窗口的内部包括与检测到的点相关联的多个像素；以及基于与所构建的窗口的内部的检测到的点相关联的多个像素的中值强度值来计算针对与检测到的点不相关联的像素的强度。
实施例8.根据实施例7的方法，其中中值强度值包括加权中值强度值，加权至少部分地基于所确定的深度图。
实施例9.根据实施例7或8的方法，还包括：在计算针对与检测到的点不相关联的像素的强度期间，排除与所构建的窗口的内部中的检测到的点相关联的一个或多个像素，所排除的像素是基于所排除的像素同与检测到的点不相关联的像素之间的深度图值的差异来被排除的。
实施例10.一种用于确定深度图和反射率图的系统，包括：结构化光源，由结构化光源投射的结构化光图像包括多个点；成像系统，用于捕获结构化光图像，所捕获的结构化光图像包括多个像素，与来自多个点中的点相关联的像素同与来自多个点中的点不相关联的像素的比率为约1.0或更小，成像系统可选地包括相机；深度图计算组件，用于基于所捕获的结构化光图像确定深度图；强度廓型确定组件，用于检测多个点并且基于检测到的点来确定强度廓型；分布校正组件，用于基于所确定的强度廓型和深度图来确定已校正强度廓型；以及像素修补组件，用于计算与检测到的点不相关联的一个或多个像素的附加强度廓型，已校正强度廓型和附加强度廓型包括反射率图。
实施例11.根据实施例10的系统，其中与检测到的点相关联的像素同与检测到的点不相关联的像素在竖直方向、水平方向或两者上的比率为约0.5或更小。
实施例12.根据实施例10或11的系统，其中分布校正组件基于所投射的结构化光图像在目标上的距离、入射角或其组合来确定强度廓型校正。
实施例13.根据实施例10至12中任一项的系统，其中结构化光源包括光学元件，结构化光图像包括基于光学元件的参考图案。
当本文中列出数值下限和数值上限时，涵盖从任何下限到任何上限的范围。虽然已经具体描述了本发明的说明性实施例，但是应当理解，在不脱离本发明的精神和范围的情况下，本领域技术人员可以明白并且可以容易地进行各种其他修改。因此，并不表示所附权利要求的范围限于本文中阐述的示例和描述，而是权利要求被解释为包含驻留在本发明中的可专利新颖性的所有特征，包括被本发明所属领域的技术人员视为其等同物的所有特征。
上面已经参考很多实施例和具体示例描述了本发明。鉴于以上详细描述，本领域技术人员将会想到很多变化。所有这些明显的变化都在所附权利要求的全部预期范围内。

Claims (15)

1.一种用于获取场景的深度图和反射率图的方法，包括：
将结构化光图像投射到场景上，所投射的所述结构化光图像包括多个点；
捕获场景的结构化光图像，所捕获的所述结构化光图像包括多个像素，与来自所述多个点中的点相关联的像素同与来自所述多个点中的点不相关联的像素的比率为约1.0或更小；
基于所捕获的所述结构化光图像来确定深度图；
检测所述多个点中被投射到所述场景上的一个或多个点；
基于所确定的所述深度图来确定针对与检测到的所述点相对应的所捕获的所述结构化光图像的一个或多个部分的第一已校正强度廓型；以及
基于所确定的所述第一已校正强度廓型来计算针对所捕获的所述结构化光图像的至少一个附加部分的附加强度廓型，经组合的所述第一已校正强度廓型和所述附加强度廓型包括反射率图，
其中与来自所述多个点中的点相关联的像素同与所述多个点中的点不相关联的像素的比率为约1.0或更小，或者其中与检测到的点相关联的像素同与检测到的点不相关联的像素在竖直方向和水平方向中的至少一项上的比率为约0.5或更小。
2.根据权利要求1所述的方法，其中检测所述多个点中被投射到所述场景上的一个或多个点还包括：标识与检测到的每个点相关联的一个或多个像素；以及确定针对所标识的所述一个或多个像素的至少一个强度。
3.根据权利要求1所述的方法，其中与来自所述多个点中的点相关联的像素同与来自所述多个点中的点不相关联的像素的所述比率为约0.1或更小；或者其中与来自所述多个点中的点相关联的像素同与来自所述多个点中的点不相关联的像素的所述比率为约0.0001到约0.1。
4.根据权利要求1所述的方法，其中所述深度图通过三角测量而被确定。
5.根据权利要求4所述的方法，其中所述三角测量基于以下而被执行：a)用于捕获所述结构化光图像的成像系统与用于投射所述结构化光图像的结构化光源之间的距离，以及b)用于所述结构化光图像的参考图案。
6.根据权利要求1所述的方法，其中所述已校正强度廓型包括基于以下而被校正的强度廓型：所投射的所述结构化光图像在目标上的距离、入射角或其组合。
7.根据权利要求1所述的方法，其中计算附加强度廓型包括：在与检测到的点不相关联的像素附近构建窗口，所构建的所述窗口的内部包括与检测到的点相关联的多个像素；以及基于与所构建的所述窗口的所述内部的检测到的点相关联的所述多个像素的中值强度值来计算针对与检测到的点不相关联的所述像素的强度。
8.根据权利要求7所述的方法，其中所述中值强度值包括加权中值强度值，所述加权至少部分地基于所确定的所述深度图。
9.根据权利要求7所述的方法，还包括：在计算针对与检测到的点不相关联的所述像素的强度期间，排除与所构建的所述窗口的所述内部中的检测到的点相关联的一个或多个像素，所排除的所述像素基于所排除的所述像素同与检测到的点不相关联的所述像素之间的深度图值的差异而被排除。
10.一种用于确定深度图和反射率图的系统，包括：
结构化光源，由所述结构化光源投射的结构化光图像包括多个点；
成像系统，所述成像系统用于捕获所述结构化光图像，所捕获的所述结构化光图像包括多个像素，与来自所述多个点中的点相关联的像素同与来自所述多个点中的点不相关联的像素的比率为约1.0或更小；
深度图计算组件，所述深度图计算组件用于基于所捕获的所述结构化光图像来确定深度图；
强度廓型确定组件，所述强度廓型确定组件用于检测所述多个点并且基于检测到的所述点来确定强度廓型；
廓型校正组件，所述廓型校正组件用于基于所确定的所述强度廓型和所述深度图来确定已校正强度廓型；以及
像素修补组件，所述像素修补组件用于计算针对与检测到的点不相关联的一个或多个像素的附加强度廓型，所述已校正强度廓型和所述附加强度廓型包括反射率图。
11.根据权利要求10所述的系统，其中与检测到的点相关联的像素同与检测到的点不相关联的像素在竖直方向、水平方向或两者上的比率为约0.5或更小。
12.根据权利要求10所述的系统，其中所述廓型校正组件基于所投射的所述结构化光图像在目标上的距离、入射角或其组合来确定强度廓型校正。
13.根据权利要求10所述的系统，其中所述结构化光源包括光学元件，所述结构化光图像包括基于所述光学元件的参考图案。
14.根据权利要求10所述的系统，其中所述成像系统包括相机。
15.根据权利要求10所述的系统，还包括反射率图生成器，所述反射率图生成器用于组合所述已校正强度廓型和所述附加强度廓型。
CN201780046129.8A 2016-07-27 2017-07-20 基于点的结构化光系统的反射率图估计 Active CN109477710B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US15/221,467 US9947099B2 (en) 2016-07-27 2016-07-27 Reflectivity map estimate from dot based structured light systems
US15/221,467 2016-07-27
PCT/US2017/042952 WO2018022386A1 (en) 2016-07-27 2017-07-20 Reflectivity map estimate from dot based structured light systems

Publications (2)

Publication Number Publication Date
CN109477710A true CN109477710A (zh) 2019-03-15
CN109477710B CN109477710B (zh) 2021-01-29

Family

ID=59684017

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201780046129.8A Active CN109477710B (zh) 2016-07-27 2017-07-20 基于点的结构化光系统的反射率图估计

Country Status (4)

Country Link
US (1) US9947099B2 (zh)
EP (1) EP3491332B1 (zh)
CN (1) CN109477710B (zh)
WO (1) WO2018022386A1 (zh)

Families Citing this family (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6290512B2 (ja) * 2015-06-09 2018-03-07 富士フイルム株式会社 距離画像取得装置及び距離画像取得方法
US10021372B2 (en) * 2016-09-16 2018-07-10 Qualcomm Incorporated Systems and methods for improved depth sensing
US10430647B2 (en) * 2017-01-13 2019-10-01 Microsoft Licensing Technology, LLC Tailored illumination profile for articulated hand tracking
EP3351899B1 (en) * 2017-01-24 2020-06-17 Leica Geosystems AG Method and device for inpainting of colourised three-dimensional point clouds
US10909650B2 (en) 2017-06-23 2021-02-02 Cloud 9 Perception, LP System and method for sensing and computing of perceptual data in industrial environments
TWI647661B (zh) * 2017-08-10 2019-01-11 緯創資通股份有限公司 影像深度感測方法與影像深度感測裝置
US10613228B2 (en) 2017-09-08 2020-04-07 Microsoft Techology Licensing, Llc Time-of-flight augmented structured light range-sensor
US10663567B2 (en) * 2018-05-04 2020-05-26 Microsoft Technology Licensing, Llc Field calibration of a structured light range-sensor
US20190349569A1 (en) * 2018-05-10 2019-11-14 Samsung Electronics Co., Ltd. High-sensitivity low-power camera system for 3d structured light application
US10922829B2 (en) * 2018-06-06 2021-02-16 Qualcomm Incorporated Zero order light removal in active sensing systems
KR102545980B1 (ko) 2018-07-19 2023-06-21 액티브 서지컬, 인크. 자동화된 수술 로봇을 위한 비전 시스템에서 깊이의 다중 모달 감지를 위한 시스템 및 방법
CN113574406A (zh) 2019-03-15 2021-10-29 特里纳米克斯股份有限公司 用于识别至少一种材料特性的检测器
JP2022526626A (ja) 2019-04-08 2022-05-25 アクティブ サージカル， インコーポレイテッド 医療撮像のためのシステムおよび方法
CN114599263A (zh) 2019-08-21 2022-06-07 艾科缇弗外科公司 用于医疗成像的系统和方法
US20220290976A1 (en) * 2019-09-04 2022-09-15 ams Sensors Singapore Pte. Ltd Designing and constructing dot projectors for three-dimensional sensor modules
CN111951376B (zh) * 2020-07-28 2023-04-07 中国科学院深圳先进技术研究院 融合结构光和光度学的三维对象重建方法及终端设备
EP4392932A1 (en) * 2021-08-23 2024-07-03 trinamiX GmbH Shape-from-shading
US11922606B2 (en) 2021-10-04 2024-03-05 Samsung Electronics Co., Ltd. Multipass interference correction and material recognition based on patterned illumination without frame rate loss
WO2023058839A1 (en) * 2021-10-04 2023-04-13 Samsung Electronics Co., Ltd. Multipass interference correction and material recognition based on patterned illumination without frame rate loss
WO2023139254A1 (en) * 2022-01-24 2023-07-27 Trinamix Gmbh Enhanced material detection by stereo beam profile analysis

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6950104B1 (en) * 2000-08-30 2005-09-27 Microsoft Corporation Methods and systems for animating facial features, and methods and systems for expression transformation
WO2008120217A2 (en) * 2007-04-02 2008-10-09 Prime Sense Ltd. Depth mapping using projected patterns
CN102385237A (zh) * 2010-09-08 2012-03-21 微软公司 基于结构化光和立体视觉的深度相机
CN104798271A (zh) * 2012-11-29 2015-07-22 皇家飞利浦有限公司 用于向场景上投射结构化光图案的激光设备
US20150379369A1 (en) * 2014-06-30 2015-12-31 Microsoft Technology Licensing, Llc Color identification using infrared imaging

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6014500A (en) 1998-06-01 2000-01-11 Xerox Corporation Stochastic halftoning screening method
CN101288105B (zh) 2005-10-11 2016-05-25 苹果公司 用于物体重现的方法和系统
US8773514B2 (en) 2009-08-27 2014-07-08 California Institute Of Technology Accurate 3D object reconstruction using a handheld device with a projected light pattern
US8760499B2 (en) * 2011-04-29 2014-06-24 Austin Russell Three-dimensional imager and projection device
US9098908B2 (en) * 2011-10-21 2015-08-04 Microsoft Technology Licensing, Llc Generating a depth map
US9148637B2 (en) 2011-11-04 2015-09-29 Microsoft Technology Licensing, Llc Face detection and tracking
US9007438B2 (en) 2012-05-21 2015-04-14 Xerox Corporation 3D imaging using structured light for accurate vehicle occupancy detection
US8805057B2 (en) 2012-07-31 2014-08-12 Mitsubishi Electric Research Laboratories, Inc. Method and system for generating structured light with spatio-temporal patterns for 3D scene reconstruction
DE102013200657B4 (de) 2013-01-17 2015-11-26 Sypro Optics Gmbh Vorrichtung zur Erzeugung eines optischen Punktmusters
US20140241612A1 (en) 2013-02-23 2014-08-28 Microsoft Corporation Real time stereo matching
US20140267611A1 (en) 2013-03-14 2014-09-18 Microsoft Corporation Runtime engine for analyzing user motion in 3d images
US10089739B2 (en) 2013-06-28 2018-10-02 Texas Instruments Incorporated Structured light depth imaging under various lighting conditions
US10061028B2 (en) 2013-09-05 2018-08-28 Texas Instruments Incorporated Time-of-flight (TOF) assisted structured light imaging
EP2869023B1 (en) 2013-10-30 2018-06-13 Canon Kabushiki Kaisha Image processing apparatus, image processing method and corresponding computer program
US9817159B2 (en) * 2015-01-31 2017-11-14 Microsoft Technology Licensing, Llc Structured light pattern generation
US9897698B2 (en) * 2015-02-23 2018-02-20 Mitsubishi Electric Research Laboratories, Inc. Intensity-based depth sensing system and method
US9947098B2 (en) 2015-05-13 2018-04-17 Facebook, Inc. Augmenting a depth map representation with a reflectivity map representation

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6950104B1 (en) * 2000-08-30 2005-09-27 Microsoft Corporation Methods and systems for animating facial features, and methods and systems for expression transformation
WO2008120217A2 (en) * 2007-04-02 2008-10-09 Prime Sense Ltd. Depth mapping using projected patterns
CN102385237A (zh) * 2010-09-08 2012-03-21 微软公司 基于结构化光和立体视觉的深度相机
CN102385237B (zh) * 2010-09-08 2015-09-16 微软技术许可有限责任公司 基于结构化光和立体视觉的深度相机
CN104798271A (zh) * 2012-11-29 2015-07-22 皇家飞利浦有限公司 用于向场景上投射结构化光图案的激光设备
US20150379369A1 (en) * 2014-06-30 2015-12-31 Microsoft Technology Licensing, Llc Color identification using infrared imaging

Also Published As

Publication number Publication date
CN109477710B (zh) 2021-01-29
WO2018022386A1 (en) 2018-02-01
US20180033146A1 (en) 2018-02-01
EP3491332B1 (en) 2021-11-10
EP3491332A1 (en) 2019-06-05
US9947099B2 (en) 2018-04-17

Similar Documents

Publication Publication Date Title
CN109477710A (zh) 基于点的结构化光系统的反射率图估计
Koch et al. Evaluation of cnn-based single-image depth estimation methods
US20170059305A1 (en) Active illumination for enhanced depth map generation
Zennaro et al. Performance evaluation of the 1st and 2nd generation Kinect for multimedia applications
US11763518B2 (en) Method and system for generating a three-dimensional image of an object
EP3293698B1 (en) Time-of-flight measuring apparatus and image processing method for reducing blur of depth image therein
CN104284119B (zh) 在对象的预定义部分上投影图像的设备、系统和方法
Landau et al. Simulating kinect infrared and depth images
KR102561099B1 (ko) ToF(time of flight) 촬영 장치 및 다중 반사에 의한 깊이 왜곡 저감 방법
JP5133626B2 (ja) 表面反射特性測定装置
EP2881702A1 (en) Image processing system, and image processing method
CN107623814A (zh) 拍摄图像的敏感信息屏蔽方法和装置
CN107707835A (zh) 图像处理方法及装置、电子装置和计算机可读存储介质
CN107517346A (zh) 基于结构光的拍照方法、装置及移动设备
US20120162370A1 (en) Apparatus and method for generating depth image
KR101399274B1 (ko) 다중 패턴 빔을 이용하는 3차원 촬영 장치 및 방법
Islam et al. Interference mitigation technique for Time-of-Flight (ToF) camera
CN113074667B (zh) 基于标志点的全局绝对相位对齐方法、存储介质和系统
CN108475434A (zh) 基于阴影分析确定场景中辐射源特性的方法和系统
JP6591332B2 (ja) 放射線強度分布測定システム及び方法
CN116520348A (zh) 基于调制光场的深度成像系统、方法、设备及介质
CN107623824B (zh) 背景图像处理方法、装置和电子设备
US20220329716A1 (en) Method for determining one or more groups of exposure settings to use in a 3d image acquisition process
US20210116584A1 (en) Method for tracking the position of an irradiating source
US20200234458A1 (en) Apparatus and method for encoding in structured depth camera system

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant