CN107408204A - 使用图案化光提供深度图的方法和系统 - Google Patents

使用图案化光提供深度图的方法和系统 Download PDF

Info

Publication number
CN107408204A
CN107408204A CN201680013804.2A CN201680013804A CN107408204A CN 107408204 A CN107408204 A CN 107408204A CN 201680013804 A CN201680013804 A CN 201680013804A CN 107408204 A CN107408204 A CN 107408204A
Authority
CN
China
Prior art keywords
edge
depth map
depth
further comprise
axis
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201680013804.2A
Other languages
English (en)
Other versions
CN107408204B (zh
Inventor
尼韦·坎托尔
纳达夫·格罗辛格
尼他耶·罗马诺
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Meta Platforms Technologies LLC
Original Assignee
Facebook Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Facebook Inc filed Critical Facebook Inc
Publication of CN107408204A publication Critical patent/CN107408204A/zh
Application granted granted Critical
Publication of CN107408204B publication Critical patent/CN107408204B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/77—Retouching; Inpainting; Scratch removal
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/12—Edge-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/521—Depth or shape recovery from laser ranging, e.g. using interferometry; from the projection of structured light
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/64—Three-dimensional objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/107—Static hand or arm
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/12—Acquisition of 3D measurements of objects

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Optics & Photonics (AREA)
  • Human Computer Interaction (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Image Analysis (AREA)

Abstract

本文提供了一种用于在图案化光分析中估计边缘数据的方法和系统。方法可包括：获取基于包括条纹的图案的结构光分析生成的对象的原始深度图；考虑到对象的边缘确定原始深度图的z轴值不准确的部分；基于深度图的相邻部分来检测与所确定的部分相关联的对象的几何特征；并且基于检测对象的几何特征来估计沿对象的边缘缺失的z轴数据。

Description

使用图案化光提供深度图的方法和系统
技术领域
本发明总体涉及结构光，并且更具体地，涉及改善经由结构光投影获得的深度图数据。
背景技术
在阐述本发明的背景之前，阐述将在下文中使用的某些术语的定义可能是有帮助的。
本文所用的术语“结构光”定义为将已知图案的像素投影到场景的处理。当打击表面时这些变形的方式允许视觉系统计算场景中物体的深度和表面信息。不可见的结构光使用不会干扰投影图案会对其造成困惑的其他计算机视觉任务的结构光。
这里使用的术语‘深度图’被定义为包含与从观察点的场景对象的表面的距离有关的信息的图像。深度图可以是以利用z轴数据连接所有点的网格的形式。
这里使用的术语“图像分割”或“分割”定义为将数字图像分成多个段(像素集)的处理。分割的目的是简化图像的表示和/或将图像的表示变为更有意义和更容易分析的事物。图像分割通常用于定位图像中的对象和边界(线、曲线等)，也称为“边缘”。
通过结构光分析生成对象的深度图的挑战之一是沿着结合该对象的分割处理确定的对象的边缘得出完整的Z轴数据。在基于条纹或线图案的结构光分析中，由于条纹之间的间隙，特别是对象边缘与这些间隙中的一些对准的情况，该挑战会加剧。
发明内容
根据本发明的一些实施方式，本文提供了一种估计沿着通过结构光分析得出的深度图的边缘的缺失的z轴数据的方法。该方法基于使用与对象和子对象的几何特征相关联的数据，以估计缺失的z轴数据。例如，当对象是手部(对象)，并且丢失的数据是沿着指尖边缘的点的z轴数据时，指头(子对象)具有圆柱形性质的事实可以是有益的。在一些实施方式中，一旦几何特征被识别，则使用相应的模板来重建缺失的z轴数据。
在一些实施方式中，基于原始图案化光(确切的顺序并不重要)获得并分割深度图。一旦检测到对象的边缘，通常基于2D图像和降低图案化光的强度，执行边缘附近的深度图的部分的分析。该分析结果确定与边缘附近对应的对象的部分的几何特征。确定的几何特征映射到对曲线拟合函数造成约束的许多预定模板中的一个，曲线拟合函数接收相邻点的现有z轴值以便估计沿边缘定位的所需点的z轴值。
在一些实施方式中，沿着边缘附加的z轴值用于补充深度图的网格。
本发明的实施方式的这些附加的和/或其他方面和/或优势在随后的详细说明中阐述；其可能从详细说明中推断；和/或可通过本发明的实施方式的实践来习得。
附图说明
为了更好地理解本发明的实施方式并且示出如何实施本发明，现在将仅作为示例参考附图，其中相同的标号始终指示相应的元件或部分。
在附图中：
图1是示出根据本发明的实施方式的由水平条纹光图案照亮的对象的图；
图2是示出了根据本发明的实施方式的若干方面的网格图；
图3是示出了根据本发明的一些实施方式的方面的截面图；
图4是示出了根据本发明的一些实施方式的系统的框图；
图5是示出了根据本发明的一些实施方式的方面的截面图；
图6是示出了根据本发明的实施方式的系统的若干方面的框图；并且
图7是示出了根据本发明的实施方式的方面的网格图；
图8是示出了根据本发明的实施方式的方面的曲线图；
图9是示出了根据本发明的实施方式的另一方面的曲线图；
图10是示出根据本发明的实施方式的非限制性示例性方法的步骤的高级流程图；以及
图11A-11C是示出根据本发明的实施方式的方面的示例性颜色深度图。
具体实施方式
现在具体参考详细附图，应强调的是，所示的特例是示例性方式的，并且仅为了本技术的优选实施方式的说明性讨论的目的，并且为了提供被确信为本技术的原理和概念性方面的最实用和易于理解的说明而呈现。鉴于此，没有试图以比基本理解本技术更详细的方式显示本发明的结构细节，且参照附图的说明使本领域的技术人员清楚在实际中可以如何实施本发明的多个形式。
在详细说明本技术的至少一个实施方式之前，应理解，本发明不限于将其应用于以下描述中所阐述的或在附图中示出的部件的构造和布置的细节。本技术可适用于其他实施方式或者以各种方式实践或者实施。同样，应理解，本文中采用的措词和术语是为了描述的目的且不应被认为是限制。
图1是示出根据本发明的实施方式的由水平条纹(或者线)光图案照亮的对象的图。手部10由诸如11、12、13和14的条纹覆盖，对条纹的反射进行测量和分析以产生深度图。可以看出，由于条纹之间的间隙，诸如15和16的一些指尖未被光图案覆盖，至少没有在指尖边缘附近的任何地方覆盖。
根据示例性实施方式，传感器(这里未示出)可以以一定的Y轴距离定位，例如在将条纹图案投影在手部和背景(例如，手部所在的桌子表面、墙壁等)上的发射器附近。选择传感器的位置，以便在照相机、光投影仪和从用户的手部和背景反射回的光之间产生三角测量效果。
三角测量效果导致沿着条纹的点处的图案的不连续性，与利用光图案投影的对象具有显着的深度偏移。不连续部分将条纹分割(即，划分)成两个或多个条段，例如位于手部上的部分、位于手部左侧的部分和位于手部右侧的部分。
这种深度偏移产生的条段可以位于用户的手部的手掌或手指的轮廓上，其位于照相机和用户的身体之间。也就是说，用户的手指或手掌将条纹分割成两个或多个条段。一旦检测到这种条段，便于沿着条段至条段的端部。
因此，该设备可以分析二维视频数据，以产生条段的集群。例如，设备可以通过手部的手指在光图案中识别由条纹分割所产生的一个或多个条段的集群，例如从手部的中指反射的四个部分的集群。因此，设备通过跟踪通过手指对条纹进行分段而产生的条段的集群或通过跟踪至少一个集群的部分来跟踪手指的移动。
通过由数字分割(即划分)条纹而产生的条段的群集包括在X轴上具有重叠的条段。可选地，群集中的条段还具有类似的长度(从指头厚度得出)或在Y轴坐标中相对邻近。
在X轴上，对于在X-Y平面上直线定位的手指，这些部分可以完全重叠，或者对于对角定位的手指，局部重叠。可选地，设备进一步识别手指的深度移动，例如通过检测跟踪的群集中的部分的数量的变化。例如，如果用户伸展用户的中指，则手指与发光器和照相机的平面(X-Y平面)之间的角度会发生变化。因此，群集的部分的数目从四个减少至三个。
可选地，设备进一步在光图案中识别通过手部的手掌对条纹进行分割而产生的一个或多个条段的一个或多个群集。
通过手掌对条纹进行分割而产生的条段的群集包括在X轴上与用户手部的指头的条段群集重叠的上条段。上条段在X轴上与四个指头群集重叠，但不超过四个指头群集的底部段的最小和最大X值。
通过手掌对条纹进行分割而产生的条段的群集进一步包括在段的正下方，与条段显著重叠的几条条段。通过手掌对条纹进行分割而产生的条段的群集进一步包括延伸到用户的拇指的条段群集的底部的较长条段。应理解的是，手指和手掌群集的方向可能因特定的手部位置和旋转而不同。
图2示出了通过图1所示的手部的结构光分析得到的网格20形式的深度图。可以看出，由于在诸如拇指和中指的某些指头的指尖的边缘附近缺失光图案，这些部分中的z轴数据不准确或不完整。因此，由具有不正确的z轴数据的点生成的网格将不能很好地表示对象的对应部分。例如，放大插图21中示出的一个不良效果是由于对象的边缘的数据不足引起的锥形指尖。放大插图22中示出的另一不良效果是由指尖边缘附近缺失z轴数据引起的“切口”指尖。放大插图23中所示的又一个不良效果是得出不准确的z轴数据并且网格基于其上的变形指尖(通常出现在拇指上)。
图3示出了沿着图2中示出的网格的中指并且具体地沿着截面A-A'的深度数据的横截面。如所示，得出覆盖有光图案的部分的深度数据30。然而，除了点33朝向A'之外，不能直接得出数据，因为其周围没有光图案。范围36示出了边缘点35A-35C的z值可以与之相关联的自由度。若干实例是35A-35C，每个具有相关联的相应估计网格37A-37D，一些显然是不准确的。
图4是示出根据本发明的可以从图案是垂直条纹的结构光分析得出的深度的图。在此，图示了不同的不良效果。手部在这里被用作图案化光的垂直线覆盖。由于诸如线41A、41B及其他的相邻线未与对应的相邻指头的边界对准的事实，数据的深度分析可能忽略了至少在42A中示出的其部分中的指头之间的间隙，并且指头之间的边缘可能错误地彼此连接形成“鸭”形手部。在图5中的B至B'的横截面中示出了可能看起来像指头之间的过多皮肤42A、42B、42C的这种不良效果，其中横截面50中示出的所有三个指头具有相同z轴值的共同平面，其中，真正的指头线50A实际上是分离的。
图6是示出了根据本发明的实施方式的系统的若干方面的框图。系统600可包括图案照明器620，其被配置为例如用线图案来照亮对象10。捕获设备630被配置为接收由计算机处理器610分析以产生深度图的反射。
生成的深度图沿着其图案外(off-pattern)边缘和其它图案外部分的一些显示出不准确或不完整的z轴数据。为了解决这个问题，计算机处理器210被配置为确定由于邻近对象的边缘而缺失z轴值或z轴值不正确的深度图部分。然后，计算机处理器基于相邻部分是网格的邻近具有深度图的z数据缺失或不正确的点的部分，继续检测与所确定的深度图部分相关联的对象的几何特征。几何特征与对象表面的结构有关。
在一些实施方式中，计算机处理器610被配置为基于检测到的几何特征来选择模板功能640，并且基于对应的深度图部分的局部几何特征对所选择的模板应用约束。这产生了基于几何特征(例如指头的圆柱形状)的类型并且还基于从深度图的具有有效z轴数据的部分局部得出的特定数据调整的拟合函数。
图7是示出了根据本发明的实施方式的方面的网格图700。沿着向量v(x,y)移动，边缘点730-735可以检测为光强度降低到低于预定阈值，如图8所示，图8示出了作为沿着向量v(x，y)前进的函数的从图案外对象部分反射的光强度。
一旦处理器610检测到x-y平面边缘730-735，计算机处理器然后基于所选择的模板及其对应的约束和检测到的边缘来应用曲线拟合函数。这在图9的曲线图中示出，其中，点724-727取自深度图，并且已基于现有数据和曲线拟合函数外推(extrapolate)了点730-728的值。
最后，在估计边缘点731-735的所有z轴数据之后，可以基于得出的边缘的z轴数据来完成深度图。
图10是示出根据本发明的实施方式的非限制性示例性方法1000的步骤的流程图。方法1000可包括：获取基于包括例如条纹(也可以使用其他图案)的图案的结构光分析生成的对象的深度图1010；考虑到对象的边缘，确定深度图的z轴值不准确或不完整的部分1020；基于深度图的线的边缘来检测与所确定的部分相关联的对象的几何特征1030；基于所检测的几何特征选择模板功能1040；基于对应部分的局部几何特征对所选择的模板应用约束1050；基于从对象的图案外区域反射的强度来检测对应部分的x-y平面边缘点1060；基于所选择的具有其对应的约束的模板和检测的边缘点执行曲线拟合，以得出边缘点的x轴值1070；通过外推该部分的点，将边缘点z轴值应用于拟合的曲线，以估计边缘点与原始深度图之间的额外点的z轴值1080；并且基于边缘点和边缘与原始深度图之间的额外点的得出的z轴值来完成原始深度图1090。
图11A-11C是示出根据本发明的实施方式的方面的示例性颜色深度图。这里示出了一些上面讨论的不良效果，例如切断指头和隐藏拇指。
在上述说明中，实施方式是本发明的实例或者实现。“一个实施方式”、“实施方式”或“一些实施方式”的各种外观不一定都指代相同的实施方式。
尽管可以在单个实施方式的上下文中描述本发明的各种特征，但是也可以单独地或以任何合适的组合提供特征。相反地，尽管为了清楚起见在本文中可以在单独的实施方式的上下文中描述本发明，但是本发明也可以在单个实施方式中实现。
说明书中对“一些实施方式”、“实施方式”、“一个实施方式”或“其他实施方式”的引用意味着结合实施方式描述的特定特征、结构或特性包括在本发明的至少一些实施方式(但不必是本发明的所有实施方式)中。
应当理解，本文采用的措辞和术语不应解释为限制性的并且仅用于描述的目的。
参考所附说明、图形和实例可以更好地理解本发明的教导的原理和用途。
应当理解，本文阐述的细节不解释为对本发明的申请的限制。
此外，应当理解，本发明可以以各种方式实施或实践，并且本发明可以在除了上述描述中所概述的实施方式之外的实施方式中实现。
应当理解，术语“包括”、“包含”、“由...组成”和其语法变体不排除添加一个或多个组件、特征、步骤或整体或其组合，并且术语将是被解释为指定组件、特征、步骤或整数。
如果说明书或权利要求涉及“附加”元件，则不排除存在多于一个附加元件。
应当理解，如果权利要求或说明书是指“一个(a)”或“一个(an)”元件，则这样的引用不应被解释为仅存在该元件中的一个。
应当理解，在说明书中声明“可以(may)”、“可能(might)”、“可以(can)”或“可以(could)”包括组件、特征、结构或特性的情况下，不需要包括特定组件、特征、结构或特性。
在适用的情况下，尽管可以使用状态图、流程图或二者来描述实施方式，但是本发明不限于这些图或对应的描述。例如，流程不需要通过每个所示的方框或状态，或者以与图示和描述完全相同的顺序。
本发明的方法可以通过手动、自动或其选择的步骤或任务的执行或完成来实现。
权利要求和说明书中呈现的描述、实例、方法和材料不应解释为限制性的，而是仅为说明性的。
除非另有定义，本文所用技术和科学术语的含义通常如本发明所属领域的普通技术人员理解的。
本发明可以在与本文所述的方法和材料相当或类似的方法和材料的测试或实践中实现。
尽管针对有限数量的实施方式描述了本发明，但这些实施方式不应理解为对本发明的范围的限制，而是作为一些优选实施方式的范例。其他可行的变化、变形和应用也存在于本发明范围内。因此，本发明的范围不应被至此所描述的内容所限定，而是受所附权利要求和它们的法律等同物来限定。

Claims (6)

1.一种方法，包括：
获取基于包括条纹的图案的结构光分析生成的对象的深度图；
考虑到所述对象的边缘，确定所述深度图的z轴值不准确或不完整的部分；
基于所述深度图的边缘，检测与所确定的部分相关联的所述对象的几何特征；并且
基于所述对象的所检测的几何特征，估计沿所述对象的边缘的z轴数据。
2.根据权利要求1所述的方法，进一步包括：基于所检测的几何特征选择模板功能；并且基于对应的深度图部分的局部几何特征对所选择的模板应用约束。
3.根据权利要求2所述的方法，进一步包括基于从图案外区域反射的强度检测对应的部分的x-y平面边缘。
4.根据权利要求3所述的方法，进一步包括基于具有与其对应的约束的所选择的模板和所检测的边缘应用曲线拟合函数。
5.根据权利要求4所述的方法，进一步包括基于从数据图部分的外推，应用z轴数据至拟合的曲线。
6.根据权利要求5所述的方法，进一步包括基于得出的边缘的所述z轴数据完成所述深度图。
CN201680013804.2A 2015-01-06 2016-01-05 使用图案化光提供深度图的方法和系统 Active CN107408204B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201562100340P 2015-01-06 2015-01-06
US62/100,340 2015-01-06
PCT/US2016/012197 WO2016112019A1 (en) 2015-01-06 2016-01-05 Method and system for providing depth mapping using patterned light

Publications (2)

Publication Number Publication Date
CN107408204A true CN107408204A (zh) 2017-11-28
CN107408204B CN107408204B (zh) 2021-03-09

Family

ID=56286778

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201680013804.2A Active CN107408204B (zh) 2015-01-06 2016-01-05 使用图案化光提供深度图的方法和系统

Country Status (6)

Country Link
US (1) US20160196657A1 (zh)
EP (1) EP3243188A4 (zh)
JP (1) JP6782239B2 (zh)
KR (1) KR20170104506A (zh)
CN (1) CN107408204B (zh)
WO (1) WO2016112019A1 (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120194561A1 (en) * 2009-09-22 2012-08-02 Nadav Grossinger Remote control of computer devices
US9842392B2 (en) * 2014-12-15 2017-12-12 Koninklijke Philips N.V. Device, system and method for skin detection
US10116915B2 (en) * 2017-01-17 2018-10-30 Seiko Epson Corporation Cleaning of depth data by elimination of artifacts caused by shadows and parallax
US10620316B2 (en) * 2017-05-05 2020-04-14 Qualcomm Incorporated Systems and methods for generating a structured light depth map with a non-uniform codeword pattern
US10535151B2 (en) 2017-08-22 2020-01-14 Microsoft Technology Licensing, Llc Depth map with structured and flood light

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101542529A (zh) * 2006-11-21 2009-09-23 皇家飞利浦电子股份有限公司 图像的深度图的生成
CN102203829A (zh) * 2008-11-04 2011-09-28 皇家飞利浦电子股份有限公司 用于生成深度图的方法和设备
JP2013228334A (ja) * 2012-04-26 2013-11-07 Topcon Corp 三次元計測システム及び三次元計測方法及び三次元計測プログラム

Family Cites Families (42)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2572286B2 (ja) * 1989-12-15 1997-01-16 株式会社豊田中央研究所 ３次元形状寸法計測装置
JPH11108633A (ja) * 1997-09-30 1999-04-23 Peteio:Kk ３次元形状計測装置及びそれを用いた３次元彫刻装置
US6912293B1 (en) * 1998-06-26 2005-06-28 Carl P. Korobkin Photogrammetry engine for model construction
JP2001012922A (ja) * 1999-06-29 2001-01-19 Minolta Co Ltd ３次元データ処理装置
JP2001319245A (ja) * 2000-05-02 2001-11-16 Sony Corp 画像処理装置および方法、並びに記録媒体
JP2003016463A (ja) * 2001-07-05 2003-01-17 Toshiba Corp 図形の輪郭の抽出方法、パターン検査方法、パターン検査装置、プログラムおよびこれを格納したコンピュータ読み取り可能な記録媒体
US20110057930A1 (en) * 2006-07-26 2011-03-10 Inneroptic Technology Inc. System and method of using high-speed, high-resolution depth extraction to provide three-dimensional imagery for endoscopy
CN102239506B (zh) * 2008-10-02 2014-07-09 弗兰霍菲尔运输应用研究公司 中间视合成和多视点数据信号的提取
US8553973B2 (en) * 2009-07-07 2013-10-08 University Of Basel Modeling methods and systems
EP2272417B1 (en) * 2009-07-10 2016-11-09 GE Inspection Technologies, LP Fringe projection system for a probe suitable for phase-shift analysis
US20120194561A1 (en) * 2009-09-22 2012-08-02 Nadav Grossinger Remote control of computer devices
US9870068B2 (en) * 2010-09-19 2018-01-16 Facebook, Inc. Depth mapping with a head mounted display using stereo cameras and structured light
EP2666295A1 (en) * 2011-01-21 2013-11-27 Thomson Licensing Methods and apparatus for geometric-based intra prediction
US8724887B2 (en) * 2011-02-03 2014-05-13 Microsoft Corporation Environmental modifications to mitigate environmental factors
US9536312B2 (en) * 2011-05-16 2017-01-03 Microsoft Corporation Depth reconstruction using plural depth capture units
US20120314031A1 (en) * 2011-06-07 2012-12-13 Microsoft Corporation Invariant features for computer vision
US9131223B1 (en) * 2011-07-07 2015-09-08 Southern Methodist University Enhancing imaging performance through the use of active illumination
US9002099B2 (en) * 2011-09-11 2015-04-07 Apple Inc. Learning-based estimation of hand and finger pose
US9117295B2 (en) * 2011-12-20 2015-08-25 Adobe Systems Incorporated Refinement of depth maps by fusion of multiple estimates
JP6041513B2 (ja) * 2012-04-03 2016-12-07 キヤノン株式会社 画像処理装置、画像処理方法及びプログラム
EP2674913B1 (en) * 2012-06-14 2014-07-23 Softkinetic Software Three-dimensional object modelling fitting & tracking.
US8805057B2 (en) * 2012-07-31 2014-08-12 Mitsubishi Electric Research Laboratories, Inc. Method and system for generating structured light with spatio-temporal patterns for 3D scene reconstruction
US9514522B2 (en) * 2012-08-24 2016-12-06 Microsoft Technology Licensing, Llc Depth data processing and compression
WO2014053157A1 (en) * 2012-10-01 2014-04-10 Telefonaktiebolaget L M Ericsson (Publ) Method and apparatus for determining a depth of a target object
RU2012145349A (ru) * 2012-10-24 2014-05-10 ЭлЭсАй Корпорейшн Способ и устройство обработки изображений для устранения артефактов глубины
US8792969B2 (en) * 2012-11-19 2014-07-29 Xerox Corporation Respiratory function estimation from a 2D monocular video
RU2012154657A (ru) * 2012-12-17 2014-06-27 ЭлЭсАй Корпорейшн Способы и устройство для объединения изображений с глубиной, генерированных с использованием разных способов формирования изображений с глубиной
JP6071522B2 (ja) * 2012-12-18 2017-02-01 キヤノン株式会社 情報処理装置および情報処理方法
RU2013106513A (ru) * 2013-02-14 2014-08-20 ЭлЭсАй Корпорейшн Способ и устройство для улучшения изображения и подтверждения границ с использованием по меньшей мере одного дополнительного изображения
WO2014155715A1 (ja) * 2013-03-29 2014-10-02 株式会社日立製作所 物体認識装置および物体認識方法並びにプログラム
US9317925B2 (en) * 2013-07-22 2016-04-19 Stmicroelectronics S.R.L. Depth map generation method, related system and computer program product
BR112016009202A8 (pt) * 2013-10-23 2020-03-24 Oculus Vr Llc aparelhos e método para gerar um padrão de luz estruturada
US20150193971A1 (en) * 2014-01-03 2015-07-09 Motorola Mobility Llc Methods and Systems for Generating a Map including Sparse and Dense Mapping Information
JP6359466B2 (ja) * 2014-01-13 2018-07-18 フェイスブック，インク． サブ解像度での光学的検出
US9519060B2 (en) * 2014-05-27 2016-12-13 Xerox Corporation Methods and systems for vehicle classification from laser scans using global alignment
US9582888B2 (en) * 2014-06-19 2017-02-28 Qualcomm Incorporated Structured light three-dimensional (3D) depth map based on content filtering
US9752864B2 (en) * 2014-10-21 2017-09-05 Hand Held Products, Inc. Handheld dimensioning system with feedback
JP6621836B2 (ja) * 2015-02-25 2019-12-18 フェイスブック・テクノロジーズ・リミテッド・ライアビリティ・カンパニーＦａｃｅｂｏｏｋ Ｔｅｃｈｎｏｌｏｇｉｅｓ， Ｌｌｃ 光パターンの強度変動を利用した体積内の物体の深さマッピング
KR102129376B1 (ko) * 2015-02-25 2020-07-02 페이스북, 인크. 물체에 의해 반사된 광의 특성에 기반한 볼륨 내 물체의 식별
US9694498B2 (en) * 2015-03-30 2017-07-04 X Development Llc Imager for detecting visual light and projected patterns
US9679192B2 (en) * 2015-04-24 2017-06-13 Adobe Systems Incorporated 3-dimensional portrait reconstruction from a single photo
KR101892168B1 (ko) * 2015-05-13 2018-08-27 페이스북, 인크. 반사도 맵 표현을 이용한 깊이 맵 표현의 증강

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101542529A (zh) * 2006-11-21 2009-09-23 皇家飞利浦电子股份有限公司 图像的深度图的生成
CN102203829A (zh) * 2008-11-04 2011-09-28 皇家飞利浦电子股份有限公司 用于生成深度图的方法和设备
JP2013228334A (ja) * 2012-04-26 2013-11-07 Topcon Corp 三次元計測システム及び三次元計測方法及び三次元計測プログラム

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
CAMPLANI 等: "Efficient spatio-temporal hole filling strategy for Kinect depth maps", 《PROC. SPIE 8290, THREE-DIMENSIONAL IMAGE PROCESSING (3DIP) AND APPLICATIONS II》 *
MING-YU LIU 等: "Joint Geodesic Upsampling of Depth Images", 《2013 IEEE CONFERENCE ON COMPUTER VISION AND PATTERN RECOGNITION》 *

Also Published As

Publication number Publication date
CN107408204B (zh) 2021-03-09
EP3243188A1 (en) 2017-11-15
JP6782239B2 (ja) 2020-11-11
JP2018507399A (ja) 2018-03-15
EP3243188A4 (en) 2018-08-22
WO2016112019A1 (en) 2016-07-14
KR20170104506A (ko) 2017-09-15
US20160196657A1 (en) 2016-07-07

Similar Documents

Publication Publication Date Title
US9594950B2 (en) Depth mapping with enhanced resolution
JP6621836B2 (ja) 光パターンの強度変動を利用した体積内の物体の深さマッピング
CN107408204A (zh) 使用图案化光提供深度图的方法和系统
US9392262B2 (en) System and method for 3D reconstruction using multiple multi-channel cameras
JP5631025B2 (ja) 情報処理装置、その処理方法及びプログラム
CN102262725B (zh) 三维场景的分析
JP6596433B2 (ja) ２つのカメラからの曲線の集合の構造化光整合
US9607406B2 (en) Size measurement device and size measurement method
US20100328308A1 (en) Three Dimensional Mesh Modeling
WO2015049853A1 (ja) 寸法計測装置、寸法計測方法、寸法計測システム、プログラム
JP2018518750A (ja) 反射マップ表現による奥行きマップ表現の増補
CN103900494A (zh) 用于双目视觉三维测量的同源点快速匹配方法
AU2012211112B2 (en) Camera assembly for the extraction of image depth discontinuity and method of use
WO2018056802A1 (en) A method for estimating three-dimensional depth value from two-dimensional images
JP2015130555A (ja) 画像処理装置、画像処理方法、および画像投影装置
KR20100128919A (ko) 단일 카메라 및 레이저를 이용한 계단 치수 측정 시스템 및 방법
Li et al. Elaborate scene reconstruction with a consumer depth camera
KR100269116B1 (ko) 움직이는대상물의3차원위치측정장치및방법
TWI595446B (zh) 擴充實境中基於深度攝影機之遮蔽邊緣品質改善方法
Chan et al. On fusion of active range data and passive stereo data for 3d scene modelling
CN114868149A (zh) 检测装置和检测方法
JP2004226186A (ja) ３次元形状計測装置および３次元形状計測方法
JP2012059140A (ja) 物体形状認識装置及び特徴点検出方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right

Effective date of registration: 20190327

Address after: California, USA

Applicant after: Facebook Technologies, LLC

Address before: American California

Applicant before: Facebook, Inc.

TA01 Transfer of patent application right
GR01 Patent grant
GR01 Patent grant
CP01 Change in the name or title of a patent holder

Address after: California, USA

Patentee after: Yuan Platform Technology Co.,Ltd.

Address before: California, USA

Patentee before: Facebook Technologies, LLC

CP01 Change in the name or title of a patent holder