CN103582893A - 用于增强现实表示的二维图像获取 - Google Patents

用于增强现实表示的二维图像获取 Download PDF

Info

Publication number
CN103582893A
CN103582893A CN201180071219.5A CN201180071219A CN103582893A CN 103582893 A CN103582893 A CN 103582893A CN 201180071219 A CN201180071219 A CN 201180071219A CN 103582893 A CN103582893 A CN 103582893A
Authority
CN
China
Prior art keywords
acquisition device
image acquisition
electronic image
hypothesis
augmented reality
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201180071219.5A
Other languages
English (en)
Other versions
CN103582893B (zh
Inventor
E·克鲁格里克
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Empire Technology Development LLC
Original Assignee
Empire Technology Development LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Empire Technology Development LLC filed Critical Empire Technology Development LLC
Publication of CN103582893A publication Critical patent/CN103582893A/zh
Application granted granted Critical
Publication of CN103582893B publication Critical patent/CN103582893B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/60—Editing figures and text; Combining figures or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/74—Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G06T7/248—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/24—Indexing scheme for image data processing or generation, in general involving graphical user interfaces [GUIs]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Multimedia (AREA)
  • Processing Or Creating Images (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

总体上公开了获取用于增强现实表示的二维图像的技术和实现。

Description

用于增强现实表示的二维图像获取
背景技术
除非本文另有指示，否则该部分中描述的方法不是针对本申请中的权利要求的现有技术，并且不能由于包括在该部分中而被认为是现有技术。
一些图像处理服务可以将多个图像合并成虚拟旅游。这些虚拟旅游可以尝试模拟尽可能多的三维（3D）体验。此外，其它系统可以将一系列二维（2D）图像转换成3D。
生成的3D模型或3D合成的质量可能取决于照片的定位和分辨率。例如，当使用照片到3D转换时，可能会去掉（wind up）缺乏足够的共享上下文或边缘的丢失表面和/或图像的一些组合，以使得能够将照片集成到这种3D模型中。
由于增强现实表示（例如，3D图像）可以用于越来越多的目的，所以一般的家庭用户可能希望能够拍照对象和场所的照片，并且生成这些照片的良好质量的3D模型。
发明内容
本文描述的一些示例性方法、设备和系统可以涉及获取用于增强现实表示的二维图像。
与获取用于增强现实表示的二维图像有关的一些示例性方法、设备和系统可以在电子图像获取装置中实现。一些方法可以包括由电子图像获取装置至少部分地基于对对象的一个或更多个二维图像的分析来确定所述对象的增强现实表示。这种增强现实表示可以包括多个表面假设。可以确定与各个表面假设相关联的一个或更多个可靠性值。可以将所述一个或更多个可靠性值与一个或更多个阈值可靠性标准进行比较，以从所述多个表面假设识别一个或更多个感兴趣表面区域。可以经由所述电子图像获取装置的显示器来显示与获取所述对象的一个或更多个附加的二维图像有关的引导。这种引导可以至少部分地基于所识别的感兴趣表面区域。
与获取用于增强现实表示的二维图像有关的一些示例性方法、设备和系统可以在电子图像获取装置中实现。这种电子图像获取装置可以包括光学传感器和控制单元。这种光学传感器可以被配置为获取对象的二维图像并且获取实时视频数据。这种控制单元可以被配置为至少部分地基于对所述对象的一个或更多个二维图像的分析来确定所述对象的增强现实表示。这种增强现实表示可以包括多个表面假设。可以由所述控制单元来确定与各个表面假设相关联的一个或更多个可靠性值。可以将所述一个或更多个可靠性值与一个或更多个阈值可靠性标准进行比较，以从所述多个表面假设识别一个或更多个感兴趣表面区域。可以经由所述电子图像获取装置的显示器来确定与获取所述对象的一个或更多个附加的二维图像有关的引导。这种引导可以至少部分地基于所识别的感兴趣表面区域。
前面的概述仅是例示性的并且不旨在以任何方式进行限制。除了上述的例示性方面、实施方式和特征之外，通过参照附图和下面的详细描述，其它方面、实施方式和特征将变得明显。
附图说明
在本说明书的结论部分中特别地指出并且明确地要求保护主题。根据结合附图进行的以下描述和所附权利要求书，本公开的以上和其它特征将变得更充分地显而易见。要理解的是，这些附图仅描述了根据本公开的多个实施方式，因此不能被认为是对本公开的范围的限制，将通过使用附图来利用附加的特征和细节描述本公开。
附图中：
图1例示根据本公开的至少一些实施方式布置的示例性电子图像获取装置；
图2例示根据本公开的至少一些实施方式布置的获取对象的一个或更多个二维图像的示例性电子图像获取装置；
图3例示根据本公开的至少一些实施方式布置的获取用于增强现实表示的二维图像的示例性处理；
图4例示根据本公开的至少一些实施方式布置的获取用于增强现实表示的二维图像的另一个示例性处理；
图5例示根据本公开的至少一些实施方式布置的包括多个表面假设的示例性增强现实表示；
图6例示根据本公开的至少一些实施方式布置的与增强现实表示相关联的示例性视角锥；
图7例示根据本公开的至少一些实施方式布置的与多个表面假设中的感兴趣表面区域相关联的示例性视角锥；
图8例示根据本公开的至少一些实施方式布置的用于基于视角锥来获得关于感兴趣表面区域的数据的示例性选择；
图9例示根据本公开的至少一些实施方式布置的示例性屏幕快照；
图10是根据本公开的至少一些实施方式布置的示例性计算机程序产品的例示；以及
图11是根据本公开的至少一些实施方式布置的计算装置的例示性实施方式的框图。
具体实施方式
以下描述连同具体细节一起阐述各种示例，以提供对要求保护的主题的深入理解。然而，本领域技术人员将要理解的是，要求保护的主题也可以在没有本文公开的一些或更多具体细节的情况下实践。此外，在一些情况下，为了避免对要求保护的主题的不必要混淆，没有详细描述公知的方法、处理、系统、部件和/或电路。
在下面的详细说明中，参照附图，这些附图形成了本说明书的一部分。在附图中，除非上下文另行说明，否则相似的符号通常标识相似的部件。在具体说明书、附图和权利要求中描述的例示性实施方式不意味着为限制。在不脱离本文表现的主题的精神或范围的情况下，可利用其它实施方式，并且可以进行其它改变。容易理解的是，如本文总体描述的和附图例示的本公开的各个方面，可以按照各种不同的配置来布置、替换、组合和设计，本公开的各个方面全部被明确设想并构成本公开的一部分。
除其它因素外，本公开被描绘为与对用于增强现实表示的二维图像进行获取有关的方法、设备和系统。
以下针对计算拍摄的有利视角以便于构建增强现实表示（例如，3D模型）并且在用户的电子图像获取装置上向用户显示这些视角，描述了方法、设备和系统。例如，智能电话型电子图像获取装置可以显示优选的有利位置，该优选的有利位置示出建议用户进行拍摄的目标视图。这种优选的有利位置可被计算，以针对增强现实表示的具有低质量数据的部分或者增强现实表示的不能直接观看但是理论上存在的部分来提供附加的图像数据。
图1例示根据本公开的至少一些实施方式布置的示例性电子图像获取装置100。电子图像获取装置100可用于执行下面结合图3和/或图4讨论的各种功能中的一些或全部。电子图像获取装置100可以包括能够承担数字图像获取的任何装置或装置的集合。本文使用的术语“电子图像获取装置”可以指代能够进行数字图像拍摄的外形较小的便携式电子装置，诸如，例如数字相机、蜂窝电话、个人数字助理(PDA)、移动计算平板、个人媒体播放器装置、无线网络观看装置、应用特定装置等，以及/或者上述装置的组合。
在所例示的示例中，电子图像获取装置100可以包括光学传感器102、控制单元104和/或显示器160。这种光学传感器102可以被配置为获取对象（没有示出）的二维图像并且获取实时视频数据。
控制单元104可以被配置为确定由光学传感器102获取的这种对象的增强现实表示。例如，控制单元104可以被配置为至少部分地基于对象的一个或更多个二维图像的分析来确定增强现实表示。本文使用的术语“增强现实表示”可以指代对物理的、真实世界的对象的实时直接观看或间接观看，诸如对象的三维图像等。可以诸如通过经由显示器106传递的视觉引导来向用户提供与获取对象的一个或更多个附加二维图像有关的引导。控制单元104可以利用对象的这种附加二维图像来更新这种对象的增强现实表示。
此外，电子图像获取装置100还可以包括诸如存储器、处理器、网络接口逻辑等的附加项，出于简洁的目的，没有在图1中示出这些附加项。例如，电子图像获取装置100还可以包括诸如参照下面的图10描述的附加项。在一些示例中，显示器106可以被容纳在电子图像获取装置100中，或者显示器106可以是独立的显示器（例如，诸如平视显示器或辅助显示装置）。
图2例示根据本公开的至少一些实施方式布置的获取对象200的一个或更多个二维图像的电子图像获取装置100。在所例示的示例中，电子图像获取装置100可以获取对象200的取自第一位置202的二维图像。电子图像获取装置100可以被配置为至少部分地基于对对象200的取自第一位置202的二维图像的分析来确定增强现实表示。
可以经由电子图像获取装置100向用户204提供与获取对象的一个或更多个附加二维图像有关的引导。例如，电子图像获取装置100可以引导用户204获取对象200的取自第二位置206的另一个二维图像。电子图像获取装置100可以被配置为至少部分地基于对对象200的取自第二位置206的二维图像的分析来更新增强现实表示。
图3例示根据本公开的至少一些实施方式布置的获取用于增强现实表示的二维图像的示例性处理300。在所例示的示例中，处理300以及这里描述的其它处理阐述了可以被描述为处理步骤、功能操作、事件和/或动作等（其可以由硬件、软件和/或固件执行）的各种功能块或动作。本领域技术人员将从本公开认识到：可以在各种实现中实践针对图3所示的功能块的多个另选例。例如，尽管处理300（如图3所示）可以包括块或动作的一个特定顺序，但是这些块或动作出现的顺序不一定将要求保护的主题限制于任何特定顺序。同样，在不脱离要求保护的主题的范围的情况下，可以采用图3中没有示出的中间动作和/或图3中没有示出的附加动作，并且/或者可以消除图3中示出的动作中的一些。处理300可以包括通过示例性操作302、304、306和/或308指示的功能操作中的一个或更多个。
如图所示，可以实现处理300以获取可以在电子图像获取装置（参见例如图1）中实现的用于增强现实表示的二维图像。在一些示例中，可以分析对象的一个或更多个二维图像，以形成用于对象的增强现实表示的表面假设（例如，3D建模）。这种表面假设可用于确定感兴趣表面区域（例如，丢失的表面或图像质量低于阈值可靠性标准的表面）。例如，这些感兴趣表面区域可用于确定与获取一个或更多个附加二维图像相关的引导，诸如将提供需要填写的特征以按照目标质量提供完整模型的观看位置。可以向用户提供这种引导（例如，观看位置和/或方向），使得附加的二维图像可以被获取并且增强现实表示可以被更新。
处理可以开始于操作302，“确定包括多个表面假设的增强现实表示”，其中包括多个表面假设的增强现实表示可以被确定。例如，可以至少部分地基于分析对象的一个或更多个二维图像来确定所述对象的这种增强现实表示。这种增强现实表示可以包括多个表面假设。在一些示例中，“姿势匹配”（等）可以用于确定二维图像如何与增强现实表示（例如，3D场景）相适合。
在一些示例中，可以采用随机抽样一致性表面提取(RANSAC)算法等或者其组合来计算表面假设。例如，RANSAC可以采取点云并且使表面假设适合于点云。可以将整体方法描述为生成在满足各种假设的同时使表面与点云的最小二乘差异最小化的表面。参见例如Martin A.Fischler和Robert C.Bolles的“随机抽样一致性：应用于图像分析和自动制图的模型拟合的范例（Random sample consensus:A paradigm formodel fitting with applications to image analysis and automated cartography）”,Commun.ACM,24(6):381–395,1981。该假设可以包括类似对平整度和线性特征的预期的东西（架构公用），并且当没有被数据排除时，被识别为对称的假设可以持续到没有被检测的区域。RANSAC可适合于各种输入，诸如对称或者来自可能的图像识别击中的建议的几何形状。RANSAC(或者其它适合的通用“错误估计”技术)可以基于来自多个二维图像或视频流的3D提取，与图像中的线或边缘条件结合使用。例如，可以在电子图像获取装置中从视频粗略提取边缘，并且然后，RANSAC可以使用跟踪点来最终确定形状、纹理和/或边缘和平面的位置。
在一些示例中，增强现实表示可以具有这样一组表面假设，该组表面假设仍然不具有表面图像质量差的图像。这些表面假设可能是未被观测到的，但是，至少部分地基于这些表面无法存在的位置（例如，这些表面无法存在的位置或者它已经被看到的位置）的知识和/或基于增强现实表示的其它要素的假设（诸如对称或表面连续），可以针对增强现实表示开发一些类型的几何形状。
处理可以从操作302继续到操作304，“确定与各个表面假设相关联的一个或更多个可靠性值”，其中，可以确定与各个表面假设相关联的一个或更多个可靠性值。例如，这些可靠性值可以对表面假设的质量进行量化（例如，每面积单位的像素等）。在这种示例中，这些可靠性值可以至少部分地基于与各个表面假设相关联的每面积单位（例如，以平方英尺等计）可用的像素来确定。可以利用这些可靠性值来确定哪些表面假设可能不满足质量标准（例如，因为这些表面以高入射角成像）。
处理可以从操作304继续到操作306，“识别一个或更多个感兴趣表面区域”，其中，可以识别一个或更多个感兴趣表面区域。例如，所述一个或更多个可靠性值可以与一个或更多个阈值可靠性标准进行比较，以从表面假设识别一个或更多个感兴趣表面区域。例如，这种阈值可靠性标准可以包括如下标准中的一个或更多个：每面积像素阈值、不完整图像数据阈值、缺少的图像数据阈值、交叠处不匹配的图像、图像模糊程度、伽玛校正（例如，在视频或静止图像系统中匹配亮度或三色值）等和/或它们的组合。例如，与各个表面假设相关联的单位面积像素类型的可靠性值可以与单位面积像素类型的阈值可靠性标准进行比较，以确定是否应当将该各个表面假设识别为感兴趣表面区域。
为了评估表面假设的质量，可以执行正交变换，以得到表面看起来像是从垂直线看到的那样的图像（例如，该图像不需要显示，仅用于计算），然后，可以将图像质量评估应用于该图像。可以针对度量测试质量评估，以按照是否足够对各个表面进行分类。
在一些示例中，增强现实表示的表面假设可以包括：基于现有图像数据提取的较高质量的表面假设和可能不存在现有图像数据的较低质量的多边形“孔”。这些“孔”（例如，在不存在现有图像数据的位置处）会使得零以外的任何度量自动失败，并且被识别为感兴趣表面区域。
处理可以从操作306继续到操作308，“确定与获取一个或更多个附加的二维图像有关的引导”，其中，可以确定与获取一个或更多个附加的二维图像有关的引导。例如，可以经由电子图像获取装置的显示器来显示与获取一个或更多个附加的二维图像有关的引导。例如，这种引导可以至少部分地基于所识别的感兴趣表面区域。处理300可以利用对象的这些附加的二维图像来更新增强现实表示。
如下面将针对图9更详细地讨论的，在一些示例中，这种引导可以指示用于获取所述对象的一个或更多个附加的二维图像的一个或更多个有利位置。另外地或另选地，这种引导可以指示与各个表面假设相关联的可靠性值。
与处理300有关的一些附加的和/或另选的细节可以在下文针对图4更详细地讨论的实现的一个或更多个示例中例示。
图4例示根据本公开的至少一些实施方式布置的、获取用于增强现实表示的二维图像的另一个示例性处理400。在所例示的示例中，处理400可以包括由操作402、404、406、408、410、412、414和/或416例示的一个或更多个操作。
处理可以开始于操作402，“确定包括多个表面假设的增强现实表示”，其中，可以确定包括多个表面假设的增强现实表示。例如，可以至少部分地基于对对象的一个或更多个二维图像的分析来确定所述对象的这种增强现实表示。这种增强现实表示可以包括多个表面假设。
另外地或另选地，在操作402之前，可以选择对象的一个或更多个二维图像，以确定该对象的增强现实表示。例如，用户可以指示已经拍摄的图像，或者可以启用相机模式，以建立当前视口（viewport）正在对用户希望建模的事物取景。
处理可以从操作402继续到操作404，“确定与各个表面假设相关联的一个或更多个可靠性值”，其中，可以确定与各个表面假设相关联的一个或更多个可靠性值。
处理可以从操作404继续到操作406，“识别一个或更多个感兴趣表面区域”，其中，可以识别一个或更多个感兴趣表面区域。例如，所述一个或更多个可靠性值可以与一个或更多个阈值可靠性标准进行比较，以从多个表面假设中识别一个或更多个感兴趣表面区域。
处理可以从操作406继续到操作408，“确定一个或更多个视角锥”，其中，可以确定一个或更多个视角锥。例如，可以确定与各个感兴趣表面区域相关联的一个或更多个视角锥。如本文中所使用的，术语“视角锥”可以指代由限定的视角界定且以表面法向向量为中心的限定的观看区域。
例如，可以从各个表面假设来得到表面法向向量和视角（例如，视角锥）。这种视角锥可以提供能够引导用户观察感兴趣表面区域的一组位置和视角。在用户达到该位置和视角并且没有观察感兴趣表面区域的情况下，可以获取附加的二维图像，更新增强现实表示和感兴趣表面区域。另选地，在用户达到该位置和视角并且没有观察感兴趣表面区域的情况下，该用户可以选择与另一个感兴趣表面区域相关联的另一个位置和视角。
在一些示例中，低质量的小区域可能会生成过多（例如，数十个或数千个）感兴趣表面区域和相关的视角锥。在这些示例中，可以将这些过多的感兴趣表面区域的视角锥合并到最小交叉点，以选择可用于提供一些或全部丢失信息的一个或一系列的较少的附加二维图像。在一些示例中，将视角锥合并为用于建立较少的离散二维图像的组中以进行拍摄，这可以实现为规划背包问题的一个版本，其解决方案可以包括贪婪算法、线性规划（例如，由于几何限制，在一些情况下线性规划可能是适当的）等和/或它们的组合。
另外地或另选地，还可以应用滤波器，来在证明获取附加的二维图像之前要求最小的增强现实表示影响。这种滤波器可以防止微小的过度表面或眩光表面生成大量感兴趣表面区域。
处理可以从操作408继续到操作410，“确定观看范围和方向”，其中，可以确定观看范围和方向。例如，可以至少部分地基于质量水平输入来确定与一个或更多个视角锥相关联的观看范围和方向。
在一些示例中，这种质量水平输入可以具有预设的缺省设置和/或可以基于用户输入来调节的设置。例如，用户可以指示期望的整体图像质量（例如，高质量、中等质量或低质量等）。另外地或另选地，在一些示例中，为了允许这种源要求特定质量的增强现实表示，可以从另一个源（例如，可以采用3D模型作为输入的游戏或发布或程序）获得质量水平输入。另外地或另选地，这种质量水平输入可以根据相关的各个表面假设的位置和/或表示的对象的类型而变化。例如，所述对象可以是车辆（例如，其可以由电子图像获取装置独立地识别或者可以通过用户输入来指示）。与这种车辆型对象的下侧有关的数据可能根本不需要，或者与车辆型对象的其它部分相比，可以具有相对低的相关质量水平输入。因此，这种质量水平输入可以根据相关的各个表面假设的位置和/或表示的对象的类型而变化。在一些示例中，这种质量水平输入可以与阈值可靠性标准进行比较或者可以调节阈值可靠性标准。
返回参照图2，例如，可以确定电子图像获取装置100与对象200之间的观看范围207，其在最佳距离处同时也达到期望的质量。例如，这种期望的质量可以至少部分地基于按照单位面积像素的质量水平输入（例如，诸如像素遍布区域210）。这种也达到了期望质量的最佳距离可以至少部分地基于镜头角度208和电子图像获取装置100的分辨率。这种镜头角度208可来自镜头设置程度和/或框架中的对象200的对角。例如，观察范围207可与质量水平输入成反比，与镜头角度208成反比，并且与电子图像获取装置100的分辨率成正比。
因此，返回参照图4，这种对观察范围和方向的确定可能会受到电子图像获取装置100的分辨率、镜头角度和/或质量水平输入（例如，期望的质量）的影响。如果仅期望粗略轮廓，则由于像素密度不需要很大（并且可能存在视角锥的多个交叠-潜在地需要更少的图像），所以得到的观看范围和/或方向可能随着观看范围和方向角变得大得多而不同。例如，这种得到的观看范围和/或方向可以至少部分地基于质量水平输入与特定距离和/或镜头设置下的像素的大小的比较。因此，至少部分地基于质量水平输入和/或分辨率来调节与一个或更多个视角锥相关联的观看范围和方向可以增大或减小被投影的附加二维图像的数量（例如，实现所需要的最少数量的被投影的附加二维图像）。
处理可以从操作410继续到操作412，“监测实时视频数据”，其中，可以监测实时视频数据。例如，为了跟踪电子图像获取装置与对象之间的相对位置和方向，可以通过电子图像获取装置来监测实时视频数据。
处理可以从操作412继续到操作414，“确定实时相对位置和方向”，其中，可以确定实时相对位置和方向。例如，可以至少部分地基于实时视频数据来确定电子图像获取装置与对象之间的实时相对位置和方向。例如，可以将实时视频数据与当前的增强现实表示进行比较，以确认当前正在监测的对象和/或确定电子图像获取装置与对象之间的相对位置和方向。例如，可以经由“姿势匹配”（等）将实时视频数据与当前的增强现实表示进行比较；其中，这种姿势匹配可以用于确定如何将二维图像与增强现实表示(例如，3D场景)进行比较。例如，参见Lingyun Liu.、Stamos I.的“用于城市环境中的2D图像到3D范围配准的系统方法（A systematic approach for2D-imageto3D-range registration in urban environments）”.IEEE ICCV,1-8,2007。
处理可以从操作414继续到操作416，“确定与获取一个或更多个附加二维图像有关的引导”，其中，可以确定与获取一个或更多个附加二维图像有关的引导。例如，可以经由电子图像获取装置的显示器来显示与获取对象的一个或更多个附加二维图像有关的引导。例如，这种引导可以至少部分地基于所识别的感兴趣表面区域。在一些示例中，这种引导可以至少部分地基于与一个或更多个视角锥相关联的观看范围和方向。
在一些示例中，这种引导可以包括被显示与各个感兴趣表面区域相关联的视角锥并且被要求填充视角锥的用户。在一些示例中，这种引导可以包括被显示一组位置和视角的用户，该组位置和视角可以引导用户占据以观察感兴趣表面区域（例如，至少部分地基于对应的视角锥）。在这种示例中，可能存在大量的可能交叠的视角锥（例如，参见图8），并且特定的引导位置和观看角度可以被确定为是最有利的（例如，也许特定的引导位置和观看角度在多个视角锥内）。另外地或另选地，这种引导可以包括被显示特定类型的交叠的用户，所述交叠指示与各个感兴趣表面区域相关联的可靠性值（或者将可靠性值与阈值可靠性标准进行比较的指示）或者与各个视角锥（例如，各个潜在的拍摄位置）相关联的可靠性值，使得用户可以决定在哪里拍摄附加的二维图像，以填充在增强现实表示中。
然后，由于将与特定的感兴趣表面区域或者特性的视角锥相关联的图像识别为被获取，这种引导可以与所拍摄的各个二维图像一起发展（evolve）。在这种示例中，然后，由于可以在获取附加的二维图像时更新增强现实表示，使得当获取到对应的二维图像时，可以从指示中移除这种特定的感兴趣表面区域或特定的视角锥，这种引导可以与所拍摄的各个二维图像一起发展。另外地或另选地，这种引导可以至少部分地基于由电子图像获取装置从实时视频数据中获取的图像来发展。
在一些示例中，这种引导可以仅显示顶部的一个、两个或三个视角锥，其可以在从这种视角锥中的一个获取图像时被更新。另外地或另选地，然后，由于可以在获取附加的二维图像时更新增强现实表示，这种引导可以与所拍摄的各个二维图像一起发展，这可以导致一组新的感兴趣表面区域和/或视角锥。
如下面将针对图9更详细地讨论的，在一些示例中，引导可以至少部分地基于与一个或更多个视角锥相关联的观看范围和方向，如上面针对操作408和410讨论的那样。附加地或另选地，引导可以至少部分地基于所确定的电子图像获取装置与对象之间的实时相对位置和方向，如上面针对操作412和414讨论的。
返回参照图1，如参照图3和图4的处理300和/或400描述的，增强现实表示可以包括多个表面假设。一个或更多个可靠性值可以与各个表面假设相关联，并且该一个或更多个可靠性值可以由控制单元104来确定。一个或更多个可靠性值可以与一个或更多个阈值可靠性标准进行比较，以从多个表面假设识别一个或更多个感兴趣表面区域。可以诸如通过经由显示器106传送的视觉引导来向用户提供与获取对象的一个或更多个附加二维图像有关的引导。这种引导可以至少部分地基于所识别的感兴趣表面区域来确定。例如，这种引导可以促使用户获取对象的一个或更多个附加二维图像，以获得与所识别的感兴趣表面区域有关的附加数据。
图5例示根据本公开的至少一些实施方式布置的、包括多个表面假设的示例性增强现实表示500。在所例示的示例中，通过第一视图502、第二视图504和第三视图506例示增强现实表示500。
可以采用多个不同的方法来确定期望的位置，以获取一个或更多个附加二维图像，以便覆盖感兴趣表面区域（例如，未被观测的表面或低质量的表面）。这可以基于来自观测表面的信息来进行。例如，RANSAC是“随机抽样一致性”的缩写，其可以用于拍摄点云并且将表面假设拟合到点云。可以将整体方法描述为生成在满足各种假设的同时使表面与点云的最小二乘差异最小化的表面。这些假设可以包括对平整度和线性特征的预期（架构公用）、对称的识别以及其它可比较的假设，当没有被数据排除时，这些假设可能继续到未被检测的面积。为了确定期望的位置来获取一个或更多个附加二维图像，可以识别在一些方面存在不足的表面，使得所述表面上的更多数据可以被收集。
增强现实表示500中的三维图像通过改变各个表面假设的呈现，例示了与各个表面假设相关联的变化的可靠性值。根据示例性场景，这些可靠性值可以被计算为：点密度低于平均值的面积比例和表面平均误差与最靠近测量视图的法向的表面上的表面平均误差的总和。因此，这些点的质量和未观察的表面的比例这二者可用于确定这些可靠性值。
例如，基于与第一视图502相似的二维图像生成的增强现实表示500可以具有：与表面510相关联的相对高的可靠性值、与表面512和516相关联的相对低的可靠性值以及与表面514相关联的相对中间的可靠性值。例如，表面510易于从第一视图502看到，而表面512仅可以被部分地观看或者从极端角度观看，并且表面516仅可以被预测（因为它不能被直接观看到），这限制了与表面512和表面516相关联的数据的质量。
可以获得增强现实表示500的视图502、504和506，作为RANSAC表面提取程序的输出。在视图502、504和506中，同一建筑结构的表面被假设（在本文中被称为表面假设），并且该结构按照各种旋转位置示出，以例示感兴趣表面区域（例如，假设表面图像数据未被获取的未观察表面或者低质量的表面）。
除了计算适合的几何之外，可以针对各个表面假设段（以不同灰色阴影示出）生成可靠性值。取代仅将最小二乘匹配用于置信（这对于具有少量点的假定表面实际上很高），也可以使用适当的可靠性值（例如，基于单位面积的图像像素）。在这种示例中，点的质量（对于表面512其在这里很低，即使是被直接观察到的）和未被观察到的表面的比例（对于表面514和表面516其很高）二者可被评估。
在所例示的示例中，可以通过使用于各个表面假设段的灰色阴影变化来例示可靠性值。可以利用浅灰色阴影来例示与表面510相关联的相对高的可靠性值，可以利用深灰色阴影来例示与表面512和516相关联的相对低的可靠性值，并且可以利用中间灰色阴影来例示与表面514相关联的相对中间的可靠性值。在一些实施方式中，可以通过使彩色（例如，红色、橙色、黄色和绿色）阴影变化来示出这些可靠性值。另外地或另选地，可以通过表示出现在相关表面假设段上或相关表面假设段附近或者与指示锥或照片视角相关联的可靠性值的数值或百分比值，来例示这些可靠性值。
图6例示根据本公开的至少一些实施方式布置的、与增强现实表示相关联的示例性视角锥。在所例示的示例中，通过第一视图602和第二视图606来例示增强现实表示600。与低质量表面512相关联的视角锥604被示出在与第一视图602相关联的广视图中示出并且被示出在与第二视图606相关联的端视图(例如，以针对表面512的表面法向向量为中心的视图)中示出。出于清楚的目的，在这里例示单个视角锥604。在这种情况下，视角锥604可以是按照限定的视角612从来自现有表面512的表面法向向量610生成的草案扩展。可以至少部分地基于分辨率和/或距离来计算限定的视角612，以便生成期望的表面质量或分辨率。为了完成针对对象的增强现实表示可以获取针对感兴趣表面区域的更好数据的视图（例如，表面512）可以至少部分地基于从这种感兴趣表面区域计算出的限定的视角612和表面法向向量610来确定。
图7例示根据本公开的至少一些实施方式布置的、与多个表面假设中的感兴趣表面区域相关联的示例性视角锥。在所例示的示例中，通过第一视图702、第二视图704和第三视图706例示增强现实表示700。多个视角锥708可以与感兴趣表面区域相关联（例如，未观察并且低质量的表面（例如，图5中的512、514、516））。
可以利用与各个感兴趣表面区域（例如，未观察并且低质量的表面（例如，图5中的512、514、516））相关联的表面法向向量来绘制各个视角锥708。针对非平面表面，这可以通过以下步骤完成：将之前被识别为低质量的表面从单一分数(score)（以上）分解为沃罗诺伊剖分（Voronoi tessellation）（等），赋予各个区域相似的分数，以及然后例如利用分数低于阈值的沃罗诺伊图中的最大区域作为用于法向生成的表面（例如，从图5中的表面514的左半部分生成锥）。沃罗诺伊图的段可以是平面中与两个最靠近的位置等距离的点。然后，可以扩展各个表面法向向量并且基于以上讨论的成像度量来限定对应的视角锥702。
图8例示根据本公开的至少一些实施方式布置的、用于基于视角锥来获得感兴趣表面区域上的数据的示例性选择。在所例示的示例中，通过第一视图802来例示增强现实表示800。多个视角锥708可以与感兴趣表面区域相关联（例如，未观察并且低质量的表面（例如，图5的512、514、516））。
多个视角锥708中的一些或全部可以在交叉点804处交叠。用于获取图像的期望位置的选择可以至少部分地基于找到在尽可能多的感兴趣表面区域上生成尽可能多的数据的位置（例如，诸如经由交叉点804）。在算法术语中，如果将在多个视角锥708的一个中进行的填充分配为具有特定“分数”，则各个可用视角锥708可以具有整体复合分数，该整体复合分数可以表示视角锥708贡献多少数据给增强现实表示。可能的位置也可具有其它限制，诸如摄影师的位置以及排除从其它对象内部拍摄二维图像。例如，考虑最高得分位置可能导致以最少的图像填充增强现实表示，诸如多个视角锥708中的一些或全部可能在交叉点804处交叠的位置。
图9例示根据本公开的至少一些实施方式布置的示例性屏幕快照。如上所述，在一些示例中，这种引导可以指示用于获取对象的一个或更多个附加二维图像的一个或更多个有利位置。附加地或另选地，这种引导可以指示与各个表面假设相关联的可靠性值。
如上所述（针对图5），可以针对各个表面假设段（以不同的灰色阴影示出）生成可靠性值。在所例示的示例中，可以通过使各个表面假设段的灰色阴影变化来例示可靠性值。可以利用深灰色阴影例示与表面512和516相关联的相对低的可靠性值，并且可以利用中间灰色阴影例示与表面514相关联的相对中间的可靠性值。在一些实施方式中，可以通过使彩色（例如，红色、橙色、黄色和绿色）阴影变化来例示这些可靠性值。在这种示例中，红色可以与未观察到的表面516相关联，橙色可以例示与表面512相关联的相对低的可靠性值，黄色可以例示与表面514相关联的相对中间的可靠性值，并且绿色可以例示相对高的可靠性值。另外地或另选地，可以通过表示出现在相关表面假设段上或者其附近的可靠性值的数值或百分比值，来例示这些可靠性值。
在一些示例中，这种引导可以包括当前增强现实表示902的显示。例如，这种当前增强现实表示902可以包括与表面510、512和/或514相关联的可靠性值。可以通过用户与电子图像获取装置（例如，经由触摸屏等）的交互来使当前增强现实表示902旋转，使得用户可以从可以最佳地观看各个感兴趣表面区域（例如，表面512和/或514）的角度视觉上看到。
另外地或另选地，在一些示例中，这种引导可以包括当前的增强现实表示904的显示，其可以被定位为表示建议的有利位置，以获取一个或更多个附加二维图像。在所例示的示例中，当前的增强现实表示904可以被定位为使得可以最佳地观看各个感兴趣表面区域（例如，表面512、514和/或516）。
另外地或另选地，在一些示例中，这种引导可以包括对象906的显示（例如，实时显示）。可以在对象906上叠加视角锥604，以表示用来获取一个或更多个附加二维图像的建议的有利位置。另外地或另选地，其它视觉引导可以包括用户被显示可以引导用户占用以观察感兴趣表面区域（例如，至少部分地基于对应的视角锥）的位置和视图。在这些示例中，引导可以至少部分地基于所确定的、电子图像获取装置与对象之间的实时相对位置和方向。例如，电子图像获取装置可以在用户改变位置时，指示用户保持电子图像获取装置集中在对象上，使得对象906的显示和视角锥604可以随着电子图像获取装置与对象之间的相对位置和方向的改变而动态地改变。
另外地或另选地，视角锥604可以被叠加在当前的增强现实表示902和/或904上，以表示用来获取一个或更多个附加二维图像的建议的有利位置。在一些示例中，可以存在多个视角锥604。在这种示例中，当所获取的图像满足多个视角锥604中的每一个时，可以给出视觉指示。
在一些示例中，可以引导用户，以通过显示箭头912来满足各个二维图像，其中箭头912指示平移或旋转电子图像获取装置，保持它更高或更低，或者接近或远离对象。与对象之间的期望距离可以是更宽的视角与更高的分辨率之间的权衡，并且距离可以通过将所需的度量（例如，以每线性距离的像素计）与电子图像获取装置的分辨率和对于框架中的表面的视角进行比较来计算。这种分辨率度量可以设置最大距离，同时最小距离影响观看范围进而影响可能需要获取多少图像。在这种示例中，引导可以至少部分地基于电子图像获取装置与对象之间的所确定的实时相对位置和方向。例如，电子图像获取装置可以在用户改变位置时，指示用户保持电子图像获取装置集中在对象上，使得箭头912（指示平移或旋转电子图像获取装置，保持它更高或更低，或者接近或远离对象）的显示可以随着电子图像获取装置与对象之间的相对位置和方向的改变而动态地改变。
在操作中，可以利用显示器106来提供可以给予用户更好结果和更少挫折的动态反馈。另外地或另选地，电子图像获取装置100（图1）内的增强现实表示（例如，3D模型）的实时更新可以使得能够在生成之后立刻观看或共享增强现实表示，和/或允许迭代方法以在获取各个附件二维图像时改进增强现实表示。
在操作中，提高实时用户反馈以帮助用户利用二维图像生成增强现实表示，这样可以减少用户挫折并且可以实现来自“人群源”3D对象的更高等级的质量。这种增强现实表示可以用于：电子游戏，其中用户可以创建齿轮、地点或人的增强现实表示，并且在游戏中使用它们；普通摄影，其中用户可以生成3D位置和用于与朋友共享的特征图像；和/或文档，其中用户可以在汽车事故之后记录位置或者记录批注位置或稍后与“之前”的比较。
图10例示根据本公开的至少一些示例布置的示例性计算机程序产品1000。程序产品1000可以包括信号承载介质1002。信号承载介质1002可以包括一个或更多个机器可读指令1004，该机器可读指令1004在由一个或更多个处理器执行时，可以可操作地使得计算装置能够提供以上针对图3和/或图4描述的功能。因此，例如，参照图1的系统，电子图像获取装置100可以响应于介质1002传送的指令1004来进行图3和/或图4所示的一个或更多个动作。
在一些实现中，信号承载介质1002可以包括非临时性计算机可读介质1006，诸如但不限于硬盘驱动器、光盘（CD）、数字多功能光盘（DVD）、数字磁带、存储器等。在一些实现中，信号承载介质1002可以包括可记录介质1008，诸如但不限于存储器、读/写（R/W）CD、R/W DVD等。在一些实现中，信号承载介质1002可以包括通信介质1010，诸如但不限于数字和/或模拟通信介质（例如，光缆、波导、有线通信链路、无线通信链路等）。
图11是例示诸如可以由本领域技术人员具体实施的、根据本公开的至少一些实施方式布置的示例性计算装置1100的框图。在一个示例性配置1101中，计算装置1100可以包括一个或更多个处理器1110和系统存储器1120。存储器总线1130可以用于在处理器1110和系统存储器1120之间通信。
根据期望的配置，处理器1110可以是任何类型，包括但不限于微处理器（μP）、微控制器（μC）、数字信号处理器（DSP）或者它们的任意组合。处理器1110可以包括一级或更多级缓存（诸如一级缓存1111和二级缓存1112）、处理器核1113和寄存器1114。处理器核1113可以包括算术逻辑单元（ALU）、浮点单元（FPU）、数字信号处理核（DSP核）或者它们的任意组合。存储器控制器1115还可以与处理器1110一起使用，或者在一些实现中，存储器控制器1115可以是处理器1110的内部部分。
根据期望的配置，系统存储器1120可以是任何类型，包括但不限于易失性存储器（诸如RAM）、非易失性存储器（诸如ROM、闪速存储器等）或者它们的任意组合。系统存储器1120可以包括操作系统1121、一个或更多个应用1122以及程序数据1124。应用1122可以包括图像引导算法1123，该图像引导算法1123被设置为执行这里所述的的功能，这包括参照图3的处理300和/或图4的处理400所述的功能块和/或动作。程序数据1124可以包括与图像引导算法1123一起使用的图像数据1125。在一些示例性实施方式中，应用1122可被布置为利用程序数据1124在操作系统1121上操作，使得可以提供如本文所述的提供引导以获取用于增强现实表示的二维图像的实现。例如，电子图像获取装置100（例如，参见图1）可以包括计算装置1100的全部或一部分，并且能够执行应用1122的全部或一部分，使得可以提供如本文所述的提供引导以获取用于增强现实表示的二维图像的实现。这里所述的基本配置通过虚线1101内的那些部件例示在图11中。
计算装置1100可以具有附加的特征或功能以及附加接口，以便于基本配置1101与任何所需装置和接口之间的通信。例如，可以使用总线/接口控制器1140以便于经由存储装置接口总线1141的基本配置1101和一个或更多个数据存储装置1150之间的通信。数据存储装置1150可以是可移除存储装置1151、不可移除存储装置1152或二者的组合。举例来说，可移除存储装置和不可移除存储装置的示例包括磁盘装置（例如，柔性盘驱动器和硬盘驱动器（HDD））、光盘驱动器（例如，压缩盘（CD）驱动器或数字通用盘（DVD）驱动器）、固态驱动器（SSD）和带驱动器。示例计算机存储介质可以包括按照用于存储信息（例如，计算机可读指令、数据结构、程序模块或其它数据）的任何方法或技术实现的易失性和非易失性、可移除和不可移除介质。
系统存储器1120、可移除存储装置1151和不可移除存储装置1152都是计算机存储介质的示例。计算机存储介质包括但不限于RAM、ROM、EEPROM、闪速存储器或其它存储技术、CD-ROM、数字通用盘（DVD）或其它光学存储装置、磁带盒、磁带、磁盘存储装置或其它磁性存储装置、或者可以用于存储期望的信息并且可以被计算装置1100访问的任何其它介质。任何这种计算机存储介质可以是装置1100的一部分。
计算装置1100还可以包括接口总线1142，所述接口总线1142便于经由总线/接口控制器1140从各种接口装置（例如，输出接口、外围接口和通信接口）到基本配置1101的通信。示例输出接口1160可以包括图形处理单元1161和音频处理单元1162，所述图形处理单元1161和所述音频处理单元1162可以被配置为经由一个或更多个A/V端口1163与诸如显示器或扬声器的各种外部装置进行通信。示例外围接口1160可以包括串行接口控制器1171或并行接口控制器1172，所述串行接口控制器1171或所述并行接口控制器1172可以被配置为经由一个或更多个I/O端口1173与诸如输入装置（例如，键盘、鼠标、笔、语音输入装置、触摸输入装置等）的外部装置或其它外围装置（例如，打印机、扫描仪等）进行通信。示例通信装置1180包括网络控制器1181，所述网络控制器1181可以被设置为便于经由一个或更多个通信端口1182通过网络通信链路与一个或更多个其它计算装置1190进行通信。通信连接是通信介质的一个示例。通信介质通常可以由计算机可读指令、数据结构、程序模块或者调制数据信号（诸如载波或其它传输机制）中的其它数据来实现，并且可以包括任何信息传送介质。“调制数据信号”可以是具有以对信号中的信息进行编码的方式设置或改变的一个或更多个特征的信号。举例来说，并且没有限制，通信介质可以包括有线介质（例如，有线网络或直接有线连接）和无线介质（例如，听觉、射频（RF）、红外（IR）和其它无线介质）。这里使用的术语计算机可读介质可以包括存储介质和通信介质这二者。
计算装置1100可以被实现为小型因素便携式（或移动）电子装置（例如，蜂窝电话、个人数据助理（PDA）、个人媒体播放器装置、无线网络观看装置、个人头戴耳机装置、专用装置或包括以上功能中的任何一个的混合装置）。计算装置1100还可以被实现为包括膝上型计算机和非膝上型计算机配置这二者的个人计算机。另外，计算装置1100可以被实现为无线基站或其它无线系统或装置的一部分。
前面的详细描述的一些部分呈现为在计算系统存储器（诸如，计算机存储器）内存储的数据比特或二进制数字信号上操作的算法或符号表示。这些算法描述或表示是数据处理领域中的普通技术人员用来向该领域的其他技术人员传达他们的工作内容的技术的示例。这里，算法通常被视为导致期望结果的自洽（self-consistent）的操作序列或类似处理。关于这点，操作或处理包含物理量的物理处理。通常，尽管并非必需，但是这些量可以采用能够被存储、传送、组合、比较或其它处理的电或磁信号的形式。已经证明，主要是为了公共使用的原因，把这些信号称为比特、数据、值、元件、符号、字符、术语、数字、数值等通常是方便的。然而，应当理解，所有这些以及类似的术语与合适的物理量相关联且仅为方便的标记。除非另行明确说明，否则如从以下讨论明显的是，可以理解，在整个说明书中，使用诸如“处理”、“计算”、“推算”、“确定”等术语的讨论指代计算装置的动作或处理，该计算装置对存储器、寄存器或者其它信息存储装置、传输装置或计算装置的显示装置内的被表示为物理的电量或磁量的数据进行处理或变换。
要求保护的主题在范围上不限于本文描述的特定实现。例如，一些实现可以是按照诸如被采用以在装置或装置组合上操作的硬件形式，例如，其它实现可以是按照软件和/或固件形式。类似地，尽管要求保护的主题在范围上不限于该方面，但是一些实现可以包括一个或更多个产品（诸如信号承载介质、存储介质和/或存储媒介）。例如，该存储介质（诸如CD-ROM、计算机光盘、闪速存储器等）可以存储有指令，当这些指令被诸如计算系统、计算平台或其它系统的计算装置执行时，可以导致处理器根据要求保护的主题（例如，先前描述的多个实现中的一个）运行。作为一种可能性，计算装置可以包括一个或更多个处理单元或处理器、一个或更多个输入/输出装置（诸如显示器、键盘和/或鼠标）以及一个或更多个存储器（诸如静态随机存取存储器、动态随机存取存储器、闪速存储器和/或硬盘驱动器）。
系统的多个方面的软件实现和硬件实现之间几乎没有区别；使用硬件或者软件总体上是代表成本相对于效率的权衡的设计选择（但并非总是这样，因为在特定的环境中硬件和软件之间的选择会变得重要）。存在可以实现本文所描述的处理和/或系统和/或其它技术的各种载体（例如，硬件、软件和/或固件），并且优选的载体将随着采用这些处理和/或系统和/或其它技术的环境而改变。例如，如果实施者确定速度和精度是最重要的，则实施者会主要选用硬件和/或固件载体；如果灵活性是最重要的，则实施者会主要选用软件实现；或者，再另选地，实施者可以选用硬件、软件和/或固件的某种组合。
通过使用框图、流程图和/或示例，以上详述已阐述了设备和/或处理的各种实施方式。在这样的框图、流程图和/或示例包含一个或更多个功能和/或操作的范围内，本领域技术人员将理解的是，可以由大范围的硬件、软件、固件或实际上其任何组合单独地和/或共同地实现这样的框图、流程图或示例内的各个功能和/或操作。在一个实施方式中，可以由专用集成电路（ASIC）、现场可编程门阵列（FPGA）、数字信号处理器（DSP）或其它集成的形式来实现本文所描述的主题的多个部分。然而，本领域技术人员将认识到，本文所公开的实施方式的某些方面可以作为在一个或更多个计算机上运行的一个或更多个计算机程序（例如，作为在一个或更多个计算机系统上运行的一个或更多个程序）、作为在一个或更多个处理器上运行的一个或更多个程序（例如，作为在一个或更多个微处理器上运行的一个或更多个程序）、作为固件、或者作为实际上它们的任何组合全部地或部分地等效地实现在集成电路中，并且将认识到，根据该公开，设计电路和/或针对软件或固件编写代码完全属于在本领域技术人员的技能之内。此外，本领域技术人员将理解的是，本文所描述的主题的机制能够被发布为各种形式的程序产品，并且，本文所描述的主题的示例性实施方式的应用与用于实际进行发布的信号承载介质的具体类型无关。信号承载介质的示例包括但不限于：诸如软盘、硬盘驱动器（HDD）、光盘（CD）、数字通用光盘（DVD）、数字磁带、计算机存储器等这样的可记录型介质；以及诸如数字和/或模拟通信介质（例如，光缆、波导、有线通信链路、无线通信链路等）这样的传输型介质。
本领域技术人员将认识到，以本文所阐述的方式描述设备和/或处理并且其后使用工程实践将这样描述的设备和/或处理集成到数据处理系统中是本领域中常见的。也就是说，通过合理次数的实验，可以将本文描述的至少一部分设备和/或处理集成到数据处理系统中。本领域技术人员将认识到，典型的数据处理系统一般包括以下各项中的一个或更多个：系统单元壳体、视频显示设备、诸如易失性存储器和非易失性存储器这样的存储器、诸如微处理器和数字信号处理器这样的处理器、诸如操作系统、驱动器、图形用户界面和应用程序这样的计算实体、诸如触摸板或屏幕这样的一个或更多个交互设备和/或包括反馈回路和控制电机（例如感测位置和/或速度的反馈；移动和/或调节部件和/或数量的控制电机）的控制系统。可以利用任何适合的市售部件（诸如那些通常可以在数据计算/通信和/或网络计算/通信系统中找到的部件）来实现通常的数据处理系统。
本文所描述的主题有时例示了包含在不同的其它部件中的或与不同的其它部件相连接的不同的部件。应理解的是，所描述的这种架构仅仅是示例性的，并且实际上，可以实现许多获得了相同的功能的其它架构。在概念上，用于获得相同功能的部件的任何配置都是有效地“关联”的，使得获得期望的功能。因此，不考虑架构或中间部件，可以将本文中被组合以获得特定的功能的任何两个部件视为是彼此“相关联”的，使得期望的功能被实现。同样，如此相关联的任何两个部件也可以被视为彼此“可操作地连接”或“可操作地耦接”，以实现期望的功能，并且能够如此关联的任何两个部件也可以被视为彼此“可操作地可耦接”，以实现期望的功能。可操作地可耦接的具体示例包括但不限于物理上可匹配和/或物理上交互的部件和/或可无线地交互和/或无线地交互的部件和/或逻辑上交互和/或可逻辑上交互的部件。
针对在本文中基本上任何复数和/或单数术语的使用，本技术领域技术人员可以从复数转化为单数和/或从单数转化为复数以适合于上下文和/或应用。为了清楚起见，可以在此明确地阐述各种单数/复数的置换。
本领域技术人员将理解的是，一般来说，本文所使用的措词，特别是在所附权利要求（例如，所附权利要求的主体）中使用的措词，通常旨在是“开放式”措词（例如，措词“包括”应被理解为“包括但不限于”，措词“具有”应被理解为“至少具有”，措词“包含”应被理解为“包含但不限于”等）。本领域技术人员将进一步理解的是，如果所引入的权利要求记载中的特定的数目是有意图的，则这样的意图将在权利要求中明确地记载，并且在没有这样的记载时，不存在这样的意图。例如，作为对理解的辅助，下面所附的权利要求可以包含对“至少一个”和“一个或更多个”的引入性用语的使用，以引入权利要求记载。然而，即使当相同的权利要求包括引入性用语“一个或更多个”或者“至少一个”以及诸如“一”或“一个”的不定冠词（例如，“一”和/或“一个”应被解释为表示“至少一个”或“一个或更多个”）时，使用这样的用语也不应被解释为暗示由不定冠词“一”或“一个”所引入的权利要求记载将包含这种所引入的权利要求记载的任何特定的权利要求限制到仅包含一个这样的记载的发明；对于使用用于引入权利要求记载的定冠词来说也是如此。另外，即使明确地记载了所引入的权利要求记载的特定数目，本领域技术人员将理解的是，这样的记载通常也应该被理解为至少表示所记载的数目（例如，在没有其它修饰的情况下，“两个记载”的无修饰的记载通常表示至少两个记载或者两个或更多个记载）。此外，在使用与“A、B和C中的至少一个等”类似的常规表述的情况下，一般来说，这种结构旨在表示本领域技术人员将理解的该常规表述的含义（例如，“具有A、B和C中的至少一个的系统”将包括但不限于仅具有A的系统、仅具有B的系统、仅具有C的系统、具有A和B的系统、具有A和C的系统、具有B和C的系统和/或具有A、B和C的系统等）。在使用与“A、B或C中的至少一个等”类似的常规表述的情况下，一般来说，这种结构旨在表示本领域技术人员将理解的该常规表述的含义（例如，“具有A、B或C中的至少一个的系统”将包括但不限于仅具有A的系统、仅具有B的系统、仅具有C的系统、具有A和B的系统、具有A和C的系统、具有B和C的系统和/或具有A、B和C的系统等）。本领域技术人员将进一步理解的是，示出两个或更多个替代性措词的几乎任何转折词和/或短语，无论是在说明书、权利要求或附图中，都应被理解为考虑可能包括措词中的一个、措词中任一个或全部措词。例如，短语“A或B”将被理解为可能包括“A”或“B”或“A和B”。
说明书中所称的“实现”、“一个实现”、“一些实现”或“其它实现”可能意味着结合一个或更多个实现描述的特定特征、结构或特性可以被包括在至少一些实现中，但是不一定被包括在所有实现中。以上描述中的“实现”、“一个实现”或“一些实现”的各种出现不一定都指代相同的实现。
虽然这里使用各种方法和系统描述和示出了特定的示例性技术，但是本领域技术人员应当理解的是，在不脱离要求保护的主题的情况下，可以做出各种其它修改，并且可以取代等同物。此外，可以做出许多修改，以在不脱离本文描述的中心概念的情况下使特定情况适合于要求保护的主题的教导。因此，要求保护的主题旨在不限于所公开的特定示例，而是这样要求保护的主题还可以包括落入所附权利要求书及其等同物的范围内的所有实现。

Claims (21)

1.一种方法，该方法包括以下步骤：
由电子图像获取装置至少部分地基于对对象的一个或更多个二维图像的分析来确定所述对象的增强现实表示，其中，所述增强现实表示包括多个表面假设；
确定与各个表面假设相关联的一个或更多个可靠性值；
将所述一个或更多个可靠性值与一个或更多个阈值可靠性标准进行比较，以从所述多个表面假设中识别一个或更多个感兴趣表面区域；以及
经由所述电子图像获取装置的显示器来显示与获取所述对象的一个或更多个附加的二维图像有关的引导，其中，所述引导是至少部分地基于所识别的感兴趣表面区域的。
2.根据权利要求1所述的方法，该方法还包括以下步骤：
确定与各个感兴趣表面区域相关联的一个或更多个视角锥；以及
至少部分地基于质量水平输入来确定与所述一个或更多个视角锥相关联的观看范围和方向，
其中，所述引导是至少部分地基于与所述一个或更多个视角锥相关联的所述观看范围和方向的。
3.根据权利要求2所述的方法，其中，所述一个或更多个视角锥各自包括由限定的视角界定并且以表面法向向量为中心的限定的观看区域。
4.根据权利要求1所述的方法，该方法还包括以下步骤：
监测实时视频数据；以及
至少部分地基于所述实时视频数据来确定所述电子图像获取装置与所述对象之间的实时相对位置和方向，
其中，所述引导是至少部分地基于所述电子图像获取装置与所述对象之间的所确定的实时相对位置和方向的。
5.根据权利要求1所述的方法，其中，所述增强现实表示包括所述对象的三维图像。
6.根据权利要求1所述的方法，其中，采用随机抽样一致性表面提取(RANSAC)算法来计算所述多个表面假设。
7.根据权利要求1所述的方法，其中，所述一个或更多个阈值可靠性标准包括以下标准中的一个或更多个：每面积像素阈值、不完整的图像数据阈值和/或缺少的图像数据阈值。
8.根据权利要求1所述的方法，其中，所述引导指示用于获取所述对象的所述一个或更多个附加的二维图像的一个或更多个有利位置。
9.根据权利要求1所述的方法，其中，所述引导指示与各个表面假设相关联的所述可靠性值。
10.根据权利要求1所述的方法，该方法还包括以下步骤：从用户接收已经选择所述对象的一个或更多个二维图像的指示，其中，由电子图像获取装置确定所述对象的所述增强现实表示的步骤是至少部分地基于来自所述用户的指示的。
11.一种电子图像获取装置，该电子图像获取装置包括：
光学传感器，其被配置为获取对象的二维图像并且获取实时视频数据；以及
控制单元，其被配置为：
至少部分地基于对所述对象的一个或更多个二维图像的分析来确定所述对象的增强现实表示，其中，所述增强现实表示包括多个表面假设；
确定与各个表面假设相关联的一个或更多个可靠性值；
将所述一个或更多个可靠性值与一个或更多个阈值可靠性标准进行比较，以从所述多个表面假设中识别一个或更多个感兴趣表面区域；并且
经由所述电子图像获取装置的显示器来确定与获取所述对象的一个或更多个附加的二维图像有关的引导，其中，所述引导是至少部分地基于所识别的感兴趣表面区域的。
12.根据权利要求11所述的电子图像获取装置，其中，所述控制单元还被配置为：
确定与各个感兴趣表面区域相关联的一个或更多个视角锥；并且
至少部分地基于质量水平输入来确定与所述一个或更多个视角锥相关联的观看范围和方向，
其中，所述引导是至少部分地基于与所述一个或更多个视角锥相关联的所述观看范围和方向的。
13.根据权利要求12所述的电子图像获取装置，其中，所述一个或更多个视角锥各自包括由限定的视角界定并且以表面法向向量为中心的限定的观看区域。
14.根据权利要求11所述的电子图像获取装置，其中，所述控制单元还被配置为：
监测实时视频数据；并且
至少部分地基于所述实时视频数据来确定所述电子图像获取装置与所述对象之间的实时相对位置和方向，
其中，所述引导是至少部分地基于所述电子图像获取装置与所述对象之间的所确定的实时相对位置和方向的。
15.根据权利要求11所述的电子图像获取装置，其中，所述增强现实表示包括所述对象的三维图像。
16.根据权利要求11所述的电子图像获取装置，其中，采用随机抽样一致性表面提取(RANSAC)算法来计算所述多个表面假设。
17.根据权利要求11所述的电子图像获取装置，其中，所述一个或更多个阈值可靠性标准包括以下标准中的一个或更多个：每面积像素阈值、不完整的图像数据阈值和/或缺少的图像数据阈值。
18.根据权利要求11所述的电子图像获取装置，其中，所述引导指示用于获取所述对象的所述一个或更多个附加的二维图像的一个或更多个有利位置。
19.根据权利要求11所述的电子图像获取装置，其中，所述引导指示与各个表面假设相关联的所述可靠性值。
20.根据权利要求11所述的电子图像获取装置，其中，所述电子图像获取装置包括数字相机、蜂窝电话、个人数字助理、移动计算平板电脑、个人媒体播放器装置或无线网络观看装置。
21.一种产品，该产品包括：
信号承载介质，该信号承载介质包括上面存储的机器可读指令，所述机器可读指令在由一个或更多个处理器执行时可操作地使得计算装置：
至少部分地基于对对象的一个或更多个二维图像的分析来确定所述对象的增强现实表示，其中，所述增强现实表示包括多个表面假设；
确定与各个表面假设相关联的一个或更多个可靠性值；
将所述一个或更多个可靠性值与一个或更多个阈值可靠性标准进行比较，以从所述多个表面假设中识别一个或更多个感兴趣表面区域；并且
经由所述电子图像获取装置的显示器来确定与获取所述对象的一个或更多个附加的二维图像有关的引导，其中，所述引导是至少部分地基于所识别的感兴趣表面区域的。
CN201180071219.5A 2011-06-08 2011-06-08 用于增强现实表示的二维图像获取 Expired - Fee Related CN103582893B (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/US2011/039639 WO2012170023A1 (en) 2011-06-08 2011-06-08 Two-dimensional image capture for an augmented reality representation

Publications (2)

Publication Number Publication Date
CN103582893A true CN103582893A (zh) 2014-02-12
CN103582893B CN103582893B (zh) 2017-10-13

Family

ID=47292877

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201180071219.5A Expired - Fee Related CN103582893B (zh) 2011-06-08 2011-06-08 用于增强现实表示的二维图像获取

Country Status (5)

Country Link
US (1) US9058687B2 (zh)
JP (1) JP5847924B2 (zh)
KR (1) KR101569600B1 (zh)
CN (1) CN103582893B (zh)
WO (1) WO2012170023A1 (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105229672A (zh) * 2013-05-31 2016-01-06 西门子产品生命周期管理软件公司 特征的规则模式的自动检测
CN107798704A (zh) * 2016-08-30 2018-03-13 成都理想境界科技有限公司 一种用于增强现实的实时图像叠加方法及装置
WO2021248564A1 (zh) * 2020-06-08 2021-12-16 厦门理工学院 一种全景大数据应用监测管控系统
US11248914B2 (en) * 2019-06-20 2022-02-15 Lyft, Inc. Systems and methods for progressive semantic mapping

Families Citing this family (45)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5601424B2 (ja) 2012-03-30 2014-10-08 ソニー株式会社 微小粒子分取装置及び該装置における流体ストリーム最適化方法
JP5924077B2 (ja) 2012-03-30 2016-05-25 ソニー株式会社 微小粒子分取装置及び微小粒子分取装置における軌道方向判定方法
US9784660B2 (en) 2013-01-28 2017-10-10 Sony Corporation Microparticle sorting device, and method and program for sorting microparticles
US9460561B1 (en) 2013-03-15 2016-10-04 Bentley Systems, Incorporated Hypermodel-based panorama augmentation
US9761045B1 (en) 2013-03-15 2017-09-12 Bentley Systems, Incorporated Dynamic and selective model clipping for enhanced augmented hypermodel visualization
US9595125B2 (en) * 2013-08-30 2017-03-14 Qualcomm Incorporated Expanding a digital representation of a physical plane
US9286718B2 (en) * 2013-09-27 2016-03-15 Ortery Technologies, Inc. Method using 3D geometry data for virtual reality image presentation and control in 3D space
CN105659069B (zh) 2013-10-16 2019-11-26 索尼公司 颗粒分取设备、颗粒分取方法与程序
US8818081B1 (en) 2013-10-16 2014-08-26 Google Inc. 3D model updates using crowdsourced video
US9704055B2 (en) * 2013-11-07 2017-07-11 Autodesk, Inc. Occlusion render mechanism for point clouds
WO2015122071A1 (ja) * 2014-02-13 2015-08-20 ソニー株式会社 粒子分取装置、粒子分取方法、プログラム及び粒子分取システム
US9430038B2 (en) 2014-05-01 2016-08-30 Microsoft Technology Licensing, Llc World-locked display quality feedback
CN106576179A (zh) * 2014-05-05 2017-04-19 哈曼国际工业有限公司 播放控制
US20160156887A1 (en) 2014-05-27 2016-06-02 Mediatek Inc. Projection processor for projective display system
CN104143212A (zh) * 2014-07-02 2014-11-12 惠州Tcl移动通信有限公司 基于穿戴设备的增强现实方法及系统
JP6657625B2 (ja) 2014-09-05 2020-03-04 ソニー株式会社 液滴分取装置、液滴分取方法及びプログラム
EP3343200B1 (en) 2015-10-19 2021-12-15 Sony Group Corporation Image processing device, microparticle separation device, and image processing method
US9652896B1 (en) * 2015-10-30 2017-05-16 Snap Inc. Image based tracking in augmented reality systems
US9984499B1 (en) 2015-11-30 2018-05-29 Snap Inc. Image and point cloud based tracking and in augmented reality systems
KR102434406B1 (ko) * 2016-01-05 2022-08-22 한국전자통신연구원 공간 구조 인식을 통한 증강 현실 장치 및 그 방법
US20170280130A1 (en) * 2016-03-25 2017-09-28 Microsoft Technology Licensing, Llc 2d video analysis for 3d modeling
JP2017187882A (ja) 2016-04-04 2017-10-12 セイコーエプソン株式会社 画像処理に用いられるコンピュータープログラム
CN111291584B (zh) * 2016-07-22 2023-05-02 创新先进技术有限公司 识别二维码位置的方法及其系统
CN106874817A (zh) 2016-07-27 2017-06-20 阿里巴巴集团控股有限公司 二维码识别方法、设备和移动终端
US10585939B2 (en) * 2016-10-11 2020-03-10 International Business Machines Corporation Real time object description service integrated with knowledge center on augmented reality (AR) and virtual reality (VR) devices
DE102016119639A1 (de) 2016-10-14 2018-04-19 Uniqfeed Ag System zur dynamischen Kontrastmaximierung zwischen Vordergrund und Hintergrund in Bildern oder/und Bildsequenzen
DE102016119640A1 (de) * 2016-10-14 2018-04-19 Uniqfeed Ag System zur Erzeugung angereicherter Bilder
DE102016119637A1 (de) 2016-10-14 2018-04-19 Uniqfeed Ag Fernsehübertragungssystem zur Erzeugung angereicherter Bilder
US10319149B1 (en) 2017-02-17 2019-06-11 Snap Inc. Augmented reality anamorphosis system
US10074381B1 (en) 2017-02-20 2018-09-11 Snap Inc. Augmented reality speech balloon system
US10387730B1 (en) 2017-04-20 2019-08-20 Snap Inc. Augmented reality typography personalization system
IT201700058961A1 (it) 2017-05-30 2018-11-30 Artglass S R L Metodo e sistema di fruizione di un contenuto editoriale in un sito preferibilmente culturale o artistico o paesaggistico o naturalistico o fieristico o espositivo
US10740974B1 (en) 2017-09-15 2020-08-11 Snap Inc. Augmented reality system
US10552665B2 (en) 2017-12-12 2020-02-04 Seiko Epson Corporation Methods and systems for training an object detection algorithm using synthetic images
US10410089B2 (en) * 2018-01-19 2019-09-10 Seiko Epson Corporation Training assistance using synthetic images
US10769437B2 (en) 2018-04-10 2020-09-08 Seiko Epson Corporation Adaptive sampling of training views
US10878285B2 (en) 2018-04-12 2020-12-29 Seiko Epson Corporation Methods and systems for shape based training for an object detection algorithm
JP7195785B2 (ja) * 2018-06-29 2022-12-26 キヤノン株式会社 ３次元形状データを生成する装置、方法、及びプログラム
US10997760B2 (en) 2018-08-31 2021-05-04 Snap Inc. Augmented reality anthropomorphization system
US10634918B2 (en) 2018-09-06 2020-04-28 Seiko Epson Corporation Internal edge verification
JP7182976B2 (ja) * 2018-09-27 2022-12-05 キヤノン株式会社 情報処理装置、情報処理方法、およびプログラム
US11030811B2 (en) 2018-10-15 2021-06-08 Orbit Technology Corporation Augmented reality enabled layout system and method
US11972529B2 (en) 2019-02-01 2024-04-30 Snap Inc. Augmented reality system
US10872459B2 (en) 2019-02-05 2020-12-22 X Development Llc Scene recognition using volumetric substitution of real world objects
CN110415331B (zh) * 2019-06-14 2022-08-19 中国电建集团昆明勘测设计研究院有限公司 一种基于点云数据的轮廓或孔洞快速检测判别和孔洞修补方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008065807A (ja) * 2006-08-11 2008-03-21 Canon Inc 指標配置情報計測装置および方法
US20080232645A1 (en) * 2002-10-22 2008-09-25 Billinghurst Mark N Tracking a surface in a 3-dimensional scene using natural visual features of the surface
CN101520849A (zh) * 2009-03-24 2009-09-02 上海水晶石信息技术有限公司 基于图像特征点提取与随机树分类的增强现实方法及系统
US20110018903A1 (en) * 2004-08-03 2011-01-27 Silverbrook Research Pty Ltd Augmented reality device for presenting virtual imagery registered to a viewed surface
CN101976464A (zh) * 2010-11-03 2011-02-16 北京航空航天大学 基于单应性矩阵的多平面动态的增强现实注册的方法

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE69823116D1 (de) * 1997-08-05 2004-05-19 Canon Kk Bildverarbeitungsverfahren und -gerät
US7680300B2 (en) * 2004-06-01 2010-03-16 Energid Technologies Visual object recognition and tracking
NO327279B1 (no) * 2007-05-22 2009-06-02 Metaio Gmbh Kamerapositurestimeringsanordning og- fremgangsmate for foroket virkelighetsavbildning
EP2201495B1 (en) * 2007-10-12 2013-03-27 MVTec Software GmbH Computer vision cad models
US8180396B2 (en) * 2007-10-18 2012-05-15 Yahoo! Inc. User augmented reality for camera-enabled mobile devices
US20100045701A1 (en) 2008-08-22 2010-02-25 Cybernet Systems Corporation Automatic mapping of augmented reality fiducials
EP2339537B1 (en) * 2009-12-23 2016-02-24 Metaio GmbH Method of determining reference features for use in an optical object initialization tracking process and object initialization tracking method
US8688443B2 (en) * 2009-12-23 2014-04-01 At&T Intellectual Property I, L.P. Multimodal augmented reality for location mobile information service
US9508191B2 (en) * 2010-07-23 2016-11-29 Pacific Data Images Llc Optimal point density using camera proximity for point-based global illumination

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080232645A1 (en) * 2002-10-22 2008-09-25 Billinghurst Mark N Tracking a surface in a 3-dimensional scene using natural visual features of the surface
US20110018903A1 (en) * 2004-08-03 2011-01-27 Silverbrook Research Pty Ltd Augmented reality device for presenting virtual imagery registered to a viewed surface
JP2008065807A (ja) * 2006-08-11 2008-03-21 Canon Inc 指標配置情報計測装置および方法
CN101520849A (zh) * 2009-03-24 2009-09-02 上海水晶石信息技术有限公司 基于图像特征点提取与随机树分类的增强现实方法及系统
CN101976464A (zh) * 2010-11-03 2011-02-16 北京航空航天大学 基于单应性矩阵的多平面动态的增强现实注册的方法

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105229672A (zh) * 2013-05-31 2016-01-06 西门子产品生命周期管理软件公司 特征的规则模式的自动检测
CN107798704A (zh) * 2016-08-30 2018-03-13 成都理想境界科技有限公司 一种用于增强现实的实时图像叠加方法及装置
CN107798704B (zh) * 2016-08-30 2021-04-30 成都理想境界科技有限公司 一种用于增强现实的实时图像叠加方法及装置
US11248914B2 (en) * 2019-06-20 2022-02-15 Lyft, Inc. Systems and methods for progressive semantic mapping
US11662212B2 (en) 2019-06-20 2023-05-30 Lyft, Inc. Systems and methods for progressive semantic mapping
WO2021248564A1 (zh) * 2020-06-08 2021-12-16 厦门理工学院 一种全景大数据应用监测管控系统
US11703820B2 (en) 2020-06-08 2023-07-18 Xiamen University Of Technology Monitoring management and control system based on panoramic big data

Also Published As

Publication number Publication date
JP5847924B2 (ja) 2016-01-27
US20120314096A1 (en) 2012-12-13
WO2012170023A1 (en) 2012-12-13
US9058687B2 (en) 2015-06-16
CN103582893B (zh) 2017-10-13
KR20130115332A (ko) 2013-10-21
KR101569600B1 (ko) 2015-11-16
JP2014520298A (ja) 2014-08-21

Similar Documents

Publication Publication Date Title
CN103582893A (zh) 用于增强现实表示的二维图像获取
CN109003325B (zh) 一种三维重建的方法、介质、装置和计算设备
US11481982B2 (en) In situ creation of planar natural feature targets
US10701332B2 (en) Image processing apparatus, image processing method, image processing system, and storage medium
EP3189495B1 (en) Method and apparatus for efficient depth image transformation
EP3446290B1 (en) Method and device for compositing an image
US8817046B2 (en) Color channels and optical markers
US20190130648A1 (en) Systems and methods for enabling display of virtual information during mixed reality experiences
JP5756322B2 (ja) 情報処理プログラム、情報処理方法、情報処理装置および情報処理システム
CN102945563A (zh) 一种全景视频的展示与交互系统及方法
JP2012221261A (ja) 情報処理プログラム、情報処理方法、情報処理装置および情報処理システム
CN103168316A (zh) 用户界面控制装置、用户界面控制方法、计算机程序以及集成电路
KR101992044B1 (ko) 정보 처리 장치, 방법, 및 컴퓨터 프로그램
US20140184596A1 (en) Image based rendering
CN104350525A (zh) 组合用于三维建模的窄基线和宽基线立体
CN108701317A (zh) 使用图像分段技术来增强与在线商务体验有关的沟通
EP3462743A1 (en) Device and method for dynamic range expansion in a virtual reality scene
US11373329B2 (en) Method of generating 3-dimensional model data
Xu et al. Robotic cross-platform sensor fusion and augmented visualization for large indoor space reality capture
WO2015185537A1 (en) Method and device for reconstruction the face of a user wearing a head mounted display
US20130033490A1 (en) Method, System and Computer Program Product for Reorienting a Stereoscopic Image
JP6405539B2 (ja) 多視点画像に対するラベル情報の処理装置及びそのラベル情報の処理方法
WO2018086960A1 (en) Method and device for transmitting data representative of an image
Zioulis et al. Monocular spherical depth estimation with explicitly connected weak layout cues
Zhang et al. An efficient method for creating virtual spaces for virtual reality

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20171013

Termination date: 20200608