CN105701790B - 用于确定摄像机相对于真实环境的至少一个对象的姿态的方法和系统 - Google Patents

用于确定摄像机相对于真实环境的至少一个对象的姿态的方法和系统 Download PDF

Info

Publication number
CN105701790B
CN105701790B CN201510393737.9A CN201510393737A CN105701790B CN 105701790 B CN105701790 B CN 105701790B CN 201510393737 A CN201510393737 A CN 201510393737A CN 105701790 B CN105701790 B CN 105701790B
Authority
CN
China
Prior art keywords
image
video camera
dummy model
data
orientation
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201510393737.9A
Other languages
English (en)
Other versions
CN105701790A (zh
Inventor
P·迈尔
S·本希马内
S·米斯林格
B·布拉赫尼茨基
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Apple Inc
Original Assignee
Apple Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Apple Inc filed Critical Apple Inc
Publication of CN105701790A publication Critical patent/CN105701790A/zh
Application granted granted Critical
Publication of CN105701790B publication Critical patent/CN105701790B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/75—Determining position or orientation of objects or cameras using feature-based methods involving models
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/2224—Studio circuitry; Studio devices; Studio equipment related to virtual studio applications
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20092—Interactive image processing based on input by user
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30244—Camera pose
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2210/00—Indexing scheme for image generation or computer graphics
    • G06T2210/04—Architectural design, interior design

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Graphics (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Computer Hardware Design (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Processing Or Creating Images (AREA)
  • Studio Devices (AREA)

Abstract

一种用于确定摄像机相对于真实环境中至少一个对象的姿态的方法，用于创作/增强现实应用中，所述方法包括：由拍摄真实环境真实对象的摄像机产生第一图像；从与所述摄像机相关联的至少一个取向传感器或从算法产生第一取向数据，所述算法分析所述第一图像以找到并确定表示所述摄像机取向的特征；分配摄像机到真实对象的距离；产生表示所分配距离的距离数据；利用所述距离数据和所述第一取向数据确定所述摄像机相对于与所述真实环境的真实对象相关的坐标系的姿态。可以以更少的处理要求和/或更高处理速度，在移动装置中执行，移动装置例如是具有显示器、摄像机和取向传感器的移动电话。

Description

用于确定摄像机相对于真实环境的至少一个对象的姿态的方 法和系统
本申请为分案申请，其原申请是于2011年10月12日(国际申请日为2010年2月12日)向中国专利局提交的专利申请，申请号为201080016314.0，发明名称为“用于确定摄像机相对于真实环境的至少一个对象的姿态的方法和系统”。
技术领域
本发明涉及用于确定摄像机相对于真实环境的至少一个对象的姿态的方法和系统，用于创作中，例如，用于地球空间数据库或增强的现实应用，其中由拍摄真实环境真实对象的摄像机产生至少一幅或两幅图像。根据所确定的摄像机姿态，可以根据创作或增强的现实技术，利用虚拟对象增强一幅或多幅图像。
背景技术
已知有这样的应用，其利用所谓的增强现实(AR)技术以虚拟对象增强至少在摄像机上产生的图像。在这样的应用中，耦合到诸如微处理器的处理单元的摄像机拍摄真实环境的画面，其中在显示屏上显示真实环境，除真实环境之外还可以显示虚拟对象，从而利用显示屏上任何种类的虚拟对象增强显示屏上显示的真实环境。在这样的应用中，为了利用虚拟对象增强图像，需要微处理器确定摄像机相对于真实环境至少一个对象的位置和取向(所谓的姿态)，以便微处理器正确地利用任何虚拟对象增强拍摄的图像。在这种语境中，利用任何虚拟对象正确地增强拍摄图像意味着，显示虚拟对象，使得虚拟对象以透视上和尺度上正确的方式拟合到图像景色中。
用于确定摄像机姿态的一种已知方法利用的是摄像机拍摄的真实环境对应部分的虚拟参考模型，其中利用开始就知道的姿态近似值将虚拟参考模型投射到图像中并与真实环境的对应部分重叠。然后，图像处理跟踪算法使用虚拟参考模型判断摄像机相对于真实环境的姿态，例如，通过特征检测和参考模型和真实环境对应部分之间的比较。
用于确定摄像机姿态的另一种已知方法使用了放入真实环境中并在拍摄图像时被摄像机拍摄的标记。然后，图像处理跟踪算法使用该标记，尤其是利用已知的图像处理方法分析图像中的标记，以确定摄像机相对于真实环境的姿态。
上述方法的缺点是，必须首先构思并存储虚拟参考模型，这非常消耗时间和资源，如果能够在任何真实环境中自发地使用AR技术，这几乎是不可能的。对于使用标记，用户必须在拍摄图像之前在起始步骤中在真实环境中放置标记，这也非常耗时且麻烦。具体而言，出于这些原因，几乎不能将这些方法用于任何消费产品，例如具有集成摄像机和显示器的移动电话或其他移动装置。
此外，从现有技术知道有所谓的来自运动和同时定位和跟踪(SLAM)方法的结构。所有这些方法都用于确定摄像机相对于真实世界或真实世界一部分的位置和取向(姿态)。如果预先没有可用的信息，在一些情况下，不可能确定摄像机相对于真实世界或真实世界一部分的绝对姿态，而仅确定摄像机姿态从特定时间点开始的变化。在上述应用中，可以使用SLAM方法得到距平点的取向，但缺点是不能确保识别出地平面或某个其他平面。此外，利用这样的方法，通过沿例如10cm距离平移摄像机并向系统传送所涵盖的距离，仅可以得到初始比例尺。此外，SLAM方法需要在不同摄像机姿态下拍摄的至少两幅图像(所谓的帧)以及校准的摄像机。在如下文献中披露了另一种已知的技术：Gerhard Reitmayr，TomW.Drummond，“Initialisation for Visual Tracking in Urban Environments”，Engineering Department Cambridge，University Cambridge，UK(Reitmayr，G.和Drummond，T.W.(2007)，Initialisation for Visual Tracking in Urban Environmentsin：6th IEEE and ACM International Symposium on Mixed and Augmented Reality(ISMAR 2007)，13-16Nov 2007，Nara，Japan)。基于模型的跟踪系统与测量3D转速、3D加速度和3D磁场强度的传感器组件集成，以在快速移动时更加鲁棒并具有通过重力和磁场传感器的绝对取向参照系。利用针对摄像机姿态动力学的恒速模型，与标准的扩展卡尔曼滤波器进行传感器融合。利用SCAAT型方法(Greg Welch和Gary Bishop.Scaat：incrementaltracking with incomplete information，Proc.SIGGRAPH'97，pages 333-344，New York，NY，USA，1997。ACM Press/Addison-Wesley Publishing Co.)中的单一测量功能结合不同的输入，例如来自跟踪系统的摄像机姿态或来自传感器的测量结果。
在Gerhard Reitmayr，Tom W.Drummond的“Robust Model-based Tracking forOutdoor Augmented Reality”中披露了另一项技术(Gerhard Reitmayr和Tom Drummond，Going Out：Robust Model-based Tracking for Outdoor Augmented Reality，Proc.IEEEISMAR'06，2006，Santa Barbara，California，USA)。跟踪系统依赖于要跟踪的景色的3D模型。在此前的系统中，3D模型描述了凸角边缘和封闭面。使用摄像机姿态的先验估计，将这个3D模型投射到针对每帧的摄像机视图中，计算边缘的可见部分。
因特网上还有另一种应用称为“mydeco”，其中可以利用虚拟对象增强显示真实环境的图像。不过，这种系统需要设置地平面的旋转，对于用户而言这相当麻烦。
在Petri Honkamaa，Jani Jaeppinen，Charles Woodward的“A LightweightApproach for Augmented Reality on Camera Phones using 2D Images to Simulate3D”(ACM International Conference Proceeding Series；Vol.284，Proceedings of the6th international conference on Mobile and ubiquitous multimedia，OuIu，Finland，Pages 155-159，Year of Publication：2007，ISBN：978-1-59593-916-6)中，描述了使用人工交互进行初始化，尤其是借助于参考模型和用户对其操控，是一种适当的方式，因为对于用户而言跟踪初始化是一项容易的任务，但使其自动化会需要事先了解环境、相当强的处理能力和/或额外的传感器。此外，这种交互方案与环境无关，可以在“任何时候，任何地方”应用。
在US 7,002,551中，公开了一种用于提供光学透视增强现实比例尺修改显示的方法和系统。它包括传感器套装，包括罗盘、惯性测量单元和视频摄像机，用于精确测量用户当前的取向和角旋转速率。可以包括传感器融合模块以产生对用户角旋转速率和当前取向的统一估计，提供给取向和速率估计模块。取向和速率估计模块以静态或动态(预测)模式工作。绘图模块接收取向；绘图模块使用该取向、来自位置测量系统的位置以及来自数据库的数据在光学显示器中绘示对象处于其正确取向和位置的图形图像。位置测量系统可有效地进行位置估计，用于产生对象的计算机产生图像，以与实景合并，该系统与绘制模块连接。位置测量系统的范例是差分GPS。因为用户正在观看距离相当远的目标(例如通过双筒望远镜)，所以由于位置测量系统中的位置误差导致的配准误差得到最小化。
因此，有益的是，提供一种方法和系统，用于确定摄像机相对于真实环境的至少一个对象的姿态，用于创作或增强现实应用中，可以利用更少的处理要求和/或以更高的处理速度执行其，更具体而言，提供事先无需对环境了解太多而创作3D对象的方法，在必要时，能够集成用户的交互以服务于姿态估计。
发明内容
本发明的实施例包括以下方面。在第一方面中，提供了一种用于确定摄像机相对于真实环境中至少一个对象的姿态的方法，用于创作或增强现实应用中，包括以下步骤：由拍摄真实环境真实对象的摄像机产生至少一个第一图像；从与所述摄像机相关联的至少一个取向传感器或从算法产生第一取向数据，所述算法分析所述第一图像以找到并确定表示所述摄像机取向的特征；提供用于分配摄像机到第一图像中显示的真实环境第一对象的距离的模块，所述模块产生表示所分配的摄像机到第一对象的距离的距离数据，并利用距离数据和第一取向数据确定摄像机相对于与真实环境的第一对象相关的坐标系的姿态。
在第二方面中，提供了一种用于确定摄像机相对于真实环境中至少一个对象的姿态的方法，用于创作或增强现实应用中，包括以下步骤：由拍摄真实环境对象的摄像机产生至少一个图像；在图像显示模块上显示图像；从与所述摄像机相关联的至少一个取向传感器或从算法产生取向数据，所述算法分析所述图像以找到表示所述摄像机取向的特征；提供被显示为与所述图像中的真实环境叠加的虚拟参考模型，并从所述虚拟参考模型产生距离数据，所述距离数据表示所分配的所述摄像机到对象的距离；以及利用所述距离数据和所述取向数据确定所述摄像机相对于与所述真实环境的对象相关的坐标系的姿态。
根据另一方面，提供了一种用于确定摄像机相对于真实环境中至少一个对象的姿态的方法，用于创作或增强现实应用中，包括以下步骤：由拍摄真实环境对象的摄像机产生至少一个图像；从与所述摄像机相关联的至少一个取向传感器或从算法产生取向数据，所述算法分析所述图像以找到并确定表示所述摄像机取向的特征；提供与所述摄像机相关联的测量装置，用于测量至少一个表示所述摄像机和所述对象之间的距离的参数；以及基于至少一个参数和所述取向数据确定所述摄像机相对于与所述真实环境的对象相关的坐标系的姿态。
根据另一方面，提供了一种用于确定摄像机相对于真实环境中至少一个对象的姿态的方法，用于创作或增强现实应用中，包括：由拍摄真实环境真实对象的摄像机产生至少一个第一图像；从与所述摄像机相关联的至少一个取向传感器或从算法或通过用户交互产生第一取向数据，所述算法分析所述第一图像以找到并确定表示所述摄像机取向的特征；提供用于分配摄像机到第一图像中显示的真实环境真实对象的距离的模块，所述模块产生表示所分配的摄像机到真实对象的距离的距离数据，并利用距离数据和第一取向数据确定摄像机相对于与真实环境的真实对象相关的坐标系的姿态。该方法继续进行：由拍摄所述真实环境真实对象的摄像机产生第二图像；从所述第一图像和所述第二图像提取至少一个相应特征，并匹配相应特征，以提供表示所述第一图像和所述第二图像之间对应关系的至少一个关系；提供所述摄像机相对于所述第一图像中真实对象的姿态，并利用所述摄像机相对于所述第一图像中真实对象的姿态和所述至少一个关系确定所述摄像机相对于所述第二图像中真实对象的姿态；以及从所述第一图像和所述第二图像提取至少一个相应特征，用于确定第一和第二图像中的地平面并移动放置坐标系以定位在所述地平面上。
一种用于确定摄像机相对于真实环境中至少一个对象的姿态的系统，用于创作或增强现实系统中，可以包括以下部件和特征：至少一个用于产生至少一个图像的摄像机，所述摄像机拍摄真实环境的至少一个对象；用于显示图像的图像显示装置；用于从与所述摄像机相关联的至少一个取向传感器或从算法产生取向数据的模块，所述算法分析所述图像以找到并确定表示所述摄像机取向的特征，特别是与摄像机相关联的至少一个取向传感器用于产生摄像机的取向数据；以及与摄像机和图像显示装置耦合的处理装置。布置处理装置以与摄像机和图像显示装置交互，执行以下步骤：提供被显示为与所述图像中的真实环境叠加的虚拟参考模型，并从所述虚拟参考模型产生距离数据，所述距离数据表示所分配的所述摄像机到对象的距离；以及经由用户接口接收用户指令，用于由用户在所述至少一个图像之内的特定位置放置所述参考模型，从而操控所述参考模型；以及利用所述距离数据和所述取向数据确定所述摄像机相对于与所述真实环境的至少一个对象相关的坐标系的姿态。
另一种用于确定摄像机相对于真实环境中至少一个对象的姿态的系统用于创作或增强现实系统中，可以包括以下部件和特征：至少一个用于产生至少一个图像的摄像机，所述摄像机拍摄真实环境的至少一个对象；用于从与所述摄像机相关联的至少一个取向传感器或从算法产生取向数据的模块，所述算法分析所述图像以找到并确定表示所述摄像机取向的特征，特别是与摄像机相关联的至少一个取向传感器用于产生摄像机的取向数据；以及与所述摄像机相关联的测量装置，用于测量所述摄像机和所述至少一个对象之间的距离；以及与摄像机耦合的处理装置，其中处理装置布置成从实测距离产生距离数据，并利用距离数据和取向数据确定摄像机相对于与真实环境的至少一个对象相关的坐标系的姿态。
例如，该系统包括在移动装置中，其中移动装置可以是移动电话。
本发明可以利用如下事实：当前很多移动电话提供了增强现实(AR)所需的各种部件，例如高分辨率摄像机和显示器、加速度计、取向传感器、GPS、通过WLAN和/或无线电链路的无线连接。
从以下实施例的公开，本发明的其他方面、实施例和有利特征会显而易见。
附图说明
现在将结合例示了本发明各实施例的附图更详细地描述本发明。
图1示出了利用参考模型的根据本发明实施例的方法的流程图例示。
图2示出了从用户角度看来，利用根据图1的过程中的参考模型的实施例的示意图。
图3示出了根据本发明的系统和示范性场景的实施例示意图。
图4示出了根据本发明的系统和示范性场景的实施例另一示意图。
图5示出了利用虚拟对象增强的图3场景的示意图。
图6示出了用于计算摄像机拍摄的图像中的放置坐标系的根据本发明方法实施例的流程图例示。
图7示出了计算线条取向的图。
图8示出了在有两幅或更多摄像机拍摄的图像时，用于计算地面坐标系的根据本发明方法另一实施例的流程图例示。
图9-12示出了执行图8所示过程时的示范性图像。
具体实施方式
在图3、4和5中，示出了根据本发明系统实施例和示范性场景的示意图。具体而言，图3示出了系统1，其中用户(未示出)手持移动装置10，其结合或组合了摄像机11，用于产生现实世界的至少一幅图像30，例如，包含如图所示的真实对象31、32。根据特定范例，真实对象31、32可以是桌子和柜子，放在具有地平面35的房间中，摄像机11拍摄真实环境的图像，以在显示屏20上显示。也可以将地平面视为真实对象。在确定姿态之后，为真实环境提供坐标系33，例如图3所示。此外，摄像机11与图像显示模块20耦合，例如并入移动装置10中的触摸屏。不过，可以使用适于向用户显示图像的任何其他图像显示模块，例如头戴式显示器或任何其他类型的移动或固定显示装置。此外，处理装置13与移动装置10连接或并入其中，处理装置13可以是例如微处理器。在本范例中，移动装置10还结合了取向传感器12或与之耦合。在特定应用中，移动装置可以是具有集成的取向传感器12、摄像机11、触摸屏20和处理装置13的移动电话。不过，出于本发明的目的，也可以将部件分布和/或用于不同应用中。此外，它们可以通过有线或无线的方式彼此耦合。
系统1用于确定摄像机相对于真实环境的至少一个对象的姿态，用于创作或增强现实系统中。在显示模块20上，可以利用虚拟对象，例如如图5所示，通过根据摄像机的姿态显示与图像30中的真实环境叠加的虚拟对象40来增强真实环境的图像。摄像机的姿态(包括位置和取向数据)可以是，例如相对于真实对象31的姿态。为此，可以相对于图3所示的坐标系33确定姿态，坐标系又与相应对象31相关联。
在下文中，将结合如图1和图6中所示的流程图描述根据本发明的过程的实施例。具体而言，布置处理装置13以与摄像机11和图像显示装置20交互，执行以下步骤：
在步骤1.0中，摄像机11拍摄真实环境的第一图像，例如，如图3所示。至少一个取向传感器12与摄像机11相关联，用于在步骤2.0中产生摄像机的取向数据。不过，应当指出，在任何情况下，取向传感器都不是必需的。相反，可以从算法替代地或额外地产生取向数据，该算法分析第一图像，以发现并确定表示摄像机取向的特征。本领域技术人员将认识到，这样的算法是本领域公知的，例如，Zu Whan Kim的文章“Geometry of VanishingPoints and its Application to External Calibration and Realtime PoseEstimation”(2006年7月1日)中公开的“Orientation from lines(线条取向)”，Instituteof Transportation Studies，Research Reports，Paper UCB-ITS-RR-2006-5。
图2A-2D示出了与图3-5先前所述场景不同的场景。在图2中，图2A、2B所示的图像对应于摄像机拍摄的第一图像，例如如前所述的第一图像30。图2C，2D显示了下文更详细所述的由相同或不同摄像机拍摄的相应第二图像60。为了反映图像与相应第一和第二图像的对应关系，结合不同场景使用与第一图像(30)和第二图像(60)相同的附图标记。
通常，根据本发明，用于向图像30中显示的真实对象31分配摄像机11的距离的模块产生距离数据，距离数据表示所分配的摄像机11到真实对象31的距离。根据图1中的步骤3.0，提供用于分配摄像机到真实对象的距离的模块包括提供虚拟参考模型，在第一图像30中虚拟参考模型被显示为与真实环境叠加。参考对象的初始距离可以是固定值(例如2.5米)和距离传感器提供的距离之一。例如，如图2A所示，根据取向传感器12提供的取向在图像30中放置参考模型50。参考模型50(可以是任何种类的虚拟模型)的尺度，例如其高度、宽度或深度，是该系统已知的。
一种实施方式可以包括：平行于取向平面平移参考模型或利用平行于平行于平面法线的轴向参考模型施加旋转或沿着由摄像机中心和已放置的对象质心定义的线移动参考模型(允许增大或减小图像中参考对象的尺寸)。
结合步骤4.0，系统正在接收用户的指令，用于由用户操控参考模型50，参考模型的操控包括如下至少一种：在平面上第一图像30之内的特定位置移动参考模型50，该平面至少部分由取向数据定义；以及改变参考模型50的尺度或变量，例如移动参考模型50和/或改变参考模型50的高度(在图1中，表示为移动和缩放参考模型)。
在下一步中，利用虚拟参考模型50，由其利用图像30中实际显示的其参数，例如高度，确定摄像机11和真实对象31之间的距离数据。就此而言，系统假设用户已在图像之内正确放置了参考模型50，使得参考模型50的比例对应于图像30中真实对象31、32的比例。从参考模型50的尺度，考虑到固有摄像机参数，可以导出摄像机11和真实对象31之间的距离。然后利用来自步骤4.0的距离数据和来自步骤2.0的取向数据确定摄像机11相对于真实对象31(或相对于与对象31相关联的坐标系33)的姿态。根据其最终位置和取向，参考模型50界定坐标系33的位置和取向。根据步骤5.0，根据确定的摄像机姿态，将图2B或图5所示的至少一个虚拟对象40与第一图像30中的真实环境叠加。如图2B所示，可以取消参考模型50。
用户操控参考模型50可以包括以下步骤中的至少一个：使用两个手指，借助触摸屏触摸参考模型，使手指彼此远离以增大尺寸，使手指彼此靠近以减小参考模型的尺寸(在具有来自传感器的距离测量结果时，这可能不是必要的)，使用两个手指，借助于触摸屏触摸参考模型，彼此相对地旋转手指，以绕着垂直于地平面的轴旋转参考模型，利用至少一个手指触摸参考模型，并移动手指以在平面上移动参考模型。
在取向传感器表示摄像机的视轴取向接近平行于地面或向上看时，可以决定激活以替代以上交互方法的另一种交互可能是这样的方法：其中，用户操控参考模型可以包括以下步骤中的至少一个：
-使用两个手指，借助触摸屏触摸参考模型，使手指彼此远离以使模型更接近观看者，移动发生于假定的地平面上并平行于假定的地平面与包含摄像机中心的平面的交叉线，摄像机坐标系中的x为零。
-使用两个手指，借助触摸屏触摸参考模型，使手指彼此靠近以使模型远离观看者，移动发生于假定的地平面上并平行于假定的地平面与包含摄像机中心的平面的交叉线，摄像机坐标系中的x为零。
-使用两个手指，借助触摸屏触摸参考模型，并彼此相对地旋转手指，以便绕着垂直于假定地平面的轴旋转参考模型。
-利用至少一个手指触摸参考模型并上下移动手指，以便平行于假定地平面的法线移动参考模型。
-利用至少一个手指触摸参考模型并左右移动手指，以便在假定地平面上并平行于假定地平面和包含摄像机中心的平面的交叉线移动参考模型，摄像机坐标系中的y为零。
根据另一实施例，提供用于分配摄像机11到真实对象31的距离的模块包括提供与摄像机11相关联的测量装置，例如距离传感器，用于测量表示摄像机11和真实对象31之间距离的至少一个参数，其中基于该至少一个参数产生距离数据。例如，测量装置包括以下装置之一：由摄像机的聚焦单元、距离传感器、至少一个飞行时间摄像机和/或一个或多个立体摄像机提供的距离。
根据图3的实施例，测量装置14可以与摄像机11相关联，用于测量摄像机和对象31之间的距离。与摄像机11耦合的处理装置13被布置成从实测距离产生距离数据，并利用距离数据和取向数据确定摄像机相对于对象31的初始姿态。可以依据在地平面上的位置以及绕平行于平面法线的轴的旋转细化初始姿态。就此而言，图4示出了在知道与聚焦对象(在图4中与桌子31不同)的距离以及描述取向传感器提供的地平面法线的两个角度的情况下，如何确定摄像机11的姿态的范例。生成描述平面相对于摄像机旋转的旋转矩阵的一种可能是将第一矩阵列设置为重力矢量(可以由取向传感器提供)。将第二矩阵矢量设置为与垂直于重力矢量的平面平行的任意矢量。可以利用两个其他列的矢量积获得第三矩阵列。所有列都应当被归一化。
在本发明的实施例中，该方法还包括提供表示摄像机绕垂直于地平面的轴的旋转的参数，例如，由旋转传感器或罗盘提供(在图6中表示为z旋转)。这使得如上所述的第二矩阵矢量不是任意的。一开始可以正确地对模型取向，该模型与地球坐标系，例如表示北的标志相关。
在另一种方法中，提供用于分配摄像机11到真实对象31的距离的模块可以包括提供至少一个参数并使用固有的摄像机参数，其表示图像30中可见的真实环境两个特征间的距离，例如桌子31的桌腿和柜子32的一个边缘之间的距离。另一种有帮助的范例是提供位于地平面上的两个特征的距离。在适当的图像处理算法示出探测到的特征且用户从其对真实环境的了解提供距离之后，可以由用户以交互的方式提供该参数。
也可以通过任何适当方式组合用于提供分配摄像机11到真实对象31的距离的模块的任何上述方式。
如图3所示，使用距离数据和取向数据确定图像30中的至少一个放置坐标系，例如坐标系33，其中相对于放置坐标系33使至少一个虚拟对象40与真实环境叠加。在仅有一幅图像时，没有例如指向地的距离传感器，系统可能无法精确确定用于分配其上的对应坐标系的地平面。就此而言，假设放置坐标系33大致为地坐标系。如下文更详细所述，可以利用从摄像机不同姿态拍摄的相同场景的第二图像确定地平面，从而确定地坐标系。
参考图5，示出了与真实环境叠加的虚拟模型40，应当指出，虚拟模型40也可以充当上文参考图2A所述的参考模型50。
在图像30所示的房间中叠加虚拟模型40，用户可以获得如果在现实世界的房间中放入真实的沙发将如何与虚拟模型40对应的印象。因此，用户可以使用其移动电话拍摄图像并利用任何种类的虚拟对象增强图像，其中技术人员知晓各种应用。另一种应用例如可以是：在现实世界的图画中放置对象并具有摄像机的GPS位置和绝对取向，利用本发明确定虚拟模型40的姿态，允许馈送定位在地球上的对象的全局数据库，像Earth。
在图6中，如上所述，更详细地示出了上述过程。在初始化步骤中，一开始假设参考模型50的距离。根据用户的主观印象在平面(平面平行于地平面)上移动参考模型50和/或改变参考对象的尺度/参数，可以确定必要的平移数据。
参考图更详细地解释了用于确定摄像机取向而不利用取向传感器的遵循“线条取向”方式的算法：
隐没点是平行线交叉点的图像。令vx、vy、vz为隐没点，vx为“无穷远点Ix＝(1,0,0,0)”的图像(x轴)，vy为“无穷远点Iy＝(0,1,0,0)”的图像(y轴)，vz为“无穷远点Iz＝(0,0,1,0)”的图像(z轴)。此外，令vx的齐次坐标为vx＝[u1，v1，w1]＝K*[R t]*Ix。可以利用inv(K)*vx并随后将其归一化到1获得矩阵R的第一列。此外，令vy的齐次坐标为vy＝[u2，v2，w2]＝K*[R t]*Iy。可以利用inv(K)*vy并随后将其归一化到1获得矩阵R的第二列。最后，令vz的齐次坐标为vz＝[u3，v3，w3]＝K*[R t]*Iz。可以利用inv(K)*vz并随后将其归一化到1获得矩阵R的第三列。如果vx、vy和vz中仅有两个点可用，那么仍然能够使用矢量积计算第三个，例如vz＝vx^vy。参见Z.Kim，“Geometry of vanishing points and itsapplication to external calibration and realtime pose estimation”，Inst.Transp.Stud.，Res.Rep.UCB-ITS-RR-2006-5，Univ.Calif，Berkeley，CA，2006，获取更多细节。
根据图8，将更详细地解释根据同一场景但从不同姿态拍摄的至少一个第二图像或更多图像计算地坐标系的方法。
该方法包括由摄像机(可以是与拍摄第一图像的摄像机相同或不同的摄像机，其固有参数也是已知的)产生第二图像60的步骤，该摄像机从不同姿态拍摄真实环境的真实对象(例如，图像30的对象31)。
在下一步骤中，提取来自第一图像30和第二图像60的至少一个相应特征，其中匹配相应特征以提供表示第一图像和第二图像之间对应关系的至少一个关系(在图8中在步骤A2中该关系表示为“基本矩阵”，根据比例尺定义该矩阵(要获得更多细节，参见MultipleView Geometry In Computer Vision第11章，第二版，Richard Hartley和AndrewZisserman，Cambridge University Press，March 2004)在步骤B5中确定表示为“α”的Te比例尺)。根据步骤A1，可以使用从拍摄第二图像时的新姿态导出的第二取向数据减少所需特征的量或检查基本矩阵的结果。结果，第一图像的放置坐标系33可以过渡到第二图像。
当然可以利用取向传感器支持基本矩阵的计算，减少所需特征匹配的量。
在下文中，更详细地解释缺失“α”的计算：
从第一图像(图像1)和第二图像(图像2)之间的点对应关系，能够构建出基本矩阵：
F＝K2-T[t]x RK-1
其中K1是采集第一图像的摄像机的摄像机固有参数矩阵，K2是采集第二图像的摄像机的固有参数矩阵，t是两个摄像机视图之间的平移，R为旋转。
令p1和p2为图像1和图像2中的两个对应点，它们证实了：
p2T Fp1＝0
因此F是按比例定义的。有了K和F，可以得到成比例的实质矩阵
E＝[t]x R
可以从点对应关系直接计算实质矩阵。因此，为了得到成比例的平移t和旋转R(要获得更多信息，参见B.Horn：Recovering baseline and orientation from essentialmatrix，Journal of the Optical Society of America，January1990)。既然在两幅图像中都可见到平面，就可能计算出单应性，其将图像1中这个平面上的每个点转换成图像2中的其对应点。可以将单应性写为：
G＝K2(R+t/d nT)Kl-1
其中n为第一摄像机视图中表达的平面的法向矢量，是第一视图的摄像机中心和平面之间的距离。如果我们知道两幅图像包含该平面且该平面具有很多特征点，检测位于平面上的点非常容易，例如：验证同一单应性的最大点集。另一种可能是探测平面以从对应关系重构3D点并找到包括大数量3D点的平面(任选地，接近平行于从权利要求1中的取向的平面，例如，以减小搜索空间并改进鲁棒性)。从单应性G，能够(再次)得到R，并能够得到t/d，能够得到n(利用OD Faugeras，F Lustman的Motion and Structure From Motion in aPiecewise Planar Environment的算法，Intern.J.of Pattern Recogn.andArtific.Intelige.，Vol.2，No.,3.(1988)，pp.485-508)。
由此可以看到要解决的问题，有了t的尺度将得到d，有了d将得到t的尺度(“α”)。两个视图之间的平移(车中的里程表或GPS…)会给出t的尺度。一个特征p1的距离给出了这个特征的深度z，我们知道：
z p1＝K1[x y z]
-在p在该平面上时，我们有
nT[x y z]＝d,这意味着d＝z nTKl-1pl.
-在p1不在平面上时，需要求解
K2(z RKl-1p1+alpha t0)＝beta p2
其中t0是与真实平移共线的矢量，范数等于1，未知数为α和β，非常容易找到解(方程比未知数多)。
两个特征X＝[x y z]和X'＝[x'y'z']之间的距离允许得到t的尺度：
实际上给出了||X-X'||＝||zKl-1p1-z'Kl-1p1p1'||。利用方程
K2(Z RKl-1p1+alpha t)＝beta p2
能够表达z和z'，使得z＝Aα且z'＝A'α，其中A仅取决于K，R，t(成比例),p1和p2，而A'仅取决于K1，K2，R，t(成比例)，p1'和p2'(这些参数或者是假设给出的或者是上文计算的)。
alpha＝||X-X'||/||A-A’||
在步骤C1中，从对第一图像的先前处理提供摄像机相对于第一图像中真实对象的姿态，使用摄像机相对于第一图像中真实对象的姿态和至少一个关系确定摄像机相对于第二图像中真实对象的姿态，至少一个关系即基本矩阵和“α”，用于确定姿态的平移参数tx，ty，tz，由定义摄像机位置和取向的参数tx，ty，tz，rx，ry，rz(“t”代表平移，“r”代表三个不同维度上的旋转参数)构成。
具体而言，使用针对第一图像记录的距离数据和第一取向数据确定第一图像中的至少一个放置坐标系(例如坐标系33)及其在第一图像中的位置和取向(如上所述)，其中基本矩阵和“α”用于为第二图像中的放置坐标系分配对应于第一图像中相应位置和取向的位置和取向。在图2C中示出了这种情况，其中，第二图像60(根据“转换”的放置坐标系33定位)中示出了图2A中的参考模型50(根据放置坐标系33定位)，位置和取向对应于第一图像30中的相应位置和取向(即，参考模型的后方转向第一图像30中的壁)。
根据实施例，提供至少一个关系(基本矩阵和α)的步骤还可以包括一种或多种以下步骤：
提供至少一个表示拍摄第一图像和第二图像之间摄像机运动的参数(步骤B1)。例如，在步骤B1中提供至少一个参数可以包括提供拍摄第一图像时摄像机的第一位置参数和拍摄第二图像时摄像机的第二位置参数，位置参数是由定位系统或探测器，例如用户GPS的探测器产生的。可以由卫星定位系统、无线网络定位机构、移动电话蜂窝位置机构和高度测量装置，例如高度计，中的至少一种产生第一和第二位置参数中的至少一个。注意，(来自tx，ty，tz的)一个平移尺度的测量值或t的范数注意求解α。
提供至少一个表示在第一和第二图像中都可见的真实环境两个特征间距离的参数(步骤B2)。任选地，可以应用参考模型50给出的尺度生成的2D-3D对应(任选地，假设参考模型在一个平面上)(步骤B3)向步骤B2提供输入。
通过假设它们在平面上并假设参考模型50位于平面上来提供至少一个表示在图像之一中都可见的真实环境两个特征间距离的参数(步骤B2)，参考模型的尺度为两个特征之间的距离提供尺度。
而且，可以查询摄像机之一的位置附近特征(包括3D位置或特征距离)的数据库，获得图像之一中的特征和数据库中特征之间的特征对应关系。可以利用在已知姿态拍摄的图像源生成这个数据库，像Streetview。匹配来自两个位置的重叠图像的特征并使用上述机制。
提供至少一个表示真实环境的至少一个特征(在两幅图像中都匹配)和一个摄像机之间距离的参数(步骤B4)。例如，所提取的靠近摄像机投影中心或接近距离测量单元的特征是瞄准。
此外，在步骤C1中，在第二图像中放置了放置坐标系(位置和取向对应于第一图像中的相应位置和取向)之后，确定两幅图像中相对于放置坐标系的姿态。此外，确定两幅图像中所有匹配的特征对应关系的3D位置。在步骤C2中，利用上文所述的特征3D位置或利用单应性约束，可以确定主平面，例如地平面。
继续步骤C3，例如，通过沿着平面法线移动，将第一图像中的放置坐标系定位在地平面上。
图9-12示出了与前述场景不同的场景。在图9-12中，图9-11所示的图像对应于摄像机拍摄的第一图像，于是像前述场景那样，利用附图标记30表示。另一方面，图12示出了由同一或不同摄像机拍摄的与前述第二图像60对应的第二图像。
转到步骤C4，如图9-12所示，该方法前进到根据第一图像中确定的放置坐标系33a将至少一个虚拟对象(例如，图9中的对象71a，可以是参考模型或要与现实世界叠加的任何虚拟对象)与真实环境叠加。之后，根据现在位于第一图像中先前确定的地平面上的放置坐标系33a(在将坐标系33a移动到所确定的地平面之后，现在被显示为图9中的对象71b，新定位的坐标系表示为33b)将虚拟对象与真实环境叠加。该过程继续进行，沿着地平面移动放置坐标系33b(换言之，调节x，y)。如图10所示，在地平面上移动并定位放置坐标系33b，使得根据第一图像中的(原始)放置坐标系33a的虚拟对象(对象71a)的投影基本等于或接近(即，基本对应于)根据在地平面上移动并定位的放置坐标系33b的虚拟对象(对象71b)的投影。如图11所示，该过程可以继续，任选地缩放虚拟对象71b(即，改变尺度，例如其高度)，使其对应于用户一开始在第一图像30中放置的虚拟对象(对象71a)的原始尺度。
另一种实现这一目的的可能性是从摄像机中心在对象一点(例如位于下部)上发射射线。下一步是使射线与平面相交。然后，最后，绘制虚拟对象，使得该点与交点重叠。
可以针对所有放置的虚拟对象逐一进行校正对象位置的过程，未必改变放置坐标系，但改变虚拟模型与放置坐标系的关系(tx，ty，tz，rx，ry，rz)。
如图12所示，现在根据第二图像60中地平面上移动的放置坐标系将虚拟对象71b与真实环境叠加，其中图12示出，可以从实际的地平面位移第一图像30中假设的放置坐标系。
应当指出，可以在背景中执行虚拟对象71a、71b的叠加，即不在显示屏上显示，而是仅仅在算法中叠加，用于确定在地平面上正确定位的最终放置坐标系。可以在任意其他图像中使用这一地平面，用于将任何虚拟对象与真实环境叠加，不管其他图像的相应远景如何。
尽管已经参考示范性实施例描述了本发明，但本领域的技术人员将理解，可以进行各种改变，可以用等价元件替代其元件而不脱离本发明的范围。此外，可以做出很多修改以针对本发明的教导调整特定状况或材料，而不脱离其实质范围。因此，意在本发明不限于公开的具体实施例，而是本发明将包括落在所附权利要求范围之内的所有实施例。

Claims (18)

1.一种用于将虚拟模型与真实环境重叠的方法，包括：
从摄像机接收描绘真实环境的第一图像；
生成描述参考坐标系内的到3D平面的法向矢量的第一取向数据；
在所述参考坐标系内的第一位置处放置虚拟模型，其中，所述虚拟模型表示对象；
确定第一位置数据，所述第一位置数据指示所述参考坐标系内的所述3D平面的位置；
将所述虚拟模型移动到所述参考坐标系中的第二位置，所述第二位置放置在由所述第一取向数据和所述第一位置数据定义的所述3D平面上；
修正所述虚拟模型的尺度以生成已修正的虚拟模型，以使所述虚拟模型从所述第一位置到所述第一图像上的第一投影大体上等于已修正的虚拟模型从所述第二位置到所述第一图像上的第二投影；以及
通过将已修正的虚拟模型从所述第二位置投影到所述真实环境的第二图像上来生成所述真实环境的所述第二图像的已修正版本。
2.根据权利要求1所述的方法，其中，与拍摄所述第二图像相关联的摄像机姿态不同于与拍摄所述第一图像相关联的摄像机姿态。
3.根据权利要求1所述的方法，其中，修正所述虚拟模型的所述尺度包括缩放所述虚拟模型的尺寸。
4.根据权利要求1所述的方法，其中，所述第二图像接收自与所述摄像机不同的额外摄像机。
5.根据权利要求1所述的方法，其中，所述第二图像接收自所述摄像机。
6.根据权利要求1所述的方法，其中，所述第一取向数据是基于从与所述摄像机相关联的取向传感器接收到的数据或第一图像的特征生成的。
7.根据权利要求1所述的方法，其中，所述3D平面平行于地球地平面。
8.根据权利要求1所述的方法，其中，所述第一位置数据是基于从与所述摄像机相关联的距离传感器接收到的数据确定的。
9.根据权利要求1所述的方法，其中：
所述参考坐标系与所述摄像机拍摄所述第一图像的位置相关联；或者
所述参考坐标系与所述真实环境的至少部分相关联。
10.根据权利要求1所述的方法，其中，根据所述第一取向数据将所述虚拟模型放置在所述参考坐标系内的所述第一位置。
11.根据权利要求1所述的方法，还包括：使用与所述摄像机相关联的取向传感器产生与所述第二图像相关联的第二取向数据。
12.根据权利要求1所述方法，其中，所述第一位置数据是基于所述第一图像的特征和所述第二图像的特征确定的。
13.根据权利要求1所述的方法，所述方法还包括沿着所述3D平面移动所述虚拟模型。
14.一种用于将虚拟模型与真实环境重叠的方法，包括：
从摄像机接收描绘真实环境的第一图像；
生成描述参考坐标系内的到3D平面的法向矢量的第一取向数据；
在所述参考坐标系内的第一位置处放置虚拟模型，其中，所述虚拟模型表示对象；
确定第一位置数据，所述第一位置数据指示所述参考坐标系内的所述3D平面的位置；
从所述参考坐标系中的所述摄像机拍摄所述第一图像的位置向放置在所述第一位置处的所述虚拟模型的一点投射射线；
识别所述射线与所述3D平面相交的点；以及
通过将所述虚拟模型放置到第二图像中来生成所述第二图像的已修正版本，以使所述虚拟模型的所述一点与对应的交点重叠。
15.根据权利要求14所述的方法，其中，所述第二图像是从不同于所述摄像机的额外摄像机接收到的。
16.根据权利要求14所述的方法，其中，所述第一位置数据是基于以下生成的：
从与所述摄像机相关联的距离传感器接收到的数据；或
所述第一图像和第二图像的特征。
17.根据权利要求14所述的方法，其中，所述第一取向数据是基于从与所述摄像机相关联的取向传感器接收到的数据生成的。
18.一种用于将虚拟模型与真实环境重叠的系统，包括与摄像机耦合的处理装置，其中，所述处理装置被配置为：
从所述摄像机接收描绘真实环境的第一图像；
生成描述参考坐标系内的到3D平面的法向矢量的第一取向数据；
在所述参考坐标系内的第一位置处放置虚拟模型，其中，所述虚拟模型表示对象；
确定第一位置数据，所述第一位置数据指示所述参考坐标系内的所述3D平面的位置；
将所述虚拟模型移动到所述参考坐标系中的第二位置，所述第二位置放置在由所述第一取向数据和所述第一位置数据定义的所述3D平面上；
修正所述虚拟模型的尺度以生成已修正的虚拟模型，以使所述虚拟模型从所述第一位置到所述第一图像上的第一投影大体上等于已修正的虚拟模型从所述第二位置到所述第一图像上的第二投影；以及
通过将已修正的虚拟模型从所述第二位置投影到所述真实环境的第二图像上来生成所述第二图像的已修正版本。
CN201510393737.9A 2009-02-13 2010-02-12 用于确定摄像机相对于真实环境的至少一个对象的姿态的方法和系统 Active CN105701790B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US12/371,490 2009-02-13
US12/371,490 US8970690B2 (en) 2009-02-13 2009-02-13 Methods and systems for determining the pose of a camera with respect to at least one object of a real environment
CN201080016314.0A CN102395997B (zh) 2009-02-13 2010-02-12 用于确定摄像机相对于真实环境的至少一个对象的姿态的方法和系统

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
CN201080016314.0A Division CN102395997B (zh) 2009-02-13 2010-02-12 用于确定摄像机相对于真实环境的至少一个对象的姿态的方法和系统

Publications (2)

Publication Number Publication Date
CN105701790A CN105701790A (zh) 2016-06-22
CN105701790B true CN105701790B (zh) 2019-11-01

Family

ID=42235284

Family Applications (2)

Application Number Title Priority Date Filing Date
CN201510393737.9A Active CN105701790B (zh) 2009-02-13 2010-02-12 用于确定摄像机相对于真实环境的至少一个对象的姿态的方法和系统
CN201080016314.0A Active CN102395997B (zh) 2009-02-13 2010-02-12 用于确定摄像机相对于真实环境的至少一个对象的姿态的方法和系统

Family Applications After (1)

Application Number Title Priority Date Filing Date
CN201080016314.0A Active CN102395997B (zh) 2009-02-13 2010-02-12 用于确定摄像机相对于真实环境的至少一个对象的姿态的方法和系统

Country Status (4)

Country Link
US (2) US8970690B2 (zh)
EP (1) EP2396767B1 (zh)
CN (2) CN105701790B (zh)
WO (1) WO2010091875A2 (zh)

Families Citing this family (147)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7961909B2 (en) 2006-03-08 2011-06-14 Electronic Scripting Products, Inc. Computer interface employing a manipulated object with absolute pose detection component and a display
US20160098095A1 (en) * 2004-01-30 2016-04-07 Electronic Scripting Products, Inc. Deriving Input from Six Degrees of Freedom Interfaces
US8730156B2 (en) * 2010-03-05 2014-05-20 Sony Computer Entertainment America Llc Maintaining multiple views on a shared stable virtual space
US9013505B1 (en) * 2007-11-27 2015-04-21 Sprint Communications Company L.P. Mobile system representing virtual objects on live camera image
US8970690B2 (en) * 2009-02-13 2015-03-03 Metaio Gmbh Methods and systems for determining the pose of a camera with respect to at least one object of a real environment
US8698875B2 (en) 2009-02-20 2014-04-15 Google Inc. Estimation of panoramic camera orientation relative to a vehicle coordinate frame
US20100306825A1 (en) * 2009-05-27 2010-12-02 Lucid Ventures, Inc. System and method for facilitating user interaction with a simulated object associated with a physical location
EP2359915B1 (en) * 2009-12-31 2017-04-19 Sony Computer Entertainment Europe Limited Media viewing
JP5728159B2 (ja) * 2010-02-02 2015-06-03 ソニー株式会社 画像処理装置、画像処理方法及びプログラム
US8797353B2 (en) * 2010-02-12 2014-08-05 Samsung Electronics Co., Ltd. Augmented media message
JP5709906B2 (ja) 2010-02-24 2015-04-30 アイピープレックス ホールディングス コーポレーション 視覚障害者支援用拡張現実パノラマ
CN102792339B (zh) * 2010-03-17 2016-04-27 索尼公司 信息处理装置、信息处理方法
JP5578691B2 (ja) * 2010-06-01 2014-08-27 サーブ アクティエボラーグ 拡張現実のための方法および装置
JP5624394B2 (ja) * 2010-07-16 2014-11-12 キヤノン株式会社 位置姿勢計測装置、その計測処理方法及びプログラム
US9013550B2 (en) * 2010-09-09 2015-04-21 Qualcomm Incorporated Online reference generation and tracking for multi-user augmented reality
JP5799521B2 (ja) * 2011-02-15 2015-10-28 ソニー株式会社 情報処理装置、オーサリング方法及びプログラム
US9398210B2 (en) 2011-02-24 2016-07-19 Digimarc Corporation Methods and systems for dealing with perspective distortion in connection with smartphone cameras
US10972680B2 (en) * 2011-03-10 2021-04-06 Microsoft Technology Licensing, Llc Theme-based augmentation of photorepresentative view
JP5702653B2 (ja) * 2011-04-08 2015-04-15 任天堂株式会社 情報処理プログラム、情報処理装置、情報処理システム、および、情報処理方法
US8638986B2 (en) * 2011-04-20 2014-01-28 Qualcomm Incorporated Online reference patch generation and pose estimation for augmented reality
US9582707B2 (en) 2011-05-17 2017-02-28 Qualcomm Incorporated Head pose estimation using RGBD camera
US20120331422A1 (en) * 2011-06-22 2012-12-27 Gemvision Corporation, LLC Custom Jewelry Configurator
US9400941B2 (en) * 2011-08-31 2016-07-26 Metaio Gmbh Method of matching image features with reference features
JP5838747B2 (ja) * 2011-11-11 2016-01-06 ソニー株式会社 情報処理装置、情報処理方法、及びプログラム
US9395188B2 (en) * 2011-12-01 2016-07-19 Maxlinear, Inc. Method and system for location determination and navigation using structural visual information
US9443353B2 (en) 2011-12-01 2016-09-13 Qualcomm Incorporated Methods and systems for capturing and moving 3D models and true-scale metadata of real world objects
EP2613295B1 (en) * 2012-01-03 2017-03-08 Harman Becker Automotive Systems GmbH Geographical map landscape texture generation on the basis of hand-held camera images
EP2800996A4 (en) 2012-01-06 2015-08-19 Blackberry Ltd SYSTEM AND METHOD FOR ORIENTING A CAMERA
EP2615580B1 (en) * 2012-01-13 2016-08-17 Softkinetic Software Automatic scene calibration
US9529426B2 (en) 2012-02-08 2016-12-27 Microsoft Technology Licensing, Llc Head pose tracking using a depth camera
US10600235B2 (en) 2012-02-23 2020-03-24 Charles D. Huston System and method for capturing and sharing a location based experience
US10937239B2 (en) 2012-02-23 2021-03-02 Charles D. Huston System and method for creating an environment and for sharing an event
WO2013126784A2 (en) 2012-02-23 2013-08-29 Huston Charles D System and method for creating an environment and for sharing a location based experience in an environment
US20130278633A1 (en) * 2012-04-20 2013-10-24 Samsung Electronics Co., Ltd. Method and system for generating augmented reality scene
US20130303247A1 (en) * 2012-05-08 2013-11-14 Mediatek Inc. Interaction display system and method thereof
GB2501929B (en) * 2012-05-11 2015-06-24 Sony Comp Entertainment Europe Apparatus and method for augmented reality
US9147122B2 (en) 2012-05-31 2015-09-29 Qualcomm Incorporated Pose estimation based on peripheral information
US9224205B2 (en) 2012-06-14 2015-12-29 Qualcomm Incorporated Accelerated geometric shape detection and accurate pose tracking
JP5878634B2 (ja) * 2012-08-15 2016-03-08 インターナショナル・ビジネス・マシーンズ・コーポレーションＩｎｔｅｒｎａｔｉｏｎａｌ Ｂｕｓｉｎｅｓｓ Ｍａｃｈｉｎｅｓ Ｃｏｒｐｏｒａｔｉｏｎ 特徴抽出方法、プログラム及びシステム
EP2699006A1 (en) * 2012-08-16 2014-02-19 ESSILOR INTERNATIONAL (Compagnie Générale d'Optique) Pictures positioning on display elements
CN103673990B (zh) * 2012-09-13 2016-04-06 北京同步科技有限公司 获取摄像机姿态数据的装置及其方法
US9576183B2 (en) 2012-11-02 2017-02-21 Qualcomm Incorporated Fast initialization for monocular visual SLAM
US9953618B2 (en) * 2012-11-02 2018-04-24 Qualcomm Incorporated Using a plurality of sensors for mapping and localization
US20140123507A1 (en) * 2012-11-02 2014-05-08 Qualcomm Incorporated Reference coordinate system determination
US9159133B2 (en) 2012-11-05 2015-10-13 Qualcomm Incorporated Adaptive scale and/or gravity estimation
US9213419B1 (en) * 2012-11-13 2015-12-15 Amazon Technologies, Inc. Orientation inclusive interface navigation
EP2736247A1 (en) * 2012-11-26 2014-05-28 Brainstorm Multimedia, S.L. A method for obtaining a virtual object within a virtual studio from a real object
US9113077B2 (en) * 2013-01-17 2015-08-18 Qualcomm Incorporated Orientation determination based on vanishing point computation
US10733798B2 (en) 2013-03-14 2020-08-04 Qualcomm Incorporated In situ creation of planar natural feature targets
JP6112925B2 (ja) * 2013-03-15 2017-04-12 オリンパス株式会社 表示機器及び表示方法
JP6255706B2 (ja) * 2013-04-22 2018-01-10 富士通株式会社 表示制御装置、表示制御方法、表示制御プログラムおよび情報提供システム
JP5887310B2 (ja) * 2013-07-29 2016-03-16 京セラドキュメントソリューションズ株式会社 表示操作装置
US9595125B2 (en) * 2013-08-30 2017-03-14 Qualcomm Incorporated Expanding a digital representation of a physical plane
JP6476658B2 (ja) * 2013-09-11 2019-03-06 ソニー株式会社 画像処理装置および方法
US20150092048A1 (en) * 2013-09-27 2015-04-02 Qualcomm Incorporated Off-Target Tracking Using Feature Aiding in the Context of Inertial Navigation
US9286718B2 (en) * 2013-09-27 2016-03-15 Ortery Technologies, Inc. Method using 3D geometry data for virtual reality image presentation and control in 3D space
US9835448B2 (en) 2013-11-29 2017-12-05 Hewlett-Packard Development Company, L.P. Hologram for alignment
CN104717413A (zh) * 2013-12-12 2015-06-17 北京三星通信技术研究有限公司 拍照辅助方法及设备
CN105793882A (zh) * 2013-12-12 2016-07-20 富士通株式会社 设备检查作业辅助程序、设备检查作业辅助方法以及设备检查作业辅助装置
WO2015090420A1 (en) * 2013-12-19 2015-06-25 Metaio Gmbh Slam on a mobile device
US20160343166A1 (en) * 2013-12-24 2016-11-24 Teamlab Inc. Image-capturing system for combining subject and three-dimensional virtual space in real time
US9560254B2 (en) 2013-12-30 2017-01-31 Google Technology Holdings LLC Method and apparatus for activating a hardware feature of an electronic device
US9595109B1 (en) * 2014-01-30 2017-03-14 Inertial Labs, Inc. Digital camera with orientation sensor for optical tracking of objects
US10932103B1 (en) * 2014-03-21 2021-02-23 Amazon Technologies, Inc. Determining position of a user relative to a tote
US10735902B1 (en) 2014-04-09 2020-08-04 Accuware, Inc. Method and computer program for taking action based on determined movement path of mobile devices
US9418284B1 (en) * 2014-04-09 2016-08-16 Vortex Intellectual Property Holding LLC Method, system and computer program for locating mobile devices based on imaging
US9911190B1 (en) * 2014-04-09 2018-03-06 Vortex Intellectual Property Holding LLC Method and computer program for generating a database for use in locating mobile devices based on imaging
US10157189B1 (en) 2014-04-09 2018-12-18 Vortex Intellectual Property Holding LLC Method and computer program for providing location data to mobile devices
US11410394B2 (en) 2020-11-04 2022-08-09 West Texas Technology Partners, Inc. Method for interactive catalog for 3D objects within the 2D environment
US9996636B2 (en) * 2014-05-13 2018-06-12 Atheer, Inc. Method for forming walls to align 3D objects in 2D environment
US20220383600A1 (en) * 2014-05-13 2022-12-01 West Texas Technology Partners, Llc Method for interactive catalog for 3d objects within the 2d environment
IL232853A (en) 2014-05-28 2015-11-30 Elbit Systems Land & C4I Ltd Imaging Georegistration System and Method
US10930038B2 (en) 2014-06-10 2021-02-23 Lab Of Misfits Ar, Inc. Dynamic location based digital element
US10026226B1 (en) * 2014-06-10 2018-07-17 Ripple Inc Rendering an augmented reality object
US10659750B2 (en) 2014-07-23 2020-05-19 Apple Inc. Method and system for presenting at least part of an image of a real object in a view of a real environment, and method and system for selecting a subset of a plurality of images
US10311638B2 (en) 2014-07-25 2019-06-04 Microsoft Technology Licensing, Llc Anti-trip when immersed in a virtual reality environment
US10451875B2 (en) 2014-07-25 2019-10-22 Microsoft Technology Licensing, Llc Smart transparency for virtual objects
US9865089B2 (en) 2014-07-25 2018-01-09 Microsoft Technology Licensing, Llc Virtual reality environment with real world objects
US9858720B2 (en) 2014-07-25 2018-01-02 Microsoft Technology Licensing, Llc Three-dimensional mixed-reality viewport
US9904055B2 (en) 2014-07-25 2018-02-27 Microsoft Technology Licensing, Llc Smart placement of virtual objects to stay in the field of view of a head mounted display
US9766460B2 (en) * 2014-07-25 2017-09-19 Microsoft Technology Licensing, Llc Ground plane adjustment in a virtual reality environment
US10416760B2 (en) 2014-07-25 2019-09-17 Microsoft Technology Licensing, Llc Gaze-based object placement within a virtual reality environment
TWI628613B (zh) * 2014-12-09 2018-07-01 財團法人工業技術研究院 擴增實境方法與系統
TWI524758B (zh) 2014-12-09 2016-03-01 財團法人工業技術研究院 電子裝置及其漸增式姿態估算及攝影方法
CN104462730B (zh) * 2014-12-31 2018-01-30 广东电网有限责任公司电力科学研究院 电厂在线仿真系统和方法
US9412034B1 (en) * 2015-01-29 2016-08-09 Qualcomm Incorporated Occlusion handling for computer vision
JP6336922B2 (ja) * 2015-01-30 2018-06-06 株式会社日立製作所 業務バリエーションに基づく業務影響箇所抽出方法および業務影響箇所抽出装置
US10001376B1 (en) * 2015-02-19 2018-06-19 Rockwell Collins, Inc. Aircraft position monitoring system and method
CN108139876B (zh) * 2015-03-04 2022-02-25 杭州凌感科技有限公司 用于沉浸式和交互式多媒体生成的系统和方法
US10073848B2 (en) * 2015-03-17 2018-09-11 Siemens Aktiengesellschaft Part identification using a photograph and engineering data
US9683849B2 (en) * 2015-04-01 2017-06-20 Trimble Inc. Vehicle navigation system with adaptive gyroscope bias compensation
EP3104241B1 (en) * 2015-06-12 2020-09-16 Accenture Global Services Limited An augmented reality method and system for measuring and/or manufacturing
US9865091B2 (en) * 2015-09-02 2018-01-09 Microsoft Technology Licensing, Llc Localizing devices in augmented reality environment
US10089681B2 (en) 2015-12-04 2018-10-02 Nimbus Visulization, Inc. Augmented reality commercial platform and method
US9767606B2 (en) * 2016-01-12 2017-09-19 Lenovo (Singapore) Pte. Ltd. Automatic modification of augmented reality objects
US9881378B2 (en) 2016-02-12 2018-01-30 Vortex Intellectual Property Holding LLC Position determining techniques using image analysis of marks with encoded or associated position data
JP6665572B2 (ja) * 2016-02-16 2020-03-13 富士通株式会社 制御プログラム、制御方法およびコンピュータ
US10824878B2 (en) 2016-03-08 2020-11-03 Accuware, Inc. Method and arrangement for receiving data about site traffic derived from imaging processing
DE102016204140B3 (de) * 2016-03-14 2017-04-06 pmdtechnologies ag Vorrichtung und Verfahren zur Kalibrierung einer Lichtlaufzeitkamera
US11577159B2 (en) 2016-05-26 2023-02-14 Electronic Scripting Products Inc. Realistic virtual/augmented/mixed reality viewing and interactions
CN105937878B (zh) * 2016-06-13 2018-10-26 歌尔科技有限公司 一种室内测距方法
US20180012411A1 (en) * 2016-07-11 2018-01-11 Gravity Jack, Inc. Augmented Reality Methods and Devices
EP3494447B1 (en) 2016-08-04 2021-05-19 Reification Inc. Methods for simultaneous localization and mapping (slam) and related apparatus and systems
CN109154499A (zh) * 2016-08-18 2019-01-04 深圳市大疆创新科技有限公司 用于增强立体显示的系统和方法
CN106780757B (zh) * 2016-12-02 2020-05-12 西北大学 一种增强现实的方法
CN106774870A (zh) * 2016-12-09 2017-05-31 武汉秀宝软件有限公司 一种增强现实交互方法及系统
US10139934B2 (en) 2016-12-22 2018-11-27 Microsoft Technology Licensing, Llc Magnetic tracker dual mode
US10843068B2 (en) 2017-01-18 2020-11-24 Xvisio Technology Corp. 6DoF inside-out tracking game controller
US10146300B2 (en) 2017-01-25 2018-12-04 Lenovo Enterprise Solutions (Singapore) Pte. Ltd. Emitting a visual indicator from the position of an object in a simulated reality emulation
WO2018164287A1 (ko) * 2017-03-06 2018-09-13 라인 가부시키가이샤 증강현실 제공 방법, 장치 및 컴퓨터 프로그램
CN107168514B (zh) * 2017-03-27 2020-02-21 联想(北京)有限公司 一种图像处理方法及电子设备
US10692287B2 (en) 2017-04-17 2020-06-23 Microsoft Technology Licensing, Llc Multi-step placement of virtual objects
US10740613B1 (en) 2017-04-20 2020-08-11 Digimarc Corporation Hybrid feature point/watermark-based augmented reality
US10339714B2 (en) 2017-05-09 2019-07-02 A9.Com, Inc. Markerless image analysis for augmented reality
US10282860B2 (en) * 2017-05-22 2019-05-07 Honda Motor Co., Ltd. Monocular localization in urban environments using road markings
EP3416027B1 (en) * 2017-06-12 2020-04-08 Hexagon Technology Center GmbH Augmented-reality device and system with seamless bridging
US10242292B2 (en) * 2017-06-13 2019-03-26 Digital Surgery Limited Surgical simulation for training detection and classification neural networks
US10462370B2 (en) 2017-10-03 2019-10-29 Google Llc Video stabilization
DE102017220458A1 (de) * 2017-11-16 2019-05-16 Robert Bosch Gmbh Kalibriereinrichtung und Verfahren zum Kalibrieren eines Referenztargets
CN109840947B (zh) * 2017-11-28 2023-05-09 广州腾讯科技有限公司 增强现实场景的实现方法、装置、设备及存储介质
US10652472B2 (en) * 2018-02-22 2020-05-12 Adobe Inc. Enhanced automatic perspective and horizon correction
CN110349472B (zh) * 2018-04-02 2021-08-06 北京五一视界数字孪生科技股份有限公司 一种虚拟驾驶应用中虚拟方向盘和真实方向盘对接方法
US10171738B1 (en) 2018-05-04 2019-01-01 Google Llc Stabilizing video to reduce camera and face movement
CN110825279A (zh) * 2018-08-09 2020-02-21 北京微播视界科技有限公司 平面间无缝切换的方法、装置和计算机可读存储介质
CN110827376A (zh) * 2018-08-09 2020-02-21 北京微播视界科技有限公司 增强现实多平面模型动画交互方法、装置、设备及存储介质
CN110827411B (zh) * 2018-08-09 2023-07-18 北京微播视界科技有限公司 自适应环境的增强现实模型显示方法、装置、设备及存储介质
US10573019B1 (en) * 2018-09-25 2020-02-25 Ebay Inc. Augmented reality digital content search and sizing techniques
EP3640767A1 (de) * 2018-10-17 2020-04-22 Siemens Schweiz AG Verfahren zum bestimmen mindestens eines bereichs in mindestens einem eingabemodell für mindestens ein zu platzierendes element
US10735665B2 (en) * 2018-10-30 2020-08-04 Dell Products, Lp Method and system for head mounted display infrared emitter brightness optimization based on image saturation
JP7160183B2 (ja) * 2019-03-28 2022-10-25 日本電気株式会社 情報処理装置、表示システム、表示方法、及びプログラム
CN111247389B (zh) * 2019-03-29 2022-03-25 深圳市大疆创新科技有限公司 关于拍摄设备的数据处理方法、装置及图像处理设备
CN110069135A (zh) * 2019-04-28 2019-07-30 联想(北京)有限公司 一种人机交互设备的数据处理方法及人机交互设备
US10955245B2 (en) 2019-04-30 2021-03-23 Samsung Electronics Co., Ltd. System and method for low latency, high performance pose fusion
US11138760B2 (en) * 2019-11-06 2021-10-05 Varjo Technologies Oy Display systems and methods for correcting drifts in camera poses
CN114667444A (zh) 2019-11-26 2022-06-24 豪夫迈·罗氏有限公司 执行分析测量的方法
US11288877B2 (en) 2020-01-10 2022-03-29 38th Research Institute, China Electronics Technology Group Corp. Method for matching a virtual scene of a remote scene with a real scene for augmented reality and mixed reality
CN111260793B (zh) * 2020-01-10 2020-11-24 中国电子科技集团公司第三十八研究所 面向增强和混合现实的远程虚实高精度匹配定位的方法
DE102020101398A1 (de) * 2020-01-22 2021-07-22 Audi Aktiengesellschaft Verfahren zum Erzeugen von reproduzierbaren Perspektiven von Fotografien eines Objekts sowie mobiles Gerät mit integrierter Kamera
CN116721235A (zh) * 2020-02-26 2023-09-08 奇跃公司 利用缓冲的交叉现实系统用于定位精度
US11190689B1 (en) 2020-07-29 2021-11-30 Google Llc Multi-camera video stabilization
US20220036087A1 (en) 2020-07-29 2022-02-03 Optima Sports Systems S.L. Computing system and a computer-implemented method for sensing events from geospatial data
EP3945464A1 (en) 2020-07-29 2022-02-02 Optima Sports Systems S.L. A computing system and a computer-implemented method for sensing events from geospatial data
US11348277B2 (en) * 2020-08-12 2022-05-31 Hong Kong Applied Science and Technology Research Institute Company Limited Apparatus and method for estimating camera orientation relative to ground surface
US20220051430A1 (en) * 2020-08-12 2022-02-17 Hong Kong Applied Science and Technology Research Institute Company Limited Apparatus and method for estimating camera orientation relative to ground surface
CN112102406A (zh) * 2020-09-09 2020-12-18 东软睿驰汽车技术（沈阳）有限公司 单目视觉的尺度修正方法、装置及运载工具
EP4352451A1 (en) * 2021-05-20 2024-04-17 Eigen Innovations Inc. Texture mapping to polygonal models for industrial inspections
WO2024059953A1 (en) * 2022-09-23 2024-03-28 Eigen Innovations Inc. Inspection camera deployment solution

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1926497A (zh) * 2003-12-09 2007-03-07 雷阿卡特瑞克斯系统公司 自主交互式视频显示系统
CN101031866A (zh) * 2004-05-28 2007-09-05 新加坡国立大学 交互式系统和方法
US7289130B1 (en) * 2000-01-13 2007-10-30 Canon Kabushiki Kaisha Augmented reality presentation apparatus and method, and storage medium
WO2009112063A9 (en) * 2007-09-18 2009-12-23 Vrmedia S.R.L. Information processing apparatus and method for remote technical assistance

Family Cites Families (28)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6891518B2 (en) * 2000-10-05 2005-05-10 Siemens Corporate Research, Inc. Augmented reality visualization device
US6765569B2 (en) 2001-03-07 2004-07-20 University Of Southern California Augmented-reality tool employing scene-feature autocalibration during camera motion
US7194112B2 (en) * 2001-03-12 2007-03-20 Eastman Kodak Company Three dimensional spatial panorama formation with a range imaging system
US6831643B2 (en) * 2001-04-16 2004-12-14 Lucent Technologies Inc. Method and system for reconstructing 3D interactive walkthroughs of real-world environments
US6785589B2 (en) * 2001-11-30 2004-08-31 Mckesson Automation, Inc. Dispensing cabinet with unit dose dispensing drawer
JP3735086B2 (ja) 2002-06-20 2006-01-11 ウエストユニティス株式会社 作業誘導システム
US8050521B2 (en) * 2002-07-27 2011-11-01 Archaio, Llc System and method for simultaneously viewing, coordinating, manipulating and interpreting three-dimensional and two-dimensional digital images of structures for providing true scale measurements and permitting rapid emergency information distribution
CN100398083C (zh) * 2002-08-30 2008-07-02 延自强 虚拟现实针灸穴位定位方法及系统
US7002551B2 (en) * 2002-09-25 2006-02-21 Hrl Laboratories, Llc Optical see-through augmented reality modified-scale display
WO2004042662A1 (en) * 2002-10-15 2004-05-21 University Of Southern California Augmented virtual environments
US8458028B2 (en) * 2002-10-16 2013-06-04 Barbaro Technologies System and method for integrating business-related content into an electronic game
US20060146142A1 (en) * 2002-12-27 2006-07-06 Hiroshi Arisawa Multi-view-point video capturing system
SE0203908D0 (sv) * 2002-12-30 2002-12-30 Abb Research Ltd An augmented reality system and method
US20050157931A1 (en) * 2004-01-15 2005-07-21 Delashmit Walter H.Jr. Method and apparatus for developing synthetic three-dimensional models from imagery
JP4708752B2 (ja) * 2004-09-28 2011-06-22 キヤノン株式会社 情報処理方法および装置
WO2007011306A2 (en) 2005-07-20 2007-01-25 Bracco Imaging S.P.A. A method of and apparatus for mapping a virtual model of an object to the object
KR100653200B1 (ko) * 2006-01-09 2006-12-05 삼성전자주식회사 기하 정보를 교정하여 파노라마 영상을 제공하는 방법 및장치
KR100793838B1 (ko) * 2006-09-27 2008-01-11 한국전자통신연구원 카메라 모션 추출장치, 이를 이용한 해상장면의 증강현실 제공 시스템 및 방법
EP2132706A1 (de) * 2007-03-08 2009-12-16 Siemens Aktiengesellschaft Verfahren und vorrichtung zur generierung von trackingkonfigurationen für augmented-reality-anwendungen
US8184159B2 (en) * 2007-03-26 2012-05-22 Trw Automotive U.S. Llc Forward looking sensor system
JP4926826B2 (ja) * 2007-05-25 2012-05-09 キヤノン株式会社 情報処理方法および情報処理装置
TWI460621B (zh) * 2008-01-21 2014-11-11 Elan Microelectronics Corp 可供進行多物件操作之觸控板及應用其中之方法
KR100951890B1 (ko) * 2008-01-25 2010-04-12 성균관대학교산학협력단 상황 모니터링을 적용한 실시간 물체 인식 및 자세 추정 방법
WO2009100774A1 (en) * 2008-02-12 2009-08-20 Trimble Ab Localizing a surveying instrument in relation to a ground mark
US8107677B2 (en) * 2008-02-20 2012-01-31 International Business Machines Corporation Measuring a cohort'S velocity, acceleration and direction using digital video
US20100045701A1 (en) * 2008-08-22 2010-02-25 Cybernet Systems Corporation Automatic mapping of augmented reality fiducials
US8624962B2 (en) * 2009-02-02 2014-01-07 Ydreams—Informatica, S.A. Ydreams Systems and methods for simulating three-dimensional virtual interactions from two-dimensional camera images
US8970690B2 (en) * 2009-02-13 2015-03-03 Metaio Gmbh Methods and systems for determining the pose of a camera with respect to at least one object of a real environment

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7289130B1 (en) * 2000-01-13 2007-10-30 Canon Kabushiki Kaisha Augmented reality presentation apparatus and method, and storage medium
CN1926497A (zh) * 2003-12-09 2007-03-07 雷阿卡特瑞克斯系统公司 自主交互式视频显示系统
CN101031866A (zh) * 2004-05-28 2007-09-05 新加坡国立大学 交互式系统和方法
WO2009112063A9 (en) * 2007-09-18 2009-12-23 Vrmedia S.R.L. Information processing apparatus and method for remote technical assistance

Also Published As

Publication number Publication date
US20150310666A1 (en) 2015-10-29
WO2010091875A2 (en) 2010-08-19
WO2010091875A3 (en) 2010-12-02
EP2396767A2 (en) 2011-12-21
EP2396767B1 (en) 2017-03-22
CN102395997B (zh) 2015-08-05
CN105701790A (zh) 2016-06-22
CN102395997A (zh) 2012-03-28
US20100208057A1 (en) 2010-08-19
US9934612B2 (en) 2018-04-03
US8970690B2 (en) 2015-03-03

Similar Documents

Publication Publication Date Title
CN105701790B (zh) 用于确定摄像机相对于真实环境的至少一个对象的姿态的方法和系统
Uchiyama et al. MR Platform: A basic body on which mixed reality applications are built
AU2013224660B2 (en) Automated frame of reference calibration for augmented reality
CN104160426B (zh) 图像处理装置和图像处理方法
Kutulakos et al. Calibration-free augmented reality
JP4789745B2 (ja) 画像処理装置および方法
JP5920352B2 (ja) 情報処理装置、情報処理方法及びプログラム
US20120120199A1 (en) Method for determining the pose of a camera with respect to at least one real object
JP5781682B2 (ja) 共線変換ワープ関数を用いて第１の画像の少なくとも一部と第２の画像の少なくとも一部を位置合わせする方法
CN102708355A (zh) 信息处理装置、信息处理方法及程序
WO2007114313A1 (en) Information processing method and information processing apparatus
Kurz et al. Handheld augmented reality involving gravity measurements
De Amici et al. A Wii remote-based infrared-optical tracking system
Yu et al. A tracking solution for mobile augmented reality based on sensor-aided marker-less tracking and panoramic mapping
CN112912936A (zh) 混合现实系统、程序、移动终端装置和方法
Zhu et al. Wii remote–based low-cost motion capture for automated assembly simulation
McIlroy et al. Kinectrack: Agile 6-dof tracking using a projected dot pattern
Medien Implementation of a low cost marker based infrared optical tracking system
Lee et al. Tracking with omni-directional vision for outdoor AR systems
Song et al. Rotated top-bottom dual-kinect for improved field of view
CN114387679A (zh) 基于递归卷积神经网络实现视线估计与注意力分析的系统及其方法
Uematsu et al. Vision-based registration for augmented reality with integration of arbitrary multiple planes
JP4810403B2 (ja) 情報処理装置、情報処理方法
CN111148970A (zh) 用于校准成像和空间方位传感器的系统和方法
Junejo et al. Configuring mixed reality environment

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right
TA01 Transfer of patent application right

Effective date of registration: 20180423

Address after: American California

Applicant after: Apple Computer, Inc.

Address before: Munich, Germany

Applicant before: METAIO GmbH

GR01 Patent grant
GR01 Patent grant