CN102598064A - 用于在真实环境的视图中描绘虚拟信息的方法 - Google Patents

用于在真实环境的视图中描绘虚拟信息的方法 Download PDF

Info

Publication number
CN102598064A
CN102598064A CN2010800457731A CN201080045773A CN102598064A CN 102598064 A CN102598064 A CN 102598064A CN 2010800457731 A CN2010800457731 A CN 2010800457731A CN 201080045773 A CN201080045773 A CN 201080045773A CN 102598064 A CN102598064 A CN 102598064A
Authority
CN
China
Prior art keywords
image
virtual objects
attitude data
view
server
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN2010800457731A
Other languages
English (en)
Other versions
CN102598064B (zh
Inventor
P·迈尔
M·屈恩
F·安格曼
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Apple Inc
Original Assignee
Metaio GmbH
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Metaio GmbH filed Critical Metaio GmbH
Priority to CN201510468220.1A priority Critical patent/CN105046752B/zh
Publication of CN102598064A publication Critical patent/CN102598064A/zh
Application granted granted Critical
Publication of CN102598064B publication Critical patent/CN102598064B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/74—Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S19/00—Satellite radio beacon positioning systems; Determining position, velocity or attitude using signals transmitted by such systems
    • G01S19/01—Satellite radio beacon positioning systems transmitting time-stamped messages, e.g. GPS [Global Positioning System], GLONASS [Global Orbiting Navigation Satellite System] or GALILEO
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2219/00—Indexing scheme for manipulating 3D models or images for computer graphics
    • G06T2219/024—Multi-user, collaborative environment

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Computer Hardware Design (AREA)
  • Computer Graphics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Processing Or Creating Images (AREA)
  • Studio Devices (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Computer Networks & Wireless Communication (AREA)

Abstract

一种用于在真实环境的视图中描绘虚拟信息的方法包括下面步骤：在服务器(2)的数据库(3)中，提供具有地理全球坐标系统(200)的全球位置和方向的至少一个虚拟对象(10)，以及允许对虚拟对象的全球位置和方向得出结论的第一姿态数据(PW10)；通过移动设备(30)拍摄真实环境(40)的至少一幅图像(50)，并提供第二姿态数据(PW50)，其中第二姿态数据允许对该图像是在地理全球坐标系统(200)的什么位置和什么方向拍摄的得出结论；在移动设备的显示器(31)上显示该图像(50)；在服务器(2)的数据库(3)中存取该虚拟对象(10)，并基于第一姿态数据和第二姿态数据(PW10、PW50)在显示器显示的图像(50)中放置该虚拟对象(10)；通过在显示器显示的图像(50)中进行相应定位，操作该虚拟对象(10)或者增加另外的虚拟对象(11)；在服务器(2)的数据库(3)中，提供根据图像(50)中的定位的操作的虚拟对象(10)以及修改第一姿态数据(PW10)，或者根据图像(50)中的定位的另外的虚拟对象(11)以及第三姿态数据；修改的第一姿态数据和第三姿态数据均允许对操作的虚拟对象或者另外的虚拟对象的全球位置和方向得出结论。例如，不是使用真实环境的图像，还可以使用HMD的视图来模拟地执行该方法。

Description

用于在真实环境的视图中描绘虚拟信息的方法
技术领域
本发明涉及用于在真实环境的视图中描绘虚拟信息的方法。
背景技术
增强现实(AR)是一种对现实覆盖虚拟数据的技术，因此该技术有助于实现数据与现实的关联。移动AR系统的使用在现有技术中是已公知的。在过去几年来，高性能移动设备(例如，智能电话)开始适合于AR应用。这些设备同时具有相对较大的彩色显示器、内置的摄像头、卓越的处理器和另外的传感器(例如，方向传感器和GPS)。除此之外，可以通过无线网络来对该设备的位置进行近似。
在过去，有使用AR在移动设备上实现的各种项目。首先，使用了用于确定设备的位置和方向的特殊光学测标。关于也可用于较大区域的AR(因此，其还称为较大区域AR)，已公布了用于结合HMD(头盔显示器)[3]来切合实际地描绘对象的暗示。在最近时间，还存在使用GPS和现代设备的方向传感器系统的方法[1、2、4、5]。
但是，迄今为止公布的这些方法具有下面缺点：它们不允许在AR场景中实现其它用户的简单融合。除此之外，基于GPS和指南针的大多系统还具有下面缺点：这些设备必须进行令人信服地提供，但是却可能存在很大的不准确性。
美国2009/0179895 A1描述了在真实环境(“街景”)的图像中混合三维评注或注释的方法。通过图像中的选择框的方式，用户选择要混合注释的位置。其后，将该选择框投影在三维模型上，以便确定注释关于该图像的位置。此外，确定与三维模型上的投影相对应的位置数据，并将其与用户输入的注释进行关联。将该注释与位置数据一起存储在服务器的数据库中，并可以根据该位置数据，与真实环境的另一幅图像进行混合。
通常并在下文中使用术语“标签(tagging)”来描述用户使用另外的信息对现实进行丰富。迄今为止结合标签(tagging)实现的方法包括：将对象放置在地图视图(例如，谷歌地图)中，对位置点进行拍照，将这些图像与另外的评论一起存储，以及在特定的位置点生成文本消息。不利的是，远处的观看者和用户不能再获得对于世界中的交互式场景的AR接入。只能看到该AR场景的所谓屏幕截图(屏幕图像)，但不再改变。
本发明的目标在于指示在真实环境的视图中描绘虚拟信息的方法，其允许用户通过增强现实的方式，交互式地观看其它用户生成的AR图像场景，并在实现时保证高准确性和用户友善。
发明内容
根据本发明的第一方面，提供了一种用于在真实环境的视图中描绘虚拟信息的方法，该方法包括下面步骤：在服务器的数据库中，提供具有地理全球坐标系统的全球位置和方向的至少一个虚拟对象，以及允许对所述虚拟对象的全球位置和方向得出结论的第一姿态数据；通过移动设备拍摄真实环境的至少一幅图像，并提供第二姿态数据，其中所述第二姿态数据允许对所述图像是在所述地理全球坐标系统的什么位置和什么方向拍摄的得出结论；在所述移动设备的显示器上显示所述图像；在所述服务器的数据库中存取所述虚拟对象，并基于所述第一姿态数据和所述第二姿态数据，在显示器显示的所述图像中定位所述虚拟对象；通过在显示器显示的所述图像中进行相应定位，操作所述虚拟对象或者增加另外的虚拟对象；在所述服务器的数据库中，提供根据所述图像中的定位的所操作的虚拟对象以及修改的第一姿态数据，或者根据所述图像中的定位的另外的虚拟对象以及第三姿态数据，所修改的第一姿态数据和所述第三姿态数据均允许对所操作的虚拟对象或者另外的操作对象的全球位置和方向得出结论。在该方面，可以在例如所述服务器上提供所述图像以及所述第二姿态数据。
根据本发明的另外方面，提供了一种用于在真实环境的视图中描绘虚拟信息的方法，该方法包括下面步骤：在服务器的数据库中，提供具有地理全球坐标系统的全球位置和方向的至少一个虚拟对象，以及允许对所述虚拟对象的全球位置和方向得出结论的第一姿态数据；通过数据眼镜(例如，所谓的光学式透视数据眼镜或者视讯式透视数据眼镜)提供真实环境的至少一个视图以及第二姿态数据，其中所述第二姿态数据允许对所述数据眼镜位于所述地理全球坐标系统的什么位置和什么方向得出结论；在所述服务器的数据库中存取所述虚拟对象，并基于所述第一姿态数据和所述第二姿态数据，在所述视图中定位所述虚拟对象；通过所述视图中的相应定位，操作所述虚拟对象或者增加另外的虚拟对象；在所述服务器的数据库中，提供根据所述视图中的定位的所操作的虚拟对象以及修改的第一姿态数据，或者根据所述视图中的定位的另外的虚拟对象以及第三姿态数据，所修改的第一姿态数据和所述第三姿态数据均允许对所操作的虚拟对象或者另外的虚拟对象的全球位置和方向得出结论。
在本发明的实施例中，所述移动设备或者所述数据眼镜包括(或者连接到)用于生成所述第二姿态数据的单元。
例如，该姿态数据可以各自包括关于位置和方向的三维值。此外，可以独立于地球的表面来规定所述真实环境的图像的方向。
根据本发明的另一个实施例，在服务器的存储位置上存储真实环境的几幅图像中的哪幅图像或者真实环境的几个视图中的哪个视图，几个虚拟对象中的哪个虚拟对象已提供有姿态数据。
当例如通过GPS传感器(GPS：全球定位系统)来确定移动设备的位置时，可能会碰巧由于传感器不准确或者GPS固有的不准确，而发生仅仅以相对不准确方式确定该移动设备的位置。这可以是将混合的虚拟对象相对于地理全球坐标系统相应不准确地放置在图像中的结果，使得在具有不同的观察角度的其它图像或者视图中，混合在这里的虚拟对象以关于现实具有相应位移的方式示出。
为了在真实环境的图像中实现虚拟对象或者其位置的更加准确描绘，根据本发明的方法的实施例包括下面步骤：提供具有真实环境的参考视图以及姿态数据的参考数据库，其中所述姿态数据允许对摄像机在地理全球坐标系统的什么位置和什么方向拍摄各个参考视图得出结论；将所述图像中示出的至少一个真实对象与所述参考视图的至少一个中包含的真实对象的至少一部分进行比较，所述图像的第二姿态数据与所述至少一个参考视图的姿态数据匹配；作为所述匹配的结果，基于所述至少一个参考视图的姿态数据的至少一部分来修改所述第二姿态数据的至少一部分。
此外，另一个实施例包括：将位于所述图像中的虚拟对象的第一姿态数据的至少一部分，修改成所述图像的第二姿态数据与所述至少一个参考视图的姿态数据的匹配的结果。
通过所附权利要求书，可以获得本发明的另外发展和实施例。
下面通过附图中所示图形的方式，更详细地解释本发明的方面和实施例。
附图说明
图1A示出了可以用于执行根据本发明的方法的系统设置的第一示例性实施例的示意性布置的平面图。
图1B示出了可以用于执行根据本发明的方法的系统设置的第二示例性实施例的示意性布置的平面图。
图1C示出了用于执行根据本发明的方法的系统的实施例的可能数据结构的示意性视图。
图2根据本发明的一个实施例，示出了参与的坐标系统的概述的示意性视图。
图3示出了根据本发明的一个实施例的方法的示例性流程。
图4示出了根据本发明的另一个实施例的方法的示例性流程，特别增补了用于提高图像姿态的可选测量。
图5示出了在没有实现姿态改进的情况下，具有在其中放置的虚拟对象的真实环境的示例性场景。
图6示出了在实现姿态改进之后，具有在其中放置的虚拟对象的真实环境的示例性场景。
图7A示出了在其中放置虚拟对象的真实世界的示例性地图视图。
图7B示出了与图7A相同的场景的示例性透视图。
具体实施方式
图1A示出了描绘一种系统设置的第一示例性实施例的示意性排列的平面图，其中该系统设置可以用于执行根据本发明的方法。
在图1A的视图中，用户穿戴装在头部的显示系统(“头盔显示器”，简写为HMD)以作为显示设备，其中该系统包括作为系统设置20的一部分的显示器21。可以将系统设置20的至少一部分视作为包括一个或多个相互连接组件的移动设备，如下面所更详细描述的。这些组件可以通过有线连接和/或以无线方式进行彼此连接。此外，还可以将这些组件中的一些(例如，计算机23)提供为静止组件，即其不随着用户移动。例如，显示器21可以是通常公知的具有所谓光学式透视数据眼镜(“光学式透视显示”，在该显示中，可以通过半透明结构的数据眼镜观看现实)形式或者具有所谓视讯式透视数据眼镜(“视讯式透视显示”，在该显示中，将现实描绘在穿戴在用户头部前面的屏幕上)形式的数据眼镜，其中可以以已知方式对计算机23提供的虚拟信息进行混合。随后，用户在观察角度或者孔径角度26之中的真实世界的视图70(其可以通过显示器21观看或者在显示器21上观看)里，观看到使用混合的虚拟信息10增强的真实环境40的对象(例如，所谓的与真实世界有关的感兴趣点对象，其简称为POI对象)。混合虚拟对象20，使得用户以似乎该对象布置在真实环境40中的近似位置的方式来感觉该对象。此外，还可以将虚拟对象10的该位置存储成地理全球坐标系统(例如，地球的坐标系统)的全球位置，如下面所更详细描述的。用此方式，系统设置20构成了通常公知的增强现实系统的第一实施例，其中该系统可以用于根据本发明的方法。
显示器21可以具有另外的传感器24(例如，旋转传感器、GPS传感器或超声波传感器)和安装在其上用于光学跟踪和拍摄一幅或多幅图像(所谓的“视图”)的摄像机22。显示器21可以是半透明的，或者有摄像机22的照相图像提供的现实的图像。使用半透明显示器21，必须进行用户的眼睛25和显示器21之间的校准。该过程(其称为透视式校准)是本领域公知的。该校准可以有利地确定在同一时间眼睛相对于摄像机22的姿态。可以使用摄像机来拍摄或者记录视图以便使其它用户能访问，如下面所更详细描述的。通常将姿态理解为某个对象相对于参考坐标系统的位置和方向。对于确定姿态，存在着在现有技术中记载的多种方法，它们是技术人员已知的。有利的是，在显示器21上或者在用户身体的任何地方或者在计算机23中，还可以具有安装的位置传感器，例如，用于可以提交系统设置20在真实世界40中的地理位置确定(例如，根据经度、纬度和高度)的GPS传感器(GPS：全球定位系统)。使用能关于用户的位置和观察方向得出结论所提供的原理，可以实现该系统设置的任何一部分的姿态确定。
图1B的视图示出了通常可以在例如现代移动电话(所谓的“智能电话”)中发现的另一种示例性系统设置30。显示器设备31(例如，具有显示屏或者显示器的形式)、计算机33、传感器34和摄像机32，构成容纳在例如移动电话的公共壳体中的系统单元。可以将系统设置30的至少一部分视作为包括所提及组件中的一个或多个的移动设备。这些组件可以容纳在公共壳体中，或者可以分布到各处(部分地)，并通过有线连接和/或以无线方式来彼此连接。
真实环境40的视图由显示摄像机32在观察角度和使用孔径角度36所捕获的真实环境40的图像50的显示器31提供。为了增强现实应用，照相图像50可以在显示器31上显示，并使用相对于现实具有特定的位置的另外虚拟信息10(例如，与真实世界有关的POI对象)来增强，类似于图1A中所述。用此方式，系统设置30构成了通常公知的增强现实(AR)系统的另一个实施例。
使用类似于参照图1A所描述的校准来确定虚拟对象10关于摄像机32的姿态，以便使其它用户可访问该相同内容，如下面所更详细描述的。对于姿态确定，存在着在现有技术中记载的多种方法，它们是技术人员已知的。有利的是，在移动设备上(特别当系统设置30具有一个单元的形式时)或者在用户身体的任何位置处或者在计算机33中，还可以具有连接的位置传感器，例如，GPS传感器34，以便允许进行系统设置30在真实世界40中的地理位置确定(例如，根据经度和纬度)。在某些情形下，对于姿态确定来说不需要摄像机，例如当单独地通过GPS和方向传感器来确定姿态时。基本上，只要能关于用户的位置和观察方向得出结论，系统设置的任何部分的姿态确定都是适当的。
基本上，本发明可以方便地用于所有形式的AR。例如，使用具有半透明HMD的所谓光学式透视模式还是使用具有摄像机和显示屏的视讯式透视模式来实现该表示是没有关系的。
基本上，本发明还可以结合立体显示来使用，其中在该显示中，视讯式透视方法有利地使用两个摄像机，每一个摄像机用于记录每一个眼的一个影像流。在任何情形下，都可以单独地针对每一个眼计算虚拟信息项，并将它们成对地存储在服务器上。
基本上，下面所描述的不同部分的步骤的处理可以通过网络分配到不同的计算机。因此，客户端/服务器体系结构或者更基于客户端的解决方案是可行的。此外，客户端或者服务器还可以包括一些计算单元，例如，一些CPU或者专用硬件组件，例如通常公知的FPGA、ASIC、GPU或者DSP。
为了允许实现AR，需要摄像机在空间中的姿态(位置和方向)。这可以使用多种不同的方式来实现。例如，可以通过只使用GPS和具有电子指南针的方向传感器(如安装在例如一些现代移动电话中)，来确定在真实世界中的姿态。但是，该姿态的不确定性是非常高的。因此，还可以使用其它方法，例如，光初始化和跟踪或者光方法与GPS和方向传感器的结合。也可以使用WLAN定位，或者RFID(用于“射频识别”的标记或者芯片)或光标记可以支持该定位处理。如上所述，这里基于客户端/服务器的方法也是可行的。具体而言，客户端可以从服务器请求进行光跟踪所需要的特定于位置的信息。例如，该信息可以是具有姿态信息和深度信息的周围环境的参考图像。本发明在该方面的可选实施例提出了可以基于该信息、放置的虚拟对象在世界中的姿态，特别地提高服务器上的视图的姿态。
除此之外，本发明还可以安装(或者携带)在使用监视器、HMD或平视显示器的车辆、飞行器或轮船中。
基本上，可以针对多种多样的不同形式的信息，来建立诸如感兴趣点(“POI”)之类的虚拟对象。下面给出一些示例：可以表示使用GPS信息的位置的图像。可以从互联网中自动地提取信息。例如，这可以是具有地址或者给出等级的页面的公司或饭店网站。用户可以在特定的位置处存放文本、图像或者3D对象，并使其可用于他人。针对地理信息可以搜索诸如维基百科(wikipedia)的信息页，这些页面可以访问成POI。可以根据移动设备的用户的搜索和浏览行为，自动地生成POI。可以显示其它感兴趣位置，例如地下交通或者公共汽车站、医院、警察局、医生、房地产公司或者健身俱乐部。
用户可以将这些信息项存放在图像50或者视图70中(对比图1A和图1B)，作为真实世界40中的特定位置处的虚拟对象10，并使具有与该各个位置相对应的位置的其它用户可访问。随后，在真实世界的可访问视图或者图像中，其它用户可以例如操作该信息(其中，该信息根据其位置来混合)，或者还可以增加另外的虚拟对象。下面将对其进行更详细地描述。
图1C首先示出了根据本发明的实施例使用的数据结构，下面将简要地进行解释。
视图是捕获的真实世界的视图，具体而言，视图(对比根据图1A的视图70)、图像(对比根据图1B的图像50)或者图像序列(电影或者运动图片)。与视图(图像50/视图70)相关联的是描述摄像机22、32的光属性(例如，关于孔径角度、聚焦位移或者图像失真)的摄像机参数，并分别与图像50或者视图70进行关联。除此之外，视图还具有与其相关联的姿态数据，后者描述图像50或者视图70关于地球的位置和方向。为此，将地理全球坐标系统与地球进行关联，以便例如根据经度和纬度，可以提供真实世界中的地理全球位置确定。
放置的模型是可以图形显示的虚拟对象(对比根据图1A、1B的对象10)，其中该虚拟对象也具有姿态数据。放置的模型可以表示例如模型数据库中的模型的实例，即参照该模型。有利的是，根据存放的视图50或者70，在世界40中放置各虚拟模型10(如果是这样的话)。这可以用于改进姿态数据，如下面所更详细描述的。形成了具有视图50、70与0到n个放置的模型10的组合的场景，并可选地包含生成日期。此外，可以将该数据结构的所有部分或者一部分与元数据进行链接。例如，可以存放生成者、日期、图像/视图的频率、等级和关键字。
在本发明的下面方面，将更详细地描述关于根据图1B的实施例，其中图像50由摄像机32拍摄，并在显示器31上与虚拟对象10混合在一起由观众进行观看。但是，技术人员可以将该方面的陈述容易地转换到根据图1A使用HMD的实施例。
图2根据本发明的实施例，给出了参与的坐标系统的概述。一个方面，使用构成连接元素的地球坐标系统200(在该实施例中，其用地理全球坐标系统来表示)。在图2中使用附图标记201来指示地球的表面。为了规定地理全球坐标系统(例如，地球坐标系统200)，规定了对于本领域普通技术人员来说公知的各种标准(例如，WGS84；NMA-国家图像测绘局：国防部世界大地坐标系1984；2000年1月第三版技术报告TR 8350.2)。此外，摄像机坐标系统提供显示的虚拟对象10和图像50之间的连接。通过对于技术人员来说公知的转换方式，可以计算摄像机32和图像50在地球坐标系统200中的姿态，对象10相对于图像50的姿态P50_10(“图像中的姿态模型”)。例如，通过GPS和/或方向传感器来计算全球图像姿态PW50(“世界中的姿态图像”)。根据姿态PW50和P50_10，可以随后计算虚拟对象10的全球姿态PW10(“世界中的姿态模型”)。
以类似的方式，可以根据具有地球坐标系统200中的另一个全球姿态PW60的第二图像60的姿态，来计算对象10相对于图像60的姿态P60_10(“图像2中的姿态模型”)。例如，通过GPS和/或方向传感器，还计算全球图像姿态PW60(“世界中的姿态图像2”)。
用该方式，可以将虚拟对象10放置在第一图像(图像50)中，并在位于地球上的附近位置处的第二图像(图像60)中观看虚拟对象10，但从不同的观察角度进行观看。例如，第一用户将对象10放置在具有姿态PW10的第一图像50中。当第二用户使用他的移动设备时，根据图像60生成一个视图，若图像60在孔径角度或观察角度中覆盖包括姿态PW10的全球位置的真实世界的一部分，则第一用户放置的虚拟对象10自动地混合到与姿态PW10相对应的相同全球位置处的图像60中。
在下文中，通过图3和图4的流程图结合其它附图的方式，更详细地描述本发明的方面和实施例。
图3示出了根据本发明的一个实施例的方法的示例性流程。在第一步骤1.0，生成与世界有关的数据。这些数据可以从例如互联网中提取，也可以由第一用户使用摄像机(图1B)或者具有摄像机的HMD(图1A)来生成。为此，通过确定世界中的位置和方向(姿态)(步骤2.0)，用户在步骤1.0中拍摄视图(图像或捕获的视图)。例如，这可以使用GPS和指南针来实现。可选地，可以另外地记录关于数据生成时的不确定性的信息。
当该视图(图像或捕获的视图)存在时，用户可以有利地将该视图中的虚拟对象直接放置在他的移动设备上(步骤3.0)。有利的是，在摄像机坐标系统中放置和操作该对象。在该情况下，在步骤4.0中，根据该视图的全球姿态和该对象在摄像机坐标系统中的姿态来计算该虚拟对象(或者对象)在世界中(例如，相对于坐标系统200)的全球姿态。这可以在客户端1上发生，也可以在服务器2上发生。
客户端是设备上的程序，其中该程序与服务器上的另一个程序建立联系，以便使用其的服务。下层的客户端-服务器模型允许将任务分布到计算机网络中的不同服务器。客户端不用解决其一个或多个特定任务，而是使它们由服务器解决，或者从为实现这种效果提供服务的服务器接收相应的数据。基本上，该系统的大多步骤可以在服务器上执行，也可以在客户端上执行。使用具有高计算容量的客户端，则例如有利的是使它们执行尽可能多的计算，并因此释放服务器。
在步骤5.0，将这些来自步骤4.0的信息项随后存储在服务器2的数据库3中，如参照图1C所有利描述的。在步骤6.0，相同用户或者另一个客户端上的另一个用户拍摄真实环境的图像(或者通过HMD的方式观看该环境的特定部分)，随后关于观看的真实环境的位置从服务器2中装载在步骤5.0中存储的数据。使用增强现实和有利地装备有地理空间功能特征的数据库来装载和显示与位置有关的信息，是本领域公知的。用户现在观看到来自先前存储的先前存储信息或者新的观察角度，并能够实现改变(操作现有虚拟信息和/或增加新的虚拟信息)，随后将该改变存储在服务器2上。这里，当用户坐在他办公室时，例如在具有互联网能力的客户端处，用户不需要必须是在线的，而可以使用先前存储的视图作为现实上的视窗。
在图1和图2的示例中，用户因此在服务器2的数据库3上提供或者生成虚拟对象10，其中服务器2的数据库3具有地理全球坐标系统200的全球位置和方向，以及允许对虚拟对象10的全球位置和方向得出结论的姿态数据(姿态PW10)。该用户或者另一个用户通过移动设备30以及姿态数据(姿态PW50)拍摄真实环境40的至少一幅图像50，其中该姿态数据允许对图像50是在地理全球坐标系统200的什么位置和什么方向拍摄的得出结论。在移动设备的显示器31上显示图像50。在服务器的数据库3中存取虚拟对象10，随后基于姿态PW10和PW50的姿态数据，将虚拟对象10位于在显示器显示的图像50中。随后，可以通过在显示器显示的图像50中进行相应定位(对比图1B的箭头MP)(例如，进行位移)来操作虚拟对象10，或者可以通过在显示器显示的图像50中进行相应定位来增加另一个虚拟对象11。
随后，在服务器2的数据库3中存储根据图像50中的定位的该操作的虚拟对象10以及修改的姿态数据(修改的姿态PW10)或者根据图像50中的定位的这种另外的虚拟对象11以及其姿态数据，其中修改的姿态数据PW10和新虚拟对象11的姿态数据均允许对操作的对象10或者另外的虚拟对象11针对坐标系统200的全球位置和方向得出结论。
在某些情况下，碰巧不能够到达服务器，故不可以存储新场景。在该情况下有利的是，该系统可以起作用，提供对该信息进行缓存，直到服务器可再次使用为止。在一个实施例中，如果到服务器的网络连接失败，则将要在服务器上存储的数据缓存在移动设备上，并在网络连接再次可用时，将该数据发送给服务器。
在另一个实施例中，用户可以获得真实环境区域(例如，他周围区域或者本地区域)中的场景的图集，其使用户可在按照接近性排序的列表中、或者在地图上或者使用增强现实进行选择。
在另一个实施例中，图像或者虚拟信息具有唯一识别特性(例如，唯一的名称)，客户端或者所述移动设备上已存在的图像或虚拟信息(其可以是虚拟模型数据或者视图)不用再从服务器上下载，而是从本地数据存储器中装载。
图4示出了根据本发明的另一个实施例的方法的示例性流程，特别增补了用于改进图像姿态的可选测量。该方法包括图3中的步骤1.0到6.0。此外，在图4的步骤7.0到8.0中，例如通过光方法的方式，随后提高视图(图像或者捕获的视图)的姿态，由于有利地存储了关于通过哪个视图来放置虚拟信息的信息，因此该信息的姿态也是正确的。或者，可以在客户端1上已生成视图之后，通过提供针对该视图的光跟踪参考信息，或向客户端1提供来自服务器2的参考数据库4的具有类似姿态的视图，来立即改进该视图的姿态。或者，也可以在计算放置的虚拟对象的姿态(步骤4.0)之前，实现视图的准确性，并直接以正确方式对其进行存储。但是，后一方法的优点在于：现有的参考数据并不必须可用于所有位置，因此只要参考数据可用，就还可以针对这些视图执行正确性。
当然，也可以使用被用作为参考数据的其它视图，特别是当一个位置可用多个视图时。称为asbundle调整的这种方法是本领域公知的，例如，在出版日期为2009年3月的ACM Transactions on Mathematical Software，Vol.36，No.1 Article中，MANOLOS I.A.，LOURAKIS和ANTONISA.ARGYROS A：SBA：A Software Package for Generic Sparse BundleAdjustment对此进行了描述。在该情况下，可以对点相似的3D位置、视图的姿态以及固有的摄像机参数进行优化。因此，根据本发明的方法还提供生成自己的世界模型，以便在一般情况下使用该数据的能力。例如，用于屏蔽支持深度的感测的模型或者用于进行实时地光跟踪。
图5示出了在迄今为止没有发生姿态改进的情况下，具有在其中放置的虚拟对象的真实环境的示例性场景。图5示出了在校正之前的可能情形。在设备30的显示器31所显示的图像中，相对于真实对象41、42(表示例如饭店建筑物)，放置虚拟对象10(例如，饭店的评论)，如从移动设备30所看到的。基于不正确的或者不准确的GPS数据，图像和对象10，以与不正确或者不准确确定的摄像机姿态数据P30-2相对应的方式，存储有不正确的世界坐标。这导致以相应不正确方式存储对象10-2。这在该捕获的图像本身是没有问题的。但是，当在例如地图或者在另一个图像上观看虚拟对象10时，错误会变得显而易见。
如果以真正或者正确的摄像机姿态数据P30-1生成图像，则虚拟对象10将在该图像中的某个位置处显示，如虚拟对象10-1的描绘所显示的，并且还以用户生成该虚拟对象的方式进行观看。但是，不正确存储的虚拟对象10-2在另一个图像中被示出为与虚拟对象10的真实位置发生位移，其具有错误的摄像机姿态P30-2与真实的摄像机姿态P30-1发生位移的程度。因此，不正确存储的虚拟对象10-2在移动设备30的图像中的描绘，与生成的用户在前一图像中的真实定位不相对应。
为了提高虚拟对象的描绘以及它们在真实环境的图像中的位置的准确性，根据本发明的方法的实施例包括下面步骤：提供具有真实环境的参考视图以及姿态数据的参考数据库4，其中该姿态数据允许对摄像机在地理全球坐标系统200的什么位置和什么方向拍摄各个参考视图得出结论。随后，将该图像中示出的真实对象的至少一部分与参考视图的至少一个中包含的真实对象的至少一部分进行比较，实现所述图像的姿态数据与至少一个参考视图的姿态数据的匹配。其后，作为匹配的结果，基于各个参考视图的姿态数据的至少一部分来修改所述图像的姿态数据的至少一部分。
此外，在另外的实施例中，作为所述图像的姿态数据与各个参考视图的姿态数据的匹配的结果，对位于该图像中的虚拟对象的姿态数据的至少一部分进行修改。
图6示出了在发生姿态改进之后，具有在其中放置的虚拟对象10-1的类似于图5的真实环境的示例性场景。在一个方面，图6示出了识别图像中的图像特征的机制，另一方面，示出了图像姿态和对象姿态的相对应正确性。具体而言，将图像特征43(例如，真实对象41和42的不同特征)与参考数据库4的参考图像的相对应特征进行比较，并进行匹配(称为图像特征的“匹配”)。
现在，虚拟对象10也在其它图像(其具有正确的姿态)中进行了正确地描绘，或者可以实现放置正确。放置正确的表达是指出，用户在以透视方式放置虚拟对象时，的确错误地判断在地面上放置的对象的高度。通过在记录的现实的一部分中具有重叠的两幅图像，可以提取地平面，重新定位在该方式中放置的对象，即，它们都在地面上，但在它们初始放置的该图像中，仿佛仍然几乎位于相同的位置。
图7A示出了在其中放置虚拟对象的真实世界的示例性地图视图，而图7B示出了与图7A相同的场景的示例性透视图。图7A和图7B用于具体地描绘摄像机姿态的用户辅助的确定。例如，当使用没有装备有指南针的移动设备来获得观察方向的粗估计时，其是有用的。为此，如图7B所示，用户可以以通常方式来拍摄图像50，并关于真实对象41来放置虚拟对象10。其后，可以提示用户再次在地图80或者世界的虚拟视图80上显示放置的对象10的位置，如图7A所示。基于图像50的GPS位置和对象10在地图80上的对象位置之间的连接，可以随后计算或者校正图像50在世界中的方向(方位)。当移动设备也不具有GPS时，该处理还可以使用两个虚拟对象或者一个虚拟对象和当前位置的指示来执行。此外，还可以向用户指示最后图像的“视野”(对比图像部分的指示符81)，如图7A中所示例的，为了正确，用户可以交互式地移动地图中的“视野”，并对其进行重定向。这里，根据固有的摄像机参数来显示“视野”的孔径。
具体而言，根据该实施例，该方法包括下面步骤：在移动设备的显示器上提供地图视图(对比地图视图80)，为用户提供选项以选择对图像进行拍照时的观察方向。用此方式，可以在地图中选择用户在特定的时刻使用摄像机面向的观察方向。
根据本发明的另一个实施例，该方法包括另外的步骤：在真实环境的图像中和移动设备的显示器所提供的地图视图中放置虚拟对象，根据所确定的该图像的位置和虚拟对象在所提供的地图视图中的位置，来确定该图像的方向。因此，可以将虚拟对象放置在地图上以及真实环境的透视图像中，其允许对用户的方向得出结论。
为了还允许其它用户从远距离(例如，在通过比如互联网与服务器通信的客户端上)，观看和编辑使用虚拟对象增强的真实环境的图像，在本发明的实施例中提供了还包括下面步骤的方法：
在服务器的数据库上提供真实环境的至少一幅图像以及其姿态数据。其后，在服务器上存取该真实环境的图像，并将该图像发送给客户端设备，以便在客户端设备上显示该图像。用户通过在客户端设备所显示的真实环境的图像中进行相应定位，来操作该虚拟对象或者增加另一个虚拟对象。在服务器的数据库上，提供根据客户端设备所显示的图像中的定位的操作的虚拟对象以及其修改的姿态数据，或者根据客户端设备所显示的图像中的定位的另外的虚拟对象以及其(新的)姿态数据，其中修改的姿态数据或者新的姿态数据均允许对客户端设备所显示的图像中的操作的虚拟对象或者另外的虚拟对象的全球位置和方向得出结论。因此，使用客户端设备的“远程接入”，可以使用另外的虚拟信息来修改或者增强图像中的AR场景，并将其写回到服务器。由于新存储的操作的虚拟信息或者新虚拟信息的全球位置，因此其它用户可以通过访问服务器来重新获得该位置，并在与该全球位置相对应的AR场景中进行观看。
基于上述内容，另一个实施例中的方法包括下面另外的步骤：在服务器上存取真实环境的图像，并将其发送给第二客户端设备以便在第二客户端设备上观看该图像，存取在服务器上提供的虚拟对象，其中第二客户端设备上的图像的视图显示那些其全球位置在第二客户端设备上的图像的视图中所显示的真实环境之内的虚拟对象。用此方式，观看者可以在另一个客户端设备上观察显示那些虚拟对象的场景，其中其它用户先前已将这些虚拟对象放置在相应位置(即，它们的全球位置位于在该客户端设备上的图像的视图中所显示的真实环境之内)。换言之，观看者从他的观察角度观看其它用户先前已将其放置在视图的可视范围中的那些虚拟对象。
[1]AR Wikitude.http://www.mobilizy.com/wikitude.php.
[2]Enkin.http://www.enkin.net.
[3]S.Feiner.B.Maclntyre.T.and A.Webster.A touring machine：Prototyping 3d mobile augmented reality systems for exploringthe urban environment.In Proceedings of the 1st International Symposiumon Wearable Computers.pages 74-81.1997.
[4]Sekai Camera.http://www.tonchidot.com/product-info.html.
[5]Iayar.com

Claims (16)

1.一种用于在真实环境的视图中描绘虚拟信息的方法，包括下面步骤：
在服务器(2)的数据库(3)中，提供具有地理全球坐标系统(200)的全球位置和方向的至少一个虚拟对象(10)，以及允许对所述虚拟对象的全球位置和方向得出结论的第一姿态数据(PW10)；
通过移动设备(30)拍摄真实环境(40)的至少一幅图像(50)，并提供第二姿态数据(PW50)，其中所述第二姿态数据允许对所述图像是在所述地理全球坐标系统(200)的什么位置和什么方向拍摄的得出结论；
在所述移动设备的显示器(31)上显示所述图像(50)；
在所述服务器(2)的数据库(3)中存取所述虚拟对象(10)，并基于所述第一姿态数据和所述第二姿态数据(PW10、PW50)，在显示器显示的所述图像(50)中定位所述虚拟对象(10)；
通过在显示器显示的所述图像(50)中进行相应定位，操作所述虚拟对象(10)或者增加另一个虚拟对象(11)；
在所述服务器(2)的数据库(3)中，提供根据所述图像(50)中的定位的所操作的虚拟对象(10)以及修改的第一姿态数据(PW10)，或者根据所述图像(50)中的定位的另外的虚拟对象(11)以及第三姿态数据，所修改的第一姿态数据和所述第三姿态数据均允许对所操作的虚拟对象或者另外的虚拟对象的全球位置和方向得出结论。
2.根据权利要求1所述的方法，其中，在所述服务器上提供所述图像(50)以及所述第二姿态数据(PW50)。
3.一种用于在真实环境的视图中描绘虚拟信息的方法，包括下面步骤：
在服务器(2)的数据库(3)中，提供具有地理全球坐标系统(200)的全球位置和方向的至少一个虚拟对象(10)，以及允许对所述虚拟对象的全球位置和方向得出结论的第一姿态数据(PW10)；
通过数据眼镜(20)提供真实环境(40)的至少一个视图(70)以及第二姿态数据，其中所述第二姿态数据允许对所述数据眼镜位于所述地理全球坐标系统(200)的什么位置和什么方向得出结论；
在所述服务器(2)的数据库(3)中存取所述虚拟对象(10)，并基于所述第一姿态数据和所述第二姿态数据，在所述视图中定位所述虚拟对象(10)；
通过所述视图中的相应定位，操作所述虚拟对象(10)或者增加另外的虚拟对象(11)；
在所述服务器(2)的数据库(3)中，提供根据所述视图(70)中的定位的所操作的虚拟对象(10)以及修改的第一姿态数据(PW10)，或者根据所述视图(70)中的定位的另外的虚拟对象(11)以及第三姿态数据，所修改的第一姿态数据和所述第三姿态数据均允许对所操作的虚拟对象或者另外的虚拟对象的全球位置和方向得出结论。
4.根据前述权利要求中的任意一项所述的方法，其中，所述移动设备(30)或者所述数据眼镜(20)包括用于生成所述第二姿态数据的单元(24、34)，或者连接到用于生成所述第二姿态数据的单元(24、34)。
5.根据前述权利要求中的任意一项所述的方法，其中，所述姿态数据(PW10、PW50)均各自包括位置和方向的三维值。
6.根据前述权利要求中的任意一项所述的方法，其中，独立于地球表面(201)来规定所述真实环境的图像(50)的方向。
7.根据前述权利要求中的任意一项所述的方法，其中，在所述服务器(2)的存储位置上存储其中真实环境的几幅图像中的哪幅图像(50)或者真实环境的几个视图中的哪个视图(70)、几个虚拟对象中的哪个虚拟对象(10)已提供有姿态数据。
8.根据前述权利要求中的任意一项所述的方法，还包括下面的另外步骤：
提供具有真实环境的参考视图的参考数据库(4)以及姿态数据，其中所述姿态数据允许对摄像机在所述地理全球坐标系统(200)的什么位置和什么方向拍摄所述各个参考视图得出结论，
将所述图像中显示的至少一个真实对象(41、42)与所述参考视图的至少一个中包含的真实对象的至少一部分进行比较，并且将所述图像的第二姿态数据(PW50)与所述至少一个参考视图的姿态数据匹配，
作为所述匹配的结果，基于所述至少一个参考视图的姿态数据的至少一部分来修改所述第二姿态数据(PW50)的至少一部分。
9.根据权利要求8所述的方法，其中，此外作为将所述第二姿态数据(PW50)与所述至少一个参考视图的姿态数据匹配的结果，修改位于所述图像中的虚拟对象(10)的第一姿态数据(PW10)的至少一部分。
10.根据前述权利要求中的任意一项所述的方法，还包括下面的另外步骤：
在所述服务器的数据库(3)中，提供所述真实环境的至少一幅图像(50)以及所述第二姿态数据(PW50)，
在所述服务器(2)上存取所述真实环境的图像(50)，并发送给客户端设备(1)以在所述客户端设备上显示所述图像，
通过在所述客户端设备显示的所述真实环境的图像中进行相应定位，操作所述虚拟对象(10)或者增加另外的虚拟对象(11)，
在所述服务器的数据库(3)中，提供根据所述客户端设备显示的所述图像中的定位的所操作的虚拟对象(10)以及修改的第一姿态数据(PW10)，或者根据所述客户端设备显示的图像中的定位的另外的虚拟对象(11)以及第三姿态数据，所修改的第一姿态数据和所述第三姿态数据均允许对所述客户端设备显示的图像中的所操作的虚拟对象或者另外的虚拟对象的全球位置和方向得出结论。
11.根据权利要求10所述的方法，还包括下面的步骤：
在所述服务器(2)上存取所述真实环境的图像(50)，并传送给第二客户端设备以在所述第二客户端设备上观看所述图像，以及
存取所述服务器上提供的虚拟对象(10)，其中所述第二客户端设备上的图像的视图显示那些其全球位置位于所述真实环境之中的虚拟对象，其中所述真实环境是在所述第二客户端设备上的图像的视图中显示的。
12.根据前述权利要求中的任意一项所述的方法，还包括下面的步骤：
在所述移动设备的显示器上提供地图视图(80)，
为用户提供选项，以选择拍摄所述真实环境的至少一幅图像时的观察方向。
13.根据前述权利要求中的任意一项所述的方法，包括下面的步骤：
将至少一个虚拟对象(10)放置在所述真实环境的图像中和在所述移动设备的显示器上提供的地图视图(80)中，
根据所述真实环境的图像的确定的位置以及提供的地图视图(80)中的至少一个虚拟对象(10)的位置，确定所述真实环境的图像(50)的方向。
14.根据前述权利要求中的任意一项所述的方法，其中，如果到所述服务器(3)的网络连接失败，则将要存储在所述服务器上的数据缓存到所述移动设备上，只要所述网络连接再次可用，就将所述数据发送给所述服务器。
15.根据前述权利要求中的任意一项所述的方法，其中，用户可以重新获得真实环境区域中的场景的图集，其使用户可在按照接近性排序的列表中、或者在地图上或者通过增强现实的方式进行选择。
16.根据前述权利要求中的任意一项所述的方法，其中，所述图像或者所述虚拟信息具有唯一识别特性，客户端或者所述移动设备上已存在的图像或虚拟信息不用再从所述服务器上下载，而是从本地数据存储器中装载。
CN201080045773.1A 2009-10-12 2010-10-11 用于在真实环境的视图中描绘虚拟信息的方法 Active CN102598064B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201510468220.1A CN105046752B (zh) 2009-10-12 2010-10-11 用于在真实环境的视图中描绘虚拟信息的方法

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
DE102009049073A DE102009049073A1 (de) 2009-10-12 2009-10-12 Verfahren zur Darstellung von virtueller Information in einer Ansicht einer realen Umgebung
DE102009049073.6 2009-10-12
PCT/EP2010/065207 WO2011045276A1 (de) 2009-10-12 2010-10-11 Verfahren zur darstellung von virtueller information in einer ansicht einer realen umgebung

Related Child Applications (1)

Application Number Title Priority Date Filing Date
CN201510468220.1A Division CN105046752B (zh) 2009-10-12 2010-10-11 用于在真实环境的视图中描绘虚拟信息的方法

Publications (2)

Publication Number Publication Date
CN102598064A true CN102598064A (zh) 2012-07-18
CN102598064B CN102598064B (zh) 2015-08-26

Family

ID=43365284

Family Applications (2)

Application Number Title Priority Date Filing Date
CN201510468220.1A Active CN105046752B (zh) 2009-10-12 2010-10-11 用于在真实环境的视图中描绘虚拟信息的方法
CN201080045773.1A Active CN102598064B (zh) 2009-10-12 2010-10-11 用于在真实环境的视图中描绘虚拟信息的方法

Family Applications Before (1)

Application Number Title Priority Date Filing Date
CN201510468220.1A Active CN105046752B (zh) 2009-10-12 2010-10-11 用于在真实环境的视图中描绘虚拟信息的方法

Country Status (6)

Country Link
US (6) US9001154B2 (zh)
EP (2) EP2489013A1 (zh)
JP (1) JP5582548B2 (zh)
CN (2) CN105046752B (zh)
DE (1) DE102009049073A1 (zh)
WO (1) WO2011045276A1 (zh)

Cited By (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105338479A (zh) * 2014-06-09 2016-02-17 阿里巴巴集团控股有限公司 基于场所的信息处理方法及装置
CN105378632A (zh) * 2013-06-12 2016-03-02 微软技术许可有限责任公司 用户焦点控制的有向用户输入
CN105378801A (zh) * 2013-04-12 2016-03-02 微软技术许可有限责任公司 全息图快照网格
CN106415671A (zh) * 2014-06-03 2017-02-15 Metaio有限公司 用于呈现与真实对象相关的数字信息的方法和系统
CN108875134A (zh) * 2017-05-10 2018-11-23 克朗斯股份公司 规划饮料加工工业领域的设施的方法、计算机和存储介质
CN108932051A (zh) * 2017-05-24 2018-12-04 腾讯科技（北京）有限公司 增强现实图像处理方法、装置及存储介质
CN109814710A (zh) * 2018-12-27 2019-05-28 青岛小鸟看看科技有限公司 数据处理方法、装置及虚拟现实设备
CN110199321A (zh) * 2017-01-23 2019-09-03 奇跃公司 用于混合现实系统的定位确定
CN110415293A (zh) * 2018-04-26 2019-11-05 腾讯科技（深圳）有限公司 交互处理方法、装置、系统和计算机设备
CN111179435A (zh) * 2019-12-24 2020-05-19 Oppo广东移动通信有限公司 增强现实处理方法及装置、系统、存储介质和电子设备
CN111311758A (zh) * 2020-02-24 2020-06-19 Oppo广东移动通信有限公司 增强现实处理方法及装置、存储介质和电子设备
CN111373449A (zh) * 2017-11-21 2020-07-03 沃尔沃卡车集团 用于辅助在产品上执行任务的辅助方法，包括显示突出显示产品的被监测部件的突出显示图像
CN111707280A (zh) * 2020-06-24 2020-09-25 深圳市元征科技股份有限公司 2d地图软件ar导航方法、装置、设备及存储介质
CN112561952A (zh) * 2019-09-26 2021-03-26 北京外号信息技术有限公司 用于为目标设置可呈现的虚拟对象的方法和系统
CN113168735A (zh) * 2018-10-22 2021-07-23 犹尼蒂知识产权有限公司 用于在混合现实环境中针对视觉数字创作处理和划分真实世界的部分的方法和系统
CN113287292A (zh) * 2019-01-08 2021-08-20 三星电子株式会社 电子装置、电子装置的控制方法和计算机可读介质

Families Citing this family (101)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102009049073A1 (de) 2009-10-12 2011-04-21 Metaio Gmbh Verfahren zur Darstellung von virtueller Information in einer Ansicht einer realen Umgebung
KR101487944B1 (ko) 2010-02-24 2015-01-30 아이피플렉 홀딩스 코포레이션 시각 장애인들을 지원하는 증강 현실 파노라마
JP5377537B2 (ja) * 2011-02-10 2013-12-25 株式会社エヌ・ティ・ティ・ドコモ オブジェクト表示装置、オブジェクト表示方法及びオブジェクト表示プログラム
JP5741160B2 (ja) * 2011-04-08 2015-07-01 ソニー株式会社 表示制御装置、表示制御方法、およびプログラム
US8884950B1 (en) * 2011-07-29 2014-11-11 Google Inc. Pose data via user interaction
AU2011205223C1 (en) 2011-08-09 2013-03-28 Microsoft Technology Licensing, Llc Physical interaction with virtual objects for DRM
US10019962B2 (en) 2011-08-17 2018-07-10 Microsoft Technology Licensing, Llc Context adaptive user interface for augmented reality display
US9153195B2 (en) 2011-08-17 2015-10-06 Microsoft Technology Licensing, Llc Providing contextual personal information by a mixed reality device
WO2013028908A1 (en) 2011-08-24 2013-02-28 Microsoft Corporation Touch and social cues as inputs into a computer
KR101314679B1 (ko) * 2011-09-14 2013-10-07 엘지전자 주식회사 이동 단말기 및 그 동작 제어 방법
US9536251B2 (en) * 2011-11-15 2017-01-03 Excalibur Ip, Llc Providing advertisements in an augmented reality environment
DE102011122206A1 (de) 2011-12-23 2013-06-27 Volkswagen Aktiengesellschaft Verfahren zum Betrieb eines Augmented-Reality-Systems
US9501152B2 (en) 2013-01-15 2016-11-22 Leap Motion, Inc. Free-space user interface and control using virtual constructs
US11493998B2 (en) 2012-01-17 2022-11-08 Ultrahaptics IP Two Limited Systems and methods for machine control
US11266919B2 (en) 2012-06-29 2022-03-08 Monkeymedia, Inc. Head-mounted display for navigating virtual and augmented reality
US20140002582A1 (en) * 2012-06-29 2014-01-02 Monkeymedia, Inc. Portable proprioceptive peripatetic polylinear video player
EP2936443A1 (en) 2012-12-21 2015-10-28 Metaio GmbH Method for representing virtual information in a real environment
FR3000242A1 (fr) 2012-12-21 2014-06-27 France Telecom Procede de gestion d’un systeme d’information geographique adapte pour etre utilise avec au moins un dispositif de pointage, avec creation d’associations entre objets numeriques.
FR3000241A1 (fr) * 2012-12-21 2014-06-27 France Telecom Procede de gestion d’un systeme d’information geographique adapte pour etre utilise avec au moins un dispositif de pointage, avec creation d’objets numeriques purement virtuels.
US9459697B2 (en) 2013-01-15 2016-10-04 Leap Motion, Inc. Dynamic, free-space user interactions for machine control
JP5991423B2 (ja) 2013-02-21 2016-09-14 富士通株式会社 表示装置、表示方法、表示プログラムおよび位置設定システム
US20140240226A1 (en) * 2013-02-27 2014-08-28 Robert Bosch Gmbh User Interface Apparatus
US9928652B2 (en) * 2013-03-01 2018-03-27 Apple Inc. Registration between actual mobile device position and environmental model
US9679414B2 (en) * 2013-03-01 2017-06-13 Apple Inc. Federated mobile device positioning
US20140267776A1 (en) * 2013-03-15 2014-09-18 MJK Holding. LLC Tracking system using image recognition
US9916009B2 (en) 2013-04-26 2018-03-13 Leap Motion, Inc. Non-tactile interface systems and methods
US10262462B2 (en) 2014-04-18 2019-04-16 Magic Leap, Inc. Systems and methods for augmented and virtual reality
FR3007860A1 (fr) * 2013-06-27 2015-01-02 France Telecom Procede d'interaction entre un objet numerique, representatif d'au moins un objet reel ou virtuel localise dans un perimetre geographique distant, et un dispositif de pointage local
US10281987B1 (en) 2013-08-09 2019-05-07 Leap Motion, Inc. Systems and methods of free-space gestural interaction
DE102013021137B4 (de) 2013-12-13 2022-01-27 Audi Ag Verfahren zum Betreiben einer Datenschnittstelle eines Kraftwagens und Kraftwagen
KR20150101686A (ko) * 2014-02-27 2015-09-04 삼성전자주식회사 방송수신장치 및 그 제어방법
EP3123449B1 (en) * 2014-03-25 2020-01-01 Apple Inc. Method and system for representing a virtual object in a view of a real environment
WO2015160828A1 (en) * 2014-04-15 2015-10-22 Huntington Ingalls Incorporated System and method for augmented reality display of dynamic environment information
US9864909B2 (en) 2014-04-25 2018-01-09 Huntington Ingalls Incorporated System and method for using augmented reality display in surface treatment procedures
KR101583286B1 (ko) * 2014-05-16 2016-01-07 네이버 주식회사 공간 정보를 제공하기 위한 증강 현실 제공 방법과 시스템, 그리고 기록 매체 및 파일 배포 시스템
US10600245B1 (en) * 2014-05-28 2020-03-24 Lucasfilm Entertainment Company Ltd. Navigating a virtual environment of a media content item
US10915754B2 (en) * 2014-06-09 2021-02-09 Huntington Ingalls Incorporated System and method for use of augmented reality in outfitting a dynamic structural space
WO2015191346A1 (en) 2014-06-09 2015-12-17 Huntington Ingalls Incorporated System and method for augmented reality display of electrical system information
US10504294B2 (en) * 2014-06-09 2019-12-10 Huntington Ingalls Incorporated System and method for augmented reality discrepancy determination and reporting
DE102014008852B4 (de) 2014-06-14 2024-07-04 Audi Ag Kalibrierung eines Kraftfahrzeug-Eyetrackingsystems
DE102014009608A1 (de) * 2014-06-27 2015-12-31 Audi Ag Betrieb einer AR-Brille im Kraftfahrzeug
WO2016011149A1 (en) * 2014-07-16 2016-01-21 Huntington Ingalls Incorporated System and method for augmented reality display of hoisting and rigging information
US9727583B2 (en) * 2014-07-25 2017-08-08 Rovio Entertainment Ltd Interactive physical display
CN204480228U (zh) 2014-08-08 2015-07-15 厉动公司 运动感测和成像设备
US10353532B1 (en) 2014-12-18 2019-07-16 Leap Motion, Inc. User interface for integrated gestural interaction and multi-user collaboration in immersive virtual reality environments
DE102015201290A1 (de) * 2015-01-26 2016-07-28 Prüftechnik Dieter Busch AG Positionieren zweier Körper mittels eines Ausrichtsystems mit einer Datenbrille
US11062383B2 (en) 2016-05-10 2021-07-13 Lowe's Companies, Inc. Systems and methods for displaying a simulated room and portions thereof
US10083534B2 (en) 2016-07-01 2018-09-25 Phillips 66 Company Process for rendering and presenting underground utilities for efficient identification, marking and inspection
CA3032812A1 (en) 2016-08-04 2018-02-08 Reification Inc. Methods for simultaneous localization and mapping (slam) and related apparatus and systems
US10553036B1 (en) 2017-01-10 2020-02-04 Lucasfilm Entertainment Company Ltd. Manipulating objects within an immersive environment
US10824774B2 (en) 2019-01-17 2020-11-03 Middle Chart, LLC Methods and apparatus for healthcare facility optimization
US10831945B2 (en) 2017-02-22 2020-11-10 Middle Chart, LLC Apparatus for operation of connected infrastructure
US10762251B2 (en) 2017-02-22 2020-09-01 Middle Chart, LLC System for conducting a service call with orienteering
US11900021B2 (en) 2017-02-22 2024-02-13 Middle Chart, LLC Provision of digital content via a wearable eye covering
US12086507B2 (en) 2017-02-22 2024-09-10 Middle Chart, LLC Method and apparatus for construction and operation of connected infrastructure
WO2020068177A1 (en) 2018-09-26 2020-04-02 Middle Chart, LLC Method and apparatus for augmented virtual models and orienteering
US10740502B2 (en) 2017-02-22 2020-08-11 Middle Chart, LLC Method and apparatus for position based query with augmented reality headgear
US11481527B2 (en) 2017-02-22 2022-10-25 Middle Chart, LLC Apparatus for displaying information about an item of equipment in a direction of interest
US11625510B2 (en) 2017-02-22 2023-04-11 Middle Chart, LLC Method and apparatus for presentation of digital content
US10620084B2 (en) 2017-02-22 2020-04-14 Middle Chart, LLC System for hierarchical actions based upon monitored building conditions
US10872179B2 (en) 2017-02-22 2020-12-22 Middle Chart, LLC Method and apparatus for automated site augmentation
US10949579B2 (en) 2017-02-22 2021-03-16 Middle Chart, LLC Method and apparatus for enhanced position and orientation determination
US10776529B2 (en) 2017-02-22 2020-09-15 Middle Chart, LLC Method and apparatus for enhanced automated wireless orienteering
US10628617B1 (en) 2017-02-22 2020-04-21 Middle Chart, LLC Method and apparatus for wireless determination of position and orientation of a smart device
US10984146B2 (en) 2017-02-22 2021-04-20 Middle Chart, LLC Tracking safety conditions of an area
US11900023B2 (en) 2017-02-22 2024-02-13 Middle Chart, LLC Agent supportable device for pointing towards an item of interest
US10740503B1 (en) 2019-01-17 2020-08-11 Middle Chart, LLC Spatial self-verifying array of nodes
US11475177B2 (en) 2017-02-22 2022-10-18 Middle Chart, LLC Method and apparatus for improved position and orientation based information display
US10902160B2 (en) 2017-02-22 2021-01-26 Middle Chart, LLC Cold storage environmental control and product tracking
US11194938B2 (en) 2020-01-28 2021-12-07 Middle Chart, LLC Methods and apparatus for persistent location based digital content
US11468209B2 (en) 2017-02-22 2022-10-11 Middle Chart, LLC Method and apparatus for display of digital content associated with a location in a wireless communications area
FR3067842B1 (fr) * 2017-06-19 2020-09-25 SOCIéTé BIC Procede d'application de texture en realite augmentee, systeme et kits correspondants
US11127212B1 (en) 2017-08-24 2021-09-21 Sean Asher Wilens Method of projecting virtual reality imagery for augmenting real world objects and surfaces
US20190197312A1 (en) 2017-09-13 2019-06-27 Edward Rashid Lahood Method, apparatus and computer-readable media for displaying augmented reality information
US10102659B1 (en) * 2017-09-18 2018-10-16 Nicholas T. Hariton Systems and methods for utilizing a device as a marker for augmented reality content
US10105601B1 (en) 2017-10-27 2018-10-23 Nicholas T. Hariton Systems and methods for rendering a virtual content object in an augmented reality environment
US11087527B2 (en) * 2017-12-01 2021-08-10 Koninklijke Kpn N.V. Selecting an omnidirectional image for display
EP3495936A1 (de) 2017-12-07 2019-06-12 Siemens Aktiengesellschaft Sichere brillenartige vorrichtung und verfahren
US10192115B1 (en) 2017-12-13 2019-01-29 Lowe's Companies, Inc. Virtualizing objects using object models and object position data
JP7058585B2 (ja) * 2017-12-25 2022-04-22 キヤノン株式会社 画像処理装置およびその制御方法
WO2019130827A1 (ja) * 2017-12-25 2019-07-04 キヤノン株式会社 画像処理装置およびその制御方法
CN108245172B (zh) * 2018-01-10 2020-04-07 山东大学 一种不受位置约束的人体姿态识别方法
US20190250283A1 (en) 2018-02-09 2019-08-15 Matterport, Inc. Accuracy of gps coordinates associated with image capture locations
US10636188B2 (en) 2018-02-09 2020-04-28 Nicholas T. Hariton Systems and methods for utilizing a living entity as a marker for augmented reality content
CN108510525B (zh) * 2018-03-30 2019-03-12 百度在线网络技术（北京）有限公司 模板追踪方法、装置、增强现实系统及存储介质
US10198871B1 (en) 2018-04-27 2019-02-05 Nicholas T. Hariton Systems and methods for generating and facilitating access to a personalized augmented rendering of a user
CN109126121B (zh) * 2018-06-01 2022-01-04 成都通甲优博科技有限责任公司 Ar终端互联方法、系统、装置及计算机可读存储介质
US12067683B2 (en) * 2018-09-14 2024-08-20 Streem, Llc Location persistent augmented reality object and annotation placement
CN109636464A (zh) * 2018-12-11 2019-04-16 深圳市房多多网络科技有限公司 基于ar技术的智能找房方法及系统
US11024096B2 (en) 2019-04-29 2021-06-01 The Board Of Trustees Of The Leland Stanford Junior University 3D-perceptually accurate manual alignment of virtual content with the real world with an augmented reality device
US10586396B1 (en) 2019-04-30 2020-03-10 Nicholas T. Hariton Systems, methods, and storage media for conveying virtual content in an augmented reality environment
DE102019213740A1 (de) 2019-09-10 2021-03-11 Audi Ag Verfahren zum Betreiben eines am Kopf tragbaren Anzeigegeräts in einem Kraftfahrzeug, Steuereinrichtung, und am Kopf tragbares Anzeigegerät
US11507714B2 (en) 2020-01-28 2022-11-22 Middle Chart, LLC Methods and apparatus for secure persistent location based digital content
CN111710047A (zh) * 2020-06-05 2020-09-25 北京有竹居网络技术有限公司 一种信息展示方法、装置和电子设备
CN112712559B (zh) * 2020-12-28 2021-11-30 长安大学 基于NED坐标系向量旋转的SfM点云校正方法
DE102021117904A1 (de) 2021-07-12 2023-01-12 Valeo Comfort And Driving Assistance Videostreamen von einem Fahrzeug zu einem entfernten Virtuelle-Realität-System
DE102021131060B3 (de) 2021-11-26 2022-07-28 Sick Ag System und Verfahren mit einem System
DE102022100840A1 (de) * 2022-01-14 2023-07-20 Sick Ag Augmented-reality-system zum unterrichten eines anwenders einer applikation
US11586286B1 (en) 2022-05-18 2023-02-21 Bank Of America Corporation System and method for navigating on an augmented reality display
US11720380B1 (en) 2022-05-18 2023-08-08 Bank Of America Corporation System and method for updating augmented reality navigation instructions based on a detected error
DE102023001842A1 (de) 2023-05-08 2023-07-27 Mercedes-Benz Group AG Verfahren zur Darstellung von lmmobilienangeboten in einem Fahrzeug

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20020149581A1 (en) * 2001-04-17 2002-10-17 Furlong Todd Joseph Method for occlusion of movable objects and people in augmented reality scenes
CN101067716A (zh) * 2007-05-29 2007-11-07 南京航空航天大学 具有视线跟踪功能的增强现实自然交互式头盔

Family Cites Families (55)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6324299B1 (en) * 1998-04-03 2001-11-27 Cognex Corporation Object image search using sub-models
US7689014B2 (en) * 2000-01-18 2010-03-30 Z-Kat Inc Apparatus and method for measuring anatomical objects using coordinated fluoroscopy
JP4236372B2 (ja) * 2000-09-25 2009-03-11 インターナショナル・ビジネス・マシーンズ・コーポレーション 空間情報利用システムおよびサーバシステム
US20020120728A1 (en) * 2000-12-22 2002-08-29 Jason Braatz Method and apparatus for network-enablement of devices using device intelligence and network architecture
US7203384B2 (en) 2003-02-24 2007-04-10 Electronic Scripting Products, Inc. Implement for optically inferring information from a planar jotting surface
JP2004318823A (ja) * 2003-03-28 2004-11-11 Seiko Epson Corp 情報表示システム、情報処理装置、ポインティング装置および情報表示システムにおけるポインタマーク表示方法
GB2404247B (en) * 2003-07-22 2005-07-20 Hitachi Int Electric Inc Object tracing method and object tracking apparatus
US7110100B2 (en) 2003-11-04 2006-09-19 Electronic Scripting Products, Inc. Apparatus and method for determining an inclination of an elongate object contacting a plane surface
US7268956B2 (en) 2003-11-24 2007-09-11 Electronic Scripting Products, Inc. Solid catadioptric lens with two viewpoints
US7038846B2 (en) 2003-11-24 2006-05-02 Electronic Scripting Products, Inc. Solid catadioptric lens with a single viewpoint
JP2005174021A (ja) * 2003-12-11 2005-06-30 Canon Inc 情報提示方法及び装置
US7088440B2 (en) 2003-12-22 2006-08-08 Electronic Scripting Products, Inc. Method and apparatus for determining absolute position of a tip of an elongate object on a plane surface with invariant features
JP2005196678A (ja) * 2004-01-09 2005-07-21 Neucore Technol Inc テンプレートマッチング方法および対象画像領域抽出装置
US7729515B2 (en) 2006-03-08 2010-06-01 Electronic Scripting Products, Inc. Optical navigation apparatus using fixed beacons and a centroid sensing device
US9229540B2 (en) 2004-01-30 2016-01-05 Electronic Scripting Products, Inc. Deriving input from six degrees of freedom interfaces
US7961909B2 (en) 2006-03-08 2011-06-14 Electronic Scripting Products, Inc. Computer interface employing a manipulated object with absolute pose detection component and a display
US7826641B2 (en) 2004-01-30 2010-11-02 Electronic Scripting Products, Inc. Apparatus and method for determining an absolute pose of a manipulated object in a real three-dimensional environment with invariant features
US8542219B2 (en) 2004-01-30 2013-09-24 Electronic Scripting Products, Inc. Processing pose data derived from the pose of an elongate object
US7023536B2 (en) 2004-03-08 2006-04-04 Electronic Scripting Products, Inc. Apparatus and method for determining orientation parameters of an elongate object
US7161664B2 (en) 2004-04-13 2007-01-09 Electronic Scripting Products, Inc. Apparatus and method for optical determination of intermediate distances
US7113270B2 (en) 2004-06-18 2006-09-26 Electronics Scripting Products, Inc. Determination of an orientation parameter of an elongate object with a scan beam apparatus
US7374103B2 (en) * 2004-08-03 2008-05-20 Siemens Corporate Research, Inc. Object localization
US7756300B2 (en) * 2005-02-25 2010-07-13 The Invention Science Fund I, Llc Image mapping to provide visual geographic path
WO2007011306A2 (en) * 2005-07-20 2007-01-25 Bracco Imaging S.P.A. A method of and apparatus for mapping a virtual model of an object to the object
EP2764899A3 (en) * 2005-08-29 2014-12-10 Nant Holdings IP, LLC Interactivity via mobile image recognition
DE102005041628B4 (de) * 2005-09-01 2012-12-27 Siemens Ag Vorrichtung und Verfahren zur Verarbeitung von Daten unterschiedlicher Modalitäten
DE102005061952B4 (de) * 2005-12-23 2008-09-11 Metaio Gmbh Verfahren und System zur Bestimmung einer Ungenauigkeitsinformation in einem Augmented Reality System
JP4950550B2 (ja) * 2006-04-21 2012-06-13 株式会社東芝 パターン合わせずれ計測方法およびプログラム
WO2008002630A2 (en) * 2006-06-26 2008-01-03 University Of Southern California Seamless image integration into 3d models
US20090231485A1 (en) * 2006-09-06 2009-09-17 Bernd Steinke Mobile Terminal Device, Dongle and External Display Device Having an Enhanced Video Display Interface
US8174568B2 (en) * 2006-12-01 2012-05-08 Sri International Unified framework for precise vision-aided navigation
FR2913128B1 (fr) * 2007-02-23 2009-08-28 Total Immersion Sa Procede et dispositif de determination de la pose d'un objet tridimensionnel dans une image et procede et dispositif de creation d'au moins une image cle
CN100493180C (zh) * 2007-04-17 2009-05-27 天栢宽带网络科技（上海）有限公司 一种基于数字机顶盒的虚拟现实游戏装置和方法
NO327279B1 (no) * 2007-05-22 2009-06-02 Metaio Gmbh Kamerapositurestimeringsanordning og- fremgangsmate for foroket virkelighetsavbildning
US8763058B2 (en) * 2007-06-28 2014-06-24 Apple Inc. Selective data downloading and presentation based on user interaction
EP2009868B1 (en) * 2007-06-29 2016-09-07 Alcatel Lucent Method and system for improving the appearance of a person on the RTP stream coming from a media terminal
CN101127621A (zh) * 2007-09-26 2008-02-20 许立新 虚拟互联网跨媒体系统
US20090167760A1 (en) * 2007-12-27 2009-07-02 Nokia Corporation Triangle Mesh Based Image Descriptor
US8072448B2 (en) 2008-01-15 2011-12-06 Google Inc. Three-dimensional annotations for street view data
US20090231248A1 (en) * 2008-03-14 2009-09-17 Palm, Inc. Apparatus and methods for configuring the color of a mobile computing device cover
US8537174B2 (en) * 2009-10-06 2013-09-17 Palm, Inc. Techniques for adaptive brightness control of a display
DE102009049073A1 (de) * 2009-10-12 2011-04-21 Metaio Gmbh Verfahren zur Darstellung von virtueller Information in einer Ansicht einer realen Umgebung
JP5732064B2 (ja) * 2009-11-17 2015-06-10 エーテーハー チューリヒ 透明裸眼立体画像表示装置及び方法
EP2339537B1 (en) * 2009-12-23 2016-02-24 Metaio GmbH Method of determining reference features for use in an optical object initialization tracking process and object initialization tracking method
US20110234631A1 (en) * 2010-03-25 2011-09-29 Bizmodeline Co., Ltd. Augmented reality systems
US9013550B2 (en) * 2010-09-09 2015-04-21 Qualcomm Incorporated Online reference generation and tracking for multi-user augmented reality
US9448758B2 (en) * 2012-07-18 2016-09-20 The Boeing Company Projecting airplane location specific maintenance history using optical reference points
EP2704055A1 (en) * 2012-08-31 2014-03-05 Layar B.V. Determining space to display content in augmented reality
WO2014048497A1 (en) * 2012-09-28 2014-04-03 Metaio Gmbh Method of image processing for an augmented reality application
US8970709B2 (en) 2013-03-13 2015-03-03 Electronic Scripting Products, Inc. Reduced homography for recovery of pose parameters of an optical apparatus producing image data with structural uncertainty
US9443355B2 (en) * 2013-06-28 2016-09-13 Microsoft Technology Licensing, Llc Reprojection OLED display for augmented reality experiences
US9514571B2 (en) * 2013-07-25 2016-12-06 Microsoft Technology Licensing, Llc Late stage reprojection
CN108139815B (zh) * 2016-02-22 2020-11-10 谷歌有限责任公司 用于虚拟现实内容的显示的场景和对象的分立时间扭曲
JP7156301B2 (ja) * 2017-10-31 2022-10-19 ソニーグループ株式会社 情報処理装置、情報処理方法およびプログラム
KR20230022269A (ko) * 2019-10-15 2023-02-14 베이징 센스타임 테크놀로지 디벨롭먼트 컴퍼니 리미티드 증강 현실 데이터 제시 방법, 장치, 전자 기기 및 저장 매체

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20020149581A1 (en) * 2001-04-17 2002-10-17 Furlong Todd Joseph Method for occlusion of movable objects and people in augmented reality scenes
CN101067716A (zh) * 2007-05-29 2007-11-07 南京航空航天大学 具有视线跟踪功能的增强现实自然交互式头盔

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
YAN GUO等: "APPLICATION OF AUGMENTED REALITY GIS IN ARCHITECTURE", 《THE INTERNATIONAL ARCHIVES OF THE PHOTOGRAMMETRY, REMOTE SENSING AND SPATIAL INFORMATION SCIENCES》 *
ZHIYING ZHOU等: "Robust Pose Estimation for Outdoor Mixed Reality with Sensor Fusion", 《UNIVERSAL ACCESS IN HUMAN-COMPUTER INTERACTION,APPLICATION AND SERVICE LECTURE NOTES IN COMPUTER SCIENCE》 *

Cited By (33)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105378801A (zh) * 2013-04-12 2016-03-02 微软技术许可有限责任公司 全息图快照网格
CN105378801B (zh) * 2013-04-12 2018-09-11 微软技术许可有限责任公司 全息图快照网格
CN105378632A (zh) * 2013-06-12 2016-03-02 微软技术许可有限责任公司 用户焦点控制的有向用户输入
CN105378632B (zh) * 2013-06-12 2019-01-08 微软技术许可有限责任公司 用户焦点控制的有向用户输入
CN106415671A (zh) * 2014-06-03 2017-02-15 Metaio有限公司 用于呈现与真实对象相关的数字信息的方法和系统
US12039644B2 (en) 2014-06-03 2024-07-16 Apple Inc. Method and sytem for presenting a digital information related to a real object
CN106415671B (zh) * 2014-06-03 2020-05-19 苹果公司 用于呈现与真实对象相关的数字信息的方法和系统
US11030784B2 (en) 2014-06-03 2021-06-08 Apple Inc. Method and system for presenting a digital information related to a real object
CN105338479B (zh) * 2014-06-09 2020-03-10 阿里巴巴集团控股有限公司 基于场所的信息处理方法及装置
US10922480B2 (en) 2014-06-09 2021-02-16 Alibaba Group Holding Limited Place-based information processing method and apparatus
CN105338479A (zh) * 2014-06-09 2016-02-17 阿里巴巴集团控股有限公司 基于场所的信息处理方法及装置
CN110199321A (zh) * 2017-01-23 2019-09-03 奇跃公司 用于混合现实系统的定位确定
CN110199321B (zh) * 2017-01-23 2024-02-23 奇跃公司 用于混合现实系统的定位确定
CN108875134A (zh) * 2017-05-10 2018-11-23 克朗斯股份公司 规划饮料加工工业领域的设施的方法、计算机和存储介质
CN108932051A (zh) * 2017-05-24 2018-12-04 腾讯科技（北京）有限公司 增强现实图像处理方法、装置及存储介质
CN111373449A (zh) * 2017-11-21 2020-07-03 沃尔沃卡车集团 用于辅助在产品上执行任务的辅助方法，包括显示突出显示产品的被监测部件的突出显示图像
CN111373449B (zh) * 2017-11-21 2023-09-12 沃尔沃卡车集团 用于辅助在产品上执行任务的辅助方法和辅助系统
CN110415293A (zh) * 2018-04-26 2019-11-05 腾讯科技（深圳）有限公司 交互处理方法、装置、系统和计算机设备
CN110415293B (zh) * 2018-04-26 2023-05-23 腾讯科技（深圳）有限公司 交互处理方法、装置、系统和计算机设备
CN113168735B (zh) * 2018-10-22 2024-05-28 犹尼蒂知识产权有限公司 用于在混合现实环境中针对视觉数字创作处理和划分真实世界的部分的方法和系统
CN113168735A (zh) * 2018-10-22 2021-07-23 犹尼蒂知识产权有限公司 用于在混合现实环境中针对视觉数字创作处理和划分真实世界的部分的方法和系统
CN109814710B (zh) * 2018-12-27 2022-05-13 青岛小鸟看看科技有限公司 数据处理方法、装置及虚拟现实设备
CN109814710A (zh) * 2018-12-27 2019-05-28 青岛小鸟看看科技有限公司 数据处理方法、装置及虚拟现实设备
CN113287292B (zh) * 2019-01-08 2022-11-15 三星电子株式会社 电子装置、电子装置的控制方法
CN113287292A (zh) * 2019-01-08 2021-08-20 三星电子株式会社 电子装置、电子装置的控制方法和计算机可读介质
US11668782B2 (en) 2019-01-08 2023-06-06 Samsung Electronics Co., Ltd. Electronic apparatus, controlling method of electronic apparatus and computer readable medium
CN112561952A (zh) * 2019-09-26 2021-03-26 北京外号信息技术有限公司 用于为目标设置可呈现的虚拟对象的方法和系统
WO2021129514A1 (zh) * 2019-12-24 2021-07-01 Oppo广东移动通信有限公司 增强现实处理方法及装置、系统、存储介质和电子设备
CN111179435B (zh) * 2019-12-24 2024-02-06 Oppo广东移动通信有限公司 增强现实处理方法及装置、系统、存储介质和电子设备
US12020385B2 (en) 2019-12-24 2024-06-25 Guangdong Oppo Mobile Telecommunications Corp., Ltd. Augmented reality processing method, storage medium, and electronic device
CN111179435A (zh) * 2019-12-24 2020-05-19 Oppo广东移动通信有限公司 增强现实处理方法及装置、系统、存储介质和电子设备
CN111311758A (zh) * 2020-02-24 2020-06-19 Oppo广东移动通信有限公司 增强现实处理方法及装置、存储介质和电子设备
CN111707280A (zh) * 2020-06-24 2020-09-25 深圳市元征科技股份有限公司 2d地图软件ar导航方法、装置、设备及存储介质

Also Published As

Publication number Publication date
US9001154B2 (en) 2015-04-07
US20120218263A1 (en) 2012-08-30
WO2011045276A1 (de) 2011-04-21
CN105046752B (zh) 2018-11-09
US20190005734A1 (en) 2019-01-03
EP2489013A1 (de) 2012-08-22
US11880951B2 (en) 2024-01-23
CN105046752A (zh) 2015-11-11
EP3410405A1 (de) 2018-12-05
DE102009049073A1 (de) 2011-04-21
JP2013507677A (ja) 2013-03-04
US10074215B2 (en) 2018-09-11
US20200160605A1 (en) 2020-05-21
JP5582548B2 (ja) 2014-09-03
CN102598064B (zh) 2015-08-26
US20240127561A1 (en) 2024-04-18
US10453267B2 (en) 2019-10-22
US11410391B2 (en) 2022-08-09
US20220375123A1 (en) 2022-11-24
US20150154803A1 (en) 2015-06-04

Similar Documents

Publication Publication Date Title
CN102598064B (zh) 用于在真实环境的视图中描绘虚拟信息的方法
CN102473324B (zh) 用于在真实环境中表示虚拟信息的方法
US20130178257A1 (en) System and method for interacting with virtual objects in augmented realities
Vlahakis et al. Archeoguide: first results of an augmented reality, mobile computing system in cultural heritage sites
US20070024644A1 (en) Interactive augmented reality system
US20110102460A1 (en) Platform for widespread augmented reality and 3d mapping
JP5363971B2 (ja) 景観再現システム
CN110442813A (zh) 一种基于ar的旅游纪念信息处理系统及方法
CN111340598B (zh) 一种添加交互标签的方法及装置
KR20170122688A (ko) Vr 시공체험 서비스 제공 방법, 이를 실현하기 위한 프로그램이 기록되어 있는 컴퓨터 판독 가능한 기록 매체 및 이를 실행하기 위하여 매체에 저장된 애플리케이션
CN104501797B (zh) 一种基于增强现实ip地图的导航方法
JP2010231741A (ja) 電子タグ作成表示システム、電子タグ作成表示装置およびそれらの方法
KR102005251B1 (ko) 가상 현실에 기반하여 매물 영상을 제공하기 위한 서버, 제공자 단말 및 방법
CN107592925A (zh) 用于沉浸式视图的数字标牌
Střelák Augmented reality tourist guide
KR101288007B1 (ko) 이동성 광고물을 갖는 공간정보이미지 출력시스템
JP2011022662A (ja) 携帯電話端末及び情報処理システム
Asiminidis Augmented and Virtual Reality: Extensive Review
US20220375175A1 (en) System For Improving The Precision and Accuracy of Augmented Reality
JP2011164701A (ja) オブジェクト表示制御装置及びオブジェクト表示制御方法
TWM439180U (en) Moving object tracking system
CN113780141A (zh) 一种对弈模型的构建方法和装置
CN116664802A (zh) 虚拟内容展示方法、系统、电子设备和计算机可读存储介质
Holweg et al. Augmented reality visualization of geospatial data
Subramani GPS and Compass Aided Augmented Campus Guide

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
TR01 Transfer of patent right

Effective date of registration: 20180426

Address after: American California

Patentee after: Apple Computer, Inc.

Address before: Munich, Germany

Patentee before: METAIO GmbH

TR01 Transfer of patent right