CN104731337A - 用于在真实环境中表示虚拟信息的方法 - Google Patents

用于在真实环境中表示虚拟信息的方法 Download PDF

Info

Publication number
CN104731337A
CN104731337A CN201510144527.6A CN201510144527A CN104731337A CN 104731337 A CN104731337 A CN 104731337A CN 201510144527 A CN201510144527 A CN 201510144527A CN 104731337 A CN104731337 A CN 104731337A
Authority
CN
China
Prior art keywords
virtual information
area
view
true environment
region
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201510144527.6A
Other languages
English (en)
Other versions
CN104731337B (zh
Inventor
P·迈尔
F·安格曼
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Apple Inc
Original Assignee
Metaio GmbH
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Metaio GmbH filed Critical Metaio GmbH
Publication of CN104731337A publication Critical patent/CN104731337A/zh
Application granted granted Critical
Publication of CN104731337B publication Critical patent/CN104731337B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G06F3/147—Digital output to display device ; Cooperation and interconnection of the display device with other functional units using display panels
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/10—Geometric effects
    • G06T15/20—Perspective computation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C23/00—Combined instruments indicating more than one navigational value, e.g. for aircraft; Combined measuring devices for measuring two or more variables of movement, e.g. distance, speed or acceleration
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2354/00—Aspects of interface with display user

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • Software Systems (AREA)
  • Human Computer Interaction (AREA)
  • Geometry (AREA)
  • Computing Systems (AREA)
  • Processing Or Creating Images (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

本发明涉及一种用于在真实环境中人机工程地表示虚拟信息的方法，包括下面的步骤：提供真实环境的至少一个视图，用于混和虚拟信息以在所述视图的至少一部分中与真实环境叠加，以及提供系统设备，所述系统设备包括至少一个显示设备；确定所述系统设备的至少一个部分相对于所述真实环境的至少一个部件的位置和方向；将所述真实环境的所述视图的至少一部分细分为多个区域，所述多个区域包括第一区域和第二区域，在所述第一区域内的所述真实环境的物体被布置得比在所述第二区域内的所述真实环境的物体更接近所述系统设备；并且考虑所述系统设备的所述至少一个部分的所述位置和方向，在所述真实环境的视图的至少一部分中在所述显示设备上混和虚拟信息的至少一项，其中，关于在所述真实环境的所述视图中的混和的类型，在所述第一区域中与在所述第二区域中不同地示出所述虚拟信息。

Description

用于在真实环境中表示虚拟信息的方法
本申请是2012年2月17日提交的、申请号为201080036494.9的同名申请的分案申请。
技术领域
本发明涉及一种用于在真实环境中表示虚拟信息的方法。该方法特别适合于通过增强现实技术的世界中的兴趣点的人机工程学(ergonomic)表示和标记。
背景技术
增强现实(AR)是其中虚拟数据覆盖现实并且因此便利数据与现实的关联的技术。在本领域中已知移动AR系统的使用。在过去的几年中，高性能移动设备(例如，智能电话)变得适合于AR应用。这些设备同时具有较大的彩色显示器、安装的相机、良好的处理器和附加的传感器，诸如方向传感器和GPS。除了这一点之外，还可以经由无线电网络来近似设备的位置。
在过去，存在在使用AR的移动设备上实现的各种工程。首先，使用用于确定设备的位置和方向的特殊光学标记。关于也可用于大区域并且因此也被称为大区域AR的AR，也已经公布了用于与HMD相关的物体的可感测表示的提示[2,4,5,6,7,8,9]。最近，也存在用于利用现代设备的GPS和方向传感器系统的手段[1,3,10,15]。
然而，特别地，关于在小移动设备上使用视频透明AR的这些手段，还没有公布用于分别增强其可用性和用户友好性的创新方法。
[1]AR Wikitude.http://www.mobilizy.com/wikitude.php.
[2]B.Bell,S.Feiner,and T.H¨ollerer.View management for virtual andaugmented reality.In Proceedings of the 14th ACM Symposium onUser Interface Software and Technology,pages 101–110,2001.
[3]Enkin.http://www.enkin.net.
[4]S.Feiner,B.MacIntyre,T.H¨ollerer,and A.Webster.A touring machine:Prototyping 3d mobile augmented reality systems for exploringthe urban environment.In Proceedings of the 1st International Symposiumon Wearable Computers,pages 74–81,1997.
[5]J.L.Gabbard,J.E.Swan II,D.Hix,S.-J.Kim,and G.Fitch.Activetext drawing styles for outdoor augmented reality:A user-based studyand design implications.In Proceedings of the IEEE Virtual RealityConference,pages 35–42,2007.
[6]T.H.H¨ollerer.User Interfaces for Mobile Augmented Reality Systems.PhD thesis,Graduate School of Arts and Sciences of ColumbiaUniversity,2004.
[7]S.Julier,Y.Baillot,D.Brown,and M.Lanzagorta.Information filteringfor mobile augmented reality.IEEE Computer Graphics andApplications,22(5):12–15,2002.
[8]G.Reitmayr and D.Schmalstieg.Collaborative augmented realityfor outdoor navigation and information browsing.In Proceedingsof the Symposium Location Based Services and TeleCartography–Geowissenschaftliche Mitteilungen,pages 31–41,2004.
[9]J.Rekimoto.The magnifying glass approach to augmented reality systems.In Proceedings of the International Conference on Artificial Realityand Tele-Existence and Conference on Virtual Reality Softwareand Technology,pages 123–132,1995.
[10]Sekai Camera.http://www.tonchidot.com/product-info.html.
[11]J.Wither,S.DiVerdi,and T.H¨ollerer.Evaluating display types for arselection and annotation.In IEEE International Symposium on Mixedand Augmented Reality,2007.
[12]J.Wither and T.H¨ollerer.Pictorial depth cues for outdoor augmentedreality.In Proceedings of the 9th IEEE International Symposium onWearable Computers,pages 92–99,2005.[13]From video image e.g.(Automatic Fo gDetection and Estimation of Visibility Distance through use of an Onboard Camera)Journal Machine Vision and Applications Publisher Springer Berlin/Heidelberg ISSN0932-8092(Print)1432-1769 (Online) Volume 17,Number 1/April 2006Pages 8-20
[14]Marko Heinrich,Bruce H.Thomas,Stefan Mueller,"ARWeather,"Mixed andAugmented Reality,IEEE/ACM International Symposium on,pp.187-188,2008 7thIEEE/ACM International Symposium on Mixed and Augmented Reality,2008.
[15]layar.com
申请人已经发现，对于使用大区域AR，应当满足特定系统属性：(1)对于相关信息的不复杂、迅速使用和直接访问。(2)将虚拟信息与现实相关联的精确度是重要的。(3)用户界面应当清楚整齐。
迄今使用的方法的缺点：(1)经常使用所谓的“鸟瞰”(一种鸟瞰视角)来作为在周围环境中的点上的概观。这个视图例如用于通过混和的虚拟信息来向用户示出兴趣点大体位于真实世界的位置。使用有限的屏幕大小，用户具有远程元素的有限视图，或换句话说，分辨率变得太小，并且元素不可辨别/不可视。两个观看方向的同时表示使得界面被呈现地更为复杂。(2)如果物体的大小未被正确地缩放，则用户的距离感觉并且因此关联的能力将会被削弱。(3)如果物体的大小被缩放，则对于大距离，这些变小和难以辨认。该界面具有不清楚和不整齐的外观。
发明内容
本发明的目的是指示一种用于表示真实环境中的虚拟信息的方法，它能够实现在真实世界中的兴趣点的人机工程学表示，而不过度地限制用户的视场，并且没有过量的信息而使得用户过度紧张。
本发明的第一方面涉及一种用于表示真实环境中的虚拟信息的方法，包括下面的步骤：
提供真实环境至少一个视图，用于混和或覆盖虚拟信息以在所述视图的至少一部分中与真实环境叠加，以及提供系统设备，所述系统设备包括至少一个显示设备，
确定所述系统设备的至少一个部分相对于所述真实环境的至少一个部件的位置和方向，
将所述真实环境的所述视图的至少一部分细分为多个区域，所述多个区域包括第一区域和第二区域，在所述第一区域内的所述真实环境的物体被布置得比在所述第二区域内的所述真实环境的物体更接近所述系统设备，
根据所述系统设备的所述至少一个部分的所述位置和方向，在所述显示设备上在所述真实环境的视图的至少一部分中混和或覆盖虚拟信息中的至少一项，
其中，关于在所述真实环境的所述视图中的混和或覆盖的类型，在所述第一区域中与在所述第二区域中不同地显示出所述虚拟信息。
所述系统设备的所述至少一个部分可以例如是其位置和方向(位姿)被确定的相机，所述相机不必然固定地连接到所述显示设备。在特定情况下，例如，当仅经由GPS和方向传感器确定所述系统设备的至少一部分的位姿时，整个系统根本不需要相机。只要存在对于用户的观看方向可能的结论，则所述系统设备的任何部分的位姿的确定在原则上就是适合的。
例如，所述第一区域可以是近处区域，而所述第二区域可以是远程或远处区域。然而，也可能所述第一区域表示位置区域，而所述第二区域表示近处区域。以下参考附图来更详细地阐明具有近处区域、远处区域和位置区域的实施例。
根据可以独立于涉及将视图细分为区域的本发明的以上第一方面而应用的本发明的另一个方面，在真实环境的视图中混和虚拟信息也可以考虑例如经由互联网(“在线”)查询的天气数据，以便增强混和的虚拟信息相对于真实环境的真实程度，并且因此改善与其的关联。存在可设想来用于处理的各种复杂度。例如，基于天气情况，可以分配与天气情况匹配的固定光照模型或材料(例如，纹理)。作为补充或替代，可以根据天气数据(诸如云、太阳辐射等)和/或其他数据(诸如日时、年时等)来计算阴影投射或光照条件。
在一个实施例中，虚拟信息的至少一项表示相对于真实环境的兴趣点(一般也缩写为POI，特别是与导航设备相关联)。
本发明提供了下述优点：获得在真实世界中的虚拟信息，特别是兴趣点的人机工程学表示，而不过度地限制用户的视场，并且没有太多的信息项而使得用户过度紧张。同时，可以显示虚拟信息的许多不同的项，然而，所述虚拟信息的许多不同的项因为所述虚拟信息的所述人机工程学表示而不导致用户过度紧张。而且，可以通过考虑人感知机制来增强信息的关联。
可以从从属权利要求获取本发明的另外的有益发展。
附图说明
现在通过在附图中示出的图来更详细地描述本发明，在附图中：
图1示出可以用于执行根据本发明的方法的相对于真实环境的示例性系统设备的示意布置的平面图，
图2示出将兴趣点(周围的POI)示例性地划分到不同半径区域的示意布置，
图3示出用于计算扇区中的POI上的半径的可能手段的示意布置，其中，每一个扇区的半径可以彼此不同。
图4示出根据本发明的多个方面的用于形成用户界面的实施例的、具有混和的虚拟信息(在此：POI物体)的真实环境的示例性视图的可能元素，
图5示出当操作焦点位于位置区域中时根据图4的用户界面的可能元素，
图6示出在根据图4的视图的位置区域中的虚拟信息(在此：POI)的示例性预览，
图7示出当不需要表面元素时从根据图4的视图中屏蔽这些表面元素的示例性可能，
图8至图11示出用于虚拟信息(在此：POI物体)的项的实施例的不同表示可能，
图12示出给出根据本发明的方法的实施例的整体处理的概况的流程图，
图13示出如在根据图4的视图中例示的、说明用于计算位置区域的半径0(参照图2)的可能过程的实施例，
图14示出说明用于计算在图2中例示的半径1的可能过程的实施例，
图15示出说明用于计算在图2中例示的半径2的可能过程的实施例，
图16示出用于说明虚拟信息(在此：POI物体)的项的聚集的示例性可能的示意图，
图17示出用于使阴影和材料效果(“描阴”)与虚拟信息(在此：POI物体)的项相关联的示例性可能过程，
图18示出与虚拟信息(在此：POI物体)的项的示例性可能交互。
具体实施方式
图1示出用于说明可以用于执行根据本发明的方法的示例性系统设备的示意布置的平面图。具体地说，图1说明了系统设备的各种可能。
在图1A的说明中，用户戴着作为显示设备的头戴式显示系统(缩写为HMD)，该头戴式显示系统包括作为系统设备20的一部分的显示器21。显示器21例如可以是公知的半透明数据眼镜(“光学透明显示器”)，其中，可以混和由计算机23提供的虚拟信息。用户因此在真实世界40的视图中通过半透的数据眼镜21看到增加了混和的虚拟信息(诸如，例如与真实世界相关的POI物体)的真实世界的物体。以这种方式，系统设备20构成公知的增强现实(AR)系统的实施例。
显示器21可以具有：附加的传感器24，诸如旋转传感器；以及，其上安装的用于光学跟踪的相机22。显示器21可以是半透明的或可以由相机图像提供现实的图像。对于半透明显示器21，在眼睛25和显示器21之间的校准是必要的。为此，存在现在技术中记载的并且专家已知的各种方法。有利地，在显示器21上或在用户身体上的任何位置或计算机单元23中，也可以安装位置传感器，诸如GPS传感器(GPS：全球定位系统)，用于提供在真实世界40中的系统设备20的可能地理位置确定(例如，根据经度和纬度)。
在图1B的说明中，示出可以例如在现代移动电话(所谓的“智能电话”)中经常发现的另一种示例性系统设备30。显示设备31(例如，以显示屏幕或显示器的形式)、计算机33、传感器34和相机32构成例如在移动电话的公共外壳中容纳的系统单元。通过显示器31来提供真实世界40的视图，显示器31示出由相机32捕获的真实世界40的相机图像。对于增强现实应用，可以在显示器31上示出相机图像，并且向该相机图像增加额外的虚拟信息(诸如与真实世界相关的POI物体)。以这种方式，系统设备30构成公知的增强现实(AR)系统的另一个实施例。
基本上，本发明可以方便地用于所有形式的AR。例如，在使用半透明HMD的所谓的光学透明模式中或使用相机和显示屏幕的视频透明模式中实现表示是无关的。当以下参考相机时，这可以是源自眼睛和透明显示器(参照图1A的显示器21)的组合的相机或光学系统。该两者都包括用于混和虚拟信息的相关的相机属性，诸如孔径角和图像的主点。
本发明基本上也可以结合立体显示器使用，在该立体显示器中，视频透明手段有利地使用两个相机，每一个相机用于记录每只眼睛的一个视频流。在任何情况下，可以对于每只眼睛单独地计算虚拟3D信息的项。
以下描述的不同的部分步骤的处理基本上可以经由网络被分布到各个计算机。因此，客户机/服务器架构或纯基于客户机的解决方案是可能的。例如，客户机可以向服务器发送图像，服务器基于该图像使得客户机可获得关于与真实世界相关的系统设备(参照图1)或其一部分的3D位置和3D方向的信息(下面称为位姿)和关于可视范围的信息。此外，客户机或服务器也可以包括：若干计算单元，诸如若干CPU；或专用硬件部件，诸如公知的FPGA、ASIC、GPU或DSP。若干客户机也可以在彼此之间交换信息，该信息是例如关于这个位置的可视范围或在客户机产生POI的情况下产生的。信息的这种交换可以经由服务器发生，然而，也可以设想经由蓝牙或WLAN的直接连接。
为了允许实现AR，空间中的相机的位姿(位置和方向)是必需的。可以用各种不同的方式来实现这一点。可以例如通过仅使用具有电子指南针的GPS和方向传感器(例如在一些现代移动电话中安装的)来确定在世界上的位姿。然而，位姿的不确定度很高。因此，也可以使用其他方法，诸如光学初始化和跟踪或使用GPS和方向传感器的光学方法的组合。也以使用WLAN定位，或者，RFID或光学标记可以支持定位处理。如上所述，基于客户机/服务器的手段在此也是可能的。具体地说，客户机可以从服务器请求用于光学跟踪所需的位置特定信息。这样的信息可以例如是具有位姿信息和深度信息的周围环境的参考图像。
本发明可以改善客户机的信息表示。然而，它也可以用在远程情境(远程视图情境)中。在该情境中，例如，在控制室中的维护专家在他的显示屏幕上观看经由数据网络传送的客户机的图像以及对应地信息处理项。专家然后可以向客户机给出指令或仅观察。在类似的情境中，可以设想，人观看记录的图像或视频材料以及根据本发明表示的交互附加信息，并且如果可能，可以通过与基于互联网的应用“Google Streetview”类似的材料来进行导航。
除此之外，本发明也可以作为监控器、HMD或通过平视显示器的方式被安装或携带在汽车、飞机或船只中。
一般，可以对于大量不同形式的信息建立兴趣点(“POI”)。以下给出示例。可以使用GPS信息来表示位置的图像。可以从互联网自动地提取信息。例如，这可以是具有地址或给出等级的页面的公司或饭店网站。用户可以在位置存储文本、图像或3D物体，并且使得其他人可获得它。可以对于诸如Wikipedia的信息页面搜索地理信息，并且，可以使得页面可访问以作为POI。可以从移动设备的用户的搜索和浏览行为自动地产生POI。可以示出其他兴趣位置，诸如地下交通或公共汽车站、医院、警察局、医生、不动产广告或健身俱乐部。
下面，将通过以图12开始所示出的流程图的形式并结合其余的图1至图11来更详细地解释本发明的方面和实施例。
在这一点上，图2示出用于说明将兴趣点(周围的POI)示例性地划分到不同的半径区域的示意布置。图3示出用于计算在扇区中的POI上的半径的可能手段的示意布置，其中，每一个扇区的半径可能不同，并且图4示出根据本发明的多个方面的用于建立用户界面的实施例的、具有混和的虚拟信息(在此：POI物体)项的真实环境的示例性视图的可能元素。
如图4中更详细地所示，真实环境的视图1的至少一部分(它可以是通过根据图1A的半透明HMD 21或在屏幕HMD 21上的视图或根据图1B的在显示器31上的相机图像的屏幕视图)被细分为多个区域。在本实施例中，这些区域包括：第一区域3，构成在本实施例中的近处区域3；第二区域4，用于构成在本实施例中的远处区域4；以及，第三区域5，用于构成在本实施例中的位置区域5。在近处区域3内的真实环境中的物体被布置得比在远处区域4内的真实环境中的物体分别更接近系统设备20和30。在位置区域5中，继而，真实世界40中的物体被布置得比在近处区域3内的真实环境中的物体分别更接近系统设备20和30。
根据图4的视图1至少混和虚拟信息的至少一个项(在本实施例中，混和了虚拟信息的若干项POI1-POI4、POI11-POI14和POI21-POI23)。在本实施例中，这些表示与可以在视图1中看到的现实相关的兴趣点(POI)。例如，与在视图1中可视的建筑物(在图4中未示出)相关地混和虚拟信息POI1，该虚拟信息指代这个建筑物并且/或者与其光学地相关联，并且可能允许检索关于该建筑物的附加信息。分别考虑到对应的系统设备20或30或其一部分的位置和方向，分别在显示设备21和31上在真实环境的视图1的至少一部分中混和该信息POI1。如将在下面更详细地说明的，关于在视图1中的混和的类型，在近处区域3中与在远处区域4中不同地示出所混和的虚拟信息。换句话说，在近处区域3中的同一虚拟信息(例如，POI1)，例如当其与在近处区域3中的真实物体相关联时，所示出的虚拟信息与例如当其与在远处区域4中的真实物体相关联时所示出的在远处区域4中混合的虚拟信息不同(这里在仅一个区域中同时出现一个POI)。
如图2和3中所示，通过相应的边界将近处区域3与远处区域4和位置区域5分隔开，该相应的边界在本实施例中分别具有在显示设备的视角的方向上的半径(半径0至半径3)(图2进一步示出边界或半径，如下面将更详细解释的)。在下面仍将更详细地描述根据图2和图3的半径的确定和计算。边界没有固定形状，但是优选地是分别相对于相机和观察者是旋转对称的。此外，边界不必是圆形的，而是可以具有例如椭圆或其他形状。
概述
图12结合图1至图11以流程图示出了根据本发明的方法的实施例的处理的概述。在第一步骤1.0中，初始化系统，或者在周期(pass)已经发生的情况中，可以可选地保留先前的值。在随后的步骤中，如果还没有存在数据或如果情况已经改变则加载数据。数据源可以被包含在越来越多的服务器中，或者可以被本地存储在设备上，或者可以被编码为环境中的信息(例如，经由RFID或QR代码)。在数据源中存储很大量的POI的情况中，则可以经由半径3的位置和确定来限制数量。例如，通过具有空间特征或属性的现代数据库系统来提供这样的功能。基本上，通过用户自己定义的过滤器的方式在这个步骤中也已经过滤了POI。例如，仅烹饪或没有烹饪。然后，挑选出承载对应信息的POI。在此对于专家显而易见的是，可以对于POI存储对应的数据结构，其可以包含例如其位置、其2D或3D形状、图像和/或另外的元信息，诸如类别。
在步骤3.0-6.0中，然后根据本发明组织POI。其后，可以光学地处理和显示它们。其后，如将通过示例更详细地解释的，可以与所示的POI进行交互。
划分为区域
下面，将结合图13至图18和图1至图11更详细地描述图12的步骤3.0-6.0。在这一点上，图13至图18涉及在图12中说明的一般方法步骤的可能子步骤。取决于系统的能力，以特定的间隔在每一个周期或在后台中能够基本上实现这些步骤。本发明的主要方面在于混和的虚拟信息(在此：POI)的项被分配到真实世界的视图中的固定配置或自动计算的、不同的区域。
图2示出俯瞰视角下的可能情境的视图。在相机的周围的空间布置中示出各种POI。如果简单地显示所有这些POI，则屏幕迅速地充满大量物体。因为这个原因，对于不同区域进行细分。通过半径0来限制位置区域5。关于半径，应当注意，它们不必然在所有角度上恒定，而是可以根据角度而变化(与图3参照)。位置区域5示出位于附近的物体，使得用户难以使用该设备来找到它。找到它们的可能性特别取决于可确定的位姿的精确度。因此，可以有利地根据位姿确定(的不确定度)(图13)来将半径0设置得更大或更小。
图4示出根据本发明的方面的、用于形成用户界面的实施例的具有混和的虚拟信息(在此：POI物体)的真实环境的示例性视图的可能元素。图4在这一点上示出了用户界面的有利细分。在位置区域5中的POI被固定地布置在视图1的下部，并且可以例如通过鼠标点击或在触摸屏的情况下的触摸而被选择。图6示出作为示例性POI 23的激活的结果的可能视图。如果被提供，则可以显示POI23的精确位置的图像P23以用于定位。如果被提供，则可以额外地显示存储的信息的预览V23。
在位置区域5之外但是在近处存在的POI物体被布置在近处区域3中。在这个区域中，具有真实的虚拟信息的正确的关联被认为特别重要。例如，它可能与路径的个人计划相关，而不论POI物体是否位于道路交叉口之前或之后。通过半径0和1(图2)来限定近处区域3。
图14说明用于计算半径1的可能。一方面，POI物体的方便的可见性具有相关性。如果POI的表示仍然仅具有2mm(示例值)的大小，则它没有多大用途，而是只在显示器上引起混乱。在步骤4.1中的计算因此包含显示器的分辨率、POI的大小(例如，恐龙的表示允许比具有1m的大小的球体的表示更大的半径1)和相机的孔径角。在下面的步骤中，如果存在填充屏幕的太多POI，则可以进一步匹配半径1(称为全局手段)。计算可以参考相机的整个孔径角或更大的范围。也可以单独地调整较小的扇区。
扇区可以例如是固定的或者可以基于簇而形成，簇有助于划分扇区(参照图16中的步骤6.2)。示例性方法可以被实现如下：对于每一个簇计算重心。通过这个重心来绘制直线。组合彼此以小角度布置的直线。用整数角度排列每一个结果产生的直线，并且对其分配扇区。扇区的大小然后在整数角度步骤中迭代地循环增加，直到与相邻的扇区建立接触。当通过簇或通过固定设置来定义扇区时，在步骤4.2中计数扇区的POI的数量。如果该数量超过特定可配置阈值，则减小半径，直到该值小于阈值为止(步骤4.3)。
作为替代，如果在表示中存在重叠的POI，则也可能移动单独的POI，而没有与远处区域4匹配的半径(称为局部手段)。为此，在步骤4.4中，计算根据渲染管线的POI的2D位置和扩展。渲染管线被专家理解为在3D空间中的物体向较小维数的显示器的投影。在近处区域中，例如，根据可用于近处区域的2D显示部分的位置、方向、相机孔径角和分辨率来进行这一点。对于远处区域，渲染管线执行向线的投影。可以例如使用标准3D-2D投影来进行这一点，在标准3D-2D投影中，对于渲染程序而言，物体被发送地很远，以便确定物体在其消失点在可能旋转的显示器上的位置。在重叠的情况下，对于远处区域4标记后面的POI(步骤4.5)。可以保留这个标记一个显示周期(图12的步骤1.0至9.0)或更长(例如，3秒或5个显示周期)。该系统可以执行步骤4.4和4.5，直到不再有重叠或这些低于特定值。也可以有关于何时如此评估重叠的容差(例如，大于彼此相交的两个物体的面积的和的10％)。有利地，也可以将全局手段与局部手段进行组合。
虽然为了可见性的原因，附图从鸟瞰的视角说明了扇区和POI，但是也可以对于3D应用选择性地应用所有这些方法。
远处区域4包含从近处区域转移的POI或位于在扇区中的半径1的外部的POI。但是甚至在这里，显示所有存在的POI物体也不必然是方便的。因此，如图15中所示，可以有利地计算半径2，类似于半径1。由于半径2特别是仍然显示位于用户可达范围内的POI物体的事实，因此有利地是，可以使用用户的当前速度或平均速度或用户在特定时间段内通过公共交通、汽车或自行车等可以覆盖的距离来计算半径2。也可以独立于本发明的其他权利要求来应用根据这些因素来计算可以完全通过AR来显示哪些物体的可能。
在本发明的示例性发展中，也可能将单独的POI从一个区域拖动到另一个区域(例如，经由触摸屏)，由此将其标记以在近处区域中显示。例如，然后将在近处区域3中永久地显示该POI物体。
对于半径的手动设置，也可以设想，当混合入现实时，将其在正确的位置中显示给用户中。用户可以然后通过触摸屏手动地改变半径。
物体的表示
图4示出在不同区域中的POI的表示的可能示例性形式。目前以均匀大小并且不可移动地且独立于观看方向地表示在下面的位置区域5中的POI。在近处区域3中的POI物体根据位姿、相机参数和模型属性以正确的视角、三维地重叠在环境40上。在远处区域4中的POI物体有利地以均匀大小被表示，并且有利地根据设备(特别是显示设备)的方向来向前移动，使得在向下方向上的垂直线将会碰到对应的相关联的真实位置。有利地，在右和左边缘6上额外地显示暗示在相机的孔径角之外的POI物体的符号。箭头8可以给出方向暗示，使得当在箭头的方向上围绕观察者移动所述设备时，POI物体将会进入可视范围内。这些边缘6可以对于每一个区域(图4)或例如仅对于近处区域3(图5)存在。近处区域3、远处区域4和/或位置区域5可以被可选地隐藏或屏蔽，特别是当在其中没有显示虚拟信息时。当在这些区域中不存在POI时也可以自动地进行这一点(图7)。
基本上，可以用符号、图像、3D物体等来表示兴趣点(POI)。对于表示，可以使用利用3D物体的3D渲染技术(诸如已知方法OpenGL或DirectX)、用自主地计算其投影的2D渲染技术重叠所谓的布告板(总是面向观察者的2D物体)或所谓的2D的渲染。表示的种类可以基于POI的类别(例如，用于表示网站的球体)，或可以由用户确定(例如，布置具有附加信息的恐龙)。具体地说，可以以形成鲜明对比的颜色来示出POI。
如图10和图11中所示，POI可以具有详细到不同程度的附加信息项(在下面通过POI1来例示)。最低的详细水平仅是POI。在下一个水平或等级，可以显示(图10，左)标签(参照标签L1)，该标签指示例如相关联的POI物体的描述文本。下一等级是所谓的预览(预览参照V1或图11中的图像P1)(例如，图像或网站渲染或信息文本)。在随后的等级可以更接近地可视化一些POI物体(参照信息I1)。这也可以触发操作系统的本身程序的启动，诸如互联网浏览器或媒体播放器的启动。根据配置或自动可利用的标准，诸如显示器的分辨率，可以将POI与其附加信息同时或仅在激活时显示。有益地，也可以确定哪个POI物体最近，并且在特定距离时仅最前的POI物体首先指示标签，并且当接近时自动地指示预览。
作为替代，也可以通过所谓的眼睛跟踪来控制显示。使用附加信息来显示由用户观看的POI。该附加信息可以有利地以不可移动的方式锚定在视图中，并且可以通过动态连接的方式连接到可移动的POI表示。这提供了增强的信息的易读性。也可以独立于根据权利要求1所述的方法来应用用于经由在AR中的POI激活附加信息的眼睛跟踪的使用。
为了改善POI物体与真实位置的关联，可以组合根据本发明的各种方法步骤，如图17中所示。基本上也可以独立于迄今所述的将真实环境的视图划分为多个区域(诸如近处、远处和位置区域)并且如上所述的根据相应的区域来不同地表示混和的虚拟信息的想法而实现下面的方法步骤。
通常实现(当进行向区域的划分时，特别是在近处区域3中)使用正确的视角的POI物体的3D渲染。此外，标准POI物体具有固定大小，以允许连续地估计到其的距离。为了提高真实程度并且因此改善关联，有利地可以在线查询或检索天气数据。在这一点上可以设想处理的各种复杂度。基于天气情况(例如，根据Google天气服务“大部多云”、“偶尔有暴雨”、“偶尔有雨”等)，可以分配与天气情况匹配的固定光照模型或材料(例如，纹理)。然而，在最高复杂水平，也可以利用当前的云或雨卫星或雷达图像来动态地准备云量的近似模型，并且根据其计算阴影投影和可选地详细的光照条件(也参照图9)。如已经描述的，可以通过使位置-特定形式的数据对客户机可用的服务器来执行这一点。关于距离的感知，确定在雾、雨或薄雾情况下的可视范围也是有用的。可以自动地(参照"From video image e.g.(Automatic Fog Detection and Estimation of Visibility Distance through use ofan Onboard Camera)",Journal Machine Vision and Applications,PublisherSpringer Berlin/Heidelberg ISSN 0932-8092(Print)1432-1769(Online),Volume 17,Number 1/April 2006,pages 8-20)或也可以通过当前天气数据来实现这一点。
除了另外的已知方法之外，最容易的技术实现方式在于调整在OpenGL中的雾设置。尤其对于使用可视距离来用于距离的符合真实的表示，也可以通过雾来不同地表示虚拟物体的一部分，而清楚地示出另一个部分。这是为了防止：例如当在汽车中使用该技术时，POI信息的重要项因为雾而完全消失。在技术上，可以例如通过第二渲染周期来实现这一点，该第二渲染周期仅考虑了特定材料，但是不显示雾。如在图17的步骤7.2中所述，可以基于位置、日期和时间分别计算太阳和月亮的位置，并且所计算的太阳和月亮的位置可以用于调整光源。这特别对于帮助用户更好地确定POI的位置的阴影(参照在图4、图10和图11中的用于POI1至POI4的阴影S1-S4)有影响。阴影可以是预先计算的纹理(有利地具有透明度值)，该预先计算的纹理根据太阳或月亮的位置而位于在地平面上的POI之下，其中，在太阳或月亮与POI之间的直线与地平面相交(如果不是如此，则是例外)。在太阳和月亮同时可视的情况下，将使用太阳来进行计算。
然而，如现有技术中已知的，也可以动态地计算阴影。有利地，这可以包括POI的相互描阴(shading)。当环境的3D模型存在时(也参照在图17中的步骤7.4，例如，以遮蔽真实物体的模型的形式；所谓的“遮蔽(occlusion)几何”)，这可以另外用于阴影情况的真实计算，例如在于它向POI上投影阴影(也参照图9)。在步骤7.3中，可以通过经由POI的环境的图像来增强材料以额外提高混和的真实程度。所谓的环境地图的使用是专家已知的。新颖的是，以位置-特定的方式从例如Google Streetview动态地提取并且考虑这些。
在步骤7.4中，采用了用于增强观察者的深度感知的另一个步骤。通过加载遮蔽模型(所谓的“遮蔽几何”)，也可以确定POI对于观察者是可见的还是消失在另一个建筑物之后，例如，POI在对其遮蔽的情况下可以直接地移动到远处区域4或可以被特别地标记。例如，可以半透明的、以虚线或不同的颜色示出被遮蔽的部分。有利地，不计算和显示阴影。可以通过SLAM算法、立体相机或飞行时间相机来动态地存储或产生深度模型。在该情况下，每一个图像像素的深度信息是足够的。在步骤7.5中，产生用于在近处区域中的正确的叠加或覆盖的相机参数(这不必连续地出现)。这些参数可以例如通过SLAM机制被动态地产生，或根据设备名称从服务器被检索，或可以存储在程序中。在透明的HMD或HUD的情况下，使用眼睛位置关于显示器的透明校准或动态测量的结果。
在步骤7.6中，可以有利地处理相机图像，使得仅以鲜明对比的方式来示出最重要的图像成分。这仅在视频透明模式中有意义，并且应当特别在很亮的周围光的情况下帮助用户。可以例如通过用于边缘提取的Sobel算子来进行视频图像的处理。在亮的外部光的情况下，例如，当设备包含亮度传感器时，可以有利地打开和关闭这个模式。在步骤7.7中，此外，如果这已经对于在图12的步骤3至6中的计算不必要，则使得渲染系统可获得位姿的参数。取决于系统的硬件属性，可以在步骤7.8中显示和计算每种事物。如果系统的硬件弱，则也可以在服务器的部分上进行正确的材料表面的计算(步骤7.8B)，或者，可以在服务器的部分上计算整个图像。在强系统的情况下，现代GPU(图形处理器单元)可以接管大的工作份额(步骤7.8A)。在这一点上，存在专家已知的多种可能。
POI的聚集
在(图12)过程中的某个时间，有利地在步骤4.0之前或步骤5.0之后，还可以组合POI，如图16中左下侧所示。簇的点组成了新的、不同形状的POI。这可以在近处区域3、位置区域5和远处区域4中单独地进行，或者可以在细分之前已经进行了。有利地，仅可以对一个类别(例如，仅网站)的POI实施这一点。有利地，可以在该处理中排除最前面区域中的POI。
与POI的交互
图18示出根据本发明的方法的方面的与POI的交互可能性。如在增强现实中常见地，用户可以已经通过改变他的位置或观看方向来改变虚拟信息和现实的项的分段。这也可以触发自动交互，如在“物体的表示”中已经描述的。如果设备配备了触摸屏或一种鼠标控制(例如，跟踪球)，则在原理上可以直接地处理POI。如果已经组合了若干POI来形成较大的POI物体，则现在可选择地布置单独的POI，并且显示标签(步骤9.8)。否则，如果还没有显示标签，则显示它(步骤9.9)。通过POI的重新的激活(步骤9.1或按键按下)，如果还没有显示信息文本或预览，则显示它(步骤9.11)。通过重新激活，触发对于存储有对应的信息项的POI的详细显示，步骤9.13(例如，播放电影、音乐或示出网站)。通过触摸关闭按钮或有利地通过摆动设备和经由移动传感器的登记，可以关闭当前显示器。替代地，可能在后台的操作中保留它。用户也可以可选地提供以下效果的设置：在后台中执行和运行所存储的下一个音频或视频文件。
取代通过触摸的直接选择，也可以通过图7中所示的十字标7(可选的)的方式来实现交互，如在图18中的步骤9.5至9.7中所描述的。当用户将相机中的十字准线7(或类似的目标物体)引导到POI时，将会在那里激活下一详细水平(在仅POI可视的情况下为标签，在标签可视的情况下为预览)。有利地，系统也可以激活用户界面上最接近十字准线的POI。通过延长地瞄准POI或按下按钮，可以激活下一详细水平。为了到达远处区域4，用户将相机向上引导，直到在近处区域3中的最高点POI已经超过阈值(例如，10度)。用户然后可以通过右转和左转来在POI之间导航。以类似的方式，通过向下引导相机，用户可以达到位置区域5。通过右转和左转，用户在此也可以在否则固定的POI之间导航。在位置区域5中的特殊特征在于：除了POI详细信息之外，POI如果被指示或适用于自动地被产生则指示位置的图像以便利找到它(参照在图6中的POI23的预览V23和图像P23)。该图像可以手动地被引入或可以通过包含位姿信息的图像数据库而被自动地产生。
可选地，也可以通过语音控制来进行POI的选择。为此，用户通过特定语句来激活控制(例如，“激活语音控制”)。然后使用编号来标记每一个POI。通过读出该编号，然后可以激活对应的POI。
对于系统有利地，通过进一步向下引导它来启动地图模式。当切换POI或触发交互时，有利地立即触发声音信号。此外，也可以发出触觉信号(例如，轻微振动)。
在与POI的特定交互的情况下(例如，在短时间内的三次点击)，有利地，可以打开将地图的中心定位在POI的位置的地图模式。作为替代，可以通过特定交互来启动向这个POI的导航。
除此之外，本发明还包含可以结合迄今已经描述的内容应用的以下的方面和实施例。
可以以均匀的大小在远处区域4中在真实环境的视图中混和虚拟信息(例如，POI)。相对于在真实环境的视图中的混和的类型，与在近处区域中其混和类型不同地表示在位置区域5中的虚拟信息。具体地说，可以以不可移动的方式，特别是也以均匀的大小并且/或者与显示设备的方向无关地，在位置区域5中的真实环境的视图中覆盖虚拟信息。
也可以在一个虚拟物体中组合不同的虚拟信息的若干项，并且在视图中显示该虚拟物体，而不是若干虚拟信息的项。可以从一起形成簇的一组虚拟信息项中选择该若干虚拟信息的项，虚拟物体具有与虚拟信息的项相比不同的形状。
而且，当相对于地球表面大体水平地保持显示设备或以超过在近处区域中的最低POI之下的特定角度保持显示设备或如果以下功能已经被用于达到位置区域则进一步向下保持该设备时，可以在显示设备中混和地理地图和/或鸟瞰视图。
当用户从区域中的一个(例如近处区域)向另一个区域(例如远程区域)和/或反之亦然传送虚拟信息时，可以改变在区域之间的各个边界，特别是其半径。
也可以根据在视图的特定扇区内的虚拟信息的项的数量来计算边界，特别是其半径。还可以根据在特定扇区内的若干虚拟信息的项的二维密度来计算边界，特别是其半径。此外，还可以根据一起构成簇的若干虚拟信息的项来计算边界，特别是其半径。
在近处区域中，可以在显示设备中、在信息之下、在显示设备中所示的地平面附近指示阴影，所述阴影对应于虚拟信息的位置。
所使用的显示设备可以是通过用于增强对比度的边缘图像来增强或替换真实环境的视图的视频显示设备。
在用于选择虚拟信息或用于在若干虚拟信息项之间切换的用户动作中，用户可以在用于进行选择的输入设备处被提供声音和/或触觉反馈。
通过分别确定关于真实环境的系统设备20和30的至少一部分的位置和方向，可以计算或加载关于在视图中包含的至少一个真实物体的深度信息，并且，深度信息可以用来在视图中的虚拟信息被要被遮蔽的真实物体遮蔽的情况中在显示设备中混和用于遮蔽该真实物体的遮蔽模型。这样的深度信息也可以用于计算在区域(近处区域和远处区域)之间的边界。
除此之外，在显示设备中的若干混和的虚拟信息项可以具有向其分配的各自的编号，并且可以通过编号的语音识别或在键盘或触敏输入板上的编号的选择来选择对应的虚拟信息。
此外，可以将若干虚拟信息项与若干分类中的一个相关联，并且可以根据该分类来混和和/或掩蔽虚拟信息项。
还可以在显示设备中示出边缘6，其指示近处区域3的范围或覆盖范围，通过用户动作，特别是通过拖动边界能够改变近处区域的边界。
例如，可以以至少三个等级来表示虚拟信息。第一等级包括仅作为对于虚拟信息(参照在图10、11中的POI1)的局部暗示的主体(例如，2D主体或3D主体)，第二等级包括具有标题的标签(参照在图11中的标签L1)形式的对于虚拟信息的暗示，并且，第三等级包括特别是当通过用户动作选择点状表示或标签时混和的虚拟信息(POI)的类似摘要的预览(参照在图10、11中的预览V1和图像P1)。第四等级则以全长度示出信息(参照来自图10的信息I1)。
发展可以提供：在远处区域4的第一部分中，仅以第一等级表示虚拟信息，在真实物体被布置得比在远处区域的第一部分更接近显示设备的远处区域4的第二部分以及在近处区域3的第一部分中，以第二等级表示虚拟信息，并且在真实物体被布置得比在近处区域的第一部分中更接近显示设备的近处区域3的第二部分中，以第三等级表示虚拟信息。
此外，可以提供：根据混和的虚拟信息的大小、显示设备的分辨率和/或用于产生视图的相机的分辨率来计算在近处区域和远处区域之间的边界，特别是边界的半径。
此外，可以随着提高的位置检测的测量不确定度来提高位置区域的界线。
此外，特别地可以是半径并且确定要完全显示哪些物体的边界可以取决于用户的当前速度或平均速度或用户在特定时间段内通过公共交通、汽车或自行车等可以覆盖的距离。
此外，与其他公开无关，系统可以在现实上叠加虚拟信息，并且在真实环境的视图中的混和虚拟信息中，可以考虑例如经由互联网(“在线”)查询的天气数据，以便提高相对于所述真实环境的混和虚拟信息的真实程度，由此改善与其的关联。还可以结合独立于所描述的其他方面的该方面来应用结合天气数据等的在上文中描述的特征和实施例。

Claims (52)

1.一种用于在真实环境中表示虚拟信息的方法，包括下面的步骤：
-提供真实环境的至少一个视图，用于混和虚拟信息以在所述视图的至少一部分中与所述真实环境叠加，以及提供系统设备，所述系统设备包括至少一个显示设备，
-确定所述系统设备的至少一个部分相对于所述真实环境的至少一个部件的位置和方向，
-将所述真实环境的所述视图的至少一部分细分为多个区域，所述多个区域包括第一区域和第二区域，在所述第一区域内的所述真实环境的物体被布置得比在所述第二区域内的所述真实环境的物体更接近所述系统设备，
-考虑所述系统设备的所述至少一个部分的位置和方向，在所述显示设备上在所述真实环境的视图的至少一部分中混和虚拟信息的至少一项，
-其中，关于在所述真实环境的所述视图中的混和的类型，在所述第一区域中与在所述第二区域中不同地显示出所述虚拟信息，
-其中，所述显示设备显示用于指示所述第一区域的覆盖范围的边缘，所述第一区域的边界适用于被用户动作改变，
-其中，由于改变所述边界，所述虚拟信息的至少一项被从所述多个区域中的一个区域传送到所述多个区域中的另一个区域，并且其中，在所述多个区域的一个区域中与在所述多个区域的另一个区域中不同地显示出所述虚拟信息的至少一项。
2.根据权利要求1所述的方法，
其中，以与所述显示设备相对于所述真实环境的所述位置和方向对应的正确的视角，以根据在所述视图中的所述虚拟信息的所述视角定位的各种大小，在所述真实环境的所述视图中在所述第一区域中混和所述虚拟信息的至少一项。
3.根据权利要求1所述的方法，
其中，以均匀的大小在所述真实环境的所述视图中在所述第二区域中混和所述至少一个虚拟信息。
4.根据权利要求1所述的方法，
其中，除了所述第一区域和所述第二区域之外，所述真实环境的所述视图的所述至少一部分被细分为的所述多个区域还包括第三区域，其中，在所述第三区域中，所述真实环境的物体被布置得比在所述第一区域内的所述真实环境的物体更接近所述系统设备，并且其中，关于在所述真实环境的所述视图中混和的类型，在所述第三区域中与在所述第一区域中不同地显示出所述虚拟信息的至少一项。
5.根据权利要求4所述的方法，
其中，以不可移动的方式，在所述真实环境的所述视图中在所述第三区域中混和所述虚拟信息的至少一项。
6.根据权利要求1所述的方法，
其中，组合不同的虚拟信息的若干项以形成虚拟物体，并且，取代所述虚拟信息的若干项，在所述视图中显示所述虚拟物体。
7.根据权利要求6所述的方法，
其中，从一起构成簇的虚拟信息的项的组中选择所述虚拟信息的若干项，所述虚拟物体具有与所述虚拟信息的项相比不同的形状。
8.根据权利要求1所述的方法，
其中，当所述显示设备在所述区域中的一个或在所述区域中的一个之下显示出的虚拟信息之下倾斜超过特定角度时，在所述显示设备上混和地理地图和/或鸟瞰视图。
9.根据权利要求1所述的方法，
其中，所述第一区域通过边界与所述第二区域分隔开，所述边界被动态地计算。
10.根据权利要求9所述的方法，
其中，根据在所述视图的特定扇区内的虚拟信息的项的数量来计算所述边界。
11.根据权利要求9所述的方法，
其中，根据在所述视图的特定扇区内的虚拟信息的若干项的二维密度来计算所述边界。
12.根据权利要求9所述的方法，
其中，根据一起构成簇的虚拟信息的若干项来计算所述边界。
13.根据权利要求1所述的方法，
其中，在所述显示设备的所述第一区域中，在所述虚拟信息的至少一项之下，接近在所述显示设备中显示的地平线显示出阴影，所述阴影对应于所述虚拟信息的位置。
14.根据权利要求1所述的方法，
其中，使用的所述显示设备是视频显示设备，其中，在所述视频显示设备中，通过用于增强的对比度的边缘图像来增强或替代所述真实环境的所述视图。
15.根据权利要求1所述的方法，
其中，在用于选择虚拟信息或用于在虚拟信息的若干项之间切换的用户动作中，所述用户在用于选择的输入设备中被提供声音和/或触觉反馈。
16.根据权利要求1所述的方法，
其中，通过确定所述系统设备的所述至少一个部分相对于所述真实环境的所述至少一个部件的所述位置和方向，计算或加载关于在所述视图中包含的至少一个真实物体的深度信息，所述深度信息用于当虚拟信息在所述视图中被要被遮蔽的真实物体遮蔽时在所述显示设备中混和用于遮蔽所述真实物体的遮蔽模型。
17.根据权利要求1所述的方法，
其中，通过确定所述系统设备的所述至少一个部分相对于所述真实环境的所述至少一个部件的所述位置和方向，计算或加载关于在所述视图中包含的至少一个真实物体的深度信息，所述深度信息用于计算在第一区域和第二区域之间的边界。
18.根据权利要求1所述的方法，
其中，混和的虚拟信息中若干项具有向其分配的各自的编号，并且，能够通过对所述编号的语音识别或在键盘或触敏输入板上对所述编号的选择来选择对应的虚拟信息。
19.根据权利要求1所述的方法，
其中，所述虚拟信息的至少一项适用于以至少三个等级被显示，第一等级包括仅作为对于所述虚拟信息的局部提示的主体，第二等级包括具有标题的标签形式的对于所述虚拟信息的提示，并且第三等级包括所述虚拟信息的类似摘要的预览。
20.根据权利要求19所述的方法，
其中，在所述第二区域的第一部分中，仅以所述第一等级显示虚拟信息；在具有被布置得比在所述第二区域的所述第一部分中更接近所述显示设备的真实物体的所述第二区域的第二部分中以及在所述第一区域的第一部分中，以所述第二等级显示虚拟信息；并且，在具有被布置得比在所述第一区域的所述第一部分中更接近所述显示设备的真实物体的所述第一区域的第二部分中，以所述第三等级显示所述虚拟信息。
21.根据权利要求4所述的方法，
其中，当在所述第二区域和第三区域中分别没有显示的虚拟信息时，从所述视图屏蔽所述第二区域或第三区域。
22.根据权利要求1所述的方法，
其中，根据所混和的所述虚拟信息的大小、所述显示设备的分辨率和/或用于产生所述视图的相机的分辨率来计算在第一区域和第二区域之间的边界。
23.根据权利要求1所述的方法，
其中，在所述真实环境的所述视图中混和所述虚拟信息的至少一项中，考虑关于所述真实环境的动态天气信息。
24.根据权利要求1所述的方法，
其中，所述虚拟信息的至少一项表示关于所述真实环境的兴趣点。
25.根据权利要求4所述的方法，
其中，所述第三区域的边界随着增加的位置检测的测量不确定性而提高。
26.根据权利要求1所述的方法，
其中，确定要完全显示哪些虚拟信息的边界取决于用户的当前速度或平均速度或所述用户在特定的时间段内通过使用公共交通、汽车或自行车等能够覆盖的距离。
27.一种用于在真实环境中表示虚拟信息的方法，包括下面的步骤：
-提供真实环境的至少一个视图，用于混和虚拟信息以在所述视图的至少一部分中与所述真实环境叠加，以及提供系统设备，所述系统设备包括至少一个显示设备，
-确定所述系统设备的至少一个部分相对于所述真实环境的至少
一个部件的位置和方向，
-将所述真实环境的所述视图的至少一部分细分为多个区域，所述多个区域包括第一区域和第二区域，在所述第一区域内的所述真实环境的物体被布置得比在所述第二区域内的所述真实环境的物体更接近所述系统设备，
-考虑所述系统设备的所述至少一个部分的位置和方向，在所述显示设备上在所述真实环境的视图的至少一部分中混和虚拟信息的至少一项，
-其中，关于在所述真实环境的所述视图中的混和的类型，在所述第一区域中与在所述第二区域中不同地显示出所述虚拟信息，
其中，通过用户选择虚拟信息并通过传送动作来进行传送，能将所述虚拟信息的至少一项从所述多个区域中的一个区域传送到所述多个区域中的另一个区域。
28.根据权利要求27所述的方法，
其中，以与所述显示设备相对于所述真实环境的所述位置和方向对应的正确的视角，以根据在所述视图中的所述虚拟信息的所述视角定位的各种大小，在所述真实环境的所述视图中在所述第一区域中混和所述虚拟信息的至少一项。
29.根据权利要求27所述的方法，
其中，以均匀的大小在所述真实环境的所述视图中在所述第二区域中混和所述至少一个虚拟信息。
30.根据权利要求27所述的方法，
其中，除了所述第一区域和所述第二区域之外，所述真实环境的所述视图的所述至少一部分被细分为的所述多个区域还包括第三区域，其中，在所述第三区域中，所述真实环境的物体被布置得比在所述第一区域内的所述真实环境的物体更接近所述系统设备，并且其中，关于在所述真实环境的所述视图中混和的类型，在所述第三区域中与在所述第一区域中不同地显示出所述虚拟信息的至少一项。
31.根据权利要求30所述的方法，
其中，以不可移动的方式，在所述真实环境的所述视图中在所述第三区域中混和所述虚拟信息的至少一项。
32.根据权利要求27所述的方法，
其中，组合不同的虚拟信息的若干项以形成虚拟物体，并且，取代所述虚拟信息的若干项，在所述视图中显示所述虚拟物体。
33.根据权利要求32所述的方法，
其中，从一起构成簇的虚拟信息的项的组中选择所述虚拟信息的若干项，所述虚拟物体具有与所述虚拟信息的项相比不同的形状。
34.根据权利要求27所述的方法，
其中，当所述显示设备在所述区域中的一个或在所述区域中的一个之下显示出的虚拟信息之下倾斜超过特定角度时，在所述显示设备上混和地理地图和/或鸟瞰视图。
35.根据权利要求27所述的方法，
其中，所述第一区域通过边界与所述第二区域分隔开，所述边界被动态地计算。
36.根据权利要求35所述的方法，
其中，根据在所述视图的特定扇区内的虚拟信息的项的数量来计算所述边界。
37.根据权利要求35所述的方法，
其中，根据在所述视图的特定扇区内的虚拟信息的若干项的二维密度来计算所述边界。
38.根据权利要求35所述的方法，
其中，根据一起构成簇的虚拟信息的若干项来计算所述边界。
39.根据权利要求27所述的方法，
其中，在所述显示设备的所述第一区域中，在所述虚拟信息的至少一项之下，接近在所述显示设备中显示的地平线显示出阴影，所述阴影对应于所述虚拟信息的位置。
40.根据权利要求27所述的方法，
其中，使用的所述显示设备是视频显示设备，其中，在所述视频显示设备中，通过用于增强的对比度的边缘图像来增强或替代所述真实环境的所述视图。
41.根据权利要求27所述的方法，
其中，在用于选择虚拟信息或用于在虚拟信息的若干项之间切换的用户动作中，所述用户在用于选择的输入设备中被提供声音和/或触觉反馈。
42.根据权利要求27所述的方法，
其中，通过确定所述系统设备的所述至少一个部分相对于所述真实环境的所述至少一个部件的所述位置和方向，计算或加载关于在所述视图中包含的至少一个真实物体的深度信息，所述深度信息用于当虚拟信息在所述视图中被要被遮蔽的真实物体遮蔽时在所述显示设备中混和用于遮蔽所述真实物体的遮蔽模型。
43.根据权利要求27所述的方法，
其中，通过确定所述系统设备的所述至少一个部分相对于所述真实环境的所述至少一个部件的所述位置和方向，计算或加载关于在所述视图中包含的至少一个真实物体的深度信息，所述深度信息用于计算在第一区域和第二区域之间的边界。
44.根据权利要求27所述的方法，
其中，混和的虚拟信息中若干项具有向其分配的各自的编号，并且，能够通过对所述编号的语音识别或在键盘或触敏输入板上对所述编号的选择来选择对应的虚拟信息。
45.根据权利要求27所述的方法，
其中，所述虚拟信息的至少一项适用于以至少三个等级被显示，第一等级包括仅作为对于所述虚拟信息的局部提示的主体，第二等级包括具有标题的标签形式的对于所述虚拟信息的提示，并且第三等级包括所述虚拟信息的类似摘要的预览。
46.根据权利要求45所述的方法，
其中，在所述第二区域的第一部分中，仅以所述第一等级显示虚拟信息；在具有被布置得比在所述第二区域的所述第一部分中更接近所述显示设备的真实物体的所述第二区域的第二部分中以及在所述第一区域的第一部分中，以所述第二等级显示虚拟信息；并且，在具有被布置得比在所述第一区域的所述第一部分中更接近所述显示设备的真实物体的所述第一区域的第二部分中，以所述第三等级显示所述虚拟信息。
47.根据权利要求30所述的方法，
其中，当在所述第二区域和第三区域中分别没有显示的虚拟信息时，从所述视图屏蔽所述第二区域或第三区域。
48.根据权利要求27所述的方法，
其中，根据所混和的所述虚拟信息的大小、所述显示设备的分辨率和/或用于产生所述视图的相机的分辨率来计算在第一区域和第二区域之间的边界。
49.根据权利要求27所述的方法，
其中，在所述真实环境的所述视图中混和所述虚拟信息的至少一项中，考虑关于所述真实环境的动态天气信息。
50.根据权利要求27所述的方法，
其中，所述虚拟信息的至少一项表示关于所述真实环境的兴趣点。
51.根据权利要求30所述的方法，
其中，所述第三区域的边界随着增加的位置检测的测量不确定性而提高。
52.根据权利要求27所述的方法，
其中，确定要完全显示哪些虚拟信息的边界取决于用户的当前速度或平均速度或所述用户在特定的时间段内通过使用公共交通、汽车或自行车等能够覆盖的距离。
CN201510144527.6A 2009-08-18 2010-08-13 用于在真实环境中表示虚拟信息的方法 Active CN104731337B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
DE102009037835.9 2009-08-18
DE102009037835A DE102009037835B4 (de) 2009-08-18 2009-08-18 Verfahren zur Darstellung von virtueller Information in einer realen Umgebung
CN201080036494.9A CN102473324B (zh) 2009-08-18 2010-08-13 用于在真实环境中表示虚拟信息的方法

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
CN201080036494.9A Division CN102473324B (zh) 2009-08-18 2010-08-13 用于在真实环境中表示虚拟信息的方法

Publications (2)

Publication Number Publication Date
CN104731337A true CN104731337A (zh) 2015-06-24
CN104731337B CN104731337B (zh) 2017-12-15

Family

ID=43495370

Family Applications (2)

Application Number Title Priority Date Filing Date
CN201080036494.9A Expired - Fee Related CN102473324B (zh) 2009-08-18 2010-08-13 用于在真实环境中表示虚拟信息的方法
CN201510144527.6A Active CN104731337B (zh) 2009-08-18 2010-08-13 用于在真实环境中表示虚拟信息的方法

Family Applications Before (1)

Application Number Title Priority Date Filing Date
CN201080036494.9A Expired - Fee Related CN102473324B (zh) 2009-08-18 2010-08-13 用于在真实环境中表示虚拟信息的方法

Country Status (5)

Country Link
US (5) US8896629B2 (zh)
EP (2) EP2467833A2 (zh)
CN (2) CN102473324B (zh)
DE (1) DE102009037835B4 (zh)
WO (1) WO2011020793A2 (zh)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106371571A (zh) * 2015-11-30 2017-02-01 北京智谷睿拓技术服务有限公司 信息处理方法、信息处理装置及用户设备
CN106648044A (zh) * 2015-11-03 2017-05-10 中华映管股份有限公司 扩增实境系统以及扩增实境互动方法
CN107229329A (zh) * 2016-03-24 2017-10-03 福特全球技术公司 用于具有深度地面实况注释的虚拟传感器数据生成的方法和系统
CN107315915A (zh) * 2017-06-28 2017-11-03 上海联影医疗科技有限公司 一种医疗手术模拟方法及系统
CN108509824A (zh) * 2017-02-24 2018-09-07 亮风台（上海）信息科技有限公司 基于ar设备的物品特征标识方法以及检查物品的系统
CN110494915A (zh) * 2017-04-04 2019-11-22 佳能株式会社 电子装置及其控制方法
TWI707306B (zh) * 2018-03-06 2020-10-11 國立臺灣大學 用於提升在虛擬環境中找尋感興趣區域之效率的方法及裝置

Families Citing this family (116)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102009037835B4 (de) 2009-08-18 2012-12-06 Metaio Gmbh Verfahren zur Darstellung von virtueller Information in einer realen Umgebung
JP5709906B2 (ja) 2010-02-24 2015-04-30 アイピープレックス ホールディングス コーポレーション 視覚障害者支援用拡張現実パノラマ
US9057874B2 (en) * 2010-12-30 2015-06-16 GM Global Technology Operations LLC Virtual cursor for road scene object selection on full windshield head-up display
CN102176197A (zh) * 2011-03-23 2011-09-07 上海那里网络科技有限公司 一种使用虚拟化身和实时影像进行实时互动的方法
US9727132B2 (en) * 2011-07-01 2017-08-08 Microsoft Technology Licensing, Llc Multi-visor: managing applications in augmented reality environments
DE102011084596A1 (de) 2011-10-17 2013-04-18 Robert Bosch Gmbh Verfahren zum Assistieren eines Fahrers in einer fremden Umgebung
DE102011084993A1 (de) 2011-10-21 2013-04-25 Robert Bosch Gmbh Übernahme von Daten aus bilddatenbasierenden Kartendiensten in ein Assistenzsystem
JP6121647B2 (ja) 2011-11-11 2017-04-26 ソニー株式会社 情報処理装置、情報処理方法およびプログラム
US9536251B2 (en) * 2011-11-15 2017-01-03 Excalibur Ip, Llc Providing advertisements in an augmented reality environment
US20130132959A1 (en) * 2011-11-23 2013-05-23 Yahoo! Inc. System for generating or using quests
US8872853B2 (en) 2011-12-01 2014-10-28 Microsoft Corporation Virtual light in augmented reality
US9311751B2 (en) * 2011-12-12 2016-04-12 Microsoft Technology Licensing, Llc Display of shadows via see-through display
US20150029214A1 (en) * 2012-01-19 2015-01-29 Pioneer Corporation Display device, control method, program and storage medium
JPWO2013145614A1 (ja) * 2012-03-27 2015-12-10 パナソニックＩｐマネジメント株式会社 情報処理装置、サーバ装置、情報処理方法、およびプログラム
DE102012006881A1 (de) 2012-04-03 2012-11-08 Daimler Ag Fahrzeugnavigationssystem
US9183676B2 (en) * 2012-04-27 2015-11-10 Microsoft Technology Licensing, Llc Displaying a collision between real and virtual objects
US9135754B2 (en) * 2012-05-07 2015-09-15 Honda Motor Co., Ltd. Method to generate virtual display surfaces from video imagery of road based scenery
EP2672458A3 (en) * 2012-06-06 2017-04-26 Samsung Electronics Co., Ltd Terminal, apparatus and method for providing an augmented reality service
DE102012013503B4 (de) 2012-07-06 2014-10-09 Audi Ag Verfahren und Steuerungssystem zum Betreiben eines Kraftwagens
WO2014013628A1 (ja) * 2012-07-20 2014-01-23 楽天株式会社 動画処理装置、動画処理方法、ならびに、情報記録媒体
US9870642B2 (en) 2012-08-10 2018-01-16 Here Global B.V. Method and apparatus for layout for augmented reality view
US8928695B2 (en) 2012-10-05 2015-01-06 Elwha Llc Formatting of one or more persistent augmentations in an augmented view in response to multiple input factors
US9141188B2 (en) 2012-10-05 2015-09-22 Elwha Llc Presenting an augmented view in response to acquisition of data inferring user activity
US10180715B2 (en) 2012-10-05 2019-01-15 Elwha Llc Correlating user reaction with at least an aspect associated with an augmentation of an augmented view
US10713846B2 (en) 2012-10-05 2020-07-14 Elwha Llc Systems and methods for sharing augmentation data
US10269179B2 (en) 2012-10-05 2019-04-23 Elwha Llc Displaying second augmentations that are based on registered first augmentations
US9111383B2 (en) 2012-10-05 2015-08-18 Elwha Llc Systems and methods for obtaining and using augmentation data and for sharing usage data
US9077647B2 (en) 2012-10-05 2015-07-07 Elwha Llc Correlating user reactions with augmentations displayed through augmented views
US9619911B2 (en) 2012-11-13 2017-04-11 Qualcomm Incorporated Modifying virtual object display properties
WO2014094880A1 (en) * 2012-12-21 2014-06-26 Metaio Gmbh Method for representing virtual information in a real environment
JP6050518B2 (ja) * 2012-12-21 2016-12-21 メタイオ ゲゼルシャフト ミット ベシュレンクテル ハフツングｍｅｔａｉｏ ＧｍｂＨ 実環境に仮想情報を表現する方法
US9395543B2 (en) * 2013-01-12 2016-07-19 Microsoft Technology Licensing, Llc Wearable behavior-based vision system
WO2014126998A1 (en) * 2013-02-15 2014-08-21 Elwha Llc Displaying in response to detecting one or more user behaviors one or more second augmentations that are based on one or more registered first augmentations
US9959674B2 (en) * 2013-02-26 2018-05-01 Qualcomm Incorporated Directional and X-ray view techniques for navigation using a mobile device
US9377519B2 (en) * 2013-03-12 2016-06-28 Qualcomm Incorporated Server-based mobile device regional candidate position fix mode selection
US9247518B2 (en) * 2013-03-12 2016-01-26 Qualcomm Incorporated Mobile device positioning responsive to externally generated regional candidate position fix mode selection
EP2778842A1 (en) * 2013-03-15 2014-09-17 BlackBerry Limited System and method for indicating a presence of supplemental information in augmented reality
US9639964B2 (en) 2013-03-15 2017-05-02 Elwha Llc Dynamically preserving scene elements in augmented reality systems
US9685001B2 (en) 2013-03-15 2017-06-20 Blackberry Limited System and method for indicating a presence of supplemental information in augmented reality
US10025486B2 (en) 2013-03-15 2018-07-17 Elwha Llc Cross-reality select, drag, and drop for augmented reality systems
US10109075B2 (en) 2013-03-15 2018-10-23 Elwha Llc Temporal element restoration in augmented reality systems
CN103220500B (zh) * 2013-03-20 2015-12-02 积成电子股份有限公司 电网设备监控图像与业务分析图像叠加展示方法
DE102013206173A1 (de) * 2013-04-09 2014-10-09 Bayerische Motoren Werke Aktiengesellschaft Auswahl von Einzelelementen zur Anzeige auf einer Datenbrille
US10509533B2 (en) 2013-05-14 2019-12-17 Qualcomm Incorporated Systems and methods of generating augmented reality (AR) objects
US9235051B2 (en) * 2013-06-18 2016-01-12 Microsoft Technology Licensing, Llc Multi-space connected virtual data objects
US10139623B2 (en) * 2013-06-18 2018-11-27 Microsoft Technology Licensing, Llc Virtual object orientation and visualization
DE102013013698A1 (de) * 2013-08-16 2015-02-19 Audi Ag Verfahren zum Betreiben einer elektronischen Datenbrille und elektronische Datenbrille
KR101817452B1 (ko) 2013-09-24 2018-01-11 메타이오 게엠베하 모바일 디바이스 상에 실제 환경의 뷰에서 관심 지점을 나타내기 위한 방법 및 그것을 위한 모바일 디바이스
DE102013016241A1 (de) * 2013-10-01 2015-04-02 Daimler Ag Verfahren und Vorrichtung zur augmentierten Darstellung
DE102013016246A1 (de) * 2013-10-01 2015-04-02 Daimler Ag Verfahren und Vorrichtung zur augmentierten Darstellung
US9652892B2 (en) * 2013-10-29 2017-05-16 Microsoft Technology Licensing, Llc Mixed reality spotlight
FR3012618B1 (fr) * 2013-10-30 2018-08-31 Thales Terminal d'operateur a affichage de zones de qualite de prises de vues
KR102138520B1 (ko) * 2013-11-11 2020-08-11 엘지전자 주식회사 헤드 마운트 디스플레이 및 제어 방법
KR102378457B1 (ko) * 2013-11-27 2022-03-23 매직 립, 인코포레이티드 가상 및 증강 현실 시스템들 및 방법들
CN106104635B (zh) * 2013-12-06 2019-01-04 惠普发展公司，有限责任合伙企业 遮挡增强现实对象
CN110120072B (zh) * 2013-12-19 2023-05-09 苹果公司 用于跟踪移动设备的方法和系统
US9986225B2 (en) * 2014-02-14 2018-05-29 Autodesk, Inc. Techniques for cut-away stereo content in a stereoscopic display
DE102014003178B4 (de) * 2014-03-01 2021-09-16 Audi Ag Vorrichtungen und Verfahren zum Anzeigen eines Bildes mittels eines am Kopf eines Nutzers tragbaren Anzeigegeräts
US20150262428A1 (en) * 2014-03-17 2015-09-17 Qualcomm Incorporated Hierarchical clustering for view management augmented reality
CN106133796B (zh) * 2014-03-25 2019-07-16 苹果公司 用于在真实环境的视图中表示虚拟对象的方法和系统
CN104951059B (zh) * 2014-03-31 2018-08-10 联想(北京)有限公司 一种数据处理方法、装置及一种电子设备
US9392212B1 (en) 2014-04-17 2016-07-12 Visionary Vr, Inc. System and method for presenting virtual reality content to a user
KR102209511B1 (ko) 2014-05-12 2021-01-29 엘지전자 주식회사 안경형 단말기와 그 안경형 단말기의 제어 방법
KR101888566B1 (ko) 2014-06-03 2018-08-16 애플 인크. 실제 물체와 관련된 디지털 정보를 제시하기 위한 방법 및 시스템
DE102014210481A1 (de) * 2014-06-03 2015-12-03 Siemens Aktiengesellschaft Informationsanzeige zu durch Fenster sichtbaren, bewegten Objekten
WO2015198747A1 (ja) * 2014-06-24 2015-12-30 ソニー株式会社 情報処理装置、情報処理方法、及びプログラム
CN105227618B (zh) * 2014-07-04 2018-12-04 中国移动通信集团广东有限公司 一种通信站点位置信息处理方法及系统
CN106664465B (zh) * 2014-07-09 2020-02-21 郑芝娟 用于创建和再现增强现实内容的系统以及使用其的方法
KR20160009879A (ko) * 2014-07-17 2016-01-27 엘지전자 주식회사 웨어러블 디스플레이 디바이스 및 그 제어 방법
TWI533240B (zh) * 2014-12-31 2016-05-11 拓邁科技股份有限公司 資料顯示方法及系統，及相關電腦程式產品
US9767614B2 (en) * 2015-03-24 2017-09-19 Nokia Technologies Oy Augmented reality
US9965029B2 (en) * 2015-03-30 2018-05-08 Sony Corporation Information processing apparatus, information processing method, and program
FR3035208B1 (fr) * 2015-04-17 2017-04-21 Thales Sa Procede de gestion et d'affichage de symboles graphiques geo-references et systeme de visualisation associe
DE102015006610A1 (de) * 2015-05-21 2016-11-24 Audi Ag Verfahren zum Betreiben einer Datenbrille in einem Kraftfahrzeug und System mit einer Datenbrille
JP6344311B2 (ja) 2015-05-26 2018-06-20 ソニー株式会社 表示装置、情報処理システム及び制御方法
US9665170B1 (en) 2015-06-10 2017-05-30 Visionary Vr, Inc. System and method for presenting virtual reality content to a user based on body posture
US10169917B2 (en) * 2015-08-20 2019-01-01 Microsoft Technology Licensing, Llc Augmented reality
JP6586824B2 (ja) * 2015-08-27 2019-10-09 富士通株式会社 画像処理装置、画像処理方法および画像処理プログラム
KR101718628B1 (ko) * 2015-09-30 2017-03-21 라인 가부시키가이샤 지도 화면에서 벗어난 관심 지점을 표시하기 위한 방법과 시스템
CN108292448B (zh) * 2015-12-10 2023-02-28 索尼公司 信息处理装置、信息处理方法和程序
CN105894584B (zh) * 2016-04-15 2019-08-02 北京小鸟看看科技有限公司 一种三维沉浸式环境下与现实环境交互的方法和装置
JP2018005091A (ja) * 2016-07-06 2018-01-11 富士通株式会社 表示制御プログラム、表示制御方法および表示制御装置
EP3943888A1 (en) 2016-08-04 2022-01-26 Reification Inc. Methods for simultaneous localization and mapping (slam) and related apparatus and systems
TWI585617B (zh) * 2016-08-31 2017-06-01 宅妝股份有限公司 互動方法及系統
EP3291531A1 (en) * 2016-09-06 2018-03-07 Thomson Licensing Methods, devices and systems for automatic zoom when playing an augmented reality scene
JP2018077644A (ja) * 2016-11-08 2018-05-17 富士ゼロックス株式会社 情報処理システム及びプログラム
US10373358B2 (en) * 2016-11-09 2019-08-06 Sony Corporation Edge user interface for augmenting camera viewfinder with information
EP3349099A1 (de) * 2017-01-13 2018-07-18 Kai-Holger Brassel Immersives informations- und kommunikationsmedium fuer sehr grosse nutzerzahlen
US10429926B2 (en) * 2017-03-15 2019-10-01 International Business Machines Corporation Physical object addition and removal based on affordance and view
US10401954B2 (en) * 2017-04-17 2019-09-03 Intel Corporation Sensory enhanced augmented reality and virtual reality device
US10325414B2 (en) 2017-05-08 2019-06-18 Microsoft Technology Licensing, Llc Application of edge effects to 3D virtual objects
US10264380B2 (en) * 2017-05-09 2019-04-16 Microsoft Technology Licensing, Llc Spatial audio for three-dimensional data sets
US10249096B2 (en) 2017-05-17 2019-04-02 International Business Machines Corporation Mixing virtual image data and physical image data
CN109804332B (zh) * 2017-06-15 2020-08-14 腾讯科技（深圳）有限公司 即时预览沉浸式内容的系统和方法
US10231167B2 (en) 2017-06-30 2019-03-12 Otis Elevator Company Building access zone specification for mobile applications
US11118930B2 (en) * 2017-07-14 2021-09-14 Lyft, Inc. Providing information to users of a transportation system using augmented reality elements
CN107656961B (zh) * 2017-08-04 2020-03-27 阿里巴巴集团控股有限公司 一种信息显示方法及装置
KR102422929B1 (ko) * 2017-08-16 2022-07-20 삼성전자 주식회사 디스플레이장치, 서버 및 그 제어방법
US11164380B2 (en) * 2017-12-05 2021-11-02 Samsung Electronics Co., Ltd. System and method for transition boundaries and distance responsive interfaces in augmented and virtual reality
CN108182730B (zh) 2018-01-12 2022-08-12 北京小米移动软件有限公司 虚实对象合成方法及装置
US10747312B2 (en) * 2018-03-14 2020-08-18 Apple Inc. Image enhancement devices with gaze tracking
CN108398787B (zh) * 2018-03-20 2023-05-16 京东方科技集团股份有限公司 增强现实显示设备、方法和增强现实眼镜
CN110536125A (zh) * 2018-05-25 2019-12-03 光宝电子(广州)有限公司 影像处理系统及影像处理方法
US11244483B2 (en) 2018-10-31 2022-02-08 Facebook Technologies, Llc Systems and methods for modifying a safety boundary for virtual reality systems
US11087541B2 (en) * 2018-12-03 2021-08-10 Honeywell International Inc. Location-based identification of petrochemical assets in an industrial plant
US10839594B2 (en) 2018-12-11 2020-11-17 Canon Kabushiki Kaisha Method, system and apparatus for capture of image data for free viewpoint video
US10783714B2 (en) * 2019-01-29 2020-09-22 Verizon Patent And Licensing Inc. Methods and systems for automatically tailoring a form of an extended reality overlay object
KR102627612B1 (ko) * 2019-02-19 2024-01-22 삼성전자주식회사 증강현실을 이용한 주변 정보 표시 방법 및 그 전자 장치
WO2020209491A1 (en) * 2019-04-11 2020-10-15 Samsung Electronics Co., Ltd. Head-mounted display device and operating method of the same
CN110248381B (zh) * 2019-07-08 2021-04-02 腾讯科技（深圳）有限公司 定位数据处理方法、装置、计算机设备及存储介质
TWI733245B (zh) * 2019-11-07 2021-07-11 南開科技大學 依互動過程在擴增實境與虛擬實境間切換之系統及方法
US11263787B2 (en) * 2020-03-05 2022-03-01 Rivian Ip Holdings, Llc Augmented reality detection for locating autonomous vehicles
WO2022046754A1 (en) 2020-08-24 2022-03-03 Fd Ip & Licensing Llc Previsualization devices and systems for the film industry
CN113393516B (zh) * 2021-06-17 2022-05-24 贝壳找房(北京)科技有限公司 用于打散ar场景中的虚拟物体的方法和装置
CN113722937B (zh) * 2021-10-29 2022-03-18 深圳市城市交通规划设计研究中心股份有限公司 一种设置导向标志的方法、计算机及存储介质
US11875492B1 (en) 2023-05-01 2024-01-16 Fd Ip & Licensing Llc Systems and methods for digital compositing

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070027591A1 (en) * 2005-07-27 2007-02-01 Rafael-Armament Development Authority Ltd. Real-time geographic information system and method
CN101031866A (zh) * 2004-05-28 2007-09-05 新加坡国立大学 交互式系统和方法
US20080024484A1 (en) * 2006-06-26 2008-01-31 University Of Southern California Seamless Image Integration Into 3D Models
CN101189049A (zh) * 2005-04-06 2008-05-28 苏黎士高等院校非金属材料联盟 在移动设备中执行应用程序的方法
WO2009085399A1 (en) * 2007-12-21 2009-07-09 Motorola, Inc. Mobile virtual and augmented reality system

Family Cites Families (109)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5379215A (en) * 1991-02-25 1995-01-03 Douglas P. Kruhoeffer Method for creating a 3-D image of terrain and associated weather
US6037936A (en) * 1993-09-10 2000-03-14 Criticom Corp. Computer vision system with a graphic user interface and remote camera control
JP3461980B2 (ja) 1995-08-25 2003-10-27 株式会社東芝 高速描画方法および装置
US6169552B1 (en) * 1996-04-16 2001-01-02 Xanavi Informatics Corporation Map display device, navigation device and map display method
US6847336B1 (en) * 1996-10-02 2005-01-25 Jerome H. Lemelson Selectively controllable heads-up display system
US6720949B1 (en) 1997-08-22 2004-04-13 Timothy R. Pryor Man machine interfaces and applications
FR2775814B1 (fr) 1998-03-06 2001-01-19 Rasterland Sa Systeme de visualisation d'images tridimensionnelles realistes virtuelles en temps reel
US6064354A (en) 1998-07-01 2000-05-16 Deluca; Michael Joseph Stereoscopic user interface method and apparatus
US6983203B1 (en) * 2000-07-28 2006-01-03 Alpine Electronics, Inc. POI icon display method and navigation system
US6944607B1 (en) * 2000-10-04 2005-09-13 Hewlett-Packard Development Compnay, L.P. Aggregated clustering method and system
US20020044152A1 (en) * 2000-10-16 2002-04-18 Abbott Kenneth H. Dynamic integration of computer generated and real world images
US6405129B1 (en) 2000-11-29 2002-06-11 Alpine Electronics, Inc. Method of displaying POI icons for navigation apparatus
US6992659B2 (en) 2001-05-22 2006-01-31 Palmone, Inc. High transparency integrated enclosure touch screen assembly for a portable hand held device
US6885939B2 (en) * 2002-12-31 2005-04-26 Robert Bosch Gmbh System and method for advanced 3D visualization for mobile navigation units
US7203384B2 (en) 2003-02-24 2007-04-10 Electronic Scripting Products, Inc. Implement for optically inferring information from a planar jotting surface
US6856901B2 (en) 2003-06-02 2005-02-15 Alpine Electronics, Inc. Display method and apparatus for navigation system
JP4532856B2 (ja) 2003-07-08 2010-08-25 キヤノン株式会社 位置姿勢計測方法及び装置
ITTO20030662A1 (it) * 2003-08-29 2005-02-28 Fiat Ricerche Disposizione di visualizzazione virtuale per un quadro
US7110100B2 (en) 2003-11-04 2006-09-19 Electronic Scripting Products, Inc. Apparatus and method for determining an inclination of an elongate object contacting a plane surface
US7268956B2 (en) 2003-11-24 2007-09-11 Electronic Scripting Products, Inc. Solid catadioptric lens with two viewpoints
US7038846B2 (en) 2003-11-24 2006-05-02 Electronic Scripting Products, Inc. Solid catadioptric lens with a single viewpoint
US7088440B2 (en) 2003-12-22 2006-08-08 Electronic Scripting Products, Inc. Method and apparatus for determining absolute position of a tip of an elongate object on a plane surface with invariant features
US8542219B2 (en) 2004-01-30 2013-09-24 Electronic Scripting Products, Inc. Processing pose data derived from the pose of an elongate object
US7826641B2 (en) 2004-01-30 2010-11-02 Electronic Scripting Products, Inc. Apparatus and method for determining an absolute pose of a manipulated object in a real three-dimensional environment with invariant features
US9229540B2 (en) 2004-01-30 2016-01-05 Electronic Scripting Products, Inc. Deriving input from six degrees of freedom interfaces
US7729515B2 (en) 2006-03-08 2010-06-01 Electronic Scripting Products, Inc. Optical navigation apparatus using fixed beacons and a centroid sensing device
US7961909B2 (en) 2006-03-08 2011-06-14 Electronic Scripting Products, Inc. Computer interface employing a manipulated object with absolute pose detection component and a display
US7023536B2 (en) 2004-03-08 2006-04-04 Electronic Scripting Products, Inc. Apparatus and method for determining orientation parameters of an elongate object
US7161664B2 (en) 2004-04-13 2007-01-09 Electronic Scripting Products, Inc. Apparatus and method for optical determination of intermediate distances
US7113270B2 (en) 2004-06-18 2006-09-26 Electronics Scripting Products, Inc. Determination of an orientation parameter of an elongate object with a scan beam apparatus
US7460953B2 (en) * 2004-06-30 2008-12-02 Navteq North America, Llc Method of operating a navigation system using images
JP2008508621A (ja) * 2004-08-03 2008-03-21 シルバーブルック リサーチ ピーティワイ リミテッド ウォークアップ印刷
US7720436B2 (en) * 2006-01-09 2010-05-18 Nokia Corporation Displaying network objects in mobile devices based on geolocation
US8457991B2 (en) * 2005-02-04 2013-06-04 The Invention Science Fund I, Llc Virtual credit in simulated environments
US8040361B2 (en) * 2005-04-11 2011-10-18 Systems Technology, Inc. Systems and methods for combining virtual and real-time physical environments
US20060241859A1 (en) * 2005-04-21 2006-10-26 Microsoft Corporation Virtual earth real-time advertising
US7451041B2 (en) * 2005-05-06 2008-11-11 Facet Technology Corporation Network-based navigation system having virtual drive-thru advertisements integrated with actual imagery from along a physical route
US7904483B2 (en) * 2005-12-23 2011-03-08 Geopeg, Inc. System and method for presenting geo-located objects
DE102005061952B4 (de) * 2005-12-23 2008-09-11 Metaio Gmbh Verfahren und System zur Bestimmung einer Ungenauigkeitsinformation in einem Augmented Reality System
US8280405B2 (en) 2005-12-29 2012-10-02 Aechelon Technology, Inc. Location based wireless collaborative environment with a visual user interface
EP1840511B1 (en) * 2006-03-31 2016-03-02 BlackBerry Limited Methods and apparatus for retrieving and displaying map-related data for visually displayed maps of mobile communication devices
ATE409307T1 (de) * 2006-03-31 2008-10-15 Research In Motion Ltd Benutzerschnittstellenverfahren und vorrichtung zur steuerung der visuellen anzeige von karten mit auswählbaren kartenelementen bei mobilen kommunikationsvorrichtungen
KR101285360B1 (ko) * 2007-01-25 2013-07-11 삼성전자주식회사 증강현실을 이용한 관심 지점 표시 장치 및 방법
KR101387479B1 (ko) 2007-03-16 2014-04-21 엘지전자 주식회사 이동통신 단말기의 화상 처리방법 및 이동통신 단말기
US7689457B2 (en) * 2007-03-30 2010-03-30 Amazon Technologies, Inc. Cluster-based assessment of user interests
JP2010531430A (ja) * 2007-04-03 2010-09-24 ヒューマン・ネットワーク・ラブズ・インコーポレーテッド ローカル位置を取得し、情報をオーバーレイするための方法および装置
US20080268876A1 (en) 2007-04-24 2008-10-30 Natasha Gelfand Method, Device, Mobile Terminal, and Computer Program Product for a Point of Interest Based Scheme for Improving Mobile Visual Searching Functionalities
US8487957B1 (en) * 2007-05-29 2013-07-16 Google Inc. Displaying and navigating within photo placemarks in a geographic information system, and applications thereof
US8165808B2 (en) 2007-07-17 2012-04-24 Yahoo! Inc. Techniques for representing location information
DE102007033486B4 (de) * 2007-07-18 2010-06-17 Metaio Gmbh Verfahren und System zur Vermischung eines virtuellen Datenmodells mit einem von einer Kamera oder einer Darstellungsvorrichtung generierten Abbild
US8994851B2 (en) * 2007-08-07 2015-03-31 Qualcomm Incorporated Displaying image data and geographic element data
US9329052B2 (en) * 2007-08-07 2016-05-03 Qualcomm Incorporated Displaying image data and geographic element data
US8671355B2 (en) 2007-10-05 2014-03-11 Mapquest, Inc. Methods and systems for decluttering icons representing points of interest on a map
US8339399B2 (en) * 2007-10-31 2012-12-25 Microsoft Corporation Declustering point-of-interest icons
KR100946473B1 (ko) * 2007-12-17 2010-03-10 현대자동차주식회사 3차원 입체 데이터의 로딩 방법
US20090169060A1 (en) * 2007-12-26 2009-07-02 Robert Bosch Gmbh Method and apparatus for spatial display and selection
JP4502005B2 (ja) 2007-12-27 2010-07-14 アイシン・エィ・ダブリュ株式会社 ナビゲーション装置及びコンピュータプログラム
US9582937B2 (en) * 2008-01-02 2017-02-28 Nokia Technologies Oy Method, apparatus and computer program product for displaying an indication of an object within a current field of view
US8428873B2 (en) * 2008-03-24 2013-04-23 Google Inc. Panoramic images within driving directions
US8711176B2 (en) * 2008-05-22 2014-04-29 Yahoo! Inc. Virtual billboards
KR101526970B1 (ko) 2008-05-29 2015-06-16 엘지전자 주식회사 단말기 및 그 제어 방법
US8467991B2 (en) * 2008-06-20 2013-06-18 Microsoft Corporation Data services based on gesture and location information of device
US20090319166A1 (en) * 2008-06-20 2009-12-24 Microsoft Corporation Mobile computing services based on devices with dynamic direction information
US8401771B2 (en) 2008-07-22 2013-03-19 Microsoft Corporation Discovering points of interest from users map annotations
US9191238B2 (en) * 2008-07-23 2015-11-17 Yahoo! Inc. Virtual notes in a reality overlay
US20100053069A1 (en) * 2008-08-26 2010-03-04 Symbol Technologies, Inc. Mobile computing system facilitating adaptive display of content among a plurality of display components including at least one virtual image display component
KR101561913B1 (ko) 2009-04-17 2015-10-20 엘지전자 주식회사 이동 단말기의 영상 표시 방법 및 그 장치
US8427508B2 (en) * 2009-06-25 2013-04-23 Nokia Corporation Method and apparatus for an augmented reality user interface
US20100332539A1 (en) * 2009-06-30 2010-12-30 Sunil Mohan Presenting a related item using a cluster
US20110010650A1 (en) 2009-07-09 2011-01-13 Mapquest, Inc. Systems and methods for decluttering electronic map displays
US8331611B2 (en) * 2009-07-13 2012-12-11 Raytheon Company Overlay information over video
DE102009037835B4 (de) * 2009-08-18 2012-12-06 Metaio Gmbh Verfahren zur Darstellung von virtueller Information in einer realen Umgebung
US9420251B2 (en) * 2010-02-08 2016-08-16 Nikon Corporation Imaging device and information acquisition system in which an acquired image and associated information are held on a display
US9488488B2 (en) * 2010-02-12 2016-11-08 Apple Inc. Augmented reality maps
KR101643869B1 (ko) 2010-05-06 2016-07-29 엘지전자 주식회사 휴대 단말기 및 그 동작 방법
KR101572892B1 (ko) 2010-05-06 2015-11-30 엘지전자 주식회사 이동 단말기 및 이것의 영상 디스플레이 방법
WO2011148544A1 (ja) 2010-05-27 2011-12-01 任天堂株式会社 携帯型電子機器
US20120050144A1 (en) 2010-08-26 2012-03-01 Clayton Richard Morlock Wearable augmented reality computing apparatus
US9710554B2 (en) * 2010-09-23 2017-07-18 Nokia Technologies Oy Methods, apparatuses and computer program products for grouping content in augmented reality
US8944745B2 (en) 2010-11-05 2015-02-03 Honda Motor Co., Ltd. Carrier device, transfer method and carrier hand
US9514717B2 (en) 2011-09-26 2016-12-06 Nokia Technology Oy Method and apparatus for rendering items in a user interface
US9087412B2 (en) * 2011-09-26 2015-07-21 Nokia Technologies Oy Method and apparatus for grouping and de-overlapping items in a user interface
CN102629183B (zh) 2012-02-29 2014-12-03 华为终端有限公司 一种终端屏幕控制方法及装置
CN102695034A (zh) 2012-05-30 2012-09-26 青岛海信移动通信技术股份有限公司 在可视通话中调整视频图像在对端显示的方法及装置
WO2014094880A1 (en) * 2012-12-21 2014-06-26 Metaio Gmbh Method for representing virtual information in a real environment
CN103034416B (zh) 2012-12-25 2015-09-09 珠海金山办公软件有限公司 一种通过摇动使设备屏幕显示转到重力方向的方法
CN103092344A (zh) 2013-01-11 2013-05-08 深圳市金立通信设备有限公司 一种控制终端屏幕画面旋转的方法及终端
CN103139354B (zh) 2013-01-31 2016-03-02 广东欧珀移动通信有限公司 一种手机解锁方法及装置
US8970709B2 (en) 2013-03-13 2015-03-03 Electronic Scripting Products, Inc. Reduced homography for recovery of pose parameters of an optical apparatus producing image data with structural uncertainty
CN103246431B (zh) 2013-04-27 2016-12-28 深圳市金立通信设备有限公司 一种调节屏幕显示方向方法、装置及系统
US9552675B2 (en) 2013-06-03 2017-01-24 Time Traveler App Llc Display application and perspective views of virtual space
US9129430B2 (en) 2013-06-25 2015-09-08 Microsoft Technology Licensing, Llc Indicating out-of-view augmented reality images
US9355123B2 (en) 2013-07-19 2016-05-31 Nant Holdings Ip, Llc Fast recognition algorithm processing, systems and methods
KR102065408B1 (ko) 2013-08-16 2020-01-13 엘지전자 주식회사 이동 단말기
KR101817452B1 (ko) 2013-09-24 2018-01-11 메타이오 게엠베하 모바일 디바이스 상에 실제 환경의 뷰에서 관심 지점을 나타내기 위한 방법 및 그것을 위한 모바일 디바이스
US9891712B2 (en) 2013-12-16 2018-02-13 Leap Motion, Inc. User-defined virtual interaction space and manipulation of virtual cameras with vectors
US20160307374A1 (en) 2013-12-19 2016-10-20 Metaio Gmbh Method and system for providing information associated with a view of a real environment superimposed with a virtual object
KR20150092560A (ko) 2014-02-05 2015-08-13 엘지전자 주식회사 이동단말기 및 그 제어방법
US9685005B2 (en) 2015-01-02 2017-06-20 Eon Reality, Inc. Virtual lasers for interacting with augmented reality environments
US9767613B1 (en) 2015-01-23 2017-09-19 Leap Motion, Inc. Systems and method of interacting with a virtual object
US9696795B2 (en) 2015-02-13 2017-07-04 Leap Motion, Inc. Systems and methods of creating a realistic grab experience in virtual reality/augmented reality environments
US10728767B2 (en) 2015-04-14 2020-07-28 ETAK Systems, LLC Systems and methods for augmented reality add-in of equipment and structures at a telecommunications site
US10354441B2 (en) 2016-05-20 2019-07-16 ETAK Systems, LLC Augmented reality systems and methods for telecommunications site modeling
US10149958B1 (en) 2015-07-17 2018-12-11 Bao Tran Systems and methods for computer assisted operation
US20170337745A1 (en) 2016-05-23 2017-11-23 tagSpace Pty Ltd Fine-grain placement and viewing of virtual objects in wide-area augmented reality environments
US20180095636A1 (en) 2016-10-04 2018-04-05 Facebook, Inc. Controls and Interfaces for User Interactions in Virtual Spaces
GB2554914B (en) 2016-10-14 2022-07-20 Vr Chitect Ltd Virtual reality system and method
US10527849B2 (en) 2017-07-18 2020-01-07 Toyota Jidosha Kabushiki Kaisha Augmented reality vehicular assistance for color blindness
DK201870349A1 (en) 2018-01-24 2019-10-23 Apple Inc. Devices, Methods, and Graphical User Interfaces for System-Wide Behavior for 3D Models

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101031866A (zh) * 2004-05-28 2007-09-05 新加坡国立大学 交互式系统和方法
CN101189049A (zh) * 2005-04-06 2008-05-28 苏黎士高等院校非金属材料联盟 在移动设备中执行应用程序的方法
US20070027591A1 (en) * 2005-07-27 2007-02-01 Rafael-Armament Development Authority Ltd. Real-time geographic information system and method
US20080024484A1 (en) * 2006-06-26 2008-01-31 University Of Southern California Seamless Image Integration Into 3D Models
WO2009085399A1 (en) * 2007-12-21 2009-07-09 Motorola, Inc. Mobile virtual and augmented reality system

Cited By (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106648044A (zh) * 2015-11-03 2017-05-10 中华映管股份有限公司 扩增实境系统以及扩增实境互动方法
CN106371571A (zh) * 2015-11-30 2017-02-01 北京智谷睿拓技术服务有限公司 信息处理方法、信息处理装置及用户设备
US10338674B2 (en) 2015-11-30 2019-07-02 Beijing Zhigu Rui Tuo Tech Co., Ltd. Information processing method, information processing apparatus, and user equipment
CN106371571B (zh) * 2015-11-30 2019-12-13 北京智谷睿拓技术服务有限公司 信息处理方法、信息处理装置及用户设备
CN107229329A (zh) * 2016-03-24 2017-10-03 福特全球技术公司 用于具有深度地面实况注释的虚拟传感器数据生成的方法和系统
CN107229329B (zh) * 2016-03-24 2022-06-07 福特全球技术公司 用于具有深度地面实况注释的虚拟传感器数据生成的方法和系统
CN108509824A (zh) * 2017-02-24 2018-09-07 亮风台（上海）信息科技有限公司 基于ar设备的物品特征标识方法以及检查物品的系统
CN108509824B (zh) * 2017-02-24 2020-08-18 亮风台（上海）信息科技有限公司 基于ar设备的物品特征标识方法以及检查物品的系统
CN110494915B (zh) * 2017-04-04 2022-02-18 佳能株式会社 电子装置及其控制方法和计算机可读介质
CN110494915A (zh) * 2017-04-04 2019-11-22 佳能株式会社 电子装置及其控制方法
US11100903B2 (en) 2017-04-04 2021-08-24 Canon Kabushiki Kaisha Electronic device and control method for controlling a display range on a display
CN107315915A (zh) * 2017-06-28 2017-11-03 上海联影医疗科技有限公司 一种医疗手术模拟方法及系统
TWI707306B (zh) * 2018-03-06 2020-10-11 國立臺灣大學 用於提升在虛擬環境中找尋感興趣區域之效率的方法及裝置

Also Published As

Publication number Publication date
US8896629B2 (en) 2014-11-25
WO2011020793A2 (de) 2011-02-24
CN102473324A (zh) 2012-05-23
CN102473324B (zh) 2015-04-29
DE102009037835A1 (de) 2011-02-24
EP2467833A2 (de) 2012-06-27
WO2011020793A3 (de) 2011-10-27
US20200193712A1 (en) 2020-06-18
CN104731337B (zh) 2017-12-15
US20120176410A1 (en) 2012-07-12
US11562540B2 (en) 2023-01-24
DE102009037835B4 (de) 2012-12-06
EP3675067A1 (de) 2020-07-01
US20230290083A1 (en) 2023-09-14
US20200242846A1 (en) 2020-07-30
US20150015611A1 (en) 2015-01-15

Similar Documents

Publication Publication Date Title
CN102473324B (zh) 用于在真实环境中表示虚拟信息的方法
CN110084878B (zh) 用于在真实环境中表示虚拟信息的方法
JP6050518B2 (ja) 実環境に仮想情報を表現する方法
JP5980295B2 (ja) カメラ姿勢決定方法、及び実環境物体認識方法
KR101817452B1 (ko) 모바일 디바이스 상에 실제 환경의 뷰에서 관심 지점을 나타내기 위한 방법 및 그것을 위한 모바일 디바이스
EP2672459B1 (en) Apparatus and method for providing augmented reality information using three dimension map
CN102598064B (zh) 用于在真实环境的视图中描绘虚拟信息的方法
US20110102460A1 (en) Platform for widespread augmented reality and 3d mapping
KR102355135B1 (ko) 정보 처리 장치, 정보 처리 방법, 및 프로그램
US11468643B2 (en) Methods and systems for tailoring an extended reality overlay object
JP6345381B2 (ja) 拡張現実システム
Schmalstieg et al. Augmented reality as a medium for cartography
Guven et al. Visualizing and navigating complex situated hypermedia in augmented and virtual reality
Mieke An Overview of Augmented Reality Technologies

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right

Effective date of registration: 20180420

Address after: American California

Patentee after: Apple Computer, Inc.

Address before: Munich, Germany

Patentee before: METAIO GmbH

TR01 Transfer of patent right