CN105659295B - 用于在移动设备上的真实环境的视图中表示兴趣点的方法以及用于此方法的移动设备 - Google Patents

用于在移动设备上的真实环境的视图中表示兴趣点的方法以及用于此方法的移动设备 Download PDF

Info

Publication number
CN105659295B
CN105659295B CN201380080463.7A CN201380080463A CN105659295B CN 105659295 B CN105659295 B CN 105659295B CN 201380080463 A CN201380080463 A CN 201380080463A CN 105659295 B CN105659295 B CN 105659295B
Authority
CN
China
Prior art keywords
interest
screen
point
computer
virtual objects
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
CN201380080463.7A
Other languages
English (en)
Other versions
CN105659295A (zh
Inventor
A·费多索夫
S·米斯林格
P·迈尔
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Apple Inc
Original Assignee
Apple Computer Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Family has litigation
First worldwide family litigation filed litigation Critical https://patents.darts-ip.com/?family=49304906&utm_source=google_patent&utm_medium=platform_link&utm_campaign=public_patent_search&patent=CN105659295(B) "Global patent litigation dataset” by Darts-ip is licensed under a Creative Commons Attribution 4.0 International License.
Application filed by Apple Computer Inc filed Critical Apple Computer Inc
Priority to CN201910679334.9A priority Critical patent/CN110379019A/zh
Publication of CN105659295A publication Critical patent/CN105659295A/zh
Application granted granted Critical
Publication of CN105659295B publication Critical patent/CN105659295B/zh
Ceased legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34—Route searching; Route guidance
    • G01C21/36—Input/output arrangements for on-board computers
    • G01C21/3605—Destination input or retrieval
    • G01C21/3611—Destination input or retrieval using character input or menus, e.g. menus of POIs
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34—Route searching; Route guidance
    • G01C21/36—Input/output arrangements for on-board computers
    • G01C21/3626—Details of the output of route guidance instructions
    • G01C21/3635—Guidance using 3D or perspective road maps
    • G01C21/3638—Guidance using 3D or perspective road maps including 3D objects and buildings
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34—Route searching; Route guidance
    • G01C21/36—Input/output arrangements for on-board computers
    • G01C21/3679—Retrieval, searching and output of POI information, e.g. hotels, restaurants, shops, filling stations, parking facilities
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/10—Geometric effects
    • G06T15/20—Perspective computation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/131—Protocols for games, networked simulations or virtual reality

Abstract

本发明公开了一种用于在具有与用户进行交互的功能的移动设备的屏幕上所显示的真实环境的视图中显示兴趣点的方法和移动设备，该方法包括以下步骤：使用相机来捕获真实环境或真实环境的一部分的图像；确定与真实环境相关的至少一个兴趣点；确定至少一个兴趣点在图像中的图像位置；在屏幕的至少一部分上显示图像的至少一部分；在根据至少一个兴趣点的图像位置的屏幕位置处将计算机生成的指示符与屏幕上的图像的至少一部分重叠；在根据计算机生成的指示符的屏幕位置所确定的屏幕位置处将与至少一个兴趣点相关的计算机生成的虚拟对象显示在屏幕上，该屏幕位置邻近屏幕的底部边缘；显示用于指示计算机生成的虚拟对象与计算机生成的指示符之间的关系的视觉上可感知的关系指示。在触摸被显示在屏幕上的计算机生成的虚拟对象的至少一部分的情况下，移动设备可执行与至少一个兴趣点相关的动作。

Description

用于在移动设备上的真实环境的视图中表示兴趣点的方法以 及用于此方法的移动设备
本公开涉及一种用于在具有与用户进行交互的功能的移动设备的屏幕上的真实环境的视图中表示兴趣点的方法。本公开进一步涉及移动设备和包括适于执行此类方法的软件代码段的计算机程序产品。
已知增强现实(AR)系统可通过提供将计算机生成的虚拟信息与真实环境或真实环境的一部分的视图重叠的可视化来增强真实环境的信息。虚拟信息可以是任何类型的视觉感知数据，诸如对象、文本、图片、视频或它们的组合。真实环境或真实环境的一部分的视图可被视为用户所见的视觉印象和/或作为由用户所持相机捕获或在用户所持的设备上附接的一个或多个图像而获取。
兴趣点(常常称为“POI”)在本领域中是已知的，以表示真实环境中的位置或真实对象(例如，建筑物、界标、移动车辆)。POI通常具有与位置或真实对象相关的相关联的数字内容。数字内容例如可以是音频信息、视频信息、图片、文本消息、3D表示或它们的组合。
表示真实环境的视图中的兴趣点(POI)在基于位置的(移动)增强现实应用程序诸如用于探索城市环境的旅游向导中是特别有用而普遍的，参见参考文献[1,2]。例如，用户可在他们处于未知地点或想要获取有关他们所看到事物的信息的情况下，使用增强现实技术来看到与和真实环境的视图重叠的POI相关的视觉信息。
增强现实系统面临更有用地将POI显示给用户的重大挑战。将POI与移动设备(例如手持设备或可穿戴设备)的屏幕上的真实环境的图像重叠尤其具有挑战性，因为屏幕通常具有非常有限的尺寸并且POI可能阻挡屏幕上的图像信息的一部分。另外，使得用户能够直观地与被显示在屏幕上的POI进行交互是另一个挑战，特别是在设备具有有限输入能力的情况下。
触摸屏诸如移动设备的触摸屏可提供用户与被显示在触摸屏上的POI的直接交互。例如，用户可触摸屏幕上的POI，以便显示与屏幕上的POI相关的更多的信息。然而，在手持设备(例如移动电话或平板电脑)的触摸屏上存在很容易和很难触及的区域，参见参考文献[1,2,7]。在用户手持设备时，用户的手指通常不便于到达很难触及的区域。当用户触摸屏幕上的POI时，手指还可能遮挡触摸屏上的某些图像信息。因此，为了舒适的用户交互和信息可视化，期望对表示手持设备的触摸屏上的POI进行优化。
在参考文献[5]中，Yovcheva等人示出了在移动设备的屏幕上的真实世界的图像中表示POI的AR应用程序。将计算机生成的图标重叠在屏幕上的POI的图像位置处。图标由线连接至屏幕的侧边栏，在该侧边栏处注释示出有关POI的附加信息。
在参考文献[6]中，Grasset等人研究了一种虚拟对象在真实世界的图像中的最优布置并且他们提出了一种用于在图像位置中重叠POI的计算机生成的注释的方法，使得图像中的重要图像信息不被遮挡。
在参考文献[11]中，Rose等人提出了一种用于为由相机所捕获的图像中的真实对象或真实对象的一部分作注释的系统和方法。他们首先计算相对于真实对象的图像的相机方位，例如基于真实对象的3D模型，然后将计算机生成的文本与绘制到图像中的真实对象的被注释部分的计算机生成的线重叠。
在参考文献[8]中，Uusitalo等人公开了一种用于基于真实环境的分割来显示POI信息的方法。该方法基于真实环境的视图的一个或多个分区来确定重叠一个或多个POI。他们教导利用对建筑物的平面图或高度的了解来将建筑物分成多个分区并将POI信息重叠到建筑物的图像中的对应分区。
在各个POI具有相同观察方向的情况下，POI可在彼此后面进行布置以用于显示在增强现实应用程序中。就这一点而言，一些POI可能不可见，因为它们可隐藏在其他POI后面。为此，Sandberg在参考文献[9]中对具有相同观察方向的POI实施了分组，然后以可见方式显示分组的POI。
在参考文献[10]中，Meier等人公开了一种用于通过基于多个区域距观察点的距离将真实环境的视图细分为多个区域来在增强现实系统中实现POI的人体工程学表示的方法。
为了在被显示在移动设备的屏幕上的真实环境的图像中表示POI，这些现有技术均未针对由难以到达区域所导致的与被显示在屏幕上的POI的不方便的用户交互问题以及在用户交互期间(例如在触摸屏幕上的POI时)由用户手指所遮挡的图像信息的问题提出任何解决方案。
本发明的目的在于提供一种用于在具有与用户进行交互的功能的移动设备的屏幕上所显示的真实环境的视图中表示兴趣点的方法，该方法能够提供舒适用户交互和信息可视化的改进方式。
根据第一方面，提供了一种用于在具有与用户进行交互的功能的移动设备的屏幕上所显示的真实环境的视图中表示兴趣点的方法，该方法包括以下步骤：使用相机来捕获真实环境或真实环境的一部分的图像；确定与真实环境相关的至少一个兴趣点；确定至少一个兴趣点在图像中的图像位置；在屏幕的至少一部分上显示图像的至少一部分；在根据至少一个兴趣点的图像位置的屏幕位置处将计算机生成的指示符与屏幕上的图像的至少一部分重叠；在根据计算机生成的指示符的屏幕位置所确定的屏幕位置处将与至少一个兴趣点相关的计算机生成的虚拟对象显示在屏幕上，该屏幕位置邻近屏幕的底部边缘；以及显示用于指示计算机生成的虚拟对象与计算机生成的指示符之间的关系的视觉上可感知的关系指示。在触摸被显示在屏幕上的计算机生成的虚拟对象的至少一部分的情况下，移动设备可执行与至少一个兴趣点相关的动作。
根据第一方面，还提供了一种移动设备，该移动设备包括适用于捕获真实环境或真实环境的一部分的图像的相机、适用于在屏幕的至少一部分上显示图像的至少一部分的屏幕、以及被配置为在被显示在屏幕上时在真实环境的图像中显示兴趣点的处理设备。该处理设备被进一步配置为确定与真实环境相关的至少一个兴趣点；确定至少一个兴趣点在图像中的图像位置；在根据至少一个兴趣点的图像位置的屏幕位置处将计算机生成的指示符与屏幕上的图像的至少一部分重叠；在根据计算机生成的指示符的屏幕位置所确定的屏幕位置处将与至少一个兴趣点相关的计算机生成的虚拟对象显示在屏幕上，该屏幕位置邻近屏幕的底部边缘；以及显示用于指示计算机生成的虚拟对象与计算机生成的指示符之间的关系的视觉上可感知的关系指示。优选地，该处理设备可被进一步配置为在例如由用户的手指或用户所持的设备触摸被显示在屏幕上的计算机生成的虚拟对象的至少一部分的情况下，执行与至少一个兴趣点相关的动作，诸如执行运行于移动设备上的与至少一个兴趣点相关的应用程序的功能或服务。
根据一个实施方案，屏幕可以是触摸屏或不具有可触摸功能的屏幕。根据一个实施方案，屏幕为触摸屏并且由用户的手指或用户所持的设备来触摸该屏幕。
根据另一个实施方案，通过检测用户的手指或用户所持的设备在图像中的图像位置来确定被显示在屏幕上的计算机生成的虚拟对象的至少一部分被触摸。
具体地，移动设备的相机可用于检测用户的手指或用户所持的设备。因此，用户的手指或用户所持的设备在真实环境或真实环境的一部分的图像中的图像位置可基于由相机所捕获的图像来检测。被显示在屏幕上的计算机生成的虚拟对象相对于图像的位置可根据被显示在屏幕上的图像的至少一部分的屏幕位置来确定。
移动设备可被触发以根据用户的手指或用户所持的设备的图像位置和计算机生成的虚拟对象相对于图像的位置来执行与至少一个兴趣点相关的动作，诸如执行运行于移动设备上的与至少一个兴趣点相关的应用程序的功能或服务。例如，在被显示在屏幕上的计算机生成的虚拟对象的至少一部分与用户的手指重叠的情况下，移动设备被触发以执行动作。计算机生成的虚拟对象的至少一部分与用户的手指重叠可相当于被显示在屏幕上的计算机生成的虚拟对象的至少一部分被用户的手指触摸。
该实施方案在使用包括相机和屏幕的头盔式显示器的情况下尤其有用。例如，头盔式显示器为视频透视式头盔式显示器(HMD)。对于用户来说，通常不可能以类似于触摸屏的方式触摸头盔式显示器。然而，捕获真实环境图像的相机也可用于检测用户的手指在图像中的图像位置。用户手指的图像位置可相当于用户手指在触摸屏上所触摸的触摸点。
根据第二方面，提供了一种在具有与用户进行交互的功能的移动设备的半透明屏幕上的真实环境的视图中表示兴趣点的方法，该方法包括以下步骤：确定与真实环境相关的至少一个兴趣点；确定至少一个兴趣点相对于视图的位置；在根据至少一个兴趣点相对于视图的位置的屏幕位置处将计算机生成的指示符融合在半透明屏幕上的视图的至少一部分中；在根据计算机生成的指示符的屏幕位置所确定的屏幕位置处将与至少一个兴趣点相关的计算机生成的虚拟对象融合在半透明屏幕上，该屏幕位置邻近半透明屏幕的底部边缘；以及融合用于指示计算机生成的虚拟对象和计算机生成的指示符之间的关系的视觉上可感知的关系指示。优选地，在融合在半透明屏幕上的计算机生成的虚拟对象的至少一部分被用户的手指或用户所持的设备重叠的情况下，移动设备可执行与至少一个兴趣点相关的动作。
根据第二方面，还提供了一种移动设备，该移动设备包括适用于提供真实环境的视图并且适用于表示视图中的兴趣点的半透明屏幕，以及被配置为在被提供在半透明屏幕上的真实环境的视图中显示兴趣点的处理设备。该处理设备被进一步配置为确定与真实环境相关的至少一个兴趣点；确定至少一个兴趣点相对于视图的位置；在根据至少一个兴趣点相对于视图的位置的屏幕位置处将计算机生成的指示符融合在半透明屏幕上的视图的至少一部分中；在根据计算机生成的指示符的屏幕位置所确定的屏幕位置处将与至少一个兴趣点相关的计算机生成的虚拟对象融合在半透明屏幕上，该屏幕位置邻近半透明屏幕的底部边缘；以及融合用于指示计算机生成的虚拟对象和计算机生成的指示符之间的关系的视觉上可感知的关系指示。优选地，该处理设备可被进一步配置为在融合在半透明屏幕上的计算机生成的虚拟对象的至少一部分被用户的手指或用户所持的设备重叠的情况下，执行与至少一个兴趣点相关的动作，诸如执行运行于移动设备上的与至少一个兴趣点相关的应用程序的功能或服务。
例如，半透明屏幕为头盔式显示器的一部分，特别是光学透视式头盔式显示器(HMD)的一部分。
下文相对于与被显示在移动设备的屏幕(诸如触摸屏)上的真实环境的视图中所表示的兴趣点相关的第一方面所述的本发明的方面和实施方案同样也可与利用移动设备的半透明屏幕上的真实环境的视图中所表示的兴趣点的第二方面结合应用。因此，本文所述的所有实施方案和方面可被组合并且与上述第一方面和第二方面两者的特征一起被应用。
根据另一方面，提供了一种包括软件代码段的计算机程序产品，该软件代码段适用于在被加载到移动设备的内部存储器中时如本文所述来执行根据本发明的方法。具体地，计算机程序产品为非暂态的。
根据本发明，提供了一种舒适用户交互和信息可视化的改进方式，其中改进的交互和可视化设计通常促成比较、探究和问题解决。本发明在对有关围绕特定真实环境中的用户的真实对象(例如，界标或建筑物)的信息进行检索、可视化以及与这些信息进行交互的过程中大大改善了用户体验。出于设计原理反馈、可视性和示能表示的考虑，本发明有助于开发一种解决方案：
移动设备可以是手持设备诸如移动电话或平板电脑。移动设备也可以是可穿戴设备诸如手表或眼镜。
相机可以是用于提供图像的任何捕获设备。并不限于用于提供RGB格式的彩色图像的相机。也可适用于任何其他颜色格式，并且也适用于单色图像，例如适用于提供灰度格式图像的相机。相机还可提供具有深度数据的图像。无需在与(彩色/灰度)图像相同的分辨率下提供深度数据。提供具有深度数据的图像的相机通常被称为RGB-D相机。该RGB-D相机系统可以是渡越时间(TOF)相机系统。在参考文献[4]中，Kolb等人给出了渡越时间相机传感器和应用程序的当前发展水平的概述。
移动设备的屏幕可具有平面多边形形状(诸如下面的附图中所示的屏幕)并且可以是触摸屏。屏幕可以是LCD屏幕或LED屏幕。
在光轴和屏幕的法向之间不必具有已知的空间关系。然而，可提供或确定光轴和屏幕的法向之间的空间关系。例如，相机的光轴具有固定的与屏幕的法向相同的方向或相反的方向。相机能够相对于屏幕旋转或平移。相机与屏幕之间的空间关系可由连接相机和/或屏幕的经编码的电机来测量。还可将定位传感器和/或取向传感器附接至相机和屏幕中的每一者以用于测量它们的空间关系。
至少一个兴趣点(POI)表示在真实环境中的位置或真实对象(例如，建筑物、界标、移动车辆)，并且可包括与位置或真实对象相关的数字内容。可提供与至少一个兴趣点相关的任何数字内容，诸如名称、描述、图像、视频或网址以及它们的组合。真实环境可为真实世界中的任何真实场景，诸如自然场景、室内环境场景或城市场景。真实环境包括一个或多个真实对象和/或位置。
至少一个兴趣点可在真实环境中具有已知位置。例如，建筑物或界标常常具有全局坐标系中的已知位置，该全局坐标系诸如具有地理位置坐标(例如，地理位置坐标可包括经度和纬度的2D坐标或经度、纬度和高度的3D坐标)和/或地址(例如，楼层、街道、邮政编码、国家)的坐标系。地址和全球位置可相互转换。另外，至少一个兴趣点可在真实环境中具有已知取向。
本文所述的方位描述了对象相对于坐标系或对象的位置和取向。
相对于真实环境的相机方位可使用一个或多个位置传感器或取向传感器来确定。例如，可采用全球定位系统(GPS)来确定捕获设备(相机)的全球位置，例如地理坐标，诸如经度和纬度的2D坐标或经度、纬度和高度的3D坐标。各种取向传感器诸如罗盘和/或重力传感器可测量相对于全局坐标系的取向。与使用各种光学、无线电和/或声学技术的系统一起，基于锚定点的已知位置的室内定位系统也可用于确定相机方位。
图像的相对于至少一个兴趣点的相机方位(即，在捕获图像时的相机方位)可基于至少一个POI的位置和相机相对于真实环境的位置例如全局坐标系来计算。
图像的相对于至少一个兴趣点的相机方位也可使用计算机视觉方法来计算。例如，如果与至少一个兴趣点相关联的真实对象在图像中可见并且具有已知几何尺寸，则相对于至少一个兴趣点的相机方位可根据真实对象上的3D点和真实对象在图像中的2D图像点之间的对应关系来确定。
至少一个POI在图像中的图像位置可基于图像相对于至少一个POI的相机方位来计算。例如，图像位置为至少一个POI或至少一个POI的一部分到相机的图像平面的投影。
至少一个POI的图像位置也可通过分析图像中的图像特征例如根据图像像素值或模板匹配来确定。例如，在真实对象的至少一部分在图像中可见的情况下，真实对象的至少一部分的图像区域可通过使真实对象的图像模板与图像或图像的一部分匹配来确定。然后，可将真实对象的至少一部分的图像区域内的任何一个或多个图像点选择作为至少一个兴趣点的图像位置。
由相机所捕获的图像可完全被显示并占据整个屏幕。也可仅显示图像的一部分。所显示的图像或图像的一部分也可占据屏幕的一部分而不是整个屏幕。
计算机生成的指示符(例如，在附图中所示的虚拟气球类似物或虚拟圆圈)可为任何计算机生成的视觉信息，诸如图标、点、字母或它们的组合。计算机生成的指示符可与图像的位于屏幕上至少一个兴趣点的图像位置处或靠近该图像位置(在该预先确定的距离内)的至少一部分重叠。
计算机生成的虚拟对象(例如，在附图中所示的矩形框)可为任何计算机生成的可视化对象，诸如图标、文本、附图、视频或它们的组合。计算机生成的虚拟对象与至少一个兴趣点相关。例如，计算机生成的虚拟对象可为至少一个兴趣点的注释、名称和/或描述。
根据一个实施方案，计算机生成的虚拟对象被显示在低于所显示的计算机生成的指示符的具体地沿屏幕上的竖直方向的屏幕位置处。
竖直方向可为与屏幕的底部边缘正交的方向。竖直方向也可通过将重力方向投影到屏幕平面来限定。
根据一个实施方案，视觉上可感知的关系指示为用于连接计算机生成的虚拟对象和计算机生成的指示符的计算机生成的线段。例如，线段沿着与屏幕的底部边缘正交的方向延伸。根据另一实施方案，线段可沿着通过将重力方向投影到屏幕平面而限定的方向延伸。
根据一个实施方案，当在屏幕上显示与多个兴趣点中的相应多个兴趣点相关的多个计算机生成的虚拟对象时，计算机生成的虚拟对象各自被放置在屏幕的底部或以上下堆叠方式放置。
根据一个实施方案，至少一个兴趣点根据至少一个兴趣点在真实环境中的位置和相机在捕获图像时在真实环境中的位置来确定。
根据另一实施方案，至少一个兴趣点在图像中的图像位置基于相机在捕获图像时相对于至少一个兴趣点的取向来确定。
根据另一实施方案，至少一个兴趣点和/或至少一个兴趣点的图像位置通过分析图像的至少一部分来确定。
根据一个实施方案，该方法还可包括以下步骤：将重力角度确定为重力方向与屏幕的法向之间的角度，以及在所确定的重力角度超过预先确定的阈值的情况下，在触摸屏上显示与至少一个兴趣点相关的虚拟视觉信息，并且不显示由相机所捕获的任何图像。
以上公开的示例描述了如何使用视频透视式设备来在真实环境的视图中表示兴趣点。例如，视频透视式设备包括屏幕和相机。由相机来捕获真实环境或真实环境的一部分作为图像。计算机生成的虚拟对象、计算机生成的指示符和图像的至少一部分在屏幕上向用户进行显示。
如上所述，本发明还可适用于使用光学透视式设备来表示真实环境的视图中的兴趣点。例如，光学透视式设备具有半透明屏幕，诸如半透明镜片或眼镜。人眼为用于捕获真实环境或真实环境的一部分的视图的捕获设备(相当于相机)。由眼睛所捕获的视图相当于由相机所捕获的图像。用户继而通过半透明屏幕查看融合在屏幕上的视图中的真实环境以及计算机生成的虚拟对象和计算机生成的指示符。
现将相对于附图来描述本发明的方面和实施方案，其中：
图1a示出了在查看户外景色时的本发明的实施方案，
图1b示出了在查看户外景色时的本发明的另一实施方案，
图2示出了在查看车辆的内部真实环境时的本发明的实施方案，
图3示出了具有矩形形状的显示设备诸如触摸屏的底部边缘的示例性确定的可视化，
图4示出了在移动设备的屏幕被定位成使得屏幕的法线平行于重力方向时的本发明的实施方案，
图5示出了设备的前进方向的示例性确定的可视化，
图6示出了设备的航向角的示例性确定的可视化，
图7a示出了根据移动设备诸如移动电话被保持在其竖直位置处的描述(左图)，以及被显示在移动设备的触摸屏上的示例性视图的描述(右图)，
图7b示出了根据移动设备诸如移动电话被以更自然的方式握持并从其竖直位置倾斜的描述(左图)，以及被显示在移动设备的触摸屏上的示例性视图的描述(右图)，
图8示出了在配备有相机的移动设备诸如移动电话的触摸屏上呈现一个或多个POI的本发明的实施方案的流程图，
图9示出了用于示出在触摸所显示的计算机生成的虚拟对象(诸如注释)时由移动设备所执行的动作的示例性触发的本发明的实施方案，
图10a示出了用于在头盔式显示器的半透明屏幕上的真实环境的视图中表示POI的现有技术的示例，
图10b示出了用于在头盔式显示器的半透明屏幕上的真实环境的视图中表示POI的本发明的实施方案，
在以下描述中，涉及对附图1-10b的描述，因为这样适合于描述本发明的各方面和实施方案。本文所述的所有示例和实施方案可同样适用于附图1-9所示的装置或图10b所示的装置。因此，在涉及在图1-9的实施方案中向用户显示图像时，其可被在应用于图10b所示的实施方案的情况下的视图(用户通过半透明屏幕所捕获的视图)所替代。
本发明最适于用于与移动设备例如手持设备诸如智能电话或平板电脑一起使用。
根据第一实施方案，出于本发明的目的，移动设备诸如图1a的移动设备1a01包括适于捕获真实环境或真实环境的一部分的图像的相机。相机未在附图中明确示出，但可被设置在移动设备的背侧，诸如对于移动电话在本领域中所已知的，并且在图1a和图7a中利用指示相机的参考标号1a08来表示。移动设备1a01还包括触摸屏1a02，该触摸屏能够在触摸屏的至少一部分上显示图像的至少一部分。移动设备1a01还包括处理设备，诸如本领域中常用的微处理器和相关联的电路，并且由于它们在移动设备的内部，因此在附图中未示出。在图1a中，内部处理设备利用参考标号1a09来表示。
除了本领域中常常使用和应用的其他任务，对于本发明，处理设备1a09被配置为在真实环境的视图被显示在触摸屏1a02上时显示图像和真实环境的图像中的兴趣点。处理设备1a09被进一步配置为结合本发明来执行本文所述的任务和步骤，诸如参考图8所述的步骤。
图1a和图1b示出了在配备有相机的移动设备诸如移动电话的屏幕上呈现一个或多个POI的实施方案。屏幕为触摸屏并且具有矩形形状。相机的光轴具有与屏幕的法向相反并平行于或大致平行于屏幕的法向的方向。如通常在本领域中所已知的，当屏幕面朝上时，屏幕的法向指向上方。本移动电话还配备有GPS传感器、重力传感器和罗盘传感器。
图8示出了用于在具有与用户进行交互的功能的移动设备上所显示的触摸屏上的真实环境的视图中显示兴趣点的方法的实施方案的流程图。
在第一步骤8001中，由移动设备的相机捕获真实环境的图像，并且在触摸屏上显示图像的至少一部分。下一步骤8002包括例如从GPS传感器中获取移动设备在真实环境中的位置。步骤8003确定移动设备在真实环境中的前进方向，例如根据来自罗盘传感器的数据(如下文所详述的)。步骤8004利用他们在真实环境中的位置来提供POI。POI可被存储在远程服务器或移动设备上。步骤8005从所提供的POI中选择相关的POI。相关的POI是被显示在真实环境的视图中的可能相关的POI。步骤8006从相关的POI中选择增强的POI。增强的POI是需要利用附加信息诸如图形对象、名称等增强的POI。步骤8007确定相关的POI在图像中的图像位置。
在步骤8008中，相关的POI的计算机生成的指示符(图1a:1a04；这里：圆圈)在触摸屏上的屏幕位置根据相关的POI的图像位置来确定。计算机生成的指示符旨在指示在该指示符内或附近的区域中的相关联的POI，并且为此可具有图形元件的任何合适的形状。例如，POI可在真实环境的视图中所示的相应显示的圆圈1a04的中心中(或后面)。
步骤8009在相邻于触摸屏的底部的屏幕位置处显示针对至少一个增强的POI的计算机生成的虚拟对象(图1a:1a05；这里：矩形)。计算机生成的虚拟对象1a05旨在提供如下文所详述的用户交互功能。如下文进一步详述的，计算机生成的虚拟对象1a05的屏幕位置根据对应的计算机生成的指示符1a04的屏幕位置来确定。在步骤8010中，将计算机生成的指示符1a04被重叠到触摸屏上的图像的至少一部分。步骤8011在触摸屏上显示连接计算机生成的虚拟对象1a05和对应的计算机生成的指示符1a04的视觉上可感知的关系指示(图1a:1a06；这里：线段)。这样，向用户指示通过按压或触摸计算机生成的虚拟对象1a05，移动设备可执行与对应的兴趣点相关的动作。用户可触摸触摸屏上的计算机生成的虚拟对象1a05的至少一部分，以触发移动设备的动作(步骤8012)，诸如在相对于图9的示例中所述的。
被显示在触摸屏上的计算机生成的虚拟对象1a05优选地被显示在邻近屏幕的底部边缘的屏幕位置上(参见图1a中的作为屏幕1a02的底部边缘的屏幕边界1a07)。计算机生成的虚拟对象1a05的屏幕位置根据计算机生成的指示符1a04的屏幕位置来确定。例如，如果计算机生成的指示符1a04的屏幕位置根据移动设备的动作和所显示得视图移动到左侧，则计算机生成的虚拟对象1a05也相应地转移到左侧。这可通过以下方式来完成，例如如本文所述的并且在计算机生成的指示符1a04移动的情况下，计算机生成的虚拟对象1a05被竖直地显示在计算机生成的指示符1a04下方。
为了确定屏幕的底部边缘或底部，可首先确定屏幕的下边缘。如果边缘的至少一部分在屏幕的边缘间具有距地平面的最短距离，则可将屏幕的边缘确定为屏幕的下边缘。在这种情况下，如果下边缘相对于重力方向的角度在所有下边缘相对于重力方向的角度间为最小角度，则将屏幕的下边缘确定为屏幕的底部边缘或底部。
根据图3，示例性屏幕3001具有矩形形状并且具有四个边缘3002,3003,3004和3005。参考标号3010示出了相对于图3中的屏幕3001的重力方向G。边缘3004和3005两者具有部分(这里：拐角3020)，该部分在屏幕3001的边缘间具有距地平面的最短距离。边缘3005相对于重力方向3010的角度为角度α，并且边缘3004相对于重力方向3010的角度为角度δ。在该示例中，角度α小于角度δ，因此边缘3005被确定为屏幕3001的底部边缘。
如果存在满足底部边缘的标准的多于一个边缘候选，则可将作为最近上一个屏幕位置中的底部边缘的边缘候选确定为底部边缘。如果没有边缘候选是最近上一个屏幕位置中的底部边缘，则可将任何边缘候选选择为底部边缘。如果屏幕平面与重力方向正交，则屏幕的底部边缘为不确定的并且不存在底部边缘。
根据一个实施方案，计算机生成的虚拟对象(诸如1a05)被显示在屏幕位置处，使得沿竖直方向通过计算机生成的指示符(诸如1a04)的线段(诸如1a06)与屏幕上的计算机生成的虚拟对象相交。
通过屏幕上的视觉上可感知的关系指示，计算机生成的虚拟对象和计算机生成的指示符为相关的。例如，(如虚或实)线，诸如图1a、1b中的线段1a06,1b06和图2中的2006可被绘制成通过屏幕上相应的计算机生成的虚拟对象和计算机生成的指示符。
可通过触摸屏幕上的计算机生成的虚拟对象(诸如1a05,1b05,2005)来触发由移动设备所执行的动作。这可例如通过手指触摸显示器的相应区域中的触摸屏来实现。触发动作可使有关相关的至少一个兴趣点的网页、视频和/或任何详细信息显示在屏幕上。该动作也可产生某个声音例如音乐。
触摸屏的法向被限定为垂直于屏幕平面并朝向屏幕正面的方向。重力方向被限定为沿着重力并朝向地球的方向。屏幕的重力角度为介于重力方向和平面的法向之间的角度。当竖直握持屏幕时，重力角度例如为约90度。当水平握持屏幕时，重力角度例如为约180度。
重力角度可通过与移动设备相关联的重力传感器来确定。重力角度也可通过使用相机捕获具有相对于重力的已知取向的真实对象来确定。
如果重力角度超过预先确定的阈值，则与至少一个兴趣点相关的虚拟视觉信息可被显示在屏幕上，并且由相机捕获的任何图像不被显示。就这一点而言，图4示出了一个实施方案，其中计算机生成的虚拟对象(例如，4001)和与计算机生成的虚拟对象相关的计算机生成的指示符(例如，4002)诸如方向指示符被显示在屏幕4010上。虚拟视觉信息包括计算机生成的虚拟对象4001或类似物并且还可包括用于指示从移动设备到至少一个兴趣点的方向的信息，如图4中由相应方向指示符所示出的。方向可基于移动设备配备的罗盘设备或基于由相机所捕获的图像来计算。
根据一个实施方案，POI被存储在远离移动设备并与之分开的服务器上。移动设备可通过无线网络与服务器进行通信。服务器还存储与POI相关联的信息，诸如位置、名称、描述、图像和补充信息。POI的位置可具有带有纬度和经度的2D坐标，该2D坐标确定它们在地球表面上的相应位置，即相对于真实环境的位置。在由POI所表示的大多数真实对象位于地球表面上时，使用纬度和经度是很合理的。然而，还可将具有经度、纬度和高度的3D坐标用于本发明。这对于表示被定位在地面上方例如高山上的POI是特别有用的。
然而，应注意，有关上述POI的所有信息也可被存储在移动设备上。在这种情况下，移动设备不必与服务器进行通信并从服务器获取POI和相关信息。
真实环境或真实环境的一部分的图像由相机来捕获。例如，移动设备的地理位置从相关联的GPS传感器中获取。可将地理位置用作在真实环境中的图像的相机位置(即，在捕获图像时的相机位置)。在移动设备由站立在地球表面上的用户进行定位的情况下，使用纬度坐标和经度坐标是很合理的。
移动设备的前进方向限定地平面内的方向并且可从罗盘传感器中读取。例如，参考图5，移动设备5001的前进方向5003可通过沿着由法向和屏幕的Y轴所限定的平面将屏幕5002的法向的相反方向投影到地平面5004上来确定。移动设备的航向角可被限定为介于前进方向和从移动设备向参照系诸如北的方向之间的角度。例如，根据图6，移动设备6001的航向角β6004为介于前进方向6002和向北的方向6003之间的角度。
根据一个实施方案，从诸如存储在服务器上的POI中选择与呗显示在移动设备的触摸屏上的图像相关的POI(参见图8的步骤8005)。为此，移动设备可将其地理位置发送至服务器。服务器计算POI或POI的一部分距移动设备之间的距离。POI的方向由从移动设备的地理位置指向相应POI的位置的方向来确定。POI的方向角为POI相对于参照系诸如北的方向的角度。
例如，从多个POI中基于它们距移动设备的距离(在真实世界中)和/或移动设备的航向角和它们的方向角度之间的角度差来选择POI作为相关的POI。例如，仅选择其距移动设备的距离小于特定阈值的POI。气球类似物或圆圈1b08和1b04指示所选择的相关的POI(见图1b)。根据一个实施方案，相关的POI将由屏幕上的计算机生成的指示符来表示。
为了选择的相关POI，还可将POI或POI的一部分以及相关联的信息从服务器发送至移动设备，并且在移动设备上执行任何选择操作。
在进一步的过程中，计算相关的POI在图像中的图像位置(参见图8的步骤8007)。在一个实施方案中，可从位于相机的图像平面和从POI到相机的线之间的交叉点获取图像位置。然后，根据一个实施方案，计算机生成的指示符例如气球类似物或圆圈1b04和1b08与屏幕上的相关的POI的图像位置处的图像重叠(参见图1b)。计算机生成的指示符可以是2D模型或3D模型。
在存在大量相关的POI的情况下，为了避免屏幕上的视觉信息过载，优选的是显示针对有限数量的相关的POI的附加信息。
另外，在相关的POI间将一个或多个POI确定为增强的POI(参见步骤8006)并且分别与增强的POI相关的计算机生成的虚拟对象被显示在屏幕上(参见步骤8009)。例如，在相关的POI间，如果它们在它们到移动设备的方向与移动设备的前进方向之间具有最小角度，则可选择增强的POI。可基于移动设备的航向角和相关的POI的方向角度来计算角度。在图1b中，气球类似物或圆圈1b04指示此类增强的POI。
另外，生成并显示针对增强的POI的计算机生成的虚拟对象。增强的POI可具有一个或多个计算机生成的虚拟对象。在图1b所示的一个示例中，计算机生成的虚拟对象为包括增强的POIs 1b04的名称和真实世界中的移动设备与增强的POI之间的距离的注释1b05。计算机生成的虚拟对象还可包含有关POI的图像信息。
在本实施方案中，每个注释由矩形框来表示。对于介于10cm和15cm(对角线)之间的屏幕尺寸，增强的POI的最大数量优选的是三个，其动机在于减少增强的现实(AR)场景混乱并使用户的注意力集中于AR体验本身。因此，利用计算机生成的虚拟对象，例如可通过注释以非遮挡方式来提供针对POI的附加信息。
注释即通常为计算机生成的虚拟对象应优选地被定位在触摸屏上的使得注释将对屏幕上的图像信息不造成任何障碍的位置处。现代触摸屏允许用户触摸屏幕上的注释以触发与相应POI相关的一个或多个动作。因此，注释的放置还应在用户手持移动设备的情况下允许用户的手指能够很容易触及到它们。
本文所涉及的现有技术暗示将注释放置在屏幕上的POI的图像位置处。POI的图像位置取决于相对于POI的相应相机方位。这意味着POI的图像位置取决于用户所持的移动设备的取向。在大多数情况下，POI和移动设备位于地球表面上。因此，在竖直握持移动设备的情况下，即在移动设备7a01的屏幕的法线7a02垂直于重力方向7010的情况下，POI的图像位置通常在大致处于图像中间的水平线处(参见图7a的右图描述)。在该示例中，气球类似物7a05(具有注释7a06)大致围绕移动设备7a01的屏幕中间的水平线而被显示。
另一方面，根据本发明的实施方案，在移动设备被以更自然的方式握持并从其竖直位置倾斜的情况下，即在移动设备7b01的屏幕的法线7b02与重力方向7010之间成钝角的情况下，POI的图像位置在处于图像中间上方的水平线处(参见图7b的右图描述)。在该示例中，气球类似物(通常为指示符)7b05被显示在移动设备7b01的屏幕的上部区域中，而注释7b06(通常为虚拟对象)仍在屏幕的底部处被显示。通过该示例中，本发明所实现的在舒适用户交互和信息可视化方面的改善是显而易见的，因为用户的手的拇指仍可舒适地触摸用于触发与移动设备的交互的注释7b06。
在大多数情况下，用户通常更倾向于倾斜地而不是竖直地握持移动设备。倾斜地握持设备对于用户触摸被显示在屏幕中间或上部区域的POI的注释带来了问题。例如，在手持移动设备并且手的拇指触摸POI的情况下，拇指可能遮挡被显示在屏幕上的图像信息。例如，如参考文献[1,2,7]中所公开的，对于手持式移动设备诸如电话和平板电脑，拇指触及到其屏幕的上部区域将不太舒适。
如上所述，根据本发明的改进由如下方式来产生：将指示符放置在POI的图像位置处或其附近以指示显示器上的POI，并且将针对POI相关用户交互的相关的计算机生成的虚拟对象诸如POI下方的注释放置在例如远离POI的图像位置的屏幕的底部。这优化了POI的可视性和可访问性及其相关联的功能。这对用户使用一只手握持移动设备并使用同一只手的拇指来触摸与屏幕上的POI相关的计算机生成的虚拟对象以便进行任何用户交互的情况是特别有益的。通常，如参考文献[1,2,7]中所公开的，屏幕的底部区域是舒适或容易触及的区域，并且拇指在触摸底部区域时将不遮挡主要图像信息。
如附图的实施方案中所示的，注释低于针对屏幕上的POI的相应所显示的计算机生成的指示符而被显示。具体地，优选的是注释邻近屏幕的底部而被显示。被显示在屏幕上的注释可能不直接接触屏幕的底部，而是距屏幕的底部具有小间隙。可根据屏幕的显示区域来限定小间隙的区域。例如，小间隙的高度(即，屏幕的底部与注释的下边界之间的距离)被限定为小于屏幕的底部与屏幕的顶部之间的高度的约1/10。
此外，当存在多于一个注释有待显示的情况下，注释可各自被放置在屏幕的底部上，或以堆叠模式放置，即一个注释被放置在另一个注释上方(参见图7a和7b)。可根据对应的POI的指示符的屏幕位置来进一步确定注释的屏幕位置。
根据一个实施方案，在屏幕位置处显示注释使得沿与屏幕的底部边缘正交的方向通过对应指示符的线与屏幕上的注释相交。
为了使用户能够在视觉上感知所显示的注释与增强的POI之间的关系，可在屏幕上绘制线段以连接注释和与同一个增强的POI相关的指示。
用户可触摸被显示在屏幕上的注释或注释的一部分以触发动作例如显示有关与所触摸的注释相关的对应POI的网页、视频或完整描述。图9示出了通过触摸注释来触发动作的实施方案。参考标号9001示出了根据本发明的实施方案的与真实环境的图像重叠的注释和指示符的AR视图。9004指示由用户的拇指所触摸的在POI“玛利亚广场”的注释9005上的触摸点，其与指示符9006相关联。该触摸触发在屏幕的顶部显示POI“玛利亚广场”的描述9007的动作，如视图9002所示的。用户可在触摸点9008处进一步触摸屏幕。然后，该触摸可进一步触发显示到POI“玛利亚广场”的物理位置的路线的动作，这里如与图9003中的相机图像重叠的短划线9009所示的。短划线在POI的位置处结束。
根据一个实施方案，在基于移动设备的前进方向来选择增强的POI时，用户可将移动设备旋转至不同的前进方向，以便选择使其不同注释被显示在屏幕底部的POI。例如，参考图1b，可向左旋转移动设备，使得针对三个指示符(左侧)1b08的注释被显示，并且针对指示符1b04的当前显示的注释1b05消失。因此，在当前上下文中，无需附加(触摸)用户输入来选择用户周围的POI。
如果仅倾斜屏幕例如移动设备而不改变其前进方向，指示符的图像位置将相应地变化，但所显示的注释将被保持在屏幕上的基本相同的位置处(见图7a和7b)。这改善了将POI信息与被显示在用户所持移动设备的屏幕上的真实环境的图像重叠的可用性。这说明了一个事实：由一只手或两只手握持移动设备的舒适方式在大多数情况下通常为倾斜握持而非竖直握持。
当移动设备移动至另一前进方向并捕获第二图像时，指示符在第二图像中的图像位置将相应地改变并且注释也将根据指示符在原始(第一)图像与第二图像中的图像位置之间的变化在屏幕上移动。
此外，根据一个实施方案，雷达视图可被显示在屏幕上。相关的POI或它们中的一些POI以及移动设备可根据它们在真实环境中的位置和取向在雷达视图中被显示。
屏幕的重力角度即重力方向与屏幕的法向之间的角度可由与移动设备相关联的重力传感器来确定。例如，如果屏幕的重力角度超过预先确定的阈值，则与相关的POI或它们的一部分相关的信息被显示在屏幕上，而由相机捕获的任何图像不被显示。基于POI和移动设备之间的相对位置和方向来确定被存储在服务器上的POI间的相关的POI。
POI的信息可为包括图像或文本信息或类似信息的矩形框(例如，4001)，并且还可包括从移动设备到POI的方向信息。可基于作为移动设备的一部分的罗盘设备来计算方向。当屏幕水平放置时，表示POI的一系列矩形框被显示在屏幕上，如图4所示，即一个框被放置在另一个框上方。每个框(例如，4001)可具有用于指示到由该框所表示的POI的真实位置的方向的方向指示符(例如，4002)。
在以上示例中，由POI所表示的真实对象无需在相机图像中可见。POI的图像位置可基于在通用坐标系例如全局坐标系中的POI的已知位置和相机的方位来计算。
为了将有关路径的信息重叠到图像中的POI，用户可选择用于显示导向到所选择的POI的物理位置的虚拟路径的选项。虚拟路径在相应框架中可被绘制为重叠在相机图像上的曲线。线始于当前用户位置并且结束于POI的位置。
又如，POI的图像位置可通过分析相机图像中的图像特征来确定。这需要由POI所表示的真实对象在相机图像中可见。任何已知的图像模板匹配方法可用于利用真实对象的一个或多个图像模板来检测图像中的真实对象。
根据本发明的另一个实施方案，图2示出了与移动设备的屏幕上的车辆的控制面板的图像重叠的计算机生成的虚拟对象(这里：注释)。图像由移动设备的相机捕获。可基于通过将图像的至少一部分和可视化模板进行比较的可视化模板匹配来检测图像中的控制面板的若干个对象。例如，可视化模板被存储在经由无线连接将模板发送至移动设备的服务器上。可视化模板也可被存储在移动设备上。在本发明的上下文中，控制面板上的一些对象是兴趣点。
例如，计算机生成的指示符(这里：圆圈)2004被定位在相应的图像位置处，以指示POI在图像中的位置。示出POI名称的计算机生成的虚拟对象(这里：注释)2005被显示在下方并利用线2006连接至圆圈。在该示例中，并非每个POI均通过注释进行增强，使得例如圆圈2011不具有相关联的以及所显示的注释。确定被显示在图像中的POI间的增强的POI可基于它们的图像位置或手动地进行。例如，可将图像位置靠近或位于图像中间处的POI选择为增强的POI。
本发明所公开的方法还可适用于使用移动设备诸如光学透视式设备来表示真实环境的视图中的兴趣点。例如，光学透视式设备包括具有半透明屏幕的头盔式显示器。人眼为用于捕获真实环境或真实环境的一部分的视图的捕获设备(相当于相机)。由眼睛所捕获的视图相当于如上所述的相机所捕获的图像。用户继而通过半透明屏幕查看融合于在半透明屏幕上的视图中的真实环境以及计算机生成的虚拟对象和计算机生成的指示符。
头盔式显示器还可配备有位置传感器(诸如GPS)和取向传感器(诸如罗盘传感器)。位置传感器可确定视图的观察点相对于真实环境的位置。取向传感器可确定视图相对于真实环境的视图取向。可提供至少一个兴趣点相对于真实环境的位置。至少一个兴趣点相对于视图的位置可根据观察点的位置、视图取向和至少一个兴趣点的位置来确定。
根据一个实施方案，头盔式显示器可配备有相机。至少一个兴趣点相对于视图的位置也可根据相机所捕获的真实环境的至少一部分中的一个或多个图像来确定。
计算机生成的指示符(例如，气球类似物)可在根据至少一个兴趣点相对于视图的位置的屏幕位置处融合在半透明屏幕上的视图的至少一部分中。
与至少一个兴趣点相关的计算机生成的虚拟对象(例如，注释)在根据计算机生成的指示符的屏幕位置所确定的并且邻近半透明屏幕的底部边缘的屏幕位置处融合在半透明屏幕上。
例如，计算机生成的虚拟对象和计算机生成的指示符之间的线段融合在半透明屏幕上。
如果融合在半透明屏幕上的计算机生成的虚拟对象的至少一部分被用户的手指或用户所持的设备重叠，则头盔式显示器执行与至少一个兴趣点相关的动作。这需要检测用户的手指或用户所持的设备相对于半透明屏幕的位置，即确定用户的手指或用户所持的设备在半透明屏幕上的屏幕位置。
在一个实施方案中，位置传感器可附接至用户的手指或用户所持的设备，以确定用户的手指或用户所持的设备的屏幕位置。位置传感器可以是例如但不限于GPS和加速度计。
在另一个实施方案中，头盔式显示器的相机可用于检测用户的手指或用户所持的设备。用户的手指或用户所持的设备的图像位置可基于图像进行检测。相机可具有相对于半透明屏幕的已知位置。因此，用户的手指或用户所持的设备在半透明屏幕上的屏幕位置可根据其在图像中的图像位置来确定。
图10a和10b示出了通过头盔式显示器10a03的半透明屏幕10a02查看真实环境的视图10a01以及融合在半透明屏幕10a02上的视图10a01中的与POI相关的气球类似物10a11,10a12或10a13和注释10a21,10a22或10a23的用户10a04。
图10a示出了用于在头盔式显示器10a03的半透明屏幕10a02上的真实环境的视图10a01中表示三个POI的现有技术的示例。头盔式显示器10a03由用户10a04穿戴。在该实施方案中，三个POI具有相关联的指示符(即，气球类似物)10a11,10a12或10a13和注释10a21,10a22或10a23。对于三个POI中的每个POI，对应的气球类似物和注释融合在视图中的相同位置处。
用户10a04不得不向上移动他的手10a06，使得用户的手指可与融合在半透明屏幕10a02上的视图中的注释10a23重叠，以便与对应POI进行交互，诸如触发运行在头盔式显示器10a03上的与对应POI相关的程序。一个问题在于用户的手10a06遮挡视图的特定部分。另外，用户的手移动至太高位置对用户来说不太舒适。
图10b示出了用于在头盔式显示器10a03的半透明屏幕10a02上的真实环境的视图10a01中表示三个POI的本发明的实施方案。类似于上述与移动设备的触摸屏相关的其他实施方案，头盔式显示器10a03还包括处理设备，诸如本领域中常用的微处理器和相关电路，并且由于它们在设备的内部，因此在附图中未示出。在图10b中，内部处理设备利用参考标号10a09来表示。
除了本领域中常常使用和应用的其他任务，参照本发明，处理设备10a09被配置为显示头盔式显示器10a03的半透明屏幕10a02上的兴趣点，即被提供在半透明屏幕上的真实环境的视图中的兴趣点。处理设备10a09被进一步配置为结合本发明来执行本文所述的任务和步骤，诸如参考图8所述的步骤或类似于这些步骤。
POI具有融合在半透明屏幕上的其对应的注释10a21、10a22和10a23并且注释10a23邻近屏幕的底部边缘10a05，而对应的指示符(气球类似物)10a11、10a12和10a13融合在POI的位置处的半透明屏幕上。气球类似物和注释由融合在半透明屏幕上的线连接。用户10a04可移动其手10a06，使得用户的手指可与融合在视图中的注释10a23重叠，以便在不遮挡视图10a01的情况下与对应POI进行交互。该移动不同于图10a所示的移动并且更为有利，因为用户足以使他的手保持在视图中的较低位置，以便与对应的POI进行交互，这样不遮挡视图。另外，对于用户来说更自然地(特别是不像图10a中那么高地)移动其手将更为舒适。
参考文献：
1.http://blog.utest.com/how-mobile-users-hold-devices/2013/03/
2.http://www.uxmatters.com/mt/archives/2013/02/how-do-users-really- hold-mobile-devices.php
3.Du Preez,Victor,et al.“Human-computer interaction on touch screentablets for highly interactive computational simulations.”Proc.InternationalConference on Human-Computer Interaction.2011.
4.Andreas Kolb,Erhardt Barth,Reinhard Koch,Rasmus Larsen:Time-of-Flight Sensors in Computer Graphics.Eurographics 2009.
5.Yovchevaa et al.,Overview of Smartphone AugmentedRealityApplications for Tourism http://ertr.tamu.edu/files/2012/11/eRTR_SI_ V10i2_Yovcheva_Buhal is_Gatzidis_63-66.pdf
6.Grasset,Raphael,et al.“Image-driven view management for augmentedreality browsers.”Mixed and Augmented Reality(ISMAR),2012 IEEE InternationalSymposium on.IEEE,2012.
7.http://www.lukew.com/ff/entry.asp？1649
8.US 2012/0113138 A1
9.US 2012/0075341 A1
10.US 2012/0176410 A1
11.Rose,Eric,et al.“Annotating real-world objects using augmentedreality.”Computer graphics:developments in virtual environments,AcademicPress Ltd.,London,UK(1995).

Claims (23)

1.一种用于在移动设备的显示屏上的真实环境的视图中表示兴趣点的设备，包括：
用于从相机获取真实环境的图像的装置；
用于确定与所述真实环境相关的至少一个兴趣点的装置；
用于确定所述至少一个兴趣点在所述图像中的图像位置的装置；
用于在所述显示屏的至少一部分上显示所述图像的至少一部分的装置；
用于在根据所述至少一个兴趣点的所述图像位置的屏幕位置处将针对所述至少一个兴趣点中的每一个的计算机生成的指示符与所述显示屏上的所述图像的所述至少一部分重叠的装置；和
用于在根据所述计算机生成的指示符的所述屏幕位置所确定的屏幕位置处将针对所述至少一个兴趣点中的每一个的计算机生成的虚拟对象显示在所述显示屏上的装置，其中针对所述至少一个兴趣点中的每一个的所述计算机生成的虚拟对象包括关于所述至少一个兴趣点的信息，
其中所述至少一个兴趣点的所述图像位置的变化触发对应的所述计算机生成的指示符的所述屏幕位置的第一变化和对应的所述计算机生成的虚拟对象的所述屏幕位置的第二变化。
2.根据权利要求1所述的设备，其中所述虚拟对象邻近所述显示屏的底部边缘被显示。
3.根据权利要求1所述的设备，还包括：
用于检测计算机生成的虚拟对象处的输入的装置；
用于响应于检测到所述计算机生成的虚拟对象处的输入来执行与所述至少一个兴趣点相关的动作的装置，所述至少一个兴趣点与所述计算机生成的虚拟对象相关联。
4.根据权利要求1所述的设备，还包括：
用于显示指示所述计算机生成的虚拟对象与所述计算机生成的指示符之间的关系的视觉上可感知的关系指示的装置。
5.根据权利要求4所述的设备，其中所述视觉上可感知的关系指示为用于连接所述计算机生成的虚拟对象和所述计算机生成的指示符的计算机生成的线段。
6.根据权利要求5所述的设备，其中所述线段沿着与所述显示屏的底部边缘正交的方向延伸。
7.根据权利要求5所述的设备，其中所述线段沿着通过将重力方向投影到所述显示屏的平面而限定的方向延伸。
8.根据权利要求1所述的设备，其中当在所述显示屏上显示与多个兴趣点中的相应多个兴趣点相关的多个计算机生成的虚拟对象时，所述计算机生成的虚拟对象各自以上下堆叠方式放置。
9.根据权利要求1所述的设备，其中所述计算机生成的虚拟对象包括所述至少一个兴趣点的图标、图形对象、文本、附图、视频、注释、名称和描述中的至少一者或它们的组合。
10.根据权利要求1所述的设备，其中所述至少一个兴趣点根据所述至少一个兴趣点在所述真实环境中的位置和所述相机在捕获所述图像时在所述真实环境中的位置来确定。
11.根据权利要求1所述的设备，其中所述至少一个兴趣点在所述图像中的所述图像位置基于所述相机在捕获所述图像时相对于所述至少一个兴趣点的取向来确定。
12.根据权利要求1所述的设备，其中所述至少一个兴趣点和所述至少一个兴趣点的所述图像位置通过分析所述图像的所述至少一部分来确定。
13.根据权利要求1所述的设备，还包括：
用于确定重力方向与所述显示屏的法向之间的重力角度的装置；和
用于在所确定的重力角度超过预先确定的阈值的情况下在所述显示屏上显示与所述至少一个兴趣点相关的虚拟视觉信息的装置。
14.根据权利要求1所述的设备，其中当所述显示屏仅从所述设备的竖直位置倾斜而没有改变所述设备的前进方向时，所述至少一个兴趣点的所述图像位置的变化不触发对应的所述计算机生成的虚拟对象的所述屏幕位置的所述第二变化。
15.一种用于在移动设备的半透明屏幕上的真实环境的视图中表示兴趣点的方法，包括：
确定与所述真实环境相关的至少一个兴趣点；
确定所述至少一个兴趣点相对于所述视图的位置；
在根据所述至少一个兴趣点相对于所述视图的所述位置的屏幕位置处将针对所述至少一个兴趣点中的每一个的计算机生成的指示符融合在所述半透明屏幕上的所述视图的至少一部分中；
在根据所述计算机生成的指示符的所述屏幕位置所确定的屏幕位置处将针对所述至少一个兴趣点中的每一个的计算机生成的虚拟对象融合在所述半透明屏幕上，其中针对所述至少一个兴趣点中的每一个的所述计算机生成的虚拟对象包括关于所述至少一个兴趣点的信息；
融合指示所述计算机生成的虚拟对象和所述计算机生成的指示符之间的关系的视觉上可感知的关系指示；
确定所述至少一个兴趣点的变化；以及
响应于确定所述至少一个兴趣点的变化，引起对应的所述计算机生成的指示符的所述屏幕位置的第一变化和对应的所述计算机生成的虚拟对象的所述屏幕位置的第二变化。
16.根据权利要求15所述的方法，还包括：
接收所述计算机生成的虚拟对象处的输入；以及
响应于所接收到的输入，由所述移动设备来执行与所述至少一个兴趣点相关的动作，所述至少一个兴趣点与所述计算机生成的虚拟对象相关联。
17.根据权利要求15所述的方法，其中所述虚拟对象邻近所述半透明屏幕的底部边缘被显示。
18.根据权利要求15所述的方法，其中当在所述屏幕上融合与多个兴趣点中的相应多个兴趣点相关的多个计算机生成的虚拟对象时，所述计算机生成的虚拟对象各自以上下堆叠方式放置。
19.根据权利要求15所述的方法，其中所述至少一个兴趣点相对于所述视图的所述位置基于所述移动设备相对于所述至少一个兴趣点的取向来确定。
20.根据权利要求15所述的方法，其中当所述屏幕仅从所述移动设备的竖直位置倾斜而没有改变所述移动设备的前进方向时，所述至少一个兴趣点的所述图像位置的变化不触发对应的所述计算机生成的虚拟对象的所述屏幕位置的所述第二变化。
21.一种移动设备，包括：
相机；
显示屏；
一个或多个处理器；和
存储器，所述存储器包括能够由所述一个或多个处理器执行以进行以下操作的计算机代码：
确定在图像中的与真实环境相关的至少一个兴趣点，
确定所述至少一个兴趣点在所述图像中的图像位置，
在所述显示屏的至少一部分上显示所述图像的至少一部分，
在根据所述至少一个兴趣点的所述图像位置的屏幕位置处将针对所述至少一个兴趣点中的每一个的计算机生成的指示符与所述显示屏上的所述图像的所述至少一部分重叠，以及
在根据所述计算机生成的指示符的所述屏幕位置所确定的屏幕位置处将针对所述至少一个兴趣点中的每一个的计算机生成的虚拟对象显示在所述显示屏上，其中针对所述至少一个兴趣点中的每一个的所述计算机生成的虚拟对象包括关于所述至少一个兴趣点的信息，以及
其中所述至少一个兴趣点的所述图像位置的变化触发对应的所述计算机生成的指示符的所述屏幕位置的第一变化和对应的所述计算机生成的虚拟对象的所述屏幕位置的第二变化。
22.根据权利要求21所述的移动设备，其中所述存储器进一步包括计算机代码，所述计算机代码在被执行时使得一个或多个处理器：
检测计算机生成的虚拟对象处的输入；以及
响应于所检测到的输入，执行与所述至少一个兴趣点相关的动作，
所述至少一个兴趣点与所述计算机生成的虚拟对象相关联。
23.根据权利要求21所述的移动设备，其中当所述屏幕仅从所述移动设备的竖直位置倾斜而没有改变所述移动设备的前进方向时，所述至少一个兴趣点的所述图像位置的变化不触发对应的所述计算机生成的虚拟对象的所述屏幕位置的所述第二变化。
CN201380080463.7A 2013-09-24 2013-09-24 用于在移动设备上的真实环境的视图中表示兴趣点的方法以及用于此方法的移动设备 Ceased CN105659295B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910679334.9A CN110379019A (zh) 2013-09-24 2013-09-24 在真实环境的视图中表示兴趣点的方法以及移动设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/EP2013/069844 WO2015043620A1 (en) 2013-09-24 2013-09-24 Method for representing points of interest in a view of a real environment on a mobile device and mobile device therefor

Related Child Applications (1)

Application Number Title Priority Date Filing Date
CN201910679334.9A Division CN110379019A (zh) 2013-09-24 2013-09-24 在真实环境的视图中表示兴趣点的方法以及移动设备

Publications (2)

Publication Number Publication Date
CN105659295A CN105659295A (zh) 2016-06-08
CN105659295B true CN105659295B (zh) 2019-07-26

Family

ID=49304906

Family Applications (2)

Application Number Title Priority Date Filing Date
CN201380080463.7A Ceased CN105659295B (zh) 2013-09-24 2013-09-24 用于在移动设备上的真实环境的视图中表示兴趣点的方法以及用于此方法的移动设备
CN201910679334.9A Pending CN110379019A (zh) 2013-09-24 2013-09-24 在真实环境的视图中表示兴趣点的方法以及移动设备

Family Applications After (1)

Application Number Title Priority Date Filing Date
CN201910679334.9A Pending CN110379019A (zh) 2013-09-24 2013-09-24 在真实环境的视图中表示兴趣点的方法以及移动设备

Country Status (6)

Country Link
US (3) US9646422B2 (zh)
EP (2) EP3742405A3 (zh)
KR (1) KR101817452B1 (zh)
CN (2) CN105659295B (zh)
AU (3) AU2013401486A1 (zh)
WO (1) WO2015043620A1 (zh)

Families Citing this family (51)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102009037835B4 (de) 2009-08-18 2012-12-06 Metaio Gmbh Verfahren zur Darstellung von virtueller Information in einer realen Umgebung
US10380799B2 (en) 2013-07-31 2019-08-13 Splunk Inc. Dockable billboards for labeling objects in a display having a three-dimensional perspective of a virtual or real environment
EP3742405A3 (en) * 2013-09-24 2021-01-13 Apple Inc. Method for representing points of interest in a view of a real environment on a mobile device and mobile device therefor
US9986225B2 (en) * 2014-02-14 2018-05-29 Autodesk, Inc. Techniques for cut-away stereo content in a stereoscopic display
CN104596523B (zh) * 2014-06-05 2019-05-07 腾讯科技（深圳）有限公司 一种街景目的地引导方法和设备
US20160012160A1 (en) * 2014-07-11 2016-01-14 Graphisoft Building model user interface and method of use
EP3037784B1 (en) * 2014-12-23 2019-05-01 Nokia Technologies OY Causation of display of supplemental map information
KR20160125674A (ko) * 2015-04-22 2016-11-01 엘지전자 주식회사 이동 단말기 및 그 제어 방법
US10799792B2 (en) * 2015-07-23 2020-10-13 At&T Intellectual Property I, L.P. Coordinating multiple virtual environments
US11263461B2 (en) * 2015-10-05 2022-03-01 Pillar Vision, Inc. Systems and methods for monitoring objects at sporting events
JP6724653B2 (ja) * 2015-12-21 2020-07-15 株式会社Ｊｖｃケンウッド 車両用表示装置、表示方法および表示プログラム
EP3306572A1 (en) * 2016-10-07 2018-04-11 Schneider Electric Industries SAS Method for 3d mapping of 2d point of interest
EP3316080B1 (en) 2016-10-26 2021-08-25 HTC Corporation Virtual reality interaction method, apparatus and system
US10853651B2 (en) * 2016-10-26 2020-12-01 Htc Corporation Virtual reality interaction method, apparatus and system
EP3559785B1 (en) 2016-12-21 2021-02-03 PCMS Holdings, Inc. Systems and methods for selecting spheres of relevance for presenting augmented reality information
CN110268448B (zh) 2017-02-20 2023-11-24 交互数字Vc控股公司 动态呈现增强现实信息以减少峰值认知需求
US11118930B2 (en) * 2017-07-14 2021-09-14 Lyft, Inc. Providing information to users of a transportation system using augmented reality elements
US10904449B2 (en) 2017-07-31 2021-01-26 Disney Enterprises, Inc. Intrinsic color camera
CN107656961B (zh) * 2017-08-04 2020-03-27 阿里巴巴集团控股有限公司 一种信息显示方法及装置
US10532814B2 (en) * 2017-09-11 2020-01-14 Disney Enterprises, Inc. Augmented reality travel route planning
US10922889B2 (en) * 2017-11-20 2021-02-16 Google Llc Directing user attention
CN108090134B (zh) * 2017-11-24 2020-07-24 重庆英卡电子有限公司 基于虚实poi树的管理地图表达方法
US11164380B2 (en) * 2017-12-05 2021-11-02 Samsung Electronics Co., Ltd. System and method for transition boundaries and distance responsive interfaces in augmented and virtual reality
US10460431B2 (en) 2018-01-15 2019-10-29 Otis Elevator Company Part recognition and damage characterization using deep learning
CN108920476B (zh) * 2018-03-30 2022-03-08 斑马网络技术有限公司 地图检索算路引擎测试系统及其测试方法
DK201870351A1 (en) 2018-05-07 2020-01-13 Apple Inc. Devices and Methods for Measuring Using Augmented Reality
US20190378334A1 (en) 2018-06-08 2019-12-12 Vulcan Inc. Augmented reality portal-based applications
CN108898678B (zh) * 2018-07-09 2020-02-21 百度在线网络技术（北京）有限公司 增强现实方法和装置
US10977867B2 (en) 2018-08-14 2021-04-13 Goodrich Corporation Augmented reality-based aircraft cargo monitoring and control system
US10846933B2 (en) * 2018-09-14 2020-11-24 Advanced Geosciences, Inc. Geophysical sensor positioning system
US11733684B2 (en) * 2018-09-27 2023-08-22 Hewlett-Packard Development Company, L.P. Overlaying production data on rendered 3D printed object
US10785413B2 (en) 2018-09-29 2020-09-22 Apple Inc. Devices, methods, and graphical user interfaces for depth-based annotation
WO2020062267A1 (zh) * 2018-09-30 2020-04-02 华为技术有限公司 一种信息提示方法及电子设备
US11218639B1 (en) * 2018-10-12 2022-01-04 Staples, Inc. Mobile interface for marking and organizing images
GB201816733D0 (en) * 2018-10-15 2018-11-28 Snoww Ltd Location method, portable device and system
JP2020086472A (ja) * 2018-11-14 2020-06-04 Ｄｇｓｈａｐｅ株式会社 図形データ作成プログラム
KR102539579B1 (ko) 2018-12-18 2023-06-05 삼성전자주식회사 정보의 표시 영역을 적응적으로 변경하기 위한 전자 장치 및 그의 동작 방법
EP3690627A1 (en) * 2019-01-30 2020-08-05 Schneider Electric Industries SAS Graphical user interface for indicating off-screen points of interest
US11049072B1 (en) * 2019-04-26 2021-06-29 State Farm Mutual Automobile Insurance Company Asynchronous virtual collaboration environments
CN111913639B (zh) * 2019-05-07 2022-01-28 广东虚拟现实科技有限公司 虚拟内容的交互方法、装置、系统、终端设备及存储介质
US11227446B2 (en) * 2019-09-27 2022-01-18 Apple Inc. Systems, methods, and graphical user interfaces for modeling, measuring, and drawing using augmented reality
EP3844644B1 (en) 2019-11-06 2023-05-31 Google LLC Use of image sensors to query real world for geo-reference information
US11003308B1 (en) 2020-02-03 2021-05-11 Apple Inc. Systems, methods, and graphical user interfaces for annotating, measuring, and modeling environments
CN111492409B (zh) * 2020-03-16 2023-05-02 香港应用科技研究院有限公司 用于增强现实远程协助的三维交互的装置和方法
US11727650B2 (en) 2020-03-17 2023-08-15 Apple Inc. Systems, methods, and graphical user interfaces for displaying and manipulating virtual objects in augmented reality environments
WO2022010451A1 (en) * 2020-07-06 2022-01-13 Google Llc Stable orientation cues for augmented reality (ar)
US20220198771A1 (en) * 2020-08-10 2022-06-23 Google Llc Discovery, Management And Processing Of Virtual Real Estate Content
US11615595B2 (en) 2020-09-24 2023-03-28 Apple Inc. Systems, methods, and graphical user interfaces for sharing augmented reality environments
WO2022154299A1 (ko) * 2021-01-12 2022-07-21 엘지전자 주식회사 디지털 사이니지 플랫폼 제공 장치와 동작방법, 및 이를 포함하는 시스템
US11941764B2 (en) 2021-04-18 2024-03-26 Apple Inc. Systems, methods, and graphical user interfaces for adding effects in augmented reality environments
CN115544390A (zh) * 2021-06-30 2022-12-30 华为技术有限公司 一种poi的显示方法及设备

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102629183A (zh) * 2012-02-29 2012-08-08 华为终端有限公司 一种终端屏幕控制方法及装置
CN102695034A (zh) * 2012-05-30 2012-09-26 青岛海信移动通信技术股份有限公司 在可视通话中调整视频图像在对端显示的方法及装置
CN103034416A (zh) * 2012-12-25 2013-04-10 珠海金山办公软件有限公司 一种通过摇动使设备屏幕显示转到重力方向的方法
CN103092344A (zh) * 2013-01-11 2013-05-08 深圳市金立通信设备有限公司 一种控制终端屏幕画面旋转的方法及终端
CN103139354A (zh) * 2013-01-31 2013-06-05 广东欧珀移动通信有限公司 一种手机解锁方法及装置
CN103246431A (zh) * 2013-04-27 2013-08-14 深圳市金立通信设备有限公司 一种调节屏幕显示方向方法、装置及系统

Family Cites Families (34)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6720949B1 (en) * 1997-08-22 2004-04-13 Timothy R. Pryor Man machine interfaces and applications
FR2775814B1 (fr) * 1998-03-06 2001-01-19 Rasterland Sa Systeme de visualisation d'images tridimensionnelles realistes virtuelles en temps reel
US6992659B2 (en) * 2001-05-22 2006-01-31 Palmone, Inc. High transparency integrated enclosure touch screen assembly for a portable hand held device
JP4532856B2 (ja) * 2003-07-08 2010-08-25 キヤノン株式会社 位置姿勢計測方法及び装置
KR101285360B1 (ko) * 2007-01-25 2013-07-11 삼성전자주식회사 증강현실을 이용한 관심 지점 표시 장치 및 방법
KR101387479B1 (ko) * 2007-03-16 2014-04-21 엘지전자 주식회사 이동통신 단말기의 화상 처리방법 및 이동통신 단말기
KR101526970B1 (ko) * 2008-05-29 2015-06-16 엘지전자 주식회사 단말기 및 그 제어 방법
US8294766B2 (en) * 2009-01-28 2012-10-23 Apple Inc. Generating a three-dimensional model using a portable electronic device recording
DE102009037835B4 (de) * 2009-08-18 2012-12-06 Metaio Gmbh Verfahren zur Darstellung von virtueller Information in einer realen Umgebung
US9488488B2 (en) * 2010-02-12 2016-11-08 Apple Inc. Augmented reality maps
KR101572892B1 (ko) * 2010-05-06 2015-11-30 엘지전자 주식회사 이동 단말기 및 이것의 영상 디스플레이 방법
US20120242807A1 (en) * 2010-05-27 2012-09-27 Nintendo Co. Ltd Hand-held electronic device
EP2393056A1 (en) * 2010-06-02 2011-12-07 Layar B.V. Acquiring, ranking and displaying points of interest for use in an augmented reality service provisioning system and graphical user interface for displaying such ranked points of interests
US8963954B2 (en) * 2010-06-30 2015-02-24 Nokia Corporation Methods, apparatuses and computer program products for providing a constant level of information in augmented reality
US20120050144A1 (en) * 2010-08-26 2012-03-01 Clayton Richard Morlock Wearable augmented reality computing apparatus
US9710554B2 (en) 2010-09-23 2017-07-18 Nokia Technologies Oy Methods, apparatuses and computer program products for grouping content in augmented reality
US8952983B2 (en) 2010-11-04 2015-02-10 Nokia Corporation Method and apparatus for annotating point of interest information
US9355123B2 (en) * 2013-07-19 2016-05-31 Nant Holdings Ip, Llc Fast recognition algorithm processing, systems and methods
KR102065408B1 (ko) * 2013-08-16 2020-01-13 엘지전자 주식회사 이동 단말기
EP3742405A3 (en) * 2013-09-24 2021-01-13 Apple Inc. Method for representing points of interest in a view of a real environment on a mobile device and mobile device therefor
US9740296B2 (en) * 2013-12-16 2017-08-22 Leap Motion, Inc. User-defined virtual interaction space and manipulation of virtual cameras in the interaction space
US20160307374A1 (en) * 2013-12-19 2016-10-20 Metaio Gmbh Method and system for providing information associated with a view of a real environment superimposed with a virtual object
KR20150092560A (ko) * 2014-02-05 2015-08-13 엘지전자 주식회사 이동단말기 및 그 제어방법
US9685005B2 (en) * 2015-01-02 2017-06-20 Eon Reality, Inc. Virtual lasers for interacting with augmented reality environments
US9767613B1 (en) * 2015-01-23 2017-09-19 Leap Motion, Inc. Systems and method of interacting with a virtual object
US9696795B2 (en) * 2015-02-13 2017-07-04 Leap Motion, Inc. Systems and methods of creating a realistic grab experience in virtual reality/augmented reality environments
US10354441B2 (en) * 2016-05-20 2019-07-16 ETAK Systems, LLC Augmented reality systems and methods for telecommunications site modeling
US10728767B2 (en) * 2015-04-14 2020-07-28 ETAK Systems, LLC Systems and methods for augmented reality add-in of equipment and structures at a telecommunications site
US10149958B1 (en) * 2015-07-17 2018-12-11 Bao Tran Systems and methods for computer assisted operation
US20170337745A1 (en) * 2016-05-23 2017-11-23 tagSpace Pty Ltd Fine-grain placement and viewing of virtual objects in wide-area augmented reality environments
US20180095636A1 (en) * 2016-10-04 2018-04-05 Facebook, Inc. Controls and Interfaces for User Interactions in Virtual Spaces
GB2554914B (en) * 2016-10-14 2022-07-20 Vr Chitect Ltd Virtual reality system and method
US10527849B2 (en) * 2017-07-18 2020-01-07 Toyota Jidosha Kabushiki Kaisha Augmented reality vehicular assistance for color blindness
DK201870347A1 (en) * 2018-01-24 2019-10-08 Apple Inc. Devices, Methods, and Graphical User Interfaces for System-Wide Behavior for 3D Models

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102629183A (zh) * 2012-02-29 2012-08-08 华为终端有限公司 一种终端屏幕控制方法及装置
CN102695034A (zh) * 2012-05-30 2012-09-26 青岛海信移动通信技术股份有限公司 在可视通话中调整视频图像在对端显示的方法及装置
CN103034416A (zh) * 2012-12-25 2013-04-10 珠海金山办公软件有限公司 一种通过摇动使设备屏幕显示转到重力方向的方法
CN103092344A (zh) * 2013-01-11 2013-05-08 深圳市金立通信设备有限公司 一种控制终端屏幕画面旋转的方法及终端
CN103139354A (zh) * 2013-01-31 2013-06-05 广东欧珀移动通信有限公司 一种手机解锁方法及装置
CN103246431A (zh) * 2013-04-27 2013-08-14 深圳市金立通信设备有限公司 一种调节屏幕显示方向方法、装置及系统

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Heads Up Navigator: 3D Augmented Reality Navigation;Niftybrick Software;《https://itunes.apple.com/cn/app/heads-up-navigator-3d-augmented/id330367042?mt=8&ign-mpt=uo%3D2》;20091120;正文版本1.1中的新功能第2段
Layar , worlds first mobile ,Augmented Reality browser;malens;《https://www.youtube.com/watch?v=b64_16K2e08》;20090615;00：21秒、00：23-00:31秒、00：58-01:00秒

Also Published As

Publication number Publication date
KR101817452B1 (ko) 2018-01-11
US10217288B2 (en) 2019-02-26
AU2017261608A1 (en) 2017-12-07
AU2020202551A1 (en) 2020-05-07
EP3742405A3 (en) 2021-01-13
CN110379019A (zh) 2019-10-25
US20160240011A1 (en) 2016-08-18
AU2013401486A1 (en) 2016-04-14
CN105659295A (zh) 2016-06-08
KR20160062056A (ko) 2016-06-01
US20190180512A1 (en) 2019-06-13
US20170213393A1 (en) 2017-07-27
AU2020202551B2 (en) 2021-09-23
US9646422B2 (en) 2017-05-09
WO2015043620A1 (en) 2015-04-02
EP3742405A2 (en) 2020-11-25
EP3050030A1 (en) 2016-08-03
EP3050030B1 (en) 2020-06-24

Similar Documents

Publication Publication Date Title
CN105659295B (zh) 用于在移动设备上的真实环境的视图中表示兴趣点的方法以及用于此方法的移动设备
US10295826B2 (en) Shape recognition device, shape recognition program, and shape recognition method
CN104160369B (zh) 用于使用可移动引导标记来提供交互导航辅助的方法、装置和计算机可读存储介质
JP5762892B2 (ja) 情報表示システム、情報表示方法、及び情報表示用プログラム
JP6458371B2 (ja) ３次元モデルのためのテクスチャデータを取得する方法、ポータブル電子デバイス、及びプログラム
EP2490182A1 (en) authoring of augmented reality
US9268410B2 (en) Image processing device, image processing method, and program
US9979946B2 (en) I/O device, I/O program, and I/O method
US9933853B2 (en) Display control device, display control program, and display control method
CN106134186A (zh) 遥现体验
JP5656514B2 (ja) 情報処理装置及び方法
JPWO2014016987A1 (ja) ３次元ユーザインタフェース装置及び３次元操作方法
US20130176337A1 (en) Device and Method For Information Processing
US9906778B2 (en) Calibration device, calibration program, and calibration method
CN105934775A (zh) 用于构建锚定在真实世界物体上的虚拟图像的方法和系统
KR100971667B1 (ko) 증강 책을 통한 실감 콘텐츠를 제공하는 방법 및 장치
US20150381970A1 (en) Input/output device, input/output program, and input/output method
JP4678428B2 (ja) 仮想空間内位置指示装置
JP7210131B2 (ja) 情報処理装置、情報処理方法及びプログラム
JP6849331B2 (ja) デバイス及びコンピュータプログラム
CN111506280A (zh) 用于指示屏幕外兴趣点的图形用户界面

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right
TA01 Transfer of patent application right

Effective date of registration: 20180420

Address after: American California

Applicant after: Apple Computer, Inc.

Address before: Munich, Germany

Applicant before: METAIO GmbH

GR01 Patent grant
GR01 Patent grant
IW01 Full invalidation of patent right
IW01 Full invalidation of patent right

Decision date of declaring invalidation: 20210701

Decision number of declaring invalidation: 50281

Granted publication date: 20190726