CN105209959A - 用于头戴式显示器的用户界面 - Google Patents

用于头戴式显示器的用户界面 Download PDF

Info

Publication number
CN105209959A
CN105209959A CN201480014098.4A CN201480014098A CN105209959A CN 105209959 A CN105209959 A CN 105209959A CN 201480014098 A CN201480014098 A CN 201480014098A CN 105209959 A CN105209959 A CN 105209959A
Authority
CN
China
Prior art keywords
user
visual field
data element
map
hmd
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201480014098.4A
Other languages
English (en)
Other versions
CN105209959B (zh
Inventor
保罗·马步特
朱利亚诺·马乔奇
路易斯·M·奥格
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Qualcomm Inc
Original Assignee
Qualcomm Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Qualcomm Inc filed Critical Qualcomm Inc
Publication of CN105209959A publication Critical patent/CN105209959A/zh
Application granted granted Critical
Publication of CN105209959B publication Critical patent/CN105209959B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/012—Head tracking input arrangements
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34—Route searching; Route guidance
    • G01C21/36—Input/output arrangements for on-board computers
    • G01C21/3626—Details of the output of route guidance instructions
    • G01C21/365—Guidance using head up displays or projectors, e.g. virtual vehicles or arrows projected on the windscreen or on the road itself
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/0093—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for monitoring data relating to the user, e.g. head-tracking, eye-tracking
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G06F1/1613—Constructional details or arrangements for portable computers
    • G06F1/163—Wearable computers, e.g. on a belt
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34—Route searching; Route guidance
    • G01C21/36—Input/output arrangements for on-board computers
    • G01C21/3664—Details of the user input interface, e.g. buttons, knobs or sliders, including those provided on a touch screen; remote controllers; input using gestures
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0123—Head-up displays characterised by optical features comprising devices increasing the field of view
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0138—Head-up displays characterised by optical features comprising image capture systems, e.g. camera
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/014—Head-up displays characterised by optical features comprising information/image processing systems
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B2027/0178—Eyeglass type
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Human Computer Interaction (AREA)
  • Computer Hardware Design (AREA)
  • Optics & Photonics (AREA)
  • Automation & Control Theory (AREA)
  • Computer Graphics (AREA)
  • Software Systems (AREA)
  • User Interface Of Digital Computer (AREA)
  • Navigation (AREA)
  • Controls And Circuits For Display Device (AREA)

Abstract

本发明提供头戴式显示器HMD的用户界面UI，其允许用户通过使用头部移动，例如头部倾斜(即，围绕水平轴线的移动)和/或转动(即，围绕垂直轴线的移动)，访问原本处于用户初始视野外部的一或多个持久性数据元素。实施例还可通过用户头部的进一步所检测到的移动提供对持久性数据元素的数据的进一步移动和/或其它操控。

Description

用于头戴式显示器的用户界面
背景技术
透视型头戴式显示器(HMD)为可佩戴装置，通过其用户可在显示器上查看数据元素，同时对用户的周围环境保持查看。透视型HMD的此特征可用于导航背景中，其中HMD在用户正沿导航路径移动时提供用户导航数据。
发明内容
本文所述的发明实施例提供针对用户界面(UI)的HMD，其允许用户通过利用例如头部倾斜(即，围绕水平轴线的移动)和/或转动(即，围绕垂直轴线的移动)的头部移动来访问另外处于用户初始视野以外的一或多个持久性数据元素。实施例也可通过用户的进一步所检测到的移动提供持久性数据元素的数据的进一步移动和/或其它操控。
根据本发明，针对由传感器透视型HMD显示数据的实例方法包含确定所述HMD的用户的第一视野，接收来自至少一个传感器的传感器输入，并利用传感器输入，检测用户头部围绕轴线的第一移动，使得用户具有第二视野。所述方法进一步包含基于所检测到的第一移动，使得所述HMD在第二视野中显示一或多个持久性数据元素。
根据本发明，实例设备包括存储器及以通信方式与存储器耦合的处理单元，经配置以感测透视型HMD用户的移动的一或多个动作传感器及HMD的显示器。显示器被配置成展示用户视野中的数据元素，同时允许用户查看用户环境中的物理对象。所述处理单元被配置成确定所述HMD的用户的第一视野，接收来自所述一或多个动作传感器的传感器输入，并利用所述传感器输入，检测用户头部围绕轴线的第一移动，使得用户具有第二视野。基于所检测到的第一移动，所述处理单元经进一步配置使得所述显示器在第二视野中展示一或多个持久性数据元素。
根据本发明，实例计算机可读存储媒体具有用于在透视型HMD上显示数据元素而嵌入其上的指令。所述说明包含计算机可执行代码，其用于确定所述HMD的用户的第一视野，接收来自所述一或多个动作传感器的传感器输入，并利用所述传感器输入，检测用户头部围绕轴线的第一移动，使得用户具有第二视野。所述说明也包含基于检测到的第一移动，通过所述HMD在第二视野中显示一或多个持久性数据元素的计算机可执行代码。
根据本发明，实例设备包含用于确定所述HMD用户的第一视野，接收来自所述一或多个动作传感器的传感器输入，并利用所述传感器输入，检测用户头部围绕轴线的第一移动，使得用户具有第二视野的装置。设备进一步包含，经由HMD基于所检测到的第一移动，在第二视野中显示一或多个持久性数据元素的装置。
根据描述，实例方法包含检测佩戴头戴式显示器(HMD)的用户的头部移动，其具有至少半透明的的显示元件，且回应于所述检测，使得一或多个持久性数据元素待显示于所述头戴式显示器上，以使得所述元件覆盖在场景的一部分上，此场景通过所述半透明显示元件对用户可见。
所述方法可包含以下特点中的一或多个。所述移动可包含点头或头部反射，且所述持久性数据元素弹出或滑入用户的视野内。头部的检测移动可包含确定用户已移动头部，以使得预期视野的至少一部分不再对用户可见，且所述持久性数据元素可显示在所述预期视野外的区域中。持久性数据元素可呈现为锚定于期待视野外的对象。所述期待视野可基于用户的行进方向而确定。行进方向可利用指南针和/或多个位置度量法确定。当用户正查看期待视野时可隐藏数据元素。头部的检测移动可包含确定用户已移动头部，以使得预期视野外的至少一部分对用户可见，且持久性数据元素可显示在所述预期视野外的部分中。
除了上述特征外或作为上述特征之替代方案，所述方法可包含以下特点中的一或多个。所检测到的移动可包含头部的向下倾斜，且持久性数据元素可显示在与地表面大致平行的或位置重合的虚拟表面上。持久性数据元素可包含地图和/或导航元素，其被显示于地表面上而向用户呈现。地图可呈现为固定于地表面，以使得当转动头部时，HMD中显示地图的不同部分。用户视线外的关注点的指示符表示可显示在地图的边缘和/或关注点所处方向的水平线上。所述方法还可包含用户的手部动作，且使得地图基于所检测到的手部动作而缩放。
除了上述特征外或作为上述特征之替代方案，所述方法可包含以下特点中的一或多个。头部的检测移动可包含通过陀螺仪或加速计检测用户已向上或向下倾斜头部。头部的检测移动可进一步包含将来自陀螺仪的数据与高程数据比较，以确定头部是否以用户所处路径的方向倾斜。持久性数据元素可包含时钟、预约、日历、提醒、接收到的消息或电话、或社交网络状态或更新或发布后。所述方法可进一步包括检测用户的手势并基于所述检测到的手势调节元件的中的至少一者。所述手势可通过光学传感器、对超声波频率敏感的麦克风、或用于电磁辐射的传感器检测。所述方法可进一步包含基于用户的眼部注视确定元素中的一者的选择，且使得额外信息围绕所选择的元素显示。
本文中描述的物品和/或技术可提供以下能力中的一或多个以及未提及的其它能力。技术可在不挤入用户的正常视野的情况下提供针对持久性数据元素的轻松访问。实施例还可通过显示处于或靠近视野底部的数据元素，帮助确保用户的环境中显示数据元素与物理对象良好的对比度。结合下文的文本及附图更详细地描述这些及其它实施例连同其许多优势及特征。
附图说明
参照以下各图，可以实现对各种实施例的性质及优点的进一步的理解。在附图中，类似的组件或特征可以具有相同的参考标记。此外，可通过在参考标记之后跟着短划线和在类似组件当中进行区分的第二标记来区分相同类型的各种组件。如果说明书中只使用第一参考标记，那么描述适用于具有相同第一参考标记的类似组件中的任一者，而与第二参考标记无关。
图1为可用于本文所述的一或多种实施例的佩戴在用户头部之上的HMD的一个实施例的简化图示。
图2A与2B为针对导航应用的HMD使用者界面的简化图示，其中持久性数据元素位于用户视野中。
图3A与3B为根据一个实施例的HMD的使用者界面的简化图示，其中持久性数据元素保持在用户初始视野外。
图4A与4B为根据一些实施例的地图的俯视图的图示，其展示地图任选的缩放功能性。
图5A说明根据一个实施例的用户可如何访问持久性数据元素的“桌面”。
图5B说明一替代性实施例，其中持久性数据元素包括提醒和图标。
图6说明根据一个实施例的针对使得持久性数据元素待显示于HMD用户界面方法的实施例。
图7说明计算机系统的实施例。
具体实施方式
现将相对于形成本文的一部分的附图来描述若干说明性实施例。虽然下文描述可在其中实施本发明的一或多个方面的特定实施例，但可使用其它实施例，且可在不脱离本发明的范围或所附权利要求书的精神的情况下进行各种修改。
头戴式显示器(HMD)为可向佩戴此装置的用户显示信息的装置。由于这些装置佩戴在用户的头部上，所以HMD可具有其它显示器无法实现的能力。例如，一些HMD可具有透明的(或半透明的)显示器使得用户能够查看用户的周围环境以及显示器上的图像两者。所述图像自身可具有透明度，所述透明度可通过HMD执行的应用程序来确定。一些实施例可通过使用户查看的物理对象和与所述物理对象相关联的图像(例如文本及/或图片)重叠而提供“增强现实”(AR)功能性。
图1为佩戴在用户110头部上的HMD120的一个实施例的简化图示，其可以与本文所述的实施例的一或多个一起使用或可实施本文所述的实施例的一或多个。此HMD120包含主体或框架，类似于一副眼镜，其可放置在用户的鼻子与耳朵上。HMD120的显示器的部分可定位在用户的眼睛前方，如同一副眼镜的镜片。所述显示器的至少一部分可为透明的，以使得在用户的视野内，用户110可看到用户的周围环境和通过所述显示器展示的图像(例如数据元素)两者。取决于显示器的所期望的功能性、通过所述显示器展示的图形用户界面(GUI)的设定、和/或由所述HMD120执行的软件应用程序(例如视频、地图、互联网浏览器等)，显示器上展示的图像的透明度等级可改变。HMD优选地为轻型的且经构造以避免使用重型组件(这可使得所述装置的佩戴者不适)。
此外，HMD120可包含用以与用户110交互的例如扬声器(和/或头戴式耳机)、触控板、按钮等的界面。在另一个实施例中，HMD120可包含用于连接互联网、本地无线网络或另一个计算装置的无线界面。HMD120还可操作以接收来自用户的音频和/或手势输入。这些手势或音频输入可以是口头的语音命令或识别的用户手势，当由计算装置识别时，其可使得装置执行相对应的命令。可从集成在HMD120中和/或以通信方式与HMD120耦合的一或多个动作传感器和/或摄像机接收手势，以允许HMD跟踪一或多个对象(例如用户的手)并确定所述对象是否已做出手势。此外，实施例可包含摄像机和/或其它传感器以确定用户的注视(例如用户正在观看之处)。此眼部跟踪功能性可并入于手势和/或其它用户输入中。
此外，HMD120可包含动作传感器(例如一或多个加速计、磁力计、陀螺仪、全球定位系统(GPS)接收器(和/或其它卫星定位系统(SPS)接收器)、高度计等)和/或以通信方式与所述动作传感器耦合，以感测用户110和/或所述用户的头部的移动和/或定向。出于显示如本文所述元件的目的而确定用户视野可基于提供例如所检测到的头部定向/用户的行进方向的传感器信息。行进方向可由例如指南针(例如磁力计)和/或多个位置度量法(例如SPS位置度量法)确定。高程和/或背景数据可用于确定用户是否正因路径为倾斜的而向下看或向上看。举例来说，来自陀螺仪的数据可与高程数据比较，以确定头部是否沿用户所位于的路径的倾斜方向倾斜。下文更详细描述用户视野的确定。类似地，可确定用户的情境以确认所述用户是否正在倾斜其头部，例如，由于其上一组楼梯或在手扶电梯上。
计算机系统，例如图7的计算机系统700可集成在HMD120内和/或以通信方式与其耦合。因此，HMD120可执行例如导航应用程序和/或本文所述的其它应用程序的软件应用程序。另外或替代地，HMD120的实施例可显示由一或多个装置执行的软件应用程序，这些装置经由例如无线的装置到装置协定(例如蓝牙或WI-FI导向)和/或经由网络(例如WIFI网络)以通信方式与HMD120耦合。举例来说，HMD120可以通信方式与一或多个移动装置(例如移动电话、个人媒体播放器、游戏系统和/或其它装置)耦合并显示来自所述移动装置的信息。
HMD120还可经配置与网络进行无线通信，其可包括一或多个专用网和/或公用网。举例而言，专用网可包含企业内部网；公用网可包含互联网。通过使用网络，HMD120可能够与远程服务器进行通信，其可用于执行远离HMD120的服务。针对导航应用程序，这些服务可包含导航信息提取、路径计算等。远程服务器可提供针对其它类型应用程序的其它服务。
虽然图1展示带有眼镜样式框架的HMD120的实施例，其它实施例可具有不同外观尺寸和/或利用可提供相似功能性的不同光学技术(例如，视网膜投影仪或其它光学系统)。HMD120上所示之允许用户在用户环境中查看对象的能力以及图像可适用于导航应用程序，其中在用户正沿导航路径移动的同时，HMD120为用户提供导航数据。
无论用户正查看哪一条路线，当前HMD实施方案通常采取在用户视野内不断地显示数据元素(例如所估计到达时间、转弯方向、地图、或其它数据)的方法。此方法可能存在问题，这不仅是因为归因于HMD技术，所述数据元素(特别是在用户视野的上部部分中)可能难以在明亮的环境光下查看，而且因为其可能分散注意力并为妨碍性的。
图2A说明从佩戴HMD的用户的角度的视图200-1，其中在用户移动的同时，所述HMD显示关于导航应用程序的数据元素210。然而，此方法出于至少两个原因可能存在问题。第一，所述数据元素210可能难以查看。因为HMD显示技术可能不能够显示与用户视野中其它对象具有较大对比度的数据元素210，且因为导航应用程序可包含在明亮的日光下的户外导航，所以一些数据元素210可能难以查看。此对于显示于用户视野顶部处或接近顶部的一些数据元素210-1可尤其如此，其可能经常受制于明亮的背景(例如天空)。
第二，数据元素210可能分散注意力并为妨碍性的。此在数据元素为大型时尤其如此。图2B图解说明其中针对HMD的导航应用程序显示大型数据元素210-2的实例——展示整个导航路径的地图—在用户视图200-2中心处。虽然所述大型数据元素210-2可能为半透明的，但其仍然可分散用户查看可能在正前方的物体的注意力。
本文所述的实施例提供在HMD处(举例来说，在HMDUI中(其可由图1的HMD120执行))显示元件，所述HMD可将一或多个持久性数据元素保持处于用户的初始视野外。所述UI可使用户110通过头部移动(例如头部倾斜(即，围绕水平轴线的移动)和/或转动(即，围绕垂直轴线的移动))可获得这些数据元素。举例来说，当HMD120确定用户的头部为向下倾斜时，一或多个持久性数据元素可展示于用户视野的底部。其中用户的头部向下倾斜以访问持久性数据元素的实施例可利用地面通常提供的较好对比度以供查看所显示的信息并采用以下事实：在一些实施方案中，头部的倾斜相较于头部一边到另一边的移动可能更可靠地被检测到。即使如此，实施例可基于检测用户头部向上倾斜和/或向左或向右查看，另外或替代地在用户视野其它区域中显示持久性数据元素。
如本文所用，术语“持久性数据元素”是指无论用户周围环境如何，可获得的例如应用程序数据、图标(例如虚拟的“桌面”)等数据元素。然而，一些持久性数据元素，例如下文进一步详细所述的地图，可基于用户的定向、行进方向、视野等而被更新。图3A和3B说明访问中的持久性数据元素如何运行。
如通过用户110所见，图3A为HMD120的用户110的第一视野300-1的图示。依据所利用HMD的类型，用户110的第一视野300-1根据所述HMD120的显示功能可能具有局限性。举例来说，第一视野300-1依据所述HMD120显示部分的大小、形状和/或所利用技术可发生变化。所属领域的技术人员将认识到许多更改和变化。
在此实施例中，所述HMD120显示来自导航应用程序的信息，其中一些数据元素310、315、320可显示于接近第一视野300-1的底部。这些数据元素可包含与当前导航路径有关的导航元素，例如距离310和/或所估计剩余时间315。可向用户呈现待显示于地表面的导航元素。另外或替代地，这些数据元素可包含信息点(POI)指示符320，其指示附近的POI可在地图上查看。然而，在此实施例中，所述地图尚未展示。如下文所指示，所述POI指示符320锚定于可在地图上查看的位置(当前位于用户的视野外)。其它数据元素可锚定于用户的当前或期待视野外的物品。在一些实施方案中，图3A中所示的数据元素310、315、320中的一些或全部可从用户的第一视野300-1隐藏，并可在下文所述的方式中连同地图一起获得。
图3B为用户110的第二视野300-2的图示。此处，当用户的头部向下倾斜时，得到第二视野300-2。HMD120在所述第二视野300-2中显示导航应用程序的地图330。针对使得用户能够通过进一步的头部移动查看地图的不同部分的实施例，所述地图中心可定在用户的当前位置处，以使得用户可向下注视以查看用户的当前位置，其通过重叠于其脚部上的数据元素(未图示)而被标记。在一些配置中，当用户的头部向上倾斜时，地图330可再次被隐藏。另外或替代地，HMD120可继续显示地图330直至所述HMD120检测到特定触发操作，例如特定头部移动和/或其它用户输入(例如手势、音频命令、触控板、输入等)、一定量的时间已过去、用户已移动一定距离等。
依据所期望的功能性，可以多种方式的中的任一者显示地图330。在图3B所示的实施例中，地图330显示为圆形或盘式，当用户向下倾斜其头部时，用户可查看该地图。然而，如先前所指示，其它实施例可允许用户110通过向上倾斜其头部，或向左和/或向右转动其头部以查看地图330。此外，依据HMD120的显示功能，可从用户的视角在用户所位于的物理表面的平面中或平面上(例如所述地面)呈现地图330。所述HMD120可利用外向摄像机、超声波和/或用户设定以确定所述物理表面，以在其上覆盖所述地图330。这些功能性可使用户易于查看，因为其被展示在用户有可能已聚焦于其上的焦平面上。然而，另外或替代地，所述地图330可从用户的视角在距用户一定距离处呈现，该距离与所述地面和/或用户环境中的其它对象无关(例如沿所述显示器的边缘呈现的“杆体”)。即，所述地图330可位于距离用户的特定焦平面处，其可如同为直立式或倾斜式而向用户呈现。其它实施例或配置可包含地图330或其它具有多个焦平面的数据元素。所述地图可进一步沿行进方向被定向，且呈现为固定于地表面以使得，如果用户向特定方向转弯，那么所述地图将相应地进行转动。此外，虽然处于用户的视图中，所述地图可被更新(例如周期性地基于所检测到的移动等)。
依据所期望的功能性，所述地图330可包含不同元素。如图所示，这些元素可包含推荐导航路径350和目的地指示符340。所述地图330还可包含针对所述地图330上所示之街道和/或其它地标的文字标记、建筑物的图示、当前状况的一或多个指标(例如，展示交通状况)等。在一些实施例中，用户设定可支配这些元素是否展示在所述地图330上和/或如何调用、显示所述地图等。
利用相对应的POI指示符323和/或标记325还可在所述地图330上指示一或多个POI。所述POI可针对用户110和/或HMD120进行个性化，和/或可从一般数据库中检索。个人POI可从先前目的地、当前和/或之前的POI检索(例如，咖啡厅)等得到确定。另外或替代地，利用来自所述HMD120和/或其它装置(例如移动电话、互联网可访问的数据库等)的其它应用程序的信息可接收和/或确定POI。
如图3A中所示，实施例可在第一视野300-1中，例如，沿所述第一视野300-1的底部(或依据实施例的其它边缘或地平线)展示POI指示符320。当调用所述地图330(例如，当用户向下倾斜其头部时)时，一旦相对应的POI位于待展示于地图330上的范围内，可呈现POI指示符320。此外，位于第一视野300-1的底部处的所述POI指示符320的位置可与所述地图上的POI位置对应，以使得用户转动头部时(如果视图中其将转动地图330)，所述POI指示符320相应地沿第一视野300-1的底部移动。在一些实施例中，位于第一视野300-1底部的所述POI指示符320可包含标记325或其它指示所述POI的名称的数据元素。一些实施例可在地图330的外缘或(如果相对应的POI位于用户的视线外或相较于正展示的地图区域的较远处)在用户可视的水平线处展示所述POI指示符320。
因此，第一视野300-1可为用户110的“预期”或“常用”视野，其中沿第一视野300-1的边缘部分将数据元素隐藏和/或最小化。第二视野300-3为其中额外数据元素以较少关注点展示的视野，其数据元素将分散注意力或为妨碍性的。
HMD120可以多种方式中的任一种将第一视野300-1与第二视野300-2分化。在一些配置中，可通过用户的头部定向和/或移动确立第一视野300-1。举例来说，当传感器(例如加速计、陀螺仪、GPS接收器等)指示用户头部为竖直的和/或用户正以用户所正面对的方向行进时，HMD120可确定第一视野。在一些配置中，可根据用户输入确立第一视野300-1。举例来说，用户可发出语音命令、做手势和/或提供一些其它输入来向HMD120指示当前视野为用户的“常用”视野。这些功能性可根据应用程序而变化，或可集成在所述HMD120的操作系统内。
在操作中，用户可使用以下图3A和3B中所图示的HMD界面：用户110利用输入机制(触控板、语音命令、手势、头部和/或身体移动等)的任意组合，使用HMD120选定并执行导航应用程序。随后用户再次通过利用多种输入机制中的任一者输入想要导航的目的地(例如说出目的地的名称或地址和/或从位置列表选定目的地)。一旦选定目的地，HMD120可选择路径。举例来说，利用凭借互联网接收到的信息可局部计算和/或得到所述路径。一旦确定所述路径，HMD120可提供音频和/或视觉导航促使沿所述路径来引导用户。当用户沿所述路径移动时，HMD120确定用户具有“预期”的第一视野300-1，并以相对于图3A所述的方式显示特定数据元素310、315、320或完全略去。在实施例中，其中附近的POI指示符320显示于第一视野300-1中，当用户沿所述路径接近其时，其可沿所述显示器的底部边缘呈现，向用户指示所述POI在附近且在地图330上可见(例如，参见图3A)。在此实施例中，用户可在任意时间(例如沿所述路径)向下倾斜其头部以看到第二视野300-2，并访问地图330和显示于其上和/或与其相关联的任何数据元素(例如推荐导航路径350、目的地指示符340、POI指示符323和/或标记325等)(例如，参见图3B)。所述地图可如同其为圆盘而呈现，用户站立在其上，且用户可能够通过进一步倾斜和/或转动其头部以查看地图330的不同部分。当然，此为实例且本文所涵盖的其它实施例可包含不同特征。实施例可允许此实例中所论述的特征的一些或全部经由用户喜好和/或可变的设定(例如，凭借导航应用程序的菜单)而被省略和/或变更。
图4A和4B为根据一些实施例的地图330的俯视图的图示，其展示地图任选的缩放功能性。如上文所论述，所述地图的中心定在用户110的位置处。以虚线勾勒的所述地图330的部分410指示所述地图如图3B中所展示时，当前对用户可见的地图330的所述部分，其可随用户头部的定向和/或方向发生改变时而改变。所述HMD120可确定地图330的何种部分可位于用户的视野中，并提供如上文所述的相对应的POI指示符。依据所期望的功能性，用户可通过提供以多种方式的任一者(例如语音命令、头部移动、手势或其它移动等)的输入缩小和/或放大地图330。
图4A说明其中地图330-1处于相对放大状态的配置。即，地图330-3说明用户的周围环境的相对较小部分。然而，地图被放大时可展示细节420，其在地图330缩小时不可视。此类细节420可包含建筑物、街道名称、位置名称等。如图3A和3B所指示，如果由导航应用程序提供，那么所述地图可展示推荐导航路径350。
图4B说明其中地图330-2处于相对缩小状态的配置。即，地图330-1说明用户周围环境的相对大的部分。虽然，地图被缩小时可能不展示所述细节中的一些(其在地图330被放大时为可视的)，处于相对缩小状态的地图330-2可提供额外特征，例如地图330被放大时不可视的目的地指示符340和/或POI指示符323(未图示)。
图3A-4B中所说明的功能性可扩展到导航以外的应用程序。举例来说，图5A说明用户可如何根据初始视野向下倾斜其头部以得到视野500，其中所述视野的持久性数据部分510显示持久性数据元素520的“桌面”，例如表示不同可执行应用程序、数据和/或功能的图标，其用于通过HMD120选择和/或执行。虽然其它应用程序可具有类似的功能性，但通过例如HMD120的操作系统可提供这些功能性。一些实施例可另外或替代地将持久性数据元素520锚定于(或另外关联于)用户视图中的对象(例如楼层、建筑物等)。视需要，实施例可在用户视野中的一或多个地点定位持久性数据元素520，该视野经确定以提供用于查看的良好对比度。
所述持久性数据部分510的其它特征和功能可与如关于图3A-4B所述的地图330类似。举例来说，当用户更进一步向下倾斜其头部和/或向一侧或另一侧转动其头部时，可查看额外元素。因此，在一些实施例中，图3A-4B所示实施例的地图330被替换为持久性数据部分510，其可在与用户所位于的地表面大致平行的或重合的虚拟表面上从用户视角进行呈现。如图5所示，持久性数据部分510可为圆盘形，或依据所期望的功能性呈现多种其它形状中的任一者。
除了允许用户利用手势、移动和/或以上本文所述的其它技术选择持久性数据元素520(和/或以其它方式与HMD120的用户界面交互)外或作为其替代方案，实施例还可具有眼跟踪特征——例如大体上向用户眼部的一者或两者指向的一或多个摄像机和/或红外线发光元素——其使得HMD120能够利用注视检测以接收用户输入。举例来说，用户可利用多种方式中的任一者注视以选择持久性数据元素520中的一者，例如查看持久性数据元素520并执行动作(例如眨眼、暗示、说话、执行手势、发出另一移动等)和/或查看临界时间量的持久性数据元素520。此外，可利用类似功能性以引起持久性数据部分510。举例来说，实施例可允许用户通过注视临界时间量的显示器区域而使所述持久性数据部分510呈现(例如，滑入、弹出等)。为利用特定实例，实施例可允许用户在查看视野500的底部2秒的同时，通过保持其头部的水平引起所述持久性数据部分510。其它实施例可利用更多或更少时间(例如0.5、1、3、5、或10秒等)和/或视野的不同区域(例如上方、侧面、特定象限、“菜单”图标等)，其可依据所期望的功能性、用户设定和/或其它因素而定。注视还可用于选择持久性数据元素520的一或多个，除了其它以外，其可执行应用程序、显示关于所选择的持久性数据元素520的额外信息等。
图5A所图示的所述持久性数据元素520提供作为可被展示的数据元素的非限制性实例。依据所期望的功能性，可展示多种多样的持久性数据元素中的任一者。举例来说，图5B说明其中持久性数据元素520包含指示来电通话的闪烁图标520-1、展示多个新邮件的消息图标520-2及指示当前时间的时钟图标520-3的实施例。实施例可发生变化。一般而言，持久性数据元素520可包含指示信息性物品的多种多样的元素中的任一者(例如时钟、日历、股票行情、社交媒体状态、社交媒体帖子、信号强度、电池寿命等)、可执行应用程序(例如约会/日历、电子表格、字处理器、演示软件、地图、媒体播放器、互联网和/或装置检索、网络浏览器、电话、设定、社交媒体应用程序等)、界面工具集、提醒(例如接收到的消息、传入消息和/或呼叫、天气提醒等)、通知、应用程序数据(例如可用于健康或医疗应用程序的心率、呼吸、燃烧的卡路里、计时器等；可展示关于一或多个其它应用程序的其它数据)等。
实施例还可允许用户通过选择呈现哪个持久性数据元素520及将其定位于哪里以定制持久性数据元素520。举例来说，实施例可允许用户做手势以调整所述元素中的至少一者的位置(例如通过做出相对应的“抓握”和“丢弃”的手势)。除位置之外，还可通过手势调节所述持久性数据元素520的其它属性。如先前所指示，可利用一或多个外向摄像机和/或其它光学传感器执行检测手势。另外或替代地，可通过超声波利用对超声波频率敏感的麦克风、用于电磁辐射的传感器和/或通过可由用户拿着或携带的传感器(例如带有陀螺仪、加速计和/或其它动作和/或定位传感器，其经由无线RF通信、红外线(IR)光等传送信息)检测手势。在一些实施例中，这些装置可包含移动电话，其用于至少局部控制所述HMD的操作。
各种方法可通过透视的HMD以上述实施例所示方式执行以显示数据。图6根据一个实施例说明此类方法600。所述方法600可涉及通过用户使用HMD装置，且可包含图1的所述HMD120。用于执行方法600所示框的任一者或全部的装置包含HMD，其可进一步包含透视的显示器、一或多个摄像机、处理单元、存储器、动作和/或定向传感器和/或图7的计算机系统700的一或多个特征。更一般而言，所述方法600的步骤可通过例如计算机系统的计算机化装置执行。
在框610处，确定HMD用户的第一视野。如先前所指示，此可使用多种方法中的任一者进行，任一方法可取决于所期望的功能性、应用程序和/或用户设定而定。举例来说，在持久性数据元素将由用户通过向下倾斜其头部而访问的情况下，确定所述HMD用户的第一视野可包含使用传感器输入确定所述HMD用户的头部为竖直的。在其它实施例或配置中，确定第一视野可另外或替代地包括确定用户正以特定方向移动(例如用户正面对的方向)、已以特定方向移动达特定量的时间或距离、特定量时间内尚未倾斜和/或转动其头部等。在一些实施例中，基于来自HMD的摄像机输入确定第一视野。在框610处执行的所述功能性可通过HMD的各种组件中的一或多者和/或以通信方式与其耦合的装置执行，包含如图7中所述的处理单元、输入装置(例如传感器)、操作系统、应用程序和/或输出装置，和/或类似装置。
从框620处的至少一个传感器接收传感器输入620，且在框630处，所述传感器输入用于检测用户头部围绕轴线的第一移动，使用户具有第二视野。可从多种传感器中的任一者接收传感器输入，所述传感器输入可集成到HMD中和/或以通信方式与所述HMD耦合。可从一或多个陀螺仪、加速计、GPS接收器、磁力计(和/或类似定向传感器)、高度计和/或能够提供指示用户移动的数据的其它传感器接收传感器输入。传感器输入可指示用户头部围绕轴线(例如水平轴线(例如用户头部的向上和/或向下倾斜)或垂直轴线(例如用户头部向左和/或向右的转动))的移动。具体而言，用户头部的倾斜可产生由加速度数据指示、由重力加速度偏移的加速度峰值。取决于加速计的动作、位置和/或其它因素，所述峰值的对应加速度可发生变化。陀螺仪可以类似方式测量用户头部向左和/或向右的旋转移动。
在一个实施例中，还可考虑用户的注视来帮助HMD和/或以通信方式与其耦合的装置区别用户是否只是伸展或抖动或摆动其头部或者用户是否意欲沿特定方向移动。举例来说，当用户头部的转动和/或倾斜在用户沿所述方向注视的改变之后和/或与其同时发生时，其可意味着用户正在对新位置集中其注意力，其可指示方向的改变。在此情境中，持久性数据元素可保持隐藏，以便不使用户分散注意力或妨碍用户的视图。另一方面，如果用户的注视保持静态(不管头部倾斜还是/或者转动)和/或沿与头部移动相反的方向移动，那么其可指示其中用户尚未改变注意力的移动。在此实例中，可展示持久性数据元素。用户可利用头部移动与注视的这些差异来指示是否应展示持久性数据元素。即便如此，一些实施例可能具有与上文所述的功能性相反的功能性(例如，具有注意力改变的头部移动引起永久性数据元素，举例来说在用户沿一个方向转动其头部且一直朝向所述方向(例如朝向其眼睛的一角)注视时，或者在不具有注意力改变或具有与HMD的移动相反的改变的头部移动不引起持久性数据元素的情况下，举例来说因为用户持续向前看但其头部正来回移动)，其可基于用户设定。在一些实施例中，可使用小于和/或大于阈值的眼睛移动来确定是否显示永久性数据元素。举例来说，当注视改变小于第一阈值或与用户头部移动的方向相反时，可确定用户只是在摆动其头部，且并不希望显示持久性数据元素。继续此实例，如果用户转动其头部并且还超出第二临界值转移其沿所述方向上的注视，那么可确定用户正尝试引起持久性数据元素的显示。此外，在此实例中，如果用户的头部转动，但注视转移位于第一阈值和第二阈值之间和/或处于与头部移动相同的方向上，那么可确定用户已改变其注意力且并不希望引起持久性显示元素。
在框620和630处执行的功能性可通过HMD的各种组件中的一或多个和/或以通信方式与其耦合的装置执行，其包含如图7所述的处理单元、輸入装置(例如传感器)、操作系统、应用程序、通信子系统和/或输出装置和/或类似装置。在传感器未集成于接收传感器輸入的装置内的情况下，通信子系统可被配置成例如经由无线和/或有线装置以接收传感器输入。同样，这些无线和/或有线装置如下文相对于图7的更详细地描述。
在框640处，基于所检测到的第一移动，通过所述HMD在第二视野中显示一或多个持久性数据元素。在一些实施例中，例如先前所述彼等者，第一视野中不可见的数据元素可展示于第二视野的一部分，但其它实施例不限于此。头部的向下倾斜可引起在第一视野中已为可视的数据元素展示在第二视野的侧边和/或上层部分上。在一些实施例中，数据元素可继续展示在用户的第一视野中。举例来说，头部的向下倾斜可引起数据元素，其即使在用户头部向上倾斜回以恢复其第一视野之后仍然显示。如先前所论述，用户可能够在触发操作时移除所述数据元素，例如经过一定量的时间、手势、语音命令等。在一些实施例中，当用户返回到第一视野时，持久性数据元素的一或多个停止显示。在框640处执行的功能性可通过HMD的各种组件中的一或多个和/或以通信方式与其耦合的装置执行，其包含如图7所述的处理单元、操作系统、应用程序、通信子系统和/或输出装置(例如，显示器)和/或类似装置。
换句话说，方法600的框630和640可包含检测用户的头部移动，其佩戴带有至少半透明的显示元件的HMD。回应于所检测到的移动，可引起一或多个持久性数据元素显示在HMD上，以使得所述元素覆盖在用户通过所述半透明显示元件而可视的场景的一部分上。检测所述头部移动可包含确定用户已移动头部，以使得预期视野的至少一部分不再对用户可见。另外或替代地，检测头部移动可包含确定用户已移动头部，以使得预期视野外的至少一部分对用户可见。持久性数据元素可显示在预期视野外的部分中。
视情况，所述方法可包含在框650处检测第二移动，且在框660处，在第二视野中移动一或多个持久性数据元素。举例来说，与其中在相对于用户视野的固定位置中展示一或多个数据元素的实施例相比，检测第二移动可包含检测头部倾斜和/或转动，其在用户视野内产生数据元素的相对应的移动。另外或替代地，如图4A和4B所中所图示的，所述第二移动可促使地图(或其它数据元素)放大和/或缩小。其它所检测到的移动可促使所述HMD以其它方式操控数据元素。在框640处执行的功能性可通过HMD的各种组件中的一或多个和/或以通信方式与其耦合的装置执行，其包含如图7所述的处理单元、操作系统、应用程序、通信子系统、输入装置和/或输出装置(例如，显示器)和/或类似装置。
应了解，通过透视型HMD，图6中所图示的特定框提供显示数据的方法600的实例。替代性的实施例可包含对所示实施例的更改。举例来说，替代性实施例可包含检测引起特定数据元素的特定移动。例如，一旦确立第一“预期”视野，所检测到的用户头部的向下倾斜可引起导航数据元素，同时头部的向上倾斜和/或侧向转动可引起其它数据元素，例如桌面和/或除所述导航应用程序以外的与应用程序有关的数据元素。可依据特定应用程序添加、移除或合并额外特征。所属领域的技术人员应认识到许多其它变化、修改及替代方案。
如先前所指示，除了其中持久性数据元素显示于第二视野中的实施例外或作为其替代方案，实施例还可基于特定激活动作，使得持久性数据元素能够展示于第一视野中。举例而言，用户可能够通过点头或快速来回转动头部引起持久性数据元素。可随后引起所述持久性数据元素，其在第一视野中滑入或弹出。因此，在此类实施例中，用户头部的位置将恢复至大致相同的位置，使得第一视野为大致相同的，但激活动作将引起待显示的持久性数据元素。在一些实施例中，可通过所述激活动作所执行的方向(例如向左、向右、向上或向下)确定待显示的所述持久性数据元素。此外，一些实施例可提供当引起所述持久性数据元素时，从第一视野去除所述元素的去激活动作。例如，相同方向或相反方向上的短暂头部转动、来回摇动头部等。可从相反方向上的两种快速动作检测到这些短暂头部转动类型或点头。即，激活和/或失活动作可包含多种其它类型的动作中的任一者。
图7说明可集成到HMD内及/或与其以通信方式耦合的计算机系统700的实施例。计算系统700的一或多个组件可在不同装置之间共享，所述不同装置例如为HMD、智能手机、平板计算机、个人计算机或其它计算装置。在一些实施例中，软件与其它应用程序(例如本文所述的导航应用程序)可在以通信方式连接到HMD的独立装置上运行。在其它实施例中，HMD可具有与其集成的计算机系统700的一些或全部。
图7提供可执行由各种其它实施例所提供的方法的计算机系统700的一个实施例的示意性说明。应注意，图7仅意谓提供各种组件的一般化说明，可按需要利用所述组件中的任一者或全部。因此，图7大致说明可如何以相对分离或相对更整合的方式实施各个系统元件。
计算机系统700展示为包括可经由总线705电耦合(或按需要可以其它方式进行通信)的硬件元件。所述硬件元件可包含处理单元710，处理单元710可包含(不限于)一或多个通用处理器、一或多个专用处理器(例如数字信号处理器、图形加速处理器、和/或类似物)和/或其它处理装置，其如上所述可被利用以执行各种步骤，例如图6中所示框中的一或多个。所述总线705可耦合处理器710中的两个或两个以上，或单一处理器或多个处理器的多个核心。硬件元件还可包含一或多个输入装置715，输入装置715可包含(不限于)一或多个GPS接收器(和或来自任何其它卫星定位系统(SPS)的接收器)、加速计、陀螺仪、磁力计(和/或其它定向传感器)、高度计、摄像机和/或其它传感器以便能够检测位置、动作、定向、光、声音等，其可经利用作为收集位置、移动及其它数据的装置。此外，如本文所述，传感器可与所述处理单元710一起用作检测HMD用户头部的移动的装置。也可包含例如触控板、键盘、麦克风和/或类似物的其它装置。也包含一或多个输出装置720。此类输出装置可包含一或多个显示器和/或其它显示装置，以及扬声器和/或其它装置，可利用其执行如关于图6所述的一或多个步骤。
计算机系统700可进一步包含一或多个非暂时性存储装置725(和/或与其通信)，非暂时性存储装置725可包括但不限于本地及/或网络可存取存储装置，和/或可包含但不限于磁盘驱动器、驱动器阵列、光学存储装置、固态存储装置，例如随机存取存储器(“RAM”)及/或可编程、快闪更新等的只读存储器(“ROM”)。此类存储装置可经配置以实施任何适当数据存储，包含但不限于各种文件系统、数据库结构及/或其类似者。
计算机系统700还可包含通信子系统730，其可包含(不限于)调制解调器、网卡(无线或有线)、红外线通信装置、无线通信装置和/或芯片组(例如，蓝牙TM(BluetoothTM)装置、702.11装置、WiFi装置、WiMax装置、蜂窝式通信设备等)和/或其类似者。通信子系统730可包含一或多个輸入和/或输出通信界面，以准许通过网络、其它计算机系统和/或任何其它电装置/外围装置交换数据。在许多实施例中，计算机系统700将进一步包括工作存储器735，其可包括RAM或ROM装置，如上文所描述。
计算机系统700还可包含展示为当前位于工作存储器735内的软件元件，包含操作系统740、装置驱动器、可执行库和/或例如一或多个应用程序745的其它代码，其可包含通过各种实施例提供及/或可经设计以实施方法和/或配置系统、通过其它实施例提供的计算机程序，如本文所描述。仅举例来说，相对于上文所论述方法所述的一或多个操作步骤的一部分，例如如关于图6的所述方法600，可经实施作为可通过电脑(和/或电脑内的处理单元)执行的代码和/或指令；在一个方面中，随后，此类代码和/或指令可用于配置及/或调适通用计算机(或其它装置)以执行根据所述的方法的一或多个操作。
一组此等指令和/或代码可存储在非暂时性计算机可读存储媒体(例如上文所述的存储装置725)上。在一些情况下，存储媒体可并入于计算机系统(例如，计算机系统700)内。在其它实施例中，所述存储媒体可与计算机系统分离(例如可装卸式媒体，例如光学光盘)和/或被提供于安装包中，以使得所述存储媒体可通过储存其上的指令/代码用于编程、配置和/或调适通用计算机。此等指令可呈可由计算机系统700执行的可执行代码形式，和/或可呈源和/或可安装代码的形式，所述源和/或可安装代码在由计算机系统700编译和/或安装于计算机系统700上后(例如，使用多种大体可用编译程序、安装程序、压缩/解压缩工具等中的任一者)随后呈可执行代码的形式。
所属领域的技术人员将明白，可根据特定要求作出实质性变化。举例来说，还可使用定制硬件，和/或可将特定元件实施于硬件、软件(包含便携式软件，例如小程序等)或两者中。另外，可采用到例如网络输入/输出装置等其它计算装置的连接。
如上文所提及，在一个方面中，一些实施例可利用计算机系统(例如，计算机系统700)以执行根据本发明的各种实施例的方法。根据一组实施例，回应于执行包含于工作存储器735中的一或多个指令的一或多个序列的处理单元710(其可被并入操作系统740和/或其它代码内，例如应用程序745)，通过计算机系统700执行此类方法的操作步骤中的一些或全部。可将此类指令从另一计算机可读媒体(例如，存储装置725中的一或多个)读取到工作存储器735中。仅举例来说，包含于工作存储器735中的指令的序列的执行可使得处理单元710执行本文所述方法的一或多个操作步骤。另外或替代地，可经由专用硬件执行本文中所描述的方法的部分。
如本文中所使用，术语“机器可读媒体”和“计算机可读媒体”是指参与提供使得机器以特定方式进行操作的数据的任何媒体。在使用计算机系统700所实施的实施例中，各种计算机可读媒体可涉及将指令/代码提供到处理器710以用于执行，和/或可用于存储及/或载运此类指令/代码。在许多实施方案中，计算机可读媒体为物理和/或有形存储媒体。此媒体可呈非易失性媒体或易失性媒体的形式。非易失性媒体包含(例如)光盘和/或磁盘，例如存储装置725。易失性媒体包含(不限于)例如工作存储器735的动态存储器。
常见形式的物理及/或有形计算机可读媒体包含例如软盘、柔性磁盘、硬盘、磁带，或任何其它磁性媒体、CD-ROM、任何其它光学媒体、具有孔图案的任何其它物理媒体、RAM、PROM、EPROM、快闪EPROM、任何其它存储器芯片或盒带，或计算机可从其读取指令及/或代码的任何其它媒体。
在将一或多个指令的一或多个序列载运到处理器710以供执行过程中可涉及各种形式的计算机可读媒体。仅举例来说，最初可将指令载运于远程计算机的磁盘及/或光学光盘上。远程计算机可将指令载入其动态存储器中并经由传输媒体将指令作为信号发送以由计算机系统700接收和/或执行。
通信子系统730(和/或其组件)大体上将接收信号，且总线705可随后将信号(和/或由信号所载运的数据、指令等)载运到处理器710从其检索并执行指令的工作存储器735。可在由处理器710执行之前或之后，将由工作存储器735所接收的指令任选地储存于非暂时性存储装置725上。
上文所论述的方法、系统和装置为实例。在适当时，各种配置可省略、取代或添加各种程序或组件。举例来说，在替代性配置中，可以不同于所描述的顺来执行方法，和/或可添加、省略和/或组合各种阶段。又，可以各种其它组态组合关于一些组态所描述的特征。可以类似方式组合配置的不同方面和元件。并且，技术发展，且因此，元件中的许多为实例且并不限制本发明或权利要求书的范围。
在描述中给出特定细节以提供对实例配置(包含实施方案)的透彻理解。然而，可在并无这些特定细节的情况下实践配置。举例来说，已在并无不必要细节的情况下展示熟知电路、过程、算法、结构和技术以便避免混淆配置。此描述仅提供实例配置，且并不限制权利要求书的范围、适用性或配置。确切地说，配置的前述描述将向所属领域的技术人员提供用于实施所述技术的启迪性描述。在不脱离本发明的精神或范围的情况下可对元件的功能及布置作出各种改变。
另外，虽然本文描述相对于HMD的实施例，但所属领域的技术人员将了解，可利用其它形式的头戴式显示器。举例来说，本文中所描述的实施例可关于用户可佩戴的一或多个隐形眼镜来实施且/或可实施于用户可通过其感知视野的另一形式的显示器中。此外，虽然本文中相对于透视HMD描述了实施例，但本文所揭示的技术可扩展到其它类型的HMD，其可利用摄像机来捕捉用户环境的图像，所述图像随后向用户显示。
而且，可将配置描述为被描绘为流程图或框的过程。尽管每一个流程图或框可将操作描述为循序过程，但许多操作可并行地或同时执行。另外，可以重新布置操作的次序。过程可具有不包含在图中的额外步骤。此外，可由硬件、软件、固件、中间件、微码、硬件描述语言或其任何组合实施方法的实例。当以软件、固件、中间件或微码实施时，用以执行必要任务的程序代码或代码段可存储在例如存储媒体的非暂时性计算机可读媒体中。处理器可执行所述任务。
如本文所使用，术语“和”以及“或”可包含多种含义，这些含义还预期至少部分取决于使用此类术语的上下文。通常，“或”如果用于关联一个列表(例如A、B或C)，那么意指表示A、B及C(此处是在包含性意义上使用)，以及A、B或C(此处是在排它性意义上使用)。另外，如本文所使用的术语“一或多个”可用于以单数形式描述任何特征、结构或特性，或可用于描述特征、结构或特性的某种组合。然而，应注意这仅仅为说明性实例，且所主张的主题并不限于此实例。此外，如果术语“中的至少一者”用以关联一列表(例如A、B或C)，那么可将其解释为意味着A、B及/或C中的任何组合，例如A、AB、AA、AAB、AABBCCC等。
已描述若干实例配置，可在不脱离本发明的精神的情况下使用各种修改、替代构造及等效物。举例来说，上文元件可为较大系统的组件，其中其它规则可优先于本发明的应用或以其它方式修改本发明的应用。而且，可在考虑以上元件之前、期间或之后进行数个步骤。因此，上文描述并不约束权利要求书的范围。

Claims (34)

1.一种用于通过透视型头戴式显示器HMD显示数据的方法：
确定所述HMD的用户的第一视野；
接收来自至少一个传感器的传感器输入；
使用所述传感器输入检测所述用户的头部围绕轴线的第一移动，使得所述用户具有第二视野；以及
基于所述所检测到的第一移动，使得所述HMD在所述第二视野中显示一或多个持久性数据元素。
2.根据权利要求1所述的方法，其进一步包括：确定所述第一视野为所预期视野。
3.根据权利要求1所述的方法，其中所述轴线为水平轴线或垂直轴线。
4.根据权利要求1所述的方法，其中：
检测所述第一移动包括检测所述用户头部的向下倾斜；且
所述一或多个持久性数据元素包括地图。
5.根据权利要求4所述的方法，其中所述地图包含以下各项中的至少一者：
目的地，
所述用户的位置，或
关注点。
6.根据权利要求5所述的方法，其中所述地图包含所述关注点，所述方法进一步包括，在所述用户的所述第一视野内，显示指示所述地图包含所述关注点的数据元素。
7.根据权利要求4所述的方法，其中所述地图从所述用户的视角出现在所述用户位于其上的物理表面的平面中。
8.根据权利要求4所述的方法，其进一步包括：
接收来自所述用户的输入，以及
基于所述所接收到的输入放大或缩小所述地图。
9.根据权利要求1所述的方法，其进一步包括：
检测第二移动；以及
以对应于所述第二移动的方式移动所述一或多个持久性数据元素。
10.根据权利要求1所述的方法，其中所述一或多个持久性数据元素包括表示可执行应用程序的一或多个图标。
11.根据权利要求1所述的方法，其中所述至少一个传感器包括以下各项中的至少一者：
加速计，
陀螺仪，
磁力计，
摄像机，
卫星定位系统SPS接收器，或
高度计。
12.一种设备，其包括∶
存储器；以及
处理单元，其以通信方式与以下各项耦合：
所述存储器；
一或多个动作传感器，其经配置以感测透视型头戴式显示器HMD的用户的移动；以及
所述HMD的显示器，所述显示器经配置以在用户的视野中展示数据元素，同时允许所述用户查看所述用户的环境中的物理对象；
其中所述处理单元经配置以：
确定所述HMD的所述用户的第一视野；
接收来自所述一或多个动作传感器的传感器输入；
使用所述传感器输入检测用户的头部围绕轴线的第一移动，使得所述用户具有第二视野；以及
基于所述所检测到的第一移动，使得所述显示器在所述第二视野中展示一或多个持久性数据元素。
13.根据权利要求12所述的设备，其中所述处理单元进一步经配置以确定所述第一视野为所预期视野。
14.根据权利要求12所述的设备，其中所述处理单元经配置以：
通过检测所述用户头部的向下倾斜检测所述第一移动；以及
使得所述显示器展示所述一或多个持久性数据元素，其中所述一或多个持久性数据元素包括地图。
15.根据权利要求14所述的设备，其中所述地图包含以下各项中的至少一者：
目的地，
所述用户的位置，或
关注点。
16.根据权利要求15所述的设备，其中所述地图包含所述关注点，所述处理单元进一步经配置以使得所述显示器在所述用户的所述第一视野内展示数据元素，所述数据元素指示所述地图包含所述关注点。
17.根据权利要求14所述的设备，其中所述处理单元经配置以使得所述地图从所述用户的视角出现在在所述用户位于其上的物理表面的平面中。
18.根据权利要求14所述的设备，其中所述处理单元进一步经配置以执行包括以下各项的功能：
接收来自所述用户的输入，以及
基于所述所接收到的输入，使得所述地图放大或缩小。
19.根据权利要求12所述的设备，其中所述处理单元进一步经配置以执行包括以下各项的功能：
检测第二移动；以及
使得所述显示器以对应于所述第二移动的方式移动所述一或多个持久性数据元素。
20.根据权利要求12所述的设备，其中所述设备包括所述HMD。
21.根据权利要求12所述的设备，其中所述设备包括以通信方式与所述HMD耦合的装置。
22.根据权利要求12所述的设备，其中处理单元经配置以通过使得所述显示器展示表示可执行应用程序的一或多个图标来使得所述显示器展示所述一或多个持久性数据元素。
23.根据权利要求12所述的设备，其中所述一或多个动作传感器包括以下各项中的至少一者：
加速计，
陀螺仪，
磁力计，
摄像机，
卫星定位系统SPS接收器，或
高度计。
24.一种计算机可读存储媒体，其具有嵌入其上的指令以用于在透视型头戴式显示器HMD上显示数据元素，所述指令包含用于进行以下操作的计算机可执行代码：
确定所述HMD的用户的第一视野；
接收来自至少一个传感器的传感器输入；
使用所述传感器输入，检测用户头部围绕轴线的第一移动，使得所述用户具有第二视野；以及
基于所述所检测到的第一移动，借助所述HMD在所述第二视野中显示一或多个持久性数据元素。
25.一种设备，其包括：
用于确定HMD的用户的第一视野的装置；
用于接收来自至少一个传感器的传感器输入的装置；
用于使用所述传感器输入，检测用户头部围绕轴线的第一移动，使得所述用户具有第二视野的装置；以及
用于基于所述所检测到的第一移动，经由所述HMD在所述第二视野中显示一或多个持久性数据元素的装置。
26.根据权利要求25所述的设备，其进一步包括用于确定所述第一视野为所预期视野的装置。
27.根据权利要求25所述的设备，其中：
用于检测所述第一移动的所述装置包括用于检测所述用户头部的向下倾斜的计算机可执行代码；以及
所述一或多个持久性数据元素包括地图。
28.根据权利要求27所述的设备，其中所述地图包含以下各项中的至少一者：
目的地，
所述用户的位置，或
关注点。
29.根据权利要求28所述的设备，其中所述地图包含所述关注点，所述设备进一步包括用于在所述用户的所述第一视野内显示数据元素的装置，所述数据元素指示所述地图包含所述关注点。
30.根据权利要求27所述的设备，其包括用于使得所述地图从所述用户的视角出现在所述用户位于其上的物理表面的平面中的装置。
31.根据权利要求27所述的设备，其进一步包括∶
用于接收来自所述用户的输入的装置，以及
用于基于所述所接收到的输入放大或缩小所述地图的装置。
32.根据权利要求25所述的设备，其进一步包括：
用于检测第二移动的装置；以及
用于以对应于所述第二移动的方式移动所述一或多个持久性数据元素的装置。
33.根据权利要求25所述的设备，其中用于显示所述一或多个持久性数据元素的所述装置包括用于显示表示可执行应用程序的一或多个图标的装置。
34.根据权利要求25所述的设备，其中用于接收传感器输入的所述装置包括用于接收来自以下各项中的至少一者的输入的装置：
加速计，
陀螺仪，
磁力计，
摄像机，
卫星定位系统SPS接收器，或
高度计。
CN201480014098.4A 2013-03-14 2014-02-27 用于头戴式显示器的用户界面 Active CN105209959B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US13/827,339 2013-03-14
US13/827,339 US9041741B2 (en) 2013-03-14 2013-03-14 User interface for a head mounted display
PCT/US2014/018938 WO2014158633A1 (en) 2013-03-14 2014-02-27 User interface for a head mounted display

Publications (2)

Publication Number Publication Date
CN105209959A true CN105209959A (zh) 2015-12-30
CN105209959B CN105209959B (zh) 2017-09-26

Family

ID=50342494

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201480014098.4A Active CN105209959B (zh) 2013-03-14 2014-02-27 用于头戴式显示器的用户界面

Country Status (6)

Country Link
US (1) US9041741B2 (zh)
EP (2) EP4317918A3 (zh)
JP (1) JP5909034B1 (zh)
KR (1) KR101679317B1 (zh)
CN (1) CN105209959B (zh)
WO (1) WO2014158633A1 (zh)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105444775A (zh) * 2015-12-31 2016-03-30 歌尔科技有限公司 一种增强现实的导航系统、头戴设备和导航方法
WO2017120766A1 (zh) * 2016-01-12 2017-07-20 深圳多哚新技术有限责任公司 一种头显设备传感器数据中断的处理方法和装置
CN106970734A (zh) * 2016-01-13 2017-07-21 阿里巴巴集团控股有限公司 一种显示设备的任务启动方法和装置
CN107980220A (zh) * 2016-12-22 2018-05-01 深圳市柔宇科技有限公司 头戴式显示设备及其视觉辅助方法
CN108139805A (zh) * 2016-02-08 2018-06-08 谷歌有限责任公司 用于在虚拟现实环境中的导航的控制系统
CN109489654A (zh) * 2018-11-20 2019-03-19 百度在线网络技术（北京）有限公司 导航路线的呈现方法、装置、设备及存储介质
CN110800308A (zh) * 2017-11-08 2020-02-14 谷歌有限责任公司 用于在可穿戴设备中呈现用户界面的方法、系统和介质
CN117234340A (zh) * 2023-11-14 2023-12-15 荣耀终端有限公司 头戴式xr设备用户界面显示方法及设备

Families Citing this family (117)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10168766B2 (en) 2013-04-17 2019-01-01 Nokia Technologies Oy Method and apparatus for a textural representation of a guidance
US10359835B2 (en) 2013-04-17 2019-07-23 Nokia Technologies Oy Method and apparatus for causing display of notification content
US10027606B2 (en) * 2013-04-17 2018-07-17 Nokia Technologies Oy Method and apparatus for determining a notification representation indicative of a cognitive load
US20140358009A1 (en) * 2013-05-30 2014-12-04 Michael O'Leary System and Method for Collecting Eye-Movement Data
US10137361B2 (en) * 2013-06-07 2018-11-27 Sony Interactive Entertainment America Llc Systems and methods for using reduced hops to generate an augmented virtual reality scene within a head mounted system
US10905943B2 (en) * 2013-06-07 2021-02-02 Sony Interactive Entertainment LLC Systems and methods for reducing hops associated with a head mounted system
US10175483B2 (en) * 2013-06-18 2019-01-08 Microsoft Technology Licensing, Llc Hybrid world/body locked HUD on an HMD
US9129430B2 (en) 2013-06-25 2015-09-08 Microsoft Technology Licensing, Llc Indicating out-of-view augmented reality images
CN103353663B (zh) 2013-06-28 2016-08-10 北京智谷睿拓技术服务有限公司 成像调整装置及方法
CN103353677B (zh) 2013-06-28 2015-03-11 北京智谷睿拓技术服务有限公司 成像装置及方法
CN103353667B (zh) 2013-06-28 2015-10-21 北京智谷睿拓技术服务有限公司 成像调整设备及方法
US10134194B2 (en) * 2013-07-17 2018-11-20 Evernote Corporation Marking up scenes using a wearable augmented reality device
CN103424891B (zh) 2013-07-31 2014-12-17 北京智谷睿拓技术服务有限公司 成像装置及方法
CN103431840B (zh) 2013-07-31 2016-01-20 北京智谷睿拓技术服务有限公司 眼睛光学参数检测系统及方法
CN103431980A (zh) 2013-08-22 2013-12-11 北京智谷睿拓技术服务有限公司 视力保护成像系统及方法
CN103439801B (zh) 2013-08-22 2016-10-26 北京智谷睿拓技术服务有限公司 视力保护成像装置及方法
CN103605208B (zh) 2013-08-30 2016-09-28 北京智谷睿拓技术服务有限公司 内容投射系统及方法
CN103500331B (zh) 2013-08-30 2017-11-10 北京智谷睿拓技术服务有限公司 提醒方法及装置
JP5420793B1 (ja) * 2013-09-10 2014-02-19 テレパシー インク 画像の視認距離を調整できるヘッドマウントディスプレイ
CN103558909B (zh) * 2013-10-10 2017-03-29 北京智谷睿拓技术服务有限公司 交互投射显示方法及交互投射显示系统
US20150113454A1 (en) * 2013-10-21 2015-04-23 Motorola Mobility Llc Delivery of Contextual Data to a Computing Device Using Eye Tracking Technology
US20150169048A1 (en) * 2013-12-18 2015-06-18 Lenovo (Singapore) Pte. Ltd. Systems and methods to present information on device based on eye tracking
US10180716B2 (en) 2013-12-20 2019-01-15 Lenovo (Singapore) Pte Ltd Providing last known browsing location cue using movement-oriented biometric data
US9633252B2 (en) 2013-12-20 2017-04-25 Lenovo (Singapore) Pte. Ltd. Real-time detection of user intention based on kinematics analysis of movement-oriented biometric data
WO2015116640A1 (en) * 2014-01-29 2015-08-06 Shazly Tarek A Eye and head tracking device
US10067341B1 (en) * 2014-02-04 2018-09-04 Intelligent Technologies International, Inc. Enhanced heads-up display system
US9773349B2 (en) * 2014-02-19 2017-09-26 Daqri, Llc Active parallax correction
JP6307627B2 (ja) 2014-03-14 2018-04-04 株式会社ソニー・インタラクティブエンタテインメント 空間感知を備えるゲーム機
US9715113B2 (en) * 2014-03-18 2017-07-25 Seiko Epson Corporation Head-mounted display device, control method for head-mounted display device, and computer program
US9696798B2 (en) * 2014-04-09 2017-07-04 Lenovo Enterprise Solutions (Singapore) Pte. Ltd. Eye gaze direction indicator
CN106663410B (zh) * 2014-04-23 2020-05-12 诺基亚技术有限公司 头戴式显示器上的信息显示
US10282696B1 (en) 2014-06-06 2019-05-07 Amazon Technologies, Inc. Augmented reality enhanced interaction system
KR20150141461A (ko) * 2014-06-10 2015-12-18 엘지전자 주식회사 헤드 마운티드 디스플레이 및 그 제어 방법
US9482548B2 (en) * 2014-07-17 2016-11-01 Microsoft Technology Licensing, Llc Route inspection portals
US10451875B2 (en) 2014-07-25 2019-10-22 Microsoft Technology Licensing, Llc Smart transparency for virtual objects
US9865089B2 (en) 2014-07-25 2018-01-09 Microsoft Technology Licensing, Llc Virtual reality environment with real world objects
US9766460B2 (en) 2014-07-25 2017-09-19 Microsoft Technology Licensing, Llc Ground plane adjustment in a virtual reality environment
US10311638B2 (en) 2014-07-25 2019-06-04 Microsoft Technology Licensing, Llc Anti-trip when immersed in a virtual reality environment
US9858720B2 (en) 2014-07-25 2018-01-02 Microsoft Technology Licensing, Llc Three-dimensional mixed-reality viewport
US9904055B2 (en) 2014-07-25 2018-02-27 Microsoft Technology Licensing, Llc Smart placement of virtual objects to stay in the field of view of a head mounted display
US10416760B2 (en) 2014-07-25 2019-09-17 Microsoft Technology Licensing, Llc Gaze-based object placement within a virtual reality environment
US9791919B2 (en) * 2014-10-19 2017-10-17 Philip Lyren Electronic device displays an image of an obstructed target
US20160125652A1 (en) * 2014-11-03 2016-05-05 Avaya Inc. Augmented reality supervisor display
US9535497B2 (en) 2014-11-20 2017-01-03 Lenovo (Singapore) Pte. Ltd. Presentation of data on an at least partially transparent display based on user focus
KR102302721B1 (ko) * 2014-11-24 2021-09-15 삼성전자주식회사 복수의 어플리케이션을 실행하는 전자 장치 및 그 제어 방법
JP2016110296A (ja) * 2014-12-03 2016-06-20 株式会社ゼンリンデータコム ウェアラブルデバイス、情報処理方法及びプログラム
KR101596762B1 (ko) * 2014-12-15 2016-02-23 현대자동차주식회사 스마트 안경을 이용한 차량 위치 안내 방법 및 이를 수행하는 장치
US9542718B2 (en) 2014-12-18 2017-01-10 Intel Corporation Head mounted display update buffer
US9563270B2 (en) 2014-12-26 2017-02-07 Microsoft Technology Licensing, Llc Head-based targeting with pitch amplification
KR20160096422A (ko) * 2015-02-05 2016-08-16 삼성전자주식회사 화면 표시 방법 및 전자 장치
US10409464B2 (en) * 2015-03-18 2019-09-10 Microsoft Technology Licensing, Llc Providing a context related view with a wearable apparatus
JP6421670B2 (ja) * 2015-03-26 2018-11-14 富士通株式会社 表示制御方法、表示制御プログラム、及び情報処理装置
US9442575B1 (en) * 2015-05-15 2016-09-13 Atheer, Inc. Method and apparatus for applying free space input for surface constrained control
WO2016201452A1 (en) * 2015-06-11 2016-12-15 Shuster Gary Methods of aggregating and collaborating search results
ES2746448T3 (es) * 2015-06-16 2020-03-06 Nokia Technologies Oy Realidad mediada
US11172273B2 (en) 2015-08-10 2021-11-09 Delta Energy & Communications, Inc. Transformer monitor, communications and data collection device
WO2017027682A1 (en) * 2015-08-11 2017-02-16 Delta Energy & Communications, Inc. Enhanced reality system for visualizing, evaluating, diagnosing, optimizing and servicing smart grids and incorporated components
WO2017041093A1 (en) 2015-09-03 2017-03-09 Delta Energy & Communications, Inc. System and method for determination and remediation of energy diversion in a smart grid network
US10338673B2 (en) * 2015-09-16 2019-07-02 Google Llc Touchscreen hover detection in an augmented and/or virtual reality environment
US11196621B2 (en) 2015-10-02 2021-12-07 Delta Energy & Communications, Inc. Supplemental and alternative digital data delivery and receipt mesh net work realized through the placement of enhanced transformer mounted monitoring devices
WO2017070648A1 (en) 2015-10-22 2017-04-27 Delta Energy & Communications, Inc. Augmentation, expansion and self-healing of a geographically distributed mesh network using unmanned aerial vehicle technology
WO2017070646A1 (en) 2015-10-22 2017-04-27 Delta Energy & Communications, Inc. Data transfer facilitation across a distributed mesh network using light and optical based technology
KR102450416B1 (ko) * 2015-11-04 2022-10-05 삼성전자주식회사 전자 장치, 웨어러블 장치 및 전자 장치에서 디스플레이되는 객체를 제어하는 방법
US10976808B2 (en) 2015-11-17 2021-04-13 Samsung Electronics Co., Ltd. Body position sensitive virtual reality
KR20170059760A (ko) 2015-11-23 2017-05-31 엘지전자 주식회사 이동단말기 및 그 제어방법
US10229541B2 (en) * 2016-01-28 2019-03-12 Sony Interactive Entertainment America Llc Methods and systems for navigation within virtual reality space using head mounted display
CA3014189A1 (en) * 2016-02-11 2017-08-17 Magic Leap, Inc. Multi-depth plane display system with reduced switching between depth planes
MX2018010238A (es) 2016-02-24 2019-06-06 Delta Energy & Communications Inc Red de malla 802.11s distribuida usando hardware de módulo de transformador para la captura y transmisión de datos.
US10048080B2 (en) 2016-03-22 2018-08-14 Toyota Motor Engineering & Manufacturing North America, Inc. Autonomous vehicle virtual reality navigation system
US20170287215A1 (en) * 2016-03-29 2017-10-05 Google Inc. Pass-through camera user interface elements for virtual reality
CN109074205B (zh) * 2016-03-31 2021-10-26 本田技研工业株式会社 图像显示装置及图像显示方法
US10275023B2 (en) * 2016-05-05 2019-04-30 Google Llc Combining gaze input and touch surface input for user interfaces in augmented and/or virtual reality
US20170345274A1 (en) * 2016-05-27 2017-11-30 General Scientific Corporation Neck posture recording and warning device
US11032471B2 (en) * 2016-06-30 2021-06-08 Nokia Technologies Oy Method and apparatus for providing a visual indication of a point of interest outside of a user's view
WO2018035143A1 (en) 2016-08-15 2018-02-22 Delta Energy & Communications, Inc. Integrated solution of internet of things and smart grid network
US11172005B2 (en) * 2016-09-09 2021-11-09 Nokia Technologies Oy Method and apparatus for controlled observation point and orientation selection audiovisual content
US10168798B2 (en) 2016-09-29 2019-01-01 Tower Spring Global Limited Head mounted display
US20180095636A1 (en) * 2016-10-04 2018-04-05 Facebook, Inc. Controls and Interfaces for User Interactions in Virtual Spaces
US20180096505A1 (en) 2016-10-04 2018-04-05 Facebook, Inc. Controls and Interfaces for User Interactions in Virtual Spaces
US11024091B2 (en) 2016-12-21 2021-06-01 Pcms Holdings, Inc. System and method for placement of augmented reality information for users based on their activity
GB2559127A (en) * 2017-01-25 2018-08-01 Sony Interactive Entertainment Inc Media viewing method and apparatus
JP2018137505A (ja) * 2017-02-20 2018-08-30 セイコーエプソン株式会社 表示装置およびその制御方法
GB201702939D0 (en) * 2017-02-23 2017-04-12 Rotem Gal Systems, methods and computer readable storage media for conditioned accelerometer trigger in man-machine interface for virtual reality glasses
WO2018179425A1 (ja) * 2017-03-31 2018-10-04 株式会社オプティム 音声内容記録システム、方法及びプログラム
US10620779B2 (en) 2017-04-24 2020-04-14 Microsoft Technology Licensing, Llc Navigating a holographic image
CN107274438B (zh) * 2017-06-28 2020-01-17 山东大学 支持移动虚拟现实应用的单Kinect多人跟踪系统及方法
US10904449B2 (en) 2017-07-31 2021-01-26 Disney Enterprises, Inc. Intrinsic color camera
CN107320957B (zh) * 2017-08-21 2021-01-26 网易（杭州）网络有限公司 游戏界面显示方法及装置
US10532814B2 (en) * 2017-09-11 2020-01-14 Disney Enterprises, Inc. Augmented reality travel route planning
US10742952B2 (en) * 2017-09-12 2020-08-11 Htc Corporation Three dimensional reconstruction method, apparatus and non-transitory computer readable storage medium thereof
US10447394B2 (en) * 2017-09-15 2019-10-15 Qualcomm Incorporated Connection with remote internet of things (IoT) device based on field of view of camera
US10489951B2 (en) 2017-09-29 2019-11-26 Qualcomm Incorporated Display of a live scene and auxiliary object
EP3470975B1 (en) * 2017-10-10 2022-08-24 Nokia Technologies Oy An apparatus and associated methods for presentation of a bird's eye view
EP3639523A1 (en) 2017-11-14 2020-04-22 Samsung Electronics Co., Ltd. Method and apparatus for managing a wide view content in a virtual reality environment
DE102017221488A1 (de) * 2017-11-30 2019-06-06 Volkswagen Aktiengesellschaft Verfahren zur Anzeige des Verlaufs einer Trajektorie vor einem Fahrzeug oder einem Objekt mit einer Anzeigeeinheit, Vorrichtung zur Durchführung des Verfahrens sowie Kraftfahrzeug und Computerprogramm
JP2019120979A (ja) * 2017-12-28 2019-07-22 Ｄｙｎａｂｏｏｋ株式会社 電子機器
JP6776287B2 (ja) * 2018-02-16 2020-10-28 Kddi株式会社 移動体で使用可能な装置並びに当該装置の制御プログラム及び方法
US20210102820A1 (en) * 2018-02-23 2021-04-08 Google Llc Transitioning between map view and augmented reality view
DE102018203462A1 (de) * 2018-03-07 2019-09-12 Volkswagen Aktiengesellschaft Verfahren zur Berechnung einer Einblendung von Zusatzinformationen für eine Anzeige auf einer Anzeigeeinheit, Vorrichtung zur Durchführung des Verfahrens sowie Kraftfahrzeug und Computerprogramm
US11301087B2 (en) * 2018-03-14 2022-04-12 Maxell, Ltd. Personal digital assistant
DE102018208700A1 (de) * 2018-06-01 2019-12-05 Volkswagen Aktiengesellschaft Konzept für die Steuerung einer Anzeige eines mobilen Augmented-Reality-Gerätes
WO2019240749A1 (en) * 2018-06-11 2019-12-19 Hewlett-Packard Development Company, L.P. Model generation based on sketch input
US10789952B2 (en) * 2018-12-20 2020-09-29 Microsoft Technology Licensing, Llc Voice command execution from auxiliary input
JP7300287B2 (ja) 2019-03-20 2023-06-29 任天堂株式会社 画像表示システム、画像表示プログラム、表示制御装置、および画像表示方法
US10893127B1 (en) 2019-07-26 2021-01-12 Arkade, Inc. System and method for communicating interactive data between heterogeneous devices
US10773157B1 (en) 2019-07-26 2020-09-15 Arkade, Inc. Interactive computing devices and accessories
US10946272B2 (en) 2019-07-26 2021-03-16 Arkade, Inc. PC blaster game console
US10984242B1 (en) * 2019-09-05 2021-04-20 Facebook Technologies, Llc Virtual proximity compass for navigating artificial reality environments
KR102128894B1 (ko) * 2019-10-10 2020-07-01 주식회사 메디씽큐 스마트 안경의 시선 트래킹 시스템 및 그 방법
CN114746796A (zh) * 2019-12-06 2022-07-12 奇跃公司 动态浏览器舞台
KR102324129B1 (ko) * 2020-02-21 2021-11-11 주식회사 피앤씨솔루션 지도 정보와 imu 센서를 이용한 내비게이션 기능을 갖는 머리 착용형 디스플레이 장치
US11263787B2 (en) * 2020-03-05 2022-03-01 Rivian Ip Holdings, Llc Augmented reality detection for locating autonomous vehicles
US11351457B2 (en) * 2020-09-11 2022-06-07 Riot Games, Inc. Selecting an anchored offset targeting position
US11892624B2 (en) 2021-04-27 2024-02-06 Microsoft Technology Licensing, Llc Indicating an off-screen target
US11928306B2 (en) * 2021-05-19 2024-03-12 Snap Inc. Touchpad navigation for augmented reality display device
US11880542B2 (en) 2021-05-19 2024-01-23 Snap Inc. Touchpad input for augmented reality display device
US20240281109A1 (en) * 2023-02-17 2024-08-22 Apple Inc. Systems and methods of displaying user interfaces based on tilt

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6198462B1 (en) * 1994-10-14 2001-03-06 Hughes Electronics Corporation Virtual display screen system
US20100238161A1 (en) * 2009-03-19 2010-09-23 Kenneth Varga Computer-aided system for 360º heads up display of safety/mission critical data
US20110234879A1 (en) * 2010-03-24 2011-09-29 Sony Corporation Image processing apparatus, image processing method and program
US20120212400A1 (en) * 2010-02-28 2012-08-23 Osterhout Group, Inc. See-through near-eye display glasses including a curved polarizing film in the image source, a partially reflective, partially transmitting optical element and an optically flat film

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0784519A (ja) * 1993-09-17 1995-03-31 Sony Corp ナビゲーションシステム
JPH10133840A (ja) * 1996-11-01 1998-05-22 Olympus Optical Co Ltd 情報処理用システム装置
JP2000284214A (ja) * 1999-03-30 2000-10-13 Suzuki Motor Corp ヘルメット搭載用表示手段制御装置
WO2005043218A1 (ja) 2003-10-30 2005-05-12 Brother Kogyo Kabushiki Kaisha 画像表示装置
EP1751499B1 (en) 2004-06-03 2012-04-04 Making Virtual Solid, L.L.C. En-route navigation display method and apparatus using head-up display
KR101084853B1 (ko) 2004-08-03 2011-11-21 실버브룩 리서치 피티와이 리미티드 워크 업 프린팅
WO2008055262A2 (en) 2006-11-02 2008-05-08 Sensics, Inc. Systems and methods for a head-mounted display
US20130278631A1 (en) * 2010-02-28 2013-10-24 Osterhout Group, Inc. 3d positioning of augmented reality information
US8964298B2 (en) * 2010-02-28 2015-02-24 Microsoft Corporation Video display modification based on sensor input for a see-through near-to-eye display
US20120075167A1 (en) 2010-09-29 2012-03-29 Eastman Kodak Company Head-mounted display with wireless controller
US9217867B2 (en) 2011-03-24 2015-12-22 Seiko Epson Corporation Head-mounted display device and control method for the head-mounted display device
CN103620527B (zh) 2011-05-10 2018-08-17 寇平公司 使用动作和语音命令来控制信息显示和远程设备的头戴式计算机
US20130007672A1 (en) 2011-06-28 2013-01-03 Google Inc. Methods and Systems for Correlating Head Movement with Items Displayed on a User Interface
US9081177B2 (en) * 2011-10-07 2015-07-14 Google Inc. Wearable computer with nearby object response
US8866852B2 (en) * 2011-11-28 2014-10-21 Google Inc. Method and system for input detection
US20130139082A1 (en) * 2011-11-30 2013-05-30 Google Inc. Graphical Interface Having Adjustable Borders
US9058054B2 (en) * 2012-02-29 2015-06-16 Google Inc. Image capture apparatus

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6198462B1 (en) * 1994-10-14 2001-03-06 Hughes Electronics Corporation Virtual display screen system
US20100238161A1 (en) * 2009-03-19 2010-09-23 Kenneth Varga Computer-aided system for 360º heads up display of safety/mission critical data
US20120212400A1 (en) * 2010-02-28 2012-08-23 Osterhout Group, Inc. See-through near-eye display glasses including a curved polarizing film in the image source, a partially reflective, partially transmitting optical element and an optically flat film
US20110234879A1 (en) * 2010-03-24 2011-09-29 Sony Corporation Image processing apparatus, image processing method and program

Cited By (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105444775A (zh) * 2015-12-31 2016-03-30 歌尔科技有限公司 一种增强现实的导航系统、头戴设备和导航方法
WO2017120766A1 (zh) * 2016-01-12 2017-07-20 深圳多哚新技术有限责任公司 一种头显设备传感器数据中断的处理方法和装置
CN106970734B (zh) * 2016-01-13 2020-12-18 阿里巴巴集团控股有限公司 一种显示设备的任务启动方法和装置
CN106970734A (zh) * 2016-01-13 2017-07-21 阿里巴巴集团控股有限公司 一种显示设备的任务启动方法和装置
CN108139805A (zh) * 2016-02-08 2018-06-08 谷歌有限责任公司 用于在虚拟现实环境中的导航的控制系统
CN108139805B (zh) * 2016-02-08 2021-05-25 谷歌有限责任公司 用于在虚拟现实环境中的导航的控制系统
CN107980220A (zh) * 2016-12-22 2018-05-01 深圳市柔宇科技有限公司 头戴式显示设备及其视觉辅助方法
WO2018112838A1 (zh) * 2016-12-22 2018-06-28 深圳市柔宇科技有限公司 头戴式显示设备及其视觉辅助方法
CN110800308A (zh) * 2017-11-08 2020-02-14 谷歌有限责任公司 用于在可穿戴设备中呈现用户界面的方法、系统和介质
US11194463B2 (en) 2017-11-08 2021-12-07 Google Llc Methods, systems, and media for presenting offset content
CN110800308B (zh) * 2017-11-08 2022-01-11 谷歌有限责任公司 用于在可穿戴设备中呈现用户界面的方法、系统和介质
US11861157B2 (en) 2017-11-08 2024-01-02 Google Llc Methods, systems, and media for presenting offset content
CN109489654B (zh) * 2018-11-20 2020-07-28 百度在线网络技术（北京）有限公司 导航路线的呈现方法、装置、设备及存储介质
CN109489654A (zh) * 2018-11-20 2019-03-19 百度在线网络技术（北京）有限公司 导航路线的呈现方法、装置、设备及存储介质
CN117234340A (zh) * 2023-11-14 2023-12-15 荣耀终端有限公司 头戴式xr设备用户界面显示方法及设备

Also Published As

Publication number Publication date
EP4317918A3 (en) 2024-04-10
EP2972558A1 (en) 2016-01-20
KR101679317B1 (ko) 2016-12-06
KR20150121252A (ko) 2015-10-28
WO2014158633A1 (en) 2014-10-02
US9041741B2 (en) 2015-05-26
CN105209959B (zh) 2017-09-26
JP2016514314A (ja) 2016-05-19
EP4317918A2 (en) 2024-02-07
EP2972558B1 (en) 2024-03-20
JP5909034B1 (ja) 2016-04-26
US20140267400A1 (en) 2014-09-18

Similar Documents

Publication Publication Date Title
CN105209959B (zh) 用于头戴式显示器的用户界面
US11150738B2 (en) Wearable glasses and method of providing content using the same
US11231777B2 (en) Method for controlling device on the basis of eyeball motion, and device therefor
JP5675470B2 (ja) 画像生成システム、プログラム及び情報記憶媒体
US10521944B2 (en) Repositioning user perspectives in virtual reality environments
JP6600310B2 (ja) シースルー頭部装着型装置に基づいたナビゲーション方法
CN104380237A (zh) 用于头戴式显示器的反应性用户接口
KR102361025B1 (ko) 웨어러블 글래스 및 웨어러블 글래스를 통하여 영상을 디스플레이하는 방법
KR20190089627A (ko) Ar 서비스를 제공하는 디바이스 및 그 동작 방법
KR102641881B1 (ko) 전방위 영상을 획득하는 방법 및 장치
US9958681B2 (en) Electronic device and control method thereof
JP2016096513A (ja) 情報処理システム、情報処理方法及びプログラム
US10635189B2 (en) Head mounted display curser maneuvering
JP6802640B2 (ja) ウェアラブル端末、プログラム及び情報処理方法
JP2016110296A (ja) ウェアラブルデバイス、情報処理方法及びプログラム
KR101899465B1 (ko) 위치 정보를 활용한 여행지 정보 제공 장치
JP2011220899A (ja) 情報提示システム
JP6396155B2 (ja) 情報処理システム、情報処理方法及びプログラム
KR20180065245A (ko) 전자 장치 및 그의 동작 방법

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant