CN104335142A - 用于透明头戴式显示器的用户接口交互 - Google Patents

用于透明头戴式显示器的用户接口交互 Download PDF

Info

Publication number
CN104335142A
CN104335142A CN201380029494.XA CN201380029494A CN104335142A CN 104335142 A CN104335142 A CN 104335142A CN 201380029494 A CN201380029494 A CN 201380029494A CN 104335142 A CN104335142 A CN 104335142A
Authority
CN
China
Prior art keywords
effective district
user
hmd
display region
transparence display
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201380029494.XA
Other languages
English (en)
Other versions
CN104335142B (zh
Inventor
朱利亚诺·马乔奇
詹姆斯·约瑟夫·马尔霍兰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Qualcomm Inc
Original Assignee
Qualcomm Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Qualcomm Inc filed Critical Qualcomm Inc
Publication of CN104335142A publication Critical patent/CN104335142A/zh
Application granted granted Critical
Publication of CN104335142B publication Critical patent/CN104335142B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/012—Head tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304—Detection arrangements using opto-electronic means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304—Detection arrangements using opto-electronic means
    • G06F3/0325—Detection arrangements using opto-electronic means using a plurality of light emitters or reflectors or a plurality of detectors forming a reference frame from which to derive the orientation of the object, e.g. by triangulation or on the basis of reference deformation in the picked up image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04817—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance using icons
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/0482—Interaction with lists of selectable items, e.g. menus
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04842—Selection of displayed objects or displayed text elements
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/014—Head-up displays characterised by optical features comprising information/image processing systems
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0179—Display position adjusting means not related to the information to be displayed
    • G02B2027/0187—Display position adjusting means not related to the information to be displayed slaved to motion of at least a part of the body of the user, e.g. head, eye
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/048—Indexing scheme relating to G06F3/048
    • G06F2203/04808—Several contacts: gestures triggering a specific function, e.g. scrolling, zooming, right-click, when the user establishes several contacts with the surface simultaneously; e.g. using several fingers or a combination of fingers and pen

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Optics & Photonics (AREA)
  • User Interface Of Digital Computer (AREA)
  • Processing Or Creating Images (AREA)
  • Controls And Circuits For Display Device (AREA)

Abstract

本发明的实施例针对于使得用户能够与由HMD显示的图形用户接口GUI快速地交互。利用本文中提供的技术，可使用手或其它物体来选择由所述HMD显示的视觉元素。所述视觉元素可位于较大的有效区内，从而允许所述用户通过选择视觉元素安置在其中的所述有效区来更容易地选择所述视觉元素。

Description

用于透明头戴式显示器的用户接口交互
背景技术
透视头戴式显示器(HMD)可在用户的视野内提供透明的显示区域，其中用户可观看用户的周围环境中的物理物体及显示器上的虚拟物体两者。举例来说，一些HMD可通过使用与所述物理物体相关联或与用户的位置和/或背景相关联的数字内容(例如，文本、图片和/或视频)覆盖用户观看的物理物体而提供“扩增实境”功能性。对此类HMD的输入通常受限于按钮、触摸垫或其它简单的输入装置。这些输入装置可较大且低效。
发明内容
本发明的实施例针对于使得用户能够使用手和/或其它物体与由头戴式显示器(HMD)显示的图形用户接口(GUI)交互。利用本文中提供的技术，可使用手或其它物体来选择由HMD显示的视觉元素。所述视觉元素可位于较大的有效区内，从而允许用户通过选择视觉元素安置在其中的有效区而更容易地选择视觉元素。
根据本发明的在HMD中提供用户接口的实例方法包含致使在所述HMD的透明显示区域中显示第一视觉元素。所述第一视觉元素可由所述HMD的用户选择。所述方法还包含：界定所述透明显示区域的大于所述第一视觉元素的第一有效区，以使得所述第一视觉元素安置在所述第一有效区的一部分内；及跟踪从所述用户的视角来看显现在所述透明显示区域内的物理物体。所述方法进一步包含：确定所述物理物体的至少一部分从用户的视角来看显现在所述第一有效区内，从而指示对所述第一视觉元素的选择；及使用处理单元基于所述选择来操控所述用户接口。
根据本发明的实例HMD包含：显示器，其具有透明显示区域；传感器，其经配置以提供关于所述HMD的用户可通过所述透明显示区域观看的物体的数据；处理单元，其与所述显示器及所述传感器通信地耦合。所述处理单元经配置以执行多个功能，所述功能包含：致使所述显示器在所述透明显示区域中展示第一视觉元素，其中所述第一视觉元素可由所述用户选择；及界定所述透明显示区域的第一有效区，以使得所述第一视觉元素安置在所述第一有效区的一部分内。所述处理单元进一步经配置以使用来自所述传感器的所述数据来跟踪从用户的视角来看显现在所述透明显示区域内的物理物体。此外，所述处理单元还经配置以：确定所述物理物体的至少一部分从用户的视角来看显现在所述第一有效区内，从而指示对所述第一视觉元素的选择；及基于所述选择来操控在所述显示器上显示的一或多个元素。
根据本发明的实例计算机可读存储媒体编码有用于致使HMD执行多个功能的指令，所述功能包含：致使在所述HMD的透明显示区域中显示第一视觉元素，其中所述第一视觉元素可由所述HMD的用户选择；及界定所述透明显示区域的大于所述第一视觉元素的第一有效区，以使得所述第一视觉元素安置在所述第一有效区的一部分内。所述指令还致使HMD：跟踪从用户的视角来看显现在所述透明显示区域内的物理物体；及确定所述物理物体的至少一部分从用户的视角来看显现在所述第一有效区内，从而指示对所述第一视觉元素的选择。所述指令进一步致使HMD基于所述选择而操控在所述透明显示区域中显示的一或多个元素。
根据本发明的实例设备包含用于致使在HMD的透明显示区域中显示第一视觉元素的装置，其中所述第一视觉元素可由所述HMD的用户选择。所述设备还包含：用于界定所述透明显示区域的第一有效区以使得所述第一视觉元素安置在所述第一有效区的一部分内的装置；及用于跟踪从所述用户的视角来看显现在所述透明显示区域内的物理物体的装置。所述设备进一步包含：用于确定所述物理物体的至少一部分从用户的视角来看显现在所述第一有效区内从而指示对所述第一视觉元素的选择的装置；及用于使用处理单元基于所述选择来操控一或多个元素的装置。
本文所述的项目及/或技术可提供以下能力中的一或多者以及未提及的其它能力。技术可通过在较大的有效区内提供视觉元素而使得能够容易地导览GUI。此外，可使用额外的视觉元素及对应的有效区(提供(例如)子菜单)来取代所选择的视觉元素及对应的有效区以用于进一步交互。这些及其它实施例连同其许多优点及特征会结合下文的文字及附图进行更详细地描述。
附图说明
参照以下各图，可以实现对各种实施例的性质及优点的进一步的理解。在附图中，类似的组件或特征可以具有相同的参考标记。此外，可通过在参考标记之后跟着短划线及在类似组件当中进行区分的第二标记来区分相同类型的各种组件。如果在说明书中仅使用第一参考标记，那么描述适用于具有相同第一参考标记的类似组件中的任一者，而不管第二参考标记如何。
图1是根据一个实施例的物体跟踪头戴式显示器(HMD)的简化说明。
图2是可利用本文中提供的技术的HMD的各种实施例的说明。
图3说明根据一个实施例的从用户的视角来看的穿过HMD的视图。
图4A到4E是根据一个实施例的展示对物理物体的跟踪可如何使得用户快速地导览穿过HMD的用户接口的一连串说明。
图5A到5C说明图形用户接口(GUI)可如何响应于用户交互的另一实施例。
图6A到6B是演示根据一个实施例的有效区的布局的说明。
图7A到7B是演示根据一个实施例的有效区的布局的说明。
图8A到8C是演示根据一个实施例GUI可如何响应于物体的检测到的移动的说明。
图9是说明实现与HMD的用户交互的方法的实施例的流程图。
图10是可并入到HMD中且/或与HMD通信地耦合的计算机系统的实施例的简化框图。
具体实施方式
参考图式提供以下描述，其中相同的参考标号始终用于指代相同的元件。虽然本文中描述一或多种技术的各种细节，但其它技术也是可能的。在一些情况下，以框图形式展示结构及装置以有助于描述各种技术。
本发明的实施例针对于实现与头戴式显示器(HMD)的用户交互。HMD是可向佩戴其的用户显示信息的装置。此外，因为这些装置佩戴在用户的头上，所以HMD可具有其它显示器无法实现的能力。举例来说，HMD可在用户的视野内提供透明显示区域，其中用户可观看物理物体及显示器上的虚拟物体两者。一些实施例可通过使用与所述物理物体相关联或与用户的位置和/或背景相关联的数字内容(例如，文本、图片和/或视频)覆盖用户观看的物理物体而提供“扩增实境”功能性。本发明的实施例进一步使得用户能够看到且/或操控物理物体以快速地在由HMD显示的用户接口(例如，图形用户接口或“GUI”)中选择项目且/或执行与所述用户接口的其它交互。
虽然本文中提供的实例论述用于与HMD交互的单一物理物体(例如，手、手指等)，但本文中提供的技术可容易地允许用户使用两个或两个以上个物理物体与由HMD显示的用户接口交互。此外，虽然本文中关于HMD来描述实施例，但所属领域的技术人员将了解，可利用其它显示器或其它形式的抬头显示器。举例来说，本文中所描述的实施例可关于用户可佩戴的一或多个隐形眼镜来实施且/或可实施于用户可通过其感知视野的另一形式的显示器中。
图1是根据一个实施例的经配置以跟踪用于用户接口交互的物体的HMD 120的简化说明100。在此实施例中，用户110佩戴的HMD 120具有提供数据的相机和/或其它传感器(例如，能够感测光、热、超音波、射频(RF)信号等的传感器)，可使用所述数据来跟踪例如用户的手130等物体。在这样做时，HMD 120能够操控由HMD 120显示的GUI，从而不需要用以接收用户输入的单独接口(例如，触摸垫、按钮等)。甚至这样可将其它接口并入到HMD 120中且或与HMD 120通信地耦合，这取决于所要的功能性。此外，在一些实施例中可省略一或多个元素的显示和/或GUI的呈现。举例来说，下文描述其中在接受来自用户的输入时不显示视觉元素的实施例。此外，由用户输入引起或选择的功能性在本质上可见或不可见。为了执行本文中所描述的功能，HMD120可并入计算机系统和/或与所述计算机系统通信，所述计算机系统例如为下文关于图10所描述的计算机系统。
图2是可利用本文中提供的技术的HMD 120的各种实施例的说明。所展示的实施例包含显示器220及一或多个相机210。这些实施例包含在用户的眼睛前方定位显示器220的类似于可搁置在用户的鼻子及耳朵上的眼镜的框架。
显示器220的至少一部分是透明的，从而提供透明显示区域，所述透明显示区域使得用户能够不仅观看在显示器220上展示的视觉元素，并且能够观看用户的周围环境中的物理物体。在显示器220上展示的视觉元素的透明度的水平可变化，这取决于显示器220的所要的功能性、在显示器220上展示的GUI的设定和/或由HMD 120执行的软件应用(例如，视频、地图、因特网浏览器等)。虽然图2中展示的实施例说明定位在类似于眼镜的框架中的显示器220，但在其它实施例中可利用能够提供透明显示区域的其它技术(例如，视网膜投影仪、隐形眼镜或其它光学系统)。
面朝外的相机210可俘获用户的周围环境的图像，包含可由用户110控制以将输入提供给HMD 120的用户的手130和/或其它物体。如图2中所指示，所述相机可为RGB(红色、绿色、蓝色)和/或RGBD(红色、绿色、蓝色加深度)相机，但其它实施例可包含将图像和/或其它信息提供给处理单元的其它类型的相机和/或传感器，其使得HMD 120能够跟踪用户的前方的物理物体。在一个实施例中，举例来说，HMD 120可利用单一RGB相机210来跟踪物理物体的垂直及水平位置。其它实施例也可使用能够确定深度(例如，飞行时间测距相机)的多个相机210和/或相机210以跟踪物理物体的深度。相机210可具有一视野，其使得HMD 120能够跟踪从用户的视角来看显现在透明显示区域内的物理物体。在从用户110的视角来看所述物理物体不在透明显示区域内时，实施例可切换到低功率模式。在一些实施例中，相机210可具有比透明显示区域宽的视野以允许HMD 120在HMD 120确定物理物体正接近透明显示区域(从用户110的视角来看)时开始执行和/或按比例增加物体跟踪算法。
图3说明从用户110的视角来看通过显示器220所得的视图300。如上文所指示，透明显示区域310可使得用户110能够看到透明显示区域310中展示的视觉元素以及用户的周围环境中的物理物体两者。在图3的实例视图300中，举例来说，用户能够观看指示日期和时间以及用户的手130的所显示的视觉元素330。
HMD 120可执行从相机210接收图像且跟踪某些辨识出的物体的跟踪算法。此外，相机210及跟踪算法可经校准以在从用户110的视角来看物理物体显现在透明显示区域310中时确定所述物理物体上的跟踪点320的位置。在图3中展示的视图300中，此跟踪点320对应于用户的手130的指尖。对物理物体(例如，用户的手130)的操控及跟踪点320的对应移动可使得用户110能够与透明显示区域310中展示的GUI和/或其它视觉元素交互。可注意到，跟踪点320可在透明显示区域310中突出显示或可不突出显示，这取决于所要的功能性。
多种物体中的任一者可用于允许用户与GUI交互，所述物体例如为用户的手、专门的设备和/或可由HMD辨识的任何其它物体。HMD的用户设定可允许用户指定用于GUI交互的物体。如下文更详细地解释，物体跟踪可利用多种视觉跟踪方法中的任一者，其可涉及确定物体的各种特性，例如形状、色彩和/或移动。在一些实施例中，可利用深度滤波来帮助确保针对GUI交互而跟踪的物体是由用户控制的。因此，在HMD确定物体在距HMD阈值距离内之后，HMD将允许GUI交互。用于作出此确定的装置可包含与能够确定距离的传感器(例如，相机(例如，立体相机、depth相机等)、接近度传感器等)耦合的处理单元。
图4A到4E是展示对物理物体的跟踪可如何使得用户能够快速地导览穿过HMD120的GUI的一连串说明。图4A说明具有默认视觉元素330(例如，日期和时间)的透明显示区域310，在GUI和/或另一应用不活动时HMD 120可显示所述默认视觉元素。虽然在图4A到4E中未展示，但可通过透明显示区域310观看用户的周围环境中的物体。
在图4B中，HMD 120辨识用于GUI交互的物理物体且建立跟踪点320。如先前论述，跟踪点320可或可不在透明显示区域310中突出显示(或以其它方式指示)。所述物理物体可为可由HMD 120辨识及跟踪的任何物理物体(例如，身体部分、指向装置)。一些实施例可允许用户110指定哪一物理物体可用于与HMD的GUI交互。
在一些实施例中，HMD 120可不建立跟踪点320且/或唤醒HMD 120的GUI来用于用户交互(例如，显示第一组视觉元素和/或选项)，直到出现触发事件为止。此可帮助防止与GUI的非故意的用户交互。在一些实施例中，所述触发事件可为物体摆出某一姿势，例如指针手指伸展的手(如图4B中所示)。在其它实施例中，所述触发事件可为所辨识的物理物体显现在透明显示区域310中达至少阈值时间量。一些实施例可需要两者。举例来说，HMD 120可在确定用户的手具有在约定姿势中伸展的指针手指且从用户的视角来看已位于透明显示区域310的视野内达至少2秒之后而激活GUI以用于用户交互。其它实施例可在大于或小于2秒的时间周期之后激活GUI，这取决于所要的功能性。在一些实施例中，所述触发事件包含用户的手和/或手指位于显示区域310的特定或预定部分中，例如在显示区域310边缘附近或具体来说在拐角附近。可利用各种其它触发事件。
在图4C中，HMD 120的GUI显示对应于用户110可从其进行选择的选项的一组视觉元素410。每一视觉元素可与相应的有效区420相关联和/或被所述有效区包围。在一些实施例中，元素410和/或区420可在相对于用户的虚拟平面中显示。有效区420允许用户通过将跟踪点320移动到相应的有效区420来选择对应于视觉元素的选项。取决于视觉元素410的放置及有效区420的所要的大小及形状，有效区的一或多个边界可延伸到透明显示区域310的边缘。此外，用户可以更容易地来回移动他的手以便指定要选择的元件，而不是必须将他的手或手指放置在更靠近显示区域310的底部或顶部的特定位置中。此外，可常常甚至在用户在行走或用户的手不稳定时使用所述选择区域，这是因为在一些实施例中，选择区420所需的精度可小于选择元素410所需的精度。在一些实施例中，识别用户的手在区420的任何部分中与触摸特定元素410相比可使用较少的处理功率和/或等待时间和/或具有较低分辨率的图像。在一些实施例中，视觉元素410不是在大致一致的垂直高度处显示，如图4C及4D中所说明。举例来说，元素410中的一或多者可在垂直放置上变化，同时仍位于大体上柱状的相应区420内。
虽然有效区420可呈现各种形状及大小，但柱可特别有助于促进容易的GUI交互。这是因为，在将透明显示区域310分割为柱时，视觉元素410可位于透明显示区域310的垂直中央位置处，其允许用户容易地看到视觉元素410。另外，因为用户的手将很可能从底部边缘进入透明显示区域310，所以柱状的有效区420可促进选择，这是因为它们可朝向透明显示区域310的底部边缘朝下延伸。在一些配置中，柱状的有效区420可全部延伸到底部边缘。
展示有效区域的方式可变化，这取决于实施例，所述方式可由一或多个用户设定确定。举例来说，一些实施例可允许一次展示所有有效区420。也就是说，展示(例如，突出显示、具有可见边界等)每一视觉元素410的有效区420。在其它实施例中，可不展示特定的有效区420，直到跟踪点320进入所述区为止(例如，如图4C及4D中展示)。在一些实施例中，可完全不展示区420，而是用于确定用户选择。
图4D展示如何作出此选择。如所说明，用户可移动物体以使得从用户的视角来看跟踪点320位于标记为“1”的视觉元素定位在其中的有效区420-1内。用户可以各种方式指示对对应的视觉元素的选择，例如简单地将跟踪点320保持在有效区420-1内达阈值时间量、将物理物体摆出“选择”姿势(例如，合起拳头、将指针手指向后拖等)，及类似者。在此类实施例中，HMD可显示指示跟踪点320位于有效区内的时长的图标，例如进度条、计数器、沙漏或其类似者。此外，在其中HMD 120能够跟踪物体的深度的实施例中，可通过在朝向或远离用户的方向上移动物理物体(例如，作出“推动”和/或“拉动”运动)来作出选择。取决于所要的功能性，用户可通过(例如)用户偏好菜单来确定选择方法。
图4E展示在作出选择时GUI可如何显示第二组视觉元素430。可显示多种视觉元素中的任一者，这取决于HMD 120的功能性及所选择的选项。举例来说，HMD 120可包含GUI，所述GUI使得用户能够导览穿过多种文件夹、菜单屏幕和/或其它选择屏幕以选择广泛多种特征和/或应用中的任一者。所述应用可包含(例如)音频播放器、视频播放器、导航程序、相机/摄录影机程序、扩增实境应用、因特网浏览器及类似者。此外，HMD 120可包含其它输入装置，例如麦克风、触摸垫、键盘等，其可允许用户进一步与由HMD 120执行及在透明显示区域310中展示的GUI和/或应用交互。
图5A到5C说明GUI可如何响应于用户交互的替代实施例。在图5A中，与图4C到4D一样，可向用户提供若干可选择的视觉元素410。然而，此处，在用户选择第一视觉元素“1”(例如，通过将他的或她的手定位到第一有效区420-1中达一定时间周期)之后，视觉元素“1”被额外的视觉元素“1a”及“1b”取代，如图5B中所示。这些额外的视觉元素可表示将另一层深度提供给GUI的菜单的子菜单项目。额外的视觉元素“1a”及“1b”分别具有对应的有效区420-a及420-b，用户可通过所述有效区选择视觉元素“1a”及“1b”。虽然在图5B及5C中仅展示两个视觉元素来取代图5A的视觉元素“1”，但可使用任何数目的视觉元素410(使用对应数目的有效区420)。此数目可取决于所选择的视觉元素410、所要的功能性和/或其它因素。一些视觉元素410可完全不引起额外的视觉元素，而是引起应用和/或其它功能性。
图5C展示图5B的任选的变化，其说明较大的视觉元素“1a”及“1b”。实际上，不同的实施例可具有比所述图的实施例所展示的视觉元素更大或更小的视觉元素410。此外，虽然一些视觉元素410可占据其相应的有效区420的仅小部分，但其它视觉元素410可占据其相应的有效区420的全部或几乎全部。此外，虽然图5B及5C在与视觉元素“1”的有效区420-1相同的宽度的有效区420-a及420-b内展示视觉元素“1a”及“1b”，但实施例不限于此。举例来说，为了允许菜单选择中的较低精度，视觉元素“1a”及“1b”和/或对应的有效区420-a及420-b可部分或完全跨越显示器水平地延伸。
作为其中视觉元素410可被多个视觉元素取代的GUI的一实例，最高级菜单可包含若干视觉元素410，如图5A中所示，其表示HMD的不同功能，例如多媒体、因特网搜索、导航、网络浏览器及类似者，其中每一视觉元素410定位在柱状有效区420内。如果用户选择网络浏览器视觉元素，那么可引起网络浏览器应用。然而，如果用户选择多媒体视觉元素，那么多媒体视觉元素定位在其中的柱状有效区可分裂为多个有效区，每一有效区具有其自身的表示一类型的多媒体的视觉元素，例如视频及音乐。此外，这些额外视觉元素中的每一者(及相应的有效区)可甚至以类似方式进一步分裂为多种类型的视频或音乐(例如，流派、播放列表、电影、电视节目等)，以使得存在多个层级的子菜单。因为每一子菜单可需要额外水平的准确度，所以子菜单层级的量可取决于所选择的选项和/或所要的功能性。举例来说，因为预期电影比音乐需要更多的来自用户的关注，所以电影可比音乐具有更多的子菜单层级(其可需要更多的准确度进行选择)。此外，子菜单的层级可在垂直与水平对准之间切换。举例来说，如果用户选择视觉元素“1b”且存在与1b相关联的子菜单项目，那么这些子菜单项目可再次水平地分布(类似于图5A)，以此类推。
当然，提供图5A到5C中所说明的功能性以作为用户可如何快速地导览穿过菜单及子菜单选项而不从显示移除未选的视觉元素410的一实例。或者，对视觉元素410的选择可引起表示完全取代原始菜单的子菜单的一组新的视觉元素410。
虽然有效区420已经在本文中被说明为透明显示区域310的柱，但实施例不限于此。图6A到7B说明有效区420可如何依据视觉元素410的布局而变化。图6A及6B(例如)说明有效区420可如何定位在透明显示区域310的上部、下部、左边及右边象限中。对视觉元素的选择可类似于先前描述的实施例。其它实施例可具有更多的视觉元素410或更少的视觉元素410，其可不同地定位(例如，以栅格、圆圈或其它方式)。在此类实施例中，有效区经定位以对应地包围视觉元素410。此外，实施例可包含有效区420之间的可不与任何视觉元素410对应或致使作出选择的空间，其可使视觉元素选择更容易。
图7A及7B说明透明显示区域310的边缘处或附近的有效区420可如何与某些功能相关联以用于导览用户接口，例如“后退”、“前进”、“上翻”和/或“下翻”。此处，有效区420可不对应于所显示的视觉元素410(未图示)。在一些实施例中，后退、前进、上翻和/或下翻标记中的一或多者可不在透明显示区域310中展示。举例来说，在其中不存在写入或标记的一些实施例中，图6B中的上部区420可对应于上翻命令。可利用将各种有效区420关联到不同的导航功能和/或其它命令的众多其它配置。
除了跟踪跟踪点320的位置之外，HMD 120可进一步经配置以跟踪跟踪点320的运动。此类功能性可使得用户110能够利用某些运动，例如“滑动”、“翻转”及类似者。此可使得用户能够以比仅通过位置跟踪进行导览更高的效率导览穿过菜单项目和/或其它内容。图8A到8C说明此实施例。
在图8A中，用户可通过(例如)使用整个手或仅使用一或多根手指选择视觉元素410且在某一方向上“滑动”来移动一或多个视觉元素410，在此情况下，HMD 120致使视觉元素410在所滑动的方向上对应地移动，如图8B中所示。任选地，用户可简单地在对应于视觉元素410的有效区420中的任何地方滑动。如所说明，另一视觉元素410也可对应地移动，从而允许用户容易地滚动穿过多个视觉元素410。虽然图8A到8C展示用户将所有视觉元素410向左移动一个位置(即，将视觉元素“1”到“5”移动到左边一个位置以展示视觉元素“2”到“6”)，但滑动可导致视觉元素410的更大的移动，这取决于滑动的速度、运动和/或其它特性。此外，在一些实施例中，滑动可在屏幕的任何区域中进行，其可影响功能性。举例来说，用户可在所显示的视觉元素410下方滑动以向HMD 120指示用户想要滚动穿过视觉元素410而不是选择其中的一者。在其中用户将手指放置在视觉元素410(或有效区420)上且随后滑动的实施例中，激活滑动/滚动的时间(保持手指静止)可小于选择视觉元素410的时间(保持手指静止)。
这些GUI交互技术可扩展到扩增实境情形，其使得用户能够与和物理物体相关的一段扩增实境内容交互。此扩增实境情形可在HMD 120使用相机210和/或其它传感器识别物理位置、物体、表面、纹理、图像等时出现。HMD 120可随后分析所述物理位置、物体、表面、纹理、图像等且将其与扩增实境和/或视觉搜索应用中的本地或在线数据库进行比较。所述分析可返回HMD 120显示的数字内容以使得其从用户的视角来看显现在所识别的位置、物体、表面、纹理、图像等的物理附近。在一些实施例中，所述数字内容看似锚定到所识别的对象、表面等或在其上显示。所述数字内容可具有被屏幕的有效区包围的交互式元素或包含所述有效区，从而使得用户能够与所显示的数字内容交互。举例来说，数字内容可包含表示“按我可获得更多信息”的按钮。在一些实施例中，可在所述按钮周围界定有效区以便在超出所述按钮的区中延伸和/或从所述按钮大体上延伸到HMD 120的显示器的边缘，其类似于上述实施例中的某些实施例。在一些实施例中，按钮和/或有效区看似锚定到所述有效区和/或按钮与其相关联的物体、表面等或在其上显示。
HMD 120可跟踪用户的手(或其它物体)，从而使得用户能够与数字内容的任何交互式元素交互。举例来说，用户可以各种方式中的一或多者来选择所述交互式元素，例如通过移动用户的手指位置以使得其与交互式元素重叠(从用户的视角来看)、摆出“选择”姿势、执行预定的移动和/或将手指(或其它物体)保持在所述元素的附近达阈值时间量。在辨识对交互式元素的选择之后，HMD 120可更改数字内容的再现和/或发起第二组数字内容。取决于所要的功能性，第二组数字内容也可锚定到所识别的物理位置、物体、表面、纹理、图像等(从用户的视角来看)。
此扩增实境功能性可在无数情形中使用以使得用户能够了解关于用户的周围环境的更多内容。举例来说，如果HMD 120辨识出用户的视野内的电影海报，那么虚拟的“播放预告片”按钮可显现在HMD的显示器中，其可使用手指按压来激活。在另一实例中，用户可使用手的拨动来旋转扩增到杂志封面上的虚拟3D模型。在又另一实例中，用户可查看广告牌且被展示与物理广告牌对准的媒体回放。预期无数其它情形。因此，除了导览锚定到透明显示器的2D GUI之外，本文中提供的技术可扩展到其它扩增实境情形，从而实现与从用户的视角来看可锚定到物理世界的数字内容的元素的交互。因为这些交互式元素被限制到用户的周围环境中的物理物体，所以HMD的显示器上的对应的有效区可相对于物理物体相对于用户的观点的位置而移动及缩放。
图9是说明实现与HMD的用户交互的方法900的实施例的流程图。方法900的不同方面可由如本文所描述的HMD和/或由控制HMD的装置执行。因此，用于执行方法900的每一步骤的装置可包含硬件和/或软件组件，例如处理单元、存储器、透明显示区域、相机、软件应用、操作系统和/或HMD中所包含的和/或与HMD通信地耦合的其它组件。在图10中说明且在下文更详细地描述HMD或经配置以控制HMD的装置的硬件及软件方面的实施例。
在框905处，在HMD的透明显示区域中显示视觉元素。如上文所指示，所述透明显示区域可为经配置以允许用户观看显示器上展示的视觉元素以及用户的周围环境中的物理物体的HMD的显示器和/或显示装置的至少一部分。在一些实施例中，例如在利用视网膜投影仪的实施例中，所述透明显示区域可为用户的视野内的可能不一定对应于物理显示器或屏幕上的区域的区域。所述视觉元素可(例如)为作为HMD的GUI的一部分而显示的视觉元素。用于执行框905的功能性的装置可包含操作系统、软件应用、处理器、显示器和/或如下文关于图10所描述的其它装置。
此处可注意到，在视觉元素显示于HMD的透明显示区域中之前，HMD(和/或与其通信地耦合的装置)可从(例如)从应用、数据库、应用编程接口(API)及类似者获得的预定义用户菜单确定要显示的一组可选择视觉元素。HMD还可确定视觉元素的布局(例如，利用柱、象限等)，其可基于多种因素(例如，应用类型、视觉元素的数目、用户设定及类似者)中的任一者。在一些实施例中，可基于一或多个用户设定(例如，用户对柱而不是象限的偏好或设定)来确定布局，且随后所述组视觉项目布置在显示器上以使得可利用所确定的布局。在其它实施例中，可自动基于所述组中的视觉元素的类型、显示性质或数量来确定布局。在一些实施例中，可自动基于用户的视野来确定布局，(例如)以便使向用户显示的视觉元素的可见度最大化。
在框910处，界定透明显示区域内的有效区以使得视觉元素安置在所述有效区的一部分内。所述有效区可为(例如)包围在透明显示区域上展示的用户可选择的视觉元素的区。所述有效区自身可或可不在透明显示区域中突出显示和/或以其它方式指示。界定所述有效区可(例如)由可为并入到HMD中和/或与HMD通信地耦合的计算系统的一部分的处理单元、存储器和/或其它计算装置执行。可在多个配置中的任一者中界定所述有效区。举例来说，在一些实施例中可将显示器细分(例如，如图4-7B中所示)为大体上占据整个显示器或视野的多个区。在这些实施例中，所述有效区在形状和/或大小上可为大体上一致的，或可变化。可将所述有效区界定为从图标或其它显示元素(例如)大体上延伸到屏幕的边缘(例如，如图4-7B中所示)。用于执行框910的功能性的装置可包含操作系统、软件应用、处理器、显示器和/或如下文关于图10所描述的其它装置。
如先前论述，所述有效区可为柱、行或其它形状。可将有效区表征为包含其中不显示所关注的物体的区域的区(例如，所述有效区可包围其中不显示视觉元素的区域)。在此类实施例中，可相对于图标或其它视觉元素界定有效区，或可单独地界定。在其中相对于图标或其它视觉元素界定有效区的实施例中，可将所述有效区界定为包围大体上大于所述图标或视觉元素的区域。举例来说，可将所述有效区界定为所述图标或显示元素的两倍大(或3倍、5倍或10倍大，或任何其它大小)，或可显示为大于在由用户观看时的阈值大小，而不管所述图标或视觉元素有多大。此外，在一些实施例中，有效区可与扩增实境或其它软件应用中的交互式元素、数字内容和/或物理物体相关联。此些有效区在显示区域内的大小、形状及位置可在(例如)用户相对于物理物体移动时发生改变。还可实施和/或界定有效区的其它配置。此外，在其中在所确定或所界定的有效区内显示视觉元素的区域可变化。举例来说，如果正使用柱状的有效区，那么HMD可确定每一柱内的垂直位置以显示相应的视觉元素或可确定改变有效区内的视觉元素的大小或形状。
在框915处，跟踪显现在显示区域内的物理物体(从用户的视角来看)。用于跟踪的装置可由相机、传感器和/或经配置以俘获图像和/或位置测量值的其它组件(其与处理单元、存储器和/或经配置以基于图像和/或位置测量值来确定位置的其它计算装置通信地连接)执行。下文关于图10额外详细地描述此些装置。
如上文所指示，可使用用于在透明显示区域中显示视觉元素的组件来校准用于跟踪物理物体的组件，从而使得HMD能够确定用户看到什么。对应地，在框920处，方法900包含确定从用户的视角来看物理物体的至少一部分显现在显示区域的有效区内。此处再次地，用于作出所述确定的装置可包含处理单元、存储器和/或如关于图10所描述的其它计算装置，且可使用下文描述的跟踪装置。在一个实施例中，可将范围的极值或其它末端检测为跟踪点320。在一个实施例中，如果所跟踪的物体占据有效区的大部分或较大部分，那么选择所述区。(在图4D中，举例来说，用户的手指和/或手占据有效区420-1的实质性部分，例如至少有效区420-1的下半部。在一些实施例中，所述有效区可经配置以大体上与用于选择项目或以其它方式控制GUI的物体的形状成镜像；举例来说，在使用例如手指等细长的控制物体或选择物体时，所述有效区可包括柱)。
跟踪装置可参与多种跟踪算法中的任一者。某些跟踪算法可简单地跟踪单个点(例如，透明显示区域上的坐标)和/或与物体(例如，指尖)上的物体和/或位置相关联的区。更复杂的跟踪算法可跟踪其它特征，例如物体的形状(例如，用以辨识约定姿势)、距离(例如，用以确定用户是否“按压”按钮)，及其它。实施例可能够跟踪多个和/或不同的物理物体以用于GUI交互。此外，实施例不限于任何一种方法。在一些实施例中，HMD可经配置以接受仅来自某些物体的输入。举例来说，HMD可经配置以检测物体是否为手指或手，随后接受来自所述手指或手的输入，且拒绝来自其它物体的输入。另外或替代地，HMD可包含可结合手指和/或手跟踪而使用的眼睛跟踪(或“凝视”跟踪)。此可增加用户尝试选择物体或区的置信度，因为用户的凝视将可能看向所述区，从而确认所述选择。任选地，在其中有可能用户看向他的或她的手指的情形中，也可跟踪用户的凝视以增加手指的经跟踪位置的置信度。
在框925处，基于在框920处作出的确定来操控用户接口。此处再次地，用于操控所述用户接口的装置可包含处理单元、存储器和/或耦合到展示所述用户接口的显示器的其它计算装置(例如，GUI)。
应了解，图9中所说明的特定步骤提供用于实现与HMD的用户交互的方法900的实例。替代实施例可包含对所展示实施例的更改。举例来说，替代实施例可包含在方法900期间的不同点处界定透明显示区域内的有效区。又其它实施例可包含执行动作以使用HMD的显示组件来校准物理物体跟踪组件。此外，可取决于特定应用而添加、移除或组合额外的特征。所属领域的技术人员将认识到许多变化、修改和替代方案。
图10说明可并入到HMD中和/或与HMD通信地耦合的计算机系统1000的实施例。计算系统1000的一或多个组件可在不同装置之间共享，所述不同装置例如为HMD、智能电话、平板计算机、个人计算机或其它计算装置。在一些实施例中，软件及其它应用可在通信地链接到显示器的单独装置上运行。在其它实施例中，HMD可具有与其集成的计算机系统1000的一些或全部。
图10提供可执行由各种其它实施例所提供的方法的计算机系统1000的一个实施例的示意性说明。应注意，图10仅打算提供各种组件的一般化说明，可在适当时利用所述组件中的任一者或全部。因此，图10大致说明可如何以相对分离或相对更整合的方式实施个别系统元件。
将计算机系统1000展示为包括可经由总线1005电耦合(或在适当时可以其它方式通信)的硬件元件。硬件元件可包含处理单元，例如处理器1010，其可包含(但不限于)一或多个通用处理器、一或多个专用处理器(例如数字信号处理器、图形加速处理器和/或其类似者)，和/或如上文陈述的可用于执行例如关于图9所描述的步骤等各种步骤的其它处理装置。硬件元件还可包含一或多个输入装置1015，其可包含(但不限于)一或多个相机、传感器(例如，光、热、超音波、RF和/或能够提供用于跟踪物体的数据的其它传感器)，和/或可与处理器1010一起作为用以跟踪如本文所描述的物理物体的跟踪装置而被包含和/或以其它方式利用的其它跟踪装置。还可包含例如触摸垫、键盘、麦克风和/或其类似者的其它装置。还包含一或多个输出装置1020。这些输出装置可包含一或多个透明显示装置和/或其它显示装置，以及扬声器和/或可用于执行如关于图9所描述的一或多个步骤的其它装置。举例来说，在系统1000实施于HMD中时，输出装置1020可包含透明或半透明显示器。在其中装置1000实施于电话或控制HMD的其它装置中的实施例中，输出装置1020可包括触摸屏或可被省略。
计算机系统1000可进一步包含(且/或与之通信)一或多个非暂时性存储装置1025，其可包括(不限制)本地和/或网络可存取存储装置，且/或可包含(不限制)磁盘驱动器、驱动阵列、光学存储装置、固态存储装置，例如随机存取存储器(“RAM”)和/或只读存储器(“ROM”)，其可为可编程的、快闪可更新的，和/或类似物。此些存储装置可经配置以实施任何适当的数据存储装置，包含(不限制)各种文件系统、数据库结构和/或类似物。
计算机系统1000还可能包含通信子系统1030，所述通信子系统可包含(不限制)调制解调器、网卡(无线或有线)、红外线通信装置、无线通信装置和/或芯片组(例如，BluetoothTM装置、1002.11装置、WiFi装置、WiMax装置、蜂窝式通信设施等)，和/或类似物。通信子系统1030可包含一或多个输入和/或输出通信接口以准许与网络、其它计算机系统和/或任何其它电气装置/外围设备交换数据。在许多实施例中，计算机系统1000将进一步包括工作存储器1035，其可包含如上文所描述的RAM或ROM装置。
计算机系统1000还可包括展示为当前位于工作存储器1035内的软件元件，包含操作系统1040、装置驱动器、可执行库和/或其它代码，例如一或多个应用程序1045，所述应用程序可包括由各种实施例提供的计算机程序，且/或可经设计以实施由其它实施例提供的方法且/或配置由其它实施例提供的系统，如本文中所描述。仅举例来说，关于上文所论述的方法(例如，关于图9所描述的方法900)而描述的一或多个过程的一部分可能被实施为可由计算机(和/或计算机内的处理单元)执行的代码和/或指令；在一方面中，此类代码和/或指令可随后用于配置和/或调适通用计算机(或其它装置)来执行根据所描述的方法的一或多个操作。
一组这些指令和/或代码可能存储在非暂时性计算机可读存储媒体上，例如上文所描述的存储装置1025。在一些情况下，存储媒体可能并入计算机系统内，例如计算机系统1000。在其它实施例中，存储媒体可能与计算机系统分开(例如，可移除媒体，例如光盘)，且/或提供在安装包中，使得存储媒体可用其上存储的指令/代码来编程、配置和/或调适通用计算机。这些指令可能采取可由计算机系统1000执行的可执行代码的形式，且/或可能采取源和/或可安装代码的形式，其在计算机系统1000上编译和/或安装后(例如，使用多种一般可用的编译器、安装程序、压缩/解压缩公用程序等中的任一者)即刻采取可执行代码的形式。
所属领域的技术人员将明白，可根据特定要求作出实质性变化。举例来说，还可能使用定制的硬件，且/或特定元件可能实施于硬件、软件(包含便携式软件，例如applet等)或两者中。此外，可使用到例如网络输入/输出装置等其它计算装置的连接。
如上文所提及，在一个方面中，一些实施例可使用计算机系统(例如，计算机系统1000)来执行根据本发明的各种实施例的方法。根据一组实施例，此些方法的过程中的一些或全部由计算机系统1000响应于处理器1010执行工作存储器1035中所含有的一或多个指令的一或多个序列(其可能并入到操作系统1040和/或其它代码(例如，应用程序1045)中)来执行。可从另一计算机可读媒体(例如，存储装置1025中的一或多者)将此些指令读取到工作存储器1035中。仅举例来说，执行工作存储器1035中所含有的指令的序列可能致使处理器1010执行本文中所描述的方法的一或多个程序。另外或替代地，可通过专用硬件执行本文中所描述的方法的多个部分。
如本文中所使用的术语“机器可读媒体”和“计算机可读媒体”指代参与提供致使机器以特定方式操作的数据的任何媒体。在使用计算机系统1000实施的实施例中，各种计算机可读媒体可能涉及向处理器1010提供指令/代码以供执行且/或可能用于存储和/或携载此类指令/代码。在许多实施方案中，计算机可读媒体是物理的和/或有形的存储媒体。此类媒体可采取非易失性媒体或易失性媒体的形式。非易失性媒体包含(例如)光盘和/或磁盘，例如存储装置1025。易失性媒体包含(不限制)动态存储器，例如工作存储器1035。
物理的和/或有形的计算机可读媒体的常见形式包含(例如)软盘、柔性磁盘、硬盘、磁带或任何其它磁性媒体、CD-ROM、任何其它光学媒体，具有孔图案的任何其它物理媒体、RAM、PROM、EPROM、FLASH-EPROM、任何其它存储器芯片或盒式磁带、或计算机可从其读取指令和/或代码的任何其它媒体。
在将一或多个指令的一或多个序列载运到处理器1010以供执行的过程中可涉及各种形式的计算机可读媒体。仅举例来说，所述指令可起初被携载在远程计算机的磁盘和/或光盘上。远程计算机可能将所述指令加载到其动态存储器中，且经由传输媒体将所述指令作为信号进行发送以让计算机系统1000接收和/或执行。
通信子系统1030(和/或其组件)一般将接收所述信号，且总线1005随后可能将所述信号(和/或由所述信号载运的数据、指令等)载运到工作存储器1035，处理器1010从所述工作存储器检索和执行所述指令。由工作存储器1035接收的指令可在由处理器1025执行之前或之后任选地存储于非暂时性存储装置1010上。
上文所论述的方法、系统和装置是实例。各种配置可在适当时省略、替代或添加各种过程或组件。举例来说，在替代性配置中，所述方法可以不同于所描述的次序的次序执行，且/或可添加、省略和/或组合各种阶段。而且，关于某些配置所描述的特征可组合在各种其它配置中。配置的不同方面和元件可以类似方式组合。而且，技术会演进且因此许多元件是实例，且不限制本发明或权利要求书的范围。
在描述中给出特定细节以提供对实例配置(包含实施方案)的透彻理解。然而，可以在没有这些特定细节的情况下实践配置。举例来说，已在没有不必要的细节的情况下展示众所周知的电路、过程、算法、结构和技术，以便避免使所述配置模糊不清。此描述仅提供实例性配置，且不限制权利要求书的范围、适用性或配置。而是，对配置的前述描述将向所属领域的技术人员提供用于实施所描述的技术的启用性描述。在不脱离本发明的精神或范围的情况下，可在元件的功能和布置方面作出各种改变。
而且，可将配置描述为被描绘为流程图或框图的过程。虽然可将操作描述为连续过程，但许多操作可并行地或同时地执行。另外，操作的次序可重新布置。过程可具有图中未包含的额外步骤。此外，所述方法的实例可由硬件、软件、固件、中间件、微码、硬件描述语言或其任何组合来实施。当实施于软件、固件、中间件或微码中时，用以执行必需的任务的程序代码或代码段可存储在例如存储媒体等非暂时性计算机可读媒体中。处理器可执行所描述的任务。
描述了若干实例配置，在不脱离本发明的精神的情况下，可使用各种修改、替代性构造和等效物。举例来说，以上元件可为较大系统的组件，其中其它规则可优先于或以其它方式修改本发明的应用。而且，可在考虑以上元件之前、期间或之后来着手一定数目的步骤。因此，以上描述不限制权利要求书的范围。

Claims (41)

1.一种在头戴式显示器HMD中提供用户接口的方法，所述方法包括：
致使在所述HMD的透明显示区域中显示第一视觉元素，所述第一视觉元素可由所述HMD的用户选择；
界定所述透明显示区域的大于所述第一视觉元素的第一有效区，以使得所述第一视觉元素安置在所述第一有效区的一部分内；
跟踪从所述用户的视角来看显现在所述透明显示区域内的物理物体；
确定从所述用户的视角来看所述物理物体的至少一部分显现在所述第一有效区内，从而指示对所述第一视觉元素的选择；及
使用处理单元基于所述选择来操控所述用户接口。
2.根据权利要求1所述的在所述HMD中提供所述用户接口的方法，其中所述第一有效区的边界延伸到所述透明显示区域的边缘。
3.根据权利要求1所述的在所述HMD中提供所述用户接口的方法，其进一步包括致使基于所述跟踪在所述透明显示区域中显示所述第一有效区。
4.根据权利要求1所述的在所述HMD中提供所述用户接口的方法，其中：
所述第一有效区是多个有效区中的一者；
所述第一视觉元素是多个视觉元素中的一者；且
显示所述多个视觉元素以使得对于所述多个有效区中的每一有效区，所述多个视觉元素中的一视觉元素被相应的有效区包围。
5.根据权利要求4所述的在所述HMD中提供所述用户接口的方法，其进一步包括致使在所述透明显示区域中显示所述多个有效区中的每一有效区。
6.根据权利要求4所述的在所述HMD中提供所述用户接口的方法，其中所述多个有效区包括从所述用户的视角来看安置在所述透明显示区域内的一连串柱。
7.根据权利要求6所述的在所述HMD中提供所述用户接口的方法，其中所述确定包括确定从所述用户的视角来看所述物理物体占据所述一连串柱中的第一柱的至少下半部，所述第一有效区包括所述第一柱。
8.根据权利要求4所述的在所述HMD中提供所述用户接口的方法，其中所述多个有效区包括所述透明显示区域的象限。
9.根据权利要求4所述的在所述HMD中提供所述用户接口的方法，其进一步包括延迟所述显示所述多个视觉元素直到在确定从所述用户的视角来看所述物理物体显现在所述透明显示区域内达阈值时间量之后为止。
10.根据权利要求1所述的在所述HMD中提供所述用户接口的方法，其中操控所述用户接口包括：
致使从所述透明显示区域移除所述第一视觉元素且致使在所述透明显示区域中显示两个或两个以上其它视觉元素，及
使用两个或两个以上有效区取代所述第一有效区，每一有效区包围所述两个或两个以上其它视觉元素中的一者。
11.根据权利要求1所述的在所述HMD中提供所述用户接口的方法，其中操控所述用户接口发生在确定从所述用户的视角来看所述物理物体的所述至少所述部分显现在所述第一有效区内达至少阈值时间量之后。
12.根据权利要求11所述的在所述HMD中提供所述用户接口的方法，其进一步包括在操控所述用户接口之前显示指示从所述用户的视角来看所述物理物体的所述至少所述部分显现在所述第一有效区内的时长的指示符。
13.根据权利要求1所述的在所述HMD中提供所述用户接口的方法，其中所述物理物体包括所述用户的手。
14.根据权利要求1所述的在所述HMD中提供所述用户接口的方法，其进一步包括确定所述物理物体在距所述HMD的阈值距离内。
15.一种头戴式显示器HMD，其包括：
显示器，其具有透明显示区域；
传感器，其经配置以提供关于所述HMD的用户可通过所述透明显示区域观看的物体的数据；及
处理单元，其与所述显示器及所述传感器通信地耦合，所述处理单元经配置以执行包含以下各者的功能：
致使所述显示器在所述透明显示区域中展示第一视觉元素，所述第一视觉元素可由所述用户选择；
界定所述透明显示区域的第一有效区，以使得所述第一视觉元素安置在所述第一有效区的一部分内；
使用来自所述传感器的所述数据来跟踪从用户的视角来看显现在所述透明显示区域内的物理物体；
确定从所述用户的视角来看所述物理物体的至少一部分显现在所述第一有效区内，从而指示对所述第一视觉元素的选择；及
基于所述选择来操控在所述显示器上显示的一或多个元素。
16.根据权利要求15所述的HMD，其中所述处理单元经配置以界定所述第一有效区的边界，使得所述第一有效区的所述边界延伸到所述透明显示区域的边缘。
17.根据权利要求15所述的HMD，其中所述处理单元经配置以致使所述显示器基于所述所跟踪的物理物体而展示所述第一有效区。
18.根据权利要求15所述的HMD，其中：
所述第一有效区是多个有效区中的一者；
所述第一视觉元素是多个视觉元素中的一者；且
所述处理单元经配置以致使所述显示器展示所述多个视觉元素以使得对于所述多个有效区中的每一有效区，所述多个视觉元素中的一视觉元素被相应的有效区包围。
19.根据权利要求18所述的HMD，其中所述处理单元经配置以致使所述显示器展示所述多个有效区中的每一有效区。
20.根据权利要求18所述的HMD，其中所述处理单元经配置以致使所述显示器展示所述多个有效区，使得所述多个有效区包括从所述用户的视角来看安置在所述透明显示区域内的一连串柱。
21.根据权利要求20所述的HMD，其中所述处理单元经配置以通过确定从所述用户的视角来看所述物理物体占据所述一连串柱中的第一柱的至少下半部来确定所述物理物体的至少所述部分显现在所述第一有效区内，所述第一有效区包括所述第一柱。
22.根据权利要求18所述的HMD，其中所述处理单元经配置以致使所述显示器展示所述多个有效区，使得所述多个有效区包括所述透明显示区域的象限。
23.根据权利要求18所述的HMD，其中所述处理单元经配置以通过以下操作来操控所述一或多个元素：
致使从所述透明显示区域移除所述第一视觉元素且致使在所述透明显示区域中显示两个或两个以上其它视觉元素；及
使用两个或两个以上有效区取代所述第一有效区，每一有效区包围所述两个或两个以上其它视觉元素中的一者。
24.根据权利要求18所述的HMD，其中所述处理单元经配置以延迟致使所述显示器展示所述多个视觉元素直到在所述处理单元确定从所述用户的视角来看所述物理物体显现在所述透明显示区域内达阈值时间量之后为止。
25.根据权利要求15所述的HMD，其中所述处理单元经配置以在所述处理单元确定从所述用户的视角来看所述物理物体的至少所述部分显现在所述第一有效区内达至少阈值时间量之后操控所述一或多个元素。
26.根据权利要求25所述的HMD，其中所述处理单元进一步经配置以在操控所述一或多个元素之前致使所述显示器展示指示所述处理单元确定从所述用户的视角来看所述物理物体的所述至少所述部分显现在所述第一有效区内的时长的指示符。
27.根据权利要求15所述的HMD，其中所述处理单元进一步经配置以确定所述物理物体在距所述HMD的阈值距离内。
28.一种计算机可读存储媒体，其编码有用于致使头戴式显示器HMD执行多个功能的指令，所述功能包含：
致使在所述HMD的透明显示区域中显示第一视觉元素，所述第一视觉元素可由所述HMD的用户选择；
界定所述透明显示区域的大于所述第一视觉元素的第一有效区，以使得所述第一视觉元素安置在所述第一有效区的一部分内；
跟踪从用户的视角来看显现在所述透明显示区域内的物理物体；
确定从所述用户的视角来看所述物理物体的至少一部分显现在所述第一有效区内，从而指示对所述第一视觉元素的选择；及
基于所述选择来操控在所述透明显示区域中显示的一或多个元素。
29.一种设备，其包括：
用于致使在HMD的透明显示区域中显示第一视觉元素的装置，所述第一视觉元素可由所述HMD的用户选择；
用于界定所述透明显示区域的第一有效区以使得所述第一视觉元素安置在所述第一有效区的一部分内的装置；
用于跟踪从用户的视角来看显现在所述透明显示区域内的物理物体的装置；
用于确定从所述用户的视角来看所述物理物体的至少一部分显现在所述第一有效区内从而指示对所述第一视觉元素的选择的装置；及
用于使用处理单元基于所述选择来操控一或多个元素的装置。
30.根据权利要求29所述的设备，其中所述用于界定所述第一有效区的装置包含用于界定所述第一有效区的边界以使得所述第一有效区的所述边界延伸到所述透明显示区域的边缘的装置。
31.根据权利要求29所述的设备，其进一步包括用于致使基于所述用于跟踪的装置在所述透明显示区域中显示所述第一有效区的装置。
32.根据权利要求29所述的设备，其中所述第一有效区是多个有效区中的一者，且所述第一视觉元素是多个视觉元素中的一者，所述设备进一步包括用于以下操作的装置：显示所述多个视觉元素以使得对于所述多个有效区中的每一有效区，所述多个视觉元素中的一视觉元素被相应的有效区包围。
33.根据权利要求32所述的设备，其进一步包含用于致使在所述透明显示区域中显示所述多个有效区中的每一有效区的装置。
34.根据权利要求32所述的设备，其进一步包含用于界定所述多个有效区以使得所述多个有效区包括从所述用户的视角来看安置在所述透明显示区域内的一连串柱的装置。
35.根据权利要求34所述的设备，其中所述用于确定从所述用户的视角来看所述物理物体的所述至少所述部分显现在所述第一有效区内的装置包含用于确定从所述用户的视角来看所述物理物体占据所述一连串柱中的第一柱的至少下半部的装置，所述第一有效区包括所述第一柱。
36.根据权利要求32所述的设备，其进一步包含用于将所述多个有效区界定为所述透明显示区域的象限的装置。
37.根据权利要求32所述的设备，其中所述用于操控所述一或多个元素的装置包含用于以下操作的装置：
致使从所述透明显示区域移除所述第一视觉元素且致使在所述透明显示区域中显示两个或两个以上其它视觉元素，及
使用两个或两个以上有效区取代所述第一有效区，每一有效区包围所述两个或两个以上其它视觉元素中的一者。
38.根据权利要求32所述的设备，其中所述用于显示所述多个视觉元素的装置经配置以在确定从所述用户的视角来看所述物理物体显现在所述透明显示区域内达阈值时间量之后显示所述多个视觉元素。
39.根据权利要求29所述的设备，其中所述用于操控所述一或多个元素的装置经配置以在确定从所述用户的视角来看所述物理物体的所述至少所述部分显现在所述第一有效区内达至少阈值时间量之后操控所述一或多个元素。
40.根据权利要求39所述的设备，其进一步包括用于在操控所述一或多个元素之前显示指示从所述用户的视角来看所述物理物体的所述至少所述部分显现在所述第一有效区内的时长的指示符的装置。
41.根据权利要求29所述的设备，其进一步包括用于确定所述物理物体在距所述HMD的阈值距离内的装置。
CN201380029494.XA 2012-06-14 2013-05-17 用于透明头戴式显示器的用户接口交互 Active CN104335142B (zh)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201261659914P 2012-06-14 2012-06-14
US61/659,914 2012-06-14
US13/800,329 2013-03-13
US13/800,329 US9389420B2 (en) 2012-06-14 2013-03-13 User interface interaction for transparent head-mounted displays
PCT/US2013/041647 WO2013188054A1 (en) 2012-06-14 2013-05-17 User interface interaction for transparent head-mounted displays

Publications (2)

Publication Number Publication Date
CN104335142A true CN104335142A (zh) 2015-02-04
CN104335142B CN104335142B (zh) 2018-04-03

Family

ID=49755393

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201380029494.XA Active CN104335142B (zh) 2012-06-14 2013-05-17 用于透明头戴式显示器的用户接口交互

Country Status (8)

Country Link
US (2) US9389420B2 (zh)
EP (2) EP2862042B1 (zh)
JP (3) JP6039801B2 (zh)
KR (2) KR20160120810A (zh)
CN (1) CN104335142B (zh)
BR (1) BR112014030606A8 (zh)
IN (1) IN2014MN02353A (zh)
WO (1) WO2013188054A1 (zh)

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105892636A (zh) * 2015-11-20 2016-08-24 乐视致新电子科技（天津）有限公司 一种应用于头戴设备的控制方法及头戴设备
CN105892630A (zh) * 2015-11-02 2016-08-24 乐视致新电子科技（天津）有限公司 列表内容显示方法及装置
CN107025003A (zh) * 2015-10-26 2017-08-08 船井电机株式会社 输入装置
CN107710132A (zh) * 2015-05-15 2018-02-16 阿斯尔公司 用于施加用于表面约束控制的自由空间输入的方法和装置
CN108541323A (zh) * 2016-01-12 2018-09-14 Sun电子株式会社 图像显示装置
CN108700991A (zh) * 2015-12-01 2018-10-23 量子界面有限责任公司 用于为移动设备建立3轴坐标系并且利用虚拟键盘进行写入的基于运动的系统、装置和方法
US10452128B2 (en) 2015-03-31 2019-10-22 Sony Corporation Information processing apparatus and information processing method
CN110462690A (zh) * 2017-03-27 2019-11-15 Sun电子株式会社 图像显示系统
CN113157084A (zh) * 2020-01-14 2021-07-23 苹果公司 基于肢体跟踪信息和眼睛跟踪信息来定位受用户控制的空间选择器
CN114578964A (zh) * 2017-06-29 2022-06-03 苹果公司 具有传感器和触觉部件的指戴式装置

Families Citing this family (103)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9977496B2 (en) * 2010-07-23 2018-05-22 Telepatheye Inc. Eye-wearable device user interface and augmented reality method
US20120257035A1 (en) * 2011-04-08 2012-10-11 Sony Computer Entertainment Inc. Systems and methods for providing feedback by tracking user gaze and gestures
US9389420B2 (en) * 2012-06-14 2016-07-12 Qualcomm Incorporated User interface interaction for transparent head-mounted displays
WO2014008185A1 (en) * 2012-07-02 2014-01-09 Sony Computer Entertainment Inc. Methods and systems for interaction with an expanded information space
JP5962403B2 (ja) * 2012-10-01 2016-08-03 ソニー株式会社 情報処理装置、表示制御方法及びプログラム
CN104936665B (zh) * 2012-10-22 2017-12-26 开放信息公司 合作增强现实
US9202313B2 (en) * 2013-01-21 2015-12-01 Microsoft Technology Licensing, Llc Virtual interaction with image projection
US20140280502A1 (en) 2013-03-15 2014-09-18 John Cronin Crowd and cloud enabled virtual reality distributed location network
US9262865B2 (en) * 2013-03-15 2016-02-16 Daqri, Llc Content creation tool
US9495748B2 (en) * 2013-03-15 2016-11-15 Daqri, Llc Segmentation of content delivery
US20140267581A1 (en) 2013-03-15 2014-09-18 John Cronin Real time virtual reality leveraging web cams and ip cams and web cam and ip cam networks
US20140280644A1 (en) 2013-03-15 2014-09-18 John Cronin Real time unified communications interaction of a predefined location in a virtual reality location
US9240075B2 (en) * 2013-03-15 2016-01-19 Daqri, Llc Campaign optimization for experience content dataset
US20140280503A1 (en) 2013-03-15 2014-09-18 John Cronin System and methods for effective virtual reality visitor interface
US9838506B1 (en) 2013-03-15 2017-12-05 Sony Interactive Entertainment America Llc Virtual reality universe representation changes viewing based upon client side parameters
US9239661B2 (en) 2013-03-15 2016-01-19 Qualcomm Incorporated Methods and apparatus for displaying images on a head mounted display
US20140280506A1 (en) 2013-03-15 2014-09-18 John Cronin Virtual reality enhanced through browser connections
US20140280505A1 (en) 2013-03-15 2014-09-18 John Cronin Virtual reality interaction with 3d printing
US10152495B2 (en) 2013-08-19 2018-12-11 Qualcomm Incorporated Visual search in real world using optical see-through head mounted display with augmented reality and user interaction tracking
US10089786B2 (en) * 2013-08-19 2018-10-02 Qualcomm Incorporated Automatic customization of graphical user interface for optical see-through head mounted display with user interaction tracking
TWI505135B (zh) * 2013-08-20 2015-10-21 Utechzone Co Ltd 顯示畫面的控制系統、輸入裝置及控制方法
USD748646S1 (en) * 2013-08-30 2016-02-02 Samsung Electronics Co., Ltd. Display screen or portion thereof with graphical user interface
US9934611B2 (en) 2013-09-11 2018-04-03 Qualcomm Incorporated Structural modeling using depth sensors
EP3077867B1 (en) * 2013-12-06 2018-02-14 Telefonaktiebolaget LM Ericsson (publ) Optical head mounted display, television portal module and methods for controlling graphical user interface
JP6312712B2 (ja) * 2014-01-15 2018-04-18 マクセル株式会社 情報表示端末、情報表示システム及び情報表示方法
US9575321B2 (en) * 2014-06-09 2017-02-21 Osterhout Group, Inc. Content presentation in head worn computing
US10649220B2 (en) 2014-06-09 2020-05-12 Mentor Acquisition One, Llc Content presentation in head worn computing
US9588343B2 (en) * 2014-01-25 2017-03-07 Sony Interactive Entertainment America Llc Menu navigation in a head-mounted display
US9437159B2 (en) 2014-01-25 2016-09-06 Sony Interactive Entertainment America Llc Environmental interrupt in a head-mounted display and utilization of non field of view real estate
JP6349800B2 (ja) 2014-03-12 2018-07-04 オムロン株式会社 ジェスチャ認識装置およびジェスチャ認識装置の制御方法
EP2908218B1 (en) * 2014-02-14 2018-03-14 Omron Corporation Gesture recognition apparatus and control method of gesture recognition apparatus
KR20150102589A (ko) * 2014-02-28 2015-09-07 삼성메디슨 주식회사 의료 영상 처리 장치, 의료 영상 처리 방법, 및 컴퓨터 판독가능 기록매체
DE102014103195A1 (de) * 2014-03-11 2015-09-17 Amazonen-Werke H. Dreyer Gmbh & Co. Kg Assistenzsystem für eine landwirtschaftliche Arbeitsmaschine und Verfahren zur Unterstützung einer Bedienperson
US10802582B1 (en) * 2014-04-22 2020-10-13 sigmund lindsay clements Eye tracker in an augmented reality glasses for eye gaze to input displayed input icons
US10663740B2 (en) 2014-06-09 2020-05-26 Mentor Acquisition One, Llc Content presentation in head worn computing
US9766806B2 (en) 2014-07-15 2017-09-19 Microsoft Technology Licensing, Llc Holographic keyboard display
US9766460B2 (en) 2014-07-25 2017-09-19 Microsoft Technology Licensing, Llc Ground plane adjustment in a virtual reality environment
US10311638B2 (en) 2014-07-25 2019-06-04 Microsoft Technology Licensing, Llc Anti-trip when immersed in a virtual reality environment
US10451875B2 (en) 2014-07-25 2019-10-22 Microsoft Technology Licensing, Llc Smart transparency for virtual objects
US9865089B2 (en) 2014-07-25 2018-01-09 Microsoft Technology Licensing, Llc Virtual reality environment with real world objects
US9904055B2 (en) 2014-07-25 2018-02-27 Microsoft Technology Licensing, Llc Smart placement of virtual objects to stay in the field of view of a head mounted display
US10416760B2 (en) 2014-07-25 2019-09-17 Microsoft Technology Licensing, Llc Gaze-based object placement within a virtual reality environment
US9858720B2 (en) 2014-07-25 2018-01-02 Microsoft Technology Licensing, Llc Three-dimensional mixed-reality viewport
KR102397397B1 (ko) * 2014-07-30 2022-05-13 삼성전자주식회사 웨어러블 디바이스 및 웨어러블 디바이스의 동작 방법
WO2016017956A1 (en) 2014-07-30 2016-02-04 Samsung Electronics Co., Ltd. Wearable device and method of operating the same
US9971501B2 (en) * 2014-08-07 2018-05-15 Verizon New Jersey Inc. Method and system for providing adaptive arrangement and representation of user interface elements
KR20160024168A (ko) * 2014-08-25 2016-03-04 삼성전자주식회사 전자 장치의 디스플레이 제어 방법 및 전자 장치
KR102271833B1 (ko) * 2014-09-01 2021-07-01 삼성전자주식회사 전자 장치, 그 제어 방법 및 기록 매체
US10067561B2 (en) * 2014-09-22 2018-09-04 Facebook, Inc. Display visibility based on eye convergence
KR102358548B1 (ko) 2014-10-15 2022-02-04 삼성전자주식회사 디바이스를 이용한 화면 처리 방법 및 장치
CN105635776B (zh) * 2014-11-06 2019-03-01 深圳Tcl新技术有限公司 虚拟操作界面遥控控制方法及系统
US9804669B2 (en) * 2014-11-07 2017-10-31 Eye Labs, Inc. High resolution perception of content in a wide field of view of a head-mounted display
KR20160063812A (ko) * 2014-11-27 2016-06-07 삼성전자주식회사 화면 구성 방법, 전자 장치 및 저장 매체
GB2532954A (en) 2014-12-02 2016-06-08 Ibm Display control system for an augmented reality display system
US10248192B2 (en) 2014-12-03 2019-04-02 Microsoft Technology Licensing, Llc Gaze target application launcher
US10152119B2 (en) * 2014-12-11 2018-12-11 Htc Corporation Head-mounted display apparatus and calibration method thereof
JP2016180955A (ja) * 2015-03-25 2016-10-13 株式会社ソニー・インタラクティブエンタテインメント ヘッドマウントディスプレイ、表示制御方法及び位置制御方法
EP3079041B1 (de) * 2015-04-10 2018-06-27 Airbus Defence and Space GmbH Verfahren und system zur bereitstellung einer virtual-reality-umgebung für passagiere von land- und luftfahrzeugen
US9760790B2 (en) 2015-05-12 2017-09-12 Microsoft Technology Licensing, Llc Context-aware display of objects in mixed environments
KR20160138806A (ko) * 2015-05-26 2016-12-06 엘지전자 주식회사 글래스타입 단말기 및 그 제어방법
US9959677B2 (en) * 2015-05-26 2018-05-01 Google Llc Multidimensional graphical method for entering and exiting applications and activities in immersive media
US10318225B2 (en) 2015-09-01 2019-06-11 Microsoft Technology Licensing, Llc Holographic augmented authoring
KR102450416B1 (ko) 2015-11-04 2022-10-05 삼성전자주식회사 전자 장치, 웨어러블 장치 및 전자 장치에서 디스플레이되는 객체를 제어하는 방법
US20170131874A1 (en) * 2015-11-09 2017-05-11 Livetiles Llc Software Design Tool For A User Interface And The Administration Of Proximity Responsive Information Displays In Augmented Reality Or Virtual Reality Environments
JP6716897B2 (ja) * 2015-11-30 2020-07-01 富士通株式会社 操作検出方法、操作検出装置、及び操作検出プログラム
US10353463B2 (en) * 2016-03-16 2019-07-16 RaayonNova LLC Smart contact lens with eye driven control system and method
JP2019113881A (ja) 2016-03-23 2019-07-11 株式会社ソニー・インタラクティブエンタテインメント 頭部装着装置
JP2017182413A (ja) * 2016-03-30 2017-10-05 セイコーエプソン株式会社 頭部装着型表示装置およびその制御方法、並びにコンピュータープログラム
US10643390B2 (en) 2016-03-30 2020-05-05 Seiko Epson Corporation Head mounted display, method for controlling head mounted display, and computer program
US20170289533A1 (en) * 2016-03-30 2017-10-05 Seiko Epson Corporation Head mounted display, control method thereof, and computer program
US10025376B2 (en) 2016-04-27 2018-07-17 Rovi Guides, Inc. Methods and systems for displaying additional content on a heads up display displaying a virtual reality environment
EP3377962A1 (en) * 2016-04-27 2018-09-26 Rovi Guides, Inc. Methods and systems for displaying additional content on a heads up display displaying a virtual reality environment
JP6238381B1 (ja) * 2016-06-30 2017-11-29 株式会社コナミデジタルエンタテインメント 端末装置、及びプログラム
JP2018049267A (ja) * 2016-09-16 2018-03-29 株式会社半導体エネルギー研究所 表示システム、電子機器および表示方法
US20180096505A1 (en) * 2016-10-04 2018-04-05 Facebook, Inc. Controls and Interfaces for User Interactions in Virtual Spaces
KR102649729B1 (ko) 2016-11-02 2024-03-22 삼성디스플레이 주식회사 표시장치
US10867445B1 (en) * 2016-11-16 2020-12-15 Amazon Technologies, Inc. Content segmentation and navigation
US10430647B2 (en) * 2017-01-13 2019-10-01 Microsoft Licensing Technology, LLC Tailored illumination profile for articulated hand tracking
US10438399B2 (en) * 2017-02-10 2019-10-08 Sony Interactive Entertainment LLC Paired local and global user interfaces for an improved augmented reality experience
US10290152B2 (en) 2017-04-03 2019-05-14 Microsoft Technology Licensing, Llc Virtual object user interface display
JP6610602B2 (ja) * 2017-04-07 2019-11-27 京セラドキュメントソリューションズ株式会社 表示入力装置
CN107346175B (zh) * 2017-06-30 2020-08-25 联想(北京)有限公司 一种手势位置校正方法和增强现实显示设备
EP3542252B1 (en) * 2017-08-10 2023-08-02 Google LLC Context-sensitive hand interaction
WO2019059044A1 (ja) * 2017-09-20 2019-03-28 日本電気株式会社 情報処理装置、制御方法、及びプログラム
EP3700182A4 (en) * 2017-10-19 2020-12-30 Sony Corporation ELECTRONIC DEVICE
US10895913B1 (en) * 2018-01-05 2021-01-19 Amazon Technologies, Inc. Input control for augmented reality applications
US11003410B2 (en) * 2018-02-13 2021-05-11 SentiAR, Inc. Augmented reality display sharing
US10726765B2 (en) 2018-02-15 2020-07-28 Valve Corporation Using tracking of display device to control image display
JP7457453B2 (ja) * 2018-07-27 2024-03-28 株式会社栗本鐵工所 仮想オブジェクト触覚提示装置およびプログラム
US10748344B2 (en) * 2018-09-12 2020-08-18 Seiko Epson Corporation Methods and devices for user interaction in augmented reality
US10855978B2 (en) * 2018-09-14 2020-12-01 The Toronto-Dominion Bank System and method for receiving user input in virtual/augmented reality
US11487359B2 (en) 2018-11-29 2022-11-01 Maxell, Ltd. Video display apparatus and method
EP3669748A1 (en) * 2018-12-19 2020-06-24 Koninklijke Philips N.V. A mirror assembly
US11188148B2 (en) 2018-12-27 2021-11-30 Facebook Technologies, Llc User interaction in head-mounted display with eye tracking
JP7024702B2 (ja) * 2018-12-27 2022-02-24 株式会社デンソー ジェスチャ検出装置、およびジェスチャ検出方法
US11853533B1 (en) * 2019-01-31 2023-12-26 Splunk Inc. Data visualization workspace in an extended reality environment
US11644940B1 (en) 2019-01-31 2023-05-09 Splunk Inc. Data visualization in an extended reality environment
US11036464B2 (en) * 2019-09-13 2021-06-15 Bose Corporation Spatialized augmented reality (AR) audio menu
US11354026B1 (en) * 2020-01-28 2022-06-07 Apple Inc. Method and device for assigning an operation set
WO2021173390A1 (en) * 2020-02-27 2021-09-02 Qsinx Management Llc Connecting spatially distinct settings
US11796801B2 (en) * 2021-05-24 2023-10-24 Google Llc Reducing light leakage via external gaze detection
JPWO2023276058A1 (zh) * 2021-06-30 2023-01-05
US11808945B2 (en) * 2021-09-07 2023-11-07 Meta Platforms Technologies, Llc Eye data and operation of head mounted device

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0679984A1 (en) * 1994-04-22 1995-11-02 Canon Kabushiki Kaisha Display apparatus
US6088031A (en) * 1997-07-21 2000-07-11 Samsung Electronics Co., Ltd. Method and device for controlling selection of a menu item from a menu displayed on a screen
US6819345B1 (en) * 1998-02-17 2004-11-16 Microsoft Corporation Managing position and size for a desktop component
US20080016463A1 (en) * 2006-07-14 2008-01-17 Madentec (Usa) Inc. Systems and methods for using a switch to control a computer
CN101825988A (zh) * 2009-03-03 2010-09-08 船井电机株式会社 输入装置及输入系统

Family Cites Families (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0778055A (ja) * 1993-06-25 1995-03-20 Casio Comput Co Ltd データ処理装置
US6847336B1 (en) * 1996-10-02 2005-01-25 Jerome H. Lemelson Selectively controllable heads-up display system
JP2005056059A (ja) * 2003-08-01 2005-03-03 Canon Inc 撮像部を備えた頭部搭載型ディスプレイを用いた入力装置および方法
KR100800859B1 (ko) * 2004-08-27 2008-02-04 삼성전자주식회사 Ｈｍｄ 정보 단말기에서 키를 입력하는 장치 및 방법
US9891435B2 (en) 2006-11-02 2018-02-13 Sensics, Inc. Apparatus, systems and methods for providing motion tracking using a personal viewing device
JP2008210276A (ja) * 2007-02-27 2008-09-11 Canon Inc 三次元モデル情報の生成方法及び装置
JP2009245392A (ja) * 2008-03-31 2009-10-22 Brother Ind Ltd ヘッドマウントディスプレイ及びヘッドマウントディスプレイシステム
JP5293154B2 (ja) * 2008-12-19 2013-09-18 ブラザー工業株式会社 ヘッドマウントディスプレイ
JP5262681B2 (ja) * 2008-12-22 2013-08-14 ブラザー工業株式会社 ヘッドマウントディスプレイ及びそのプログラム
US8472120B2 (en) * 2010-02-28 2013-06-25 Osterhout Group, Inc. See-through near-eye display glasses with a small scale image source
US20120113223A1 (en) * 2010-11-05 2012-05-10 Microsoft Corporation User Interaction in Augmented Reality
JP5977922B2 (ja) * 2011-02-24 2016-08-24 セイコーエプソン株式会社 情報処理装置および情報処理装置の制御方法、透過型頭部装着型表示装置
US8860805B2 (en) 2011-04-12 2014-10-14 Lg Electronics Inc. Electronic device and method of controlling the same
US20130021269A1 (en) * 2011-07-20 2013-01-24 Google Inc. Dynamic Control of an Active Input Region of a User Interface
US8217856B1 (en) 2011-07-27 2012-07-10 Google Inc. Head-mounted display that displays a visual representation of physical interaction with an input interface located outside of the field of view
US8963805B2 (en) * 2012-01-27 2015-02-24 Microsoft Corporation Executable virtual objects associated with real objects
US9147111B2 (en) * 2012-02-10 2015-09-29 Microsoft Technology Licensing, Llc Display with blocking image generation
US9116666B2 (en) * 2012-06-01 2015-08-25 Microsoft Technology Licensing, Llc Gesture based region identification for holograms
US9389420B2 (en) * 2012-06-14 2016-07-12 Qualcomm Incorporated User interface interaction for transparent head-mounted displays

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0679984A1 (en) * 1994-04-22 1995-11-02 Canon Kabushiki Kaisha Display apparatus
US6088031A (en) * 1997-07-21 2000-07-11 Samsung Electronics Co., Ltd. Method and device for controlling selection of a menu item from a menu displayed on a screen
US6819345B1 (en) * 1998-02-17 2004-11-16 Microsoft Corporation Managing position and size for a desktop component
US20080016463A1 (en) * 2006-07-14 2008-01-17 Madentec (Usa) Inc. Systems and methods for using a switch to control a computer
CN101825988A (zh) * 2009-03-03 2010-09-08 船井电机株式会社 输入装置及输入系统

Cited By (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10948977B2 (en) 2015-03-31 2021-03-16 Sony Corporation Information processing apparatus and information processing method
US11868517B2 (en) 2015-03-31 2024-01-09 Sony Group Corporation Information processing apparatus and information processing method
US11449133B2 (en) 2015-03-31 2022-09-20 Sony Corporation Information processing apparatus and information processing method
US10452128B2 (en) 2015-03-31 2019-10-22 Sony Corporation Information processing apparatus and information processing method
CN107710132A (zh) * 2015-05-15 2018-02-16 阿斯尔公司 用于施加用于表面约束控制的自由空间输入的方法和装置
CN113986110A (zh) * 2015-05-15 2022-01-28 阿斯尔公司 用于施加用于表面约束控制的自由空间输入的方法和装置
CN107710132B (zh) * 2015-05-15 2021-11-02 阿斯尔公司 用于施加用于表面约束控制的自由空间输入的方法和装置
CN107025003B (zh) * 2015-10-26 2020-02-18 船井电机株式会社 输入装置
US10782789B2 (en) 2015-10-26 2020-09-22 Funai Electric Co., Ltd. Input device
CN107025003A (zh) * 2015-10-26 2017-08-08 船井电机株式会社 输入装置
CN105892630A (zh) * 2015-11-02 2016-08-24 乐视致新电子科技（天津）有限公司 列表内容显示方法及装置
CN105892636A (zh) * 2015-11-20 2016-08-24 乐视致新电子科技（天津）有限公司 一种应用于头戴设备的控制方法及头戴设备
CN108700991A (zh) * 2015-12-01 2018-10-23 量子界面有限责任公司 用于为移动设备建立3轴坐标系并且利用虚拟键盘进行写入的基于运动的系统、装置和方法
CN108541323A (zh) * 2016-01-12 2018-09-14 Sun电子株式会社 图像显示装置
CN110462690A (zh) * 2017-03-27 2019-11-15 Sun电子株式会社 图像显示系统
CN110462690B (zh) * 2017-03-27 2024-04-02 Sun电子株式会社 图像显示系统
CN114578964A (zh) * 2017-06-29 2022-06-03 苹果公司 具有传感器和触觉部件的指戴式装置
CN113157084A (zh) * 2020-01-14 2021-07-23 苹果公司 基于肢体跟踪信息和眼睛跟踪信息来定位受用户控制的空间选择器

Also Published As

Publication number Publication date
KR20150023702A (ko) 2015-03-05
JP2018165994A (ja) 2018-10-25
IN2014MN02353A (zh) 2015-08-14
EP3185107A1 (en) 2017-06-28
JP6039801B2 (ja) 2016-12-07
EP2862042B1 (en) 2017-03-29
CN104335142B (zh) 2018-04-03
JP2015519673A (ja) 2015-07-09
KR20160120810A (ko) 2016-10-18
JP2016197461A (ja) 2016-11-24
EP2862042A1 (en) 2015-04-22
BR112014030606A8 (pt) 2021-05-25
US9389420B2 (en) 2016-07-12
US20130335303A1 (en) 2013-12-19
US20160274671A1 (en) 2016-09-22
BR112014030606A2 (pt) 2017-06-27
KR101845217B1 (ko) 2018-04-04
US9547374B2 (en) 2017-01-17
WO2013188054A1 (en) 2013-12-19

Similar Documents

Publication Publication Date Title
CN104335142A (zh) 用于透明头戴式显示器的用户接口交互
US20230333378A1 (en) Wristwatch based interface for augmented reality eyewear
CN110168618B (zh) 增强现实控制系统和方法
KR102491443B1 (ko) 애플리케이션을 위한 디스플레이 적응 방법 및 장치, 디바이스, 및 저장 매체
US20170153787A1 (en) Injection of 3-d virtual objects of museum artifact in ar space and interaction with the same
JP6235046B2 (ja) ビジュアルショッピング
US20160054791A1 (en) Navigating augmented reality content with a watch
US9632314B2 (en) Head mounted display device displaying thumbnail image and method of controlling the same
US20150309310A1 (en) Head mounted display device displaying thumbnail image and method of controlling therefor
US10614616B1 (en) Virtual reality user interface generation
CN104205193A (zh) 增强现实光导显示
KR20140128210A (ko) 애니메이션 효과를 제공하는 사용자 단말 장치 및 그 디스플레이 방법
CN103858074A (zh) 经由3d显示器与装置交互的系统和方法
CN104170003A (zh) 用于提供交互信息的方法和系统
CN105829948B (zh) 可佩戴显示输入系统
CN107861613A (zh) 显示与内容相关联的导航器的方法和实现其的电子装置
US11720171B2 (en) Methods for navigating user interfaces
US20230066318A1 (en) Handcrafted augmented reality effort evidence
KR101181740B1 (ko) 사용자 대화형 쇼윈도 장치
KR20160086132A (ko) 디스플레이 장치 및 그 동작 방법
CN106464856A (zh) 用于分析和确定虚拟环境的特性的计算机化系统和方法
CN105320280B (zh) 一种信息处理方法和电子设备
US20230062366A1 (en) Handcrafted augmented reality experiences
Grubert Mobile Augmented Reality for Information Surfaces
CN116958488A (zh) 基于虚拟现实的元素显示方法、装置、设备、介质及产品

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant