CN106415444A - 注视滑扫选择 - Google Patents

注视滑扫选择 Download PDF

Info

Publication number
CN106415444A
CN106415444A CN201580005721.4A CN201580005721A CN106415444A CN 106415444 A CN106415444 A CN 106415444A CN 201580005721 A CN201580005721 A CN 201580005721A CN 106415444 A CN106415444 A CN 106415444A
Authority
CN
China
Prior art keywords
attentively
cunning
virtual objects
terminal use
virtual
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201580005721.4A
Other languages
English (en)
Other versions
CN106415444B (zh
Inventor
J·斯科特
A·C·汤姆林
M·托马斯
M·卡普兰
C·G·布朗
J·普鲁姆
N·G·法杰特
D·J·麦克洛克
J·李
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Microsoft Technology Licensing LLC
Original Assignee
Microsoft Technology Licensing LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Microsoft Technology Licensing LLC filed Critical Microsoft Technology Licensing LLC
Publication of CN106415444A publication Critical patent/CN106415444A/zh
Application granted granted Critical
Publication of CN106415444B publication Critical patent/CN106415444B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/012—Head tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304—Detection arrangements using opto-electronic means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04842—Selection of displayed objects or displayed text elements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04845—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range for image manipulation, e.g. dragging, rotation, expansion or change of colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/60—Editing figures and text; Combining figures or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0138—Head-up displays characterised by optical features comprising image capture systems, e.g. camera
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/014—Head-up displays characterised by optical features comprising information/image processing systems
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B2027/0178—Eyeglass type
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0179—Display position adjusting means not related to the information to be displayed
    • G02B2027/0187—Display position adjusting means not related to the information to be displayed slaved to motion of at least a part of the body of the user, e.g. head, eye

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Optics & Photonics (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • Software Systems (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

描述了用于实现对虚拟对象的免动手选择的方法。在一些实施例中，注视滑扫姿势可以被用于选择虚拟对象。注视滑扫姿势可涉及头戴式显示设备(HMD)的终端用户执行由HMD跟踪的头部移动以检测终端用户控制的虚拟指针是否已经滑扫跨过虚拟对象的两条或更多条边。在一些情形中，注视滑扫姿势可包括在终端用户注视虚拟对象的同时终端用户使用他们的头部移动来将虚拟指针移动通过虚拟对象的两条边。响应于检测到注视滑扫姿势，HMD可基于注视滑扫姿势的速度和虚拟对象的大小来确定要被显示在HMD上的第二虚拟对象。

Description

注视滑扫选择
背景
增强现实(AR)涉及提供经增强的现实世界环境，其中对现实世界环境(或表示现实世界环境的数据)的感知被用计算机生成的虚拟数据来增强或修改。例如，表示现实世界环境的数据可使用诸如相机或话筒等传感输入设备实时地捕捉，并用包括虚拟图像和虚拟声音的计算机生成的虚拟数据来增强。虚拟数据还可包括与现实世界环境有关的信息，诸如与现实世界环境中的现实世界对象相关联的文本描述。一些AR环境内的对象可包括真实对象(即，存在于特定的现实世界环境中的对象)和虚拟对象(即，不存在于特定的现实世界环境中的对象)。
为了将虚拟对象逼真地集成到AR环境中，AR系统通常执行包括映射和本地化的若干任务。映射涉及生成现实世界环境的映射的过程。本地化涉及相对于现实世界环境的映射来定位特定的视角或姿态的过程。在一些情况下，AR系统可实时本地化在现实世界环境内移动的移动设备的姿态，以便确定与该移动设备相关联的、需要随该移动设备在现实世界环境中移动而被增强的特定视图。
概述
描述了用于在增强现实环境内实现对虚拟对象的免动手(hand-free)选择的技术。在一些实施例中，对一个或多个虚拟对象的选择可以使用与一个或多个虚拟对象的注视滑扫交互来控制。与虚拟对象的注视滑扫交互可涉及头戴式显示设备(HMD)的终端用户执行由HMD跟踪的头部移动以检测终端用户控制的虚拟指针是否滑扫跨过(或切割通过)虚拟对象的两条或更多条边。在一些情形中，注视滑扫交互可包括注视滑扫姿势，其中在HMD的终端用户在注视虚拟对象的同时，终端用户使用他们的头部移动来将虚拟指针移动通过虚拟对象的两条边。响应于检测到注视滑扫姿势，HMD可基于注视滑扫姿势的速度和注视滑扫姿势执行通过的虚拟对象的大小来确定要被显示在HMD上的第二虚拟对象。
提供本概述以便以简化的形式介绍以下在详细描述中进一步描述的一些概念。本概述并非旨在标识出要求保护的主题的关键特征或必要特征，亦非旨在用作辅助确定要求保护的主题的范围。
附图简述
图1是可在其中实施所公开的技术的联网计算环境的一个实施例的框图。
图2A描绘了与第二移动设备通信的移动设备的一个实施例。
图2B描绘了HMD的一部分的一个实施例。
图2C描绘了HMD的一部分的一个实施例，其中延伸到凝视点的凝视向量用于对准远瞳距(IPD)。
图2D描绘了HMD的一部分的一个实施例，其中延伸到凝视点的凝视向量用于对准近瞳距(IPD)。
图3A描绘了HMD的一部分的一个实施例，该HMD具有包括凝视检测元件的可移动显示光学系统。
图3B描绘了HMD的一部分的一个替换实施例，该HMD具有包括凝视检测元件的可移动显示光学系统。
图4A描绘了由查阅增强现实环境内的虚拟对象的终端用户佩戴的HMD的一个实施例。
图4B描绘了由查阅增强现实环境内的虚拟对象的终端用户佩戴的HMD的一个实施例。
图5A是描述用于选择虚拟对象的方法的一个实施例的流程图。
图5B是描述用于选择虚拟对象的方法的一个替换实施例的流程图。
图6是描述用于选择虚拟对象的方法的一个实施例的流程图。
图7是移动设备的一个实施例的框图。
详细描述
描述了用于在增强现实环境内实现虚拟对象的免动手(hand-free)选择的技术。在一些实施例中，对一个或多个虚拟对象的选择可以使用与一个或多个虚拟对象的注视滑扫交互来控制。与二维虚拟对象的注视滑扫交互可涉及头戴式显示设备(HMD)的终端用户执行由HMD跟踪的头部移动以检测终端用户控制的虚拟指针是否滑扫跨过(或切割通过)虚拟对象的两条或更多条边。虚拟指针(例如，虚拟激光指针或虚拟十字准线)可以被显示给HMD的终端用户并且可对应于从终端用户头部延伸的头部锁定的前向向量。在一些情形中，注视滑扫交互可包括注视滑扫姿势，其中在HMD的终端用户注视虚拟对象的同时，终端用户使用他们的头部移动来将虚拟指针移动通过虚拟对象的两条边。响应于检测到注视滑扫姿势，HMD可基于注视滑扫姿势的速度和注视滑扫姿势执行通过的虚拟对象的大小来确定要被显示在HMD上的第二虚拟对象。在检测到注视滑扫姿势之后，第二虚拟对象可被显示在HMD上。
涉及HMD的终端用户对虚拟对象的免动手选择的一个问题在于由于虚拟对象的选择区域和标识选择准则可能占据增强现实环境内的相同区域而导致检测到假肯定选择。例如，HMD的终端用户可能在终端用户阅读包括文本(例如，虚拟符号)的同时无意地选择包括该文本的虚拟对象。因而，存在防止在虚拟对象能够使用免动手技术(诸如向HMD的终端用户应用头部跟踪、眼部跟踪和/或注视跟踪的那些技术)选择时对虚拟对象的误选择的需要。
在一个实施例中，增强现实环境可包括第一大小(例如，大虚拟对象)的第一虚拟对象集以及不同于第一大小的第二大小(例如，小虚拟对象)的第二虚拟对象集。因为虚拟对象的大小可能影响HMD的终端用户有意地选择虚拟对象的能力，所以第一虚拟对象集的第一虚拟对象可以使用第一注视滑扫姿势来选择，而第二虚拟对象集的第二虚拟对象可以使用不同于第一注视滑扫姿势的第二注视滑扫姿势来选择。在一个示例中，第一注视滑扫姿势可包括终端用户使用头部移动来将虚拟指针移动通过第一虚拟对象的边的任何两条边(例如，虚拟指针可以用垂直方式或水平方式切割通过第一虚拟对象)。然而，为了选择第二虚拟对象，第二注视滑扫姿势可要求终端用户执行附加运动。在一个示例中，第二注视滑扫姿势可包括终端用户使用头部移动将虚拟指针以第一方向移动通过第二虚拟对象的突出显示(或指定)的一对边。在另一示例中，第二注视滑扫姿势可包括终端用户将虚拟指针以第一方向移动通过第二虚拟对象的突出显示的一对边，并且接着将虚拟指针以与第一方向相反的第二方向往回移动通过突出显示的该对边。在另一示例中，第二注视滑扫姿势可包括终端用户将虚拟指针移动通过第二虚拟对象的至少三条边。
在一些情形中，虚拟对象可包括虚拟书籍、虚拟电视、虚拟web浏览器、或向HMD的终端用户显示内容的其它虚拟对象。虚拟对象可包括由多条边界定的形状。在一个示例中，形状可包括正方形、四边形或多边形。为了执行第一选择类型(例如，以移动到与虚拟电视相关联的下一频道或者移动到虚拟书籍的下一页)，HMD的终端用户可以执行第一注视滑扫姿势，第一注视滑扫姿势滑扫通过虚拟对象的第一条边和第二条边。为了执行不同于第一选择类型的第二选择类型(例如，以移动到与虚拟电视相关联的前一频道或者移动到虚拟书籍的前一页)，HMD的终端用户可以执行第二注视滑扫姿势，第二注视滑扫姿势滑扫通过虚拟对象的第一条边和第三条边。第二注视滑扫姿势可对应于与第一注视滑扫姿势所遍历的一对边不同的一对边。在一些情形中，虚拟对象的第一对边可以使用第一颜色(例如，橙色)来突出显示以标识第一对边，而虚拟对象的第二对边可以使用第二颜色(例如，蓝色)来突出显示以标识第二对边。与注视滑扫姿势相关联的方向性也可被用于确定对应的选择类型。例如，终端用户从左到右滑扫通过第一对边可触发第一选择类型，而终端用户从右到左滑扫通过第一对边可触发第二选择类型。在一个示例中，虚拟对象可对应于虚拟web浏览器，而第一选择类型可以将虚拟web浏览器往回移动到先前查看的网页，而第二选择类型可对应于打开新标签页。
在一个实施例中，注视滑扫姿势可以切割通过两个或更多个虚拟对象。多选择注视滑扫姿势可允许HMD的终端用户在使用共同的注视滑扫姿势的同时选择多个虚拟对象。在一个示例中，虚拟对象可对应于用于存储文档和包括八个图像的图像的电子文件夹。为了选择八个图像中的三个图像，终端用户可以执行切割通过旨在被选择的三个图像的注视滑扫姿势。注视滑扫姿势可包括切割通过三个图像的一个长注视滑扫运动。在另一示例中，虚拟对象可对应于虚拟电视。终端用户可以执行第一注视滑扫姿势以切割虚拟电视并且使得对应于终端用户查看的最近八个电视频道的八个选择分段被显示为八个虚拟对象。终端用户可以执行切割通过八个虚拟对象中的两个虚拟对象的注视滑扫姿势，这导致虚拟电视显示所选择的两个频道(例如，使用画中画格式或并排格式)。在一些情形中，多个个体滑扫姿势可被用于选择一组备选对象中的每一备选对象。在此情形中，被错误选择的对象可以使用取消选择滑扫姿势来被取消选择(例如，用被用于初始地选择被错误选择的对象的相反方向来滑扫被错误选择的对象)。
图1是可在其中实施所公开的技术的联网计算环境100的一个实施例的框图。联网计算环境100包括通过一个或多个网络180互连的多个计算设备。所述一个或多个网络180允许一特定计算设备连接到另一计算设备以及与其通信。所描绘的计算设备包括移动设备11、移动设备12、移动设备19和服务器15。在一些实施例中，所述多个计算设备可以包括未示出的其他计算设备。在一些实施例中，所述多个计算设备可以包括比图1所示的计算设备的数目更多或更少的计算设备。所述一个或多个网络180可以包括诸如企业专用网络之类的安全网络、诸如无线开放式网络之类的不安全网络、局域网(LAN)、广域网(WAN)、以及因特网。所述一个或多个网络180中的每个网络可以包括集线器、网桥、路由器、交换机、以及有线传输介质，比如有线网络或直接线连接。
可包括补充信息服务器或应用服务器的服务器15可允许客户端从该服务器下载信息(例如，文本、音频、图像和视频文件)或者执行与存储在该服务器上的特定信息相关的搜索查询。一般而言，“服务器”可以包括在客户端-服务器关系中充当主机的硬件设备、或者与一个或多个客户端共享资源或为所述一个或多个客户端执行工作的软件过程。客户端-服务器关系下的计算设备之间的通信可以通过由客户端向服务器发送要求访问特定资源或执行特定工作的请求来发起。服务器随后可以执行所请求的动作并且将响应发送回客户端。
服务器15的一个实施例包括网络接口155、处理器156、存储器157和翻译器158，所有这些都彼此通信。网络接口155允许服务器15连接到一个或多个网络180。网络接口155可以包括无线网络接口、调制解调器、和/或有线网络接口。处理器156允许服务器15执行存储在存储器157中的计算机可读指令以执行在此讨论的过程。翻译器158可包括用于将第一文件格式的第一文件翻译成第二文件格式的对应第二文件的映射逻辑(即，第二文件可以是经翻译的版本的第一文件)。可使用文件映射指令来配置翻译器158，该文件映射指令提供用于将第一文件格式的文件(或其部分)映射成第二文件格式的对应文件的指令。
移动设备19的一个实施例包括网络接口145、处理器146、存储器147、相机148、传感器149、以及显示器150，所有这些都彼此通信。网络接口145允许移动设备19连接到一个或多个网络180。网络接口145可以包括无线网络接口、调制解调器、和/或有线网络接口。处理器146允许移动设备19执行存储在存储器147中的计算机可读指令以执行在此讨论的过程。相机148可以捕捉环境的色彩图像和/或深度图像。移动设备19可包括捕捉环境的图像的面向外的相机以及捕捉移动设备的终端用户的图像的面向内的相机。传感器149可生成与移动设备19相关联的运动和/或定向信息。在一些情况下，传感器149可包括惯性测量单元(IMU)。显示器150可显示数字图像和/或视频。显示器150可包括透视显示器。
在一些实施例中，包括网络接口145、处理器146、存储器147、相机148以及传感器149的移动设备19的各组件可被集成在单芯片基片上。在一示例中，网络接口145、处理器146、存储器147、相机148、传感器149可被集成成为片上系统(SOC)。在其他实施例中，网络接口145、处理器146、存储器147、相机148、传感器149可被集成在单个封装中。
在一些实施例中，通过采用照相机148、传感器149，和运行在处理器146上的姿势识别软件，移动设备19可提供自然用户界面(NUI)。使用自然用户界面，人的身体部位和移动可被检测、解释、以及用于控制计算应用的各方面。在一个示例中，利用自然用户界面的计算设备可推断与计算设备交互的人的意图(例如，最终用户执行了特定姿势来控制该计算设备)。
联网计算环境100可以为一个或多个计算设备提供云计算环境。云计算指的是基于因特网的计算，其中共享的资源、软件和/或信息通过因特网(或其他全局网络)被按需提供给一个或多个计算设备。基于在计算机网络图中使用的云图来将因特网描绘成对其所表示的底层基础设施的抽象，术语“云”被用作对因特网的比喻。
在一个示例中，移动设备19包括向头戴式显示设备(HMD)的最终用户提供增强现实环境或混合现实环境的头戴式显示设备。HMD可包括视频透视和/或光学透视系统。最终用户佩戴的光学透视HMD可允许(例如经由透明透镜)对现实世界环境的实际直接查看，并且同时可将虚拟对象的图像投影到最终用户的视野中，由此用虚拟对象来增强最终用户所感知的现实世界环境。
通过利用HMD，佩戴HMD的最终用户可在现实世界环境(例如，起居室)中四处移动，并感知覆盖有虚拟对象的图像的现实世界的视图。虚拟对象可以看起来保持与现实世界环境的相干空间关系(即，当最终用户在现实世界环境中转动他们的头或移动时，显示给该最终用户的图像将改变，使得虚拟对象看起来像被最终用户感知的那样存在于该现实世界环境内)。虚拟对象还可看起来相对于最终用户的视角是固定的(例如，无论最终用户如何在现实世界环境中转动他们的头或移动，总是出现在最终用户视角的右上角的虚拟菜单)。在一个实施例中，现实世界环境的环境映射可由服务器15(即，在服务器侧)来执行，而相机本地化可在移动设备19上(即，在客户端侧)执行。虚拟对象可包括与现实世界对象相关联的文本描述。
在一些实施例中，移动设备(诸如移动设备19)可与云中的服务器(诸如服务器15)通信，并可提供与移动设备相关联的服务器位置信息(例如，经由GPS坐标的移动设备的位置)和/或图像信息(例如，与在移动设备的视野内检测到的对象有关的信息)。作为响应，服务器可基于提供给该服务器的位置信息和/或图像信息向移动设备传送一个或多个虚拟对象。在一个实施例中，移动设备19可指定用于接收一个或多个虚拟对象的特定文件格式，并且服务器15可向移动设备19传送特定文件格式的文件内包含的一个或多个虚拟对象。
在一些实施例中，移动设备，例如移动设备19，可以包括提供包括虚拟内容阅读器的增强现实环境的HMD。虚拟内容阅读器可以包括在增强现实环境内的虚拟对象，在该增强现实环境内内容可以由HMD的终端用户阅读。在一个实施例中，虚拟内容阅读器可以包括相对于终端用户的视点固定显现的虚拟对象(即头部锁定虚拟对象)。例如，无论终端用户如何转动他们的头，虚拟内容阅读器可以出现在终端用户的视点的左上角。在另一个实施例中，虚拟内容阅读器可以包括出现以维持在增强现实环境内的相干空间关系的虚拟对象(即世界锁定虚拟对象)。例如，当终端用户在增强现实环境内转动他们的头或移动时，在HMD上显示给该终端用户的图像将改变，这样，虚拟内容阅读器出现以存在于增强现实环境内的特定位置(例如墙上)处。
在一些实施例中，对一个或多个虚拟对象的选择可以使用由HMD的终端用户执行的注视滑扫姿势来控制。在执行注视滑扫姿势之前，终端用户可以执行注视滑扫激活事件以便触发虚拟指针出现在感兴趣的虚拟对象旁边。在一个示例中，如果终端用户注视虚拟对象达超过三秒，则虚拟指针将出现在该虚拟对象的一侧并且能够由终端用户使用他们的头部移动来控制。虚拟指针可以对HMD的终端用户表现为虚拟激光指针或虚拟十字准线。在虚拟指针已经被触发之后，虚拟指针也可使用一个或多个注视滑扫姿势来定制(例如，终端用户可以调节虚拟指针的类型为突出显示器或对象拾取手形光标，终端用户还可基于终端用户的头部移动来调节虚拟指针的大小或与虚拟指针相关联的灵敏度)。在一些情形中，在检测到注视滑扫激活事件之际，虚拟对象的边可以被突出显示为对应于不同的选择选项。在HMD的终端用户注视虚拟对象的同时在终端用户使用他们的头部移动来将虚拟指针移动通过虚拟对象的两条边时，注视滑扫姿势可被检测到。响应于检测到注视滑扫姿势，HMD可基于注视滑扫姿势的速度来确定要被显示在HMD上的第二虚拟对象(例如，仅当速度高于设置的速度阈值时才可显示第二虚拟对象)。
图2A描绘了与第二移动设备5通信的移动设备19的一个实施例。移动设备19可包括透视HMD。如所描绘的，移动设备19经由有线连接6与移动设备5通信。然而，移动设备19还可经由无线连接与移动设备5通信。移动设备5可由移动设备19用来卸载计算密集的处理任务(例如，呈现虚拟对象)，并将可被用来提供增强现实环境的虚拟对象信息和其他数据存储在移动设备19上。移动设备5还可向移动设备19提供与移动设备5相关联的运动和/或定向信息。在一个示例中，运动信息可包括与移动设备5相关联的速度或加速度，并且定向信息可包括欧拉角，其提供围绕特定坐标系统或参照系的转动信息。在一些情况中，移动设备5可包括运动和定向传感器，诸如惯性测量单元(IMU)，以便获得与移动设备5相关联的运动和/或定向信息。
图2B描绘了HMD(诸如图1的移动设备19)的一部分的一个实施例。仅描绘了HMD 200的右侧。HMD 200包括右镜腿202、鼻梁204、镜片216、以及眼镜框214。右镜腿202包括与处理单元236通信的捕捉设备213(例如，前置相机和/或话筒)。捕捉设备213可包括用于记录数字图像和/或视频的一个或多个相机，并可将视觉记录传送到处理单元236。一个或多个相机可捕捉色彩信息、IR信息、和/或深度信息。捕捉设备213还可包括用于记录声音的一个或多个话筒，并可将音频记录传送到处理单元236。
右镜腿202还包括生物测定传感器220、眼睛跟踪系统221、耳机230、运动和定向传感器238、GPS接收器232、电源239、以及无线接口237，所有这些都与处理单元236通信。生物测定传感器220可包括用于确定与HMD 200的最终用户的脉搏或心率相关联的一个或多个电极，以及用于确定与HMD 200的最终用户相关联的体温的温度传感器。在一个实施例中，生物测定传感器220包括压着最终用户太阳穴的脉搏速率测量传感器。运动和定向传感器238可以包括三轴磁力计、三轴陀螺仪、和/或三轴加速度计。在一个实施例中，运动和定向传感器238可包括惯性测量单元(IMU)。GPS接收器可确定与HMD 200相关联的GPS位置。处理单元236可以包括一个或多个处理器和用于存储将要在所述一个或多个处理器上执行的计算机可读指令。存储器还可存储要在一个或多个处理器上执行的其它类型的数据。
在一个实施例中，眼睛跟踪系统221可包括一个或多个面向内的相机。在另一实施例中，眼睛跟踪系统221可包括眼睛跟踪照明源和相关联的眼睛跟踪图像传感器。在一个实施例中，眼睛跟踪照明源可包括以大约预定IR波长或一定范围的波长发射的一个或多个红外(IR)发射器(诸如红外发光二极管(LED)或激光器(例如，VCSEL))。在一些实施例中，眼睛跟踪传感器可包括用于跟踪闪光位置的IR相机或IR位置敏感检测器(PSD)。关于眼睛跟踪系统的更多信息可在2008年7月22提交的标题为“Head Mounted Eye Tracking and Display System(头戴式眼睛跟踪和显示系统)”的美国专利7,401,920，以及2011年9月26日提交的标题为“Integrated Eye Tracking and Display System(集成眼睛跟踪和显示系统)”的美国专利申请13/245,700中找到。
在一个实施例中，镜片216可包括透视显示器，处理单元236生成的图像由此可被投影和/或显示在透视显示器上。捕捉设备213可被校准，使得捕捉设备213所捕捉的视野对应于HMD 200的终端用户所看到的视野。耳机230可用于输出与虚拟对象的投影图像相关联的声音。在一些实施例中，HMD 200可包括两个或更多个前置相机(例如，每个镜腿上一个相机)，以便从与前置相机所捕捉的视野相关联的立体信息中获得深度。两个或更多个前置相机还可包括3D、IR、和/或RGB相机。也可从利用来自运动技术的深度的单个相机中获取深度信息。例如，可从单个相机获取两个图像，这两个图像与在不同的时间点的、两个不同的空间点相关联。然后，给定与两个不同空间点有关的位置信息的情况下，可执行视差计算。
在一些实施例中，HMD 200可使用凝视检测元件和与一个或多个人类眼睛元素(诸如角膜中心、眼球旋转的中心、或瞳孔中心)有关的三维坐标系，来为最终用户眼睛中的每只眼睛执行凝视检测。注视检测可被用来标识终端用户正在关注视野内的何处。注视检测元件的示例可包括生成闪光的照明器和用于捕捉表示所生成的闪光的数据的传感器。在一些情况中，角膜中心可以基于两次闪光使用平面几何来确定。角膜中心链接瞳孔中心和眼球的旋转中心，这可被当作用于确定处于某种凝视或观看角度的最终用户的眼睛的光轴的固定位置。
图2C描绘了HMD 2的一部分的一个实施例，其中延伸到凝视点的凝视向量用于对准远瞳距(IPD)。HMD 2是移动设备的一个示例，诸如图1中的移动设备19。如所描绘的，凝视向量180l和180r在远离最终用户的凝视点处相交(即，当最终用户正在看遥远处的对象时，凝视向量180l和180r不相交)。基于Gullstrand示意眼模型示出了每只眼睛的眼球160l、160r的眼球模型。每只眼球被建模成具有旋转中心166的球体，并且包括被建模成具有中心164的球的角膜168。角膜168随着眼球旋转，并且眼球的旋转中心166可被当作固定点。角膜168覆盖虹膜170，瞳孔162处于虹膜170的中心。每个角膜的表面172上是闪光174和176。
如图2C所描绘的，传感器检测区域139(即分别是139l和139r)与眼镜架115内的每一显示光学系统14的光轴相对准。在一个示例中，与该检测区域相关联的传感器可包括能够捕捉表示分别由镜架115左侧的照明器153a和153b生成的闪光174l和176l的图像数据以及表示分别由镜架115右侧的照明器153c和153d生成的闪光174r和176r的数据的一个或多个相机。通过眼镜架115中的显示光学系统14l和14r，最终用户的视野包括现实对象190、192和194以及虚拟对象182和184。
从旋转中心166穿过角膜中心164到瞳孔162而形成的轴178包括眼睛的光轴。注视向量180也被称为从中央凹穿过瞳孔中心162延伸的视线或视轴。在一些实施例中，光轴被确定，并且通过用户校准来确定小型校正以获得被选作注视向量的视轴。对于每一终端用户，虚拟对象可被显示设备显示在不同的水平和垂直位置处的多个预先确定的位置中的每一位置处。在对象在每一位置处的显示期间可以计算每一眼睛的光轴，并且光线被建模成从该位置延伸到用户眼睛中。可以基于必须如何移动光轴以与所建模的光线相对准来确定与水平和垂直分量的注视偏移角。从不同的位置处，与水平或垂直分量的平均注视偏移角可被选作要被应用于每一计算出的光轴的小型校正。在一些实施例中，仅水平分量被用于注视偏移角校正。
如图2C所描绘的，由于当凝视向量180l和180r从眼球延伸到凝视点处的视野中时这些凝视向量变得更加靠近在一起，因此这些凝视向量不是完全平行的。在每一显示光学系统14处，注视向量180看起来与光轴相交，传感器检测区域139以这一交点为中心。在这一配置中，光轴与瞳孔间距(IPD)对准。在终端用户看向正前方时，测得的IPD也被称为远IPD。
图2D描绘了HMD 2的一部分的一个实施例，其中延伸到凝视点的凝视向量用于对准近瞳距(IPD)。HMD 2是移动设备的一个示例，诸如图1中的移动设备19。如所描绘的，左眼的角膜168l向右侧或朝向最终用户的鼻子旋转，并且右眼的角膜168r向左侧或朝向最终用户的鼻子旋转。两个瞳孔正在注视终端用户的特定距离内的现实对象194。始自每只眼睛的注视向量180l和180r进入真实对象194所处的Panum汇合区域195。Panum汇合区域是像人类视觉那样的双眼观察系统中的单视觉的区域。凝视向量180l和180r的相交指示最终用户正在看现实对象194。在这样的距离处，随着眼球向内旋转，它们瞳孔之间的距离减少到近IPD。近IPD通常比远IPD小约4毫米。近IPD距离准则(例如，在距终端用户小于四英尺处的注视点)可用来将显示光学系统14的IPD对准切换或调整成近IPD的对准。对于近IPD，每一显示光学系统14可以朝向最终用户的鼻子移动，使得光轴以及检测区域139朝向鼻子移动几毫米，如检测区域139ln和139rn所表示的。
关于为HMD的终端用户确定IPD并由此调整显示光学系统的更多信息可在2011年9月30日提交的题为“Personal Audio/Visual System(个人音频/视频系统)”的美国专利申请号13/250,878中找到。
图3A描绘了HMD 2的一部分的一个实施例，该HMD具有包括凝视检测元件的可移动显示光学系统。表现为每只眼睛的透镜的事物表示每只眼睛的显示光学系统14(即14l和14r)。显示光学系统包括用于将虚拟内容与通过HMD的透镜看到的实际直接现实世界视图无缝地融合的透视透镜和光学元件(例如，反射镜、过滤器)。显示光学系统14具有一般处于透视透镜中心的光轴，其中光一般被校准来提供无失真视图。例如，在眼睛护理专业人员使一副普通眼镜适合于最终用户的脸部时，该眼睛通常是适合的，使得该眼镜在每一瞳孔与相应镜片的中心或光轴相对准的位置处落在最终用户的鼻子上，从而通常使得校准光到达最终用户的眼睛以得到清晰或无失真的视图。
如图3A所描绘的，至少一个传感器的检测区域139r、139l与其相应显示光学系统14r、14l的光轴相对准，使得检测区域139r、139l的中心捕捉沿着光轴的光。如果显示光学系统14与最终用户的瞳孔对准，则相应传感器134的每一检测区域139与最终用户的瞳孔相对准。检测区域139的反射光经由一个或多个光学元件被传送到相机的实际图像传感器134，在该实施例中传感器134由处于镜架115内部的虚线示出。在一些实施例中，传感器134可包括用于捕捉终端用户的眼睛或眼睛周围的面部特征的图像的图像传感器或RGB相机。其他面向内的图像传感器也可与镜架115集成以便捕捉与终端用户相关联的固定面部特征，诸如其鼻梁。
在一个实施例中，该至少一个传感器134可以是可见光相机(例如，RGB相机或彩色相机)。在一个示例中，光学元件或光引导元件包括是部分透射且部分反射的可见光反光镜。可见光相机提供最终用户的眼睛的瞳孔的图像数据，而IR光电探测器152捕捉作为频谱的IR部分中的反射的闪光。如果使用可见光相机，则虚拟图像的反射可以出现在该相机所捕捉的眼睛数据中。图像过滤技术可被用于按需移除虚拟图像反射。IR相机对眼睛上的虚拟图像反射是不敏感的。
在另一个实施例中，至少一个传感器134(即，134l和134r)是IR辐射可被定向到的IR相机或位置敏感检测器(PSD)。从眼睛反射的IR辐射可以来自照明器153、其他IR照明器(未示出)的入射辐射或者来自从眼睛反射的环境IR辐射。在一些情况中，传感器134可以是RGB和IR相机的组合，并且光引导元件可包括可见光反射或转向元件和IR辐射反射或转向元件。在一些情况中，相机134可被嵌入在系统14的镜片中。另外，可以应用图像过滤技术来将相机混合到用户视野中以减轻对用户的任何干扰。
如图3A所描绘的，有四组照明器153，照明器153与光电检测器152配对并被屏障154隔开以避免照明器153所生成的入射光与在光电检测器152处接收到的反射光之间的干扰。为了在附图中避免不必要的混乱，附图标记就被示出了代表性的一对。每一照明器可以是生成大约预定波长的窄光束的红外(IR)照明器。光电检测器中的每一个可被选择来捕捉大约该预定波长的光。红外还可以包括近红外。因为照明器或光电检测器可能存在波长漂移或者关于波长的微小范围是可接受的，所以照明器和光电检测器可以具有与要生成或检测的波长有关的容限范围。在传感器是IR相机或IR位置敏感检测器(PSD)的一些实施例中，光电检测器可包括附加数据捕捉设备并且也可被用来监视照明器的操作，例如波长漂移、波束宽度改变等。该光电检测器还用作为传感器134的可见光相机来提供闪光数据。
如图3A所描绘的，每一显示光学系统14以及它面向每一眼睛的凝视检测元件的安排(例如，相机134及其检测区域139、照明器153以及光电检测器152)位于可移动的内部镜架部分117l、117r上。在该示例中，显示调整机构包括具有附连到内部镜架部分117的传动轴205的一个或多个马达203，内部镜架部分117在由马达203驱动的传动轴205的引导和力量下在该镜架内从左向右滑动或反向滑动。在一些实施例中，一个马达203可以驱动两个内部镜架。
图3B描绘了HMD 2的一部分的一个替换实施例，该HMD具有包括凝视检测元件的可移动显示光学系统。如所描绘的，每个显示光学系统14被封装在分开的镜架部分115l、115r中。镜架部分中的每一个可由马达203分开地移动。在一些实施例中，此至少一个传感器134可包括用于捕捉终端用户的眼睛或眼睛周围的面部特征的图像的图像传感器或RGB相机。其他面向内的图像传感器也可与镜架115集成以便捕捉与终端用户相关联的固定面部特征，诸如其鼻梁。
图4A描绘了由查看增强现实环境410内的虚拟对象40的终端用户佩戴的HMD 402的一个实施例。该HMD 402可包括移动设备，诸如图1中的移动设备19。虚拟对象可包括虚拟web浏览器，虚拟web浏览器包括第一边41、第二边42和第三边43。虚拟web浏览器可包括第一可选图像49(例如，链接到第二网页)和第二可选图像48(例如，对应于当前查看的网页内的超文本链接)。为了使得选择超文本链接对于终端用户更容易，一个或多个可选图像(诸如可选图像48)可以出现在当前查看网页的一侧，并且允许终端用户执行注视滑扫姿势通过可选图像以便跟随超文本链接。
在一个实施例中，对应于终端用户以第一方向从左到右地注视滑扫通过边41和边42的第一注视滑扫姿势可导致虚拟web浏览器执行第一动作(例如，向前移动到下一网页)，而对应于终端用户以与第一方向相反的第二方向从右到左地注视滑扫通过边42和41的第二注视滑扫姿势可导致虚拟web浏览器执行第二动作(例如，往回移动到前一网页)。为了打开新标签页或实现与当前查看网页内的超文本链接相关联的可选图像的使用，终端用户可以执行第三注视滑扫姿势，第三注视滑扫姿势对应于终端用户注视滑扫通过边41和边43。为了选择第二可选图像48，终端用户可以执行注视滑扫姿势，其中终端用户将虚拟指针以第一方向移动通过第二可选图像48并且接着在特定时间段内将虚拟指针以与第一方向相反的第二方向往回移动通过第二可选图像48(例如，来回的注视滑扫姿势在2秒内执行)。
在一个实施例中，与特定注视滑扫姿势相关联的动作可以在特定注视滑扫姿势已经被执行后被更改或改变。在一个示例中，第一注视滑扫姿势(例如，从左到右滑扫通过虚拟电视)可对应于在第一时间点的快速向前动作，并且接着在第一注视滑扫姿势已经被执行之后，第一注视滑扫姿势可接着对应于在第一时间点之后的第二时间点的2倍快速向前动作。与特定注视滑扫姿势相关联的动作可以级联，从而使得第一注视滑扫姿势的第一执行对应于第一向前动作，第一注视滑扫姿势的第二执行对应于2倍快速向前动作，而第一注视滑扫姿势的第三执行对应于4倍快速向前动作。第一注视滑扫姿势的相反方向上的逆向注视滑扫姿势可通过将动作顺序往回步进到前一对应动作来撤销级联动作。在一些情形中，取消注视滑扫姿势可以按顺序执行以取消整个动作栈。在一些实施例中，第一注视滑扫姿势的第一执行的速度可被用于确定对应于第一注视滑扫姿势的第二执行的后续动作。在一个示例中，如果第一注视滑扫姿势的第一执行的速度高于一阈值，则第一注视滑扫姿势的第二执行可对应于8倍快速向前动作而非2倍快速向前动作(即，2倍和4倍快速向前动作可以基于注视滑扫姿势的速度被跳过)。
图4B描绘了由查看增强现实环境411内的虚拟对象51的终端用户佩戴的HMD 402的一个实施例。该HMD 402可包括移动设备，诸如图1中的移动设备19。虚拟对象51-54中的每一者可对应于要使用虚拟电视查看的电视频道(即，向HMD 402的终端用户显示的好像存在于增强现实环境411内的电视)。在一个实施例中，在HMD 402的终端用户执行切割通过虚拟电视的第一注视滑扫姿势(例如，以水平方式或以垂直方式)之后，虚拟对象51-54可以出现为对应于终端用户最后查看(或最近查看)的四个电视频道。终端用户可以执行切割通过虚拟对象51-54之一的第二注视滑扫姿势以便选择一特定频道并且导致虚拟电视重新出现并且显示所选频道。在一些情形中，终端用户可以执行切割通过四个虚拟对象51-54中的两个虚拟对象的第二注视滑扫姿势，这导致虚拟电视重新出现并且显示所选择的两个频道(例如，使用画中画格式或并排格式)。
在执行第二注视滑扫姿势之前，终端用户可以执行注视滑扫激活事件以便触发虚拟指针55出现在虚拟对象51-54旁边。在一个示例中，如果终端用户注视虚拟对象51达超过2秒，则虚拟指针55将出现在虚拟对象51的左侧并且能够由终端用户使用他们的头部移动来控制。在一个实施例中，在HMD的终端用户注视虚拟对象51的同时在终端用户使用他们的头部移动来将虚拟指针55移动通过虚拟对象51的两条边时，第二注视滑扫姿势可被检测到。
图5A是描述用于选择虚拟对象的方法的一个实施例的流程图。在一个实施例中，图5A的过程可由诸如图1中的移动设备19的移动设备来执行。
在步骤502中，第一虚拟对象被显示给HMD的终端用户。第一虚拟对象可包括多条边或可由多条边界定。在一些情形中，第一虚拟对象可包括虚拟书籍、虚拟电视、虚拟web浏览器、或向HMD的终端用户显示内容的其它虚拟对象。第一虚拟对象的形状可包括圆形、三角形、正方形、四边形或多边形。
在步骤504中，由终端用户执行的注视滑扫激活事件被检测到。注视滑扫激活事件可以将HMD置于用于检测注视滑扫姿势的状态。在HMD已经被置于用于检测注视滑扫姿势的状态之后，终端用户的头部移动可以使用头部跟踪来跟踪。
在步骤506中，响应于检测到注视滑扫激活事件，向HMD的终端用户显示虚拟指针。虚拟指针可以由终端用户使用头部移动来控制。在一些实施例中，终端用户可以执行注视滑扫激活事件以便触发虚拟指针出现在第一虚拟对象旁边。在一个示例中，如果终端用户注视虚拟对象达超过3秒，则虚拟指针将出现在第一虚拟对象的一侧或者以其它方式被放置在第一虚拟对象的外部以使得它可以被滑扫通过第一虚拟对象。在另一示例中，如果终端用户注视第一虚拟对象并且接着闭上一个眼睛但仍然聚焦于第一虚拟对象，则虚拟指针将出现在第一虚拟对象的一侧。虚拟指针可以对HMD的终端用户表现为虚拟激光指针或虚拟十字准线。虚拟指针可对应于从终端用户的头部延伸或者从HMD上的固定点延伸的头部锁定的前向向量。
在一些情形中，在检测到注视滑扫激活事件之际，第一虚拟对象的多条边中的一条或多条边可以被突出显示为对应于不同的虚拟对象选择选项。在一个示例中，对应于第一选择类型的第一边对可以被着色为第一颜色(例如，橙色)以标识第一边对，而对应于第二选择类型的第二边对可以被着色为不同于第一颜色的第二颜色(例如，蓝色)。第一选择类型可对应于移动到与虚拟电视相关联的下一频道或者移动到虚拟书籍的下一页。第二选择类型可对应于移动到与虚拟电视相关联的前一频道或者移动到虚拟书籍的前一页。
在步骤508中，由HMD的终端用户执行的注视滑扫姿势被检测到。注视滑扫姿势可对应于终端用户将虚拟指针移动通过多条边中的至少两条边。在一个示例中，注视滑扫姿势可包括终端用户使用头部移动来将虚拟指针移动通过第一虚拟对象的边中的任何两条边(例如，虚拟指针可以用垂直方式或水平方式完全切割通过第一虚拟对象)。在另一示例中，注视滑扫姿势可包括终端用户使用头部移动来将虚拟指针移动通过第一虚拟对象的第一边对。在另一示例中，注视滑扫姿势可包括终端用户将虚拟指针以第一方向移动通过第一虚拟对象的第一边对，并且接着将虚拟指针以与第一方向相反的第二方向往回移动通过第一边对。在另一示例中，注视滑扫姿势可包括终端用户将虚拟指针移动通过第一虚拟对象的至少三条边。在一些情形中，要被遍历的至少三条边的顺序可以使用覆盖在至少三条边的每一条边上的数字被传达给终端用户。在一些情形中，注视滑扫姿势可对应于在终端用户注视第一虚拟对象或者维持与第一虚拟对象的眼睛接触的同时终端用户将虚拟指针移动通过多条边的至少两条边。
在步骤510中，注视滑扫姿势的速度被确定。注视滑扫姿势的速度可以基于注视滑扫姿势从第一虚拟对象的第一边(例如，进入边)行进到第一虚拟对象的第二边(例如，出口边)所花费的时间来确定。在一个实施例中，响应于检测到注视滑扫姿势而作出的选择动作(例如，显示新的虚拟对象)可以仅在注视滑扫姿势的速度在特定速度范围(例如，在1m/s和5m/s之间)之内的情况下被执行。在另一实施例中，响应于检测到注视滑扫姿势而作出的选择动作可以仅在注视滑扫姿势的速度高于设置的速度阈值(例如，速度高于3m/s)的情况下被执行。在一些情形中，对应于注视滑扫姿势的选择类型可取决于注视滑扫姿势的速度。在一个示例中，以第一速度执行的注视滑扫姿势可触发第一选择类型，而以快于第一速度的第二速度执行的注视滑扫姿势可触发不同于第一选择类型的第二选择类型。
在步骤512中，第一虚拟对象的大小被确定。在一些情形中，对应于注视滑扫姿势的选择类型可取决于第一虚拟对象的大小。在一个示例中，在第一大小的第一虚拟对象上执行的注视滑扫姿势可以触发第一选择类型，而在大于第一大小的第二大小的第一虚拟对象上执行的注视滑扫姿势可以触发不同于第一选择类型的第二选择类型。
在步骤514中，基于注视滑扫姿势的速度、第一虚拟对象的大小、以及由注视滑扫姿势遍历的多条边中的至少两条边来确定不同于第一虚拟对象的第二虚拟对象。在步骤516中，使用HMD向HMD的终端用户显示第二虚拟对象。在一个示例中，第一虚拟对象可对应于显示第一网页的虚拟web浏览器，而第二虚拟对象可对应于显示不同于第一网页的第二网页的虚拟web浏览器。在另一示例中，第一虚拟对象可对应于显示第一电视频道的虚拟电视，而第二虚拟对象可对应于显示第二电视频道的虚拟电视。在一些情形中，代替响应于检测到注视滑扫姿势来显示新的虚拟对象，第一虚拟对象可以被重新配置成显示新信息。在另一示例中，第一虚拟对象可对应于用于存储文件和/或图像的电子文件夹，而第二虚拟对象可对应于显示电子文件夹的内容(例如，显示存储在电子文件夹内的文件和子文件夹)的电子文件夹的打开版本。
在一些实施例中，注视滑扫姿势可以切割通过两个或更多个虚拟对象。多选择注视滑扫姿势可允许HMD的终端用户在使用共同的注视滑扫姿势的同时选择多个虚拟对象。在一个示例中，虚拟对象可对应于虚拟电视。终端用户可以执行第一注视滑扫姿势以虚拟电视切割成对应于终端用户最近查看的八个电视频道的八个选择分段并且显示与八个显示分段相关联的八个虚拟对象。终端用户可以执行切割通过八个虚拟对象中的两个虚拟对象的第二注视滑扫姿势，这导致虚拟电视显示所选择的两个频道(例如，使用画中画格式或并排格式)。
图5B是描述用于选择虚拟对象的方法的一个替换实施例的流程图。在一个实施例中，图5B的过程可由诸如图1中的移动设备19的移动设备来执行。
在步骤522中，第一虚拟对象被显示给HMD的终端用户。第一虚拟对象可包括由多条边界定的形状。在一些情形中，第一虚拟对象可包括虚拟书籍、虚拟电视、虚拟web浏览器、或向HMD的终端用户显示内容的其它虚拟对象。第一虚拟对象的形状可包括圆形、三角形、正方形、四边形或多边形。
在步骤524中，由终端用户执行的注视滑扫激活事件被检测到。注视滑扫激活事件可以将HMD置于用于检测注视滑扫姿势的状态。在HMD已经被置于用于检测注视滑扫姿势的状态之后，终端用户的头部移动可以使用头部跟踪来跟踪。
在步骤526中，响应于检测到注视滑扫激活事件，在第一虚拟对象附近向HMD的终端用户显示虚拟指针。虚拟指针可以由终端用户使用头部移动来控制。在一些实施例中，终端用户可以执行注视滑扫激活事件以便触发虚拟指针出现在第一虚拟对象旁边。在一个示例中，如果终端用户注视虚拟对象达超过3秒，则虚拟指针将出现在第一虚拟对象的一侧或者以其它方式被放置在第一虚拟对象的外部以使得它可以被滑扫通过第一虚拟对象。在另一示例中，如果终端用户注视第一虚拟对象并且接着闭上一个眼睛但仍然聚焦于第一虚拟对象，则虚拟指针将出现在第一虚拟对象的一侧。
在步骤528中，由HMD的终端用户执行的注视滑扫姿势被检测到。注视滑扫姿势可对应于在终端用户注视第一虚拟对象的同时终端用户使用头部移动来将虚拟指针移动通过多条边中的至少两条边。在一个示例中，注视滑扫姿势可包括终端用户使用头部移动来将虚拟指针移动通过第一虚拟对象的边中的任何两条边(例如，虚拟指针可以用垂直方式或水平方式并且在任何方向上完全切割通过第一虚拟对象)。
在步骤530中，基于注视滑扫姿势来标识多个选择分段。在步骤532中，向HMD的终端用户显示多个选择分段。多个选择分段可以向HMD的终端用户显示为增强现实环境内的对应的多个虚拟对象。在步骤534中，由HMD的终端用户执行的第二注视滑扫姿势被检测到。第二注视滑扫姿势可对应于终端用户使用头部移动来将虚拟指针移动通过多个选择分段中的至少两个选择分段。在步骤536中，响应于检测到第二注视滑扫姿势，向HMD的终端用户显示第三虚拟对象。
图6是描述用于选择虚拟对象的方法的一个实施例的流程图。在一个实施例中，图6的过程可由移动设备(诸如图1的移动设备19)执行。
在步骤602中，第一虚拟对象被显示在增强现实环境内。第一虚拟对象可包括由多条边界定的形状。第一虚拟对象可以被现实给HMD的终端用户。在一些情形中，第一虚拟对象可包括虚拟书籍、虚拟电视、虚拟web浏览器、或向HMD的终端用户显示内容的其它虚拟对象。第一虚拟对象的形状可包括圆形、三角形、正方形、四边形或多边形。
在步骤604中，确定第一虚拟对象的大小。在步骤606中，检测到注视滑扫激活事件。注视滑扫激活事件可以将HMD置于用于检测注视滑扫姿势的状态。在HMD已经被置于用于检测注视滑扫姿势的状态之后，终端用户的头部移动可以使用头部跟踪来跟踪。注视滑扫激活事件还能实现可由HMD的终端用户使用头部移动来控制虚拟指针的显示。
在步骤608中，响应于检测到注视滑扫激活事件，基于第一虚拟对象的大小来突出显示多条边中的一条或多条边。在一个实施例中，如果第一虚拟对象的大小大于大小阈值，则第一虚拟对象的第一边对可以使用第一颜色被突出显示(例如，正方形的虚拟对象的顶边和底边可以被着色为橙色)并且对应于第一选择类型。否则，如果第一虚拟对象的大小小于大小阈值，则第一虚拟对象的第一边对可以使用第二颜色(例如，蓝色)被突出显示并且对应于不同于第一选择类型的第二选择类型。
在步骤610中，切割通过多条边中的至少两条边的注视滑扫姿势被检测到。注视滑扫姿势可以由HMD检测。注视滑扫姿势可对应于在HMD的终端用户注视第一虚拟对象的同时终端用户使用头部移动来将虚拟指针移动通过多条边中的至少两条边。在一个示例中，注视滑扫姿势可包括终端用户使用头部移动来将虚拟指针移动通过第一虚拟对象的多条边中的任何两条边(例如，虚拟指针可以用垂直方式或水平方式并且在任何方向上完全切割通过第一虚拟对象)。
在步骤612中，响应于检测到注视滑扫姿势来确定要被显示的第二虚拟对象。在步骤614中，第二虚拟对象被显示在增强现实环境内。在一个示例中，第一虚拟对象可对应于用于存储文件和/或图像的电子文件夹，而第二虚拟对象可对应于显示电子文件夹的内容的电子文件夹的打开版本(例如，显示存储在电子文件夹内的文件和子文件夹)。
所公开的技术的一个实施例包括与透视显示器通信的一个或多个处理器。透视显示器将虚拟对象显示给电子设备的终端用户。虚拟对象包括多条边。一个或多个处理器检测由终端用户执行的注视滑扫激活事件，并且响应于检测到注视滑扫激活事件来向终端用户显示虚拟指针。一个或多个处理器检测由终端用户执行的注视滑扫姿势。注视滑扫姿势对应于终端用户使用一个或多个头部移动来将虚拟指针移动通过多条边中的两条或更多条边。一个或多个处理器确定注视滑扫姿势的速度。一个或多个处理器基于注视滑扫姿势的速度以及由注视滑扫姿势遍历的多条边中的两条或更多条边来确定不同于虚拟对象的第二虚拟对象。一个或多个处理器导致第二虚拟对象使用透视显示器被显示。
所公开的技术的一个实施例包括向HMD的终端用户显示虚拟对象。虚拟对象包括多条边。该方法进一步包括检测由终端用户执行的注视滑扫激活事件，响应于检测到注视滑扫激活事件来向HMD的终端用户显示虚拟指针，以及检测由HMD的终端用户执行的注视滑扫姿势。注视滑扫姿势对应于终端用户使用一个或多个头部移动来将虚拟指针移动通过多条边中的至少两条边。该方法进一步包括确定注视滑扫姿势的速度，基于注视滑扫姿势的速度以及由注视滑扫姿势遍历的多条边中的至少两条边来确定不同于虚拟对象的第二虚拟对象，并且向HMD的终端用户显示第二虚拟对象。
所公开的技术的一个实施例包括向HMD的终端用户显示虚拟对象。虚拟对象包括由多条边界定的形状。该方法进一步包括检测由终端用户执行的注视滑扫激活事件，响应于检测到注视滑扫激活事件来向HMD的终端用户显示虚拟指针，检测由HMD的终端用户执行的注视滑扫姿势。注视滑扫姿势对应于在终端种乎注视虚拟对象的同时终端用户使用一个或多个头部移动来将虚拟指针移动通过多条边中的两条或更多条边。检测注视滑扫姿势包括使用HMD来跟踪终端用户的一个或多个头部移动。该方法进一步包括确定注视滑扫姿势的速度，基于注视滑扫姿势的速度以及由注视滑扫姿势遍历的多条边中的两条或更多条边来确定不同于虚拟对象的第二虚拟对象，并且向HMD的终端用户显示第二虚拟对象。
图7是移动设备8300(诸如图1中的移动设备19)的一个实施例的框图。移动设备可以包括已经整合了无线接收机/发射机技术的膝上型计算机、袖珍计算机、移动电话、HMD、个人数字助理、以及手持式媒体设备。
移动设备8300包括一个或多个处理器8312以及存储器8310。存储器8310包括应用8330和非易失性存储8340。存储器8310可以是任何种类的存储器存储介质类型，包括非易失性和易失性存储器。移动设备操作系统处理移动设备8300的不同操作，并可包含用于操作的用户界面，如拨打和接听电话呼叫、文本消息收发、检查语音邮件等。应用8330可以是任何种类的程序，如用于照片和/或视频的相机应用、地址簿、日历应用、媒体播放器、因特网浏览器、游戏、闹钟应用、以及其它应用。存储器8310中的非易失性存储组件8340可以包含诸如音乐、照片、联系人数据、日程安排数据、以及其它文件之类的数据。
一个或多个处理器8312与透视显示器8309进行通信。透视显示器8309可显示与现实世界环境相关联的一个或多个虚拟对象。所述一个或多个处理器8312还与下列各项通信：RF发射机/接收机8306，其又耦合到天线8302；红外发射机/接收机8308；全球定位服务(GPS)接收器8365；以及移动/定向传感器8314，其可以包括加速度计和/或磁力计。RF发射机/接收机8308可以通过诸如或IEEE802.11标准之类的各种无线技术标准来实现无线通信。加速度计可能已经结合在移动设备中以实现诸如下列应用：智能用户界面应用，其让用户通过姿势输入命令；以及定向应用，其可以在移动设备被旋转时将显示自动地从竖向改变成横向。可以，例如，通过微机电系统(MEMS)来提供加速度计，该微机电系统是构建在半导体芯片上的微小机械器件(微米尺寸)。可以感测加速度方向、以及定向、振动和震动。所述一个或多个处理器8312还与响铃器/振动器8316、用户界面小键盘/屏幕8318、扬声器8320、话筒8322、相机8324、光传感器8326和温度传感器8328进行通信。用户界面小键盘/屏幕可以包括触敏屏幕显示器。
所述一个或多个处理器8312控制无线信号的发射和接收。在发射模式期间，所述一个或多个处理器8312向RF发射机/接收机8306提供来自话筒8322的语音信号，或其它数据信号。发射机/接收机8306通过天线8302来发射信号。响铃器/振动器8316被用于向用户发传入呼叫、文本消息、日历提醒、闹钟提醒或其它通知等信号。在接收模式期间，RF发射机/接收机8306通过天线8302接收来自远程站的语音信号或数据信号。所接收到的语音信号被提供给扬声器8320，而接收到的其它数据信号被适当地处理。
另外，可以使用物理连接器8388来将移动设备8300连接到诸如AC适配器或加电对接底座之类的外部电源，以便对电池8304进行再充电。物理连接器8388还可被用作到外部计算设备的数据连接。该数据连接允许诸如将移动设备数据与另一设备上的计算数据进行同步等操作。
所公开的技术可用各种其它通用或专用计算系统环境或配置来操作。适合结合本技术中使用的公知的计算系统、环境和/或配置的示例包括，但不限于，个人计算机、服务器计算机、手持或膝上型设备、多处理器系统、基于微处理器的系统、机顶盒、可编程消费电子产品、网络PC、小型计算机、大型计算机、包含上述系统或设备中的任一个的分布式计算环境等。
所公开的技术可在诸如程序模块等由计算机执行的计算机可执行指令的通用上下文中描述。一般而言，如此处所述的软件和程序模块包括执行特定任务或实现特定抽象数据类型的例程、程序、对象、组件、数据结构和其它类型的结构。硬件或硬件和软件的组合可以替代在此描述的软件模块。
所公开的技术也可以在任务由通过通信网络链接的远程处理设备执行的分布式计算环境中实现。在分布式计算环境中，程序模块可以位于包括存储器存储设备的本地和远程计算机存储介质两者中。
出于本文档的目的，与所公开的技术相关联的每个过程可以持续地并由一个或多个计算设备来执行。该过程中的每个步骤都可由与在其他步骤中所使用的那些计算设备相同或不同的计算设备来执行，且每个步骤不必由单个计算设备来执行。
出于本文的目的，说明书中引述的“一实施例”、“一个实施例”、“某些实施例”或“另一实施例”可被用于描述不同的实施例并且不必然指的是同一实施例。
出于本文的目的，连接可以是直接连接或间接连接(例如，经由另一方)。
出于本文的目的，术语对象的“集合”指的是一个或多个对象的“集合”。
尽管用结构特征和/或方法动作专用的语言描述了本主题，但可以理解，所附权利要求书中定义的主题不必限于上述具体特征或动作。更确切而言，上述具体特征和动作是作为实现权利要求的示例形式公开的。

Claims (10)

1.一种用于显示增强现实环境的电子设备，包括：
透视显示器，所述透视显示器将虚拟对象显示给所述电子设备的终端用户，所述虚拟对象包括多条边；以及
与所述透视显示器通信的一个或多个处理器，所述一个或多个处理器检测由所述终端用户执行的注视滑扫激活事件，并且响应于检测到所述注视滑扫激活事件来向所述终端用户显示虚拟指针，所述一个或多个处理器检测由所述终端用户执行的注视滑扫姿势，所述注视滑扫姿势对应于所述终端用户使用一个或多个头部移动将所述虚拟指针移动通过所述多条边中的两条或更多条边，所述一个或多个处理器确定所述注视滑扫姿势的速度，所述一个或多个处理器基于所述注视滑扫姿势的速度以及由所述注视滑扫姿势遍历的所述多条边中的两条或更多条边来确定不同于所述虚拟对象的第二虚拟对象，所述一个或多个处理器导致使用所述透视显示器显示所述第二虚拟对象。
2.如权利要求1所述的电子设备，其特征在于：
所述电子设备包括HMD；以及
所述一个或多个处理器通过使用所述HMD跟踪所述终端用户的一个或多个头部移动来检测所述终端用户执行了所述注视滑扫姿势。
3.如权利要求1-2中的任一项所述的电子设备，其特征在于：
所述电子设备包括HMD；以及
所述一个或多个处理器通过检测到在所述终端用户注视所述虚拟对象的同时所述终端用户将所述虚拟指针移动通过所述多条边中的两条或更多条边来检测由所述终端用户执行的所述注视滑扫姿势，所述一个或多个处理器通过使用所述HMD跟踪所述终端用户的眼部移动来检测所述终端用户注视所述虚拟对象。
4.如权利要求1-3中的任一项所述的电子设备，其特征在于：
所述一个或多个处理器通过检测到所述终端用户将所述虚拟指针移动通过所述多条边中的三条或更多条边来检测由所述终端用户执行的所述注视滑扫姿势。
5.如权利要求1-4中的任一项所述的电子设备，其特征在于：
所述虚拟对象包括由所述多条边界定的形状。
6.如权利要求1-5中的任一项所述的电子设备，其特征在于：
所述一个或多个处理器确定所述虚拟对象的大小，所述一个或多个处理器基于所述多条边中的两条或更多条边以及所述虚拟对象的大小来确定所述第二虚拟对象。
7.如权利要求1-6中的任一项所述的电子设备，其特征在于：
所述一个或多个处理器使得在所述注视滑扫姿势的速度高于设置的速度阈值的情况下使用所述透视显示器显示所述第二虚拟对象。
8.一种用于使用HMD来选择虚拟对象的方法，包括：
向所述HMD的终端用户显示所述虚拟对象，所述虚拟对象包括多条边；
检测由所述终端用户执行的注视滑扫激活事件；
响应于检测到所述注视滑扫激活事件，向所述HMD的所述终端用户显示虚拟指针；
检测由所述HMD的所述终端用户执行的注视滑扫姿势，所述注视滑扫姿势对应于所述终端用户使用一个或多个头部移动将所述虚拟指针移动通过所述多条边中的至少两条边；
确定所述注视滑扫姿势的速度；
基于所述注视滑扫姿势的速度以及由所述注视滑扫姿势遍历的所述多条边中的至少两条边来确定不同于所述虚拟对象的第二虚拟对象；以及
向所述HMD的所述终端用户显示所述第二虚拟对象。
9.如权利要求8所述的方法，其特征在于：
检测注视滑扫姿势包括检测在所述终端用户注视所述虚拟对象的同时所述终端用户将所述虚拟指针移动通过所述多条边中的至少两条边。
10.如权利要求8-9中的任一项所述的方法，其特征在于：
检测注视滑扫姿势包括检测到所述终端用户将所述虚拟指针移动通过所述多条边中的至少三条边。
CN201580005721.4A 2014-01-23 2015-01-16 注视滑扫选择 Active CN106415444B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US14/161,694 US9201578B2 (en) 2014-01-23 2014-01-23 Gaze swipe selection
US14/161,694 2014-01-23
PCT/US2015/011671 WO2015112433A1 (en) 2014-01-23 2015-01-16 Gaze swipe selection

Publications (2)

Publication Number Publication Date
CN106415444A true CN106415444A (zh) 2017-02-15
CN106415444B CN106415444B (zh) 2019-10-01

Family

ID=52450600

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201580005721.4A Active CN106415444B (zh) 2014-01-23 2015-01-16 注视滑扫选择

Country Status (5)

Country Link
US (2) US9201578B2 (zh)
EP (1) EP3097460B1 (zh)
KR (2) KR102350300B1 (zh)
CN (1) CN106415444B (zh)
WO (1) WO2015112433A1 (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106873783A (zh) * 2017-03-29 2017-06-20 联想(北京)有限公司 信息处理方法、电子设备及输入装置
CN107463258A (zh) * 2017-08-07 2017-12-12 北京铂石空间科技有限公司 头戴式显示设备、头戴式显示交互系统及显示交互方法
CN110333785A (zh) * 2019-07-11 2019-10-15 Oppo广东移动通信有限公司 信息处理方法、装置、存储介质及增强现实设备
CN111052042A (zh) * 2017-09-29 2020-04-21 苹果公司 基于注视的用户交互
US11314396B2 (en) 2018-05-09 2022-04-26 Apple Inc. Selecting a text input field using eye gaze
US12099773B2 (en) 2023-08-01 2024-09-24 Apple Inc. Accessing functions of external devices using reality interfaces

Families Citing this family (145)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9400390B2 (en) 2014-01-24 2016-07-26 Osterhout Group, Inc. Peripheral lighting for head worn computing
US9965681B2 (en) 2008-12-16 2018-05-08 Osterhout Group, Inc. Eye imaging in head worn computing
US20150205111A1 (en) 2014-01-21 2015-07-23 Osterhout Group, Inc. Optical configurations for head worn computing
US9229233B2 (en) 2014-02-11 2016-01-05 Osterhout Group, Inc. Micro Doppler presentations in head worn computing
US9952664B2 (en) 2014-01-21 2018-04-24 Osterhout Group, Inc. Eye imaging in head worn computing
US9715112B2 (en) 2014-01-21 2017-07-25 Osterhout Group, Inc. Suppression of stray light in head worn computing
US9298007B2 (en) 2014-01-21 2016-03-29 Osterhout Group, Inc. Eye imaging in head worn computing
US10986223B1 (en) 2013-12-23 2021-04-20 Massachusetts Mutual Life Insurance Systems and methods for presenting content based on user behavior
US10178222B1 (en) 2016-03-22 2019-01-08 Massachusetts Mutual Life Insurance Company Systems and methods for presenting content based on user behavior
US10432781B1 (en) 2016-03-22 2019-10-01 Massachusetts Mutual Life Insurance Company Systems and methods for presenting content based on user behavior
US10051113B1 (en) 2016-03-22 2018-08-14 Massachusetts Mutual Life Insurance Company Systems and methods for presenting content based on user behavior
US20160019715A1 (en) 2014-07-15 2016-01-21 Osterhout Group, Inc. Content presentation in head worn computing
US11227294B2 (en) 2014-04-03 2022-01-18 Mentor Acquisition One, Llc Sight information collection in head worn computing
US9810906B2 (en) 2014-06-17 2017-11-07 Osterhout Group, Inc. External user interface for head worn computing
US9841599B2 (en) 2014-06-05 2017-12-12 Osterhout Group, Inc. Optical configurations for head-worn see-through displays
US9829707B2 (en) 2014-08-12 2017-11-28 Osterhout Group, Inc. Measuring content brightness in head worn computing
US10684687B2 (en) 2014-12-03 2020-06-16 Mentor Acquisition One, Llc See-through computer display systems
US9939934B2 (en) 2014-01-17 2018-04-10 Osterhout Group, Inc. External user interface for head worn computing
US20150277118A1 (en) * 2014-03-28 2015-10-01 Osterhout Group, Inc. Sensor dependent content position in head worn computing
US10254856B2 (en) 2014-01-17 2019-04-09 Osterhout Group, Inc. External user interface for head worn computing
US9671613B2 (en) 2014-09-26 2017-06-06 Osterhout Group, Inc. See-through computer display systems
US20150228119A1 (en) 2014-02-11 2015-08-13 Osterhout Group, Inc. Spatial location presentation in head worn computing
US10649220B2 (en) 2014-06-09 2020-05-12 Mentor Acquisition One, Llc Content presentation in head worn computing
US9529195B2 (en) 2014-01-21 2016-12-27 Osterhout Group, Inc. See-through computer display systems
US9299194B2 (en) 2014-02-14 2016-03-29 Osterhout Group, Inc. Secure sharing in head worn computing
US11103122B2 (en) 2014-07-15 2021-08-31 Mentor Acquisition One, Llc Content presentation in head worn computing
US9594246B2 (en) 2014-01-21 2017-03-14 Osterhout Group, Inc. See-through computer display systems
US9746686B2 (en) 2014-05-19 2017-08-29 Osterhout Group, Inc. Content position calibration in head worn computing
US10191279B2 (en) 2014-03-17 2019-01-29 Osterhout Group, Inc. Eye imaging in head worn computing
US9575321B2 (en) 2014-06-09 2017-02-21 Osterhout Group, Inc. Content presentation in head worn computing
US9494800B2 (en) 2014-01-21 2016-11-15 Osterhout Group, Inc. See-through computer display systems
US9538915B2 (en) 2014-01-21 2017-01-10 Osterhout Group, Inc. Eye imaging in head worn computing
US9766463B2 (en) 2014-01-21 2017-09-19 Osterhout Group, Inc. See-through computer display systems
US9651784B2 (en) 2014-01-21 2017-05-16 Osterhout Group, Inc. See-through computer display systems
US11487110B2 (en) 2014-01-21 2022-11-01 Mentor Acquisition One, Llc Eye imaging in head worn computing
US20150205135A1 (en) 2014-01-21 2015-07-23 Osterhout Group, Inc. See-through computer display systems
US9811153B2 (en) 2014-01-21 2017-11-07 Osterhout Group, Inc. Eye imaging in head worn computing
US9523856B2 (en) 2014-01-21 2016-12-20 Osterhout Group, Inc. See-through computer display systems
US11669163B2 (en) 2014-01-21 2023-06-06 Mentor Acquisition One, Llc Eye glint imaging in see-through computer display systems
US9753288B2 (en) 2014-01-21 2017-09-05 Osterhout Group, Inc. See-through computer display systems
US11737666B2 (en) 2014-01-21 2023-08-29 Mentor Acquisition One, Llc Eye imaging in head worn computing
US9740280B2 (en) 2014-01-21 2017-08-22 Osterhout Group, Inc. Eye imaging in head worn computing
US9836122B2 (en) 2014-01-21 2017-12-05 Osterhout Group, Inc. Eye glint imaging in see-through computer display systems
US11892644B2 (en) 2014-01-21 2024-02-06 Mentor Acquisition One, Llc See-through computer display systems
US12093453B2 (en) 2014-01-21 2024-09-17 Mentor Acquisition One, Llc Eye glint imaging in see-through computer display systems
US9846308B2 (en) 2014-01-24 2017-12-19 Osterhout Group, Inc. Haptic systems for head-worn computers
US9401540B2 (en) 2014-02-11 2016-07-26 Osterhout Group, Inc. Spatial location presentation in head worn computing
US9852545B2 (en) 2014-02-11 2017-12-26 Osterhout Group, Inc. Spatial location presentation in head worn computing
US20160187651A1 (en) 2014-03-28 2016-06-30 Osterhout Group, Inc. Safety for a vehicle operator with an hmd
US9672210B2 (en) 2014-04-25 2017-06-06 Osterhout Group, Inc. Language translation with head-worn computing
US10853589B2 (en) 2014-04-25 2020-12-01 Mentor Acquisition One, Llc Language translation with head-worn computing
US9651787B2 (en) 2014-04-25 2017-05-16 Osterhout Group, Inc. Speaker assembly for headworn computer
US10663740B2 (en) 2014-06-09 2020-05-26 Mentor Acquisition One, Llc Content presentation in head worn computing
US20240295922A1 (en) * 2014-06-20 2024-09-05 Uday Parshionikar Gesture based user interfaces, apparatuses and systems using eye tracking, head tracking, hand tracking, facial expressions and other user actions
KR20160015972A (ko) * 2014-08-01 2016-02-15 엘지전자 주식회사 웨어러블 디바이스 및 그 제어 방법
US9684172B2 (en) 2014-12-03 2017-06-20 Osterhout Group, Inc. Head worn computer display systems
USD751552S1 (en) 2014-12-31 2016-03-15 Osterhout Group, Inc. Computer glasses
USD753114S1 (en) 2015-01-05 2016-04-05 Osterhout Group, Inc. Air mouse
US20160239985A1 (en) 2015-02-17 2016-08-18 Osterhout Group, Inc. See-through computer display systems
US10878775B2 (en) 2015-02-17 2020-12-29 Mentor Acquisition One, Llc See-through computer display systems
TWI567670B (zh) * 2015-02-26 2017-01-21 宅妝股份有限公司 切換虛擬實境模式與擴增實境模式的管理方法以及系統
US10156721B2 (en) * 2015-03-09 2018-12-18 Microsoft Technology Licensing, Llc User-based context sensitive hologram reaction
US9791917B2 (en) * 2015-03-24 2017-10-17 Intel Corporation Augmentation modification based on user interaction with augmented reality scene
KR102477849B1 (ko) * 2015-09-15 2022-12-15 엘지전자 주식회사 이동 단말기 및 그것의 제어방법
US10565446B2 (en) 2015-09-24 2020-02-18 Tobii Ab Eye-tracking enabled wearable devices
CN108604116A (zh) 2015-09-24 2018-09-28 托比股份公司 能够进行眼睛追踪的可穿戴设备
US20170092002A1 (en) * 2015-09-30 2017-03-30 Daqri, Llc User interface for augmented reality system
US10401953B2 (en) 2015-10-26 2019-09-03 Pillantas Inc. Systems and methods for eye vergence control in real and augmented reality environments
US10466780B1 (en) 2015-10-26 2019-11-05 Pillantas Systems and methods for eye tracking calibration, eye vergence gestures for interface control, and visual aids therefor
KR102450416B1 (ko) * 2015-11-04 2022-10-05 삼성전자주식회사 전자 장치, 웨어러블 장치 및 전자 장치에서 디스플레이되는 객체를 제어하는 방법
WO2017090203A1 (ja) * 2015-11-27 2017-06-01 フォーブ インコーポレーテッド 視線検出システム、注視点特定方法及び注視点特定プログラム
JP6231585B2 (ja) 2016-01-05 2017-11-15 株式会社Ｑｄレーザ 画像投影装置
US10788966B2 (en) * 2016-02-10 2020-09-29 Disney Enterprises, Inc. Systems and methods for interacting with a virtual interface
US10616662B2 (en) 2016-02-10 2020-04-07 Disney Enterprises, Inc. Systems and methods to provide video and control signals over an internet protocol communications network
US10347017B2 (en) * 2016-02-12 2019-07-09 Microsoft Technology Licensing, Llc Interactive controls that are collapsible and expandable and sequences for chart visualization optimizations
US10748312B2 (en) 2016-02-12 2020-08-18 Microsoft Technology Licensing, Llc Tagging utilizations for selectively preserving chart elements during visualization optimizations
US10591728B2 (en) 2016-03-02 2020-03-17 Mentor Acquisition One, Llc Optical systems for head-worn computers
US10667981B2 (en) 2016-02-29 2020-06-02 Mentor Acquisition One, Llc Reading assistance system for visually impaired
US10579708B1 (en) 2016-03-22 2020-03-03 Massachusetts Mutual Life Insurance Company Systems and methods for improving workflow efficiency and for electronic record population utilizing intelligent input systems
US10592586B1 (en) 2016-03-22 2020-03-17 Massachusetts Mutual Life Insurance Company Systems and methods for improving workflow efficiency and for electronic record population
US10360254B1 (en) * 2016-03-24 2019-07-23 Massachusetts Mutual Life Insurance Company Intelligent and context aware reading systems
US10306311B1 (en) * 2016-03-24 2019-05-28 Massachusetts Mutual Life Insurance Company Intelligent and context aware reading systems
JP6630607B2 (ja) * 2016-03-28 2020-01-15 株式会社バンダイナムコエンターテインメント シミュレーション制御装置及びシミュレーション制御プログラム
US20170293363A1 (en) * 2016-04-07 2017-10-12 Jeffrey Shawn McLaughlin System And Methods For Eye Gaze Triggered Control Of Appliance By Hand Gesture
WO2017186320A1 (en) 2016-04-29 2017-11-02 Tobii Ab Eye-tracking enabled wearable devices
WO2018005690A1 (en) 2016-06-28 2018-01-04 Against Gravity Corp. Systems and methods for assisting virtual gestures based on viewing frustum
US10268266B2 (en) * 2016-06-29 2019-04-23 Microsoft Technology Licensing, Llc Selection of objects in three-dimensional space
JP2018005091A (ja) * 2016-07-06 2018-01-11 富士通株式会社 表示制御プログラム、表示制御方法および表示制御装置
US10489978B2 (en) * 2016-07-26 2019-11-26 Rouslan Lyubomirov DIMITROV System and method for displaying computer-based content in a virtual or augmented environment
US10678327B2 (en) 2016-08-01 2020-06-09 Microsoft Technology Licensing, Llc Split control focus during a sustained user interaction
US9871774B1 (en) 2016-09-29 2018-01-16 International Business Machines Corporation Secured file transfer management on augmented reality (AR) and virtual reality (VR) devices
US9824206B1 (en) 2016-09-29 2017-11-21 International Business Machines Corporation Eye gazing passcode generation crossing augmented reality (AR) and virtual reality (VR) devices
CN111610858B (zh) * 2016-10-26 2023-09-19 创新先进技术有限公司 基于虚拟现实的交互方法及装置
CN106534963A (zh) * 2016-11-24 2017-03-22 北京小米移动软件有限公司 直播处理方法、装置及终端
US10474226B2 (en) * 2016-11-30 2019-11-12 Seiko Epson Corporation Head-mounted display device, computer program, and control method for head-mounted display device
KR20180074369A (ko) 2016-12-23 2018-07-03 삼성전자주식회사 3차원 컨텐츠의 썸네일 관리 방법 및 그 장치
US10249295B2 (en) 2017-01-10 2019-04-02 International Business Machines Corporation Method of proactive object transferring management
US10298690B2 (en) 2017-01-10 2019-05-21 International Business Machines Corporation Method of proactive object transferring management
US10348725B2 (en) 2017-01-10 2019-07-09 International Business Machines Corporatino Method of instant sharing invoked from wearable devices
US10534429B2 (en) 2017-01-10 2020-01-14 International Business Machines Corporation Method of instant sharing invoked from wearable devices
US20180267615A1 (en) * 2017-03-20 2018-09-20 Daqri, Llc Gesture-based graphical keyboard for computing devices
US10249095B2 (en) 2017-04-07 2019-04-02 Microsoft Technology Licensing, Llc Context-based discovery of applications
IL252056A (en) 2017-05-01 2018-04-30 Elbit Systems Ltd Head-up display device, system and method
AU2018261328B2 (en) 2017-05-01 2022-08-25 Magic Leap, Inc. Matching content to a spatial 3D environment
KR102518404B1 (ko) 2017-09-29 2023-04-06 삼성전자주식회사 전자 장치 및 그의 시선 정보를 이용한 컨텐트 실행 방법
CA3084149A1 (en) 2017-12-22 2019-06-27 Magic Leap, Inc. Methods and system for managing and displaying virtual content in a mixed reality system
US10739861B2 (en) * 2018-01-10 2020-08-11 Facebook Technologies, Llc Long distance interaction with artificial reality objects using a near eye display interface
EP3741109B1 (en) * 2018-01-17 2024-04-24 Magic Leap, Inc. Eye center of rotation determination, depth plane selection, and render camera positioning in display systems
CN111758122A (zh) 2018-02-22 2020-10-09 奇跃公司 用于混合现实系统的浏览器
WO2019165044A1 (en) 2018-02-22 2019-08-29 Magic Leap, Inc. Object creation with physical manipulation
US11093103B2 (en) * 2018-04-09 2021-08-17 Spatial Systems Inc. Augmented reality computing environments-collaborative workspaces
US10908419B2 (en) 2018-06-28 2021-02-02 Lucyd Ltd. Smartglasses and methods and systems for using artificial intelligence to control mobile devices used for displaying and presenting tasks and applications and enhancing presentation and display of augmented reality information
US10855978B2 (en) 2018-09-14 2020-12-01 The Toronto-Dominion Bank System and method for receiving user input in virtual/augmented reality
US11353952B2 (en) 2018-11-26 2022-06-07 Tobii Ab Controlling illuminators for optimal glints
TWI725574B (zh) * 2019-02-22 2021-04-21 宏達國際電子股份有限公司 頭戴式顯示裝置以及眼球追蹤游標的顯示方法
US11137875B2 (en) 2019-02-22 2021-10-05 Microsoft Technology Licensing, Llc Mixed reality intelligent tether for dynamic attention direction
USD899497S1 (en) 2019-03-22 2020-10-20 Lucyd Ltd. Smart glasses
USD900920S1 (en) 2019-03-22 2020-11-03 Lucyd Ltd. Smart glasses
USD900205S1 (en) 2019-03-22 2020-10-27 Lucyd Ltd. Smart glasses
USD899498S1 (en) 2019-03-22 2020-10-20 Lucyd Ltd. Smart glasses
USD899493S1 (en) 2019-03-22 2020-10-20 Lucyd Ltd. Smart glasses
USD900206S1 (en) 2019-03-22 2020-10-27 Lucyd Ltd. Smart glasses
USD899496S1 (en) 2019-03-22 2020-10-20 Lucyd Ltd. Smart glasses
USD900203S1 (en) 2019-03-22 2020-10-27 Lucyd Ltd. Smart glasses
USD899495S1 (en) 2019-03-22 2020-10-20 Lucyd Ltd. Smart glasses
USD899499S1 (en) 2019-03-22 2020-10-20 Lucyd Ltd. Smart glasses
USD899500S1 (en) 2019-03-22 2020-10-20 Lucyd Ltd. Smart glasses
USD899494S1 (en) 2019-03-22 2020-10-20 Lucyd Ltd. Smart glasses
USD900204S1 (en) 2019-03-22 2020-10-27 Lucyd Ltd. Smart glasses
JP7440532B2 (ja) 2019-04-03 2024-02-28 マジック リープ， インコーポレイテッド 複合現実システムを用いて仮想３次元空間内のウェブページを管理および表示すること
JP7356827B2 (ja) * 2019-06-26 2023-10-05 株式会社コロプラ プログラム、情報処理方法、及び情報処理装置
CN114342367A (zh) * 2019-09-13 2022-04-12 索尼集团公司 再现装置、再现方法和记录介质
USD954135S1 (en) 2019-12-12 2022-06-07 Lucyd Ltd. Round smartglasses having flat connector hinges
USD955467S1 (en) 2019-12-12 2022-06-21 Lucyd Ltd. Sport smartglasses having flat connector hinges
USD958234S1 (en) 2019-12-12 2022-07-19 Lucyd Ltd. Round smartglasses having pivot connector hinges
USD954136S1 (en) 2019-12-12 2022-06-07 Lucyd Ltd. Smartglasses having pivot connector hinges
USD974456S1 (en) 2019-12-19 2023-01-03 Lucyd Ltd. Pivot hinges and smartglasses temples
USD954137S1 (en) 2019-12-19 2022-06-07 Lucyd Ltd. Flat connector hinges for smartglasses temples
WO2021163354A1 (en) 2020-02-14 2021-08-19 Magic Leap, Inc. Virtual object movement speed curve for virtual and augmented reality display systems
US11282523B2 (en) 2020-03-25 2022-03-22 Lucyd Ltd Voice assistant management
US20210357021A1 (en) * 2020-05-13 2021-11-18 Northwestern University Portable augmented reality system for stepping task therapy
US20230050526A1 (en) * 2021-08-10 2023-02-16 International Business Machines Corporation Internet of things configuration using eye-based controls
EP4250031A1 (en) * 2022-03-22 2023-09-27 Basf Se An augmented reality based automation system with a hands free selection of a virtual object
US20240071002A1 (en) * 2022-08-30 2024-02-29 Rovi Guides, Inc. Systems and methods for pinning content items to locations in an augmented reality display based on user preferences
CN116610219B (zh) * 2023-07-21 2024-01-12 广州宏途数字科技有限公司 一种可智能互动阅读方法、装置、计算设备和存储介质

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7561143B1 (en) * 2004-03-19 2009-07-14 The University of the Arts Using gaze actions to interact with a display
US20100201621A1 (en) * 2007-08-07 2010-08-12 Osaka Electro-Communication University Moving object detecting apparatus, moving object detecting method, pointing device, and storage medium
US20110298826A1 (en) * 2010-06-03 2011-12-08 Sony Ericsson Mobile Communications Japan, Inc. Terminal device, display method, and application computer program product
US8235529B1 (en) * 2011-11-30 2012-08-07 Google Inc. Unlocking a screen using eye tracking information
CN102749990A (zh) * 2011-04-08 2012-10-24 索尼电脑娱乐公司 通过追踪用户视线和姿态提供反馈的系统和方法
US20130021373A1 (en) * 2011-07-22 2013-01-24 Vaught Benjamin I Automatic Text Scrolling On A Head-Mounted Display
CN102981620A (zh) * 2012-11-27 2013-03-20 中兴通讯股份有限公司 一种终端操作方法及终端

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7401920B1 (en) 2003-05-20 2008-07-22 Elbit Systems Ltd. Head mounted eye tracking and display system
US20130154913A1 (en) 2010-12-16 2013-06-20 Siemens Corporation Systems and methods for a gaze and gesture interface
WO2012107892A2 (en) * 2011-02-09 2012-08-16 Primesense Ltd. Gaze detection in a 3d mapping environment
US20130083018A1 (en) 2011-09-30 2013-04-04 Kevin A. Geisner Personal audio/visual system with holographic objects
US10013053B2 (en) 2012-01-04 2018-07-03 Tobii Ab System for gaze interaction
JP5945417B2 (ja) 2012-01-06 2016-07-05 京セラ株式会社 電子機器
US9058054B2 (en) 2012-02-29 2015-06-16 Google Inc. Image capture apparatus
KR102081930B1 (ko) * 2013-03-21 2020-02-26 엘지전자 주식회사 시선 위치를 디텍트하는 디스플레이 디바이스 및 제어 방법

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7561143B1 (en) * 2004-03-19 2009-07-14 The University of the Arts Using gaze actions to interact with a display
US20100201621A1 (en) * 2007-08-07 2010-08-12 Osaka Electro-Communication University Moving object detecting apparatus, moving object detecting method, pointing device, and storage medium
US20110298826A1 (en) * 2010-06-03 2011-12-08 Sony Ericsson Mobile Communications Japan, Inc. Terminal device, display method, and application computer program product
CN102749990A (zh) * 2011-04-08 2012-10-24 索尼电脑娱乐公司 通过追踪用户视线和姿态提供反馈的系统和方法
US20130021373A1 (en) * 2011-07-22 2013-01-24 Vaught Benjamin I Automatic Text Scrolling On A Head-Mounted Display
US8235529B1 (en) * 2011-11-30 2012-08-07 Google Inc. Unlocking a screen using eye tracking information
CN102981620A (zh) * 2012-11-27 2013-03-20 中兴通讯股份有限公司 一种终端操作方法及终端

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106873783A (zh) * 2017-03-29 2017-06-20 联想(北京)有限公司 信息处理方法、电子设备及输入装置
CN107463258A (zh) * 2017-08-07 2017-12-12 北京铂石空间科技有限公司 头戴式显示设备、头戴式显示交互系统及显示交互方法
CN111052042A (zh) * 2017-09-29 2020-04-21 苹果公司 基于注视的用户交互
CN111052042B (zh) * 2017-09-29 2022-06-07 苹果公司 基于注视的用户交互
US11714592B2 (en) 2017-09-29 2023-08-01 Apple Inc. Gaze-based user interactions
US11762620B2 (en) 2017-09-29 2023-09-19 Apple Inc. Accessing functions of external devices using reality interfaces
US11762619B2 (en) 2017-09-29 2023-09-19 Apple Inc. Controlling external devices using reality interfaces
US11314396B2 (en) 2018-05-09 2022-04-26 Apple Inc. Selecting a text input field using eye gaze
CN110333785A (zh) * 2019-07-11 2019-10-15 Oppo广东移动通信有限公司 信息处理方法、装置、存储介质及增强现实设备
CN110333785B (zh) * 2019-07-11 2022-10-28 Oppo广东移动通信有限公司 信息处理方法、装置、存储介质及增强现实设备
US12099773B2 (en) 2023-08-01 2024-09-24 Apple Inc. Accessing functions of external devices using reality interfaces

Also Published As

Publication number Publication date
US9442567B2 (en) 2016-09-13
EP3097460A1 (en) 2016-11-30
US9201578B2 (en) 2015-12-01
KR20210116705A (ko) 2021-09-27
KR102304827B1 (ko) 2021-09-23
EP3097460B1 (en) 2019-01-09
KR102350300B1 (ko) 2022-01-11
KR20160113139A (ko) 2016-09-28
WO2015112433A1 (en) 2015-07-30
CN106415444B (zh) 2019-10-01
US20150205494A1 (en) 2015-07-23
US20160048204A1 (en) 2016-02-18

Similar Documents

Publication Publication Date Title
CN106415444A (zh) 注视滑扫选择
US10643389B2 (en) Mechanism to give holographic objects saliency in multiple spaces
KR102408318B1 (ko) 실세계 객체들의 가상 표현들
US9508195B2 (en) Management of content in a 3D holographic environment
US9552060B2 (en) Radial selection by vestibulo-ocular reflex fixation
CN105431763B (zh) 在佩戴移动设备时跟踪头部移动
CN105934730A (zh) 自动内容滚动
US20140152558A1 (en) Direct hologram manipulation using imu
US20140160157A1 (en) People-triggered holographic reminders
CN107209950A (zh) 从现实世界材料自动生成虚拟材料

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant