CN105934730A - 自动内容滚动 - Google Patents

自动内容滚动 Download PDF

Info

Publication number
CN105934730A
CN105934730A CN201580005760.4A CN201580005760A CN105934730A CN 105934730 A CN105934730 A CN 105934730A CN 201580005760 A CN201580005760 A CN 201580005760A CN 105934730 A CN105934730 A CN 105934730A
Authority
CN
China
Prior art keywords
content
end user
hmd
display
reader
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201580005760.4A
Other languages
English (en)
Other versions
CN105934730B (zh
Inventor
M·J·斯卡维泽
A·G·鲍罗斯
J·R·比维斯
N·G·法杰特
C·G·布朗
D·J·麦克洛克
J·李
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Microsoft Technology Licensing LLC
Original Assignee
Microsoft Technology Licensing LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Microsoft Technology Licensing LLC filed Critical Microsoft Technology Licensing LLC
Publication of CN105934730A publication Critical patent/CN105934730A/zh
Application granted granted Critical
Publication of CN105934730B publication Critical patent/CN105934730B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B27/0172—Head mounted characterised by optical features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/012—Head tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/0485—Scrolling or panning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/60—Editing figures and text; Combining figures or text
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/10—Intensity circuits
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/34—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators for rolling or scrolling
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M1/00—Substation equipment, e.g. for use by subscribers
    • H04M1/72—Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
    • H04M1/724—User interfaces specially adapted for cordless or mobile telephones
    • H04M1/72448—User interfaces specially adapted for cordless or mobile telephones with means for adapting the functionality of the device according to specific conditions
    • H04M1/72454—User interfaces specially adapted for cordless or mobile telephones with means for adapting the functionality of the device according to specific conditions according to context-related or environment-related conditions
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B2027/0178—Eyeglass type
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/048—Indexing scheme relating to G06F3/048
    • G06F2203/04803—Split screen, i.e. subdividing the display area or the window area into separate subareas
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/048—Indexing scheme relating to G06F3/048
    • G06F2203/04804—Transparency, e.g. transparent or translucent windows

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Computer Hardware Design (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Optics & Photonics (AREA)
  • Environmental & Geological Engineering (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

描述了用于当内容由头戴式显示设备(HMD)的最终用户查看时控制所述内容的显示的方法。在一些实施例中，HMD可以使用用于阅读内容的虚拟内容阅读器来显示内容。所述内容可以包括文本和/或图像，例如与电子书、电子杂志、文字处理文档、网页或电子邮件相关联的文本或图像。虚拟内容阅读器可以基于最终用户阅读在虚拟内容阅读器上所显示的内容的一部分的速率来提供自动内容滚动。在一个实施例中，HMD可以将显示在虚拟内容阅读器上的内容的自动滚动与用户控制的滚动(例如通过HMD的最终用户的头部跟踪)相组合。

Description

自动内容滚动
背景
增强现实(AR)涉及提供经增强的现实世界环境，其中用计算机生成的虚拟数据来增强或修改对现实世界环境(或表示现实世界环境的数据)的感知。例如，可使用诸如相机或话筒等传感输入设备实时地捕捉表示现实世界环境的数据，并用包括虚拟图像和虚拟声音的计算机生成的虚拟数据来增强该数据。虚拟数据还可包括与现实世界环境有关的信息，诸如与现实世界环境中的现实世界对象相关联的文本描述。一些AR环境内的对象可包括真实对象(即，存在于特定现实世界环境中的对象)和虚拟对象(即，不存在于该特定现实世界环境中的对象)。
为了将虚拟对象逼真地集成到AR环境中，AR系统通常执行包括映射和本地化的若干任务。映射涉及生成现实世界环境的映射的过程。本地化涉及相对于现实世界环境的映射来定位特定视点或姿态的过程。在一些情况下，AR系统可实时本地化在现实世界环境内移动的移动设备的姿态，以便确定与该移动设备相关联的、需要随该移动设备在现实世界环境中移动而被增强的特定视图。
概述
描述了用于当内容由头戴式显示设备(HMD)的最终用户查看时控制所述内容的显示的技术。在一些实施例中，HMD可以使用用于阅读内容的虚拟内容阅读器来显示内容。所述内容可以包括文本和/或图像，例如与电子书、电子杂志、文字处理文档、网页或电子邮件相关联的文本或图像。虚拟内容阅读器可以基于最终用户阅读在虚拟内容阅读器上所显示的内容的一部分的速率来提供自动内容滚动。在一个实施例中，HMD可以将显示在虚拟内容阅读器上的内容的自动滚动与用户控制的滚动(例如通过HMD的最终用户的头部跟踪)相组合。
提供本概述以便以简化的形式介绍以下在详细描述中进一步描述的一些概念。本概述并非旨在标识出要求保护的主题的关键特征或必要特征，亦非旨在用作辅助确定要求保护的主题的范围。
附图简述
图1是可在其中实施所公开的技术的联网计算环境的一个实施例的框图。
图2A描绘了与第二移动设备通信的移动设备的一个实施例。
图2B描绘了HMD的一部分的一个实施例。
图2C描绘了HMD的一部分的一个实施例，其中延伸到注视点的注视向量用于对准远瞳距(IPD)。
图2D描绘了HMD的一部分的一个实施例，其中延伸到注视点的注视向量用于对准近瞳距(IPD)。
图3A描绘了HMD的一部分的一个实施例，该HMD具有包括注视检测元件的活动显示光学系统。
图3B描绘了HMD的一部分的一个替换实施例，该HMD具有包括注视检测元件的活动显示光学系统。
图4A描绘了查看增强现实环境内的虚拟内容阅读器的最终用户佩戴的HMD的一个实施例。
图4B描绘了查看增强现实环境内的虚拟内容阅读器的最终用户佩戴的HMD的一个实施例。
图4C描绘了查看增强现实环境内的虚拟内容阅读器的最终用户佩戴的HMD的一个实施例。
图5是描述了用于使用HMD显示内容的方法的一个实施例的流程图。
图6A是描述了用于使用HMD执行自动内容滚动的方法的一个实施例的流程图。
图6B是描述了用于使用HMD执行自动内容滚动的方法的一个替换实施例的流程图。
图7是移动设备的一个实施例的框图。
详细描述
描述了用于当内容由透视显示器的最终用户查看时控制所述内容的显示的技术。透视显示器可以包括头戴式显示设备(HMD)。在一些实施例中，HMD可以使用用于阅读内容的虚拟内容阅读器来显示内容。所述内容可以包括文本和/或图像，例如与电子书、电子杂志、文字处理文档、网页或电子邮件相关联的文本或图像。虚拟内容阅读器可以基于最终用户阅读在虚拟内容阅读器上所显示的内容的一部分的速率来提供自动内容滚动。在一个示例中，所显示的内容的滚动速率可以被设置使得HMD的最终用户查看所述内容的在虚拟内容阅读器的第一区域内正被阅读的一部分(例如使得所述内容的该部分被定位在虚拟内容阅读器的中部内)。当最终用户的阅读速度增加和/或所述内容正被阅读的该部分接近于虚拟内容阅读器的底部时，滚动速率可以增加(例如当所述最终用户阅读远离虚拟内容阅读器的中部的内容时，所述滚动速率可以增加)。
在一个实施例中，HMD可以将显示在虚拟内容阅读器上的内容的自动滚动与用户控制的滚动相组合。HMD可以利用眼睛跟踪来确定虚拟内容阅读器的哪个部分正被最终用户阅读以及最终用户以什么速率阅读虚拟内容阅读器所显示的所述内容的一部分。HMD也可利用最终用户的头部跟踪以便允许最终用户使用虚拟内容阅读器手动控制滚动操作。在一个示例中，最终用户可以注视与虚拟内容阅读器相关联的滚动条并随后使用头部移动来控制该滚动条并调整正在虚拟内容阅读器上所显示的内容。滚动条可以被定位在虚拟内容阅读器的用于显示内容的区域附近(例如沿显示内容的该区域的一侧)。
在一个实施例中，要被显示在虚拟内容阅读器上的内容可以从多栏格式转换成单栏格式。将内容转换成单栏格式可以改进内容的滚动并对于HMD的最终用户而言在内容正被滚动时可以更容易跟随上该内容。在一个示例中，已经使用三个文本栏格式化的电子文档可以被转换成仅使用一个文本栏的经格式化文档。为了进一步改进当内容被自动滚动时的内容跟踪，当最终用户阅读所显示的内容的特定部分，例如单词、句子或段落时，所显示的内容的先前阅读的部分的颜色可以被改变(例如文本可以从黑色改变为红色或灰色)。
在一个实施例中，HMD可以包括用于检测在增强现实环境内的真实世界的光照条件(例如环境光照的程度)的光传感设备，并且可以对虚拟内容阅读器上所显示的内容的字体大小和/或对比色进行调整。对字体大小和/或对比色的调整可以依赖于光照条件和虚拟内容阅读器与HMD的最终用户(例如如果最终用户正在查看位于离开该最终用户10米远的墙上的虚拟内容阅读器时)的距离(或在增强现实环境内的感知距离)这两者。在一个示例中，如果最终用户是在黑暗的屋子里，那么字体大小可以被增加。在另一个示例中，如果最终用户是在明亮的环境(例如晴天的室外)中，那么取代在白色背景上显示黑色文本，虚拟内容阅读器可以使用覆盖橙色背景的蓝色文本来显示内容。
在一些情况中，HMD可以基于在增强现实环境内的光照条件调整HMD的透明度。例如，当HMD在明亮环境中时使得透视显示器变暗可以允许使用在白色背景上的黑色文本。HMD可以包括在其中可以(例如通过施加的电压)调整显示器的透明度、不透明度或其他光传输属性的显示器。在一个示例中，当特定电压被施加到显示器时，透明度可以被降低使得透视显示器变暗。在一个实施例中，透视显示器可以包括电致变色(electrochromic)材料。在另一个实施例中，透视显示器可以包括在其中悬浮有许多微观粒子的电控膜(即悬浮粒子膜)。
在一些实施例中，在在虚拟内容阅读器上显示内容之前，HMD可以获取与所述内容相关联的一组书签。该组书签的每个书签可以与在所述内容内的一个位置对应。所述位置可以与在内容内的一个单词、一个句子、一个段落或一个章节相关联。该组书签的第一书签可以与所述内容的由HMD的最终用户所阅读的最后部分(例如最后的阅读句子或段落或最后查看的图像)相关联。该组书签的第二书签可以与所述内容的由HMD的最终用户所阅读的最频繁阅读章节(例如最频繁阅读的段落)相关联。
图1是可在其中实施所公开的技术的联网计算环境100的一个实施例的框图。联网计算环境100包括通过一个或多个网络180互连的多个计算设备。所述一个或多个网络180允许一特定计算设备连接到另一计算设备以及与其通信。所描绘的计算设备包括移动设备11、移动设备12、移动设备19和服务器15。在一些实施例中，所述多个计算设备可以包括未示出的其他计算设备。在一些实施例中，所述多个计算设备可以包括比图1所示的计算设备的数目更多或更少的计算设备。所述一个或多个网络180可以包括诸如企业专用网络之类的安全网络、诸如无线开放式网络之类的不安全网络、局域网(LAN)、广域网(WAN)、以及因特网。所述一个或多个网络180中的每个网络可以包括集线器、网桥、路由器、交换机、以及有线传输介质，比如有线网络或直接线连接。
可包括补充信息服务器或应用服务器的服务器15可允许客户端从该服务器下载信息(例如，文本、音频、图像和视频文件)或者执行与存储在该服务器上的特定信息相关的搜索查询。一般而言，“服务器”可以包括在客户端-服务器关系中充当主机的硬件设备、或者与一个或多个客户端共享资源或为所述一个或多个客户端执行工作的软件过程。客户端-服务器关系下的计算设备之间的通信可以通过由客户端向服务器发送要求访问特定资源或执行特定工作的请求来发起。服务器随后可以执行所请求的动作并且将响应发送回客户端。
服务器15的一个实施例包括网络接口155、处理器156、存储器157和翻译器158，所有这些都彼此通信。网络接口155允许服务器15连接到一个或多个网络180。网络接口155可以包括无线网络接口、调制解调器、和/或有线网络接口。处理器156允许服务器15执行存储在存储器157中的计算机可读指令以执行在此讨论的过程。翻译器158可包括用于将第一文件格式的第一文件翻译成第二文件格式的对应第二文件的映射逻辑(即，第二文件可以是经翻译的版本的第一文件)。可使用文件映射指令来配置翻译器158，该文件映射指令提供用于将第一文件格式的文件(或其部分)映射成第二文件格式的对应文件的指令。
移动设备19的一个实施例包括网络接口145、处理器146、存储器147、相机148、传感器149、以及显示器150，所有这些都彼此通信。网络接口145允许移动设备19连接到一个或多个网络180。网络接口145可以包括无线网络接口、调制解调器、和/或有线网络接口。处理器146允许移动设备19执行存储在存储器147中的计算机可读指令以执行在此讨论的过程。相机148可以捕捉环境的色彩图像和/或深度图像。移动设备19可包括捕捉环境的图像的面向外的相机以及捕捉移动设备的最终用户的图像的面向内的相机。传感器149可生成与移动设备19相关联的运动和/或定向信息。在一些情况下，传感器149可包括惯性测量单元(IMU)。显示器150可显示数字图像和/或视频。显示器150可包括透视显示器。
在一些实施例中，包括网络接口145、处理器146、存储器147、相机148以及传感器149的移动设备19的各组件可被集成在单芯片基片上。在一示例中，网络接口145、处理器146、存储器147、相机148、传感器149可被集成成为片上系统(SOC)。在其他实施例中，网络接口145、处理器146、存储器147、相机148、传感器149可被集成在单个封装中。
在一些实施例中，通过采用照相机148、传感器149，和运行在处理器146上的姿势识别软件，移动设备19可提供自然用户界面(NUI)。使用自然用户界面，人的身体部位和移动可被检测、解释、以及用于控制计算应用的各方面。在一个示例中，利用自然用户界面的计算设备可推断与计算设备交互的人的意图(例如，最终用户执行了特定姿势来控制该计算设备)。
联网计算环境100可以为一个或多个计算设备提供云计算环境。云计算指的是基于因特网的计算，其中共享的资源、软件和/或信息通过因特网(或其他全局网络)被按需提供给一个或多个计算设备。基于在计算机网络图中使用的云图来将因特网描绘成对其所表示的底层基础设施的抽象，术语“云”被用作对因特网的比喻。
在一个示例中，移动设备19包括向头戴式显示设备(HMD)的最终用户提供增强现实环境或混合现实环境的头戴式显示设备。HMD可包括视频透视和/或光学透视系统。最终用户佩戴的光学透视HMD可允许(例如经由透明透镜)对现实世界环境的实际直接查看，并且同时可将虚拟对象的图像投影到最终用户的视野中，由此用虚拟对象来增强最终用户所感知的现实世界环境。
通过利用HMD，佩戴HMD的最终用户可在现实世界环境(例如，起居室)中四处移动，并感知覆盖有虚拟对象的图像的现实世界的视图。虚拟对象可以看起来保持与现实世界环境的相干空间关系(即，当最终用户在现实世界环境中转动他们的头或移动时，显示给该最终用户的图像将改变，使得虚拟对象看起来像被最终用户感知的那样存在于该现实世界环境内)。虚拟对象还可看起来相对于最终用户的视点是固定的(例如，无论最终用户如何在现实世界环境中转动他们的头或移动，总是出现在最终用户视角的右上角的虚拟菜单)。在一个实施例中，现实世界环境的环境映射可由服务器15(即，在服务器侧)来执行，而相机本地化可在移动设备19上(即，在客户端侧)执行。虚拟对象可包括与现实世界对象相关联的文本描述。
在一些实施例中，移动设备(诸如移动设备19)可与云中的服务器(诸如服务器15)通信，并可提供与移动设备相关联的服务器位置信息(例如，经由GPS坐标的移动设备的位置)和/或图像信息(例如，与在移动设备的视野内检测到的对象有关的信息)。作为响应，服务器可基于提供给该服务器的位置信息和/或图像信息向移动设备传送一个或多个虚拟对象。在一个实施例中，移动设备19可指定用于接收一个或多个虚拟对象的特定文件格式，并且服务器15可向移动设备19传送特定文件格式的文件内包含的一个或多个虚拟对象。
在一些实施例中，移动设备，例如移动设备19，可以包括提供包括虚拟内容阅读器的增强现实环境的HMD。虚拟内容阅读器可以包括在增强现实环境内的虚拟对象，在该增强现实环境内内容可以由HMD的最终用户阅读。在一个实施例中，虚拟内容阅读器可以包括看起来相对于最终用户的视点固定的虚拟对象(即头部锁定虚拟对象)。例如，无论最终用户如何转动他们的头，虚拟内容阅读器可以出现在最终用户的视点的左上角。在另一个实施例中，虚拟内容阅读器可以包括看起来维持在增强现实环境内的相干空间关系的虚拟对象(即世界锁定虚拟对象)。例如，当最终用户在增强现实环境内转动他们的头或移动时，在HMD上显示给该最终用户的图像将改变，这样，虚拟内容阅读器看起来存在于增强现实环境内的特定位置(例如墙上)处。
在一个实施例中，HMD可以检测在增强现实环境内的环境光照条件，并且可以对虚拟内容阅读器上所显示的内容的字体大小和/或对比色进行调整。对字体大小和/或对比色的调整可以依赖于环境光照条件和虚拟内容阅读器距HMD的最终用户的感知距离这两者。在一些情况中，如果最终用户在黑暗环境中(例如夜晚的室外)，那么如果虚拟内容阅读器在超过2米远的地方，则字体大小可以被增加。在另一个示例中，如果最终用户是在明亮的环境(例如晴天的室外)中，如果虚拟内容阅读器在超过2英尺远的地方，那么取代在白色背景上显示黑色文本，虚拟内容阅读器可以使用覆盖橘色背景的蓝色文本来显示内容。
图2A描绘了与第二移动设备5通信的移动设备19的一个实施例。移动设备19可包括透视HMD。如所描绘的，移动设备19经由有线连接6与移动设备5通信。然而，移动设备19还可经由无线连接与移动设备5通信。移动设备5可由移动设备19用来卸载计算密集的处理任务(例如，呈现虚拟对象)，并将可被用来提供增强现实环境的虚拟对象信息和其他数据存储在移动设备19上。移动设备5还可向移动设备19提供与移动设备5相关联的运动和/或定向信息。在一个示例中，运动信息可包括与移动设备5相关联的速度或加速度，并且定向信息可包括欧拉角，其提供围绕特定坐标系统或参照系的转动信息。在一些情况中，移动设备5可包括运动和定向传感器，诸如惯性测量单元(IMU)，以便获得与移动设备5相关联的运动和/或定向信息。
图2B描绘了HMD(诸如图1的移动设备19)的一部分的一个实施例。仅描绘了HMD 200的右侧。HMD 200包括右镜腿202、鼻梁204、镜片216、以及眼镜框214。右镜腿202包括与处理单元236通信的捕捉设备213(例如，前置相机和/或话筒)。捕捉设备213可包括用于记录数字图像和/或视频的一个或多个相机，并可将视觉记录传送到处理单元236。一个或多个相机可捕捉色彩信息、IR信息、和/或深度信息。捕捉设备213还可包括用于记录声音的一个或多个话筒，并可将音频记录传送到处理单元236。
右镜腿202还包括生物测定传感器220、眼睛跟踪系统221、耳机230、运动和定向传感器238、GPS接收器232、电源239、以及无线接口237，所有这些都与处理单元236通信。生物测定传感器220可包括用于确定与HMD 200的最终用户的脉搏或心率相关联的一个或多个电极，以及用于确定与HMD 200的最终用户相关联的体温的温度传感器。在一个实施例中，生物测定传感器220包括压着最终用户太阳穴的脉搏速率测量传感器。运动和定向传感器238可以包括三轴磁力计、三轴陀螺仪、和/或三轴加速度计。在一个实施例中，运动和定向传感器238可包括惯性测量单元(IMU)。GPS接收器可确定与HMD 200相关联的GPS位置。处理单元236可以包括一个或多个处理器和用于存储将要在所述一个或多个处理器上执行的计算机可读指令。存储器还可存储要在一个或多个处理器上执行的其它类型的数据。
在一个实施例中，眼睛跟踪系统221可包括一个或多个面向内的相机。在另一实施例中，眼睛跟踪系统221可包括眼睛跟踪照明源和相关联的眼睛跟踪图像传感器。在一个实施例中，眼睛跟踪照明源可包括以大约预定IR波长或一定范围的波长发射的一个或多个红外(IR)发射器(诸如红外发光二极管(LED)或激光器(例如，VCSEL))。在一些实施例中，眼睛跟踪传感器可包括用于跟踪闪光位置的IR相机或IR位置敏感检测器(PSD)。关于眼睛跟踪系统的更多信息可在2008年7月22提交的标题为“Head Mounted Eye Tracking and Display System(头戴式眼睛跟踪和显示系统)”的美国专利7,401,920，以及2011年9月26日提交的标题为“Integrated Eye Tracking and Display System(集成眼睛跟踪和显示系统)”的美国专利申请13/245,700中找到。
在一个实施例中，镜片216可包括透视显示器，处理单元236生成的图像由此可被投影和/或显示在透视显示器上。捕捉设备213可被校准，使得捕捉设备213所捕捉的视野对应于HMD 200的最终用户所看到的视野。耳机230可用于输出与虚拟对象的投影图像相关联的声音。在一些实施例中，HMD 200可包括两个或更多个前置相机(例如，每个镜腿上一个相机)，以便从与前置相机所捕捉的视野相关联的立体信息中获得深度。两个或更多个前置相机还可包括3D、IR、和/或RGB相机。也可从利用来自运动技术的深度的单个相机中获取深度信息。例如，可从单个相机获取两个图像，这两个图像与在不同的时间点的、两个不同的空间点相关联。然后，给定与两个不同空间点有关的位置信息的情况下，可执行视差计算。
在一些实施例中，HMD 200可使用注视检测元件和与一个或多个人类眼睛元素(诸如角膜中心、眼球旋转的中心、或瞳孔中心)有关的三维坐标系，来为最终用户眼睛中的每只眼睛执行注视检测。注视检测可被用来标识最终用户正在关注视野内的何处。注视检测元件的示例可包括生成闪光的照明器和用于捕捉表示所生成的闪光的数据的传感器。在一些情况中，角膜中心可以基于两次闪光使用平面几何来确定。角膜中心链接瞳孔中心和眼球的旋转中心，这可被当作用于确定处于某种注视或观看角度的最终用户的眼睛的光轴的固定位置。
图2C描绘了HMD 2的一部分的一个实施例，其中延伸到注视点的注视向量用于对准远瞳距(IPD)。HMD 2是移动设备的一个示例，诸如图1中的移动设备19。如所描绘的，注视向量180l和180r在远离最终用户的注视点处相交(即，当最终用户正在看遥远处的对象时，注视向量180l和180r不相交)。基于Gullstrand示意眼模型示出了每只眼睛的眼球160l、160r的眼球模型。每只眼球被建模成具有旋转中心166的球体，并且包括被建模成具有中心164的球的角膜168。角膜168随着眼球旋转，并且眼球的旋转中心166可被当作固定点。角膜168覆盖虹膜170，瞳孔162处于虹膜170的中心。每个角膜的表面172上是闪光174和176。
如图2C所描绘的，传感器检测区域139(即分别是139l和139r)与眼镜架115内的每一显示光学系统14的光轴相对准。在一个示例中，与该检测区域相关联的传感器可包括能够捕捉表示分别由镜架115左侧的照明器153a和153b生成的闪光174l和176l的图像数据以及表示分别由镜架115右侧的照明器153c和153d生成的闪光174r和176r的数据的一个或多个相机。通过眼镜架115中的显示光学系统14l和14r，最终用户的视野包括现实对象190、192和194以及虚拟对象182和184。
从旋转中心166穿过角膜中心164到瞳孔162而形成的轴178包括眼睛的光轴。注视向量180也被称为从中央凹穿过瞳孔中心162延伸的视线或视轴。在一些实施例中，光轴被确定，并且通过用户校准来确定小型校正以获得被选作注视向量的视轴。对于每一最终用户，虚拟对象可被显示设备显示在不同的水平和垂直位置处的多个预先确定的位置中的每一位置处。在对象在每一位置处的显示期间可以计算每一眼睛的光轴，并且光线被建模成从该位置延伸到用户眼睛中。可以基于必须如何移动光轴以与所建模的光线相对准来确定与水平和垂直分量的注视偏移角。从不同的位置处，与水平或垂直分量的平均注视偏移角可被选作要被应用于每一计算出的光轴的小型校正。在一些实施例中，仅水平分量被用于注视偏移角校正。
如图2C所描绘的，由于当注视向量180l和180r从眼球延伸到注视点处的视野中时这些注视向量变得更加靠近在一起，因此这些注视向量不是完全平行的。在每一显示光学系统14处，注视向量180看起来与光轴相交，传感器检测区域139以这一交点为中心。在这一配置中，光轴与瞳孔间距(IPD)对准。在最终用户看向正前方时，测得的IPD也被称为远IPD。
图2D描绘了HMD 2的一部分的一个实施例，其中延伸到注视点的注视向量用于对准近瞳距(IPD)。HMD 2是移动设备的一个示例，诸如图1中的移动设备19。如所描绘的，左眼的角膜168l向右侧或朝向最终用户的鼻子旋转，并且右眼的角膜168r向左侧或朝向最终用户的鼻子旋转。两个瞳孔正在注视最终用户的特定距离内的现实对象194。始自每只眼睛的注视向量180l和180r进入真实对象194所处的Panum汇合区域195。Panum汇合区域是像人类视觉那样的双眼观察系统中的单视觉的区域。注视向量180l和180r的相交指示最终用户正在看现实对象194。在这样的距离处，随着眼球向内旋转，它们瞳孔之间的距离减少到近IPD。近IPD通常比远IPD小约4毫米。近IPD距离准则(例如，在距最终用户小于四英尺处的注视点)可用来将显示光学系统14的IPD对准切换或调整成近IPD的对准。对于近IPD，每一显示光学系统14可以朝向最终用户的鼻子移动，使得光轴以及检测区域139朝向鼻子移动几毫米，如检测区域139ln和139rn所表示的。
关于为HMD的最终用户确定IPD并由此调整显示光学系统的更多信息可在2011年9月30日提交的题为“Personal Audio/Visual System(个人音频/视频系统)”的美国专利申请号13/250,878中找到。
图3A描绘了HMD 2的一部分的一个实施例，该HMD具有包括注视检测元件的活动显示光学系统。表现为每只眼睛的透镜的事物表示每只眼睛的显示光学系统14(即14l和14r)。显示光学系统包括用于将虚拟内容与通过HMD的透镜看到的实际直接现实世界视图无缝地融合的透视透镜和光学元件(例如，反射镜、过滤器)。显示光学系统14具有一般处于透视透镜中心的光轴，其中光一般被校准来提供无失真视图。例如，在眼睛护理专业人员使一副普通眼镜适合于最终用户的脸部时，该眼睛通常是适合的，使得该眼镜在每一瞳孔与相应镜片的中心或光轴相对准的位置处落在最终用户的鼻子上，从而通常使得校准光到达最终用户的眼睛以得到清晰或无失真的视图。
如图3A所描绘的，至少一个传感器的检测区域139r、139l与其相应显示光学系统14r、14l的光轴相对准，使得检测区域139r、139l的中心捕捉沿着光轴的光。如果显示光学系统14与最终用户的瞳孔对准，则相应传感器134的每一检测区域139与最终用户的瞳孔相对准。检测区域139的反射光经由一个或多个光学元件被传送到相机的实际图像传感器134，在该实施例中传感器134由处于镜架115内部的虚线示出。在一些实施例中，传感器134可包括用于捕捉最终用户的眼睛或眼睛周围的面部特征的图像的图像传感器或RGB相机。其他面向内的图像传感器也可与镜架115集成以便捕捉与最终用户相关联的固定面部特征，诸如其鼻梁。
在一个实施例中，该至少一个传感器134可以是可见光相机(例如，RGB相机或彩色相机)。在一个示例中，光学元件或光引导元件包括是部分透射且部分反射的可见光反光镜。可见光相机提供最终用户的眼睛的瞳孔的图像数据，而IR光电探测器152捕捉作为频谱的IR部分中的反射的闪光。如果使用可见光相机，则虚拟图像的反射可以出现在该相机所捕捉的眼睛数据中。图像过滤技术可被用于按需移除虚拟图像反射。IR相机对眼睛上的虚拟图像反射是不敏感的。
在另一个实施例中，至少一个传感器134(即，134l和134r)是IR辐射可被定向到的IR相机或位置敏感检测器(PSD)。从眼睛反射的IR辐射可以来自照明器153、其他IR照明器(未示出)的入射辐射或者来自从眼睛反射的环境IR辐射。在一些情况中，传感器134可以是RGB和IR相机的组合，并且光引导元件可包括可见光反射或转向元件和IR辐射反射或转向元件。在一些情况中，相机134可被嵌入在系统14的镜片中。另外，可以应用图像过滤技术来将相机混合到用户视野中以减轻对用户的任何干扰。
`如图3A所描绘的，有四组照明器153，照明器153与光电检测器152配对并被屏障154隔开以避免照明器153所生成的入射光与在光电检测器152处接收到的反射光之间的干扰。为了在附图中避免不必要的混乱，附图标记就被示出了代表性的一对。每一照明器可以是生成大约预定波长的窄光束的红外(IR)照明器。光电检测器中的每一个可被选择来捕捉大约该预定波长的光。红外还可以包括近红外。因为照明器或光电检测器可能存在波长漂移或者关于波长的微小范围是可接受的，所以照明器和光电检测器可以具有与要生成或检测的波长有关的容限范围。在传感器是IR相机或IR位置敏感检测器(PSD)的一些实施例中，光电检测器可包括附加数据捕捉设备并且也可被用来监视照明器的操作，例如波长漂移、波束宽度改变等。该光电检测器还用作为传感器134的可见光相机来提供闪光数据。
如图3A所描绘的，每一显示光学系统14以及它面向每一眼睛的注视检测元件的安排(例如，相机134及其检测区域139、照明器153以及光电检测器152)位于活动的内部镜架部分117l、117r上。在该示例中，显示调整机构包括具有附连到内部镜架部分117的传动轴205的一个或多个马达203，内部镜架部分117在由马达203驱动的传动轴205的引导和力量下在该镜架内从左向右滑动或反向滑动。在一些实施例中，一个马达203可以驱动两个内部镜架。
图3B描绘了HMD 2的一部分的一个替换实施例，该HMD具有包括注视检测元件的活动显示光学系统。如所描绘的，每个显示光学系统14被封装在分开的镜架部分115l、115r中。镜架部分中的每一个可由马达203分开地移动。在一些实施例中，此至少一个传感器134可包括用于捕捉最终用户的眼睛或眼睛周围的面部特征的图像的图像传感器或RGB相机。其他面向内的图像传感器也可与镜架115集成以便捕捉与最终用户相关联的固定面部特征，诸如其鼻梁。
图4A描绘了查看在增强现实环境410内的虚拟内容阅读器40的最终用户佩戴的HMD 402的一个实施例。该HMD 402可包括移动设备，诸如图1中的移动设备19。虚拟内容阅读器40可以包括滚动条44和用于将内容显示给最终用户的显示区域。显示区域可以包括与所述内容的已经由最终用户阅读的第一部分对应的第一区域41以及与所述内容的还未被所述最终用户阅读的第二部分对应的第二区域42。在被显示在虚拟内容阅读器上之前，要被显示的内容可以从多栏格式转换成单栏格式。为了改进当内容被自动地在虚拟内容阅读器上滚动时的内容跟踪，当最终用户阅读所显示的内容的特定部分，例如单词、句子或段落时，所显示的内容的先前阅读的部分的颜色可以被改变。例如，在第一区域41内的内容(例如文本)可以被变为红色，并且在第二区域42内的内容(例如文本)可以变为蓝色。
在一个实施例中，HMD 402的最终用户可以注视滚动条44达特定时间段(例如两秒)引起第一触发事件，在该事件中最终用户可以控制滚动条44以滚动使用虚拟内容阅读器40显示的内容。为了控制滚动条44，最终用户可以以上和下运动移动他们的头。在一些情况中，第一触发事件已经被HMD检测到，滚动条44可以被高亮显示或在滚动条44内出现红点并且红点的移动可以对应于HMD的最终用户的头部位置。头部跟踪技术可以被用于确定头部移动的速度和头部移动的程度来确定滚动条44的经更新的位置。基于头的移动速度和头的移动程度可以确定滚动条44的新位置。滚动条44的新位置可以对应于要显示在虚拟内容阅读器40上的新内容。为了防止由最终用户将他们的注视移动离开虚拟内容阅读器40的用于显示内容的显示区域所引起的自动滚动机制的混乱，一旦已经检测到第一触发事件就可以禁止自动内容滚动(例如可以停止自动滚动)。在一个实施例中，自动内容滚动可以在检测到最终用户已经恢复阅读虚拟内容阅读器40的显示区域内的内容时重启自动内容滚动。在另一个实施例中，在最终用户将滚动条44移动到新位置之后经过一个时间延迟(例如三秒)后可以重启自动内容滚动。
图4B描绘了查看在增强现实环境411内的虚拟内容阅读器40的最终用户佩戴的HMD 402的一个实施例。该HMD 402可包括移动设备，诸如图1中的移动设备19。虚拟内容阅读器40可以包括(相对于其在图4A中的位置朝向可用内容的结尾滚动的)滚动条和用于将内容显示给最终用户的显示区域。所述显示区域可以包括对应于虚拟内容阅读器40的顶部的第一区域45、对应于虚拟内容阅读器40的中部的第二区域46、以及对应于虚拟内容阅读器40的底部的第三区域47。最终用户可以在使用虚拟内容阅读器40以阅读速度自动滚动内容时阅读所述内容。一旦已经检测到与控制滚动条44相关联的触发事件时，自动内容滚动可以被禁止并且HMD 402的最终用户的头部跟踪可以被启动。在一个实施例中，一旦最终用户已经开始阅读第二区域46内的内容时可以恢复自动内容滚动。在另一个实施例中，一旦最终用户已经阅读了第一区域45内的至少一个句子时可以恢复自动内容滚动。在一些情况中，对应于虚拟内容阅读器40的第二区域46可以被高亮显示以引导最终用户到位于虚拟内容阅读器40的中部内的内容。
图4C描绘了查看在增强现实环境412内的虚拟内容阅读器40的最终用户佩戴的HMD 402的一个实施例。该HMD 402可包括移动设备，诸如图1中的移动设备19。虚拟内容阅读器40可以包括滚动条、将内容显示给最终用户的显示区域、以及指向内容内的位置的一个或多个书签，例如第一书签48和第二书签49。在一些实施例中，在在虚拟内容阅读器40上显示内容之前，HMD 402可以获取与所述内容相关联的一组书签。该组书签的每个书签可以与在所述内容内的一个位置对应。所述位置可以与在内容内的一个单词、一个句子、一个段落或一个章节相关联。如所述，第一书签48可以与最终用户的最后阅读段落相关联，而第二书签49可以与最终用户花费了最多时间阅读(或聚焦了最长的时间段)的段落相关联。HMD402的最终用户可以通过注视滚动条达特定时间段(例如两秒)引起第一触发事件来选择第一书签48或第二书签49，在所述第一触发事件中，最终用户可以控制滚动条和/或书签的选择并随后执行头部姿势以选择特定的书签(例如使用头部移动来移动覆盖滚动条的红点来覆盖所述第一书签48并随后执行从左到右的摇头姿势来选择第一书签48)。在一些情况中，HMD 402的最终用户可以通过直接注视第一标签48达特定时间段(例如两秒)来选择第一书签48，所述注视引起虚拟内容阅读器40跳到并显示所述内容的与第一书签48相关联的一部分。
图5是描述了用于使用HMD显示内容的方法的一个实施例的流程图。在一个实施例中，图5的过程可由移动设备(诸如图1的移动设备19)执行。
在步骤502，要使用透视显示器显示的内容被获取。透视显示器可以包括HMD的显示器。该内容可包括文本、符号和/或图像。在一个示例中，所述内容可以包括与电子书、电子杂志、文字处理文档、网页或电子邮件相关联的文本。在步骤504，所述内容被转换成经格式化的内容，使得所述经格式化的内容以单栏格式表示内容。在一个实施例中，要被显示在虚拟内容阅读器上的内容可以从多栏格式转换成单栏格式。将内容转换成单栏格式可以使得对于HMD的最终用户而言在内容被自动滚动时可以更容易跟随上该内容。在一个示例中，已经使用三个文本栏格式化的电子文档可以被转换成仅使用一个文本栏的经格式化文档。
在步骤506，检测环境光照条件。环境光照条件可以通过使用HMD的前向相机捕捉环境的图像来检测。所捕捉的图像可以对应于增强现实环境的一个区域，在该区域中放置了虚拟内容阅读器。在一个实施例中，环境光照条件可以包括与环境的一个区域相关联的明亮程度，在该区域中放置了虚拟内容阅读器。例如，如果虚拟内容阅读器已经被放置在环境内的墙上，那么可以确定与包括虚拟内容阅读器的墙的区域相关联的明亮程度。在另一个实施例中，环境光照条件可以包括在特定时间段(例如30秒)上的与环境相关联的平均明亮程度。在这种情况中，虚拟内容阅读器可以包括头部锁定虚拟对象。例如，无论最终用户如何转动他们的头，虚拟内容阅读器可以出现在最终用户的视点的左上角。
在步骤508，基于环境光照条件确定经格式化的内容的字体大小。在步骤510，基于环境光照条件确定经格式化的内容的对比色。对比色可以对应于与文本相关联的第一颜色和与文本所覆盖的背景相关联的第二颜色。在第一颜色和第二颜色之间的高对比度可以允许HMD的最终用户更加清楚地阅读文本。对字体大小和/或对比色的调整可以依赖于光照条件和虚拟内容阅读器与HMD的最终用户的感知距离(例如如果最终用户正在查看位于离开该最终用户10米远的墙上的虚拟内容阅读器时)这两者。在一个示例中，如果最终用户是在黑暗的屋子里，那么字体大小可以被减小。在另一个示例中，如果最终用户是在明亮的环境(例如晴天的室外)中，那么字体大小可以被增加，并且如果虚拟内容阅读器在超过2英尺远的地方，那么取代在白色背景上显示黑色文本，虚拟内容阅读器可以使用覆盖橙色背景的蓝色文本来显示内容。
在步骤512，基于环境光照条件确定透视显示器的调光因子。调光因子可以对应于对透视显示器的透明度的调节。在步骤514，基于调光因子确定透视显示器的透明度。在一个实施例中，如果HMD在黑暗环境中，HMD可以设定低的调光因子(即提供少许或不提供透视显示器的变暗)。在另一个实施例中，如果HMD处于明亮环境中，HMD可以设定高调光因子(例如使得透视显示器变暗的调光因子，这样透过透视显示器的可见光传输减少超过40％)。在一些情况下，当HMD在明亮环境中时HMD的透视显示器变暗可以允许在浅色背景上使用深色文本(例如近似黑色的文本)。调光因子可以对应于施加给透视显示器的特定电压，该电压调节了透明度。在一个实施例中，透视显示器可以包括电致变色材料。在另一个实施例中，透视显示器可以包括在其中悬浮有许多微观粒子的电控膜(即悬浮粒子膜)。
在步骤516，标识了与内容相关联的一组书签。在一些实施例中，在虚拟内容阅读器上显示内容之前，HMD可以获取与所述内容相关联的一组书签。该组书签的每个书签可以与在所述内容内的一个位置对应。所述位置可以与在内容内的一个单词、一个句子、一个段落或一个章节相关联。该组书签的第一书签可以与所述内容的由HMD的最终用户所阅读的最后部分(例如最后的阅读句子或段落或最后查看的图像)相关联。该组书签的第二书签可以与所述内容的由HMD的最终用户所阅读的最频繁阅读章节(例如最频繁阅读的段落)相关联。
在步骤518，基于字体大小和对比色生成与经格式化的内容的一部分相对应的第一组图像。在步骤520中，生成对应于该组书签的第二组图像。该组书签的第一书签可以与由HMD的最终用户阅读的最后段落相关联，例如图4C中的第一书签48。在步骤522，使用透视显示器显示第一组图像。所述第一组图像可以对应于在增强现实环境内的虚拟内容阅读器。在一些情况中，可以使用透视显示器显示第一组图像和第二组图像这两者。第一组图像和第二组图像这两者可以对应于呈现给HMD的最终用户的虚拟内容阅读器，例如图4A中的虚拟内容阅读器40。
图6A是描述了用于使用HMD执行自动内容滚动的方法的一个实施例的流程图。在一个实施例中，图6A的过程可由诸如图1中的移动设备19的移动设备来执行。
在步骤602，要使用透视显示器显示的内容被获取。透视显示器可以包括HMD的显示器。可以从服务器，例如图1的服务器15，获取所述内容。该内容可包括文本、符号和/或图像。在一个示例中，所述内容可以包括与电子书、电子杂志、文字处理文档、网页或电子邮件相关联的文本。
在步骤604，确定所述内容的滚动速率，使得透视显示器的最终用户查看所述内容的在透视显示器的第一区域内正被阅读的一部分。透视显示器的第一区域可以对应于虚拟内容阅读器的中部，例如图4B中的第二区域46。在一个实施例中，所述内容的正被阅读的部分可以对应于最终用户正在阅读的段落。在步骤606，以所述滚动速率自动滚动在透视显示器上所显示的内容。。
当正从增强现实环境内的虚拟内容阅读器(例如图4A中的虚拟内容阅读器40)显示时，在透视显示器上所显示的内容可以被呈现给透视显示器的最终用户。在一些情况中，在虚拟内容阅读器的中部内显示的内容可以以滚动速率滚动。在其他情况中，跨虚拟内容阅读器的所有部分所显示的内容可以以滚动速率滚动。
在步骤608，使用透视显示器显示滚动条。所述滚动条可以对应于透视显示器的不同于第一区域的第二区域。所述第二区域可以被置于所述第一区域附近。在一个实施例中，滚动条可以被定位在用于显示内容的第一区域附近(例如沿显示内容的该区域的一侧)。
在步骤610，检测到第一触发事件。第一触发事件可以与透视显示器的最终用户注视第二区域相关联。在一个实施例中，如果HMD的最终用户注视第二区域(即滚动条)达特定时间段(例如两秒)就可以检测到第一触发事件。一旦已经检测到第一触发事件，为了控制滚动条，最终用户可以以上和下运动移动他们的头。在一些情况中，第一触发事件已经被HMD检测到，滚动条可以被高亮显示或在滚动条内出现红点并且红点的移动可以对应于最终用户的头部位置。
在步骤612，在第一触发事件之后确定所述内容要显示的第二部分。所述内容的第二部分可以对应于由最终用户对滚动条的重新定位(例如向电子文档的结尾移动滚动条)。在步骤614，使用透视显示器显示所述内容的第二部分。头部跟踪技术可以被用于确定最终用户的头部移动的速度、头部移动方向和头部移动程度。头部移动的速度、头部移动方向和头部移动程度可以被用来确定滚动条的经更新的位置。在一些情况中，眼睛跟踪被用于检测第一触发事件(例如最终用户已经注视滚动条达两秒)并且头部跟踪可以被用于一旦已经检测到第一触发事件就控制滚动条(例如最终用户可以基于他们的头部移动的方向和速度来控制所述滚动条)。
在步骤616，响应于所述第一触发事件，禁用透视显示器上所显示的内容的滚动。在步骤618，检测到第二触发事件。第二触发事件可以与恢复内容滚动相关联。在步骤620，响应于所述第二触发事件，自动滚动在透视显示器上所显示的内容。为了防止由HMD最终用户将他们的注视移动离开虚拟内容阅读器的显示区域所引起的自动滚动机制的混乱，一旦已经检测到第一触发事件就可以禁止自动内容滚动。在一个实施例中，自动内容滚动可以在检测到最终用户已经恢复阅读虚拟内容阅读器的显示区域内或在虚拟内容阅读器的显示区域的中部内的内容时重启自动内容滚动。在另一个实施例中，在最终用户将滚动条移动到新的或经更新的位置之后，经过一个时间延迟(例如三秒)后可以重启自动内容滚动。
图6B是描述了用于使用HMD执行自动内容滚动的方法的一个替换实施例的流程图。在一个实施例中，图6B的过程可由诸如图1中的移动设备19的移动设备来执行。
在步骤632，要使用虚拟内容阅读器显示的内容被获取。虚拟内容阅读器可以对应于在增强现实环境内的虚拟对象。所述虚拟内容阅读器可以包括头部锁定虚拟对象或世界锁定虚拟对象。使用HMD的透视显示器可以将增强现实环境显示给HMD的最终用户。可以从服务器，例如图1的服务器15，获取所述内容。该内容可包括文本、符号和/或图像。在一个示例中，所述内容可以包括与电子书、电子杂志、文字处理文档、网页或电子邮件相关联的文本。
在步骤634，自动滚动所述内容，使得虚拟内容阅读器的最终用户查看所述内容的在虚拟内容阅读器的第一区域内正被阅读的一部分。在一个实施例中，所述内容的第一部分可以对应于由最终用户阅读的段落，并且所述虚拟内容阅读器的第一区域可以对应于虚拟内容阅读器的中部，例如图4B的第二区域46。
在步骤636，与虚拟内容阅读器相关联的滚动条被显示。所述滚动条可以对应于虚拟内容阅读器的不同于第一区域的第二区域。所述第二区域可以被置于所述第一区域附近。在一个实施例中，滚动条可以被定位在用于显示内容的第一区域附近(例如沿显示内容的该区域的一侧)。
在一些实施例中，滚动条可以包括显示在虚拟内容阅读器上显示的所述内容的一部分的滚动条预览窗口虚拟化。滚动条预览窗口可以允许HMD的最终用户滚动遍历和预览所述内容，而无需在他们控制滚动条的同时从滚动条转移目光。在一个示例中，滚动条预览窗口可以显示在虚拟内容阅读器上所显示的当前页面的缩小版本。在另一个示例中，滚动条预览窗口可以显示来自在虚拟内容阅读器上所显示的当前页面的一个或多个关键字。在一些情况中，所述滚动条预览窗口可以响应于最终用户注视滚动条达特定时间段(例如两秒)被显示。
在步骤638，检测到第一触发事件。第一触发事件可以与虚拟内容阅读器的最终用户注视第二区域并执行头部姿势相关联。在一个实施例中，如果HMD的最终用户注视第二区域(即滚动条)达特定时间段(例如两秒)并在该特定时间段期间点头，就可以检测到第一触发事件。一旦已经检测到第一触发事件，为了控制滚动条，最终用户可以以上和下运动移动他们的头。在一些情况中，第一触发事件已经被HMD检测到，滚动条可以被高亮显示或在滚动条内出现红点并且红点的移动可以对应于最终用户的头部位置。
在步骤640，响应于第一触发事件禁止所述内容的自动滚动。在步骤642，检测到第二触发事件。第二触发事件可以与恢复在虚拟内容阅读器上的内容的自动滚动相关联。在步骤644，响应于所述第二触发事件，自动滚动在虚拟内容阅读器上所显示的内容。为了防止由HMD最终用户将他们的注视移动离开虚拟内容阅读器的显示区域所引起的自动滚动机制的混乱，一旦已经检测到第一触发事件就可以禁止自动内容滚动。在一个实施例中，自动内容滚动可以在检测到最终用户已经恢复阅读虚拟内容阅读器的显示区域内或在虚拟内容阅读器的显示区域的中部内的内容时重启自动内容滚动。在另一个实施例中，在最终用户将滚动条移动到新的或经更新的位置之后，经过一个时间延迟(例如三秒)后可以重启自动内容滚动。
所公开的技术的一个实施例包括与透视显示器通信的一个或多个处理器。透视显示器将虚拟内容阅读器显示给电子设备的最终用户。电子设备可包括HMD。一个或多个处理器确定虚拟内容阅读器的滚动速率，使得最终用户查看所述内容的在虚拟内容阅读器的第一区域内正被阅读的第一部分。所述一个或多个处理器使得使用虚拟内容阅读器显示的所述内容的第一部分以滚动速率滚动。虚拟内容阅读器包括对应于与第一区域不同的虚拟内容阅读器的第二区域的滚动条。所述一个或多个处理器检测包括检测到最终用户注视第二区域的第一触发事件。所述一个或多个处理器响应于检测到第一触发事件禁止所述内容的第一部分的滚动。所述一个或多个处理器检测第二触发事件，所述第二触发事件包括检测到最终用户注视第一区域达至少第一时间段。响应于检测到最终用户注视第一区域达至少第一时间段，所述一个或多个处理器使得使用虚拟内容阅读器所显示的所述内容的第二部分被滚动。
所公开的技术的一个实施例包括获取使用HMD要获取的内容，确定用于所述内容的滚动速率使得所述HMD的最终用户查看所述内容在HMD的透视显示器的第一区域内阅读的第一部分，以所述滚动速率滚动在所述透视显示器上显示的所述内容的第一部分，以及使用所述透视显示器显示滚动条。所述滚动条对应于透视显示器的不同于所述第一区域的第二区域。所述方法还包括在滚动所述内容的第一部分之后检测第一触发事件。检测第一触发事件包括检测到HMD的最终用户已经注视第二区域。所述方法还包括响应于检测到第一触发事件禁止滚动所述内容的第一部分，并且检测所述禁止之后的第二触发事件。检测第二触发事件包括检测到HMD的最终用户已经注视第一区域达至少第一时间段。所述方法还包括响应于检测到所述第二触发事件，滚动在透视显示器上所显示的所述内容的第二部分。
所公开的技术的一个实施例包括将虚拟内容阅读器显示给HMD的最终用户，确定用于所述虚拟内容阅读器的滚动速率使得所述HMD的最终用户查看所述内容在虚拟内容阅读器的第一区域内的第一部分，以及以所述滚动速率滚动使用虚拟内容阅读器所显示的所述内容的第一部分。虚拟内容阅读器包括对应于与第一区域不同的虚拟内容阅读器的第二区域的滚动条。所述方法还包括在滚动所述内容的第一部分之后检测第一触发事件。检测第一触发事件包括检测到HMD的最终用户已经注视第二区域。所述方法还包括响应于检测到第一触发事件禁止滚动所述内容的第一部分，并且检测所述禁止之后的第二触发事件。检测第二触发事件包括检测到HMD的最终用户已经注视第一区域达至少第一时间段。所述方法还包括响应于检测到所述第二触发事件，滚动所使用虚拟内容阅读器所显示的所述内容的第二部分。
图7是移动设备8300(诸如图1中的移动设备19)的一个实施例的框图。移动设备可以包括已经整合了无线接收机/发射机技术的膝上型计算机、袖珍计算机、移动电话、HMD、个人数字助理、以及手持式媒体设备。
移动设备8300包括一个或多个处理器8312以及存储器8310。存储器8310包括应用8330和非易失性存储8340。存储器8310可以是任何种类的存储器存储介质类型，包括非易失性和易失性存储器。移动设备操作系统处理移动设备8300的不同操作，并可包含用于操作的用户界面，如拨打和接听电话呼叫、文本消息收发、检查语音邮件等。应用8330可以是任何种类的程序，如用于照片和/或视频的相机应用、地址簿、日历应用、媒体播放器、因特网浏览器、游戏、闹钟应用、以及其它应用。存储器8310中的非易失性存储组件8340可以包含诸如音乐、照片、联系人数据、日程安排数据、以及其它文件之类的数据。
一个或多个处理器8312与透视显示器8309进行通信。透视显示器8309可显示与现实世界环境相关联的一个或多个虚拟对象。所述一个或多个处理器8312还与下列各项通信：RF发射机/接收机8306，其又耦合到天线8302；红外发射机/接收机8308；全球定位服务(GPS)接收器8365；以及移动/定向传感器8314，其可以包括加速度计和/或磁力计。RF发射机/接收机8308可以通过诸如或IEEE802.11标准之类的各种无线技术标准来实现无线通信。加速度计可能已经结合在移动设备中以实现诸如下列应用：智能用户界面应用，其让用户通过姿势输入命令；以及定向应用，其可以在移动设备被旋转时将显示自动地从竖向改变成横向。可以，例如，通过微机电系统(MEMS)来提供加速度计，该微机电系统是构建在半导体芯片上的微小机械器件(微米尺寸)。可以感测加速度方向、以及定向、振动和震动。所述一个或多个处理器8312还与响铃器/振动器8316、用户界面小键盘/屏幕8318、扬声器8320、话筒8322、相机8324、光传感器8326和温度传感器8328进行通信。用户界面小键盘/屏幕可以包括触敏屏幕显示器。
所述一个或多个处理器8312控制无线信号的发射和接收。在发射模式期间，所述一个或多个处理器8312向RF发射机/接收机8306提供来自话筒8322的语音信号，或其它数据信号。发射机/接收机8306通过天线8302来发射信号。响铃器/振动器8316被用于向用户发传入呼叫、文本消息、日历提醒、闹钟提醒或其它通知等信号。在接收模式期间，RF发射机/接收机8306通过天线8302接收来自远程站的语音信号或数据信号。所接收到的语音信号被提供给扬声器8320，而接收到的其它数据信号被适当地处理。
另外，可以使用物理连接器8388来将移动设备8300连接到诸如AC适配器或加电对接底座之类的外部电源，以便对电池8304进行再充电。物理连接器8388还可被用作到外部计算设备的数据连接。该数据连接允许诸如将移动设备数据与另一设备上的计算数据进行同步等操作。
所公开的技术可用各种其它通用或专用计算系统环境或配置来操作。适合结合本技术中使用的公知的计算系统、环境和/或配置的示例包括，但不限于，个人计算机、服务器计算机、手持或膝上型设备、多处理器系统、基于微处理器的系统、机顶盒、可编程消费电子产品、网络PC、小型计算机、大型计算机、包含上述系统或设备中的任一个的分布式计算环境等。
所公开的技术可在诸如程序模块等由计算机执行的计算机可执行指令的通用上下文中描述。一般而言，如此处所述的软件和程序模块包括执行特定任务或实现特定抽象数据类型的例程、程序、对象、组件、数据结构和其它类型的结构。硬件或硬件和软件的组合可以替代在此描述的软件模块。
所公开的技术也可以在任务由通过通信网络链接的远程处理设备执行的分布式计算环境中实现。在分布式计算环境中，程序模块可以位于包括存储器存储设备的本地和远程计算机存储介质两者中。
出于本文档的目的，与所公开的技术相关联的每个过程可以持续地并由一个或多个计算设备来执行。该过程中的每个步骤都可由与在其他步骤中所使用的那些计算设备相同或不同的计算设备来执行，且每个步骤不必由单个计算设备来执行。
`出于本文的目的，说明书中引述的“一实施例”、“一个实施例”、“某些实施例”或“另一实施例”可被用于描述不同的实施例并且不必然指的是同一实施例。
出于本文的目的，连接可以是直接连接或间接连接(例如，经由另一方)。
出于本文的目的，术语对象的“集合”指的是一个或多个对象的“集合”。
尽管用结构特征和/或方法动作专用的语言描述了本主题，但可以理解，所附权利要求书中定义的主题不必限于上述具体特征或动作。更确切而言，上述具体特征和动作是作为实现权利要求的示例形式公开的。

Claims (10)

1.一种用于显示增强现实环境的电子设备，包括：
透视显示器，所述透视显示器将虚拟内容阅读器显示给所述电子设备的最终用户；以及
与所述透视显示器通信的一个或多个处理器，所述一个或多个处理器确定所述虚拟内容阅读器的滚动速率使得所述最终用户查看所述内容的在所述虚拟内容阅读器的第一区域内正被阅读的第一部分，所述一个或多个处理器使得使用所述虚拟内容阅读器显示的所述内容的所述第一部分以所述滚动速率滚动，所述虚拟内容阅读器包括与所述虚拟内容阅读器的不同于所述第一区域的第二区域相对应的滚动条，所述一个或多个处理器检测第一触发事件，所述第一触发事件包括检测所述最终用户已经注视所述第二区域，所述一个或多个处理器响应于检测到所述第一触发事件禁用所述内容的所述第一部分的滚动，所述一个或多个处理器检测到第二触发事件，所述第二触发事件包括检测到所述最终用户已经注视所述第一区域达至少第一时间段，所述一个或多个处理器响应于检测到所述最终用户已经注视所述第一区域达至少所述第一时间段使得使用所述虚拟内容阅读器显示的所述内容的第二部分被滚动。
2.如权利要求1所述的电子设备，其特征在于：
所述电子设备包括HMD。
3.如权利要求1-2中的任一项所述的电子设备，其特征在于：
所述虚拟内容阅读器的所述第一区域对应于所述虚拟内容阅读器的中部，所述第二触发事件包括检测到所述最终用户已经注视所述虚拟内容阅读器的所述中部达至少所述第一时间段。
4.如权利要求1-3中的任一项所述的电子设备，其特征在于：
所述一个或多个处理器检测环境光照条件并基于所述环境光照条件确定所述透视显示器的调光因子，所述一个或多个处理器基于所述调光因子调节所述透视显示器的透明度。
5.如权利要求4所述的电子设备，其特征在于：
所述透视显示器包括电致变色材料。
6.如权利要求1-5中的任一项所述的电子设备，其特征在于：
所述一个或多个处理器检测环境光照条件并基于所述环境光照条件确定所述内容的所述第一部分的字体大小，所述一个或多个处理器使得从所述虚拟内容阅读器使用所述字体大小来显示所述内容的所述第一部分。
7.如权利要求1-6中的任一项所述的电子设备，其特征在于：
所述一个或多个处理器检测环境光照条件并基于所述环境光照条件确定所述内容的所述第一部分的对比色，所述一个或多个处理器使得从所述虚拟内容阅读器使用所述对比色来显示所述内容的所述第一部分。
8.一种使用HMD显示内容的方法，包括：
获取要使用所述HMD显示的所述内容；
确定所述内容的滚动速率，使得所述HMD的最终用户查看所述内容的在所述HMD的透视显示器的第一区域内正被阅读的第一部分；
以所述滚动速率滚动在所述透视显示器上所显示的所述内容的所述第一部分；
使用所述透视显示器显示滚动条，所述滚动条对应于所述透视显示器的不同于所述第一区域的第二区域；
在滚动所述内容的所述第一部分之后检测第一触发事件，所述检测第一触发事件包括检测所述HMD的所述最终用户已经注视所述第二区域；
响应于检测到所述第一触发事件，禁止所述内容的所述第一部分的滚动；
在所述禁止之后检测第二触发事件，所述检测第二触发事件包括检测所述HMD的所述最终用户已经注视第一区域达至少第一时间段；以及
响应于检测到所述第二触发事件，滚动在所述透视显示器上所显示的所述内容的第二部分。
9.如权利要求8所述的方法，其特征在于：
检测第二触发事件包括检测所述HMD的所述最终用户已经阅读显示在所述透视显示器上的所述内容的所述第二部分。
10.如权利要求8-9中的任一项所述的方法，其特征在于：
所述内容的所述第二部分包括句子。
CN201580005760.4A 2014-01-23 2015-01-16 自动内容滚动 Active CN105934730B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US14/161,693 US9311718B2 (en) 2014-01-23 2014-01-23 Automated content scrolling
US14/161,693 2014-01-23
PCT/US2015/011670 WO2015112432A1 (en) 2014-01-23 2015-01-16 Automated content scrolling

Publications (2)

Publication Number Publication Date
CN105934730A true CN105934730A (zh) 2016-09-07
CN105934730B CN105934730B (zh) 2019-05-10

Family

ID=52463154

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201580005760.4A Active CN105934730B (zh) 2014-01-23 2015-01-16 自动内容滚动

Country Status (5)

Country Link
US (1) US9311718B2 (zh)
EP (1) EP3097461B1 (zh)
KR (1) KR102305380B1 (zh)
CN (1) CN105934730B (zh)
WO (1) WO2015112432A1 (zh)

Cited By (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106484237A (zh) * 2016-10-14 2017-03-08 网易（杭州）网络有限公司 用于虚拟现实显示的方法、装置及虚拟现实设备
CN107589841A (zh) * 2017-09-04 2018-01-16 歌尔科技有限公司 头戴显示设备的操作方法、头戴显示设备和系统
WO2018176309A1 (zh) * 2017-03-30 2018-10-04 深圳市欸阿技术有限公司 一种虚拟图书馆设备、虚拟现实头盔及虚拟阅读系统
CN109324686A (zh) * 2018-08-13 2019-02-12 中国航天员科研训练中心 一种基于视线追踪的滑块操作方法
CN109426342A (zh) * 2017-08-29 2019-03-05 深圳市掌网科技股份有限公司 基于增强现实的文档阅读方法和装置
CN109613982A (zh) * 2018-12-13 2019-04-12 叶成环 头戴式ar显示设备的显示交互方法
CN109842790A (zh) * 2017-11-29 2019-06-04 财团法人工业技术研究院 影像信息显示方法与显示器
CN109937394A (zh) * 2016-10-04 2019-06-25 脸谱公司 用于虚拟空间中的用户交互的控件和界面
CN110572704A (zh) * 2019-09-16 2019-12-13 腾讯科技（深圳）有限公司 一种控制弹幕播放速度的方法、装置、设备及介质
CN112764549A (zh) * 2021-04-09 2021-05-07 北京亮亮视野科技有限公司 翻译方法、装置、介质和近眼显示设备
CN114690891A (zh) * 2020-12-31 2022-07-01 Oppo广东移动通信有限公司 一种内容显示方法、装置及计算机可读存储介质
CN117891352A (zh) * 2024-03-14 2024-04-16 南京市文化投资控股集团有限责任公司 一种基于元宇宙的文旅内容推荐系统及方法
CN117891352B (zh) * 2024-03-14 2024-05-31 南京市文化投资控股集团有限责任公司 一种基于元宇宙的文旅内容推荐系统及方法

Families Citing this family (95)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10691219B2 (en) 2012-01-17 2020-06-23 Ultrahaptics IP Two Limited Systems and methods for machine control
US8693731B2 (en) 2012-01-17 2014-04-08 Leap Motion, Inc. Enhanced contrast for object detection and characterization by optical imaging
US9679215B2 (en) 2012-01-17 2017-06-13 Leap Motion, Inc. Systems and methods for machine control
US11493998B2 (en) 2012-01-17 2022-11-08 Ultrahaptics IP Two Limited Systems and methods for machine control
US9070019B2 (en) 2012-01-17 2015-06-30 Leap Motion, Inc. Systems and methods for capturing motion in three-dimensional space
US9501152B2 (en) 2013-01-15 2016-11-22 Leap Motion, Inc. Free-space user interface and control using virtual constructs
US8638989B2 (en) 2012-01-17 2014-01-28 Leap Motion, Inc. Systems and methods for capturing motion in three-dimensional space
US20130339859A1 (en) 2012-06-15 2013-12-19 Muzik LLC Interactive networked headphones
US9459697B2 (en) 2013-01-15 2016-10-04 Leap Motion, Inc. Dynamic, free-space user interactions for machine control
WO2014200589A2 (en) 2013-03-15 2014-12-18 Leap Motion, Inc. Determining positional information for an object in space
US9916009B2 (en) 2013-04-26 2018-03-13 Leap Motion, Inc. Non-tactile interface systems and methods
US10281987B1 (en) 2013-08-09 2019-05-07 Leap Motion, Inc. Systems and methods of free-space gestural interaction
US9721383B1 (en) 2013-08-29 2017-08-01 Leap Motion, Inc. Predictive information for free space gesture control and communication
US9632572B2 (en) 2013-10-03 2017-04-25 Leap Motion, Inc. Enhanced field of view to augment three-dimensional (3D) sensory space for free-space gesture interpretation
US9996638B1 (en) 2013-10-31 2018-06-12 Leap Motion, Inc. Predictive information for free space gesture control and communication
US10209955B2 (en) 2013-11-15 2019-02-19 Kopin Corporation Automatic speech recognition (ASR) feedback for head mounted displays (HMD)
US9904360B2 (en) * 2013-11-15 2018-02-27 Kopin Corporation Head tracking based gesture control techniques for head mounted displays
US9383816B2 (en) 2013-11-15 2016-07-05 Kopin Corporation Text selection using HMD head-tracker and voice-command
US9500867B2 (en) 2013-11-15 2016-11-22 Kopin Corporation Head-tracking based selection technique for head mounted displays (HMD)
US9311718B2 (en) * 2014-01-23 2016-04-12 Microsoft Technology Licensing, Llc Automated content scrolling
US10037202B2 (en) 2014-06-03 2018-07-31 Microsoft Technology Licensing, Llc Techniques to isolating a portion of an online computing service
JP2016033757A (ja) * 2014-07-31 2016-03-10 セイコーエプソン株式会社 表示装置、表示装置の制御方法、および、プログラム
DE202014103729U1 (de) 2014-08-08 2014-09-09 Leap Motion, Inc. Augmented-Reality mit Bewegungserfassung
US9626936B2 (en) * 2014-08-21 2017-04-18 Microsoft Technology Licensing, Llc Dimming module for augmented and virtual reality
US10585485B1 (en) 2014-11-10 2020-03-10 Amazon Technologies, Inc. Controlling content zoom level based on user head movement
US20160170206A1 (en) * 2014-12-12 2016-06-16 Lenovo (Singapore) Pte. Ltd. Glass opacity shift based on determined characteristics
US10353532B1 (en) 2014-12-18 2019-07-16 Leap Motion, Inc. User interface for integrated gestural interaction and multi-user collaboration in immersive virtual reality environments
US9779554B2 (en) 2015-04-10 2017-10-03 Sony Interactive Entertainment Inc. Filtering and parental control methods for restricting visual activity on a head mounted display
KR102477849B1 (ko) * 2015-09-15 2022-12-15 엘지전자 주식회사 이동 단말기 및 그것의 제어방법
US10565723B2 (en) 2016-02-02 2020-02-18 Samsung Electronics Co., Ltd. Systems and methods for drift correction
US9996149B1 (en) * 2016-02-22 2018-06-12 Immersacad Corporation Method for one-touch translational navigation of immersive, virtual reality environments
US10593074B1 (en) * 2016-03-16 2020-03-17 Liberty Mutual Insurance Company Interactive user interface for displaying geographic boundaries
US10579162B2 (en) 2016-03-24 2020-03-03 Samsung Electronics Co., Ltd. Systems and methods to correct a vehicle induced change of direction
US10037080B2 (en) * 2016-05-31 2018-07-31 Paypal, Inc. User physical attribute based device and content management system
WO2018053033A1 (en) 2016-09-15 2018-03-22 Picadipity, Inc. Automatic image display systems and methods with looped autoscrolling and static viewing modes
US10867445B1 (en) * 2016-11-16 2020-12-15 Amazon Technologies, Inc. Content segmentation and navigation
US11099716B2 (en) * 2016-12-23 2021-08-24 Realwear, Inc. Context based content navigation for wearable display
US10936872B2 (en) 2016-12-23 2021-03-02 Realwear, Inc. Hands-free contextually aware object interaction for wearable display
US11507216B2 (en) 2016-12-23 2022-11-22 Realwear, Inc. Customizing user interfaces of binary applications
US10393312B2 (en) 2016-12-23 2019-08-27 Realwear, Inc. Articulating components for a head-mounted display
US10620910B2 (en) 2016-12-23 2020-04-14 Realwear, Inc. Hands-free navigation of touch-based operating systems
US10365493B2 (en) 2016-12-23 2019-07-30 Realwear, Incorporated Modular components for a head-mounted display
US10437070B2 (en) 2016-12-23 2019-10-08 Realwear, Inc. Interchangeable optics for a head-mounted display
US11036289B2 (en) * 2016-12-31 2021-06-15 Facebook, Inc. Systems and methods to present information in a virtual environment
US11841917B2 (en) * 2017-03-07 2023-12-12 Enemy Tree LLC Digital multimedia pinpoint bookmark device, method, and system
US10684480B2 (en) * 2017-03-16 2020-06-16 Denso Wave Incorporated Information display system
CN107065195B (zh) * 2017-06-02 2023-05-02 那家全息互动(深圳)有限公司 一种模块化mr设备成像方法
US11048325B2 (en) 2017-07-10 2021-06-29 Samsung Electronics Co., Ltd. Wearable augmented reality head mounted display device for phone content display and health monitoring
US10902395B1 (en) * 2017-07-11 2021-01-26 Massachusetts Mutual Life Insurance Company Intelligent e-book reader incorporating augmented reality or virtual reality
CN107454264A (zh) * 2017-08-11 2017-12-08 无锡北斗星通信息科技有限公司 一种智能化音频驱动方法
TWI702531B (zh) * 2017-11-29 2020-08-21 財團法人工業技術研究院 影像資訊顯示方法、影像資訊顯示系統與顯示器
US11029834B2 (en) * 2017-12-20 2021-06-08 International Business Machines Corporation Utilizing biometric feedback to allow users to scroll content into a viewable display area
US10989921B2 (en) * 2017-12-29 2021-04-27 Letinar Co., Ltd. Augmented reality optics system with pinpoint mirror
KR102521557B1 (ko) 2018-01-04 2023-04-14 삼성전자주식회사 스크롤 입력에 기반하여 이미지 표시를 제어하는 전자 장치 및 방법
US10540941B2 (en) 2018-01-30 2020-01-21 Magic Leap, Inc. Eclipse cursor for mixed reality displays
US11567627B2 (en) 2018-01-30 2023-01-31 Magic Leap, Inc. Eclipse cursor for virtual content in mixed reality displays
JP6582205B2 (ja) * 2018-02-28 2019-10-02 株式会社コナミデジタルエンタテインメント 情報処理装置、情報処理装置のプログラム、ヘッドマウントディスプレイ、及び、情報処理システム
CN108803977A (zh) * 2018-04-19 2018-11-13 北京学为贵教育科技有限公司 基于移动终端的内容显示方法及装置
WO2019236344A1 (en) * 2018-06-07 2019-12-12 Magic Leap, Inc. Augmented reality scrollbar
US11195336B2 (en) 2018-06-08 2021-12-07 Vulcan Inc. Framework for augmented reality applications
US10996831B2 (en) 2018-06-29 2021-05-04 Vulcan Inc. Augmented reality cursors
US10356387B1 (en) * 2018-07-26 2019-07-16 Telefonaktiebolaget Lm Ericsson (Publ) Bookmarking system and method in 360° immersive video based on gaze vector information
CN112639579B (zh) * 2018-08-31 2023-09-15 奇跃公司 用于增强现实装置的空间分辨的动态调暗
US11062678B2 (en) 2018-12-27 2021-07-13 At&T Intellectual Property I, L.P. Synchronization of environments during extended reality experiences
USD962981S1 (en) 2019-05-29 2022-09-06 Magic Leap, Inc. Display screen or portion thereof with animated scrollbar graphical user interface
US11373383B2 (en) * 2019-08-05 2022-06-28 Brightline Interactive, LLC Immersive ecosystem
US10991163B2 (en) 2019-09-20 2021-04-27 Facebook Technologies, Llc Projection casting in virtual environments
US11189099B2 (en) * 2019-09-20 2021-11-30 Facebook Technologies, Llc Global and local mode virtual object interactions
US11176745B2 (en) 2019-09-20 2021-11-16 Facebook Technologies, Llc Projection casting in virtual environments
US11170576B2 (en) 2019-09-20 2021-11-09 Facebook Technologies, Llc Progressive display of virtual objects
US11086406B1 (en) 2019-09-20 2021-08-10 Facebook Technologies, Llc Three-state gesture virtual controls
US11086476B2 (en) * 2019-10-23 2021-08-10 Facebook Technologies, Llc 3D interactions with web content
US11175730B2 (en) 2019-12-06 2021-11-16 Facebook Technologies, Llc Posture-based virtual space configurations
US11475639B2 (en) 2020-01-03 2022-10-18 Meta Platforms Technologies, Llc Self presence in artificial reality
KR102379350B1 (ko) * 2020-03-02 2022-03-28 주식회사 비주얼캠프 페이지 턴 방법 및 이를 수행하기 위한 컴퓨팅 장치
US11922581B2 (en) * 2020-05-08 2024-03-05 Coviden Lp Systems and methods of controlling an operating room display using an augmented reality headset
US11257280B1 (en) 2020-05-28 2022-02-22 Facebook Technologies, Llc Element-based switching of ray casting rules
US11256336B2 (en) 2020-06-29 2022-02-22 Facebook Technologies, Llc Integration of artificial reality interaction modes
US11227445B1 (en) 2020-08-31 2022-01-18 Facebook Technologies, Llc Artificial reality augments and surfaces
US11176755B1 (en) 2020-08-31 2021-11-16 Facebook Technologies, Llc Artificial reality augments and surfaces
US11178376B1 (en) 2020-09-04 2021-11-16 Facebook Technologies, Llc Metering for display modes in artificial reality
WO2022066159A1 (en) * 2020-09-24 2022-03-31 Hewlett-Packard Development Company, L.P. Bookmarks
US11113893B1 (en) 2020-11-17 2021-09-07 Facebook Technologies, Llc Artificial reality environment with glints displayed by an extra reality device
US11409405B1 (en) 2020-12-22 2022-08-09 Facebook Technologies, Llc Augment orchestration in an artificial reality environment
US11461973B2 (en) 2020-12-22 2022-10-04 Meta Platforms Technologies, Llc Virtual reality locomotion via hand gesture
US11294475B1 (en) 2021-02-08 2022-04-05 Facebook Technologies, Llc Artificial reality multi-modal input switching model
US11775060B2 (en) * 2021-02-16 2023-10-03 Athena Accessible Technology, Inc. Systems and methods for hands-free scrolling
US11762952B2 (en) 2021-06-28 2023-09-19 Meta Platforms Technologies, Llc Artificial reality application lifecycle
US11295503B1 (en) 2021-06-28 2022-04-05 Facebook Technologies, Llc Interactive avatars in artificial reality
US11798247B2 (en) 2021-10-27 2023-10-24 Meta Platforms Technologies, Llc Virtual object structures and interrelationships
US11748944B2 (en) 2021-10-27 2023-09-05 Meta Platforms Technologies, Llc Virtual object structures and interrelationships
US11720172B2 (en) * 2021-12-21 2023-08-08 Lenovo (Singapore) Pte. Ltd. Indication of key information apprisal
KR102501280B1 (ko) * 2022-02-10 2023-02-17 테스피 주식회사 발바닥으로 움직이는 케이던스 속도로 웹콘텐츠의 스크롤을 제어하는 무동력 런닝머신 및 그 구동 방법
US11947862B1 (en) 2022-12-30 2024-04-02 Meta Platforms Technologies, Llc Streaming native application content to artificial reality devices
US11991222B1 (en) 2023-05-02 2024-05-21 Meta Platforms Technologies, Llc Persistent call control user interface element in an artificial reality environment

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080218434A1 (en) * 2007-03-05 2008-09-11 The Boeing Company Electrically Dimmable Combiner Optics for Head-Up Display
CN102540464A (zh) * 2010-11-18 2012-07-04 微软公司 提供环绕视频的头戴式显示设备
US20120256967A1 (en) * 2011-04-08 2012-10-11 Baldwin Leo B Gaze-based content display
US20130021373A1 (en) * 2011-07-22 2013-01-24 Vaught Benjamin I Automatic Text Scrolling On A Head-Mounted Display
US20130325463A1 (en) * 2012-05-31 2013-12-05 Ca, Inc. System, apparatus, and method for identifying related content based on eye movements

Family Cites Families (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5831594A (en) 1996-06-25 1998-11-03 Sun Microsystems, Inc. Method and apparatus for eyetrack derived backtrack
US6931587B1 (en) 1998-01-29 2005-08-16 Philip R. Krause Teleprompter device
US6603491B2 (en) 2000-05-26 2003-08-05 Jerome H. Lemelson System and methods for controlling automatic scrolling of information on a display or screen
US6886137B2 (en) 2001-05-29 2005-04-26 International Business Machines Corporation Eye gaze control of dynamic information presentation
US6847386B2 (en) 2001-06-19 2005-01-25 International Business Machines Corporation Visual cue for on-screen scrolling
US8292433B2 (en) 2003-03-21 2012-10-23 Queen's University At Kingston Method and apparatus for communication between humans and devices
US7362311B2 (en) * 2003-04-07 2008-04-22 Microsoft Corporation Single column layout for content pages
US7401920B1 (en) 2003-05-20 2008-07-22 Elbit Systems Ltd. Head mounted eye tracking and display system
US7365738B2 (en) 2003-12-02 2008-04-29 International Business Machines Corporation Guides and indicators for eye movement monitoring systems
US8232962B2 (en) 2004-06-21 2012-07-31 Trading Technologies International, Inc. System and method for display management based on user attention inputs
US7429108B2 (en) * 2005-11-05 2008-09-30 Outland Research, Llc Gaze-responsive interface to enhance on-screen user reading tasks
WO2009019760A1 (ja) * 2007-08-07 2009-02-12 Osaka Electro-Communication University 動体検出装置、動体検出方法、ポインティングデバイス、コンピュータプログラム及び記憶媒体
US8847972B2 (en) * 2010-01-20 2014-09-30 Intellectual Ventures Fund 83 Llc Adapting display color for low luminance conditions
US9122307B2 (en) 2010-09-20 2015-09-01 Kopin Corporation Advanced remote control of host application using motion and voice commands
US20130154913A1 (en) * 2010-12-16 2013-06-20 Siemens Corporation Systems and methods for a gaze and gesture interface
US20120257035A1 (en) * 2011-04-08 2012-10-11 Sony Computer Entertainment Inc. Systems and methods for providing feedback by tracking user gaze and gestures
EP2515526A3 (en) * 2011-04-08 2014-12-24 FotoNation Limited Display device with image capture and analysis module
US8611015B2 (en) 2011-11-22 2013-12-17 Google Inc. User interface
US10013053B2 (en) * 2012-01-04 2018-07-03 Tobii Ab System for gaze interaction
US9311718B2 (en) * 2014-01-23 2016-04-12 Microsoft Technology Licensing, Llc Automated content scrolling

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080218434A1 (en) * 2007-03-05 2008-09-11 The Boeing Company Electrically Dimmable Combiner Optics for Head-Up Display
CN102540464A (zh) * 2010-11-18 2012-07-04 微软公司 提供环绕视频的头戴式显示设备
US20120256967A1 (en) * 2011-04-08 2012-10-11 Baldwin Leo B Gaze-based content display
US20130021373A1 (en) * 2011-07-22 2013-01-24 Vaught Benjamin I Automatic Text Scrolling On A Head-Mounted Display
US20130325463A1 (en) * 2012-05-31 2013-12-05 Ca, Inc. System, apparatus, and method for identifying related content based on eye movements

Cited By (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109937394A (zh) * 2016-10-04 2019-06-25 脸谱公司 用于虚拟空间中的用户交互的控件和界面
CN106484237A (zh) * 2016-10-14 2017-03-08 网易（杭州）网络有限公司 用于虚拟现实显示的方法、装置及虚拟现实设备
WO2018176309A1 (zh) * 2017-03-30 2018-10-04 深圳市欸阿技术有限公司 一种虚拟图书馆设备、虚拟现实头盔及虚拟阅读系统
CN109426342B (zh) * 2017-08-29 2022-04-01 深圳市掌网科技股份有限公司 基于增强现实的文档阅读方法和装置
CN109426342A (zh) * 2017-08-29 2019-03-05 深圳市掌网科技股份有限公司 基于增强现实的文档阅读方法和装置
CN107589841A (zh) * 2017-09-04 2018-01-16 歌尔科技有限公司 头戴显示设备的操作方法、头戴显示设备和系统
US10896500B2 (en) 2017-11-29 2021-01-19 Industrial Technology Research Institute Display and method for displaying dynamic information of object
CN109842790A (zh) * 2017-11-29 2019-06-04 财团法人工业技术研究院 影像信息显示方法与显示器
CN109842790B (zh) * 2017-11-29 2021-02-26 财团法人工业技术研究院 影像信息显示方法与显示器
CN109324686B (zh) * 2018-08-13 2022-02-11 中国航天员科研训练中心 一种基于视线追踪的滑块操作方法
CN109324686A (zh) * 2018-08-13 2019-02-12 中国航天员科研训练中心 一种基于视线追踪的滑块操作方法
CN109613982A (zh) * 2018-12-13 2019-04-12 叶成环 头戴式ar显示设备的显示交互方法
CN110572704A (zh) * 2019-09-16 2019-12-13 腾讯科技（深圳）有限公司 一种控制弹幕播放速度的方法、装置、设备及介质
CN114690891A (zh) * 2020-12-31 2022-07-01 Oppo广东移动通信有限公司 一种内容显示方法、装置及计算机可读存储介质
CN112764549A (zh) * 2021-04-09 2021-05-07 北京亮亮视野科技有限公司 翻译方法、装置、介质和近眼显示设备
CN117891352A (zh) * 2024-03-14 2024-04-16 南京市文化投资控股集团有限责任公司 一种基于元宇宙的文旅内容推荐系统及方法
CN117891352B (zh) * 2024-03-14 2024-05-31 南京市文化投资控股集团有限责任公司 一种基于元宇宙的文旅内容推荐系统及方法

Also Published As

Publication number Publication date
KR20160111942A (ko) 2016-09-27
EP3097461B1 (en) 2019-09-04
KR102305380B1 (ko) 2021-09-24
US9311718B2 (en) 2016-04-12
WO2015112432A1 (en) 2015-07-30
CN105934730B (zh) 2019-05-10
EP3097461A1 (en) 2016-11-30
US20150206321A1 (en) 2015-07-23

Similar Documents

Publication Publication Date Title
CN105934730A (zh) 自动内容滚动
CN106662989B (zh) 3d全息图环境中的内容的管理
CN106415444B (zh) 注视滑扫选择
CN105431763B (zh) 在佩戴移动设备时跟踪头部移动
US10643389B2 (en) Mechanism to give holographic objects saliency in multiple spaces
CN107111370B (zh) 现实世界对象的虚拟表示
US20150212576A1 (en) Radial selection by vestibulo-ocular reflex fixation
US20150331240A1 (en) Assisted Viewing Of Web-Based Resources
US20140160157A1 (en) People-triggered holographic reminders
CN107209950A (zh) 从现实世界材料自动生成虚拟材料
CN105009039A (zh) 使用imu的直接全息图操纵
WO2022245629A1 (en) Contextual visual and voice search from electronic eyewear device

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant