CN111194424A - 头戴式显示器设备的可听操作模式和视觉操作模式 - Google Patents

头戴式显示器设备的可听操作模式和视觉操作模式 Download PDF

Info

Publication number
CN111194424A
CN111194424A CN201880057818.3A CN201880057818A CN111194424A CN 111194424 A CN111194424 A CN 111194424A CN 201880057818 A CN201880057818 A CN 201880057818A CN 111194424 A CN111194424 A CN 111194424A
Authority
CN
China
Prior art keywords
wearable device
user
mode
display
operating
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201880057818.3A
Other languages
English (en)
Inventor
克里斯托弗·莱恩·帕金森
桑杰·苏比尔·贾瓦尔
斯蒂芬·A·庞波
肯尼思·卢斯汀
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Riowell
RealWear Inc
Original Assignee
Riowell
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Riowell filed Critical Riowell
Publication of CN111194424A publication Critical patent/CN111194424A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B27/0176—Head mounted characterised by mechanical features
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/0093—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for monitoring data relating to the user, e.g. head-tracking, eye-tracking
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G06F1/1613—Constructional details or arrangements for portable computers
    • G06F1/163—Wearable computers, e.g. on a belt
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G06F1/1613—Constructional details or arrangements for portable computers
    • G06F1/1633—Constructional details or arrangements of portable computers not specific to the type of enclosures covered by groups G06F1/1615 - G06F1/1626
    • G06F1/1684—Constructional details or arrangements related to integrated I/O peripherals not covered by groups G06F1/1635 - G06F1/1675
    • G06F1/1694—Constructional details or arrangements related to integrated I/O peripherals not covered by groups G06F1/1635 - G06F1/1675 the I/O peripheral being a single or a set of motion sensors for pointer control or gesture input obtained by sensing movements of the portable computer
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0362—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of 1D translations or rotations of an operating part of the device, e.g. scroll wheels, sliders, knobs, rollers or belts
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R1/00—Details of transducers, loudspeakers or microphones
    • H04R1/02—Casings; Cabinets ; Supports therefor; Mountings therein
    • H04R1/028—Casings; Cabinets ; Supports therefor; Mountings therein associated with devices performing functions other than acoustics, e.g. electric candles
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R1/00—Details of transducers, loudspeakers or microphones
    • H04R1/10—Earpieces; Attachments therefor ; Earphones; Monophonic headphones
    • H04R1/1041—Mechanical or electronic switches, or control elements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S7/00—Indicating arrangements; Control arrangements, e.g. balance control
    • H04S7/30—Control circuits for electronic adaptation of the sound field
    • H04S7/302—Electronic adaptation of stereophonic sound system to listener position or orientation
    • H04S7/303—Tracking of listener position or orientation
    • H04S7/304—For headphones
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0138—Head-up displays characterised by optical features comprising image capture systems, e.g. camera
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B3/00—Audible signalling systems; Audible personal calling systems
    • G08B3/10—Audible signalling systems; Audible personal calling systems using electric transmission; using electromagnetic transmission
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B5/00—Visible signalling systems, e.g. personal calling systems, remote indication of seats occupied
    • G08B5/22—Visible signalling systems, e.g. personal calling systems, remote indication of seats occupied using electric transmission; using electromagnetic transmission
    • G08B5/36—Visible signalling systems, e.g. personal calling systems, remote indication of seats occupied using electric transmission; using electromagnetic transmission using visible light sources
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R1/00—Details of transducers, loudspeakers or microphones
    • H04R1/10—Earpieces; Attachments therefor ; Earphones; Monophonic headphones
    • H04R1/1008—Earpieces of the supra-aural or circum-aural type
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S2400/00—Details of stereophonic systems covered by H04S but not provided for in its groups
    • H04S2400/11—Positioning of individual sound objects, e.g. moving airplane, within a sound field
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S2400/00—Details of stereophonic systems covered by H04S but not provided for in its groups
    • H04S2400/15—Aspects of sound capture and related signal processing for recording or reproduction

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Computer Hardware Design (AREA)
  • Acoustics & Sound (AREA)
  • Signal Processing (AREA)
  • Optics & Photonics (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

本发明涉及可穿戴设备和当所述可穿戴设备的显示器设备在用户的视线(LOS)内时在视觉模式下操作所述可穿戴设备以及当所述可穿戴设备在所述用户的所述LOS外时在可听模式下操作所述可穿戴设备。自动确定所述显示器设备相对于所述用户的LOS的位置。当检测到所述显示器设备的位置转换时，自动转换所述可穿戴设备的操作模式。所述可穿戴设备可以是头戴式显示器(HMD)设备。视觉模式经由所述显示器设备提供UI、内容、信息和数据的基于视觉的呈现。与视觉模式形成对比，可听模式经由包括在所述可穿戴设备中的一个或多个可听扬声器提供UI、内容、信息和数据的基于音频的呈现。

Description

头戴式显示器设备的可听操作模式和视觉操作模式
背景技术
在位于远程和/或非传统计算环境中(以及在转移到其中期间)时，诸如头戴式显示器(HMD)设备等可穿戴设备使用户能够方便地传输和访问计算能力。即，寻求访问计算能力的用户不再需要基于桌面的计算设备和以太网端口。相反，用户现在可以方便地将计算设备(即，可穿戴设备)“穿戴”到远程位置。使可穿戴设备能够提供各种计算能力，这些计算能力可以超过许多基于桌面的计算设备的能力。通常，此类可穿戴设备经由嵌入可穿戴设备内的显示器设备所显示的用户界面(UI)提供对计算能力的访问。
但是，在某些情况下，使用户将其目光(或注意力)转移到显示器设备或以其他方式将显示器设备定位在用户的视野内可能是不安全的或以其他方式不期望的。例如，HMD设备的显示器可能限制用户对其环境或附近周围环境的观看，或者以其他方式将用户的注意力从其环境或附近周围环境移开。例如，在工业背景和其他背景下，可能存在特定的场景，其中，限制用户对显示器的视野或注意力会给用户带来巨大的安全风险以及其他问题。因此，在此类场景下，用户可以从其视野中移除显示器或者以其他方式将其目光从显示器的总体方向上移开。然而，即使当显示器不在用户的视野时，仍然期望使用户能够访问由可穿戴设备提供的计算能力的至少一部分。针对这些和其他问题，提供了以下公开内容。
发明内容
提供本概述以便以简化的形式介绍下文在具体实施方式中进一步描述的一系列概念。本概述不旨在标识所要求保护的主题的关键或必要特征，也不旨在用于帮助确定所要求保护的主题的范围。
在高水平上，本发明的实施例总体上涉及当可穿戴设备的显示器设备在用户的视线(LOS)内时在视觉模式下操作可穿戴设备以及当可穿戴设备在用户的LOS外时在可听模式下操作可穿戴设备。各个实施例可以自动确定显示器设备何时在用户的LOS内以及从用户的LOS中排除。当检测到显示器设备的位置转换时，实施例可以自动转换可穿戴设备的操作模式。可穿戴设备可以是头戴式显示器(HMD)设备。尽管其他实施例不限于此并且可以涉及其他计算设备，诸如其他可穿戴设备或移动设备。
简而言之，视觉模式是经由包括在可穿戴设备中的显示器设备来提供UI、内容、信息、数据等的基于视觉的呈现的可穿戴设备操作模式。此类基于视觉的呈现包括各种视觉元素、视觉指示和/或视觉内容，所述视觉元素、视觉指示和/或视觉内容使用户能够通过与一个或多个UI的基于视觉的呈现的交互来接收信息、控制可穿戴设备并访问可穿戴设备的能力。
与视觉模式形成对比，可听模式是经由包括在可穿戴设备中的一个或多个可听扬声器提供UI、内容、信息、数据等的基于音频的呈现的可穿戴设备操作模式。此类基于音频的呈现包括口头语言、可听元素、可听指示和/或可听内容，所述口头语言、可听元素、可听指示和/或可听内容使用户能够通过与UI的基于音频的呈现的交互来接收信息、控制可穿戴设备并访问可穿戴设备的能力。此外，与UI的基于视觉和/或基于音频的呈现的交互可以至少部分地是语音驱动的。即，用户可以在此控制可穿戴设备(在可听和/或视觉模式下)并且经由口头地说出由包括在可穿戴设备中的一个或多个其他电声换能器(例如，麦克风)检测到的声音激活命令来访问可穿戴设备的各种能力。
附图说明
参考附图(其中相同的附图标记表示相同的元件)中展示的实施例更详细地解释了上述本发明的特征，其中图1至图6展示了本发明的实施例，在附图中：
图1提供了示意图，示出了根据本发明内容的一些实施方式的用于操作头戴式显示器设备的示例性操作环境；
图2示出了根据本发明内容的一些实施方式的头戴式显示器设备的示例性实施例；
图3A示出了头戴式显示器设备的示例性实施例，其中，显示器设备的位置在用户的视线内；
图3B示出了图3A的头戴式显示器设备，其中，显示器设备的位置在用户的视线外；
图4A提供了示意图，示出了根据本发明内容的一些实施方式的头戴式显示器设备的视觉模式的示例性实施例的操作；
图4B提供了示意图，示出了根据本发明内容的一些实施方式的头戴式显示器设备的可听模式的示例性实施例的操作；
图5A提供了示意图，示出了根据本发明内容的一些实施方式的头戴式显示器设备的视觉模式的示例性实施例的操作；
图5B提供了示意图，示出了根据本发明内容的一些实施方式的支持增强现实的头戴式显示器设备的可听模式的示例性实施例的操作；
图6A提供了示意图，示出了根据本发明内容的一些实施方式的头戴式显示器设备的视觉模式的示例性实施例的操作；
图6B提供了示意图，示出了根据本发明内容的一些实施方式的头戴式显示器设备的可听模式的示例性实施例的操作；
图7A提供了示意图，示出了根据本发明内容的一些实施方式的头戴式显示器设备的视觉模式的示例性实施例的操作；
图7B提供了示意图，示出了根据本披露内容的一些实施方式的头戴式显示器设备的可听模式的示例性实施例的操作；
图8A提供了示意图，示出了根据本发明内容的一些实施方式的支持增强现实的头戴式显示器设备的视觉模式的示例性实施例的操作；
图8B提供了示意图，示出了根据本发明内容的一些实施方式的支持增强现实的头戴式显示器设备的可听模式的示例性实施例的操作；
图8C提供了示意图，示出了根据本发明内容的一些实施方式的支持增强现实的头戴式显示器设备的可听模式的示例性实施例的另外的操作；
图9A至图9B提供了说明性过程流程，描绘了根据本发明内容的一些实施方式的用于操作可穿戴设备的方法；
图10提供了说明性过程流程，描绘了根据本发明内容的一些实施方式的用于操作可穿戴设备的另一种方法；
图11A至图11B提供了说明性过程流程，描绘了根据本发明内容的一些实施方式的用于操作可穿戴设备的又一种方法；
图12提供了可以在其中采用本发明内容的一些实施方式的示例性可穿戴设备的框图。
图13提供了可以在其中采用本发明内容的一些实施方式的示例性计算设备的框图。
具体实施方式
本文的各个实施例涉及用于操作移动设备的方法和系统，诸如但不限于当可穿戴设备的显示器设备在用户的LOS内时在视觉模式下的可穿戴设备以及当显示器设备从用户的LOS中排除时在可听模式下操作可穿戴设备。更具体地，各个实施例可以自动检测显示器设备何时在用户的LOS内以及显示器何时从用户的LOS中排除。基于对显示器设备的位置的这种检测(相对于用户的LOS)，或者替代性地，基于检测显示器的位置的转换，可以在(或转换到)相应的操作模式下操作可穿戴设备。在各个实施例中，用户的LOS可以被广义地解释为包括用户的视力(或视场)内的任何地方。例如，当显示器设备定位于用户的外围视觉内或者当显示器设备在用户的瞳孔上方或下方但用户仍可以在视觉上看到显示器设备时，显示器设备可以被视为在用户的LOS内。在至少一个实施例中，当用户可以经由其眼睛在眼眶内的手动旋转来跟踪和/或注视显示器设备时，显示器设备在用户的LOS内。
至少部分地经由用户查看并且与由一个或多个显示器设备提供的用户界面(UI)交互来访问常规移动技术所提供的能力中的许多能力。例如，诸如常规可穿戴设备等移动设备提供信息并且使用户能够经由在与可穿戴设备集成的显示器设备上可看见的UI来控制和访问计算能力。即，使用户能够控制移动设备、查看文档、接收通知、提供用户选择或以其他方式访问和/或控制与可穿戴设备相关联的能力中的许多能力的一些UI需要用户对显示器设备进行主动的视觉观察。
除了用户专注的视力外，此类UI常常还需要由用户进行手动和/或物理操纵，即需要使用用户的手和/或指尖。例如，用户可以查看可穿戴设备的触敏显示器设备并且经由触笔、用户的手和/或用户的指尖来执行手动手势以与UI交互。
但是，对于用户来说，将其视线(LOS)定向为包括显示器设备或者以其他方式将显示器设备定位在其LOS内可能并不总是方便的或者甚至是不安全的。另外，即使用户可以将其LOS或注意力转移到显示器设备，对于用户来说，使用其手和/或指尖与UI交互仍然可能不方便或不安全。
例如，在工业背景和其他背景下，可能存在特定的场景，其中，约束或限制用户针对显示器设备的LOS或注意力会给用户带来巨大的安全风险以及其他问题。在此类场景下，用户可以从其LOS中移除显示器设备或者以其他方式将其LOS从显示器设备的总体方向上移开。然而，即使当显示器设备不在用户的LOS内或者对于用户来说用其手与显示器设备或另一个选择输入设备交互不方便或不安全时，用户仍然期望控制可穿戴设备并访问由可穿戴设备提供的计算能力。
为了解决此类问题和限制，本文的各个实施例涉及用于当可穿戴设备的显示器设备在用户的LOS内时在视觉模式下操作可穿戴设备并且当显示器设备从用户的LOS中排除时在可听模式下操作可穿戴设备的方法和系统。简而言之，视觉模式是经由包括在可穿戴设备中的显示器设备来提供UI、内容、信息、数据等的基于视觉的呈现的可穿戴设备操作模式。此类基于视觉的呈现包括各种视觉元素、视觉指示和/或视觉内容，所述视觉元素、视觉指示和/或视觉内容使用户能够通过与一个或多个UI的基于视觉的呈现的交互来接收信息、控制可穿戴设备并访问可穿戴设备的能力。
与视觉模式形成对比，可听模式是经由包括在可穿戴设备中的一个或多个可听扬声器提供UI、内容、信息、数据等的基于音频的呈现的可穿戴设备操作模式。此类基于音频的呈现包括口头语言、可听元素、可听指示和/或可听内容，所述口头语言、可听元素、可听指示和/或可听内容使用户能够通过与UI的基于音频的呈现的交互来接收信息、控制可穿戴设备并访问可穿戴设备的能力。此外，与UI的基于视觉和/或基于音频的呈现的交互可以至少部分地是语音驱动的。即，用户可以在此控制可穿戴设备(在可听和/或视觉模式下)并且经由口头地说出由包括在可穿戴设备中的一个或多个其他电声换能器(例如，麦克风)检测到的声音激活命令来访问可穿戴设备的各种能力。
尽管本文讨论的许多实施例涉及操作头戴式显示器(HMD)设备的视觉模式和可听模式(以及它们之间的转换)，但是应当理解，并非所有实施例都限于此。即，应当理解，本文讨论的各个实施例可以应用于其他计算设备，包括但不限于其他可穿戴设备(例如，智能手表)和移动设备(例如，智能电话和平板计算机)。
图1提供了示意图，示出了根据本发明内容的一些实施方式的用于操作头戴式显示器设备的示例性操作环境100。环境100包括一个或多个可穿戴设备(诸如但不限于头戴式显示器(HMD)设备120)和一个或多个用户计算设备。此类用户计算设备包括但不限于智能电话102、台式计算机104、平板计算机106和膝上型计算机108。至少结合图2A、图2B、图3和图12讨论HMD设备120的各种实施例。然而，在此简要地，HMD设备220是向穿戴者提供计算能力和通信能力的可穿戴计算设备。在图1中示出的非限制性主体中，可穿戴设备(例如，HMD设备120)可以穿戴在用户的头部周围。其他实施例并不限于此。结合图13讨论诸如计算设备102-108等用户计算设备的各种实施例。
环境100另外包括通信网络，诸如但不限于通信网络110，所述通信网络通信地耦合用户计算设备102-108中的每一个和HMD设备120。通信网络110可以是任何通信网络，包括几乎任何有线和/或无线通信技术、有线和/或无线通信协议等。应当理解，通信网络110可以是将用户计算设备102-108中的至少一个用户计算设备与可穿戴设备(诸如但不限于HMD设备120)通信地耦合的几乎任何网络。
图2示出了根据本发明内容的一些实施方式的头戴式显示器设备220的示例性实施例。HMD设备220是可穿戴设备并且可以包括与图12的可穿戴设备1200的特征类似的特征。HMD设备220可以类似于图1的HMD设备120。HMD设备220包括框架构件222。框架构件222可以是框架结构。如图2所示，框架构件222被配置和安排成用于由用户穿戴。例如，框架构件222可以穿戴在用户的头部周围。HMD设备224可以另外包括使框架构件222稳定在用户的头部周围的一个或多个稳定构件224(或稳定结构)。
HMD设备220可以包括一个或多个旋转构件，诸如但不限于第一旋转构件226和第二旋转构件228。如结合图3A至图3B所讨论的，至少一个旋转构件226或228可旋转地联接到框架构件222，即，旋转构件226或228中的至少一个联接到框架构件并且被配置和安排成用于相对于框架构件222旋转。在至少一个实施例中，第一旋转构件226可以是联接到显示模块230的吊臂。显示模块230容纳指向用户眼睛的显示器设备(图2中未示出)。如图2所示，显示器设备在用户的视线(LOS)内。如结合图3A至图3B所讨论的，用户可以经由旋转构件中的一个或多个旋转构件的旋转来重新定位显示器设备，从而使得显示器设备从用户的LOS中排除。注意，在图2所示的HMD设备220的视野中，显示器设备被挡住。然而，图4A、图5A、图6A、图7A和图8A中示出了显示器设备的用户视野的各种实施例(当显示器设备在用户的LOS内时)。
HMD设备220包括各种电声换能器(例如，麦克风和音频扬声器)。一个这样的电声换能器232位于旋转构件226的末端附近。电声换能器232可以是主麦克风。在各种实施例中，HMD设备220包括一个或其他电声换能器，包括但不限于一个或多个辅助麦克风234和一个或多个音频扬声器，诸如但不限于音频扬声器236。
HMD设备220可以包括光学模块240，所述光学模块容纳一个或多个光子检测器(例如，相机设备)(诸如光子检测器242)和/或一个或多个光子发射器(例如，扫描激光器、扫描发光二极管(LED)等)(诸如光子发射器244)。光学模块240可以被配置和安排成相对于框架构件222旋转，从而使得光子检测器242的视场(FOV)可以旋转地变化。在光学模块240的至少一些旋转取向中，光子检测器242的FOV至少类似于用户的FOV。
图3A示出了头戴式显示器设备320的示例性实施例，其中，显示器设备的位置在用户的视线内。图3B示出了图3A的头戴式显示器设备320，其中，显示器设备的位置在用户的视线外。HMD设备320可以类似于图2的HMD设备220和/或图1的HMD设备120并且因此包括显示器设备。在各个实施例中，当显示器设备被定位成如图3A所示时，在第一操作模式(即，视觉模式)下操作HMD设备320。当显示器设备被定位在用户的视线(LOS)外时(诸如图3B所示的位置)，在第二操作模式(即，可听模式)下操作HMD设备320。
HMD设备320包括框架构件322、第一旋转构件226和第二旋转构件328。HMD设备320包括主麦克风332和多个辅助麦克风334以及一个或多个音频扬声器336。此外，HMD设备320包括一个或多个相机342和一个或多个光子发射器344。相机342可以是光子检测器。显示模块330容纳指向用户的眼睛并且在图3A至图3B中被挡住的显示器设备。图4A、图5A、图6A、图7A和图8A中示出了显示器设备的用户视野的各种实施例(当显示器设备在用户的LOS内时)。
如上文指出的，图3A示出了显示模块330可以被定位成使得显示器设备在用户的视线(LOS)内。图3B与图3A的比较示出了第一旋转构件326和/或第二旋转构件328中的至少一个可以相对于框架构件322旋转，从而使得显示器设备在用户的LOS外(或从用户的LOS中排除)。更具体地，第二旋转构件328经由第一旋转接头354可旋转地联接到框架构件322，并且第一旋转构件326经由第二旋转接头352可旋转地联接到第二旋转构件328。
因此，通过改变框架构件322与第二旋转构件328之间的至少一个或第一旋转取向和/或第二旋转构件328与第一旋转构件226之间的第二旋转取向，用户可以围绕相对于用户头部的轴线旋转显示器轴线的位置。
更具体地，通过旋转显示器的位置(围绕相对于用户头部的轴线)，用户可以选择性地将显示模块330定位成使得显示器设备在用户的LOS内。类似地，用户可以通过改变框架构件322与第二旋转构件328之间的第一旋转取向和/或第二旋转构件328与第一旋转构件226之间的第二旋转取向来选择性地将显示模块330定位成使得显示器设备在用户的LOS外(或从用户的LOS中排除)。应注意，通过改变第一旋转取向，改变了框架构件322与第二旋转构件328之间的第一角度。类似地，改变第二旋转取向使第二旋转构件328与第一旋转构件326之间的第二角度产生变化。进一步地，应注意，通过改变第一角度或第二角度中的至少一个，显示器设备框架构件322之间的角度产生变化。
显示器设备在用户的LOS内还是外可以基于第一角度(即，框架构件322与第二旋转构件328之间的角度)、第二角度(即，第二旋转构件328与第一旋转构件326之间的角度)、和/或第一/第二旋转构件326/328的长度中的至少一个来确定。在各种实施例中，一个或多个位置检测传感器和/或开关包括在第一旋转接头354中，以自动检测和/或确定第一角度。类似地，一个或多个位置检测传感器和/或开关可以包括在第二旋转接头中，以自动确定第二角度。此类传感器和/或开关可以包括但不限于霍尔效应传感器和/或霍尔效应开关。其他此类传感器和/或开关还可以包括但不限于检测光学编码的光学传感器、机械开关、电容传感器、导电开关、磁开关等。即，可以采用任何位置检测传感器和/或开关来确定显示器设备是否在用户的LOS内。更具体地，可以采用由此类传感器和/或开关生成的信号来检测显示器设备相对于用户的LOS的位置。根据显示器设备在用户的LOS内还是从用户的LOS中排除，可以基于由传感器和/或开关生成的一个或多个信号来自动确定用户的LOS，所述传感器和/或开关用于检测可穿戴设备(诸如但不限于HMD设备320)的多个构件之间的相对旋转和/或角度。
如图3A至图3B所示，HMD设备320是非限制性实施例，并且显示器设备在用户的LOS内和外的转换和/或重新定位可以经由除了框架构件322、第一旋转构件326和第二旋转构件328的相对旋转和/或旋转取向以外的配置来完成。应注意，第一旋转构件326和第二旋转构件328可以包括用于支撑显示模块330的可旋转吊臂。因此，吊臂可以铰接在用户的LOS内和外。
此外，用于确定显示器设备何时在用户的LOS内和外的其他方法可以用于除构件之间的相对旋转以外的其他配置。例如，可以感测和/或检测支撑显示器设备的构件之间的相对转换。当显示器设备从用户的LOS内转换到用户的LOS外时，HMD设备320的操作模式从视觉模式转换为可听模式。类似地，当显示器设备从用户的LOS外转换到用户的LOS内时，HMD设备320的操作模式从可听模式转换为视觉模式。
在至少一个实施例中，用户可以经由口头地说出声音激活命令(诸如但不限于“视觉模式”、“可听模式”等)来选择操作模式的转换。可以经由电声换能器(诸如但不限于主麦克风332和/或辅助麦克风334)来检测此类声音激活命令。在一些实施例中，当在视觉模式下操作HMD设备320时，可以操作设置的可用麦克风的第一子集。当在可听模式下操作HMD设备320时，可以操作设置的可用麦克风的第二子集。在一些实施例中，设置的可用麦克风的所述两个子集的交集是空集。在其他实施例中，可用麦克风的所述两个子集的交集包括一个或多个麦克风。
例如，在视觉模式下操作期间，在一些实施例中，仅操作和/或激活主麦克风332。由于吊臂的旋转(第一/第二旋转构件326/328)可以使主麦克风332偏离用户的嘴，因此在可听模式期间，可以操作和/或激活辅助麦克风334的至少一部分。在一些实施例中，在可听模式期间，可以继续操作和/或激活主麦克风332。在其他实施例中，在可听模式期间，可以不操作主麦克风。
如上文所指出的并且通常，视觉模式是经由包括在可穿戴设备中的显示器设备来提供UI、内容、信息、数据等的基于视觉的呈现的可穿戴设备操作模式。此类基于视觉的呈现包括各种视觉元素、视觉指示和/或视觉内容，所述视觉元素、视觉指示和/或视觉内容使用户能够通过与一个或多个UI的基于视觉的呈现的交互来接收信息、控制可穿戴设备并访问可穿戴设备的能力。
与视觉模式形成对比，可听模式是经由包括在可穿戴设备中的一个或多个可听扬声器提供UI、内容、信息、数据等的基于音频的呈现的可穿戴设备操作模式。此类基于音频的呈现包括口头语言、可听元素、可听指示和/或可听内容，所述口头语言、可听元素、可听指示和/或可听内容使用户能够通过与UI的基于音频的呈现的交互来接收信息、控制可穿戴设备并访问可穿戴设备的能力。此外，与UI的基于视觉和/或基于音频的呈现的交互可以至少部分地是语音驱动的。即，用户可以在此控制可穿戴设备(在可听和/或视觉模式下)并且经由口头地说出由包括在可穿戴设备中的一个或多个其他电声换能器(例如，麦克风)检测到的声音激活命令来访问可穿戴设备的各种能力。
图4A提供了示意图，示出了根据本发明内容的一些实施方式的头戴式显示器设备的视觉模式的示例性实施例的操作。HMD设备可以类似于图3A至图3B的HMD设备320、图2的HMD设备220和/或图1的HMD设备120。散列的边界400示意性地划定了用户的LOS。类似于图3A的HMD设备320的显示模块330的定位，图4A的显示模块430(和显示器设备460)在用户的LOS内。第一旋转构件426支撑显示模块430。主麦克风436位于第一旋转构件426的末端附近。
在图4A中，经由显示器设备460向HMD设备的用户提供内容的视觉呈现，诸如但不限于维护喷气式客机发动机的视频呈现470。其他内容的视觉呈现可以与视频呈现470叠加、组合、混合、分层和/或合成。例如，诸如文本框473和方向箭头474等视觉元素叠加在显示在显示器设备460上的视频呈现470之上。叠加的视觉元素(即，文本框472和方向箭头474)中的每一个向用户提供通知的视觉指示，即通知用户拧紧哪些螺钉以及然后向哪个方向拧紧的通知。远程计算设备的用户(诸如但不限于图1的任何用户计算设备102-108)可以正在提供视频呈现470和/或任何远程图显，诸如但不限于视觉元素文本框472和方向箭头474。
图4B提供了示意图，示出了根据本发明内容的一些实施方式的头戴式显示器设备420的可听模式的示例性实施例的操作。HMD设备420可以类似于图3A至图3B的HMD设备320、图2的HMD设备220和/或图1的HMD设备120。散列的边界400示意性地划定了用户的LOS。类似于图3B的HMD设备320的显示器设备的定位，HMD设备420的显示器设备在用户的LOS外。
在图4B中，经由HMD设备420的可听扬声器向HMD设备420的用户提供被提供给与图4A相关联的用户的内容的至少一部分的可听呈现。更具体地，如经由注释气泡所示，可听声音提供了图4A所示的通知的至少一部分的可听指示。声音可以是计算机生成的声音，即，口头通知可以是计算机生成的语音。语音的生成可以是基于用于提供给用户的通知。
例如，HMD设备420可以接收用于向HMD设备420的用户提供内容(诸如但不限于通知)的指令或请求。通知可以包括视觉元素，诸如但不限于图4A的文本框472和/或方向箭头474。在各种实施例中，可以从远程计算设备(诸如图1的一个或用户计算设备102-108)的远程用户接收指令。当在可听模式下操作HMD设备420时，视觉元素的可听指示可以由HMD设备420或另一个计算设备确定。图4B演示了视觉元素的可听指示，从而经由可听话语向用户证明。
在各种实施例中，指令可以包括内容的特征。内容的一些特征可以与仅视觉条件相关联。例如，经由可听手段不容易提供的通知或至关重要的通知和/或警告可以与仅视觉条件相关联。与内容的特征相关联的一些仅视觉条件可以包括但不限于显示地理地图、教学视频、图形符号和/或图标、虚拟对象、另一个用户的头像等中的一个或多个。HMD设备420可以确定包括在所接收的指令中的特征。如果在可听模式下操作HMD设备并且所确定的特征与仅视觉条件相关联，则可以经由HMD设备的可听扬声器向用户提供可听指示(指示仅视觉条件)。
例如，计算机生成的语音可以为用户提供警告或请求以将显示器设备重新定位在用户的LOS内。即，由HMD设备自动生成的声音可以指示用户“请放下显示单元”或包括类似观点的其他某个消息。响应于检测到和/或确定用户已经将显示器设备重新定位在其LOS内，HMD设备可以自动地转换到视觉操作模式。然后可以经由显示器设备将内容在视觉上提供给用户。在一些实施例中，内容的特征可以与视觉可选条件相关联。因此，当在可听模式下操作HMD设备时，可以确定内容的可听指示，并且经由HMD设备的可听扬声器将其提供给用户。
图5A提供了示意图，示出了根据本发明内容的一些实施方式的头戴式显示器设备的视觉模式的示例性实施例的操作。类似于图4A，散列的边界400示意性地划定了用户的LOS。在图5A中，HMD设备的光子检测器可以生成光子检测器的FOV的图像数据。光子检测器的FOV可以类似于用户的LOS或FOV。如图5A所示，图像数据由显示器设备560显示。
除了经由显示器设备560显示之外，图像数据还可以提供给远程计算设备(诸如图1的用户计算设备102-108)的远程用户。远程计算设备可以提供通知或警告的视觉元素(例如，远程图显)。可以在HMD设备处从远程计算设备接收用于向用户提供通知的指令。当在视觉模式下操作时，通知的视觉元素和/或视觉指示可以通过将视觉指示叠加和/或合成在显示器设备560上显示的图像数据之上来提供给用户。例如，显示器设备560被示出为显示文本框572和指示箭头574。
图5B提供了示意图，示出了根据本发明内容的一些实施方式的头戴式显示器设备520的可听模式的示例性实施例的操作。类似于图4B的HMD设备420，HMD设备520被示出为提供了图5A的视觉元素(文本框572和指示箭头574)的可听指示。
图6A提供了示意图，示出了根据本发明内容的一些实施方式的头戴式显示器设备的视觉模式的示例性实施例的操作。更具体地，显示器设备660被示出为将用于多个用户选项的视觉指示叠加在视觉内容和/或图像数据之上。在图6A中，与“文档A”相关联的图标(第一图标672)和与“文档B”相关联的图标(第二图标674)是用户选项的视觉指示。即，用户可以选择“文档A”(第一用户选项)或“文档B”(第二用户选项)以用于显示在显示器设备660上。用户可以通过用语言表达他们的选择来从用户选项中进行选择。HMD设备可以经由包括在HMD设备中的一个或多个麦克风来接收用户选择的此类可听指示。
图6B提供了示意图，示出了根据本发明内容的一些实施方式的头戴式显示器设备620的可听模式的示例性实施例的操作。类似于图4B的HMD设备420和/或图5B的HMD设备520，HMD设备620被示出为提供了第一用户选项(文档A)的可听指示和第二用户选项(文档B)的可听指示。在至少一个实施例中，当在音频模式下操作时，用户可以经包括在由HMD设备620中的选择部件(诸如但不限于选择按钮622/624/626)来指示用户对用户选项的选择。一旦选择了文档A或文档B中的一个文档，就可以通过采用文本到语音服务将包括在所选文档中的文本、信息或数据的进一步选择的部分叙述给用户。
图7A提供了示意图，示出了根据本发明内容的一些实施方式的头戴式显示器设备的视觉模式的示例性实施例的操作。显示器设备760正在提供警告的视觉指示772。例如，可以经由显示器设备760从正在主动监测喷气式客机发动机显示器的温度的另一个设备接收指令。
图7B提供了示意图，示出了根据本发明内容的一些实施方式的头戴式显示器设备720的可听模式的示例性实施例的操作。类似于图4B的HMD设备420、图5B的HMD设备520和/或图6B的HMD设备620，HMD设备720可以被示出为提供了在图7A的显示器设备760中在视觉上指示的警告的可听指示。
在至少一些实施例中，可以由HMD设备720确定关键性或重要性。可以选择性地在可听上强调提供警告的可听指示的计算机生成的语音，以反映所确定的关键性和/或重要性。在至少一些实施例中，重复可听指示的音量和/或频率可以是基于关键性和/或重要性。
图8A提供了示意图，示出了根据本发明内容的一些实施方式的支持增强现实的头戴式显示器设备的视觉模式的示例性实施例的操作的示意图。即，本文讨论的各种HMD设备中的任何HMD设备可以是支持增强现实(AR)和/或混合现实(MR)的设备。这样，显示器设备至少部分地是光学透明的，并且用户可以通过显示器设备860查看其环境。此外，显示器设备860可以将视觉元素和/或视觉指示(诸如但不限于文本框872)叠加在用户环境的通过显示器设备860看到的部分之上。
HMD设备可以包括光子检测器842和光子发射器844(在图8A的视图中，所述光子检测器和所述光子发射器中的每一个均被挡住)。如至少结合图5A所讨论的，可以向远程计算设备提供由具有光子检测器的FOV的光子检测器842捕获和/或生成的图像数据。
图8B提供了示意图，示出了根据本发明内容的一些实施方式的支持增强现实的头戴式显示器设备的可听模式的示例性实施例的操作。可以采用光子发射器844在用户环境的表面上提供基于激光和/或基于LED的远程图显。例如，在可听模式下，当未经由显示器设备860提供通知、警告等时，可以采用光子发射器844将此类视觉元素投射到用户环境的表面上。例如，如图8B所示，采用光子发射器将图8A的文本框872的视觉指示882投射到用户环境的相应表面上。
另外，采用光子发射器844来投射(到用户环境的表面上)光子检测器842的FOV的边界的视觉指示(即边界框884)。边界框884的投射向用户提供了经由光子检测器842生成和/或捕获的图像数据的视觉指示。例如，对于HMD设备的用户来说，同时查看其正在传输给远程用户的图像数据会是有益的。当在视觉模式下时，用户可以经由显示器设备860查看此图像数据(如至少结合图5A所讨论的)。投射的边界框884使用户知晓了用于捕获图像数据以供此类远程用户查看的光子检测器的FOV。
在各种实施例中，远程用户可以发起改变或转换HMD设备的操作模式。即，响应于由远程用户发起的命令和/或指令，远程计算设备可以处理HMD设备的操作模式的改变和/或转换。在一个此类实施例中，图1的远程计算设备102-108中的一个远程计算设备的远程用户可以禁用HMD设备的视觉模式并且启用可听模式。例如，管理用户可以采用台式计算机104向HMD设备提供将HMD设备从视觉模式转换到可听模式(或反之亦然)的命令和/或指令。可以向HMD设备的用户提供可听通知和/或视觉通知中的至少一个，以向用户提供指示：HMD设备的操作模式正在经由远程用户和/或远程计算设备进行转换。
图8C提供了示意图，示出了根据本发明内容的一些实施方式的支持增强现实的头戴式显示器设备的可听模式的示例性实施例的另外的操作。在图8C中，除了边界框884之外，还采用光子发射器来投射光子检测器842的FOV的中心(例如，靶心886)的视觉指示。光子检测器的FOV的中心的视觉指示可以是几乎任何指示，诸如但不限于点、靶心、光标或其他某个指示符。光子检测器842的FOV的中心的视觉指示的投射向用户提供了经由光子检测器842生成和/或捕获的图像数据的进一步视觉指示。
描述了本发明内容的各个方面后，下文描述了用于操作可穿戴设备的示例性方法。鉴于图1至图8C，参考图9A至图9B，图9A至图11B提供了说明性过程流程，描绘了根据本发明内容的一些实施方式的用于操作可穿戴设备的各种方法。下文的方法(900、920、1000、1100和1120)和本文描述的其他方法的每个框包括可以使用硬件、固件和/或软件的任何组合执行的计算过程。例如，各种功能可以由执行存储在存储器中的指令的处理器实行。所述方法还可以具体化为存储在计算机存储介质上的计算机可用指令。所述方法可以由独立应用、服务或托管服务(独立的或与另一种托管服务组合的)或另一个产品的插件(仅举几例)提供。
图9A的过程900在框902处开始。在框902处，确定(或检测)可穿戴设备的显示器设备(或简称为显示器)的位置。所述位置可以相对于用户(即，可穿戴设备的穿戴者)的视线(LOS)。可穿戴设备可以是头戴式显示器(HMD)设备。在框904处，处理可穿戴设备的操作模式的改变(或转换)。处理改变可以是基于显示器设备相对于用户的LOS确定和/或检测到的位置。
图9B的过程920在框922处开始。在框922处，接收用于通过显示器设备提供的指令。指令可以由可穿戴设备接收。在框924处，确定视觉元素的可听指示。在框926处，由可穿戴设备的可听扬声器提供视觉元素的可听指示。
图10的过程1000在框1002处开始。在框1002处，检测(或确定)包括在可穿戴设备中的显示器设备的第一取向。在框1004处，基于检测到的显示器设备的取向在操作模型中操作可穿戴设备。在框1006处，检测显示器设备的取向的转换。在框1008处，基于显示器设备的取向的转换来转换(或处理)可穿戴设备的操作。例如，可以在框1008处转换可穿戴设备的操作模式。
图11A的过程1100在框1102处开始。在框1102处，确定可穿戴设备的框架构件与可穿戴设备的旋转构件之间的角度。在框1104处，基于确定的角度操作可穿戴设备。
图11B的过程1120在框1122处开始。在框1122处，确定包括在可穿戴设备中的相机的视场(FOV)。在框1124处，采用包括在可穿戴设备中的光子发射器来投射相机的DOV的视觉指示。例如，光子发射器可以在与FOV的边界相对应的用户环境表面上投射边界框或者在与FOV的中心相对应的表面上投射靶心。
描述了本发明的实施例后，下文将描述其中可以实施本发明的实施例的示例操作环境，以便为本发明的各个方面提供一般上下文。
图12提供了示例性可穿戴设备1200的框图，其中，可以采用本发明内容的一些实施方式。本文所讨论的可穿戴设备(分别包括但不限于图1的HMD设备120、图2的HMD设备220和图3A的HMD设备320)的各种实施例中的任何实施例可以包括与可穿戴设备1200类似的特征、部件、模块、操作等。在本示例中，可以启用可穿戴设备1200以得到具有声音和数据通信能力的无线双向通信设备。此类可穿戴设备使用适合的无线通信协议与无线声音或数据网络1250通信。使用模拟或数字无线通信通道进行无线声音通信。数据通信允许可穿戴设备1200经由互联网与其他计算机系统通信。能够并入上文描述的系统和方法的可穿戴设备的示例包括例如数据消息收发设备、双向寻呼机、具有数据消息收发能力的蜂窝电话、无线互联网家电或可以包括或可以不包括电话能力的数据通信设备。
展示的可穿戴设备1200是包括双向无线通信功能的示例性可穿戴设备。此类可穿戴设备并入了诸如无线发射器1210、无线接收器1212等通信子系统元件以及诸如一个或多个天线元件1214和1216等关联部件。数字信号处理器(DSP)1208执行处理以从接收的无线信号中提取数据并生成要发射的信号。通信子系统的特定设计取决于设备将要操作所利用的通信网络和相关联的无线通信协议。
可穿戴设备1200包括控制可穿戴设备1200的整体操作的微处理器1202。微处理器1202与上文描述的通信子系统元件交互并且还与其他设备子系统(诸如闪速存储器1206、随机存取存储器(RAM)1204、辅助输入/输出(I/O)设备1238、数据端口1228、显示器1234、键盘1236、扬声器1232、麦克风1230、短距离通信子系统1220、电源子系统1222和任何其他设备子系统)交互。
电池1224连接到电源子系统1222，以向可穿戴设备1200的电路提供电力。电源子系统1222包括用于向可穿戴设备1200提供电力的电力分配电路系统并且还包含用于管理对电池1224再充电的电池充电电路系统。电源子系统1222包括电池监测电路，所述电池监测电路可操作以向可穿戴设备1200的各个部件提供诸如剩余容量、温度、电压、电流消耗等一个或多个电池状态指示符的状态。
数据端口1228能够通过各种数据通信模式来支持可穿戴设备1200与其他设备之间的数据通信，诸如通过光学通信电路或电数据通信电路(诸如并入一些示例的数据端口1228中的USB连接)进行的高速数据传送。数据端口1228能够支持与例如外部计算机或其他设备的通信。
通过数据端口1228的数据通信使用户能够通过外部设备或通过软件应用来设置首选项并且通过可穿戴设备1200与外部数据源之间的直接连接而不是经由无线数据通信网络实现信息或软件交换来扩展设备的能力。除了数据通信之外，数据端口1228还向电源子系统1222提供电力，以便对电池1224进行充电或向可穿戴设备1200的电子电路(诸如微处理器1202)供电。
微处理器1202所使用的操作系统软件存储在闪速存储器1206中。另外的示例能够使用电池备用RAM或其他非易失性存储数据元件来存储操作系统、其他可执行程序或两者。操作系统软件、设备应用软件或其各部分能够暂时加载到诸如RAM 1204等易失性数据存储装置中。经由无线通信信号或通过有线通信接收的数据也能够存储到RAM 1204。
微处理器1202除了其操作系统功能之外还能够在可穿戴设备1200上执行软件应用。控制基本设备操作的预定的一组应用(至少包括数据和声音通信应用)能够在制造期间安装在可穿戴设备1200上。能够加载到设备上的应用的示例可以是个人信息管理器(PIM)应用，所述PIM应用具有组织和管理与设备用户有关的数据项(诸如但不限于电子邮件、日历事件、声音邮件、约定和任务项)的能力。
还可以通过例如无线网络1250、辅助I/O设备1238、数据端口1228、短距离通信子系统1220或这些接口的任何组合将另外的应用加载到可穿戴设备1200上。此类应用然后能够被用户安装在RAM 1204或非易失性存储库中，以由微处理器1202执行。
在数据通信模式下，诸如文本消息或网页下载等接收到的信号由包括无线接收器1212和无线发射器1210的通信子系统处理，并且通信数据被提供到微处理器1202，所述微处理器能够进一步处理接收到的数据以输出到显示器1234或者替代性地输出到辅助I/O设备1238或数据端口1228。结合显示器1234以及可能地辅助I/O设备1238，可穿戴设备1200的用户还可以使用键盘1236来构成数据项(诸如电子邮件消息)，所述键盘能够包括完整的字母数字键盘或电话型小键盘。此类构成的项然后能够通过通信子系统经由通信网络进行传输。
对于声音通信，除了通常将接收到的信号提供到扬声器1232并且通常由麦克风1230产生用于传输的信号以外，可穿戴设备1200的总体操作基本上类似。替代性声音或音频I/O子系统(诸如声音消息记录子系统)也可以在可穿戴设备1200上实施。尽管声音或音频信号输出通常主要通过扬声器1232完成，但是也可以使用显示器1234来提供例如对呼叫方的身份、声音呼叫持续时间或其他声音呼叫相关信息的指示。
根据可穿戴设备1200的条件或状态，可以禁用与子系统电路相关联的一个或多个特定功能，或者可以禁用整个子系统电路。例如，如果电池温度低，则可以禁用声音功能，但仍可以通过通信子系统启用数据通信(诸如电子邮件)。
短距离通信子系统1220提供可穿戴设备1200与不同系统或设备之间的数据通信，所述不同系统或设备不必一定是类似的设备。例如，短距离通信子系统1220包括红外设备以及相关联的电路和部件或基于射频的通信模块(诸如支持
Figure BDA0002401832040000181
通信的模块)，以提供与类似地启用的系统和设备的通信(包括上文描述的数据文件传送通信)。
介质读取器1260可连接到辅助I/O设备1238，以允许例如将计算机程序产品的计算机可读程序代码加载到可穿戴设备1200中以存储到闪速存储器1206中。介质读取器1260的一个示例是光学驱动器(诸如CD/DVD驱动器)，所述光学驱动器可以用于将数据存储到计算机可读介质或存储产品(诸如计算机可读存储介质1262)中并且从其中读取数据。适合的计算机可读存储介质的示例包括光学存储介质(诸如CD或DVD)、磁性介质或任何其他适合的数据存储设备。介质读取器1260替代性地能够通过数据端口1228连接到可穿戴设备，或者计算机可读程序代码替代性地能够通过无线网络1250提供到可穿戴设备1200。
图13提供了示例性计算设备1300的框图，其中，可以采用本发明内容的一些实施方式。计算设备1300仅仅是适合的计算环境的一个示例并且不旨在暗示对本发明的使用或功能范围的任何限制。计算设备1300也不应被解释为具有与所展示的部件中的任何一个部件或组合相关的任何依赖性或要求。本文所讨论的任何计算设备(诸如但不限于图1的用户计算设备102-108)或本文讨论的任何可穿戴设备可以包括与包括在计算设备1300中的操作、特征、部件、模块等类似的操作、特征、部件、模块等。
可以在计算机代码或机器可用指令的一般上下文中描述本发明，所述计算机代码或机器可用指令包括诸如程序模块等计算机可执行指令，所述计算机可执行指令由计算机或其他机器(诸如个人数据助理或其他手持式设备)执行。一般而言，包括例程、程序、对象、部件、数据结构等的程序模块是指执行特定任务或实施特定抽象数据类型的代码。可以以各种系统配置实践本发明，所述各种系统配置包括手持式设备、消费性电子产品、通用计算机、更专业计算设备等。也可以在分布式计算环境中实践本发明，在所述分布式计算环境中，任务是由通过通信网络链接的远程处理设备执行的。
参考图13，计算设备1300包括直接地或间接地联接以下设备的总线1310：存储器1312、一个或多个处理器1314、一个或多个呈现部件1316、输入/输出端口1318、输入/输出部件1320和说明性电源1322。总线1310表示其可以是一条或多条总线(诸如地址总线、数据总线或其组合)。虽然为了清楚起见利用线条示出了图13的各个框，但是实际上，对各部件的描画并不如此清楚，并且打比方说，线条更精确地将会是灰色且模糊的。例如，可以认为诸如显示器设备等呈现部件是I/O部件。同样，处理器具有存储器。可以认识到，这是本领域的特性，并且重申，图13的图只是展示可以结合本发明的一个或多个实施例使用的示例性计算设备。没有在诸如“工作站”、“服务器”、“膝上型计算机”、“手持设备”等类别之间作出区分，因为这些全部是在图13的范围内设想的并且称为“计算设备”。
计算设备1300通常包括各种计算机可读介质。计算机可读介质可以是计算设备1300可以访问的任何可用介质并且包括易失性和非易失性介质两者、可移动和不可移动介质两者。通过举例而不是限制，计算机可读介质可以包括计算机存储介质和通信介质。
计算机存储介质包括以用于存储诸如计算机可读指令、数据结构、程序模块或其他数据等信息的任何方法或技术实施的易失性和非易失性介质、可移动和不可移动介质。计算机存储介质包括但不限于RAM、ROM、EEPROM、闪速存储器或其他存储器技术、CD-ROM、数字通用盘(DVD)或其他光盘存储设备、磁带盒、磁带、磁盘存储设备或其他磁性存储设备或者可以被用来存储期望的信息并且可以由计算设备1300访问的任何其他介质。计算机存储介质本身不包括信号。
通信介质通常以诸如载波或其他传输机制等经调制的数据信号来具体化计算机可读指令、数据结构、程序模块或其他数据并且包括任何信息递送介质。术语“经调制的数据信号”是指其特性中的一个或多个特性以对信号中的信息进行编码这样的方式来设置或改变的信号。通过举例而不是限制，通信介质包括有线介质(诸如有线网络或直接有线连接)和无线介质(诸如声学介质、RF介质、红外介质和另一种无线介质)。上述任何内容的组合也应包括在计算机可读介质的范围内。
存储器1312包括易失性和/或非易失性存储器形式的计算机存储介质。存储器可以是可移动的、不可移动的或其组合。示例性硬件设备包括固态存储器、硬盘驱动器、光盘驱动器等。计算设备1300包括从诸如存储器1312或I/O部件1320等各种实体中读取数据的一个或多个处理器。(多个)呈现部件1316将数据指示呈现给用户或其他设备。示例性呈现部件包括显示器设备、扬声器、打印部件、振动部件等。
I/O端口1318允许计算设备1300逻辑地耦合到包括I/O部件1320的其他设备，其中的一些设备可以是内置的。说明性部件包括麦克风、操纵杆、游戏手柄、碟形卫星天线、扫描仪、打印机、无线设备等。
下面的段落中描述的实施例可以与具体描述的替代方案中的一个或多个具体描述的替代方案组合。具体地，要求保护的实施例可以包含替代性地对多于一个其他实施例的参考。要求保护的实施例可以规定对要求保护的主题的进一步限制。
因此，在本文描述的一个实施例中，包括一种用于操作包括显示器设备(或简称为显示器)的可穿戴设备的方法。所述方法包括自动确定所述显示器相对于穿戴所述可穿戴设备的用户的视线(LOS)的位置。当所述显示器的所述位置在所述用户的所述LOS内时，在第一操作模式(例如，视觉模式)下操作所述可穿戴设备。当所述显示器的所述位置在所述用户的所述LOS外和/或从所述用户的所述LOS中排除时，在第二操作模式(例如，可听模式)下操作所述可穿戴设备。在一些非限制性实施例中，所述可穿戴设备是头戴式显示器(HMD)设备。所述显示器可以被配置和安排成使得所述显示器相对于所述LOS的所述位置围绕所述用户的轴线旋转。例如，显示器的位置可以围绕用户的前额轴线旋转。
在一些实施例中，所述可穿戴设备包括第一构件和第二构件。确定所述显示器的所述位置可以包括确定第一构件与第二构件之间的相对旋转取向。所述第一构件和所述第二构件被配置和安排成使得所述第一构件与所述第二构件之间的所述旋转取向的变化使所述第一构件与所述显示器之间产生变化。确定所述显示器的所述位置可以是基于接收由包括在所述可穿戴设备中的传感器和/或开关(诸如但不限于霍尔效应传感器和/或开关)生成的信号。
在所述第一操作模式下操作所述可穿戴设备可以包括：采用所述显示器向所述用户提供通知的视觉指示。在所述第二操作模式下操作所述可穿戴设备可以包括：采用包括在所述可穿戴设备中的电声换能器(例如，音频扬声器)向所述用户提供所述通知的可听指示。例如，包括在通知中的信息可以作为信息(例如，口头语言)的计算机生成的(或人工生成的)发声来提供。
在一些实施例中，在所述第一操作模式下操作所述可穿戴设备包括操作包括在所述可穿戴设备中的第一电声换能器(例如，主麦克风)。在所述第二操作模式下操作所述可穿戴设备包括操作包括在所述可穿戴设备中的一个或多个其他电声换能器(例如，辅助麦克风和/或另外的麦克风)。
在各种实施例中，所述方法进一步包括确定要提供给所述用户的内容的特征。当所述内容的所述特征与仅视觉条件相关联时，采用包括在所述可穿戴设备中的音频扬声器向所述用户提供与仅视觉条件相关联的关于所述内容的可听指示。例如，可穿戴设备可以提供将显示器重新定位在其LOS内的请求的发声，使得用户可以查看仅视觉内容，因为所述内容是经由显示器提供的。当所述内容的所述特征与视觉可选条件相关联时，采用所述音频扬声器向所述用户提供所述内容的可听指示。
在至少一个实施例中，在所述第一操作模式下操作所述可穿戴设备包括：采用所述显示器向所述用户提供第一用户选项的视觉指示和第二用户选项的视觉指示。例如，显示器可以示出两个单独的图标，每个图标对应于用户可以选择经由显示器查看的单独文档。在所述第二操作模式下操作所述可穿戴设备包括：采用包括在所述可穿戴设备中的音频扬声器向所述用户提供所述第一用户选项的可听指示和所述第二用户选项的可听指示。例如，计算机生成的声音可以经由至少对文档中的每一个文档的标识符进行发声来询问用户选择所述两个文档中的哪个文档。在至少一个实施例中，在选择(经由用户的声音命令)时，计算机生成的声音可以将所选文档的内容的至少一部分读取给用户。
在一些实施例中，在所述第一操作模式下操作所述可穿戴设备进一步包括：采用所述可穿戴设备的麦克风接收所述第一用户选项或所述第二用户选项中的一个的用户选择(例如，由用户的声音命令指示的选择)的可听指示。在所述第二操作模式下操作所述可穿戴设备进一步包括：采用包括在所述可穿戴设备中的选择部件(例如，物理按钮、开关等)接收所述第一用户选项或所述第二用户选项中的一个的所述用户选择(例如，由物理手势指示的选择，诸如选择按钮)的非可听指示。
所述可穿戴设备可以进一步包括相机和光子发射器。在所述第二操作模式下操作所述可穿戴设备包括：采用所述光子发射器来投射所述相机的视场(FOV)的视觉指示。例如，光子发射器可以包括激光器或准直的发光二极管(LED)，以投射光子束从而在相机的FOV的边界处的表面上跟踪FOV的边界。或者在其他实施例中，光子发射器可以在位于FOV的中心的物理表面上投射点、靶心、光标或其他某个指示符。
在各种实施例中，所述方法进一步包括接收用于提供视觉元素的指令。可以确定所述视觉元素的可听指示。所述方法进一步采用所述可穿戴设备的音频扬声器来提供所述视觉元素的所述可听指示。
其他实施例包括一种非暂态计算机存储介质，其存储有指令。当由处理器执行时，使所述处理器能够执行用于操作可穿戴设备的方法或动作，所述可穿戴设备包括显示器和框架结构，诸如框架构件。所述动作包括检测显示器的第一取向。所述显示器的所述第一取向包括所述显示器相对于框架结构的第一位置。响应于检测到所述显示器的所述第一取向，在第一操作模式下操作所述可穿戴设备。所述动作进一步包括检测从所述显示器的所述第一取向到所述显示器的第二取向的转换。所述显示器的所述第二取向包括所述显示器相对于所述框架结构的第二位置。所述第二位置与所述第一位置分开或不同。响应于检测到从所述显示器的所述第一取向到所述显示器的所述第二取向的所述转换，操作所述可穿戴设备从所述第一操作模式转换到第二操作模式。
在一些实施例中，所述显示器的所述第一位置为使得所述显示器在穿戴所述可穿戴设备的用户的视线(LOS)内，并且所述显示器的所述第二位置为使得所述显示器在所述用户的所述LOS外或从所述用户的所述LOS中排除。在此类实施例中，所述第一操作模式可以是视觉模式，并且所述第二操作模式是可听模式。在其他实施例中，所述显示器的所述第一位置为使得所述显示器从所述用户的所述LOS中排除，并且所述显示器的所述第二位置为使得所述显示器在所述用户的所述LOS内。在这些实施例中，所述第一操作模式可以是可听模式，并且所述第二操作模式是视觉模式。在各种实施例中，检测从所述显示器的所述第一取向到所述显示器的所述第二取向的所述转换包括：检测所述可穿戴设备的构件相对于所述可穿戴设备的所述框架结构的旋转。
在至少一个实施例中，在所述第一操作模式下操作所述可穿戴设备包括通过所述显示器向所述用户提供内容的视觉指示。在所述第二操作模式下操作所述可穿戴设备包括经由包括在所述可穿戴设备中的扬声器向所述用户提供所述内容的可听指示。在所述第一操作模式下操作所述可穿戴设备到在所述第二操作模式下操作所述可穿戴设备的转换可以包括激活包括在所述可穿戴设备中的至少一个麦克风。在所述第一操作模式下操作所述可穿戴设备期间，可以去激活所述麦克风。例如，当操作模式转换到可听模式时，可以打开辅助麦克风。在可穿戴设备的视觉模式下，可以关闭辅助麦克风。在视觉模式期间，可以激活可穿戴设备的主麦克风。在一些实施例中，在可听模式下操作期间，也可以激活主麦克风。在其他实施例中，在从视觉模式转换到可听模式期间，去激活主麦克风。
又一个实施例涉及一种可穿戴设备，诸如但不限于头戴式显示器(HMD)设备。所述可穿戴设备包括框架构件、旋转构件、处理器和至少一个非暂态计算机存储介质。所述框架构件被配置和安排成用于由用户穿戴。所述旋转构件可旋转地联接到所述框架构件并且被配置和安排成用于相对于所述框架构件旋转。所述计算机存储介质存储有计算机可用指令，所述计算机可用指令在由所述处理器执行时使所述处理器执行用于操作所述可穿戴设备的方法或动作。所述动作包括确定所述框架构件与所述旋转构件之间的相对角度。当所述相对角度小于预定阈值角度时，在第一操作模式下操作所述可穿戴设备。当所述相对角度大于所述预定阈值角度时，在第二操作模式下操作所述可穿戴设备。在一些实施例中，第一操作模式是视觉模式，并且第二操作模式是可听模式。在其他实施例中，第一操作模式是可听模式，并且第二操作模式是视觉模式。
在各种实施例中，可穿戴设备进一步包括定位感测传感器和/或开关，诸如霍尔效应开关。在此类实施例中，确定所述框架构件与所述旋转构件之间的所述相对角度可以是基于由所述霍尔效应开关生成的信号。在至少一个实施例中，所述可穿戴设备包括光子检测器(例如，相机)和光子发射器(例如，激光器或准直的发光二极管)。当在所述可听模式下操作所述可穿戴设备时，所述动作可以进一步包括确定所述光子检测器的视场(FOV)。可以采用所述光子发射器来投射所述光子检测器的所述FOV的边界和/或中心的视觉指示符。
可以在不脱离本发明的范围的情况下对本发明展示的实施例作出许多变化。此类修改均落入本发明的范围内。已经关于特定实施例描述了本文呈现的实施例，这些特定实施例在所有方面都旨在是说明性的而非限制性的。替代实施例和修改对于本领域普通技术人员将是显而易见的，而不脱离本发明的范围。
从前述内容可以看出，本发明非常适合于达到上文阐述的所有目的和目标，并且具有明显且结构中固有的其他优点。将理解的是，某些特征和子组合具有效用，并且可以在不参考其他特征和子组合的情况下被采用。这是本发明所预期的并且在本发明的范围内。
在前面的详细描述中参考了构成本发明的一部分的附图，其中贯穿全文相同的数字指示相同的部件，并且在附图中通过图示示出了可以被实践的实施例。应当理解，在不脱离本发明内容的范围的情况下，可以利用其他实施例并且可以做出结构的或逻辑的改变。因此，前面的详细描述不应以限制的含义来理解，并且实施例的范围由所附权利要求及其等效物来限定。
已经使用本领域技术人员通常采用的术语来描述说明性实施例的各方面以向本领域其他技术人员传达他们的工作实质。然而，对于本领域的技术人员显而易见的是，仅利用所描述的方面的一部分也可以实践可替代的实施例。出于解释的目的，阐述了具体的数字、材料和配置以提供对说明性实施例的透彻理解。然而，对于本领域的技术人员显而易见的是，可以在没有这些具体细节的情况下实践可替代的实施例。在其他实例中，已经省略或简化了众所周知的特征，以便不混淆说明性实施例。
进而，以对理解说明性实施例最有帮助的方式将各操作描述为多个分立的操作；然而，描述的顺序不应解释为意味着这些操作必须依赖于顺序。具体地，这些操作不需要按照呈现的顺序执行。进一步地，将操作描述为单独的操作不应解释为要求操作必须独立地和/或由单独的实体执行。同样地，将实体和/或模块描述为单独的模块不应解释为要求模块是分开的和/或执行单独的操作。在各实施例中，所展示的和/或描述的操作、实体、数据和/或模块可以被合并、分解成进一步的子部件和/或被省略。
重复使用短语“在一个实施例中”或“在实施例中”。该短语通常不指代相同的实施例；然而，该短语可以指代相同的实施例。除非上下文另有指示，否则术语“包括(comprising)”、“具有(having)”和“包括(including)”是同义词。短语“A/B”表示“A或B”。短语“A和/或B”表示“(A)、(B)或(A和B)”。短语“A、B和C中的至少一个”是指“(A)、(B)、(C)、(A和B)、(A和C)、(B和C)或(A、B和C)”。

Claims (22)

1.一种用于操作包括显示器的可穿戴设备的方法，所述方法包括：自动确定所述显示器相对于正在穿戴所述可穿戴设备的用户的视线(LOS)的位置；以及基于所述显示器的所确定位置处理所述可穿戴设备的操作模式的变化，所述操作模式包括当确定所述显示器的所述位置在所述用户的所述LOS内时的第一操作模式以及当确定所述显示器的所述位置在所述用户的所述LOS外时的第二操作模式。
2.如权利要求1所述的方法，其中，所述可穿戴设备是头戴式显示器(HMD)设备并且所述显示器被配置和布置成使得所述显示器的所述位置围绕相对于所述用户的轴线旋转。
3.如权利要求1所述的方法，其中，自动确定所述显示器的所述位置包括确定所述可穿戴设备的第一构件与所述可穿戴设备的第二构件之间的相对旋转取向，其中，所述第一构件与所述第二构件之间的所述旋转取向的变化使所述第一构件与所述显示器之间产生变化。
4.如权利要求1所述的方法，其中，自动确定所述显示器的所述位置是基于接收由包括在所述可穿戴设备中的传感器生成的信号。
5.如权利要求1所述的方法，其中，在所述第一操作模式下操作所述可穿戴设备包括经由所述显示器向所述用户提供通知的视觉指示，并且在所述第二操作模式下操作所述可穿戴设备包括经由包括在所述可穿戴设备中的电声换能器向所述用户提供所述通知的可听指示。
6.如权利要求1所述的方法，其中，在所述第一操作模式下操作所述可穿戴设备包括操作包括在所述可穿戴设备中的第一电声换能器，并且在所述第二操作模式下操作所述可穿戴设备包括操作包括在所述可穿戴设备中的第二电声换能器。
7.如权利要求1所述的方法，其中，在所述第二操作模式下操作所述可穿戴设备包括：确定要提供给所述用户的内容的特征；当所述内容的所述特征与仅视觉条件相关联时，经由包括在所述可穿戴设备中的电声换能器向所述用户提供所述仅视觉条件的可听指示；以及当所述内容的所述特征与视觉可选条件相关联时，经由所述电声换能器向所述用户提供所述内容的可听指示。
8.如权利要求1所述的方法，其中，在所述第一操作模式下操作所述可穿戴设备包括经由所述显示器向所述用户提供第一用户选项的视觉指示和第二用户选项的视觉指示，并且在所述第二操作模式下操作所述可穿戴设备包括经由包括在所述可穿戴设备中的电声换能器向所述用户提供所述第一用户选项的可听指示和所述第二用户选项的可听指示。
9.如权利要求8所述的方法，其中，在所述第一操作模式下操作所述可穿戴设备进一步包括经由包括在所述可穿戴设备中的另一个电声换能器接收所述第一用户选项或所述第二用户选项中的一个的用户选择的可听指示，并且在所述第二操作模式下操作所述可穿戴设备进一步包括经由包括在所述可穿戴设备中的选择部件接收所述第一用户选项或所述第二用户选项中的一个的所述用户选择的非可听指示。
10.如权利要求1所述的方法，其中，所述可穿戴设备进一步包括相机和光子发射器，并且在所述第二操作模式下操作所述可穿戴设备包括采用所述光子发射器来投射所述相机的视场(FOV)的视觉指示。
11.如权利要求1所述的方法，其中，在所述第二操作模式下操作所述可穿戴设备包括：接收用于经由所述显示器提供视觉元素的指令；基于所述视觉元素确定所述视觉元素的可听指示；以及经由包括在所述可穿戴设备中的电声换能器提供所述视觉元素的确定的可听指示。
12.至少一种计算机存储介质，其上具有指令，所述指令在由至少一个处理器执行时使所述处理器：检测包括在可穿戴设备中的显示器的第一取向，其中，所述显示器的所述第一取向包括所述显示器相对于所述可穿戴设备的框架结构的第一位置；响应于检测到所述显示器的所述第一取向，在第一操作模式下操作所述可穿戴设备；检测从所述显示器的所述第一取向到所述显示器的第二取向的转换，其中，所述显示器的所述第二取向包括所述显示器相对于所述可穿戴设备的所述框架结构的第二位置；以及响应于检测到从所述显示器的所述第一取向到所述显示器的所述第二取向的所述转换，处理所述可穿戴设备的操作模式从所述第一操作模式到第二操作模式的转换。
13.如权利要求12所述的计算机存储介质，其中，所述显示器的所述第一取向为使得所述显示器在穿戴所述可穿戴设备的用户的视线(LOS)内，所述第一操作模式是所述可穿戴设备的视觉模式，所述显示器的所述第二取向为使得所述显示器从所述用户的LOS中排除，并且所述第二操作模式是所述可穿戴设备的可听模式。
14.如权利要求12所述的计算机存储介质，其中，检测从所述显示器的所述第一取向到所述显示器的所述第二取向的所述转换包括检测所述可穿戴设备的构件相对于所述可穿戴设备的所述框架结构的旋转。
15.如权利要求12所述的计算机存储介质，其中，在所述第一操作模式下操作所述可穿戴设备包括通过所述显示器向所述用户提供内容的视觉指示，并且在所述第二操作模式下操作所述可穿戴设备包括通过包括在所述可穿戴设备中的扬声器向所述用户提供所述内容的可听指示。
16.如权利要求12所述的计算机存储介质，其中，在所述第一操作模式下操作所述可穿戴设备到在所述第二操作模式下操作所述可穿戴设备的转换包括激活包括在所述可穿戴设备中的至少一个麦克风，在所述第一操作模式下操作所述可穿戴设备期间，所述至少一个麦克风被去激活。
17.如权利要求12所述的计算机存储介质，其中，所述可穿戴设备进一步包括相机和光子发射器，并且在所述第二操作模式下操作所述可穿戴设备包括采用所述光子发射器来投射所述相机的视场(FOV)的边界的视觉指示。
18.如权利要求12所述的计算机存储介质，当被执行时，所述指令进一步使所述处理器：响应于从远程计算设备接收到用于转换所述可穿戴设备的所述操作模式的指令，处理所述可穿戴设备从所述第二操作模式到所述第一操作模式的另一个转换。
19.一种可穿戴设备，包括：框架构件，所述框架构件被配置和布置成用于由用户穿戴；旋转构件，其中，所述旋转构件联接到所述框架构件并且被配置和布置成用于相对于所述框架构件旋转；至少一个处理器；以及至少一个计算机存储介质，所述至少一个计算机存储介质存储有计算机可用指令，所述计算机可用指令在由所述至少一个处理器执行时使所述至少一个处理器执行包括以下各项的动作：确定所述框架构件与所述旋转构件之间的相对角度；当所述相对角度小于预定阈值角度时，在视觉模式下操作所述可穿戴设备；以及当所述相对角度大于所述预定阈值角度时，在可听模式下操作所述可穿戴设备。
20.如权利要求19所述的可穿戴设备，进一步包括开关，其中，确定所述框架构件与所述旋转构件之间的所述相对角度是基于由所述开关生成的信号。
21.如权利要求19所述的可穿戴设备，进一步包括光子检测器和光子发射器，其中，当在所述可听模式下操作所述可穿戴设备时，所述动作进一步包括：确定所述光子检测器的视场(FOV)；以及采用所述光子发射器来投射所述光子检测器的所述FOV的中心的视觉指示。
22.如权利要求19所述的可穿戴设备，其中，响应于从远程计算设备接收指令，所述动作进一步包括：提供指示从所述视觉模式到所述可听模式的转换的通知；以及在所述可听模式下操作所述可穿戴设备。
CN201880057818.3A 2017-09-06 2018-09-04 头戴式显示器设备的可听操作模式和视觉操作模式 Pending CN111194424A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US15/697,281 US10338766B2 (en) 2017-09-06 2017-09-06 Audible and visual operational modes for a head-mounted display device
US15/697,281 2017-09-06
PCT/US2018/049362 WO2019050843A1 (en) 2017-09-06 2018-09-04 AUDIBLE AND VISUAL OPERATING MODES FOR A VISIOCASQUE

Publications (1)

Publication Number Publication Date
CN111194424A true CN111194424A (zh) 2020-05-22

Family

ID=65517347

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201880057818.3A Pending CN111194424A (zh) 2017-09-06 2018-09-04 头戴式显示器设备的可听操作模式和视觉操作模式

Country Status (4)

Country Link
US (3) US10338766B2 (zh)
EP (1) EP3679418A4 (zh)
CN (1) CN111194424A (zh)
WO (1) WO2019050843A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20220308155A1 (en) * 2021-03-23 2022-09-29 Nokia Technologies Oy Non-line-of-sight ranging

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10338766B2 (en) * 2017-09-06 2019-07-02 Realwear, Incorporated Audible and visual operational modes for a head-mounted display device
US10764670B2 (en) * 2018-05-09 2020-09-01 Apple Inc. System having device-mount audio mode
JP2020052445A (ja) * 2018-09-21 2020-04-02 シャープ株式会社 発話装置、サーバ、制御システム、制御方法、およびプログラム
US11677103B2 (en) * 2019-06-21 2023-06-13 Realwear, Inc. Auxilary battery system for a head-mounted display
US11328692B2 (en) 2019-08-06 2022-05-10 Alexandra Cartier Head-mounted situational awareness system and method of operation
US11232601B1 (en) * 2019-12-30 2022-01-25 Snap Inc. Audio-triggered augmented reality eyewear device
US11848015B2 (en) * 2020-10-01 2023-12-19 Realwear, Inc. Voice command scrubbing
US11323664B1 (en) * 2021-01-08 2022-05-03 I Can See You Inc., The New Technology Wearable electronic device for providing audio output and capturing visual media

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009033308A (ja) * 2007-07-25 2009-02-12 Nikon Corp ヘッドマウントディスプレイ
CN105144029A (zh) * 2013-02-15 2015-12-09 微软技术许可有限责任公司 交互式徽章
US20160238842A1 (en) * 2015-02-13 2016-08-18 Seiko Epson Corporation Head-mounted display device, control method for the same, and computer program
US20160291327A1 (en) * 2013-10-08 2016-10-06 Lg Electronics Inc. Glass-type image display device and method for controlling same
CN106199963A (zh) * 2014-09-01 2016-12-07 精工爱普生株式会社 显示装置及其控制方法以及计算机程序
US20170140618A1 (en) * 2015-11-13 2017-05-18 International Business Machines Corporation Wearable computing device

Family Cites Families (40)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7035091B2 (en) 2002-02-28 2006-04-25 Accenture Global Services Gmbh Wearable computer system and modes of operating the system
US8108092B2 (en) * 2006-07-14 2012-01-31 Irobot Corporation Autonomous behaviors for a remote vehicle
US8640040B2 (en) * 2008-03-28 2014-01-28 Sprint Communications Company L.P. Persistent event-management access in a mobile communications device
US9569001B2 (en) 2009-02-03 2017-02-14 Massachusetts Institute Of Technology Wearable gestural interface
JP4824793B2 (ja) 2009-07-06 2011-11-30 東芝テック株式会社 ウエアラブル端末装置及びプログラム
JP5530234B2 (ja) * 2010-03-29 2014-06-25 オリンパス株式会社 操作入力装置およびマニピュレータシステム
US8908043B2 (en) 2010-04-12 2014-12-09 Symbol Technologies, Inc. System and method for location-based operation of a head mounted display
CN104793338B (zh) * 2010-04-27 2018-08-10 高平科技有限公司 可佩戴的电子显示器
US8438226B2 (en) 2010-06-22 2013-05-07 International Business Machines Corporation Dynamic adjustment of user-received communications for a real-time multimedia communications event
US20130147686A1 (en) 2011-12-12 2013-06-13 John Clavin Connecting Head Mounted Displays To External Displays And Other Communication Networks
US8976085B2 (en) 2012-01-19 2015-03-10 Google Inc. Wearable device with input and output structures
US9213419B1 (en) * 2012-11-13 2015-12-15 Amazon Technologies, Inc. Orientation inclusive interface navigation
JP6094190B2 (ja) * 2012-12-10 2017-03-15 ソニー株式会社 情報処理装置および記録媒体
US8976202B2 (en) * 2013-01-28 2015-03-10 Dave CAISSY Method for controlling the display of a portable computing device
US10409073B2 (en) * 2013-05-17 2019-09-10 Tilt Five, Inc Virtual reality attachment for a head mounted display
JP5845211B2 (ja) * 2013-06-24 2016-01-20 キヤノン株式会社 画像処理装置、画像処理方法
US20140375540A1 (en) * 2013-06-24 2014-12-25 Nathan Ackerman System for optimal eye fit of headset display device
US9575721B2 (en) * 2013-07-25 2017-02-21 Lg Electronics Inc. Head mounted display and method of controlling therefor
KR102086510B1 (ko) * 2013-09-26 2020-04-14 엘지전자 주식회사 헤드 마운트 디스플레이 및 제어 방법
KR102088020B1 (ko) * 2013-09-26 2020-03-11 엘지전자 주식회사 헤드 마운트 디스플레이 및 제어 방법
US20150097759A1 (en) 2013-10-07 2015-04-09 Allan Thomas Evans Wearable apparatus for accessing media content in multiple operating modes and method of use thereof
US9261700B2 (en) * 2013-11-20 2016-02-16 Google Inc. Systems and methods for performing multi-touch operations on a head-mountable device
US10338776B2 (en) * 2013-12-06 2019-07-02 Telefonaktiebolaget Lm Ericsson (Publ) Optical head mounted display, television portal module and methods for controlling graphical user interface
US9966044B2 (en) * 2014-01-28 2018-05-08 Dave CAISSY Method for controlling the display of a portable computing device
US9664902B1 (en) * 2014-02-05 2017-05-30 Google Inc. On-head detection for wearable computing device
US9372550B2 (en) * 2014-02-10 2016-06-21 Airtime Media, Inc. Automatic audio-video switching
EP3108287A4 (en) * 2014-02-18 2017-11-08 Merge Labs, Inc. Head mounted display goggles for use with mobile computing devices
KR102182161B1 (ko) * 2014-02-20 2020-11-24 엘지전자 주식회사 Hmd 및 그 제어 방법
US20160210780A1 (en) * 2015-01-20 2016-07-21 Jonathan Paulovich Applying real world scale to virtual content
US10013808B2 (en) * 2015-02-03 2018-07-03 Globus Medical, Inc. Surgeon head-mounted display apparatuses
US10082529B2 (en) 2015-02-16 2018-09-25 International Business Machines Corporation Estimating solar array power generation
US9690374B2 (en) * 2015-04-27 2017-06-27 Google Inc. Virtual/augmented reality transition system and method
US20160378176A1 (en) * 2015-06-24 2016-12-29 Mediatek Inc. Hand And Body Tracking With Mobile Device-Based Virtual Reality Head-Mounted Display
US9946073B2 (en) * 2015-12-31 2018-04-17 Oculus Vr, Llc Methods and systems for eliminating strobing by switching display modes in response to detecting saccades
JP2017187667A (ja) * 2016-04-07 2017-10-12 セイコーエプソン株式会社 頭部装着型表示装置およびコンピュータープログラム
US20170364144A1 (en) * 2016-06-17 2017-12-21 Oculus Vr, Llc Systems and Methods for Displaying Virtual-Reality Images on a Convertible Wired/Mobile Head-Mounted Display
JP6852355B2 (ja) * 2016-11-09 2021-03-31 セイコーエプソン株式会社 プログラム、頭部装着型表示装置
KR20180099182A (ko) * 2017-02-28 2018-09-05 엘지전자 주식회사 헤드 마운티드 디스플레이를 포함하는 시스템 및 그 제어 방법
CN107479804A (zh) * 2017-08-16 2017-12-15 歌尔科技有限公司 虚拟现实设备及其内容调整方法
US10338766B2 (en) * 2017-09-06 2019-07-02 Realwear, Incorporated Audible and visual operational modes for a head-mounted display device

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009033308A (ja) * 2007-07-25 2009-02-12 Nikon Corp ヘッドマウントディスプレイ
CN105144029A (zh) * 2013-02-15 2015-12-09 微软技术许可有限责任公司 交互式徽章
US20160291327A1 (en) * 2013-10-08 2016-10-06 Lg Electronics Inc. Glass-type image display device and method for controlling same
CN106199963A (zh) * 2014-09-01 2016-12-07 精工爱普生株式会社 显示装置及其控制方法以及计算机程序
US20160238842A1 (en) * 2015-02-13 2016-08-18 Seiko Epson Corporation Head-mounted display device, control method for the same, and computer program
US20170140618A1 (en) * 2015-11-13 2017-05-18 International Business Machines Corporation Wearable computing device

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20220308155A1 (en) * 2021-03-23 2022-09-29 Nokia Technologies Oy Non-line-of-sight ranging
US11841453B2 (en) * 2021-03-23 2023-12-12 Nokia Technologies Oy Non-line-of-sight ranging

Also Published As

Publication number Publication date
US20190073090A1 (en) 2019-03-07
US10338766B2 (en) 2019-07-02
US20200225808A1 (en) 2020-07-16
WO2019050843A1 (en) 2019-03-14
US11061527B2 (en) 2021-07-13
EP3679418A1 (en) 2020-07-15
US20190286283A1 (en) 2019-09-19
US10606439B2 (en) 2020-03-31
EP3679418A4 (en) 2021-05-26

Similar Documents

Publication Publication Date Title
US11061527B2 (en) Audible and visual operational modes for a head-mounted display device
EP3548988B1 (en) Switching of active objects in an augmented and/or virtual reality environment
EP3400502B1 (en) Combining gyromouse input and touch input for navigation in an augmented and/or virtual reality environment
US10715746B2 (en) Enhanced telestrator for wearable devices
CN107743604B (zh) 增强和/或虚拟现实环境中的触摸屏悬停检测
US20170372499A1 (en) Generating visual cues related to virtual objects in an augmented and/or virtual reality environment
CN110291576B (zh) 基于触摸的操作系统的免提导航
KR102390425B1 (ko) 증강 및/또는 가상 현실 환경에서의 제스처들로 가상 표기면들 생성을 위한 시스템 및 방법
US20230120601A1 (en) Multi-mode guard for voice commands
US10936872B2 (en) Hands-free contextually aware object interaction for wearable display
KR20190141162A (ko) 컨테이너 기반 가상 카메라 회전
WO2017192177A1 (en) Combining gaze input and touch surface input for user interfaces in augmented and/or virtual reality
US20150193098A1 (en) Yes or No User-Interface
EP3321777A1 (en) Dragging virtual elements of an augmented and/or virtual reality environment
US11947752B2 (en) Customizing user interfaces of binary applications
US10635259B2 (en) Location globe in virtual reality
EP3149572B1 (en) Multi-dimensional audio interface system
WO2019005366A1 (en) ANNOTATION USING A MIXED INTERACTIVITY SYSTEM WITH MULTIPLE DEVICES
EP3238170B1 (en) Digital device and method of controlling therefor
US20220050511A1 (en) Computing device with rotatable keyboard
US20240019928A1 (en) Gaze and Head Pose Interaction
US20230403372A1 (en) Remote annoataion of live video feed
US20230333643A1 (en) Eye Tracking Based Selection of a User Interface (UI) Element Based on Targeting Criteria
JP2021527262A (ja) バイナリアプリケーションのユーザインターフェースのカスタマイズ

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20200522