CN117991885A - 显示系统 - Google Patents

显示系统 Download PDF

Info

Publication number
CN117991885A
CN117991885A CN202410195775.2A CN202410195775A CN117991885A CN 117991885 A CN117991885 A CN 117991885A CN 202410195775 A CN202410195775 A CN 202410195775A CN 117991885 A CN117991885 A CN 117991885A
Authority
CN
China
Prior art keywords
wake
criteria
power state
user
head mounted
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202410195775.2A
Other languages
English (en)
Inventor
F·R·罗斯科普夫
D·A·卡利诺夫斯基
J·H·李
A·巴-兹夫
G·H·马利肯
P·梅亚德
N·D·帕克希尔
R·L·张
A·Y·张
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Apple Inc
Original Assignee
Apple Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Apple Inc filed Critical Apple Inc
Publication of CN117991885A publication Critical patent/CN117991885A/zh
Pending legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/017Head mounted
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G3/00Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
    • G09G3/20Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/26Power supply means, e.g. regulation thereof
    • G06F1/32Means for saving power
    • G06F1/3203Power management, i.e. event-based initiation of a power-saving mode
    • G06F1/3234Power saving characterised by the action undertaken
    • G06F1/325Power saving in peripheral device
    • G06F1/3265Power saving in display device
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00Arrangements for program control, e.g. control units
    • G06F9/06Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/44Arrangements for executing specific programs
    • G06F9/4401Bootstrapping
    • G06F9/4411Configuring for operating with peripheral devices; Loading of device drivers
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00Arrangements for program control, e.g. control units
    • G06F9/06Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/44Arrangements for executing specific programs
    • G06F9/4401Bootstrapping
    • G06F9/4418Suspend and resume; Hibernate and awake
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0101Head-up displays characterised by optical features
    • G02B2027/0141Head-up displays characterised by optical features characterised by the informative content of the display
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2330/00Aspects of power supply; Aspects of display protection and defect management
    • G09G2330/02Details of power systems and of start or stop of display operation
    • G09G2330/021Power management, e.g. power saving
    • G09G2330/022Power management, e.g. power saving in absence of operation, e.g. no data being entered during a predetermined time
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2330/00Aspects of power supply; Aspects of display protection and defect management
    • G09G2330/02Details of power systems and of start or stop of display operation
    • G09G2330/021Power management, e.g. power saving
    • G09G2330/023Power management, e.g. power saving using energy recovery or conservation

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Hardware Design (AREA)
  • Computer Security & Cryptography (AREA)
  • Optics & Photonics (AREA)
  • Controls And Circuits For Display Device (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

本发明题为“显示系统”。本发明提供了一种显示系统,所述显示系统包括头戴式显示单元和唤醒控制系统。所述头戴式显示单元向用户提供虚拟内容并且可在低功率状态和高功率状态下操作,所述高功率状态比所述低功率状态消耗更多的功率以向所述用户提供所述虚拟内容。所述唤醒控制系统确定何时在所述高功率状态下操作。所述唤醒控制系统可评估具有低功率的第一唤醒标准,在满足所述第一唤醒标准时评估具有比所述第一唤醒标准更高的功率的第二唤醒标准,并且在满足所述第二唤醒标准时使所述头戴式显示单元在所述高功率状态下操作。

Description

显示系统
相关申请的交叉引用
本申请是中国国家申请号为201910651466.0、申请日为2019年7月18日、发明名称为“显示系统”的发明专利申请的分案申请。
本申请要求2018年8月31日提交的美国临时专利申请No.62/725,529的优先权和权益,该申请的全部公开内容以引用方式并入本文。
技术领域
本公开涉及显示系统,具体地讲,涉及用于操作可头戴的显示系统的控制系统和方法。
背景技术
显示系统可在向用户提供虚拟内容的同时允许用户感知真实环境。例如,用户佩戴在其头上的头戴式显示单元(HMD)允许用户看到和听到他们所在的真实环境,并且还在视觉上和/或听觉上向用户提供内容。
可能希望头戴式显示单元例如在向用户提供虚拟内容时以消耗低功率和高功率的操作模式(例如,分别为低功率或睡眠状态以及高功率或唤醒状态)操作并且在这两个操作模式之间转换。
发明内容
本文公开了显示系统和控制系统及其控制方法的具体实施。
一种显示系统包括头戴式显示器和唤醒控制系统。头戴式显示器向用户提供虚拟内容并且可在低功率状态和高功率状态下操作,高功率状态比低功率状态消耗更多的功率向用户提供虚拟内容。唤醒控制系统确定何时在高功率状态下操作。
唤醒控制系统可评估具有低功率的第一唤醒标准,在满足第一唤醒标准时评估具有比第一唤醒标准更高的功率的第二唤醒标准,并且在满足第二唤醒标准时使头戴式显示单元在高功率状态下操作。
唤醒控制系统可包括感测第一唤醒标准的唤醒传感器设备以及使头戴式显示单元在高功率状态下操作的控制器。唤醒传感器设备独立于控制器评估第一唤醒标准,并且在满足第一唤醒标准时向控制器发送唤醒控制信号。控制器启动唤醒控制系统以在接收到唤醒控制信号时评估第二唤醒标准。
唤醒控制系统可评估用户唤醒标准,与评估用户唤醒标准同时评估环境唤醒标准。环境唤醒标准是环境刺激,并且用户唤醒标准是对环境刺激有反应的用户行为。
唤醒控制系统可评估指示在用户的当前环境中可用的传入通信或虚拟内容中的一者的通信标准,在满足通信标准时利用头戴式显示单元提供虚拟刺激,评估对应于虚拟刺激的用户响应标准,并且在满足用户响应标准时使显示系统在高功率状态下操作。通信标准可指示传入通信,并且虚拟刺激可指示传入通信。通信标准可指示在当前环境中可用的虚拟内容,通信标准是广播信号的视觉识别或接收中的一者,并且虚拟内容与当前环境相关联。通信标准可以是物体或标牌中的一者的视觉识别。通信标准可以是作为红外信号、音频信号或RF信号中的一者的广播信号的接收。
唤醒控制系统可感测唤醒条件,将唤醒条件与多个唤醒标准进行比较,并且在满足多个唤醒标准中的任何一个时使显示系统在高功率状态下操作。
唤醒控制系统可包括感测唤醒条件的唤醒感测设备以及使头戴式显示单元在高功率状态下操作的控制器。唤醒感测设备将唤醒条件与多个唤醒标准中的每一个进行比较,并且在满足多个唤醒标准中的任何一个时向控制器发送唤醒控制信号。在控制器接收到唤醒控制信号时,控制器启动唤醒控制系统以使显示系统在高功率状态下操作。
唤醒控制系统可向用户呈现多个唤醒标准的列表,从用户接收对多个唤醒标准中的一个或多个的选择以形成唤醒标准的子集,将唤醒条件与唤醒标准的子集进行比较,并且在满足唤醒标准的子集中的任何一个时使显示系统在高功率状态下操作。
唤醒控制系统可评估多个唤醒标准的唤醒精度,从被确定为具有高唤醒精度的多个唤醒标准生成唤醒标准的子集,将唤醒条件与唤醒标准的子集进行比较,并且在满足唤醒标准的子集中的任何一个时使显示系统在高功率状态下操作。唤醒准确度是指示在满足多个唤醒标准中的每一个之后用户在高功率状态下操作的期望的度量。
唤醒控制系统可向用户呈现精确唤醒标准的列表,从用户接收对精确唤醒标准中的一个或多个的选择以形成唤醒标准的进一步子集,将唤醒条件与唤醒标准的进一步子集进行比较,并且在满足唤醒标准的进一步子集中的任何一个时使显示系统在高功率状态下操作。
唤醒控制系统可评估概率条件,根据概率条件确定唤醒感测频率,以唤醒感测频率评估一个或多个唤醒标准,并且在满足一个或多个唤醒标准时使显示系统在高功率状态下操作。
唤醒控制系统可评估唤醒标准以确定何时在高功率状态下操作,与评估唤醒标准同时评估唤醒延迟标准,并且在满足唤醒标准和唤醒延迟标准时延迟头戴式显示器在高功率状态下的操作。
唤醒控制系统可根据满足一个或多个唤醒标准来确定何时在高功率状态下操作,所述唤醒标准包括以下中的一个或多个:(a)用户一只或多只眼睛的眨眼的眨眼标准,(b)用户一只或多只眼睛的运动的眼睛运动标准,(c)用户一只或多只眼睛的瞳孔变化的瞳孔标准,(d)用户头部的运动的头部运动标准,(e)用户面部的运动的面部运动标准,(f)环境或用户的声音的声音标准,(g)传入通信的接收、当前环境中指示来自环境的虚拟内容的可用性的物体的检测或者来自环境的指示来自环境的虚拟内容的可用性的广播信号的接收种的一者的通信标准,(h)用户对头戴式显示单元提供的虚拟刺激的响应的用户响应标准,(i)协作地指示用户的生理条件的标准的组合,或(j)包括对应于用户行为的用户唤醒标准和对应于环境刺激的环境标准的标准的组合,用户行为对环境刺激作出响应。
唤醒控制系统可评估第一唤醒标准阈值的唤醒精度,根据第一唤醒标准的唤醒精度确定有效唤醒标准阈值,根据有效唤醒标准阈值评估唤醒标准以确定何时在高功率状态下操作,并且根据有效唤醒标准阈值在满足唤醒标准阈值时在高功率状态下操作。如果第一唤醒标准阈值被评估为具有可接受的唤醒精度,则有效唤醒标准可被确定为第一唤醒标准阈值,并且如果第一唤醒标准被评估为具有不可接受的唤醒精度,则有效唤醒标准可被确定为与第一唤醒标准阈值不同。
附图说明
图1A是具有头戴式显示单元的显示系统的示意图。
图1B是图1A的显示系统的硬件部件的示意图。
图1C是图1A的显示系统的控制器的硬件配置的示意图。
图1D是图1A的显示系统的唤醒传感器设备的示意图。
图2是图1A的显示系统的控制系统的示意图,该控制系统包括硬件部件和软件单元。
图3是用于从低功率状态到高功率状态操作显示系统的方法的流程图。
图4是用于确定是否在高功率状态下操作显示系统的方法的流程图。
图5是用于确定是否在高功率状态下操作显示系统的另一种方法的流程图。
图6是用于确定是否在高功率状态下操作显示系统的另一种方法的流程图。
图7是用于确定是否在高功率状态下操作显示系统的另一种方法的流程图。
图8是用于确定是否在高功率状态下操作显示系统的另一种方法的流程图。
图9是用于确定是否在高功率状态下操作显示系统的另一种方法的流程图。
图10是用于确定是否在高功率状态下操作显示系统的另一种方法的流程图。
图11是用于确定是否在高功率状态下操作显示系统的另一种方法的流程图。
图12是用于确定是否在高功率状态下操作显示系统的另一种方法的流程图。
具体实施方式
本文公开了显示系统、控制系统和操作方法的实施方案,所述操作方法确定何时从第一状态(例如,睡眠模式或低功率状态)转换到第二状态(例如,唤醒模式或高功率状态),在这两种状态下,可向用户提供不同数量的虚拟内容和/或可执行不同的功能。例如,在第一状态下,可向用户提供相对较少的内容(例如,没有内容),而在第二状态下,可向用户提供更大的内容(例如,更多的信息和/或功率密集型图形)。第一状态和第二状态也可因例如根据用户和环境的感测而提供的其他功能而不同。在第一状态下,感测可限于感测用于确定何时在第二状态下操作的条件,诸如用户的意图和/或有利于在第二状态下操作的其他条件。在第二状态下,可例如根据哪个虚拟可改变来执行不同的感测。
本文公开的系统和方法对于计算机生成的现实(其可包括如下所述的“虚拟现实”和“增强现实”)可能是特别有利的。
参见图1A至图1D,显示系统100包括头戴式显示单元110。如图1A所示,头戴式显示单元110(例如,“HMD”)被配置为佩戴在用户的头部H上并提供视觉传递,使得用户直接看到真实环境E,同时还向用户递送虚拟内容(例如,图形和/或音频)。虚拟内容是生成并提供给用户的内容,其可与真实环境E有关或相关联(例如,关于真实环境的信息、导航方向、看起来在真实环境E的特征上停留或移动的图形)或者可与真实环境E无关(例如,来自另一源的传入通信、一天中的时间)。例如,头戴式显示单元110包括透明透镜112,用户通过该透明透镜看到真实环境E,以便提供光学传递;并且还包括显示器114,该显示器将视觉内容V投射到透明透镜112上以反射到用户的眼睛。头戴式显示单元110可替代地提供视频传递,显示器通过该视频传递显示由相机捕获的环境。头戴式显示单元110还可包括与其耦合或以其他方式与其相关联的音频输出设备116(例如,扬声器或耳机),该音频输出设备向用户提供听觉内容。显示系统100还可被称为头戴式显示系统或增强现实系统,而头戴式显示单元110可被称为增强现实HMD。
如图1B所示,头戴式显示单元110还包括控制器120和传感器130,并且还可包括一个或多个传感器设备135和通信接口140。显示系统100还可包括与头戴式显示单元110通信的外部设备150。
参见图1B,控制器120控制显示系统100的各种操作,诸如显示器114、音频输出设备116和传感器130。控制器120虽然被示为头戴式显示单元110的一部分,但是可替代地是处于通信(例如,经由有线或无线连接)用于控制头戴式显示器110的各种操作的外部设备。显示系统100还可包括与其通信的外部设备150,诸如与用户相关联的电话或其他计算设备。
参见图1C,示出了控制器120的示例硬件配置。控制器120通常可包括处理器121、存储器122、存储装置123、通信接口124以及提供其间的通信的总线125。处理器121执行计算机程序指令并执行由其描述的操作。处理器121可以是中央处理单元(CPU)或其他常规处理设备。存储器122可以是短期高速易失性信息存储设备,诸如随机存取存储器(RAM)。存储装置123可以是长期非易失性信息存储设备,诸如硬盘驱动器或固态驱动器。通信接口124发送和接收信号,例如以控制和/或接收来自显示系统100的各种其他部件的信号(例如,以控制来自显示器114的输出和接收来自传感器130的信号)。
再次参见图1B,传感器130和唤醒传感器设备135感测用户、头戴式显示器单元110和/或环境的条件,其可用于确定是否在高功率状态下操作和/或改变提供给用户的内容。传感器130中的一个或多个可专用于感测那些用于确定何时在高功率状态下操作的条件(例如,唤醒条件)和/或在高功率状态下操作时(例如,用于改变提供给用户的内容)的条件。唤醒传感器设备135可专用于感测唤醒条件。
传感器130可包括M个(例如,一个、两个、三个、五个、十个或更多个)传感器。每个传感器130可发送传感器数据信号130a,其包括由控制器120或另一个处理设备处理以评估对应于其的标准的传感器数据。一般来讲,评估标准是指感测条件并将感测的条件与对应于其的标准进行比较。
不同类型的传感器130可包括音频传感器(例如,麦克风)、运动或位置传感器(例如,加速计、陀螺仪、惯性测量单元(IMU)、全球定位传感器(GPS)、磁力计)、光传感器(例如,环境光传感器(ALS)、光电二极管、光发射器和探测器对)、相机、飞行时间传感器(例如,结构光传感器)、力传感器和基于电极的传感器(例如,温度传感器、生物识别传感器,诸如EEG、EMG)等等。
传感器130被配置为感测可能与用户(即,用户条件)、环境(即,环境条件)和/或通信(即,通信条件)有关的不同条件。用户条件可包括语音、头部运动、身体运动、眼睛运动(例如,凝视方向、眨眼、瞳孔变化)、肌肉运动和/或活动(例如,肌电图(EMG))和生物识别条件(例如,呼吸和心率)等等。环境条件可包括声音、光、温度和海拔高度。通信条件可包括信号,诸如来自接收传入通信或检测广播信号。
这些条件可由单个传感器或单个传感器类型检测,诸如用于检测声音的一个或多个麦克风(例如,用于立体检测声音的两个麦克风)。或者,这些条件可由传感器或不同传感器类型的组合检测。例如,可利用运动传感器(例如,检测用户在呼吸期间发生的运动)结合声音传感器(例如,检测在呼吸期间发生的声音的麦克风)来感测呼吸,它们一起可用于比一个传感器更可靠地确定呼吸条件(例如,吸气或呼气)。
参见图1D,唤醒传感器设备135被配置为评估唤醒标准并且通常独立于控制器120发送唤醒控制信号135a。唤醒传感器设备135通过感测唤醒条件并将唤醒条件与唤醒标准进行比较来评估唤醒标准。通过独立于显示系统100的控制器和其他硬件部件进行操作,唤醒传感器设备135可被配置为消耗相对低的功率以连续地或更频繁地观察唤醒条件,并且利用传感器130或消耗更多功率的其他唤醒传感器设备135启动评估另一唤醒标准。因此,唤醒传感器设备135用作不同的设备,其通过发送唤醒控制信号135a来评估唤醒标准并根据其启动预定义的操作(例如,评估另一唤醒标准)。
在一个示例硬件配置中,唤醒传感器设备135通常包括唤醒传感器135b、处理器135c、存储器135d和通信接口135e。唤醒传感器135b感测唤醒条件,并且处理器135c根据存储在存储器135d中的编程处理从唤醒传感器135b接收的信号,以确定是否满足一个或多个唤醒标准。在满足唤醒标准时,处理器135c使通信接口135e将唤醒控制信号135a发送到例如另一个唤醒传感器设备135或控制器120。唤醒传感器设备135可例如被配置为片上系统(SoC)。
唤醒传感器设备135的唤醒传感器135b可以是上文针对传感器130描述的任何类型,并且更优选地是在连续或以高频率操作时消耗相对较少的功率的类型。唤醒传感器135b可被配置为感测上文针对传感器130描述的任何条件。
再次参见图1B,通信接口140允许显示系统100向其他设备发送信号和/或从其他设备接收信号,其他设备包括与用户相关联的其他设备(例如,外部设备150)或者处于紧邻环境中和/或远离用户定位的其他人员和/或设备。通信接口140可以是头戴式显示单元110的一部分(如图1A中示意性所示)或与其物理分离(例如,如果控制器120与头戴式显示单元110物理分离)。
外部设备150与控制器120通信,但与头戴式显示单元110物理分离。外部设备150可例如感测其他条件和/或以其他方式将信息传送到控制器120。在一个示例中,外部设备150是用户的电话。
参见图2,显示系统100包括唤醒控制系统200,其由上述各种部件实现,以确定何时从低功率状态转换到高功率状态。唤醒控制系统200通常包括低功率单元270、一个或多个唤醒单元280和高功率单元290。唤醒控制系统200可部分地使用任何类型的计算设备来实现,诸如包括存储器、处理器和程序指令的计算设备,所述程序指令存储在存储器中并且在被执行时使处理器执行动作。例如,低功率单元270、唤醒单元280和高功率单元290可通过向一个或多个计算设备提供可执行程序指令来实现,所述可执行程序指令使本文所述的功能由一个或多个计算设备执行。一个或多个计算设备可以是例如控制器120。就唤醒单元280由唤醒传感器设备135执行而言,唤醒传感器设备135本身包括计算设备。
显示系统100还可在一个或多个附加功率状态下操作,诸如提供不同虚拟内容和/或功能(例如,具有附加高功率单元290)的附加高功率状态以及/或者中间功率状态(例如,唤醒控制系统200具有一个或多个带有虚线的中间功率单元285)。多个高功率状态可具有彼此相同或不同的功耗。中间功率状态与高功率状态相比具有较低的功耗(例如,降低的显示、感测和/或计算功耗),在低功率状态和高功率状态之间暂时执行(例如,显示系统100首先从低功率状态转换到中间功率状态,随后转换到高功率状态),并且/或者具有与高功率状态无关或有关的功能。唤醒控制系统200还确定何时从低功率状态转换到中间功率状态和/或从中间功率状态转换到高功率状态。
根据低功率单元270在低功率状态下操作显示系统100。在低功率状态下,显示系统100可例如提供比在高功率状态下需要较低功耗的虚拟内容和/或功能。例如,低功率内容可包括不提供虚拟内容(例如,不经由显示器114提供视觉内容并且不经由音频输出设备116提供听觉内容),或者利用显示器114和音频输出设备116提供非功率密集型图形或音频。非功率密集型图形可以是需要低计算功率和/或低显示功率的图形,包括一些静态图形,诸如一天中的时间。低功率功能可例如包括在用于确定是否在高功率状态下操作(例如,根据唤醒模块280中的一个)的早期步骤中仅使用低功率传感器130和/或传感器设备135。在低功率状态包括不提供内容或提供低功率内容的应用中,低功率状态可替代地被称为低内容状态,而低功率单元270可被称为低内容单元。
根据一个或多个唤醒单元280操作显示系统100,通过所述一个或多个唤醒单元评估一个或多个唤醒标准以确定何时在高功率状态下操作。唤醒标准可用于确定用户的意图和/或需要在高功率状态下进行操作的其他情况。传感器130、传感器设备135和/或通信接口140中的一个或多个感测条件并向唤醒单元280提供输入。一般来将,每个唤醒单元280包括感测条件(例如,用户、头戴式显示单元110或环境)并将该条件与唤醒标准进行比较,以便评估唤醒标准。例如,可利用一个或多个传感器130结合计算设备(例如,控制器120)或者仅通过唤醒传感器设备135来评估唤醒标准。
在第一示例中,唤醒单元280评估一只或多只用户眼睛眨眼的眨眼标准。眨眼标准可以是例如眨眼模式,诸如两次眨眼(例如,连续眨眼)、延长眨眼(例如,闭上一只眼睛的时间长于非意志持续时间)、仅一只眼睛眨眼(例如,使眼色)、眯眼(例如,一只眼睛部分闭上)等等。眨眼条件可由环境光传感器、LED光电二极管对、相机或EMG传感器来感测。环境光传感器可基于由其检测到的光变化来检测眨眼(例如,用户眼睛比他们的眼睑反射更多的光)。相机捕获处理(例如,利用物体识别来感测眨眼条件)或提供指示眨眼条件的另一输出的图像。肌电图(EMG)传感器可感测指示眨眼条件的肌肉刺激。眨眼条件可以是用户的显式输入(例如,手势命令),该显式输入是微妙的并且在执行时被其他人忽视。
在第二示例中,唤醒单元280评估一只或多只用户眼睛的凝视标准。凝视标准可以是例如眼睛运动,诸如用户眼睛的方向、幅度(例如,凝视外围)和/或持续时间,或者任何眼睛运动模式(例如,运动序列)。凝视条件可由捕获随后被处理的图像的相机来感测(例如,利用物体识别来感测眼睛运动)。凝视条件可以是用户的显式输入(例如,手势命令),该显式输入可以是微妙的并且可被其他人忽视。
在第三示例中,唤醒单元280评估一只或多只用户眼睛的瞳孔标准。瞳孔标准可以是例如瞳孔尺寸的变化,诸如瞳孔直径的轻微增加。例如,瞳孔尺寸条件可由具有被处理以确定瞳孔尺寸的变化的连续图像的相机来感测(例如,利用物体识别)。
瞳孔直径的轻微变化可紧接在用户做出决定之前,因此可用作操作其他传感器的前提条件和/或可用作评估另一条件的输入变量。例如,检测到的瞳孔尺寸的变化可将随后的眨眼确认为用户的预期手势,而未检测到瞳孔尺寸的变化可将随后的眨眼拒绝为非预期手势,例如如果替代地由其他方式引起(例如,作为非意志行为)。
在第四示例中,唤醒单元280评估声音标准。声音标准可以是用户或环境。声音条件可由一个或多个麦克风感测。由麦克风捕获的声音被处理,例如用于语音识别(例如,检测人类语音、识别人类语音(例如,用户)的源和/或确定说出的词语)、生物识别检测(例如,呼吸声)和/或声音定向(例如,使用立体声麦克风和声音幅度的声音位置)。在一个具体示例中,声音条件可以是预期声音命令,其可以是一个或多个说出的词语(例如,“起床”)或者由用户生成的其他声音(例如,非词语声音,诸如嗡嗡声、口哨声、咳嗽、“嗯”、“嗯哼”、“嗯啊”或用户发出的其他意志声音。声音标准可以是非预期声音条件,诸如发生在环境中(诸如,来自另一个人或环境中的其他声音源)的声音。
在第五示例中,唤醒单元280评估头部运动标准。头部运动标准可以是例如一个人的头部转动或倾斜一定幅度、方向和/或持续时间,或者头部运动模式(例如,运动的组合)。在一个具体示例中,头部运动标准是一个人的头部倾斜一段时间(例如,倾斜并保持)。头部运动条件可由运动传感器(例如,陀螺仪、加速度计和/或IMU)感测。头部运动条件可以是预期运动命令(例如,头部运动手势)。
在第六示例中,唤醒单元280评估面部运动标准。面部标准可以是例如一个或多个特定面部部分(例如,鼻子、眉毛、耳朵、嘴巴、前额)的特定运动,或者是面部表情(例如,微笑,皱眉,惊讶等)。在具体示例中,面部运动可以是咬紧牙齿、睁大眼睛或抬起眉毛。在其他示例中,面部表情可由有限的人子集执行,诸如耳朵的摆动。面部运动条件可例如由相机(例如,使用物体识别)或检测肌肉运动的EMG传感器来感测。面部运动标准可通过预期面部运动命令(例如,面部姿势)或通过反应性面部运动条件(例如,反应指示符)来满足。
在第七示例中,唤醒单元280评估通信标准。例如,通信标准可例如通过接收信号或识别关于通信的可用性或其他可用虚拟内容的指示符来满足。例如,通信标准可以是从另一个人接收传入通信(例如,电话呼叫或文本消息)。在另一个示例中,通信标准可与环境相关联,诸如检测对象(例如,视觉检测QR码、标牌或其他对象)或广播信号(例如,光信号诸如红外(IR)信号或模式、音频信号诸如听不见的信号或音调,或者RF信号),其指示通信或其他虚拟内容可用(例如,来自附近商店的广告或历史纪念碑的描述)。通信条件可由通信接口140接收或者由传感器130或唤醒传感器设备135(例如,相机、光检测设备、麦克风)中的一者检测。通信标准也可由用户预先过滤,使得仅一些通信标准的满足可用于唤醒确定中(例如,用户选择仅在某些时间和/或从某些人接收呼叫,并且/或者选择仅从某些类型的场所或从某些企业接收内容或通信)。
在第八示例中,唤醒单元280评估用户响应标准。例如,显示系统100可提供虚拟刺激(例如,视觉提示和/或音频提示),其可指示要在高功率状态下提供的内容的可用性。这种内容可基于以下各项可用:用户位置(例如,在商店中的广告内容)、面向用户的方向(例如,在博物馆中的信息内容)或来自外部源的信号(例如,来自另一个人或设备的通信通知;来自用户位置的通信,诸如在上面的商店或博物馆示例中)。用户响应条件可与虚拟刺激(例如,视觉目标)定向相关联,诸如眼睛运动条件(例如,专注于指示内容可用性的视觉提示)、头部运动条件(例如,朝向视觉提示和/或朝向音频提示)或它们的组合(例如,朝向视觉或音频提示转动头部,同时移动眼睛以保持在真实空间中的凝视方向),这些条件由适当的传感器检测。用户响应条件可不与提示定向相关联,诸如眨眼条件(例如,分别用于接受或拒绝的长时眨眼和两次眨眼,或反之亦然)。非响应(例如,通过不在时间流逝内检测用户响应条件而不满足用户响应标准)也可用于拒绝(例如,确认不访问的意图)可用内容。
如上所述,该标准可通过这些条件的组合来满足。在第九示例中,唤醒单元280评估呼吸标准。呼吸标准可以是例如吸气或呼气、其开始和结束,或者吸气和/或呼气的模式。呼吸标准可通过声音条件和运动条件的组合来满足,诸如由麦克风感测的呼吸声音和由运动传感器感测的头部运动(例如,用吸气和/或呼气来提升和降低头部运动)。
在第十示例中,唤醒单元280同时评估用户标准的组合。例如,用户标准可包括眼睛标准(例如,凝视方向)和头部运动标准(例如,转动头部),诸如在一个方向上凝视并且在相反方向上转动一个人的头部(例如,如果用户的眼睛保持聚焦在真实空间中的物体上,同时转动其头部)。
控制系统200可通过单独评估任何一个唤醒标准(例如,通过仅执行上述唤醒单元280中的一个)或者通过结合彼此评估多个唤醒标准(例如,通过执行上述唤醒单元280中的多个)来进行唤醒确定。下文参考图4至图10描述了用于利用多个唤醒标准进行唤醒确定的各种方法。
仍然参见图2,根据高功率单元290在高功率状态下操作显示系统100。在高功率状态下,显示系统100可例如提供比在低功率状态下需要较高功耗的虚拟内容和/或功能。功率密集型图形和/或音频可利用显示器114和/或音频输出设备116输出,这可能比在低功率状态下需要更多的计算功率(例如,动画与静态图形、更多信息)、更多的显示输出功率(例如,更亮、更高的帧速率)和/或更多的感测功率(例如,根据虚拟内容被提供给的传感器,操作更多和/或更强大的传感器)。功率密集型功能可提供有更多和/或更高功率的传感器130,其用作高功率单元290的输入。在高功率状态包括提供高功率内容的应用中,高功率状态可替代地被称为高内容状态,而高功率单元290可被称为高内容单元。
如上所述,还可根据一个或多个中间功率单元285在一个或多个中间功率状态下操作显示系统100。在中间功率状态下,显示系统100提供需要比在低功率状态下更高的功耗但比在高功率状态下更少的功耗的虚拟内容和/或功能。根据一个或多个唤醒单元280操作显示系统100,以确定何时在中间功率状态下操作和/或何时从中间功率状态转换到高功率状态。
在一个示例中,在低功率状态下,显示系统100在空间上独立于真实环境(例如,在空间上与真实环境的真实特征不关联)显示图形,并且在高功率状态下,显示锚定或以其他方式在视觉上链接到真实环境(例如,当真实特征相对于显示器114移动时,在空间上与真实环境的特征相关联)的相同或不同图形。例如,图形可在中间功率状态下显示在显示器114的固定位置,并且可在高功率状态下显示为与真实环境的特征一起移动(例如,当特征移动时或当用户移动时)。与在高功率状态下相比,在中间功率状态下,显示系统100可利用显示器114消耗更少的功率(例如,通过以比较高功率帧(例如,120fps)更低的帧速率(例如,60-90fps)操作显示器114,该较高功率帧可用于以与用户可观察到的真实特征的移动相匹配的速度移动图形)、利用传感器130消耗更少的功率(例如,通过操作更少和/或不同的操作来识别和/或跟踪真实特征)并且/或者利用控制器120或其他计算设备消耗更少的功率(例如,通过不处理传感器数据和/或要相对于真实环境的真实特征显示的图形)。处于中间功率状态和高功率状态的图形可涉及相同或相似的功能(例如,与共同功能有关的相同或不同图标或图形,诸如接收和执行口头请求的虚拟助理),或者涉及不同或无关的功能(例如,处于中间功率状态的数字助理以及处于高功率状态的物体跟踪和/或突出显示)。
应当注意,图1A至图2中所示的各种部件和互连装置可以是可选的(例如,可省去唤醒传感器设备135)。
参见图3,提供了用于操作显示系统100的方法300,具体地讲,在低功率状态下操作、确定何时在高功率状态下操作并且随后在高功率状态下操作的方法。在第一操作310中,显示系统100例如根据低功率单元270在低功率状态下操作。例如,显示器114和/或音频输出设备116提供低内容(例如,没有内容)。第一操作310可被称为低功率或睡眠操作。
在第二操作320中,显示系统100确定是否在高功率状态下操作,例如通过利用来自传感器130、传感器设备135和/或通信接口140的各种输入根据一个或多个唤醒单元280评估一个或多个唤醒标准。确定是否在高功率状态下操作可被称为唤醒确定。进行唤醒确定的第二操作320可被称为唤醒确定操作。第二操作320或其一部分与第一操作310同时执行,使得与在低功率状态下操作同时评估唤醒标准。
在第三操作330中,显示系统100例如根据高功率单元290在高功率状态下操作。例如,控制器120使显示器114和/或音频输出设备116提供高内容。第三操作330可被称为高功率或高内容操作。
方法300的变型包括与中间功率状态相关联的进一步操作,诸如确定是否在中间功率状态下操作(例如,根据一个或多个唤醒单元280)以及在中间功率状态下操作(例如,根据一个或多个中间功率单元285)。与中间功率状态相关联的操作可例如在方法300中在以低功率状态下操作的第一操作310和确定是否在高功率状态下操作的第二操作320之间暂时执行,使得显示系统100仅在首先在中间功率状态下操作之后才在高功率状态下操作(由图2中的实线箭头指示)。或者,与中间功率状态相关联的操作可独立于与高功率状态相关联的操作(例如,与其并行;由图2中的虚线箭头指示)而执行,使得显示系统100可在不首先在中间功率状态下操作的情况下从在低功率状态下转换到在高功率状态下操作。
参见图4至图12,讨论了用于执行评估唤醒标准以确定是否在高功率状态下操作的第二操作320的各种方法。
参见图4,可通过连续评估多个标准来进行唤醒确定。例如,直到满足先前标准才可评估后续标准。这种连续方法可允许显示系统100通过以相对低的功耗评估先前唤醒标准并随后以相对高的功耗评估后续唤醒标准来节省相当大的功率。
用于评估唤醒标准的功率可在感测条件(例如,通过传感器130或唤醒传感器设备135的唤醒传感器135b)和处理评估(例如,通过控制器120的处理器121或唤醒传感器设备135的处理器135c)时消耗。相对低功率的传感器可例如包括音频传感器(例如,用于感测音频条件(诸如,来自用户和/或环境的声音)的麦克风)、运动传感器(例如,加速度计或IMU感测运动条件,诸如用户的头戴式显示单元110的移动)、生物识别传感器(例如,测量用户的某些生理条件(诸如,心率)的传感器)和力传感器(例如,测量用户施加到其上的力,其可用于感测用户条件,诸如面部运动或表情)。其他低功率传感器可包括某些配置的相机(例如,具有非常低的分辨率,诸如100像素)和/或光传感器。
仍然参见图4,可根据方法420来执行唤醒确定,该方法包括按顺序评估N个唤醒标准,其中N是2或更大的整数。
方法420包括评估具有低功率(即,每单位时间的低能耗)的第一唤醒标准的第一操作422。第一操作422可通过感测第一唤醒条件并确定第一唤醒条件是否满足第一唤醒标准(例如,通过比较)由唤醒传感器设备135或由传感器130结合(例如,控制器120的)处理器根据一个唤醒单元280来执行。
第一唤醒标准可以是例如眨眼、凝视、瞳孔、声音、头部运动或面部运动标准中的一者。第一唤醒标准可以是用户难以察觉的用户动作(例如,指示用户意图或用于在高功率状态下操作的其他期望环境的非自愿动作)以及/或者微妙的或观察用户的另一个人难以察觉(例如,以便其他人不会注意到)的用户动作。
如果不满足第一唤醒标准,则重复第一操作422直到满足。优选地,通过连续感测第一唤醒条件来评估第一唤醒标准。例如,当处于低功率状态时,传感器130或传感器唤醒单元135a可连续感测第一唤醒条件。
如果满足第一唤醒标准,则执行评估具有高功率(即,每单位时间比第一操作422更高的能耗)的第二唤醒标准的第二操作424。例如,如果利用唤醒传感器设备135执行第一操作422,则唤醒传感器设备135可发送唤醒控制信号135a(例如,发送到另一个唤醒传感器设备135或发送到控制器120)以启动第二操作424。如果利用传感器130执行第一操作422,则控制器120可启动第二操作424。在启动第二操作424时,可停止第一操作422,以便停止评估第一唤醒标准。
第二唤醒标准与第一唤醒标准不同。第二唤醒标准可以是例如眨眼、凝视、瞳孔、声音、头部运动或面部运动标准中的另一者。第二唤醒标准优选地是用户难以察觉的用户动作(例如,指示用户意图或用于在高功率状态下操作的其他期望环境的非自愿动作)以及/或者微妙的或观察用户的另一个人难以察觉(例如,以便其他人不会注意到)的用户动作。
第二操作424可通过感测第二唤醒条件并确定第二唤醒条件是否满足第二唤醒标准由唤醒传感器设备135或由传感器130中的另一个结合(例如,控制器120的)处理器根据唤醒单元280中的另一个来执行。
如果不满足第二唤醒标准,则可停止第二操作424并且重复第一操作422。
如果满足第二唤醒标准,则执行第三操作426,其可包括在高功率状态下操作显示系统100(例如,由高功率单元290根据方法300的第三操作330)。可继满足第二唤醒标准后和在满足第二唤醒标准时(例如,根据唤醒单元280中另外的唤醒单元),在进一步的操作中评估进一步的唤醒标准(例如,3-N个唤醒标准)。这种进一步的唤醒标准可能需要比第一操作422和/或第二操作424更高的功耗。在满足N个唤醒标准时。
参见图5,可通过评估用户唤醒标准和环境唤醒标准来进行唤醒确定。例如,可预期环境刺激引起可能满足用户唤醒标准的用户行为。在这种情况下,拒绝满足用户唤醒标准可能是有益的,因为用户行为不表示用户在高功率状态下操作的意图。或者,环境唤醒标准可用于确认满足用户唤醒标准,因为用户行为表明用户可能感兴趣的情况。在一个具体示例中,用户唤醒标准可以是凝视标准或头部运动标准,而环境唤醒标准可以是声音标准(例如,源自对应于凝视或头部运动方向的特定方向的声音)或视觉标准(例如,对应于凝视或头部运动方向的运动或物体)。在另一个示例中,用户唤醒标准可以是眨眼条件或瞳孔条件,而环境标准是环境光(例如,当从明亮区域移动到阴影区域时)。
仍然参见图5,可根据方法520来执行唤醒确定,该方法包括同时评估可影响用户唤醒标准的满足的用户唤醒标准和环境唤醒标准。用户唤醒标准也可被称为用户行为标准,而环境唤醒标准可被称为环境刺激标准。
方法520包括评估用户唤醒标准的第一操作522。利用第一传感器130与处理器(例如,控制器120)或传感器设备135协作来执行第一操作522,该传感器设备感测用户唤醒条件并确定用户唤醒条件是否满足用户唤醒标准。
方法520还包括评估环境唤醒标准的第二操作524。利用第二传感器130与处理器(例如,控制器120)或另一传感器设备135协作来执行第二操作524,该另一传感器设备感测环境唤醒条件并确定环境唤醒条件是否满足环境唤醒标准。应当注意,控制系统可被配置用于通过存在环境唤醒条件(例如,指示用户可能感兴趣的情况)或者不发生环境唤醒条件(例如,确认用户意图,因为用户唤醒标准不对环境条件作出响应)来满足环境唤醒标准。
第二操作524与第一操作522同时执行,诸如紧接在其前(例如,在满足环境唤醒标准时执行第一操作522)、与其同时或紧接在其后(例如,在满足用户唤醒标准时)。利用第二传感器130与处理器(例如,控制器120)或另一传感器设备135协作来执行第二操作524,该另一传感器设备感测环境唤醒条件并确定环境唤醒条件是否满足环境唤醒标准。
如果不满足用户唤醒标准或环境唤醒标准,则重复(例如,连续执行)第一操作522和第二操作524。
如果满足用户唤醒标准和环境唤醒标准两者,则执行进一步的操作,如图所示,其可包括在高功率状态下操作显示系统的第三操作526(例如,由高功率单元290根据方法300的第三操作330)。或者,可在在高功率状态下操作的第二操作524和第三操作526之间评估进一步的唤醒标准。
可结合方法420来执行方法520。例如,如果第一操作522或第二操作524在另一个之前执行,则可根据方法420执行方法520,后一操作具有更高的功耗。在另一个示例中,可在方法520之前执行需要较少功率的另一个唤醒标准,或者可在方法520之后执行需要较大功率的另一个唤醒标准。
参见图6,可通过提供刺激并评估用户响应标准来进行唤醒确定。响应于满足较早的唤醒标准(其可以是先前描述的用户、环境或通信唤醒标准中的任何一者),头戴式显示器110可向用户提供刺激(例如,视觉或听觉)。用户响应标准可在空间上与刺激相关联,例如作为凝视标准(例如,用户看着刺激,诸如显示的图标)或头部运动标准(例如,朝向或远离刺激(诸如,显示的图标或音频刺激)移动)。虽然提供刺激需要用户进行额外且有意的动作,但刺激可能比直接在高功率状态下操作对用户不那么具有侵入性、不那么使用户分心或不那么使用户感到沮丧。
仍然参见图6,可根据方法620来执行唤醒确定,该方法包括响应于虚拟刺激(例如,虚拟指示符或虚拟提示)来评估用户响应标准。
方法620包括评估初始唤醒标准的第一操作622。利用来自第一传感器130的输入与处理器(例如,控制器120)或传感器设备135协作根据唤醒单元280中的一个来执行第一操作622,该传感器设备感测初始唤醒标准并确定初始唤醒条件是否满足初始唤醒标准。初始唤醒标准可以是先前描述的用户、环境或通信唤醒标准中的一者。可利用通信接口140(例如,与处理器诸如控制器120协作)来执行第一操作622,该通信接口从另一通信设备(例如,与另一个人或用户的环境(可被称为当前环境)相关联)接收传入通信信号。
初始唤醒标准的特定示例包括通信标准,诸如利用通信接口140对来自与另一个人相关联的通信设备目标通信信号的接收。又如,初始唤醒标准可以是利用传感器130、唤醒传感器设备135或通信接口140中的一者对图像、物体或广播信号的检测,其与用户的环境相关联并指示虚拟内容的可用性。这种可用虚拟内容可从与环境相关联的设备获得,该设备可将虚拟内容发送到显示系统100或以其他方式使显示系统100接收这种虚拟内容以由其输出。
方法620包括利用头戴式显示单元110(例如,显示器114、音频输出设备116)向用户提供虚拟刺激的操作624。在满足初始唤醒标准时提供虚拟刺激。刺激可指示初始唤醒标准,诸如是指示通信类型的视觉图标(例如,电话图标、消息图标、信息图标或广告图标,诸如与广告相关联的公司徽标)。相反,刺激可以是听觉的,诸如是听觉音调(例如,用于不同通信标准的不同音调)。刺激可以其他方式显示以指示在高内容模式下选择性地操作显示系统的准备情况(例如,显示光,其仅指示用于监视用户响应条件的准备情况)。
方法620包括评估用户响应标准的第三操作626。可利用来自第一传感器130的输入与处理器(例如,控制器120)或传感器设备135协作根据唤醒单元280中的一个来执行操作624,该传感器设备感测用户响应条件并确定用户响应条件是否满足用户响应标准。用户响应标准可以是例如凝视标准(例如,在视觉或听觉刺激的方向上凝视、眼睛运动模式、用于诸如分别通过向右或向左看来解除或接受通信的眼睛姿势)。
如果不满足用户响应标准,则重复(例如,连续执行)第一操作622。
如果满足用户响应标准,则执行第四操作628,其可包括在高功率状态下操作显示系统(例如,由高功率单元290根据方法300的第三操作330)。或者,可在在高功率状态下操作的第四操作628之前评估进一步的唤醒标准。
就初始唤醒标准是通信标准而言,高功率状态可包括提供与通信有关的虚拟内容(例如,来自其他人或环境的图像和/或声音)。
还可结合先前描述的方法420来执行方法620。例如,可分别在评估初始唤醒标准的操作622之前或之后执行评估具有较低或较高功率的另一唤醒标准的进一步操作。
还可结合先前描述的方法520来执行方法620。例如,评估用户响应标准的操作626可作为评估用户唤醒标准的操作522来执行,后一操作与评估环境唤醒标准的操作524同时执行。因此,如果用户条件可能是环境刺激的结果(例如,可能使用户以满足凝视标准的方式凝视的方向上的声音),则显示系统100可拒绝满足用户响应标准。
还可与第一方法420或第二方法520并行执行方法620。例如,方法620可包括将通信标准评估为初始唤醒标准,而第一方法420和/或第二方法520可评估用户或环境标准。
参见图7至图9,通过将一个唤醒条件与一个以上的唤醒标准进行比较来进行唤醒确定。例如,可感测一种类型的唤醒条件(例如,眼睛凝视),而该唤醒条件可以不同方式满足一个以上的唤醒标准(例如,凝视最左边、凝视最上边、凝视最右边、凝视下边、凝视模式)。这可允许显示系统100通过评估更多唤醒标准来提高唤醒精度,从而允许用户选择唤醒标准,或者使用被确定为具有高唤醒精度的唤醒标准。
参见图7,可通过感测共同类型的唤醒条件(例如,利用共同传感器)来满足多个唤醒标准中的任何一个,并且如果满足多个唤醒标准中的任何一个则执行附加功能(例如,在高功率状态下操作,或评估进一步的唤醒标准)来进行唤醒确定。通过提供多个唤醒标准,显示系统100可在处于低功率状态时利用单个传感器130或唤醒传感器设备135提供更强稳健性和/或更多选项来激活高功率状态。
可根据方法720来执行唤醒确定,该方法包括感测唤醒条件的第一操作722,其可由传感器130或传感器设备135中的一者执行。唤醒条件可以是例如眼睛眨眼、眼睛运动或头部运动。
在第二操作724中,将唤醒条件与多个不同的唤醒标准(例如,N个唤醒标准,其中N是大于1的整数)进行比较。第二操作724由处理器(例如,具有传感器130的控制器)或由唤醒传感器设备135执行。
多个唤醒标准可以是例如多个不同的眼睛眨眼模式(例如,具有不同的睁开/闭上持续时间和/或重复)、多个不同的眼睛凝视(例如,具有不同的方向、幅度和/或模式)或者多个不同的头部运动(例如,具有不同的方向、幅度和/或模式)。
就感测的第一操作722由唤醒传感器设备135执行而言,在满足多个唤醒标准中的任何一个时,唤醒传感器设备135发送唤醒控制信号135a。对于多个唤醒标准中的每一个,唤醒控制信号135a可以是相同的。
或者,对于多个唤醒标准中的不同唤醒标准,唤醒控制信号135a可以是不同的(例如,不同唤醒控制信号135a中的每一个对应于多个唤醒标准中的一个或多个)。通过发送不同的唤醒控制信号135a,可响应于此执行不同的操作(例如,用于在高功率状态下执行具体功能的手势),并且/或者唤醒控制系统200可学习多个唤醒标准中的哪些唤醒标准更能指示需要高功率状态的用户意图或环境。下文参考图9讨论了对该学习过程的进一步讨论。
如果不满足多个唤醒标准中的任何一个,则重复感测唤醒条件的第一操作722。例如,可连续执行第一操作722,直到满足多个唤醒标准中的任何一个。
如果满足多个唤醒标准中的任何一个,则执行进一步的操作,其可包括在高功率状态下操作显示系统的第三操作726(例如,由高功率单元290根据方法300的第三操作330)。或者,可在在高功率状态下操作的第三操作726之前评估进一步的唤醒标准。
可结合上述方法420、520和/或620中的任一者来执行方法720。关于方法420,操作722、724可协作地执行评估具有低功率的标准的操作422或评估具有高功率的标准的操作424。关于方法520,操作722、724可协作地执行评估用户唤醒标准的操作522或评估环境唤醒标准的操作524。关于方法620,操作722、724可协作地执行通过评估多个初始唤醒标准进行的操作622或通过评估多个用户响应标准进行的操作626。
参见图8,可通过满足用户从更大的唤醒标准组(例如,用户可选择的唤醒标准)中选择的一个或多个唤醒标准(例如,用户选择的唤醒标准)来进行唤醒确定。通过允许用户选择哪个唤醒标准来进行唤醒确定,可实现更高的唤醒精度和/或更高的用户满意度。
可根据方法820进行唤醒确定,该方法包括向用户呈现N个唤醒标准的列表的第一操作822。唤醒标准可以是先前描述的任何用户唤醒标准(例如,眨眼、眼睛运动或头部运动标准)。例如,显示系统100可向用户显示N个唤醒标准的列表。
在第二操作824中,从用户接收对多个唤醒标准(例如,N个唤醒标准)中的一个或多个的选择以形成唤醒标准的子集(例如,M个唤醒标准,其中M大于L)。所选择的唤醒标准可被称为唤醒标准的子集或用户选择的唤醒标准。对唤醒标准的选择可由传感器130中的一个(例如,麦克风)接收。
可例如不频繁地(例如,在用户的设置操作期间)执行呈现的第一操作822和选择的第二操作824。例如,可根据配置单元(未示出)执行第一操作822和第二操作824,该配置单元包括由处理器(例如,控制器120)执行的软件编程。
在第三操作826和第四操作828中,针对唤醒标准的子集分别执行感测唤醒条件的操作722和评估方法720的唤醒标准的操作724。第三操作826的感测可由传感器130或唤醒传感器设备135执行。就传感器130执行感测唤醒条件的第三操作826而言,评估唤醒标准子集的第四操作828由(例如,控制器120的)处理器执行。
就传感器设备135执行感测唤醒条件的第三操作826而言,第四操作828由唤醒控制单元135(例如,由其处理器135c)执行。此外,在满足用户选择的唤醒标准中的任何一个时,唤醒传感器设备135可输出一个唤醒控制信号135a。例如,在选择唤醒标准的子集时,唤醒传感器设备135可被编程为仅在满足用户选择的唤醒标准中的一个时发送唤醒控制信号135a,诸如通过控制器120向唤醒传感器设备135发送程序信号,通过该程序信号编程唤醒传感器设备135。或者,唤醒传感器设备135可发送对应于每个唤醒标准的不同唤醒控制信号135a,而控制器120仅在接收到对应于唤醒标准的子集的那些唤醒控制信号135a时才启动后续操作。
如果不满足唤醒标准子集中的任何一个,则重复(例如,连续执行)操作826,直到满足唤醒标准子集中的一个。
如果满足唤醒标准子集中的任何一个,则执行进一步的操作,如图所示,其可包括在高功率状态下操作显示系统的第五操作830(例如,由高功率单元290根据方法300的第三操作330)。或者,可在在高功率状态下操作的第五操作830之前评估进一步的唤醒标准。
与方法720一样,可结合上述方法420、520、620中的任一者来执行方法820,其中在评估、感测和比较操作之前执行呈现多个唤醒标准的第一操作822和从用户接收选择的第二操作824。
参见图9,可通过学习用户的行为来确定唤醒标准的子集。例如,显示系统100可在以下情况下确定哪个唤醒标准可具有低唤醒精度:如果在满足这种唤醒标准之后用户例行地不在高功率状态下操作,诸如如果用户例行地随后指示显示系统100在低功率状态下操作并且/或者不提供用于在高功率状态下操作(例如,超时)的指令。具有低精度的唤醒标准可以是例如用户在其中在高功率状态下操作可能是不期望的(例如,误报)的情况下经常执行的自然行为(例如,习惯),其可通过以下方式识别:反应行为(例如,在高功率状态下操作),或者在其他时间观察和识别这种自然行为(例如,在高功率状态期间感测唤醒条件)。
可根据方法920进行唤醒确定,该方法包括评估多个唤醒标准(例如,N个唤醒标准)的第一操作922。多个唤醒标准可由传感器130结合(例如,控制器120的)处理器或由唤醒传感器设备135来评估。多个唤醒标准可以是先前描述的与普通类型的唤醒条件相比的用户、环境或通信唤醒标准中的任何一者。
如果不满足多个唤醒标准中的任何一个,则重复(例如,连续执行)第一操作922。
如果满足多个唤醒标准中的一个,则执行第二操作924,其包括通过在高功率状态下操作显示系统100来执行另一操作,诸如方法300的第三操作330。可在在高功率状态下操作之前评估其他标准(例如,根据先前描述的方法420、520、620)。
在第三操作926中,在多次执行第一操作922和第二操作924之后,评估多个唤醒标准的唤醒精度。唤醒精度是在满足多个唤醒标准中的每一个之后对用户在高功率状态下操作的期望(例如,指示该期望的度量)的评估,其可基于用户意图或需要第二模式的其他情况。第三操作926可例如由控制器120根据学习单元(未示出)来执行,该学习单元包括由(例如,控制器120的)处理器执行的软件编程。可不频繁地执行第三操作926。
例如,可根据在满足多个唤醒标准中的任何一个之后在高功率状态下操作之后用户的重复行为来确定多个原始唤醒标准中的每一个的唤醒精度。这种用户行为可包括在没有用户输入(例如,不满足进一步的用户唤醒标准)的情况下退出高功率状态或时间流逝的用户指令,这两者都可指示对高功率没有意图和/或其是不期望的条件。可替代地或另外地根据处于高功率状态的用户后续指令来确定唤醒精度,所述后续指令可指示对高功率状态有意图和/或其是期望的条件。多个唤醒标准中被确定为不具有低唤醒精度(例如,被确定为具有高精度)的那些唤醒标准可形成唤醒标准的子集(例如,M个)。唤醒标准的子集也可被称为学习的唤醒标准。
第四操作928包括评估是否满足唤醒标准子集中的任何一个。利用相同的传感器130或由执行第一操作922的相同传感器设备135来执行第四操作928。
就传感器设备135执行感测唤醒条件的第一操作922而言,在满足多个唤醒标准中的任何一个时,唤醒传感器设备135可输出一个唤醒控制信号135a。例如,在执行评估多个唤醒标准的唤醒精度的第三操作926时,唤醒传感器设备135可被编程为仅在满足精确唤醒标准中的一个时发送唤醒控制信号135a,诸如通过控制器120向唤醒传感器设备135发送程序信号,通过该程序信号编程唤醒传感器设备135。或者,唤醒传感器设备135可发送对应于多个唤醒标准中的每一个的不同唤醒控制信号135a,而控制器120仅在接收到对应于唤醒标准的子集的那些唤醒控制信号135a时才启动后续操作。
如果不满足唤醒标准子集中的任何一个,则重复(例如,连续执行)第四操作928。
如果满足唤醒标准子集中的一个,则执行第五操作930,其包括通过在高功率状态下操作显示系统100来执行另一操作,诸如方法300的第三操作330。可在在高功率状态下操作之前评估其他标准(例如,根据先前描述的方法420、520、620)。
与方法720和方法820一样,可结合上述方法420、520、620中的任一者来执行方法920,其中在多次执行评估、感测和比较操作之后执行评估多个原始唤醒标准的唤醒精度的第三操作926。
也可结合方法820来执行方法920。例如,可执行操作926以从多个(N个)唤醒标准开发精确唤醒标准的列表(M个),其被呈现以供用户选择以形成唤醒标准的进一步子集(例如,唤醒标准的用户选择的精确子集;L个,其中L小于M,M小于N)。
在方法820、920的进一步变型中,显示系统可学习用户的重复无意行为(例如,习惯),其中一些可满足不同的唤醒标准,并且表明重复无意行为不满足的一个或多个不同的唤醒标准。例如,可通过省去第一操作922和第二操作924来执行方法920,而通过评估唤醒标准(如果用户的重复无意行为满足)具有低唤醒精度来执行第三操作926。
参见图10,唤醒控制系统200基于概率评估一个或多个唤醒标准。例如,与连续评估唤醒标准(例如,操作422)相比,以变化的时间频率执行概率性评估唤醒标准。例如,在不同条件下,可以不同的频率操作传感器130中的各个传感器,以便以不同的间隔(例如,频率)感测不同的唤醒条件(例如,用户、环境或通信)。这类不同条件可被称为概率条件,其优选地被评估为具有低功率,并且可包括一天中的时间(例如,由控制器120的时钟确定)、位置(例如,从相关联设备(诸如,用户的电话)的GPS接收)、声音(例如,一般噪声水平)以及活动或运动(例如,幅度和/或频率)。概率条件(例如,一天中的时间、位置、声音和活动)通常可与在高功率状态下操作更可能需要的情况相关联,但是它们本身可能不表示需要在高功率状态下操作的具体条件。例如,可能希望在用户通勤期间在高功率状态下操作,由此一天中的高峰时间(例如,下午5点到下午7点)通常可与用户通勤相关,但不一定表示用户正处于通勤状态。因此,在一天中的高峰时间期间,显示系统100可以比一天中的其他时间更短的间隔来评估唤醒标准。
基于概率条件,可操作传感器130中的各个传感器以便以不同的间隔(例如,频率)评估各种唤醒标准。例如,在一天中的不同时间(例如,与休息或工作相关联)、不同位置(例如,私人与居住)、声音(例如,安静与大声)和活动(例如,小型与大型),可以不同的间隔或频率(例如,分别为长间隔与短间隔)操作各种传感器130,以感测用于评估唤醒标准的各种唤醒条件。
仍然参见图10,可基于概率根据方法1020进行唤醒确定。在第一操作1022中,评估概率条件。概率条件是可表明唤醒标准可被满足的较低或较高可能性的条件,诸如一天中的时间、位置、声音以及/或者活动或运动。传感器130、传感器设备135或控制器120本身中的一者(例如,对于一天中的时间)用于评估概率条件。
第二操作1024中,确定唤醒感测频率(例如,唤醒感测间隔)。例如,可根据查找表基于概率条件来确定唤醒感测频率。
在第三操作1026中,根据唤醒感测频率来评估一个或多个唤醒标准。也就是说,以唤醒频率(例如,以唤醒间隔)评估一个或多个唤醒标准。一个或多个唤醒标准可以是先前描述的任何唤醒标准。优选地,一个或多个唤醒标准可能需要比评估概率条件更高的功耗。当感测到一个或多个唤醒标准时,可认为显示系统100处于高感测状态,同时提供很少虚拟内容或不提供虚拟内容。
如果不满足一个或多个唤醒标准,则以唤醒频率评估唤醒标准。
如果满足一个或多个唤醒标准,则执行进一步的操作1028,其可包括进一步的操作,诸如高功率状态下操作显示系统。在在高功率状态下操作之前,可评估进一步的唤醒标准。
可重复(例如,连续)执行第一操作1022,使得在检测到概率条件的变化时,第二操作1024可确定不同的唤醒感测频率。
方法1020可利用方法420、520、620、720、820、920来执行,例如与其同时和并行操作。例如,控制系统可同时评估两个或更多个唤醒标准(例如,根据方法420、520、720、820、920)、通信唤醒标准(例如,根据方法620)和/或概率标准(例如,根据方法1020)。
参见图11,唤醒控制系统200根据一个或多个唤醒标准延迟在高功率状态下操作。例如,控制系统200可进行唤醒确定,而其他唤醒标准(例如,唤醒延迟标准)表明其可能适合在高功率状态下操作(例如,在可能打扰用户或使用户分心的情况下)。例如,在用户与另一个人会话时,用户可能会因突然在高功率状态下操作(例如,因提供给用户的虚拟内容)而分心。因此,与进行唤醒确定同时,评估表明会话的一个或多个标准并且由此延迟在高内容状态下操作(例如,基于满足唤醒延迟标准的条件的时间延迟或停止)可能是有益的。
仍然参见图11,提供了用于延迟在高功率状态下操作头戴式显示器的方法1120。方法1120包括评估唤醒标准的第一操作1122,其可根据先前描述的唤醒单元280和/或方法420、520、620、720、820、920、1020中的任何一者来执行。如果不满足唤醒标准,则重复(例如,连续)操作1120。
在第二操作1124中,评估唤醒延迟标准。可以根据先前描述的任何唤醒单元280来评估唤醒延迟标准。第二操作1124与第一操作1122同时执行,诸如与其同时或紧接其后(例如,在满足唤醒标准时)。
唤醒延迟标准可以是例如呼吸标准(例如,指示用户正在讲话)、声音标准(例如,指示用户正在讲话,或者另一个人正在对用户说话)或其他合适的标准。例如,如果存在唤醒延迟条件并且其提供不在高功率状态下操作的理由,则满足唤醒延迟标准。第二操作1124与第一操作1122同时执行,诸如与其同时或紧接其后。
在第三操作1126中,例如根据方法300的第三操作330(例如,根据高功率单元290)在高功率状态下操作显示系统100。如果不满足唤醒延迟标准,则在不延迟的情况下执行第三操作1126。如果满足唤醒标准,则在有延迟的情况下执行第三操作1126,这种延迟例如持续特定持续时间或直到满足唤醒延迟标准的条件停止。
参见图12,唤醒控制系统200可调节对一个或多个唤醒标准的灵敏度。例如,当感测到的条件的值超过唤醒标准阈值时可满足唤醒标准,该唤醒标准阈值可改变以增加或降低其灵敏度。这种唤醒标准阈值可例如包括速度(例如,眼睛眨眼、眼睛运动或头部运动的速度)、持续时间(例如,运动模式、闭眼、眼睛位置、头部位置的持续时间)和/或幅度(例如,眼睛角度或头部角度或体积)。
唤醒控制系统200可确定用户的唤醒标准阈值(例如,调节唤醒标准的灵敏度),其对于给定用户具有合适的灵敏度(例如,不会导致高功率状态下的操作发生太多或太少)。例如,唤醒控制系统200可以关于方法920描述的方式评估给定唤醒标准阈值(例如,默认值)的唤醒精度(例如,通过在满足唤醒标准后评估用户的行为并且在高功率状态下操作)。如果唤醒标准阈值具有低唤醒精度(例如,导致高功率状态下的操作发生太多或太少),则可调节(例如,分别向上或向下)唤醒标准阈值以改变唤醒标准的灵敏度,从而提高唤醒精度。
替代地或另外地,唤醒控制系统200可观察可能满足唤醒标准并且导致高功率状态下的不期望操作的典型用户行为(例如,用户的典型行为的速度、持续时间和/或幅度),并且相应地确定标准阈值(例如,高于典型行为,以便限制误报和低唤醒精度)。例如,唤醒标准可以是延长的眨眼,在这种情况下,唤醒控制系统200观察用户正常将闭上他们的眼睛持续例行眨眼的典型持续时间,并且确定唤醒标准阈值(例如,唤醒眨眼持续时间)比例行眨眼持续时间长。
可根据方法1220进行唤醒确定,该方法包括评估唤醒标准阈值的唤醒精度的第一操作1222、确定有效唤醒标准阈值的第二操作1224以及根据有效唤醒标准阈值评估唤醒标准的第三操作1226以及执行另一操作(诸如,在满足有效唤醒标准阈值时在高功率状态下操作)的第四操作1228。
在第一操作1222中,确定第一唤醒标准阈值的唤醒精度。可根据方法920的第一操作922、第二操作924和第三操作926来确定第一唤醒标准阈值的唤醒精度(例如,在多次使用第一唤醒标准阈值之后评估用户的后续行为以进行唤醒确定和在高功率状态下的操作)。
在第二操作1224中,如果第一唤醒标准阈值被确定是适当敏感的(例如,具有足够或可接受的唤醒精度),则第一唤醒标准阈值用作操作阈值并且继续用于随后的唤醒确定中。例如,可将唤醒精度与目标值或唤醒精度范围进行比较。如果唤醒精度超过目标值(例如,90%)或者在唤醒精度的范围内(例如,85%至95%),则第一唤醒标准阈值被确定为有效唤醒标准(例如,唤醒标准的灵敏度未改变)。目标值和范围是非限制性示例。
如果唤醒精度低于目标值或低于范围的下端,则第一唤醒标准阈值可能过于敏感,例如因为在高功率状态下操作发生太多。在这种情况下,例如通过确定有效唤醒标准阈值高于第一唤醒标准阈值来使唤醒标准不那么敏感。
相反,如果唤醒精度高于范围的上端,则第一唤醒标准阈值可能过于不敏感,这可指示显示系统100不像用户期望的那样经常在高功率状态下操作。在这种情况下,例如通过确定有效唤醒标准阈值低于第一唤醒标准阈值来使唤醒标准更加敏感。
替代地或另外地,可迭代地(例如,针对不同的唤醒标准阈值重复操作1222、1224以找到具有更高唤醒精度的唤醒标准阈值)和/或周期性地(例如,在不同时间重复操作1222、1224,例如在用户的行为随时间改变的情况下)确定唤醒标准阈值。
替代操作1222、1224或除了这些操作之外,可使用不同的操作(图12中未示出)通过首先观察用户以确定可能无意中满足唤醒标准的用户典型条件(例如,行为)来确定有效唤醒标准阈值,并确定有效唤醒标准阈值超过用户的典型条件。
在第三操作1226中,根据有效唤醒标准阈值(例如,观察到的条件超过有效唤醒标准阈值)来评估唤醒标准。
在第四操作1228中,在满足唤醒标准后,通过在高功率状态下操作显示系统100来执行另一操作,诸如方法300的第三操作330。与先前公开的方法一样,可结合上述任何方法来执行方法1220。
物理环境是指人们在没有电子系统帮助的情况下能够感测和/或交互的物理世界。物理环境诸如物理公园包括物理物品,诸如物理树木、物理建筑物和物理人。人们能够诸如通过视觉、触觉、听觉、味觉和嗅觉来直接感测物理环境和/或与物理环境交互。
相反,计算机生成现实(CGR)环境是指人们经由电子系统感测和/或交互的完全或部分模拟的环境。在CGR中,跟踪人的物理运动的一个子组或其表示,并且作为响应,以符合至少一个物理定律的方式调节在CGR环境中模拟的一个或多个虚拟对象的一个或多个特征。例如,CGR系统可以检测人的头部转动,并且作为响应,以与此类视图和声音在物理环境中变化的方式类似的方式调节呈现给人的图形内容和声场。在一些情况下(例如,出于可达性原因),对CGR环境中虚拟对象的特征的调节可以响应于物理运动的表示(例如,声音命令)来进行。
人可以利用其感官中的任一者来感测CGR对象和/或与CGR对象交互,包括视觉、听觉、触觉、味觉和嗅觉。例如,人可以感测音频对象和/或与音频对象交互,音频对象创建3D或空间音频环境,3D或空间音频环境提供3D空间中点音频源的感知。又如,音频对象可以使能音频透明度,该音频透明度在有或者没有计算机生成的音频的情况下选择性地引入来自物理环境的环境声音。在某些CGR环境中,人可以感测和/或只与音频对象交互。
CGR的示例包括虚拟现实和混合现实。
虚拟现实(VR)环境是指被设计成对于一个或多个感官完全基于计算机生成的感官输入的模拟环境。VR环境包括人可感测和/或交互的多个虚拟对象,其可被称为图形或虚拟内容。例如,树木、建筑物和代表人的化身的计算机生成的图像是虚拟对象的示例。人可以通过在计算机生成的环境内人的存在的模拟、和/或通过在计算机生成的环境内人的物理运动的一个子组的模拟来感测和/或与VR环境中的虚拟对象交互。
与被设计成完全基于计算机生成的感官输入的VR环境相比,混合现实(MR)环境是指被设计成除了包括计算机生成的感觉输入(例如,虚拟对象)之外还引入来自物理环境的感官输入或其表示的模拟环境。在虚拟连续体上,混合现实环境是完全物理环境作为一端和虚拟现实环境作为另一端之间的任何状况,但不包括这两端。
在一些MR环境中,计算机生成的感官输入可以对来自物理环境的感官输入的变化进行响应。另外,用于呈现MR环境的一些电子系统可以跟踪相对于物理环境的位置和/或取向,以使虚拟对象能够与真实对象(即,来自物理环境的物理物品或其表示)交互。例如,系统可以导致运动使得虚拟树木相对于物理地面看起来是静止的。
混合现实的示例包括增强现实和增强虚拟。
增强现实(AR)环境是指其中一个或多个虚拟对象叠加在物理环境或其表示之上的模拟环境。例如,用于呈现AR环境的电子系统可以具有透明或半透明显示器,人可以透过它直接查看物理环境。系统可以被配置为在透明或半透明显示器上呈现虚拟对象,使得人利用系统感知叠加在物理环境之上的虚拟对象。另选地,系统可以具有不透明显示器和一个或多个成像传感器,成像传感器捕获物理环境的图像或视频,这些图像或视频是物理环境的表示。系统将图像或视频与虚拟对象组合,并在不透明显示器上呈现组合物。人利用系统经由物理环境的图像或视频而间接地查看物理环境,并且感知叠加在物理环境之上的虚拟对象。如本文所用,在不透明显示器上显示的物理环境的视频被称为“透传视频”,意味着系统使用一个或多个图像传感器捕获物理环境的图像,并且在在不透明显示器上呈现AR环境中使用那些图像。进一步另选地,系统可以具有投影系统,该投影系统将虚拟对象投射到物理环境中,例如作为全息图或者在物理表面上,使得人利用该系统感知叠加在物理环境之上的虚拟对象。
增强现实环境也是指其中物理环境的表示被计算机生成的感官信息进行转换的模拟环境。例如,在提供透传视频中,系统可以对一个或多个传感器图像进行转换以施加与成像传感器所捕获的视角不同的视角(例如,视点)。又如,物理环境的表示可以通过图形地修改(例如,放大)其部分而进行转换,使得修改后的部分可以是原始捕获图像的代表性的但不是真实的版本。再如,物理环境的表示可以通过以图形方式消除或模糊其部分而进行转换。
增强虚拟(AV)环境是指其中虚拟或计算机生成的环境结合来自物理环境的一个或多个感官输入的模拟环境。感官输入可以是物理环境的一个或多个特征的表示。例如,AV公园可以具有虚拟树木和虚拟建筑物,但人的脸部是从对物理人拍摄的图像逼真再现的。又如,虚拟对象可以采用一个或多个成像传感器所成像的物理物品的形状或颜色。再如,虚拟对象可以采用符合太阳在物理环境中的位置的阴影。
有许多不同类型的电子系统使人能够感测和/或与各种CGR环境交互。示例包括头戴式系统、基于投影的系统、平视显示器(HUD)、集成有显示能力的车辆挡风玻璃、集成有显示能力的窗户、被形成为被设计用于放置在人眼睛上的透镜的显示器(例如,类似于隐形眼镜)、耳机/听筒、扬声器阵列、输入系统(例如,具有或没有触觉反馈的可穿戴或手持控制器)、智能电话、平板电脑和台式/膝上型计算机。头戴式系统可以具有一个或多个扬声器和集成的不透明显示器。另选地,头戴式系统可以被配置为接受外部不透明显示器(例如,智能电话)。头戴式系统可以结合用于捕获物理环境的图像或视频的一个或多个成像传感器、和/或用于捕获物理环境的音频的一个或多个麦克风。头戴式系统可以具有透明或半透明显示器,而不是不透明显示器。透明或半透明显示器可以具有介质,代表图像的光通过所述介质被引导到人的眼睛。显示器可以利用数字光投影、OLED、LED、uLED、硅基液晶、激光扫描光源、或这些技术的任意组合。介质可以是光学波导、全息图介质、光学组合器、光学反射器、或它们的任意组合。在一个实施方案中,透明或半透明显示器可被配置为选择性地变得不透明。基于投影的系统可以采用将图形图像投影到人的视网膜上的视网膜投影技术。投影系统也可以被配置为将虚拟对象投影到物理环境中,例如作为全息图或在物理表面上。
如上所述,本技术的一个方面在于采集和使用得自各种来源的数据以确定何时在高功率状态下操作。本公开预期,在一些实例中,这些所采集的数据可包括唯一地识别或可用于联系或定位特定人员的个人信息数据。此类个人信息数据可包括人口统计数据、基于位置的数据、电话号码、电子邮件地址、twitter ID、家庭地址、与用户的健康或健身等级相关的数据或记录(例如,生命信号测量、药物信息、锻炼信息)、出生日期、或任何其他标识或个人信息。
本公开认识到在本发明技术中使用此类个人信息数据可用于使用户受益。例如,个人信息数据可以用于确定何时在高功率状态下操作。此外,本公开还预期个人信息数据有益于用户的其他用途。例如,健康和健身数据可用于向用户的总体健康状况提供见解,或者可用作使用技术来追求健康目标的个人的积极反馈。
本公开设想负责采集,分析,公开,传输,存储或其他使用此类个人信息数据的实体将遵守既定的隐私政策和/或隐私实践。具体地,此类实体应当实行并坚持使用被公认为满足或超出对维护个人信息数据的隐私性和安全性的行业或政府要求的隐私政策和实践。此类策略应该能被用户方便地访问,并应应当随着数据的采集和/或使用变化而被更新。来自用户的个人信息应当被收集用于实体的合法且合理的用途,并且不在这些合法使用之外共享或出售。此外,在收到用户知情同意后,应进行此类采集/共享。此外,此类实体应考虑采取任何必要步骤,保卫和保障对此类个人信息数据的访问,并确保其他有权访问个人信息数据的人遵守其隐私政策和流程。另外,这种实体可使其本身经受第三方评估以证明其遵守广泛接受的隐私政策和做法。此外,应当调整政策和实践,以便采集和/或访问的特定类型的个人信息数据,并适用于包括管辖范围的具体考虑的适用法律和标准。例如,在美国,对某些健康数据的收集或获取可能受联邦和/或州法律的管辖,诸如健康保险转移和责任法案(HIPAA);而其他国家的健康数据可能受到其他法规和政策的约束并应相应处理。因此,在每个国家应为不同的个人数据类型保持不同的隐私实践。
不管前述情况如何,本公开还预期用户选择性地阻止使用或访问个人信息数据的实施方案。即本公开预期可提供硬件元件和/或软件元件,以防止或阻止对此类个人信息数据的访问。例如,就确定何时在高功率状态下操作而言,本技术可以被配置为允许用户在设置操作期间选择“选择加入”或“选择退出”参与对个人信息数据的收集,或者此后,用于确定何时在高功率状态下操作。在另一个示例中,用户可以选择不提供或监视个人信息,诸如眼睛或头部运动,用于确定何时在高功率状态下操作。在又一个示例中,用户可以选择限制监视或维持这种运动数据的时间长度。除了提供“选择加入”和“选择退出”选项外,本公开设想提供与访问或使用个人信息相关的通知。例如,可在下载应用时向用户通知其个人信息数据将被访问,然后就在个人信息数据被应用访问之前再次提醒用户。
此外,本公开的目的是应管理和处理个人信息数据以最小化无意或未经授权访问或使用的风险。一旦不再需要数据,通过限制数据采集和删除数据可最小化风险。此外,并且当适用时,包括在某些健康相关应用程序中,数据去标识可用于保护用户的隐私。可在适当时通过移除特定标识符(例如,出生日期等)、控制所存储数据的量或特异性(例如,在城市级别而不是在地址级别收集位置数据)、控制数据如何被存储(例如,在用户上聚集数据)、和/或其他方法来促进去标识。
因此,虽然本公开广泛地覆盖了使用个人信息数据来实现一个或多个各种所公开的实施方案,但本公开还预期各种实施方案也可在无需访问此类个人信息数据的情况下被实现。即,本发明技术的各种实施方案不会由于缺少此类个人信息数据的全部或一部分而无法正常进行。例如,确定何时在高功率状态下操作基于非个人信息数据或最少量的个人信息进行,诸如根据用户的明确请求进行这种确定。

Claims (33)

1.一种显示系统,包括:
头戴式显示单元,所述头戴式显示单元被配置为提供内容,所述头戴式显示单元能够在低功率状态和高功率状态下操作;以及
唤醒控制系统,所述唤醒控制系统用于确定何时在所述高功率状态下操作所述头戴式显示单元,所述唤醒控制系统被配置为:
利用所述头戴式显示单元的第一传感器评估初始唤醒标准,
响应于满足所述初始唤醒标准,利用所述头戴式显示单元提供虚拟刺激,
利用所述头戴式显示单元的第二传感器评估与所述虚拟刺激相对应的用户响应标准,以及
在满足所述用户响应标准时,在所述高功率状态下操作所述头戴式显示单元。
2.根据权利要求1所述的显示系统,其中所述第一传感器以第一功率水平操作,并且所述第二传感器以高于所述第一功率水平的第二功率水平操作。
3.根据权利要求1所述的显示系统,其中所述初始唤醒标准指示接收到来自另一人的传入通信。
4.根据权利要求1所述的显示系统,其中所述初始唤醒标准指示当前环境中图像的存在。
5.根据权利要求1所述的显示系统,其中所述初始唤醒标准指示当前环境中对象的存在。
6.根据权利要求1所述的显示系统,其中所述初始唤醒标准指示当前环境中广播信号的存在。
7.根据权利要求1所述的显示系统,其中所述初始唤醒标准指示当前环境中的可用内容。
8.根据权利要求7所述的显示系统,其中所述可用内容是来自所述当前环境中的位置的广告。
9.根据权利要求1所述的显示系统,其中所述虚拟刺激是视觉提示。
10.根据权利要求1所述的显示系统,其中所述虚拟刺激是音频提示。
11.根据权利要求1所述的显示系统,其中当用户响应与所述虚拟刺激定向相关联时,所述用户响应标准被满足。
12.根据权利要求11所述的显示系统,其中所述用户响应是以下中的一者:眼睛运动、头部运动、或者所述眼睛运动和所述头部运动的组合。
13.一种显示系统,包括:
头戴式显示单元,所述头戴式显示单元被配置为提供内容,所述头戴式显示单元能够在低功率状态和高功率状态下操作,所述高功率状态比所述低功率状态消耗更多的功率;以及
唤醒控制系统,所述唤醒控制系统被配置为确定何时在所述高功率状态下操作所述头戴式显示单元,所述唤醒控制系统被配置为:
在所述头戴式显示单元在所述低功率状态下操作期间,接收与当前环境相关联的广播信号,
提供与所述广播信号相关的虚拟刺激,
评估与所述虚拟刺激相关联的用户响应标准,以及
在满足所述用户响应标准时,在所述高功率状态下操作所述头戴式显示单元。
14.根据权利要求13所述的显示系统,其中所述广播信号是红外信号、音频信号或射频RF信号中的一者。
15.根据权利要求13所述的显示系统,其中所述广播信号指示计算机生成现实内容的可用性。
16.根据权利要求13所述的显示系统,其中所述虚拟刺激在中间功率状态下被提供,所述中间功率状态比所述低功率状态消耗更多的功率并且比所述高功率状态消耗更少的功率。
17.一种显示系统,包括:
头戴式显示单元,所述头戴式显示单元被配置为提供内容,所述头戴式显示单元能够在低功率状态和高功率状态下操作;以及
唤醒控制系统,所述唤醒控制系统用于确定何时在所述高功率状态下操作所述头戴式显示单元,所述唤醒控制系统被配置为:
在所述头戴式显示单元在所述低功率状态下操作期间,检测用户的当前环境中图像或对象中的一者的存在,
提供与图像或对象相关的虚拟刺激,
评估与所述虚拟刺激相关联的用户响应标准,以及
在满足所述用户响应标准时,在所述高功率状态下操作所述头戴式显示单元。
18.根据权利要求17所述的显示系统,其中所述虚拟刺激是在中间功率状态下被提供的,所述中间功率状态比所述低功率状态消耗更多的功率并且比所述高功率状态消耗更少的功率。
19.根据权利要求17所述的显示系统,其中通过对所述虚拟刺激有反应的用户的眼睛运动和头部运动中的一者或多者,所述用户响应标准被满足。
20.根据权利要求17所述的显示系统,其中当用户响应与所述虚拟刺激定向相关联并且所述用户响应包括眼睛运动、头部运动或者所述眼睛运动和所述头部运动的组合中的一者时,所述用户响应标准被满足。
21.一种显示系统,包括:
头戴式显示单元,所述头戴式显示单元被配置为提供内容,所述头戴式显示单元能够在低功率状态和高功率状态下操作;以及
唤醒控制系统,所述唤醒控制系统用于确定何时在所述高功率状态下操作所述头戴式显示单元,所述唤醒控制系统被配置为:
利用所述头戴式显示单元的第一传感器评估初始唤醒标准,
利用所述头戴式显示单元的第二传感器评估用户响应标准,以及
在满足所述用户响应标准时,在所述高功率状态下操作所述头戴式显示单元,
其中通过声音条件和运动条件的组合,所述用户响应标准被满足。
22.根据权利要求21所述的显示系统,其中所述声音条件为呼吸声音,并且所述运动条件为用户的头部运动。
23.根据权利要求21所述的显示系统,其中通过评估包括用户吸气和呼气模式的呼吸标准,所述用户响应标准被满足。
24.一种显示系统,包括:
头戴式显示单元,所述头戴式显示单元被配置为提供内容,所述头戴式显示单元能够在低功率状态和高功率状态下操作;以及
唤醒控制系统,所述唤醒控制系统用于确定何时在所述高功率状态下操作所述头戴式显示单元,所述唤醒控制系统被配置为:
向用户呈现唤醒标准的列表,
从所述用户接收对所述唤醒标准中的至少一个唤醒标准的选择,
利用所述头戴式显示单元的第一传感器评估所选择的唤醒标准,
利用所述头戴式显示单元的第二传感器评估用户响应标准,以及
在满足所述用户响应标准时,在所述高功率状态下操作所述头戴式显示单元。
25.根据权利要求24所述的显示系统,其中唤醒标准的所述列表包括眼睛运动、头部运动或声音。
26.根据权利要求24所述的显示系统,其中唤醒标准的所述列表包括用户唤醒标准、环境唤醒标准或通信唤醒标准。
27.一种显示系统,包括:
头戴式显示单元,所述头戴式显示单元被配置为提供内容,所述头戴式显示单元能够在低功率状态和高功率状态下操作;以及
唤醒控制系统,所述唤醒控制系统用于确定何时在所述高功率状态下操作所述头戴式显示单元,所述唤醒控制系统被配置为:
向用户呈现唤醒标准的列表,
从学习的用户的行为评估所述唤醒标准的唤醒精度,
利用所述头戴式显示单元的第一传感器评估所述唤醒标准,
利用所述头戴式显示单元的第二传感器评估用户响应标准,以及
在满足所述用户响应标准时,在所述高功率状态下操作所述头戴式显示单元。
28.根据权利要求27所述的显示系统,其中根据当所述头戴式显示器在所述高功率状态下被操作时从所述用户接收到的指令,所述唤醒精度被确定。
29.根据权利要求28所述的显示系统,其中从所述用户接收到的所述指令指示针对所述头戴式显示器在所述高功率状态下的操作的用户意图。
30.根据权利要求28所述的显示系统,其中从所述用户接收到的所述指令包括退出所述高功率状态的用户指令。
31.根据权利要求28所述的显示系统,其中从所述用户接收到的所述指令包括没有用户输入的情况下的时间流逝。
32.一种显示系统,包括:
头戴式显示单元,所述头戴式显示单元被配置为提供内容,所述头戴式显示单元能够在低功率状态和高功率状态下操作;以及
唤醒控制系统,所述唤醒控制系统用于确定何时在所述高功率状态下操作所述头戴式显示单元,所述唤醒控制系统被配置为:
利用所述头戴式显示单元的第一传感器评估初始唤醒标准,
利用所述头戴式显示单元的第二传感器评估用户响应标准,以及
在满足所述用户响应标准时,在所述高功率状态下操作所述头戴式显示单元。
33.根据权利要求32所述的显示系统,其中所述初始唤醒标准是根据一天中的时间、位置、声音和活动中的至少一者以变化的时间频率而被评估的。
CN202410195775.2A 2018-08-31 2019-07-18 显示系统 Pending CN117991885A (zh)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201862725529P 2018-08-31 2018-08-31
US62/725,529 2018-08-31
US16/448,586 2019-06-21
US16/448,586 US11726324B2 (en) 2018-08-31 2019-06-21 Display system
CN201910651466.0A CN110874129B (zh) 2018-08-31 2019-07-18 显示系统

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
CN201910651466.0A Division CN110874129B (zh) 2018-08-31 2019-07-18 显示系统

Publications (1)

Publication Number Publication Date
CN117991885A true CN117991885A (zh) 2024-05-07

Family

ID=69641248

Family Applications (2)

Application Number Title Priority Date Filing Date
CN201910651466.0A Active CN110874129B (zh) 2018-08-31 2019-07-18 显示系统
CN202410195775.2A Pending CN117991885A (zh) 2018-08-31 2019-07-18 显示系统

Family Applications Before (1)

Application Number Title Priority Date Filing Date
CN201910651466.0A Active CN110874129B (zh) 2018-08-31 2019-07-18 显示系统

Country Status (2)

Country Link
US (2) US11726324B2 (zh)
CN (2) CN110874129B (zh)

Families Citing this family (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20230042141A (ko) 2014-08-02 2023-03-27 애플 인크. 상황 특정 사용자 인터페이스
US10452253B2 (en) 2014-08-15 2019-10-22 Apple Inc. Weather user interface
WO2016144385A1 (en) 2015-03-08 2016-09-15 Apple Inc. Sharing user-configurable graphical constructs
EP4321088A3 (en) 2015-08-20 2024-04-24 Apple Inc. Exercise-based watch face
DK179412B1 (en) 2017-05-12 2018-06-06 Apple Inc Context-Specific User Interfaces
DK179555B1 (en) 2017-05-16 2019-02-13 Apple Inc. USER INTERFACE FOR A FLASHLIGHT MODE ON AN ELECTRONIC DEVICE
US11327650B2 (en) 2018-05-07 2022-05-10 Apple Inc. User interfaces having a collection of complications
KR102599277B1 (ko) * 2018-12-13 2023-11-07 엘지디스플레이 주식회사 터치 센서 디스플레이 장치 및 인터페이스 방법
US20200361452A1 (en) * 2019-05-13 2020-11-19 Toyota Research Institute, Inc. Vehicles and methods for performing tasks based on confidence in accuracy of module output
US10901505B1 (en) * 2019-10-24 2021-01-26 Tectus Corporation Eye-based activation and tool selection systems and methods
CN115552375A (zh) 2020-05-11 2022-12-30 苹果公司 用于管理用户界面共享的用户界面
DK202070625A1 (en) 2020-05-11 2022-01-04 Apple Inc User interfaces related to time
US11482191B2 (en) * 2020-10-08 2022-10-25 Ford Global Technologies, L.L.C Enhanced augmented reality vehicle pathway
CN114566110A (zh) * 2020-11-27 2022-05-31 福州京东方光电科技有限公司 电平转换电路、显示面板的驱动电路及显示装置
US11470281B2 (en) * 2021-01-22 2022-10-11 Sony Group Corporation Rendering con pent on displays in living environment based on environment outside living environment
US20220342514A1 (en) * 2021-04-27 2022-10-27 Apple Inc. Techniques for managing display usage
US11921992B2 (en) 2021-05-14 2024-03-05 Apple Inc. User interfaces related to time
US11619994B1 (en) 2022-01-14 2023-04-04 Tectus Corporation Control of an electronic contact lens using pitch-based eye gestures
US11874961B2 (en) 2022-05-09 2024-01-16 Tectus Corporation Managing display of an icon in an eye tracking augmented reality device
US11756274B1 (en) * 2022-07-07 2023-09-12 Snap Inc. Low-power architecture for augmented reality device
US20240103611A1 (en) * 2022-09-22 2024-03-28 Apple Inc. Method and Device for Waking a Computing System

Family Cites Families (31)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2009076671A2 (en) * 2007-12-13 2009-06-18 Advanced Micro Devices, Inc. Driver architecture for computing device having multiple graphics subsystems, reduced power consumption modes, software and methods
US8482859B2 (en) 2010-02-28 2013-07-09 Osterhout Group, Inc. See-through near-eye display glasses wherein image light is transmitted to and reflected from an optically flat film
US8736516B2 (en) 2010-09-20 2014-05-27 Kopin Corporation Bluetooth or other wireless interface with power management for head mounted display
US8990602B2 (en) * 2010-12-21 2015-03-24 Intel Corporation Apparatus, method, and system for early deep sleep state exit of a processing element
US10083639B2 (en) 2011-02-04 2018-09-25 Seiko Epson Corporation Control device for controlling image display device, head-mounted display device, image display system, control method for the image display device, and control method for the head-mounted display device
EP2490101A1 (en) * 2011-02-18 2012-08-22 Research In Motion Limited System and method for activating an electronic device using two or more sensors
CN103562818A (zh) * 2011-05-31 2014-02-05 惠普发展公司,有限责任合伙企业 唤醒电子设备
US8184067B1 (en) 2011-07-20 2012-05-22 Google Inc. Nose bridge sensor
US9152204B2 (en) * 2012-07-17 2015-10-06 Google Inc. System wakeup based on changes in physical environment
US20150212647A1 (en) 2012-10-10 2015-07-30 Samsung Electronics Co., Ltd. Head mounted display apparatus and method for displaying a content
EP2941769B1 (en) * 2013-01-04 2019-05-08 Kopin Corporation Bifurcated speech recognition
EP2770783B1 (en) * 2013-02-21 2018-06-20 Apple Inc. A wearable information system having at least one camera
JP5853975B2 (ja) 2013-03-15 2016-02-09 ソニー株式会社 画像表示装置及び画像表示方法
EP2801974A3 (en) 2013-05-09 2015-02-18 DSP Group Ltd. Low power activation of a voice activated device
US9285872B1 (en) * 2013-12-12 2016-03-15 Google Inc. Using head gesture and eye position to wake a head mounted device
US9753527B2 (en) * 2013-12-29 2017-09-05 Google Technology Holdings LLC Apparatus and method for managing graphics buffers for a processor in sleep mode
US9159294B2 (en) * 2014-01-31 2015-10-13 Google Inc. Buttonless display activation
KR102161200B1 (ko) 2014-04-21 2020-09-29 삼성전자주식회사 슬립 모드 제어 방법 및 그 전자 장치
US20150360038A1 (en) * 2014-06-13 2015-12-17 Boston Scientific Neuromodulation Corporation Heads-Up Display and Control of an Implantable Medical Device
WO2016017997A1 (en) * 2014-07-31 2016-02-04 Samsung Electronics Co., Ltd. Wearable glasses and method of providing content using the same
CN105573483A (zh) * 2014-11-06 2016-05-11 李妍 头戴式显示装置
US9952652B2 (en) * 2014-12-04 2018-04-24 Htc Corporation Virtual reality system and method for controlling operation modes of virtual reality system
US9779725B2 (en) * 2014-12-11 2017-10-03 Mediatek Inc. Voice wakeup detecting device and method
EP3104252B1 (en) * 2015-06-09 2020-11-11 Nokia Technologies Oy Transition of a head mounted display from operation in a first power mode to operation in a second power mode
EP3109689A1 (en) * 2015-06-22 2016-12-28 Nokia Technologies Oy Transition from a display power mode to a different display power mode
KR20170062876A (ko) 2015-11-30 2017-06-08 삼성전자주식회사 헤드 마운트 장치 및 이에 탈부착 가능한 장치
US10356617B2 (en) * 2017-02-08 2019-07-16 Qualcomm Incorporated Mobile device to provide continuous authentication based on contextual awareness
US10572270B1 (en) * 2017-03-03 2020-02-25 Amazon Technologies, Inc. Wakeup from hibernation state using motion sensor
KR20180128178A (ko) * 2017-05-23 2018-12-03 삼성전자주식회사 콘텐츠를 표시하기 위한 방법 및 그 전자 장치
CN107168539A (zh) * 2017-06-27 2017-09-15 乐视致新电子科技(天津)有限公司 一种设备唤醒方法、装置及电子设备
US11513590B2 (en) * 2018-04-20 2022-11-29 Pcms Holdings, Inc. Method and system for gaze-based control of mixed reality content

Also Published As

Publication number Publication date
US11726324B2 (en) 2023-08-15
CN110874129B (zh) 2024-03-08
US20200073122A1 (en) 2020-03-05
US20230333377A1 (en) 2023-10-19
CN110874129A (zh) 2020-03-10

Similar Documents

Publication Publication Date Title
CN110874129B (zh) 显示系统
CN110968189B (zh) 作为认知控制信号的瞳孔调制
US20220269333A1 (en) User interfaces and device settings based on user identification
CN110866230B (zh) 已认证设备辅助的用户认证
US11782508B2 (en) Creation of optimal working, learning, and resting environments on electronic devices
CN112506336A (zh) 具有触觉输出的头戴式显示器
US20230343049A1 (en) Obstructed objects in a three-dimensional environment
US20230095816A1 (en) Adaptive user enrollment for electronic devices
US20230282080A1 (en) Sound-based attentive state assessment
WO2022212052A1 (en) Stress detection
US20240194049A1 (en) User suggestions based on engagement
US20240200962A1 (en) Providing directional awareness indicators based on context
US20230351676A1 (en) Transitioning content in views of three-dimensional environments using alternative positional constraints
WO2023244515A1 (en) Head-mountable device with guidance features
US20240221301A1 (en) Extended reality assistance based on user understanding
US20240153205A1 (en) Devices, Methods, and Graphical User Interfaces for Providing Computer-Generated Experiences
US20240164677A1 (en) Attention detection
WO2023114079A1 (en) User interactions and eye tracking with text embedded elements
CN117980867A (zh) 基于对照明的生理响应的交互事件
WO2023196257A1 (en) Head-mountable device for user guidance
WO2023043647A1 (en) Interactions based on mirror detection and context awareness
KR20230133356A (ko) 사용자 식별에 기초한 사용자 인터페이스들 및 디바이스설정들
CN117120958A (zh) 压力检测

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination