CN106471419A - 管理信息显示 - Google Patents

管理信息显示 Download PDF

Info

Publication number
CN106471419A
CN106471419A CN201580034722.1A CN201580034722A CN106471419A CN 106471419 A CN106471419 A CN 106471419A CN 201580034722 A CN201580034722 A CN 201580034722A CN 106471419 A CN106471419 A CN 106471419A
Authority
CN
China
Prior art keywords
hmd
eyes
gaze
display
instruction
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201580034722.1A
Other languages
English (en)
Other versions
CN106471419B (zh
Inventor
海斯·索洛斯·拉弗尔
迈克尔·帕特里克·约翰逊
阿洛克·尚德尔
春·亚特·弗兰克·李
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Google LLC
Original Assignee
Google LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Google LLC filed Critical Google LLC
Publication of CN106471419A publication Critical patent/CN106471419A/zh
Application granted granted Critical
Publication of CN106471419B publication Critical patent/CN106471419B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013Eye tracking input arrangements
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/017Head mounted
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/0482Interaction with lists of selectable items, e.g. menus
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0101Head-up displays characterised by optical features
    • G02B2027/014Head-up displays characterised by optical features comprising information/image processing systems
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/017Head mounted
    • G02B2027/0178Eyeglass type
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0179Display position adjusting means not related to the information to be displayed
    • G02B2027/0187Display position adjusting means not related to the information to be displayed slaved to motion of at least a part of the body of the user, e.g. head, eye

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Optics & Photonics (AREA)
  • User Interface Of Digital Computer (AREA)
  • Position Input By Displaying (AREA)

Abstract

一种示例方法,包括:由头戴式设备(HMD)接收与信息事件对应的数据,并且响应于接收到数据,提供与信息事件相对应的指示。该方法进一步包括确定眼睛的注视方向并且确定眼睛的注视方向是与HMD的显示器的位置相对应的向上方向。当戴着HMD时,显示器位于眼睛的前视视场的上周边。该方法进一步包括:响应于确定眼睛的注视方向是向上方向,在显示器中显示与信息事件有关的图形内容。

Description

管理信息显示
相关申请的交叉引用
本公开要求于2014年9月15日提交的美国专利申请No.14/486,360的优先权,通过引用将其整个内容并入到这里。
背景技术
除非本文另有说明,在本节中描述的材料不是本申请中的权利要求的现有技术,并且不因包含在本节中而被承认为现有技术。
诸如个人计算机、膝上型计算机、平板计算机、蜂窝电话、以及无数类型的具有因特网能力的设备这样的计算设备在现代生活的许多方面越来越普遍。随着时间的推移,这些设备供向用户提供信息的方式正变得更智能、更高效、更直观、和/或更不突兀。
计算硬件、外围设备、以及传感器、检测器、图像和音频处理器以及其它技术的小型化趋势已经帮助打开了有时被称为“可穿戴式计算”的领域。尤其是在图像和视觉处理及制作的领域中,已经成为可能的是考虑将图形显示器放置得足够接近穿戴者的(或用户的)眼睛的可穿戴式显示器使得所显示的图像呈现为诸如可以在传统图像显示设备上显示的正常大小的图像。相关技术可以被称为“近眼显示器”。
还可以将具有近眼显示器的可穿戴式计算设备称为“头戴式显示器”(HMD)、“头戴显示器”、“头戴设备”、或者“头戴式设备”。头戴式显示器将一个或多个图形显示器放置为接近穿戴者的一只或两只眼睛。为了在显示器上生成图像,可以使用计算机处理系统。这种显示器可以占据穿戴者的整个视场或者仅占据穿戴者的视场的一部分。此外,头戴显示器可以在尺寸上变化,例如其采用如眼镜式显示器这样的较小形式或者诸如头盔这样的更大形式。
可穿戴式显示器的新兴和预期使用包括用户与增强或虚拟现实实时交互的应用。这种应用可是任务关键的或安全关键的,诸如在公共安全或航空设置中。该应用还可是诸如交互式游戏这样的娱乐性的应用。许多其它应用也是可能的。
发明内容
在示例中,头戴式设备(HMD)可以被配置为接收用于指示信息事件的发生的数据,并且提供简单且不突兀的输入机制以通知并允许用户查看与该事件相对应的内容。这种信息事件的示例可以包括HMD接收电子邮件消息、接收文本(例如SMS或MMS)消息、或者生成系统消息(例如指示低电池电量或者指示安装在HMD上的应用的更新是可用的以供下载)。一旦接收到用于指示信息事件的数据,HMD可以以不突兀的方式通过例如播放某个音频告警(例如蜂鸣声)或显示诸如所接收到的电子邮件的主题行或新闻报道的标题这样的对应内容的小摘要来通知穿戴者。
此后HMD可以“加载”对应内容,并且为穿戴者提供用于根据其偏好来选择忽略指示或访问对应内容的简单机制。尤其是,如果在加载内容的同时穿戴者希望查看与事件相对应的内容,那么用户可以简单地向上扫视HMD的显示器。此后HMD可确定穿戴者朝着显示器向上看,并且响应地显示与该事件相对应的更详细信息(例如完整的电子邮件或文本消息、完整的新闻报道等等)。然而,如果穿戴者不想查看对应信息,那么穿戴者可以简单地忽略该指示。HMD可以确定在提供指示之后阈值持续时间何时流逝,并且响应地停止对该指示的显示和/或播出。此外,当阈值持续时间流逝时,HMD可以“卸载”与事件相对应的内容以便向上扫视将不再使得对应内容将被显示。
在第一示例中,一种方法包括:由头戴式设备(HMD)接收与信息事件对应的数据,其中当穿戴者戴着HMD时HMD的显示器位于穿戴者的眼睛的前视视场的上周边。该方法进一步包括:响应于接收到数据,提供与信息事件相对应的指示;确定眼睛的注视方向;并且确定注视方向是与显示器的位置相对应的向上方向。该方法进一步包括:响应于确定眼睛的注视方向是与显示器的位置相对应的向上方向,在显示器中显示与信息事件有关的图形内容。
在第二示例中,HMD包括处理器、眼睛检测系统、以及显示器,该显示器被布置在HMD上使得当穿戴者戴着HMD时,显示器位于穿戴者的前视视场的上周边。HMD进一步包括用于存储下述指令的计算机可读介质,所述指令当由处理器执行时使得HMD执行功能。该功能包括接收与信息事件相对应的数据,并且响应于接收到数据,提供与信息事件相对应的指示。该功能进一步包括确定眼睛的注视方向并且确定眼睛的注视方向是与显示器的位置相对应的向上方向。该功能进一步包括:响应于确定眼睛的注视方向是向上方向,在显示器中显示与信息事件有关的图形内容。
第三示例包括用于存储下述指令的非暂时性计算机可读介质,所述指令当由HMD执行时使得HMD执行功能。HMD包括当穿戴者戴着HMD时位于穿戴者的眼睛的前视视场的上周边的显示器。该功能包括:接收与信息事件相对应的数据,并且响应于接收到该数据,提供与信息事件相对应的指示。该功能进一步包括:确定眼睛的注视方向并且确定眼睛的注视方向是与显示器的位置相对应的向上方向。该功能进一步包括:响应于确定眼睛的注视方向是向上方向,在显示器中显示与信息事件有关的图形内容。
在第四示例中,提供了一种示例系统。该系统包括当穿戴者戴着该系统时位于穿戴者的眼睛的前视视场的上周边的显示器。该系统进一步包括:用于接收与信息事件相对应的数据的装置;以及用于响应于接收到该数据,提供与信息事件相对应的指示的装置。该系统进一步包括:用于确定眼睛的注视方向的装置;以及用于确定眼睛的注视方向是与显示器的位置相对应的向上方向的装置。该系统进一步包括:用于响应于确定眼睛的注视方向是向上方向,在显示器中显示与信息事件有关的图形内容的装置。
在第五示例中,示例方法包括:由头戴式设备(HMD)接收与信息事件对应的数据。当穿戴者戴着HMD时,HMD的显示器位于穿戴者的眼睛的前视视场的上周边。该方法进一步包括:响应于接收到数据,提供与信息事件相对应的指示。该方法进一步包括:确定眼睛的第一注视方向,其中该第一注视方向与显示器对准。该方法进一步包括:确定眼睛的第二注视方向,其中该第二注视方向不与显示器对准。该方法进一步包括:确定在确定第一注视方向与确定第二注视方向之间的持续时间小于阈值持续时间。该方法进一步包括:响应于确定持续时间小于阈值持续时间,使得不再提供指示。
在第六示例中,HMD包括处理器、眼睛检测系统、以及显示器,该显示器被布置在HMD上使得当穿戴者戴着HMD时显示器位于穿戴者的前视视场的上周边。HMD进一步包括用于存储下述指令的计算机可读介质,所述指令当由处理器执行时使得HMD执行功能。该功能包括:接收与信息事件相对应的数据,并且响应于接收到数据,提供与信息事件相对应的指示。该功能进一步包括:确定眼睛的第一注视方向,其中该第一注视方向与显示器对准。该功能进一步包括:确定眼睛的第二注视方向,其中该第二注视方向不与显示器对准。该功能进一步包括:确定在确定第一注视方向与确定第二注视方向之间的持续时间小于阈值持续时间。该功能进一步包括:响应于确定该持续时间小于阈值持续时间,使得不再提供指示。
第七示例包括用于存储下述指令的非暂时性计算机可读介质,所述指令当由HMD执行时使得HMD执行功能。当穿戴者戴着HMD时,HMD的显示器位于穿戴者的前视视场的上周边。该功能包括:接收与信息事件相对应的数据并且响应于接收到该数据,提供与信息事件相对应的指示。该功能进一步包括:确定眼睛的第一注视方向,其中该第一注视方向与显示器对准。该功能进一步包括:确定眼睛的第二注视方向,其中该第二注视方向不与显示器对准。该功能进一步包括:确定在确定第一注视方向与确定第二注视方向之间的持续时间小于阈值持续时间。该功能进一步包括:响应于确定持续时间小于阈值持续时间,使得不再提供指示。
在第八示例中,示例系统包括当穿戴者戴着该系统时位于穿戴者的眼睛的前视视场的上周边的显示器。该系统进一步包括:用于接收与信息事件相对应的数据的装置;以及用于响应于接收到该数据,提供与信息事件相对应的指示的装置。该系统进一步包括:用于确定眼睛的第一注视方向的装置,其中该第一注视方向与显示器对准。该系统进一步包括:用于确定眼睛的第二注视方向的装置,其中该第二注视方向不与显示器对准。该系统进一步包括:用于确定在确定第一注视方向与确定第二注视方向之间的持续时间小于阈值持续时间的装置。该系统进一步包括:用于响应于确定持续时间小于阈值持续时间,使得不再提供指示的装置。
在第九示例中,示例方法包括:由头戴式设备(HMD)接收与信息事件相对应的数据,其中当穿戴者戴着HMD时,HMD的显示器位于穿戴者的眼睛的前视视场的上周边;响应于接收到数据,由HMD提供与信息事件相对应的指示;由HMD的眼睛检测系统用一个或多个入射光束照射与眼睛相对应的眼睛区域;由眼睛检测系统检测与一个或多个入射光束相对应的一个或多个反射光束的强度;由HMD接收来自HMD的眼睛检测系统的信号,其中该信号表示强度;由HMD确定所接收到的信号与预定信号准则相对应,其中预定信号准则与眼睛的注视方向相对应,所述眼睛的注视方向是与显示器的位置相对应的向上方向;并且响应该确定,由HMD在显示器中显示与信息事件有关的图形内容。
在第十示例中,HMD包括处理器、眼睛检测系统、以及显示器,该显示器被布置在HMD上使得当穿戴者戴着HMD时显示器位于穿戴者的前视视场的上周边。HMD进一步包括用于存储下述指令的计算机可读介质,所述指令当由处理器执行时使得HMD执行功能。该功能包括:接收与信息事件相对应的数据;响应于接收到数据,提供与信息事件相对应的指示;由HMD的眼睛检测系统用一个或多个入射光束照射与眼睛相对应的眼睛区域;由眼睛检测系统检测分别与一个或多个入射光束相对应的一个或多个反射光束;接收来自HMD的眼睛检测系统的信号,其中该信号表示一个或多个反射光束的强度;确定所接收到的信号与预定信号准则相对应,其中预定信号准则与眼睛的注视方向相对应,所述眼睛的注视方向是与显示器的位置相对应的向上方向;并且响应于该确定,在显示器中显示与信息事件有关的图形内容。
第十一示例包括用于存储下述指令的非暂时性计算机可读介质,所述指令当由HMD执行时使得HMD执行功能。当穿戴者戴着HMD时,HMD的显示器位于穿戴者的前视视场的上周边。该功能包括:接收与信息事件相对应的数据;响应于接收到数据,提供与信息事件相对应的指示;由HMD的眼睛检测系统用一个或多个入射光束照射与眼睛相对应的眼睛区域;由眼睛检测系统检测分别与一个或多个入射光束相对应的一个或多个反射光束;接收来自HMD的眼睛检测系统的信号,其中该信号表示一个或多个反射光束的强度;确定所接收到的信号与预定信号准则相对应,其中预定信号准则与眼睛的注视方向相对应,所述眼睛的注视方向是与显示器的位置相对应的向上方向;并且响应于该确定,在显示器中显示与信息事件有关的图形内容。
在第十二示例中,示例系统包括当穿戴者戴着HMD时位于穿戴者的眼睛的前视视场的上周边的显示器。该系统进一步包括:用于接收与信息事件相对应的数据的装置;以及用于响应于接收到该数据,提供与信息事件相对应的指示的装置;用于用一个或多个入射光束来照射与眼睛相对应的眼睛区域的装置;用于检测分别与一个或多个入射光束相对应的一个或多个反射光束的装置;用于接收来自HMD的眼睛检测系统的信号的装置,其中该信号表示一个或多个反射光束的强度;用于确定所接收到的信号与预定信号准则相对应的装置,其中预定信号准则与眼睛的注视方向相对应,所述眼睛的注视方向是与显示器的位置相对应的向上方向;以及用于响应于该确定,在显示器中显示与信息事件有关的图形内容的装置。
通过在适当时参考附图阅读下面的具体实施方式,这些以及其它方面、优点、以及替代对于本领域普通技术人员而言将是显而易见的。
附图说明
图1A图示了根据示例实施例的可穿戴式计算系统。
图1B图示了在图1A中所图示的可穿戴式计算设备的替代视图。
图1C图示了根据示例实施例的另一可穿戴式计算系统。
图1D图示了根据示例实施例的另一可穿戴式计算系统。
图1E、1F和1G是对图1D所示的穿戴者所穿戴着的可穿戴式计算系统的简化说明。
图2是根据示例实施例的计算设备的简化方框图。
图3是对根据说明性实施例的眼睛位置感测系统的简化说明。
图4示出了根据示例实施例的眼睛闪光的说明性图像。
图5是示例方法的方框图。
图6是示例方法的方框图。
图7A图示了未与头戴设备的显示器对准的穿戴者的眼睛的示例注视方向。
图7B图示了与头戴设备的显示器对准的穿戴者的眼睛的示例注视方向。
图8A图示了用于检测眼睛的向上注视方向的注视检测系统。
图8B图示了用于检测眼睛的向下注视方向的注视检测系统。
图8C图示了用于检测眼睛的向前注视方向的注视检测系统。
图9A图示了与信息事件有关的视觉指示。
图9B图示了与信息事件有关的显示信息。
图10是示例方法的方框图。
图11图示了相对于时间而言的示例检测强度信号。
具体实施方式
在这里对示例方法和系统进行描述。应当理解的是词语“示例”、“示例性”、以及“说明性”在这里用于指“用作示例、实例、或者说明”。在这里被描述为“示例”、“示例性”、或者“说明性”的任何实施例或特征不一定被解释为比其它实施例或特征更优选或有利。这里所描述的示例实施例不意味着是限制性的。容易地理解的是如在这里一般描述的且在附图中图示的本公开的方面可以以各种各样的不同配置来布置、替换、组合、分离、以及设计,所有这些都在这里明确地考虑。
I.概述
头戴式设备(HMD)可以执行各种功能,其中一些可以包括经由HMD提供与环境有关的视觉或音频信息、接收电子邮件或文本消息、或者提供与这种消息或信息有关的指示。例如,HMD的相机可以捕获HMD的周围环境内的感兴趣的位置(例如公共汽车站、餐馆、或者博物馆)的图像。HMD可以辨识感兴趣的位置并且提供用于指示出与感兴趣的位置有关的信息可用以经由HMD来提供的音频指示(例如谐鸣声)。
在另一示例中,HMD可以接收电子邮件消息并且在HMD的平视显示器中提供与所接收到的电子邮件消息有关的视觉指示。视觉指示可以包括用于表示消息的一部分的显示文本、消息的发送者、或者对HMD已接收到消息并且该消息可以通过HMD提供的任何其它视觉指示。
在注意到由HMD所提供的音频或视觉指示之后,HMD的用户可能希望查看或听到与传入消息有关的附加细节或者希望被提供与感兴趣位置有关的信息。用于使得HMD提供与传入消息有关的附加细节或者与感兴趣的位置有关的信息的一些方法可以包括HMD检测(i)HMD(经由传感器)可辨识的用户的头部移动或头部姿势以作为提供附加细节的命令,(ii)接收语音命令,或者(iii)接收在HMD的触摸传感器上的触摸输入。然而,这些方法可被认为是低效的、不方便的、或者太显眼的。
替代的,HMD可以提供指示并且此后检测用户的眼睛朝着HMD的平视显示器的向上移动,这指示出用户期望被提供由音频或视觉指示所表示的附加细节。与头部姿势、语音命令、或者触摸输入相比,这可能需要更少的努力或更方便和/或更不显眼。在一些示例中,HMD可以基于在HMD提供了指示之后在预定义的时间窗内检测到向上眼睛移动来提供附加细节。例如,HMD可以提供指示,并且如果在提供指示的五秒内检测到眼睛的向上移动,则HMD可以提供该指示所表示的附加细节。然而,如果HMD在五秒内没有检测到向上眼睛运动,则HMD可以不显示附加细节。此外,如果指示是视觉指示,则HMD可以使得视觉指示在时间窗流逝之后消失。使HMD基于在时间窗口内检测到向上眼睛移动而有条件地提供附加细节这可以降低“假肯定”或者当用户不希望接收附加细节时提供附加细节的可能性。
响应于穿戴者抬头看HMD的显示器,使HMD提供与信息事件有关的附加细节这可以以各种方式有益于穿戴者。在附加细节是视觉的情况下,穿戴者将可能抬头看显示器以查看附加细节而不管HMD接收到使得HMD显示附加细节的什么类型的穿戴者输入。因此,使得响应于向上扫视(upward glance),显示附加细节可以减少穿戴者在查看附加细节时所花费的努力量。此外,基于向上扫视提供附加细节不需要穿戴者以任何方式使用手,这可能允许穿戴者继续穿戴者正在执行中的任何活动。此外,如果穿戴者希望忽略指示并避免提供附加细节,则穿戴者必须简单地避免抬头看HMD的显示器,在这种情况下穿戴者无论如何都更喜欢这样做。
II.示例可穿戴式计算设备
现在对可以实现示例实施例的系统和设备进行更详细地描述。通常,示例系统可以在可穿戴式计算机(还被称为可穿戴式计算设备)的中实现或者可以采取可穿戴式计算机的形式。在示例性实施例中,可穿戴式计算机采取头戴式设备(HMD)的形式或者包括头戴式设备(HMD)。
除其他可能性之外,示例系统可以在诸如移动电话这样的其它设备中实现或者采取其它设备的形式。此外,示例系统可以采取非暂时性计算机可读介质的形式,该非暂时性计算机可读介质具有存储在其上的可由处理器执行的以提供在这里所描述的功能的程序指令。示例系统还可以采取诸如可穿戴计算机或移动电话这样的设备或者这种设备的子系统的形式,所述设备包括此上存储有这种程序指令的这种非暂时性计算机可读介质。
HMD通常可以是能够戴在头上并且将显示器放置在穿戴者的一只或两只眼睛的前面的任何显示设备。HMD可以采取诸如头盔或眼镜这样的各种形式。因而,提及“眼镜”或“眼镜式”HMD,应当理解为是指具有眼镜状框架使得它可以戴在头上的HMD。此外,示例实施例可以是由具有单个显示器或两个显示器的HMD(其可以分别被称为“单目”HMD或“双目”HMD)实现的或者与具有单个显示器或两个显示器的HMD相关联实现的。
图1A图示了根据示例性实施例的可穿戴式计算系统。在图1A中,可穿戴式计算系统采取头戴式设备(HMD)102(还可以被称为头戴显示器)的形式。然而,应当理解的是在不脱离本发明的范围的情况下示例系统和设备可以采取其它类型的设备的形式或者可以在其它类型的设备中或与其相关联地实现。如在图1A中所图示的,HMD 102包括框架元件,该框架元件包括透镜框架104、106和中心框架支撑件108、透镜元件110、112、以及延伸侧臂114、116。中心框架支撑件108和延伸侧臂114、116被配置成分别经由用户的鼻子和耳朵将HMD 102固定到用户的脸上。
框架元件104、106和108以及延伸侧臂114、116中的每一个可以是由固态结构的塑料和/或金属的形成的或者可以是由中空结构的类似材料形成的以允许布线和部件互连通过HMD 102内部路由。其它材料也是可能的。
透镜元件110、112中的每一个中的一个或多个可以是由可适当地显示投影图像或图形的任何材料形成的。透镜元件110、112中的每一个还可以是足够透明的以允许用户透过透镜元件看。对透镜元件的这两个特征进行组合可以促进将投影图像或图形叠加在用户通过透镜元件所感知到的真实世界视图上这样的增强现实或平视显示。
延伸侧臂114、116的每一个可以是分别远离透镜框架104、106延伸的突起,并且可以包括位于用户耳朵后面的部分以将HMD 102固定到用户。延伸侧臂114、116可以通过围绕用户头部的后部延伸而进一步将HMD 102固定到用户。另外或者替代地,例如,HMD 102可以连接到或附接在头戴式头盔结构内。对于HMD的其它配置也是可能的。
HMD 102还可以包括板载计算系统118、图像捕获设备120、传感器122、以及手指可操作触摸板124。板载计算系统118被示为位于HMD 102的延伸侧臂114上;然而,板载计算系统118可以设置在HMD 102的其它部分上,或者可以位于远离HMD 102的位置(例如板载计算系统118可以有线或无线地连接到HMD 102)。板载计算系统118可以包括例如处理器和存储器。板载计算系统118可以被配置为接收来自图像捕获设备120以及手指可操作触摸板124(并且可能的话来自其它感测设备、用户接口、或者两者)的数据并对其进行分析,并且生成由透镜元件110和112输出的图像。
图像捕获设备120例如可以是被配置为捕获静止图像和/或捕获视频的相机。在所说明的配置中,图像捕获设备120位于HMD 102的延伸侧臂114上;然而,图像捕获设备120可以设置于HMD 102的其它部分上。图像捕获设备120可以被配置为以各种分辨率或以不同的帧速率来捕获图像。例如可以将诸如在移动电话或网络摄像机中所使用的相机这样的具有小的形状因数的许多图像捕获设备并入到HMD 102的示例中。
此外,虽然图1A图示了一个图像捕获设备120,但是可以使用更多的图像捕获设备,并且每一个可以被配置为捕获相同视图或者捕获不同视图。例如,图像捕获设备120可以是前向的以捕获用户所感知到的真实世界视图的至少一部分。此后图像捕获设备120所捕获的前向图像可以用于生成计算机所生成的图像看起来与用户所感知到的真实世界视图相交互或者覆盖用户所感知到的真实世界视图这样的增强现实。
示出了传感器122在HMD 102的延伸侧臂116上;然而,传感器122可以位于HMD 102的其它部分上。为了说明的目的,仅示出了一个传感器122。然而,在一个示例实施例中,HMD102可以包括多个传感器。例如,HMD 102可以包括诸如一个或多个陀螺仪、一个或多个加速度计、一个或多个磁力计、一个或多个图像传感器、一个或多个红外传感器、和/或一个或多个麦克风这样的传感器。除了在这里具体确定的传感器之外或者替代在这里具体识别的传感器,还可以包括其它感测设备。
示出了手指可操作触摸板124在HMD 102的延伸侧臂114上。然而,手指可操作触摸板124可以位于HMD 102的其它部分上。此外,在HMD 102上可以存在不止一个手指可操作触摸板。手指可操作触摸板124可以由用户使用以输入命令。手指可操作触摸板124可以经由电容感测、电阻感测、或者表面声波处理以及其它可能性来感测一个或多个手指的压力、位置、和/或移动中的至少一个。除了感测在与板表面相平行的或与板表面在同一个平面上的方向上的移动、与板表面相垂直的方向上的移动、或者这两者之外,手指可操作触摸板124还可以能够同时感测一个或多个手指的移动,并且还可以能够感测施加到触摸板表面上的压力水平。在一些实施例中,手指可操作触摸板124可以是由一个或多个半透明(translucent)或透明的绝缘层以及一个或多个半透明或透明的导电层形成的。手指可操作触摸板124的边缘可以被形成为具有凸起的、凹陷的、或者粗糙的表面以便在用户的手指到达手指可操作触摸板124的边缘或其它区域时向用户提供触觉反馈。如果存在不止一个手指可操作触摸板,则每个手指可操作触摸板可以是独立操作的,并且可以提供不同功能。
在进一步的方面中,HMD 102可以被配置为除了或替代经由手指可操作触摸板124所接收到的用户输入之外还可以以各种方式接收用户输入。例如,板载计算系统118可以实现语音到文本处理并且利用用于将某些口头命令映射到某些动作的语法。另外,HMD 102可以包括一个或多个麦克风,经由这些麦克风可以捕获穿戴者的语音。如此配置,HMD 102可以是可操作的以检测口头命令并且执行与该口头命令相对应的各种计算功能。
作为另一示例,HMD 102可将某些头部移动解释为用户输入。例如,当戴着HMD 102时,HMD 102可以使用一个或多个陀螺仪和/或一个或多个加速度计来检测头部移动。此后HMD 102还可以将诸如点头、或者向上看、向下看、向左看或向右看这样的某些头部移动解释为用户输入。HMD 102还可以根据移动来平移或滚动显示器中的图形。还可以将其它类型的动作映射到头部移动。
作为又一示例,HMD 102可以将某些姿势(例如通过穿戴者的手)解释为用户输入。例如,HMD 102可以通过对来自图像捕获设备120的图像数据进行分析来捕获手部移动并且发起被定义为与某些手部移动相对应的动作。
作为进一步的示例,HMD 102可以将眼睛移动解释为用户输入。尤其是,HMD 102可以包括一个或多个面向内的图像捕获设备和/或用于感测用户眼睛的移动和/或位置的一个或多个其它面向内的传感器(未示出)。因而,可以将某些眼睛移动映射到某些动作。例如,可以将某些动作定义为与眼睛在某个方向上的移动、眨眼和/或挤眼、以及其它可能性相对应。
HMD 102还包括用于生成音频输出的扬声器125。在一个示例中,扬声器可以是还被称为骨传导换能器(BCT)的骨传导扬声器的形式。扬声器125例如可以是振动换能器或者用于响应于电音频信号输入而产生声音的电声换能器。可以将HMD 102的框架设计成使得当用户戴着HMD 102时扬声器125接触穿戴者。或者,可以将扬声器125嵌入在HMD 102的框架内并且将其定位成使得当HMD 102被戴着时扬声器125使接触穿戴者的框架的一部分振动。在任一种情况下,HMD 102可以被配置为向扬声器125发送音频信号,以便可以直接或间接地将扬声器的振动传递到穿戴者的骨骼结构上。当振动通过骨骼结构传到穿戴者的中耳中的骨骼时,穿戴者可将BCT 125所提供的振动解释为声音。
根据具体实现,可以实现各种类型的骨传导换能器(BCT)。通常,被布置成使HMD102振动的任何部件可以作为振动换能器而被并入。更进一步应该理解的是HMD 102可以包括单个扬声器125或多个扬声器。另外,扬声器在HMD上的位置可以根据实现而变。例如,扬声器可以位于靠近穿戴者的太阳穴(如所示)、在穿戴者的耳朵后面、靠近穿戴者的鼻子、和/或在扬声器125可使穿戴者的骨骼结构振动的任何其它位置上。
图1B图示了在图1A中所图示的可穿戴式计算设备的替代视图。如图1B所示,透镜元件110、112可以用作显示元件。HMD 102可以包括与延伸侧臂116的内表面相耦合的并且被配置为将显示器130投影在透镜元件112的内表面的第一投影仪128。另外或者替代地,第二投影仪132可以与延伸侧臂114的内表面相耦合并且被配置为将显示器134投影到透镜元件110的内表面上。
透镜元件110、112可以用作光投射系统中的组合器并且可以包括用于对从投影仪128、132投影到透镜元件上的光进行反射的涂层。在一些实施例中,可以不使用反射涂层(例如当投影机128、132是扫描激光设备时)。
在替代实施例中,还可以使用其它类型的显示元件。例如,透镜元件110、112本身可以包括:诸如电致发光显示器或液晶显示器这样的透明或半透明(semi-transparent)矩阵显示器;用于将图像递送到用户眼睛的一个或多个波导;或者能够将焦点内近眼图像递送到用户的其它光学元件。可以将对应显示驱动器配备在框架元件104、106内以用于驱动这种矩阵显示器。替代地或者另外,激光或LED源和扫描系统可以用于将光栅显示直接绘制到用户眼睛的一个或多个的视网膜上。还存在其它可能性。
在图1B中示出了注视检测系统136(例如接近传感器)包括附接于HMD 102的延伸侧臂114上的光源138以及光传感器140。(注视检测系统136还可以被称为“眼睛检测系统”或“查看方向检测系统”)。除了图1B所示的那些之外,注视检测系统136还可包括一个或多个光源和元件。另外,可以各种其它方式将注视检测系统136固定到HMD 102。例如,光源138可与光传感器140分开安装。作为另一个示例,可将注视检测系统136安装到HMD 102的其它框架元件上,诸如透镜框架104或106、中心框架支撑件108、和/或延伸侧臂116。
图1C图示了根据示例实施例的采取HMD 152形式的另一可穿戴式计算系统。HMD152可以包括诸如参考图1A和1B所描述的那些这样的框架元件和侧臂。HMD 152可以另外包括诸如参考图1A和1B所描述的那些这样的板载计算系统154和图像捕获设备156。示出了将图像捕获设备156安装在HMD 152的框架上。然而,还可以将图像捕获装置156安装在其它位置,或者可以嵌入到框架之中或者否则附接到框架上。
如图1C所示,HMD 152可以包括可以与设备相耦合的单个显示器158。显示器158可以形成在诸如参考图1A和图1B所描述的透镜元件这样的HMD 152的一个透镜元件上,并且可以被配置为将计算机生成的图形覆盖在用户的物理世界的视图中。示出了显示器158设置在HMD 152的透镜中心,然而显示器158可以设置在诸如例如朝向穿戴者的视场的上部或下部这样的其它位置。显示器158可经由计算系统154控制,该计算系统154经由光波导160耦合至显示器158。
图1D图示了根据示例实施例的采取单目HMD 172的形式的另一可穿戴式计算系统。HMD 172可以包括侧臂173、中心框架支撑件174、以及具有鼻梁架175的桥接部分。在图1D所示的示例中,中心框架支撑件174与侧臂173相连。HMD 172不包括包含透镜元件的透镜框架。HMD 172可以另外包括部件壳体176,该部件壳体可以包括板载计算系统(未示出)、图像捕获设备178、和用于操作图像捕获设备178(和/或可用于其它目的)的按钮179。部件壳体176还可以包括其它电气部件和/或在HMD内或HMD上的其它位置与电气部件电连接。HMD172还包括BCT 186。
HMD172可以包括其可以经由部件壳体176与侧臂173中的一个相耦合的单个显示器180。在示例实施例中,显示器180可以是其是由玻璃和/或另一透明或半透明(translucent)材料制成的透视显示器使得穿戴者可透过显示器180看得见他们的环境。此外,部件外壳176可以包括用于显示器180的光源(未示出)和/或将来自光源的光引导到显示器180的光学元件(未示出)以。因而,显示器180可以包括当HMD 172被戴着时使这种光源所生成的光朝着穿戴者的眼睛引导这样的光学特征。
在进一步的方面中,HMD 172可以包括用于对侧壁173的长度进行调节的滑动特征184。因此,滑动特征184可以用于调节HMD 172的适合度。此外,在不脱离本发明的范围的情况下,HMD可以包括允许穿戴者对HMD的适合度进行调节的其它特征。
图1E至1G是对穿戴者190所戴的图1D所示的HMD 172的简化说明。如图1F所示,BCT186被布置为当戴上HMD 172时BCT 186位于穿戴者的耳后。因而,从图1E所示的视角看不到BCT 186。
在所图示的示例中,显示器180可以被布置为当戴着HMD 172时,当用户戴着HMD172时显示器180位于用户眼睛的前面或附近。例如,如图1E所示,显示器180可以位于中心框架支撑件的下方并且在穿戴者的眼睛的中心上方。此外,在所图示的配置中,显示器180可以偏离穿戴者的眼睛的中心(例如使得从穿戴者的视角来看显示器180的中心位于穿戴者眼睛的中心的右侧和上方)。
如图1E至图1G中所示配置的,当戴着HMD 172时,显示器180可以位于穿戴者190的视场的周边。因而,如图1F所示,当穿戴者190向前看时,穿戴者190可以利用其周边视觉看到显示器180。其结果是,当穿戴者的眼睛面向前时,显示器180可以在穿戴者的视场的中心部分之外,因为它通常用于许多日常活动。这种位置可促进与他人的无阻碍的眼睛到眼睛的交谈以及通常在穿戴者的视场的中心部分内提供对世界的无阻碍地观看和感知。此外,当显示器180位于如图所示时,穿戴者190可以通过例如仅使他们的眼睛向上看来查看显示器180(可能没有移动他们的头)。这如图1G所示,其中穿戴者移动他们的眼睛以向上看并且使其视线与显示器180对准。穿戴者还可以通过将他们的头部向下倾斜并且使他们的眼睛与显示器180对准来使用显示器。
图2是根据示例实施例的计算设备210的简化方框图。在示例实施例中,设备210利用链接到远程设备230的通信链路220(例如有线或无线连接)进行通信。设备210可以是可接收数据并显示与该数据相对应或相关联的信息的任何类型的设备。例如,设备210可以采取诸如参考图1A至1G所描述的头戴式设备102、152或172这样的头戴式显示器的形式或包括这样的头戴式显示器。
设备210可以包括处理器214和显示器216。显示器216例如可以是光学透视显示器、光学环视显示器、或者视频透视显示器。处理器214可以接收来自远程设备230的数据并且对要在显示器216上显示的数据进行配置。例如,处理器214可以是诸如微处理器或数字信号处理器这样的任何类型的处理器。
设备210可以进一步包括诸如与处理器214耦合的存储器218这样的板载数据存储器。存储器218例如可以存储可由处理器214访问并执行的软件。
远程设备230可以是被配置为向设备210传送数据的包括膝上型计算机、移动电话、头戴式显示器、平板计算设备等等的任何类型的计算设备或发射器。远程设备230和设备210可以包含诸如处理器、发射器、接收器、天线等等这样的用于使能通信链路220的硬件。
此外,远程设备230可以采取下述计算系统的形式或在计算系统中实现,所述计算系统与诸如计算设备210这样的客户端设备进行通信并且被配置为代表所述客户端设备执行功能。这种远程设备230可以接收来自另一计算设备210(例如HMD102、152或172或者移动电话)的数据,代表设备210执行某些处理功能,并且此后将最终数据发送回设备210。可以将该功能称为“云”计算。
在图2中,通信链路220被图示为无线连接;然而,还可以使用有线连接。例如,通信链路220可以是诸如通用串行总线这样的有线串行总线或并行总线。有线连接还可以是专有连接。通信链路220还可以是使用例如无线电技术、在IEEE 802.11(包括任何IEEE802.11修订版)中所描述的通信协议、蜂窝技术(诸如GSM、CDMA、UMTS、EV-DO、WiMAX、或者LTE)、或者技术、以及其它可能性的无线连接。远程设备230可以经由因特网访问并且可以包括与特定WEB服务(例如社交网络、照片共享、通讯录等等)相关联的计算集群。
III.利用接近传感器来确定眼睛的注视方向
a.用光照射眼睛区域
注视检测系统136(例如接近传感器)可包括一个或多个光源,诸如图1B的光源138或图8A-C的光源854A和854B。这一个或多个光源可由HMD 102控制。在使用时,该光源可照射可以包括穿戴者的眼表、眼睑、以及眼睛周围的脸部的眼睛区域的部分。光源可分别照射眼睛区域的一部分或全部。
如在本公开中所使用的,术语“光源”可包括被配置为提供适合于在穿戴者的眼睛区域附近执行非侵入性反射率测量的电磁(EM)辐射的任何设备或设备集合。EM辐射可是可见光,或者EM辐射可是在人们通常可见的频率范围之外的适当类型的EM辐射。例如,一些实现可使用一个或多个红外光源。因而,如在本公开中所使用的,术语"光"可包括在可见频率范围中的EM辐射以及在可见频率范围之外的EM辐射,这取决于期望的实现以及使用术语“光”的上下文。
在一个示例中,HMD将来自一个或多个光源(诸如图1B的光源138或图8A-C的光源854A和854B)的光提供给眼睛区域。光源可以连续地向眼睛区域的多个部分提供光,或者它们可以间歇地向眼睛区域提供光。例如,光源可在照射与不照射之间循环以便于注视检测系统区别从与相应光源相对应的眼睛区域反射的光。此外,光源的这种循环可帮助注视检测系统区分与相应光源相对应的环境光与反射光信号。在一些实施例中,注视检测系统可包括始终开启和间歇光源二者。
因为不同穿戴者之间的面部结构通常不同,因此一些注视检测系统可以基于所检测到的面部特性来校准光源的方向、位置、以及光斑大小/形状特性。例如,系统可确定从相应光源到眼睛区域的中心的方向(例如使用注视跟踪、闪光检测、视频识别、或者其组合)并且此后改变光源的布置以瞄准在眼睛区域的中心周围的区域。
b.检测从眼睛区域所反射的光
诸如图1B的光传感器140或图8A-C的光传感器852的光传感器可以被布置成感测或检测从穿戴者的眼睛区域所反射的光。例如,参考图1A和1B,当HMD 102被戴上时,光传感器140可以面向穿戴者的眼睛区域并且可以检测由(例如由光源138所提供的反射离开眼睛区域的光)反射光强度的变化所表示的眼睛区域的移动。
光传感器140可被配置为检测诸如反射光的频率和强度这样的反射光的某些方面。还可检测诸如偏振、相干、相位、谱宽、和/或调制这样的其它方面。
光传感器140还可被布置为检测从眼部区域的特定部分所反射的光或者检测来自整个眼部区域的光。另外,光传感器140可以被设计为检测具有诸如例如某个调制频率、光频这样的某些属性的光或者具有特定偏振的光。
光传感器140所检测到的反射光的强度可基于眼部区域的各种位置的特性而改变。尤其是,对于光源138所提供的给定光强度,与当光传感器140被对准以对从眼表(例如巩膜、角膜等等)所反射的光进行检测时相比,当光传感器140被对准以对从眼睛周围的皮肤(包括眼睑)所反射的光进行检测时光传感器140可以检测更大的反射光强度。例如,各种皮肤和眼睛表面可以具有不同的光散射和/或反射特性。因此,光传感器检测到光强度增大可以指示出使占据光传感器的可检测区域的皮肤量增大的眼睛移动。例如,用于对当眼睛睁开时来自眼睛表面的光(相对较少的光)进行检测的光传感器还可对当眼睛闭合时来自眼睑的光(相对较多的光)进行检测。
除了眼睛闭合之外,其它眼睛移动也可通过光传感器所检测到的光强度的增大来指示。与眼睛在向前看的图8C以及眼睛在向下方向上看的图8B相比,在图8A中,眼睛在向上方向上看。因此,当眼睛从图8C中所描绘的向前注视方向转变到图8A中所描绘的向上注视方向时,下眼睑804可以向上移动到光源854B所发射出的光的路之中。因此,光传感器852所检测到的且从光源854B所提供的光的强度可能由于向上眼睛移动而增大,因为与图8C(眼睛向前看)或者图8B(眼睛往下看)所描绘的情况相比,光源854B可以照射更多的皮肤。同时,如图8A所示,来自光源854A的光可以照射眼睛表面(如类似地在图8C中所描绘的),而不会照射眼睑802。因此,源854B所提供的光的强度可以保持不变,而光传感器852从光源854A和854B二者所检测到的总光强可能由于向上眼睛移动而增大,如从图8C至图8A的转变所示。
作为另一示例,图8B示出了在眼睛向下看的情况下与眼睛区域800相交互的注视检测系统850。如图8B所示,穿戴者的上眼睑802已经向下移动到光源854A所发射出的光的路径。因此,光传感器852所检测到的且光源854A所提供的光的强度可能由于注视方向从向前(如图8C)变为向下(如图8B)而增大,因为与图8C所描绘的情况相比,可以照射更多的皮肤。同时,来自光源854B的光仍不照射上眼睑802。因此,从源854B所检测到的总光强将保持不变,并且从两个源所检测到的整体光强可能由于注视方向从向前变为向下而增大。
c.确定注视方向
注视检测系统850和/或HMD 102可以确定用于表示眼睛朝向的所沿着的方向(例如沿着其的以眼睛瞳孔为中心的轴)的注视方向。例如,注视检测系统850所检测到的总光可由于眼睛从向前注视方向(图8C)移动到向上注视方向(图8A)或向下注视方向(图8B)而增大。因此,如果注视检测系统850被配置为区分分别与光源854A和854B相对应的反射光强,则从每个相应光源854A和854B所检测到的反射光强的增大(或减少)可与对应的眼睛移动(例如向下和向上)相关联。
为了便于使光强数据与眼睛移动信息相关联,系统可收集并存储与已知眼睛移动相对应的代表性光强数据。例如,注视检测系统850或HMD 102可以存储用于表示与特定注视方向相对应的光强水平的数据。或者,可搜集用户特定数据。例如,可指示穿戴者遵循校准过程以存储与特定穿戴者的面部特性相关联的特定强度数据。尤其是,HMD102可诸如例如通过音频或文本命令或者通过在穿戴者应看的方向上显示指示符来提示该穿戴者在不同的方向上查看,并且此后注视检测系统850和/或HMD 102可存储用于表示当穿戴者在不同方向上查看时从穿戴者的眼睛区域所检测到的光强的数据。可以对HMD 102的新的穿戴者重复该校准过程。
IV.利用反射闪光来确定眼睛的注视方向
根据示例实施例,诸如HMD这样的可穿戴式计算设备可以实时地使用眼睛位置感测以向HMD上的一个或多个应用或程序提供输入。例如,应用可以使用眼睛注视方向和/或眼睛运动来控制显示器上的视觉光标。眼睛位置感测还可以向诸如服务器这样的与HMD通信式相连但在其外部的计算设备上运行的一个或多个应用或程序提供输入。应该注意的是贯穿本公开“观看方向”或“眼睛位置”可以与"注视方向"等同地使用。
a.眼睛位置感测
眼睛位置感测可以包括一个或多个检测和/或测量操作以获得包含用于指示眼睛移动及一个或多个眼睛的其它可观察特征和特性的信息的眼睛位置数据。眼睛位置感测还可以包括一个或多个分析操作以对数据进行分析以例如确定适合于由应用输入的或由用户解释的形式的眼睛位置、眼睛移动、以及一个或多个眼睛的其它可观察特征和特性。
感测和/或测量可以由诸如视频相机这样的被配置成观察和/或测量位置、移动、以及一个或多个眼睛的可能其它特性的眼睛感测设备来执行。对眼睛感测数据的分析可以由HMD的一个或多个处理器、用于经由通信连接接收来自HMD的眼睛感测数据的在HMD外部的服务器(或其它计算设备或平台)、或者例如以分布式方式一起工作的这两者来执行。
眼睛感测数据可以包括与眼睛感测设备的输出相对应的眼睛感测或注视信号,诸如来自眼睛感测视频相机的视频流。因而,眼睛感测信号表示眼睛感测设备对一个或多个眼睛的观察的编码形式。例如,注视信号可是对模拟测量信号的数字化编码。应当理解的是包括已知类型的流视频的其它形式的注视信号也是可能的。眼睛感测数据可以包括诸如时间戳、校准标度、参数、或者在对眼睛感测数据的分析中所使用的其它辅助信息这样的附加信息。
根据示例实施例,由眼睛感测设备所获得的且输出为眼睛感测信号的可观察量可以用于确定诸如角运动的范围和角运动的速度这样的眼睛移动的动态特性。从大样本的不同人获得这种眼睛移动特性可以提供用于确定动态特性的频率(或概率)分布的基础。另外,对大样本的不同人的诸如眼睛的质量、眼睑的质量、以及眼睛的各个组成部分的尺寸大小这样的物理特性的测量可以类似地提供用于确定这些物理特性的频率(或概率)分布的基础。总之,各种分布可以用于导出或计算眼睛移动的模型,该模型例如包括眼睛移动的已知的或已计算的速度和/或幅度范围、通过眼睑可施加在眼睛上的已知的或已计算的力。此后,该模型可以形成用于评估随后对眼睛运动的观察的基础。
进一步尤其是,经由对眼睛感测数据的时域分析可以确定诸如存在于眼睛感测信号中的眼睛移动和位置这样的动态性能。说明性地,这种动态性能可以包括与凝视和扫视有关的细节。更进一步地,与凝视和扫视有关的细节可以包括例如幅度、方向、持续时间、速度等。一旦模型被开发,它可用于评估眼睛运动的运行时间测量的可靠性。尤其是,产生超出模型指定为物理现实的极限的运动的注视信号可以被认为是不可靠的。
通常,眼睛感测视频相机可以捕获视频帧,每一个视频帧包含二维像素阵列形式的图像。因而,每个图像可以包括对眼睛的像素渲染。眼睛的物理特性和移动可以是根据一个或多个这种图像确定的。例如,可以通过分析诸如瞳孔这样的眼睛特征在图像平面中的位置如何跨连续视频帧而变化,来确定眼睛的移动。通过使诸如像素平面大小以及视频相机距所观察的眼睛的距离这样的几何参数相关可以将跨视频帧的像素位置的变化转换成眼睛的角运动(位置以及位置的变化率)。
按照相关方式,通过使一个或多个已知的受控光源(诸如LED)位于相对于观察中的一个或多个眼睛的校准位置,并且此后通过捕获反射离开一个或多个眼睛的光源的视频图像,随着一个或多个眼睛的移动,连续的视频帧可以捕获在图像平面中的反射的移动。利用已知的受控光源以及一个或多个眼睛的相对几何形状,可以将所观察到的在图像平面中的反射的移动转换为一个或多个眼睛的移动。已知的受控光源的反射被称为受控闪光。
进一步根据示例实施例,眼睛感测可以使用眼睛特征观察和受控闪光以确定眼睛移动和位置,可能地以及一个或多个眼睛的其它性质和特性。
图3是根据示例实施例的对利用受控闪光的眼睛感测的概念性说明。图3的左手侧(标记为“(a)”)示出了相对于在相对于眼睛的固定位置处的LED 301的三个不同角度取向上的眼睛的示意性表示:眼睛302-a-1(左上)略微向上注视;眼睛302-a-2(上部中间)水平注视;并且眼睛302-a-3(左下)略微向下注视。对于每个取向而言,LED 301(在相对于眼睛的固定位置处)创建了离开眼睛的受控的闪光;来自LED 301的光被分别表示为从LED 301朝向眼睛的实线箭头。对于眼睛的每个取向,将在眼睛上的不同位置上检测到闪光。眼睛上的每个不同位置可以被概念性地表示为在例如可以是眼睛感测相机的一部分的像素阵列306中的不同位置上的检测。这被示出在眼睛的右边;在每个图像中,黑点表示对对应的眼睛取向所检测到的受控闪光:对顶部取向检测到的闪光308-a-1;对中间取向检测到的闪光308-a-2;以及对底部取向检测到的闪光308-a-3。应当理解的是在像素阵列中所检测到的闪光的相应位置说明了眼睛相对于LED 301而言的不同取向导致通过不同像素进行的检测。然而,所示的特定位置不一定旨在表示对在像素阵列306中实际检测到闪光的位置的精确或真实渲染,而是说明了用于使图像平面中的眼睛移动与闪光运动相关联的概念。此外,根据示例实施例,像素阵列306中的位置可以被分析地映射到眼睛取向。
根据示例实施例,每个像素阵列306可以与视频信号的帧相对应。此后,眼睛感测信号可以被认为是每个帧的编码像素位置和值,其包括与当前说明性示例的分别检测到的闪光308-a-1、308-a-2和308-a-3相关联的像素位置和值。此后对眼睛感测信号的分析可以包括确定与分别检测到的闪光相关联的像素位置和值并且对每个图像重建眼睛的角取向。逐帧图像数据还可以用于测量眼睛的角速度(例如扫视)。应该理解的是为了本说明的目的简化了对数据获取和分析的描述,并且在实施中可以存在其它步骤。
图4是根据示例实施例的对利用眼睛的图像进行眼睛感测的概念性说明。图4中的描绘与图3相似,但是图形元素用参考400的数字重新标记。图4的左手侧(标记为“(a)”)再次示出了相对于在相对于LED 301的固定位置处的三个不同角取向上的眼睛的示意性表示:眼睛402-a-1(左上)略微向上注视;眼睛402-a-2(上部中间)水平注视;并且眼睛402-a-3(左下)稍微向下注视。对于该示例技术,眼睛感测信号捕获眼睛的虹膜和瞳孔的图像。眼睛在角位置402-a-1402-a-2、以及402-a-3上的图像被在图像平面406中捕获,并且分别出现在位置408-a-1、408-a-2、以及408-a-3处。
根据示例实施例,对眼睛感测信号的分析包括下述一个或多个处理,所述一个或多个处理用于辨识每个图像中的虹膜和/或瞳孔并且根据虹膜和/或瞳孔跨连续图像帧的位置变化来分析地重建眼睛位置和运动(例如扫视)。在当前示例中,三个像素阵列图像示出了虹膜/瞳孔在图像平面上的移动。
从眼睛感测相机所得到的信息可以采取眼睛感测信号或注视信号的形式,并且可以用作一个或另一过程或程序的输入。举例来说,注视信号可以作为数字化数据流而提供。
在实施中,由于眼睛漂移、震颤、和/或无意识微扫视所引起的抖动可能会导致噪声注视信号。当对这种噪声注视信号进行分析以恢复所观察到的眼睛运动时,噪声注视信号可能会导致对眼睛移动的不准确或不可靠的测量。
可以将平滑滤波器和/或卡尔曼滤波器应用于注视信号以帮助减少由于这种抖动所引入的噪声。然而,在快速眼睛移动(扫视)期间,滤波器可能对数据进行过度地平滑。为了避免对凝视信号进行过平滑,当检测到大的移动(例如扫视)时,可以对滤波器进行重新初始化。该初始化可以是作为用于检查典型眼睛移动特性的信号的分析过程的一部分来完成的。
由于检测到大的眼睛移动而禁用过滤器这假定所检测到的眼睛移动是准确或可靠的。然而,在一些情况下,可能从不可靠的注视信号检测到大的眼睛移动。例如,眼睛移动可能不是物理上合理或正常的。在这种情况下,应当评估该眼睛移动以确定注视信号本身是否是错误的或不可靠的。
b.确定错误的或不可靠的眼睛感测信号
在实施中可能会出现各种原因的错误或不可靠的眼睛感测信号。一个示例是过度的环境光,其可以被说明为基于受控闪光而用于眼睛感测。进一步尤其是,设备可以检测和/或测量除一个或多个眼睛的已知特征和/或来自一个或多个眼睛的受控闪光之外的其它可观察量。一些其它可观察量可能不一定有助于眼睛感测的过程。环境光的存在可以直接被眼睛感测视频相机检测到,或者可以被检测为离开一个或多个眼睛的虚假反射(spurious reflection)。因此,眼睛感测信号可以包括来自环境光的影响。在对用于眼睛移动和位置(可能地以及一个或多个眼睛的其它可观察特性和性质)的眼睛感测信号的分析的上下文中,环境光可以表现为干扰,并且可以在分析确定过程中引入一定程度的不确定性。
有时可能会发生来自环境光的干扰水平可能足够高以致使眼睛感测数据或对眼睛感测数据的分析在统计上是不可靠的。当这种情况发生时,使用眼睛感测作为一个或多个应用的输入可能会产生那些一个或多个应用的不希望或错误的行为。
在图3的右手侧(并且标记为"(b)")图示了环境光干扰的影响的示例。在该示例中,重新标记为眼睛302-b-1、302-b-2和302-b-3的眼睛的取向与上面对图3的左手侧(a)所描述的那些取向相同。同样地,照明LED 301和像素阵列图像306也与图3的左手侧(a)相同。然而,举例来说,现在存在由灯泡310所表示的环境光源。射在眼睛上的环境光被表示为在每个取向中指向眼睛的虚线箭头。
在环境光干扰的该示例中,重新标记为闪光308-b-1、308-b-2和308-b-3的反射闪光出现在相应像素阵列图像中的相同位置。然而,现在在来自灯泡310的环境光所生成的每个图像中存在虚假特征(未标记)。这种特征可以模仿受控的闪光并且降低了用于从闪光的像素位置和像素值重建眼睛移动和位置的分析的可靠性。这种虚假特征影响从受控闪光重建眼睛感测的可靠性的程度可以取决于是否以及如何将它们与合法的受控闪光区别开。
作为示例,如果虚假特征在图像中看起来像闪光一样亮,则可能不能将受控闪光与虚假特征区别开来。在这种情况下,环境光干扰可能会导致错误和/或不可靠的眼睛感测。
在图4的右手侧(并且被标记为“(b)”)中所说明的环境光干扰的影响的另一示例示出了来自由太阳410所表示的强光源的环境光干扰。在该示例中,环境光有效地冲掉图像,而使得甚至不能识别出瞳孔/虹膜特征。如同在图3所说明的示例一样,可能会导致错误和/或不可靠的眼睛感测信号。
虽然不是必须在图3和图4中说明,但是可能存在错误和/或不可靠的眼睛感测信号的其它原因。例如,不是由于扫视或其它自然眼睛运动所引起的用户所戴的HMD的振动(例如当用户乘坐地铁时),可以导致眼睛感测设备与用户的眼睛之间的相对移动。如果这种相对移动过大,则捕获移动的眼睛感测信号可能变得不可靠。错误和/或不可靠的眼睛感测信号的其它来源或原因也是可能的。
根据示例实施例,例如,通常如上所述的,可以通过将从信号所得到的眼睛移动与基于眼睛的物理特性的眼睛移动的模型进行比较来分析地评估眼睛感测或注视信号。尤其是,眼睛的物理特性可以用于设置眼睛移动的参数值。该参数可以设置关于从实际眼睛感测信号所得到的测量变量的范围或阈值,从而定义眼睛移动的规则。说明性地,眼睛移动的规则可以包括例如:(a)在凝视期间的最小和最大眼睛移动(例如角度在1与4度之间变化);(b)在扫视期间的最小和最大眼睛移动(例如角度在1与40度之间,典型为15-20度);(c)扫视移动的最小和最大持续时间(例如持续时间在约30ms和120ms之间);(d)在凝视之间眼睛移动的最大发生频率(例如眼睛每秒不移动多于十次);(e)连续扫视移动之间的最小持续时间或不应期(例如两个连续扫视移动间隔约100-200ms);(f)凝视的最大持续时间(例如凝视持续小于约600ms);(g)扫视的幅度、持续时间、和/或速度之间的关系(例如幅度与持续时间之间或幅度与速度之间的大致线性关系);和/或诸如眼球移出头部或者转动太远而进入头部这样的其它不成立的眼睛移动结果。还可以定义其它规则和相关联的眼睛移动参数。
可以将所测量的变量与模型参数进行比较以确定眼睛感测信号是否对应于违背规则的眼睛移动。如果眼睛感测信号违背规则,则可以将所得到的眼睛移动视为是非物理的眼睛移动,而在这样的情况下认为该眼睛感测信号是错误的或不可靠的。响应于确定眼睛感测信号是或已变为错误的或不可靠的,则使用该信号的系统(例如HMD)可以结合例如使用注视信号作为输入的过程、程序、或者应用而采取一个或多个校正和/或回避动作。
c.眼睛感测的适应操作
根据示例实施例,可以使得HMD暂停或终止受到错误或不可靠眼睛感测信号影响的一个或多个应用或者提议或建议暂停或终止受到错误或不可靠眼睛感测信号影响的一个或多个应用。此外,HMD所呈现或发出的通知、告警、提议、和/或建议可以被认为是指向HMD的用户的,虽然其它类型的接收者也是可能的。
更具体地,当眼睛感测信号被视为是错误的或不可靠的时,可以采取一个或多个校正、补偿、预防、或者抢先动作。可能的动作例如包括关闭卡尔曼滤波器(或其它滤波器)、重新校准眼睛感测系统、和/或向用户告警或通知不可靠的眼睛感测信号等等。告警或通知可以采取文本消息、视觉提示、可听提示、或者在HMD上的一些其它呈现的形式。
告警或通知可以进一步指示出哪些应用(如果有的话)受到错误或不可靠的眼睛感测信号的影响。这种通知还可以识别使用眼睛感测作为输入的一个或多个应用。该识别可用于发出一个或多个应用可能会错误运行或者应暂停或终止使用一个或多个应用的进一步通知。替代地或者另外,一旦确定了错误眼睛感测信号,则可以暂停一个或多个应用的操作,或者可以进行暂停或终止受到错误或不可靠眼睛感测信号影响的一个或多个应用的提议。
此外,由HMD呈现或发出的通知、告警、提议、和/或建议可以被认为是指向HMD的用户的,虽然其它类型的接收者也是可能的。
进一步根据示例实施例,通知可以包括对为减小或消除过度的环境光干扰水平而应采取的一个或多个校正动作的指示。例如,该指示可以是将HMD重新定向成离开干扰光的源。替代地或者另外,该指示可以是为HMD或HMD的眼睛感测设备遮挡干扰光。
根据示例性实施例,一旦确定错误的眼睛感测信号的噪声水平已经下降到阈值水平之下,则可以恢复使用眼睛感测以作为一个或多个应用的输入。还可以发布恢复的通知。如果暂停使用输入是自动的(例如没有活动的用户交互),那么恢复也可以是自动的。
V.示例方法和系统
图5是根据这里所描述的至少一些实施例的用于描绘示例方法500的方框图。
在块502,方法500包括由头戴式设备(HMD)接收与信息事件相对应的数据。当穿戴者戴着HMD时,HMD的显示器可以位于穿戴者的眼睛的前视视场的上周边。例如,图1E的HMD172可以利用图2的通信链路220来接收来自远程设备230(例如服务器)的与信息事件相对应的数据。该数据可以与HMD所接收到的消息(例如电子邮件、SMS、或者MMS)有关。在一些示例中,HMD 172还可以被配置为接收可能与在HMD 172上运行的应用(例如社交媒体应用)相关联的“推送通知”。在该示例中,HMD 172可以向服务器提供待命命令(standing command)以提供推送通知并且HMD 172可以被配置为在推送通知被提供时接收这样的推送通知。
或者,数据可以是由图2的处理器214从诸如用于监测HMD的电池中剩余的能量的量的电池计这样的HMD 172的传感器接收到的。在这里,数据可以包括用于指示出电池中剩余的储存能量的量很低的信息。在另一示例中,HMD可以使得HMD的相机捕获穿戴者的周围环境(例如地标)的图像。此后HMD可以将图像发送到服务器。服务器可以访问与地标有关的信息并且可以将与地标有关的信息发送到HMD(以呈现给穿戴者)。信息事件的其它示例是可能的。
在块504,方法500包括:响应于接收到该数据,提供与信息事件相对应的指示。该指示(例如由HMD提供)可以是音频指示、视觉指示、或者振动指示。例如,音频指示可以包括由HMD的扬声器或骨传导换能器所提供的谐鸣声、蜂鸣声、或者铃声。振动指示可以包括由扬声器、骨传导换能器、或者被配置为产生HMD的穿戴者可察觉到的振动脉冲的HMD的任何其它部件所提供的振动。作为另一示例,在图9A中图示了与传入电子邮件消息有关的视觉指示900。该视觉指示900可以包括诸如电子邮件消息的发送者以及主题这样的信息(其它示例是可能的)。然而,可以从视觉指示900省略掉诸如电子邮件消息的正文这样的更详细的信息。视觉指示还可以包括闪烁的或者点亮的LED,或者当穿戴者的眼睛朝向与HMD的显示器对准(或不对准)的注视方向上时在HMD的显示器内的在穿戴者的视场内可感知到的明显的或明亮的图像。
参考作为示例的图7A,穿戴者190可以使她的眼睛基本上对准她的前面(例如在注视方向上或者在基本上与地面平行的视线183中)使得HMD 172的显示器180所显示的图像181可以仅在她的周边视场内是可感知到的。取决于HMD 172是如何实现的,HMD 172所提供的视觉指示可以在穿戴者的周边视场内是可见的(例如作为显示器180所显示的图像181的一部分)或者可以或许作为点亮的LED 701而在她的直接视线183附近是可见的。
参考作为示例的图7B,穿戴者190可能已移动她的眼睛来以向上的角度(例如相对于与地面平行的平面)对准使得图像181沿着她的新视线183是可感知到的。取决于HMD 172是如何实现的,HMD 172所提供的视觉指示可以在穿戴者的周边视场内是可见的(例如点亮的LED 701在显示器180所显示的图像181下面是可见的)或者可以或许作为显示器180所显示的图像181的一部分而在她的直接视线183附近是可见的。
在另一示例中,HMD可以与诸如具有网络功能的或蓝牙兼容的耳机、手表、平板计算机、膝上型计算机、或者智能电话这样的另一计算设备通信式地相耦合。方法500可以包括用于使计算设备与HMD通信式地相耦合以提供下述指示的HMD,所述指示可以包括上面预期的任何类型的指示。
在块506,方法500包括确定眼睛的注视方向。可以利用在图3和图4中所描绘的或者在上面的部分III和IV中所描述的系统或方法中的任何一个来确定眼睛的注视方向。参考作为示例的图8C,光源854A和854B可以照亮眼睛区域800。光传感器852可以检测分别与光源854A和854B所提供的光相对应的反射光。注视检测系统850或HMD可以基于光传感器852所检测到的光来以各种方式确定眼睛的注视方向。
在一些示例中,代替确定眼睛的注视方向,HMD可以检测或感测穿戴者所执行的各种眼睛姿势。例如,HMD可以检测穿戴者的眼睛的眨动或眨眼。在这种情况下,HMD可以响应于检测或感测到眨动或眨眼姿势,在显示器中显示与信息事件有关的图形内容。眼睛姿势的其它示例是可能的。
在块508,方法500包括确定眼睛的注视方向是与HMD的显示器的位置相对应的向上方向。当HMD被戴着时,显示器位于眼睛的前视视场的上周边。HMD 172可以通过将和当前注视方向相关联的光传感器数据或接近传感器数据与和已知向上注视方向相关联的存储数据进行比较来确定眼睛的当前注视方向是向上方向。通常,可以利用在3和图4中描绘的或者在上面的部分III和IV中所描述的系统或方法中的任何一个来确定眼睛的注视方向。
图7B描述了与HMD 172的显示器180对准的穿戴者190的眼睛的注视方向,其中显示器180位于眼睛的前视视场的上周边。如图7B所示,当穿戴者向上看时,显示器180可以显示具有与穿戴者的视线183基本对准的明显位置的图像181。然而在图7A中,显示器180向穿戴者190显示明显位于穿戴者190的眼睛的前视视场的上周边的图像181(例如如视线183所指示的当穿戴者向前看时)。
在一些情况下,HMD可以确定所确定的眼睛的注视方向已经持续至少阈值持续时间(例如2秒)以便(i)提高注视方向确定的准确度或者(ii)提高在使用HMD的显示器以提供与该指示有关的更多详细信息之前HMD的穿戴者对所提供的指示感兴趣的置信度水平。如在这里所使用的,“与HMD的显示器对准”的注视方向可以包括立体角的范围,该立体角的范围包括以显示器为中心的注视方向。不“与HMD的显示器对准”的注视方向可以在立体角的范围之外。
在块510,方法500包括:响应于确定眼睛的注视方向是向上方向,则在显示器中显示与信息事件有关的图形内容。如在图9B中所图示的,如果所接收到的数据表示电子邮件消息,则所显示的图形内容902可以包括表示电子邮件消息的正文的内容的文本。如果所接收到的数据表示与穿戴者的周围环境(例如地标)有关的信息,则图形内容可以包括与地标有关的或者用于描述地标的成像或文本。如果所接收到的数据表示来自HMD的电池计的用于指示出HMD的电池以低储存能量运行的消息,则图形内容可以包括用于指示电池以低的储存能量运行的文本或成像。
在确定了眼睛的注视方向之后,方法500可以进一步包括:(i)确定在确定注视方向与提供指示的相应时间之间未流逝阈值持续时间,并且(ii)至少部分地基于确定在相应时间之间未流逝阈值持续时间来显示图形内容。例如,可以根据块504来提供指示,并且HMD的穿戴者可以在所提供的指示的5秒内将她的注视指向HMD的显示器。如果阈值持续时间为10秒,则HMD可以确定从提供指示起未流逝阈值持续时间,并且此后一旦检测到确定注视与显示器对准则显示与指示有关的图形内容。然而,如果在指示被提供之后并且在穿戴者将其注视指向显示器之前过去了12秒,则可以不显示图形内容(至少在穿戴者没有提供用于指示出希望观看图形内容的其它输入的情况下不显示图形内容)。
在另一示例中,方法500可以包括(i)确定从提供指示起已经过去了预定持续时间并且(ii)在显示图形内容之前,基于确定从提供指示起已经过去了预定持续时间而停止提供指示。在这样的示例中,指示可以在过去了预定持续时间之后消退,但是在停止提供指示之后可能存在另一时间窗,在该另一时间窗期间穿戴者可以抬头看显示器以使得显示图形内容。例如,在从最初提供指示起过去了5秒之后,HMD可以停止提供指示。此后在HMD停止提供通知之后的2秒,用户可以使她的注视指向显示器。在这种情况下,如果预定持续时间是8秒,则HMD可以显示图形内容,但是如果预定持续时间是11秒,则在没有由穿戴者提供的进一步输入的情况下可以不提供图形内容。
在确定了(第一)注视方向之后,方法500可以进一步包括确定不与HMD的显示器对准的眼睛的第二注视方向,并且响应于确定第二注视方向,使显示器不包括图形内容(例如从显示器移除图形内容)。例如,在提供指示之后,穿戴者可以使其注视对准朝向HMD的显示器以查看所显示的图形内容。在某一时刻,穿戴者可以完成阅读或查看所显示的图形内容并且使她的注视指向离开HMD的显示器。一旦确定不与显示器对准的第二注视方向,HMD可以从显示器移除图形内容并且还可以禁用显示器以节能并且使得穿戴者可以能够透过整个显示器观看。
在一些示例中,通过校准过程可提高注视检测的准确性。为此,方法500可以包括HMD向穿戴者提供用于请求与HMD的显示器对准的穿戴者的眼睛的注视方向的消息。当穿戴者已经使其注视对准朝向显示器时,HMD(例如光源138)可以用入射光照射与眼睛相对应的眼睛区域。该眼睛区域可以包括在眼睛附近的穿戴者脸部或头部的任何区域。此后,在眼睛对准与显示器对准的注视方向的同时,HMD(例如光传感器140)可以检测从眼睛区域所反射的光的强度,并且存储用于表示反射光的所检测到的强度的数据。所存储的数据可以表示用于将来在确定注视方向的过程中进行比较的样本。例如,确定眼睛的注视方向可以包括对在预定强度范围内的光的强度进行检测,该预定强度范围包括与穿戴者使其注视对准朝向HMD的显示器的已知状态相对应的所检测到的强度。
图6是根据这里所描述的至少一些实施例的用于对示例方法600进行描绘的方框图。
在一些示例中,方法600的块606可以在如上所述的且在图5中所描绘的方法500的块502和504之后。在块606,方法600包括确定眼睛的第一注视方向,其中该第一注视方向与位于眼睛的前视视场的上周边中的HMD的显示器对准(例如图7B)。可以利用在3和图4中所描绘的以及在上面的所附文本中或者在上面与方法500的块506或508有关的任何文本中所描述的系统或方法中的任何一个来确定眼睛的注视方向。
在块608处,方法600包括确定眼睛的第二注视方向,其中该第二注视方向不与显示器对准。例如,图7A描绘了不与显示器180对准的第二注视方向(例如视线183),这意味着显示器180所显示的图像181在穿戴者190的周边视场内是可见的(如果对于穿戴者是可见的)。
在块610,方法600包括确定在确定第一注视方向与确定第二注视方向之间的持续时间小于阈值持续时间。为了确定在所述确定之间的持续时间,HMD 172可以保持内部时钟或者可以接收来自图2的远程设备230的网络时钟信号。例如,可以根据块504来提供指示,并且HMD的穿戴者可以使其注视指向显示器(例如第一注视方向)。此后在使穿戴者的注视指向显示器的1秒内,该穿戴者可以使其注视重指向以离开显示器。如果阈值持续时间是2秒,则HMD可以确定在第一与第二注视方向的相应确定之间已过去了不到阈值持续时间。
在块612,方法600包括:响应于该确定,使得不再提供指示。在振动指示的情况下,HMD可以使HMD停止振动。在音频指示的情况下,HMD的扬声器可以中止构成音频指示的恒定或周期性谐鸣声或蜂鸣声。在视觉指示的情况下,HMD可以使HMD的LED停止点亮或停止闪烁,或者可以使HMD的显示器停止提供显眼的视觉指示。
图10是根据这里所描述的至少一些实施例的用于对示例方法1000进行描绘的方框图。
在块1002,方法1000包括由头戴式设备(HMD)接收与信息事件相对应的数据,其中当穿戴者戴着HMD时,HMD的显示器位于穿戴者的眼睛的前视视场的上周边。块1002可以包括如上关于方法500的块502所述的任何功能。
在块1004,方法1000包括:响应于接收到数据,由HMD提供与信息事件相对应的指示。块1004可以包括上面参考方法500的块504所描述的任何功能。
在块1006,方法1000包括通过HMD的眼睛检测系统用一个或多个入射光束来照射与眼睛相对应的眼睛区域。眼睛检测系统可以包括上面在部分III和IV中所描述的任何眼睛检测系统或眼睛感测系统。例如,注视检测系统136的一个或多个光源138可以用一个或多个入射光束照射眼睛区域。
在块1008,方法1000包括通过眼睛检测系统来检测与一个或多个入射光束相对应的一个或多个反射光束的强度。例如,光传感器140可以检测与一个或多个光源138所生成的入射光束相对应的反射光束。
在块1010,方法1000包括由HMD接收来自眼睛检测系统的信号,其中该信号表示一个或多个反射光束的强度。例如,光传感器140可以生成信号并且发送该信号以由HMD的处理器接收。
在块1012,方法1000包括由HMD来确定所接收到的信号与预定信号准则相对应,其中预定信号准则与眼睛的注视方向相对应,眼睛的注视方向是与显示器的位置相对应的向上方向。例如,为了与在操作状态下所接收的数据进行比较,HMD可以存储用于表示下述信号特性的参考数据,所述信号特性与穿戴者使其注视向上朝向HMD的显示器这样的状态相对应。参考图11,作为示例,信号1102可以将一个或多个反射光束的所检测到的强度表示为时间的函数。例如,信号1102可以是与一个或多个反射光束的所检测到的强度成比例或成反比的电压或电流。
可能与穿戴者的向上注视(朝向显示器)相对应的一个信号标准可以是信号1102指示从第一强度1104到小于第一强度1104的第二强度1106的负变化。可以将第一强度1104与第二强度1106之间的强度差的幅度称为阈值幅度1108。按照这种方式,确定所接收到的信号与预定信号准则相对应可以包括:确定所接收到的信号指示出反射光束的负的强度变化的幅度超过阈值幅度1108。
可能与穿戴者的向上注视(朝向显示器)相对应的另一准则是可能在小于阈值持续时间1110的持续时间期间发生了由信号1102所表示的强度的负变化(从第一强度1104到第二强度1106)。这可以指示穿戴者的眼睛朝着显示器的注视方向的急剧变化。按照这种方式,确定所接收到的信号与预定信号准则相对应可以包括确定所接收到的信号指示出一个或多个反射光束的所检测到的强度的负变化(从第一强度1104到第二强度1106)并且在小于阈值持续时间1110的持续时间期间发生了该变化。
可能与穿戴者的向上注视(朝向显示器)相对应的又一准则是在所检测的强度负变化之后的预定持续时间1114期间由信号1102所表示的一个或多个反射光束的所检测到的强度的幅度可能不会变化超过预定量。例如,在展现出从第一强度1104到第二强度1106的强度的负变化之后,信号1102可以保持在下述范围1112内,所述范围1112用于表示包括第二强度1106的一个或多个反射光束的强度的范围。也就是说,如果在强度明显的负变化之后信号在给定时间“稳定”在表示第二强度1106的水平附近,那么更可能的是信号1102实际上指示穿戴者使他或她的注视朝着显示器向上移动。按照这种方式,确定所接收到的信号与预定信号准则相对应可以包括确定信号1102指示出在所检测到的强度的负变化之后的预定持续时间期间所检测到的强度的幅度还没有变化超过预定量。简而言之,HMD可以将所检测到的信号与上面列出的预定信号准则中的任一个进行比较以便间接地确定穿戴者已使其注视朝着显示器向上移动。
在块1014,方法1000包括:响应于该确定,HMD在显示器中显示与信息事件有关的图形内容。块1014可以包括上面参考块510所描述的任何功能。
VI.结论
个人用户或用户组可以创建基于数据的“用户账户”,其还可以被称为“账户”。特定用户或用户组的用户账户可以包括与特定用户或用户组有关的该用户或用户组已选择以为用户账户提供的数据。因而,在某种意义上,特定用户的账户可以是该特定用户的基于数据的表示。例如,用户可以为各种应用、网站、和/或在线服务创建账户。用户账户的示例包括电子邮件账户、社交网络账户、在线财务账户、具有服务提供商的账户等等。此外,在一些情况下,用户可以具有单个用户账户,该单个用户账户作为用户的基于数据的表示而为多个服务、网站、应用等提供。例如,用户可以选择使用他们的电子邮件账户或社交网络账户以作为对多个不同实体所提供的各种在线服务和应用的共同登录。此外,诸如移动电话、膝上型计算机、或者可穿戴式计算设备这样的计算设备的用户可以使其用户账号与计算设备本身相关联使得当用户操作计算设备时他们的账户将与在计算设备上所提供的应用相关联。
在附图中,除非上下文另有指示,否则相似符号典型地表示相似部件。在具体实施方式、附图、权利要求中所描述的说明性实施例不意味着限制。在不脱离在这里所提出的主题的范围的情况下,可使用其它实施例,并且可作出其它变化。容易理解的是如在这里所一般描述的且在附图中所图示的本公开的方面可以以各种各样的不同配置进行布置、替换、组合、分离、以及设计,所有这些都在这里明确预期。
参考图中的且如在这里所讨论的消息流图、场景、流程图中的任何一个或所有,每个步骤、块、和/或通信可以表示根据示例实施例的信息的处理和/或信息的传输。替代实施例包括在这些示例实施例的范围之内。在这些替代实施例中,例如,被描述为步骤、块、传输、通信、请求、响应、和/或消息的功能可以按照与所示或所讨论的顺序颠倒的顺序来执行,包括按照基本上同时或相反的顺序,这取决于所涉及的功能。此外,更多或更少的步骤、块、和/或功能可以与这里所讨论的消息流图、场景、流程图中的任何一个一起使用,并且可以对这些消息流图、场景、以及流程图进行部分地或整体地彼此组合。
用于表示信息的处理的步骤或块可以与下述电路相对应,所述电路可被配置为执行这里所描述的方法或技术的特定逻辑功能。替代地或另外,表示信息的处理的步骤或块可以与模块、段、或者程序代码的一部分(包括有关数据)相对应。
程序代码可以包括可由用于实施方法或者技术中的特定逻辑功能或者动作的处理器执行的一个或者多个指令。可以将程序代码和/或有关数据存储在任何类型的计算机可读介质上,诸如存储设备这样的包括盘片驱动器、硬盘驱动器、或其它存储介质。
计算机可读介质还可以包括诸如像寄存器存储器,处理器高速缓存和/或随机存取存储器(RAM)一样在短时间段内存储数据的计算机可读介质这样的非暂时性计算机可读介质。计算机可读介质还可以包括诸如例如像只读存储器(ROM)、光盘或磁盘、和/或压缩盘只读存储器(CD-ROM)一样在较长时间段内存储程序代码和/或数据的非暂时性计算机可读介质,诸如辅助或者持久长期存储装置。计算机可读介质还可以是任何其它易失性或非易失性存储系统。计算机可读介质可以被认为是例如计算机可读存储介质或有形存储设备。
此外,表示一个或多个信息传输的步骤或块可以与同一物理设备中的软件和/或硬件模块之间的信息传输相对应。然而,其它信息传输可以在不同物理设备中的软件模块和/和/或硬件模块之间。

Claims (23)

1.一种方法,包括:
由头戴式设备(HMD)接收与信息事件相对应的数据,其中当穿戴者戴着所述HMD时,所述HMD的显示器位于所述穿戴者的眼睛的前视视场的上周边;
响应于接收到所述数据,提供与所述信息事件相对应的指示;
确定所述眼睛的注视方向;
确定所述注视方向是与所述显示器的位置相对应的向上方向;以及
响应于确定所述眼睛的所述注视方向是与所述显示器的所述位置相对应的所述向上方向,在所述显示器中显示与所述信息事件有关的图形内容。
2.根据权利要求1所述的方法,其中所述指示包括由所述HMD提供的音频指示。
3.根据权利要求1所述的方法,其中所述指示包括由所述HMD提供的振动指示。
4.根据权利要求1所述的方法,其中所述指示包括所述HMD的点亮的LED。
5.根据权利要求1所述的方法,其中提供所述指示包括使得与所述HMD通信式地相耦合的计算设备提供所述指示。
6.根据权利要求1所述的方法,进一步包括:
确定从提供了所述指示起已流逝了预定持续时间;并且
在显示所述图形内容之前,基于确定从提供了所述指示起已流逝了所述预定持续时间而停止提供所述指示。
7.根据权利要求1所述的方法,进一步包括:
在确定所述注视方向之后,确定阈值持续时间在所述注视方向被确定与所述指示被提供的相应时间之间未流逝;并且
至少部分地基于确定所述阈值持续时间未流逝而显示所述图形内容。
8.根据权利要求1所述的方法,其中所确定的注视方向是第一确定的注视方向,所述方法进一步包括:
在确定所述第一注视方向之后,确定不与所述HMD的所述显示器对准的所述眼睛的第二注视方向;并且
响应于确定所述第二注视方向,使得所述显示器不包括所述图形内容。
9.根据权利要求1所述的方法,其中确定所述眼睛的所述注视方向包括:确定所述眼睛的所确定的注视方向已持续了至少阈值持续时间。
10.根据权利要求1所述的方法,进一步包括:
提供请求与所述HMD的所述显示器对准的所述眼睛的注视方向的消息;
用入射光照射与所述眼睛相对应的眼睛区域;
在所述眼睛对准在与所述显示器对准的所述注视方向上的同时,确定从所述眼睛区域所反射的光的强度;并且
存储用于表示所反射的光的所确定的强度的数据。
11.根据权利要求10所述的方法,其中确定所述眼睛的所述注视方向包括确定在包括所确定的强度的预定强度范围内的光的强度。
12.一种方法,包括:
由头戴式设备(HMD)接收与信息事件对应的数据,其中当穿戴者戴着所述HMD时,所述HMD的显示器位于所述穿戴者的眼睛的前视视场的上周边;
响应于接收到所述数据,提供与所述信息事件相对应的指示;
确定眼睛的第一注视方向,其中所述第一注视方向与所述显示器对准;
确定所述眼睛的第二注视方向,其中所述第二注视方向不与所述显示器对准;
确定在确定所述第一注视方向与确定所述第二注视方向之间的持续时间小于阈值持续时间;以及
响应于确定所述持续时间小于所述阈值持续时间,使得不再提供所述指示。
13.一种头戴式设备(HMD)包括:
处理器;
眼睛检测系统;
显示器,所述显示器被布置在所述HMD上,使得当穿戴者戴着所述HMD时,所述显示器位于所述穿戴者的前视视场的上周边;以及存储指令的计算机可读介质,所述指令当由所述处理器执行时使得所述HMD执行功能,所述功能包括:
接收与信息事件相对应的数据;
响应于接收到所述数据,提供与所述信息事件相对应的指示;
确定眼睛的注视方向;
确定所述眼睛的所述注视方向是与所述显示器的位置相对应的向上方向;并且
响应于确定所述眼睛的所述注视方向是所述向上方向,在所述显示器中显示与所述信息事件有关的图形内容。
14.根据权利要求13所述的HMD,其中所述指示包括由所述HMD提供的音频指示。
15.根据权利要求13所述的HMD,其中所述指示包括由所述HMD提供的振动指示。
16.根据权利要求13所述的HMD,其中所述指示包括所述HMD的点亮的LED。
17.根据权利要求13所述的HMD,其中所述功能更进一步包括:
在确定所述注视方向之后,确定阈值持续时间在所述注视方向被确定与所述指示被提供的相应时间之间未流逝;并且
至少部分地基于确定所述阈值持续时间未流逝而显示所述图形内容。
18.根据权利要求13所述的HMD,其中所确定的注视方向是第一确定的注视方向,所述功能进一步包括:
在确定所述眼睛的所述第一注视方向之后,确定不与所述显示器对准的所述眼睛的第二注视方向;并且
响应于确定所述第二注视方向,使得所述显示器不包括所述图形内容。
19.根据权利要求13所述的HMD,其中确定所述眼睛的所述注视方向包括:确定所述眼睛的所确定的注视方向已持续了至少阈值持续时间。
20.根据权利要求13所述的HMD,其中所述功能进一步包括:
提供请求与所述HMD的所述显示器对准的所述眼睛的注视方向的消息;
用入射光照射与所述眼睛相对应的眼睛区域;
在所述眼睛对准在与所述显示器对准的所述注视方向上的同时,确定从所述眼睛区域所反射的光的强度;并且
存储用于表示所反射的光的所确定的强度的数据。
21.一种方法包括:
由头戴式设备(HMD)接收与信息事件相对应的数据,其中当穿戴者戴着所述HMD时,所述HMD的显示器位于穿戴者的眼睛的前视视场的上周边;
响应于接收到所述数据,由所述HMD提供与所述信息事件相对应的指示;
由所述HMD的眼睛检测系统用一个或多个入射光束照射与所述眼睛相对应的眼睛区域;
由所述眼睛检测系统检测与所述一个或多个入射光束相对应的一个或多个反射光束的强度;
由所述HMD接收来自所述眼睛检测系统的信号,其中所述信号表示所述强度;
由所述HMD确定所接收到的信号与预定信号准则相对应,其中所述预定信号准则与所述眼睛的注视方向相对应,所述眼睛的注视方向是与所述显示器的所述位置相对应的向上方向;并且
响应于所述确定,由所述HMD在所述显示器中显示与所述信息事件有关的图形内容。
22.根据权利要求21所述的方法,其中确定所接收到的信号与所述预定信号准则相对应包括:确定所述信号指示(i)所检测到的强度的负变化,(ii)所检测到的强度的变化幅度超过阈值幅度,以及(iii)在小于阈值持续时间的持续时间期间发生所检测到的强度的负变化。
23.根据权利要求22所述的方法,其中确定所接收到的信号与所述预定信号准则相对应进一步包括:在执行了如权利要求22所述的方法之后,确定所述信号指示在所检测到的强度的负变化之后的预定持续时间期间,所检测到的强度的幅度变化不超过预定量。
CN201580034722.1A 2014-09-15 2015-06-05 管理信息显示 Active CN106471419B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US14/486,360 2014-09-15
US14/486,360 US9547365B2 (en) 2014-09-15 2014-09-15 Managing information display
PCT/US2015/034353 WO2016043820A1 (en) 2014-09-15 2015-06-05 Managing information display

Publications (2)

Publication Number Publication Date
CN106471419A true CN106471419A (zh) 2017-03-01
CN106471419B CN106471419B (zh) 2019-06-18

Family

ID=55454605

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201580034722.1A Active CN106471419B (zh) 2014-09-15 2015-06-05 管理信息显示

Country Status (5)

Country Link
US (1) US9547365B2 (zh)
CN (1) CN106471419B (zh)
DE (1) DE112015002673T5 (zh)
GB (1) GB2544904B (zh)
WO (1) WO2016043820A1 (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110446999A (zh) * 2017-03-23 2019-11-12 谷歌有限责任公司 眼睛信号增强控制
CN111402426A (zh) * 2019-01-03 2020-07-10 国际商业机器公司 增强现实安全性

Families Citing this family (34)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130339859A1 (en) 2012-06-15 2013-12-19 Muzik LLC Interactive networked headphones
US11138793B2 (en) * 2014-03-14 2021-10-05 Magic Leap, Inc. Multi-depth plane display system with reduced switching between depth planes
US10108256B2 (en) * 2014-10-30 2018-10-23 Mediatek Inc. Systems and methods for processing incoming events while performing a virtual reality session
US10464482B2 (en) * 2015-07-21 2019-11-05 Utherverse Digital Inc. Immersive displays
US9870051B2 (en) * 2015-08-07 2018-01-16 Tobii Ab Gaze direction mapping
US9829976B2 (en) * 2015-08-07 2017-11-28 Tobii Ab Gaze direction mapping
US20170092002A1 (en) * 2015-09-30 2017-03-30 Daqri, Llc User interface for augmented reality system
US10338677B2 (en) * 2015-10-28 2019-07-02 Microsoft Technology Licensing, Llc Adjusting image frames based on tracking motion of eyes
US10682574B2 (en) * 2016-03-23 2020-06-16 Intel Corporation Immersive gaming
US10514448B2 (en) * 2016-05-17 2019-12-24 Sharp Kabushiki Kaisha Proximity sensor, proximity illumination intensity sensor, electronic device, and proximity sensor calibration method
JP2017211891A (ja) * 2016-05-27 2017-11-30 ソニー株式会社 情報処理装置、情報処理方法および記録媒体
US10832051B1 (en) * 2016-06-13 2020-11-10 Facebook Technologies, Llc Eye tracking using optical coherence methods
US10459220B2 (en) * 2016-11-30 2019-10-29 North Inc. Systems, devices, and methods for laser eye tracking in wearable heads-up displays
US10620910B2 (en) * 2016-12-23 2020-04-14 Realwear, Inc. Hands-free navigation of touch-based operating systems
US10936872B2 (en) 2016-12-23 2021-03-02 Realwear, Inc. Hands-free contextually aware object interaction for wearable display
US11099716B2 (en) 2016-12-23 2021-08-24 Realwear, Inc. Context based content navigation for wearable display
US10393312B2 (en) 2016-12-23 2019-08-27 Realwear, Inc. Articulating components for a head-mounted display
US11507216B2 (en) 2016-12-23 2022-11-22 Realwear, Inc. Customizing user interfaces of binary applications
US10437070B2 (en) 2016-12-23 2019-10-08 Realwear, Inc. Interchangeable optics for a head-mounted display
KR102518404B1 (ko) * 2017-09-29 2023-04-06 삼성전자주식회사 전자 장치 및 그의 시선 정보를 이용한 컨텐트 실행 방법
US10732826B2 (en) * 2017-11-22 2020-08-04 Microsoft Technology Licensing, Llc Dynamic device interaction adaptation based on user engagement
WO2019204765A1 (en) * 2018-04-19 2019-10-24 Magic Leap, Inc. Systems and methods for operating a display system based on user perceptibility
US10963046B1 (en) 2018-05-17 2021-03-30 Facebook Technologies, Llc Drift corrected eye tracking
CN110547759A (zh) * 2018-05-31 2019-12-10 托比股份公司 鲁棒会聚信号
US11366514B2 (en) * 2018-09-28 2022-06-21 Apple Inc. Application placement based on head position
US10810825B2 (en) * 2018-10-11 2020-10-20 Igt Systems and methods for providing safety and security features for users of immersive video devices
US20200125169A1 (en) * 2018-10-18 2020-04-23 Eyetech Digital Systems, Inc. Systems and Methods for Correcting Lens Distortion in Head Mounted Displays
JP7192570B2 (ja) * 2019-02-27 2022-12-20 株式会社Jvcケンウッド 記録再生装置、記録再生方法およびプログラム
CN116360601A (zh) 2019-09-27 2023-06-30 苹果公司 用于提供扩展现实环境的电子设备、存储介质和方法
JP7116200B2 (ja) * 2021-01-06 2022-08-09 株式会社三井住友銀行 Arプラットフォームシステム、方法およびプログラム
US11874960B2 (en) * 2021-03-31 2024-01-16 Snap Inc. Pausing device operation based on facial movement
US20230127936A1 (en) * 2021-10-21 2023-04-27 CamUX, Inc. Systems and methods for controlling electronic devices using gaze tracking technology
TWM629692U (zh) * 2021-11-25 2022-07-21 廣達電腦股份有限公司 穿戴式裝置
DE102021213913A1 (de) 2021-12-07 2023-06-07 Blue Wonder Vermögensverwaltungs GmbH Vorrichtung und Verfahren zum Darstellen von Informationen für einen Nutzer

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110170067A1 (en) * 2009-11-18 2011-07-14 Daisuke Sato Eye-gaze tracking device, eye-gaze tracking method, electro-oculography measuring device, wearable camera, head-mounted display, electronic eyeglasses, and ophthalmological diagnosis device
US20120206334A1 (en) * 2010-02-28 2012-08-16 Osterhout Group, Inc. Ar glasses with event and user action capture device control of external applications
US20130257709A1 (en) * 2012-04-02 2013-10-03 Google Inc. Proximity Sensing for Wink Detection
US20140101608A1 (en) * 2012-10-05 2014-04-10 Google Inc. User Interfaces for Head-Mountable Devices
US20140191946A1 (en) * 2013-01-09 2014-07-10 Lg Electronics Inc. Head mounted display providing eye gaze calibration and control method thereof

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7743340B2 (en) 2000-03-16 2010-06-22 Microsoft Corporation Positioning and rendering notification heralds based on user's focus of attention and activity
US7542210B2 (en) 2006-06-29 2009-06-02 Chirieleison Sr Anthony Eye tracking head mounted display
JP2011200533A (ja) 2010-03-26 2011-10-13 Fujifilm Corp 超音波診断装置
US20130141313A1 (en) 2011-07-18 2013-06-06 Tiger T.G. Zhou Wearable personal digital eyeglass device
US8929589B2 (en) 2011-11-07 2015-01-06 Eyefluence, Inc. Systems and methods for high-resolution gaze tracking
US9247525B2 (en) 2012-03-16 2016-01-26 Qualcomm Incorporated Systems and methods for providing notifications

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110170067A1 (en) * 2009-11-18 2011-07-14 Daisuke Sato Eye-gaze tracking device, eye-gaze tracking method, electro-oculography measuring device, wearable camera, head-mounted display, electronic eyeglasses, and ophthalmological diagnosis device
US20120206334A1 (en) * 2010-02-28 2012-08-16 Osterhout Group, Inc. Ar glasses with event and user action capture device control of external applications
US20130257709A1 (en) * 2012-04-02 2013-10-03 Google Inc. Proximity Sensing for Wink Detection
US20140101608A1 (en) * 2012-10-05 2014-04-10 Google Inc. User Interfaces for Head-Mountable Devices
US20140191946A1 (en) * 2013-01-09 2014-07-10 Lg Electronics Inc. Head mounted display providing eye gaze calibration and control method thereof

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110446999A (zh) * 2017-03-23 2019-11-12 谷歌有限责任公司 眼睛信号增强控制
CN111402426A (zh) * 2019-01-03 2020-07-10 国际商业机器公司 增强现实安全性
CN111402426B (zh) * 2019-01-03 2023-08-18 勤达睿公司 增强现实安全性

Also Published As

Publication number Publication date
US9547365B2 (en) 2017-01-17
US20160077337A1 (en) 2016-03-17
DE112015002673T5 (de) 2017-03-02
CN106471419B (zh) 2019-06-18
GB2544904A (en) 2017-05-31
GB201621539D0 (en) 2017-02-01
WO2016043820A1 (en) 2016-03-24
GB2544904B (en) 2021-07-21

Similar Documents

Publication Publication Date Title
CN106471419B (zh) 管理信息显示
US11150738B2 (en) Wearable glasses and method of providing content using the same
US11726324B2 (en) Display system
KR101988110B1 (ko) 생체신호연동 가상현실 교육 시스템 및 방법
JP6929644B2 (ja) 注視によるメディア選択及び編集のためのシステム並びに方法
KR102300390B1 (ko) 착용식 식품 영양 피드백 시스템
US9552060B2 (en) Radial selection by vestibulo-ocular reflex fixation
US9311718B2 (en) Automated content scrolling
US9395811B2 (en) Automatic text scrolling on a display device
US9035970B2 (en) Constraint based information inference
KR20190100957A (ko) 외부 조건들에 기초한 웨어러블 디스플레이 디바이스의 자동 제어
US20100308999A1 (en) Security and monitoring apparatus
KR20140059213A (ko) 홍채 스캔 프로파일링을 이용하는 헤드 마운티드 디스플레이
KR20160128119A (ko) 이동 단말기 및 이의 제어방법
CN108014002A (zh) 自适应视觉辅助装置
CN112181152A (zh) 基于mr眼镜的广告推送管理方法、设备及应用
WO2018127782A1 (en) Wearable augmented reality eyeglass communication device including mobile phone and mobile computing via virtual touch screen gesture control and neuron command
JP7455167B2 (ja) ヘッドマウント情報処理装置
JP2020077271A (ja) 表示装置、学習装置、及び、表示装置の制御方法
AU2013200187B2 (en) Automatic text scrolling on a head-mounted display

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB02 Change of applicant information
CB02 Change of applicant information

Address after: American California

Applicant after: Google limited liability company

Address before: American California

Applicant before: Google Inc.

GR01 Patent grant
GR01 Patent grant