CN111656256A - 利用注视跟踪和焦点跟踪的系统和方法 - Google Patents

利用注视跟踪和焦点跟踪的系统和方法 Download PDF

Info

Publication number
CN111656256A
CN111656256A CN201980009668.3A CN201980009668A CN111656256A CN 111656256 A CN111656256 A CN 111656256A CN 201980009668 A CN201980009668 A CN 201980009668A CN 111656256 A CN111656256 A CN 111656256A
Authority
CN
China
Prior art keywords
user
electronic device
focus
display
gaze
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201980009668.3A
Other languages
English (en)
Inventor
铃木正树
塞尔吉奥·珀迪克斯-冈萨雷斯
普拉纳夫·米思特理
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Samsung Electronics Co Ltd
Original Assignee
Samsung Electronics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Samsung Electronics Co Ltd filed Critical Samsung Electronics Co Ltd
Publication of CN111656256A publication Critical patent/CN111656256A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/0093—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for monitoring data relating to the user, e.g. head-tracking, eye-tracking
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0179—Display position adjusting means not related to the information to be displayed
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/67—Focus control based on electronic image sensor signals
    • H04N23/675—Focus control based on electronic image sensor signals comprising setting of focusing regions
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0138—Head-up displays characterised by optical features comprising image capture systems, e.g. camera
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/014—Head-up displays characterised by optical features comprising information/image processing systems
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0179—Display position adjusting means not related to the information to be displayed
    • G02B2027/0187—Display position adjusting means not related to the information to be displayed slaved to motion of at least a part of the body of the user, e.g. head, eye
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/20—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from infrared radiation only

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

一种使能电子设备执行注视或焦点跟踪操作的系统和方法。该电子设备包括处理器和显示屏。该处理器被配置为基于用户的注视或用户的眼睛的焦点中的至少一者，控制电子设备的操作或可调节透镜的焦点中的至少一者。显示屏耦合到处理器，并被配置为基于用户的注视或眼睛的焦点中的至少一者使用该显示屏呈现对象的图像。

Description

利用注视跟踪和焦点跟踪的系统和方法
技术领域
本公开一般涉及光学显示系统。更具体地，本公开涉及基于来自焦点跟踪或注视跟踪或其组合的信息来控制显示系统。
背景技术
增强现实(AR)眼镜是一个逐渐增长的市场。当前的AR眼镜只能以固定距离(通常是无限远)投射内容。即使存在改变焦平面的光学方法，也不存在于便携式头戴式AR系统中跟踪用户焦距的合适方法和系统。即，当前的光学头戴式显示器在用户的焦距变化时以固定距离绘制信息。因此，如果眼睛没有聚焦在焦距处，图像将会模糊并且可能产生头晕。
发明内容
技术问题
本公开提供了一种用于基于来自焦点跟踪或注视跟踪或两者的信息来控制显示系统(例如，用于头戴式显示系统)的系统和方法。
问题的解决方案
根据本公开的实施例，提供了一种电子设备显示图像的方法。该方法包括基于用户的注视或用户的眼睛的焦点中的至少一者来控制电子设备的操作或可调节透镜的焦点中的至少一项，以及基于用户的注视或眼睛的焦点中的至少一者使用电子设备的显示屏呈现对象的图像。
根据本公开的另一实施例，提供了一种用于显示图像的电子设备。该电子设备包括显示屏；以及耦合到显示屏的至少一个处理器，其中，所述至少一个处理器被配置为基于用户的注视或用户的眼睛的焦点中的至少一者，控制电子设备的操作或可调节透镜的焦点中的至少一项，以及基于用户的注视或眼睛的焦点中的至少一者，使用显示屏呈现对象的图像。
根据本公开的又一实施例，提供了一种非暂时性计算机可读介质。所述非暂时性计算机可读介质存储有指令，当被至少一个处理器执行时，所述指令使得至少一个处理器执行以下操作：基于用户的注视或用户的眼睛的焦点中的至少一者，控制电子设备的操作或可调节透镜的焦点中的至少一项；以及基于用户的注视或眼睛的焦点中的至少一者，使用电子设备的显示屏呈现对象的图像。
附图说明
为了更完整地理解本公开及其优点，现参考结合附图的以下描述，其中：
图1示出了根据本公开的实施例的网络配置的示例；
图2是根据本公开的实施例的电子设备的示例配置的框图；
图3是示出了根据本公开的实施例的程序模块的框图；
图4A、图4B、图4C和图4D示出了根据本公开的实施例的用于增强现实、混合现实或虚拟现实中的头戴式显示器(HMD)的示例；
图5示出了根据本公开的实施例的具有焦点跟踪电路和注视跟踪电路的电子设备；
图6示出了根据本公开的实施例的具有用于焦点跟踪和注视跟踪的电路的电子设备；
图7示出了根据本公开的实施例的焦点估计系统；
图8示出了根据本公开实施例的具有显示器开关自动变换器的电子设备；
图9示出了根据本公开的实施例的显示器自动开启/自动关闭过程；
图10示出了根据本公开的实施例的示例处理系统；
图11、图12和图13示出了根据本公开实施例的外部设备的操作；
图14A示出了根据本公开的实施例的同步定位与建图(SLAM)系统；
图14B示出了根据本公开实施例的用于同步定位与建图(SLAM)的过程；
图15示出了根据本公开的实施例的深度信息系统；
图16示出了根据本公开的相机聚焦示例；
图17示出了根据本公开的实施例的相机辅助聚焦系统；
图18示出了根据本公开的半自动用户晶状体光焦度估计器；和
图19示出了根据本公开的实施例的自适应选择器。
具体实施方式
在进行下面的详细描述之前，阐明整个专利文件中使用的某些单词和短语的定义可能是有利的。术语“发送”、“接收”和“通信”及其派生词涵盖直接通信和间接通信。术语“包括”和“包含”及其派生词是指包括但不限于。术语“或”是包含性的，意味着和/或。短语“与...相关联”及其派生词意指包括、包括在其中、与之互连、包含、包含在其中、连接到或与之连接、耦合到或与之耦合、与之通信、与之协作、交织、并置、近似于、联系到或与之联系、具有、具有……属性、有关系或与之有关系等。
此外，以下描述的各种功能可以由一个或更多个计算机程序实现或支持，每个计算机程序由计算机可读程序代码形成并体现在计算机可读介质中。术语“应用”和“程序”是指适于以合适的计算机可读程序代码实现的一个或更多个计算机程序、软件组件、指令集、过程、功能、对象、类、实例、相关数据或其一部分。短语“计算机可读程序代码”包括任何类型的计算机代码，包括源代码、目标代码和可执行代码。短语“计算机可读介质”包括能够由计算机访问的任何类型的介质，例如只读存储器(ROM)、随机存取存储器(RAM)、硬盘驱动器、光盘(CD)、数字视频光盘(DVD)或任何其它类型的存储器。“非暂时性”计算机可读介质不包括传输暂时性电信号或其它信号的有线、无线、光学或其它通信链路。非暂时性计算机可读介质包括可永久存储数据的介质以及可存储数据并随后覆写的介质，例如可重写光盘或可擦除存储设备。
如本文所使用的，术语“具有”、“可以具有”、“包括”、“可以包括”、“能够具有”或“能够包括”特征(例如，数值、函数、操作或诸如部件的组件)指示存在该特性，而不排除存在其它特征。
如本文所使用的，术语“A或B”、“A或/和B中的至少一个”、“A或/和B中的至少一个或更多个”可以包括A和B的所有可能的组合。例如，“A或B”、“A和B中的至少一个”或“A或B中的一个”可以指示以下各项的全部：(1)包括至少一个A、(2)包括至少一个B或者(3)包括至少一个A和至少一个B。
如本文所使用的，术语“第一”和“第二”可以修饰各种组件而不管重要性，并且不对该组件进行限制。这些术语仅用于将一个组件与另一组件区分开来。例如，第一用户设备和第二用户设备可以表示彼此不同的用户设备而不管设备的顺序或重要性。例如，在不脱离本公开的范围的情况下，第一组件可以表示为第二组件，反之类似。
将理解的是，当元件(例如，第一元件)被称为(操作地或通信地)与另一元件(例如，第二元件)“耦合或连接”或(操作地或通信地)“耦合或连接”到另一元件(例如，第二元件)时，该元件可直接地或通过第三元件与其它元件耦合或连接。相反，将理解的是，当元件(例如，第一元件)被称为与另一元件(例如，第二元件)“直接耦合/连接”或“直接耦合/连接”到另一元件(例如，第二元件)时，没有其它元件(例如，第三元件)介于该元件与另一元件之间。
如本文所使用的，术语“被配置(或设置)为”可以根据情形用术语“适合于”、“具有……的能力”、“被设计为”、“被适配为”、“被制成”或“能够”替换。术语“被配置(或设置)为”实际上并不意指“通过硬件具体地设计为”。相反，术语“被配置为”可以意味着该设备可与另一设备或部件一起操作。
例如，术语“被配置(或设置)为执行A、B和C的处理器”可以意指可通过执行存储在存储设备中的一个或更多个软件程序来执行操作的通用处理器(例如，CPU或应用处理器)，或用于执行操作的专用处理器(例如，嵌入式处理器)。
本公开中所使用的术语仅被提供用于描述本文的一些实施例，而不限制本公开的其它示实施例的范围。应当理解的是，除非上下文另外清楚地指明，否则单数形式的“一”、“一个”和“该”也旨在包括复数指代。本文所使用的包括技术或科学术语的所有术语具有与由本公开的实施例所属领域的普通技术人员一般地理解的那些含义相同的含义。将进一步理解的是，诸如常用词典中定义的术语应当被解释为具有与其在相关技术的上下文中的含义一致的含义，而不应被解释为理想化或过度形式化的含义，除非在本文中清楚地这样定义它们。在某种情况下，在本公开中定义的术语可被解释为排除本公开的实施例。
例如，根据本公开的实施例的电子设备的示例可以包括以下项中的至少一项：智能手机、平板个人计算机(PC)、移动电话机、视频电话机、电子书(e-book)阅读器、台式PC、膝上型计算机、笔记本计算机、工作站、PDA(个人数字助理)、便携式多媒体播放器(PMP)、MP3播放器、移动医疗设备、相机和可穿戴设备(例如，智能眼镜、头戴式设备(HMD)、电子衣服、电子手镯、电子项链、电子配件、电子纹身、智能镜子或智能手表)。
在整个专利文件中提供了其它某些单词和短语的定义。本领域普通技术人员应当理解，在很多情况下，即使不是大多数情况，这种定义也适用于先前以及将来使用这样定义的单词和短语。
根据本公开的实施例，电子设备可以是智能家用电器。智能家用电器的示例可以包括以下项中的至少一项：电视、数字视频盘(DVD)播放器、音频播放器、冰箱、空调、吸尘器、烤箱、微波炉、洗衣机、干燥机、空气净化器、机顶盒、家庭自动化控制面板、安全控制面板、TV盒(例如，Samsung的HomeSyncTM、Apple的TVTM或Google的TVTM)、游戏控制台(例如，XboxTM、PlayStationTM)、电子词典、电子钥匙、摄录一体机和电子相框。
根据本公开的某些实施例，电子设备的示例可以包括以下项中的至少一项：各种医疗设备(例如，各种便携式医疗测量设备(血糖测量设备、心跳测量设备或体温测量设备)、磁共振血管造影(MRA)设备、磁共振成像(MRI)设备、计算机断层扫描(CT)设备、成像设备或超声设备)、导航设备、全球定位系统(GPS)接收器、事件数据记录器(EDR)、飞行数据记录器(FDR)、车辆信息娱乐设备、船用电子设备(例如，船用导航设备和陀螺仪罗盘)、航空电子设备、安全设备、车辆头部单元、工业或家庭机器人、自动柜员机(ATM)、销售点(POS)设备、物联网设备(例如，灯泡、各种传感器、电表或燃气表、灭火喷水装置、火灾警报装置、恒温器、路灯、烤面包机、健身器材、热水箱、加热器、锅炉等)。
根据本公开的某些实施例，电子设备可以是家具或建筑物/结构的一部分、电子板、电子签名接收设备、投影仪和各种测量仪器(例如，用于测量水、电、燃气、电磁波设备的设备)。
根据本公开的实施例，电子设备是以上列举的设备中的一种或其组合。根据本公开的实施例，电子设备可以是柔性电子设备。本文中公开的电子设备不限于以上列举的设备并且可以包括根据技术发展的新的电子设备。
如本文所使用的，术语“用户”可以指代使用电子设备的人或另一设备(例如，人工智能电子设备)。
在整个专利文件中提供了其它某些单词和短语的定义。本领域普通技术人员应当理解，在很多情况下，即使不是大多数情况，这种定义也适用于先前以及将来使用这样定义的单词和短语。下面讨论的图1至图19以及用于描述本专利文件中的本公开的原理的各种实施例仅是示例性的，并且不应以任何方式解释为限制本公开的范围。本领域技术人员将理解的是，可以在任何适当布置的无线通信系统中实现本公开的原理。
图1示出了根据本公开的各种实施例的示例网络环境100。图1所示的网络环境100的实施例仅用于说明。在不脱离本公开的范围的情况下，可以使用网络环境100的其它实施例。
根据本公开的实施例，在网络环境100中包括电子设备101。电子设备101可以包括总线110、处理器120、存储器130、输入/输出(IO)接口150、显示器160、通信接口170或传感器180中的至少一个。在一些实施例中，电子设备101可以排除这些组件中的至少一个，也可以添加另一组件。
总线110包括用于将组件120至170彼此连接并且在组件之间传输通信(例如，控制消息和/或数据)的电路。
处理器120包括中央处理单元(CPU)、应用处理器(AP)或通信处理器(CP)中的一个或更多个。处理器120能够对电子设备101的其它组件中的至少一个进行控制，和/或执行与通信有关的操作或数据处理。
例如，处理器120可以在捕获事件期间接收由相机捕获的多个帧。处理器120可以识别多个帧中的每个中的显著区域。处理器120可以基于所识别的显著区域从多个帧中确定参考帧。处理器120可以将非参考帧与所确定的参考帧融合为完整的帧。处理器120可以运行显示器以显示完整的帧。
存储器130可以包括易失性存储器和/或非易失性存储器。例如，存储器130可以存储与电子设备101的至少一个其它组件有关的命令或数据。在各种实施例中，存储器130可以存储由电子设备101上的应用147所使用的空间地图数据，该空间地图数据可以包括真实环境(例如，办公楼、购物中心、房屋、游乐园、街道或任何其它真实世界的内部)的映射信息或虚拟世界映射信息。根据本公开的实施例，存储器130存储软件和/或程序140。程序140包括例如内核141、中间件143、应用编程接口(API)145和/或应用程序(或“应用”)147。内核141、中间件143或API 145的至少一部分可以表示为操作系统(OS)。
例如，内核141可以控制或管理用于执行在其它程序(例如，中间件143、API 145或应用147)中实现的操作或功能的系统资源(例如，总线110、处理器120或存储器130)。内核141提供接口，该接口允许中间件143、API 145或应用147访问电子设备101的各个组件以控制或管理系统资源。
例如，中间件143可以用作中继器以允许API 145或应用147与内核141通信数据。可以提供多个应用147。中间件143能够例如至少通过向多个应用147中的至少一个分配使用电子设备101(例如，总线110、处理器120或存储器130)的系统资源的优先级来控制从应用147接收到的工作请求。
API 145是一种允许应用147控制从内核141或中间件143提供的功能的接口。例如，API 145包括用于归档控制、窗口控制、图像处理或文本控制的至少一个接口或功能(例如，命令)。
IO接口150用作例如可以将从用户或其它外部设备输入的命令或数据传输到电子设备101的其它组件的接口。此外，IO接口150可以将从电子设备101的其它组件接收到的命令或数据输出到用户或另一外部设备。
显示器160包括例如液晶显示器(LCD)、发光二极管(LED)显示器、有机发光二极管(OLED)显示器或微机电系统(MEMS)显示器或电子纸显示器。显示器160能够向用户显示例如各种内容(例如，文本、图像、视频、图标或符号)。显示器160可以包括触摸屏，并且可以使用电子笔或用户的身体部位来接收例如触摸、手势、接近或悬停输入。
例如，通信接口170能够在电子设备101与外部电子设备(例如，第一电子设备102、第二外部电子设备104或服务器106)之间建立通信。例如，通信接口170可以通过无线或有线通信与网络162或网络164连接以与外部电子设备通信。通信接口170可以是用于发送和接收诸如视频馈送或视频流的信号的有线或无线收发器或任何其它组件。
电子设备101还包括一个或更多个传感器180，其可以计量物理量或检测电子设备101的激活状态并将计量或检测到的信息转换成电信号。例如，传感器180可以包括一个或更多个用于触摸输入的按钮、相机、手势传感器、陀螺仪或陀螺仪传感器、气压传感器、磁传感器或磁力计、加速度传感器或加速度计、深度或距离传感器、握持传感器、接近传感器、颜色传感器(例如，红绿蓝(RGB)传感器)、生物物理传感器、温度传感器、湿度传感器、照度传感器、紫外线(UV)传感器、肌电图(EMG)传感器、脑电图(EEG)传感器、心电图(ECG)传感器、IR传感器、超声传感器、虹膜传感器、指纹传感器等。传感器180还可以包括用于控制其所包括的至少一个传感器的控制电路。这些传感器180中的任何一个都可以位于电子设备101内。相机传感器180可以针对单个图像捕获多个帧，以由处理器120合并。
第一外部电子设备102或第二外部电子设备104可以是可穿戴设备或可安装电子设备101的可穿戴设备(例如，光学头戴式显示器(HMD))。当将电子设备101安装在HMD(例如，电子设备102)中时，电子设备101能够检测到安装在HMD中并以增强现实模式进行操作。在某些实施例中，电子设备101能够检测到安装在HMD中并以增强现实模式进行操作。当将电子设备101安装在电子设备102(例如，HMD)中时，电子设备101可以通过通信接口170与电子设备102进行通信。电子设备101可以与电子设备102直接连接，以在不涉及单独网络的情况下与电子设备102进行通信。
无线通信能够使用例如以下至少一项作为蜂窝通信协议：长期演进(LTE)、高级长期演进(LTE-A)、第五代无线系统(5G)、毫米波或60GHz无线通信、无线USB、码分多址(CDMA)、宽带码分多址(WCDMA)、通用移动电信系统(UMTS)、无线宽带(WiBro)或全球移动通信系统(GSM)。有线连接可以包括通用串行总线(USB)、高清多媒体接口(HDMI)、推荐标准232(RS-232)或普通老式电话服务(POTS)中的至少一种。
网络162包括至少一个通信网络。通信的示例包括计算机网络(例如，局域网(LAN)或广域网(WAN))、互联网或电话网络。
第一外部电子设备102和第二外部电子设备104以及服务器106均可以是与电子设备101相同或不同类型的设备。根据本公开的某些实施例，服务器106包括一组一个或更多个服务器。根据本公开的某些实施例，在电子设备101上执行的所有操作或一些操作可以在另一个或多个其它电子设备(例如，电子设备102和电子设备104或服务器106)上执行。根据本公开的某些实施例，当电子设备101应自动地或应请求执行一些功能或服务时，电子设备101可以请求另一设备(例如，电子设备102和电子设备104或服务器106)来执行与之相关联的至少一些功能，而不是自己执行该功能或服务，或者可以另外地执行该功能或服务。其它电子设备(例如，电子设备102和电子设备104或服务器106)能够执行所请求的功能或附加功能，并将执行结果传输给电子设备101。电子设备101可以通过按原样或另外处理接收到的结果来提供所请求的功能或服务。为此，例如可以使用云计算技术、分布式计算技术或客户端-服务器计算技术。
尽管图1示出了电子设备101包括经由网络162与外部电子设备104或服务器106进行通信的通信接口170，但是本公开的实施例的电子设备101也可以独立地操作而没有单独的通信功能。
服务器106可以通过执行在电子设备101上实现的操作(或功能)中的至少一项来支持驱动电子设备101。例如，服务器106可以包括可以支持在电子设备101中实现的处理器120的处理模块或处理器。
例如，电子设备101可以包括例如在处理器120内的事件处理模块。事件处理模块可以处理从其它元件(例如，处理器120、存储器130、输入/输出接口150或通信接口170)获得的信息的至少一部分，并且可以以各种方式将其提供给用户。服务器事件处理模块可以包括事件处理模块的组件中的至少一个，并且执行(或者替代地执行)由事件处理模块进行的操作(或功能)中的至少一个。
例如，根据本公开的实施例，事件处理模块处理与事件有关的信息以适合于增强现实模式并显示处理后的信息，该事件是在将电子设备101以用作显示装置并在增强现实模式下操作的方式安装在可穿戴设备(例如，电子设备102)中时生成的。当在增强现实模式下操作时生成的事件是与运行应用有关的事件时，事件处理模块可以阻止应用的运行或处理该应用以作为后台应用或进程进行操作。可以通过下面描述的图2来提供关于事件处理模块185的附加信息。
事件处理模块可以与处理器120分离，或者事件处理模块的至少一部分可以被包括或实现在处理器120或至少一个其它模块中，或者事件处理模块的整体功能可以包括或实现在所示出的处理器120或另一处理器中。事件处理模块可以与存储在存储器130中的至少一个程序140互操作地执行根据本公开的实施例的操作。
图2示出了根据本公开的各种实施例的示例电子设备220。图2所示的电子设备220的实施例仅用于说明。在不脱离本公开的范围的情况下，可以使用电子设备220的其它实施例。图2中描绘的电子设备220可以被配置为与电子设备101、电子设备102或电子设备104中的任何一个相同或相似。
图2是示出了根据本公开的实施例的电子设备的示例配置的框图。参照图2，根据本公开的实施例的电子设备220可以是具有至少一个显示器的电子设备220。在下面的描述中，电子设备220可以是主要执行显示功能的设备，或者可以表示包括至少一个显示器的普通电子设备。例如，电子设备220可以是具有触摸屏230的电子设备(例如，智能电话)。
根据某些实施例，电子设备220可以包括触摸屏230、控制器240、存储单元250或通信单元260中的至少一个。触摸屏230可以包括显示面板231和/或触摸屏230。控制器240可以包括增强现实模式处理单元241、事件确定单元242、事件信息处理单元243或应用控制器244中的至少一个。
例如，当电子设备220安装在可穿戴设备210中时，电子设备220可以例如作为HMD操作，并且运行增强现实模式。此外，根据本公开的实施例，即使当电子设备220未安装在可穿戴设备210中时，电子设备220也可以根据用户的设置来运行增强现实模式或运行与增强现实模式相关的应用。在以下实施例中，尽管电子设备220被设置为安装在可穿戴设备210中以运行增强现实模式，但是本公开的实施例不限于此。
根据某些实施例，当电子设备220在增强现实模式下操作(例如，电子设备220被安装在可穿戴设备210中以在头戴式影院(HMT)模式下操作)时，与用户的眼睛(左眼和右眼)对应的两个屏幕可以通过显示面板231显示。
根据某些实施例，当电子设备220在增强现实模式下操作时，控制器240可以控制与当在增强现实模式下操作时生成的事件有关的信息的处理以适合于增强现实模式，并且显示处理后的信息。根据某些实施例，当在增强现实模式下操作时生成的事件是与运行应用有关的事件时，控制器240可以阻止应用的运行或处理该应用以作为后台进程或应用进行操作。
更具体地，根据本公开的实施例，控制器240可以包括增强现实模式处理单元241、事件确定单元242、事件信息处理单元243或应用控制器244中的至少一个。可以使用电子设备220的至少一个组件(例如，触摸屏230、控制器240或存储单元250)来实现本公开的实施例以执行如下所述的各种操作或功能。
根据某些实施例，当电子设备220被安装在可穿戴设备210中或根据用户的设置运行增强现实模式时，或者当与增强现实模式相关的应用运行时，增强现实模式处理单元241可以处理与增强现实模式的操作有关的各种功能。增强现实模式处理单元241可以加载存储在存储单元250中的至少一个增强现实程序251以执行各种功能。
事件检测单元242确定或检测到当在增强现实模式下操作时增强现实模式处理单元241生成了事件。此外，事件检测单元242可以确定是否存在要在显示屏上显示的与当在增强现实模式下操作时生成的事件有关的信息。此外，事件检测单元242可以确定要运行与当在增强现实模式下操作时生成的事件有关的应用。下面描述与事件的类型有关的应用的各种实施例。
当根据事件检测单元242的确定结果存在要显示的与当在增强现实模式下操作时发生的事件有关的信息，事件信息处理单元243可以处理要在显示屏上显示的事件相关信息以适合于增强现实模式。可以应用用于处理事件相关信息的各种方法。例如，当在增强现实模式中实现三维(3D)图像时，电子设备220将事件相关信息转换为适合3D图像。例如，可以将以二维(2D)显示的事件相关信息转换为与3D图像相对应的左眼和右眼信息，然后可以将转换后的信息合成并显示在当前正在运行增强现实模式的显示屏上。
当事件检测单元242确定存在与当在增强现实模式下操作时发生的事件有关的要运行的应用时，应用控制器244执行控制以阻止与事件有关的应用的运行。根据某些实施例，当事件检测单元242确定存在与当在增强现实模式下操作时发生的事件有关的要运行的应用时，应用控制器244可以执行控制，以使该应用在背景中运行，以免在事件相关应用程序运行时影响与增强现实模式相对应的应用的运行或屏幕显示。
存储单元250可以存储增强现实程序251。增强现实程序251可以是与电子设备220的增强现实模式操作有关的应用。存储单元250还可以存储事件相关信息252。事件检测单元242可以参考存储在存储单元250中的事件相关信息252，以确定是否将发生的事件显示在屏幕上，或者识别与发生的事件有关的要运行的应用的信息。
可穿戴设备210可以是包括图1所示的电子设备101的至少一项功能的电子设备，并且可穿戴设备210可以是可以安装电子设备220的可穿戴支架。在可穿戴设备210是电子设备的情况下，当电子设备220被安装在可穿戴设备210上时，可以通过电子设备220的通信单元260提供各种功能。例如，当电子设备220被安装在可穿戴设备210上时，电子设备220可以检测是否要安装在可穿戴设备210上以与可穿戴设备210通信，并且可以确定是否在增强现实模式(或HMT模式)下操作。
根据某些实施例，当在将通信单元260安装在可穿戴设备210上时未能自动确定是否安装了电子设备220时，用户可以通过运行增强现实程序251或选择增强现实模式(或HMT模式)来应用本公开的各种实施例。根据本公开的实施例，当可穿戴设备210与电子设备101一起工作或作为其一部分工作时，可穿戴设备可以被实现为自动确定电子设备220是否被安装在可穿戴设备210上并使电子设备220的运行模式自动切换到增强现实模式(或HMT模式)。
图2所示的控制器240的至少一些功能可以包括在图1所示的电子设备101的事件处理模块185或处理器120中。图2所示的触摸屏230或显示面板231可以与图1的显示器160相对应。图2所示的存储单元250可以与图1的存储器130相对应。
尽管根据本公开的实施例在图2中触摸屏230包括显示面板231和触摸面板232，显示面板231或触摸面板232也可以被设置为单独的面板，而不是与单个触摸屏230结合。此外，根据本公开的实施例，电子设备220可以包括显示面板231，但是不包括触摸面板232。
根据某些实施例，为了便于描述，电子设备220可以被称为第一设备(或第一电子设备)，可穿戴设备210可以被称为第二设备(或第二电子设备)。
根据某些实施例，电子设备可以包括：在与增强现实模式相对应的屏幕上显示的显示单元；以及控制器，其执行以下控制：根据至少一个事件的发生来检测中断，以与增强现实模式相对应的形式来改变与事件有关的事件相关信息，并且在与增强现实模式相对应的显示屏上显示改变后的事件相关信息。
根据某些实施例，事件可以包括从呼叫接收事件、消息接收事件、警报通知、调度程序通知、无线保真(Wi-Fi)连接、WiFi断开连接、低电量通知、数据许可或使用限制通知、无应用响应通知或异常应用终止通知中选择的任何一个或更多个。
根据某些实施例，电子设备还包括被配置为当事件不是要在增强现实模式下显示的事件时存储事件相关信息的存储单元，其中当电子设备从虚拟现实模式切换到增强现实模式或透视(非增强现实)模式时控制器可以执行控制以显示存储在存储单元中的事件相关信息。根据某些实施例，电子设备可以进一步包括存储关于要在增强现实模式下显示的至少一个事件的信息的存储单元。根据某些实施例，事件可以包括即时消息接收通知事件。根据某些实施例，当事件是与运行至少一个应用有关的事件时，控制器可以根据事件的发生来执行阻止应用运行的控制。根据某些实施例，当电子设备的屏幕模式从虚拟现实模式切换到增强现实模式或透视(非增强现实)模式时，控制器可以执行控制以运行被阻止的应用。根据某些实施例，当事件是与运行至少一个应用有关的事件时，控制器可以执行控制，以使应用能够根据事件的发生运行在增强现实模式的屏幕的背景上。根据某些实施例，当电子设备与可穿戴设备连接时，控制器可以执行控制以运行增强现实模式。根据某些实施例，控制器可使事件相关信息能够被布置和处理为显示在当前显示屏上所显示的增强现实模式屏幕的三维(3D)空间中。根据某些实施例，电子设备220可以包括附加的传感器，例如一个或更多个红色、绿色、蓝色(RGB)相机、动态视觉传感器(DVS)相机、360度相机或其组合。
图3是示出了根据本公开的实施例的程序模块的框图。图3所示的实施例仅用于说明，并且在不脱离本公开的范围的情况下可以使用其它实施例。在图3所示的示例中，尽管描绘了增强现实(AR)系统，但是本公开的至少一些实施例同样适用于虚拟现实(VR)和增强现实(AR)。参照图3，程序模块可以包括系统操作系统(例如，OS)310、框架320和应用330。
系统操作系统310可以包括至少一个系统资源管理器或至少一个设备驱动器。系统资源管理器可以执行例如系统资源的控制、分配或恢复。系统资源管理器可以包括至少一个管理器，例如进程管理器、存储器管理器或文件系统管理器。设备驱动器可以包括至少一个驱动器，例如，显示器驱动器、相机驱动器、蓝牙驱动器、共享存储器驱动器、USB驱动器、键盘驱动器、Wi-Fi驱动器、音频驱动器或进程间通信(IPC)驱动器。
根据某些实施例，框架320(例如，中间件)可以提供例如应用通常需要的功能，或者可以通过应用编程接口(API)为应用提供各种功能，以允许应用有效地使用电子设备内部有限的系统资源。
框架320中包括的AR框架可以控制与电子设备上的增强现实模式操作有关的功能。例如，当运行增强现实模式操作时，AR框架320可以控制应用330中的与增强现实有关的至少一个AR应用351，以便在电子设备上提供增强现实模式。
应用330可以包括多个应用，并且可以包括以增强现实模式运行的至少一个AR应用351和以非增强现实模式运行的至少一个正常应用352。
应用330可以进一步包括AR控制应用340。至少一个AR应用351和/或至少一个正常应用352的操作可以由AR控制应用340控制。
当电子设备在增强现实模式下操作时发生至少一个事件时，系统操作系统310可以将事件的发生通知给框架320，例如AR框架。
然后，框架320可以控制正常应用352的运行，以便可以针对在非增强现实模式下发生的事件而不是在增强现实模式下发生的事件在屏幕上显示事件相关信息。当存在与在正常模式下发生的事件有关的要运行的应用时，框架320可以执行或提供控制以运行至少一个正常应用352。
根据某些实施例，当在增强现实模式下操作时发生事件时，框架320(例如，AR框架)可以阻止至少一个正常应用352的操作以显示与发生的事件有关的信息。框架320可以将当在增强现实模式下操作时发生的事件提供给AR控制应用340。
AR控制应用340可以处理与当在增强现实模式下操作时发生的事件有关的信息以适合于增强现实模式的操作。例如，可以将2D、与平面事件相关的信息处理为3D信息。
AR控制应用340可以控制当前正在运行的至少一个AR应用351，并且可以执行控制来合成处理后的事件相关信息，以显示在由AR应用351运行的屏幕上并在其上显示事件相关信息的结果。
根据某些实施例，当在增强现实模式下操作时发生事件时，框架320可以执行控制来阻止与发生的事件有关的至少一个正常应用352的运行。
根据某些实施例，当在增强现实模式下操作时发生事件时，框架320可以执行控制来暂时阻止与发生的事件有关的至少一个正常应用352的运行，然后当增强现实模式终止时，框架320可以执行控制来运行被阻止的正常应用352。
根据某些实施例，当在增强现实模式下操作时发生事件时，框架320可以控制与发生的事件有关的至少一个正常应用352的运行，使得与事件有关的至少一个正常应用352在后台运行，以免影响当前运行的AR应用351所使用的屏幕。
结合图3描述的实施例是用于以程序形式实现本公开的实施例的示例，并且本公开的实施例不限于此，而是可以以其它各种形式来实现。此外，尽管结合图3描述的实施例参考了AR，但是其可以应用于诸如混合现实或虚拟现实等的其它场景。各种现实场景在本文中可以统称为扩展现实(XR)。
用于XR场景的用户界面(UI)的各个方面的各种示例。应当注意，本文公开的XR UI的各个方面仅是XR UI的示例，而无意于进行限制。
在XR场景中可以使用不同类型的显示元件。例如，所显示的元件要么直接地与真实世界关联，要么松散地与XR显示空间关联。虚拟世界(in-world)元素是相对于真实或虚拟环境自身移动的元素(即，相对于环境自身移动的元素)。取决于对象，当佩戴头戴式显示器(HMD)时，虚拟世界元素可能不一定会相对于用户的头部移动。
平视显示器(HUD)元素是用户可以在无需移动显示视图中的HUD元素容器或UI面板的情况下进行较小的头部移动来直接凝视或注视各种应用(app)元素。HUD元素可以是作为显示器的一部分的状态栏或UI，通过该状态栏或UI信息被可视地显示给用户。
图4A、图4B、图4C和图4D示出了根据本公开实施例的用于在增强现实、混合现实或虚拟现实中使用的头戴式显示器(HMD)的示例。图4A-图4D中所示的HMD的实施例仅用于说明，并且在不脱离本公开的范围的情况下可以使用其它配置。
HMD可以生成利用增强信息来渲染真实世界环境的增强现实环境。HMD可以是单目或双目的，并且可以是不透明、透明、半透明或反射性的设备。例如，HMD可以是具有透明屏幕410的单目电子设备405。用户能够看透屏幕410以及能够看见在屏幕410上渲染、投影或显示的图像。图像可以被投影到屏幕410上，由屏幕410生成或渲染或在屏幕410上反射。在某些实施例中，HMD是具有不透明或非透视显示器420的单目电子设备415。非透视显示器420可以是液晶显示器(LCD)、发光二极管(LED)、有源矩阵有机发光二极管(AMOLED)等。非透视显示器420可以被配置为渲染图像以供用户观看。在某些实施例中，HMD可以是具有透明屏幕430的425。透明屏幕430可以是单个连续屏幕，诸如适于被用户的双目电子设备双眼观看或跨越用户的双眼。透明屏幕430也可以是两个透明屏幕，当设置一个屏幕对应于用户的相应眼睛时。用户能够透视屏幕430，并且能够看到在屏幕430上渲染、投影或显示的图像。图像可以被投影到屏幕430上、由屏幕430生成或渲染或反映在屏幕430上。在某些实施例中，HMD是具有不透明或非透视显示器440的双目电子设备435。HMD可以包括被配置为捕获真实世界信息并经由非透视显示器440显示真实世界信息的相机或相机输入。非透视显示器440可以是LCD、LED、AMOLED等。非透视显示器440可以被配置为渲染图像以供用户观看。相机捕获的真实世界信息可以通过增强信息在显示器上渲染为视频图像。
本公开的实施例利用例如在于2018年9月11日提交的发明人为Masak Suzuki、Sergio Perdices-Gonzalez和Pranav Mistry并且标题为“用于跟踪头戴式设备的焦点的系统和方法(SYSTEM AND METHOD FOR TRACKING A FOCAL POINT FOR A HEAD MOUNTEDDEVICE)”的美国专利申请No.16/128,322中公开的焦点跟踪。美国专利申请No.16/128,322的内容通过引用整体并入本文中。
本公开的实施例涉及在增强现实(AR)系统中使用的焦点跟踪或注视跟踪，或焦点跟踪和注视跟踪两者。近年来，人们对增强现实(AR)眼镜的兴趣大大增加。由于透视AR HMD紧凑轻巧，因此需求将持续增长。当前技术的一个重要问题是，AR HMD在某些情况下可能会绘制出非常模糊的图像。模糊的图像可能会给HMD用户造成恶心、头晕或总体不适感。另外，注视电子显示器时间过长的可能会造成视力问题。
本公开的实施例提供了一种可以结合用户的眼睛的焦点、对象的真实深度(从用户的眼睛到对象的距离)来确定用户正注视的坐标(例如，X、Y位置)的系统和方法。本公开的实施例使处理电路能够在同一视线中有处于不同距离的多个对象时区分用户正在观看什么对象。
图5示出了根据本公开的实施例的具有焦点跟踪电路和注视跟踪电路的电子设备。图5所示的电子设备的实施例仅用于说明，并且在不脱离本公开的范围的情况下可以使用其它图示。电子设备500可以与电子设备101、102、104、210或220之一相同或相似。
在某些实施例中，电子设备500包括模块或用于焦点跟踪的电路和用于注视跟踪的电路。可以是自适应开关的开关505被配置为在焦点跟踪电路与注视跟踪电路之间进行切换。
注视跟踪电路可以包括发光二极管(LED)电路510和第一相机515，第一相机515通过第一开关525耦合到注视跟踪处理器520。第一开关525可以配置为响应来自开关505或包含在开关505中的命令。
焦点跟踪电路可以包括LED电路530和第二相机535，第二相机通过第一开关545耦合到焦点跟踪处理器540。第一开关525可以配置为响应来自开关505或包含在开关505中的命令。
注视跟踪处理器520和焦点跟踪处理器540均能够在显示单元上驱动图像。例如，注视跟踪处理器520可以至少部分地用于响应于本文概述的注视跟踪功能来操作一个或更多个显示器。可选地，焦点跟踪处理器540可以至少部分地用于基于确定的用户眼睛的焦点来改变在显示器上渲染的对象的焦点。
图6示出了根据本公开的实施例的具有用于焦点跟踪和注视跟踪的电路的电子设备。图6所示的电子设备的实施例仅用于说明，并且在不脱离本公开的范围的情况下可以使用其它图示。电子设备600可以与电子设备101、102、104、210或220之一相同或相似。
在某些实施例中，电子设备600包括被配置为执行焦点跟踪和注视跟踪的处理器系统605。例如，处理器系统605可包括一个或更多个处理器以执行焦点跟踪610和注视跟踪615。在某些实施例中，处理器系统605包括单个处理器以执行焦点跟踪610和注视跟踪615。在某些实施例中，处理器系统605被配置为控制开关505以在焦点跟踪电路与注视跟踪电路之间切换。
注视跟踪电路可以包括LED电路510和第一相机515，第一相机515通过第一开关525耦合到注视跟踪处理器520。第一开关525可以配置为响应来自开关505或包括在开关505中的命令。
焦点跟踪电路可以包括LED电路530和第二相机535，第二相机535通过第一开关545耦合到焦点跟踪处理器540。第一开关525可以配置为响应来自开关505或包括在开关505中的命令。
处理器系统605能够在显示单元上驱动图像。例如，处理器系统605可以响应于本文概述的注视跟踪功能来操作一个或更多个显示器。可替代地，处理器系统605可以基于确定的用户眼睛的焦点来改变在显示器上渲染的对象的焦点。
图7示出了根据本公开的实施例的焦点估计系统。焦点估计系统(FPES)700的实施例仅用于说明，并且在不脱离本公开的范围的情况下可以使用其它实施例。FPES 700可以与HMD一起使用。FPES 700可以被包括为HMD的组件。FPES 700可以可移除地耦合到HMD。HMD可以被配置为HMD 405、415、425或440之一。
FPES 700相对于用户的眼睛705定位。FPES 700能够向用户的眼睛705发射光，并检测来自用户的眼睛705的反射光。也就是说，当作为HMD的佩戴者的用户正在观看放置在HMD前面的对象时，FPES 700可以向用户的眼睛705发射光，其中反射光被用户的眼睛的前表面和用户的眼睛的内部晶状体反射。在一个示例中，FPES包括OLED显示器710、透镜组件715、反射界面720、处理系统725、红外光源730和红外相机735。
当佩戴HMD时，OLED显示器710显示图像，例如用于增强用户的真实感的图像。在某些实施例中，例如当FPES 700是HMD的一部分或包括HMD时，OLED显示器710可以被集成到FPES 700中。在某些实施例中，OLED显示器710是HMD的一部分并且与FPES 700交互。例如，FPES 700可以驱动命令信号以控制由OLED显示器710渲染的图像，并且OLED显示器710可以基于由FPES 700执行的估计来渲染图像。也就是说，OLED显示器被配置为基于透镜单元的焦点呈现在第二距离处的对象的图像，以使用户产生图像被放置在第一距离的感觉。
透镜组件715可以包括单个透镜或多个透镜。透镜组件715可以是OLED显示器710的一部分或耦合到OLED显示器710。例如，当FPES被包括在HMD中时，透镜组件715可以放置在OLED显示器710的显示表面附近或上方。在某些实施例中，当FPES 700耦合到HMD时，透镜组件715可以被包括为HMD的一部分，可以被包括为OLED显示器710的一部分，或者可以被配置为可移除地耦合到HMD或OLED显示器710，以便将透镜组件715放置在OLED显示器710的显示表面附近或上方。透镜组件715配置为调节以改变透镜组件715的焦点。
反射界面720是透明、半透明或不透明的材料。反射界面720包括反射表面。例如，反射界面720可以是透明镜。在某些实施例中，反射界面720被集成为FPES 700的一部分。在某些实施例中，反射界面720是FPES700耦合到的HMD 700的一部分。反射界面720被配置为将来自红外光源730的光朝着眼睛705反射，并且将来自眼睛705的光朝着红外相机735反射。
红外光源730向反射界面720发射红外光。红外光以足够低的辐射强度发射，从而对于眼睛705是安全的。标准IEC-62471描述了红外强度的安全等级，例如，辐射强度为每球面度0.18瓦(W/sr)。在某些实施例中，红外光源730发射等于或小于0.10W/sr的红外光。在某些实施例中，红外光源730包括配置成使红外光源730能够以等于或小于0.01W/sr发射红外光的开关。应当注意，第一反射点PS1对应于从角膜的前(或外)表面反射的光；第二反射点PS2对应于从角膜的后(或内)表面反射的光；第三反射点PS3对应于从晶状体的前(或外)表面反射的光；第四反射点PS4对应于从晶状体的后(或内)表面反射的光。在某些实施例中，光源730的照度为100％，而PS1的照度为2.5％，放大率为0.072；PS2的照度为0.02％，放大率为0.06；PS3的照度为0.09％，放大率为0.086；PS4的照度为0.09％，放大率为0.05。还应注意，PS4处的图像与光源处的图像反向(即，翻转)。
红外相机735被配置为捕获眼睛705的图像。红外相机735可以检测从眼睛705反射的光。在某些实施例中，红外相机735可以是或可以包括被配置为检测反射光的光传感器。反射光可以被用户的眼睛的前表面和用户的眼睛的内部晶状体反射。反射光可以被反射界面720进一步反射。红外相机735将与检测到的图像或捕获的图像相对应的信号发送到处理系统725。
处理系统725可以包括被配置为控制FPES 700、HMD或其组合的操作的一个或更多个处理器。处理系统725可以包括存储器，以存储用于操作处理系统725、操作FPES 700、操作HMD或其组合的指令。存储器还可以存储由FPES 700例如经由红外相机735捕获的数据。处理系统725从红外相机735接收与眼睛705的图像相对应的信号。处理系统725分析眼睛705上的反射光图案并估计眼睛705的相应焦点。例如，处理系统725可以使用Purkinje-Sanson(浦桑二氏)图像估计方法来估计眼睛705的焦点。处理系统725分析由红外相机735捕获的眼睛705的图像中的反射图案。处理系统725识别与反射点PS1、第二反射点PS2、第三反射点PS3和第四反向反射点PS4对应的反射点。再次注意到，第一反射点PS1对应于从角膜的前(或外)表面反射的光；第二反射点PS2对应于从角膜的后(或内)表面反射的光；第三反射点PS3对应于从晶状体的前(或外)表面反射的光；第四反射点PS4对应于从晶状体的后(或内)表面反射的光。处理系统725计算、测量或以其它方式确定PS1与PS3之间的距离。当用户正在观看对象时，测量基于用户的眼睛旋转和用户的眼睛的前表面曲率以及用户的眼睛的内部晶状体而变化。基于距离确定，处理系统725调节透镜组件715的焦点。这样，处理系统725被配置为响应于对象距HMD的第一距离来调节透镜单元的焦点，其中第一距离是基于反射光的位置确定的。
响应于透镜组件715的焦点的调节，OLED显示器710能够基于透镜组件715的焦点呈现在第二距离处的对象的图像。因此，FPES 700能够为用户创建图像处于不同于第二距离的第一距离的感觉。
在某些实施例中，FPES 700被配置为针对不同的瞳孔间距(IPD)进行调节。FPES700可以自动地(即，无需用户干预)使用相机反馈回路机械地移动照明LED，以在使用期间初始地调节和跟踪用户在HMD位置上的变化，并针对不同用户调节不同的眼睛位置。FPES700可以自动地(即，无需用户干预)使用相机反馈回路机械地移动半反射镜(反射界面720)，以在使用期间初始地调节和跟踪用户在HMD位置上的变化，并针对不同用户的不同眼睛位置进行调节。在某些实施例中，FPES 700包括多LED：阵列(1D)或矩阵(2D)。FPES 700可以执行不同LED的反馈回路测试以及PS3 635的相机跟踪。FPES 700可以执行反馈回路优化，一旦锁定在最佳LED，可以跳过该回路或仅跟踪相邻LED。在某些实施例中，FPES 700被配置为初始地校准到相应的用户，然后基于用户眼睛移动和焦点调节来调节焦点。在某些实施例中，FPES 700被配置为响应于用户的HMD移动而重新校准。另外地或可替代地，在某些实施例中，FPES 700可以被配置为基于手动用户输入/调节来针对不同的瞳孔间距(IPD)进行调节。在某些实施例中，可以在视觉、触觉和/或听觉等方面向用户提供对于手动用户输入/调节的反馈。
在某些实施例中，FPES 700被配置为与外部设备通信。例如，FPES 700可以连接到智能手机750以结合智能手机750中的功能提供焦点估计或注视点跟踪。FPES 700可以通过智能手机750向用户提供通知、图形或数据或健康监测信息755。
图8示出了根据本公开实施例的具有显示器开关自动变换器(DAC)的电子设备。图8中所示的扩展现实电子设备的实施例仅用于说明，并且在不脱离本公开的范围的情况下可以使用其它图示。在某些扩展现实中，电子设备800被配置成为用户创建增强现实体验。在某些扩展现实中，电子设备800被配置成为用户创建虚拟现实体验。电子设备800可以与电子设备101、102、104、210或220之一相同或相似，并且可以包括如关于电子设备500、电子设备600或FPES 700所描述的电路。
电子设备800相对于用户的眼睛705定位。电子设备800能够确定用户的注视和焦点。电子设备800包括被配置为执行注视跟踪、焦点跟踪或其组合的处理器805。电子设备800还包括被配置为进行操作以控制从处理器805到显示器815的命令信号的自适应开关810。在某些实施例中，自适应开关810包括被配置为响应于关于用户注视的确定而进行操作的处理电路。在某些实施例中，自适应开关810响应于从处理器805接收的命令信号而进行操作。
在某些实施例中，显示器815被包括在电子设备中。例如，显示器815可以是OLED显示器710。在某些实施例中，显示器815是外部设备上的显示器。例如，显示器815可以是如图11所示的在不同的外部设备上的多个显示器，以使自适应开关810响应于从处理器805接收的命令信号而在不同的设备上接合不同的显示器。
自适应开关810根据用户的注视来操作显示器815。当电子设备800确定用户正在观看例如在显示器815处的近处对象时，自适应开关810将显示器815开启。当电子设备800确定用户正在观看远处对象时，即，用户的注视超过预定阈值距离时，自适应开关810将显示器815关闭。本领域普通技术人员将认识到，在开启状态下，显示器815能够根据正在执行的处理来渲染图像或视频，而在关闭状态下，显示器815在功能上处于关闭状态，使得没有电力流到显示屏或显示器815没有接收到用于在显示屏上渲染的图像、数据或视频。
图9示出了根据本公开实施例的显示器自动开启/自动关闭过程。图9未将本公开的范围限于任何特定实施例。尽管自动开启/自动关闭过程900描绘了一系列顺序步骤，除非明确说明，否则不应从该顺序中得出关于执行的具体顺序、按顺序而不是同时或以交叠的方式执行步骤或其部分，或者在不出现介入步骤或中间步骤的情况下唯一地执行描述的步骤的任何推论。为了便于说明，关于图8的电子设备800的处理系统805描述了自动开启/关闭过程900。但是，自动开启/关闭过程900可以与任何其它合适的系统一起使用。
在框905中，确定用户是否正在观看例如在显示器815处的近处对象。例如，处理器805可以确定用户的眼睛的注视或焦点或两者是否处于与显示器815的位置相对应的距离。
当用户的眼睛的注视或焦点对应于近距离时，例如在与显示器815的位置相对应的距离处，则在方框910中开启显示器815。例如，响应于处理器805确定用户的眼睛的注视对应于与显示器815的位置相对应的距离，处理器805使自适应开关开启显示器815。在某些实施例中，自适应开关810响应于确定用户的眼睛的注视对应于与显示器815的位置相对应的距离而自动操作，即无需用户干预。例如，当处理器805确定用户的注视时，自适应开关810可以在显示器805中检测标记或条件状态。
当用户的眼睛的注视或焦点不对应于近距离时，例如在超过可与显示器815的距离相对应的预设或预定距离的距离处，则在框915中显示器815关闭。例如，响应于处理器805确定用户的注视超过预设或预定距离，处理器805使自适应开关关闭显示器815。在某些实施例中，自适应开关810响应于确定用户的眼睛的视线超过预设或预定距离而自动操作，即，无需用户干预。
图10示出了根据本公开的实施例的示例处理系统。图10所示的处理系统1000的实施例仅用于说明，并且在不脱离本公开的情况下可以使用其它实施例。处理系统1000可以被配置为与处理器805相同或被配置为执行处理器805的功能。例如，处理器805可以被实现为多处理器系统，例如处理系统1000的某些实施例。
在某些实施例中，处理系统1000包括被配置为焦点估计器1005的一个或更多个处理器。在某些实施例中，处理系统1000包括被配置为控制FPES的操作以及执行焦点估计器1005的功能的单个处理器。焦点估计器1005被配置为根据上文概述的一种或更多种方法来估计焦点。
在某些实施例中，处理系统1000包括焦点数据库1010。焦点数据库1010可以存储在处理系统1000的存储器中。处理系统1000也可以将捕获的图像以及瞳孔和光斑检测信息存储在焦点数据库1010中。焦点数据库1010可以包括在校准模式期间观看放置在不同位置处的特定对象的用户的多个眼睛旋转、前表面和内部晶状体曲率数据。另外，处理系统1000可以从焦点数据库1010检索焦点估计信息。
处理系统1000被配置为从红外相机735接收数据信号。处理系统1000将所接收的数据信号存储在焦点数据库1010中，以供调用和用于配置FPES 700。在某些实施例中，相机系统响应于用户输入1015而操作，例如经由触摸输入、按钮或用于测量的其它控制输入(即，测量按钮)。例如，当用户按下测量按钮时，FPES将显示焦点更改为用户的焦点。处理系统1000例如通过发出命令信号来驱动光源730和透镜组件715的操作。
处理系统1000还包括显示器开启/关闭选择器1020。显示器开启/关闭选择器1020例如通过发出命令信号或操作自适应开关来驱动OLED显示器710的操作。在该示例中，显示器开启/关闭选择器1020驱动OLED显示器710的操作；然而，本文的实施例同样适用于用于驱动显示器815的操作的显示器开启/关闭选择器1020。例如，显示器开启/关闭选择器1020可以确定用户的眼睛的注视或焦点或两者是否处于与OLED显示器710的位置相对应的距离。当用户的眼睛的注视或焦点对应于近距离时，例如在与OLED显示器710的位置相对应的距离处，显示器开启/关闭选择器1020开启OLED显示器710。当用户的眼睛的注视或焦点不对应于近距离时，显示器开启/关闭选择器1020关闭OLED显示器710(或显示器815)。
在某些实施例中，显示器开启/关闭选择器1020被配置为半自动显示转换器。即，当用户按下诸如用户输入1015之类的按钮时，显示器开启/关闭选择器1020关闭或开启OLED显示器710。
图11、图12和图13示出了根据本公开的实施例的外部设备的操作。图11、图12和图13所示的外部设备的控制示例仅用于说明，并且在不脱离本公开的范围的情况下可以使用其它示例。
在图11所示的示例中，用户1100正在观看第一显示器815a。诸如FPES 700或电子设备800的HMD被配置为执行如本文所述的注视跟踪和焦点跟踪。为了执行注视跟踪，确定关于用户正在注视位置的X和Y位置(例如，水平和垂直)，而为了执行焦点跟踪时，确定用户正在注视的位置的Z位置(例如，深度)。这样，在一些实施例中，“注视1105”还可以进一步取决于焦点跟踪(深度信息)。HMD确定用户1100的注视1105指向第一显示器815a而不指向第二显示器815b也不指向第三显示器815c。响应于确定了用户1100的注视1105在第一显示器815a上，HMD自动操作第一显示器815a并关闭第二显示器815b以及关闭第三显示器815c。即，无需用户干预，HMD开启第一显示器815a并且关闭第二显示器815b以及关闭第三显示器815c。
在图12所示的示例中，用户1100正在观看第一个人计算机(PC)1205。用户1100可能希望将文本输入到第一PC 1205中。诸如FPES 700或电子设备800的HMD被配置为执行如本文所述的注视跟踪和焦点跟踪。再次，应当注意的是，为了执行注视跟踪，确定用户正在注视的位置的X和Y位置(例如，水平和垂直)，而为了执行焦点跟踪，确定用户正在注视的位置的Z位置(例如，深度)。这样，在一些实施例中，“注视1105”还可以进一步取决于焦点跟踪(深度信息)。HMD确定用户1100的注视1105指向第一PC 1205而不是指向第二PC 1210也不指向第三PC1215。响应于确定了用户1100的注视1105位于第一PC 1205上，HMD自动将输入设备1220耦合到PC 1205，以便第一PC 1205接收、显示或执行经由输入设备1220(包括附近的鼠标1225)输入的文本。即，无需用户干预，HMD开启第一PC 1205，将第一PC 1205耦合到输入设备1220和鼠标1225，关闭第二PC 1210以及关闭第三PC 1215。
在图13所示的示例中，用户1100正在观看PC 1205。用户1100可能希望操作PC1205或在PC 1205上查看信息。诸如FPES 700或电子设备800HMD配置成执行如本文所述的注视跟踪和焦点跟踪。再次，应当注意的是，为了执行注视跟踪，确定用户正在注视的位置的X和Y位置(例如，水平和垂直)，而为了执行焦点跟踪，确定用户正在注视的位置的Z位置(例如，深度)。这样，在一些实施例中，“注视1105”还可以进一步取决于焦点跟踪(深度信息)。HMD确定用户1100的注视1105指向PC 1205，而不是指向电话1305或电视1310。响应于确定用户1100的注视1105位于第一PC 1205上，HMD自动操作第一PC1205。即，无需用户干预，HMD开启第一PC1205。此外，HMD不会与电话1305和电视1310接合、关闭或进入睡眠模式。
因此，HMD例如经由自适应开关和显示器开启/关闭选择器能够改变要操作哪个外部设备以及要操作各个外部设备上的哪个显示器。HMD能够响应于用户1100的注视1105或用户1100的眼睛的焦点的确定，来选择要操作的多个外部设备之一。此外，HMD能够响应于用户1100的注视1105或用户1100的眼睛的焦点的确定，来开启选定的外部设备的显示器，并关闭各个非选定的外部设备的显示器。
在某些实施例中，诸如FPES 700或电子设备500、600或800的HMD被配置为向用户提供眼睛健康意识通知。在长时间过近聚焦的情况下连续跟踪/查看对象可能会对眼睛的健康产生负面影响。眼科医生、验光师和其它眼科专业人员指出，近视(也称为近视眼)与“近距离工作”(距离眼睛约40厘米(16英寸)发生的视觉活动)(例如，读书)之间存在表面的联系。由于监视器通常在50厘米(20英寸)左右的距离，所以盯着计算机屏幕也算合格。例如，当用户长时间保持观看附近对象或保持近焦点或注视点时，根据本公开的HMD可以被配置为向用户提供警报。HMD可以通过OLED显示器710、显示器815或智能手机750生成警报。
在某些实施例中，诸如FPES 700或电子设备500、600或800的HMD被配置为生成以人为中心的同步定位与建图(SLAM)。SLAM是一种使用相机构造或更新未知环境的地图的技术。HMD能够捕获私人纹理，例如人脸、字母和符号。HMD相机735(或相机515或相机535)利用用户的眼睛的焦点来创建SLAM。这样，HMD相机735通过观察用户而不是外部环境来生成SLAM图像。这种方法还允许HMD仅聚焦在用户注意的表面上。这种方法还允许HMD显著减少数据量、映射量和计算量。
图14A示出了根据本公开的实施例的同步定位与建图(SLAM)系统。图14A所示的SLAM系统1400的实施例仅用于说明，并且在不脱离本公开的情况下可以使用其它实施例。SLAM系统1400可以配置为与处理器805相同，或者配置为执行处理器805的功能。
SLAM是构建或更新未知环境的地图，同时跟踪其中代理的位置的计算问题。SLAM算法是针对可用资源量身定制的，因此并不旨在完美，而是旨在操作合规性。SLAM的已发布方法已用于自动驾驶汽车、无人驾驶飞行器、自主式水下船、行星漫游车、较新的家用机器 人，甚至人体内部。
SLAM系统1400包括输出焦平面，其为显示器图像所投影的深度。这样，SLAM系统1400跟踪系统与显示器输出系统耦合。在某些实施例中，显示器包括(机械地、声学地或电动地)调节透镜的光学系统。在某些实施例中，SLAM系统1400显示图像可以通过对要在一定距离处聚焦的内容数字化地处理来数字化地放置。
SLAM系统1400可以从多个选项中选择关于内容在空间中放置的位置。例如：
о用户驱动：SLAM系统1400可以在用户聚焦的深度处投影信息。SLAM系统1400可以通过调节焦平面(但不完全)接近用户焦点并使其一直移动直到用户达到目标深度来引导用户聚焦在某个平面上。
о环境驱动：在增强现实场景中，SLAM系统1400需要在目标对象或平面的深度处覆盖数字内容。SLAM系统1400可以使用用户眼睛焦点来识别或计算相对于用户放置真实对象的位置的深度。
在某些实施例中，SLAM系统1400包括SLAM生成器1405。SLAM生成器1405可以被实现为单处理器或多处理器系统。在某些实施例中，SLAM生成器1405被实现为另一处理器系统的一部分。焦点估计器1005被配置为根据上文概述的一种或更多种方法来估计焦点。
在某些实施例中，SLAM系统1400包括焦点数据库1010。焦点数据库1010可以存储在处理系统1000的存储器中。SLAM系统1400可以将捕获的图像以及瞳孔和光斑检测信息存储在焦点数据库1010中。焦点数据库1010可以包括在校准模式期间用户观看放置在不同位置处的特定对象的多个眼睛旋转、前表面和内部晶状体曲率数据。此外，SLAM系统1400可以从焦点数据库1010检索焦点估计信息。
SLAM系统1400被配置为从红外相机735接收数据信号。SLAM系统1400将所接收的数据信号存储在焦点数据库1010中，以供调用和用于配置FPES 700。在某些实施例中，相机系统响应于用户输入1015而进行操作，例如经由触摸输入、按钮或用于测量的其它控制输入(即，测量按钮)。例如，当用户按下测量按钮时，FPES将显示焦点更改为用户的焦点。SLAM系统1400例如通过发出命令信号来驱动光源730和透镜组件715的操作。
SLAM系统1400还包括显示器开启/关闭选择器1020。显示器开启/关闭选择器1020例如通过发出命令信号或操作自适应开关来驱动OLED显示器710的操作。在示例中，显示器开启/关闭选择器1020驱动OLED显示器710的操作；然而，本文的实施例同样适用于用于驱动显示器815的操作的显示器开启/关闭选择器1020。例如，显示器开启/关闭选择器1020可以确定用户的眼睛的注视或焦点或两者是否处于与OLED显示器710的位置相对应的距离。当用户的眼睛的注视或焦点对应于近距离时，例如在与OLED显示器710的位置相对应的距离处，显示器开启/关闭选择器1020开启OLED显示器710。当用户的眼睛的注视或焦点不对应于近距离时，显示器开启/关闭选择器1020关闭OLED显示器710(或显示器815)。
SLAM生成器1405使用来自焦点估计器1005的数据。在某些实施例中，当用户例如经由用户输入1015按下按钮时，SLAM生成器1405生成SLAM。
在某些实施例中，诸如FPES 700或电子设备500、600或800的HMD被配置为生成深度信息。某些实施例提供了用于援助单眼人的应用。单眼人无法感知深度信息。本公开的某些实施例在显示器上提供深度信息。示例包括针对深度的交叠颜色层、与深度有关的声音等。在某些实施例中，深度信息生成器使用焦点数据。当用户按下按钮时，HMD向用户提供深度信息。
图14B示出了根据本公开实施例的用于同步定位与建图(SLAM)的过程。尽管SLAM过程1450描绘了一系列连续步骤，除非明确说明，否则不应从该顺序中得出关于执行的具体顺序、按顺序而不是同时或以交叠的方式执行步骤或其部分，或者在不出现介入步骤或中间步骤的情况下唯一地执行描述的步骤的任何推论。为了便于说明，关于图14A的SLAM系统1400描述了SLAM过程1450。然而，SLAM过程1450可以与任何其它合适的系统一起使用。
在某些情况下，本公开的实施例提供了两个深度。根据用户的注视(x、y或θ、
Figure BDA0002596946580000301
)和焦点(z或r)，从SLAM(深度图)生成点云。这在3D空间中提供了点。可以用惯性测量单位(IMU)数据来辅助此过程，也可以将其与红绿蓝(RGB)相机、黑白(B&W)相机等一起映射。
在框1452中，在跟踪线程1454内，为了生成深度信息，执行视觉测程法。视觉测程法是通过分析相关的相机图像(例如，新帧1456和上一帧1458)来确定系统的位置和方向的过程。在框1460中，识别关键帧并将其发送到关键帧队列1462。在映射线程1464中，在框1466中，可以对添加新地标的所选关键帧执行极线搜索。在框1470中，对图1468进行优化和更新。此外，在识别线程1472中，在框1474中确定是否发现重复对象。如果发现了重复对象，则在框1476中确定重复对象是否是新对象。如果对象是新的，则将该对象添加到对象数据库1478。如果对象不是新的，则将关于“不是新的”对象的实例添加到数据库1478。此后，数据库1478还用于生成和更新地图1468。
图15示出了根据本公开的实施例的深度信息系统。图15所示的深度信息系统1500的实施例仅用于说明，并且在不脱离本公开的情况下可以使用其它实施例。深度信息系统1500可以被配置为与处理器805相同或被配置为执行处理器805的功能。
在某些实施例中，深度信息系统1500包括深度生成器1505。深度生成器1505可以被实现为单处理器或多处理器系统。在某些实施例中，深度生成器1505被实现为另一处理器系统的一部分。深度信息系统1500还包括焦点估计器1005，该焦点估计器1005被配置为根据上文概述的一种或更多种方法来估计焦点。
在某些实施例中，深度信息系统1500包括焦点数据库1010。焦点数据库1010可以存储在处理系统1000的存储器中。深度信息系统1500可以将捕获的图像以及瞳孔和光斑检测信息存储在焦点数据库1010中。焦点数据库1010可以包括在校准模式期间用户观看放置在不同位置处的特定对象的多个眼睛旋转、前表面和内部晶状体曲率数据。另外，深度信息系统1500可以从焦点数据库1010检索焦点估计信息。
深度信息系统1500被配置为从红外相机735接收数据信号。SLAM系统1400将所接收的数据信号存储在焦点数据库1010中，以供调用和用于配置FPES 700。在某些实施例中，相机系统响应于用户输入1015而操作，例如经由触摸输入、按钮或用于测量的其它控制输入(即，测量按钮)。例如，当用户按下测量按钮时，FPES将显示焦点更改为用户的焦点。深度信息系统1500例如通过发出命令信号来驱动光源730和透镜组件715的操作。
深度生成器1505产生深度信息以供在OLED显示器710或显示器815上显示。可以关于图14A和图14B中的SLAM如上文所描述地生成深度信息。在某些实施例中，深度生成器1505使用来自焦点估计器1005的数据。在某些实施例中，当用户例如经由用户输入1015按下按钮时，深度生成器1505生成深度信息。用户输入可以包括以下一项或更多项：语音命令、动作、手势或眨眼模式以触发深度援助。例如，相机735可以检测用户的眨眼。作为响应，深度生成器1505产生深度信息以供OLED显示器710或显示器815显示。例如，处理器725或处理器805可以使深度生成器1505产生深度信息。在某些实施例中，由相机735捕获的信息由深度生成器1505检测，深度生成器1505响应于其生成深度信息。之后，深度信息由OLED显示器710或显示器815显示。
图16示出了根据本公开的相机聚焦示例。图16中所示的相机聚焦示例仅用于说明。在不脱离本公开的范围的情况下，可以使用其它示例。
在图16所示的示例中，用户1605正试图使用相机1615捕获对象1610的图像。该对象在玻璃1620的第一侧，而相机在玻璃1620的另一侧。用户1605尝试穿过玻璃1620设置相机1615的焦点。在某些情况下，相机1615将聚焦在玻璃1620上，而用户1605想要拍摄对象1605的照片。
图17示出了根据本公开的实施例的相机辅助聚焦系统。图17所示的相机辅助聚焦系统(CAFS)1700的实施例仅用于说明。在不脱离本公开的范围的情况下，可以使用其它实施例。可以将CAFS 1700配置为与图7的FPES 700相同或相似。
CAFS 1700相对于用户的眼睛705定位。CAFS 1700能够向用户的眼睛705发射光，并检测来自用户的眼睛705的反射光。也就是说，当作为HMD的佩戴者的用户观看放置在HMD前面的对象时，CAFS 1700可以向用户的眼睛705发射光，其中反射光是被用户的眼睛的前表面和用户的眼睛的内部晶状体反射的。CAFS 1700包括OLED显示器710、透镜组件715、反射界面720、处理系统725、红外光源730和红外相机735。CAFS 1700还包括相机1705或耦合到相机1705。
当佩戴HMD时，OLED显示器710显示图像，例如用于增强用户的真实感的图像。在某些实施例中，例如当CAFS 1700是HMD的一部分或包括HMD时，OLED显示器710可以被集成到CAFS 1700中。在某些实施例中，OLED显示器710是HMD的一部分并且与CAFS 1700交互。例如，CAFS 1700可以驱动命令信号以控制由OLED显示器710渲染的图像，并且OLED显示器710可以基于由CAFS 1700执行的估计来渲染图像。也就是说，OLED显示器被配置为基于透镜单元的焦点呈现在第二距离处的对象的图像，以使用户产生图像被放置在第一距离的感觉。
透镜组件715可以包括单个透镜或多个透镜。透镜组件715可以是OLED显示器710的一部分，或者可以耦合到OLED显示器710。例如，当CAFS 1700包括在HMD中时，透镜组件715可以被布置为靠近或位于OLED显示器710的显示表面上方。在某些实施例中，当CAFS1700耦合到HMD时，透镜组件715可以被包括为HMD的一部分，可以被包括为OLED显示器710的一部分，或者可以被配置为可移除地耦合到HMD或OLED显示器710，使得透镜组件715被布置为靠近或位于OLED显示器710的显示表面上方。透镜组件715被配置为进行调节以改变透镜组件715的焦点。
反射界面720是透明、半透明或不透明材料。反射界面720包括反射表面。例如，反射界面720可以是透明镜。在某些实施例中，反射界面720被集成为CAFS 1700的一部分。在某些实施例中，反射界面720是与CAFS 1700耦合的HMD的一部分。反射界面720被配置为将来自红外光源730的光朝着眼睛705反射，并且将来自眼睛705的光朝着红外相机735反射。
红外光源730向反射界面720发射红外光。红外光以足够低的辐射强度发射，从而对于眼睛705是安全的。标准IEC-62471描述了红外强度的安全水平，例如，辐射强度为每球面度0.18瓦(W/sr)。在某些实施例中，红外光源730发射等于或小于0.18W/sr的红外光。在某些实施例中，红外光源730发射等于或小于0.10W/sr的红外光。在某些实施例中，红外光源730包括被配置成使红外光源730能够以等于或小于0.01W/sr发射红外光的开关。应当注意，第一反射点PS1对应于从角膜的前(或外)表面反射的光；第二反射点PS2对应于从角膜的后(或内)表面反射的光；第三反射点PS3对应于从晶状体的前(或外)表面反射的光；以及第四反射点PS4对应于从晶状体的后(或内)表面反射的光。在某些实施例中，光源730的照度为100％，而PS1的照度为2.5％，放大率为0.072；PS2的照度为0.02％，放大率为0.06；PS3的照度为0.09％，放大率为0.086；PS4的照度为0.09％，放大率为0.05。还应注意，PS4处的图像与光源处的图像反向(即，翻转)。
红外相机735被配置为捕获眼睛705的图像。红外相机735可以检测从眼睛705反射的光。在某些实施例中，红外相机735可以是或可以包括被配置为检测反射光的光传感器。反射光可以被用户的眼睛的前表面和用户的眼睛的内部晶状体反射。反射光可以被反射界面720进一步反射。红外相机735将与检测到的图像或捕获的图像相对应的信号发送到处理系统725。
处理系统725可以包括被配置为控制CAFS 1700、HMD或其组合的操作的一个或更多个处理器。处理系统725可以包括存储器，以存储用于操作处理系统725、操作CAFS 1700、操作HMD或其组合的指令。存储器还可以存储例如经由红外相机735由CAFS 1700捕获的数据。处理系统725从红外相机735接收与眼睛705的图像相对应的信号。处理系统725分析眼睛705上的反射光图案并估计眼睛705的相应焦点。例如，处理系统725可以使用Purkinje-Sanson图像估计方法来估计眼睛705的焦点。处理系统725分析由红外相机735捕获的眼睛705的图像中的反射图案。处理系统725识别与反射点PS1、第二反射点PS2、第三反射点PS3和第四反向反射点对应的反射点。再次注意到，第一反射点PS1对应于从角膜的前(或外)表面反射的光；第二反射点PS1对应于从角膜的后(或内)表面反射的光；第三反射点PS3对应于从晶状体的前(或外)表面反射的光；第四反射点PS4对应于从晶状体的后(或内)表面反射的光。处理系统725计算、测量或以其它方式确定PS1与PS3之间的距离。当用户观看对象时，测量基于用户的眼睛旋转和眼睛的前表面曲率以及用户的眼睛的内部晶状体而变化。基于距离确定，处理系统725调节透镜组件715的焦点。这样，处理系统725被配置为响应于对象距HMD的第一距离来调节透镜单元的焦点，其中第一距离是基于反射光的位置确定的。
响应于透镜组件715的焦点的调节，OLED显示器710能够基于透镜组件715的焦点呈现在第二距离处的对象的图像。因此，CAFS 1700能够为用户创建图像处于与第二距离不同的第一距离的感觉。
在某些实施例中，CAFS 1700被配置为针对不同的瞳孔间距(IPD)进行调节。CAFS1700可以自动(即，无需用户干预)使用相机反馈回路机械地移动照明LED，以在使用过程中初始地调节和跟踪用户在HMD位置上的变化，并针对不同用户调节不同的眼睛位置。CAFS1700可以自动(即，无需用户干预)使用相机反馈回路机械地移动半反射镜(反射界面720)，以在使用过程中初始地调节和跟踪用户在HMD位置上的变化，并针对不同用户调节不同的眼睛位置。在某些实施例中，CAFS 1700包括多LED：阵列(1D)或矩阵(2D)。CAFS 1700可以执行不同LED的反馈回路测试以及PS3 635的相机跟踪。FPES 700可以执行反馈回路优化，一旦锁定在最佳LED，可以跳过该回路或仅跟踪相邻LED。在某些实施例中，CAFS 1700被配置为首先校准到相应的用户，然后基于用户的眼睛移动和焦点调节来调节焦点。在某些实施例中，CAFS 1700被配置为响应于用户的HMD运动而重新校准。
在某些实施例中，CAFS 1700被配置为与外部设备通信。例如，CAFS1700可以连接到智能电话750以结合智能电话750中的功能来提供焦点估计或注视点跟踪。CAFS1700可以经由智能手机750向用户提供通知、图形或数据或健康监视信息755。
在本公开的某些实施例中，CAFS 1700的焦点由相机1705辅助。相机1705可以是可见射线相机。相机1705能够在对象上发射可见射线，从而使用户和CAFS 1700能够聚焦在对象的焦点上。
图18示出了根据本公开的半自动用户晶状体光焦度估计器。图18中所示的半自动用户晶状体光焦度估计器1800仅用于说明。在不脱离本公开的范围的情况下，可以使用其它示例。半自动用户晶状体光焦度估计器1800可以包括在如本文所述的HMD中，诸如是CAFS1700的FPES 700、电子设备600、电子设备800的一部分。
在某些实施例中，HMD包括移动眼睛晶状体光焦度估计器1800。如果用户始终佩戴该设备，则半自动用户晶状体光焦度估计器1800不仅可以获得用户的晶状体光焦度，而且还可以获得随时间的退化。半自动用户晶状体光焦度估计器1800包括光分析器1805、数据库1810、选择器1815和焦点估计器1820。光分析器1805确定由HMD发射的光的量并将所确定的光值与数据库1810中的各值进行比较。在某些实施例中，光分析器1805响应于经由输入1015的用户输入而操作。
图19示出了根据本公开实施例的自适应选择器。图19所示的自适应选择器1815仅用于说明。在不脱离本公开的范围的情况下，可以使用其它示例。
在某些实施例中，自适应选择器1815包括眼睛运动数据库1905和反射光数据库1910。自适应选择器1815可以将关于用户的眼睛检测到的值与存储在眼睛运动数据库1905和反射光数据库1910中的值进行比较，以确定是否已经发生HMD显示器的退化。
本公开的某些实施例提供了增强的驾驶员安全性。尽管本公开的实施例不限于自动驾驶，但是近来人们对自动驾驶汽车的兴趣增加。自动驾驶汽车仍然需要操作员注意和操作员监督。例如，TESLA车辆要求操作员将他们的手保持在方向盘上，以确保操作员注意道路。本公开的实施例提供了对操作者的焦点的跟踪。跟踪用户焦点是区分对道路缺乏关注的关键。接近焦点意味着驾驶员正在专注于车辆内部，例如在与娱乐系统互动、检查电话等时。本公开的实施例可以确定驾驶员的焦点是在车辆内的对象上还是在车辆外的对象上。在某些实施例中，电子设备能够检测车辆的速度，使用周围的传感器来确定运动以及与对象与车道的接近度，并且使用焦点估计器来确定操作者的焦点。
尽管已经在附图中示出并在上面描述了各种特征，但是可以对附图进行各种改变。例如，图1至图8、图10、图14、图15、图17、图18、和图19所示的部件的大小、形状、布置和布局仅用于说明。每个组件可以具有任何合适的大小、形状和尺寸，并且多个组件可以具有任何合适的布置和布局。而且，图1至图8、图10、图14、图15、图17、图18和图19中的各种组件可以被组合，进一步细分或省略，并且可以根据特定需要添加附加组件。此外，可以使用用于执行所描述的功能的任何适当的结构来实现设备或系统中的每个组件。此外，尽管图8示出了一系列步骤，但是图8中的各个步骤可以重叠、并行发生、多次发生或以不同顺序发生。
本申请中的任何描述均不应理解为暗示任何特定元素、步骤或功能是必须包含在权利要求范围内的必要元素。专利主题的范围仅由权利要求书限定。此外，任何权利要求均无意援引35 U.S.C.§112(f)，除非确切的措词“用于…的装置”后跟分词。

Claims (12)

1.一种由电子设备显示图像的方法，所述方法包括：
基于用户的注视或所述用户的眼睛的焦点中的至少一者，控制所述电子设备的操作或可调节透镜的焦点中的至少一者；以及
基于所述用户的注视或所述眼睛的焦点中的至少一者，使用所述电子设备的显示屏呈现对象的图像。
2.根据权利要求1所述的方法，所述方法还包括：
当所述用户的焦点靠近所述显示屏时，开启所述显示屏；以及
当所述用户的焦点远离所述显示屏时，关闭所述显示屏。
3.根据权利要求1所述的方法，所述方法还包括：根据所述用户的注视选择两个或更多个输入设备中的至少一个。
4.根据权利要求1所述的方法，所述方法还包括：基于所述用户的注视控制至少一个外部设备中的每一个外部设备的操作。
5.根据权利要求1所述的方法，所述方法还包括：基于确定了所述用户的注视或所述用户焦点在阈值时间段内保持不动，向所述用户提供警报。
6.根据权利要求1所述的方法，所述方法还包括：根据所述眼睛的多个焦点创建同步定位和建图(SLAM)图像。
7.根据权利要求1所述的方法，所述方法还包括：经由单眼显示器生成并显示深度信息。
8.根据权利要求1所述的方法，所述方法还包括：经由所述显示屏提供一个或更多个指示器，所述一个或更多个指示器被配置为向所述电子设备的用户提供关于健康问题的通知。
9.一种显示图像的电子设备，所述电子设备包括：
显示屏；以及
至少一个处理器，所述至少一个处理器耦合到所述显示屏，其中所述至少一个处理器被配置为：
基于所述用户的注视或所述用户的眼睛的焦点中的至少一者，控制所述电子设备的操作或可调节透镜的焦点中的至少一者；以及
基于所述用户的注视或所述眼睛的焦点中的至少一者，使用所述显示屏呈现对象的图像。
10.根据权利要求9所述的电子设备，
其中，所述至少一个处理器进一步被配置为根据权利要求2至8中所述的方法中的一种方法进行操作。
11.一种非暂时性计算机可读介质，所述非暂时性计算机可读介质存储有指令，所述指令在被所述至少一个处理器执行时，使得所述至少一个处理器执行以下操作：
基于所述用户的注视或所述用户的眼睛的焦点中的至少一者，控制所述电子设备的操作或可调节透镜的焦点中的至少一者；以及
基于所述用户的注视或所述眼睛的焦点中的至少一者，使用所述电子设备的显示屏呈现对象的图像。
12.根据权利要求11所述的非暂时性计算机可读介质，所述非暂时性计算机可读介质进一步存储有指令，所述指令在被所述至少一个处理器执行时，使得所述至少一个处理器进一步执行权利要求2至8所述的方法中的一种方法的操作。
CN201980009668.3A 2018-03-21 2019-03-21 利用注视跟踪和焦点跟踪的系统和方法 Pending CN111656256A (zh)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201862645972P 2018-03-21 2018-03-21
US62/645,972 2018-03-21
US16/129,257 2018-09-12
US16/129,257 US10948983B2 (en) 2018-03-21 2018-09-12 System and method for utilizing gaze tracking and focal point tracking
PCT/KR2019/003289 WO2019182374A1 (en) 2018-03-21 2019-03-21 System and method for utilizing gaze tracking and focal point tracking

Publications (1)

Publication Number Publication Date
CN111656256A true CN111656256A (zh) 2020-09-11

Family

ID=67983600

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201980009668.3A Pending CN111656256A (zh) 2018-03-21 2019-03-21 利用注视跟踪和焦点跟踪的系统和方法

Country Status (4)

Country Link
US (1) US10948983B2 (zh)
EP (1) EP3714319A4 (zh)
CN (1) CN111656256A (zh)
WO (1) WO2019182374A1 (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113655638A (zh) * 2021-07-21 2021-11-16 青岛海尔空调器有限总公司 用于控制智能家电的方法及装置、智能眼镜
CN114625253A (zh) * 2022-03-16 2022-06-14 北京字跳网络技术有限公司 交互方法、装置及存储介质
CN114979483A (zh) * 2022-05-24 2022-08-30 河南工业贸易职业学院 一种基于数字摄像机的焦点跟踪方法

Families Citing this family (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10928898B2 (en) * 2019-01-03 2021-02-23 International Business Machines Corporation Augmented reality safety
US11200656B2 (en) * 2019-01-11 2021-12-14 Universal City Studios Llc Drop detection systems and methods
JP7307565B2 (ja) * 2019-03-19 2023-07-12 キヤノン株式会社 撮像装置、制御方法、およびプログラム
CN110300225A (zh) * 2019-06-28 2019-10-01 联想(北京)有限公司 一种信息处理方法及电子设备
CN110310373B (zh) * 2019-06-28 2023-12-12 京东方科技集团股份有限公司 一种增强现实设备的图像处理方法和增强现实设备
US11204649B2 (en) * 2020-01-30 2021-12-21 SA Photonics, Inc. Head-mounted display with user-operated control
US11695758B2 (en) * 2020-02-24 2023-07-04 International Business Machines Corporation Second factor authentication of electronic devices
CN111479033A (zh) * 2020-03-13 2020-07-31 深圳市峰泳科技有限公司 多显示器同步显示装置及方法、老化测试装置
US11698677B1 (en) * 2020-06-29 2023-07-11 Apple Inc. Presenting a notification based on an engagement score and an interruption priority value
US11392198B2 (en) 2020-10-20 2022-07-19 ROVl GUIDES, INC. Methods and systems of extended reality environment interaction based on eye motions
US11281291B1 (en) 2020-10-20 2022-03-22 Rovi Guides, Inc. Methods and systems of extended reality environment interaction based on eye motions
US11747896B2 (en) 2020-10-20 2023-09-05 Rovi Guides, Inc. Methods and systems of extended reality environment interaction based on eye motions
US11609629B2 (en) 2020-10-20 2023-03-21 Rovi Guides, Inc. Methods and systems of extended reality environment interaction based on eye motions
US11320903B1 (en) 2020-10-20 2022-05-03 Rovi Guides, Inc. Methods and systems of extended reality environment interaction based on eye motions
US20220392170A1 (en) * 2021-06-07 2022-12-08 Citrix Systems, Inc. Interactive Display Devices in Extended Reality Environments
CN114115527B (zh) * 2021-10-29 2022-11-29 北京百度网讯科技有限公司 增强现实ar信息显示方法、装置、系统及存储介质

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130300635A1 (en) * 2012-05-09 2013-11-14 Nokia Corporation Method and apparatus for providing focus correction of displayed information
CN103595912A (zh) * 2013-09-30 2014-02-19 北京智谷睿拓技术服务有限公司 局部缩放的成像方法和装置
CN103795926A (zh) * 2014-02-11 2014-05-14 惠州Tcl移动通信有限公司 利用眼球跟踪技术控制拍照对焦的方法、系统及拍照设备
CN106134176A (zh) * 2014-04-03 2016-11-16 高通股份有限公司 用于多焦点成像的系统和方法
CN106444040A (zh) * 2016-11-16 2017-02-22 湖南海翼电子商务股份有限公司 抬头显示装置及其显示方法
TWM537883U (zh) * 2016-11-22 2017-03-11 de-qing Chen 具紅外線測距及姿態檢測之光學檢測裝置
CN106575153A (zh) * 2014-07-25 2017-04-19 微软技术许可有限责任公司 虚拟现实环境内基于注视的对象放置
US20170142329A1 (en) * 2015-11-12 2017-05-18 David T Pelz Golfer's Eye View
US9922651B1 (en) * 2014-08-13 2018-03-20 Rockwell Collins, Inc. Avionics text entry, cursor control, and display format selection via voice recognition

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8913004B1 (en) * 2010-03-05 2014-12-16 Amazon Technologies, Inc. Action based device control
US20120307208A1 (en) 2011-06-01 2012-12-06 Rogue Technologies, Inc. Apparatus and method for eye tracking
CN104169838B (zh) 2012-04-12 2017-07-21 英特尔公司 基于人眼追踪而选择性地使显示器背光
US9213412B2 (en) * 2013-01-04 2015-12-15 Intel Corporation Multi-distance, multi-modal natural user interaction with computing devices
US20150187115A1 (en) * 2013-12-27 2015-07-02 Mark A. MacDonald Dynamically adjustable 3d goggles
US9325939B2 (en) * 2014-08-14 2016-04-26 Verizon Patent And Licensing Inc. Method and system for providing gaze-directed correction during a video conferencing session
US20160174912A1 (en) * 2014-12-22 2016-06-23 Koninklijke Philips N.V. Long term harm detection wearable device
US9995857B2 (en) * 2015-04-03 2018-06-12 Avegant Corp. System, apparatus, and method for displaying an image using focal modulation
CN104834446B (zh) 2015-05-04 2018-10-26 惠州Tcl移动通信有限公司 一种基于眼球追踪技术的显示屏多屏控制方法及系统
JP2017028446A (ja) * 2015-07-21 2017-02-02 株式会社ソニー・インタラクティブエンタテインメント 画像提示装置、光学透過型ヘッドマウントディスプレイ、および画像提示方法
US10048513B2 (en) 2015-11-02 2018-08-14 Focure Inc. Continuous autofocusing eyewear
US10303341B2 (en) * 2016-05-25 2019-05-28 International Business Machines Corporation Modifying screen content based on gaze tracking and user distance from the screen
US20180003991A1 (en) * 2016-07-01 2018-01-04 Intel Corporation Image alignment in head worn display
IL295059A (en) * 2016-10-05 2022-09-01 Magic Leap Inc A blind eye test for mixed reality calibration
CN113238651A (zh) * 2018-07-02 2021-08-10 苹果公司 用于显示系统的基于聚焦的调试和检查

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130300635A1 (en) * 2012-05-09 2013-11-14 Nokia Corporation Method and apparatus for providing focus correction of displayed information
CN103595912A (zh) * 2013-09-30 2014-02-19 北京智谷睿拓技术服务有限公司 局部缩放的成像方法和装置
CN103795926A (zh) * 2014-02-11 2014-05-14 惠州Tcl移动通信有限公司 利用眼球跟踪技术控制拍照对焦的方法、系统及拍照设备
CN106134176A (zh) * 2014-04-03 2016-11-16 高通股份有限公司 用于多焦点成像的系统和方法
CN106575153A (zh) * 2014-07-25 2017-04-19 微软技术许可有限责任公司 虚拟现实环境内基于注视的对象放置
US9922651B1 (en) * 2014-08-13 2018-03-20 Rockwell Collins, Inc. Avionics text entry, cursor control, and display format selection via voice recognition
US20170142329A1 (en) * 2015-11-12 2017-05-18 David T Pelz Golfer's Eye View
CN106444040A (zh) * 2016-11-16 2017-02-22 湖南海翼电子商务股份有限公司 抬头显示装置及其显示方法
TWM537883U (zh) * 2016-11-22 2017-03-11 de-qing Chen 具紅外線測距及姿態檢測之光學檢測裝置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
PÄIV MAJARANTA ETC.: "Twenty years of eye typing: systems and design issues", 《ACM DL》 *

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113655638A (zh) * 2021-07-21 2021-11-16 青岛海尔空调器有限总公司 用于控制智能家电的方法及装置、智能眼镜
CN113655638B (zh) * 2021-07-21 2024-04-30 青岛海尔空调器有限总公司 用于控制智能家电的方法及装置、智能眼镜
CN114625253A (zh) * 2022-03-16 2022-06-14 北京字跳网络技术有限公司 交互方法、装置及存储介质
WO2023173726A1 (zh) * 2022-03-16 2023-09-21 北京字跳网络技术有限公司 交互方法、装置及存储介质
CN114979483A (zh) * 2022-05-24 2022-08-30 河南工业贸易职业学院 一种基于数字摄像机的焦点跟踪方法

Also Published As

Publication number Publication date
US10948983B2 (en) 2021-03-16
EP3714319A4 (en) 2021-01-27
US20190294239A1 (en) 2019-09-26
WO2019182374A1 (en) 2019-09-26
EP3714319A1 (en) 2020-09-30

Similar Documents

Publication Publication Date Title
US10948983B2 (en) System and method for utilizing gaze tracking and focal point tracking
EP3571673B1 (en) Method for displaying virtual image, storage medium and electronic device therefor
CN112424790B (zh) 混合式眼睛跟踪器的系统和方法
US20180077409A1 (en) Method, storage medium, and electronic device for displaying images
US11164380B2 (en) System and method for transition boundaries and distance responsive interfaces in augmented and virtual reality
US10551834B2 (en) Method and electronic device for controlling unmanned aerial vehicle
US10866652B2 (en) System and method for distributed device tracking
EP3521978B1 (en) Apparatus and method for tracking a focal point in a head mounted display system
US10656731B2 (en) Peripheral device for head-mounted display
US8736692B1 (en) Using involuntary orbital movements to stabilize a video
US20130241805A1 (en) Using Convergence Angle to Select Among Different UI Elements
US10663729B2 (en) Peripheral device for head-mounted display
CN108463789B (zh) 信息处理设备、信息处理方法和程序
CN111886564B (zh) 信息处理装置、信息处理方法和程序
CN112753037A (zh) 传感器融合眼睛跟踪
CN116724548A (zh) 用于显示内容的电子装置及其操作方法
US20200090704A1 (en) Electronic device and screen image display method for electronic device
KR102719606B1 (ko) 이미지 표시 방법, 저장 매체 및 전자 장치
US11874961B2 (en) Managing display of an icon in an eye tracking augmented reality device
US20240103686A1 (en) Methods for controlling and interacting with a three-dimensional environment

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20200911

RJ01 Rejection of invention patent application after publication