CN109983755A - 基于眼睛跟踪自动聚焦的图像捕获系统、设备和方法 - Google Patents

基于眼睛跟踪自动聚焦的图像捕获系统、设备和方法 Download PDF

Info

Publication number
CN109983755A
CN109983755A CN201780052590.4A CN201780052590A CN109983755A CN 109983755 A CN109983755 A CN 109983755A CN 201780052590 A CN201780052590 A CN 201780052590A CN 109983755 A CN109983755 A CN 109983755A
Authority
CN
China
Prior art keywords
user
eyes
visual field
eye tracker
processor
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201780052590.4A
Other languages
English (en)
Inventor
随·通·唐
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
North Co
North Inc
Original Assignee
North Co
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by North Co filed Critical North Co
Publication of CN109983755A publication Critical patent/CN109983755A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B27/0172—Head mounted characterised by optical features
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/64—Imaging systems using optical elements for stabilisation of the lateral and angular position of the image
    • G02B27/646—Imaging systems using optical elements for stabilisation of the lateral and angular position of the image compensating for small deviations, e.g. due to vibration or shake
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B3/00—Simple or compound lenses
    • G02B3/12—Fluid-filled or evacuated lenses
    • G02B3/14—Fluid-filled or evacuated lenses of variable focal length
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G06V10/12—Details of acquisition arrangements; Constructional details thereof
    • G06V10/14—Optical characteristics of the device performing the acquisition or on the illumination arrangements
    • G06V10/147—Details of sensors, e.g. sensor lenses
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G06V40/19—Sensors therefor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G06V40/193—Preprocessing; Feature extraction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/67—Focus control based on electronic image sensor signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/71—Circuitry for evaluating the brightness variation
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0127—Head-up displays characterised by optical features comprising devices increasing the depth of field
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0138—Head-up displays characterised by optical features comprising image capture systems, e.g. camera
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/014—Head-up displays characterised by optical features comprising information/image processing systems
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B2027/0178—Eyeglass type
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0179—Display position adjusting means not related to the information to be displayed
    • G02B2027/0187—Display position adjusting means not related to the information to be displayed slaved to motion of at least a part of the body of the user, e.g. head, eye
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G06T2207/30201—Face

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Optics & Photonics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Engineering & Computer Science (AREA)
  • Ophthalmology & Optometry (AREA)
  • Signal Processing (AREA)
  • Vascular Medicine (AREA)
  • Studio Devices (AREA)
  • Automatic Focus Adjustment (AREA)
  • Eye Examination Apparatus (AREA)
  • Eyeglasses (AREA)
  • Focusing (AREA)

Abstract

描述了基于使用者正在观看/凝视的位置而自动聚焦在使用者的视野中的物体上的图像捕获系统、设备、和方法。该图像捕获系统包括与自动聚焦相机通信的眼睛跟踪器子系统，以有助于自动聚焦相机在使用者感兴趣的物体上的轻松和精确聚焦。该自动聚焦相机基于由眼睛跟踪器子系统确定的凝视方向和物体的一个或多个聚焦特性，比如物体的物理距离或比如对比度和/或相位等光特征，而自动聚焦在使用者正在观看的内容上。该图像捕获系统特别适合用于可穿戴式平视显示器中，以在最少使用者干预的情况下捕获使用者的视野中的物体的聚焦图像。

Description

基于眼睛跟踪自动聚焦的图像捕获系统、设备和方法
技术领域
本发明系统、设备和方法总体上涉及自动聚焦相机，具体地涉及使可穿戴式平视显示器的相机自动聚焦。
背景技术
相关技术说明
可穿戴式平视显示器
头戴式显示器是穿戴在使用者头部上的电子设备，并且当被如此穿戴时，将至少一个电子显示器固定在使用者的至少一只眼睛的视野内，而不管使用者头部的位置或取向如何。可穿戴式平视显示器是使使用者能够看到显示内容但也不会阻碍使用者能够看到其外部环境的头戴式显示器。可穿戴式平视显示器的“显示”组件是透明的抑或在使用者的视野的外围，从而使得它并不完全妨碍使用者能够看到其外部环境。可穿戴式平视显示器的示例包括：GoogleOptinventEpson以及Sony等等。
可穿戴式平视显示器的光学性能是其设计中的重要因素。然而，当涉及到面戴式设备时，使用者还关心美观。大眼镜(包括太阳眼镜)镜架行业明显地突显了这一点。独立于可穿戴式平视显示器的性能限制，可穿戴式平视显示器的许多前述示例至少部分地因为其缺乏时尚吸引力而在努力地寻找其在消费者市场中的魅力。迄今为止所呈现的大多数可穿戴式平视显示器采用了大显示组件，并且因此，与常规眼镜架相比，迄今为止所呈现的大多数可穿戴式平视显示器相当笨重且较不时髦。
可穿戴式平视显示器的设计挑战是：在仍提供具有足够的视觉质量的显示内容的同时使面戴式装置的体积最小化。本领域需要有着在美观上更具吸引力的设计的可穿戴式平视显示器，所述可穿戴式平视显示器能够向使用者提供高质量图像而不限制使用者看到其外部环境的能力。
自动聚焦相机
自动聚焦相机包括聚焦控制器并且无需使用者直接调整聚焦装置而自动聚焦在感兴趣的对象上。聚焦控制器通常具有至少一个可调透镜，该可调透镜可以包括一个或多个光学元件，并且透镜的状态或配置是可变的，以调节来自对象的穿过该透镜的光的会聚或发散。要在相机内创建图像，来自对象的光必须聚焦在光敏表面上。在数字摄影中，光敏表面通常是电荷耦合器件或互补金属氧化物半导体(CMOS)图像传感器，而在传统摄影中，表面是胶卷。通常，通过改变至少一个可调透镜与光敏表面之间的距离或者通过改变透镜的光焦度(例如，会聚率)来在聚焦控制器中调整图像的焦点。为此，聚焦控制器通常包括或通信地耦合到至少一个聚焦特性传感器，以直接或间接地确定使用者的视野中的感兴趣的区域的聚焦特性(例如，距相机的距离)。聚焦控制器可以采用几种类型的致动器中的任何一种(例如，马达或其他可致动组件)来改变透镜的位置和/或改变透镜本身(流体或液体透镜就是这种情况)。如果物体距离聚焦特性传感器太远而无法准确地确定聚焦特性，则某些自动聚焦相机采用称为“无限远聚焦”的聚焦技术，其中聚焦控制器聚焦在距离相机“无限远”的物体上。在摄影中，无限远距离是指来自在该距离处或超出该距离的物体的光作为至少近似平行的光线到达相机的距离。
传统的自动聚焦方法有两类：主动和被动。主动自动聚焦需要相机的输出信号和来自感兴趣的对象的、基于感兴趣的对象对相机的输出信号的接收的反馈。可以通过从相机发射“信号”(例如，红外光或超声波信号)并测量“飞行时间”，即在从感兴趣的对象反射的信号返回到相机之前所经过的时间量来实现主动自动聚焦。被动自动聚焦根据相机已经收集的图像信息确定聚焦距离。被动自动聚焦可以通过相位检测来实现，相位检测通常从不同位置(例如，从位于相机的图像传感器周围的多个传感器(传感器外相位检测)、或者从位于摄像机的图像传感器内(传感器上相位检测)的多个像素集合(例如，像素对))收集感兴趣的对象的多个图像，并调整至少一个可调透镜以使这些图像同相。类似的方法包括在不同的地点或位置或取向下使用多于一个相机或其他图像传感器，即双相机或图像传感器对，以将来自略微不同的地点、位置或取向的图像聚集在一起(例如，视差)。另一种自动聚焦的被动方法是对比度检测，其中测量图像传感器的相邻像素的强度差异以确定焦点。
发明内容
现今技术中具有自动聚焦相机的可穿戴式平视设备通常在使用者头部的前向取向的方向上自动聚焦，而不考虑使用者有意的感兴趣对象。这导致图像质量差并且使图像的组成缺乏自由度。本领域需要一种图像捕获系统，该图像捕获系统能够更准确且更有效地选择图像对象并且精确地聚焦于该对象。
图像捕获系统可以概括为包括：眼睛跟踪器子系统，该眼睛跟踪子系统用于感测该使用者的眼睛的至少一个特征，并且基于该至少一个特征来确定该使用者的眼睛的凝视方向；以及自动聚焦相机，该自动聚焦相机通信地耦合到该眼睛跟踪器子系统，该自动聚焦相机用于基于由该眼睛跟踪器子系统确定的该使用者的眼睛的凝视方向来自动聚焦在该使用者的眼睛的视野中的物体上。
该自动聚焦相机可以包括：图像传感器，该图像传感器具有与该使用者的眼睛的视野至少部分地重叠的视野；可调光学元件，该可调光学元件被定位和定向成可调地聚焦在该图像传感器的视野中的物体上；以及聚焦控制器，该聚焦控制器通信地耦合到该可调光学元件，该聚焦控制器用于将调整应用于该可调光学元件以基于由该眼睛跟踪器子系统确定的该使用者的眼睛的凝视方向和由该自动聚焦相机确定的该图像传感器的视野的至少一部分的聚焦特性来使该图像传感器的视野聚焦在该使用者的眼睛的视野中的物体上。在这种情况下，捕获系统还可以包括：处理器，该处理器通信地耦合到该眼睛跟踪器子系统和该自动聚焦相机；以及通信地耦合到该处理器的非暂态处理器可读存储介质，其中，该非暂态处理器可读存储介质存储处理器可执行数据和/或指令，当由该处理器执行时，这些处理器可执行数据和/或指令致使该处理器在由该眼睛跟踪器子系统确定的该使用者的眼睛的凝视方向与由该自动聚焦相机确定的该图像传感器的视野的至少一部分的聚焦特性之间实现映射。该自动聚焦相机还可以包括聚焦特性传感器，该聚焦特性传感器用于确定该图像传感器的视野的至少一部分的聚焦特性，该聚焦特性传感器选自包括以下各项的组：距离传感器，该距离传感器用于感测到该图像传感器的视野中的物体的距离；飞行时间传感器，该飞行时间传感器用于确定到该图像传感器的视野中的物体的距离；相位检测传感器，该相位检测传感器用于检测该图像传感器的视野中的至少两个点之间的相位差；以及对比度检测传感器，该对比度检测传感器用于检测该图像传感器的视野中的至少两个点之间的强度差。
该图像捕获系统可以包括：处理器，该处理器通信地耦合到该眼睛跟踪器子系统和该自动聚焦相机；以及通信地耦合到该处理器的非暂态处理器可读存储介质，其中，该非暂态处理器可读存储介质存储处理器可执行数据和/或指令，当由该处理器执行时，这些处理器可执行数据和/或指令致使该处理器控制该眼睛跟踪器子系统和/或该自动聚焦相机中的至少一个的操作。在这种情况下，该眼睛跟踪器子系统可以包括：眼睛跟踪器，该眼睛跟踪器用于感测该使用者的眼睛的至少一个特征；以及存储在非暂态处理器可读存储介质中的处理器可执行数据和/或指令，其中，当由该处理器执行时，这些处理器可执行数据和/或指令致使该处理器基于由该眼睛跟踪器感测的使用者的眼睛的至少一个特征来确定该使用者的眼睛的凝视方向。
由该眼睛跟踪器子系统感测的使用者的眼睛的至少一个特征可以选自包括以下各项的组：该使用者的眼睛的瞳孔的位置、该使用者的眼睛的瞳孔的取向，该使用者的眼睛的角膜的位置、该使用者的眼睛的角膜的取向、该使用者的眼睛的虹膜的位置、该使用者的眼睛的虹膜的取向、该使用者的眼睛的至少一根视网膜血管的位置、以及该使用者的眼睛的至少一根视网膜血管的取向。该图像捕获系统可以进一步包括支撑结构，该支撑结构在使用中是戴在该使用者的头部上，其中，该眼睛跟踪器子系统和该自动聚焦相机都由该支撑结构承载。
一种用于使图像捕获系统聚焦的方法，其中，该图像捕获系统包括眼睛跟踪器子系统和自动聚焦相机，可以概括为包括：通过该眼睛跟踪器子系统感测该使用者的眼睛的至少一个特征；该眼睛跟踪器子系统基于该至少一个特征来确定该使用者的眼睛的凝视方向；并且基于由该眼睛跟踪器子系统确定的该使用者的眼睛的凝视方向，由该自动聚焦相机聚焦在该使用者的眼睛的视野中的物体上。通过该眼睛跟踪器子系统感测该使用者的眼睛的至少一个特征可以包括以下中的至少一个：通过该眼睛跟踪器子系统感测该使用者的眼睛的瞳孔的位置；通过该眼睛跟踪器子系统感测该使用者的眼睛的瞳孔的取向；通过该眼睛跟踪器子系统感测该使用者的眼睛的角膜的位置；通过该眼睛跟踪器子系统感测该使用者的眼睛的角膜的取向；通过该眼睛跟踪器子系统感测该使用者的眼睛的虹膜的位置；通过该眼睛跟踪器子系统感测该使用者的眼睛的虹膜的取向；通过该眼睛跟踪器子系统感测该使用者的眼睛的至少一根视网膜血管的位置；和/或通过该眼睛跟踪器子系统感测该使用者的眼睛的至少一根视网膜血管的取向。
该图像捕获系统可以进一步包括：处理器，该处理器通信地耦合到该眼睛跟踪器子系统和该自动聚焦相机；以及通信地耦合到该处理器的非暂态处理器可读存储介质，并且其中，该非暂态处理器可读存储介质存储处理器可执行数据和/或指令；并且该方法可以进一步包括：该处理器执行这些处理器可执行数据和/或指令，以致使该自动聚焦相机基于由该眼睛跟踪器子系统确定的该使用者的眼睛的凝视方向来聚焦在该使用者的眼睛的视野中的物体上。该自动聚焦相机可以包括图像传感器、可调光学元件和通信地耦合到该可调光学元件的聚焦控制器，并且该方法可以进一步包括通过该自动聚焦相机确定该图像传感器的视野的至少一部分的聚焦特性，其中，该图像传感器的视野与该使用者的眼睛的视野至少部分地重叠。在这种情况下，通过该自动聚焦相机基于由该眼睛跟踪器子系统确定的该使用者的眼睛的凝视方向来聚焦在该使用者的眼睛的视野中的物体上可以包括通过该自动聚焦相机的聚焦控制器来调整该可调光学元件以基于由该眼睛跟踪器子系统确定的该使用者的眼睛的凝视方向和由该自动聚焦相机确定的该图像传感器的视野的至少一部分的聚焦特性来将该图像传感器的视野聚焦在该使用者的眼睛的视野中的物体上。该自动聚焦相机可以包括聚焦特性传感器，并且通过该自动聚焦相机确定该图像传感器的视野的至少一部分的聚焦特性可以包括以下中的至少一个：通过该聚焦特性传感器感测到该图像传感器的视野中的物体的距离；通过该聚焦特性传感器确定到该图像传感器的视野中的物体的距离；通过该聚焦特性传感器检测该图像传感器的视野中的至少两个点之间的相位差；和/或通过该聚焦特性传感器检测该图像传感器的视野中的至少两个点之间的强度差。
该方法可以包括：通过该处理器实现由该眼睛跟踪器子系统确定的该使用者的眼睛的凝视方向与由该自动聚焦相机确定的该图像传感器的视野的至少一部分的聚焦特性之间的映射。在这种情况下：通过该眼睛跟踪器子系统确定该使用者的眼睛的凝视方向可以包括通过该眼睛跟踪器子系统确定与该使用者的眼睛的至少一个特征相对应的第一组二维坐标；通过该自动聚焦相机确定该图像传感器的视野的至少一部分的聚焦特性可以包括通过该自动聚焦相机确定该图像传感器的视野中的第一区域的聚焦特性，该图像传感器的视野中的第一区域包括第二组二维坐标；并且通过该处理器实现由该眼睛跟踪器子系统确定的该使用者的眼睛的凝视方向与由该自动聚焦相机确定的该图像传感器的视野的至少一部分的聚焦特性之间的映射可以包括：通过该处理器实现与该使用者的眼睛的至少一个特征相对应的该第一组二维坐标与同该图像传感器的视野中的第一区域相对应的该第二组二维坐标之间的映射。
该方法可以包括通过该处理器实现由该眼睛跟踪器子系统确定的该使用者的眼睛的凝视方向与该自动聚焦相机的图像传感器的视野之间的映射。
该方法可以包括通过该处理器接收来自该使用者的图像捕获命令；并且响应于该处理器接收到来自该使用者的图像捕获命令，该处理器执行这些处理器可执行数据和/或指令以致使该自动聚焦相机基于该眼睛跟踪器子系统确定的该使用者的眼睛的凝视方向来聚焦在该使用者的眼睛的视野中的物体上。
该方法可以包括当该自动聚焦相机聚焦在该物体上时，通过该自动聚焦相机来捕获该物体的图像。
一种可穿戴式平视显示器可以被概括为包括：支撑结构，该支撑结构在使用时戴在使用者的头部上；显示内容发生器，该显示内容发生器由该支撑结构承载，该显示内容发生器用于提供视觉显示内容；透明组合器，该透明组合器由该支撑结构承载并且定位在该使用者的视野内，该透明组合器将该显示内容发生器提供的视觉显示内容引导至该使用者的视野；以及图像捕获系统，该图像捕获系统包括：眼睛跟踪器子系统，该眼睛跟踪子系统用于感测该使用者的眼睛的至少一个特征，并且基于该至少一个特征来确定该使用者的眼睛的凝视方向；以及自动聚焦相机，该自动聚焦相机通信地耦合到该眼睛跟踪器子系统，该自动聚焦相机用于基于由该眼睛跟踪器子系统确定的该使用者的眼睛的凝视方向来自动聚焦在该使用者的眼睛的视野中的物体上。该可穿戴式平视显示器的自动聚焦相机可以包括：图像传感器，该图像传感器具有与该使用者的眼睛的视野至少部分地重叠的视野；可调光学元件，该可调光学元件被定位和定向成可调地聚焦在该图像传感器的视野中的物体上；以及聚焦控制器，该聚焦控制器通信地耦合到该可调光学元件，该聚焦控制器用于将调整应用于该可调光学元件以基于由该眼睛跟踪器子系统确定的该使用者的眼睛的凝视方向和由该自动聚焦相机确定的该图像传感器的视野的至少一部分的聚焦特性来使该图像传感器的视野聚焦在该使用者的眼睛的视野中的物体上。该可穿戴式平视显示器可以进一步包括：处理器，该处理器通信地耦合到该眼睛跟踪器子系统和该自动聚焦相机；以及通信地耦合到该处理器的非暂态处理器可读存储介质，其中，该非暂态处理器可读存储介质存储处理器可执行数据和/或指令，当由该处理器执行时，这些处理器可执行数据和/或指令致使该处理器在由该眼睛跟踪器子系统确定的该使用者的眼睛的凝视方向与由该自动聚焦相机确定的该图像传感器的视野的至少一部分的聚焦特性之间实现映射。
附图说明
在附图中，相同的附图标记标识相似的元件或动作。附图中的元件的大小和相对位置不一定是按比例绘制的。例如，各种不同元件的形状以及角度不一定是按比例绘制的，并且这些元件中的一些被任意地放大和定位以提高附图的易读性。另外，所绘出的元件的特定形状不一定旨在传递与特定元件的实际形状有关的任何信息，并且选择它们只是为了方便在附图中识别。
图1是根据本发明系统、设备、和方法的采用眼睛跟踪器子系统和自动聚焦相机的图像捕获系统的原理图。
图2A是根据本发明系统、设备、和方法的示出了在使用中的并且响应于使用者的眼睛观看或凝视第一物体(即，该物体的方向)而聚焦在第一物体上的示例性图像捕获系统的原理图。
图2B是根据本发明系统、设备、和方法的示出了在使用中的并且响应于使用者的眼睛观看或凝视在第二物体(即，该物体的方向)而聚焦在第二物体上的示例性图像捕获系统的原理图。
图2C是根据本发明系统、设备、和方法的示出了在使用中的并且响应于使用者的眼睛观看或凝视第三物体(即，该物体的方向)而聚焦在第三物体上的示例性图像捕获系统的原理图。
图3是根据本发明系统、设备、和方法的示出了在使用者的眼睛的凝视方向与图像传感器的视野的至少一部分的聚焦特性之间的示例性映射(由图像捕获系统实现)的原理图。
图4是根据本发明系统、设备、和方法的示出了操作图像捕获系统自动聚焦在使用者凝视方向上的物体的方法的流程图。
图5是根据本发明系统、设备、和方法的示出了响应于来自使用者的图像捕获命令而操作图像捕获系统以捕获在使用者凝视方向上的物体的清晰图像的方法的流程图。
图6A是具有根据本发明系统、设备、和方法的图像捕获系统的可穿戴式平视显示器的前立视图。
图6B是图6A的具有根据本发明系统、设备、和方法的图像捕获系统的可穿戴式平视显示器的后立视图。
图6C是图6A和图6B的具有根据本发明系统、设备、和方法的图像捕获系统的可穿戴式平视显示器的右侧立视图。
具体实施方式
在以下说明中，阐述了某些特定的细节以便提供对所披露的不同实施例的全面理解。然而，相关领域的技术人员将认识到，在没有这些特定细节中的一个或多个的情况下或在使用其他方法、组件、材料等的情况下，也可以实施实施例。在其他情况下，未详细地示出或描述与便携式电子设备和/或头戴式设备相关联的众所周知的结构，以便避免不必要地模糊实施例的说明。
除非上下文另有要求，否则贯穿说明书和所附权利要求，“包括”一词及其多种变体(比如“包括了(comprises和comprising)”)将以一种开放式的和包含性的意义来进行解释，即作为“包括，但不限于”。
贯穿本说明书对“一个实施例”或“实施例”的引用意味着可以将特定特征、结构、或特性以任何适合的方式在一个或多个实施例中进行组合。
如在本说明书和所附权利要求中所使用的，除非文中另外明确指明，否则单数形式的“一(a，an)”以及“该(the)”包括复数物体。还应注意，除非内容另外明确指明，否则通常以其最广泛的意义采用术语“或者”，也就是说如意味着“和/或”。
本文提供的本披露小标题以及摘要只是为了方便起见，而并非解释这些实施例的范围或含义。
本文所描述的各种实施例提供了用于自动聚焦相机的系统、设备、和方法，所述自动聚焦相机基于使用者正在观看或凝视的位置而自动聚焦在使用者视野中的物体上。更具体地，本文所描述的各种实施例包括图像捕获系统，其中眼睛跟踪器子系统与自动聚焦相机成一体，以使使用者能够通过观看或凝视物体来为相机选择自动聚焦的物体。这种图像捕获系统特别适用于可穿戴式平视显示器(“WHUD”)。
贯穿本说明书和所附权利要求，经常引用“眼睛跟踪器子系统”。通常，“眼睛跟踪器子系统”是测量、感测、检测、和/或监视使用者的至少一只眼睛的至少一个特征并且基于该至少一个特征来确定使用者的至少一只眼睛的凝视方向的系统或设备(例如，设备的组合)。至少一个特征可以包括以下中的任一个或全部：使用者的眼睛的瞳孔的位置、使用者的眼睛的瞳孔的取向、使用者的眼睛的角膜的位置、使用者的眼睛的角膜的取向、使用者的眼睛的虹膜的位置、使用者的眼睛的虹膜的取向、使用者的眼睛的至少一个视网膜血管的位置、和/或使用者的眼睛的至少一个视网膜血管的取向。可以通过检测、监视、或以其他方式感测来自使用者的眼睛的各种特征中的至少一个特征的光反射或光闪烁来确定至少一个特征。当今正在使用各种眼睛跟踪技术。可以在本发明系统、设备、和方法的眼睛跟踪器中使用的眼睛跟踪系统、设备、和方法的示例包括但不限于在以下文件中描述的那些：美国非临时专利申请序列号15/167,458；美国非临时专利申请序列号15/167,472；美国非临时专利申请序列号15/167,484；美国临时专利申请序列号62/271,135；美国临时专利申请序列号62/245,792；和美国临时专利申请序列号62/281,041。
图1是根据本发明系统、设备、和方法的图像捕获系统100的示意图，该图像捕获系统在使用者的眼睛180的视野191中存在物体131、132、和133(统称为“130”)时采用眼睛跟踪器子系统110和自动聚焦相机120。在操作中，眼睛跟踪器子系统110感测眼睛180的至少一个特征，并且基于该至少一个特征确定眼睛180的凝视方向。自动聚焦相机120通信地耦合到眼睛跟踪器子系统110，并且被配置为基于由眼睛跟踪器子系统110确定的眼睛180的凝视方向来自动聚焦在眼睛180的视野191中的物体130上。以这种方式，使用者可以简单地观看或凝视物体131、132或133中的特定一个物体，以便在捕获其图像之前使自动聚焦相机120聚焦在其上。在图1中，物体132比物体131和133更靠近使用者，并且物体131比物体133更靠近使用者。
贯穿本说明书和所附权利要求，术语“物体”通常是指使用者的眼睛的视野中的特定区域(即，区域或子区域)，更具体地是指位于使用者的视野中的特定区域处或位于其中的任何可见的物质、事物、风景、物品、或实体。“物体”的示例包括但不限于：人、动物、结构、建筑物、景观、包装或包裹、零售物品、车辆、机械装置、以及通常自动聚焦相机能够聚焦在其上并且自动聚焦相机能够捕捉其图像的任何实际物品。
图像捕获系统100包括至少一个处理器170(例如，数字处理器电路系统)和通信地耦合到处理器170的至少一个非暂态处理器可读介质或存储器114，所述处理器通信地耦合到眼睛跟踪器子系统110和自动聚焦相机120两者上。在其他事项之外，存储器114存储处理器可执行数据和/或指令，当由处理器170执行时，处理器可执行数据和/或指令致使处理器170控制眼睛跟踪器子系统110和/或自动聚焦相机120中的任一个或两者的操作。
示例性眼睛跟踪器子系统110包括用于感测(如上所述)使用者的眼睛180的至少一个特征(例如，瞳孔181、虹膜182、角膜183、或视网膜血管184)的眼睛跟踪器111、以及存储在至少一个存储器114中的处理器可执行数据和/或指令115，当由图像捕获系统100的至少一个处理器170执行时，这些处理器可执行数据和/或指令致使至少一个处理器170基于由眼睛跟踪器111感测的使用者的眼睛180的至少一个特征(例如，瞳孔181)来确定使用者的眼睛的凝视方向。虽然在图像捕获系统100的示例性实施方式中，眼睛跟踪器111包括至少一个光源112(例如，红外光源)和至少一个相机或光电探测器113(例如，红外相机或红外光电探测器)，但是本领域的技术人员将认识到本文所教导的图像捕获系统的其他实施方式可以采用其他形式和/或配置的眼睛跟踪组件。光信号源112发射光信号141，该光信号作为反射光信号142被眼睛180反射或以其他方式返回。光电探测器113检测反射的光信号142。由光电探测器113检测的反射光信号142的至少一个特性(例如，亮度、强度、飞行时间、相位)取决于眼睛180的至少一个特征(例如，瞳孔181)并且因此以本领域技术人员通常理解的方式指示或表示该特征。在所示示例中，眼睛跟踪器111测量、检测、和/或感测眼睛180的至少一个特征(例如，瞳孔181、虹膜182、角膜183、或视网膜血管184的位置和/或取向)并为处理器170提供表示这种特征的数据。处理器170执行来自非暂态处理器可读存储介质114的数据和/或指令115，以基于眼睛180的至少一个特征(例如，瞳孔181)来确定眼睛180的凝视方向。作为特定的示例：眼睛跟踪器111在眼睛180正在朝向第一物体131观看或凝视时检测眼睛180的至少一个特征，并且处理器170将眼睛180的凝视方向确定为第一凝视方向151；眼睛跟踪器111在眼睛180正在朝向第二物体132观看或凝视时检测眼睛180的至少一个特征(例如，瞳孔181)，并且处理器170将眼睛180的凝视方向确定为第二凝视方向152；并且眼睛跟踪器111在眼睛180正在朝向第三物体133观看或凝视时检测眼睛180的至少一个特征(例如，瞳孔181)，并且处理器170将眼睛180的凝视方向确定为第三凝视方向153。
在图1中，自动聚焦相机120包括具有与眼睛180的视野191至少部分地重叠的视野192的图像传感器121、被定位且定向成可调地聚焦图像传感器121的视野192的可调光学元件122、通信地耦合到可调光学元件122的聚焦控制器125。在操作中，聚焦控制器125对可调光学元件122应用调整，以便使图像传感器121基于由眼睛跟踪器子系统110确定的眼睛180的凝视方向和由自动聚焦相机120确定的图像传感器121的视野192的至少一部分的聚焦特性来聚焦在眼睛180的视野191的物体130上。为此，自动聚焦相机120还通信地耦合到处理器170，并且存储器114还存储处理器可执行数据和/或指令，当由处理器170执行时，所述处理器可执行数据和/或指令致使处理器170实现在由眼睛跟踪器子系统110确定的眼睛180的凝视方向与由自动聚焦相机120确定的图像传感器121的视野192的至少一部分的聚焦特性之间的映射。
自动聚焦相机120通过其确定图像传感器121的视野192的至少一部分的聚焦特性的(多个)机构和/或(多个)技术、以及所确定的(多个)特定聚焦特性的性质取决于具体实施方式，并且本发明系统、设备和方法通用于各种各样的实施方式。在图像捕获系统100的特定实施方式中，自动聚焦相机120包括两个聚焦特性传感器123、124，每个聚焦特性传感器用于确定图像传感器121的视野192的至少一部分的相应聚焦特性。在所示示例中，聚焦特性传感器123是与图像传感器121成一体的相位检测传感器，以检测图像传感器121的视野192中的至少两个点之间的相位差(因此，与聚焦特性传感器123相关联的聚焦特性是图像传感器121的视野192中的至少两个点之间的相位差)。在所示示例中，聚焦特性传感器124是与图像传感器121分开的距离传感器，以感测到图像传感器121的视野192中的物体130的距离(因此，与聚焦特性传感器124相关联的聚焦特性是到图像传感器121的视野192中的物体130的距离)。聚焦特性传感器123和124都通信地耦合到聚焦控制器125，并且各自为聚焦控制器提供聚焦特性(或表示或以其他方式指示聚焦特性的数据)，以便引导或以其他方式影响由聚焦控制器125对可调谐光学元件122进行的调整。
作为示例性实施方式，眼睛跟踪器子系统110将表示眼睛180的凝视方向(例如，152)的信息提供给处理器170，并且聚焦特性传感器123和/或124中的任一个或两者将关于图像传感器121的视野192的聚焦特性信息提供给处理器170。处理器170执行凝视方向(例如，152)与聚焦特性信息之间的映射，以便确定沿着凝视方向的眼睛180的视野191中的物体130(例如，132)的聚焦参数(例如，152)。然后，处理器170将聚焦参数(或表示这些聚焦参数的数据/指令)提供给聚焦控制器125，并且聚焦控制器125根据聚焦参数调整可调光学元件122，以便聚焦在使用者沿凝视方向(例如，132)正在凝视的特定物体130(例如，132)上。
如另一个示例性实施方式，眼睛跟踪器子系统110将表示眼睛180的凝视方向(例如，152)的信息提供给处理器170，并且处理器170将凝视方向(例如，152)映射到图像传感器122的视野192的特定区域。然后，处理器170从自动聚焦相机120请求关于图像传感器121的视野192的特定区域的聚焦特性信息(通过与聚焦特性传感器123和/或124的直接通信，或者通过与聚焦控制器125的通信，该聚焦控制器本身与聚焦特性传感器123和/或124直接通信)，并且自动聚焦相机120将相应的聚焦特性信息提供给处理器170。然后，处理器170确定聚焦参数(或表示这些聚焦参数的数据/指令)并将这些聚焦参数提供给聚焦控制器125，这些聚焦参数将使自动聚焦相机聚焦在使用者沿凝视方向正在凝视的物体(例如，132)上。聚焦控制器125根据聚焦参数调整可调光学元件122，以便聚焦在使用者沿凝视方向(例如，132)正在凝视的特定物体130(例如，132)上。
在一些实施方式中，可以包括多个处理器。例如，自动聚焦相机120(或者具体地聚焦控制器125)可以包括或者可通信地耦合到与处理器170不同的第二处理器，并且第二处理器可以执行一些以上示例中描述的映射和/或确定动作(比如基于凝视方向和聚焦特性信息确定聚焦参数)。
图1中展示的配置仅仅是示例。在替代实施方式中，可以采用一个或者多个替代性和/或附加聚焦特性传感器。例如，一些实施方式可以采用飞行时间传感器来确定到图像传感器121的视野192中的物体130的距离(飞行时间传感器可以被认为是距离传感器的一种形式，与直接感测和测量截然不同，飞行时间传感器根据信号的行程时间来确定距离)和/或采用对比度检测传感器，以检测图像传感器121的视野192中的至少两个点(例如，像素)之间的强度差。一些实施方式可以采用单个聚焦特性传感器。在一些实施方式中，可调光学元件122可以是包括多个组件的装配件。
本发明系统、设备、和方法通用于所采用的眼睛跟踪和自动聚焦机构的性质。眼睛跟踪器子系统110和自动聚焦相机120(包括聚焦特性传感器123)的上述描述仅用于说明目的，并且在实践中，可以采用用于眼睛跟踪和/或自动聚焦的其他机构。在较高水平，本文描述的各种实施例提供了图像捕获系统(例如，图像捕获系统100及其操作方法)，该图像捕获系统组合眼睛跟踪和/或凝视方向数据(例如，来自眼睛跟踪器子系统110)和聚焦特性数据(例如，来自聚焦特性传感器123和/或124)以使使用者能够通过观看多个可获得的物体中的特定一个来选择多个可获得的物体中的特定一个供自动聚焦相机聚焦。在图2A、图2B和图2C中提供了这种基于眼睛跟踪器(例如，基于凝视方向的)相机自动聚焦的说明性示例。
图2A是根据本发明系统、设备、和方法的示出了使用中的并且响应于使用者的眼睛280观看或凝视第一物体231(即，该物体的方向)而聚焦在第一物体231上的示例性图像捕获系统200的原理图。图像捕获系统200基本上类似于图1的图像捕获系统100，并且包括与自动聚焦相机220(基本上类似于图1的自动聚焦相机220)通信的眼睛跟踪器子系统210(基本上类似于图1的眼睛跟踪器子系统110)。一组三个物体231、232和233存在于使用者的眼睛280的视野中，这些物体中的每一个与眼睛280的距离不同，物体232是距使用者最近的物体，并且物体233是距使用者的最远的物体。在图2A中，使用者正在朝向第一物体231观看/凝视，并且眼睛跟踪器子系统210确定眼睛280的凝视方向251，所述凝视方向对应于使用者观看/凝视第一物体231。表示凝视方向251或以其他方式关于所述凝视方向的数据/信息从眼睛跟踪器子系统210发送到处理器270，该处理器实现在凝视方向251与自动聚焦相机220中的图像传感器221的视野之间的映射(例如，基于执行与其通信地耦合的非暂态处理器可读存储介质214中存储的数据和/或指令)，以便至少近似地确定使用者正在观看/凝视的图像传感器221的视野中的位置。
示例性图像捕获系统200与示例性图像捕获系统100的不同之处在于，图像捕获系统200采用与图像捕获系统100不同的聚焦特性感测机构。具体地，图像捕获系统200不包括相位检测传感器123，而是自动聚焦相机220中的图像传感器221被适配为能够实现对比度检测。通常，来自图像传感器221的像素/传感器的各种不同的像素/传感器(例如，相邻)的光强度数据/信息被处理(例如，通过处理器270，或通过聚焦控制器225，或通过图像捕获系统200中的另一处理器(未示出))，并且被比较以标识或以其他方式确定强度差异。图像传感器221的“清晰”的区或区域往往与相邻像素之间的强度差异最大的区/区域相对应。
此外，图像捕获系统200中的聚焦特性传感器224是飞行时间传感器，以确定到图像传感器221的视野中的物体231、232和/或233的距离。因此，在图像捕获系统200中使用对比度检测和/或飞行时间检测来确定图像传感器221的视野的与使用者正在沿凝视方向251观看/凝视时使用者正在观看/凝视的位置相对应的至少一部分的(多个)聚焦特性(即，对比度和/或到物体的距离)。图像传感器221的对比度检测和/或飞行时间传感器224的距离确定中的任一个或两者可以一起或单独使用，或者除此之外或者可以被其他聚焦特性传感器(比如相位检测和/或另一种形式的距离传感器)替代。由图像传感器221和/或飞行时间传感器224确定的(多个)聚焦特性被发送到聚焦控制器225，该聚焦控制器基于此将调整应用于可调光学元件222以使聚焦图像传感器221的视野聚焦在第一物体231上。然后，自动聚焦相机220可以(例如，响应于来自使用者的图像捕获命令)捕获第一物体231的聚焦图像290a。在图像290a的说明性示例中第一物体231的“聚焦”方面通过以下事实表示：第一物体231a被绘制为无阴影的体积，而物体232a和233a都是有阴影的(即，表示未聚焦)。
通常，以下中的任一个或全部：可以连续地或者实时自主地(例如，以定义的频率周期性地)执行通过眼睛跟踪器子系统210确定凝视方向、通过处理器270将凝视方向映射到图像传感器221的视野的对应区域、通过对比度检测和/或飞行时间检测确定至少该图像传感器221的视野的至少那个区域的聚焦特性、和/或通过聚焦控制器225调节可调光学元件222以聚焦该图像传感器221的视野的区域，并且可以响应于来自使用者的图像捕获命令只捕获实际图像290a，或者可替代地，可以响应于来自使用者的图像捕获命令只执行所有前述内容中的任一个。
图2B是根据本发明系统、设备、和方法的示出了使用中的并且响应于使用者的眼睛280观看或凝视第二物体232(即，该物体的方向)而聚焦在第二物体232上的示例性图像捕获系统200的原理图。在图2B中，使用者正在朝向第二物体232观看/凝视，并且眼睛跟踪器子系统210确定眼睛280的与使用者观看/凝视第一物体232相对应的凝视方向252。表示凝视方向252或以其他方式关于所述凝视方向的数据/信息从眼睛跟踪器子系统210发送到处理器270，该处理器实现在凝视方向252与自动聚焦相机220中的图像传感器221的视野之间的映射(例如，基于执行与其通信地耦合的非暂态处理器可读存储介质214中存储的数据和/或指令)，以便至少近似地确定使用者正在观看/凝视的图像传感器221的视野中的位置。对于图像传感器221的视野中的、与在使用者正在沿凝视方向252观看/凝视时使用者正在观看/凝视的位置相对应的区域，图像传感器221可以确定对比度(例如，相对强度)信息和/或飞行时间传感器224可以确定物体距离信息。将这些聚焦特性中的任一个或两者发送到聚焦控制器225，该聚焦控制器基于此将调整应用于可调光学元件222，以将图像传感器221的视野聚焦在第二物体232上。然后，自动聚焦相机220可以(例如，响应于来自使用者的图像捕获命令)捕获第二物体232的聚焦图像290b。在图像290b的说明性示例中第二物体232的“聚焦”方面通过以下事实表示：第二物体232b被绘制为无阴影的体积，而物体231b和233b都有阴影(即，表示未聚焦)。
图2C是根据本发明系统、设备、和方法的示出了使用中的并且响应于使用者的眼睛280观看或凝视第三物体233处而聚焦在第三物体233(即，该物体的方向)的示例性图像捕获系统200的原理图。在图2C中，使用者正在朝向第三物体233观看/凝视，并且眼睛跟踪器子系统210确定眼睛280的凝视方向253，该凝视方向对应于使用者观看/凝视第三物体233。表示凝视方向253或以其他方式关于所述凝视方向的数据/信息从眼睛跟踪器子系统210发送到处理器270，该处理器实现在凝视方向253与自动聚焦相机220中的图像传感器221的视野之间的映射(例如，基于执行与其通信地耦合的非暂态处理器可读存储介质214中存储的数据和/或指令)，以便至少近似地确定使用者正在观看/凝视的图像传感器221的视野中的位置。对于图像传感器221的视野中的、与在使用者正在沿凝视方向253观看/凝视时使用者正在观看/凝视的位置相对应的区域，图像传感器221可以确定对比度(例如，相对强度)信息和/或飞行时间传感器224可以确定物体距离信息。将这些聚焦特性中的任一个或两者发送到聚焦控制器225，该聚焦控制器基于此将调整应用于可调光学元件222，以将图像传感器221的视野聚焦在第三物体233上。然后，自动聚焦相机220可以(例如，响应于来自使用者的图像捕获命令)捕获第三物体233的聚焦图像290c。在图像290c的说明性示例中第三物体233的“聚焦”方面通过以下事实表示：第三物体233c以简洁的线条被绘制为无阴影的体积，而物体231c和232c都有阴影(即，表示未聚焦)。
图3是根据本发明系统、设备、和方法的示出了在使用者的眼睛380的凝视方向与图像传感器的视野的至少一部分的聚焦特性之间的示例性映射300(由图像捕获系统实现)的原理图。映射300绘制了以下四个视野：视野311是眼睛跟踪器子系统的眼睛跟踪器组件的视野并且示出了眼睛380；视野312是眼睛380的视野的表示，并且示出了物体331、332和333；视野313是自动聚焦相机的聚焦特性传感器组件的视野，并且还示出了物体331、332和333；并且视野314是自动聚焦相机的图像传感器组件的视野，并且还示出了物体331、332和333。在所示示例中，图像传感器的视野314与眼睛380的视野312基本上重叠，但是在替代实施方式中图像传感器的视野314仅可以与眼睛380的视野312部分重叠。在所示示例中，聚焦特性传感器的视野313与图像传感器的视野314基本上相同，但是在替代实施方式中，视野314可以只与视野313部分重叠或者视野314可以小于视野313，并且视野314可以完全包含在视野313内。物体332比物体331和333更靠近使用者，并且物体331比物体333更靠近使用者。
如以上所指出，视野311表示眼睛跟踪器子系统的眼睛跟踪器组件的视野。眼睛380的特征321被眼睛跟踪器感测、标识、测量、或以其他方式检测。特征321可以包括例如眼睛的组件(比如瞳孔、虹膜、角膜、或一根或多根视网膜血管)的位置和/或取向。在所示示例中，特征321对应于眼睛380的瞳孔的位置。在映射300的特定实施方式中，视野311被网格图案覆盖，该网格图案将视野311划分为二维“瞳孔位置空间”。因此，眼睛380的瞳孔的位置在视野311中通过与二维瞳孔位置空间中的眼睛380的瞳孔的位置(即，特征321的位置)相对应的二维坐标来表征。可替代地，可以采用其他坐标系，例如径向坐标系。在操作中，可以由眼睛跟踪器子系统的眼睛跟踪器组件感测、标识、测量、或以其他方式检测特征321，并且可以由通信地耦合到眼睛跟踪器组件的处理器确定特征321的二维坐标。
如以上所指出，视野312表示眼睛380的视野，并且也被二维网格覆盖以建立二维“凝视方向空间”。视野312可以是眼睛380的实际视野，或者它可以是存储在存储器中并由处理器访问的眼睛380的视野的模型。在任一种情况下，处理器将特征321的二维位置从视野311映射到视野312中的二维位置，以便确定眼睛380的凝视方向322。如所展示的，凝视方向322与使用者的视野中的物体332对准。
如以上所指出，视野313表示自动聚焦相机的聚焦特性传感器组件的视野，并且还被二维网格覆盖以建立二维“聚焦特性空间”。聚焦特性传感器可以与自动聚焦相机的图像传感器成一体或可以不与其成一体，使得聚焦特性传感器的视野313可以与图像传感器的视野314相同或不同。在视野313中的各个不同的点处确定各种不同的聚焦特性(例如，距离、用于对比度检测的像素强度等)340。在映射300中，处理器将凝视方向322从视野312映射到视野313的二维聚焦特性空间中的对应点，并标识或确定对应于那个点的聚焦特性323。在映射300的这个阶段，图像捕获系统已经标识使用者的凝视方向，确定了使用者正在观看或凝视在物体332，并且标识或确定物体332的聚焦特性。根据本发明系统、设备、和方法，处理器然后可以确定与物体332相关联的(多个)聚焦参数，并且基于一个或多个焦点参数指导自动聚焦相机的聚焦控制器将图像传感器(例如，通过将调整应用于一个或多个可调光学元件或透镜)聚焦在物体332上。
如以上所指出，视野314是自动聚焦相机的图像传感器的视野。视野314聚焦在物体332上而没有聚焦在物体331和333上，如所指示的，物体332没有被绘制有体积阴影，而物体331和333都被绘制有阴影(即，表示焦点没对准)。物体332是清晰的，而物体331和333不清晰，这是因为在通过映射300确定时，物体332对应于使用者正在凝视/凝视的位置，而物体331和333则没有对应。在这个阶段，如果使用者是这样期望(例如，指导)的话，则图像捕获系统可以捕获对应于视野314的物体332的图像。
图4示出了根据本发明系统、设备、和方法操作图像捕获系统以在使用者的凝视方向上自动聚焦在物体上的方法400。图像捕获系统可以与图1中的图像捕获系统100和/或图2A、图2B和图2C中的图像捕获系统200基本相似或甚至相同，并且通常包括彼此间通信耦合(例如，通过一个或多个处理器)的眼睛跟踪器子系统和自动聚焦相机。方法400包括三个动作401、402和403。本领域的这些技术人员将认识到，在替代性实施例中，可以省略某些动作和/或可以添加附加动作。本领域技术人员还将认识到所展示的动作顺序仅出于示例性目的被示出并且可以在替代性实施例中改变。
在401处，眼睛跟踪器子系统感测使用者的眼睛的至少一个特征。更具体地，眼睛跟踪器子系统可以包括眼睛跟踪器，并且眼睛跟踪子系统的眼睛跟踪器可以根据本领域技术人员熟悉的用于眼睛跟踪的各种各样的成熟技术中的任一种来感测使用者的眼睛的至少一个特征。如前所述，由眼睛跟踪器感测的使用者的眼睛的至少一个特征可以包括以下各项的位置和/或取向中的任何一个或组合：使用者的眼睛的瞳孔、使用者的眼睛的角膜、使用者的眼睛的虹膜、或者使用者的眼睛的至少一根视网膜血管。
在402处，眼睛跟踪器子系统基于在401处由眼睛跟踪器子系统感测到的使用者的眼睛的至少一个特征来确定使用者的眼睛的凝视方向。更具体地，眼睛跟踪器子系统可以包括或通信地耦合到处理器，并且该处理器可以通信地耦合到非暂态处理器可读存储介质或存储器。存储器可以存储处理器可执行数据和/或指令(本文一般是指眼睛跟踪器子系统的一部分，例如图1中的数据/指令115)，当由处理器执行时，这些处理器可执行数据和/或指令致使处理器基于由眼睛跟踪器感测的使用者的眼睛的至少一个特征来确定使用者的眼睛的凝视方向。
在403处，自动聚焦相机基于在402处由眼睛跟踪器子系统确定的使用者的眼睛的凝视方向而聚焦在使用者的眼睛的视野中的物体上。当图像捕获系统包括处理器和存储器时，处理器可以执行存储在存储器中的数据和/或指令，以使得自动聚焦相机基于使用者的眼睛的凝视方向而聚焦在使用者的眼睛的视野中的物体上。
通常，自动聚焦相机可以包括图像传感器、定位于图像传感器的视野中的用于可控制地将光聚焦在图像传感器上的可调光学元件、以及通信地耦合到可调光学元件的用于将调整应用于可调光学元件上以便控制图像传感器上的照射光的聚焦的聚焦控制器。图像传感器的视野可以至少部分地(例如，完全地或在很大程度上，比如80％或更大)与使用者的眼睛的视野重叠。在方法400的扩展版本中，自动聚焦相机可以确定图像传感器的视野的至少一部分的聚焦特性。在这种情况下，在403处，自动聚焦相机的聚焦控制器可以调整可调光学元件以将图像传感器的视野聚焦在使用者的眼睛的视野中的物体上，并且这种调整可以基于在402处由眼睛跟踪器子系统确定的使用者的眼睛的凝视方向和由自动聚焦相机确定的图像传感器的视野的至少一部分的聚焦特性。
在403处由自动聚焦相机确定的聚焦特性可以包括跨图像传感器的至少两个点(例如，像素)的对比度差异。在这种情况下，图像传感器可以用作聚焦特性传感器(即，特别是对比度检测传感器)并且通信地耦合到处理器和存储处理器可执行数据和/或指令的非暂态处理器可读存储介质，当由处理器执行时，这些处理器可执行数据和/或指令致使处理器比较图像传感器的至少两个邻近(例如，相邻)点或区域(例如，像素)的相对强度，以便确定图像传感器上的照射光(通过可调光学元件)聚焦在的图像传感器的视野的区域。通常，图像传感器的视野的清晰区域可以对应于图像传感器的视野中的、图像传感器的像素显示出最大的强度相对变化、与图像中最清晰的边缘相对应的区域。
除了对比度检测之外或代替对比度检测，在一些实施方式中，自动聚焦相机可以包括至少一个专用聚焦特性传感器，以在403处确定图像传感器的视野的至少一部分的聚焦特性。作为示例，在403处，自动聚焦相机的距离传感器可以感测距图像传感器的视野中的物体的距离，飞行时间传感器可以确定到图像传感器的视野中的物体的距离，和/或相位检测传感器可以检测图像传感器的视野中的至少两个点之间的相位差。
本文描述的图像捕获系统、设备、和方法包括各种组件(例如，眼睛跟踪器子系统和自动聚焦相机)，并且如前所述，可以包括在收集的和/或由各种组件使用的数据/信息之间实现一个或多个映射。通常，任何这种映射可以由一个或多个处理器实现。作为示例，在方法400中，至少一个处理器可以实现在402处由眼睛跟踪器子系统确定的使用者的眼睛的凝视方向与图像传感器的视野之间的映射，以便标识或以其他方式确定图像传感器的视野中的与使用者正在观看或凝视的位置相对应的位置、区域、或点。换句话说，使用者正在观看或凝视的使用者的视野中的位置、区域、或点(例如，物体)由眼睛跟踪器子系统确定，并且于是这个位置、区域、或点(例如，物体)由处理器映射到图像传感器的视野中的对应位置、区域、或点(例如，物体)。根据本发明系统、设备、和方法，一旦图像传感器的视野中的、与使用者正在观看或凝视的位置相对应的位置、区域、或点(例如，物体)建立，那么图像捕获系统可以自动聚焦在该位置、区域、或点(例如，物体)上，并且如果需要，捕获该位置、区域、或点(例如，物体)的聚焦图像。为了助于或能够聚焦在位置、区域、或点(例如，物体)上，至少一个处理器可以实现在402处由眼睛跟踪器子系统确定的使用者的眼睛的凝视方向与在403处由自动聚焦相机(例如，通过自动聚焦相机的至少一个聚焦特性传感器)确定的图像传感器的视野的至少一部分的一个或多个聚焦特性之间的映射。这样提供了图像传感器的视野中的与使用者正在观看或凝视的位置、区域、或点(例如，物体)相对应的位置、区域、或点(例如，物体)的聚焦特性。自动聚焦相机的聚焦控制器可以使用关于该/这些聚焦特性的数据/信息来将调整应用于可调光学元件，使得图像传感器上的照射光聚焦在使用者正在观看或凝视的位置、区域、或点(例如，物体)上。
如前所述，当一个处理器(或多个处理器)实现映射时，这种映射可以包括或基于坐标系。例如，在402处，眼睛跟踪器子系统可以确定与使用者的眼睛的至少一个特征(例如，在“瞳孔位置空间”中)相对应的第一组二维坐标并且转化、转换或以其他方式表示第一组二维坐标作为“凝视方向空间”中的凝视方向。自动聚焦相机中的图像传感器的视野可以类似地被划分为二维“图像传感器空间”，并且在403处，自动聚焦相机可以确定图像传感器的视野中的至少一个区域的聚焦特性(即，对应于第二组二维坐标)。这样，如果至少一个处理器实现在使用者的眼睛的凝视方向与图像传感器的视野的至少一部分的聚焦特性之间的映射(如前所述)，那么至少一个处理器可以实现与使用者的眼睛的至少一个特征和/或凝视方向相对应的第一组二维坐标与同图像传感器的视野的特定区域相对应的第二组二维坐标之间的映射。
如果自动聚焦相机确定图像传感器的视野中的至少一个区域(即，对应于第二组二维坐标)的聚焦特性时，那么处理器可以：i)作为403处的映射的一部分，始终(例如，每隔一段时间或连续地)监视在图像传感器的整个视野上的聚焦特性，并返回与特定第二组二维坐标相对应的特定聚焦特性，或者ii)作为403处的映射的一部分识别或以其他方式确定第二组二维坐标，并返回与第二组二维坐标相对应的聚焦特性。
如前所述，在一些实施方式中，图像捕获系统可以始终(例如，以规则间隔或连续地)监视使用者的凝视方向(经由眼睛跟踪器子系统)和/或始终(例如，每隔一段时间或连续地)监视自动聚焦摄像机的视野的一个或多个聚焦特性。换句话说，图像捕获系统可以始终或重复地执行方法400并且响应于来自使用者的图像捕获命令只捕获物体的实际图像(例如，将图像的图像副本存储在存储器中)。在其他实施方式中，图像捕获系统的眼睛跟踪器子系统和/或自动聚焦相机组件可以保持基本上不活动(即，可以不连贯地执行方法400)，直到图像捕获系统接收来自使用者的图像捕获命令。
图5示出了根据本发明系统、设备、和方法的响应于来自使用者的图像捕获命令而操作图像捕获系统来捕获在使用者凝视方向上的物体的清晰图像的方法500的流程图。图像捕获系统可以与图1的图像捕获系统100和/或图2A、图2B和图2C的图像捕获系统200基本上相似或甚至相同，并且总体上包括眼睛跟踪器子系统和自动聚焦相机，两者都通信地耦合到处理器(并且通常是存储处理器可执行数据和/或指令的非暂态处理器可读介质或存储器，当由处理器执行时，这些处理器可执行数据和/或指令致使图像捕获系统执行方法500)。尽管方法500包括六个动作501、502、503、504、505和506，但是本领域的这些技术人员应当认识到在替代实施例中可以省略某些动作和/或可以添加附加动作。本领域技术人员还将认识到所展示的动作顺序仅出于示例性目的被示出并且可以在替代性实施例中改变。动作503、504和505基本上分别类似于方法400的动作401、402和403，并且下面不再详细讨论以避免重复。
在501处，处理器监视来自使用者的图像捕获命令的发生或实例。处理器可以执行来自非暂态处理器可读存储介质的指令，这些指令致使处理器监视来自使用者的图像捕获命令。取决于实施方式，并且特别是用于图像捕获系统的输入机构，来自使用者的图像捕获命令的性质可以以各种不同的形式出现。作为示例：在采用基于触摸的界面(例如，一个或多个触摸屏、按钮、电容开关或电感开关、接触开关)的图像捕获系统中，图像捕获命令可以包括激活一个或多个基于触摸的输入；在采用语音命令(例如，至少一个麦克风和音频处理能力)的图像捕获系统中，图像命令可以包括特定的语音命令；和/或在采用手势控制(例如，光学或红外，或基于超声的手势检测或基于EMG的手势检测，例如MyoTM臂带)的图像捕获系统中，图像捕获命令可以包括至少一个手势输入。在一些实施方式中，图像捕获系统的眼睛跟踪器子系统可以用于使用类似于美国临时专利申请序列号62/236,060和/或美国临时专利申请序列号62/261,653中描述的界面来监视并标识来自使用者的图像捕获命令。
在502处，图像捕获系统的处理器接收来自使用者的图像捕获命令。在一些实施方式中，图像捕获命令可以针对立即捕获图像，而在其他实施方式中，图像捕获命令可以针对启动、执行或以其他方式激活存储在图像捕获系统的非暂态处理器可读存储介质中的相机应用或其他(多个)硬件应用。
响应于在502处处理器接收来自使用者的图像捕获命令，方法500前进到动作503、504和505，这实质上是执行图4的方法400。
在503处，眼睛跟踪器子系统以类似于针对方法400的动作401描述的方式感测使用者的眼睛的至少一个特征。眼睛跟踪器子系统可以向处理器提供指示或以其他方式表示至少一个特征数据的数据/信息。
在504处，眼睛跟踪器子系统基于在503处感测的使用者的眼睛的至少一个特征、以基本上类似于针对方法400的动作402描述的方式确定使用者的眼睛的凝视方向。
在505处，自动聚焦相机基于在504处确定的使用者的眼睛的凝视方向、以基本上类似于针对方法400的动作403描述的方式聚焦在使用者的眼睛的视野中的物体上。
在506处，自动聚焦相机在按照505聚焦在物体上的同时图像捕获系统的自动聚焦相机捕获物体的聚焦图像。在一些实施方式中，自动聚焦相机可以记录或复制物体的数字照片或图像，并将数字照片或图像存储在本地存储器中，或者发送数字照片或图像以存储在远程或场外存储器中。在其他实施方式中，自动聚焦相机可以捕获来自物体的视觉信息，而不必记录或存储视觉信息(例如，为了比如在取景器中或在显示屏上实时显示或分析视觉信息的目的)。在其他实施方式中，自动聚焦相机可以在506处捕获物体的多个图像作为“一连串”图像或者作为视频的相应帧。
如前所述，基于眼睛跟踪和/或凝视方向检测来自动聚焦的本发明图像捕获系统、设备、和方法特别适合用于WHUD。在图6A、图6B和图6C中提供了采用本文描述的图像捕获系统、设备、和方法的WHUD的说明性示例。
图6A是具有根据本发明系统、设备、和方法的基于凝视方向的自动聚焦图像捕获系统的WHUD 600的正视图。图6B是图6A的WHUD 600的后视图，图6C是图6A的WHUD 600的侧视图或侧向视图。通过参考图6A、图6B和图6C中的每一个，WHUD 600包括支撑结构610，该支撑结构在使用时被戴在使用者的头部上并且具有眼镜架的一般形状和外观。支撑结构610承载多个组件，包括：显示内容发生器620(例如，投影仪或微显示器和相关光学器件)、透明组合器630、自动聚焦相机640、和包括红外光源651和红外光电探测器652的眼睛跟踪器650。在图6A中，自动聚焦相机640包括至少一个被示为分立元件的聚焦特性传感器641。显示内容发生器620、自动聚焦相机640、和眼睛跟踪器650的多个部分可以包含在支撑结构610的内部体积内。例如，WHUD600还可以包括通信地耦合到自动聚焦相机640和眼睛跟踪器650的处理器、以及通信地耦合到处理器的非暂态处理器可读存储介质，其中处理器和存储介质都被承载在支撑结构610的一个或多个内部体积内，因此在图6A、图6B和图6C的视图中不可见。
贯穿本说明书和所附权利要求，术语“承载”以及比如“由……承载”等变体通常用来指代两个物体之间的物理联接。物理联接可以是直接物理联接(即，通过两个物体之间的直接物理接触)或由一个或多个附加物体作为中介的间接物理联接。因此，术语“承载”以及比如“由……承载”等变体意味着通常包括直接物理联接和间接物理联接的所有方式。
由支撑结构610承载的显示内容发生器620可以包括光源和光学系统，该光学系统与透明组合器630协作地提供显示内容。当支撑结构610被戴在使用者的头部上时，透明组合器630被定位在使用者的眼睛的视野内。透明组合器630足够光学透明以便允许来自使用者的环境的光穿过到达使用者的眼睛，但也将来自显示内容发生器620的光朝向使用者的眼睛重定向。在图6A、图6B和图6C中，透明组合器630是透明眼镜透镜660(例如，处方眼镜透镜或非处方眼镜透镜)的组件。WHUD 600承载一个显示内容发生器620和一个透明组合器630；然而，其他实施方式可以采用具有用于双眼的显示内容发生器和透明组合器的双目显示器。
包括图像传感器、可调光学元件、聚焦控制器和离散聚焦特性传感器641的自动聚焦相机640被承载在支撑结构610的右侧(按照图6B的后视图，使用者视角)上。然而，在其他实施方式中，自动聚焦相机640可以承载在WHUD600的任一侧或两侧上。聚焦特性传感器641在物理上不同于自动聚焦相机640的图像传感器，然而，在一些实施方式中，聚焦特性传感器641可以是集成到图像传感器中的类型(例如，对比度检测传感器)。
眼睛跟踪器650的光信号源651和光电探测器652例如被承载在支架610的中间、位于使用者的眼睛之间，并指向跟踪使用者的右眼。本领域技术人员将理解，在替代实施方式中，眼睛跟踪器650可以位于支撑结构610上的其他位置和/或可以被定向成跟踪使用者的左眼或使用者的双眼。在跟踪使用者的双眼的实施方式中，眼睛的聚散数据/信息可以用作聚焦特性以影响自动聚焦相机的聚焦控制器致使可调光学元件将图像传感器上的照射光聚焦的深度。例如，自动聚焦相机640可以自动聚焦到与由眼睛跟踪器子系统确定的双眼的聚散度相对应的深度，并且图像捕获系统可以捕获聚焦在该深度的图像，而不必确定使用者的凝视方向和/或感兴趣的物体。
在上述实施方式中的任何一个中，可以采用多个自动聚焦相机。多个自动聚焦相机可以各自响应于来自单个眼睛跟踪子系统的凝视方向信息而自动聚焦在使用者视野中的同一物体上。多个自动聚焦相机可以是立体或非立体的，并且可以捕获不同的图像或者有助于创建单个图像的图像。
可以用作本发明系统、设备、和方法中描述的WHUD或与之相关的WHUD系统、设备、和方法的示例包括但不限于以下文件中描述的那些：美国专利公开号US 2015-0205134A1、美国专利公开号US 2015-0378164A1、美国专利公开号US 2015-0378161A1、美国专利公开号US 2015-0378162A1、美国非临时专利申请序号15/046,234；美国非临时专利申请序列号15/046,254；和/或美国非临时专利申请序列号15/046,269。
本领域技术人员将认识到，本文描述的用于基于眼睛跟踪来聚焦的图像捕获系统、设备、和方法的各种实施例可以应用于非WHUD应用中。例如，本发明系统、设备、和方法可以应用在非可穿戴式平视显示器中(即，是不可穿戴式的平视显示器)和/或应用在可以包括或可以不包括可视显示器的其他应用中。
本文描述的WHUD和/或图像捕获系统可以包括用于从使用者的环境采集数据的一个或多个传感器(例如，麦克风、相机、温度计、指南针、高度计、气压计和/或其他传感器)。例如，一个或多个相机可以用于向WHUD的处理器提供反馈并且影响任何给定图像应当被显示在(多个)显示器上什么位置处。
本文描述的WHUD和/或图像捕获系统可以包括一个或多个自带电源(例如，一个或多个电池)、用于发送/接收无线通信的无线收发器、和/或用于耦合到计算机和/或给一个或多个自带电源充电的有绳连接器端口。
本文描述的WHUD和/或图像捕获系统可以以各种各样的方式中的一种或多种接收和响应来自使用者的命令，包括但不限于：通过麦克风的语音命令；通过按钮、开关或触敏表面的触摸命令；和/或通过手势检测系统的基于姿势的命令，如在例如美国非临时专利申请序列号14/155,087、美国非临时专利申请序列号14/155,107、和/或PCT专利申请PCT/US2014/057029中描述的，所有这些专利都通过原因以其全部内容并入本文。
贯穿本说明书和所附权利要求，如在“通信路径”、“通信耦合”中以及在比如“通信地耦合”的变体中的术语“通信”总体上用于指代用于传递和/或交换信息的任何工程化安排。示例性通信路径包括但不限于：导电路径(例如，导电线、导电迹线)、磁性路径(例如，磁性介质)、和/或光路(例如，光纤)，并且示例性通信耦合包括但不限于：电耦合、磁性耦合、和/或光耦合。
贯穿本说明书和所附权利要求，通常使用不定式动词形式。示例包括但不限于：“检测”、“提供”、“发送”、“传达”、“处理”、“路由”等。除非具体上下文另有要求，否则以开放的、包容性意义使用此类不定式动词形式，即如“至少检测”、“至少提供”、“至少发送”等。
对所展示的实施例的以上说明(包括在摘要中所描述的)并非旨在是穷尽的或者并非旨在把所述实施例限定于所披露的所述确切的形式。尽管本文出于说明性目的描述了具体实施例和示例，但是相关领域的技术人员将认识到，可以在不脱离本披露的精神和范围的情况下做出不同的等效修改。本文提供的关于不同实施例的教导可以应用于其他图像捕获系统或便携式和/或可穿戴式电子设备，而不必是上文总体上描述的示例性图像捕获系统和可穿戴式电子设备。
例如，前述具体实施方式已经通过使用框图、示意图、以及示例来阐述了本发明系统、设备和/或过程的不同实施例。在此类框图、示意图、和示例包含一项或多项功能和/或操作的情况下，本领域技术人员将理解到，此类框图、流程图、或示例内的每项功能和/或操作均能够由各种各样的硬件、软件、固件、或几乎其任何组合来单独地和/或共同地实施。在一个实施例中，可以由一个或多个处理器、例如一个或多个专用集成电路(ASIC)实施本主题。然而，本领域的这些技术人员将认识到，在此披露的实施例整体地或部分地可以在标准或通用集成电路中等效地实施，作为由一个或多个计算机所执行的一个或多个计算机程序(例如，作为在一个或多个计算机系统上运行的一个或多个程序)，作为由一个或多个控制器(例如，微控制器)所执行的一个或多个程序，作为由一个或多个处理器(例如，微处理器、中央处理单元(CPU)、图形处理单元(GPU)、可编程门阵列(PGA)、可编程逻辑控制器(PLC))所执行的一个或多个程序，作为固件，或作为其任何虚拟组合，并且认识到根据本披露的教导，设计电路系统和/或编写用于软件和/或固件的代码将在本领域普通技术人员的技术范围内。如本文和权利要求中所使用的，术语“处理器”或“多个处理器”指的是硬件电路系统，例如ASIC、微处理器、CPU、GPU、PGA、PLC和其他微控制器。
当逻辑被实施为软件并且被存储在存储器中时，逻辑或信息可以被存储在任何处理器可读介质上，以便由或结合任何处理器相关的系统或方法使用。在本披露的上下文中，存储器是处理器可读介质，该处理器可读介质是包含或存储计算机和/或处理器程序的电子、磁性、光学、或其他物理设备或装置。逻辑和/或信息可以被实施在任何处理器可读介质中，以便由或结合指令执行系统、装置、或设备使用，所述指令执行系统、装置、或设备是比如基于计算机的系统、含有处理器的系统、或可以从指令执行系统、装置、或设备提取指令并且执行与逻辑和/或信息相关联的指令的其他系统。
在本说明书的上下文中，“非暂态处理器可读介质”可以是可以存储与逻辑和/或信息相关联的程序以便由或结合所述指令执行系统、装置、和/或设备使用的任何硬件。所述处理器可读介质可以是例如但不限于电子、磁性、光学、电磁、红外、或半导体系统、装置或设备。计算机可读介质的更具体的示例(非穷举列表)将包括以下各项：便携式计算机软盘(磁性、压缩闪存卡、安全数字等)、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM、EEPROM、或闪存存储器)、便携式光盘只读存储器(CDROM)、数字磁带、以及其他非暂态介质。
以上所描述的各实施例可以组合起来以提供进一步实施例。就它们与本文的特定教导和定义没有不一致来说，Thalmic Labs公司所拥有的在本说明书中所提及和/或在申请数据表中所列出的所有美国专利、美国专利申请出版物、美国专利申请、外国专利、外国专利申请和非专利出版物包括但不限于：美国专利公开号US 2015-0205134A1、美国专利公开号US 2015-0378164A1、美国专利公开号US 2015-0378161A1、美国专利公开号US 2015-0378162A1、美国非临时专利申请序列号15/046,234、美国非临时专利申请序列号15/046,254、美国非临时专利申请序列号15/046,269、美国非临时专利申请序列号15/167,458、美国非临时专利申请序列号15/167,472、美国非临时专利申请序列号15/167,484、美国临时专利申请序列号62/271,135、美国临时专利申请序列号62/245,792、美国临时专利申请序列号62/281,041、美国非临时专利申请序列号14/155,087、美国非临时专利申请序列号14/155,107、PCT专利申请PCT/US 2014/057029、美国临时专利申请序列号62/236,060、美国临时专利申请序列号62/261,653、和/或美国临时专利申请序列号62/357,201，这些专利通过援引以其全部内容并入本文。如有必要，可以对实施例的方面进行修改，以利用各专利、申请和出版物中的系统、电路及概念来提供又进一步实施例。
鉴于以上详细描述，可以对实施例做出这些和其他改变。一般而言，在以下权利要求中，所使用的术语不应当被解释为将权利要求局限于本说明书和权利要求中所披露的特定实施例，而是应当被解释为包括所有可能的实施例、连同这些权利要求有权获得的等效物的整个范围。因此，这些权利要求不受本披露限制。

Claims (21)

1.一种图像捕获系统，包括：
眼睛跟踪器子系统，所述眼睛跟踪子系统用于感测使用者的眼睛的至少一个特征并且基于所述至少一个特征来确定该使用者的眼睛的凝视方向；以及
自动聚焦相机，该自动聚焦相机通信地耦合到该眼睛跟踪器子系统，该自动聚焦相机用于基于由该眼睛跟踪器子系统确定的该使用者的眼睛的凝视方向来自动聚焦在该使用者的眼睛的视野中的物体上。
2.如权利要求1所述的图像捕获系统，其中，该自动聚焦相机包括：
图像传感器，该图像传感器具有与该使用者的眼睛的视野至少部分地重叠的视野；
可调光学元件，该可调光学元件被定位和定向成可调地聚焦在该图像传感器的视野中的物体上；以及
聚焦控制器，该聚焦控制器通信地耦合到该可调光学元件，该聚焦控制器通信地耦合用于将调整应用于该可调光学元件，以基于由该眼睛跟踪器子系统确定的该使用者的眼睛的凝视方向和由该自动聚焦相机确定的该图像传感器的视野的至少一部分的聚焦特性来使该图像传感器的视野聚焦在该使用者的眼睛的视野中的物体上。
3.如权利要求2所述的图像捕获系统，进一步包括：
处理器，该处理器通信地耦合到该眼睛跟踪器子系统和该自动聚焦相机；以及
通信地耦合到该处理器的非暂态处理器可读存储介质，其中，该非暂态处理器可读存储介质存储处理器可执行数据和/或指令，当由该处理器执行时，这些处理器可执行数据和/或指令致使该处理器在由该眼睛跟踪器子系统确定的该使用者的眼睛的凝视方向与由该自动聚焦相机确定的该图像传感器的视野的至少一部分的聚焦特性之间实现映射。
4.如权利要求2所述的图像捕获系统，其中，该自动聚焦相机包括聚焦特性传感器，该聚焦特性传感器用于确定该图像传感器的视野的至少一部分的聚焦特性，该聚焦特性传感器选自包括以下各项的组：
距离传感器，该距离传感器用于感测到该图像传感器的视野中的物体的距离；
飞行时间传感器，该飞行时间传感器用于确定到该图像传感器的视野中的物体的距离；
相位检测传感器，该相位检测传感器用于检测该图像传感器的视野中的至少两个点之间的相位差；以及
对比度检测传感器，该对比度检测传感器用于检测该图像传感器的视野中的至少两个点之间的强度差。
5.如权利要求1所述的图像捕获系统，进一步包括：
处理器，该处理器通信地耦合到该眼睛跟踪器子系统和该自动聚焦相机；以及
通信地耦合到该处理器的非暂态处理器可读存储介质，其中，该非暂态处理器可读存储介质存储处理器可执行数据和/或指令，当由该处理器执行时，这些处理器可执行数据和/或指令致使该处理器控制该眼睛跟踪器子系统和/或该自动聚焦相机中的至少一个的操作。
6.如权利要求5所述的图像捕获系统，其中，该眼睛跟踪器子系统包括：
眼睛跟踪器，该眼睛跟踪器用于感测该使用者的眼睛的至少一个特征；以及
处理器可执行数据和/或指令，这些处理器可执行数据和/或指令存储在该非暂态处理器可读存储介质中，当由该处理器执行时，这些处理器可执行数据和/或指令致使该处理器基于该眼睛跟踪器所感测的该使用者的眼睛的至少一个特征来确定该使用者的眼睛的凝视方向。
7.如权利要求1所述的图像捕获系统，其中，由该眼睛跟踪器子系统感测的该使用者的眼睛的至少一个特征选自包括以下各项的组：该使用者的眼睛的瞳孔的位置、该使用者的眼睛的瞳孔的取向、该使用者的眼睛的角膜的位置、该使用者的眼睛的角膜的取向、该使用者的眼睛的虹膜的位置、该使用者的眼睛的虹膜的取向、该使用者的眼睛的至少一根视网膜血管的位置、以及该使用者的眼睛的至少一根视网膜血管的取向。
8.如权利要求1所述的图像捕获系统，进一步包括：
支撑结构，该支撑结构在使用中是戴在该使用者的头部上，其中，该眼睛跟踪器子系统和该自动聚焦相机都由该支撑结构承载。
9.一种用于操作图像捕获系统的方法，其中，该图像捕获系统包括眼睛跟踪器子系统和自动聚焦相机，该方法包括：
通过该眼睛跟踪器子系统感测该使用者的眼睛的至少一个特征；
该眼睛跟踪器子系统基于该至少一个特征来确定该使用者的眼睛的凝视方向；并且
基于由该眼睛跟踪器子系统确定的该使用者的眼睛的凝视方向，由该自动聚焦相机聚焦在该使用者的眼睛的视野中的物体上。
10.如权利要求9所述的方法，其中，通过该眼睛跟踪器子系统感测该使用者的眼睛的至少一个特征包括以下中的至少一个：
通过该眼睛跟踪器子系统感测该使用者的眼睛的瞳孔的位置；
通过该眼睛跟踪器子系统感测该使用者的眼睛的瞳孔的取向；
通过该眼睛跟踪器子系统感测该使用者的眼睛的角膜的位置；
通过该眼睛跟踪器子系统感测该使用者的眼睛的角膜的取向；
通过该眼睛跟踪器子系统感测该使用者的眼睛的虹膜的位置；
通过该眼睛跟踪器子系统感测该使用者的眼睛的虹膜的取向；
通过该眼睛跟踪器子系统感测该使用者的眼睛的至少一根视网膜血管的位置；或
通过该眼睛跟踪器子系统感测该使用者的眼睛的至少一根视网膜血管的取向。
11.如权利要求9所述的方法，其中，该图像捕获系统进一步包括：
处理器，该处理器通信地耦合到该眼睛跟踪器子系统和该自动聚焦相机；以及
通信地耦合到该处理器的非暂态处理器可读存储介质，并且其中，该非暂态处理器可读存储介质存储处理器可执行数据和/或指令，该方法进一步包括：
该处理器执行这些处理器可执行数据和/或指令，以致使该自动聚焦相机基于由该眼睛跟踪器子系统确定的该使用者的眼睛的凝视方向来聚焦在该使用者的眼睛的视野中的物体上。
12.如权利要求11所述的方法，其中，该自动聚焦相机包括图像传感器、可调光学元件、以及通信地耦合到该可调光学元件的聚焦控制器，该方法进一步包括：
通过该自动聚焦相机确定该图像传感器的视野的至少一部分的聚焦特性，其中，该图像传感器的视野与该使用者的眼睛的视野至少部分地重叠；并且其中，通过该自动聚焦相机基于由该眼睛跟踪器子系统确定的该使用者的眼睛的凝视方向来聚焦在该使用者的眼睛的视野中的物体上包括通过该自动聚焦相机的聚焦控制器来调整该可调光学元件以基于由该眼睛跟踪器子系统确定的该使用者的眼睛的凝视方向和由该自动聚焦相机确定的该图像传感器的视野的至少一部分的聚焦特性来将该图像传感器的视野聚焦在该使用者的眼睛的视野中的物体上。
13.如权利要求12所述的方法，其中，该自动聚焦相机包括聚焦特性传感器，并且其中，通过该自动聚焦相机确定该图像传感器的视野的至少一部分的聚焦特性包括以下中的至少一个：
通过该聚焦特性传感器感测到该图像传感器的视野中的物体的距离；
通过该聚焦特性传感器确定到该图像传感器的视野中的物体的距离；
通过该聚焦特性传感器检测该图像传感器的视野中的至少两个点之间的相位差；和/或
通过该聚焦特性传感器检测该图像传感器的视野中的至少两个点之间的强度差。
14.如权利要求12所述的方法，进一步包括：
通过该处理器实现由该眼睛跟踪器子系统确定的该使用者的眼睛的凝视方向与由该自动聚焦相机确定的该图像传感器的视野的至少一部分的聚焦特性之间的映射。
15.如权利要求14所述的方法，其中：
通过该眼睛跟踪器子系统确定该使用者的眼睛的凝视方向包括通过该眼睛跟踪器子系统确定与该使用者的眼睛的至少一个特征相对应的第一组二维坐标；
通过该自动聚焦相机确定该图像传感器的视野的至少一部分的聚焦特性包括通过该自动聚焦相机确定该图像传感器的视野中的第一区域的聚焦特性，该图像传感器的视野中的第一区域包括第二组二维坐标；并且
通过该处理器实现由该眼睛跟踪器子系统确定的该使用者的眼睛的凝视方向与由该自动聚焦相机确定的该图像传感器的视野的至少一部分的聚焦特性之间的映射包括通过该处理器实现与该使用者的眼睛的至少一个特征相对应的该第一组二维坐标与同该图像传感器的视野中的第一区域相对应的该第二组二维坐标之间的映射。
16.如权利要求12所述的方法，进一步包括：
通过该处理器实现由该眼睛跟踪器子系统确定的该使用者的眼睛的凝视方向与该自动聚焦相机的图像传感器的视野之间的映射。
17.如权利要求11所述的方法，进一步包括：
通过该处理器接收来自该使用者的图像捕获命令；并且
响应于该处理器接收到来自该使用者的图像捕获命令，该处理器执行这些处理器可执行数据和/或指令以致使该自动聚焦相机基于该眼睛跟踪器子系统确定的该使用者的眼睛的凝视方向来聚焦在该使用者的眼睛的视野中的物体上。
18.如权利要求9所述的方法，进一步包括：
当该自动聚焦相机聚焦在该物体上时，通过该自动聚焦相机来捕获该物体的图像。
19.一种可穿戴式平视显示器(“WHUD”)，包括：
支撑结构，该支撑结构在使用时戴在使用者的头部上；
显示内容发生器，该显示内容发生器由该支撑结构承载，该显示内容发生器用于提供视觉显示内容；
透明组合器，该透明组合器由该支撑结构承载并且定位在该使用者的视野内，该透明组合器将该显示内容发生器提供的视觉显示内容引导至该使用者的视野；以及
图像捕获系统，该图像捕获系统包括：
眼睛跟踪器子系统，该眼睛跟踪子系统用于感测该使用者的眼睛的至少一个特征，并且基于该至少一个特征来确定该使用者的眼睛的凝视方向；以及
自动聚焦相机，该自动聚焦相机通信地耦合到该眼睛跟踪器子系统，该自动聚焦相机用于基于由该眼睛跟踪器子系统确定的该使用者的眼睛的凝视方向来自动聚焦在该使用者的眼睛的视野中的物体上。
20.如权利要求19所述的WHUD，其中，该自动聚焦相机包括：
图像传感器，该图像传感器具有与该使用者的眼睛的视野至少部分地重叠的视野；
可调光学元件，该可调光学元件被定位和定向成可调地聚焦在该图像传感器的视野中的物体上；以及
聚焦控制器，该聚焦控制器通信地耦合到该可调光学元件，该聚焦控制器用于将调整应用于该可调光学元件以基于由该眼睛跟踪器子系统确定的该使用者的眼睛的凝视方向和由该自动聚焦相机确定的该图像传感器的视野的至少一部分的聚焦特性来使该图像传感器的视野聚焦在该使用者的眼睛的视野中的物体上。
21.如权利要求20所述的WHUD，进一步包括：
处理器，该处理器通信地耦合到该眼睛跟踪器子系统和该自动聚焦相机；以及
通信地耦合到该处理器的非暂态处理器可读存储介质，其中，该非暂态处理器可读存储介质存储处理器可执行数据和/或指令，当由该处理器执行时，这些处理器可执行数据和/或指令致使该处理器在由该眼睛跟踪器子系统确定的该使用者的眼睛的凝视方向与由该自动聚焦相机确定的该图像传感器的视野的至少一部分的聚焦特性之间实现映射。
CN201780052590.4A 2016-06-30 2017-06-30 基于眼睛跟踪自动聚焦的图像捕获系统、设备和方法 Pending CN109983755A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201662357201P 2016-06-30 2016-06-30
US62/357,201 2016-06-30
PCT/US2017/040323 WO2018005985A1 (en) 2016-06-30 2017-06-30 Image capture systems, devices, and methods that autofocus based on eye-tracking

Publications (1)

Publication Number Publication Date
CN109983755A true CN109983755A (zh) 2019-07-05

Family

ID=60787612

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201780052590.4A Pending CN109983755A (zh) 2016-06-30 2017-06-30 基于眼睛跟踪自动聚焦的图像捕获系统、设备和方法

Country Status (8)

Country Link
US (3) US20180007255A1 (zh)
EP (1) EP3479564A1 (zh)
JP (1) JP2019527377A (zh)
KR (1) KR20190015573A (zh)
CN (1) CN109983755A (zh)
AU (1) AU2017290811A1 (zh)
CA (1) CA3029234A1 (zh)
WO (1) WO2018005985A1 (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021175014A1 (zh) * 2020-03-03 2021-09-10 Oppo广东移动通信有限公司 追焦方法及相关设备
CN114365077A (zh) * 2019-09-05 2022-04-15 杜比实验室特许公司 观看者同步的照明感测

Families Citing this family (59)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9477079B2 (en) 2014-06-25 2016-10-25 Thalmic Labs Inc. Systems, devices, and methods for wearable heads-up displays
JP6769974B2 (ja) 2015-02-17 2020-10-14 ノース インコーポレイテッドＮｏｒｔｈ Ｉｎｃ． ウェアラブルヘッドアップディスプレイにおけるアイボックス拡張のためのシステム、機器、及び方法
US10197805B2 (en) 2015-05-04 2019-02-05 North Inc. Systems, devices, and methods for eyeboxes with heterogeneous exit pupils
US10078219B2 (en) 2015-05-28 2018-09-18 Thalmic Labs Inc. Wearable heads-up display with integrated eye tracker and different optical power holograms
EP3734661A3 (en) 2015-07-23 2021-03-03 Artilux Inc. High efficiency wide spectrum sensor
US10761599B2 (en) 2015-08-04 2020-09-01 Artilux, Inc. Eye gesture tracking
US10707260B2 (en) 2015-08-04 2020-07-07 Artilux, Inc. Circuit for operating a multi-gate VIS/IR photodiode
TWI744196B (zh) 2015-08-04 2021-10-21 光程研創股份有限公司 製造影像感測陣列之方法
US10861888B2 (en) 2015-08-04 2020-12-08 Artilux, Inc. Silicon germanium imager with photodiode in trench
EP3341970B1 (en) 2015-08-27 2020-10-07 Artilux Inc. Wide spectrum optical sensor
US10488662B2 (en) 2015-09-04 2019-11-26 North Inc. Systems, articles, and methods for integrating holographic optical elements with eyeglass lenses
CA3007196A1 (en) 2015-10-01 2017-04-06 Thalmic Labs Inc. Systems, devices, and methods for interacting with content displayed on head-mounted displays
US9904051B2 (en) 2015-10-23 2018-02-27 Thalmic Labs Inc. Systems, devices, and methods for laser eye tracking
US10741598B2 (en) 2015-11-06 2020-08-11 Atrilux, Inc. High-speed light sensing apparatus II
US10418407B2 (en) 2015-11-06 2019-09-17 Artilux, Inc. High-speed light sensing apparatus III
US10254389B2 (en) 2015-11-06 2019-04-09 Artilux Corporation High-speed light sensing apparatus
US10739443B2 (en) 2015-11-06 2020-08-11 Artilux, Inc. High-speed light sensing apparatus II
US10886309B2 (en) 2015-11-06 2021-01-05 Artilux, Inc. High-speed light sensing apparatus II
US10802190B2 (en) 2015-12-17 2020-10-13 Covestro Llc Systems, devices, and methods for curved holographic optical elements
US10303246B2 (en) 2016-01-20 2019-05-28 North Inc. Systems, devices, and methods for proximity-based eye tracking
US10151926B2 (en) 2016-01-29 2018-12-11 North Inc. Systems, devices, and methods for preventing eyebox degradation in a wearable heads-up display
JP6266675B2 (ja) * 2016-03-18 2018-01-24 株式会社Ｓｕｂａｒｕ 捜索支援装置、捜索支援方法及び捜索支援プログラム
CA3020631A1 (en) 2016-04-13 2017-10-19 Thalmic Labs Inc. Systems, devices, and methods for focusing laser projectors
US10277874B2 (en) 2016-07-27 2019-04-30 North Inc. Systems, devices, and methods for laser projectors
WO2018027326A1 (en) 2016-08-12 2018-02-15 Thalmic Labs Inc. Systems, devices, and methods for variable luminance in wearable heads-up displays
US10215987B2 (en) 2016-11-10 2019-02-26 North Inc. Systems, devices, and methods for astigmatism compensation in a wearable heads-up display
US10409057B2 (en) 2016-11-30 2019-09-10 North Inc. Systems, devices, and methods for laser eye tracking in wearable heads-up displays
US10365492B2 (en) 2016-12-23 2019-07-30 North Inc. Systems, devices, and methods for beam combining in wearable heads-up displays
US10437073B2 (en) 2017-01-25 2019-10-08 North Inc. Systems, devices, and methods for beam combining in laser projectors
US10810773B2 (en) * 2017-06-14 2020-10-20 Dell Products, L.P. Headset display control based upon a user's pupil state
WO2019079894A1 (en) 2017-10-23 2019-05-02 North Inc. MULTIPLE LASER DIODE MODULES WITH FREE SPACES
JP2019129366A (ja) * 2018-01-23 2019-08-01 セイコーエプソン株式会社 頭部装着型表示装置、音声伝送システム、及び頭部装着型表示装置の制御方法
US11556741B2 (en) 2018-02-09 2023-01-17 Pupil Labs Gmbh Devices, systems and methods for predicting gaze-related parameters using a neural network
EP3749172B1 (en) 2018-02-09 2022-03-30 Pupil Labs GmbH Devices, systems and methods for predicting gaze-related parameters
US11194161B2 (en) 2018-02-09 2021-12-07 Pupil Labs Gmbh Devices, systems and methods for predicting gaze-related parameters
US11105928B2 (en) 2018-02-23 2021-08-31 Artilux, Inc. Light-sensing apparatus and light-sensing method thereof
TWI788246B (zh) 2018-02-23 2022-12-21 美商光程研創股份有限公司 光偵測裝置
JP7212062B2 (ja) 2018-04-08 2023-01-24 アーティラックス・インコーポレイテッド 光検出装置
US10642049B2 (en) 2018-04-25 2020-05-05 Apple Inc. Head-mounted device with active optical foveation
TWI795562B (zh) 2018-05-07 2023-03-11 美商光程研創股份有限公司 雪崩式之光電晶體
US10969877B2 (en) 2018-05-08 2021-04-06 Artilux, Inc. Display apparatus
US11448886B2 (en) * 2018-09-28 2022-09-20 Apple Inc. Camera system
SE542553C2 (en) * 2018-12-17 2020-06-02 Tobii Ab Gaze tracking via tracing of light paths
US11537202B2 (en) 2019-01-16 2022-12-27 Pupil Labs Gmbh Methods for generating calibration data for head-wearable devices and eye tracking system
EP3901919A4 (en) * 2019-04-17 2022-06-08 Rakuten Group, Inc. DISPLAY CONTROL DEVICE, DISPLAY CONTROL METHOD, PROGRAM, AND COMPUTER READABLE NON-TRANSITORY INFORMATION RECORDING MEDIA
US10798292B1 (en) * 2019-05-31 2020-10-06 Microsoft Technology Licensing, Llc Techniques to set focus in camera in a mixed-reality environment with hand gesture interaction
CN110049252B (zh) * 2019-05-31 2021-11-02 努比亚技术有限公司 一种追焦拍摄方法、设备及计算机可读存储介质
US11676422B2 (en) 2019-06-05 2023-06-13 Pupil Labs Gmbh Devices, systems and methods for predicting gaze-related parameters
KR20210019826A (ko) 2019-08-13 2021-02-23 삼성전자주식회사 Ar 글래스 장치 및 그 동작 방법
WO2021118220A1 (en) 2019-12-09 2021-06-17 Samsung Electronics Co., Ltd. Electronic device for changing display in designated area of display and operating method thereof
JP2021150760A (ja) * 2020-03-18 2021-09-27 キヤノン株式会社 撮像装置およびその制御方法
US20210365673A1 (en) * 2020-05-19 2021-11-25 Board Of Regents, The University Of Texas System Method and apparatus for discreet person identification on pocket-size offline mobile platform with augmented reality feedback with real-time training capability for usage by universal users
IL280256A (en) * 2021-01-18 2022-08-01 Emza Visual Sense Ltd Device and method for determining connection to an item
US20220227381A1 (en) * 2021-01-19 2022-07-21 Ford Global Technologies, Llc Systems And Methods For Communicating Using A Vehicle
WO2022170287A2 (en) * 2021-06-07 2022-08-11 Panamorph, Inc. Near-eye display system
US11558560B2 (en) 2021-06-16 2023-01-17 Varjo Technologies Oy Imaging apparatuses and optical devices having spatially variable focal length
CN115695768A (zh) * 2021-07-26 2023-02-03 北京有竹居网络技术有限公司 拍摄方法、装置、电子设备、存储介质和计算机程序产品
US11966045B2 (en) 2022-01-03 2024-04-23 Varjo Technologies Oy Optical focus adjustment based on occlusion
US20230308770A1 (en) * 2022-03-07 2023-09-28 Meta Platforms, Inc. Methods, apparatuses and computer program products for utilizing gestures and eye tracking information to facilitate camera operations on artificial reality devices

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6307526B1 (en) * 1998-02-02 2001-10-23 W. Steve G. Mann Wearable camera system with viewfinder means
CN101169897A (zh) * 2006-10-25 2008-04-30 友立资讯股份有限公司 多媒体系统的脸部检测的遥控系统及其方法及多媒体系统
CN101567004A (zh) * 2009-02-06 2009-10-28 浙江大学 基于眼球跟踪的英文文本自动摘要方法
US20100053555A1 (en) * 2008-08-27 2010-03-04 Locarna Systems, Inc. Method and apparatus for tracking eye movement
US20120290401A1 (en) * 2011-05-11 2012-11-15 Google Inc. Gaze tracking system
US20130088413A1 (en) * 2011-10-05 2013-04-11 Google Inc. Method to Autofocus on Near-Eye Display
US20150003819A1 (en) * 2013-06-28 2015-01-01 Nathan Ackerman Camera auto-focus based on eye gaze

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2859270B2 (ja) * 1987-06-11 1999-02-17 旭光学工業株式会社 カメラの視線方向検出装置
JP4873729B2 (ja) * 2007-04-06 2012-02-08 キヤノン株式会社 光学機器
US9338370B2 (en) * 2012-11-05 2016-05-10 Honeywell International Inc. Visual system having multiple cameras
US8958158B1 (en) * 2013-12-03 2015-02-17 Google Inc. On-head detection for head-mounted display
NZ773834A (en) * 2015-03-16 2022-07-01 Magic Leap Inc Methods and systems for diagnosing and treating health ailments

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6307526B1 (en) * 1998-02-02 2001-10-23 W. Steve G. Mann Wearable camera system with viewfinder means
CN101169897A (zh) * 2006-10-25 2008-04-30 友立资讯股份有限公司 多媒体系统的脸部检测的遥控系统及其方法及多媒体系统
US20100053555A1 (en) * 2008-08-27 2010-03-04 Locarna Systems, Inc. Method and apparatus for tracking eye movement
CN101567004A (zh) * 2009-02-06 2009-10-28 浙江大学 基于眼球跟踪的英文文本自动摘要方法
US20120290401A1 (en) * 2011-05-11 2012-11-15 Google Inc. Gaze tracking system
US20130088413A1 (en) * 2011-10-05 2013-04-11 Google Inc. Method to Autofocus on Near-Eye Display
US20150003819A1 (en) * 2013-06-28 2015-01-01 Nathan Ackerman Camera auto-focus based on eye gaze

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114365077A (zh) * 2019-09-05 2022-04-15 杜比实验室特许公司 观看者同步的照明感测
CN114365077B (zh) * 2019-09-05 2024-01-02 杜比实验室特许公司 观看者同步的照明感测
WO2021175014A1 (zh) * 2020-03-03 2021-09-10 Oppo广东移动通信有限公司 追焦方法及相关设备

Also Published As

Publication number Publication date
WO2018005985A1 (en) 2018-01-04
US20180103194A1 (en) 2018-04-12
AU2017290811A1 (en) 2019-02-14
CA3029234A1 (en) 2018-01-04
JP2019527377A (ja) 2019-09-26
EP3479564A1 (en) 2019-05-08
KR20190015573A (ko) 2019-02-13
US20180103193A1 (en) 2018-04-12
US20180007255A1 (en) 2018-01-04

Similar Documents

Publication Publication Date Title
CN109983755A (zh) 基于眼睛跟踪自动聚焦的图像捕获系统、设备和方法
US11880033B2 (en) Display systems and methods for determining registration between a display and a user's eyes
US11880043B2 (en) Display systems and methods for determining registration between display and eyes of user
US11290706B2 (en) Display systems and methods for determining registration between a display and a user's eyes
EP3830674A1 (en) Depth plane selection for multi-depth plane display systems by user categorization
US11822718B2 (en) Display systems and methods for determining vertical alignment between left and right displays and a user's eyes
US20240211035A1 (en) Focus adjustments based on attention

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20190705