CN111869200A - 显示系统中的眼睛旋转中心确定、深度平面选择和渲染相机定位 - Google Patents

显示系统中的眼睛旋转中心确定、深度平面选择和渲染相机定位 Download PDF

Info

Publication number
CN111869200A
CN111869200A CN201980019514.2A CN201980019514A CN111869200A CN 111869200 A CN111869200 A CN 111869200A CN 201980019514 A CN201980019514 A CN 201980019514A CN 111869200 A CN111869200 A CN 111869200A
Authority
CN
China
Prior art keywords
eye
user
display system
center
processing electronics
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201980019514.2A
Other languages
English (en)
Inventor
S·A·米勒
L·阿加瓦尔
L·E·埃德温
I·L·C·杨
D·法默
S·F·普罗库什金
Y·蒙克
E·J·塞尔克尔
B·V·斯图尔特
J·S·萨默斯
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Magic Leap Inc
Original Assignee
Magic Leap Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Magic Leap Inc filed Critical Magic Leap Inc
Publication of CN111869200A publication Critical patent/CN111869200A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/10—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
    • A61B3/113—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions for determining or recording eye movement
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/10—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
    • A61B3/11—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions for measuring interpupillary distance or diameter of pupils
    • A61B3/111—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions for measuring interpupillary distance or diameter of pupils for measuring interpupillary distance
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/0081—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for altering, e.g. enlarging, the entrance or exit pupil
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/0093—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for monitoring data relating to the user, e.g. head-tracking, eye-tracking
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B27/0172—Head mounted characterised by optical features
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B27/0176—Head mounted characterised by mechanical features
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B30/00—Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B30/00—Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images
    • G02B30/40—Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images giving the observer of a single two-dimensional [2D] image a perception of depth
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G06F1/1613—Constructional details or arrangements for portable computers
    • G06F1/163—Wearable computers, e.g. on a belt
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/012—Head tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0346—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04815—Interaction with a metaphor-based environment or interaction object displayed as three-dimensional, e.g. changing the user viewpoint with respect to the environment or object
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G06F3/167—Audio in a user interface, e.g. using voice commands for navigating, audio feedback
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/292—Multi-camera tracking
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/42—Global feature extraction by analysis of the whole pattern, e.g. using frequency domain transformations or autocorrelation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G06V10/467—Encoded features or binary features, e.g. local binary patterns [LBP]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G06V40/193—Preprocessing; Feature extraction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/332—Displays for viewing with the aid of special glasses or head-mounted displays [HMD]
    • H04N13/344—Displays for viewing with the aid of special glasses or head-mounted displays [HMD] with head-mounted left-right displays
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/366—Image reproducers using viewer tracking
    • H04N13/383—Image reproducers using viewer tracking for tracking with gaze detection, i.e. detecting the lines of sight of the viewer's eyes
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0132—Head-up displays characterised by optical features comprising binocular systems
    • G02B2027/0134—Head-up displays characterised by optical features comprising binocular systems of stereoscopic type
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0138—Head-up displays characterised by optical features comprising image capture systems, e.g. camera
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B27/0172—Head mounted characterised by optical features
    • G02B2027/0174—Head mounted characterised by optical features holographic
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0179—Display position adjusting means not related to the information to be displayed
    • G02B2027/0187—Display position adjusting means not related to the information to be displayed slaved to motion of at least a part of the body of the user, e.g. head, eye
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/60—Extraction of image or video features relating to illumination properties, e.g. using a reflectance or lighting model

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Optics & Photonics (AREA)
  • Multimedia (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Ophthalmology & Optometry (AREA)
  • Computer Hardware Design (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Veterinary Medicine (AREA)
  • Public Health (AREA)
  • Animal Behavior & Ethology (AREA)
  • Surgery (AREA)
  • Molecular Biology (AREA)
  • Medical Informatics (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Signal Processing (AREA)
  • Software Systems (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Computer Graphics (AREA)
  • Eye Examination Apparatus (AREA)
  • Controls And Circuits For Display Device (AREA)
  • User Interface Of Digital Computer (AREA)
  • Image Analysis (AREA)
  • Indication In Cameras, And Counting Of Exposures (AREA)
  • Position Input By Displaying (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)

Abstract

一种显示系统可以包括头戴式显示器，该头戴式显示器被配置为将光投射到用户的眼睛，以不同的发散量和准直量显示虚拟图像内容。该显示系统可以包括：面向内的成像系统，其对用户的眼睛进行成像；以及处理电子设备，其与面向内的成像系统通信并且被配置为获得用户的眼睛的旋转中心的估计。该显示系统可以通过定位在所述眼睛的所确定的旋转中心位置处的渲染相机渲染虚拟图像内容。

Description

显示系统中的眼睛旋转中心确定、深度平面选择和渲染相机 定位
相关申请的交叉引用
本申请要求2018年1月17日提交的名称为“EYE CENTER OF ROTATIONDETERMINATION,DEPTH PLANE SELECTION,AND RENDER CAMERA POSITIONING IN DISPLAYSYSTEMS(显示系统中的眼睛旋转中心确定、深度平面选择和渲染相机定位)”的美国临时专利申请62/618559的优先权。本申请还要求2018年7月24日提交的名称为“EYE CENTER OFROTATION DETERMINATION,DEPTH PLANE SELECTION,AND RENDER CAMERA POSITIONING INDISPLAY SYSTEMS(显示系统中的眼睛旋转中心确定、深度平面选择和渲染相机定位)”的美国临时专利申请62/702849的优先权。上述每个申请的全部内容通过引用被并入本文中。
本申请进一步通过引用并入2018年1月18日公开的名称为“IRIS BOUNDARYESTIMATION USING CORNEA CURVATURE(使用角膜曲率的虹膜边界估计)”的美国专利公开2018/0018515。
技术领域
本公开涉及显示系统、虚拟现实和增强现实成像和可视化系统，更具体地涉及至少部分地基于用户瞳距的深度平面选择。
背景技术
现代计算和显示技术促进了用于所谓的“虚拟现实”、“增强现实”或“混合现实”体验的系统的发展，其中数字再现的图像或其部分以看起来是真实的或可被感知为真实的方式呈现给用户。虚拟现实或“VR”场景通常涉及数字或虚拟图像信息的呈现，而不对其它实际的真实世界的视觉输入透明；增强现实或“AR”场景通常涉及将数字或虚拟图像信息呈现为对用户周围的现实世界的可视化的增强；混合现实或“MR”涉及将真实世界和虚拟世界合并以产生物理和虚拟对象共存并实时交互的新环境。事实证明，人类视觉感知系统非常复杂，并且产生VR、AR或MR技术具有挑战性，这些技术便于在其它虚拟或真实世界的图像元素中舒适、自然、丰富地呈现虚拟图像元素。在此公开的系统和方法解决了与VR、AR和MR技术有关的各种挑战。
发明内容
公开了混合现实系统中的深度平面选择的各种示例。
一种显示系统可被配置为将光投射到用户的眼睛以在所述用户的视场中显示虚拟图像内容。用户的眼睛可以具有角膜、虹膜、瞳孔、晶状体、视网膜，以及延伸穿过所述晶状体、瞳孔和角膜的光轴。该显示系统可以包括：框架，其被配置为支撑在用户的头部上；头戴式显示器，其被设置在所述框架上，所述显示器被配置为将光投射到所述用户的眼睛中，以不同量的发散和准直中的至少一者向用户的视场显示虚拟图像内容，由此所显示的虚拟图像内容看起来在不同时间段源自不同深度；一个或多个眼睛跟踪相机，其被配置为对用户的眼睛进行成像；以及处理电子设备，其与所述显示器和所述一个或多个眼睛跟踪相机通信，所述处理电子设备被配置为基于通过所述一个或多个眼睛跟踪相机获得的所述眼睛的图像而获得所述眼睛的旋转中心的估计。
本文描述了将光投射到用户的一只或多只眼睛中以在所述用户的视场中显示虚拟图像内容的显示系统的各种示例，例如下面列举的示例：
示例1：一种显示系统，其被配置为将光投射到用户的眼睛以在所述用户的视场中显示虚拟图像内容，所述眼睛具有角膜、虹膜、瞳孔、晶状体、视网膜，以及延伸穿过所述晶状体、瞳孔和角膜的光轴，所述显示系统包括：
框架，其被配置为支撑在所述用户的头部上；
头戴式显示器，其被设置在所述框架上，所述显示器被配置为将光投射到所述用户的眼睛中，以不同量的发散和准直中的至少一者向所述用户的视场显示虚拟图像内容，由此所显示的虚拟图像内容看起来在不同时间段源自不同深度；
一个或多个眼睛跟踪相机，其被配置为对所述用户的眼睛进行成像；以及
处理电子设备，其与所述显示器和所述一个或多个眼睛跟踪相机通信，所述处理电子设备被配置为基于通过所述一个或多个眼睛跟踪相机获得的所述眼睛的图像而获得所述眼睛的旋转中心的估计。
示例2：根据示例1所述的显示系统，进一步包括一个或多个光源，所述一个或多个光源相对于所述用户的眼睛设置在所述框架上以照射所述用户的眼睛，所述一个或多个眼睛跟踪相机使用来自所述一个或多个光源的所述光形成所述眼睛的图像。
示例3：根据示例1或2所述的显示系统，其中所述一个或多个光源包括至少两个光源，所述至少两个光源相对于所述用户的眼睛设置在所述框架上以照射所述用户的眼睛。
示例4：根据示例1或3所述的显示系统，其中所述一个或多个光源包括红外光发射器。
示例5：根据示例1至4中任一项所述的显示系统，其中一个或多个光源在所述眼睛上形成一个或多个亮斑(glint)，并且所述处理电子设备被配置为基于所述一个或多个亮斑确定所述角膜的位置。
示例6：根据示例1至5中任一项所述的显示系统，其中所述角膜具有与其相关联的角膜球，所述角膜球具有曲率中心，并且所述电子处理设备被配置为确定所述角膜球的所述曲率中心的位置。
示例7：根据示例5所述的显示系统，其中所述角膜具有与其相关联的角膜球，所述角膜球具有曲率中心，并且所述处理电子设备被配置为基于所述一个或多个亮斑确定所述角膜球的所述曲率中心的位置。
示例8：根据上述任一示例所述的显示系统，其中所述一个或多个眼睛跟踪相机被配置为对所述眼睛的所述瞳孔进行成像。
示例9：根据上述任一示例所述的显示系统，其中所述处理电子设备被配置为确定所述瞳孔的中心的位置。
示例10：根据上述任一示例所述的显示系统，其中所述处理电子设备被配置为确定所述虹膜和所述瞳孔之间的边界的至少一部分。
示例11：根据示例10所述的显示系统，其中所述处理电子设备被配置为确定所述虹膜和所述瞳孔之间的所述边界的中心。
示例12：根据上述任一示例所述的显示系统，其中所述处理电子设备被配置为确定所述瞳孔的所述中心在三维空间中相对于所述角膜的曲率中心的位置。
示例13：根据上述任一示例所述的显示系统，其中所述处理电子设备被配置为确定所述光轴的位置和取向。
示例14：根据示例12所述的显示系统，其中所述处理电子设备被配置为基于所述瞳孔的所述中心在三维空间中的位置确定所述光轴的位置和取向。
示例15：根据上述任一示例所述的显示系统，其中所述处理电子设备被配置为基于所述瞳孔的所述中心在三维空间中相对于所述角膜的曲率中心的位置确定所述光轴的所述位置和取向。
示例16：根据上述任一示例所述的显示系统，其中所述处理电子设备被配置为基于所述角膜的曲率中心确定所述眼睛的所述旋转中心的位置。
示例17：根据上述任一示例所述的显示系统，其中所述处理电子设备被配置为基于所述角膜的曲率中心以及所述光轴的位置和取向确定所述眼睛的所述旋转中心的位置。
示例18：根据示例17所述的显示系统，其中所述处理电子设备被配置为通过沿着所述光轴从所述角膜的所述曲率中心平移特定距离来确定所述眼睛的所述旋转中心的位置。
示例19：根据示例18所述的显示系统，其中从所述曲率中心到所述旋转中心的所述特定距离在4.0mm和6.0mm之间。
示例20：根据示例18或19所述的显示系统，其中从所述曲率中心到所述旋转中心的所述特定距离为约4.7mm。
示例21：根据示例18或19所述的显示系统，其中所述特定距离是固定的。
示例22：根据示例18或19所述的显示系统，其中所述处理电子设备被配置为至少基于先前通过所述一个或多个眼睛跟踪相机获得的所述眼睛的一个或多个图像确定所述特定距离。
示例23：根据上述任一示例所述的显示系统，其中所述处理电子设备被配置为基于所述光轴的位置和取向确定从所述光轴偏移的视轴的位置和取向。
示例24：根据上述任一示例所述的显示系统，其中所述处理电子设备被配置为基于相对于所述光轴的角旋转确定视轴的位置和取向。
示例25：根据上述任一示例所述的显示系统，其中所述处理电子设备被配置为基于相对于所述光轴的4.0°和6.5°之间的角旋转确定视轴的位置和取向。
示例26：根据上述任一示例所述的显示系统，其中所述处理电子设备被配置为基于相对于所述光轴的约5.2°的角旋转确定视轴的位置和取向。
示例27：根据上述任一示例所述的显示系统，其中所述处理电子设备被配置为至少基于先前通过所述一个或多个眼睛跟踪相机获得的所述眼睛的一个或多个图像确定视轴的位置和取向。
示例28：根据上述任一示例所述的显示系统，其中所述处理电子设备被配置为基于所述眼睛旋转的时间段内的所述光轴或视轴的位置的多个确定来确定所述眼睛的旋转中心。
示例29：根据上述任一示例所述的显示系统，其中所述处理电子设备被配置为通过识别所述眼睛旋转的时间段内的所述光轴或视轴的所述位置的多个确定的相交、会聚或紧邻的区域来确定所述旋转中心。
示例30：根据上述任一示例所述的显示系统，其中所述处理电子设备被配置为基于用户的左眼和右眼的所述光轴的位置和取向的确定来确定所述用户的左眼和右眼正在注视处的所述用户的辐辏(vergence)距离。
示例31：根据上述任一示例所述的显示系统，其中所述处理电子设备被配置为基于所述用户的左眼和右眼的所述视轴的所述位置和取向的确定来确定所述用户的左眼和右眼正在注视处的所述用户的辐辏距离。
示例32：根据上述任一示例所述的显示系统，其中所述处理电子设备被配置为基于识别所述用户的左眼和右眼的所述视轴的相交、会聚或紧邻的区域确定所述用户的左眼和右眼正在注视处的辐辏距离。
示例33：根据上述任一示例所述的显示系统，其中所述处理电子设备被配置为通过将所述用户的左眼和右眼的所述视轴投射到水平平面上，并识别所述左眼和右眼的所述视轴在所述水平平面上的所述投射的相交、会聚或紧邻的区域，来确定所述用户的左眼和右眼正在注视处的辐辏距离。
示例34：根据上述任一示例所述的显示系统，其中所述处理电子设备被配置为基于所述辐辏距离的确定来确定用于投射图像内容的发散和准直中的至少一者的相对量。
示例35：根据上述任一示例所述的显示系统，其中所述处理电子设备包括位于所述框架上的电子设备。
示例36：根据上述任一示例所述的显示系统，其中所述处理电子设备包括位于所述框架上的电子设备和设置在远离所述框架的位置处的电子设备。
示例37：根据上述任一示例所述的显示系统，其中所述处理电子设备包括位于所述框架上的电子设备和位于腰包(belt pack)上的电子设备。
示例38：根据上述任一示例所述的显示系统，其中所述显示器的至少一部分是透明的并且在用户穿戴所述头戴式显示器时设置在所述用户的眼睛前方的位置处，使得所述透明部分将来自所述用户的前方环境的一部分和所述头戴式显示器的光透射到所述用户的眼睛，以提供所述用户的前方环境的所述一部分和所述头戴式显示器的视图。
示例39：根据上述任一示例所述的显示系统，其中所述头戴式显示器以第一发散量从所述用户的前方环境的一部分接收光，并且以与所述第一发散量基本相同的第二发散量将来自所述用户的前方环境的所述一部分的光透射到所述用户的眼睛。
示例40：根据上述任一示例所述的显示系统，其中所述处理电子设备被配置为通过对多个估计的旋转中心位置进行滤波、平均、应用卡尔曼(Kalman)滤波器或执行上述项的任意组合来获得所述旋转中心的所述估计。
示例41：根据上述任一示例所述的显示系统，其中所述处理电子设备被配置为向所述用户的眼睛呈现所述虚拟图像内容，所述虚拟图像内容被渲染为如同由具有位于所述用户的眼睛的所确定的旋转中心位置处的光圈的相机捕获的一样。
示例42：根据上述任一示例所述的显示系统，其中所述处理电子设备被配置为使用位于所述旋转中心处的渲染相机渲染要向所述眼睛呈现的虚拟图像。
示例43：根据上述任一示例所述的显示系统，其中所述处理电子设备被配置为使用渲染相机，所述渲染相机被配置为渲染要向所述眼睛呈现的虚拟图像，所述虚拟图像被渲染为如同由具有比所述眼睛的所述视网膜更靠近所述旋转中心的光圈的相机捕获的一样。
示例44：根据上述任一示例所述的显示系统，其中所述处理电子设备被配置为使用渲染相机，所述渲染相机被配置为渲染要向所述眼睛呈现的虚拟图像，所述虚拟图像被渲染为如同由具有位于所述眼睛的所述旋转中心处的光圈的相机捕获的一样。
示例45：根据上述任一示例所述的显示系统，其中所述处理电子设备被配置为使用位于所述旋转中心处的渲染相机渲染要向所述眼睛呈现的虚拟图像，所述渲染相机被模型化(model)为具有位于所述眼睛的所述旋转中心处的光圈。
示例46：一种显示系统，其被配置为将光投射到用户的眼睛以在所述用户的视场中显示虚拟图像内容，所述眼睛具有角膜、虹膜、瞳孔、晶状体、视网膜，以及延伸穿过所述晶状体、瞳孔和角膜的光轴，所述显示系统包括：
框架，其被配置为支撑在所述用户的头部上；
头戴式显示器，其被设置在所述框架上，所述显示器被配置为将光投射到所述用户的眼睛中，以不同量的发散和准直中的至少一者向所述用户的视场显示虚拟图像内容，由此所显示的虚拟图像内容看起来在不同时间段源自不同深度；
一个或多个眼睛跟踪相机，其被配置为对所述用户的眼睛进行成像；以及
处理电子设备，其与所述显示器和所述一个或多个眼睛跟踪相机通信，所述处理电子设备被配置为基于通过所述一个或多个眼睛跟踪相机获得的所述眼睛的图像而获得所述眼睛的透视中心(center of perspective)的位置估计，所述透视中心被估计为接近所述眼睛的所述瞳孔或者位于所述眼睛的所述角膜和所述瞳孔之间，
其中所述处理电子设备被配置为向所述用户的眼睛呈现所述虚拟图像内容，所述虚拟图像内容由位于所述透视中心处的渲染相机渲染。
示例47：根据上述任一示例所述的显示系统，其中所述处理电子设备被配置为向所述用户的眼睛呈现所述虚拟图像内容，所述虚拟图像内容被渲染为如同由具有比所述视网膜更靠近所述透视中心的光圈的相机捕获的一样。
示例48：根据上述任一示例所述的显示系统，其中所述处理电子设备被配置为向所述用户的眼睛呈现所述虚拟图像内容，所述虚拟图像内容被渲染为如同由具有比所述眼睛的旋转中心更靠近所述透视中心的光圈的相机捕获的一样。
示例49：根据上述任一示例所述的显示系统，其中所述处理电子设备被配置为向所述用户的眼睛呈现所述虚拟图像内容，所述虚拟图像内容被渲染为如同由具有位于所述透视中心处的光圈的相机捕获的一样。
示例50：根据上述任一示例所述的显示系统，其中所述透视中心不位于所述眼睛的所述瞳孔处。
示例51：根据上述任一示例所述的显示系统，其中所述处理电子设备被配置为随着时间的推移获得所述用户的眼睛姿势的估计，并且其中所述处理电子设备至少部分地基于所述用户的眼睛姿势调整所述渲染相机的位置。
示例52：根据上述任一示例所述的显示系统，其中所述处理电子设备被配置为随着时间的推移跟踪所述用户的眼睛姿势，并且其中响应于所述用户的眼睛姿势随着时间的推移的变化调整随着时间的推移所述渲染相机的位置。
示例53：根据上述任一示例所述的显示系统，其中所述处理电子设备被配置为通过对多个估计的透视中心位置进行滤波来获得所述透视中心的估计。
示例54：根据上述任一示例所述的显示系统，其中所述处理电子设备被配置为通过对多个估计的透视中心位置进行平均和/或应用卡尔曼滤波器来获得所述透视中心的估计。
示例55：根据上述任一示例所述的显示系统，其中所述透视中心包括所述用户的眼睛的前房内的位置。
示例56：根据上述任一示例所述的显示系统，其中所述透视中心包括所述用户的眼睛的所述瞳孔前方的位置。
示例57：根据上述任一示例所述的显示系统，其中所述透视中心包括位于所述用户的眼睛的所述瞳孔前方的1.0mm至2.0mm之间的位置。
示例58：根据上述任一示例所述的显示系统，其中所述透视中心包括位于所述用户的眼睛的所述瞳孔前方的约1.0mm的位置。
示例59：根据上述任一示例所述的显示系统，其中所述透视中心包括位于所述用户的眼睛的所述瞳孔前方的0.25mm至1.0mm之间的位置。
示例60：根据上述任一示例所述的显示系统，其中所述透视中心包括位于所述用户的眼睛的所述瞳孔前方的0.5mm至1.0mm之间的位置。
示例61：根据上述任一示例所述的显示系统，其中所述透视中心包括位于所述用户的眼睛的所述瞳孔前方的0.25mm至0.5mm之间的位置。
示例62：根据上述任一示例所述的显示系统，其中所述透视中心沿着所述眼睛的光轴定位，并且其中所述处理电子设备被进一步配置为通过获得所述眼睛的所述光轴的位置估计来获得所述透视中心的位置估计。
示例63：根据上述任一示例所述的显示系统，其中所述透视中心沿着所述眼睛的所述光轴位于所述眼睛的所述角膜的外表面和所述瞳孔之间的位置处，并且其中所述处理电子设备被进一步配置为通过获得所述眼睛的所述光轴的位置估计来获得所述透视中心的位置估计。
示例64：根据上述任一示例所述的显示系统，其中所述透视中心沿着所述眼睛的所述光轴位于所述眼睛的所述角膜的外表面和所述瞳孔之间的位置处，并且其中所述处理电子设备被进一步配置为通过获得所述眼睛的所述光轴的位置估计和所述眼睛的旋转中心、所述眼睛的所述角膜、所述眼睛的所述虹膜、所述眼睛的所述视网膜以及所述眼睛的所述瞳孔或它们的任意组合的位置估计来获得所述透视中心的位置估计。
示例65：根据上述任一示例所述的显示系统，其中所述处理电子设备包括位于所述框架上的电子设备。
示例66：根据上述任一示例所述的显示系统，其中所述处理电子设备包括位于所述框架上的电子设备和被设置在远离所述框架的位置处的电子设备。
示例67：根据上述任一示例所述的显示系统，其中所述处理电子设备包括位于所述框架上的电子设备和位于腰包上的电子设备。
示例68：根据上述任一示例所述的显示系统，其中所述显示器的至少一部分是透明的并且在用户穿戴所述头戴式显示器时被设置在所述用户的眼睛前方的位置，使得所述透明部分将来自所述用户的前方环境的一部分和所述头戴式显示器的光透射到所述用户的眼睛，以提供所述用户的前方环境的所述一部分和所述头戴式显示器的视图。
示例69：根据上述任一示例所述的显示系统，进一步包括一个或多个光源，所述一个或多个光源相对于所述用户的眼睛设置在所述框架上以照射所述用户的眼睛，所述一个或多个眼睛跟踪相机使用来自所述一个或多个光源的所述光捕获所述眼睛的图像。
示例70：根据上述任一示例所述的显示系统，其中所述一个或多个光源包括至少两个光源，所述至少两个光源相对于所述用户的眼睛设置在所述框架上以照射所述用户的眼睛。
示例71：根据上述任一示例所述的显示系统，其中所述一个或多个光源包括至少三个光源，所述至少三个光源相对于所述用户的眼睛设置在所述框架上以照射所述用户的眼睛。
示例72：根据上述任一示例所述的显示系统，其中所述一个或多个光源包括红外光发射器。
示例73：根据上述任一示例所述的显示系统，其中所述一个或多个光源在所述眼睛上形成一个或多个亮斑，并且所述处理电子设备被配置为基于所述一个或多个亮斑确定所述角膜的所述曲率中心的位置。
示例74：根据上述任一示例所述的显示系统，其中所述一个或多个光源在所述眼睛上形成一个或多个亮斑，并且所述处理电子设备被配置为基于所述一个或多个亮斑确定所述角膜的所述曲率中心的三维位置。
示例75：根据上述任一示例所述的显示系统，其中所述一个或多个眼睛跟踪相机被进一步配置为对所述用户的眼睛的所述瞳孔进行成像，并且其中所述处理电子设备被进一步配置为至少基于来自所述一个或多个眼睛跟踪相机的所述瞳孔的图像确定所述眼睛的所述瞳孔的位置。
示例76：根据上述任一示例所述的显示系统，其中所述一个或多个眼睛跟踪相机被进一步配置为对所述用户的眼睛的所述瞳孔进行成像，并且其中所述处理电子设备被进一步配置为至少基于来自所述一个或多个眼睛跟踪相机的所述瞳孔的图像确定所述眼睛的所述瞳孔的三维位置。
示例77：根据上述任一示例所述的显示系统，其中所述一个或多个眼睛跟踪相机被进一步配置为对所述用户的眼睛的所述瞳孔进行成像，并且其中所述处理电子设备被进一步配置为基于所述角膜的所述曲率中心的位置以及基于来自所述一个或多个眼睛跟踪相机的所述瞳孔的图像确定所述眼睛的所述瞳孔的位置。
示例78：根据上述任一示例所述的显示系统，其中所述处理电子设备被配置为基于所述角膜的所述曲率中心的三维位置以及基于所述瞳孔的三维位置确定所述眼睛的所述光轴。
示例79：根据上述任一示例所述的显示系统，其中所述处理电子设备被配置为基于所述光轴确定所述眼睛的视轴。
示例80：根据上述任一示例所述的显示系统，其中所述处理电子设备被配置为基于所述角膜的所述曲率中心和所述瞳孔中的至少一者或者所述角膜的所述曲率中心和所述瞳孔二者的三维位置以及所述光轴确定所述眼睛的所述视轴。
示例81：根据上述任一示例所述的显示系统，其中所述处理电子设备被配置为基于所述角膜的所述曲率中心的三维位置确定所述眼睛的所述旋转中心的三维位置。
示例82：根据上述任一示例所述的显示系统，其中所述处理电子设备被配置为基于所述角膜的所述曲率中心的三维位置以及基于所述光轴确定所述眼睛的所述旋转中心的三维位置。
示例83：根据上述任一示例所述的显示系统，其中所述处理电子设备被配置为至少基于所述眼睛的所述旋转中心的三维位置确定所述眼睛和所述用户的另一只眼睛之间的距离。
示例84：根据上述任一示例所述的显示系统，其中所述处理电子设备被配置为至少基于所述眼睛的所述旋转中心的三维位置确定所述眼睛和所述用户的另一只眼睛之间的瞳距。
示例85：根据上述任一示例所述的显示系统，其中所述处理电子设备被配置为至少基于所述眼睛的所述光轴确定所述用户的所述辐辏距离。
示例86：根据上述任一示例所述的显示系统，其中所述处理电子设备被配置为至少基于所述眼睛的所述光轴以及基于所述用户的另一只眼睛的确定的光轴来确定所述用户的所述辐辏距离。
示例87：根据上述任一示例所述的显示系统，其中所述处理电子设备被配置为至少基于所述眼睛的所述视轴以及基于所述用户的另一只眼睛的确定的视轴来确定所述用户的所述辐辏距离。
示例88：根据上述任一示例所述的显示系统，其中所述显示器被配置为将准直光投射到所述用户的眼睛中。
示例89：根据上述任一示例所述的显示系统，其中所述显示器被配置为在第一时间段将与图像像素对应的准直光投射到所述用户的眼睛中，以及在第二时间段将与所述图像像素对应的发散光投射到所述用户的眼睛中。
示例90：根据上述任一示例所述的显示系统，其中所述显示器被配置为在第一时间段将与图像像素对应的具有第一发散量的光投射到所述用户的眼睛中，以及在第二时间段将与所述图像像素对应的具有大于所述第一发散量的第二发散量的光投射到所述用户的眼睛中。
示例91：一种在显示系统中渲染虚拟图像内容的方法，所述显示系统被配置为将光投射到用户的眼睛以在所述用户的视场中显示所述虚拟图像内容，所述眼睛具有角膜、虹膜、瞳孔、晶状体、视网膜，以及延伸穿过所述晶状体、瞳孔和角膜的光轴，所述方法包括：
通过被配置为对所述用户的所述眼睛进行成像以跟踪所述眼睛的运动的一个或多个眼睛跟踪相机，确定所述眼睛的旋转中心的位置；
通过渲染引擎，利用位于所述眼睛的所述旋转中心处的渲染相机渲染虚拟图像内容，所述渲染相机被配置为渲染要向所述眼睛呈现的虚拟图像；以及
通过头戴式显示器，将光投射到所述用户的眼睛中，以不同的发散量向所述用户的视场显示所渲染的虚拟图像内容，使得所述虚拟图像内容看起来在不同时间段源自不同深度。
示例92：根据上述任一示例所述的方法，其中所述渲染相机被配置为渲染要向所述眼睛呈现的虚拟图像，所述虚拟图像被渲染为如同由具有比所述眼睛的所述视网膜更靠近所述旋转中心的光圈的相机捕获的一样。
示例93：根据上述任一示例所述的方法，其中所述渲染相机被配置为渲染要向所述眼睛呈现的虚拟图像，所述虚拟图像被渲染为如同由具有位于所述旋转中心处的光圈的相机捕获的一样。
示例94：根据上述任一示例所述的方法，其中所述渲染相机被模型化为具有位于所述眼睛的所述旋转中心处的光圈。
示例95：根据上述任一示例所述的方法，其中所述渲染相机被模型化为具有光圈、透镜和检测器。
示例96：根据上述任一示例所述的方法，其中所述渲染相机具有位于沿着(i)所述眼睛的所确定的旋转中心位置和(ii)所述虹膜或瞳孔中的至少一者的所确定的位置之间的线的一位置处的光圈。
示例97：根据上述任一示例所述的方法，进一步包括：
通过所述一个或多个眼睛跟踪相机，确定所述用户的眼睛的透视中心的位置，其中所述用户的眼睛的所述透视中心位于距所述用户的眼睛的所述瞳孔小于约1.0mm的位置处；以及
通过所述渲染引擎，利用所述渲染相机渲染所述虚拟图像内容，
其中所述渲染相机具有位于所述用户的眼睛的所确定的透视中心位置处的光圈。
示例98：根据上述任一示例所述的方法，进一步包括：
通过所述渲染引擎，利用所述渲染相机渲染所述虚拟图像内容，其中所述渲染相机具有位于沿着(i)所述眼睛的所确定的旋转中心位置和(ii)所述用户的眼睛的所确定的透视中心位置之间的线的一位置处的光圈。
示例99：根据上述任一示例所述的方法，进一步包括：
通过与所述一个或多个眼睛跟踪相机通信的处理电子设备，确定所述用户的眼睛的所确定的透视中心位置的随时间变化的度量(measure)；以及
通过所述处理电子设备，如果确定所述随时间变化的度量超过第一阈值，则指示所述渲染引擎利用所述渲染相机渲染所述虚拟内容，其中所述渲染相机具有位于所述眼睛的所确定的旋转中心位置处的光圈。
示例100：根据上述任一示例所述的方法，进一步包括：
通过所述处理电子设备，如果确定所述随时间变化的度量低于第二阈值，则指示所述渲染引擎利用所述渲染相机渲染所述虚拟内容，其中所述渲染相机具有位于所述眼睛的所确定的透视中心位置处的光圈，并且其中与所述第二阈值相比，所述第一阈值指示所述用户的眼睛的所确定的透视中心位置的随时间变化的较高级别。
示例101:根据上述任一示例所述的方法，进一步包括：
通过所述处理电子设备，如果确定所述随时间变化的度量低于第二阈值，则指示所述渲染引擎利用所述渲染相机渲染所述虚拟内容，其中所述渲染相机具有位于所述眼睛的所确定的透视中心位置处的光圈。
示例102：根据上述任一示例所述的方法，进一步包括：
通过所述处理电子设备，如果确定所述随时间变化的度量位于所述第一阈值和所述第二阈值之间，则指示所述渲染引擎利用所述渲染相机渲染所述虚拟内容，其中所述渲染相机具有位于沿着(i)所述眼睛的所确定的旋转中心位置和(ii)所述眼睛的所确定的透视中心位置之间的线的点处的光圈。
示例103：根据上述任一示例所述的方法，进一步包括：
通过所述显示器的至少一部分，所述一部分是透明的并且在所述用户穿戴所述头戴式显示器时设置在所述用户的眼睛前方的位置处，将来自所述用户的前方环境的一部分和所述头戴式显示器的光透射到所述用户的眼睛，以提供所述用户的前方环境的所述一部分和所述头戴式显示器的视图。
示例104：根据上述任一示例所述的方法，进一步包括：
通过所述一个或多个眼睛跟踪相机，确定所述虹膜、瞳孔或晶状体中的至少一者的位置。
示例105：根据上述任一示例所述的方法，进一步包括：
通过所述渲染引擎，利用所述渲染相机渲染所述虚拟图像内容，所述渲染相机被配置为向所述眼睛呈现虚拟图像，所述虚拟图像被渲染为如同由具有位于沿着(i)所述眼睛的所确定的旋转中心位置和(ii)所述虹膜或瞳孔中的至少一者的所确定的位置之间的线的一位置处的光圈的相机捕获的一样。
示例106：根据上述任一示例所述的方法，进一步包括：
通过所述一个或多个眼睛跟踪相机，确定所述用户的眼睛的透视中心的位置，其中所述用户的眼睛的所述透视中心位于距所述用户的眼睛的所述瞳孔小于约1.0mm的位置处；以及
通过所述渲染引擎，利用所述渲染相机渲染所述虚拟图像内容，所述渲染相机被配置为向所述眼睛呈现虚拟图像，所述虚拟图像被渲染为如同由具有位于所述用户的眼睛的所确定的透视中心位置处的光圈的相机捕获的一样。
示例107：根据上述任一示例所述的方法，进一步包括：
通过所述渲染引擎，利用所述渲染相机渲染所述虚拟图像内容，所述渲染相机被配置为向所述眼睛呈现虚拟图像，所述虚拟图像被渲染为如同由具有光圈的相机捕获的一样，所述光圈位于沿着(i)所述眼睛的所确定的旋转中心位置和(ii)所述用户的眼睛的所确定的透视中心位置之间的线的一位置处。
示例108：根据上述任一示例所述的方法，进一步包括：
通过与所述一个或多个眼睛跟踪相机通信的处理电子设备，确定所述用户的眼睛的所确定的透视中心位置的随时间变化的度量；以及
通过所述处理电子设备，如果确定所述随时间变化的度量超过第一阈值，则指示所述渲染引擎利用所述渲染相机渲染所述虚拟内容，如同由具有位于所述眼睛的所确定的旋转中心位置处的光圈的相机捕获的一样。
示例109：根据上述任一示例所述的方法，进一步包括：
通过所述处理电子设备，如果确定所述随时间变化的度量低于第二阈值，则指示所述渲染引擎利用所述渲染相机渲染所述虚拟内容，如同由具有位于所述眼睛的所确定的透视中心位置处的光圈的相机捕获的一样，其中与所述第二阈值相比，所述第一阈值指示所述用户的眼睛的所确定的透视中心位置的随时间变化的较高级别。
示例110：根据上述任一示例所述的方法，进一步包括：
通过所述处理电子设备，如果确定所述随时间变化的度量低于第二阈值，则指示所述渲染引擎利用所述渲染相机渲染所述虚拟内容，如同由具有位于所述眼睛的所确定的透视中心位置处的光圈的相机捕获的一样。
示例111：根据上述任一示例所述的方法，进一步包括：
通过所述处理电子设备，如果确定所述随时间变化的度量位于所述第一阈值和所述第二阈值之间，则指示所述渲染引擎利用所述渲染相机渲染所述虚拟内容，如同由具有位于沿着(i)所述眼睛的所确定的旋转中心位置和(ii)所述眼睛的所确定的透视中心位置之间的线的点处的光圈的相机捕获的一样。
示例112：一种显示系统，其被配置为将光投射到用户的眼睛以在所述用户的视场中显示虚拟图像内容，所述眼睛具有角膜、虹膜、瞳孔、晶状体、视网膜，以及延伸穿过所述晶状体、瞳孔和角膜的光轴，所述显示系统包括：
框架，其被配置为支撑在所述用户的头部上；
头戴式显示器，其被设置在所述框架上，所述显示器被配置为将光投射到所述用户的眼睛中，以不同的发散量向所述用户的视场显示虚拟图像内容，由此所显示的虚拟图像内容看起来在不同时间段源自不同深度，其中所述头戴式显示器被配置为在第一时间段将具有第一发散量的光投射到所述用户的眼睛中，以及被配置为在第二时间段将具有第二发散量的光投射到所述用户的眼睛中，其中所述第一发散量不同于所述第二发散量；
一个或多个眼睛跟踪相机，其被配置为对所述用户的眼睛进行成像；以及
处理电子设备，其与所述显示器和所述一个或多个眼睛跟踪相机通信，所述处理电子设备被配置为基于通过所述一个或多个眼睛跟踪相机获得的所述眼睛的图像而获得所述眼睛的旋转中心的估计，基于通过所述一个或多个眼睛跟踪相机获得的所述眼睛的图像而获得所述用户的辐辏距离的估计，以及基于所述用户的所估计的辐辏距离，从以所述第一发散量将光投射到所述用户的眼睛中变换为以所述第二发散量将光投射到所述用户的眼睛中。
示例113：根据上述任一示例所述的显示系统，其中所述显示器的至少一部分是透明的并且在用户穿戴所述头戴式显示器时设置在所述用户的眼睛前方的位置处，使得所述透明部分将来自所述用户的前方环境的一部分和所述头戴式显示器的光透射到所述用户的眼睛，以提供所述用户的前方环境的所述一部分和所述头戴式显示器的视图。
示例114：根据上述任一示例所述的显示系统，其中所述处理电子设备被进一步配置为，基于利用所述一个或多个眼睛跟踪相机获得的所述眼睛的图像，检测所述眼睛的眨眼(blink)。
示例115：根据上述任一示例所述的显示系统，其中所述处理电子设备被进一步配置为，基于利用所述一个或多个眼睛跟踪相机获得的所述眼睛的图像，检测所述眼睛的扫视。
示例116：根据上述任一示例所述的显示系统，其中所述处理电子设备被配置为，基于所述用户的所确定的辐辏距离以及基于所述处理电子设备是否检测到所述眼睛的眨眼，从以所述第一发散量将光投射到所述用户的眼睛中变换为以所述第二发散量将光投射到所述用户的眼睛中。
示例117：根据上述任一示例所述的显示系统，其中所述处理电子设备被配置为，基于所述用户的所确定的辐辏距离以及基于所述处理电子设备是否检测到所述眼睛的扫视，从以所述第一发散量将光投射到所述用户的眼睛中变换为以所述第二发散量将光投射到所述用户的眼睛中。
示例118：根据上述任一示例所述的显示系统，其中所述处理电子设备被配置为，基于所述用户的所确定的辐辏距离以及基于所述处理电子设备是否检测到所述眼睛的扫视或眨眼中的至少一者，从以所述第一发散量将光投射到所述用户的眼睛中变换为以所述第二发散量将光投射到所述用户的眼睛中。
示例119：根据上述任一示例所述的显示系统，其中所述第一发散量与第一范围内的辐辏距离相关联，并且其中所述第二发散量与第二范围内的辐辏距离相关联。
示例120：根据上述任一示例所述的显示系统，其中所述第一发散量与第一范围内的辐辏距离相关联，其中所述第二发散量与第二范围内的辐辏距离相关联，并且其中所述第一范围和所述第二范围重叠但不相等。
示例121：根据上述任一示例所述的显示系统，其中所述处理电子设备被配置为，在确定所述用户的所述辐辏距离位于所述第一范围之外且位于所述第二范围之内时，从以所述第一发散量将光投射到所述用户的眼睛中变换为以所述第二发散量将光投射到所述用户的眼睛中。
示例122：根据上述任一示例所述的显示系统，其中所述处理电子设备被配置为，在确定所述用户的所述辐辏距离位于所述第二范围之外并且位于所述第一范围之内时，从以所述第一发散量将光投射到所述用户的眼睛中变换为以所述第二发散量将光投射到所述用户的眼睛中。
示例123：根据上述任一示例所述的显示系统，其中所述处理电子设备被配置为，在确定所述用户的所述辐辏距离位于所述第一范围之外且位于所述第二范围之内，并且检测到所述眼睛的眨眼时，从以所述第一发散量将光投射到所述用户的眼睛中变换为以所述第二发散量将光投射到所述用户的眼睛中。
示例124：根据上述任一示例所述的显示系统，其中所述处理电子设备被配置为，在确定所述用户的所述辐辏距离位于所述第一范围之外且位于所述第二范围之内，并且检测到所述眼睛的扫视时，从以所述第一发散量将光投射到所述用户的眼睛中变换为以所述第二发散量将光投射到所述用户的眼睛中。
示例125：根据上述任一示例所述的显示系统，其中所述处理电子设备被配置为，在确定所述用户的所述辐辏距离位于所述第一范围之外且位于所述第二范围之内的时间长于预定时间段时，从以所述第一发散量将光投射到所述用户的眼睛中变换为以所述第二发散量将光投射到所述用户的眼睛中。
示例126：根据上述任一示例所述的显示系统，其中所述处理电子设备被配置为，在确定所述用户的所述辐辏距离位于所述第一范围之外且位于所述第二范围之内的时间长于至少10秒的预定时间段时，从以所述第一发散量将光投射到所述用户的眼睛中变换为以所述第二发散量将光投射到所述用户的眼睛中。
示例127：根据上述任一示例所述的显示系统，其中所述头戴式显示器包括被配置为投射具有所述第一发散量的光的第一显示元件和被配置为投射具有所述第二发散量的光的第二显示元件。
示例128：根据上述任一示例所述的显示系统，其中所述显示器被配置为将光投射到所述用户的眼睛中，以分立显示模式显示虚拟图像内容，在所述分立显示模式下，所述显示器被配置为仅使用所述第一显示元件中的一个投射与多个连续帧相关联的光。
示例129：根据上述任一示例所述的显示系统，其中所述显示器被配置为将光投射到所述用户的眼睛中，以混合显示模式显示虚拟图像内容，在所述混合显示模式下，所述显示器被配置为针对多个连续帧中的每一帧使用所述第一显示元件和所述第二显示元件二者投射与所述多个连续帧相关联的光。
示例130：根据上述任一示例所述的显示系统，其中所述显示器被配置为将光投射到所述用户的眼睛中，以混合显示模式显示虚拟图像内容，在所述混合显示模式下，所述显示器被配置为针对多个连续帧中的每一帧使用所述第一显示元件和所述第二显示元件二者投射与所述多个连续帧相关联的光，并且其中在所述混合显示模式下，所述显示器被配置为使用所述第一显示元件和所述第二显示元件投射光，所述光被用户感知为具有在所述第一发散量和所述第二发散量之间的给定发散量。
示例131：根据上述任一示例所述的显示系统，其中所述显示器被配置为将光投射到所述用户的眼睛中，以多焦点显示模式显示虚拟图像内容，在所述多焦点显示模式下，所述显示器被配置为针对多个连续帧中的每一帧使用所述第一显示元件和所述第二显示元件二者投射与所述多个连续帧相关联的光，其中在所述多焦点显示模式下，所述显示器被配置为以第三发散量投射与第一虚拟图像内容相关联的光，以及以第四发散量投射与第二虚拟图像内容相关联的光，并且其中所述第三发散量不同于所述第四发散量。
示例132：根据上述任一示例所述的显示系统，其中所述第三发散量和所述第四发散量各自在所述第一发散量和所述第二发散量之间。
示例133：根据上述任一示例所述的显示系统，其中所述第三发散量和所述第四发散量中的至少一者在所述第一发散量和所述第二发散量之间。
示例134：根据上述任一示例所述的显示系统，其中所述第三发散量和所述第四发散量分别等于所述第一发散量和所述第二发散量。
示例135：根据上述任一示例所述的显示系统，其中所述显示器被配置为，在所述用户的视场的第一区域中投射与所述第一虚拟图像相关联的光，以及在所述用户的视场的第二区域中投射与所述第二虚拟图像相关联的光，并且其中所述第一区域和所述第二区域不同。
示例136：根据上述任一示例所述的显示系统，其中所述显示器被配置为，在所述用户的视场的第一区域中投射与所述第一虚拟图像相关联的光，以及在所述用户的视场的第二区域中投射与所述第二虚拟图像相关联的光，并且其中所述第一区域和所述第二区域不重叠。
示例137：一种显示系统，其被配置为将光投射到用户的左眼和右眼以在所述用户的视场中显示虚拟图像内容，所述眼睛中的每一只具有角膜、虹膜、瞳孔、晶状体、视网膜，以及延伸穿过所述晶状体、瞳孔和角膜的光轴，所述显示系统包括：
框架，其被配置为支撑在所述用户的头部上；
头戴式显示器，其被设置在所述框架上，所述显示器被配置为将光投射到所述用户的左眼和右眼中，以不同量的发散和准直中的至少一者向所述用户的视场显示虚拟图像内容，由此所显示的虚拟图像内容看起来在不同时间段源自相对于所述用户的左眼和右眼的不同距离；
第一眼睛跟踪相机，其被配置为对所述用户的左眼进行成像；
第二眼睛跟踪相机，其被配置为对所述用户的右眼进行成像；以及
处理电子设备，其与所述显示器以及所述第一眼睛跟踪相机和所述第二眼睛跟踪相机通信，所述处理电子设备被配置为基于通过所述第一眼睛跟踪相机和所述第二眼睛跟踪相机获得的所述左眼和所述右眼的图像获得所述用户的左眼和右眼之间的瞳距的估计。
示例138：根据上述任一示例所述的显示系统，进一步包括一个或多个光源，所述一个或多个光源相对于所述用户的眼睛设置在所述框架上以照射所述用户的眼睛，所述一个或多个眼睛跟踪相机使用来自所述一个或多个光源的所述光形成所述眼睛的图像。
示例139：根据上述任一示例所述的显示系统，其中所述一个或多个光源包括至少两个光源，所述至少两个光源相对于所述用户的眼睛设置在所述框架上以照射所述用户的眼睛。
示例140：根据上述任一示例所述的显示系统，其中所述一个或多个光源包括红外光发射器。
示例141：根据上述任一示例所述的显示系统，其中所述一个或多个光源在所述眼睛上形成一个或多个亮斑，并且所述处理电子设备被配置为基于所述一个或多个亮斑确定所述角膜的位置。
示例142：根据上述任一示例所述的显示系统，其中所述角膜具有与其相关联的角膜球，所述角膜球具有曲率中心，并且所述电子处理设备被配置为确定所述角膜球的所述曲率中心的位置。
示例143：根据上述任一示例所述的显示系统，其中所述角膜具有与其相关联的角膜球，所述角膜球具有曲率中心，并且所述处理电子设备被配置为基于所述一个或多个亮斑确定所述角膜球的所述曲率中心的位置。
示例144：根据上述任一示例所述的显示系统，其中所述一个或多个眼睛跟踪相机被配置为对所述眼睛的所述瞳孔进行成像。
示例145：根据上述任一示例所述的显示系统，其中所述处理电子设备被配置为确定所述瞳孔的所述中心的位置。
示例146：根据上述任一示例所述的显示系统，其中所述处理电子设备被配置为确定所述虹膜和所述瞳孔之间的边界的至少一部分。
示例147：根据上述任一示例所述的显示系统，其中所述处理电子设备被配置为确定所述虹膜和所述瞳孔之间的所述边界的中心。
示例148：根据上述任一示例所述的显示系统，其中所述处理电子设备被配置为确定所述瞳孔的所述中心在三维空间中相对于所述角膜的曲率中心的位置。
示例149：根据上述任一示例所述的显示系统，其中所述处理电子设备被配置为确定所述光轴的位置和取向。
示例150：根据上述任一示例所述的显示系统，其中所述处理电子设备被配置为基于所述瞳孔的所述中心在三维空间中的位置确定所述光轴的位置和取向。
示例151：根据上述任一示例所述的显示系统，其中所述处理电子设备被配置为基于所述瞳孔的所述中心在三维空间中相对于所述角膜的曲率中心的位置确定所述光轴的所述位置和取向。
示例152：根据上述任一示例所述的显示系统，其中所述处理电子设备被配置为基于所述角膜的曲率中心确定所述眼睛的所述旋转中心的位置。
示例153：根据上述任一示例所述的显示系统，其中所述处理电子设备被配置为基于所述角膜的曲率中心以及所述光轴的位置和取向确定所述眼睛的所述旋转中心的位置。
示例154：根据上述任一示例所述的显示系统，其中所述处理电子设备被配置为通过沿着所述光轴从所述角膜的所述曲率中心平移特定距离来确定所述眼睛的所述旋转中心的位置。
示例155：一种在显示系统中渲染虚拟图像内容的方法，所述显示系统被配置为将光投射到用户的左眼和右眼以在所述用户的视场中显示所述虚拟图像内容，所述眼睛中的每一只具有角膜、虹膜、瞳孔、晶状体、视网膜，以及延伸穿过所述晶状体、瞳孔和角膜的光轴，所述方法包括：
通过被配置为对所述用户的所述眼睛进行成像以跟踪所述眼睛的运动的一个或多个眼睛跟踪相机，确定所述左眼的旋转中心的位置和所述右眼的旋转中心的位置；
通过与所述一个或多个眼睛跟踪相机通信的处理电子设备，基于所确定的所述左眼和所述右眼的所述旋转中心的位置估计所述用户的瞳距；
通过所述一个或多个眼睛跟踪相机，确定当前的左眼姿势和当前的右眼姿势；以及
通过所述处理电子设备，通过比较所估计的瞳距和所确定的当前的左眼姿势和所确定的当前的右眼姿势来估计所述用户的当前的辐辏距离。
示例156：根据上述任一示例所述的方法，其中确定所述当前的左眼姿势和所述当前的右眼姿势包括：通过所述一个或多个眼睛跟踪相机，估计所述用户的左眼的所述瞳孔的位置和所述用户的右眼的所述瞳孔的位置。
示例157：根据上述任一示例所述的方法，其中确定所述当前的左眼姿势和所述当前的右眼姿势包括：通过所述一个或多个眼睛跟踪相机，估计所述用户的左眼的所述角膜的位置和所述用户的右眼的所述角膜的位置。
示例158：根据上述任一示例所述的方法，其中确定所述当前的左眼姿势和所述当前的右眼姿势包括：通过所述一个或多个眼睛跟踪相机，估计所述用户的左眼的所述虹膜的位置和所述用户的右眼的所述虹膜的位置。
示例159：根据上述任一示例所述的方法，其中确定所述当前的左眼姿势和所述当前的右眼姿势包括：通过所述一个或多个眼睛跟踪相机，估计所述用户的左眼的所述晶状体的位置和所述用户的右眼的所述晶状体的位置。
示例160：根据上述任一示例所述的方法，其中估计所述用户的当前的辐辏距离包括：
通过处理电子设备，估计所述用户的左眼和右眼的所述虹膜的所述位置之间的距离；以及
通过所述处理电子设备，基于所估计的瞳距和所述用户的左眼和右眼的所述虹膜的所述位置之间的所估计的距离的比较，估计所述用户的当前的辐辏距离。
示例161：根据上述任一示例所述的方法，进一步包括：通过头戴式显示器，将光投射到所述用户的眼睛中，以不同的发散量向所述用户的视场显示所渲染的虚拟图像内容，使得所述虚拟图像内容看起来在不同时间段源自不同深度。
示例162：根据上述任一示例所述的方法，进一步包括：通过所述显示器的至少一部分，所述一部分是透明的并且在所述用户穿戴所述头戴式显示器时设置在所述用户的眼睛前方的位置处，将来自所述用户的前方环境的一部分和所述头戴式显示器的光透射到所述用户的眼睛，以提供所述用户的前方环境的所述一部分和所述头戴式显示器的视图。
示例163：一种显示系统，其被配置为将光投射到用户的眼睛以在所述用户的视场中显示虚拟图像内容，所述眼睛具有角膜、虹膜、瞳孔、晶状体、视网膜，以及延伸穿过所述晶状体、瞳孔和角膜的光轴，所述显示系统包括：
框架，其被配置为支撑在所述用户的头部上；
头戴式显示器，其被设置在所述框架上，所述显示器被配置为将光投射到所述用户的眼睛中，以不同量的发散和准直中的至少一者向所述用户的视场显示虚拟图像内容，由此所显示的虚拟图像内容看起来在不同时间段源自不同深度；
一个或多个眼睛跟踪相机，其被配置为对所述用户的眼睛进行成像；以及
处理电子设备，其与所述显示器和所述一个或多个眼睛跟踪相机通信，所述处理电子设备被配置为，基于通过所述一个或多个眼睛跟踪相机获得的所述眼睛的图像而获得所述眼睛的旋转中心的位置估计，以及基于所述图像获得所述眼睛的所述光轴的方向估计，
其中所述处理电子设备被配置为向所述用户的眼睛呈现所述虚拟图像内容，所述虚拟图像内容被渲染为如同由具有光圈的相机捕获的一样，所述光圈沿着所述光轴设置并且在远离所述视网膜的方向上与所述眼睛的所述旋转中心的所估计的位置间隔6.0mm至13.0mm。
示例164：根据上述任一示例所述的显示系统，其中所述处理电子设备被配置为向所述用户的眼睛呈现所述虚拟图像内容，所述虚拟图像内容被渲染为如同由具有光圈的相机捕获的一样，所述光圈沿着所述光轴设置并且在远离所述视网膜的方向上与所述眼睛的所述旋转中心的所估计的位置间隔7.0mm至12.0mm。
示例165：根据上述任一示例所述的显示系统，其中所述处理电子设备被配置为向所述用户的眼睛呈现所述虚拟图像内容，所述虚拟图像内容被渲染为如同由具有光圈的相机捕获的一样，所述光圈沿着所述光轴设置并且在远离所述视网膜的方向上与所述眼睛的所述旋转中心的所估计的位置间隔8.0mm至11.0mm。
示例166：根据上述任一示例所述的显示系统，其中所述处理电子设备被配置为向所述用户的眼睛呈现所述虚拟图像内容，所述虚拟图像内容被渲染为如同由由具有光圈的相机捕获的一样，所述光圈沿着所述光轴设置并且在远离所述视网膜的方向上与所述眼睛的所述旋转中心的所估计的位置间隔9.0mm至10.0mm。
示例167：根据上述任一示例所述的显示系统，其中所述处理电子设备被配置为向所述用户的眼睛呈现所述虚拟图像内容，所述虚拟图像内容被渲染为如同由具有光圈的相机捕获的一样，所述光圈沿着所述光轴设置并且在远离所述视网膜的方向上与所述眼睛的所述旋转中心的所估计的位置间隔9.5mm至10.0mm。
示例168：根据上述任一示例所述的显示系统，其中所述处理电子设备被配置为向所述用户的眼睛呈现所述虚拟图像内容，所述虚拟图像内容被渲染为如同由具有光圈的相机捕获的一样，所述光圈沿着所述光轴设置并且与所述眼睛的所述旋转中心的所估计的位置间隔约9.7mm。
示例169：根据上述任一示例所述的显示系统，其中所述处理电子设备包括位于所述框架上的电子设备。
示例170：根据上述任一示例所述的显示系统，其中所述处理电子设备包括位于所述框架上的电子设备和被设置在远离所述框架的位置处的电子设备。
示例171：根据上述任一示例所述的显示系统，其中所述处理电子设备包括位于所述框架上的电子设备和位于腰包上的电子设备。
示例172：根据上述任一示例所述的显示系统，其中所述显示器的至少一部分是透明的并且在用户穿戴所述头戴式显示器时设置在所述用户的眼睛前方的位置处，使得所述透明部分将来自所述用户的前方环境的一部分和所述头戴式显示器的光透射到所述用户的眼睛，以提供所述用户的前方环境的所述一部分和所述头戴式显示器的视图。
示例173：根据上述任一示例所述的显示系统，进一步包括一个或多个光源，所述一个或多个光源相对于所述用户的眼睛设置在所述框架上以照射所述用户的眼睛，所述一个或多个眼睛跟踪相机使用来自所述一个或多个光源的所述光捕获所述眼睛的图像。
示例174：根据上述任一示例所述的显示系统，其中所述一个或多个光源包括至少两个光源，所述至少两个光源相对于所述用户的眼睛设置在所述框架上以照射所述用户的眼睛。
示例175：根据上述任一示例所述的显示系统，其中所述一个或多个光源包括至少三个光源，所述至少三个光源相对于所述用户的眼睛设置在所述框架上以照射所述用户的眼睛。
示例176：根据上述任一示例所述的显示系统，其中所述一个或多个光源包括红外光发射器。
示例177：一种显示系统，其被配置为将光投射到用户的眼睛以在所述用户的视场中显示虚拟图像内容，所述眼睛具有角膜、虹膜、瞳孔、晶状体、视网膜，以及延伸穿过所述晶状体、瞳孔和角膜的光轴，所述显示系统包括：
框架，其被配置为支撑在所述用户的头部上；
头戴式显示器，其被设置在所述框架上，所述显示器被配置为将光投射到所述用户的眼睛中，以不同量的发散和准直中的至少一者向所述用户的视场显示虚拟图像内容，由此所显示的虚拟图像内容看起来在不同时间段源自不同深度；
一个或多个眼睛跟踪相机，其被配置为对所述用户的眼睛进行成像；以及
处理电子设备，其与所述显示器和所述一个或多个眼睛跟踪相机通信，
其中所述处理电子设备被配置为向所述用户的眼睛呈现所述虚拟图像内容，所述虚拟图像内容由位于所述眼睛的所述瞳孔处或位于所述眼睛的所述瞳孔和所述角膜之间的渲染相机渲染。
示例178：根据上述任一示例所述的显示系统，其中所述渲染相机位于所述用户的眼睛的所述瞳孔前方的1.0mm至2.0mm之间的位置处。
示例179：根据上述任一示例所述的显示系统，其中所述渲染相机位于所述用户的眼睛的所述瞳孔前方的约1.0mm的位置处。
示例180：根据上述任一示例所述的显示系统，其中所述渲染相机位于所述用户的眼睛的所述瞳孔前方的0.25mm至1.0mm之间的位置处。
示例181：根据上述任一示例所述的显示系统，其中所述渲染相机位于所述用户的眼睛的所述瞳孔前方的0.5mm至1.0mm之间的位置处。
示例182：根据上述任一示例所述的显示系统，其中所述渲染相机位于所述用户的眼睛的所述瞳孔前方的0.25mm至0.5mm之间的位置处。
示例183：根据上述任一示例所述的显示系统，其中所述渲染相机位于所述眼睛的所述瞳孔处。
示例184：根据上述任一示例所述的显示系统，其中所述渲染相机不位于所述眼睛的所述瞳孔处。
示例185：根据上述任一示例所述的显示系统，其中所述渲染相机包括针孔相机。
示例186：根据上述任一示例所述的显示系统，其中所述光圈包括针孔相机的针孔。
示例187：一种在显示系统中渲染虚拟图像内容的方法，所述显示系统被配置为将光投射到用户的眼睛以在所述用户的视场中显示所述虚拟图像内容，所述眼睛具有角膜、虹膜、瞳孔、晶状体、视网膜，以及延伸穿过所述晶状体、瞳孔和角膜的光轴，所述方法包括：
通过被配置为对所述用户的所述眼睛进行成像的一个或多个眼睛相机，基于利用所述一个或多个相机实现的所述眼睛的所述成像确定位置；
通过渲染引擎，利用位于基于所确定的位置的一位置处的渲染相机渲染虚拟图像内容，所述渲染相机被配置为渲染要向所述眼睛呈现的虚拟图像；以及
通过头戴式显示器，将光投射到所述用户的眼睛中，以向所述用户的视场显示所渲染的虚拟图像内容。
示例188：根据上述任一示例所述的方法，其中所述位置是所述眼睛的旋转中心。
示例189：根据上述任一示例所述的方法，其中所述渲染相机的所述位置位于所述眼睛的所述旋转中心处。
示例190：根据上述任一示例所述的方法，其中所述位置是所述眼睛的透视中心。
示例191：根据上述任一示例所述的方法，其中所述渲染相机的所述位置位于所述眼睛的所述透视中心处。
示例192：根据上述任一示例所述的方法，其中所述渲染相机被配置为渲染要向所述眼睛呈现的虚拟图像，所述虚拟图像被渲染为如同由具有比所述眼睛的所述视网膜更靠近所述旋转中心的光圈的相机捕获的一样。
示例193：根据上述任一示例所述的方法，其中所述渲染相机被配置为渲染要向所述眼睛呈现的虚拟图像，所述虚拟图像被渲染为如同由具有位于所述旋转中心处的光圈的相机捕获的一样。
示例194：根据上述任一示例所述的方法，其中所述渲染相机被模型化为具有位于所述眼睛的所述旋转中心处的光圈。
示例195：根据上述任一示例所述的方法，其中所述渲染相机被模型化为具有光圈、透镜和检测器。
示例196：根据上述任一示例所述的方法，其中所述渲染相机具有位于沿着(i)所述眼睛的所确定的旋转中心位置和(ii)所述虹膜或瞳孔中的至少一者的所确定的位置之间的线的一位置处的光圈。
示例197：根据上述任一示例所述的方法，进一步包括：
通过所述一个或多个相机，确定所述用户的眼睛的透视中心的位置，其中所述用户的眼睛的所述透视中心位于距所述用户的眼睛的所述瞳孔小于约1.0mm的位置处；以及
通过所述渲染引擎，利用所述渲染相机渲染所述虚拟图像内容，
其中所述渲染相机具有位于所述用户的眼睛的所确定的透视中心位置处的光圈。
示例198：根据上述任一示例所述的方法，进一步包括：
通过所述渲染引擎，利用所述渲染相机渲染所述虚拟图像内容，其中所述渲染相机具有位于沿着(i)所述眼睛的所确定的旋转中心位置和(ii)所述用户的眼睛的所确定的透视中心位置之间的线的一位置处的光圈。
示例199：根据上述任一示例所述的方法，进一步包括：
通过与所述一个或多个相机通信的处理电子设备，确定所述用户的眼睛的所确定的透视中心位置的随时间变化的度量；以及
通过所述处理电子设备，如果确定所述随时间变化的度量超过第一阈值，则指示所述渲染引擎利用所述渲染相机渲染所述虚拟内容，其中所述渲染相机具有位于所述眼睛的所确定的旋转中心位置处的光圈。
示例200：根据上述任一示例所述的方法，进一步包括：
通过所述处理电子设备，如果确定所述随时间变化的度量低于第二阈值，则指示所述渲染引擎利用所述渲染相机渲染所述虚拟内容，其中所述渲染相机具有位于所述眼睛的所确定的透视中心位置处的光圈，并且其中与所述第二阈值相比，所述第一阈值指示所述用户的眼睛的所确定的透视中心位置的随时间变化的较高级别。
示例201:根据上述任一示例所述的方法，进一步包括：
通过所述处理电子设备，如果确定所述随时间变化的度量低于第二阈值，则指示所述渲染引擎利用所述渲染相机渲染所述虚拟内容，其中所述渲染相机具有位于所述眼睛的所确定的透视中心位置处的光圈。
示例202：根据上述任一示例所述的方法，进一步包括：
通过所述处理电子设备，如果确定所述随时间变化的度量位于所述第一阈值和所述第二阈值之间，则指示所述渲染引擎利用所述渲染相机渲染所述虚拟内容，其中所述渲染相机具有位于沿着(i)所述眼睛的所确定的旋转中心位置和(ii)所述眼睛的所确定的透视中心位置之间的线的点处的光圈。
示例203：根据上述任一示例所述的方法，进一步包括：
通过所述显示器的至少一部分，所述一部分是透明的并且在所述用户穿戴所述头戴式显示器时设置在所述用户的眼睛前方的位置，将来自所述用户的前方环境的一部分和所述头戴式显示器的光透射到所述用户的眼睛，以提供所述用户的前方环境的所述一部分和所述头戴式显示器的视图。
示例204：根据上述任一示例所述的方法，进一步包括：
通过所述一个或多个相机，确定所述虹膜、瞳孔或晶状体中的至少一者的位置。
示例205：根据上述任一示例所述的方法，进一步包括：
通过所述渲染引擎，利用所述渲染相机渲染所述虚拟图像内容，所述渲染相机被配置为向所述眼睛呈现虚拟图像，所述虚拟图像被渲染为如同由具有光圈的相机捕获的一样，所述光圈位于沿着(i)所述眼睛的所确定的旋转中心位置和(ii)所述虹膜或瞳孔中的至少一者的所确定的位置之间的线的一位置处。
示例206：根据上述任一示例所述的方法，进一步包括：
通过所述一个或多个相机，确定所述用户的眼睛的透视中心的位置，其中所述用户的眼睛的所述透视中心位于距所述用户的眼睛的所述瞳孔小于约1.0mm的位置处；以及
通过所述渲染引擎，利用所述渲染相机渲染所述虚拟图像内容，所述渲染相机被配置为向所述眼睛呈现虚拟图像，所述虚拟图像被渲染为如同由具有位于所述用户的眼睛的所确定的透视中心位置处的光圈的相机捕获的一样。
示例207：根据上述任一示例所述的方法，进一步包括：
通过所述渲染引擎，利用所述渲染相机渲染所述虚拟图像内容，所述渲染相机被配置为向所述眼睛呈现虚拟图像，所述虚拟图像被渲染为如同由具有光圈的相机捕获的一样，所述光圈位于沿着(i)所述眼睛的所确定的旋转中心位置和(ii)所述用户的眼睛的所确定的透视中心位置之间的线的一位置处。
示例208：根据上述任一示例所述的方法，其中通过所述头戴式显示器，将光投射到所述用户的眼睛中以向所述用户的视场显示所渲染的虚拟图像内容包括：将光投射到所述用户的眼睛中，以不同的发散量向所述用户的视场显示所渲染的虚拟图像内容，使得所述虚拟图像内容看起来在不同时间段源自不同深度。
示例209：根据上述任一示例所述的方法，其中所述不同的发散量包括零发散。
示例210：根据上述任一示例所述的方法，其中所述不同的发散量包括准直。
示例211：一种显示系统，其被配置为将光投射到用户的眼睛以在所述用户的视场中显示虚拟图像内容，所述眼睛具有角膜、虹膜、瞳孔、晶状体、视网膜，以及延伸穿过所述晶状体、瞳孔和角膜的光轴，所述显示系统包括：
框架，其被配置为支撑在所述用户的头部上；
头戴式显示器，其被设置在所述框架上，所述显示器被配置为将光投射到所述用户的眼睛中以向所述用户的视场显示虚拟图像内容；
一个或多个相机，其被配置为对所述用户的眼睛进行成像；以及
处理电子设备，其与所述显示器和所述一个或多个相机通信，所述处理电子设备被配置为基于通过所述一个或多个相机获得的所述眼睛的图像而获得所述眼睛的位置，
其中所述处理电子设备被配置为向所述用户的眼睛呈现所述虚拟图像内容，所述虚拟图像内容由基于所确定的位置的位置处的渲染相机渲染。
示例212：根据上述任一示例所述的显示系统，其中所述位置是所述眼睛的旋转中心的估计。
示例213：根据上述任一示例所述的显示系统，其中所述渲染相机的位置位于所述眼睛的所估计的旋转中心处。
示例214：根据上述任一示例所述的显示系统，其中所述位置是所述眼睛的透视中心的估计。
示例215：根据上述任一示例所述的显示系统，其中所述渲染相机的位置位于所述眼睛的所估计的透视中心处。
示例216：根据上述任一示例所述的显示系统，其中所述处理电子设备被配置为向所述用户的眼睛呈现所述虚拟图像内容，所述虚拟图像内容被渲染为如同由具有比所述视网膜更靠近所述透视中心的光圈的相机捕获的一样。
示例217：根据上述任一示例所述的显示系统，其中所述处理电子设备被配置为向所述用户的眼睛呈现所述虚拟图像内容，所述虚拟图像内容被渲染为如同由具有比所述视网膜更靠近所述旋转中心的光圈的相机捕获的一样。
示例218：根据上述任一示例所述的显示系统，其中所述处理电子设备被配置为向所述用户的眼睛呈现所述虚拟图像内容，所述虚拟图像内容被渲染为如同由具有位于所述旋转中心处的光圈的相机捕获的一样。
示例219：根据上述任一示例所述的显示系统，其中所述处理电子设备被配置为向所述用户的眼睛呈现所述虚拟图像内容，所述虚拟图像内容被渲染为如同由具有比所述透视中心更靠近所述旋转中心的光圈的相机捕获的一样。
示例220：根据上述任一示例所述的显示系统，其中所述处理电子设备被配置为向所述用户的眼睛呈现所述虚拟图像内容，所述虚拟图像内容被渲染为如同由具有比所述视网膜更靠近所述透视中心的光圈的相机捕获的一样。
示例221：根据上述任一示例所述的显示系统，其中所述处理电子设备被配置为向所述用户的眼睛呈现所述虚拟图像内容，所述虚拟图像内容被渲染为如同由具有比所述眼睛的旋转中心更靠近所述透视中心的光圈的相机捕获的一样。
示例222：根据上述任一示例所述的显示系统，其中所述处理电子设备被配置为向所述用户的眼睛呈现所述虚拟图像内容，所述虚拟图像内容被渲染为如同由具有位于所述透视中心处的光圈的相机捕获的一样。
示例223：根据上述任一示例所述的显示系统，其中所述透视中心不位于所述眼睛的所述瞳孔处。
示例224：根据上述任一示例所述的显示系统，其中所述处理电子设备被配置为随着时间的推移获得所述用户的眼睛姿势的估计，并且其中所述处理电子设备至少部分地基于所述用户的眼睛姿势调整所述渲染相机的位置。
示例225：根据上述任一示例所述的显示系统，其中所述处理电子设备被配置为随着时间的推移跟踪所述用户的眼睛姿势，并且其中响应于随着时间的推移所述用户的眼睛姿势的变化而调整所述渲染相机的位置。
示例226：根据上述任一示例所述的显示系统，其中所述处理电子设备被配置为通过对多个估计的透视中心位置进行滤波而获得所述透视中心的估计。
示例227：根据上述任一示例所述的显示系统，其中所述处理电子设备被配置为通过对多个估计的透视中心位置进行平均和/或应用卡尔曼滤波器而获得所述透视中心的估计。
示例228：根据上述任一示例所述的显示系统，其中所述透视中心包括所述用户的眼睛的前房内的位置。
示例229：根据上述任一示例所述的显示系统，其中所述透视中心包括所述用户的眼睛的所述瞳孔前方的位置。
示例230：根据上述任一示例所述的显示系统，其中所述透视中心包括位于所述用户的眼睛的所述瞳孔前方的1.0mm至2.0mm之间的位置。
示例231：根据上述任一示例所述的显示系统，其中所述透视中心包括位于所述用户的眼睛的所述瞳孔前方的约1.0mm的位置。
示例232：根据上述任一示例所述的显示系统，其中所述透视中心包括位于所述用户的眼睛的所述瞳孔前方的0.25mm至1.0mm之间的位置。
示例233：根据上述任一示例所述的显示系统，其中所述透视中心包括位于所述用户的眼睛的所述瞳孔前方的0.5mm至1.0mm之间的位置。
示例234：根据上述任一示例所述的显示系统，其中所述透视中心包括位于所述用户的眼睛的所述瞳孔前方的0.25mm至0.5mm之间的位置。
示例235：根据上述任一示例所述的显示系统，其中所述透视中心沿着所述眼睛的光轴定位，并且其中所述处理电子设备被进一步配置为通过获得所述眼睛的所述光轴的位置估计来获得所述透视中心的位置估计。
示例236：根据上述任一示例所述的显示系统，其中所述透视中心沿着所述眼睛的所述光轴位于所述角膜的外表面和所述眼睛的所述瞳孔之间的位置处，并且其中所述处理电子设备被进一步配置为，通过获得所述眼睛的所述光轴的位置估计来获得所述透视中心的位置估计。
示例237：根据上述任一示例所述的显示系统，其中所述透视中心沿着所述眼睛的所述光轴位于所述角膜的外表面和所述眼睛的所述瞳孔之间的位置处，并且其中所述处理电子设备被进一步配置为，通过获得所述眼睛的所述光轴的位置估计和所述眼睛的旋转中心、所述眼睛的所述角膜、所述眼睛的所述虹膜、所述眼睛的所述视网膜，以及所述眼睛的所述瞳孔或它们的任何组合的位置估计来获得所述透视中心的位置估计。
示例238：根据上述任一示例所述的显示系统，其中所述处理电子设备包括位于所述框架上的电子设备。
示例239：根据上述任一示例所述的显示系统，其中所述处理电子设备包括位于所述框架上的电子设备和被设置在远离所述框架的位置处的电子设备。
示例240：根据上述任一示例所述的显示系统，其中所述处理电子设备包括位于所述框架上的电子设备和位于腰包上的电子设备。
示例241：根据上述任一示例所述的显示系统，其中所述显示器的至少一部分是透明的并且在用户穿戴所述头戴式显示器时设置在所述用户的眼睛前方的一位置处，使得所述透明部分将来自所述用户的前方环境的一部分和所述头戴式显示器的光透射到所述用户的眼睛，以提供所述用户的前方环境的所述一部分和所述头戴式显示器的视图。
示例242：根据上述任一示例所述的显示系统，进一步包括一个或多个光源，所述一个或多个光源相对于所述用户的眼睛设置在所述框架上以照射所述用户的眼睛，所述一个或多个相机使用来自所述一个或多个光源的所述光捕获所述眼睛的图像。
示例243：根据上述任一示例所述的显示系统，其中所述一个或多个光源包括至少两个光源，所述至少两个光源相对于所述用户的眼睛设置在所述框架上以照射所述用户的眼睛。
示例244：根据上述任一示例所述的显示系统，其中所述一个或多个光源包括至少三个光源，所述至少三个光源相对于所述用户的眼睛设置在所述框架上以照射所述用户的眼睛。
示例245：根据上述任一示例所述的显示系统，其中所述一个或多个光源包括红外光发射器。
示例246：根据上述任一示例所述的显示系统，其中所述一个或多个光源在所述眼睛上形成一个或多个亮斑，并且所述处理电子设备被配置为基于所述一个或多个亮斑确定所述角膜的所述曲率中心的位置。
示例247：根据上述任一示例所述的显示系统，其中所述一个或多个光源在所述眼睛上形成一个或多个亮斑，并且所述处理电子设备被配置为基于所述一个或多个亮斑确定所述角膜的所述曲率中心的三维位置。
示例248：根据上述任一示例所述的显示系统，其中所述一个或多个相机被进一步配置为对所述用户的眼睛的所述瞳孔进行成像，并且其中所述处理电子设备被进一步配置为至少基于来自所述一个或多个相机的所述瞳孔的图像确定所述眼睛的所述瞳孔的位置。
示例249：根据上述任一示例所述的显示系统，其中所述一个或多个相机被进一步配置为对所述用户的眼睛的所述瞳孔进行成像，并且其中所述处理电子设备被进一步配置为至少基于来自所述一个或多个相机的所述瞳孔的图像确定所述眼睛的所述瞳孔的三维位置。
示例250：根据上述任一示例所述的显示系统，其中所述一个或多个相机被进一步配置为对所述用户的眼睛的所述瞳孔进行成像，并且其中所述处理电子设备被进一步配置为基于所述角膜的所述曲率中心的位置以及基于来自所述一个或多个相机的所述瞳孔的图像确定所述眼睛的所述瞳孔的位置。
示例251：根据上述任一示例所述的显示系统，其中所述处理电子设备被配置为基于所述角膜的所述曲率中心的所述三维位置以及基于所述瞳孔的所述三维位置确定所述眼睛的所述光轴。
示例252：根据上述任一示例所述的显示系统，其中所述处理电子设备被配置为基于所述光轴确定所述眼睛的视轴。
示例253：根据上述任一示例所述的显示系统，其中所述处理电子设备被配置为基于所述角膜的所述曲率中心和所述瞳孔中的至少一者或者所述角膜的所述曲率中心和所述瞳孔二者的三维位置以及所述光轴确定所述眼睛的所述视轴。
示例254：根据上述任一示例所述的显示系统，其中所述处理电子设备被配置为基于所述角膜的所述曲率中心的所述三维位置确定所述眼睛的所述旋转中心的三维位置。
示例255：根据上述任一示例所述的显示系统，其中所述处理电子设备被配置为基于所述角膜的所述曲率中心的所述三维位置以及基于所述光轴确定所述眼睛的所述旋转中心的三维位置。
示例256：根据上述任一示例所述的显示系统，其中所述处理电子设备被配置为至少基于所述眼睛的所述旋转中心的所述三维位置确定所述眼睛和所述用户的另一只眼睛之间的距离。
示例257：根据上述任一示例所述的显示系统，其中所述处理电子设备被配置为至少基于所述眼睛的所述旋转中心的所述三维位置确定所述眼睛和所述用户的另一只眼睛之间的瞳距。
示例258：根据上述任一示例所述的显示系统，其中所述处理电子设备被配置为至少基于所述眼睛的所述光轴确定所述用户的辐辏距离。
示例259：根据上述任一示例所述的显示系统，其中所述处理电子设备被配置为至少基于所述眼睛的所述光轴以及所述用户的另一只眼睛的所确定的光轴而确定所述用户的所述辐辏距离。
示例260：根据上述任一示例所述的显示系统，其中所述处理电子设备被配置为至少基于所述眼睛的所述视轴以及所述用户的另一只眼睛的所确定的视轴而确定所述用户的所述辐辏距离。
示例261：根据上述任一示例所述的显示系统，其中所述显示器被配置为将准直光投射到所述用户的眼睛中。
示例262：根据上述任一示例所述的显示系统，其中所述显示器被配置为在第一时间段将与图像像素对应的准直光投射到所述用户的眼睛中，以及在第二时间段将与所述图像像素对应的发散光投射到所述用户的眼睛中。
示例263：根据上述任一示例所述的显示系统，其中所述显示器被配置为在第一时间段将与图像像素对应的具有第一发散量的光投射到所述用户的眼睛中，以及在第二时间段将与所述图像像素对应的具有大于所述第一发散量的第二发散量的光投射到所述用户的眼睛中。
示例264：根据上述任一示例所述的显示系统，其中所述透视中心被估计为接近所述眼睛的所述瞳孔。
示例265：根据上述任一示例所述的显示系统，其中所述透视中心被估计为位于所述眼睛的所述角膜和所述瞳孔之间。
示例266：根据上述任一示例所述的显示系统，其中所述显示器被配置为将光投射到所述用户的眼睛中，以不同量的发散和准直中的至少一者向所述用户的视场显示虚拟图像内容，由此所显示的虚拟图像内容看起来在不同时间段源自不同深度。
示例267：一种显示系统，其被配置为将光投射到用户的眼睛以在所述用户的视场中显示虚拟图像内容，所述眼睛具有角膜、虹膜、瞳孔、晶状体、视网膜，所述显示系统包括：
框架，其被配置为支撑在所述用户的头部上；
头戴式显示器，其被设置在所述框架上，所述显示器被配置为将光投射到所述用户的眼睛中，以不同量的发散和准直中的至少一者向所述用户的视场显示虚拟图像内容，由此所显示的虚拟图像内容看起来在不同时间段源自不同深度；
一个或多个眼睛跟踪相机，其被配置为对所述用户的眼睛进行成像；以及
处理电子设备，其与所述显示器和所述一个或多个眼睛跟踪相机通信，所述处理电子设备被配置为：
基于通过所述一个或多个眼睛跟踪相机获得的所述眼睛的图像，获得延伸穿过所述用户的眼睛的所述晶状体、瞳孔和角膜的光轴的位置和取向估计；
识别渲染空间中沿着与所述眼睛的所述光轴配准的轴的特定位置；以及
向所述用户的眼睛呈现所述虚拟图像内容，所述虚拟图像内容由位于渲染空间中的所述特定位置处的虚拟渲染相机渲染。
示例268：根据示例267所述的显示系统，其中所述头戴式显示器被配置为在第一时间段将具有第一发散量的光投射到所述用户的眼睛中，以及被配置为在第二时间段将具有第二发散量的光投射到所述用户的眼睛中，其中所述第一发散量不同于所述第二发散量，并且其中所述处理电子设备被进一步配置为基于通过所述一个或多个眼睛跟踪相机获得的所述眼睛的图像而获得所述用户的辐辏距离的估计，以及基于所述用户的所估计的辐辏距离而从以所述第一发散量将光投射到所述用户的眼睛中变换为以所述第二发散量将光投射到所述用户的眼睛中。
示例269：根据示例267所述的显示系统，其中所述头戴式显示器被配置为在第一时间段将具有第一发散量的光投射到所述用户的眼睛中，以及被配置为在第二时间段将具有第二发散量的光投射到所述用户的眼睛中，其中所述第一发散量不同于所述第二发散量，并且其中所述处理电子设备被进一步配置为基于通过所述一个或多个眼睛跟踪相机获得的所述眼睛的图像而获得所述用户的辐辏距离的估计，以及基于所述用户的所估计的辐辏距离而从以所述第一发散量将光投射到所述用户的眼睛中变换为以所述第二发散量将光投射到所述用户的眼睛中。
示例270：根据示例267所述的显示系统，其中所述处理电子设备被进一步配置为基于通过一个或多个眼睛跟踪相机获得的所述眼睛的图像而确定所述眼睛的旋转中心被估计位于的沿着所述光轴的位置，以及
其中所述处理电子设备被配置为基于所述眼睛的所述旋转中心被估计位于的沿着所述光轴的所述位置，识别渲染空间中沿着与所述眼睛的所述光轴配准的所述轴的特定位置。
示例271：根据示例267所述的显示系统，其中渲染空间中沿着所述轴的所述特定位置包括渲染空间中沿着所述轴的这样的位置：在该位置处，所述渲染空间中的视差偏移(parallax shift)被确定为最小。
示例272：根据示例267所述的显示系统，其中渲染空间中沿着所述轴的所述特定位置包括渲染空间中沿着所述轴的这样的位置：在该位置处，所述渲染空间中的视差偏移被确定为最小。
示例273：根据上述任一示例所述的显示系统，其中所述处理电子设备被配置为，基于根据通过所述一个或多个眼睛跟踪相机获得的所述眼睛的图像在所述眼睛旋转的时间段内所述用户的眼睛的多个注视方向的确定，获得所述眼睛的所述旋转中心的所述估计。
示例274：根据示例273所述的显示系统，其中所述处理电子设备被配置为，基于通过所述一个或多个眼睛跟踪相机获得的图像中的所述用户的眼睛的瞳孔、虹膜、角膜缘(limbus)中的一者或多者的形状在所述眼睛旋转的时间段内的变化，确定所述注视方向。
示例275：根据上述任一示例所述的显示系统，其中所述处理电子设备被配置为基于通过所述一个或多个眼睛跟踪相机获得的所述用户的眼睛的图像上的多个空间位置而确定位置阵列。
示例276：根据示例275所述的显示系统，其中所述位置阵列对应于椭圆的至少一部分。
示例277：根据示例275或276所述的显示系统，其中所述处理电子设备被配置为通过将曲线拟合到所述用户的眼睛的所述图像上的所述多个空间位置来确定所述位置阵列。
示例278：根据示例277所述的显示系统，其中所述曲线包括椭圆。
示例279：根据示例275至278中任一项所述的显示系统，其中所述图像上的所述多个空间位置包括所述图像中的所述用户的眼睛的所述角膜缘上的空间位置。
示例280：根据示例275至279中任一项所述的显示系统，其中所述图像上的所述多个空间位置包括所述图像中的所述用户的眼睛的所述虹膜和巩膜之间的边界上的空间位置。
示例281：根据示例275至279中任一项所述的显示系统，其中所述图像上的所述多个空间位置包括通过所述一个或多个眼睛跟踪相机获得的所述图像中的所述用户的眼睛的所述角膜和所述巩膜之间的边界上的空间位置。
示例282：根据示例275至281中任一项所述的显示系统，其中所述处理电子设备被配置为确定从所述位置阵列的第一侧上的位置通过所述位置阵列延伸到所述位置阵列的相反的第二侧的多个线性路径。
示例283：根据示例282所述的显示系统，其中所述处理电子设备被配置为基于所述多个线性路径确定圆形区域，所述圆形区域具有半径R。
示例284：根据示例283所述的显示系统，其中所述半径R对应于角膜缘的平均半径。
示例285：根据示例283所述的显示系统，其中所述半径R对应于所述用户的眼睛的所述角膜缘的测量半径。
示例286：根据示例283所述的显示系统，其中所述半径R对应于瞳孔的平均半径。
示例287：根据示例283所述的显示系统，其中所述半径R对应于所述用户的眼睛的所述瞳孔的测量半径。
示例288：根据示例282至287中任一项所述的显示系统，其中所述处理电子设备被配置为确定穿过所述圆形区域的中心部分的法线的位置和方向。
示例289：根据示例282至288中任一项所述的显示系统，其中所述处理电子设备被配置为，基于先前通过所述一个或多个眼睛跟踪相机获得的所述眼睛的多个图像，确定穿过各个圆形区域的中心部分的多条法线的相应位置和方向。
示例290：根据示例289所述的显示系统，其中所述处理电子设备被配置为确定所述多条法线会聚或相交的位置。
示例291：根据示例289所述的显示系统，其中所述处理电子设备被配置为，通过识别基于在所述眼睛旋转的时间段内获得的所述用户的眼睛的图像而确定的所述法线中的多者的相交、会聚或紧邻的区域，获得所述用户的眼睛的所述旋转中心的估计。
示例292：根据示例289所述的显示系统，其中所述处理电子设备被配置为，基于根据在所述眼睛旋转的时间段内获得的所述用户的眼睛的图像而确定的所述多条法线中的多者的位置和方向，获得所述用户的眼睛的所述旋转中心的估计。
示例293：根据示例282至292中任一项所述的显示系统，其中所述阵列位置的所述第一侧上的位置对应于所述一个或多个眼睛跟踪相机之一的坐标系的原点。
示例294：根据上述任一示例所述的显示系统，其中所述处理电子设备被配置为，通过对多个估计的旋转中心位置进行滤波、平均、应用卡尔曼滤波器或执行上述项的任何组合，获得所述旋转中心的估计。
本文描述了将光投射到用户的一只或多只眼睛中以在所述用户的视场中显示虚拟图像内容的显示系统的各种附加示例，例如下面列举的附加示例：
附加示例1：一种显示系统，其被配置为将光投射到用户的眼睛以在所述用户的视场中显示虚拟图像内容，所述眼睛具有角膜、虹膜、瞳孔、晶状体、视网膜，以及延伸穿过所述晶状体、瞳孔和角膜的光轴，所述显示系统包括：
框架，其被配置为支撑在所述用户的头部上；
头戴式显示器，其被设置在所述框架上，所述显示器被配置为将光投射到所述用户的眼睛中以向所述用户的视场显示虚拟图像内容，所述显示器的至少一部分是透明的并且在所述用户穿戴所述框架时设置在所述用户的眼睛前方的位置处，使得所述透明部分将来自所述用户的前方环境的一部分和所述头戴式显示器的光透射到所述用户的眼睛，以提供所述用户的前方环境的所述一部分和所述头戴式显示器的视图；
面向内的成像系统，其被配置为对所述用户的眼睛进行成像；以及
处理电子设备，其与所述面向内的成像系统通信，所述处理电子设备被配置为基于通过所述面向内的成像系统获得的所述眼睛的多个图像而获得所述眼睛的旋转中心的估计，所述处理电子设备被配置为确定所述旋转中心的计算值的变化，并且基于所述变化选择在统计上确定的旋转中心的估计。
附加示例2：根据附加示例1所述的显示系统，其中使用减小的变化来识别所述在统计上确定的旋转中心。
附加示例3：根据附加示例1或2所述的显示系统，其中基于用于计算所述旋转中心的参数的第一值而计算旋转中心的第一组估计，并且根据所述第一组估计确定第一变化。
附加示例4：根据附加示例3所述的显示系统，其中基于所述参数的第二值计算旋转中心的第二组估计，并且根据所述第二组估计确定第二变化。
附加示例5：根据附加示例4所述的显示系统，其中比较所述第一变化和所述第二变化以确定哪个组具有减小的变化，所述在统计上确定的旋转中心的估计的所述确定是基于该比较的。
附加示例6：根据附加示例1或2所述的显示系统，其中基于参数的多个相应值和针对不同的相应组确定的相应变化来计算旋转中心的多组值。
附加示例7：根据附加示例6所述的显示系统，其中比较所述相应变化以确定哪个组具有减小的变化，并且所述在统计上确定的旋转中心的估计的所述确定是基于该比较的。
附加示例8：根据附加示例6或7所述的显示系统，其中用于具有最小变化的所述组的所述参数的值被用于计算所述在统计上确定的旋转中心的估计。
附加示例9：根据附加示例6、7或8所述的显示系统，其中具有最小变化的所述组被用于计算所述在统计上确定的旋转中心的估计。
附加示例10：根据附加示例3至9中任一项所述的显示系统，其中所述参数包括从所述角膜的曲率中心到所述旋转中心的距离。
附加示例11：根据附加示例3至9中任一项所述的显示系统，其中所述参数包括沿着所述光轴从所述角膜的所述曲率中心到所述旋转中心的距离。
附加示例12：根据上述任一附加示例所述的显示系统，其中所述变化包括方差和/或标准差。
附加示例13：根据上述任一附加示例所述的显示系统，进一步包括一个或多个光源，所述一个或多个光源相对于所述用户的眼睛设置在所述框架上以照射所述用户的眼睛，所述面向内的成像系统使用来自所述一个或多个光源的所述光形成所述眼睛的图像。
附加示例14：根据附加示例13所述的显示系统，其中所述一个或多个光源包括至少两个光源，所述至少两个光源相对于所述用户的眼睛设置在所述框架上以照射所述用户的眼睛。
附加示例15：根据附加示例13或14所述的显示系统，其中所述一个或多个光源包括红外光发射器。
附加示例16：根据附加示例13至15中任一项所述的显示系统，其中所述一个或多个光源在所述眼睛上形成一个或多个亮斑，并且所述处理电子设备被配置为基于所述一个或多个亮斑确定所述角膜的位置。
附加示例17：根据附加示例13至16中任一项所述的显示系统，其中所述角膜具有与其相关联的角膜球，所述角膜球具有曲率中心，并且所述处理电子设备被配置为确定所述角膜球的所述曲率中心的位置。
附加示例18：根据附加示例17所述的显示系统，其中所述角膜具有与其相关联的角膜球，所述角膜球具有曲率中心，并且所述处理电子设备被配置为基于所述一个或多个亮斑确定所述角膜球的所述曲率中心的位置。
附加示例19：根据上述任一附加示例所述的显示系统，其中所述面向内的成像系统被配置为对所述眼睛的所述瞳孔进行成像。
附加示例20：根据上述任一附加示例所述的显示系统，其中所述处理电子设备被配置为确定所述瞳孔的所述中心的位置。
附加示例21：根据上述任一附加示例所述的显示系统，其中所述处理电子设备被配置为确定所述虹膜和所述瞳孔之间的边界的至少一部分。
附加示例22：根据附加示例21所述的显示系统，其中所述处理电子设备被配置为确定所述虹膜和所述瞳孔之间的所述边界的中心。
附加示例23：根据上述任一附加示例所述的显示系统，其中所述处理电子设备被配置为确定所述瞳孔的所述中心在三维空间中相对于所述角膜的曲率中心的位置。
附加示例24：根据上述任一附加示例所述的显示系统，其中所述处理电子设备被配置为确定所述光轴的位置和取向。
附加示例25：根据附加示例24所述的显示系统，其中所述处理电子设备被配置为基于所述瞳孔的所述中心在三维空间中的位置确定所述光轴的位置和取向。
附加示例26：根据上述任一附加示例所述的显示系统，其中所述处理电子设备被配置为基于所述瞳孔的所述中心在三维空间中相对于所述角膜的曲率中心的位置而确定所述光轴的所述位置和取向。
附加示例27：根据上述任一附加示例所述的显示系统，其中所述处理电子设备被配置为基于所述角膜的曲率中心确定所述眼睛的所述旋转中心的位置。
附加示例28：根据上述任一附加示例所述的显示系统，其中所述处理电子设备被配置为基于所述角膜的曲率中心以及所述光轴的位置和取向而确定所述眼睛的所述旋转中心的位置。
附加示例29：根据附加示例28所述的显示系统，其中所述处理电子设备被配置为通过沿着所述光轴从所述角膜的所述曲率中心平移特定距离来确定所述眼睛的所述旋转中心的位置。
附加示例30：根据附加示例29所述的显示系统，其中从所述曲率中心到所述旋转中心的所述特定距离在4.0mm和6.0mm之间。
附加示例31：根据附加示例29或30所述的显示系统，其中从所述曲率中心到所述旋转中心的所述特定距离为约4.7mm。
附加示例32：根据附加示例20或30所述的显示系统，其中所述处理电子设备被配置为至少基于先前通过所述面向内的成像系统获得的所述眼睛的一个或多个图像而确定所述特定距离。
附加示例33：根据上述任一附加示例所述的显示系统，其中所述处理电子设备包括位于所述框架上的电子设备。
附加示例34：根据上述任一附加示例所述的显示系统，其中所述处理电子设备包括位于所述框架上的电子设备和设置在远离所述框架的位置处的电子设备。
附加示例35：根据上述任一附加示例所述的显示系统，其中所述处理电子设备包括位于所述框架上的电子设备和位于腰包上的电子设备。
附加示例36：根据上述任一附加示例所述的显示系统，其中所述显示器的至少一部分是透明的并且在用户穿戴所述头戴式显示器时设置在所述用户的眼睛前方的位置，使得所述透明部分将来自所述用户的前方环境的一部分和所述头戴式显示器的光透射到所述用户的眼睛，以提供所述用户的前方环境的所述一部分和所述头戴式显示器的视图。
附加示例37：根据上述任一附加示例所述的显示系统，其中所述头戴式显示器以第一发散量从所述用户的前方环境的一部分接收光，并且以与所述第一发散量基本相同的第二发散量将来自所述用户的前方环境的一部分的光透射到所述用户的眼睛。
附加示例38：根据上述任一附加示例所述的显示系统，其中所述处理电子设备被配置为通过对多个估计的旋转中心位置进行滤波、平均、应用卡尔曼滤波器或执行上述项的任何组合来获得所述旋转中心的估计。
附加示例39：根据上述任一附加示例所述的显示系统，其中所述处理电子设备被配置为向所述用户的眼睛呈现所述虚拟图像内容，所述虚拟图像内容被渲染为如同由具有位于所述用户的眼睛的所确定的旋转中心位置处的光圈的相机捕获的一样。
附加示例40：根据上述任一附加示例所述的显示系统，其中所述处理电子设备被配置为使用位于所述旋转中心处的渲染相机渲染要向所述眼睛呈现的虚拟图像。
附加示例41：根据上述任一附加示例所述的显示系统，其中所述处理电子设备被配置为使用渲染相机，所述渲染相机被配置为渲染要向所述眼睛呈现的虚拟图像，所述虚拟图像被渲染为如同由具有比所述眼睛的所述视网膜更靠近所述旋转中心的光圈的相机捕获的一样。
附加示例42：根据上述任一附加示例所述的显示系统，其中所述处理电子设备被配置为使用渲染相机，所述渲染相机被配置为渲染要向所述眼睛呈现的虚拟图像，所述虚拟图像被渲染为如同由具有位于所述眼睛的所述旋转中心处的光圈的相机捕获的一样。
附加示例43：根据上述任一附加示例所述的显示系统，其中所述处理电子设备被配置为使用位于所述旋转中心处的渲染相机渲染要向所述眼睛呈现的虚拟图像，所述渲染相机被模型化为具有位于所述眼睛的所述旋转中心处的光圈。
附加示例44：根据附加示例1至9中任一项所述的显示系统，其中所述处理电子设备被配置为在校准过程期间基于所述变化选择所述在统计上确定的旋转中心的估计。
附加示例45：根据上述任一示例或附加示例所述的显示系统，其中所述处理电子设备被配置为，基于根据通过所述一个或多个眼睛跟踪相机获得的所述眼睛的图像在所述眼睛旋转的时间段内所述用户的眼睛的多个注视方向的确定，获得所述眼睛的所述旋转中心的所述估计。
附加示例46：根据上述任一示例或附加示例所述的显示系统，其中所述处理电子设备被配置为，基于通过所述一个或多个眼睛跟踪相机获得的图像中的所述用户的眼睛的瞳孔、虹膜、角膜缘中的一者或多者的形状在所述眼睛旋转的时间段内的变化，确定所述注视方向。
附加示例47：根据上述任一示例或附加示例所述的显示系统，其中所述处理电子设备被配置为，基于通过所述一个或多个眼睛跟踪相机获得的所述用户的眼睛的图像上的多个空间位置，确定位置阵列。
附加示例48：根据上述任一示例或附加示例所述的显示系统，其中所述位置阵列对应于椭圆的至少一部分。
附加示例49：根据上述任一示例或附加示例所述的显示系统，其中所述处理电子设备被配置为通过将曲线拟合到所述用户的眼睛的所述图像上的所述多个空间位置来确定所述位置阵列。
附加示例50：根据上述任一示例或附加示例所述的显示系统，其中所述曲线包括椭圆。
附加示例51：根据上述任一示例或附加示例所述的显示系统，其中所述图像上的所述多个空间位置包括所述图像中的所述用户的眼睛的角膜缘上的空间位置。
附加示例52：根据上述任一示例或附加示例所述的显示系统，其中所述图像上的所述多个空间位置包括所述图像中的所述用户的眼睛的所述虹膜和巩膜之间的边界上的空间位置。
附加示例53：根据上述任一示例或附加示例所述的显示系统，其中所述图像上的所述多个空间位置包括通过所述一个或多个眼睛跟踪相机获得的所述图像中的所述用户的眼睛的所述角膜和所述巩膜之间的边界上的空间位置。
附加示例54：根据上述任一示例或附加示例所述的显示系统，其中所述处理电子设备被配置为确定从所述位置阵列的第一侧上的位置通过所述位置阵列延伸到所述位置阵列的相反的第二侧的多个线性路径。
附加示例55：根据上述任一示例或附加示例所述的显示系统，其中所述处理电子设备被配置为基于所述多个线性路径确定圆形区域，所述圆形区域具有半径R。
附加示例56：根据上述任一示例或附加示例所述的显示系统，其中所述半径R对应于角膜缘的平均半径。
附加示例57：根据上述任一示例或附加示例所述的显示系统，其中所述半径R对应于所述用户的眼睛的角膜缘的测量半径。
附加示例58：根据上述任一示例或附加示例所述的显示系统，其中所述半径R对应于瞳孔的平均半径。
附加示例59：根据上述任一示例或附加示例所述的显示系统，其中所述半径R对应于所述用户的眼睛的所述瞳孔的测量半径。
附加示例60：根据上述任一示例或附加示例所述的显示系统，其中所述处理电子设备被配置为确定穿过所述圆形区域的中心部分的法线的位置和方向。
附加示例61：根据上述任一示例或附加示例所述的显示系统，其中所述处理电子设备被配置为，基于先前通过所述一个或多个眼睛跟踪相机获得的所述眼睛的多个图像，确定穿过各个圆形区域的中心部分的多条法线的相应位置和方向。
附加示例62：根据上述任一示例或附加示例所述的显示系统，其中所述处理电子设备被配置为确定所述多条法线会聚或相交的位置。
附加示例63：根据上述任一示例或附加示例所述的显示系统，其中所述处理电子设备被配置为，通过识别基于在所述眼睛旋转的时间段内获得的所述用户的眼睛的图像而确定的所述法线中的多者的相交、会聚或紧邻的区域，获得所述用户的眼睛的所述旋转中心的估计。
附加示例64：根据上述任一示例或附加示例所述的显示系统，其中所述处理电子设备被配置为，基于根据在所述眼睛旋转的时间段内获得的所述用户的眼睛的图像而确定的所述多条法线中的多者的位置和方向，获得所述用户的眼睛的所述旋转中心的所述估计。
附加示例65：根据上述任一示例或附加示例所述的显示系统，其中所述阵列位置的所述第一侧上的位置对应于所述一个或多个眼睛跟踪相机之一的坐标系的原点。
附加示例66：根据上述任一示例或附加示例所述的显示系统，其中所述处理电子设备被配置为，通过对多个估计的旋转中心位置进行滤波、平均、应用卡尔曼滤波器或执行上述项的任何组合来获得所述旋转中心的所述估计。
上述任何示例或附加示例可以被组合。另外，上述任何示例或附加示例可以与头戴式显示器整合。另外，上述任何示例或附加示例可以以单个深度平面和/或一个或多个可变深度平面(例如，一个或多个具有可变聚焦能力的元件，其提供随时间变化的调节线索(accomodation cue))来实现。
此外，本文公开了用于确定各种值、参数等(例如但不限于解剖学、光学和几何特征、位置和取向等)的装置和方法。这种参数的示例包括例如眼睛的旋转中心、角膜的曲率中心、瞳孔的中心、瞳孔的边界、虹膜的中心、虹膜的边界、角膜缘的边界、眼睛的光轴、眼睛的视轴、透视中心，但不限于这些。本文所述的这种值、参数等的确定包括其估计，不需要一定与实际值精确地一致。例如，眼睛的旋转中心、角膜的曲率中心、瞳孔或虹膜的中心或边界、角膜缘的边界、眼睛的光轴、眼睛的视轴、透视中心等的确定可以是接近但不等于实际(例如，解剖学、光学或几何)值或参数的估计、近似或值。在某些情况下，例如，使用均方根估计技术获得这种值的估计。作为示例，本文描述的某些技术涉及识别射线或矢量相交处的位置或点。但是，这种射线或矢量也可能不相交。在该示例中，可以估计位置或点。例如，可以基于均方根或其它估计技术确定位置或点(例如，可以将位置或点估计为接近或最接近射线或矢量)。还可以使用其它过程来估计、近似或以其它方式提供可能与实际值不一致的值。因此，术语“确定”和“估计”或“确定的”和“估计的”在本文中可互换地使用。因此，对这种确定的值的提及可以包括估计、近似或接近实际值的值。因此，上文或本文其它地方提及的“确定参数或值”不应精确地限于实际值，而是可以包括估计、近似或与实际值接近的值。
本说明书中描述的主题的一个或多个实施方式的细节在附图和下面的描述中阐述。通过阅读描述、附图和权利要求，其它特征、方面和优点将变得显而易见。本发明内容和以下的具体实施方式都不旨在限定或限制本发明主题的范围。
附图说明
图1示出了具有由人观看到的特定虚拟现实对象和特定物理对象的混合现实场景的图示。
图2示意性地示出了可穿戴系统的示例。
图3示意性地示出了可穿戴系统的示例部件。
图4示意性地示出了用于向用户输出图像信息的可穿戴设备的波导堆叠的示例。
图5示意性地示出了眼睛的示例。
图5A示意性地示出了用于确定眼睛的眼睛姿势的示例坐标系。
图6是包括眼睛跟踪系统的可穿戴系统的示意图。
图7A是可以包括眼睛跟踪系统的可穿戴系统的框图。
图7B是可穿戴系统中的渲染控制器的框图。
图8A是示出眼睛的角膜球的眼睛示意图。
图8B示出了由眼睛跟踪相机检测到的示例角膜亮斑。
图8C至8E示出了通过可穿戴系统中的眼睛跟踪模块定位用户的角膜中心的示例阶段。
图9A至9C示出了眼睛跟踪图像的坐标系的示例规范化(normalization)。
图9D至9G示出了通过可穿戴系统中的眼睛跟踪模块定位用户的瞳孔中心的示例阶段。
图9H示出了考虑角膜折射和不考虑角膜折射情况下的瞳孔中心的示例计算位置。
图9I至9M示出了基于不同的计算出的瞳孔中心的计算出的眼睛旋转中心的示例实验变化。
图10示出了眼睛的示例，包括眼睛的光轴和视轴以及眼睛的旋转中心。
图11是用于使用眼睛跟踪在可穿戴设备中渲染内容以及提供配准反馈的方法的示例的过程流程图。
图12是一组示例图，其示出了可穿戴系统可以如何响应于用户的眼睛移动而切换深度平面。
图13示出了一种混合现实系统，其中特定虚拟对象可以在深度上离散为一个或多个深度平面。
图14A和14B示出了其中混合现实系统使用单个深度平面显示虚拟对象的示例。
图14C和14D示出了其中混合现实系统使用两个相邻的深度平面显示虚拟对象以在两个相邻的深度平面之间产生调节线索的示例。
图14E和14F示出了其中混合现实系统使用两个或更多个深度平面显示虚拟对象以同时产生两个或更多个调节线索的示例。
图15A示出了其中混合现实系统在存在透视中心未对准的情况下以图14A和14B的方式显示虚拟对象的示例。
图15B示出了其中混合现实系统在存在透视中心未对准的情况下以图14C和14D的方式显示虚拟对象的示例。
图15C示出了其中混合现实系统在存在透视中心未对准的情况下以图14E和14F的方式显示虚拟对象的示例。
图16A和16B示出了其中渲染相机的针孔与眼睛的透视中心或大致与眼睛的瞳孔对准的示例。
图16C示出了其中渲染相机的针孔与眼睛的透视中心或大致与眼睛的瞳孔对准的另一示例。
图17A和17B示出了其中渲染相机的针孔与眼睛的旋转中心对准的示例。
图17C示出了其中渲染相机的针孔与眼睛的旋转中心对准的另一示例。
图18A和18B是示出了与用户的透视中心相关的眼睛跟踪数据的一组示例图。
图18C是示出了渲染相机位置可以如何随眼睛跟踪数据变化的示例图。
图18D是用户眼睛的示意图，其示出了可用作眼睛跟踪数据的函数的各种渲染相机位置。
图19示出了根据本文所述的各种技术，使用投射到用户的眼睛(例如，角膜缘)的图像上的椭圆来确定CoR的估计的图形表示。可以通过投影椭圆追踪射线(ray)以形成圆锥体，在该圆锥体中圆被拟合。在某些实施方式中，可以使用穿过一个或多个圆的法线来估计CoR。
图20是用于基于眼睛的角膜缘确定眼睛的旋转中心的示例过程的流程图。
图21A示出了基于用户的第一注视而确定的投射到用户的角膜缘的图像上的第一椭圆(以下称为“投影椭圆”)。穿过投影椭圆的射线被示出为形成拟合圆的圆锥体。
图21B示出了基于用户眼睛的第二注视而确定的第二投影椭圆。还示出了第二圆锥体和拟合至其的圆。
图21C示出了基于用户眼睛的第三注视而确定的第三投影椭圆。还示出了第三圆锥体和拟合至其的圆。
图21D示出了基于使用上述投影椭圆获得的圆而确定旋转中心。
图22示出了包括两个点光源、光圈、透镜和投影屏的光学系统。
图23A示出了处于第一阶段的光学系统的实施例。
图23B示出了处于第二阶段的光学系统。
图24A示出了处于第一阶段的光学系统的另一实施例。
图24B示出了处于第二阶段的光学系统。
在所有附图中，可重复使用参考标号来指示所参考的元素之间的对应。提供附图是为了图示本文描述的示例实施例，而非旨在限制本公开的范围。
具体实施方式
现在参考附图，在所有附图中，相同的参考标号表示相同的部件。除非另外指出，否则附图是示意性的，不一定按比例绘制。
可穿戴系统的3D显示的示例
可穿戴系统(在此也称为增强现实(AR)系统)可被配置为向用户呈现2D或3D虚拟图像。图像可以是静止图像、视频帧或视频，上述项的组合等等。可穿戴系统的至少一部分可以在可穿戴设备上实现，该可穿戴设备能够单独或组合地呈现VR、AR或MR环境以用于用户交互。可穿戴设备可以与AR设备(ARD)互换地使用。此外，出于本公开的目的，术语“AR”可与术语“MR”互换地使用。
图1示出了具有由人观看到的特定虚拟现实对象和特定物理对象的混合现实场景的图示。在图1中，示出了MR场景100，其中MR技术的用户看到以人、树木、背景中的建筑物以及混凝土平台120为特征的真实世界公园状设置110。除了这些项目之外，MR技术的用户还感知他“看到”站在真实世界平台120上的机器人雕像130，以及看起来像大黄蜂的化身的飞舞的卡通式的化身角色140，尽管这些元素不存在于真实世界中。
为了使三维3D显示器产生真实的深度感，更具体地，为了产生模拟的表面深度感，可能希望显示器的视场中的每个点产生对应于其虚拟深度的调节响应(accommodativeresponse)。如果对显示点的调节响应与该点的虚拟深度(由会聚和立体视觉的双眼深度线索(depth cue)确定)不对应，则人眼可能经历调节冲突，导致成像不稳定、有害的眼疲劳、头痛，并且在没有调节信息的情况下，几乎完全缺乏表面深度。
VR、AR和MR体验可以由具有显示器的显示系统提供，在显示器中，对应于多个深度平面的图像被提供给观看者。每个深度平面的图像可能都有所不同(例如，提供略微不同的场景或对象呈现)，并且可以由观看者的眼睛单独聚焦，从而有助于基于眼睛的调节(需要这种调节以使位于不同深度平面上的场景的不同图像特征聚焦)，或者基于观察到不同深度平面上的不同图像特征脱焦，为用户提供深度线索。如本文其它地方所讨论的，这种深度线索提供了可靠的深度感。
图2示出了可被配置为提供AR/VR/MR场景的可穿戴系统200的示例。可穿戴系统200也可被称为AR系统200。可穿戴系统200包括显示器220以及支持显示器220的功能的各种机械和电子模块和系统。显示器220可以被耦接到框架230，该框架可由用户、穿戴者或观看者210穿戴。显示器220可以被定位在用户210的眼睛前方。显示器220可以向用户呈现AR/VR/MR内容。显示器220可以包括穿戴在用户头部上的头戴式显示器(HMD)。
在一些实施例中，扬声器240被耦接到框架230并且被定位在用户的耳道附近(在一些实施例中，另一扬声器(未示出)被定位在用户的另一耳道附近以提供立体声/可塑形的声音控制)。显示器220可以包括音频传感器(例如，麦克风)232以检测来自环境的音频流并且捕获环境声音。在一些实施例中，放置一个或多个其它音频传感器(未示出)以提供立体声接收。立体声接收可用于确定声源的位置。可穿戴系统200可以对音频流执行语音或话音识别。
可穿戴系统200可包括面向外的成像系统464(如图4所示)，其观察用户周围环境中的世界。可穿戴系统200可以还包括面向内的成像系统462(如图4所示)，其可以跟踪用户的眼睛运动。面向内的成像系统可以跟踪一只眼睛的运动或全部两只眼睛的运动。面向内的成像系统462可以被附接到框架230并且可以与处理模块260或270电通信，处理模块260或270可以处理由面向内的成像系统获取的图像信息以确定例如用户210的眼睛的瞳孔直径或取向、眼睛运动或眼睛姿势。面向内的成像系统462可以包括一个或多个相机。例如，可以使用至少一个相机对每只眼睛进行成像。通过相机获取的图像可用于单独确定每只眼睛的瞳孔大小或眼睛姿势，从而允许向每只眼睛呈现为该只眼睛动态地定制的图像信息。
作为示例，可穿戴系统200可以使用面向外的成像系统464或面向内的成像系统462来获取用户姿势的图像。图像可以是静止图像、视频帧或视频。
显示器220可以例如通过有线引线或无线连接可操作地耦接250到本地数据处理模块260，本地数据处理模块260可以以各种配置安装，例如固定地附接到框架230，固定地附接到用户戴的头盔或帽子，嵌入在耳机中，或以其它方式可移除地附接到用户210(例如，采取背包式配置，采取腰带耦接式配置)。
本地处理和数据模块260可以包括硬件处理器以及诸如非易失性存储器(例如，闪速存储器)的数字存储器，二者都可用于辅助数据的处理、缓存以及存储。数据可以包括如下数据：a)从环境传感器(其可以例如可操作地耦接到框架230或以其它方式附接到用户210)捕获的数据，这些传感器为例如图像捕获设备(例如，面向内的成像系统或面向外的成像系统中的相机)、音频传感器(例如，麦克风)、惯性测量单元(IMU)、加速度计、罗盘、全球定位系统(GPS)单元、无线电装置或陀螺仪；或b)使用远程处理模块270或远程数据储存库280获取或处理的数据，可能在这样的处理或检索之后传递给显示器220。本地处理和数据模块260可以通过通信链路262或264(诸如经由有线或无线通信链路)可操作地耦接到远程处理模块270或远程数据储存库280，使得这些远程模块作为资源可用于本地处理和数据模块260。另外，远程处理模块280和远程数据储存库280可以可操作地相互耦接。
在一些实施例中，远程处理模块270可以包括一个或多个处理器，其被配置为分析和处理数据或图像信息。在一些实施例中，远程数据储存库280可以包括数字数据存储设施，其可以通过互联网或其它网络配置以“云”资源配置而可用。在一些实施例中，在本地处理和数据模块中存储全部数据，并且执行全部计算，这允许从远程模块完全自主使用。
可穿戴系统的示例部件
图3示意性地示出了可穿戴系统的示例部件。图3示出了可穿戴系统200，其可以包括显示器220和框架230。放大的视图202示意性地示出了可穿戴系统200的各种部件。在某些实施方式中，图3所示的部件中的一个或多个可以是显示器220的一部分。各种部件单独地或组合地可以收集与可穿戴系统200的用户或用户的环境相关联的各种数据(例如，音频或视觉数据)。应当理解，根据可穿戴系统所用于的应用，其它实施例可以具有更多或更少的部件。尽管如此，图3提供了各种部件以及可通过可穿戴系统收集、分析和存储的数据类型中的一些的基本理念。
图3示出了示例可穿戴系统200，其可以包括显示器220。显示器220可以包括显示透镜226，显示透镜226可以被安装到用户的头部或对应于框架230的壳体或框架230上。显示透镜226可以包括一个或多个透明镜，该透明镜由壳体230定位在用户的眼睛302、304前方，并且可被配置为将投射的光338反射到眼睛302、304中并促进光束成型，同时还允许透射来自本地环境的至少一些光。投射的光束338的波前可以被弯曲或聚焦以与投射的光的期望焦距一致。如图所示，两个广视场机器视觉相机316(也称为世界相机)可以被耦接到壳体230以对用户周围的环境进行成像。这些相机316可以是双拍摄可见光/不可见(例如，红外)光相机。相机316可以是图4中所示的面向外的成像系统464的一部分。由世界相机316获取的图像可以由姿势处理器336处理。例如，姿势处理器336可以实现一个或多个对象识别器708(例如，图7所示)以识别用户或用户环境中的另一人的姿势，或者识别用户环境中的物理对象。
继续参考图3，示出了一对扫描激光整形波前(例如，用于深度)光投影仪模块，其具有被配置为将光338投射到眼睛302、304中的显示镜和光学器件。所描绘的视图还示出了与红外光源326(例如发光二极管“LED”)配对的两个微型红外相机324，其被配置为能够跟踪用户的眼睛302、304以支持渲染和用户输入。相机324可以是图4所示的面向内的成像系统462的一部分。可穿戴系统200还可以具有传感器组件339，该传感器组件339可以包括X、Y和Z轴加速度计功能以及磁罗盘以及X、Y和Z轴陀螺仪功能，优选地以相对较高的频率(例如200Hz)提供数据。传感器组件339可以是参考图2A描述的IMU的一部分。所描绘的系统200还可以包括头部姿势处理器336，例如ASIC(专用集成电路)、FPGA(现场可编程门阵列)或ARM处理器(高级精简指令集机器)，其可被配置为根据从捕获设备316输出的宽视场图像信息而计算实时或近实时的用户头部姿势。头部姿势处理器336可以是硬件处理器，并且可以实现为图2A所示的本地处理和数据模块260的一部分。
可穿戴系统还可以包括一个或多个深度传感器234。深度传感器234可被配置为测量环境中的对象到可穿戴设备之间的距离。深度传感器234可以包括激光扫描仪(例如，激光雷达)、超声深度传感器或深度感测相机。在某些实施方式中，在相机316具有深度感测功能的情况下，相机316也可以被视为深度传感器234。
还示出了处理器332，其被配置为执行数字或模拟处理以从来自传感器组件339的陀螺仪、罗盘或加速度计数据中推导出姿势。处理器332可以是图2所示的本地处理和数据模块260的一部分。图3所示的可穿戴系统200可以还包括诸如GPS 337(全球定位系统)之类的定位系统，以辅助姿势和定位分析。另外，GPS可以进一步提供关于用户环境的基于远程的(例如，基于云的)信息。该信息可用于识别用户环境中的对象或信息。
可穿戴系统可以将由GPS 337与可以提供关于用户环境的更多信息的远程计算系统(例如，远程处理模块270，另一用户的ARD等)获取的数据进行组合。作为一个示例，可穿戴系统可以基于GPS数据确定用户的位置，并检索世界地图(例如，通过与远程处理模块270通信)，世界地图包括与用户的位置相关联的虚拟对象。作为另一示例，可穿戴系统200可以使用世界相机316(其可以是图4所示的面向外的成像系统464的一部分)来监视环境。基于由世界相机316获取的图像，可穿戴系统200可以检测环境中的对象(例如，通过使用图7所示的一个或多个对象识别器708)。可穿戴系统可以进一步使用由GPS 337获取的数据来解释字符。
可穿戴系统200还可以包括渲染引擎334，该渲染引擎334可被配置为提供用户本地的渲染信息，以便于扫描仪的操作和成像到用户的眼睛中，以供用户观看世界。渲染引擎334可以由硬件处理器(例如，中央处理单元或图形处理单元)实现。在一些实施例中，渲染引擎是本地处理和数据模块260的一部分。渲染引擎334可以通信地(例如，经由有线或无线链路)耦接到可穿戴系统200的其它部件。例如，渲染引擎334可以经由通信链路274被耦接到眼睛相机324，以及经由通信链路272耦接到投影子系统318(其可以以类似于视网膜扫描显示器的方式经由扫描激光装置将光投射到用户的眼睛302、304中)。渲染引擎334还可以分别经由链路276和294与其它处理单元(例如传感器姿势处理器332和图像姿势处理器336)通信。
相机324(例如，微型红外相机)可被用于跟踪眼睛姿势以支持渲染和用户输入。一些示例眼睛姿势可以包括用户正在看的地方。或者他或她正聚焦在什么深度上(这可以通过眼睛辐辏来估计)。GPS 337、陀螺仪、罗盘和加速度计339可用于提供粗略或快速的姿势估计。相机316中的一者或多者可以获取图像和姿势，这些图像和姿势与来自关联的云计算资源的数据结合，可以用于绘制本地环境并与其他用户共享用户视图。
图3中示出的示例部件仅用于说明的目的。为了便于说明和描述，一起示出了多个传感器和其它功能模块。一些实施例可以仅包括这些传感器或模块中的一个或其子集。此外，这些部件的位置不限于图3所示的位置。某些部件可以被安装到或容纳在其它部件(例如束带安装式部件、手持式部件或头盔部件)中。作为一个示例，图像姿势处理器336、传感器姿势处理器332和渲染引擎334可以被定位在腰包中，并被配置为经由无线通信(例如，超宽带、Wi-Fi、蓝牙等)或经由有线通信，与可穿戴系统的其它部件通信。所示的壳体230优选地是用户可头戴的和可穿戴的。但是，可穿戴系统200的某些部件可以被穿戴到用户身体的其它部位。例如，扬声器240可以被插入到用户的耳朵中以向用户提供声音。
关于光338向用户的眼睛302、304中的投射，在一些实施例中，可以使用相机324测量用户眼睛的中心在几何上趋向的位置，其通常与眼睛的聚焦位置或“焦深”重合。眼睛趋向的所有点的三维表面可被称为“两眼视界(horopter)”。焦距可以呈现有限数量的深度，或者可以无限地变化。从辐辏距离投射的光看起来被聚焦到目标眼睛302、304，而辐辏距离前或后的光变得模糊。本公开的可穿戴设备和其它显示系统的示例也在美国专利公开No.2016/0270656中进行了描述，该专利公开的全部内容通过引用并入本文中。
人类视觉系统复杂，并且提供深度的逼真感知是具挑战性的。对象的观看者可能由于辐辏和调节的组合而将该对象感知为“三维的”。两只眼睛相对于彼此的辐辏运动(例如，瞳孔朝向彼此或远离彼此的滚动运动，以会聚眼睛的视线来注视对象)与眼睛晶状体的聚焦(或“调节”)密切相关。在正常情况下，改变眼睛晶状体的焦点或调节眼睛，以将焦点从一个对象改变到在不同距离处的另一个对象，这将会在被称为“调节-辐辏反射(accommodation-vergence reflex)”的关系下自动地导致到相同的距离的辐辏的匹配改变。同样，在正常情况下，辐辏的改变将触发调节的匹配改变。提供调节和辐辏之间的更好匹配的显示系统可以形成更逼真且舒适的三维图像模拟。
无论眼睛聚焦于何处，具有小于约0.7毫米的光束直径的空间相干光都能被人眼正确地分辨。因此，为了产生适当焦深的错觉，可以通过相机324跟踪眼睛辐辏，并且可以利用渲染引擎334和投影子系统318渲染焦点中的两眼视界上或靠近焦点中的两眼视界的所有对象，以及不同程度的散焦(例如，使用故意产生的模糊)的所有其它对象。优选地，系统220以大约每秒60帧或更高的帧速率向用户渲染。如上所述，优选地，可以使用相机324进行眼睛跟踪，并且可将软件配置为不仅拾取辐辏几何形状而且还拾取焦点位置线索以用作用户输入。优选地，这种显示系统被配置有适合白天或夜晚使用的亮度和对比度。
在一些实施例中，显示系统优选地具有小于约20毫秒的视觉对象对准延迟、小于约0.1度的角度对准延迟和约1弧分的分辨率延迟，不受理论的限制，这被认为接近人眼的极限。显示系统220可以与可包括GPS元件、光学跟踪、罗盘、加速度计或其它数据源的定位系统集成在一起，辅助确定位置和姿势；定位信息可用于便于在用户看到的相关世界的视图中进行准确的渲染(例如，这种信息将有助于眼镜了解其相对于真实世界的位置)。
在一些实施例中，可穿戴系统200被配置为基于用户眼睛的调节而显示一个或多个虚拟图像。不同于迫使用户聚焦于图像投影位置的现有3D显示方法，在一些实施例中，可穿戴系统被配置为自动改变投影的虚拟内容的焦点，以允许更舒适地观看呈现给用户的一个或多个图像。例如，如果用户眼睛的当前焦点为1m，则可以使图像被投射为与用户的焦点重合。如果用户将焦点移至3m，则图像被投射为与新焦点重合。因此，一些实施例的可穿戴系统200不是迫使用户达到预定的焦点，而是使用户的眼睛以更自然的方式发挥作用。
这种可穿戴系统200可以消除或减少对于虚拟现实设备通常观察到的眼疲劳、头痛和其它生理症状的发生。为了实现这一点，可穿戴系统200的各种实施例被配置为通过一个或多个可变焦元件(VFE)以变化的焦距投射虚拟图像。在一个或多个实施例中，可通过多平面聚焦系统实现3D感知，该多平面聚焦系统在远离用户的固定焦平面处投射图像。其它实施例采用可变平面焦点，其中焦平面在z方向上前后移动，以与用户当前的聚焦状态一致。
在多平面聚焦系统和可变平面聚焦系统这两者中，可穿戴系统200可以采用眼睛跟踪来确定用户眼睛的辐辏，确定用户的当前焦点，以及将虚拟图像投射到预定的焦点处。在其它实施例中，可穿戴系统200包括光调制器，该光调制器通过光纤扫描仪或其它光产生源，在整个视网膜上以光栅图案可变地投射变焦光束。因此，如在全部内容通过引用并入本文中的美国专利公开No.2016/0270656中进一步描述的，可穿戴系统200的显示器以变化的焦距投射图像的能力不仅缓解了用户观看3D对象时的调节，而且还可用于补偿用户的视觉异常。在一些其它实施例中，空间光调制器可以通过各种光学部件向用户投射图像。例如，如下文进一步所述，空间光调制器可以将图像投射到一个或多个波导上，波导然后将图像传输给用户。
波导堆叠组件
图4示出了用于将图像信息输出给用户的波导堆叠的示例。可穿戴系统400包括波导堆叠或堆叠波导组件480，其可用于使用多个波导432b、434b、436b、438b、4400b向眼睛/大脑提供三维感知。在一些实施例中，可穿戴系统400可以对应于图2的可穿戴系统200，图4更详细地示意性地示出了该可穿戴系统200的一些部分。例如，在一些实施例中，波导组件480可以被集成到图2的显示器220中。
继续参考图4，波导组件480可以还包括位于波导之间的多个特征458、456、454、452。在一些实施例中，特征458、456、454、452可以是透镜。在其它实施例中，特征458、456、454、452可以不是透镜。相反，它们可以简单地是间隔物(例如，包层或用于形成气隙的结构)。
波导432b、434b、436b、438b、440b或多个透镜458、456、454、452可以被配置为以各种级别的波前曲率或光线发散度向眼睛发送图像信息。每个波导级别可以与特定深度平面相关联，并且可以被配置为输出对应于该深度平面的图像信息。图像注入装置420、422、424、426、428可用于将图像信息注入到波导440b、438b、436b、434b、432b中，每个波导440b、438b、436b、434b、432b可以被配置为分配入射光穿过每个相应的波导以便朝着眼睛410输出。光从图像注入装置420、422、424、426、428的输出表面射出，并且被注入到波导440b、438b、436b、434b、432b的相应输入边缘中。在一些实施例中，可以将单个光束(例如准直光束)注入到每个波导中，以输出克隆的准直光束的整个场，这些克隆的准直光束以对应于与特定波导相关联的深度平面的特定角度(和发散量)朝向眼睛410定向。
在一些实施例中，图像注入装置420、422、424、426、428是分立的显示器，每个显示器产生用于分别注入到相应波导440b、438b、436b、434b、432b中的图像信息。在一些其它实施例中，图像注入装置420、422、424、426、428是单个多路复用显示器的输出端，其可以例如经由一个或多个光导管(例如光纤电缆)将图像信息管道传输到图像注入装置420、422、424、426、428中的每一者。
控制器460控制堆叠波导组件480和图像注入装置420、422、424、426、428的操作。控制器460包括编程(例如，非暂时性计算机可读介质中的指令)，该编程调节到波导440b、438b、436b、434b、432b的图像信息的定时和提供。在一些实施例中，控制器460可以是单个整体设备，或者是通过有线或无线通信信道连接的分布式系统。在一些实施例中，控制器460可以是处理模块260或270(图2中示出)的部分。
波导440b、438b、436b、434b、432b可以被配置为通过全内反射(TIR)在每一个相应的波导内传播光。波导440b、438b、436b、434b、432b可以各自是平面的或具有其它形状(例如，弯曲)，具有顶部和底部主表面以及在这些顶部和底部主表面之间延伸的边缘。在所示的配置中，波导440b、438b、436b、434b、432b可以各自包括光提取光学元件440a、438a、436a、434a、432a，这些光提取光学元件被配置为通过将每一个相应波导内传播的光重定向而将光提取到波导外，以向眼睛410输出图像信息。提取的光也可以被称为耦出光，并且光提取光学元件也可以被称为耦出光学元件。提取的光束在波导中传播的光照射光重定向元件的位置处被波导输出。光提取光学元件(440a、438a、436a、434a、432a)可以例如是反射或衍射光学特征。虽然为了便于描述和清晰绘图起见而将其图示设置在波导440b、438b、436b、434b、432b的底部主表面处，但是在一些实施例中，光提取光学元件440a、438a、436a、434a、432a可以设置在顶部或底部主表面处，或可以直接设置在波导440b、438b、436b、434b、432b的体积中。在一些实施例中，光提取光学元件440a、438a、436a、434a、432a可以形成在被附接到透明基板的材料层中以形成波导440b、438b、436b、434b、432b。在一些其它实施例中，波导440b、438b、436b、434b、432b可以是单片材料，并且光提取光学元件440a、438a、436a、434a、432a可以形成在该片材料的表面上或该片材料的内部中。
继续参考图4，如本文所讨论的，每一个波导440b、438b、436b、434b、432b被配置为输出光以形成与特定深度平面对应的图像。例如，最接近眼睛的波导432b可以被配置为将如注入到这种波导432b中的准直光传送到眼睛410。准直光可以代表光学无限远焦平面。下一上行波导434b可以被配置为将传输通过第一透镜452(例如，负透镜)的准直光在其可以到达眼睛410之前发出。第一透镜452可以被配置为产生轻微凸面的波前曲率，使得眼睛/大脑将来自该下一上行波导434b的光解释为来自第一焦平面，该第一焦平面从光学无限远处向内更靠近眼睛410。类似地，第三上行波导436b将输出光在到达眼睛410之前传输通过第一透镜452和第二透镜454。第一透镜452和第二透镜454的组合光焦度(optical power)可被配置为产生波前曲率的另一增量，以使得眼睛/大脑将来自第三波导436b的光解释为来自第二焦平面，该第二焦平面从光学无穷远比来自所述下一上行波导434b的光更向内靠近人。
其它波导层(例如，波导438b、440b)和透镜(例如，透镜456、458)被类似地配置，其中堆叠中的最高波导440b通过它与眼睛之间的全部透镜发送其输出，用于代表最靠近人的焦平面的总(aggregate)焦度。当在堆叠波导组件480的另一侧上观看/解释来自世界470的光时，为了补偿透镜458、456、454、452的堆叠，补偿透镜层430可以被设置在堆叠的顶部处以补偿下面的透镜堆叠458、456、454、452的总焦度(补偿透镜层430和堆叠的波导组件480作为整体可被配置为使得来自世界470的光以与其最初被堆叠的波导组件480接收时基本相同的发散(或准直)水平被传送到眼睛410)。这种配置提供了与可用波导/透镜配对一样多的感知焦平面。波导的光提取光学元件和透镜的聚焦方面可以是静态的(例如，不是动态的或电激活的)。在一些替代实施例中，两者之一或者两者都可以使用电激活特征而为动态的。
继续参考图4，光提取光学元件440a、438a、436a、434a、432a可以被配置为将光重定向出它们各自的波导并且针对与波导相关联的特定深度平面以适当的发散量或准直度输出该光。结果，具有不同相关联深度平面的波导可具有不同的光提取光学元件配置，其取决于相关联的深度平面而输出具有不同发散量的光。在一些实施例中，如本文所讨论的，光提取光学元件440a、438a、436a、434a、432a可以是体积或表面特征，其可以被配置为以特定角度输出光。例如，光提取光学元件440a、438a、436a、434a、432a可以是体积全息图、表面全息图和/或衍射光栅。在2015年6月25日公开的美国专利公开No.2015/0178939中描述了诸如衍射光栅的光提取光学元件，其通过引用全部并入本文中。
在一些实施例中，光提取光学元件440a、438a、436a、434a、432a是形成衍射图案的衍射特征或“衍射光学元件”(本文中也称为“DOE”)。优选地，DOE具有相对较低的衍射效率，以使得仅光束的一部分通过DOE的每一个交点偏转向眼睛410，而其余部分经由全内反射继续移动通过波导。携带图像信息的光因此可被分成多个相关的出射光束，这些出射光束在多个位置处离开波导，并且该结果对于在波导内反弹的该特定准直光束是朝向眼睛304的相当均匀图案的出射发射。
在一些实施例中，一个或多个DOE可以在它们活跃地衍射的“开”状态和它们不显著衍射的“关”状态之间可切换。例如，可切换的DOE可以包括聚合物分散液晶层，其中微滴在基体介质中包含衍射图案，并且微滴的折射率可以被切换为基本上匹配基体材料的折射率(在这种情况下，图案不明显地衍射入射光)，或者微滴可以被切换为与基体介质的折射率不匹配的折射率(在这种情况下，该图案活跃地衍射入射光)。
在一些实施例中，深度平面的数量和分布或景深可以基于观看者的眼睛的瞳孔大小或取向而动态地改变。景深可以与观看者的瞳孔大小成反比地改变。因此，随着观看者眼睛的瞳孔大小减小时，景深增加，使得由于一个平面的位置超出了眼睛的焦点深度而不可辨别的该平面可能变得可辨别，并且随着瞳孔大小的减小表现为更聚焦，而且与景深的增加相称。同样地，用于向观看者呈现不同图像的间隔开的深度平面的数量可以随着瞳孔大小的减小而减小。例如，观看者在不将眼睛的调节从一个深度平面调整到另一个深度平面的情况下，可能不能以一个瞳孔大小清楚地感知第一深度平面和第二深度平面两者的细节。然而，这两个深度平面可以在不改变调节的情况下，对于处于另一瞳孔大小的用户同时充分地聚焦。
在一些实施例中，显示系统可以基于瞳孔大小或取向的确定，或在接收到指示特定瞳孔大小或取向的电信号时，改变接收图像信息的波导的数量。例如，如果用户的眼睛无法区分与两个波导相关联的两个深度平面，则控制器460(其可以是本地处理和数据模块206的实施例)可以被配置或编程为停止向这些波导中的一个提供图像信息。有利地，这可以减轻系统的处理负担，从而增加系统的响应性。在其中用于一波导的DOE可在接通和关断状态之间切换的实施例中，当波导确实接收到图像信息时，DOE可以被切换到关断状态。
在一些实施例中，可能期望使出射光束满足直径小于观看者眼睛直径的条件。然而，考虑到观看者的瞳孔大小的可变性，满足这种条件可能是具有挑战性的。在一些实施例中，通过响应于观看者的瞳孔大小的确定而改变出射光束的大小，该条件在宽范围的瞳孔大小上满足。例如，随着瞳孔大小减小，出射光束的大小也可以减小。在一些实施例中，可以使用可变光圈来改变出射光束大小。
可穿戴系统400可包括面向外的成像系统464(例如，数字相机)，其对世界470的一部分进行成像。世界470的该部分可被称为世界相机的视场(FOV)，并且成像系统464有时被称为FOV相机。世界相机的FOV可以与观看者210的FOV相同，也可以与观看者210的FOV不同，观看者210的FOV包含观看者210在给定时刻感知的世界470的一部分。例如，在一些情况下，世界相机的FOV可以大于可穿戴系统400的观看者210的观看者210。可供观看者观看或成像的整个区域可被称为能视域(FOR)。因为穿戴者可以移动其身体、头部或眼睛以感知空间中的基本上任何方向，FOR可以包括围绕可穿戴系统400的立体角的4π球面度。在其它情况下，穿戴者的运动可能更受限制，相应地，穿戴者的FOR可以对着更小的立体角。从面向外的成像系统464获得的图像可用于跟踪用户做出的手势(例如手或手指的姿势)，检测用户前方的世界470中的对象等等。
可穿戴系统400可以包括音频传感器232，例如麦克风，以捕获环境声音。如上所述，在一些实施例中，可以放置一个或多个其它音频传感器以提供对于语音源位置的确定有用的立体声接收。音频传感器232可以包括定向麦克风，作为另一示例，定向麦克风也可以提供关于音频源的位置的这些有用方向信息。可穿戴系统400可以使用来自面向外的成像系统464和音频传感器230二者的信息定位语音源，或者确定在特定时刻讲话者等等。例如，可穿戴系统400可以单独使用语音识别，或与讲话者的反射图像(例如，在镜子里看到的反射图像)组合地使用语音识别，来确定讲话者的身份。作为另一示例，可穿戴系统400可以基于从定向麦克风获取的声音确定讲话者在环境中的位置。可穿戴系统400可以通过语音识别算法解析来自讲话者位置的声音以确定语音内容，并使用语音识别技术确定讲话者的身份(例如，姓名或其它人口统计信息)。
可穿戴系统400还可以包括面向内的成像系统466(例如，数字相机)，其观察用户的运动，诸如眼睛运动和面部运动。面向内的成像系统466可用于捕获眼睛410的图像以确定眼睛304的瞳孔的大小和/或取向。面向内的成像系统466可用于获取用来确定用户观看的方向(例如，眼睛姿势)或用于用户的生物识别(例如，经由虹膜识别)的图像。在一些实施例中，可以针对每只眼睛使用至少一个相机，以便独立地分别确定每只眼睛的瞳孔大小或眼睛姿势，从而允许向每只眼睛的图像信息呈现动态地适合该眼睛。在一些其它实施例中，仅一只眼睛410的瞳孔直径或取向(例如，针对每双眼睛仅使用一个相机)被确定和假设对于用户的双眼是相似的。可以分析通过面向内的成像系统466获得的图像以确定用户的眼睛姿势或情绪，可穿戴系统400可以使用用户的眼睛姿势或情绪来决定应该将哪些音频或视觉内容呈现给用户。可穿戴系统400还可以使用诸如IMU、加速度计、陀螺仪等的传感器来确定头部姿势(例如，头部位置或头部取向)。
可穿戴系统400可以包括用户输入设备466，通过该用户输入设备466用户可以向控制器460输入命令以与可穿戴系统400交互。例如，用户输入设备466可以包括触控板、触摸屏、操纵杆、多自由度(DOF)控制器、电容感测设备、游戏控制器、键盘、鼠标、方向垫(D-pad)、魔杖、触觉设备、图腾(例如，用作虚拟用户输入设备)等等。多DOF控制器可以感测控制器的部分或全部可能的平移(例如，左/右、前/后、或上/下)或旋转(例如，偏航、俯仰或翻滚)方面的用户输入。支持平移运动的多DOF控制器可以被称为3DOF，而支持平移和旋转的多DOF控制器可以被称为6DOF。在一些情况下，用户可以使用手指(例如，拇指)在触敏输入设备上按压或轻扫以向可穿戴系统400提供输入(例如，以将用户输入提供给由可穿戴系统400提供的用户界面)。用户输入设备466可以在使用可穿戴系统400期间由用户的手保持。用户输入设备466可以与可穿戴系统400进行有线或无线通信。
可穿戴系统的其它部件
在许多实施方式中，可穿戴系统可以包括其它部件，作为上述可穿戴系统的部件的补充或替代。可穿戴系统例如可以包括一个或多个触觉设备或部件。触觉设备或部件可以用于向用户提供触觉。例如，触觉设备或部件可以在触摸虚拟内容(例如，虚拟对象、虚拟工具、其它虚拟构造)时提供压力或纹理的触觉。触觉可以复制虚拟对象表示的物理对象的感觉，或者可以复制虚拟内容表示的想象的对象或角色(例如，龙)的感觉。在一些实施方式中，触觉设备或部件可由用户穿戴(例如，用户可穿戴的手套)。在一些实施方式中，触觉设备或部件可以由用户保持。
可穿戴系统例如可以包括可由用户操纵的一个或多个物理对象以允许输入或与可穿戴系统进行交互。这些物理对象在本文中可以被称为图腾。一些图腾可采取无生命对象的形式，诸如例如金属或塑料块、墙壁、桌子的表面。在某些实施方式中，图腾可能实际上不具有任何物理输入结构(例如，键、触发器、操纵杆、轨迹球、摇杆开关)。相反，图腾可以简单地提供物理表面，并且可穿戴系统可以呈现用户界面，以便对于用户而言看起来在图腾的一个或多个表面上。例如，可穿戴系统可以使计算机键盘和触控板的图像看起来驻留在图腾的一个或多个表面上。例如，可穿戴系统可以使虚拟计算机键盘和虚拟触控板看起来在作为图腾的铝的薄矩形板的表面上。矩形板本身没有任何物理键或触控板或传感器。然而，可穿戴系统可以检测用户操纵或交互或触摸该矩形板作为经由虚拟键盘或虚拟触控板进行的选择或输入。用户输入设备466(在图4中示出)可以是图腾的实施例，其可以包括触控板、触摸板、触发器、操纵杆、轨迹球、摇杆或虚拟开关、鼠标、键盘、多自由度控制器或另一物理输入设备。用户可以单独或与姿势结合使用图腾，以与可穿戴系统或其它用户进行交互。
在美国专利公开No.2015/0016777中描述了可用于本公开的可穿戴设备、HMD和显示系统的触觉设备和图腾的示例，其全部内容通过引用并入本文中。
眼睛图像的示例
图5示出了具有眼睑504、巩膜508(眼睛的“白色部分”)、虹膜512和瞳孔516的眼睛500的图像。曲线516a示出了瞳孔516和虹膜512之间的瞳孔边界，并且曲线512a示出了虹膜512和巩膜508之间的角膜缘边界。眼睑504包括上眼睑504a和下眼睑504b。所示的眼睛500处于自然静止姿势(例如，其中用户的面部和注视均朝向用户正前方的远处对象)。眼睛500的自然静止姿势可以由自然静止方向520指示，该自然静止方向520是当眼睛500处于自然静止姿势时与眼睛500的表面正交的方向(例如，从图5所示的眼睛500的平面直接向外)，在该示例中，位于瞳孔516的中心。
当眼睛500移动以看向不同对象时，眼睛姿势将相对于自然静止方向520发生变化。当前的眼睛姿势可以参考眼睛姿势方向524来确定，该眼睛姿势方向524是与眼睛的表面正交的方向(并且位于瞳孔516内的中心)，但朝向眼睛当前注视的对象。参考图5A所示的示例坐标系，眼睛500的姿势可以表示为指示眼睛的眼睛姿势方向524的方位角偏转(azimuthal deflection)和天顶偏转(zenithal deflection)的两个角度参数，两个偏转均相对于眼睛的自然静止方向520。为了说明的目的，这些角度参数可以表示为θ(方位角偏转，根据基准方位确定)和φ(天顶偏转，有时也称为极角偏转)。在一些实施方式中，围绕眼睛姿势方向524的眼睛的角向滚动可以被包括在眼睛姿势的确定中，而且，角向滚动可以被包括在以下分析中。在其它实施方式中，可以使用用于确定眼睛姿势的其它技术，例如俯仰、偏航和可选的翻滚系统。
可以使用任何适当的过程从视频中获得眼睛图像，例如使用可以从一个或多个连续帧中提取图像的视频处理算法。可以使用各种眼睛跟踪技术从眼睛图像确定眼睛姿势。例如，可以通过考虑角膜对所提供的光源的透镜作用来确定眼睛姿势。在本文所述的眼睑形状估计技术中，可以使用任何合适的眼睛跟踪技术来确定眼睛姿势。
眼睛跟踪系统的示例
图6示出了包括眼睛跟踪系统的可穿戴系统600的示意图。在至少一些实施例中，可穿戴系统600可以包括位于头戴式单元602中的部件和位于非头戴式单元604中的部件。非头戴式单元604例如可以是束带安装式部件、手持式部件、背包中的部件、远程部件等。将可穿戴系统600的某些部件包含在非头戴式单元604中有助于减小头戴式单元602的尺寸、重量、复杂性和成本。在一些实施方式中，被描述为由头戴式单元602和/或非头戴式单元604的一个或多个部件执行的部分或全部功能可以通过被包括在可穿戴系统600中其它位置的一个或多个部件来提供。例如，下面与头戴式单元602的CPU 612相关联的部分或全部功能可以通过非头戴式单元604的CPU 616提供，反之亦然。在一些示例中，部分或全部这样的功能可以通过可穿戴系统600的外围设备来提供。此外，在一些实施方式中，部分或全部这样的功能可以通过一个或多个云计算设备或其它远程定位计算设备，以类似于上面参考图2描述的方式来提供。
如图6所示，可穿戴系统600可以包括眼睛跟踪系统，该眼睛跟踪系统包括捕获用户眼睛610的图像的相机324。如果需要，眼睛跟踪系统还可以包括光源326a和326b(诸如发光二极管“LED”)。光源326a和326b可以产生亮斑(例如，在由相机324捕获的眼睛图像中出现的从用户眼睛的反射)。光源326a和326b相对于相机324的位置可以是已知的，因此，由相机324捕获的图像内的亮斑位置可用于跟踪用户的眼睛(如下面将结合图7至11更详细地讨论的)。在至少一个实施例中，可以具有与用户的眼睛610中的单只眼睛相关联的一个光源326和一个相机324。在另一实施例中，可以具有与用户的眼睛610中的每一只眼睛相关联的一个光源326和一个相机324。在另外的实施例中，可以具有与用户的眼睛610中的一只或每一只相关联的一个或多个相机324以及一个或多个光源326。作为特定示例，可以具有与用户的眼睛610中的每一只相关联的两个光源326a和326b以及一个或多个相机324。作为另一示例，可以具有与用户的眼睛610中的每一只相关联的三个或更多个光源(诸如光源326a和326b)以及一个或多个相机324。
眼睛跟踪模块614可以从眼睛跟踪相机324接收图像，并且可以分析图像以提取各种信息片段。作为示例，眼睛跟踪模块614可以检测用户的眼睛姿势、用户的眼睛相对于眼睛跟踪相机324(以及相对于头戴式单元602)的三维位置、用户的眼睛610中的一只或全部两只的聚焦方向、用户的辐辏深度(例如，用户正聚焦的相对于用户的深度)、用户瞳孔的位置、用户的角膜和角膜球的位置、用户眼睛中的每一只的旋转中心，以及用户眼睛中的每一只的透视中心。眼睛跟踪模块614可以使用下面结合图7至11描述的技术来提取这种信息。如图6所示，眼睛跟踪模块614可以是使用头戴式单元602中的CPU 612实现的软件模块。
来自眼睛跟踪模块614的数据可以被提供给可穿戴系统中的其它部件。例如，可以将这种数据传输到非头戴式单元604中的部件，例如CPU 616，其包括用于光场渲染控制器618和配准观察器620的软件模块。
渲染控制器618可以使用来自眼睛跟踪模块614的信息来调整由渲染引擎622(例如，可以是GPU 620中的软件模块并且可以向显示器220提供图像的渲染引擎)向用户显示的图像。作为示例，渲染控制器618可以基于用户的旋转中心或透视中心调整显示给用户的图像。具体地，渲染控制器618可以使用关于用户的透视中心的信息来模拟渲染相机(例如，模拟从用户的视角收集图像)，并且可以基于模拟的渲染相机调整显示给用户的图像。
“渲染相机”，有时也称为“针孔透视相机”(或简称为“透视相机”)或“虚拟针孔相机”(或简称为“虚拟相机”)，是用于渲染虚拟图像内容的模拟相机，这些虚拟图像内容可能来自虚拟世界中的对象的数据库。对象可以具有相对于用户或穿戴者，并且可能相对于用户或穿戴者周围环境中的真实对象的位置和取向。换句话说，渲染相机可以表示渲染空间内的视角，用户或穿戴者从该视角观看渲染空间的3D虚拟内容(例如，虚拟对象)。渲染相机可以由渲染引擎管理，以基于要呈现给所述眼睛的虚拟对象的数据库渲染虚拟图像。虚拟图像可被渲染为如同从用户或穿戴者的视角拍摄的一样。例如，虚拟图像可被渲染为如同由具有一组特定的内在参数(例如焦距、相机像素大小、主点坐标、偏斜/失真参数等)和一组特定的外在参数(例如，相对于虚拟世界的平移分量和旋转分量)的针孔相机(对应于“渲染相机”)捕获的一样。虚拟图像从这种具有渲染相机的位置和取向(例如，渲染相机的外在参数)的相机的视角拍摄。因此，系统可以定义和/或调整内在和外在渲染相机参数。例如，系统可以定义一组特定的外在渲染相机参数，使得虚拟图像被渲染为如同从具有相对于用户或穿戴者的眼睛的特定位置的相机的视角捕获的一样，从而提供看起来来自用户或穿戴者的视角的图像。系统随后可以动态地即兴(on-the-fly)调整外在渲染相机参数，以便保持与所述特定位置的配准。类似地，可以定义并随时间动态地调整内在渲染相机参数。在一些实施方式中，图像被渲染为如同从具有位于相对于用户或穿戴者的眼睛的特定位置(例如，透视中心或旋转中心或其它位置)处的光圈(例如，针孔)的相机的视角捕获的一样。
在一些实施例中，系统可以针对用户的左眼创建或动态地重新定位和/或重新定向一个渲染相机，以及针对用户的右眼创建或动态地重新定位和/或重新定向另一渲染相机，因为用户的眼睛在物理上彼此分离并因此始终定位在不同位置处。因此，在至少一些实施方式中，从与观看者的左眼相关联的渲染相机的视角渲染的虚拟内容可以通过头戴式显示器(例如，头戴式单元602)左侧的目镜呈现给用户，并且从与观看者的右眼相关联的渲染相机的视角渲染的虚拟内容可以通过这种头戴式显示器右侧的目镜呈现给用户。讨论在渲染过程中创建、调整和使用渲染相机的更多细节在名称为“METHODS AND SYSTEMS FORDETECTING AND COMBINING STRUCTURAL FEATURES IN 3D RECONSTRUCTION(用于在3D重建中检测和组合结构特征的方法和系统)”的美国专利申请No.15/274,823中提供，该专利申请的全部内容出于所有目的通过引用明确地并入本文中。
在一些示例中，系统600的一个或多个模块(或部件)(例如，光场渲染控制器618、渲染引擎620等)可以基于用户的头部和眼睛的位置和取向(例如，分别基于头部姿势和眼睛跟踪数据确定的)确定渲染相机在渲染空间内的位置和取向。也就是说，系统600可以有效地将用户的头部和眼睛的位置和取向映射到3D虚拟环境内的特定位置和角度方位，将渲染相机放置和定向在3D虚拟环境内的特定位置和角度方位，以及为用户渲染虚拟内容，就像被渲染相机捕获的一样。讨论真实世界到虚拟世界映射过程的更多细节在名称为“SELECTING VIRTUAL OBJECTS IN A THREE-DIMENSIONAL SPACE(在三维空间中选择虚拟对象)”的美国专利申请No.15/296,869中提供，该专利申请的全部内容出于所有目的通过引用明确地并入本文中。作为示例，渲染控制器618可以通过选择在任何给定时间利用哪个深度平面(或哪些深度平面)显示图像来调整图像被显示于的深度。在一些实施方式中，可以通过调整一个或多个内在渲染相机参数来执行这种深度平面切换。例如，当执行深度平面切换或调整时，光场渲染控制器618可以调整渲染相机的焦距。如下面进一步详细描述的，可以基于用户的确定的辐辏或注视深度来切换深度平面。
配准观察器620可以使用来自眼睛跟踪模块614的信息来识别头戴式单元602是否正确地定位在用户的头部上。作为示例，眼睛跟踪模块614可以提供眼睛位置信息，例如用户眼睛的旋转中心的位置，该信息指示用户的眼睛相对于相机324和头戴式单元602的三维位置，眼睛跟踪模块614可以使用该位置信息来确定显示器220是否在用户的视场中正确地对准，或者头戴式单元602(或头戴装置)是否已经滑落或以其它方式与用户的眼睛未对准。作为示例，配准观察器620能够确定：头戴式单元602是否已经从用户的鼻梁滑下，从而将显示器220从用户的眼睛移开和向下移动(这是不希望的)；头戴式单元602是否沿着用户的鼻梁向上移动，从而使显示器220向上移动使其更靠近用户的眼睛；头戴式单元602是否已经相对于用户的鼻梁向左或向右移动；头戴式单元602是否已经被上升到用户的鼻梁上方；或者头戴式单元602是否已经以这些或其它方式被从期望的位置或位置范围移开。通常，配准观察器620能够确定一般的头戴式单元602以及具体的显示器220是否被正确地定位在用户的眼睛前方。换句话说，配准观察器620可以确定显示系统220中的左显示器是否与用户的左眼适当地对准，并且显示系统220中的右显示器是否与用户的右眼适当地对准。配准观察器620可以通过确定头戴式单元602是否被定位和定向在相对于用户的眼睛的期望的位置和/或取向范围内来确定头戴式单元602是否被适当地定位。
在至少一些实施例中，配准观察器620可以生成警报、消息或其它内容形式的用户反馈。可以将这种反馈提供给用户以向用户通知头戴式单元602的任何未对准，以及关于如何校正未对准的可选反馈(诸如以特定方式调整头戴式单元602的建议)。
配准观察器620可使用的示例配准观察和反馈技术在2017年9月27日提交的美国专利申请No.15/717,747(代理案卷号MLEAP.052A2)和2018年3月16日提交的美国临时专利申请No.62/644,321(代理案卷号MLEAP.195PR)中进行了描述，这两个专利申请的全部内容通过引用并入本文中。
眼睛跟踪模块的示例
示例眼睛跟踪模块614的详细框图在图7A中示出。如图7A所示，眼睛跟踪模块614可以包括各种不同的子模块，可以提供各种不同的输出，并且可以利用各种可用数据来跟踪用户的眼睛。作为示例，眼睛跟踪模块614可以利用包括以下项的可用数据：眼睛跟踪外在特征和内在特征，例如眼睛跟踪相机324相对于光源326和头戴式单元602的几何布置；假设的眼睛尺寸704，例如用户的角膜曲率中心和用户眼睛的平均旋转中心之间的约4.7mm的典型距离，或用户的旋转中心和透视中心之间的典型距离；以及按用户(per-user)校准数据706，例如特定用户的瞳距。眼睛跟踪模块614可采用的外在特征、内在特征和其它信息的附加示例在2017年4月26日提交的美国专利申请No.15/497,726(代理案卷号MLEAP.023A7)中进行了描述，该专利申请的全部内容通过引用并入本文中。
图像预处理模块710可以从眼睛相机(诸如眼睛相机324)接收图像，并且可以对接收到的图像执行一个或多个预处理(例如，调节)操作。作为示例，图像预处理模块710可以对图像应用高斯模糊，可以将图像下采样到较低分辨率，可以应用非锐化蒙版，可以应用边缘锐化算法，或者可以应用有助于后期检测、定位和标记来自眼睛相机324的图像中的亮斑、瞳孔或其它特征的其它适合的滤波器。图像预处理模块710可以应用低通滤波器或形态滤波器(例如开放式滤波器)，这些滤波器可以去除诸如来自瞳孔边界516a(参见图5)的高频率噪声，从而去除可能妨碍瞳孔和亮斑确定的噪声。图像预处理模块710可以将预处理后的图像输出到瞳孔识别模块712以及亮斑检测和标记模块714。
瞳孔识别模块712可以从图像预处理模块710接收预处理后的图像，并且可以识别这些图像中包括用户瞳孔的区域。在一些实施例中，瞳孔识别模块712可以在来自相机324的眼睛跟踪图像中确定用户瞳孔的位置的坐标或其中心或形心(centroid)的坐标。在至少一些实施例中，瞳孔识别模块712可以识别眼睛跟踪图像中的轮廓(例如，瞳孔虹膜边界的轮廓)，识别轮廓矩(例如，质心)，应用星爆瞳孔检测和/或Canny边缘检测算法，丢弃基于强度值的离群值，识别子像素边界点，校正眼睛相机失真(例如，由眼睛相机324捕获的图像中的失真)，应用随机采样一致性(RANSAC)迭代算法以将椭圆拟合到眼睛跟踪图像中的边界，向图像应用跟踪滤波器，以及识别用户瞳孔形心的子像素图像坐标。瞳孔识别模块712可以向亮斑检测和标记模块714输出瞳孔识别数据，该瞳孔识别数据可以指示预处理图像模块712的哪些区域被识别为显示用户瞳孔。瞳孔识别模块712可以将每个眼睛跟踪图像中的用户瞳孔的2D坐标(例如，用户瞳孔形心的2D坐标)提供给亮斑检测模块714。在至少一些实施例中，瞳孔识别模块712还可以将同一类瞳孔识别数据提供给坐标系规范化模块718。
瞳孔识别模块712可以利用的瞳孔检测技术在2017年2月23日公开的美国专利公开No.2017/0053165和2017年2月23日公开的美国专利公开No.2017/0053166中进行了描述，这两个专利公开的每一者的全部内容通过引用并入本文中。
亮斑检测和标记模块714可以从模块710接收预处理后的图像，以及从模块712接收瞳孔识别数据。亮斑检测模块714可以使用该数据来检测和/或识别显示用户瞳孔的预处理后的图像的区域内的亮斑(例如，来自光源326的光从用户眼睛的反射)。作为示例，亮斑检测模块714可以搜索眼睛跟踪图像内的亮区，在本文中有时被称为“斑点”或局部强度最大值，其位于用户的瞳孔附近。在至少一些实施例中，亮斑检测模块714可以重新缩放(例如放大)瞳孔椭圆以包含附加的亮斑。亮斑检测模块714可以按大小和/或强度过滤亮斑。亮斑检测模块714还可以确定眼睛跟踪图像内每个亮斑的2D位置。在至少一些示例中，亮斑检测模块714可以确定亮斑相对于用户瞳孔的2D位置，其也可被称为瞳孔-亮斑矢量。亮斑检测和标记模块714可以标记亮斑，并将带有标记的亮斑的预处理图像输出到3D角膜中心估计模块716。亮斑检测和标记模块714还可以传递数据，例如来自模块710的预处理后的图像和来自模块712的瞳孔识别数据。在一些实施方式中，亮斑检测和标记模块714可以确定哪个光源(例如，从包括红外光源326a和326b的系统的多个光源中确定)产生每个识别出的亮斑。在这些示例中，亮斑检测和标记模块714可以用识别关联光源的信息来标记亮斑，并将带有标记的亮斑的预处理图像输出到3D角膜中心估计模块716。
由诸如模块712和714之类的模块执行的瞳孔和亮斑检测可以使用任何合适的技术。作为示例，可以将边缘检测应用于眼睛图像以识别亮斑和瞳孔。边缘检测可以通过各种边缘检测器、边缘检测算法或滤波器来应用。例如，可以将Canny边缘检测器应用于图像，以检测诸如图像线条中的边缘。边缘可以包括沿着线定位的对应于局部最大导数的点。例如，可以使用Canny边缘检测器来定位瞳孔边界516a(参见图5)。在确定了瞳孔位置的情况下，可以使用各种图像处理技术来检测瞳孔116的“姿势”。确定眼睛图像的眼睛姿势也可被称为检测眼睛图像的眼睛姿势。姿势也可被称为注视、指向方向或眼睛的取向。例如，瞳孔可能正在向左观看对象，并且瞳孔的姿势可以被分类为向左姿势。可以使用其它方法来检测瞳孔或亮斑的位置。例如，可以使用Canny边缘检测器定位眼睛图像中的同心环。作为另一示例，可以使用积分-微分算子找到虹膜的瞳孔或角膜缘边界。例如，可以使用Daugman积分-微分算子、Hough变换或其它虹膜分割技术来返回估计瞳孔或虹膜的边界的曲线。
3D角膜中心估计模块716可以从模块710、712、714接收包括检测到的亮斑数据和瞳孔识别数据的预处理后的图像。3D角膜中心估计模块716可以使用这些数据来估计用户角膜的3D位置。在一些实施例中，3D角膜中心估计模块716可以估计眼睛的角膜曲率中心或用户的角膜球的3D位置，例如，假想球体的中心，该球体的表面部分与用户的角膜大致共同延伸。3D角膜中心估计模块716可以将指示角膜球和/或用户角膜的估计的3D坐标的数据提供给坐标系规范化模块718、光轴确定模块722和/或光场渲染控制器618。3D角膜中心估计模块716的更多操作细节在本文中结合图8A至8E提供。本公开的可穿戴系统中的3D角膜中心估计模块716和其它模块可以利用的用于估计眼睛特征(例如，角膜或角膜球)的位置的技术在2017年4月26日提交的美国专利申请No.15/497,726(代理案卷号MLEAP.023A7)中进行了讨论，该专利申请的全部内容通过引用并入本文中。
坐标系规范化模块718可以可选地(如其虚线框所示)被包括在眼睛跟踪模块614中。坐标系规范化模块718可以从3D角膜中心估计模块716接收指示用户角膜中心(和/或用户角膜球中心)的估计的3D坐标的数据，并且还可以从其它模块接收数据。坐标系规范化模块718可以规范化眼睛相机坐标系，这有助于补偿可穿戴设备的滑移(slippage)(例如，头戴式部件从其在用户头部的正常静止位置滑移，这可以通过配准观察器620识别)。坐标系规范化模块718可以旋转坐标系以将坐标系的z轴(例如，辐辏深度轴)与角膜中心(例如，由3D角膜中心估计模块716指示)对准，并且可以将相机中心(例如，坐标系的原点)平移至远离角膜中心的预定距离，例如30mm(例如，模块718可以放大或缩小眼睛跟踪图像，这取决于眼睛相机324被确定为比预定距离更近还是更远)。通过该规范化过程，眼睛跟踪模块614能够相对独立于用户头部上的头戴装置定位的变化而在眼睛跟踪数据中建立一致的取向和距离。坐标系规范化模块718可以向3D瞳孔中心定位器模块720提供角膜(和/或角膜球)中心的3D坐标、瞳孔识别数据和预处理后的眼睛跟踪图像。坐标系规范化模块718的更多操作细节在本文中结合图9A至9C提供。
3D瞳孔中心定位器模块720可以在规范化或未规范化的坐标系中接收数据，该数据包括用户的角膜(和/或角膜球)中心的3D坐标、瞳孔位置数据和预处理后的眼睛跟踪图像。3D瞳孔中心定位器模块720可以分析这种数据以确定用户的瞳孔中心在规范化或未规范化的眼睛相机坐标系中的3D坐标。3D瞳孔中心定位器模块720可以基于瞳孔形心的2D位置(如模块712确定的)、角膜中心的3D位置(如模块716确定的)、假设的眼睛尺寸704(例如，典型用户角膜球的大小以及从角膜中心到瞳孔中心的典型距离)，以及眼睛的光学特性(例如，角膜折射率(相对于空气折射率))或这些的任意组合，确定用户瞳孔在三维中的位置。3D瞳孔中心定位器模块720的更多操作细节在本文中结合图9D至9G提供。本公开的可穿戴系统中的3D瞳孔中心定位器模块720和其它模块可以利用的用于估计眼睛特征(例如，瞳孔)的位置的技术在2017年4月26日提交的美国专利申请No.15/497,726(代理案卷号MLEAP.023A7)中进行了讨论，该专利申请的全部内容通过引用并入本文中。
光轴确定模块722可以从模块716和720接收指示用户角膜中心和用户瞳孔的3D坐标的数据。基于这种数据，光轴确定模块722可以识别从角膜中心(例如，从角膜球中心)的位置到用户的瞳孔中心的矢量，该矢量可以限定用户眼睛的光轴。作为示例，光轴确定模块722可以将指定用户的光轴的输出提供给模块724、728、730和732。
旋转中心(CoR)估计模块724可以从模块722接收数据，该数据包括用户眼睛的光轴的参数(例如，指示光轴在坐标系中的方向的数据，此方向与头戴式单元602具有已知的关系)。例如，CoR估计模块724可以估计用户眼睛的旋转中心。旋转中心可以指示当用户的眼睛向左、向右、向上和/或向下旋转时用户的眼睛绕其旋转的点。尽管眼睛可能无法围绕奇异点完美旋转，但假设奇异点就足够了。在至少一些实施例中，CoR估计模块724可以通过沿着光轴(由模块722识别)从瞳孔中心(由模块720识别)或角膜曲率中心(由模块716识别)向视网膜向移动特定距离来估计眼睛的旋转中心。该特定距离可以是假设的眼睛尺寸704。作为一个示例，角膜曲率中心和CoR之间的特定距离可以为约4.7mm。可以基于任何相关数据(包括用户的年龄、性别、视力处方、其它相关特征等)，针对特定用户更改该距离。作为角膜曲率中心和CoR之间的距离的估计的值4.7mm的其它讨论在构成本申请一部分的附录(第三部分)中提供。
在至少一些实施例中，CoR估计模块724可以细化(refine)其随时间对用户的每只眼睛的旋转中心的估计。作为示例，随着时间的流逝，用户最终旋转眼睛(看向其它地方更近、更远的对象或某个时候向左、向右、向上或向下看)，导致其每只眼睛的光轴发生偏移。CoR估计模块724然后分析由模块722识别的两个(或更多个)光轴，并定位这些光轴的3D交点。CoR估计模块724然后可以确定旋转中心位于该3D交点。这种技术可以提供旋转中心的估计，其准确性随着时间的推移而提高。
可以采用各种技术来增加CoR估计模块724以及所确定的左眼和右眼的CoR位置的准确性。作为示例，CoR估计模块724可以通过找到随时间针对各种不同的眼睛姿势确定的光轴的平均交点来估计CoR。作为附加示例，模块724可以对随时间估计的CoR位置进行滤波或求平均，可以计算随时间估计的CoR位置的移动平均值，和/或可以应用卡尔曼滤波器以及眼睛和眼睛跟踪系统的已知动力学来估计随时间的CoR位置。在一些实施方式中，可以采用最小二乘法来确定光轴的一个或多个交点。在这样的实施方式中，系统可以在给定的时间点识别其中到给定光轴组的平方距离之和作为光轴的交点而减小或最小化的位置。作为特定示例，模块724可以计算所确定的光轴交点和假设的CoR位置(例如，距眼睛的角膜曲率中心4.7mm)的加权平均值，使得所确定的CoR可以随时间从假设的CoR位置(例如，眼睛的角膜曲率中心后面的4.7mm处)缓慢漂移到用户眼睛内的稍微不同的位置，因为获得了该用户的眼睛跟踪数据，从而能够实现对CoR位置的按每个用户细化。
在理想条件下，当用户移动其眼睛(例如，当用户的眼睛绕其旋转中心旋转)时，用户眼睛的真实CoR相对于HMD的3D位置应该随时间变化可忽略的量或最小量。换句话说，对于给定的一组眼睛移动，用户眼睛的真实CoR(相对于HMD)的3D位置假设随时间的变化应小于沿着用户眼睛的光轴的任何其它点的变化。这样，可以得出结论，当用户移动其眼睛时，沿着光轴的点距用户眼睛的真实CoR越远，其3D位置将展现出随时间的越大变化或方差。在一些实施例中，眼睛跟踪模块614的CoR估计模块724和/或其它子模块可以利用该统计关系来提高CoR估计精度。在这种实施例中，眼睛跟踪模块614的CoR估计模块724和/或其它子模块可以通过识别其具有低变化(例如，低方差或标准差)的CoR估计的变化来细化其随时间对CoR 3D位置的估计。
作为第一示例以及在其中CoR估计模块724基于多个不同光轴的相交(每个光轴与用户看向不同方向相关联)来估计CoR的实施例中，CoR估计模块724可以通过以下方式利用该统计关系(即，真实的CoR应该具有低方差)：在每个光轴的方向上引入公共偏移量(例如，将每个轴偏移某个相同的量)，并确定偏移的光轴是否在具有低变化(例如，低方差或标准差)的交点中彼此相交。这可以校正计算光轴方向时的小系统误差，并有助于细化CoR的估计位置，使其更接近真实的CoR。
作为第二示例以及在其中CoR估计模块724通过沿着光轴(或其它轴)移动特定距离(例如，角膜曲率中心和CoR之间的距离)来估计CoR的实施例中，系统可以以减少或最小化所估计的CoR位置的变化(例如，方差和/或标准差)的方式改变、优化、调制或以其它方式调整随着时间的推移(例如，对于在不同时间捕获的一大组眼睛图像)角膜曲率中心和CoR之间的特定距离。例如，如果CoR估计模块724最初使用特定距离值4.7mm(沿着光轴相对于角膜曲率中心)来获得CoR位置估计，但是给定用户的眼睛的真实CoR可以定位在眼睛的角膜曲率中心之后(沿着光轴)的4.9mm处，则由CoR估计模块724获得的一组初始的CoR位置估计可以表现出相对高的变化量(例如，方差或标准差)。响应于检测到这种相对高的变化量(例如，方差或标准差)，CoR估计模块724可以沿着光轴寻找并识别具有较低变化量(例如，方差或标准差)的一个或多个点，可以将4.9mm距离识别为具有最低变化量(例如，方差或标准差)，从而可以将所利用的特定距离值调整为4.9mm。
CoR估计模块724可以响应于检测到当前CoR估计具有相对高的变化量(例如，方差或标准差)而寻找具有较低变化量(例如，方差和/或标准差)的替代CoR估计，或者可以在获得初始CoR估计后照例寻找具有较低变化量(例如，方差或标准差)的替代CoR估计。在一些示例中，这种优化/调整可以随时间的推移逐渐发生，而在其它示例中，这种优化/调整可以在初始用户校准会话期间进行。在其中在校准过程中进行这种进程的示例中，CoR估计模块724可能最初不预订/遵守任何假设的特定距离，而是随着时间的推移收集一组眼睛跟踪数据，对这组眼睛跟踪数据进行统计分析，并基于统计分析而确定特定距离值，该特定距离值产生具有最小(例如，全局最小)可能变化量(例如，方差或标准差)的CoR位置估计。
构成本申请的一部分的附录(第III部分)提供了上述统计关系的其它讨论(例如，真实CoR应该具有低的方差或标准差)，以及在确定瞳孔位置时考虑角膜折射的重要性。
瞳距(IPD)估计模块726可从CoR估计模块724接收指示用户的左眼和右眼的旋转中心的估计的3D位置的数据。IPD估计模块726然后可以通过测量用户的左眼和右眼的旋转中心之间的3D距离来估计用户的IPD。通常，当用户正在看光学无限远时(例如，用户眼睛的光轴基本彼此平行)，用户的左眼的估计的CoR和用户的右眼的估计的CoR之间的距离可以大致等于用户的瞳孔中心之间的距离，这是瞳距(IPD)的典型定义。用户的IPD可由可穿戴系统中的各种部件和模块使用。例如，可以将用户的IPD提供给配准观察器620，并用于评估可穿戴设备与用户眼睛对准的程度(例如，左右显示透镜是否根据用户的IPD正确地间隔开)。作为另一示例，可以将用户的IPD提供给辐辏深度估计模块728，并用于确定用户的辐辏深度。模块726可以采用各种技术，例如结合CoR估计模块724所讨论的技术，以提高所估计的IPD的准确性。作为示例，IPD估计模块724可以应用滤波、随时间的推移求平均、包括假设的IPD距离的加权平均、卡尔曼滤波器等，作为以精确的方式估计用户的IPD的一部分。
辐辏深度估计模块728可以从眼睛跟踪模块614中的各个模块和子模块(如结合图7A所示)接收数据。具体地，辐辏深度估计模块728可采用指示以下项的数据：瞳孔中心的估计的3D位置(例如，由上述模块720提供的)、光轴的一个或多个确定的参数(例如，由上述模块722提供的)、旋转中心的估计的3D位置(例如，由上述模块724提供的)、估计的IPD(例如，旋转中心的估计的3D位置之间的欧几里德距离)(例如，由上述模块726提供的)，和/或光轴和/或视轴的一个或多个确定的参数(例如，由模块722和/或下面描述的模块730提供的)。辐辏深度估计模块728可以检测或以其它方式获得用户的辐辏深度度量，该度量可以是用户眼睛聚焦的相对于用户的距离。例如，当用户正在看其前方三英尺处的对象时，用户的左眼和右眼的辐辏深度为三英尺；并且，当用户正在看远处风景时(例如，用户眼睛的光轴基本彼此平行，使得用户瞳孔中心之间的距离大致等于用户的左眼和右眼的旋转中心之间的距离)，用户的左眼和右眼具有无限远的辐辏深度。在一些实施方式中，辐辏深度估计模块728可以利用指示用户瞳孔的估计的中心的数据(例如，由模块720提供的)来确定用户瞳孔的估计的中心之间的3D距离。辐辏深度估计模块728可以通过将瞳孔中心之间的这种确定的3D距离与估计的IPD(例如，旋转中心的估计的3D位置之间的欧几里得距离)(例如，由上述模块726指示的)进行比较来获得辐辏深度的度量。除了瞳孔中心和估计的IPD之间的3D距离之外，辐辏深度估计模块728还可以利用已知的、假设的、估计的和/或确定的几何形状来计算辐辏深度。作为示例，模块728可以在三角计算中组合瞳孔中心之间的3D距离、估计的IPD和3D CoR位置，以估计(例如，确定)用户的辐辏深度。实际上，针对估计的IPD计算瞳孔中心之间的这种确定的3D距离可用于指示相对于光学无限远的用户当前辐辏深度的度量。在一些示例中，辐辏深度估计模块728可以简单地接收或访问指示估计的用户瞳孔中心之间的估计的3D距离的数据，以便获得这种辐辏深度的度量。在一些实施例中，辐辏深度估计模块728可以通过比较用户的左右光轴来估计辐辏深度。具体地，辐辏深度估计模块728可以通过定位其中用户的左右光轴相交(或者用户的左右光轴在平面(例如，水平平面)上的投影相交)处相对于用户的距离来估计辐辏深度。通过将零深度设定为其中用户的左右光轴被用户的IPD分开的深度，模块728可以在该计算中利用用户的IPD。在至少一些实施例中，辐辏深度估计模块728可以通过将眼睛跟踪数据与已知或导出的空间关系一起进行三角划分(triangulate)来确定辐辏深度。
在一些实施例中，辐辏深度估计模块728可以基于用户的视轴(而非其光轴)的相交来估计用户的辐辏深度，这可以提供用户所聚焦于的距离的更精确指示。在至少一些实施例中，眼睛跟踪模块614可以包括光轴到视轴映射模块730。如结合图10更详细讨论的，用户的光轴和视轴通常不对准。视轴是人注视所沿着的轴，而光轴是由人的晶状体和瞳孔的中心限定的，并且可以穿过人的视网膜中心。特别地，用户的视轴通常由用户中央凹(fovea)的位置限定，中央凹的位置可能偏离用户视网膜的中心，从而导致不同的光轴和视轴。在这些实施例中的至少一些实施例中，眼睛跟踪模块614可以包括光轴到视轴映射模块730。光轴到视轴映射模块730可以校正用户的光轴和视轴之间的差异，并向可穿戴系统中的其它部件(例如，辐辏深度估计模块728和光场渲染控制器618)提供关于用户视轴的信息。在一些示例中，模块730可以使用假设的眼睛尺寸704，其中包括光轴和视轴之间的向内(偏向鼻子，朝着用户鼻子)大约5.2°的典型偏移。换句话说，模块730可以将用户的左光轴朝着鼻子向右(偏向鼻子)移位5.2°，并且将用户的右光轴朝着鼻子向左(偏向鼻子)移位5.2°，以便估计用户的左右光轴的方向。在其它示例中，模块730可以在将光轴(例如，由上述模块722指示的)映射到视轴时利用按用户校准数据706。作为附加示例，模块730可以使用户的光轴偏向鼻子移位4.0°至6.5°，4.5°至6.0°，5.0°至5.4°等等，或者由这些值中的任何值形成的任何范围。在一些布置中，模块730可以至少部分地基于特定用户的特征(例如，他们的年龄、性别、视力处方或其它相关特征)应用移位，和/或可以至少部分地基于特定用户的校准过程(例如，确定特定用户的光轴-视轴偏移)应用移位。在至少一些实施例中，模块730还可将左右光轴的原点移位以对应于用户的CoP(由模块732确定的)而非用户的CoR。
当设置了可选的透视中心(CoP)估计模块732时，CoP估计模块732可以估计用户的左右透视中心(CoP)的位置。CoP可能是可穿戴系统的有用位置，并且在至少一些实施例中，CoP是瞳孔正前方的位置。在至少一些实施例中，CoP估计模块732可以基于用户的瞳孔中心的3D位置、用户的角膜曲率中心的3D位置或这种合适的数据或其任意组合来估计用户的左右透视中心的位置。作为示例，用户的CoP可以在角膜曲率中心的前方约5.01mm(例如，在朝向眼睛的角膜并沿着光轴的方向上距离角膜球中心5.01mm)处，并且可以沿着光轴或视轴在用户角膜的外表面的后方约2.97mm处。用户的透视中心可以在其瞳孔中心的正前方。例如，用户的CoP可以距用户的瞳孔小于约2.0mm，距用户的瞳孔小于约1.0mm，距用户的瞳孔小于约0.5mm，或者任何这些值中的任何值之间的任何范围。作为另一示例，透视中心可以对应于眼睛的前房内的位置。作为其它示例，CoP可以在1.0mm至2.0mm之间，约1.0mm，在0.25mm至1.0mm之间，在0.5mm至1.0mm之间，或者在0.25mm至0.5mm之间。
本文所述的透视中心(可能是渲染相机针孔的期望位置和用户眼睛中的解剖位置)可以是用于减小和/或消除不希望的视差偏移的位置。具体地，用户眼睛的光学系统非常近似地等同于由透镜前面的针孔形成的投射到屏幕上的理论系统，其中针孔、透镜和屏幕分别大致对应于用户的瞳孔/虹膜、晶状体和视网膜。此外，当与用户眼睛相距不同距离的两个点光源(或对象)严格围绕针孔开口旋转(例如，沿曲率半径旋转，该半径等于点光源各自相对于针孔开口的距离)时，希望具有很小的视差偏移或者没有视差偏移。因此，似乎CoP应该位于眼睛的瞳孔中心(并且在某些实施例中可以使用这种CoP)。然而，人眼除了晶状体和瞳孔的针孔外，还包括角膜，该角膜赋予朝着视网膜传播的光以额外的光焦度。因此，在本段落中所述的理论系统中，针孔的等效解剖部分可以是位于用户眼睛的角膜外表面与用户眼睛的瞳孔或虹膜的中心之间的用户眼睛区域。例如，针孔的等效解剖部分可以对应于用户眼睛前房内的区域。由于本文讨论的各种原因，希望将CoP设定为用户眼睛的前房内的这种位置。下面参考图22至24B更详细地描述CoP的推导和重要性。
如上所述，眼睛跟踪模块614可以将诸如左右眼旋转中心(CoR)的估计的3D位置、辐辏深度、左右眼光轴、用户眼睛的3D位置、用户左右角膜曲率中心的3D位置、用户左右瞳孔中心的3D位置、用户左右透视中心的3D位置、用户的IPD等的数据提供给可穿戴系统中的其它部件，例如光场渲染控制器618和配准观察器620。眼睛跟踪模块614还可以包括其它子模块，这些子模块检测并生成与用户眼睛的其它方面相关联的数据。作为示例，眼睛跟踪模块614可以包括在用户每次眨眼时提供标志或其它警报的眨眼检测模块以及在用户的眼睛每次扫视(例如，将焦点快速移到另一点)时提供标志或其它警报的扫视检测模块。
渲染控制器的示例
示例光场渲染控制器618的详细框图在图7B中示出。如图6和7B所示，渲染控制器618可以从眼睛跟踪模块614接收眼睛跟踪信息，并且可以将输出提供给渲染引擎622，渲染引擎622可以生成要显示的图像以供可穿戴系统的用户观看。作为示例，渲染控制器618可以接收辐辏深度、左右眼旋转中心(和/或透视中心)，以及其它眼睛数据，例如眨眼数据、扫视数据等。
深度平面选择模块750可以接收辐辏深度信息和其它眼睛数据，并且基于这种数据，可以使渲染引擎622通过特定深度平面(例如，以特定的调节或焦距)将内容传送给用户。如结合图4所讨论的，可穿戴系统可以包括由多个波导形成的多个离散的深度平面，每个深度平面以变化的波前曲率水平传送图像信息。在一些实施例中，可穿戴系统可以包括一个或多个可变深度平面，例如以随时间变化的波前曲率水平传送图像信息的光学元件。在这些和其它实施例中，深度平面选择模块750可以部分基于用户的辐辏深度，使渲染引擎622以选定的深度向用户传送内容(例如，使渲染引擎622指示显示器220切换深度平面)。在至少一些实施例中，深度平面选择模块750和渲染引擎622可以在不同深度处渲染内容，并且还生成深度平面选择数据和/或将深度平面选择数据提供给显示硬件，例如显示器220。诸如显示器220的显示硬件可以响应于由诸如深度平面选择模块750和渲染引擎622的模块生成和/或提供的深度平面选择数据(可以是控制信号)而执行电气深度平面切换。
通常，希望深度平面选择模块750选择与用户的当前辐辏深度匹配的深度平面，以便为用户提供准确的调节线索。然而，也希望以谨慎且不引人注目的方式切换深度平面。作为示例，希望避免深度平面之间的过度切换和/或希望在用户不太可能注意到切换时(例如，在眨眼或眼睛扫视期间)切换深度平面。
跨滞后带检测模块752可以帮助避免深度平面之间的过度切换，特别是当用户的辐辏深度在两个深度平面之间的中点或过渡点处波动时。具体地，模块752可以使深度平面选择模块750在其深度平面选择时表现出滞后性。作为示例，模块752可以仅在用户的辐辏深度越过第一阈值之后才使深度平面选择模块750从第一较远的深度平面切换到第二较近的深度平面。类似地，模块752可以仅在用户的辐辏深度越过比第一阈值距离用户更远的第二阈值之后才使深度平面选择模块750(其继而指示诸如显示器220的显示器)切换到第一较远的深度平面。在第一和第二阈值之间的重叠区域中，模块750可以使深度平面选择模块750保持当前选择的深度平面作为选定的深度平面，从而避免深度平面之间的过度切换。
眼睛事件检测模块750可以从图7A的眼睛跟踪模块614接收其它眼睛数据，并且可以使深度平面选择模块750延迟某些深度平面切换，直至发生眼睛事件。作为示例，眼睛事件检测模块750可以使深度平面选择模块750延迟计划的深度平面切换，直至检测到用户眨眼；可以从眼睛跟踪模块614中的眨眼检测部件接收指示用户当前正在眨眼的时间的数据；并且作为响应，可以使深度平面选择模块750在眨眼事件期间执行计划的深度平面切换(例如，通过使模块750指示显示器220在眨眼事件期间执行深度平面切换)。在至少一些实施例中，可穿戴系统能够在眨眼事件期间将内容移位到新的深度平面，使得用户不太可能察觉到该移位。作为另一示例，眼睛事件检测模块750可以延迟计划的深度平面切换，直至检测到眼睛扫视。如结合眨眼所讨论的，这种布置可以便于深度平面的离散移位。
如果需要，即使在不出现眼睛事件的情况下，深度平面选择模块750也可以在执行深度平面切换之前仅将计划的深度平面切换延迟有限时间段。类似地，即使在不出现眼睛事件的情况下，当用户的辐辏深度基本在当前选择的深度平面之外时(例如，当用户的辐辏深度已经超过深度平面切换的常规阈值以预定阈值时)，深度平面选择模块750也可以执行深度平面切换。这些布置可以帮助确保眼睛事件检测模块754不会无限地延迟深度平面切换，并且在存在较大调节误差时不会延迟深度平面切换。深度平面选择模块750的操作以及该模块如何对深度平面切换进行定时的更多细节在本文中结合图12提供。
渲染相机控制器758可以向渲染引擎622提供指示用户的左眼和右眼的位置的信息。然后，渲染引擎622可以通过在用户的左眼和右眼的位置处模拟相机，并基于模拟相机的视角生成内容，来生成内容。如上所述，渲染相机是用于渲染虚拟图像内容的模拟相机，这些虚拟图像内容可能来自虚拟世界中的对象的数据库。对象可以具有相对于用户或穿戴者，以及可能地相对于用户或穿戴者周围环境中的真实对象的位置和取向。渲染相机可以被包括在渲染引擎中，以基于要呈现给所述眼睛的虚拟对象的数据库渲染虚拟图像。虚拟图像可以被渲染为如同从用户或穿戴者的视角拍摄的一样。例如，虚拟图像可以被渲染为如同由具有观看虚拟世界中的对象的光圈、透镜和检测器的相机(对应于“渲染相机”)捕获的一样。虚拟图像从这种具有“渲染相机”位置的相机的视角拍摄。例如，虚拟图像可以被渲染为如同从具有相对于用户或穿戴者的眼睛的特定位置的相机的视角捕获的一样，从而提供看起来来自用户或穿戴者的视角的图像。在一些实施方式中，图像被渲染为如同从具有相对于用户或穿戴者的眼睛的特定位置(例如，如本文或其它地方讨论的透视中心或旋转中心)的光圈的相机的视角捕获的一样。
渲染相机控制器758可以基于由CoR估计模块724确定的左右眼旋转中心(CoR)和/或基于由CoP估计模块732确定的左右眼透视中心(CoP)而确定左右相机的位置。在一些实施例中，渲染相机控制器758可以基于各种因素在CoR和CoP位置之间切换。作为示例，渲染相机控制器758可以在各种模式下，始终将渲染相机配准到CoR位置，始终将渲染相机配准到CoP位置，基于各种因素随时间推移在将渲染相机配准到CoR位置和将渲染相机配准到CoP位置之间切换或离散地切换，或者基于各种因素随着时间的推移动态地将渲染相机配准到沿着CoR和CoP位置之间的光轴(或视轴)的一系列不同位置中的任一位置。CoR和CoP位置可以可选地通过平滑滤波器756(以用于渲染相机定位的上述任一模式)，该平滑滤波器756可以随时间的推移对CoR和CoP位置进行平均以降低这些位置中的噪声，并防止在渲染模拟的渲染相机中发生抖动(jitter)。
在至少一些实施例中，渲染相机可以被模拟为针孔相机，其中针孔设置在由眼睛跟踪模块614识别的估计的CoR或CoP的位置处。在CoP偏离CoR的情况下，每当渲染相机的位置基于用户的CoP时，渲染相机及其针孔均随着用户眼睛的旋转而移位(请参见例如如图16A和16B所示的渲染相机如何随眼睛旋转而线性平移)。相反，每当渲染相机的位置基于用户的CoR时，渲染相机针孔的位置不随眼睛旋转而移动，尽管在一些实施例中，渲染相机(位于针孔后面)可以随眼睛旋转而移动。在其中渲染相机的位置基于用户的CoR的其它实施例中，渲染相机可以不随着用户的眼睛移动(例如，旋转)(请参见例如图17A和17B中所示的渲染相机如何不随着眼睛旋转而移动或线性平移)。
通过眼睛跟踪系统定位用户角膜的示例
图8A是示出眼睛的角膜球的眼睛示意图。如图8A所示，用户的眼睛810可以具有角膜812、瞳孔822和晶状体820。角膜812可以具有由角膜球814所示的近似球形的形状。角膜球814可以具有中心点816(也称为角膜中心)和半径818。用户眼睛的半球形角膜可围绕角膜中心816弯曲。
图8B至8E示出了使用3D角膜中心估计模块716和眼睛跟踪模块614来定位用户的角膜中心816的示例。
如图8B所示，3D角膜中心估计模块716可以接收包括角膜亮斑854的眼睛跟踪图像852。然后，3D角膜中心估计模块716可以在眼睛相机坐标系850中模拟眼睛相机324和光源326的已知3D位置(其可以基于眼睛跟踪外在特征和内在特征数据库702、假设的眼睛尺寸数据库704和/或按用户校准数据706中的数据)，以便在眼睛相机坐标系中投射射线856。在至少一些实施例中，眼睛相机坐标系850可使其原点在眼睛跟踪相机324的3D位置处。
在图8C中，3D角膜中心估计模块716在第一位置处模拟角膜球814a(其可以基于来自数据库704的假设的眼睛尺寸)和角膜曲率中心816a。3D角膜中心估计模块716然后可以查看角膜球814a是否将来自光源326的光适当地反射到亮斑位置854。如图8C所示，当射线860a不与光源326相交时，第一位置不匹配。
类似地，在图8D中，3D角膜中心估计模块716在第二位置处模拟角膜球814b和角膜曲率中心816b。然后，3D角膜中心估计模块716查看角膜球814b是否将来自光源326的光适当地反射到亮斑位置854。如图8D所示，第二位置也不匹配。
如图8E所示，3D角膜中心估计模块716最终能够确定角膜球的正确位置是角膜球814c和角膜曲率中心816c。3D角膜中心估计模块716通过检查来自光源326的光在图像852上的亮斑854的正确位置处从角膜球适当地反射，并由相机324成像而确认所示位置是正确的。通过该布置，并且通过光源326、相机324的已知3D位置以及相机的光学特性(焦距等)，3D角膜中心估计模块716可以确定角膜曲率中心816(相对于可穿戴系统)的3D位置。
本文至少结合图8C至8E描述的过程可以有效地作为迭代、重复或优化过程，以识别用户角膜中心的3D位置。这样，可以使用多种技术中的任何技术(例如，迭代技术、优化技术等)来有效、快速地修剪或减小可能位置的搜索空间。此外，在一些实施例中，系统可以包括两个、三个、四个或更多个光源(例如，光源326)，并且所有这些光源中的一些可以设置在不同位置处，从而导致位于图像852上不同位置处的多个亮斑(例如，亮斑584)以及具有不同原点和方向的多条射线(例如，射线856)。此类实施例可以增强3D角膜中心估计模块716的准确性，因为模块716寻求识别导致部分或全部亮斑和射线在其相应光源和其各自在图像852上的位置之间适当地被反射的角膜位置。换句话说，在这些实施例中，部分或全部光源的位置依赖于图8B至8E的3D角膜位置确定(例如，迭代、优化技术等)过程。在一些实施方式中，系统可以在执行优化过程之前确定角膜中心所在的矢量或射线(即，2D角膜中心位置)。在这样的实施方式中，3D角膜中心估计模块716可以仅沿着这样的矢量搜索角膜位置，当执行优化过程时，这样做可以提供计算和/或时间节省。在这些实施方式中的至少一些实施方式中，在确定这样的矢量之前，系统可以首先(i)在眼睛相机坐标系850的原点、第一光源(例如，光源326a)和由第一光源产生的第一亮斑(例如，亮斑854a)之间限定第一平面，以及(ii)在眼睛相机坐标系850的原点、第二光源(例如，光源326b)和由第二光源产生的第二亮斑(例如，亮斑854b)之间限定第二平面。然后，系统可以简单地计算第一平面和第二平面的叉积以确定角膜中心所在的矢量或射线(即，2D角膜中心位置)。
使眼睛跟踪图像的坐标系规范化的示例
图9A至9C示出了通过可穿戴系统中的部件(例如图7A的坐标系规范化模块718)对眼睛跟踪图像的坐标系的规范化的示例。相对于用户瞳孔位置对眼睛跟踪图像的坐标系进行规范化可以补偿可穿戴系统相对于用户面部的滑移(例如，头戴装置滑移)，并且这样的规范化可以在眼睛跟踪图像和用户的眼睛之间建立一致的取向和距离。
如图9A所示，坐标系规范化模块718可以接收用户的角膜旋转中心的估计的3D坐标900，并且可以接收未规范化的眼睛跟踪图像，例如图像852。作为示例，眼睛跟踪图像852和坐标900可以处于基于眼睛跟踪相机324的位置的未规范化的坐标系850中。
作为第一规范化步骤，坐标系规范化模块718可以将坐标系850旋转为旋转后的坐标系902，使得坐标系的z轴(例如，辐辏深度轴)可以与坐标系原点和角膜曲率中心坐标900之间的矢量对准，如图9B所示。具体地，坐标系规范化模块718可以将眼睛跟踪图像850旋转为旋转后的眼睛跟踪图像904，直至用户的角膜曲率中心的坐标900垂直于旋转图像904的平面。
作为第二规范化步骤，坐标系规范化模块718可以将旋转后的坐标系902平移成规范化坐标系910，使得角膜曲率中心坐标900是距规范化坐标系910的原点的标准的规范化距离906，如图9C所示。具体地，坐标系规范化模块718可以将旋转后的眼睛跟踪图像904平移成规范化的眼睛跟踪图像912。在至少一些实施例中，标准的规范化距离906可以是约30毫米。如果需要，可以在第一规范化步骤之前执行第二规范化步骤。
通过眼睛跟踪系统定位用户瞳孔形心的示例
图9D至9G示出了使用3D瞳孔中心定位器模块720和眼睛跟踪模块614来定位用户瞳孔中心(例如，如图8A所示的用户瞳孔822的中心)的示例。
如图9D所示，3D瞳孔中心定位器模块720可以接收包括瞳孔形心913(例如，由瞳孔识别模块712识别的用户瞳孔的中心)的规范化眼睛跟踪图像912。然后，3D瞳孔中心定位器模块720可以模拟眼睛相机324的规范化3D位置910，以通过瞳孔形心913在规范化坐标系910中投射射线914。
在图9E中，3D瞳孔中心定位器模块720可以基于来自3D角膜中心估计模块716的数据模拟角膜球，例如具有曲率中心900的角膜球901(如结合图8B至8E更详细地讨论的)。作为示例，可以基于结合图8E识别的曲率中心816c的位置以及基于图9A至9C的规范化过程将角膜球901定位在规范化坐标系910中。另外，如图9E所示，3D瞳孔中心定位器模块720可以识别射线914(例如，规范化坐标系910的原点和用户瞳孔的规范化位置之间的射线)与模拟的角膜之间的第一交点916。
如图9F所示，3D瞳孔中心定位器模块720可以基于角膜球901确定瞳孔球918。瞳孔球918可以与角膜球901共享公共曲率中心，但是具有较小半径。3D瞳孔中心定位器模块720可以基于角膜中心和瞳孔中心之间的距离确定角膜中心900和瞳孔球918之间的距离(例如，瞳孔球918的半径)。在一些实施例中，瞳孔中心和角膜曲率中心之间的距离可以根据图7A的假设的眼睛尺寸704，根据眼睛跟踪外在特征和内在特征数据库702，和/或根据按用户校准数据706而被确定。在其它实施例中，瞳孔中心和角膜曲率中心之间的距离可以根据图7A的按用户校准数据706而被确定。
如图9G所示，3D瞳孔中心定位器模块720可以基于各种输入而定位用户瞳孔中心的3D坐标。作为示例，3D瞳孔中心定位器模块720可以利用瞳孔球918的3D坐标和半径、规范化眼睛跟踪图像912中的模拟的角膜球901和与瞳孔形心913相关联的射线914之间的交点916的3D坐标、关于角膜折射率的信息，以及诸如空气折射率之类的其它相关信息(其可被存储在眼睛跟踪外在特征和内在特征数据库702中)来确定用户瞳孔中心的3D坐标。具体地，3D瞳孔中心定位器模块720可以在模拟时基于空气(具有约1.00的第一折射率)和角膜材料(具有约1.38的第二折射率)之间的折射率差将射线916弯曲成折射射线922。在考虑由角膜引起的折射之后，3D瞳孔中心定位器模块720可以确定折射射线922和瞳孔球918之间的第一交点920的3D坐标。3D瞳孔中心定位器模块720可以确定用户的瞳孔中心920位于折射射线922和瞳孔球918之间的近似第一交点920处。通过这种布置，3D瞳孔中心定位器模块720可以在规范化坐标系910中确定瞳孔中心920(相对于可穿戴系统)的3D位置。如果需要，可穿戴系统可以将瞳孔中心920的坐标非规范化为原始眼睛相机坐标系850。瞳孔中心920可以与角膜曲率中心900一起使用，以便除了其它事项之外，使用光轴确定模块722确定用户的光轴，并通过辐辏深度估计模块728确定用户的辐辏深度。
考虑角膜折射可能导致所确定的瞳孔位置比基于射线914(即，规范化坐标系910的原点和用户瞳孔的规范化位置之间的射线)和模拟的角膜之间的第一交点916而确定的瞳孔位置更稳定，如图9E所示。这是部分正确的，因为虽然更易于计算，但第一交点916可能不对应于眼睛的物理特征，因此不能与作为实体的眼睛一起移动。相反，即使因视角原因仍存在某种变化，但是通过考虑角膜折射而计算瞳孔中心920可以更好地对应于眼睛的物理瞳孔位置。因此，在各种实施方式中，确定眼睛的光轴由此涉及计算真实瞳孔中心，而非射线914和模拟的角膜之间的第一交点916。
当旋转中心(CoR)被估计为沿着眼睛的光轴相对于角膜中心具有固定距离的点时，包括角膜折射将具有明显益处。具体地，在确定瞳孔位置时包括角膜折射可以在针对不同的眼睛取向计算旋转中心时显著减小变化。例如，当眼睛作为整体在相机坐标系中移动时(例如，在重新安装头戴装置期间)，可能引起变化，这是因为眼睛作为整体相对于重新安装的头戴装置会不同地取向。由于瞳孔中心920更好地对应于眼睛的物理瞳孔位置，因此，当眼睛作为整体在相机坐标系中移动时，CoR的变化可以较小。有利地，包括角膜表面折射可导致更稳定、准确的CoR，该CoR可用于确定何时将头戴装置重新放置到用户的头部上，可以允许更正确地放置渲染相机，可以允许其它新颖的注视跟踪算法或其任意组合。另外，可以潜在地通过多帧卡尔曼型时间滤波器跟踪作为稳定、缓慢变化的眼睛特征的CoR，以提供用于其它应用的几何参考位置。图9H示出了由于包括角膜折射和不包括角膜折射而产生的瞳孔中心的示例计算位置。当在不包括角膜折射影响的情况下计算瞳孔中心时，结果可以是外部瞳孔960。外部瞳孔中心960可以对应于射线914(即，规范化坐标系910的原点和用户瞳孔的规范化位置之间的射线)和模拟的角膜之间的第一交点916，如图9E所示。当在考虑角膜折射的情况下计算瞳孔中心时，结果可以是折射瞳孔中心962。折射瞳孔中心962可以对应于瞳孔中心920，如图9G所示。外部瞳孔中心960和折射瞳孔中心962的不同位置可以导致对眼睛旋转中心的不同计算，被确定为沿着眼睛的光轴相对于角膜中心964的固定距离。例如，外部瞳孔中心960可以导致外部旋转中心968。外部旋转中心968可以明显不同于根据折射瞳孔中心962而计算出的旋转中心966。
图9I至9L示出了使用400多个数据集的集合，基于不同的计算出的瞳孔中心的计算出的眼睛旋转中心的示例实验变化。所选择的数据仅是那些具有四个亮斑和有效瞳孔中心的帧(即，并非所有三个x、y、z坐标分量都等于零)，以排除明显的管道故障情况。研究了不同的旋转中心(CoR)与角膜曲率中心距离值(R)，发现R＝4.7mm给出了近乎最佳的平均结果。然而，可以调整特定的用户距离值以提供更小的CoR坐标变化。
图9I示出了不同瞳孔中心的x、y和z坐标，以及针对上述数据集使用不同瞳孔中心计算出的相应CoR的三维图。图9J使用XY投影示出了图9I中的数据。集群(cluster)970对应于外部瞳孔中心960的坐标，集群972对应于正确的折射瞳孔中心962的坐标，集群974对应于角膜位置(例如，三维角膜中心位置)，集群978对应于使用正确的折射瞳孔中心962的CoR，集群980对应于使用外部瞳孔中心960的CoR。集群978的大小(特别是x方向上的大小)小于集群980，表明使用折射瞳孔中心962时CoR的变化小于使用外部瞳孔中心960时CoR的变化。
表1
Figure BDA0002682922590000941
从表1可以看出，与使用外部瞳孔中心960相比，当使用折射瞳孔中心962进行计算时，CoR的x分量的标准差(或sigma)减小了大约一半。通过使用折射瞳孔中心962，总的三维标准差(sigma3d)也显著减小。
图9K和9L分别示出了针对400多个数据集的集合，作为CoR到角膜曲率中心距离的函数的平均和中值CoR标准差。曲线图991L和991R分别示出了针对左眼和右眼，作为CoR到角膜曲率中心距离的函数的平均三维CoR标准差(sigma3d)。曲线图992L和992R分别示出了针对左眼和右眼的CoR到角膜曲率中心距离的中值三维CoR标准差(sigma3d)。曲线982A对应于总的左眼平均sigma3d，曲线982B对应于总的右眼平均sigma3d，曲线982C对应于总的左眼中值sigma3d，曲线982D对应于总的右眼中值sigma3d。曲线984A-D对应于各sigma3d的x分量，曲线990A-D对应于各sigma3d的y分量，曲线986A-D对应于各sigma3d的z分量。
图9M示出了作为提供最小sigma3d的CoR到角膜距离的值的针对每个用户数据集单独计算出的最佳半径的示例分布。发现分布的均值在R＝4.9mm，其中标准差为1.5mm。发现具有极小半径(R～1mm)的用户的注视跟踪极差，因此必须将其排除在外。
光轴与视轴之间的差异的示例
如结合图7A的光轴到视轴映射模块730所讨论的，用户的光轴和视轴通常不对准，部分原因是用户的视轴由其中央凹限定，并且该中央凹通常不在人的视网膜的中心。因此，当人希望将注意力集中在特定对象上时，会将其视轴与该对象对准，以确保来自对象的光落在其中央凹上，而其光轴(由其瞳孔中心和其角膜曲率中心限定)实际上稍微偏离该对象。图10是示出眼睛光轴1002、眼睛视轴1004以及这些轴之间的偏移的眼睛1000的示例。另外，图10示出了眼睛的瞳孔中心1006、眼睛的角膜曲率中心1008和眼睛的平均旋转中心(CoR)1010。在至少一些人群中，眼睛的角膜曲率中心1008可以位于眼睛的平均旋转中心(CoR)1010前方约4.7mm处，如尺寸1012所示。此外，眼睛的透视中心1014可以位于眼睛的角膜曲率中心1008前方约5.01mm处，位于用户角膜的外表面1016后方约2.97mm处，和/或刚好位于用户的瞳孔中心1006前方(例如，对应于眼睛1000的前房内的位置)。作为附加示例，尺寸1012可以在3.0mm至7.0mm之间，在4.0mm至6.0mm之间，在4.5mm至5.0mm之间，或者在4.6mm至4.8mm之间，或者在任何值之间的任何范围内，以及是任何这些范围内的任何值。眼睛的透视中心(CoP)1014可以是可穿戴系统的有用位置，因为在至少一些实施例中，在CoP处配准渲染相机有助于减少或消除视差伪像。
图10还示出了可以与渲染相机的针孔对准的人眼1000内的这样的。如图1所示。如图10所示，渲染相机的针孔可以与位置1014配准，该位置1014沿着人眼1000的光轴1002或视轴1004，该位置比(a)瞳孔或虹膜的中心1006和(b)人眼1000的角膜曲率中心1008二者更靠近角膜的外表面。例如，如图10所示，渲染相机的针孔可以与位置1014配准，该位置1014沿着人眼1000的光轴1002，位于角膜的外表面1016后方约2.97mm毫米处，并且位于角膜曲率中心1008前方约5.01毫米处。可以将渲染相机的针孔的位置1014和/或位置1014所对应的人眼1000的解剖区域视为表示人眼1000的透视中心。图10所示的人眼1000的光轴1002表示穿过角膜曲率中心1008和瞳孔或虹膜的中心1006的最直接的线。人眼1000的视轴1004不同于光轴1002，因为它表示从人眼1000的中央凹延伸到瞳孔或虹膜的中心1006的线。
基于眼睛跟踪而渲染内容和检查配准的示例过程
图11是用于使用眼睛跟踪在可穿戴设备中渲染内容以及提供配准反馈的示例方法1100的过程流程图。方法1100可以由本文描述的可穿戴系统执行。方法1100的实施例可以由可穿戴系统用来基于来自眼睛跟踪系统的数据而渲染内容以及提供配准反馈(例如，可穿戴设备与用户的贴合(fit))。
在框1110处，可穿戴系统可以捕获用户的一只或多只眼睛的图像。可穿戴系统可以使用至少在图3的示例中示出的一个或多个眼睛相机324来捕获眼睛图像。如果需要，可穿戴系统还可以包括一个或多个光源326，光源326被配置为将IR光照射在用户的眼睛上并在由眼睛相机324捕获的眼睛图像中产生相应的亮斑。如本文讨论的，眼睛跟踪模块614可以使用亮斑推导关于用户眼睛的各种信息片段，其中包括眼睛正看向哪里。
在框1120处，可穿戴系统可以检测在框1110中捕获的眼睛图像中的亮斑和瞳孔。作为示例，框1120可以包括通过亮斑检测和标记模块714处理眼睛图像以识别眼睛图像中的亮斑的二维位置，并且通过瞳孔识别模块712处理眼睛图像以识别眼睛图像中瞳孔的二维位置。
在框1130处，可穿戴系统可以估计用户的左右角膜相对于可穿戴系统的三维位置。作为示例，可穿戴系统可以估计用户的左右角膜的曲率中心的位置以及这些曲率中心和用户的左右角膜之间的距离。框1130可以包括3D角膜中心估计模块716识别曲率中心的位置，如本文中至少结合图7A以及图8A至8E所述。
在框1140处，可穿戴系统可以估计用户的左右瞳孔中心相对于可穿戴系统的三维位置。作为示例，可穿戴系统和3D瞳孔中心定位器模块720具体地可以估计用户的左右瞳孔中心的位置，如至少结合图7A以及图9D至9G所述，作为框1140的一部分。
在框1150处，可穿戴系统可以估计用户的左右旋转中心(CoR)相对于可穿戴系统的三维位置。作为示例，可穿戴系统和CoR估计模块724具体地可以估计用户的左眼和右眼的CoR的位置，如至少结合图7A和图10所述。作为特定示例，可穿戴系统可以通过沿着光轴从角膜曲率中心返回到视网膜来找到眼睛的CoR。
在框1160处，可穿戴系统可以根据眼睛跟踪数据估计用户的IPD、辐辏深度、透视中心(CoP)、光轴、视轴和其它所需属性。作为示例，IPD估计模块726可以通过比较左右CoR的3D位置来估计用户的IPD，辐辏深度估计模块728可以通过找到左右光轴的交点(或接近交点)或左右视轴的交点来估计用户的深度，光轴确定模块722可以随时间的推移识别左右光轴，光轴到视轴映射模块730可以随时间的推移识别左右视轴，CoP估计模块框732可以识别左右透视中心，作为框1160的一部分。
在框1170处，可穿戴系统可以部分地基于在框1120至1160中识别的眼睛跟踪数据而渲染内容并且可以可选地提供配准反馈(例如，可穿戴系统与用户头部的贴合)。作为示例，可穿戴系统可以识别渲染相机的合适位置，然后基于渲染相机的位置为用户生成内容，如结合光场渲染控制器618、图7B以及渲染相机622所讨论的。作为另一示例，可穿戴系统可以确定是否正确地贴合到用户，或者是否已从相对于用户的其正确位置滑移，并且可以向用户提供指示是否需要调整设备贴合度的可选反馈，如结合配准观察器620所讨论的。在一些实施例中，可穿戴系统可以基于不适当的或不太理想的配准调整渲染的内容，以尝试减小、最小化或补偿不适当或错误配准的影响。
响应于用户眼睛移动而渲染内容的示例图
图12包括一组示例图1200a-1200j，其示出了可穿戴系统可以如何响应于用户眼睛移动来切换深度平面。如本文中结合图4和7所讨论的，可穿戴系统可以包括多个深度平面，其中各个深度平面被配置为以不同的模拟深度或通过不同的调节线索(例如，通过各种波前曲率或光线发散水平)向用户呈现内容。作为示例，可穿戴系统可以包括被配置为模拟第一深度范围的第一深度平面和被配置为模拟第二深度范围的第二深度平面，尽管这两个范围可以根据需要重叠以便于切换滞后，但是第二深度范围通常可以延伸到相对于用户更远的距离处。在这样的实施例中，可穿戴系统可以跟踪用户的辐辏深度、扫视运动和眨眼，以便以避免过度深度平面切换、过度调节-辐辏失配、过度调节-辐辏失配时间段以及寻求降低深度平面切换可见性(例如，通过在眨眼和扫视期间变换深度平面)的方式在第一和第二深度平面之间切换。
曲线图1200a示出了随时间推移用户的辐辏深度的示例。曲线图1200b示出了随时间推移用户的扫视信号或眼睛移动速度的示例。
曲线图1200c可以示出由眼睛跟踪模块614生成的辐辏深度数据，具体地，由辐辏深度估计模块728生成的数据。如曲线图1200c-1200h所示，可以在眼睛跟踪模块614内以大约60Hz的速率对眼睛跟踪数据进行采样。如曲线图1200b和1200c之间所示，眼睛跟踪模块614内的眼睛跟踪数据可能以延迟1202滞后于用户的实际眼睛移动。作为示例，在时间t1处，用户的辐辏深度可以越过滞后阈值1210a，但是跨滞后带检测模块752直至延迟1202之后的时间t2才识别该事件。
曲线图1200c还示出了滞后带中的各种阈值1210a、1210b、1210c，这些阈值可以与第一和第二深度平面(例如，图12中的深度平面#1和#0)之间的过渡相关联。在一些实施例中，每当用户的辐辏深度大于阈值1210b时，可穿戴系统可尝试以深度平面#1显示内容；每当用户的辐辏深度小于阈值1210b时，可穿戴系统可尝试以深度平面#0显示内容。然而，为了避免过度切换，可穿戴系统可以实施滞后，这样，直到用户的辐辏深度越过外部阈值1210c，可穿戴系统才从深度平面#1切换到深度平面#0。类似地，直到用户的辐辏深度越过外部阈值1210a，可穿戴系统才从深度平面#0切换到深度平面#1。
曲线图1200d示出了可由深度平面选择模块750或跨滞后带检测模块752生成的内部标志，其指示用户的辐辏深度是在通常与深度平面#1相关联的体积中还是在通常与深度平面#2相关联的体积中(例如，用户的辐辏深度是大于还是小于阈值1210b)。
曲线图1200e示出了可由深度平面选择模块750或跨滞后带检测模块752生成的内部滞后带标志，其指示用户的辐辏深度是否越过外部阈值，例如阈值1210a或1210c。具体地，曲线图1200e示出了标志，该标志指示用户的辐辏深度是否已完全越过滞后带并进入活动深度平面的体积之外的区域(例如，进入与活动深度平面以外的深度平面相关联的区域)，因此潜在地导致不希望的调节-辐辏失配(AVM)。
曲线图1200f示出了可由深度平面选择模块750或跨滞后带检测模块752生成的内部AVM标志，其指示用户的辐辏位于活动深度平面的体积之外的时间是否超过预定时间。因此，AVM标志可以识别用户何时在近乎过度或过度的时间段内经历不希望的调节-辐辏失配。附加地或替代地，内部AVM标志还可以指示用户的辐辏是否从活动深度平面的体积超出预定距离，从而造成潜在的过度调节-辐辏失配。换句话说，AVM标志可以指示用户的辐辏何时超过甚至比阈值1210a和1210c距离阈值1210b还远的附加阈值。
曲线图1200g示出了可由眼睛事件检测模块754生成的内部眨眼标志，其可以确定用户何时已经眨眼或正在眨眼。如本文所述，希望在用户眨眼时切换深度平面，以减小用户感知深度平面切换的可能性。
曲线图1200h示出了从深度平面选择模块750输出的示例。具体地，曲线图1200h示出了深度平面选择模块750可以向渲染引擎(例如渲染引擎622，参见图6)输出利用选定深度平面的指令，该选定深度平面会随时间变化。
曲线图1200i和1200j示出了在可穿戴系统中可能存在的延迟，其中包括渲染引擎622切换深度平面的延迟以及需要在新的深度平面中提供与新图像帧相关联的光以实现深度平面变化的显示器220的延迟。
现在将参考曲线图1200a-1200j在不同时间(t0–t10)所示的事件。
在时间t0左右的某个时间，用户的辐辏深度可能越过阈值1210a，该阈值可以是外部滞后阈值。在与图像捕获和信号处理相关联的延迟之后，可穿戴系统可以生成信号，如曲线图1200e所示，该信号指示用户的辐辏深度位于滞后带内。在曲线图1200e的示例中，光场渲染控制器618的一个或多个模块可以结合用户的跨辐辏深度阈值1210a在大约时间t1处呈现滞后带被超过标志。
从时间t0至大约时间t4，用户的辐辏深度持续减小，之后增加。
在时间t1处，用户的辐辏深度越过阈值1210b，该阈值1210b可以是两个深度平面(例如深度平面#1和#0)之间的中点。在处理延迟1202之后，眼睛跟踪模块614可以改变指示用户的辐辏深度已经从通常与深度平面#1相关联的体积移动到通常与深度平面#0相关联的体积中(如曲线图1200d所示)的内部标志。
在时间t3处，光场渲染控制器618的一个或多个模块可以确定用户的辐辏深度(如曲线图1200a所示)已经完全移动通过滞后带并越过外部阈值1210c。因此，光场渲染控制器618的一个或多个模块可以生成指示用户的辐辏深度位于滞后带之外的信号(如曲线图1200e所示)。在至少一些实施例中，仅当用户的辐辏深度在位于这两个深度平面之间的滞后带之外时，光场渲染控制器618的一个或多个模块(例如，深度平面选择模块750)才在第一和第二深度平面之间切换。
在至少一些实施例中，光场渲染控制器618的一个或多个模块可被配置为在时间t3处切换深度平面。具体地，光场渲染控制器618的一个或多个模块可被配置为基于确定辐辏深度已经从当前选择的深度平面(曲线图1200h所示的深度平面#1)的体积移到另一深度平面(深度平面#0)的体积中并且完全越过滞后带而切换深度平面。换句话说，每当滞后带被超过(曲线图1200e处于高位)并且检测到基于时间或失配量的调节-辐辏失配(曲线图1200f处于高位)时，光场渲染控制器618的一个或多个模块可以实施深度平面切换。在这样的实施例中，光场渲染控制器618的一个或多个模块可以向渲染引擎622提供信号，指示渲染引擎622切换到另一深度平面(深度平面#0)。然而，在图12的示例中，光场渲染控制器618的一个或多个模块可被配置为延迟深度平面切换，直至满足至少另一条件。这些附加条件可以包括例如眨眼条件、调节-辐辏失配超时条件和调节-辐辏量条件。
在时间t4处以及在图12的示例中，光场渲染控制器618的一个或多个模块可被配置为切换深度平面。具体地，光场渲染控制器618的一个或多个模块可以确定用户的辐辏处于与深度平面#0相关联的体积中的时间长于预定的时间阈值(并且可选地，在该时间段内位于滞后带之外)。预定的时间阈值的示例包括5秒、10秒、20秒、30秒、1分钟和90秒，以及任何这些值之间的任何范围。基于这样的确定，光场渲染控制器618的一个或多个模块可以生成AVM标志，如曲线图1200f所示，并且指示渲染引擎622切换到深度平面#0，如曲线图1200h所示。在一些实施例中，如果检测到用户的辐辏深度大于距当前选择的深度体积的阈值距离，则光场渲染控制器618的一个或多个模块可以生成AVM标志并指示渲染引擎622切换深度平面。
在时间t5处以及在延迟1204之后，渲染引擎622可以在新选择的深度平面#0处开始渲染内容。在与渲染相关联的延迟1206以及在通过显示器220向用户传送光之后，显示器220可以在时间t6之前完全切换到新选择的深度平面#0。
因此，曲线图1200a-j在时间t0和t6之间示出了系统如何响应用户的变化的辐辏，以及如何在用户的辐辏从先前深度体积移开超过预定时间段之后切换深度平面。曲线图1200a-j在时间t7和t10之间示出了系统如何响应用户的变化的辐辏，以及如何在检测到用户眨眼(可能在预定时间段之前)时切换深度平面。
在时间t7处，光场渲染控制器618的一个或多个模块可以检测到用户的辐辏深度已经进入位于深度平面#0和#1之间的滞后区域(例如，用户的辐辏深度已经越过外部阈值1210c)。作为响应，光场渲染控制器618的一个或多个模块可以改变滞后标志，如曲线图1200e所示。
在时间t8处，光场渲染控制器618的一个或多个模块可以检测到用户的辐辏深度已经越过阈值1210b并且从通常与深度平面#0相关联的体积移动到通常与深度平面#1相关联的体积中。因此，光场渲染控制器618的一个或多个模块可以改变深度体积标志，如曲线图1200d所示。
在时间t9处，光场渲染控制器618的一个或多个模块可以检测到用户的辐辏深度已经越过阈值1210a并且从滞后体积移出而进入通常只与深度平面#1相关联的体积中。作为响应，光场渲染控制器618的一个或多个模块可以改变滞后标志，如曲线图1200e所示。
在时间t10左右，用户眨眼，并且光场渲染控制器618的一个或多个模块可以检测到该眨眼。作为一个示例，眼睛事件检测模块754可以检测到用户的眨眼。作为响应，光场渲染控制器618的一个或多个模块可以生成眨眼标志，如曲线图1200h所示。在至少一些实施例中，每当滞后带被超过(曲线图1200e处于高位)并且检测到眨眼(曲线图1200g处于高位)时，光场渲染控制器618的一个或多个模块可以实施深度平面切换。因此，光场渲染控制器618的一个或多个模块可以指示渲染引擎622在时间t10处切换深度平面。
具有多个深度平面的混合现实系统中的示例渲染模式
在混合现实系统中，计算机生成的(渲染的)场景可以被传送到人眼，使得真实对象和虚拟对象在空间上对准(从用户的视角来看)。为了向用户提供真实对象与虚拟对象之间的空间对准的视觉感知，渲染和呈现计算机生成的场景的视角可以优选地对应于用户眼睛的视角(例如，位置和取向)。作为示例，当“真实世界”帧(其中存在真实对象的帧)和“渲染世界”帧(其中存在虚拟对象的帧)彼此准确对准时，用户可以感知到真实对象和虚拟对象以期望的方式在空间上对准。
数字光场显示设备(例如图2的包括显示器220的可穿戴系统200)是混合现实系统的示例，其中可以使用一个或多个深度平面以各种深度向用户提供表示3D虚拟内容(虚拟对象)的光场。可以将深度平面与位于相对于用户的不同距离处的一个或多个虚拟屏幕进行比较，可以在虚拟屏幕上投射或显示虚拟内容，将虚拟内容变换为虚拟像素并提供给用户。这样，混合现实系统可以在光学上等同于具有一个或多个透明浮屏的系统，这些浮屏位于相对于用户的不同距离处。以此方式，数字化的光场通过用户的虹膜投射到用户的视网膜上，并形成3D虚拟内容的图像(例如，用户感知3D虚拟内容的图像)。
图13示出了混合现实系统1300，其中使用一个或多个深度平面向用户的眼睛提供表示包括虚拟对象的3D虚拟内容的光场，深度平面可以是可穿戴设备上的光学结构，其模拟与用户和可穿戴设备隔开各种距离的虚拟屏幕。混合现实系统1300可以包括目镜1310，其可以表示头戴式数字光场显示设备的目镜(例如图3的显示器220)或其一部分。这样的系统可被配置为通过目镜1310将表示3D虚拟对象1330的光场投射到用户眼睛1302的视网膜1303上。
图13还示出了可以在其上投射或显示虚拟对象1330和其它虚拟内容并将这些虚拟对象和虚拟内容变换为虚拟像素的深度平面1321-1323。在图13所示的特定示例中，虚拟对象1330被投射到深度平面1322上，从而被变换为虚拟像素1332。结果，由目镜1310(例如，显示器220)产生的光可以向用户的眼睛1302提供调节线索，就像虚拟对象1330被提供在距深度平面1322的用户一定距离处的物理显示器或投影仪屏幕上一样。头戴式数字显示设备可以生成表示虚拟像素1332的数字化光场，并可以通过目镜1310将这样的光场投射到用户眼睛1302的视网膜1303上。
如下文将更详细地讨论的，可以在混合现实系统(例如图13中的混合现实系统1300)中采用不同的渲染模式，以针对不同的内容和/或在不同的时间段在用户的整个视场上提供不同的眼睛调节线索。作为示例，混合现实系统可以采用其中一次使用单个深度平面显示虚拟对象的离散变焦模式(如图14A至14B所示)，可以采用其中使用两个相邻的深度平面显示虚拟对象以在两个深度平面之间生成调节线索的混合变焦模式(如图14C至14D所示)，可以采用其中使用两个或更多个深度平面显示虚拟对象以同时产生两个或更多个调节线索的多焦点模式(如图14E至14F所示)。通常，响应于各种条件，混合现实系统可以在操作期间在这些以及其它渲染模式之间切换。作为示例，混合现实系统在显示第一类内容(例如可以在单个深度处提供的文本)时可以使用第一渲染模式(例如离散变焦模式)，并且在显示第二类内容(例如可以同时在多个深度处提供的内容)时可以使用第二不同的渲染模式(例如多焦点模式)。在至少一些实施例中，图6的光场渲染控制器618可被配置为基于本文讨论的各种输入和条件而选择在任何给定时间采用哪种渲染模式。
单深度平面渲染模式(离散变焦模式)
如图14A和14B所示，本文所述的可穿戴系统可以采用本文所称的单深度平面渲染模式(也称为离散变焦模式)一次使用单个深度平面来渲染虚拟现实对象。在离散变焦模式下，可穿戴系统可以跨显示器的整个视场(FOV)使用单个深度平面来显示所有当前渲染的虚拟对象(即使这些对象中的一些被设置在除该深度平面所关联的深度以外的深度处)。换句话说，可穿戴系统可以在整个FOV上提供单个焦点或调节线索。当然，可穿戴系统可以随时间推移而切换用于渲染内容的深度平面，从而随时间改变所渲染的虚拟内容的调节线索(响应于用户辐辏深度、虚拟内容深度以及本文更详细描述的其它事实的变化)。通常，在离散变焦模式下，混合现实系统在任何一个时刻仅采用一个深度平面。
图14A至14B分别示出了以离散变焦模式操作以向用户的眼睛1402呈现内容的混合现实系统1400A的俯视图和侧视图/等距视图。图14A至14B还示出了深度平面1421、1422和1423，虚拟内容可被投射在深度平面1421、1422和1423上并被变换为虚拟像素。当以离散变焦模式操作时，虚拟内容只能在给定时间被投射到深度平面1421-1423之一上。在图14A至14B的示例中，混合现实系统1400A已经切换到其中虚拟内容被投射到深度平面1422上，但是没有被投射到深度平面1421或1423中的任一者上的状态。如图所示，投射到深度平面1422上的虚拟内容被变换为虚拟像素1432A。
如结合图4、6、7A、7B和12更详细地讨论的，可以基于眼睛跟踪和虚拟内容信息而选择将所有像素放置在哪个深度上(例如，将虚拟内容投射到哪个深度平面上)以及深度平面之间的切换定时。作为示例，以离散变焦模式操作的可穿戴系统可以基于用户的辐辏深度，基于用户的辐辏深度但是深度平面切换被延迟直到触发事件(例如，在用户眨眼或扫视时，在预定的AVM失配超时之后，如结合图12等所讨论的)，基于虚拟内容的深度，基于虚拟内容的深度但是深度平面切换被延迟直到触发事件(例如，在用户眨眼或扫视时，在预定的AVM失配超时之后，如结合图12等所讨论的)或上述条件的任意组合，而切换哪个活动深度平面。在至少一些实施例中，深度平面选择模块750、跨滞后带检测模块752和眼睛事件检测模块754中的一者或多者可以被单独地或组合地配置为实施期望的深度平面切换方案。
混合深度平面渲染模式(混合变焦模式)
如图14C和14D所示，本文描述的可穿戴系统可以使用两个相邻的深度平面来渲染虚拟现实对象，以生成位于深度平面之间的调节或焦点线索。在一些实施例中，这种混合变焦模式可以使可穿戴系统在任何距离(位于由可穿戴系统中的一组深度平面提供的深度之间并且包括这些深度)处生成调节或焦点线索。换句话说，如果系统包括三个深度平面，第一深度平面提供1英尺的调节线索，第二深度平面提供10英尺的调节线索，而第三深度平面提供光学无限远的调节线索，则可穿戴系统能够在从第一平面的1英尺深度到第三深度平面的光学无限深度的任意位置处为用户提供调节线索。
图14C至14D示出了以混合变焦模式操作以向用户的眼睛1402呈现内容的混合现实系统1400C的俯视图和侧视图/等距视图。混合现实系统1400C例如可以具有与上面参考图14A至14B描述的混合现实系统1400A相同的架构。当以混合变焦模式操作时，虚拟内容可以在任何给定时间点同时被投射到深度平面1421-1423中的两个或更多个上，以便在平面之间生成调节线索。在图14C至14D的示例中，混合现实系统1400C已经切换到其中虚拟内容被投射到深度平面1421和1422上的状态。如图所示，投射到深度平面1421和1422上的虚拟内容分别被变换为虚拟像素集1431C和1432C。虚拟像素集1431C和1432C可以混合在一起，并基于它们的相对强度而在深度平面1421和1422之间的某处为用户提供调节线索。
在混合变焦模式下，可穿戴系统可以针对显示器的FOV上的所有像素提供相同的焦点或调节线索，并且该调节线索可以在任何一对相邻深度平面的深度之间连续变化。通过在两个深度平面之间混合像素强度，可穿戴系统可以实现连续可变的调节线索。作为示例，可穿戴系统可以通过在两个深度平面1421和1421中渲染虚拟对象来显示在深度平面1422和1421之间具有调节线索的虚拟对象。在其中虚拟对象更靠近深度平面1421的深度的另一示例中，可穿戴系统可以在深度平面1421中以比在深度平面1422中更大的光强度(例如，亮度)渲染虚拟对象。在这种布置中，来自两个深度平面的光可以混合，使得用户感知到虚拟对象具有位于深度平面1421附近(但仍位于平面1421和1422之间)的调节线索。
在混合变焦模式下，可穿戴系统被配置为选择要混合哪些相邻深度平面，以提供所需的调节线索。然而，由于调节线索可以通过连续改变亮度二在平面之间连续变化，因此深度平面切换的定时可能不如离散变焦模式下的定时重要。因此，可穿戴系统可被配置为在不等待诸如用户眨眼、扫视或AVM超时之类的触发事件的情况下，切换形成一对相邻深度平面的两个深度平面。而是，可穿戴系统可以根据需要响应于用户的辐辏深度、虚拟内容的深度、或这些以及其它输入的组合，随时间平滑地改变所提供的调节线索以及所使用的深度平面。
多深度平面渲染模式(多焦点模式)
如图14E和14F所示，本文所述的可穿戴系统可以使用两个或更多个深度平面以多焦点模式渲染虚拟现实对象，从而同时生成两个或更多个调节线索。换句话说，给定帧中的虚拟内容可以同时跨多个深度呈现。作为示例，多焦点模式可以包括以结合混合变焦模式描述的方式，使用两个或更多个深度平面来提供第一混合调节线索；使用两个或更多个深度平面来提供第二混合调节线索；使用单个深度平面来提供第三调节线索；使用第二单个深度平面来提供第四调节线索；或使用这些以及其它焦点模式的组合来提供各种调节线索。
图14E至14F示出了以多焦点模式操作以向用户的眼睛1402呈现内容的混合现实系统1400E的俯视图和侧视图/等距视图。混合现实系统1400E例如可以具有与上面参考图14A至14D描述的混合现实系统1400A和/或1400C相同的架构。当以多焦点模式操作时，虚拟内容可以在任何给定时间点同时投射到两个或更多个深度平面1421-1423上，以便生成两个或更多个不同的焦点线索。在图14E至14F的示例中，虚拟内容同时被投射到深度平面1421、1422和1423上。如图所示，投射到深度平面1421-1423上的虚拟内容被变换为虚拟像素集1431E-1433E。
通常，当以多焦点模式操作时(或以混合变焦模式操作时)，可穿戴系统可以提供混合和非混合调节线索。如图14F所示，深度平面1421和1422可被配置为使用深度平面1421上的像素1431E和深度平面1422上的像素1432E，以混合调节线索提供内容1450，可被配置为使用深度平面1422上的像素1423F和深度平面1423上的像素1433F，以不同的混合调节线索提供内容1452，并且可被配置为使用深度平面1423上的像素1433G，以非混合调节线索提供内容1454。混合的内容1452可以包括在用户视角的深度范围内延伸的内容，并因此包括位于与被渲染为虚拟像素1433F的深度平面1423相关联的深度处的部分，以及位于与被渲染为虚拟像素1432F的深度平面1422相关联的不同深度处的另外的部分。作为示例，混合内容1542可以包括非重叠内容，使得虚拟像素1432F在垂直于深度轴的平面中不与虚拟像素1433F重叠。在其它实施例中，混合的内容1452可以包括位于平面1422和1423之间的深度处的内容，该内容通过重叠和混合虚拟像素1433F和1432F而被渲染。重叠和混合像素1433F和1432F可以包括改变像素1433F和1432F的相对强度，以将视在深度(apparent depth)朝着深度平面1422或朝着深度平面1422移动。作为示例，调暗像素1433F和放大或调亮像素1432F可具有将用户感知的深度移向深度平面1422的效果。此外，重叠像素可以具有与非重叠像素不同的强度(通常可以是较低的强度)，使得重叠和混合的像素具有所需的强度(以防止由于多个深度平面对显示中该位置处的光的贡献而使重叠的像素看起来过亮)。这些仅是说明性示例，并且一般而言，可穿戴系统可以呈现混合和非混合调节线索的任何期望的组合。
如结合混合变焦模式所讨论的，深度平面切换的定时在具有可变调节线索的模式(例如混合变焦模式和多焦点模式)中可能不如在离散变焦对焦模式下的切换定时重要。因此，可穿戴系统可被配置为在多焦点模式下切换活动深度平面，无需等待诸如用户眨眼、扫视或AVM超时之类的触发事件。而是，可穿戴系统可以根据需要响应于用户的辐辏深度、虚拟内容的深度、或这些以及其它输入的组合，随时间平滑地改变所提供的调节线索以及所使用的深度平面。然而，在其它实施方式中，可以利用触发事件，例如用户眨眼、扫视或AVM超时。
各种渲染模式下透视中心未对准的影响
当投射到一个或多个深度平面上时，希望从特定透视中心(CoP)渲染和观看3D虚拟内容，透视中心可针对渲染世界和真实世界而被确定。当从渲染世界中的适当透视中心渲染内容时，每个虚拟屏幕的像素可以准确地看起来是在从真实世界中的适当透视中心观看时的3D虚拟内容，该内容可包括特定的位置和取向。然而，如果相同内容从渲染世界中的不同位置被渲染或从真实世界中的不同位置被观看，则3D虚拟内容可能不与该3D虚拟内容的图像准确地相像。可以使用针孔相机模型来表示该渲染框架，其中CoP被表示为以正确地捕获3D虚拟内容的投影的方式，在渲染世界(例如，3D渲染空间)内定位和定向的“虚拟”或“渲染”针孔相机。关于CoP的其它细节在下面参考图22至24B进行描述，而图15A至15C和下面提供的相应描述进一步展示对于各种示例渲染模式中的每一者，CoP准确度和/或精度对混合现实系统性能的影响。
在操作中，如果虚拟针孔相机的视角(在渲染世界帧中)和用户的视角(在真实世界帧中)未对准，则被投射到用户眼睛视网膜上的数字化光场可用于形成3D虚拟内容的图像，该图像包含伪像或表现出其它问题特征。对于其中采用一个深度平面的简单场景，虚拟针孔相机和用户视角之间的未对准可产生在用户FOV内的不正确(非预期)位置处形成3D虚拟内容的图像的数字化光场。对于其中采用两个或更多个深度平面的场景，例如其中采用上面参考图14A至14F描述的任何焦点模式的场景，虚拟针孔相机和用户视角之间的未对准可产生这样的数字化的光场：该光场形成看起来在位置之间跳动或弹出和/或包括视觉伪像(例如，断裂和/或错位)的3D虚拟内容的图像。更具体地，以上述任一种焦点模式操作的混合现实系统中的这种未对准的发生可导致引入视差移位，该视差移位导致已被平面化到一个深度平面上(或在深度平面之间混合)的3D虚拟内容相对于已被平面化到另一深度平面上(或在深度平面之间混合)的3D虚拟内容移位。
作为CoP未对准的示例，图15A示出了在离散变焦模式下操作以在存在CoP未对准的情况下向用户的眼睛1502呈现内容的混合现实系统1500A。非常类似于上面参考图13描述的混合现实系统1300，混合现实系统1500A包括目镜1510，目镜1510可以表示头戴式数字光场显示设备的目镜或其一部分，其被配置为通过目镜1510将表示15D虚拟对象1530的光场投射到用户眼睛1502的视网膜1503上。图15A还示出了在其上可投射虚拟对象1530并将该虚拟对象1530变换为虚拟像素的深度平面1521-1523。在图15A所示的特定示例中，混合现实系统1500A以离散变焦模式(例如，以类似于上面参考图14A至14B描述的方式)操作，以便从在第一时间点将虚拟对象1530投射到深度平面1522上切换到在后续第二时间点将虚拟对象1530投射到深度平面1523上。因此，虚拟对象1530在第一时间点被投射到深度平面1522上并被变换为虚拟像素1532A1，然后在第二时间点被投射到深度平面1523上并被变换为虚拟像素1533A2。因此，混合现实系统1500A可以在第一时间点生成表示虚拟像素1532A1的数字化光场，并通过目镜1510将该数字化光场投射到用户眼睛1502的视网膜1503上，并且可以在第二时间点生成表示虚拟像素1533A2的数字化光场，并通过目镜1510将该数字化光场投射到用户眼睛1502的视网膜1503上。
尽管不希望在第一和第二时间点之间有感知地改变形成在用户眼睛1502的视网膜1503上的虚拟对象1530的图像(除了提供新的调节线索)，但是由于在图15A的示例中存在CoP未对准(例如，虚拟相机视角与用户眼睛1502的正确视角之间的未对准)，因此当混合现实系统1500A切换深度平面(可能导致改变虚拟对象1530在用户FOV内的感知位置)时，可能发生视差移位。图15A还示出了示例视网膜图像1534A1和1534A2，其分别表示在第一和第二时间点形成在用户眼睛1502的视网膜1503上的虚拟对象1530的图像。图15A在其图示中展现出视网膜图像1534A1和1534A2的这种移位，视网膜图像1534A1和1534A2分别表示在第一和第二时间点形成在用户眼睛1502的视网膜1503上的虚拟对象1530的图像。因此，当混合现实系统1500A从使用深度平面1522切换到使用深度平面1523时，虚拟对象1530可能看起来“跳动”、“弹出”或以其它方式在用户FOV内快速移位。图15A将该移位示出为图像跳动1536。具体地，图15A示出了视网膜图像1534A2如何从视网膜图像1534A1向右上移位，并且因此用户可以感知到在深度平面切换期间虚拟对象1530沿着跳动1536跳动。
类似地，图15B示出了在混合变焦模式下操作以在存在CoP未对准的情况下向用户的眼睛1502呈现内容的混合现实系统1500B。混合现实系统1500B例如可以具有与上面参考图15A描述的混合现实系统1500A相同的架构。在图15B所示的特定示例中，混合现实系统1500C以混合变焦模式(例如，以类似于上面参考图14C至14D描述的方式)操作，以将虚拟对象1530同时投射到深度平面1522和1523上，从而将虚拟对象1530分别变换为虚拟像素集1532B和1533B。以此方式，虚拟像素集1522B和1533B的强度可以被混合，以便在深度平面1522和1523之间生成调节线索。混合现实系统1500B可以生成表示虚拟像素集1532B和1533B的数字化光场，并通过目镜1510将该数字化光场投射到用户眼睛1502的视网膜1503上以形成视网膜图像1534B。由于类似于上面参考图15A描述的原因(例如，由CoP未对准引起的视差移位)，虚拟像素集1532B和1533B相对于用户的眼睛1502没有正确地彼此对准，因此，在视网膜图像1534B中，虚拟对象1530被视觉伪像扭曲/遮蔽。具体地，图15B示出了虚拟内容1530应该如何被感知为预期图像1538，以及CoP未对准如何产生第一和第二图像伪像1540A和1540B(例如，视网膜图像1534B中的带小圆点的区域)。
类似地，图15C示出了在混合变焦模式下操作以在存在CoP未对准的情况下向用户的眼睛1502呈现内容的混合现实系统1500C。混合现实系统1500C例如可以具有与上面参考图15A至15B描述的混合现实系统1500A和/或1500B相同的架构。在图15C所示的特定示例中，混合现实系统1500C以混合变焦模式(例如，以类似于上面参考图14E至14F描述的方式)操作，以同时将虚拟对象1530的一部分投射到深度平面1522上，并将虚拟对象1530的另一部分投射到深度平面1523上。这样，被投射到深度平面1522上的虚拟对象1530的一部分被变换为虚拟像素集1532C，而被投射到深度平面1523上的虚拟对象1530的一部分被变换为虚拟像素集1533C。以此方式，虚拟像素集1532C和1533C可以提供不同的焦点线索。混合现实系统1500C可以生成表示虚拟像素集1532C和1533C的数字化光场，并通过目镜1510将该数字化光场投射到用户眼睛1502的视网膜1503上以形成视网膜图像1534C。由于类似于上面参考图15A和15B描述的原因(例如，由CoP未对准引起的视差移位)，虚拟像素集1532C和1533C相对于用户的眼睛1502没有正确地彼此对准，因此，在视网膜图像1534C中，虚拟对象1530看起来是断裂的(例如，在虚拟对象1530的两个对应部分之间的接缝处分离)。具体地，虚拟对象1530可能具有位错伪像1542，如视网膜图像1534C所示。
实际上，虚拟相机的视角与用户眼睛的视角(对应于用户眼睛的位置/光学配置)的正确对准对于数字光场显示设备的呈现相对较高的感知质量的图形的能力很重要。在一些示例中，可以在数字光场显示设备中利用特定的虚拟相机视角，并且该虚拟相机视角可以对应于其中虚拟相机被定位在显示器加眼睛光学系统的有效光圈的中心处的视角。
眼睛视角位置可以对应于眼睛的有效入射光瞳(在本文中通常称为眼睛“CoP”)的位置，其位于光轴上的角膜曲率中心前方约5.01毫米处。为了保持渲染相机针孔与该位置之间的正确对准，系统可以获取关于真实世界和用户眼睛视角的信息。在某些示例中，可以根据用户眼睛的测量推断出这样的信息。这样的测量可以通过眼睛跟踪模块614获得。可以通过沿着当前光轴或视轴(朝着眼睛的外表面或角膜)走到或移到距角膜中心位置(例如图10的位置1008)约5.01毫米的位置来计算或以其他方式推断眼睛CoP的位置。因此，如果可穿戴设备相对于用户的面部移动，则用户的CoP可以改变(这样，来自配准观察器620的信息可用于识别用户的CoP)，和/或当用户注视其FOV的不同部分时，用户的CoP也可以改变(改变其光轴或视轴，由此改变其眼睛的CoP)。
混合现实系统中的渲染相机模式的示例
如图16A至17B所示，可穿戴系统可以利用不同的渲染相机模式，其中包括瞳孔渲染相机模式、旋转中心(CoR)渲染相机模式和混合瞳孔-CoR渲染相机模式。另外，这些渲染相机模式中的每一者可以与本文中结合图13至15C描述的每种显示焦点模式结合使用。在至少一些实施例中，光场渲染控制器618可被配置为选择在任何特定时间要使用哪个渲染相机模式，并且可以基于适当的数据(例如眼睛跟踪数据，具体地，眼睛跟踪数据的质量)做出这种选择。作为示例，可穿戴系统中的光场渲染控制器618或其它模块可以选择瞳孔渲染相机模式，或者可以在每当眼睛跟踪数据相对稳定并且可穿戴系统能够以低抖动或噪声识别CoP位置时朝着用户的CoP偏置(bias)混合渲染相机模式。相反，如果跟踪数据有限或有噪声，则光场渲染控制器618可被配置为选择CoR渲染相机模式或朝着用户的CoR偏置混合渲染相机模式。光场渲染控制器618可以根据所选择的渲染相机模式实时地(例如，通过渲染相机控制器758)确定左右相机位置，并且可以向渲染引擎622提供指示左右相机位置(和所选择的渲染相机模式)的数据。
瞳孔渲染相机模式
在瞳孔渲染相机模式下，渲染相机的针孔相机(例如，渲染引擎622可在针对特定用户的视角生成内容时使用的模拟相机位置)在所有时间从属于估计的用户CoP的位置(例如，如上述模块732所指示的)。具体地，右眼渲染相机的针孔相机可以从属于用户的右眼CoP，而左眼渲染相机的针孔相机可以从属于用户的左眼CoP。因此，由显示器呈现的虚拟图像内容具有刚好位于瞳孔前方的CoP位置的视角(例如，在眼睛的前房内)。
图16A至16B示出了在被跟踪到实时(live)瞳孔模式(例如，瞳孔渲染相机模式)的针孔相机中操作的系统1600A。系统1600A包括目镜1610，通过该目镜，眼睛1602可以观看被投射到深度平面1621、1622和1623中的一者或多者上的虚拟内容。图16A至16B进一步示出了位于眼睛1602的CoP处的渲染相机1630。可以看出，眼睛1602在图16A中处于相对于目镜1610的第一姿势，在图16B中处于相对于目镜1610的第二不同的姿势。这样，还可以看出渲染相机1630在图16A中处于一个位置(例如，对应于图16A中的眼睛1602的CoP的位置)中，在图16B中处于另一不同的位置(例如，对应于图16B中的眼睛1602的CoP的位置)。
对于被实时跟踪到瞳孔的针孔渲染相机，针孔渲染相机的绝对位置(和取向)以及针孔渲染相机和瞳孔之间的相对位置(和相对取向)随时间推移随机变化。如果来自眼睛跟踪的瞳孔位置有噪声和/或未充分滤波，则此模式下的视觉可能会抖动。使渲染相机的针孔始终从属于眼睛CoP的实际位置将尝试考虑相对于显示器的所有瞳孔运动，例如，低频变化(如滑移和IPD)以及由眼睛旋转产生的高频变化二者。这会将高频动态引入渲染系统，并导致不希望的时间伪像(抖动/跳动)。
图16C示出了其中渲染相机的针孔与眼睛的透视中心或大致与眼睛的瞳孔对准的另一示例。如图所示，用户的单眼瞳孔可以从位置A(点164)移动到位置B(点1642)。对于显示虚拟对象1644的光学目镜，在给定光焦度的情况下，打算显示为静止的虚拟对象1644将基于瞳孔位置(假设渲染相机被配置为使用瞳孔作为坐标系)在3D中投射在表示虚拟对象投影A的位置1646或表示虚拟对象投影B的位置1648处。假设投影有两个投影位置，则使用被变换为头部坐标的瞳孔坐标将会在用户眼睛移动时导致静止虚拟内容的抖动。该渲染相机协议也可被称为视图相关的显示或投影系统。
旋转中心(CoR)渲染相机模式
在CoR渲染相机模式下，渲染相机的针孔相机(例如，渲染引擎622在针对特定用户的视角生成内容时可使用的模拟相机位置)可以从属于用户旋转中心的位置(例如，图10所示的CoR 1010)。可以通过执行上面参考图7A的眼睛跟踪模块614描述的操作中的一者或多者，例如上面与CoR估计模块724相关联的一个或多个操作，来估计左右眼旋转中心。通过将渲染相机定位在用户的CoR处，可穿戴系统可以避免暂时的伪像(由被跟踪到实时瞳孔模式的针孔相机中的眼睛跟踪滞后导致的抖动，该抖动在微扫视运动期间尤为严重)，作为外围的潜在空间伪像(例如，由小视差引起的放大/缩小弹出)的交换。该方法利用了以下事实：在眼镜相对于眼球中心静止时，渲染相机位置(眼睛视角)与眼睛凝视(例如，聚焦)处之间的关系始终固定。也就是说，可以以此模式预渲染场景，使得图像对于中央凹始终是完全正确的，无论眼睛的取向为何或眼睛如何移动，但是朝着外围通常是未配准的。使用锚固到眼睛的CoR上的渲染相机，光场将正确地呈现在中央凹处(例如，在中央凹中，不存在配准到世界或弹出)，但是在外围处会包括误差(例如，因为旋转中心(CoR)不是透视中心(CoP)，因此不能免受视差偏移的影响)。有利地，由于视敏度迅速减小，因此外围处的这种误差可能远不及FOV内其它位置的误差/伪像那么明显。
例如，图17A至17B示出了在固定于CoR模式下的针孔相机中操作的系统1700A。与上面参考图16A至16B描述的系统1600A非常类似，系统1700A包括目镜1710，通过该目镜，眼睛1702可以观看被投射到深度平面1721、1722和1723中的一者或多者上的虚拟内容。图17A至17B还示出了被定位在眼睛1702的估计的CoR处的渲染相机1730。可以看出，眼睛1702在图17A中处于相对于目镜1710的第一姿势，在图17B中处于相对于目镜1710的不同的第二姿势。可以看出，渲染相机1730在图17A和17B中的每一者中处于相同位置(例如，眼睛1702的估计的CoR)，因为CoR不随眼睛姿势的变化而变化。
在至少一些实施例中，渲染相机1730可以包括多视角渲染相机1730，其可以例如包括围绕旋转中心(CoR)，以一距离(例如，半径)径向分布的渲染相机阵列，该距离等于从眼睛1702的CoP到眼睛1702的旋转中心的距离。因此，眼睛1702的CoP可以与呈多种不同姿势中的每一种的阵列中的至少一个渲染相机对准或近乎对准。在这种实施例中，光场渲染控制器618可以基于用户的当前姿势(例如，用户的当前光轴或瞳孔位置)从径向分布的阵列中选择特定的渲染相机，或者可以简单地同时采用径向分布的阵列中的多个渲染相机(或径向分布的阵列中的所有渲染相机)。因此，渲染控制器618可以选择与用户的CoP基本对准和定向的渲染相机。
图17C示出了其中渲染相机的针孔与眼睛的旋转中心对准的另一示例。在一些实施例中，相机渲染帧被定位在包含所有瞳孔位置的点1740处，例如眼球的旋转中心处。不论瞳孔位置A(点1640)和位置B(点1642)如何，虚拟对象投影相机渲染区域1742可以是一致的。头部坐标变换为相机渲染帧。在一些实施例中，可以将图像扭曲应用于图像以解决眼睛位置的变化，但是由于这仍然在相同位置进行渲染，因此抖动被减小或最小化。该渲染相机协议也可被称为视图无关的显示或投影系统。
混合瞳孔-CoR渲染相机模式
在混合瞳孔-CoR渲染相机模式下，渲染相机的针孔相机可被定位在瞳孔(CoP)位置、CoR位置、或CoP和CoR位置之间的线上的任何位置处。响应于眼睛跟踪数据的变化，渲染相机沿该线的特定位置可以随时间变化。作为示例，光场渲染控制器618可以分析眼睛跟踪数据的性质和质量，如下面更详细地讨论的，以确定是将渲染相机定位在用户的CoP处、用户的CoR处，还是这两者之间的某处。
在一些实施例中，系统可以基于所确定的眼睛跟踪数据的标准差(或其它统计方差的度量)而改变针孔相机的位置。例如，响应于确定所收集的眼睛跟踪数据相对有噪声(从而可能产生大量时间伪像，例如“抖动”)，系统可以选择将针孔相机定位在旋转中心(CoR)处或其附近。将针孔相机定位在CoR处或其附近有助于减少抖动以及其它时间伪像。另外，响应于确定所收集的眼睛跟踪数据相对稳定(从而不太可能产生大量时间伪像，例如抖动)，系统可以选择将针孔相机定位在透视中心(CoP)处或其附近。将针孔相机定位在CoP处或其附近有助于减少视差引起的(空间)伪像，例如，如下面关于图22至24B所述。在某些示例中，系统可以简单地在这两个离散位置(CoR和CoP)之间切换；请参见附录(第一和第二部分)以获取更多讨论；另请参见上面参考图10以及15A至17B提供的描述以获取相关讨论。在其它示例中，系统可以将针孔相机定位在沿着CoR和CoP(在某些实施方式中，对于普通用户而言，其位置可能彼此相距约9.71mm)之间的光轴的一系列不同位置中的任意位置处。在这些示例中，可以将系统视为与所确定的眼睛跟踪数据的标准差配合沿着眼睛的光轴“滑动”针孔相机(或平移针孔相机的位置)。当眼睛跟踪数据的标准差较高时，系统会将针孔相机一直滑到CoR。相反，当眼睛跟踪数据的标准差较低时，系统会将针孔相机一直滑到CoP。该系统可以在沿着光轴和/或视轴的方向上，将渲染相机的针孔定位在用户的CoR的前方的某个距离处(远离视网膜)。例如，渲染相机的针孔(光圈)可以被定位在用户的CoR前方的6.0mm至13.0mm之间，7.0mm至12.0mm之间，8.0mm至11.0mm之间，9.0mm至10.0mm之间，9.5mm至10.0mm之间，约9.7mm，约9.71mm或其它合适的距离。
图18A至18D提供了示例性眼睛跟踪数据以及系统如何响应于眼睛跟踪数据随时间重新定位渲染相机的示例。
图18A的曲线图1800a提供了原始眼睛跟踪数据的示例，该原始眼睛跟踪数据可以指示眼睛跟踪系统中的噪声水平以及用户眼睛的移动速度。y轴的单位可以是以每秒度数为单位的眼睛角速度(例如，以每秒度数为单位的用户光轴方向上的变化)。如曲线图1800a所示，用户眼睛的噪声和/或移动可导致用户CoP位置随时间以显著不同的速率移动。
图18B的曲线图1800b提供了图18A的眼睛跟踪数据的方差的示例。作为示例，曲线图1800b可以是曲线图1800a的指数加权移动标准差。一般而言，渲染控制器618可以使用眼睛跟踪数据的方差的任何度量来确定将渲染相机定位在何处。如阈值1810所示，每当用户的瞳孔或CoP的位置的方差(例如，噪声、可变性、速度等)较高时，系统便会将渲染相机定位在CoR处。相反，如阈值1820所示，每当用户的瞳孔或CoP的位置的方差较低时，系统便会将渲染相机定位在CoP处。在方差的中间区域中，系统可以将渲染相机定位在CoR和CoP之间。作为示例，系统可以在时间A、D和E处将渲染相机定位在CoR和CoP之间，可以在时间B处将渲染相机定位在CoR处，并且可以在时间C处将渲染相机定位在CoP处。在一些实施例中，渲染相机位置可以根据眼睛跟踪数据(例如，根据所确定的CoP数据中的噪声或速度)在CoR和CoP位置之间滑动。
图18C的曲线图1800c示出了在给定图18A和18B的示例数据的情况下，渲染相机的位置如何在CoR和CoP之间变化。如曲线图1800c所示，渲染相机可以在时间A处沿着光轴朝向CoP位置(远离CoR位置)定位在约48％处，可以在时间B处定位在CoR位置处，可以在时间C处定位在CoP位置处，可以在时间D处定位在CoR位置附近(距CoR位置约18％)，并且可以在时间E处定位在CoP位置附近(距CoR位置约88％)。
时间A至E处的渲染相机相对于用户眼睛1802的位置在图18D的图中示出。具体地，位置DB可以是CoR，并且可以在CoP位置快速移动或有噪声(例如，不希望地抖动)时使用，位置DD可以恰好在CoR之外，并且可以在CoP位置数据抖动略少时使用，位置DA可以位于CoR和CoP位置之间的半路上，并且可以在CoP位置数据稍有改善时使用，位置DE可以接近CoP位置，并且可以在CoP数据几乎足以将渲染相机定位在CoP时使用，位置DC可以位于CoP处，并且可以在CoP数据足够稳定时使用。通常，渲染相机可以定位在CoP和CoR之间的任何点处，并且可以响应于变化的眼睛跟踪数据而随时间在这些位置之间平滑地移动。在一些实施方式中，可以基于用户的确定的辐辏在CoP和CoR之间调整渲染相机位置。例如，当用户的辐辏或注视深度从空间中深度平面所处的位置移位到空间中滞后阈值所处的位置时(例如上面参考图12描述的)，系统可以使渲染相机的位置移向CoP。以此方式，CoP可以在深度平面切换期间用作渲染相机位置，该切换可以由系统响应于确定用户的辐辏已超过滞后阈值而执行，从而减少或最小化由视差引起的伪像。类似地，在这样的实施方式中，当用户的辐辏或注视深度从空间中滞后阈值所处的位置移位到空间中深度平面所处的位置时，系统可以将渲染相机的位置移向CoR。如上所述，当切换或以其它方式调整深度平面时，系统可以调整渲染相机的焦距。因此，在一些示例中，系统可以根据用户的确定的辐辏来调整渲染相机的位置和焦距。
基于角膜缘投影确定旋转中心
如上所述，例如至少关于图7A以及本文的其它地方，可以确定用户眼睛的旋转中心或“CoR”。如本文所述，旋转中心可以指示用户眼睛旋转所围绕的点。因此，在某些情况下，当用户的眼睛旋转时，眼睛(例如，眼球)内可能存在基本固定的点(例如，CoR)。如上所述，为了确定CoR，可以使用由眼睛跟踪相机或其它相机获得的图像，针对不同的注视方向计算眼睛的光轴和/或视轴的位置和取向的估计。这些不同的光轴或视轴的交点可用于估计眼睛旋转中心的位置。替代地，诸如上述的模块(例如，CoR估计模块724)可以利用所估计的眼睛尺寸。例如，该模块可以使用角膜曲率中心，并将CoR估计为沿着光轴从曲率中心朝着视网膜的特定距离。在某些情况下，该特定距离可以为约4.7mm。可以采用其它用于确定CoR估计的方法。
如上所述，在各种实施方式中，眼睛的CoR可以向用户通知例如虚拟内容的渲染和呈现。作为示例，渲染引擎(例如，引擎622)可以经由定位在用户眼睛处的相机的模拟来生成虚拟内容(例如，就像位于用户眼睛处的相机生成该虚拟内容一样)，使得当用户使用显示器观看时，虚拟内容处于正确的视角。为了确定这些位置，可以利用所确定的每只眼睛的CoR。例如，可以将特定相机模拟为针孔相机，其中针孔被设置在所确定的CoR的位置处或其附近，或者被设置在使用CoR的位置确定的位置处。因此，增加所确定的CoR的准确性可以提供与虚拟内容的呈现和相应的观看相关的技术优点。
如上所述，可以利用多种方法来确定眼睛旋转中心的位置的估计。如下面将更详细描述的，例如，关于图19至21D，可以利用用户眼睛的角膜缘来精确地确定眼睛的CoR。作为角膜缘的示例，图5示出了曲线512a，该曲线指示示例眼睛500的角膜缘边界。有利地，角膜缘边界可以在眼睛图像中快速显现。例如，可以根据边缘检测技术来识别曲线512a的边界。由于与虹膜相关联的颜色基本不同于巩膜的颜色，因此可以根据曲线512a处的突变差异来识别该边界。作为另一示例，可以使用诸如RANSAC、机器学习技术等等的技术来确定对应于角膜缘边界的曲线512a。识别角膜缘(例如识别角膜缘边界)的其它示例在美国专利公开2018/0018515中描述，该专利公开通过引用并入本文中。
在某些实施方式中，可以将椭圆投射到用户角膜缘的图像上(以下称为“投影椭圆”)。该投影椭圆因此可以表示适合于用户角膜缘边界的椭圆。如本文所述，图像预处理模块710可以获得用户眼睛的图像以进行分析。这些获得的图像因此可用于确定相应的投影椭圆。由于每个图像可以包括取向唯一的眼睛的表示(例如，注视可以在不同的方向上)，因此作为示例，在连续的眼睛图像之间，投影椭圆因此可以不同。如将要描述的，例如至少在图21A至21D中，可以使用根据连续图像确定的一个或多个投影椭圆。椭圆的差异可用于确定(例如，估计)眼睛的CoR。
作为示例，圆锥体(例如，射线圆锥体)可以被投射为从相机点(例如，上述针孔相机)延伸穿过与用户眼睛图像相关联的投影椭圆。例如，请参见图19以及图21A至21C。圆锥体的圆形横截面可被识别为与图像相关联。这些圆形横截面1906、1908的示例在图19中示出。在一些实施方式中，可以使用圆锥体的特征值(eigenvalue)/特征矢量(eigenvector)分解来确定圆形横截面，但可以使用其它识别圆形横截面的方法。然而，在一些实施方式中，例如可以确定提供圆形横截面中心的位置的矢量。
然后可以为图像选择圆形横截面之一。例如，圆形横截面之一可以对应于用户眼睛的注视(例如，朝着虚拟内容)。可以确定垂直于选定的圆形横截面的矢量(以下称为“法向矢量”)。例如，垂直于该矢量的法向矢量也可以提供选定的圆形横截面的中心的位置。
在上述示例中，可以分析眼睛的两个或更多个图像(例如，连续图像)。如上所述，眼睛的每个图像可以表示不同取向(例如，不同的眼睛姿势)的眼睛。可以为每个图像选择圆形横截面，并对其进行比较以确定CoR。例如，可以将CoR确定为针对图像而确定的法向矢量的交点。作为关于图21D的示例，CoR可以是点2122。在一些实施例中，每个法向矢量可以对应于根据相应图像确定的眼睛的光轴。因此，如在上面的图7A中所描述的，可以将CoR确定为针对不同眼睛姿势而确定的光轴的交点。
图19示出了根据本文描述的技术的投影椭圆形1902的图形表示。如上所述，可以将相机模拟为被定位在相机点1910处的针孔相机。相机点1910因此可以表示一个或多个眼睛跟踪相机的坐标系的原点。可以(例如，经由模块710)获得用户眼睛的图像，并且图像平面1904对应于所识别的图像。因此，图像平面1904可以包括用户眼睛的成像表示。可以在图像平面1904上确定对应于用户的角膜缘边界的投影椭圆1902。
然后，可以识别经由射线1912A-D从相机点1910延伸穿过投影椭圆1902的边界而形成的圆锥体1912。在各种实施方式中，可以沿着圆锥体1912的长度确定圆形横截面。在所示的示例中，圆形横截面具有与射线圆锥体相交并被射线圆锥体定界的周长。如将参考图20描述的，圆形横截面可以基于圆形横截面的特定半径来唯一地确定。例如，示出了具有相同半径的第一圆形横截面1906和第二圆形横截面1908。在一些实施例中，如将在下面关于细化CoR所描述的，当确定二维CoR时，可以不知道、不假设或不考虑角膜缘半径。作为示例，该半径可以表示多个用户的角膜缘的平均半径，基于用户的角膜缘图像为用户确定的半径，或者可以表示任意恒定值。可以可选地执行特征矢量分解，并且可以识别圆锥体1912的主轴1914。如图19所示，主轴1914被示出为延伸穿过投影椭圆形1902的几何中心到达相机点1910。
可以确定穿过第一圆形横截面1906的中心的第一矢量1916。类似地，可以确定穿过第二圆形横截面1908的第二矢量1918。例如，这些矢量1916-1918可以基于圆锥体1912的特征矢量分解而被确定。可以对圆形横截面1906、1908进行消歧(disambiguate)。因此，可以将圆形横截面之一识别为更好地对应于与成像的眼睛相关联的注视。例如，虽然圆形横截面1906、1908中的任一者在数学上针对给定半径是可允许的，但是圆形横截面之一可对应于眼睛的实际注视。因此，可以选择圆形横截面之一以用于确定眼睛CoR的估计。
如以下将更详细描述的，关于图20，可以确定垂直于选定的圆形横截面的法向矢量。例如，法向矢量可以垂直于第一圆形横截面1906或第二圆形横截面1908。可以确定多个图像的法向矢量。然后可以将这些法向矢量之间的三维空间中的交点识别为对应于眼睛的CoR。在图21D中，关于交点2122示出了交点的示例。在某些情况下，例如，如果法向矢量不在一个点相交，则将法向矢量紧密靠近在一起的区域和关联位置视为CoR的估计。在一些实施方式中，可以采用最小二乘法来获得这样的交点的估计。在这样的实施方式中，系统可以将到法向矢量的距离平方之和减小或最小化的位置识别为交点。
有利地，在一些实施例中，可以利用一种或多种技术来细化上述估计的CoR。例如，可以细化CoR的三维位置。在该示例中，细化的CoR可以是眼睛的CoR的更准确表示。作为示例，为了细化CoR，可以识别由第一矢量1916和第二矢量1918限定的平面(在本文中称为“投影平面”)。请参见例如图19。该投影平面可以包括圆锥体1912的主轴1914。因此，投影平面可以包括(例如，穿过)投影椭圆1902的几何中心。另外，投影平面可以包括(例如，穿过)相机点1910。如将描述的，投影平面可以还包括(例如，穿过)眼睛的CoR。
可以利用两个或更多个投影平面。例如，可以根据连续的用户眼睛图像来确定这些投影平面。在该示例中，可以识别两个或更多个投影平面之间的相交。由于如上所述，每个投影平面可以包括相机点1910，因此，由相交形成的所得到的线可以从相机点1910延伸。因此，所得到的线与图像平面1904的相交可以表示CoR在图像平面1904上的二维位置。为了细化CoR(例如，上述三维CoR)，可以识别所得到的线与法向矢量的交点。因此，可以将交点指定为细化的CoR。可选地，基于点与法向矢量的相交或会聚的接近，可以将细化的CoR识别为沿着所得到的线的点。例如，可以将所得到的线上最靠近(例如，根据均方根处理)法向矢量或法向矢量的相交或会聚的点指定为细化的CoR。如上所述，在一些示例中，也可以采用最小二乘法来估计这样的点。
图20是用于基于眼睛的角膜缘确定眼睛的旋转中心(CoR)的示例过程2000的流程图。为了方便起见，将过程2000描述为由具有一个或多个处理器或处理元件的显示系统执行。
在框2002处，显示系统获得用户眼睛的图像。如上所述，至少关于图7A，显示系统可以经由一个或多个相机或其它成像系统获得用户眼睛的图像。
在框2004处，显示系统基于用户眼睛的角膜缘确定形成圆锥体的投影椭圆。为了确定投影椭圆，可以在获得的图像中识别用户眼睛的角膜缘(例如，图5所示的角膜缘边界512)。不受理论的约束，可以根据不同的技术来识别角膜缘边界。作为示例，可以利用边缘检测方案来识别巩膜和虹膜之间的边缘。在该示例中，边缘可以表示角膜缘边界。作为另一示例，可以训练机器学习模型以标记角膜缘边界(例如，神经网络)。在某些情况下，投影椭圆可以是显示系统确定近似(例如，基本上近似)角膜缘边界的椭圆。
然而，如图21A所示，获得的图像可能不包括整个角膜缘。例如，用户眼睛的眼睑可能会遮盖角膜缘的一部分。在图21A的示例中，角膜缘的上部和下部被遮盖。因此，显示系统可以估计投影椭圆(例如，半长轴和半短轴)。可选地，为了估计投影椭圆，显示系统可以基于角膜缘的可见部分来拟合椭圆。例如，显示系统可以基于图像中可见的角膜缘的边界识别半长轴和半短轴。可选地，为了估计投影椭圆，显示系统可以利用与角膜缘相关的平均信息。例如，如果角膜缘边界的最左和最右部分可见，则显示系统可以利用平均角膜缘的半长轴和半短轴之间的平均比率。可选地，显示系统可以利用先前获得的用户角膜缘的图像来识别角膜缘的尺寸。
如图19所述，射线可以从相机点(例如，与获得图像的成像系统、相机的光圈等相关联的针孔相机)延伸穿过投影椭圆边界。例如，图21A示出了沿着投影椭圆边界从相机点延伸穿过各个位置的12个示例射线。这些延伸的射线因此可以形成圆锥体。在一些实施例中，圆锥体可以是椭圆锥体。可以选择圆锥体的圆形横截面(例如，如上所述)，并基于该圆形横截面来识别法向矢量。可以采用不同的技术来识别这样的法向矢量和/或圆形横截面。下面更详细地描述技术的示例。
不受任何特定的科学或数学理论的束缚，在一些实施方式中，可以根据以下方程式来描述上述投影椭圆：
ax2+bxy+cy2+dx+ey+f＝0
其中五个系数(例如，a、b、c、d、e、f)被定义为如下：
a＝A2sin2φ+B2cos2φ
b＝2(B2-A2)sinφcosφ
c＝A2cos2φ+B2sin2φ
d＝-2axc-byc
e＝-bxc-2cyc
Figure BDA0002682922590001241
上述的投影椭圆方程式可以根据齐次坐标
Figure BDA0002682922590001242
改写为：
Figure BDA0002682922590001243
上述圆锥体矩阵C2D可以被定义为：
Figure BDA0002682922590001244
显示系统可以根据内在相机参数(例如，内在相机参数矩阵)调整上述方程式。因此，圆锥体方程式可以表示为：
C＝ΛTC2DΛ
在框2006处，显示系统确定与圆锥体的选定的圆形横截面相关联的矢量。如框2004中所述，可以确定由从相机点延伸穿过投影椭圆的边界的射线形成的圆锥体。在一些实施方式中，为了确定与圆形横截面相关联的矢量，显示系统可以确定圆锥体的特征值和特征矢量。例如，圆锥体“C”可以被分解为正交矩阵和对角矩阵：
C＝UDUT
显示系统可以选择特征值“λ3”(例如，从对角矩阵“D”中选择)，该特征值的符号与其余两个特征值的符号相反。然后，可以将对应的特征矢量确定为对应于圆锥体的主轴(例如，图19所示的主轴1914)。主轴可以表示为基于相应的特征矢量(以下称为e3)：
Figure BDA0002682922590001245
显示系统可以根据两个剩余特征值的绝对值从两个剩余特征值中识别出最小特征值。该最小特征值可被称为“λ2”，剩下的特征值可被称为“λ1”。
显示系统然后可以确定以下等式：
Figure BDA0002682922590001251
Figure BDA0002682922590001252
如图19所示，可以确定圆锥体的两个圆形横截面。例如，在一些实施方式中，可以基于指定的半径确定特定的两个圆形横截面。作为示例，半径可以表示与角膜缘相关联的半径(例如，如上所述)。
在一些实施方式中，圆形横截面可以至少部分地根据基于上述特征矢量分解的矢量来定义。矢量可以表示延伸穿过每个圆形横截面的中心的矢量。例如，可以确定矢量c1和c2，以及对应的法向矢量n1和n2。
Figure BDA0002682922590001253
Figure BDA0002682922590001254
显示系统选择圆形横截面之一。例如，显示系统可以选择对应于眼睛的注视的矢量对[c1,n1]或[c2,n2]之一。在该示例中，显示系统可以确定哪个关联的圆形横截面对应于用户观看虚拟显示(例如，虚拟内容)。作为示例，显示系统可以利用对应的法向矢量来识别哪个法向矢量指向虚拟内容。因此，可以使用显示系统来执行消歧。在一些实施例中，可以使用诸如利用二维CoR之类的其它方案(例如，如下所述)来从矢量对中进行选择。然而，也可以使用其它方法来确定投影椭圆、圆锥体、穿过圆锥体的圆形横截面、圆形横截面的法向矢量中的任何一者或多者，或选择横截面和/或关联的法向矢量。可以使用上面讨论的数学方法的变型，或者不需要使用这样的数学方法。可以采用多种其它方法。
如以下关于框2008所述，显示系统可以利用选定的矢量对来确定眼睛的CoR。例如，显示系统可以结合使用选定的矢量对以及从一个或多个连续图像中选择的其它矢量对来确定CoR。
在框2008处，显示系统确定眼睛的CoR。如上面的框2002-2006所述，显示系统可以基于在用户眼睛图像中表示的用户角膜缘来确定法向矢量。例如，法向矢量可以表示用户眼睛的光轴。如框2006所述，显示系统可以确定矢量对，例如矢量对[cx,nx]。为了确定眼睛的CoR，显示系统可以利用根据用户眼睛的相应图像确定的两个或多个法向矢量。例如，两个或更多个图像可以是连续的用户眼睛图像(例如，根据一定的周期获得)。作为另一示例，两个或更多个图像可以表示相隔阈值时间拍摄的图像。在图20的示例中，显示系统可以在接收到阈值数量的图像时可选地执行框2008。例如，框2002-2006中描述的图像可以表示阈值数量的图像中的最后一个图像。其它方法也是可能的。有利地，如下所述，显示系统可以定期地细化和更新所确定的CoR。
类似于以上讨论，对于每个图像，显示系统可以确定提供选定的圆形横截面的中心位置的矢量。显示系统还可以确定法向矢量，该法向矢量垂直于选定的圆形横截面。作为示例，法向矢量可以表示眼睛的光轴。例如，法向矢量可以根据图像中表示的眼睛姿势来识别变化的眼睛光轴。
为了确定CoR，显示系统可以识别其中法向矢量相交、会聚或紧邻(例如，大多数矢量相交、会聚或紧邻；或者平均而言，矢量相交、会聚或紧邻)的位置(例如，三维位置)。例如，可以采用均方根处理。因此，如图7A所述，所识别的位置可以表示光轴相交的位置。可以将该交点指定为眼睛的CoR。在一些实施方式中，可以确定并存储从角膜缘圆的中心到CoR的距离以备将来使用。在这些实施方式中的至少一些中，系统可以存储与特定用户相关联的距离，并且随后依赖于所存储的距离来确定该特定用户的CoR(例如，通过识别沿着法向矢量的作为与角膜缘中心相距所存储的距离的位置)。类似地，在一些实施例中，可以通过识别沿着法向矢量的作为与角膜缘中心相距假设距离的位置来确定CoR。在这些实施例中，这样的假设距离可以对应于群体平均值或其它预定值。
当接收到用户眼睛的新图像时，显示系统可以细化CoR。例如，显示系统可以基于相应的图像(例如，各组阈值数量的图像)确定一个或多个新的CoR。然后，显示系统可以基于新的CoR细化CoR。作为示例，显示系统可以计算CoR的均方根。可选地，显示系统可以利用所有获得的图像或阈值数量来连续更新CoR。例如，显示系统可以最初利用两个或更多个图像来确定CoR。当接收到新图像时，显示系统可以利用全部或阈值数量的接收图像来执行过程2000。随着图像数量的增加以及所确定的法向矢量的数量由此的增加，可以提高CoR的准确性。其它方法也是可能的。
图21A示出了基于用户眼睛的第一注视确定的第一投影椭圆2100。如上所述，可以获得用户眼睛的图像。基于图像，可以确定眼睛角膜缘的边界。如图所示，已经基于角膜缘的边界在图像平面2112中确定了第一投影椭圆2100。在所示的示例中，识别沿着边界的点。形成圆锥体2104的射线被示出为从相机点2102延伸穿过沿着边界的点。圆形横截面2106已经被确定，例如，如图20所述，圆形横截面2106的中心2108在图21A中被识别。
如图19至20所示，对于给定半径，可以确定来自圆锥体2104的两个圆。在图21A至21D的示例中，可以选择其中一个圆。例如，如上所述，其中一个圆可以对应于指向用户正观看的虚拟显示(例如，虚拟内容)的注视。从圆的中心2108延伸的是矢量2110。因此，矢量可以表示上面关于图20所述的法向矢量n1或n2之一。
图21B示出了基于用户眼睛的第二注视确定的第二投影椭圆2114。在该示例中，获得了图21A中描述的图像之后的图像。与上面类似，在图像平面2112中识别出第二投影椭圆2114。另外，已经确定了矢量2116。
图21C示出了基于用户眼睛的第三注视确定的第三投影椭圆2118。在该示例中，获得了图21A至21B中描述的图像之后的图像。与上面类似，在图像平面2112中识别出第三投影椭圆2118。另外，已经确定了矢量2120。
图21D示出了基于确定的矢量2110、2116、2120估计旋转中心(CoR)。显示系统可以利用确定的矢量来识别矢量相交的点。例如，显示系统已经确定矢量在点2122处相交。为了确定交点2122，显示系统可以可选地利用已知的物理信息。例如，可以采用相机点2102和用户眼睛之间的距离。替代地或附加地，可以确定其中法线呈现为紧邻或会聚(例如，大多数矢量相交、会聚或紧邻；或者平均而言，矢量相交、会聚或紧邻)的交点或位置。然后，显示系统可以将交点2122或其中法线呈现为紧邻或会聚的交点或位置(例如，大多数矢量相交、会聚或紧邻；或者平均而言，矢量相交、会聚或紧邻)指定为眼睛的CoR。
如上所述，关于图19至21D，可以使用用户眼睛的图像来确定眼睛的CoR的估计。其它变型和技术也可以被采用并且落入本公开的范围内。作为示例，显示系统可以基于眼睛旋转和/或移动期间的用户眼睛图像来确定眼睛的CoR。通过分析眼睛的几何方面的变化，显示系统可以识别CoR。例如，显示系统可以识别在图像中表示的眼睛光轴。显示系统可以利用光轴来确定CoR。因此，可以采用利用用户眼睛的几何方面来确定眼睛的CoR的估计的其它技术和变型。
作为示例，显示系统可以确定与用户眼睛图像相关联的位置阵列。位置阵列可以对应于图像上的空间位置。示例空间位置可以与用户眼睛的一部分(例如，角膜缘、瞳孔、虹膜等)相关联。因此，在一些实施方式中，位置阵列可以拟合到该部分的末端。该部分的末端可以与针对用户眼睛的该部分确定的曲线(例如，上述的投影椭圆)相关联。在一些实施方式中，显示系统可以识别从相同点延伸穿过位置阵列的线性路径。如上所述，线性路径(例如，射线)可以从相机点开始延伸。线性路径可以形成圆锥体，并且可以选择圆锥体的特定圆形横截面。例如，特定横截面可以具有特定半径(例如，平均角膜缘或用户角膜缘的半径、平均瞳孔或用户瞳孔的半径等等)。可以识别垂直于特定横截面的矢量。显示系统可以确定多个法向矢量的交点，然后将交点指定为CoR。在一些实施方式中，可以利用上面参考图7A描述的一种或多种用于确定两个或更多个光轴和/或其它矢量之间的3D交点的技术来确定本文中参考图19至21D描述的法向矢量之间的3D交点。类似地，在一些实施例中，可以利用上面参考图7A所述的一种或多种用于平均和/或将滤波器(例如，卡尔曼型滤波器)应用到多个估计的CoR位置或其它3D位置的技术来确定和/或细化本文中参考图19至21D描述的CoR估计。可以采用变型和其它方法。
利用其它示例技术细化旋转中心(CoR)
如图20至21所述，显示系统可以将眼睛的CoR确定为多个矢量(例如，矢量2110、2116、2120)相交、会聚或紧邻的位置(例如，三维位置)。替代地或附加地，显示系统可以根据一种或多种其它技术来细化所确定的CoR。例如，如图19至20所述，可以根据经由延伸穿过投影椭圆(例如，椭圆1902)的射线而形成的圆锥体(例如，圆锥体1912)来确定矢量c1和c2(例如，矢量1916、1918)。这些矢量可以形成投影平面。与上面关于利用多个图像类似，显示系统可以确定两个或更多个图像的投影平面。
为了细化所确定的CoR，显示系统可以利用所确定的投影平面。例如，在一些实施方式中，显示系统可以确定投影平面的交点(例如，在三维空间中)。作为示例，投影平面的交点可以形成一条线。另外，该线可穿过相机点(例如，点1910)，与投影平面相关联的圆锥体从该相机点开始延伸。为了细化CoR，显示系统可以在图像平面(例如，图像平面1904)中识别该所得到的线相交的点。然后，显示系统可以将该点指定为图像平面上的二维CoR。如图19所述，显示系统可以沿着所得到的线(例如，在三维空间中)调整二维CoR。例如，可以将细化的CoR指定为沿着所得到的线的靠近或最靠近法向矢量(例如，矢量2110、2116、2120)的交点的位置。
可选地，显示系统可以根据以下技术来细化眼睛的CoR。可以获得用户眼睛的不同图像(例如，连续图像)。对于每个图像，显示系统可以确定矢量c1和c2与图像平面(例如，图像平面1904)的交点。然后，显示系统可以在(1)矢量c1与图像平面的交点和(2)矢量c2与图像平面的交点之间连接一条线。因此，该线可以表示由矢量c1和c2限定的投影平面与图像平面的交点。因此，图像可以与相应的线相关联，并且显示系统可以基于图像平面中的点与线的接近度来确定二维CoR。例如，显示系统可以执行均方根(RMS)处理(例如，基于随机样本一致性)以确定二维CoR。与上文类似，显示系统可以通过沿着连接二维CoR和相机点的线调整二维CoR来细化CoR(例如，如图20至21中描述的)。
关于上面的示例，显示系统可以可选地针对每个图像选择矢量c1或c2之一。例如，显示系统可以基于眼睛的注视选择矢量c1或c2之一。作为另一示例，显示器可以基于各个矢量与图像平面相交而选择矢量c1或c2之一。在该示例中，可以选择与图像平面相交的更靠近二维CoR(例如，如上所述)的矢量。显示系统然后可以确定每个选定的矢量与图像平面相交的点。与上文类似，显示系统然后可以基于图像平面中的点与所确定的交点的接近度确定二维CoR。例如，可以利用RMS处理。
基于瞳孔投影确定旋转中心(CoR)
类似于图19至21D中与利用眼睛角膜缘相关的上述描述，替代地或附加地，可以利用瞳孔来确定眼睛的CoR。例如，可以针对用户眼睛图像中包括的瞳孔确定投影椭圆。由于瞳孔位于用户角膜表面的后方，因此光可在该表面处被折射。然而，这种折射的主要效应是从瞳孔延伸的法向矢量相对于未折射瞳孔的旋转。如本文所讨论的，角膜的折射效应可被考虑以确定基于折射的瞳孔位置。作为非限制性示例，基于折射的瞳孔中心位置也可以与根据上述技术确定的投影平面重合。如本文所述，显示系统可以利用用户瞳孔图像来确定折射平面。因此，如本文所述，显示系统可以利用用户瞳孔图像来确定投影平面。例如，可以按照上面针对角膜缘所述的相同方式，针对瞳孔找到CoR射线(或“眼球中心射线”)。作为示例，包括对瞳孔的折射效应不会改变CoR射线计算。然后，通过使用固定的(例如，平均的)瞳孔半径，显示系统可以找到圆形横截面及其相应的法线(例如，如上所述)。
然后，显示系统以上述基于角膜缘确定CoR类似的方式，基于瞳孔确定眼睛的CoR。例如，椭圆可以拟合到瞳孔图像。由射线形成的圆锥体可被投射通过椭圆。圆形横截面可以拟合到圆锥体。可以考虑使用利用多个图像获得通过多个横截面的法线，并且可以识别这些法线的相交或会聚。可以从中获得CoR的估计。可以采用其它方法确定CoR的估计，其中包括在此描述的其它方法，例如使用投影平面。
透视中心(CoP)分析/推导
在针孔相机模型中，透视中心(CoP)可被视为针孔相机的光圈。该CoP的示例特性是它也可能是物角空间(object angle space)的原点。因此，作为参考该原点的示例，与针孔成相同角度的对象将映射到相同像素(例如，重叠)。作为另一示例，如果场景严格围绕CoP旋转，则投影图像将平移，并且场景中的对象不会经历视差偏移。
在开发本文所述的系统和技术时，开发并测试了两个假设。第一个假设是主平面的中心是CoP，第二个假设是光圈中心是CoP。作为示例，主平面可以表示其中入射光线被视为由于折射而弯曲的平面。如将要描述的，可以确定光圈中心是CoP。例如，图22、23A至23B和24A至24B以及下面的相应描述可以提供与这两个假设的测试相关联的分析有关的有用信息。
图22示出了光学系统2200，其包括两个点光源2201和2202、光圈2204、透镜2206和投影屏2208。在该示例中，光学系统2200的光圈2204、透镜2206和投影屏2208可以表示或至少在功能上类似于人眼的解剖特征。例如，光学系统2200的光圈2204、透镜2206和投影屏2208可以分别对应于瞳孔、晶状体和视网膜。
在图22中，由第一点光源2201发射的光线被表示为从第一点光源2201朝着投影屏2208延伸的实线，而由第二点光源2202发射的光线被表示为从第二点光源2202朝着投影屏2208延伸的点线。从两个点光源2201和2202中的每一者发射的光的一部分可以传播通过光圈2204和透镜2206，并最终照射到投影屏2208上以形成入射光线图案2210。
图23A示出了处于第一阶段(例如，阶段“A”)的光学系统2300，其包括两个点光源2301和2302、光圈2304、透镜2306和投影屏2308。光学系统2300可以例如在架构和功能上与上面参考图22进一步详细描述的光学系统2200相同或相似。更具体地，光学系统2300可以表示上面参考图22进一步详细描述的光学系统2200的特定实施方式，其中将主平面的中心定义为CoP，使得上述第一假设可被测试。由于透镜2306可用于在光学系统2300中限定主平面，因此，在该示例中，CoP可以对应于透镜中心2307。
对光学系统2300的上述两个含义的评估可以提供有关上述第一假设的真假的有用信息。也就是，为了使上述第一假设为真，当两个点光源2301、2302严格围绕透镜中心2307旋转(例如，分别沿着曲率半径2311和2312旋转)时，被投射到投影屏2308上的图像(例如，入射光线图案)不应发生任何视差偏移，而是仅发生平移。再次参考图22，这意味着当两个点光源2301和2302分别严格沿着曲率半径2311和2312旋转到任何一对点时，被投射到投影屏2308上的图像应当看起来像入射光线图案2210的平移后的版本(例如，图像形成在投影屏2308上的稍微不同的位置处)。
图23B示出了处于第二阶段(例如，阶段“B”)的光学系统2300，其中两个点光源2301和2302已经分别沿着曲率半径2311和2312严格围绕透镜中心2307旋转，从而变为严格旋转后的点光源2301'和2302'。可以看出，从两个严格旋转后的点光源2301′和2302′中的每一者发射的光的一部分传播通过光圈2304和透镜2306，并最终照射到投影屏2308上以形成入射光线图案2310。
然而，在检查入射光线图案2310时，还可以看出，来自第一严格旋转后的光源2301′的入射光线图案2310的光线和来自第二严格旋转后的光源2302'的入射光线图案2310的光线之间的相对位置(例如，在投影屏2310上)已经移位。再次参考图22，还可以注意到，图23B中产生的入射光线图案2310看起来不像入射光线图案2210的平移后的版本。换句话说，两个点光源2301和2302围绕透镜中心2307的严格旋转导致视差偏移。由于这个原因，透镜中心2307可能被视为CoP的不合适位置。因此，图22、23A和23B及其附带分析可以有效地证明上述第一假设为假。
图24A示出了处于第一阶段(例如，阶段“A”)的光学系统2400，其包括两个点光源2401和2402、光圈2404、透镜2406和投影屏2408。光学系统2400可以例如在架构和功能上与上面参考图22进一步详细描述的光学系统2200相同或相似，其方式与上面参考图23A至23B描述的几乎相同。更具体地，光学系统2400可以表示上面参考图22进一步详细描述的光学系统2200的特定实施方式，其中光圈中心2407被定义为CoP，使得上述第二假设可被测试。
类似于上面参考图23A和图23B描述的对光学系统2300的评估的对光学系统2400的评估可以提供有关上述第二假设的真假的有用信息。也就是，为了使上述第二假设为真，当两个点光源2401、2402严格围绕光圈中心2407旋转(例如，分别沿着曲率半径2411和2412旋转)时，被投射到投影屏2408上的图像(例如，入射光线图案)不应发生任何视差偏移，而是仅发生平移。
图24B示出了处于第二阶段(例如，阶段“B”)的光学系统2400，其中两个点光源2401和2402已经分别沿着曲率半径2411和2412严格围绕光圈中心2407旋转，从而变为严格旋转后的点光源2401'和2402'。可以理解，来自两个严格旋转后的点光源2401′和2402′的光照射到投影屏2408上以形成入射光线图案2410，入射光线图案2410看起来像上面参考图22描述的入射光线图案2210的平移后的版本。也就是，尽管入射光线图案2410相对于投影屏2408的位置可以不同于入射光线图案2210相对于投影屏2208的位置，但是来自第一严格旋转后的光源2401′的入射光线图案2410的光线和来自第二严格旋转后的光源2402'的入射光线图案2410的光线之间的相对位置(例如，位于投影屏2310上)看上去未移位。因此，两个点光源2401和2402围绕光圈中心2407的严格旋转看上去未产生视差偏移。考虑到在该示例中上述两个含义看起来已得到满足，可以将光圈中心2407视为CoP的合适位置。因此，图22、24A和24B及其附带分析可以有效地证明上述第二假设为真。
因此，在一些实施例中，希望将渲染世界中的CoP(例如，渲染相机的针孔位置)与(真实世界中的)用户眼睛的一部分(其是光圈中心2407的解剖等同物)对准。由于人眼还包括角膜(其赋予朝着视网膜传播的光以额外光焦度)，因此光圈中心2407的解剖等同物可能不对应于用户眼睛的瞳孔或虹膜的中心，而是替代地对应于位于用户眼睛的角膜外表面和用户眼睛的瞳孔或虹膜的中心之间的用户眼睛区域。例如，光圈中心2407的解剖等同物可以对应于用户眼睛前房内的区域。
眼睛跟踪不可用时的示例
在一些实施例中，眼睛跟踪可能不被提供或可能暂时不可用。作为示例，眼睛跟踪相机324或光源326可能被用户遮挡、损坏或禁用，环境光照条件可能使眼睛跟踪变得异常困难，可穿戴系统可能以阻止眼睛跟踪的方式不适当地贴合，用户可能正在眯眼或者用户的眼睛可能不容易被跟踪等等。在这样的情况下，可穿戴系统可被配置为在缺乏眼睛跟踪数据的情况下求助于各种策略来定位渲染相机并选择深度平面。
关于渲染相机，如果在长于预定阈值的时间内(例如，数秒钟或比通常的眨眼稍长)未检测到用户的瞳孔，则可穿戴系统可以将渲染相机定位到默认位置。可穿戴系统可以以平滑移动的方式将渲染相机移动到默认位置，平滑移动可以遵循过阻尼振荡器模型。可以将默认位置确定为可穿戴系统针对特定用户的校准过程的一部分。默认位置可以是用户左眼和右眼的旋转中心。这些仅是说明性示例。
关于深度平面，可穿戴系统可以基于虚拟内容的深度(与先前讨论的用户的辐辏深度相反)提供调节线索。在一些实施例中，可穿戴系统可以接收、获得或确定估计用户很可能注视看向哪里的信息，并且可以提供匹配的调节线索。作为示例，可穿戴系统可以正在显示用户很可能关注的内容(例如，视频剪辑)，可以假设用户正在观看该内容，并且可以在一深度平面上(或通过混合深度平面)提供该内容，从而提供与该内容的深度相匹配的调节线索。
在周围环境中检测对象的计算机视觉
如上所述，显示系统可被配置为检测用户周围环境中的对象或周围环境的特性。如本文所讨论的，可以使用包括各种环境传感器(例如，相机、音频传感器、温度传感器等)在内的各种技术来实现检测。
在一些实施例中，可以使用计算机视觉技术来检测环境中存在的对象。例如，如本文所公开的，显示系统的前向相机可被配置为对周围环境进行成像，并且显示系统可被配置为对图像执行图像分析以确定周围环境中对象的存在。显示系统可以分析通过面向外的成像系统获取的图像以执行场景重建、事件检测、视频跟踪、对象识别、对象姿势估计、学习、索引、运动估计或图像恢复等。作为其它示例，显示系统可被配置为执行面部和/或眼睛识别以确定面部和/或人眼在用户视场中的存在和位置。可以使用一种或多种计算机视觉算法来执行这些任务。计算机视觉算法的非限制性示例包括：尺度不变特征变换(SIFT)、加速鲁棒特征(SURF)、定向FAST和旋转BRIEF(ORB)、二进制鲁棒不变可扩展关键点(BRISK)、快速视网膜关键点(FREAK)、Viola-Jones算法、特征脸方法、Lucas-Kanade算法、Horn-Schunk算法，均值漂移(Mean-shift)算法、视觉同步定位与地图构建(vSLAM)技术、序列贝叶斯估计器(例如，卡尔曼滤波器、扩展卡尔曼滤波器等)、光束法平差(bundleadjustment)、自适应阈值分割(和其它阈值分割技术)、迭代最近点(ICP)、半全局匹配(SGM)、半全局块匹配(SGBM)、特征点直方图、各种机器学习算法(例如，支持向量机、k最近邻算法、朴素贝叶斯、神经网络(包括卷积或深度神经网络)或其它有监督/无监督模型等)等等。
这些计算机视觉技术中的一种或多种也可以与从其它环境传感器(例如，麦克风)获取的数据一起使用，以检测和确定由传感器检测到的对象的各种特性。
如本文所讨论的，可以基于一个或多个标准检测周围环境中的对象。当显示系统使用计算机视觉算法或使用从一个或多个传感器组件(可能是或可能不是显示系统的一部分)接收到的数据检测周围环境中是否存在标准时，显示系统然后会以信号告知对象的存在。
机器学习
可以使用各种机器学习算法来学习识别周围环境中对象的存在。一经训练，机器学习算法便可被显示系统存储。机器学习算法的一些示例可以包括有监督或无监督机器学习算法，包括回归算法(例如，普通最小二乘回归)、基于实例的算法(例如，学习向量量化)、决策树算法(例如，分类和回归树)、贝叶斯算法(例如，朴素贝叶斯)、聚类算法(例如，k均值聚类)、关联规则学习算法(例如，先验算法)、人工神经网络算法(例如，感知机)、深度学习算法(例如，深度玻尔茨曼机或深度神经网络)、降维算法(例如例如，主成分分析)、集合算法(例如，堆栈泛化)和/或其它机器学习算法。在一些实施例中，可以针对各个数据集定制各个模型。例如，可穿戴设备可以生成或存储基础模型。基础模型可以用作生成特定于数据类型(例如，特定用户)、数据集(例如，获得的附加图像集)、条件情况或其它变化的附加模型的起点。在一些实施例中，显示系统可以被配置为利用多种技术来生成用于分析聚合数据的模型。其它技术可包括使用预定义的阈值或数据值。
用于检测对象的标准可以包括一个或多个阈值条件。如果由环境传感器获取的数据的分析指示越过阈值条件，则显示系统可以提供指示检测到周围环境中对象的存在的信号。阈值条件可以涉及定量和/或定性的量度。例如，阈值条件可以包括与环境中存在反射和/或对象的可能性相关联的分数或百分比。显示系统可以将根据环境传感器数据计算出的分数与阈值分数进行比较。如果得分高于阈值水平，则显示系统可以检测到反射和/或对象的存在。在一些其它实施例中，如果得分低于阈值，则显示系统可以用信号通知环境中对象的存在。在一些实施例中，可以基于用户的情绪状态和/或用户与周围环境的交互来确定阈值条件。
在一些实施例中，阈值条件、机器学习算法或计算机视觉算法可以专用于特定情境。例如，在诊断情境中，计算机视觉算法可以专用于检测对刺激的特定反应。作为另一示例，显示系统可以执行面部识别算法和/或事件跟踪算法以感测用户对刺激的反应，如本文所讨论的。
将理解，本文描述和/或附图中描绘的过程、方法和算法中的每一者可以体现在由一个或多个物理计算系统、硬件计算机处理器、专用电路和/或被配置为执行特定和特殊的计算机指令的电子硬件所执行的代码模块中并且完全或部分地由该代码模块自动化。例如，计算系统可以包括用特定计算机指令编程的通用计算机(例如，服务器)或专用计算机、专用电路等等。代码模块可以被编译并链接到可执行程序中，安装在动态链接库中，或者可以用解释的编程语言编写。在一些实施例中，特定操作和方法可以由专用于给定功能的电路来执行。
此外，本公开的功能的某些实施例在数学上、计算上或技术上是足够复杂的，使得专用硬件或一个或多个物理计算设备(利用适当的专用可执行指令)对于执行功能可能是必需的，例如由于所涉及的计算的数量或复杂性或为了基本上实时提供结果。例如，视频可以包括许多帧，每帧具有数百万个像素，并且具体地编程的计算机硬件对于处理视频数据是必需的以在商业上合理的时间量内提供期望的图像处理任务或应用。
代码模块或任何类型的数据可以存储在任何类型的非暂时性计算机可读介质上，诸如物理计算机存储器，包括硬盘驱动器、固态存储器、随机存取存储器(RAM)、只读存储器(ROM)、光盘、易失性或非易失性存储器、其组合和/或类似物。在一些实施例中，非暂时性计算机可读介质可以是本地处理和数据模块(140)、远程处理模块(152)和远程数据储存库(160)中的一者或多者的一部分。方法和模块(或数据)也可以在各种计算机可读传输介质上作为生成的数据信号(例如，作为载波或其他模拟或数字传播信号的一部分)传输，所述传输介质包括基于无线的和有线/基于线缆的介质，并且可以采取多种形式(例如，作为单个或多路复用模拟信号的一部分，或者作为多个离散数字分组或帧)。所公开的方法或方法步骤的结果可以持久地或以其他方式存储在任何类型的非暂时性有形计算机存储器中，或者可以经由计算机可读传输介质来传送。
在此描述的和/或在附图中描绘的流程图中的任何过程、框、状态、步骤或功能应当被理解为潜在地表示代码模块、代码段或代码部分，代码包括一个或多个可执行指令以实现特定功能(例如，逻辑或算术)或方法中的步骤。各种方法、框、状态、步骤或功能可以与本文提供的说明性示例相组合，重新排列，添加，删除，修改或以其他方式改变。在一些实施例中，附加的或不同的计算系统或代码模块可以执行本文描述的功能中的一些或全部。本文描述的方法和过程也不限于任何特定的顺序，并且与其相关的块、步骤或状态可以以适当的其他顺序来执行，例如串行、并行或以某种其他方式。可以向所公开的示例实施例添加任务或事件或者从中移除任务或事件。此外，本文描述的实施例中的各种系统部件的分离是出于说明的目的，并且不应该被理解为在所有实施例中都需要这种分离。应该理解，所描述的程序部件、方法和系统通常可以一起集成在单个计算机产品中或者封装到多个计算机产品中。
其它考虑事项
在此描述的和/或在附图中描绘的过程、方法和算法中的每一者可以体现在由一个或多个物理计算系统、硬件计算机处理器、专用电路和/或被配置为执行具体和特定计算机指令的电子硬件所执行的代码模块中，并且由以上完全或部分自动化。例如，计算系统可以包括编程有特定计算机指令的通用计算机(例如，服务器)或专用计算机、专用电路等等。代码模块可以被编译并链接到可执行程序中，安装在动态链接库中，或者可以用解释的编程语言写入。在一些实施方式中，特定操作和方法可以由专用于给定功能的电路来执行。
此外，本公开的功能的某些实施方式在数学上、计算上或技术上是足够复杂的，以致于可能需要专用硬件或一个或多个物理计算设备(利用适当的专用可执行指令)来执行功能，例如由于所涉及的计算的数量或复杂性或为了基本实时地提供结果。例如，动画或视频可以包括许多帧，每帧具有数百万个像素，并且特别编程计算机硬件需要处理视频数据，从而在商业上合理的时间量内提供期望的图像处理任务或应用。
代码模块或任何类型的数据可以存储在任何类型的非暂时性计算机可读介质上，诸如物理计算机存储器，其包括硬盘驱动器、固态存储器、随机存取存储器(RAM)、只读存储器(ROM)、光盘、易失性或非易失性存储器、其组合和/或类似物。方法和模块(或数据)也可以在各种计算机可读传输介质上作为生成的数据信号(例如，作为载波或其它模拟或数字传播信号的一部分)传输，所述传输介质包括基于无线的和基于有线/线缆的介质，并且可以采取多种形式(例如，作为单个或多路复用模拟信号的一部分，或者作为多个离散数字分组或帧)。所公开的过程或过程步骤的结果可以持久地或以其它方式存储在任何类型的非暂时性、有形计算机存储器中，或者可以经由计算机可读传输介质来传送。
在此所描述/或附图中描绘的流程图中的任何过程、框、状态、步骤或功能应当被理解为潜在地表示代码模块、代码段或代码部分，这些代码模块、代码段或代码部分包括用于实现特定功能(例如，逻辑或算术)或步骤的一个或多个可执行指令。过程、框、状态、步骤或功能可以与在此提供的说明性示例相组合、重新排列、添加、删除、修改或以其它方式改变。在一些实施例中，附加的或不同的计算系统或代码模块可以执行在此描述的功能中的一些或全部。本文描述的方法和过程也不限于任何特定的顺序，并且与其相关的块、步骤或状态可以以适当的其他顺序来执行，例如串行、并行或以某种其他方式。可以向所公开的示例性实施例添加任务或事件或者从中移除任务或事件。此外，本文描述的实施方式中的各种系统部件的分离是出于说明的目的，并且不应该被理解为在所有实施方式中都需要这种分离。应该理解，所描述的程序部件、方法和系统通常可以一起集成在单个计算机产品中或者封装到多个计算机产品中。许多实施方式变化是可能的。
过程、方法和系统可以在网络(或分布式)计算环境中实施。网络环境包括企业范围的计算机网络、内联网、局域网(LAN)、广域网(WAN)、个人区域网络(PAN)、云计算网络、众包计算网络、因特网和万维网。网络可以是有线或无线网络或任何其他类型的通信网络。
本公开的系统和方法各自具有若干创新性方面，其中没有单独一个对于本文公开的期望属性完全负责或需要。上述各种特征和过程可以彼此独立地使用，或者可以以各种方式组合。所有可能的组合和子组合均旨在落入本公开的范围内。对于本公开中所描述的实施方式的各种修改对于本领域技术人员来说可能是显而易见的，并且在不脱离本公开的精神或范围的情况下，可将本文中定义的一般原理应用于其他实施方式。因此，权利要求不旨在限于本文所示的实施方式，而是应被赋予与本公开一致的最宽范围、本文公开的原理和新颖特征。
在本说明书中在分开的实施方式的情境中描述的某些特征也可以在单个实施方式中组合实施。相反，在单个实施方式的情境中描述的各种特征也可以分开或者以任何合适的子组合在多个实施方式中实施。此外，尽管上文可以将特征描述为以某些组合起作用并且甚至最初如此要求，但是来自所要求保护的组合的一个或多个特征可以在一些情况下从组合中删除，并且所要求保护的组合可以针对子组合或变体的子组合。没有单个特征或特征组对于每个实施例是必要或是必不可少的。
除非另有明确说明，否则本文中使用的条件语言，诸如“能够”、“可能”“应该”、“可以”、“例如”等等，或者在情境中以其他方式理解的，为一般地意在表达某些实施例包括，而其他实施例不包括某些特征、元件和/或步骤。因此，这样的条件语言通常不旨在暗示特征、元素和/或步骤以任何方式对于一个或多个实施例是必需的，或者一个或多个实施例必然包括用于在有或者没有作者输入或提示的情况下决定是否这些特征、元件和/或步骤包括在任何特定实施例中或将在任何特定实施例中执行。术语“包括”、“包含”、“具有”等是同义词，并且以开放式的方式包含性地使用，并且不排除附加的元件、特征、动作、操作等等。此外，术语“或”以其包含性含义(而不是其专有含义)使用，因此当用于例如连接元素列表时，术语“或”表示一个、一些或全部列表中的元素。另外，除非另有说明，否则本申请和所附权利要求中使用的冠词“一”、“一个”和“所述”应被解释为表示“一个或多个”或“至少一个”。
如本文所使用的，提及项目列表中的“至少一个”的短语是指这些项目的任何组合，包括单个成员。举例来说，“A、B或C中的至少一个”旨在覆盖：A、B、C、A和B、A和C、B和C以及A、B和C。连接语言例如短语“X、Y和Z中的至少一个”，除非另有特别说明，否则在通常用于表达项目，术语等可以是X、Y或Z中的至少一个。因此，这样的连接语言通常并不意味着某些实施方案需要X中的至少一个，Y中的至少一个和Z中的至少一个存在。
类似地，尽管可以在特定顺序中在附图中描绘操作，但应认识到，这些操作不需要以所示出的特定顺序或按顺序执行，或者所有所示操作都要执行，以实现理想的结果。此外，附图可以以流程图的形式示意性地描绘一个或多个示例过程。然而，未示出的其他操作可以并入示意性说明的示例性方法和过程中。例如，可以在任何所示操作之前、之后、同时或之间执行一个或多个附加操作。另外，在其他实施中，操作可以重新安排或重新排序。在某些情况下，多任务和并行处理可能是有利的。此外，上述实施方式中的各种系统部件的分离不应该被理解为在所有实施方式中都需要这种分离，并且应该理解，所描述的程序部件和系统通常可以一起集成在单个软件产品中或者封装到多个软件产品中。另外，其他实施方式在以下权利要求的范围内。在一些情况下，权利要求中列举的动作可以以不同的顺序执行并且仍然实现期望的结果。
示例
本文描述了将光投射到用户的一只或多只眼睛以在所述用户的视场中显示虚拟图像内容的显示系统的各种示例，例如下面列举的示例：
示例1：一种显示系统，其被配置为将光投射到用户的眼睛以在所述用户的视场中显示虚拟图像内容，所述眼睛具有角膜、虹膜、瞳孔、晶状体、视网膜，以及延伸穿过所述晶状体、瞳孔和角膜的光轴，所述显示系统包括：框架，其被配置为支撑在所述用户的头部上；头戴式显示器，其被设置在所述框架上，所述显示器被配置为将光投射到所述用户的眼睛中，以不同量的发散和准直中的至少一者向所述用户的视场显示虚拟图像内容，由此所显示的虚拟图像内容看起来在不同时间段源自不同深度；一个或多个眼睛跟踪相机，其被配置为对所述用户的眼睛进行成像；以及处理电子设备，其与所述显示器和所述一个或多个眼睛跟踪相机通信，所述处理电子设备被配置为基于通过所述一个或多个眼睛跟踪相机获得的所述眼睛的图像而获得所述眼睛的旋转中心的估计。
示例2：根据示例1所述的显示系统，进一步包括一个或多个光源，所述一个或多个光源相对于所述用户的眼睛设置在所述框架上以照射所述用户的眼睛，所述一个或多个眼睛跟踪相机使用来自所述一个或多个光源的所述光形成所述眼睛的图像。
示例3：根据示例1或2所述的显示系统，其中所述一个或多个光源包括至少两个光源，所述至少两个光源相对于所述用户的眼睛设置在所述框架上以照射所述用户的眼睛。
示例4：根据示例1或3所述的显示系统，其中所述一个或多个光源包括红外光发射器。
示例5：根据示例1至4中任一项所述的显示系统，其中一个或多个光源在所述眼睛上形成一个或多个亮斑，并且所述处理电子设备被配置为基于所述一个或多个亮斑确定所述角膜的位置。
示例6：根据示例1至5中任一项所述的显示系统，其中所述角膜具有与其相关联的角膜球，所述角膜球具有曲率中心，并且所述电子处理设备被配置为确定所述角膜球的所述曲率中心的位置。
示例7：根据示例5所述的显示系统，其中所述角膜具有与其相关联的角膜球，所述角膜球具有曲率中心，并且所述处理电子设备被配置为基于所述一个或多个亮斑确定所述角膜球的所述曲率中心的位置。
示例8：根据上述任一示例所述的显示系统，其中所述一个或多个眼睛跟踪相机被配置为对所述眼睛的所述瞳孔进行成像。
示例9：根据上述任一示例所述的显示系统，其中所述处理电子设备被配置为确定所述瞳孔的中心的位置。
示例10：根据上述任一示例所述的显示系统，其中所述处理电子设备被配置为确定所述虹膜和所述瞳孔之间的边界的至少一部分。
示例11：根据示例10所述的显示系统，其中所述处理电子设备被配置为确定所述虹膜和所述瞳孔之间的所述边界的中心。
示例12：根据上述任一示例所述的显示系统，其中所述处理电子设备被配置为确定所述瞳孔的所述中心在三维空间中相对于所述角膜的曲率中心的位置。
示例13：根据上述任一示例所述的显示系统，其中所述处理电子设备被配置为确定所述光轴的位置和取向。
示例14：根据示例12所述的显示系统，其中所述处理电子设备被配置为基于所述瞳孔的所述中心在三维空间中的位置确定所述光轴的位置和取向。
示例15：根据上述任一示例所述的显示系统，其中所述处理电子设备被配置为基于所述瞳孔的所述中心在三维空间中相对于所述角膜的曲率中心的位置确定所述光轴的所述位置和取向。
示例16：根据上述任一示例所述的显示系统，其中所述处理电子设备被配置为基于所述角膜的曲率中心确定所述眼睛的所述旋转中心的位置。
示例17：根据上述任一示例所述的显示系统，其中所述处理电子设备被配置为基于所述角膜的曲率中心以及所述光轴的位置和取向确定所述眼睛的所述旋转中心的位置。
示例18：根据示例17所述的显示系统，其中所述处理电子设备被配置为通过沿着所述光轴从所述角膜的所述曲率中心平移特定距离来确定所述眼睛的所述旋转中心的位置。
示例19：根据示例18所述的显示系统，其中从所述曲率中心到所述旋转中心的所述特定距离在4.0mm和6.0mm之间。
示例20：根据示例18或19所述的显示系统，其中从所述曲率中心到所述旋转中心的所述特定距离为约4.7mm。
示例21：根据示例18或19所述的显示系统，其中所述特定距离是固定的。
示例22：根据示例18或19所述的显示系统，其中所述处理电子设备被配置为至少基于先前通过所述一个或多个眼睛跟踪相机获得的所述眼睛的一个或多个图像确定所述特定距离。
示例23：根据上述任一示例所述的显示系统，其中所述处理电子设备被配置为基于所述光轴的位置和取向确定从所述光轴偏移的视轴的位置和取向。
示例24：根据上述任一示例所述的显示系统，其中所述处理电子设备被配置为基于相对于所述光轴的角旋转确定视轴的位置和取向。
示例25：根据上述任一示例所述的显示系统，其中所述处理电子设备被配置为基于相对于所述光轴的4.0°和6.5°之间的角旋转确定视轴的位置和取向。
示例26：根据上述任一示例所述的显示系统，其中所述处理电子设备被配置为基于相对于所述光轴的约5.2°的角旋转确定视轴的位置和取向。
示例27：根据上述任一示例所述的显示系统，其中所述处理电子设备被配置为至少基于先前通过所述一个或多个眼睛跟踪相机获得的所述眼睛的一个或多个图像确定视轴的位置和取向。
示例28：根据上述任一示例所述的显示系统，其中所述处理电子设备被配置为基于所述眼睛旋转的时间段内的所述光轴或视轴的位置的多个确定来确定所述眼睛的旋转中心。
示例29：根据上述任一示例所述的显示系统，其中所述处理电子设备被配置为通过识别所述眼睛旋转的时间段内的所述光轴或视轴的所述位置的多个确定的相交的区域来确定所述旋转中心。
示例30：根据上述任一示例所述的显示系统，其中所述处理电子设备被配置为基于用户的左眼和右眼的所述光轴的位置和取向的确定来确定所述用户的左眼和右眼正在注视处的所述用户的辐辏距离。
示例31：根据上述任一示例所述的显示系统，其中所述处理电子设备被配置为基于所述用户的左眼和右眼的所述视轴的所述位置和取向的确定来确定所述用户的左眼和右眼正在注视处的所述用户的辐辏距离。
示例32：根据上述任一示例所述的显示系统，其中所述处理电子设备被配置为基于识别所述用户的左眼和右眼的所述视轴的相交的区域确定所述用户的左眼和右眼正在注视处的辐辏距离。
示例33：根据上述任一示例所述的显示系统，其中所述处理电子设备被配置为通过将所述用户的左眼和右眼的所述视轴投射到水平平面上，并识别所述左眼和右眼的所述视轴在所述水平平面上的所述投射的相交的区域，来确定所述用户的左眼和右眼正在注视处的辐辏距离。
示例34：根据上述任一示例所述的显示系统，其中所述处理电子设备被配置为基于所述辐辏距离的确定来确定用于投射图像内容的发散和准直中的至少一者的相对量。
示例35：根据上述任一示例所述的显示系统，其中所述处理电子设备包括位于所述框架上的电子设备。
示例36：根据上述任一示例所述的显示系统，其中所述处理电子设备包括位于所述框架上的电子设备和设置在远离所述框架的位置处的电子设备。
示例37：根据上述任一示例所述的显示系统，其中所述处理电子设备包括位于所述框架上的电子设备和位于腰包上的电子设备。
示例38：根据上述任一示例所述的显示系统，其中所述显示器的至少一部分是透明的并且在用户穿戴所述头戴式显示器时设置在所述用户的眼睛前方的位置处，使得所述透明部分将来自所述用户的前方环境的一部分和所述头戴式显示器的光透射到所述用户的眼睛，以提供所述用户的前方环境的所述一部分和所述头戴式显示器的视图。
示例39：根据上述任一示例所述的显示系统，其中所述头戴式显示器以第一发散量从所述用户的前方环境的一部分接收光，并且以与所述第一发散量基本相同的第二发散量将来自所述用户的前方环境的所述一部分的光透射到所述用户的眼睛。
示例40：根据上述任一示例所述的显示系统，其中所述处理电子设备被配置为通过对多个估计的旋转中心位置进行滤波、平均、应用卡尔曼(Kalman)滤波器或执行上述项的任意组合来获得所述旋转中心的所述估计。
示例41：根据上述任一示例所述的显示系统，其中所述处理电子设备被配置为向所述用户的眼睛呈现所述虚拟图像内容，所述虚拟图像内容被渲染为如同由具有位于所述用户的眼睛的所确定的旋转中心位置处的光圈的相机捕获的一样。
示例42：根据上述任一示例所述的显示系统，其中所述处理电子设备被配置为使用位于所述旋转中心处的渲染相机渲染要向所述眼睛呈现的虚拟图像。
示例43：根据上述任一示例所述的显示系统，其中所述处理电子设备被配置为使用渲染相机，所述渲染相机被配置为渲染要向所述眼睛呈现的虚拟图像，所述虚拟图像被渲染为如同由具有比所述眼睛的所述视网膜更靠近所述旋转中心的光圈的相机捕获的一样。
示例44：根据上述任一示例所述的显示系统，其中所述处理电子设备被配置为使用渲染相机，所述渲染相机被配置为渲染要向所述眼睛呈现的虚拟图像，所述虚拟图像被渲染为如同由具有位于所述眼睛的所述旋转中心处的光圈的相机捕获的一样。
示例45：根据上述任一示例所述的显示系统，其中所述处理电子设备被配置为使用位于所述旋转中心处的渲染相机渲染要向所述眼睛呈现的虚拟图像，所述渲染相机被模型化为具有位于所述眼睛的所述旋转中心处的光圈。
示例46：一种显示系统，其被配置为将光投射到用户的眼睛以在所述用户的视场中显示虚拟图像内容，所述眼睛具有角膜、虹膜、瞳孔、晶状体、视网膜，以及延伸穿过所述晶状体、瞳孔和角膜的光轴，所述显示系统包括：框架，其被配置为支撑在所述用户的头部上；头戴式显示器，其被设置在所述框架上，所述显示器被配置为将光投射到所述用户的眼睛中，以不同量的发散和准直中的至少一者向所述用户的视场显示虚拟图像内容，由此所显示的虚拟图像内容看起来在不同时间段源自不同深度；一个或多个眼睛跟踪相机，其被配置为对所述用户的眼睛进行成像；以及处理电子设备，其与所述显示器和所述一个或多个眼睛跟踪相机通信，所述处理电子设备被配置为基于通过所述一个或多个眼睛跟踪相机获得的所述眼睛的图像而获得所述眼睛的透视中心的位置估计，所述透视中心被估计为接近所述眼睛的所述瞳孔或者位于所述眼睛的所述角膜和所述瞳孔之间，其中所述处理电子设备被配置为向所述用户的眼睛呈现所述虚拟图像内容，所述虚拟图像内容由位于所述透视中心处的渲染相机渲染。
示例47：根据上述任一示例所述的显示系统，其中所述处理电子设备被配置为向所述用户的眼睛呈现所述虚拟图像内容，所述虚拟图像内容被渲染为如同由具有比所述视网膜更靠近所述透视中心的光圈的相机捕获的一样。
示例48：根据上述任一示例所述的显示系统，其中所述处理电子设备被配置为向所述用户的眼睛呈现所述虚拟图像内容，所述虚拟图像内容被渲染为如同由具有比所述眼睛的旋转中心更靠近所述透视中心的光圈的相机捕获的一样。
示例49：根据上述任一示例所述的显示系统，其中所述处理电子设备被配置为向所述用户的眼睛呈现所述虚拟图像内容，所述虚拟图像内容被渲染为如同由具有位于所述透视中心处的光圈的相机捕获的一样。
示例50：根据上述任一示例所述的显示系统，其中所述透视中心不位于所述眼睛的所述瞳孔处。
示例51：根据上述任一示例所述的显示系统，其中所述处理电子设备被配置为随着时间的推移获得所述用户的眼睛姿势的估计，并且其中所述处理电子设备至少部分地基于所述用户的眼睛姿势调整所述渲染相机的位置。
示例52：根据上述任一示例所述的显示系统，其中所述处理电子设备被配置为随着时间的推移跟踪所述用户的眼睛姿势，并且其中响应于所述用户的眼睛姿势随着时间的推移的变化调整随着时间的推移所述渲染相机的位置。
示例53：根据上述任一示例所述的显示系统，其中所述处理电子设备被配置为通过对多个估计的透视中心位置进行滤波来获得所述透视中心的估计。
示例54：根据上述任一示例所述的显示系统，其中所述处理电子设备被配置为通过对多个估计的透视中心位置进行平均和/或应用卡尔曼滤波器来获得所述透视中心的估计。
示例55：根据上述任一示例所述的显示系统，其中所述透视中心包括所述用户的眼睛的前房内的位置。
示例56：根据上述任一示例所述的显示系统，其中所述透视中心包括所述用户的眼睛的所述瞳孔前方的位置。
示例57：根据上述任一示例所述的显示系统，其中所述透视中心包括位于所述用户的眼睛的所述瞳孔前方的1.0mm至2.0mm之间的位置。
示例58：根据上述任一示例所述的显示系统，其中所述透视中心包括位于所述用户的眼睛的所述瞳孔前方的约1.0mm的位置。
示例59：根据上述任一示例所述的显示系统，其中所述透视中心包括位于所述用户的眼睛的所述瞳孔前方的0.25mm至1.0mm之间的位置。
示例60：根据上述任一示例所述的显示系统，其中所述透视中心包括位于所述用户的眼睛的所述瞳孔前方的0.5mm至1.0mm之间的位置。
示例61：根据上述任一示例所述的显示系统，其中所述透视中心包括位于所述用户的眼睛的所述瞳孔前方的0.25mm至0.5mm之间的位置。
示例62：根据上述任一示例所述的显示系统，其中所述透视中心沿着所述眼睛的光轴定位，并且其中所述处理电子设备被进一步配置为通过获得所述眼睛的所述光轴的位置估计来获得所述透视中心的位置估计。
示例63：根据上述任一示例所述的显示系统，其中所述透视中心沿着所述眼睛的所述光轴位于所述眼睛的所述角膜的外表面和所述瞳孔之间的位置处，并且其中所述处理电子设备被进一步配置为通过获得所述眼睛的所述光轴的位置估计来获得所述透视中心的位置估计。
示例64：根据上述任一示例所述的显示系统，其中所述透视中心沿着所述眼睛的所述光轴位于所述眼睛的所述角膜的外表面和所述瞳孔之间的位置处，并且其中所述处理电子设备被进一步配置为通过获得所述眼睛的所述光轴的位置估计和所述眼睛的旋转中心、所述眼睛的所述角膜、所述眼睛的所述虹膜、所述眼睛的所述视网膜以及所述眼睛的所述瞳孔或它们的任意组合的位置估计来获得所述透视中心的位置估计。
示例65：根据上述任一示例所述的显示系统，其中所述处理电子设备包括位于所述框架上的电子设备。
示例66：根据上述任一示例所述的显示系统，其中所述处理电子设备包括位于所述框架上的电子设备和被设置在远离所述框架的位置处的电子设备。
示例67：根据上述任一示例所述的显示系统，其中所述处理电子设备包括位于所述框架上的电子设备和位于腰包上的电子设备。
示例68：根据上述任一示例所述的显示系统，其中所述显示器的至少一部分是透明的并且在用户穿戴所述头戴式显示器时被设置在所述用户的眼睛前方的位置，使得所述透明部分将来自所述用户的前方环境的一部分和所述头戴式显示器的光透射到所述用户的眼睛，以提供所述用户的前方环境的所述一部分和所述头戴式显示器的视图。
示例69：根据上述任一示例所述的显示系统，进一步包括一个或多个光源，所述一个或多个光源相对于所述用户的眼睛设置在所述框架上以照射所述用户的眼睛，所述一个或多个眼睛跟踪相机使用来自所述一个或多个光源的所述光捕获所述眼睛的图像。
示例70：根据上述任一示例所述的显示系统，其中所述一个或多个光源包括至少两个光源，所述至少两个光源相对于所述用户的眼睛设置在所述框架上以照射所述用户的眼睛。
示例71：根据上述任一示例所述的显示系统，其中所述一个或多个光源包括至少三个光源，所述至少三个光源相对于所述用户的眼睛设置在所述框架上以照射所述用户的眼睛。
示例72：根据上述任一示例所述的显示系统，其中所述一个或多个光源包括红外光发射器。
示例73：根据上述任一示例所述的显示系统，其中所述一个或多个光源在所述眼睛上形成一个或多个亮斑，并且所述处理电子设备被配置为基于所述一个或多个亮斑确定所述角膜的所述曲率中心的位置。
示例74：根据上述任一示例所述的显示系统，其中所述一个或多个光源在所述眼睛上形成一个或多个亮斑，并且所述处理电子设备被配置为基于所述一个或多个亮斑确定所述角膜的所述曲率中心的三维位置。
示例75：根据上述任一示例所述的显示系统，其中所述一个或多个眼睛跟踪相机被进一步配置为对所述用户的眼睛的所述瞳孔进行成像，并且其中所述处理电子设备被进一步配置为至少基于来自所述一个或多个眼睛跟踪相机的所述瞳孔的图像确定所述眼睛的所述瞳孔的位置。
示例76：根据上述任一示例所述的显示系统，其中所述一个或多个眼睛跟踪相机被进一步配置为对所述用户的眼睛的所述瞳孔进行成像，并且其中所述处理电子设备被进一步配置为至少基于来自所述一个或多个眼睛跟踪相机的所述瞳孔的图像确定所述眼睛的所述瞳孔的三维位置。
示例77：根据上述任一示例所述的显示系统，其中所述一个或多个眼睛跟踪相机被进一步配置为对所述用户的眼睛的所述瞳孔进行成像，并且其中所述处理电子设备被进一步配置为基于所述角膜的所述曲率中心的位置以及基于来自所述一个或多个眼睛跟踪相机的所述瞳孔的图像确定所述眼睛的所述瞳孔的位置。
示例78：根据上述任一示例所述的显示系统，其中所述处理电子设备被配置为基于所述角膜的所述曲率中心的三维位置以及基于所述瞳孔的三维位置确定所述眼睛的所述光轴。
示例79：根据上述任一示例所述的显示系统，其中所述处理电子设备被配置为基于所述光轴确定所述眼睛的视轴。
示例80：根据上述任一示例所述的显示系统，其中所述处理电子设备被配置为基于所述角膜的所述曲率中心和所述瞳孔中的至少一者或者所述角膜的所述曲率中心和所述瞳孔二者的三维位置以及所述光轴确定所述眼睛的所述视轴。
示例81：根据上述任一示例所述的显示系统，其中所述处理电子设备被配置为基于所述角膜的所述曲率中心的三维位置确定所述眼睛的所述旋转中心的三维位置。
示例82：根据上述任一示例所述的显示系统，其中所述处理电子设备被配置为基于所述角膜的所述曲率中心的三维位置以及基于所述光轴确定所述眼睛的所述旋转中心的三维位置。
示例83：根据上述任一示例所述的显示系统，其中所述处理电子设备被配置为至少基于所述眼睛的所述旋转中心的三维位置确定所述眼睛和所述用户的另一只眼睛之间的距离。
示例84：根据上述任一示例所述的显示系统，其中所述处理电子设备被配置为至少基于所述眼睛的所述旋转中心的三维位置确定所述眼睛和所述用户的另一只眼睛之间的瞳距。
示例85：根据上述任一示例所述的显示系统，其中所述处理电子设备被配置为至少基于所述眼睛的所述光轴确定所述用户的所述辐辏距离。
示例86：根据上述任一示例所述的显示系统，其中所述处理电子设备被配置为至少基于所述眼睛的所述光轴以及基于所述用户的另一只眼睛的确定的光轴来确定所述用户的所述辐辏距离。
示例87：根据上述任一示例所述的显示系统，其中所述处理电子设备被配置为至少基于所述眼睛的所述视轴以及基于所述用户的另一只眼睛的确定的视轴来确定所述用户的所述辐辏距离。
示例88：根据上述任一示例所述的显示系统，其中所述显示器被配置为将准直光投射到所述用户的眼睛中。
示例89：根据上述任一示例所述的显示系统，其中所述显示器被配置为在第一时间段将与图像像素对应的准直光投射到所述用户的眼睛中，以及在第二时间段将与所述图像像素对应的发散光投射到所述用户的眼睛中。
示例90：根据上述任一示例所述的显示系统，其中所述显示器被配置为在第一时间段将与图像像素对应的具有第一发散量的光投射到所述用户的眼睛中，以及在第二时间段将与所述图像像素对应的具有大于所述第一发散量的第二发散量的光投射到所述用户的眼睛中。
示例91：一种在显示系统中渲染虚拟图像内容的方法，所述显示系统被配置为将光投射到用户的眼睛以在所述用户的视场中显示所述虚拟图像内容，所述眼睛具有角膜、虹膜、瞳孔、晶状体、视网膜，以及延伸穿过所述晶状体、瞳孔和角膜的光轴，所述方法包括：通过被配置为对所述用户的所述眼睛进行成像以跟踪所述眼睛的运动的一个或多个眼睛跟踪相机，确定所述眼睛的旋转中心的位置；通过渲染引擎，利用位于所述眼睛的所述旋转中心处的渲染相机渲染虚拟图像内容，所述渲染相机被配置为渲染要向所述眼睛呈现的虚拟图像；以及通过头戴式显示器，将光投射到所述用户的眼睛中，以不同的发散量向所述用户的视场显示所渲染的虚拟图像内容，使得所述虚拟图像内容看起来在不同时间段源自不同深度。
示例92：根据上述任一示例所述的方法，其中所述渲染相机被配置为渲染要向所述眼睛呈现的虚拟图像，所述虚拟图像被渲染为如同由具有比所述眼睛的所述视网膜更靠近所述旋转中心的光圈的相机捕获的一样。
示例93：根据上述任一示例所述的方法，其中所述渲染相机被配置为渲染要向所述眼睛呈现的虚拟图像，所述虚拟图像被渲染为如同由具有位于所述旋转中心处的光圈的相机捕获的一样。
示例94：根据上述任一示例所述的方法，其中所述渲染相机被模型化为具有位于所述眼睛的所述旋转中心处的光圈。
示例95：根据上述任一示例所述的方法，其中所述渲染相机被模型化为具有光圈、透镜和检测器。
示例96：根据上述任一示例所述的方法，其中所述渲染相机具有位于沿着(i)所述眼睛的所确定的旋转中心位置和(ii)所述虹膜或瞳孔中的至少一者的所确定的位置之间的线的一位置处的光圈。
示例97：根据上述任一示例所述的方法，进一步包括：通过所述一个或多个眼睛跟踪相机，确定所述用户的眼睛的透视中心的位置，其中所述用户的眼睛的所述透视中心位于距所述用户的眼睛的所述瞳孔小于约1.0mm的位置处；以及通过所述渲染引擎，利用所述渲染相机渲染所述虚拟图像内容，其中所述渲染相机具有位于所述用户的眼睛的所确定的透视中心位置处的光圈。
示例98：根据上述任一示例所述的方法，进一步包括：通过所述渲染引擎，利用所述渲染相机渲染所述虚拟图像内容，其中所述渲染相机具有位于沿着(i)所述眼睛的所确定的旋转中心位置和(ii)所述用户的眼睛的所确定的透视中心位置之间的线的一位置处的光圈。
示例99：根据上述任一示例所述的方法，进一步包括：通过与所述一个或多个眼睛跟踪相机通信的处理电子设备，确定所述用户的眼睛的所确定的透视中心位置的随时间变化的度量；以及通过所述处理电子设备，如果确定所述随时间变化的度量超过第一阈值，则指示所述渲染引擎利用所述渲染相机渲染所述虚拟内容，其中所述渲染相机具有位于所述眼睛的所确定的旋转中心位置处的光圈。
示例100：根据上述任一示例所述的方法，进一步包括：通过所述处理电子设备，如果确定所述随时间变化的度量低于第二阈值，则指示所述渲染引擎利用所述渲染相机渲染所述虚拟内容，其中所述渲染相机具有位于所述眼睛的所确定的透视中心位置处的光圈，并且其中与所述第二阈值相比，所述第一阈值指示所述用户的眼睛的所确定的透视中心位置的随时间变化的较高级别。
示例101:根据上述任一示例所述的方法，进一步包括：通过所述处理电子设备，如果确定所述随时间变化的度量低于第二阈值，则指示所述渲染引擎利用所述渲染相机渲染所述虚拟内容，其中所述渲染相机具有位于所述眼睛的所确定的透视中心位置处的光圈。
示例102：根据上述任一示例所述的方法，进一步包括：通过所述处理电子设备，如果确定所述随时间变化的度量位于所述第一阈值和所述第二阈值之间，则指示所述渲染引擎利用所述渲染相机渲染所述虚拟内容，其中所述渲染相机具有位于沿着(i)所述眼睛的所确定的旋转中心位置和(ii)所述眼睛的所确定的透视中心位置之间的线的点处的光圈。
示例103：根据上述任一示例所述的方法，进一步包括：通过所述显示器的至少一部分，所述一部分是透明的并且在所述用户穿戴所述头戴式显示器时设置在所述用户的眼睛前方的位置处，将来自所述用户的前方环境的一部分和所述头戴式显示器的光透射到所述用户的眼睛，以提供所述用户的前方环境的所述一部分和所述头戴式显示器的视图。
示例104：根据上述任一示例所述的方法，进一步包括：通过所述一个或多个眼睛跟踪相机，确定所述虹膜、瞳孔或晶状体中的至少一者的位置。
示例105：根据上述任一示例所述的方法，进一步包括：通过所述渲染引擎，利用所述渲染相机渲染所述虚拟图像内容，所述渲染相机被配置为向所述眼睛呈现虚拟图像，所述虚拟图像被渲染为如同由具有位于沿着(i)所述眼睛的所确定的旋转中心位置和(ii)所述虹膜或瞳孔中的至少一者的所确定的位置之间的线的一位置处的光圈的相机捕获的一样。
示例106：根据上述任一示例所述的方法，进一步包括：通过所述一个或多个眼睛跟踪相机，确定所述用户的眼睛的透视中心的位置，其中所述用户的眼睛的所述透视中心位于距所述用户的眼睛的所述瞳孔小于约1.0mm的位置处；以及通过所述渲染引擎，利用所述渲染相机渲染所述虚拟图像内容，所述渲染相机被配置为向所述眼睛呈现虚拟图像，所述虚拟图像被渲染为如同由具有位于所述用户的眼睛的所确定的透视中心位置处的光圈的相机捕获的一样。
示例107：根据上述任一示例所述的方法，进一步包括：通过所述渲染引擎，利用所述渲染相机渲染所述虚拟图像内容，所述渲染相机被配置为向所述眼睛呈现虚拟图像，所述虚拟图像被渲染为如同由具有光圈的相机捕获的一样，所述光圈位于沿着(i)所述眼睛的所确定的旋转中心位置和(ii)所述用户的眼睛的所确定的透视中心位置之间的线的一位置处。
示例108：根据上述任一示例所述的方法，进一步包括：通过与所述一个或多个眼睛跟踪相机通信的处理电子设备，确定所述用户的眼睛的所确定的透视中心位置的随时间变化的度量；以及通过所述处理电子设备，如果确定所述随时间变化的度量超过第一阈值，则指示所述渲染引擎利用所述渲染相机渲染所述虚拟内容，如同由具有位于所述眼睛的所确定的旋转中心位置处的光圈的相机捕获的一样。
示例109：根据上述任一示例所述的方法，进一步包括：通过所述处理电子设备，如果确定所述随时间变化的度量低于第二阈值，则指示所述渲染引擎利用所述渲染相机渲染所述虚拟内容，如同由具有位于所述眼睛的所确定的透视中心位置处的光圈的相机捕获的一样，其中与所述第二阈值相比，所述第一阈值指示所述用户的眼睛的所确定的透视中心位置的随时间变化的较高级别。
示例110：根据上述任一示例所述的方法，进一步包括：通过所述处理电子设备，如果确定所述随时间变化的度量低于第二阈值，则指示所述渲染引擎利用所述渲染相机渲染所述虚拟内容，如同由具有位于所述眼睛的所确定的透视中心位置处的光圈的相机捕获的一样。
示例111：根据上述任一示例所述的方法，进一步包括：通过所述处理电子设备，如果确定所述随时间变化的度量位于所述第一阈值和所述第二阈值之间，则指示所述渲染引擎利用所述渲染相机渲染所述虚拟内容，如同由具有位于沿着(i)所述眼睛的所确定的旋转中心位置和(ii)所述眼睛的所确定的透视中心位置之间的线的点处的光圈的相机捕获的一样。
示例112：一种显示系统，其被配置为将光投射到用户的眼睛以在所述用户的视场中显示虚拟图像内容，所述眼睛具有角膜、虹膜、瞳孔、晶状体、视网膜，以及延伸穿过所述晶状体、瞳孔和角膜的光轴，所述显示系统包括：框架，其被配置为支撑在所述用户的头部上；头戴式显示器，其被设置在所述框架上，所述显示器被配置为将光投射到所述用户的眼睛中，以不同的发散量向所述用户的视场显示虚拟图像内容，由此所显示的虚拟图像内容看起来在不同时间段源自不同深度，其中所述头戴式显示器被配置为在第一时间段将具有第一发散量的光投射到所述用户的眼睛中，以及被配置为在第二时间段将具有第二发散量的光投射到所述用户的眼睛中，其中所述第一发散量不同于所述第二发散量；一个或多个眼睛跟踪相机，其被配置为对所述用户的眼睛进行成像；以及处理电子设备，其与所述显示器和所述一个或多个眼睛跟踪相机通信，所述处理电子设备被配置为基于通过所述一个或多个眼睛跟踪相机获得的所述眼睛的图像而获得所述眼睛的旋转中心的估计，基于通过所述一个或多个眼睛跟踪相机获得的所述眼睛的图像而获得所述用户的辐辏距离的估计，以及基于所述用户的所估计的辐辏距离，从以所述第一发散量将光投射到所述用户的眼睛中变换为以所述第二发散量将光投射到所述用户的眼睛中。
示例113：根据上述任一示例所述的显示系统，其中所述显示器的至少一部分是透明的并且在用户穿戴所述头戴式显示器时设置在所述用户的眼睛前方的位置处，使得所述透明部分将来自所述用户的前方环境的一部分和所述头戴式显示器的光透射到所述用户的眼睛，以提供所述用户的前方环境的所述一部分和所述头戴式显示器的视图。
示例114：根据上述任一示例所述的显示系统，其中所述处理电子设备被进一步配置为，基于利用所述一个或多个眼睛跟踪相机获得的所述眼睛的图像，检测所述眼睛的眨眼。
示例115：根据上述任一示例所述的显示系统，其中所述处理电子设备被进一步配置为，基于利用所述一个或多个眼睛跟踪相机获得的所述眼睛的图像，检测所述眼睛的扫视。
示例116：根据上述任一示例所述的显示系统，其中所述处理电子设备被配置为，基于所述用户的所确定的辐辏距离以及基于所述处理电子设备是否检测到所述眼睛的眨眼，从以所述第一发散量将光投射到所述用户的眼睛中变换为以所述第二发散量将光投射到所述用户的眼睛中。
示例117：根据上述任一示例所述的显示系统，其中所述处理电子设备被配置为，基于所述用户的所确定的辐辏距离以及基于所述处理电子设备是否检测到所述眼睛的扫视，从以所述第一发散量将光投射到所述用户的眼睛中变换为以所述第二发散量将光投射到所述用户的眼睛中。
示例118：根据上述任一示例所述的显示系统，其中所述处理电子设备被配置为，基于所述用户的所确定的辐辏距离以及基于所述处理电子设备是否检测到所述眼睛的扫视或眨眼中的至少一者，从以所述第一发散量将光投射到所述用户的眼睛中变换为以所述第二发散量将光投射到所述用户的眼睛中。
示例119：根据上述任一示例所述的显示系统，其中所述第一发散量与第一范围内的辐辏距离相关联，并且其中所述第二发散量与第二范围内的辐辏距离相关联。
示例120：根据上述任一示例所述的显示系统，其中所述第一发散量与第一范围内的辐辏距离相关联，其中所述第二发散量与第二范围内的辐辏距离相关联，并且其中所述第一范围和所述第二范围重叠但不相等。
示例121：根据上述任一示例所述的显示系统，其中所述处理电子设备被配置为，在确定所述用户的所述辐辏距离位于所述第一范围之外且位于所述第二范围之内时，从以所述第一发散量将光投射到所述用户的眼睛中变换为以所述第二发散量将光投射到所述用户的眼睛中。
示例122：根据上述任一示例所述的显示系统，其中所述处理电子设备被配置为，在确定所述用户的所述辐辏距离位于所述第二范围之外并且位于所述第一范围之内时，从以所述第一发散量将光投射到所述用户的眼睛中变换为以所述第二发散量将光投射到所述用户的眼睛中。
示例123：根据上述任一示例所述的显示系统，其中所述处理电子设备被配置为，在确定所述用户的所述辐辏距离位于所述第一范围之外且位于所述第二范围之内，并且检测到所述眼睛的眨眼时，从以所述第一发散量将光投射到所述用户的眼睛中变换为以所述第二发散量将光投射到所述用户的眼睛中。
示例124：根据上述任一示例所述的显示系统，其中所述处理电子设备被配置为，在确定所述用户的所述辐辏距离位于所述第一范围之外且位于所述第二范围之内，并且检测到所述眼睛的扫视时，从以所述第一发散量将光投射到所述用户的眼睛中变换为以所述第二发散量将光投射到所述用户的眼睛中。
示例125：根据上述任一示例所述的显示系统，其中所述处理电子设备被配置为，在确定所述用户的所述辐辏距离位于所述第一范围之外且位于所述第二范围之内的时间长于预定时间段时，从以所述第一发散量将光投射到所述用户的眼睛中变换为以所述第二发散量将光投射到所述用户的眼睛中。
示例126：根据上述任一示例所述的显示系统，其中所述处理电子设备被配置为，在确定所述用户的所述辐辏距离位于所述第一范围之外且位于所述第二范围之内的时间长于至少10秒的预定时间段时，从以所述第一发散量将光投射到所述用户的眼睛中变换为以所述第二发散量将光投射到所述用户的眼睛中。
示例127：根据上述任一示例所述的显示系统，其中所述头戴式显示器包括被配置为投射具有所述第一发散量的光的第一显示元件和被配置为投射具有所述第二发散量的光的第二显示元件。
示例128：根据上述任一示例所述的显示系统，其中所述显示器被配置为将光投射到所述用户的眼睛中，以分立显示模式显示虚拟图像内容，在所述分立显示模式下，所述显示器被配置为仅使用所述第一显示元件中的一个投射与多个连续帧相关联的光。
示例129：根据上述任一示例所述的显示系统，其中所述显示器被配置为将光投射到所述用户的眼睛中，以混合显示模式显示虚拟图像内容，在所述混合显示模式下，所述显示器被配置为针对多个连续帧中的每一帧使用所述第一显示元件和所述第二显示元件二者投射与所述多个连续帧相关联的光。
示例130：根据上述任一示例所述的显示系统，其中所述显示器被配置为将光投射到所述用户的眼睛中，以混合显示模式显示虚拟图像内容，在所述混合显示模式下，所述显示器被配置为针对多个连续帧中的每一帧使用所述第一显示元件和所述第二显示元件二者投射与所述多个连续帧相关联的光，并且其中在所述混合显示模式下，所述显示器被配置为使用所述第一显示元件和所述第二显示元件投射光，所述光被用户感知为具有在所述第一发散量和所述第二发散量之间的给定发散量。
示例131：根据上述任一示例所述的显示系统，其中所述显示器被配置为将光投射到所述用户的眼睛中，以多焦点显示模式显示虚拟图像内容，在所述多焦点显示模式下，所述显示器被配置为针对多个连续帧中的每一帧使用所述第一显示元件和所述第二显示元件二者投射与所述多个连续帧相关联的光，其中在所述多焦点显示模式下，所述显示器被配置为以第三发散量投射与第一虚拟图像内容相关联的光，以及以第四发散量投射与第二虚拟图像内容相关联的光，并且其中所述第三发散量不同于所述第四发散量。
示例132：根据上述任一示例所述的显示系统，其中所述第三发散量和所述第四发散量各自在所述第一发散量和所述第二发散量之间。
示例133：根据上述任一示例所述的显示系统，其中所述第三发散量和所述第四发散量中的至少一者在所述第一发散量和所述第二发散量之间。
示例134：根据上述任一示例所述的显示系统，其中所述第三发散量和所述第四发散量分别等于所述第一发散量和所述第二发散量。
示例135：根据上述任一示例所述的显示系统，其中所述显示器被配置为，在所述用户的视场的第一区域中投射与所述第一虚拟图像相关联的光，以及在所述用户的视场的第二区域中投射与所述第二虚拟图像相关联的光，并且其中所述第一区域和所述第二区域不同。
示例136：根据上述任一示例所述的显示系统，其中所述显示器被配置为，在所述用户的视场的第一区域中投射与所述第一虚拟图像相关联的光，以及在所述用户的视场的第二区域中投射与所述第二虚拟图像相关联的光，并且其中所述第一区域和所述第二区域不重叠。
示例137：一种显示系统，其被配置为将光投射到用户的左眼和右眼以在所述用户的视场中显示虚拟图像内容，所述眼睛中的每一只具有角膜、虹膜、瞳孔、晶状体、视网膜，以及延伸穿过所述晶状体、瞳孔和角膜的光轴，所述显示系统包括：框架，其被配置为支撑在所述用户的头部上；头戴式显示器，其被设置在所述框架上，所述显示器被配置为将光投射到所述用户的左眼和右眼中，以不同量的发散和准直中的至少一者向所述用户的视场显示虚拟图像内容，由此所显示的虚拟图像内容看起来在不同时间段源自相对于所述用户的左眼和右眼的不同距离；第一眼睛跟踪相机，其被配置为对所述用户的左眼进行成像；第二眼睛跟踪相机，其被配置为对所述用户的右眼进行成像；以及处理电子设备，其与所述显示器以及所述第一眼睛跟踪相机和所述第二眼睛跟踪相机通信，所述处理电子设备被配置为基于通过所述第一眼睛跟踪相机和所述第二眼睛跟踪相机获得的所述左眼和所述右眼的图像获得所述用户的左眼和右眼之间的瞳距的估计。
示例138：根据上述任一示例所述的显示系统，进一步包括一个或多个光源，所述一个或多个光源相对于所述用户的眼睛设置在所述框架上以照射所述用户的眼睛，所述一个或多个眼睛跟踪相机使用来自所述一个或多个光源的所述光形成所述眼睛的图像。
示例139：根据上述任一示例所述的显示系统，其中所述一个或多个光源包括至少两个光源，所述至少两个光源相对于所述用户的眼睛设置在所述框架上以照射所述用户的眼睛。
示例140：根据上述任一示例所述的显示系统，其中所述一个或多个光源包括红外光发射器。
示例141：根据上述任一示例所述的显示系统，其中所述一个或多个光源在所述眼睛上形成一个或多个亮斑，并且所述处理电子设备被配置为基于所述一个或多个亮斑确定所述角膜的位置。
示例142：根据上述任一示例所述的显示系统，其中所述角膜具有与其相关联的角膜球，所述角膜球具有曲率中心，并且所述电子处理设备被配置为确定所述角膜球的所述曲率中心的位置。
示例143：根据上述任一示例所述的显示系统，其中所述角膜具有与其相关联的角膜球，所述角膜球具有曲率中心，并且所述处理电子设备被配置为基于所述一个或多个亮斑确定所述角膜球的所述曲率中心的位置。
示例144：根据上述任一示例所述的显示系统，其中所述一个或多个眼睛跟踪相机被配置为对所述眼睛的所述瞳孔进行成像。
示例145：根据上述任一示例所述的显示系统，其中所述处理电子设备被配置为确定所述瞳孔的所述中心的位置。
示例146：根据上述任一示例所述的显示系统，其中所述处理电子设备被配置为确定所述虹膜和所述瞳孔之间的边界的至少一部分。
示例147：根据上述任一示例所述的显示系统，其中所述处理电子设备被配置为确定所述虹膜和所述瞳孔之间的所述边界的中心。
示例148：根据上述任一示例所述的显示系统，其中所述处理电子设备被配置为确定所述瞳孔的所述中心在三维空间中相对于所述角膜的曲率中心的位置。
示例149：根据上述任一示例所述的显示系统，其中所述处理电子设备被配置为确定所述光轴的位置和取向。
示例150：根据上述任一示例所述的显示系统，其中所述处理电子设备被配置为基于所述瞳孔的所述中心在三维空间中的位置确定所述光轴的位置和取向。
示例151：根据上述任一示例所述的显示系统，其中所述处理电子设备被配置为基于所述瞳孔的所述中心在三维空间中相对于所述角膜的曲率中心的位置确定所述光轴的所述位置和取向。
示例152：根据上述任一示例所述的显示系统，其中所述处理电子设备被配置为基于所述角膜的曲率中心确定所述眼睛的所述旋转中心的位置。
示例153：根据上述任一示例所述的显示系统，其中所述处理电子设备被配置为基于所述角膜的曲率中心以及所述光轴的位置和取向确定所述眼睛的所述旋转中心的位置。
示例154：根据上述任一示例所述的显示系统，其中所述处理电子设备被配置为通过沿着所述光轴从所述角膜的所述曲率中心平移特定距离来确定所述眼睛的所述旋转中心的位置。
示例155：一种在显示系统中渲染虚拟图像内容的方法，所述显示系统被配置为将光投射到用户的左眼和右眼以在所述用户的视场中显示所述虚拟图像内容，所述眼睛中的每一只具有角膜、虹膜、瞳孔、晶状体、视网膜，以及延伸穿过所述晶状体、瞳孔和角膜的光轴，所述方法包括：通过被配置为对所述用户的所述眼睛进行成像以跟踪所述眼睛的运动的一个或多个眼睛跟踪相机，确定所述左眼的旋转中心的位置和所述右眼的旋转中心的位置；通过与所述一个或多个眼睛跟踪相机通信的处理电子设备，基于所确定的所述左眼和所述右眼的所述旋转中心的位置估计所述用户的瞳距；通过所述一个或多个眼睛跟踪相机，确定当前的左眼姿势和当前的右眼姿势；以及通过所述处理电子设备，通过比较所估计的瞳距和所确定的当前的左眼姿势和所确定的当前的右眼姿势来估计所述用户的当前的辐辏距离。
示例156：根据上述任一示例所述的方法，其中确定所述当前的左眼姿势和所述当前的右眼姿势包括：通过所述一个或多个眼睛跟踪相机，估计所述用户的左眼的所述瞳孔的位置和所述用户的右眼的所述瞳孔的位置。
示例157：根据上述任一示例所述的方法，其中确定所述当前的左眼姿势和所述当前的右眼姿势包括：通过所述一个或多个眼睛跟踪相机，估计所述用户的左眼的所述角膜的位置和所述用户的右眼的所述角膜的位置。
示例158：根据上述任一示例所述的方法，其中确定所述当前的左眼姿势和所述当前的右眼姿势包括：通过所述一个或多个眼睛跟踪相机，估计所述用户的左眼的所述虹膜的位置和所述用户的右眼的所述虹膜的位置。
示例159：根据上述任一示例所述的方法，其中确定所述当前的左眼姿势和所述当前的右眼姿势包括：通过所述一个或多个眼睛跟踪相机，估计所述用户的左眼的所述晶状体的位置和所述用户的右眼的所述晶状体的位置。
示例160：根据上述任一示例所述的方法，其中估计所述用户的当前的辐辏距离包括：通过处理电子设备，估计所述用户的左眼和右眼的所述虹膜的所述位置之间的距离；以及通过所述处理电子设备，基于所估计的瞳距和所述用户的左眼和右眼的所述虹膜的所述位置之间的所估计的距离的比较，估计所述用户的当前的辐辏距离。
示例161：根据上述任一示例所述的方法，进一步包括：通过头戴式显示器，将光投射到所述用户的眼睛中，以不同的发散量向所述用户的视场显示所渲染的虚拟图像内容，使得所述虚拟图像内容看起来在不同时间段源自不同深度。
示例162：根据上述任一示例所述的方法，进一步包括：通过所述显示器的至少一部分，所述一部分是透明的并且在所述用户穿戴所述头戴式显示器时设置在所述用户的眼睛前方的位置处，将来自所述用户的前方环境的一部分和所述头戴式显示器的光透射到所述用户的眼睛，以提供所述用户的前方环境的所述一部分和所述头戴式显示器的视图。
示例163：一种显示系统，其被配置为将光投射到用户的眼睛以在所述用户的视场中显示虚拟图像内容，所述眼睛具有角膜、虹膜、瞳孔、晶状体、视网膜，以及延伸穿过所述晶状体、瞳孔和角膜的光轴，所述显示系统包括：框架，其被配置为支撑在所述用户的头部上；头戴式显示器，其被设置在所述框架上，所述显示器被配置为将光投射到所述用户的眼睛中，以不同量的发散和准直中的至少一者向所述用户的视场显示虚拟图像内容，由此所显示的虚拟图像内容看起来在不同时间段源自不同深度；一个或多个眼睛跟踪相机，其被配置为对所述用户的眼睛进行成像；以及处理电子设备，其与所述显示器和所述一个或多个眼睛跟踪相机通信，所述处理电子设备被配置为，基于通过所述一个或多个眼睛跟踪相机获得的所述眼睛的图像而获得所述眼睛的旋转中心的位置估计，以及基于所述图像获得所述眼睛的所述光轴的方向估计，其中所述处理电子设备被配置为向所述用户的眼睛呈现所述虚拟图像内容，所述虚拟图像内容被渲染为如同由具有光圈的相机捕获的一样，所述光圈沿着所述光轴设置并且在远离所述视网膜的方向上与所述眼睛的所述旋转中心的所估计的位置间隔6.0mm至13.0mm。
示例164：根据上述任一示例所述的显示系统，其中所述处理电子设备被配置为向所述用户的眼睛呈现所述虚拟图像内容，所述虚拟图像内容被渲染为如同由具有光圈的相机捕获的一样，所述光圈沿着所述光轴设置并且在远离所述视网膜的方向上与所述眼睛的所述旋转中心的所估计的位置间隔7.0mm至12.0mm。
示例165：根据上述任一示例所述的显示系统，其中所述处理电子设备被配置为向所述用户的眼睛呈现所述虚拟图像内容，所述虚拟图像内容被渲染为如同由具有光圈的相机捕获的一样，所述光圈沿着所述光轴设置并且在远离所述视网膜的方向上与所述眼睛的所述旋转中心的所估计的位置间隔8.0mm至11.0mm。
示例166：根据上述任一示例所述的显示系统，其中所述处理电子设备被配置为向所述用户的眼睛呈现所述虚拟图像内容，所述虚拟图像内容被渲染为如同由由具有光圈的相机捕获的一样，所述光圈沿着所述光轴设置并且在远离所述视网膜的方向上与所述眼睛的所述旋转中心的所估计的位置间隔9.0mm至10.0mm。
示例167：根据上述任一示例所述的显示系统，其中所述处理电子设备被配置为向所述用户的眼睛呈现所述虚拟图像内容，所述虚拟图像内容被渲染为如同由具有光圈的相机捕获的一样，所述光圈沿着所述光轴设置并且在远离所述视网膜的方向上与所述眼睛的所述旋转中心的所估计的位置间隔9.5mm至10.0mm。
示例168：根据上述任一示例所述的显示系统，其中所述处理电子设备被配置为向所述用户的眼睛呈现所述虚拟图像内容，所述虚拟图像内容被渲染为如同由具有光圈的相机捕获的一样，所述光圈沿着所述光轴设置并且与所述眼睛的所述旋转中心的所估计的位置间隔约9.7mm。
示例169：根据上述任一示例所述的显示系统，其中所述处理电子设备包括位于所述框架上的电子设备。
示例170：根据上述任一示例所述的显示系统，其中所述处理电子设备包括位于所述框架上的电子设备和被设置在远离所述框架的位置处的电子设备。
示例171：根据上述任一示例所述的显示系统，其中所述处理电子设备包括位于所述框架上的电子设备和位于腰包上的电子设备。
示例172：根据上述任一示例所述的显示系统，其中所述显示器的至少一部分是透明的并且在用户穿戴所述头戴式显示器时设置在所述用户的眼睛前方的位置处，使得所述透明部分将来自所述用户的前方环境的一部分和所述头戴式显示器的光透射到所述用户的眼睛，以提供所述用户的前方环境的所述一部分和所述头戴式显示器的视图。
示例173：根据上述任一示例所述的显示系统，进一步包括一个或多个光源，所述一个或多个光源相对于所述用户的眼睛设置在所述框架上以照射所述用户的眼睛，所述一个或多个眼睛跟踪相机使用来自所述一个或多个光源的所述光捕获所述眼睛的图像。
示例174：根据上述任一示例所述的显示系统，其中所述一个或多个光源包括至少两个光源，所述至少两个光源相对于所述用户的眼睛设置在所述框架上以照射所述用户的眼睛。
示例175：根据上述任一示例所述的显示系统，其中所述一个或多个光源包括至少三个光源，所述至少三个光源相对于所述用户的眼睛设置在所述框架上以照射所述用户的眼睛。
示例176：根据上述任一示例所述的显示系统，其中所述一个或多个光源包括红外光发射器。
示例177：一种显示系统，其被配置为将光投射到用户的眼睛以在所述用户的视场中显示虚拟图像内容，所述眼睛具有角膜、虹膜、瞳孔、晶状体、视网膜，以及延伸穿过所述晶状体、瞳孔和角膜的光轴，所述显示系统包括：框架，其被配置为支撑在所述用户的头部上；头戴式显示器，其被设置在所述框架上，所述显示器被配置为将光投射到所述用户的眼睛中，以不同量的发散和准直中的至少一者向所述用户的视场显示虚拟图像内容，由此所显示的虚拟图像内容看起来在不同时间段源自不同深度；一个或多个眼睛跟踪相机，其被配置为对所述用户的眼睛进行成像；以及处理电子设备，其与所述显示器和所述一个或多个眼睛跟踪相机通信，其中所述处理电子设备被配置为向所述用户的眼睛呈现所述虚拟图像内容，所述虚拟图像内容由位于所述眼睛的所述瞳孔处或位于所述眼睛的所述瞳孔和所述角膜之间的具有光圈的渲染相机渲染。
示例178：根据上述任一示例所述的显示系统，其中所述渲染相机的所述光圈位于所述用户的眼睛的所述瞳孔前方的1.0mm至2.0mm之间的位置处。
示例179：根据上述任一示例所述的显示系统，其中所述渲染相机的所述光圈位于所述用户的眼睛的所述瞳孔前方的约1.0mm的位置处。
示例180：根据上述任一示例所述的显示系统，其中所述渲染相机的所述光圈位于所述用户的眼睛的所述瞳孔前方的0.25mm至1.0mm之间的位置处。
示例181：根据上述任一示例所述的显示系统，其中所述渲染相机的所述光圈位于所述用户的眼睛的所述瞳孔前方的0.5mm至1.0mm之间的位置处。
示例182：根据上述任一示例所述的显示系统，其中所述渲染相机的所述光圈位于所述用户的眼睛的所述瞳孔前方的0.25mm至0.5mm之间的位置处。
示例183：根据上述任一示例所述的显示系统，其中所述渲染相机的所述光圈位于所述眼睛的所述瞳孔处。
示例184：根据上述任一示例所述的显示系统，其中所述渲染相机的所述光圈不位于所述眼睛的所述瞳孔处。
示例185：根据上述任一权利要求所述的显示系统，其中所述渲染相机包括针孔相机。
示例186：根据上述任一权利要求所述的显示系统，其中所述光圈包括针孔相机的针孔。
上述任何示例或附加示例可以被组合。另外，上述任何示例或附加示例可以与头戴式显示器整合。另外，上述任何示例或附加示例可以以单个深度平面和/或一个或多个可变深度平面(例如，一个或多个具有可变聚焦能力的元件，其提供随时间变化的调节线索)来实现。
此外，本文公开了用于确定各种值、参数等(例如但不限于解剖学、光学和几何特征、位置和取向等)的装置和方法。这种参数的示例包括例如眼睛的旋转中心、角膜的曲率中心、瞳孔的中心、瞳孔的边界、虹膜的中心、虹膜的边界、角膜缘的边界、眼睛的光轴、眼睛的视轴、透视中心，但不限于这些。本文所述的这种值、参数等的确定包括其估计，不需要一定与实际值精确地一致。例如，眼睛的旋转中心、角膜的曲率中心、瞳孔或虹膜的中心或边界、角膜缘的边界、眼睛的光轴、眼睛的视轴、透视中心等的确定可以是接近但不等于实际(例如，解剖学、光学或几何)值或参数的估计、近似或值。在某些情况下，例如，使用均方根估计技术获得这种值的估计。作为示例，本文描述的某些技术涉及识别射线或矢量相交处的位置或点。但是，这种射线或矢量也可能不相交。在该示例中，可以估计位置或点。例如，可以基于均方根或其它估计技术确定位置或点(例如，可以将位置或点估计为接近或最接近射线或矢量)。还可以使用其它过程来估计、近似或以其它方式提供可能与实际值不一致的值。因此，术语“确定”和“估计”或“确定的”和“估计的”在本文中可互换地使用。因此，对这种确定的值的提及可以包括估计、近似或接近实际值的值。因此，上文或本文其它地方提及的“确定参数或值”不应精确地限于实际值，而是可以包括估计、近似或与实际值接近的值。

Claims (77)

1.一种显示系统，其被配置为将光投射到用户的眼睛以在所述用户的视场中显示虚拟图像内容，所述眼睛具有角膜、虹膜、瞳孔、晶状体、视网膜，以及延伸穿过所述晶状体、瞳孔和角膜的光轴，所述显示系统包括：
框架，其被配置为支撑在所述用户的头部上；
头戴式显示器，其被设置在所述框架上，所述显示器被配置为将光投射到所述用户的眼睛中，以不同量的发散和准直中的至少一者向所述用户的视场显示虚拟图像内容，由此所显示的虚拟图像内容看起来在不同时间段源自不同深度；
一个或多个眼睛跟踪相机，其被配置为对所述用户的眼睛进行成像；以及
处理电子设备，其与所述显示器和所述一个或多个眼睛跟踪相机通信，所述处理电子设备被配置为基于通过所述一个或多个眼睛跟踪相机获得的所述眼睛的图像而获得所述眼睛的旋转中心的估计。
2.根据权利要求1所述的显示系统，进一步包括一个或多个光源，所述一个或多个光源相对于所述用户的眼睛设置在所述框架上以照射所述用户的眼睛，所述一个或多个眼睛跟踪相机使用来自所述一个或多个光源的所述光形成所述眼睛的图像。
3.根据权利要求2所述的显示系统，其中所述一个或多个光源包括至少两个光源，所述至少两个光源相对于所述用户的眼睛设置在所述框架上以照射所述用户的眼睛。
4.根据权利要求3所述的显示系统，其中所述一个或多个光源包括红外光发射器。
5.根据权利要求2所述的显示系统，其中一个或多个光源在所述眼睛上形成一个或多个亮斑，并且所述处理电子设备被配置为基于所述一个或多个亮斑确定所述角膜的位置。
6.根据权利要求5所述的显示系统，其中所述角膜具有与其相关联的角膜球，所述角膜球具有曲率中心，并且所述处理电子设备被配置为基于所述一个或多个亮斑确定所述角膜球的所述曲率中心的位置。
7.根据权利要求1所述的显示系统，其中所述角膜具有与其相关联的角膜球，所述角膜球具有曲率中心，并且所述处理电子设备被配置为确定所述角膜球的所述曲率中心的位置。
8.根据权利要求1所述的显示系统，其中所述一个或多个眼睛跟踪相机被配置为对所述眼睛的所述瞳孔进行成像。
9.根据权利要求1所述的显示系统，其中所述处理电子设备被配置为确定所述瞳孔的中心的位置。
10.根据权利要求1所述的显示系统，其中所述处理电子设备被配置为确定所述虹膜和所述瞳孔之间的边界的至少一部分。
11.根据权利要求10所述的显示系统，其中所述处理电子设备被配置为确定所述虹膜和所述瞳孔之间的所述边界的中心。
12.根据权利要求1所述的显示系统，其中所述处理电子设备被配置为确定所述瞳孔的中心在三维空间中相对于所述角膜的曲率中心的位置。
13.根据权利要求12所述的显示系统，其中所述处理电子设备被配置为基于所述瞳孔的所述中心在三维空间中的位置确定所述光轴的位置和取向。
14.根据权利要求1所述的显示系统，其中所述处理电子设备被配置为确定所述光轴的位置和取向。
15.根据权利要求14所述的显示系统，其中所述处理电子设备被配置为基于所述瞳孔的中心在三维空间中相对于所述角膜的曲率中心的位置确定所述光轴的所述位置和取向。
16.根据权利要求1所述的显示系统，其中所述处理电子设备被配置为基于所述角膜的曲率中心确定所述眼睛的所述旋转中心的位置。
17.根据权利要求1所述的显示系统，其中所述处理电子设备被配置为基于所述角膜的曲率中心以及所述光轴的位置和取向确定所述眼睛的所述旋转中心的位置。
18.根据权利要求17所述的显示系统，其中所述处理电子设备被配置为通过沿着所述光轴从所述角膜的所述曲率中心平移特定距离来确定所述眼睛的所述旋转中心的位置。
19.根据权利要求18所述的显示系统，其中从所述曲率中心到所述旋转中心的所述特定距离在4.0mm和6.0mm之间。
20.根据权利要求18所述的显示系统，其中从所述曲率中心到所述旋转中心的所述特定距离为约4.7mm。
21.根据权利要求18所述的显示系统，其中所述特定距离是固定的。
22.根据权利要求18所述的显示系统，其中所述处理电子设备被配置为至少基于先前通过所述一个或多个眼睛跟踪相机获得的所述眼睛的一个或多个图像确定所述特定距离。
23.根据权利要求1所述的显示系统，其中所述处理电子设备被配置为基于所述光轴的位置和取向确定从所述光轴偏移的视轴的位置和取向。
24.根据权利要求1所述的显示系统，其中所述处理电子设备被配置为基于相对于所述光轴的角旋转确定视轴的位置和取向。
25.根据权利要求1所述的显示系统，其中所述处理电子设备被配置为基于相对于所述光轴的4.0°和6.5°之间的角旋转确定视轴的位置和取向。
26.根据权利要求1所述的显示系统，其中所述处理电子设备被配置为基于相对于所述光轴的约5.2°的角旋转确定视轴的位置和取向。
27.根据权利要求1所述的显示系统，其中所述处理电子设备被配置为至少基于先前通过所述一个或多个眼睛跟踪相机获得的所述眼睛的一个或多个图像确定视轴的位置和取向。
28.根据权利要求1所述的显示系统，其中所述处理电子设备被配置为基于所述眼睛旋转的时间段内的所述光轴或视轴的位置的多个确定来确定所述眼睛的所述旋转中心。
29.根据权利要求1所述的显示系统，其中所述处理电子设备被配置为通过识别所述眼睛旋转的时间段内的所述光轴或视轴的位置的多个确定的相交的区域来确定所述眼睛的所述旋转中心。
30.根据权利要求1所述的显示系统，其中所述处理电子设备被配置为基于所述用户的左眼和右眼的光轴的位置和取向的确定来确定所述用户的左眼和右眼正在注视处的所述用户的辐辏距离。
31.根据权利要求1所述的显示系统，其中所述处理电子设备被配置为基于所述用户的左眼和右眼的视轴的位置和取向的确定来确定所述用户的左眼和右眼正在注视处的所述用户的辐辏距离。
32.根据权利要求1所述的显示系统，其中所述处理电子设备被配置为基于识别所述用户的左眼和右眼的视轴的相交的区域来确定所述用户的左眼和右眼正在注视处的辐辏距离。
33.根据权利要求1所述的显示系统，其中所述处理电子设备被配置为通过将所述用户的左眼和右眼的视轴投射到水平平面上，并识别所述左眼和右眼的所述视轴在所述水平平面上的所述投射的相交的区域，来确定所述用户的左眼和右眼正在注视处的辐辏距离。
34.根据权利要求1所述的显示系统，其中所述处理电子设备被配置为基于所述用户的辐辏距离的确定来确定用于投射图像内容的发散和准直中的至少一者的相对量。
35.根据权利要求1所述的显示系统，其中所述处理电子设备包括位于所述框架上的电子设备。
36.根据权利要求1所述的显示系统，其中所述处理电子设备包括位于所述框架上的电子设备和设置在远离所述框架的位置处的电子设备。
37.根据权利要求1所述的显示系统，其中所述处理电子设备包括位于所述框架上的电子设备和位于腰包上的电子设备。
38.根据权利要求1所述的显示系统，其中所述显示器的至少一部分是透明的并且在所述用户穿戴所述头戴式显示器时设置在所述用户的眼睛前方的位置处，使得所述透明部分将来自所述用户的前方环境的一部分和所述头戴式显示器的光透射到所述用户的眼睛，以提供所述用户的前方环境的所述一部分和所述头戴式显示器的视图。
39.根据权利要求1所述的显示系统，其中所述头戴式显示器以第一发散量从所述用户的前方环境的一部分接收光，并且以与所述第一发散量基本相同的第二发散量将来自所述用户的前方环境的所述一部分的光透射到所述用户的眼睛。
40.根据权利要求1所述的显示系统，其中所述处理电子设备被配置为通过对多个估计的旋转中心位置进行滤波、平均、应用卡尔曼滤波器或执行上述项的任意组合来获得所述旋转中心的所述估计。
41.根据权利要求1所述的显示系统，其中所述处理电子设备被配置为向所述用户的眼睛呈现所述虚拟图像内容，所述虚拟图像内容被渲染为如同由具有位于所述用户的眼睛的所确定的旋转中心位置处的光圈的相机捕获的一样。
42.根据权利要求1所述的显示系统，其中所述处理电子设备被配置为使用位于所述旋转中心处的渲染相机渲染要向所述眼睛呈现的虚拟图像。
43.根据权利要求1所述的显示系统，其中所述处理电子设备被配置为使用渲染相机，所述渲染相机被配置为渲染要向所述眼睛呈现的虚拟图像，所述虚拟图像被渲染为如同由具有比所述眼睛的所述视网膜更靠近所述旋转中心的光圈的相机捕获的一样。
44.根据权利要求1所述的显示系统，其中所述处理电子设备被配置为使用渲染相机，所述渲染相机被配置为渲染要向所述眼睛呈现的虚拟图像，所述虚拟图像被渲染为如同由具有位于所述眼睛的所述旋转中心处的光圈的相机捕获的一样。
45.根据权利要求1所述的显示系统，其中所述处理电子设备被配置为使用位于所述旋转中心处的渲染相机渲染要向所述眼睛呈现的虚拟图像，所述渲染相机被模型化为具有位于所述眼睛的所述旋转中心处的光圈。
46.根据权利要求1所述的显示系统，其中所述处理电子设备被配置为，基于根据通过所述一个或多个眼睛跟踪相机获得的所述眼睛的图像在所述眼睛旋转的时间段内所述用户的眼睛的多个注视方向的确定，获得所述眼睛的所述旋转中心的所述估计。
47.根据权利要求46所述的显示系统，其中所述处理电子设备被配置为，基于通过所述一个或多个眼睛跟踪相机获得的图像中的所述用户的眼睛的瞳孔、虹膜、或角膜缘中的一者或多者的形状在所述眼睛旋转的时间段内的变化，确定所述注视方向。
48.根据权利要求1所述的显示系统，其中所述处理电子设备被配置为基于通过所述一个或多个眼睛跟踪相机获得的所述用户的眼睛的图像上的多个空间位置而确定位置阵列。
49.根据权利要求48所述的显示系统，其中所述位置阵列对应于椭圆的至少一部分。
50.根据权利要求48所述的显示系统，其中所述处理电子设备被配置为通过将曲线拟合到所述用户的眼睛的所述图像上的所述多个空间位置来确定所述位置阵列。
51.根据权利要求50所述的显示系统，其中所述曲线包括椭圆。
52.根据权利要求49所述的显示系统，其中所述图像上的所述多个空间位置包括所述图像中的所述用户的眼睛的所述角膜缘上的空间位置。
53.根据权利要求49所述的显示系统，其中所述图像上的所述多个空间位置包括所述图像中的所述用户的眼睛的所述虹膜和巩膜之间的边界上的空间位置。
54.根据权利要求49所述的显示系统，其中所述图像上的所述多个空间位置包括通过所述一个或多个眼睛跟踪相机获得的所述图像中的所述用户的眼睛的所述角膜和所述巩膜之间的边界上的空间位置。
55.根据权利要求49所述的显示系统，其中所述处理电子设备被配置为确定从所述位置阵列的第一侧上的位置通过所述位置阵列延伸到所述位置阵列的相反的第二侧的多个线性路径。
56.根据权利要求55所述的显示系统，其中所述处理电子设备被配置为基于所述多个线性路径确定圆形区域，所述圆形区域具有半径R。
57.根据权利要求56所述的显示系统，其中所述半径R对应于角膜缘的平均半径。
58.根据权利要求56所述的显示系统，其中所述半径R对应于所述用户的眼睛的所述角膜缘的测量半径。
59.根据权利要求56所述的显示系统，其中所述半径R对应于瞳孔的平均半径。
60.根据权利要求56所述的显示系统，其中所述半径R对应于所述用户的眼睛的所述瞳孔的测量半径。
61.根据权利要求56所述的显示系统，其中所述处理电子设备被配置为确定穿过所述圆形区域的中心部分的法线的位置和方向。
62.根据权利要求56所述的显示系统，其中所述处理电子设备被配置为，基于先前通过所述一个或多个眼睛跟踪相机获得的所述眼睛的多个图像，确定穿过各个圆形区域的中心部分的多条法线的相应位置和方向。
63.根据权利要求62所述的显示系统，其中所述处理电子设备被配置为确定所述多条法线会聚或相交的位置。
64.根据权利要求62所述的显示系统，其中所述处理电子设备被配置为，通过识别基于在所述眼睛旋转的时间段内获得的所述用户的眼睛的图像而确定的所述法线中的多者的相交的区域，获得所述用户的眼睛的所述旋转中心的估计。
65.根据权利要求62所述的显示系统，其中所述处理电子设备被配置为，基于根据在所述用户的眼睛旋转的时间段内获得的所述眼睛的图像而确定的所述多条法线中的多者的位置和方向，获得所述用户的眼睛的所述旋转中心的估计。
66.根据权利要求55所述的显示系统，其中所述阵列位置的所述第一侧上的位置对应于所述一个或多个眼睛跟踪相机之一的坐标系的原点。
67.一种显示系统，其被配置为将光投射到用户的眼睛以在所述用户的视场中显示虚拟图像内容，所述眼睛具有角膜、虹膜、瞳孔、晶状体、视网膜，以及延伸穿过所述晶状体、瞳孔和角膜的光轴，所述显示系统包括：
框架，其被配置为支撑在所述用户的头部上；
头戴式显示器，其被设置在所述框架上，所述显示器被配置为将光投射到所述用户的眼睛中，以不同量的发散和准直中的至少一者向所述用户的视场显示虚拟图像内容，由此所显示的虚拟图像内容看起来在不同时间段源自不同深度；
一个或多个眼睛跟踪相机，其被配置为对所述用户的眼睛进行成像；以及
处理电子设备，其与所述显示器和所述一个或多个眼睛跟踪相机通信，所述处理电子设备被配置为基于通过所述一个或多个眼睛跟踪相机获得的所述眼睛的图像而获得所述眼睛的透视中心的位置估计，所述透视中心被估计为接近所述眼睛的所述瞳孔或者位于所述眼睛的所述角膜和所述瞳孔之间，
其中所述处理电子设备被配置为向所述用户的眼睛呈现所述虚拟图像内容，所述虚拟图像内容由位于所述透视中心处的渲染相机渲染。
68.一种在显示系统中渲染虚拟图像内容的方法，所述显示系统被配置为将光投射到用户的眼睛以在所述用户的视场中显示所述虚拟图像内容，所述眼睛具有角膜、虹膜、瞳孔、晶状体、视网膜，以及延伸穿过所述晶状体、瞳孔和角膜的光轴，所述方法包括：
通过被配置为对所述用户的所述眼睛进行成像以跟踪所述眼睛的运动的一个或多个眼睛跟踪相机，确定所述眼睛的旋转中心的位置；
通过渲染引擎，利用位于所述眼睛的所述旋转中心处的渲染相机渲染虚拟图像内容，所述渲染相机被配置为渲染要向所述眼睛呈现的虚拟图像；以及
通过头戴式显示器，将光投射到所述用户的眼睛中，以不同的发散量向所述用户的视场显示所渲染的虚拟图像内容，使得所述虚拟图像内容看起来在不同时间段源自不同深度。
69.一种显示系统，其被配置为将光投射到用户的眼睛以在所述用户的视场中显示虚拟图像内容，所述眼睛具有角膜、虹膜、瞳孔、晶状体、视网膜，以及延伸穿过所述晶状体、瞳孔和角膜的光轴，所述显示系统包括：
框架，其被配置为支撑在所述用户的头部上；
头戴式显示器，其被设置在所述框架上，所述显示器被配置为将光投射到所述用户的眼睛中，以不同的发散量向所述用户的视场显示虚拟图像内容，由此所显示的虚拟图像内容看起来在不同时间段源自不同深度，其中所述头戴式显示器被配置为在第一时间段将具有第一发散量的光投射到所述用户的眼睛中，以及被配置为在第二时间段将具有第二发散量的光投射到所述用户的眼睛中，其中所述第一发散量不同于所述第二发散量；
一个或多个眼睛跟踪相机，其被配置为对所述用户的眼睛进行成像；以及
处理电子设备，其与所述显示器和所述一个或多个眼睛跟踪相机通信，所述处理电子设备被配置为基于通过所述一个或多个眼睛跟踪相机获得的所述眼睛的图像而获得所述眼睛的旋转中心的估计，基于通过所述一个或多个眼睛跟踪相机获得的所述眼睛的图像而获得所述用户的辐辏距离的估计，以及基于所述用户的所估计的辐辏距离，从以所述第一发散量将光投射到所述用户的眼睛中变换为以所述第二发散量将光投射到所述用户的眼睛中。
70.一种显示系统，其被配置为将光投射到用户的左眼和右眼以在所述用户的视场中显示虚拟图像内容，所述眼睛中的每一只具有角膜、虹膜、瞳孔、晶状体、视网膜，以及延伸穿过所述晶状体、瞳孔和角膜的光轴，所述显示系统包括：
框架，其被配置为支撑在所述用户的头部上；
头戴式显示器，其被设置在所述框架上，所述显示器被配置为将光投射到所述用户的左眼和右眼中，以不同量的发散和准直中的至少一者向所述用户的视场显示虚拟图像内容，由此所显示的虚拟图像内容看起来在不同时间段源自相对于所述用户的左眼和右眼的不同距离；
第一眼睛跟踪相机，其被配置为对所述用户的左眼进行成像；
第二眼睛跟踪相机，其被配置为对所述用户的右眼进行成像；以及
处理电子设备，其与所述显示器以及所述第一眼睛跟踪相机和所述第二眼睛跟踪相机通信，所述处理电子设备被配置为基于通过所述第一眼睛跟踪相机和所述第二眼睛跟踪相机获得的所述左眼和所述右眼的图像而获得所述用户的左眼和右眼之间的瞳距的估计。
71.一种在显示系统中渲染虚拟图像内容的方法，所述显示系统被配置为将光投射到用户的左眼和右眼以在所述用户的视场中显示所述虚拟图像内容，所述眼睛中的每一只具有角膜、虹膜、瞳孔、晶状体、视网膜，以及延伸穿过所述晶状体、瞳孔和角膜的光轴，所述方法包括：
通过被配置为对所述用户的所述眼睛进行成像以跟踪所述眼睛的运动的一个或多个眼睛跟踪相机，确定所述左眼的旋转中心的位置和所述右眼的旋转中心的位置；
通过与所述一个或多个眼睛跟踪相机通信的处理电子设备，基于所确定的所述左眼和所述右眼的所述旋转中心的位置估计所述用户的瞳距；
通过所述一个或多个眼睛跟踪相机，确定当前的左眼姿势和当前的右眼姿势；以及
通过所述处理电子设备，通过比较所估计的瞳距和所确定的当前的左眼姿势和所确定的当前的右眼姿势来估计所述用户的当前的辐辏距离。
72.一种显示系统，其被配置为将光投射到用户的眼睛以在所述用户的视场中显示虚拟图像内容，所述眼睛具有角膜、虹膜、瞳孔、晶状体、视网膜，以及延伸穿过所述晶状体、瞳孔和角膜的光轴，所述显示系统包括：
框架，其被配置为支撑在所述用户的头部上；
头戴式显示器，其被设置在所述框架上，所述显示器被配置为将光投射到所述用户的眼睛中，以不同量的发散和准直中的至少一者向所述用户的视场显示虚拟图像内容，由此所显示的虚拟图像内容看起来在不同时间段源自不同深度；
一个或多个眼睛跟踪相机，其被配置为对所述用户的眼睛进行成像；以及
处理电子设备，其与所述显示器和所述一个或多个眼睛跟踪相机通信，所述处理电子设备被配置为，基于通过所述一个或多个眼睛跟踪相机获得的所述眼睛的图像而获得所述眼睛的旋转中心的位置估计，以及被配置为，基于所述图像获得所述眼睛的所述光轴的方向估计，
其中所述处理电子设备被配置为向所述用户的眼睛呈现所述虚拟图像内容，所述虚拟图像内容被渲染为如同由具有光圈的相机捕获的一样，所述光圈沿着所述光轴设置并且在远离所述视网膜的方向上与所述眼睛的所估计的所述旋转中心的位置间隔6.0mm至13.0mm。
73.一种显示系统，其被配置为将光投射到用户的眼睛以在所述用户的视场中显示虚拟图像内容，所述眼睛具有角膜、虹膜、瞳孔、晶状体、视网膜，以及延伸穿过所述晶状体、瞳孔和角膜的光轴，所述显示系统包括：
框架，其被配置为支撑在所述用户的头部上；
头戴式显示器，其被设置在所述框架上，所述显示器被配置为将光投射到所述用户的眼睛中，以不同量的发散和准直中的至少一者向所述用户的视场显示虚拟图像内容，由此所显示的虚拟图像内容看起来在不同时间段源自不同深度；
一个或多个眼睛跟踪相机，其被配置为对所述用户的眼睛进行成像；以及
处理电子设备，其与所述显示器和所述一个或多个眼睛跟踪相机通信，
其中所述处理电子设备被配置为向所述用户的眼睛呈现所述虚拟图像内容，所述虚拟图像内容由位于所述眼睛的所述瞳孔处或位于所述眼睛的所述瞳孔和所述角膜之间的渲染相机渲染。
74.一种显示系统，其被配置为将光投射到用户的眼睛以在所述用户的视场中显示虚拟图像内容，所述眼睛具有角膜、虹膜、瞳孔、晶状体、视网膜，以及延伸穿过所述晶状体、瞳孔和角膜的光轴，所述显示系统包括：
框架，其被配置为支撑在所述用户的头部上；
头戴式显示器，其被设置在所述框架上，所述显示器被配置为将光投射到所述用户的眼睛中以向所述用户的视场显示虚拟图像内容，所述显示器的至少一部分是透明的并且在所述用户穿戴所述框架时设置在所述用户的眼睛前方的位置处，使得所述透明部分将来自所述用户的前方环境的一部分和所述头戴式显示器的光透射到所述用户的眼睛，以提供所述用户的前方环境的所述一部分和所述头戴式显示器的视图；
面向内的成像系统，其被配置为对所述用户的眼睛进行成像；以及
处理电子设备，其与所述面向内的成像系统通信，所述处理电子设备被配置为基于通过所述面向内的成像系统获得的所述眼睛的多个图像而获得所述眼睛的旋转中心的估计，所述处理电子设备被配置为确定旋转中心的计算值的变化，并且基于所述变化选择在统计上确定的旋转中心的估计。
75.一种在显示系统中渲染虚拟图像内容的方法，所述显示系统被配置为将光投射到用户的眼睛以在所述用户的视场中显示所述虚拟图像内容，所述眼睛具有角膜、虹膜、瞳孔、晶状体、视网膜，以及延伸穿过所述晶状体、瞳孔和角膜的光轴，所述方法包括：
通过被配置为对所述用户的所述眼睛进行成像的一个或多个眼睛相机，基于利用所述一个或多个相机实现的所述眼睛的所述成像确定位置；
通过渲染引擎，利用位于基于所确定的位置的一位置处的渲染相机渲染虚拟图像内容，所述渲染相机被配置为渲染要向所述眼睛呈现的虚拟图像；以及
通过头戴式显示器，将光投射到所述用户的眼睛中，以向所述用户的视场显示所渲染的虚拟图像内容。
76.一种显示系统，其被配置为将光投射到用户的眼睛以在所述用户的视场中显示虚拟图像内容，所述眼睛具有角膜、虹膜、瞳孔、晶状体、视网膜，以及延伸穿过所述晶状体、瞳孔和角膜的光轴，所述显示系统包括：
框架，其被配置为支撑在所述用户的头部上；
头戴式显示器，其被设置在所述框架上，所述显示器被配置为将光投射到所述用户的眼睛中以向所述用户的视场显示虚拟图像内容；
一个或多个相机，其被配置为对所述用户的眼睛进行成像；以及
处理电子设备，其与所述显示器和所述一个或多个相机通信，所述处理电子设备被配置为基于通过所述一个或多个相机获得的所述眼睛的图像而获得所述眼睛的位置，
其中所述处理电子设备被配置为向所述用户的眼睛呈现所述虚拟图像内容，所述虚拟图像内容由基于所确定的位置的一位置处的渲染相机渲染。
77.一种显示系统，其被配置为将光投射到用户的眼睛以在所述用户的视场中显示虚拟图像内容，所述眼睛具有角膜、虹膜、瞳孔、晶状体、视网膜，所述显示系统包括：
框架，其被配置为支撑在所述用户的头部上；
头戴式显示器，其被设置在所述框架上，所述显示器被配置为将光投射到所述用户的眼睛中，以不同量的发散和准直中的至少一者向所述用户的视场显示虚拟图像内容，由此所显示的虚拟图像内容看起来在不同时间段源自不同深度；
一个或多个眼睛跟踪相机，其被配置为对所述用户的眼睛进行成像；以及
处理电子设备，其与所述显示器和所述一个或多个眼睛跟踪相机通信，所述处理电子设备被配置为：
基于通过所述一个或多个眼睛跟踪相机获得的所述眼睛的图像，获得延伸穿过所述用户的眼睛的所述晶状体、瞳孔和角膜的光轴的位置和取向估计；
识别渲染空间中沿着与所述眼睛的所述光轴配准的轴的特定位置；以及
向所述用户的眼睛呈现所述虚拟图像内容，所述虚拟图像内容由位于渲染空间中的所述特定位置处的虚拟渲染相机渲染。
CN201980019514.2A 2018-01-17 2019-01-17 显示系统中的眼睛旋转中心确定、深度平面选择和渲染相机定位 Pending CN111869200A (zh)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201862618559P 2018-01-17 2018-01-17
US62/618,559 2018-01-17
US201862702849P 2018-07-24 2018-07-24
US62/702,849 2018-07-24
PCT/US2019/014052 WO2019143844A1 (en) 2018-01-17 2019-01-17 Eye center of rotation determination, depth plane selection, and render camera positioning in display systems

Publications (1)

Publication Number Publication Date
CN111869200A true CN111869200A (zh) 2020-10-30

Family

ID=67301157

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201980019514.2A Pending CN111869200A (zh) 2018-01-17 2019-01-17 显示系统中的眼睛旋转中心确定、深度平面选择和渲染相机定位

Country Status (9)

Country Link
US (4) US11112863B2 (zh)
EP (2) EP4354207A2 (zh)
JP (2) JP7390297B2 (zh)
KR (1) KR20200110367A (zh)
CN (1) CN111869200A (zh)
AU (1) AU2019209930B2 (zh)
CA (1) CA3087333A1 (zh)
IL (2) IL275822B2 (zh)
WO (1) WO2019143844A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113538655A (zh) * 2021-06-23 2021-10-22 聚好看科技股份有限公司 一种虚拟人脸的生成方法及设备

Families Citing this family (43)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11154203B2 (en) * 2015-06-14 2021-10-26 Facense Ltd. Detecting fever from images and temperatures
KR20200110367A (ko) * 2018-01-17 2020-09-23 매직 립, 인코포레이티드 디스플레이 시스템들에서의 눈 회전 중심 결정, 깊이 평면 선택, 및 렌더 카메라 포지셔닝
IL311004A (en) * 2018-01-17 2024-04-01 Magic Leap Inc Display systems and methods for determining registration between a display and a user's eyes
US11093208B2 (en) * 2018-02-16 2021-08-17 Valve Corporation Using detected pupil location to align optical components of a head-mounted display
CN117369133A (zh) 2018-07-13 2024-01-09 奇跃公司 用于显示双目变形补偿的系统和方法
WO2020018938A1 (en) 2018-07-19 2020-01-23 Magic Leap, Inc. Content interaction driven by eye metrics
WO2020023542A1 (en) 2018-07-24 2020-01-30 Magic Leap, Inc. Display systems and methods for determining registration between a display and eyes of a user
CN112639579B (zh) 2018-08-31 2023-09-15 奇跃公司 用于增强现实装置的空间分辨的动态调暗
CN111124103A (zh) * 2018-10-31 2020-05-08 托比股份公司 检测头戴式装置的重新定位
WO2020146760A1 (en) 2019-01-11 2020-07-16 Magic Leap, Inc. Time-multiplexed display of virtual content at various depths
EP3914997A4 (en) 2019-01-25 2022-10-12 Magic Leap, Inc. OCULOMETRY USING IMAGES WITH DIFFERENT EXPOSURE TIMES
GB2582657B (en) * 2019-03-29 2021-09-15 Sony Interactive Entertainment Inc User tracking system using a camera mounted on the user and an external camera
JP7423659B2 (ja) 2019-05-20 2024-01-29 マジック リープ， インコーポレイテッド 眼姿勢を推定するためのシステムおよび技法
CN114424147A (zh) 2019-07-16 2022-04-29 奇跃公司 利用一个或多个眼睛跟踪相机确定眼睛旋转中心
US11836410B2 (en) * 2019-08-06 2023-12-05 Universal City Studios Llc Interactive headgear
US10972719B1 (en) * 2019-11-11 2021-04-06 Nvidia Corporation Head-mounted display having an image sensor array
JP6725121B1 (ja) * 2019-11-13 2020-07-15 株式会社スワローインキュベート 視線検出方法、視線検出装置、及び制御プログラム
US11681362B2 (en) 2019-11-26 2023-06-20 Magic Leap, Inc. Enhanced eye tracking for augmented or virtual reality display systems
US11228745B2 (en) * 2019-11-26 2022-01-18 Varjo Technologies Oy Display apparatus and method of correcting image distortion therefor
EP4073689A4 (en) 2019-12-09 2022-12-14 Magic Leap, Inc. SYSTEMS AND PROCEDURES FOR THE OPERATION OF A USER IDENTIFICATION-BASED HEAD-MOUNTED DISPLAY
US11687778B2 (en) 2020-01-06 2023-06-27 The Research Foundation For The State University Of New York Fakecatcher: detection of synthetic portrait videos using biological signals
US11410387B1 (en) 2020-01-17 2022-08-09 Facebook Technologies, Llc. Systems, methods, and media for generating visualization of physical environment in artificial reality
US11200745B2 (en) 2020-01-27 2021-12-14 Facebook Technologies, Llc. Systems, methods, and media for automatically triggering real-time visualization of physical environment in artificial reality
US11210860B2 (en) 2020-01-27 2021-12-28 Facebook Technologies, Llc. Systems, methods, and media for visualizing occluded physical objects reconstructed in artificial reality
US10950034B1 (en) 2020-01-27 2021-03-16 Facebook Technologies, Llc Systems, methods, and media for generating visualization of physical environment in artificial reality
US11113891B2 (en) * 2020-01-27 2021-09-07 Facebook Technologies, Llc Systems, methods, and media for displaying real-time visualization of physical environment in artificial reality
US11487356B2 (en) 2020-01-31 2022-11-01 Magic Leap, Inc. Augmented and virtual reality display systems for oculometric assessments
US11451758B1 (en) 2020-02-12 2022-09-20 Meta Platforms Technologies, Llc Systems, methods, and media for colorizing grayscale images
US11509865B2 (en) * 2020-05-12 2022-11-22 True Meeting Inc Touchups, denoising and makeup related to a 3D virtual conference
JP2023529679A (ja) 2020-06-12 2023-07-11 ユニバーシティ オブ ワシントン 接眼ディスプレイ内での眼追跡
US11868527B2 (en) 2020-07-23 2024-01-09 Magic Leap, Inc. Eye tracking using alternate sampling
US11836287B1 (en) * 2020-09-22 2023-12-05 Apple Inc. Light pattern-based alignment for retinal eye tracking
EP3985483A1 (en) 2020-10-19 2022-04-20 Carl Zeiss Vision International GmbH Computer-implemented method for determining a position of a center of rotation of an eye using a mobile device, mobile device and computer program
CN112489138B (zh) * 2020-12-02 2024-02-20 中国船舶集团有限公司第七一六研究所 一种基于可穿戴式装备的目标态势信息智能获取系统
GB2606346B (en) * 2021-04-28 2023-10-25 Sony Interactive Entertainment Inc System and method of head mounted display personalisation
US20230082420A1 (en) * 2021-09-13 2023-03-16 Qualcomm Incorporated Display of digital media content on physical surface
US11861805B2 (en) 2021-09-22 2024-01-02 Sony Group Corporation Eyeball positioning for 3D head modeling
US20230119633A1 (en) * 2021-10-20 2023-04-20 Microsoft Technology Licensing, Llc Enhanced eye tracking systems utilizing joint biological and hardware estimations
WO2023102500A1 (en) * 2021-12-01 2023-06-08 Magic Leap, Inc. Methods for controlling performance of extended reality display systems
KR20230113871A (ko) 2022-01-24 2023-08-01 (주) 해피론이엔지 발포폴리에틸렌메시를 이용한 건축물 층간소음방지 시공방법 및 구조.
KR102623083B1 (ko) 2022-05-02 2024-01-10 (주) 해피론이엔지 공명공간을 제거한 1차 몰탈 타설식 소음방지 시공공법 및 시공구조
US20230396752A1 (en) * 2022-06-03 2023-12-07 Apple Inc. Electronic Device that Displays Virtual Objects
EP4375807A1 (en) * 2022-11-28 2024-05-29 Tobii AB Method and system for improving perfomance of an eye tracking system

Family Cites Families (142)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3166179B2 (ja) * 1991-01-22 2001-05-14 キヤノン株式会社 視線検出装置
US6222525B1 (en) 1992-03-05 2001-04-24 Brad A. Armstrong Image controllers with sheet connected sensors
US5670988A (en) 1995-09-05 1997-09-23 Interlink Electronics, Inc. Trigger operated electronic device
US5844656A (en) * 1996-11-07 1998-12-01 Xybernaut Corporation Head mounted display with adjustment components
JPH11155152A (ja) 1997-11-21 1999-06-08 Canon Inc 三次元形状情報入力方法及び装置及び画像入力装置
US6433760B1 (en) 1999-01-14 2002-08-13 University Of Central Florida Head mounted display with eyetracking capability
TW487892B (en) * 1999-08-31 2002-05-21 Shimadzu Corp Head display
US6529331B2 (en) 2001-04-20 2003-03-04 Johns Hopkins University Head mounted display with full field of view and high resolution
US6771423B2 (en) * 2001-05-07 2004-08-03 Richard Geist Head-mounted virtual display apparatus with a near-eye light deflecting element in the peripheral field of view
US20030030597A1 (en) * 2001-08-13 2003-02-13 Geist Richard Edwin Virtual display apparatus for mobile activities
JP2003307774A (ja) 2002-04-17 2003-10-31 Canon Inc 視線検出機能付き光学機器
US7306337B2 (en) * 2003-03-06 2007-12-11 Rensselaer Polytechnic Institute Calibration-free gaze tracking under natural head movement
JP2008509438A (ja) * 2004-08-06 2008-03-27 ユニヴァーシティ オブ ワシントン 可変固定視距離で走査される光表示装置
US20060250322A1 (en) * 2005-05-09 2006-11-09 Optics 1, Inc. Dynamic vergence and focus control for head-mounted displays
US7967439B2 (en) 2005-05-19 2011-06-28 The Johns Hopkins University Wireless scleral search coil including systems for measuring eye movement and methods related thereto
ES2341285T3 (es) 2005-07-19 2010-06-17 Nektar Therapeutics Metodo para preparar maleimidas polimericas.
US11428937B2 (en) 2005-10-07 2022-08-30 Percept Technologies Enhanced optical and perceptual digital eyewear
US8696113B2 (en) 2005-10-07 2014-04-15 Percept Technologies Inc. Enhanced optical and perceptual digital eyewear
US20070081123A1 (en) 2005-10-07 2007-04-12 Lewis Scott W Digital eyewear
JP4379409B2 (ja) 2005-11-08 2009-12-09 ソニー株式会社 撮像装置、および情報処理方法、並びにコンピュータ・プログラム
US20070273983A1 (en) 2006-05-26 2007-11-29 Hebert Raymond T Devices, methods, and systems for image viewing
US7542210B2 (en) * 2006-06-29 2009-06-02 Chirieleison Sr Anthony Eye tracking head mounted display
EP2078229A2 (en) * 2006-11-02 2009-07-15 Sensics, Inc. Systems and methods for a head-mounted display
US8066372B2 (en) 2007-10-23 2011-11-29 Mcgill University Binocular vision assessment and/or therapy
US8314814B2 (en) * 2007-12-20 2012-11-20 Raytheon Company Imaging system
US8223113B2 (en) 2007-12-26 2012-07-17 Sharp Laboratories Of America, Inc. Methods and systems for display source light management with variable delay
US20100149073A1 (en) 2008-11-02 2010-06-17 David Chaum Near to Eye Display System and Appliance
DE102009010467A1 (de) * 2009-02-26 2010-09-09 Carl Zeiss Vision Gmbh Verfahren und Vorrichtung zur Bestimmung der Augendrehpunktlage
US20190302882A1 (en) 2009-04-01 2019-10-03 Tobii Ab Visual display with illuminators for gaze tracking
US20120139817A1 (en) * 2009-08-13 2012-06-07 Bae Systems Plc Head up display system
US20110075257A1 (en) 2009-09-14 2011-03-31 The Arizona Board Of Regents On Behalf Of The University Of Arizona 3-Dimensional electro-optical see-through displays
US20120249797A1 (en) 2010-02-28 2012-10-04 Osterhout Group, Inc. Head-worn adaptive display
US20120212484A1 (en) 2010-02-28 2012-08-23 Osterhout Group, Inc. System and method for display content placement using distance and location information
US8941559B2 (en) 2010-09-21 2015-01-27 Microsoft Corporation Opacity filter for display device
US9304319B2 (en) 2010-11-18 2016-04-05 Microsoft Technology Licensing, Llc Automatic focus improvement for augmented reality displays
KR101997852B1 (ko) 2010-12-24 2019-10-01 매직 립, 인코포레이티드 인체공학적 머리 장착식 디스플레이 장치 및 광학 시스템
US10156722B2 (en) 2010-12-24 2018-12-18 Magic Leap, Inc. Methods and systems for displaying stereoscopy with a freeform optical system with addressable focus for virtual and augmented reality
RU2017118159A (ru) 2011-05-06 2018-10-30 Мэджик Лип, Инк. Мир массового одновременного удаленного цифрового присутствия
KR101824501B1 (ko) * 2011-05-19 2018-02-01 삼성전자 주식회사 헤드 마운트 디스플레이 장치의 이미지 표시 제어 장치 및 방법
US20130022220A1 (en) 2011-07-20 2013-01-24 Google Inc. Wearable Computing Device with Indirect Bone-Conduction Speaker
US8629815B2 (en) * 2011-08-09 2014-01-14 Google Inc. Laser alignment of binocular head mounted display
CA2750287C (en) * 2011-08-29 2012-07-03 Microsoft Corporation Gaze detection in a see-through, near-eye, mixed reality display
US9025252B2 (en) 2011-08-30 2015-05-05 Microsoft Technology Licensing, Llc Adjustment of a mixed reality display for inter-pupillary distance alignment
US9213163B2 (en) 2011-08-30 2015-12-15 Microsoft Technology Licensing, Llc Aligning inter-pupillary distance in a near-eye display system
WO2013049861A1 (en) 2011-09-29 2013-04-04 Magic Leap, Inc. Tactile glove for human-computer interaction
US20130083003A1 (en) 2011-09-30 2013-04-04 Kathryn Stone Perez Personal audio/visual system
US8879801B2 (en) * 2011-10-03 2014-11-04 Qualcomm Incorporated Image-based head position tracking method and system
US8988467B2 (en) * 2011-10-13 2015-03-24 Microsoft Technology Licensing, Llc Touchscreen selection visual feedback
DK2583618T3 (en) 2011-10-22 2018-03-12 Alcon Pharmaceuticals Ltd Apparatus for monitoring one or more parameters of the eye
CA3164530C (en) 2011-10-28 2023-09-19 Magic Leap, Inc. System and method for augmented and virtual reality
US8752963B2 (en) * 2011-11-04 2014-06-17 Microsoft Corporation See-through display brightness control
US8929589B2 (en) 2011-11-07 2015-01-06 Eyefluence, Inc. Systems and methods for high-resolution gaze tracking
US8611015B2 (en) * 2011-11-22 2013-12-17 Google Inc. User interface
WO2013117999A1 (en) * 2012-02-06 2013-08-15 Sony Ericsson Mobile Communications Ab Gaze tracking with projector
JP6028357B2 (ja) 2012-03-22 2016-11-16 ソニー株式会社 ヘッドマウントディスプレイ及び手術システム
NZ700887A (en) 2012-04-05 2016-11-25 Magic Leap Inc Wide-field of view (fov) imaging devices with active foveation capability
US20130286053A1 (en) * 2012-04-25 2013-10-31 Rod G. Fleck Direct view augmented reality eyeglass-type display
US20130285885A1 (en) * 2012-04-25 2013-10-31 Andreas G. Nowatzyk Head-mounted light-field display
EP2857939B1 (en) * 2012-05-25 2018-08-29 National University Corporation Shizuoka University Pupil detection method, corneal reflex detection method, facial posture detection method, and pupil tracking method
US9001427B2 (en) 2012-05-30 2015-04-07 Microsoft Technology Licensing, Llc Customized head-mounted display device
US9671566B2 (en) 2012-06-11 2017-06-06 Magic Leap, Inc. Planar waveguide apparatus with diffraction element(s) and system employing same
US20130339433A1 (en) 2012-06-15 2013-12-19 Duke University Method and apparatus for content rating using reaction sensing
US9317971B2 (en) 2012-06-29 2016-04-19 Microsoft Technology Licensing, Llc Mechanism to give holographic objects saliency in multiple spaces
US9740006B2 (en) 2012-09-11 2017-08-22 Magic Leap, Inc. Ergonomic head mounted display device and optical system
US8860634B2 (en) 2012-10-11 2014-10-14 Sony Computer Entertainment Europe Limited Head mountable display
US20140146394A1 (en) * 2012-11-28 2014-05-29 Nigel David Tout Peripheral display for a near-eye display device
KR102274413B1 (ko) 2013-01-15 2021-07-07 매직 립, 인코포레이티드 초고해상도 스캐닝 섬유 디스플레이
US9699433B2 (en) * 2013-01-24 2017-07-04 Yuchen Zhou Method and apparatus to produce re-focusable vision with detecting re-focusing event from human eye
US9727991B2 (en) * 2013-03-01 2017-08-08 Microsoft Technology Licensing, Llc Foveated image rendering
KR102516124B1 (ko) 2013-03-11 2023-03-29 매직 립, 인코포레이티드 증강 및 가상 현실을 위한 시스템 및 방법
US9618747B2 (en) 2013-03-13 2017-04-11 Jason Villmer Head mounted display for viewing and creating a media file including omnidirectional image data and corresponding audio data
KR102318391B1 (ko) 2013-03-15 2021-10-26 매직 립, 인코포레이티드 디스플레이 시스템 및 방법
US9264803B1 (en) 2013-06-05 2016-02-16 Google Inc. Using sounds for determining a worn state of a wearable computing device
US10262462B2 (en) 2014-04-18 2019-04-16 Magic Leap, Inc. Systems and methods for augmented and virtual reality
US9874749B2 (en) 2013-11-27 2018-01-23 Magic Leap, Inc. Virtual and augmented reality systems and methods
US9256987B2 (en) 2013-06-24 2016-02-09 Microsoft Technology Licensing, Llc Tracking head movement when wearing mobile device
US20140375540A1 (en) * 2013-06-24 2014-12-25 Nathan Ackerman System for optimal eye fit of headset display device
EP3014334B1 (en) 2013-06-27 2017-08-02 CY Vision Inc. Image display device in the form of a pair of eye glasses
US10345903B2 (en) 2013-07-30 2019-07-09 Microsoft Technology Licensing, Llc Feedback for optic positioning in display devices
US10073518B2 (en) 2013-08-19 2018-09-11 Qualcomm Incorporated Automatic calibration of eye tracking for optical see-through head mounted display
AU2014337171B2 (en) 2013-10-16 2018-11-15 Magic Leap, Inc. Virtual or augmented reality headsets having adjustable interpupillary distance
CN107315249B (zh) 2013-11-27 2021-08-17 奇跃公司 虚拟和增强现实系统与方法
US9857591B2 (en) 2014-05-30 2018-01-02 Magic Leap, Inc. Methods and system for creating focal planes in virtual and augmented reality
US8958158B1 (en) 2013-12-03 2015-02-17 Google Inc. On-head detection for head-mounted display
US9651784B2 (en) 2014-01-21 2017-05-16 Osterhout Group, Inc. See-through computer display systems
NZ722903A (en) 2014-01-31 2020-05-29 Magic Leap Inc Multi-focal display system and method
KR102177133B1 (ko) 2014-01-31 2020-11-10 매직 립, 인코포레이티드 멀티-포컬 디스플레이 시스템 및 방법
US10203762B2 (en) 2014-03-11 2019-02-12 Magic Leap, Inc. Methods and systems for creating virtual and augmented reality
US11138793B2 (en) 2014-03-14 2021-10-05 Magic Leap, Inc. Multi-depth plane display system with reduced switching between depth planes
US9529428B1 (en) 2014-03-28 2016-12-27 Amazon Technologies, Inc. Using head movement to adjust focus on content of a display
IL231862A (en) 2014-04-01 2015-04-30 Superfish Ltd Image representation using a neural network
CN107087431B (zh) 2014-05-09 2021-02-05 谷歌有限责任公司 用于辨别眼睛信号和连续生物识别的系统和方法
AU2015266586B2 (en) 2014-05-30 2020-07-23 Magic Leap, Inc. Methods and systems for generating virtual content display with a virtual or augmented reality apparatus
US10852838B2 (en) 2014-06-14 2020-12-01 Magic Leap, Inc. Methods and systems for creating virtual and augmented reality
US9719871B2 (en) 2014-08-09 2017-08-01 Google Inc. Detecting a state of a wearable device
US9626936B2 (en) * 2014-08-21 2017-04-18 Microsoft Technology Licensing, Llc Dimming module for augmented and virtual reality
US9808185B2 (en) 2014-09-23 2017-11-07 Fitbit, Inc. Movement measure generation in a wearable electronic device
US20160131902A1 (en) 2014-11-12 2016-05-12 Anthony J. Ambrus System for automatic eye tracking calibration of head mounted display device
US9704038B2 (en) * 2015-01-07 2017-07-11 Microsoft Technology Licensing, Llc Eye tracking
US9681804B2 (en) * 2015-01-12 2017-06-20 X Development Llc Hybrid lens system for head wearable display
JP2016149660A (ja) * 2015-02-13 2016-08-18 ソニー株式会社 情報処理装置、情報処理方法、およびプログラム
NZ773831A (en) 2015-03-16 2022-07-01 Magic Leap Inc Methods and systems for diagnosing and treating health ailments
JP6483514B2 (ja) 2015-04-28 2019-03-13 京セラ株式会社 ウェアラブル装置、制御方法及び制御プログラム
WO2016203654A1 (ja) 2015-06-19 2016-12-22 日立マクセル株式会社 ヘッドマウントディスプレイ装置およびそれを用いた視覚補助方法
US20170285343A1 (en) * 2015-07-13 2017-10-05 Mikhail Belenkii Head worn display with foveal and retinal display
US10146997B2 (en) 2015-08-21 2018-12-04 Magic Leap, Inc. Eyelid shape estimation using eye pose measurement
WO2017034861A1 (en) 2015-08-21 2017-03-02 Magic Leap, Inc. Eyelid shape estimation
JP6548821B2 (ja) 2015-09-30 2019-07-24 株式会社ソニー・インタラクティブエンタテインメント ヘッドマウントディスプレイの画面上でコンテンツの配置を最適化する方法
AU2016341196B2 (en) 2015-10-20 2021-09-16 Magic Leap, Inc. Selecting virtual objects in a three-dimensional space
US10338677B2 (en) * 2015-10-28 2019-07-02 Microsoft Technology Licensing, Llc Adjusting image frames based on tracking motion of eyes
US9652896B1 (en) 2015-10-30 2017-05-16 Snap Inc. Image based tracking in augmented reality systems
US9983709B2 (en) * 2015-11-02 2018-05-29 Oculus Vr, Llc Eye tracking using structured light
KR20170051013A (ko) 2015-11-02 2017-05-11 엘지전자 주식회사 테더링 형 hmd 및 그 hmd의 제어 방법
JP7210280B2 (ja) 2015-11-04 2023-01-23 マジック リープ， インコーポレイテッド ライトフィールドディスプレイの計測
US10025060B2 (en) 2015-12-08 2018-07-17 Oculus Vr, Llc Focus adjusting virtual reality headset
JP6894904B2 (ja) 2016-01-07 2021-06-30 マジック リープ， インコーポレイテッドＭａｇｉｃ Ｌｅａｐ，Ｉｎｃ． 深度平面にわたって分配される等しくない数の成分色画像を有する仮想および拡張現実システムおよび方法
WO2017127366A1 (en) 2016-01-19 2017-07-27 Magic Leap, Inc. Eye image collection, selection, and combination
NZ758505A (en) 2016-02-11 2021-07-30 Magic Leap Inc Multi-depth plane display system with reduced switching between depth planes
US10908279B2 (en) * 2016-03-11 2021-02-02 Facebook Technologies, Llc Ultrasound/radar for eye tracking
US10115205B2 (en) 2016-03-11 2018-10-30 Facebook Technologies, Llc Eye tracking system with single point calibration
JP7152312B2 (ja) 2016-03-25 2022-10-12 マジック リープ， インコーポレイテッド 仮想および拡張現実システムおよび方法
WO2018000020A1 (en) * 2016-06-29 2018-01-04 Seeing Machines Limited Systems and methods for performing eye gaze tracking
US10139644B2 (en) 2016-07-01 2018-11-27 Tilt Five, Inc Head mounted projection display with multilayer beam splitter and color correction
WO2018013199A1 (en) 2016-07-14 2018-01-18 Magic Leap, Inc. Iris boundary estimation using cornea curvature
CN107665040A (zh) * 2016-07-27 2018-02-06 Fove股份有限公司 视线检测系统、偏移检测方法、偏移检测程序
US10425636B2 (en) * 2016-10-03 2019-09-24 Microsoft Technology Licensing, Llc Automatic detection and correction of binocular misalignment in a display device
EP3305176A1 (en) * 2016-10-04 2018-04-11 Essilor International Method for determining a geometrical parameter of an eye of a subject
KR102657100B1 (ko) 2016-10-05 2024-04-12 매직 립, 인코포레이티드 혼합 현실 교정을 위한 안구주위 테스트
GB2557175A (en) 2016-11-17 2018-06-20 Nokia Technologies Oy Method for multi-camera device
US10395111B2 (en) * 2016-12-01 2019-08-27 Varjo Technologies Oy Gaze-tracking system and method
EP3580604A4 (en) * 2017-02-12 2021-03-10 Lemnis Technologies Pte. Ltd. METHODS, DEVICES AND SYSTEMS FOR FOCUS ADJUSTMENT OF DISPLAYS
US11494986B2 (en) 2017-04-20 2022-11-08 Samsung Electronics Co., Ltd. System and method for two dimensional application usage in three dimensional virtual reality environment
EP3420887A1 (en) * 2017-06-30 2019-01-02 Essilor International Method for determining the position of the eye rotation center of the eye of a subject, and associated device
US11067813B2 (en) * 2017-11-03 2021-07-20 Htc Corporation Head-mounted display device
CN109752848B (zh) * 2017-11-06 2021-08-17 宏达国际电子股份有限公司 头戴式显示装置
US11112613B2 (en) * 2017-12-18 2021-09-07 Facebook Technologies, Llc Integrated augmented reality head-mounted display for pupil steering
KR20200110367A (ko) 2018-01-17 2020-09-23 매직 립, 인코포레이티드 디스플레이 시스템들에서의 눈 회전 중심 결정, 깊이 평면 선택, 및 렌더 카메라 포지셔닝
IL311004A (en) 2018-01-17 2024-04-01 Magic Leap Inc Display systems and methods for determining registration between a display and a user's eyes
US11145096B2 (en) 2018-03-07 2021-10-12 Samsung Electronics Co., Ltd. System and method for augmented reality interaction
WO2020023542A1 (en) 2018-07-24 2020-01-30 Magic Leap, Inc. Display systems and methods for determining registration between a display and eyes of a user
CN114424147A (zh) 2019-07-16 2022-04-29 奇跃公司 利用一个或多个眼睛跟踪相机确定眼睛旋转中心
WO2022015847A1 (en) 2020-07-15 2022-01-20 Magic Leap, Inc. Eye tracking using aspheric cornea model

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113538655A (zh) * 2021-06-23 2021-10-22 聚好看科技股份有限公司 一种虚拟人脸的生成方法及设备
CN113538655B (zh) * 2021-06-23 2023-08-04 聚好看科技股份有限公司 一种虚拟人脸的生成方法及设备

Also Published As

Publication number Publication date
JP7390297B2 (ja) 2023-12-01
EP3741109A1 (en) 2020-11-25
CA3087333A1 (en) 2019-07-25
WO2019143844A1 (en) 2019-07-25
EP4354207A2 (en) 2024-04-17
JP2023160877A (ja) 2023-11-02
US20210105456A1 (en) 2021-04-08
KR20200110367A (ko) 2020-09-23
IL305833A (en) 2023-11-01
US11112863B2 (en) 2021-09-07
EP3741109A4 (en) 2021-11-24
AU2019209930B2 (en) 2023-08-03
US11883104B2 (en) 2024-01-30
WO2019143844A9 (en) 2019-09-12
US20220057862A1 (en) 2022-02-24
US20190243448A1 (en) 2019-08-08
IL275822B2 (en) 2024-02-01
AU2019209930A1 (en) 2020-07-09
JP7488405B2 (ja) 2024-05-21
US11290706B2 (en) 2022-03-29
US20240108217A1 (en) 2024-04-04
AU2019209930A8 (en) 2020-08-27
IL275822A (en) 2020-08-31
EP3741109B1 (en) 2024-04-24
IL275822B1 (en) 2023-10-01
JP2021511723A (ja) 2021-05-06

Similar Documents

Publication Publication Date Title
JP7488405B2 (ja) 眼の回転中心決定、深度平面選択、およびディスプレイシステム内のレンダリングカメラ位置付け
US11880033B2 (en) Display systems and methods for determining registration between a display and a user's eyes
JP7443332B2 (ja) ユーザカテゴリ化による多深度平面ディスプレイシステムのための深度平面選択
US11567336B2 (en) Display systems and methods for determining registration between display and eyes of user
US11868525B2 (en) Eye center of rotation determination with one or more eye tracking cameras
CN115053270A (zh) 用于基于用户身份来操作头戴式显示系统的系统和方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination