CN113589533A - 头戴式显示器及用于确定佩戴其的用户的视线的方法 - Google Patents

头戴式显示器及用于确定佩戴其的用户的视线的方法 Download PDF

Info

Publication number
CN113589533A
CN113589533A CN202110931390.4A CN202110931390A CN113589533A CN 113589533 A CN113589533 A CN 113589533A CN 202110931390 A CN202110931390 A CN 202110931390A CN 113589533 A CN113589533 A CN 113589533A
Authority
CN
China
Prior art keywords
user
image
hmd
capture device
image capture
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110931390.4A
Other languages
English (en)
Inventor
魏士恩
詹森·萨拉吉
赫尔南·巴迪诺
亚历山大·特雷诺尔·希普斯
穆赫辛·沙赫穆罕默迪
王大伟
米哈尔·佩尔多奇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Meta Platforms Technologies LLC
Original Assignee
Facebook Technologies LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Facebook Technologies LLC filed Critical Facebook Technologies LLC
Publication of CN113589533A publication Critical patent/CN113589533A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B27/0172—Head mounted characterised by optical features
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/0093—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for monitoring data relating to the user, e.g. head-tracking, eye-tracking
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/012—Head tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04845—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range for image manipulation, e.g. dragging, rotation, expansion or change of colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N5/00—Computing arrangements using knowledge-based models
    • G06N5/04—Inference or reasoning models
    • G06N5/046—Forward inferencing; Production systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/332—Displays for viewing with the aid of special glasses or head-mounted displays [HMD]
    • H04N13/344—Displays for viewing with the aid of special glasses or head-mounted displays [HMD] with head-mounted left-right displays
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0138—Head-up displays characterised by optical features comprising image capture systems, e.g. camera
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/014—Head-up displays characterised by optical features comprising information/image processing systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Software Systems (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Mathematical Physics (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Biophysics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Optics & Photonics (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

本公开涉及头戴式显示器及用于确定佩戴其的用户的视线的方法。虚拟现实(VR)或增强现实(AR)头戴式显示器(HMD)包括位于HMD内的多个图像捕获设备，以捕获佩戴HMD的用户面部的部分。来自图像捕获设备的图像包括用户的眼睛，而来自另一图像捕获设备的另外图像包括用户的另一只眼睛。将图像和另外图像提供给控制器，控制器将训练的模型应用于图像和另外图像以生成识别用户头部的位置和用户眼睛的位置以及用户的每只眼睛的定位的矢量。此外，当用户佩戴HMD时，照亮包括在图像中和另外图像中的用户面部的部分的照明源被配置为防止图像和另外图像的过饱和或欠饱和。

Description

头戴式显示器及用于确定佩戴其的用户的视线的方法
本申请是申请日为2019年5月10日，申请号为201910389427.8，发明名称为“头戴式显示器及用于确定佩戴其的用户的视线的方法”的申请的分案申请。
技术领域
本公开总体涉及头戴式显示器，并且更具体地，涉及确定佩戴头戴式显示器的用户的视线。
背景技术
虚拟现实系统通常包括向用户呈现内容的显示器。例如，许多虚拟现实或增强现实系统包括头戴式显示器，该头戴式显示器包括向用户呈现图像或视频数据的显示元件。由虚拟现实系统呈现的内容描绘系统的对象和用户。
许多虚拟现实系统呈现虚拟环境中的用户的图形表示或头像以促进用户之间的交互。然而，传统的虚拟现实系统提供用户的有限图形表示。例如，在许多传统虚拟现实系统中表示用户的头像具有单个面部表情，诸如默认微笑或中性面部表情、或有限的一组面部表情。虚拟现实系统中的头像所显示的这些有限的面部表情经常使用户在虚拟环境中具有完全身临其境的体验。
当用户与虚拟现实系统或增强现实系统交互时跟踪用户的面部可以通过允许由虚拟现实系统或增强现实系统呈现的内容来复制用户的面部的移动来提供更加身临其境的界面，从而提供为用户提供更加身临其境的体验。然而，传统的面部跟踪系统通常包括专用外围设备，诸如相机，以及位于被跟踪的用户的面部和身体上的标记。使用标记和另外外围设备会将用户与所提供的虚拟环境分开，并且不适合用于便携式、轻便且高性能的虚拟现实头戴设备。
此外，在用于呈现虚拟现实或增强现实内容的头戴式显示器中包括眼睛跟踪系统允许头戴式显示器呈现的内容向佩戴头戴式显示器的用户提供更多身临其境的内容。例如，由头戴式显示器提供给用户的内容是凹的，因此对应于用户的视线方向的内容的部分呈现出比呈现内容的其他部分更高的分辨率。然而，许多传统的视线跟踪系统依赖于用户眼睛的高分辨率图像，其中捕获图像中的大量像素包括用户的眼睛。包括专用于用户眼睛的图像的图像捕获设备对于包括捕获关于佩戴头戴式显示器的用户面部的信息的其他设备的头戴式显示器来说通常是不实际的。
发明内容
虚拟现实(VR)或增强现实(AR)头戴式显示器(HMD)包括具有互补视场和不同深度的多个图像捕获设备。定位一个或多个图像捕获设备以捕获HMD底侧外部的用户面部的部分的图像。此外，定位一个或多个另外图像捕获设备以捕获HMD内用户面部的其他部分的图像。在各种实施例中，左图像捕获设备位于HMD内并且靠近HMD的左侧并且捕获用户面部的部分的图像。右图像捕获设备也位于HMD内并且靠近HMD的右侧并且捕获用户面部的另外部分的部分。此外，中央图像捕获设备位于对应于用户眼睛定位的位置的HMD的出射光瞳之间，并且捕获用户面部的中心部分的图像。因此，左图像捕获设备、右图像捕获设备和中央图像捕获设备各自捕获由HMD包围的用户面部的部分的图像。
在各种实施例中，由左图像捕获设备捕获的图像包括用户的左眼，并且由右图像捕获设备捕获的另外图像包括用户的右眼。左图像捕获设备和右图像捕获设备耦接到控制器，该控制器接收来自左图像捕获设备的图像和来自右图像捕获设备的另外图像。控制器将训练模型应用于生成描述佩戴HMD的用户头部的位置的矢量的图像和另外图像。在各种实施例中，训练模型是经训练的卷积神经网络。因此，由训练模型生成的矢量识别相对于用户头部的位置的用户左眼和用户右眼的定位。
基于在校准过程期间从多个用户获得的数据来训练通过控制器应用于图像和另外图像的训练模型并将其提供给控制器。在校准过程期间，佩戴HMD的用户通过HMD呈现校准图像，并被指示将用户的视线引导至校准图像。在继续将用户的视线引导至校准图像的同时，用户在HMD的指示下重新定位用户头部。当用户头部具有不同的位置时，左图像捕获设备捕获包括用户左眼的图像。类似地，当用户头部具有不同的位置时，右图像捕获设备捕获包括用户右眼的另外图像。基于当用户头部具有不同位置时捕获的图像和另外图像，当用户头部具有不同的位置时，将梯度下降应用于捕获的图像和另外图像，以生成表示用户的视线相对于用户头部的位置从当用户头部具有位置时捕获的一个或多个图像和一个或多个另外图像的定位的矢量。在各种实施例中，训练模型是根据佩戴不同HMD的多个用户确定的，并且当用户佩戴HMD时经由校准过程针对佩戴HMD的用户进行细化。控制器可以基于由训练模型生成的矢量来调整由HMD呈现的内容，或者可以将矢量提供给控制台或另一个设备，该控制台或另一设备基于由训练模型生成的矢量生成用于呈现的内容。
此外，左照明源位于左图像捕获设备附近，并且右照明源位于右图像捕获设备附近。例如，左照明源包括围绕左图像捕获设备的透镜的圆周定位的一个或多个发光二极管(LED)，而右照明源包括围绕右图像捕获设备的透镜的圆周定位的一个或多个LED。左照明源和右照明源分别发出照亮用户左眼和用户右眼的光，并且左照明源和右照明源耦接到控制器。例如，左照明源和右照明源发射红外光，并且左图像捕获设备和右图像捕获设备分别捕获由用户左眼和用户右眼反射的红外光。
为了分别改善由左图像捕获设备和右图像捕获设备捕获的图像和另外图像，控制器通过左照明源和右照明源调节光的发射。在各种实施例中，控制器基于从左图像捕获设备接收的图像调整左照射源的光发射，并且基于从右图像捕获设备接收的图像调整右照射源的光发射。例如，控制器通过调节由左照明源或右照明源的不同部分发射的光量基于饱和度或曝光来最小化功能。作为示例，控制器基于功能的最小化来调整由左照明源(或右照明源)的不同LED发出的光量。在一些实施例中，控制器从控制台或另一个源获得信息，该信息描述由其他控制器确定的左照明源和右照明源的光发射，并且当用户佩戴HMD时在训练过程期间调整所获得的信息。左照明源和右照明源的这种调整分别基于由左图像捕获设备捕获的图像和由右图像捕获设备捕获的另外图像，允许控制器通过对左照明源或右照明源对佩戴HMD的用户定制光发射来防止图像和另外图像的过饱和或欠饱和。
本申请还包括以下内容：
1)一种头戴式显示器(HMD)，包括：
刚性主体，具有前侧、左侧、右侧、顶侧和底侧，并且包括被配置为向佩戴所述头戴式显示器的用户显示内容的显示元件，以及被配置为将来自所述显示元件的光引导到所述头戴式显示器的出射光瞳和另一个出射光瞳的光学块；
左图像捕获设备，耦接到所述头戴式显示器的内表面，靠近刚性主体的所述左侧，并且被配置为捕获由所述刚性主体包围的用户面部的部分的图像，所述用户面部的部分包括用户左眼；
左照明源，位于所述左图像捕获设备附近，并且被配置为发出照亮所述用户面部的部分的光；
右图像捕获设备，耦接到所述头戴式显示器的内表面，靠近刚性主体的所述右侧并且靠近所述刚性主体的所述底侧，并且被配置为捕获由所述刚性主体包围的所述用户面部的另外部分的另外图像，所述用户面部的另外部分包括用户右眼；
右照明源，位于所述右图像捕获设备附近，并且被配置为发出照亮所述用户面部的另外部分的光；以及
控制器，耦接到所述左图像捕获设备和所述右图像捕获设备，所述控制器被配置为：
从所述左图像捕获设备获得包括所述用户左眼的用户面部的部分的图像；
从所述右图像捕获设备获得包括所述用户右眼的用户面部的另外部分的另外图像；以及
通过将模型应用于图像和另外图像，生成指示相对于用户头部的位置的所述用户左眼的定位和所述用户右眼的定位的矢量。
2)根据1)所述的头戴式显示器，其中，所述控制器还被配置为：
基于所述矢量调整由所述头戴式显示器中包括的电子显示器呈现的内容。
3)根据2)所述的头戴式显示器，其中，基于所述矢量调整由所述头戴式显示器中包括的电子显示器呈现的内容包括：
相对于在所述电子显示器的其他位置处呈现的内容的分辨率，增加在所述电子显示器的位置处对应于所述用户左眼的定位的内容片段的分辨率；以及
相对于在所述电子显示器的其他位置处呈现的内容的分辨率，增加在所述电子显示器的位置处对应于所述用户右眼的定位的另外内容片段的分辨率。
4)根据1)所述的头戴式显示器，其中，所述控制器还被配置为：
将所述矢量发送到控制台，所述控制台被配置为基于所述用户左眼的定位和所述用户右眼的定位来生成用于由所述头戴式显示器中包括的电子显示器呈现的内容。
5)根据1)所述的头戴式显示器，其中，所述模型包括经训练的卷积神经网络。
6)根据5)所述的头戴式显示器，其中，基于对包括在当获得了包括其他用户左眼的其他用户面部的图像时识别所述其他用户的头部的位置的校准过程期间获得的其他用户左眼的其他用户面部的部分的图像和包括在当获得了包括所述其他用户右眼的其他用户面部的部分的所述图像时识别所述其他用户的头部的位置的校准过程期间获得的其他用户右眼的其他用户面部的部分的图像的梯度下降过程的应用来训练所述经训练的卷积神经网络。
7)根据6)所述的头戴式显示器，其中，基于对包括所述用户的所述左眼的所述用户面部的所述部分的校准图像和对包括所述用户的所述右眼的所述用户面部的所述另外部分的另外校准图像的梯度下降过程的应用来进一步训练所述训练的卷积神经网络，其中，当捕获所述校准图像时所述校准图像识别所述用户头部的位置，当捕获所述另外校准图像时所述另外校准图像识别所述用户头部的位置。
8)根据1)所述的头戴式显示器，其中，所述控制器还被配置为
基于由所述左图像捕获设备捕获的一个或多个图像调整由所述左照明源发射的光；以及
基于由所述右图像捕获设备的一个或多个图像调整由所述右照明源发射的光。
9)根据8)所述的头戴式显示器，其中，所述左照明源包括多个发光二极管(LED)，并且基于由所述左图像捕获设备捕获的一个或多个图像调整由所述左照明源发射的光包括：
基于由所述左图像捕获设备捕获的一个或多个图像的饱和度调整由组成所述左照明源的至少一组发光二极管发射的光以最小化功能。
10)根据9)所述的头戴式显示器，其中，所述右照明源包括多个发光二极管(LED)，并且基于由所述右图像捕获设备捕获的一个或多个图像调整由所述右照明源发射的光包括：
基于由所述右图像捕获设备捕获的一个或多个图像的饱和度调整由组成所述右照明源的至少一组发光二极管发射的光以最小化功能。
11)根据8)所述的头戴式显示器，其中，基于由所述左图像捕获设备捕获的一个或多个图像来调整由所述左照明源发射的光包括：
响应于接收到由所述用户初始佩戴所述头戴式显示器的指示，基于由所述左图像捕获设备捕获的一个或多个图像调整由所述左照明源的一个或多个部分发射的光。
12)根据11)所述的头戴式显示器，其中，基于由所述右图像捕获设备捕获的一个或多个图像来调整由所述右照明源发射的光包括：
响应于接收到由所述用户初始佩戴所述头戴式显示器的指示，基于由所述右图像捕获设备捕获的一个或多个图像调整由所述右照明源的一个或多个部分发射的光。
13)根据1)所述的头戴式显示器，其中，所述左照明源包括围绕所述左图像捕获设备的透镜的圆周定位的多个发光二极管(LED)。
14)根据13)所述的头戴式显示器，其中，所述右照明源包括围绕所述右图像捕获设备的透镜的圆周定位的另外的多个发光二极管(LED)。
15)一种方法，包括：
经由包括在头戴式显示器(HMD)中的左图像捕获设备捕获由头戴式显示器包围的用户面部的部分的图像，所述用户面部的部分包括用户左眼；
经由包括在所述头戴式显示器中的右图像捕获设备捕获由所述头戴式显示器包围的所述用户面部的另外部分的图像，所述用户面部的另外部分包括用户右眼；
将模型应用于图像和另外图像，基于包括包含左眼的用户面部的部分的先前捕获的图像和包括包含右眼的用户面部的部分的先前捕获的图像训练所述模型；以及
将所述模型应用到所述图像和所述另外图像，生成指示相对于用户头部的位置的所述用户左眼的定位和所述用户右眼的定位的矢量。
16)根据15)所述的方法，其中，经由包括在所述头戴式显示器中的所述左图像捕获设备捕获由所述头戴式显示器包围的所述用户面部的部分的图像包括：
基于由所述左图像捕获设备捕获的一个或多个校准图像，将由左照明源的一个或多个部分发射的光调整到由所述头戴式显示器包围的所述用户面部的部分上；以及
在调整由所述左照明源的一个或多个部分发射的光之后，经由所述左图像捕获设备捕获由所述头戴式显示器包围的所述用户面部的部分的图像。
17)根据16)所述的方法，其中，所述左照明源包括多个发光二极管(LED)，所述多个发光二极管定位在所述左图像捕获设备的透镜的圆周周围，并且基于由所述左图像捕获设备捕获的一个或多个校准图像将由所述左照明源的一个或多个部分发射的光调整到由所述头戴式显示器包围的所述用户面部的部分上包括：
基于所述一个或多个校准图像的饱和度调整由位于所述左图像捕获设备的透镜的圆周周围的发光二极管发射的光以最小化功能。
18)根据16)所述的方法，其中，经由包括在所述头戴式显示器中的所述右图像捕获设备捕获由所述头戴式显示器包围的所述用户面部的另外部分的另外图像包括：
基于由所述右图像捕获设备捕获的一个或多个另外校准图像，将由右照明源的一个或多个部分发射的光调整到由所述头戴式显示器包围的所述用户面部的另外部分上；以及
在调整由所述右照明源的一个或多个部分发射的光之后，经由所述右图像捕获设备捕获由所述头戴式显示器包围的所述用户面部的另外部分的另外图像。
19)根据18)所述的方法，其中，所述右照明源包括多个另外发光二极管(LED)，所述多个另外发光二极管定位在所述右图像捕获设备的透镜的圆周周围，并且基于由所述右图像捕获设备捕获的一个或多个另外校准图像将由所述右照明源的一个或多个部分发射的光调整到由所述头戴式显示器包围的所述用户面部的另外部分上包括：
基于所述一个或多个另外校准图像的饱和度调整由位于所述右图像捕获设备的透镜的圆周周围的另外发光二极管发射的光以最小化功能。
20)根据15)所述的方法，还包括：
相对于在电子显示器的其他位置处呈现的内容的分辨率，基于所述矢量调整由所述头戴式显示器中包括的电子显示器呈现的内容，以在视觉上区分与所述用户左眼的定位相对应的所述电子显示器的位置处的内容以及与所述用户右眼的定位相对应的所述电子显示器的位置处的内容。
附图说明
图1是根据实施例的虚拟现实或增强现实系统环境的框图。
图2是根据实施例的虚拟现实或增强现实系统的面部跟踪系统的框图。
图3是根据实施例的头戴式显示器的线图。
图4是根据实施例的图3中所示的HMD 300的前刚性主体的后视图。
图5是根据实施例的图3中的头戴式显示器的前刚性主体的横截面。
图6是根据实施例的用于根据由头戴式显示器(HMD)105包围的用户面部的图像确定用户左眼和右眼的定位的方法的流程图。
附图仅出于说明的目的描绘本公开的实施例。本领域技术人员将从以下描述中容易地认识到，可以采用本文所示的结构和方法的可选实施例而不脱离本文所述的本公开的原理或益处。
具体实施方式
系统概述
图1是根据实施例的用于提供虚拟现实(VR)内容或增强现实(AR)内容的系统环境100的框图。图1所示的系统环境100包括头戴式显示器(HMD)105、成像设备135和输入/输出(I/O)接口140，它们各自耦接到控制台110。虽然图1示出示例系统环境100包括一个HMD105、一个成像设备135和一个I/O接口140，但是在其他实施例中，系统环境100中包括任意数量的这些组件。例如，一个实施例包括多个HMD 105，每个HMD具有相关联的I/O接口140并由一个或多个成像设备135监控，其中每个HMD 105、I/O接口140和成像设备135与控制台110通信。在可选配置中，不同的和/或另外的组件可以包括在系统环境100中。
HMD 105向用户呈现内容。由HMD 105呈现的内容的示例包括一个或多个图像、视频、音频或其某种组合。在一些实施例中，经由从HMD 105、控制台110或两者接收音频信息的外部设备(例如，扬声器和/或耳机)呈现音频，并基于音频信息呈现音频数据。下面结合图3和图4进一步描述HMD 105的实施例。在一个示例中，HMD 105包括一个或多个刚性主体，刚性主体刚性地或非刚性地彼此耦接。刚性主体之间的刚性耦接导致耦接的刚性主体充当单个刚性实体。相反，刚性主体之间的非刚性耦接允许刚性主体相对于彼此移动。
HMD 105包括电子显示器115、光学块118、一个或多个定位器120、一个或多个位置传感器125、惯性测量单元(IMU)130和面部跟踪系统160。电子显示器115根据从控制台110接收的数据向用户显示图像。在各种实施例中，电子显示器115可包括单个电子显示器或多个电子显示器(例如，针对用户的每只眼睛的显示器)。电子显示器115的示例包括：液晶显示器(LCD)、有机发光二极管(OLED)显示器、有源矩阵有机发光二极管显示器(AMOLED)、一些其他显示器或它们的一些组合。
光学块118放大来自电子显示器115的接收图像光，校正与图像光相关联的光学误差，并将校正后的图像光呈现给HMD 105的用户。在实施例中，光学块118包括一个或更多光学元件和/或不同光学元件的组合。例如，光学元件是光圈、菲涅耳透镜、凸透镜、凹透镜、滤光器或影响从电子显示器115发射的图像光的任何其他合适的光学元件。在一些实施例中，一个或多个光学块118中的光学元件可以具有一个或多个涂层，诸如抗反射涂层。
通过光学块118对图像光的放大和聚焦允许电子显示器115在物理上更小、重量更轻并且比更大的显示器消耗更少的功率。此外，放大可以增加所显示内容的视野。例如，所显示内容的视野使得使用几乎所有(例如，110度对角线)并且在一些情况下全部用户的视野来呈现所显示的内容。在一些实施例中，光学块118被设计成使得其有效焦距大于到电子显示器115的间距，这放大由电子显示器115投射的图像光。此外，在一些实施例中，放大量可以是通过添加或移除光学元件进行调节。
在实施例中，光学块118被设计为校正一种或多种类型的光学误差。光学误差的示例包括：二维光学误差、三维光学误差或其某种组合。二维误差是在二维中发生的光学像差。二维误差的示例类型包括：桶形失真、枕形失真、纵向色差、横向色差或任何其他类型的二维光学误差。三维误差是三维中出现的光学误差。三维误差的示例类型包括球面像差、彗形像差、像场弯曲、像散或任何其他类型的三维光学误差。在一些实施例中，提供给电子显示器115用于显示的内容是预失真的，并且光学块118在从电子显示器115接收基于内容生成的图像光时校正失真。
在一些实施例中，HMD 105可包括各种定位器120。定位器120是位于HMD 105上相对于彼此并且相对于HMD 105上的特定参考点的特定位置的对象。例如，定位器120是发光二极管(LED)、角隅棱镜反射器、反射标记、与HMD 105运行的环境形成对比的一种类型光源，或其某种组合。在定位器120有效的实施例中(即，LED或其他类型的发光设备)，定位器120可以在可见光波段(即～380nm至750nm)、在红外(IR)波段(即～750nm至1mm)、在紫外波段(即10nm至380nm)、在电磁波谱的其他部分、或其某种组合发光。
在一些实施例中，定位器120位于HMD 105的外表面下方，其对于由定位器120发射或反射的光的波长是透明的，或者足够薄以基本上不会衰减由定位器120发射或反射的光的波长。此外，在一些实施例中，HMD 105的外表面或其他部分在可见光波长波段中是不透明的。因此，定位器120可以在外表面下在IR波段中发射光，该外表面在IR波段中是透明的但在可见光波段中是不透明的。
IMU 130是基于从一个或多个位置传感器125接收的测量信号生成快速校准数据的电子设备。位置传感器125响应于HMD 105的运动产生一个或多个测量信号。位置传感器125的示例包括：一个或多个加速度计、一个或多个陀螺仪、一个或多个磁力计、检测运动的另一种合适类型的传感器、用于IMU 130的误差校正的传感器类型、或其某种组合。位置传感器125可以位于IMU 130的外部、IMU 130的内部、或者它们的一些组合。
基于来自一个或多个位置传感器125的一个或多个测量信号，IMU 130生成指示HMD 105相对于HMD 105的初始位置的估计位置的快速校准数据。例如，位置传感器125包括多个加速度计以测量平移运动(前/后、上/下和左/右)和多个陀螺仪以测量旋转运动(例如，俯仰、偏转和滚动)。在一些实施例中，IMU 130快速采样测量信号并根据采样数据计算HMD 105的估计位置。例如，IMU 130对从加速度计接收的测量信号随时间积分以估计速度矢量并且对速度矢量随时间积分以确定HMD 105上的参考点的估计位置。可选地，IMU 130提供采样的测量信号到控制台110，其确定快速校准数据。参考点是描述HMD 105的位置的点。虽然参考点通常可以被定义为空间中的点，但是实际上，参考点被定义为HMD 105内的点(例如，IMU 130的中心点)。
IMU 130从控制台110接收一个或多个校准参数。如下面进一步讨论的，一个或多个校准参数用于维持HMD 105的跟踪。基于接收的校准参数，IMU 130可以调节一个或多个IMU参数(例如，采样率)。在一些实施例中，某些校准参数使IMU 130更新参考点的初始位置，使其对应于参考点的下一个校准位置。将参考点的初始位置更新为参考点的下一个校准位置有助于减少与确定的估计位置相关联的累积误差。累积误差(也称为漂移误差)使得参考点的估计位置随时间“漂移”远离参考点的实际位置。
面部跟踪系统160生成佩戴HMD 105的用户面部的部分的重建，如下面结合图2至图5进一步描述的。在实施例中，面部跟踪系统160包括图像捕获设备、另外图像捕获设备和控制器，如下面结合图2进一步描述的。在各种实现中，面部跟踪系统160包括任何合适数量的图像捕获设备或另外图像捕获设备。在一些实施例中，面部跟踪系统160还包括一个或多个照明源，该照明源被配置为在一个或多个图像捕获设备或另外图像捕获设备的视野内照亮用户面部的部分。基于从图像捕获设备和另外图像捕获设备接收的图像，控制器生成训练模型，该训练模型将由图像捕获设备和另外图像捕获设备捕获的图像内识别的点的位置映射到一组动画参数，该动画参数将所识别的点的位置映射到经由HMD 105的虚拟现实环境呈现的面部的三维模型。此外，基于由HMD 105包围的包括用户左眼和用户右眼的用户面部的部分的图像，面部跟踪系统160确定相对于用户头部的方向的用户左眼的定位和用户右眼的定位。
身体跟踪系统170生成佩戴HMD 105的用户身体的部分的重建。在实施例中，身体跟踪系统170包括被配置为捕获HMD 105外部的用户身体的部分的图像的成像设备。例如，每个成像设备是具有足以捕获HMD 105外部的用户身体的一个或多个部分的视野的相机。作为示例，身体跟踪系统170包括沿着HMD 105的底表面定位的多个视频相机，每个视频相机被配置为捕获包括用户身体的一个或多个部分(例如，手臂、腿、手等)的图像。在一些实施例中，身体跟踪系统170还包括一个或多个照明源，该照明源被配置为在一个或多个成像设备的视野内照亮用户身体的部分。成像设备耦接到面部跟踪系统的控制器，其生成训练模型，该模型基于从成像设备接收的图像将由成像设备捕获的图像内识别的点的位置映射到一组身体动画参数。身体动画参数将从图像识别的用户身体的点的位置映射到经由HMD105的虚拟现实环境呈现的身体的三维模型。
成像设备135根据从控制台110接收的校准参数产生慢速校准数据。慢速校准数据包括一个或多个图像，该一个或多个图像示出了可由成像设备135检测的定位器120的观察位置。在一些实施例中，成像设备135包括一个或多个相机、一个或多个视频相机、能够捕获包括一个或多个定位器120的图像的任何其他设备，或其某种组合。此外，成像设备135可包括一个或多个滤波器(例如，用于增加信噪比)。成像设备135被配置为在成像设备135的视野中检测从定位器120发射或反射的光。在定位器120包括无源元件(例如，后向反射器)的实施例中，成像设备135可包括照亮一些或所有定位器120的光源，其将光反向朝向成像设备135中的光源反射。慢速校准数据从成像设备135传送到控制台110，并且成像设备135接收一个或多个来自控制台110的校准参数以调节一个或多个成像参数(例如，焦距、焦点、帧速率、ISO、传感器温度、快门速度、光圈等)。
输入/输出(I/O)接口140是允许用户向控制台110发送动作请求并从控制台110接收响应的设备。动作请求是执行特定动作的请求。例如，动作请求可以是开始或结束应用程序或在应用程序内执行特定动作。I/O接口140可以包括一个或多个输入设备。示例输入设备包括：键盘、鼠标、游戏控制器或用于接收动作请求并将所接收的动作请求传送到控制台110的任何其他合适的设备。由I/O接口140接收的动作请求被传送到控制台110，控制台110执行与动作请求相对应的动作。在一些实施例中，I/O接口140可以根据从控制台110接收的指令向用户提供触觉反馈。例如，当接收到动作请求时或者当控制台110将指令传送到I/O接口140时，提供触觉反馈，使得I/O接口140在控制台110执行动作时生成触觉反馈。
控制台110根据从成像设备135、HMD 105和I/O接口140中的一个或多个接收的信息向HMD 105提供内容以呈现给用户。在图1所示的示例中，控制台110包括应用商店145、跟踪模块150和虚拟现实(VR)引擎155。控制台110的一些实施例具有与结合图1描述的模块不同的模块。类似地，下面进一步描述的功能可以以与这里描述的方式不同的方式分布在控制台110的组件之间。
应用程序商店145存储一个或多个应用程序以供控制台110执行。应用程序是一组指令，当由处理器执行时，生成用于呈现给用户的内容。由应用程序生成的内容可以响应于经由HMD 105或I/O接口140的移动从用户接收的输入。应用程序的示例包括：游戏应用程序、会议应用程序、视频回放应用程序或其他合适的应用程序。
跟踪模块150使用一个或多个校准参数来校准系统环境100，并且可以调节一个或多个校准参数以减少确定HMD 105的位置时的误差。例如，跟踪模块150调节成像设备135的焦点以获得HMD 105上的观察到的定位器120的更准确位置。此外，由跟踪模块150执行的校准还考虑从IMU 130接收的信息。此外，如果丢失了对HMD 105的跟踪(例如，成像设备135丢失了至少阈值数量的定位器120的视线)，则跟踪模块140重新校准一些或整个系统环境100。
跟踪模块150使用来自成像设备135的慢速校准信息来跟踪HMD 105的移动。跟踪模块150使用来自慢速校准信息的HMD 105上的观察到的定位器120和HMD 105的模型来确定HMD 105的参考点的位置。跟踪模块150还使用来自快速校准信息的位置信息确定HMD105的参考点的位置。此外，在一些实施例中，跟踪模块150使用快速校准信息、慢速校准信息或其某种组合的部分来预测HMD 105的未来位置。跟踪模块150将HMD 105的估计或预测的未来位置提供给引擎155。
引擎155在系统环境100内执行应用程序，并从跟踪模块150接收HMD 105的位置信息、加速度信息、速度信息、预测的未来位置或其某种组合。基于所接收的信息，引擎155确定要提供给HMD 105的内容以呈现给用户。例如，如果所接收的信息指示用户已经向左看，则引擎155为HMD 105生成镜像用户在虚拟环境中的移动的内容。此外，VR引擎155响应于从I/O接口140接收的动作请求，在控制台110上执行的应用程序内执行动作，并向用户提供执行动作的反馈。例如，所提供的反馈包括经由HMD 105的视觉或听觉反馈或经由I/O接口140的触觉反馈。
面部跟踪系统
图2是用于VR或AR的系统环境100的面部跟踪系统160的一个实施例的框图。在图2所示的示例中，面部跟踪系统160包括一个或多个图像捕获设备210、一个或多个另外图像捕获设备215和控制器220。在其他实施例中，面部跟踪系统160中可以包括不同的和/或另外的组件。
图像捕获设备210捕获HMD 105的用户面部的部分的图像，而另外图像捕获设备215捕获HMD 105的用户面部的其他部分的另外图像。在各种实施例中，图像捕获设备210被定位成使得每个图像捕获设备210具有不同的视野和不同的深度，因此不同的图像捕获设备210捕获用户面部的不同部分的图像。不同的图像捕获设备210具有相对于彼此的已知位置，并且被定位成具有包括用户面部的不同部分的互补视野。类似地，另外图像捕获设备215被定位成使得每个另外图像捕获设备215具有不同的视野和不同的深度，因此不同的另外图像捕获设备215捕获用户面部的不同部分的不同图像。此外，不同的另外图像捕获设备215具有相对于彼此的已知位置，并且被定位成具有包括用户面部的不同部分的视野。图像捕获设备210和另外图像捕获设备215相对于彼此定位以捕获用户面部的不同部分。例如，图像捕获设备210被定位成捕获用户面部在HMD 105外部的部分，诸如在HMD 105的底表面之下的用户的面部的较低的部分，而另外图像捕获设备210被定位成捕获由HMD 105包围的用户面部的另外部分。图4示出图像捕获设备210和另外图像捕获设备215的示例定位。
图像捕获设备210和另外图像捕获设备215可以基于具有由用户面部的部分反射的不同波长的光来捕获图像。例如，图像捕获设备210和另外图像捕获设备215捕获由用户面部的部分反射的红外光。在另一示例中，图像捕获设备210和另外图像捕获设备215捕获由用户面部的部分反射的可见光。图像捕获设备210和另外图像捕获设备215具有各种参数，诸如焦距、焦点、帧速率、ISO、传感器温度、快门速度、光圈、分辨率等。在一些实施例中，图像捕获设备210和另外图像捕获设备215具有高帧速率和高分辨率。在各种实施例中，图像捕获设备210和另外图像捕获设备215可以捕获二维图像或三维图像。
在一些实施例中，一个或多个照明源耦接到HMD 105的一个或多个表面，并且被定位成照亮用户面部的一些部分。照明源可以沿着HMD 105定位在离散位置处。在一些实施例中，一个或多个照明源耦接到HMD 105的一个或多个外表面。此外，一个或多个照明源可以定位在HMD 105的刚性主体内，以照亮由HMD 105的刚性主体包围的用户面部的部分。示例照明源包括发射在可见光带(即，～380nm至750nm)中、在红外(IR)波段(即，～750nm至1mm)中、在紫外波段(即，10nm至380nm)中、在电磁波谱的一些其他部分中、或在它们的某种组合中的光的发光二极管(LED)。在一些实施例中，不同的照明源具有不同的特性。作为示例，不同的照明源发射具有不同波长的光或不同的时间相干性，描述不同时间点的光波之间的相关性。此外，由不同照明源发射的光可以以不同的频率或幅度(即，变化的强度)被调制或者在时域或频域中被复用。
控制器220耦接到图像捕获设备210和另外图像捕获设备215，并将指令传送到图像捕获设备210和另外图像捕获设备215。从控制器220到图像捕获设备210或另外图像捕获设备215的指令使得图像捕获设备210或另外图像捕获设备215捕获在图像捕获设备210或另外图像捕获设备215的视野内的用户面部的部分的一个或多个图像。在实施例中，控制器220将描述用户面部的部分的特征(例如，用户面部的部分的图像)的特征的捕获数据存储在可由控制器220访问的存储设备中。控制器220包括训练模型，该训练模型将由各种图像捕获设备210或另外图像捕获设备215捕获的图像内识别的点的位置映射到一组动画参数，该组动画参数将由图像捕获设备210或另外图像捕获设备215捕获的图像中包括的用户面部的点映射到在虚拟现实环境或增强现实环境中呈现的面部的三维(3D)模型，以呈现用户的面部的图形表示，其复制由图像捕获设备210或另外图像捕获设备215捕获的用户的面部表情或面部运动。此外，控制器220包括另一个训练模型，当应用于包括用户面部的部分(包括用户左眼)的图像和包括用户面部的部分(包括用户右眼)的其他图像时，确定用户左眼和用户右眼相对于用户头部的位置的定位，如下面结合图6进一步描述的。
在一些实施例中，控制器220将该组动画参数传送到控制台110，其可以存储与识别用户信息相关联的面部动画模型。控制台110可以将该组动画参数和与用户相关联的信息传送到一个或多个其他控制台110，允许耦接到其他控制台110的HMD 105呈现用户的面部的图形表示，该图形表示反映由图像捕获设备210和另外图像捕获设备215捕获的用户的面部表情或面部运动。在一些实施例中，控制台110可以将该组动画参数传送到服务器，该服务器存储与识别不同用户的信息相关联的动画参数。此外，控制台110可以基于从控制器220接收的一组动画参数和其他信息来调整提供给HMD 105的内容以用于呈现，诸如从一个或多个图像捕获设备210或另外图像捕获设备215捕获并提供给控制器220的图像中识别的点的位置。例如，控制台110基于一组动画参数和在用户面部的部分的捕获图像内识别的点的位置生成用户面部的图形表示，其在三维模型上呈现用户面部的部分的移动；这允许用户的面部的图形表示来复制由一个或多个图像捕获设备210或由一个或多个另外图像捕获设备210捕获的用户面部的部分的表达和移动。
头戴式显示器
图3是HMD 300的实施例的线图。图3中所示的HMD 300是HMD 105的实施例，其包括前刚性主体305和带310。前刚性主体305包括电子显示器115(图3中未示出)、IMU 130、一个或多个位置传感器125、和定位器120。在图3所示的实施例中，位置传感器125位于IMU 130内，并且IMU 130和位置传感器125对用户都不可见。
定位器120相对于彼此并且相对于参考点315位于前刚性主体305上的定位位置。在图3的示例中，参考点315位于IMU 130的中心。每个定位器120发射可由成像设备135检测的光。在图3所示的示例中，定位器120或定位器120的部分位于前刚性体305的前侧320A、顶侧320B、底侧320C、右侧320D和左侧320E上。
在图3的示例中，HMD 300包括耦接到HMD 300的前侧320A的图像捕获设备210。例如，图像捕获设备210耦接到HMD 300的底侧320C，靠近HMD 300的右侧320D，而另一图像捕获设备210耦接到HMD 300的底侧320C，靠近HMD 300的左侧320E。图像捕获设备210捕获HMD300的底侧320C下方的用户面部的部分的图像。在图3的示例中，图像捕获设备210捕获靠近HMD 300的右侧320D的用户面部的部分的图像，而另一图像捕获设备210捕获靠近HMD 300的左侧320E的用户面部的部分的图像。虽然图3示出了具有两个图像捕获设备210的实施例，但是在各种实施例中可以包括任何数量的图像捕获设备210。图像捕获设备210具有相对于彼此的特定位置。此外，在各种实施例中，不同的图像捕获设备210具有非重叠的视野。
类似地，包括多个成像设备的身体跟踪系统170耦接到图3中的HMD 300的底侧320C。身体跟踪系统170的每个成像设备被配置为捕获在HMD 300下方和HMD 300外部的用户身体的部分的图像。在各种实施例中，身体跟踪系统170的不同成像设备具有非重叠的视野。
图4是图3中所示的HMD 300的前刚性主体305的后视图。在图4所示的实施例中，前刚性主体305包括眼罩组件435，其包括出射光瞳420和另外的出射光瞳425。出射光瞳420是当用户佩戴HMD 300时用户的眼睛定位的位置，而另外的出射光瞳是当用户佩戴HMD 300时用户的另一只眼睛定位的位置。
在图4的示例中，左图像捕获设备405耦接到HMD 300的前刚性主体305的左侧320E的内表面并且靠近HMD 300的前刚性主体305的底侧320C。左图像捕获设备405捕获用户面部的部分的图像。在图4的示例中，左图像捕获设备405捕获用户面部的部分的图像，该部分靠近HMD 300的前刚性主体305的左侧320E并且包括定位在HMD 300的出射光瞳420处的用户的眼睛。此外，右图像捕获设备410耦接到HMD 300的前刚性主体的右侧320D的内表面并且靠近HMD300的前刚性主体305的底侧320C。右图像捕获设备410捕获用户面部的部分的图像。在图4的示例中，右图像捕获设备410捕获用户面部的部分的图像，该图像靠近HMD 300的前刚性主体305的右侧320D并且包括定位在HMD 300的另外的出射光瞳425处的用户的眼睛。
在各种实施例中，左照明源位于左图像捕获设备405附近，并且右照明源位于右图像捕获设备410附近。左照明源发出照亮由左图像捕获设备405捕获的用户面部的部分的光，而右照明源发出照亮由右图像捕获设备410捕获的用户面部的另外部分的光。例如，左照明源和右照明源均包括一个或多个发光二极管(LED)，尽管任何合适的发光设备都可以用作左照明光源或右照明光源。在各种实施例中，左照明源可以是围绕左图像捕获设备405的透镜的圆周布置的一个或多个LED的环，或者右照明源可以是围绕右照明源410的透镜的圆周布置的一个或多个LED的环。在各种实施例中，左照明源和右照明源各自发射红外光以分别照射用户面部的部分和用户面部的另外部分。然而，在其他实施例中，左照明源和右照明源发射任何合适的一个或多个波长的光以照亮用户面部的部分和另外部分。
此外，左照明源与左图像捕获设备405同步，因此当左图像捕获设备405正在捕获图像时左照明源照亮用户面部的部分，但是在一些实施例中，当左图像捕获设备405未正在捕获图像时不照亮用户面部的部分。类似地，右照明源与右图像捕获设备410同步，因此当右图像捕获设备410正在捕获图像时右照明源照亮用户面部的另外部分，但是在一些实施例中，当右图像捕获设备410未正在捕获图像时不照亮用户面部的另外部分。例如，当左图像捕获设备405捕获图像时左图像捕获设备405将控制信号传送到左照明源，使得左照明源在左图像捕获设备405捕获图像的同时发光；类似地，当右图像捕获设备410捕获图像时右图像捕获设备410将控制信号传送到右照明源，使得右照明源在右图像捕获设备410捕获图像的同时发光。可选地，当左图像捕获设备405或右图像捕获设备410捕获图像并且当左图像捕获设备405或右图像捕获设备410不捕获图像时，左照明源、右照明源或左照明源和右照明源照亮用户面部的部分或用户面部的另外部分。
图4中所示的HMD 300的前刚性主体305还包括中央图像捕获设备415，其位于出射光瞳420和另外出射光瞳425之间的前刚性主体305内。中央图像捕获设备415被配置为捕获由前刚性主体305包围的用户面部的中心部分的图像。在各种实施例中，用户面部的中心部分包括用户面部的部分的一段以及用户面部的另外部分的一段。在一些实施例中，中央图像捕获设备415耦接到眼罩组件435或嵌入眼罩组件435中。可选地，中央图像捕获设备415耦接到前刚性主体305的前侧320A的内表面。左图像捕获设备405、右图像捕获设备410和中央图像捕获设备415是面部跟踪系统160的另外图像捕获设备215的示例。
在各种实施例中，中央照明源位于中央图像捕获设备415附近。例如，中央照明源包括围绕中央图像捕获设备415的透镜的圆周定位的一个或多个发光二极管，但是在各种实施例中，中央照明源可以具有任何合适的位置。如上所述，当中央图像捕获设备415正在捕获图像时中央图像捕获设备415向中央照明源提供控制信号，使得中央照明源在中央图像捕获设备415正在捕获图像的同时发光，并且当中央图像捕获设备415停止捕获图像时向中央照明源提供可选控制信号，使得当中央图像捕获设备415未正在捕获图像时中央照明源停止发光。可选地，中央照明源被配置为当中央图像捕获设备415正在捕获图像时以及当中央图像捕获设备415未正在捕获图像时发光。
在图4的示例中，外部图像捕获设备430耦接到HMD 300的前刚性主体305的底侧320C。外部图像捕获设备430被配置为捕获在前刚性主体305外部的用户面部的部分的图像。例如，外部图像捕获设备430被配置为捕获前刚性主体305的底侧320C外部的用户面部的部分的图像(例如，用户的嘴)。在各种实施例中，外部照明源位于外部图像捕获设备430附近。例如，外部照明源包括围绕外部图像捕获设备430的透镜的圆周定位的一个或多个发光二极管，但是在各种实施例中，外部照明源可以具有任何合适的位置。如上所述，当外部图像捕获设备430正在捕获图像时外部图像捕获设备430向外部照明源提供控制信号，使得外部照明源在外部图像捕获设备430正在捕获图像的同时发光，并且当外部图像捕获设备430停止捕获图像时向外部照明源提供可选控制信号，使得当外部图像捕获设备430未正在捕获图像时外部照明源停止发光。可选地，外部照明源被配置为当外部图像捕获设备430正在捕获图像时以及当外部图像捕获设备430未正在捕获图像时发光。外部图像捕获设备430是面部跟踪系统160的图像捕获设备210的示例。
此外，控制器220或控制台110向左照明源、右照明源、中央照明源和外部照明源提供指令。基于指令，左照明源、右照明源，中央照明源和外部照明源调整发射光。
在各种实施例中，左成像设备405、右成像设备410、中央成像设备415和外部成像设备430均具有共同的视野。例如，左成像设备405、右成像设备410、中央成像设备415和外部成像设备430均具有至少105度的视野。在其他实施例中，左成像设备405、右成像设备410、中央成像设备415和外部成像设备430具有一个或多个不同的视野。例如，左成像设备405和右成像设备410具有比中央成像设备415更窄的视野。作为另一示例，外部成像设备430具有比左图像捕获设备405、右图像捕获设备和中央图像捕获设备415更宽的视野。
图5是图3中所示的HMD 300的前刚性主体305的实施例的横截面图。在图5所示的实施例中，前刚性主体305包括眼罩组件500、图像捕获设备210、另外图像捕获设备215、控制器220、身体跟踪系统170、光学块118和电子显示器115。在图5所示的示例中图像捕获设备210耦接到前刚性主体305的底侧并且被定位成捕获用户面部的部分415的图像。出于说明的目的，图5示出单个图像捕获设备210；然而，在各种实施例中，任何合适数量的图像捕获设备210可以耦接到前刚性主体305并且被定位成捕获用户面部的部分515的图像，如图4的示例中所示。例如，图像捕获设备210靠近前刚性主体305的右侧，而另一图像捕获设备210靠近前刚性主体305的左侧，如图4的示例中所示。尽管图5示出图像捕获设备210耦接到前刚性主体305的外表面，但是在一些实施例中，图像捕获设备210耦接到前刚性主体305的内表面，其对于由图像捕获设备210捕获的光的波长是透明的或者基本上不衰减。
此外，在图5的示例中，HMD 300包括在前刚性主体305内的另外图像捕获设备215，并且被定位成捕获由前刚性主体305包围的用户面部的部分的图像。出于说明的目的，图5示出单个另外图像捕获设备215；然而，在各种实施例中，任何合适数量的另外图像捕获设备215可以耦接到或包括在前刚性主体305的内表面中，并且被定位成捕获由前刚性主体305包围的用户面部的一个或多个部分的图像。例如，另外图像捕获设备215靠近前刚性主体305内部的右侧，而另一另外图像捕获设备215靠近前刚性主体305内部的左侧。虽然图5示出耦接到前刚性主体305的内表面的另外图像捕获设备215，但是在一些实施例中，另外图像捕获设备215包括在前刚性主体305中，其对于由另外图像捕获设备215捕获的光的波长是透明的或者基本上不衰减。以上结合图4进一步描述一个或多个另外图像捕获设备的示例定位。
身体跟踪系统170包括多个成像设备，该成像设备被配置为捕获用户身体的部分的图像。在图5所示的示例中，身体跟踪系统170位于HMD 300的底侧，并且包括身体跟踪系统170的成像设备被定位成捕获HMD 300下方的用户身体的部分的图像。虽然图5示出耦接到HMD 300的前刚性主体305的外表面的身体跟踪系统170，但是在一些实施例中，身体跟踪系统170包括在前刚性主体305中，其对于由身体跟踪系统170的成像设备捕获的光的波长是透明的或者基本上不衰减。身体跟踪系统170耦接到控制器220，控制器220生成包括在由身体跟踪系统170捕获的图像中的用户身体的部分的图形表示。
前刚性主体305包括放大来自电子显示器115的图像光的光学块118，并且在一些实施例中，还校正来自电子显示器115的图像光中的一个或多个另外光学误差(例如，失真、像散等)。光学块118通过将改变的图像光引导到前刚性主体305的出射光瞳，将来自电子显示器115的图像光引导到用户眼睛510的瞳孔505，前刚性主体305的出射光瞳是当用户佩戴HMD 300时用户的眼睛510所处的位置。出于说明的目的，图5示出与单个眼睛510相关联的前刚性主体305的右侧(从用户的角度看)的横截面，但是，与光学块118分开的另一个光学块将改变的图像光提供给用户的另一只眼睛(即，左眼)。
控制器220通信地耦接到电子显示器115，允许控制器220向电子显示器115提供内容以呈现给用户(例如，基于由图像捕获设备210或另外图像捕获设备215捕获的数据的用户面部的一个或多个部分515的图形表示、包括在由身体跟踪系统170捕获的图像中的用户身体的一个或多个部分的图形表示)。另外地或可选地，控制器220通信地耦接到控制台110并且传送一组动画参数以用于生成用户面部或身体的一个或多个部分515的图形表示到控制台110，其包括提供给电子显示器115的内容中的用户面部或身体的部分415的一个或多个图形表示，或者基于从控制器220接收的一组动画参数生成用于由电子显示器115呈现的内容。此外，控制器220通信地耦接到图像捕获设备210和另外图像捕获设备215，允许控制器220向图像捕获设备210和另外图像捕获设备215提供指令，分别用于捕获用户面部的部分415的图像或用于捕获用户面部的另外部分的图像。类似地，控制器220通信地耦接到身体跟踪系统170，允许控制器220向身体跟踪系统170提供指令，用于捕获用户身体的部分的图像。
从由HMD包围的用户面部的图像确定用户眼睛的定位
图6是用于从由头戴式显示器(HMD)105包围的用户面部的图像确定用户左眼和右眼的定位的方法的一个实施例的流程图。在各种实施例中，结合图6描述的方法可以由面部跟踪系统160、控制台110或其他系统执行。在其他实施例中，其他实体执行方法的一些或所有步骤。过程的实施例可以包括与结合图6描述的步骤不同的或另外的步骤。此外，在一些实施例中，方法的步骤可以以与结合图6描述的顺序不同的顺序执行。
如上面结合图4所描述的，HMD 105包括位于HMD 105内(例如，在HMD 105的前刚性主体内)并且靠近HMD 105的左侧的左图像捕获设备405。左图像捕获设备405捕获605由HMD105包围的用户面部的部分的图像，其包括用户左眼，以及用户面部的部分的其他特征。类似地，HMD 105包括位于HMD 105内(例如，在HMD 105的前刚性主体内)并且靠近HMD 105的右侧的右图像捕获设备410。右图像捕获设备410捕获610由HMD 105包围的用户面部的另外部分的另外图像，其包括用户的右眼，以及用户面部的另外部分的其他特征。
上面结合图2进一步描述，左图像捕获设备405和右图像捕获设备410均耦接到控制器。控制器220从左图像捕获设备405接收包括用户左眼的图像，并且从右图像捕获设备410接收包括用户右眼的另外图像。在各种实施例中，控制器220结合图像和另外图像接收时间戳或其他信息，其识别何时捕获405图像以及何时捕获410另外图像的时间。从包括用户左眼的图像和包括用户右眼的另外图像，控制器220确定用户左眼相对于用户头部的位置的定位以及用户右眼相对于用户头部的位置的定位。因此，控制器220确定用户左眼的视线和用户右眼的视线的指向。
为了确定用户左眼的定位和用户右眼的定位，控制器220将训练模型应用615到图像和另外图像。将模型应用于图像和另外图像生成620矢量，该矢量指示相对于用户头部的位置的用户左眼的定位和用户右眼的定位。在各种实施例中，控制器220将模型应用615到与共同时间戳相关联的图像和另外图像。基于先前捕获的一个或多个其他用户面部的部分(包括其他用户的左眼)和先前捕获的一个或多个其他用户面部的另外部分(包括其他用户的右眼)的图像来训练模型。在各种实施例中，训练模型是经训练的卷积神经网络，其生成620矢量，该矢量识别相对于用户头部的位置的用户左眼的定位和用户右眼的定位。与传统的视线跟踪系统不同，图像包括用户左眼和用户面部的部分的其他特征，并且另外图像包括用户右眼和用户面部的另外部分的其他特征。这允许控制器220从图像确定用户右眼的定位和用户左眼的定位，其中与传统的视线跟踪系统相比，更少的像素用于表示用户左眼和用户右眼。
在各种实施例中，用于训练训练模型的信息由控制器220从控制台130或在校准过程期间从其他用户佩戴的其他HMD 105获得信息的另一设备获得。例如，当HMD 105被不同用户佩戴时执行校准过程。在校准过程期间，HMD 105向佩戴HMD 105的用户呈现校准图像。校准图像呈现在HMD 105的电子显示器115上的定位点处。例如，所呈现的校准图像包括在HMD 105的电子显示器115的特定位置处的特定像素组的照明。当由HMD 105的电子显示器115呈现校准图像时，HMD 105呈现指示用户将用户左眼的视线定位到并将用户右眼的视线定位到校准图像的指令。当用户左眼的视线和用户右眼的视线指向校准图像时，HMD 105的电子显示器115提示用户在特定时间将用户头部重新定位到特定位置。在向用户呈现提示以将用户头部重新定位到特定位置后，同时保持将用户左眼的视线定位并且将用户右眼定位在校准图像上的时间间隔期间，HMD 105的左图像捕获设备405和右图像捕获设备410捕获用户面部的图像和另外图像。控制器220接收在用户头部具有特定位置时捕获的图像和另外图像，并将识别用户头部的特定位置的信息与当用户头部具有特定位置时捕获的图像和另外图像相关联。基于当用户头部具有不同的特定位置时捕获的图像和另外图像，控制器220、控制台130或另一设备应用应用于与用户头部的不同特定位置相关联的图像和另外图像的梯度下降，以训练训练模型以生成表示用户视线相对于用户头部位置的定位的矢量。在各种实施例中，训练模型是从佩戴不同HMD 105的多个用户的图像和另外图像确定的，并且当用户佩戴HMD 105时通过执行校准过程针对佩戴HMD 105的用户进行细化。训练模型可以考虑另外信息，诸如由控制器220使用任何合适的方法确定的用户左眼与用户右眼的瞳孔中心之间的瞳孔间距离。作为另一示例，训练模型考虑由左照明源和由右照明源发射的光，上面结合图4进一步描述，并且分别由用户左眼和用户右眼反射。此外，在一些实施例中，控制器220基于分别在左图像捕获设备405和右图像捕获设备410捕获的图像和另外图像来随时间调整训练模型。
在一些实施例中，控制器220基于所生成的矢量来调整由HMD 105的电子显示器115呈现的内容。例如，控制器220相对于在电子显示器115的其他位置处呈现的内容的分辨率，增加对应于用户左眼的定位的HMD 105的电子显示器115的位置处的内容片段的分辨率，并且相对于在电子显示器115的其他位置处呈现的内容的分辨率，增加对应于用户右眼的定位的HMD 105的电子显示器115的另外位置处的内容片段的分辨率。可选地，控制器220将生成的矢量发送到控制台130或生成用于经由HMD 105的电子显示器115呈现给用户的内容的另一设备。随后，控制台130或其他设备生成用于呈现的内容，其描述用户左眼的定位和用户右眼的定位。
在各种实施例中，左照明源位于左图像捕获设备附近，且右照明源位于右图像捕获设备附近。例如，左照明源包括围绕左图像捕获设备的透镜的圆周定位的一个或多个发光二极管(LED)，而右照明源包括围绕右图像捕获设备的透镜的圆周定位的一个或多个LED。左照明源和右照明源发光，该光在左图像捕获设备405的视野内照亮用户面部的部分，并在右图像捕获设备410的视野内照亮用户面部的另外部分。在各种实施例中，左照明源和右照明源都发射具有红外波长的光；然而，在各种实施例中，左照明源和右照明源可以发射具有任何合适的一种或多种波长的光。由左照明源和右照明源发射的光分别允许左图像捕获设备405和右图像捕获设备410捕获用户面部的部分和用户面部的另外部分的进一步细节。
左照明源和右照明源耦接到控制器220，控制器220向左照明源或右照明源提供调整由左照明源的一个或多个部分发射或由右照明源的一个或多个部分发射的光的指令。在各种实施例中，控制器220基于从左图像捕获设备405接收的一个或多个图像来调整左照明源的光发射，并基于从右图像捕获设备405接收的一个或多个图像调整右照明源的光发射。在各种实施例中，控制器220从左图像捕获设备405接收一个或多个校准图像，并且调整由左照明源的一个或多个部分发射的光，以基于一个或多个校准图像的饱和度或曝光来最小化功能。类似地，控制器220从右图像捕获设备410接收一个或多个另外校准图像，并且调整由右照明源的一个或多个部分发射的光，以基于一个或多个另外校准图像的饱和度或曝光来最小化功能。控制器220调整由左图像捕获设备405的不同部分发射以及由右图像捕获设备410的不同部分发射的光，因此，入射在用户面部的部分和用户面部的另外部分上的光分别优化由左图像捕获设备405捕获和由右图像捕获设备410捕获的图像和另外图像。例如，控制器220不同地调整由包括左图像捕获设备405的不同LED发射的光，以基于一个或多个校准图像的饱和度或曝光来最小化功能。类似地，控制器220不同地调整由包括右图像捕获设备410的不同LED发射的光，以基于一个或多个另外校准图像的饱和度或曝光来最小化功能。因此，由左图像捕获设备405和右图像捕获设备410发射的光的调整允许控制器调整入射在用户面部的部分的不同区域上以及在用户面部的另外部分的不同区域上的光。
控制器220可以在特定时间间隔期间接收校准图像和另外校准图像，或者可以选择从左图像捕获设备405和右图像捕获设备410接收的任何合适图像分别作为校准图像或者另外校准图像。控制器220接收用户初始佩戴HMD 105的指示，并基于在接收到指示之后的阈值时间内从左图像捕获设备405和右照明源410接收的图像，调整左照明源或右照明源发出的光。例如，从HMD 105中的位置传感器125向控制器220提供指示具有相对于参考取向的取向的特定变化。作为另一示例，响应于电子显示器接收电力，将指示从电子显示器115提供给控制器220。
在一些实施例中，控制器220从控制台130或另一个源获得信息，该信息描述由包括在其他HMD 105中的左照明源405和右照明源410发出的光。例如，控制器220从控制台130获得信息，该信息描述由其他HMD 105执行的训练过程确定的其他HMD 105中包括的左照明源405和右照明源410的光发射。如上面进一步描述的，控制器220随后基于由左图像捕获设备405和右图像捕获设备405捕获的校准图像和另外校准图像来调整所获得的信息。左照明源和右照明源的这种调整分别基于由左图像捕获设备405捕获的图像和由右图像捕获设备410捕获的另外图像，允许控制器220通过对左照明源的部分或右照明源的部分对佩戴HMD的用户105定制光发射来防止图像和另外图像的过饱和或欠饱和，这提高了控制器220确定用户左眼和用户右眼的定位的准确度。
结论
已经出于说明的目的呈现了实施例的前述描述；它并非旨在详尽无遗或将专利权限制在所公开的精确形式上。相关领域的技术人员可以理解，鉴于以上公开内容，许多修改和变化是可能的。
本文公开的实施例可以包括人工现实系统或者与人工现实系统结合实施。人工现实是在呈现给用户之前已经以某种方式调整的现实形式，其可以包括例如虚拟现实(VR)、增强现实(AR)、混合现实(MR)、混合式现实、或其某些组合和/或衍生物。人工现实内容可以包括与捕获的(例如，真实世界)内容组合的完全生成的内容或生成的内容。人工现实内容可以包括视频、音频、触觉反馈或其某种组合，并且其中的任何一个可以在单个频道或多个频道中呈现(诸如向观看者产生三维效果的立体视频)。此外，在一些实施例中，人工现实还可以与应用、产品、附件、服务或其某种组合相关联，其例如用于在人工现实中创建内容和/或以其他方式在人工现实中使用(例如，执行活动)。提供人工现实内容的人工现实系统可以在各种平台上实现，包括连接到主计算机系统的头戴式显示器(HMD)、独立HMD、移动设备或计算系统、或能够向一个或多个观看者提供人工现实内容的任何其他硬件平台。
本说明书的一些部分根据对信息的操作的算法和符号表示来描述实施例。数据处理领域的技术人员通常使用这些算法描述和表示来有效地将其工作的实质传达给本领域其他技术人员。这些操作虽然在功能上、计算上或逻辑上描述，但应理解为由计算机程序或等效电路、微代码等实现。此外，在不失一般性的情况下，将这些操作安排称为模块，有时也证明是方便的。所描述的操作及其相关模块可以体现为软件、固件、硬件或其任何组合。
本文描述的任何步骤、操作或过程可以单独地或与其他设备组合地用一个或多个硬件或软件模块来执行或实现。在一个实施例中，软件模块用计算机程序产品实现，该计算机程序产品包括含有计算机程序代码的计算机可读介质，该计算机程序代码可以由计算机处理器执行以执行所描述的任何或所有步骤、操作或过程。
实施例还可以涉及用于执行本文操作的装置。该装置可以为所需目的而专门构造，和/或它可以包括由存储在计算机中的计算机程序选择性地激活或重新配置的通用计算设备。这样的计算机程序可以存储在非暂时性有形计算机可读存储介质中，或者适合于存储电子指令的任何类型的介质中，其可以耦接到计算机系统总线。此外，说明书中提到的任何计算系统可以包括单个处理器，或者可以是采用多个处理器设计以提高计算能力的架构。
实施例还可以涉及通过本文描述的计算过程产生的产品。这样的产品可以包含由计算过程产生的信息，其中信息存储在非暂时性有形计算机可读存储介质上，并且可以包括计算机程序产品的任何实施例或本文描述的其他数据组合。
最后，说明书中使用的语言主要是出于可读性和指导目的而选择的，并且可能未选择它来描绘或限制专利权。因此，专利权的范围旨在不受该详细描述的限制，而是受基于此处的申请的任何权利要求的限制。因此，实施例的公开内容旨在说明而非限制专利权的范围，其在所附权利要求中阐述。

Claims (17)

1.一种设备，包括：
左相机，所述左相机由刚性主体包围，并且被配置为捕获由所述刚性主体包围的包括用户左眼的用户面部的部分的图像；
左照明源，所述左照明源由所述刚性主体包围，并且被配置为发射照亮所述用户面部的部分的光，所述左照明源包括围绕所述左相机的透镜的圆周定位的多个发光二极管(LED)；
右相机，所述右相机由所述刚性主体包围，并且被配置为捕获由所述刚性主体包围的包括用户右眼的所述用户面部的另外部分的另外图像；
右照明源，所述右照明源由所述刚性主体包围，并且被配置为发射照亮所述用户面部的另外部分的光；以及
控制器，所述控制器被配置为：
基于一个或更多个所述图像调整由所述左照明源发射的光；以及
基于一个或更多个所述另外图像调整由所述右照明源发射的光。
2.根据权利要求1所述的设备，其中，所述控制器还被配置为：
通过将模型应用于所述图像和所述另外图像，生成指示相对于用户头部的位置的所述用户左眼的定位和所述用户右眼的定位的矢量。
3.根据权利要求2所述的设备，其中，所述模型包括经训练的卷积神经网络。
4.根据权利要求1所述的设备，其中，所述左照明源包括多个发光二极管(LED)，并且基于一个或更多个所述图像调整由所述左照明源发射的光包括：
基于由所述左相机捕获的一个或更多个图像的光的饱和度，调整由组成所述左照明源的至少一组LED发射的光以最小化功能，使得所述功能具有最小值。
5.根据权利要求4所述的设备，其中，所述右照明源包括多个发光二极管(LED)，并且基于一个或更多个所述另外图像调整由所述右照明源发射的光包括：
基于由所述右相机捕获的一个或更多个另外图像的光的饱和度，调整由组成所述右照明源的至少一组LED发射的光以最小化功能，使得所述功能具有最小值。
6.根据权利要求1所述的设备，其中，基于由所述左照明源捕获的一个或更多个图像来调整由所述左照明源发射的光包括：
响应于接收到由所述用户初始佩戴所述设备的指示，基于由所述左相机捕获的一个或更多个图像来调整由所述左照明源的一个或更多个部分发射的光。
7.根据权利要求6所述的设备，其中，基于由所述右照明源捕获的一个或更多个图像来调整由所述右照明源发射的光包括：
响应于接收到由所述用户初始佩戴所述设备的指示，基于由所述右相机捕获的一个或更多个图像来调整由所述右照明源的一个或更多个部分发射的光。
8.根据权利要求1所述的设备，其中，所述右照明源包括围绕所述右相机的透镜的圆周定位的另外多个发光二极管(LED)。
9.一种方法，包括：
经由包括在头戴式显示器(HMD)中的左图像捕获设备捕获由所述HMD包围的用户面部的部分的校准图像，所述用户面部的部分包括用户左眼；
基于所述校准图像，调整由左照明源的一个或更多个部分发射到由所述HMD包围的所述用户面部的部分上的光，所述左照明源包括围绕所述左图像捕获设备的透镜的圆周定位的多个发光二极管(LED)；
经由包括在头戴式显示器(HMD)中的右图像捕获设备捕获由所述HMD包围的用户面部的部分的另外校准图像，所述用户面部的另外部分包括用户右眼；
通过基于所述一个或更多个校准图像的光的饱和度调整由围绕所述左图像捕获设备的透镜的圆周定位的LED发射的光以最小化功能，使得所述功能具有最小值，来基于所述另外校准图像，将由右照明源的一个或更多个部分发射的光调整到由所述HMD包围的所述用户面部的另外部分上；
经由包括在头戴式显示器(HMD)中的所述左图像捕获设备捕获由所述HMD包围的所述用户面部的部分的图像，所述用户面部的部分包括用户左眼；
经由包括在所述头戴式显示器中的所述右图像捕获设备捕获由所述HMD包围的所述用户面部的另外部分的另外图像，所述用户面部的另外部分包括用户右眼；
将模型应用于所述图像和所述另外图像，基于包括包含左眼的用户面部的部分的先前捕获的图像和包括包含右眼的用户面部的部分的先前捕获的图像来训练所述模型；以及
将所述模型应用于所述图像和所述另外图像，生成指示相对于用户头部的位置的所述用户左眼的定位和所述用户右眼的定位的矢量。
10.根据权利要求9所述的方法，其中，所述右照明源包括围绕所述右图像捕获设备的透镜的圆周定位的多个另外发光二极管(LED)，并且基于由所述右图像捕获设备捕获的一个或更多个另外校准图像，将由所述右照明源的一个或更多个部分发射的光调整到由所述HMD包围的所述用户面部的另外部分上包括：
基于所述一个或更多个另外校准图像的光的饱和度，调整由围绕所述右图像捕获设备的透镜的圆周定位的另外LED发射的光以最小化所述功能，使得所述功能具有最小值。
11.根据权利要求9所述的方法，其中，所述模型包括经训练的卷积神经网络。
12.根据权利要求9所述的方法，其中，经由包括在所述HMD中的所述左图像捕获设备捕获由所述HMD包围的所述用户面部的部分的图像包括：
在调整由所述左照明源的一个或更多个部分发射的光之后，经由包括在所述HMD中的所述左图像捕获设备捕获由所述HMD包围的所述用户面部的部分的图像。
13.根据权利要求12所述的方法，其中，经由包括在所述头戴式显示器中的所述右图像捕获设备捕获由所述HMD包围的所述用户面部的另外部分的另外图像包括：
在调整由所述右照明源的一个或更多个部分发射的光之后，经由包括在所述HMD中的所述右图像捕获设备捕获由所述HMD包围的所述用户面部的部分的另外图像。
14.一种包括非暂时性计算机可读存储介质的计算机程序产品，所述非暂时性计算机可读存储介质具有在其上编码的指令，所述指令在由处理器执行时使所述处理器：
经由包括在头戴式显示器(HMD)中的左图像捕获设备捕获由所述HMD包围的用户面部的部分的校准图像，所述用户面部的部分包括用户左眼；
基于所述校准图像，将由左照明源的一个或更多个部分发射的光调整到由所述HMD包围的所述用户面部的部分上；
经由包括在头戴式显示器(HMD)中的右图像捕获设备捕获由所述HMD包围的用户面部的部分的另外校准图像，所述用户面部的另外部分包括用户右眼，所述右照明源包括围绕所述右图像捕获设备的透镜的圆周定位的多个另外发光二极管(LED)；
通过基于所述一个或更多个另外校准图像的光的饱和度调整由围绕所述右图像捕获设备的透镜的圆周定位的另外LED发射的光以最小化功能，使得所述功能具有最小值，来基于所述另外校准图像，将由右照明源的一个或更多个部分发射的光调整到由所述HMD包围的所述用户面部的另外部分上；
经由包括在头戴式显示器(HMD)中的所述左图像捕获设备捕获由所述HMD包围的所述用户面部的部分的图像，所述用户面部的部分包括用户左眼；
经由包括在所述头戴式显示器中的所述右图像捕获设备捕获由所述HMD包围的所述用户面部的另外部分的另外图像，所述用户面部的另外部分包括用户右眼；
将模型应用于所述图像和所述另外图像，基于包括包含左眼的用户面部的部分的先前捕获的图像和包括包含右眼的用户面部的部分的先前捕获的图像来训练所述模型；以及
将所述模型应用于所述图像和所述另外图像，生成指示相对于用户头部的位置的所述用户左眼的定位和所述用户右眼的定位的矢量。
15.根据权利要求14所述的计算机程序产品，其中，所述左照明源包括围绕所述左图像捕获设备的透镜的圆周定位的多个发光二极管(LED)，并且基于由所述左图像捕获设备捕获的一个或更多个校准图像将由所述左照明源的一个或更多个部分发射的光调整到由所述HMD包围的所述用户面部的部分上包括：
基于所述一个或更多个校准图像的光的饱和度，调整由围绕所述左图像捕获设备的透镜的圆周定位的LED发射的光以最小化功能，使得所述功能具有最小值。
16.根据权利要求14所述的计算机程序产品，其中，经由包括在所述HMD中的所述左图像捕获设备捕获由所述HMD包围的所述用户面部的部分的图像包括：
在调整由所述左照明源的一个或更多个部分发射的光之后，经由包括在所述HMD中的所述左图像捕获设备捕获由所述HMD包围的所述用户面部的部分的图像。
17.根据权利要求16所述的计算机程序产品，其中，经由包括在所述头戴式显示器中的所述右图像捕获设备捕获由所述HMD包围的所述用户面部的另外部分的另外图像包括：
在调整由所述右照明源的一个或更多个部分发射的光之后，经由包括在所述HMD中的所述右图像捕获设备捕获由所述HMD包围的所述用户面部的部分的另外图像。
CN202110931390.4A 2018-06-01 2019-05-10 头戴式显示器及用于确定佩戴其的用户的视线的方法 Pending CN113589533A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US15/996,422 2018-06-01
US15/996,422 US10509467B1 (en) 2018-06-01 2018-06-01 Determining fixation of a user's eyes from images of portions of the user's face enclosed by a head mounted display
CN201910389427.8A CN110554501B (zh) 2018-06-01 2019-05-10 头戴式显示器及用于确定佩戴其的用户的视线的方法

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
CN201910389427.8A Division CN110554501B (zh) 2018-06-01 2019-05-10 头戴式显示器及用于确定佩戴其的用户的视线的方法

Publications (1)

Publication Number Publication Date
CN113589533A true CN113589533A (zh) 2021-11-02

Family

ID=68693933

Family Applications (2)

Application Number Title Priority Date Filing Date
CN202110931390.4A Pending CN113589533A (zh) 2018-06-01 2019-05-10 头戴式显示器及用于确定佩戴其的用户的视线的方法
CN201910389427.8A Active CN110554501B (zh) 2018-06-01 2019-05-10 头戴式显示器及用于确定佩戴其的用户的视线的方法

Family Applications After (1)

Application Number Title Priority Date Filing Date
CN201910389427.8A Active CN110554501B (zh) 2018-06-01 2019-05-10 头戴式显示器及用于确定佩戴其的用户的视线的方法

Country Status (2)

Country Link
US (2) US10509467B1 (zh)
CN (2) CN113589533A (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9132352B1 (en) 2010-06-24 2015-09-15 Gregory S. Rabin Interactive system and method for rendering an object
KR102149732B1 (ko) * 2019-04-17 2020-08-31 라쿠텐 인코포레이티드 표시 제어 장치, 표시 제어 방법, 프로그램, 및 비일시적인 컴퓨터 판독 가능한 정보 기록 매체
US11635802B2 (en) * 2020-01-13 2023-04-25 Sony Interactive Entertainment Inc. Combined light intensity based CMOS and event detection sensor for high speed predictive tracking and latency compensation in virtual and augmented reality HMD systems

Citations (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH03109028A (ja) * 1989-09-22 1991-05-09 Canon Inc 視線検出装置及びカメラ
JPH08159733A (ja) * 1994-12-01 1996-06-21 Nissan Motor Co Ltd 車両用視線方向計測装置
CA2354114A1 (en) * 2000-07-24 2002-01-24 Steve Mann Eyetap device with concealment or viewability by way of materials having properties differently visible to instrumentation contained therein, than to other instrumentation
EP1840627A2 (de) * 2000-10-07 2007-10-03 David Dickerson Vorrichtung und Verfahren zur Bestimmung der Orientierung eines Auges
US20090115968A1 (en) * 2007-11-05 2009-05-07 Keiji Sugiyama Display apparatus, display method, display program, integrated circuit, goggle-type head-mounted display, vehicle, monocle, and stationary display
US20130207991A1 (en) * 2010-12-03 2013-08-15 Brother Kogyo Kabushiki Kaisha Wearable displays methods, and computer-readable media for determining display conditions
CN104067334A (zh) * 2011-11-04 2014-09-24 谷歌公司 头戴式显示器的自适应亮度控制
CN104067160A (zh) * 2011-11-22 2014-09-24 谷歌公司 使用眼睛跟踪在显示屏中使图像内容居中的方法
CN105531716A (zh) * 2013-07-30 2016-04-27 微软技术许可有限责任公司 显示设备中的近眼光学定位
CN105718046A (zh) * 2014-12-23 2016-06-29 联发科技股份有限公司 用于眼部追踪的基于移动设备的头戴式显示器
CN105828700A (zh) * 2013-12-09 2016-08-03 传感运动器具创新传感技术有限公司 操作眼睛跟踪装置的方法和提供主动照明控制用于改进的眼睛跟踪稳定性的眼睛跟踪装置
US20160231573A1 (en) * 2015-02-10 2016-08-11 Daqri, Llc Dynamic lighting for head mounted device
CN106462743A (zh) * 2014-05-09 2017-02-22 谷歌公司 用于向安全移动通信使用眼睛信号的系统和方法
WO2017066556A1 (en) * 2015-10-15 2017-04-20 Osterhout Group, Inc. Compact optical system for head-worn computer
CN107388201A (zh) * 2017-09-05 2017-11-24 哈尔滨理工大学 医用头戴式眼动控制手术照明灯

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8890946B2 (en) * 2010-03-01 2014-11-18 Eyefluence, Inc. Systems and methods for spatially controlled scene illumination
US8752963B2 (en) * 2011-11-04 2014-06-17 Microsoft Corporation See-through display brightness control
US9684374B2 (en) * 2012-01-06 2017-06-20 Google Inc. Eye reflection image analysis
KR102098277B1 (ko) * 2013-06-11 2020-04-07 삼성전자주식회사 시선 추적을 이용한 시인성 개선 방법, 저장 매체 및 전자 장치
KR20160059276A (ko) * 2014-11-18 2016-05-26 삼성전자주식회사 착용 가능한 전자 장치
KR20170139509A (ko) * 2015-02-17 2017-12-19 탈믹 랩스 인크 웨어러블 헤드-업 디스플레이 내의 아이박스 확장을 위한 시스템, 장치, 및 방법
KR20180102591A (ko) * 2016-01-13 2018-09-17 포브, 아이엔씨. 표정 인식 시스템, 표정 인식 방법 및 표정 인식 프로그램
RU2729045C2 (ru) * 2016-03-21 2020-08-04 Конинклейке Филипс Н.В. Адаптивная система освещения для зеркального компонента и способ управления адаптивной системой освещения
CN207096572U (zh) * 2017-06-16 2018-03-13 全球能源互联网研究院 一种基于双目显示功能的增强现实智能头盔
US10452911B2 (en) * 2018-02-01 2019-10-22 Varjo Technologies Oy Gaze-tracking system using curved photo-sensitive chip

Patent Citations (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH03109028A (ja) * 1989-09-22 1991-05-09 Canon Inc 視線検出装置及びカメラ
JPH08159733A (ja) * 1994-12-01 1996-06-21 Nissan Motor Co Ltd 車両用視線方向計測装置
CA2354114A1 (en) * 2000-07-24 2002-01-24 Steve Mann Eyetap device with concealment or viewability by way of materials having properties differently visible to instrumentation contained therein, than to other instrumentation
EP1840627A2 (de) * 2000-10-07 2007-10-03 David Dickerson Vorrichtung und Verfahren zur Bestimmung der Orientierung eines Auges
US20090115968A1 (en) * 2007-11-05 2009-05-07 Keiji Sugiyama Display apparatus, display method, display program, integrated circuit, goggle-type head-mounted display, vehicle, monocle, and stationary display
US20130207991A1 (en) * 2010-12-03 2013-08-15 Brother Kogyo Kabushiki Kaisha Wearable displays methods, and computer-readable media for determining display conditions
CN104067334A (zh) * 2011-11-04 2014-09-24 谷歌公司 头戴式显示器的自适应亮度控制
CN104067160A (zh) * 2011-11-22 2014-09-24 谷歌公司 使用眼睛跟踪在显示屏中使图像内容居中的方法
CN105531716A (zh) * 2013-07-30 2016-04-27 微软技术许可有限责任公司 显示设备中的近眼光学定位
CN105828700A (zh) * 2013-12-09 2016-08-03 传感运动器具创新传感技术有限公司 操作眼睛跟踪装置的方法和提供主动照明控制用于改进的眼睛跟踪稳定性的眼睛跟踪装置
CN106462743A (zh) * 2014-05-09 2017-02-22 谷歌公司 用于向安全移动通信使用眼睛信号的系统和方法
CN105718046A (zh) * 2014-12-23 2016-06-29 联发科技股份有限公司 用于眼部追踪的基于移动设备的头戴式显示器
US20160231573A1 (en) * 2015-02-10 2016-08-11 Daqri, Llc Dynamic lighting for head mounted device
WO2017066556A1 (en) * 2015-10-15 2017-04-20 Osterhout Group, Inc. Compact optical system for head-worn computer
CN107388201A (zh) * 2017-09-05 2017-11-24 哈尔滨理工大学 医用头戴式眼动控制手术照明灯

Also Published As

Publication number Publication date
CN110554501A (zh) 2019-12-10
US20200201430A1 (en) 2020-06-25
US10795436B2 (en) 2020-10-06
CN110554501B (zh) 2021-08-20
US10509467B1 (en) 2019-12-17
US20190369718A1 (en) 2019-12-05

Similar Documents

Publication Publication Date Title
JP7177213B2 (ja) 視線追跡情報に基づく画像領域内の適応パラメータ
US10848745B2 (en) Head-mounted display tracking system
US11016301B1 (en) Accommodation based optical correction
CN108780223B (zh) 用于生成眼睛模型的角膜球跟踪
US10317680B1 (en) Optical aberration correction based on user eye position in head mounted displays
US10636193B1 (en) Generating graphical representation of a user's face and body using a monitoring system included on a head mounted display
US10614577B1 (en) Eye tracking system with single point calibration
US10529113B1 (en) Generating graphical representation of facial expressions of a user wearing a head mounted display accounting for previously captured images of the user's facial expressions
US10481687B1 (en) Waveguide integrated eye tracking
US9984507B2 (en) Eye tracking for mitigating vergence and accommodation conflicts
US10401625B2 (en) Determining interpupillary distance and eye relief of a user wearing a head-mounted display
CN110658914B (zh) 边界区域的闪烁追踪
US10684674B2 (en) Tracking portions of a user's face uncovered by a head mounted display worn by the user
CN109643152B (zh) 使用头戴式显示器内的面部传感器的面部和眼睛跟踪以及面部动画
US11348262B1 (en) Three-dimensional imaging with spatial and temporal coding for depth camera assembly
US10109067B2 (en) Corneal sphere tracking for generating an eye model
CN110554501B (zh) 头戴式显示器及用于确定佩戴其的用户的视线的方法
US10613323B1 (en) Transition feature for framing multizone optics
US10248842B1 (en) Face tracking using structured light within a head-mounted display
US10495882B1 (en) Positioning cameras in a head mounted display to capture images of portions of a face of a user
US10859832B1 (en) Mitigating light exposure to elements of a focus adjusting head mounted display
US10623743B1 (en) Compression of captured images including light captured from locations on a device or object

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB02 Change of applicant information
CB02 Change of applicant information

Address after: California, USA

Applicant after: Yuan Platform Technology Co.,Ltd.

Address before: California, USA

Applicant before: Facebook Technologies, LLC

WD01 Invention patent application deemed withdrawn after publication
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20211102