CN110488489B - 用于头戴式壳体的眼睛登记 - Google Patents

用于头戴式壳体的眼睛登记 Download PDF

Info

Publication number
CN110488489B
CN110488489B CN201910368805.4A CN201910368805A CN110488489B CN 110488489 B CN110488489 B CN 110488489B CN 201910368805 A CN201910368805 A CN 201910368805A CN 110488489 B CN110488489 B CN 110488489B
Authority
CN
China
Prior art keywords
head
eye
user
mounted housing
images
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910368805.4A
Other languages
English (en)
Other versions
CN110488489A (zh
Inventor
N·托科斯
D·A·麦克罗伯茨
P·吉姆米格
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Apple Inc
Original Assignee
Apple Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Apple Inc filed Critical Apple Inc
Publication of CN110488489A publication Critical patent/CN110488489A/zh
Application granted granted Critical
Publication of CN110488489B publication Critical patent/CN110488489B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/0093—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for monitoring data relating to the user, e.g. head-tracking, eye-tracking
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B27/0172—Head mounted characterised by optical features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304—Detection arrangements using opto-electronic means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/10—Geometric effects
    • G06T15/20—Perspective computation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/75—Determining position or orientation of objects or cameras using feature-based methods involving models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0138—Head-up displays characterised by optical features comprising image capture systems, e.g. camera
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/014—Head-up displays characterised by optical features comprising information/image processing systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30041—Eye; Retina; Ophthalmic
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G06T2207/30201—Face
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30204—Marker
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30244—Camera pose

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Geometry (AREA)
  • Human Computer Interaction (AREA)
  • Computer Graphics (AREA)
  • Computing Systems (AREA)
  • Optics & Photonics (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Processing Or Creating Images (AREA)

Abstract

本公开题为“用于头戴式壳体的眼睛登记”。描述了用于头戴式壳体的眼睛登记的系统和方法。一些具体实施可包括：图像传感器；以及处理装置，该处理装置被配置为：访问使用该图像传感器捕获的一组图像，该组图像描绘了使用者的面部和该使用者佩戴的头戴式壳体；并且基于该组图像来确定该使用者的第一只眼睛相对于该头戴式壳体的第一位置。

Description

用于头戴式壳体的眼睛登记
技术领域
本公开涉及用于头戴式壳体的眼睛登记。
背景技术
头戴式显示器用于为使用者提供虚拟现实、增强现实和/或混合现实体验。头戴式显示器通常是通用型的。面部几何结构可因人而异。使用者眼睛的位置相对于头戴式显示器的预期标称位置的偏差可能是图像失真的原因。可手动调整头戴式显示器的形状以试图减轻这种失真源。
发明内容
本文公开了用于头戴式壳体的眼睛登记的具体实施。
在第一方面，本说明书中描述的主题可体现在包括图像传感器的系统中。该系统包括处理装置，该处理装置被配置为访问使用图像传感器捕获的一组图像，该组图像描绘了使用者的面部和使用者佩戴的头戴式壳体；以及基于该组图像来确定使用者的第一只眼睛相对于头戴式壳体的第一位置。
在第二方面，本说明书中描述的主题可体现在方法中，该方法包括：捕获描绘使用者的面部和使用者佩戴的头戴式壳体的一组图像；基于该组图像来确定使用者的第一只眼睛相对于头戴式壳体的第一位置；以及基于该组图像来确定使用者的第二只眼睛相对于头戴式壳体的第二位置。
在第三方面，本说明书中描述的主题可体现在包括头戴式壳体(包括透镜和显示器)的系统中。该系统包括处理装置，该处理装置被配置为访问用于与佩戴头戴式壳体的使用者的第一只眼睛相关联的第一虚拟摄像机的第一三维变换，其中该第一三维变换已基于第一只眼睛相对于头戴式壳体的位置来确定；访问用于与使用者的第二只眼睛相关联的第二虚拟摄像机的第二三维变换，其中该第二三维变换已基于第二只眼睛相对于头戴式壳体的位置来确定；将第一三维变换应用于图像以获得第一变换图像；将第一变换图像从显示器经由头戴式壳体的透镜投射到第一只眼睛；将第二三维变换应用于图像以获得第二变换图像；并且将第二变换图像从显示器经由头戴式壳体的透镜投射到第二只眼睛。
附图说明
在阅读本公开时通过结合附图对以下具体实施方式得以最佳理解。需要强调的是，根据惯例，附图的各种特征结构不是按比例的。相反，为了清楚起见，各种特征结构的尺寸被任意扩大或缩小。
图1A是使用者佩戴的头戴式壳体的一个示例的图示。
图1B是使用者佩戴的头戴式壳体的一个示例的图示。
图2是眼睛登记过程期间佩戴头戴式壳体的使用者的一个示例的图示。
图3是被配置为执行头戴式壳体的眼睛登记过程的系统的一个示例的框图。
图4是被配置为使用眼睛登记数据经由头戴式壳体的光学组件向使用者呈现图像的系统的一个示例的框图。
图5是用于头戴式壳体的眼睛登记过程的一个示例的流程图。
图6是用于确定使用者的一只或两只眼睛相对于头戴式壳体的位置的过程的一个示例的流程图。
图7是使用眼睛登记数据经由头戴式壳体的光学组件向使用者呈现图像的过程的一个示例的流程图。
具体实施方式
可使用头戴式壳体来提供计算机生成现实应用，该头戴式壳体被佩戴在使用者的头部并被配置为经由光学组件(例如，包括透镜和/或反射镜)将图像从安装在头戴式壳体中的显示设备呈现给使用者的眼睛。该显示设备、光学组件和使用者的眼睛的相对位置影响使用者感知所呈现图像的方式。例如，眼睛相对于头戴式壳体的假设位置的误差可改变图像中出现的对象的视角和感知深度，并因此使计算机生成现实环境中真实对象和虚拟对象之间的预期对应失真。例如，眼睛相对于头戴式壳体的假设位置的误差可使呈现给使用者的图像失真并且不利地影响使用者精神融合他们的双眼所看到的图像(例如，实现立体视觉)的能力。因此，眼睛相对于头戴式壳体的准确位置信息是提供高质量计算机生成现实体验的重要方面。因为人类头部的几何结构可在不同个体之间显著变化，并且头戴式壳体可在使用阶段之间以不同的方式定位在使用者身上，因此当使用者戴上头戴式壳体时有效且准确地确定使用者的眼睛位置是有利的。用于头戴式壳体的手动校准技术可包括许多步骤，这些步骤要求重要反馈以及与使用者细心交互。这些手动校准过程可能会令人困惑(特别是对于新使用者而言)，并且可能容易出错。
用于头戴式壳体的眼睛登记过程和系统可用于有效且准确地估计使用者的眼睛相对于使用者佩戴的头戴式壳体的位置。在一些具体实施中，使用两个计算设备进行眼睛登记。第一计算设备捕获描绘使用者的面部和使用者佩戴的头戴式壳体两者的图像。计算机视觉和跟踪技术可用于确定眼睛相对于头戴式壳体的位置。所得的眼睛登记数据可由安装在使用者佩戴的头戴式壳体中的第二计算设备用于校准头戴式壳体的图像呈现系统，以便向使用者呈现虚拟对象的高质量图像。例如，可基于眼睛位置来确定三维变换并将其用于调整用于使用者眼睛的虚拟摄像机以更好地匹配眼睛的位置。例如，可基于眼睛位置来确定失真标测图并将其用于校正当从眼睛的位置观察时由光学组件(例如，透镜)引起的失真。
相比于向使用者提供计算机生成现实体验的一些常规系统，使用所述的眼睛登记系统和过程可提供更多的优点。例如，执行眼睛登记可提高使用者所感知的计算机生成现实图像的质量。例如，眼睛登记可便利地和/或自动地校准用于计算机生成现实应用的虚拟对象呈现系统。在一些具体实施中，眼睛登记规程在很大程度上是自动化的并且可快速完成。
图1A和图1B是使用者佩戴的头戴式壳体的一个示例的图示。图1A示出了佩戴头戴式壳体120的使用者110的侧面轮廓100。头戴式壳体120包括紧固件122、显示设备124和光学组件126。紧固件122(例如，包括头带)被配置为当由使用者110佩戴时将头戴式壳体120保持在使用者110的头部上的适当位置。相对于头戴式壳体120的坐标系可包括用于指定对象(诸如使用者110的右眼114)相对于头戴式壳体120的空间位置的三个维度。该坐标系的两个维度(标记为“Y”和“Z”)示于图1A的侧面轮廓100中。
显示设备124被配置为呈现可由使用者经由光学组件126观察的图像。例如，显示设备124可以是被配置为在触摸屏上呈现图像的个人计算设备(例如，智能手机)。显示设备124可移除地安装在头戴式壳体120中。在一些具体实施中，显示设备124永久性地附接到头戴式壳体120。
光学组件126(例如，透镜和/或反射镜)被配置为将来自显示设备124和/或来自使用者周围环境的光引导至使用者110的眼睛。例如，光学组件126可包括施加到透明护目镜的内表面的部分反射偏振膜。光学组件126可用作光学组合器。图1A的侧面轮廓100中示出了使用者110的右眼114。例如，形成图像的光可从显示设备124发射并经由光学组件126被引导至右眼114。在一些具体实施中，光学组件126包括将来自显示设备124的光反射到右眼114的反射镜。在一些具体实施中，光学组件126包括将来自显示设备124的光反射到右眼114的透镜。例如，光学组件126的透镜还可让来自使用者110前方环境的光穿过到达右眼114并允许使用者110在其前方看到，同时使显示设备124所呈现的图像中描绘的对象覆盖在使用者110前方的物理环境的视图上。在一些具体实施中，可调整光学组件126(例如，透镜)的透明度以适合应用(例如，虚拟现实应用或增强现实应用)。
使用者110的眼睛的准确位置信息可用于更好地将图像(例如，增强现实图像)从显示设备124经由光学组件126投射到右眼114。使用者110的眼睛相对于头戴式壳体120的位置影响使用者感知显示设备124所呈现的图像的方式。例如，使用者110的眼睛相对于头戴式壳体120的位置变化可改变出现在所呈现图像中的对象的视角和/或感知深度。因此，对眼睛位置的了解可用于控制对象诸如在增强现实空间中的特定位置处向使用者的呈现。眼睛位置估计中的误差可能使所呈现的图像失真和/或不利地影响使用者110融合立体视觉的能力。
图1B示出了佩戴头戴式壳体120的使用者110的前轮廓150。前轮廓150示出了使用者110的右眼114和左眼116两者。相对于头戴式壳体120的坐标系可包括用于指定对象(诸如使用者110的右眼114和左眼116)相对于头戴式壳体120的空间位置的三个维度。该坐标系的两个维度(标记为“Y”和“X”)示于图1A的前轮廓150中。在该示例中，光学组件126被暂时移除或是透明的，从而允许使用者110从安装在头戴式壳体120中的显示设备124向前观察。在该示例中，显示设备呈现标记160。该已知标记160可在捕获的图像中被检测到，该图像描绘了使用者110的面部(例如，包括右眼114和左眼116)和使用者110佩戴的头戴式壳体120。当标记160出现在捕获的图像中时，对其尺寸和形状的了解可用于对头戴式显示器进行识别并定位和/或取向，并且有利于确定右眼114和左眼116相对于头戴式壳体120的位置。
使用者110的眼睛位置可通过手动校准过程来确定，该手动校准过程使用来自使用者的显著细粒度反馈来检测或调整使用者110相对于正在佩戴的头戴式壳体120的特定眼睛位置。然而，用于眼睛位置校准的一些手动过程可包括若干步骤，可能使新使用者感到困惑以及/或者可能容易出错。
眼睛登记过程可用于校准包括使用者110佩戴的头戴式壳体120的系统，以通过确定使用者110的眼睛相对于头戴式壳体120和/或彼此的位置经由光学组件126呈现高质量图像。在一些具体实施中，右眼114和左眼116的位置可被确定为相对于头戴式壳体120的坐标系(例如，图1A至图1B中具有标记为“X”、“Y”和“Z”的轴)中的预定点的相应偏移。例如，可在使用阶段开始时当使用者戴上头戴式壳体120时执行眼睛登记过程。通过在捕获图像的视野中捕获包括使用者的面部(包括至少一只眼睛)和头戴式壳体两者的图像，可在较少的使用者交互下操作眼睛登记过程。可基于捕获的图像来确定使用者110的眼睛位置，并将其用于校准从显示设备124经由光学组件126向使用者110的图像呈现。例如，可通过实现图5的过程500来执行眼睛登记。在一些具体实施中，使用单独的装置(例如，智能手机)来捕获用于眼睛登记的面部和使用者110佩戴的头戴式壳体120的图像。然后可将眼睛位置信息传输到显示设备124以完成校准，从而能够将图像高质量地呈现给使用者110。在一些具体实施中，单个设备，显示设备既用于捕获面部和使用者110佩戴的头戴式壳体120的图像以用于眼睛登记，还用于使用所得的校准数据向使用者显示图像。例如，显示设备124可包括图像传感器，当显示设备124被握持在使用者110的手中时该图像传感器捕获面部和使用者110佩戴的头戴式壳体120的图像以用于眼睛登记。在捕获这些图像之后，可将显示设备124安装在头戴式壳体120中的适当位置，如图1A所示，并且可使用所生成的校准信息将图像质量地呈现给使用者110。在一些具体实施中，显示设备包括图像传感器，并且被配置为当安装在头戴式壳体120中时通过经由光学组件126(例如，包括反射镜和/或透镜)的反射捕获眼睛的图像来执行眼睛登记过程。关于眼睛位置的信息是良好计算机生成现实使用者体验的重要方面。有效的眼睛登记过程可避免使用动态跟踪眼睛位置和取向的复杂眼睛跟踪系统，并且避免使用附加的内置于头戴式壳体中的用于眼睛跟踪的昂贵传感器。
在一些具体实施中(图1B中未示出)，类似于标记160的标记可被实现为头戴式壳体的物理特征结构(例如，涂漆和/或凸起的符号)，而不是在显示器上呈现的图像的一部分。例如，当显示设备124被安装在头戴式壳体120中，该标记特征结构可被定位在后面的狭槽中。在将显示设备安装在使用者110佩戴的头戴式壳体120中之前，该标记特征结构可出现在为进行眼睛登记所捕获的图像中。例如，可在显示设备124包括图像传感器并被用于执行眼睛登记以及向使用者呈现图像的情况下使用该标记特征结构。
图2是眼睛登记过程期间佩戴头戴式壳体120的使用者110的一个示例的图示。在该示例中，使用两个计算设备(例如，两个智能电话)执行眼睛登记。第一计算设备是安装在使用者110佩戴的头戴式壳体120中的显示设备124。该显示设备在其显示器上呈现标记符号160。第二计算设备是使用者110握持在使用者的手212中的个人计算设备230。个人计算设备230包括一个或多个图像传感器232(例如，感测红外和/或可见光谱光)，当使用者正在佩戴头戴式壳体120时这些传感器指向使用者110的面部。使用一个或多个图像传感器232捕获一组图像，其中这些图像描绘了使用者110的面部和使用者佩戴的头戴式壳体120。在一些具体实施中，使用者110可在眼睛登记过程期间转动他们的头部，使得该组图像包括面部和头戴式壳体120的多种视角。可使用面部跟踪系统和标记跟踪系统来处理所捕获的一组图像，以确定使用者110的眼睛相对于头戴式壳体120的位置。可使用面部跟踪系统和标记跟踪系统来处理所捕获的一组图像，以确定使用者110的眼睛相对于头戴式壳体120的取向。可将基于眼睛的位置和/或取向的数据(例如，眼睛登记数据)从个人计算设备230传输到显示设备124。然后，显示设备124可获得用于使用者110的相应眼睛(例如，右眼114和左眼116)的基于眼睛位置和/或取向的三维变换和/或失真标测图。三维变换和/或失真标测图可用于通过调整从显示设备124经由光学组件126(例如，透镜和/或反射镜)投射到使用者的眼睛的图像来调整图像的呈现。例如，呈现的图像可用于实现针对使用者110的计算机生成现实应用。
图3是被配置为执行头戴式壳体(例如，头戴式壳体120)的眼睛登记过程的系统300的示例的框图。系统300可包括处理装置310、数据存储设备320、图像传感器330、无线通信接口340以及该数据处理装置310可通过其访问其他部件的互连件350。系统300可被配置为针对佩戴头戴式壳体的使用者执行眼睛登记。例如，系统300可被配置为实现图5的过程500。例如，系统300可被实现为个人计算设备(例如，智能电话或平板电脑)的一部分。
处理装置310可操作以执行存储在数据存储设备320中的指令。在一些具体实施中，处理装置310是具有随机存取存储器的处理器，该随机存取存储器用于在读取自数据存储设备320的指令被执行时暂时存储这些指令。处理装置310可包括单个或多个处理器，每个处理器具有单个或多个处理核。另选地，处理装置310可包括能够操纵或处理数据的另一类型的设备或多个设备。例如，数据存储设备320可以是非易失性信息存储设备，诸如硬盘驱动器、固态驱动器、只读存储器设备(ROM)、光盘、磁盘或任何其他合适类型的存储设备(诸如非暂态性计算机可读存储器)。数据存储设备320可包括能够存储数据以供处理装置310检索或处理的另一类型的设备或多个设备。例如，数据存储设备320可被分布在多个机器或设备(诸如基于网络的存储器或多个机器中的存储器)中，为了便于解释，该多个机器或设备执行可在本文中被描述为使用单个计算设备执行的操作。处理装置310可经由互连件350访问和操纵存储在数据存储设备320中的数据。例如，数据存储设备320可存储可由处理装置310执行的指令，该指令在由处理装置310执行时使得处理装置310执行操作(例如，实现图5的过程500的操作)。
该一个或多个图像传感器330可被配置为捕获图像、将入射在图像传感器330上的光转换为数字图像。该一个或多个图像传感器330可检测特定光谱(例如，可见光谱和/或红外光谱)的光，并将图像的构成信息作为电信号(例如，模拟或数字信号)传送。例如，该一个或多个图像传感器330可包括互补金属氧化物半导体(CMOS)中的电荷耦合器件(CCD)或有源像素传感器。在一些具体实施中，该一个或多个图像传感器330包括模拟-数字转换器。例如，该一个或多个图像传感器330可包括红外摄像机和可见光摄像机。在一些具体实施中(图3中未示出)，系统300包括照明器和/或投影仪，该投影仪投射可以从场景中的对象反射并由一个或多个图像传感器330检测的光。例如，系统300可包括红外照明器。
无线通信接口340有利于与其他设备的通信。无线通信接口340可有利于经由Wi-Fi网络、蓝牙链路或ZigBee链路的通信。例如，无线通信接口340可有利于经由使用计算机视觉接收的红外信号、音频信号或光信号的通信。在一些具体实施中，无线通信接口340可用于将由眼睛登记过程得到的校准数据传输到安装在头戴式壳体中的显示设备(例如，显示设备124)，该显示设备将使用校准数据将图像呈现给佩戴头戴式壳体的使用者。例如，互连件350可以是系统总线，或者有线网络或无线网络。
处理装置310可被配置为执行眼睛登记过程。例如，处理装置310可被配置为访问使用图像传感器330捕获的一组图像，该组图像描绘了使用者(例如，使用者110)的面部和使用者佩戴的头戴式壳体(例如，头戴式壳体120)。处理装置310可被配置为基于该组图像确定使用者的第一只眼睛(例如，右眼114)相对于头戴式壳体的第一位置。例如，处理装置310可实现图6的过程600以确定第一位置。处理装置310可被配置为基于该组图像来确定使用者的第二只眼睛(例如，左眼116)相对于头戴式壳体的第二位置。例如，处理装置310可实现图6的过程600以确定第二位置。处理装置310可被配置为基于该组图像来确定使用者的第一只眼睛相对于头戴式壳体的第一取向。处理装置310可被配置为基于第一位置来确定用于与第一只眼睛相关联的第一虚拟摄像机的三维变换。处理装置310可被配置为基于第一位置来确定用于第一只眼睛和头戴式壳体的光学组件(例如，光学组件126)的失真标测图。在一些具体实施中，处理装置310可被配置为使用无线通信接口340将基于第一位置的数据传输到安装在头戴式壳体中的显示设备(例如，显示设备124)。
在一些具体实施中(图3中未示出)，系统300包括显示器并被配置为执行眼睛登记过程(例如，图5的过程500)并使用所得的校准数据向佩戴头戴式壳体(例如，头戴式壳体120)的使用者(例如，使用者110)呈现(例如，使用图7的过程700)图像。例如系统300可被实现为智能手机的一部分，该智能手机首先在使用者的手中使用以执行眼睛登记过程，然后被安装在使用者佩戴的头戴式壳体中以提供计算机生成现实应用。例如，处理装置310可被配置为将三维变换应用于图像以获得变换图像。处理装置310可被配置为将变换图像从显示器经由头戴式壳体的光学组件(例如，光学组件126)投射到第一只眼睛(例如，右眼114)。例如，处理装置310可被配置为将基于失真标测图的变换应用于图像以获得变换图像。例如，处理装置310可被配置为将变换图像从显示器经由头戴式壳体的光学组件投射到第一只眼睛。
图4是被配置为使用眼睛登记数据经由头戴式壳体(例如，头戴式壳体120)的光学组件(例如，光学组件126)向使用者(例如，使用者110)呈现图像的系统400的一个示例的框图。系统400可包括处理装置410、数据存储设备420、显示器430、无线通信接口440以及数据处理装置410可通过其访问其他部件的互连件450。系统400可被配置为使用来自眼睛登记过程的校准数据向佩戴头戴式壳体的使用者呈现图像(例如，以实现计算机生成现实应用)。例如，系统400可被配置为实现图7的过程700。例如，系统400可被实现为可安装在头戴式壳体中或以其他方式附接到头戴式壳体的显示设备(例如，智能手机)的一部分。
处理装置410可操作以执行存储在数据存储设备420中的指令。在一些具体实施中，处理装置410是具有随机存取存储器的处理器，该随机存取存储器用于在读取自数据存储设备420的指令被执行时暂时存储这些指令。处理装置410可包括单个或多个处理器，每个处理器具有单个或多个处理核。另选地，处理装置410可包括能够操纵或处理数据的另一类型的设备或多个设备。例如，数据存储设备420可以是非易失性信息存储设备，诸如硬盘驱动器、固态驱动器、只读存储器设备(ROM)、光盘、磁盘或任何其他合适类型的存储设备(诸如非暂态性计算机可读存储器)。数据存储设备420可包括能够存储数据以供处理装置410检索或处理的另一类型的设备或多个设备。例如，数据存储设备420可被分布在多个机器或设备(诸如基于网络的存储器或多个机器中的存储器)中，为了便于解释，该多个机器或设备执行可在本文中被描述为使用单个计算设备执行的操作。处理装置410可经由互连件450访问和操纵存储在数据存储设备420中的数据。例如，数据存储设备420可存储可由处理装置410执行的指令，该指令在由处理装置410执行时使得处理装置410执行操作(例如，实现图7的过程700的操作)。
显示器430可被配置为呈现图像、将数字图像转换为从显示器430投射的光。显示器430可使用投射可见光谱中的光的像素阵列来投射光。例如，显示器430可包括屏幕。例如，显示器430可包括液晶显示器(LCD)、发光二极管(LED)显示器(例如，OLED显示器)或其他合适的显示器。例如，显示器430可包括投影仪。在一些具体实施中，显示器430包括光纤。
在一些具体实施中(图4中未示出)，系统400可包括一个或多个扬声器(例如，耳机或耳塞)。头戴式壳体的三维位置和/或取向的改善精度可用于增强立体声效果的质量和/或精度。例如，发出声音的对象的空间位置、多普勒效应(如果对象相对于您的耳朵移动)或者混响可反映在一个或多个扬声器播放的声音中。甚至可播放在其他人会听到的共享环境中制作的声音(例如，在虚拟现实角色的耳后的耳语)。
无线通信接口440有利于与其他装置的通信。无线通信接口440可有利于经由Wi-Fi网络、蓝牙链路或ZigBee链路的通信。在一些具体实施中，无线通信接口440可用于从个人计算设备(例如，个人计算设备230)接收由眼睛登记过程得到的校准数据，该个人计算设备已针对佩戴头戴式壳体(例如，头戴式壳体120)的使用者(例如，使用者110)执行了眼睛登记过程。例如，互连件450可以是系统总线，或者有线网络或无线网络。
处理装置410可被配置为访问用于与佩戴头戴式壳体(例如，头戴式壳体120)的使用者(例如，使用者110)的第一只眼睛(例如，右眼114)相关联的第一虚拟摄像机的第一三维变换。该第一三维变换可基于第一只眼睛相对于头戴式壳体的位置来确定。处理装置410可被配置为访问用于与使用者的第二只眼睛(例如，左眼116)相关联的第二虚拟摄像机的第二三维变换。该第二三维变换可基于第二只眼睛相对于头戴式壳体的位置来确定。处理装置410可被配置为将第一三维变换应用于图像以获得第一变换图像。处理装置410可被配置为将第一变换图像从显示器430经由头戴式壳体的透镜(例如，光学组件126的透镜)投射到第一只眼睛。处理装置410可被配置为将第二三维变换应用于图像以获得第二变换图像。处理装置410可被配置为将第二变换图像从显示器430经由头戴式壳体的透镜投射到第二只眼睛。在一些具体实施中，处理装置410可被配置为访问用于第一只眼睛和头戴式壳体的透镜的第一失真标测图。处理装置410可被配置为访问用于第二只眼睛和头戴式壳体的透镜的第二失真标测图。处理装置410可被配置为将基于第一失真标测图的变换应用于图像以获得第一变换图像。处理装置410可被配置为将基于第二失真标测图的变换应用于图像以获得第二变换图像。
图5是用于头戴式壳体(例如，头戴式壳体120)的眼睛登记过程500的示例的流程图。过程500包括：捕获510描绘佩戴头戴式壳体的使用者的面部的一组图像；确定520使用者的一只或两只眼睛相对于头戴式壳体的位置；确定530使用者的一只或两只眼睛相对于头戴式壳体的取向；确定540用于与使用者的一只或两只眼睛相关联的相应虚拟摄像机的相应三维变换；确定550用于使用者的一只或两只眼睛和头戴式壳体的光学组件的失真标测图；以及将基于该一只或两只眼睛的位置和/或方向的数据传输560到安装在头戴式壳体中的显示设备。例如，过程500可由图2的个人计算设备230来实现。例如，过程500可由图3的系统300来实现。
过程500包括捕获510描绘使用者(例如，使用者110)的面部和使用者佩戴的头戴式壳体(例如，头戴式壳体120)的一组图像。通过描绘使用者的面部和使用者佩戴的头戴式壳体两者，该组图像传达关于使用者的一只或两只眼睛相对于头戴式壳体的位置信息。例如，该组图像可由使用者手中握持的设备(例如，个人计算设备230)中的图像传感器捕获(例如，如图2所示)。例如，使用者可将设备握持在他们的手中并且在捕获510该组图像时将图像传感器指向他们的头部。在一些具体实施中，使用者可转动他们的头部和/或沿他们头部周围的弧线移动他们的手以捕获510具有面部和头戴式壳体的多种视角的图像。例如，图3的一个或多个图像传感器330可用于捕获510该组图像。例如，该组图像可包括可见光谱颜色(例如，RGB或YUV)图像和/或红外图像。
过程500包括基于该组图像确定520使用者的第一只眼睛(例如，右眼114)相对于头戴式壳体的第一位置。确定520第一位置可包括使用应用于该组图像的计算机视觉处理来跟踪该组图像中使用者的面部和/或跟踪第一只眼睛。在一些具体实施中，可部分地基于使用者面部的先前注册的几何结构模型并且跟踪面部的一个或多个其他特征结构的集合来确定520第一眼睛的位置。例如，图6的过程600可被实施为确定520第一只眼睛相对于头戴式壳体的第一位置。确定520第一位置可包括使用应用于该组图像的计算机视觉处理来跟踪该组图像中的头戴式壳体。在一些具体实施中，跟踪定位在头戴式显示器上的标记(例如，所显示的标记或物理标记特征结构)有利于精确跟踪头戴式壳体的相关部分。例如，可基于第一只眼睛的跟踪数据和头戴式显示器上的标记(例如，标记160)的跟踪数据的比较来确定520第一只眼睛的第一位置。第一只眼睛的第一位置可被编码为头戴式壳体的坐标系中的三维矢量。第一只眼睛的第一位置可从头戴式壳体的坐标系中的原点偏移。过程500还可包括基于该组图像确定520使用者的第二只眼睛(例如，左眼116)相对于头戴式壳体的第二位置。可使用应用于该组图像的技术来确定520第二只眼睛的第二位置，该技术与用于确定520第一只眼睛的第一位置的技术相同或相似。例如，图6的过程600可被实施为确定520第二只眼睛相对于头戴式壳体的第二位置。
过程500包括基于该组图像确定530使用者的第一只眼睛(例如，右眼114)相对于头戴式壳体的第一取向。过程500还可包括基于该组图像确定530使用者的第二只眼睛(例如，左眼116)相对于头戴式壳体的第二取向。例如，确定530眼睛的取向可包括相对于使用者面部的一个或多个其他特征结构跟踪眼睛的瞳孔。例如，眼睛的取向可被编码为在头戴式壳体的坐标系中表示的欧拉角的三元组或者四元数。
过程500包括基于第一位置确定540用于与第一只眼睛相关联的第一虚拟摄像机的第一三维变换。过程500可包括基于第二位置确定540用于与第二只眼睛相关联的第二虚拟摄像机的第二三维变换。例如，该一个或多个三维变换可分别被编码为4×4 3-D变换矩阵。例如，该一个或多个三维变换可包括透视投影矩阵。例如，可相对于头戴式壳体的坐标系中的校准原点确定540第一三维变换和/或第二三维变换。在一些具体实施中，确定540用于眼睛的三维变换包括从查找表中检索预先计算的变换，该查找表由眼睛相对于头戴式壳体的位置的量化型式索引。在一些具体实施中，除了第一只眼睛的位置之外，还基于第一只眼睛的取向来确定540第一三维变换。在一些具体实施中，除了第二只眼睛的位置之外，还基于第二只眼睛的取向来确定540第二三维变换。
过程500包括基于第一位置确定550用于第一只眼睛和头戴式壳体的光学组件(例如，透镜)的第一失真标测图。过程500可包括基于第二位置确定550用于第二只眼睛和头戴式壳体的光学组件(例如，透镜)的第二失真标测图。在一些具体实施中，确定550用于眼睛的失真标测图包括从查找表中检索预先计算的失真标测图，该查找表由眼睛相对于头戴式壳体的位置的量化型式索引。在一些具体实施中，除了第一只眼睛的位置之外，还基于第一只眼睛的取向来确定540第一失真标测图。在一些具体实施中，除了第二只眼睛的位置之外，还基于第二只眼睛的取向来确定540第二失真标测图。
过程500包括将基于第一位置和第二位置的数据传输560到安装在头戴式壳体中的显示设备(例如，显示设备124)。在一些具体实施中，基于第一位置和第二位置的数据可包括在头戴式壳体的坐标系中编码为三维矢量的第一位置和第二位置。在一些具体实施中，基于第一位置和第二位置的数据可包括编码为矩阵的第一三维变换和/或第二三维变换。在一些具体实施中，基于第一位置和第二位置的数据可包括第一失真标测图和/或第二失真标测图。实现过程500的设备(例如，个人计算设备230)和显示设备(例如，显示设备124)可通过多对等连接进行通信。例如，QR码(例如，由显示设备呈现)可用于在查找与之通信的正确设备时有利于多对等连接。例如，数据可经由图3的无线通信接口340进行传输560。
可修改过程500以重新排序、替换、添加或省略图5中所包括的步骤。例如，将基于第一位置和第二位置的数据传输560到显示设备可被省略或替换为存储基于第一位置和第二位置的数据，其中用于捕获该组图像的装置也被用作显示设备(例如，通过在眼睛登记过程完成后将设备安装在头戴式壳体中)。例如，确定530一只或两只眼睛的取向可被省略。例如，确定540三维变换以及确定550失真标测图可被省略和/或由接收基于第一位置和第二位置的数据的显示设备替代执行，该显示设备将使用该校准数据向佩戴头戴式壳体的使用者呈现图像。
图6是用于确定使用者(例如，使用者110)的一只或两只眼睛相对于头戴式壳体(例如，头戴式壳体120)的位置的过程600的示例的流程图。过程600包括基于该组图像确定610使用者的另一面部特征结构相对于头戴式壳体的第三位置；访问用于使用者的面部几何结构模型；基于第三位置和面部几何结构模型确定该一只或两只眼睛(例如，右眼114和/或左眼116)的位置。通过使用其他面部特征结构的位置来估计眼睛的位置，登记过程可在为进行眼睛登记所捕获的一组图像中的头戴式显示器部分或完全遮挡眼睛(例如，光学组件完全或部分不透明)的情况下起作用。例如，过程600可由图1的显示设备124来实现。例如，过程600可由图2的个人计算设备230来实现。例如，过程600可由图3的系统300来实现。
过程600包括基于该组图像确定610使用者的另一面部特征结构(例如，鼻子、耳朵或嘴巴)相对于头戴式壳体的第三位置。确定610第三位置可包括使用应用于该组图像的计算机视觉处理来跟踪该组图像中使用者的面部和/或跟踪该面部特征结构。面部特征结构的第三位置可被编码为三维矢量。面部特征结构的第三位置可从头戴式壳体的坐标系中或者执行眼睛登记处理的装置的坐标系中的原点(例如，从佩戴头戴式壳体的使用者的手中)偏移。
过程600包括访问620用于使用者的面部几何结构模型。例如，先前可能已在使用者的面部生物识别轮廓登记过程期间确定和存储了使用者的面部几何结构模型。例如，可从数据存储设备(例如，数据存储设备320)检索面部几何结构模型。
过程600包括基于第三位置和面部几何结构模型确定630第一位置(例如，右眼114的第一位置)。过程600可包括基于第三位置和面部几何结构模型确定630第二位置(例如，左眼116的位置)。确定630第一位置可包括确定面部的取向并将与第一只眼睛相关联的矢量和来自几何面部模型的另一面部特征结构添加到第三位置。确定630第二位置可包括确定面部的取向并将与第二只眼睛相关联的矢量和来自几何面部模型的另一面部特征结构添加到第三位置。
图7是用于使用眼睛登记数据经由头戴式壳体(例如，头戴式壳体120)的光学组件(例如，光学组件126)向使用者(例如，使用者110)呈现图像的过程700的示例的流程图。过程700包括：接收710基于使用者眼睛的位置和/或取向的数据；访问720用于与眼睛相关联的相应虚拟摄像机的三维变换；将三维变换应用于730图像以获得变换图像；访问740用于相应眼睛和光学组件的失真标测图；将基于失真标测图的变换应用于750图像以获得变换图像；以及将相应变换图像从显示器经由头戴式壳体的光学组件投射到760使用者的相应眼睛。例如，过程700可由图1的显示设备124来实现。例如，过程700可由图4的系统400来实现。
过程700包括接收710基于使用者眼睛的位置和/或取向的数据。在一些具体实施中，基于使用者眼睛的位置和/或取向的数据可包括第一只眼睛(例如，右眼114)的第一位置和第二只眼睛(例如，左眼116)的第二位置。例如，该第一位置和第二位置可被编码为头戴式壳体的坐标系中的三维矢量。在一些具体实施中，基于使用者眼睛的位置和/或取向的数据可包括被编码为矩阵的第一只眼睛的第一三维变换和/或第二只眼睛的第二三维变换。在一些具体实施中，基于使用者眼睛的位置和/或取向的数据可包括用于第一只眼睛的第一失真标测图和/或用于第二只眼睛的第二失真标测图。例如，可从已执行眼睛登记过程(例如，图5的过程500))的装置(例如，个人计算设备230)接收710基于使用者眼睛的位置和/或取向的数据。例如，可使用图4的无线通信接口440来接收710基于使用者眼睛的位置和/或取向的数据。
过程700包括访问720用于与使用者的相应眼睛相关联的相应虚拟摄像机的一个或多个三维变换。确定该一个或多个三维变换的处理可以各种方式分布在发送装置(例如，个人计算设备230)和接收装置(例如，显示设备124)之间。例如，访问720该一个或多个三维变换可包括从执行眼睛登记过程(例如，图5的过程500)的装置接收到的消息中读取710该一个或多个三维变换。例如，该一个或多个三维变换可从数据存储设备(例如，数据存储设备420)中检索。例如，访问720该一个或多个三维变换可包括确定(例如，如关于图5的步骤540所描述的)基于数据(包括眼睛的位置和/或取向)的一个或多个三维变换，该数据从已执行眼睛登记过程的装置(例如，个人计算设备230)接收710。
过程700包括将一个或多个三维变换应用于730图像以获得变换图像。例如，过程700可包括将第一三维变换应用于730图像以获得第一变换图像(例如，用于右眼114)，并且将第二三维变换应用于730图像以获得第二变换图像(例如，用于左眼116)。
过程700包括访问740用于使用者的相应眼睛和光学组件的一个或多个失真标测图。确定该一个或多个失真标测图的处理可以各种方式分布在发送设备(例如，个人计算设备230)和接收设备(例如，显示设备124)之间。例如，访问720该一个或多个失真标测图可包括从执行眼睛登记过程(例如，图5的过程500)的设备接收到的消息中读取710一个或多个失真标测图。例如，该一个或多个三维变换可从数据存储设备(例如，数据存储设备420)中检索。例如，访问720该一个或多个失真标测图可包括确定(例如，如关于图5的步骤550所描述的)基于数据(包括眼睛的位置和/或取向)的一个或多个失真图，该数据从已执行眼睛登记过程的设备(例如，个人计算设备230)接收710。
过程700包括将基于失真标测图的变换应用于750图像以获得变换图像。例如，过程700可包括将基于第一失真标测图的变换应用于750图像以获得第一变换图像(例如，用于右眼114)，并且将基于第二失真标测图的变换应用于750图像以获得第二变换图像(例如，用于左眼116)。
过程700包括将变换图像从显示器(例如，显示器430)经由头戴式壳体的光学组件(例如，光学组件126)投射760到第一只眼睛(例如，右眼114)。过程700可包括将第二变换图像从显示器经由头戴式壳体的光学组件投射760到第二只眼睛(例如，左眼116)。
可修改过程700以重新排序、替换、添加或省略图7中所包括的步骤。例如，接收710基于眼睛的位置和/或取向的数据可被省略或者替换为访问基于第一位置和第二位置的数据，其中用于捕获该组图像的设备也被用作显示设备(例如，通过在眼睛登记过程完成后将装置安装在头戴式壳体中)。例如，访问740和应用750一个或多个失真标测图可被省略。
物理环境
a.物理环境是指人们在没有电子系统帮助的情况下能够感测和/或交互的物理世界。物理环境诸如物理公园包括物理物品，诸如物理树木、物理建筑物和物理人。人们能够诸如通过视觉、触觉、听觉、味觉和嗅觉来直接感测物理环境和/或与物理环境交互。
计算机生成现实
a.相反，计算机生成现实(CGR)环境是指人们经由电子系统感测和/或交互的完全或部分模拟的环境。在CGR中，跟踪人的物理运动的一个子组或其表示，并且作为响应，以符合至少一个物理定律的方式调节在CGR环境中模拟的一个或多个虚拟对象的一个或多个特征。例如，CGR系统可以检测人的头部转动，并且作为响应，以与此类视图和声音在物理环境中变化的方式类似的方式调节呈现给人的图形内容和声场。在一些情况下(例如，出于可达性原因)，对CGR环境中虚拟对象的特征的调节可以响应于物理运动的表示(例如，声音命令)来进行。
b.人可以利用其感官中的任一者来感测CGR对象和/或与CGR对象交互，包括视觉、听觉、触觉、味觉和嗅觉。例如，人可以感测音频对象和/或与音频对象交互，该音频对象创建3D或空间音频环境，该3D或空间音频环境提供3D空间中点音频源的感知。又如，音频对象可以使能音频透明度，该音频透明度在有或者没有计算机生成的音频的情况下选择性地引入来自物理环境的环境声音。在某些CGR环境中，人可以感测和/或只与音频对象交互。
c.CGR的示例包括虚拟现实和混合现实。
虚拟现实
a.虚拟现实(VR)环境是指被设计成对于一个或多个感官完全基于计算机生成的感官输入的模拟环境。VR环境包括人可以感测和/或交互的多个虚拟对象。例如，树木、建筑物和代表人的化身的计算机生成的图像是虚拟对象的示例。人可以通过在计算机生成的环境内人的存在的模拟、和/或通过在计算机生成的环境内人的物理运动的一个子组的模拟来感测和/或与VR环境中的虚拟对象交互。
混合现实
a.与被设计成完全基于计算机生成的感官输入的VR环境相比，混合现实(MR)环境是指被设计成除了包括计算机生成的感官输入(例如，虚拟对象)之外还引入来自物理环境的感官输入或其表示的模拟环境。在虚拟连续体上，混合现实环境是完全物理环境作为一端和虚拟现实环境作为另一端之间的任何状况，但不包括这两端。
b.在一些MR环境中，计算机生成的感官输入可以对来自物理环境的感官输入的变化进行响应。另外，用于呈现MR环境的一些电子系统可以跟踪相对于物理环境的位置和/或取向，以使虚拟对象能够与真实对象(即，来自物理环境的物理物品或其表示)交互。例如，系统可以导致运动使得虚拟树木相对于物理地面看起来是静止的。
c.混合现实的示例包括增强现实和增强虚拟。
d.增强现实
i.增强现实(AR)环境是指其中一个或多个虚拟对象叠加在物理环境或其表示之上的模拟环境。例如，用于呈现AR环境的电子系统可以具有透明或半透明显示器，人可以透过它直接查看物理环境。该系统可以被配置为在透明或半透明显示器上呈现虚拟对象，使得人利用该系统感知叠加在物理环境之上的虚拟对象。另选地，该系统可以具有不透明显示器和一个或多个成像传感器，该成像传感器捕获物理环境的图像或视频，这些图像或视频是物理环境的表示。该系统将图像或视频与虚拟对象组合，并在不透明显示器上呈现组合物。人利用该系统经由物理环境的图像或视频而间接地查看物理环境，并且感知叠加在物理环境之上的虚拟对象。如本文所用，在不透明显示器上显示的物理环境的视频被称为“透传视频”，意味着系统使用一个或多个图像传感器捕获物理环境的图像，并且在通过不透明显示器呈现AR环境时使用那些图像。进一步另选地，系统可以具有投影系统，该投影系统将虚拟对象投射到物理环境中，例如作为全息图或者在物理表面上，使得人利用系统感知叠加在物理环境之上的虚拟对象。
ii.增强现实环境也是指其中物理环境的表示被计算机生成的感官信息进行转换的模拟环境。例如，在提供透传视频中，系统可以对一个或多个传感器图像进行转换以施加与成像传感器所捕获的视角不同的视角(例如，视点)。又如，物理环境的表示可以通过图形地修改(例如，放大)其部分而进行转换，使得修改后的部分可以是原始捕获图像的代表性的但不是真实的版本。又如，物理环境的表示可以通过以图形方式消除或模糊其部分而进行转换。
e.增强虚拟
i.增强虚拟(AV)环境是指其中虚拟或计算机生成的环境结合来自物理环境的一个或多个感官输入的模拟环境。感官输入可以是物理环境的一个或多个特征的表示。例如，AV公园可以具有虚拟树木和虚拟建筑物，但人的脸部是从对物理人拍摄的图像逼真再现的。又如，虚拟对象可以采用由一个或多个成像传感器成像的物理物品的形状或颜色。又如，虚拟对象可以采用符合太阳在物理环境中的位置的阴影。
硬件
有许多不同类型的电子系统使人能够感测各种CGR环境和/或与各种CGR环境交互。示例包括头戴式系统、基于投影的系统、平视显示器(HUD)、集成有显示能力的车辆挡风玻璃、集成有显示能力的窗户、被形成为被设计用于放置在人眼睛上的透镜的显示器(例如，类似于隐形眼镜)、耳机/听筒、扬声器阵列、输入系统(例如，具有或没有触觉反馈的可穿戴或手持控制器)、智能电话、平板电脑和台式/膝上型计算机。头戴式系统可以具有一个或多个扬声器和集成的不透明显示器。另选地，头戴式系统可以被配置为接受外部不透明显示器(例如，智能电话)。
如上所述，本技术的一个方面是收集和使用可从各种来源获得的数据以改善图像质量和用户体验。本公开预期，在一些实例中，这些所采集的数据可包括唯一地识别或可用于联系或定位特定人员的个人信息数据。此类个人信息数据可包括人口统计数据、基于位置的数据、电话号码、电子邮件地址、twitter ID、家庭地址、与用户的健康或健身等级相关的数据或记录(例如，生命信号测量、药物信息、锻炼信息)、出生日期、或任何其他标识或个人信息。
本公开认识到在本发明技术中使用此类个人信息数据可用于使用户受益。例如，个人信息数据可用于定制在头戴式壳体中显示的图像，以用于用户头部的拓扑。此外，本公开还预期个人信息数据有益于用户的其他用途。例如，健康和健身数据可用于向用户的总体健康状况提供见解，或者可用作使用技术来追求健康目标的个人的积极反馈。本公开设想负责采集、分析、公开、传输、存储或其他使用此类个人信息数据的实体将遵守既定的隐私政策和/或隐私实践。具体地，此类实体应当实行并坚持使用被公认为满足或超出对维护个人信息数据的隐私性和安全性的行业或政府要求的隐私政策和实践。此类策略应该能被用户方便地访问，并应当随着数据的采集和/或使用变化而被更新。来自用户的个人信息应当被收集用于实体的合法且合理的用途，并且不在这些合法使用之外共享或出售。此外，在收到用户知情同意后，应进行此类采集/共享。此外，此类实体应考虑采取任何必要步骤，保卫和保障对此类个人信息数据的访问，并确保其他有权访问个人信息数据的人遵守其隐私政策和流程。另外，这种实体可使其本身经受第三方评估以证明其遵守广泛接受的隐私政策和做法。此外，应当调整政策和实践，以便采集和/或访问的特定类型的个人信息数据，并适用于包括管辖范围的具体考虑的适用法律和标准。例如，在美国，对某些健康数据的收集或获取可能受联邦和/或州法律的管辖，诸如健康保险转移和责任法案(HIPAA)；而其他国家的健康数据可能受到其他法规和政策的约束并应相应处理。因此，在每个国家应为不同的个人数据类型保持不同的隐私实践。不管前述情况如何，本公开还预期用户选择性地阻止使用或访问个人信息数据的实施方案。即本公开预期可提供硬件元件和/或软件元件，以防止或阻止对此类个人信息数据的访问。例如，本技术可被配置为允许用户在注册服务期间或其后随时选择参与采集个人信息数据的“选择加入”或“选择退出”。除了提供“选择加入”和“选择退出”选项外，本公开设想提供与访问或使用个人信息相关的通知。例如，可在下载应用时向用户通知其个人信息数据将被访问，然后就在个人信息数据被应用访问之前再次提醒用户。
此外，本公开的目的是应管理和处理个人信息数据以最小化无意或未经授权访问或使用的风险。一旦不再需要数据，通过限制数据采集和删除数据可最小化风险。此外，并且当适用时，包括在某些健康相关应用程序中，数据去标识可用于保护用户的隐私。可在适当时通过移除特定标识符(例如，出生日期等)、控制所存储数据的量或特异性(例如，在城市级别而不是在地址级别收集位置数据)、控制数据如何被存储(例如，在用户上聚集数据)、和/或其他方法来促进去标识。
因此，尽管本公开广泛地覆盖了使用个人信息数据来实现一个或多个各种所公开的实施方案，但本公开还设想各种实施方案也可在无需访问此类个人信息数据的情况下被实现。即，本发明技术的各种实施方案不会由于缺少此类个人信息数据的全部或一部分而无法正常进行。例如，可基于非个人信息数据或绝对最小量的个人信息(诸如与用户相关联的设备所请求的内容、适用于头戴式壳体的其他非个人信息或公开可用信息)来配置头戴式壳体。
虽然已结合某些实施方案描述了本公开，但应当理解，本公开并不限于所公开的实施方案，相反，其旨在涵盖所附权利要求范围内所包括的各种修改形式和等同布置，所述范围将被赋予最广泛的解释，以便涵盖所有此类修改形式和等同结构。

Claims (20)

1.一种系统，包括：
个人计算设备中的图像传感器；和
处理装置，所述处理装置被配置为：
访问使用所述图像传感器捕获的一组图像，所述一组图像描绘了使用者的面部和所述使用者佩戴的头戴式壳体，其中所述头戴式壳体与所述个人计算设备分离，所述头戴式壳体包括具有施加到内表面的部分反射偏振膜的透镜，所述透镜被配置为在显示器和所述使用者的第一只眼睛两者位于相比所述透镜的外表面更接近所述透镜的内表面的位置时，将由所述显示器生成的光反射到所述第一只眼睛，并且其中所述一组图像包括标记和所述第一只眼睛穿过所述透镜的视图，所述标记被呈现在所述显示器上或者所述标记是所述头戴式壳体的物理特征；以及
基于包含在所述一组图像中的针对所述第一只眼睛的跟踪数据和针对所述标记的跟踪数据来确定所述使用者的第一只眼睛相对于所述头戴式壳体的第一位置。
2.根据权利要求1所述的系统，其中所述处理装置被配置为：
基于所述一组图像来确定所述使用者的第二只眼睛相对于所述头戴式壳体的第二位置。
3.根据权利要求1所述的系统，其中所述处理装置被配置为：
基于所述一组图像来确定所述使用者的所述第一只眼睛相对于所述头戴式壳体的第一取向。
4.根据权利要求1所述的系统，其中所述处理装置被配置为：
基于所述第一位置来确定用于与所述第一只眼睛相关联的第一虚拟摄像机的三维变换。
5.根据权利要求4所述的系统，包括显示器，并且其中所述处理装置被配置为：
将所述三维变换应用于图像以获得变换图像；以及
将所述变换图像从所述显示器经由所述头戴式壳体的光学组件投射到所述第一只眼睛。
6.根据权利要求1所述的系统，其中所述处理装置被配置为：
基于所述第一位置来确定所述第一只眼睛和所述头戴式壳体的光学组件的失真标测图。
7.根据权利要求6所述的系统，包括显示器，并且其中所述处理装置被配置为：
将基于所述失真标测图的变换应用于图像以获得变换图像；以及
将所述变换图像从所述显示器经由所述头戴式壳体的光学组件投射到所述第一只眼睛。
8.根据权利要求1所述的系统，其中所述处理装置被配置为通过执行包括以下的操作来确定所述第一位置：
基于所述一组图像来确定所述使用者的另一面部特征结构相对于所述头戴式壳体的第二位置；
访问用于所述使用者的面部几何结构模型；以及
基于所述第二位置和所述面部几何结构模型来确定所述第一位置。
9.根据权利要求1所述的系统，包括无线通信接口，并且其中所述处理装置被配置为：
将基于所述第一位置的数据传输到安装在所述头戴式壳体中的显示设备。
10.一种方法，包括：
使用个人计算设备捕获一组图像，所述一组图像描绘了使用者的面部和所述使用者佩戴的头戴式壳体，其中所述头戴式壳体与所述个人计算设备分离，所述头戴式壳体包括具有施加到内表面的部分反射偏振膜的透镜，所述透镜被配置为在显示器和所述使用者的第一只眼睛两者位于相比所述透镜的外表面更接近所述透镜的内表面的位置时，将由所述显示器生成的光反射到所述第一只眼睛，并且其中所述一组图像包括标记和所述第一只眼睛穿过所述透镜的视图，所述标记被呈现在所述显示器上或者所述标记是所述头戴式壳体的物理特征；
基于包含在所述一组图像中的针对所述第一只眼睛的跟踪数据和针对所述标记的跟踪数据来确定所述使用者的第一只眼睛相对于所述头戴式壳体的第一位置；以及
基于所述一组图像来确定所述使用者的第二只眼睛相对于所述头戴式壳体的第二位置。
11.根据权利要求10所述的方法，包括：
基于所述一组图像来确定所述使用者的所述第一只眼睛相对于所述头戴式壳体的第一取向；以及
基于所述一组图像来确定所述使用者的所述第二只眼睛相对于所述头戴式壳体的第二取向。
12.根据权利要求10所述的方法，包括：
基于所述第一位置来确定用于与所述第一只眼睛相关联的第一虚拟摄像机的三维变换。
13.根据权利要求12所述的方法，包括：
将所述三维变换应用于图像以获得变换图像；以及
将所述变换图像从显示器经由所述头戴式壳体的光学组件投射到所述第一只眼睛。
14.根据权利要求12所述的方法，其中所述三维变换是第一三维变换，并且所述方法包括：
基于所述第二位置来确定用于与所述第二只眼睛相关联的第二虚拟摄像机的第二三维变换。
15.根据权利要求14所述的方法，包括：
将所述第一三维变换应用于图像以获得第一变换图像；
将所述第一变换图像从显示器经由所述头戴式壳体的光学组件投射到所述第一只眼睛；
将所述第二三维变换应用于图像以获得第二变换图像；以及
将所述第二变换图像从所述显示器经由所述头戴式壳体的所述光学组件投射到所述第二只眼睛。
16.根据权利要求10所述的方法，包括：
基于所述第一位置来确定所述第一只眼睛和所述头戴式壳体的光学组件的失真标测图。
17.根据权利要求16所述的方法，包括：
将基于所述失真标测图的变换应用于图像以获得变换图像；以及
将所述变换图像从显示器经由所述头戴式壳体的光学组件投射到所述第一只眼睛。
18.根据权利要求10所述的方法，其中确定所述第一位置和所述第二位置包括：
基于所述一组图像来确定所述使用者的另一面部特征结构相对于所述头戴式壳体的第三位置；
访问用于所述使用者的面部几何结构模型；
基于所述第三位置和所述面部几何结构模型来确定所述第一位置；以及
基于所述第三位置和所述面部几何结构模型来确定所述第二位置。
19.根据权利要求10所述的方法，包括：
将基于所述第一位置和所述第二位置的数据传输到安装在所述头戴式壳体中的显示设备。
20.根据权利要求10所述的方法，其中所述一组图像由所述使用者的手中握持的设备中的图像传感器捕获。
CN201910368805.4A 2018-05-15 2019-05-05 用于头戴式壳体的眼睛登记 Active CN110488489B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US201862671651P 2018-05-15 2018-05-15
US62/671,651 2018-05-15

Publications (2)

Publication Number Publication Date
CN110488489A CN110488489A (zh) 2019-11-22
CN110488489B true CN110488489B (zh) 2022-10-11

Family

ID=68532555

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910368805.4A Active CN110488489B (zh) 2018-05-15 2019-05-05 用于头戴式壳体的眼睛登记

Country Status (2)

Country Link
US (1) US20190354175A1 (zh)
CN (1) CN110488489B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11733824B2 (en) * 2018-06-22 2023-08-22 Apple Inc. User interaction interpreter
US10885819B1 (en) * 2019-08-02 2021-01-05 Harman International Industries, Incorporated In-vehicle augmented reality system
US12073530B1 (en) * 2022-09-23 2024-08-27 Apple Inc. 3D representation adjustments for communication sessions

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103748598A (zh) * 2011-05-20 2014-04-23 爱福露恩斯公司 用于识别视线跟踪场景参考位置的系统和方法

Family Cites Families (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9217868B2 (en) * 2007-01-12 2015-12-22 Kopin Corporation Monocular display device
US8957835B2 (en) * 2008-09-30 2015-02-17 Apple Inc. Head-mounted display apparatus for retaining a portable electronic device with display
JP5791131B2 (ja) * 2010-07-20 2015-10-07 アップル インコーポレイテッド 自然な相互作用のための相互作用的現実拡張
US8941559B2 (en) * 2010-09-21 2015-01-27 Microsoft Corporation Opacity filter for display device
CN102045577B (zh) * 2010-09-27 2013-03-27 昆山龙腾光电有限公司 用于三维立体显示的观察者跟踪系统及三维立体显示系统
CN103261944A (zh) * 2010-12-28 2013-08-21 洛克希德马丁公司 采用一个或多个反射光表面的头戴式显示装置
US9160906B2 (en) * 2011-02-03 2015-10-13 Jason R. Bond Head-mounted face image capturing devices and systems
US9380287B2 (en) * 2012-09-03 2016-06-28 Sensomotoric Instruments Gesellschaft Fur Innovative Sensorik Mbh Head mounted system and method to compute and render a stream of digital images using a head mounted display
US20140104692A1 (en) * 2012-10-11 2014-04-17 Sony Computer Entertainment Europe Limited Head mountable display
US9256987B2 (en) * 2013-06-24 2016-02-09 Microsoft Technology Licensing, Llc Tracking head movement when wearing mobile device
JP6353214B2 (ja) * 2013-11-11 2018-07-04 株式会社ソニー・インタラクティブエンタテインメント 画像生成装置および画像生成方法
JP6364936B2 (ja) * 2014-05-07 2018-08-01 セイコーエプソン株式会社 画像表示装置
US9910275B2 (en) * 2015-05-18 2018-03-06 Samsung Electronics Co., Ltd. Image processing for head mounted display devices
US20160378204A1 (en) * 2015-06-24 2016-12-29 Google Inc. System for tracking a handheld device in an augmented and/or virtual reality environment
US10156723B2 (en) * 2016-05-12 2018-12-18 Google Llc Display pre-distortion methods and apparatus for head-mounted displays
KR102402467B1 (ko) * 2016-10-05 2022-05-25 매직 립, 인코포레이티드 혼합 현실 교정을 위한 안구주위 테스트
CN106444032A (zh) * 2016-10-18 2017-02-22 浙江舜通智能科技有限公司 头戴式显示装置
CN107976813A (zh) * 2017-12-31 2018-05-01 深圳市虚拟现实科技有限公司 反射式增强现实头显

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103748598A (zh) * 2011-05-20 2014-04-23 爱福露恩斯公司 用于识别视线跟踪场景参考位置的系统和方法

Also Published As

Publication number Publication date
CN110488489A (zh) 2019-11-22
US20190354175A1 (en) 2019-11-21

Similar Documents

Publication Publication Date Title
CN110954083B (zh) 移动设备的定位
US11828940B2 (en) System and method for user alerts during an immersive computer-generated reality experience
US11825103B2 (en) Gaze-driven recording of video
CN110673718B (zh) 用于显示系统的基于聚焦的调试和检查
US11308686B1 (en) Captured image data in a computer-generated reality environment
CN110488489B (zh) 用于头戴式壳体的眼睛登记
CN118011648A (zh) 头戴式设备的光学模块
CN212112404U (zh) 头戴式设备及用于共享数据的系统
CN115755397A (zh) 具有低光操作的头戴式显示器
US11800231B2 (en) Head-mounted display
CN111859199A (zh) 在环境中定位内容
US11366981B1 (en) Data augmentation for local feature detector and descriptor learning using appearance transform
US11749018B1 (en) Eye enrollment for head-mounted enclosure
US20240069688A1 (en) Head-Mounted Electronic Device with Magnification Tool
US12052430B2 (en) Energy efficient context relevant processing for content
US11361473B1 (en) Including a physical object based on context
EP4425324A1 (en) Cross-platform sharing of displayed content for electronic devices
WO2024044556A1 (en) Head-mounted electronic device with magnification tool
WO2023192047A1 (en) Energy efficient context relevant processing for content
CN118394248A (zh) 扩展现实中的数字助理放置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant