CN113940055A

CN113940055A - 具有视场移动控制的成像设备

Info

Publication number: CN113940055A
Application number: CN202080041343.6A
Authority: CN
Inventors: 寒超; 刘非
Original assignee: Facebook Technologies LLC
Current assignee: Meta Platforms Technologies LLC
Priority date: 2019-06-21
Filing date: 2020-06-05
Publication date: 2022-01-14
Also published as: US10819898B1; EP3987355B1; EP3987355A1; WO2020256968A1

Abstract

一种成像设备，包括聚焦元件、图像传感器和致动器，该致动器被配置为使图像传感器和聚焦元件中的至少一个相对于彼此平移。成像设备的控制器被配置为：使用图像传感器来捕获图像帧，该图像帧包括对象的图像的至少一部分；确定对象的图像在图像帧中的当前位置；确定当前位置与对象的图像在图像帧中的目标位置的偏差；以及操作致动器以减小偏差。以这种方式，对象的图像可以被引导到捕获的图像帧的中心。这种成像设备可以用作近眼显示器中的自对准眼睛跟踪相机。

Description

具有视场移动控制的成像设备

相关申请的交叉引用

本申请要求2019年6月21日提交的美国申请第16/448,858号的优先权，该申请的内容为了所有目的通过引用以其整体并入本文。

技术领域

本公开涉及成像设备、系统和方法，尤其涉及有适应能力的成像设备、系统和方法。

背景

头戴式显示器(HMD)、头盔式显示器、近眼显示器(NED)等正越来越多地用于显示虚拟现实(VR)内容、增强现实(AR)内容、混合现实(MR)内容，并且它们正在包括娱乐、教育、培训和生物医学科学等在内的不同领域中找到应用。VR/AR/MR内容可以是三维的(3D)以增强体验，并且在一些情况下，以将虚拟对象匹配到被用户观察到的真实对象。

可以实时跟踪VR/AR/MR系统的用户的眼睛位置和凝视(gaze)方向，以便根据用户的凝视方向动态调整显示的图像，以提供沉浸在模拟或增强环境中的更好的体验，并执行一些依赖于凝视的、特定于应用的功能。被称为眼睛跟踪相机的专用相机可以用于确定用户的凝视方向和凝视会聚角度。眼睛跟踪相机拍摄用户眼睛的多个图像，眼睛可以用红外照明器照明。控制器然后可以实时分析眼睛图像，并根据图像确定眼睛位置和定向。

普通眼戴装置，如眼镜，有各种尺寸和形状，以适应具有不同面部特征和瞳孔间距(IPD)(即用户眼睛瞳孔中心之间的距离)的用户。然而，近眼显示器通常只有一种尺寸(出于经济原因)，并且显示器被制作成可调整的以适应不同的用户。

用户可以基于近眼显示器提供的图像如何呈现给用户来调整他们的近眼显示器。然而，对于眼睛跟踪相机来说，这种调整可能不容易完成，因为用户通常没有关于眼睛跟踪相机相对于用户眼睛的位置的直接反馈。用户甚至可能不会察觉到这种相机存在于他们佩戴的近眼显示器中。

概述

根据本公开，提供了一种成像设备，包括：聚焦元件，其用于在焦平面处形成对象的图像，该聚焦元件在焦平面处具有像圈(image circle)；图像传感器，其对角线小于像圈，用于捕获对象的图像；致动器，其被配置为使图像传感器或聚焦元件中的至少一个相对于彼此横向地平移，以在聚焦元件的像圈内移动图像传感器的位置；以及可操作地耦合到图像传感器和致动器的控制器。控制器被配置为使用图像传感器来捕获包括对象的图像的至少一部分的图像帧，确定对象的图像在图像帧中的当前位置，确定当前位置与对象的图像在图像帧中的目标位置的偏差，以及操作致动器来减小偏差。成像设备可以是眼睛跟踪相机，用于在近眼显示器中跟踪用户眼睛的运动。

在一些实施例中，致动器被配置为相对于聚焦元件平移图像传感器。在一些实施例中，当致动器未通电时，图像传感器相对于聚焦元件离轴设置。致动器可以被配置为将图像传感器的位置移动像圈尺寸的至少10％或者像圈尺寸的至少25％。致动器可以被配置为在二维方向上横向地平移图像传感器或聚焦元件中的至少一个。聚焦元件可以包括透镜元件或透镜元件的堆叠。致动器可以包括音圈电机、压电致动器或耦合到加热器的形状记忆合金中的至少一种。

根据本公开，提供了一种眼睛跟踪相机，其包括用于在焦平面处形成用户眼睛的图像的聚焦元件以及图像传感器，该聚焦元件具有光轴和在焦平面处的像圈，该图像传感器的对角线小于像圈，用于捕获用户眼睛的图像，其中图像传感器被离轴设置在焦平面处并设置在像圈的边缘处。像圈的直径可以等于或大于图像传感器的对角线的1.5倍，或者甚至大于图像传感器的对角线的2倍。

根据本公开，还提供了一种用于近眼显示器的方法。该方法包括由成像设备捕获包括眼睛图像的图像帧，该成像设备包括聚焦元件、图像传感器以及致动器，该图像传感器在聚焦元件的焦平面处并且在聚焦元件的像圈内，该图像传感器具有小于像圈的对角线，致动器被配置为使图像传感器或聚焦元件中的至少一个相对于彼此横向地平移以在像圈内移动图像传感器的位置。确定眼睛图像在图像帧中的当前位置。确定当前位置与眼睛图像在图像帧中的目标位置的偏差。操作致动器以减小偏差。

在一些实施例中，致动器被操作以相对于聚焦元件平移图像传感器。致动器可以将图像传感器的位置移动像圈尺寸的至少10％或者像圈尺寸的至少25％。在将近眼显示器固定在用户头部上时，可以执行如下操作：捕获图像帧，确定用户眼睛的当前位置，确定当前位置与目标位置的偏差，以及操作致动器来减小偏差。可以以规则的时间间隔重复以下操作以减小偏差：捕获图像帧，确定用户眼睛的当前位置，确定当前位置与目标位置的偏差，以及操作致动器。

附图简述

现在将结合附图描述示例性实施例，其中：

图1A是本公开的成像设备的示意性截面图，该成像设备具有用于相对于聚焦元件平移图像传感器的致动器；

图1B是本公开的成像设备的示意性截面图，该设备具有用于相对于图像传感器平移聚焦元件的致动器；

图2A是图1A的成像设备在图像传感器的初始位置处的示意性截面图；

图2B是图1A的成像设备在图像传感器的调整位置处的示意性截面图；

图3A是用于调整图像传感器位置或聚焦元件位置的致动器的音圈电机实施例的示意性截面图；

图3B是用于调整图像传感器位置或聚焦元件位置的致动器的压电电机实施例的示意性截面图；

图3C是用于调整图像传感器位置或聚焦元件位置的致动器的形状记忆合金实施例的示意性截面图；

图4是没有致动器的成像设备实施例的示意性截面图；

图5是图像传感器和聚焦元件的像圈的平面图；

图6是用于操作包括图1A和图1B的成像设备的眼睛跟踪相机的方法的流程图；

图7是用于操作图1A和图1B的成像设备的方法的流程图；

图8是使用本文公开的成像设备作为眼睛跟踪相机的近眼显示器的俯视截面图；

图9A是使用本文公开的成像设备的本公开的头戴式显示器的等距视图；以及

图9B是包括图9A的头戴装置的虚拟现实系统的框图。

详细描述

虽然结合各种实施例和示例描述了本教导，但是意图并不是本教导被限制到这样的实施例。相反，本教导包括各种替代和等同物，如本领域技术人员所理解的。本文中叙述本公开的原理、方面和实施例以及其特定示例的所有陈述旨在包括其结构和功能等同物。另外，意图是这样的等同物包括当前已知的等同物以及将来开发的等同物两者，即执行相同功能的所开发的任何要素，而不考虑结构。

如在本文所使用的，除非明确规定，否则术语“第一”、“第二”等并不意欲暗示顺序次序，而是更确切地意欲将一个要素与另一个要素区分开。类似地，除非明确规定，否则方法步骤的顺序次序并不暗示它们执行的顺序次序。

眼睛跟踪相机可以放置在近眼显示设备的一侧。当用户佩戴近眼显示设备时，相机可以指向用户眼睛所在的位置。然而，由于在用户头部上支撑近眼显示器的用户面部特征(例如颧骨和鼻子)的大小和位置的差异以及不同用户的不同的瞳孔间距(IPD)，一个或更多个眼睛跟踪相机可能对于一些用户来说不是最佳放置的，使得仅用户眼睛的一部分对相机可见。非最佳放置可能会妨碍甚至完全使相机的眼睛跟踪功能无法使用。

根据本公开，眼睛跟踪相机，或者更一般地，用于对对象成像的成像设备，可以包括致动器，该致动器被配置为使相机的图像传感器或聚焦元件中的至少一个相对于彼此横向地平移，以在聚焦元件的像圈内移动图像传感器的位置。控制器可以被配置为捕获包括对象的图像的至少一部分的图像帧，并且被配置为操作致动器以将对象的图像引导到帧的中心，或者至少减小对象图像的当前位置与最佳位置的偏差。

参考图1A，成像设备100A包括聚焦元件101，聚焦元件101具有光轴110和形成图像的焦平面112。聚焦元件101可以由相机主体102支撑。图像传感器105可以由衬底104支撑。图像传感器105可以包括例如硅电荷耦合器件(CCD)或互补金属氧化物半导体(CMOS)传感器，其能够对可见光、红外(IR)和/或紫外(UV)范围的光敏感。致动器103可以被安装在相机主体102内。致动器103可以支撑图像传感器105的衬底104，并且可以被配置为相对于聚焦元件101横向地(例如沿着x轴或y轴并且垂直于z轴)平移相机主体102内部的图像传感器105。该平移移动了图像传感器105在聚焦元件101的像圈内的位置。控制器107可操作地耦合到图像传感器105和致动器103。控制器107的功能将在下面进一步描述。

聚焦元件101(例如透镜)例如在焦平面112处形成对象(例如人眼)的图像。透镜可以包括单个透镜元件(例如球面或非球面透镜)或者这种元件的堆叠。堆叠可以是环氧树脂的、油间隔的、空气间隔的等等。聚焦致动器(未示出)可以沿着平行于z轴的光轴110调整聚焦元件101和图像传感器105之间的距离，以便将图像传感器105引导到聚焦元件101的焦平面112。

参考图1B，成像设备100B类似于图1A的成像设备100A。在图1B的成像设备100B中，致动器103支撑聚焦元件101而不是图像传感器105。致动器103可以被配置为相对于图像传感器105横向地(例如沿着x轴和/或y轴并且垂直于z轴)平移相机主体102内的聚焦元件101，以在聚焦元件101的像圈内移动图像传感器105的位置。更一般地，致动器103可以被配置为在一维或二维中，使图像传感器105或聚焦元件101中的至少一个相对于彼此横向地平移，以在聚焦元件101的像圈内移动图像传感器105的位置。

本文中，术语“像圈”是指焦平面112上可以形成可接受质量的图像的区域。对于大多数聚焦元件101，例如透镜，像圈具有圆形形状。对于一些聚焦元件，例如自由棱镜聚焦元件，例如，可接受的图像区域形状可以是非圆形的。注意，本文使用的术语“像圈”应被广义地理解为也包括非圆形图像形成区域。

参考图2A，成像设备100A的图像传感器105处于初始位置，在该示例中，该初始位置是中心位置(“轴上(on-axis)”位置)。也可以使用图像传感器105的偏心或离轴(off-axis)初始位置(其中图像传感器105偏离聚焦元件101的像圈的中心)。控制器107可以使用图像传感器105来捕获图像帧，该图像帧包括用户眼睛106的至少一部分或者要成像的面部特征的另一个对象，例如，泪阜(caruncle)、上/下眼睑、眉毛、眉间/鼻子区域、颞下区域等。

控制器107然后可以确定眼睛106的图像在捕获的图像帧中的当前位置。确定眼睛图像的当前位置与眼睛图像在图像帧中的目标位置(例如中心位置)的偏差。一旦知道了偏差，就可以通过在减小偏差的方向上移动或滑动传感器105来校正偏差。

转到图2B，操作致动器103以减小眼睛图像与期望位置的偏差。在该示例中，致动器103沿着x轴向下移动图像传感器105，使得眼睛图像更接近于位于图像传感器105的中心。根据显示器配置，偏移量可能很大。在一些实施例中，图像传感器105的位置被移动像圈尺寸的至少10％，或者像圈尺寸的至少以25％甚至50％。然后第二个图像帧可以被拍摄以确认进展。

各种类型的致动器103可以被使用。参考图3A，音圈致动器303A是图1A和图1B以及图2A和图2B的致动器103的实施例。音圈致动器303A包括永磁体305，永磁体305根据施加到线圈307的电流的方向被线圈307吸引或排斥。两个线圈307可以附接到图像传感器105的衬底104上，用于推拉操作。在音圈致动器303A中，线圈307或磁体305可以被弹簧加载并附接到图像传感器105、聚焦元件101或两者。只能使用一对线圈-磁体。这类似于扬声器，其中音圈安装在扬声器的振膜(diaphragm)上，而永磁体安装在扬声器的基座上。

在一些实施例中，致动器103可以包括压电电机。参考图3B，压电致动器303B包括机械地耦合到图像传感器105的衬底104的压电元件309的列。压电元件309被堆叠以增加致动器的总行程距离。当电压被施加到压电元件309的列时，压电元件309的列收缩或延伸，从而相对于相机主体/聚焦元件(未示出)移动图像传感器105。

现在转到图3C，记忆合金致动器303C包括热耦合到加热器元件311(例如电阻加热器)的形状记忆合金元件310。形状记忆合金可以根据温度可逆地改变其形状。当电流被施加到加热器元件311时，加热器元件311热起来，形状记忆合金元件310的温度增加。随着温度变化，形状记忆合金元件310膨胀或收缩，从而相对于相机主体/聚焦元件(未示出)移动图像传感器105。还应注意，图3A至图3C所示的致动器303A至303C可以代替图像传感器105或者作为图像传感器105的附加，被耦合到聚焦元件101。

在成像设备的一些实施例中，致动器103可以完全省略。参考图4，眼睛跟踪相机400包括聚焦元件101(例如透镜)，其被配置用于在焦平面112处形成用户眼睛106的图像。图像传感器105离轴(即偏离光轴110)地放置在焦平面112处，并且可以被设置在聚焦元件101的像圈的边缘处。这种配置的一个优点是焦平面112可以保持平行于眼间平面402，即用户双眼106的瞳孔108设置在其中的平面。这有助于捕获没有透视投影失真的眼睛图像，并且可以简化用于眼睛跟踪的相机失真校准过程，因为在捕获的图像中不会引入透视投影失真。

图5示出了相对于像圈500的图像传感器105的位置。在图5中，图像传感器105设置在像圈500的边缘502处。图像传感器105具有小于像圈500尺寸的传感器对角线504，即传感器在焦平面112中的最大线性维度。在一些实施例中，像圈500的直径等于或大于传感器对角线504长度的1.5倍，或者甚至等于或大于传感器对角线504长度的2倍。这种配置适用于图4的眼睛跟踪相机400和图1A和图1B各自的成像设备100A、100B。在成像设备100A、100B的情况下，致动器103可以被配置为平移图像传感器105穿过像圈500的大部分或整个区域，即沿着X轴和Y轴中的任一个或两个平移图像传感器105。

通过使图像传感器105和/或聚焦元件101中的一个相对于彼此平移(而不是将整个成像设备朝向新的眼睛位置旋转)来调整成像设备100A、100B的视场(FOV)，这样做的一个优点是，在聚焦元件101的像圈500内调整图像传感器105的位置不会产生透视投影失真，这简化了成像设备100A、100B的校准过程。这种调整可以允许人们使用尺寸小得多的成像传感器，这可以显著降低成本，因为图像传感器的价格通常与其感光面积成比例。此外，对于现场操作，相机主体102内部的小平移器可证明比整个成像设备的相对大的旋转器更可靠。

现在参考图6，用于操作近眼显示器的眼睛跟踪相机的方法600包括激活(602)近眼显示器的眼睛跟踪特征。该激活例如可以在设备通电时将近眼显示器放在用户的头上时发生。图像传感器105用于捕获包括眼睛图像的至少一部分的图像帧(604)。然后，可以通过分析眼睛图像的瞳孔、角膜、巩膜、眼睑、泪阜、眉毛等在图像帧中的位置来确定(606)眼睛图像在捕获的帧中的位置。如果帧中仅存在眼睛图像的一部分，则可以执行外推以确定眼睛的近似位置。

可以计算(608)眼睛图像的当前位置和期望位置之间的差，期望位置例如是捕获的帧中的中心位置，或者是使近眼显示器的控制器能够可靠地确定眼睛真实位置和/或凝视方向的另一位置。如果眼睛图像位置不在期望位置的阈值距离内(即，目标位置，在框610处“否”)，则致动器，例如图1A、图1B、图2A和图2B的致动器103和/或图3A的致动器303A、图3B的致动器303B或图3C的致动器303C，被通电，以在聚焦元件101和图像传感器105之间引入可控的横向移动，从而在像圈500内将图像传感器105的位置移动(612)到更接近目标位置。然后，另一个眼睛图像(604)可以被捕获，并且图像帧中的眼睛位置可以被确定(606)。眼睛图像在帧中的当前位置和目标位置之间的偏差再次被确定(608)。如果眼睛图像位置现在在距离目标位置的阈值距离内，则FOV调整被认为完成(614)，并且眼睛跟踪过程可以开始(616)。眼睛跟踪可以包括拍摄用户眼睛的一系列图像，并实时确定眼睛定向或凝视方向。多个照明器，例如红外(IR)照明器，可以用于照亮用户的眼睛，在用户的眼睛中形成小的反射(闪烁)。通过将眼睛瞳孔和/或角膜与闪烁位置进行比较，眼睛凝视方向可以被确定。

转向图7，用于操作图1A和图1B各自的成像设备100A或100B的方法700在眼睛跟踪中的应用中被介绍。方法700包括由成像设备捕获(702)图像帧。图像帧包括眼睛图像，该眼睛图像可能偏离图像帧中的目标位置。眼睛图像在图像帧中的当前位置被确定(704)。为了确定当前位置，成像设备的控制器可以使用识别眼睛的瞳孔、角膜、巩膜、眼睑、泪阜、眉毛等的算法。

当前位置与眼睛图像在图像帧中的目标位置的偏差然后被确定(706)。偏差是有方向的，即它可以包括偏差的大小和方向。然后，致动器被操作(708)以减小偏差。在一些实施例中，致动器耦合到图像传感器，并且被操作以相对于聚焦元件平移图像传感器。在其他实施例中，致动器耦合到聚焦元件，并且被配置为平移聚焦元件。一对致动器可以被用于平移图像传感器和聚焦元件。

致动器可以将眼睛图像在图像帧中的位置移动显著的量，例如移动像圈尺寸的至少10％，移动像圈尺寸的至少25％，或者移动像圈尺寸的至少50％。这与数码相机中使用的图像稳定系统不同，在数码相机中，所需的位移量通常非常小。数码相机的图像稳定系统不需要将图像移动那么多。此外，在数码相机稳定系统中，反馈信号是从内置加速度传感器获得的，而不是通过拍摄实际图像获得的，因为图像传感器在图像稳定过程中忙于曝光帧。

在一些实施例中，捕获图像帧(702)、确定眼睛的当前位置(704)、确定当前位置与目标位置的偏差(706)以及操作致动器来减小偏差(708)是在将近眼显示器固定在用户头部上(701)时执行的。这使得近眼显示系统能够适应显示器的不同用户的不同眼睛位置和IPD。在一些实施例中，以规则的时间间隔重复(710)捕获图像帧(702)、确定眼睛的当前位置(704)、确定当前位置与目标位置的偏差(706)以及操作致动器来减小偏差(708)的步骤，以在用户佩戴近眼显示器时继续眼睛跟踪系统调整，目的是当用户在3D空间中移动和转动时校正近眼显示器相对于用户面部的可能的意外移动。

参考图8，近眼显示器800包括具有一副眼镜的形状因子的框架801。对于每只眼睛，框架801支撑：投影仪808、光学地耦合到投影仪808的瞳孔复制器810、眼睛跟踪相机804、用于照亮眼睛的多个照明器806以及眼睛跟踪相机控制器807。投影仪808提供扇形的光束，其携带要被投射到用户眼睛中的角域中的图像。瞳孔复制器810接收扇形光束(a fanof light beams)并提供扇形光束中每个光束的多个横向偏移副本，从而将投影的图像延伸到视窗(eyebox)812上。视窗812是几何区域，在该区域中形成可接受质量的图像以供用户的眼睛观察。在一些实施例中，瞳孔复制器810被制造成是透明的或半透明的，以使用户能够观看外部世界连同投射到每只眼睛中并与外部世界视图叠加的图像。投射到每只眼睛中的图像可以包括以模拟视差设置的对象，从而看起来沉浸在真实世界视图中。

眼睛跟踪相机804的目的是确定用户双眼的位置和定向。一旦知道了用户眼睛的位置和定向，凝视会聚距离和方向就可以被确定。由投影仪808显示的图像可以被动态地调整，以考虑用户的凝视，用于以更好的保真度将用户沉浸到显示的增强现实场景中，并且提供与增强现实交互的特定功能。图1A的成像设备100A、图1B的成像设备100B和/或图4的成像设备400可以作为眼睛跟踪相机804来使用。

照明器806可以设置在瞳孔复制器810的外围，以便不妨碍外部世界视图。照明器806的一个目的可以是照亮眼睛，以使眼睛跟踪相机能够获得眼睛的图像；另一个目的可以是提供参考反射或闪烁，该参考反射或闪烁可以用作捕获的眼睛图像中的参考点，便于眼睛凝视方向的确定。用户可能看不到照明光；例如红外或低功率紫外光可以被使用。照明器806可以是例如单模或多模半导体光源，包括例如侧发射激光二极管、垂直腔面发射激光二极管、SLED或发光二极管。

眼睛跟踪相机控制器807的功能是处理由眼睛跟踪相机804获得的图像，以实时确定用户双眼的眼睛凝视方向。眼睛跟踪相机控制器807可以被配置为执行用于调整眼睛跟踪相机807的视场的图6的方法600和/或操作图1A和图1B的成像设备的图7的方法700。仅一个眼睛跟踪相机控制器807可以被使用。此外，在一些实施例中，眼睛跟踪相机控制器807的功能可以被近眼显示器800的中央控制器(未示出)吸收。中央控制器向投影仪808提供控制信号，以生成要向用户显示的图像。

本公开的实施例可以包括或结合人工现实系统来被实现。人工现实系统在感官信息呈现给用户之前以某种方式调整通过感官获得的关于外界的感官信息如视觉信息、音频、触觉(躯体感觉)信息、加速度、平衡等。作为非限制性示例，人工现实可以包括虚拟现实(VR)、增强现实(AR)、混合现实(MR)、混杂现实或其某种组合和/或衍生物。人工现实内容可以包括完全生成的内容或者与捕获的(例如，真实世界的)内容相结合的生成的内容。人工现实内容可以包括视频、音频、身体或触觉反馈或者它们的某种组合。这些内容中的任何一个都可以在单个通道或多个通道中呈现，例如在向观众产生三维效果的立体视频中呈现。此外，在一些实施例中，人工现实还可以与应用、产品、附件、服务或其某种组合相关联，这些应用、产品、附件、服务或其某种组合用于例如在人工现实中创建内容和/或以其他方式在人工现实中使用(例如，在人工现实中执行活动)。提供人工现实内容的人工现实系统可以在各种平台上实现，包括可佩戴显示器，例如连接到主计算机系统的HMD、独立的HMD、具有眼镜形状因子的近眼显示器、移动设备或计算系统，或者能够向一个或更多个观众提供人工现实内容的任何其他硬件平台。

参考图9A，HMD 900是为了更大程度地沉浸到AR/VR环境内而包围用户的面部的AR/VR可佩戴显示系统的示例。HMD 900可以包括本文公开的成像设备和眼睛跟踪相机。HMD900的功能是用计算机生成的图像来增强物理、真实世界环境的视图，和/或生成完全虚拟的3D图像。HMD 900可以包括前主体902和带904。前主体902被配置为以可靠和舒适的方式放置在用户的眼睛前面，以及带904可以被拉伸以将前主体902固定在用户的头上。显示系统980可以设置在前主体902中，用于向用户呈现AR/VR图像。前主体902的侧面906可以是不透明的或透明的。

在一些实施例中，前主体902包括定位器908、用于跟踪HMD 900的加速度的惯性测量单元(IMU)910以及用于跟踪HMD 900的位置的位置传感器912。IMU 910是基于从一个或更多个位置传感器912接收的测量信号来生成指示HMD 900的位置的数据的电子设备，位置传感器912响应于HMD 900的运动生成一个或更多个测量信号。位置传感器912的示例包括：一个或更多个加速度计、一个或更多个陀螺仪、一个或更多个磁力计、检测运动的另一种合适类型的传感器、用于IMU 910的误差校正的一类传感器或者其某种组合。位置传感器912可以位于IMU 910的外部、IMU 910的内部或者这两种位置的某种组合。

定位器908由虚拟现实系统的外部成像设备跟踪，使得虚拟现实系统可以跟踪整个HMD 900的定位和定向。可以将由IMU 910和位置传感器912生成的信息与通过跟踪定位器908获得的位置和定向进行比较，以提高HMD 900的位置和定向的跟踪准确性。当用户在3D空间中移动和转动时，准确的位置和定向对于向用户呈现适当的虚拟场景是重要的。

HMD 900还可以包括深度相机组件(DCA)911，其捕获描述围绕HMD900的部分或全部的局部区域的深度信息的数据。为此，DCA 911可以包括激光雷达(LIDAR)或类似设备。可以将深度信息与来自IMU 910的信息进行比较，以便更准确地确定HMD 900在3D空间中的位置和定向。

HMD 900还可以包括眼睛跟踪系统914，用于实时地确定用户眼睛的定向和位置。眼睛跟踪系统914可以包括本文公开的任何成像设备和眼睛跟踪相机，例如图1A和图1B各自的成像设备100A和100B和/或图4的眼睛跟踪相机400。所获得的眼睛的位置和定向还允许HMD 900确定用户的凝视方向，并相应地调整由显示系统980生成的图像。在一个实施例中，确定视觉辐辏(vergence)，即用户的眼睛凝视的会聚角度。根据视角和眼睛位置，所确定的凝视方向和视觉辐辏角也可以用于视觉伪像的实时补偿。此外，所确定的视觉辐辏和凝视角可用于与用户交互、突出显示对象、将对象引导到前景、创建附加对象或指针等。还可以提供音频系统，包括例如内置在前主体902中的一组小扬声器。

参考图9B，AR/VR系统950可以包括本文公开的电子驱动器、光源和投影仪显示器。AR/VR系统950包括图9A的HMD 900、外部控制台990和输入/输出(I/O)接口915，外部控制台990存储各种AR/VR应用、设置和校准程序、3D视频等，输入/输出(I/O)接口915用于操作控制台990和/或与AR/VR环境交互。HMD 900可以用物理电缆“拴(tether)”到控制台990上，或者经由诸如蓝牙

、Wi-Fi等的无线通信链路连接到控制台990。可以有多个HMD 900，每个HMD 900具有相关联的I/O接口915，其中每个HMD 900和I/O接口915与控制台990通信。在替代配置中，AR/VR系统950中可以包括不同的和/或附加的部件。另外，结合图9A和图9B中所示的一个或更多个部件描述的功能可以以不同于在一些实施例中结合图9A和图9B描述的方式分布在部件之间。例如，控制台915的一些或全部功能可以由HMD 900提供，反之亦然。HMD 900可以设置有能够实现这种功能的处理模块。

如上面参考图9A所述，HMD 900可以包括用于跟踪眼睛位置和定向，确定凝视角度和会聚角度等的眼睛跟踪系统914(图9B)、用于确定HMD900在3D空间中的位置和定向的IMU910、用于捕获外部环境的DCA 911、用于独立确定HMD 900的位置的位置传感器912、以及用于向用户显示AR/VR内容的显示系统980。显示系统980可以包括光学块930，其功能是将电子显示器925生成的图像传送给用户的眼睛。光学块可以包括各种透镜(例如折射透镜、菲涅耳透镜、衍射透镜、有源或无源Pancharatnam-Berry相位(PBP)透镜、液体透镜、液晶透镜等)、瞳孔复制波导、光栅结构、涂层等。显示系统980还可以包括变焦模块935，其可以是光学块930的一部分。变焦模块935的功能是调整光学块930的焦点，以例如补偿视觉辐辏调节冲突(vergence-accommodation conflict)、校正特定用户的视觉缺陷、抵消光学块930的像差等。

I/O接口915是允许用户发送动作请求并从控制台990接收响应的设备。动作请求是执行特定动作的请求。例如，动作请求可以是开始或结束图像或视频数据的捕获的指令，或者是在应用内执行特定动作的指令。I/O接口915可以包括一个或更多个输入设备，例如键盘、鼠标、游戏控制器或用于接收动作请求并将动作请求传送到控制台990的任何其他合适的设备。由I/O接口915接收的动作请求被传送到控制台990，控制台990执行对应于动作请求的动作。在一些实施例中，I/O接口915包括IMU，其捕获指示相对于I/O接口915的初始位置的I/O接口915的估计位置的校准数据。在一些实施例中，I/O接口915可以根据从控制台990接收的指令来向用户提供触觉反馈。例如，当动作请求被接收到时，或者当控制台990向I/O接口915传送指令，所述指令使I/O接口915在控制台990执行动作时生成触觉反馈时，触觉反馈可以被提供。

控制台990可以向HMD 900提供内容，以根据从IMU 910、DCA 911、眼睛跟踪系统914和I/O接口915中的一个或更多个接收的信息进行处理。在图9B所示的示例中，控制台990包括应用储存器955、跟踪模块960和处理模块965。控制台990的一些实施例可以具有不同于结合图9B描述的模块或部件的模块或部件。类似地，下面进一步描述的功能可以以不同于结合图9A和图9B和描述的方式分布在控制台990的部件当中。

应用储存器955可以存储一个或更多个由控制台990执行的应用。应用是一组指令，该组指令当由处理器执行时生成用于显现给用户的内容。由应用生成的内容可以响应于经由HMD 900的移动或I/O接口915而从用户接收的输入。应用的示例包括：游戏应用、演示和会议应用、视频回放应用或其他合适的应用。

跟踪模块960可以使用一个或更多个校准参数来校准AR/VR系统950，并且可以调整一个或更多个校准参数以减少HMD 900或I/O接口915的位置确定中的误差。由跟踪模块960执行的校准还考虑了从HMD 900中的IMU 910和/或被包括在I/O接口915中的IMU(如果有的话)接收的信息。另外，如果HMD 900的跟踪丢失，则跟踪模块960可以重新校准AR/VR系统950的部分或全部。跟踪模块960可以跟踪HMD 900或I/O接口915的移动、IMU 910或其某种组合。例如，跟踪模块960可基于来自HMD 900的信息来确定HMD 900的参考点在局部区域的映射中的位置。跟踪模块960也可以分别地使用来自IMU 910的指示HMD 900的位置的数据或者使用来自被包括在I/O接口915中的IMU的指示I/O接口915的位置的数据，来确定HMD900的参考点或者I/O接口915的参考点的位置。此外，在一些实施例中，跟踪模块960可以使用来自IMU 910的指示HMD 900的位置的数据部分以及来自DCA 911的局部区域的表示来预测HMD 900的未来定位。跟踪模块960向处理模块965提供HMD 900或I/O接口915的估计的或预测的未来位置。

处理模块965可以基于从HMD 900接收的信息生成围绕HMD 900的部分或全部的区域(“局部区域”)的3D映射。在一些实施例中，处理模块965基于从DCA 911接收的与在计算深度时使用的技术相关的信息来确定用于局部区域的3D映射的深度信息。在各种实施例中，处理模块965可以使用深度信息来更新局部区域的模型，并且部分地基于更新的模型来生成内容。处理模块965在AR/VR系统950内执行应用，并从跟踪模块960接收HMD 900的位置信息、加速度信息、速度信息、所预测的未来位置或其某种组合。基于接收到的信息，处理模块965确定要提供给HMD 900用于向用户呈现的内容。例如，如果接收到的信息指示用户已经向左看，则处理模块965为HMD 900生成反映(mirror)用户在虚拟环境中或在用附加内容增强局部区域的环境中的移动的内容。另外，处理模块965响应于从I/O接口915接收的动作请求来执行在控制台990上执行的应用内的动作，并且向用户提供动作被执行的反馈。所提供的反馈可以是经由HMD900的视觉或听觉反馈或者经由I/O接口915的触觉反馈。

在一些实施例中，基于从眼睛跟踪系统914接收的眼睛跟踪信息(例如，用户眼睛的定向)，处理模块965确定提供给HMD 900用于在电子显示器925上呈现给用户的内容的分辨率。处理模块965可以向HMD 900提供内容，该内容在电子显示器925上在用户凝视的中央凹区(foveal region)中具有最大像素分辨率。处理模块965可以在电子显示器925的其他区域中提供较低的像素分辨率，从而减少AR/VR系统950的功耗并节省控制台990的计算资源，而不会损害用户的视觉体验。在一些实施例中，处理模块965可以进一步使用眼睛跟踪信息来调整对象在电子显示器925上的显示位置，以防止视觉辐辏调节冲突和/或抵消光学失真和像差。

用于实现结合本文所公开的方面描述的各种说明性逻辑、逻辑块、模块和电路的硬件可以用被设计成执行本文所述功能的通用处理器、数字信号处理器(DSP)、专用集成电路(ASIC)、现场可编程门阵列(FPGA)或其他可编程逻辑器件、分立门或晶体管逻辑、分立硬件部件或它们的任意组合来实现或执行。通用处理器可以是微处理器，但是替代地，处理器可以是任何传统的处理器、控制器、微控制器或状态机。处理器也可以被实现为计算设备的组合，例如，DSP和微处理器的组合、多个微处理器、与DSP内核结合的一个或更多个微处理器、或者任何其他这样的配置。替代地，一些步骤或方法可以由特定于给定功能的电路来执行。

本公开在范围上不受本文描述的特定实施例限制。实际上，除了在本文描述的那些实施例和修改之外，其他各种实施例和修改根据前面的描述和附图对于本领域中的普通技术人员将明显。因此，这样的其他实施例和修改被规定为落在本公开的范围内。此外，尽管在本文在特定实现的上下文中在特定环境中为了特定的目的描述了本公开，但是本领域中的普通技术人员将认识到它的有用性不限于此，以及本公开可以有益地在任何数量的环境中为了任何数量的目的而实现。因此，应该考虑如本文描述的本公开的全部广度和精神来解释所阐述的权利要求。

Claims

1.一种成像设备，包括：

聚焦元件，其用于在焦平面处形成对象的图像，所述聚焦元件在所述焦平面处具有像圈；

图像传感器，其对角线小于所述像圈，用于捕获所述对象的图像；

致动器，其被配置为使所述图像传感器或所述聚焦元件中的至少一个相对于彼此横向地平移，以在所述聚焦元件的像圈内移动所述图像传感器的位置；以及

控制器，其能够操作地耦合到所述图像传感器和所述致动器，并且被配置为：

使用所述图像传感器来捕获图像帧，所述图像帧包括所述对象的图像的至少一部分；

确定所述对象的图像在所述图像帧中的当前位置；

确定所述当前位置与所述对象的图像在所述图像帧中的目标位置的偏差；以及

操作所述致动器以减小所述偏差。

2.根据权利要求1所述的成像设备，其中所述成像设备是用于在近眼显示器中跟踪用户眼睛的运动的眼睛跟踪相机。

3.根据权利要求1所述的成像设备，其中所述致动器被配置为相对于所述聚焦元件平移所述图像传感器。

4.根据权利要求1所述的成像设备，其中当所述致动器未通电时，所述图像传感器相对于所述聚焦元件离轴设置。

5.根据权利要求1所述的成像设备，其中所述致动器被配置为将所述图像传感器的位置移动所述像圈的尺寸的至少10％或者所述像圈的尺寸的至少25％。

6.根据权利要求1所述的成像设备，其中所述致动器被配置为在二维方向上横向地平移所述图像传感器或所述聚焦元件中的至少一个。

7.根据权利要求1所述的成像设备，其中所述聚焦元件包括透镜元件或透镜元件的堆叠。

8.根据权利要求1所述的成像设备，其中所述致动器包括音圈电机、压电致动器或耦合到加热器的形状记忆合金中的至少一个。

9.一种眼睛跟踪相机，包括：

聚焦元件，其用于在焦平面处形成用户眼睛的图像，所述聚焦元件具有光轴和在所述焦平面处的像圈；以及

图像传感器，其对角线小于所述像圈，用于捕获用户眼睛的图像；

其中所述图像传感器离轴设置在所述焦平面处并设置在所述像圈的边缘处。

10.根据权利要求9所述的眼睛跟踪相机，其中所述像圈的直径等于或大于所述图像传感器的对角线的1.5倍，或者等于或大于所述图像传感器的对角线的两倍。

11.一种用于近眼显示器的方法，所述方法包括：

由成像设备捕获包括眼睛图像的图像帧，所述成像设备包括聚焦元件、图像传感器以及致动器，所述图像传感器位于所述聚焦元件的焦平面处并且在所述聚焦元件的像圈内，所述图像传感器的对角线小于所述像圈，所述致动器被配置为使所述图像传感器或所述聚焦元件中的至少一个相对于彼此横向地平移，以在所述像圈内移动所述图像传感器的位置；

确定所述眼睛图像在所述图像帧中的当前位置；

确定所述当前位置与所述眼睛图像在所述图像帧中的目标位置的偏差；以及

操作所述致动器以减小所述偏差。

12.根据权利要求11所述的方法，其中所述致动器被操作以相对于所述聚焦元件平移所述图像传感器。

13.根据权利要求11所述的方法，其中所述致动器将所述图像传感器的位置移动所述像圈的尺寸的至少10％或者所述像圈的尺寸的至少25％。

14.根据权利要求11所述的方法，其中在将所述近眼显示器固定在用户的头上时，执行如下操作：捕获所述图像帧，确定所述用户眼睛的当前位置，确定所述当前位置与所述目标位置的偏差，以及操作致动器以减小所述偏差。

15.根据权利要求11所述的方法，还包括以规则的时间间隔重复如下操作：捕获所述图像帧，确定所述用户眼睛的当前位置，确定所述当前位置与所述目标位置的偏差，以及操作所述致动器以减小所述偏差。