CN105992965B - 响应于焦点移位的立体显示 - Google Patents

Abstract

一种用于在具有显示矩阵的立体显示系统上显示虚拟影像的方法。所述虚拟影像呈现用户的一只眼睛可视的单独可渲染的位点的表面。所述方法包括，针对可视表面的每个位点，照亮所述显示矩阵的一像素。经照亮的像素是基于由所述立体显示系统确定的所述眼睛的瞳孔位置选择的。针对所述可视表面的每个位点，所述经照亮的像素的虚拟图像被形成于所述眼睛前面的平面中。所述虚拟图像被安置于穿过所述位点、所述平面以及所述瞳孔位置的直线上。以此方式，所述虚拟图像跟踪所述用户的瞳孔位置的改变。

Description

响应于焦点移位的立体显示

背景

近年来，三维(3D)显示技术经历了快速发展，尤其是在消费市场中。现在高分辨率3D眼镜和眼罩是可能的。使用现有的微投影技术以便向右眼和左眼立体地投射相关图像，这些显示系统可使佩戴者沉浸于令人信服的虚拟现实中。然而，3D显示系统仍有一定的挑战。一个挑战是在深度方面准确地定位虚拟影像，尽管佩戴者的焦点在时刻变化。

概述

本公开的一个实施例提供了一种在具有显示矩阵的立体显示系统上显示虚拟影像的方法。虚拟影像呈现用户的一只眼睛可视的单独可渲染的位点的表面。该方法包括，针对可视表面的每个位点，照亮显示矩阵的一像素。所照亮的像素是基于由立体显示系统确定的眼睛的瞳孔位置选择的。针对可视表面的每个位点，所照亮的像素的虚拟图像被形成于眼睛前面的平面中。虚拟图像被安置于穿过所述位点、所述平面以及所述瞳孔位置的直线上。以此方式，虚拟图像跟踪用户的瞳孔位置的改变。

提供本概述以便以简化的形式介绍以下在详细描述中进一步描述的一些概念。本概述并不旨在标识所要求保护主题的关键特征或必要特征，也不旨在用于限制所要求保护主题的范围。而且，所要求保护的主题不限于解决该公开的任一部分中所注的任何或全部缺点的实现方式。

附图简述

图1示出一个示例中可佩戴的立体显示系统和计算机系统的各方面。

图2示出示例右或左光学系统和相关联的显示窗口的各方面。

图3和4例示出一个示例中虚拟物体的立体显示。

图5示出示例瞳孔位置及其关于眼睛的转动中心。

图6例示出在立体显示系统上显示虚拟影像的示例方法。

图7示出用于预测立体显示系统的佩戴者的瞳孔位置的示例几何模型的各方面。

图8例示出确定由立体显示系统使用以便预测用户的瞳孔位置的参数值的示例方法。

图9示出示例计算系统的各方面。

详细描述

现在将通过示例并参照所示的以上列出的实施例来描述本公开的各方面。在一个或多个实施例中基本相同的组件、过程步骤和其他元素被协调地标识并且以重复最小的方式描述。然而将注意到，被协调地标识的元素可能也会有一定程度的不同。将进一步注意到，本公开中包括的附图是示意性的并且通常未按照比例绘制。当然，附图中所示的各种绘图比例、纵横比、以及组件的数量可故意地失真，以更容易看到某些特征或关系。

图1示出操作上耦合到外接计算机系统12A的可佩戴立体显示系统10的各个方面。所例示出的显示系统类似于普通眼镜。它包括具有定位于佩戴者面部的鼻梁16的耳拟合框架14。显示系统还包括右显示窗口18R和左显示窗口18L。在一些实施例中，右和左显示窗口18(即，18R和18L)从佩戴者的角度看是全部或部分透明的，以便给予佩戴者他或她的周围环境的清晰视图。此特征使得计算机化的显示影像能与来自周围环境的影像混合，以获得“增强现实”(AR)的假象。

在一些实施例中，显示影像被实时地从计算机系统12A传送到显示系统10。例如，计算机系统可以是游戏控制台、台式计算机、或服务器系统。在其它实施例中，计算机系统可以是膝上型计算机或平板计算机、智能电话、手持式游戏设备等。显示影像可以以任何合适形式(即，类型)的传输信号和数据结构被传送。编码显示影像的信号可经由至显示系统12B的微控制器的任何种类的有线或无线通信链路被传递。在其它实施例中，此处归属于外接计算机系统12A的一些或所有的功能可替代地发生在微控制器12B中，或在显示系统10的另一机载逻辑系统中。因此，在一些实施例中计算机系统12A可以是不必要的。

在图1中继续，微控制器12B操作上耦合到右和左光学系统20R和20L。在所例示的实施例中，微控制器连同右和左光学系统一起隐藏于显示系统框架内。微控制器可包括合适的输入/输出(IO)部件，使其能够接收来自计算机系统12A的显示影像。微控制器还可包括位置感测部件22——例如，全球定位系统(GPS)接收器或惯性测量单元(IMU)，以便评估头部定向和/或移动等。当显示系统10在操作中时，微控制器12B向右光学系统20R发送适当的控制信号，导致右光学系统在右显示窗口18R中形成右显示图像。类似地，微控制器向左光学系统20L发送适当的控制信号，导致左光学系统在左显示窗口18L中形成左显示图像。显示系统的佩戴者通过右和左眼分别观看右和左显示图像。当右和左显示图像被以适当的方式被合成并呈现时，佩戴者体验到虚拟影像的假象——即，在指定位置处并具有指定的3D内容和其它显示属性的一个或多个虚拟物体。这样的虚拟影像可具有任何所需的复杂性；例如，它可包括具有前景和背景部分两者的完整虚拟场景。

图2在一个非限制性实施例中示出了右或左光学系统20以及相关联的显示窗口18的各方面。光学系统包括背光24和液晶显示器(LCD)矩阵26。背光可包括发光二极管(LED)的系综——例如，白LED或红、绿和蓝LED的某种分布。可放置背光以便引导其发射光穿过LCD矩阵，该LCD矩阵基于来自微控制器12B的控制信号形成显示图像。LCD矩阵可包括布置于矩形网格或其它几何形状上的众多可单独寻址的像素。在一些实施例中，透射红光的像素可在矩阵中与透射绿和蓝光的像素并置，使得LCD矩阵形成彩色图像。一个实施例中LCD矩阵可以是硅上液晶(LCOS)矩阵。在其它实施例中，数字微镜阵列可被用于代替LCD矩阵，或有源LED矩阵可被替代使用。在又一些实施例中，扫描束技术可被用于形成右和左显示图像。总之，这里所描述的立体渲染技术可与任何适当的显示技术联用。

在图2中继续，光学系统20还包括被配置成感测显示系统10的佩戴者的右或左眼28的瞳孔位置的眼睛跟踪部件。在图2的实施例中，眼睛跟踪部件采用对来自眼灯30的被佩戴者的眼睛反射的光进行成像的成像系统的形式。眼灯可包括被配置成照亮眼睛的红外或近红外LED。在一个实施例中，眼灯可提供相对窄角的照明，以便在眼睛的角膜34上创建镜面反射32。成像系统包括被配置为对眼灯的发射波长范围中光进行成像的至少一个相机36。可布置并以其它方式配置此相机以便捕获来自眼灯的被眼睛反射的光。来自相机的图像数据被传达到微控制器12B或计算机系统12A中相关联的逻辑。在那里，可处理图像数据以便解析如瞳孔中心38、瞳孔轮廓40、和/或来自角膜的一个或多个镜面反射32之类的特征。图像数据中这些特征的位置可被用作把特征位置与眼睛的注视向量42联系起来的模型(例如多项式模型)中的输入参数。佩戴者的注视向量可以各种方式被用于AR应用。例如，它可被用于确定在何处和以何距离显示通知或其它虚拟物体，使得被佩戴者不改变她的当前焦点就可辨析。

在大多数情况下，来自LCD矩阵26的显示图像将不适合被显示系统10的佩戴者直接观看。具体而言，显示图像可能偏移开佩戴者的眼睛，可能具有不期望的聚散度，和/或非常小的出射光瞳(即，显示光的释放区域，不要与佩戴者的解剖瞳孔相混淆)。鉴于这些问题，来自LCD矩阵的显示图像可在中途被进一步适应于佩戴者的眼睛，如下面进一步描述。

在图2的实施例中，来自LCD矩阵26的显示图像被接收到垂直瞳孔扩展器44中。垂直瞳孔扩展器将显示图像降低至佩戴者的视野中，并且通过这样做，在“垂直”方向上扩展了显示图像的出射光瞳。在此上下文中，垂直方向是与佩戴者的双眼间轴线且与佩戴者正面对的方向正交的方向。从垂直瞳孔扩展器44，显示图像被接收到可被耦合于或被实现为显示窗口18的水平瞳孔扩展器。在其它实施例中，水平瞳孔扩展器可与显示窗口不同。无论何方式，水平瞳孔扩展器将显示图像的出射光瞳在“水平”方向上扩展。在此上下文中，水平方向是平行于显示系统10的佩戴者的双眼间轴线的方向——即，在图2中进出页面的方向。通过穿过水平和垂直瞳孔扩展器，显示图像被呈现于基本上覆盖眼睛的区域上。这使佩戴者能在光学系统和眼睛之间适当的水平和垂直偏移范围上看到显示图像。在实践中，这个偏移范围可反映诸如佩戴者之间解剖学眼睛位置的变化性、显示系统10的制造公差和材料灵活性、以及显示系统在佩戴者的头部上的不精确安置之类的因素。

在一些实施例中，光学系统20可将光功率应用于来自LCD矩阵26的显示图像，以便调整显示图像的聚散度。这样的光功率可由垂直和/或水平瞳孔扩张器，或者由把来自LCD矩阵的显示图像耦合进垂直瞳孔扩张器的透镜46提供。例如，如果来自LCD矩阵的光线显现出会聚或发散，则光学系统可反转图像聚散度使得光线被准直接收进佩戴者的眼睛。这种手段可被用于形成遥远的虚拟物体的显示图像。类似地，光学系统可被配置为向显示图像赋予固定的或可调整的发散，与被置于佩戴者前部有限距离的虚拟物体一致。在一些实施例中，其中透镜46是电子可调透镜，可基于佩戴者与正被显示的虚拟影像之间的距离动态地调整显示图像的聚散度。

佩戴者对到虚拟显示影像的距离的感知不仅受到显示图像聚散度的影响，而且受到右和左显示图像之间的位置视差的影响。这个原理通过图3中的示例来解说。图3示出了为说明目的而相互叠加的右和左图像框48R和48L。右和左图像框分别对应于右和左光学系统的LCD矩阵26的图像形成区域。由此，右图像框包围右显示图像50R，而左图像框包围左显示图像50L。适当渲染的话，对于佩戴者来说，右和左显示图像可表现为虚拟影像。在图3的示例中，虚拟影像呈现了佩戴者可视的单独可渲染的位点的表面。参考图4，该可视表面中的每个位点i具有与右和左显示图像中的每个像素(X_i,Y_i)相关联的深度坐标Z_i。所需的深度坐标可以以下方式模拟。

一开始，选择距显示系统10的焦平面F的距离Z₀。左和右光学系统然后被配置为以适合于所选距离的聚散度呈现它们各自的显示图像。在一个实施例中，Z₀可被设定为“无穷大”，使得每个光学系统以准直光线的形式呈现显示图像。在另一实施例中，Z₀可被设定为两米，从而要求每个光学系统以发散光的形式呈现显示图像。在一些实施例中，Z₀可在设计时被选择，并对由显示系统呈现的所有虚拟影像保持不变。在其它实施例中，光学系统可被配置有电子可调光功率，以便允许Z₀根据呈现虚拟影像的距离的范围而动态地变化。

在距焦平面的距离Z₀已被建立之际，可对可视表面上的每个位点i设定深度坐标Z。这是通过调整右和左显示图像中对应于位点i的两个像素的位置视差(相对于它们各自的图像框)完成的。在图4中，右图像框中对应于位点i的像素被表示为R_i，而左图像框中的对应像素被表示为L_i。在图4中，位置视差为正——即，在叠加的图像框中R在L_i的右边。这导致位点i出现在焦平面F的后面。如果位置视差是负的，则该位点将出现在焦平面的前面。最后，如果右和左显示图像被重叠(无视差，R_i和L_i重合)，则位点将似乎正好位于焦平面上。无需使本公开受任何特定的理论约束，位置视差D可以按下式与Z、Z₀、以及佩戴者的瞳距(IPD)相关：

在上述方法中，试图在右和左显示图像的相应位点之间引入的位置视差是“水平视差”——即，平行于显示系统10的佩戴者的瞳间轴线的视差。水平视差模仿了真实物体深度对人类视觉系统的作用，其中由右和左眼接收的真实物体的图像沿瞳间轴线自然地偏移。

鉴于前述分析，可以下述方式渲染具有任何所需复杂性的虚拟影像。在一个实施例中，计算机系统12A或微控制器12B中的逻辑以固定于显示系统10的参考系维持佩戴者前面的笛卡尔空间的模型。佩戴者的瞳孔位置被映射到该空间，被定位于预定深度Z₀处的图像框架48R和48L也一样。(读者被再次引导至图3和4。)然后，虚拟影像52被构造，其中影像的可视表面的每个位点i都具有共同参考系中的坐标X_i,、Y_i、和Z_i。针对可视表面的每个位点，构造两条线段——至佩戴者的右眼的瞳孔位置的第一线段以及至佩戴者的左眼的瞳孔位置的第二线段。右显示图像中对应于位点i的像素R_i被取为第一线段在右图像框48R中的交点。类似地，左显示图像中的像素L_i被取为第二线段在左图像框48L中的交点。此过程自动提供适当量的移位和缩放以便正确地渲染可视表面，从而将每个位点i放置于距佩戴者的所需距离处。

上述过程中困难的一个根源是需要对佩戴者的瞳孔位置，或至少是IPD的准确估计。然而，瞳孔位置可能随佩戴者变化，以及对于同一佩戴者在不同场景中变化。例如，当一个人将焦点转移到任何有限距离处的真实或虚拟的物体时，眼睛肌肉通过将每个眼睛绕其垂直轴旋转来响应，以便将该物体成像到眼睛的中央凹上，视觉敏锐度在眼睛的中央凹上最大。这种响应改变瞳孔位置，因此在如上所述的虚拟影像的渲染中提出了问题。简而言之，上面的等式表明，右和左图像之间的适当的位置视差是IPD的函数。然而，取决于佩戴者聚焦于附近的还是遥远的位点，IPD可变化若干毫米。

这个问题可通过将显示系统配置成自动跟踪佩戴者的瞳孔位置的变化来解决。设想了用于估计瞳孔位置的两种模式：感测模式和预测模式。这些模式可在不同的实施例中单独地使用，但也可为了附加优点而在同一实施例中被组合。感测模式充分利用了可能存在于显示系统10中用来帮助虚拟影像的整体布局的眼睛跟踪部件。它基于他或她的注视向量感测佩戴者的瞳孔位置。预测模式通过基于正被显示的虚拟影像作出关于佩戴者的注视向量的智能预测来估计瞳孔位置。

尽管直接成像于瞳孔位置有益处，但一般而言，实时跟踪瞳孔位置可能不是合乎需要的。首先，可预料到佩戴者的眼睛将作出快速转移移动，其中视觉焦点短暂或甚至长时间移离显示内容。显示影像持续跟踪这些移位可能是令人分心的或不受欢迎的。此外，可能有与瞳孔位置的确定相关联的噪声。显示影像响应于这样的噪声而到处移动可能是令人分心的。最后，伴随显示影像的实时调整的准确的、即使即刻的眼睛跟踪可能要求比可获得的更多的计算能力。

解决上述各问题的一种方式是感测或预测眼睛的旋转中心来替代瞳孔位置。在一个实施例中，眼睛的旋转中心可根据一段时间内记录的瞳孔位置的连续测量值确定。图5在一个实施例中示出该方法的各方面。实际上，旋转中心C可被用作瞳孔位置K的更稳定且较少噪声的替代物。自然地，这种近似在佩戴者直接向前看使得旋转中心位于瞳孔正后方时最有效，而在佩戴者向上、下、或侧边看时最不有效。

前述的描述或附图的任何方面都不应以限制的意义被解读，因为众多变型都位于本公开的精神和范围之内。例如，尽管图1的显示系统10是近眼显示系统(其中右显示图像出现于右显示窗口之后，而左显示图像出现于左显示窗口之后)，但右和左显示图像也可被形成于同一屏幕上。在用于例如膝上型计算机或被配置用于私人观看的家庭影院系统的显示系统中，右显示图像可使用一种偏振态的光被形成于显示屏上，而左显示图像可使用不同偏振态的光形成于同一显示屏上。用户的眼镜中的正交对准偏振滤光器可被用于确保每个显示图像被接收进适当的眼睛。此外，眼睛跟踪部件并非在所有显示系统实施例中都必要

上述配置使得能用各种方法来显示虚拟影像。继续参照以上配置，现在通过示例来描述一些此类方法。然而，应该理解，本文所述的方法以及落在本公开范围内的其它方法也可以由不同配置来实现。

图6例示出用于在诸如可佩戴显示系统之类的立体显示系统上显示虚拟影像的示例方法54。如上文所述，虚拟影像呈现了通过用户的眼睛可视的单独可渲染的位点的表面。

在方法54的56处，确定显示系统中确定瞳孔位置的感测模式当前是否被启用。自然地，该步骤在缺少眼睛跟踪部件的配置中可被省略。然而，构想了即使眼睛跟踪部件是可用的，感测模式有时也被禁用的场景。例如，这可发生于功率节省状态期间。在一些实施例中，可根据自诊断来禁用感测模式——例如，如果由于不规则的眼睛几何形状或用户佩戴的隐形眼镜造成眼睛跟踪不可靠。在一些实施例中，如果确定替代的预测模式将产生可接受的渲染准确度，则感测模式可被禁用。在其它实施例中，可根据要被呈现给用户的虚拟影像的距离范围启用或禁用感测模式。

如果启用了感测模式，则方法推进到58，在此感测单眼或双眼的瞳孔位置。在一个实施例中，感测瞳孔位置可包括在立体显示系统的眼睛跟踪部件中获取并分析右和/或左眼的图像的动作。为此，显示系统的微控制器12B中的专用逻辑可被配置成标识右或左眼的图像或双眼的图像中的一个或多个眼睛特征可被标识的示例眼睛特征包括瞳孔中心、瞳孔轮廓、或来自眼角膜的一个或多个镜面反射。单独地或组合地，这样的眼睛特征可被用于估计眼睛图像的参考系中用户的瞳孔位置。为了将该信息用于显示图像渲染，各眼睛图像的参考系经由几何变换与其中将显示虚拟影像的参考系相关。

在方法54的60处，开始循环。方法循环经过要被显示的虚拟影像的可视表面的每个位点。对于每个位点i，右显示矩阵中的一像素被选择用于照亮。除了由立体显示系统确定的右眼的瞳孔位置之外，该像素还基于位点的坐标(X_i,Y_i,Z_i)被选择。该像素是鉴于显示系统的光学配置而被选择的——即，此像素的图像将被形成于什么坐标处。显示系统可被配置成在用户的眼睛前面的焦平面F上形成显示矩阵的每个像素的图像。然而，所选择的像素将是这样的一个像素，对于该像素，如此形成的虚拟图像被置于一条直线上，该直线经过位点i、经过焦平面F、以及经过由显示系统确定的右瞳孔位置。再次，瞳孔位置可被感测或预测，这取决于显示系统以感测模式(上述)操作还是以预测模式(后述)操作。以类似的方式，对于可视表面的每个位点，选择左显示矩阵的一左像素用于照亮。除了由立体显示系统确定的左眼的瞳孔位置之外，该左像素还基于位点i的指定坐标被选择。合起来看，右和左眼的瞳孔位置定义了用户的当前IPD。如上等式所述，IPD将深度坐标Z_i与相应的右和左像素图像之间的所需的水平视差联系起来。因此，实际上，所例示的方法提供了对工作IPD估计的重复调整，以便校正随用户的焦点变化的IPD变化。同样的调整还校正不同用户之间的解剖学IPD变化性。

在图6中继续，在方法54的62处，以所需的亮度水平照亮所选择的像素。在显示系统是彩色显示系统的实施例中，显示矩阵中红像素以及并置的蓝和绿像素的照亮可被一起调整以便以所需的颜色和亮度渲染位点。此过程对虚拟影像的可视表面的每个位点i重复。自然地，术语“循环”、“重复”等不排除例如当代图形处理单元中所设定的并行处理。

如果在56确定不启用感测模式，则方法推进到64，在此以预测模式估算瞳孔位置。预测模式的本质是，至少在某些场景下，显示系统或许能够预测用户的焦点。基于焦点与用户的解剖学知识，系统可重构用户的注视向量，并由此估计右和左瞳孔位置两者以及其间的IPD。一般而言，用户的焦点被假设为与正被显示的虚拟影像的目标位点重合。因此，图6中的示例预测模式开始于对虚拟影像的目标位点的标识。

本公开的不同的实施例中，可不同地标识目标位点。在一个实施例中，目标位点可以是虚拟影像中最明亮或最显著的位点。在另一实施例中，目标位点可以是虚拟影像中最近的位点。在诸如当虚拟影像仅包括一个虚拟物体的某些场景中，目标位点可以是虚拟影像的质心。在更复杂的场景中，可基于试探法来确定目标位点。例如，在仅一个虚拟物体正在移动的情况下，目标点位可以是移动的虚拟物体的质心。

在一些实施例和使用场景中，立体显示系统10可被配置为多用户设备。如此，多个用户简档可被存储于微控制器12B中和/或可由微控制器12B访问。可选地，预测模式64可包括将立体显示系统的当前用户匹配于所存储的用户简档之一的动作。匹配可根据经由计算机系统12A的输入设备的直接用户输入、经由诸如语音识别的自然用户输入、或经由立体显示系统的身份感测部件自动地完成。这样的身份感测部件可包括显示系统的框架上的手指或拇指指纹传感器，或与相机36结合使用的虹膜匹配逻辑。在标识了适当的用户简档后，该简档可被打开以便检索用于预测瞳孔位置的某些参数值。这样的参数可包括(a)可与用户双眼间的距离相关的眼睛位置参数、以及(b)可与用户双眼的大小相关的眼睛大小参数等。在一个实施例中，当用户向前聚焦于一远距离物体时，眼睛位置参数可在数学上简化为用户的IPD。眼睛大小参数可在数学上被简化为用户的眼球直径。通过将这样的参数存储于多个用户简档中的每一个中，使得预测出的瞳孔位置和工作IPD响应于不同用户之间眼睛位置和/或眼睛尺寸的变化。在立体显示系统是单用户设备的替换实施例中，单组参数可被存储于微控制器并公共地应用于所有用户。

可以任何合适的方式确定眼睛位置和眼睛大小参数值，包括经由用户的直接输入或经由来自相机36的图像数据。在一些实施例中，可在一定程度的用户主动参与下获取可用于此目的的图像数据。例如，在立体显示系统的校准过程期间，可要求用户向前平视一远距离物体，同时相机获取用户的眼睛的图像。然后，微控制器12B中的逻辑可分析图像数据以便提取眼睛位置和眼睛大小参数值。图8(参见下文)例示出确定参数值的另一种方法。

确定了眼睛位置和眼睛大小参数值后，就可能构造类似于图7中的模型的几何模型。假设立体显示系统10对称地适合于佩戴者的面部，眼睛位置和眼睛大小参数合起来将产生对佩戴者的眼睛的中心位置C的估计，可基于眼睛大小参数值来界定围绕眼睛中心位置C的瞳孔轨道O。然后应用预测模式的中心理论——即，在最靠近于虚拟影像的预定目标位点j的点K处，每个瞳孔位于它的瞳孔轨道上。从预测出的瞳孔位置K，可获得工作IPD估计。

图8例示出确定由立体显示系统使用以便预测用户的瞳孔位置的一个或多个参数值的示例方法66。将假设在进入方法66时，已经存储了针对每个参数的当前或默认值。方法的目的是为当前用户根据他或她的解剖学唯一性来优化这些值。

因此，在方法66的68处，基于当前存储的参数值，在一定距离Z处显示优选的简单虚拟物体(例如，垂直于用户正面对的方向的垂直平面中的扁平物体)。在70，接收来自用户的关于正被显示的虚拟物体的位置或清晰度的反馈。所述反馈是这样的，以便指示出用户是否感知到此物体是清晰的并位于Z处。可以任何合适的方式(手动地、口头地等)传递用户的反馈。此外，可提示用户以任何合适的方式提供反馈。在一个示例中，在68所显示的虚拟物体可以是询问“该框是否出现于距你2米远？”的对话框。例如，该对话框可包括标有“是”、“否，太远”、以及“否，太近”的回答按钮。

实际上，在72确定工作参数值是否准确。具体而言，确定该物体是否出现于所希望的距离Z处。如果是，则方法返回。如果不是，则在74基于反馈调整工作参数值。例如，如果虚拟物体出现得太远，则可改变眼睛位置参数值，以便有效地提高工作IPD估计。然后，方法从74返回到68，在68再次尝试在距离Z处显示虚拟物体。自然地，本领域的技术人员将理解，方法66的众多变型可被用于细化眼睛位置和眼睛大小参数值。

从前述描述中显而易见，本文所描述的方法和过程可被绑定到一个或多个计算机器的计算系统。这样的方法和过程可被实现为计算机应用程序或服务、应用编程接口(API)、库和/或其它计算机程序产品。

以简化形式示于图9的是被用于支持本文描述的方法和过程的计算系统的一个非限制性示例。计算系统中的每个计算机器12包括逻辑机76和指令存储机78。计算系统还包括采用光学系统20R和20L形式的显示器、通信系统80A和80B、位置感测部件22、以及未在图9中示出的各种组件。

每个逻辑机76包括被配置成执行指令的一个或多个物理设备。例如，逻辑机可被配置来执行作为以下各项的一部分的指令：一个或多个应用、服务、程序、例程、库、对象、组件、数据结构、或其它逻辑构造。这种指令可被实现以执行任务、实现数据类型、转换一个或多个部件的状态、实现技术效果、或以其它方式得到期望结果。

每个逻辑机76可以包括被配置成执行软件指令的一个或多个处理器。作为补充或替换，逻辑机可包括被配置成执行硬件或固件指令的一个或多个硬件或固件逻辑机。逻辑机的处理器可以是单核或多核，且在其上执行的指令可被配置用于串行、并行和/或分布式处理。逻辑机的各个组件可任选地分布在两个或更多单独设备上，这些设备可以位于远程和/或被配置用于进行协同处理。逻辑机的各方面可由以云计算配置进行配置的可远程访问的联网计算设备来虚拟化和执行。

每个指令存储机78包括被配置成保持可由相关联的逻辑机76执行以实现此处描述的方法和过程的指令的一个或多个物理设备。当实现这样的方法和过程时，指令存储机的状态可以被变换—例如用来保持不同的数据。指令存储机可包括可移动的和/或内置设备；它可包括光学存储器(例如，CD、DVD、HD-DVD、蓝光碟等)、半导体存储器(例如，RAM、EPROM、EEPROM等)、和/或磁性存储器(例如，硬盘驱动器、软盘驱动器、磁带驱动器、MRAM等)、以及其他。指令存储机可以包括易失性的、非易失性的、动态的、静态的、读/写的、只读的、随机存取的、顺序存取的、位置可定址的、文件可定址的、和/或内容可定址的设备。

将理解，每个指令存储机78包括一个或多个物理设备。然而，本文描述的指令的各方面可另选地通过不由物理设备在有限时长内持有的通信介质(例如，电磁信号、光信号等)来传播。

逻辑机(一个或多个)和指令存储机(一个或多个)的各方面可一起被集成于一个或多个硬件逻辑组件中。这些硬件逻辑组件可包括例如现场可编程门阵列(FPGA)、程序和应用专用的集成电路(PASIC/ASIC)、程序和应用专用的标准产品(PSSP/ASSP)、片上系统(SOC)以及复杂可编程逻辑器件(CPLD)。

术语“模块”、“程序”和“引擎”可用于描述被实现为执行一特定功能的计算系统的一方面。在某些情况下，可经由执行由指令存储机所保持的指令的逻辑机来实例化模块、程序或引擎。应当理解，可以从同一应用、服务、代码块、对象、库、例程、API、函数等来实例化不同的模块、程序和/或引擎。类似地，相同的模块、程序和/或引擎可由不同的应用、服务、代码块、对象、例程、API、功能等来实例化。术语“模块”、“程序”和“引擎”意在涵盖单个或成组的可执行文件、数据文件、库、驱动程序、脚本、数据库记录等。

应该理解，在此使用的“服务”是跨多个用户会话可执行的应用程序。服务可用于一个或多个系统组件、程序和/或其它服务。在某些实现中，服务可以在一个或多个服务器计算设备上运行。

通信系统80可被配置为将计算机器通信地耦合于一个或多个其它机器。通信系统可包括与一个或多个不同通信协议兼容的有线和/或无线通信设备。作为非限制性示例，通信系统可被配置成用于经由无线电话网络或者有线或无线局域网或广域网来进行通信。在一些实施例中，通信系统可允许计算机器经由诸如因特网这样的网络将消息发送至其他设备以及/或者从其它设备接收消息。

将会理解，此处描述的配置和/或方法本质是示例性的，这些具体实施例或示例不应被视为限制性的，因为许多变体是可能的。此处描述的具体例程或方法可以表示任何数量的处理策略中的一个或多个。如此，所示和/或所述的各种动作可以以所示和/或所述顺序、以其它顺序、并行地执行，或者被省略。同样，上述过程的次序可以改变。

本公开的主题包括各种过程、系统和配置以及此处公开的其他特征、功能、动作和/或属性、以及它们的任一和全部等价物的所有新颖且非显而易见的组合和子组合。

Claims (12)

1.一种用于在具有显示矩阵的立体显示系统上安置虚拟影像的方法，所述虚拟影像呈现用户的一只眼睛可视的单独可渲染的位点的表面，所述方法包括：

如果确定启用感测模式，则：

针对可视表面的每个位点，照亮所述显示矩阵的一像素，经照亮的像素是基于由所述立体显示系统确定的所述眼睛的瞳孔位置选择的；以及

在所述眼睛前面的平面中形成所述像素的虚拟图像，所述虚拟图像被安置于穿过所述位点、所述平面以及所述瞳孔位置的直线上，并跟踪所述瞳孔位置的变化，

其中如果确定不启用感测模式，则通过以下操作以预测模式估算所述眼睛的所述瞳孔位置：

将所述眼睛的焦点预测为与正被显示的所述虚拟影像的目标位点重合；

基于所述焦点以及所述用户的解剖学知识来重构所述用户的注视向量；以及

基于所重构的所述注视向量来估算所述眼睛的所述瞳孔位置。

2.如权利要求1所述的方法，其特征在于，所述眼睛是所述用户的右眼，所述显示矩阵是右显示矩阵，而所述像素是右像素，所述方法进一步包括：

针对所述可视表面的每个位点，照亮左显示矩阵的一左像素，经照亮的左像素是基于由所述立体显示系统确定的左眼的瞳孔位置选择的；以及

在所述左眼前面的平面中形成所述左像素的虚拟图像，所述虚拟图像被安置于穿过所述位点、所述平面以及所述左眼的瞳孔位置的直线上，并跟踪所述左眼的瞳孔位置的变化。

3.如权利要求1所述的方法，其特征在于，所述立体显示系统是可佩戴的，并且所述用户是所述立体显示系统的佩戴者。

4.根据权利要求1所述的方法，其特征在于，所述瞳孔位置是感测出的瞳孔位置，所述方法进一步包括：

通过利用所述立体显示系统的眼睛跟踪部件获取并分析所述眼睛的图像来感测所述眼睛的所述瞳孔位置。

5.根据权利要求1所述的方法，其特征在于，所述瞳孔位置是预测出的瞳孔位置，所述方法进一步包括：

将所述瞳孔位置预测为位于所述眼睛上的最靠近于所述虚拟影像的预定目标位点的点。

6.如权利要求1所述的方法，其特征在于，进一步包括：

在所述立体显示系统的第一操作模式期间预测所述瞳孔位置；以及

在所述立体显示系统的第二操作模式期间感测所述瞳孔位置。

7.如权利要求5所述的方法，进一步包括基于试探法标识所述目标位点。

8.如权利要求5所述的方法，其中所述目标位点是所述虚拟影像的质心。

9.如权利要求5所述的方法，其中所述目标位点是所述虚拟影像中最近的、最明亮的、或最突出的位点。

10.如权利要求5所述的方法，进一步包括基于所述目标位点的坐标和响应于不同用户之间眼睛位置变化的所存储的参数来计算预测出的瞳孔位置。

11.一种包括用于执行如权利要求1-10中的任一项所述的方法的装置的计算机系统。

12.一种具有指令的计算机可读存储介质，所述指令在被执行时使机器执行如权利要求1-10中的任一项所述的方法。