CN108463767B - 虚拟/增强现实系统中的光束角度传感器 - Google Patents

Abstract

一种由终端用户使用的虚拟图像生成系统包括：投影子系统，其被配置为产生准直光束；以及显示器，其被配置为响应于该准直光束而发射光线以向终端用户显示图像帧的像素。像素具有用所发射的光线的角度编码的位置。虚拟图像生成系统进一步包括：感测组件，其被配置为感测指示所发射的光线的角度中的至少一个的至少一个参数；以及控制子系统，其被配置为生成限定像素位置的图像数据，以及基于所限定的像素位置和所感测的一个或多个参数控制光束相对于显示器的角度。

Description

虚拟/增强现实系统中的光束角度传感器

相关申请交叉引用

本申请要求2016年1月12日提交的序列号为62/277,865、名称为“BEAM ANGLESENSOR IN VIRTUAL/AUGMENTED REALITY SYSTEM(虚拟/增强现实系统中的光束角度传感器)”、代理案卷号为ML.30053.00的美国临时专利申请的优先权。上述专利申请的全部内容通过引用明确地并入此文。

技术领域

本发明一般地涉及被配置为便于用于一个或多个用户的交互式虚拟或增强现实环境的系统和方法。

背景技术

现代计算和显示技术促进了用于所谓的“虚拟现实”或“增强现实”体验的系统的发展，其中数字再现的图像或其部分以其看起来是真实的或者可被感知为真实的方式呈现给用户。虚拟现实(VR)场景通常涉及数字或虚拟图像信息的呈现，而对于其它实际的真实世界的视觉输入不透明，而增强现实(AR)场景通常涉及数字或虚拟图像信息的呈现作为对终端用户周围的实际世界的可视化的增强。

例如，参考图1，描绘了增强现实场景4，其中AR技术的用户看到以人、树木、背景中的建筑物和混凝土平台8为特征的真实世界公园状设置6。除了这些项目之外，AR技术的终端用户同样感知到他“看到”站在真实世界平台8上的机器人雕像10，以及正飞行的卡通式化身角色12，通过该化身角色看起来像大黄蜂的化身，即使这些元素10、12在真实世界中不存在。事实证明，人类的视觉感知系统是非常复杂的，并且产生有助于除虚拟或真实世界的图像元素之外的虚拟图像元素的舒适、自然、丰富呈现是具有挑战性的。

VR和AR系统通常利用至少松散地耦合到用户头部的头戴式显示器(或头盔式显示器或智能眼镜)，并且因此在终端用户的头部移动时移动。如果显示子系统检测到终端用户的头部运动，则可以更新正显示的数据，以考虑头部姿态(即用户头部的取向和/或位置)的变化。

作为示例，如果佩戴头戴式显示器的用户在显示器上观看三维(3D)对象的虚拟表示并且在3D对象出现的区域周围走动，则该3D对象可以对于每一个视点被重新渲染，给终端用户他或她在占据真实空间的对象周围走动的感觉。如果头戴显示器用于在虚拟空间(例如，丰富的虚拟世界)内呈现多个对象，则头部姿态的测量可用于重新渲染场景以匹配终端用户的动态变化的头部位置和取向并提供虚拟空间的增强沉浸感。

使能AR(即，现实和虚拟元素的同时观看)的头戴式显示器可以具有几种不同类型的配置。在通常被称为“视频透视”显示器的一个这种配置中，相机捕捉真实场景的元素，计算系统将虚拟元素叠加到捕捉的真实场景上，并且非透明显示器将合成图像呈现给眼睛。另一种配置通常被称为“光学透视”显示器，其中终端用户可以透视显示子系统中的透明(或半透明)元素以直接观看来自环境中真实对象的光。通常被称为“合成器”的透明元素将来自显示器的光叠加在终端用户对真实世界的视角之上。

VR和AR系统通常利用具有投影子系统和位于终端用户的视场前方的显示表面的显示子系统，并且投影子系统顺序地将图像帧投影在该显示表面上。在真实的三维系统中，显示表面的深度可以以帧率或子帧率控制。投影子系统可以包括一个或多个光纤，来自一个或多个光源的光以限定的图案发射不同颜色的光到该一个或多个光纤中；以及扫描设备，其以预定图案扫描光纤以创建顺序地向终端用户显示的图像帧。

在一个实施例中，该显示子系统包括一个或多个平面光波导，该一个或多个平面光波导通常平行于用户的视场，并且来自光纤的光被注入到该平面光波导中。一个或多个线性衍射光栅被嵌入在波导内以改变沿着波导传播的入射光的角度。通过将光的角度改变为超出全内反射(TIR)的阈值，光从波导的一个或多个侧面逃离。线性衍射光栅具有低的衍射效率，因此每次光遇到线性衍射光栅时，只有一部分光能被引导出波导。通过沿着光栅在多个位置处将光耦合出，显示子系统的出射光瞳有效地增加。显示子系统可以进一步包括使来自光纤的光准直的一个或多个准直元件，以及将准直的光光学地耦合到波导的边缘或从波导的边缘光学地耦合的光学输入装置。

参考图2，显示子系统20的一个实施例包括：一个或多个光源22，其生成光；光纤24，其发射光；以及准直元件26，其将从光纤24的远端出射的光准直成光束36。显示子系统20进一步包括：压电元件28，光纤24被安装到压电元件28或被安装在压电元件28中作为无固定的柔性悬臂；以及驱动电子器件30，其被电耦合到压电元件22以激活电激励压电元件28，从而使光纤24的远端以产生围绕支点34的偏转32的预定扫描图案振动，从而根据该扫描图案扫描准直光束36。

显示子系统20包括：波导装置38，其包括大致平行于终端用户的视场的平面光波导40；衍射光学元件(DOE)42，其与平面光波导40相关联；以及耦入元件(ICE)42(采用DOE的形式)，其被集成在平面光波导40的端部内。ICE 42将来自准直元件26的准直光36耦入并重新引导到平面光波导40中。来自准直元件26的准直光束36沿着平面光波导40传播并且与DOE 42相交，从而导致一部分光作为光线46朝向终端用户的眼睛从波导装置38的面出射，这些出射的光线根据平面光波导40的透镜因子而聚焦在观看距离处。因此，光源22与驱动电子器件30一起产生以在空间和/或时间上变化的光的形式编码的图像数据。

终端用户可视化的每个像素的位置高度依赖于光线48从平面光波导40出射的角度。因此，以不同角度从波导40出射的光线48将产生位于终端用户的视场中的不同位置处的像素。例如，如果希望将像素定位在终端用户的视场的右上方处，则准直光束36可以以一个角度被输入到波导装置38中，并且如果希望将像素定位在终端用户的视场的中心，则准直光束36可以以第二不同角度被输入到波导装置38中。因此，当根据扫描图案扫描光纤24时，源自光纤24的光束36将以不同角度被输入到波导装置38中，由此在终端用户的视场中的不同位置处产生像素。因此，每个像素在终端用户的视场中的位置高度依赖于光线48从平面光波导40出射的角度，因此，这些像素的位置被编码在由显示子系统20生成的图像数据内。

尽管光束36进入波导装置38的角度以及因此光束36进入平面光波导40的角度不同于光线48从平面光波导40出射的角度，但是光束36进入波导装置38的角度与光线48从平面光波导40出射的角度之间的关系是公知且可预测的，因此光线48从平面光波导40出射的角度可以根据准直光束36进入波导装置38的角度而被容易地预测。

从前述内容可以理解，从光纤24进入波导装置38的光束36的实际角度以及因此光线48从波导40朝向终端用户出射的实际角度与出射光线48的设计角度是相同的或近似相同的，或具有一对一关系，使得终端用户可视化的像素的位置在由显示子系统20生成的图像数据中被正确地编码。然而，由于不同扫描仪之间的制造公差和变化的环境条件(例如，温度变化，其可能改变用于将显示子系统20集成在一起的接合材料的一致性)，出射光线48的实际角度在没有补偿的情况下将不同于出射光线48的设计角度，从而产生位于终端用户视场内的不正确位置中的像素，导致图像失真。

因此，需要确保在虚拟现实或增强现实环境中光线从显示子系统的波导出射的实际角度与在由显示子系统所生成的图像数据内编码的设计角度接近相同。

发明内容

本发明的实施例涉及用于便于一个或多个用户的虚拟现实和/或增强现实环境交互的设备、系统和方法。

根据本发明的第一方面，提供了一种用于由终端用户使用的虚拟图像生成系统的显示子系统。所述显示子系统包括波导装置。在一个实施例中，所述波导装置被配置为定位在所述终端用户的眼睛的前方。在另一实施例中，所述波导装置具有部分透明的显示表面，该部分透明的显示表面被配置为定位在所述终端用户的眼睛与周围环境之间的视场内。在又一实施例中，所述显示子系统包括被配置为由所述终端用户穿戴的框架结构。在该情况下，所述框架结构承载所述波导装置。

所述显示子系统进一步包括：成像元件，其被配置为发射光；以及准直元件，其被配置为将来自所述成像元件的光准直成光束。在一个实施例中，所述成像元件包括：至少一个光源，其被配置为产生所述光；光纤，其被配置为发射所述光；以及机械驱动组件，所述光纤被安装到其上。所述机械驱动组件被配置为根据扫描图案使所述光纤移位。在一个实施例中，所述机械驱动组件包括：压电元件，所述光纤被安装到其上；以及驱动电子器件，其被配置为将电信号传送到所述压电元件，从而使所述光纤根据所述扫描图案振动。

所述显示子系统进一步包括：耦入元件(ICE)，其被配置为将来自所述准直元件的光束引导通过所述波导装置往下，使得光线从所述波导装置出射以向所述终端用户显示图像帧的像素。所述像素具有用所述出射光线的角度编码的位置。在一个实施例中，所述波导装置包括平面光波导(例如，由单个光学透明材料板形成的平面光波导)，在这种情况下，所述ICE被配置为将来自所述成像元件的所述准直光束光学耦合到所述平面光波导中作为耦入光束。所述波导装置可以进一步包括：正交光瞳扩展(OPE)元件，其与所述平面光波导相关联，用于将所述耦入光束分成多个正交光束；以及出射光瞳扩展(EPE)元件，其与所述平面光波导相关联，用于将所述多个正交光束分成从所述平面光波导出射的光线。

所述显示子系统进一步包括：感测组件，其被配置为感测指示所述出射光线角度中的至少一者的至少一个参数。在一个实施例中，所感测的参数指示被投射(project)在至少一个平面(例如，彼此正交的两个正交平面)中的出射光线的角度，所述至少一个平面正交于与所述波导装置的外表面相符合(coincide)的平面。

在另一实施例中，所感测的参数包括代表所述多个出射光线的至少一个光线的强度。所述代表性光线可以不同于所述多个出射光线。在这种情况下，所述代表性光线可以在与所述终端用户的视场外的所述多个出射光线不同的位置处从所述波导装置出射。或者，所述多个出射光线可以包括所述代表性光线。

在任何情况下，所述感测组件可以包括至少一个角度传感器，每个角度传感器包括光强度传感器和安装在所述波导装置与所述光强度传感器之间的角度选择层。在一个实施例中，所述角度传感器包括：成对的正交传感器，其分别被配置为感测所述代表性光线的第一正交强度分量和第二正交强度分量。所述成对的正交传感器可以分别包括：第一柱面透镜和第二柱面透镜，其被配置为分别通过所述代表性光线的所述第一正交强度分量和所述第二正交强度分量。或者，所述成对的正交传感器分别可以包括：第一衍射光学元件和第二衍射光学元件，其被配置为分别通过所述代表性光线的所述第一正交强度分量和所述第二正交强度分量。或者，所述成对的正交传感器可以分别包括：第一偏振元件和第二偏振元件，其被配置为分别将每个所述代表性光线偏振为正交偏振光线。或者，所述角度选择层可以在正交取向上发生应变。

在又一实施例中，所感测的参数可以包括所述至少一个代表性光线的绝对强度，使得所述第一正交强度分量和所述第二正交强度分量可以被归一化。在这种情况下，所述感测组件可以包括被配置为测量所述至少一个代表性光线的绝对强度的另一光强度传感器。在又一实施例中，所感测的参数指示所述多个出射光线的相对角度。例如，所感测的参数可以包括象限，所述准直光束被投射到平面中的该象限中。在这种情况下，所述感测组件可以包括在参考平面的象限中隔开的多个传感器，或者象限位置感测检测器(PSD)。

根据本发明的第二方面，一种虚拟图像生成系统包括：上述显示子系统；以及控制子系统，其被配置为生成限定所述像素的位置的图像数据，以及基于所限定的像素位置和所感测的参数控制所述光束相对于所述ICE的角度。所述虚拟图像生成系统可以进一步包括存储三维场景的存储器，在这种情况下，所述控制子系统可以被配置为渲染所述三维场景的多个合成图像帧，并且所述显示子系统可以被配置为顺序地向所述终端用户显示所述多个图像帧。所述控制子系统可以包括图形处理单元(GPU)。

根据本发明的第三方面，提供了一种由终端用户使用的虚拟图像生成系统。所述虚拟图像生成系统包括投影子系统，所述投影子系统被配置为产生准直光束。在一个实施例中，所述投影子系统包括：至少一个光源，其被配置为产生光；光纤，其被配置为发射所述光；准直元件，其被配置为将来自所述光纤的光准直成准直光束；以及机械驱动组件，所述光纤被安装到其上。所述机械驱动组件被配置为根据扫描图案使所述光纤移位。在一个实施例中，所述机械驱动组件可以包括：压电元件，所述光纤被安装到其上；以及驱动电子器件，其被配置为将电信号传送到所述压电元件，从而使所述光纤根据所述扫描图案振动。

所述虚拟图像生成系统进一步包括显示器，所述显示器被配置为响应于所述准直光束而发射光线以向所述终端用户显示图像帧的像素。所述像素具有通过所发射的光线的角度编码的位置。在一个实施例中，所述显示器被配置为选择性地在多个不同焦点之一处向所述终端用户显示所述图像帧的像素。所述显示器可以被配置为定位在所述终端用户的眼睛的前方。所述显示器可以具有部分透明的显示表面，所述部分透明的显示表面被配置为定位在所述终端用户的眼睛与周围环境之间的视场内。在另一实施例中，所述虚拟图像生成系统进一步包括被配置为由所述终端用户穿戴的框架结构，所述框架结构承载所述显示器。

所述虚拟图像生成系统进一步包括感测组件，所述感测组件被配置为感测指示所发射的光线的角度的至少一个参数。在一个实施例中，由所述感测组件感测的参数指示投射在至少一个平面(例如，彼此正交的两个正交平面)中的出射光线角度，所述至少一个平面正交于与所述波导装置的外表面相符合的平面。

在另一实施例中，所感测的参数指示投射在至少一个平面(例如，彼此正交的两个正交平面)中的所发射的光线角度，所述至少一个平面正交于与所述波导装置的外表面相符合的平面。

在又一实施例中，所感测的参数包括代表所述多个所发射的光线的至少一个光线的强度。所述代表性光线可以不同于所述多个所发射的光线。在这种情况下，所述代表性光线可以在与所述终端用户的视场外的多个所发射的光线不同的位置处从所述波导装置出射。或者，所述多个所发射的光线可以包括所述代表性光线。

在任何情况下，所述感测组件可以包括至少一个角度传感器，每个角度传感器包括光强度传感器和安装在所述波导装置与所述光强度传感器之间的角度选择层。在一个实施例中，所述角度传感器包括：成对的正交传感器，其分别被配置为感测所述代表性光线的第一正交强度分量和第二正交强度分量。所述成对的正交传感器可以分别包括：第一柱面透镜和第二柱面透镜，其被配置为分别通过所述代表性光线的所述第一正交强度分量和所述第二正交强度分量。或者，所述成对的正交传感器分别可以包括：第一衍射光学元件和第二衍射光学元件，其被配置为分别通过所述代表性光线的所述第一正交强度分量和所述第二正交强度分量。或者，所述成对的正交传感器可以分别包括：第一偏振元件和第二偏振元件，其被配置为分别将每个所述代表性光线偏振为正交偏振光线。或者，所述角度选择层可以在正交取向上发生应变。

在又一实施例中，所感测的参数可以包括所述至少一个代表性光线的绝对强度，使得所述第一正交强度分量和所述第二正交强度分量可以被归一化。在这种情况下，所述感测组件可以包括被配置为测量所述至少一个代表性光线的绝对强度的另一光强度传感器。在又一实施例中，所感测的参数指示所述多个所发射的光线的相对角度。例如，所感测的参数可以包括象限，所述准直光束被投射到平面中的该象限中。在这种情况下，所述感测组件可以包括在参考平面的象限中隔开的多个传感器，或者象限位置感测检测器(PSD)。

所述虚拟图像生成系统进一步包括控制子系统，所述控制子系统被配置为生成限定所述像素的位置的图像数据，以及基于所限定的像素位置和所感测的参数控制所述光束相对于所述显示器的角度。所述虚拟图像生成系统可以进一步包括存储三维场景的存储器，在这种情况下，所述控制子系统可以被配置为渲染所述三维场景的多个合成图像帧，并且所述显示器可以被配置为顺序地向所述终端用户显示所述多个图像帧。所述控制子系统可以包括图形处理单元(GPU)。

本发明的附加的和其它的目的、特征和优点在具体实施方式、附图说明和权利要求中进行描述。

附图说明

附图示出了本发明的优选实施例的设计和利用，其中类似的元件由共同的附图标记表示。为了更好地理解如何获得本发明的上述和其它优点和目的，将通过参考在附图中示出的本发明的具体实施例来呈现上面简要描述的本发明的更具体的描述。应当理解，这些附图仅描绘了本发明的典型实施例，并且因此不被认为是对本发明范围的限制，将通过使用附图以附加的特征和细节来描述和解释本发明，在附图中：

图1是可以由现有技术增强现实生成设备向终端用户显示的三维增强现实场景的图片；

图2是可以在增强现实生成设备中使用的现有技术显示子系统的一个实施例的平面图；

图3是根据本发明的一个实施例构建的虚拟图像生成系统的框图；

图4a是可用于穿戴图3的虚拟图像生成系统的一种技术的平面图；

图4b是可用于穿戴图3的虚拟图像生成系统的另一技术的平面图；

图4c是可用于穿戴图3的虚拟图像生成系统的又一技术的平面图；

图4d是可用于穿戴图3的虚拟图像生成系统的又一技术的平面图；

图5是用于图3的虚拟图像生成系统的显示子系统的一个实施例的平面图；

图6是用于图5的显示子系统的平面光波导的一个实施例；

图7是由图3的虚拟图像生成系统生成的示例性帧的平面图；

图8是可用于生成图7的示例性帧的一种扫描图案的平面图；

图9是可用于生成另一示例性帧的另一扫描图案的平面图；

图10是可用于生成又一示例性帧的又一扫描图案的平面图；

图11是可用于生成再一示例性帧的再一扫描图案的平面图；

图12是用于图5的显示子系统的波导装置的一个实施例的平面图，特别示出了光线角度感测组件的一种布置；

图13是图12的波导装置的沿线13-13截取的截面图；

图14是图12的波导装置的沿线14-14截取的截面图；

图15是用于图5的显示子系统的波导装置的另一实施例的平面图；

图16是用于图5的显示子系统的波导装置的又一实施例的平面图；

图17a是图12的波导装置的透视图，特别示出了在无限观看距离处聚焦的出射光线；

图17b是图12的波导装置的透视图，特别示出了在第一非无限观看距离处聚焦的出射光线；

图17c是图12的波导装置的透视图，特别示出了在第二非无限观看距离处聚焦的出射光线；

图18a是显示屏的透视图，示出了准直光束的一个光束角与终端用户的视场(FOV)中的像素之间的对应关系；

图18b是显示屏的透视图，示出了准直光束的另一光束角与终端用户的视场(FOV)中的像素之间的对应关系；

图19是投射到x-z平面和y-z平面上的、从图18a的显示屏出射的光线的角度的投影的透视图；

图20a是图12的感测组件的正交传感器的一个实施例的平面图；

图20b是图12的感测组件的正交传感器的另一实施例的平面图；

图20c是图12的感测组件的正交传感器的又一实施例的平面图；

图21a是示例性介电层透射率-角度关系的图示；

图21b是光电检测器强度-电压关系的图示；

图22a是示例出相对于x-y平面从平面光波导装置出射的光线的图示的透视图；

图22b是示出投射到x-y平面上的、图23a的光线的图示的平面图；

图23a是图12的感测组件的四个象限传感器的一个实施例的平面图；

图23b是图12的感测组件的位置感测检测器(PSD)的一个实施例的平面图；以及

图24是用于图5的显示子系统的波导装置的一个实施例的剖面图，特别示出了光线角度感测组件的另一布置。

具体实施方式

下面的描述涉及在虚拟现实和/或增强现实系统中使用的显示子系统和方法。然而，应该理解，虽然本发明使得其很好地适用于虚拟或增强现实系统中的应用，但是本发明在其最广泛的方面可以不受如此限制。

参考图3，现在将描述根据本发明构造的虚拟图像生成系统100的一个实施例。虚拟图像生成系统100可以作为增强现实子系统操作，提供与在终端用户50的视场中的物理对象相互混合的虚拟对象的图像。当操作虚拟图像生成系统100时，存在两种基本方法。第一种方法利用一个或多个成像器(例如相机)来捕捉周围环境的图像。虚拟图像生成系统100将虚拟图像相互混合成表示周围环境的图像的数据。第二种方法利用一个或多个至少部分透明的表面，通过该一个或多个至少部分透明的表面可以看到周围环境，并且在该一个或多个至少部分透明的表面上虚拟图像生成系统100产生虚拟对象的图像。

虚拟图像生成系统100以及在此教导的各种技术可以用于增强现实和虚拟现实子系统以外的应用中。例如，各种技术可以应用于任何投影或显示子系统，或者可以应用于可由终端用户的手而不是头部进行移动的微型投影仪。因此，虽然在此经常在增强现实子系统或虚拟现实子系统方面描述，但是教导不应限于这种用途的这种子系统。

至少对于增强现实应用来说，可能期望相对于终端用户50的视场中的相应物理对象在空间上定位各种虚拟对象。虚拟对象(在此也被称为虚拟标签或标签或标出(callout))可以采取多种形式中的任何一种，基本上是能够被表示为图像的任何种类的数据、信息、概念或逻辑构造。虚拟对象的非限制性例子可以包括：虚拟文本对象、虚拟数字对象、虚拟字母数字对象、虚拟标签对象、虚拟场对象、虚拟图表对象、虚拟地图对象、虚拟仪器对象、或物理对象的虚拟视觉表示。

虚拟图像生成系统100包括：由终端用户50穿戴的框架结构102；由框架结构102承载的显示子系统104，使得显示子系统104被定位在终端用户50的眼睛52的前方；以及由框架结构102承载的扬声器106，使得扬声器106被定位在终端用户50的耳道附近(可选地，另一个扬声器(未示出)被定位在终端用户50的另一个耳道附近以提供立体声/可塑形声音控制)。显示子系统104被设计成向终端用户50的眼睛52呈现基于照片的辐射图案，所述辐射图案可以被舒适地感知为物理现实的增强，具有高水平的图像质量和三维感知，以及能够呈现二维内容。显示子系统104以提供对单个相干场景的感知的高频率呈现帧序列。

在所示例的实施例中，显示子系统104采用“光学透视”显示器，通过该“光学透视”显示器，用户可经由透明(或半透明)元件直接观看来自真实对象的光。经常被称为“合成器”的透明元件将来自显示器的光叠加在用户对现实世界的观察之上。为此，显示子系统104包括投影子系统108和部分透明的显示屏110，投影子系统108将图像投影在显示屏110上。显示屏110位于终端用户50的眼睛52与周围环境之间的终端用户50的视场中，使得来自周围环境的直射光透射通过显示屏110到达终端用户50的眼睛52。

在所示例的实施例中，投影组件108将扫描光提供给部分透明的显示屏110，从而与来自周围环境的直射光合成，并从显示屏110传输到用户50的眼睛52。在所示例的实施例中，投影子系统108采用基于光纤扫描的投影设备的形式，并且显示屏110采用基于波导的显示器的形式，来自投影子系统108的扫描光被注入该基于波导的显示器中以产生例如位于比无限远更近的单个光学观看距离(例如手臂长度)处的图像、位于多个离散光学观看距离或焦平面处的图像，和/或在多个观看距离或焦平面处堆叠以表示立体3D对象的图像层。光场中的这些层可以足够紧密地堆叠在一起，以对人类视觉子系统看起来连续(即，一层位于相邻层的混淆锥内)。附加地或替代地，图片元素可以跨两个或更多个层混合，以增加光场中层之间的过渡的所感知的连续性，即使这些层以较稀疏的方式堆叠(即，一个层在相邻层的混淆锥外)。显示子系统104可以是单目的或双目的。

虚拟图像生成系统100进一步包括被安装到框架结构102的一个或多个传感器(未示出)，用于检测终端用户50的头部54的位置和运动和/或终端用户50的眼睛位置和瞳孔间距离。此类传感器可以包括图像捕捉设备(诸如相机)、麦克风、惯性测量单元、加速度计、指南针、GPS单元、无线设备和/或陀螺仪。

虚拟图像生成系统100进一步包括用户取向检测模块112。用户取向模块112检测终端用户50的头部54的瞬时位置，并且可以基于从传感器接收的位置数据预测终端用户50的头部54的位置。检测终端用户50的头部54的瞬时位置有助于确定终端用户50正在注视的特定实际对象，由此提供将为该实际对象生成的特定文本消息的指示，并进一步提供文本消息将被流式传输的文本区域的指示。用户取向模块112还基于从传感器接收的跟踪数据跟踪终端用户50的眼睛52。

虚拟图像生成系统100进一步包括可以采取多种形式中的任何一种的控制子系统。控制子系统包括多个控制器，例如一个或多个微控制器、微处理器或中央处理单元(CPU)、数字信号处理器、图形处理单元(GPU)、其它集成电路控制器，诸如专用集成电路(ASIC)、可编程门阵列(PGA)(例如现场PGA(FPGA))、和/或可编程逻辑控制器(PLU)。

虚拟图像生成系统100的控制子系统包括中央处理单元(CPU)114、图形处理单元(GPU)116、一个或多个帧缓冲器118和用于存储三维场景数据的三维数据库120。CPU 114控制整体操作，而GPU 116渲染根据存储在三维数据库120中的三维数据渲染帧(即，将三维场景转换为二维图像)，并将这些帧存储在帧缓冲器116中。尽管未示出，但一个或多个附加集成电路可以控制帧从帧缓冲器116的读入和/或读出以及显示子系统104的投影组件108的操作。

对于本发明更重要的是，虚拟图像生成系统100进一步包括光线角度感测组件122，光线角度感测组件122直接或间接地感测朝向终端用户50的眼睛52从显示屏100出射的一个或多个光线的角度。如下面将进一步详细描述的，终端用户50的视场内的图像帧的每个像素的期望位置与从显示屏110出射的光线的角度高度相关，因此可以使用出射光线的感测角度来校准显示子系统104，以确保出射光线的实际角度与由显示子系统104生成的图像数据内编码的出射光线的设计角度近似相同。

虚拟图像生成系统100的各种处理部件可以物理地包含在分布式子系统中。例如，如图4a至4d所示，虚拟图像生成系统100包括本地处理和数据模块130，该本地处理和数据模块130诸如通过有线引导或无线连接136可操作地耦合到显示子系统104和传感器。本地处理和数据模块130可以以各种配置被安装，诸如固定地附接到框架结构102(图4a)，固定地附接到头盔或帽子56(图4b)，被嵌入耳机中，可移除地附接到终端用户50的躯干58(图4c)，或者以以带式耦合方式配置可移除地附接到终端用户50的髋部60(图4d)。虚拟图像生成系统100进一步包括远程处理模块132和远程数据储存库134，远程处理模块132和远程数据储存库134例如通过有线引线或无线连接138、140可操作地耦合到本地处理和数据模块130，使得这些远程模块132、134可操作地彼此耦合并且作为资源可用于本地处理和数据模块130。

本地处理和数据模块130可以包括功率高效的处理器或控制器以及数字存储器(诸如闪速存储器)，二者都可用于辅助处理、高速缓存和存储从传感器捕捉的、和/或使用远程处理模块132和/或远程数据储存库134获取和/或处理的数据，这些数据可能在这种处理或检索之后传递给显示子系统104。远程处理模块132可以包括一个或多个相对强大的处理器或控制器，其被配置为分析和处理数据和/或图像信息。远程数据储存库134可以包括相对大规模的数字数据存储设施，其可以通过因特网或“云”资源配置中的其它网络配置来获得。在一个实施例中，所有数据都被存储，并且在本地处理和数据模块130中执行所有计算，允许从任何远程模块完全自主使用。

上述各种部件之间的耦合136、138、140可以包括用于提供导线或光学通信的一个或多个有线接口或端口，或者用于提供无线通信的诸如经由RF、微波和IR的一个或多个无线接口或端口。在一些实施方式中，所有通信可以是有线的，而在其它实施方式中，所有通信可以是无线的。在更进一步的实施方式中，有线和无线通信的选择可以不同于图4a-4d中所示例的选择。因此，有线或无线通信的特定选择不应被视为限制性的。

在所示例的实施例中，用户取向模块112被包含在本地处理和数据模块130中，而CPU 114和GPU 116被包含在远程处理模块132中，但是在替代实施例中，CPU 114、GPU 124或其部分可以被包含在本地处理和数据模块130中。3D数据库120可以与远程数据储存库134相关联。

现在参考图5，投影组件108包括产生光(例如，以限定的图案发射不同颜色的光)的一个或多个光源150。光源150可以采用多种形式中的任一种，例如，一组RGB激光器(例如，能够输出红光、绿光和蓝光的激光二极管)，其可操作以根据在像素信息或数据的各个帧中指定的限定像素图案来分别产生红色、绿色和蓝色相干准直光。激光提供高色彩饱和度并且高度节能。

投影组件108进一步包括扫描设备152，扫描设备152响应于控制信号而以预定的扫描图案扫描光。扫描设备152包括一个或多个光纤154(例如，单模光纤)，每个光纤具有近端154a和远端154b，从光源150接收光到该近端154a，从该远端154b将光提供给显示屏110。扫描设备152进一步包括机械驱动组件156，光纤154被安装到机械驱动组件156上。驱动组件156被配置为根据扫描图案使每个光纤154的远端154b关于支点158移位。

为此，驱动组件156包括压电元件160和驱动电子器件162，光纤154被安装到该压电元件160，该驱动电子器件162被配置为将电信号传送到压电元件160，从而使得光纤154的远端154b根据扫描图案而振动。因此，光源150和驱动电子器件162的操作以生成以空间和/或时间变化的光的形式被编码的图像数据的方式进行协调。美国专利No.2015/0309264中提供了对光纤扫描技术的描述，该专利通过引用明确地并入本文。

投影组件108进一步包括光学耦合组件164，其将来自扫描设备152的光耦合到显示屏110中。光学耦合组件164包括准直元件166，其将由扫描设备152发射的光准直成准直光束200。虽然准直元件166在图5中被示例为与光纤154物理分离，但准直元件可以以“微透镜”布置而被物理地安装到每个光纤154的远端154b，如在序列号为15/286,215、名称为“Microlens Collimator for Scanning Optical Fiber in Virtual/Augmented RealitySystem(虚拟/增强现实系统中用于扫描光纤的微透镜准直器)”的美国专利申请中所述的，该申请通过引用明确地并入本文。光学耦合子系统164进一步包括耦入元件(ICE)168，例如一个或多个反射表面、衍射光栅、反射镜、二向色镜或棱镜，以将光光学地耦合到显示屏110的端部。

显示屏110采取波导装置170的形式，该波导装置170包括平面光波导172和与平面光波导172相关联的一个或多个衍射光学元件(DOE)174。在替代实施例中，波导装置170可以包括多个平面光波导172和分别与平面光波导172相关联的DOE 174。如图6最佳所示，平面光波导172具有第一端176a和第二端176b，第二端176b沿着平面光波导172的长度178与第一端176a相对。平面光波导172具有第一面180a和第二面180b，至少第一面和第二面180a、180b(统称为180)沿着平面光波导的长度178的至少一部分形成至少部分内反射光路(由统称为182的实线箭头182a和虚线箭头182b示出)。平面光波导172可以采取各种形式，这些形式提供基本全内反射(TIR)，以便光以小于所限定的临界角度照射面180。

DOE 174(在图5和图6中由双点划线示出)可以采取使TIR光路182中断的多种形式，从而在沿着平面光波导172的长度176的至少一部分延伸平面光波导172的内部186和外部188之间提供多个光路(由统称为184的实线箭头184a和虚线箭头184b示出)。在所示例的实施例中，DOE 174包括一个或多个衍射光栅，每个衍射光栅可以被表征为具有光波长量级的周期性结构的光学部件，该光学部件将光分割和衍射成在不同方向上行进的多个光束。衍射光栅可以由例如可以光刻印刷在基板上的表面纳米脊、纳米图案、狭缝等构成。DOE174可以允许明显对象和用于这些明显对象的焦平面的定位。这可以逐帧、逐子帧、甚至逐像素地实现。

如图6所示，光沿着平面光波导172传播，其中由TIR传播导致至少一些反射和“反弹”。注意到，一些实施方式可以在内部光路中采用一个或多个反射器，例如可促进反射的薄膜、电介质涂层、金属化涂层等。光沿着平面光波导172的长度178传播，并且沿着长度178在各种位置处与DOE 174相交。DOE 174可以被包含在平面光波导172内、或与平面光波导172的一个或多个面180邻接或邻近。DOE 174完成至少两个功能。DOE 174改变光的角度，导致一部分光离开TIR，并从平面光波导172的面180的内部216出射到外部。DOE 174使耦出的光在观看距离处聚焦。因此，透过平面光波导172的面180观看的人可以在一个或多个观看距离处看到数字图像。

以两个不同角度之一进入波导172的准直光束200将沿着两个TIR光路182a、182b之一传播，从而导致光线202沿着两组外部光路之一离开平面光波导172。也就是说，以由TIR光路182a表示的角度进入波导172的准直光束200a将导致光线202a沿着该组外光路离开平面光波导172，以由TIR光路182b表示的角度进入波导172的准直光束200b将导致光线202b沿着该组外光路离开平面光波导172。如图5所示，光线角度感测组件122位于ICE 168与DOE 174之间，用于直接或间接感测光线202从波导装置170出射的角度，然而感测组件122可位于沿着准直光束200的光路的任何位置处。下面将进一步详细地描述介绍感测组件122的更多细节。

根据上述内容可以理解，显示子系统104产生像素信息的一系列合成图像帧，这些图像帧向用户呈现一个或多个虚拟对象的图像。例如，参考图7，示意性地示出了合成图像帧250，其中单元252a至252m被分成水平排(row)或行(line)254a至254n。帧250的每个单元252可以为该单元252所对应的相应像素指定多个颜色中的每一个的值和/或强度。例如，帧250可以为每个像素指定用于红色256a的一个或多个值，用于绿色256b的一个或多个值以及用于蓝色256c的一个或多个值。值256可以被指定为用于每种颜色的二进制表示，例如，用于每种颜色的相应4位数。帧250的每个单元252可以另外包括指定幅度的值256d。

帧250可以包括一个或多个字段，统称为258。帧250可以由单个字段组成。或者，帧250可以包括两个或甚至更多的字段258a至258b。用于帧250的完整第一字段258a的像素信息可以在用于完整第二字段258b的像素信息之前被指定，例如，在阵列、有序列表或其它数据结构(例如，记录、链表)中在用于第二字段258b的像素信息之前出现。假设呈现子系统被配置为处理多于两个字段258a至258b，则第三字段或甚至第四字段可以跟在第二字段258b之后。

现在参考图8，使用光栅扫描图案260产生帧250。在光栅扫描图案260中，顺序地呈现像素268(仅一个被调出)。光栅扫描图案260典型地从左到右(由箭头262a、262b指示，然后从上到下(由箭头264指示)呈现像素268。因此，呈现可以从右上角开始，并且向左横穿第一行266a，直到达到该行的末尾为止。光栅扫描图案260典型地然后在下面的一行从左边开始。当从一行的结尾返回到第一行的开头时，呈现可暂时变黑(black out)或消隐(blank)。该过程逐行重复，直到最下面一行266n完成(例如在最右下角的像素268处)为止。在帧250完成的情况下，开始新帧，再次返回到下一帧的最上面一行的右边。同样，当从左下角返回到右上角以呈现下一帧时，该呈现可消隐。

光栅扫描的许多实施方式采用所谓的交织扫描图案。在交织的光栅扫描图案中，来自第一字段和第二字段258a、258b的行交织。例如，当呈现第一字段258a的行时，用于第一字段258a的像素信息只能用于奇数行，而用于第二字段258b的像素信息只能用于偶数行。因此，帧250(图7)的第一字段258a的所有行通常在第二字段258b的行之前呈现。可以使用第一字段258a的像素信息来呈现第一字段258a，以顺序地呈现第1行、第3行、第5行等。然后，通过使用第二字段258b的像素信息在第一字段字段258a之后呈现帧250(图7)的第二字段258b，从而顺序地呈现第2行、第4行、第6行等。

参考图9，可以使用螺旋扫描图案270代替光栅扫描图案260来生成帧250。螺旋扫描图案270可以由单个螺旋扫描线272组成，该单个螺旋扫描线272可以包括一个或者多个完整的角度周期(例如，360度)，其可以被称为圈或环。如同图8所示的光栅扫描图案260，随着角度增加，螺旋扫描图案270中的像素信息用于指定每个顺序像素的颜色和/或强度。幅度或径向值274指定从螺旋扫描线272的起点276开始的径向尺寸。

参考图10，可以替代地使用利萨如(Lissajous)扫描图案280来生成帧250。利萨如扫描图案280可以由单个利萨如扫描线282组成，其可以包括一个或多个可被称为圈或环的完整的角度周期(例如，360度)。或者，利萨如扫描图案280可以包括两个或更多个利萨如扫描线282，每个利萨如扫描线相对于彼此进行相移以嵌套(nest)利萨如扫描线282。随着角度增加，像素信息用于指定每个顺序像素的颜色和/或强度。幅度或径向值274指定从利萨如扫描线282的起点286开始的径向尺寸284。

参考图11，可以替代地使用多字段螺旋扫描图案290来生成帧250。多字段螺旋扫描图案290包括两个或更多个不同的螺旋扫描线，统称为160，具体是四个螺旋扫描线292a至160d。用于每个螺旋扫描线292的像素信息可以由帧的相应字段指定。有利地，可以简单地通过在每个连续的螺旋扫描线292之间使相位移位来嵌套多个螺旋扫描线292。螺旋扫描线292之间的相位差应该是将被采用的螺旋扫描线292的总数的函数。例如，四个螺旋扫描线292a至292d可以通过90度相移分开。示例性实施例可以通过10个不同的螺旋扫描线(即，子螺旋)，以100Hz的刷新率进行操作。类似于图9的实施例，一个或多个幅值或径向值指定从螺旋扫描线292的起点296开始的径向尺寸294。

描述显示子系统的更多细节在序列号为14/212,961、名称为“Display Subsystemand Method(显示子系统和方法)”的美国专利申请和序列号为14/696,347、名称为“Planaroptical waveguide Apparatus With Diffraction Element(s)and SubsystemEmploying Same(具有衍射元件的平面光波导装置以及采用该装置的子系统)”的美国专利申请中提供，这两个专利申请通过引用明确地并入本文。

现在参考图12至14，将描述显示屏110和相关联的光线角度感测组件122的一个具体实施例。波导装置170的平面光波导172采取光学透明的平面基板的形式。如图12所示，基板172是光学透明材料(例如玻璃、熔融石英、丙烯酸或聚碳酸酯)制成的单个整体基板或平面，但是在替代实施例中，基板172可以由光学透明材料的在同一平面或不同平面中接合在一起的分离的不同板(pane)组成。ICE 168被嵌入在基板172的面180b中，用于经由面180b将来自投影组件108的准直光束200接收到基板172中，但是在替代实施例中，ICE 168可被嵌入在另一面180a中，或者甚至被嵌入基板172的边缘，以将准直光束200作为耦入光束耦合到基板172中。

DOE 174与基板172相关联(例如，被包含在基板172内、或邻接或邻近基板172的面180a、180b中的一个或多个)，用于二维地扩展光学耦合到基板172中的准直光束200的有效出射光瞳。为此，DOE 174包括：一个或多个正交光瞳扩展(OPE)元件174a(在图12中仅示出一个)，其邻近基板172的面180b以将耦入的光束200分成正交光束201；以及出射光瞳扩展(EPE)元件174b，其与基板172相关联以将每个正交光束201分成耦出光线202，耦出光线202朝向终端用户50的眼睛52从基板172的面180b出射。在基板172由不同板组成的替代实施例中，EPE元件174b以及一个或多个OPE元件174可以被包含在基板172的不同板中。

OPE元件174a沿着第一轴(图5中的水平或x轴)中继光，并沿着第二轴(图5中的垂直轴或y轴)扩展光的有效出射光瞳。特别地，ICE 168使准直光束200光学耦入以沿着内反射光路204a(在此情况下，沿着垂直或y轴)通过TIR在基板172内传播，并且在此操作中，重复地与OPE元件174a相交。在所示例的实施例中，OPE元件174a具有相对低的衍射效率(例如小于50％)，并且包括一系列对角衍射元件(相对于x轴四十五度)，使得在与OPE元件174a的每个交点处，耦入的光束200的一部分(例如，大于90％)继续沿着内反射光路204a通过TIR在基板172内传播，并且耦入光束200的剩余部分(例如，小于10％)作为正交光束201被衍射，该正交光束201沿着内反射光路204b(在这种情况下，沿着水平或x轴)通过TIR在基板172内朝向EPE元件174b传播。应该理解，虽然光路204b被描述为与光路204a垂直或正交，但光路204b也可以相对于光路204a倾斜地取向。因此，通过将耦入光束200分成沿着平行内反射光路204b传播的多个正交光束201，耦入到波导装置170中的准直光束200的出射光瞳由OPE元件174a沿着y轴垂直扩展。

EPE元件174b转而沿着第一轴(图12中的水平x轴)进一步扩展光的有效出射光瞳。特别地，如同OPE元件174a，EPE元件174b具有相对低的衍射效率(例如，小于50％)，使得在与EPE元件174b的每个交点处，每个正交光束201的一部分(例如，大于90％)继续沿着相应的内反射光路204b传播，并且每个正交光束201的剩余部分作为从基板172的面180b(沿着z轴)出射的耦出光线202被衍射，如图13和14所示。也就是说，每当光束照射到EPE元件174b时，其一部分将朝向基板172的面180b被衍射，而剩余部分将继续沿着相应的内反射光路204b传播。

因此，通过将每个正交光束201分成多个耦出光线202，耦入光束200的出射光瞳由EPE元件174b沿着x轴进一步水平地扩展，从而产生耦出光线202的二维阵列，耦出光线202就像原始耦入光束200的较大版本。应注意，虽然OPE元件174a和EPE元件174b在图12中被示为在xy平面中不重叠，但是OPE元件174a和EPE元件174b可以在xy平面中彼此完全重叠，如图15所示，或者可以在xy平面中彼此部分重叠，如图16所示。在这些情况下，OPE元件174a和EPE元件174b将需要分别被设置在基板172的相反面180a、180b上。

除了从基板172的面180b耦出子光束的功能之外，EPE元件174b还用于使输出的子光束组聚焦在给定焦平面上，使得终端用户50能够在与该焦平面匹配的观看距离处看到图像或虚拟对象的一部分。例如，如果EPE元件174b仅具有线性衍射图案，则朝向终端用户50的眼睛52从基板172的面180b出射的耦出光线202将基本上平行，如图17a所示，这将被终端用户50的大脑解释为来自光学无限远处的观看距离(焦平面)的光。然而，如果EPE元件174b同时具有线性衍射图案分量和径向对称衍射图案分量，则从基板172的面180b出射的耦出光线202将从终端用户50的眼睛52的视角变得更加发散(即，将在光波前上提供凸曲率)，并且要求眼睛52适应更近的距离以使得到的图像聚焦在视网膜上，并且将被终端用户50的大脑解释为来自比光学无限远更接近眼睛52的观看距离(例如4米)的光，如图17b所示。从基板172的面180b出射的耦出光线202可以从终端用户50的眼睛52的视角变得进一步更加发散(即，将在光波前上提供更凸的曲率)，并且要求眼睛52适应更近的距离以使得到的图像聚焦在视网膜上，并且将被终端用户50的大脑解释为来自更接近眼睛52的观看距离(例如0.5米)的光，如图17c所示。

虽然波导装置170在本文中已经被描述为仅具有一个焦平面，但应该理解，具有关联的OPE 178和EPE 180的多个平面光波导172可以被用于同时或并行地在多个焦平面处生成图像，如在公开号为2015/0309264和2015/0346490的美国专利公开中所讨论的，这些专利公开通过引用明确地并入本文。

如上面简要讨论的，显示子系统104包括感测组件122，感测组件122被配置为感测指示从波导装置170出射的光线202中的至少一个的角度的至少一个参数。在所示例的实施例中，感测组件122感测指示光线202相对于一个或多个参考平面的角度的参数。例如，这些参考平面可以包括下面进一步详细描述的x-z平面、y-z平面和x-y平面。值得注意的是，这些参考平面可以是平坦的，但是由于波导装置170的外表面可以替代地是弯曲的以符合用户50的头部54，因此这些参考平面也可以是弯曲的。

如上面简要讨论的，出射光线的角度与图像帧内的像素的位置高度相关。例如，如图18a和18b所示，来自投影子系统108的准直光束200经由ICE 168进入波导装置170并在平面光波导172内传播。传播的光束200的出射光瞳由DOE 174沿着x轴和y轴扩展，例如，如上面关于图12至14所描述的，光线202从平面光波导172的面180b出射。应该理解，尽管为了简要的目的，仅示出了与输入到波导装置170中的准直光束200相对应的一个光线202，但是通常会有与单个准直光束200对应地从波导装置170出射的许多光线202，所有出射光线202的所有角度都与准直光束200的扫描角度相关。

准直光束200由投影子系统108扫描以产生光210a的输入锥，其中该锥中的每个光束角度对应于用户视场(FOV)214中的像素212。如图18a所示，如果准直光束200具有一个特定的光束角度，则在FOV 214的左下区域中产生相应的像素212a，而如果准直光束200具有另一特定的光束角度，则在FOV 214的右上区域中产生相应的像素212b。波导装置170通过将输入光锥210a传输到平面光波导172的发射面180b产生输出光锥210b而向用户呈现x-y图像平面。

CPU 114(图3中所示)生成图像数据，该图像数据除了限定像素的颜色和强度之外还限定像素的位置，由此基于与限定的像素位置对应的出射光线202的设计角度以及由感测组件122感测的出射光线202的实际角度来控制由投影子系统108产生的光束200相对于显示屏110的角度，从而确保出射光线202的实际角度与出射光线202的设计角度尽可能地近似相同。

例如，参考图19，来自三维空间中的原点的出射光线202的取向可以由两个角度限定，一个在x-z平面216a上，另一个在y-z平面216b上，这两个角度紧密对应于FOV 214的x-y平面中的像素212的相应x和y坐标。CPU 114可基于由感测组件122感测的参数确定x-z和y-z平面216a、216b中的出射光线202的实际角度，计算出射光线202的实际角度与对应像素212的出射光线202的设计角度之间的偏差，并且修改投影子系统108的操作以补偿出射光线202的实际角度与出射光线202的设计角度之间的差异。

例如，CPU 114可指示投影子系统108调整准直光束200的扫描位置。在所示例的实施例中，准直光束200的扫描位置可通过修改扫描设备156(参见图5)致动/驱动分布(例如，由驱动电子器件162向压电元件160提供的驱动电压、驱动信号、驱动模式等)来调整，从而使得扫描设备156的机械响应更符合期望像素位置的期望机械响应。作为另一示例，CPU114可以修改图像数据(例如，通过修改像素调制/像素同步)以补偿扫描设备156的机械扫描响应与期望扫描响应之间的已知失配。在这种情况下，出射光线202的“不正确的角度”被测量但不被校正。作为又一示例，CPU 114可以采用修改准直光束200的扫描位置和修改图像数据的组合。

可以修改准直光束200的扫描位置和/或图像数据，以通过采用软件/硬件控制器来补偿出射光线202的实际角度与出射光线202的期望角度之间的失配(类似于例如比例-积分-微分(PID))，所述软件/硬件控制器实时监控角度测量，并且尽可能快地实现对投影子系统108的调节，以使由于处理和因果性而导致的延迟最小化。或者，由于显示子系统104是重复系统，其中使用相同的目标扫描图案生成每个图像帧，因此可以计算并存储针对先前的图像帧获取的角度测量值，然后可以对后续的图像帧应用校正。在存在高图像帧率的情况下，可能发生大约数毫秒的延迟。

由感测组件122检测的参数包括光线202中的至少一个相对于x-z和y-z平面216a、216b的强度。在图12至14所示例的实施例中，感测组件122测量代表从波导装置170出射或发射的光线202的至少一个光线203(在此仅描述一个)的强度。在该实施例中，代表性光线203不同于出射光线202，并且将在与出射光线202不同的位置处(优选地在终端用户50的FOV 214的外部)从波导装置170出射。为此，波导装置170进一步包括另外的DOE 190，用于将来自波导装置170的光作为代表性光线203耦出到感测组件122，如图12至14所示。

如图14最佳所示，感测组件122包括：正交角度传感器220a和220b(统称为220)的对，其被配置为感测从波导装置170出射的代表性光线203的正交分量；以及归一化传感器222，其被配置为感测代表性光线203的绝对强度，使得来自正交角度传感器220的读数可以被归一化为平面光波导172中的光的强度。也就是说，当生成图像时，与不同像素的颜色对应地调制像素强度。因此，当解释角度传感器220的测量时，可以考虑由光强度传感器222测量的像素强度调制。

在所示例的实施例中，角度传感器220和归一化传感器222被安装到与DOE 190紧密关联的波导装置170的平面光波导172上，使得通过DOE 190的光线202入射在传感器220、222上。传感器220、222优选地位于终端用户50的FOV 214的外部，使得它们不干扰终端用户50所体验的图像。

进一步参考图20a，角度传感器220a、220b的对分别包括光强度传感器224a、224b(统称为306)的对、角度选择性介电层226a、226b(统称为226)的对和柱面透镜(例如，GRIN透镜)228a、228b(统称为228)的对。GRIN透镜228被直接安装到DOE 190的面向外的表面上，介电层226分别被直接安装到GRIN透镜228的面向外的表面上，并且光强度传感器224分别被直接安装到介电层226的面向外的表面上。

值得注意的是，每个介电层226的方向特性作为光能量在介电层226(其位于x-y平面中)的平面上入射的角度的已知函数而传输光能。例如，从图21a所示的示例性介电层透射率-角度关系可以看出，代表性光线203的角度越接近介电层226的平面的法线(0度)，代表性光线203的越大的能量被传输到光强度传感器224。此外，每个光强度传感器224将产生电压，该电压是以与相应介电层226的平面垂直的角度入射的光能的强度的已知函数。例如，从图21b所示的示例性光电检测器强度-电压关系可以看出，入射在介电层226上的光能的强度越高，由电介质226产生的电压越大。结果，代表性光线203在光强度传感器224的平面上的入射角度可以根据这些关系曲线确定，这将在下面进一步详细描述。应注意，图21a和21b所示的关系曲线可以通过分析生成，或者可以通过测量或校准每单元的相关值来生成，由此产生更精确且校准度更高的关系曲线。

还应注意，由于“余弦衰减”，其中入射光的入射角以及光传感器的光物理特性越大，传感器孔径到与入射光垂直的平面的投影的面积越小，光强度传感器224本身将具有一定程度的角度依赖性，这可以被用作感测代表性光线203的角度的主要手段，在这种情况下，角度传感器220可以不包括介电层226，或者可以被用作感测代表性光线203的角度的除了在角度传感器220中使用介电层226之外的辅助或协助手段。在任一种情况下，可以产生光电检测器强度-角度关系(未示出)，此关系将由相应的光强度传感器224感测的电压与一定范围的光入射角进行关联。该光电检测器强度-角度关系本身可用于确定代表性光线203的角度，或者可用于确认根据介电层透射率-角度关系(图21a)和光电检测器强度-电压关系(图21b)而确定的代表性光线203的角度。

值得注意的是，介电层226本质上是各向同性的，因为它们将以相同的入射角但是不同的径向方向均等地传输来自代表性光线203的能量，因此感测组件122破坏介电层226的圆形对称性，从而允许代表性光线203的取向被投射到x-z和y-z平面216a、216b中。为此，柱面透镜228a、228b被配置为分别将代表性光线203的第一正交分量和第二正交分量(对应于x-z和y-z平面216a、216b)传送到相应的介电层226a、226b。

因此，一个透镜228a将代表性光线203a的能量分为水平(x-)分量，并且另一透镜228b将代表性光线203b的能量分为垂直(y-)分量。因此，一个光强度传感器224a将仅接收从DOE 190出射的代表性光线203a的水平能量分量，而另一个光强度传感器224b将仅经由DOE 190接收代表性光线203b的垂直能量分量。投射到x-z和y-z平面216a、216b上的代表性光线202的角度然后可以根据代表性光线203的这些水平和垂直分量确定，如下面将讨论的。

值得注意的是，尽管为了图示的简洁和清楚的目的而将每个角度传感器220描述为检测一个代表性光线203，但实际上每个角度传感器220检测许多光线，因此，角度传感器220的电压输出将表示代表性光线203的水平分量203a或垂直分量203b的合成。然而，DOE190优选地具有线性衍射图案，使得在给定耦入准直光束200的特定角度的情况下，代表性光线203从DOE 190出射的角度是一致的。

在图20b所示的替代实施例中，不使用与已有的DOE 190相关联的柱面透镜310，而是DOE 190本身可以被分割为按照与上述柱面透镜228相同的方式，将一个正交分量传送到角度传感器220a的一个部分，以及将另一正交分量传送到角度传感器220b的另一部分。在图20c所示的又一备选实施例中，角度传感器220分别包括偏振元件230a、230b(统称为230)的对，其被配置为将代表性光线203偏振为正交偏振光线，然后经由介电层226a、226b将这些正交偏振光线传送到相应的光强度传感器224a、224b。

在再一替代实施例中，代替柱面透镜或上述任何其它装置，介电层226a、226b本身可以在正交取向上发生应变，使得介电层226不再是各向同性的，而是各向异性的，并且倾向于在一个正交方向上比在另一正交方向上更多地传送代表性光线203。尽管各向异性介电层226不能以正交方式完美地传输代表性光线203，但是当被投射到x-z和y-z平面216a、216b上时，代表性光线203的角度仍然可以根据介电层226的已知正交透射系数(即，每个介电层226在一个正交方向上透射的光能量相对于在另一正交方向上透射的光能量的比率)来确定。

尽管每个角度传感器220被描述为与DOE 190紧密关联，但是应该理解，角度传感器220中的一者或全部两者可以在任何接口处被安装在波导装置170中，该接口采取光栅或其折射率与平面光波导172的构成材料的折射率不同的材料的形式，从而允许光线逸出并进入传感器220。然而，对于耦入的准直光束200的任何给定扫描角度，从DOE 190出射的代表性光线203的角度将会与从EPE元件174b出射的光线202的标称角度紧密匹配。

尽管如此，角度传感器220可替代地与EPE元件174b紧密关联。在这种情况下，从波导装置170出射的光线202将包括由角度传感器220感测到的代表性光线。在这种情况下，当给定耦入的准直光束200的任何特定角度时，由角度传感器220感测的光线202可能是发散的，并且因此有点不均匀，这是因为EPE元件174b可能具有产生不处于光学无限远处的焦平面的径向对称衍射图案。在这种情况下，角度传感器220的尺寸将优选地相对较小，因此照射到角度传感器220上的光线之间的角度变化将是微不足道的。

同样，如果角度传感器220与EPE元件174b紧密关联，则期望各个角度传感器220之间的间隔相对较小，使得由角度传感器220a、220b检测的出射光线202的水平和垂直光分量将基本上将用作从波导装置170出射的标称光线的分量。最后，投射到x-z和y-z平面216a、216b上的光线202a、202b的角度的函数将基本上接近照射在角度传感器220上的所有光线202的角度的平均值，由于角度之间的变化很小，该角度平均值代表从波导装置170出射的光线202的标称角度。在替代实施例中，角度传感器220可以被置于波导302上，该波导302在光学无限远处(即，没有透镜)或者在波导装置170上没有透镜的特殊区域处(从而光线的角度彼此平行)生成图像。

值得注意的是，所公开的角度传感器220仅能感测从中可以获得x-z平面216a或y-z平面216b中的出射光线202的绝对角度的信息(例如，30°的绝对角度可以是+30°或-30°)。因此，感测组件122感测指示出射光线202在x-z平面216a或y-z平面216b中的相对角度的另一参数。在所示例的实施例中，该感测的参数包括准直光束200被投射在平面中的象限，从而可以确定被投射到x-z和y-z平面216a、216b上的光线202的角度的符号。

例如，如图22a所示，一个出射光线202形成相对于x-y平面216c的角度。也就是说，如图22b所示，当投射到x-y平面216c上时，出射光线202可以在x-y平面216c中形成角度。如图所示，出射光线202的角度被投射在xy平面216c的第二象限内，因此可以确定出射光线202在x-z平面216a中所成的角度具有负号，并且出射光线202在y-z平面216b中所成的角度应具有正号。

感测组件122被配置为，通过检测从准直元件274进入ICE 168的准直光束200所指向的象限，来间接地检测其中出射光线202被投射到的象限(如图5所示)。特别地，返回去参考图13和14，感测组件122包括被安装到ICE 168上的一个或多个象限传感器232。如图23a所示，四个象限传感器232在参考平面234的各个象限中被间隔开，从而准直光束200对传感器232中的一个的激活将指示光束200当前所指向的象限。或者，如图23b所示，感测组件122可以包括以各象限的交点为中心的象限位置感测检测器(PSD)236。在任何情况下，因为准直光束200的角位置与从波导装置170出射的光线202的角度相关，所以光线202被投射到x-y平面216c中的象限可以根据准直光束200所指向的参考平面234的象限来推导出。

在替代实施例中，当感测组件122感测到出射光线202的强度时，光线202投射到x-y平面216c中的象限可以简单地根据扫描图案中的当前扫描位置的象限来推断出。

尽管检测出射光线202的角度的传感器已经被描述为与平面光波导200紧密相关，但是一个或多个角度检测传感器可以被包含在显示子系统104的任何部分中，其中可以检测到与从波导装置170出射的光线的角度相关的光线或光束。例如，如图25所示，既检测被投影到x-z和y-z平面216a、216b上的准直光束200的角度也检测准直光束200被投射到的x-y平面216c的象限的PSD 236可以被安装到ICE 168上。

PSD 236直接感测准直光束200的角度，而不是从波导装置170出射的光线202的角度。然而，由于准直光束200的角度与从波导装置170出射的光线202的角度高度相关，因此，PSD 236通过直接感测准直光束200的角度来间接地感测从波导装置170出射的光线202的角度。

现在将描述一种确定被投射到x-z平面216a和y-z平面216b上的光线202的角度的方法。假定光强度传感器222测量到90mV的电压。根据图22b所示例的示例性光电检测器强度-电压关系，代表性光线203的绝对强度可以于是被确定为100尼特。

假定角度传感器220a测量到70mV的电压。根据图21b所示例的示例性光电检测器强度-电压关系，由角度选择性介电层226a传输至光强度传感器224a的代表性光线203的强度可以于是被确定为80尼特。因此，基于已知的100尼特的光线强度，可以确定介电层226a将80/100＝80％的光能传输至光强度传感器224a。根据图21a所示例的示例性介电层透射率-角度关系，于是可以将投射在x-z平面216a中的代表性光线203的绝对角度确定为20度。

类似地，假定角度传感器220b测量到65mV的电压。根据图21b所示例的示例性光电检测器强度-电压关系，由角度选择性介电层226b传输至光强度传感器224b的代表性光线203的强度可以于是被确定为75尼特。因此，基于已知的100尼特的光线强度，可以确定介电层226b将75/100＝75％的光能传输至光强度传感器224b。根据图21a所示例的示例性介电层透射率-角度关系，于是可以将投射在y-z平面216a上的代表性光线203的绝对角度确定为35度。

如果传感器232或PSD 236检测到被投射在x-y平面216c上的代表性光线203的角度在第三象限中，或者以其它方式已知被投射在x-y平面216c上的代表性光线203的角度处于根据准直光束200的已知扫描角度的信息而推导出的第三象限中，则可以确定分别投射到x-z平面216a和y-z平面216b上的代表性光线203的角度都应该是负的，因此是-20度和-35度。

尽管已经示出和描述了本发明的特定实施例，但是将理解，并不意图将本发明限制为优选实施例，并且对于本领域技术人员来说显而易见的是，可以在不脱离本发明的精神和范围的情况下做出各种改变和修改。因此，本发明旨在覆盖可包括在由权利要求限定的本发明的精神和范围内的替代、修改和等同物。

Claims (56)

1.一种用于由终端用户使用的虚拟图像生成系统的显示子系统，包括：

波导装置；

成像元件，其被配置为发射光；

准直元件，其被配置为将来自所述成像元件的光准直成光束；

耦入元件ICE，其被配置为将来自所述准直元件的准直光束引导通过所述波导装置往下，使得多个光线从所述波导装置出射以向所述终端用户显示图像帧的像素，所述像素具有用多个出射光线的角度编码的位置；以及

感测组件，其被配置为感测指示所述出射光线的角度的至少一个参数，其中至少一个所感测的参数包括代表所述多个出射光线的至少一个光线的强度。

2.根据权利要求1所述的显示子系统，其中所述成像元件包括：

至少一个光源，其被配置为产生光；

光纤，其被配置为发射所述光；以及

机械驱动组件，所述光纤被安装到其上，所述机械驱动组件被配置为根据扫描图案使所述光纤移位。

3.根据权利要求2所述的显示子系统，其中所述机械驱动组件包括压电元件和驱动电子器件，所述光纤被安装到所述压电元件上，所述驱动电子器件被配置为将电信号传送到所述压电元件，从而使所述光纤根据所述扫描图案振动。

4.根据权利要求1所述的显示子系统，其中所述波导装置被配置为定位在所述终端用户的眼睛的前方。

5.根据权利要求1所述的显示子系统，其中所述波导装置具有部分透明的显示表面，所述部分透明的显示表面被配置为定位在所述终端用户的眼睛与周围环境之间的视场内。

6.根据权利要求1所述的显示子系统，进一步包括被配置为由所述终端用户穿戴的框架结构，所述框架结构承载所述波导装置。

7.根据权利要求1所述的显示子系统，其中所述波导装置包括：

平面光波导，其中所述ICE被配置为将来自所述成像元件的所述准直光束光学耦合到所述平面光波导中作为耦入光束；

正交光瞳扩展OPE元件，其与所述平面光波导相关联，用于将所述耦入光束分成多个正交光束；以及

出射光瞳扩展EPE元件，其与所述平面光波导相关联，用于将所述多个正交光束分成从所述平面光波导出射的光线。

8.根据权利要求7所述的显示子系统，其中所述平面光波导包括由单个光学透明材料板形成的单个基板。

9.根据权利要求1所述的显示子系统，其中至少一个所感测的参数指示被投射在至少一个平面中的出射光线角度，所述至少一个平面正交于与所述波导装置的外表面相符合的平面。

10.根据权利要求9所述的显示子系统，其中所述至少一个平面包括彼此正交的两个平面。

11.根据权利要求1所述的显示子系统，其中至少一个代表性光线不同于所述多个出射光线。

12.根据权利要求11所述的显示子系统，其中所述至少一个代表性光线在与所述终端用户的视场外的所述多个出射光线不同的位置处从所述波导装置出射。

13.根据权利要求1所述的显示子系统，其中所述多个出射光线包括所述至少一个代表性光线。

14.根据权利要求1所述的显示子系统，其中所述感测组件包括至少一个角度传感器，每个角度传感器包括光强度传感器和安装在所述波导装置与所述光强度传感器之间的角度选择层。

15.根据权利要求14所述的显示子系统，其中所述至少一个角度传感器包括成对的正交传感器，所述成对的正交传感器分别被配置为感测所述至少一个代表性光线的第一正交强度分量和第二正交强度分量。

16.根据权利要求15所述的显示子系统，其中所述成对的正交传感器分别包括第一柱面透镜和第二柱面透镜，所述第一柱面透镜和所述第二柱面透镜被配置为分别传送所述至少一个代表性光线的所述第一正交强度分量和所述第二正交强度分量。

17.根据权利要求15所述的显示子系统，其中所述成对的正交传感器分别包括第一衍射光学元件和第二衍射光学元件，所述第一衍射光学元件和所述第二衍射光学元件被配置为分别传送所述至少一个代表性光线的所述第一正交强度分量和所述第二正交强度分量。

18.根据权利要求15所述的显示子系统，其中所述成对的正交传感器分别包括第一偏振元件和第二偏振元件，所述第一偏振元件和所述第二偏振元件被配置为分别将所述至少一个代表性光线中的每一个偏振为正交偏振光线。

19.根据权利要求15所述的显示子系统，其中所述角度选择层在正交取向上发生应变。

20.根据权利要求15所述的显示子系统，其中所述至少一个所感测的参数包括所述至少一个代表性光线的绝对强度，使得所述第一正交强度分量和所述第二正交强度分量能够被归一化。

21.根据权利要求20所述的显示子系统，其中所述感测组件包括被配置为测量所述至少一个代表性光线的绝对强度的另一光强度传感器。

22.根据权利要求15所述的显示子系统，其中所述至少一个所感测的参数指示所述多个出射光线的相对角度。

23.根据权利要求22所述的显示子系统，其中所述至少一个所感测的参数进一步包括象限，所述准直光束被投射在平面中的该象限中。

24.根据权利要求23所述的显示子系统，其中所述感测组件包括在参考平面的象限中分隔开的多个传感器。

25.根据权利要求23所述的显示子系统，其中所述感测组件包括象限位置感测检测器PSD。

26.一种虚拟图像生成系统，包括：

根据权利要求1所述的显示子系统；以及

控制子系统，其被配置为生成限定所述像素的位置的图像数据，以及基于所限定的像素位置和至少一个所感测的参数来控制所述光束相对于所述ICE的角度。

27.根据权利要求26所述的虚拟图像生成系统，进一步包括存储三维场景的存储器，其中所述控制子系统被配置为渲染所述三维场景的多个合成图像帧，并且所述显示子系统被配置为顺序地向所述终端用户显示所述多个图像帧。

28.根据权利要求26所述的虚拟图像生成系统，其中所述控制子系统包括图形处理单元GPU。

29.根据权利要求26所述的虚拟图像生成系统，其中所述波导装置包括：

平面光波导，其中所述ICE被配置为将来自所述成像元件的所述准直光束光学耦合到所述平面光波导中作为耦入光束；

正交光瞳扩展OPE元件，其与所述平面光波导相关联，用于将所述耦入光束分成多个正交光束；以及

出射光瞳扩展EPE元件，其与所述平面光波导相关联，用于将所述多个正交光束分成从所述平面光波导发射的光线。

30.根据权利要求29所述的虚拟图像生成系统，其中所述平面光波导包括由单个光学透明材料板形成的单个基板。

31.一种由终端用户使用的虚拟图像生成系统，包括：

投影子系统，其被配置为产生准直光束；

显示器，其被配置为响应于所述准直光束而从波导装置发射光线以向所述终端用户显示图像帧的像素，所述像素具有用所发射的光线的角度编码的位置；

感测组件，其被配置为感测至少一个参数，所述至少一个参数指示所述所发射的光线的角度中的至少一个；以及

控制子系统，其被配置为生成限定所述像素的位置的图像数据，以及基于所限定的像素位置和至少一个所感测的参数来控制所述光束相对于所述显示器的角度，其中所述至少一个所感测的参数包括代表所述所发射的光线的至少一个光线的强度。

32.根据权利要求31所述的虚拟图像生成系统，其中所述投影子系统包括：

至少一个光源，其被配置为产生光；

光纤，其被配置为发射所述光；

准直元件，其被配置为将来自所述光纤的光准直成所述准直光束；以及

机械驱动组件，所述光纤被安装到其上，所述机械驱动组件被配置为根据扫描图案使所述光纤移位。

33.根据权利要求32所述的虚拟图像生成系统，其中所述机械驱动组件包括压电元件和驱动电子器件，所述光纤被安装到所述压电元件上，所述驱动电子器件被配置为将电信号传送到所述压电元件，从而使所述光纤根据所述扫描图案振动。

34.根据权利要求31所述的虚拟图像生成系统，其中所述显示器被配置为选择性地在多个不同焦点中的一个焦点处向所述终端用户显示所述图像帧的像素。

35.根据权利要求31所述的虚拟图像生成系统，其中所述显示器被配置为定位在所述终端用户的眼睛的前方。

36.根据权利要求31所述的虚拟图像生成系统，其中所述显示器具有部分透明的显示表面，所述部分透明的显示表面被配置为定位在所述终端用户的眼睛与周围环境之间的视场内。

37.根据权利要求31所述的虚拟图像生成系统，进一步包括被配置为由所述终端用户穿戴的框架结构，所述框架结构承载所述显示器。

38.根据权利要求31所述的虚拟图像生成系统，进一步包括存储三维场景的存储器，其中所述控制子系统被配置为渲染所述三维场景的多个合成图像帧，并且所述显示器被配置为顺序地向所述终端用户显示所述多个图像帧。

39.根据权利要求31所述的虚拟图像生成系统，其中所述控制子系统包括图形处理单元GPU。

40.根据权利要求31所述的虚拟图像生成系统，其中所述至少一个所感测的参数指示被投射在至少一个平面中的所述所发射的光线的角度，所述至少一个平面正交于与所述波导装置的外表面相符合的平面。

41.根据权利要求40所述的虚拟图像生成系统，其中所述至少一个平面包括彼此正交的两个平面。

42.根据权利要求31所述的虚拟图像生成系统，其中至少一个代表性光线不同于所述所发射的光线。

43.根据权利要求42所述的虚拟图像生成系统，其中所述至少一个代表性光线在与所述终端用户的视场外的多个出射光线不同的位置处由所述波导装置发射。

44.根据权利要求31所述的虚拟图像生成系统，其中所述所发射的光线包括至少一个代表性光线。

45.根据权利要求31所述的虚拟图像生成系统，其中所述感测组件包括至少一个角度传感器，每个角度传感器包括光强度传感器和被安装在所述波导装置与所述光强度传感器之间的角度选择层。

46.根据权利要求45所述的虚拟图像生成系统，其中所述至少一个角度传感器包括成对的正交传感器，所述成对的正交传感器分别被配置为感测所述至少一个代表性光线的第一正交强度分量和第二正交强度分量。

47.根据权利要求46所述的虚拟图像生成系统，其中所述成对的正交传感器分别包括第一柱面透镜和第二柱面透镜，所述第一柱面透镜和所述第二柱面透镜被配置为分别传送所述至少一个代表性光线的所述第一正交强度分量和所述第二正交强度分量。

48.根据权利要求46所述的虚拟图像生成系统，其中所述成对的正交传感器分别包括第一衍射光学元件和第二衍射光学元件，所述第一衍射光学元件和所述第二衍射光学元件被配置为分别传送所述至少一个代表性光线的所述第一正交强度分量和所述第二正交强度分量。

49.根据权利要求46所述的虚拟图像生成系统，其中所述成对的正交传感器分别包括第一偏振元件和第二偏振元件，所述第一偏振元件和所述第二偏振元件被配置为分别将所述至少一个代表性光线中的每一个偏振为正交偏振光线。

50.根据权利要求46所述的虚拟图像生成系统，其中所述角度选择层在正交取向上发生应变。

51.根据权利要求46所述的虚拟图像生成系统，其中所述至少一个所感测的参数包括所述至少一个代表性光线的绝对强度，使得所述第一正交强度分量和所述第二正交强度分量能够被归一化。

52.根据权利要求51所述的虚拟图像生成系统，其中所述感测组件进一步包括被配置为测量所述至少一个代表性光线的绝对强度的另一光强度传感器。

53.根据权利要求46所述的虚拟图像生成系统，其中所述至少一个所感测的参数指示所述所发射的光线的相对角度。

54.根据权利要求53所述的虚拟图像生成系统，其中所述至少一个所感测的参数进一步包括象限，所述准直光束被投射在平面中的所述象限中。

55.根据权利要求54所述的虚拟图像生成系统，其中所述感测组件包括在参考平面的象限中分隔开的多个传感器。

56.根据权利要求54所述的虚拟图像生成系统，其中所述感测组件包括象限位置感测检测器PSD。

Images