CN107850784A - 虚拟/增强现实系统中具有内向指向角度的准直光纤扫描仪设计 - Google Patents

Abstract

一种用于虚拟图像生成系统的显示子系统。显示子系统包括平面波导装置和光纤，该光纤具有相对于平面波导设备固定的远侧末端以及靠近远侧末端的开孔。显示子系统进一步包括至少一个光源，其耦合光纤并被配置为从光纤的开孔发射光；以及机械驱动组件，光纤被安装到驱动组件。机械驱动组件被配置为根据扫描图案将光纤的开孔移位。显示子系统进一步包括光学波导输入装置，该光学波导输入装置被配置为将来自光纤的开孔的光引导到平面波导装置，使得平面波导装置向终端用户显示一个或多个图像帧。

Description

虚拟/增强现实系统中具有内向指向角度的准直光纤扫描仪 设计

技术领域

本发明总体上涉及被配置为便于用于一个或多个用户的交互式虚拟或增强现实环境的系统和方法。

背景技术

现代计算和显示技术促进了用于所谓的“虚拟现实”或“增强现实”体验的系统的发展，其中数字再现的图像或其部分以其看起来是真实的或者可能被感知为真实的方式呈现给用户。虚拟现实(VR)场景通常涉及数字或虚拟图像信息的呈现，而对于其它实际的真实世界的视觉输入不透明，而增强现实(AR)场景通常涉及数字或虚拟图像信息的呈现作为对终端用户周围的实际世界的可视化的增强。

例如，参考图1，描绘了增强现实场景4，其中AR技术的用户看到以人、树木、背景中的建筑物和混凝土平台8为特征的真实世界公园状设置6。除了这些项目之外，AR技术的终端用户同样感知到他“看到”站在真实世界平台8上的机器人雕像10，以及正飞行的卡通式化身角色12，通过该化身角色看起来像大黄蜂的化身，即使这些元素10、12在真实世界中不存在。事实证明，人类的视觉感知系统是非常复杂的，并且产生有助于除虚拟或真实世界的图像元素之外的虚拟图像元素的舒适、自然、丰富呈现是具有挑战性的。

VR和AR系统通常利用至少松散地耦合到用户头部的头戴式显示器(或头盔式显示器或智能眼镜)，并且因此在终端用户的头部移动时移动。如果显示系统检测到终端用户的头部运动，则可以更新显示的数据，以考虑头部姿态(即用户头部的取向和/或位置)的变化。

作为示例，如果佩戴头戴式显示器的用户在显示器上观看三维(3D)对象的虚拟表示并且在3D对象出现的区域周围走动，则该3D对象可以对于每一个视点被重新渲染，给终端用户他或她在占据真实空间的对象周围走动的感觉。如果头戴显示器用于在虚拟空间(例如，丰富的虚拟世界)内呈现多个对象，则头部姿态的测量可用于重新渲染场景以匹配终端用户的动态变化的头部位置和取向并提供虚拟空间的增强沉浸感。

使能AR(即，现实和虚拟元素的同时观看)的头戴式显示器可以具有几种不同类型的配置。在通常被称为“视频透视”显示器的一个这种配置中，相机捕捉真实场景的元素，计算系统将虚拟元素叠加到捕捉的真实场景上，并且非透明显示器将合成图像呈现给眼睛。另一种配置通常被称为“光学透视”显示器，其中终端用户可以透视显示系统中的透明(或半透明)元素以直接观看来自环境中真实对象的光。通常被称为“组合器”的透明元素将来自显示器的光线叠加在终端用户对真实世界的视角之上。

VR和AR系统通常利用具有投影子系统和位于终端用户的视场前方的显示表面的显示系统，并且投影子系统依次将图像帧投影在该显示表面上。在真实的三维系统中，显示表面的深度可以以帧率或子帧率控制。投影子系统可以包括一个或多个光纤，来自一个或多个光源的光以限定的图案发射不同颜色的光到该一个或多个光纤中；以及扫描设备，其以预定图案扫描光纤以创建依次向终端用户显示的图像帧。

在一个实施例中，该显示系统包括一个或多个平面波导，该一个或多个平面波导通常平行于用户的视场，并且来自光纤的光被注入到该平面波导中。一个或多个线性衍射光栅嵌入在波导内以改变沿着波导传播的入射光的角度。通过将光的角度改变为超出全内反射(TIR)的阈值，光从波导的一个或多个侧面逃离。线性衍射光栅具有低的衍射效率，因此每次光遇到线性衍射光栅时，只有一小部分光能被引导出波导。通过沿着光栅在多个位置处将光耦合出，显示系统的出射光瞳有效地增加。显示系统可以进一步包括使来自光纤的光准直的一个或多个准直元件以及将准直的光光学地耦合到波导的边缘或从波导的边缘光学地耦合的一个或多个光学耦合元件。

在典型的光纤扫描显示系统中，每根光纤充当振动悬臂，其从支点扫过较大的偏转，以便根据设计的扫描图案扫描光。然而，由于准直光的大的偏转，光学耦合元件的尺寸必须相对较大，从而增加了显示系统的尺寸。光学耦合元件的该尺寸在堆叠波导结构的情况下变得更成问题，该堆叠的波导结构需要与距扫描光纤更远距离的波导相关联的光学元件以适应扫描准直光的较大跨度。

例如，参考图2，显示系统20的一个实施例包括一个或多个光源22，其生成以空间和/或时间变化的光的形式编码的图像数据；光学地耦合到光源22的光纤24；以及将从光纤24的远端离开的光准直的准直元件26。显示系统20进一步包括压电元件28，光纤24安装到压电元件28或安装在压电元件28中作为固定自由的柔性悬臂；以及驱动电子器件30，其电耦合到压电元件22以激活电激励压电元件28，从而使光纤24的远端以产生围绕支点34的偏转32的预定扫描图案振动。

显示系统20包括波导装置38，该波导装置38包括大体上平行于终端用户的视场的多个平面波导40a-40e；以及与平面波导40中的每一个相关联的一个或多个衍射光学元件(DOE)42a-42e。源自光纤24的光沿着平面波导40中的选定平面波导传播并且与相应的DOE42相交，使光的一部分朝向终端用户的眼睛离开波导装置38的面，其取决于所选的平面波导40而聚焦在一个或多个观看距离处。

显示系统20进一步包括以衍射光学元件(DOE)44a-44e形式的光学耦合元件，其集成在相应平面波导40a-40e的端部内，并将准直光反射到平面波导40中的选定平面波导中。如可以看出的，随着每一个DOE 44与光纤24的端部之间的距离增加，相应的DOE 44的长度必须增加以便适应光纤24的偏转角度的增加的线性跨度。由于最大的DOE 44，并且在这种情况下，由于DOE 44e，这必然增加了波导装置38的尺寸和复杂性。

作为另一个示例，参考图3，显示系统50的另一个实施例类似于图2的显示系统10，例外之处在于显示系统50包括以光学分配波导52的形式的光学耦合元件，该光学分配波导52具有将准直光反射到平面波导40中选定的平面波导的DOE 54a-54e。分配波导52的宽度必须足够大以适应光纤24的偏转角的最大线性跨度，从而必然增加波导装置38的尺寸和复杂性。

因此，需要减小用于将来自一个或多个光纤的光耦合到虚拟现实或增强现实环境中的一个或多个平面波导中的光学耦合元件的尺寸。

发明内容

本发明的实施例涉及用于便于一个或多个用户的虚拟现实和/或增强现实交互的装置、系统和方法。虚拟图像生成系统可以例如包括存储三维场景的存储器和被配置为渲染三维场景的多个合成图像帧的控制子系统，在这种情况下，显示子系统可以被配置为向终端用户依次显示多个图像帧。

根据本发明，提供了用于供终端用户使用的虚拟图像生成系统的显示子系统。显示子系统包括平面波导装置。在一个实施例中，平面波导装置被配置为定位在终端用户的眼睛的前方。在另一个实施例中，平面波导装置具有部分透明的显示表面，该部分透明的显示表面被配置为定位在终端用户的眼睛和周围环境之间的视场内。在又一个实施例中，显示子系统进一步包括被配置为由终端用户佩戴的框架结构，在该情况下，框架结构承载平面波导装置。

显示子系统进一步包括光纤，该光纤具有相对于平面波导装置固定(例如，安装)的远侧末端和靠近远侧末端的开孔(aperture)。显示子系统进一步包括耦合到光纤并被配置为从光纤的开孔发射光的至少一个光源，以及机械驱动组件，光纤被安装到驱动组件。机械驱动组件被配置为根据扫描图案移动光纤的开孔。在一个实施例中，机械驱动组件包括光纤安装到其上的压电元件，以及被配置为将电信号传送到压电元件的驱动电子器件，从而使光纤根据扫描图案振动(例如，在一阶振动模式中)。

显示子系统进一步包括光学波导输入装置，该光学波导输入装置被配置为将来自光纤的开孔的光引导到平面波导装置，使得平面波导装置向终端用户显示一个或多个图像帧。在一个实施例中，从光纤的开孔发射的光向内会聚到位于光学波导输入装置内的较小区域，诸如例如焦点。

在一个实施例中，平面波导装置包括多个平面波导，该多个平面波导被配置为分别在不同焦点处向终端用户显示一个或多个图像帧，并且光学波导输入装置被配置为将来自光学调制装置的光引导到多个平面波导。光学波导输入装置可以包括分别沿着平面波导平行延伸的多个衍射光学元件，在这种情况下，多个衍射光学元件分别将来自光学调制装置的光引导到平面波导。可替代地，光学波导输入装置可以包括垂直于平面波导延伸的分配波导，在这种情况下，分配波导包括多个衍射光学元件，该多个衍射光学元件分别将来自光学调制装置的光引导到平面波导。

可选地，显示子系统进一步包括配置为将来自光纤的光准直的准直元件，在这种情况下，光学波导输入装置被配置为将来自准直元件的准直光引导到平面波导装置。准直元件可以安装在光纤的开孔上，在这种情况下，准直元件可以采取诸如微透镜的透镜的形式。或者，准直元件可以安装到平面波导装置。

在具体实施方式、附图和权利要求中描述了本发明的附加和其它目的、特征和优点。

附图说明

附图示出了本发明的实施例的设计和利用，其中类似的元件由共同的附图标记表示。为了更好地理解如何获得本发明的上述和其它优点和目的，将通过参考在附图中示出的本发明的具体实施例来呈现上面简要描述的本发明的更具体的描述。应当理解，这些附图仅描绘了本发明的典型实施例，并且因此不被认为是对本发明范围的限制，将通过使用附图以附加的特征和细节来描述和解释本发明，在附图中：

图1是可以由现有增强现实生成设备向终端用户显示的三维增强现实场景的图片；

图2是可以在增强现实生成设备中使用的现有显示系统的一个实施例的平面图；

图3是可以在增强现实生成设备中使用的现有显示系统的另一个实施例的平面图；

图4是根据本发明的一个实施例构建的虚拟图像生成系统的框图；

图5是由图4的虚拟图像生成系统生成的示例性帧的平面图；

图6是可用于生成帧的一个扫描图案的平面图；

图7是可用于生成帧的另一扫描图案的平面图；

图8是可用于生成帧的又一扫描图案的平面图；

图9是可用于生成帧的又一扫描图案的平面图；

图10a是可用于佩戴图4的虚拟图像生成系统的一种技术的平面图；

图10b是可用于佩戴图4的虚拟图像生成系统的另一技术的平面图；

图10c是可用于佩戴图4的虚拟图像生成系统的又一技术的平面图；

图10d是可用于佩戴图4的虚拟图像生成系统的又一技术的平面图；

图11是用于图4的虚拟图像生成系统中的显示子系统的一个实施例的平面图；

图12是用于图11的显示子系统中的主平面波导的一个实施例；

图13a是用于在图4的虚拟图像生成系统中的显示子系统的一个实施例的透视图；

图13b是图13a的显示子系统的透视图，特别示出了从一个焦点延伸的光线；

图13c是图13a的显示子系统的透视图，特别示出了从另一个焦点延伸的光线；

图14是用于在图4的虚拟图像生成系统中的显示子系统的另一个实施例的平面图；

图15是用于图13的显示子系统中的平面波导装置的一个实施例的平面图；

图16是用于图13的显示子系统中的平面波导装置的另一实施例的平面图；

图17是图16的平面波导装置的剖面图；

图18是连接到用于图13的显示子系统中的平面波导装置的扫描设备的一部分的一个实施例的平面图；

图19是图18的扫描设备的一部分的平面图，特别示出了光纤在一阶振动模式中的振动。

图20a是图18的扫描设备的与具有准直元件的一个实施例的光学波导输入装置交互的部分的平面图，特别示出了光束会聚到在光学波导输入装置的中心的焦点上；

图20b是图18的扫描设备的与具有准直元件的另一实施例的光学波导输入装置交互的部分的平面图，特别示出了光束会聚到在光学波导输入装置的中心的焦点上；

图20c是图18的扫描设备的与具有准直元件的一个实施例的光学波导输入装置交互的部分的平面图，特别示出了光束会聚到在光学波导输入装置的边缘处的焦点上；

图21a是可以在图11的显示子系统中使用的光学波导输入装置的一个实施例；以及

图21b是可以在图11的显示子系统中使用的光学波导输入装置的另一个实施例。

具体实施方式

下面的描述涉及在虚拟现实和/或增强现实系统中使用的显示系统和方法。然而，应该理解，虽然本发明使得其很好地适用于虚拟或增强现实系统中的应用，但是本发明在其最广泛的方面可以不受如此限制。

参考图4，现在将描述根据本发明构造的虚拟图像生成系统100的一个实施例。虚拟图像生成系统100可以作为增强现实子系统操作，提供与在终端用户50的视场中的物理对象相互混合的虚拟对象的图像。当操作虚拟图像生成系统100时，存在两种基本方法。第一种方法利用一个或多个成像器(例如相机)来捕捉周围环境的图像。虚拟图像生成系统100将虚拟图像相互混合成表示周围环境的图像的数据。第二种方法利用一个或多个至少部分透明的表面，通过该一个或多个至少部分透明的表面可以看到周围环境，并且在该一个或多个至少部分透明的表面上虚拟图像生成系统100产生虚拟对象的图像。

虚拟图像生成系统100以及在此教导的各种技术可以用于增强现实和虚拟现实子系统以外的应用中。例如，各种技术可以应用于任何投影或显示子系统，或者可以应用于可由终端用户的手而不是头部进行移动的微型投影仪。因此，虽然在此经常在增强现实子系统或虚拟现实子系统方面描述，但是教导不应限于这种使用的这种子系统。

至少对于增强现实应用来说，可能期望相对于终端用户50的视场中的相应物理对象在空间上定位各种虚拟对象。虚拟对象(在此也被称为虚拟标签或标签或标出(callout))可以采取多种形式中的任何一种，基本上是能够表示为图像的任何种类的数据、信息、概念或逻辑构造。虚拟对象的非限制性示例可以包括：虚拟文本对象、虚拟数字对象、虚拟字母数字对象、虚拟标签对象、虚拟场对象、虚拟图表对象、虚拟地图对象、虚拟仪器对象、或物理对象的虚拟视觉表示。

为此，虚拟图像生成系统100包括由终端用户50佩戴的框架结构102；由框架结构102承载的显示子系统104，使得显示子系统104定位在终端用户50的眼睛52的前方；以及由框架结构102承载的扬声器106，使得扬声器106定位成邻近终端用户50的耳道(可选地，另一个扬声器(未示出)被定位成邻近终端用户50的另一个耳道以提供立体声/可塑形声音控制)。显示子系统104被设计成向终端用户50的眼睛52呈现基于照片的辐射图案，该辐射图案可以被舒适地感知为物理现实的增强，具有高水平的图像质量和三维感知，以及能够呈现二维内容。显示子系统104以高频率呈现合成图像帧序列，其提供对单个相干场景的感知。

显示子系统104包括投影子系统108和部分透明的显示屏110，投影子系统108在该部分透明的显示屏110上投影图像。显示屏110定位在终端用户50的眼睛52和周围环境之间的终端用户50的视场内。

在所示实施例中，投影子系统108采用基于光纤扫描的投影装置的形式，并且显示屏110采取基于波导的显示器的形式，来自投影子系统108的扫描光注入该基于波导的显示器中以产生例如比无限远更近的单个光学观看距离(例如手臂长度)处的图像、处于多个离散光学观看距离或焦平面处的图像，和/或堆叠在多个观看距离或焦平面处以表示体积3D对象的图像层。光场中的这些层可以足够紧密地堆叠在一起以对人类视觉子系统看起来连续(即，一个层在相邻层的混淆锥内)。另外或可替代地，图片元素可以横跨两个或更多个层混合，以增加光场中层之间的过渡的感知连续性，即使这些层更稀疏地堆叠(即，一个层在相邻层的混淆锥外)。显示子系统104可以是单目的或双目的。

因此，显示子系统104生成像素信息的一系列合成图像帧，其向用户呈现一个或多个虚拟对象的图像。例如，参考图5，合成图像帧118被示意性地示出，其中单元120a-120m被划分成水平行或线122a-122n。帧118的每一个单元120可以为单元120所对应的相应像素指定多种颜色中的每一种颜色的值和/或强度。例如，帧118可以为每一个像素指定红色124a的一个或多个值，绿色124b的一个或多个值，以及蓝色124c的一个或多个值。值124可以被指定为针对颜色中每种颜色的二进制表示，例如，针对每种颜色的相应4位数。帧118的每一个单元120可以另外包括指定幅度的值124d。

帧118可以包括一个或多个场(field)，统一为126。帧118可以由单个场组成。可替代地，帧118可以包括两个或甚至更多个场126a-126b。用于帧118的完整的第一场126a的像素信息可以在用于完整的第二场126b的像素信息之前指定，例如在阵列、有序列表或其它数据结构(例如，记录、链接列表)中的用于第二场126b的像素信息之前发生。假设呈现子系统被配置为处理多于两个场126a-126b，则第三或甚至第四场可以跟随第二场126b。

现在参考图6，使用光栅扫描图案128生成帧118。在光栅扫描图案128中，依次呈现像素130(仅一个被标出)。光栅扫描图案128通常从左到右(由箭头132a、132b指示)，然后从顶部到底部(由箭头134指示)呈现像素。因此，呈现可以从右上角处开始并向左横穿第一线136a，直到到达线的末端。光栅扫描图案128然后通常向下从下一线的左边开始。当从一线的末端返回到下一线的开始时，该呈现可以暂时中断(black out)或消隐(blank)。该过程逐线地重复，直到底线136n被完成，例如在最右下角的像素处。随着帧118完成，开始新的帧，再次返回下一帧的最上面的线的右边。再者，当从左下返回到右上以呈现下一帧时，呈现可能被消隐。

光栅扫描的许多实施方式利用被称为隔行扫描图案的方式。在隔行光栅扫描图案中，来自第一和第二场126a、126b的线是隔行的。例如，当呈现第一场126a的线时，用于第一场126a的像素信息可以仅用于奇数线，而用于第二场126b的像素信息可以仅用于偶数线。因此，帧118(图5)的第一场126a的所有线通常在第二场126b的线之前呈现。可以使用第一场126a的像素信息依次呈现线1、线3、线5等来呈现第一场126a。然后，可以在第一场126a之后通过使用第二场126b的像素信息依次呈现线2、线4、线6等来呈现帧118(图5)的第二场126b。

参考图7，可以使用螺旋扫描图案140代替光栅扫描图案128来生成帧118。螺旋扫描图案140可以由单个螺旋扫描线142组成，该单个螺旋扫描线142可以包括一个或者多个完整的角周期(例如360度)，其可以被称为线圈或环。与图6所示的光栅扫描图案128一样，螺旋扫描图案140中的像素信息用于指定每一个顺序像素的颜色和/或强度，作为角度增量。幅度或径向值146指定从螺旋扫描线142的起始点148的径向尺寸。

参考图8，李萨如(Lissajous)扫描图案150可以可替代地用于生成帧118。李萨如扫描图案150可以由单个李萨如扫描线152组成，该单个李萨如扫描线152可以包括一个或多个完整的角周期(例如，360度)，其可以被命名为线圈或环。可替代地，李萨如扫描图案150可以包括两个或更多个李萨如扫描线152，每一个彼此相对相移以嵌套李萨如扫描线152。像素信息用于指定每一个顺序像素的颜色和/或强度，作为角度增量。幅度或径向值指定从李萨如扫描线152的起始点156的径向尺寸154。

参考图9，多场螺旋扫描图案158可以可替代地用于生成帧118。多场螺旋扫描图案158包括两个或更多个不同的螺旋扫描线，统一为160，并且具体地，四个螺旋扫描线160a-160d。用于每一个螺旋扫描线160的像素信息可以由帧的相应场指定。有利地，可简单地通过偏移在螺旋扫描线160中的每一个连续螺旋扫描线160之间相位来嵌套多个螺旋扫描线160。螺旋扫描线160之间的相位差应该是将利用的螺旋扫描线160的总数的函数。例如，四个螺旋扫描线160a-160d可以通过90度相移来分开。示例性实施例可以通过10个不同的螺旋扫描线(即，子螺旋)以100Hz刷新率操作。类似于图7的实施例，一个或多个幅度或径向值指定从螺旋扫描线160的起始点164的径向尺寸162。

返回参考图4，虚拟图像生成系统100进一步包括安装到框架结构102的一个或多个传感器(未示出)，用于检测终端用户50的头部54的位置和/或终端用户50的眼睛位置和瞳孔间距离。这种传感器可包括图像捕捉设备(诸如相机)、麦克风、惯性测量单元、加速度计、指南针、GPS单元、无线电设备和/或陀螺仪)。

例如，在一个实施例中，虚拟图像生成系统100包括头戴式换能器子系统126，该头戴式换能器子系统126包括一个或多个惯性换能器，以捕捉指示终端用户50的头部54的移动的惯性测量。这可以用于感测、测量或收集关于终端用户50的头部运动的信息。例如，这可以用于检测终端用户50的头部54的测量运动、速度、加速度和/或位置。

虚拟图像生成系统100进一步包括一个或多个前向相机128，其可用于捕获关于终端用户50所处的环境的信息。前向相机128可用于捕获指示终端用户50相对于该环境和该环境中的特定对象的距离和取向的信息。当佩戴头部时，前向相机128特别适合于捕获指示终端用户50的头部54相对于终端用户50所处的环境和该环境中的特定对象的距离和取向的信息。前向相机128可以例如用于检测头部运动、速度和/或头部运动的加速度。例如，前向相机128可以用于例如至少部分地基于终端用户50的头部54的取向来检测或推断终端用户50的关注中心。可以在任何方向(例如相对于终端用户50的参考系向上/向下、向左、向右)检测取向。

虚拟图像生成系统100进一步包括一对后向相机129，以跟踪终端用户50的眼睛52的运动、眨眼和聚焦深度。例如，可以通过将光投影到终端用户的眼睛并检测至少一些投射光的返回或反射来辨别这种眼睛跟踪信息。

虚拟图像生成系统100进一步包括患者取向检测模块130。患者取向模块130检测终端用户50的头部54的即时位置，并且可以基于从传感器接收的位置数据预测终端用户50的头部54的位置。重要的是，检测终端用户50的头部54的即时位置有助于确定终端用户50正在注视的特定实际对象，由此提供待为该实际对象生成的特定文本消息的指示，并且进一步提供文本消息将被流式传输的文本区域的指示。患者取向模块130同样基于从传感器接收的跟踪数据跟踪终端用户50的眼睛52。

虚拟图像生成系统100进一步包括可以采取多种形式中的任何一种的控制子系统。控制子系统包括多个控制器，例如一个或多个微控制器、微处理器或中央处理单元(CPU)、数字信号处理器、图形处理单元(GPU)、其它集成电路控制器，诸如专用集成电路(ASIC)、例如场PGA(FPGA)的可编程门阵列(PGA)，和/或可编程逻辑控制器(PLU)。

在所示实施例中，虚拟图像生成系统100包括中央处理单元(CPU)132、图形处理单元(GPU)134和一个或多个帧缓冲器136。CPU 132控制整体操作，而GPU 134根据存储在远程数据储存库150中的三维数据渲染帧(即，将三维场景转换成二维图像)，并将这些帧存储在帧缓冲器136中。尽管未示出，一个或多个附加集成电路可以控制帧从帧缓冲器136的读入和/或读出，以及显示子系统104的扫描设备的操作。例如在帧被过度渲染的情况下，读入和/或读出帧缓冲器146可以利用动态寻址。虚拟图像生成系统100进一步包括只读存储器(ROM)138和随机存取存储器(RAM)140。虚拟图像生成系统100进一步包括三维数据库142，GPU 134可从该三维数据库142访问用于渲染帧的一个或多个场景的三维数据。

虚拟图像生成系统100的各种处理组件可以物理地包含在分配式子系统中。例如，如图10a-10d中所示，虚拟图像生成系统100包括可操作地(诸如通过有线引线或无线连接146)耦合到显示子系统104和传感器的本地处理和数据模块144。本地处理和数据模块144可以以各种配置来安装，诸如固定地附接到框架结构102(图10a)，固定地附接到头盔或帽子56(图10b)，嵌入耳机中，可移除地附接到终端用户50的躯干58(图10c)，或者以带式耦合方式配置可移除地附接到终端用户50的髋部60(图10d)。虚拟图像生成系统100进一步包括远程处理模块148和远程数据储存库150，该远程处理模块148和远程数据储存库150诸如通过有线引线或无线连接150、152可操作地耦合到本地处理和数据模块144，使得这些远程模块148、150可操作地彼此耦合并且作为资源可用于本地处理和数据模块144。

本地处理和数据模块144可以包括功率高效的处理器或控制器以及数字存储器(诸如闪速存储器)，这两者都可以用来辅助从传感器捕获和/或使用远程处理模块148和/或远程数据储存库150获取和/或处理的数据的处理、高速缓存和存储，可能在这种处理或检索之后传递给显示子系统104。远程处理模块148可以包括被配置为分析和处理数据和/或图像信息的一个或多个相对强力的处理器或控制器。远程数据储存库150可以包括相对大规模的数字数据存储设施，其可以通过互联网或以“云”资源配置中的其它网络配置来获得。在一个实施例中，所有数据都被存储，并且在本地处理和数据模块144中执行所有计算，允许从任何远程模块完全自主使用。

上述各种组件之间的耦合146、152、154可以包括用于提供导线或光学通信的一个或多个有线接口或端口，或者用于提供无线通信的诸如经由RF、微波和IR的一个或多个无线接口或端口。在一些实施方式中，所有通信可以是有线的，而在其它实施方式中，所有通信可以是无线的。在更进一步的实施方式中，有线和无线通信的选择可以不同于图10a-10d中所示的通信选择。因此，有线或无线通信的特定选择不应被视为限制性的。

在所示实施例中，患者取向模块130包含在本地处理和数据模块144中，而CPU 132和GPU 134包含在远程处理模块148中，但是在替代实施例中，CPU 132、GPU 124或其部分可以包含在本地处理和数据模块144中。3D数据库142可以与远程数据储存库150相关联。

现在参考图11和图12，显示屏110包括主波导装置200。主波导装置200包括一个或多个主平面波导202(图11和12中仅示出一个)和与主波导202中的至少一些中的每一个相关联的一个或多个衍射光学元件(DOE)204(图11和12中仅示出一个)。如图12中最优所示的，每一个主波导202具有第一端部206a和第二端部206b，第二端部206b沿着主波导202的长度208与第一端206a相对。主波导202中的每一个具有第一面210a和第二面210b，至少第一和第二面210a、210b(统一为212)沿着主波导202的长度208的至少一部分形成至少部分内反射的光路(由箭头212a和虚线箭头212b示出，统一为212)。主波导202可以采取为以小于限定的临界角照射面210的光提供基本上全内反射(TIR)的各种形式。主波导202中的每一个可以例如采取玻璃、熔融石英、丙烯酸或聚碳酸酯的窗格(pane)或平面的形式。

DOE 204(在图11和图12中用双点划线示出)可以采用中断TIR光路212的多种形式，提供沿着主波导202的长度206的至少一部分延伸的在主波导202的内部216和外部218之间的多个光路(由箭头214a和虚线箭头214b示出，统一为214)。DOE 204可以允许明显对象和用于明显对象的焦平面的定位。这可以基于逐帧、逐个子帧或者甚至逐像素来实现。

如图12中所示，光沿着主波导202传播，其中至少一些反射或“反弹”由TIR传播产生。应注意，一些实施方式可以在内部光路中利用可以促进反射的一个或多个反射器，例如薄膜、电介质涂层、金属化涂层等。光沿着主波导202的长度208传播，并且与一个或多个DOE204在沿着长度208的各个位置处相交。DOE 204可以包含在主波导202内或邻接或邻近主波导202的一个或多个面210。DOE 204完成至少两个功能。DOE 204改变光的角度，导致光的一部分逃离TIR，并且经由主波导202的一个或多个面210从内部216出射到外部218。DOE 204将耦合出的光在一个或多个观看距离处聚焦。因此，透视主波导202的面210a的人可以在一个或多个观看距离处看到数字图像。

参考图13a-13c，显示屏110包括分配波导装置222，以沿着第一轴(图11a中的垂直轴或Y轴)中继光，并沿着第一轴(例如Y轴)扩展光的有效出射光瞳。分配波导装置222可以例如包括一个或多个分配平面波导224(仅示出一个)和与分配平面波导224中的每一个相关联的DOE 226(由双点划线示出)。分配平面波导224在至少一些方面可以与主波导202相似或相同，具有与其不同的取向。类似地，DOE 226在至少一些方面可以与DOE 204相似或相同。例如，分配平面波导220和/或DOE 226可以分别由与主波导202和/或DOE 204相同的材料组成。

中继的和出射光瞳扩展的光从分配波导装置222光学耦合到主波导202中。主波导202沿着第二轴中继光，在一个实施例中，正交于第一轴(例如图13a的水平轴或X轴)。值得注意的是，第二轴可以是与第一轴非正交的轴。主波导202沿着该第二轴(例如X轴)扩展光的有效出射光瞳。具体地，分配平面波导224可以沿着垂直或Y轴中继和扩展光，并且将该光传递到主波导202，该主波导202沿着水平轴或X轴中继和扩展光。

显示屏110可以在能够被定位得比光学无限远更近的单个焦平面处生成图像。如图13b中所示，准直光通过全内反射沿着分配平面波导224垂直传播，并且这样做与DOE 226重复相交。在一个实施例中，DOE 226具有低衍射效率(例如小于50％)。这导致在与DOE 226的每一个交点处光的一部分(例如，10％)被衍射朝向较大的主平面波导202的边缘，并且光的一部分在其原始轨迹上经由TIR沿着分配平面波导224的长度继续。在与DOE 226的每一个交点处，附加光被衍射朝向主波导202的入口。通过将入射光分成多个出耦合的集合，光的出射光瞳由DOE 226在分配平面波导224中垂直扩展。耦合出分配平面波导224的该垂直扩展的光进入主波导202的边缘。

进入主波导202的光经由TIR沿着主波导202水平传播(如图13b中所示)。随着光经由TIR沿着主波导202的长度的至少一部分水平传播，光在多个点处与DOE 204相交。DOE204可以有利地被设计或配置成具有相轮廓，该相轮廓是线性衍射光栅和径向对称衍射透镜的总和。DOE 204可以有利地具有低的衍射效率。在传播的光和DOE 204之间的每一个交点处，光的一部分朝向主波导202的相邻面衍射，允许光逃离TIR，并从主波导202的面出射。DOE 204的径向对称的透镜实施例另外赋予衍射光的聚焦水平，既将单个光束的光波前成形(例如，赋予曲率)，又将光束以与设计的聚焦水平匹配的角度转向。如图13b中所示，四个光束228a-228d在几何上延伸到焦点228，并且每一个光束有利地被赋予具有在焦点228处的半径中心的凸波前轮廓，以在给定的焦平面处产生图像或虚拟对象230a。

参考图13c，显示屏110可以生成多焦点体积显示、图像或光场。第一组四个光束228a-228d在几何上延伸到焦点230a，并且每一个光束228a-228d有利地被赋予具有在焦点230a处的半径中心的凸波前轮廓，以在相应的焦平面处产生图像或虚拟对象232a的另一部分。第二组四个光束228e-228h在几何上延伸到焦点230b，并且每一个光束228e-228h有利地被赋予具有在焦点230b处的半径中心的凸波前轮廓，以在相应的焦平面处产生图像或虚拟对象232b的另一部分。

在图11-13中所示的显示子系统104的实施例中，单个投影子系统108用于向显示屏110提供图像数据。与在图11-13中所示的显示系统相比，如在图14中所示，显示子系统104可以包括多个投影子系统108a-108e(仅示出五个，统一为108)，以向显示屏110提供相应的图像数据。投影子系统108通常沿着显示屏110的边缘234排列或布置。例如，平面波导202的数量与投影子系统108的数量之间可以是一对一(1：1)比率或相关性。

显示子系统104可以使得能够使用单个主平面波导202。多个投影子系统108可以例如沿着主平面波导202的最靠近终端用户头部的太阳穴的边缘234以线性阵列设置。每一个投影子系统108将编码子图像数据的调制光从不同的相应位置注入主平面波导202，从而产生不同的光路径。这些不同的路径可以通过多个DOE以不同角度、聚焦水平和/或在出射光瞳处产生的不同填充图案使光耦合出主平面波导202。在出射光瞳处的不同填充图案可以有利地用于创建光场显示。可以利用堆叠中的每个层或堆叠中的一组层(例如3层)来生成相应的颜色(例如红色、蓝色、绿色)。因此，例如，可以利用第一组三个相邻层分别在第一焦深处产生红光、蓝光和绿光。可以利用第二组三个相邻层分别在第二焦深处产生红光、蓝光和绿光。可以利用多个组生成具有不同焦深的全3D或4D彩色图像场。

现在参考图15，每一个平面波导202可以包括多个DOE 204a-204d(四个被示出，每一个都被表示为双点划线，统一为204)。DOE 204沿着大体上平行于显示屏110的视场的轴236堆叠、排列或布置。尽管示出为全部在内部，但在一些实施方式中，DOE 204中的一个、多个或甚至全部可以位于主波导202的外部。

在一些实施方式中，每一个DOE 204能够被独立地接通和断开。也就是说，每一个DOE 204可以被制作为活跃的(active)，使得相应的DOE 204衍射与相应的DOE 204相交的显著(significant)部分光，或者其可以变得不活跃的(inactive)，使得相应的DOE 204完全不衍射与相应的DOE 204相交的光，或者仅衍射不显著部分的光。在该上下文中“显著”是指当从主波导202耦合出时足够的光能够被人眼视觉系统感知，而“不显著”是指没有足够的光被人类视觉系统感知，或者被观察者忽略的足够低的水平。

可开关控制的DOE 204可一次一个地接通，使得主平面波导202中的仅一个DOE204活跃地衍射主平面波导202中的光，以可感知的量从主平面波导202的一个或多个面210出射。可替代地，两个或更多个DOE 204可以同时接通，使得它们的衍射效果被组合。

该组DOE中的每一个DOE 204可以具有不同的相位图。例如，每一个DOE 204可以具有相应的相位图，使得每一个DOE 204在接通时将光引导到X、Y或Z中的不同位置。例如，DOE204可以在它们的线性光栅实施例和/或它们的径向对称衍射透镜实施例中彼此变化。如果DOE 204在它们的衍射透镜实施例中彼此变化，则不同的DOE 204(或DOE 204的组合)将在不同的光学观看距离(即，不同的焦距)处产生子图像。如果DOE 204在它们的线性光栅实施例中彼此变化，则不同的DOE 204将产生相对于彼此横向偏移的子图像。这种横向偏移可以有利地用于创建小凹显示，以将具有非均匀分辨率或其它非均匀显示参数(例如，亮度、峰值波长、偏振等)的显示图像引导到不同的横向位置，以增加扫描图像的尺寸，以产生出射光瞳特性的变化，和/或以生成光场显示。横向偏移可以有利地用于在所生成的图像中预先形成拼贴或实现拼贴效果。

例如，该组中的第一DOE 204在接通时可以在1米的光学观看距离(例如，图13c中的焦点230b)处产生图像，以供观看者观看主波导202的主面或发射面210a。该组中的第二DOE 204在接通时可以在1.25米的光学观看距离(例如，图13b中的焦点230a)处产生图像，以供观看者观看主波导202的主面或发射面210a。通过以快速时间顺序(例如，基于逐帧、子帧、逐行、子行、逐像素或逐子像素)切换示例性DOE 204接通和断开并且同步地调制由投影子系统108注入到主波导202中的图像数据，形成对观看者感知为单个场景的复合多焦体积图像。通过将不同的对象或对象的部分渲染给由不同的DOE 204中继到观看者的眼睛(在图13c中的位置232b处)的子图像，虚拟对象或图像被放置在不同的光学观看距离处，或者虚拟对象或图像可以表示为延伸通过多个焦点平面的3D体积。

现在参考图16，显示屏110可以包括多个平面波导202a-202d(示出四个，统一为202)。主波导202a-200d沿着大体上平行于显示屏110的视场的轴236堆叠、排列或布置。主波导202中的每一个包括至少一个DOE 204(由双点划线示出，图16中只有一个被标出)。虽然示为全部在内部，但是在一些实施方式中，DOE 204中的一个、多个或者甚至全部可以在主波导202的外部。另外或可替代地，虽然示出每一个平面波导202具有DOE 204的单个线性阵列，主波导202中的一个或多个可以包括两个或更多个堆叠、排列或布置的DOE 204，类似于关于图15所描述的实施方式。

主波导202中的每一个可以类似于图15的实施例中的DOE 204的操作起作用。也就是说，相应的平面波导202的DOE 204可以各自具有相应的相位图，各个DOE 204的相位图彼此不同。虽然在图15的实施例中利用了DOE 204的动态开关(例如接通/断开)，但是在图16的实施例中可以避免这种情况。代替地或除了动态开关之外，显示系统110可以基于相应的相位图选择性地将光路由到主波导202。因此，显示系统110不是打开具有期望的相位图的特定DOE 204，而是将光路由到具有期望的相位图的DOE 204的特定平面波导202或与具有期望的相位图的DOE 204相关联的特定平面波导202。再次，这可以替代或补充DOE 204的动态切换。

在一个示例中，投影子系统可以被选择性地操作，以基于相应相位图选择性地将光路由到主波导202。在另一个示例中，每一个DOE 204能够独立地接通和断开，类似于参考图15的实施例中接通和断开DOE 204所说明的。DOE 204可以被接通和断开以选择性地基于相应相位图将光路由到主波导202。

如图16中所示，光线从主波导202a、202d中的两个主波导向外发出。为了说明起见，第一平面波导202a在无限远焦距处产生平面或平坦的波前(由关于光线240的平线238示出，仅为了绘图清晰起见，每一个仅标出一个实例)。相比之下，主波导202d中的另一个在小于无限(例如1米)的限定焦距处产生凸起的波前(由关于光线244的弧242示出，为了绘图清晰起见，每一个仅标出一个实例)。如图17中所示，主波导202可横向偏移外观和/或光学观察距离-即虚拟对象246a-246c相对于出射光瞳248的不同焦距。

返回参考图11-13，投影子系统108包括产生光的一个或多个光源250(例如以限定的图案发射不同颜色的光)；响应于控制信号以预定的扫描图案(例如诸如以上关于图5-9描述的那些)的扫描设备252；以及将来自扫描设备252的光耦合到显示屏110中的光学耦合子系统254。

光源250可以采取多种形式中的任何一种，例如一组RGB激光器(例如，能够输出红光、绿光和蓝光的激光二极管)，其可操作以根据在像素信息或数据的相应帧中指定的限定像素图案分别产生红色、绿色和蓝色相干准直光。激光提供高色彩饱和度并且高度节能。

扫描设备252包括一个或多个光纤256(例如，单模光纤)，该一个或多个光纤256中的每一个具有近端256a和远端256b，从光源250接收光到该近端256a，以及从该远端256b将光提供给部分透明的显示屏110。如图18中最优所示，光纤256包括开孔256c(以虚线示出)，光从该开孔256c离开光纤256的远端256b。不连续(诸如扭结(kink))的衍射光学元件或反射元件(未示出)可被并入到邻近开孔256c的光纤256中，由此将光从光纤256离轴地引导通过开孔256c。扫描设备252进一步包括光纤256所安装到的机械驱动组件258。驱动组件258被配置为根据扫描图案将光纤256的远端256b移位。

为此，驱动组件208包括光纤256所安装到的压电元件264以及被配置为将电信号传送到压电元件264的驱动电子器件266，由此使得光纤256的远端256b根据扫描图案振动。因此，光源250和驱动电子器件266的操作以生成以空间和/或时间变化的光的形式编码的图像数据的方式进行协调。

在所示出的实施例中，压电元件264采取中空管的形式，在这种情况下，光纤256的远端256b被穿过压电管264或通过压电管264接纳。光纤256的远端256b从压电管264突出。压电管264与四象限电极(未示出)相关联。电极可以例如电镀在压电管264的外部、外表面或外部周边或直径上。芯电极(未示出)同样位于管264的芯部、中心、内部周边或内部直径中。

驱动电子器件266经由导线270电耦合以驱动相对的电极对(未示出)来独立地在两个轴上弯曲压电管264。光纤256的突出远端256b具有机械谐振模式。谐振频率取决于光纤256的直径、长度和材料特性。通过在光纤256的第一机械谐振模式附近振动压电管264，使光纤256振动。通过刺激两个轴上的谐振，光纤256的远端256b以区域填充2D扫描被双轴扫描。通过与光纤256的扫描同步地调制光源250的强度，从光纤256出射的光形成图像。

值得注意的是，在传统情况下，光纤256的远端256b从压电管264中突出，作为类似于图2和3中所示的无固定的柔性悬臂，从扫描设备252发射的光将跨越相对较大的弧度。在没有修改的情况下，将需要相对较大的光学波导输入装置272来适应光纤256的远端256b中的相对大的偏转。

如图18中所示，使用合适的器件将光纤256的远侧末端256d相对于平面波导装置200固定(例如固定到其上)，诸如例如经由延伸部或连接器(未示出)，由此形成固定-固定的悬臂配置(即，光纤256被固定在压电管264和平面波导装置200之间)。因此，因为远侧末端256d被固定到平面波导装置200，所以远侧末端256d没有围绕支点移位，使得输出的光从与支点一致的纵向轴线发散(如图2和3中所示)。相反，包含开孔256c的光纤256的一部分围绕在远侧末端256d与平面波导装置200之间的固定点弯曲，使得输出的光向内会聚到由衍射光学元件所跨越的相对较小的区域(下面进一步详细描述)。

同样应当注意，开孔256c是无源且刚性的，使得由开孔256c发射的光的角度相对于光纤256在振动时的变化角度具有固定角度。例如，光纤256在图19中被示出为具有三个不同的偏转，并因此具有三个不同的局部角度。如果所发射的光的角度相对于光纤256的局部角度固定在45度，则光束将指向离轴，但会聚到较小的区域，并且为了说明的目的，会聚到焦点278。

返回参考图11-13，如上面简要讨论的，光学耦合子系统254将来自扫描设备252的光光学地耦合到波导装置102。光学耦合子系统254包括光学波导输入装置272，例如一个或多个反射表面、衍射光栅、反射镜、分色镜或棱镜，以将光光学地耦合到波导装置102的端部。光学耦合子系统254另外地或可替代地包括将来自光纤256的光准直的准直元件274。如下面将进一步详细描述的，准直元件274可以固定在光纤256上或者相对于光学波导输入装置272固定(例如固定在其上)。

在图20a中所示的一个示例中，准直元件274被安装到光纤256，并且特别地被安装在光纤256的开孔256c内。准直元件274可以包括(诸如通过熔化或抛光)形成在开孔256c内的单个透镜。

不管准直元件274的位置如何，光从准直元件274向内会聚到光学波导输入装置272的中心的焦点278。值得注意的是，将光聚焦在光学波导输入装置272的中心处允许光学波导输入装置272的尺寸最小化。也就是说，将光聚焦在光学波导输入装置272的中心处使扫描光路在光学波导输入装置272的边缘处的最坏情况发散跨度最小化。例如，如图20c所示，如果光聚焦在光学波导输入装置272的前边缘上，则光学波导输入装置272必须做得更大，以适应扫描光路在光学波导输入装置272的后边缘处的较大的发散跨度。尽管为了说明的目的，光在上面描述为会聚到焦点上，但是应当理解，输出的光可以向内会聚到在光学波导输入装置272内包含的衍射光学元件跨越的相对较小的区域，如下面进一步详细描述的。

现在参考图21a，将描述扫描设备252与光学波导输入装置272的一个实施例之间的交互。在该情况下，光学波导输入装置272采取分配波导装置222的形式，该分配波导装置222具有关于图13a-13c描述的相关联的分配波导224和DOE 226a-226e。如图20a中所示，光从准直元件274会聚到DOE 226c上，由此使DOE 226的尺寸最小化。结果，分配波导224的总体宽度被最小化。然后，光被选择性地向下传送到一个或多个主波导202a-202e。

现在参考图21b，DOE 226可以替代地直接结合到主波导装置200中。在这种情况下，DOE 226分别沿着波导装置200的主平面波导202a-202e平行地延伸，使得DOE 226分别将来自光学调制装置276的光向下引导到主波导202。如图21b中所示，光从准直元件274会聚到DOE 226c上，由此使DOE 226的尺寸最小化。由于焦点278位于输入光学调制装置276的中心处，所以可以使DOE 226a和226e的长度相等，以便最小化最差情况的DOE 226。结果，波导装置200的总体尺寸被最小化。

虽然已经示出和描述了本发明的特定实施例，但是应该理解，这不旨在将本发明限制到这些实施例，并且对于本领域技术人员来说明显的是，可以进行各种变化和修改，而不脱离本发明的精神和范围。因此，本发明旨在覆盖可以被包括在由权利要求所限定的本发明的精神和范围内的替换、修改和等同物。

Claims (20)

1.一种用于供终端用户使用的虚拟图像生成系统的显示子系统，包括：

平面波导装置；

光纤，其具有相对于所述平面波导装置固定的远侧末端以及靠近所述远侧末端的开孔；

至少一个光源，其耦合到所述光纤并被配置为从所述光纤的所述开孔发射光；

机械驱动组件，其中所述光纤安装至所述驱动组件，所述机械驱动组件被配置为根据扫描图案移动所述光纤的所述开孔；

光学波导输入装置，其被配置为将来自所述光纤的所述开孔的所述光引导到所述平面波导装置，使得所述平面波导装置向所述终端用户显示一个或多个图像帧。

2.根据权利要求1所述的显示子系统，其中所述光纤的所述远侧末端安装到所述平面波导装置。

3.根据权利要求1所述的显示子系统，进一步包括被配置为将来自所述光纤的光准直的准直元件，其中所述光学波导输入装置被配置为将来自所述准直元件的准直光引导到所述平面波导装置。

4.根据权利要求3所述的显示子系统，其中所述准直元件安装在所述光纤的所述开孔上。

5.根据权利要求4所述的显示子系统，其中所述准直元件是透镜。

6.根据权利要求5所述的显示子系统，其中所述透镜是微透镜。

7.根据权利要求3所述的显示子系统，其中所述准直元件安装到所述平面波导装置。

8.根据权利要求1所述的显示子系统，其中从所述光纤的所述开孔发射的所述光向内会聚到较小区域。

9.根据权利要求1所述的显示子系统，其中从所述光纤的所述开孔发射的所述光向内会聚到焦点。

10.根据权利要求8所述的显示子系统，其中所述较小区域位于所述光学波导输入装置内。

11.根据权利要求1所述的显示子系统，其中所述机械驱动组件包括所述光纤安装到的压电元件，以及被配置为将电信号传送到所述压电元件的驱动电子器件，从而使所述光纤根据所述扫描图案振动。

12.根据权利要求11所述的显示子系统，其中所述光纤以一阶振动模式振动。

13.根据权利要求1所述的显示子系统，其中所述平面波导装置包括多个平面波导，所述多个平面波导被配置为分别在不同焦点处向所述终端用户显示所述一个或多个图像帧，并且所述光学波导输入装置被配置为将来自所述光学调制装置的所述光引导到所述多个平面波导。

14.根据权利要求13所述的显示子系统，其中所述光学波导输入装置包括分别沿着所述平面波导平行延伸的多个衍射光学元件，所述多个衍射光学元件分别将来自所述光学调制装置的所述光引导到所述平面波导。

15.根据权利要求13所述的显示子系统，其中所述光学波导输入装置包括垂直于所述平面波导延伸的分配波导，所述分配波导包括多个衍射光学元件，所述多个衍射光学元件分别将来自所述光学调制装置的所述光引导到所述平面波导。

16.根据权利要求1所述的显示子系统，其中所述平面波导装置被配置为定位在所述终端用户的眼睛的前方。

17.根据权利要求1所述的显示子系统，其中所述平面波导装置具有部分透明的显示表面，所述部分透明的显示表面被配置为定位在所述终端用户的所述眼睛与周围环境之间的视场内。

18.根据权利要求1所述的显示子系统，进一步包括被配置为由所述终端用户佩戴的框架结构，所述框架结构承载所述平面波导装置。

19.一种供终端用户使用的虚拟图像生成系统，包括：

存储器，其存储三维场景；

控制子系统，其被配置为渲染所述三维场景的多个合成图像帧；以及

根据权利要求1所述的显示子系统，所述显示子系统被配置为向所述终端用户依次显示所述多个图像帧。

20.根据权利要求19所述的虚拟图像生成系统，其中所述控制子系统包括图形处理单元(GPU)。