CN108139234B - 双复合光场装置 - Google Patents

Abstract

公开了一种用于捕获图像信息的装置。该装置包括具有相对的平面输入和输出面的波导。跨波导形成衍射光学元件(DOE)。DOE被配置为将穿过波导的一部分光耦合到波导中。耦合到波导中的光经由全内反射被引导到波导上的出射位置。该设备还包括光传感器，该光传感器具有被定位为邻近波导的出射位置的输入，以捕获从其出射的光并产生与其对应的输出信号。处理器基于输出信号确定耦合光相对于波导的输入面的角度和位置。

Description

双复合光场装置

相关申请的交叉引用

本申请要求于2015年5月19日提交的名称为“双复合光场装置”(“DUAL COMPOSITELIGHT FIELD DEVICE”)的美国临时专利申请No.62/163,733的优先权，其全部内容通过引用合并于此。

技术领域

本发明涉及在增强现实系统中使用的光学装置。增强现实系统具有这样的类型，其包括用于传输世界视图同时还产生计算机生成的图像并将其传递给用户的平面波导。在本发明中，提供一个或多个附加的波导来捕获来自世界的图像。

背景技术

对开发为用户产生增强现实的系统具有相当大的兴趣。在这种系统的一个示例中，用户将被提供有包括用于观看外部世界的窗口的头戴式装置。该窗口将具有生成图像信息并将该图像信息投影到用户眼中的能力。在这样的系统中，可以生成虚拟对象的图像并将其添加到真实世界场景中。

在2015年1月15日公布的美国专利公开号2015/0016777中可以找到用于产生增强现实的装置的描述，其公开通过引用并入本文。

如在后面的公开中所描述的和在本文的图1中所示的，光学系统100可以包括主波导装置102，该主波导装置102包括平面波导1。平面波导设置有一个或多个衍射光学元件(DOE)2，用于控制平面波导内的光的全内反射。该光学系统还包括光学耦合器系统104和控制系统106。

如在图2中最好地示出的，主平面波导1具有第一端部108a和第二端部108b，第二端部108b沿着主平面波导1的长度110与第一端部108a相对。主平面波导1具有第一面112a和第二面112b，至少第一和第二面112a、112b(统称为112)沿主平面波导1的长度110的至少一部分形成部分内反射光路(由箭头114a和虚线箭头114b示出，统称为114)。主平面波导1可以采取为以小于限定的临界角度撞击面112的光提供基本全内反射(TIR)的多种形式。平面波导1可以例如采取玻璃、熔融石英、丙烯酸或聚碳酸酯的窗格(pane)或平面的形式。

DOE 2(在图1和图2中用双点划线示出)可以采取中断TIR光路114的多种形式，提供在沿着平面波导1的长度110的至少一部分延伸的平面波导1的内部118和外部120之间的多个光路(由箭头116a和虚线箭头116b示出，统称为116)。DOE 2可以有利地将线性衍射光栅的相位函数与圆形或径向对称波带片的相位函数组合，从而允许定位明显的对象和针对明显的对象的焦平面。DOE可以形成在波导的表面上或其内部。

参照图1，光学耦合器子系统104将光光学地耦合到波导装置102。如图1所示，光学耦合器子系统可以包括光学元件5，例如反射表面、反射镜、二向色镜或棱镜，以将光光学地耦合到主平面波导1的边缘122。光还可以通过前面或背面112被耦合到波导装置中。光学耦合器子系统104可以附加地或可选地包括准直光的准直元件6。

控制子系统106包括一个或多个光源和驱动电子器件，其产生可以以空间和/或时间变化的光的形式编码的图像数据。如上所述，准直元件6可以使光准直，并且准直的光被光学地耦合到一个或多个主平面波导1中(在图1和2中仅示出一个主波导)。

如图2所示，光沿着主平面波导传播，具有至少一些由TIR传播产生的反射或“反弹”。要注意的是，一些实施方式可以在内部光路中采用一个或多个反射器，例如可以利于反射的薄膜、电介质涂层、金属化涂层等。沿着波导1的长度110传播的光在沿着长度110的各种位置处与DOE 2相交。DOE 2可以被结合在主平面波导1内，或者邻接或邻近主平面波导1的一个或多个面112。DOE 2完成至少两个功能。DOE 2改变光的角度，导致一部分光摆脱TIR，并且经由主平面波导1的一个或多个面112从内部118向外部120出射。DOE 2还可以被配置为引导耦合出的光线来控制在期望出现的观看距离处的对象的虚拟位置。因此，通过主平面波导1的面112a观看的人可以看见在一个或多个观看距离处的数字图像。

在一些实施方式中，使用扫描光显示器将光耦合到一个或多个主平面波导中。扫描光显示器可以包括形成单个光束的单个光源，该单个光束随时间扫描以形成图像。该扫描的光束可以被强度调制以形成不同亮度水平的像素。或者，可以使用多个光源来产生多个光束，这些光束或者用共享的扫描元件或者用单独的扫描元件扫描以形成图像。这些光源可以包括可见和/或不可见的不同波长，它们可以包括不同的几何原点(X，Y或Z)，它们可以以不同的入射角进入扫描仪，并且可以产生对应于一个或多个图像(平面的或体积的(volumetric)，移动的或静止的)的不同部分的光。

例如，可以使用振动光纤来扫描光以形成图像，例如，如在美国专利申请序列号13/915,530、国际专利申请序列号PCT/US2013/045267以及美国临时专利申请序列号61/658,355中所讨论的。光纤可以通过压电致动器双轴扫描。或者，光纤可以单轴或三轴扫描。作为另一种选择，可以采用一个或多个光学组件(例如旋转多边形反射器或镜、振荡反射器或镜)来扫描光纤的输出。

在其他实施例中，可以使用在阵列中形成的LCOS(硅上液晶)镜来产生图像。

图3示出了根据一个示例性实施例的包括波导装置、将光光学地耦合到波导装置或从波导装置光学地耦合光的光学耦合器子系统和控制子系统的光学系统300。

图3的光学系统300的许多结构与图1的光学系统100的许多结构相似或甚至相同。为了简洁起见，在很多情况下，下面仅讨论重大差异。

光学系统300可以采用分布波导装置，以沿着第一轴(图3的视图中的垂直轴或Y轴)中继光，并且沿着第一轴(例如，Y轴)扩展光的有效出射光瞳。分布波导装置可以例如包括分布平面波导3和与分布平面波导3相关联的至少一个DOE 4(由双点划线示出)。分布平面波导3可以在至少一些方面与主平面波导1相似或者相同，具有与其不同的取向。类似地，DOE 4在至少一些方面可与DOE 2相似或相同。例如，分布平面波导3和/或DOE 4可分别由与主平面波导1和/或DOE 2相同的材料构成。

中继的和出射光瞳扩展的光从分布波导装置光学地耦合到一个或多个主平面波导1中。主平面波导1沿着第二轴中继光，第二轴优选地与第一轴正交(例如，在图3的视图中的水平或X轴)。值得注意的是，第二轴可以是与第一轴非正交的轴。主平面波导1沿着该第二轴(例如，X轴)扩展光的有效出射光瞳。例如，分布平面波导3可以沿垂直或Y轴中继和扩展光，并且将该光传递到沿着水平或X轴中继和扩展光的主平面波导1。下面将参照图4讨论图3中示出的系统300的元件的其余部分。

图4示出光学系统300，其图示了由此产生能够被定位成比光学无限远更近的单个聚焦平面。

光学系统300可以包括红光、绿光和蓝光的一个或多个光源11，其可以被光耦合到单模光纤9的近端中。光纤9的远端可以穿过压电材料的中空管8或通过压电材料的中空管8接收。远端从管8伸出，作为不固定的柔性悬臂7。压电管8与四象限电极(未示出)相关联。电极例如可以镀在管8的外侧、外表面或外周或直径上。芯电极(未示出)也位于管8的芯、中心、内周或内直径中。

例如经由线10电耦合的驱动电子器件12驱动相对的电极对以独立地在两个轴上弯曲压电管8。光纤7的伸出的远端具有机械共振模式。共振的频率取决于光纤7的直径、长度和材料特性。通过靠近光纤悬臂7的第一机械共振模式振动压电管8，使光纤悬臂7振动，并且可以扫过大的偏转。通过刺激两个轴的共振，光纤悬臂7的端部在填充2D扫描的区域中双轴扫描。通过与光纤悬臂7的扫描同步地调制光源11的强度，从光纤悬臂7出射的光形成图像。

准直器6准直从扫描光纤悬臂7出射的光。准直光可以被镜面5反射到包含至少一个衍射光学元件(DOE)4的窄分布平面波导3中。准直光通过全内反射沿着分布平面波导3垂直地(即，相对于图4的视图)传播，并且这样做时与DOE4重复地相交。DOE4优选地具有低的衍射效率。这导致在与DOE 4的每个交点处光的一部分(例如，10％)被朝向更大的主平面波导1的边缘衍射，并且光的一部分经由TIR在其原始轨迹上沿着分布平面波导3的长度继续传播。在与DOE 4相交的每个点处，附加光被朝向主波导1的入口衍射。通过将入射光分成多个出耦合集合，光的出射光瞳由分布平面波导3中的DOE4垂直地扩展。从分布平面波导3耦合出的这种垂直扩展的光进入主平面波导1的边缘。

进入主波导1的光经由TIR沿着主波导1水平传播(即，相对于图4的视图)。由于光经由TIR沿着主波导1的长度的至少一部分水平传播，因此光在多个点处与DOE 2相交。DOE2可以有利地被设计或配置成具有相轮廓，该相轮廓是线性衍射光栅和径向对称衍射透镜的总和。DOE 2可以有利地具有低的衍射效率。在传播的光和DOE2之间的每个交叉点处，一部分光被朝向主波导1的邻近面衍射，从而允许光脱离TIR，并从主波导1的面出射。DOE 2的径向对称透镜方面还以与设计的聚焦水平相匹配的角度操纵光束。图4示出了几何上延伸到焦点13的四个光束18、19、20、21，并且每个光束有利地被赋予具有在焦点13处的半径中心的凸波前轮廓，以在给定的焦平面处产生图像或虚拟对象。

图5示出了说明由此产生多焦体积显示、图像或光场的光学系统300。如图4所示，第一组四个光束18、19、20、21在几何上延伸到焦点13，并且每个光束18、19、20、21有利地被赋予具有在焦点13处的半径中心的凸波前轮廓，以在相应的焦平面处产生待由眼睛22观看的图像或虚拟对象的另一部分。图5进一步示出了几何上延伸到焦点23的第二组四个光束24、25、26、27，并且每个光束24、25、26、27有利地被赋予具有在焦点23处的半径中心的凸波前轮廓，以在相应的焦平面处产生图像或虚拟对象22的另一部分。

图6示出了根据一个示例性实施例的光学系统600。光学系统600在一些方面类似于光学系统100和300。为了简明起见，仅讨论一些差异。

光学系统600包括波导装置102，如上所述，波导装置102可以包括一个或多个主平面波导1和相关联的DOE 2(图6中未示出)。与图3至图5的光学系统300相比，光学系统600采用多个微显示器或投影仪602a-602e(仅示出五个，统一为602)以向主平面波导1提供相应的图像数据。微显示器或投影仪602可以沿着主平面波导1的面或沿着边缘122排列或布置。例如，平面波导1的数量与微显示器或投影仪602的数量之间可以具有一对一(1：1)比率或相关性。微显示器或投影仪602可以采取能够向主平面波导1提供图像的各种形式中的任一种。例如，微显示器或投影仪602可以采取光扫描仪或其他显示元件的形式，例如之前描述的悬臂式光纤7或LCOS镜组。光学系统600可以附加地或可选地包括准直元件6，准直元件6在从微显示器或投影仪602提供的光进入主平面波导1之前对从微显示器或投影仪602提供的光进行准直。

光学系统600能够使用单个主平面波导1，而不是使用两个或更多个主平面波导1(例如，沿着图6的Z轴以堆叠配置布置)。多个微显示器或投影仪602可以例如沿着最靠近观看者头部的太阳穴的主平面波导的边缘122以线性阵列布置。每个微显示器或投影仪602将编码子图像数据的调制光从不同的相应位置注入到主平面波导1中，从而产生光的不同的路径。这些不同的路径可以通过多个DOE 2以不同的角度、聚焦水平和/或在出射光瞳处产生不同的填充图案来使光从主平面波导1耦合出来。出射光瞳处的不同填充图案可以有益地用于产生光场显示。可以采用堆叠中的每一层或堆叠中的层(例如3层)的组来产生相应的颜色(例如红色、蓝色、绿色)。因此，例如，可以采用第一组三个相邻层来分别在第一焦深处产生红色、蓝色和绿色光。可以采用第二组三个相邻层分别在第二焦深处产生红光、蓝光和绿光。

发明内容

在上面讨论的每个实施例中，提供光源用于将图像信息注入到波导中并使用DOE将光分配给佩戴者。如下所述，在本发明中，使用包括平面波导和衍射光学元件的相似组合来捕获进入波导的平面之一的光，然后用传感器测量捕获的光。收集波导可以单独使用或与输出波导组合使用。

在优选实施例中，该装置包括具有相对的平面输入和输出面的波导。跨波导形成衍射光学元件(DOE)。DOE被配置为将穿过波导的一部分光耦合到波导中。耦合到波导中的光经由全内反射被引导到波导上的出射位置。该装置还包括光传感器，该光传感器具有被定位为邻近波导的出射位置的输入，以捕获从其出射的光并产生与其对应的输出信号。处理器基于输出信号确定耦合光相对于波导的输入面的角度和位置。该装置可以包括与波导对准的窄带波长滤波器。

该装置可以进一步包括具有相对的平面输入和输出面的第二波导，其中第二波导可以与第一波导对准并平行。可以跨第二波导形成DOE。DOE可以被配置为控制跨第二波导的面的位置处的反射率的水平。该装置可以进一步包括光发生器，其具有被定位为邻近第二波导的输出以将光注入到第二波导中。处理器可以控制被注入到第二波导中的光，以经由全内反射引导进入第二波导的光在跨第二波导的输出面的特定位置处离开波导。

该装置还可以包括沿着第一波导的边缘延伸的第三波导。第三波导可以捕获离开第一波导的出射位置的光并将光递送到传感器。

附图说明

图1是示出根据一个示例性实施例的包括波导装置、将光耦合到波导装置或从波导装置耦合光的子系统以及控制子系统的光学系统的示意图。

图2是示出根据一个示例性实施例的包括平面波导和位于平面波导内的至少一个衍射光学元件的波导装置的正视图，示出了包括全内反射光路和平面波导的外部和内部之间的光路的多个光路。

图3是示出根据一个示例性实施例的包括波导装置、将光光学地耦合到波导装置或从波导装置光学地耦合光的光学耦合器子系统以及控制子系统的光学系统的示意图。

图4是根据一个示例性实施例的图3的光学系统的示意图，其示出能够被定位为比光学无限远近的单个焦平面的生成。

图5是根据一个示例性实施例的图3的光学系统的示意图，其示出多焦体积显示、图像或光场的生成。

图6是示出根据一个示例性实施例的包括波导装置、光学耦合器子系统的光学系统的示意图，该光学耦合器子系统包括多个投影仪以将光光学地耦合到主平面波导。

图7是示出根据本发明的基本实施例的具有平面波导和传感器的光学系统的示意图。

图8是包括三个平面波导和相关滤色器的本发明的系统的示意图。

图9是本发明的优选实施例的包括两个平面波导的示意图，其中一个波导像现有技术那样用于将图像递送到眼睛，而另一个波导用于从真实世界捕获图像。

具体实施方式

图7是本发明的系统700的第一实施例的示意图。系统700包括平面波导702，该平面波导702具有在其内形成的至少一个衍射光学元件704。可以设想，波导702可以以类似于上面讨论的任何输出型波导的方式构造。在使用中，来自真实世界的光线将通过波导部分地传输到用户的眼睛706。

根据本发明，进入波导702的光线的一部分将被波导捕获并且经由全内反射沿着波导的长度被引导至710处所示的出射位置。光出射位置710可以位于波导的前面或后面或其侧边。离开波导的光可以由传感器712捕获。由传感器产生的信号被耦合到处理器714用于分析。

可以使用各种类型的传感器。例如，传感器可以包括如上所述的具有输出器件的可移动光纤。类似地，可以提供传感器阵列。另外，传感器可以包括LCOS系统，其选择性地将光引导到附加的固定位置传感器，例如CMOS或CCD成像器。

处理器714将分析输入信号以确定由波导捕获并被引导到出射位置710的光线的输入位置和角度。实际上，如果仅使用单个波导，则该分析可能是复杂的。例如，单个波导实施例将产生组合了到达波导的多于一个波长的光的信号。

因此，在一个优选实施例中，将使用三个类似的波导，每个波导布置成捕获红光、蓝光或绿光。图8示出了这种布置的一个示例。在图8中，提供了三个对准的波导702a、702b和702c。衍射滤波器716设置在每个波导的前面以控制进入波导的光。可以选择滤波器的顺序来优化进入波导中的光的分布。例如，滤光器716a可将红光的一部分衍射到波导702a中，但允许蓝光和绿光通过波导702a。滤光器716b可以将绿光的一部分衍射到波导702b中。滤光器716c可将蓝光的一部分衍射到波导702c中。分离的传感器712a、712b和712c将分别收集来自波导702a、702b和702c的光。由传感器产生的信号将被处理器分析。

应该注意的是，从波导上的任何特定点进入的光线将有效地与在某些其他点进入但是在相同的TIR路径上返回到传感器的相同颜色的光相加。实际上，人们会得到来自许多源的光的叠加。处理器将需要被布置为通过数字分析来解开信息的这种叠加。在实践中，算法可以包括与学习系统结合的各种统计分析。具体的数据分析方法不是本申请的主题。

应该注意的是，如果装置正在捕获平面对象(例如照片)的图像，则反卷积问题更为简单。对于平面对象，反卷积将具有N个移位图像，其中N是边缘元素上的入射光瞳的数量。

在成像三维场景时解决解反卷积问题的一种方式是利用跨波导的可主动切换的多个DOE。使用电子控制来改变DOE的衍射功率，人们可以有选择地允许各个入射光瞳被选择性地打开或关闭。在此系统下，处理器将预先知道由波导引导并由传感器测量的光的进入位置。

应该注意的是，如果使用主动DOE系统来对平面图像成像，则每个瞳孔将捕捉对象的整个未失真图像。

图9是包括一个输出波导910和一个收集波导920的实施例900的图。输出波导910将是上面在说明书的背景技术中讨论的类型，并且将包括光图像源924和用于将图像信息递送到波导910的光纤929。收集波导920将类似于图7的实施例，其中由波导920捕获的光将通过全内反射引导到输出位置930，并由传感器932测量。来自传感器932的输出被提供给处理器934。如上所述，在优选实施例中，将存在三个输出波导和三个输入波导，每个波导与特定色谱(红色、绿色和蓝色)相关联。为了便于说明，图9中仅示出了每种类型的波导中的一种。

在系统900的基本操作中，来自真实世界的一些光线将穿过波导910和920并进入用户的眼睛。波导910可用于将额外的视觉图像递送给眼睛以实现增强现实。波导920可以用来捕获和测量来自真实世界的光线。这些信息可以以各种方式使用。

例如，可以使用从真实世界捕获的信息来修改针对输出波导910生成的图像。特别地，从波导910输出的光可以是在波导920表面上的相同坐标处测量的输入的一些特定函数。该函数可以包括线性缩放、非线性缩放和剪切缩放以及以每个像素为基础计算或者相对于像素位置局部计算的强度的任何其他特定函数。

由波导920捕获的图像信息也可以用于帮助配准由波导910产生的虚拟图像。在许多当前设想的增强现实实现中，虚拟对象位于三维中，并且进行复杂投影以计算它们在波导910上的位置。由波导920收集的信息允许对象相对于二维图像进行具体配准，从而保证它们相对于图像中的其他标志的正确位置(即，无“抖动”)。

在另一个示例中，由波导920收集的图像信息可以用于识别真实世界中的特定图像元素，并且然后计算用于经由波导910呈现给用户的替代元素。例如，系统可以识别人的面部，然后将修改的图像(例如，具有胡须的面部)呈现给用户。在另一个示例中，建筑物的颜色可以被改变。在又一个示例中，以一种语言写成的真实世界中的标牌可以用不同的语言呈现。这个概念不仅延伸到使用图像识别或建模的“滤光器”，而且还延伸到诸如模糊的更简单的滤光器，或上述的组合。

在替代实施例中，可以在波导910和920之间提供可控制的变暗层(例如，LCD，未示出)，用于阻挡来自真实世界的光到达用户的眼睛。相反，该输入光可以被波导910所产生的光“替换”。

用于解码由波导920捕获并转换成时间序列信号的光的算法是依赖于上下文的。

例如，在传感器是扫描光纤的系统中，可以将信号转换成许多图像处理算法期望的类型的二维直线阵列。在一些情况下，以它们的自然极形式(polar form)处理像素并以相同极形式输出像素可能会更容易。

在一个实施方式中，可以直接将输入极坐标像素(IPCP)值直接分配给通过直接计算找到的直角坐标像素(RCP)。在另一个实施方式中，人们可以将所有的直角坐标像素分配给可以找到对应的输入极坐标像素的最近的直角坐标像素。在另一种方法中，人们可以内插直角坐标像素到可以找到对应的输入极坐标像素的最近的直角坐标像素的值的分配。后一种方法包括线性、二次或任何其他的这种内插。最后，可以预先计算和存储直角坐标像素和相关的输入极坐标像素投影之间的关系。

尽管已经参照一些优选实施例描述了本发明，但是本领域技术人员可以在本文做出各种改变和修改，而不会改变由所附权利要求限定的本发明的范围和精神。

Claims (4)

1.一种用于增强现实系统的装置，包括：

包括相对的平面输入面和相对的平面输出面的第一波导，其被配置为接收耦合到所述第一波导的光，其中耦合到所述第一波导中的所述光经由全内反射被引导到所述第一波导的出射位置；

跨所述第一波导形成的第一衍射光学元件，所述第一衍射光学元件被配置用于耦出穿过所述波导的所述光的一部分；和

光传感器，其被定位为邻近所述第一波导的所述出射位置，并被配置为捕获从所述第一波导的所述出射位置出射的所述光并产生对应的输出信号，其中，所述传感器相对于所述第一波导的所述出射位置的角度和位置是可移动的并且处于处理器的控制下。

2.如权利要求1所述的用于增强现实系统的装置，还包括与所述第一波导对准的窄带波长滤波器。

3.如权利要求1所述的用于增强现实系统的装置，还包括：

包括相对的平面输入面和相对的平面输出面的第二波导，所述第二波导与所述第一波导对准并平行；

跨所述第二波导形成的第二衍射光学元件，所述第二衍射光学元件被配置为控制跨所述第二波导的所述面的位置处的反射率的水平；和

光发生器，其被定位为邻近所述第二波导，并被配置为将光注入到所述第二波导中，并且其中处理器控制被注入到第二波导中的所述光，以经由全内反射引导进入所述第二波导的光在跨所述第二波导的所述输出面的特定位置处离开所述波导。

4.如权利要求1所述的用于增强现实系统的装置，还包括沿着所述第一波导的边缘延伸的第三波导，所述第三波导被配置为捕获离开所述第一波导的所述出射位置的光并将所述光递送到所述传感器。

Images