CN112203067A

CN112203067A - 眼睛投影系统和眼睛投影方法

Info

Publication number: CN112203067A
Application number: CN202011015374.2A
Authority: CN
Inventors: 鲍里斯·格林伯格
Original assignee: Eyeway Vision Ltd
Current assignee: Eyeway Vision Ltd
Priority date: 2014-03-03
Filing date: 2014-03-03
Publication date: 2021-01-08
Also published as: IL247404A0; US10539789B2; CA2941306C; KR20160129080A; EP3114525A4; CN106164743B; TWI666467B; JP2017515161A; TW201546491A; AU2014385317A1; CN106164743A; TW201932910A; AU2014385317B2; CA2941306A1; AU2020200899A1; JP6415608B2; US20170068091A1; IL271410A; WO2015132775A1; IL271410B

Abstract

提供了眼睛投影系统和眼睛投影方法。该眼睛投影系统包括：获得图像数据并产生包括与图像数据的像素对应的多个光束部分的图像投影的图像投影系统；将多个光束部分朝着眼睛定向的眼睛投影光学模块；注视跟踪控制器，其根据指示眼睛注视方向的数据来控制将多个光束部分定向的图像投影系统的图像扫描仪和眼睛投影光学模块的注视跟踪偏转器中的至少一者的操作，以根据注视方向将多个光束部分定向到视网膜上，从而补偿注视方向的改变。该系统不补偿与小的扫视和/或震颤眼睛移动相关联的注视方向的改变，从而使得在任何注视方向上，除了由小的扫视和/或震颤眼睛移动引起的投影图像在视网膜上的小移动之外，投影图像在视网膜上稳定且固定地显现。

Description

眼睛投影系统和眼睛投影方法

本专利申请是国际申请日为2014年3月3日、国家申请号为201480077960.6、发明名称为“眼睛投影系统”的专利申请的分案申请。

技术领域

本发明涉及图像投影系统的领域，更具体地，涉及适于向用户眼睛投影图像以便向用户提供纯的或增强的虚拟现实体验的可穿戴/头戴式图像投影系统。

背景技术

用于向用户的眼睛投影虚拟现实和/或增强的虚拟现实的头戴式图像投影系统或可穿戴图像投影系统变得越来越受欢迎。在许多情况下，这样的系统被配置为可以戴在用户的头上并且可操作用于向用户的眼睛投影图像以便向用户提供虚拟现实图像/视频投影的眼镜。为此，某些已知的系统旨在向用户的眼睛提供纯虚拟现实图像投影，其中，来自外部场景的光被阻挡到达眼睛，同时其他系统涉及提供增强的虚拟现实感知，其中，来自外部场景的光被允许经过眼睛，同时还通过图像投影系统与被投影到眼睛的图像/视频帧增强/叠加。

例如，第2013044042号美国专利申请公开了一种包括被配置成戴在用户的头上的框架的电子装置。框架可以包括桥以及额头部分，桥被配置成被支承在用户的鼻子上，额头部分耦接到桥并离开桥延伸，并且额头部分被配置成布置在用户的额头的一侧上。框架还可以包括耦接到额头部分并且延伸至自由端的臂。第一臂可以布置在用户的太阳穴上，其中，自由端被布置成靠近用户的耳朵。装置还可以包括透明显示器和输入端，透明显示器以与额头部分相邻的方式被固定至框架，并且输入端固定至框架并被配置成从用户接收与功能相关联的输入。与功能相关的信息可以能够呈现在显示器上。

第7,936,519号美国专利公开了一种头戴式显示器，包括：戴在观察者的头上的眼镜框架型框架；以及两个图像显示装置，图像显示装置中的每个图像显示装置包括图像生成装置和光引导装置，光引导装置安装至图像生成装置，光引导装置作为整体被定位在观察者的脸的相对于图像生成装置的中心侧，从图像生成装置发射的光束入射在光引导装置上，光束通过光引导装置被引导，且光束从光引导装置朝着观察者的瞳孔被发射。

第8,289,231号美国专利公开了一种头戴式虚拟图像显示单元，该头戴式虚拟图像显示单元在尺寸和重量上是紧凑的，并且结合了提供清楚的穿透能力的高性能光学系统。当穿透能力不是所期望的时，可以针对这些实例结合滑动遮光罩。可以结合焦点调整，以允许将图像例如聚焦在距无穷远大约18英寸的距离处。可以结合可调整头带，该可调整头带适于适合用户的头。可以结合柔性臂架结构以有助于对光学组件的精细位置调整。还可以结合滑杆和球窝接合机制以有助于光学组件的位置调整。可以结合内置麦克风以使得能够由用户进行语音输入。头戴式虚拟图像显示单元可以结合眼镜或安全镜舒适地使用，并且在不阻挡用户对周围环境的观察的情况下向用户提供有用的图像。该单元被设计成具有满意的外观以便极大地增强用户接受性。

第8,384,999号美国专利公开了一种用于头戴式显示器和其他应用的光学模块。光学模块包括具有相互啮合的脊形表面的光学衬底和光学覆板。在表面中的至少一个上形成反射层。在表面之间可以定位有折射率匹配材料。从投影仪接收投影图像的区域将从投影仪到达的光线定向在脊形表面上，使得在使用时，观察者感知到增强的图像。增强的图像包括来自投影仪的反射光线以及来自位于模块的与观察者相反的侧上的对象的透射光线。

在某些技术中，对眼睛位置和运动进行跟踪，以确定用户的焦点区域。例如在第6,943,754号美国专利中公开了跟踪注视的技术。

第2012154277号美国专利申请公开了当使用近眼睛显示装置例如设置穿透显示装置或头戴式显示装置时增强用户体验的方法和系统。创建显示器的相对于用户在场景中的视场的最佳图像。对用户的头和眼睛的位置和运动进行跟踪以确定用户的焦点区域。最佳图像的部分耦合至用户在眼睛的当前位置、所预测的头和眼睛的下一个位置以及耦合至用户在下一个位置中的焦点区域的最佳图像的部分中的焦点区域。

第7,542,210号美国专利公开了一种头戴式显示装置，该头戴式显示装置具有将装置附接到用户的头的架、使用移动装置附接到架的分束器、将图像投影到分束器上的图像投影仪、跟踪用户的眼睛的注视的眼睛跟踪器以及一个或更多个处理器。该装置使用眼睛跟踪器和移动装置连同可选的头跟踪器以使分束器绕眼睛转动的中心移动，使分束器保持在眼睛的直接的视线中。用户同时观察图像以及图像后面的环境。可以在用户的另一只眼睛上使用第二分束器、眼睛跟踪器和投影仪，以创建立体虚拟的环境。显示器可以对应于人眼睛的分辩能力。本发明在用户观看的位置预设高分辨率图像。

第WO 2013/117999号国际专利申请公开了用于注视跟踪的系统、方法和计算机程序产品。示例性方法包括使用投影仪将光定向至眼睛中；使用图像捕获模块来定向从与眼睛相关联的表面的反射；以及基于所检测到的反射来确定与眼睛相关联的视线。在一些实施方式中，光包括红外光。在一些实施方式中，投影仪包括激光器。在一些实施方式中，投影仪包括硅上液晶(LCoS)芯片。在一些实施方式中，与反射相关联的表面为眼睛角膜、虹膜或视网膜中的至少一个。

发明内容

用于向用户提供虚拟或增强现实的传统投影系统通常是基于朝着用户的眼睛投影图像(例如，视频图像)，使得图像被用户的眼睛感知为位于/聚焦在位于眼睛前方特定距离(例如，通常离开眼睛大约4米至若干米的距离)处的中间图像平面处。图像被投影到其上的中间图像平面可以是眼睛前方的真实图像平面(即，形成图像的投影光束实际上聚焦的平面)或者虚拟图像平面(即，形成图像的投影光束被感知为由用户的眼睛聚焦的平面)。在任何情况下，在这样的传统图像投影系统中，中间图像平面需要被光学地转发至用户的眼睛。换言之，当中间图像平面(虚拟图像平面或真实图像平面)通常被布置在眼睛前方的特定有限远距离处时，仅当眼镜透镜聚焦至该特定距离时，中间图像平面才聚焦在眼睛视网膜上。

传统的虚拟现实成像技术/增强现实成像技术——其投影被感知为在距用户的眼睛特定有限远距离处的图像——的一个主要缺点涉及引起眼睛疲劳在许多情况下为头痛的发展。当用户的每只眼睛单独地投影立体图像以创建感知的3D错觉时，该问题甚至更是普遍存在的。这是因为，在由此生成的3D错觉中，可能存在由用户感知为被定位在距眼睛各种不同的距离处的对象/元件，这使得眼睛尝试使眼镜透镜连续地重新聚焦至这样的不同距离。然而，如所指示的，每只眼睛感知到的实际图像实际上位于/聚焦在距眼睛特定距离通常为固定距离处的真实图像平面或虚拟图像平面处。因此，“眼睛”尝试根据所感知的图像内的要素/对象的距离聚焦至不同的距离通常是失败的，从而使大脑中的虚拟场景机制混乱，由此产生眼睛疲劳和头痛。

传统技术的另一主要缺点涉及眼睛运动。在传统技术中，当由每只眼睛感知到的图像被投影在眼睛前方的图像平面上时，图像平面通常与参考系相关联，参考系相对于用户所处的外部场景/环境(如在常见的3D电影院的情况下，其中，真实图像被投影到影院的固定平面上)的参考系固定，或者其相对于与用户的头相关联的参考系(如在飞行员或游戏者的头盔的情况下，其被设计成向其用户投影增强的现实/虚拟现实)固定。在这些情况中的任何情况下，所投影的图像未被固定至眼睛的参考系(即，眼睛球的视线)，这导致投影模块的目标视线准直的已知问题，并且需要具体校准。因此，难以在用户的眼睛运动的情况下利用传统技术将图像投影在视网膜上的任一选定位置处。然而，在用于使用例如来自因特网的另外的信息来增强虚拟用户感知的某些应用中，这样的特征是特别期望的。

在本上下文中，在双目人视觉中，眼睛(视线)不总是被定向至平行的光轴，而是在许多情况下，被定向成使得其光轴(例如，在与人观看的对象相关联的位置处)相交。因此，常常期望单独地且独立地调整图像到每只眼睛的视网膜的投影，以便补偿或考虑眼睛之间的双眼睛视差。这使用以下传统技术也难以实现，在该传统技术中，图像被投影到未固定至每只眼睛的参考系但是固定至外部场景的参考系或者固定至用户头的参考系的图像平面上。

本发明提供了新颖的眼睛投影技术，该技术可用于解决现有技术中已知的以上缺点。更具体地，本发明提供了用于将图像直接投影到眼睛视网膜上的系统和方法，并且还提供了用于直接投影/成像光路径以便根据眼睛注视方向来跟踪眼睛的位置的系统和方法。这使得能够在注视方向变化的情况下将图像投影到眼睛视网膜上的特定/固定位置。

应当理解，本文中所使用的短语视网膜上的固定位置是指视网膜上的对应于具体视角的特定位置。鉴于此，应当注意，需要视网膜上的图像的小的扫视移动(震颤)(其通过眼睛的扫视移动实现)，以便视网膜上的图像沿着具体视角/方向看起来稳定且固定。为此，短语视网膜上的固定/特定位置应当理解为视网膜上被固定至由扫视眼睛运动允许的范围的位置，但是该位置在一些情况下不是绝对被固定的并且由于眼睛扫视移动可以轻微移动。因此，应当注意，以下更详细地描述的本发明的技术提供了对眼睛的(例如，与注视方向的改变相关联的)大运动的补偿，而可以不对眼睛的小运动例如扫视移动(震颤)进行补偿，同时仍然允许图像在固定位置上看起来是完全稳定的。

根据本发明的一些方面，提供了用于将图像定向至眼睛视网膜上的系统和方法。投影系统包括图像扫描仪，该图像扫描仪包括第一可调整光学偏转器(例如，可操作成进行二维图像扫描例如光栅扫描的一个或更多个快速扫描镜)。该图像扫描仪被配置成并且可操作用以接收输入光束并且使该输入光束偏转以便调整光束与用户眼睛的瞳孔的入射角。为此，图像扫描仪的第一可调整光学偏转器进行图像扫描例如光栅扫描，在该图像扫描期间，光束被偏转成使其以与眼睛的视网膜上的各种位置对应的各种瞳孔入射角α_in入射在瞳孔上。反之，光束的强度以及可能的光谱内容根据被投影到视网膜上的图像而被调制，使得图像的相应的像素在图像扫描期间被投影到视网膜上的各种位置上。换言之，瞳孔入射角α_in对应于图像中的像素并且使得这些像素直接投影到视网膜上的相应的位置处。

本发明的系统还包括位于朝着眼睛传播的光束的光路径中的眼睛投影光学模块。通常，根据本发明的一些实施方式，眼睛投影光学模块包括角向光束转发模块，该角向光束转发模块被配置成并且可操作用于接收以相对于光轴的特定输出图像投影角α_scn从图像扫描仪传播的光束，并且将该光束转发成以对应的瞳孔入射角α_in入射在瞳孔上。为此，α_in可以为输出图像投影角α_scn的单调函数F_opt：α_in＝{α^x _in，α^y _in}＝F_opt(α_scn)＝F_opt({α^x _scn，α^y _scn})，其中，上标指数X和Y指示针对垂直于光路径的两个正交横轴测量的角。在本上下文中，将图像扫描仪的投影角α_scn映射至瞳孔入射角α_in的单调函数F_opt通常与眼睛投影光学模块的光学操作/功能相关联，眼睛投影光学模块将光束从图像扫描仪转发至瞳孔。图像投影角α_scn可以进而对应于图像中的对应的像素的二维位置{P_x，P_y}：α_scn＝{α^x _scn，α^y _scn}＝S({P_x，P_y})。此处，S为在图像的像素的位置{P_x，P_y}与图像扫描仪的角状态/位置α_scn之间映射的图像扫描函数(在本文中，也称为图像扫描映射函数)。

如上面所指示的，传统技术的主要缺点中之一是由眼睛捕获的投影图像未被固定至眼睛坐标系(参考系)，而是固定至另一参考系，即眼睛外部的场景的参考系或者用户的头的参考系。因此，当眼睛的注视方向变化时，图像在眼睛视网膜上的投影的位置相应地改变。这是因为实际瞳孔入射角α_in取决于注视方向。例如，将注视方向标记为β＝{β^x，β^y}，针对给定的投影角α_scn，瞳孔入射角α_in将如下：

等式(1)α_in＝F_opt(α_gcn)-β＝F_opt(S({P_x，P_y}))-β.

这将导致视网膜上的像素的投影位置(其取决于瞳孔入射角α_in)与注视方向β之间的相关性。

因此，根据本发明，应当修改函数F_opt(S({P_x，P_y}))，以便补偿瞳孔的注视方向β的改变，从而使得图像像素以各种/变化的注视方向投影在视网膜上的具体(固定)位置上。

这可以通过利用与经修改的光学函数即根据注视方向可调谐的F’_opt相关联的具体配置的眼睛投影光学模块来实现。例如，由以下经修改的光学函数F’_opt来替换上述等式(1)中的光学函数F_opt：

等式(2)F′_opt(α_scn，β)＝F_opt(α_scn)+β

将导致瞳孔入射角α_in相对于注视方向不变化。实际上，根据本发明的一些实施方式，该解决方案通过在眼睛投影光学模块中包括作为第二可调整光学偏转器(例如，包括可访问镜)的可调谐注视跟踪偏转器来实现。注视跟踪偏转器被配置成并且可操作用以响应于指示眼睛的注视方向β的信号以便使光束的光传播路径根据注视方向β来偏转，使得所述光束以相对于注视方向(相对于瞳孔的光轴即瞳孔的视线)的所述角α_in入射在瞳孔上。

可替选地或另外地，瞳孔入射角α_in相对于注视方向的不变性可以通过利用图像像素与图像扫描镜之间的合适的映射来实现。这样的映射考虑且补偿注视方向β的改变(例如，根据注视方向可调谐)。例如，利用满足下述的经修改的图像扫描映射函数S’：

等式(3)F_opt(S′({P_x，P_y}，β))＝F_opt(S({P_x，P_y}))+β

为此，对注视方向β的改变提供至少部分补偿的另一方式是通过修改图像扫描函数S以至少部分地补偿β，以使得能够感知视网膜上的同一位置上的像素投影。换言之，通过根据β改变投影角α_scn与投影在图像扫描仪的该角处的图像像素(光强度)之间的对应关系来修改图像扫描函数S。因此，这可以通过实现用于确定要投影在视网膜上的图像的选定部分的合适的数字处理来实现。在注视方向的改变改变时，图像的选定部分被偏置成补偿注视方向的偏移。

然而，该方法可以需要使用具有延长的视场并且能够将像素相关光束投影在极限入射角处的图像投影系统，以覆盖在不同的注视下的可能的瞳孔取向的全部范围。然而，设计和制造支持眼睛上的这样的极限入射角的光学图像投影系统可以与使得制造这样的系统不可行或者针对特定应用不经济的劣化的光学性能和/或高容差限制相关联。

另外，应注意，当注视方向β变化时，瞳孔的空间位置也变化。因此，使用等式(3)的经修改的图像扫描函数S’来补偿β可以需要使用足够宽的光束，其中，该宽度覆盖可能的瞳孔位置的所有位置或一些位置。例如，眼睛的注视方向β可以处于立体角Ω≈60°内的任何角处。因此，由于常见的眼睛球直径D为约25mm，所以瞳孔可以位于6mm的标准半径的区域处。因此，利用注视方向β可以需要被定向至眼睛的光束具有等同的半径(例如，约8mm)，使得该光束实际上在各种注视方向下到达瞳孔。

如以下进一步讨论的，在一些情况下，期望将宽度/半径小于瞳孔的宽度/半径的光束定向至瞳孔。这可以用于提高图像投影在视网膜上的焦深。然而，应当注意，在使用(例如，窄于瞳孔的)窄光束的这样的实施方式中，使用等式(3)的方案以通过使用图像扫描函数S’来补偿注视方向可能不是所期望的。这是因为这需要光束比瞳孔宽的多并且涵盖可能的瞳孔位置的基本部分。

然而，在眼睛投影光学模块被具体配置成补偿注视方向β的实施方式(即，眼睛投影光学系统根据注视方向可调谐/可调整如在等式(2)中那样的实施方式)中，使用比瞳孔宽的宽光束可能不是所需要的。这是因为，在这样的实施方式中，眼睛投影光学模块可以包括根据注视方向β操作的注视跟踪偏转器，以使光束的光传播路径朝着瞳孔偏转。这使得能够使用比瞳孔的宽度窄的光束，并且同时仍然在各个注视方向下朝着瞳孔跟踪和定向这些光束。例如，在一些实施方式中，注视跟踪偏转器可以包括可访问镜，该可访问镜根据注视方向β使光束偏转至不同的偏转角，以便改变从其偏转的光束的光路径。注视跟踪偏转器还可以包括视场选择器光学模块(例如，包括一个或更多个透镜或镜)，视场选择器光学模块被配置成并且可操作用以沿着与不同的注视方向对应的各个相应光路径接收从可访问镜传播的光束，并且朝着当分别沿着这些不同的注视方向时被定位的瞳孔的对应的空间位置定向这些光束。视场选择器光学模块可以例如包括非球形光学器件例如具体被配置成执行该功能的离轴抛物形偏转器。在一些实施方式中，眼睛跟踪偏转器模块的视场选择器光学模块包括一个或更多个眼镜透镜的光学表面或者由一个或更多个眼镜透镜的光学表面形成。

实际上，在更通用的方法中，也可以通过利用眼睛投影光学模块和像素映射处理二者使用以上参照等式(2)和等式(3)指示的技术的组合来补偿注视方向β(例如，使得功能中的每个功能提供空间补偿和互补补偿)。这可能需要映射函数S’和光学函数F’满足以下条件：

等式(4)F′_opt(S′({P_x，P_y}，β-β₁)，β1)＝F_opt(α_scn)+β

其中β₁是注视方向角β的由眼睛投影光学模块的可调谐注视跟踪偏转器补偿的部分，并且(β-β₁)是注视方向角β的通过处理(通过调整应用函数S’)补偿的部分。

因此，本发明提供了用于图像到眼睛视网膜上的直接投影的系统和方法。这可以根据本发明来实现，而不需要将图像投影/聚焦在距眼睛固定距离的眼睛外部的实际中间图像平面或虚拟中间图像平面上。因此，通常缓解和可能整体消除与在这样的中间图像平面处的图像感知相关联的不舒适、疲劳或头痛。如以下更具体地描述的，使用图像投影系统以及利用角转发光学器件来实现图像在眼睛视网膜上的直接投影，该图像投影系统适于以与图像中相应的像素的位置相关联的不同的相应的输出图像投影角输出与不同的图像像素对应的光束，角转发光学器件用于以对应的瞳孔入射角将从图像投影系统输出的光束转发至眼睛瞳孔上。角转发光学器件提供了光束入射在瞳孔上的角与从图像投影系统传出的光束的输出角对应，并且进而，其还对应于图像的相应的像素。因为眼镜透镜聚焦在光束上，光束从不同的方向入射在视网膜的不同的相应的区域上，因此，系统提供了图像在视网膜上的定向成像。

在一些实施方式中，本发明的系统适于将准直光束定向至瞳孔。因此，这样的光束被眼睛感知为从“无限远的”距离到达，并且眼镜透镜不需要聚焦在位于距眼睛有限距离处的任何图像平面上。这提供了对如上所讨论的与这样的聚焦相关联的不舒适的现象的缓解。

可替选地或另外地，本发明的直接投影技术提供了图像以增强的焦点深度被投影在视网膜上的方式将图像投影在眼睛视网膜上。因此，在眼镜透镜的基本上任何焦点状态下，图像以基本上聚焦的形式被投影在视网膜上。例如，图像可以以允许其保持聚焦在视网膜上的实质焦深被投影，同时眼镜透镜处于从4米至∞的宽焦长范围内的任何焦点状态下。根据本发明，通过将与图像像素相关联的光束投影到眼睛瞳孔上来实现具有增大的焦深的图像投影，其中，光束的宽度窄于眼睛瞳孔的直径。为此，在常见的光学器件中，焦深与光学系统的瞳孔直径相关联。较小的瞳孔直径提供较宽的焦点深度，并且反之亦然。这与眼睛的光学系统相同。然而，根据本发明，通过(在不形成中间图像平面的情况下)直接朝着眼睛瞳孔定向与图像像素对应的光束来将图像直接投影在眼睛视网膜上。因此，发明人已经发现，通过利用和定向具有比瞳孔的直径更窄的窄光束宽度的光束，投影在视网膜上的图像的焦深增大。事实上，视网膜上的图像的焦深增大，这是因为在这样的情况下，光束通过其进入眼睛以与眼镜透镜交互的瞳孔的有效直径等于光束的直径(其小于瞳孔的实际直径)。在本发明的一些实施方式中，这用于缓解以及可能完全消除与尝试将眼睛聚焦在投影图像上相关联的不舒适、疲劳或头痛，这是因为在眼镜透镜的任何合适的焦点状态下，图像保持聚焦。因此，在本发明的一些实施方式中，使用能够将窄于瞳孔直径的光束投影到眼睛上的光学系统。

还在一些实施方式中，将激光(例如，相干光)用作光源，并且可选地，还利用合适的光束准直器来朝着瞳孔提供足够窄且可选地准直的光。

在一些实施方式中，使用具有为常见瞳孔半径(例如，为大约1.5mm)的60％的量级的宽度的光束来提供图像在视网膜上的足够大的视场/焦深。在该上下文中，根据本发明，由于当将例如窄于瞳孔的这样的窄光束使用/投影到眼睛上时获得的大的视场深度，所以可以消除对可调整聚焦和相关联的光学器件的需求。因此，在本发明的一些实施方式中，可以使用具有固定/非可调整焦点的系统来将光束定向至眼睛。

因此，根据本发明的一个广泛的方面，提供了包括图像生成器和眼睛投影光学模块的眼睛投影系统。图像生成器被配置成获得指示图像的数据、生成与图像的像素对应的多个光束部分、根据与每个光束部分对应的图像的相应像素的值来调整该光束部分的强度、以及将光束部分定向成沿着总体光传播路径朝着眼睛投影光学模块传播。光束部分被定向成以相对于总体光传播路径的投影角α_scn被传播至眼睛投影光学模块，其中根据图像中相应的像素的位置来确定投影角α_scn。眼睛投影光学模块包括注视跟踪偏转器，该注视跟踪偏转器被配置成并且可操作用以响应于指示用户眼睛的注视方向β的输入信号以便根据偏转方向β使所述多个光束部分的总体光传播路径朝着眼睛的瞳孔偏转。总体光传播路径被偏转成使得所述多个光束部分以相对于该注视方向β上的瞳孔的视线的、与投影角α_scn对应的瞳孔入射角α_in入射在瞳孔上。该系统由此提供了将要投影到眼睛的视网膜上的图像直接投影在视网膜上的基本上固定的位置处，而无论眼睛的注视方向β如何。

根据本发明的一些实施方式，投影角α_scn与瞳孔入射角α_in之间的对应关系使得瞳孔入射角α_in是投影角α_scn的单调函数。

根据本发明的一些实施方式，眼睛投影系统包括一个或更多个光束准直器，一个或更多个光束准直器适于实现所述多个光束部分的准直，使得所述多个光束部分在基本上准直的情况下入射在瞳孔上，由此使得能够实现图像在眼睛视网膜上的直接投影。例如，图像在视网膜上的直接投影的特征可以为，图像被眼睛感知为从距眼睛无穷远的距离处发出。

根据本发明的一些实施方式，眼睛投影系统包括一个或更多个光学模块，一个或更多个光学模块适于将所述多个光束部分的宽度实现为使得所述宽度小于瞳孔的直径。这从而使得所述图像以延长的焦深投影在视网膜上。根据本发明的一些实施方式，眼睛投影系统的注视跟踪偏转器包括可访问光学偏转单元和视场选择器光学模块。可访问光学偏转单元被定为在总体光传播路径中，以及视场选择器光学模块被定位在相对于通过系统的光传播方向从可访问光学偏转单元起的下游的光路径中。在一些实施方式中，可访问光学偏转单元响应于指示注视方向β的输入信号并且可操作用于调整其偏转角以使入射在其上的光束偏转成沿着与注视方向β对应的相应的光路径传播。视场选择器光学模块可以配置成并且可操作用以接收沿着与不同的注视方向β对应的各个相应光路径传播的光束并且将这些光束朝着与不同的注视方向β相关联的瞳孔的对应位置定向。为此，在本发明的某些实施方式中，视场选择器光学模块包括非球形光学器件例如离轴抛物形偏转器。

根据本发明的一些实施方式，眼睛投影系统的眼睛投影光学模块还包括角向光束转发模块。角向光束转发模块被配置成并且可操作用于接收以各个投影角α_scn从图像生成器传播的所述多个光束部分中的每个光束部分并且将所述多个光束部分转发成分别以对应的瞳孔入射角α_in投影到瞳孔(在瞳孔位置处)上。例如，在一些实施方式中，角向光束转发模块包括分别与第一焦长和第二焦长相关联的第一光学模块和第二光学模块。第一光学模块和第二光学模块沿着总体光传播路径被彼此间隔开基本上等于第一焦长与第二焦长之和的光学距离。

在本发明的某些实施方式中，注视跟踪偏转器的可访问光学偏转单元被定位在角向光束转发模块的第一光学模块和第二光学模块之间的光路径中。还在一些实施方式中，角向光束转发模块的第二光学模块和视场选择器光学模块集成在公共光学元件中。

根据本发明的一些实施方式，眼睛投影系统的图像生成器包括：

提供输入光束的光模块；

图像扫描仪，所述图像扫描仪被定位在输入光束的光路径中并且适于将输入光束分裂成一个或更多个光束部分并且将一个或更多个光束部分定向成以相对于所述总体光传播路径的投影角α_scn传播；

光强度调制器，光强度调制器被定位在输入光束和一个或更多个光束部分中的至少一者的光路径中并且适于可控地调整一个或更多个光束部分的强度；以及

投影控制器，投影控制器能够连接到光强度调制器模块并且被配置成并且可操作用以获得要被投影到眼睛视网膜上的图像像素的图像数据并且操作光强度调制器模块以便根据分别与所述光束部分对应的图像的像素的值来调整光束部分的强度。

在某些实施方式中，投影控制器还能够连接到图像扫描仪并且可操作成将所述光束部分定向成以相对于总体光传播路径的投影角α_scn传播。

例如，在一些实施方式中，光强度调制器可以包括空间光调制器，空间光调制器被配置成并且可操作用于将输入光束分裂成沿着不同的相应的光路径传播的多个光束部分，并且图像扫描仪可以包括静态光学模块，静态光学模块被配置成使多个光束部分朝着不同的投影角α_scn偏转。

可替选地或另外地，光强度调制器可以适于调制输入光束的强度，并且图像扫描仪可以包括扫描镜，扫描镜适于将输入光束分裂成多个光束部分(时间部分)、并且将它们定向成朝着不同的角α_scn传播。

为此，根据本发明的一些实施方式，眼睛投影系统包括至少两个可调整光学偏转器(例如，两个可调整二维光学偏转器，每个可调整二维光学偏转器由一个或更多个可转动镜形成)。例如，第一可调整光学偏转器可以包括图像扫描仪的至少一个扫描光学偏转器或者可以与图像扫描仪的至少一个扫描光学偏转器相关联，并且第二可调整光学偏转器可以包括注视跟踪偏转器的注视跟踪偏转器或者与注视跟踪偏转器的注视跟踪偏转器相关联。

在一些实施方式中，该至少两个(例如，第一和第二)可调整光学偏转器被致动以控制所述多个光束部分的传播的两个或更多个自由度，从而将所述多个光束部分定向成以不同的注视方向β、并且以相对于不同的注视方向β上的眼睛的视线的期望瞳孔入射角α_in入射在瞳孔位置上。瞳孔入射角α_in还通过至少两个可调整光学偏转器调整为对应于分别与所述多个光束部分相关联的图像的相应像素。

例如，第二可调整光学偏转器被配置成并且可操作用于：控制朝着瞳孔传播的所述多个光束部分与限定了当用户的眼睛以不同的方向注视时瞳孔的可能位置的虚拟表面的基本上球形的部分的相交位置。第一可调整光学偏转器被配置成并且可操作用于控制所述多个光束部分与限定了瞳孔的可能位置的虚拟表面的基本上球形的部分的相交角。可替选地，第一光学偏转器和第二光学偏转器的光学功能可以组合并且可以使用特定映射(例如，查找表)使两个偏转器的相应的位置(例如，相应的取向)与光束部分在限定瞳孔的可能位置的虚拟表面上的所述多个光束部分的相交位置和相交角相关联。

根据本发明的一些实施方式，眼睛投影系统包括适于控制入射在瞳孔上的光束部分的准直程度的一个或更多个光束准直器(例如，被配置成使得所述多个光束部分当入射在瞳孔上时基本上准直)。可替选地或另外地，一个或更多个光束准直器可以被配置成使得当所述多个光束部分入射在瞳孔上时所述多个光束部分的宽度基本上窄于瞳孔的直径。

根据本发明的另一广泛方面，提供了一种眼镜，该眼镜包括与上述眼睛投影系统相似的一个或更多个眼睛投影系统(例如，两个眼睛投影系统)。眼镜可以被配置成向眼睛投影纯的和/或增强的虚拟现实。在后者的情况下，眼镜的透镜可以包括适于朝着用户的眼睛反射来自眼睛投影系统的光并且朝着用户的眼睛传输来自外部场景的光的分束器/合束器表面。例如，眼睛投影系统的输入光束可以包括一个或更多个光谱带，并且分束器/合束器表面可以被配置为适于朝着用户的眼睛反射所述一个或更多个光谱带的陷波滤光器。可替选地或另外地，输入光束可以包括偏振至特定偏振的光，并且分束器/合束器表面可以被配置为适于朝着用户的眼睛反射该特定偏振的偏振器。

根据本发明的又一广泛方面，提供了一种用于将图像投影在用户的眼睛的视网膜上的眼睛投影系统。眼睛投影系统包括用于产生可控强度的输入光束的光模块以及被布置在输入光束的光路径中的光学系统。光学系统包括第一可调整二维光学偏转器和第二可调整二维光学偏转器以及控制器，该控制器适于接收指示要被投影到用户的眼睛的视网膜上的图像的数据以及指示所述眼睛的注视方向β的数据，并且将图像的像素投影到视网膜上的对应位置上。将图像投影在视网膜上可以包括执行以下操作以便投影图像的每个像素：

操作光学模块，以产生具有与图像中的像素的强度值对应的强度的输入光束；

通过如下方式来操作所述第一二维光学偏转器和所述第二二维光学偏转器中的至少一个二维光学偏转器：调整所述至少一个二维光学偏转器的偏转角，以将输入光束根据所述注视方向β定向成入射在用户的眼睛的瞳孔上；以及

通过如下方式来操作第一二维光学偏转器和第二二维光学偏转器中的至少一个二维光学偏转器：调整所述至少一个二维光学偏转器的偏转角，以将光束定向成以与图像中的像素的位置对应的瞳孔入射角α_in入射在瞳孔上，以由此使得能够由眼镜透镜将与像素相关联的光束的一部分聚焦在与图像中的像素的位置对应的视网膜上的位置上。

附图说明

为了更好地理解本文中所公开的主题以及例示在实践中如何执行所述主题，现在参照附图仅通过非限制示例来描述各个实施方式，在附图中：

图1是根据本发明的一些实施方式被配置并且可操作的眼睛投影系统100的功能框图；

图2A和图2B示意性地示出了根据本发明的实施方式的眼睛投影系统100的光学配置以及其沿着眼睛的两个不同的注视方向β₀和β₁的操作；

图2C和图2D示意性地示出了根据本发明的另一实施方式的眼睛投影系统100的光学配置以及其沿着两个不同的注视方向β₀和β₁的操作；

图3是示出了根据本发明的实施方式的用于将图像投影在眼睛视网膜上的方法的流程图200；

图4是示意性地示出了根据本发明的某些实施方式的图像投影系统110的配置的框图；以及

图5是包括根据本发明的实施方式的眼睛投影系统100的眼镜的示意图。

要理解，出于简洁和清楚说明起见，附图中所示的元件不必要按比例绘制。例如，出于清楚起见，元件中的一些元件的尺寸可以相对于其他元件被夸大。另外，在认为合适时，可以在各附图之间重复附图标记，以指示对应的或相似的元件。

具体实施方式

在以下详细描述中，阐述了许多具体细节，以便提供对当前所公开的主题的透彻的理解。然而，本领域普通技术人员应当理解的是，当前所公开的主题可以在没有这些具体细节中的一些具体细节的情况下实践。在其他实例中，没有详细地描述公知的方法、步骤和部件，以避免使当前所公开的主题难以理解。

应当理解，除非具体指出，否则也可以在单个实施方式中以组合的形式提供在单独的实施方式的上下文中为了清楚描述的当前公开的主题的某些特征。与之相对，也可以单独地或者以任何合适的子组合的形式提供在单个实施方式的上下文中为了简洁描述的当前公开的主题的各种特征。

还应当理解，以下描述的光学模块/元件以及特别是在图2A至图2D、图4和图5中示出的那些光学元件/模块指示用于实现本发明的功能光学元件/模块及其配置。因此，以下根据光学元件/模块的功能操作来对其进行描述。应当注意，可以通过利用实际光学元件的各种布置组合来实际上实现这些光学元件/模块。另外，在本发明的某些实施方式中，以下描述的功能光学模块中的两个或更多个功能光学模块可以在公共光学模块/元件中一体地实现，以及/或者以下描述的单个功能光学元件/模块可以利用若干单独的光学元件来实际上实现。为此，已知本发明的本领域普通技术人员将容易地理解光学元件/模块的各种配置以及这样的模块的各种布置，以便实现本发明以及以下描述的功能光学元件/模块的光学功能。

参照图1，图1示出了根据本发明的一些实施方式被配置并且可操作的眼睛投影系统100的功能框图。眼睛投影系统100包括图像投影系统110、眼睛投影光学器件130。

图像投影系统110适于获得指示要被投影在眼睛上的图像的数据，产生与图像的像素对应的多个光束部分LB。图像投影系统110还适于使用与光束部分LB中的每个光束部分LB_i对应的图像的像素的值来调整该相应光束部分的强度、并且使用与图像中相应的像素的位置相关联的特定投影角α_scn来将光束部分定向成传播至眼睛投影光学模块130。反之，眼睛投影光学模块被配置成并且可操作用以响应于指示用户眼睛的注视方向β的输入信号，以便根据注视方向β使光束部分LB的光传播路径朝着用户眼睛的瞳孔偏转。总体光传播路径被偏转成使得光束部分LB以与投影角α_scn对应的瞳孔入射角α_in入射在瞳孔上(例如，无论注视方向β如何)。在本上下文中，应当理解，本文中使用术语瞳孔入射角α_in来指示光束或光束的一部分在瞳孔上的如相对于瞳孔/眼睛的视线被测量的入射角。

为此，本发明提供了通过将与像素相关联的光束部分LB定向成以预定入射角入射在与和这些光束部分相关联的像素的图像位置对应的眼睛瞳孔上来部分地或整体地补偿眼睛的不同的注视方向。在本上下文中，应当注意，光束部分LB可以为输入光束ILB的可以由图像投影系统110的图像扫描仪模块118空间地或时间地分割/划分的空间部分/片断。如以下更详细地描述地，扫描仪模块118可以利用可操作用于将光束分裂成沿着总体光路径朝着眼睛投影光学模块130传播的空间或时间光束部分的空间光调制器和/或扫描镜(例如，光栅镜扫描仪)来实施。

应当注意，出于清楚起见，在下文中，由图像扫描仪118生成的光束部分LB可互换地被称为光束或光束部分。

根据本发明的一些实施方式，眼睛投影系统100还可以包括可连接到图像投影系统110和眼睛投影光学器件130中的至少一个并且适于根据眼睛/瞳孔的注视方向β(即，根据瞳孔的视线LOS)来调整图像投影系统110和眼睛投影光学器件130中的至少一个的操作的注视跟踪控制器120。图像投影系统110被配置成并且可操作用于通过在与要被投影的图像数据12的像素的位置对应的投影角α_scn的范围内扫描光束来进行图像投影，并且同时根据图像的被投影的像素的相应的强度以及颜色内容来控制光束的强度Int以及可能的颜色(光谱)Spc内容。

为此，图像投影系统110通常包括产生输入光束ILB的光源/光模块114以及包括被定位在光束LB的光路径中的强度和/或光谱调制器117(在下文中为强度调制器117)和图像扫描仪118的图像生成器116。强度调制器117适于根据图像12的被投影的像素的强度来调整光束的强度。在寻求在视网膜上进行彩色图像投影的实施方式中，光模块可以包括一个或更多个光源(通常为红色激光源、绿色激光源和蓝色激光源这三种激光源)。反之，强度调制器117可以被配置成并且可操作用以对来自光模块114的光束ILB的强度Int以及还可能颜色/光谱含量SPC进行可控调整(衰减/调制)。在各种实施方式中，强度调制器/衰减器可以利用从光模块114的一个或更多个光源输出的光束的光路径中的可控滤光器/衰减器来实现。另外或可替选地，强度调制器/衰减器可以利用空间光调制器(SLM)来实现。然而，另外地或可替选地，强度调制器可以利用适于控制光模块114中的光源/激光器的操作的控制器来实现，以便调整器输出强度。以下参照图2A至图4来更详细地描述根据本发明的一些实施方式的图像投影系统110的配置和/或功能操作。

位于光束的光路径中的图像扫描仪118可以包括一个或更多个光学偏转器(例如，可调整光学偏转器例如快速扫描镜/光栅镜以及/或者多个静止元件例如微透镜阵列(MLA)或微镜阵列(MMA))，一个或更多个光学偏转器位于光束LB的光路径中并且被配置成并且可操作用以执行图像扫描和/或空间调制以将光束偏转成沿着各种扫描/投影角α_scn传播，从而将光束分裂成与图像12的相应的像素对应的多个光束部分。

图像投影系统110还包括图像投影控制器112，图像投影控制器112可连接到图像扫描仪118和强度调制器模块117并且被配置成并且可操作用以获得指示被投影到视网膜上的图像像素的图像数据12，并且操作图像扫描仪118和强度调制器117来以与图像像素对应的合适的相应强度朝着各种扫描/输出角定α_scn定向光束的一部分(光束的空间/时间部分)。反之，眼睛投影光学器件130适于以投影角α_scn接收从图像生成器116输出的光束(或者光束的一部分)并且将光束定向成使得光束以对应的瞳孔入射角α_in入射在眼睛瞳孔上，使得图像像素被直接投影在视网膜上的合适的位置处。眼睛投影光学器件130还可以被配置成并且可操作用于补偿眼睛的不同的注视方向β以便将图像投影在视网膜上的固定位置上。

眼睛投影光学器件130通常包括角向光束转发模块134，角向光束转发模块134适于对光束进行转发以便将光束定向成以与图像中的对应的像素的相应的位置对应的合适的瞳孔入射角α_in入射在用户眼睛的瞳孔EP上，从而使得眼镜透镜EL将光束聚焦在眼睛视网膜ER的合适的位置上，与投影角α_scn相关联的图像像素应当被投影在该位置上。这有助于图像12在眼睛视网膜ER上的直接投影。

根据本发明的一些实施方式，眼睛投影系统100还包括注视跟踪控制器120，注视跟踪控制器120被配置成并且可操作用于根据眼睛的注视方向β来调整/控制眼睛投影光学器件130的操作和/或图像投影系统110的操作，以便根据在不同的注视方向时的瞳孔位置及其视线将图像的投影定向在视网膜ER上。更具体地，在本发明的一些实施方式中，注视跟踪控制器120根据上述等式(2)至(4)中的任何一个被配置成并且可操作，以用于控制眼睛投影光学器件130的光学函数F’_opt，从而在注视变化的同时实现在视网膜的固定位置上的图像像素投影。应当注意，当根据上述等式(2)操作时，仅眼睛投影光学器件130的光学函数F’_opt被用于/调整为补偿注视方向的改变。然而，当根据等式(4)操作时，眼睛投影光学器件130的光学函数F’_opt与图像投影系统110的图像扫描函数S’(S’与图像的以图像扫描仪的每个投影角α_scn被投影的像素的强度相关联)二者被调整为执行这样的补偿。

在该上下文中，应当注意，注视跟踪控制器120可以为被配置成并且可操作用于接收来自注视跟踪模块20的指示眼睛的注视方向β的数据/信号22的电子/处理模块。注视跟踪模块可以包括为本发明的系统100的一部分或者其可以为连接到本发明的系统100的外部系统。注视跟踪系统20可以根据用于确定眼睛被定向的视线/注视方向的任何合适的技术被配置成并且可操作。存在可以结合在本发明的系统100中或者连同本发明的系统100一起使用的若干这样的已知的技术。这样的技术例如在第WO2013/117999国际专利申请公开、第7,542,210号美国专利和第6,943,754号美国专利中公开。

返回至眼睛投影光学器件130，根据本发明的某些实施方式，眼睛投影光学器件130被配置成具有使得能够至少部分地补偿注视方向的改变的可调整光学函数F’_opt。注意，当注视方向变化时，瞳孔的位置和眼睛的视线二者均变化。为此，眼睛投影光学器件130被配置成使得来自图像投影系统110(例如，来自图像扫描仪118)的光束LB的光路径的改变，以使其可以朝着在眼睛的不同的注视方向时瞳孔的各种可能的位置定向。另外，在本发明的某些实施方式中，眼睛投影光学器件130还被配置成使得修改光束LB的光路径，不仅将光定向至与注视方向对应的瞳孔的相应位置，而且还至少部分地补偿不同注视方向下的瞳孔的视线LOS方向的改变。例如，针对各种注视方向β，光学函数F’_opt被调整为将光束朝着瞳孔的位置定向，同时确保光束以相对于相应注视方向β上的眼睛的视线LOS的瞳孔入射角α_in入射在瞳孔上，其中，瞳孔入射角α_in被感知为投影角α_scn的预定函数(通常为特定单调函数)。这提供了图像像素在视网膜上的相应的固定位置上的直接投影。在图2A和图2B中更详细地示出和例示了本发明的该特征。

一起参照图2A和图2B，图2A和图2B示意性地示出了根据本发明的一些实施方式的眼睛投影系统100的光学配置。在这些附图中特别示出了本发明的眼睛投影光学器件130的示例配置及其沿着眼睛的两个不同的注视方向β₀和β₁的操作(光学函数F’_opt)。

在本示例中，眼睛投影光学器件130包括注视跟踪偏转器模块132和角向光束转发模块134。注视跟踪偏转器模块132适于根据眼睛的注视方向β(即，根据眼睛的眼睛视线方向的方向以及不同的注视方向的瞳孔位置)使光束的总体光传播路径GPP的光传播路径朝着眼睛偏转。角向光束转发模块134为被配置成将从图像扫描仪118输出的光束以输出投影角α_scn进行转发并且将其定向成以合适的瞳孔入射角α_in入射在用户的眼睛的瞳孔EP上的光学系统。

如附图中所示出的，输入光束ILB由光源112产生，并且其强度以及可能的光谱含量根据图像12中的一个或更多个像素的数据被调整(调制/衰减)。为此，在光束ILB的光路径中包括例如一个或更多个强度调制器117的图像生成器116根据像素数据被操作，以控制像素图像的强度和/或颜色含量。然后，光束被定向至图像扫描仪118。

在本示例中，图像扫描仪118包括一个或更多个扫描镜SM，一个或更多个扫描镜SM在光束在(相对于总体光传播路径GPP测量的)图像投影角α_scn的范围内(例如，通过使镜旋转)被偏转期间进行光束的扫描/光栅扫描，其中，通常每个投影角对应于图像12的被投影在视网膜上的像素。扫描/光栅扫描镜/偏转器可以利用任何合适的技术例如电光偏转器和/或使用镜来实现。例如微机电系统(MEMS)镜机械地耦接到合适的致动器例如压电致动器或其他类型的致动器，使得镜能够对来自光模块114的光束进行偏转，以在投影角α_scn的范围内对光束进行图像/光栅扫描。如上面所指示的，图像投影角α_scn可以指示与水平和竖直图像投影角对应的二维值(α^X _scnα^Y _scn)。例如，角(α^X _scnα^Y _scn)可以相应地对应于总体光传播路径GPP与光束在由总体光传播路径GPP与正交于光传播路径GPP的两个横轴X和Y跨过的两个平面上的投影之间的角。在本上下文中，应当理解，虽然在图2A和图2B中，仅出于清楚起见，示出了(例如，装有万向接头以便沿着两个方向/轴旋转的)单个扫描镜(例如，快速扫描镜)，但是在本发明的其他实施方式中，可以使用两个或更多个镜/偏转器来使光束沿着二维图像投影角α_scn(即，(α^X _scnα^Y _scn))偏转。

在图2A和图2B中示出了两个光束部分LB1和LB2从图像扫描仪沿着两个不同的图像投影角α_scn1和α_scn2被偏转。在附图中例示和说明了这些光束通过眼睛投影光学器件130的传播。角向光束转发模块134包括两个或更多个光学模块，在本文中，为第一光学模块134A和第二光学模块134B，第一光学模块134A和第二光学模块134B被布置成沿着从图像扫描仪至眼睛的光路径并且被配置成将光束定向成以与图像投影角α_scn(α_scn1和α_scn2)对应的瞳孔入射角α_in(在本文中，分别为光束LB1和LB2的α_in1和α_in2)投影在瞳孔上。这通过根据本发明的某些实施方式利用具有(分别与第一焦长和第二焦长相关联的)光功率的第一光学模块134A和第二光学模块134B并且将第一光学模块134A和第二光学模块134B布置成使其沿着从图像扫描仪至瞳孔传播的光LB1和LB2的光路径彼此分离开基本上等于所述第一焦长和所述第二焦长之和的距离来实现。为此，角向光束转发器134提供光束部分(例如，LB1和LB2)从图像扫描仪被偏转的图像投影角α_scn与光束部分入射在瞳孔上的瞳孔入射角之间的单调函数对应关系。这提供了在眼睛的视网膜上的直接成像。应当注意的是，在本发明的其他实施方式中，可以通过利用/包括角向光束转发器134中的其他光学模块来实现角向光束转发模块134的相同的功能操作，其他光学模块在其光功率(焦长)与其在光路径中的布置之间可以具有不同的关系。本领域普通技术人员将容易地理解如何使用本文中例示的配置或不同的配置来实现这样的角向光束转发模块。还应当注意，角向光束转发器134的光学模块(例如，134A和134B)可以包括也可以为与系统100的其他光学元件集成在一起的功能元件的一个或更多个光学元件。

注视跟踪偏转器模块132可以连接到注视跟踪控制器120，以便从注视跟踪偏转器模块132接收指示眼睛的注视方向β的信号/数据。注视跟踪偏转器模块132可操作用于根据来自注视跟踪控制器120的信号/数据(例如，操作信号)使光束LB的光传播路径偏转，以便根据眼睛的注视方向β来改变/调整眼睛投影光学器件130的光学函数F’_opt。如上面所指示的，注视跟踪控制器120可以根据等式(2)或(4)被配置成并且可操作，以便控制注视跟踪偏转器132状态(偏转操作/方向)，以便完全(例如，等式2)或至少部分地(例如，等式4)补偿眼睛的注视方向β从标准注视方向的偏移(在附图中由0°β-Ref指示)。在后者的情况下，如上面所指示的以及以下更详细地讨论的，可以由图像扫描函数S’来提供另外的补偿或互补补偿。

图2A和图2B分别示出了与图像12的两个不同的像素对应的两个光束LB1和LB2的光路径的示意性例示。图2A和图2B分别示出了系统100以及特别是系统100的注视跟踪偏转器模块132沿着眼睛的两个不同的注视状态/方向β₀和β₁的操作。如所示的，在不同的注视状态β₀和β₁下，瞳孔被定位在虚拟表面S(为基本上圆形的虚拟表面的一部分)的两个不同的瞳孔位置PL₀和PL₁上，虚拟表面S限定当眼睛注视不同的方向时瞳孔的可能位置以及不同的注视方向上的眼睛的两个不同的视线LOS₀和LOS₁。根据本发明的一些实施方式，注视跟踪偏转器模块132包括两个或更多个光学元件/模块，两个或更多个光学元件/模块适于对瞳孔位置的偏移以及与不同的注视方向相关联的眼睛的视线的偏移二者进行补偿。

例如，如图2A和图2B所示，注视跟踪偏转器模块132包括可调整/可访问光学偏转器132A(例如，是可访问注视跟踪镜)以及视场选择器光学模块132B，其被一起配置成并且可操作用于控制不同图像像素的光束LB(例如，附图中的LB1和LB2)的传播与瞳孔在其以不同的方向注视时的相应位置(附图中的LP₀和LP₁)相交、并且还调整光束LB相对于视线LOS(在本文中，LOS₀和LOS₁对应于两个不同的注视方向)在瞳孔上的瞳孔入射角α_in(在本文中，分别为光束LB1和LB2的α_in1和α_in2)，使得入射角α_in相对于眼睛的视线LOS保持固定并且相对于沿着眼睛/瞳孔的视线LOS方向的改变不变化。

可调整/可访问光学偏转器132A在某种意义上是可访问的，其响应于指示注视方向的输入信号(或者指示偏转器132A的与注视方向β对应的访问/取向角的信号)并且可操作/可偏移用于相应地调整其取向角/偏转角以便使光束LB偏转成沿着与注视方向β对应的相应光路径传播。视场选择器光学模块132B被配置成并且可操作用以接收沿着与不同的注视方向对应的各种相应光路径传播的光束LB并且将光束LB定位至在相应的注视方向下的瞳孔的对应位置，从而以适当的入射角入射在瞳孔上。

根据本发明的某些实施方式，可调整/可访问光学偏转器132A沿着来自图像扫描仪118的光束LB(例如，LB1和LB2)的路径的总体光传播路径GPP被定位在角向光束转发模块的第一光学模块134A与第二光学模块134B之间。注视跟踪偏转器模块132的视场选择器光学模块132B可以沿着关于光传播方向在可调整/可访问光学偏转器132A的下游的光路径GPP被定位。视场选择器光学模块132B可以被定位在角向光束转发器134的第二光学模块134B之前或之后，以及/或者其可以与第二光学模块134B集成在一起以形成用于执行角向光束转发器134的视场选择器132B和第二光学模块134B二者的功能的集成光学部件。视场选择器光学模块132B可以包括非球形透镜和/或镜。在图2A和图2B中，视场选择器光学模块132B由一组被布置成接收来自注视跟踪可访问光学偏转器132A的光束并且将其定向至瞳孔的两个透镜来实现。然而，如图5的示例中进一步示出的，视场选择器可以被实现为反射/半反射分束表面/涂层。例如，视场选择器可以包括可以与实现本发明的系统100的眼镜的眼镜透镜相关联的离轴抛物形偏转器。

应当注意，根据本发明的一些实施方式，图像直接被投影在视网膜的特定/固定位置上，而不会在用户的眼睛前的视场中放置任何可调整/可移动光学元件。为此，注视跟踪可访问光学偏转器132A以及图像扫描仪镜SM可以被定位在用户的视场之外的眼睛旁边的区域处，而角向光束转发模块(其可以包括固定光学元件)可以被配置从图像投影系统适当地朝着瞳孔位置来定向光束。

图2B中示出的两个光束(即，光束部分)LB1和LB2与视网膜上的图像12的两个相应的像素P1和P2的投影相关联。图像投影控制器112可以适于接收图像数据12、操作图像生成器116以用于生成具有与相应的像素P1和P2的数据对应的合适的强度(例如，以及色彩含量)的光束LB1和LB2以及操作图像扫描仪118以使相应的光束LB1和LB2定向/偏转至与图像12中相应的像素P1和P2的位置相关联的合适的相应的图像投影角(α_scn1和α_scn2)。为此，眼睛投影光学器件130从控制器120获得指示注视方向β的数据，并且调整注视跟踪偏转器模块132的角位置/偏转状态，从而以相对于眼睛的视线轴/视线方向(分别为图2A和图2B中的LOS₀和LOS₁)的合适瞳孔入射角(分别为光束LB1和LB2的α_in1和α_in2)将要入射在瞳孔上光束LB1和LB2中的每个光束转发在合适的瞳孔位置(分别为图2A和图2B中的PL₀和PL₁)处。在图2A和图2B的图示中，相似的光束LB1和LB2被示出为由图像扫描仪偏转至相似的相应投影角(α_scn1和α_scn2)。在图2A和图2B中，眼睛注视方向β₀和β₁是不同的，并且因此，可访问镜/偏转器134A的角位置被调整为以相应的合适的入射角α_in1和α_in2朝着瞳孔位置定向要入射在瞳孔上的光束。虽然在附图中未具体指示，但是光束相对于瞳孔视线LOS₀和LOS₁的入射角α_in1和α_in2在两幅附图中是相似的并且分别对应于与这些光束相关联的相应的图像像素P1和P2的位置。

应当理解，虽然在附图中一起示出了光束LB1和LB2，但是光束LB1和LB2可以不必要共轴/一起被投影。事实上，通常在本发明的实施方式例如图1以及图2A和图2B中的那些实施方式中，其中，使用图像扫描仪，通常每个光束与图像扫描仪118的扫描镜/偏转器SM的特定位置相关联，并且因此光束LB1和LB2不共轴。

应当注意，针对本发明的某些实施方式，显著的优点是可以利用如以上参照图2A和图2B所描述的扫描投影系统。这特别是因为针对紧凑的应用例如眼镜应用利用这样的扫描投影系统在向视网膜上投影图像方面可以比当使用面投影系统(例如，图2C和图2D中所公开的)时实现的图像质量提供更好的图像质量。为此，扫描投影系统可以比对应的面投影系统更紧凑。另外，利用其中图像通过利用激光束以便一次投影一个像素被投影到眼睛的扫描投影系统不会在相邻的像素之间提供串扰。另外，像素尺寸即与每个具体像素投影相关联的光束部分(例如，LB1或LB2)的宽度可以比当使用紧凑系统中的天线投影技术时可实现的像素尺寸基本上更宽(通常宽一个或更多个数量级)。因此，眼睛投影光学器件130的光学模块以及特别是角向光束转发模块134可以被配置具有较低的数值孔径并且因此与较低的光学偏差相关联，并且向眼睛提供具有良好的调制传递函数(MTF)的高质量图像转发。这有助于使用紧凑的图像投影系统来将具有改进的动态范围、高图像对比度和高分辨率和亮度的图像投影在眼睛视网膜上。另外，在紧凑应用中利用扫描投影还可以减少和/或整体消除可以由紧凑的天线投影系统由于随后劣化的显著较小的像素尺寸而产生的衍射伪影。

然而，还应当注意，在本发明的一些实施方式中，并且具体是针对非紧凑系统，可以使用天线图像投影系统来替代扫描图像投影。为此，替代扫描镜/偏转器SM，图像扫描仪118可以包括适于同时调制和定向与多个像素相关联的多个光束的空间光调制器(SLM)例如液晶调制器。

参照图2C和图2D，图2C和图2D示出了根据本发明的另一实施方式的眼睛投影系统100的光学配置，其中，与图像像素相关的光束中的一些光束或所有光束(例如，在附图中，与像素P1和P2相关联的光束LB1和LB2)同时被生成并且朝着眼睛投影光学器件130以相应的投影角(α_scn1和α_scn2)同时被定向。眼睛投影光学器件130以对应的瞳孔入射角(α_in1和α_in2)将具有相应的投影角(α_scn1和α_scn2)的光束投影到瞳孔上，以便生成图像12/将图像12投影到眼睛视网膜上。除了此处与多个图像像素对应的多个光束同时被定向至瞳孔之外，图2C和图2D中的系统100的配置与图2A和图2B中所示并且以上详细描述的配置相似。为此，图像生成器116可以在光束ILB的光路径中包括例如一个或更多个空间光/强度调制器SLM。例如替代图2A和图2B所示的强度调制器IM或者除了图2A和图2B所示的强度调制器IM之外，空间光调制器SLM能够单独地调制输入光束ILB的不同的空间部分的强度，此处，SLM提供了对与不同的像素相关联的光束/部分的强度同时进行调整。反之，图像扫描仪118包括光学模块，光学模块能够接收从SLM输出的光束部分并且将每个部分(例如，光束/光束部分LB1和LB2)定向成以与和光束部分相关联的图像的相应的像素对应的合适的投影角朝着眼睛投影光学器件130传播。

例如，在本发明的一些实施方式中，SLM可以包括例如液晶强度调制器，液晶强度调制器被划分成多个单元的矩阵，每个单元与强度的衰减相关联并且/或者控制光束中之一(例如，LB1和LB2中之一)的与不同的图像像素相关联的颜色内容。可选地，可以在光学液晶强度调制器中布置微透镜阵列的矩阵，以接收从其输出的光束(例如，LB1和LB2)并且以对应的图像投影角(例如，至注视跟踪光学模块130的α_scn1和α_scn2)来对光束进行定向。

为此，替代图像光栅扫描镜例如图2A和图2B的SM镜，此处可以使用静态光学模块。例如，微透镜阵列MLA可以被布置在SLM的光路径中并且被配置成朝着合适的投影角对从SLM中的每个单元发出的像素相关光束进行定向。空间光调制器SLM被定位在输入光束ILB的光路径中并且适于接收输入光束ILB并根据其产生多个光束(例如，LB1和LB2)，多个光束的强度(以及还可能颜色含量)与图像12的相应的图像像素(例如，P1和P2)中的这些值对应。在本文中被例示为MLA的图像扫描仪118的静态光学模块被配置成并且可操作用以接收来自图像生成器116(来自SLM)的多个光束并且将这些光束定向至与图像12中相应的像素(P1和P2)的位置以及其在视网膜上的指定投影位置相关联的相应的输出角(在上面称为图像投影角(例如，α_scn1和α_scn2))。为此，如在图2A和图2B的实施方式中，另外在图2C和图2D的实施方式中，眼睛投影光学器件130将光束(LB1和LB2)中的要入射在瞳孔上的每个光束以合适的瞳孔入射角(分别为光束LB1和LB2的α_in1和α_in2)转发至瞳孔的合适的位置(分别为图2C和图2D中的PL₀和PL₁)处。因此，在图2C和图2D的实施方式中，与不同的图像像素相关联的多个光束利用SLM同时被生成并且利用静态光学模块例如MLA朝着眼睛投影光学器件130被定向。

在图2C和图2D的配置中，注视跟踪光学模块130被配置成使得基于注视方向β以及独立于被投影在视网膜上的具体像素来确定注视跟踪可访问光学偏转器132A的操作和角偏转位置/状态。因此，在这样的实施方式中，多个像素可以同时被投影在视网膜上。应当理解，在其中像素相关光束未被同时投影到眼睛上的系统的光学配置中(例如在图2A和图2B的配置中)，这种需求不是必要的。在这种情况下，注视跟踪可访问光学偏转器132A的角偏转位置/状态可以基于在任何特定时刻的注视方向β和入射在注视跟踪可访问光学偏转器132A上的光束(例如，LB1)的具体像素(例如，具体投影角α_scn1)二者来确定。

因此，图2A至图2D中示出了根据本发明的实施方式被配置成将图像投影在眼睛视网膜上的眼睛投影系统100的光学配置和操作。眼睛投影系统包括产生可控强度的输入光束ILB的光模块114和图像生成器116以及被布置在输入光束的光路径中的光学系统OS。光学系统包括第一二维光学偏转器和第二二维光学偏转器。第一光学偏转器与图像扫描仪118相关联并且可以被实现为被配置成进行光束LB的图像/光栅扫描以将光束分割成时间部分的一个或更多个扫描偏转器/镜SM(例如，快速扫描镜)，或者实现为被配置成将光束分割成空间部分的MLA或MMA。图像扫描仪118被配置成使光的空间和/或时间部分朝着与不同的相应的图像像素相关联的不同的投影角偏转。作为可调整/可访问光学偏转器132A的第二光学偏转器与可以实现为用于跟踪在不同的注视状态下的瞳孔位置的可访问镜的注视跟踪偏转器模块132相关联。可调整/可访问光学偏转器132A可以利用任何合适的技术来实现，例如，其可以包括可被致动的电光偏转器和MEMS镜。应当注意，通常，注视跟踪偏转器模块132被配置成并且可操作用于补偿沿着注视方向β的二维偏移{β^Xβ^Y}。因此，可调整/可访问光学偏转器132A通常利用至少一个光学偏转器来实现，至少一个光学偏转器可以被致动并且可访问相对于光路径跨越特定二维固体角(例如，圆锥形固体角)的不同的角方向。可替选地或另外地，可调整/可访问光学偏转器132A可以利用相对于绕两个或更多个不同的横轴的光路径可旋转的两个或更多个镜来实现。

注视跟踪控制器120和图像投影控制器112可以由单个控制模块/单元或由两个或更多个控制单元来实现。如由本领域技术人员容易地理解的，控制器可以利用合适的模拟电路以模拟的形式实现，或者通过利用合适的处理器和存储器/存储模块执行合适的软/硬编码的计算机可读/可执行指令以数字的形式来实现，以便控制注视跟踪偏转器132A的操作和用于控制图像生成器116的操作以及还控制图像扫描仪118的操作，以便生成合适的强度的光束，并且根据图像数据将光束定向至合适的图像投影角。为此，控制器适于接收指示要被投影到眼睛视网膜上的图像12的数据以及指示眼睛的注视方向β的数据，并且通过执行以下中的方法200中的操作来将图像的像素投影到视网膜上的对应位置上，以便投影图像中的每个像素。

如上面所指示的，根据本发明的一些实施方式，眼睛投影系统100可以适于朝着瞳孔定向基本上准直的光束，使得眼睛将这些光束感知为从位于距眼睛无限远距离的图像平面发出。为此，在本发明的一些变体中，光模块114可以适于提供相干光并且可以例如包括用于生成输入光束ILB的一个或更多个激光器。

另外地或可替选地，系统100可以包括一个或更多个光束准直器BC，其可以包括沿着光束(例如，ILB和/或LB)的光路径布置的一个或更多个光学元件。例如，在图2A和图2B的实施方式中，光束准直器BC存在于输入光束ILB的光路径中。可替选地或另外地，在图2C和图2D的示例中，一个或更多个光束准直器BC被示出在从图像扫描仪118朝着注视偏转光学模块130传播的光束LB的光路径中。

根据本发明的一些实施方式，光束准直器适于控制入射在瞳孔上的光束LB的准直度。具体地，在某些实施方式中，光束准直器被配置成并且可操作用于准直光束LB，以使其在入射在瞳孔上时基本上被准直。因此，眼睛将入射在视网膜上的图像感知为从无限远距离的图像平面上发出。这使得能够实现图像在视网膜上的直接投影，而同时减轻对眼镜透镜的聚焦要求并且因此对与向眼睛投影被认为位于距眼睛有限远距离的图像相关联的眼睛疲劳和/或头痛提供缓解。

可替选地或另外地，光束准直器BC或系统100的其他光学模块可以被配置成并且可操作用于调整入射在瞳孔上的光束LB的宽度。在许多情况下，可以期望在瞳孔的位置处，光束宽度基本上窄于瞳孔直径。这为图像在视网膜上的投影提供了延长的视场深度(焦深)，从而提供了用于减少与眼镜透镜焦点相关联的眼睛疲劳的可替选或另外的方法。在本上下文中，应当理解的是，在被定向至瞳孔的光束未被准直的实施方式中，利用窄光束宽度以便延长图像在视网膜上的投影的视场深度的这种选项可以用于减少眼睛疲劳。

参照图3，图3是示出根据本发明的用于将图像投影在眼睛视网膜上的方法200的流程图。方法可以由根据本发明的实施方式被配置的眼睛投影系统100的一个或更多个控制器来实现。通常针对图像12中的像素{P_i}中的每个像素来执行操作210至250。根据图2A和图2B的其中图像像素按顺序被投影的配置，当在图像扫描模式下操作时，可以针对每个像素按顺序执行这些操作。可替选地或另外地，在例如图2C和图2D中的其中图像像素同时被投影到视网膜上的实施方式(例如，其中与不同的图像像素有关的光束的强度和空间/角分布由SLM和图像扫描仪118的适当地被配置的光学模块(MLA)同时管理的实施方式)中，针对全部像素或者针对多个像素可以同时执行这些操作。

在操作210中，从被配置成并且可操作用于确定眼睛的注视方向的注视跟踪模块获得指示眼睛的注视方向β的数据。

在操作220中，确定图像扫描仪118的投影角。在本上下文中，在图像扫描仪118包括被配置/致动用于执行图像/光栅扫描的扫描镜/偏转器的情况下，可以获得/确定瞬时投影角α_scn(例如，{α^X _scn，α^Y _scn})。可替选地，在图像扫描仪被配置成对输入光束ILB施加空间调制(对与不同的像素相关联的输入光束ILB的空间部分施加不同的强度/颜色调制)的情况下，获得作为从SLM的每个具体空间单元的输出角的投影角α_scn。

执行操作230，以确定经由相应的投影角α_scn被投影到视网膜上的图像像素Pi的强度以及还可能的颜色含量。为此，在232中，可以使用以上参照上述等式(1)、(3)和(4)讨论的图像映射例如S’或S。图像映射S’或S可以被实现为将每个投影角α_scn与输入图像12中的对应像素Pi或像素位置相关联的函数或查找数据表(LUT)。如以上参照等式(3)和(4)所指示，图像映射S’可用于部分地或整体地补偿注视方向β的改变。

在这样的情况下，图像映射S’可以将每个给定的注视方向β和给定的投影角α_scn与图像中的对应像素Pi相关联。如上面所指示的，在系统的某些实现中，不太期望利用图像映射S’来补偿不同的注视方向，这是因为可能需要向眼睛投影具有宽于瞳孔直径的光束，从而减小图像投影在视网膜上的可实现的视场深度。另外，在一些情况下，使用该技术可以被限制成对注视方向β仅进行部分补偿，这是因为将光束定向至眼睛的注视跟踪光学系统130需要支持传播至眼睛的光束的扩展的角范围(以覆盖眼睛可能需要的视线LOS的可以为大约Ω＝～60°的角范围)。一方面，这在一些系统上需要可能不可行的复杂光学器件，另一方面，这在使用SLM的实施方式中在不动的SLM方面可能是浪费的，或者在图像生成器116中使用MLA或扫描/转向镜中的任何一个的情况下，这在MLA或扫描/转向镜的角分辨率方面可能是浪费的。为此，在本发明的某些实施方式中，优选地是，使用注视跟踪光学模块130的注视跟踪可访问光学偏转器132A来整体地补偿总体注视方向角β或者通过补偿角β₁～β来补偿大多数注视方向，以及通过利用映射函数S’以通过补偿角(β-β₁)<<β对注视方向补偿以数字的方式进行精确调整。为此，由映射S’以数字的方式执行的精确调整补偿角在一些实施方式中被限于角β-β₁<<ω，其中ω表示当固定注视时眼睛的视场的固体角。这允许使用具有小于瞳孔直径的光束宽度的光束，从而使得实现在图像的视场深度扩展的情况下图像在视网膜上的投影。

因此，在232中，通过利用不引起补偿注视方向的常见图像映射函数/LUT S或者利用引起至少部分补偿注视方向的补偿图像映射函数/LUT S’来确定与给定投影角α_scn相关联的像素P_i。因此，在234中，根据图像数据12来确定/检索像素P_i的值。在寻求彩色图像投影的情况下，这可以仅包括像素的灰度级强度值和/或像素的颜色(例如，RGB)强度值。

操作240包括根据在230中确定的对应像素Pi的数据来调整输入光束ILB的或其相应部分的强度和/或颜色内容。在本上下文中，在例如图2A和图2B所示的实施方式中(其中，针对每个像素，全部输入光束通过图像扫描仪118的光栅或扫描镜被转向至合适的投影角α_scn)，可以通过利用输入光束ILB的输入光路径中的强度调制器IM来调整全部输入光束ILB的强度和/或全部输入光束ILB的相应颜色部分的强度。这在附图中的可选步骤242A中指示出。可替选地或另外地，在例如图2C和图2D所示的实施方式中(其中，SLM用于划分和单独控制输入光束ILB的不同空间部分的强度)，可以控制图像生成器的SLM的相应空间单元的与投影角α_scn对应的操作，以根据像素Pi的这些值来调整空间光束的强度和/或颜色内容。

在操作250中，根据注视方向β调整注视跟踪偏转器132的偏转角，以将与像素Pi相关联的光束定向成以与视网膜上的该像素的期望位置对应的瞳孔入射角α_in入射在瞳孔上。在本上下文中，在经由图像映射函数/LUT S’以数字的形式进行注视方向的部分补偿的情况下，可以调整注视跟踪偏转器132的偏转角，以仅对未被数字补偿的注视方向β的互补部分β₁进行补偿。

参照图4，图4示意性地示出了根据本发明的特定实施方式的图像投影系统/模块110的配置。如上面所指示的，光模块114可以包括具有不同的颜色的一个或更多个光源模块。在图4所示的实施方式中，使用可以为红色激光器、绿色激光器和蓝色激光器的三颜色光模块LR、LB和LG来提供RGB光。应当注意，此处，RGB光仅用作示例并且也可以使用与其他颜色库对应的光源/激光器来在视网膜上投影彩色的图像。

在图4中以自说明的方式示出的，使用包括合适的分束器合束器以及可能的光学器件的合束器光学器件COMP来对来自光模块的光束LR、LB和LG进行合并以便将来自光模块的光束LR、LB和LG定向成沿着公共总体传播轴GPP传播。一个或更多个分束器合束器COMP可以包括例如沿着从一个或更多个颜色光模块RL、BL和GL输出的颜色光束的光路径布置并且被配置成将这些光束组合成如组合光束LB那样传播的光谱/偏振分束器/合束器模块。通过图像生成模块116来控制组合光束LB的颜色内容。图像生成模块116可以例如包括针对每种颜色的单独的强度/功率调制器IM(和/或单独的SLM)。通常，至少一个强度/功率调制器IM(或SLM)与颜色光源/模块RL、BL和GL中的每个相关联。

图像生成模块116可以被配置成并且可操作用于(例如，通过可控地衰减从激光器输出的光束，或者通过控制激光器的操作)控制每个激光器的光束的强度，以便调整组合光束LB的颜色/光谱含量。

参照图5，图5示出了包括根据本发明的实施方式被配置并且可操作的眼睛投影系统100的眼镜500配置的自说明方式。在本实施方式中，眼睛投影系统100包括通常安装在眼镜500的把手/臂处的图像投影系统/模块110并且包括以上参照图2A至图2B和图4描述的那样类似地配置并且可操作的模块。

在本实施方式中，眼睛投影系统100还包括以上参照图2A至图2B描述和示出的那些类似的眼睛投影光学器件130。为此，除了在本实施方式中眼睛投影系统100的大多数光学元件可以安装在眼镜的框架和/或把手上之外，不再详细描述眼睛投影系统100的模块110和130的功能操作和配置，而光从其被投影到瞳孔的最终光学元件可以与眼镜透镜结合/集成在一起。为此，图像或视频图像序列可以直接被投影到眼睛上。

在特定实施方式中，图像投影系统包括与相应的光束准直器BC以及与将来自其的光进行组合以沿着公共光路径传播的合束器模块COMB相关联的三个光(即R、G和B)模块，以便朝着图像扫描仪(图1中的118)的扫描镜SM定向组合光束。光束转发模块134包括两个透镜134A和134B并且在这两个透镜之间的光路径中定位有注视跟踪光学模块130的注视跟踪可访问光学偏转器132A。在本示例中，视场选择器光学模块132B(在图2A至图2D中)由两个光学元件132B.1和132B.2来实现，132B.1为沿着光路径在注视跟踪可访问光学偏转器132A之后的透镜，以及132B.2为由眼镜的一个或更多个透镜实现的反射表面。

鉴于此，应当注意，根据本发明的一些实施方式，如此处所示的，在不利用眼睛前方(眼睛的视场中)的可移动/可调整光学模块/偏转器的情况下实现以合适的入射角将图像投影到瞳孔位置。这有助于装置的美学外观并且由于在眼睛的视场处没有移动/变化的元件还简化了用户的使用。具体地，在本示例中，注视跟踪可访问光学偏转器132A和图像扫描镜SM二者均被定位在眼镜框架的臂上。在框架/臂的边缘处使用折叠镜FM以将光束从系统100适当地投影到瞳孔上。

在本发明的某些实施方式中，眼镜500可以被配置成并且可操作用于向用户的双眼睛或一只眼睛投影纯的虚拟现实和/或增强的虚拟现实。在随后的情况下，眼镜透镜可以包括分束器合束器表面BSC，分束器合束器表面BSC适于朝着用户眼睛反射来自眼睛投影系统100的光并且朝着用户的眼睛传输来自外部场景的光。例如，在一些实施方式中，系统100的光模块114可以被配置成包括具有基本上窄光谱的一个或更多个窄光带(例如，窄RGB光谱带)的输入光束。反之，眼镜透镜的分束器合束器表面可以被配置为适于朝着用户的眼睛反射一个或更多个窄光谱带、并同时传输从外部场景到来并且在这些窄光谱带之外的光的陷波(notch)滤光器。可替选地或另外地，由系统110生成的光束/光束部分可以以特定偏振来偏振，并且分束器合束器表面可以被配置为适于朝着用户的眼睛反射所述特定偏振的偏振器。

应当注意，虽然在附图中仅描绘了一个眼睛投影系统100，但是这样的系统可以被固定在用于将图像单独地投影在每只眼睛上的眼镜上。在这样的情况下，可以使用公共控制器以便对系统中的图像投影模块110和眼睛投影光学器件130二者的操作。另外，系统可被操作成向用户的眼睛投影立体图像/视频以便产生3D图示。

另外，图5中示意性地示出了注视眼睛跟踪模块(图1中的20)，注视眼睛跟踪模块被配置成并且可操作用于确定眼睛注视的方向β并且提供指示其至系统100的数据。注视眼睛跟踪模块20通常可以根据现有技术中已知的任何合适的技术被配置并且可操作。

在本示例中，注视跟踪模块包括：红外(IR)光发射器21，该红外光发射器21安装在眼镜桥上并且适于向眼睛定向IR光束IRB；以及眼睛跟踪传感器22，该眼睛跟踪传感器22为IR传感器并且位于眼镜框架/臂上并且适于检测来自眼睛(例如，来自眼睛的瞳孔和/或虹膜和/或视网膜)的IR光束IRB的反射。控制器(未示出)适于处理反射的IR光束的图案以便确定眼睛的注视方向。

因此，本发明提供了用于向眼睛视网膜定向图像/视频序列的投影的新颖系统和方法。可以例如使用角向光束转发模块来以与相应的图像像素的位置对应的相应的瞳孔入射角来实现直接投影，角向光束转发模块被配置成并且可操作用于定向与像素有关并且与图像的相应的像素相关联的光束部分。因此，根据本发明使用的角向光束转发模块在不形成眼睛外部有限远距离处的中间图像平面的情况下将图像直接投影到眼睛视网膜上。在一些情况下，光束部分在入射在瞳孔上时被准直。因此，投影到视网膜上的图像被眼睛感知为从无限远距离处的图像平面发出。可替选地或另外地，图像可以通过具有窄于瞳孔直径的宽度的光束的光束部分被投影到眼睛。这提供了图像在视网膜上投影的延长的焦深。本发明的下述特征提供了减少以及可能整体上消除经由位于距眼睛有限距离处的中间图像平面向眼睛直接投影图像相关联的眼睛迷糊或疲劳，所述特征与从无限远距离的中间图像平面投影图像的接收以及图像在视网膜上投影的延长的视场深度有关。另外地，本发明的以上优点还可以在跟踪眼睛/瞳孔的注视方向和补偿注视方向的改变的同时被实现，以便在眼睛的注视方向可能变化的同时将图像投影在视网膜的固定位置上。如上面所指示的，这可以利用注视偏转光学模块来实现，注视偏转光学模块根据本发明被配置成根据眼睛的注视方向可调整为将像素相关光束部分以相对于不同的注视方向上的瞳孔/眼睛视线的适当的瞳孔入射角、朝着瞳孔的位置定向。

发明构思

本发明提供了以下发明构思：

1.一种眼睛投影系统，包括：图像生成器和眼睛投影光学模块，其中：

所述图像生成器适于：获得指示图像的数据；产生与所述图像的像素对应的多个光束部分；根据与所述多个光束部分中的每个光束部分对应的所述图像的像素的值来调整所述光束部分的强度；以及将所述光束部分定向成以相对于总体光传播路径的投影角α_scn沿着所述总体光传播路径朝着所述眼睛投影光学模块传播，其中投影角α_scn根据所述图像中相应的所述像素的位置来确定；并且

所述眼睛投影光学模块包括注视跟踪偏转器，所述注视跟踪偏转器被配置成并且能够被操作用以响应于指示用户眼睛的注视方向β的输入信号以便根据所述注视方向β使所述多个光束部分的所述总体光传播路径朝着所述用户眼睛的瞳孔偏转；并且其中，所述总体光传播路径被偏转成使得所述多个光束部分以相对于与所述注视方向β相关联的所述瞳孔的视线的、与所述投影角α_scn对应的瞳孔入射角α_in入射在所述瞳孔上，由此将所述图像直接投影到所述眼睛的视网膜上、所述视网膜上的基本上固定的位置处，而无论所述眼睛的所述注视方向β如何。

2.根据发明构思1所述的眼睛投影系统，包括一个或更多个光束准直器，所述一个或更多个光束准直器适于实现所述多个光束部分的准直，使得所述多个光束部分在基本上准直的情况下入射在所述瞳孔上，由此使得能够实现所述图像在所述视网膜上的直接投影。

3.根据发明构思2所述的眼睛投影系统，其中，所述图像在所述视网膜上的所述直接投影的特征在于所述图像被所述眼睛感知为从距所述眼睛无限远的距离发出。

4.根据发明构思1至3中的任一项所述的眼睛投影系统，包括一个或更多个光学模块，所述一个或更多个光学模块适于将所述多个光束部分的宽度实现为使得所述宽度小于所述瞳孔的直径，由此使得能够实现所述图像以延长的焦深在所述视网膜上的投影。

5.根据前述发明构思中的任一项所述的眼睛投影系统，其中，所述注视跟踪偏转器包括：可访问光学偏转单元，所述可访问光学偏转单元沿着所述总体光传播路径被定位；以及视场选择器光学模块，所述视场选择器光学模块被定位在关于通过所述系统的光传播方向在所述可访问光学偏转单元的下游的所述光路径中。

6.根据发明构思5所述的眼睛投影系统，其中，所述可访问光学偏转单元响应于指示所述注视方向β的所述输入信号并且能够被操作用于调整其偏转角以使入射在其上的光束偏转成沿着与所述注视方向β对应的相应光路径传播；并且所述视场选择器光学模块被配置成并且能够被操作用以接收沿着与不同的注视方向β对应的各个相应光路径传播的光束并且将所述光束朝着分别与所述不同的注视方向β相关联的所述瞳孔的对应位置定向。

7.根据发明构思6所述的眼睛投影系统，其中，所述视场选择器光学模块包括非球形光学器件。

8.根据发明构思7所述的眼睛投影系统，其中，所述视场选择器光学模块包括离轴抛物形偏转器。

9.根据发明构思1至8中的任一项所述的眼睛投影系统，其中，所述眼睛投影光学模块还包括角向光束转发模块，所述角向光束转发模块被配置成并且能够被操作用于从所述图像生成器接收以各个投影角α_scn传播的每个光束部分、并且以对应的瞳孔入射角α_in转发要被投影到所述瞳孔上的所述多个光束部分。

10.根据发明构思9所述的眼睛投影系统，其中，所述角向光束转发模块包括分别与第一焦长和第二焦长相关联的第一光学模块和第二光学模块，所述第一光学模块与所述第二光学模块沿着所述总体光传播路径彼此间隔开基本上等于所述第一焦长与所述第二焦长之和的光学距离。

11.根据发明构思10所述的眼睛投影系统，其中，所述可访问光学偏转单元被定位在所述角向光束转发模块的所述第一光学模块和所述第二光学模块之间的所述光路径中。

12.根据发明构思10至11中的任一项所述的眼睛投影系统，其中，所述视场选择器光学模块和所述角向光束转发模块的所述第二光学模块集成在公共光学元件中。

13.根据前述发明构思中的任一项所述的眼睛投影系统，其中，所述投影角α_scn与所述瞳孔入射角α_in之间的对应关系使得所述瞳孔入射角α_in是所述投影角α_scn的单调函数。

14.根据前述发明构思中的任一项所述的眼睛投影系统，其中，所述图像生成器包括：

提供输入光束的光模块；

图像扫描仪，所述图像扫描仪被定位在所述输入光束的光路径中并且适于将所述输入光束分裂成一个或更多个光束部分并且将所述一个或更多个光束部分定向成以相对于所述总体光传播路径的所述投影角α_scn传播；

光强度调制器，所述光强度调制器被定位在所述输入光束和所述一个或更多个光束部分中的至少一者的光路径中并且适于可控地调整一个或更多个光束部分的强度；以及

投影控制器，所述投影控制器能够连接到所述光强度调制器模块并且被配置成并且能够被操作用以：获得指示要被投影到所述视网膜上的图像像素的图像数据并且操作所述光强度调制器模块以便根据分别与所述光束部分对应的所述图像的像素的值来调整所述光束部分的强度。

15.根据发明构思14所述的眼睛投影系统，其中，所述投影控制器能够连接到所述图像扫描仪并且能够被操作用以将所述光束部分定向成以相对于所述总体光传播路径的所述投影角α_scn传播。

16.根据发明构思14或15所述的眼睛投影系统，其中，所述光强度调制器包括空间光调制器，所述空间光调制器被配置成并且能够被操作用于将所述输入光束分裂成沿着不同的相应光路径传播的所述多个光束部分，并且所述图像扫描仪包括静态光学模块，所述静态光学模块被配置成使所述多个光束部分朝着不同的投影角α_scn偏转。

17.根据发明构思14至16所述的眼睛投影系统，其中，所述光强度调制器适于调制所述输入光束的强度，并且所述图像扫描仪包括扫描镜，所述扫描镜将所述输入光束分裂成所述多个光束部分为其时间部分、并且将所述多个光束部分定向成朝着不同的角α_scn传播。

18.根据发明构思14至17所述的眼睛投影系统，其中，所述图像扫描仪包括至少一个扫描光学偏转器，所述至少一个扫描光学偏转器适于接收输入光束并且将所述输入光束分裂成所述多个光束部分、并且将所述多个光束部分定向成以所述投影角α_scn朝着所述眼睛投影光学模块传播。

19.根据发明构思18所述的眼睛投影系统，其中，所述至少一个扫描光学偏转器是第一可调整光学偏转器，并且所述注视跟踪偏转器是第二可调整光学偏转器；并且其中，所述第一可调整光学偏转器和所述第二可调整光学偏转器被致动以控制所述多个光束部分的传播的两个或更多个自由度，以将所述多个光束部分定向成以不同的注视方向β、以相对于所述不同的注视方向β上的眼睛的视线的期望瞳孔入射角α_in入射在瞳孔位置上，并且同时将所述瞳孔入射角α_in调整为对应于分别与所述多个光束部分相关联的图像的相应像素。

20.根据发明构思19所述的眼睛投影系统，其中，所述第二可调整光学偏转器被配置成并且能够被操作用于：控制朝着所述瞳孔传播的所述多个光束部分与限定了当所述用户的眼睛以不同的方向注视时所述瞳孔的可能位置的虚拟表面的基本上球形的部分的相交位置。

21.根据发明构思19或20所述的眼睛投影系统，其中，所述第一可调整光学偏转器被配置成并且能够被操作用于控制所述多个光束部分与限定了所述瞳孔的可能位置的所述虚拟表面的基本上球形的部分的相交角。

22.根据发明构思2至21中的任一项所述的眼睛投影系统，其中，所述一个或更多个光束准直器适于控制入射在所述瞳孔上的所述光束部分的准直度。

23.根据发明构思22所述的眼睛投影系统，其中，所述一个或更多个光束准直器被配置成使得所述光束部分当入射在所述瞳孔上时基本上被准直。

24.根据发明构思22或23所述的眼睛投影系统，其中，所述一个或更多个光束准直器被配置成使得当所述光束部分入射在所述瞳孔上时所述光束部分的宽度基本上窄于所述瞳孔的直径。

25.一种包括根据前述发明构思中的任一项所述的眼睛投影系统的眼镜。

26.根据发明构思25所述的眼镜，被配置成向眼睛投影增强的虚拟现实，所述眼镜的透镜包括分束器/合束器表面，所述分束器/合束器表面适于朝着所述用户的眼睛反射来自所述眼睛投影系统的光并且朝着所述用户的眼睛传输来自场景的外部光。

27.根据发明构思26所述的眼镜，其中，由光模块生成的输入光束包括一个或更多个光谱带，并且所述分束器/合束器表面被配置为适于朝着所述用户的眼睛反射所述一个或更多个光谱带的陷波滤光器。

28.根据发明构思26或27所述的眼镜，其中，由所述光模块生成的输入光束以特定偏振来偏振，并且所述分束器/合束器表面被配置为适于朝着所述用户的眼睛反射所述特定偏振的偏振器。

29.根据发明构思25所述的眼镜，被配置成投影纯的虚拟现实。

30.一种用于将图像投影在用户的眼睛的视网膜上的眼睛投影系统，所述眼睛投影系统包括：

用于产生可控强度的输入光束的光模块；

被布置在所述输入光束的光路径中的光学系统，所述光学系统包括第一可调整二维光学偏转器和第二可调整二维光学偏转器；以及

控制器，所述控制器适于接收指示要被投影到所述用户的眼睛的视网膜上的图像的数据以及指示所述眼睛的注视方向β的数据、并且将所述图像的像素投影到所述视网膜上的对应位置上，其中，所述投影包括执行以下操作以便投影所述图像的每个像素：

操作所述光模块，以产生具有与所述图像中的所述像素的强度值对应的强度的输入光束；

通过如下方式来操作所述第一二维光学偏转器和所述第二二维光学偏转器中的至少一个二维光学偏转器：调整所述至少一个二维光学偏转器的偏转角，以将所述输入光束根据所述注视方向β定向成入射在所述用户的眼睛的瞳孔上；以及

通过如下方式来操作所述第一二维光学偏转器和所述第二二维光学偏转器中的至少一个二维光学偏转器：调整所述至少一个二维光学偏转器的偏转角，以将所述光束定向成以与所述图像中的所述像素的位置对应的瞳孔入射角α_in入射在所述瞳孔上，以由此使得能够由眼镜透镜将与所述像素相关联的所述光束的一部分聚焦在与所述图像中的所述像素的所述位置对应的所述视网膜上的位置上。

Claims

1.一种眼睛投影系统，包括：

-图像投影系统，所述图像投影系统适于获得图像数据并且产生包括与所述图像数据的像素对应的多个光束部分的图像投影；

-眼睛投影光学模块，所述眼睛投影光学模块适于将所述图像投影的所述多个光束部分朝着用户的眼睛定向；以及

-注视跟踪控制器，所述注视跟踪控制器被配置成并且能够被操作用于根据指示所述眼睛的注视方向的数据来控制将所述图像投影的所述多个光束部分定向的所述图像投影系统的图像扫描仪和所述眼睛投影光学模块的注视跟踪偏转器中的至少一者的操作，以便根据所述注视方向将投影图像的所述多个光束部分定向到所述眼睛的视网膜上，以由此补偿所述注视方向的改变，

其中，所述眼睛投影系统被配置成并且能够被操作成不补偿与小的扫视和震颤眼睛移动中的至少一者相关联的所述注视方向的改变，从而使得：在任何注视方向上，除了由小的扫视和震颤眼睛移动中的所述至少一者引起的所述投影图像在所述视网膜上的小移动之外，所述投影图像在所述视网膜上稳定且固定地显现。

2.根据权利要求1所述的眼睛投影系统，还包括一个或更多个光束准直器，所述一个或更多个光束准直器适于实现所述多个光束部分的准直，使得所述多个光束部分在基本上准直的情况下入射在所述瞳孔上，由此使得能够实现所述图像在所述视网膜上的直接投影，从而所述图像被感知为从距所述眼睛无限远的距离发出。

3.根据权利要求1所述的眼睛投影系统，被配置成使得所述图像投影的所述多个光束部分以比眼睛的瞳孔的直径窄的窄光束宽度来定向至所述眼睛，由此增大所述投影图像在所述视网膜上的焦深。

4.根据权利要求3所述的眼睛投影系统，还包括适于实现所述多个光束部分的宽度以获得所述窄光束宽度的一个或更多个光学模块。

5.根据权利要求1至4中的任一项所述的眼睛投影系统，其中，所述眼睛投影光学模块包括所述注视跟踪偏转器；所述注视跟踪偏转器包括：沿着所述眼睛投影系统的总体光传播路径定位的可访问光学偏转单元；以及关于通过所述眼睛投影系统的光传播方向位于所述可访问光学偏转单元的下游的视场选择器光学模块。

6.根据权利要求5所述的眼睛投影系统，其中，所述可访问光学偏转单元与所述注视跟踪控制器相关联并且响应于指示从所述注视跟踪控制器获得的所述注视方向的信号，并且能够被操作用于调整其偏转角以使入射在其上的光束偏转成沿着与所述注视方向对应的相应光路径传播；并且所述视场选择器光学模块被配置成并且能够被操作用以接收沿着与不同的注视方向对应的各个相应光路径传播的光束并且将所述光束朝着分别与所述不同的注视方向相关联的所述瞳孔的对应位置定向；并且其中，所述注视跟踪控制器适于不补偿与小的扫视和震颤眼睛移动中的至少一者相关联的所述注视方向的改变。

7.根据权利要求6所述的眼睛投影系统，其中，所述视场选择器光学模块包括非球形光学器件。

8.根据权利要求6所述的眼睛投影系统，其中，所述注视方向的改变与所述瞳孔的改变了的位置相关联，并且所述视场选择器光学模块被配置成使得当可访问光学偏转单元的偏转角根据所述注视方向的改变而被调整时，所述多个光束部分朝着所述瞳孔的改变了的位置定向。

9.根据权利要求1至4中的任一项所述的眼睛投影系统，其中，所述眼睛投影光学模块包括所述注视跟踪偏转器和角向光束转发模块；并且其中，所述注视跟踪偏转器包括可访问光学偏转单元。

10.根据权利要求9所述的眼睛投影系统，其中，所述角向光束转发模块包括分别与第一焦长和第二焦长相关联的第一光学模块和第二光学模块；所述第一光学模块和所述第二光学模块沿着所述眼睛投影系统的总体光传播路径彼此间隔开基本上等于所述第一焦长与所述第二焦长之和的光学距离。

11.根据权利要求10所述的眼睛投影系统，其中，所述可访问光学偏转单元沿着所述总体光传播路径位于所述角向光束转发模块的所述第一光学模块和所述第二光学模块之间。

12.根据权利要求1至9中的任一项所述的眼睛投影系统，其中，所述图像投影系统被配置用于将所述多个光束部分中的每个光束部分以与其在所述图像数据中的对应像素的二维位置{P_x,P_y}对应的相应投影角α_scn＝{α^x _scn,α^y _scn}＝S({P_x,P_y})投影，其中S是图像扫描函数。

13.根据权利要求1至4中的任一项所述的眼睛投影系统，被配置成通过执行以下操作中的一个或更多个来将所述多个光束部分中的每个光束部分定向、以对应的瞳孔入射角α_in入射在所述瞳孔上并且获得所述对应的瞳孔入射角α_in相对于所述注视方向的不变性：

(a)利用根据注视方向β可调谐的经修改的光学函数F’_opt(α_scn,β)＝F_opt(α_scn)+β对所述眼睛投影光学模块的操作；其中，β≡{β_x,β_y}是所述眼睛的排除了与小的扫视和震颤移动中的所述至少一者相关联的所述注视方向的改变的注视方向，F_opt是单调光学函数，并且α_scn是光束部分的相应投影角；

(b)所述图像投影系统利用经修改的图像扫描函数S’来确定与所述图像数据中的对应像素的二维位置{P_x,P_y}对应的图像像素的相应投影角α_scn，使得α_scn＝S’({P_x,P_y},β)，从而所述经修改的图像扫描函数S’满足F_opt(S’({P_x,P_y},β))＝F_opt(S({P_x,P_y}))+β；或者

(c)利用用于由所述注视跟踪偏转器补偿注视方向角β的一部分β₁的所述经修改的光学函数F’_opt(α_scn,β₁)对所述眼睛投影光学模块的操作；并且所述图像投影系统利用经修改的图像扫描函数S’({P_x,P_y},β-β₁)来确定所述图像像素的相应投影角α_scn，使得α_scn＝S’({P_x,P_y}},β-β₁)，由此补偿所述注视方向的(β-β₁)部分。

14.根据权利要求1至4中的任一项所述的眼睛投影系统，其中，所述图像投影系统包括：

-光模块，所述光模块提供被定向成沿着总体光传播路径传播的输入光束；

-图像扫描仪，所述图像扫描仪位于所述输入光束的光路径中并且适于将所述输入光束分裂成所述多个光束部分并且将所述多个光束部分定向成以相对于所述总体光传播路径的相应投影角α_scn传播；

-光强度调制器，所述光强度调制器位于所述输入光束和所述多个光束部分中的至少一者的光路径中并且适于可控地调整所述多个光束部分的强度；以及

-投影控制器，所述投影控制器能够连接至所述光强度调制器模块，并且被配置成并且能够被操作用以获得所述图像数据并且操作所述光强度调制器模块以便根据分别与所述多个光束部分对应的所述图像的像素的值来调整所述光束部分的强度。

15.一种眼睛投影方法，包括：

获得图像数据并且产生包括与所述图像数据的像素对应的多个光束部分的图像投影；以及

将所述图像投影的所述多个光束部分朝着用户的眼睛定向；

其中，所述定向包括：补偿所述眼睛的注视方向的改变，以根据所述注视方向将投影图像的所述多个光束部分定向到所述眼睛的视网膜上；并且

其中，对所述注视方向的改变的所述补偿不包括对与小的扫视和震颤眼睛移动中的至少一者相关联的眼睛的所述注视方向的改变的补偿；

由此使得：在任何注视方向上，除了由小的扫视和震颤眼睛移动中的所述至少一者引起的所述投影图像在所述视网膜上的小移动之外，所述投影图像在所述视网膜上稳定且固定地显现。

16.根据权利要求15所述的眼睛投影方法，还包括：对所述多个光束部分的准直，使得所述多个光束部分在基本上准直的情况下入射在所述眼睛的瞳孔上。

17.根据权利要求15所述的眼睛投影方法，还包括：调整所述多个光束部分的光束宽度，使得所述多个光束部分以比眼睛的瞳孔的直径窄的窄光束宽度来定向至所述眼睛。

18.根据权利要求15至17中的任一项所述的眼睛投影方法，其中，所述注视方向的改变与所述瞳孔的改变了的位置相关联，并且其中，所述补偿还包括将所述多个光束部分朝着所述瞳孔的在所述注视方向上改变了的位置定向。