CN104094162A - 动态控制沉浸或抬头显示操作的宽视场3d立体视觉平台 - Google Patents

Abstract

本发明的实施例一般涉及3D立体视觉护目镜或其它平台，其能够用于强化用于外科手术应用、用于黄斑变性患者或用于娱乐或商业应用的视觉系统。本发明采集从视频输入源接收到的图像，并且分割这些图像和投射这些图像离开由椭球的一部分定义的反射镜并直接落在用户的眼睛的视网膜上。本发明允许用户以增大的视场、提升的图像质量、增强的舒适感、降低的成本以及其它益处享受3D立体视觉。

Description

动态控制沉浸或抬头显示操作的宽视场3D立体视觉平台

技术领域

本发明一般地涉及3D立体视觉护目镜(goggles)或其它平台，其能够用于强化与内窥镜手术、机器人辅助手术、开放手术和外科显微镜一起使用的视觉系统；用作对具有诸如黄斑变性之类的系统性疾病的患者的视觉辅助用具；以及用于期望3D立体视觉显示的商业和娱乐应用。

背景技术

如今，外科医生在治疗其病人时具有多种类型的视觉强化工具可供选择。目前所使用的主要的视觉工具为：与机器人辅助系统一起使用的远程3D视觉、与开放手术一起使用的眼环(eye loop)、内窥相机、以及与外科显微镜一起使用的2D或3D相机。所有这些视觉工具都已经被构建为主要通过放大来提高外科医生的视力。

在一个示例中，机器人辅助手术使用四臂机器人系统来夹持内窥镜工具。外科医生通过坐在远程控制台处进行外科手术，他在远程控制台处控制夹持内窥镜工具和相机的机器人臂。机器人辅助系统使用3D内窥镜相机，其中相机图像被显示在两个高分辨率、高清晰度的平面屏幕显示器上。外科医生通过两个广角镜头查看两个显示器。外科医生能够以深度知觉(depth perception)和合理的分辨率但是相当窄的视场看到操作。此外，为了使得立体图像完全显示，外科医生必须使他的头呆在特定位置并且保持不动。

在开放手术中，通常使用称作眼环的放大镜。放大倍率良好并且分辨率也很好，但是视场较窄而且头部移动和放大倍率之间呈比例关系。

在内窥镜手术中，内窥镜允许外科医生通过切一小口并且用一只手插入用于进行手术的多个细长工具，然后用另一只手插入在末端带有微型相机的细长工具并且握住它来给患者做手术。外科医生通过在平板显示器上观看手术来协调这些工具的运动。内窥镜检查要求外科医生一般在2D的平面屏幕监视器处进行查看并且通常不再最佳位置处。例如，监视器被放置在一侧，这样一来外科医生在做手术时头要转到该侧。这与在进行常规开放手术时向下看向自己的手相比是不自然的。

已经开发了专业的立体显微镜允许使用具有深度知觉的高度放大图像来执行外科手术的过程，但是就像机器人辅助立体显示一样，外科医生必须使他的头固定地注视显微镜的目镜。

尽管已经开发了这些工具来延伸外科医生的肉眼，但所有这些系统中仍然存在一些常见的问题。所有四种视觉工具在通常用于表征和比较外科手术视觉系统的视觉参数的若干视觉参数中的一个(有时是两个)上具有出色的评级：比如，敏锐度、放大倍率、视场、深度知觉、聚焦(手动或自动)、对比度、成本、工效学。例如，与显微镜一起使用的立体3D视觉系统放大物体并且提供良好的深度和敏锐度，但是视场非常窄、初始系统是昂贵的、并且工效学较差。工效学参数与你的身体位置自然或不自然的程度相关，并且一般是舒适度的量度。能够扩展一个或多个视觉参数同时把余下的参数维持在与肉眼相当的程度的、用于新设备的架构已经被证明是难以实现的。医疗视觉系统需要新的架构来优化所有视觉参数。

虽然下面的描述关注本发明在医疗外科手术中的应用，但将其用作对于视网膜退化或具有其它视觉缺陷的人的视觉辅助同样是有效的。例如，护目镜或本文所述的本发明的其它实施例能够由具有黄斑变性的患者使用。本发明还能够用于下面所讨论的商业和娱乐用途。

发明内容

本发明是新型3D立体视觉护目镜或其它平台。护目镜的优选实施例的特征包括：针对每只眼睛具有120度视场和在左眼和右眼之间具有60度双眼重叠的全水平显示器；在护目镜的每侧的内侧上的部分反光椭球部，该反光椭球部将图像直接放置在每只眼睛的视网膜的后方；以及基于实时眼睛跟踪和对眼睛注视的控制为佩戴者创建高分辨率3D图像的聚散度聚焦。本发明的实施例还包括另外的部件和方法，比如，视觉系统自动对齐到佩戴者的眼睛、沉浸式或穿透式操作的动态控制、三轴头部定位传感器和以编程方式调整显示以适应佩戴者的护眼处方(包括但不限于：放大倍率和散光)的能力。本发明还能够随视觉系统一起用于商业和娱乐应用。使用来自若干工程领域的技术校正几何像差和畸变，这些工程领域包括：光学、控制理论、电子学、机械工程和软件工程。

附图说明

为了能够更好地理解本发明，下面的章节提供(仅作为示例)后面将描述和提及的本发明的不同实施例。

图1是视觉平台的一个实施例内的针对每只眼睛的图像路径的框图。

图2是整个视觉系统平台的一个实施例的主要硬件组件的框图。

图3是作为显示控制器的处理器的框图。

图4是护目镜的一个实施例的俯视图。

图5图示了本文所述的护目镜的大致对齐情况以及椭球部分如何被选择并用于护目镜设计。

图6(a)是示出了护目镜的一个实施例的侧视图的图解。

图6(b)示出了如何相对于椭球镜安装护目镜的外侧透镜。

图6(c)是护目镜的一个实施例的正视图。

图7是示出了如何使用映射算法对针对一只眼睛的显示缓冲器中的图像进行预畸变。

图8a图示了具有两个被示作黑色圆点的焦点的三维椭球的一个实施例，该椭球的一部分用于设计护目镜或本发明的其它实施例。

图8b图示了按本发明所使用的相同的情形并排放置的两个图8a中的椭球部分。

图9图示了被看做从内部反射椭球的一个焦点发出通过光学组件并且通过位于佩戴者眼中的另一焦点的光线的光。

图10示出了图9中所示的光学子组件的内部构造、OLED、透镜和反射镜。

图11是示出了被分割为六个较小帧的大视场图像以及用于将六个帧反射到它们的指定位置的六角反射镜的后视图的图解。

图12是用于以特定更新速率同步伺服控制的六角反射镜的图像的时序图解。

图13示出了当图像从图11中所示的六角反射镜投射远离(off)椭球反射镜时，图11中所示的程式化图像及其六个分割帧将如何呈现。

图14是用于校正和更新查找表的护目镜制造装备的俯视图。

图15是示出了人眼的敏锐度相对于视场的图表。

图16是附接到双轴万向节(gimbal)系统的宽视场、高分辨率相机。

图17a是用于高分辨率窄视场相机的中性密度滤光片。

图17b是用于低分辨率宽视场相机的中性密度滤光片。

图18是带有相机模块的护目镜的正视图。

图19a是对来自高分辨率宽视场的输出图像的仿真。

图19b是图19a的仿真图像的放大图像。

具体实施方式

呈现于本章节中的本发明的实施例由具有外部图像处理的视觉系统和使得佩戴者能够直接在他们的眼睛的视网膜上接收3D立体图像的显示电子封装组成。本文所描述的发明能够应用于其它显示技术(比如，电影显示和用于商业应用的显示)，并且向佩戴者提供本文所描述的本发明的益处。

本发明将来自多个工程学科(比如，系统设计、光学设计、电气设计、机械设计、控制理论以及软件)的方法应用于具有高分辨率、改进的敏锐度、宽视场、优越的深度知觉和基于聚散度(vergence)控制的聚焦等主要特征的护目镜视觉系统。

本发明的一个实施例看似一对滑雪护目镜。有机发光二极管(OLED)阵列用于生成图像，该图像被投射穿过一系列透镜，反射远离旋转多面反射镜并且反射远离反射镜。图像然后反射远离最终反射镜，该反射镜具有椭球的一部分的形状。图像被生成为看起来像是从椭球的两个焦点之一发出的，然后椭球的扇形方向使得另一焦点在护目镜的佩戴者的眼睛的旋转中心处。图像反射远离椭球部分使得图像置于佩戴者的视网膜上。

图1中示出了完整的视觉系统平台的实施例内的图像路径的框图。能够使用多种类型的相机，比如，标准2D相机1504、医疗内窥镜1505、3D相机1503和被称作“聚散度控制的高分辨率相机”1502的新型相机。比如，如果系统用于3D计算机仿真或用于娱乐，则还能够使用计算机生成的图像1501。下面描述聚散度控制的相机的细节。

在操作中，每只眼睛一次将仅使用输入1501-1505中的一个。

来自相机或其它输入的图像数据最初流入显示控制器的缓冲器1507。每个缓冲器和“预畸变(pre-distort)”缓冲器1507b和1507d的存储器大小足够大以包含整个图像的所有像素以及针对每个像素的元数据。缓冲器被分段成相等的多个部分，每段具有的存储器大小等于OLED阵列1315中的像素的数目。段的数目等于多面镜1511上的面的数目。数据从缓冲器1507a和1507b被映射到“预畸变”缓冲器1507c和1507d。映射将由光学路径引起的畸变以及佩戴者的护眼处方(eye prescription)考虑在内，如图7中进一步描述的。显示控制器将来自“预畸变”缓冲器的数据分段地发送到护目镜。来自传感器1517和眼睛跟踪1516的另外的输入能够修改数据被映射到预畸变缓冲器中的方式。预畸变缓冲器持续地更新护目镜通信接口1508。一些实施例能够具有不止一个要更新的护目镜，比如，应用于外科手术的解决方案。在大部分外科手术过程中，有多位外科医生出席，或者可能有医学学生出席。专用模块1506提供了多个附接端口，从而若干护目镜能够与主外科医生看到相同的图像。

由护目镜1508接收到的显示数据被使用直接存储器存取(DMA)移动到有机发光二极管(OLED)阵列1509。由OLED形成的图像穿过透镜封装1510中的一组透镜。透镜封装的输出反射离开翻折反射镜然后反射离开伺服控制的多面镜1511。离开多面镜的图像反射离开椭球镜1512的特定扇区，椭球镜1512的焦点之一位于佩戴者的眼睛的旋转中心处。图像穿过佩戴者的瞳孔和晶状体，然后成像在佩戴者的视网膜1513上。

使用多面镜是显示图像的一种方式。使用同一序列对所有段进行重复更新被称作光栅扫描。作为旋转多面镜或光栅扫描的替代方案，系统还能够使用矢量扫描。矢量扫描允许任何段以任何顺序被更新。实现方式通常是两个独立的反射镜和两个电动机。由于每个反射镜都附接到其自己的电动机，每个反射镜能够以任何角度放置。这允许这些段以任何顺序被显示。尽管只有两种更新分割图像的方式(即，光栅扫描和矢量扫描)，但是有多种方式创建这些构成聚合图像的段。

本发明的一个实施例使用OLED作为用于生成小块图像(被称为段)的光发射设备。存在其它能够用于生成分割图像的技术。它们包括液晶显示器(LCD)、光发射二极管(LED)和激光扫描。后者能够使用光栅扫描和/或矢量扫描。

另外的特征包括但不限于：对镜头放大的动态控制1515和对驱动多面镜的电动机的速度控制1514。速度必须锁定在60赫兹速率。60赫兹频率使用反馈控制理论在频率和相位上被锁定。当垂直脉冲频率变化时，整个帧上下移位，使得佩戴者迷失方向。

在整个眼睛移动包络内进行实时眼睛跟踪1516是用于支持聚散度控制和聚散度聚焦的基本功能。眼睛进行大角度移动被称为眼跳运动(saccadic motion)。这种运动使得眼睛最大能达到500度/秒的速度和2000度/秒²的加速度。需要具有200赫兹或更高采样率的快速采样率相机以充分的跟踪眼睛的位置。

一些实施例要求无法在显示控制器中获得的特殊处理，比如，用于放大外科医生所看到的手术区的外科手术眼用小型放大器。这种实施例要求来自护目镜的加速计的传感器数据输入和来自立体3D相机的图像处理。单独的专用模块1506用于支持该实施例的要求。

图2中示出了视觉平台的一个实施例的硬件部件的框图。主要部件是护目镜1203和作为显示控制器的处理器1206。线缆组件1204连接护目镜和显示控制器。

线缆组件1204包括用于电源和接地的两股铜线和四股光纤光缆。光链路用于向护目镜发送图像，护目镜然后将图像呈现在左眼和右眼的视网膜上。而且，针对相机模块1201的左相机图像和右相机图像随着其它数据(比如，诊断数据、代码调试和误差代码)一起被从相机模块发送到显示控制器。

护目镜1203包括左眼投射模块1202、右眼投射模块1211和相机模块1201，这些模块可以安装到护目镜上或不安装到护目镜上。每个投射模块包括独立自足的一组光学、电气和机械零件。每个投射模块具有对齐到佩戴者眼睛的功能。

显示控制器1206能够以多种配置运作。例如，对于有诸如黄斑变性之类的视网膜疾病的患者，显示控制器是移动的并且靠电池组运行。控制器足够小以使得患者能够将其佩戴在他们的臀部上或者能够被附接到护目镜本身。另一配置用于支持外科手术。用于外科手术应用的显示控制器配置包含图像处理电子设备、软件和显示电子设备。

图3中示出了显示控制器1206的详细框图。显示控制器具有五个外部接口。

a.护目镜电气和光学连接器1401。

b.远程相机电气和光学连接器1410。其用于连接到视频输入。

c.外部电气和光学连接器1409。其由第三方公司用于将视觉平台集成到他们的产品。

d.以太网端口408，其用于软件开发和诊断。

e.供电模块接口1407，其支持两种类型的供电模块，一种为AC，另一种为电池供电。

协调外部模块和内部模块之间的通信是由通信系统1406完成的。显示缓冲器1403和1405接收来自外部视频输入的数据。显示缓冲器1403和1405中的每个显示缓冲器都包含两个内部缓冲器，如图1的1507中进一步示出的。第一内部缓冲器接收进入相机数据，第二内部缓冲器从第一缓冲器中取出数据并对数据进行预畸变。预畸变校正梯形失真(Keystoning)、由曲面镜引起的畸变以及佩戴者的眼镜佩戴处方。来自预畸变缓冲器的数据被发送到护目镜的投影仪和相机模块1401中的输出缓冲器。以黄斑为中心的显示缓冲器1402和1404接收来自位于护目镜中的相机模块的相机数据。缓冲器1402和1404中的每个缓冲器都包含两个子缓冲器，一个用于高分辨率窄视场图像，第二个用于宽视场外围图像。这些图像与窄视场高分辨率图像混合在一起置于佩戴者的眼睛所看向的位置。这是被称作聚散度控制的概念的一部分。下面在作为本发明一部分的对新相机开发的讨论中将更详细地阐明聚散度控制。

本发明对齐和适配于佩戴者的面部集合结构上的差异；比如，佩戴者的眼睛的宽度、一只眼睛到另一只眼睛的垂直高度的差异，或者佩戴者具有平坦的前额或突出的前额。本发明能够对齐到每只眼睛。这是通过使印刷电路板专注于一轴完成的。例如，有x轴和y轴。z轴沿直线方向并沿旋转倾斜方向运动。这为每只眼睛提供了总共四个维度。

先前的部件和模块当形成视觉平台时能够针对具体应用(无论是患者使用、外科手术应用还是其它应用)进行定制。

本发明的一个实施例与标准滑雪护目镜具有非常相似的外观。这样的通用护目镜结构的示例在图5a、5b和5c中被示出，图6(c)中示出了护目镜结构的具体实施例的正视图，图4示出了其俯视图。

将图4中在护目镜的右侧上、用于将图像投射在右眼的视网膜上的部件复制到用于左眼的护目镜的左侧上。图4中所示出的图形是护目镜的俯视图。护目镜中使用了六个坐标系统；其中五个为用于左投影仪和右投影仪、左眼和右眼跟踪以及3轴加速计的局部坐标系统。第六个是在局部坐标系统之间建立基准点的全局坐标系统。在数学上，基准点是使用在计算机制图和机器人控制中通用的齐次变换等式定义的。

使用三个印刷电路板(PCB)将右投影仪对齐到右眼。XR和ZR(YR垂直纸面向里)为右投影仪的x轴、y轴和z轴的局部坐标。XL和ZL(YL垂直纸面向里)为左投影仪的x轴、y轴和z轴的局部坐标。X和Z为全局坐标系统。

开始于x轴板1305处，x轴电机1307能够使附接到套管1304和轴1305的PCB移动。x轴电机能够将PCB从其标称位置移动近似正负0.25英寸。y轴PCB1311通过套管和轴1318附接到x轴板1305。x轴板1305的运动也移动了y轴板。z轴板1310使用垫片刚性附接到y轴板1311。z轴电机1309被附接到支架1312。整个光学系统被附接到支架1312。光学系统由被聚焦调整电机1301、椭球镜1302、OLED驱动器板1303、多面镜1313、球轴承1314和轴承座1317标注的元件构成。还有两个元件未在图4中示出，因为OLED 1315挡住了这些零件。被遮挡的元件为图6c中所示出的镜头组件1114和棱镜1113。移动x轴、y轴和z轴的目标是提供自动地将第二椭球焦点304定位在佩戴者眼睛的旋转中心处的途径，如图9中所示和下面所讨论的。所有三块板以协调地方式移动从而实现该目标。对于左眼投影仪和右眼投影仪，此过程是独立地实现的。

用于将图像投射在眼睛的视网膜上的光路光子地(photonically)开始于有机发光二极管(OLED)阵列1315，OLED阵列1315是光学子组件的一部分。图10中示出了光学子组件413的大致视图。该子组件包括OLED405、镜头组件406a、棱镜406b、第一固定翻折反射镜407、多面镜408和翻折反射镜409。

图4中的OLED 1315下面为图10中所示的缩小图像的透镜、棱镜和反射镜406-409。这样做是为将面大小和多面镜1313大小降低为其最小尺寸。图6c中的镜头组件1114还能够使用电机1301将放大倍率或屈光度从-5变为+3。图6c中的棱镜1113将图像平移到四个反射镜中的第一反射镜。图像准直地离开棱镜1113。图4中图示了多面镜伺服电机1303。多面镜1313被安装在被称作轴承座1317的两个实心脊状结构之间。多面镜的轴通过球轴承1314附接到轴承座。光路的最终元件是椭球镜部件1302。

最初，佩戴者戴上护目镜并按下“开(on)”按钮(未示出)，然后印刷电路板1305、1310和1311移动到默认位置(即，每个板的标称位置)。目标图像由系统内部地生成并且被显示。佩戴者使用双手调整护目镜，直到双眼看到完全相同的目标图像。一旦一只眼睛看到图像，则在护目镜1308侧面的按钮被按下。使用图6c中所示的眼睛跟踪相机1107和1110和一系列对齐图像，护目镜中的投影仪被对齐到其佩戴者。针对若干佩戴者的对齐参数能够被存储在图2中的显示控制器1206中。为了支持佩戴者视力屈光不正的大的变动，而进行光轴的自动对焦。对近视和远视的校正都是从-5到+3屈光度，这允许大多数佩戴者在不戴眼镜的情况下使用本发明。图4中所示的小电子电机1301仅调整光学子系统1315中的折射元件。其余光学部件由反射元件构成。

本发明需要测量两个光学路径以确保图像尽可能地清楚。第一个是将佩戴者的焦点调整至显示器，第二个是将相机平台对焦至佩戴者的注视(gaze)。对护目镜的焦点进行调整是通过输入佩戴者的眼镜佩戴处方实现的。显示控制器中的软件然后将调整焦点以控制护目镜匹配佩戴者的眼镜佩戴处方。第二个涉及使用插入护目镜中的相机模块选项。相机模块由两个高分辨率相机组件组成，其中每个相机具有两个旋转自由度。在护目镜中进行眼睛跟踪用于与佩戴者的左眼和右眼协调地移动左眼相机和右眼相机，如下面将进一步描述的。

当首次戴护目镜时，弧形板被压在佩戴者的前额1316上。在对齐过程完成时，该板维持一致的基准点。

标号1308示出了用于电子器件或传感器选项(比如，GPS或控制按钮)的另外的空间。

图5示出了椭球部件如何被应用于护目镜105的构建和起作用的示意图。椭球106在数学上由111和112所示的两个焦点定义。对于本发明的此实现方式，焦点之一被选作图像源102、102和112。如果椭球的内壁是反光的，从一个焦点发射的光将从内部反光壁反射并通过另一焦点。本发明使用该性质来直接将图像放置在护目镜的佩戴者的视网膜的后方。

椭球的特定部分被选择是因为它的位置允许反射镜被安装在护目镜105中。另外，对选择椭球部分的位置的其它考虑是护目镜的视场和将图像源定位在何处。

通过将第二焦点放置在眼睛的旋转中心111使图像形成在视网膜上。为使图像可以在眼睛的整个视场内被看到，必须满足以下条件：

a.图像源必须看起来是从第一焦点101、102和112发出的。该处理是在制作设备时进行的。一旦对齐，则第一焦点不应移动。

b.第二焦点111必须被放置在佩戴者的眼睛的旋转中心处。必须针对每个佩戴者进行该处理。由一组专用对齐目标构成的过程被依次呈现给佩戴者。初始对齐以寻找注视中心开始，这是通过将目标几乎直的放置在护目镜前方完成的。两个投影仪以被校准为已知距离处的距离被使用。然后使用一系列螺旋点，每个点被单独地呈现给佩戴者。最后的测试示出了若干具有单个对象、以不同的距离呈现在前场的3D照片。针对每张图片，佩戴者的左眼和右眼的位置被暂时地存储。在测试完成之后，计算距离到眼睛三角测量(triangulation)的映射。一旦针对佩戴者完成上述操作，则设置可以被存储。

c.椭圆部分覆盖眼睛的视场。该处理是在设计和制作阶段完成的。

护目镜通过处于1110压力之下的宽弹性带依靠在佩戴者的面部。

电力、通信和所显示的图像通过包括四根光纤光缆和两根铜缆的线缆组件被发送到护目镜。线缆插入安装在佩戴者的头部后侧的连接器108、109。

设定在笛卡尔(Cartesian)坐标系中的椭球的一般等式为：

$\frac{x^2}{a^2}+\frac{y^2}{b^2}+\frac{z^2}{c^2}=1---\left(1\right)$

其中，长度a、b、c被称作半轴。如果这些半轴中的两个是相同的，则所生成的形状被称作回转椭球体。如果c＜a，则形状被称作扁球，如果c＞a，则形状被称作长球。当全部三个轴都不相同时，形状被称作三轴回转椭球体。如果所有三个轴都相同，则形状被称作球体。

本发明的一个实施例使用回转椭球体，其中两个公共轴具有相同的2英寸半径并且第三轴具有3英寸半径。图8a中示出的计算机生成的椭球201图示了2×2×3的椭球。

从通用椭球等式(1)中推导得出的球面参数等式(2)、(3)、(4)被用于确定在回转椭球体内、相对于佩戴者的眼睛的最佳反射镜位置。

x＝acosusinv  (2)

y＝bsinusinv  (3)

z＝ccosv  (4)

             对于u＝[0，2π)且v＝[0，π]

图8a中示出了如何将宽FOV图像放置在眼睛的视网膜上的方法之一的示意图。椭球镜部分204被定位在眼睛前面，其中椭球的焦点203被定位在佩戴者的眼睛的旋转中心。折射光学和反射光学器件使得图像看起来像是源自椭球的另一焦点202。

图8b中示出了选择反光部分的设计准则，其中在每只眼睛的前面放置一个椭球反射镜部分。在本发明的一个实施例中，椭球的主轴是从水平方向旋转的，以允许投影仪模块和佩戴者的前额之间有充足的空隙。图像源必须是从源焦点207和208发出的或者看起来像是从源焦点207和208发出的。从207和208发出的两幅图像反射离开椭球205和206的反光表面。然后。反射的光线通过焦点209和210，在佩戴者的视网膜后方呈现倒立像。

图9示出了将椭球形状和反射镜用于本发明的基础应用。椭球的焦点为f1 301和f2 304。椭球主轴在302处示出。光轴被移动“离轴(off-axis)”，以使得图像源能够被定位在佩戴者的头部上方同时反射离开椭球镜305并通过焦点304。焦点304被定位在佩戴者的眼睛的旋转中心处。光学子组件306被布设在源焦点301和椭球305之间。该光学子组件具有这样的特性：从506发出的光线应当向后溯源至焦点501的特性。这将允许光反射离开椭球镜并通过眼睛的旋转中心对焦在佩戴者的视网膜上。

图10示出了光学子组件的一个实施例。示出了椭球的主轴401和两个焦点403和404。分段发光的图像源是有机发光二极管(OLED)405。来自OLED的输出通过多镜头系统406，多镜头系统406降低图像的放大倍率并且提供对反射离开中继反射镜407、伺服控制多面镜408和另一中继或翻折反射反射镜409的光的动态聚焦控制。从409发出的光看起来就像整幅图像是源于焦点403的。来自中继反射镜409的光线和发射光线410a和412a一起反射离开椭球镜。反射的光线为410b和412b。反射离开椭球镜411的光线通过椭球的第二焦点403被聚焦。该焦点必须被对齐以通过佩戴者的眼睛的旋转中心。

图11、12和13中示出了一种用于将呈现给一只眼睛的图像分成多个帧的方法。图11示出了简化分割图像。506中示出了标注为1到6的单个段或帧。多面镜501具有针对每段的一面，多面镜上的每一面都被机械加工成将由OLED发出的图像反射到图13中所示的具体段的角度。每面还具有其自身的放大倍率，该放大倍率是对于具体段唯一的。多面镜501被伺服控制以60Hz的固定速度旋转。光耦合器被附接到多面镜，并且提供了用于同步所投射的帧和这些面的方法。

在图12中可以看出同步是使用若干电子信号实现的。如901中所示，所有这些帧的时序要求最初垂直同步。光耦合器被用于检测在多面镜侧的止动器。脉冲905被对齐到恰好在第1反射镜面之前出现。内部微处理器计时器装载有这样的值：当达到该值时等于信号901和902之间的时序图中所示出的t1的延迟。同时，第一面与帧的第一行相对齐。信号901的每个正脉冲表示新的一组帧或新图像的开始。下一个信号是如信号902所示的行同步信号。该信号也是使用微处理器中的内部计时器生成的。行同步计时器在开启垂直同步之后创建可重复的延迟。两个垂直同步脉冲905a和905b之间的两个脉冲905a和905b表明两行的开始。最后一个信号是列同步信号903。行同步脉冲的开启触发列计数器以开始计数。一旦达到延迟(信号904a、延迟t2)，则列行脉冲被生成。第四计时器控制剩余两个列同步脉冲904b和904c的延迟和生成。在行脉冲之间发生的三个列同步脉冲确定投影仪何时发出图像。图12中所示的第一组三个脉冲904a-c上方的数字1、2和3以及第二组三个脉冲4、5和6出现在信号903上，并且与图11中所示的图像段506直接相关。例如，当面6的列脉冲从低变到高时，显示控制器将使段6载入OLED阵列缓冲器。在信号903的上升沿，脉冲6将触发OLED阵列被启动6微秒。当来自OLED的光打在多面镜的面6的表面时，它处于将图像反射至图像506上的段6的角度。

当OLED阵列投射图像时，图像被反射离开旋转多面镜。随着反射镜继续旋转，投射在每一面上的图像在其变模糊之前被关掉。该极限是在两个像素之间的角位移的一半。这使得图像的每个图像段被投射在佩戴者的视网膜上大约6微秒。

递送清晰的、未畸变的图像要求采用若干校正模式以补偿每个畸变源。在本发明的一个实施例中，畸变校正分布在若干子系统中。例如，在对多面镜的面进行设计时补偿了几何像差和放大倍率变化。反射镜和其它光学元件被用于校正由于几何像差和整个帧的放大倍率变化而引入的畸变。图像的这些子帧中的每个子帧中的亮度变化是通过使用查找表对整个有机发光二极管阵列(OLED)中的像素的电流控制而在图像源处进行补偿的。

查找表被构建为与预畸变缓冲器相关联的单独RAM缓冲器。实现查找表的一种方法是针对预畸变缓冲器中的每一像素的数据结构。表1示出了示例。

表1

使用硬件算法和查找表对由弯曲的椭球部分和视网膜引起的梯形失真和畸变进行校正。算法被映射到ASIC，ASIC是图7中的显示缓冲器1001的一部分。图13中示出了梯形失真的示例。对于该示例，多面镜501被水平地定位在显示器的中间。在垂直方向上，多面镜在显示器的后上方。506中示出的六个帧未示出梯形失真效应。图13中示出了相同六个分割的帧。

图13中仅图示了梯形失真而未示出任何畸变。梯形失真导致全部分割帧从长方形变为梯形。如604和605所示，多面镜的每个面都被设计为使帧略有重叠。重叠将导致图像在发生重叠的地方较明亮。对重叠像素的亮度进行修改以校正重叠使其不比邻近的像素更明亮。这种信息是在制造期间预先计算的，并储存在查找表中。

梯形失真和畸变要求使用像素来校正它们对呈现给佩戴者的图像的影响。这导致损失分辨率。如图13中的帧2和3(分别为601和603)所示，该问题将迅速地增涨。重叠由604示出。604和605所示的重叠区域中的像素将不会校正亮度和防止佩戴者的视觉差距。事实上，像素损失是随着像素的距离增大而以平方函数增涨的。与图13的帧2和3之间的较小的三角形重叠相比，帧4和5之间的重叠605是梯形的。

畸变也会导致损失像素。多面镜的位置被优化以使梯形失真效应最小化。

系统通过在制作的过程中经验性地测量梯形失真和畸变和将数据填入图7中所示的查找表1003来校正梯形失真和畸变效应。该方法被称作映射，并且依赖于叠加原理，叠加原理假设能够通过把梯形失真、畸变、佩戴者的眼镜佩戴处方和动态输入的校正项累加在一起来单独地处理它们。这使得每个像素的位置通过添加项而被偏置，这些项被示作对映射算法1007的输入。

映射算法的目标是：在图像的像素被移动到显示缓冲器1008时对它们进行预畸变，以使得当图像被开启而呈现在眼睛上时佩戴者看到清晰和未畸变的图像。预畸变图像映射将所有图像分割帧扩展为大于图像源的预畸变图像。对过大的预畸变图像进行缩放以“适合”图像缓冲器空间。取决于相邻图像像素之间的距离，每个图像像素的颜色被施加于由预畸变算法1007创建的间隙像素。

在三维空间中，该算法执行对图像进行旋转、平移和缩放的标准图形变换矩阵。在设备的工程开发过程中执行该处理。由椭球和视网膜导致的畸变效应被加载并存储在查找表中。在常规操作中，查找表描述每个像素所要求的偏移(参见表1)。查找表内的大小和值由显示图像所要求的段的数目限定。在缓冲器随机存取存储器上进行简单但经修改的直接存储器存取(DMA)。传统的DMA由定制ASIC构成，该ASIC具有用于数据源、数据目的地和数据分组的大小的内部寄存器。经修改的DMA不同于传统DMA，因为在移动完成之前和之后添加了处理。在打开DMA之前，显示控制器处理器把要转移的字节的数目、源地址和目的地地址写入DMA控制器的内部寄存器。DMA是用于在不消耗显示控制器的处理器代码执行时间的情况下转移大量数据的典型方法。可替代的解决方案可以直接使用显示控制器的处理器移动数据。段号在查找表中被存储为变量。这些段通过光纤光缆在到护目镜的以数值排序的DMA传输过程中被传输到护目镜。除数据的DMA传输之外，表1中定义的元数据也随数据一起被发送。

亮度值必须被设置并且像素到像素半径将邻近的像素设置为与畸变后像素相同的颜色。示出了将来自输入缓冲器1001的、作为对多输入映射算法1007的输入的像素移动到预畸变缓冲器1005。1006中示出了图示了扩展图像大小的预畸变效应的示例。映射函数1007将来自输入缓冲器1001的像素映射到显示缓冲器1008中的不同的、经扩展的位置。显示缓冲器1008具有介于在输入缓冲器中邻近的像素之间的“间隙”。相同的像素颜色被用于填充输入像素之间的空间。

在制作过程中针对查找表1003的准确性进行测试并对查找表1003进行修改。作为最后的制作工艺的一部分，完成的护目镜被放置在定制设计护目镜测试仪中。在工程开发阶段开发了查找表中的默认值。通过进行测试然后修改图像中的具体像素，这种制作测试消除了零件的尺寸变动。图14a中示出了护目镜测试的示例。护目镜被放置在施压夹持器中，其中护目镜被定位在垂直基准1601中。两个玻璃中空半球被安装在佩戴者的眼睛通常会位于的位置。如图14b所示，半球1606的后侧是略微磨砂的。双凸透镜被安装在与典型人眼的晶状体相同的位置1605，位于半球前方17mm处。镜头系统被设计为简化眼(reduced eye)，这意味着单个透镜1605和孔径1607被用于模拟人眼的所有折射表面和在它们的表面处的变化折射率。相机和玻璃半球被安装在两个枢转臂上。每个臂的旋转轴通过眼睛的旋转中心。然后若干测试图像被显示在左眼和右眼投影仪上。图像被显示在中空半球的后方。在两个旋转末端(0度到120度)1602和1604处并且在眼睛的中央凹的典型位置1603处采集三幅图像。然后使用软件对图像进行处理，该软件首先验证显示在半球的后方的未畸变图像在图像源的像素之间的距离的一半之内。接下来执行测试以判断校准是否精确地对佩戴者的近视或远视进行了校正。这是通过沿护目镜的光轴改变透镜和孔径的位置完成的。另一个测试核查校准是否足够精确以校正佩戴者的散光。第三个测试验证在开发过程中通过工程开发的查找表是否精确到足以使用常规操作进行操作。

本发明还允许佩戴者向护目镜的操作参数中输入动态数据。动态输入允许由佩戴者设置一些非常严格的参数。

如果佩戴者通常佩戴眼镜，那么他的眼镜佩戴处方能够被输入和存储在护目镜的显示控制器中。对于多数佩戴者的护眼处方1002而言，可实现对近视和远视视网膜焦点的校正。如图6c中所示，每个投影仪有其自己的电机1112，电机能够在正方向和负方向上改变投影仪系统左部和投影仪系统右部的屈光度。另外，还能够校正任何散光。数据被存储在显示控制器1002的不同并分开的部分中。通过输入x轴旋转和放大倍率然后输入y轴旋转和放大倍率对散光进行校正。对于校正散光的计算要求大量的计算循环。通过在护目镜未被使用时进行计算最小化了高计算资源。一旦完成计算，则显示控制器将在查找表中存储这些计算结果。

1004标识了针对要求动态输入的其它像差的规定。

护目镜的实施例既可以是沉浸式也可以是穿透式。图6(b)中所示的护目镜包含椭球部分，椭球部分在内部表面1106是半反射的并且涂有在弯曲表面上起作用的专用液晶1105。通过改变加在液晶像素上的电压，光能够被阻隔或被允许透射。在本发明的其它实施例中，图6c中的三轴加速计1108被安装在护目镜组件上。通过对加速计的输出施加单重积分和双重积分，分别确定头部的速度和位置。已知头部的位置、速度和加速度，和眼睛跟踪一起，能够在任何时刻得知眼睛的位置和取向。应用头部位置、速度和加速度的方式的一个示例是在内窥镜手术中。具有多个自由度的单个机器臂能够以头部运动进行控制。使用该功能的外科医生能够通过移动他的头控制夹持夹持内窥相机的机器臂。这将允许外科医生在进行内窥镜手术时两只手都是空闲的。在一个实施例中，外科医生能够使用头部运动控制该臂，然后在需要时禁用控制。这将允许外科医生在不必在保持他的头部一动不动的情况下继续外科手术。在一般外科手术中，外科医生能够在完全沉浸式模式中做手术。显示控制器能够重叠(superpose)例如肝脏中的肿瘤。肿瘤位置和大小将通过处理MRI或CT扫描获得。使用加速计对头部进行惯性追踪允许肿瘤的透视图随着外科医生移动他的头部而改变。

除向加速计之类的传感器之外，护目镜具有专门眼睛追踪能力。两个相机和红外发光二极管(LED)被用于每只眼睛。如图6a中的1103、1107和1109所示，相机和LED被封装在一起。相机具有200赫兹的最小采样率。在眼睛的整个运动范围并遍布其加速度和速度分布图对眼睛进行跟踪要求高采样率。

本发明的在护目镜的佩戴者的眼睛上投射宽视场且高锐度显示的能力要求具有相等能力的视频输入。另外，相机必须提供对更自然实时对焦和3D真实感的聚散度控制。

人眼具有变化的分辨率。最高分辨率出现在中央凹1701处，中央凹1701具有20/20分辨率和大约3度的视场。眼睛的周围区域具有20/200的一般分辨率。大脑提取投射在视网膜上的图像的高分辨率部和低分辨率部，并通过视神经将它们传输至大脑的称作视觉皮质的部分。视觉皮质位于大脑的后部。该区域提取高分辨率窄视场图像，并将其映射到整个低分辨率宽视场图像。结果是整幅图像看起来是高分辨率的。

图16中所示的相机模仿视网膜处理图像的方式。宽视场透镜1801开始相机的光路。图像在穿过分束器1810之前通过透镜组件1811进行准直。现在图像被分成两路，一路为高分辨率的而另一路为低分辨率的。低分辨率路径图像通过图17b中所示的中性密度滤光片。该滤光片具有三个区域：第一区域1905是透明的，第二区域1906是渐变的(从透明变为不透明)，最后一个区域是不透明的。接下来低分辨率路径图像穿过另一透镜封装1807，透镜封装1807将图像会聚到广角度相机1805的电荷耦合器件(CCD)阵列中。高分辨率路径开始于分束器1910，然后穿过图17a所示的、也具有三个区域的中性密度滤光片。第一区域1901是不透明的，第二区域1902是渐变的(从不透明变为透明)，第三区域1903是透明的。穿过滤光片的图像的部分仅是小的中心区域，大小为在渐变开始处的10度视场。然后，窄的图像穿过透镜组件1803，透镜组件1803将图像放大并会聚在相机1804的CCD阵列上。

现在，图像在光学上已经被划分为高分辨率图像和低分辨率图像，并且被转化为电气信号存储在两个相机的CCD阵列中。相机是相机模块的一部分，相机模块被附接到图18中所示的护目镜的顶部(在2002和2002处)。相机模块包含两个相机。相机输出被传输到显示控制器并且存储在黄斑中心缓冲器1402和1404中。显示控制器将来自相机的高分辨率图像和低分辨率图像相组合。图像被从黄斑中心缓冲器移动到位于显示缓冲器1403和1405中的预畸变缓冲器1507b和1507d。图像被从预畸变缓冲器发回护目镜，以如上面所述投射在佩戴者的视网膜上。

该高分辨率、低分辨率和宽视场相机所生成的输出被显示在图19a的仿真照片中。照片的中心区域具有高分辨率，其逐渐地与照片其余部分的低分辨率混合。图19b中示出了照片的中心区域和混合区域的一部分的放大图。

聚散度控制捕获两次人眼的运动。第一次发生在人凝视远方时；如图20中所示目光是分开且平行的。当人注视近处时，目光会聚并聚焦在特定距离处的点2101处。

要求广角度眼睛跟踪，以使得在眼睛的整个视场内眼睛的位置是已知的。各自具有红外LED的两个微型相机(图6c中的1107和1110以及图6a中的1103)被用于每只眼睛。相机被安装在椭球镜的底部边缘处。任何时刻的眼睛的位置是关键的。典型相机以每秒60到120帧采样。对于精确的眼睛跟踪而言，60到120赫兹的采样率太慢了。本发明使用至少250赫兹的采样相机，即使眼睛以最大速度(每秒500度)运动，该相机也能够跟踪眼睛。

眼睛跟踪数据被用作对相机伺服系统的输入。伺服系统不试图用相机连续跟踪眼睛的运动。相反，眼睛的运动被拆分为阶段。眼睛从静止开始，然后，人经常通过眼跳运动来使眼睛朝向吸引他注意的事物移动。眼睛最终减速并停下来。在眼跳运动期间，人类的大脑并不处理来自视网膜的图像。在图像成为人的感知的一部分之前，大脑等候直到眼睛停下来。从眼睛停止运动的时刻直到大脑完成处理图像的时刻所花费的时间因人而异。对于多数人口而言，该时间为30ms到200ms。伺服系统被设计为在15ms之内完成从眼睛开始眼跳运动的地方运动至眼睛结束眼跳运动的地方。

图7中所示的每个相机使用两个电机对眼睛的眼跳运动做出响应。一个电机控制俯仰角1809，另一电机控制偏航角1806和1807。

护目镜处理器通过向电机的伺服代码发送位置轨迹来协调这两个电机的移动。然后，伺服代码计算得出将发送到电机驱动器的当前命令。当前命令是由伺服代码计算得出的，并且它的值与位置轨迹输入和相机角的当前位置之间的位置误差成比例。

图17中所示出和上面所描述的高分辨率相机、广角眼睛跟踪以及伺服代码和系统一起工作来创建针对视觉平台的聚散度控制。聚散度控制的主要益处在于：它为护目镜佩戴者提供了非常接近真实的3D立体图像。聚散度控制是通过模仿人体中的两个系统(视网膜/大脑生理机能以及人眼动力学)并产生随佩戴者的眼睛运动的高分辨率窄视场和低分辨率宽视场实现的。

本发明能够为遭受黄斑变性、其它视网膜疾病、大脑损伤或其它视觉缺陷困扰的个人提供提升的生活质量。本发明能够使用直接安装在护目镜或佩戴者的身体的另一部分上的视频源，该视频源将直接向该个人的视网膜供应图像。

本发明还为以下四种外科手术分类提供了强化的视觉解决方案：机器人辅助手术、一般手术、内窥镜手术和外科显微镜手术。以下分类标识当前发明的优点。

机器人辅助手术。当前解决方案通过使用两个高分辨率LCD监视器创建3D立体图像。一个监视器向一只眼睛呈现图像，另一监视器呈现类似的、但是略微从图像源水平偏移的图像。这两个监视器与两个广角镜头和封装一起产生了非常昂贵的系统，该系统需要液压机构将视觉系统移动到位。图像是清晰的，但分辨率是有限的，还伴有窄视场。在外科手术过程中外科医生必须保持他的头固定在同一位置。本发明使得外科医生脱离固定的观察点。外科医生能够移动到舒服的位置，按需的调整他或她的头部，同时持续接收清晰、宽视场、高分辨率图像。与大的LCD解决方案相比，当前发明显著地更具成本效益。

一般手术。开放式手术中的当前视觉强化解决方案受限于眼循环和显微镜(下面进行讨论)。眼循环能够给外科医生带来正确的放大倍率，但是视场是受限的。本文所述的新型相机能够被安装到护目镜上，并且提供具有类似的放大倍率、具有宽视场且具有与人眼类似的分辨率的图像。相机模块的伺服系统跟踪外科医生的眼睛运动，包括外科医生正在将其注意力集中于何处。上面详细地讨论了这种被称作聚散度控制的动态聚焦控制。

内窥镜手术。用于内窥镜手术的当前解决方案一般要求外科医生一只手中持有相机工具且另一只手中持有手术工具。外科医生在平面监视器上观看相机的输出。本发明能够被连接到3D视频相机，3D视频相机能够连接到相机工具且能够为外科医生提供类似于人眼的图像清晰度。另外，3D相机结合本发明为外科医生提供了深度知觉。

外科显微镜。利用当前解决方案，外科医生使用传统显微镜目镜观察患者，该显微镜目镜由宽度可调节以与不同人眼间距相对齐的两个接目镜构成。为了找到两只眼睛都能够看到整幅图像的点，外科医生必须向接目镜来回移动他的头。多数外科显微镜还具有将相机图像显示在高分辨率监视器上的相机选项。

随外科显微镜一起使用的一些3D相机显示无源(passive)3D图像。只有在戴上特殊的偏光眼镜时，才能在平面屏幕监视器上看到3D图像。然后，硬件在安装在监视器前面的左眼偏振屏幕和右眼偏振屏幕之间交替。与现有系统要求外科医生保持他的眼睛固定地看向显微镜的目镜相比，本发明允许外科医生独立于显微镜进行移动。本发明将显微镜用作视频输入，给予了外科医生坐或站在舒适的位置的自由。他的头能够自然地定位，看向他的手。

现有平面屏幕解决方案要求外科医生盯住左面或右面以观看平面屏幕监视器。对于2D或3D监视器都是这样。本发明呈现给外科医生的图像分辨率与人眼的分辨率类似。仅使用与本文所述描述的相机具有类似的分辨率的显微镜相机就可以获得人眼分辨率。

本发明能够显示现有高清晰度协议(比如，MP4)，但是分辨率就不会接近本发明的能力了。为了充分利用本发明的分辨率能力的优点，需要图16-19中所描述的相机。

本发明的模块性和功能性使得它能够用于许多其它目的。例如，石油和天然气以及娱乐产业将显著受益于本发明。

在石油产业中的两个主要应用将是对远程操纵运载工具(ROV)的远程引航和3D数据分析。在海底石油和天然气应用中的ROV的当前导航使用一些2D平板显示器和操纵杆。每只眼睛具有120度视场的3D立体视觉平台能够极大地简化ROV控制。护目镜中与3轴加速计相耦合的宽视场(FOV)能够用于提供自然的头部运动相机控制。当ROV移动时，高分辨率和宽FOV使得易于向导航仪提供多相机的界面。

石油和天然气公司还具有非常大的数据仓库，其中它们存储多年的地震数据。本发明的宽视场和高锐度使其如果用于显示和回顾3D数据是理想的。这是基于无相机应用，其中地震数据被显现然后发送到显示器。如果护目镜的光学界面被用于显示地震数据，那么使用护目镜视觉平台的全分辨率将是简单的方式。在娱乐中，将自然使用本发明的第一产品是普遍存在的游戏机。之前虚拟现实护目镜和眼镜已经试图进入这一市场，但成败参半。所有的产品只是提供了看似更大的显示器以供观看并没有解决完全沉浸的效应。本发明会提供完全沉浸的效应，这是对虚拟现实在游戏产业中的广泛采用造成限制的一个缺失特征。

本领域普通技术人员将认识到其它产业也将受益于使用所描述的发明。

尽管本专利已经描述了本发明的具体实施例，本领域普通技术人员将认识到在本发明精神内的其它实施例、改进和修改，并且这样的实施例仍然在本发明的范围内，本发明的范围仅由所附权利要求书限定。

权利要求书(按照条约第19条的修改)

1.一种用于将一系列图像投射在眼睛的视网膜上的装置，包括：

图像输入，其用于接收一系列图像；

至少一个处理器，其用于划分这些图像以生成一系列分割图像；

b.发光设备，其用于从椭球的第一焦点投射所述一系列分割图像；

c.第一反射镜；以及

d.第二反射镜；

其中，所述发光设备将所述一系列分割图像投射离开所述第一反射镜和所述第二反射镜，并且其中，所述第二反射镜被定位为使得所述一系列分割图像被反射到所述椭球的第二焦点，所述椭球的第二焦点表示所述眼睛的旋转中心。

2.如权利要求1所述的装置，其中，所述第一反射镜是旋转多面镜。

3.如权利要求1所述的装置，其中，所述第一反射镜是矢量反射镜。

4.如权利要求1所述的装置，其中，所述发光设备包括以下各项中的至少一项：有机发光二极管、激光器、发光二极管(LED)或液晶显示器(LCD)。

5.如权利要求1所述的装置，还包括：透镜封装，其用于在投射离开所述第一反射镜之前准直所述分割图像。

6.如权利要求1所述的装置，还包括：一对护目镜，其用于相对于所述椭球的第二焦点对齐所述发光设备、所述第一反射镜和所述第二反射镜。

7.如权利要求6所述的装置，其中，所述图像输入被安装到所述护目镜上。

8.如权利要求6所述的装置，其中，所述发光设备能够被移动以与所述椭球的第二焦点相对齐。

9.如权利要求1所述的装置，还包括：在所述护目镜的至少一部分上的液晶涂层，其中，改变施加在所述涂层上的电压会调整光通过所述护目镜的透射比。

10.如权利要求1所述的装置，还包括：用于为投射所述一系列分割图像离开所述第一反射镜进行定时的设备。

11.如权利要求1所述的装置，还包括：第二图像输入，其用于接收第二系列图像；第二发光设备，其用于从第二椭球的第一焦点投射第二系列分割图像；第三反射镜；以及第四反射镜，其中所述第二发光设备将所述第二系列分割图像投射离开所述第三反射镜和所述第四反射镜，并且其中，所述第四反射镜被定位为使得所述第二系列分割图像被反射到所述第二椭球的第二焦点，所述第二椭球的第二焦点表示第二眼睛的旋转中心。

12.如权利要求1所述的装置，还包括：至少一个处理器，其用于调整所述一系列分割图像以补偿所述分割图像重叠的地方的亮度差异。

13.如权利要求1所述的装置，还包括：至少一个处理器，其用于校正畸变或梯形失真的至少一项。

14.如权利要求1所述的装置，还包括：至少一个相机，其用于跟踪所述眼睛的运动。

15.一种用于将一系列图像投射在眼睛的视网膜上的方法，包括：

d.接收一系列图像；

e.分割所述一系列图像；

f.从椭球的第一焦点投射所述一系列分割图像离开第一反射镜和第二反射镜，到所述椭球的第二焦点，所述椭球的第二焦点表示所述眼睛的旋转中心。

16.如权利要求15所述的方法，还包括：在所述一系列分割图像被反射离开所述第一反射镜之前，准直所述一系列分割图像。

17.如权利要求15所述的方法，还包括：调整发光设备的位置以使所述椭球的第二焦点与所述眼睛的旋转中心相对齐。

18.如权利要求15所述的方法，其中，所述第一反射镜是旋转多面镜，所述分割图像中的每幅图像被定时投射离开所述旋转多面镜的指定面。

19.如权利要求15所述的方法，还包括：校正畸变或梯形失真的至少一项。

20.如权利要求15所述的方法，还包括：调整所述一系列分割图像以补偿所述分割图像重叠的地方的亮度差异。

21.一种视频相机系统，包括：

a.宽视场透镜；

b.至少一个用于准直图像的透镜；

c.分束器，其用于将经准直的图像划分为低分辨率路径图像和高分辨率路径图像；

d.第一中性密度滤光片，其用于过滤所述低分辨率路径图像；

e.第二中性密度滤光片，其用于过滤所述高分辨率路径图像；以及

f.至少一个处理器，其用于组合所述低分辨率路径图像和所述高分辨率路径图像。

22.如权利要求21所述的视频相机系统，其中，所述第一中性密度滤光片在所述滤光片的边缘处是透明的且在所述滤光片的中央是不透明的。

23.如权利要求21所述的视频相机系统，其中，所述第二中性密度滤光片在所述滤光片的边缘处是不透明的且在所述滤光片的中央是透明的。

24.如权利要求21所述的视频相机系统，还包括：

a.至少一个相机，其用于跟踪眼睛的运动；以及

b.至少一个电机，其用于响应于所述眼睛的运动而移动所述宽视场透镜。

Claims (24)

1.一种用于将一系列图像投射在眼睛的视网膜上的装置，包括：

a.图像输入，其用于接收一系列图像；

至少一个处理器，其用于划分这些图像以生成一系列分割图像；

b.发光设备，其用于从椭球的第一焦点投射所述一系列分割图像；

c.第一反射镜；以及

d.第二反射镜；

其中，所述发光设备将所述一系列分割图像投射离开所述第一反射镜和所述第二反射镜，并且其中，所述第二反射镜被定位为使得所述一系列分割图像被反射到所述椭球的第二焦点，所述椭球的第二焦点表示所述眼睛的旋转中心。

2.如权利要求1所述的装置，其中，所述第一反射镜是旋转多面镜。

3.如权利要求1所述的装置，其中，所述第一反射镜是矢量反射镜。

4.如权利要求1所述的装置，其中，所述发光设备包括以下各项中的至少一项：有机发光二极管、激光器、发光二极管(LED)或液晶显示器(LCD)。

5.如权利要求1所述的装置，还包括：透镜封装，其用于在投射离开所述第一反射镜之前准直所述分割图像。

6.如权利要求1所述的装置，还包括：一对护目镜，其用于相对于所述椭球的第二焦点对齐所述发光设备、所述第一反射镜和所述第二反射镜。

7.如权利要求6所述的装置，其中，所述图像输入被安装到所述护目镜上。

8.如权利要求6所述的装置，其中，所述发光设备能够被移动以与所述椭球的第二焦点相对齐。

9.如权利要求1所述的装置，还包括：在所述护目镜的至少一部分上的液晶涂层，其中，改变施加在所述涂层上的电压会调整光通过所述护目镜的透射比。

10.如权利要求1所述的装置，还包括：用于为投射所述一系列分割图像离开所述第一反射镜进行定时的设备。

11.如权利要求1所述的装置，还包括：第二图像输入，其用于接收第二系列图像；第二发光设备，其用于从第二椭球的第一焦点投射第二系列分割图像；第三反射镜；以及第四反射镜，其中所述第二发光设备将所述第二系列分割图像投射离开所述第三反射镜和所述第四反射镜，并且其中，所述第四反射镜被定位为使得所述第二系列分割图像被反射到所述第二椭球的第二焦点，所述第二椭球的第二焦点表示第二眼睛的旋转中心。

12.如权利要求1所述的装置，还包括：至少一个处理器，其用于调整所述一系列分割图像以补偿所述分割图像重叠的地方的亮度差异。

13.如权利要求1所述的装置，还包括：至少一个处理器，其用于校正畸变或梯形失真的至少一项。

14.如权利要求1所述的装置，还包括：至少一个相机，其用于跟踪所述眼睛的运动。

15.一种用于将一系列图像投射在眼睛的视网膜上的方法，包括：

a.接收一系列图像；

b.分割所述一系列图像；

c.从椭球的第一焦点投射所述一系列分割图像离开第一反射镜和第二反射镜，到所述椭球的第二焦点，所述椭球的第二焦点表示所述眼睛的旋转中心。

16.如权利要求15所述的方法，还包括：在所述一系列分割图像被反射离开所述第一反射镜之前，准直所述一系列分割图像。

17.如权利要求15所述的方法，还包括：调整发光设备的位置以使所述椭球的第二焦点与所述眼睛的旋转中心相对齐。

18.如权利要求15所述的方法，其中，所述第一反射镜是旋转多面镜，所述分割图像中的每幅图像被定时投射离开所述旋转多面镜的指定面。

19.如权利要求15所述的方法，还包括：校正畸变或梯形失真的至少一项。

20.如权利要求15所述的方法，还包括：调整所述一系列分割图像以补偿所述分割图像重叠的地方的亮度差异。

21.一种视频相机系统，包括：

a.宽视场透镜；

b.至少一个用于准直图像的透镜；

c.分束器，其用于将经准直的图像划分为低分辨率路径图像和高分辨率路径图像；

d.第一中性密度滤光片，其用于过滤所述低分辨率路径图像；

e.第二中性密度滤光片，其用于过滤所述高分辨率路径图像；以及

f.至少一个处理器，其用于组合所述低分辨率路径图像和所述高分辨率路径图像。

22.如权利要求20所述的视频相机系统，其中，所述第一中性密度滤光片在所述滤光片的边缘处是透明的且在所述滤光片的中央是不透明的。

23.如权利要求20所述的视频相机系统，其中，所述第二中性密度滤光片在所述滤光片的边缘处是不透明的且在所述滤光片的中央是透明的。

24.如权利要求20所述的视频相机系统，还包括：

a.至少一个相机，其用于跟踪眼睛的运动；以及

b.至少一个电机，其用于响应于所述眼睛的运动而移动所述宽视场透镜。