CN112601509A - 用于低视力用户的混合式透视增强现实系统和方法 - Google Patents

Abstract

提供了一种增强现实视力辅助系统、软件和方法，其融接通过利用混合式透视遮蔽启用硬件以及通过图像操纵、再处理、融接的软件来增强视力以模拟自然视力，用于呈现并显示给眼睛，从而实现先前所丢失的或影响的一系列任务。

Description

用于低视力用户的混合式透视增强现实系统和方法

相关申请的交叉引用

本专利申请要求于2018年5月29日提交的题为“用于低视力用户的混合式透视增强现实”的美国临时专利申请号62/677,463的优先权，并且其全部内容通过引用并入本文。

该申请与于17年7月9日提交的美国序列号62/530,286、于17年7月10日提交的美国序列号62/530,792、于17年10月31日提交的62/579,657、于17年10月31日提交的美国序列号62/579,798、于17年11月17日提交的PCT专利申请号PCT/US17/62421、于17年11月17日提交的美国序列号15/817,117、于18年3月6日提交的美国序列号62/639,347、于18年3月12日提交的美国序列号15/918,884、于18年9月24日提交的美国序列号62/735,643、以及于18年10月31日提交的美国序列号16,177,333有关，其全部内容通过引用并入本文。

技术领域

本说明书中提及的所有出版物和专利申请都通过引用整体并入本文，其程度与特别单独指示每个单独出版物或专利申请被通过引用并入的程度相同。

背景技术

头戴式助视器已经使用了数百年，并且像过去一样，为通常基于光学器件的解决方案，诸如眼镜。具有可编程头戴式电子助视器的概念化和早期实验始于1980年代后期NASA资助的研究。所描述的基本功能性包括重映射像素，以便操纵呈现给佩戴者眼睛的图像。所描述的重映射主要是经修正的区域的形状、大小和位置不同的图像的放大形式和扭曲形式。尽管早期实验证明对几种基于视网膜的疾病值得关注，但是由于多种原因，所以最终该研究在当时被证明是不切实际的。

随着虚拟现实(VR)头戴式耳机和增强现实(AR)眼镜成为主流，可穿戴式头戴式设备的当前硬件实现方式已变得越来越普遍。这些平台被设计为并且旨在用于许多应用，诸如游戏、网真(telepresence)和广泛多种企业应用。这一使能技术还为低视力用户提供了更先进的图像处理的潜在丰富基础。然而，这些方法对于低视力用户而言都不理想，并且需要进一步完善新颖的软件和算法来无缝协同工作，以使头戴式可穿戴设备对低视力用户切实可行并有用。

发明内容

本文中所描述的本发明总体上涉及用于一类可穿戴式电子增强现实(AR)眼镜的改进硬件以及集成软件和算法，其中对于患有各种视力障碍(例如，年龄相关黄斑变性(AMD)以及其他视场缺陷)具有附加特定益处。提出的针对预先存在的AR眼镜设计的调整解决了先前通过蛮力方法解决的问题，该蛮力方法最终降低了眼镜的可用性和多功能性。通过承认并理解基础现象，经更新的方法建立了一种新的AR范式，其在没有牺牲标准设计的关键优点的情况下，进一步增强低视力用户的体验。在某些应用中，正常视力的用户也会从这些改变中受益。

目前，增强现实(AR)眼镜的实现方式清晰地分成两个互不相干的类别：视频透视(VST)和光学透视(OST)。

VST AR的装置与虚拟现实(VR)装备非常类似，其中佩戴者的眼睛被完全包围，因此只能看见嵌入式显示器上直接示出的内容。VR系统维持全合成三维环境，必须不断对该全合成三维环境进行更新并且以巨大的计算成本进行渲染。VST AR眼镜还可以完全包围眼睛，但可以基于来自沿着用户的视线定向的一个适当安装的相机(或多个相机)的实时视频馈送来呈现图像；因此，数据域和问题域基本上是二维的。与VR类似，VST AR提供对视力刺激的最终外观的绝对控制，并且有助于将捕获的视频与任何合成增强进行配准和同步。还可以以低成本实现接近自然人极限的非常宽广的视场(FOV)。然而，VST装备往往很笨重，并且会引起与图像捕获相关联的附加延迟。更进一步地，用户完全沉浸也会导致周边视力丧失，从而导致需要周边视力的活动性的丧失；它通常还和由与现实脱节引起的副作用(诸如头晕和恶心)相关联。如果视场不足以覆盖用户的整个感兴趣区域，则VR域中的VST也可能存在界限分明的缺点。

另一方面，OST AR眼镜具有直接光路，其允许来自场景的光在视网膜上形成自然图像。这种自然图像本质上与在没有AR眼镜的情况下可能形成的自然图像相同，其中由于光学部件的衰减而可能造成某些亮度损失。相机用于捕获场景以供自动分析，但是其图像无需示出给用户。取而代之的是，来自内部显示器的计算的注释或绘图通过若干种建立的光学组合方法中的任一光学组合方法(例如，将激光直接投影到视网膜上、电子隐形眼镜、鸟浴式光学器件、或半镀银反射镜以供光学组合)叠加到自然视网膜图像上。在传统OST AR应用中，大多数显示器通常保持空白(即，黑色)，以避免最终的视网膜图像贡献光子；显示的增强产生的光线足以在自然图像背景下可见。可以在其上投影注释的水平视场往往局限于中心25度到中心50度，但是实际事件与其感知之间没有延迟。更进一步地，由于对图像传感器的采样、捕获或处理，所以场景图像没有伪像。然而，同步增强变得更具挑战性，可能需要用户相关校准以确保它们正确配准。最后，OST具有VST所缺乏的固有安全程度：如果OST硬件出现故障，则用户仍然可以看见环境。然而，由于难以对由AR叠置产生的双重图像进行解析，所以直接OST通常会令低视力用户感到困惑。

低视力患者的视力辅助眼部佩戴物(eyewear)的主要任务与AR(无论是VST还是OST)的最常用模型不匹配，该最常用模型牵涉到在背景图像上叠加忠实于肉眼可以看到的客观现实的注释或绘图。取而代之的是，辅助设备必须显著改变环境的显示方式，以便补偿用户视力的缺陷。处理可能包括诸如对比度增强和颜色映射之类的效果，但一直并入增加放大率以抵消视敏度不足。用于低视力的现有设备以放大率为中心，因此在具有VST硬件的VST机制中运行。一些使用基于OST的AR平台，但安装了不透明镜头盖，该不透明镜头盖完全阻挡所有环境光进入视网膜——由于相机经由内部显示器供应唯一可见图像，所以它们成为专有的VST系统。

本文中所描述的发明改为采用独特的组合VST/OST方法(混合式透视或HST)来产生最终视网膜图像。这样做准许有效利用每种技术的最佳特点，同时避免或改善不良方面。具体如下：

尽管基于OST的图像的有源显示区域狭窄，但是仍可以为用户维持与VST相关联的宽视场。

对于内部显示器所覆盖的最高敏度中心区域，实现了对最终视网膜图像细节的绝对控制(如同在VST中一样)。

可以通过执行非线性变换和图像重映射的软件来实现增强图像和现实世界的附加融接，以避免在经处理的图像与未经修正的现实之间进行刺眼而突然的过渡。

无论内部显示器的内容如何以及该显示器是否正常工作，自动防故障视力路径都会始终存在(如同在OST中一样)。

低视力用户对自然图像与OST叠置之间的焦点模糊度进行解析的难题得以解决并补救。

提供了一种混合式透视增强现实设备，其包括框架，该框架被配置为佩戴在用户的头部上；相机，其设置在框架上并且被配置为生成未经处理的实时视频图像；第一显示器，其设置在框架内并且包括第一屏障，该第一屏障被配置为基本上防止与用户的视场的中心部分相对应的外部光进入用户的第一只眼睛，同时允许与用户的视场的周边部分相对应的外部光进入用户的第一只眼睛；处理器，其设置在框架上或框架中并且被配置为对来自相机的实时视频图像进行处理以产生视频流，当该视频流显示在第一显示器上时，替换用户的视场的中心部分，同时与用户的视场的周边部分融接。

在一些方面中，该设备还包括第二显示器，该第二显示器设置在框架内并且包括第二屏障，该第二屏障被配置为基本上防止与用户视场的中心部分相对应的外部光进入用户的第二只眼睛，同时允许与用户视场的周边部分相对应的外部光进入用户的第二只眼睛。

在一个示例中，处理器还被配置为在第二显示器上显示视频流。

在另一示例中，处理器被配置为对未经处理的实时视频图像进行处理以产生视频流，与未经处理的实时视频图像相比较，该视频流被增强。与未经处理的实时视频图像相比较，增强后的视频流可以至少部分被放大。在一些示例中，视频流在视频流的中心部分中被放大。在另一示例中，视频流在中心部分之外的部分被放大得比中心部分少，但是被放大得比未经处理的实时视频图像多。

在一个示例中，处理器被配置为对未经处理的实时视频图像进行处理，以将视频流的顶部边缘、底部边缘、左侧边缘和右侧边缘与用户视场的周边部分融接。在另一示例中，处理器被配置为对未经处理的实时视频图像进行处理，以仅将视频流的左侧边缘和右侧边缘与用户视场的周边部分融接。

在一些示例中，处理器被配置为使用图像坐标重映射来对未经处理的实时视频进行处理，以将视频流与用户视场的周边部分融接。在一些示例中，图像坐标重映射包括径向映射。

在一个示例中，该设备还包括输入设备，该输入设备被配置为接收来自用户的输入，该输入关于要应用于未经处理的实时视频图像的增强的类型和/或数量。在一些示例中，输入设备包括物理机械装置。在其他示例中，输入设备包括麦克风，该麦克风设置在壳体上或壳体中，该麦克风被配置为接收来自用户的话音命令。

还提供了一种为低视力用户提供增强视力的方法，该方法包括：使用头戴式相机生成未经处理的实时视频图像；防止与用户的视场的中心部分相对应的光进入用户的第一只眼睛；对未经处理的实时视频图像进行处理以产生视频流，该视频流与用户的视场的中心部分相对应并且与用户视场的周边部分融接；以及将视频流显示在位于用户的视场的中心部分内的显示器上，该显示器基本上防止与用户的视场的中心部分相对应的外部光进入用户的第一只眼睛，同时允许与用户的视场的周边部分相对应的外部光进入用户的第一只眼睛。

在一些示例中，该方法还包括：将视频流显示在位于用户的视场的中心部分内的第二显示器上。在一个示例中，显示器位于用户的第一只眼睛的前面，而第二显示器位于用户的第二只眼睛的前面。

在其他示例中，该方法还包括：对未经处理的实时视频图像进行处理，使得与未经处理的实时视频图像相比较，视频流被增强。在一个示例中，与未经处理的实时视频图像相比较，增强的视频流至少部分被放大。在另一示例中，增强的视频流在视频流的中心部分中被放大。在一个示例中，视频流在中心部分之外的部分被放大得比中心部分少，但被放大得比未经处理的实时视频图像多。

在一些示例中，该方法还包括：对未经处理的实时视频图像进行处理，以将视频流的顶部边缘、底部边缘、左侧边缘和右侧边缘与用户视场的周边部分融接。在其他示例中，该方法还包括：对未经处理的实时视频图像进行处理，以仅将视频流的左侧边缘和右侧边缘与用户视场的周边部分融接。

在一些示例中，该方法还包括：使用图像坐标重映射来对未经处理的实时视频进行处理，以将视频流与用户视场的周边部分融接。在一个示例中，图像坐标重映射包括径向映射。

还提供了一种其上存储有指令的非暂态计算设备可读介质，该指令可由处理器执行，以使得计算设备生成未经处理的实时视频图像；对未经处理的实时视频图像进行处理以产生视频流，该视频流与用户的视场的中心部分相对应并且与用户的视场的周边部分无缝融接；将视频流显示在位于用户视场中心部分内的显示器上，该视频流防止与用户的视场的中心部分相对应的外部光进入用户的第一只眼睛，同时允许与用户的视场的周边部分相对应的外部光进入用户的第一只眼睛。

在一些示例中，指令还使得计算设备将视频流显示在位于用户视场的中心部分内的第二显示器上。

在一个示例中，显示器位于用户的第一只眼睛的前面，而第二显示器位于用户的第二只眼睛的前面。

在其他示例中，指令还使得计算设备对未经处理的实时视频图像进行处理，使得与未经处理的实时视频图像相比较，视频流被增强。在一个示例中，与未经处理的实时视频图像相比较，增强的视频流至少部分被放大。在另一示例中，增强的视频流在视频流的中心部分中被放大。

在一个示例中，视频流在中心部分之外的部分被放大得比中心部分少，但是被放大得比未经处理的实时视频图像多。

在一些示例中，指令还使得计算设备对未经处理的实时视频图像进行处理，以将视频流的顶部边缘、底部边缘、左侧边缘和右侧边缘与用户视场的周边部分融接。在另一示例中，指令还使得计算设备对未经处理的实时视频图像进行处理，以仅将视频流的左侧边缘和右侧边缘与用户视场的周边部分融接。

在一些示例中，指令还使得计算设备使用图像坐标重映射对未经处理的实时视频进行处理，以将视频流与用户视场的周边部分融接。在一个示例中，图像坐标重映射包括径向映射。

附图说明

在所附权利要求书中对本发明的新颖性特征进行具体阐述。通过参考以下具体实施方式，可以更好地理解本发明的特征和优点，该具体实施方式阐述了其中利用了本发明的原理的说明性实施例以及附图，在附图中：

图1A图示了制定混合式透视(HST)增强现实(AR)方法时考虑的三种类型的光线，其中在从侧面观察时的简易眼镜状光学透视(OST)AR可穿戴式平台的背景下对这些光线进行描绘。

图1B图示了从前面观察到(即，直接看着OST AR可穿戴式平台的穿戴者)的图1A的OST AR可穿戴式平台。

图2A是根据本公开的HST设备的一个示例。

图2B是根据本公开的HST设备的一个示例。

图2C是根据本公开的HST设备的一个示例。

图2D是根据本公开的HST设备的一个示例。

图2E是根据本公开的包括一些详述的部件中的部件的HST设备的一个示例。

图3A示出了使用不透明屏障修正以支持用于OST设备的HST的透镜的外(面向场景的)侧。

图3B示出了图3A的透镜的内(面向眼睛的)侧。

图4A包含HST设备的模拟视图，其中，除了示出了具有50度对角线视场的显示器的图片的矩形之外未对视图进行处理。

图4B示出了与图4A相同的视图，但是模拟了包括中心放大的处理，其中显示器的边缘处的图像与显示器外部的目标之间无缝过渡。

图4C示出了与图4A至图4B相同的视图，但是模拟了包括中心放大的处理，其中显示器的左侧边缘和右侧边缘处的图像与显示器外部的目标之间无缝过渡，而显示器的上部边缘和下部边缘处的图像与显示器外部的目标之间仅感知无缝(perceptually-seamless)过渡。

图5A是示出了数据、控件和状态如何与HST设备的主要部件交互以执行有效的低视力处理的高级数据流图。

图5B是示出了为了执行有效的低视力处理而在HST设备中发生的最显著的并行和顺序步骤的高级流程图。

图6A(未按比例绘制)演示了当以16英寸至24英寸的典型阅读距离观察近场物体时，正常人眼如何使用远距视力将来自嵌入式AR显示器的图像聚焦到视网膜上。

图6B(未按比例绘制)演示了当佩戴以较大距离同时显示远场目标的HST设备时，正常人眼如何使用近距视力将近场物体的图像聚焦到视网膜上同时。

图7A描绘了径向对称映射函数的图，其中的映射是恒等变换(identitytransformation)。

图7B描绘了径向对称映射函数的图，其中的映射提供2x的均匀放大率。

图7C描绘了与图4b中所图示的完美无缝融接的HST映射相对应的径向对称映射函数的图，其中2x的均匀中心放大率渐缩到在周边处没有放大率。

图7D描绘了在中心视场上提供了非均匀非线性放大轮廓的径向对称映射函数的图，其中无缝融接适用于HST设备。

具体实施方式

本公开涉及用于向具有低视力(特别是在用户的视场(FOV)的中心中具有低视力)的人、用户或患者提供增强视力的系统、方法、计算设备可读介质、以及设备。

对于患有视网膜疾病的人而言，适应视力丧失已成为一种生活方式。这以多种方式影响他们的生活，包括阅读能力的丧失、收入的丧失、行动能力的丧失、以及整体生活质量的下降。然而，对于诸如AMD(年龄相关黄斑变性)之类的普遍视网膜疾病，并非所有视力都丧失了，并且在这种情况下，周边视力保持未受损伤，因为仅中心视力受到黄斑变性的影响。假定周边视力保持未受损伤，则可以通过增强和优化周边视力来利用偏心观察的优点，同时在感知上维持FOV，否则该FOV随着放大率的增加而减小。通过示例，这些疾病状态可以呈以下形式：年龄相关黄斑变性、色素性视网膜炎、糖尿病性视网膜疾病、Stargardt疾病以及损伤部分视网膜而损害视力的其他疾病。本文中所描述的本公开是新颖的，因为其不仅供应增强视力的系统和方法，而且还提供了简单而强大的硬件增强，这些硬件增强与软件结合工作以结合增强图像提供更自然的视场。

本文中所描述的混合式透视(HST)设备可以由采用多种集成显示技术(包括LCD、OLED或直接视网膜投影)中的任一集成显示技术的非侵入性可穿戴式基于电子器件的AR眼镜系统(参见图2A至图2E)构造。材料还能够代替其中嵌有的电子元件的“眼镜”，因此“眼镜”可以理解为涵盖例如包含材料、IOL、隐形透镜等类似功能单元的透镜片和相机。这些显示器放置在眼睛前面，以便当使用眼睛观察时，轻松显示或投影修正的图像或增强的图像。这通常被实现为每只眼睛的显示器，但也可能仅适用于一个显示器以及两只眼睛都可以观察到的连续大型显示器。

现在，参考图2A至图2E，HST设备99被容纳在眼镜框架模型中，该眼镜框架模型包括对于处理器101、充电和数据端口103、双显示器111、控制按钮106、加速度计陀螺仪磁力计112、蓝牙/Wi-Fi108、自动对焦相机113、闪光灯125、以及扬声器/麦克风组合120可互换的特征部和放置区域两者，其对于本领域技术人员是已知的。例如，包括附图所示的锂离子电池在内的电池107或任何已知或开发的其他版本用作电池。功率管理电路包含在电池内或与该电池接口或监测该电池，以管理功耗，控制电池充电，并且向可能需要不同功率要求的各种设备提供电源电压。

如图2A至图2E所示，任何基本硬件都可以由采用多种集成显示技术(包括LCD、OLED或直接视网膜投影)的非侵入性可穿戴式基于电子器件的AR眼镜系统(参见图2A至图2E)构造。材料还能够代替其中嵌有的电子元件的“眼镜”，因此“眼镜”可以理解为涵盖例如包含材料、IOL、隐形眼镜等类似功能单元的透镜片和相机。

安装在眼镜上或眼镜内的一个或多个相机(静止、视频或两者)113被配置为连续监测眼镜所指向的视野并且连续捕获HST设备中交互存储、操纵和使用的图像。另外，这些相机中的一个或多个相机可以是用于在多种照明条件下进行观察和监测的IR(红外)相机。HST设备还可以包含集成处理器或控制器以及带有嵌入式软件的存储器存储装置(无论是嵌入在眼镜中还是通过电缆进行系缚)，该嵌入式软件实现了实时算法，该实时算法被配置为在一个或多个相机捕获图像时修正这些图像。然后，这些经修正或校正的图像经由显示器连续呈现给用户的眼睛。

本文中所描述的过程在被配置为向用户呈现图像或实时视频流的HST设备中实现。该过程可以在计算机程序(也称为程序、软件、软件应用或代码)中实现，该计算机程序包括用于可编程处理器的机器指令，并且可以以高级程序语言和/或面对对象的编程语言来实现，和/或以汇编语言/机器语言(诸如存储在存储器上并且由处理器执行的机器可读代码或机器可执行代码)来实现。单元从用户、相机、检测器或任何其他设备接收输入信号或数据。其他种类的设备还可以用于提供与用户的交互；例如，提供给用户的反馈可以是任何形式的感觉反馈(例如，视觉反馈、听觉反馈、或触觉反馈)；并且可以以任何形式接收来自用户的输入，该输入包括声音输入、语音输入、或触觉输入。处理器和存储器可以为图2A至图2D所示的HST设备的组成部件，或可以为链接到HST设备的单独部件。此外，能够使用诸如带有显示器的移动平台(蜂窝电路、平板电脑等)、电子放大器和以电子方式启用的隐形眼镜之类的其他设备。

HST设备99包括处理器252A、存储器264A、诸如显示器254A之类的输入/输出设备、通信接口266A和收发器268A、以及其他部件。设备99还可以设有存储设备，诸如微驱动器或其他设备，以提供附加存储。HST设备99、252A，264A、254A、266A和268A中的每个部件都使用各种总线互连，并且部件中的几个部件可以安装在共用主板上，并且视情况而定，还可以以其他方式安装。

处理器252A可以执行在HST设备99内的指令，其包括存储器264A中存储的指令。处理器可以被实现为包括分开的多个模拟和数字处理器的芯片的芯片组。处理器可以提供例如设备99的其他部件的协调，诸如用户接口的控制、设备99所运行的应用、以及设备99所进行的无线通信。

处理器252A可以通过控制接口258A和耦合到显示器254A的显示接口256A与用户通信。显示器254A可以为例如TFT LCD(薄膜晶体管液晶显示器)或OLED(有机发光二极管)显示器或其他适当显示技术。显示接口256A可以包括适当电路系统，该适当电路系统用于驱动显示器254A以向用户呈现图形信息、视频信息和其他信息。控制接口258A可以从用户接收命令并且转换它们以提交给处理器252A。另外，可以提供与处理器252A通信的外部接口262A，以便实现设备99与其他设备的近距离通信。外部接口262A可以例如在一些实现方式中提供有线通信，或在其他实现方式中提供无线通信，并且还可以使用多个接口。

存储器264A将信息存储在HST设备99内。存储器264A可以被实现为以下各项中的一项或多项：一个或多个计算机可读介质、一个或多个易失性存储单元、或一个或多个非易失性存储单元。还可以提供扩展存储器274A，并且通过扩展接口272A将其连接到设备99，该扩展接口272A可以包括例如SIMM(单列直插存储器模块)卡接口。这种扩展存储器274A可以为设备99提供额外存储空间，或还可以为HST设备99存储应用或其他信息。具体地，扩展存储器274A可以包括用于执行或补充上文所描述的过程的指令，并且还可以包括安全信息。因此，例如，扩展存储器274A可以被提供为设备99的安全模块，并且可以使用准许安全使用设备99的指令来进行编程。另外，可以经由SIMM卡以及附加信息(诸如以不可备份方式将标识信息放置在SIMM卡上)来提供安全应用。存储器可以包括例如闪存和/或NVRAM存储器，如下文所讨论的。在一个实现方式中，计算机程序产品以有形方式体现在信息载体中。该计算机程序产品包含当被执行时执行一种或多种方法的指令，诸如上文所描述的指令。信息载体为计算机可读介质或机器可读介质，诸如存储器264A、扩展存储器274A、或处理器252A上的存储器，其可以例如通过收发器268A或外部接口262A接收。

HST设备99可以通过通信接口266A进行无线通信，该通信接口在必要时可以包括数字信号处理电路。通信接口266A可以提供各种模式或协议下的通信，诸如GSM话音呼叫、SMS、EMS或MMS消息收发、CDMA、TDMA、PDC、WCDMA、CDMA2000、GPRS、EDGE、3G、4G、5G、AMPS、FRS、GMRS、民用频段无线电、VHF、AM、FM、以及无线USB等。这样的通信可以例如通过射频收发器268A发生。另外，可能发生短距离通信，诸如使用蓝牙、WI-FI或其他此类收发器(诸如无线LAN、WMAN、宽带固定访问或WiMAX)。另外，GPS(全球定位系统)接收器模块270A可以向设备99提供附加导航和位置相关无线数据，并且能够接收和处理来自卫星或其他应答器的信号以生成关于位置、行进方向和速度的位置数据，该位置数据可以由在HST设备99上运行的应用视情况而定使用。

HST设备99还可以使用音频编解码器260A以听觉方式进行通信，该音频编解码器260A可以接收来自用户的讲话信息并且将其转换为可用数字信息。音频编解码器260A同样可以例如在设备99的听筒中为用户生成可听见声音，诸如通过扬声器。这种声音可以包括来自话音电话呼叫的声音，可以包括记录的声音(例如，话音消息、音乐文件等)，并且还可以包括在设备99上操作的应用所生成的声音。HST设备的一部分为扬声器和麦克风120。扬声器和麦克风可以由处理器252A控制并且被配置为基于处理器控制来在麦克风的情况下接收音频信息、生成音频信息并且将其转换为电信号。

IMU(惯性测量单元)280A连接到总线，或与其他部件集成在一起，生成并提供关于HST设备99的定向的数据。该IMU可以包含罗盘，诸如磁力计、加速度计和/或陀螺仪，以提供方向性数据、撞击和冲击数据或其他信息或关于HST设备所承受的冲击或力的数据。

提供了闪光器和/或手电筒125，并且它们可受处理器控制。闪光器或手电筒可以用作闪光灯或传统手电筒，并且可以包括LED。

因此，本文中所描述的系统和技术的各种实现方式可以在数字电子电路系统、集成电路系统、专门设计的ASIC(专用集成电路)、计算机硬件、固件、软件和/或其组合中实现。这些各种实现方式可以包括一个或多个计算机程序中的实现方式，该一个或多个计算机程序可以在包括至少一个可编程处理器的可编程系统上执行和/或解释，该至少一个可编程处理器可以是专用的或共用的，耦合以从存储系统、至少一个输入设备和至少一个输出设备接收数据和指令并且向其传输数据和指令。

如本文中说使用的，术语“机器可读介质”是指用于向可编程处理器提供机器指令和/或数据的任何计算机程序产品、装置和/或设备(例如，磁盘、光盘、存储器、可编程逻辑设备(PLD))，其包括接收机器指令作为机器可读信号的机器可读介质。术语“机器可读信号”是指用于向可编程处理器提供机器指令和/或数据的任何信号。

HST实现的三个方面一起产生了其在改善用户视力方面的有效性：空间划分、定制图像处理、以及焦点模糊度消除。对这三个益处的详细检查有助于理解产生HST的硬件改变的优点。

空间划分

OST设备中通常存在三种观察类型，其分别与光学透视(OST)光线从观察的场景行进到眼睛中并且到视网膜上时的在特点上有区别的三个路径相对应。仅两种类型从根本上是不同的，但是出于本公开的目的，区分第三种也很方便。

考虑图1A至图1B中的附图，该图1A至图1B分别描绘了采用半镀银反射镜作为光学组合器的示例以将入射场景光与内部安装的显示器上示出的图像合并的示例的OST AR可穿戴式平台内的一只眼睛的侧视图和正视图。在该示例中，显示器安装在眼镜的顶部框架中，并且指向下方，使得反射镜将其反射图像引导到眼睛中，同一反射镜允许来自环境的光直接穿过它进入眼睛。还存在其他安装定向和光学组合策略，其包括鸟浴式光学器件、电子隐形眼镜和直接激光投影，但这一种充分说明了用于所有观察类型的三种相关类型的光路。熟练的从业人员将能够在所有其他OST平台中标识类似路径，而与架构或实现特定细节无关。

在图1A至图1B两者中，标记A、B和C表示源自环境场景、导向眼睛并且行进通过瞳孔并且到达视网膜上的光线。标记A指示直接从场景行进到视网膜而没有与任何反射镜、其他光学组合器或非平凡透镜(non-trivial lenses)相交的光。标记B和C指示从场景行进并且进入视网膜但仅在穿过光学组合器(其在该示例中为半镀银反射镜)和/或组合器上游的任何其他附带光学部件之后才进入视网膜的光。

两者之间的区别在于C与组合器的区域相交，其中内部显示器还投影其输出。来自该显示器的光不会在组合器处与场景光交互，因此，除了几何形状的这一简单事实之外，类型B和类型C之间没有本征差异。然而，下文立即对区别的重要性进行阐明：

类型A。对于不在内部显示器的范围之内(并且也没有被反射镜或折射光学器件/衰减光学器件完全或部分阻挡)的视场的各个部分，存在从场景到视网膜的直接且自然的光路。由于显示器无法影响其视网膜图像，所以该OST路径无法主动参与AR，但是无论内部显示器如何示出，它的存在都会保留用户的现有周边视力，协助维护平衡和均衡，并且维持视力能力的自动防故障程度。

类型B。对于与组合器(其在该示例中为半镀银反射镜)或其他光学部件相交但不与投影的内部显示器重叠的视场的各个部分，当类型B的光线与这些光学部件交互时，由于衰减而可能会损失一些亮度。否则，类型B的光线与类型A的光线相同，并且可以在内部显示的图像上方、下方和旁边提供显著OST周边视力。

类型C。在传统AR应用中，与内部显示器到组合器上的投影相交的这些光线可能在视网膜上与显示器上呈现的图像融接。然而，在混合式透视(HST)中，通过使用不透明屏障阻挡类型C的光到达组合器有意防止了合并来自两个不同方向的光的这种组合过程(其是OST AR的本质所在)，以使用户的中心视场仅包括源自显示器的内容。因此，推翻了定义范式，并且OST眼部佩戴物局部具有视频透视(VST)的特点，从而形成HST架构。

重要的是，应当指出，在低视力应用中尚未利用或建议阻挡类型C的光线。OST AR显示器通常能够提供足以压制(overwhelm)视网膜上的直接场景图像的光功率，从而导致大脑仅仅感知到主导图像。在稍后章节中对通过使用不透明屏障阻挡类型C的光而准予的附加效用进行描述。

将角度空间划分为显式OST区域和显式VST区域才使HST得名。其余两个方面用于扩大其效用。

定制图像处理

在HST设备中，内部OST显示器所提供的图像会替换通常会由类型C的光线产生的自然视网膜图像。通过应用附加处理从安装的相机视频流中实时导出来自显示器的图像。

对与HST一起使用的特定处理进行描述，当前讨论的相关特征包括以下各项：

HST设备的内部显示器有助于用于用户的整个中心视场的密集替换图像，而不仅仅是稀疏AR注释的叠置；

图像处理特定于用户和任务，从而合并选自单个图像增强和修正的大调色板的可重配置组合，但是在其程度的至少一部分内几乎总是包含一定量的放大。由于前景比例与背景比例之间的未对准，所以低视力用户无法看见OST样式叠置中的一部分视场上的放大。

HST设备的图像处理为动态式和响应式。例如，上文所提及的放大可以由用户以交互方式进行调整，并且响应于相机图像中较小特征或较大特征(例如，文本、象形图或规则结构化目标(如图标行))的出现而进行自动计算，或通过人工智能(AI)系统或机器学习(ML)系统自主判定，该AL系统或ML系统通过考虑当前条件以及历史上观察的用户行为来预测和执行用户决定。一般而言，所有图像修正能力不仅可以调整，而且还可以随意启用并禁用，其中响应时间对人类用户而言几乎是即时的。所有单个处理参数、相互联系或相互依存的参数组、或整个操作模式和处理链均经过手动操纵或自主操纵，以便针对用户指定或推断的当前需求定制该处理。

在HST设备中，最终显示的图像被调整为平滑融接到用户的视力的周边区域(由类型A的光线和类型B的光线形成)中，其中有源显示器不会延伸。逐渐减少图像处理从而使其在显示器的边缘处最小的近似融接足以被视为本质上是理想的。这在HST与其他形式的AR(包括VST和OST)之间形成了独特区别：在HST中，显示器所提供的视频图像包括用户的视场的中心部分。本文中所描述的图像处理技术被配置为将视场的中心的显示的图像与用户的自然不可更改的周边视力融接，以在整个视场上为用户形成增强视力。

定制适合用户和当前任务的中心视场利用了VR范式的特色能力(对视网膜图像的最细微细节的绝对控制)，以在最需要它的地方提供灵活定制和效用。传统OST AR产生的显示的图像与它们叠置的自然场景巧妙共存并整合在一起，而HST设备、系统和方法必须应用经过精心选择且苦心调谐的非线性失真来满足它们的用户。尽管有源显示器区域狭窄，但是针对感知无缝的用户体验，显示图像与用户周边视力之间的精心融接恢复了自然宽广的视场。

在一系列图4A至图4C中示出了演示无缝融接或感知无缝融接的应用的示例。图4A是如佩戴HST设备的用户所看见的未经修正的视图。显示的图像400表示具有50度(对角线)视场的HST设备的显示器所显示的图片。目标402(本文中被示为电视遥控器)存在于显示的图像400内，并且还延伸到显示的图像400之外进入用户的周边视力。

图4B模拟了针对显示器的边缘处的图像与显示器外部的目标之间的无缝融接而进行调整的HST设备的佩戴者所看见的视图。融接可以基于经由图像坐标重映射的非均匀放大。例如，显示器的中心部分被放大，但作为显示器的边缘的内容与原始未经处理的视图(被阻挡的类型C的光线)恰好匹配，以便与显示器区域外部的内容或目标对准(到达视网膜的类型A的光线和类型B的光线)。这提供了抵消低视敏度所需的放大，但同时维持了图像连续性和整个视场，以协助导航和定向。在图4B中，可以看出，显示的图像400内的目标402的部分被放大。然而，当目标402的放大的图像延伸到显示图像400之外并且进入用户的周边视力时，它在显示的图像的边缘处与实际目标402无缝融接。

在图4C中，在顶部边缘和底部边缘处放宽了将显示的图像400中显示的图片与用户的周边视力中的目标融接的要求，从而进一步增强了可读性，而不会减小对于阅读任务至关重要的视场或水平连续性。即使向上扫描或向下扫描时，上部和下部连续性对于该任务也并非必需的，因此图像映射仍然在感知上是无缝的。出于教导的目的，图4B和图4C充分捕获了通过HST设备压印到视网膜上的总视场的总体外观和基本特点。附图的静态性质掩盖了主动生成的中心图像(来自内部显示器)、被动收集的周边图像(类型A的光和类型B的光)以及平滑区域之间的过渡的有源显示器的渐缩处理的HST特定组合的至关重要且十分新颖的方面。

划分的混合式配置利用其不同区域的区别特点来协同刺激佩戴者的神经系统的多个方面，产生的结果是特别有利于低视力用户。

下文是对HST划分、处理和硬件所产生的复杂神经系统和感官系统相互作用的描述。首先，应当指出，HST中心视场具有VR显示器的所有特点。最显著的是，它本质上是通过硬件诱致的伪像(包括相机更新速率、运动模糊和等待时间)而与现实脱节。相比之下，周边区域绝对没有与其相关联的延迟。人们对他们自己的运动之间的差异、对其他动作的期望以及对这些运动的视觉感知延迟非常敏感——在某种程度上，这会导致晕车、眩晕、恶心、以及通常与VR设备和VST AR设备相关联的常见不适。然而，尽管在HST中存在这些延迟，但是用户不会遭受VR诱致的不适，因为负责通过调和本体感受和视力刺激来无意识地维持空间定向感的神经系统自动忽略了中心区域并且定位了与佩戴者对运动学和运动的期望正确相关的视网膜视场的部分；即使未延迟的(类型A/类型B)光线仅在视网膜的低敏度周边区域上产生低分辨率图像，提取置信均衡提示的这种内部过程也会成功。

同时，大脑的自愿控制部位连续分析用户有意识地集中在其上的较高敏度的中心视场，并且能够识别和适应延迟和其他伪像。视网膜受损或有痕的低视力用户自然(或通过训练)学会调整他们的观察，以使敏度相对较好的优选视网膜位点(PRL)接收其关注焦点(因此从HST AR接收中心增强的图像)，因此即使使用这种“偏心”观察样式，上述描述仍然适用。包括HST的最后一个方面(处理时渐缩锥形，以使有源显示平滑融接到周边中)以防止震击过渡将注意力吸引到可能分散注意力的不连续性；由于该周边始终位于整个视场的低敏度/低分辨率部分，所以无需完美匹配，并且无需费力即可实现感知无缝性。除非采取细致措施来消除瞳孔间距离和面部特征的用户特定差异，否则由于它们而出现的细微对准差异还会存在，但是同样基本上感知不到。

图5A至图5B示出了定制处理如何集成到完整HST设备中。图5A是专注于数据类型和数据流的高级框图，而图5B呈现了强调过程和序列的流程图。两者一起提供了更全面概述，因为它们既包含重叠信息，又包含互补信息。

在图5A中，原始视频相机图像(551)源自相机(500)，并且进入图像处理管线，该图像处理管线通过预先变换增强块(502a)执行零个或更多个可配置修正，以产生预先变换增强图像(554A)；经由变换块(501)对图像执行任意坐标变换(其适用于均匀或非均匀放大以及融接)，以产生经变换和/或重映射的图像(553)；通过后变换增强块(502b)执行零个或更多个可配置修正，以产生后变换的增强图像(554B)；以及通过叠置块(503)可选地添加文本和其他注释图形，从而产生最终图像(555)，该最终图像将在显示器(504)上呈现给佩戴者。处理块(502a)、(502b)和(503)由设备模式、状态和参数(509)的集合直接控制，这些设备模式、状态和参数(509)被分配(560)到取决于它们的各个块。

(509)中的配置参数源自非易失性配置数据库(512)，该非易失性配置数据库(512)提供了用户特定偏好和校准数据的持久性，其包括例如优选数量的边缘或对比度增强，补充用户的处方的所需量的放大、以及用于所有其他功能和操作的控制设置。配置器过程(511)在启动时对这些参数进行初始化，允许交互式调整用于校准或调谐，并且管理向配置数据库(512)传递存储的或更新的配置(561)并且从该配置数据库(512)传递该存储的或更新的配置(561)，并且管理向有源配置参数(509)传递存储的或更新的配置(560)并且从该远远配置参数(509)传递该存储的或更新的配置(560)。框509、511和512所存储和操纵的参数中包括用于动态可调和可定制的HST遮蔽的任何软件控制的遮蔽信息，其中对特定遮蔽不透明度、位置和边界进行存储和调整，以改善观察几何形状，以使其对面部结构、眼睛位置以及HST设备(例如，鼻子上的高度)及其显示器的相对位置的特质进行了解释。

原始相机图像(551)也被路由到零个或更多个可选自主分析/建模/决定过程(505)，该可选自主分析/建模/决定过程(505)基于图像(551)内容、环境数据和运动传感器数据以及来自辅助传感器或数据源(506)的其他有用数据(556)、当前和历史设备状态和参数(509，通过分配路径560)以及在交互式用户控件(507)上提供的当前和历史直接用户输入(557)来在没有用户输入的情况下发出自主衍生控制指示(558)。因为所有自主过程(505)彼此独立并且独立于用户来做出决定和发出控制指示，所以仲裁器(508)必须设置优先级并且对冲突进行解析，以便产生与完整设备模式、状态和参数(509)的集一致的最终仲裁改变(559)的集。

与增强(502a、502b)操作和叠置(503)操作不同，单个变换(501)块没有被直接调整的控制参数。取而代之的是，变换(501)使用准静态映射(552)作为变换过程的模板。该映射具有与相机图像(551)相同的维度，并且包括要执行的精确重映射变换的隐式非参数和非程序描述。该映射在本质上是个查找表，其统一适用于标准放大、用于融接的渐缩放大、以及任何类型的故意控制失真——因此，所有重映射和失真(包括使原始相机图像保持不变)都经过相同操作和计算，而与其复杂程度无关。映射(552)由映射构建器(510)按需构建，该映射构建器(510)仅在其内容发生改变时重新计算其查找表(如由仲裁更新(559)对设备模式、状态和参数集(509)的相关部分所确定的)。

图5B还描绘了图像处理链，但是作为状态的有序序列。每个帧都在状态600中开始，在状态601中捕获新原始相机图像(551)，在状态603a中依次应用零个或更多个预先变换增强(502a)，在状态602中应用当前变换映射(552)，在状态603b中依次应用零个或更多个后变换增强(502b)，在状态604中绘制零个或更多个叠置图形(503)，并且在状态605中在显示器(504)上显示最终图像(555)。此外，每一帧执行的是将辅助数据(556)从其源(506)更新到最新可用值(状态606)，然后在状态607中，基于来自仲裁器(508)的最近接受的改变(559)来对所有设备模式、状态和参数(509)进行更新；如果HST遮蔽区域是可动态调整的并且已经通过(例如)配置器(511)改变，则这包括更新该HST遮蔽区域。在这点上，每帧处理在状态608中结束。

与每帧视频处理并行，发生附加操作。如图5A的框505所示的自主过程可以被扩展到图5B的框609。任何数目的这些过程都可以存在，其中每个过程都独立于其他所有过程操作。每个过程都采用状态机、启发式技术、人工智能、机器学习或混合或特定设计途径来建模和预测用户的需求或期望，因此通过指示其模式、状态或参数的改变来自主控制HST设备。每个过程都针对其任务进行高度定制，但是所有过程都包含了框609内部所枚举的高级步骤。

首先，做出关于该过程是否需要分析最近视频帧的决定(状态610)；如果否，则该特定过程完成(状态611)。否则，自主过程将分析图像以提取特征或发现信息(状态612)，然后基于图像内容、辅助信息、用户动作(当前和历史)、设备状态(当前和历史)、先前决定以及任何其他可用信息来更新世界、用户和/或设备的其内部模型(状态613)。然后，它使用该模型来决定需要对设备模式、状态或参数进行哪些改变(状态614)。基于是否需要任何改变来做出决定(状态615)。如果无需改变，则自主过程可以终止(状态616)；否则，通过继续到状态617来考虑其请求。

状态617中的仲裁是将所有自主过程与主要图像处理管线同步的会聚点。当所有自主过程都请求改变或终止时，仲裁器(508)对任何冲突(包括由直接用户输入557引起的冲突)进行解析，并且确保其仲裁改变(559)将使设备处于一致且有用的条件下。然后，状态618确定所接受的改变是否可能需要对变换映射的更新(552)——如果这样，则在计算在状态621中终止之前，基于可适用模式、状态和参数来在状态620中重新构建该映射；否则，立即终止(状态619)。

在上文描述中，应当指出，一些框或状态(即，图5A中的502a、502b、503以及图5B中的603a、603b和604)表示零个或更多个操作的依次应用。这是分层实现方法的特色，该分层实现方法允许独立开发单个增强功能或分析，然后当设备正在被操作时以任意方式组成。任何此类操作的输出都成为下一操作的输入，而不考虑任一个的内部细节。因此，用于定制设备操作的动态配置超出了对控制参数的实时操纵，以包括整个管线的动态重新配置；可以随时添加或删除处理能力，以优化计算和能源消耗。将这些操作的应用划分为预先变换组和后变换组(502a对502b，以及603a对603b)，从而可以建立包括变换(503、602)在内的所有操作的任意优化排序；尽管可以在任一组中设置任意操作，但是诸如边缘增强之类的一些操作对比例敏感，并且在无损性能的前提下，在变换后不能重新设置。因此，预先变换增强图像(554a)并入了取决于次序并且不能在变换(503、602)之后应用的处理，而后变换增强图像(554b)包括所有应用的处理的总和。

该可互换处理模块库所提供的功能性包括常见图像处理操作，诸如对比度拉伸(静态相关或数据相关)、对比度增强、颜色重映射(无论是改善色盲还是增强观察)、二值化为黑色和白色、色调分离为颜色减少的调色板、以及边缘检测或边缘增强。所有这些类型的处理的共同特点在于，它们会对它们的输入图像进行调整，以便产生增强输出图像。来自在台式计算机上运行的通常可用的图像处理或照片增强软件的任何功能都适于该方法，因此由框502a、502b、603a和603b表示。

框503和604所表示的过程也可以按任何次序组合(或完全省略)，但是它们只是将图形叠置添加到最终输出图像中。每个过程都检测图像中的形状或目标的类别，以便唤起对它们的注意。经修正的图像不会形成下一过程的输入，因为每个过程都需要分析基础图像而没有任何杂散注释。尽管未在图中明确示出，但这意味着尽管叠置的引入是个依次过程，但是产生所述叠置的计算可能是并行的，实际上可以将其输出基于来自早期处理阶段的中间处理图像，这些输出不仅包括来自502a/603a和502b/603b的各个阶段的输出，而且还包括原始源图像(551)。框503和604所提供的功能性包括在周边定位和标记移动物体，标记深度改变(例如，梯级)，找出具有可读文本的符号，突出显示具有特定文本的符号(例如，警告)以及检测人脸(无论对于用户而言是已知还是未知)。

与增强(502a、502b或603a、603b)操作和叠置操作(604)不同，变换过程(501、602)被示为单个实体。不管选择的变换的复杂度如何，即，无论是执行简单放大、通过融接的非线性放大，还是保持其输入不变，执行变换的时间和能量成本均保持恒定。即使需要多个变换，也是如此，因为这些变换可以组合并简化为单个聚合变换。用作模板的所有映射(552)会产生相同计算集，但是其中数据不同。

这暗示映射构建器(510)可能需要复杂计算才能创建该模板。尽管如此，但是把映射的构造和应用分开会大大缩减影响。映射内容仅在映射发生改变时才需要计算，这相对少见，因为映射内容发生在人为驱动的时标处。即使这样，在人类用户可以感知之前，还可以容忍几个帧的等待时间，从而允许在很长一个时间段内摊销计算，以降低峰值功耗和CPU使用。

变换(501、602)的最直接实现可能针对每个单个显示的帧在逐个像素的基础上计算并应用期望重映射。实际上，可能在每个帧上重新计算整个映射。这是一种浪费但广泛使用的技术，其经由在用于AR的典型商品嵌入式系统上找到的GPU资源利用易于访问的硬件加速。对于本文中所存档的途径，GPU仍然是用于计算映射的可行且通常理想的实现目标，因为它允许使用OpenGL、OpenCL、Vulkan、DirectX、SYCL或在GPU硬件资源上提供抽象层的其他标准形式以图形着色器或计算着色器的形式将映射构建算法指定为软件类似过程。然而，本文中把模板的创建和使用分开效率更高，从而降低了GPU受到温度局限或超额认购的可能性。

映射具有双重目的。首先，当投影到视网膜上时，它会通过策略性地重新定位并重新成形来自相机图像得视力信息来定制用户的视网膜图像。第二目标是并入了与HST整合的渐缩融接。针对低视力用户，HST设备中提供了广泛多种映射，其支持提供具有特定交互行为和外观的可配置参数的设备模式。大多数用户会从可用色域中选择少数模式及其附随映射，从而定期使用它们来提高其执行日常任务的能力。图4B和图4C已经示出了HST映射的操作的一个示例。以下是对实现细节的更一般处理。

映射是一个数学函数，其将源FOV(由相机捕获的)变换为目标FOV(如显示器上所呈现的)。最终变换可以将视力信息从源中的任意位置(多个位置)移动到目标中的任意位置。从数学上讲，这可以通过以下公式进行总结：

即，通过应用名为m的向量函数(即，映射)，可以计算任何给定源坐标对(x，y)的目的坐标

与每个实际有用的m相关联的是表示为m^-1的反向映射，其将目的坐标变换回到源坐标：

最终，m^-1和m均为简单映射，从而具有相同的实现方式；然而，本文中注意这种关系，因为用于HST设备的映射实际上是反向映射，以支持仅在精确输出(显示)像素坐标处计算值的高效GPU实现方式。

在低视力HST设备中，这些二维映射会引入经过仔细控制的失真，以在空间上强调图像的某些部分，同时维持其整体连贯性和可识别性。针对单个用户的独特详细需求，可以对它们进行定制，从而提供对源视场内任何形状或位置的多个区域的强调或增强。尽管对映射m的性质没有根本限制，但是也期望向类别广泛的用户提供即时效用，而无需伴随定制的测量或训练过程。帮助这些目标的有用约束是连续性和径向对称性。连续性避免了在视力上震撼或分散注意力的突然过渡，即使在存在故意引入失真的情况下，也可以保留图像内容的连接性。径向对称映射为当以极坐标(半径r和角度a)而非笛卡尔坐标(x和y)表达时具有不取决于角度的简单形式的映射。因此，整个二维映射由一维方程式

定义，其中半径r和

测量与它们各自的输入图像和输出图像的中心相距的距离。即使仅基于与图像中心相距的距离来调整映射，这些径向对称函数也在直观上是有用的；更为全面的二维映射可以适应(例如)偏心区域、方形区域或椭圆形区域、遵循用户特定轮廓或视敏度恒定的边界的区域、或多个区域的融接组合——而不会增加实现复杂度或资源消耗。对于由于(例如)视网膜损伤而导致视力完全但局部丧失的用户，类别有用的映射提供了翘曲，该翘曲从损坏的区域径向向外推动像素(图片的中心)，从而扭曲视图，但通过使图像在受损视网膜细胞周围流动来恢复遮蔽的物体的可见性。如所陈述的，翘曲可以为任何形式的像素或图像重映射，并且可以包括但不限于从中心或任何位置到另一位置的翘曲、非线性变换、部分放大、融接、以及非对称图像重建。

图7A至图7B图示了最简单的径向映射中的两个最简单的径向映射。在图7A至图7B的所有子图中，h和w分别指示以像素为单位的显示器的高度和宽度。在图7A中，映射为恒等函数

其因为源半径r处的像素在目的半径r处保持不动，所以该映射不会导致图像发生改变；这与图4A所图示的样本处理结果相对应。在图7B中，

从而导致倍数为2的单纯放大。

虽然图7A描绘了无缝融接的HST，但是图7B没有描绘这种无缝融接的HST。为了具有平滑功能的完美无缝融接，针对r≥w/2，需要

图7C示出了图7B中的曲线如何改变为与图4B相对应的无缝融接的HST映射。对于r≤0.4w的值，定义映射的函数为斜率等于2.0的直线，其与倍数为2的均匀中心放大相对应。对于r≥w/2，映射为斜率等于1.0的直线，其按照上述约束的要求经过

在这两个极限之间，存在平滑且渐进过渡(也是直线分段，但由于延伸的分段不会穿过原点，所以不代表线性放大)。当从图4A通过该映射改变为图4B时，整个FOV被保留：即使图4B的中心具有均匀放大，所有原始图像内容也保持可见，尽管周边有些失真。因此，这种映射策略性地(以放大形式)向图像的一部分提供了结构强调，其将命令主动关注并且与视网膜的较高敏度的中心部分交互，同时仍然提供完整FOV作为导航和定向的上下文并且维持HST的平滑过渡。

图7C所示的特定映射为一般反向映射方程的实例：

其中g为中心放大的量(本文中，对于2x放大，g＝2.0)，r₀为中心放大的半径(本文中，r₀＝0.4w)，并且r_max＝w/2。该公式特别通用，因为它允许调整少数直观控制参数，以适应使用不同放大倍数、尺寸不同的中心放大区域和不同过渡区域的观察。通过设置r_max＞w/2，还可以放宽无缝过渡要求，从而仅获得感知无缝性，但是其他映射具有不同的中心、外部和过渡区域特点，如图4C所证实的。每个映射都会在美学外观、失真的数量和类型、计算复杂度、易于控制以及其他因素之间带来不同的权衡。图7D给出了展现出完美无缝的HST过渡的另一示例。该图示出了没有直线分段的连续发生变化的非线性放大映射，除了其中r≥w/2之外——该半径内的每个点处都存在与鱼眼透镜相似的失真。

焦点模糊度消除

对于与投影的内部显示器重合的视场的各个区段(即，观察替换图像的相同区段)，在HST中阻挡从场景到视网膜的直接光路。这可以通过遮蔽光学组合器的面向场景的部分或光学处理链中位于外部光路和内部光路合并的点或位置上游的任何位置来实现。针对其他光学配置(包括涉及鸟浴式光学器件、直接激光投影或电子隐形眼镜的光学配置)，可以实现用于阻挡该光的类似位置和程序。重要的是，应当指出，因为周围区域可能有助于显著周边视力，所以只有组合器(或位于上游的其他可适用面向场景的光学部件)的直接将其面向眼睛的输出图像与内部显示图像叠加的部分才应当被阻挡。

回顾在OST体制下进行的传统AR操作允许来自场景的光直接行进到视网膜并且在其中形成自然图像；然后，内部显示器可以用于压倒该自然图像，以使用户可以看到增强。在这个低视力应用中，用增强的(并且通常是放大的或以其他方式变换的)替换来压倒整(overpower)个场景(在有源显示器限制内)是可取的。

典型OST AR硬件很容易能够产生亮度足以在实际照明条件下压制自然场景图像的图像。对于具有正常视力的用户，这是一种完全合理的操作模式，因为他们将只能感知到单个主导图像，并且如上文所描述的HST在没有阻挡类型C的光到达视网膜的情况下可行。遗憾的是，对于许多低视力用户，甚至是一些其他视力正常的个体，事实并非如此。

为了理解原因，请考虑使用OST眼镜阅读书籍的任务，而没有任何附加放大并且没有阻挡任何直接光路。在没有AR装备的情况下，正常阅读距离为16英寸至24英寸，并且需要适应眼睛内的透镜才能将清晰图像聚焦在视网膜上。AR眼镜上的内部显示器的输出通常被准直为好像源自8英尺到10英尺的距离，从而使眼睛放松并且避免眼睛疲劳。在没有阻挡直接光路的情况下，在OST AR用户的视网膜上形成两个叠加图像——在近场中聚焦自然图像，并且在远场中聚焦显示图像。

视力正常的用户可以在两个几乎相同的图像之间进行轻松选择，从而随意移位焦点。然而，在测试会话中，即使相机图像清楚地示出了对比度增加，低视力用户表现出的阅读能力也较差：他们无法检测并利用通常被视力正常的个体用来驱动他们对完成的焦点响应的对比度提示，因此无法成功专注于任何竞争图像。在涉及中间距离观察的非阅读任务中也注意到了问题。

图6A和图6B(均未按比例绘制)图示了针对具有正常视力和OST AR硬件的用户的上文所描述的情形。

在图6A中，示出了透镜松弛的眼睛，其仅将来自相对较远的图像源的光聚焦到视网膜上。正是因为如此，用户才不会感知到从近场的实体书本发出的光，即，类型C的光线。即使显示器通常与眼睛相距只有几英寸(并且使用诸如电子隐形眼镜之类的其他技术，与显示器相距可能更近)，准直机械装置(本文中被示为分立准直光学器件，尽管它们可能被认为是显示器组件的一部分)也将其光折射为近乎平行(近轴)光线，这些光线好像从更远的虚拟物体发出。图6A中的眼睛仅在内部显示器上看见图像，并且其完美聚焦。

在图6B中，示出了处于适应状态的眼睛，其具有用于近视的更凸的透镜形状。这种形状从书本中捕获发散(非平行)类型C的光线，并且将它们聚焦到视网膜上以形成连贯图像。没有来自显示器的近轴光线进行连贯聚焦，因此忽略了它们。图6A至图6B中的眼睛仅看到该书本的自然形成的图像，并且其完美聚焦。

大多数视力正常的用户可以在图6A至图6B所描绘的两种镜头配置之间随意切换，从而即使从未聚焦的中间状态开始时，也能迅速实现稳定的聚焦视力。该过程是部分自反射的且部分是自发的，其涉及一种反馈机械装置，该反馈机械装置在产生更大对比度和清晰度的方向上连续调整透镜，直到识别出令人满意的焦点为止。

对于低视力用户，减小视敏度会降低对比度和清晰度，使得透镜形状的递增改变对图像质量的影响不太显著。这阻碍了反馈机械装置：因为图像始终保持模糊，所以不太容易确定聚焦质量更好的方向。因为对透镜的任何调整(在任一方向上)一直在提高一个图像的聚焦质量，同时又会损害另一图像的聚焦质量，所以具有几乎相同的竞争图像会带来附加模糊度。当两个图像不同时(例如，如果所显示的图像经过放大或其他处理)，即使已经增强了显示的图像以供低视力用户更容易观察，该问题也仍然存在。

HST通过阻挡直接光路以消除竞争焦距之间的选择来解决该问题，从而确保始终选择经处理的图像。这也允许眼睛只能使用松弛透镜进行操作，从而即使在阅读或观察近场物体时，也避免了眼睛疲劳。

遮蔽实现

用于低视力AR设备的传统途径得出以下结论：外部光是不期望的，必须被完全阻挡，从而导致采用VST AR而非OST AR。对于用户而言，这导致了全部沉浸，其本质上位虚拟现实，伴随有其对均衡和移动性的不利影响。通过理解上文所描述的三个方面的分支，可以清楚地看到，仅阻挡与视网膜上的内部显示图像重合的直接外部光路足以缓解与低视力应用中的OST AR相关联的问题，同时又保留了周边视力和均衡。同样重要的是，不会将来自内部显示器的图像贡献到视网膜上的区域保持畅通无阻，且更为关键的是，这种畅通无阻的区域并入OST AR设备的物理架构中，其中尺寸足以支持人脑依靠其用于对环境进行均衡和置信参考的自然光的通路。

HST的物理实现包括适当形状的物理屏障，其防止外部场景光碰撞在感知内部显示图像的视网膜的区域上；该屏障的负空间隐含地实现了感知无缝融接和外部参考方面。该物理屏障可以由任何适当的不透明材料形成，这些不透明材料包括塑料、乙烯树脂、丝网、金属、油墨、油漆、染料、或甚至适当极化的液晶。不透明程度不必是完全的，因为仅需使用户的视力系统偏向于聚焦在内部显示的图像而非外部光线上；用于实现这种情况的临界不透明度阈值因个体而异，但阻挡至少90％的外部光的相对较暗的遮蔽将适合绝大多数用户。然而，不透明度的确切量不仅取决于用户，还取决于显示技术，并且包括阻挡100％和90％的外部光，还可能包括阻挡至少50％、至少60％、至少70％和至少80％的外部光。

图3A至图3B示出了适用于具有外透镜的任何眼镜状设备的一种简单而有效的实现方式。本文中，乙烯树脂制成的小矩形(无粘合剂)静电附接到非折射保护透镜，以形成HST屏障。除了乙烯树脂外，备选物还包括胶带、油漆、油墨、以及丝网或薄纸片、金属或塑料。当该透镜的内表面不用于光学组合时，则屏障可以位于该表面上(如图3A至图3B所示)，以进行附加隔离并且防止损坏或意外调整。全定制外透镜可以经由摩擦配合、磁体、粘合剂、螺钉、热熔、铆钉或其他常见附接方法使用玻璃或塑料的深色区段或完全不透明区段或使用不透明插入物或附接物来制造。由于近似融接就足够了，所以屏障放置并不关键，可以使用尺寸稍大的形状来给予大多数用户令人满意的性能；从中心处的最高不透明度到边缘附近的较低不透明度的逐渐过渡也支持了视场重叠但特点略有不同的类别较为宽广的用户。一些实现方式(例如，乙烯树脂或胶带)具有可调整的优点。

物理屏障的位置可以根据基础显示器的形式而发生变化。只要不阻挡来自内部显示器的路径，就可以在将自然图像(由类型C的光线形成)和内部显示图像组合的位置之前，在光学系统中的任何点处放置屏障。只要不影响内部显示器图像，这就为在AR装置内任何可用的预先存在的表面上沉积阻挡材料(例如，胶带、油漆、油墨、丝网等)提供可能性，该任何可用的预先存在的表面包括例如较大AR设备内的电子隐形眼镜或内部反射镜/透镜的外侧(面向场景的)表面。

代替使用现有表面，只要不阻挡显示光，物理屏障就可以机械插入并安装在场景光路中的任何位置。这些具有可以针对个体用户进行调整或定制以及在构造和材料选择方面给予全部自由度的独立制造的潜在优势。通常，一直可以在眼镜状框架上产生新颖最外侧透镜，该新颖最外侧透镜不会提供折射，只会用来提供这种屏障；这甚至适用于电子隐形眼镜，尽管当然也引入了眼镜框架。

物理屏障种类中包括如在LCD面板中由适当偏振的液晶产生的阻挡。一种方便实现方式会将这种LCD状结构嵌入AR设备内的透镜中。然后，可以经由电子控件来操纵电场，以定制透明区域与阻挡区域之间的特定边界，从而针对每个特定用户调谐其尺寸和位置，以补偿关于HST设备及其显示器的特有面部结构和眼睛位置。为了便于制造或整合，充当HST物理光屏障的具有这种可控性程度的LCD面板可以大于所需HST区域——甚至包括整个透镜或涵盖用户的整个视场。这些方面适用于可以对其进行电性极化或操纵以获得具有不同透明度程度的状态之间的过渡的任何介质。由于可以在掉电时自发或自动停用屏障(以实现出色的自动防故障观察)，所以电子控制给予附加灵活性。

定制处理和硬件设计(包括不透明屏障)的独特组合提供了一种HST设备，其在单个设备中利用OST和VST AR两者的最佳方面。在原始眼镜将会在传统基于叠置的AR应用中运转最好的情况下，添加图像处理算法支持低视力的增强需求，同时维持自然宽度的视场，对该图像处理算法进行量身定制以放大、改善或以其他方式操纵中心可见图像，同时将其无缝或近乎不可感知地融接到周边。与经调整的硬件配置的新颖性协同工作，处理和融接方法不仅消除了与VR(和VST AR)相关联的均衡问题，而且还消除了低视力用户在OST AR中遇到的焦点模糊度问题。得到了提供用户特定增强和任务特定增强的系统，为眼睛提供了精确控制的图像细节的宽广视场，置信均衡所需的零延迟提示、以及硬件故障情况下的自动防故障视力路径。

虽然本文中已经对本公开的优选实施例进行了示出和描述，但是对于本领域技术人员而言，这样的实施例仅通过示例提供。在没有背离本发明的情况下，本领域技术人员现在应当想到许多变型、改变和替换。应当理解，本文中所描述的本发明的实施例的各种备选方案可以用于实践本发明。本文中所描述的实施例的许多不同组合是可能的，并且这样的组合被认为是本公开的一部分。另外，结合本文中的任一实施例所讨论的所有特征可以容易适于在本文中的其他实施例中使用。意图是所附权利要求限定本发明的范围，并且由此覆盖这些权利要求范围内的方法和结构及其等同物。

当特征或元件在本文中被称为位于另一特征或元件“上”时，它可以直接位于另一特征或元件上，或也可以存在中间特征和/或元件。相比之下，当特征或元件被称为“直接”位于另一特征或元件“上”时，则不存在中间特征或元件。还应当理解，当特征或元件被称为“连接”、“附接”或“耦合”到另一特征或元件时，它可以直接连接、附接或耦合到另一特征或元件或可能存在中间特征或元件。相比之下，当特征或元件被称为“直接连接”、“直接附接”或“直接耦合”到另一特征或元件时，则不存在中间特征或元件。尽管关于一个实施例进行了描述或示出，但是如此描述或示出的特征和元件可以应用于其他实施例。本领域的技术人员还应当领会，提及与另一特征“相邻”设置的结构或特征可以具有与相邻特征重叠或位于其下面的部分。

本文中使用的术语仅出于描述特定实施例的目的，并不旨在限制本发明。例如，如本文中所使用的，除非上下文另有明确指出，否则单数形式“一”、“一个”和“该”也旨在包括复数形式。还应当理解，当在本说明书中使用术语“包括(comprises)”和/或“包括(comprising)”时，这些术语指定所述特征、步骤、操作、元件和/或部件的存在，但并不排除存在或添加一个或多个其他特征、步骤、操作、元件、部件和/或其组。如本文中所使用的，术语“和/或”包括相关联的所列项中的一个或多个项的任何和所有组合，并且可以缩写为“/”。

为了便于描述，在本文中可以使用空间相对术语，诸如“在......下(under)”、“在......下方(below)”、“下部(lower)”、“在......上方(over)”、“上部(upper)”等，以描述附图中所图示的一个元件或特征与一个或多个另一元件或特征的关系。应当理解，除了图中所描绘的定向之外，空间相对术语还旨在涵盖设备在使用或操作时的不同定向。例如，如果附图中的设备倒置，则被描述为在其他元件或特征“在......下”或“在......下面(beneath)”的元件可能被定向为位于其他元件或特征“上方”。因此，示例性术语“在...下”可以涵盖上和下两个定向。可以以其他方式定向设备(旋转90度或其他方向)，据此解释本文中所使用的空间相对描述语。同样，除非另有特别指出，否则术语“向上(upwardly)”、“向下(downwardly)”、“垂直(vertical)”、“水平(horizontal)”等在本文中仅用于解释目的。

尽管术语“第一”和“第二”在本文中可以用于描述各种特征/元件(包括步骤)，但是除非上下文另有指出，否则这些特征/元件不应受到这些术语的限制。这些术语可以用于将一个特征/元件与另一特征/元件区分开。因此，在没有背离本发明的教导的情况下，下文所讨论的第一特征/元件可以被称为第二特征/元件，同样，下文所讨论的第二特征/元件可以被称为第一特征/元件。

在整个本说明书和以下的权利要求书中，除非上下文另有要求，否则单词“包括(comprise)”以及诸如“包括(comprises)”和“包括(comprising)”之类的变型意味着可以在方法和文章中共同采用各种部件(例如，包括和方法的组合物和装置)。例如，术语“包括(comprising)”将被理解为暗示包括任何陈述元件或步骤，但是不排除任何其他元件或步骤。

一般而言，本文中所描述的装置和方法中的任一装置和方法应当被理解为包含性的，但是部件和/或步骤的全部或子集可以可替代地是排他性的，并且可以被表达为“由(consisting of)”或可替代地“基本上由(consisting essentially of)”各个部件、步骤、子部件或子步骤组成。

如本文中在说明书和权利要求书中所使用的(包括如在示例中所使用的在内)并且除非另有明确说明，否则即使该术语没有明确出现，所有数字也都可以被读作好像由单词“约”或“近似”开头。当描述幅度和/或位置时，可以使用短语“约”或“大约”来指示所描述的值和/或位置在值和/或位置的合理预期范围内。例如，数字值的值可以是规定值的+/-0.1％(或值的范围)、规定值的+/-1％(或值的范围)、规定值的+/-2％(或值的范围)、规定值的+/-5％(或值的范围)、规定值(或值的范围)的+/-10％等。本文中所给出的任何数值还应当被理解为除非上下文另有指出，否则包括约或大约该值。例如，如果公开了值“10”，则还公开了“约10”。本文中所叙述的任何数值范围旨在包括其中包含的所有子范围。还应当理解，如本领域技术人员适当理解的，当公开的值“小于或等于”该值时，还公开了“大于或等于该值”以及值之间的可能范围。例如，如果公开了值“X”，则还公开了“小于或等于X”以及“大于或等于X”(例如，其中X为数值)。还应当理解，在整个申请中，以若干种不同格式提供数据，并且该数据表示端点和起点以及数据点的任何组合的范围。例如，如果公开了特定数据点“10”和特定数据点“15”，则应当理解，大于、大于或等于、小于、小于或等于、以及等于10和15被认为介于10和15之间也都被公开。还应当理解，还公开了两个特定单元之间的每个单元。例如，如果公开了10和15，则还公开了11、12、13和14。

尽管上文对各种说明性实施例进行了描述，但是在没有背离如权利要求所描述的本发明的范围的情况下，可以对各种实施例进行若干个改变中的任一改变。例如，在备选实施例中，可以经常改变执行所描述的各种方法步骤的次序，而在其他备选实施例中，一共可以跳过一个或多个方法步骤。各种设备和系统实施例的可选特征可以包括在一些实施例中而非其他实施例中。因此，主要出于示例性目的而提供前面描述，并且其不应被解释为限制如权利要求中所阐述的本发明的范围。

本文中包括的示例和图示以图示而非限制的方式示出了其中可以实践本主题的特定实施例。如所提及的，可以利用其他实施例并且从中导出其他实施例，使得在没有背离本公开的范围的情况下，可以进行结构和逻辑替换和改变。仅出于方便起见，本文中可以单独地或共同地使用术语“发明”来指代本发明主题的这些实施例，而如果事实上公开了一个以上，则不旨在将本申请的范围限制为任何单个发明或发明构思。因此，尽管本文中已经对特定实施例进行了说明和描述，但是为实现相同目的而计算的任何布置都可以代替所示的特定实施例。本公开旨在覆盖各种实施例的任何和所有修正或变化。通过阅读以上描述，上述实施例的组合以及本文中未具体描述的其他实施例对于本领域技术人员而言是显而易见的。

Claims (36)

1.一种混合式透视增强现实设备，包括：

框架，被配置为佩戴在用户的头部上；

相机，设置在所述框架上并且被配置为生成未经处理的实时视频图像；

第一显示器，设置在所述框架内并且包括第一屏障，所述第一屏障被配置为基本上防止与所述用户的视场的中心部分相对应的外部光进入用户的第一只眼睛，同时允许与所述用户的视场的周边部分相对应的外部光进入所述用户的所述第一只眼睛；

处理器，设置在所述框架上或所述框架中并且被配置为对来自所述相机的所述实时视频图像进行处理以产生视频流，所述视频流当显示在所述第一显示器上时替换所述用户的视场的所述中心部分，同时与所述用户的视场的所述周边部分融接。

2.根据权利要求1所述的设备，还包括第二显示器，所述第二显示器设置在所述框架内并且包括第二屏障，所述第二屏障被配置为基本上防止与所述用户的视场的所述中心部分相对应的外部光进入所述用户的第二只眼睛，同时允许与所述用户的视场的所述周边部分相对应的外部光进入所述用户的所述第二只眼睛。

3.根据权利要求2所述的设备，其中所述处理器还被配置为将所述视频流显示在所述第二显示器上。

4.根据权利要求1所述的设备，其中所述处理器被配置为对所述未经处理的实时视频图像进行处理以产生所述视频流，与所述未经处理的实时视频图像相比，所述视频流被增强。

5.根据权利要求1所述的设备，其中与所述未经处理的实时视频图像相比较，所述增强的视频流至少部分被放大。

6.根据权利要求5所述的设备，其中所述视频流在所述视频流的中心部分中被放大。

7.根据权利要求6所述的设备，其中所述视频流的在所述中心部分之外的部分被放大得比所述中心部分少，但是被放大得比所述未经处理的实时视频图像多。

8.根据权利要求4所述的设备，其中所述处理器被配置为对所述未经处理的实时视频图像进行处理，以将所述视频流的顶部边缘、底部边缘、左侧边缘和右侧边缘与所述用户的视场的所述周边部分融接。

9.根据权利要求1所述的设备，其中所述处理器被配置为对所述未经处理的实时视频图像进行处理，以仅将所述视频流的左侧边缘和右侧边缘与所述用户视场的所述周边部分融接。

10.根据权利要求1所述的设备，其中所述处理器被配置为使用图像坐标重映射对所述未经处理的实时视频进行处理，以将所述视频流与所述用户视场的所述周边部分融接。

11.根据权利要求10所述的设备，其中所述图像坐标重映射包括径向映射。

12.根据权利要求4所述的设备，还包括输入设备，所述输入设备被配置为接收来自所述用户的输入，所述输入关于要应用于所述未经处理的实时视频图像的增强的类型和/或数量。

13.根据权利要求12所述的设备，其中所述输入设备包括物理机械装置。

14.根据权利要求12所述的设备，其中所述输入设备包括麦克风，所述麦克风设置在所述壳体上或所述壳体中，所述麦克风被配置为接收来自所述用户的话音命令。

15.一种为低视力用户提供增强的视力的方法，包括：

使用头戴式相机生成未经处理的实时视频图像；

防止与所述用户的视场的中心部分相对应的光进入所述用户的第一只眼睛；

对所述未经处理的实时视频图像进行处理以产生视频流，所述视频流与所述用户的视场的所述中心部分相对应并且与所述用户视场的周边部分融接；

将所述视频流显示在位于所述用户的视场的所述中心部分内的显示器上，所述显示器基本上防止了与所述用户的视场的所述中心部分相对应的外部光进入所述用户的所述第一只眼睛，同时允许与所述用户的视场的所述周边部分相对应的外部光进入所述用户的所述第一只眼睛。

16.根据权利要求15所述的方法，还包括：将所述视频流显示在位于所述用户的视场的所述中心部分内的第二显示器上。

17.根据权利要求16所述的方法，其中所述显示器位于所述用户的所述第一只眼的前面，而所述第二显示器位于所述用户的所述第二只眼睛的前面。

18.根据权利要求12所述的方法，还包括：对所述未经处理的实时视频图像进行处理，使得与所述未经处理的实时视频图像相比较，所述视频流被增强。

19.根据权利要求18所述的方法，其中与所述未经处理的实时视频图像相比较，所述增强的视频流至少部分被放大。

20.根据权利要求19所述的方法，其中所述增强的视频流在所述视频流的所述中心部分中被放大。

21.根据权利要求20所述的方法，其中所述视频流的在所述中心部分之外的部分被放大得比所述中心部分少，但是被放大得比所述未经处理的实时视频图像多。

22.根据权利要求15所述的方法，还包括：对所述未经处理的实时视频图像进行处理，以将所述视频流的顶部边缘、底部边缘、左侧边缘和右侧边缘与所述用户视场的所述周边部分融接。

23.根据权利要求15所述的方法，还包括：对所述未经处理的实时视频图像进行处理，以仅将所述视频流的左侧边缘和右侧边缘与所述用户视场的所述周边部分融接。

24.根据权利要求15所述的方法，还包括：使用图像坐标重映射来对所述未经处理的实时视频进行处理，以将所述视频流与所述用户视场的所述周边部分融接。

25.根据权利要求24所述的方法，其中所述图像坐标重映射包括径向映射。

26.一种其上存储有指令的非暂态计算设备可读介质，所述指令能够由处理器执行，以使得计算设备：

生成未经处理的实时视频图像；

对所述未经处理的实时视频图像进行处理以生成视频流，所述视频流与用户视场的中心部分相对应并且与所述用户视场的周边部分无缝融接；

将所述视频流显示在位于所述用户的视场的中心部分内的显示器上，所述显示器基本上防止了与所述用户的视场的所述中心部分相对应的外部光进入所述用户的第一只眼睛，同时允许与所述用户的视场的所述周边部分相对应的外部光进入所述用户的所述第一只眼睛。

27.根据权利要求26所述的设备可读介质，其中所述指令还使得所述计算设备将所述视频流显示在位于所述用户视场的所述中心部分内的第二显示器上。

28.根据权利要求27所述的设备可读介质，其中所述显示器位于所述用户的所述第一只眼睛的前面，而所述第二显示器位于所述用户的第二只眼睛的前面。

29.根据权利要求26所述的设备可读介质，其中所述指令还使得所述计算设备对所述未经处理的实时视频图像进行处理，使得与所述未经处理的实时视频图像相比较，所述视频流被增强。

30.根据权利要求29所述的设备可读介质，其中当与所述未经处理的实时视频图像相比较时，所述增强的视频流至少部分被放大。

31.根据权利要求30所述的设备可读介质，其中所述增强的视频流在所述视频流的中心部分中被放大。

32.根据权利要求31所述的设备可读介质，其中所述视频流的在所述中心部分之外的部分被放大得比所述中心部分少，但是被放大得比所述未经处理的实时视频图像多。

33.根据权利要求26所述的设备可读介质，其中所述指令还使得所述计算设备对所述未经处理的实时视频图像进行处理，以将所述视频流的顶部边缘、底部边缘、左侧边缘和右侧边缘与所述用户视场的所述周边部分融接。

34.根据权利要求26所述的设备可读介质，其中所述指令还使得所述计算设备对所述未经处理的实时视频图像进行处理，以仅将所述视频流的左侧边缘和右侧边缘与所述用户视场的周边部分融接。

35.根据权利要求26所述的设备可读介质，其中所述指令还使得所述计算设备使用图像坐标重映射来对所述未经处理的实时视频进行处理，以将所述视频流与所述用户视场的所述周边部分融接。

36.根据权利要求35所述的设备可读介质，其中所述图像坐标重映射包括径向映射。

Images