CN104954777B

CN104954777B - 一种显示视频数据的方法和装置

Info

Publication number: CN104954777B
Application number: CN201510110437.5A
Authority: CN
Inventors: 罗恩·福里丹托尔
Original assignee: Individual
Current assignee: Individual
Priority date: 2014-03-29
Filing date: 2015-03-13
Publication date: 2018-12-11
Anticipated expiration: 2035-03-13
Also published as: CN104954777A; US9971153B2; US20150277121A1

Abstract

一种显示影像的方法和装置。其中，方法包括：接收包含深度信息的影像；基于深度信息至少确定第一像素组和第二像素组；以及将第一像素组显示在投影装置的第一焦点位置，并将第二像素组显示在投影装置的第二焦点位置。

Description

一种显示视频数据的方法和装置

技术领域

本发明涉及一般的摄像机和投影机，尤其是一种高质量显示视频数据的方法和装置。

背景技术

视频投影机是一种接收视频输入信号并投影相应影像的投影机。视频投影机用途广泛，包括但不限于会议室演示、课堂培训、家庭影院和音乐会。视频投影的新兴用途为用于显示视频和游戏的可穿戴头戴式显示器，该显示器也可作为一般电脑和智能手机的显示界面，具备传统的显示功能以及眼动跟踪等新型显示功能。视频投影机可连接至各种源并接收视频信号。

视频投影机接收视频信号，并将相应的影像或影像序列映射到投影屏幕、头戴式显示器用户的视网膜或其他目标或区域（以下统称为“投影屏幕”）。一部视频投影机包括一个成像元件和一个光学系统。其中，成像元件又称有源矩阵，构成同视频信号相对应的影像；光学系统投射影像并将影像对焦到屏幕、视网膜或其他目标。

视频投影机领域内涉及影像质量的一个重大难题是需要同时对焦整个投影影像。之所以产生这一问题，是因为视频投影机和各种投影区域之间的距离不同。在显示 3D 视频流、增强现实感、显示立体电影或其他涉及头戴式显示器的 3D 用途中，当需要以不同焦距对焦影像的不同部分时，存在相似但更为棘手的难题。

对该问题的已知解决方案是使用到视频投影机距离几乎相等的合适平面屏幕。但是，这一解决方案限制了可实施用途的类型。

另一种解决方案是半关镜头孔径以增加焦深。但是，半关孔径会降低投影机亮度，并进而降低观看质量或电源效率。

以不同焦距对焦影像不同部分这一难题在头戴式显示器 (HMD) 和光学头戴式显示器 (OHMD) 领域尤为突出。HMD 为形状为头盔、眼镜或其他形状的可穿戴视频显示器，将单独的视频流投影至用户的每只眼睛。OHMD 为带半透明光学元件的可穿戴显示器，该装置可将投影影像反射至用户双眼，并让用户能够透过该装置看到周围物理环境。

HMD 的一种用途是向用户显示 3D 内容。人类通过两大线索感知 3D: 一个是右眼和左眼所感知到的影像的立体视差，另一个是经双眼恰当光学调节所匹配的光学距离差。传统 3D 显示屏仅提供立体视差这一条线索，通过向左眼和右眼投影不同的内容实现3D 效果。范例包括在相同固定距离投影的现有技术 3D 电视套件、电影院 3D 电影以及3D HMD。其中，固定距离可以是到电视屏幕、电影院屏幕或 HMD 内影像焦平面的距离。由于无法呈现第二条 3D 线索，也就是变化焦距匹配 3D 立体视差，投影内容的 3D 效果降低。此外，这还严重影响了 HMD 在某些用途的性能。

HMD 和 OHMD 的另一种用途是增强现实感。在该用途中，显示内容被关联至光学元件感知或摄像机捕捉到的现实影像，经装置重建并由额外视频内容增强现实感。对于OHMD, 用户通过不同距离的目标感知真实世界。其中，覆盖在现有技术 OHMD 所感知真实影像上的增强层只有一个焦距。该焦距可能与真实世界中的一些目标相一致，但却与更近或的目标不一致。

人眼对所感知目标的特定距离的对焦可称为调节。由于人眼焦深和调节的局限，用户或对焦至目标并看到模糊的增强层，或对焦至增强层看到模糊的目标。

发明内容

本发明的一个典型实施例是一种通过投影装置显示影像的方法，该方法包括：接收包含深度信息的影像；基于深度信息至少确定第一像素组和第二像素组；以及将第一像素组显示在投影装置的第一焦点位置，并将第二像素组显示在投影装置的第二焦点位置。在该方法中，投影装置为头戴式显示器。在该方法中，投影装置为光学头戴式显示器，同时接收投影的视频和投影装置的周围环境。在该方法中，深度信息根据投影影像下的环境影像计算得出。该方法可进一步包含对一个视频流中多个影像重复进行上述接收、确定和显示。其中，视频流以至少约为每秒 10 帧的帧频显示。在该方法中，视频为立体视频。该视频包含左眼通道和右眼通道，并且左眼通道和右眼通道间存在立体视差。其中，第一组序列包含显示在观看者左眼的影像，第二组序列包含显示在观看者右眼的影像；两组序列影像从视频中检索得出。深度信息从分别显示在左眼和右眼的影像间的立体视差得出。其中，所述显示包括将第一组序列投影至观看者左眼，将第二组序列投影至观看者右眼。

本发明的另一个典型实施例是一个投影系统，该系统包括：一个形成投影影像的有源矩阵和一个将影像投影到屏幕的光学系统。其中，光学系统的焦距会在影像显示期间变化。在该投影系统中，影像内第一像素组中的像素在光学系统呈现第一焦点位置时打开，其他焦点位置时关闭；影像内第二像素组中的像素在光学系统呈现第二焦点位置时打开，其他焦点位置时关闭。在该投影系统中，影像内第一像素组在光学系统呈现第一焦点位置时显示；影像内第二像素组在光学系统呈现第二焦点位置时显示。

本发明的另一个典型实施例是一个视频投影系统，该系统包含:一个形成投影影像的有源矩阵、一个将影像投影到屏幕的光学系统、一个反馈影像传感器和一个半透射镜。其中，半透射镜的放置位置使有源矩阵和反馈影像传感器形成到半透射镜相等的光路。在该视频投影系统中，影像从屏幕反射，并由反馈影像传感器采集，用于控制视频投影系统的运行参数。在该视频投影系统中，影像投影至观看者的一边视网膜，并且反馈影像传感器采集的信息用于控制视频投影系统的运行参数，以对焦影像或在视网膜上对焦。该视频投影系统中包含一部观看者可穿戴装置。

本发明的另一个典型实施例是一种视力辅助装置，该装置包括：至少一部采集装置周围环境视频流的摄像机；一个处理所捕捉视频的处理单元和一个由成像有源矩阵构成、用于将所捕捉视频流投影至用户一边视网膜的头戴式显示器。其中，视力辅助装置为可穿戴式装置。在该视力辅助装置中，摄像机包括第一摄像机和第二摄像机。第一摄像机捕捉到的视频投影至用户左眼；第二摄像机捕捉到的视频投影至用户右眼。在该视力辅助装置中，处理单元对视频进行处理，以改变一个或多个投影参数。各投影参数从由色谱、亮度和布局几何结构组成的参数组中选出。该视力辅助装置包含一个反馈影像传感器和一个半透射镜。其中，半透射镜成对角线地放置在影像传感器和有源矩阵之间，使二者到该半透射镜的光路相等。在该视力辅助装置中，处理单元将视频流的影像扭曲并重新映射到视网膜中至少一个敏感部分。其中，采用反馈影像传感器在眼球移动期间控制视网膜上影像的对齐。

附图说明

通过以下附图和详细描述可更好的理解和领会本发明。在这些附图中，相应或类似的数字或符号代表相应或类似的组成部分。除非另有说明，否则这些附图仅示例本发明的典型实施例或本发明的各个方面，而非局限本发明的范围。在这些附图中：

图 1 为一部 3D 视频投影机的示意图，与本发明的一些实施例一致；

图 2 为头戴式显示器和光学头戴式显示器的示意图，与本发明的一些实施例一致；

图 3 为带影像反馈传感器的 3D 投影机的示意图，与本发明的一些实施例一致；

图 4 为以不同焦距投影影像不同部分的示意图，与本发明的一些实施例一致；

图 5 为以不同焦距投影不同像素组时透镜运动和像素激活的时间图，与本发明的一些实施例一致；

图 6 为以不同焦距显示影像不同部分的方法的流程图，与本发明的一些实施例一致；

图 7 为使用反馈摄像机调节影像不同部分焦距进行投影的方法的步骤流程图，与本发明的一些实施例一致；

图 8 为展示增强现实感的方法的步骤流程图，与本发明的一些实施例一致；

图 9 为一种用户视力辅助方法的步骤流程图，与本发明的一些实施例一致。

详细说明

本发明详述如下，并附有方法、装置（系统）和计算机程序产品的流程图和/或框图，与本发明的实施例一致。应当理解，流程图和/或框图的每个方框以及流程图和/或框图中多个方框的组合，都可以由计算机程序指令和/或电子电路实现。这些计算机程序指令可以提供给通用处理器、应用处理器和专用集成电路，通过计算机或其他可编程数据处理装置的处理器进行执行，从而创造方法实施流程图和/或框图方框中指定的功能/操作。

这些计算机程序指令也可存储在能指示计算机或其他可编程数据处理装置以特定方式工作的计算机可读介质中，这样，存储在计算机可读介质中的指令会产生一个包含指令方法的制品，实施流程图和/或框图中单个或多个方框指定的功能/操作。

这些计算机程序指令还可以加载到计算机或其他可编程数据处理装置上，从而在这些设备上执行一系列操作步骤，以产生一个由计算机实现的进程，使得在计算机或其他可编程装置上执行的指令能够提供若干进程，用于实施流程图和/或框图方框所述功能/操作。

本发明旨在解决一个技术难题，那就是视频投影机投影的影像可能包含焦距不同的区域，或者影像应投影到特定的距离由观看者感知，而当前的投影机只以单一焦距投影整个影像。现有技术 HMD 的光学系统中配备对焦元件，能够将显示影像的感知焦距调节到适宜用户眼睛的焦距。但是，该对焦元件将整个显示的影像对焦到了一个特定的焦距。这在显示普通视频时效果不太理想，显示 3D 内容时更加糟糕，用于 OHMD 增强现实感时尤为糟糕。尽管通过 OHMD 光学元件感知的周围真实世界目标本身具有不同的距离，但现有OHMD 显示的额外视频层只有单一焦距，因此会造成不适且失真的感觉。

人眼调节其焦距以对焦到不同距离的目标上。因此，人类无法感知明显处于不同距离同时又清晰的目标。所以，在增强现实感应用中，如果感知到真实世界目标影像与其上覆盖影像的距离不同，那么观看者所感知到的投影影像或真实目标影像就会是模糊的。

因此，为了提升感知结果，投影机应以与下层目标光学距离相同的距离投影覆盖影像，以避免感知到的目标或覆盖影像存在模糊。

本发明提出一个技术解决方案，即以不同焦距显示诸如视频影像（也称画帧）等影像的不同部分。如此一来，影像的各区域均以该区域内容对应的焦距显示。在一些实施例中，视频投影机配备移动对焦元件或可变焦对焦元件。当这些元件在其可能焦点位置或焦值上移动时，几乎可在所有可能焦距提供投影所需的整个焦点范围。例如在单个画帧的显示期间，投影机可能需要将有效焦值从感知的约 10cm 更改到感知的无限大。然而，在一些实施例或应用中，如为近视眼或远视眼用户进行光学校正，所要求的焦点范围可能更大。

对焦元件可以是能够沿透镜光轴移动的光学透镜。对焦元件也可以是可改变形状的透镜或射镜，或其他能够改变光学系统有效焦距的元件或机械装置。在本发明中，焦点变化、焦点位置变化和其他类似的术语均指改变光学元件的有效焦点；焦点长度、焦点距离、焦点位置这三个术语可交换使用。

依照一些实施例，投影光学系统可能会以投影视频帧频同等或相关的频率定期改变其焦距。投影机成像元件可能会在画帧显示时间的不同子周期显示不同的影像像素组，这样一来，就只会显示该子周期内焦距与移动对焦元件所提供焦距相对应的影像区域。因此，只有当投影机大体位于区域相应焦距时才会显示该画帧区域。这样的结果就是单个投影影像或画帧的不同部分以不同的焦点位置在不同时间显示。这样一来，当对焦元件位于适当焦点位置时，影像区域仅在一部分帧周期显示。然而，当帧频足够高时（如每秒10帧或以上），由于人类视觉感知的“取平均”特性，当以适当焦距持续显示影像各子部分时，所感知到的整个影像是连续显示的。

应了解，可逐步或依照周期函数或重复函数，通过调和函数法——分段线性改变焦距。

依照本发明的影像可包含深度信息。深度信息可能作为 3D 影像的额外图层提供。从通过影像处理技术采集的影像中的数据、构成影像的视频流中的数据、 3D 扫描仪采集的数据或任何其他数据中也可以确定深度信息。例如，在存在两个通道并且各通道间存在立体视差的立体流中，可从立体视差中确定深度信息。

另一种关于 3D HMD 的技术解决方案如下，与本发明的一些实施例一致。装置可配备对焦元件，如可呈现多个焦距的透镜等。透镜的焦点范围（即装置提供的焦距）被分为数个子范围。各待显示的 3D 画帧被分为数个子画帧，各子画帧包含以对应深度子范围投影的像素。对焦透镜在各视频画帧显示期间扫过对焦范围，相应的子画帧显示在对焦透镜相应的焦距。应了解，各子画帧可包含零个或多个位于画帧各坐标的像素。

在影像显示期间，当焦点适于像素，即当透镜位于给定像素的恰当焦点位置时，所显示影像的各像素激活（即打开）；在其他大部分显示时间失活（即关闭）。或者，激活像素可以第一亮度级显示，失活像素以低于第一亮度级的第二亮度级显示。在一些实施例中，第一亮度级可大致等同于像素标称亮度级，第二亮度级可等同于最低亮度级，如零亮度级。

由于人眼感知的时间平均特性，当帧频足够高时（如每秒10帧或以上），用户所感知到的所有像素均为持续有源。其中，各像素或像素组在空间内存在特定焦距。

另一个技术解决方案是一种控制投影至用户视网膜上影像质量的方法，如通过HMD 眼镜等可穿戴装置实现。影像被投影至视网膜，并通过与投影光学系统共享组件的光学系统反射。反射的影像经半透射镜重新导向至反馈影像传感器。半透射镜可成对角线地放置在有源矩阵和影像传感器之间，以使二者到半透射镜和光学系统的光路相等。因此，投影至屏幕或视网膜的清晰影像将在影像传感器上形成清晰影像，以监控投影质量。所述反馈影像传感器采集到的视频随后被进行处理，用于监控投影至用户视网膜上的影像、影像清晰度以及相对于视网膜或其他参数的位置。可通过影像处理控制投影影像相对于视网膜的位置。其中，影像处理考虑到影像细节和诸如血管或其他问题的视网膜自然模式。通过在对焦透镜呈现恰当焦值时，在画帧子区间期间投影像素，或将对焦透镜固定在恰当焦值，可确定得到最清晰影像的投影机透镜的焦点位置，并相应调节投射。

本发明的一个技术效果是以适当焦距在一部分画帧显示时间投影影像部分。这样一来，即使是在影像不同部分需要不同焦距的目标上也可以对焦整个投影。

本发明的另一技术效果是投射影像层覆盖到经 OHMD 半透明元件感知的环境影像层上。影像不同区域被以不同焦距投影，以使各影像部分的焦距与下层环境影像内目标的焦距相同。此种方案可用于增强现实感的应用中，以同下层真实世界目标的焦距一致的焦距投射影像部分。此种方案也可用于投影 3D 视频。

本发明的另一技术效果是提高投射至用户视网膜的画帧中像素的清晰度。其中，各像素或像素组的显示位置是其在视网膜上对焦最清晰的位置。这就解决了当视频投影机显示影像时，由于人眼再聚焦而导致影像不断失焦的问题。

本发明的另一技术效果是根据用户眼部的眼科学特征提高画质。该方案可用于提供视力辅助，让用户通过装置看到周围环境。其中，装置通过一部或多部摄像机采集周围环境视图，再依照用户的眼部特征对这些视图进行处理。

尤其在一些实施例中，本发明可用于以下模式：一部或多部环境摄像机捕捉环境视图，捕捉到的视频可依照用户视力的问题和局限进行处理，然后立即重新投影至用户双眼。包括以下一项或多项修正内容：更改色谱，以提高感色度或显示红外线或紫外线等不可见光波段；扭曲影像并将其投影至视网膜的敏感部分，以提升视野局限人士的视野；从侧面或后方摄像机添加投影；放大信号提升夜视功能；添加高动态范围影像或其他应用在硬件和/或软件内的多重提升。

图 1 为一台 3D 视频投影机的实施例，与本发明的一些实施例一致。视频投影机通常指 130，包括一个成像矩阵 140 和一个或多个光学部件，如能沿起始点和终点之间的范围 151 移动的对焦透镜 150。也可通过其他方法改变系统焦距。观看者眼前可放置射镜、半透射镜或其他投影元件 120。

在成像有源矩阵 140 生成的像素 155 投影后，透镜 150 形成光束 162。

光束 162 在到达射镜 120 时被反射为光束 170 进入用户眼部。用户将光束170 的延续部分点 187 感知为空间内对应像素 155 的点。应了解，光束 162 和 170 各由两束光线表示，以实现可视化之目的并证明点 187 上的对焦。

随着透镜 150 焦点的改变，清晰投影点的感知距离也相应改变。像素 187 在空间上对应像素 155 及其附近区域以及透镜 150 的焦点位置 151。像素 182 在空间上对应透镜焦点位置 152 和有源矩阵上的像素 156。

在本发明的一个实施例中，透镜 150 定期在焦点位置两端间移动，其移动范围包括位置 151 和 152。像素 156 在空间上对应目标 180 上的点 182，并在透镜位于位置152 时打开，在透镜位于其他位置时关闭。像素 155 在空间上对应目标 185 上的点 187，并在透镜位于位置 151 时打开，在透镜位于其他位置时关闭。

这样一来，在通过将影像投影至环境影像上进行感知的增强现实感应用中，感知到的覆盖在真实世界目标上的影像的焦距与其下层对象影像的焦距相同。

图 2 为一种头戴式显示器及其运行光模的示意图，与本发明的一些实施例一致。HMD 被调节，以将影像投影至用户视网膜上。HMD 包括半透射镜 120，该射镜用于将 HMD投影的影像覆盖在周围物理环境的直接视图上。在其他实施例中，可使用其它类型的投影元件 120。

可使用一部或多部摄像机 217、一部 3D 扫描仪或任何其他视频源向处理单元211 提供画帧，用于分析画帧、检索深度信息、处理画帧并重新投影至双眼、在用户直接感知的环境视图上添加增强现实感的影像层等。视频投影单元 130 包含一个成像有源矩阵140, 用于投影处理单元 211 提供的画帧以及覆盖至画帧上的影像。视频投影单元 130可进一步包括对焦元件 150。来自有源矩阵 140 的像素在投影后产生一束光束并通过光学半透射镜 141, 然后从射镜或半透射镜 120 反射至用户视网膜上的像素 209。半透射镜 120 在增强现实感的应用中，用于将 HMD 投影的影像覆盖在周围物理环境的直接视图上。在另一个实施例中，元件 120 的透明度可能各异，甚至有完全不透明的射镜。应了解，在其他配置中，可不使用射镜 120 而使用其他类型的投影元件。如果射镜 120 是永久不透明射镜或是处于不透明状态并具有不同透明度的半透射镜，那么 HMD 可投影预期的视频内容，包括摄像机 217 捕捉到的实时环境视频。从用户视网膜返回的光束被半透明元件120 反射，反向通过光学对焦元件 150 并经斜对地半透射镜 141 反射至反馈影像传感器142。反馈影像传感器 142 可记录从视网膜接收到的影像，并传输该影像进行处理，以控制影像在视网膜上的对焦、位置或对齐情况，诊断视网膜或眼部情况，或实现其他目的。

同图 2 所示一致的 HMD 因而将影像投影至用户视网膜，同时接收所投影影像，以评估或控制影像的清晰度、对准情况、亮度或其它参数。

应了解，投影单元 130 也可包含一个控制器。该控制器用于控制沿焦点范围的对焦透镜 150，使其至少呈现两个不同位置；也用于激活各透镜位置相关像素及失活其他像素。该控制器可作为影像处理单元 211 的一部分使用。

应了解，用户的另一只眼睛也提供有对应结构。应进一步了解，提供给影像处理或控制器单元 211 的画帧可能包含影像对，这些影像对设计通过左眼影像和右眼影像的立体视差创造 3D 效果。视频投影单元 130 通过将各像素投影至对应其立体视差的焦点来进一步提高立体效果。

图 3 为一个视频投影装置的系统方框图，与本发明的一些实施例相一致。投影装置是图 2 中装置 130 的实现。该投影装置通常指 300，其包含一台用于接收或控制输入视频 301 的输入信息的处理器 304、一部或多部摄像机 302、一个 3D 扫描系统 303 或任何其他视频源。

处理器 304 可为应用处理器、中央处理单元 (CPU)、专用集成电路 (ASIC)、微处理器、集成电路 (IC) 或类似装置。计算处理器 304 也可是向诸如数字信号处理器 (DSP)或微控制器等特定处理器写入或传输的固件，或诸如现场可编程门阵列 (FPGA) 等的硬件或可配置硬件。

处理器 304 在处理视频输入后构成多个画帧。处理器 304 随后将视频画帧传输至显示器驱动 305, 该驱动构成有源矩阵 140 上画帧的时序。各画帧通过半透射镜 141和对焦元件 150 传输并定向至用户视网膜 110。半透射镜 141 将视网膜反射回的影像再定向至反馈影像传感器 142。有源矩阵 140 和反馈影像传感器 142 到半透射镜 141 的光路相等。这样一来，当有源矩阵 140 上显示的影像清晰被投影至视网膜时，该影像也将在反馈影像传感器 142 上形成清晰的二次影像。因此，反馈影像可由处理单元 304 进一步处理，并通过以下方法（包括但不限于）控制清晰度、视网膜上对齐度以及投影影像的其他特性。

(A) 提升投影清晰度。人眼的调节会改变双眼的焦距。因此，为了保持投影清晰，应相应改变投影机的焦点。可通过以下步骤发现正确的焦点位置。影像投影至视网膜，同时对焦元件 150 扫过整个焦点范围，反馈传感器沿途采集反馈影像的序列。通过评估各反馈影像的清晰度，确定出最清晰的影像以及对焦元件 150 的相应位置，然后将对焦元件 150固定在这一位置，并投影一幅或多幅画帧。一般标称投影帧频约为每秒 10 帧或以上。该帧频提供的单幅画帧投影周期从最低帧频的约 100 毫秒到最高帧频的 1 毫秒以下不等。用户眼部进行调节，之后获得不同的焦距以实现清晰投影。由于人眼调节缓慢，往往要花数百毫秒，投影透镜的对焦已足以清晰投影多个画帧。此外，为了延长画帧显示时间，可以加速帧频和/或降低投影亮度，然后降低帧频或增强亮度进行透镜扫略和最佳焦点位置搜寻。

(B) 重新映射或几何扭曲环境视图，以补偿视网膜上的盲区。一些人因为中风、疾病或其他原因导致部分视网膜不敏感，视野受到限制。图 3 所示装置可用于诸如图 2 中HMD 等系统的视力辅助。在此种用途中，元件 120 可为不透明透镜，并且视频投影机可重新创造摄像机 217 所捕捉到的环境。对于视野受限的用户，可对环境影像进行缩放、几何扭曲或重新映射，以使整个影像只投影至其视网膜的功能部分。由于相对于视频投影机的眼球运动，现有技术 HMD 无法将影像投影至视网膜的特定区域并保持不变。尽管如此，在依照本发明的投影机内，使用反馈影像传感器 142 可捕捉到投影至视网膜上的影像。处理反馈影像可发现视网膜血管的模式或其他视觉问题。通过这些队列可确定投影影像相对于视网膜的位置，进而得以调节投影影像并以恰当的方式对其重新进行映射。

(C) 重新映射彩色映像或其他特征。依照本发明，视力辅助装置的其他用途是通过摄像机 217 捕捉环境视图，利用元件 120 为不透明的配置将环境视频重新映射至视网膜。在一些实施例中，视频被处理如下：重新映射色谱，其中，用户视力不敏感的颜色的光谱被转移至用户视力更敏感的光谱区域。为在低照度下看不见的夜盲症用户增强影像亮度。在显示红外线或紫外线等不可见光谱时，使用高动态范围成像 (HDR) 同时看到极亮和极暗目标的视图。通常，通过将后置摄像机的视频添加至主视频，或通过其他方式也可投影未感知方向。通过双筒望远镜等装置提升分辨率，或提供超宽视角。添加辅助影像层显示传感器数据，包括距离以及根据用户识别、身份以及社交网络个人档案得出的用户信息。自动翻译外语文本。在商店、动物、植物或其他目标、导航帮助以及其他现有和待开发软件中添加产品的额外信息。

可进一步使用反馈传感器 142 捕捉的影像。例如，通过持续扫略对焦透镜 150和搜寻影像在视网膜上的最佳对焦位置，可保持投影影像清晰，而无论用户眼部焦点改变（调节）如何。在透镜 150 对焦移动期间，反馈传感器 142 的采集帧频可能会加快，或者有源矩阵 140 所投影影像的亮度可能会降低。

应了解，对焦元件 150 可通过其他机制改变系统焦距，而不仅仅限于透镜移动。

应了解，有源矩阵 140 和反馈传感器 142 可以放置在距离半透射镜 141 相同的距离，以使二者从半透射镜 141 反射或通过时同调焦元件 150 构成相同的光路。可使用反馈传感器 142 形成的影像调节有源矩阵 140 显示在屏幕或视网膜上的影像的焦距和布局。

应了解，尽管图 1、2、3 显示了头戴式显示器相关的视频投影机，本发明并不局限在视网膜上投影，而是适用于任何静态影像或视频投影装置，包括放映机、家庭影院系统、任何屏幕上投影等等。

图 4 为本发明一些实施例的工作原理示意图。输入画帧 401 包括若干区域，其中，各区域在不同焦点范围描绘目标。可根据要求的焦距分析画帧 401，并将其像素分为若干组。例如，船位于第一焦距，云位于第二焦距，太阳位于第三焦距。所需焦距可从以下任一信息中得出：随画帧提供的深度信息、由左眼和右眼图像对组成的立体画帧的立体视差、画帧及画帧上目标的 3D 分析、在增强现实感方案中覆盖在物理环境直接视图上的画帧的周围物理目标的焦距等。

子帧 402 包含画帧 401 中的近距像素；子帧 403 包含中距像素；子帧 404 包含远距像素。子帧的数量不尽相同，取决于实施、用途、特别影像或其他因素。

图 4 下部的内容通常指 400，表示焦距随时间的变化。纵轴表示对应透镜位置的焦距，如透镜 150 沿范围 405 移动的图示一样。横轴对应时间。图 420 表示透镜位置的运动。时间间隔 415 表示一帧的周期，分为子周期 409…414。时间周期 409 和 414 对应远端调焦范围 408, 期间显示远端焦距的子帧 404。周期 410 和 413 对应中端调焦范围407, 期间显示中端焦距的子帧 403。周期 411 和 412 对应近端调焦范围 406, 期间显示近端焦距的子帧 402。

图 5 为透镜运动以及相关像素组激活的时间图。横轴代表时间，纵轴代表透镜位置。该图以线 570 表示透镜从范围开始到结束的线性运动，以线 580 表示透镜较快移动回起始位置。但是应了解，可以使用任何其他运动模式，如前后速度模式相同的对称运动模式、谐波正弦模式、透镜在预定焦点位置减速或停止的分段水平模式等。

矩形通常指 500, 位于时间轴以下，表示在相应透镜位置相续激活的像素组。如此一来，各组 510 和 520 表示影像中的所有像素。其中，各单独矩形，如矩形 530 或矩形560 表示待投影至特定焦距的像素。应了解，各像素组中的像素可能会也可能不会连贯或相邻。

当透镜位于某范围内时（如在时隙 540 时位于范围 550 内），会产生一个焦距范围。此时，焦距位于该焦距范围内的像素（如组 530 上的像素）被激活；其他包括像素组560 在内的所有像素失活。

当透镜在范围 595 内移动和定位时，如在时隙 590 时，焦距位于位置 595 的焦距范围内的像素组 560 被激活，其他所有像素失活。各画帧重复进行以下操作：透镜沿范围往返移动，同时在各子范围激活相关像素组并失活其他像素组。应了解，除非显示影像保持不变，否则像素组在影像间变化，以使不同像素在两个不同画帧内的相同透镜位置激活。

图 6 为依照透镜运动所确定的恰当焦距激活和失活像素组的方法步骤流程图。

在步骤 600 中，待显示画帧可通过有线或无线连接从外源接收，也可来自摄像机或 3D 扫描仪、电脑游戏或其他视频生成软件、储存器或任何其他源。画帧可与深度信息相关，深度信息可从包含影像内各像素深度信息的深度图中整理得出。深度信息也可来自影像内数据或包含影像（如：立体像对画帧间立体视差）、目标大小、场景推断算法、焦点模糊或类似信息的视频流内数据。

在步骤 602 中，各像素或像素组相关深度值可转变为投影机相应焦点位置。

在步骤 604 中，投影装置的透镜可固定在其路径的起始点，以初始焦距投影影像。应了解，如果影像内的焦距范围小于投影装置的可能焦距范围，那么装置的焦点位置只能被改变到要求的范围，而非整个范围。

在步骤 608 中，所有属于透镜当前位置相关焦距的像素均被投影（如打开）至标称亮度级的发光状态，同影像内像素的预期亮度相一致。

在步骤 612 中，在预定时间间隔之后，所有的像素都关闭或设置为亮度级低于第一亮度级的第二亮度级。其中，预定时间间隔可基于透镜运动速度、影像或环境内焦距分布或其他参数确定。

在步骤 616 中，透镜可设定在下一个焦距位置。透镜可以以匀速、非匀速或谐波调谐速度逐步或以其他方式连续前进。

在步骤 620 中，确定透镜是否到达其范围末端。如果已到达末端，那么所有像素组均已激活。之后可重新从步骤 600 开始显示新画帧。也可重新从步骤 608 开始显示同当前透镜位置相关的像素组。所述领域技术人员应了解，随着透镜回到初始位置，恰当像素组也可显示在恰当焦距位置。

应了解，当透镜位于两位置之间时，不需要关闭所有像素。此外，像素亮度可能一直变化（如当透镜朝最佳亮度位置移动时，亮度增加；当透镜背向最佳位置移动时，亮度降低），并且不同像素存在部分亮度完全重叠区域。应了解，在一些实施例中，透镜可在其两端焦点位置之间协调移动，并且各像素或像素组可在透镜前后移动期间显示在恰当的焦点位置。

图 7 为调节投影至用户视网膜上影像焦距的方法的步骤流程图。

在步骤 700 中，投影装置的透镜固定在其路径的起始点，并同焦距范围的起始焦距相关联。

在步骤 704 中，接收或加载待显示的下一帧影像。

在步骤 708 中，以低亮度值像素显示画帧。所有像素的亮度级可在同一范围内相同或各异，如约为最大亮度的 0% 到 50%。

在步骤 716 中，用户视网膜反射回的影像由传感器采集，如使用成对角线位于投影部件和视网膜间的半透射镜。

在步骤 720 中，确定各像素的清晰度。在步骤 724 中，确定像素是否清晰，如清晰度是否超过临界值。

在步骤 728 中，增加在当前透镜位置达到或接近最大清晰度的像素的亮度，并且以同影像亮度相称的亮度显示像素。其他不清晰的像素以最小或最低亮度值在步骤 732中显示。

在一些实施例中，当影像在视网膜上达到清晰时，透镜的扫略或移动会暂停。或者，各像素的最清晰位置储存在存储器中，用于在下一个焦点扫略期间投影下一画帧，或在之后作为视力和投影机校准数据使用。

在步骤 736 中，确定透镜是否位于其范围末端。如果没有，则返回步骤 712 将透镜推进到下一焦距位置，并返回步骤 708 以低亮度值显示整个画帧。

如果透镜位于其范围末端，则返回步骤 700 重新开始流程处理下一画帧。

应了解，透镜可以分步骤或以任何其他方式匀速或非匀速持续推进。

应了解，图 3 探讨的相同用途也可利用图 7 的方法实施。

图 8 和图 9 为根据透镜位置，利用像素激活和失活的用途的步骤流程图。

图 8 为改善投影至用户视网膜上影像的方法的步骤流程图，与本发明的一些实施例一致。例如对于增强现实感头戴式显示器，在将投射影像覆盖至物理环境影像期间改善投影影像。

在步骤 800 中，采集通过 HMD 直接感知的物理环境的 3D 扫描影像。

在步骤 804 中，接收或加载覆盖到环境影像上的画帧。

在步骤 808 中，对于覆盖用画帧的各像素，计算环境中同像素投影方向一致的物理目标的距离。例如，如果像素的一个区域包含投影至公共汽车的文本，那么可以测定用户观看到该公共汽车的方向以及用户和公共汽车间的距离。正如在下述步骤 816 中详细说明的那样，当透镜提供的焦距等同或接近于要求的焦距时，像素将被激活。如此一来，用户将看到覆盖有影像相关像素的环境中目标。

在步骤 812 中，透镜焦点设置为其范围起始点。

在步骤 816 中，焦点长度等同或接近环境内目标焦点长度的相关像素开启，其他像素关闭。在一个时间间隔之后（如约 100 毫秒或以下），或在透镜从恰当焦点位置移开前，像素关闭。

在步骤 820 中，确定透镜是否到达其焦距范围末端。

如果透镜到达末端，则回到步骤 800 捕捉新的环境扫描影像，并加载待覆盖的下一个画帧。

否则在步骤 824 中推进透镜位置，并返回步骤 816 打开适于新透镜位置的像素。

图 9 为一种使用视频投影机作为视力辅助装置的方法的步骤流程图，与本发明的一些实施例一致。

在步骤 900 中，获得眼科学眼部特性描述。眼部特性描述包括焦距、视网膜不同部分内异常、色觉问题、视野局限、光学缺陷等等。此外，通过依照本发明一些实施例的装置所提供的软件进行眼部校准和诊断。通过显示特别设计模式和收集用户的感觉反馈、用户反馈以及影像传感器、生物传感器或其他传感器反馈，创建眼部特性描述，包括视网膜敏感性的映射、感色度、感光度、眼部光学特性等等。依照本发明的仪器可帮助克服一些视力障碍并提高视力，具体方法包括但不限于以下内容：

由于脑血管意外或其他原因，一些人的视野可能受限，并且一部分视网膜区域变得不敏感。重新映射投影影像并将其只投影到视网膜的光敏部分将提升此类视觉受限人士的视力。

另一种常见的视觉限制是色盲，患者眼部对光谱的一部分或多部分不敏感。重新映射色彩以符合眼部敏感光谱将提升此类视觉受限人士的视力。此外，通过摄像机捕捉环境影像，并将捕捉到的环境影像重新投影至眼部可提升视力，如低亮度情况下视力、高动态范围视力、高放大倍数或超宽视野视力（包括通过组合前后摄像机的视频流同步显示 360%环境视力）、红外线和紫外线波段下视力等等。

在步骤 904 中，通过位于用户眼部附近的影像传感器捕捉用户周围的画帧。

在步骤 908 中，依照在步骤 900 中获得的眼科学眼部特性描述调节捕捉影像的特性。所述调节包括根据眼科学眼部特性描述调节影像颜色、几何结构、强度或其他特性。例如，如果用户为色盲，那么影像中用户难以感知的颜色可替换为其他颜色。

在步骤 912 中，投影机的透镜焦点设置为起始位置。在步骤 916 中，相关像素被激活。在一个时间间隔之后（如约 100 毫秒或以下），或在透镜从恰当焦点位置移开前，像素关闭。

在步骤 920 中，确定透镜是否到达其焦距范围末端。

如果到达末端，则返回步骤 904 获取环境影像的另一个画帧。否则在步骤 924中推进透镜位置，并返回步骤 916 打开适于新透镜位置的像素。

图 9 显示了一种将投影机作为视力辅助装置使用的方法。在该方法中，首先形成物理环境的影像，然后处理影像以匹配眼部的眼科学特性，再将影像投影至眼部。该方法可修正任何复杂眼部对焦缺陷，并辅助其他各种视力障碍。

可进行一些视力障碍修正，包括光学矫正，以及通过所述光学元件复制甚至超过光学眼镜的效果，如使用反馈摄像机（如图 3 中的摄像机 142）控制并确保对焦在视网膜上的影像清晰。眼部光学映射可对焦影像，即在目镜严重光学缺陷的情况下提供清晰视力（如当视网膜不同部分要求不同焦距）。

另一类修正是对色盲用户的色彩校正。该方法通过将无法分辨的色彩重新映射到可分辨的色相带来提高颜色区分。

还有一类修正是通过将摄像机捕捉到的影像重新映射至用户视网膜的有效部分来提高受限视野。

附图中的流程图和框图展示了可能实施的系统、方法和计算机程序产品的架构、功能和操作，与本发明的多种实施例一致。在这点上，流程图或框图中的每个方框可能代表一个模块、程序段或程序代码的一部分，它们包含一个或多个用于实现指定逻辑功能的可执行指令。还应当注意，在某些备选的实现方案中，方框中所标注的功能发生的顺序可能不同于附图中所标注的顺序。例如，两个连续的方框实际上也许基本可以同时执行，或者有时也可以按相反的顺序执行，这依所涉及的功能而定。还要注意的是，框图和/或流程图中的每个方框及方框的组合，可以用执行指定功能或操作的基于专用硬件的系统来实现，也可以用专用硬件与计算机指令的组合来实现。

本申请书所用术语仅为描述特定实施例之用，而非限制发明。除非上下文中明确说明，否则本申请书中所用的单数形式“一个”和“该”均包含复数形式。应当进一步了解，“包含”和/或“由……构成”这两个术语用于指明存在所述功能、整体、步骤、操作、元件和/或部件，但并不排除存在或添加一个或多个其他功能、整体、步骤、操作、元件、部件和/或群组。

所属领域技术人员应了解，本发明可能作为系统、方法或计算机程序产品来实施。相应地，本发明可能采取纯硬件、纯软件（包括固件、驻留软件、微代码等）或软硬件结合的实施方式，本文可能会将它们统称为“电路”、“模块”或“系统”。此外，本发明可能采取计算机程序产品的形式，通过载有计算机可用程序代码的任何有形表达介质来实现。

可以采用一个或多个计算机可用或可读介质的任意组合。计算机可用或可读介质可能包括但不限于电子、磁、光学、电磁、红外或半导体系统、装置、设备或传播介质。计算机可读介质更具体的例子（不完全列表）包括：有一根或多根线的电气连接、固态存储器、硬盘、随机存取存储器 (RAM)、只读存储器 (ROM)、可擦除可编程只读存储器（EPROM 或闪存）、支持互联网或内网的传输媒介或磁存储设备。应注意，计算机可用或可读介质甚至可以是打印有程序的纸或其他合适介质。通过光学扫描纸或其他介质，可电子捕捉到程序。随后编辑、解读或按需要以合适的方式处理程序，并将其储存在计算机存储器中。就本文而言，计算机可用或可读介质可以是任何能包含、存储、传达、传播或传输该程序的介质，该程序须可供指令执行系统、装置或设备使用或者与之配合使用。计算机可用介质可包括在基带中传播或者作为载波的一部分传播的数据信号，其中载有计算机可用的程序代码。计算机可用程序代码可使用任何合适的介质进行传输，所述介质包括但不限于无线、有线线路、光缆、射频等。

用于执行本发明操作的计算机程序代码可以用一种或多种编程语言的任意组合来编写，所述编程语言包括面向目标的编程语言，例如 Java、C#、C++ 等，还包括常规的过程式编程语言，例如“C”语言、汇编语言或类似的编程语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上且部分在远程计算机上执行，或者完全在远程计算机或服务器上执行。在涉及远程执行的情形中，远程计算机可以通过任何类型的网络连接到用户计算机。所述网络包括局域网(LAN) 或广域网 (WAN) 、有线网络、无线网络、任意网络组合或类似网络。

所有装置或步骤的相应结构、材料、行为和同等物，以及以下权利要求的功能元件，均包括结合其他特别权利要求的元件执行功能的任何结构、材料或行为。本发明的描述旨在进行阐述和说明，而非局限于本发明形式。本发明将在不脱离本发明的范围和精神的情况下进行多种修改和更改，以易于普通技能的人士理解。所选择和描述的实施例旨在更好解释发明原理和实际应用，并让其他具有普通技能的人士理解该发明，并针对特定用途对该发明进行各种恰当修改并具体实施。

Claims

1.一种通过投影装置显示画帧的方法，其包括：

接收画帧，所述画帧与深度信息相关；

将待显示的画帧分为数个子画帧，各子画帧包含以对应深度子范围投影的像素；

控制对焦元件在一时间间隔扫过对焦范围，所述对焦元件为可沿透镜光轴移动的光学透镜；以及

在所述时间间隔内，相应的子画帧显示在对焦透镜相应的焦距。

2.根据权利要求 1 所述的方法，其中投影装置为一种头戴式显示器。

3.根据权利要求 1 所述的方法，其中投影装置为一种光学头戴式显示器，可同时接收投影的视频和投影装置的周围环境影像。

4.根据权利要求 3 所述的方法，其中深度信息根据投影影像下的环境影像计算得出。

5.根据权利要求 1 所述的方法，该方法还包括对一个视频流中多个影像重复进行上述接收、确定、控制和显示；

其中，视频流以至少约为每秒 10 帧的帧频显示。

6.根据权利要求 5 所述的方法，其中

视频为立体视频；

该视频包含左眼通道和右眼通道，并且左眼通道和右眼通道间存在立体视差；

第一组序列包含显示在观看者左眼的影像，第二组序列包含显示在观看者右眼的影像；两组序列影像从视频中检索得出，其中

深度信息从分别显示在左眼和右眼的影像间的立体视差得出；

其中，所述显示包括将第一组序列投影至观看者左眼，将第二组序列投影至观看者右眼。

7.一种应用权利要求1-6中任一项所述方法的投影系统，其包括：

一个构成投影影像的有源矩阵；

一个将影像投影到屏幕的光学系统，以可沿透镜光轴移动的光学透镜为对焦元件；以及

一个硬件处理器，被配置为：

接收画帧，随画帧提供深度信息；

控制对焦元件扫过一个时间间隔内的对焦范围；以及

8.根据权利要求 7 所述的投影系统，其中，影像内第一像素组中的像素在光学系统呈现第一焦点位置时打开，其他焦点位置时关闭；影像内第二像素组中的像素在光学系统呈现第二焦点位置时打开，其他焦点位置时关闭。

9.根据权利要求 7 所述的投影系统，其中，影像内第一像素组在光学系统呈现第一焦点位置时显示；影像内第二像素组在光学系统呈现第二焦点位置时显示。