CN107850934A - 具有动态区域分辨率的虚拟/增强现实系统 - Google Patents

Abstract

提供一种虚拟图像生成系统和方法。呈现三维场景的多个合成图像帧，并将其顺序地显示给最终用户。所显示的图像帧中的每一者具有非均匀分辨率分布。

Description

具有动态区域分辨率的虚拟/增强现实系统

技术领域

本发明一般地涉及被配置为促进一个或多个用户的交互式虚拟或增强现实环境的系统和方法。

背景技术

现代计算和显示技术促进了用于所谓的“虚拟现实”或“增强现实”体验的系统的开发，其中数字地再现的图像或其各部分以它们看起来真实或可以被感知为真实的方式呈现给用户。虚拟现实(VR)情景通常涉及以对其它实际的真实世界视觉输入不透明的方式呈现数字或虚拟图像信息，而增强现实(AR)情景通常涉及将数字或虚拟图像信息呈现为对最终用户周围的实际世界的视觉化的增强。

例如，参考图1，示出增强现实场景4，其中AR技术的用户看到在背景中以人、树木、建筑物为特色的真实世界公园式环境6、以及混凝土平台8。除了这些物品之外，AR技术的最终用户还感觉他“看到”站在真实世界平台8上的机器人雕像10、以及飞行的卡通式化身角色12(其看起来是大黄蜂的化身)，尽管在真实世界中不存在这些元素10、12。事实证明，人类视觉感知系统非常复杂，并且产生促进在其它虚拟或真实世界图像元素中舒适、自然、丰富地呈现虚拟图像元素的VR或AR技术具有挑战性。

VR和AR系统通常采用头戴式显示器(或头盔显示器、或智能眼镜)，它们至少松散地耦合到用户的头部，并且因此当最终用户的头部移动时移动。如果显示系统检测到最终用户的头部运动，则能够更新正在被显示的数据以便考虑头部姿势(即，用户头部的方位和/或位置)的变化。

例如，如果佩戴头戴式显示器的用户在显示器上观看三维(3D)对象的虚拟表示，并且在3D对象出现的区域周围走动，则能够针对每个视点重新呈现该3D对象，从而使最终用户感觉他或她正在占据真实空间的对象周围走动。如果使用头戴式显示器在虚拟空间(例如，丰富虚拟世界)内呈现多个对象，则能够使用头部姿势的测量重新呈现场景，以便与最终用户的动态变化的头部位置和方位相匹配，并且提供在虚拟空间中的增加的沉浸感。

启用AR的头戴式显示器(即，同时观看真实和虚拟元素)能够具有数种不同类型的配置。在一个此类配置(通常被称为“视频透视式(see-through)”显示器)中，摄像机捕获真实场景的元素，计算系统将虚拟元素叠加到捕获的真实场景上，并且不透明显示器将合成图像呈现给眼睛。另一种配置通常被称为“光学透视式”显示器，其中最终用户能够透过显示系统中的透明(或半透明)元件进行查看，以便直接观看来自环境中真实对象的光。透明元件(通常被称为“组合器”)将来自显示器的光叠加在最终用户的真实世界视图之上。

VR和AR系统通常采用具有投影子系统和显示表面的显示系统，显示表面位于最终用户的视场的前方，并且投影子系统在显示表面上顺序地投影图像帧。在真实的三维系统中，能够以帧速率或子帧速率控制显示表面的深度。投影子系统可以包括一个或多个光纤，其中来自一个或多个光源的光以定义的模式发射不同颜色的光；以及扫描设备，其以预定模式扫描光纤(多个)，以便产生顺序地显示给最终用户的图像帧。

因为VR或AR系统与人类视觉系统紧密对接，所以每个图像帧的分辨率仅需与人眼的分辨率相匹配以便提供正确的视觉刺激。为此，通常将每个图像帧的分辨率设置为人眼的最大分辨率。但是，因为任何特定系统的扫描频率取决于由于软件和硬件限制而导致的图像帧分辨率(即，相应图像帧以图形方式呈现(软件)并经由扫描器(硬件)实际呈现给最终用户时的频率)，所以尝试将图像帧分辨率与人眼的最大分辨率相匹配增加了对AR和VR系统的限制，这可导致这样的扫描频率：这些扫描频率可能不会优化最终用户的观看体验和/或需要极其昂贵的AR或VR系统组件来实现生成和呈现较高分辨率图像帧所需的增加的处理和扫描速度。

因此，需要降低在虚拟现实或增强现实环境中生成并呈现给最终用户的图像帧的整体分辨率和/或硬件/软件处理成本。

发明内容

本发明的实施例涉及用于促进一个或多个用户的虚拟现实和/或增强现实交互的设备、系统和方法。

根据本发明的一个实施例，提供一种操作虚拟图像生成系统的方法。所述方法包括呈现三维场景的多个合成图像帧，以及顺序地将所述多个图像帧显示给最终用户。

值得注意的是，所显示的图像帧中的每一者具有非均匀分辨率分布。在一种方法中，以所述非均匀分辨率分布呈现所述图像帧中的每一者。在另一种方法中，以均匀分辨率分布呈现所显示的图像帧中的每一者，在这种情况下，显示相应图像帧包括将所述非均匀分辨率分布结合到已呈现的图像帧中。所显示的图像帧中的每一者的所述分辨率分布的斜率可以匹配或甚至大于所述最终用户的眼睛的敏锐度分布的斜率。可以通过以下操作显示相应图像帧：例如以螺旋模式扫描所述图像帧，以使得所述非均匀分辨率分布径向地变化，或者以光栅模式扫描所述图像帧，以使得所述非均匀分辨率分布直线地变化。

在一种方法中，所显示的图像帧中的至少两者具有不同的非均匀分辨率分布。在另一种方法中，所显示的图像帧中的每一者包括具有不同分辨率的多个离散区域(例如，至少三个)。所述离散区域例如可以是环形、矩形、或扇形。在另一种方法中，所述多个离散区域包括最高分辨率的区域，在这种情况下，所述方法可以进一步包括从视场模板中选择所述最高分辨率的区域，所述视场模板具有可以彼此重叠的多个离散区域。在一个可选实施例中，所述多个离散区域可以包括最高分辨率的区域和较低分辨率的区域，在这种情况下，所述方法可以进一步包括在所述较低分辨率的区域中使所显示的图像帧模糊。可以例如通过在所述较低分辨率的区域中的相邻显示的图像帧中抖动扫描线，或通过在所述较低分辨率的区域中使所显示的图像帧散焦，使所显示的图像帧模糊。

一种可选方法包括：在所述最终用户的视场内估计眼睛的焦点(例如，通过检测所述最终用户的所述焦点，或通过在所述最终用户的所述视场内标识感兴趣的对象)；以及基于所估计的焦点，针对所显示的图像帧中的每一者生成所述非均匀分辨率分布。所述非均匀分辨率分布中的每一者具有与所估计的焦点一致的最高分辨率的区域。所述最终用户的所估计的焦点可以具有误差裕度以便在所述最终用户的所述视场内提供焦点范围，在这种情况下，所述最高分辨率的区域可以与所述焦点范围相交。

根据本发明的第二实施例，提供一种由最终用户使用的虚拟图像生成系统。所述虚拟图像生成系统包括：存储器，其存储三维场景；控制子系统(其可以包括图形处理单元(GPU))，其被配置为呈现所述三维场景的多个合成图像帧；以及显示子系统，其被配置为顺序地将所述多个图像帧显示给所述最终用户。

在一个实施例中，所述显示子系统被配置为位于所述最终用户的眼睛的前方。在另一个实施例中，所述显示子系统包括投影子系统和部分透明的显示表面。所述投影子系统被配置为将所述图像帧投影到所述部分透明的显示表面上，并且所述部分透明的显示表面被配置为位于所述最终用户的眼睛与周围环境之间的所述视场中。在一个可选实施例中，所述虚拟图像生成系统进一步包括被配置为由所述最终用户佩戴的框架结构，在这种情况下，所述框架结构承载所述显示子系统。

值得注意的是，所显示的图像帧中的每一者具有非均匀分辨率分布。在一个实施例中，所述控制子系统被配置为以所述非均匀分辨率分布呈现所述图像帧中的每一者。在另一个实施例中，所述控制子系统被配置为以均匀分辨率分布呈现所述图像帧中的每一者，在这种情况下，所述显示子系统将被配置为通过将所述非均匀分辨率分布结合到已呈现的图像帧中来显示相应图像帧。所显示的图像帧中的每一者的所述分辨率分布的斜率可以匹配或甚至大于所述最终用户的眼睛的敏锐度分布的斜率。所述显示子系统可以被配置为通过扫描所述图像帧来显示所述图像帧。例如，所述显示子系统可以被配置为以螺旋模式扫描所述图像帧中的每一者，在这种情况下，所述非均匀分辨率分布径向地变化；或者可以被配置为以光栅模式扫描所述图像帧，在这种情况下，所述非均匀分辨率分布直线地变化。

在一个实施例中，所显示的图像帧中的至少两者具有不同的非均匀分辨率分布。在另一个实施例中，所显示的图像帧中的每一者包括具有不同的分辨率的多个离散区域(例如，至少三个)。所述离散区域的形状例如可以是环形、矩形、或扇形。所述多个离散区域可以包括最高分辨率的区域，在这种情况下，所述控制子系统可以被配置为从视场模板中选择所述最高分辨率的区域，所述视场模板具有可以彼此重叠的多个离散区域。所述多个离散区域还可以包括较低分辨率的区域，在这种情况下，所述控制子系统可以被配置为在所述较低分辨率的区域中使所显示的图像帧模糊。例如，如果所述显示子系统被配置为扫描所显示的图像帧中的每一者，则所述显示子系统可以被配置为通过在所述较低分辨率的区域中的相邻显示的图像帧中抖动扫描线，使所述显示的图像帧模糊。或者，所述显示子系统可以被配置为通过在所述较低分辨率的区域中使所显示的图像帧散焦，使所显示的图像帧模糊。

在一个可选实施例中，所述控制子系统被配置为在所述最终用户的视场内估计眼睛的焦点；以及基于所估计的焦点，针对所显示的图像帧中的每一者生成所述非均匀分辨率分布。所述非均匀分辨率分布中的每一者可以具有与所估计的焦点一致的最高分辨率的区域。所述最终用户的所估计的焦点可以具有误差裕度以便在所述最终用户的所述视场内提供焦点范围，在这种情况下，所述最高分辨率的区域将与所述焦点范围相交。所述虚拟图像生成系统可以进一步包括被配置为检测所述最终用户的所述焦点的一个或多个传感器，在这种情况下，所述控制子系统可以被配置为从所检测的焦点估计所述焦点。或者，所述控制子系统可以被配置为通过在所述最终用户的所述视场内标识感兴趣的对象来估计所述焦点。

在具体实施方式、附图说明和权利要求书中描述本发明的额外和其它目标、特性和优点。

附图说明

附图示出本发明的实施例的设计和效用，其中类似元件由通用参考标号表示。为了更好地理解如何获得本发明的上述和其它优点和目标，将通过参考在附图中示出的本发明的具体实施例来呈现上面简要描述的本发明的更具体的说明。将理解，这些附图仅示出本发明的典型实施例，并且因此不被视为对本发明范围的限制，将通过使用附图以额外特殊性和细节描述和解释本发明，这些附图是：

图1是可以由现有技术增强现实生成设备显示给最终用户的三维增强现实场景的图；

图2是根据本发明的一个实施例构造的虚拟图像生成系统的框图；

图3是由图2的虚拟图像生成系统生成的示例性帧的平面图；

图4是能够用于生成帧的一种扫描模式；

图5是能够用于生成帧的另一种扫描模式；

图6是能够用于生成帧的另一种扫描模式；

图7是能够用于生成帧的另一种扫描模式；

图8A是能够用于佩戴图2的虚拟图像生成系统的一种技术的视图；

图8B是能够用于佩戴图2的虚拟图像生成系统的另一种技术的视图；

图8C是能够用于佩戴图2的虚拟图像生成系统的另一种技术的视图；

图8D是能够用于佩戴图2的虚拟图像生成系统的另一种技术的视图；

图9a是随与人眼中央凹的角度变化的视杆(rod)受体和视锥(cone)受体的数量的图；

图9b是随与人眼中央凹的角度变化的人眼的视觉敏锐度的图；

图10是随与扫描起点的角度变化的常规扫描线密度分布的图；

图11是随与扫描起点的角度变化的扫描线密度分布的图，其中由图2的虚拟图像生成系统将扫描线密度分布与图9b的人类视觉敏锐度分布相匹配；

图12a是随与扫描起点的角度变化的常规扫描线密度分布和螺旋扫描线密度分布的图，其中当焦点在扫描区域的中心处时，由图2的虚拟图像生成系统生成螺旋扫描线密度分布；

图12b是随与扫描起点的角度变化的常规扫描线密度分布和螺旋扫描线密度分布的图，其中当焦点在扫描区域的中心与扫描区域的外边缘的中间时，由图2的虚拟图像生成系统生成螺旋扫描线密度分布；

图13是随与扫描起点的角度变化的常规扫描线密度分布和螺旋扫描线密度分布的图，其中当焦点在扫描区域的中心与扫描区域的外边缘的中间时，由图2的虚拟图像生成系统生成具有5°误差裕度的螺旋扫描线密度分布；

图14是随与扫描起点的角度变化的常规扫描线密度分布、第一扫描线密度分布、以及第二扫描线密度分布的图，其中由图2的虚拟图像生成系统将第一扫描线密度分布与图9b的人类视觉敏锐度分布相匹配，并且使第二扫描线密度分布比图9b的人类视觉敏锐度分布更陡峭；

图15是随与扫描起点的角度变化的常规扫描线密度分布、第一扫描线密度分布、第二扫描线密度分布、以及第三扫描线密度分布的图，其中通过图2的虚拟图像生成系统，第一扫描线密度分布没有误差裕度并被与图9b的人类视觉敏锐度分布相匹配，第二扫描线密度分布具有5°误差裕度并被与图9b的人类视觉敏锐度分布相匹配，以及第三扫描线密度分布具有5°误差裕度并被使得比图9b的人类视觉敏锐度分布更陡峭；

图16a是由图2的虚拟图像生成系统生成的螺旋扫描模式的图，其在扫描区域的一个径向位置处具有高密度分辨率区域；

图16b是由图2的虚拟图像生成系统生成的螺旋扫描模式的图，其在扫描区域的另一个径向位置处具有高密度分辨率区域；

图17a是当焦点在扫描区域的中心处时，由图2的虚拟图像生成系统生成的螺旋扫描模式的图，其具有离散扫描线分辨率区域；

图17b是当焦点在扫描区域的外围处时，由图2的虚拟图像生成系统生成的螺旋扫描模式的图，其具有离散扫描线分辨率区域；

图18a是当焦点在扫描区域的中心处时，由图2的虚拟图像生成系统生成的光栅扫描模式的图，其具有离散扫描线分辨率区域；

图18b是当焦点在扫描区域的外围处时，由图2的虚拟图像生成系统生成的光栅扫描模式的图，其具有离散扫描线分辨率区域；

图19是具有离散区域的视场模板的图，图2的虚拟图像生成系统能够基于焦点的位置从这些离散区域中进行选择；

图20a是当焦点在图19的视场模板的中心处时，由图2的虚拟图像生成系统生成的螺旋扫描模式的图，其具有离散扫描线分辨率区域；

图20b是当焦点在图19的视场模板的外围处时，由图2的虚拟图像生成系统生成的螺旋扫描模式的图，其具有离散扫描线分辨率区域；

图21是当焦点在图19的视场模板的外围处时，由图2的虚拟图像生成系统生成的螺旋扫描模式的图，其具有离散扫描线分辨率区域，其中高分辨率区域是扇形；以及

图22是操作图2的虚拟图像生成系统以便向最终用户呈现和显示具有非均匀密度分布的合成图像帧的方法的流程图。

具体实施方式

以下说明涉及要在虚拟现实和/或增强现实系统中使用的显示系统和方法。但是要理解，尽管本发明很好地适用于虚拟或增强现实系统中的应用，但本发明在其最广泛的方面可以不限于此。

参考图2，现在将描述根据本发明构造的虚拟图像生成系统100的一个实施例。虚拟图像生成系统100可以作为增强现实子系统操作，从而提供与最终用户50的视场中的物理对象混合的虚拟对象的图像。当操作虚拟图像生成系统100时，具有两种基本方法。第一种方法采用一个或多个成像器(例如，摄像机)来捕获周围环境的图像。虚拟图像生成系统100将虚拟图像混合成表示周围环境的图像的数据。第二种方法采用一个或多个至少部分透明的表面，透过这些表面能够看到周围环境，并且虚拟图像生成系统100在这些表面上产生虚拟对象的图像。

可以在增强现实和虚拟现实子系统之外的应用中采用虚拟图像生成系统100、以及在此教导的各种技术。例如，各种技术可以应用于任何投影或显示子系统。例如，在此描述的各种技术能够应用于微型投影仪，其中能够通过最终用户的手部而不是头部做出移动。因此，尽管在此通常根据增强现实子系统或虚拟现实子系统进行描述，但所述教导不应限于此类用途的此类子系统。

至少对于增强现实应用，可能需要相对于最终用户50的视场中的相应物理对象在空间上定位各种虚拟对象。虚拟对象(在此也称为虚拟标签或调出对象(call out))可以采取多种形式中的任一种，基本上采取能够被表示为图像的任何种类的数据、信息、概念、或者逻辑结构。虚拟对象的非限制性示例可以包括：虚拟文本对象、虚拟数字对象、虚拟字母数字对象、虚拟标签对象、虚拟字段对象、虚拟图表对象、虚拟地图对象、虚拟插装对象、或者物理对象的虚拟视觉表示。

为此，虚拟图像生成系统100包括：框架结构102，其由最终用户50佩戴；显示子系统104，其由框架结构102承载，使得显示子系统104位于最终用户50的眼睛52的前方；以及扬声器106，其由框架结构102承载，以使得扬声器106位于最终用户50的耳道附近(可选地，另一个扬声器(未示出)位于最终用户50的另一个耳道附近，以便提供立体声/可塑造声音控制)。显示子系统104被设计为以高水平的图像质量和三维感知向最终用户50的眼睛52呈现能够被舒适地感知为对物理现实的增强的基于光的照射图案，以及能够呈现二维内容。显示子系统104以高频率呈现提供对单个相干场景的感知的一系列合成图像帧。

在所示实施例中，显示子系统104包括投影子系统108和部分透明的显示表面110，投影子系统108在部分透明的显示表面110上投影图像。显示表面110位于最终用户50的眼睛52与周围环境之间的最终用户50的视场中。在所示实施例中，投影子系统108包括一个或多个光纤112(例如单模光纤)，每个光纤具有在其中接收光的一端112a和从中将光提供给部分透明的显示表面110的另一端112b。投影子系统108还可以包括一个或多个光源114，其产生光(例如，以定义的模式发射不同颜色的光)，并且以通信方式将光耦合到光纤(多个)112的另一端112a。光源(多个)114可以采取多种形式中的任一种，例如，一组RGB激光(例如，能够输出红色、绿色、以及蓝色光的激光二极管)，其可操作以便根据相应像素信息或数据帧中指定的定义的像素模式，分别产生红色、绿色、以及蓝色相干平行光(collimatedlight)。激光提供高色彩饱和度并且高度节能。

在所示实施例中，显示表面110采取基于波导的显示器的形式，来自光纤(多个)112的光经由光学耦合布置(未示出)被注入到该显示器中，以便例如在近于无限远的单个光学观看距离(例如，手臂长度)处产生图像、在多个离散光学观看距离或焦平面处产生图像、和/或产生在多个观看距离或焦平面处层叠的图像层以便表示立体3D对象。光场中的这些层可以足够紧密地层叠在一起以便对人类视觉子系统来说似乎是连续的(即，一层在相邻层的混淆锥内)。此外或备选地，即使这些层被更稀疏地层叠(即，一层在相邻层的混淆锥的外部)，也可以跨越两层或更多层混合图片元素以便增加光场中层之间的感知的过渡连续性。显示子系统可以是单目的或双目的。

显示子系统104可以进一步包括扫描设备116，其响应于控制信号以预定模式扫描光纤(多个)112。例如，参考图3，根据一个所示实施例，像素信息或数据的合成图像帧118指定像素信息或数据以便呈现图像，例如，一个或多个虚拟对象的图像。帧118被示意性地示出具有单元120a-120m，这些单元被分成水平行或线122a-122n。帧118的每个单元120可以指定与单元120对应的相应像素的多种颜色中的每一种的值和/或强度。例如，帧118可以针对每个像素指定红色124a的一个或多个值、绿色124b的一个或多个值、以及蓝色124c的一个或多个值。值124可以被指定为每种颜色的二进制表示，例如，每种颜色的相应4位数。帧118的每个单元120可以另外包括指定幅度的值124d。

帧118可以包括一个或多个场，统称为126。帧118可以由单个场组成。备选地，帧118可以包括两个或者甚至更多的场126a-126b。帧118的完整第一场126a的像素信息可以在完整第二场126b的像素信息之前被指定，例如在阵列、有序列表或其它数据结构(例如，记录、链接列表)中的第二场126b的像素信息之前出现。第三或者甚至第四场可以在第二场126b之后(假设呈现子系统被配置为处理多于两个场126a-126b)。

现在参考图4，使用光栅扫描模式128生成帧118。在光栅扫描模式128中，顺序地呈现像素130(仅一个被调出)。光栅扫描模式128通常从左到右(由箭头132a、132b指示)，然后从顶部到底部(由箭头134指示)呈现像素。因此，呈现可以从右上角开始，并且跨越第一条线136a向左遍历，直到到达该线的结尾。光栅扫描模式128然后通常从下方的下一条线的左边开始。当从一条线的结尾返回到下一条线的开始时，呈现可能暂时变黑或空白。该过程逐线重复，直到底线136n完成，例如在最右下角的像素处完成。在帧118完成时，开始新帧，再次返回下一个帧的最上面一条线的右边。再次，当从左下角返回到右上角以便呈现下一个帧时，呈现可能空白。

光栅扫描的许多实施方式采用所谓的隔行扫描模式。在隔行光栅扫描模式中，来自第一和第二场126a、126b的线隔行。例如，当呈现第一场126a的线时，第一场126a的像素信息可以仅用于奇数线，而第二场126b的像素信息可以仅用于偶数线。因此，帧118(图3)的第一场126a的所有线通常在第二场126b的线之前被呈现。可以使用第一场126a的像素信息呈现第一场126a，以便顺序地呈现线1、线3、线5等。然后，可以通过使用帧118(图3)的第二场126b的像素信息，在第一场126a之后呈现第二场126b，以便顺序地呈现线2、线4、线6等。

参考图5，可以使用螺旋扫描模式140而不是光栅扫描模式128来生成帧118。螺旋扫描模式140可以包括单条螺旋扫描线142，其可以包括一个或多个完整角度周期(例如，360度)，这些完整角度周期可以被称为圈或环。与图4中所示的光栅扫描模式128一样，当角度增加时，螺旋扫描模式140中的像素信息用于指定每个顺序像素的颜色和/或强度。幅度或径向值146指定从螺旋扫描线142的起始点148开始的径向尺寸。

参考图6，可以备选地使用利萨如(Lissajous)扫描模式150来生成帧118。利萨如扫描模式150可以包括单条利萨如扫描线152，其可以包括一个或多个完整角度周期(例如，360度)，这些完整角度周期可以被称为圈或环。备选地，利萨如扫描模式150可以包括两条或更多条利萨如扫描线152，每条线相对于彼此相移以便嵌套利萨如扫描线152。当角度增加时，像素信息用于指定每个顺序像素的颜色和/或强度。幅度或径向值指定从利萨如扫描线152的起始点156开始的径向尺寸154。

参考图7，可以备选地使用多场螺旋扫描模式158来生成帧118。多场螺旋扫描模式158包括两条或更多条不同的螺旋扫描线，统称为160，并且具体地说，四条螺旋扫描线160a-160d。可以由帧的相应场指定每条螺旋扫描线160的像素信息。有利地，可以简单地通过在螺旋扫描线160的每条连续螺旋扫描线之间移动相位来嵌套多条螺旋扫描线160。螺旋扫描线160之间的相位差应取决于将采用的螺旋扫描线160的总数。例如，可以以90度相移分隔四条螺旋扫描线160a-160d。一个示例性实施例可以使用10条不同的螺旋扫描线(即，子螺旋)以100Hz刷新率工作。类似于图5的实施例，一个或多个幅度或径向值指定从螺旋扫描线160的起始点164开始的径向尺寸162。

再次参考图2，虚拟图像生成系统100进一步包括安装到框架结构102的一个或多个传感器(未示出)，其用于检测最终用户50的头部54的位置和移动和/或最终用户50的眼睛位置和眼间距离。此类传感器(多个)可以包括图像捕获设备(例如摄像机)、麦克风、惯性测量单元、加速度计、指南针、GPS单元、无线电设备、和/或陀螺仪。

再次参考图2，虚拟图像生成系统100进一步包括安装到框架结构102的一个或多个传感器(未示出)，其用于检测最终用户50的头部54的位置和移动和/或最终用户50的眼睛位置和眼间距离。此类传感器(多个)可以包括图像捕获设备(例如摄像机)、麦克风、惯性测量单元、加速度计、指南针、GPS单元、无线电设备、和/或陀螺仪。

例如，在一个实施例中，虚拟图像生成系统100包括头戴式转换器(transducer)子系统126，头戴式转换器子系统126包括一个或多个惯性转换器以便捕获指示最终用户50的头部54的移动的惯性测量。这可以用于感测、测量、或者收集有关最终用户50的头部移动的信息。例如，这可以用于检测最终用户50的头部54的测量移动、速度、加速度、和/或位置。

虚拟图像生成系统100进一步包括一个或多个前向摄像机128，其可以用于捕获有关最终用户50所处环境的信息。前向摄像机(多个)128可以用于捕获指示最终用户50相对于该环境和该环境中的特定对象的距离和方位的信息。当在头部佩戴时，前向摄像机(多个)128特别适合于捕获指示最终用户50的头部54相对于最终用户50所处环境和该环境中的特定对象的距离和方位的信息。前向摄像机(多个)128例如可以用于检测头部移动、头部移动的速度和/或加速度。前向摄像机(多个)128例如可以用于例如至少部分地基于最终用户50的头部54的方位，检测或推断最终用户50的关注中心。可以在任何方向(例如，相对于最终用户50的参考系向上/向下、向左、向右)检测方位。

虚拟图像生成系统100进一步包括一对后向摄像机129，以便跟踪最终用户50的眼睛52的移动、眨眼和焦深。此类眼睛跟踪信息例如可以通过以下操作识别：将光投射到最终用户的眼睛，并且检测该投射光中的至少某些光的返回或反射。虚拟图像生成系统100进一步包括患者方位检测模块130。患者方位模块130检测最终用户50的头部54的瞬时位置，并且可以基于从传感器(多个)接收的位置数据来预测最终用户50的头部54的位置。值得注意的是，检测最终用户50的头部54的瞬时位置便于确定最终用户50正在观看的特定实际对象，从而提供要针对该实际对象生成的特定文本消息的指示，并且进一步提供文本消息要流入的文本区域的指示。患者方位模块130还基于从传感器(多个)接收的跟踪数据，跟踪最终用户50的眼睛52。

虚拟图像生成系统100进一步包括控制子系统，其可以采取多种形式中的任一种。控制子系统包括多个控制器(例如一个或多个微控制器)、微处理器或中央处理单元(CPU)、数字信号处理器、图形处理单元(GPU)、其它集成电路控制器(例如专用集成电路(ASIC))、可编程门阵列(PGA)(例如现场PGA(FPGA))、和/或可编程逻辑控制器(PLU)。

在所示实施例中，虚拟图像生成系统100包括中央处理单元(CPU)132、图形处理单元(GPU)134、以及一个或多个帧缓冲器136。CPU 132控制整体操作，而GPU 134从存储在远程数据储存库150中的三维数据呈现帧(即，将三维场景转换成二维图像)，并且将这些帧存储在帧缓冲器(多个)136中。尽管未示出，但一个或多个额外集成电路可以控制将帧读入帧缓冲器(多个)136中和/或从帧缓冲器(多个)136读出帧以及显示子系统104的扫描设备的操作。读入帧缓冲器(多个)136中和/或从帧缓冲器(多个)136读出可以采用动态寻址，例如，在帧被过度呈现的情况下。虚拟图像生成系统100进一步包括只读存储器(ROM)138和随机存取存储器(RAM)140。虚拟图像生成系统100进一步包括三维数据库142，GPU 134能够从三维数据库142访问一个或多个场景的三维数据以便呈现帧。

虚拟图像生成系统100的各种处理组件可以物理地包含在分布式子系统中。例如，如图8a-8d中所示，虚拟图像生成系统100包括本地处理和数据模块144，其例如通过引线或无线连接146在操作上耦合到显示子系统104和传感器。本地处理和数据模块144可以以各种配置进行安装，例如固定地附接到框架结构102(图8a)、固定地附接到头盔或帽子56(图8b)、嵌入耳机中、可移除地附接到最终用户50的躯干58(图8c)、或者以带耦合式配置可移除地附接到最终用户50的臀部60(图8d)。虚拟图像生成系统100进一步包括远程处理模块148和远程数据储存库150，它们例如通过引线或无线连接150、152在操作上耦合到本地处理和数据模块144，以使得这些远程模块148、150在操作上彼此耦合并且作为资源可用于本地处理和数据模块144。

本地处理和数据模块144可以包括节能处理器或控制器、以及数字存储器(例如闪存)，这两者都可以用于帮助处理、缓存、以及存储从传感器捕获的数据和/或使用远程处理模块148和/或远程数据储存库150获取和/或处理的数据，以便可能在此类处理或取回之后传递到显示子系统104。远程处理模块148可以包括被配置为分析和处理数据和/或图像信息的一个或多个相对强大的处理器或控制器。远程数据储存库150可以包括相对大规模的数字数据存储设备，其可以通过因特网或其它网络配置可用于“云”资源配置中。在一个实施例中，所有数据被存储，并且所有计算在本地处理和数据模块144中被执行，从而允许从任何远程模块完全自主使用。

上述各种组件之间的耦合146、152、154可以包括：一个或多个有线接口或端口，其用于提供导线或光学通信；或者一个或多个无线接口或端口，其用于例如经由RF、微波、以及IR提供无线通信。在某些实施方式中，所有通信可以是有线的，而在其它实施方式中，所有通信可以是无线的。在更进一步的实施方式中，有线和无线通信的选择可以不同于图8A-8D中所示的选择。因此，有线或无线通信的特定选择不应被视为限制性的。

在所示实施例中，患者方位模块130包含在本地处理和数据模块144中，而CPU 132和GPU 134包含在远程处理模块148中，然而在备选实施例中，CPU 132、GPU 124、或者其多个部分可以包含在本地处理和数据模块144。3D数据库142能够与远程数据储存库150相关联。

对于本发明而言重要的是，虚拟图像生成系统100执行动态分辨率区域技术，所述技术呈现三维场景的多个合成图像帧，并且以非均匀分辨率分布顺序地将它们显示给最终用户50。在所示实施例中，每个所显示的图像帧的分辨率分布与最终用户50的眼睛54的敏锐度分布相匹配，或者甚至比该敏锐度分布陡峭。例如，参考图9a-9b，在人眼的视网膜上，光受体细胞的分布高度非均匀，如由视杆细胞的光受体曲线55和视锥细胞的光受体曲线57所表示的。如图9a中所示，视网膜的中心区域(中央凹)(在0°处)包含最高密度的视锥细胞，这些视锥细胞提供最高的视觉敏锐度，如由图9b中的视觉敏锐度曲线59所示。在远离中央凹的区域中，视锥细胞的密度以及因此视觉敏锐度迅速降低。

因此，由虚拟图像生成系统100执行的动态分辨率区域技术尝试在与最终用户50的眼睛54的预计或假设焦点相一致的每个帧中，定位最高分辨率的区域。因此，能够理解，对于由于硬件(扫描器速度)和/或软件限制(帧呈现速度)而不能输出密集填充最终用户50的整个视场的帧的虚拟图像生成系统，该系统仍然能够通过动态改变每个帧的轮廓分辨率来提供高图像质量，以使得最终用户50的眼睛54的焦点始终在最高分辨率的区域中。在所示实施例中，其中扫描设备用于将每个帧呈现给最终用户50，将通过调整帧中的任何特定区域中的扫描线密度来调整该区域的分辨率，从而更有效地显示帧而不会造成图像质量的实质性损失。

例如，如果采取如图10中的均匀扫描线密度分布61，则浪费眼睛未聚焦的高扫描线密度。具体地说，专注于眼睛中央凹敏锐度，如果眼睛聚焦在75度视场(±35度)中的0度处，则远离扫描区域中心的周围区域(例如，±10-35度)中的扫描线密度将高于必需密度，从而导致帧显示效率低下。

相反，如果扫描线密度分布63与人类视觉敏锐度分布59匹配，如图11中所示，则远离扫描区域中心的周围区域中的扫描线密度能够大大降低，从而允许明显放宽扫描线/帧要求的限制。如果将曲线拟合到图11中的人眼敏锐度分布图，则得到的等式将是，其中f是分布密度，并且θ是与中央凹中心的角偏心率(以度为单位)。

如果眼睛聚焦在扫描区域的中心并且采取螺旋扫描模式，则如图12a中所示的扫描线密度分布65将与人类视觉敏锐度分布59相匹配，并且如果眼睛聚焦在扫描区域的中心与扫描区域的外边缘的中间，则由于螺旋扫描的圆对称性，如图12b中所示的扫描线密度分布67将与人类视觉敏锐度分布59相匹配。值得注意的是，图12a和12b中的各图的Y轴上的线密度被表示为线/度的“单位”。能够通过在扫描区域上对扫描线分布曲线下方的区域进行积分，计算每个帧需要的总线数。

因此，能够理解，动态地改变扫描线密度分布的目的是将最终用户52的眼睛54的中央凹保持在高密度扫描区域内。在一个实施例中，检测视场内的眼睛的焦点，并且动态地改变高密度扫描区域，以使得它与检测到的焦点保持一致，从而将眼睛的中央凹保持在高密度扫描区域的中心内。在另一个实施例中，动态地改变高密度扫描区域，以使得它与最终用户50的视场中的感兴趣的对象(虚拟或实际)保持一致。在这种情况下，假设最终用户50的焦点将在感兴趣的对象上和/或最终用户50的视场中的任何其它对象不重要或不存在，并且因此这些区域中的降低的扫描分辨率便将足够。

为了将中央凹保持在扫描线密度分布的高分辨率部分的下方，可以在扫描线密度分布内包括误差裕度，以便例如考虑眼睛跟踪中的不准确性和/或眼睛跟踪中的延时、头部姿势、呈现、以及刷新率。对于300°/秒的最大头部角速度和每秒60帧更新(在眼睛跟踪更新、姿势、呈现、或者刷新率中最慢)，需要10°误差(左右5°)裕度以便保持眼睛中央凹在扫描线密度分布的高分辨率部分的下方。对于150°/秒的最大头部角速度和每秒60帧更新(在眼睛跟踪更新、姿势、呈现、或者刷新率中最慢)，需要5°误差(左右2.5°)裕度以便保持眼睛中央凹在扫描线密度分布的高分辨率部分的下方。如果在图12b的扫描线分布图内包括10°误差裕度，则扫描线密度分布曲线67将如图13中所示那样扩展。

值得注意的是，误差裕度越大，动态区域分辨率技术的效率变得越低。因此，为了最大化动态区域分辨率技术的效率，虚拟图像生成系统100可以基于假设的眼睛角速度分布(该角速度分布可以在不同的用例、应用、和/或时段之间变化)动态地改变误差裕度。例如，当阅读书籍时，眼睛移动远远慢于300°/秒，并且当检查数字绘画时，眼睛在时段内几乎静止。通过使误差裕度动态化，误差裕度有时能够减小到0，从而产生最高的有效分辨率。例如，如下面进一步讨论的，当误差裕度为0时，采用动态区域分辨率技术时的分辨率大约能够是不采用动态区域分辨率技术时的分辨率的2.8倍。

可以通过使扫描密度分辨率分布曲线69比人类视觉敏锐度分布曲线59陡峭(如图14中所示)，而不是与人类视觉敏锐度分布59完全匹配，使动态分辨率区域技术更有效。以这种方式，在中心区域中获得视网膜分辨率，而在周围区域中获得亚视网膜(sub-retina)分辨率。因此，在视场的焦点区域中实现非常高的分辨率，其代价是视场中的其它位置的分辨率较低。

现在参考图15，能够比较当使用不同扫描线分辨率分布时的动态分辨率区域技术的效率。如图所示，比较以下扫描曲线：由使用均匀扫描线密度的常规扫描技术产生的扫描曲线170a；由动态分辨率区域技术产生的扫描曲线170b，其与人类视觉敏锐度分布曲线172匹配并且没有误差裕度；由动态分辨率区域技术产生的扫描曲线170c，其与人类视觉敏锐度分布曲线172匹配并且具有10°误差裕度；以及由动态分辨率区域技术产生的扫描曲线170d，其比人类视觉敏锐度分布曲线172陡峭并且具有10°误差裕度。应该注意，尽管扫描曲线170b-170d的峰值或平稳值小于人类视觉敏锐度分布曲线172的峰值，但扫描曲线170b-170c与人类视觉敏锐度分布曲线172匹配，因为扫描曲线170b-170c的斜率等于视觉敏锐度分辨率曲线的斜率，并且扫描曲线170d比人类视觉敏锐度分布曲线172陡峭，因为扫描曲线170d的斜率大于人类视觉敏锐度分布曲线172的斜率。

跨越70°扫描区域在扫描曲线170的下方进行积分导致扫描曲线170a的每帧70个线单位，扫描曲线170b的每帧25.2个线单位，扫描曲线170c的每帧41.3个线单位，以及扫描曲线170d的每帧20.1个线单位。这转换为动态分辨率区域技术的增加的每秒帧数(FPS)，并且具体地说，与视觉敏锐度分辨率匹配并且没有误差裕度的动态分辨率区域技术(扫描曲线170b)的FPS等于常规扫描技术(扫描曲线170a)的FPS的2.8倍；与视觉敏锐度分辨率匹配并且具有10°误差裕度的动态分辨率区域技术(扫描曲线170c)的FPS等于常规扫描技术(扫描曲线170a)的FPS的1.7倍；以及比视觉敏锐度分辨率陡峭并且具有10°误差裕度的动态分辨率区域技术(扫描曲线170d)的FPS等于常规扫描技术(扫描曲线170a)的FPS的3.5倍。

基于以上所述，应该理解，通过利用动态分辨率区域技术，能够大大减少显示帧所需的扫描线，提供增加帧扫描速率和/或降低所需扫描器频率的可能性，从而增加可用的机械/光学扫描器设计选项。从以上所述还应该理解，还能够降低帧呈现速度。例如，能够以非均匀分辨率分布(例如，与视觉敏锐度分辨率匹配的分辨率分布)呈现每个帧，并且然后完全按照已呈现的方式将每个帧显示给最终用户50。因为呈现帧需要的像素数量已减少，所以随着帧扫描速率的增加和/或扫描器频率的降低，能够相应地减少呈现帧所需的时间量。备选地，能够以均匀分辨率分布呈现每个帧，在这种情况下，能够通过在扫描过程中忽略所呈现的帧内的某些像素，将非均匀分辨率分布结合到帧中。

已描述了数种动态分辨率区域技术的理论和优点，现在将描述动态分辨率区域技术的实施方式。

在一个实施例中，假设在图像帧中使用螺旋扫描模式，则扫描线可以被简单地表示为同心线200，如图16a-16b中所示。尽管为了简洁和清晰起见仅示出六条同心扫描线200，但应该认识到，可以在实践中使用更多的扫描线。如果假设最终用户50聚焦在视场中的点202a处，则将在点202a的附近使用帧中的最高扫描线密度，如由更密集间隔的扫描线200b-d表示，并且将在远离点202a的区域中使用帧中的较低扫描密度，如由更稀疏间隔的扫描线200a和200e-f表示(图16a)。如果假设最终用户50现在聚焦在点202b处，则将在点202b的附近区域中使用帧中的最高扫描线密度，如由更密集间隔的扫描线200d-f表示，并且将在远离点202b的区域中使用帧中的较低扫描密度，如由更稀疏间隔的扫描线200a-c表示(图16b)。因此，可以理解，通过动态地移动最高线密度的区域以便跟随最终用户50的焦点，通常能够使用相同数量的扫描线提高图像帧的质量。

在一个实施例中，跨越视场的扫描线密度的变化是连续的(即，相邻扫描线对之间的间隔将彼此不同)。但是，在一个理想实施例中，跨越视场的扫描线密度的变化是离散的。即，每个图像帧包括具有不同分辨率的多个离散区域。

例如，采取螺旋扫描模式，图像帧可以具有五个环形离散区域204a-204e，如图17a-17b中所示。如果假设最终用户50聚焦在由点206a指示的视场的中心处，则最高分辨率区域例如将是204a，并且剩余的周围区域204b-204e将具有降低的分辨率(图17a)，从204b开始，然后是204c，然后是204d，并且最后是204e。相比之下，如果假设最终用户50聚焦在由点206d指示的视场的外围处，则最高分辨率区域例如将是204d(图17b)，并且剩余的周围区域204b-204e将具有降低的分辨率，从204c和204e开始，然后是204b，并且最后是204a。值得注意的是，图17a和17b中所示的离散区域204的分辨率分布与图9b中所示的视觉敏锐度分布一致。即，离散区域的分辨率将以与从分布中心起的视觉敏锐度量基本匹配的速率，从与焦点关联的最高分辨率离散区域降低。

再如，采取光栅扫描模式，图像帧可以具有五个矩形离散区域208a-208i，如图18a-18b中所示。如果假设最终用户50聚焦在由点210a指示的视场的中心处，则最高分辨率区域例如将是208e，并且剩余的周围区域208a-208d和208f-208i将具有降低的分辨率(图18a)，从208d和208f开始，然后是208c和208g，然后是208b和208h，并且最后是208a和208i。相比之下，如果假设最终用户50聚焦在由点208c指示的视场的外围处，则最高分辨率区域例如将是208c(图18b)，并且剩余的周围区域204a-204b和204d-204i将具有降低的分辨率，从204b和204d开始，然后是204a和204e，然后是204f，然后是204g，然后是204h，并且最后是204i。再次，图18a和18b中所示的离散区域208的分辨率分布与图9b中所示的视觉敏锐度分布一致。即，离散区域的分辨率将以与从分布中心起的视觉敏锐度量基本匹配的速率，从与焦点关联的最高分辨率离散区域降低。

在一个实施例中，可以从基于最终用户的焦点的视场模板中选择最高分辨率的离散区域。例如，参考图19，采取螺旋扫描模式的视场模板212包括五个环形离散区域214a-214e。在所示实施例中，离散区域214a-214e中的每一者能够选择性地从标称尺寸(由实线表示)扩展到扩展尺寸(由虚线表示)，例如扩展10％，以便考虑上述误差裕度。

例如，假设估计的最终用户50的焦点在标称离散区域214a的外围附近的点216a处，则扩展后的离散区域214a将被选择并显示为具有最高分辨率的区域，如图20a中所示。如果最终用户50的实际焦点正好在标称离散区域214a的外围外部的点216b处，则焦点216b将仍然被包括在最高分辨率内，这是由于扩展后的离散区域214a覆盖点216b的事实。同样如图20a中所示，离散区域214b的不与扩展后的离散区域212a重叠的部分将以降低的分辨率显示。换言之，标称离散区域214b的部分(由离散区域212a的虚线和实线限定)将被忽略，因为该区域已经被高分辨率离散区域214a的扩展部分所覆盖。剩余的离散区域212c-212e将使用降低的分辨率以其标称形式(未扩展)显示。

扩展后的离散区域214a将继续使用最高分辨率显示，直到估计的最终用户50的焦点在视场模板210中的标称离散区域212a的外部。例如，如果估计的最终用户50的焦点改变为视场模板210的离散区域212b中的214c，则扩展后的离散区域212b将被显示为具有最高分辨率的离散区域，如图20b中所示。同样如图20b中所示，离散区域214a和214c的不与扩展后的离散区域212b重叠的部分将以降低的分辨率显示。换言之，标称离散区域214a的部分(由离散区域212a的虚线和实线限定)和离散区域214c的部分(由离散区域212c的虚线和实线限定)将被忽略，因为这些区域已经被高分辨率离散区域214b的扩展后的部分覆盖。剩余的离散区域212d-212e将使用降低的分辨率以其标称形式(未扩展)显示。

在一个可选实施例中，因为所显示的帧的较低分辨率区域可能针对最终用户50产生视觉伪影(例如，由于扫描线之间的相对较大的间隔，最终用户50可能能够明显视觉化单独扫描线)，所以这些较低分辨率区域可被模糊。模糊量能够与帧的较低分辨率区域中的分辨率降低量相当。例如，如果低分辨率区域的分辨率比最高分辨率区域的分辨率小四倍(25％)，则低分辨率区域中的显示的像素可以被模糊至像素的原始大小的四倍。在一个实施例中，能够通过在相邻显示的帧中抖动扫描线，使较低分辨率区域模糊。例如，在两个场在一个帧中隔行的情况下，在一个帧中，可以显示偶数场的扫描线，并且在下一个帧中，可以显示奇数场的扫描线。在另一个实施例中，能够通过在较低分辨率区域中使所显示的帧散焦，使较低分辨率区域模糊。这能够例如通过在与最终用户50的焦平面不同的焦平面中显示较低分辨率区域的扫描线来实现。

在另一个可选实施例中，在由螺旋扫描模式生成的帧的外围中的较高分辨率区域可能以在帧的外围上视觉化高线密度带的形式产生伪影。为了最小化这些伪影，能够扫描高分辨率扇形而不是高分辨率环形。例如，能够扫描高分辨率扇形区域202f以便覆盖估计的焦点206b(如图21中所示)，而不是扫描如图17b中所示的高分辨率环形区域202d。在扫描设备116的局限性阻止以较低分辨率扫描环形区域202d的剩余扇形区域202g(即，高分辨率扇形区域202f外部的扇形区域)的情况下，能够防止扫描设备116显示期望较低分辨率扇形区域内的所有扫描线。例如，对于环形区域202d内的特定360度扫描线，扫描设备116能够针对低分辨率扇形中的扫描线停止输出光，并且针对高分辨率扇形区域202f中的相同扫描线输出光。然后，对于环形区域202d内的另一个相邻360度扫描线，扫描设备116可以针对整个360度范围内的扫描线保持输出光。

已描述了虚拟图像生成系统100的结构和功能，现在将参考图22描述一种由虚拟图像生成系统100执行的将合成图像帧显示给最终用户50的方法300。

为此，CPU 132估计最终用户50的焦点(例如，通过经由患者方位检测模块130检测焦点，或者假设焦点与最终用户50的视场中的所标识的感兴趣对象一致)(步骤302)，并且选择与所估计的焦点一致的视场模板的离散区域(步骤304)。虚拟图像生成系统100然后允许最终用户50视觉化周围环境中的三维场景(步骤306)。这例如可以在“视频透视式”显示器中实现，其中CPU 132指示前向摄像机128捕获三维场景的图像数据，并且指示显示子系统104将所捕获的图像数据显示给最终用户50；或者在“光学透视式”显示器中实现，其中简单地允许最终用户直接观看来自三维场景的光。

CPU 132还指示GPU 134从最终用户50的视点生成虚拟图像数据，并且在该实施例中，将来自三维虚拟场景的二维虚拟图像数据呈现为合成图像帧(步骤308)。在一个实施例中，可以基于预测的头部位置呈现帧，以便例如通过呈现和扭曲虚拟图像数据来最小化任何延时问题。

CPU 132然后指示显示子系统104将合成图像帧连同周围三维场景一起显示给最终用户50，从而产生三维增强场景(步骤310)。在一种方法中，以非均匀分辨率分布显示合成图像帧，并且具体地说，显示具有最高分辨率区域的合成图像帧，该最高分辨率区域与来自视场模板的选定离散区域相对应。可以使用离散区域显示合成图像帧，这些离散区域根据它们与最高分辨率区域的距离而逐渐降低分辨率。离散区域的分辨率例如可以与人眼的敏锐度分布相匹配，或者甚至比该敏锐度分布陡峭。值得注意的是，如果所呈现的合成图像帧具有均匀分辨率分布，则CPU 132例如通过指示显示子系统104忽略需要低分辨率的帧的区域中的某些像素，将非均匀分辨率分布结合到所呈现的帧中。另一方面，如果所呈现的合成图像帧具有非均匀分辨率分布(这是由于使用与视场模板的选定离散区域对应的高分辨率区域来呈现该帧)，则CPU 132将显示所呈现的帧。

在所例示的方法中，显示子系统104例如以螺旋模式扫描合成图像帧，以使得非均匀分辨率分布径向地变化，或者以光栅模式扫描合成图像帧，以使得非均匀分辨率分布直线地变化。离散区域在螺旋扫描模式的情况下可以是环形或者甚至扇形，或者在光栅扫描模式的情况下可以是矩形。CPU 132还指示显示子系统104使较低分辨率区域中的合成图像帧模糊(例如，通过抖动扫描线或者在较低分辨率区域中散焦)(步骤312)。应该理解，尽管使较低分辨率区域中的合成图像帧模糊的步骤在流程图中被示为在呈现和显示步骤之后发生，但应该理解，模糊步骤能够与呈现或显示步骤同时执行。CPU 132然后返回到步骤302以便生成和显示具有非均匀分布的另一个合成图像帧，取决于新估计的最终用户50的焦点，该非均匀分布可以与前一个合成图像帧中的非均匀分布相同或不同。

在前面的说明书中，已参考本发明的特定实施例描述了本发明。但是，显而易见的是，能够对本发明做出各种修改和变化而不偏离本发明的更广泛的精神和范围。例如，参考过程操作的特定顺序描述上述过程流程。但是，能够改变许多所述过程操作的顺序而不影响本发明的范围或操作。因此，说明书和附图被视为示例性的而不是限制性的。

Claims (56)

1.一种操作虚拟图像生成系统的方法，所述方法包括：

呈现三维场景的多个合成图像帧；以及

顺序地将所述多个图像帧显示给最终用户，其中所显示的图像帧中的每一者具有非均匀分辨率分布。

2.根据权利要求1所述的方法，其中以所述非均匀分辨率分布呈现所述图像帧中的每一者。

3.根据权利要求1所述的方法，其中所述图像帧中的每一者被呈现为具有均匀分辨率分布，并且其中显示相应图像帧包括将所述非均匀分辨率分布结合到已呈现的图像帧中。

4.根据权利要求1所述的方法，其中显示所述图像帧包括扫描所述图像帧。

5.根据权利要求4所述的方法，其中以螺旋模式扫描所述图像帧中的每一者。

6.根据权利要求5所述的方法，其中所述非均匀分辨率分布径向地变化。

7.根据权利要求4所述的方法，其中以光栅模式扫描所述图像帧中的每一者。

8.根据权利要求7所述的方法，其中所述非均匀分辨率分布直线地变化。

9.根据权利要求1所述的方法，其中所显示的图像帧中的至少两者具有不同的非均匀分辨率分布。

10.根据权利要求1所述的方法，其中所显示的图像帧中的每一者包括具有不同分辨率的多个离散区域。

11.根据权利要求10所述的方法，其中所述多个离散区域的数量至少为三。

12.根据权利要求11所述的方法，其中所述离散区域中的每一者是环形。

13.根据权利要求11所述的方法，其中所述离散区域中的每一者是矩形。

14.根据权利要求11所述的方法，其中所述离散区域中的每一者是扇形。

15.根据权利要求11所述的方法，其中所述多个离散区域包括最高分辨率的区域，所述方法进一步包括从具有多个离散区域的视场模板中选择所述最高分辨率的区域。

16.根据权利要求15所述的方法，其中所述视场模板中的所述多个离散区域彼此重叠。

17.根据权利要求11所述的方法，其中所述多个离散区域包括最高分辨率的区域和较低分辨率的区域，所述方法进一步包括在所述较低分辨率的区域中使所显示的图像帧模糊。

18.根据权利要求17所述的方法，其中扫描所显示的图像帧中的每一者，并且使所显示的图像帧模糊包括在所述较低分辨率的区域中的相邻显示的图像帧中抖动扫描线。

19.根据权利要求17所述的方法，其中使所显示的图像帧模糊包括在所述较低分辨率的区域中使所显示的图像帧散焦。

20.根据权利要求1所述的方法，其中所显示的图像帧中的每一者的分辨率分布具有与所述最终用户的眼睛的敏锐度分布的斜率相匹配的斜率。

21.根据权利要求1所述的方法，其中所显示的图像帧中的每一者的分辨率分布的斜率大于所述最终用户的眼睛的敏锐度分布的斜率。

22.根据权利要求1所述的方法，进一步包括：

在所述最终用户的视场内估计眼睛的焦点；以及

基于所估计的焦点，针对所显示的图像帧中的每一者生成所述非均匀分辨率分布。

23.根据权利要求22所述的方法，其中所述非均匀分辨率分布中的每一者具有与所估计的焦点一致的最高分辨率的区域。

24.根据权利要求23所述的方法，其中所述最终用户的所估计的焦点具有误差裕度以便在所述最终用户的所述视场内提供焦点范围，并且所述最高分辨率的区域与所述焦点范围相交。

25.根据权利要求22所述的方法，其中估计所述焦点包括检测所述最终用户的所述焦点。

26.根据权利要求22所述的方法，其中估计所述焦点包括在所述最终用户的所述视场内标识感兴趣的对象。

27.一种由最终用户使用的虚拟图像生成系统，所述系统包括：

存储器，其存储三维场景；

控制子系统，其被配置为呈现所述三维场景的多个合成图像帧；以及

显示子系统，其被配置为顺序地将所述多个图像帧显示给所述最终用户，其中所显示的图像帧中的每一者具有非均匀分辨率分布。

28.根据权利要求27所述的虚拟图像生成系统，其中所述显示子系统被配置为位于所述最终用户的眼睛的前方。

29.根据权利要求27所述的虚拟图像生成系统，其中所述显示子系统包括投影子系统和部分透明的显示表面，所述投影子系统被配置为将所述图像帧投影到所述部分透明的显示表面上，并且所述部分透明的显示表面被配置为位于所述最终用户的眼睛与周围环境之间的所述视场中。

30.根据权利要求27所述的虚拟图像生成系统，进一步包括被配置为由所述最终用户佩戴的框架结构，所述框架结构承载所述显示子系统。

31.根据权利要求27所述的虚拟图像生成系统，其中所述控制子系统包括图形控制子系统单元(GPU)。

32.根据权利要求27所述的虚拟图像生成系统，其中所述控制子系统被配置为以所述非均匀分辨率分布呈现所述图像帧中的每一者。

33.根据权利要求27所述的虚拟图像生成系统，其中所述控制子系统被配置为以均匀分辨率分布呈现所述图像帧中的每一者，并且其中所述显示子系统被配置为通过将所述非均匀分辨率分布结合到已呈现的图像帧中来显示相应图像帧。

34.根据权利要求27所述的虚拟图像生成系统，其中所述显示子系统被配置为通过扫描所述图像帧来显示所述图像帧。

35.根据权利要求34所述的虚拟图像生成系统，其中所述显示子系统被配置为以螺旋模式扫描所述图像帧中的每一者。

36.根据权利要求35所述的虚拟图像生成系统，其中所述非均匀分辨率分布径向地变化。

37.根据权利要求34所述的虚拟图像生成系统，其中所述显示子系统被配置为以光栅模式扫描所述图像帧。

38.根据权利要求37所述的虚拟图像生成系统，其中所述非均匀分辨率分布直线地变化。

39.根据权利要求27所述的虚拟图像生成系统，其中所显示的图像帧中的至少两者具有不同的非均匀分辨率分布。

40.根据权利要求27所述的虚拟图像生成系统，其中所显示的图像帧中的每一者包括具有不同分辨率的多个离散区域。

41.根据权利要求40所述的虚拟图像生成系统，其中所述多个离散区域的数量至少为三。

42.根据权利要求40所述的虚拟图像生成系统，其中所述离散区域中的每一者是环形。

43.根据权利要求40所述的虚拟图像生成系统，其中所述离散区域中的每一者是矩形。

44.根据权利要求40所述的虚拟图像生成系统，其中所述离散区域中的每一者是扇形。

45.根据权利要求40所述的虚拟图像生成系统，其中所述多个离散区域包括最高分辨率的区域，并且所述控制子系统被配置从具有多个离散区域的视场模板中选择所述最高分辨率的区域。

46.根据权利要求45所述的虚拟图像生成系统，其中所述视场模板中的所述多个离散区域彼此重叠。

47.根据权利要求40所述的虚拟图像生成系统，其中所述多个离散区域包括最高分辨率的区域和较低分辨率的区域，所述控制子系统被配置为在所述较低分辨率的区域中使所显示的图像帧模糊。

48.根据权利要求47所述的虚拟图像生成系统，其中所述显示子系统被配置为扫描所显示的图像帧中的每一者，并且被配置为通过在所述较低分辨率的区域中的相邻显示的图像帧中抖动扫描线来使所显示的图像帧模糊。

49.根据权利要求47所述的虚拟图像生成系统，其中所述显示子系统被配置为通过在所述较低分辨率的区域中使所显示的图像帧散焦来使所显示的图像帧模糊。

50.根据权利要求27所述的虚拟图像生成系统，其中所显示的图像帧中的每一者的分辨率分布具有与所述最终用户的眼睛的敏锐度分布的斜率相匹配的斜率。

51.根据权利要求27所述的虚拟图像生成系统，其中所显示的图像帧中的每一者的分辨率分布的斜率大于所述最终用户的眼睛的敏锐度分布的斜率。

52.根据权利要求27所述的虚拟图像生成系统，其中所述控制子系统被配置为在所述最终用户的视场内估计眼睛的焦点；以及基于所估计的焦点，针对所显示的图像帧中的每一者生成所述非均匀分辨率分布。

53.根据权利要求52所述的虚拟图像生成系统，其中所述非均匀分辨率分布中的每一者具有与所估计的焦点一致的最高分辨率的区域。

54.根据权利要求53所述的虚拟图像生成系统，其中所述最终用户的所估计的焦点具有误差裕度以便在所述最终用户的所述视场内提供焦点范围，并且所述最高分辨率的区域与所述焦点范围相交。

55.根据权利要求52所述的虚拟图像生成系统，进一步包括被配置为检测所述最终用户的所述焦点的一个或多个传感器，其中所述控制子系统被配置为从所检测的焦点估计所述焦点。

56.根据权利要求52所述的虚拟图像生成系统，其中所述控制子系统被配置为通过在所述最终用户的所述视场内标识感兴趣的对象来估计所述焦点。