CN110583016B - 非平面计算显示 - Google Patents

Abstract

近眼显示器系统[100]包括一个或多个非平面显示器面板[110、112]和小透镜阵列[124]，以显示近眼光场帧[120]。近眼显示器系统还包括渲染组件[104]，该渲染组件基于与一个或多个非平面显示器面板的一组显示器几何形状数据相关联的立体聚焦体积[316]来渲染近眼光场帧中的元素图像的阵列，使得立体聚焦体积内的对象被用户的眼睛感知为聚焦。

Description

非平面计算显示

背景技术

身临其境的虚拟现实(VR)和增强现实(AR)系统通常利用头戴式显示器(HMD)和其他近眼显示器系统向用户呈现立体像，从而给出存在三维(3D)场景的感觉。常规的HMD可以利用近眼光场显示器或其他计算显示器来提供三维(3D)图形的显示。通常，近眼光场显示器采用一个或多个显示器面板以及覆盖在一个或多个显示器面板上的许多透镜、针孔或其他光学元件。渲染系统渲染元素图像的阵列，每一个元素图像代表来自对应的视角或虚拟相机位置的对象或场景的图像或视图。

附图说明

通过参考附图，可以更好地理解本公开，并且其众多特征和优点对于本领域技术人员而言显而易见。在不同附图中使用相同的附图标记表示相似或相同的项目。

图1是示出根据一些实施例的并入了用于生成立体聚焦体积的非平面显示器的近眼显示器系统的图。

图2示出了根据一些实施例的并入了用于生成立体聚焦体积的非平面显示器的图1的近眼显示器系统的立体图。

图3是示出了根据一些实施例的用于生成立体聚焦体积的图1的近眼显示器系统中的非平面计算显示器的示例的图。

图4是示出了根据一些实施例的图1的近眼显示器系统中的虚拟平面旋转的示例的图。

图5是示出了根据一些实施例的用于生成立体聚焦体积的图1的近眼显示器系统中的非平面计算显示器的附加示例的图。

图6是示出了根据一些实施例的用于生成立体聚焦体积的图1的近眼显示器系统中的非平面计算显示器的又一示例的图。

图7是示出了根据一些实施例的隐藏在非平面计算显示器中的间隙的示例的图。

图8是示出了根据一些实施例的用于生成立体聚焦体积的方法的流程图。

具体实施方式

图1-8示出了用于在近眼显示器系统中并入非平面显示器并生成立体聚焦体积的示例方法和系统。在至少一个实施例中，近眼显示器系统采用非平面计算显示器来向用户显示像的近眼光场帧，从而为用户提供身临其境的VR或AR体验。每一个近眼光场帧都由元素图像的阵列组成，每一个元素图像代表来自不同的对应视点的对象或场景的视图。

许多常规的HMD设备要么实现单个平面显示器，将其分成两个独立的显示区域，一个用于用户的左眼，一个用于用户的右眼，要么实现一对独立的平面显示器，用户的每只眼睛对应一个。这样的设备通常还包括用于每只眼睛的单个透镜，以便将显示器的整个图像聚焦到用户的眼睛中。但是，使用平板显示和用于每只眼睛的单个透镜通常会导致笨重的HMD外形，这进而在使用时会产生高转动惯量。此外，平板显示器和透镜通常将总横向视场(FOV)限制在110度或更小。这些常规HMD设备的体积庞大且视野有限，可能会严重影响用户在显示图像中的存在感，从而抑制沉浸在所呈现场景中的感觉。

为了在不减小视场(FOV)和/或景深的情况下提供改进的HMD外形，在至少一个实施例中，本文所述的近眼显示器系统利用非平面计算显示器配置，其中与非平面计算显示器相关联的立体聚焦体积内的对象被感知为聚焦。作为示例，常规的近眼显示器系统通常具有平面的HMD外形，该平面的HMD外形需要左和右图像平面(即，用于HMD的左眼和右眼显示器面板的图像平面)为共面，以便将对象感知为聚焦。但是，这种平面HMD外形需要大尺寸的显示器面板，从而形成“潜水面罩”产品外壳，以保持足够的FOV。本文所述的近眼显示器系统通过将一个或多个显示器面板与具有较大景深的小透镜阵列配对以在三维(3D)空间中渲染聚焦体积，来实现环绕或非平面外形。这些聚焦体积重叠处的体积表示立体聚焦体积，在该立体聚焦体积中，用户的两只眼睛可以感知对象被聚焦，而不会降低近眼显示器系统的FOV。

图1示出了根据至少一个实施例的并入了用于生成立体聚焦体积的非平面显示器的近眼显示器系统100。在一些实施例中，近眼显示器系统100可以是具有将HMD安装到用户的面部的外形的HMD设备。在所描绘的示例中，近眼显示器系统100包括计算显示器子系统102、渲染组件104以及一个或多个眼睛跟踪组件，诸如用于跟踪用户的左眼的眼睛跟踪组件106和用于跟踪用户的右眼的眼睛跟踪组件108中的一个或两个。计算显示器子系统102是非平面显示器，并且包括左眼显示器110和右眼显示器112，该左眼显示器110和右眼显示器112安装在分别在用户的左眼和右眼前面放置显示器110、112的设备114(例如，护目镜，眼镜等)中。

显示器110、112中的每一个包括至少一个显示器面板118，以显示一系列或连续的近眼光场帧(在下文中，为了便于参考，称为“光场帧”)，每一个近场光场帧包括元素图像122的阵列120。为了便于参考，元素图像122的阵列120在本文中也可以称为光场帧120。显示器110、112中的每一个还包括覆盖显示器面板118的小透镜126(也通常称为“微透镜”)的阵列124。通常，小透镜阵列124中的小透镜126的数量等于阵列120中的元素图像122的数量，但是在其他实施方式中，小透镜126的数量可以小于或大于元素图像122的数量。注意为了便于说明，尽管图1的例子示出了的元素图像122的10x4阵列和小透镜126的对应的10x4阵列120，但是在典型的实施方式中，在光场帧120中的元素图像122的数量和小透镜阵列124中的小透镜126的数量通常更高。此外，在一些实施例中，为显示器110、112中的每一个实现单独的显示器面板118，而在其他实施例中，左眼显示器110和右眼显示器112与用于左眼显示器110的左半部分显示器面板118和用于右眼显示器112的右半部分显示器面板118共享单个显示器面板118。

图1的截面图128描绘了沿着覆盖显示器面板118的小透镜阵列124的线AA的截面图，使得小透镜阵列124覆盖每一个显示器面板118的显示器表面130，从而被布置在显示器表面130和用户的对应的眼睛之间132。在这种配置中，每一个小透镜126将显示器表面130的对应区域聚焦到眼睛的瞳孔134上，其中每一个这样的区域至少部分地与一个或多个相邻区域重叠。因此，当元素图像122的阵列120被显示在显示器面板118的显示器表面130处并且然后由眼睛132通过小透镜阵列124观察时，用户将元素图像122的阵列120感知为场景的单个图像。因此，当针对用户的左眼和右眼两者并行地执行该处理并且在其之间实现适当的视差时，结果是向用户呈现自动立体三维(3D)像。

此外，如截面图128所示，左眼显示器110的显示器面板118和右眼显示器112的显示器面板118相对于彼此以非平面定向定位(与其中显示器面板呈现的左眼和右眼图像平面共面的常规VR/AR显示器相反)。换句话说，计算显示器子系统102(包括显示器面板118)是非平面显示器。如截面图128所示，左眼显示器110的显示器面板118和右眼显示器112的显示器面板118可以各自分别是平面的。但是，两个显示器面板118不是共面的。替代地，显示器面板118相对于彼此成一定角度，使得它们在使用中部分地环绕在佩戴者的脸周围。尽管在该示例中将左眼显示器110和右眼显示器112中的每一个描绘为具有单个显示器面板118，但是在其他实施例中，显示器110、112中的每一个可以包括任何“N”个显示器面板段(在本文中每一个也称为“显示器面板块”)。例如，在一些实施例中(诸如下面相对于图5所描述的)，显示器110、112中的每一个包括两个显示器面板。本领域技术人员将认识到，随着显示器面板段的数量增加，显示器110、112的显示器表面将越来越接近曲线。在一些实施例中，各个显示器面板118本身可以是非平面的(即弯曲的)。

在其他实施例中，显示器110、112中的每一个不是具有N个显示器面板段，而是包括具有不同横向部分的连续显示器面板，所述横向部分具有不同的曲率度(或基本没有曲率)、不同的定向或其组合，使得每一个部分代表显示器110、112的单独的逻辑部分或“块”(诸如下面相对于图2和图5所描述的)。即，尽管左眼显示器110和右眼显示器112中的每一个包括在显示器面板的整个横向范围上延伸并且由相同的显示器驱动器硬件驱动的一组像素行，但是基于该部分中的显示器面板的曲率变化或基于该部分相对于用户的对应眼睛的定向，显示器面板可以在逻辑上被组织为一组相邻的横向部分。可以使用能够向显示器面板提供变化的曲率或定向配置的各种显示器技术(诸如可弯曲成所需的曲率和截面定向并通过支撑架保持原样的薄膜柔性有机发光二极管(OLED))的任何一个来实现弯曲的左眼显示器和右眼显示器110、112。此外，小透镜阵列124包括聚焦在相关联的显示器面板的对应部分上的多个小透镜126。即，每一个小透镜126的光轴与对应的显示器面板段的显示器表面130(在本文中称为“显示器面板块”)相交，并且在一些实施例中，光轴垂直于对应的显示器面板的面。

同样如图1所示，渲染组件104包括一组一个或多个处理器，诸如所示的中央处理单元(CPU)136和图形处理单元(GPU)138、140以及诸如系统存储器142的一个或多个存储组件以用于存储软件程序或其他可执行指令，处理器136、138、140访问和执行所述软件程序或其他可执行指令，以便操纵处理器136、138、140中的一个或多个来执行本文所述的各种任务。这样的软件程序例如包括如下所述的渲染程序144，所述渲染程序144包括用于光场帧渲染处理的可执行指令，以及包括如下所述的眼睛跟踪程序146，所述眼睛跟踪程序146包括用于立体体积生成处理的可执行指令。

在操作中，渲染组件104从本地或远程内容源150接收渲染信息148，其中渲染信息148表示代表对象或场景的图形数据、视频数据或其他数据，该对象或场景是在显示器子系统102处要渲染和显示的像的主题。执行渲染程序144，CPU 136使用渲染信息148将绘图指令发送到GPU 138、140，GPU 138、140进而利用绘图指令使用多种公知的VR/AR计算/光场渲染处理中的任何一个，并行渲染用于在左眼显示器110处显示的一系列光场帧151和用于在右眼显示器112处显示的一系列光场帧153。作为该渲染处理的一部分，CPU 136可以从惯性管理单元(IMU)154接收姿势信息150，由此姿势信息150代表显示器子系统102的姿势，并且控制一对或多对光场帧151、153的渲染，以从姿势反映对象或场景的视点。

为此，眼睛跟踪组件106、108可各自包括一个或多个红外(IR)光源(在本文中称为“IR照明器”)以用IR光照射对应的眼睛、一个或多个成像相机以捕获IR光(从对应的眼睛反射回作为对应的眼睛图像(眼睛图像信息156))、一个或多个反射镜、波导、分束器等以将反射的IR光引导至成像相机、以及一个或多个处理器以执行眼睛跟踪程序146，以便从捕获的眼睛图像确定对应眼睛的当前位置、当前定向或两者(在本文中单独或统称为“姿势”)。可以采用多种公知的眼睛跟踪设备和技术中的任何一种作为眼睛跟踪组件106、108，以跟踪用户的一只或两只眼睛。

在至少一个实施例中，近眼显示器系统100可以将眼睛姿势确定为过去的眼睛姿势、当前的眼睛姿势或预测的(未来的)眼睛姿势或其组合。特别地，对未来眼睛姿势的预测可以提供改善的性能或响应时间，并且可以实现多种眼动预测算法中的任何一种来预测未来眼睛姿势。此外，在一些情况下，眼睛跟踪组件106、108可以将场景信息(例如，要渲染像中的脸部位置或显着性启发法)在预测用户眼睛的未来注视以进行眼睛姿势计算中用作输入。这样，如本文中所使用的，术语“眼睛姿势”可以指的是先前的、当前的或预测的眼睛姿势或其某种组合。

如本文中更详细地描述的，在至少一个实施例中，近眼显示器系统100通过确定立体聚焦体积来生成立体聚焦体积，在该立体聚焦体积中，对象看起来对用户的左眼和右眼132都聚焦。通过使用相对于用户的眼睛具有不同曲率和/或定向的显示器面板段，近眼显示器系统100可以制造成具有保持HMD的主体更靠近用户的头部的外形，从而减少其转动惯量，以及提供更宽的横向视野和更美观的外观。

图2示出了根据一些实施例的非平面计算显示器的立体图，所述非平面计算显示器诸如在近眼显示器系统100中用于生成立体聚焦体积的显示器。根据本公开的说明性实施例，图2示出了作为具有“眼镜”外形的HMD设备200的近眼显示器系统100，其中HMD设备200经由镜腿202、204被安装到用户的面部，所述镜腿202、204在被用户佩戴时位于用户的耳朵上或后面。然而，在其他实施例中，HMD设备200可以用“面罩”外形来实现，其中HMD设备200经由一个或多个带、吊带或其他附接设备被安装到用户的面部。此外，尽管为了便于说明而省略，但是HMD设备200还可包括一个或多个面部垫圈，以紧靠用户的面部密封，以限制环境光的侵入。在所描绘的示例中，HMD设备200具有外壳206，使得安装在外壳206上或内部的显示器设备(例如，图1的左眼和右眼显示器110、112)布置在用户的眼睛前面。如本文中进一步描述的，耦合到或嵌入在外壳206内的处理器生成AR/VR内容以在显示器设备处显示，从而使用户沉浸在与AR/VR内容相关联的AR/VR环境中。

图3是示出根据一些实施例的非平面计算显示器的截面图300的图，该非平面计算显示器诸如是沿图1的线A-A截取的在近眼显示器系统100中使用的显示器。如图所示，显示器面板118和小透镜126关于与当佩戴近眼显示器系统100时用户的中央矢状的平面相对应的中间平面302基本对称。此外，显示器面板118相对于彼此和平面304是非平面。平面304通常平行于用户的冠状平面，并且进一步大致对应于常规HMD的显示器所位于的平面。

如该图所示，用户的眼睛132指向虚拟图像308内的点306，虚拟图像308包括意图由眼睛132在不同深度感知的多个对象(未示出)。由于小透镜126而引起的景深310(即，眼睛132将感知为聚焦的最近的和最远的对象之间的距离)导致虚拟图像308内的体积，在该体积中对象看起来被聚焦。

特别地，当由左眼显示器110的显示器面板118呈现以供显示时，左眼聚焦体积312内的对象将看起来对用户的左眼132聚焦。类似地，当由右眼显示器112的显示器面板118呈现以供显示时，右眼聚焦体积314内的对象将看起来对用户的右眼132聚焦。在各个实施例中，左眼聚焦体积312和右眼聚焦体积314的景深可以使用以下等式确定：

dPhi＝2c/(d*f) (1)

其中，dPhi代表屈光度的景深，c代表以米为单位的显示像素大小，d代表以米为单位的小透镜直径，f代表以米为单位的小透镜焦距。

如图3所示，左眼聚焦体积312和右眼聚焦体积314在立体聚焦体积316处重叠。因此，基于显示器面板118的非平面配置来渲染光场帧，并且立体聚焦体积316内的对象将看起来聚焦在用户的左眼和右眼132两者上。

在一些实施例中，关于例如非平面显示器(即，计算显示器子系统102)的物理尺寸和几何形状，将一组显示器几何形状数据提供给渲染组件104。例如，一组显示器几何形状数据可以包括一个或多个显示器面板118和小透镜126的物理尺寸和几何形状。例如，一组显示器几何形状数据可以包括各种数据，诸如显示器面板118的宽度、眼睛132和面板118之间的观看距离，面板118和平面304之间的角度，面板和中间平面302之间的角度等。本领域技术人员将认识到，左眼聚焦体积312和右眼聚焦体积314在3D空间中的位置由小透镜126和显示器面板118的尺寸/几何形状确定。然而，在各种实施例中，虚拟平面在这种左眼和右眼聚焦体积312、314和立体聚焦体积316内的位置可以在聚焦体积内旋转。

例如，图4描绘了示出具有虚拟平面402的旋转的非平面计算显示器的截面图400的图。在各个实施例中，可以通过使用以下等式将元素图像的显示器位置移位一定量来旋转虚拟平面402：

dx＝n*Φ*d*f+(n*Φ*d)²*f*tan(θ) (2)

其中，n＝[-N/2，N/2]表示小透镜数，而Φ＝1/z表示到虚拟平面的距离(以屈光度为单位)，θ表示虚拟平面402相对于小透镜的倾斜度(即，显示器小透镜切线与渲染虚拟平面402之间的角度)。另外，在一些实施例中，显示器面板之间的折叠角(未示出)是可调节的，并且传感器用于确定渲染组件104的θ以确定元素图像的显示位置的移位。注意，对于这样的实施例，眼动跟踪不是必需的，但是如果折叠角改变或者如果近眼显示器系统100相对于用户的眼睛132移动，则眼动跟踪可以可选地用于确定其他观看参数(例如，出瞳距离和瞳孔位置)。

在替代实施例中，图5描绘了示出根据一些实施例的用于生成立体聚焦体积的另一种实现非平面计算显示器的截面图500的图。如先前相对于图1所讨论的，在一些实施例中，左眼显示器110和右眼显示112中的每一个可以包括任何“N”个数量的显示器面板段。例如，如截面图500所示，显示器110、112中的每一个包括两个显示器面板段(即，显示器面板段118a和118b)。如该图所示，用户的眼睛132指向虚拟图像504内的点502，虚拟图像504包括意图由眼睛132在不同深度感知的多个对象(未示出)。由于小透镜126而引起的景深506(即，将被眼睛132感知为聚焦的最近的和最远的对象之间的距离)导致虚拟图像504内的体积，在该虚拟图像内对象看起来被聚焦。

类似于相对于图3讨论的示例实施方式，每一个显示器面板段(例如，显示器110、112的显示器面板段118a和118b)与对应的聚焦体积相关联，在所述对应的聚焦体积内，当对象被呈现给它们各自的眼睛132显示时在该聚焦体积内对象看起来被聚焦。如图5所示，这些聚焦体积在立体聚焦体积508处重叠。因此，基于显示器面板段118a、118b的非平面配置来渲染光场帧，并且立体聚焦体积508内的对象看起来聚焦到用户的左眼132和右眼132两者。此外，类似于相对于图4讨论的示例实施方式，基于上面的等式(2)，可以通过沿着各个显示段118a和118b将元素图像的显示位置移位来旋转立体聚焦体积508中的虚拟平面(未示出)。

在替代实施例中，图6描绘了示出根据一些实施例的用于生成立体聚焦体积的又一种实现非平面计算显示器的截面图600的图。类似于图3的示例实施例，小透镜126关于当佩戴近眼显示器系统100时与用户的中央矢状的平面相对应的中间平面602基本对称。显示器是弯曲的显示器面板604，并且相对于常规HMD显示器所处的平面通常是非平面的。不是具有N个显示器面板段和N个重叠聚焦体积(即，图5中的4个段和4个重叠聚焦体积)，当N变为大时，具有N个段的多边形将接近曲面/圆形表面。如图6所示，将存在以小角度旋转的对应较大数量的重叠矩形聚焦体积606，这形成了所示的聚焦体积的椭圆形重叠。但是，类似于图5的示例实施例，立体聚焦体积608仍然受到边缘处的最大显示器面板倾斜的限制，并且通常是菱形的。可以在聚焦体积606内的任何平面处渲染虚拟平面，并且可以在立体聚焦体积608内实现立体融合。虚拟平面可以沿着z轴方向移位。此外，以上讨论的相同渲染等式(2)可用于改变图像的渲染以针对弯曲的显示器面板604进行调整，其中，θ通过相对于渲染的虚拟平面的显示器面板604之间的局部斜率(或角度)确定。(即弯曲平面的局部空间导数或切线)。

本领域技术人员将认识到，由于显示器面板的分割，在一些实施例中，仅左眼显示器110和右眼显示器112的总表面积的一部分对用户的眼睛可见。为了示出，图7描绘了计算显示器的截面图700，诸如相对于使用小透镜和显示器面板段的图4的截面图400所讨论的在近眼显示器系统中所利用的计算显示器。如该截面图700所示，由于例如保持显示器面板段118a、118b的外壳的显示边框/外框，在显示器面板段118a和118b之间存在间隙702。

小透镜阵列124的每一个小透镜126用作眼睛132上的单独的“投影仪”，其中每一个“投影仪”与一个或多个相邻的投影仪重叠，以从在显示器面板118处显示的元素图像的阵列中形成合成虚拟图像704。为了示出，小透镜126-2从虚拟图像704的区域710投射对应的元素图像(由区域706表示)，小透镜126-4从虚拟图像704的区域712投射对应的元素图像(由区域708表示)。如图7所示，区域710和712在子区域714中重叠。因此，来自该重叠子区域714的图像数据可用于渲染由显示器面板段118a、118b显示的元素图像，以隐藏显示器面板段118a、118b之间的间隙702，使得用户的眼睛132所感知到的合成虚拟图像704不会检测到间隙702的存在。

在一些实施例中，如果显示器边界被投影到虚拟图像704平面之外，则在显示器边框/边缘位于的地方将存在暗点。周围的元素图像内的复制的(例如，重叠的)像素的强度按N+1/N的比例缩放，其中N是共享被阻塞的像素区域的元素图像的数量。即，可以调整与区域706和708相对应的元素图像的强度以补偿间隙702。

此外，在各种实施例中，图1的眼睛跟踪组件106、108可以跟踪用户的眼睛132的姿势变化，并将姿势信息提供给渲染组件104，以负责对用户的眼睛132可指向具有显示器面板段之间的间隙的左眼和右眼显示器110、112的一部分的任何凝视。

图8是根据一些实施例的具有用于基于立体聚焦体积来渲染光场帧的非平面计算显示器的近眼显示器系统100的操作方法800。为了便于理解，下面经常参考图1-7所示的示例场景来描述方法800。方法800示出了用于渲染和显示左眼显示器110或右眼显示器112之一的光场帧的处理的一个迭代，因此，针对显示器110、112中的每一个并行地重复执行所示出的处理以便在不同的时间点为每只眼睛生成并显示不同的光场帧流或序列，从而为用户提供3D自动立体VR或AR体验。

对于要生成和显示的光场帧，方法800从框802开始，其中渲染组件104将要显示给用户的对应眼睛的图像内容识别为光场帧。在至少一个实施例中，渲染组件104从各种姿势相关的传感器(诸如陀螺仪、加速度计、磁力计、全球定位系统(GPS)传感器等)接收表示数据的IMU信息152，以及根据IMU信息150确定用于将显示器110、112安装在用户的眼睛附近的设备114(例如，HMD)的姿势。根据该姿势，执行渲染程序144的CPU 136可以确定对象场景或对象的对应当前视点，并且根据提供为渲染信息148的场景或对象的视点和图形和空间描述来确定要为姿势渲染的像。

在框804处，CPU 136接收用于近眼显示器系统100的非平面显示器的一组显示器几何形状数据。在至少一个实施例中，所述一组显示器几何形状数据包括表示一个或多个显示器面板相对于用户的眼睛的几何形状构造(例如，光轴角度)的数据，例如如图3所示。在其他实施例中，所述一组显示器几何形状数据包括指示一个或多个非平面显示器面板被分割并且包括多个显示器面板段的数据，例如如图4所示。如果近眼显示器系统100包括多个显示器面板段，则所述一组显示器几何形状数据可以进一步包括表示显示器面板段的显示器边界/边框的位置的数据。在其他实施例中，所述一组显示器几何形状数据包括指示非平面显示器的曲率几何形状的数据，例如图5和6所示。

在可选框806处，执行眼睛跟踪程序146的CPU 136确定用户的对应眼睛的姿势。如本文所述，可以使用多种眼睛跟踪技术中的任何一种来确定眼睛的姿势。通常，这样的技术包括捕获从眼睛的瞳孔和角膜反射的红外光的一个或多个图像。眼睛跟踪程序146然后可以操纵CPU 136或GPU 138、140以基于瞳孔反射或角膜反射之一或两者的对应位置来分析图像以确定眼睛的姿势。例如，在一些实施例中，执行单眼眼睛跟踪以获得关注区域信息并计算用户的眼睛试图在渲染的场景中停留的位置(例如，场景中的哪些对象是眼睛朝向的注视)。通过对每只眼睛执行单眼眼睛跟踪，测量两只眼睛之间的相对角位移以确定聚散度。因此，基于所确定的聚散度(例如，差分眼睛跟踪)来计算停留处。在其他实施例中，执行双眼眼睛跟踪以确定与渲染的场景内容和/或瞳孔相对于角膜的定向无关的停留处，进而可以用于确定眼睛的方向(即，眼睛的注视方向)。应当注意，尽管在图8中示出了框806在框802和804之后，但是可以在框802和804的处理之前、期间或之后执行框306的处理。

在确定了非平面显示器的几何形状(以及在一些实施例中，用户的眼睛的姿势)的情况下，在框808处，渲染程序144操纵CPU 136以指示GPU 138、140中的对应一个GPU使用在框802处标识的图像内容渲染具有阵列120的光场帧，由此光场帧包括元素图像的阵列。在一些实施例中，作为该处理的一部分，CPU 136计算要显示的图像内容(即，虚拟图像)内的立体聚焦体积。特别地，CPU 136计算立体聚焦体积，使得非平面显示器将立体聚焦体积内的对象呈现为聚焦。例如，在图3的上下文中，当由左眼显示器110的显示器面板118呈现以供显示时，左眼聚焦体积308将看起来聚焦到用户的左眼132。类似地，当由右眼显示器112的显示器面板118呈现以供显示时，右眼聚焦体积310将看起来聚焦到用户的右眼132。因此，CPU 136确定左眼聚焦体积308和右眼聚焦体积310在立体聚焦体积312处重叠，并且渲染光场帧，使得立体聚焦体积312内的对象将看起来聚焦到用户的左眼和右眼132两者。

在一些实施例中，诸如在图5的上下文中，左眼显示器110和右眼显示器112中的每一个可以包括任何“N”个数量的显示器面板段。例如，如截面图500所示，显示器110、112中的每一个包括两个显示器面板段(即，显示器面板段118a和118b)。每一个显示器面板段(例如，显示器110、112的显示器面板段118a和118b)与对应的聚焦体积相关联，当对象被呈现给它们各自的眼睛132供显示时，在该聚焦体积内对象将看起来被聚焦。因此，CPU 136确定这些聚焦体积在立体聚焦体积408处重叠，并且渲染光场帧，使得立体聚焦体积408内的对象将看起来聚焦到用户的左眼132和右眼132两者。

此外，在其他实施例中，例如在图7的上下文中，由于例如保持显示器面板段118a、118b的外壳的显示器边框/外框，在显示器面板段118a和118b之间存在间隙702。因此，CPU136将表示框804的显示器面板段的显示器边界/边框的位置以及框806的用户的眼睛的姿势的数据提供给GPU，并指示GPU渲染光场帧，使得元素图像被渲染以隐藏显示器面板段118a和118b之间的间隙702，以使得用户的眼睛132所感知到的合成虚拟图像704不会检测到间隙702的存在。即，可以调整与区域706和708相对应的元素图像的强度以补偿和防止感知到由一个或多个显示器面板的显示器边界引起的间隙702。GPU随后在框810处渲染光场帧，并将光场帧提供给计算显示器110、112中的对应一个，以显示给用户的眼睛132。

图1-7所示的非平面的计算显示器结构的好处是在保留了较大的视野的同时提供了更接近眼睛的“眼镜”外形。也就是说，本文描述的实施例允许更紧凑和重量减轻的外形(相对于常规HMD的“潜水面罩”外形)。通过使用相对于用户的眼睛具有不同曲率和/或定向的显示器面板段，HMD设备可以被制备有保持HMD设备的大部分更靠近用户头部的外形，从而减小其转动惯量以及提供更宽的横向视野和更美观的外观。另外，与具有使用一个或多个平面显示器器面板的常规HMD设备相比，使用具有不同曲率和角度的段的非平面显示器允许实现具有更贴合用户头部的外形的HMD设备，同时它还能在整个视场中提供更均匀的色彩和亮度，并提供与常规的HMD装置相比简化的显示器和光学组件的结构。

在一些实施例中，上述技术的某些方面可以由执行软件的处理系统的一个或多个处理器来实现。该软件包括在非暂时性计算机可读存储介质上存储或有形地体现的一组或多组可执行指令。该软件可以包括指令和某些数据，这些指令和某些数据在由一个或多个处理器执行时操纵一个或多个处理器以执行上述技术的一个或多个方面。非易失性计算机可读存储介质可以包括例如磁盘或光盘存储设备，诸如闪存的固态存储设备、高速缓存、随机存取存储器(RAM)或其他一个或多个非易失性存储设备等。存储在非暂时性计算机可读存储介质上的可执行指令可以是源代码、汇编语言代码、目标代码或由一个或多个处理器解释或以其他方式可执行的其他指令格式。

计算机可读存储介质可以包括在使用期间计算机系统可访问的任何存储介质或存储介质的组合，以向计算机系统提供指令和/或数据。这样的存储介质可以包括但不限于光学介质(例如，光盘(CD)、数字多功能盘(DVD)、蓝光光盘)、磁性介质(例如，软盘、磁带或硬磁驱动器)、易失性存储器(例如，随机存取存储器(RAM)或缓存)、非易失性存储器(例如，只读存储器(ROM)或闪存)或基于微机电系统(MEMS)的存储介质。计算机可读存储介质可以嵌入在计算系统(例如，系统RAM或ROM)中，固定地附接到计算系统(例如，磁硬盘驱动器)，可移除地附接到计算系统(例如，光盘或基于串行总线(USB)的闪存)，或经由有线或无线网络(例如，网络可访问存储(NAS))耦合到计算机系统。

注意，并非一般描述中上述所有活动或元素都是必需的，特定活动或设备的一部分可能不是必需的，并且除了上述内容之外，还可以执行一个或多个其他活动或包括元素。更进一步，列出活动的顺序不一定是执行活动的顺序。而且，已经参考特定实施例描述了概念。然而，本领域的普通技术人员将理解，可以进行各种修改和改变而不脱离如所附权利要求书中阐述的本公开的范围。因此，说明书和附图应被认为是说明性的而不是限制性的，并且所有这样的修改旨在被包括在本公开的范围内。

上面已经关于特定实施例描述了益处，其他优点和问题的解决方案。但是，优点、优势、问题的解决方案以及可能导致任何优点、优势或解决方案出现或变得更加明显的任何特征都不应解释为任何或全部权利要求的关键、必需或必要特征。此外，上面公开的特定实施例仅是说明性的，因为可以以受益于本文的教导的本领域技术人员显而易见的不同但等效的方式来修改和实践所公开的主题。除了在下面的权利要求书中描述的以外，没有意图限制本文所示的构造或设计的细节。因此，显而易见的是，以上公开的特定实施例可以被更改或修改，并且所有这样的变化都被认为在所公开的主题的范围内。因此，本文所寻求的保护如以下权利要求书所述。

Claims (20)

1.一种在近眼显示器系统[100]中执行的方法，包括：

接收所述近眼显示器系统的一个或多个非平面显示器面板[110、112]的显示几何形状数据；

基于与所述一个或多个非平面显示器面板的所述显示几何形状数据相关联的立体聚焦体积[316]来渲染在近眼光场帧内的位置处的元素图像[122]的阵列[120]，其中，所述立体聚焦体积是基于由所述一个或多个非平面显示器面板呈现的多个聚焦体积之间的重叠，其中，所述一个或多个非平面显示器面板将在所述多个聚焦体积中的相应聚焦体积内的对象呈现为聚焦，并且其中，所述一个或多个非平面显示器面板将所述立体聚焦体积内的对象呈现为聚焦；以及

传送所述近眼光场帧以在所述近眼显示器系统的所述一个或多个非平面显示器面板处显示。

2.根据权利要求1所述的方法，其中，接收所述显示几何形状数据包括：

接收指示所述一个或多个非平面显示器面板包括多个显示器面板段[118a、118b] 的数据。

3.根据权利要求2所述的方法，其中，渲染所述元素图像的阵列还包括：

为所述多个显示器面板段中的每一个确定所述多个聚焦体积中的聚焦体积，其中，所述多个显示器面板段中的每一个将在其对应的聚焦体积内的对象呈现为聚焦；和

至少部分地基于所述多个显示器面板段中的每一个的聚焦体积之间的重叠来确定所述立体聚焦体积。

4.根据权利要求1所述的方法，其中，接收所述显示几何形状数据包括：

接收指示所述一个或多个非平面显示器面板的曲率几何形状的数据。

5.根据权利要求1所述的方法，其中，接收所述显示几何形状数据包括：

接收指示一组显示器边界数据的数据，所述一组显示器边界数据表示所述一个或多个非平面显示器面板的显示器边界的位置。

6.根据权利要求5所述的方法，还包括：

使用所述近眼显示器系统的眼睛跟踪组件[108]，确定用户的眼睛的姿势；和

基于所述用户的眼睛的姿势和所述一组显示器边界数据，修改所述元素图像的阵列的渲染，以防止所述用户的眼睛感知到所述一个或多个非平面显示器面板的所述显示器边界。

7.根据权利要求6所述的方法，其中，确定所述用户的眼睛的所述姿势包括：

使用布置在所述一个或多个非平面显示器面板和所述用户的眼睛之间的成像相机，捕获所述用户的眼睛的像。

8.根据权利要求1至7中任一项所述的方法，还包括：

通过移位所述元素图像的阵列的显示位置来旋转虚拟平面[402]在所述立体聚焦体积内的位置。

9.根据权利要求1至7中任一项所述的方法，还包括：

通过改变两个或更多个非平面显示器面板之间的折叠角，旋转虚拟平面[402]在所述立体聚焦体积内的位置。

10.一种近眼显示器系统[100]，包括：

一个或多个非平面显示器面板[110、112]，以显示包括元素图像[122]的阵列[120]的近眼光场帧；

渲染组件[104]，用于基于与所述一个或多个非平面显示器面板的一组显示器几何形状数据相关联的立体聚焦体积[316]来渲染所述近眼光场帧中的所述元素图像的阵列，以使所述立体聚焦体积内的对象被呈现为聚焦，其中，所述立体聚焦体积是基于由所述一个或多个非平面显示器面板呈现的多个聚焦体积之间的重叠，以使在所述多个聚焦体积中的相应聚焦体积内的对象被呈现为聚焦；和

小透镜阵列，用于将所述近眼光场帧呈现给用户的眼睛。

11.根据权利要求10所述的近眼显示器系统，其中，所述渲染组件还用于通过以下来确定所述立体聚焦体积：

接收指示所述一个或多个非平面显示器面板包括多个显示器面板段的数据；

为所述多个显示器面板段中的每一个确定所述多个聚焦体积中的聚焦体积，其中，所述多个显示器面板段中的每一个将在其对应的聚焦体积内的对象呈现为聚焦；和

至少部分地基于所述多个显示器面板段中的每一个的聚焦体积之间的重叠来确定所述立体聚焦体积。

12.根据权利要求10所述的近眼显示器系统，其中，所述渲染组件还用于通过以下来确定所述立体聚焦体积：

接收指示一组显示器边界数据的数据，所述一组显示器边界数据表示所述一个或多个非平面显示器面板的显示器边界的位置；

使用所述近眼显示器系统的眼睛跟踪组件，确定所述用户的眼睛的用户的眼睛的姿势；和

基于所述用户的眼睛的姿势和所述一组显示器边界数据，修改所述元素图像的阵列的渲染，以防止所述用户的眼睛感知到所述一个或多个非平面显示器面板的所述显示器边界。

13.根据权利要求10或权利要求11所述的近眼显示器系统，还包括：

眼睛跟踪组件，用于跟踪所述用户的眼睛的用户的眼睛的姿势，其中，所述眼睛跟踪组件包括一组一个或多个红外（IR）照明器以及成像相机，所述一组一个或多个红外（IR）照明器用于将光投射到所述用户的眼睛上，所述成像相机布置在所述小透镜阵列[124]和所述一个或多个非平面显示器面板之间并通过所述小透镜阵列朝向所述用户的眼睛定向。

14.根据权利要求10所述的近眼显示器系统，其中，所述一个或多个非平面显示器面板包括：

单个连续的显示器面板，所述单个连续的显示器面板包括具有不同曲率度的不同横向部分。

15.根据权利要求10所述的近眼显示器系统，其中，所述一个或多个非平面显示器面板包括：

相对于彼此以非平面定向定位的多个平板显示器。

16.一种渲染系统，包括：

至少一个处理器[136、138、140]；

输入，用于接收指示近眼显示器系统[100]的一个或多个非平面显示器面板[110、112]的一组显示器几何形状数据的数据；和

存储组件[142]，用于存储一组可执行指令[144、146]，所述一组可执行指令被配置为操纵所述至少一个处理器以基于与所述一个或多个非平面显示器面板的所述一组显示器几何形状数据相关联的立体聚焦体积[316]来渲染在近眼光场帧内的位置处的元素图像[122]的阵列 [120]，其中，所述立体聚焦体积是基于由所述一个或多个非平面显示器面板呈现的多个聚焦体积之间的重叠，其中，所述一个或多个非平面显示器面板将在所述多个聚焦体积中的相应聚焦体积内的对象呈现为聚焦，并且其中所述一个或多个非平面显示器面板将所述立体聚焦体积内的对象呈现为聚焦。

17.根据权利要求16所述的渲染系统，其中，所述一组可执行指令还被配置为通过以下来确定所述立体聚焦体积：

接收指示一组显示器边界数据的数据，所述一组显示器边界数据表示所述一个或多个非平面显示器面板的显示器边界的位置；

使用所述近眼显示器系统的眼睛跟踪组件[108]，确定用户的眼睛的姿势；和

基于所述用户的眼睛的姿势和所述一组显示器边界数据，修改所述元素图像的阵列的渲染，以防止所述用户的眼睛感知到所述一个或多个非平面显示器面板的所述显示器边界。

18.根据权利要求16所述的渲染系统，其中，所述一组显示器几何形状数据包括指示所述一个或多个非平面显示器面板包括多个显示器面板段[118a、118b]的数据。

19.根据权利要求18所述的渲染系统，其中，所述一组可执行指令还被配置为通过以下来渲染所述元素图像的阵列：

为所述多个显示器面板段中的每一个确定所述多个聚焦体积中的聚焦体积，其中，所述多个显示器面板段中的每一个将在其对应的聚焦体积内的对象呈现为聚焦；和

至少部分地基于所述多个显示器面板段中的每一个的聚焦体积之间的重叠来确定所述立体聚焦体积。

20.根据权利要求16-19中任一项所述的渲染系统，其中，所述一组可执行指令还被配置为通过以下来渲染所述元素图像的阵列：

通过移位所述元素图像的阵列的显示位置来旋转虚拟平面[402]在所述立体聚焦体积内的位置。

Images