CN109661816A - 基于渲染引擎生成和显示全景图像的方法和显示装置 - Google Patents

Abstract

本申请公开了基于与显示装置相关联的渲染引擎生成全景图像的方法。该方法包括确定被配置为多边形棱柱的显示模型，用于与场景的全景视图对应的渲染引擎。另外，该方法包括使用与渲染引擎相关联的多个采样相机在朝向多边形棱柱的多个子平面的相应方向上捕获全景视图的多个样本子图像。该方法包括将多个样本子图像附加到相应的多个子平面以形成构建的显示模型。此外，该方法包括由渲染引擎渲染构建的显示模型以重建全景图像，并在显示装置上显示全景图像。

Description

基于渲染引擎生成和显示全景图像的方法和显示装置

技术领域

本发明涉及显示技术，更具体地，涉及一种基于渲染引擎生成全景图像的方法、以及实现该方法的显示装置。

背景技术

在一些应用中，移动虚拟现实(VR)装置需要显示全景图像而不是实时渲染真实场景，以平滑地播放VR视频。传统的全景图像包括从球形的纹理模型生成的单个360°图像。该球体模型存在的几个问题包括：1)由球体模型的顶点到底点的垂直方向上的单个全景图像的斑块聚集引起的显示图像失真；2)由于在特定视场角下缺乏对单个全景图像的图像的像素分辨率的解码能力，限制了在该视场角下图像的最大图像分辨率。

发明内容

一方面，本公开提供了一种基于与显示装置相关联的渲染引擎来生成全景图像的方法。该方法包括确定被配置为多边形棱柱的显示模型，用于与场景的全景视图对应的渲染引擎。该方法还包括使用与渲染引擎相关联的多个采样相机在朝向多边形棱柱的多个子平面的相应方向上捕获全景视图的多个样本子图像。另外，该方法包括将多个样本子图像附加到相应的多个子平面以形成构建的显示模型。此外，该方法包括由渲染引擎渲染构建的显示模型以重建全景图像。此外，该方法包括在显示装置上显示全景图像。

可选地，多边形棱柱是等边N侧面多边形棱柱。N是不小于3的整数。

可选地，确定显示模型的步骤包括确定分别从等边N侧面多边形棱柱的每一个侧面或顶面或底面划分的多个子平面。

可选地，确定显示模型的步骤还包括：确定与等边N侧面多边形棱柱的不同平面的相应的多个子平面对应的不同图像分辨率，并基于tan(u/2)/tan(v/2)的比率确定所述多个子平面中的每一个的宽度和长度以及宽长比。u是从所述多个采样相机中的至少一个投射到所述多个子平面中的每一个的水平视场角，v是从多个采样相机中的至少一个投射到多个子平面中的每一个的垂直视场角。

可选地，多个采样相机中的至少一个位于显示模型的中心。

可选地，使用与渲染引擎相关联的多个采样相机捕获多个样本子图像的步骤包括：在从多个采样相机中的一个朝向多个子平面中的一个投射的的相应一个方向上，根据场景以独立定义的图像分辨率分别对所述多个样本子图像中的每一个进行采样。

可选地，单个子平面的独立定义的图像分辨率被配置为比传统模型中的单个视场图像所允许的最大图像分辨率大若干倍。

可选地，使用与渲染引擎相关联的多个采样相机捕获多个样本子图像的步骤包括：通过略微增大视场角以使分别针对朝向顶面的顶视图和朝向底面的底视图的投射正方形大于顶面或底面，在投射正方形中捕获至少两个样本子图像。

可选地，使用与渲染引擎相关联的多个采样相机捕获多个样本子图像的步骤包括：使用两组采样相机针对多个子平面捕获具有视差的两组样本子图像；以及，基于具有视差的两组样本子图像重建3D全景图像。

可选地，将多个样本子图像附加到相应的多个子平面的步骤包括：执行UV映射以将每个样本子图像的图像纹理添加到对应的子平面，并生成用于渲染引擎的构建的显示模型。

可选地，使用与渲染引擎相关联的多个采样相机捕获多个样本子图像的步骤还包括：针对显示模型的多个子平面中的每一个，以采样频率按时间顺序采样一系列样本子图像；根据被采样的顺序编码同一子平面的所有样本子图像，以生成样本子视频；并将样本子视频附加到相应的子平面以形成构建的显示模型。

可选地，渲染构建的显示模型的步骤包括：对同时采样的分别用于多个子平面的多个样本子图像进行渲染，以同时生成一个全景图像，并通过按时间顺序编码一系列全景图像来进一步生成全景视频。

可选地，显示全景图像的步骤包括：通过至少显示单独针对在视场方向上的相应一个子平面的子视频，在显示装置上显示全景视频。

另一方面，本公开提供了一种基于与显示装置相关联的渲染引擎来生成全景图像的装置。该装置包括存储器和一个或多个处理器。存储器和所述一个或多个处理器彼此连接。存储器存储计算机可执行指令，用于控制所述一个或多个处理器：确定被配置为多边形棱柱的显示模型，用于与场景的全景视图对应的渲染引擎；使用与渲染引擎相关联的多个采样相机在朝向多边形棱柱的多个子区域的相应方向上捕获全景视图的多个样本子图像；将多个样本子图像附加到相应的多个子区域，以形成构建的显示模型；通过渲染引擎渲染构建的显示模型以重建全景图像；以及在显示装置上显示全景图像。

可选地，所述一个或多个处理器包括可编程指令，以创建被配置为等边多边形棱柱的显示模型，等边多边形棱柱的侧面、顶面和底面中的每一个被分成一个或多个子平面。每个子平面被独立定义有图像分辨率。

可选地，所述一个或多个处理器包括具有多个采样相机的渲染引擎，所述多个采样相机被配置为在从位于显示模型内的所述多个采样相机中的至少一个朝向相应的多个子区域中的一个的多个投射方向上捕获场景的多个样本子图像。

可选地，所述一个或多个处理器包括可编程指令，以将多个样本子图像中的每一个作为纹理附加到多边形棱柱的多个子区域中的相应一个子区域，以形成用于渲染引擎的构建的显示模型。

可选地，渲染引擎被配置为渲染与构建的显示模型的相应多个子区域相关联的多个样本子图像以生成全景图像。

可选地，渲染引擎被配置为顺序地渲染与构建的显示模型的相应的多个子区域相关联的多组的多个样本子图像，每组多个样本子图像被多个采样相机中的相应的一个以采样频率依次捕获，并且被按时间顺序编码，以生成与多个子区域相关联的相应多个采样子视频，并生成全景视频。

又一方面，本公开提供了一种显示装置，包括显示面板，其耦接到本文描述的用于生成全景图像或全景视频的装置，并且被配置为将全景图像或全景视频显示为虚拟现实显示。

又一方面，本公开提供了一种计算机程序产品，包括其上具有计算机可读指令的非暂时性有形计算机可读介质。计算机可读指令可由处理器执行以使处理器执行：确定被配置为多边形棱柱的显示模型，用于与场景的全景视图对应的渲染引擎；使用与渲染引擎相关联的多个采样相机在朝向多边形棱柱的多个子区域的相应方向上捕获全景视图的多个样本子图像；将多个样本子图像附加到相应的多个子区域以形成构建的显示模型；并且由渲染引擎渲染构建的显示模型以重建全景图像。

附图说明

以下附图仅是用于根据各种公开的实施例的说明性目的的示例，而不旨在限制本发明的范围。

图1是示出根据本公开的一些实施例的基于渲染引擎生成全景图像的方法的流程图。

图2是根据本公开的实施例的比较传统模型和用于渲染引擎的显示模型的示意图。

图3是示出根据本公开的实施例的由采样相机基于显示模型采样的场景的样本子图像的示意图。

图4是示出根据本公开的实施例的从六边形棱柱显示模型的八个平面采样的八个样本子图像的示例图。

图5是根据本公开的实施例的通过运行渲染引擎从构建的显示模型生成的虚拟全景图像的示意图。

图6是示出根据本公开的一些实施例的由渲染引擎生成的虚拟全景图像中的若干随机视场角的视觉效果的示例图。

图7是根据本公开另一实施例的用于生成全景图像的渲染引擎的显示模型的示意图。

具体实施方式

现在将参考以下实施例更具体地描述本公开。应注意，本文仅出于说明和描述的目的呈现了一些实施例的以下描述。其并非旨在穷举或限于所公开的精确形式。

对于具有内置高图像分辨率的VR显示装置，期望以相当的高分辨率提供其要显示的内容图像。高分辨率内容图像的一个来源是基于用于与显示装置相关联的渲染引擎的适当显示模型，通过多个采样相机直接从真实场景采样多个高分辨率图像。

因此，本公开特别提供一种基于显示装置中的渲染引擎生成全景图像的方法，一种用于生成全景图像的装置，以及一种具有该装置的显示装置，其基本上消除了由于相关技术的局限和缺点而导致的问题中的一个或多个。

一个方面，本公开提供了一种基于显示装置中的渲染引擎生成全景图像的方法。图1是示出根据本公开的一些实施例的基于渲染引擎生成全景图像的方法的流程图。参考图1，该方法包括确定被配置为多边形棱柱的显示模型以用于与场景的全景视图对应的渲染引擎的步骤。可选地，渲染引擎与显示装置相关联。可选地，显示装置是能够显示诸如4K或8K的高分辨率图像的虚拟现实(VR)显示装置，尽管这不是本文权利要求的限制因素。可选地，渲染引擎是3D渲染引擎，其被配置为处理用于3D图像显示的图像数据。可选地，3D渲染引擎需要基于3D显示模型。

图2是根据本公开的实施例的比较传统模型和用于渲染引擎的显示模型的示意图。传统上，球体模型00用作3D显示模型，用于生成单个360°全景图像。使用球体模型00来生成全景图像是相对复杂的，尤其是对于图像的顶点和底点，其经常引起斑块聚集，引起显示失真。但是对于使用虚拟现实显示装置来观看全景图像的观看者，用户更可能聚焦于位于水平视线方向上的对象而不是位于正上方或正下方的视线方向上的对象，从而在图像的正上方部分或正下方部分中的信息不太重要。在本公开中，提供了一种新颖的显示模型，例如图2所示的多边形棱柱模型10。可选地，多边形棱柱模型10是等边多边形棱柱，其具有N个矩形侧面以及分别位于顶部和底部处的两个等边多边形平面。例如，第一侧面表示为101-1，第二侧面表示为101-2，最后一个侧面表示为101-N。顶面表示为102。底面表示为103。当多边形棱柱模型用于渲染引擎以生成全景图像时，与将单个图像图(image map)附加到传统模型00的球形表面相比，需要将至少(N+2)个图像图附加到多边形棱柱模型10的相应(N+2)个平面。根据本公开的显示模型消除了对2D图像数据执行球面变换的需要以及执行图像的边缘拼接的需要，从而极大地简化了图像生成处理。

再次参考图1，基于渲染引擎生成全景图像的方法还包括使用与渲染引擎相关联的多个采样相机在朝向多边形棱柱的多个平面的相应方向上捕获全景视图的多个样本子图像。图3是示出根据本公开的实施例的由采样相机基于显示模型采样的场景的样本子图像的示意图。参考图3，部分B指的是渲染引擎中的采样相机被放置在场景的中间位置并且被配置为瞄准投射方向以采样特定宽度和长度的图像。图3的部分A1进一步示意性地依据基于视场(FOV)角的矩形透镜矩阵和投射矩形放置采样相机。具体地，水平FOV角u被定义为从相机点O到来自透镜矩阵的投射矩形的左边界的中间点和来自透镜矩阵的投射矩形的右边界的另一个中间点测量的角度。水平FOV角u有效地受多边形棱柱模型的N个侧面的限制。例如，对于六边形棱柱，N＝6，FOV角u不大于360°/N＝60°，因为每个侧面最多只是相应FOV角中的投射矩形。图3的部分A2类似地示出了垂直FOV角v，其被定义为从相机点O到透镜矩阵的顶部边界的中点和透镜矩阵的底部边界的另一个中点测量的角度。在大多数VR显示装置中，该垂直FOV角v通常设定为90°。图3的部分C示出了在朝向多边形棱柱模型的一个侧面的特定投射方向上的FOV角(u，v)中的示例性样本子图像。在获得水平和垂直FOV角之后，用于添加纹理的投射矩形被给予相对尺寸，其特征在于满足以下关系的宽高比(w/h)：

w/h＝tan(u/2)/tan(v/2)。

如果FOV角是u并且采样相机位于六边形棱柱模型的中心，则投射矩形的实际尺寸基本上与侧面匹配。可选地，分别采用多个采样相机在朝向多边形棱柱模型的多个平面的各个方向上捕获全景视图的多个样本子图像。每个捕获的样本子图像保存在与渲染引擎相关联的存储器中。

在VR显示装置中，通常由用于全景图像查看器的渲染引擎生成的每个单个图像具有有限的最大图像分辨率，例如，8192×4096。因此，在2：1的宽高比下，由渲染引擎生成的传统可显示全景图像的最大分辨率为8192×4096。任何分辨率高于该值的全景图像都将被压缩为8192×4096。另外，与特定FOV角对应的全景图像的任何部分图像将被限制为甚至更小的分辨率。例如，如果观看者位于模型的中间，则水平FOV角为60°且垂直FOV角为90°的局部图像限制为(8192/6)×(4096/2)＝1365×2048的分辨率。在多边形棱柱模型10中，代替将单个图像映射到球面，将多个子图像分别映射到与多边形棱柱模型10相关联的多个平面。与单个全景图像的图像分辨率的限制不同，多边形棱柱模型中的每个单个子图像可以具有高达8192×4096的分辨率。假设多边形棱柱是六边形棱柱，则在360°视角中有六个侧面。在相同的FOV角内，附加到每个侧面的最大分辨率为8192×4096的每个子图像的分别率可以是最大分辨率为1365×2048的传统部分图像的分辨率的24倍。由于在新的多边形棱柱模型下引用的每个子图像是可显示的图像，所以即使在每个子图像分辨率从上述最大分辨率8192×4096降低至2865×4096时，在VR显示装置上显示的图像分辨率也基本上增加了3倍或更多。在替代实施例中，如果提供有渲染引擎的显示模型包括沿垂直方向的附加子平面，则可以再次以高分辨率捕获显示模型的那些垂直划分的子平面中的每个子图像，这将有助于具有显著增强的图像分辨率的最终全景图像。

参考图1，该方法还包括将多个样本子图像附加到相应的多个平面以形成构建的显示模型的步骤。由采样相机在朝向多个平面中的一个平面的投射方向上从场景捕获的每个样本子图像被附加到对应的侧面或顶面。可选地，捕获的样本子图像包含一组2D图像数据。可选地，通过执行UV映射方案以将图像附加到3D多边形棱柱模型的对应平面来实现将该组2D图像数据附加到3D多边形棱柱模型。这里，UV映射是指将2D图像投射到3D模型的表面以进行纹理映射的3D建模处理。对于六边形棱柱模型，多个样本子图像包括对应于六个水平侧面的六个样本子图像和对应于两个端面(一个顶面和一个底面)的两个样本子图像。图4是示出根据本公开的实施例的从六边形棱柱显示模型的任一平面采样的八个样本子图像的示例性图。

参考图4，在水平投射中，有六个2D图像H1～H6被映射到六边形棱柱模型10的相应的六个侧面101-1～101-6上(参见图2)，并且有两个2D图像U和D分别被映射到顶面102和底面103上(参见图2)。由各自的采样相机采样的每个2D图像可以以相同的分辨率定义，或者根据每个单独的2D图像中的详细纹理的数量以不同的分辨率独立地定义。例如，在一个投射方向上，场景具有较少数量的具有较小颜色变化的对象，可以以低分辨率对该投射方向上的子图像进行采样。在另一示例中，在另一投射方向上，场景包含较多的具有多种颜色的对象，可以以增大的分辨率对该投射方向上的子图像进行采样。

在一些实施例中，使用与渲染引擎相关联的多个采样相机来捕获多个样本子图像的步骤包括通过略微增大视场角使分别针对朝向顶面的顶视图和朝向底面的底视图的投射正方形大于顶面或底面，在所述投射正方形中捕获至少两个样本子图像。在特定实施例中，分别针对顶面和底面采样的两个2D图像U和D中的每一个是(通过增大垂直FOV角以覆盖两个六边形的区域而)足够大的两个方形图像。由于渲染引擎的渲染管道只能采用数据的矩形矩阵来执行3D场景到2D屏幕的渲染，因此无法捕获其他形状的图像。

在实施例中，当这些2D图像附加到3D显示模型(例如，六边形棱柱模型)的各个平面时，为渲染引擎形成构建的显示模型。可选地，八个2D图像的每个样本子图像通过UV映射处理映射到3D显示面板的一个对应平面。UV映射是指将2D图像投射到3D模型的表面以进行纹理映射的3D建模处理。特别地，2D图像基本上表示添加到3D模型的对应表面区域的纹理。构建的显示模型变为可执行数据形式，其经历渲染引擎的处理。

参考图1，基于渲染引擎生成全景图像的方法包括通过渲染引擎渲染构建的显示模型以重建全景图像的步骤。可选地，渲染构建的显示模型以集体使用所有单独的样本子图像来构建全景图像。图5是根据本公开的实施例的通过运行渲染引擎从构建的显示模型生成的虚拟全景图像的示意图。在左侧，示出了构建的显示模型的透视图，其具有两个矩形侧面201-1和201-2(附有相应的子图像，尽管未示出)以及顶面202和底面203(具有放大的方形)。在右侧，渲染引擎生成虚拟全景图像500的一部分，其中三个子图像H1，H2和H3通过渲染处理连接并且出于说明目的部分地由添加在其中的实线表示(否则在虚拟全景图像500中不可见)。

在一些实施例中，使用与渲染引擎相关联的多个采样相机来捕获多个样本子图像的步骤包括使用两组采样相机来针对多个子平面捕获具有视差的两组样本子图像；以及基于具有视差的两组样本子图像重建3D全景图像。例如，图4中的八个2D图像可以是由两组采样相机分别捕获的两组八个2D图像中的一组，所述两组采样相机基于特定视差计算的结果而布置。因此，两组八个2D图像是与特定视差相关的两组图像，并且可以用于通过渲染引擎构建具有3D视觉效果的虚拟全景图像。

在一些实施例中，使用与渲染引擎相关联的多个采样相机来捕获多个样本子图像的步骤还包括：针对显示模型的多个子平面中的每个子平面以采样频率按时间顺序采样一系列样本子图像；根据被采样的顺序编码同一子平面的所有样本子图像，以生成样本子视频；以及将样本子视频附加到对应的子平面以形成构建的显示模型。例如，图4中的八个2D图像可以是由一组采样相机以固定频率(例如24Hz或30Hz)在不同时间点顺序地捕获的一系列组的八个2D图像中的一组。在一个示例中，每秒采集24组或30组8个2D图像。每个2D图像是与场景中的视场对应的样本子图像。可选地，属于同一视场的每组样本子图像可以根据其捕获的定时进行编码。可选地，可以使用诸如FFMPEG或OPENCV之类的视频处理工具或类似的软件产品对这些图像进行编码，以制作与场景的相同视场对应的一个子视频。在运行渲染引擎方面，可以在显示模型上虚拟地显示每个子视频。由于在显示模型上显示对应于场景的各个视场的所有子视频，因此可以由渲染引擎生成虚拟全景视频并显示在虚拟现实显示装置上。可选地，可以以这样的方式显示高分辨率全景视频：允许单独的子视频显示在较低分辨率的显示器(例如基于Windows系统的显示器)上，而无需安装第三方解码器来处理高分辨率视频。

图6是示出根据本公开的一些实施例的由渲染引擎生成的虚拟全景图像中的若干随机视场角的部分视觉效果图像的示例图。参考图6，每个部分视觉效果图像(例如，图像501、502或503)表示根据本方法生成的虚拟全景图像的一部分。这些视觉效果图像中的每一个都没有示出显著的图像失真和区块聚合。

图7是根据本公开的另一实施例的用于生成全景图像的渲染引擎的显示模型的示意图。在另一实施例中，显示模型仍然是六边形棱柱，但具有升级的子平面设置。特别地，六边形棱柱沿中心轴方向被等分为四层，使得每个侧面被分成四个子平面，导致总共26个子平面需要通过将相应的样本子图像附加到其上来添加纹理。如图7所示，第一层包括N子侧平面：701-1-1～701-1-N。第M层也包括N个子侧平面：701-M-1～701-M-N。在示例中，M＝4并且N＝6。另外，作为任何多边形棱柱模型，存在两个子端平面，一个顶面702和一个底面703。在考虑像素均匀性的条件下，每个子侧面可以具有8192×2928的最大图像分辨率。当水平FOV角为60°，垂直FOV角为90°时，此类FOV角内的像素数量可达到8192×11712。这导致最终全景图像的图像分辨率比基于六边形棱柱模型10的图像分辨率高8倍，并且比基于图2所示的传统球体模型00的图像分辨率高34倍。

另一方面，本公开提供了一种基于与显示装置相关联的渲染引擎来生成全景图像的装置。可选地，显示装置是虚拟现实(VR)显示装置，其被配置为显示分辨率至少为4K或8K的高分辨率图像。在实施例中，该装置包括存储器和一个或多个处理器。存储器和所述一个或多个处理器通过网络连接彼此连接。网络连接可以通过通信网络，例如无线网络、有线网络和/或无线网络和有线网络的任何组合。网络可以包括局域网、互联网、电信网络(物联网)和/或上述网络的任何组合等。有线网络可以通过双绞线、同轴电缆或光纤传输进行通信。可以使用诸如3G/4G/5G移动通信网络、蓝牙、Zigbee或Wi-Fi的无线通信网络。存储器存储用于控制所述一个或多个处理器的计算机可执行指令。存储器可以包括静态随机存取存储器(SRAM)、电可擦除可编程只读存储器(EEPROM)、可擦除可编程只读存储器(EPROM)、只读存储器(ROM)、磁存储器、闪存、磁盘、或光盘。存储器存储用于控制所述一个或多个处理器的计算机可执行指令，以确定被配置为多边形棱柱的显示模型，用于与场景的全景视图对应的渲染引擎。另外，存储器存储用于控制所述一个或多个处理器的计算机可执行指令，以使用与渲染引擎相关联的多个采样相机，以在朝向多边形棱柱的多个子区域的相应方向上捕获全景视图的多个样本子图像。存储器存储计算机可执行指令，用于控制一个或多个处理器进一步将所述多个样本子图像附加到相应的多个子区域以形成构建的显示模型。此外，存储器存储计算机可执行指令，用于控制所述一个或多个处理器通过渲染引擎渲染构建的显示模型以重建全景图像。

在实施例中，所述一个或多个处理器包括可编程指令，以创建配置为等边多边形棱柱的显示模型，等边多边形棱柱的侧面、顶面和底面中的每一个被划分成一个或多个子平面。可选地，每个子平面独立地定义有图像分辨率。可选地，每个子平面自定义有图像分辨率。

在实施例中，所述一个或多个处理器包括具有多个采样相机的渲染引擎，所述多个采样相机被配置为从位于显示模型内部的所述多个采样相机中的至少一个朝向相应的多个子平面中的一个的多个投射方向上捕获场景的多个样本子图像。

在实施例中，所述一个或多个处理器包括可编程指令，以将多个样本子图像中的每一个作为纹理附加到多边形棱柱的多个子平面中的相应一个子平面，以形成用于渲染引擎的构建的显示模型。渲染引擎被配置为渲染与所构建的显示模型的相应多个子平面相关联的多个样本子图像以生成全景图像。渲染引擎还被配置为顺序地渲染与所构建的显示模型的相应多个子平面相关联的多组的多个样本子图像。每组的多个样本子图像由多个采样相机中的相应一个以例如24Hz或30Hz的频率顺序地捕获，并且以定时顺序编码以生成与多个子平面相关联的相应多个样本子视频并生成要在显示装置上显示的全景视频。

又一方面，本公开提供一种显示装置，其包括耦接到本文描述的用于生成全景图像或全景视频的装置的显示面板。显示装置被配置为将全景图像或全景视频显示为虚拟现实显示。可选地，显示装置是虚拟现实(VR)显示装置。可选地，显示装置内置于膝上型计算机、Windows或Apple OP系统下的台式计算机、Android或Apple移动OP系统下的智能手机或任何VR显示器。

又一方面，本公开提供了一种计算机程序产品，其包括其上具有计算机可读指令的非暂时性有形计算机可读介质。计算机可读指令可由处理器执行以使处理器执行：确定被配置为多边形棱柱的显示模型，用于与场景的全景视图对应的渲染引擎。另外，计算机可读指令可由处理器执行以使处理器执行：使用与渲染引擎相关联的多个采样相机在朝向多边形棱柱的多个子区域的相应方向上捕获全景视图的多个样本子图像。此外，计算机可读指令可由处理器执行以使处理器执行：将多个样本子图像附加到相应的多个子区域以形成构建的显示模型。此外，计算机可读指令可由处理器执行以使处理器执行：通过渲染引擎渲染构建的显示模型以重建全景图像。可选地，非暂时性有形计算机可读介质存储在包含渲染引擎的显示装置中。可选地，显示装置是虚拟现实显示装置。

已经出于说明和描述的目的呈现了本发明的实施例的上述描述。其并非旨在穷举或将本发明限制为所公开的确切形式或示例性实施例。因此，上述描述应当被认为是示意性的而非限制性的。显然，许多修改和变形对于本领域技术人员而言将是显而易见的。选择和描述这些实施例是为了解释本发明的原理和其最佳方式的实际应用，从而使本领域技术人员能够通过各种实施例及适用于特定用途或所构思的实施方式的各种变型来理解本发明。本发明的范围旨在由所附权利要求及其等同形式限定，其中除非另有说明，否则所有术语以其最宽的合理意义解释。因此，术语“发明”、“本发明”等不一定将权利范围限制为具体实施例，并且对本发明示例性实施例的参考不隐含对本发明的限制，并且不应推断出这种限制。本发明仅由随附权利要求的精神和范围限定。此外，这些权利要求可涉及使用跟随有名词或元素的“第一”、“第二”等术语。这种术语应当理解为一种命名方式而不应解释为对由这种命名方式修饰的元素的数量进行限制，除非已给出具体数量。所描述的任何优点和益处不一定适用于本发明的全部实施例。应当认识到的是，本领域技术人员在不脱离随附权利要求所限定的本发明的范围的情况下可以对所描述的实施例进行变型。此外，本公开中没有元件和组件是意在贡献给公众的，无论该元件或组件是否明确地记载在随附权利要求中。

Claims (21)

1.一种基于与显示装置相关联的渲染引擎生成全景图像的方法，包括：

确定被配置为多边形棱柱的显示模型，用于与场景的全景视图对应的渲染引擎；

使用与所述渲染引擎相关联的多个采样相机在朝向所述多边形棱柱的多个子平面的相应方向上捕获所述全景视图的多个样本子图像；

将所述多个样本子图像附加到相应的多个子平面以形成构建的显示模型；

由所述渲染引擎渲染所述构建的显示模型以重建全景图像；以及

在所述显示装置上显示所述全景图像。

2.根据权利要求1所述的方法，其中，所述多边形棱柱是等边N侧面多边形棱柱，其中N是不小于3的整数。

3.根据权利要求2所述的方法，其中，确定显示模型包括确定分别从所述等边N侧面多边形棱柱的每一个侧面或顶面或底面划分的所述多个子平面。

4.根据权利要求3所述的方法，其中，确定显示模型还包括：确定与所述等边N侧面多边形棱柱的不同平面的相应的多个子平面对应的不同图像分辨率，并基于tan(u/2)/tan(v/2)的比率确定所述多个子平面中的每一个的宽度和长度以及宽长比，其中u是从所述多个采样相机中的至少一个投射到所述多个子平面中的每一个的水平视场角，v是从所述多个采样相机中的所述至少一个投射到所述多个子平面中的每一个的垂直视场角。

5.根据权利要求4所述的方法，其中，所述多个采样相机中的所述至少一个位于所述显示模型的中心。

6.根据权利要求4所述的方法，其中，使用与所述渲染引擎相关联的多个采样相机捕获多个样本子图像包括：在从所述多个采样相机中的一个朝向多个子平面中的一个投射的相应一个方向上，根据场景以独立定义的图像分辨率分别对所述多个样本子图像中的每一个进行采样。

7.根据权利要求6所述的方法，其中，针对单个子平面的独立定义的图像分辨率被配置为比传统模型中的单个视场图像所允许的最大图像分辨率大若干倍。

8.根据权利要求4所述的方法，其中，使用与所述渲染引擎相关联的多个采样相机捕获多个样本子图像包括：通过略微增大视场角以使分别针对朝向所述顶面的顶视图和朝向所述底面的底视图的投射正方形大于所述顶面或所述底面，在所述投射正方形中捕获至少两个样本子图像。

9.根据权利要求4所述的方法，其中，使用与渲染引擎相关联的多个采样相机捕获多个样本子图像包括：使用两组采样相机针对所述多个子平面捕获具有视差的两组样本子图像；以及，基于具有视差的两组样本子图像重建3D全景图像。

10.根据权利要求1所述的方法，其中，将所述多个样本子图像附加到相应的多个子平面包括：执行UV映射以将每个样本子图像的图像纹理添加到对应的子平面，以及生成用于所述渲染引擎的构建的显示模型。

11.根据权利要求1所述的方法，其中，使用与所述渲染引擎相关联的多个采样相机捕获多个样本子图像还包括：针对所述显示模型的所述多个子平面中的每一个，以采样频率按时间顺序采样一系列样本子图像；根据被采样的顺序编码同一子平面的所有样本子图像，以生成样本子视频；以及将所述样本子视频附加到对应的子平面以形成所述构建的显示模型。

12.根据权利要求11所述的方法，其中，渲染所述构建的显示模型包括：对同时采样的分别用于所述多个子平面的多个样本子图像进行渲染，以同时生成一个全景图像，并通过按时间顺序编码一系列全景图像来进一步生成全景视频。

13.根据权利要求12所述的方法，其中，显示全景图像包括：通过至少显示单独针对在视场方向上的相应一个子平面的子视频，在所述显示装置上显示所述全景视频。

14.一种基于与显示装置相关联的渲染引擎生成全景图像的装置，包括：

存储器；以及

一个或多个处理器；

其中，所述存储器和所述一个或多个处理器彼此连接；并且

所述存储器存储计算机可执行指令，用于控制所述一个或多个处理器：

确定被配置为多边形棱柱的显示模型，用于与场景的全景视图对应的渲染引擎；

使用与所述渲染引擎相关联的多个采样相机在朝向所述多边形棱柱的多个子区域的相应方向上捕获所述全景视图的多个样本子图像；

将所述多个样本子图像附加到相应的多个子区域，以形成构建的显示模型；

通过所述渲染引擎渲染所述构建的显示模型以重建全景图像；以及

在所述显示装置上显示所述全景图像。

15.根据权利要求14所述的装置，其中，所述一个或多个处理器包括可编程指令，用于创建被配置为等边多边形棱柱的显示模型，所述等边多边形棱柱的侧面、顶面和底面中的每一个被分成一个或多个子平面，每个子平面被独立定义有图像分辨率。

16.根据权利要求15所述的装置，其中，所述一个或多个处理器包括具有多个采样相机的渲染引擎，所述多个采样相机被配置为在从位于所述显示模型内的所述多个采样相机中的至少一个朝向相应的多个子区域中的一个的多个投射方向上捕获场景的多个样本子图像。

17.根据权利要求16所述的装置，其中，所述一个或多个处理器包括可编程指令，用于将所述多个样本子图像中的每一个作为纹理附加到多边形棱柱的多个子区域中的相应一个子区域，以形成用于所述渲染引擎的构建的显示模型。

18.根据权利要求17所述的装置，其中，所述渲染引擎被配置为渲染与所述构建的显示模型的相应多个子区域相关联的多个样本子图像以生成全景图像。

19.根据权利要求17所述的装置，其中，所述渲染引擎被配置为顺序地渲染与所述构建的显示模型的相应的多个子区域相关联的多组的多个样本子图像，每组多个样本子图像被所述多个采样相机中的相应的一个以采样频率依次捕获，并且被按时间顺序编码，以生成与多个子区域相关联的相应多个采样子视频，并生成全景视频。

20.一种显示装置，包括显示面板，其耦接到根据权利要求14至19中的任一项所述的用于生成全景图像或全景视频的装置，并且被配置为将全景图像或全景视频显示为虚拟现实显示。

21.一种计算机程序产品，包括其上具有计算机可读指令的非暂时性有形计算机可读介质，所述计算机可读指令可由处理器执行以使所述处理器执行：

确定被配置为多边形棱柱的显示模型，用于与场景的全景视图对应的渲染引擎；

使用与所述渲染引擎相关联的多个采样相机在朝向所述多边形棱柱的多个子区域的相应方向上捕获所述全景视图的多个样本子图像；

将所述多个样本子图像附加到相应的多个子区域以形成构建的显示模型；以及

由所述渲染引擎渲染所述构建的显示模型以重建全景图像。