CN111212219B - 使用虚拟相机生成多面图像的方法和系统 - Google Patents

Abstract

本文公开了一种使用虚拟相机生成多面图像的方法和系统。该方法包括由多面图像生成装置调整虚拟相机的拍摄配置；由所述多面图像生成装置配置经过调整的所述虚拟相机的拍摄部分；以及由所述多面图像生成装置基于已配置的所述拍摄部分生成由所述虚拟相机捕获的匹配的第一多面图像。

Description

使用虚拟相机生成多面图像的方法和系统

技术领域

本发明涉及一种使用虚拟相机生成多面图像的方法和系统，更具体地，涉及一种能够生成通过处理由虚拟相机捕获的图像而可以在多面电影屏幕上重放的多面图像的方法以及执行该方法的装置。

背景技术

普通的剧院以单个大尺寸的屏幕位于与观众相对的一侧上并且二维(2D)图像或三维(3D)图像投影在该屏幕上的系统的形式进行管理。3D图像用于向用户提供立体图像，并且观众可以使用专门制作的眼镜或设备来观看3D图像。

这种3D图像可以向观众提供立体图像，但仅向观众提供投影在单个屏幕上的图像。这种3D图像存在的问题在于：图像本身的沉浸程度较低，并且当观众长时间观看图像时敏感的观众可能会感到头晕或不舒服。

因此，已经公开了一种能够通过2D图像提供类似于3D图像的立体效果的多面放映系统。多面放映系统意指以下技术：除了与观众相对的一侧上的屏幕之外，显示表面分别设置在连接至屏幕的左壁表面、右壁表面、顶面或底面，并且单个同步图像被投影在连接至屏幕的显示表面上，因此，能够为观众提供立体效果和沉浸感。

已经按照使用能够在不同时间点捕获图像的多个相机拍摄单个拍摄对象的这种方式来拍摄投影在多面屏幕系统上的多面图像。然而，多面屏幕系统存在的问题在于：因为拍摄区域根据多个相机的拍摄配置而交叠，所以用户必须逐个编辑交叠区域并另外执行用于同步尺寸和水平度的任务，以便产生最终投影在多面电影屏幕上的图像。此外，多面屏幕系统存在的问题在于：根据电影屏幕的结构，后座的观众可能会失真地观看投影在左右显示表面上的图像。

因此，有必要开发一种能够以更方便的方式生成多面图像的方法和装置，并且本发明涉及这种方法和装置。

发明内容

技术问题

本发明的实施方式涉及一种多面图像生成装置，其能够在多面图像系统上投影多面图像的过程中容易地执行由虚拟相机捕获的多面图像的后期制作。

本发明的实施方式涉及一种生成图像的方法，使得即使观众坐在任何座位上，观众可以没有失真地观看投影在多面屏幕系统上的多面图像。

本发明中要实现的技术目的不限于上述技术目的，并且从以下描述中，本发明所属领域的普通技术人员可以明显地理解上面没有描述的其它技术目的。

技术方案

根据本发明的实施方式的使用虚拟相机生成多面图像的方法包括以下步骤：由多面图像生成装置调整虚拟相机的拍摄配置；由所述多面图像生成装置配置经过调整的所述虚拟相机的拍摄部分；以及由所述多面图像生成装置基于已配置的所述拍摄部分生成由所述虚拟相机捕获的匹配的第一多面图像。

根据实施方式，该方法还可以包括以下步骤：在生成所述第一多面图像的步骤之前，基于所述拍摄部分预览由所述虚拟相机捕获的多面图像。

根据实施方式，该方法还可以包括以下步骤：在生成所述第一多面图像的步骤之后，使所述第一多面图像翘曲。

根据实施方式，使所述第一多面图像翘曲的步骤包括以下步骤：检查指示投影有所述第一多面图像的电影屏幕的结构的参数；以及基于所检查的所述参数为所述第一多面图像的每个显示表面设置校正比例。

根据实施方式，该方法还可以包括以下步骤：在设置每个区域的所述校正比例的步骤之后，生成并预览已应用了所述比例的第二多面图像。

根据实施方式，该方法还可以包括以下步骤：在预览所述第二多面图像的步骤之后，确定所设置的所述校正比例；以及通过将所确定的所述校正比例应用于匹配的所述第一多面图像来生成第三多面图像。

根据实施方式，调整拍摄配置的步骤可以包括以下步骤：如果所述虚拟相机为单个虚拟相机，则调整电影屏幕的中心显示表面以及左右显示表面或上下显示表面中的至少一个表面的水平分辨率和垂直分辨率。

根据实施方式，生成所述第一多面图像的步骤可以包括以下步骤：如果所述虚拟相机为单个虚拟相机，则通过基于电影屏幕的显示表面划分由所述单个虚拟相机捕获的第一多面图像来生成所述第一多面图像。

根据实施方式，所述虚拟相机可以包括多个虚拟相机。所述多个虚拟相机可以包括与电影屏幕的中心显示表面对应的主虚拟相机；以及设置在所述主虚拟相机的左侧和右侧或者顶部和底部上的子虚拟相机。

根据实施方式，所述多个虚拟相机可以设置在同一个中心轴上。

根据实施方式，调整所述拍摄配置的步骤可以包括以下步骤：调整所述子虚拟相机的拍摄配置，使得所述主虚拟相机的拍摄区域与所述子虚拟相机的拍摄区域连接。

根据实施方式，所述拍摄配置可以包括所述多个虚拟相机的焦距或分辨率中的一个或更多个。

根据本发明的另一实施方式的多面图像生成装置包括：虚拟相机调整单元，其被配置为调整虚拟相机的拍摄配置；拍摄配置单元，其被配置为配置具有经过调整的拍摄配置的虚拟相机的拍摄部分；多面图像生成单元，其被配置为生成由具有所配置的所述拍摄部分的所述虚拟相机捕获的匹配的第一多面图像；以及处理器，其被配置为控制所述虚拟相机调整单元、所述拍摄配置单元和所述多面图像生成单元中的一个或更多个。

根据实施方式，该多面图像生成装置还可以包括：预览生成单元，其被配置为基于由所述拍摄配置单元配置的所述拍摄部分来预览由所述虚拟相机捕获的多面图像。

根据实施方式，该多面图像生成装置还可以包括：图像翘曲单元，其被配置为使由所述多面图像生成单元生成的所述第一多面图像翘曲。

根据实施方式，所述图像翘曲单元可以被配置为检查指示投影有所述第一多面图像的电影屏幕的结构的参数；并且基于所检查的所述参数为所述第一多面图像的每个区域设置校正比例。

根据实施方式，所述预览生成单元可以被配置为在设置每个区域的所述校正比例之后生成并预览已应用了所述比例的第二多面图像。

根据实施方式，图像翘曲单元可以被配置为所述图像翘曲单元被配置为在预览所述第二多面图像的步骤之后确定所设置的所述校正比例，并且通过将所确定的所述校正比例应用于匹配的所述第一多面图像来生成第三多面图像。

根据实施方式，虚拟相机调整单元可以被配置为在所述虚拟相机为单个虚拟相机时调整电影屏幕的中心显示表面以及左右显示表面或上下显示表面中的至少一个表面的水平分辨率和垂直分辨率。

根据实施方式，多面图像生成单元可以被配置为在所述虚拟相机为单个虚拟相机时通过基于电影屏幕的显示表面划分由所述单个虚拟相机捕获的第一多面图像来生成所述第一多面图像。

根据实施方式，所述虚拟相机可以包括多个虚拟相机。所述多个虚拟相机可以包括与电影屏幕的中心显示表面对应的主虚拟相机；以及设置在所述主虚拟相机的左侧和右侧或者顶部和底部上的子虚拟相机。

根据实施方式，所述多个虚拟相机可以设置在同一个中心轴上。

根据实施方式，所述拍摄配置单元可以被配置为调整所述子虚拟相机的拍摄配置，使得所述主虚拟相机的拍摄区域与所述子虚拟相机的拍摄区域连接。

根据实施方式，所述拍摄配置可以包括所述多个虚拟相机的焦距或分辨率中的一个或更多个。

有益效果

根据本发明的实施方式，存在可以使用虚拟相机生成整合的多面图像的效果。

此外，通过根据位置考虑失真而使投影在电影屏幕内的多个显示表面上的图像翘曲。因此，存在以下效果：因为观众可以观看多面图像而没有任何异质感，所以可以改善沉浸感。

此外，存在以下效果：因为通过考虑每个电影屏幕的不同结构来使由虚拟相机捕获的图像翘曲，所以可以生成适合于每个电影屏幕的结构的多面图像。

此外，因为使用了多个虚拟相机，所以基于位于中心的主虚拟相机的拍摄配置，同样地调整设置在主虚拟相机的左侧和右侧上的子虚拟相机的拍摄配置。因此，存在由多个虚拟相机捕获的多面图像可以形成完整性的效果。

此外，由虚拟相机拍摄的区域被匹配而与彼此相邻设置的相机的拍摄区域交叠。因此，存在以下效果：因为捕获图像不需要单独的校正任务，所以可以更高效地生成多面图像。

本发明的效果不限于上述效果，并且可以包括从以下描述中对于本领域技术人员显而易见的范围内的各种其它效果。

附图说明

图1是示意性地示出根据本发明的实施方式的多面图像生成装置的配置的示图。

图2是示意性地示出根据本发明的实施方式的由单个虚拟相机拍摄的区域的示图。

图3是示意性地示出根据本发明的实施方式的多个虚拟相机对拍摄对象进行拍摄的状态的示图。

图4是示意性地示出根据本发明的实施方式的调整多个虚拟相机的焦距的状态的示图。

图5和图6是示意性地示出根据本发明的实施方式的调整多个虚拟相机的分辨率的状态的示图。

图7是示出根据本发明的第二实施方式的多面图像生成装置使用虚拟相机生成多面图像的方法的流程的流程图。

图8是图7中所示的步骤S150的详细流程图。

图9例示了根据本发明的实施方式的使由多面图像生成装置拍摄的图像翘曲的处理。

图10示出了根据本发明的实施方式的利用多面图像生成装置预览图像的状态。

图11示出了根据本发明的实施方式的利用多面图像生成装置预览经过失真校正的的图像的状态。

<附图标记的描述>

10：多面图像生成系统

100：多面图像生成装置

110：虚拟相机调整单元

120：拍摄配置单元

130：多面图像生成单元

140：预览生成单元

150：图像翘曲单元

具体实施方式

以下，参照附图详细地描述了本发明的实施方式。根据结合附图详细描述的实施方式，本公开的优点和特性以及用于实现优点和特征的方法将变得更加明显。然而，本公开不限于所公开的实施方式，而是可以以各种不同的方式实现。提供实施方式仅是为了完成本公开，并且允许本领域技术人员充分地理解本公开的范畴。本公开由权利要求的范畴限定。贯穿附图，相同的附图标记将用于指代相同或相似的元件。

除非另外定义，否则本说明书中使用的所有术语(包括技术和科学术语)将用作本发明所属领域的普通技术人员通常可以理解的含义。此外，除非另外定义，否则字典中常用和定义的术语不应被解释为具有理想或过于正式的含义。提供说明书中使用的术语是为了描述实施方式，而不是旨在于限制本发明。在说明书中，除非另外特别描述，否则单数形式可以包括复数形式。

此外，除了包括所描述的元件之外，说明书中使用的诸如“包括(或包含)”和/或“包括有(或包含有)”不排除一个或更多个元件的存在或添加。

图1是示意性地示出根据本发明的实施方式的多面图像生成装置100的配置的示图。

从图1中可以看出，多面图像生成装置100包括虚拟相机调整单元110、拍摄配置单元120、多面图像生成单元130、预览生成单元140、图像翘曲单元150和处理器160，并且还可以包括用于实现本发明的目的的附加元件。

虚拟相机调整单元110可以调整虚拟相机200的拍摄配置。在这种情况下，虚拟相机200是用于生成多面图像的虚拟相机，并且包括单个相机或多个虚拟相机200。因为虚拟相机具有在虚拟3D空间内自由配置的拍摄配置信息，所以其可以按照3D方式以各种角度和距离对拍摄对象进行拍摄。

图2是示意性地示出根据本发明的实施方式的由单个虚拟相机200拍摄的区域的示图。参照图2，可以使用单个虚拟相机200生成要投影在电影屏幕上的多面图像。更具体地，可以通过根据以显示多面图像的区域的数量划分由虚拟相机200拍摄的拍摄区域A来生成多面图像。也就是说，因为在单个虚拟相机200拍摄的拍摄区域A中指示了虚拟显示表面的边界线，所以可以看出哪个显示区域中显示了捕获图像。

除了包括可以使用剧院内的诸如屏幕的投影装置在其上投影图像的表面、左壁表面、右壁表面、顶面和底面之外，本发明中描述的显示表面或要显示的区域可以包括输出图像的诸如LED或LCD的表面。也就是说，可以使用各种投影方法在电影屏幕内输出由虚拟相机200捕获的图像。每个显示表面可以根据影院的结构以不平行的方式布置。

此外，为了生成如上所述的多面图像，可以通过根据显示表面的数量考虑水平/垂直分辨率来设置单个虚拟相机200的拍摄分辨率。例如，如果生成了要在如图2所示的包括三个显示表面的屏幕上投影的图像，则虚拟相机200的水平分辨率为显示表面①、②和③的水平分辨率之和的值。虚拟相机200的垂直分辨率可以与用于图像整合的表面①(即，中心显示表面)的垂直分辨率的值相同。

图3是示意性地示出根据本发明的实施方式的多个虚拟相机200对拍摄对象进行拍摄的状态的示图。从图3的(a)可以看出，当在x-y平面上观看拍摄空间的底面时，多个虚拟相机200设置在Z轴的同一个中心轴上，并且包括位于中心的主虚拟相机200a和设置在主虚拟相机200a的两侧上的子虚拟相机200b。此外，多个虚拟相机200具有同一个中心轴并且被虚拟装备绑定。可以看出，同样地设置了多个虚拟相机200的拍摄配置信息，对拍摄对象O进行拍摄的多个相机200的每个拍摄区域A1、A2和A3与相邻的拍摄区域相匹配，而不交叠。

因此，由多个相机200捕获的拍摄对象O的多面图像自然地如图3的(b)中那样连接，而没有交叠区域。此外，由于同样地设置了多面图像的垂直尺寸和水平度，所以不需要用于在拍摄之后裁剪或拼合(stitch)多面图像的附加编辑任务。

除了设置在主虚拟相机200a的左侧和右侧上之外，子虚拟相机200b还可以设置在主虚拟相机200a的上侧和下侧上。因此，当在拍摄空间的y-z平面上观看时，多个虚拟相机200设置在X轴的同一个中心轴上。由子虚拟相机200b捕获的图像的表面可以是电影屏幕内的顶面和底面。

从图4至图6可以看出，虚拟相机调整单元110可以调整多个相机200的拍摄信息当中的焦距或分辨率，从而控制多个相机200的拍摄区域。

更具体地，虚拟相机调整单元110基于主虚拟相机200a的拍摄配置调整来调整子虚拟相机200b的拍摄配置，使得子虚拟相机200b的拍摄配置连接至主虚拟相机200a的拍摄区域，以便于防止多面图像交叠。

此外，由虚拟相机调整单元110调整的拍摄配置可以包括焦距和分辨率。由主虚拟相机200a捕获的图像所投影的区域是电影屏幕的主屏幕，并且由子虚拟相机200b捕获的图像所投影的显示表面包括主屏幕的左壁表面和右壁表面。虚拟相机调整单元110可以调整子虚拟相机200b的垂直分辨率。

此外，如果由子虚拟相机200b捕获的图像所投影的显示表面是基于主屏幕的顶面和底面，则虚拟相机调整单元110可以使子虚拟相机200b的水平分辨率相同并调整垂直分辨率。

图4是示意性地示出根据本发明的实施方式的调整多个虚拟相机200的焦距的状态的示图。从图4的(a)可以看出，如果多个虚拟相机200a的焦距是28mm并且对应的视角(θ1)是75°，则当虚拟相机调整单元110将主虚拟相机200a的焦距调整为50mm时，对应的视角(θ2)变为47°，并且同样地调整子虚拟相机200b的焦距和视角。

此外，当改变了子虚拟相机200b的焦距和视角时，不保持子虚拟相机200b的视点(即，子虚拟相机200的虚拟镜头的光轴)，而是根据主虚拟相机200a的拍摄区域A1来改变子虚拟相机200b的视点。例如，当主虚拟相机200a的视角随着主虚拟相机200a的焦距的减小而减小时，左子虚拟相机200b的虚拟镜头的光轴P1向右倾斜，并且右子虚拟相机200b的虚拟镜头的光轴P2向左倾斜。相反，当主虚拟相机200a的视角随着主虚拟相机200a的焦距的增大而增大时，右子虚拟相机200b的镜头的光轴移动。在这种情况下，子虚拟相机200b的镜头的光轴移动的角度可以与虚拟相机调整单元110所改变的主虚拟相机200a的视角(Δθ)相同。

下面描述多个虚拟相机200根据这种焦距调整而捕获的图像。从图4的(b)和图4的(c)可以看出，由多个虚拟相机200捕获的多面图像自然地连接而没有断开或交叠。因此，可以更容易地产生多面图像。

此外，虚拟相机调整单元110可以调整主虚拟相机200a的分辨率。因此，可以调整子虚拟相机200b的分辨率以连接至主虚拟相机200a的拍摄区域。

图5和图6是示意性地示出根据本发明的实施方式的调整多个虚拟相机200的分辨率的状态的示图。

从图5的(a)和图5的(b)可以看出，如果多个虚拟相机200在如实线中的水平分辨率和垂直分辨率为1920×1080像素，并且对应的拍摄区域A1、A2和A3如下，则当虚拟相机调整单元110将主虚拟相机200a在如虚线所示的区域中的水平分辨率和垂直分辨率调整为1998*1080像素时，根据图5的(b)至图5的(c)调整子虚拟相机200b的镜头的光轴并且改变对应的拍摄区域。

此外，当调整子虚拟相机200b的分辨率时，不保持子虚拟相机200b的视点(即，虚拟镜头的光轴)，而是根据主虚拟相机200a的拍摄区域A1来改变子虚拟相机200b的视点。例如，当拍摄区域A1的水平长度随着主虚拟相机200a的水平分辨率的增大而增大时，左子虚拟相机200b的虚拟镜头的中心P1向左倾斜，并且右子虚拟相机200b的虚拟镜头的光轴P2向右倾斜。相反，当拍摄区域A1的水平长度随着拍摄区域A1的水平分辨率的减小而减小时，子虚拟相机200b的镜头的光轴移动。在这种情况下，子虚拟相机200b的透镜的光轴P1、P2移动的角度可以与通过将由主虚拟相机200拍摄的拍摄区域A1的改变的水平长度Δl与多个虚拟相机200的中心点C连接而形成的角度相同。

此外，从图5的(b)和图5的(d)可以看出，随着主虚拟相机200a的水平/垂直比例的改变，拍摄对象O进入主虚拟相机200a的拍摄区域A1，但是拍摄对象O自然地连接而没有断开或交叠的部分。

在另一实施方式中，虚拟相机调整单元110可以调整主虚拟相机200b的垂直分辨率。例如，从图6可以看出，如果多个虚拟相机200的水平分辨率和垂直分辨率为如实线中的1200×540像素，则当虚拟相机调整单元110将主虚拟相机200a的垂直分辨率调整为700像素时，子虚拟相机200b的垂直分辨率同样地被调整为700像素。在这种情况下，可以保持子虚拟相机200b的视点(即，子虚拟相机200b的虚拟镜头的光轴)而没有任何改变。

如上所述，多面图像生成装置100的虚拟相机调整单元110仅需要调整主虚拟相机200a的焦距和分辨率，因此自动地调整子虚拟相机200b的镜头的焦距、分辨率和光轴。因此，可以生成与拍摄区域A1、A2和A3彼此相邻的边缘邻接的整合多面图像。

再次参照图1描述多面图像生成装置100。

拍摄配置单元120配置要由具有由虚拟相机调整单元110调整的拍摄配置的虚拟相机200拍摄的拍摄部分。例如，拍摄配置单元120可以包括根据图像场景的虚拟相机200的拍摄对象的拍摄路径、移动等。

在如上所述配置要由虚拟相机200拍摄的拍摄部分之后，可以通过预览生成单元140预览由虚拟相机200捕获的多面图像。因此，用户可以确定是否要基于上述设置项目来生成多面图像。

多面图像生成单元130可以生成匹配的由具有所配置的拍摄部分的虚拟相机200捕获的第一多面图像P1。更具体地，多面图像生成单元130可以渲染由虚拟相机200捕获的图像并存储每个渲染图像，或者可以将图像整合到单个图像中并且可以渲染和存储单个图像。在这种情况下，图像的匹配意味着与中心拍摄图像相邻的左右侧拍摄图像的边缘接触，但没有被显露。

图像翘曲单元150可以使由多面图像生成单元140生成的第一多面图像P1翘曲。在这种情况下，翘曲意味着通过对第一个多面图像应用失真来使第一多面图像P1与电影屏幕的各种结构匹配。

换句话说，可以通过使用虚拟相机200生成匹配的第一多面图像P1来完成多面图像的制作。当匹配的第一多面图像P1投影在将放映多面图像的多面电影屏幕上时，由于

形式或聚集主屏幕的两侧上的墙壁表面的形式的电影屏幕的结构的性质而使匹配的第一图像P1被坐在远离多面电影屏幕的后排座位上的观众可能看起来失真。

因此，图像翘曲单元150可以通过使匹配的第一多面图像P1翘曲来生成稳定的多面图像，使得它们看起来不会失真。更具体地，图像翘曲单元150可以通过识别投影有匹配的第一多面图像P1的电影屏幕的结构并且设置适合于电影屏幕的结构的图像校正比例来生成第二多面图像P2。在这种情况下，电影屏幕的结构意指指示电影屏幕内的结构尺寸的参数。例如，图像翘曲单元150所使用的电影屏幕的参数可以包括与投影有多面图像的区域相关联的所有数值，例如，电影屏幕内的多个显示表面之间的角度、多个显示表面(例如，屏幕、左壁表面、右壁表面、顶面和底面)的水平长度和垂直长度、从屏幕到电影屏幕内的前面座位的长度、后面座位的高度。

最后，可以看出，多面图像生成装置100包括配置为控制虚拟相机调整单元110、多面图像生成单元130、预览生成单元140和图像翘曲单元150的处理器160。在一些实施方式中，处理器160是中央处理单元，并且可以包括能够控制多面图像生成装置100的整体操作的至少一个操作设备。在这种情况下，例如，操作设备可以是通用中央处理单元(CPU)、适用于特定对象的专用可编程器件元件(CPLD、FPGA)、专用集成电路(ASIC)或微控制器芯片。

到目前为止已经描述了根据本发明的实施方式的多面图像生成装置100的配置。根据本发明的实施方式，多面图像生成装置100调整单个虚拟相机200或多个虚拟相机200的拍摄配置。因此，因为投影在电影屏幕内的显示表面上的图像的区域不交叠，所以可以容易地产生多面图像。

以下，描述利用多面图像生成装置100产生多面图像的详细方法。

图7是示出根据本发明的第二实施方式的多面图像生成装置100使用虚拟相机200生成多面图像的方法的流程的流程图。该流程图仅是用于实现本发明的目的的实施方式。在图7中，如果需要，可以删除或添加一些步骤，并且可以在另一步骤中包括流程图的任何一个步骤。

为了生成根据本发明的实施方式的投影在多面电影屏幕上的多面图像，可以使用如上所述的使用单个虚拟相机的方法和使用多个虚拟相机的方法。下面描述每种方法。

<实施方式1：单个虚拟相机>

首先，多面图像生成装置100调整虚拟相机200的拍摄配置(S110)。更具体地，可以通过考虑电影屏幕的中心显示表面、左右(左壁表面和右壁表面)显示表面或者顶部和底部(顶面和底面)显示表面来设置由单个虚拟相机200拍摄的区域的水平分辨率和垂直分辨率。

例如，如果前显示表面的分辨率被设置为1920×1080像素并且左右显示表面的分辨率被设置为1998*1080像素，则多面图像生成装置100可以将单个虚拟相机的分辨率设置为5916(1998+1920+1998)×1080像素。在这种情况下，针对屏幕的完整性，可以同样地设置垂直分辨率。

在步骤S110之后，多面图像生成装置100配置要由具有经过调整的拍摄配置的单个虚拟相机200拍摄的拍摄部分(S120)。例如，多面图像生成装置100可以根据内容的场景配置虚拟相机200的拍摄对象的拍摄路径、移动等。

使用虚拟相机200执行配置拍摄的步骤S110和配置拍摄部分的步骤S120。因此，用户可以实时预览已改变的虚拟相机200的拍摄配置和拍摄部分，并且识别拍摄配置和拍摄部分是否已经正确地配置。因此，因为如预期的防止不同地产生多面图像，所以用户可以更高效地产生多面图像。

在步骤S120之后，多面图像生成装置100预览由单个虚拟相机200捕获的多面图像(S130)。为此，由虚拟相机200拍摄的多面图像可以包括适合于电影屏幕的结构和适合于对应分辨率的显示表面引导线。因此，用户可以检查所捕获的图像显示在电影屏幕内的哪个显示表面上。

用户可以以全景形式观看所捕获的多面图像，或者可以以诸如它们实际投影在电影屏幕上的形式观看所捕获的多面图像，或者可以佩戴头戴式显示器(HMD)并以3D方式观看对应的多面图像。此外，用户可以基于前述项目确定是否生成多面图像。

在步骤S130之后，多面图像生成装置100获得由具有调整的拍摄配置的虚拟相机200捕获的拍摄对象O的图像，并且生成匹配的第一多面图像P1(S140)。在该处理中生成的第一多面图像P1已经由单个虚拟相机200捕获。因此，多面图像生成装置100可以基于显示表面的分辨率来分割和生成第一多面图像P1，可以渲染图像，并且可以存储渲染图像，或者可以渲染尚未被分割的整合的第一多面图像P1并存储渲染图像。

在通过步骤S140生成适合于场景的匹配的第一多面图像P1之后，多面图像生成装置100根据电影屏幕的结构使可能看起来失真的第一多面图像P1的一部分翘曲(S150)。也就是说，多面图像生成装置100可以生成适合于电影屏幕的结构的翘曲值(即，校正比例值)，并且可以通过将翘曲值应用于第一多面图像P1来提供预览图像，使得用户可以实时识别是否已校正了失真。

在步骤S150之后，多面图像生成装置100可以通过将由用户确定的翘曲值应用于第一多面图像P1来生成第三多面图像P3，并且可以将最终完成的第三多面图像P3存储为整合图像或分割到各个显示表面中的图像。

<实施方式2：多个虚拟相机>

多面图像生成装置100调整多个虚拟相机200的拍摄配置(S110)。在这种情况下，多个虚拟相机200可以包括①位于同一Z方向中心轴的中心处的主虚拟相机200a和设置在主虚拟相机200a的左侧和右侧上的子虚拟相机200b，或者②位于同一X轴方向中心轴的中心处的主虚拟相机200a和设置在主虚拟相机200a的顶部和底部处的子虚拟相机200b，以及③设置在主虚拟相机200a的顶部、底部、左侧和右侧的子虚拟相机200b。

多面图像生成装置100可以调整主虚拟相机200a的拍摄配置。可以基于主虚拟相机200a的拍摄配置来调整子虚拟相机200b，使得各个拍摄区域不交叠。

例如，在子虚拟相机200b中调整的拍摄配置包括虚拟相机的焦距或垂直分辨率。因此，多面图像生成装置100可以通过调整虚拟相机的焦距或垂直分辨率来获得图像不交叠的或者图像不会错位的整合的单个多面图像。

在步骤S110之后，多面图像生成装置100配置要由具有经过调整的拍摄配置的多个虚拟相机200拍摄的拍摄部分(S120)。例如，多面图像生成装置100可以根据内容的场景来配置虚拟相机200的拍摄对象的拍摄路径、移动等。

在步骤S120之后，多面图像生成装置100预览由多个虚拟相机200捕获的多面图像(S130)。在这种情况下，可以以与使用单个虚拟相机200相同的方式执行预览处理。也就是说，用户可以以全景形式或诸如实际投影在电影屏幕上的图像形式观看所捕获的多面图像，或者可以佩戴头戴式显示器(HMD)并以3D方式观看对应的多面图像。用户可以基于上述项目确定是否生成多面图像。

使用虚拟相机200执行配置拍摄的步骤S110和配置拍摄部分的步骤S120。因此，用户可以实时预览已改变的虚拟相机200的拍摄配置和拍摄部分，并且可以识别拍摄配置和拍摄部分是否已经正确地配置。因此，因为如预期的防止了不同地产生多面图像，所以用户可以更高效地产生多面图像。

在步骤S130之后，多面图像生成装置100可以通过获得由具有经过调整的拍摄配置的多个虚拟相机200捕获的拍摄对象O的图像来生成匹配的第一多面图像P1(S140)，并且可以渲染和存储图像。在这种情况下，多面图像生成装置100可以以整合的第一多面图像P1的形式整合和存储图像。

在通过步骤S140生成适合于该场景的匹配的第一多面图像P1之后，多面图像生成装置100根据电影屏幕的结构使第一多面图像P1中的可能看起来失真的一部分翘曲(S150)。也就是说，多面图像生成装置100可以生成适合于电影屏幕的结构的翘曲值(即，校正比例值)，并且可以通过将翘曲值应用于第一多面图像P1来提供预览图像，使得用户可以实时识别是否已经校正了失真。

在步骤S150之后，多面图像生成装置100可以通过将由用户确定的翘曲值应用于第一多面图像P1来生成第三多面图像P3，并且可以存储最终完成的第三多面图像P3以作为整合图像或作为分割到各个显示表面中的图像。

到目前为止，已经描述了根据本发明的实施方式的多面图像生成装置100使用单个相机或多个虚拟相机200生成多面图像的方法。以下，具体描述了在步骤S150简要描述的校正第一多面图像P1的失真的方法。无论虚拟相机200的数量如何，都可以以相同的方式执行该方法。

图8是图7中所示的步骤S150的详细流程图。

参照图8，多面图像生成装置100识别出通过步骤S140拍摄的第一多面图像P1被投影在哪个电影屏幕上，并且检查指示其上投影有图像的电影屏幕的结构的参数值(S150-1)。在这种情况下，参数值可以包括电影屏幕内的多个显示表面之间的角度，多个显示表面(例如，屏幕、左壁表面、右壁表面、顶面和底面)的水平长度和垂直长度、从屏幕到电影屏幕内前面座位的长度、以及后面座位的高度。

当通过步骤S150-1检查电影屏幕的结构时，多面图像生成装置100基于参数值设置第一多面图像P1的每个区域的校正比例(S150-2)。

图9例示了根据本发明的实施方式的使由多面图像生成装置100拍摄的图像翘曲的处理。参照图9的(a)，对于坐在屏幕S右侧的后排座位上的观众，位于远处的右显示表面的区域①中的图像在视觉上可能看起来较小，并且对于观众，位于靠近位置的右显示表面的第②区域中的图像可能看起来较大。因此，如果第一多面图像P1被投影在电影屏幕上而没有任何改变，则产生的以向观众提供立体效果的多面图像可能会妨碍观众观看图像或降低集中度。

因此，多面图像生成装置100可以针对每个区域分割设置在屏幕S的左侧和右侧上的每个显示表面，并且可以基于为每个区域设置的校正比例来编辑投影在每个区域上的第一多面图像P1。

例如，参照图9的(b)，多面图像生成装置100可以通过考虑右显示表面的总水平长度W与电影屏幕的总深度相同、屏幕S的长度类似于电影屏幕的总宽度、第一排中观众座位的高度、以及直到最后一排中观众座位的高度而将右显示表面划分为五个相等的部分。多面图像生成装置100可以缓慢地减小第一多面图像P1的比例直到属于五个等分区域的并且指示接近屏幕S的值0.2W的区域。也就是说，多面图像生成装置100可以通过将第一多面图像P1从原始尺寸缓慢地减小到属于右显示表面的且接近屏幕S的20％区域并且在剩余的80％区域中保持减小的第一多面图像P1的比例来生成已经最终应用了校正比例的第二多面图像P2。

通过具体计算每个电影屏幕的参数来检查比例的方法可能是最优选的。在一些实施方式中，可以执行以下各种方法：随机地划分投影在左右显示表面上的第一多面图像P1，而不需要具体检查和计算参数，并且提供按照远离屏幕的距离的顺序减小的100％、90％和80％的校正比例，或者通过考虑电影屏幕内的多个显示表面之间的角度而设置显示表面的每个区域的校正比例或权重。

返回参照图8，在步骤S130-2之后，多面图像生成装置100可以生成已经应用了校正比例的第二多面图像P2并且预览第二多面图像(S150-3)，并且可以识别是否已经根据所需的校正比例编辑了多面图像。

在生成多面图像和校正失真的步骤中，用户可以观看以各种方式输出的预览图像。下面参照图10对其进行描述。

图10示出了根据本发明的实施方式的利用多面图像生成装置100预览图像的状态。

从图10可以看出，由多面图像生成装置100提供的第二多面图像P2的预览屏幕以全景图像形式显示，如图10的(a)所示。也就是说，由多个虚拟相机200捕获的图像可以排列成行。此外，预览屏幕可以以与电影屏幕的结构同样组合的3D图像的形式显示，如图10的(b)所示，或者可以以已佩戴头戴式显示器(HMD)的用户可观看的3D图像的形式显示。

如上所述，使用多面图像生成装置100的用户可以模拟在多面电影屏幕内如何显示多面图像，同时从观众的视角观看电影屏幕内的多面图像或者以图像排列成行的全景形式观看它们，并且可以容易地识别是否根据失真正确地执行了校正。

图11示出了根据本发明的实施方式的利用多面图像生成装置100预览经过校正的具有失真的图像的状态。参照图11的(a)和图11的(b)，当基于电影屏幕的结构使第一多面图像P1翘曲时，用户可以查看经过校正的具有失真的第二多面图像P2，例如图11的(c)所示。更具体地，用户可以检查投影在右显示表面S1上的图像的比例与投影在屏幕S上的图像相比是否已减小，并且可以检查除了使用全景形式之外还使用3D图像的已应用校正比例的第二多面图像P2。

如上所述，根据本发明的实施方式的多面图像生成装置100具有以下效果：因为基于观众的视角拍摄的多面图像并且针对每个区域都使电影屏幕的结构翘曲，所以观众可以进一步沉浸在对应的图像中。此外，多个虚拟相机200具有相同的拍摄配置，并且已经匹配了拍摄区域。尽管基于电影屏幕的结构执行翘曲，但是最终产生的第三多面图像P3可以形成完整性而没有异质感。

本发明可以以计算机可读代码的形式在计算机可读记录介质中实现。计算机可读记录介质包括诸如磁存储介质和光学记录介质的所有存储介质。此外，在本发明的实施方式中，所使用的消息的数据格式可以记录在记录介质中。

如上所述，尽管已经参照附图描述了本发明的实施方式，但是本发明所属领域的技术人员将理解，在不改变本发明的技术精神或基本特征的情况下，本发明可以以其他详细形式实现。因此，上述实施方式应被解释为仅从所有方面进行说明而非限制性的。

Claims (16)

1.一种使用虚拟相机生成多屏幕图像的方法，所述方法包括以下步骤：

由多屏幕图像生成装置调整虚拟相机的拍摄配置；

由所述多屏幕图像生成装置来配置经过调整的所述虚拟相机的拍摄部分；以及

由所述多屏幕图像生成装置基于已配置的所述拍摄部分生成由所述虚拟相机捕获的匹配的第一多屏幕图像，

由所述多屏幕图像生成装置使所述第一多屏幕图像翘曲，

其中，使所述第一多屏幕图像翘曲的步骤包括以下步骤：

检查指示投影有所述第一多屏幕图像的电影屏幕的结构的参数；以及

基于所检查的所述参数为包括在投影有所述第一多屏幕图像的至少一个显示表面中的多个区域中的每一个区域设置校正比例，

其中，所述参数包括剧院内的多个显示表面之间的角度、从剧院内的屏幕到剧院内的前面座位的长度和剧院内的后面座位的高度中的至少一个，并且

其中，针对所述多个显示表面中的至少一个显示表面，沿着从所述剧院内的屏幕到所述剧院内的后面座位的方向，所述多个区域中的包括第一区域的至少一个区域中的图像的校正比例逐渐减小。

2.根据权利要求1所述的方法，所述方法还包括以下步骤：在生成所述第一多屏幕图像的步骤之前，基于所述拍摄部分预览由所述虚拟相机捕获的多屏幕图像。

3.根据权利要求1所述的方法，所述方法还包括以下步骤：在设置每个区域的所述校正比例的步骤之后，生成并预览已应用了所述比例的第二多屏幕图像。

4.根据权利要求3所述的方法，所述方法还包括以下步骤：

在预览所述第二多屏幕图像的步骤之后，确定所设置的所述校正比例；以及

通过将所确定的所述校正比例应用于匹配的所述第一多屏幕图像来生成第三多屏幕图像。

5.根据权利要求1所述的方法，其中，调整所述拍摄配置的步骤包括以下步骤：如果所述虚拟相机为单个虚拟相机，则调整电影屏幕的中心显示表面以及左右显示表面或上下显示表面中的至少一个显示表面的水平分辨率和垂直分辨率。

6.根据权利要求1所述的方法，其中，生成所述第一多屏幕图像的步骤包括以下步骤：如果所述虚拟相机为单个虚拟相机，则通过基于电影屏幕的显示表面划分由所述单个虚拟相机捕获的第一多屏幕图像来生成所述第一多屏幕图像。

7.根据权利要求1所述的方法，其中，

所述虚拟相机包括多个虚拟相机，并且

所述多个虚拟相机包括：

与电影屏幕的中心显示表面对应的主虚拟相机；以及

设置在所述主虚拟相机的左侧和右侧或者顶部和底部上的子虚拟相机。

8.根据权利要求7所述的方法，其中，调整所述拍摄配置的步骤包括以下步骤：调整所述子虚拟相机的拍摄配置，使得所述主虚拟相机的拍摄区域与所述子虚拟相机的拍摄区域连接。

9.一种多屏幕图像生成装置，所述多屏幕图像生成装置包括：

虚拟相机调整单元，所述虚拟相机调整单元被配置为调整虚拟相机的拍摄配置；

拍摄配置单元，所述拍摄配置单元被配置为对具有经过调整的拍摄配置的所述虚拟相机的拍摄部分进行配置；

多屏幕图像生成单元，所述多屏幕图像生成单元被配置为生成由具有所配置的所述拍摄部分的所述虚拟相机捕获的匹配的第一多屏幕图像；

图像翘曲单元，所述图像翘曲单元被配置为使由所述多屏幕图像生成单元生成的所述第一多屏幕图像翘曲；以及

处理器，所述处理器被配置为控制所述虚拟相机调整单元、所述拍摄配置单元、所述多屏幕图像生成单元、和所述图像翘曲单元中的一个或更多个，

其中，所述图像翘曲单元被配置为：

检查指示投影有所述第一多屏幕图像的电影屏幕的结构的参数；以及

基于所检查的所述参数为包括在投影有所述第一多屏幕图像的至少一个显示表面中的多个区域中的每一个区域设置校正比例，

其中，所述参数包括剧院内的多个显示表面之间的角度、从剧院内的屏幕到剧院内的前面座位的长度和剧院内的后面座位的高度中的至少一个，并且

其中，针对所述多个显示表面中的至少一个显示表面，沿着从所述剧院内的屏幕到所述剧院内的后面座位的方向，所述多个区域中的包括第一区域的至少一个区域中的图像的校正比例逐渐减小。

10.根据权利要求9所述的多屏幕图像生成装置，所述多屏幕图像生成装置还包括：预览生成单元，所述预览生成单元被配置为基于由所述拍摄配置单元配置的所述拍摄部分来预览由所述虚拟相机捕获的多屏幕图像。

11.根据权利要求10所述的多屏幕图像生成装置，其中，所述预览生成单元被配置为：在设置了每个区域的所述校正比例之后，生成并预览已应用了所述比例的第二多屏幕图像。

12.根据权利要求11所述的多屏幕图像生成装置，其中，所述图像翘曲单元被配置为：

在预览所述第二多屏幕图像的步骤之后，确定所设置的所述校正比例；并且

通过将所确定的所述校正比例应用于匹配的所述第一多屏幕图像来生成第三多屏幕图像。

13.根据权利要求9所述的多屏幕图像生成装置，其中，所述虚拟相机调整单元被配置为：在所述虚拟相机为单个虚拟相机时，调整电影屏幕的中心显示表面以及左右显示表面或上下显示表面中的至少一个显示表面的水平分辨率和垂直分辨率。

14.根据权利要求9所述的多屏幕图像生成装置，其中，所述多屏幕图像生成单元被配置为：在所述虚拟相机为单个虚拟相机时，通过基于电影屏幕的显示表面划分由所述单个虚拟相机捕获的第一多屏幕图像来生成所述第一多屏幕图像。

15.根据权利要求9所述的多屏幕图像生成装置，其中，

所述虚拟相机包括多个虚拟相机，并且

所述多个虚拟相机包括：

与电影屏幕的中心显示表面对应的主虚拟相机；以及

设置在所述主虚拟相机的左侧和右侧或者顶部和底部上的子虚拟相机。

16.根据权利要求15所述的多屏幕图像生成装置，其中，所述拍摄配置单元被配置为：调整所述子虚拟相机的拍摄配置，使得所述主虚拟相机的拍摄区域与所述子虚拟相机的拍摄区域连接。

Images