CN105324984A - 用于生成多投影图像的方法和系统 - Google Patents

Abstract

本文公开了一种生成多投影图像的方法。所述生成多投影图像的方法包括以下步骤：通过能够实现360°的视角的广视角拍摄装置执行拍摄操作；以及从由广视角拍摄装置沿着360°的方向拍摄的所有图像区中指定主要图像区。

Description

用于生成多投影图像的方法和系统

技术领域

本发明涉及一种用于生成多投影图像的方法和系统，并且，更具体地说，涉及一种能够利用能够实现360°的视角的广视角拍摄装置生成所谓的“多投影图像”的方法和系统。

背景技术

在现有技术中，为了在剧院中回放诸如电影或广告的图像，将二维(2D)图像投影至设置在电影院的前面的单个屏幕上。在该系统中，观众必然仅能感受到2D图像。

近来已研发了能够向观众提供立体感图像的关于3D图像的技术。3D图像技术基于以下原理：当不同图像进入人的左眼和右眼并且在大脑中合并时，人觉得合并的图像是3D图像。在这种3D图像技术中，使用其上安装有不同的偏振滤光镜的两台相机来采集图像。当观看图像时，人佩戴其上安装有偏振滤光镜的眼镜，以使得不同的图像进入人的左眼和右眼。

然而，这种3D技术可向用户提供立体感图像，但是问题在于因为用户仅观看图像，所以在单个屏幕中回放的图像本身的沉浸程度低。此外，还存在观众所感受的3D效果的方向限于其中设置单个屏幕的方向的问题。

此外，常规3D技术的问题在于，其可对观看图像的观众造成不方便，这是因为观众必须佩带其上安装有偏振滤光镜的眼镜，并且因为迫使不同的图像进入用户的左眼和右眼，所以敏感用户可感到眩晕或难受。

因此，提出了能够解决基于单个屏幕的常规放映系统的问题的所谓的“多投影系统”。在这种情况下，“多投影系统”意指这样的技术，即，在观众的座位周围设置多个投影面(或者多个显示装置)并且在多个投影面(或者多个显示装置)上回放具有统一感的同步图像，以使得观众可具有3D效果和沉浸感。

为了利用诸如“多投影系统”最大化观众所感受的沉浸感和3D效果，需要在设置在观众的座位周围的多个投影面(或者多个显示装置)上回放与相应的投影面(或对应的显示装置)的视点方向匹配的图像。

例如，如图1所示，假设存在其中多个投影面(或者多个显示装置)设置在前方以及观众的座位的左侧和右侧的电影院，需要在前方投影面(或显示装置)回放与基于观众的座位观看前方的视点匹配的图像，需要在左侧的投影面(或显示装置)中回放与基于观众的座位观看左侧的视点匹配的图像，并且需要在右侧的投影面(或显示装置)中回放与基于观众的座位观看右侧的视点匹配的图像。

然而，在现有技术中，不存在用于生成将在这种“多投影系统”的多个投影面(或者多个显示装置)中回放的所谓的“多投影图像”的技术。

因此，需要发展一种能够解决这种技术需求的新技术。

基于这种技术背景提出了本发明，并且本发明的提出满足了前述技术需求，并且还提供了本领域技术人员不容易想到的额外的技术元件。

发明内容

技术问题

因此，鉴于以上问题，提出本发明，并且本发明的一个目的是提供一种用于生成将在于观众的座位周围沿着多个视点方向设置的多个投影面(或多个显示装置)中回放的所谓的“多投影图像”的技术。具体地说，本发明的一个目的是提供一种利用能够实现360°的视角的广视角拍摄装置生成“多投影图像”的技术。

将通过本发明实现的技术目的不限于上述目的，并且它们可包括本领域技术人员从以下描述中将清楚的各个技术目的。

技术方案

根据本发明的一方面，一种生成多投影图像的方法，包括：通过能够实现360°的视角的广视角拍摄装置执行拍摄操作；以及从由广视角拍摄装置沿着360°的方向拍摄的所有图像区中指定主要图像区。

此外，在生成多投影图像的方法中，广视角拍摄装置可具有可控制的高度，并且在特定高度或更高的高度执行拍摄操作。

此外，在生成多投影图像的方法中，通过广视角拍摄装置沿着360°的方向采集的所有图像可按照展开于二维(2D)平面上的方式被显示，或者按照与相应的拍摄方向角匹配的方式被显示。

在这种情况下，通过广视角拍摄装置拍摄的所有图像可通过图像卷绕显示在2D平面上。

生成多投影图像的方法还可包括修剪主要图像区和在基于主要图像区的特定视角范围内的图像区。

此外，生成多投影图像的方法还可包括将经修剪的图像区映射至球面空间或柱形空间并生成相应的平面的图像。

根据本发明的另一方面，一种用于生成多投影图像的系统，包括：广视角拍摄装置，其被构造为实现360°的视角和沿着360°的方向执行拍摄操作；以及图像处理装置，其被构造为从由广视角拍摄装置沿着360°的方向拍摄的所有图像区中指定主要图像区，并且基于所指定的主要图像区生成将在电影院的相应的平面中回放的图像。

此外，在生成多投影图像的系统中，广视角拍摄装置可包括：相机模块，其被构造为执行拍摄操作；以及反射模块，其被构造为将沿着360°的方向入射的光传递至相机模块。

此外，在生成多投影图像的系统中，图像处理装置可被构造为按照所有图像展开于二维(2D)平面上的方式来显示由广视角拍摄装置沿着360°的方向采集的所有图像，或者按照将所有图像与相应的拍摄方向角匹配的方式显示所有图像。

此外，在生成多投影图像的系统中，图像处理装置可被构造为修剪主要图像区和在基于主要图像区的特定视角范围内的图像区。

在这种情况下，图像处理装置可将经修剪的图像区映射至球面空间或柱形空间，并且生成相应的平面的图像。

有益效果

本发明可生成在“多投影系统”的多个投影面(或多个显示装置)上回放并且能够增强观众所感受的3D效果和沉浸感的所谓的“多投影图像”。更具体地说，本发明可利用能够实现360°的视角的广视角拍摄装置沿着多个视点方向获得图像，并且基于获得的图像生成所谓的“多投影图像”。

此外，本发明可仅用单个拍摄装置生成多投影图像。更具体地说，本发明可生成多投影图像，而不用像在现有技术中那样耗费许多时间将多个拍摄装置沿着多个视点方向设置、控制多个拍摄装置的快门操作以使得它们同步或者处理(例如，缝合或色空间集成)由多个拍摄装置拍摄的图像数据。

此外，本发明可生成针对其中已构建多投影系统的各个电影院的结构优化的多投影图像。更具体地说，本发明可通过以下步骤生成针对各个电影院的结构优化的多投影图像：利用能够实现360°的视角的广视角拍摄装置获得源图像；将获得的源图像映射至球面空间或柱形空间；以及随后生成用于电影院的多投影图像。

本发明的技术效果不限于上述效果，并且它们可包括将对于本领域技术人员从以下描述中清楚的各种效果。

附图说明

图1是示出多投影系统的示例的示例性示图；

图2是示出根据本发明的实施方式的生成多投影图像的方法的流程图；

图3是示出根据本发明的实施方式的广视角拍摄装置的示例的示例性示图；

图4是示出通过根据本发明的实施方式的广视角拍摄装置采集的图像的示例性示图；

图5是示出其中将通过根据本发明的实施方式的广视角拍摄装置采集的图像转换为展开于2D平面上的图像的形式的示例的示例性示图；

图6是示出基于通过根据本发明的实施方式的广视角拍摄装置采集的图像所生成的源图像已映射至球面空间的示例性示图；

图7是示出基于通过根据本发明的实施方式的广视角拍摄装置采集的图像所生成的源图像已映射至柱形空间的示例性示图；以及

图8是示出可被包括在根据本发明的实施方式的用于生成多投影图像的系统中的元件的构造的图。

<标号的说明>

100：广视角拍摄装置

110：相机模块

120：反射模块

200：图像处理装置

具体实施方式

下文中，将参照附图详细描述根据本发明的实施方式的用于生成“多投影图像”的方法和系统。提供将被描述的实施方式，以使得本领域技术人员容易理解本发明的技术精神，并且本发明不限于实施方式。此外，在附图中表示的内容被绘制为容易描述本发明的实施方式，并且其内容可与实际实现的形式不同。

本文表示的元件中的每一个仅是用于实现本发明的实施方式的示例。因此，在本发明的其它实现方式中，可在不脱离本发明的精神和范围的情况下使用不同的元件。此外，各个元件可纯粹由硬件或软件元件形成，但是也可利用执行相同功能的各种硬件和软件元件的组合实现。

此外，一些元件被“包括”的表达是“开放式”表达，并且该表达仅指存在对应的元件，但是不应理解为排除其他元件。

此外，“多投影图像”的表达意指通过设置在观众的座位周围的通过多个投影面(或多个显示装置)回放并且能够增加观众所感受的沉浸感和3D效果的图像。

以下参照图2至图7描述根据本发明的实施方式的生成多投影图像的方法。

参照图2，根据本发明的实施方式的生成多投影图像的方法可包括：在步骤S11通过能够实现360°的视角的广视角拍摄装置100执行拍摄操作；在步骤S12指定由广视角拍摄装置100在360°的方向拍摄的所有图像区中的主要图像区；在步骤S13修剪主要图像区和在基于主要图像区的特定视角范围内的图像区；以及在步骤S14将修剪的图像区映射至球面空间或柱形空间并且生成相应的平面的图像。

广视角拍摄装置100响应于外部控制命令执行拍摄操作。在这种情况下，生成控制命令的主体可以是具有操作处理能力的硬件。这种硬件可按照分离的装置形式(例如，作为拍摄控制装置)独立地存在。另选地，图像处理装置200可生成控制命令。

在步骤S11，能够实现360°的视角的广视角拍摄装置100执行拍摄操作。更具体地说，在步骤S11，能够实现360°的视角的广视角拍摄装置100同时沿着360°的方向获得图像。

如图3所示，在步骤S11使用的广视角拍摄装置100可被构造为沿着水平方向实现360°的视角。更具体地说，广视角拍摄装置100可被构造为接收沿着所有水平方向(即，360°的方向)入射的光，并且将光传递至图像传感器。

这样，广视角拍摄装置100可包括被构造为执行拍摄操作的相机模块和被构造为沿着360°的方向将光传递至相机模块的反射模块。在这种情况下，相机模块包括诸如电荷耦合器件(CCD)、透镜和数字信号处理器(DSP)的图像传感器，并且利用从反射模块接收的光执行拍摄操作。此外，反射模块将沿着360°的方向入射的光传递至相机模块。反射模块可按照圆锥形式实现，并且可由能够反射光的材料制成。

拍摄地点的技术问题可包括这样的问题：如果如上所述以360°的宽视角执行拍摄，则管理和控制设备的人的形状进入视角。

为了解决该问题，广视角拍摄装置100，具体地说，相机模块可布置在特定高度或更高(例如，2m)。具体地说，可通过在比拍摄人员的高度更高的位置(例如，拍摄人员的头顶上方)执行拍摄来解决以上问题。

此外，在步骤S11，通过广视角拍摄装置100沿着360°的方向采集的所有图像可按照各种形式显示。例如，可利用各种方法显示所有图像，所述方法包括：1)其中各个图像与采集和显示图像的方向角匹配的角类型显示方法；以及2)其中沿着360°的方向采集的所有图像展开于2D平面上的2D平面类型显示方法。参照图5，利用角类型显示方法显示并且随后利用2D平面类型显示方法显示通过广视角拍摄装置100沿着360°的方向采集的所有图像。

当将在2D平面上显示通过广视角拍摄装置100采集的图像时，可必然生成图像的失真。这种图像的失真可通过图像卷绕(imagewarping)技术(即，通过将原始图像的像素的位置与2D平面(即，新投影面)上的位置匹配来校正原始图像的技术)克服。具体地说，如果使用图像卷绕技术，则可控制图像的弯曲模量。可通过将采集的图像的指定的弯曲模量作为固定值存储来解决通过广视角拍摄装置100采集的图像失真的问题。

在步骤S12，在由广视角拍摄装置100沿着360°的方向拍摄的所有图像区中指定主要图像区。更具体地说，在步骤S12，假设制作电影，则在沿着360°的方向的所有图像区中指定包括主要场景的图像区。

可利用各种方法执行主要图像区的指定。例如，可基于用户输入的数据指定主要图像区，或者可通过操作装置的图像处理自动指定主要图像区。对于另一示例，可通过在预先设置特定方向(即，广视角拍摄装置100的特定主体部分指向的方向或者绝对特定水平方向)之后指定沿着特定方向采集的图像作为主要图像区来执行主要图像区的指定。另外，可按照多种方式指定主要图像区。

图4或图5示出了其中在由广视角拍摄装置100沿着360°的方向拍摄的图像区中指定了主要图像区A的示例。

在步骤S13，基于通过广视角拍摄装置100沿着360°的方向采集的图像来生成源图像(即，属于沿着360°的方向采集的图像并且实际用于生成多投影图像的图像)。更具体地说，在步骤S13，通过修剪主要图像区和基于主要图像区在视角的特定范围内的图像区来生成源图像。

在这种情况下，可在各个范围内设置主要图像区和包括在源图像中的图像区的视角。例如，可按照各种方式设置1)主要图像区的左侧和右侧上的60°视角的范围内的图像区、2)主要图像区的左侧和右侧上的90°的视角范围内的图像区、以及3)除主要图像区以外的所有视角范围内的图像区(在这种情况下，源图像变成沿着360°的方向的图像本身)。然而，在任一种情况下，源图像可形成为包括具有270°或更大的视角范围的图像区。这样做的原因是，仅当基于具有270°或更大的视角范围的图像区生成多投影图像时，可生成能够最大化观众所感受的沉浸感和3D效果的多投影图像。

参照图4或图5，已在由广视角拍摄装置100拍摄的所有图像区中指定了主要图像区A和在基于主要图像区的特定视角范围内的图像区B和C。图像区A、B和C可被一起修剪，并被包括在源图像中。

在步骤S14，基于源图像生成多投影图像。更具体地说，在步骤S14，基于源图像生成将在其中已构建了多投影系统的电影院的相应的平面(例如，相应的投影面或其中已安装了相应的显示装置的平面)中回放的图像。

在这种情况下，源图像可一起映射至球面空间或柱形空间。在执行这种映射之后，可生成对应于电影院的相应的平面(例如，相应的投影面或者其中已安装了相应的显示装置的平面)的图像。

为了生成能够最大化观众所感受的沉浸感和3D效果的多投影图像，需要以电影院的结构为考虑生成相应的平面的图像。这样做的原因是因为在其中源图像已映射至球面空间或柱形空间的状态下，可容易指定和分配与3D上的相应的平面(例如，相应的投影面或者其中已安装了相应的显示装置的平面)的排列状态相对应的图像区。

图6示出了其中源图像一起映射至球面空间的示例。此外，图7示出了其中源图像已经一起映射至柱形空间的示例。

在根据本发明的实施方式的上述生成多投影图像的方法中，可基于通过广视角拍摄装置100沿着360°的方向采集的图像来生成将要在其中已构建多投影系统的电影院的相应的投影面(或者对应的显示装置)中回放的多投影图像。更具体地说，生成多投影图像的方法可包括：基于通过广视角拍摄装置100沿着360°的方向采集的图像来生成包括主要图像区的源图像；将源图像一起映射至特定空间；指定与相应的投影面(或相应的显示装置)的排列状态相对应的图像区；以及生成所谓的多投影图像。

下面参照图8描述根据本发明的实施方式的用于生成多投影图像的系统。

参照图8，根据本发明的实施方式的生成多投影图像的系统可包括：广视角拍摄装置100，其被构造为实现360°的视角和沿着360°的方向执行拍摄操作；以及图像处理装置200，其被构造为在由广视角拍摄装置沿着360°的方向所拍摄的所有图像区中指定主要图像区，并且基于所指定的主要图像区生成将在电影院的相应的平面中回放的图像。

广视角拍摄装置100被构造为实现360°的视角和沿着360°的方向执行拍摄操作。广视角拍摄装置100可被构造为沿着水平方向实现360°的视角。更具体地说，广视角拍摄装置100可被构造为接收沿着所有水平方向(即，360°的方向)入射的光，并且将光传递至图像传感器。

广视角拍摄装置100可包括：相机模块110，其被构造为执行拍摄操作；和反射模块120，其被构造为将沿着360°的方向入射的光传递至相机模块110。可利用相机模块110和反射模块120执行沿着360°的方向的拍摄操作。相机模块110包括诸如电荷耦合器件(CCD)、透镜和数字信号处理器(DSP)这样的图像传感器，并且利用从反射模块120接收的光执行拍摄操作。此外，反射模块120被构造为将沿着360°的方向入射的光传递至相机模块110。反射模块120可按照圆锥形实现，并且可由能够反射光的材料制成。

图像处理装置200被构造为接收通过广视角拍摄装置100采集的图像，并且通过对接收的图像执行图像处理操作来生成多投影图像。

图像处理装置200可显示通过广视角拍摄装置100沿着360°的方向采集的所有图像，以使得图像展开于2D平面上(即，通过用于角类型的显示的图像处理)，或者使得图像与拍摄方向角相匹配(即，通过用于2D平面类型的显示的图像处理)。

此外，图像处理装置200可以在由广视角拍摄装置100沿着360°的方向拍摄的所有图像区当中指定主要图像区(即，属于沿着360°的方向的所有图像区并且包括主要场景的图像区)。在这种情况下，图像处理装置200可在与从用户接收数据的输入装置相结合地操作的同时指定主要图像区，或者可通过基于预定算法执行其自己的操作来指定主要图像区。此外，图像处理装置200可指定沿着预定的特定方向(即，特定主体部分基于广视角拍摄装置100的主体指向的方向或者绝对特定的水平方向)拍摄的图像区作为主要图像区。

此外，在步骤S13，图像处理装置200可基于通过广视角拍摄装置100沿着360°的方向采集的图像生成源图像(即，属于通过广视角拍摄装置100沿着360°的方向采集的图像并且实际用于生成多投影图像的图像)。更具体地说，图像处理装置200可通过修剪主要图像区和由广视角拍摄装置100拍摄的所有图像区中的在基于主要图像区的特定视角范围内的图像区来生成源图像。

此外，图像处理装置200可基于源图像生成多投影图像。更具体地说，图像处理装置200可通过基于源图像执行图像处理过程来生成将要在其中已构建了多投影系统的电影院的相应的平面(例如，相应的投影面或者其中已安装了对应的显示装置的平面)中回放的图像。在这种情况下，图像处理装置200可将源图像一起映射至球面空间或柱形空间。在执行这种映射之后，图像处理装置200可生成对应于电影院的相应的平面(例如，相应的投影面或者其中已安装对应的显示装置的平面)的图像。

图像处理装置200可包括至少一个操作装置和至少一个存储装置。在这种情况下，操作装置可以是通用CPU，但是可以是针对特定目的实现的可编程装置(例如，CPLD或FPGA)、ASIC或微控制器芯片。此外，存储装置可以是易失性存储器装置、非易失性存储器、非易失性电磁存储装置或者操作装置中的存储器。

如上所述，根据本发明的实施方式的用于生成多投影图像的系统可包括与根据本发明的实施方式的生成多投影图像的方法的技术特征基本相同的技术特征，但是它们属于不同种类。

因此，虽然未详细描述以避免累赘，但是也可推论关于生成多投影图像的方法描述的特征，并且将其应用于根据本发明的实施方式的用于生成多投影图像的系统。此外，相反，也可推论关于用于生成多投影图像的系统描述的特征，并且将其应用于生成多投影图像的方法。

已经针对示出性目的公开了上述本发明的实施方式，但是本发明不限于所述实施方式。此外，本发明所属领域的技术人员可在本发明的精神和范围内按照各种方式修改和改变本发明，并且这种修改和改变将被认为落入本发明的范围内。

Claims (11)

1.一种生成多投影图像的方法，该方法包括以下步骤：

由能够实现360°的视角的广视角拍摄装置执行拍摄操作；以及

从由所述广视角拍摄装置沿着360°的方向拍摄的所有图像区中指定主要图像区。

2.根据权利要求1所述的方法，其中，所述广视角拍摄装置具有可控制的高度，并且在特定的高度或更高的高度执行所述拍摄操作。

3.根据权利要求1所述的方法，其中，由所述广视角拍摄装置沿着360°的方向采集的所有图像按照展开于二维2D平面上的方式被显示，或者按照与相应的拍摄方向角相匹配的方式被显示。

4.根据权利要求3所述的方法，其中，由所述广视角拍摄装置采集的所述所有图像通过图像卷绕显示在所述2D平面上。

5.根据权利要求1所述的方法，该方法还包括以下步骤：修剪所述主要图像区以及在基于所述主要图像区的特定视角范围内的图像区。

6.根据权利要求5所述的方法，该方法还包括以下步骤：将经修剪的所述图像区映射至球面空间或柱形空间，并生成相应的平面的图像。

7.一种用于生成多投影图像的系统，该系统包括：

广视角拍摄装置，该广视角拍摄装置被构造为实现360°的视角并且沿着360°的方向执行拍摄操作；以及

图像处理装置，该图像处理装置被构造为从由所述广视角拍摄装置沿着360°的方向拍摄的所有图像区中指定主要图像区，并且基于所指定的所述主要图像区来生成要在电影院的相应的平面中回放的图像。

8.根据权利要求7所述的系统，其中，所述广视角拍摄装置包括：

相机模块，该相机模块被构造为执行所述拍摄操作；以及

反射模块，该反射模块被构造为将沿着360°的方向入射的光传递至所述相机模块。

9.根据权利要求7所述的系统，其中，所述图像处理装置按照所有图像展开于二维2D平面上的方式来显示由所述广视角拍摄装置沿着360°的方向采集的所有图像，或者按照将所有图像与相应的拍摄方向角相匹配的方式显示所有图像。

10.根据权利要求7所述的系统，其中，所述图像处理装置修剪所述主要图像区以及在基于所述主要图像区的特定视角范围内的图像区。

11.根据权利要求10所述的系统，其中，所述图像处理装置将经修剪的所述图像区映射至球面空间或柱形空间，并且生成相应的平面的图像。