CN109714590A - 一种基于全景技术的环幕电影制作及播放方法 - Google Patents

Abstract

本发明公开了一种基于全景技术的环幕电影制作及播放方法，通过使用全景视频摄像机进行全景视频拍摄，通过平面化方法将全景视频转化为平面视频并进行编辑处理；构建基于多通道计算机群的硬件系统及播放同步控制软件，利用基于透视变换视锥体的视野范围的播放算法进行播放处理；本发明实现设备轻，操作简单，成本低。

Description

一种基于全景技术的环幕电影制作及播放方法

技术领域

本发明涉及环幕电影制作和播放领域，更具体地，涉及一种基于全景技术的环幕电影制作及播放方法。

背景技术

环幕电影是一种银幕呈环形360度布置，观众在圆形观众厅的中央区域观看的电影。观看这种电影时，观众被四周环绕的广阔画面所围绕，再加上与影片内容相匹配的立体声效果，能产生极强的身临其境的沉浸感。环幕电影是科技手段与艺术结合而产生的一种电影形式。环幕电影作为一种超大屏幕特种电影，能显著扩大观众视野，尤其适合风光记录、旅游记录等影片的特殊表现，具有独特的艺术魅力。

虽然环幕特种电影对于普通电影观众并不常见，但其实艺术家和工程师们很早就开始研究和实践了。早在1955年，美国人Walt Disney在洛杉矶首次成功进行了环幕电影的实践。上世纪60年代，在美国、前苏联与日本等国家，相继出现了多种不同制式的环幕电影。到1986年，中国也自主研制了环幕电影系统。目前一些大型的游乐园、展会和博物馆中建有环幕影院，例如美国、法国、日本的迪斯尼乐园，中国的三峡博物馆等。多届世博会也应用过环幕电影。

一直以来，环幕电影都是基于一种多路反光拍摄系统来进行拍摄制作。多台摄像机竖直安装在一个大轴上，镜头朝上，通过轴上部的反光镜向外取景拍摄。如图1。之所以要通过反光镜拍摄，是因为：多台摄像机的图像要想做到无缝拼合，这些摄像机的光学“节点”要保证为空间中同一点。摄像机要保持“节点”同一，摄像机必须退至轴中心之后。然而摄像机有一定体积，多台摄像机互相阻碍，无法后退，因此只得通过反光镜的帮助用“下退”的方法实现“后退”。系统中摄像机的台数不同，形成了不同制式。1955年Walt Disney用的是11台16毫米摄影机(即11条胶片)，其他制式的还有35毫米/11条(或22条)和35毫米/9条。环幕电影等播放方法是使用与摄像机数量相同等放映机，布置在环幕外部，通过机械联锁或电气联锁来进行同步放映。放映结构示意图如图2。

几十年来，环幕电影拍摄制作在原理上并无变化，但是在技术细节和数字化方面有所发展。如2017年李艳霞等人新研制了18毫米/6条制式的DHMS-2系统。使摄影机台数减少至6台，并且使用了数字摄像机，从而拍摄设备等重量大幅减轻，后期影片处理的复杂度也得以减小。

总的看来，多路反光拍摄的方法对于环幕电影的拍摄和播放是有效的。但它有以下明显的缺点：(1)拍摄设备笨重。多路反光拍摄系统是一个庞然大物，它由6-11台摄像机安装在一个大轴平台上，直径为1-2米，高度为2-2.5米，重量为50-100kg之间。搬运要使用专用的气压升降车，高空拍摄要出动直升飞机。(2)放映设备复杂。放映机的同步使用机械同步或电气同步的方法，例如自整角机同步和变频电源同步的方法。这些都需要复杂的机械和电气设备。这些特点直接导致了环幕电影的拍摄成本高昂。其拍摄制作的至少需要几百万元。而环幕电影只是一些10-20分钟的短片。显然，这样的拍摄成本太高了。这也是当今环幕电影片源少，环幕电影推广困难一个重要原因。

发明内容

本发明为克服上述现有技术中传统多路反光拍摄系统制作环幕电影，拍摄设备笨重吗，放映设备复杂，且成本较高的缺点，提供一种基于全景技术的环幕电影制作及播放方法。

本发明旨在至少在一定程度上解决上述技术问题。

本发明的技术方案如下：

一种基于全景技术的环幕电影制作及播放方法，包括以下步骤：

S1：使用全景视频摄像机拍摄全景视频；

S2：全景视频平面化编辑,具体过程如下：将环幕电影分为n个平面屏幕，n个平面屏幕围成一个正n棱柱；正n棱柱里面设置有一个虚拟的球面区域，代表着全景视频图像；对于正棱柱第i个侧面上的一点(x_b,y_b)，对应球面上的像素按下式查找计算：

上式中R_b为棱柱侧面内切球的半径，计算的θ,后，根据该经纬度坐标查找全景视频中的像素颜色；

棱柱的顶部和底部的点，则可根据三角关系，对于给定(x_t,y_t)的点，对应球坐标：

式中H为正棱柱高度；

全景视频转换为棱柱平面化视频后，使用视频编辑软件对平面化后的区域进行编辑，编辑完成之后，把正n棱柱视频反变换回全景视频；根据式(1)反算(x_b,y_b)和(x_t,y_t)，然后根据所求点在经纬图像上填色，便转换回全景视频；

S3：构造全景环幕电影播放硬件系统，环幕电影屏幕数为n，将n+1台计算机通过局域网连接起来，其中，选定一台计算机作为管理机，用于统一控制电影视频的加载和卸载；其余n台计算机作为播放机，用于场景渲染外，其中所述n台播放机包括一台播放主控机，所述播放主控机用于保持n台播放机控制屏幕画面同步；每台播放机图像输出到融合器，融合器为n台，融合器经过图像校正和拼合，再输出到投影机中，投影机为n台，投影机布置成环形，使用正投或背投技术；每一台播放机与一台融合器、一台投影机组成一个放映单元；n台播放机均与场景管理机网络连接；

S4：开发全景环幕电影播放软件系统，所述软件包括以下模块：管理模块、播放器模块、通讯模块；

所述管理模块用于视频的启动播放、切换和关闭；管理模块分管理端和从动端；管理端装在管理机，含有操作界面，通过界面操作控制系统启动播放影片，从动端装在每一台播放机上，随系统启动；

所述播放器模块为多通道播放全景视频播放器，播放器模块分为主控端和从动端；主控端安装在播放主控机上，其他播放机装从动端；主控端根据自身播放进度发送帧同步消息，从动端根据帧接收到的同步消息协调播放进度，每一台播放机都包含一份完整并相同的全景视频文件，管理模块和播放器模块都通过通讯模块进行通讯；

所述播放机之间利用局域网UDP通讯方式实现视频的播放、停止、暂停、快进、快退的操作同步；

S5：设计播放算法，具体如下：在透视变换视锥体的视野范围，设竖直方向的视野张开角为Fov，视锥体的近截面离原点距离为N，远截面距离为F；视频播放器的宽度为W，高度为H；若视线方向从原点指向全景图像中的Q点(经纬度为α，β)，则全景视频中任意点P(θ,φ)与全景播放器中像素的关系为：

[x’y’z’w’]^T与播放器的像素坐标(x_v,y_v)又存在以下关系：

式(4)把透视投影观察体中的坐标x’、y’映射成视频像素坐标(x_v,y_v)；

利用(3)(4)两式，将各播放机的全景视频播放器对准不同的经纬度方向，即能够实时渲染出不同方向的视频内容；其中纬度根据屏幕相对于观众的高度或者视频中想展示的内容的高度，能够设置不同的值；当播放器对准的纬度等于0时，将播放环幕电影的视频中部；如下式：

上式中n为通道数，i表示为第i台播放机；

每个屏幕两边均留出宽度为15-20％的区域作为融合区域，用于融合器做图像融合；图像融合使得不同放映机的图像在边界处过渡自然；对于n通道的播放系统，每个通道播放器的水平视野角Foh为：

上式中c为重合区比例，取值为15-20％。

进一步地，步骤S1所述全景视频为360度全景视频。

进一步地，所述全景环幕电影播放硬件系统通道数无限制。

与现有技术相比，本发明技术方案的有益效果是：

本发明通过使用全景视频摄像机进行全景视频拍摄，通过平面化方法转化为平面视频进行编辑处理；构建基于多通道计算机群的硬件系统及播放同步控制软件，利用基于透视变换视锥体的视野范围的播放算法进行播放处理，本发明实现设备轻便，操作简单，成本大幅降低。

附图说明

图1多路反光拍摄系统结构示意图。

图2多路反光环幕影片放映系统结构示意图。

图3全景图像与正棱柱投影关系侧面图。

图4全景图像与正棱柱投影关系顶面图。

图5全景图像经正八棱柱平面化后的展开图像。

图6计算机群等多通道全景环幕电影播放系统硬件组成示意图。

图7计算机群等多通道全景环幕电影播放系统软件构架示意图。

图8全景图像与全景视频播放器的像素转换示意图。

图9视锥体及参数示意图。

图10一个全景环幕电影案例图。

具体实施方式

下面结合附图和实施例对本发明的技术方案做进一步的说明。

实施例参见图1，一种基于全景技术的环幕电影制作及播放方法，具体过程包括以下步骤：

S1：使用全景视频摄像机拍摄全景视频；

S2：全景视频平面化编辑,具体过程如下：将环幕电影分为n个平面屏幕，n个平面屏幕围成一个正n棱柱；正n棱柱里面设置有一个虚拟的球面区域，代表着全景视频图像；平面转化的方法如图3所示，对于正棱柱第i个侧面上的一点(x_b,y_b)，对应球面上的像素按下式查找计算：

上式中R_b为棱柱侧面内切球的半径，计算的θ,后，根据该经纬度坐标查找全景视频中的像素颜色；

棱柱的顶部和底部的点，则可根据三角关系，如图4，对于给定(x_t,y_t)的点，对应球坐标：

式中H为正棱柱高度；

以上为由球形全景映射成正n棱柱的方法。例如对一个8屏组合的环幕电影，全景视频映射成8棱柱视频后如图5所示。如果每一屏的宽高比为3:4，则图9中的亮色区域为环幕电影每一屏将要播放的图像，可以用视频编辑软件对这些区域进行编辑。

全景视频转换为棱柱平面化视频后，使用视频编辑软件对平面化后的区域进行编辑，编辑完成之后，把正n棱柱视频反变换回全景视频；根据式(1)反算(x_b,y_b)和(x_t,y_t)，然后根据所求点在经纬图像上填色，便转换回全景视频；

S3：构造全景环幕电影播放硬件系统，如图6所示，环幕电影屏幕数为n，将n+1台计算机通过局域网连接起来，其中，选定一台计算机作为管理机，用于统一控制电影视频的加载和卸载；其余n台计算机作为播放机，用于场景渲染外，其中所述n台播放机包括一台播放主控机，所述播放主控机用于保持n台播放机控制屏幕画面同步；每台播放机图像输出到融合器，融合器为n台，融合器经过图像校正和拼合，再输出到投影机中，投影机为n台，投影机布置成环形，使用正投或背投技术；每一台播放机与一台融合器、一台投影机组成一个放映单元；n台播放机均与场景管理机网络连接；

S4：开发全景环幕电影播放软件系统，如图7所示为软件框架，所述软件包括以下模块：管理模块、播放器模块、通讯模块；

所述管理模块用于视频的启动播放、切换和关闭；管理模块分管理端和从动端；管理端装在管理机，含有操作界面，通过界面操作控制系统启动播放影片，从动端装在每一台播放机上，随系统启动；

所述播放器模块为多通道播放全景视频播放器，播放器模块分为主控端和从动端；主控端安装在播放主控机上，其他播放机装从动端；主控端根据自身播放进度发送帧同步消息，从动端根据帧接收到的同步消息协调播放进度，每一台播放机都包含一份完整并相同的全景视频文件，管理模块和播放器模块都通过通讯模块进行通讯；

所述播放机之间利用局域网UDP通讯方式实现视频的播放、停止、暂停、快进、快退的操作同步；

S5：设计播放算法，具体如下：如图8所示，在透视变换视锥体的视野范围，设竖直方向的视野张开角为Fov，视锥体的近截面离原点距离为N，远截面距离为F(视锥体参数见图9)；视频播放器的宽度为W，高度为H；若视线方向从原点指向全景图像中的Q点(经纬度为α，β)，则全景视频中任意点P(θ,φ)与全景播放器中像素的关系为：

[x’y’z’w’]^T与播放器的像素坐标(x_v,y_v)又存在以下关系：

式(4)把透视投影观察体中的坐标x’、y’映射成视频像素坐标(x_v,y_v)；

利用(3)(4)两式，将各播放机的全景视频播放器对准不同的经纬度方向，即能够实时渲染出不同方向的视频内容；其中纬度根据屏幕相对于观众的高度或者视频中想展示的内容的高度，能够设置不同的值；当播放器对准的纬度等于0时，将播放环幕电影的视频中部；如下式：

上式中n为通道数，i表示为第i台播放机；

每个屏幕两边均留出宽度为15-20％的区域作为融合区域，用于融合器做图像融合；图像融合使得不同放映机的图像在边界处过渡自然；对于n通道的播放系统，每个通道播放器的水平视野角Foh为：

上式中c为重合区比例，取值为15-20％。

步骤S1所述全景视频为360度全景视频。

所述全景环幕电影播放硬件系统通道数无限制。

上述步骤，制作和播放环幕电影，图10为本发明制作并播放的一个案例。

相同或相似的标号对应相同或相似的部件；

附图中描述位置关系的用语仅用于示例性说明，不能理解为对本专利的限制；

显然，本发明的上述实施例仅仅是为清楚地说明本发明所作的举例，而并非是对本发明的实施方式的限定。对于所属领域的普通技术人员来说，在上述说明的基础上还可以做出其它不同形式的变化或变动。这里无需也无法对所有的实施方式予以穷举。凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明权利要求的保护范围之内。

Claims (3)

1.一种基于全景技术的环幕电影制作及播放方法，其特征在于，包括以下步骤：

S1：使用全景视频摄像机拍摄全景视频；

S2：全景视频平面化编辑,具体过程如下：将环幕电影分为n个平面屏幕，n个平面屏幕围成一个正n棱柱；正n棱柱里面设置有一个虚拟的球面区域，代表着全景视频图像；对于正棱柱第i个侧面上的一点(x_b,y_b)，对应球面上的像素按下式查找计算：

上式中R_b为棱柱侧面内切球的半径，计算的θ,后，根据该经纬度坐标查找全景视频中的像素颜色；

棱柱的顶部和底部的点，则可根据三角关系，对于给定(x_t,y_t)的点，对应球坐标：

式中H为正棱柱高度；

全景视频转换为棱柱平面化视频后，使用视频编辑软件对平面化后的区域进行编辑，编辑完成之后，把正n棱柱视频反变换回全景视频；根据式(1)反算(x_b,y_b)和(x_t,y_t)，然后根据所求点在经纬图像上填色，便转换回全景视频；

S3：构造全景环幕电影播放硬件系统，环幕电影屏幕数为n，将n+1台计算机通过局域网连接起来，其中，选定一台计算机作为管理机，用于统一控制电影视频的加载和卸载；其余n台计算机作为播放机，用于场景渲染外，其中所述n台播放机包括一台播放主控机，所述播放主控机用于保持n台播放机控制屏幕画面同步；每台播放机图像输出到融合器，融合器为n台，融合器经过图像校正和拼合，再输出到投影机中，投影机为n台，投影机布置成环形，使用正投或背投技术；每一台播放机与一台融合器、一台投影机组成一个放映单元；n台播放机均与场景管理机网络连接；

S4：开发全景环幕电影播放软件系统，所述软件包括以下模块：管理模块、播放器模块、通讯模块；

所述管理模块用于视频的启动播放、切换和关闭；管理模块分管理端和从动端；管理端装在管理机，含有操作界面，通过界面操作控制系统启动播放影片，从动端装在每一台播放机上，随系统启动；

所述播放器模块为多通道播放全景视频播放器，播放器模块分为主控端和从动端；主控端安装在播放主控机上，其他播放机装从动端；主控端根据自身播放进度发送帧同步消息，从动端根据帧接收到的同步消息协调播放进度，每一台播放机都包含一份完整并相同的全景视频文件，管理模块和播放器模块都通过通讯模块进行通讯；

所述播放机之间利用局域网UDP通讯方式实现视频的播放、停止、暂停、快进、快退的操作同步；

S5：设计播放算法，具体如下：在透视变换视锥体的视野范围，设竖直方向的视野张开角为Fov，视锥体的近截面离原点距离为N，远截面距离为F；视频播放器的宽度为W，高度为H；若视线方向从原点指向全景图像中的Q点(经纬度为α，β)，则全景视频中任意点P(θ,φ)与全景播放器中像素的关系为：

[x’y’z’w’]^T与播放器的像素坐标(x_v,y_v)又存在以下关系：

式(4)把透视投影观察体中的坐标x’、y’映射成视频像素坐标(x_v,y_v)；

利用(3)(4)两式，将各播放机的全景视频播放器对准不同的经纬度方向，即能够实时渲染出不同方向的视频内容；其中纬度根据屏幕相对于观众的高度或者视频中想展示的内容的高度，能够设置不同的值；当播放器对准的纬度等于0时，将播放环幕电影的视频中部；如下式：

上式中n为通道数，i表示为第i台播放机；

每个屏幕两边均留出宽度为15-20％的区域作为融合区域，用于融合器做图像融合；图像融合使得不同放映机的图像在边界处过渡自然；对于n通道的播放系统，每个通道播放器的水平视野角Foh为：

上式中c为重合区比例，取值为15-20％。

2.根据权利要求1所述的一种基于全景技术的环幕电影制作及播放方法，其特征在于，步骤S1所述全景视频为360度全景视频。

3.根据权利要求1所述的一种基于全景技术的环幕电影制作及播放方法，其特征在于，所述全景环幕电影播放硬件系统通道数无限制。