CN111047711B - 一种沉浸式可交互Box影像制作方法 - Google Patents

Abstract

本发明提出了一种沉浸式可交互Box影像制作方法，基于计算机编码技术、虚拟现实技术、立体空间影像处理技术的综合应用，来实现的整体综合技术方案。是使用制作或拍摄所得全景视频或图像，经由三维建模、映射、灯光模拟、渲染、分类整合及编程控制得来。本发明可以使用户拥有真实的沉浸体验，不用局限在固定的最佳观测点，可以在设备内任意位置观看到最佳画面，同时利用程序控制，来实现交互工功能，给用户带来更好的体验，大大的提高了这项技术的可能性和延展性，使其在未来更有可发展性。

Description

一种沉浸式可交互Box影像制作方法

技术领域

本发明涉及一种沉浸式可交互Box影像制作方法，属于计算机编码技术、虚拟现实技术、立体空间影像处理技术领域。

背景技术

浸式cave影像制作方法是利用视频信息处理技术，将单一片源或者图像利用设备融合，投影在多个显示设备上的一种视觉沉浸假象。浸式cave影像制作方法是由2个面以上硬质背投影墙组成的非真实沉浸虚拟演示环境，用户可以在最佳观测点观看到立体透视画面。制作原理为将一张图片或者一个片源变形裁剪处理投放至屏幕。其可分为两种：

(1)拍摄或制作广角全画幅图像、影像，将画面中部截取为长方形，作为一个片源，用一台电脑连接多个融合投影设备或三面发光二极管屏幕，播放影像。如图2所示，广角全画幅影像拍摄影像为长宽为9000像素x9000像素，三面成像的传统洞穴状显示系统就将截取中间9000像素x3000像素范围的影像，在将此3:1的画面融合投射至横向三面，形成半包围的立体空间，从而达到立体视觉沉浸假象。

(2)拍摄或制作广角全画幅图像、影像，如图3所示，将所得图像划分为九宫格，把九宫格内部井字结构四个十字交叉形成的点，与其相近的四个图像外角点两两相连，所得连线为分割线，再将所得的四个梯形结构短边不变，长边缩短，使四个梯形区域变为四个方形区域，最终使画面整体形成十字结构，作为一个片源，用一台电脑连接过个融合设备或5面发光二极管屏幕，播放影像，也可去掉顶面或者底面中的一个形成四面结构利于投影。广角全画幅影像拍摄影像为长宽为9000像素x9000像素，五面成像的传统洞穴状显示系统就下图中间的四个红色圆点与外角蓝色圆点相连，连线所得四个梯形变形为四个方形(剪开蓝线将蓝色圆点分为两个，分别沿黑线向内移动至红线与黑线的连接处)，与中心方形相连形成十字结构。五个面相对于五个投影硬质背投影墙，由融合设备投影组成立体方盒成像，实现立体成像效果。

浸式cave影像制作方法因无法突破非单一片源成像，存在只能三面显示(前面、左面、侧面)或者拉伸情况下的顶面、底面显示，需要最佳观影点且最佳观影点在设备外，无法真正的实现沉浸式体验，并因最佳观测点范围及小，致使观影者观看时画面会出现拉伸、扯断、失真等现象，影像视听体验。同时因未能程序化，致使传统洞穴状显示系统只能观看，却无实现交互，使用户缺失自控体验感，大大降低用户体验。浸式cave影像制作方法也因为需要融合技术才可实现播放，本身就限制了其发展，增加了大量的成本。

发明内容

本发明为解决上述现有技术的不足，提出了一种沉浸式可交互Box影像制作方法，具体技术方案如下：

一种沉浸式可交互Box影像制作方法，包括如下步骤：

步骤一：制作或拍摄多组球形全景影像；

步骤二：将步骤一中所得的其中一个全景影像导入多媒体视频编辑软件，转换为序列帧导出；

步骤三：规则命名步骤二中所得全景影像的序列帧；

步骤四：将全景影像的序列帧导入三维软件，以图像序列形式贴图保存为材质球；

步骤五：在三维软件中建立一立方体模型；

步骤六：将立方体模型细分至项目需求状态；

步骤七：给予步骤六细分立方体模型球形映射的三维纹理坐标；

步骤八：在三维软件中建立六个摄像机，每个相机分别轴线垂直于立方体模型的六个面，且与立方体模型的六个面的中心点共轴；

步骤九：在三维软件中建立六组模拟平行光，每组平行光分别与步骤八中六个摄像机的轴向重合；

步骤十：设置六个摄像机属性；

步骤十一：批渲染六个摄像机镜头，得到六组序列帧；

步骤十二：将六组序列帧以组为单位导入多媒体视频编辑软件，水平、垂直翻转后剪掉多余部位合成六个影像，导出影像；

步骤十三：规则命名步骤十二中的六个影像；

步骤十四：重复步骤二至步骤十三，处理剩余全景影像；

步骤十五：实现主、附计算机同步播放步骤十三和步骤十四生成的所有全景影像分别对应的六个影像；

步骤十六：实现主计算机交互选择播放功能、附计算机同步主计算机选择功能。

优选的，所述步骤三中所得全景影像的序列帧的命名编号为两镜头字母组合，即前镜头位置编号+后镜头位置编号；单帧的图像则以摄像机预设机位的编号命名。

优选的，所述步骤六中项目需求状态的具体要求为将立方体模型高度、宽度、深度细分至项目可用数量，纹理坐标足够维持在投射时保持正方形。

优选的，所述步骤七中立方体模型球形映射是根据立方体模型的高度与宽度、深度比调整投射的水平、垂直扫描数值，同时修正映射时超出纹理坐标制作区域的坐标点，使其全部归于制作区域内，保持纹理坐标整体比例，将四边顶点吸附至制作区域的外框边线，使其可以左右上下无缝对接。

优选的，所述步骤十中设置六个摄像机属性的方法为将摄像机调整为正交视图，镜头框超出所对应的立方体模型的大小，像素设置高于拍摄所得图像像素四分之一，时间设定与拍摄制作所得图像时长相等，选择产品级渲染质量；设置摄像机帧速率，根据拍摄所得图像的帧速率调整六个摄像机的的帧速率，使其前后二者帧速率一致。

优选的，所述步骤十三中的的命名规则为所述步骤三中全景影像的序列帧的命名编号加“_x”，x为方位英文单词首字母。

优选的，所述步骤十五中所述主计算机为一台带有独立显卡的计算机，所述附计算机为五台带有独立显卡的计算机，由主计算机控制附计算机，主计算机使用父程序控制，附计算机使用子程序，主计算机父程序以判断为主，附计算机子程序同步于主计算机父程序，但不做判断，只上传数据供主计算机父程序判断并下达给子程序命令，其原理为附计算机所控制视频的播放帧数编号是否与主计算机播放帧数编号相同且同步，并予以校正。

优选的，所述步骤十六的工作原理为执行四种基本命令，分别为正播放、倒播放、选择、暂停，从起始点开始播放，播放视频集AB，在未播放视频前，主计算机画面显示交互图标是否前往B点，选择前往B点，则开始播放视频AB，当正播放AB结束时定格在最后一帧，主计算机画面显示交互图标前往C点、D点或返回A点，选择前往C点将播放BC，选择前往D点将播放BD，以此类推；如选择前往C点后想返回B点，则倒播放BC，倒播放结束时切回正播放AB结束时的判断，继续返回A点则倒放AB返回初始点，主计算机画面显示交互图标是否前往B点；正播放与倒播放中间，可以选择暂停播放，再次选择播放时，将继续上一个动作，即上一个动作为正播放时，暂停后的播放将暂在暂停处继续正播放，倒播放原理与正播放相同。

优选的，所述步骤一中多组球形全景影像是按照预设线性路线，预定摄像机位置与主镜头方向来制作或拍摄的多段视频。

优选的，所述多媒体视频编辑软件为Adobe After Effects，所述三维软件为Autodesk Maya。

本发明涉及计算机编码技术、虚拟现实技术、立体空间影像处理技术。可以使用户拥有真实的沉浸体验，不用局限在固定的最佳观测点，可以在设备内任意位置观看到最佳画面，同时利用程序控制，来实现交互工功能，给用户带来更好的体验，大大的提高了这项技术的可能性和延展性，使其在未来更有可发展性。

附图说明

图1是本发明一种沉浸式可交互Box影像制作方法的工作流程图。

图2是浸式cave影像制作方法的图片处理示意图一。

图3是浸式cave影像制作方法的图片处理示意图二。

图4是本发明步骤二所得全景影像序列帧命名编号的方式示意图一。

图5是本发明步骤二所得全景影像序列帧命名编号的方式示意图二。

图6是本发明立方体模型映射生成三维纹理坐标示意图。

图7是本发明摄像机渲染示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本发明基于计算机编码技术、虚拟现实技术、立体空间影像处理技术的综合应用，来实现的整体综合技术方案。是使用制作或拍摄所得全景视频或图像，经由三维建模、映射、灯光模拟、渲染、分类整合及编程控制得来。

如图1所示，一种沉浸式可交互Box影像制作方法，包括如下步骤：

步骤一：制作或拍摄多组球形全景影像；制作视频需要按照预设线性路线，预定摄像机位置与主镜头(前镜头)方向，拍摄或制作多段视频。

步骤二：将步骤一中所得的其中一个全景影像导入多媒体视频编辑软件，转换为序列帧导出；所述多媒体视频编辑软件为Adobe After Effects。

步骤三：规则命名步骤二中所得全景影像的序列帧；全景影像的序列帧的命名编号为两镜头字母组合，即前镜头位置编号+后镜头位置编号，如图4所示，A机位到B机位是视频编辑名称为AB，B机位到C机位与B机位到D机位的全景影像序列帧集名称为BC与BD，以此类推，之后根据后期所对应项目所用计算机硬件状况来设定拍摄帧速率(25～60帧/秒)，设定完毕制作视频。单帧的图像则以摄像机预设机位的编号命名，如图5所示，A机位所得到的的单帧全景球图名称为A，B、C、D机位所得到的单帧全景球图名称为B、C、D。全部制作完成后放置在同一文件夹下。

步骤四：将全景影像的序列帧导入三维软件，以图像序列形式贴图保存为材质球；所述三维软件为Autodesk Maya；将所得到的全景影像序列帧集或定点全景球图，导入三维软件内作为以图像序列形式贴图存储在命名材质球中。

步骤五：在三维软件中建立一立方体模型，此模型在世界中心点，不限制长宽高比例，不限制各个角为90度直角。

步骤六：将立方体模型细分至项目需求状态，所述项目需求状态的具体要求为将立方体模型高度、宽度、深度细分至项目可用数量，纹理坐标足够维持在投射时保持正方形，三维模型纹理坐标制作范围是一正方形区域。

步骤七：给予步骤六细分立方体模型球形映射的三维纹理坐标，如图6所示，所述立方体模型球形映射是根据立方体模型的高度与宽度、深度比调整投射的水平、垂直扫描数值，同时修正映射时超出纹理坐标制作区域的坐标点，使其全部归于制作区域内，保持纹理坐标整体比例，将四边顶点吸附至制作区域的外框边线，使其可以左右上下无缝对接。

步骤八：在三维软件中建立六个摄像机，如图7所示，每个相机分别轴线垂直于立方体模型的六个面，且与立方体模型的六个面的中心点共轴；

步骤九：在三维软件中建立六组模拟平行光，每组平行光分别与步骤八中六个摄像机的轴向重合，一对一垂直照射所对应面。

步骤十：设置六个摄像机属性；设置六个摄像机属性的方法为将摄像机调整为正交视图(无透视的平行画面)，镜头框超出所对应的立方体模型的大小，像素设置高于拍摄所得图像像素四分之一，时间设定与拍摄制作所得图像时长相等，选择产品级渲染质量；设置摄像机帧速率，根据拍摄所得图像的帧速率调整六个摄像机的的帧速率，使其前后二者帧速率一致。

步骤十一：批渲染六个摄像机镜头，得到六组序列帧。

步骤十二：将六组序列帧以组为单位导入多媒体视频编辑软件，水平、垂直翻转后剪掉多余部位合成六个影像，导出影像。

步骤十三：规则命名步骤十二中的六个影像，命名规则为所述步骤三中全景影像的序列帧的命名编号加“_x”，x为方位英文单词首字母，如：左为L，右为R。

步骤十四：重复步骤二至步骤十三，处理剩余全景影像；

步骤十五：通过编写C++语言程序，实现主、附计算机同步播放步骤十三和步骤十四生成的所有全景影像分别对应的六个影像；所述主计算机为一台带有独立显卡的计算机，所述附计算机为五台带有独立显卡的计算机，由主计算机控制附计算机，主计算机使用父程序控制，附计算机使用子程序，主计算机父程序以判断为主，附计算机子程序同步于主计算机父程序，但不做判断，只上传数据供主计算机父程序判断并下达给子程序命令，其原理为附计算机所控制视频的播放帧数编号是否与主计算机播放帧数编号相同且同步，并予以校正，如：主计算机播放至1分30秒15帧，L方位(左)附计算机此时却只播放至1分30秒14帧，那主计算机将对L附计算机下达命令跳过1分30秒15帧，下一帧播放时直接与主计算机同步播放1分30秒16帧，以此保持在肉眼无法识别错误的状态下校正。

步骤十六：通过编写C++语言程序，实现主计算机交互选择播放功能、附计算机同步主计算机选择功能。主计算机父程序判断，附技术机子程序同步主机，工作原理为执行四种基本命令，分别为正播放、倒播放、选择、暂停，从起始点开始播放，播放视频集AB，在未播放视频前，主计算机画面显示交互图标是否前往B点，选择前往B点，则开始播放视频AB，当正播放AB结束时定格在最后一帧，主计算机画面显示交互图标前往C点、D点或返回A点，选择前往C点将播放BC，选择前往D点将播放BD，以此类推；如选择前往C点后想返回B点，则倒播放BC，倒播放结束时切回正播放AB结束时的判断，继续返回A点则倒放AB返回初始点，主计算机画面显示交互图标是否前往B点；正播放与倒播放中间，可以选择暂停播放，再次选择播放时，将继续上一个动作，即上一个动作为正播放时，暂停后的播放将暂在暂停处继续正播放，倒播放原理与正播放相同。

上述为本发明的所有基础技术原理，将其套用在各种视觉信息处理技术应用上，即可显示本发明可达到的效果。用户可在立方体式显示介质内部的任意位置体验沉浸式效果带来的真实感受。

现有的浸式cave影像制作方法尽管可以使画面产生立体感，但未能做到真正的沉浸式体验，只能在设备外侧观看，同时画面会存在拉伸、扯断、失真等现象。也因为无法互动而致使其仅限于观看，无法实现功能化。

(1)从表现形式来看，浸式cave影像制作方法，片源是由非立体图像制作的假立体图像。存在拉伸、扯断、失真等不可避免现象，视觉效果差，虽然有一定的立体图像呈现力，但终究是有平面图像制作而来，并非真正意义上的立体沉浸式图像。

(2)从观看角度来看，浸式cave影像制作方法，有最佳观影点的限制，而且最佳观影点在设备外，观影者并非能自由的、真正的身临其境的观看，只是利用视觉欺骗，达到假立体成像的效果，同时最多仅能显示五个显示面，无法立体包裹显示(六面及六面以上)。

(3)从可互动性来看，浸式cave影像制作方法，因为其自身的局限性质和未能实现程序化，导致用户与设备发生无法获得互动，致使其仅能实现图像播放与影像单一正向播放。

(4)从硬件设备来看，浸式cave影像制作方法，因为是单一图像变形显示原理，需要利用融合技术支持来实现，增加了大量的成本，也正因造价高而不能在社会中有很好的普及。

上述存在的问题，使得浸式cave影像制作方法，拥有了许多局限性，未能给用户来带真正的沉浸式体验，同时限制了其未来的发展态势。基于上述问题，本发明具有以下关键点：

(1)突破二维制作限制，以三维制作方式为主的：

沉浸式可交互Box影像制作方法摆脱了浸式cave影像制作方法的二维制作的方式，改用了三维制作方式，真正意义上实现了立体空间显示，做到了绝对沉浸的体验感。

(2)三维技术、二维技术与C++语言结合制作：

影像制作过程利用了的多种功能系统，类别包括三维模型系统、三维材质系统、三维纹理坐标系统、三维灯光模拟系统、三维渲染系统和二维图形视频技术，同时使用C++语言编程，是多步骤集合、多系统协同的制作方式，为能真正的做到立体空间显示奠定了技术基础。

(3)沉浸式Box影像具有了可交互性：

解决了长期以来传统洞穴状显示系统无法实现的交互功能，使得今后未来非穿戴可沉浸式显示系统，拥有了可交互功能，使其能在更多行业应用，打开了传统洞穴状显示系统仅能用于娱乐与宣传展示的瓶颈，开拓可更广阔的市场。

沉浸式可交互Box影像制作方法与浸式cave影像制作方法相比。前者为三维制作的真正的立体沉浸式影像，后者为平面影像处理变形的来，有着本质性的差别。前者为立体影像制作，后者为平面视觉欺骗。

本发明没有最佳视觉点的限制，没有投影设备面数的限制，用户可以置身其中全方位无死角的观看影像，亦可在组成的显示系统内任意方位和位置感受到同样的效果。因为有没视觉点限制，支持多人同时观看。打破了浸式cave影像制作方法无法交互的技术壁垒，使沉浸式显示系统与交互完全对接，使此领域在质上巨大飞跃，使此领域未来增加了无限可能，甚至帮助其他产业突破技术瓶颈，使人类的科技文明更进一步。从经济利益上看，由于本发明不需要融合技术手段，甚至可以用多块小型屏幕或者最低级别投影亦可搭建非穿戴沉浸式可交互显示系统，直接降低了硬件成本，使此领域将有更多的用户，更多的合作，更多的商机。

尽管参照前述实施例对本发明进行了详细的说明，对于本领域的技术人员来说，其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换,凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (9)

1.一种沉浸式可交互Box影像制作方法，其特征在于：包括如下步骤：

步骤一：制作或拍摄多组球形全景影像；

步骤二：将步骤一中所得的其中一个全景影像导入多媒体视频编辑软件，转换为序列帧导出；

步骤三：规则命名步骤二中所得全景影像的序列帧；

步骤四：将全景影像的序列帧导入三维软件，以图像序列形式贴图保存为材质球；

步骤五：在三维软件中建立一立方体模型；

步骤六：将立方体模型细分至项目需求状态；

步骤七：给予步骤六细分立方体模型球形映射的三维纹理坐标；

步骤八：在三维软件中建立六个摄像机，每个相机分别轴线垂直于立方体模型的六个面，且与立方体模型的六个面的中心点共轴；

步骤九：在三维软件中建立六组模拟平行光，每组平行光分别与步骤八中六个摄像机的轴向重合；

步骤十：设置六个摄像机属性；

步骤十一：批渲染六个摄像机镜头，得到六组序列帧；

步骤十二：将六组序列帧以组为单位导入多媒体视频编辑软件，水平、垂直翻转后剪掉多余部位合成六个影像，导出影像；

步骤十三：规则命名步骤十二中的六个影像；

步骤十四：重复步骤二至步骤十三，处理剩余全景影像；

步骤十五：实现主、附计算机同步播放步骤十三和步骤十四生成的所有全景影像分别对应的六个影像；

步骤十六：实现主计算机交互选择播放功能、附计算机同步主计算机选择功能；

所述步骤十五中所述主计算机为一台带有独立显卡的计算机，所述附计算机为五台带有独立显卡的计算机，由主计算机控制附计算机，主计算机使用父程序控制，附计算机使用子程序，主计算机父程序以判断为主，附计算机子程序同步于主计算机父程序，但不做判断，只上传数据供主计算机父程序判断并下达给子程序命令，其原理为附计算机所控制视频的播放帧数编号是否与主计算机播放帧数编号相同且同步，并予以校正。

2.根据权利要求1所述的一种沉浸式可交互Box影像制作方法，其特征在于：所述步骤三中所得全景影像的序列帧的命名编号为两镜头字母组合，即前镜头位置编号+后镜头位置编号；单帧的图像则以摄像机预设机位的编号命名。

3.根据权利要求1所述的一种沉浸式可交互Box影像制作方法，其特征在于：所述步骤六中项目需求状态的具体要求为将立方体模型高度、宽度、深度细分至项目可用数量，纹理坐标足够维持在投射时保持正方形。

4.根据权利要求1所述的一种沉浸式可交互Box影像制作方法，其特征在于：所述步骤七中立方体模型球形映射是根据立方体模型的高度与宽度、深度比调整投射的水平、垂直扫描数值，同时修正映射时超出纹理坐标制作区域的坐标点，使其全部归于制作区域内，保持纹理坐标整体比例，将四边顶点吸附至制作区域的外框边线，使其可以左右上下无缝对接。

5.根据权利要求1所述的一种沉浸式可交互Box影像制作方法，其特征在于：所述步骤十中设置六个摄像机属性的方法为将摄像机调整为正交视图，镜头框超出所对应的立方体模型的大小，像素设置高于拍摄所得图像像素四分之一，时间设定与拍摄制作所得图像时长相等，选择产品级渲染质量；设置摄像机帧速率，根据拍摄所得图像的帧速率调整六个摄像机的的帧速率，使其前后二者帧速率一致。

6.根据权利要求1所述的一种沉浸式可交互Box影像制作方法，其特征在于：所述步骤十三中的的命名规则为所述步骤三中全景影像的序列帧的命名编号加“_x”，x为方位英文单词首字母。

7.根据权利要求1所述的一种沉浸式可交互Box影像制作方法，其特征在于：所述步骤十六的工作原理为执行四种基本命令，分别为正播放、倒播放、选择、暂停，从起始点开始播放，播放视频集AB，在未播放视频前，主计算机画面显示交互图标是否前往B点，选择前往B点，则开始播放视频AB，当正播放AB结束时定格在最后一帧，主计算机画面显示交互图标前往C点、D点或返回A点，选择前往C点将播放BC，选择前往D点将播放BD，以此类推；如选择前往C点后想返回B点，则倒播放BC，倒播放结束时切回正播放AB结束时的判断，继续返回A点则倒放AB返回初始点，主计算机画面显示交互图标是否前往B点；正播放与倒播放中间，可以选择暂停播放，再次选择播放时，将继续上一个动作，即上一个动作为正播放时，暂停后的播放将暂在暂停处继续正播放，倒播放原理与正播放相同。

8.根据权利要求1所述的一种沉浸式可交互Box影像制作方法，其特征在于：所述步骤一中多组球形全景影像是按照预设线性路线，预定摄像机位置与主镜头方向来制作或拍摄的多段视频。

9.根据权利要求1所述的一种沉浸式可交互Box影像制作方法，其特征在于：所述多媒体视频编辑软件为AdobeAfterEffects，所述三维软件为Autodesk Maya。