CN115914718A - 截取引擎渲染内容的虚拟制片视频重映方法及系统 - Google Patents

Abstract

本发明公开了一种截取引擎渲染内容的虚拟制片视频重映方法及系统。本发明采用的虚拟制片环境重映方式，通过将包含视频画面帧和视频增强信息SEI帧的母片以及虚拟引擎渲染画面存储于服务器上，可通过对母片进行剪辑然后解码得到母片中隐藏的视频增强信息。拍摄子片时用户可以无需通过引擎来进行背景环境的复现，背景的播放仅仅需要和硬件在统一的时间流下完成同步即可，且虚拟制片设备可利用解码得到的视频增强信息自动进行设备控制。本发明可采用的机器人来降低虚拟制片的拍摄门槛和成本，在子片拍摄过程中机器人可以完全代替摄影师所需要完成的工作。

Description

截取引擎渲染内容的虚拟制片视频重映方法及系统

技术领域

本发明属于视频处理和虚拟制片领域，具体涉及一种截取引擎渲染内容的虚拟制片视频重映方法及系统。

背景技术

随着5G、GPU等技术的不断深化，各种短视频应用已成为主流，而且未来以视频为核心的应用将会越来越普及，围绕视频的制作也必将从专业走向大众化。

目前，正在兴起的虚拟制片技术，虽然可以将视频拍摄从道具实景或者野外实景转向室内虚拟背景，大大降低视频拍摄的成本，提高视频制作速度，但还需要依赖专业的摄影、剧本、剪辑等等非专业人员难以掌握的技术。

另外，虚拟引擎的使用对于入门者而言有非常繁琐的配置步骤，并且有相当高的学习成本。如何让虚拟引擎渲染的实时画面做到低成本的复现就成了关键性问题。在拍摄背景画面进行复现时，做好和摄像机、机器人的联动关系将会决定视频最后所呈现的视觉关系是否正确。

因此，如何让普通的非专业人员也能拍出专业的短视频，成为一个迫切需要解决的问题，有必要提供一种能够降低短视频拍摄难度的虚拟制片解决方案。

发明内容

本发明的目的在于解决现有技术中虚拟制片存在的门槛过高问题，并提供一种截取引擎渲染内容的虚拟制片视频重映方法及系统。

本发明所采用的具体技术方案如下：

第一方面，本发明提供了一种截取引擎渲染内容的虚拟制片视频重映方法，其包括：

S1、从服务器上读取用户指定的视频母片；所述视频母片包含视频画面帧和视频增强信息SEI帧，拍摄过程中出现的每一组新的视频增强信息均被编码为SEI帧并在视频码流中插入对应时间戳的视频画面帧之前；且所述服务器上预先存储有视频母片中的每一帧图像所对应背景的虚拟引擎渲染画面；

S2、获取用户针对视频母片的剪辑操作，删除视频码流中的所有被剪除片段，并对视频码流中每一段被剪除片段之前的第一帧赋予暂停标志符，对视频码流中每一段被剪除片段之后的第一帧赋予开始标志符，且如果任意一段被剪除片段中间含有至少一帧视频增强信息SEI帧，则将这一段被剪除片段中最后一帧视频增强信息SEI帧插入这一段被剪除片段之后的第一帧视频画面帧之前，最终形成带有标志符的剪辑后母片；

S3、逐帧遍历剪辑后母片，根据帧头信息判断帧类型，若为视频画面帧则从服务器上获取该视频画面帧所对应的虚拟引擎渲染画面，若为视频增强信息SEI帧则通过解码从中提取视频增强信息；剪辑后母片中所有视频画面帧的虚拟引擎渲染画面以及所有视频增强信息SEI帧的视频增强信息均存储至本地端；

S4、监听用户发出的母片播放指令，在收到用户发出的母片播放指令后，开始逐帧播放剪辑后母片，播放过程中从本地端逐帧读取虚拟引擎渲染画面显示到虚拟制片的背景显示屏中，同时按照视频增强信息SEI帧的时间戳从本地端读取对应的视频增强信息发送给虚拟制片设备，虚拟制片设备解析收到的视频增强信息后做出相应的设备控制动作；播放过程中，若剪辑后母片中出现暂停标志符，则需要暂停母片播放并向用户发出暂停提示，同时向虚拟制片设备发送下一个开始标志符出现时刻对应的视频增强信息，并监控虚拟制片设备是否完成设备控制动作的切换，待完成后向用户发出继续拍摄提示。

作为上述第一方面的优选，在所述S3中，还需要扫描剪辑后母片中成对的暂停标志符和开始标志符，并计算虚拟制片设备从暂停标志符出现时刻对应的视频增强信息转换到开始标志符出现时刻对应的视频增强信息所需的转换时间，并将每一对标志符对应的转换时间存储至本地端，在向用户发出暂停提示时需将对应的转换时间显示为暂停所需时间。

作为上述第一方面的优选，所述视频增强信息包含摄像机的空间位置、摄像机的姿态信息、摄像机自身控制参数、灯光控制参数和音效控制参数。

作为上述第一方面的优选，所述摄像机通过能自行移动和姿态调整的拍摄机器人进行控制，所述转换时间为拍摄机器人从暂停标志符出现时刻所处的空间位置移动到开始标志符出现时刻所处的空间位置所需的时间，通过最短路径规划算法进行路径规划后结合拍摄机器人移动速度计算得到。

作为上述第一方面的优选，所述最短路径规划算法采用Astar算法。

作为上述第一方面的优选，所述S4中，当监控到虚拟制片设备完成设备控制动作的切换后，向用户发出继续拍摄提示，当收到用户发出的继续拍摄指令后，从开始标志符位置继续逐帧播放剪辑后母片。

第二方面，本发明提供了一种截取引擎渲染内容的虚拟制片视频重映系统，其包括：

虚拟制片设备，包括拍摄机器人、追踪器、陀螺仪、音效设备、灯光设备和背景显示设备，拍摄机器人底部安装有移动机构，摄像机搭载于拍摄机器人的多自由度机械臂上执行拍摄任务，所述追踪器和陀螺仪搭载于拍摄机器人上用于感应摄像机的空间位置和姿态信息，所述音效设备和灯光设备分别用于为拍摄场景提供音效和灯光，所述背景显示设备用于显示虚拟引擎渲染后的背景画面；

本地端控制设备，用于通过网络连接服务器和虚拟制片设备，实现如上述第一方面任一方案所述的虚拟制片视频重映方法。

作为上述第二方面的优选，上述虚拟制片视频重映系统还包括布置于拍摄场地中与所述追踪器配合的若干定位器，当监控虚拟制片设备是否完成设备控制动作的切换时，通过追踪器和定位器配合对拍摄机器人的移动后位置进行定位并将定位信息反馈至服务器，由服务器进行校验，若与目标位置出现偏差则向拍摄机器人发送调整指令或意外终止指令。

作为上述第二方面的优选，所述背景显示屏采用LED显示屏，虚拟引擎渲染画面在发送给背景显示屏进行显示之前，预先利用压缩算法对LED成像数据矩阵进行压缩，以减小存储容量和数据传输效率。

作为上述第二方面的优选，还包括母片显示屏，用于在逐帧播放剪辑后母片过程中，将剪辑后母片的每一帧视频画面帧显示给用户。

本发明相对于现有技术而言，具有以下有益效果：

1、本发明采用的虚拟制片环境重映方式大大降低了用户的使用门槛，拍摄子片时用户可以无需通过引擎来进行背景环境的复现，跳过了环境配置的复杂步骤。并且采用本发明所述的重映方式将大大提高背景的可用性，背景的播放仅仅需要和硬件在统一的时间流下完成同步即可。

2、本发明可采用的机器人来降低虚拟制片的拍摄门槛和成本。在子片拍摄过程中机器人可以完全代替摄影师所需要完成的工作，并且可以完成对于精确度要求更高的工作以达到更为优秀的成片质量。

附图说明

图1为截取引擎渲染内容的虚拟制片视频重映方法的流程图；

图2为一组示例性的视频图像帧所对应的视频增强信息数据情况；

图3为图2中视频增强信息经过剪辑后的数据情况；

图4为视频母片中画面帧被剪后的信息同步示意图；

图5为截取引擎渲染内容的虚拟制片视频重映系统示意图；

图6为集成地端控制设备的拍摄机器人和场景的交互示意图。

具体实施方式

下面结合附图和具体实施方式对本发明做进一步阐述和说明。本发明中各个实施方式的技术特征在没有相互冲突的前提下，均可进行相应组合。

为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图对本发明的具体实施方式做详细的说明。在下面的描述中阐述了很多具体细节以便于充分理解本发明。但是本发明能够以很多不同于在此描述的其它方式来实施，本领域技术人员可以在不违背本发明内涵的情况下做类似改进，因此本发明不受下面公开的具体实施例的限制。本发明各个实施例中的技术特征在没有相互冲突的前提下，均可进行相应组合。

在本发明的描述中，需要理解的是，当一个元件被认为是“连接”另一个元件，可以是直接连接到另一个元件或者是间接连接即存在中间元件。相反，当元件为称作“直接”与另一元件连接时，不存在中间元件。

在本发明的描述中，需要理解的是，术语“第一”、“第二”仅用于区分描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。

如图1所示，在本发明的一个较佳实施例中，提供了一种截取引擎渲染内容的虚拟制片视频重映方法，其具体步骤包括S1～S4。该虚拟制片视频重映方法的核心目的是使非专业人员能够简单地模仿专业人员的拍片过程。在母片的虚拟制作过程中，在拍摄背景虚拟化的前提下，在拍摄的视频过程中自动记录专业的脚本师、摄影师、灯光师、剪辑师等的短视频制作过程信息，生成带有以上信息的成片，称其为可重复拍摄的视频母片。具体而言，专业拍摄者通过引擎来渲染led屏幕上实时显示的画面内容，并将相机移动的实时三维位置、姿态、灯光、音响等视频增强信息通过SEI加密记录进虚拟制片母片中。后续在子片拍摄过程中非专业人员选定需要模仿的视频母片后，可按序进行剪辑，然后可通过实时存储引擎渲染的实时画面来实现背景画面的低门槛复现，同时入门拍摄者只需要将母片中的角色替换为自己仅需动作模仿，虚拟制片设备会从服务器读取视频母片中的相关视频增强信息并自动解码和进行设备参数控制。这种复刻“视频母片”的拍摄过程，普通用户只要将母片中的主角换成自己，即可拍摄出与母片类似的成片，大幅降低虚拟制片的入门门槛。

下面分别对上述S1～S4步骤的具体实现方式进行详细说明。

S1、从服务器上读取用户指定的视频母片。其中，视频母片包含视频画面帧和视频增强信息SEI帧，拍摄过程中出现的每一组新的视频增强信息均被编码为SEI帧并在视频码流中插入对应时间戳的视频画面帧之前；且服务器上预先存储有视频母片中的每一帧图像所对应背景的虚拟引擎渲染画面。

需要说明的是，本发明中的视频母片和虚拟引擎渲染画面是预先存储在服务器上的。虚拟制片过程中，存在两类数据，一类是由摄像机传输的包含视频画面的基本信息，另一类是与视频画面帧对应的视频增强信息。一般而言，该视频母片的拍摄，需要由专业人员在虚拟或真实背景下对包括摄像机、追踪器、陀螺仪、音响、灯光等虚拟制片设备进行操控，摄像机可以记录母片的基本信息，摄像机传输的基本信息包括视频的画面信息，而追踪器、陀螺仪、音响、灯光等虚拟制片设备则会同步记录用于控制成片效果的除视频画面基本信息的其他视频增强信息，例如视频帧编号、摄像机空间位置信息(X轴、Y轴、Z轴坐标，由搭载于摄像机上的追踪器记录)、摄像机自由度信息(XY平面、YZ平面、XZ平面，由搭载于摄像机上的陀螺仪记录)、焦距(摄像机自身记录)、音响信息、灯光信息等。同时，还需要其背景需要通过虚拟引擎进行复杂的渲染。通过记录专业人员人工拍摄过程中的视频增强信息和视频码流，可将视频增强信息以SEI帧的形式编码到视频码流中，形成带有视频增强信息的视频母片。后续普通用户可在具有背景显示器的摄影棚，通过播放视频母片，从视频母片中解码出相关的视频增强信息(母片中摄像机的位置、姿态、变焦、灯光、音效等信息)，进而控制虚拟制片设备来复刻专业人员对设备的操作，重现母片拍摄的技术参数，由此无需专业知识即可复刻专业人员的拍摄过程，从而做出属于自己的较为专业的视频。

上述视频母片的编码，核心在于将视频增强信息构建为SEI帧，视频增强信息SEI帧的具体格式可根据实际进行调整。作为本发明实施例的一种实现方式，构建形成SEI增强信息帧的方法为：

首先，构造大小为537B的空间，用于存放SEI帧头与帧信息体；然后计算视频增强信息的数据长度，并将计算得到的数据长度存入16位整形变量，该16位整形变量分为高8位和低8位；再向537B的空间中按序插入4字节NALU开始码、1字节NAL类型识别码、1字节负载类型、16字节UUID自定义识别码、1字节的数据长度高8位、1字节的数据长度高8位、N字节(N不大于512)的视频增强信息、1字节SEI封装包结尾对齐码，从而形成视频增强信息SEI帧。

上述视频增强信息SEI帧需要按照时间戳插入视频码流中，形成包含视频增强信息SEI帧的视频母片。视频码流一般可直接由摄像机输出，格式可统一采用H.264码流。由于视频增强信息并非每一帧图像都会变化，因此只需在虚拟制片设备提供的视频增强信息发生变化时将新的视频增强信息编码形成SEI帧，并将其插入视频码流中与之同一时间戳下的视频画面帧之前。当然，每一帧视频画面帧之前都插入视频增强信息SEI帧也是可以的，只是会增加视频母片的冗余信息。

另外优选的，在对视频增强信息进行编码时，可以先对其进行加密，后续通过解密方可提取其中的视频增强信息，提高网络传输的安全性。加密算法优选采用全同态加密算法，可将视频增强信息转换为ASCII码后，逐字符进行全同态加密，后续通过各字符进行对应的全同态解密再组合还原视频增强信息即可。

另外，专业人员进行虚拟制片时，会采用虚拟引擎对背景进行复杂的渲染，但这是非专业人员无法做到的，因此本发明中可针对视频母片中的每一帧图像所对应的背景，事先将其虚拟引擎渲染后的画面存储在服务器上，后续仅需采用一个背景显示屏来显示这一阵的虚拟引擎渲染画面即可，无需非专业人员自行使用虚拟引擎，大大降低了虚拟制片的难度。

S2、获取用户针对视频母片的剪辑操作，删除视频码流中的所有被剪除片段，并对视频码流中每一段被剪除片段之前的第一帧赋予暂停标志符，对视频码流中每一段被剪除片段之后的第一帧赋予开始标志符，且如果任意一段被剪除片段中间含有至少一帧视频增强信息SEI帧，则将这一段被剪除片段中最后一帧视频增强信息SEI帧插入这一段被剪除片段之后的第一帧视频画面帧之前，最终形成带有标志符的剪辑后母片。

需要说明的是，在该步骤中，暂停标志符和开始标志符是成对出现的，用户剪辑一段片段，就会出现一对暂停标志符和开始标志符。设置一对暂停标志符和开始标志符的目的是为虚拟制片设备的参数调整留出时间，因为视频母片在拍摄过程中虚拟制片设备的控制往往是连续的，但视频母片一旦被剪辑，虚拟制片设备的控制参数在剪辑片段前后会出现跳跃，此时虚拟制片设备需要有一段时间来调整各设备的参数，以便于满足剪辑片段之后的设备控制参数。

如图2所示，展示了一组示例性的视频图像帧所对应的视频增强信息(包含了摄像机的空间位置、摄像机的姿态信息、摄像机自身控制参数、灯光控制参数和音效控制参数以及预留拓展位等信息)，如果用户对视频图像帧000005-000013进行剪辑去除，那么其视频增强信息会出现一个较大的跳跃。此时，如图3所示，可在被剪辑片段的前一帧和后一帧除标记相应的标志符，在视频图像帧000004和视频图像帧000014处各自将标志符位设置为1，这一对1标志符分别代表了一对因为剪辑而出现的暂停标志符和开始标志符。另外，为了便于后续校验虚拟制片设备在这个剪辑位置是否已完成各设备参数的切换调整，还可以设置一个同步点标志，同步点标志为0代表未完成，同步点标志为1代表已完成，当已完成时即可通知用户继续进行拍摄。

另外，需要说明的是，由于前述的视频母片中，并非每一帧视频画面帧都带有对应的视频增强信息SEI帧。因此，为了保证视频母片经过剪辑后依然能够识别每一帧视频画面帧对应的视频增强信息，如果一段被剪除片段中间含有一帧或者多帧视频增强信息SEI帧，则直接剪除这一段片段会导致这一段被剪除片段之后的视频画面帧无法确定对应的视频增强信息。所以，在该步骤中，需要将这一段被剪除片段中最后一帧视频增强信息SEI帧插入这一段被剪除片段之后的第一帧视频画面帧之前，使得即使出现视频剪辑依然能够使每一帧视频画面帧具有对应的视频增强信息。

如图4所示，当一个视频母片中画面帧被剪后，其对应的各种时间戳信息也需要相应同步。

S3、逐帧遍历剪辑后母片，根据帧头信息判断帧类型，若为视频画面帧则从服务器上获取该视频画面帧所对应的虚拟引擎渲染画面，若为视频增强信息SEI帧则通过解码从中提取视频增强信息；剪辑后母片中所有视频画面帧的虚拟引擎渲染画面以及所有视频增强信息SEI帧的视频增强信息均存储至本地端。

剪辑后母片以NALU帧为单位，每个NALU帧以0x00000001或0x000001为开始码，开始码后的两位为NAL类型识别码NRI，根据NRI可以判断该帧类型。将虚拟引擎渲染画面和视频增强信息均存储至本地端，主要是为了提高拍摄时的实时性，避免因数据传输和解码造成的延迟。

作为本发明实施例的一种较佳实现方式，上述步骤S3中，还需要扫描剪辑后母片中成对的暂停标志符和开始标志符，并计算虚拟制片设备从暂停标志符出现时刻对应的视频增强信息转换到开始标志符出现时刻对应的视频增强信息所需的转换时间，并将每一对标志符对应的转换时间存储至本地端，在向用户发出暂停提示时需将对应的转换时间显示为暂停所需时间，以便于表演者合理掌控时间。

需要说明的是，本发明所说的本地端的形式可以是多样的，例如可以在本地设置上位机进行控制，亦可直接存储至虚拟制片设备自身的控制装置上。

为了降低非专业人员对于虚拟制片设备操控的难度，本发明可以将摄像机搭载于机器人上进行移动和姿态调整，因此视频增强信息可以直接转换成拍摄机器人的空间位置参数和姿态角(可通过机械臂的自由度来调整)，使得用户无需操作摄像机即可运镜。当采用拍摄机器人进行拍摄时，由于摄像机焦距、灯光、音效等设备参数的调整往往是很快的，因此虚拟制片设备从暂停标志符出现时刻对应的视频增强信息转换到开始标志符出现时刻对应的视频增强信息所需的转换时间，主要的限制是机器人的空间移动时间。由此，作为本发明实施例的一种较佳实现方式，上前述的转换时间可采用为拍摄机器人从暂停标志符出现时刻所处的空间位置移动到开始标志符出现时刻所处的空间位置所需的时间，该时间可通过最短路径规划算法进行路径规划后结合拍摄机器人移动速度计算得到。计算对应视频起始点间的位置信息，进行拍摄机器人最短路径规划，根据机器人运动速度规划出稳步到达起始位置的运行路径和时间，时间放到图3的暂停时间中，同步点置0；当机器人运动到起始位置后，将被置1；

作为本发明实施例的一种较佳实现方式，上述最短路径规划算法采用Astar算法。最短路径算法采用Astar算法，Astar算法主要建立在广度优先搜索的思想基础上，兼有了Best fit算法和迪杰斯特拉算法的各种特点。它的主要思想是通过下面这个函数来进行图中每个节点的优先级的计算，然后确定下一个算法执行节点为优先级最高的节点。优先级函数为：

f(n)＝g(n)+h(n)

其中g(n)是n节点到起点的路径代价，h(n)是n节点到终点的预估路径代价。

在实际应用场景中，机器人从起点走到终点路程中间不可能毫无阻挡，也需要按照一定的规则行进，往往有非常多的障碍物，而且都是不规则的障碍物。这就需要机器人不仅能够自动绕过这些障碍物，并且寻得最短路径。使用Astar算法就是兼顾了效率和行进路线质量的一个优秀算法。由此，当视频母片因为剪辑出现一对标志符时，可以预先根据对应视频剪除片段起始点间的空间位置信息，调用Astar算法进行拍摄机器人所在场地的最短路径规划，根据机器人运动速度规划出稳步到达起始位置的运行路径和时间，时间存入图3中的暂停时间中，同步点标志置0；当机器人运动到目标位置后，将同步点标志置1。

当完成上述所有的准备工作后，即可进行母片播放和子片拍摄，下面对其具体实现过程进行描述。

S4、监听用户发出的母片播放指令，在收到用户发出的母片播放指令后，开始逐帧播放剪辑后母片，播放过程中从本地端逐帧读取虚拟引擎渲染画面显示到虚拟制片的背景显示屏中，同时按照视频增强信息SEI帧的时间戳从本地端读取对应的视频增强信息发送给虚拟制片设备，虚拟制片设备解析收到的视频增强信息后做出相应的设备控制动作。在该播放过程中，若剪辑后母片中出现暂停标志符，则需要暂停母片播放并向用户发出暂停提示，同时向虚拟制片设备发送下一个开始标志符出现时刻对应的视频增强信息，并监控虚拟制片设备是否完成设备控制动作的切换，待完成后向用户发出继续拍摄提示。

作为本发明实施例的一种较佳实现方式，上述步骤S4中，当监控到虚拟制片设备完成设备控制动作的切换后，向用户发出继续拍摄提示，但是否实际开始继续拍摄需要等用户的人工输入指令。只有当收到用户发出的继续拍摄指令后，才可以从开始标志符位置继续逐帧播放剪辑后母片，以保证用户有充分的准备。该继续拍摄指令可以通过实体设备进行输入，亦可通过语音等方式进行输入，对此不做限制。

由此，当用户需要复刻母片拍摄自己的子片时，其常见的流程是：播放母片，并按照母片当前显示的画面进行动作模仿，背后显示屏自动显示渲染后的虚拟背景，虚拟制片设备自动按照母片的参数运行。当播放到剪辑位置时，系统将识别一对暂停标志位和开始标志位，暂停母片的播放，演员、播放器都参考播放暂停时间，等待摄像机器人运动到起始位置，机器人到位后，向系统发送信号，同步播放点置1，系统显示同步已经就绪，拍摄者发出拍摄指令后，机器将继续进行拍摄。因此，当拍摄者需要重复制片时，仅需播放母片，硬件将读取相对应的数据并到所示位置进行拍摄，制片过程中仅需更换表演者即可，即可复刻母片。若希望基于母片拍摄出个性化的视频，则可以更换背景，演员等，通过重新编码，亦可简单地制作出新的母片。

如图5所示，基于上述虚拟制片视频重映方法，本发明的另一实施例中，还进一步提供了一种用于实现该方法的截取引擎渲染内容的虚拟制片视频重映系统，其包括虚拟制片设备和本地端控制设备。

虚拟制片设备，包括拍摄机器人、追踪器、陀螺仪、音效设备、灯光设备和背景显示设备，拍摄机器人底部安装有移动机构，摄像机搭载于拍摄机器人的多自由度机械臂上执行拍摄任务，所述追踪器和陀螺仪搭载于拍摄机器人上用于感应摄像机的空间位置和姿态信息，所述音效设备和灯光设备分别用于为拍摄场景提供音效和灯光，所述背景显示设备用于显示虚拟引擎渲染后的背景画面。

本地端控制设备，用于通过网络连接服务器和虚拟制片设备，实现如前述实施例所述的虚拟制片视频重映方法。

另外，作为上述虚拟制片视频重映系统的一种优选方式，还可以在拍摄场地中进一步布置与追踪器配合的若干定位器，当监控虚拟制片设备是否完成设备控制动作的切换时，通过追踪器和定位器配合对拍摄机器人的移动后位置进行定位并将定位信息反馈至服务器，由服务器进行校验，若与目标位置出现偏差则向拍摄机器人发送调整指令或意外终止指令。

需要说明的是，上述本地端控制设备可以单独采用上位机实现，亦可集成于拍摄机器人上，如图6所示。此时，在该拍摄机器人使用前，需要在拍摄场景内根据规划坐标进行自由移动，并且在机器人上架设摄像机、追踪器Tracker、陀螺仪等拍摄和追踪设备，进而采集场地的信息，以便于后续进行路径规划。追踪器、陀螺仪设备实时获取摄像头空间位置信息、旋转自由度信息、速度和加速度信息，并将相关信息返回到系统平台中。在重复拍摄过程中，机器人可根据接收到的视频增强信息移动到指定的点位上进行拍摄。

一般而言，当机器人接受到视频增强信息后，需要进行解析后执行相应的动作，可分为以下几步完成指令：

1、解析X、Y、Z轴坐标信息，通过底部滑轮到达指定位置点。

2、解析相机转动信息，通过旋转关节A、B、C、D调整相机的实时旋转角度。

3、解析光圈信息和焦距信息，实现相机参数的实时变更。

4、解析灯光信息，通过发射器将信息传递给补光灯，实时调节环境灯光效果。

定位器可以根据场地大小搭配合适数量，确定可移动场景大小，配合追踪器保证相机在现实空间和虚拟空间中的位置信息正确，并且相互匹配。拍摄机器人可将当前位置信息返回给服务器，服务器接收到位置信息后进行实时校验，如发现偏差将向机器人发送调整或意外终止指令。

另外，本发明中的背景显示屏可采用LED显示屏，LED显示屏是由发光二极管点阵集合的模组，通过电脑对需要输出的信息经过处理发送到LED显示屏控制卡再进行成像。主控制器从软件中得到各个像素的亮度数据，分配给若干的扫描板，每块扫描板负责控制LED显示屏上的若干行，而每一行上的LED显示信号则用串行方式各个显示控制单元级联传输，每个显示控制单元直接面向LED显示屏。LED显示屏的每个像素由RGB三原色构成，亮度计算通常使用可以映射和使用的数据单元。在母片制作时，可通过结合LED矩阵成像特性，使用自定义设备对LED成像数据矩阵进行存储。由于该成像数据庞大，虚拟引擎渲染画面在发送给背景显示屏进行显示之前，预先利用压缩算法对LED成像数据矩阵进行压缩，以减小存储容量和数据传输效率。该压缩过程可在服务器端完成，亦可在本地端控制设备处完成。

不同的对LED成像数据矩阵类型，可以采用不同的压缩处理算法，在一示例中具体压缩处理算法如下：

1、对于对称矩阵只存储对角线以下元素的数值，假设矩阵为n*n则所需空间数为n*(n+1)/2。

2、对于三角矩阵仍然采用和对称矩阵相同的存储方式，采用按行存储的方式，但需要一个额外的空间来存储常熟的值。

3、对于稀疏矩阵采用三元组的方式来进行存储，即存储非零元素的行列下标和有效值，非零元素和三元组存在一一对应的确定关系。

4、对于满足三对角矩阵性质的数据矩阵，同样仅存储非零元素数据的信息，根据三对角矩阵的数据排列性质可得数据位置。

经实验证明，通过以上方式可有效减少存储容量，压缩率结果如下：

矩阵编号	有效值唯一数	压缩率
			1	175681	0.02315
2	159635	0.01622
			3	8536	0.01358
4	37756	0.00965
			5	846522	0.00658

另外，为了供用户实时看到母片上的人物动作，可以进一步设置一个母片显示屏，用于在逐帧播放剪辑后母片过程中，将剪辑后母片的每一帧视频画面帧显示给用户。

另外需要说明的是，所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统中模块以及方法中所含的步骤流程，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个模块或步骤可以结合或者可以集成到一起，一个模块或者步骤亦可进行拆分。

需要说明的是，根据本发明公开的实施例，上述各系统中的模块的具体实现功能可以通过编写的计算机软件程序来实现，计算机程序中包含用于执行相应方法的程序代码。

因此，上述各系统中的模块可以以程序形式存储在计算机可读存储介质中。该存储介质上存储有一个或者多个计算机程序，当一个或者多个计算机程序被处理器执行时，能实现上述实施例所述的模块中的功能。

可以理解的是，上述存储介质可以包括随机存取存储器(Random Access Memory，RAM)，也可以包括非易失性存储器(Non-Volatile Memory，NVM)，例如至少一个磁盘存储器。可选的，存储器还可以是至少一个位于远离前述处理器的存储装置。

上述的处理器可以是通用处理器，包括中央处理器(Central Processing Unit，CPU)、网络处理器(Network Processor，NP)等；还可以是数字信号处理器(DigitalSignalProcessing，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现场可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。

以上所述的实施例只是本发明的一种较佳的方案，然其并非用以限制本发明。有关技术领域的普通技术人员，在不脱离本发明的精神和范围的情况下，还可以做出各种变化和变型。因此凡采取等同替换或等效变换的方式所获得的技术方案，均落在本发明的保护范围内。

Claims (10)

1.一种截取引擎渲染内容的虚拟制片视频重映方法，其特征在于，包括：

S1、从服务器上读取用户指定的视频母片；所述视频母片包含视频画面帧和视频增强信息SEI帧，拍摄过程中出现的每一组新的视频增强信息均被编码为SEI帧并在视频码流中插入对应时间戳的视频画面帧之前；且所述服务器上预先存储有视频母片中的每一帧图像所对应背景的虚拟引擎渲染画面；

S2、获取用户针对视频母片的剪辑操作，删除视频码流中的所有被剪除片段，并对视频码流中每一段被剪除片段之前的第一帧赋予暂停标志符，对视频码流中每一段被剪除片段之后的第一帧赋予开始标志符，且如果任意一段被剪除片段中间含有至少一帧视频增强信息SEI帧，则将这一段被剪除片段中最后一帧视频增强信息SEI帧插入这一段被剪除片段之后的第一帧视频画面帧之前，最终形成带有标志符的剪辑后母片；

S3、逐帧遍历剪辑后母片，根据帧头信息判断帧类型，若为视频画面帧则从服务器上获取该视频画面帧所对应的虚拟引擎渲染画面，若为视频增强信息SEI帧则通过解码从中提取视频增强信息；剪辑后母片中所有视频画面帧的虚拟引擎渲染画面以及所有视频增强信息SEI帧的视频增强信息均存储至本地端；

S4、监听用户发出的母片播放指令，在收到用户发出的母片播放指令后，开始逐帧播放剪辑后母片，播放过程中从本地端逐帧读取虚拟引擎渲染画面显示到虚拟制片的背景显示屏中，同时按照视频增强信息SEI帧的时间戳从本地端读取对应的视频增强信息发送给虚拟制片设备，虚拟制片设备解析收到的视频增强信息后做出相应的设备控制动作；播放过程中，若剪辑后母片中出现暂停标志符，则需要暂停母片播放并向用户发出暂停提示，同时向虚拟制片设备发送下一个开始标志符出现时刻对应的视频增强信息，并监控虚拟制片设备是否完成设备控制动作的切换，待完成后向用户发出继续拍摄提示。

2.如权利要求1所述的截取引擎渲染内容的虚拟制片视频重映方法，其特征在于，在所述S3中，还需要扫描剪辑后母片中成对的暂停标志符和开始标志符，并计算虚拟制片设备从暂停标志符出现时刻对应的视频增强信息转换到开始标志符出现时刻对应的视频增强信息所需的转换时间，并将每一对标志符对应的转换时间存储至本地端，在向用户发出暂停提示时需将对应的转换时间显示为暂停所需时间。

3.如权利要求2所述的截取引擎渲染内容的虚拟制片视频重映方法，其特征在于，所述视频增强信息包含摄像机的空间位置、摄像机的姿态信息、摄像机自身控制参数、灯光控制参数和音效控制参数。

4.如权利要求3所述的截取引擎渲染内容的虚拟制片视频重映方法，其特征在于，所述摄像机通过能自行移动和姿态调整的拍摄机器人进行控制，所述转换时间为拍摄机器人从暂停标志符出现时刻所处的空间位置移动到开始标志符出现时刻所处的空间位置所需的时间，通过最短路径规划算法进行路径规划后结合拍摄机器人移动速度计算得到。

5.如权利要求4所述的截取引擎渲染内容的虚拟制片视频重映方法，其特征在于，所述最短路径规划算法采用Astar算法。

6.如权利要求1所述的截取引擎渲染内容的虚拟制片视频重映方法，其特征在于，所述S4中，当监控到虚拟制片设备完成设备控制动作的切换后，向用户发出继续拍摄提示，当收到用户发出的继续拍摄指令后，从开始标志符位置继续逐帧播放剪辑后母片。

7.一种截取引擎渲染内容的虚拟制片视频重映系统，其特征在于，包括：

虚拟制片设备，包括拍摄机器人、追踪器、陀螺仪、音效设备、灯光设备和背景显示设备，拍摄机器人底部安装有移动机构，摄像机搭载于拍摄机器人的多自由度机械臂上执行拍摄任务，所述追踪器和陀螺仪搭载于拍摄机器人上用于感应摄像机的空间位置和姿态信息，所述音效设备和灯光设备分别用于为拍摄场景提供音效和灯光，所述背景显示设备用于显示虚拟引擎渲染后的背景画面；

本地端控制设备，用于通过网络连接服务器和虚拟制片设备，实现如权利要求1～6任一所述的虚拟制片视频重映方法。

8.如权利要求7所述的截取引擎渲染内容的虚拟制片视频重映系统，其特征在于，还包括布置于拍摄场地中与所述追踪器配合的若干定位器，当监控虚拟制片设备是否完成设备控制动作的切换时，通过追踪器和定位器配合对拍摄机器人的移动后位置进行定位并将定位信息反馈至服务器，由服务器进行校验，若与目标位置出现偏差则向拍摄机器人发送调整指令或意外终止指令。

9.如权利要求7所述的截取引擎渲染内容的虚拟制片视频重映系统，其特征在于，所述背景显示屏采用LED显示屏，虚拟引擎渲染画面在发送给背景显示屏进行显示之前，预先利用压缩算法对LED成像数据矩阵进行压缩，以减小存储容量和数据传输效率。

10.如权利要求7所述的截取引擎渲染内容的虚拟制片视频重映系统，其特征在于，还包括母片显示屏，用于在逐帧播放剪辑后母片过程中，将剪辑后母片的每一帧视频画面帧显示给用户。

Images