CN114915735A - 视频数据的处理方法 - Google Patents

Abstract

本发明提供了一种视频数据的处理方法，其中，该方法包括：在播放端上显示实景视频画面和对应虚拟视频画面的加载入口；在检测到针对加载入口的触发指令之后，在播放端加载虚拟视频渲染数据，虚拟视频渲染数据用于显示与实景视频画面对应的虚拟视频画面；其中，虚拟视频渲染数据包括以下至少之一：与实景视频画面中的至少一个对象对应的虚拟角色模型，虚拟角色模型的动作特征数据，虚拟角色模型的表情特征数据。通过本发明，增强了相关技术中实景视频对应的展示方式，并结合虚拟渲染技术提供了对应实景视频更多的可显示方式和可交互方式，从而提高了实景视频播放的娱乐效果与体验。

Description

视频数据的处理方法

技术领域

本发明涉及计算机技术领域，具体而言，涉及一种视频数据的处理方法。

背景技术

相关技术中，针对实景视频(例如抖音中用户自己用手机拍摄的实景视频)，都是在实体的舞台上由实体的人物道具等呈现，有些会有一个背景幕布，用于播放与前景节目对应的音视频等，缺乏趣味性和屏幕前观众之间交互性。

在一些特殊的环节中，也会引入虚拟元素，例如通过AR等光学技术呈现的虚拟人物在舞台上表演，但该虚拟人员还不能与实体舞台，背景舞台进行灵活交互，也不能实现实体场景与虚拟场景的同步。相关技术中的视频都是通过实体的舞台人物道具进行呈现，不能通过虚拟舞台同步演出，也不能将实景视频切换为虚拟视频。

针对相关技术中存在的上述问题，目前尚未发现有效的解决方案。

发明内容

本发明实施例提供了一种视频数据的处理方法。

根据本发明的一个实施例，提供了一种视频数据的处理方法，包括：在播放端上显示实景视频画面和对应虚拟视频画面的加载入口；在检测到针对所述加载入口的触发指令之后，在所述播放端加载虚拟视频渲染数据，所述虚拟视频渲染数据用于显示与所述实景视频画面对应的虚拟视频画面；其中，所述虚拟视频渲染数据包括以下至少之一：与所述实景视频画面中的至少一个对象对应的虚拟角色模型，所述虚拟角色模型的动作特征数据，所述虚拟角色模型的表情特征数据。

可选的，在所述播放端加载虚拟视频渲染数据之后，所述方法还包括：接收第一摄像头设置指令，其中，所述第一摄像头设置指令用于指示虚拟摄像头的运动轨迹；根据所述第一摄像头设置指令所确定的虚拟摄像头的运动轨迹，与所述虚拟视频渲染数据渲染出在所述播放端上展示的第一虚拟视频画面。

可选的，在所述播放端加载虚拟视频渲染数据之后，所述方法还包括：在所述播放端的第一区域显示所述虚拟视频画面，在所述播放端的第二区域显示所述实景视频画面，其中，所述播放端包括：所述第一区域，所述第二区域，切换控件，交互控件，所述切换控件用于根据用户指令在所述播放端上切换所述虚拟视频画面和所述实景视频画面的显示位置，所述交互控件用于根据用户指令在所述播放端上执行所述虚拟视频画面与所述实景视频画面之间的交互动作。

可选的，在在所述播放端加载虚拟视频渲染数据之后，所述方法还包括：接收第二摄像头设置指令，其中，所述第二摄像头设置指令用于确定虚拟摄像头的镜头机位；根据所述第二摄像头设置指令确定的虚拟摄像头的镜头机位，与所述虚拟视频渲染数据，渲染出在所述播放端上展示的第二虚拟视频画面。

可选的，接收第二摄像头设置指令包括以下之一：接收第一指令，其中，所述第一指令用于选择第一镜头机位，所述第一镜头机位的布置位置与所述虚拟视频画面中的虚拟主角对应；接收第二指令，其中，所述第二指令用于选择第二镜头机位，所述第二镜头机位的布置位置与所述虚拟视频画面中的虚拟配角对应。

可选的，在所述播放端加载虚拟视频渲染数据之前，所述方法还包括：从云服务器获取与所述实景视频画面同步的第一虚拟视频渲染数据。

可选的，在所述播放端加载虚拟视频渲染数据之前，所述方法还包括：在本地播放端生成与所述实景视频画面同步的第二虚拟视频渲染数据。

可选的，在所述播放端加载虚拟视频渲染数据之后，所述方法还包括：取所述实景视频画面采用的摄像机运动轨迹参数和/或摄像机机位参数；依据所述摄像机运动轨迹参数和/或摄像机机位参数以及所述虚拟视频渲染数据渲染出在所述播放端上展示的第三虚拟视频画面，其中，所述第三虚拟视频画面与所述实景视频画面的中的摄像机控制参数相同。

可选的，所述第一虚拟视频渲染数据或所述第二虚拟视频渲染数据通过采用动捕数据和预设虚拟角色模型生成，所述动捕数据用于表征所述实景视频画面中真人的动作数据，所述动捕数据通过内置在目标对象上的动捕设备采集得到。

可选的，在所述播放端加载虚拟视频渲染数据之前，所述方法还包括：获取真实场景中真实对象的动作数据，其中，所述实景视频画面中包括所述真实对象；确定与所述真实对象匹配的虚拟对象，所述虚拟视频画面包括所述虚拟对象，所述虚拟对象是所述真实对象的虚拟角色模型；根据所述动作数据生成所述虚拟对象的驱动数据，其中，所述驱动数据包括所述动作特征数据和所述表情特征数据；采用所述虚拟角色模型和所述驱动数据打包生成所述虚拟视频渲染数据。

可选的，获取真实场景中真实对象的动作数据包括：采用动捕设备采集所述真实对象的运动参数，其中，所述动捕设备内置在所述真实对象的身体上；基于所述运动参数生成所述真实对象的肢体动作数据。

可选的，基于所述运动参数生成所述真实对象的肢体动作数据包括：提取每个标记点采集的运动子参数，其中，所述动捕设备包括多个标记点，每个动捕点分别内置在所述真实对象的一个身体部位上，每个标记点对应一份运动子参数；针对每个标记点，按照预设周期构建运动子参数的移动曲线，并计算移动曲线的复杂度；在所有标记点中选择复杂度最大的若干个目标标记点；将所述若干个目标标记点的移动曲线确定为所述真实对象肢体表演的动作曲线。

可选的，计算移动曲线的复杂度包括：计算所述移动曲线的延伸长度，以及计算所述移动曲线的曲率；基于所述延伸长度和所述曲率加权计算的所述移动曲线的复杂度。

可选的，获取真实场景中真实对象的动作数据包括：采用三维结构光相机采集所述真实对象的面部点云，其中，所述三维结构光相机相对设置在所述真实对象的身体前方；基于所述面部点云的深度信息生成所述真实对象的脸部动作数据。

可选的，基于所述面部点云的深度信息生成所述真实对象的脸部动作数据包括：从所述面部点云中提取各个点的水平坐标值，基于所述水平坐标值确定所述面部点云围成的面部区域；将所述面部区域缩放到与所述虚拟对象的脸部尺寸相同；提取所述面部点云中各个点的深度坐标值，从所述面部点云中选择深度坐标值与标准深度的差值大于预设值的目标点；将所述目标点确定为所述真实对象的脸部动作数据。

可选的，若所述动作数据为动作曲线，根据所述动作数据生成所述虚拟对象的驱动数据包括：根据若干条动作曲线识别所述虚拟对象待执行的动作类型；在所述虚拟对象的指令集中查找与所述动作类型匹配的第一骨骼驱动指令。

可选的，若所述动作数据为脸部动作数据，根据所述动作数据生成所述虚拟对象的驱动数据包括：在预设表情库中查找与所述脸部动作数据匹配的虚拟脸部表情；在所述虚拟对象的指令集中查找与所述虚拟脸部表情匹配的捏脸指令。

可选的，所述方法还包括：从所述实景视频画面中获取视频背景的素材资源，和/或，从自定义图片中获取视频背景的素材资源；采用所述素材资源渲染生成所述虚拟视频画面的虚拟背景画面。

可选的，在所述播放端加载虚拟视频渲染数据之后，所述方法还包括：采集针对所述虚拟视频画面的舆情信息；在所述虚拟视频画面中显示所述舆情信息，并将所述舆情信息发送至所述实景视频画面的数据服务器，以使在所述实景视频画面中同步显示所述舆情信息。

可选的，所述方法还包括：识别所述实景视频画面中真实对象的互动动作；向所述播放端发送互动请求；从所述播放端接收基于所述互动请求反馈的互动指令；在所述虚拟视频画面中显示与所述互动指令对应的虚拟动作；或者，在预设资源库中查找与所述互动动作匹配的虚拟道具和/或特效画面；在所述虚拟视频画面中融合显示所述虚拟道具和/或所述特效画面。

可选的，所述方法还包括：从所述播放端接收所述虚拟视频画面的风格配置指令，其中，所述风格配置指令用于指示所述虚拟视频画面的背景风格和角色风格；基于所述风格配置指令配置所述虚拟视频画面的视频背景形象和虚拟角色形象。

根据本发明的另一个实施例，提供了一种视频数据的处理装置，包括：显示模块，用于在播放端上显示实景视频画面和对应虚拟视频画面的加载入口；加载模块，用于在检测到针对所述加载入口的触发指令之后，在所述播放端加载虚拟视频渲染数据，所述虚拟视频渲染数据用于显示与所述实景视频画面对应的虚拟视频画面；其中，所述虚拟视频渲染数据包括以下至少之一：与所述实景视频画面中的至少一个对象对应的虚拟角色模型，所述虚拟角色模型的动作特征数据，所述虚拟角色模型的表情特征数据。

根据本发明的又一个实施例，还提供了一种存储介质，所述存储介质中存储有计算机程序，其中，所述计算机程序被设置为运行时执行上述任一项方法实施例中的步骤。

根据本发明的又一个实施例，还提供了一种电子装置，包括存储器和处理器，所述存储器中存储有计算机程序，所述处理器被设置为运行所述计算机程序以执行上述任一项方法实施例中的步骤。

通过本发明，在播放端上显示实景视频画面和对应虚拟视频画面的加载入口，在检测到针对加载入口的触发指令之后，在播放端加载虚拟视频渲染数据，虚拟视频渲染数据用于显示与实景视频画面对应的虚拟视频画面；其中，虚拟视频渲染数据包括：与实景视频画面中的至少一个对象对应的虚拟角色模型，虚拟角色模型的动作特征数据，虚拟角色模型的表情特征数据。通过在播放端上显示实景视频画面时同步显示对应的虚拟视频画面，实现了一种虚实结合的视觉观感效果，增强了相关技术中实景视频对应的展示方式，并结合虚拟渲染技术提供了对应实景视频更多的可显示方式和可交互方式，从而提高了实景视频播放的娱乐效果与体验。

附图说明

此处所说明的附图用来提供对本发明的进一步理解，构成本申请的一部分，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：

图1是本发明实施例的一种视频数据的处理计算机的硬件结构框图；

图2是根据本发明实施例的一种视频数据的处理方法的流程示意图；

图3是本发明实施例在虚拟场景中布局镜头机位的示意图；

图4是本发明实施例在播放端显示虚拟视频画面和实景视频画面的示意图；

图5是根据本发明实施例的一种视频数据的处理装置的结构框图；

图6是本发明实施例的一种电子装置的结构图。

具体实施方式

为了使本技术领域的人员更好地理解本申请方案，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分的实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本申请保护的范围。需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。

需要说明的是，本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本申请的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。

实施例1

本申请实施例一所提供的方法实施例可以在手机、平板、服务器、计算机或者类似的电子终端中执行。以运行在计算机上为例，图1是本发明实施例的一种视频数据的处理计算机的硬件结构框图。如图1所示，计算机可以包括一个或多个(图1中仅示出一个)处理器102(处理器102可以包括但不限于微处理器MCU或可编程逻辑器件FPGA等的处理装置)和用于存储数据的存储器104，可选地，上述计算机还可以包括用于通信功能的传输设备106以及输入输出设备108。本领域普通技术人员可以理解，图1所示的结构仅为示意，其并不对上述计算机的结构造成限定。例如，计算机还可包括比图1中所示更多或者更少的组件，或者具有与图1所示不同的配置。

存储器104可用于存储计算机程序，例如，应用软件的软件程序以及模块，如本发明实施例中的一种视频数据的处理方法对应的计算机程序，处理器102通过运行存储在存储器104内的计算机程序，从而执行各种功能应用以及数据处理，即实现上述的方法。存储器104可包括高速随机存储器，还可包括非易失性存储器，如一个或者多个磁性存储装置、闪存、或者其他非易失性固态存储器。在一些实例中，存储器104可进一步包括相对于处理器102远程设置的存储器，这些远程存储器可以通过网络连接至计算机。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。在本实施例中，处理器104用于响应人机交互指令和游戏策略，控制目标虚拟角色执行指定操作以完成游戏任务。存储器104用于存储程序脚本，配置信息，虚拟角色的属性信息等。

传输设备106用于经由一个网络接收或者发送数据。上述的网络具体实例可包括计算机的通信供应商提供的无线网络。在一个实例中，传输设备106包括一个网络适配器(Network Interface Controller，简称为NIC)，其可通过基站与其他网络设备相连从而可与互联网进行通讯。在一个实例中，传输设备106可以为射频(Radio Frequency，简称为RF)模块，其用于通过无线方式与互联网进行通讯。

可选的，输入输出设备108还包括人机交互屏幕用于通过人机交互接口获取人机交互指令，还用于呈现流媒体画面；

在本实施例中提供了一种视频数据的处理方法，图2是根据本发明实施例的一种视频数据的处理方法的流程示意图，如图2所示，该流程包括如下步骤：

步骤S202，在播放端上显示实景视频画面和对应虚拟视频画面的加载入口；

本实施例的播放端是视频播放端，可以播放本地或者网络的视频数据，在播放端显示视频画面。该加载入口可以是一个播放端上显示的播放控件。

步骤S204，在检测到针对加载入口的触发指令之后，在播放端加载虚拟视频渲染数据，虚拟视频渲染数据用于显示与实景视频画面对应的虚拟视频画面；

其中，虚拟视频渲染数据包括以下至少之一：与实景视频画面中的至少一个对象对应的虚拟角色模型，虚拟角色模型的动作特征数据，虚拟角色模型的表情特征数据。

本实施例中的虚拟角色模型用于渲染显示虚拟视频画面中的虚拟角色，动作特征数据和表情特征数据分别用于驱动虚拟角色执行实景视频画面中的真人角色对应的动作和表情，以在播放端显示与实景视频画面相同的虚拟视频画面。例如，虚拟视频画面与实景视频画面同步显示，虚拟视频画面延时显示等。

本实施例播放端播放的视频画面包括实景视频画面和虚拟视频画面，实景视频画面与虚拟视频画面对应，例如，实景视频画面与虚拟视频画面中的人物角色相同，实景视频画面中的人物角色为真人，虚拟视频画面中的人物角色为虚拟人物。

通过上述步骤，在播放端上显示实景视频画面和对应虚拟视频画面的加载入口，在检测到针对加载入口的触发指令之后，在播放端加载虚拟视频渲染数据，虚拟视频渲染数据用于显示与实景视频画面对应的虚拟视频画面；其中，虚拟视频渲染数据包括：与实景视频画面中的至少一个对象对应的虚拟角色模型，虚拟角色模型的动作特征数据，虚拟角色模型的表情特征数据。通过在播放端上显示实景视频画面时同步显示对应的虚拟视频画面，实现了一种虚实结合的视觉观感效果，增强了相关技术中实景视频对应的展示方式，并结合虚拟渲染技术提供了对应实景视频更多的可显示方式和可交互方式，从而提高了实景视频播放的娱乐效果与体验。

在本实施例中，实景视频画面和虚拟视频画面中的视频元素(如人物、道具等)是相同，显示的视觉画面可以相同或者不同，播放端可以采集用户的控制指令，实现多运镜观看演出，用户可以自己定义摄像头的轨迹、位置等进行实时观看或者二次观看，从而呈现虚拟视频画面与实景视频画面不一致的画面，例如，实景视频画面中包括真人角色A，虚拟视频画面中包括与角色A对应的虚拟角色a，实景视频画面显示的是角色A的正面视角，虚拟视频画面显示的是角色a的侧面视角或者背面视角。

在本实施例的一个示例中，在播放端加载虚拟视频渲染数据之后，还包括：接收第一摄像头设置指令，其中，第一摄像头设置指令用于指示虚拟摄像头(也叫虚拟摄像机)的运动轨迹；根据第一摄像头设置指令所确定的虚拟摄像头的运动轨迹，与虚拟视频渲染数据渲染出在播放端上展示的第一虚拟视频画面。该示例中的虚拟摄像机的运动轨迹，优选地由视频制作方为更好地展现虚拟视频中的虚拟角色的动作、特技、肢体交互等舞台展现效果，而预置的特定虚拟相机运动轨迹。另外较佳地，在虚拟视频中，依据不同的角色类型(例如结合视频内容IP确定的一特定角色诸如孙悟空独有的动作、猪八戒独有的动作等)，虚拟视频会在其中进行自动的切换调整其对应虚拟相机运动轨迹。另外较佳地，在虚拟视频中，依据不同的动作类型(例如结合视频内容IP确定的一类动作，例如中国武术动作、拉丁舞蹈动作、等)，虚拟视频会在其中进行自动的切换调整其对应虚拟相机运动轨迹。对所述虚拟相机运动轨迹设置角色类型或动作类型的标记，并在虚拟视频渲染时，依据虚拟角色的物理动画或骨骼动画的角色类型或动作类型，自动加载对应标记的虚拟相机运动轨迹。较佳地，运动轨迹为由多个轨迹点连成的轨迹，所述虚拟相机运动轨迹可以由用户进行手动设置轨迹点，并在各轨迹点之间通过插值计算，确定出更加精细的运动点数据，从而实现摄像机的顺滑移动。

可选的，该第一摄像头设置指令可以是手势指令，如滑动轨迹，该滑动轨迹与控制虚拟视频画面显示视角的虚拟摄像头的运动轨迹相同或者匹配，虚拟视频画面在显示时呈现与该滑动轨迹对应的画面切换。

在另一个示例中，在播放端加载虚拟视频渲染数据之后，还包括：接收第二摄像头设置指令，其中，第二摄像头设置指令用于确定虚拟摄像头的镜头机位；根据第二摄像头设置指令确定的虚拟摄像头的镜头机位，与虚拟视频渲染数据，渲染出在播放端上展示的第二虚拟视频画面。在该实施例中，虚拟摄像头的镜头机位的使用权限可以分配给用户，不同镜头机位可以分配给不同用户，根据用户账号的账号类型分配镜头机位的使用权限，例如一般用户均可以获得主镜头机位的图像渲染数据，有权限获取主相机下的视频数据，而只有VIP用户可以另外获得其他镜头机位上虚拟相机的使用权限，例如设置在主角后面的配舞演员虚拟角色后的跟随相机。这样VIP用户可以使用更多的摄像机机位，获得不同视角的渲染数据，进而可以进行不同机位摄像机的虚拟视频数据的剪辑、切换与合成，最终获得所述第二虚拟视频画面。上述不同权限的用户对镜头机位的使用权限，可以进行配置，由用户进行选择配置，进而有权限获取配置相机的虚拟渲染画面。

上述实施例中的镜头机位配置，可以进一步地与上一实施例中的运动轨迹方案配合起来进行混合设置。例如获取一镜头机位上虚拟相机的使用权限后，进一步可以配置该虚拟相机的运动轨迹，进而获得该虚拟相机采集的虚拟视频数据。

在实景视频画面的画面采集现场，以晚会画面为例，可以在表演区布置三个机位，观众区布置一个机位，布置一个摇臂机位，每个机位所担负的功能与作用各异，彼此不能相互替代，例如，位于舞台的上场门处的一号机位，靠近台口，负责主持人与演员上场时的画面拍摄，它所提供的画面应以特写、中景与人全为主；位置居中的二号机位，放置在离舞台边沿约有一二十米远的直线距离外，放在观众席，通常机位架得比较高，具有较大的包容性，它的构图以大全景或小全景为主，框住正在表演的整个节目不使其出画，当舞台上节目做较大调度时，导播往往会用二号机做场面调度。

虚拟视频画面对应的虚拟场景中也布置多个镜头机位，每个镜头机位分别用于采集一个视野范围内的画面或者是某个对象的画面，图3是本发明实施例在虚拟场景中布局镜头机位的示意图，在虚拟场景中包括虚拟的对象1和对象2，布局了2个机位，机位1和机位2，虚拟摄像头在机位1时，可以采集到视野范围1和视野范围2内的画面，虚拟摄像头在机位2时，可以采集到视野范围3内的画面。

可选的，虚拟视频画面中还显示镜头机位的提示信息，如显示与镜头机位数量相同的多个虚拟点，用户点击某个虚拟点，虚拟摄像头的位置即可切换至虚拟点对应的镜头机位。

在本实施例的实施场景中，接收第二摄像头设置指令可以但不限于为：接收第一指令，其中，第一指令用于选择第一镜头机位，第一镜头机位的布置位置与虚拟视频画面中的虚拟主角对应；接收第二指令，其中，第二指令用于选择第二镜头机位，第二镜头机位的布置位置与虚拟视频画面中的虚拟配角对应。此外，还可以选择与观众席，舞台全景等对应的镜头机位，用于可以需求选择虚拟视频画面中待选的任意一个镜头机位。

在本实施例的一个实施方式中，在播放端加载虚拟视频渲染数据之后，还包括：在播放端的第一区域显示虚拟视频画面，在播放端的第二区域显示实景视频画面，其中，播放端包括：第一区域，第二区域，切换控件，交互控件，切换控件用于根据用户指令在播放端上切换虚拟视频画面和实景视频画面的显示位置，交互控件用于根据用户指令在播放端上执行虚拟视频画面与实景视频画面之间的交互动作。

可选的，第一区域与该第二区域相邻，或者是第二区域显示在第一区域的某个方位，或者是第一区域和第二区域布局为主显示区域和辅显示区域，第一区域为主显示区域，第二区域为辅显示区域，主显示区域的区域面积大于辅显示区域的区域面积，或者是第二区域在第二区域的中心，用户可以基于该切换控件对第一区域和第二区域的范围和位置进行切换。实景表演与虚拟表演的实时相互来回切换(或者同屏加载小窗一起看)，从而带来不同的观赏体验，实现传统电视节目中的实景视频画面与虚拟世界的虚拟视频画面无缝衔接。图4是本发明实施例在播放端显示虚拟视频画面和实景视频画面的示意图，包括第一区域和第二区域，以及控件显示区域，第一区域上显示虚拟视频画面，第二区域上显示实景视频画面，该控件显示区域除了显示切换控件，交互控件的控件按钮之外，还可以显示暂停，快进，倍速播放等常规的视频播放控件的控件按钮。

交互控件用于实现第一区域和第二区域中对象的交互，如在实景视频画面和虚拟视频画面中的相同角色上显示相同的提示信息，以提示用于这一对角色是是现实世界和虚拟世界中的同一个人，交互控件还可以同步检测实景视频画面的指定画面或画面切换类型，进而控制虚拟视频画面进行切换，如检测到实景视频画面播放广告时，控制虚拟视频画面切换指预设的视频桥段，该视频桥段可以不是实景视频画面中播放的广告。

在本实施例的一个实施方式中，在播放端加载虚拟视频渲染数据之后，还包括：获取实景视频画面采用的摄像机运动轨迹参数和/或摄像机机位参数；依据摄像机运动轨迹参数和/或摄像机机位参数以及虚拟视频渲染数据渲染出在播放端上展示的第三虚拟视频画面，其中，第三虚拟视频画面与实景视频画面的中的摄像机控制参数相同。

依据实景视频画面中舞台摄像机视角，获取实景视频画面采用的摄像机运动轨迹参数和/或摄像机机位参数，可以实时同步渲染出虚拟角色的表演视频数据，可以实现实景视频画面与虚拟视频画面的视角完全一致，从而模拟出与现场视频一致的虚拟视频效果。

在本实施例中，在播放端加载虚拟视频渲染数据之前，还包括：从云服务器获取与实景视频画面同步的第一虚拟视频渲染数据。或者，在播放端加载虚拟视频渲染数据之前，还包括：在本地播放端生成与实景视频画面同步的第二虚拟视频渲染数据。

在本实施例的一个实现场景中，虚拟视频渲染数据由云端服务器实时生成，向多个请求的播放端进行下发，与云直播的网络架构相同，实景视频画面的媒体数据可以由该云端服务器下发，也可以由其他的服务器(如广播电视信号的服务器等)下发，该云服务器实时获取该实景视频画面的播放进度，向播放端下发与该播放进度对应的虚拟视频渲染数据，云服务器预先生成和存储了该虚拟视频画面的完整虚拟视频渲染数据；

在本实施例的另一个实现场景中，虚拟视频渲染数据可以在播放端本地实时生成，如通过解析实景视频画面来生成虚拟视频渲染数据，或者是播放端与动捕设备(穿在演员身上)进行连接，实时解析动捕设备采集的动捕数据，基于动捕数据生成虚拟视频渲染数据，上述虚拟画面视频数据可以是类似3D游戏中的实时渲染画面，不卡帧的实时渲染，并可以进行类似游戏中的交互查看。

在云端服务器后台，通过动捕设备实时获取表演者的动作参数，在云端预先制作虚拟角色的虚拟角色模型，还可以制作指令集，动作特征数据和表情特征数据的生成策略等，基于该生成策略和动捕设备采集的动作参数，可以实时生成虚拟角色模型的动作特征数据和表情特征数据。

在一些示例中，第一虚拟视频渲染数据或第二虚拟视频渲染数据通过采用动捕数据和预设虚拟角色模型生成，动捕数据用于表征实景视频画面中真人的动作数据，动捕数据通过内置在目标对象上的动捕设备采集得到。

在本实施例的一个实施方式中，在播放端加载虚拟视频渲染数据之前，还包括：

S11，获取真实场景中真实对象的动作数据，其中，实景视频画面中包括真实对象；

在该实施方式中，真实场景是舞台演出场景，如晚会，话剧，演唱会等，在线下舞台的舞台人员，包括演员，主持人等，带上动捕设备，舞台在进行现场舞台演出同时，通过动捕设备采集动捕数据，通过动捕数据同步控制线上舞台上的虚拟角色模型，实现线上线下同步演出。

动捕设备可以是带在演员身上(包括四肢，头部等)的第一动捕设备，如内置运动传感器的连体服和帽子，运动传感器的位置即标记点的位置，用于采集演员的肢体动作。也可以包括设置在演员正前方的第二动捕设备，用于采集演员的脸部表情。

在一个示例中，获取真实场景中真实对象的动作数据包括：采用动捕设备采集真实对象的运动参数，其中，动捕设备内置在真实对象的身体上；基于运动参数生成真实对象的肢体动作数据。

可选的，基于运动参数生成真实对象的肢体动作数据包括：提取每个标记点采集的运动子参数，其中，动捕设备包括多个标记点，每个动捕点分别内置在真实对象的一个身体部位上，每个标记点对应一份运动子参数；针对每个标记点，按照预设周期构建运动子参数的移动曲线，并计算移动曲线的复杂度；在所有标记点中选择复杂度最大的若干个目标标记点；将若干个目标标记点的移动曲线确定为真实对象肢体表演的动作曲线。

在一些实例中，计算移动曲线的复杂度包括：计算移动曲线的延伸长度，以及计算移动曲线的曲率；基于延伸长度和曲率加权计算的移动曲线的复杂度。

在该实例中，同步控制的实现过程包括：构建原始动捕数据中标记点的移动曲线，计算该移动曲线的复杂度，若复杂度大于预设值，选取该标记点，若复杂度小于或等于预设值，舍弃该标记点，或者选择复杂度最大的若干个标记点集合，基于标记点集合中的各个标记点的位置数据绘制的动作曲线识别演员动作类型，如走路，起跳，下蹲等，进而在指令集中查找与该动作类型匹配的控制指令，对虚拟角色模型进行同步控制，实现同步演出。

在另一个示例中，获取真实场景中真实对象的动作数据包括：采用三维结构光相机采集真实对象的面部点云，其中，三维结构光相机相对设置在真实对象的身体前方；基于面部点云的深度信息生成真实对象的脸部动作数据。

在一些实例中，基于面部点云的深度信息生成真实对象的脸部动作数据包括：从面部点云中提取各个点的水平坐标值，基于水平坐标值确定面部点云围成的面部区域；将面部区域缩放到与虚拟对象的脸部尺寸相同；提取面部点云中各个点的深度坐标值，从面部点云中选择深度坐标值与标准深度的差值大于预设值的目标点；将目标点确定为真实对象的脸部动作数据。

针对面部表情的呈现，由于脸部是一个类平面，可以采用3D机构光相机采集舞台演员的面部深度信息，形成脸部点云，将脸部点云的区域面积缩放到与虚拟角色模型的脸部区域相同，提取脸部点云的Z坐标的坐标值，然后基于相同的三维坐标系映射到虚拟角色模型的脸部区域，生成对应的虚拟脸部表情。

S12，确定与真实对象匹配的虚拟对象，虚拟视频画面包括虚拟对象，虚拟对象是真实对象的虚拟角色模型；

S13，根据动作数据生成虚拟对象的驱动数据，其中，驱动数据包括动作特征数据和表情特征数据；

在一个示例中，若动作数据为动作曲线，根据动作数据生成虚拟对象的驱动数据包括：根据若干条动作曲线识别虚拟对象待执行的动作类型；在虚拟对象的指令集中查找与动作类型匹配的第一骨骼驱动指令。

在另一个示例中，若动作数据为脸部动作数据，根据动作数据生成虚拟对象的驱动数据包括：在预设表情库中查找与脸部动作数据匹配的虚拟脸部表情；在虚拟对象的指令集中查找与虚拟脸部表情匹配的捏脸指令。

S14，采用虚拟角色模型和驱动数据打包生成虚拟视频渲染数据。

在该实施方式中，驱动数据包括了动作特征数据和表情特征数据。

在本实施例的一个实施方式中，虚拟视频画面还包括虚拟背景画面，还包括：从实景视频画面中获取视频背景的素材资源，和/或，从自定义图片中获取视频背景的素材资源；采用素材资源渲染生成虚拟视频画面的虚拟背景画面。

其中，该虚拟视频画面可以是实景图像或者实景视频，如采用摄像机拍摄得到或者是从网上获取得到的实景视图，当然也可以是制作出来的虚拟视图，在从实景视频画面中获取视频背景的素材资源。在一些示例中，针对线上虚拟晚会等虚拟视频画面的背景舞台，可以采用预先制作好的资源进行搭建，可以按照比例还原线下舞台，也可以在虚拟晚会的背景舞台上添加其他视觉元素，也可以实景和虚景之间的互动。例如，采集线下舞台的环境音，在线上舞台中重现。

在本实施例的一个实施方式中，在播放端加载虚拟视频渲染数据之后，还包括：采集针对虚拟视频画面的舆情信息；在虚拟视频画面中显示舆情信息，并将舆情信息发送至实景视频画面的数据服务器，以使在实景视频画面中同步显示舆情信息。

本实施方式可以实现真实世界的实景视频画面与虚拟世界的虚拟视频画面的同步和深度融合，将真实世界中的互动表现在虚拟世界的画面中，虚拟世界的互动表现到真实世界的画面中，由于虚拟世界的虚拟视频画面(类似于游戏画面，短视频画面等)是可以交互的，即接收用户的舆情信息，如点赞收藏，弹幕，投票等，可以将这些信息同步显示在真实世界的实景视频画面中。同时，对于真实演员在实景视频画面上的某些动作，例如生气，冥想等心理活动的刻画，不能通过直接的特征动作进行直观提现，也可以在虚拟舞台中生成一些匹配的特效画面并显示，实现虚拟的画面融合。由于虚拟世界没有字观众，对于真实世界中演员与观众之间的互动，也可以通过特效画面等表现到虚拟世界的线上画面中。

在本实施例的一个实施方式中，还包括：识别实景视频画面中真实对象的互动动作；向播放端发送互动请求；从播放端接收基于互动请求反馈的互动指令；在虚拟视频画面中显示与互动指令对应的虚拟动作；或者，在预设资源库中查找与互动动作匹配的虚拟道具和/或特效画面；在虚拟视频画面中融合显示虚拟道具和/或特效画面。

在该实施方式中，针对实景视频画面提现的真实世界中的人与物之间的互动，也可以实现虚实结合，例如，跨年撞钟，用户与虚拟角色合奏节目，如可以在虚拟舞台上添加一个道具钟作为虚拟道具，通过播放端的重力传感器或者加速度传感器，电脑的键鼠设备等采集交互指令，进而模拟出撞钟的效果。

在本实施例的一个实施方式中，还包括：从播放端接收虚拟视频画面的风格配置指令，其中，风格配置指令用于指示虚拟视频画面的背景风格和角色风格；基于风格配置指令配置虚拟视频画面的视频背景形象和虚拟角色形象。在实施方式可以在生成或者获取虚拟视频渲染数据时进行实现，对虚拟视频渲染数据进行差异化配置，如配置虚拟角色模型的模型参数，如身高，体重，服饰，脸部细节等。

播放端或者服务器在渲染底层，引擎实时渲染，可以在不同的播放端上加载不同的虚拟视频渲染数据，实现千人千面，每个人选择的风格可能不同，如现代风，民国风，嘻哈风等。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到根据上述实施例的方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端设备(可以是手机，计算机，服务器，或者网络设备等)执行本发明各个实施例所述的方法。

实施例2

在本实施例中还提供了一种视频数据的处理装置，用于实现上述实施例及优选实施方式，已经进行过说明的不再赘述。如以下所使用的，术语“模块”可以实现预定功能的软件和/或硬件的组合。尽管以下实施例所描述的装置较佳地以软件来实现，但是硬件，或者软件和硬件的组合的实现也是可能并被构想的。

图5是根据本发明实施例的一种视频数据的处理装置的结构框图，如图5所示，该装置包括：显示模块50，加载模块52，其中，

显示模块50，用于在播放端上显示实景视频画面和对应虚拟视频画面的加载入口；

加载模块52，用于在检测到针对所述加载入口的触发指令之后，在所述播放端加载虚拟视频渲染数据，所述虚拟视频渲染数据用于显示与所述实景视频画面对应的虚拟视频画面；其中，所述虚拟视频渲染数据包括以下至少之一：与所述实景视频画面中的至少一个对象对应的虚拟角色模型，所述虚拟角色模型的动作特征数据，所述虚拟角色模型的表情特征数据。

需要说明的是，上述各个模块是可以通过软件或硬件来实现的，对于后者，可以通过以下方式实现，但不限于此：上述模块均位于同一处理器中；或者，上述各个模块以任意组合的形式分别位于不同的处理器中。

实施例3

本申请实施例还提供了一种电子装置，图6是本发明实施例的一种电子装置的结构图，如图6所示，包括处理器61、通信接口62、存储器63和通信总线64，其中，处理器61，通信接口62，存储器63通过通信总线64完成相互间的通信，存储器63，用于存放计算机程序；

处理器61，用于执行存储器63上所存放的程序时，实现如下步骤：在播放端上显示实景视频画面和对应虚拟视频画面的加载入口；在检测到针对所述加载入口的触发指令之后，在所述播放端加载虚拟视频渲染数据，所述虚拟视频渲染数据用于显示与所述实景视频画面对应的虚拟视频画面；其中，所述虚拟视频渲染数据包括以下至少之一：与所述实景视频画面中的至少一个对象对应的虚拟角色模型，所述虚拟角色模型的动作特征数据，所述虚拟角色模型的表情特征数据。

可选的，在所述播放端加载虚拟视频渲染数据之后，所述方法还包括：接收第一摄像头设置指令，其中，所述第一摄像头设置指令用于指示虚拟摄像头的运动轨迹；根据所述第一摄像头设置指令所确定的虚拟摄像头的运动轨迹，与所述虚拟视频渲染数据渲染出在所述播放端上展示的第一虚拟视频画面。

可选的，在所述播放端加载虚拟视频渲染数据之后，所述方法还包括：在所述播放端的第一区域显示所述虚拟视频画面，在所述播放端的第二区域显示所述实景视频画面，其中，所述播放端包括：所述第一区域，所述第二区域，切换控件，交互控件，所述切换控件用于根据用户指令在所述播放端上切换所述虚拟视频画面和所述实景视频画面的显示位置，所述交互控件用于根据用户指令在所述播放端上执行所述虚拟视频画面与所述实景视频画面之间的交互动作。

可选的，在在所述播放端加载虚拟视频渲染数据之后，所述方法还包括：接收第二摄像头设置指令，其中，所述第二摄像头设置指令用于确定虚拟摄像头的镜头机位；根据所述第二摄像头设置指令确定的虚拟摄像头的镜头机位，与所述虚拟视频渲染数据，渲染出在所述播放端上展示的第二虚拟视频画面。

可选的，接收第二摄像头设置指令包括以下之一：接收第一指令，其中，所述第一指令用于选择第一镜头机位，所述第一镜头机位的布置位置与所述虚拟视频画面中的虚拟主角对应；接收第二指令，其中，所述第二指令用于选择第二镜头机位，所述第二镜头机位的布置位置与所述虚拟视频画面中的虚拟配角对应。

可选的，在所述播放端加载虚拟视频渲染数据之前，所述方法还包括：从云服务器获取与所述实景视频画面同步的第一虚拟视频渲染数据。

可选的，在所述播放端加载虚拟视频渲染数据之前，所述方法还包括：在本地播放端生成与所述实景视频画面同步的第二虚拟视频渲染数据。

可选的，在所述播放端加载虚拟视频渲染数据之后，所述方法还包括：取所述实景视频画面采用的摄像机运动轨迹参数和/或摄像机机位参数；依据所述摄像机运动轨迹参数和/或摄像机机位参数以及所述虚拟视频渲染数据渲染出在所述播放端上展示的第三虚拟视频画面，其中，所述第三虚拟视频画面与所述实景视频画面的中的摄像机控制参数相同。

可选的，所述第一虚拟视频渲染数据或所述第二虚拟视频渲染数据通过采用动捕数据和预设虚拟角色模型生成，所述动捕数据用于表征所述实景视频画面中真人的动作数据，所述动捕数据通过内置在目标对象上的动捕设备采集得到。

可选的，在所述播放端加载虚拟视频渲染数据之前，所述方法还包括：获取真实场景中真实对象的动作数据，其中，所述实景视频画面中包括所述真实对象；确定与所述真实对象匹配的虚拟对象，所述虚拟视频画面包括所述虚拟对象，所述虚拟对象是所述真实对象的虚拟角色模型；根据所述动作数据生成所述虚拟对象的驱动数据，其中，所述驱动数据包括所述动作特征数据和所述表情特征数据；采用所述虚拟角色模型和所述驱动数据打包生成所述虚拟视频渲染数据。

可选的，获取真实场景中真实对象的动作数据包括：采用动捕设备采集所述真实对象的运动参数，其中，所述动捕设备内置在所述真实对象的身体上；基于所述运动参数生成所述真实对象的肢体动作数据。

可选的，基于所述运动参数生成所述真实对象的肢体动作数据包括：提取每个标记点采集的运动子参数，其中，所述动捕设备包括多个标记点，每个动捕点分别内置在所述真实对象的一个身体部位上，每个标记点对应一份运动子参数；针对每个标记点，按照预设周期构建运动子参数的移动曲线，并计算移动曲线的复杂度；在所有标记点中选择复杂度最大的若干个目标标记点；将所述若干个目标标记点的移动曲线确定为所述真实对象肢体表演的动作曲线。

可选的，计算移动曲线的复杂度包括：计算所述移动曲线的延伸长度，以及计算所述移动曲线的曲率；基于所述延伸长度和所述曲率加权计算的所述移动曲线的复杂度。

可选的，获取真实场景中真实对象的动作数据包括：采用三维结构光相机采集所述真实对象的面部点云，其中，所述三维结构光相机相对设置在所述真实对象的身体前方；基于所述面部点云的深度信息生成所述真实对象的脸部动作数据。

可选的，基于所述面部点云的深度信息生成所述真实对象的脸部动作数据包括：从所述面部点云中提取各个点的水平坐标值，基于所述水平坐标值确定所述面部点云围成的面部区域；将所述面部区域缩放到与所述虚拟对象的脸部尺寸相同；提取所述面部点云中各个点的深度坐标值，从所述面部点云中选择深度坐标值与标准深度的差值大于预设值的目标点；将所述目标点确定为所述真实对象的脸部动作数据。

可选的，若所述动作数据为动作曲线，根据所述动作数据生成所述虚拟对象的驱动数据包括：根据若干条动作曲线识别所述虚拟对象待执行的动作类型；在所述虚拟对象的指令集中查找与所述动作类型匹配的第一骨骼驱动指令。

可选的，若所述动作数据为脸部动作数据，根据所述动作数据生成所述虚拟对象的驱动数据包括：在预设表情库中查找与所述脸部动作数据匹配的虚拟脸部表情；在所述虚拟对象的指令集中查找与所述虚拟脸部表情匹配的捏脸指令。

可选的，所述方法还包括：从所述实景视频画面中获取视频背景的素材资源，和/或，从自定义图片中获取视频背景的素材资源；采用所述素材资源渲染生成所述虚拟视频画面的虚拟背景画面。

可选的，在所述播放端加载虚拟视频渲染数据之后，所述方法还包括：采集针对所述虚拟视频画面的舆情信息；在所述虚拟视频画面中显示所述舆情信息，并将所述舆情信息发送至所述实景视频画面的数据服务器，以使在所述实景视频画面中同步显示所述舆情信息。

可选的，所述方法还包括：识别所述实景视频画面中真实对象的互动动作；向所述播放端发送互动请求；从所述播放端接收基于所述互动请求反馈的互动指令；在所述虚拟视频画面中显示与所述互动指令对应的虚拟动作；或者，在预设资源库中查找与所述互动动作匹配的虚拟道具和/或特效画面；在所述虚拟视频画面中融合显示所述虚拟道具和/或所述特效画面。

可选的，所述方法还包括：从所述播放端接收所述虚拟视频画面的风格配置指令，其中，所述风格配置指令用于指示所述虚拟视频画面的背景风格和角色风格；基于所述风格配置指令配置所述虚拟视频画面的视频背景形象和虚拟角色形象。

上述终端提到的通信总线可以是外设部件互连标准(Peripheral ComponentInterconnect，简称PCI)总线或扩展工业标准结构(Extended Industry StandardArchitecture，简称EISA)总线等。该通信总线可以分为地址总线、数据总线、控制总线等。为便于表示，图中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。

通信接口用于上述终端与其他设备之间的通信。

存储器可以包括随机存取存储器(Random Access Memory，简称RAM)，也可以包括非易失性存储器(non-volatile memory)，例如至少一个磁盘存储器。可选的，存储器还可以是至少一个位于远离前述处理器的存储装置。

上述的处理器可以是通用处理器，包括中央处理器(Central Processing Unit，简称CPU)、网络处理器(Network Processor，简称NP)等；还可以是数字信号处理器(Digital Signal Processing，简称DSP)、专用集成电路(Application SpecificIntegrated Circuit，简称ASIC)、现场可编程门阵列(Field－Programmable Gate Array，简称FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。

在本申请提供的又一实施例中，还提供了一种计算机可读存储介质，该计算机可读存储介质中存储有指令，当其在计算机上运行时，使得计算机执行上述实施例中任一所述的视频数据的处理方法。

在本申请提供的又一实施例中，还提供了一种包含指令的计算机程序产品，当其在计算机上运行时，使得计算机执行上述实施例中任一所述的视频数据的处理方法。

在上述实施例中，可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时，可以全部或部分地以计算机程序产品的形式实现。所述计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行所述计算机程序指令时，全部或部分地产生按照本申请实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一个计算机可读存储介质传输，例如，所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线(DSL))或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质，(例如，软盘、硬盘、磁带)、光介质(例如，DVD)、或者半导体介质(例如固态硬盘Solid State Disk(SSD))等。

上述本申请实施例序号仅仅为了描述，不代表实施例的优劣。

在本申请的上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其他实施例的相关描述。

在本申请所提供的几个实施例中，应该理解到，所揭露的技术内容，可通过其它的方式实现。其中，以上所描述的装置实施例仅仅是示意性的，例如所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，单元或模块的间接耦合或通信连接，可以是电性或其它的形式。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。

所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可为个人计算机、服务器或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。

以上所述仅是本申请的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本申请原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本申请的保护范围。

Claims (10)

1.一种视频数据的处理方法，其特征在于，包括：

在播放端上显示实景视频画面和对应虚拟视频画面的加载入口；

在检测到针对所述加载入口的触发指令之后，在所述播放端加载虚拟视频渲染数据，所述虚拟视频渲染数据用于显示与所述实景视频画面对应的虚拟视频画面；

其中，所述虚拟视频渲染数据包括以下至少之一：与所述实景视频画面中的至少一个对象对应的虚拟角色模型，所述虚拟角色模型的动作特征数据，所述虚拟角色模型的表情特征数据。

2.根据权利要求1所述的方法，其特征在于，在所述播放端加载虚拟视频渲染数据之后，所述方法还包括：

接收第一摄像头设置指令，其中，所述第一摄像头设置指令用于指示虚拟摄像头的运动轨迹；

根据所述第一摄像头设置指令所确定的虚拟摄像头的运动轨迹，与所述虚拟视频渲染数据渲染出在所述播放端上展示的第一虚拟视频画面。

3.根据权利要求1所述的方法，其特征在于，在所述播放端加载虚拟视频渲染数据之后，所述方法还包括：

接收第二摄像头设置指令，其中，所述第二摄像头设置指令用于确定虚拟摄像头的镜头机位；

根据所述第二摄像头设置指令确定的虚拟摄像头的镜头机位，与所述虚拟视频渲染数据，渲染出在所述播放端上展示的第二虚拟视频画面。

4.根据权利要求3所述的方法，其特征在于，接收第二摄像头设置指令包括以下之一：

接收第一指令，其中，所述第一指令用于选择第一镜头机位，所述第一镜头机位的布置位置与所述虚拟视频画面中的虚拟主角对应；

接收第二指令，其中，所述第二指令用于选择第二镜头机位，所述第二镜头机位的布置位置与所述虚拟视频画面中的虚拟配角对应。

5.根据权利要求1所述的方法，其特征在于，在所述播放端加载虚拟视频渲染数据之后，所述方法还包括：

获取所述实景视频画面采用的摄像机运动轨迹参数和/或摄像机机位参数；

依据所述摄像机运动轨迹参数和/或摄像机机位参数以及所述虚拟视频渲染数据渲染出在所述播放端上展示的第三虚拟视频画面，其中，所述第三虚拟视频画面与所述实景视频画面的中的摄像机控制参数相同。

6.根据权利要求1所述的方法，其特征在于，所述虚拟视频渲染数据通过采用动捕数据和预设虚拟角色模型生成，所述动捕数据用于表征所述实景视频画面中真人的动作数据，所述动捕数据通过内置在目标对象上的动捕设备采集得到。

7.根据权利要求1所述的方法，其特征在于，在所述播放端加载虚拟视频渲染数据之前，所述方法还包括：

获取真实场景中真实对象的动作数据，其中，所述实景视频画面中包括所述真实对象；

确定与所述真实对象匹配的虚拟对象，所述虚拟视频画面包括所述虚拟对象，所述虚拟对象是所述真实对象的虚拟角色模型；

根据所述动作数据生成所述虚拟对象的驱动数据，其中，所述驱动数据包括所述动作特征数据和所述表情特征数据；

采用所述虚拟角色模型和所述驱动数据打包生成所述虚拟视频渲染数据。

8.根据权利要求7所述的方法，其特征在于，获取真实场景中真实对象的动作数据包括：

采用动捕设备采集所述真实对象的运动参数，其中，所述动捕设备内置在所述真实对象的身体上；

基于所述运动参数生成所述真实对象的肢体动作数据。

9.根据权利要求8所述的方法，其特征在于，基于所述运动参数生成所述真实对象的肢体动作数据包括：

提取每个标记点采集的运动子参数，其中，所述动捕设备包括多个标记点，每个动捕点分别内置在所述真实对象的一个身体部位上，每个标记点对应一份运动子参数；

针对每个标记点，按照预设周期构建运动子参数的移动曲线，并计算移动曲线的复杂度；

在所有标记点中选择复杂度最大的若干个目标标记点；

将所述若干个目标标记点的移动曲线确定为所述真实对象肢体表演的动作曲线。

10.根据权利要求1所述的方法，其特征在于，所述方法还包括：

识别所述实景视频画面中真实对象的互动动作；

向所述播放端发送互动请求；从所述播放端接收基于所述互动请求反馈的互动指令；在所述虚拟视频画面中显示与所述互动指令对应的虚拟动作；或者，在预设资源库中查找与所述互动动作匹配的虚拟道具和/或特效画面；在所述虚拟视频画面中融合显示所述虚拟道具和/或所述特效画面。

Images