CN113747138A - 虚拟场景的视频生成方法和装置、存储介质及电子设备 - Google Patents

Abstract

本发明公开了虚拟场景的视频生成方法和装置、存储介质及电子设备，该方法包括：根据获取到的当前场景的场景数据在终端的显示界面中显示当前场景对应的虚拟场景图，其中，虚拟场景图用于绘制二维虚拟场景图；获取在虚拟场景图中绘制的虚拟运动路径；从虚拟运动路径提取路径关键点，并利用已选镜头对应的模拟拍摄参数将路径关键点的二维坐标转化为三维坐标；根据虚拟运动路径中路径关键点的三维坐标，生成路径关键点各自对应的关键帧图像；根据关键帧图像生成虚拟运动路径的三维空间场景视频。本发明解决了用户拍摄虚拟场景拍摄成本高的技术问题。

Description

虚拟场景的视频生成方法和装置、存储介质及电子设备

技术领域

本发明涉及计算机领域，具体而言，涉及虚拟场景的视频生成方法和装置、存储介质及电子设备。

背景技术

随着漫游动画普及度越来越高，用户对漫游动画制作的需求越来越多。在现有技术中，用户完成一条漫游漫画需要掌握多个软件的使用方法，但这些软件大多是大型商用软件，用户获取软件的成本和学习的成本较高，同时为了实现动画效果，用户往往需要配备高于消费者市场主流配置的计算机，才能满足建模、渲染和视频生成的运行环境要求，这样使得用户的硬件成本较高。而且在完成动画后，用户为计算机环境中实现动画的编辑和存储，需要承担单机环境产生的迁移成本和较高的风险成本。因此，用户急需一款操作难度低、学习成本低且动画完成度较高的虚拟视频生成交互方法。

针对上述，目前尚未提出有效的解决方案。

发明内容

本发明实施例提供了虚拟场景的视频生成方法和装置、存储介质及电子设备，以至少解决用户拍摄虚拟场景拍摄成本高的技术问题。

根据本发明实施例的一个方面，提供一种虚拟场景的视频生成方法，包括：根据获取到的当前场景的场景数据在终端的显示界面中显示上述当前场景对应的虚拟场景图，其中，上述虚拟场景图用于绘制二维虚拟场景图；获取在上述虚拟场景图中绘制的虚拟运动路径；从上述虚拟运动路径提取路径关键点，并利用已选镜头对应的模拟拍摄参数将上述路径关键点的二维坐标转化为三维坐标；根据上述虚拟运动路径中上述路径关键点的三维坐标，生成上述路径关键点各自对应的关键帧图像；根据上述关键帧图像生成上述虚拟运动路径的三维空间场景视频。

作为一种可选的方案，上述获取在上述虚拟场景图中绘制的虚拟运动路径包括：在上述虚拟场景图中选定上述虚拟运动路径的起点和终点；响应于对上述虚拟场景图中所显示的摄像头图标执行的操作，绘制摄像头操作轨迹，其中，上述摄像头操作轨迹对应的轨迹标签用于指示上述虚拟运动路径的运动方向。

作为一种可选的方案，上述从上述虚拟运动路径提取关键点，并利用已选镜头对应的模拟拍摄参数将上述关键点的二维坐标转化为三维坐标包括：对上述虚拟运动路径进行采样，以提取上述路径关键点；获取上述路径关键点在上述终端的显示界面的二维坐标；从上述已选镜头对应的模拟拍摄参数中，获取上述已选镜头的拍摄高度；根据上述二维坐标和上述拍摄高度，获取上述路径关键点在上述虚拟场景下的上述三维坐标。

作为一种可选的方案，上述对上述虚拟运动路径进行采样，以提取上述路径关键点包括：从上述已选镜头对应的模拟拍摄参数中，获取上述已选镜头的运动速度；根据上述运动速度和上述虚拟运动路径，计算运动时间段；基于上述运动时间段对上述虚拟运动路径进行间隔采样，提取上述路径关键点。

作为一种可选的方案，上述根据上述虚拟运动路径中上述路径关键点的三维坐标，生成上述路径关键点各自对应的关键帧图像包括：从上述已选镜头对应的模拟拍摄参数中，获取上述虚拟运动路径对应的渲染包围盒信息，其中，上述包围盒信息用于指示上述已选镜头的拍摄视角和上述已选镜头的拍摄高度；根据上述虚拟路径对应的上述渲染包围盒信息，对上述路径关键点进行渲染，以生成上述路径关键点对应的关键帧图像。

作为一种可选的方案，上述根据上述关键帧图像生成上述虚拟运动路径的三维空间场景视频包括：获取上述关键帧图像对应的第一神经网络输入特征和第二神经网络输入特征；利用上述关键帧图像、上述第一神经网络输入特征和上述第二神经网络输入特征，计算出相邻的上述关键帧图像之间对应的中间帧图像；根据上述中间帧图像和上述关键帧图像输出上述三维空间场景视频。

作为一种可选的方案，上述获取上述关键帧图像对应的第一神经网络输入特征和第二神经网络输入特征包括：获取上述关键帧图像对应的静帧图像和附加特征信息，作为上述第一神经网络输入特征，其中，上述附加特征信息中包括像素深度位图；根据上述静帧图像中的相邻帧图像预测光流，将预测结果中的光流信息作为上述第二神经网络输入特征。

根据本发明实施例的又一方面，还提供一种虚拟场景的视频生成装置，其特征在于，包括：绘制场景单元，用于根据获取到的当前场景的场景数据在终端的显示界面中显示上述当前场景对应的虚拟场景图，其中，上述虚拟场景图用于绘制二维虚拟场景图；读取场景单元，用于获取在上述虚拟场景图中绘制的虚拟运动路径；坐标获取单元，用于从上述虚拟运动路径提取路径关键点，并利用已选镜头对应的模拟拍摄参数将上述路径关键点的二维坐标转化为三维坐标；坐标转换单元，用于根据上述虚拟运动路径中上述路径关键点的三维坐标，生成上述路径关键点各自对应的关键帧图像；渲染单元，用于根据上述关键帧图像生成上述虚拟运动路径的三维空间场景视频。

根据本发明实施例的又一方面，还提供一种存储介质，存储介质中存储有计算机程序，其中，计算机程序被设置为运行时执行上述的方法。

根据本发明实施例的又一方面，还提供一种电子设备，包括存储器和处理器，其特征在于，上述存储器中存储有计算机程序，上述处理器被设置为通过上述计算机程序执行上述方法。

在本发明实施例中，根据获取到的当前场景的场景数据在终端的显示界面中显示当前场景对应的虚拟场景图，其中，虚拟场景图用于绘制二维虚拟场景图；获取在虚拟场景图中绘制的虚拟运动路径；从虚拟运动路径提取路径关键点，并利用已选镜头对应的模拟拍摄参数将路径关键点的二维坐标转化为三维坐标；根据虚拟运动路径中路径关键点的三维坐标，生成路径关键点各自对应的关键帧图像；根据关键帧图像生成虚拟运动路径的三维空间场景视频。也就是说，通过在虚拟场景图中绘制虚拟路径，基于虚拟路径生成三维空间场景视频，可以极大地减少了虚拟场景的视频生成难度，有效解决了用户拍摄虚拟场景拍摄成本高的技术问题。

附图说明

此处所说明的附图用来提供对本发明的进一步理解，构成本申请的一部分，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：

图1是根据本发明实施例的一种可选的虚拟场景的视频生成方法的应用环境的示意图；

图2是根据本发明实施例的一种可选的虚拟场景的视频生成方法的流程示意图；

图3是根据本发明实施例的一种可选的虚拟场景的视频生成方法的界面示意图；

图4是根据本发明实施例的另一种可选的虚拟场景的视频生成方法的流程示意图；

图5是根据本发明实施例的另一种可选的虚拟场景的视频生成方法的流程示意图；

图6是根据本发明实施例的另一种可选的虚拟场景的视频生成方法的流程示意图；

图7是根据本发明实施例的另一种可选的虚拟场景的视频生成方法的流程示意图；

图8是根据本发明实施例的一种渲染包围盒的示意图；

图9是根据本发明实施例的另一种可选的虚拟场景的视频生成方法的流程示意图；

图10是根据本发明实施例的一种可选的虚拟场景的视频生成装置的结构示意图；

图11是根据本发明实施例的一种可选的虚拟场景的视频的生成方法的电子设备的结构示意图。

具体实施方式

为了使本技术领域的人员更好地理解本发明方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分的实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护的范围。

需要说明的是，本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。

随着对漫游动画普及度越来越高，用户对漫游动画制作的需求越来越多。在现有技术中，用户完成一条漫游漫画需要掌握多个软件的使用，但这些软件都是大型商业软件，软件成本和学习成本较高，同时需要操作者配备高于消费者市场主流配置的计算机，才能满足建模、渲染和视频生成的运行环境要求，硬件成本较高，对于操作者在计算机环境中实现编辑和存储、对单机环境产生的迁移成本和风险成本较高。因此，用户急需一款操作难度低、学习成本低的虚拟视频生成交互方法。

根据本发明实施例的一个方面，提供了一种虚拟场景的视频生成方法，可选地，上述虚拟场景的视频生成方法可以但不限于应用于如图1所示的环境中。用户界面102中包含有绘图工具104和虚拟场景图106。

在虚拟场景图106绘制虚拟路径时，用户在用户界面102中通过绘图工具104选择绘图工具，进而在虚拟场景图106中绘制二维虚拟场景图，并将绘制的二维虚拟场景图传送给服务器。

处理器104通过步骤S104获取二维虚拟场景图，处理器104通过步骤S106、步骤S108、步骤S110、步骤S112生成三维空间场景视频。处理器104生成三维空间场景视频后通过步骤S114将三维场景视频传送给服务端106。可选地，服务端106与显示设备108相连，服务端106可以实现对三维场景视频的剪辑、存储，显示设备108用于显示三维场景视频。

作为一种可选的实施方式，如图1所示，处理器104处理虚拟场景图包括步骤S106至S112，具体过程可以如下步骤：

步骤S106，获取在虚拟场景图中绘制的虚拟运动路径；

步骤S108，从虚拟运动路径提取路径关键点，并利用已选镜头对应的模拟拍摄参数将路径关键点的二维坐标转化为三维坐标；

步骤S110，根据虚拟运动路径中路径关键点的三维坐标，生成路径关键点各自对应的关键帧图像；

步骤S112，根据关键帧图像生成三维场景空间场景视频。

可选地，在本实施例中，上述虚拟场景，绘图工具包括但不限于摄像头图标、路径线等，摄像头携带有各自摄像头参数、可选地，作为一种可选的实施方式，如图2所示，虚拟场景的视频生成方法包括：

S202，根据获取到的当前场景的场景数据在终端的显示界面中显示当前场景对应的虚拟场景图，其中，虚拟场景图用于绘制二维虚拟场景图；

S204，获取在虚拟场景图中绘制的虚拟运动路径；

S206，从虚拟运动路径提取路径关键点，并利用已选镜头对应的模拟拍摄参数将路径关键点的二维坐标转化为三维坐标；

S208，根据虚拟运动路径中路径关键点的三维坐标，生成路径关键点各自对应的关键帧图像；

S210，根据关键帧图像生成虚拟运动路径的三维空间场景视频。

可选地，图3为一种用户界面示意图。如图3所示，用户界面包括镜头列表302、绘图工具304、虚拟场景图306、监视器308、镜头参数调节区域310。本实施例只是展示一种界面情况，在具体应用中，上述用户界面不限于图3的排列方式。

可选地，绘图工具304包括路径线3042、选中框3044、控制点3046和视点3048。在绘制虚拟场景图306时，通过绘图工具304绘制二维的虚拟场景图306，通过镜头列表302选择镜头，在镜头参数调节区域310中显示镜头参数。

可选地，路径线3042包括直线路径、曲线路径和垂线路径，不同路径对应有不同标签的箭头。在选择直线路径时，点击直线镜头或按直线路径快捷键，让箭头标签变为直线镜头，生成起点后，在另一个位置上再次点击，生成终点，在起点和终点完成路径的绘制。在选择曲线路径时，点击曲线镜头或按曲线路径快捷键，让箭头标签变为曲线镜头，生成起点后，在另一个位置上再次点击，生成终点，完成曲线路径绘制，其中，生成的曲线中间携带有锚点，锚点可以调整曲线弯曲程度。点击垂线镜头或按垂线路径快捷键，让箭头标签变为垂线镜头，生成起点后，在另一个位置上再次点击，生成终点。选中框3044用于展示鼠标选择状态、控制点3046包括起点、终点和控制点，视点3048用于展示镜头角度。监视器308用于在绘制虚拟场景图306的状态，镜头参数调节区域310用于展示选中的镜头在虚拟场景图306上的变化。

可选地，镜头参数调节区域310还包括各种动画场景模式及镜头参数变化特征。动画场景模式包括阳光运动、用于在虚拟场景内增加模拟阳光的光场，可以根据用户预先设定的虚拟场景时间增加渲染场景的真实度。镜头参数变化特征包括：聚焦镜头，用于自始至终追踪某个时点的镜头；起终点镜头高度。用于调整起点和/或终点的高度产生上升或下降的镜头；相机运动反向运动功能，用于使当前相机运动方向反向，起点和/或终点互换，相机出发由起点移至终点；相机镜头基础参数功能，用于调整镜头视野、水平角度、俯仰角度等；移动速率调节功能，用于给出默认五档点位移动速度、或用户自定义；相机剪裁，用于应对一些远景全景，相机位置有可能被遮挡的情况。

图4为步骤S202的一种实施例，如图4所示，步骤S202包括如下步骤：

S402：在虚拟场景图中选定虚拟运动路径的起点和终点；

S404：响应于对虚拟场景图中所显示的摄像头图标执行的操作，绘制摄像头操作轨迹，其中，摄像头操作轨迹对应的轨迹标签用于指示虚拟运动路径的运动方向。

在本实施例中，在虚拟场景图中选中控制点作为虚拟运动路径的起点和终点。基于绘制的直线、圆弧和贝塞尔曲线可以构建出语义更加丰富的相机路径；针对多段相机路径，用户可自定义每段路径的相机运动速度，可以达到快慢不同的运镜速度，从而实现更好的动画效果；此外，相机视角也能在运动的过程中独立调整视点和轨迹。在已知相机轨迹、速度的情况下，可以准确地采样出每个视频帧中相机具体的位置和视角节点，使连贯的动画成为可能。

图5为步骤S206的一种实施例，如图5所示，将路径关键点的二维坐标转化为三维坐标包括：

S502，对虚拟运动路径进行采样，以提取路径关键点；

S504，获取路径关键点在终端的显示界面的二维坐标；

S506，从已选镜头对应的模拟拍摄参数中，获取已选镜头的拍摄高度；

S508，根据二维坐标和拍摄高度，获取路径关键点在虚拟场景下的三维坐标。

图6为步骤S206的另一种实施例，如图6所示，对虚拟运动路径进行采样，以提取路径关键点包括：

S602：从已选镜头对应的模拟拍摄参数中，获取已选镜头的运动速度；根据运动速度和虚拟运动路径，计算运动时间段；

S604：基于运动时间段对虚拟运动路径进行间隔采样，提取路径关键点。

在步骤S602中，模拟拍摄参数包括场景选择、聚焦镜头、起终点镜头高度、相机运动反向、相机镜头的基础参数即视野水平角度、俯仰角度、移动速率调节、相机剪裁，例如，在场景内增加模拟阳光的光场，可以根据时间或自定义调节，增加最终渲染视频的真实度。

图7为S208的一种实施例，如图7所示，S208根据虚拟运动路径中路径关键点的三维坐标，生成路径关键点各自对应的关键帧图像包括：

S702：从已选镜头对应的模拟拍摄参数中，获取虚拟运动路径对应的渲染包围盒信息，其中，包围盒信息用于指示已选镜头的拍摄视角和已选镜头的拍摄高度；

S704：根据虚拟路径对应的渲染包围盒信息，对路径关键点进行渲染，以生成路径关键点对应的关键帧图像。

在步骤S702中还包括：运动路径辅助调整，通过辅助调整相机轨迹、相机运动速度、相机视角完成路径规划。

图8为渲染包围盒的一种实施例，如图8所示，在渲染包围盒包括X轴、Y轴和Z轴，相机渲染场景可以利用相机结合X轴、Y轴和Z轴的方向进行渲染。

在本实施例中，渲染场景分为“特写对象”和背景，镜头语言围绕特写对象描写，在上述空间坐标系中，预置了多种相机规划的辅助路径，包括但不限于如下：

路径1：渲染包围盒沿X轴方向移动，起点坐标点为特写对象的包围盒外围位置(在一个更大的包围盒与X轴平行的边)；Y坐标和Z坐标不变；

路径2：渲染包围盒沿Y轴方向移动，实现镜头推进/拉远的效果，X坐标和Z坐标不变；

路径3：渲染包围盒沿Z轴方向移动，X坐标和Y坐标不变；

路径4：渲染包围盒沿以对象包围盒的中心点为圆心的环绕路径。

图9为上述步骤S604一种实施例，如图9所示，上述步骤S604根据关键帧图像生成虚拟运动路径的三维空间场景视频包括：

S902：获取关键帧图像对应的第一神经网络输入特征和第二神经网络输入特征；

S904：利用关键帧图像、第一神经网络输入特征和第二神经网络输入特征，计算出相邻的关键帧图像之间对应的中间帧图像；

S906：根据中间帧图像和关键帧图像输出三维空间场景视频。

在步骤S902中：获取关键帧图像对应的第一神经网络输入特征和第二神经网络输入特征包括：获取关键帧图像对应的静帧图像和附加特征信息，作为第一神经网络输入特征，其中，附加特征信息中包括像素深度位图；根据静帧图像中的相邻帧图像预测光流，将预测结果中的光流信息作为第二神经网络输入特征。

在步骤S906中，根据关键帧静帧图像中的相邻图像，预测光流，将光流信息结果作为第二神经网络输入特征。

根据本发明实施例的又一个方面，如图10还提供了一种虚拟场景的视频生成装置，用于实施上述虚拟场景的视频生成方法，该方法包括：

绘制场景单元1002，用于根据获取到的当前场景的场景数据在终端的显示界面中显示当前场景对应的虚拟场景图，其中，虚拟场景图用于绘制二维虚拟场景图；

读取场景单元1004，用于获取在虚拟场景图中绘制的虚拟运动路径；

坐标获取单元1006，用于从虚拟运动路径提取路径关键点，并利用已选镜头对应的模拟拍摄参数将路径关键点的二维坐标转化为三维坐标；

坐标转换单元1008，用于根据虚拟运动路径中路径关键点的三维坐标，生成路径关键点各自对应的关键帧图像；

渲染单元1010，用于根据关键帧图像生成虚拟运动路径的三维空间场景视频。

在一种实施例中，所述渲染单元1010包括：读取场景单元，用于获取当前场景下全部渲染对象的渲染包围盒，自动组合出相机运动路径；路径辅助调整单元，用于辅助调整相机轨迹、相机运动速度、相机视角完成路径规划；路径采样处理单元，用于提取运动路径上的离散关键点；坐标转换映射单元，用于将相对位置坐标序列转换为整个场景的空间绝对坐标序列，并将空间绝对坐标序列映射为渲染帧序列；渲染和预处理单元，用于调用离线渲染器将渲染帧序列生成对应的关键帧图像和所需的额外特征信息；深度学习单元，将第一神经网路输入特征、第二神经网络输入特征以及相邻帧图像，通过深度学习单元的神经网络计算得出中间帧图像；视频输出单元，结合中间帧图像和关键帧静帧图像，输入部帧后的视频。

根据本发明实施例的又一个方面，提供了一种计算机程序产品或计算机程序，该计算机程序产品或计算机程序包括计算机指令，该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令，处理器执行该计算机指令，使得该计算机设备执行上述虚拟场景生成方法各种可选实现方式中提供的方法。其中，该计算机程序被设置为运行时执行上述任一项方法实施例中的步骤其中，计算机程序被设置为执行上述虚拟场景的视频生成方法，具体包括：

S1，根据获取到的当前场景的场景数据在终端的显示界面中显示当前场景对应的虚拟场景图，其中，虚拟场景图用于绘制二维虚拟场景图；

S2，获取在虚拟场景图中绘制的虚拟运动路径；

S3，从虚拟运动路径提取路径关键点，并利用已选镜头对应的模拟拍摄参数将路径关键点的二维坐标转化为三维坐标；

S4，根据虚拟运动路径中路径关键点的三维坐标，生成路径关键点各自对应的关键帧图像；

S5，根据关键帧图像生成虚拟运动路径的三维空间场景视频。

可选地，本领域普通技术人员可以理解，图11所示的结构仅为示意，电子设备也可以是智能手机(如Android手机、IOS手机等)、平板电脑、掌上电脑以及移动互联网设备(Mobile Internet Devices，MID)、PAD等终端设备。图11其并不对上述电子设备的结构造成限定。例如，电子设备还可包括比图11中所示更多或者更少的组件(如网络接口等)，或者具有与图11所示不同的配置。

其中，存储器1102可用于存储软件程序以及模块，如本发明实施例中的虚拟视频生成方法和生成装置对应的程序指令/模块，处理器1104通过运行存储在存储器1102内的软件程序以及模块，从而执行各种功能应用以及数据处理，即实现上述的虚拟场景视频生成方法。存储器1102可包括高速随机存储器，还可以包括非易失性存储器，如一个或者多个磁性存储装置、闪存、或者其他非易失性固态存储器。在一些实例中，存储器1102可进一步包括相对于处理器1104远程设置的存储器，这些远程存储器可以通过网络连接至终端。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。其中，存储器1102具体可以但不限于用于存储任务元素和节点设备等信息。作为一种示例，如图11所示，上述存储器1102中可以但不限于包括上述虚拟场景的视频生成装置中的绘制场景单元1002，读取场景单元1004、坐标获取单元1006、坐标转换单元1008、渲染单元1010。此外，还可以包括但不限于上述虚拟场景视频生成装置中的其他模块单元，本示例中不再赘述。

可选地，上述的传输装置1106用于经由一个网络接收或者发送数据。上述的网络具体实例可包括有线网络及无线网络。在一个实例中，传输装置1106包括一个网络适配器(Network Interface Controller，NIC)，其可通过网线与其他网络设备与路由器相连从而可与互联网或局域网进行通讯。在一个实例中，传输装置1106为射频(Radio Frequency，RF)模块，其用于通过无线方式与互联网进行通讯。

此外，上述电子设备还包括：显示器1108，用于显示上述虚拟视频的生成结果；和连接总线1110，用于连接上述电子设备中的各个模块部件。

在其他实施例中，上述终端设备或者服务器可以是一个分布式系统中的一个节点，其中，该分布式系统可以为区块链系统，该区块链系统可以是由该多个节点通过网络通信的形式连接形成的分布式系统。其中，节点之间可以组成点对点(P2P，Peer To Peer)网络，任意形式的计算设备，比如服务器、终端等电子设备都可以通过加入该点对点网络而成为该区块链系统中的一个节点。

根据本申请的一个方面，提供了一种计算机程序产品或计算机程序，该计算机程序产品或计算机程序包括计算机指令，该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令，处理器执行该计算机指令，使得该计算机设备执行上述拟场景的视频生成方法的各种可选实现方式中提供的方法。其中，该计算机程序被设置为运行时执行上述任一项方法实施例中的步骤。

可选地，在本实施例中，上述计算机可读的存储介质可以被设置为存储用于执行以下步骤的计算机程序：

S1，根据获取到的当前场景的场景数据在终端的显示界面中显示当前场景对应的虚拟场景图，其中，虚拟场景图用于绘制二维虚拟场景图；

S2，获取在虚拟场景图中绘制的虚拟运动路径；

S3，从虚拟运动路径提取路径关键点，并利用已选镜头对应的模拟拍摄参数将路径关键点的二维坐标转化为三维坐标；

S4，根据虚拟运动路径中路径关键点的三维坐标，生成路径关键点各自对应的关键帧图像；

S5，根据关键帧图像生成虚拟运动路径的三维空间场景视频。

可选地，在本实施例中，本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通过程序来指令终端设备相关的硬件来完成，该程序可以存储于一计算机可读存储介质中，存储介质可以包括：闪存盘、只读存储器(Read-Only Memory，ROM)、随机存取器(Random Access Memory，RAM)、磁盘或光盘等。

上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。

上述实施例中的集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在上述计算机可读取的存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在存储介质中，包括若干指令用以使得一台或多台计算机设备(可为个人计算机、服务器或者网络设备等)执行本发明各个实施例方法的全部或部分步骤。

在本发明的上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其他实施例的相关描述。

在本申请所提供的几个实施例中，应该理解到，所揭露的客户端，可通过其它的方式实现。其中，以上所描述的装置实施例仅仅是示意性的，例如单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，单元或模块的间接耦合或通信连接，可以是电性或其它的形式。

作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。

以上仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。

Claims (10)

1.一种虚拟场景的视频生成方法，其特征在于，包括：

根据获取到的当前场景的场景数据在终端的显示界面中显示所述当前场景对应的虚拟场景图，其中，所述虚拟场景图用于绘制二维虚拟场景图；

获取在所述虚拟场景图中绘制的虚拟运动路径；

从所述虚拟运动路径提取路径关键点，并利用已选镜头对应的模拟拍摄参数将所述路径关键点的二维坐标转化为三维坐标；

根据所述虚拟运动路径中所述路径关键点的三维坐标，生成所述路径关键点各自对应的关键帧图像；

根据所述关键帧图像生成所述虚拟运动路径的三维空间场景视频。

2.根据权利要求1所述的方法，其特征在于，所述获取在所述虚拟场景图中绘制的虚拟运动路径包括：

在所述虚拟场景图中选定所述虚拟运动路径的起点和终点；

响应于对所述虚拟场景图中所显示的摄像头图标执行的操作，绘制摄像头操作轨迹，其中，所述摄像头操作轨迹对应的轨迹标签用于指示所述虚拟运动路径的运动方向。

3.根据权利要求1所述的方法，其特征在于，所述从所述虚拟运动路径提取关键点，并利用已选镜头对应的模拟拍摄参数将所述关键点的二维坐标转化为三维坐标包括：

对所述虚拟运动路径进行采样，以提取所述路径关键点；

获取所述路径关键点在所述终端的显示界面的二维坐标；

从所述已选镜头对应的模拟拍摄参数中，获取所述已选镜头的拍摄高度；

根据所述二维坐标和所述拍摄高度，获取所述路径关键点在所述虚拟场景下的所述三维坐标。

4.根据权利要求3所述的方法，其特征在于，所述对所述虚拟运动路径进行采样，以提取所述路径关键点包括：

从所述已选镜头对应的模拟拍摄参数中，获取所述已选镜头的运动速度；

根据所述运动速度和所述虚拟运动路径，计算运动时间段；

基于所述运动时间段对所述虚拟运动路径进行间隔采样，提取所述路径关键点。

5.根据权利要求1所述的方法，其特征在于，所述根据所述虚拟运动路径中所述路径关键点的三维坐标，生成所述路径关键点各自对应的关键帧图像包括：

从所述已选镜头对应的模拟拍摄参数中，获取所述虚拟运动路径对应的渲染包围盒信息，其中，所述包围盒信息用于指示所述已选镜头的拍摄视角和所述已选镜头的拍摄高度；

根据所述虚拟运动路径对应的所述渲染包围盒信息，对所述路径关键点进行渲染，以生成所述路径关键点对应的关键帧图像。

6.根据权利要求1所述的方法，所述根据所述关键帧图像生成所述虚拟运动路径的三维空间场景视频包括：

获取所述关键帧图像对应的第一神经网络输入特征和第二神经网络输入特征；

利用所述关键帧图像、所述第一神经网络输入特征和所述第二神经网络输入特征，计算出相邻的所述关键帧图像之间对应的中间帧图像；

根据所述中间帧图像和所述关键帧图像输出所述三维空间场景视频。

7.根据权利要求6所述的方法，其特征在于，所述获取所述关键帧图像对应的第一神经网络输入特征和第二神经网络输入特征包括：

获取所述关键帧图像对应的静帧图像和附加特征信息，作为所述第一神经网络输入特征，其中，所述附加特征信息中包括像素深度位图；

根据所述静帧图像中的相邻帧图像预测光流，将预测结果中的光流信息作为所述第二神经网络输入特征。

8.一种虚拟场景的视频生成装置，其特征在于，包括：

绘制场景单元，用于根据获取到的当前场景的场景数据在终端的显示界面中显示所述当前场景对应的虚拟场景图，其中，所述虚拟场景图用于绘制二维虚拟场景图；

读取场景单元，用于获取在所述虚拟场景图中绘制的虚拟运动路径；

坐标获取单元，用于从所述虚拟运动路径提取路径关键点，并利用已选镜头对应的模拟拍摄参数将所述路径关键点的二维坐标转化为三维坐标；

坐标转换单元，用于根据所述虚拟运动路径中所述路径关键点的三维坐标，生成所述路径关键点各自对应的关键帧图像；

渲染单元，用于根据所述关键帧图像生成所述虚拟运动路径的三维空间场景视频。

9.一种存储介质，其特征在于，所述存储介质中存储有计算机程序，其特征在于，所述计算机程序被设置为运行时执行所述权利要求1至7任一项中所述的方法。

10.一种电子设备，包括存储器和处理器，其特征在于，所述存储器中存储有计算机程序，所述处理器被设置为通过所述计算机程序执行所述权利要求1至7任一项中所述的方法。

Images