CN111640173A - 一种基于特定路径的家装漫游动画的云端渲染方法及系统 - Google Patents

Abstract

本发明公开了一种基于特定路径的家装漫游动画的云端渲染方法及系统，主要包括读取场景数据、运动路径辅助调整、运动路径采样处理、坐标转换、帧序列映射、渲染和预处理、特征计算以及深度学习补帧输出视频等步骤。本发明能够以自动化方式完成现有技术需要人工干预的多个环节，显著降低了数字动画视频的诸方面成本；对室内家装场景的特写需求做了针对性优化，使之更具应用价值；操作者仅需在云端软件提供渲染场景和设置路径起点和终点，即可自动计算出路径上关键节点的相机位置；根据帧序列自动地生成关键帧图像序列，利用神经网络补帧，只需要同等时长视频一半的渲染时间加上极少的神经网络处理时间，即可得到完整的同等时长视频。

Description

一种基于特定路径的家装漫游动画的云端渲染方法及系统

技术领域

本发明涉及数字媒体的领域，具体涉及一种基于特定路径的家装漫游动画的云端渲染方法及系统。

背景技术

漫游动画，即建筑漫游动画(Architectural Roaming Animation)，是建筑动画(architectural animation)的一种表现形式；在计算机构建的虚拟场景中，以平移、推拉和环绕等镜头运动语言为基础，模拟光线变化等时间流加速的艺术加工手段，呈现出超越现实的漫游影像。

在现有技术中，一条漫游动画的制作通常需要操作者进行一下操作：在三维动画软件中完成场景建模；规划镜头的路径顺序，使用软件功能或软件所支持的第三方插件，逐一编辑每段镜头路径的相机参数、相机角度、每帧对应的阳光参数等；结合离线渲染器生成原始影像；导入到非线性视频编辑软件中完成剪辑。

现有技术有如下缺点：需要操作者掌握多款软件的使用，这些软件主要是大型商业软件，软件成本和学习成本高；需要操作者配备高于消费者市场主流配置的计算机，如专业的图形工作站，才能满足建模、渲染和视频生成的运行环境要求，硬件成本高；需要操作者掌握模型特写、漫游路径规划等多种需要大量经验积累和审美储备的专业技能，对操作者的实操经验高，审美要求高；需要操作者在满足软硬件要求的单台计算机环境中编辑和存储，对单机环境极度依赖产生的迁移成本和风险成本高。如何克服现有技术的局限，从多方面降低漫游动画的成本，是一个亟待解决的问题。

发明内容

本发明的目的在于克服现有技术存在的不足，而提供一种基于特定路径的家装漫游动画的云端渲染方法及系统。

本发明的目的是通过如下技术方案来完成的：这种基于特定路径的家装漫游动画的云端渲染方法，主要包括以下步骤：

1)读取场景数据：获取当前场景下全部渲染对象的包围盒，根据用户输入及预设的相机路径规划方法，自动组合出相机运动路径；

2)运动路径辅助调整：辅助调整相机轨迹、相机运动速度、相机视角完成路径规划；

3)运动路径采样处理：提取相机运动路径上的离散关键点的相对位置坐标；

4)坐标转换：根据场景内所有渲染对象的包围盒信息，将离散关键点的相对位置坐标序列转换成整个场景的空间绝对坐标序列；

5)帧序列映射：将离散关键点的空间绝对坐标序列填充到渲染数据中，最终映射为渲染帧序列，完成相机运动路径上离散关键点的相机位置计算；

6)渲染和预处理：调用离线渲染器生成离散关键点对应的关键帧静帧图像和所需的额外特征信息，额外特征信息作为第一神经网络输入特征，并将相机运动路径拆分成多条路径，以进行后续的补帧处理；

7)特征计算：根据关键帧静帧图像中的相邻帧图像，预测光流，得到光流信息结果，光流信息结果作为第二神经网络输入特征；

8)深度学习补帧输出视频：将第一神经网络输入特征、第二神经网络输入特征以及相邻帧图像，通过神经网络计算得出相邻帧的中间帧图像，结合关键帧静帧图像输出补帧后的视频。

所述相机路径规划方法针对室内家装场景的特写需求，将渲染场景分为特写对象和背景，镜头语言围绕特写对象展开描写，主要包括以下相机路径规划方法：

1)x轴方向移动，起始坐标点为特写对象的包围盒外围位置，即在一个更大的包围盒与x轴平行的边，y坐标和z坐标不变；

2)y轴方向移动，实现镜头推进、拉远效果，x坐标和z坐标不变；

3)z轴方向移动，x坐标和y坐标不变；

4)以特写对象包围盒的中心点为圆心的环绕路径。

所述运动路径采样处理中的关键点包括相机运动路径预定时间间隔采样所得的多个相对位置坐标，预定时间间隔由用户给定的相机运动速度计算产生。

所述渲染和预处理中的额外特征信息为像素深度位图。

所述深度学习补帧输出视频的流程主要包括以下内容，预测T时刻的中间帧：

1)光流预测网络：使用深度学习模型预测两关键帧静帧图像之间空间上光流的方向，输入为(T+1)帧和(T-1)帧，输出一个矢量OT，隐含着两关键帧静帧图像之间的光流信息；

2)光流映射模块：将T时刻的深度图D和隐含光流信息的矢量OT通过下述的公式进行映射，映射到T时刻对应的各个空间像素：

权重系数W＝(1/D(y))，y为时刻；

从T时刻到T-1时刻，像素x上的光流定义为F_T→(T-1)(x)，矢量OT表示为F_{(T-1)→(T+1)}，光流映射的计算公式：

光流模块输出的矢量命名为OP；

3)图像特征提取模块：通过深度学习学习中间帧需要的特征，输出一个矢量IF；

4)合成模块：以IF和OP为输入，通向合成模块，将两个矢量通过神经网络合并成一张RGB图像，也就是中间帧。

这种基于特定路径的家装漫游动画的云端渲染系统，主要包括读取场景单元、路径辅助调整单元、路径采样处理单元、坐标转换映射单元、渲染和预处理单元、深度学习单元、视频输出单元，读取场景单元获取当前场景下全部渲染对象的包围盒，自动组合出相机运动路径；路径辅助调整单元辅助调整相机轨迹、相机运动速度、相机视角完成路径规划；路径采样处理单元提取相机运动路径上的离散关键点；坐标转换映射单元将离散关键点的相对位置坐标序列转换成整个场景的空间绝对坐标序列，并将空间绝对坐标序列映射为渲染帧序列；渲染和预处理单元调用离线渲染器将渲染帧序列生成离散关键点对应的关键帧静帧图像和额外特征信息，额外特征信息作为第一神经网络输入特征；深度学习单元根据关键帧静帧图像中的相邻帧图像，预测光流，得到光流信息结果作为第二神经网络输入特征，将第一神经网络输入特征、第二神经网络输入特征以及相邻帧图像，通过深度学习单元的神经网络计算得出中间帧图像；视频输出单元结合中间帧图像和关键帧静帧图像，输出补帧后的视频。

本发明的有益效果为：本发明能够以自动化方式完成现有技术需要人工干预的多个环节，显著降低了数字动画视频的诸方面成本；对室内家装场景的特写需求，即特定路径的家装漫游做了针对性优化，使之更具应用价值；操作者仅需在云端软件提供渲染场景和设置路径起点和终点，即可自动计算出路径上关键节点的相机位置，相比传统方法操作者逐帧编辑相机需要几十分钟到数小时不等，本方案将相机逐帧编辑全部自动化，成本降至可忽略不计；根据帧序列自动地生成关键帧图像序列，利用神经网络补帧，只需要同等时长视频一半的渲染时间加上极少的神经网络处理时间，即可得到完整的同等时长视频，而传统方法需要操作者逐帧渲染出所有图像，往往需要数小时。

附图说明

图1为基于特定路径的家装漫游动画的云端渲染方法的流程框图。

图2为基于特定路径的家装漫游动画的云端渲染系统的构成图。

图3为深度学习补帧输出视频的流程框图。

图4为相机路径规划方法中坐标正视图。

图5为相机路径规划方法中坐标轴测视图。

图6为本发明使用时某时刻前一帧效果图。

图7为本发明使用时某时刻中间插帧效果图。

图8为本发明使用时某时刻后一帧效果图。

附图标记说明：读取场景单元101、路径辅助调整单元102、路径采样处理单元103、坐标转换映射单元104、渲染和预处理单元105、深度学习单元106、视频输出单元107。

具体实施方式

下面将结合附图对本发明做详细的介绍：

如附图所示，这种基于特定路径的家装漫游动画的云端渲染方法，主要包括以下步骤：

1)读取场景数据：获取当前场景下全部渲染对象的包围盒，根据用户输入及预设的相机路径规划方法，自动组合出相机运动路径；

2)运动路径辅助调整：辅助调整相机轨迹、相机运动速度、相机视角完成路径规划；

3)运动路径采样处理：提取相机运动路径上的离散关键点的相对位置坐标；运动路径采样处理中的关键点包括相机运动路径预定时间间隔采样所得的多个相对位置坐标，预定时间间隔由用户给定的相机运动速度计算产生。

4)坐标转换：根据场景内所有渲染对象的包围盒信息，将离散关键点的相对位置坐标序列转换成整个场景的空间绝对坐标序列；

5)帧序列映射：将离散关键点的空间绝对坐标序列填充到渲染数据中，最终映射为渲染帧序列，完成相机运动路径上离散关键点的相机位置计算；

6)渲染和预处理：调用离线渲染器生成离散关键点对应的关键帧静帧图像和所需的额外特征信息，额外特征信息作为第一神经网络输入特征，并将相机运动路径拆分成多条路径，以进行后续的补帧处理；渲染和预处理中的额外特征信息为像素深度位图以获得每一帧各个渲染对象的遮挡关系。

7)特征计算：根据关键帧静帧图像中的相邻帧图像，预测光流，得到光流信息结果，光流信息结果作为第二神经网络输入特征；光流信息是根据相邻两帧图像计算出的辅助特征，其目的是为了准确的估计出像素点在中间帧的位置；

8)深度学习补帧输出视频：将第一神经网络输入特征、第二神经网络输入特征以及相邻帧图像，通过神经网络计算得出相邻帧的中间帧图像，结合关键帧静帧图像输出补帧后的视频。基于深度学习的视频插帧技术来节约渲染资源，可以将一个视频的帧率在短时间内提升一倍。

相机路径规划方法针对室内家装场景的特写需求，将渲染场景分为特写对象和背景，镜头语言围绕特写对象展开描写，主要包括以下相机路径规划方法：

1)x轴方向移动，起始坐标点为特写对象的包围盒外围位置，即在一个更大的包围盒与x轴平行的边，y坐标和z坐标不变；

2)y轴方向移动，实现镜头推进、拉远效果，x坐标和z坐标不变；

3)z轴方向移动，x坐标和y坐标不变；

4)以特写对象包围盒的中心点为圆心的环绕路径。

自动化相机路径规划以上述既定的相机路径规划方法为基础，读取场景数据，以极小的计算代价，获取当前场景下全部渲染对象的包围盒，根据输入选择，自动生成路径。在此基础上，用户能在三个维度上调节动画效果：相机轨迹、相机运动速度、相机视角。

在相机运动路径上，用户可调节并输入包括但不限于以下的几种路径类型：直线、圆弧和贝塞尔曲线等等。这些线段类型可高效构建出语义更加丰富的相机路径；针对多段相机路径组合，用户可自定义每段路径的相机运动速度，可以达到快慢不同的运镜速度，从而实现节奏更好的动画效果；此外，相机视角也能在运动的过程中独立调整视点和轨迹。在已知相机轨迹、速度的情况下，可以准确地采样出每个视频帧中相机具体的位置和视角节点，使连贯的动画成为可能。

深度学习补帧输出视频的流程主要包括以下内容，预测T时刻的中间帧：

1)光流预测网络：使用深度学习模型预测两关键帧静帧图像之间空间上光流的方向，以便模型学习到像素点的移动情况，输入为(T+1)帧和(T-1)帧，输出一个矢量OT，隐含着两关键帧静帧图像之间的光流信息，此深度学习模块可选择PWC-Net等常用的光流预测卷积神经网络或全连接神经网络。

2)光流映射模块：预测到的光流往往没办法处理遮挡等问题，同时渲染引擎中可以快速的提取T时刻的深度图，将T时刻的深度图D和隐含光流信息的矢量OT通过下面的公式进行映射，映射到T时刻对应的各个空间像素：

理想的状态下深度越大，在计算光流时带来的权重越小，所以权重系数W＝(1/D(y))，y为时刻；

从T时刻到T-1时刻，像素x上的光流定义为F_T→(T-1)(x),那么矢量OT就可以表示为F_{(T-1)→(T+1)}，光流映射的计算公式：

光流模块输出的矢量命名为OP；

3)图像特征提取模块：除了光流之外，我们还希望中间帧尽量保留和相邻帧相似的图像特征，这里的图像特征提取模块会通过深度学习学习中间帧需要的特征，输出是一个矢量IF，用到的深度学习模块包括：卷积神经网络和全连接神经网络；

4)合成模块：以IF和OP为输入，通向合成模块，将两个矢量通过神经网络合并成一张RGB图像，也就是中间帧，这里神经网络的选择包括：卷积神经网络和全连接神经网络。

这种基于特定路径的家装漫游动画的云端渲染系统，主要包括读取场景单元101、路径辅助调整单元102、路径采样处理单元103、坐标转换映射单元104、渲染和预处理单元105、深度学习单元106、视频输出单元107，读取场景单元101获取当前场景下全部渲染对象的包围盒，自动组合出相机运动路径；路径辅助调整单元102辅助调整相机轨迹、相机运动速度、相机视角完成路径规划；路径采样处理单元103提取相机运动路径上的离散关键点；坐标转换映射单元104将离散关键点的相对位置坐标序列转换成整个场景的空间绝对坐标序列，并将空间绝对坐标序列映射为渲染帧序列；渲染和预处理单元105调用离线渲染器将渲染帧序列生成离散关键点对应的关键帧静帧图像和额外特征信息，额外特征信息作为第一神经网络输入特征；深度学习单元106根据关键帧静帧图像中的相邻帧图像，预测光流，得到光流信息结果作为第二神经网络输入特征，将第一神经网络输入特征、第二神经网络输入特征以及相邻帧图像，通过深度学习单元的神经网络计算得出中间帧图像；视频输出单元107结合中间帧图像和关键帧静帧图像，输出补帧后的视频。

可以理解的是，对本领域技术人员来说，对本发明的技术方案及发明构思加以等同替换或改变都应属于本发明所附的权利要求的保护范围。

Claims (6)

1.一种基于特定路径的家装漫游动画的云端渲染方法，其特征在于：主要包括以下步骤：

1)读取场景数据：获取当前场景下全部渲染对象的包围盒，根据用户输入及预设的相机路径规划方法，自动组合出相机运动路径；

2)运动路径辅助调整：辅助调整相机轨迹、相机运动速度、相机视角完成路径规划；

3)运动路径采样处理：提取相机运动路径上的离散关键点的相对位置坐标；

4)坐标转换：根据场景内所有渲染对象的包围盒信息，将离散关键点的相对位置坐标序列转换成整个场景的空间绝对坐标序列；

5)帧序列映射：将离散关键点的空间绝对坐标序列填充到渲染数据中，最终映射为渲染帧序列，完成相机运动路径上离散关键点的相机位置计算；

6)渲染和预处理：调用离线渲染器生成离散关键点对应的关键帧静帧图像和所需的额外特征信息，额外特征信息作为第一神经网络输入特征，并将相机运动路径拆分成多条路径，以进行后续的补帧处理；

7)特征计算：根据关键帧静帧图像中的相邻帧图像，预测光流，得到光流信息结果，光流信息结果作为第二神经网络输入特征；

8)深度学习补帧输出视频：将第一神经网络输入特征、第二神经网络输入特征以及相邻帧图像，通过神经网络计算得出相邻帧的中间帧图像，结合关键帧静帧图像输出补帧后的视频。

2.根据权利要求1所述的基于特定路径的家装漫游动画的云端渲染方法，其特征在于：所述相机路径规划方法针对室内家装场景的特写需求，将渲染场景分为特写对象和背景，镜头语言围绕特写对象展开描写，主要包括以下相机路径规划方法：

1)x轴方向移动，起始坐标点为特写对象的包围盒外围位置，即在一个更大的包围盒与x轴平行的边，y坐标和z坐标不变；

2)y轴方向移动，实现镜头推进、拉远效果，x坐标和z坐标不变；

3)z轴方向移动，x坐标和y坐标不变；

4)以特写对象包围盒的中心点为圆心的环绕路径。

3.根据权利要求1所述的基于特定路径的家装漫游动画的云端渲染方法，其特征在于：所述运动路径采样处理中的关键点包括相机运动路径预定时间间隔采样所得的多个相对位置坐标，预定时间间隔由用户给定的相机运动速度计算产生。

4.根据权利要求1所述的基于特定路径的家装漫游动画的云端渲染方法，其特征在于：所述渲染和预处理中的额外特征信息为像素深度位图。

5.根据权利要求1所述的基于特定路径的家装漫游动画的云端渲染方法，其特征在于：所述深度学习补帧输出视频的流程主要包括以下内容，预测T时刻的中间帧：

1)光流预测网络：使用深度学习模型预测两关键帧静帧图像之间空间上光流的方向，输入为(T+1)帧和(T-1)帧，输出一个矢量OT，隐含着两关键帧静帧图像之间的光流信息；

2)光流映射模块：将T时刻的深度图D和隐含光流信息的矢量OT通过下述的公式进行映射，映射到T时刻对应的各个空间像素：

权重系数W＝(1/D(y))，y为时刻；

从T时刻到T-1时刻，像素x上的光流定义为F_T→(T-1)(x)，矢量OT表示为F_{(T-1)→(T+1)}，光流映射的计算公式：

光流模块输出的矢量命名为OP；

3)图像特征提取模块：通过深度学习学习中间帧需要的特征，输出一个矢量IF；

4)合成模块：以IF和OP为输入，通向合成模块，将两个矢量通过神经网络合并成一张RGB图像，也就是中间帧。

6.一种基于特定路径的家装漫游动画的云端渲染系统，其特征在于：主要包括读取场景单元(101)、路径辅助调整单元(102)、路径采样处理单元(103)、坐标转换映射单元(104)、渲染和预处理单元(105)、深度学习单元(106)、视频输出单元(107)，读取场景单元(101)获取当前场景下全部渲染对象的包围盒，自动组合出相机运动路径；路径辅助调整单元(102)辅助调整相机轨迹、相机运动速度、相机视角完成路径规划；路径采样处理单元(103)提取相机运动路径上的离散关键点；坐标转换映射单元(104)将离散关键点的相对位置坐标序列转换成整个场景的空间绝对坐标序列，并将空间绝对坐标序列映射为渲染帧序列；渲染和预处理单元(105)调用离线渲染器将渲染帧序列生成离散关键点对应的关键帧静帧图像和额外特征信息，额外特征信息作为第一神经网络输入特征；深度学习单元(106)根据关键帧静帧图像中的相邻帧图像，预测光流，得到光流信息结果作为第二神经网络输入特征，将第一神经网络输入特征、第二神经网络输入特征以及相邻帧图像，通过深度学习单元的神经网络计算得出中间帧图像；视频输出单元(107)结合中间帧图像和关键帧静帧图像，输出补帧后的视频。

Images