CN111476869A - 一种面向计算媒体的虚拟摄像机规划方法 - Google Patents

Abstract

本发明涉及计算动画技术领域，且公开了一种面向计算媒体的虚拟摄像机规划方法，包括以下步骤：1)由计算动画系统的其他模块生成故事的情节和场景信息，获取故事的情节和场景信息作为制定拍摄方案和计算摄像机参数的依据；2)提取故事情节特征，根据知识库判断事件是静止事件还是运动事件、判断情感为积极还是消极、获取事件参与对象数量以及人物的空间位置分布，并完成场戏分割。该面向计算媒体的虚拟摄像机规划方法，无需人为干预的情况下，根据动画的故事情节和场景信息自动生成符合一般电影拍摄规律的拍摄方案，从拍摄方案出发根据动画的具体细节自动计算每一时刻摄像机的位置和朝向等具体参数。

Description

一种面向计算媒体的虚拟摄像机规划方法

技术领域

本发明涉及计算动画技术领域，具体为一种面向计算媒体的虚拟摄像机规划方法。

背景技术

虚拟摄像机是计算机内动画软件假设的摄像机，它是用于计算机二维或三维环境下制作动画时表现视点的一种工具，专门用来复制实际摄影机的一切运动。

图形学技术和相关硬件的发展使得计算媒体行业突飞猛进，在电影电视制作、广告制作等方面有着不俗的表现，计算媒体的自动或半自动生成是行业的突破方向，意味着人力成本的极大降低，然而目前为止还没有一套完整的解决方案，计算媒体中摄像机规划的问题一直是个不小的挑战，对于质量要求高的场景中往往是由专业程度非常高的工作人员完成，虽然也有一些程序化的方法，但都有着各种局限性，例如需要人工给出某些具体参数和无法完成摄像机避障等。

发明内容

(一)解决的技术问题

针对现有技术的不足，本发明提供了一种面向计算媒体的虚拟摄像机规划方法，具备无需人为干预的情况下，根据动画的故事情节和场景信息自动生成符合一般电影拍摄规律的拍摄方案，从拍摄方案出发根据动画的具体细节自动计算每一时刻摄像机的位置和朝向等具体参数等优点，解决了计算动画中拍摄方案制定问题和摄像机具体参数计算的问题。

(二)技术方案

为实现上述无需人为干预的情况下，根据动画的故事情节和场景信息自动生成符合一般电影拍摄规律的拍摄方案，然后从拍摄方案出发根据动画的具体细节自动计算每一时刻摄像机的位置和朝向等具体参数的目的，本发明提供如下技术方案：

一种面向计算媒体的虚拟摄像机规划方法，包括以下步骤：

1)由计算动画系统的其他模块生成故事的情节和场景信息，获取故事的情节和场景信息作为制定拍摄方案和计算摄像机参数的依据。

2)提取故事情节特征，根据知识库判断事件是静止事件还是运动事件、判断情感为积极还是消极、获取事件参与对象数量以及人物的空间位置分布，并完成场戏分割。

3)候选拍摄方案排名，对生成的拍摄方案打分，得到最佳方案，采用产生式规则将事件流图映射为镜头序列。

4)采用镜头间约束来评价镜头序列，对候选拍摄方案排名，对生成的拍摄方案打分，得到最佳方案。

5)计算关键帧参数，根据拍摄方案中对画面的要求以及实际的场景信息计算摄像机参数，对于每个关键帧，根据拍摄目标的数目选取不同的计算方法。

6)使用对关键帧参数进行插值的方法来计算中间帧参数，对关键帧参数进行插值得到中间帧参数。

优选的，所述输入的动画相关信息可以包括导演意图，以提供人为干预拍摄方案的接口。

优选的，所述故事情节特征对应的运动类型和情感的知识库，根据此知识库来完成事件运动类型和情感等特征的提取

优选的，所述由领域专家构建场戏划分规则，完成事件到场戏的划分，领域专家构建事件到镜头的映射规则以及对电影片段进行标注得到具体的映射实例作为映射规则，以此规则完成事件到镜头序列的映射

优选的，所述以Unity3D作为渲染引擎，FBX为物品及人物模型格式，通过Unity3D的骨骼动画和粒子系统等完成动画渲染，并实时获取场景中物体信息，提供给摄像机参数计算模块完成计算。

(三)有益效果

与现有技术相比，本发明提供了一种面向计算媒体的虚拟摄像机规划方法，具备以下有益效果：

该面向计算媒体的虚拟摄像机规划方法，通过输入计算动画相关信息，包括动画的故事情节和场景信息等，作为完成摄像机规划的依据，对输入的故事情节进行特征提取，包括事件运动类型、事件情感、参与角色数量和角色分布方式等，并根据规则将事件划分为不同的集合，每个集合为一个场戏，运用产生式规则依次处理每个场戏，根据场戏中事件的特征得到该事件序列对应的镜头序列，所有场戏中的镜头序列构成一个完整的拍摄方案，根据镜头间约束计算各拍摄方案得分，得到最佳拍摄方案，镜头间约束包括镜头大小的递进变化、镜头切换节奏和兴趣线约束等，通过数字引擎驱动动画，根据拍摄方案和实时的场景信息计算关键帧中的摄像机参数，根据拍摄对象数量的不同灵活选择球面法、复曲面法和粒子群算法进行计算，如有拍摄对象被遮挡或摄像机发生碰撞时则直接采用粒子群算法，使用插值方法计算中间帧摄像机参数，根据摄像机的运动方式灵活选择线性插值和样条插值来进行计算，从而达到了无需人为干预的情况下，根据动画的故事情节和场景信息自动生成符合一般电影拍摄规律的拍摄方案，从拍摄方案出发根据动画的具体细节自动计算每一时刻摄像机的位置和朝向等具体参数的目的。

附图说明

图1为本发明面向计算媒体的虚拟摄像机规划方法的步骤流程图；

图2为计算动画中使用的事件流图结构的示意图；

图3为计算动画中使用的场景树的示意图。

具体实施方式

下面将结合本发明的实施例，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

实施例一：一种面向计算媒体的虚拟摄像机规划方法，包括以下步骤：

1)由计算动画系统的其他模块生成故事的情节和场景信息，获取故事的情节和场景信息作为制定拍摄方案和计算摄像机参数的依据；

2)提取故事情节特征，根据知识库判断事件是静止事件还是运动事件、判断情感为积极还是消极、获取事件参与对象数量以及人物的空间位置分布，并完成场戏分割；

3)候选拍摄方案排名，对生成的拍摄方案打分，得到最佳方案，采用产生式规则将事件流图映射为镜头序列；

4)采用镜头间约束来评价镜头序列，对候选拍摄方案排名，对生成的拍摄方案打分，得到最佳方案；

5)计算关键帧参数，根据拍摄方案中对画面的要求以及实际的场景信息计算摄像机参数，对于每个关键帧，根据拍摄目标的数目选取不同的计算方法；

6)使用对关键帧参数进行插值的方法来计算中间帧参数，对关键帧参数进行插值得到中间帧参数。

本实施例进一步优选地提供了一种面向计算媒体的虚拟摄像机规划方法，其中在计算前一镜头的落幅和后一镜头的起幅的摄像机参数时，首先判断拍摄方案中针对哪一帧的约束更强，如果强弱差距很明显则直接计算强的那一帧的摄像机参数，否则计算两帧中的摄像机参数后取均值。

实施例二：一种面向计算媒体的虚拟摄像机规划方法，包括以下步骤：

1)由计算动画系统的其他模块生成故事的情节和场景信息，获取故事的情节和场景信息作为制定拍摄方案和计算摄像机参数的依据；

2)提取故事情节特征，根据知识库判断事件是静止事件还是运动事件、判断情感为积极还是消极、获取事件参与对象数量以及人物的空间位置分布，并完成场戏分割；

3)候选拍摄方案排名，对生成的拍摄方案打分，得到最佳方案，采用产生式规则将事件流图映射为镜头序列；

4)采用镜头间约束来评价镜头序列，对候选拍摄方案排名，对生成的拍摄方案打分，得到最佳方案；

5)计算关键帧参数，根据拍摄方案中对画面的要求以及实际的场景信息计算摄像机参数，对于每个关键帧，根据拍摄目标的数目选取不同的计算方法；

6)使用对关键帧参数进行插值的方法来计算中间帧参数，对关键帧参数进行插值得到中间帧参数。

本实施例进一步优选地提供了一种面向计算媒体的虚拟摄像机规划方法，其中在计算关键帧参数时，如果拍摄目标数量为一，则采用球面法计算，即以拍摄目标为中心，根据镜头大小计算目标与镜头之间的距离，根据该距离得到一个球面，然后根据拍摄目标在画面上的朝向算出摄像机相对拍摄目标的方向，这样得到球面上一点就是所求之解，如果拍摄目标数量为二，则采用复曲面法计算，以两拍摄目标的连线为弦，根据两目标在画面上的距离可计算得到摄像机与两目标连线的夹角，以此为圆周角则得到一段圆弧，该圆弧以两目标构成的弦为轴旋转一周则得到一个复曲面，再根据某一拍摄目标在画面上的朝向确定摄像机相对于该目标的方向，即可得到复曲面上一点，该点即为摄像机坐标，当拍摄目标数量超过二时，则采用粒子群算法计算摄像机参数，以画面特征构造目标函数，并附加上碰撞和遮挡，以此得到既满足画面特征要求，又没有让摄像机与环境发生碰撞，也没有造成拍摄目标遮挡的摄像机参数。

实施例三：一种面向计算媒体的虚拟摄像机规划方法，包括以下步骤：

1)由计算动画系统的其他模块生成故事的情节和场景信息，获取故事的情节和场景信息作为制定拍摄方案和计算摄像机参数的依据；

2)提取故事情节特征，根据知识库判断事件是静止事件还是运动事件、判断情感为积极还是消极、获取事件参与对象数量以及人物的空间位置分布，并完成场戏分割；

3)候选拍摄方案排名，对生成的拍摄方案打分，得到最佳方案，采用产生式规则将事件流图映射为镜头序列；

4)采用镜头间约束来评价镜头序列，对候选拍摄方案排名，对生成的拍摄方案打分，得到最佳方案；

5)计算关键帧参数，根据拍摄方案中对画面的要求以及实际的场景信息计算摄像机参数，对于每个关键帧，根据拍摄目标的数目选取不同的计算方法；

6)使用对关键帧参数进行插值的方法来计算中间帧参数，对关键帧参数进行插值得到中间帧参数。

本实施例进一步优选地提供了一种面向计算媒体的虚拟摄像机规划方法，其中在计算跟、移镜头的摄像机参数时，在起幅和落幅之间进行等时间间隔采样，将采样点作为额外关键帧，计算对应的摄像机参数，以起幅和落幅中摄像机的位置为起止点，额外关键帧中摄像机的位置为控制点，计算向心型Catmull-Rom样条就能够得到摄像机的运动轨迹，其计算公式如下：

其中t₀＝0，摄像机在中间帧的朝向也用类似的方式进行计算。

本实施例步骤S1中，情节和场景信息由计算动画系统其他模块生成，情节信息以事件流图的形式表示，如图2，事件流图中节点为简单事件，即不可再拆分的事件，边表示事件间的时间先后，简单事件包含事件类型、施事对象、受事对象、当事对象等信息，场景信息以场景树的形式表示，如图3，场景树中节点为物体，边为物体之间的位置关系。

在步骤S2中，事件特征包括事件运动类型、情感类型、参与对象数量和人物空间分布，构建事件对应的运动类型和情感的知识库，根据此知识库来完成事件运动类型和情感等特征的提取，参与对象数量可以直接根据事件信息获取，而人物的空间分布则根据场景树获取，根据规则将事事件流图划分为若干子图，子图中的事件具有时间、空间以及逻辑的连贯性，每个子图构成一个场戏。

步骤S3中，采用产生式规则将事件流图映射为镜头序列，一个场戏对应一个镜头序列，若干场戏构成拍摄方案，镜头映射规则包括条件和结论，条件为若干事件特征，结论为单元运动镜头序列。

在步骤S4中，采用镜头间约束来评价镜头序列，包括景别变化是否符合递进规律，镜头切换节奏是否符合导演意图，镜头切换是否满足兴趣线约束等，景别递进规律是指在改变景别时是否循序渐进，而不是胡乱的改变，镜头切换节奏在一个场戏中一般不发生明显变化，而在不同场戏之间的约束则不强，兴趣线约束是指拍摄画面上的两个目标或目标组构成一条直线称为兴趣线，在场景的俯视图中，摄像机在兴趣线的同侧进行切换时不会带来违和感，因此兴趣线约束是防止镜头的跨线切换。

在步骤S5中，首先要确定关键帧，根据镜头运动类型的不同，关键帧选取也不同，推、拉、摇、切镜头的关键帧为起幅和落幅，移、跟镜头的关键帧除了起止帧还会在运动过程中选取关键帧，而定镜头由于不运动，只需计算起幅的参数，相邻镜头间运动是连续的，因此对于连续的两个镜头，前一个镜头的落幅和下一个镜头的起幅中摄像机应该处于相同的位置和朝向，对于每个关键帧，根据拍摄目标的数目选取不同的计算方法。

在步骤S6中，使用对关键帧参数进行插值的方法来计算中间帧参数，以便快速得到相对平滑的摄像机运动轨迹，具体的插值方式根据镜头的运动类型来选择，推、拉镜头选择摄像机坐标的线性插值，朝向不变，而摇镜头则是选择摄像机朝向的线性插值，位置不变，跟、移镜头的运动相对复杂，一般不是简单的直线运动，因此在计算摄像机轨迹时需要采用样条插值。

本发明的有益效果是：通过输入计算动画相关信息，包括动画的故事情节和场景信息等，作为完成摄像机规划的依据，对输入的故事情节进行特征提取，包括事件运动类型、事件情感、参与角色数量和角色分布方式等，并根据规则将事件划分为不同的集合，每个集合为一个场戏，运用产生式规则依次处理每个场戏，根据场戏中事件的特征得到该事件序列对应的镜头序列，所有场戏中的镜头序列构成一个完整的拍摄方案，根据镜头间约束计算各拍摄方案得分，得到最佳拍摄方案，镜头间约束包括镜头大小的递进变化、镜头切换节奏和兴趣线约束等，通过数字引擎驱动动画，根据拍摄方案和实时的场景信息计算关键帧中的摄像机参数，根据拍摄对象数量的不同灵活选择球面法、复曲面法和粒子群算法进行计算，如有拍摄对象被遮挡或摄像机发生碰撞时则直接采用粒子群算法，使用插值方法计算中间帧摄像机参数，根据摄像机的运动方式灵活选择线性插值和样条插值来进行计算，从而达到了无需人为干预的情况下，根据动画的故事情节和场景信息自动生成符合一般电影拍摄规律的拍摄方案，从拍摄方案出发根据动画的具体细节自动计算每一时刻摄像机的位置和朝向等具体参数的目的。

尽管已经示出和描述了本发明的实施例，对于本领域的普通技术人员而言，可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由所附权利要求及其等同物限定。

Claims (5)

1.一种面向计算媒体的虚拟摄像机规划方法，其特征在于，包括以下步骤：

1)由计算动画系统的其他模块生成故事的情节和场景信息，获取故事的情节和场景信息作为制定拍摄方案和计算摄像机参数的依据；

2)提取故事情节特征，根据知识库判断事件是静止事件还是运动事件、判断情感为积极还是消极、获取事件参与对象数量以及人物的空间位置分布，并完成场戏分割；

3)候选拍摄方案排名，对生成的拍摄方案打分，得到最佳方案，采用产生式规则将事件流图映射为镜头序列；

4)采用镜头间约束来评价镜头序列，对候选拍摄方案排名，对生成的拍摄方案打分，得到最佳方案；

5)计算关键帧参数，根据拍摄方案中对画面的要求以及实际的场景信息计算摄像机参数，对于每个关键帧，根据拍摄目标的数目选取不同的计算方法；

6)使用对关键帧参数进行插值的方法来计算中间帧参数，对关键帧参数进行插值得到中间帧参数。

2.根据权利要求1所述的一种模拟人眼视物的影像拍摄方法，其特征在于，所述输入的动画相关信息可以包括导演意图，以提供人为干预拍摄方案的接口。

3.根据权利要求1所述的一种模拟人眼视物的影像拍摄方法，其特征在于，所述故事情节特征对应的运动类型和情感的知识库，根据此知识库来完成事件运动类型和情感等特征的提取。

4.根据权利要求1所述的一种模拟人眼视物的影像拍摄方法，其特征在于，所述由领域专家构建场戏划分规则，完成事件到场戏的划分，领域专家构建事件到镜头的映射规则以及对电影片段进行标注得到具体的映射实例作为映射规则，以此规则完成事件到镜头序列的映射。

5.根据权利要求1所述的一种模拟人眼视物的影像拍摄方法，其特征在于，所述以Unity3D作为渲染引擎，FBX为物品及人物模型格式，通过Unity3D的骨骼动画和粒子系统等完成动画渲染，并实时获取场景中物体信息，提供给摄像机参数计算模块完成计算。

Images