CN113055609A - 一种在三维动画环境下自动生成动画电影的装置及方法 - Google Patents

Abstract

本发明提供一种在三维动画环境中自动生成动画电影的装置及方法，包括：智能获取，量化并翻译用户的直观输入为导演提示；根据部分导演提示确定3D环境中的候选摄像机配置；建立包含多个候选摄像机配置的摄像机搜索空间，在不同时间戳下使用候选摄像机配置以拍摄电影场景；根据部分导演提示优化剧本情节；优化摄像机配置序列，称为剪辑优化处理。将剪辑优化处理形式化为在图模型中寻找最小成本路径的过程，各路径表示渲染动画的候选摄影机配置序列，并且将部分导演提示转换为优化过程的成本函数。使用所述摄像机配置序列渲染后的预览视频，用于用户修改输入。将用户最终输入生成的摄像机配置序列渲染后的视频，作为剪辑优化后的3D动画电影输出。

Description

一种在三维动画环境下自动生成动画电影的装置及方法

技术领域

本发明涉及计算机图片技术，尤其涉及基于导演提示的自动摄影。

背景技术

最近，随着计算机图形技术的兴起，虚拟电影制作已成为娱乐行业中的新兴领域。电影制作中，摄像机配置非常耗时并且需要大量该领域的专业知识，这对于业余电影制作人来说提高了难度门槛。在尝试替换这种手动方式时，研究人员在过去的几十年中一直在尝试将摄影和剪辑实现自动化或半自动化。自动摄影解决了从三维(3D)动画环境自动生成视频的问题。大多数现有的自动摄影系统专注于按照现有的电影规则制作“正确的”摄像机配置序列，从而忽略了用户与系统进行交互的意愿，因此，现有技术中自动生成的视频缺乏多样性，无法完全满足用户的期望或完全表达用户的个性化的愿景。

根据导演输入实现风格化使电影独特。但是，实现风格化要求用户修改精细的细节以实现主观目标。对于将导演的想法嵌入电影制作过程，业余爱好者的经验有限，因此需要一种工具来实现自动摄影，以反映用户想法。本公开的方法和系统旨在解决上述一个或多个问题以及其他问题。

发明内容

本公开的一个方面提供了一种在三维动画环境中生成视频的方法，即在三维动画环境下自动生成动画电影的方法。所述方法包括：基于用户输入，获取并翻译用于制作3D动画电影的导演提示；根据所述导演提示确定3D环境中的摄像机配置；建立包括多个候选摄像机配置的摄像机搜索空间，所述摄像机配置将在不同的时间戳下使用，以根据所述摄像机配置拍摄所述电影的一个或多个场景；根据所述摄像机搜索空间和所述导演提示进行剪辑优化处理，以获得剪辑后的视频。所述剪辑优化处理形式化为在图模型中查找最小成本路径的过程，所述图模型中的每条路径分别描述了一种用于制作电影的候选摄像机配置序列，并且将至少部分导演提示转换为成本函数。所述剪辑后的视频作为生成的3D动画电影输出。

本公开的另一方面提供了一种在三维动画环境中生成视频的装置，即在三维动画环境下自动生成动画电影的装置，包括存储器和与所述存储器耦合的处理器。所述处理器用于执行：基于用户输入，获取并翻译用于制作3D动画电影的导演提示；根据所述导演提示确定3D环境中的摄像机配置；建立包括多个候选摄像机配置的摄像机搜索空间，所述摄像机配置将在不同的时间戳下使用，以根据所述摄像机配置拍摄所述电影的一个或多个场景；根据所述摄像机搜索空间和所述导演提示进行剪辑优化处理，以获得剪辑后的视频。所述剪辑优化处理形式化为在图模型中查找最小成本路径的过程，所述图模型中的每条路径分别描述了一种用于制作电影的候选摄像机配置序列，并且将至少部分导演提示转换为成本函数。所述剪辑后的视频作为生成的3D动画电影输出。

可选地，获取所述导演提示包括：

提供图形界面工具以获取并量化所述导演提示，其中所述图形界面工具的类型包括：可拖动曲线界面，动作注释界面，和多项选择界面。

可选地，所述可拖动曲线界面用于获取强度相关参数，且所述处理器还用于：

对强度曲线上的一点进行拖动操作，所述强度曲线显示在所述可拖动曲线界面上；

基于所述拖动操作，在所述点周围调整强度趋势；

基于调整后的所述强度曲线，获取任意点强度参数。

可选地，所述强度曲线代表电影中事件的重要性趋势，所述强度曲线上的各点代表用户在对应时间段定义的事件重要性；且所述处理器还用于：

获取剧本情节事件组的用户注释，所述剧本情节事件组包括多个相关的剧本情节事件；以及

将所述相关的剧本情节事件的重要性等级调整为与所述剧本情节事件组中的最高强度重要性相等。

可选地，所述图模型中的节点[t_i,c_u]代表在时间t_i用摄像机配置c_u拍摄；

所述图模型中从节点[t_i,c_u]过渡到节点[t_j,c_v]的支路代表从时间t_i到时间t_j用摄像机配置c_u拍摄，并且在时间t_j将摄像机配置从c_u切换为c_v；以及

跃进(t_i,t_j)代表在所述图模型中从t_i到t_j的时间跳跃。

可选地，所述导演提示的类型包括主角提示，剧本情节修剪相关的提示，线索提示，情节氛围相关的提示，导演风格相关的提示，人物情感相关提示和用户添加自由摄像机。

可选地，所述导演提示包括所述用户在场景中确定的主角；以及

确定所述摄像机配置包括：放置追踪所述场景中所述主角的摄像机。

可选地，所述导演提示包括从现有电影中习得的摄像机配置组；以及

确定所述候选摄像机配置包括：将候选摄像机配置布置在3D环境中，各候选摄像机配置具有一种所述摄像机配置组中的设置。

可选地，所述装置还包括：

从所述编辑优化处理生成中间视频；

在视频预览用户界面显示所述中间视频；

从所述视频预览用户界面获取调整后的导演提示；

基于所述调整后的导演提示，更新所述图模型；

获取更新后的摄像机配置序列，所述更新后的摄像机配置序列代表所述图模型中的所述最小成本路径；

基于所述更新后的摄像机配置序列，在所述视频预览用户界面显示更新后的视频。

可选地，所述调整后的导演提示包括由用户添加的摄像机，用于拍摄指定的时间；以及

获取更新后的摄像机配置序列，所述更新后的摄像机配置序列代表所述图模型中的所述最小成本路径中，包括：强制所述图模型的候选路径经过代表所述用户添加的摄像机的节点。

本领域技术人员可以根据本公开的说明书，权利要求书和附图得到启示来理解本公开的其他方面。

附图说明

以下附图仅用于根据本公开实施例作为说明性示例，并且不用于限制本公开的保护范围。

图1现有技术中自动摄影的示意图。

图2为与本公开实施例一致的示例性计算机系统框图，。

图3为展示基于导演提示的摄影技术的示例性过程流程图，与本公开实施例一致。

图4显示了基于导演提示的摄影技术的示例性框架，与本公开实施例一致。

图5显示了用于获取与剧本情节修剪相关的提示的用户界面，与本公开实施例一致。

图6A为从镜头分析获取镜头尺寸分布图，与本公开实施例一致。

图6B为从镜头分析获取轮廓角度分布的示意图，与本公开实施例一致。

图7显示了示例性的镜头分析工具，与本公开实施例一致。

图8A、8B及8C显示了与镜头特征相关的单人摄像机的可能配置，与本公开实施例一致。

图9是显示镜头旋转导致在屏幕位置上发生变化的示意图，与本公开实施例一致。

图10是显示图模型的示意图，与本公开实施例一致。

图11A是显示强制图模型通过默认摄像机的示意图，与本公开实施例一致。

图11B是显示强制图模型通过两个用户添加摄像机的示意图，与本公开实施例一致。

具体实施方式

现在将参考本发明的示例性实施例的细节，所述实施例已经在附图中进行了展示。在下文中，将参考附图来描述与本公开一致的实施例。在所有附图中，将尽可能使用相同的附图标记表示相同或相似的部件。显然，所描述的实施例是本发明的部分但不是全部实施例。基于本公开的实施例，本领域技术人员可以得出与本公开相一致的其他实施例，所有这些实施例均在本发明的范围内。

本公开提供了用于自动摄影的方法和设备。本文中所说的自动摄影，是指视频生成(例如，电影制作和3D环境中的虚拟电影制作)中的自动或半自动过程，所述视频生成涉及摄像机摆放，摄像机运动计划和/或视频剪辑。本文所说的用户，是指通过键入/输入导演提示以产生期望的电影/电影/视频的系统的用户，即电影的导演。本文所说的观看者，是指观看电影的人，即电影的观众。所述电影由描述一系列动作/事件的多个场景依次组合形成，每个场景可以由摄像机拍摄(例如，放置在3D环境中的虚拟摄像机)。显然，可以使用不同的摄像机设置来拍摄相同的场景。另外，基于公开的剪辑优化处理方案，在准备阶段由摄像机制作/拍摄的某些场景可能不保留在最终电影中。本文所说的视频的摄像机配置序列，指的是按时间顺序列出的摄像机的配置序列，这些摄像机拍摄了保留在视频中的场景。可以指定摄像机配置序列，例如将摄像机摆放在哪里以拍摄场景，拍摄场景时要使用什么设置(例如镜头尺寸和角度)，拍摄的持续时间是多长(例如多少单位时长)等。此外，本文中所说的动作列表，指的是基于电影的剧本/故事情节注释什么事件在什么时间发生的列表。可以基于所述动作列表中带注释的导演提示，来调整摄像机配置以创建期望的效果，所述摄像机配置用于拍摄所述动作列表中的事件场景。通过集成由用户/导演提供的提示，本公开的系统可以生产高质量的电影/视频(例如基于导演提示而具有优化的摄像机配置序列)，从而增强了观众的体验。

图1是现有技术中自动摄影的示意图。现有的用于自动摄影和剪辑的大多数技术都作为工具使镜头遵从摄影公理，这导致风格化的缺失。由大多数现有自动摄影系统产生的视频内容，都设计为遵循电影习惯用法或某些优化目标。在一示例中，某些系统声称将情感输入作为优化的一方面，但是没有提及在优化期间如何调整人类的情感输入。在另一示例中，隐藏的马尔可夫(Marcov)模型可用于学习导演风格并将其应用于生成视频：将带注释的剧本作为观察值，镜头规格作为隐藏状态，然后将该学习模型应用于生成新的视频序列。但是，这样的系统不会为了形成风格而与用户交流。在自动摄影中，很难将导演输入的剧本情节与自动摄像机摆放及配置算法有效地结合在一起。这个困难主要从两个方面产生。首先，电影制作中用户的主观意愿很难量化，也很难整合到优化算法中。其次，面向用户的深度交互式自动摄影机框架不可用，无法在视频生成过程的不同阶段提供不同层次的用户指导。如图1所示，自动摄影机的传统框架是单线程的前进过程，对于有交流需求的用户输入没有任何接口。用户无法频繁调整主观输入，也无法频繁查看中间视频输出。

考虑到某些用户不一定是电影制作专家，因此本公开提供了一种系统和框架，所述系统和所述框架可以吸收和翻译用户在各个阶段和层次的期望，反复考虑用户需求，并向用户提供即时反馈，直到实现所需的电影效果。本公开中所述的基于导演提示的自动摄影方法和系统可以将多个用户的主观期望编码为摄像机构图，摄像机运动和剪辑优化处理选项，从而使用户可以将他们的想法带入自动摄影过程而无需深入了解拍摄细节。

图2示出了示例性计算系统200的框图，所述计算机系统200能够实现本公开所述自动摄影方法。如图2所示，所述计算机系统200可包括处理器202，存储介质204，显示器206，通信模块208，数据库210和外接设备212，以及一个或多个总线214将设备耦合在一起。可以省略某些设备，并且可以添加其他设备。

所述处理器202可以包括任何合适的处理器。此外，所述处理器202可以包括多核，以处理多线进程或并行进程。所述处理器202可以执行一系列计算机程序指令或一系列程序模块以实现各种进程，诸如请求用户在图形用户界面上输入导演提示，生成/渲染动画视频，翻译导演提示以对动画视频进行剪辑优化处理等。所述存储介质204可以包括诸如ROM，RAM，闪存模块以及可擦除和可重写存储器之类的存储器模块，以及诸如CD-ROM，U盘和硬盘之类的大容量存储器。当由处理器202执行进程时，所述存储介质204存储计算机程序指令或程序模块，以实施所述进程。

此外，所述通信模块208可以包括通过通信网络102建立连接的网络设备。所述数据库210可以包括一个或多个数据库，用于存储某些数据(例如图像，视频，动画材料)，并在存储的数据上执行某些操作，例如检索数据库和恢复数据。

所述显示器206可以包括任何合适类型的计算机显示设备或电子设备显示器(例如基于CRT或LCD的设备，触摸屏，LED显示器)。所述外接设备212可以包括各种传感器和其他I/O设备，例如扬声器，摄像机，运动传感器，键盘，鼠标等。

在操作过程中，所述计算机系统200可执行一系列动作以实现本公开所述的自动摄影方法和框架。所述计算机系统200可以实现终端或服务器，或两者的组合。如本文中所说的终端，指的是具有计算能力的任何合适的用户终端，所述计算能力包括收集用户输入的导演提示，显示预览视频，对视频执行剪辑优化处理。例如，终端可以是个人计算机(PC)，工作站计算机，服务器计算机，手持计算设备(平板电脑)，移动终端(移动电话或智能手机)或任何其他用户端计算设备。如本文中所说的服务器，指的是一个或多个服务器计算机，所述服务器计算机用于提供服务器功能，例如确定拍摄动画视频的摄像机配置，基于摄像机配置生成动画视频，通过查找图模型中具有最小成本函数的路径来剪辑动画视频。所述服务器还可以包括一个或多个处理器以并行执行计算机程序。所述终端和/或所述服务器可以为上述动作和操作保证结构和功能。在一些实施例中，所述动作的某些部分可以在所述服务器上执行，而所述动作的其他部分可以在所述终端上执行。

图3示出了基于导演提示的自动摄影的示例性进程300的流程图，与本公开所述实施例保持一致；图4示出了基于导演提示的自动摄影的示例性框架400，与本公开所述实施例一致。可以由所述计算机系统200来实现示例性的所述进程过程300和示例性的所述框架400(例如处理器202执行程序以实现本公开所述的功能)。

如图3所示，本公开所述方法包括基于用户输入，获得并翻译用于制作3D动画电影的导演提示(S302)，即智能获取并翻译用户少量的直观输入用于制作3D动画电影的导演提示。此处所述的导演提示，是指传达或翻译用户摄影期望的信息。本公开的系统可以获得各种类型的导演提示，包括主角提示，与剧本情节修剪相关的提示，情节线索提示，与情节氛围相关的提示，与导演风格相关的提示，人物情绪表达提示和/或用户添加自由摄像机提示的至少一种。本公开所述系统的用户可以决定是否输入这些导演提示以影响电影制作。所述导演提示可能会在不同阶段影响自动摄影过程，例如在确定要使用哪台摄像机拍摄场景时，在确定使用哪种摄像机配置来拍摄场景时，在确定是否保留拍摄场景的某些部分进入最终电影等

为了翻译所述导演提示并减轻繁琐的调整过程，本公开的所述系统提供一组直观的图形界面工具来键入导演的输入内容，以获取并量化用户的直观输入的导演提示。在一些实施例中，这些图形工具集包括三类：可拖动曲线、动作注释和多项选择，相应地，所述图形界面可以是可拖动曲线界面，动作注释界面和多项选择界面，以实现获取和量化的过程。所述可拖动曲线(可拖动曲线界面)用于收集强度相关参数。用户不需要为故事的每个部分以及每种类型的强度调整分别键入强度值。通过对曲线上的点执行拖动操作，可以更改数据序列的相应强度值。如果用户对自己的决定没有信心，他们可以标记曲线某部分的值，而其余部分保持不变。本公开的所述系统(例如提示翻译器)可以执行合理的内插以填充整个曲线。所述动作注释(动作注释界面)是导演/用户在动作级别上的输入。用户可以将特色注释到单个动作或动作序列中，以表达他们的期望。所述多项选择(多项选择界面)让用户输入与角色或场景相关的参数。用户可以键入所述多种选择来定义角色的分类值，场景的氛围方案，按照冲突分的角色组等。

下文中介绍了本公开所述的自动摄影方法和系统采用的导演提示的类型，并说明了所述导演提示对电影制作的影响及其收集机制。表1是在本公开的所述系统中对可用导演提示的概述，以及与每种类型的导演提示相对应的可能的收集机制。

表1导演提示和收集机制概述

主角：主角是指电影中的主要角色或主要角色之一。主角可能是贯穿整个电影的同一个角色，也可能是不同场景的不同角色。为了加深主角的表现力并让观众清楚地认识影片主角，应为主角设置更复杂的摄像机配置。使用复杂的摄像机配置来拍摄不重要的角色很容易引起观看者困惑，而这种冗余的摄像机配置会降低后期的优化效率。在预优化阶段指定主角可以防止将注意力集中在次要角色上的这种倾向，并减少后续优化过程的计算时间。例如，可以请求用户在场景级别上的多项选择中输入信息，来指定主角。

与剧本情节修剪相关的提示：在拍摄之前，业余爱好者可能没有详细的电影时间分配计划。通常，因为最初制作的动画包括重复动作的连续过程，即3D环境下的动作序列是按照剧情要求，顺序地完成动作，例如人物从一个地点移动到另一个地点，其中包括大量重复性的内容，并且这些重复内容不一定对叙事有意义，最初制作的动画(渲染前的动作序列)可能不需要完全保留在最终的电影视频中。通过结合与剧本情节修剪相关的提示，对故事更重要或具有更大影响的动作更有可能得到保留，而重复且沉闷的动作或对故事影响较小的动作则不太可能出现在最终视频中，或不太可能完整地出现在最终视频中。例如，在具有可拖动曲线的直观界面中，本公开的所述系统指定与剧本情节修整相关的提示，所述可拖动曲线用于由用户键入电影剧本情节的重要性趋势。

在一些实施例中，不重要的动作作为个体，可以是另一个关键动作序列的原因或结果，或者是对话的上下文，而考虑到会谈的逻辑，不能消除所述对话，即使是相对重要性较弱的上下文，也不能简单地略去。在这些情况下，此类动作场景或至少一部分动作场景仍可以保留在最终电影中。可以提供一用户界面，请求用户在动作列表上进行注释来指示紧密相关的动作。例如，用户可以在同一事件组下对动作进行注释来指定动作之间的关联，以表示这些动作的高度相关性，从而可以基于相关性注释自动调整重要性曲线。可以将相关性注释转换为优化输入。在一些实施例中，用户可以在用户界面中升高或降低某些场景/动作的重要性等级。

图5示出了获得与剧本情节修整相关提示的用户界面，与本公开的实施例一致。所述用户界面允许用户通过可拖动曲线和动作注释进行输入。图5中，上图和下图都示出了显示相同动作序列的重要性趋势的用户界面。具体地，可以沿着时间线(x轴)列出一系列动作，并由一个或多个竖框表示(例如，每个竖框可以表示单位长度的视频，即单位时间长度的情节剧情)。每个竖框的高度(y轴)代表其相应的重要性等级。例如，在图5所示的图中列出了四个动作：“晚上玛姬在散步”，“强盗接近玛姬”，“强盗攻击玛姬”，“玛姬大声哭喊”。图中的前7个竖框描述了“晚上玛姬在散步”的动作。由所述竖框的上边缘形成的轮廓，例如图5中上图里的虚线501，可以由用户调节，将重要性趋势分配给相关场景/动作。例如，用户可以向上或向下拖动轮廓曲线上的任意点，以升高或降低相应的重要性等级。在某些情况下，拖动一个竖框可能会导致在同一事件组中的竖框发生相应的高度调整，或相邻竖框发生调整(例如，左侧两个竖框，右侧两个竖框)。一个竖框的调整幅度与所述竖框和用户正在操作(例如，垂直拖动)的竖框之间的距离成比例。图5下图示出了重要性阈值504，所述重要性阈值504用于修整剧本情节，即消除重要性等级低于阈值的场景，并保持重要性等级等于或高于阈值的场景。所述用户界面还允许用户指定同一事件组下的动作的关联，来提供相关性调整功能。例如，用户可以激活相同事件功能，然后单击/选择竖框或动作名称以标识其相关性。如图5的上图所示，“强盗接近玛姬”动作中的三个第一竖框502和“强盗攻击玛姬”动作中的三个第二竖框503，这两个动作的六个竖框(具有更粗的边界线)相关性高，因此分组为同一事件。如图5的下图所示，与图5的上图相比所述第一竖框502的重要性等级升高，并且在相关性调整之后高于阈值。如果不进行相关性调整，不知从何而来的强盗突然攻击玛姬可能会使观众困惑，并且在进行调整之后，视频剧本情节中包含了描述强盗接近的场景，以消除这种困惑。

线索：线索表示必要的项目或角色，所述项目或角色揭示故事的来龙去脉或指示事件的结果，以避免不合理的意外。例如，在英雄骑马去城堡这一事件之前，要对马进行可视化处理。但是马作为舞台属性，马的存在不会显示在动作列表中(例如要从剧本分解中获得)。不做这一处理可能会引起观众的困惑。在本公开的所述系统中，用户可以使用动作列表中的注释来添加线索。这样，在优化阶段，所述系统可以强制算法包括一个或多个先前镜头，所述镜头直接或间接表示所述线索。

氛围相关提示：氛围相关提示可以包括观看者感知强度，眨眼间隔，角色情感强度，主观镜头(POV)或角色冲突强度中的至少一种。

观众感知强度：在自动摄影中，剪辑节奏是指改变镜头的频率。当决定电影强度和剪辑节奏之间的关系时，可以认为观众感知强度与剪辑频率(例如，改变镜头的频率)成比例。本公开的所述系统可以请求用户针对整个动画(例如，结果视频)的最小镜头长度和最大镜头长度进行输入，并且请求用户在预期的观众感知强度曲线(例如为用户提供可拖动的界面)上进行输入。本公开的所述系统可以用于将最大强度映射到最小镜头长度，以及将最小强度映射到最大镜头长度，从而归一化强度曲线。归一化之后，可以从归一化曲线中获得每个时间单位的理想镜头长度。在优化期间，小于或大于此理想持续时间的镜头长度可能会受到惩罚。

“眨眼”间隔：通常，不减少角色的眨眼时刻，因为眨眼之间的时间间隔显示了角色的连续思想，而眨眼时刻表明了思想的改变。也就是说，在传统电影中，“眨眼”这个行为暗示了人物思想上的分段，眨眼的瞬间区分了人物上一段心理活动和下一段心理活动。3D动画电影的生成，也需要这里衍生出用户对于镜头连续性上的需求。通过标记连续镜头片段，所述连续镜头片段不受离散镜头的破坏，本公开的所述系统请求用户在“眨眼”间隔以及连续镜头片段上进行注释。

角色情感强度：通常角色的情感与镜头数量之间存在相关性。较小的镜头尺寸(即特写镜头)可以突出角色的面部表情。通过注释情感动作和角色的情感强度，可以帮助摄像机捕捉情感瞬间的特征。

第一视角镜头(POV)：创建角色POV对阐述角色身份，建立角色个性很关键。通常，此技术不用于电影中无关紧要的角色。适当的POV效果可以帮助观众产生期待感和参与感，并与主要角色建立共情。本公开的所述系统允许用户直接在动作列表中注释POV拍摄，或用户可以自由激活POV摄像机功能(即本公开所述系统自动激活POV摄像功能)。本公开的所述系统可以在合理的情况下添加POV摄像机，以增强观众身临其境的体验。

角色冲突强度：可以通过使用不同的拍摄视角来增强角色之间的叙事冲突。与单独拍摄每个角色相比，在表现角色之间的冲突方面，扁平的多角色拍摄的表现较差。通过控制人们的冲突曲线，本公开的所述系统允许用户影响拍摄行为(摄像机配置)，以升级角色之间的冲突。

与导演风格相关的提示：与导演风格相关的提示可以包括建立镜头氛围，反派强度，角色恐惧强度和手持强度中的至少一种。

建立镜头氛围：定场镜头是通常出现在视频的开头或新场景的开头的镜头，以揭示该场景的环境和位置。场景的定场镜头也可以营造该场景的氛围。所述定场镜头可以是平远景，用于表现后续故事的环境和背景信息。可替代地，所述定场镜头可以是快速越过头顶的无人机镜头，以创建史诗般的场景氛围。本公开的所述系统允许用户选择期望的氛围以及是否在优化之前添加定场镜头。

反派强度：当拍摄“坏”角色时，某些镜头可能会产生特殊效果。例如，从较低的角度拍摄角色可以增强角色的力量，或者近距离的面部拍摄可能会导致面部自然变形，从而进一步加剧了坏角色的卑鄙性。本公开的所述系统允许用户在导演工具集中确定反派并调整反派的强度，即恶的程度，以达到期望的效果。

人物恐惧强度：为了使人物在电影中看起来恐惧和绝望，摄影师经常强调将人物从周围物体中孤立。从更高的角度拍摄也给观众留下了人物无能为力的印象。周围物体的强势，以及物体尺寸和角色尺寸之间的鲜明对比，导致场景不一致，也可以凸显角色的情感状态。角色恐惧强度可以通过可拖动曲线进行调整。

手持强度：手持摄像机或手持拍摄是一种电影制作和视频制作技术，其中，将摄像机握在操作员的手中通常会产生不稳定的效果。晃动的效果表明未做好准备，以及没有进行过预演的现实拍摄，并可以提供动态感，沉浸感，不稳定性或紧张感。通过可拖动曲线提供手持强度，本公开的所述系统允许用户将晃动效果添加到视频中。

用户添加自由摄像机：如果调整间接提示效果不佳，可以通过在3D动画中自由添加摄像机，并指定使用这些摄像机的开始时间和持续时间来进行更细致的调整。在3D环境中，用户可以将摄像机拖到场景中并调整7个自由度(dof)参数，绘制计划的轨迹以模仿特殊的拍摄设备，例如手推车，起重机或无人机。本公开的所述系统包括提示翻译器，所述提示翻译器用于从这些用户添加的摄像机生成特征，并将由这些摄像机生成的场景嵌入下一轮优化。通过这种方式，本公开的所述系统生成的电影可以达到用户的最高满意度。

图4所示的框架400进一步示出了如何在电影制作的不同阶段利用导演提示。本公开的所述框架400包括两大块：提示翻译块400-1和优化块400-2。本公开所述系统包括提示翻译器，所述提示翻译器用于实现所述提示翻译块中的功能，包括获取主角404，基于魔术空间406分配摄像机配置，以及自动修剪预拍摄内容(时间自适应预拍摄内容修剪412)，线索翻译(线索414)，导演提示风格化及与情感相关提示翻译(导演风格化及情感416)，用户添加摄像机422和优化数据准备(第一渲染424)。在通过视频预览420预览优化算法的摄像机配置序列之后，用户可以重复地调整自动摄像机配置序列的输出。用户可以利用直观的提示翻译器，来间接地调整不同时间段内摄像机配置序列的安排，用户也可以在3D动画环境中添加用户定义的自由摄像机。所述优化块400-2包括默认摄像机摆放408，基于导演提示的优化器(基于导演提示的剪辑优化处理418)和镜头直通检测(未示出)，以及第二渲染410和第三渲染426。如图4所示，由剧本分解402给时间自适应预拍摄内容修剪412提供动作列表，并最终经过所述第三渲染426输出视频428。

在操作时，基于所述框架400，本公开的所述进程300可以进一步包括根据导演提示确定3D环境中的摄像机配置(S304)，并建立摄像机搜索空间，所述摄像机搜索空间包括多个候选摄像机配置，在不同时间戳使用所述候选摄像机配置以拍摄电影的一个或多个场景(S306)。

具体地，在将摄像机摆放在3D环境中拍摄电影场景之前，步骤S304可包括基于导演提示来确定默认摄像机摆放408。所述导演提示可以包括基于用户输入标识的主角404，需要POV效果的用户标记角色和/或通过分析现有电影数据获得的魔幻空间406。将摄像机摆放在3D空间中以拍摄满足2D限制的帧，这一操作是7个自由度的问题。7个自由度包括3D空间中的摄像机位置，摄像机沿3个轴的方向以及摄像机的焦距。2D限制是指电影的限制。摄像机的配置可以通过以下优化问题来确定：通过搜索满足电影2D限制的摄像机构图解决方案，在一帧的七个连续维度上进行优化。在实际应用中，这七个维度的优化可能需要密集的计算，并且可能没有可行的解决方案。电影视频的典型帧速率从每秒24帧到每秒60帧，这需要大量计算。为了缩小搜索空间的范围并避免进行大量无意义的计算，使用镜头分析工具对广受好评的电影/视频进行详细的镜头分析(例如根据IMDB人气排名选择最受欢迎的10部电视连续剧)。

图7示出了示例性镜头分析工具，与本公开的实施例一致。如图7所示，通过镜头分析工具在每个视频中记录了摄影领域中的重要镜头特征，例如镜头尺寸，摄影机高度，摄影机轮廓角度，帧类型，摄影机焦点，摄影机移动和角色在屏幕上的位置。通过帧变化梯度的自适应阈值来完成镜头过渡检测。通过镜头过渡检测在视频中识别镜头之后，可以显示镜头的预览窗口。每个镜头由一系列镜头特征描述。镜头特征可以由电影专业人士在拍摄分析工具的用户界面上手动输入。

在使用镜头分析工具分析了广受好评的视频后，发现电影制作中的镜头分配具有长尾效应：一组最常用的摄像机配置覆盖了电影中80％的镜头。图6A至图6B是从镜头分析工具获得的摄像机配置分布结果的示意图。具体地，图6A是镜头尺寸分布的示意图。如图6A所示，电影中使用的大多数镜头尺寸是中景镜头，中特写镜头，中远景镜头，远景镜头，特写镜头和大特写镜头。图6B是轮廓角的分布示意图。如图6B所示，电影中的大多数轮廓角在0/8、7/8、1/8、1/2、3/4和3/8位置。基于此观察结果，可以将7个自由度上的无限搜索空间，缩小到可计数的离散摄像机配置。最常用的镜头配置组被称为电影制作的“魔术空间”。

将摄像机摆放在3D空间中的过程可以进一步分为两类，单人/单项摄像机摆放和双角色摄像机摆放。观看时有两个以上角色的镜头通常包含一个主要角色，因此可以视为主要角色的单人镜头。

对于单人摄像机，可以利用3D动画引擎提供的默认跟踪功能，引导摄像机随着角色/项目移动而运动，同时保持所述摄像机和角色之间的相对位置。在这些情况下，由于保持了摄像机和角色之间的相对位置，因此在动画过程中不需要知道角色/物品的确切位置。图8A，图8B和图8C分别示出了单人摄像机所使用的不同镜头尺寸，高度以及轮廓角。图8A示出了构架摄像机800以产生不同的镜头尺寸，例如特写镜头(CU)，中特写镜头(MCU)，中景镜头(MS)和中远景镜头(MLS)。图8B示出了可以用于拍摄人物的不同摄像机高度，包括：高角度，视线水平面，肩膀水平面，低角度和地面。图8C以45度为间隔示出了8个不同的轮廓角(0-8)。在一些实施例中，默认情况下根据魔术空间(即预定义的最常用的摄像机配置)将单人摄像机摆放在3D环境中。例如，摄像机使用如图8A所示的四个镜头尺寸或如图8B所示的5台摄像机高度来拍摄场景，并基于其组合生成候选视频。对应的摄像机搜索空间有4×5＝20个候选。同样，在构建摄像机搜索空间时，可以添加其他类型的摄像机配置。属于“魔幻空间”并满足基于导演提示的某些约束的摄影机配置可以组成初始摄影机搜索空间。

此外，当确定镜头尺寸和轮廓角度后，可以通过旋转摄像机来完成单人摄像机在2D屏幕上位置的平移。调整摄像机方向也与修改角色在屏幕上的位置的摄影过程一致。图9示出了旋转摄像机902，以将角色904在2D帧上的投影位置从位置A改变为位置B。关于摄像机的焦距，可以通过现有3D引擎中的焦点剧本来完成浅层聚焦。每个单人摄像机或单项摄像机的焦点设置既可以聚焦在相应的角色/项目上，也可以不设置聚焦，这代表3D动画中的静态或深度焦点。

在一些实施例中，仅当两个角色之间的绝对距离在定义的范围内时，才可以触发双角色摄像机。默认的双角色摄像机还可以在整个动画中充当跟踪摄像机。

在一些实施例中，在剪辑优化处理之前，可以使用如上所述的默认摄像机摆放方案来生成初始候选摄像机序列。

此外，当产生具有用户定义的主角404的场景时，将来自魔术空间406的所有摄像机配置设置分配给单人跟踪摄像机或双角色摄像机以拍摄涉及主角的场景。这样做，丰富了与主角角色有关的摄像机多样性，并且抑制了无关紧要的角色的摄像机复杂性。这种差异化处理减少了观众对主角感到困惑的可能性，并且与针对所有角色均匀添加摄像机相比，摄像机的搜索空间较小，加快了优化过程。

摄像机搜索空间建立后，本公开的所述系统可以执行基于导演提示的剪辑优化处理(S308)。可以将所述基于导演提示的剪辑优化处理418形式化为在图模型中寻找具有最小成本的路径的过程，所述图模型中的各路径描述了用于制作电影的候选摄像机配置序列，并且将至少部分导演提示转换为图模型的成本函数。

在一些实施例中，用于剪辑优化处理的原子时间单位可以是1/2秒。使用更精细的时间间隔可以提高优化精度，但是对于大多数叙事而言，1/2秒通常就足够了。此时间单位沿袭于剧本情节修剪步骤中的切片操作。

剪辑优化处理包括在不同场景中找到合适的摄像机位置(例如为电影的每个时间单位指定摄像机的镜头特征，方向和焦距)。在一些实施例中，可以将剪辑优化处理形式化为修改后的图形问题(即图模型路径问题)，所述图形问题(图模型路径问题)为在图形中找到最小成本路径。图10示出了图模型的示意图，与本公开的实施例一致。在所述图模型中，t_i表示整个动画的第i个时间单位。c_u代表摄像机搜索空间中的第u个默认摄像机配置，c_k*代表用户添加的第k个自由摄像机配置。[t_i，c_u]表示在时间t_i时使用默认摄像机配置c_u拍摄，[t_i，c_k*]表示在时间t_i时使用用户指定的摄像机配置c_k*拍摄。这些时间/摄像机配置元组是所述图模型中的节点(例如在图10中显示为空白圆圈)。在图10中，同一列中的节点表示同一时间使用的不同摄像机配置。每一列中，路径应仅穿过一个节点，这意味着在一个时间点仅选择一台摄像机拍摄场景。同一行中的节点可以代表在不同时间单位使用的同一种摄像机配置。所述路径只能从左到右移动，这意味着电影时间应该按时间顺序而不是逆向移动。从节点[t_i，c_u]到节点[t_j，c_v]的转换意味从时间t_i到t_j使用摄像机配置c_u进行拍摄，在时间t_j发生摄像机配置从c_u到c_v的切换。这些过渡以支路表示。从节点[t_i，c_u]切换到节点[t_j，c_v]会引起从t_i到t_j的时间跳跃，此跳跃被定义为跃进。

所述图模型中的一条路径代表一种剪辑策略。所述路径在时间索引上受限，以保证在节点序列中时间单调增加。即所述路径只能沿着一个方向从起点到终点。在路径中可以实现从一台摄像机切换到另一台摄像机(例如从节点[t_i，c_u]转换到节点[t_j，c_v])。可替代地，同一台摄像机用于两个时间单位(例如从节点[t_i，c_u]转换到节点[t_j，c_u])。将无成本的虚拟起点添加到图模型中，以确保在寻找最小成本路径时，具有最小时间索引的不同节点都考虑到了，即初始时间的不同节点都考虑到了。虚拟起点仅具有向最小时间索引的节点(即初始时间节点)发出的支路。类似地，虚拟终点是无成本添加的，并且只有从其他节点发来的支路。

从起点到终点的路径成本包括3类：节点成本L^N，支路成本L^E和跃进成本L^H。L^N(t_i，c_u)表示在时间t_i使用摄像机配置c_u的相关成本函数。L^E(t_i，t_j，c_u，c_v)表示在时间t_j将摄像机配置从c_u切换到c_v的相关成本函数。L^H(t_i，t_j)表示通过从时间单位t_i切换到时间t_j跳过的跃进数。可以将不同的导演提示转换为不同类别的成本函数。在一些实施例中，L^N是从导演提示转换的所有节点成本函数的加权和。类似地，支路成本L^E可以是所有支路成本函数的加权和，并且跃进成本L^H可以是所有跃进成本函数的加权和。借助经过稍微修剪的图模型表示，可以使用迪克斯特拉(Dijkstra)算法来最小化目标函数，以找到从虚拟起点到虚拟终点的最小成本路径。总成本函数可以定义为公式(1)的递归函数。

可以采用动态规划来解出中间各[时间，摄像机配置]节点的最小成本。从虚拟起点到虚拟终点的最小成本L(-1，c_start)的路径是摄像机序列输出。输出节点序列，即摄像机配置序列，是<摄像机索引>，<开始时间>，<持续时间>的序列。在此，<摄像机索引>是对摄像机搜索空间的摄像机的索引，包括默认摄像机和用户添加的摄像机，<开始时间>表示使用此摄像机的开始时间，<持续时间>表示连续使用此摄像机的持续时间。

在一些实施例中，可以在摄像机配置中包括<跟踪>特征。具体来说，一旦建立了摄像机配置序列，就会有两个摄像机行为属性选项，并且<跟踪>功能指示此摄像机是保留其跟踪行为还是用作静态摄像机。用作静态摄像机意味着在<开始时间>拥有此摄像机配置的静态副本，并使用此副本拍摄<持续时间>的时长。处于跟踪模式的摄像机意味着摄像机跟踪角色移动，并在所述<持续时间>的时间段内与角色一起移动。

所述<跟踪>特征可以用于规避障碍物。具体地，在本公开的所述系统中，摄像机配置优化和3D动画环境相对独立。这样独立的优势在于，可以在无需过多了解3D动画的情况下将摄像机优化框架(即摄像机配置)进行优化，并且3D场景的修改不会影响摄像机优化结果。但是，对3D环境的有限了解可能会导致摄像机和障碍物之间发生碰撞。确定输出摄像机的顺序后，默认的摄像机行为是在持续时间内保留所述摄像机的静态副本，但是如果需要，摄像机可以激活跟踪模式。所述跟踪模式可用于避免穿镜效果，所述穿镜效果是用静态摄像机拍摄移动角色引起的(例如，角色/物品移动走出摄像机的镜头，从而导致在摄像机拍摄的场景中丢失角色)。通过将静态模式更改为跟踪模式，所述摄像机可与目标角色保持相对位置以避免碰撞。在本公开的所述系统中，让摄像机穿越静态障碍物的可能性低，这是因为优化利用了帧质量成本，其中遮挡后的可见性增加了成本函数的成本。当目标角色/物品高速移动且添加跟踪摄像机的静态副本可能会导致穿镜效果时，跟踪模式特别有用。

在一些实施例中，为摄像机配置序列中的每个元素添加冲突检测。首先假设每种摄像机配置是摄像机配置序列元素[<开始时间>，<持续时间>，<摄像机索引>]的静态副本，如果当前摄像机和移动对象之间的法向矢量上，移动对象的投影速度足够高，使所述移动对象在<持续时间>内到达静态摄像机(例如移动跨越从对象到摄像机的初始距离)，可以认为存在穿镜效果的可能性较高。如果是这样，则所述摄像机配置序列元素将从静态模式切换到跟踪模式。

通过输入各种用户提示(导演提示)的翻译，优化器(基于导演提示的剪辑优化处理418)可以生成最佳的摄像机配置序列，同时监视可能的穿镜冲突并调整摄像机移动。

在步骤S302中获得的导演提示可以进行数学表达/翻译，并作为成本函数融合到图模型中。某些导演提示可以用作图模型的限制。某些导演提示可以直接影响输出摄像机配置序列。当用户想要对中间视频进行调整时，会在生成中间预览视频时获得导演提示。表2列出了与导演提示相关的变量。

表2导演提示变量

第一次渲染完成后，可以获得动画的时间轴。另外，可以获得各单个动作和/或并行动作(动作发生在相同时间段)的开始时间和持续时间。有些动作的持续时间可能比较长，例如吃饭，写字和从一个位置移到另一个位置。为了将用户输入(例如图5中所示的连续重要性曲线)映射到动作并帮助用户在一个动作中呈现微妙的重要性，可以将动作进一步划分为单位(例如，时间单位)。即包括多个单位的连续动作可以具有与每个单位相对应的重要性等级。连续动作可能会有部分包含在修剪的剧本情节中。I代表重要性曲线输入上的用户输入，则I(t)是用户在时间t定义的重要性。

注释为紧密相关的动作(来自同一事件组)具有相同的重要性，例如都具有事件组内的最高重要性。设E(t)表示在时间t的动作事件组，则相关调整可以表示为以下公式(2)：

I(t)＝max{I(t′)∶E(t′)＝E(t)}公式(2)

在一些实施例中，可以在用户调整重要性曲线之后获得修剪后的动作列表。然后可以在用户界面上向用户呈现预览的内容(内容预览4122)。用户可以查看修剪后的剧本情节并标记相关事件以调整其重要性等级(重要性及相关性4124)。用户界面允许用户修剪动作列表并根据自己的意愿调整重要性等级，直到获得满意的结果。

此外，t_start和t_end表示动画的开始时间和结束时间，并且基于用户提供的预期总时间t_expected，可以执行二元搜索以自动调整重要性阈值，并删除/移除重要性低于阈值的动作，直到获得总时间最接近用户期望的动画。以下公式(3)定义了阈值搜索：

I_threshold＝min{I(t)∶t_start≤t≤t_end}

使用导演的重要性曲线以及与动作相关注释，可以在摄像机优化(基于导演提示的剪辑优化处理418)之前自动剪辑电影的拍摄内容(即自适应时间的预拍内容修整)，因此用户不需要考虑动画时长和电影时长之间不兼容的问题。由于剩余的拍摄动作较少，用于剪辑优化处理的数据也大大减少了。

在一些实施例中，可以将在优化中使用的用户线索提示(线索414)翻译成数学表示。线索作为一种限制，可以在动作发生之前激励重要对象的可视化。线索是由用户在操作列表中注释的对象。假设O(clue)表示线索对象，则T(clue)表示所述线索对象在动作列表中的时间。CLUE(t)定义为表示时间t之后的一组线索。如公式(4)所示：

CLUE(t)＝{clue∶T(clue)＞}公式(4)

线索提示可以用作图模型的限制，以进行剪辑优化处理。

表示与线索提示相关的节点成本。V(t,c,O(clue))表示在时间t使用摄像机配置c的线索对象的可见性，FRAMESIZE是渲染后的帧区域。如公式(5)所示：

此成本函数极大地激励了在线索开始时间之前，对时间/摄像机配置节点的线索对象的可视化。

与氛围相关的提示也可以翻译并添加到剪辑优化处理过程中。例如，对于与观众感知强度有关的导演提示，让Int(t)表示用户在时间t处的预期强度，则可以直接从强度曲线或通过用户提供的强度值进行插值绘制得出。观众的感知强度可能与镜头切换频率成正相关。在数学表示中，d(t)表示在时间t的预期持续时间，所需频率为

最大强度可以表示为：Int_max＝max{Int(t):t_start≤t≤t_end}，最小强度可以是Int_min＝min{Int(t):t_start≤t≤t_end。因此，以f_max为最大镜头切换频率，在时间t的预期频率为公式(6)：

由于预期持续时间

与观众感知强度有关的成本函数可以写为公式(7)：

在一些实施例中，α是将成本归一化到特定范围(例如，[0，1])的系数，在计算所有跃进成本函数的加权和时可以使用和调整此系数。观众感知强度的成本函数是图模型与跃进相关的成本，所述成本汇总了对早镜头切换或晚镜头切换的惩罚。

“眨眼”间隔表示导演希望避免镜头切换(在此期间更换摄像机配置)时的连续时刻。这是常见的需求，为了让观众有时间沉浸在当前场景中并且不会被突然的镜头切换打断。为了将此要求嵌入到剪辑优化处理中，将支路成本添加到图模型中，以减少某些指定节点序列(例如用户标识的与连续时刻/持续时间相关的节点序列，以避免镜头切换)中镜头切换的机会。成本函数可以写成公式(8)：

在上述等式(8)中，b表示连续的时间间隔(例如，导演指定的时间段)，B是包括所有眨眼间隔的集合，T(b)代表b的开始时间，D(b)代表b的持续时间。眨眼间隔导演提示的支路成本可防止支路出现在任何带注释的连续时间间隔内。

角色情感强度也可以用于剪辑优化处理中。当故事变得令人激动时，可以生成更近的镜头以强调角色的脸部，因为可以通过面部表情来表达角色的外露情感。可以建立与显示面部表情有关的节点成本函数，以转换用户输入的情感强度曲线中的高值。IntE(t,char)表示角色char在时间t的情感强度。V_face(t,c,char)代表摄像机配置c在时间t捕获的角色char的面部可见性。IntE_max表示最大情感强度(例如，基于用户输入从强度曲线获得)。角色情感强度的节点成本函数可以写成公式(9)：

角色情感强度的节点成本函数鼓励在激烈的情感时刻有更贴近面部的拍摄。

在一些实施例中，POV摄像机可以包括在魔术空间设置中，其中每个主要角色在视线水平面上都具有跟踪摄像机，以模仿角色的观看行为，即获得角色感知的视线。也就是说，针对角色的POV摄像机作为默认摄像机包括在了初始摄像机搜索空间中。有些时候导演想激发主观观点，让观众感受到主角的感受。通过在特定时间段内注释POV摄像机，可以设置优化算法，以强制摄像机路径(图模型中的路径)在注释的持续时间内通过代表主要角色的POV的节点。图11A示出了强制通过默认摄像机的图模型的示意图，与本公开的实施例一致。在图11A中，第一节点1102和第二节点1104表示应该在电影的相应部分使用的POV摄像机，因此第一节点1102是其列中唯一可选择的摄像机。

可见性方面的对比会引发人与人之间的冲突，可见性中的亲和力/相似性(如平面双角色镜头)可以降低观众感知到的人与人之间的冲突。令g代表一组角色，G代表所有角色组的集合，V(t,c,char)代表在时间t摄像机配置c上角色char在2D屏幕上的面部可见性，而NG(t,c)代表在时间t摄像机配置c上的可见组数量，在时间t摄像机配置c的尺寸对比度可写为公式(10)：

where NG(t,c)＝[{g∶∑_char∈gV(t,c,char)≠0}]公式(10)

Cont(t,c)描述了来自不同人群的人的尺寸对比(例如2D时全身可见度)。镜头仅显示单个组中的人物时，最大对比度值等于1。多个人在同一地点(在同一场景中)，并且多个人的可见性均匀分布时，最小对比度值等于0。这种可视化大小的对比增强了对人物之间冲突的印象。IntC(t,c)是指在时间t处组别之间用户定义的冲突强度。角色冲突强度的节点成本函数可以写成公式(11)：

该节点成本函数鼓励更大的可视化尺寸，从而增强对人与人之间冲突的印象。

在剪辑优化处理中也考虑与导演风格有关的提示(导演风格化及情感416)。剪辑优化处理器可以根据候选摄像机配置序列来生成中间视频。可以在获得导演提示(例如修剪的动作列表，线索限制和与氛围相关的提示)后从图模型中找到摄像机配置序列生成中间视频，并将它们用于图模型的成本函数中。本公开的所述系统包括视频预览界面(视频预览用户界面，视频预览420)，所述视频预览用户界面显示中间视频并为用户提供选项，以进一步调整剪辑过程，例如添加定场镜头，调整特定镜头尺寸和反派场景的角度，向特定场景添加摇晃效果，添加用户定义摄像机(用户添加摄像机422)等。视频预览用户界面(视频预览420)可以进一步允许用户调整其他导演提示(例如，修剪的动作列表，线索限制和与氛围相关的提示)，并显示基于调整后的提示更新的中间视频。上述进程可以重复多次，直到用户获得满意的结果。

在一些实施例中，本公开的所述系统为用户提供了在每个场景的开始处添加定场镜头的机会。所述定场镜头可以覆盖这一场景的背景环境。对具有不同预定义镜头配置的候选定场镜头进行分类，所述预定义镜头配置对应于不同的氛围。用户可以使用提示界面从候选镜头中选择定场镜头。

当用户将角色注释为“坏”角色时，可以通过从较低角度选择摄像机以更大的倾角拍摄从而增强对其“恶”的印象，或更近距离地拍摄以捕捉邪恶表情，以及添加极其接近的摄像机来营造稍微扭曲的效果。

从周围物体中孤立会激发角色的恐惧感，可视化中物体中占主导地位也会加深观众对角色无力的感觉。在这里，Dist2D(t,c，char)表示在2D屏幕上的角色与视线中所有其他对象之间的距离。令O(t，c，char)表示屏幕上除角色char以外可见的其他角色或项目，在时间t摄像机配置c上角色char的孤立系数可写为公式(12)：

此外，在时间t摄像机配置c上的物体对比度可以写成公式(13)：

假设IntF(t,c)表示在时间t摄像机配置c拍摄出的恐惧强度，则可以通过以下方法获得角色恐惧的节点成本函数，如公式(14)：

该节点成本函数鼓励对角色的恐惧感进行加强的镜头。

对于用户注释的手持动作，本公开的所述系统通过在小范围内增加与原始位置具有偏差的随机位置来模仿手持摇晃效果。由用户注释以显示手持效果的摄像机可以在限定的时间范围内移动(例如随机位置偏差内)。移动频率和偏差幅度与手持设备强度成正比(例如，用户在导演提示收集界面中选择的强度)。

用户添加的自由摄像机是动画3D环境中的用户定义摄像机。这样的摄像机可以在连续的7个自由度空间中具有完全的自由度，在本公开的所述系统中，用户可以选择在任何时间添加摄像机并设置任意持续时间，还可以定义摄像机的轨迹和移动行为。用户添加的摄像机在优化中具有最高优先级(例如由用户添加摄像机界面(用户添加摄像机422)定义，并由优化数据准备模块(第一渲染424)渲染)。也就是说，剪辑优化处理算法可以强制图模型中的路径在所述持续时间内经过代表用户添加摄像机的摄像机配置节点。但是与POV固定摄像机不同，用户新添加的摄像机不会像默认摄像机那样具有跟踪行为，因此所述路径将在定义的时间序列结束时重新寻路到最近的默认节点。图11B示出了强制经过两个用户添加摄像机的图模型的示意图，与本公开的实施例一致。如图11B所示，第三节点1106和第四节点1108表示在时间t_i施加用户添加的摄像机配置

以拍摄场景，并且在时间t_(i+1)施加用户添加的摄像机配置

在一些实施例中，剪辑优化处理可以进一步包括叙事优化，美学优化和2D连续性优化。可以根据希区柯克的理论在优化过程中调整镜头的大小，即“某帧中物体的大小应等于当时它在故事中的重要性”。在一些实施例中，还可以根据框架中的净空和视空，添加美学成本作为优化过程中的加权因子。也可能会增加连续性成本，以避免在2D框架上产生不连续感。

一旦用户对视频预览用户界面(视频预览420)中的视频感到满意，则本公开的所述系统可以执行S310，即将剪辑后的视频输出为3D动画电影(428)。

本公开的所述框架400可以执行基于导演提示的优化，所述优化支持各种用户输入。所述框架考虑了导演提示的六种可能类型，即主角，与剧本情节修剪相关，线索，与导演风格相关，与氛围相关以及用户添加自由摄像机。输入这六种类型的导演提示可以极大地提高输出视频的质量，从而使视频更具吸引力并且逻辑准确。例如，用户可以通过强度曲线(例如，在图形用户界面中拖动曲线的特定部分)在不同时间轻松控制生成的视频的张力。此外，在整个电影中节奏不再相同，并且通过这种多样选择大大提高了电影的质量。另一个例子是本公开的所述框架可以凸显电影的线索。就发明人所知，没有一种算法将电影线索的重要性和合理性作为公开的框架。当故事中涉及某项事物时，不应在没有引入背景信息的情况下让其突然出现。这样的冲击会导致电影片段不合理，并给观众留下不连续的感觉。本公开的所述框架在基于导演提示进行优化时，整合了用户指定线索的出现顺序，从而可以避免给观众带来这种不愉快的诧异。

此外，本公开的所述自动摄影优化框架可以反复吸收用户的主观目标，并为用户的调整提供及时的反馈，直到获得令人满意的结果。用户可以通过提示翻译块与摄影进程配合。借助本公开的所述框架提供的提示翻译器，多循环反馈机制和基于导演提示的优化器的优势，用户可以将主观理念深深地嵌入到电影制作中。

与现有的自动摄影算法相比，本公开所述系统输出的视频具有多样化的导演风格，氛围输入使电影观众更沉浸于电影中，视频剧本情节更符合导演的期望，并且优化时间大大缩短。

通过结合本发明公开的说明书和实践，本公开的其他实施方案对本领域技术人员而言将是显而易见的。需要指出的是，说明书和实施例仅被认为是示例性的，本发明的真实范围和内涵由权利要求书指示。

Claims (12)

1.一种在三维动画环境下自动生成动画电影的方法，其特征在于，包括：

智能获取，量化并翻译用户的直观输入用于制作3D动画电影的导演提示；

根据部分所述导演提示，确定3D环境中的候选摄像机配置；

建立摄像机搜索空间，所述摄像机搜索空间包含多个候选摄像机配置，在不同时间戳下使用所述摄像机搜索空间下的候选摄像机配置，以拍摄电影的各个场景；

根据部分所述导演提示优化剧本情节；

基于所述摄像机搜索空间，所述优化后的剧本情节，部分所述导演提示和初步渲染后的画面内容执行摄像机配置序列的优化，以完成剪辑优化处理，其中将所述剪辑优化处理形式化为在图模型中寻找最小成本路径的过程，所述图模型中的每条路径用于表示渲染动画的一候选摄像机配置序列以制作电影，并且将部分所述导演提示翻译为优化过程的成本函数；以及

将所述摄像机配置序列重新渲染后的视频作为剪辑优化后的3D动画电影输出。

2.根据权利要求1所述的在三维动画环境下自动生成动画电影的方法，其特征在于，获取所述导演提示包括：

提供图形界面工具以获取并量化所述导演提示，其中所述图形界面工具的类型包括：可拖动曲线界面，动作注释界面，和多项选择界面。

3.根据权利要求2所述的在三维动画环境下自动生成动画电影的方法，其特征在于，所述可拖动曲线界面用于获取强度相关参数，且所述方法还包括：

对强度曲线上的一点进行拖动操作，所述强度曲线显示在所述可拖动曲线界面上；

基于所述拖动操作，调整所述点周围的强度趋势；

基于调整后的所述强度曲线，获取任意点的强度参数。

4.根据权利要求3所述的在三维动画环境下自动生成动画电影的方法，其特征在于，所述强度曲线代表电影中事件的重要性趋势，所述强度曲线上的各点代表所述用户在对应时间段定义的事件重要性；且所述方法还包括：

获取事件组的用户注释，所述事件组包括多个相关的事件；以及

将所述相关的事件的重要性等级调整为与所述事件组中的最高重要性相等。

5.根据权利要求1所述的在三维动画环境下自动生成动画电影的方法，其特征在于，

所述图模型中的节点[t_i,c_u]代表在时间t_i用摄像机配置c_u拍摄；

所述图模型中从节点[t_i,c_u]过渡到节点[t_j,c_v]的支路代表从时间t_i到时间t_j用摄像机配置c_u拍摄，并且在时间t_j将摄像机配置从c_u切换为c_v；以及

跃进(t_i,t_j)代表在所述图模型中从t_i到t_j的时间跳跃。

6.根据权利要求1所述的在三维动画环境下自动生成动画电影的方法，其特征在于，所述导演提示的类型包括主角提示，剧本情节修剪相关的提示，情节线索提示，情节氛围相关的提示，导演风格相关的提示，人物情绪表达提示和用户添加自由摄像机提示。

7.根据权利要求1所述的在三维动画环境下自动生成动画电影的方法，其特征在于，

所述导演提示包括所述用户在场景中确定的主角；以及

确定3D环境中的摄像机配置包括：放置摄像机，所述摄像机追踪所述场景中的所述主角，通过所述摄像机的配置信息确定所述摄像机配置。

8.根据权利要求1所述的在三维动画环境下自动生成动画电影的方法，其特征在于，

所述导演提示包括从现有电影中习得的摄像机配置组；以及

确定3D环境中的摄像机配置包括：将多个候选摄像机摆放在3D动画环境中，各候选摄像机具有一种所述摄像机配置组中的设置，通过所述候选摄像机的配置信息确定所述摄像机配置。

9.根据权利要求1所述的在三维动画环境下自动生成动画电影的方法，其特征在于，还包括：

从所述剪辑优化处理生成中间视频；

在视频预览用户界面显示所述中间视频；

从所述视频预览用户界面获取调整后的导演提示；

基于所述调整后的导演提示，更新所述图模型；

获取更新后的摄像机配置序列，所述更新后的摄像机配置序列代表所述图模型中的所述最小成本路径；

基于所述更新后的摄像机配置序列，在所述视频预览用户界面显示更新后的视频。

10.根据权利要求9所述的在三维动画环境下自动生成动画电影的方法，其特征在于，

所述调整后的导演提示包括由所述用户添加的摄像机，用于拍摄指定的时间段；以及

获取更新后的摄像机配置序列，所述更新后的摄像机配置序列代表所述图模型中的所述最小成本路径中，包括：强制所述图模型的候选路径经过代表所述用户添加的摄像机的节点。

11.根据权利要求1所述的在三维动画环境下自动生成动画电影的方法，其特征在于，将所述摄像机配置序列重新渲染后的视频作为剪辑优化后的3D动画电影输出包括：

使用所述摄像机配置序列渲染后的预览视频，用于用户修改输入；

将用户的最终输入生成的摄像机配置序列渲染后的视频，作为剪辑优化后的3D动画电影输出。

12.一种在三维动画环境下自动生成动画电影的装置，其特征在于，包括：存储器以及与所述存储器耦合的处理器，所述处理器用于：

智能获取，量化并翻译用户的直观输入用于制作3D动画电影的导演提示；

根据部分所述导演提示，确定3D环境中的候选摄像机配置；

建立摄像机搜索空间，所述摄像机搜索空间包含多个候选摄像机配置，在不同时间戳下使用所述摄像机搜索空间下的候选摄像机配置，以拍摄电影的各个场景；

根据部分所述导演提示优化剧本情节；

基于所述摄像机搜索空间，所述优化后的剧本情节，部分所述导演提示和初步渲染后的画面进行摄像机配置序列的优化，此过程称为剪辑优化处理，其中将所述剪辑优化处理形式化为在图模型中寻找最小成本路径的过程，所述图模型中的每条路径表示渲染动画的候选摄像机配置序列，并且将部分所述导演提示翻译为优化过程的成本函数；以及

将所述摄像机配置序列重新渲染后的视频作为剪辑优化后的3D动画电影输出。

Images