CN101251925A - 一种虚拟摄像机规划布局方法和系统 - Google Patents

Abstract

本发明公开了一种虚拟摄像机规划布局方法，包括下列步骤：输入所要拍摄的三维场景的环境数据和目标画面的语义约束；将步骤中的目标画面的语义约束进行分类，分为空间语义约束和屏幕语义约束；对所述空间语义约束进行空间语义计算，求出一个空间区域，当虚拟摄像机或目标点处于该空间区域时，该空间语义约束对应的谓词公式为真；读入空间语义计算的输出结果，进行屏幕语义计算，通过最优化搜索的方法获取一组满足所有屏幕语义约束的虚拟摄像机属性值；输出一虚拟摄像机位置。其能够根据所期望获取的、满足不同要求的画面内容，自动求出虚拟摄像机的位置参数。

Description

一种虚拟摄像机规划布局方法和系统

技术领域

本发明涉及自动布局技术领域，特别是涉及对虚拟三维场景中人和物的拍摄过程进行仿真，根据所期望获取的、满足不同要求的画面内容自动求出虚拟摄像机的位置参数，即虚拟摄像机规划布局方法和系统。

背景技术

虚拟摄像机规划技术近十年得到了迅速的发展，它已渗透到人们生活的各个角落。较之传统的摄像机，现有的虚拟摄像机规划技术已经可以将虚拟摄像机从固定的工作台中解放出来，使虚拟摄像机的放置和运动不再受到任何的限制，具有了更为强大的表现能力，基于此，如何进行虚拟摄像机规划(CameraPlanning，CP)，进行虚拟摄像机定位，给予自动布局，进而提高计算机数字制作效率和表现力，显得必要并且重要。

为了解决虚拟摄像机规划问题，现有技术提出几种解决技术方案：

1)数值计算方法和系统，最早由Jim Blinn提出，通过指定空间中任意两个点在屏幕坐标系中的位置，来计算摄像机的属性取值。此后，DavidChristianson等人设计了摄像机控制描述语言(DCCL)及虚拟摄像师(VirtualCinematographer)系统，在该系统中，也采用了数值计算的方法。

数值计算方法能够精确地计算摄像机的属性取值，但无法解决物体之间的遮挡问题。

2)交互式方法和系统，借助人机交互方式，Phillips于1992年完成了一个可以部分实现自动设置摄像机属性的系统(“Jack”)。系统自动生成一幅初始图片，用户对该图片进行评价，并籍由系统所提供的相应指令辅助计算机修改或调整摄像机的属性值。

3)基于约束满足与最优化的方法和系统，现有技术中，大部分虚拟摄像机规划方法和系统都采用了该方法和系统，其通过一组约束或目标函数来对最终画面的要求进行描述，再根据约束与目标函数的不同，使用不同的求解方法来计算摄像机的具体属性值。有代表性的技术方案包括：

A)Dorée Seligmann的IBIS系统，其提出了一种通用的、基于规则库的、由文本生成图像(非连续动画)的方法；

B)智能主体系统——CAMPLAN，由Nicolas Halper和Patrick Olivier完成。其作为IBIS系统的摄像机规划子系统，该系统旨在创建提供一套用以描述最终画面要求的机制，并通过计算生成最终的图像。并且，CAMPLAN中首次使用了遗传算法来解决摄像机规划的问题。

C)Drucker的Cinema系统、Jardillier的Virtual Cameraman系统，以及W.H.Bares的CONSTRAINTCAM系统都使用了这种方法。

尽管现有技术中的方法和系统从不同角度对摄像机规划进行了探索和研究，涉及到了游戏、教学、动画制作等方面，但是，现有技术存在以下缺陷：①无法准确、详尽地描述用户需求，生成的画面不符合人们的期望；②能够处理的情况太简单，不适合大型工程；③处理的速度及精度不够，不能在合理的时间内获得满意的结果。

发明内容

本发明所要解决的问题在于提供一种虚拟摄像机规划布局方法和系统，其克服现有技术中缺少专业知识和经验性知识引导的不足，快速地确定虚拟摄像机的位置及拍摄角度。

为实现本发明目的而提供的一种虚拟摄像机规划布局方法，包括下列步骤：

A.输入所要拍摄的三维场景的环境数据和目标画面的语义约束；

B.将步骤A中的目标画面的语义约束进行分类，分为空间语义约束和屏幕语义约束；

C.对所述空间语义约束进行空间语义计算，求出一个空间区域，当虚拟摄像机或目标点处于该空间区域时，该空间语义约束对应的谓词公式为真；

D.读入空间语义计算的输出结果，进行屏幕语义计算，通过最优化搜索的方法获取一组满足所有屏幕语义约束的虚拟摄像机属性值；

E.输出一虚拟摄像机位置。

所述步骤A还进一步包括：

A1.构建摄影知识库；

A2.输入虚拟场景环境数据和目标画面的语义约束。

所述构建摄影知识库，是指以产生式规则的形式获取与虚拟摄像机布局相关的摄影知识和计算机图形学知识，并以此构建相关的知识库，其中，摄影知识在知识库中按顺序逐条存储，位置靠前的知识优先级别高。

所述产生式规则的形式，定义为<规则>::＝<规则名称>:IF<规则前件>THEN<规则后件><规则解释><规则备注>，其中，摄影中的规则前件包含的内容有：需满足的约束，当前所得画面与要求画面的差距；摄影中的规则后件包含的内容有：增加附加约束、摄像机属性的调整方法、模型位置的调整方法；计算机图形学中的规则前件为摄影知识中的规则后件；而其规则后件包含调整的数值计算方法。

所述空间语义约束，用来直接约束虚拟摄像机属性取值。

所述屏幕语义约束，是通过限定虚拟摄像机所拍摄的画面效果，间接约束摄像机属性取值。

所述空间语义约束和屏幕语义约束，都以谓词形式表示，分为空间语义约束谓词和屏幕语义约束谓词。

所述空间语义约束谓词，其中每一个空间语义约束谓词都对应一个与被摄对象相关的区域。

所述空间语义计算，是指每一个空间语义约束谓词都对应一个与被摄对象相关的区域，通过单个谓词对应的区域的布尔运算可以求得满足一个谓词公式的区域，确定摄像机的确切位置范围。

所述空间语义计算，包括：

C1.两个谓词公式合取，则对应的区域求并；

C2.两个谓词公式析取，则对应的区域求交；

C3.单个谓词公式取否定，则对应的区域求补，其全集为整个虚拟世界空间。

所述最优化搜索，包括：

a.读取约束，并使用系统给定的谓词公式进行表示，获得使用者对目标画面的描述；

b.根据约束，匹配规则的前件，执行规则后件对应的操作，获取一个摄像机的起始位置；

c.计算摄像机在该位置所拍摄的画面是否符合要求，符合要求计算结束，不符合要求，计算与目标画面要求之间的误差；

d.将误差以谓词的形式表示，查询知识库，匹配规则的前件，执行规则后件对应的操作，改变摄像机位置，得到一个新的摄像机位置；

e.计算新位置摄像机拍摄的图像的误差，重复步骤c、d，直到得到结果为止。

所述步骤D还进一步包括：

D1.读入空间语义约束计算的输出结果；

D2.查询摄影知识库，根据屏幕语义约束选择一个搜索的起始位置；

D3.计算该位置对应的绝对误差矢量及画面误差率(当误差小于设定的阈值，认为满足要求)，满足约束则输出结果；不满足则转到步骤D4；

D4.判断搜索次数是否达到上限，如果达到则转步骤D5；如果没有达到则转步骤D6；

D5.查询摄影知识库，输出调整后的物体或人物位置并退出；

D6.查询摄影知识库，根据知识库的建议，调整摄像机属性，转到步骤D3。

为实现本发明目的还提供一种虚拟摄像机规划布局系统，包括：

约束分类模块，用于将输入的目标画面的语义约束进行分类，分为空间语义约束和屏幕语义约束；

空间语义计算模块，用于进行空间语义计算，求出一个空间区域，获取摄像机的确切位置范围；

屏幕语义计算模块，用于屏幕语义计算，通过最优化搜索的方法获取一组满足所有屏幕语义约束的虚拟摄像机属性值；

知识库模块，用于存储以产生式规则的形式获取与虚拟摄像机布局相关的摄影知识和计算机图形学知识。

本发明的有益效果在于：本发明的虚拟摄像机规划布局方法和系统，其能够以目标画面为约束，以摄影学专业知识为指导，快速地确定虚拟摄像机的位置及拍摄角度，从而为制作人员节省手动调整虚拟摄像机位置参数的时间。其所生成的画面语义效果可以满足数字制作中(关键帧生成)的基本需要。内容可以独立使用，也可以无缝地嵌入到现有制作平台和工具中，降低了数字内容制作者的技术门槛，可以方便地通过基于语义的人机交互界面完成摄像机的自动规划布局。

附图说明

图1A和图1B分别是摄像机空间属性的两种表示方法；

图2本发明的虚拟摄像机规划布局方法流程图；

图3是过肩镜头的拍摄效果；

图4是空间区域的表示示例；

图5是本发明的虚拟摄像机规划布局方法的简化流程图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明的一种虚拟摄像机规划布局方法和系统进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

现有技术中存在的问题，本质在于虚拟摄像机规划布局(Virtual CameraPlanning，VCP)至今没有一个有效的解决方法。基于此，本发明构建了一个具有摄影师专业知识的启发式知识库，提出了一种基于约束满足的虚拟摄像机规划方法和系统，并给出了一套新的制作评价标准，以解决计算机制作中虚拟摄像机规划布局(VCP)问题。

本发明中的约束，是用来帮助自动设定拍摄过程，它通过赋予被摄对象在目标画面中的语义约束，反求出虚拟摄像机的位置和角度。使用者能够借助给定的约束谓词准确地描述自己希望得到的画面效果。例如，如果想得到一幅画面“一辆汽车沿着一条设好的路径自东向西运动”，可以对该画面进行语义描述，包括画面中应该出现的对象，以及画面中对象之间的空间位置关系等。系统根据这一描述内容计算出摄像机的位置，得到所需要的画面。

下面详细描述本发明的一种虚拟摄像机规划布局方法：

本发明采用了几何计算与启发式知识搜索相结合的方法来解决摄像机布局问题。首先将约束分类，之后经过空间语义计算与屏幕语义计算，得到最终解。

本发明的虚拟摄像机的规划布局是通过空间语义约束和屏幕语义约束的计算求出虚拟摄像机的空间位置，即虚拟摄像机的可视区域、空间位置和朝向角度。

可视区域指虚拟摄像机能够拍摄的范围，由虚拟摄像机的焦距、宽高比以及最近和最远可视面所决定。

空间位置及朝向角度总称为虚拟摄像机的空间属性，有两种表示方法，如图1A、图1B所示。其中，第一种表示方法多用于实现与虚拟摄像机本身有关的约束，且多用在虚拟摄像机运动拍摄中(如水平摇拍整个场景)；第二种则多在实现与拍摄对象相关的约束时使用(如当拍摄对象为X时，调整虚拟摄像机的目标点的位置与X重合)。

如图1所示，其中，空间位置P(x，y，z)，表示虚拟摄像机所处位置在世界坐标系中的坐标值，即摄像机位置；

旋转角度R(x，y，z)，表示虚拟摄像机在伴随坐标系中分别绕X，Y，Z轴旋转的角度；

伴随坐标系指以虚拟摄像机位置P(x，y，z)为原点，坐标轴方向与世界坐标系相同的坐标系；

摄像机目标点位置A_p(x，y，z)，指A点在世界坐标系中的坐标值；摄像机目标向量A₀(x，y，z)，指从摄像机指向目标点的矢量。

摄像机的UP向量UP(x，y，z)，表示虚拟摄像机在伴随坐标系中绕Z轴旋转的角度，指虚拟摄像机的“上”方向。

本发明实施例使用谓词的形式来表示空间语义约束和屏幕语义约束。谓词(Predicate)，是指用来描述对象(人或事物)的状态、性质及对象之间的关系的词。例如：小明喜欢阅读——喜欢(小明、阅读)，“喜欢”是谓词。

其中，虚拟摄像机空间语义约束谓词包括：

1)侧拍角度(Side_degreel)，其包含目标参数(obj)和角度参数(degreel)，表示为Side_degree(obj，degreel)，其中，-180≤degreel≤180，负角度表示虚拟摄像机在被摄物体的右侧面拍摄，正角度表示虚拟摄像机在被摄物体的左侧面拍摄；

2)垂直角度(Vertical_degree)，其包含目标参数(obj)和角度参数(degree2)，表示为Vertical_degree(obj，degree2)，其中，-180≤degree2≤180，负角度表示虚拟摄像机在被摄物体的下方垂直拍摄，正角度表示虚拟摄像机在被摄物体的上方垂直拍摄；

3)正拍(Up_y)，其包含目标参数(obj)，表示为Up_y(obj)，为虚拟摄像机的起始up向量与世界坐标系的Y轴方向一致，并且绕Z轴旋转角度为0的拍摄。

4)仰拍(Vertical_degree_high)，其包含目标参数(obj)，表示为Vertical_degree_high(obj)，为虚拟摄像机在被摄物体的下方拍摄；

5)平拍(Vertical_degree_medium)，其包含目标参数(obj)，表示为Vertical_degree_medium(obj)，为虚拟摄像机与被摄物体等高拍摄；

6)俯拍(Vertical_degree_low)，其包含目标参数(obj)，表示为Vertical_degree_low(obj)，为虚拟摄像机在被摄物体的上方拍摄；

7)右侧拍(Side_left)，其包含目标参数(obj)，表示为Side_left(obj)，为虚拟摄像机在物体的左侧方拍摄；

8)左侧拍(Side_right)，其包含目标参数(obj)，表示为Side_right(obj)，为虚拟摄像机在物体的右侧方拍摄；

9)正面拍(Side_face)，其包含目标参数(obj)，表示为Side_face(obj)，为虚拟摄像机在物体的前方拍摄；

10)背面拍(Side_back)，其包含目标参数(obj)，表示为Side_back(obj)，为虚拟摄像机在物体的后方拍摄。

虚拟摄像机屏幕语义约束谓词包括：

i)可识别(Recognizable)，其包含目标参数(obj)，表示为recognizable(obj)，为目标(object)特征，包括特征点、特征面、特征部件等无遮挡；目标与虚拟摄像机的距离小于该物体的可识别距离；

ii)可见(Visible)，其包含目标参数(obj)，表示为visible(obj)，为目标在摄像机的可拍摄范围之内。

iii)屏幕部位(Screen_location)，其包含目标参数(obj)和位置参数(location)，其中，location∈{上部，下部，左部，右部，中部，左上部，左下部，右上部，右下部}，为目标在屏幕中所处的部位。

iv)屏幕高度(height)，其包含目标参数(obj)，表示为height(obj，n)0＜n≤1，为目标占屏幕高度的百分比。

v)屏幕宽度(width)，其包含目标参数(obj)，表示为width(obj，n)0＜n≤1，为目标占屏幕高度的百分比。

vi)屏幕面积(size)，其包含目标参数(obj)，表示为size(obj，n)，为目标在屏幕的面积，0＜n≤4(屏幕为一个2×2的平面)。

vii)水平坐标(horizontal_position)，其包含目标参数(obj)，表示为horizontal_position(obj，n)-1≤n≤1，为目标的x轴坐标值。

viii)垂直坐标(vertical_position)，其包含目标参数(obj)，表示为vertical_position(obj，n)-1≤n≤1，为目标的y轴坐标值。

ix)屏幕坐标(coordinate)，其包含目标参数(obj)，表示为coordinate(obj，x，y)，为目标在屏幕坐标系中坐标值，屏幕中心为原点，向上为Y。

x)位置(location)，其包含目标参数(obj1，obj2，)，表示为location(obj1，obj2，，location)，为目标1在屏幕中处于目标2的location方位，location∈{上方，下方，左方，右方，左上方，右上方，左下方，右下方，中间}。

xi)距离(distance)，其包含目标参数(obj1，obj2，)，表示为distance(object1，object2，n)0≤n≤2.828，为目标1与目标2在屏幕上的距离为n。

xii)遮挡率(occlude_rate)，表示为occlude_rate(obj，n)0≤n≤1，为目标被遮挡的面积占总面积的n。

关于摄影专业知识问题：

1)在已知约束的情况下，如何确定一个最有可能得到解的起始位置；

2)在当前摄像机属性取值下，如果约束不被满足，如何调整摄像机属性的取值；

3)如何在具体环境下，除满足用户约束外，添加其它摄影学上的屏幕语义约束；

4)当约束无法被满足时，如何调整场景中的物体或人物位置。

以及，关于计算机图形学知识问题：

1)在摄影专业知识的指导下，如何计算虚拟摄像机具体的起始位置，并且计算每一次虚拟摄像机属性取值调整的具体数值；

2)在摄影专业知识的指导下，如何计算约束无法被满足时，场景中的物体或人物位置的具体改变量。

本发明中，上述问题通过产生式规则的形式表述，产生式规则如下：

<规则>::＝<规则名称>:IF<规则前件>THEN<规则后件><规则解释><规则备注>

其中：

摄影中的规则前件包含的内容有：需满足的约束、当前画面与目标画面的差距；

摄影中的规则后件包含的内容有：增加附加约束、摄像机属性的调整方法、模型位置的调整方法。

计算机图形学中的规则前件为摄影知识中的规则后件；规则后件包含调整的数值计算方法，如表1所示。

表1知识表示的举例及说明

类型	举例	说明
			摄影专业知识	IF(1)物体画面面积小于要求面积THEN将摄像机朝向物体移动	处理面积约束不满足的情况。
IF(1)两物体画面距离大于要求距离(2)两物体画面面积小于要求面积THEN建议减小两物体之间距离	当约束无法满足时，给出合理建议。
		计算机图形学知识		IF(1)将摄像机朝向物体移动THEN移动距离等于当前距离减去当前距离乘以当前物体画面面积与要求面积的商的平方根。	当确定摄像机属性的改变方式时，给出计算改变量的方法。

借助这些知识，本发明的虚拟摄像机规划布局方法，可以快速地确定虚拟摄像机的位置及拍摄角度，并且根据所处的虚拟环境，运用摄影专业知识获得更好的拍摄效果。

本发明的一种虚拟摄像机规划布局方法，如图2和图5所示，包括下列步骤：

步骤S100，输入所拍摄的三维场景的环境数据和目标画面的语义约束；

其中，在计算屏幕语义约束时，需要借助一个启发式的摄影知识库的支持。启发式知识是不同领域专家拥有的一类经验性知识，这种知识具有以下特点：通常缺乏严格的理论依据，往往不被他人所了解，且不能保证其在各种情况下的普遍正确性，但在一定条件下能够简洁有效地解决问题。由摄影领域的启发式知识所构成的知识库，我们称之为启发式的摄影知识库。借助摄影方面的启发式知识，我们可以对虚拟摄像机进行快速的位置设置。

步骤S100包括下列步骤：

步骤S110，构建摄像知识库；

以产生式规则的形式获取与虚拟摄像机布局相关的摄影知识和计算机图形学知识(具体内容和形式如表1所示)，并以此构建相关的知识库。

知识在知识库中按顺序逐条存储，位置靠前的知识优先级别高。当我们获得一个误差，或者约束时，将误差或者约束都表示成谓词形式，通过直接的顺序匹配，执行最先匹配上的规则。其中，知识库的检索和使用方法如下：

步骤S111.读取约束，即获得使用者对目标画面的描述(使用系统给定的谓词公式进行表示)；

步骤S112.根据约束，匹配规则的前件，执行规则后件对应的操作(获取一个摄像机的起始位置)；

步骤S113.计算摄像机在该位置所拍摄的画面是否符合要求，符合要求计算结束，不符合要求，计算与目标画面要求之间的误差(具体计算方法另外说明)；

步骤S114.将误差以谓词的形式表示，查询知识库，匹配规则的前件，执行规则后件对应的操作(改变摄像机位置，得到一个新的摄像机位置)；

步骤S115.计算新位置摄像机拍摄的图像的误差，重复步骤S113、S114，直到得到结果为止。

步骤S120，输入虚拟场景环境数据和目标画面的语义约束

作为一种可实施的方式，本发明实施例以过肩镜头为例而进行说明。

过肩镜头，如图3所示，是摄像电影学中较典型的一种拍摄方法，多用于两人对话场面，其画面需满足如下基本条件：

1)正在说话的人占据屏幕中心偏右位置；

2)摄像机处于谈话对象的身后；

3)两个交谈的人不能有太多的遮挡；

4)说话者的面部不能有遮挡。需要输入的虚拟场景数据，包括但不限于：

A)被摄对象；

B)起始帧场面时刻；

C)结束帧场面时刻；

D)起始帧约束；

E)结束帧约束；

D)摄像机运动方式；

E)容差矢量等

上述内容由使用者根据对所需要生成的动画的要求自行定义、输入。其中，容差矢量是一个9维矢量，用以描述各种误差允许的范围，表示为：T(t₁，t₂，t₃，t₄，t₅，t₆，t₇，t₈，t₉)。其中，t₁到t₈依次代表屏幕位置、水平角度、垂直角度、屏幕面积、屏幕高度、屏幕宽度、屏幕距离和遮拦率容许的误差，t₉表示容许的画面误差率的最大值。

容差矢量一方面规定了各种允许的误差范围，同时也代表了各个要求对整个画面效果的影响的权重，如果相应的容差矢量的分量比较大，那么在同样误差的情况下，对应的误差矢量分量会小，也表示该要求对画面效果的影响相对较小。根据有效解的定义，t₈的取值范围应为[0，7]。

有效解是对摄像机属性的一组取值。设W为一个解对应画面的相对误差矢量，V为其画面误差率，T为给定的容差矢量，当且仅当w_i＜1且V＜t₉，即：有效解对应画面的绝对误差矢量的每一个分量都要小于对应的容差矢量，并且画面误差率也要小于给定的容差矢量的最后一个分量。则称该解为一个有效解。画面误差率是一个无量纲正实数，用来衡量当前画面与目标画面之间的总的误差，用V表示，且 $V=\underset{i=1}{\overset{8}{\mathrm{\&Sigma;}}}{w}_i,$ 其中，W_i为相对误差矢量。

相对误差矢量是一个8维矢量，用以表示在给定的容差矢量下，当前画面与目标画面之间的相对误差，用W(w₁，w₂，w₃，w₄，w₅，w₆，w₇，w₈)表示，其中：w_i＝e_i/t_i(1≤i≤8)。其中，t_i为容差矢量，e_i为绝对误差矢量。

绝对误差矢量是一个8维矢量，用以表示当前画面与目标画面之间的绝对误差。用E(e₁，e₂，e₃，e₄，e₅，e₆，e₇，e₈)表示，其中：

$e_1=m/(\sqrt{s^{,}}+\sqrt{p^2+q^2}),$ m为物体当前位置与要求位置的距离，s′为被摄对象在屏幕中的实际面积；p，q分别为屏幕的宽度与高度。

e₂＝|a-a′|/180，a为要求的水平拍摄角度，a′为摄像机实际拍摄时的水平角度，角度取值均取小于180度方向的角度值。水平角度是指摄像机方向在XZ平面投影与物体正面向量投影之间的夹角。

e₃＝|b-b′|/180，b为要求的垂直拍摄角度，b′为摄像机实际的拍摄角度，角度取值均取小于180度方向的角度值。垂直角度的计算与水平角度基本相同，唯一不同点在于垂直角度计算是根据摄像机方向与XZ平面(水平面)的夹角。这里不给出特别的图示说明。

$e_4=\sqrt{|s-s^{,}|/(s+s^{,})},$ s为要求的屏幕面积，s′为被摄对象在屏幕中的实际面积；

e₅＝|h-h’|/(h+h’)，h为要求的屏幕高度，h′为被摄对象在屏幕中的实际高度；

e₆＝|w-w’|/(w+w’)，w为要求的屏幕宽度，w′为被摄对象在屏幕中的实际宽度；

$e_7=|d-d^{\&prime;}|/(\sqrt{{s_1}^{,}+{s_2}^{,}}+\sqrt{p^2+q^2}),$ d为要求的两物体之间的距离，d′为两物体在屏幕中的实际距离，s’₁和s’₂分别为两个物体在屏幕中的实际面积；

$e_8=\sqrt{s_z/s^{,}},$ s_z为被摄对象在屏幕中被遮挡的面积，s′为被摄对象在屏幕中的实际面积。

作为一种可实施方式，输入过肩镜头的虚拟场景的数据实现如下：defshot分镜头5{摄像机名称：testcamera_5故事场面：E:/biye/king/scenes/BlindData_skeletonScript/test.mb被摄对象：ministerl:theMinister·头部*king:theKing·头部，ministerl:theMinister·头部，king:theKing·头部起始帧场面时刻：1600结束帧场面时刻：1800起始帧约束：垂直角度(ministerl:theMinister·头部*king:theKing·头部，0)&侧拍角度(ministerl:theMinister·头部*king:theKing·头部，30)&屏幕坐标

(king:theKing·头部，(1，0))&屏幕面积(king:theKing·头部，0.15)遮挡(king:theKing·头部，0.1)结束帧约束：垂直角度(ministerl:theMinister·头部*king:theKing·头部，0)&侧拍角度(ministerl:theMinister·头部*king:theKing·头部，30)&屏幕坐标(king:theKing·头部，(1，0))&屏幕面积(king：theKing·头部，0.15)遮挡(king:theKing·头部，0.1)摄像机运动方式：固定容差矢量：(0.01，0.1，0.1，0.2，0.1，0.01，0.01，0.01，1)}

较佳地，本发明实施例中，还可以做进一步的限制，要求听者出现在屏幕左部；说话者在屏幕中的高度应该占整个屏幕高度的90％；拍摄说话者的角度，拍摄听者的角度等。针对这些要求和约束求解目标画面。

步骤S200，将步骤S100中的目标画面的语义约束进行分类，分为空间语义约束和屏幕语义约束；

所述语义约束分类是指将语义约束分为空间语义约束和屏幕语义约束。空间语义约束直接约束虚拟摄像机属性取值；屏幕语义约束通过限定虚拟摄像机所拍摄的画面效果，间接约束摄像机属性取值。

其中，当摄像机满足单个谓词的空间语义约束时，可使用一个简单的规则几何体表示摄像机应该处的区域，图4为空间区域的表示图。

球形表示与距离有关的约束，包括虚拟摄像机到物体的距离。其对应谓词有：可见、可识别；

长方体，表示与方位有关的约束，包括物体的前后左右上下六个方位。当要求虚拟摄像机在物体的某一方位时，将摄像机调整到相应的长方体内即可。其对应的谓词有：仰拍，平拍，俯拍，右侧拍，左侧拍，正面拍，背面拍；

圆锥，表示与角度有关的约束。对应的谓词为：侧拍角度，垂直角度。

上述空间区域的大小由以下方法确定：

(1)表示被摄对象方位的空间区域，由被摄对象所处的场景大小决定。如：人物的前方区域，指的是人物正面的整个场景区域。

(2)表示屏幕语义的空间区域的大小，则由相关的常识知识和摄影学方面的经验性知识得到。如：谓词“可识别(A)”，指A在画面中是能够被认出来的，那么摄像机离A的距离通常不能超过其高度的25倍(示意性说明，数据未必准确)，所以该谓词对应的区域就是一个半径为其高度25倍的球。

如图3所示，在本发明实施例中，分别用A、B表示两个人物，其中A正在讲话。整个布局的约束用谓词表示如下：

垂直角度(B1：B·头部*A：A·头部，0)

&侧拍角度(B1：B·头部*A：A·头部，30)

&屏幕坐标(A：A·头部，(1，0))

&屏幕面积(A：A·头部，0.15)遮挡(A：A·头部，0.1)，

容差矢量R1根据知识库中记录的典型过肩镜头要求给出，其值为(0.01，0.1，0.1，0.2，0.1，0.01，0.01，0.01，1)

步骤S300，进行空间语义计算，求出一个空间区域。当虚拟摄像机或目标点处于该空间区域时，对应的谓词公式为真；(一个谓词是一个谓词公式，由谓词公式通过交、并、补运算得到的结果也是谓词公式)

由于每一个空间语义约束谓词都对应一个与被摄对象相关的区域，通过单个谓词对应的区域的布尔运算可以求得满足一个谓词公式的区域。

较佳地，满足下列谓词公式条件的区域为满足一个空间语义约束的区域：

A)两个谓词公式合取，则对应的区域求并；

B)两个谓词公式析取，则对应的区域求交；

C)单个谓词公式取否定，则对应的区域求补，其全集为整个虚拟世界空间。

通过多个相关的空间语义谓词的计算，可以确定摄像机的确切位置范围。

步骤S400，屏幕语义计算，通过最优化搜索的方法获取一组满足所有屏幕语义约束的虚拟摄像机属性值(即有效解)，本质上是一个虚拟摄像机所处的目标空间区域的逐步求精的过程。

最优化搜索作为知识库检索的一种方式，是在已知需要达成的目标的情况下(本发明中指希望获得的拍摄效果)，通过估值函数的计算，调整当前解(这里是摄像机的位置)逐步逼近目标(有效解，指能拍摄到需要的画面的摄像机的位置)。最优化搜索的结果通常是一个有效解，当无法满足使用者要求(即，在场景中任何位置都不能拍摄出所需的画面)时，搜索结果是一个最接近有效解的解，并返回一个报错信息。

步骤S400中，屏幕语义约束计算，是指基于知识，运用计算机计算机图形学的基本方法计算求取虚拟摄像机的空间位置，包括下列步骤：

步骤S410，读入空间语义约束计算的输出结果；

步骤S420，查询摄像知识库，根据屏幕语义约束选择一个搜索的起始位置，即获取一个摄像机的起始位置；

步骤S430，计算该位置对应的绝对误差矢量及画面误差率(当误差小于设定的阈值，认为满足要求)，满足约束则输出结果；不满足则转到步骤S440；

步骤S440，判断搜索次数是否达到上限，如果达到则转步骤S450；如果没有达到则转步骤S460；

搜索次数由用户决定，这一参数将决定解的精度和获取解的时长。

步骤S450，查询摄影知识库，输出经过相应调整后的虚拟摄像机的位置并退出；

步骤S460，查询摄影知识库，根据知识库的建议，调整摄像机属性，转到步骤S430。

步骤S500，输出一虚拟摄像机位置。

相应于本发明的一种虚拟摄像机规划布局方法，本发明还提供一种虚拟摄像机规划布局系统，其包括：

约束分类模块21，用于将输入的目标画面的语义约束进行分类，分为空间语义约束和屏幕语义约束；

空间语义计算模块22，用于进行空间语义计算，求出一个空间区域，当虚拟摄像机或目标点处于该空间区域时，对应的谓词公式(一个谓词是一个谓词公式，由谓词公式通过交、并、补运算得到的结果也是谓词公式)为真；

屏幕语义计算模块23，用于屏幕语义计算，通过最优化搜索的方法获取一组满足所有屏幕语义约束的虚拟摄像机属性值(即有效解)；

数据库模块24，用于存储以产生式规则的形式获取的与虚拟摄像机布局相关的摄影知识和计算机图形学知识。

本发明的一种虚拟摄像机规划布局系统，约束分类模块，首先将输入的目标画面的语义约束进行分类，分为空间语义约束和屏幕语义约束；空间语义计算模块，对空间语义约束进行空间语义计算，求出一个空间区域，当虚拟摄像机或目标点处于该空间区域时，对应的谓词公式为真；屏幕语义计算模块，读入空间语义约束计算的输出结果，查询知识库模块，通过最优化搜索的方法获取一组满足所有屏幕语义约束的虚拟摄像机属性值。

本发明的一种虚拟摄像机规划布局系统，采用与本发明一种虚拟摄像机规划布局方法相同的工作过程进行虚拟摄像机布局，因此，在本发明实施例中，不再一一详细描述。

本发明的有益效果在于：能够以目标画面为约束，以摄影学专业知识为指导，快速地确定虚拟摄像机的位置及拍摄角度，从而为制作人员节省手动调整虚拟摄像机位置参数的时间。其所生成的画面语义效果可以满足数字制作中(关键帧生成)的基本需要。内容可以独立使用，也可以无缝地嵌入到现有制作平台和工具中，降低了数字内容制作者的技术门槛，可以方便地通过基于语义的人机交互界面完成摄像机的自动规划布局。

通过结合附图对本发明具体实施例的描述，本发明的其它方面及特征对本领域的技术人员而言是显而易见的。

以上对本发明的具体实施例进行了描述和说明，这些实施例应被认为其只是示例性的，并不用于对本发明进行限制，本发明应根据所附的权利要求进行解释。

Claims (13)

1.一种虚拟摄像机规划布局方法，其特征在于，包括：

A.输入所要拍摄的三维场景的环境数据和目标画面的语义约束；

B.将步骤A中的目标画面的语义约束进行分类，分为空间语义约束和屏幕语义约束；

C.对所述空间语义约束进行空间语义计算，求出一个空间区域，当虚拟摄像机或目标点处于该空间区域时，该空间语义约束对应的谓词公式为真；

D.读入空间语义计算的输出结果，进行屏幕语义计算，通过最优化搜索的方法获取一组满足所有屏幕语义约束的虚拟摄像机属性值；

E.输出一虚拟摄像机位置。

2.根据权利要求1所述的一种虚拟摄像机规划布局方法，其特征在于，所述步骤A还进一步包括：

A1.构建摄像知识库；

A2.输入虚拟场景环境数据和目标画面的语义约束。

3.根据权利要求2所述的一种虚拟摄像机规划布局方法，其特征在于，所述构建摄像知识库，是指以产生式规则的形式获取与虚拟摄像机布局相关的摄影知识和计算机图形学知识，并以此构建相关的知识库，其中，摄影知识在知识库中按顺序逐条存储，位置靠前的知识优先级别高。

4.根据权利要求3所述的一种虚拟摄像机规划布局方法，其特征在于，所述产生式规则的形式，定义为<规则>::＝<规则名称>:IF<规则前件>THEN<规则后件><规则解释><规则备注>，其中，摄影知识中的规则前件包含的内容有：需满足的约束，当前所得画面与要求画面的差距；摄影知识中的规则后件包含的内容有：增加附加约束、摄像机属性的调整方法、模型位置的调整方法；计算机图形学中的规则前件为摄影知识中的规则后件；规则后件包含调整的数值计算方法。

5.根据权利要求1所述的一种虚拟摄像机规划布局方法，其特征在于，所述空间语义约束，用来直接约束虚拟摄像机属性取值。

6.根据权利要求1所述的一种虚拟摄像机规划布局方法，其特征在于，所述屏幕语义约束，是通过限定虚拟摄像机所拍摄的画面效果，间接约束摄像机属性取值。

7.根据权利要求1所述的一种虚拟摄像机规划布局方法，其特征在于，所述空间语义约束和屏幕语义约束，都以谓词形式表示，分为空间语义约束谓词和屏幕语义约束谓词。

8.根据权利要求7所述的一种虚拟摄像机规划布局方法，其特征在于，所述空间语义约束谓词，其中每一个空间语义约束谓词都对应一个与被摄对象相关的区域。

9.根据权利要求1所述的一种虚拟摄像机规划布局方法，其特征在于，所述空间语义计算，是指每一个空间语义约束谓词都对应一个与被摄对象相关的区域，通过单个谓词对应的区域的布尔运算可以求得满足一个谓词公式的区域，确定摄像机的确切位置范围。

10.根据权利要求1所述的一种虚拟摄像机规划布局方法，其特征在于，所述空间语义计算，包括：

C1.两个谓词公式合取，则对应的区域求并；

C2.两个谓词公式析取，则对应的区域求交；

C3.单个谓词公式取否定，则对应的区域求补，其全集为整个虚拟世界空间。

11.根据权利要求1所述的一种虚拟摄像机规划布局方法，其特征在于，所述最优化搜索，包括：

a.读取约束，并使用系统给定的谓词公式进行表示，获得使用者对目标画面的描述；

b.根据约束，匹配规则的前件，执行规则后件对应的操作，获取一个摄像机的起始位置；

c.计算摄像机在该位置所拍摄的画面是否符合要求，符合要求计算结束，不符合要求，计算与目标画面要求之间的误差；

d.将误差以谓词的形式表示，查询知识库，匹配规则的前件，执行规则后件对应的操作，改变摄像机位置，得到一个新的摄像机位置；

e.计算新位置摄像机拍摄的图像的误差，重复步骤c、d，直到得到结果为止。

12.根据权利要求1所述的一种虚拟摄像机规划布局方法，其特征在于，所述步骤D还进一步包括：

D1.读入空间语义约束计算的输出结果；

D2.查询摄影知识库，根据屏幕语义约束选择一个搜索的起始位置；

D3.计算该位置对应的绝对误差矢量及画面误差率，满足约束则输出结果；不满足则转到步骤D4；

D4.判断搜索次数是否达到上限，如果达到则转步骤D5；如果没有达到则转步骤D6；

D5.查询摄影知识库，输出调整物体或人物位置并退出；

D6.查询摄影知识库，根据知识库的建议，调整摄像机属性，转到步骤D3。

13.一种虚拟摄像机规划布局系统，其特征在于，包括：

约束分类模块，用于将输入的目标画面的语义约束进行分类，分为空间语义约束和屏幕语义约束；

空间语义计算模块，用于进行空间语义计算，求出一个空间区域，获取摄像机的确切位置范围；

屏幕语义计算模块，用于屏幕语义计算，通过最优化搜索的方法获取一组满足所有屏幕语义约束的虚拟摄像机属性值；

知识库模块，用于存储以产生式规则的形式获取的与虚拟摄像机布局相关的摄影知识和计算机图形学知识。

Images