CN103324905A - 次世代虚拟摄影棚面部捕捉系统 - Google Patents

Abstract

本发明是一种能够准确识别人脸面部表情的次世代虚拟摄影棚面部捕捉系统，本系统的原理是基于人脸的面部关键肌肉点的分析，本发明的主要就是点主要包括如下几个部分：1、整套虚拟摄像机系统；2、完善的3D预监系统；3、多人随意动作的面部表情的捕捉系统；4、简单的实时动力学系统。本发明的射线设备便携、轻质，摄像头的要尽可能小，让演员在表演的时候尽可能的不注意到携带的设备，有助于演员的表演。另外，技术层面本发明的摄像头能够对特定的波长的光线敏感，这样在角色的脸上做了标记之后便于摄像机进行捕捉，给之后的画面亮度的软件分析提供便利，摄像头的硬件还带有颜色校正的功能。

Description

次世代虚拟摄影棚面部捕捉系统

技术领域

本发明涉及一种软件系统，尤其涉及一种次世代虚拟摄影棚面部捕捉系统。

背景技术

传统的制作三维角色表情动画主要分为两种方法。

第一种是相对传统和经典的表情通道方式，这种方式的原理是将所有的面部表情都提取出来做成若干个表情通道，然后工作人员在使用这些表情通道模型将角色的复杂表情一点一点的描述出来。无疑，这样做非常的费时费力。因为角色的表情越是丰富就需要做越多的单个微小的表情通道。

这种方式的一个经典应用实例就是影片《指环王》中的格鲁姆。在这个应用中，将表情通道这种解决方案应用到了极致。为了让角色表情表现丰富，制作公司甚至制作了数以千计的微小表情，然后通过这些小的表情对角色进行混合最终达到想要的效果。也正是因为这样。这种方式的弊端也展现无遗——整个过程非常的繁琐，不论是角色搭建期间还是最终的动画调节期间。如果需要修改，修改一个表情的工作量也会非常的巨大。

第二种是近来应用的比较广泛的一种制作方案，就是结合三维动作捕捉系统来进行角色的面部捕捉。这种方式是在专用的场地内搭建动作捕捉设备，然后通过角色面部上搭建的动作捕捉点来进行动作捕捉。结合现代的软件，比如FaceRobot已经可以进行比较完整和精确的面部动画捕捉了。但是这样的基于动作捕捉设备的面部表情动画制作方案，在实际使用中有一些非常显著的局限性。比如，首先实际上现在的动作捕捉设备是没有办法同时的捕捉多个角色的面部表情动画的。正因为这样的弊端所以在制作《极地特快》的时候。汤姆汉克斯要分饰小男孩，小男孩的父亲，列车长，流浪汉及圣诞老人五角。而没每一次都要单独的进行捕捉。

另外，除了人物数量上的限制，还有一个明显的局限是使用动作捕捉设备进行任务面部和肢体同时捕捉的时候对人物的动作也有很大的限制。比如捕捉的时候要明显的限制角色的移动，必须让角色面朝一个相对固定的方向，否则捕捉就没办法进行。进一步来说，即便是角色的面部朝向固定的位置。角色的动作也不能太大，比如低头，或者是快速的移动，都会有比较明显的错误发生。

发明内容

根据以上技术问题本发明提出一种能够准确识别人脸面部表情的次世代虚拟摄影棚面部捕捉系统，本系统的原理是基于人脸的面部关键肌肉点的分析，本发明的主要就是点主要包括如下几个部分：

1、整套虚拟摄像机系统；

2、完善的3D预监系统；

3、多人随意动作的面部表情的捕捉系统；

4、简单的实时动力学系统。

所述的整套虚拟摄像机系统是能够方便的拍摄下人脸的图像硬件上的一款设备，对于人物面部视频的拍摄过程可以通过一款无线的轻质摄像头来完成，同时这款摄像头应该是可编程的，可以通过相关的API来进行图像识别。

所述的完善的3D预监系统是提取出本程序的需要的数据的关键部分；也就是角色面部的若干标记点进行图像分析和追踪，籍此来分析和生成最终角色的模型面部动画，这个数据的提取过程是通过图像分析来获得的，这时候也就需要程序能够根据视频的不同特性来分析这些关键点的移动位置，这个过程的程序必须能够同时提供这几种不同的算法，为了适应各种不同的拍摄质量和特性，这时候需要根据不同的视频类型来设计不同的算法，这些算法主要分为两个部分：目标识别和目标跟踪，有很多相对经典的图像跟踪算法可以使用如Blobtracking：内部对象将图像分块，然后进行跟踪，轮廓跟踪：根据对象的边界，轮廓的特性来在帧间确定物体的走向；

所述的多人随意动作的面部表情的捕捉系统就是用这些二维点的移动数据来驱动三维的模型，这个过程的主要依据是人类面部运动的内在规律性——人类的脸部是充满活力和表现力的，但是其中的规律性也是非常强的；追踪出角色的面部标记点的运动之后，就可以将其导出，导出的时候可以使用纯文本的格式，这样做方便明朗；在大量数据导出的时候可以选择在程序内部进行转换和压缩，然后使用行业内广泛支持的数据合适来进行导出，比如fbx或者是dotXSI等等。

将导出的数据导入到三维软件即简单的实时动力学系统里进行下一个步骤，就是角色面部骨骼的搭建，这个过程可以看成是之前面部动画生成系统的一个升级和完善，加入新的的设置使其适应新版本的系统。

本发明的有益效果为：本发明的射线设备便携、轻质，摄像头的要尽可能小，让演员在表演的时候尽可能的不注意到携带的设备，有助于演员的表演。另外，技术层面本发明的摄像头能够对特定的波长的光线敏感，这样在角色的脸上做了标记之后便于摄像机进行捕捉，给之后的画面亮度的软件分析提供便利，摄像头的硬件还带有颜色校正的功能。

具体实施方式

通过以下事例对本发明进行进一步说明：

首先确定好要拍摄的面部表情，再通过整套虚拟摄像机系统将所选面部表情摄录下来，同时这款摄像头应该是可编程的。可以通过相关的API来进行图像识别。之后就是选择恰当的方案将摄像头架设在角色面前。在解决了面部视频拍摄之后，下一步需要的是提取出本程序的关键部分需要的数据，将拍摄的表情传入完善的3D预监系统中，用此系统提取出程序需要数据的关键部分，在逐帧的分析视频，分析当前识别点在后续时间线上的位置移动，并且逐帧的记录下来，方便导出和使用。然后通过一套多人随意动作的面部表情的捕捉系统对导出的数据进行分析，追踪出角色的面部标记点的运动，可以将其导出。在大量数据导出的时候可以选择在程序内部进行转换和压缩，然后使用行业内广泛支持的数据合适来进行导出。比如fbx或者是dotXSI等等。最后将导出的数据导入到简单的实时动力学系统里进行下一个步骤，就是角色面部骨骼的搭建，这个过程可以看成是之前面部动画生成系统的一个升级和完善，通过以上一系列的制作将人的面部系统通过拍摄、数据处理转换成为虚拟面部动作，为拍摄次时代虚拟人物的表情做出了巨大贡献。

Claims (5)

1.一种能够准确识别人脸面部表情的次世代虚拟摄影棚面部捕捉系统，其特征在于本系统的原理是基于人脸的面部关键肌肉点的分析，本发明的主要就是点主要包括如下几个部分：

1、整套虚拟摄像机系统；

2、完善的3D预监系统；

3、多人随意动作的面部表情的捕捉系统；

4、简单的实时动力学系统。

2.按照权利要求1所述的整套虚拟摄像机系统，其特征在于所述的整套虚拟摄像机系统是能够方便的拍摄下人脸的图像硬件上的一款设备，对于人物面部视频的拍摄过程可以通过一款无线的轻质摄像头来完成，同时这款摄像头应该是可编程的，可以通过相关的API来进行图像识别。

3.按照权利要求1所述的完善的3D预监系统，其他正在于所述的完善的3D预监系统是提取出本程序的需要的数据的关键部分；也就是角色面部的若干标记点进行图像分析和追踪，籍此来分析和生成最终角色的模型面部动画，这个数据的提取过程是通过图像分析来获得的，这时候也就需要程序能够根据视频的不同特性来分析这些关键点的移动位置，这个过程的程序必须能够同时提供这几种不同的算法，为了适应各种不同的拍摄质量和特性，这时候需要根据不同的视频类型来设计不同的算法，这些算法主要分为两个部分：目标识别和目标跟踪，有很多相对经典的图像跟踪算法可以使用如Blob tracking：内部对象将图像分块，然后进行跟踪，轮廓跟踪：根据对象的边界，轮廓的特性来在帧间确定物体的走向。

4.按照权利要求1所述的多人随意动作的面部表情的捕捉系统，其特征在于所 述的多人随意动作的面部表情的捕捉系统就是用这些二维点的移动数据来驱动三维的模型，这个过程的主要依据是人类面部运动的内在规律性——人类的脸部是充满活力和表现力的，但是其中的规律性也是非常强的；追踪出角色的面部标记点的运动之后，就可以将其导出，导出的时候可以使用纯文本的格式，这样做方便明朗；在大量数据导出的时候可以选择在程序内部进行转换和压缩，然后使用行业内广泛支持的数据合适来进行导出，比如fbx或者是dotXSI等等。

5.按照权利要求1所述的简单的实时动力学系统，其特征在于所述的简单的实时动力学系统将导出的数据导入到三维软件即简单的实时动力学系统里进行下一个步骤，就是角色面部骨骼的搭建，这个过程可以看成是之前面部动画生成系统的一个升级和完善，加入新的的设置使其适应新版本的系统。