CN102157007A - 一种表演驱动的制作人脸动画的方法和装置 - Google Patents
一种表演驱动的制作人脸动画的方法和装置 Download PDFInfo
- Publication number
- CN102157007A CN102157007A CN2011100904322A CN201110090432A CN102157007A CN 102157007 A CN102157007 A CN 102157007A CN 2011100904322 A CN2011100904322 A CN 2011100904322A CN 201110090432 A CN201110090432 A CN 201110090432A CN 102157007 A CN102157007 A CN 102157007A
- Authority
- CN
- China
- Prior art keywords
- portrait
- face
- parameter
- unique point
- real
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 59
- 238000001514 detection method Methods 0.000 claims abstract description 20
- 230000001815 facial effect Effects 0.000 claims description 48
- 238000012706 support-vector machine Methods 0.000 claims description 8
- 238000004458 analytical method Methods 0.000 claims description 7
- 239000004744 fabric Substances 0.000 claims description 7
- 230000000694 effects Effects 0.000 abstract description 8
- 238000005516 engineering process Methods 0.000 abstract description 4
- 210000000697 sensory organ Anatomy 0.000 abstract 4
- 230000008569 process Effects 0.000 description 12
- 230000033001 locomotion Effects 0.000 description 7
- 230000000007 visual effect Effects 0.000 description 6
- 230000008921 facial expression Effects 0.000 description 5
- 230000006399 behavior Effects 0.000 description 3
- 238000004519 manufacturing process Methods 0.000 description 3
- 238000012545 processing Methods 0.000 description 3
- 230000008901 benefit Effects 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 2
- 230000015572 biosynthetic process Effects 0.000 description 2
- 238000000605 extraction Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000011897 real-time detection Methods 0.000 description 2
- 230000011218 segmentation Effects 0.000 description 2
- 238000012549 training Methods 0.000 description 2
- 230000009471 action Effects 0.000 description 1
- 230000000903 blocking effect Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000004040 coloring Methods 0.000 description 1
- 239000002537 cosmetic Substances 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 230000008451 emotion Effects 0.000 description 1
- 238000010195 expression analysis Methods 0.000 description 1
- 210000001097 facial muscle Anatomy 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 238000007654 immersion Methods 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 235000020094 liqueur Nutrition 0.000 description 1
- 230000013011 mating Effects 0.000 description 1
- 238000000691 measurement method Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 210000003205 muscle Anatomy 0.000 description 1
- 210000000056 organ Anatomy 0.000 description 1
- 238000010422 painting Methods 0.000 description 1
- 238000004088 simulation Methods 0.000 description 1
- 235000020354 squash Nutrition 0.000 description 1
Images
Landscapes
- Processing Or Creating Images (AREA)
- Image Analysis (AREA)
Abstract
本发明提供一种表演驱动的制作人脸动画的方法和装置，方法包括：对视频流进行人脸检测和外轮廓跟踪，获得目标人脸图像及对应的五官特征点参数和外形轮廓参数；根据五官特征点参数和外形轮廓参数，生成所述目标人脸图像对应的基准图画肖像；根据所述基准图画肖像，生成多个表情肖像；持续进行人脸检测和外轮廓跟踪，获得五官特征点实时参数和外形轮廓实时参数；根据五官特征点实时参数和外形轮廓实时参数，从所述多个表情肖像中获得对应的表情肖像作为生成肖像；将各视频帧的生成肖像连续播放生成动画视频。本发明能够简单迅速的生成逼真的二维人脸动画，解决现有技术难以采用二维动画简单迅速的达到准确逼真效果的技术问题。
Description
技术领域
本发明涉及视频处理技术，特别是涉及一种表演驱动的制作人脸动画的方法和装置。
背景技术
数字娱乐产业被誉为二十一世纪最具发展潜力的朝阳产业，具有投资回报高、产业关联度大、国际化程度高等特点。据统计，以电影业闻名全球的美国娱乐界中，2000年以来其数字娱乐产业就已经超过了电影；日本经济的五分之一已经由数字娱乐产业创造；韩国数字娱乐业产值年增长率高达40％；我国提出经过5年至10年时间，数字娱乐产业至少要占GDP的1％，这意味着我国数字娱乐产业未来至少具有1000亿元产值的巨大发展空间。
在数字娱乐产业中，虚拟人可以增强用户对环境的亲切感和沉浸感，因此被广泛应用于如计算机动画、网络游戏、虚拟现实、人机交互等数字娱乐的各个领域。而虚拟人的关键技术是虚拟人的人脸表情的模拟，人脸表情是人类传达信息和交流情感的重要手段，但人脸的表情运动非常复杂，同时人们对脸部表情变化的细微之处十分熟悉，因此如何做出具有真实感的人脸动画是一个极富挑战性的课题。
目前，人脸动画的驱动技术主要包括：基于文本的驱动、基于语音的驱动和基于表演的驱动。其中，基于表演驱动的虚拟人面部动画，通过跟踪视频人脸的运动，提取运动信息来直接控制目标三维或者二维人脸模型的运动。与基于文本和语音驱动的人脸动画相比，它显著地提高了动画生成的有效性，大大加快了动画生成速度和真实感。当前，基于表演驱动的虚拟人面部动画的主要实现方法有如下几种类型：
1.对脸部进行标记处理的二维动画生成
从视频中跟踪脸部的标记点，自动提取脸部肌肉的收缩参数，用来驱动相关肌肉以产生面部表情。此类方法要求在表演者的脸部关键位置处设置发光标记点(或化妆处理)，限制了它的应用范围。
2.无标记的人脸二维动画生成
(1)采用局部参数化光流模型分别跟踪刚体和非刚体脸部运动，并将这些运动信息与喜、怒、哀、乐等描述联系起来；
(2)利用边缘和颜色信息，对人脸图像集进行统计训练，得到了人脸外观的参数化模型，处理个体、姿态、表情和光照条件的差异；
(3)对视频人脸外观建立线性子空间模型，同时在子空间内使用运动模板进行实时跟踪。
这种方法处理比较复杂，不能迅速生成人脸动画，动画不够精准，也无法处理视频人脸朝向发生较大变化时的情形。
3.无标记的人脸的三维动画生成。引入三维人脸模型，并将它与视频人脸匹配，以获得三维运动信息。尽管三维动画具有表情丰富生动逼真的特点，但制作难度大，成本高，不易实现。
因此，现有的表演驱动的人脸动画生成技术，难以采用二维动画达到准确逼真的效果，难以简单迅速的生成逼真的二维人脸动画。
发明内容
本发明的目的是提供一种表演驱动的制作人脸动画的方法和装置，能够简单迅速的生成逼真的二维人脸动画，解决现有技术难以采用二维动画简单迅速的达到准确逼真效果的技术问题。
为了实现上述目的，一方面，提供了一种表演驱动的制作人脸动画的方法，包括：
步骤一，对视频流进行人脸检测和外轮廓跟踪，获得目标人脸图像及所述目标人脸图像对应的五官特征点参数和外形轮廓参数；
步骤二，根据所述目标人脸图像对应的五官特征点参数和外形轮廓参数，生成所述目标人脸图像对应的基准图画肖像；
步骤三，根据所述基准图画肖像，生成多个表情肖像；
步骤四，持续对视频流进行人脸检测和外轮廓跟踪，获得当前视频帧中的所述目标人脸图像对应的五官特征点实时参数和外形轮廓实时参数；
步骤五，根据所述五官特征点实时参数和外形轮廓实时参数，从所述多个表情肖像中获得对应的表情肖像，作为所述当前视频帧的生成肖像；
步骤六，将所述视频流的各视频帧的生成肖像连续播放生成动画视频。
优选地，上述的方法中，在所述步骤二中，所述基准图画肖像为人脸正面的图画肖像。
优选地，上述的方法中，在所述步骤二中，通过主元分析和支持向量机的方式获得所述基准图画肖像。
优选地，上述的方法中，在所述步骤一之前，还包括：设立图画肖像库，存储多张人脸的图画肖像，记录每幅图画肖像对应的五官特征点参数和外形轮廓参数；
在所述步骤二中，根据所述目标人脸图像对应的五官特征点参数和外形轮廓参数，在所述图画肖像库中进行检索，获得所述目标人脸图像对应的图画肖像作为所述基准图画肖像。
优选地，上述的方法中，在所述步骤四中，根据所述外形轮廓实时参数，通过弹性匹配的方式获得所述五官特征点实时参数。
优选地，上述的方法中，在所述步骤五中，通过对所述五官特征点实时参数和外形轮廓实时参数进行最小距离运算，来获得所述对应的表情肖像。
为了实现上述目的，本发明实施例还提供了一种表演驱动的制作人脸动画的装置，包括：
检测跟踪模块，用于：对视频流进行人脸检测和外轮廓跟踪，获得目标人脸图像及所述目标人脸图像对应的五官特征点参数和外形轮廓参数；
基准图画肖像模块，用于：根据所述目标人脸图像对应的五官特征点参数和外形轮廓参数，生成所述目标人脸图像对应的基准图画肖像；
表情肖像模块，用于：根据所述基准图画肖像，生成多个表情肖像；
所述检测跟踪模块，还用于：持续对视频流进行人脸检测和外轮廓跟踪，获得当前视频帧中的所述目标人脸图像对应的五官特征点实时参数和外形轮廓实时参数；
生成肖像模块，用于：根据所述五官特征点实时参数和外形轮廓实时参数，从所述多个表情肖像中获得对应的表情肖像，作为所述当前视频帧的生成肖像；
动画视频模块，用于：将所述视频流的各视频帧的生成肖像连续播放生成动画视频。
优选地，上述的装置中，所述基准图画肖像为人脸正面的图画肖像。
优选地，上述的装置中，所述基准图画肖像模块，通过主元分析和支持向量机的方式获得所述基准图画肖像。
优选地，上述的装置中，还包括：图画肖像库，用于：存储多张人脸的图画肖像，记录每幅图画肖像对应的五官特征点参数和外形轮廓参数；
所述基准图画肖像模块，根据所述目标人脸图像对应的五官特征点参数和外形轮廓参数，在所述图画肖像库中进行检索，获得所述目标人脸图像对应的图画肖像作为所述基准图画肖像。
本发明至少存在以下技术效果：
1)本发明实施例中，通过人脸检测和外轮廓跟踪，先确定基准图画肖像和多个表情肖像，然后再根据实时参数选择对应的表情肖像，就可以生成与视频完全对应的实时动画。因为在实时动画的生成过程中，只需要根据参数选择已经存在的表情肖像，因此使得动画生成过程简单迅速，而表情肖像都是预处理的成熟肖像，因此动画的形象逼真。
2)本发明实施例，将特征点与外轮廓线跟踪结合，将人脸检测与外轮廓跟踪结合，提高了跟踪效率和准确度；
3)本发明实施例中，肖像的发现采用的PCA特征提取和SVM方法；
4)本发明实施例中，肖像序列的获得采用了全局特征点之间的最小距离方法，能够找到最为接近的表情肖像；
5)本发明实施例中，采用纹理的重定向算法。在肖像建立过程中，采用纹理变形、纹理分割、纹理梯度域编辑技术综合实现，使得肖像更加逼真。
6)本发明实施例中，特征点的获得采用了改进的弹性模板匹配技术，对于特征点不全的视频图像，也能进行很好的处理。
附图说明
图1为本发明实施例提供的方法的步骤流程图；
图2为本发明实施例提供的装置的结构图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合附图对具体实施例进行详细描述。
图1为本发明实施例提供的方法的步骤流程图，如图1所示，本发明提供的表演驱动的制作人脸动画的方法，包括：
步骤101，对视频流进行人脸检测和外轮廓跟踪，获得目标人脸图像及所述目标人脸图像对应的五官特征点参数和外形轮廓参数；
步骤102，根据所述目标人脸图像对应的五官特征点参数和外形轮廓参数，生成所述目标人脸图像对应的基准图画肖像；
步骤103，根据所述基准图画肖像，生成多个表情肖像；
步骤104，持续对视频流进行人脸检测和外轮廓跟踪，获得当前视频帧中的所述目标人脸图像对应的五官特征点实时参数和外形轮廓实时参数；
步骤105，根据所述五官特征点实时参数和外形轮廓实时参数，从所述多个表情肖像中获得对应的表情肖像，作为所述当前视频帧的生成肖像；
步骤106，将所述视频流的各视频帧的生成肖像连续播放生成动画视频。
可见，本发明实施例，通过人脸检测和外轮廓跟踪，先确定基准图画肖像和多个表情肖像，然后再根据实时参数选择对应的表情肖像，就可以生成与视频完全对应的实时动画。因为在实时动画的生成过程中，只需要根据参数选择已经存在的表情肖像，因此使得动画生成过程简单迅速，而表情肖像都是预处理的成熟肖像，因此动画的形象逼真。
在所述步骤102中，所述基准图画肖像为人脸正面的图画肖像。选择人脸正面更有利于检索和编辑。
在所述步骤102中，可以通过主元分析和支持向量机的方式获得所述基准图画肖像。这种方式主要是针对找不到对应的基准图画肖像的时候，直接根据参数绘制一幅基准图画肖像。
当然，很多基准图画肖像是预先存储的，这样在生成动画的时候可以直接拿来用，进一步增加了动画生成的速度。具体过程包括：在所述步骤101之前，设立图画肖像库，存储多张人脸的图画肖像，记录每幅图画肖像对应的五官特征点参数和外形轮廓参数；在所述步骤102中，根据所述目标人脸图像对应的五官特征点参数和外形轮廓参数，在所述图画肖像库中进行检索，获得所述目标人脸图像对应的图画肖像作为所述基准图画肖像。
在所述步骤104中，根据所述外形轮廓实时参数，通过弹性匹配的方式获得所述五官特征点实时参数。这是因为，并不是每帧视频图像中都可以采集到五官特征点，在人侧脸或者低头、仰面时候，有些点采集不到，但这时候可以根据外形轮廓估计头部的形态位置，在根据形态位置估计那些采集不到的特征点，也就是弹性匹配，这样，就可以更为准确的确定五官表情，获得更为准确的表情肖像，增加了动画的逼真效果。
在所述步骤105中，可以通过对所述五官特征点实时参数和外形轮廓实时参数进行最小距离运算，来获得所述对应的表情肖像。
图2为本发明实施例提供的装置的结构图，如图2所示，表演驱动的制作人脸动画的装置，包括：
检测跟踪模块201，用于：对视频流进行人脸检测和外轮廓跟踪，获得目标人脸图像及所述目标人脸图像对应的五官特征点参数和外形轮廓参数；
基准图画肖像模块202，用于：根据所述目标人脸图像对应的五官特征点参数和外形轮廓参数，生成所述目标人脸图像对应的基准图画肖像；
表情肖像模块203，用于：根据所述基准图画肖像，生成多个表情肖像；
所述检测跟踪模块201，还用于：持续对视频流进行人脸检测和外轮廓跟踪，获得当前视频帧中的所述目标人脸图像对应的五官特征点实时参数和外形轮廓实时参数；
生成肖像模块204，用于：根据所述五官特征点实时参数和外形轮廓实时参数，从所述多个表情肖像中获得对应的表情肖像，作为所述当前视频帧的生成肖像；
动画视频模块205，用于：将所述视频流的各视频帧的生成肖像连续播放生成动画视频。
其中，基准图画肖像选择为人脸正面的图画肖像。基准图画肖像模块202，可以通过主元分析和支持向量机的方式获得所述基准图画肖像。
还包括：图画肖像库，用于：存储多张人脸的图画肖像，记录每幅图画肖像对应的五官特征点参数和外形轮廓参数；基准图画肖像模块202，可以根据所述目标人脸图像对应的五官特征点参数和外形轮廓参数，在所述图画肖像库中进行检索，获得所述目标人脸图像对应的图画肖像作为所述基准图画肖像。
可见，本发明实施例中，因为在实时动画的生成过程中，只需要根据参数选择已经存在的表情肖像，因此使得动画生成过程简单迅速，而表情肖像都是预处理的成熟肖像，因此动画的形象逼真。
在实际应用中，例如远程视频教学，如果传输实际摄制的视频流，将会占用大量的网络资源，传输慢、效果差，如果应用本发明实施例，在发送端将视频流转化为五官特征点实时参数和外形轮廓实时参数，仅传递这些参数，在接收端根据这些参数生成动画，那么，不但保留了视频中人物的动作表情等视觉特征，而且大大降低了网络负担。
相对于三维动画，尽管三维动画具有表情丰富生动逼真的特点，但制作难度大，在一定条件下并不需要复杂的三维人脸的虚拟合成；本发明实施例基于表演驱动的人脸动画方法，在一定程度上也可以达到生动逼真的效果。譬如平时观看的动画片中经常采用的也是二维动画。
本发明提供的表演驱动的人脸动画表现技术，在动画的表情和跟踪方面采用了如下实现方式：
(1)人脸动画可以采用自动生成方式和预先设计方式。
a)提供肖像的自动生成技术；即从获取的人脸图像出发，通过图像处理技术获得驱动主角的肖像；建立纹理图像的插值空间，对来自同一目标人脸相同部位的多幅纹理图像自动混合生成中间结果；
例如，对人的多种表情(喜、怒、哀、乐、狂等等)每一种预先生成图像序列。
由于采用了肖像的自动生成技术，通过多人脸的识别系统，实现多人驱动多人动画，虚拟环境将非常丰富。
b)提供肖像库中肖像的自动发现技术；即建立肖像库，对输入人脸，建立规则，通过人脸的识别技术找到库中与人脸最为相似的肖像；
(2)采用基于弹性匹配的人脸特征点的自动检测技术。
在人脸自动检测方面，尽可能减少不同光照、不同人物、不同姿势等对效果的影响；通过弹性匹配，获得人脸的特征点；在获得第一张人脸肖像后，通过特征点的变化，驱动动画。
(3)通过实时检测避免弱小表情识别；
通常的表情识别，由于所采用的训练库主要体现在后期的夸张表情上，对前期的如小的表情缺少处理，这种情形下通过表演驱动的动画，在前期表现不够自然流畅，通过对特征点的实时检测，直接对检测到的特征点的变化，直接驱动动画，可有效避免这种表情僵硬的情况。
(4)进行轮廓的实时跟踪
对人脸的器官，甚至是鼻孔，嘴角等特征点的跟踪，由于遮挡等原因，实时跟踪很难，为了有效地实现人脸检测，建立可靠、有效、实时的面部运动重定向机制，可以对人脸的轮廓进行跟踪，在此基础上找出人脸器官的位置，以确定人脸的特征点。
本发明实施例中，表演驱动的二维人脸动画生成技术。可以分为两个部分。
一、人的表情分析
对于从摄像头视频中获得的图像，先进行正面人脸(Frontal Face)的检测，获得表演的主角的正面人脸。
1)对正面人脸的检测和外轮廓的跟踪，由于弹性图中采用了两种匹配方法获得精确的特征点，而每次对图像用GABOR变换(一种加窗傅立叶变换)作卷积需要消耗大量的时间，在定位人眼睛中心的基础上，近似确定特征部位代表点，然后在各自的矩形区域中用弹性图匹配的方法，找到特征点；
2)对于初次获得的正面人脸，在进行配准和确定特征点后，可用图像处理的一些方法得到主角的肖像画，但一般是在肖像库库中找到与主角相似的肖像，可采用PCA(主元分析)提取特征，用两类SVM(support vector machine支持向量机)的方法获得。
二、人脸动画的形成
设定主角的序列肖像都保存了人脸特征点的位置坐标，这样在通过人脸的表情系数和特征点后，通过最小距离可以近似得到主角人脸序列的表情图像；
设主角特征点坐标分别为x1，x2，...，xn；主角肖像特征点的坐标为zi1，xi2，...，zin；
这里的i代表序列的第i张图片；
计算argmini ∑j(||xj-zij||2))，这样姿态就与i张图片建立了对应。
由上可知，本发明实施例具有以下优势：
1)本发明实施例中，通过人脸检测和外轮廓跟踪，先确定基准图画肖像和多个表情肖像，然后再根据实时参数选择对应的表情肖像，就可以生成与视频完全对应的实时动画。因为在实时动画的生成过程中，只需要根据参数选择已经存在的表情肖像，因此使得动画生成过程简单迅速，而表情肖像都是预处理的成熟肖像，因此动画的形象逼真。
2)本发明实施例，将特征点与外轮廓线跟踪结合，将人脸检测与外轮廓跟踪结合，提高了跟踪效率和准确度；
3)本发明实施例中，肖像的发现采用的PCA特征提取和SVM方法；
4)本发明实施例中，肖像序列的获得采用了全局特征点之间的最小距离方法，能够找到最为接近的表情肖像；
5)本发明实施例中，采用纹理的重定向算法。在肖像建立过程中，采用纹理变形、纹理分割、纹理梯度域编辑技术综合实现，使得肖像更加逼真。
6)本发明实施例中，特征点的获得采用了改进的弹性模板匹配技术，对于特征点不全的视频图像，也能进行很好的处理。
以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。
Claims (10)
1.一种表演驱动的制作人脸动画的方法，其特征在于，包括：
步骤一，对视频流进行人脸检测和外轮廓跟踪，获得目标人脸图像及所述目标人脸图像对应的五官特征点参数和外形轮廓参数；
步骤二，根据所述目标人脸图像对应的五官特征点参数和外形轮廓参数，生成所述目标人脸图像对应的基准图画肖像；
步骤三，根据所述基准图画肖像，生成多个表情肖像；
步骤四，持续对视频流进行人脸检测和外轮廓跟踪，获得当前视频帧中的所述目标人脸图像对应的五官特征点实时参数和外形轮廓实时参数；
步骤五，根据所述五官特征点实时参数和外形轮廓实时参数，从所述多个表情肖像中获得对应的表情肖像，作为所述当前视频帧的生成肖像；
步骤六，将所述视频流的各视频帧的生成肖像连续播放生成动画视频。
2.根据权利要求1所述的方法，其特征在于，在所述步骤二中，所述基准图画肖像为人脸正面的图画肖像。
3.根据权利要求2所述的方法，其特征在于，在所述步骤二中，通过主元分析和支持向量机的方式获得所述基准图画肖像。
4.根据权利要求2所述的方法，其特征在于，
在所述步骤一之前，还包括：设立图画肖像库，存储多张人脸的图画肖像，记录每幅图画肖像对应的五官特征点参数和外形轮廓参数；
在所述步骤二中，根据所述目标人脸图像对应的五官特征点参数和外形轮廓参数，在所述图画肖像库中进行检索，获得所述目标人脸图像对应的图画肖像作为所述基准图画肖像。
5.根据权利要求2所述的方法，其特征在于，在所述步骤四中，根据所述外形轮廓实时参数，通过弹性匹配的方式获得所述五官特征点实时参数。
6.根据权利要求2所述的方法，其特征在于，在所述步骤五中，通过对所述五官特征点实时参数和外形轮廓实时参数进行最小距离运算，来获得所述对应的表情肖像。
7.一种表演驱动的制作人脸动画的装置，其特征在于，包括：
检测跟踪模块，用于：对视频流进行人脸检测和外轮廓跟踪，获得目标人脸图像及所述目标人脸图像对应的五官特征点参数和外形轮廓参数；
基准图画肖像模块，用于：根据所述目标人脸图像对应的五官特征点参数和外形轮廓参数，生成所述目标人脸图像对应的基准图画肖像；
表情肖像模块，用于：根据所述基准图画肖像，生成多个表情肖像；
所述检测跟踪模块，还用于：持续对视频流进行人脸检测和外轮廓跟踪，获得当前视频帧中的所述目标人脸图像对应的五官特征点实时参数和外形轮廓实时参数；
生成肖像模块，用于：根据所述五官特征点实时参数和外形轮廓实时参数，从所述多个表情肖像中获得对应的表情肖像，作为所述当前视频帧的生成肖像；
动画视频模块，用于：将所述视频流的各视频帧的生成肖像连续播放生成动画视频。
8.根据权利要求7所述的装置，其特征在于，所述基准图画肖像为人脸正面的图画肖像。
9.根据权利要求7所述的装置，其特征在于，所述基准图画肖像模块，通过主元分析和支持向量机的方式获得所述基准图画肖像。
10.根据权利要求7所述的装置，其特征在于，
还包括：图画肖像库，用于：存储多张人脸的图画肖像，记录每幅图画肖像对应的五官特征点参数和外形轮廓参数；
所述基准图画肖像模块，根据所述目标人脸图像对应的五官特征点参数和外形轮廓参数，在所述图画肖像库中进行检索，获得所述目标人脸图像对应的图画肖像作为所述基准图画肖像。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN2011100904322A CN102157007A (zh) | 2011-04-11 | 2011-04-11 | 一种表演驱动的制作人脸动画的方法和装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN2011100904322A CN102157007A (zh) | 2011-04-11 | 2011-04-11 | 一种表演驱动的制作人脸动画的方法和装置 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN102157007A true CN102157007A (zh) | 2011-08-17 |
Family
ID=44438485
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN2011100904322A Pending CN102157007A (zh) | 2011-04-11 | 2011-04-11 | 一种表演驱动的制作人脸动画的方法和装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN102157007A (zh) |
Cited By (20)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102509333A (zh) * | 2011-12-07 | 2012-06-20 | 浙江大学 | 基于动作捕获数据驱动的二维卡通表情动画制作方法 |
| CN102799868A (zh) * | 2012-07-10 | 2012-11-28 | 吉林禹硕动漫游戏科技股份有限公司 | 人脸面部关键表情识别方法 |
| WO2013091157A1 (en) * | 2011-12-19 | 2013-06-27 | Nokia Corporation | A method and apparatus for creating and displaying a face sketch avatar |
| WO2016101131A1 (en) * | 2014-12-23 | 2016-06-30 | Intel Corporation | Augmented facial animation |
| WO2016177290A1 (zh) * | 2015-05-06 | 2016-11-10 | 北京蓝犀时空科技有限公司 | 为自由组合创作的虚拟形象生成及使用表情的方法和系统 |
| CN106327482A (zh) * | 2016-08-10 | 2017-01-11 | 东方网力科技股份有限公司 | 一种基于大数据的面部表情的重建方法及装置 |
| CN106327571A (zh) * | 2016-08-23 | 2017-01-11 | 北京的卢深视科技有限公司 | 一种三维人脸建模方法及装置 |
| US9799133B2 (en) | 2014-12-23 | 2017-10-24 | Intel Corporation | Facial gesture driven animation of non-facial features |
| US9813666B2 (en) | 2012-05-29 | 2017-11-07 | Qualcomm Incorporated | Video transmission and reconstruction |
| US9824502B2 (en) | 2014-12-23 | 2017-11-21 | Intel Corporation | Sketch selection for rendering 3D model avatar |
| CN108765265A (zh) * | 2018-05-21 | 2018-11-06 | 北京微播视界科技有限公司 | 图像处理方法、装置、终端设备和存储介质 |
| CN108769802A (zh) * | 2018-06-21 | 2018-11-06 | 北京密境和风科技有限公司 | 网络表演的实现方法、装置和系统 |
| CN108776983A (zh) * | 2018-05-31 | 2018-11-09 | 北京市商汤科技开发有限公司 | 基于重建网络的人脸重建方法和装置、设备、介质、产品 |
| CN109920422A (zh) * | 2019-03-15 | 2019-06-21 | 百度国际科技（深圳）有限公司 | 语音交互方法及装置、车载语音交互设备及存储介质 |
| CN111325846A (zh) * | 2020-02-13 | 2020-06-23 | 腾讯科技（深圳）有限公司 | 表情基确定方法、虚拟形象驱动方法、装置及介质 |
| CN112907438A (zh) * | 2021-03-01 | 2021-06-04 | 中国科学院半导体研究所 | 肖像生成方法、装置、电子设备及存储介质 |
| CN114283060A (zh) * | 2021-12-20 | 2022-04-05 | 北京字节跳动网络技术有限公司 | 视频生成方法、装置、设备及存储介质 |
| US11303850B2 (en) | 2012-04-09 | 2022-04-12 | Intel Corporation | Communication using interactive avatars |
| CN116778043A (zh) * | 2023-06-19 | 2023-09-19 | 广州怪力视效网络科技有限公司 | 一种表情捕捉及动画自动生成系统和方法 |
| US11887231B2 (en) | 2015-12-18 | 2024-01-30 | Tahoe Research, Ltd. | Avatar animation system |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101354795A (zh) * | 2008-08-28 | 2009-01-28 | 北京中星微电子有限公司 | 基于视频的三维人脸动画驱动方法和系统 |
| CN101739712A (zh) * | 2010-01-25 | 2010-06-16 | 四川大学 | 基于视频的3d人脸表情动画驱动方法 |
-
2011
- 2011-04-11 CN CN2011100904322A patent/CN102157007A/zh active Pending
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101354795A (zh) * | 2008-08-28 | 2009-01-28 | 北京中星微电子有限公司 | 基于视频的三维人脸动画驱动方法和系统 |
| CN101739712A (zh) * | 2010-01-25 | 2010-06-16 | 四川大学 | 基于视频的3d人脸表情动画驱动方法 |
Non-Patent Citations (4)
| Title |
|---|
| QINGSHAN ZHANG ET AL.: "Geometry-Driven Photorealistic Facial Expression Synthesis", 《EUROGRAPHICS/SIGGRAPH SYMPOSIUM ON COMPUTER ANIMATION》 * |
| 刘福新: "基于视频驱动的卡通人脸动画研究", 《中国优秀硕士学位论文全文数据库》 * |
| 周仁琴 等: "基于特征发现的卡通人脸肖像生成", 《计算机辅助设计与图形学学报》 * |
| 姚俊峰 等: "计算机人脸表情动画技术综述", 《计算机应用研究》 * |
Cited By (31)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102509333A (zh) * | 2011-12-07 | 2012-06-20 | 浙江大学 | 基于动作捕获数据驱动的二维卡通表情动画制作方法 |
| WO2013091157A1 (en) * | 2011-12-19 | 2013-06-27 | Nokia Corporation | A method and apparatus for creating and displaying a face sketch avatar |
| CN104115160A (zh) * | 2011-12-19 | 2014-10-22 | 诺基亚公司 | 用于创建和显示脸部略图化身的方法和装置 |
| US11303850B2 (en) | 2012-04-09 | 2022-04-12 | Intel Corporation | Communication using interactive avatars |
| US11595617B2 (en) | 2012-04-09 | 2023-02-28 | Intel Corporation | Communication using interactive avatars |
| US9813666B2 (en) | 2012-05-29 | 2017-11-07 | Qualcomm Incorporated | Video transmission and reconstruction |
| CN102799868A (zh) * | 2012-07-10 | 2012-11-28 | 吉林禹硕动漫游戏科技股份有限公司 | 人脸面部关键表情识别方法 |
| CN102799868B (zh) * | 2012-07-10 | 2014-09-10 | 吉林禹硕动漫游戏科技股份有限公司 | 人脸面部关键表情识别方法 |
| US9830728B2 (en) | 2014-12-23 | 2017-11-28 | Intel Corporation | Augmented facial animation |
| US9799133B2 (en) | 2014-12-23 | 2017-10-24 | Intel Corporation | Facial gesture driven animation of non-facial features |
| US9824502B2 (en) | 2014-12-23 | 2017-11-21 | Intel Corporation | Sketch selection for rendering 3D model avatar |
| US10540800B2 (en) | 2014-12-23 | 2020-01-21 | Intel Corporation | Facial gesture driven animation of non-facial features |
| WO2016101131A1 (en) * | 2014-12-23 | 2016-06-30 | Intel Corporation | Augmented facial animation |
| US11295502B2 (en) | 2014-12-23 | 2022-04-05 | Intel Corporation | Augmented facial animation |
| WO2016177290A1 (zh) * | 2015-05-06 | 2016-11-10 | 北京蓝犀时空科技有限公司 | 为自由组合创作的虚拟形象生成及使用表情的方法和系统 |
| US11887231B2 (en) | 2015-12-18 | 2024-01-30 | Tahoe Research, Ltd. | Avatar animation system |
| CN106327482A (zh) * | 2016-08-10 | 2017-01-11 | 东方网力科技股份有限公司 | 一种基于大数据的面部表情的重建方法及装置 |
| CN106327482B (zh) * | 2016-08-10 | 2019-01-22 | 东方网力科技股份有限公司 | 一种基于大数据的面部表情的重建方法及装置 |
| CN106327571A (zh) * | 2016-08-23 | 2017-01-11 | 北京的卢深视科技有限公司 | 一种三维人脸建模方法及装置 |
| CN108765265A (zh) * | 2018-05-21 | 2018-11-06 | 北京微播视界科技有限公司 | 图像处理方法、装置、终端设备和存储介质 |
| CN108765265B (zh) * | 2018-05-21 | 2022-05-24 | 北京微播视界科技有限公司 | 图像处理方法、装置、终端设备和存储介质 |
| CN108776983A (zh) * | 2018-05-31 | 2018-11-09 | 北京市商汤科技开发有限公司 | 基于重建网络的人脸重建方法和装置、设备、介质、产品 |
| CN108769802A (zh) * | 2018-06-21 | 2018-11-06 | 北京密境和风科技有限公司 | 网络表演的实现方法、装置和系统 |
| CN109920422A (zh) * | 2019-03-15 | 2019-06-21 | 百度国际科技（深圳）有限公司 | 语音交互方法及装置、车载语音交互设备及存储介质 |
| CN111325846A (zh) * | 2020-02-13 | 2020-06-23 | 腾讯科技（深圳）有限公司 | 表情基确定方法、虚拟形象驱动方法、装置及介质 |
| CN112907438A (zh) * | 2021-03-01 | 2021-06-04 | 中国科学院半导体研究所 | 肖像生成方法、装置、电子设备及存储介质 |
| CN112907438B (zh) * | 2021-03-01 | 2024-05-31 | 中国科学院半导体研究所 | 肖像生成方法、装置、电子设备及存储介质 |
| CN114283060A (zh) * | 2021-12-20 | 2022-04-05 | 北京字节跳动网络技术有限公司 | 视频生成方法、装置、设备及存储介质 |
| CN114283060B (zh) * | 2021-12-20 | 2024-06-28 | 北京字节跳动网络技术有限公司 | 视频生成方法、装置、设备及存储介质 |
| CN116778043A (zh) * | 2023-06-19 | 2023-09-19 | 广州怪力视效网络科技有限公司 | 一种表情捕捉及动画自动生成系统和方法 |
| CN116778043B (zh) * | 2023-06-19 | 2024-02-09 | 广州怪力视效网络科技有限公司 | 一种表情捕捉及动画自动生成系统和方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN102157007A (zh) | 一种表演驱动的制作人脸动画的方法和装置 | |
| Wang et al. | One-shot talking face generation from single-speaker audio-visual correlation learning | |
| Ma et al. | Styletalk: One-shot talking head generation with controllable speaking styles | |
| Olszewski et al. | High-fidelity facial and speech animation for VR HMDs | |
| WO2021248473A1 (en) | Personalized speech-to-video with three-dimensional (3d) skeleton regularization and expressive body poses | |
| Wang et al. | Deep convolutional neural networks for action recognition using depth map sequences | |
| CN111638784B (zh) | 人脸表情互动方法、互动装置以及计算机存储介质 | |
| CN106780681A (zh) | 一种角色动作生成方法和装置 | |
| Alkawaz et al. | Blend shape interpolation and FACS for realistic avatar | |
| Liao et al. | Speech2video synthesis with 3d skeleton regularization and expressive body poses | |
| Garcia et al. | Spatial motion doodles: Sketching animation in vr using hand gestures and laban motion analysis | |
| Guo et al. | DanceIt: music-inspired dancing video synthesis | |
| CN117152843B (zh) | 数字人的动作控制方法及其系统 | |
| Liu et al. | 4D facial analysis: A survey of datasets, algorithms and applications | |
| Ekmen et al. | From 2D to 3D real-time expression transfer for facial animation | |
| Wei et al. | A practical model for live speech-driven lip-sync | |
| Li et al. | A novel speech-driven lip-sync model with CNN and LSTM | |
| Yang et al. | An interactive facial expression generation system | |
| CN108170270A (zh) | 一种vr头戴设备的手势跟踪方法 | |
| Pham et al. | Style transfer for 2d talking head animation | |
| CN114630190A (zh) | 关节姿态参数的确定方法、模型训练方法及装置 | |
| Wang et al. | Flow2Flow: Audio-visual cross-modality generation for talking face videos with rhythmic head | |
| De Souza | Action Recognition in Videos: Data-efficient approaches for supervised learning of human action classification models for video | |
| Nazarieh et al. | A Survey of Cross-Modal Visual Content Generation | |
| Kumar et al. | Multi modal adaptive normalization for audio to video generation |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| ASS | Succession or assignment of patent right |
Owner name: ZHONGXING ELECTRONICS CO., LTD. Effective date: 20120203 |
|
| C41 | Transfer of patent application or patent right or utility model | ||
| TA01 | Transfer of patent application right |
Effective date of registration: 20120203 Address after: 100083, Haidian District, Xueyuan Road, Beijing No. 35, Nanjing Ning building, 15 Floor Applicant after: Beijing Vimicro Corporation Co-applicant after: Vimicro Electronics Co., Ltd. Address before: 100083, Haidian District, Xueyuan Road, Beijing No. 35, Nanjing Ning building, 15 Floor Applicant before: Beijing Vimicro Corporation |
|
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20110817 |