CN108062783A - 面部动画映射系统及方法 - Google Patents
面部动画映射系统及方法 Download PDFInfo
- Publication number
- CN108062783A CN108062783A CN201810030723.4A CN201810030723A CN108062783A CN 108062783 A CN108062783 A CN 108062783A CN 201810030723 A CN201810030723 A CN 201810030723A CN 108062783 A CN108062783 A CN 108062783A
- Authority
- CN
- China
- Prior art keywords
- facial
- face
- model
- data
- point data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000001815 facial effect Effects 0.000 title claims abstract description 180
- 238000000034 method Methods 0.000 title claims abstract description 56
- 238000013507 mapping Methods 0.000 claims abstract description 135
- 230000008921 facial expression Effects 0.000 claims abstract description 64
- 230000014509 gene expression Effects 0.000 claims abstract description 49
- 241000196324 Embryophyta Species 0.000 claims abstract description 12
- 210000001097 facial muscle Anatomy 0.000 claims description 73
- 210000000056 organ Anatomy 0.000 claims description 47
- 230000000875 corresponding effect Effects 0.000 claims description 40
- 238000000547 structure data Methods 0.000 claims description 24
- 238000012545 processing Methods 0.000 claims description 22
- 241000894007 species Species 0.000 claims description 18
- 238000009826 distribution Methods 0.000 claims description 16
- 241001269238 Data Species 0.000 claims description 14
- 238000006073 displacement reaction Methods 0.000 claims description 14
- 238000004458 analytical method Methods 0.000 claims description 11
- 230000008569 process Effects 0.000 claims description 10
- 230000003387 muscular Effects 0.000 claims description 9
- 230000033001 locomotion Effects 0.000 claims description 7
- 230000008521 reorganization Effects 0.000 claims description 6
- 210000001061 forehead Anatomy 0.000 claims description 4
- 238000004215 lattice model Methods 0.000 claims description 4
- 238000005192 partition Methods 0.000 claims 1
- 230000000694 effects Effects 0.000 abstract description 5
- 230000008859 change Effects 0.000 abstract description 4
- 238000010586 diagram Methods 0.000 description 10
- 210000003205 muscle Anatomy 0.000 description 8
- 238000003860 storage Methods 0.000 description 7
- 238000004590 computer program Methods 0.000 description 6
- 241000406668 Loxodonta cyclotis Species 0.000 description 5
- 210000000988 bone and bone Anatomy 0.000 description 5
- 238000004891 communication Methods 0.000 description 5
- 241001465754 Metazoa Species 0.000 description 4
- 230000006870 function Effects 0.000 description 4
- 230000004048 modification Effects 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 239000011800 void material Substances 0.000 description 3
- 235000012364 Peperomia pellucida Nutrition 0.000 description 2
- 240000007711 Peperomia pellucida Species 0.000 description 2
- 241000270295 Serpentes Species 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 210000004709 eyebrow Anatomy 0.000 description 2
- 210000000887 face Anatomy 0.000 description 2
- 210000004209 hair Anatomy 0.000 description 2
- 238000004519 manufacturing process Methods 0.000 description 2
- 239000000203 mixture Substances 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 241000282326 Felis catus Species 0.000 description 1
- 101000911390 Homo sapiens Coagulation factor VIII Proteins 0.000 description 1
- 241000009328 Perro Species 0.000 description 1
- 238000007630 basic procedure Methods 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000013506 data mapping Methods 0.000 description 1
- 230000005611 electricity Effects 0.000 description 1
- 239000004744 fabric Substances 0.000 description 1
- 239000011521 glass Substances 0.000 description 1
- 102000057593 human F8 Human genes 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 229940047431 recombinate Drugs 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 230000001629 suppression Effects 0.000 description 1
- 238000010408 sweeping Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T13/00—Animation
- G06T13/20—3D [Three Dimensional] animation
- G06T13/40—3D [Three Dimensional] animation of characters, e.g. humans, animals or virtual beings
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T13/00—Animation
- G06T13/80—2D [Two Dimensional] animation, e.g. using sprites
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/10—Selection of transformation methods according to the characteristics of the input images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/168—Feature extraction; Face representation
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Health & Medical Sciences (AREA)
- Human Computer Interaction (AREA)
- Multimedia (AREA)
- Processing Or Creating Images (AREA)
Abstract
本申请实施例提供了一种面部动画映射系统及方法，包括建立包含有第一关键点数据的虚拟面部模型，并通过扫描客体的面部结构而生成包含第二关键点数据的面部结构网格模型，通过将第一与第二关键点数据对应关联以生成映射表，从而将实时捕捉的所述客体的面部表情数据转换为表情驱动数据而驱动虚拟面部模型执行相应的表情变化，实现客体与虚拟模型之间高精度的表情映射效果，并可实现不同物种、不同性别或不同脸型之间的表情映射。
Description
技术领域
本申请实施例涉及表情捕捉处理技术，尤其涉及面部动画映射系统及方法。
背景技术
面部动画的制作方式通常是利用传感器识别并跟踪客体面部中各特征点的移动位置和移动方位，并于虚拟面部模型上进行实时动画映射而达成，当客体的面部表情发生变化时，投射将会通过实时捕捉的面部表情数据而控制虚拟面部模型进行相应的作动。
然而，如何实现客体与虚拟模型之间动态高精度的面部表情映射，以及实现不同性别、不同脸型、乃至不同物种之间的面部表情映射，即为本案待解决的技术课题。
发明内容
有鉴于此，本发明实施例所解决的技术问题之一在于提供一种面部动画映射系统及方法，可实现客体与虚拟模型之间高精度的面部表情映射。
本发明实施例的另一目的在于提供一种面部动画映射系统及方法，可以实现不同脸型、不同性别乃至不同物种的客体与虚拟模型之间的面部表情映射。
本申请实施例提供了一种面部动画映射系统，其特征在于，包括数据采集装置与数据处理装置，其中，数据采集装置用于扫描客体的面部结构以生成面部结构数据，或用于实时捕捉所述客体的面部表情以生成面部表情数据；数据处理装置包括模型数据库，其用于储存虚拟面部模型，所述虚拟面部模型包括多个第一关键点数据；模型建立模块，其依据所述面部结构数据建立面部结构网格模型；模型关联模块，其分析所述面部结构网格模型中的特征点，以生成第二关键点数据，并将所述第一与所述第二关键点数据对应关联以建立映射表；以及表情映射模块，其依据所述映射表，将所述面部表情数据转换为表情驱动数据，利用所述表情驱动数据驱动所述虚拟面部模型执行相应的动作，以将所述客体的面部表情实时映射至所述虚拟面部模型，从而生成面部动画。
可选地，在本申请的任一实施例中，所述数据采集装置通过扫描所述客体的面部特征部位，以生成所述面部结构数据，所述面部特征部位包括所述面部的五官部位及非五官部位中的至少其一，其中所述非五官部位包括额头部位与脸颊部位中的至少其一。
可选地，在本申请的任一实施例中，所述模型建立模块所生成的所述面部结构网格模型为2D或3D面部模型，且所述模型建立模块还包括模型修正单元，其用于针对所生成的面部结构网格模型进行细化与修正处理，其具有包括针对面部结构网格模型中出现缺失的区域进行网格面片的填充处理，以及针对面部结构网格模型中出现错误的区域进行剔除及重组处理。
可选地，在本申请的任一实施例中，所述模型关联模块还包括特征定义单元，其用于将所述面部结构网格模型划分为多个特征区域，并定义所述特征区域中包含的所述第二关键点数据；以及特征映射单元，其用于将各所述第二关键点数据与各所述第一关键点数据对应关联，以建立所述映射表。
可选地，在本申请的任一实施例中，所述特征定义单元还包括肌肉特征划分子单元，其根据所述面部结构网格模型的面部肌肉分布特征，将所述面部结构网格模型划分为多个面部肌肉特征区域，并分析所述面部肌肉特征区域中所包含的面部肌肉特征，以生成包含所述面部肌肉特征的所述第二关键点数据；以及五官特征划分子单元，其根据所述面部结构网格模型的五官特征，将所述面部结构网格模型划分为多个五官特征区域，并分析所述五官特征区域中所包含的五官器官特征，以生成包含所述五官器官特征的所述第二关键点数据。
可选地，在本申请的任一实施例中，所述虚拟面部模型对应于生物面部模型或非生物模型，当所述虚拟面部模型对应于生物面部模型时，所述第一关键点数据包含所述虚拟面部模型的面部肌肉特征及/或五官器官特征，当所述虚拟面部模型对应于非生物模型时，所述第一关键点数据可通过手动输入而设定。
可选地，在本申请的任一实施例中，所述特征映射单元用于将包含所述客体的所述面部肌肉特征的所述第二关键点数据与包含所述虚拟面部模型的面部肌肉特征的第一关键点数据对应关联，或将包含所述客体的所述五官器官特征的所述第二关键点数据与包含所述虚拟面部模型的五官器官特征的第一关键点数据对应关联，或将包含所述客体的所述面部肌肉特征的所述第二关键点数据与包含所述虚拟面部模型的五官器官特征的第一关键点数据对应关联，或将包含所述客体的所述五官器官特征的所述第二关键点数据与包含所述虚拟面部模型的面部肌肉特征的第一关键点数据对应关联。
可选地，在本申请的任一实施例中，所述第一关键点数据与所述第二关键点数据之间的映射关系为一对多映射关系，多对一映射关系，或多对多映射关系，所述面部结构网格模型与所述虚拟面部模型之间的映射关系为一对多映射关系，多对一映射关系，或多对多映射关系。
可选地，在本申请的任一实施例中，所述模型关联模块还包括特征修正单元，用于提供以手动方式针对所述特征定义单元所定义的所述第二关键点数据进行修正。
可选地，在本申请的任一实施例中，所述特征定义单元还包括物种分析子单元，其用于分析所述面部结构网格模型的物种类型，据以选择所述肌肉特征划分子单元或所述五官特征划分子单元中的一者对所述面部结构网格模型进行特征区域的划分。
可选地，在本申请的任一实施例中，所述表情映射模块还包括根据所述数据采集装置所生成的多个连续的面部表情数据，分析各所述面部表情数据中的第二关键点数据的位置坐标，以计算所述第二关键点数据于单位时间内的移动距离以及移动方向，据以将所述面部表情数据转换为所述表情驱动数据。
可选地，在本申请的任一实施例中，所述表情映射模块还包括依据所述物种分析子单元的分析结果，当判断所述面部结构网格模型与所述虚拟面部模型属于不同物种类型时，依据两者之间的面部特征的主要差异，而针对所计算的所述第二关键点数据于单位时间内的移动距离以及移动方向进行修正。
本申请的另一实施例还提供一种面部动画映射方法，其特征在于，包括：建立虚拟面部模型，所述虚拟面部模型包括多个第一关键点数据；扫描客体的面部结构以生成面部结构数据；依据所述面部结构数据建立面部结构网格模型，并分析所述面部结构网格模型中的特征点，以生成第二关键点数据；关联所述第一关键点数据与所述第二关键点数据，以建立映射表；实时捕捉所述客体的面部表情以生成面部表情数据；以及依据所述映射表，将所述面部表情数据转换为表情驱动数据，利用所述表情驱动数据驱动所述虚拟面部模型执行相应的动作，以将所述客体的面部表情实时映射至所述虚拟面部模型从而生成面部动画。
可选地，在本申请的任一实施例中，所述方法借由数据采集装置以扫描客体的面部结构以生成面部结构数据或实时捕捉所述客体的面部表情以生成面部表情数据，且所述数据采集装置为摄像机、录像机或红外传感器。
可选地，在本申请的任一实施例中，所述方法还包括扫描所述客体的面部特征部位，以生成所述面部结构数据，所述面部特征部位包括所述面部的五官部位及非五官部位中的至少一者。
可选地，在本申请的任一实施例中，所述方法还包括依据所述面部结构数据建立2D或3D的面部结构网格模型，并针对所述面部结构网格模型进行细化与修正处理，包括针对面部结构网格模型中出现缺失的区域进行网格面片的填充处理，以及针对面部结构网格模型中出现错误的区域进行剔除及重组处理。
可选地，在本申请的任一实施例中，所述方法还包括根据所述面部结构网格模型的面部肌肉分布特征，将所述面部结构网格模型划分为多个面部肌肉特征区域，并分析所述面部肌肉特征区域中所包含的面部肌肉特征，以生成包含所述面部肌肉特征的所述第二关键点数据；或者根据所述面部结构网格模型的五官特征，将所述面部结构网格模型划分为多个五官特征区域，并分析所述五官特征区域中所包含的五官器官特征，以生成包含所述五官器官特征的所述第二关键点数据。
可选地，在本申请的任一实施例中，所述第一关键点数据包含所述虚拟面部模型的面部肌肉特征及/或五官器官特征，且所述方法还包括将包含所述客体的所述面部肌肉特征的所述第二关键点数据与包含所述虚拟面部模型的面部肌肉特征的第一关键点数据对应关联，或将包含所述客体的所述五官器官特征的所述第二关键点数据与包含所述虚拟面部模型的五官器官特征的第一关键点数据对应关联，或将包含所述客体的所述面部肌肉特征的所述第二关键点数据与包含所述虚拟面部模型的五官器官特征的第一关键点数据对应关联，或者将包含所述客体的所述五官器官特征的所述第二关键点数据与包含所述虚拟面部模型的面部肌肉特征的第一关键点数据对应关联。
可选地，在本申请的任一实施例中，所述第一关键点数据与所述第二关键点数据之间的映射关系为一对多映射关系，多对一映射关系，或多对多映射关系，所述面部结构网格模型与所述虚拟面部模型之间的映射关系为一对多映射关系，多对一映射关系，或多对多映射关系。
可选地，在本申请的任一实施例中，所述方法还包括分析所述面部结构网格模型的物种类型，据以选择根据所述面部结构网格模型的面部肌肉分布特征或者根据所述面部结构网格模型的五官特征中的一者对所述面部结构网格模型进行特征区域的划分。
可选地，在本申请的任一实施例中，所述方法还包括提供以手动方式针对所述第二关键点数据进行修正，包括添加、删除、修改所述第二关键点数据。
可选地，在本申请的任一实施例中，所述方法还通过实时捕捉所述客体的面部表情以生成多个连续的面部表情数据，分析各所述面部表情数据中的第二关键点数据的位置坐标，以计算所述第二关键点数据于单位时间内的移动距离以及移动方向，据以将所述面部表情数据转换为所述表情驱动数据。
可选地，在本申请的任一实施例中，所述方法还包括当判断所述面部结构网格模型与所述虚拟面部模型属于不同物种类型时，依据两者之间的面部特征的主要差异，而针对所计算的所述第二关键点数据于单位时间内的移动距离以及移动方向进行修正。
本申请实施例所提供的面部动画映射系统及方法通过扫面客体的面部结构以建立包含有第二关键点数据的面部结构网格模型，通过将所述第二关键点数据与虚拟面部模型中的第一关键点数据对应关联，以建立映射表，从而根据所述映射表而将实时捕捉的所述客体的面部表情数据转换为表情驱动数据，据以驱动所述虚拟面部模型执行相应的动作，以将客体的面部表情实时映射至虚拟面部模型而生成面部动画的技术功效，以实现客体与虚拟模型之间高精度的映射效果，且客体与映射对象之间可实现物种无关性以及性别无关性的技术功效。
附图说明
后文将参照附图以示例性而非限制性的方式详细描述本申请实施例的一些具体实施例。附图中相同的附图标记标示了相同或类似的部件或部分。本领域技术人员应该理解，这些附图未必是按比例绘制的。附图中：
图1是根据本申请的一实施例所示的面部动画映射系统的基本架构示意图；
图2至图3是根据本申请实施例所示的面部动画映射系统的不同实施例架构示意图；
图4是根据本申请的一实施例所示的面部动画映射方法的基本流程示意图；以及
图5是根据本申请的另一实施例所示的面部动画映射方法的运作流程实施例示意图。
具体实施方式
实施本发明实施例的任一技术方案必不一定需要同时达到以上的所有优点。
为了使本领域的人员更好地理解本发明实施例中的技术方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本发明实施例一部分实施例，而不是全部的实施例。基于本发明实施例中的实施例，本领域普通技术人员所获得的所有其他实施例，都应当属于本发明实施例保护的范围。
下面结合本发明实施例附图进一步说明本发明实施例具体实现。
图1是根据本申请的一实施例所示的面部动画映射系统的基本架构示意图。如图所示，本申请的面部动画映射系统1主要由数据采集装置11与数据处理装置12所构成。
数据采集装置11可用于扫描客体的面部结构以生成面部结构数据，或者用于实时捕捉所述客体的面部表情以生成面部表情数据。于本申请的实施例中，数据采集装置11例如为摄像机、录像机或红外传感器。然，并不以上述列举的为限，其他类型的动作捕捉设备亦可适用于本申请。
再者，数据采集装置11可通过光学、红外或影像等方式对客体的面部进行映射，其中，光学映射方式适合快速扫描，对精度要求不高的应用情境；影像映射方式适合对精度要求较高，并由足够时间处理扫描结构的应用情境；红外线映射方式则适合应用于对精度要求较高的实时演播场景的应用情境。
此外，本申请所指称的客体可以是任何具有面部表情的生物，例如人或动物。
于具体操作过程中，当用于生成面部结构数据时，数据采集装置11可通过扫描客体的面部特征部位，以生成面部结构数据。于具体的实施例中，数据采集装置11所扫描的面部特征部位可以包括客体面部的五官部位及非五官部位，其中，非五官部位例如为额头部位或脸颊部位。
于其他实施例中，数据采集装置11还可扫描穿戴于客体面部的相关配饰，例如耳环、发卡、框架眼镜等，以将其作为面部特征部位的辅助参考部分。
数据处理装置12例如为个人电脑、笔记本电脑等电子设备，其负责接收数据采集装置11所生成的面部结构数据或面部表情数据以进行后续加工处理。于本实施例中，数据处理装置12可设置于本地端或云端，而数据采集装置11与数据处理装置12之间可依据设置方式的不同，而选择通过有线或无线的方式相互通讯连接。其中，有线通讯包括电缆通讯、光纤通讯等，无线通讯例如红外通讯、蓝牙通讯或Wifi通讯等。
请参阅图1，数据处理装置12中包括有模型数据库121、模型建立模块122、模型关联模块123与表情映射模块124。
模型数据库121用于储存虚拟面部模型，且虚拟面部模型包括有多个第一关键点数据。于具体的实施例中，模型数据库121中所储存的虚拟面部模型可对应于生物面部模型，例如人脸模型或动物的面部模型(例如猫、狗、大象等)，而第一关键点数据可例如为虚拟面部模型的面部肌肉特征及/或五官器官特征(请容后详述)。
然，并不以此为限，于其他实施例中，模型数据库121中所储存的虚拟面部模型也可对应于非生物模型，例如桌子、椅子等家具，也就是将非生物进行拟人化处理，而当虚拟面部模型对应于非生物模型时，虚拟面部模型中的第一关键点数据可以通过手动输入的方式进行设定。
模型建立模块122用于依据数据采集装置11所生成的面部结构数据建立面部结构网格模型。于本实施例中，模型建立模块122可支持生成2D或3D的面部结构网格模型。
请配合参阅图2，于本申请的另一实施例中，模型建立模块122还包括有模型修正单元1221，其用于针对所生成的面部结构网格模型进行细化与修正处理。于一实施例中，所述的细化与修正处理例如针对面部结构网格模型中出现缺失的区域进行网格面片的填充处理，或者针对面部结构网格模型中出现错误的区域进行剔除及重组处理。具体而言，若数据采集装置11在扫描客体的面部结构的过程中忽略了一些部位的扫描(是否忽略某个部位的扫描可由使用人员来确定，使用人员通过指定需要忽略的部位，则数据采集装置11可根据使用人员提供的列表进行扫描)，模型修正单元1221可根据面部结构网格模型的其他区域的特征，自动化地填充该缺失区域的数据内容，例如模型修正单元1221可参考其他部位的形状，以对称部位或邻边部位的形状为基准而对缺失的网格面片进行填充。此外，对于出现错误的区域，模型修正单元1221则可对出现错误的位置进行剔除，并重组该区域的网格。
模型关联模块123用于分析面部结构网格模型中的特征点，以生成第二关键点数据，并将虚拟面部模型中的第一关键点数据与面部结构网格模型中的第二关键点数据对应关联以建立映射表。
请参阅图2，于具体的实施例中，模型关联模块123还包括特征定义单元1231与特征映射单元1232。其中，特征定义单元1231用于将面部结构网格模型划分为多个特征区域，并定义各特征区域中包含的第二关键点数据。特征映射单元1232则用于将第二关键点数据与第一关键点数据对应关联，以建立上述的映射表。
请配合参阅图3，于本申请的一实施例中，特征定义单元1231还包括肌肉特征划分子单元12311，其用于根据面部结构网格模型的面部肌肉分布特征，将面部结构网格模型划分为多个面部肌肉特征区域，并分析各面部肌肉特征区域中所包含的面部肌肉特征，以生成包含有面部肌肉特征的第二关键点数据。以人脸为例，肌肉特征划分子单元12311可根据实际人脸所包含的43块肌肉，而将面部结构网格模型划分为43个面部肌肉特征区域，划分后的各面部肌肉特征区域的分布与真实人脸的肌肉分布完全相同，以确保划分后的“肌肉”与实际人脸的肌肉能够一一对应关联。再者，如上所述，当数据采集装置11所扫描的面部特征部位还包括配饰部分时，则特征定义单元1231还可将面部结构网格模型额外划分出若干区域，以对应这些配饰部分。
再者，当模型建立模块122所建立的面部结构网格模型为3D模型时，则第二关键点数据是由各面部肌肉特征区域的网格顶点部分所组成，也就是说，各面部肌肉特征区域的各网格顶点通过点动成线，线动成面，面动成体的形式组成3D模型。
于另一实施例中，特征定义单元1231还包括五官特征划分子单元12312，其用于根据面部结构网格模型的五官特征，将面部结构网格模型划分为多个五官特征区域，并分析各五官特征区域中所包含的五官器官特征，以生成包含五官器官特征的第二关键点数据。仍以人脸为例，五官特征划分子单元12312可根据实际人脸所包含的5个器官(即眉、眼、耳、鼻、口)，而将面部结构网格模型划分为对应的8个五官特征区域(包括2个眉部特征区域、2个眼部特征区域、2个耳部特征区域、1个鼻部特征区域、以及1个口部特征区域)，划分后的各五官特征区域的分布与真实人脸的五官分布完全相同，以确保划分后的“五官”与实际人脸的五官能够一一对应关联。同理，当数据采集装置11所扫描的面部特征部位还包括配饰部分时，则特征定义单元1231也可将面部结构网格模型额外划分出若干区域，以用于对应这些配饰部分。
较佳者，特征定义单元1231还包括有物种分析子单元12313，其用于分析面部结构网格模型的物种类型(也就是客体的物种类型)，据以选择通过肌肉特征划分子单元12311或五官特征划分子单元12312中的一者对面部结构网格模型进行特征区域的划分。
再者，特征映射单元1232可用于将包含相同类型的面部特征的第一与第二关键点数据进行对应关联，或者将包含不同类型的面部的第一与第二关键点数据进行对应关联，具体而言，特征映射单元1232可用于将包含客体的面部肌肉特征的第二关键点数据与包含虚拟面部模型的面部肌肉特征的第一关键点数据对应关联，或者将包含客体的五官器官特征的第二关键点数据与包含虚拟面部模型的五官器官特征的第一关键点数据对应关联，抑或是将包含客体的面部肌肉特征的第二关键点数据与包含虚拟面部模型的五官器官特征的第一关键点数据对应关联，此外，也可将包含客体的五官器官特征的第二关键点数据与包含虚拟面部模型的面部肌肉特征的第一关键点数据对应关联。其中，第一关键点数据与第二关键点数据之间的映射关系可选择为一对多映射关系，多对一映射关系，或多对多映射关系中的任意一者。例如，当第一关键点数据与第二关键点数据所对应的相同的特征类型时，该两者之间的对应关系可以是一对一的映射关系，而当第一关键点数据对应的是43个面部肌肉特征，而第二关键点数据对应的是8个五官器官特征时，则可将多个第一关键点数据与一个第二关键点数据进行映射关联，反之亦然。此外，多个第一关键点数据与多个第二关键点数据也可视实际需求而形成相互交叉映射关系，以形成多对多的映射关系。
较佳者，模型关联模块123还包括特征修正单元1233，其可用于提供使用人员以手动方式针对特征定义单元1233所定义的所述第二关键点数据进行修正，包括添加、删除、修改所述第二关键点数据。
表情映射模块124用于依据映射表，将数据采集装置11所实时捕捉而生成的面部表情数据转换为表情驱动数据，并利用表情驱动数据驱动虚拟面部模型执行相应的动作，以将客体的面部表情实时映射至所述虚拟面部模型，从而生成面部动画。于本实施例中，面部结构网格模型与虚拟面部模型之间的映射关系亦可为一对多映射关系，多对一映射关系，或多对多映射关系。
于本申请的实施例中，表情映射模块124可根据数据采集装置11所生成的多个连续的面部表情数据，分析各面部表情数据中的第二关键点数据的位置坐标，以计算第二关键点数据于单位时间内的移动距离以及移动方向，据以将面部表情数据转换为表情驱动数据，而驱动虚拟面部模型发生相应的表情变化。具体而言，通过数据采集装置11对于例如人体的面部表情进行高频率的实时捕捉以生成多个连续的面部表情数据，以供表情映射模块124在接收到面部表情数据后，依据映射表中第一特征关键点与第二关键点之间的映射关系，而针对面部表情数据进行计算并转化为符合虚拟面部模型的数据格式的表情驱动数据，通过将表情驱动数据应用到虚拟面部模型中，完成面部动画数据的映射功能。
综上所述，借由本申请所提供的面部动画映射系统1，可以针对不同性别、不同脸型的面部进行映射。具体而言，本申请可以将不同性别的表情可以映射到同一个动画模型上，面部动画的数据映射与性别无关，即男性的脸部可以映射到女性的动画模型上，女性脸部也可以映射到男性的动画模型上。再者，不同脸型的表情可以映射到同一种脸型的动画模型上，面部动画的数据映射与脸型无关，也就是说，本申请所产生的映射数据具通用性与一致性，可以兼容多种脸部骨骼结构，并可对不同的脸部骨骼结构进行自动化映射与修正，同时提供操作平台给使用人员进行手动调校。例如，本申请可将真实的人脸结构与虚拟面部模型的模型骨骼结构进行对比，识别出人脸结构与模型骨骼结构的对应关系，生成真实人脸骨骼结构与模型骨骼结构的映射。在对比过程中，如果模型骨骼结构的与人脸结构差异过大，则会提示使用人员对模型骨骼结构进行修正。例如，可通过检查人脸骨骼结构中各个骨骼与其他骨骼的连接情况，判断模型骨骼结构中的骨骼连接情况是否与真实的人脸骨骼结构的连接情况一致，若模型骨骼结构不遵循真实人脸结构，则会出现不可理解的错误，此时，本申请即可提示骨骼结构存在的错误详情，以协助使用人员进行修正与改善。
再者，本申请还支持穿戴有配饰的脸部表情进行映射，例如当人脸佩戴有眼镜、耳环、面具等软体或其他固体装饰物时，为不影响表情的映射。本申请可以选择性地剔除或添加配饰的映射数据。当剔除配饰的映射数据时，脸部表情的变化与配饰无关，配饰的位移或变形都不会影响表情的映射。当添加配饰的映射数据时，配饰的位移和变形都会映射到虚拟面部模型中所对应的区域，若所映射的虚拟面部模型也存在对应的配饰，则穿戴于现实客体的面部的配饰也会与虚拟面部模型建立映射关系，并驱动虚拟面部模型中的配饰发生相应的变化。
于另一实施例中，本申请还可提供属于不同物种的面部结构网格模型与虚拟面部模型实现表情映射。具体而言，本申请的表情映射模块124还包括依据物种分析子单元12313的分析结果，当判断面部结构网格模型与虚拟面部模型属于不同物种类型时，依据两者之间的面部特征的主要差异，而针对所计算的第二关键点数据于单位时间内的移动距离以及移动方向进行修正。
具体而言，不同物种的脸部结构是不一样的，五官占的比例也是不一样的，比如大象侧重于鼻子和耳朵、蛇侧重于舌头。如果要将人脸的面部动画映射到其他物种的模型上，则需要根据该模型所述物种类型的结构侧重点，重新计算人脸的脸部动画数据，比如将人脸映射到大象的模型上时，就需要将真实人脸的鼻子、耳朵等部位的动作幅度进行放大，同时缩小其他部位的动作幅度。
请配合参阅图4，其是根据本申请的一实施例所示的面部动画映射方法的基本流程示意图。如图所示，本申请的面部动画映射方法主要包括以下步骤：
步骤S41，建立虚拟面部模型，所述虚拟面部模型包括多个第一关键点数据。
其中，所建立的虚拟面部模型可对应于生物面部模型，例如人脸模型或动物(例如猫、狗、大象等)的面部模型，而第一关键点数据可例如为虚拟面部模型的面部肌肉特征及/或五官器官特征。此外，所储存的虚拟面部模型也可对应于非生物模型，例如桌子、椅子等家具，也就是将非生物进行拟人化处理，而当所述虚拟面部模型对应于非生物模型时，虚拟面部模型中的第一关键点数据可以通过手动输入而进行设定。
步骤S42，扫描客体的面部结构以生成面部结构数据。
具体而言，本步骤可借由数据采集装置以扫描客体的面部结构以生成面部结构数据或实时捕捉所述客体的面部表情以生成面部表情数据，于一实施例中，数据采集装置可例如为摄像机、录像机或红外传感器。本申请的实施例中，可通过扫描客体的面部特征部位，以生成所述面部结构数据，所述面部特征部位包括所述面部的五官部位、非五官部位(例如为额头部位与脸颊部位)及配饰部位(例如耳环、发卡、框架眼镜等)。此外，本申请所指称的客体可以是任何具有面部表情的生物，例如人或动物。此外，于本实施例中，本步骤还可依据所述面部结构数据建立2D或3D的面部结构网格模型，并针对面部结构网格模型进行细化与修正处理，包括针对面部结构网格模型中出现缺失的区域进行网格面片的填充处理，或者针对面部结构网格模型中出现错误的区域进行剔除及重组处理。
步骤S43，依据面部结构数据建立面部结构网格模型，并分析面部结构网格模型中的特征点，以生成第二关键点数据。
步骤S43请容后于图5中予以详细描述。
步骤S44，关联第一关键点数据与第二关键点数据，以建立映射表。
第一关键点数据包含虚拟面部模型的面部肌肉特征及/或五官器官特征，而第二关键点数据亦可包含客体的面部肌肉特征及/或五官器官特征，本步骤可用于将包含相同类型的面部特征的第一与第二关键点数据进行对应关联，或者将包含不同类型的面部的第一与第二关键点数据进行对应关联，例如将包含客体的面部肌肉特征的第二关键点数据与包含虚拟面部模型的面部肌肉特征的第一关键点数据对应关联，或将包含客体的五官器官特征的第二关键点数据与包含虚拟面部模型的五官器官特征的第一关键点数据对应关联，或将包含客体的面部肌肉特征的第二关键点数据与包含虚拟面部模型的五官器官特征的第一关键点数据对应关联，或者将包含客体的五官器官特征的第二关键点数据与包含虚拟面部模型的面部肌肉特征的第一关键点数据对应关联。
再者，第一关键点数据与第二关键点数据之间的映射关系为一对多映射关系，多对一映射关系，或多对多映射关系。例如，当第一关键点数据与第二关键点数据所对应的相同的特征类型时，该两者之间的对应关系可以是一对一的映射关系，而当第一关键点数据对应的是43个面部肌肉特征，而第二关键点数据对应的是8个五官器官特征时，可以将多个第一关键点数据与一个第二关键点数据进行映射关联，反之亦然。此外，多个第一关键点数据与多个第二关键点数据也可视实际需求而形成相互交叉映射关系，亦即，多对多的映射关系。
步骤S45，实时捕捉客体的面部表情以生成面部表情数据。
本步骤同样可借由数据采集装置而完成。
步骤S46，依据映射表，将面部表情数据转换为表情驱动数据，利用表情驱动数据驱动虚拟面部模型执行相应的动作，以将客体的面部表情实时映射至虚拟面部模型从而生成面部动画。
于本实施例中，可通过实时捕捉客体的面部表情以生成多个连续的面部表情数据，分析各所述面部表情数据中的第二关键点数据的位置坐标，以计算出第二关键点数据于单位时间内的移动距离以及移动方向，据以将面部表情数据转换为所述表情驱动数据，而驱动虚拟面部模型执行相应的表情变化。
此外，本步骤也可视依实际需求，而使面部结构网格模型与虚拟面部模型之间的映射关系形成一对多映射关系，多对一映射关系，或多对多映射关系。
于一较佳实施例中，本申请所提供方法还包括当判断所述面部结构网格模型与所述虚拟面部模型属于不同物种类型时，依据两者之间的面部特征的主要差异，而针对所计算的所述第二关键点数据于单位时间内的移动距离以及移动方向进行修正。具体而言，不同物种的脸部结构是不一样的，五官占的比例也是不一样的，比如大象侧重于鼻子和耳朵、蛇侧重于舌头。如果要将人脸的面部动画映射到其他物种的模型上，则需要根据该模型所述物种类型的结构侧重点，重新计算人脸的脸部动画数据，比如将人脸映射到大象的模型上时，就需要将真实人脸的鼻子、耳朵等部位的动作幅度进行放大，同时缩小其他部位的动作幅度。
再者，于执行步骤S46的过程中，还可针对虚拟面部模型的面部动画进行动态修正，以防止图片撕裂或模型穿透。例如，当虚拟面部模型的面部表情出现过度夸张的情况时，可在保证不影响数据的真实性的基础上，重新对图片的面部区域、模型的结构进行修正，以保证映射结果的真实性与准确性。
请配合参阅图5，于一实施例中，图4所示的步骤S43具体包括以下步骤：
步骤S431，分析面部结构网格模型(即客体)的物种类型。
步骤S431的分析据以选择根据面部结构网格模型的面部肌肉分布特征或者根据面部结构网格模型的五官特征中的一者对所述面部结构网格模型进行特征区域的划分。
步骤S431之后选择执行步骤S4321或执行步骤S4322。
步骤S4321，根据面部结构网格模型的面部肌肉分布特征，将面部结构网格模型划分为多个面部肌肉特征区域，接着执行步骤S4331。
以人脸为例，本申请可根据实际人脸所包含的43块肌肉，而将面部结构网格模型划分为43个面部肌肉特征区域，划分后的各面部肌肉特征区域的分布与真实人脸的肌肉分布完全相同，以确保划分后的“肌肉”与实际人脸的肌肉能够一一对应关联。再者，如上所述，若数据采集装置11所扫描的面部特征部位还包括配饰部分，则还可将面部结构网格模型额外划分出若干区域，以用于对应这些配饰部分。
步骤S4331，分析面部肌肉特征区域中所包含的面部肌肉特征，以生成包含所述面部肌肉特征的所述第二关键点数据，接着执行步骤S44。
需说明的是，当所建立的面部结构网格模型为3D模型时，则第二关键点数据是由各面部肌肉特征区域的网格顶点部分所组成，也就是说，各面部肌肉特征区域的各网格顶点通过点动成线，线动成面，面动成体的形式组成3D模型。
步骤S4322，根据面部结构网格模型的五官特征，将面部结构网格模型划分为多个五官特征区域，接着执行步骤S4332。
仍以人脸为例，五官特征划分子单元12312可根据实际人脸所包含的5个器官(即眉、眼、耳、鼻、口)，而将面部结构网格模型划分为对应的8个五官特征区域(包括2个眉部特征区域、2个眼部特征区域、2个耳部特征区域、1个鼻部特征区域、以及1个口部特征区域)，划分后的各五官特征区域的分布与真实人脸的五官分布完全相同，以确保划分后的“五官”与实际人脸的五官能够一一对应关联。
步骤S4332，分析五官特征区域中所包含的五官器官特征，以生成包含所述五官器官特征的所述第二关键点数据，接着执行步骤S44。
较佳者，在执行步骤S4331或步骤S4332的过程中，还可提供以手动方式针对所述第二关键点数据进行修正，包括添加、删除、修改所述第二关键点数据的步骤。
综上所述，本申请所提供的面部动画映射系统及方法不仅可实现客体与虚拟模型之间高精度的面部表情映射效果，且可实现不同物种、不同性别或不同脸型的客体面部与虚拟面部模型之间的表情映射。
以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的模块可以是或者也可以不是物理上分开的，作为模块显示的部件可以是或者也可以不是物理模块，即可以位于一个地方，或者也可以分布到多个网络模块上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，所述计算机可读记录介质包括用于以计算机(例如计算机)可读的形式存储或传送信息的任何机制。例如，机器可读介质包括只读存储器(ROM)、随机存取存储器(RAM)、磁盘存储介质、光存储介质、闪速存储介质、电、光、声或其他形式的传播信号(例如，载波、红外信号、数字信号等)等，该计算机软件产品包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。
最后应说明的是：以上实施例仅用以说明本申请实施例的技术方案，而非对其限制；尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围。
本领域的技术人员应明白，本发明实施例的实施例可提供为方法、装置(设备)、或计算机程序产品。因此，本发明实施例可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明实施例可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本发明实施例是参照根据本发明实施例的方法、装置(设备)和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
Claims (23)
1.一种面部动画映射系统，其特征在于，包括：
数据采集装置，其用于扫描客体的面部结构以生成面部结构数据，或用于实时捕捉所述客体的面部表情以生成面部表情数据；以及
数据处理装置，其包括：
模型数据库，其用于储存虚拟面部模型，所述虚拟面部模型包括多个第一关键点数据；
模型建立模块，其依据所述面部结构数据建立面部结构网格模型；
模型关联模块，其分析所述面部结构网格模型中的特征点，以生成第二关键点数据，并将所述第一关键点数据与所述第二关键点数据对应关联以建立映射表；以及
表情映射模块，其依据所述映射表，将所述面部表情数据转换为表情驱动数据，利用所述表情驱动数据驱动所述虚拟面部模型执行相应的动作，以将所述客体的面部表情实时映射至所述虚拟面部模型，从而生成面部动画。
2.根据权利要求1所述的面部动画映射系统，其特征在于，所述数据采集装置通过扫描所述客体的面部特征部位，以生成所述面部结构数据，所述面部特征部位包括所述面部的五官部位及非五官部位中的至少其一，其中所述非五官部位包括额头部位与脸颊部位中的至少其一。
3.根据权利要求1所述的面部动画映射系统，其特征在于，所述模型建立模块所生成的所述面部结构网格模型为2D或3D面部模型，且所述模型建立模块还包括模型修正单元，其用于针对所生成的面部结构网格模型进行细化与修正处理，其具有包括针对面部结构网格模型中出现缺失的区域进行网格面片的填充处理，以及针对面部结构网格模型中出现错误的区域进行剔除及重组处理。
4.根据权利要求1所述的面部动画映射系统，其特征在于，所述模型关联模块还包括：
特征定义单元，其用于将所述面部结构网格模型划分为多个特征区域，并定义所述特征区域中包含的所述第二关键点数据；以及
特征映射单元，其用于将各所述第二关键点数据与各所述第一关键点数据对应关联，以建立所述映射表。
5.根据权利要求4所述的面部动画映射系统，其特征在于，所述特征定义单元还包括：
肌肉特征划分子单元，其根据所述面部结构网格模型的面部肌肉分布特征，将所述面部结构网格模型划分为多个面部肌肉特征区域，并分析所述面部肌肉特征区域中所包含的面部肌肉特征，以生成包含所述面部肌肉特征的所述第二关键点数据；以及
五官特征划分子单元，其根据所述面部结构网格模型的五官特征，将所述面部结构网格模型划分为多个五官特征区域，并分析所述五官特征区域中所包含的五官器官特征，以生成包含所述五官器官特征的所述第二关键点数据。
6.根据权利要求5所述的面部动画映射系统，其特征在于，所述虚拟面部模型对应于生物面部模型或非生物模型，当所述虚拟面部模型对应于生物面部模型时，所述第一关键点数据包含所述虚拟面部模型的面部肌肉特征及/或五官器官特征，当所述虚拟面部模型对应于非生物模型时，所述第一关键点数据可通过手动输入而设定。
7.根据权利要求6所述的面部动画映射系统，其特征在于，所述特征映射单元用于将包含所述客体的所述面部肌肉特征的所述第二关键点数据与包含所述虚拟面部模型的面部肌肉特征的第一关键点数据对应关联，或将包含所述客体的所述五官器官特征的所述第二关键点数据与包含所述虚拟面部模型的五官器官特征的第一关键点数据对应关联，或将包含所述客体的所述面部肌肉特征的所述第二关键点数据与包含所述虚拟面部模型的五官器官特征的第一关键点数据对应关联，或将包含所述客体的所述五官器官特征的所述第二关键点数据与包含所述虚拟面部模型的面部肌肉特征的第一关键点数据对应关联。
8.根据权利要求7所述的面部动画映射系统，其特征在于，所述第一关键点数据与所述第二关键点数据之间的映射关系为一对多映射关系，多对一映射关系，或多对多映射关系，所述面部结构网格模型与所述虚拟面部模型之间的映射关系为一对多映射关系，多对一映射关系，或多对多映射关系。
9.根据权利要求8所述的面部动画映射系统，其特征在于，所述模型关联模块还包括特征修正单元，用于提供以手动方式针对所述特征定义单元所定义的所述第二关键点数据进行修正。
10.根据权利要求5所述的面部动画映射系统，其特征在于，所述特征定义单元还包括物种分析子单元，其用于分析所述面部结构网格模型的物种类型，据以选择所述肌肉特征划分子单元或所述五官特征划分子单元中的一者对所述面部结构网格模型进行特征区域的划分。
11.根据权利要求10所述的面部动画映射系统，其特征在于，所述表情映射模块还包括根据所述数据采集装置所生成的多个连续的面部表情数据，分析各所述面部表情数据中的第二关键点数据的位置坐标，以计算所述第二关键点数据于单位时间内的移动距离以及移动方向，据以将所述面部表情数据转换为所述表情驱动数据。
12.根据权利要求11所述的面部动画映射系统，其特征在于，所述表情映射模块还包括依据所述物种分析子单元的分析结果，当判断所述面部结构网格模型与所述虚拟面部模型属于不同物种类型时，依据两者之间的面部特征的主要差异，而针对所计算的所述第二关键点数据于单位时间内的移动距离以及移动方向进行修正。
13.一种面部动画映射方法，其特征在于，包括：
建立虚拟面部模型，所述虚拟面部模型包括多个第一关键点数据；
扫描客体的面部结构以生成面部结构数据；
依据所述面部结构数据建立面部结构网格模型，并分析所述面部结构网格模型中的特征点，以生成第二关键点数据；
关联所述第一关键点数据与所述第二关键点数据，以建立映射表；
实时捕捉所述客体的面部表情以生成面部表情数据；以及
依据所述映射表，将所述面部表情数据转换为表情驱动数据，利用所述表情驱动数据驱动所述虚拟面部模型执行相应的动作，以将所述客体的面部表情实时映射至所述虚拟面部模型从而生成面部动画。
14.根据权利要求13所述的面部动画映射方法，其特征在于，所述方法借由数据采集装置以扫描客体的面部结构以生成面部结构数据或实时捕捉所述客体的面部表情以生成面部表情数据，且所述数据采集装置为摄像机、录像机或红外传感器。
15.根据权利要求14所述的面部动画映射方法，其特征在于，所述方法还包括扫描所述客体的面部特征部位，以生成所述面部结构数据，所述面部特征部位包括所述面部的五官部位及非五官部位中的至少一者。
16.根据权利要求15所述的面部动画映射方法，其特征在于，所述方法还包括依据所述面部结构数据建立2D或3D的面部结构网格模型，并针对所述面部结构网格模型进行细化与修正处理，包括针对面部结构网格模型中出现缺失的区域进行网格面片的填充处理，以及针对面部结构网格模型中出现错误的区域进行剔除及重组处理。
17.根据权利要求13所述的面部动画映射方法，其特征在于，所述方法还包括：
根据所述面部结构网格模型的面部肌肉分布特征，将所述面部结构网格模型划分为多个面部肌肉特征区域，并分析所述面部肌肉特征区域中所包含的面部肌肉特征，以生成包含所述面部肌肉特征的所述第二关键点数据；或者根据所述面部结构网格模型的五官特征，将所述面部结构网格模型划分为多个五官特征区域，并分析所述五官特征区域中所包含的五官器官特征，以生成包含所述五官器官特征的所述第二关键点数据。
18.根据权利要求17所述的面部动画映射方法，其特征在于，所述第一关键点数据包含所述虚拟面部模型的面部肌肉特征及/或五官器官特征，且所述方法还包括将包含所述客体的所述面部肌肉特征的所述第二关键点数据与包含所述虚拟面部模型的面部肌肉特征的第一关键点数据对应关联，或将包含所述客体的所述五官器官特征的所述第二关键点数据与包含所述虚拟面部模型的五官器官特征的第一关键点数据对应关联，或将包含所述客体的所述面部肌肉特征的所述第二关键点数据与包含所述虚拟面部模型的五官器官特征的第一关键点数据对应关联，或者将包含所述客体的所述五官器官特征的所述第二关键点数据与包含所述虚拟面部模型的面部肌肉特征的第一关键点数据对应关联。
19.根据权利要求18所述的面部动画映射方法，其特征在于，所述第一关键点数据与所述第二关键点数据之间的映射关系为一对多映射关系，多对一映射关系，或多对多映射关系，所述面部结构网格模型与所述虚拟面部模型之间的映射关系为一对多映射关系，多对一映射关系，或多对多映射关系。
20.根据权利要求17所述的面部动画映射方法，其特征在于，所述方法还包括分析所述面部结构网格模型的物种类型，据以选择根据所述面部结构网格模型的面部肌肉分布特征或者根据所述面部结构网格模型的五官特征中的一者对所述面部结构网格模型进行特征区域的划分。
21.根据权利要求20所述的面部动画映射方法，其特征在于，所述方法还包括提供以手动方式针对所述第二关键点数据进行修正，包括添加、删除、修改所述第二关键点数据。
22.根据权利要求21所述的面部动画映射方法，其特征在于，所述方法还通过实时捕捉所述客体的面部表情以生成多个连续的面部表情数据，分析各所述面部表情数据中的第二关键点数据的位置坐标，以计算所述第二关键点数据于单位时间内的移动距离以及移动方向，据以将所述面部表情数据转换为所述表情驱动数据。
23.根据权利要求22所述的面部动画映射方法，其特征在于，所述方法还包括当判断所述面部结构网格模型与所述虚拟面部模型属于不同物种类型时，依据两者之间的面部特征的主要差异，而针对所计算的所述第二关键点数据于单位时间内的移动距离以及移动方向进行修正。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810030723.4A CN108062783A (zh) | 2018-01-12 | 2018-01-12 | 面部动画映射系统及方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810030723.4A CN108062783A (zh) | 2018-01-12 | 2018-01-12 | 面部动画映射系统及方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN108062783A true CN108062783A (zh) | 2018-05-22 |
Family
ID=62141596
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201810030723.4A Pending CN108062783A (zh) | 2018-01-12 | 2018-01-12 | 面部动画映射系统及方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN108062783A (zh) |
Cited By (15)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108961369A (zh) * | 2018-07-11 | 2018-12-07 | 厦门幻世网络科技有限公司 | 生成3d动画的方法和装置 |
| CN109117770A (zh) * | 2018-08-01 | 2019-01-01 | 吉林盘古网络科技股份有限公司 | 面部动画采集方法、装置及终端设备 |
| CN109191548A (zh) * | 2018-08-28 | 2019-01-11 | 百度在线网络技术（北京）有限公司 | 动画制作方法、装置、设备及存储介质 |
| CN109711335A (zh) * | 2018-12-26 | 2019-05-03 | 北京百度网讯科技有限公司 | 通过人体特征对目标图片进行驱动的方法及装置 |
| CN109773807A (zh) * | 2019-03-04 | 2019-05-21 | 昆山塔米机器人有限公司 | 运动控制方法、机器人 |
| CN110751717A (zh) * | 2019-09-10 | 2020-02-04 | 平安科技（深圳）有限公司 | 虚拟头部模型构建方法、装置、计算机设备及存储介质 |
| CN111460872A (zh) * | 2019-01-18 | 2020-07-28 | 北京市商汤科技开发有限公司 | 图像处理方法及装置、图像设备及存储介质 |
| CN111651033A (zh) * | 2019-06-26 | 2020-09-11 | 广州虎牙科技有限公司 | 一种人脸的驱动显示方法、装置、电子设备和存储介质 |
| CN112233211A (zh) * | 2020-11-03 | 2021-01-15 | 网易（杭州）网络有限公司 | 动画制作的方法、装置、存储介质及计算机设备 |
| CN112330805A (zh) * | 2020-11-25 | 2021-02-05 | 北京百度网讯科技有限公司 | 人脸3d模型生成方法、装置、设备及可读存储介质 |
| CN112435314A (zh) * | 2020-11-30 | 2021-03-02 | 上海米哈游天命科技有限公司 | 一种游戏中的防穿模方法、装置、电子设备及存储介质 |
| CN112927331A (zh) * | 2021-03-31 | 2021-06-08 | 腾讯科技（深圳）有限公司 | 角色模型的动画生成方法和装置、存储介质及电子设备 |
| CN113095111A (zh) * | 2019-12-23 | 2021-07-09 | 深圳云天励飞技术有限公司 | 人脸图像对比方法及相关装置 |
| CN115079979A (zh) * | 2022-06-17 | 2022-09-20 | 北京字跳网络技术有限公司 | 一种虚拟角色驱动方法、装置、设备及存储介质 |
| WO2024098685A1 (zh) * | 2022-11-07 | 2024-05-16 | 广州趣丸网络科技有限公司 | 虚拟人物面部驱动方法、装置、终端设备和可读存储介质 |
Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101393599A (zh) * | 2007-09-19 | 2009-03-25 | 中国科学院自动化研究所 | 一种基于人脸表情的游戏角色控制方法 |
| US20090153554A1 (en) * | 2007-12-17 | 2009-06-18 | Electronics And Telecommunications Research Institute | Method and system for producing 3D facial animation |
| CN101739709A (zh) * | 2009-12-24 | 2010-06-16 | 四川大学 | 一种三维人脸动画的控制方法 |
| US9104908B1 (en) * | 2012-05-22 | 2015-08-11 | Image Metrics Limited | Building systems for adaptive tracking of facial features across individuals and groups |
| CN105374055A (zh) * | 2014-08-20 | 2016-03-02 | 腾讯科技（深圳）有限公司 | 图像处理方法及装置 |
| CN105974479A (zh) * | 2016-06-30 | 2016-09-28 | 恒泰艾普（北京）能源科技研究院有限公司 | Gpu空间网格体的层析2d/3d各向异性深度域速度建模方法 |
| CN106667496A (zh) * | 2017-02-10 | 2017-05-17 | 广州帕克西软件开发有限公司 | 一种面部数据测量方法及装置 |
| CN106919906A (zh) * | 2017-01-25 | 2017-07-04 | 迈吉客科技（北京）有限公司 | 一种图像互动方法及互动装置 |
-
2018
- 2018-01-12 CN CN201810030723.4A patent/CN108062783A/zh active Pending
Patent Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101393599A (zh) * | 2007-09-19 | 2009-03-25 | 中国科学院自动化研究所 | 一种基于人脸表情的游戏角色控制方法 |
| US20090153554A1 (en) * | 2007-12-17 | 2009-06-18 | Electronics And Telecommunications Research Institute | Method and system for producing 3D facial animation |
| CN101739709A (zh) * | 2009-12-24 | 2010-06-16 | 四川大学 | 一种三维人脸动画的控制方法 |
| US9104908B1 (en) * | 2012-05-22 | 2015-08-11 | Image Metrics Limited | Building systems for adaptive tracking of facial features across individuals and groups |
| CN105374055A (zh) * | 2014-08-20 | 2016-03-02 | 腾讯科技（深圳）有限公司 | 图像处理方法及装置 |
| CN105974479A (zh) * | 2016-06-30 | 2016-09-28 | 恒泰艾普（北京）能源科技研究院有限公司 | Gpu空间网格体的层析2d/3d各向异性深度域速度建模方法 |
| CN106919906A (zh) * | 2017-01-25 | 2017-07-04 | 迈吉客科技（北京）有限公司 | 一种图像互动方法及互动装置 |
| CN106667496A (zh) * | 2017-02-10 | 2017-05-17 | 广州帕克西软件开发有限公司 | 一种面部数据测量方法及装置 |
Cited By (23)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108961369A (zh) * | 2018-07-11 | 2018-12-07 | 厦门幻世网络科技有限公司 | 生成3d动画的方法和装置 |
| CN108961369B (zh) * | 2018-07-11 | 2023-03-17 | 厦门黑镜科技有限公司 | 生成3d动画的方法和装置 |
| CN109117770A (zh) * | 2018-08-01 | 2019-01-01 | 吉林盘古网络科技股份有限公司 | 面部动画采集方法、装置及终端设备 |
| CN109191548A (zh) * | 2018-08-28 | 2019-01-11 | 百度在线网络技术（北京）有限公司 | 动画制作方法、装置、设备及存储介质 |
| CN109711335A (zh) * | 2018-12-26 | 2019-05-03 | 北京百度网讯科技有限公司 | 通过人体特征对目标图片进行驱动的方法及装置 |
| CN111460872A (zh) * | 2019-01-18 | 2020-07-28 | 北京市商汤科技开发有限公司 | 图像处理方法及装置、图像设备及存储介质 |
| CN111460872B (zh) * | 2019-01-18 | 2024-04-16 | 北京市商汤科技开发有限公司 | 图像处理方法及装置、图像设备及存储介质 |
| CN109773807A (zh) * | 2019-03-04 | 2019-05-21 | 昆山塔米机器人有限公司 | 运动控制方法、机器人 |
| CN109773807B (zh) * | 2019-03-04 | 2024-03-12 | 苏州塔米机器人有限公司 | 运动控制方法、机器人 |
| CN111651033B (zh) * | 2019-06-26 | 2024-03-05 | 广州虎牙科技有限公司 | 一种人脸的驱动显示方法、装置、电子设备和存储介质 |
| CN111651033A (zh) * | 2019-06-26 | 2020-09-11 | 广州虎牙科技有限公司 | 一种人脸的驱动显示方法、装置、电子设备和存储介质 |
| CN110751717A (zh) * | 2019-09-10 | 2020-02-04 | 平安科技（深圳）有限公司 | 虚拟头部模型构建方法、装置、计算机设备及存储介质 |
| CN113095111A (zh) * | 2019-12-23 | 2021-07-09 | 深圳云天励飞技术有限公司 | 人脸图像对比方法及相关装置 |
| CN113095111B (zh) * | 2019-12-23 | 2024-03-26 | 深圳云天励飞技术有限公司 | 人脸图像对比方法及相关装置 |
| CN112233211B (zh) * | 2020-11-03 | 2024-04-09 | 网易（杭州）网络有限公司 | 动画制作的方法、装置、存储介质及计算机设备 |
| CN112233211A (zh) * | 2020-11-03 | 2021-01-15 | 网易（杭州）网络有限公司 | 动画制作的方法、装置、存储介质及计算机设备 |
| CN112330805B (zh) * | 2020-11-25 | 2023-08-08 | 北京百度网讯科技有限公司 | 人脸3d模型生成方法、装置、设备及可读存储介质 |
| CN112330805A (zh) * | 2020-11-25 | 2021-02-05 | 北京百度网讯科技有限公司 | 人脸3d模型生成方法、装置、设备及可读存储介质 |
| CN112435314A (zh) * | 2020-11-30 | 2021-03-02 | 上海米哈游天命科技有限公司 | 一种游戏中的防穿模方法、装置、电子设备及存储介质 |
| CN112927331B (zh) * | 2021-03-31 | 2023-09-22 | 腾讯科技（深圳）有限公司 | 角色模型的动画生成方法和装置、存储介质及电子设备 |
| CN112927331A (zh) * | 2021-03-31 | 2021-06-08 | 腾讯科技（深圳）有限公司 | 角色模型的动画生成方法和装置、存储介质及电子设备 |
| CN115079979A (zh) * | 2022-06-17 | 2022-09-20 | 北京字跳网络技术有限公司 | 一种虚拟角色驱动方法、装置、设备及存储介质 |
| WO2024098685A1 (zh) * | 2022-11-07 | 2024-05-16 | 广州趣丸网络科技有限公司 | 虚拟人物面部驱动方法、装置、终端设备和可读存储介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN108062783A (zh) | 面部动画映射系统及方法 | |
| CN110599605B (zh) | 图像处理方法及装置、电子设备和计算机可读存储介质 | |
| CN105142534B (zh) | 用于规划毛发移植的系统和方法 | |
| JP6785282B2 (ja) | アバタによる生放送方法及び装置 | |
| CN107248195A (zh) | 一种增强现实的主播方法、装置和系统 | |
| CN107274466A (zh) | 一种实时全身动作捕捉的方法、装置和系统 | |
| US7239321B2 (en) | Static and dynamic 3-D human face reconstruction | |
| CN105096372B (zh) | 视频数据和三维模型数据的同步视图 | |
| CN109410298B (zh) | 一种虚拟模型的制作方法及表情变化方法 | |
| CN106910247A (zh) | 用于生成三维头像模型的方法和装置 | |
| CN105427385A (zh) | 一种基于多层形变模型的高保真人脸三维重建方法 | |
| AU2019309552B2 (en) | Method and data-processing system for synthesizing images | |
| CN107274465A (zh) | 一种虚拟现实的主播方法、装置和系统 | |
| CN112734946B (zh) | 一种声乐表演教学方法及系统 | |
| CN108288300A (zh) | 人体动作捕捉与骨骼数据映射系统及其方法 | |
| US20220092840A1 (en) | Systems and Methods for Generating a Skull Surface for Computer Animation | |
| CN106910251A (zh) | 基于ar和移动终端的模型仿真方法 | |
| CN107833503A (zh) | 配网核心作业增强现实仿真培训系统 | |
| CN111489426A (zh) | 表情生成方法、装置、设备和存储介质 | |
| CN103150743B (zh) | 图像生成方法以及图像生成装置 | |
| CN113470148A (zh) | 表情动画制作方法及装置、存储介质、计算机设备 | |
| Hou et al. | Real-time markerless facial motion capture of personalized 3D real human research | |
| CN110610533A (zh) | 一种基于人脸三维网格模型进行表情捕捉的方法和设备 | |
| Huang et al. | A process for the semi-automated generation of life-sized, interactive 3D character models for holographic projection | |
| US11410370B1 (en) | Systems and methods for computer animation of an artificial character using facial poses from a live actor |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20180522 |
|
| RJ01 | Rejection of invention patent application after publication |