CN110610533A - 一种基于人脸三维网格模型进行表情捕捉的方法和设备 - Google Patents

一种基于人脸三维网格模型进行表情捕捉的方法和设备 Download PDF

Info

Publication number
CN110610533A
CN110610533A CN201910725608.3A CN201910725608A CN110610533A CN 110610533 A CN110610533 A CN 110610533A CN 201910725608 A CN201910725608 A CN 201910725608A CN 110610533 A CN110610533 A CN 110610533A
Authority
CN
China
Prior art keywords
dimensional
model
real
eyeball
simulated
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910725608.3A
Other languages
English (en)
Other versions
CN110610533B (zh
Inventor
徐博
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Chongqing Lingling Mutual Entertainment Technology Co Ltd
Original Assignee
Chongqing Lingling Mutual Entertainment Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Chongqing Lingling Mutual Entertainment Technology Co Ltd filed Critical Chongqing Lingling Mutual Entertainment Technology Co Ltd
Priority to CN201910725608.3A priority Critical patent/CN110610533B/zh
Publication of CN110610533A publication Critical patent/CN110610533A/zh
Application granted granted Critical
Publication of CN110610533B publication Critical patent/CN110610533B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T13/00—Animation
    • G06T13/20—3D [Three Dimensional] animation
    • G06T13/40—3D [Three Dimensional] animation of characters, e.g. humans, animals or virtual beings
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G06V40/166—Detection; Localisation; Normalisation using acquisition arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/174—Facial expression recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Ophthalmology & Optometry (AREA)
  • Processing Or Creating Images (AREA)

Abstract

本发明公开了一种基于人脸三维网格模型进行表情捕捉的方法和设备，该方法包括：对真实人脸进行实时扫描，生成与所述真实人脸对应的三维网格模型；在所述三维网格模型的眼部区域添加拟真三维眼球；在所述三维网格模型的嘴部区域添加拟真三维口腔；基于所述实时扫描捕捉所述真实人脸中产生表情变化的序列帧；根据所述序列帧对应的网格顶点信息集合使所述三维网格模型产生所述表情变化，通过实时捕捉真实人脸的表情变化并使对应的人脸三维网格模型产生该表情变化，并添加拟真三维眼球和拟真三维口腔，从而使人脸表情捕捉的效果更加丰富和逼真，提高了使用体验。

Description

一种基于人脸三维网格模型进行表情捕捉的方法和设备
技术领域
本发明涉及三维人脸重建技术领域，特别涉及一种基于人脸三维网格模型进行表情捕捉的方法和设备。
背景技术
随着计算机领域的高速发展，三维人脸重建的应用领域非常广泛，可以用于影视动漫、医学图形、人脸识别、虚拟试发、虚拟试衣等。其中，人脸表情是一种重要的交流方式，能够直观明了地表达主人公的喜怒哀乐等思想感情，人脸表情的捕捉具有重要的应用价值和理论意义。
目前的多数表情捕捉技术，都是映射在已经预制好的模型上，而不是扫描出来的真实人脸，并且，能够捕捉并映射到模型脸部的表情动作较少，只能做出简单的表情动作。
发明内容
本发明提供一种基于人脸三维网格模型进行表情捕捉的方法，用以解决现有技术中无法对扫描出的真实人脸进行表情捕捉，且捕捉的表情动作较少和过于简单的技术问题，该方法包括：
对真实人脸进行实时扫描，生成与所述真实人脸对应的三维网格模型；
在所述三维网格模型的眼部区域添加拟真三维眼球；
在所述三维网格模型的嘴部区域添加拟真三维口腔；
基于所述实时扫描捕捉所述真实人脸中产生表情变化的序列帧；
根据所述序列帧对应的网格顶点信息集合使所述三维网格模型产生所述表情变化。
优选的，在所述三维网格模型的眼部区域添加拟真三维眼球，具体为：
识别所述眼部区域；
根据所述眼部区域去除所述三维网格模型中眼球部位的三角面的信息；
根据人脸五官特征制作拟真三维眼球，其中，所述拟真三维眼球包括左拟真三维眼球和右拟真三维眼球；
将所述拟真三维眼球放置于所述眼部区域；
基于所述拟真三维眼球制作漏斗形网格模型；
将所述漏斗形网格模型焊接在所述眼部区域。
优选的，在所述三维网格模型的嘴部区域添加拟真三维口腔，具体为：
识别所述嘴部区域；
基于所述嘴部区域确定嘴唇边缘；
根据所述人脸五官特征制作拟真三维口腔，其中，所述拟真三维口腔包括：拟真内部口腔模型及贴图、牙齿模型及贴图和舌头模型及贴图；
将所述拟真三维口腔放置于所述嘴部区域；
对所述拟真三维口腔的边缘与所述嘴唇边缘进行缝合绑定后制作所述嘴部区域的融合变形顶点动画；
将所述融合变形顶点动画应用于所述三维网格模型。
优选的，基于所述实时扫描捕捉所述真实人脸中产生表情变化的序列帧，具体为：
基于所述实时扫描捕捉所述真实人脸的所述表情变化；
根据所述表情变化确定多个单帧图像；
将多个所述单帧图像按时间顺序排列后生成所述序列帧。
优选的，根据所述序列帧对应的网格顶点信息集合使所述三维网格模型产生所述表情变化，具体为：
将多个所述单帧图像对应的网格顶点信息按照所述时间顺序进行压缩存储，获取所述网格顶点信息集合；
根据所述网格顶点信息集合对所述三维网格模型的网格信息进行更新，获取待播放序列帧；
将所述待播放序列帧在所述三维网格模型上逐帧播放产生所述表情变化。
相应地，本发明还提出了一种基于人脸三维网格模型进行表情捕捉的设备，其特征在于，所述设备包括：
生成模块，用于对真实人脸进行实时扫描，生成与所述真实人脸对应的三维网格模型；
第一添加模块，用于在所述三维网格模型的眼部区域添加拟真三维眼球；
第二添加模块，用于在所述三维网格模型的嘴部区域添加拟真三维口腔；
捕捉模块，用于基于所述实时扫描捕捉所述真实人脸中产生表情变化的序列帧；
产生模块，用于根据所述序列帧对应的网格顶点信息集合使所述三维网格模型产生所述表情变化。
优选的，所述第一添加模块，具体用于：
识别所述眼部区域；
根据所述眼部区域去除所述三维网格模型中眼球部位的三角面的信息；
根据人脸五官特征制作拟真三维眼球，其中，所述拟真三维眼球包括左拟真三维眼球和右拟真三维眼球；
将所述拟真三维眼球放置于所述眼部区域；
基于所述拟真三维眼球制作漏斗形网格模型；
将所述漏斗形网格模型焊接在所述眼部区域。
优选的，所述第二添加模块，具体用于：
识别所述嘴部区域；
基于所述嘴部区域确定嘴唇边缘；
根据所述人脸五官特征制作拟真三维口腔，其中，所述拟真三维口腔包括：拟真内部口腔模型及贴图、牙齿模型及贴图和舌头模型及贴图；
将所述拟真三维口腔放置于所述嘴部区域；
对所述拟真三维口腔的边缘与所述嘴唇边缘进行缝合绑定后制作所述嘴部区域的融合变形顶点动画；
将所述融合变形顶点动画应用于所述三维网格模型。
优选的，所述捕捉模块，具体用于：
基于所述实时扫描捕捉所述真实人脸的所述表情变化；
根据所述表情变化确定多个单帧图像；
将多个所述单帧图像按时间顺序排列后生成所述序列帧。
优选的，所述产生模块，具体用于：
将多个所述单帧图像对应的网格顶点信息按照所述时间顺序进行压缩存储，获取所述网格顶点信息集合；
根据所述网格顶点信息集合对所述三维网格模型的网格信息进行更新，获取待播放序列帧；
将所述待播放序列帧在所述三维网格模型上逐帧播放产生所述表情变化。
与现有技术对比，本发明具备以下有益效果：
本发明公开了一种基于人脸三维网格模型进行表情捕捉的方法和设备，该方法包括：对真实人脸进行实时扫描，生成与所述真实人脸对应的三维网格模型；在所述三维网格模型的眼部区域添加拟真三维眼球；在所述三维网格模型的嘴部区域添加拟真三维口腔；基于所述实时扫描捕捉所述真实人脸中产生表情变化的序列帧；根据所述序列帧对应的网格顶点信息集合使所述三维网格模型产生所述表情变化，通过实时捕捉真实人脸的表情变化并使对应的人脸三维网格模型产生该表情变化，并添加拟真三维眼球和拟真三维口腔，从而使人脸表情捕捉的效果更加丰富和逼真，提高了使用体验。
附图说明
图1为本发明实施例提出的一种基于人脸三维网格模型进行表情捕捉的方法的流程示意图；
图2为本发明实施例中人脸三维网格模型示意图；
图3为本发明实施例中表情捕捉的效果示意图；
图4为本发明实施例中拟真三维眼球示意图；
图5为本发明实施例中基于拟真三维眼球制作的漏斗形网格模型示意图；
图6为本发明实施例中基于眼球的表情捕捉效果示意图；
图7为本发明实施例中人脸合成贴图与口腔贴图示意图；
图8为本发明实施例中基于嘴部的表情捕捉效果示意图；
图9为本发明实施例中嘴部表情捕捉局部放大效果示意图；
图10为本发明实施例提出的一种基于人脸三维网格模型进行表情捕捉的设备的结构示意图。
具体实施方式
如背景技术所述，现有技术中无法对扫描出的真实人脸进行表情捕捉，且捕捉的表情动作较少和过于简单。
为解决上述问题，本申请实施例提出了基于人脸三维网格模型进行表情捕捉的方法，通过实时捕捉真实人脸的表情变化并使对应的人脸三维网格模型产生该表情变化，并添加拟真三维眼球和拟真三维口腔，从而使人脸表情捕捉的效果更加丰富和逼真。
如图1所示本发明实施例提出的一种基于人脸三维网格模型进行表情捕捉的方法的流程示意图，该方法包括以下步骤：
S101，对真实人脸进行实时扫描，生成与所述真实人脸对应的三维网格模型。
具体的，对真实人脸进行实时扫描生成对应的三维网格模型，如图2所示为本发明实施例中人脸三维网格模型示意图，其中，可通过扫描设备进行实时扫描，扫描设备可以为相机、扫描仪等，不同的扫描设备并不影响本申请的保护范围。
S102，在所述三维网格模型的眼部区域添加拟真三维眼球。
具体的，由于三维网格模型中的眼球无法表现丰富的表情，因此需要制作拟真三维眼球，并将其添加到三维网格模型的眼部区域。
为保证正确添加拟真三维眼球，在本申请的优选实施例中，在所述三维网格模型的眼部区域添加拟真三维眼球，具体为：
识别所述眼部区域；
根据所述眼部区域去除所述三维网格模型中眼球部位的三角面的信息；
根据人脸五官特征制作拟真三维眼球，其中，所述拟真三维眼球包括左拟真三维眼球和右拟真三维眼球；
将所述拟真三维眼球放置于所述眼部区域；
基于所述拟真三维眼球制作漏斗形网格模型；
将所述漏斗形网格模型焊接在所述眼部区域。
具体的，首先识别三维网格模型的眼部区域，去除其中眼球部位的三角面的信息，以便后续进行眼球添加；再根据人脸五官特征制作左、右两个拟真三维眼球，其中人脸五官特征可以为黄种人的五官特征；再将两个拟真三维眼球放置在模型的眼部区域，由于拟真眼球此时会遮盖眼部区域，为了避免遮盖，需要基于拟真三维眼球制作漏斗形网格模型，其中漏斗形网格模型的制作的具体过程为现有技术，在此不再赘述；最后将漏斗形网格模型焊接在眼部区域，其中焊接的具体过程为现有技术，在此不再赘述。
需要说明的是，以上优选实施例的方案仅为本申请所提出的一种具体实现方案，其他在所述三维网格模型的眼部区域添加拟真三维眼球的方式均属于本申请的保护范围。
S103，在所述三维网格模型的嘴部区域添加拟真三维口腔。
具体的，由于无法获得三维网格模型的嘴部的口腔内部的网格信息，当模型的嘴部开合时，其内部口腔会是空的，因此需要在三维网格模型的嘴部区域添加拟真三维口腔。
为保证正确添加拟真三维口腔，在本申请的优选实施例中，在所述三维网格模型的嘴部区域添加拟真三维口腔，具体为：
识别所述嘴部区域；
基于所述嘴部区域确定嘴唇边缘；
根据所述人脸五官特征制作拟真三维口腔，其中，所述拟真三维口腔包括：拟真内部口腔模型及贴图、牙齿模型及贴图和舌头模型及贴图；
将所述拟真三维口腔放置于所述嘴部区域；
对所述拟真三维口腔的边缘与所述嘴唇边缘进行缝合绑定后制作所述嘴部区域的融合变形顶点动画；
将所述融合变形顶点动画应用于所述三维网格模型。
具体的，首先识别三维网格模型的嘴部区域，确定其嘴唇边缘，以便后续缝合操作；再根据人脸五官特征制作拟真三维口腔，包括拟真内部口腔模型及贴图、牙齿模型及贴图和舌头模型及贴图，其中人脸五官特征可以为黄种人的五官特征；再将拟真三维口腔放置于嘴部区域，对拟真三维口腔的边缘与嘴唇边缘进行缝合绑定，其中缝合绑定的具体过程为现有技术，在此不再赘述；在根据缝合绑定的结果制作嘴部区域的融合变形顶点动画；最后将该融合变形顶点动画应用在所述三维网格模型，以便在三维网格模型的嘴部动作时带动口腔内部的网格顶点变化。
需要说明的是，以上优选实施例的方案仅为本申请所提出的一种具体实现方案，其他在所述三维网格模型的嘴部区域添加拟真三维口腔的方式均属于本申请的保护范围。
S104，基于所述实时扫描捕捉所述真实人脸中产生表情变化的序列帧。
具体的，通过对真实人脸进行实时扫描，当真实人脸中产生表情变化时，捕捉该表情变化对应的序列帧。
为有效捕捉真实人脸中产生表情变化的序列帧，在本申请的优选实施例中，基于所述实时扫描捕捉所述真实人脸中产生表情变化的序列帧，具体为：
基于所述实时扫描捕捉所述真实人脸的所述表情变化；
根据所述表情变化确定多个单帧图像；
将多个所述单帧图像按时间顺序排列后生成所述序列帧。
具体的，通过对真实人脸进行实时扫描，捕捉真实人脸中的表情变化，该表情变化中包括多个单帧图像，将多个单帧图像按时间顺序排列后可生成该序列帧。
需要说明的是，以上优选实施例的方案仅为本申请所提出的一种具体实现方案，其他基于所述实时扫描捕捉所述真实人脸中产生表情变化的序列帧的方式均属于本申请的保护范围。
S105，根据所述序列帧对应的网格顶点信息集合使所述三维网格模型产生所述表情变化。
具体的，由于三维网格模型的表情变化时基于模型中网格信息变化的，因此确定步骤S104中捕捉到的序列帧对应的网格顶点信息集合，根据网格顶点信息集合使三维网格模型产生所述表情变化。
为使三维网格模型产生准确的表情变化，在本申请的优选实施例中，根据所述序列帧对应的网格顶点信息集合使所述三维网格模型产生所述表情变化，具体为：
将多个所述单帧图像对应的网格顶点信息按照所述时间顺序进行压缩存储，获取所述网格顶点信息集合；
根据所述网格顶点信息集合对所述三维网格模型的网格信息进行更新，获取待播放序列帧；
将所述待播放序列帧在所述三维网格模型上逐帧播放产生所述表情变化。
具体的，序列帧中包括多个单帧图像，将多个单帧图像的网格顶点信息按时间顺序进行压缩存储，从而获取网格顶点信息集合，再根据该网格顶点信息集合对三维网格模型的网格信息进行更新，获取待播放序列帧，最后将该待播放序列帧在三维网格模型上逐帧播放，使三维网格模型产生与真实人脸对应的表情变化。
需要说明的是，以上优选实施例的方案仅为本申请所提出的一种具体实现方案，其他根据所述序列帧对应的网格顶点信息集合使所述三维网格模型产生所述表情变化的方式均属于本申请的保护范围。
通过应用以上技术方案，对真实人脸进行实时扫描，生成与所述真实人脸对应的三维网格模型；在所述三维网格模型的眼部区域添加拟真三维眼球；在所述三维网格模型的嘴部区域添加拟真三维口腔；基于所述实时扫描捕捉所述真实人脸中产生表情变化的序列帧；根据所述序列帧对应的网格顶点信息集合使所述三维网格模型产生所述表情变化，通过实时捕捉真实人脸的表情变化并使对应的人脸三维网格模型产生该表情变化，并添加拟真三维眼球和拟真三维口腔，从而使人脸表情捕捉的效果更加丰富和逼真，提高了使用体验。
为了进一步阐述本发明的技术思想，现结合具体的应用场景，对本发明的技术方案进行说明。
本发明实施例提出了一种基于人脸三维网格模型进行表情捕捉的方法，如图2所示，扫描并生成与目标真实人脸对应的人脸三维网格模型，基于该模型进行表情捕捉，通过相机等扫描设备实时扫描目标真实人脸并进行三维人脸建模，生成对应的人脸三维网格模型，基于实时扫描实时捕捉目标真实人脸的表情，并将捕捉到的表情映射到所述模型上，达到让人脸三维网格模型的表情与目标真实人脸的表情保持同步的效果，从而能够生动完美地映射目标真实人脸上的复杂表情，并且通过制作拟真三维眼球和拟真三维口腔，让脸部表情捕捉达到无限制和完全的自由性，因此效果更逼真，体验更好。
上述方法具体步骤如下：
1)表情捕捉
第一步，通过相机等扫描设备实时扫描目标真实人脸，获取与目标真实人脸对应的人脸三维网格模型。
第二步，当目标真实人脸产生了表情变化，基于所述实时扫描捕捉该表情变化对应的序列帧，将序列帧中单帧图像的网格Mesh信息按时间顺序压缩存储，具体的可利用LZMA(Lempel-Ziv-Markov chain-Algorithm，LZMA数据压缩算法)压缩算法进行压缩。
第三步，基于压缩存储的Mesh信息对人脸三维网格模型的Mesh信息更新后生成待播放序列帧，将待播放序列帧在人脸三维网格模型上逐帧播放使人脸三维网格模型产生对应的表情变化，如图3所示为本发明实施例中表情捕捉的效果示意图。
在此需要说明的是，上述播放为实时播放，即当目标真实人脸产生了表情变化，可立即在人脸三维网格模型上呈现。
2)眼球表情捕捉
第一步，通过识别人脸三维网格模型的眼部区域，去除人脸三维网格模型中眼球部位的三角面的信息。
第二步，根据人脸五官特征，制作左右眼两个拟真三维眼球，人脸三维网格模型的眼部区域。其中，拟真三维眼球可使用3D MAX软件制作，然后再制作对应的眼球贴图，再一起导入到Unity工程中，如图4所示为本发明实施例中拟真三维眼球示意图。
第三步，由于拟真眼球在人脸三维网格模型的眼部区域时会遮盖眼部区域，因此基于拟真三维眼球制作漏斗形网格模型，并将漏斗形网格模型焊接在眼部区域。其中漏斗形网格模型的制作的具体过程为现有技术，在此不再赘述。如图5所示为本发明实施例中基于拟真三维眼球制作的漏斗形网格模型示意图。
第四步，独立获取左右两个眼球的信息，当目标真实人脸中的眼球产生了表情变化，捕捉该表情变化对应的序列帧，将序列帧中单帧图像的网格Mesh信息按时间顺序压缩存储。
第五步，基于压缩存储的Mesh信息对拟真三维眼球的Mesh信息更新后生成待播放序列帧，将待播放序列帧在人脸三维网格模型上逐帧播放使人脸三维网格模型上眼球产生对应的表情变化。如图6所示为本发明实施例中基于眼球的表情捕捉效果示意图。
3)嘴部表情捕捉
第一步，通过识别人脸三维网格模型的嘴部区域，获取嘴唇轮廓。
第二步，根据人脸五官特征，制作拟真三维口腔，包括拟真的内部口腔、牙齿、舌头的模型及贴图，如图7所示为本发明实施例中人脸合成贴图与口腔贴图示意图，再将拟真三维口腔放置于人脸三维网格模型的嘴部区域，并将拟真三维口腔的边缘与人脸三维网格模型的嘴唇边缘缝合绑定。
第二步，缝合绑定后导出一个完整的三维网格模型作为参考头，基于该参考头制作嘴部区域的融合变形blendshape顶点动画，将该blendshape顶点动画复制到人脸三维网格模型。
第三步，当目标真实人脸中的嘴部产生了表情变化，捕捉该表情变化对应的序列帧，将序列帧中单帧图像的网格Mesh信息按时间顺序压缩存储。
第四步，基于压缩存储的Mesh信息对拟真三维口腔的Mesh信息更新后生成待播放序列帧，将待播放序列帧在人脸三维网格模型上逐帧播放使人脸三维网格模型上嘴部产生对应的表情变化，同时基于blendshape顶点动画带动口腔内部、牙齿及舌头产生对应的变化。如图8所示为本发明实施例中基于嘴部的表情捕捉效果示意图，如图9所示为本发明实施例中嘴部表情捕捉局部放大效果示意图。
需要说明的是，模型表情捕捉是根据真人脸部表情的变化信息去跟着变化，嘴巴部分也是根据真人嘴唇的变化信息去带动模型的嘴唇变化，但嘴巴的口腔部分由于是拟真的，无法捕捉真人口腔内部的信息，若不放入拟真三维口腔模，那么当模型跟随真人嘴巴开合时，模型的口腔会是空的，也没有牙齿和舌头，因此捕捉嘴部表情时需要多做一步就是缝合绑定一个拟真三维口腔，根据嘴唇的变化，也会带动内部口腔的网格顶点变化。
通过应用以上技术方案，通过扫描目标真实人脸生成与对应的人脸三维网格模型，并通过实时扫描进行实时表情捕捉，人脸三维网格模型可以根据目标真实人脸的脸部表情动作进行实时、同步、无延迟的表情播放，达到所见即所得的效果，运算速度快、稳定、体验好，同时赋予灵活的眼球和嘴巴内部口腔，使表情捕捉的更多样化，更具自由性。
为了达到以上技术目的，本申请实施例还提出了一种基于人脸三维网格模型进行表情捕捉的设备，如图10所示，所述设备包括：
生成模块201，用于对真实人脸进行实时扫描，生成与所述真实人脸对应的三维网格模型；
第一添加模块202，用于在所述三维网格模型的眼部区域添加拟真三维眼球；
第二添加模块203，用于在所述三维网格模型的嘴部区域添加拟真三维口腔；
捕捉模块204，用于基于所述实时扫描捕捉所述真实人脸中产生表情变化的序列帧；
产生模块205，用于根据所述序列帧对应的网格顶点信息集合使所述三维网格模型产生所述表情变化。
在具体的应用场景中，所述第一添加模块202，具体用于：
识别所述眼部区域；
根据所述眼部区域去除所述三维网格模型中眼球部位的三角面的信息；
根据人脸五官特征制作拟真三维眼球，其中，所述拟真三维眼球包括左拟真三维眼球和右拟真三维眼球；
将所述拟真三维眼球放置于所述眼部区域；
基于所述拟真三维眼球制作漏斗形网格模型；
将所述漏斗形网格模型焊接在所述眼部区域。
在具体的应用场景中，所述第二添加模块203，具体用于：
识别所述嘴部区域；
基于所述嘴部区域确定嘴唇边缘；
根据所述人脸五官特征制作拟真三维口腔，其中，所述拟真三维口腔包括：拟真内部口腔模型及贴图、牙齿模型及贴图和舌头模型及贴图；
将所述拟真三维口腔放置于所述嘴部区域；
对所述拟真三维口腔的边缘与所述嘴唇边缘进行缝合绑定后制作所述嘴部区域的融合变形顶点动画；
将所述融合变形顶点动画应用于所述三维网格模型。
在具体的应用场景中，所述捕捉模块204，具体用于：
基于所述实时扫描捕捉所述真实人脸的所述表情变化；
根据所述表情变化确定多个单帧图像；
将多个所述单帧图像按时间顺序排列后生成所述序列帧。
在具体的应用场景中，所述产生模块205，具体用于：
将多个所述单帧图像对应的网格顶点信息按照所述时间顺序进行压缩存储，获取所述网格顶点信息集合；
根据所述网格顶点信息集合对所述三维网格模型的网格信息进行更新，获取待播放序列帧；
将所述待播放序列帧在所述三维网格模型上逐帧播放产生所述表情变化。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到本发明可以通过硬件实现，也可以借助软件加必要的通用硬件平台的方式来实现。基于这样的理解，本发明的技术方案可以以软件产品的形式体现出来，该软件产品可以存储在一个非易失性存储介质(可以是CD-ROM，U盘，移动硬盘等)中，包括以若干指令的形式使一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施场景所述的方法。
本领域技术人员可以理解附图只是一个优选实施场景的示意图，附图中的模块或流程并不一定是实施本发明所必须的。
本领域技术人员可以理解装置中的模块可以按照实施场景描述分布于实施场景的装置中，也可以进行相应变化位于不同于本实施场景的一个或多个装置中。上述实施场景的模块可以合并为一个模块，也可以进一步拆分成多个子模块。
上述本发明序号仅仅为了描述，不代表实施场景的优劣。
以上公开的仅为本发明的几个具体实施场景，但是，本发明并非局限于此，任何本领域的技术人员能思之的变化都应落入本发明的保护范围。

Claims (10)

1.一种基于人脸三维网格模型进行表情捕捉的方法，其特征在于，所述方法包括：
对真实人脸进行实时扫描，生成与所述真实人脸对应的三维网格模型；
在所述三维网格模型的眼部区域添加拟真三维眼球；
在所述三维网格模型的嘴部区域添加拟真三维口腔；
基于所述实时扫描捕捉所述真实人脸中产生表情变化的序列帧；
根据所述序列帧对应的网格顶点信息集合使所述三维网格模型产生所述表情变化。
2.如权利要求1所述的方法，其特征在于，在所述三维网格模型的眼部区域添加拟真三维眼球，具体为：
识别所述眼部区域；
根据所述眼部区域去除所述三维网格模型中眼球部位的三角面的信息；
根据人脸五官特征制作拟真三维眼球，其中，所述拟真三维眼球包括左拟真三维眼球和右拟真三维眼球；
将所述拟真三维眼球放置于所述眼部区域；
基于所述拟真三维眼球制作漏斗形网格模型；
将所述漏斗形网格模型焊接在所述眼部区域。
3.如权利要求2所述的方法，其特征在于，在所述三维网格模型的嘴部区域添加拟真三维口腔，具体为：
识别所述嘴部区域；
基于所述嘴部区域确定嘴唇边缘；
根据所述人脸五官特征制作拟真三维口腔，其中，所述拟真三维口腔包括：拟真内部口腔模型及贴图、牙齿模型及贴图和舌头模型及贴图；
将所述拟真三维口腔放置于所述嘴部区域；
对所述拟真三维口腔的边缘与所述嘴唇边缘进行缝合绑定后制作所述嘴部区域的融合变形顶点动画；
将所述融合变形顶点动画应用于所述三维网格模型。
4.如权利要求1所述的方法，其特征在于，基于所述实时扫描捕捉所述真实人脸中产生表情变化的序列帧，具体为：
基于所述实时扫描捕捉所述真实人脸的所述表情变化；
根据所述表情变化确定多个单帧图像；
将多个所述单帧图像按时间顺序排列后生成所述序列帧。
5.如权利要求4所述的方法，其特征在于，根据所述序列帧对应的网格顶点信息集合使所述三维网格模型产生所述表情变化，具体为：
将多个所述单帧图像对应的网格顶点信息按照所述时间顺序进行压缩存储，获取所述网格顶点信息集合；
根据所述网格顶点信息集合对所述三维网格模型的网格信息进行更新，获取待播放序列帧；
将所述待播放序列帧在所述三维网格模型上逐帧播放产生所述表情变化。
6.一种基于人脸三维网格模型进行表情捕捉的设备，其特征在于，所述设备包括：
生成模块，用于对真实人脸进行实时扫描，生成与所述真实人脸对应的三维网格模型；
第一添加模块，用于在所述三维网格模型的眼部区域添加拟真三维眼球；
第二添加模块，用于在所述三维网格模型的嘴部区域添加拟真三维口腔；
捕捉模块，用于基于所述实时扫描捕捉所述真实人脸中产生表情变化的序列帧；
产生模块，用于根据所述序列帧对应的网格顶点信息集合使所述三维网格模型产生所述表情变化。
7.如权利要求6所述的设备，其特征在于，所述第一添加模块，具体用于：
识别所述眼部区域；
根据所述眼部区域去除所述三维网格模型中眼球部位的三角面的信息；
根据人脸五官特征制作拟真三维眼球，其中，所述拟真三维眼球包括左拟真三维眼球和右拟真三维眼球；
将所述拟真三维眼球放置于所述眼部区域；
基于所述拟真三维眼球制作漏斗形网格模型；
将所述漏斗形网格模型焊接在所述眼部区域。
8.如权利要求7所述的设备，其特征在于，所述第二添加模块，具体用于：
识别所述嘴部区域；
基于所述嘴部区域确定嘴唇边缘；
根据所述人脸五官特征制作拟真三维口腔，其中，所述拟真三维口腔包括：拟真内部口腔模型及贴图、牙齿模型及贴图和舌头模型及贴图；
将所述拟真三维口腔放置于所述嘴部区域；
对所述拟真三维口腔的边缘与所述嘴唇边缘进行缝合绑定后制作所述嘴部区域的融合变形顶点动画；
将所述融合变形顶点动画应用于所述三维网格模型。
9.如权利要求6所述的设备，其特征在于，所述捕捉模块，具体用于：
基于所述实时扫描捕捉所述真实人脸的所述表情变化；
根据所述表情变化确定多个单帧图像；
将多个所述单帧图像按时间顺序排列后生成所述序列帧。
10.如权利要求9所述的设备，其特征在于，所述产生模块，具体用于：
将多个所述单帧图像对应的网格顶点信息按照所述时间顺序进行压缩存储，获取所述网格顶点信息集合；
根据所述网格顶点信息集合对所述三维网格模型的网格信息进行更新，获取待播放序列帧；
将所述待播放序列帧在所述三维网格模型上逐帧播放产生所述表情变化。
CN201910725608.3A 2019-08-07 2019-08-07 一种基于人脸三维网格模型进行表情捕捉的方法和设备 Active CN110610533B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910725608.3A CN110610533B (zh) 2019-08-07 2019-08-07 一种基于人脸三维网格模型进行表情捕捉的方法和设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910725608.3A CN110610533B (zh) 2019-08-07 2019-08-07 一种基于人脸三维网格模型进行表情捕捉的方法和设备

Publications (2)

Publication Number Publication Date
CN110610533A true CN110610533A (zh) 2019-12-24
CN110610533B CN110610533B (zh) 2023-06-16

Family

ID=68890498

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910725608.3A Active CN110610533B (zh) 2019-08-07 2019-08-07 一种基于人脸三维网格模型进行表情捕捉的方法和设备

Country Status (1)

Country Link
CN (1) CN110610533B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112150594A (zh) * 2020-09-23 2020-12-29 网易（杭州）网络有限公司 表情制作的方法、装置和电子设备

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003077007A (ja) * 2001-08-31 2003-03-14 Roland Dg Corp ３次元形状データの生成方法
WO2008129021A2 (en) * 2007-04-18 2008-10-30 Gottfried Wilhelm Leibniz Universität Hannover Scalable compression of time-consistend 3d mesh sequences
CN103198508A (zh) * 2013-04-07 2013-07-10 河北工业大学 人脸表情动画生成方法
WO2017026839A1 (ko) * 2015-08-12 2017-02-16 트라이큐빅스 인크. 휴대용 카메라를 이용한 3차원 얼굴 모델 획득 방법 및 장치
WO2018137455A1 (zh) * 2017-01-25 2018-08-02 迈吉客科技（北京）有限公司 一种图像互动方法及互动装置
JP2018149449A (ja) * 2018-07-10 2018-09-27 株式会社トプコン 眼科撮影装置および眼科情報処理装置
WO2019100608A1 (zh) * 2017-11-21 2019-05-31 平安科技（深圳）有限公司 摄像装置、人脸识别的方法、系统及计算机可读存储介质

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003077007A (ja) * 2001-08-31 2003-03-14 Roland Dg Corp ３次元形状データの生成方法
WO2008129021A2 (en) * 2007-04-18 2008-10-30 Gottfried Wilhelm Leibniz Universität Hannover Scalable compression of time-consistend 3d mesh sequences
CN103198508A (zh) * 2013-04-07 2013-07-10 河北工业大学 人脸表情动画生成方法
WO2017026839A1 (ko) * 2015-08-12 2017-02-16 트라이큐빅스 인크. 휴대용 카메라를 이용한 3차원 얼굴 모델 획득 방법 및 장치
WO2018137455A1 (zh) * 2017-01-25 2018-08-02 迈吉客科技（北京）有限公司 一种图像互动方法及互动装置
WO2019100608A1 (zh) * 2017-11-21 2019-05-31 平安科技（深圳）有限公司 摄像装置、人脸识别的方法、系统及计算机可读存储介质
JP2018149449A (ja) * 2018-07-10 2018-09-27 株式会社トプコン 眼科撮影装置および眼科情報処理装置

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
吴晓军等: "一种无标记点人脸表情捕捉与重现算法", 《电子学报》 *
曹宁哲等: "带眼球细节的情感虚拟人面部表情合成", 《计算机应用研究》 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112150594A (zh) * 2020-09-23 2020-12-29 网易（杭州）网络有限公司 表情制作的方法、装置和电子设备
CN112150594B (zh) * 2020-09-23 2023-07-04 网易（杭州）网络有限公司 表情制作的方法、装置和电子设备

Also Published As

Publication number Publication date
CN110610533B (zh) 2023-06-16

Similar Documents

Publication Publication Date Title
US8988436B2 (en) Training system and methods for dynamically injecting expression information into an animated facial mesh
CN107274464A (zh) 一种实时交互3d动画的方法、装置和系统
CN107274466A (zh) 一种实时全身动作捕捉的方法、装置和系统
CN107248195A (zh) 一种增强现实的主播方法、装置和系统
CN107277599A (zh) 一种虚拟现实的直播方法、装置和系统
CN108062783A (zh) 面部动画映射系统及方法
US11393150B2 (en) Generating an animation rig for use in animating a computer-generated character based on facial scans of an actor and a muscle model
CN107274465A (zh) 一种虚拟现实的主播方法、装置和系统
CN112734946A (zh) 一种声乐表演教学方法及系统
WO2022060230A1 (en) Systems and methods for building a pseudo-muscle topology of a live actor in computer animation
CN115331265A (zh) 姿态检测模型的训练方法和数字人的驱动方法、装置
CN110610533B (zh) 一种基于人脸三维网格模型进行表情捕捉的方法和设备
Wang Langwidere: a hierarchical spline based facial animation system with simulated muscles.
US20220076409A1 (en) Systems and Methods for Building a Skin-to-Muscle Transformation in Computer Animation
Huang et al. A process for the semi-automated generation of life-sized, interactive 3D character models for holographic projection
Akinjala et al. Animating human movement & gestures on an agent using Microsoft kinect
US11158103B1 (en) Systems and methods for data bundles in computer animation
US11875504B2 (en) Systems and methods for building a muscle-to-skin transformation in computer animation
US11410370B1 (en) Systems and methods for computer animation of an artificial character using facial poses from a live actor
KR20080050277A (ko) 대규모 가상 군중 동작의 획득 및 편집 방법 및 그 장치
KR20210046964A (ko) 포토그래메트리를 이용한 게임 캐릭터의 생성방법
Ragab Supervised by
EP4211659A1 (en) Systems and methods for building a muscle-to-skin transformation in computer animation
WO2023022606A1 (en) Systems and methods for computer animation of an artificial character using facial poses from a live actor
Coull A physically-based muscle and skin model for facial animation

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant