CN108734757A - 一种声音与表情捕捉实现三维人脸动画的方法 - Google Patents

一种声音与表情捕捉实现三维人脸动画的方法 Download PDF

Info

Publication number
CN108734757A
CN108734757A CN201710244737.1A CN201710244737A CN108734757A CN 108734757 A CN108734757 A CN 108734757A CN 201710244737 A CN201710244737 A CN 201710244737A CN 108734757 A CN108734757 A CN 108734757A
Authority
CN
China
Prior art keywords
expression
model
animation
audio
human face
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201710244737.1A
Other languages
English (en)
Inventor
刘鸿雁
车万毅
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Music Christie Animation Technology Co Ltd
Original Assignee
Beijing Music Christie Animation Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Music Christie Animation Technology Co Ltd filed Critical Beijing Music Christie Animation Technology Co Ltd
Priority to CN201710244737.1A priority Critical patent/CN108734757A/zh
Publication of CN108734757A publication Critical patent/CN108734757A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T13/00—Animation
    • G06T13/20—3D [Three Dimensional] animation
    • G06T13/40—3D [Three Dimensional] animation of characters, e.g. humans, animals or virtual beings
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/174—Facial expression recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2213/00—Indexing scheme for animation
    • G06T2213/12—Rule based animation

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Processing Or Creating Images (AREA)

Abstract

本发明涉及一种声音与表情捕捉实现三维人脸动画的方法，所述方法包括：在三维人脸动画过程中，使用人脸表情捕捉算法判别面部表情；为三维模型建立表情模型；使用音频控制表情幅度；使用录制的音频信息和视频信息共同驱动三维模型生成表情动画。

Description

一种声音与表情捕捉实现三维人脸动画的方法
技术领域
本发明涉及计算机技术领域，尤其是一种声音与表情捕捉实现三维人脸动画的方法。
背景技术
人脸表情是一种重要的交流方式,能够直观明了地表达主人公的喜怒哀乐等思想感情。三维人脸表情动画技术的应用领域非常广泛,如游戏娱乐、电影制作、人机交互、广告制作等等,具有重要的应用价值和理论意义。现有的三维人脸动画技术多采用表演者直接驱动三维模型的方式，需要针对每个表演者建立与三维模型的绑定训练，且在数据采集过程中容易受外界因素的干扰、表演者表情不到位等因素导致驱动效果不理想，降低三维动画制作效率。本发明提出一种声音与表情捕捉实现三维人脸动画的方法，只需要判断出表演者表情分类，通过音频方式辨别表情幅度，能够有效解决以上问题，从而提高三维人脸动画制作效率，降低制作成本。
发明内容
本发明实施例提供了一种声音与表情捕捉实现三维人脸动画的方法，用于提高三维动画制作效率，降低三维动画制作成本。
本发明提出一种声音与表情捕捉实现三维人脸动画的方法，包括：在三维人脸动画过程中，使用人脸表情捕捉算法判别面部表情；为三维模型建立表情模型；使用音频控制表情幅度；使用录制的音频信息和视频信息共同驱动三维模型生成表情动画。
在其中一个实施例中，所述人脸表情捕捉算法判别面部表情包括：将面部表情分成喜怒哀乐悲恐惊七大类，使用表情识别算法计算表演者面部表情。
在其中一个实施例中，所述表情模型包括：使用三维动画制作软件调整三维模型，建立喜怒哀乐悲恐惊七个标准表情模型。
在其中一个实施例中，所述喜怒哀乐悲恐惊七个标准表情模型包括：为每个情绪对应的标准模型建立最大表情模型和最小表情模型，将最小表情模型变换到最大表情模型的过程划分成n级，每一个级别代表对应表情模型的表情幅度。
在其中一个实施例中，所述音频控制表情幅度包括：将表演者音频分贝划分成n级，建立音频分贝级别与所述表情幅度级别的对应关系。
在其中一个实施例中，所述使用录制的音频信息和视频信息共同驱动三维模型生成表情动画包括：录制过程中，采集表演者面部视频及表演者音频信息，使用采集的视频信息及音频信息同时驱动所述三维模型，生成表情动画。
本发明实施例提出的一种声音与表情捕捉实现三维人脸动画的方法，将表演者面部表情分成喜怒哀乐悲恐惊七类，使用面部表情识别算法判别表演者面部表情类型，使用音频控制方式控制表情幅度，有效降低计算量，提高了三维人脸动画制作效率，降低制作成本。

Claims (6)

1.一种声音与表情捕捉实现三维人脸动画的方法，包括：在三维人脸动画过程中，使用人脸表情捕捉算法判别面部表情；为三维模型建立表情模型；使用音频控制表情幅度；使用录制的音频信息和视频信息共同驱动三维模型生成表情动画。
2.根据权利要求1所述的方法，其特征在于，所述人脸表情捕捉算法判别面部表情包括：将面部表情分成喜怒哀乐悲恐惊七大类，使用表情识别算法计算表演者面部表情。
3.根据权利要求1所述的方法，其特征在于，所述表情模型包括：使用三维动画制作软件调整三维模型，建立喜怒哀乐悲恐惊七个标准表情模型。
4.根据权利要求3所述的方法，其特征在于，所述喜怒哀乐悲恐惊七个标准表情模型包括：为每个情绪对应的标准模型建立最大表情模型和最小表情模型，将最小表情模型变换到最大表情模型的过程划分成n级，每一个级别代表对应表情模型的表情幅度。
5.根据权利要求1所述的方法，其特征在于，所述音频控制表情幅度包括：将表演者音频分贝划分成n级，建立音频分贝级别与所述表情幅度级别的对应关系。
6.根据权利要求1所述的方法，其特征在于，所述使用录制的音频信息和视频信息共同驱动三维模型生成表情动画包括：录制过程中，采集表演者面部视频及表演者音频信息，使用采集的视频信息及音频信息同时驱动所述三维模型，生成表情动画。
CN201710244737.1A 2017-04-14 2017-04-14 一种声音与表情捕捉实现三维人脸动画的方法 Pending CN108734757A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710244737.1A CN108734757A (zh) 2017-04-14 2017-04-14 一种声音与表情捕捉实现三维人脸动画的方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710244737.1A CN108734757A (zh) 2017-04-14 2017-04-14 一种声音与表情捕捉实现三维人脸动画的方法

Publications (1)

Publication Number Publication Date
CN108734757A true CN108734757A (zh) 2018-11-02

Family

ID=63924956

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710244737.1A Pending CN108734757A (zh) 2017-04-14 2017-04-14 一种声音与表情捕捉实现三维人脸动画的方法

Country Status (1)

Country Link
CN (1) CN108734757A (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109621418A (zh) * 2018-12-03 2019-04-16 网易（杭州）网络有限公司 一种游戏中虚拟角色的表情调整及制作方法、装置
CN110189404A (zh) * 2019-05-31 2019-08-30 重庆大学 基于真实人脸图像的虚拟面部建模方法
CN112232310A (zh) * 2020-12-09 2021-01-15 中影年年(北京)文化传媒有限公司 一种用于表情捕捉的人脸识别系统和方法
CN113240781A (zh) * 2021-05-20 2021-08-10 东营友帮建安有限公司 基于语音驱动及图像识别的影视动画制作方法、系统

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109621418A (zh) * 2018-12-03 2019-04-16 网易（杭州）网络有限公司 一种游戏中虚拟角色的表情调整及制作方法、装置
CN109621418B (zh) * 2018-12-03 2022-09-30 网易（杭州）网络有限公司 一种游戏中虚拟角色的表情调整及制作方法、装置
CN110189404A (zh) * 2019-05-31 2019-08-30 重庆大学 基于真实人脸图像的虚拟面部建模方法
CN110189404B (zh) * 2019-05-31 2023-04-07 重庆大学 基于真实人脸图像的虚拟面部建模方法
CN112232310A (zh) * 2020-12-09 2021-01-15 中影年年(北京)文化传媒有限公司 一种用于表情捕捉的人脸识别系统和方法
CN113240781A (zh) * 2021-05-20 2021-08-10 东营友帮建安有限公司 基于语音驱动及图像识别的影视动画制作方法、系统

Similar Documents

Publication Publication Date Title
CN108734757A (zh) 一种声音与表情捕捉实现三维人脸动画的方法
CN101577114B (zh) 一种音频可视化实现方法及装置
CN107422862B (zh) 一种虚拟现实场景中虚拟影像交互的方法
CN109585021B (zh) 基于全息投影技术的精神状态评估方法
Solberg et al. Pleasurable and intersubjectively embodied experiences of electronic dance music
CN101324961B (zh) 计算机虚拟世界中人脸部三维贴图方法
TWI305705B (en) Sound emission apparatus, sound emission method and information recording medium
CN102580327B (zh) 智能机器人皮影戏表演的编辑与控制方法
CN113838173B (zh) 一种受语音和背景声联合驱动的虚拟人头部运动合成方法
CN104732983B (zh) 一种交互式音乐可视化方法和装置
Cotton et al. The Body Electric: A NIME designed through and with the somatic experience of singing
CN113160366A (zh) 一种3d人脸动画合成方法及系统
CN103425136A (zh) 智能交互式机器人皮影表演的控制方法
CN103207745A (zh) 虚拟化身交互系统和方法
CN104978329A (zh) 一种以线条绘画的形式生成音乐旋律的方法
CN106844639A (zh) 音乐匹配运动的方法及系统
CN108734759A (zh) 一种快速二维动画方法
CN107020637A (zh) 宠物机器人的情绪表达方法及宠物机器人
CN107507261A (zh) 一种互动动画生成系统
CN205460934U (zh) 一种基于动作捕捉的增强现实游戏设备
JP2006217183A (ja) マルチメディアデータを生成するためのデータ処理装置およびプログラム
Burger et al. Communication of musical expression by means of mobile robot gestures
Fan et al. ConchShell: A generative adversarial networks that turns pictures into piano music
Ni et al. 3D face dynamic expression synthesis system based on DFFD
Urbain et al. AVLaughterCycle: An audiovisual laughing machine

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
WD01 Invention patent application deemed withdrawn after publication
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20181102