CN108765528A - 基于数据驱动的游戏人物人脸3d动画合成方法 - Google Patents

基于数据驱动的游戏人物人脸3d动画合成方法 Download PDF

Info

Publication number
CN108765528A
CN108765528A CN201810313868.5A CN201810313868A CN108765528A CN 108765528 A CN108765528 A CN 108765528A CN 201810313868 A CN201810313868 A CN 201810313868A CN 108765528 A CN108765528 A CN 108765528A
Authority
CN
China
Prior art keywords
game charater
face
building block
charater
game
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201810313868.5A
Other languages
English (en)
Inventor
秦谦
白琨
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanjing River Great Boda Mdt Infotech Ltd
Original Assignee
Nanjing River Great Boda Mdt Infotech Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanjing River Great Boda Mdt Infotech Ltd filed Critical Nanjing River Great Boda Mdt Infotech Ltd
Priority to CN201810313868.5A priority Critical patent/CN108765528A/zh
Publication of CN108765528A publication Critical patent/CN108765528A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T13/00—Animation
    • G06T13/20—3D [Three Dimensional] animation
    • G06T13/40—3D [Three Dimensional] animation of characters, e.g. humans, animals or virtual beings
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/005—General purpose rendering architectures

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Graphics (AREA)
  • Processing Or Creating Images (AREA)

Abstract

本发明公开了一种基于数据驱动的游戏人物人脸3D动画合成方法，包括步骤（A），对关键帧图像和光流进行处理；步骤（B），对游戏人物的人脸组件拼接；步骤（C），对游戏人物图像序列拼接；步骤（D），根据游戏人物新的图像序列，完成当前环境的游戏人物人脸3D动画合成。本发明的基于数据驱动的游戏人物人脸3D动画合成方法，将游戏人物新的图像序列，根据时间上的关联，融入到当前环境的每个音位的关键图像和中间帧图像中，在游戏人物发声的时间关系上，完成游戏人物人脸3D动画合成，方法巧妙，构思新颖，具有良好的应用前景。

Description

基于数据驱动的游戏人物人脸3D动画合成方法
技术领域
本发明涉及游戏开发技术领域，具体涉及一种基于数据驱动的游戏人物人脸3D动画合成方法。
背景技术
游戏人物人脸3D动画合成，是游戏基面生成的关键技术，能够保证游戏人物人脸3D动画的逼真性和生动性。目前，现有的游戏人物人脸3D动画合成，由于数据量有限，而且，数据驱动的配置优化度较差，直接导致游戏人物人脸3D动画合成的效果，因此，如何快速、高效的完成游戏人物人脸3D动画合成，是当前继续解决的问题。
发明内容
本发明的目的是克服现有的游戏人物人脸3D动画合成，由于数据量有限，而且，数据驱动的配置优化度较差，直接导致游戏人物人脸3D动画合成效果差的问题。本发明的基于数据驱动的游戏人物人脸3D动画合成方法，将游戏人物新的图像序列，根据时间上的关联，融入到当前环境的每个音位的关键图像和中间帧图像中，在游戏人物发声的时间关系上，完成游戏人物人脸3D动画合成，方法巧妙，构思新颖，具有良好的应用前景。
为了达到上述目的，本发明所采用的技术方案是：
一种基于数据驱动的游戏人物人脸3D动画合成方法，包括以下步骤，
步骤（A），对关键帧图像和光流进行处理
（A1），将游戏人物的发音器官状态分为16个基本静态视位，定义静态视位为视频的基本单位；
（A2），建立一个包括所有基本静态视位的相互过渡的发音词库，该发音词库进行发音录像，利用真实的图像序列计算由每一个视位到其他视位过渡的光流，16个基本静态视位共计256组光流向量；
（A3），在合成图像序列时，对于每个音位的关键图像采用16个基本静态视位，对于中间帧图像利用前、后两个关键帧的双向光流向量和图像变形技术生成；
步骤（B），对游戏人物的人脸组件拼接
（B1），将游戏人物的人脸结构划分为基本组成部件，将视频的基本单位定义为各基本组成部件的不同状态；
（B2），在合成时，对每个音位根据其上、下运动过程的信息从数据库中选择出对应的基本组成部件，投影到当前的人脸框架上，并进行消除边缘效应处理，得到游戏人物的人脸；
步骤（C），对游戏人物图像序列拼接
（C1），根据语音合成中的波形拼接合成法，用小段原始图像序列组成新的图像序列；
（C2），利用隐马尔可夫模型从原始语音数据中切分出三音素，经过图像分析从原始图像中提取出嘴唇区域的三音素图像序列；
（C3），合成时，从数据库中选择对应的三音素图像序列，在时间上的对接和图像上的淡入淡出处理，再缝合到当前的人脸框架上，形成新的图像序列；
步骤（D），根据游戏人物新的图像序列，完成当前环境的游戏人物人脸3D动画合成
（D1），将游戏人物新的图像序列，根据时间上的关联，融入到当前环境的每个音位的关键图像和中间帧图像中；
（D2），游戏人物的融入到当前环境的游戏人物人脸3D动画中，完成游戏人物人脸3D动画合成。
前述的基于数据驱动的游戏人物人脸3D动画合成方法，步骤（A），对关键帧图像和光流进行处理，是根据游戏人物的发声时间顺序进行的。
前述的基于数据驱动的游戏人物人脸3D动画合成方法，（B1），基本组成部件，包括鼻子基本组成部件、耳朵基本组成部件、眼睛基本组成部件、脸颊基本组成部件、额头基本组成部件、嘴巴基本组成部件、下巴基本组成部件、牙齿基本组成部件和眉毛基本组成部件。
前述的基于数据驱动的游戏人物人脸3D动画合成方法，（D1），将游戏人物新的图像序列，根据时间上的关联，融入到当前环境的每个音位的关键图像和中间帧图像中，根据时间上的关联，是指游戏人物的发声时间。
前述的基于数据驱动的游戏人物人脸3D动画合成方法，（C1），根据语音合成中的波形拼接合成法，用小段原始图像序列组成新的图像序列，小段原始图像的时间范围内10ms。
前述的基于数据驱动的游戏人物人脸3D动画合成方法，（A3），对于中间帧图像利用前、后两个关键帧的双向光流向量和图像变形技术生成，是通过双向光流向量还原当前环境环境的中间帧图像，并通过图像变形技术进行边缘处理。
本发明的有益效果是：本发明的基于数据驱动的游戏人物人脸3D动画合成方法，将游戏人物新的图像序列，根据时间上的关联，融入到当前环境的每个音位的关键图像和中间帧图像中，在游戏人物发声的时间关系上，完成游戏人物人脸3D动画合成，方法巧妙，构思新颖，具有良好的应用前景。
附图说明
图1是本发明的基于数据驱动的游戏人物人脸3D动画合成方法的流程图。
具体实施方式
下面将结合说明书附图，对本发明作进一步的说明。
如图1所示，本发明的基于数据驱动的游戏人物人脸3D动画合成方法，包括以下步骤，
步骤（A），对关键帧图像和光流进行处理，该步骤是根据游戏人物的发声时间顺序进行的；
（A1），将游戏人物的发音器官状态分为16个基本静态视位，定义静态视位为视频的基本单位；
（A2），建立一个包括所有基本静态视位的相互过渡的发音词库，该发音词库进行发音录像，利用真实的图像序列计算由每一个视位到其他视位过渡的光流，16个基本静态视位共计256组光流向量；
（A3），在合成图像序列时，对于每个音位的关键图像采用16个基本静态视位，对于中间帧图像利用前、后两个关键帧的双向光流向量和图像变形技术生成，是通过双向光流向量还原当前环境环境的中间帧图像，并通过图像变形技术进行边缘处理；
步骤（B），对游戏人物的人脸组件拼接
（B1），将游戏人物的人脸结构划分为基本组成部件，将视频的基本单位定义为各基本组成部件的不同状态，基本组成部件，包括鼻子基本组成部件、耳朵基本组成部件、眼睛基本组成部件、脸颊基本组成部件、额头基本组成部件、嘴巴基本组成部件、下巴基本组成部件、牙齿基本组成部件和眉毛基本组成部件；
（B2），在合成时，对每个音位根据其上、下运动过程的信息从数据库中选择出对应的基本组成部件，投影到当前的人脸框架上，并进行消除边缘效应处理，得到游戏人物的人脸；
步骤（C），对游戏人物图像序列拼接
（C1），根据语音合成中的波形拼接合成法，用小段原始图像序列组成新的图像序列，小段原始图像的时间范围内10ms；
（C2），利用隐马尔可夫模型从原始语音数据中切分出三音素，经过图像分析从原始图像中提取出嘴唇区域的三音素图像序列；
（C3），合成时，从数据库中选择对应的三音素图像序列，在时间上的对接和图像上的淡入淡出处理，再缝合到当前的人脸框架上，形成新的图像序列；
步骤（D），根据游戏人物新的图像序列，完成当前环境的游戏人物人脸3D动画合成
（D1），将游戏人物新的图像序列，根据时间上的关联，融入到当前环境的每个音位的关键图像和中间帧图像中，根据时间上的关联，是指游戏人物的发声时间；
（D2），游戏人物的融入到当前环境的游戏人物人脸3D动画中，完成游戏人物人脸3D动画合成。
综上所述，本发明的基于数据驱动的游戏人物人脸3D动画合成方法，将游戏人物新的图像序列，根据时间上的关联，融入到当前环境的每个音位的关键图像和中间帧图像中，在游戏人物发声的时间关系上，完成游戏人物人脸3D动画合成，方法巧妙，构思新颖，具有良好的应用前景。
以上显示和描述了本发明的基本原理和主要特征和本发明的优点。本行业的技术人员应该了解，本发明不受上述实施例的限制，上述实施方法和说明书中描述的只是说明本发明的原理，在不脱离本发明精神和范围的前提下，本发明还会有各种变化和改进，这些变化和改进都落入要求保护的本发明范围内。本发明要求保护范围由所附的权利要求书及其等效物界定。

Claims (6)

1.基于数据驱动的游戏人物人脸3D动画合成方法，其特征在于：包括以下步骤，
步骤（A），对关键帧图像和光流进行处理
（A1），将游戏人物的发音器官状态分为16个基本静态视位，定义静态视位为视频的基本单位；
（A2），建立一个包括所有基本静态视位的相互过渡的发音词库，该发音词库进行发音录像，利用真实的图像序列计算由每一个视位到其他视位过渡的光流，16个基本静态视位共计256组光流向量；
（A3），在合成图像序列时，对于每个音位的关键图像采用16个基本静态视位，对于中间帧图像利用前、后两个关键帧的双向光流向量和图像变形技术生成；
步骤（B），对游戏人物的人脸组件拼接
（B1），将游戏人物的人脸结构划分为基本组成部件，将视频的基本单位定义为各基本组成部件的不同状态；
（B2），在合成时，对每个音位根据其上、下运动过程的信息从数据库中选择出对应的基本组成部件，投影到当前的人脸框架上，并进行消除边缘效应处理，得到游戏人物的人脸；
步骤（C），对游戏人物图像序列拼接
（C1），根据语音合成中的波形拼接合成法，用小段原始图像序列组成新的图像序列；
（C2），利用隐马尔可夫模型从原始语音数据中切分出三音素，经过图像分析从原始图像中提取出嘴唇区域的三音素图像序列；
（C3），合成时，从数据库中选择对应的三音素图像序列，在时间上的对接和图像上的淡入淡出处理，再缝合到当前的人脸框架上，形成新的图像序列；
步骤（D），根据游戏人物新的图像序列，完成当前环境的游戏人物人脸3D动画合成
（D1），将游戏人物新的图像序列，根据时间上的关联，融入到当前环境的每个音位的关键图像和中间帧图像中；
（D2），游戏人物的融入到当前环境的游戏人物人脸3D动画中，完成游戏人物人脸3D动画合成。
2.根据权利要求1所述的基于数据驱动的游戏人物人脸3D动画合成方法，其特征在于：步骤（A），对关键帧图像和光流进行处理，是根据游戏人物的发声时间顺序进行的。
3.根据权利要求1所述的基于数据驱动的游戏人物人脸3D动画合成方法，其特征在于：（B1），基本组成部件，包括鼻子基本组成部件、耳朵基本组成部件、眼睛基本组成部件、脸颊基本组成部件、额头基本组成部件、嘴巴基本组成部件、下巴基本组成部件、牙齿基本组成部件和眉毛基本组成部件。
4.根据权利要求1所述的基于数据驱动的游戏人物人脸3D动画合成方法，其特征在于：（D1），将游戏人物新的图像序列，根据时间上的关联，融入到当前环境的每个音位的关键图像和中间帧图像中，根据时间上的关联，是指游戏人物的发声时间。
5.根据权利要求1所述的基于数据驱动的游戏人物人脸3D动画合成方法，其特征在于：（C1），根据语音合成中的波形拼接合成法，用小段原始图像序列组成新的图像序列，小段原始图像的时间范围内10ms。
6.根据权利要求1所述的基于数据驱动的游戏人物人脸3D动画合成方法，其特征在于：（A3），对于中间帧图像利用前、后两个关键帧的双向光流向量和图像变形技术生成，是通过双向光流向量还原当前环境环境的中间帧图像，并通过图像变形技术进行边缘处理。
CN201810313868.5A 2018-04-10 2018-04-10 基于数据驱动的游戏人物人脸3d动画合成方法 Pending CN108765528A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810313868.5A CN108765528A (zh) 2018-04-10 2018-04-10 基于数据驱动的游戏人物人脸3d动画合成方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810313868.5A CN108765528A (zh) 2018-04-10 2018-04-10 基于数据驱动的游戏人物人脸3d动画合成方法

Publications (1)

Publication Number Publication Date
CN108765528A true CN108765528A (zh) 2018-11-06

Family

ID=63981555

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810313868.5A Pending CN108765528A (zh) 2018-04-10 2018-04-10 基于数据驱动的游戏人物人脸3d动画合成方法

Country Status (1)

Country Link
CN (1) CN108765528A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109819313A (zh) * 2019-01-10 2019-05-28 腾讯科技（深圳）有限公司 视频处理方法、装置及存储介质
CN111481926A (zh) * 2019-01-25 2020-08-04 上海察亚软件有限公司 一种游戏人物脸部渲染及处理系统
CN112002301A (zh) * 2020-06-05 2020-11-27 四川纵横六合科技股份有限公司 一种基于文本的自动化视频生成方法

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6250928B1 (en) * 1998-06-22 2001-06-26 Massachusetts Institute Of Technology Talking facial display method and apparatus
CN102609969A (zh) * 2012-02-17 2012-07-25 上海交通大学 基于汉语文本驱动的人脸语音同步动画的处理方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6250928B1 (en) * 1998-06-22 2001-06-26 Massachusetts Institute Of Technology Talking facial display method and apparatus
CN102609969A (zh) * 2012-02-17 2012-07-25 上海交通大学 基于汉语文本驱动的人脸语音同步动画的处理方法

Non-Patent Citations (5)

* Cited by examiner, † Cited by third party
Title
TANG H等: "《Partially supervised speaker clustering》", 《IEEE TRANSACTIONS ON PATTERN ANALYSIS AND MACHINE INTELLIGENCE》 *
ZORIC G等: "《On creating multimodal virtual humans-real time speech driven facial gesturing》", 《MULTIMEDIA TOOLS AND APPLICATIONS》 *
周密等: "《基于动态基元选取的真实感可视语音合成系统》", 《系统仿真学报》 *
孙延鹏等: "《基于数据驱动的人脸动画合成技术的研究与发展》", 《计算机工程与科学》 *
米辉辉等: "《虚拟人"双簧"—与语音同步的三维人脸动画的研究》", 《计算机应用与软件》 *

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109819313A (zh) * 2019-01-10 2019-05-28 腾讯科技（深圳）有限公司 视频处理方法、装置及存储介质
CN109819313B (zh) * 2019-01-10 2021-01-08 腾讯科技（深圳）有限公司 视频处理方法、装置及存储介质
CN111481926A (zh) * 2019-01-25 2020-08-04 上海察亚软件有限公司 一种游戏人物脸部渲染及处理系统
CN112002301A (zh) * 2020-06-05 2020-11-27 四川纵横六合科技股份有限公司 一种基于文本的自动化视频生成方法

Similar Documents

Publication Publication Date Title
CN108447474B (zh) 一种虚拟人物语音与口型同步的建模与控制方法
Bailly et al. Audiovisual speech synthesis
CN110751708B (zh) 一种实时的语音驱动人脸动画的方法和系统
CN113781610B (zh) 一种虚拟人脸的生成方法
CN112001992A (zh) 基于深度学习的语音驱动3d虚拟人表情音画同步方法及系统
CN108765528A (zh) 基于数据驱动的游戏人物人脸3d动画合成方法
CN112734889A (zh) 一种2d角色的口型动画实时驱动方法和系统
Xie et al. A statistical parametric approach to video-realistic text-driven talking avatar
Li et al. A survey of computer facial animation techniques
Massaro et al. A multilingual embodied conversational agent
KR100813034B1 (ko) 캐릭터 형성방법
Tang et al. Real-time conversion from a single 2D face image to a 3D text-driven emotive audio-visual avatar
Morishima et al. Real-time facial action image synthesis system driven by speech and text
Beskow et al. Data-driven synthesis of expressive visual speech using an MPEG-4 talking head.
Breen et al. An investigation into the generation of mouth shapes for a talking head
Perng et al. Image talk: a real time synthetic talking head using one single image with chinese text-to-speech capability
Kolivand et al. Realistic lip syncing for virtual character using common viseme set
Morishima et al. Speech-to-image media conversion based on VQ and neural network
Lin et al. A speech driven talking head system based on a single face image
Chu et al. CorrTalk: Correlation Between Hierarchical Speech and Facial Activity Variances for 3D Animation
Alvarez Masso et al. Lipsync. ai: Ai driven lips and tongue animations using articulatory phonetic descriptors and facs blendshapes
Chen et al. Text to avatar in multimodal human computer interface
Krejsa et al. A novel lip synchronization approach for games and virtual environments
Bailly Audiovisual speech synthesis. from ground truth to models.
Çakmak et al. HMM-based generation of laughter facial expression

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20181106