CN105957129B - 一种基于语音驱动及图像识别的影视动画制作方法 - Google Patents

一种基于语音驱动及图像识别的影视动画制作方法 Download PDF

Info

Publication number
CN105957129B
CN105957129B CN201610272098.5A CN201610272098A CN105957129B CN 105957129 B CN105957129 B CN 105957129B CN 201610272098 A CN201610272098 A CN 201610272098A CN 105957129 B CN105957129 B CN 105957129B
Authority
CN
China
Prior art keywords
data
mood
dimensional
mood data
expression
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN201610272098.5A
Other languages
English (en)
Other versions
CN105957129A (zh
Inventor
徐克�
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Hippo culture Polytron Technologies Inc
Original Assignee
SHANGHAI HIPPO ANIMATION DESIGN Inc Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by SHANGHAI HIPPO ANIMATION DESIGN Inc Ltd filed Critical SHANGHAI HIPPO ANIMATION DESIGN Inc Ltd
Priority to CN201610272098.5A priority Critical patent/CN105957129B/zh
Publication of CN105957129A publication Critical patent/CN105957129A/zh
Application granted granted Critical
Publication of CN105957129B publication Critical patent/CN105957129B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T13/00—Animation
    • G06T13/20—3D [Three Dimensional] animation
    • G06T13/40—3D [Three Dimensional] animation of characters, e.g. humans, animals or virtual beings

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Processing Or Creating Images (AREA)

Abstract

本发明提供一种基于语音驱动及图像识别的影视动画制作方法，包括以下步骤：步骤a：获取作为源素材序列的图像，以及获取作为源素材的声音；步骤b：根据步骤a中获得的图像计算面部情绪数据；步骤c：将步骤b中获得的面部情绪数据发送至三维软件；步骤d：在所述三维软件中，调取步骤a中获得的原素材声音，与三维角色模型已经定义好的相应口型进行关联，使所述三维角色模型呈现与所述声音对应的口型；将步骤c所述情绪数据与三维角色模型已经定义好的相应表情进行关联，使所述三维角色模型呈现与所述情绪数据对应的表情。本发明将得到的原始静态数据做动态分析和优化，实时传递到三维软件中，为动画软件中的人物表情制作作准备。

Description

一种基于语音驱动及图像识别的影视动画制作方法
技术领域
本发明涉及动作捕捉和三维技术领域，尤其涉及一种基于语音驱动及图像识别的影视动画制作方法和系统。
背景技术
目前，业内现有的表情识别技术中，有微软牛津项目提供的表情云计算，但是它只是单纯的得到一组表情描述的词汇，包括愤怒、轻蔑、厌恶、恐惧、害怕、喜悦、悲伤及中性表情，具体为一组英文描述。该技术存在的问题包括：
1.目前应用面很小，偶尔见于简单的互动小游戏，尚无在工业、商业及影视动画行业应用。
2.应用的技术层次很浅，还是停留在得出简单的表情词语这个层面，数据为静态数据，更没有将这个技术进一步运用到影视动画制作系统的先例。
3.在图像识别的素材格式上，目前它只是简单地从网络地址和本地磁盘中的静态图片来进行计算。
发明内容
本发明针对现有技术的上述缺点，提出了一种基于语音驱动及图像识别的影视动画制作方法。
本发明方法包括如下步骤：步骤a：获取作为源素材序列的图像，以及获取作为源素材的声音数据；步骤b：根据步骤a中获得的图像计算面部情绪数据；步骤c：将步骤b中获得的面部情绪数据发送至三维软件；步骤d：在所述三维软件中，调取步骤a中获得的原素材的声音数据，与三维角色模型已经定义好的相应口型进行关联，使所述三维角色模型呈现与所述声音对应的口型；将步骤c所述情绪数据与三维角色模型已经定义好的相应表情进行关联，使所述三维角色模型呈现与所述情绪数据对应的表情。
优选地，步骤a中，对网络图片、本地图片或视频动态图像三种格式的文件进行截图以获得作为源素材序列的图像。
优选地，步骤a中，通过外部摄像头设备获取所述视频动态图像，从而识别和获取脸部动态图像。
优选地，步骤b中，所述情绪数据包括8组：Anger、Contempt、Disgust、Fear、Happiness、Neutral、Sadness、Surprise，均为双精度数据类型，且数值范围为(0，1)数值越大表示该情绪越饱满；每组情绪数据包括通过一段时间内实时获取的多个图像计算得到的多个数值。
优选地，步骤b中，在计算获取所述情绪数据后还包括动态排序和优化所述情绪数据的步骤：
对每组情绪数据，不断将当前时间的情绪数据与上一时间的情绪数据进行比较，比较完后将其中较大值作为新的上一时间情绪数据；
规定时间间隔后获取最大值的情绪数据，该最大值的情绪数据为将发送给所述三维软件的情绪数据。
优选地，所述三维软件为Motionbuilder三维软件。
优选地，步骤c中，通过socket通讯端口将面部情绪数据发送至所述三维软件。
优选地，步骤d中，将所述情绪数据与所述三维模型进行关联进一步包括：
所述8组情绪数据以8组表情节点的形式排列在三维软件中，每个节点的输出端为动态变化的情绪数据的数值；以及
分别将8个表情节点的输出端通过连线的方式关联到三维角色模型相对应的表情节点输入端上，完成关联
本发明的有益效果包括：
1.首次将基于语音驱动及图像识别的技术应用到影视动画行业。
2.技术层次比原来大大提升，将得到的原始静态数据做动态分析和优化，实时传递到三维软件中，为动画软件中的人物表情制作作准备，方便三维制作人员控制人物模型的情绪。
3.在图像识别的素材格式上，本发明增加了从外部摄像头设备中获取脸部动态图像，从而可以根据真实人脸表情计算面部情绪数据。
附图说明
图1是根据本发明基于语音驱动及图像识别的影视动画制作方法的流程图。
具体实施方式
以下结合附图对本发明进行详细说明。以下实施例并不是对本发明的限制。在不背离发明构思的精神和范围下，本领域技术人员能够想到的变化和优点都被包括在本发明中。
图1是根据本发明方法的流程图。如图1所示，本发明方法包括如下步骤：
步骤a：通过本发明软件，调用电脑摄像头，对网络图片、本地图片、或视频动态图像三种格式文件进行截图，保存为源素材序列。以及获取作为源素材的声音。
本发明中，可以对网络图片、本地图片或视频动态图像三种格式的文件进行截图以获得作为源素材序列的图像。通过外部摄像头设备获取所述视频动态图像，从而识别和获取脸部动态图像。
步骤b：根据步骤a所保存的图像计算面部情绪数据，所述情绪数据包括如下8种。
本发明采用的是业界通用的微软的云计算方法，得出8组原始情绪数据Anger(愤怒)、Contempt(轻蔑)、Disgust(厌恶)、Fear(害怕、恐惧)、Happiness(喜悦)、Neutral(中性表情)、Sadness(悲伤)、Surprise(惊讶)。该8组数据均为双精度数据类型，且数值范围为(0，1)数值越大表示该情绪越饱满。每组情绪数据包括通过一段时间内实时获取的多个图像计算得到的多个数值。例如，每隔1ms获取一幅图像，每幅图像计算获得一个情绪数据，则在一段时间内就获得多个情绪数据。
步骤b中，在计算获取所述情绪数据后还包括动态排序和优化所述情绪数据的步骤：
对每组情绪数据，不断将当前时间的情绪数据与上一时间的情绪数据进行比较。例如，每隔1ms将当前时间的情绪数据与上一时间的情绪数据进行比较，比较完后将其中较大值作为新的上一时间情绪数据。依此进行循环比较。
规定时间间隔后获取最大值的情绪数据，该最大值的情绪数据为将发送给所述三维软件的情绪数据。例如，规定时间间隔为10ms，经过10ms后，获得前述多次比较后的最大值的情绪数据。
步骤c：将8组情绪数据发送至三维软件，本实施例中为Motionbuilder三维软件。通过socket通讯端口将面部情绪数据发送至所述三维软件。
步骤d：在Motionbuilder三维软件中，调取步骤a中获得的原素材声音，与三维角色模型已经定义好的相应口型进行关联，使所述三维角色模型呈现与所述声音对应的口型；将步骤c中获得的上述8组数据与三维角色模型已经定义好的8个表情进行关联，使仅停留在单词表示的原始表情数据与三维角色模型的表情产生联系。例如，将Anger数据关联到角色模型的愤怒节点，则角色模型就会呈现愤怒表情。
步骤d中，将所述情绪数据与所述三维模型进行关联进一步包括：
所述8组情绪数据以8组表情节点的形式排列在三维软件中，每个节点的输出端为动态变化的情绪数据的数值；
分别将8个表情节点的输出端通过连线的方式关联到三维角色模型相对应的表情节点输入端上，完成关联。三维软件本身提供一种关系方式，利用该关系方式进行关联。具体地，上述步骤a～c是在服务器端进行的，步骤d是在客户端进行的。服务器端和客户端使用socket tcp通信，地址为127.0.0.1，端口为3001。
在现有技术的前提下，影视动画人物的表情制作方式为：动画师在三维软件中设置关键帧，表情的参照样式和动作节奏均来源于动画师脑海中的想象，而本发明采用真人数据做为表情参照的来源，提高了表情的真实度，从表情动画的节奏上也比传统动画更真实，两者的结合提高了影视动画的制作流程。
显然，本技术领域中的普通技术人员应当认识到，以上的实施例仅是用来说明本发明，而并非用作为对本发明的限定，只要在本发明的实质精神范围内，对以上所述实施例的变化、变型都将落在本发明的权利要求书范围内。

Claims (6)

1.一种基于语音驱动及图像识别的影视动画制作方法，其特征在于，包括如下步骤：
步骤a：获取作为源素材序列的图像，以及获取作为源素材的声音数据；
步骤b：根据步骤a中获得的图像计算面部情绪数据；
步骤c：将步骤b中获得的面部情绪数据发送至三维软件；
步骤d：在所述三维软件中，调取步骤a中获得的原素材的声音数据，与三维角色模型已经定义好的相应口型进行关联，使所述三维角色模型呈现与所述声音对应的口型；将步骤c所述情绪数据与三维角色模型已经定义好的相应表情进行关联，使所述三维角色模型呈现与所述情绪数据对应的表情，
步骤b中，所述情绪数据包括8组：Anger、Contempt、Disgust、Fear、Happiness、Neutral、Sadness、Surprise，均为双精度数据类型，且数值范围为(0，1)，数值越大表示该情绪越饱满；每组情绪数据包括通过一段时间内实时获取的多个图像计算得到的多个数值，
在计算获取所述情绪数据后还包括动态排序和优化所述情绪数据的步骤：
对每组情绪数据，不断将当前时间的情绪数据与上一时间的情绪数据进行比较，比较完后将其中较大值作为新的上一时间情绪数据；
规定时间间隔后获取最大值的情绪数据，该最大值的情绪数据为将发送给所述三维软件的情绪数据。
2.根据权利要求1所述的方法，其特征在于，步骤a中，对网络图片、本地图片或视频动态图像三种格式的文件进行截图以获得作为源素材序列的图像。
3.根据权利要求2所述的方法，其特征在于，步骤a中，通过外部摄像头设备获取所述视频动态图像，从而识别和获取脸部动态图像。
4.根据权利要求1所述的方法，其特征在于，所述三维软件为Motionbuilder三维软件。
5.根据权利要求1所述的方法，其特征在于，步骤c中，通过socket通讯端口将面部情绪数据发送至所述三维软件。
6.根据权利要求1所述的方法，其特征在于，步骤d中，将所述情绪数据与所述三维模型进行关联进一步包括：
所述8组情绪数据以8组表情节点的形式排列在三维软件中，每个节点的输出端为动态变化的情绪数据的数值；以及
分别将8个表情节点的输出端通过连线的方式关联到三维角色模型相对应的表情节点输入端上，完成关联。
CN201610272098.5A 2016-04-27 2016-04-27 一种基于语音驱动及图像识别的影视动画制作方法 Expired - Fee Related CN105957129B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201610272098.5A CN105957129B (zh) 2016-04-27 2016-04-27 一种基于语音驱动及图像识别的影视动画制作方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201610272098.5A CN105957129B (zh) 2016-04-27 2016-04-27 一种基于语音驱动及图像识别的影视动画制作方法

Publications (2)

Publication Number Publication Date
CN105957129A CN105957129A (zh) 2016-09-21
CN105957129B true CN105957129B (zh) 2019-08-30

Family

ID=56916594

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610272098.5A Expired - Fee Related CN105957129B (zh) 2016-04-27 2016-04-27 一种基于语音驱动及图像识别的影视动画制作方法

Country Status (1)

Country Link
CN (1) CN105957129B (zh)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106653050A (zh) * 2017-02-08 2017-05-10 康梅 一种动画口型与语音实时匹配的方法
CN108320316B (zh) * 2018-02-11 2022-03-04 秦皇岛中科鸿合信息科技有限公司 个性化表情包制作系统及方法
CN110070594B (zh) * 2019-04-25 2024-01-02 深圳市金毛创意科技产品有限公司 一种演绎时实时渲染输出的三维动画制作方法
CN110677598B (zh) * 2019-09-18 2022-04-12 北京市商汤科技开发有限公司 视频生成方法、装置、电子设备和计算机存储介质
CN113240781A (zh) * 2021-05-20 2021-08-10 东营友帮建安有限公司 基于语音驱动及图像识别的影视动画制作方法、系统
CN113450804A (zh) * 2021-06-23 2021-09-28 深圳市火乐科技发展有限公司 语音可视化方法、装置、投影设备及计算机可读存储介质
CN113689532B (zh) * 2021-08-05 2023-07-18 北京奇艺世纪科技有限公司 基于语音数据重建虚拟角色的方法及装置

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011198135A (ja) * 2010-03-19 2011-10-06 Brother Industries Ltd 漫画作成支援装置、漫画作成支援方法およびプログラム
CN102934144A (zh) * 2010-06-09 2013-02-13 微软公司 脸部表情的实时动画
CN103218842A (zh) * 2013-03-12 2013-07-24 西南交通大学 一种语音同步驱动三维人脸口型与面部姿势动画的方法
CN103279970A (zh) * 2013-05-10 2013-09-04 中国科学技术大学 一种实时的语音驱动人脸动画的方法
CN103377484A (zh) * 2012-04-28 2013-10-30 上海明器多媒体科技有限公司 用于三维动画制作的角色表情信息控制方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9437011B2 (en) * 2012-06-11 2016-09-06 Samsung Electronics Co., Ltd. Method and apparatus for estimating a pose of a head for a person

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011198135A (ja) * 2010-03-19 2011-10-06 Brother Industries Ltd 漫画作成支援装置、漫画作成支援方法およびプログラム
CN102934144A (zh) * 2010-06-09 2013-02-13 微软公司 脸部表情的实时动画
CN103377484A (zh) * 2012-04-28 2013-10-30 上海明器多媒体科技有限公司 用于三维动画制作的角色表情信息控制方法
CN103218842A (zh) * 2013-03-12 2013-07-24 西南交通大学 一种语音同步驱动三维人脸口型与面部姿势动画的方法
CN103279970A (zh) * 2013-05-10 2013-09-04 中国科学技术大学 一种实时的语音驱动人脸动画的方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
《三维角色动画生成引擎系统关键技术与实施验证方案》;石云平;《中国科技核心期刊》;20131231;第32卷(第12期);第68-71页
《基于语音驱动的人脸口型动画系统》;崔明;《中国优秀硕士学位论文全文数据库 信息科技辑》;20120915;第I138-679页
《影视类三维动画制作之探讨》;姜永生;《福建电脑》;20061231(第12期);第77、98-99页

Also Published As

Publication number Publication date
CN105957129A (zh) 2016-09-21

Similar Documents

Publication Publication Date Title
CN105957129B (zh) 一种基于语音驱动及图像识别的影视动画制作方法
CN107340859A (zh) 多模态虚拟机器人的多模态交互方法和系统
CN110413841A (zh) 多态交互方法、装置、系统、电子设备及存储介质
KR102035596B1 (ko) 인공지능 기반의 가상 캐릭터의 페이셜 애니메이션 자동 생성 시스템 및 방법
CN111383642B (zh) 基于神经网络的语音应答方法、存储介质以终端设备
CN106294726A (zh) 基于机器人角色交互的处理方法及装置
CN107784355A (zh) 虚拟人多模态交互数据处理方法和系统
CN103916621A (zh) 视频通信方法及装置
CN102157007A (zh) 一种表演驱动的制作人脸动画的方法和装置
CN106919899A (zh) 基于智能机器人的模仿人脸表情输出的方法和系统
US20220068007A1 (en) 3d asset generation from 2d images
CN109324688A (zh) 基于虚拟人行为标准的交互方法及系统
KR20210113948A (ko) 가상 아바타 생성 방법 및 장치
Wu et al. Establishment virtual maintenance environment based on VIRTOOLS to effectively enhance the sense of immersion of teaching equipment
CN110211582A (zh) 一种实时交互智能数字虚拟人物表情驱动方法及系统
CN109343695A (zh) 基于虚拟人行为标准的交互方法及系统
CN109800295A (zh) 基于情感词典和词概率分布的情感会话生成方法
CN113223125A (zh) 一种虚拟形象的面部驱动方法、装置、设备和介质
CN110992455B (zh) 一种实时表情捕捉系统
CN107016678A (zh) 一种绘画课堂互动管理方法及系统
Jin et al. A Semi-Automatic Oriental Ink Painting Framework for Robotic Drawing From 3D Models
Hou et al. Real-time markerless facial motion capture of personalized 3D real human research
CN109993814B (zh) 基于剪影的互动绘画方法、装置、终端设备及存储介质
Hou et al. Avatar-Basedhuman Communication: A Review
CN116630549A (zh) 人脸建模方法、装置、可读存储介质及电子设备

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CP01 Change in the name or title of a patent holder

Address after: Room 101, 81 Boxia Road, Zhangjiang High-tech Park, Pudong New Area, Shanghai, 201203

Patentee after: Shanghai Hippo culture Polytron Technologies Inc

Address before: Room 101, 81 Boxia Road, Zhangjiang High-tech Park, Pudong New Area, Shanghai, 201203

Patentee before: SHANGHAI HIPPO ANIMATION DESIGN, INC. LTD.

CP01 Change in the name or title of a patent holder
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20190830

Termination date: 20200427

CF01 Termination of patent right due to non-payment of annual fee