CN113111813A - 基于asr声学模型的嘴部动作驱动模型训练方法及组件 - Google Patents

基于asr声学模型的嘴部动作驱动模型训练方法及组件 Download PDF

Info

Publication number
CN113111813A
CN113111813A CN202110424520.5A CN202110424520A CN113111813A CN 113111813 A CN113111813 A CN 113111813A CN 202110424520 A CN202110424520 A CN 202110424520A CN 113111813 A CN113111813 A CN 113111813A
Authority
CN
China
Prior art keywords
model
mouth
training
acoustic model
asr acoustic
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110424520.5A
Other languages
English (en)
Inventor
陈泷翔
刘炫鹏
王鑫宇
刘云峰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Zhuiyi Technology Co Ltd
Original Assignee
Shenzhen Zhuiyi Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Zhuiyi Technology Co Ltd filed Critical Shenzhen Zhuiyi Technology Co Ltd
Priority to CN202110424520.5A priority Critical patent/CN113111813A/zh
Publication of CN113111813A publication Critical patent/CN113111813A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G06V40/165—Detection; Localisation; Normalisation using facial parts and geometric relationships
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G06V40/171—Local features and components; Facial parts ; Occluding parts, e.g. glasses; Geometrical relationships
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L13/00—Speech synthesis; Text to speech systems
    • G10L13/02—Methods for producing synthetic speech; Speech synthesisers
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L13/00—Speech synthesis; Text to speech systems
    • G10L13/02—Methods for producing synthetic speech; Speech synthesisers
    • G10L13/04—Details of speech synthesis systems, e.g. synthesiser structure or memory management

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Data Mining & Analysis (AREA)
  • Human Computer Interaction (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Health & Medical Sciences (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computational Linguistics (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Acoustics & Sound (AREA)
  • Geometry (AREA)
  • Processing Or Creating Images (AREA)

Abstract

本申请公开了一种基于ASR声学模型的嘴部动作驱动模型训练方法及组件，本申请使用ASR声学模型将各种繁杂的音频数据转换为能够屏蔽音色差异和噪声差异的音素特征，之后将该音素特征作为模型训练数据，从而训练得到嘴部动作驱动模型，提高了训练数据的质量，降低了训练数据的复杂性和训练成本，同时还不会影响嘴部动作驱动模型的通用性。相应地，本申请提供的一种基于ASR声学模型的嘴部动作驱动模型训练组件，也同样具有上述技术效果。

Description

基于ASR声学模型的嘴部动作驱动模型训练方法及组件
技术领域
本申请涉及计算机技术领域，特别涉及一种基于ASR声学模型的嘴部动作驱动模型训练方法及组件。
背景技术
在人物影像生成、电子动画中的类人类角色动作渲染等领域，为了使得影像中的人物更加真实、自然，嘴部动作与语音的匹配是十分重要的，如何完成声音到嘴部动作的映射是解决这一问题的关键。
现有的技术可以初步分为基于规则的方法与基于深度学习的方法两种。
基于规则的方法利用类似字典的结构记录由语言学家提供的音素与嘴部动作的对应关系，使用时通过查表的方式完成声音到嘴部动作的映射。此方式需要的人工因素较多，其中专家数据库的成本较为高昂，而且偏于定制化，无法灵活应用到多个场景。
基于深度学习的方法则直接将声音特征输入到神经网络后，即可得到相关嘴部动作参数。此方式直接用音频训练模型，由于音频本身携带噪声、不同音频还有音色差异，导致模型不能覆盖各种音色和场景。若以多种音色和场景训练模型，则会导致训练任务大，成本高。
对这两种方法得到的嘴部动作进一步像素渲染等处理，最终可得到与声音匹配的人物嘴部动作视频动画。
因此，如何降低训练数据的复杂性和训练成本，同时提高方案通用性，是本领域技术人员需要解决的问题。
发明内容
有鉴于此，本申请的目的在于提供一种基于ASR声学模型的嘴部动作驱动模型训练方法及组件，以降低训练数据的复杂性和训练成本，同时提高方案通用性。其具体方案如下：
第一方面，本申请提供了一种基于ASR声学模型的嘴部动作驱动模型训练方法，包括：
从视频中提取图像数据以及相应的音频数据；
获取所述图像数据中的嘴部动作特征；
利用ASR声学模型将所述音频数据转换为音素特征；
利用所述音素特征和所述嘴部动作特征训练深度学习模型，以得到嘴部动作驱动模型。
优选地，所述ASR声学模型为deepspeech模型、PPASR模型或DFSMN模型。
优选地，所述ASR声学模型的训练过程包括：
获取训练音频，以及所述训练音频对应的目标文本；
将所述训练音频输入初始ASR声学模型，以使所述初始ASR声学模型将所述训练音频映射为音素序列；
确定所述音素序列对应的训练文本，并计算所述训练文本与所述目标文本的损失值；
若所述损失值达到模型收敛要求，则将所述初始ASR声学模型确定为所述ASR声学模型；否则，更新所述初始ASR声学模型的模型参数后，对更新后的初始ASR声学模型进行迭代训练，直至所述损失值符合模型收敛要求。
优选地，所述训练音频为：所述音频数据、利用TTS技术合成并添加有录制场景噪音的语音数据、演唱作品或利用TTS技术合成并添加有录制场景噪音和背景音的语音数据。
优选地，所述获取所述图像数据中的嘴部动作特征，包括：
利用人脸检测算法从所述图像数据中提取嘴部关键点信息作为所述嘴部动作特征；
或
利用三维模型从所述图像数据中提取嘴部轮廓信息作为所述嘴部动作特征；
或
利用人脸检测算法从所述图像数据中提取嘴部关键点信息；
利用三维模型从所述图像数据中提取嘴部轮廓信息；
融合所述嘴部关键点信息和所述嘴部轮廓信息，得到融合信息，并将所述融合信息作为所述嘴部动作特征。
优选地，所述利用ASR声学模型将所述音频数据转换为音素特征，包括：
利用所述ASR声学模型中的维特比算法将所述音频数据转换为所述音素特征。
优选地，还包括：
若获取到待处理音频，则利用ASR声学模型将所述待处理音频转换为待处理音素特征；
利用所述嘴部动作驱动模型处理所述待处理音素特征，得到相应的嘴部动作图像数据。
第二方面，本申请提供了一种基于ASR声学模型的嘴部动作驱动模型训练装置，包括：
提取模块，用于从视频中提取图像数据以及相应的音频数据；
获取模块，用于获取所述图像数据中的嘴部动作特征；
转换模块，用于利用ASR声学模型将所述音频数据转换为音素特征；
训练模块，用于利用所述音素特征和所述嘴部动作特征训练深度学习模型，以得到嘴部动作驱动模型。
优选地，所述ASR声学模型为deepspeech模型、PPASR模型或DFSMN模型。
优选地，还包括ASR声学模型训练模块，用于训练所述ASR声学模型，该ASR声学模型训练模块包括：
获取单元，用于获取训练音频，以及所述训练音频对应的目标文本；
处理单元，用于将所述训练音频输入初始ASR声学模型，以使所述初始ASR声学模型将所述训练音频映射为音素序列；
计算单元，用于确定所述音素序列对应的训练文本，并计算所述训练文本与所述目标文本的损失值；
训练单元，用于若所述损失值达到模型收敛要求，则将所述初始ASR声学模型确定为所述ASR声学模型；否则，更新所述初始ASR声学模型的模型参数后，对更新后的初始ASR声学模型进行迭代训练，直至所述损失值符合模型收敛要求。
优选地，所述训练音频为：所述音频数据、利用TTS技术合成并添加有录制场景噪音的语音数据、演唱作品或利用TTS技术合成并添加有录制场景噪音和背景音的语音数据。
优选地，获取模块包括：
第一提取单元，用于利用人脸检测算法从所述图像数据中提取嘴部关键点信息作为所述嘴部动作特征；
或
第二提取单元，用于利用三维模型从所述图像数据中提取嘴部轮廓信息作为所述嘴部动作特征；
或
第一提取单元，用于利用人脸检测算法从所述图像数据中提取嘴部关键点信息；
第二提取单元，用于利用三维模型从所述图像数据中提取嘴部轮廓信息；
融合单元，用于融合所述嘴部关键点信息和所述嘴部轮廓信息，得到融合信息，并将所述融合信息作为所述嘴部动作特征。
优选地，转换模块具体用于：
利用所述ASR声学模型中的维特比算法将所述音频数据转换为所述音素特征。
优选地，还包括模型应用模块，该模型应用模块包括：
转换单元，用于若获取到待处理音频，则利用ASR声学模型将所述待处理音频转换为待处理音素特征；
匹配单元，用于利用所述嘴部动作驱动模型处理所述待处理音素特征，得到相应的嘴部动作图像数据。
第三方面，本申请提供了一种计算机设备，包括：
存储器，用于存储计算机程序；
处理器，用于执行所述计算机程序，以实现前述公开的基于ASR声学模型的嘴部动作驱动模型训练方法。
第四方面，本申请提供了一种可读存储介质，用于保存计算机程序，其中，所述计算机程序被处理器执行时实现前述公开的基于ASR声学模型的嘴部动作驱动模型训练方法。
通过以上方案可知，本申请提供了一种基于ASR声学模型的嘴部动作驱动模型训练方法，包括：从视频中提取图像数据以及相应的音频数据；获取所述图像数据中的嘴部动作特征；利用ASR声学模型将所述音频数据转换为音素特征；利用所述音素特征和所述嘴部动作特征训练深度学习模型，以得到嘴部动作驱动模型。
可见，本申请使用ASR声学模型将音频数据转换为音素特征，之后将该音素特征作为嘴部动作驱动模型的训练数据，从而训练得到嘴部动作驱动模型。其中，音素特征能够屏蔽音色差异和噪声差异，也就是ASR声学模型使各种繁杂的音频数据转换为屏蔽音色差异和噪声差异的训练数据，从而提高了训练数据的质量，降低了训练数据的复杂性和训练成本，同时还不会影响嘴部动作驱动模型的通用性。
相应地，本申请提供的一种基于ASR声学模型的嘴部动作驱动模型训练组件(即装置、设备及可读存储介质)，也同样具有上述技术效果。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。
图1为本申请公开的一种基于ASR声学模型的嘴部动作驱动模型训练方法流程图；
图2为本申请公开的一种嘴部动作驱动模型应用流程示意图；
图3为本申请公开的一种基于ASR声学模型的嘴部动作驱动模型训练装置示意图；
图4为本申请公开的一种计算机设备示意图；
图5为本申请公开的一种交互系统示意图。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
目前，深度学习方法直接用音频训练模型，由于音频本身携带噪声、不同音频还有音色差异，导致模型不能覆盖各种音色和场景。若以多种音色和场景训练模型，则会导致训练任务大，成本高。为此，本申请提供了一种基于ASR声学模型的嘴部动作驱动模型训练方案，能够降低训练数据的复杂性和训练成本，同时提高方案通用性，
下面对本申请实施例提供的一种基于ASR声学模型的嘴部动作驱动模型训练方法进行介绍，参见图1所示，本申请实施例公开了一种基于ASR声学模型的嘴部动作驱动模型训练方法，包括：
S101、从视频中提取图像数据以及相应的音频数据。
在本实施例中，视频可以是动画视频，也可以是真人录制视频，一般优选为真人录制视频。从视频中提取的音频数据即：视频中角色所说的语音，其中可能包括少量录制噪声和背景音，背景音可以是配乐歌曲等。从视频中提取的图像数据即：视频中角色说话时视频的画面数据。
S102、获取图像数据中的嘴部动作特征。
其中，嘴部动作特征即：视频中角色说话时嘴部的图像特征。
S103、利用ASR声学模型将音频数据转换为音素特征。
在一种具体实施方式中，ASR(Automatic Speech Recognition)声学模型为deepspeech模型、PPASR模型或DFSMN模型。ASR声学模型能够将音频数据转换为文本，其在转换过程中，先将音频数据转换为音素特征，再将音素特征转换为文本。音素特征一般以序列的形式呈现，音素为文本发音的最小单位，因此基于音素可以确定相应文本。
在一种具体实施方式中，利用ASR声学模型将音频数据转换为音素特征，包括：利用ASR声学模型中的维特比算法将音频数据转换为音素特征。
S104、利用音素特征和嘴部动作特征训练深度学习模型，以得到嘴部动作驱动模型。
在本实施例中，将音素特征作为嘴部动作驱动模型的训练数据，将嘴部动作特征作为嘴部动作驱动模型的训练目标，具体训练过程可以包括：将音素特征输入初始深度学习模型，以输出训练结果；计算训练结果与音素特征对应的嘴部动作特征的损失值；若损失值达到模型收敛要求，则将该初始深度学习模型确定为嘴部动作驱动模型；否则，更新初始深度学习模型的模型参数后，对更新后的模型进行迭代训练，直至损失值符合模型收敛要求。
其中，深度学习模型可以是任意结构，如循环神经网络、卷积神经网络等。以音素特征作为训练数据，以嘴部动作特征作为模型的学习目标，可以让深度学习模型学习音素特征至嘴部动作特征的映射能力，从而得到嘴部动作驱动模型。
其中，在应用本申请中的嘴部动作驱动模型时，使用ASR声学模型将各种各样的语音都可以转换为音素特征，因此本申请中的嘴部动作驱动模型可适用于处理各种各样的语音，通用性较好。
可见，本实施例使用ASR声学模型将音频数据转换为音素特征，之后将该音素特征作为模型训练数据，从而训练得到嘴部动作驱动模型。其中，音素特征能够屏蔽音色差异和噪声差异，也就是ASR声学模型使各种繁杂的音频数据转换为屏蔽音色差异和噪声差异的训练数据，从而提高了训练数据的质量，降低了训练数据的复杂性和训练成本，同时还不会影响嘴部动作驱动模型的通用性。
基于上述实施例，需要说明的是，ASR声学模型的训练过程包括：获取训练音频，以及训练音频对应的目标文本(如您好的语音对应您好这两个字)；将训练音频输入初始ASR声学模型，以使初始ASR声学模型将训练音频映射为音素序列；确定音素序列对应的训练文本，并计算训练文本与目标文本的损失值；若损失值达到模型收敛要求，则将初始ASR声学模型确定为ASR声学模型；否则，更新初始ASR声学模型的模型参数后，对更新后的初始ASR声学模型进行迭代训练，直至损失值符合模型收敛要求。
在一种具体实施方式中，训练音频为：视频里的音频数据、利用TTS(Text ToSpeech)技术合成并添加有录制场景噪音的语音数据、演唱作品(如歌曲、戏曲等)或利用TTS技术合成并添加有录制场景噪音和背景音的语音数据。可见，训练音频可以是视频中的语音，也可以是TTS合成的语音，还可以是歌曲或戏曲。其中，歌曲或戏曲可以录制得到，也可以利用调音工具调整TTS合成语音得到。利用TTS技术合成并添加有录制场景噪音和背景音的语音数据，可以看作演唱作品。
其中，添加录制场景噪音时，可在频谱上做加法，或者在傅里叶变化后做乘法。所添加的录制场景噪音可以从视频中提取，也可以是实景录音得到。实景录音即：在录制场景放置设备进行录制，期间不人为制造噪音。
基于上述实施例，需要说明的是，获取图像数据中的嘴部动作特征，包括：利用人脸检测算法从图像数据中提取嘴部关键点信息(landmarks)作为嘴部动作特征；或利用三维模型从图像数据中提取嘴部轮廓信息(blendshape)作为嘴部动作特征；或利用人脸检测算法从图像数据中提取嘴部关键点信息；利用三维模型从图像数据中提取嘴部轮廓信息；融合嘴部关键点信息和嘴部轮廓信息，得到融合信息，并将融合信息作为嘴部动作特征。
其中，人脸检测算法可以是任意能够识别嘴部关键点的算法，其一般以二维坐标提取特征数据，故所提取的特征数据缺少三维信息。而利用三维模型提取的特征数据虽然包括三维信息，但准确度相对较低。故为了提高嘴部动作特征的有效性，可以融合嘴部关键点信息和嘴部轮廓信息，融合过程中重复信息仅保留一份，未重复信息均保留并相互补充。
基于上述实施例，需要说明的是，训练获得嘴部动作驱动模型后，可以应用该模型给任一段语音匹配对应的嘴部动作图像数据，具体请参见图2，图2示意了一种嘴部动作驱动模型应用流程。
S201、获取待处理音频；
S202、利用ASR声学模型将待处理音频转换为待处理音素特征；
S203、利用嘴部动作驱动模型处理待处理音素特征，得到相应的嘴部动作图像数据。
本实施例中的ASR声学模型、嘴部动作驱动模型以及相关执行步骤可参照上述实施例的相关介绍，本说明书在此不再赘述。
待处理音频可以为：音频数据、利用TTS技术合成并添加有录制场景噪音的语音数据、演唱作品或利用TTS技术合成并添加有录制场景噪音和背景音的语音数据。
需要说明的是，若ASR声学模型以视频中的音频作为训练数据，为了使ASR声学模型应用过程中的输入音频与训练数据保持一致，可以给TTS合成的语音中添加录制场景噪音和/或背景音后，得到ASR声学模型应用过程中的输入音频，以使输入音频模拟真实录制场景。其本质的原因是：ASR声学模型在应用过程中的待处理音频需要和ASR声学模型的训练音频保持一致。据此，若ASR声学模型以演唱作品作为训练数据，那么理论上其在应用过程中的输入也对应演唱作品，否则，可能会影响ASR声学模型输出结果的准确性。当然，也有例外，如：把TTS技术合成并添加有录制场景噪音和背景音的语音数据看作演唱作品时，其就和演唱作品一致了。具体可参照上述实施例的相关介绍。
可见，本实施例中的嘴部动作驱动模型可以借助ASR声学模型处理视频中的音频、TTS合成的语音、甚至歌曲，具有较好的通用性，且处理效率较高。
下面基于深度学习方法，提供一种嘴部动作驱动模型的训练方案与应用方案。嘴部动作驱动模型训练方案包括：录制视频数据、从视频数据中得到嘴部动作参数和音频、将音频输入ASR声学模型得到音素序列，利用音素序列训练嘴部动作驱动模型几个步骤。嘴部动作驱动模型应用方案包括：获取待匹配语音，将该待匹配语音通过ASR声学模型进行转换后，输入到嘴部动作驱动模型，以得到相应的嘴部动作参数。
其中，ASR声学模型可以是语音转文字的通用模型，即直接用开源的模型。如果找不到通用模型，那么可以利用众多语音数据训练一个能够支持多种音色的ASR声学模型，具体训练过程可以参照上述实施例的相关介绍。若训练ASR声学模型时用某一音色的语音作为训练数据，那么应用ASR声学模型时的输入数据只能是相应音色的数据。
其中，嘴部动作驱动模型训练方案中“从视频数据中得到嘴部动作参数”的具体细节包括：
将录制的视频数据分为音频文件与图像帧两个部分，将音频文件通过ASR声学模型获得音素序列；将图像帧通过关键点检测得到landmarks或者通过三维建模的方式得到嘴部动作参数。
嘴部动作驱动模型应用方案：在使用嘴部动作驱动模型时，待匹配音频先输入ASR声学模型进行转换后，再输入嘴部动作驱动模型进行匹配识别。
需要说明的是，训练嘴部动作驱动模型的软件环境可以为支持tensorflow或者pytorch的python环境，应用模型时，其软件环境可以与训练阶段保持一致，也可以改写其他软件框架获得适用于该模型的软件环境，以降低落地成本。如果嘴部动作驱动模型应用阶段有流式的需求，那么模型结构的设计应满足：包含循环神经网络的情况下必须采用单向循环神经网络；包含卷积神经网络的情况下其感受野(滑动窗口)不能过大。
如果在嘴部动作驱动模型应用时，想要改变ASR声学模型支持的音色种类，那么需要重新训练ASR声学模型，但此时只需要更换线上的ASR声学模型即可。
可见，本实施例使用ASR声学模型的优点：灵活性，切换支持的音色种类只需重新训练ASR声学模型；还在于可扩展性，将ASR声学模型训练成支持多音色的，就使得整体路径支持多音色；以及鲁棒性更好，将语音映射为音素序列后，容易通过加噪等信号学上的数据增强手段，让ASR声学模型支持多音色甚至多语种，且能够抵抗噪声。实施方案时不需要引入规则，整个流程均可自动化。训练过程端到端，简单易理解，便于优化，能够缩短整体系统更新流程。
下面对本申请实施例提供的一种基于ASR声学模型的嘴部动作驱动模型训练装置进行介绍，下文描述的一种基于ASR声学模型的嘴部动作驱动模型训练装置与上文描述的一种基于ASR声学模型的嘴部动作驱动模型训练方法可以相互参照。
参见图3所示，本申请实施例公开了一种基于ASR声学模型的嘴部动作驱动模型训练装置，包括：
提取模块301，用于从视频中提取图像数据以及相应的音频数据；
获取模块302，用于获取图像数据中的嘴部动作特征；
转换模块303，用于利用ASR声学模型将音频数据转换为音素特征；
训练模块304，用于利用音素特征和嘴部动作特征训练深度学习模型，以得到嘴部动作驱动模型。
在一种具体实施方式中，ASR声学模型为deepspeech模型、PPASR模型或DFSMN模型。
在一种具体实施方式中，还包括ASR声学模型训练模块，用于训练ASR声学模型，该ASR声学模型训练模块包括：
获取单元，用于获取训练音频，以及训练音频对应的目标文本；
处理单元，用于将训练音频输入初始ASR声学模型，以使初始ASR声学模型将训练音频映射为音素序列；
计算单元，用于确定音素序列对应的训练文本，并计算训练文本与目标文本的损失值；
训练单元，用于若损失值达到模型收敛要求，则将初始ASR声学模型确定为ASR声学模型；否则，更新初始ASR声学模型的模型参数后，对更新后的初始ASR声学模型进行迭代训练，直至损失值符合模型收敛要求。
在一种具体实施方式中，训练音频为：音频数据、利用TTS技术合成并添加有录制场景噪音的语音数据、演唱作品或利用TTS技术合成并添加有录制场景噪音和背景音的语音数据。
在一种具体实施方式中，获取模块包括：
第一提取单元，用于利用人脸检测算法从图像数据中提取嘴部关键点信息作为嘴部动作特征；
或
第二提取单元，用于利用三维模型从图像数据中提取嘴部轮廓信息作为嘴部动作特征；
或
第一提取单元，用于利用人脸检测算法从图像数据中提取嘴部关键点信息；
第二提取单元，用于利用三维模型从图像数据中提取嘴部轮廓信息；
融合单元，用于融合嘴部关键点信息和嘴部轮廓信息，得到融合信息，并将融合信息作为嘴部动作特征。
在一种具体实施方式中，转换模块具体用于：
利用ASR声学模型中的维特比算法将音频数据转换为音素特征。
在一种具体实施方式中，还包括嘴部动作驱动模型应用模块，该嘴部动作驱动模型应用模块包括：
转换单元，用于若获取到待处理音频，则利用ASR声学模型将待处理音频转换为待处理音素特征；
匹配单元，用于利用嘴部动作驱动模型处理待处理音素特征，得到相应的嘴部动作图像数据。
其中，关于本实施例中各个模块、单元更加具体的工作过程可以参考前述实施例中公开的相应内容，在此不再进行赘述。
可见，本实施例提供了一种基于ASR声学模型的嘴部动作驱动模型训练装置，该装置能够使用ASR声学模型将各种繁杂的音频数据转换为屏蔽音色差异和噪声差异的训练数据，从而提高了训练数据的质量，降低了训练数据的复杂性和训练成本，同时还不会影响嘴部动作驱动模型的通用性。
下面对本申请实施例提供的一种计算机设备进行介绍，下文描述的一种计算机设备与上文描述的一种基于ASR声学模型的嘴部动作驱动模型训练方法及装置可以相互参照。
参见图4所示，本申请实施例公开了一种计算机设备，包括：
存储器401，用于保存计算机程序；
处理器402，用于执行所述计算机程序，以实现前述任意实施例公开的基于ASR声学模型的嘴部动作驱动模型训练方法。
下面对本申请实施例提供的一种可读存储介质进行介绍，下文描述的一种可读存储介质与上文描述的一种基于ASR声学模型的嘴部动作驱动模型训练方法、装置及设备可以相互参照。
一种可读存储介质，用于保存计算机程序，其中，所述计算机程序被处理器执行时实现前述实施例公开的基于ASR声学模型的嘴部动作驱动模型训练方法。关于该方法的具体步骤可以参考前述实施例中公开的相应内容，在此不再进行赘述。
下面结合具体应用场景详细介绍本申请提供的基于ASR声学模型的嘴部动作驱动模型训练方法，需要说明的是，训练得到的嘴部动作驱动模型可以用于制作动画，具体为：利用该模型控制动画中角色的嘴部动作。
请参阅图5，图5示出了一种适用于本申请实施例的应用环境示意图。本申请实施例提供的基于ASR声学模型的嘴部动作驱动模型训练方法可以应该用于如图5所示的交互系统。交互系统包括终端设备101以及服务器102，服务器102与终端设备101通信连接。其中，服务器102可以是传统服务器，也可以是云端服务器，在此不做具体限定。
其中，终端设备101可以是具有显示屏、具有基于ASR声学模型的嘴部动作驱动模型训练模块、具有拍摄相机、具有音频输入/输出等功能，且支持数据输入的各种电子设备，包括但不限于智能手机、平板电脑、膝上型便携计算机、台式计算机、自助服务终端和可穿戴式电子设备等。具体的，数据输入可以是基于电子设备上具有的语音模块输入语音、字符输入模块输入字符等。
其中，终端设备101上可以安装有客户端应用程序，用户可以基于客户端应用程序(例如APP，微信小程序等)触发训练方法。用户可以基于客户端应用程序在服务器102注册一个用户账号，并基于该用户账号与服务器102进行通信，例如用户在客户端应用程序登录用户账号，并基于该用户账号通过客户端应用程序进行输入，可以输入文字信息或语音信息等，客户端应用程序接收到用户输入的信息后，可以将该信息发送至服务器102，使得服务器102可以接收该信息并进行处理及存储，服务器102还可以接收该信息并根据该信息返回一个对应的输出信息至终端设备101。
在一些实施方式中，实现训练方法的装置也可以设置于终端设备101上，使得终端设备101无需依赖于服务器102建立通信即可实现与用户的交互，此时交互系统可以只包括终端设备101。
本申请涉及的“第一”、“第二”、“第三”、“第四”等(如果存在)是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的实施例能够以除了在这里图示或描述的内容以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法或设备固有的其它步骤或单元。
需要说明的是，在本申请中涉及“第一”、“第二”等的描述仅用于描述目的，而不能理解为指示或暗示其相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。另外，各个实施例之间的技术方案可以相互结合，但是必须是以本领域普通技术人员能够实现为基础，当技术方案的结合出现相互矛盾或无法实现时应当认为这种技术方案的结合不存在，也不在本申请要求的保护范围之内。
本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其它实施例的不同之处，各个实施例之间相同或相似部分互相参见即可。
结合本文中所公开的实施例描述的方法或算法的步骤可以直接用硬件、处理器执行的软件模块，或者二者的结合来实施。软件模块可以置于随机存储器(RAM)、内存、只读存储器(ROM)、电可编程ROM、电可擦除可编程ROM、寄存器、硬盘、可移动磁盘、CD-ROM、或技术领域内所公知的任意其它形式的可读存储介质中。
本文中应用了具体个例对本申请的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本申请的方法及其核心思想；同时，对于本领域的一般技术人员，依据本申请的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本申请的限制。

Claims (10)

1.一种基于ASR声学模型的嘴部动作驱动模型训练方法，其特征在于，包括：
从视频中提取图像数据以及相应的音频数据；
获取所述图像数据中的嘴部动作特征；
利用ASR声学模型将所述音频数据转换为音素特征；
利用所述音素特征和所述嘴部动作特征训练深度学习模型，以得到嘴部动作驱动模型。
2.根据权利要求1所述的方法，其特征在于，所述ASR声学模型为deepspeech模型、PPASR模型或DFSMN模型。
3.根据权利要求2所述的方法，其特征在于，所述ASR声学模型的训练过程包括：
获取训练音频，以及所述训练音频对应的目标文本；
将所述训练音频输入初始ASR声学模型，以使所述初始ASR声学模型将所述训练音频映射为音素序列；
确定所述音素序列对应的训练文本，并计算所述训练文本与所述目标文本的损失值；
若所述损失值达到模型收敛要求，则将所述初始ASR声学模型确定为所述ASR声学模型；否则，更新所述初始ASR声学模型的模型参数后，对更新后的初始ASR声学模型进行迭代训练，直至所述损失值符合模型收敛要求。
4.根据权利要求3所述的方法，其特征在于，所述训练音频为：所述音频数据、利用TTS技术合成并添加有录制场景噪音的语音数据、演唱作品或利用TTS技术合成并添加有录制场景噪音和背景音的语音数据。
5.根据权利要求1所述的方法，其特征在于，所述获取所述图像数据中的嘴部动作特征，包括：
利用人脸检测算法从所述图像数据中提取嘴部关键点信息作为所述嘴部动作特征；
或
利用三维模型从所述图像数据中提取嘴部轮廓信息作为所述嘴部动作特征；
或
利用人脸检测算法从所述图像数据中提取嘴部关键点信息；
利用三维模型从所述图像数据中提取嘴部轮廓信息；
融合所述嘴部关键点信息和所述嘴部轮廓信息，得到融合信息，并将所述融合信息作为所述嘴部动作特征。
6.根据权利要求1所述的方法，其特征在于，所述利用ASR声学模型将所述音频数据转换为音素特征，包括：
利用所述ASR声学模型中的维特比算法将所述音频数据转换为所述音素特征。
7.根据权利要求1至6任一项所述的方法，其特征在于，还包括：
若获取到待处理音频，则利用ASR声学模型将所述待处理音频转换为待处理音素特征；
利用所述嘴部动作驱动模型处理所述待处理音素特征，得到相应的嘴部动作图像数据。
8.一种基于ASR声学模型的嘴部动作驱动模型训练装置，其特征在于，包括：
提取模块，用于从视频中提取图像数据以及相应的音频数据；
获取模块，用于获取所述图像数据中的嘴部动作特征；
转换模块，用于利用ASR声学模型将所述音频数据转换为音素特征；
训练模块，用于利用所述音素特征和所述嘴部动作特征训练深度学习模型，以得到嘴部动作驱动模型。
9.一种计算机设备，其特征在于，包括：
存储器，用于存储计算机程序；
处理器，用于执行所述计算机程序，以实现如权利要求1至7任一项所述的方法。
10.一种可读存储介质，其特征在于，用于保存计算机程序，其中，所述计算机程序被处理器执行时实现如权利要求1至7任一项所述的方法。
CN202110424520.5A 2021-04-20 2021-04-20 基于asr声学模型的嘴部动作驱动模型训练方法及组件 Pending CN113111813A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110424520.5A CN113111813A (zh) 2021-04-20 2021-04-20 基于asr声学模型的嘴部动作驱动模型训练方法及组件

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110424520.5A CN113111813A (zh) 2021-04-20 2021-04-20 基于asr声学模型的嘴部动作驱动模型训练方法及组件

Publications (1)

Publication Number Publication Date
CN113111813A true CN113111813A (zh) 2021-07-13

Family

ID=76719334

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110424520.5A Pending CN113111813A (zh) 2021-04-20 2021-04-20 基于asr声学模型的嘴部动作驱动模型训练方法及组件

Country Status (1)

Country Link
CN (1) CN113111813A (zh)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107301864A (zh) * 2017-08-16 2017-10-27 重庆邮电大学 一种基于Maxout神经元的深度双向LSTM声学模型
CN110047121A (zh) * 2019-03-20 2019-07-23 北京字节跳动网络技术有限公司 端到端的动画生成方法、装置及电子设备
US20190392625A1 (en) * 2018-11-06 2019-12-26 Beijing Baidu Netcom Science and Technology Co., Ltd Method and apparatus for generating animation
CN111415677A (zh) * 2020-03-16 2020-07-14 北京字节跳动网络技术有限公司 用于生成视频的方法、装置、设备和介质
CN111933110A (zh) * 2020-08-12 2020-11-13 北京字节跳动网络技术有限公司 视频生成方法、生成模型训练方法、装置、介质及设备

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107301864A (zh) * 2017-08-16 2017-10-27 重庆邮电大学 一种基于Maxout神经元的深度双向LSTM声学模型
US20190392625A1 (en) * 2018-11-06 2019-12-26 Beijing Baidu Netcom Science and Technology Co., Ltd Method and apparatus for generating animation
CN110047121A (zh) * 2019-03-20 2019-07-23 北京字节跳动网络技术有限公司 端到端的动画生成方法、装置及电子设备
CN111415677A (zh) * 2020-03-16 2020-07-14 北京字节跳动网络技术有限公司 用于生成视频的方法、装置、设备和介质
CN111933110A (zh) * 2020-08-12 2020-11-13 北京字节跳动网络技术有限公司 视频生成方法、生成模型训练方法、装置、介质及设备

Similar Documents

Publication Publication Date Title
US10755701B2 (en) Method and apparatus for converting English speech information into text
CN108831437B (zh) 一种歌声生成方法、装置、终端和存储介质
CN111193834B (zh) 基于用户声音特征分析的人机交互方法、装置和电子设备
CN109637525B (zh) 用于生成车载声学模型的方法和装置
CN113111812A (zh) 一种嘴部动作驱动模型训练方法及组件
CN111916054B (zh) 基于唇形的语音生成方法、装置和系统及存储介质
CN110753238A (zh) 视频处理方法、装置、终端及存储介质
CN113205793B (zh) 音频生成方法、装置、存储介质及电子设备
CN113077537A (zh) 一种视频生成方法、存储介质及设备
CN110223365A (zh) 一种笔记生成方法、系统、装置及计算机可读存储介质
CN111653270B (zh) 语音处理方法、装置、计算机可读存储介质及电子设备
CN115497448A (zh) 语音动画的合成方法、装置、电子设备及存储介质
CN114255737B (zh) 语音生成方法、装置、电子设备
CN107239482B (zh) 一种将图像转换为音乐的处理方法及服务器
CN111916050A (zh) 语音合成方法、装置、存储介质和电子设备
CN111415662A (zh) 用于生成视频的方法、装置、设备和介质
CN113314096A (zh) 语音合成方法、装置、设备和存储介质
CN113111813A (zh) 基于asr声学模型的嘴部动作驱动模型训练方法及组件
CN113129925B (zh) 一种基于vc模型的嘴部动作驱动模型训练方法及组件
CN113205797B (zh) 虚拟主播生成方法、装置、计算机设备及可读存储介质
CN115240696A (zh) 一种语音识别方法及可读存储介质
CN113077536B (zh) 一种基于bert模型的嘴部动作驱动模型训练方法及组件
CN111477212A (zh) 内容识别、模型训练、数据处理方法、系统及设备
CN113990295A (zh) 一种视频生成方法和装置
CN111048065B (zh) 文本纠错数据生成方法及相关装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination