CN111883107A - 语音合成、特征提取模型训练方法、装置、介质及设备 - Google Patents

语音合成、特征提取模型训练方法、装置、介质及设备 Download PDF

Info

Publication number
CN111883107A
CN111883107A CN202010768365.4A CN202010768365A CN111883107A CN 111883107 A CN111883107 A CN 111883107A CN 202010768365 A CN202010768365 A CN 202010768365A CN 111883107 A CN111883107 A CN 111883107A
Authority
CN
China
Prior art keywords
target
acoustic feature
movement data
model
lip movement
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010768365.4A
Other languages
English (en)
Other versions
CN111883107B (zh
Inventor
殷翔
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing ByteDance Network Technology Co Ltd
Original Assignee
Beijing ByteDance Network Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing ByteDance Network Technology Co Ltd filed Critical Beijing ByteDance Network Technology Co Ltd
Priority to CN202010768365.4A priority Critical patent/CN111883107B/zh
Publication of CN111883107A publication Critical patent/CN111883107A/zh
Application granted granted Critical
Publication of CN111883107B publication Critical patent/CN111883107B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/02—Feature extraction for speech recognition; Selection of recognition unit
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G06V10/267—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion by performing operations on regions, e.g. growing, shrinking or watersheds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G06V40/165—Detection; Localisation; Normalisation using facial parts and geometric relationships
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/174—Facial expression recognition
    • G06V40/176—Dynamic expression
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L13/00—Speech synthesis; Text to speech systems
    • G10L13/02—Methods for producing synthetic speech; Speech synthesisers
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L13/00—Speech synthesis; Text to speech systems
    • G10L13/08—Text analysis or generation of parameters for speech synthesis out of text, e.g. grapheme to phoneme translation, prosody generation or stress or intonation determination
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/08—Speech classification or search
    • G10L15/16—Speech classification or search using artificial neural networks
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/24—Speech recognition using non-acoustical features
    • G10L15/25—Speech recognition using non-acoustical features using position of the lips, movement of the lips or face analysis
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/26—Speech to text systems
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/04—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using predictive techniques
    • G10L19/16—Vocoder architecture
    • G10L19/18—Vocoders using multiple modes
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/03—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the type of extracted parameters
    • G10L25/24—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the type of extracted parameters the extracted parameters being the cepstrum

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Computational Linguistics (AREA)
  • Human Computer Interaction (AREA)
  • Acoustics & Sound (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Biophysics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Computing Systems (AREA)
  • Molecular Biology (AREA)
  • Data Mining & Analysis (AREA)
  • Biomedical Technology (AREA)
  • Signal Processing (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Geometry (AREA)
  • Image Analysis (AREA)

Abstract

本公开涉及一种语音合成、特征提取模型训练方法、装置、介质及设备，所述语音合成方法包括：获取待处理的唇动数据；通过声学特征提取模型对所述唇动数据进行处理，以得到所述唇动数据对应的声学特征信息；根据所述声学特征信息进行语音合成，以得到与所述唇动数据对应的音频信息；其中，所述声学特征提取模型是通过将样本唇动数据对应的目标文本信息作为模型约束条件进行训练得到的。由此，可以一定程度上保证确定出的音频信息中语义连续性和准确性。该声学特征提取模型是基于文本信息对模型进行约束训练获得的，可以通过增加文本学习的辅助任务以提高该声学特征提取模型对不同的测试数据的适用，提高该声学特征提取模型的准确性和适用范围。

Description

语音合成、特征提取模型训练方法、装置、介质及设备
技术领域
本公开涉及语音合成技术领域，具体地，涉及一种语音合成、特征提取模型训练方法、装置、介质及设备。
背景技术
随着计算机技术的发展，语音合成技术的应用日益重要。为了提高语音合成的准确率，可以通过唇动数据进行识别，以获得该唇动数据对应的内容信息。现有技术中通常是基于统计模型，根据唇动图像和语音数据训练决策树，然后通过对决策树中的叶子节点进行聚类，确定出唇动图像和语音数据的映射关系。则之后可以根据唇动图像的类别追溯至叶子节点，采用聚类中心均值作为预测结果，从而确定该唇动图像对应的内容信息。通过上述方式，针对唇动图像的类别样本数量不一致的情况，容易出现内容信息识别不准确的问题，并且基于决策树的方式会忽略属性之间的相关性，识别出的内容信息之间的连续性较差。
发明内容
提供该发明内容部分以便以简要的形式介绍构思，这些构思将在后面的具体实施方式部分被详细描述。该发明内容部分并不旨在标识要求保护的技术方案的关键特征或必要特征，也不旨在用于限制所要求的保护的技术方案的范围。
第一方面，本公开提供一种语音合成方法，所述方法包括：
获取待处理的唇动数据；
通过声学特征提取模型对所述唇动数据进行处理，以得到所述唇动数据对应的声学特征信息；
根据所述声学特征信息进行语音合成，以得到与所述唇动数据对应的音频信息；其中，所述声学特征提取模型是通过将样本唇动数据对应的目标文本信息作为模型约束条件进行训练得到的。
第二方面，本公开提供一种声学特征提取模型训练方法，所述方法包括：
获取样本唇动数据、与所述样本唇动数据对应的目标声学特征信息和目标文本信息；
将所述样本唇动数据作为模型输入、将所述目标声学特征信息作为模型的目标输出、并将所述目标文本信息作为模型约束条件，对神经网络模型进行训练，以得到所述声学特征提取模型。
第三方面，本公开提供一种语音合成装置，所述装置包括：
第一获取模块，用于获取待处理的唇动数据；
处理模块，用于通过声学特征提取模型对所述唇动数据进行处理，以得到所述唇动数据对应的声学特征信息；
第一合成模块，用于根据所述声学特征信息进行语音合成，以得到与所述唇动数据对应的音频信息；其中，所述声学特征提取模型是通过将样本唇动数据对应的目标文本信息作为模型约束条件进行训练得到的。
第四方面，本公开提供一种声学特征提取模型训练装置，所述装置包括：
第二获取模块，用于获取样本唇动数据、与所述样本唇动数据对应的目标声学特征信息和目标文本信息；
训练模块，用于将所述样本唇动数据作为模型输入、将所述目标声学特征信息作为模型的目标输出、并将所述目标文本信息作为模型约束条件，对神经网络模型进行训练，以得到所述声学特征提取模型。
第五方面，本公开提供一种计算机可读介质，其上存储有计算机程序，该程序被处理装置执行时实现上述第一方面或第二方面任一所述方法的步骤。
第六方面，本公开提供一种电子设备，包括：
存储装置，其上存储有计算机程序；
处理装置，用于执行所述存储装置中的所述计算机程序，以实现上述第一方面或者第二方面任一所述方法的步骤。
在上述技术方案中，获取待处理的唇动数据，通过声学特征提取模型对所述唇动数据进行处理，以得到所述唇动数据对应的声学特征信息，从而可以根据所述声学特征信息进行语音合成，以得到与所述唇动数据对应的音频信息。并且上述过程中用于获得声学特征信息的声学特征提取模型是通过将样本唇动数据对应的目标文本信息作为模型约束条件进行训练得到的。由此，通过上述技术方案，基于该声学特征提取模型获得唇动数据对应的声学特征信息，一方面可以基于该声学特征提取模型快速且准确地确定出唇动数据的内容表征，另一方面，由于该声学特征提取模型是基于大量的自然用户的样本数据确定出的，在模型训练的过程中可以学习语义之间的关联性，从而也可以一定程度上保证确定出的声学特征信息对应内容表征的连续性，从而保证获得的音频信息中语义连续性。并且，该声学特征提取模型在训练时可以基于文本信息对模型进行约束，从而可以通过增加文本学习的辅助任务以提高该声学特征提取模型对不同的测试数据的适用，提高该声学特征提取模型的准确性和适用范围，从而保证获得的音频信息的准确性。另外，该方法可以便于生成声带受损以及残障人士等用户对应的音频信息，可以为用户的良好交互提供技术支持，便于用户使用，提升该语音合成方法的适用范围，提升用户使用体验。
本公开的其他特征和优点将在随后的具体实施方式部分予以详细说明。
附图说明
结合附图并参考以下具体实施方式，本公开各实施例的上述和其他特征、优点及方面将变得更加明显。贯穿附图中，相同或相似的附图标记表示相同或相似的元素。应当理解附图是示意性的，原件和元素不一定按照比例绘制。在附图中：
图1是根据本公开的一种实施方式提供的声学特征提取模型训练方法的流程图；
图2是根据本公开的一种实施方式提供的声学特征提取模型的示意图；
图3是根据根据本公开的一种实施方式提供的语音合成方法的流程图；
图4是根据本公开的一种实施方式提供的语音合成装置的框图；
图5是根据本公开的一种实施方式提供的声学特征提取模型训练装置的框图；
图6是实现本公开实施例的电子设备的结构示意图。
具体实施方式
下面将参照附图更详细地描述本公开的实施例。虽然附图中显示了本公开的某些实施例，然而应当理解的是，本公开可以通过各种形式来实现，而且不应该被解释为限于这里阐述的实施例，相反提供这些实施例是为了更加透彻和完整地理解本公开。应当理解的是，本公开的附图及实施例仅用于示例性作用，并非用于限制本公开的保护范围。
应当理解，本公开的方法实施方式中记载的各个步骤可以按照不同的顺序执行，和/或并行执行。此外，方法实施方式可以包括附加的步骤和/或省略执行示出的步骤。本公开的范围在此方面不受限制。
本文使用的术语“包括”及其变形是开放性包括，即“包括但不限于”。术语“基于”是“至少部分地基于”。术语“一个实施例”表示“至少一个实施例”；术语“另一实施例”表示“至少一个另外的实施例”；术语“一些实施例”表示“至少一些实施例”。其他术语的相关定义将在下文描述中给出。
需要注意，本公开中提及的“第一”、“第二”等概念仅用于对不同的装置、模块或单元进行区分，并非用于限定这些装置、模块或单元所执行的功能的顺序或者相互依存关系。
需要注意，本公开中提及的“一个”、“多个”的修饰是示意性而非限制性的，本领域技术人员应当理解，除非在上下文另有明确指出，否则应该理解为“一个或多个”。
本公开实施方式中的多个装置之间所交互的消息或者信息的名称仅用于说明性的目的，而并不是用于对这些消息或信息的范围进行限制。
为了解决背景技术中所提及的问题，本公开提供的实施例中通过训练一声学特征提取模型，从而基于该声学特征提取模型准确且便捷基于图像数据进行语音合成，便于用户使用。
以下，首先对本公开实施例中的声学特征提取模型的训练方式进行说明。
图1所示，为根据本公开的一种实施方式提供的声学特征提取模型训练方法的流程图，如图1所示，所述方法可以包括：
在步骤11中，获取样本唇动数据、与样本唇动数据对应的目标声学特征信息和目标文本信息。
在一实施例中，用户可以自行录制样本视频，例如可以将摄像装置面对用户人脸，通过该摄像装置获得用户朗读目标文本时的包含人脸图像的视频数据，则可以将该视频数据中的图像数据作为该样本唇动数据，并将该目标文本作为目标文本信息，并且，可以对录制的视频数据中的音频数据进行声学特征提取，将提取到的声学特征确定为该目标声学特征信息。示例地，声学特征信息可以为梅尔频谱(mel谱)特征。
在另一实施例中，在步骤11中，获取样本唇动数据、与样本唇动数据对应的目标声学特征信息和目标文本信息的示例性实现方式如下，该步骤可以包括：
获取样本视频数据，该样本视频数据可以是用户自行录制的视频数据，也可以是从新闻播音视频、直播视频、影视剧视频等视频中获取的包含人脸图像和音频的视频数据。
之后，确定样本视频数据中目标音频帧对应的多个图像帧。其中在样本视频数据中音频数据与图像数据是时间轴对齐的，则可以首先确定出音频数据的每一音频帧，通过确定每一音频帧对应的时段信息，可以将与该时段信息对应的图像帧确定为与该音频帧对应的图像帧，从而确定出音频数据中每一音频帧对应的多个图像帧。
在一实施例中，如该样本视频数据为新闻播音视频、直播视频等在视频数据中一直包含人脸图像的视频数据时，可以将确定出的每一音频帧均作为目标音频帧，也可以随机选择其中的部分音频帧作为目标音频帧。在另一实施例中，样本视频数据中包含影视剧视频时，由于在此类视频中可能出现当前时段存在音频但该时段对应的图像数据中并没有包含人脸图像的情况，因此，在该实施例中，可以确定该音频帧对应的多个图像帧中包含人脸图像的图像帧与总的图像帧的数量比值，在该数量比值超过预设的占比阈值时，将该音频帧确定为该目标音频帧。
作为示例，可以对每一图像帧进行人脸检测并提取包含唇部区域图像的人脸图像，将该多个人脸图像作为样本唇动数据。作为另一示例，可以提取每一所述图像帧中的唇部区域图像，并将提取到的多个所述唇部区域图像作为所述样本唇动数据。例如，可以通过人脸检测技术和面部图像分割技术提取图像帧中的唇部区域图像。可选地，在通过上述示例获得样本唇动数据时，为了便于后续用于声学特征提取模型时的训练收敛速度和准确性，可以将从图像帧中提取出的图像放大或缩小至预设分辨率，将处理后所得的多个预设分辨率的图像作为该样本唇动数据，从而便于对训练样本数据进行统一化处理。
上述方式可以从样本视频中获得样本唇动数据，则之后可以获取所述目标音频帧对应的文本信息，并将所述目标音频帧对应的文本信息确定为与所述目标文本信息。其中，该目标文本信息可以是如上文所述中，用户自行录制视频时朗读的文本，也可以是对样本视频数据的音频数据进行语音识别得出文本，从而根据目标音频帧的时段信息从该文本中确定该目标音频帧对应的文本信息，作为目标文本信息。
并且，提取所述目标音频帧的声学特征信息，并将提取到的所述声学特征信息确定为所述目标声学特征信息，由此可以对样本视频数据进行处理，以获得用于进行语言合成模型训练的样本数据。
由此，在上述实施例中，在确定用于对声学特征提取模型训练的样本数据时，可以根据样本视频数据确定出多个音频帧对应的样本数据，从而可以基于该样本数据进行帧级别的训练，可以提高样本数据的划分精度，从而可以一定程度上提高基于该样本数据训练得出的声学特征提取模型的精度和适用范围，提高声学特征提取模型的输出结果的准确性。
在步骤12中，将样本唇动数据作为模型输入、将目标声学特征信息作为模型的目标输出、并将目标文本信息作为模型约束条件，对神经网络模型进行训练，以得到声学特征提取模型。
其中，可以从多个样本唇动数据中的选择一样本唇动数据作为模型输入，则可以基于该神经网络模型得出与该样本唇动数据对应的声学特征信息，同时可以基于该神经网络模型得出与该样本唇动数据对应的文本信息，则可以结合该样本唇动数据对应的目标文本信息对该神经网络模型进行约束，使得通过该神经网络模型输出的声学特征信息更加接近模型的目标输出的同时，满足该神经网络模型的模型约束条件，以获得声学特征提取模型。
在上述技术方案中，获取样本唇动数据、与所述样本唇动数据对应的目标声学特征信息和目标文本信息，将所述样本唇动数据作为模型输入、将所述目标声学特征信息作为模型的目标输出、并将所述目标文本信息作为模型约束条件，对神经网络模型进行训练，以得到所述声学特征提取模型。由此，通过对神经网络模型训练得到声学特征提取模型，一方面在模型训练的过程中可以学习语义之间的关联性，从而也可以一定程度上保证确定出的声学特征信息对应内容表征的连续性，提高该声学特征提取模型的准确性；另一方面也可以拓宽该声学特征提取模型的适用范围。并且，在该技术方案中，既包含对神经网络模型的目标输出的学习，同时可以基于文本信息对模型进行约束，从而可以通过增加文本学习的辅助任务以提高该声学特征提取模型对不同的测试数据的适用，进一步提高该声学特征提取模型的准确性和适用范围，便于用户使用。
可选地，所述神经网络模型的损失值是根据第一损失值和第二损失值确定的，其中，所述第一损失值是根据所述目标声学特征信息和所述神经网络模型输出的与所述样本唇动数据对应的声学特征信息确定的，所述第二损失值是根据所述目标文本信息和所述神经网络模型输出的与所述样本唇动数据对应的文本信息确定的。
在该实施例中，将样本唇动数据输入至神经网络模型得出该样本唇动数据对应的声学特征信息和文本信息，可以根据目标声学特征信息和神经网络模型输出的与样本唇动数据对应的声学特征信息确定第一损失值，示例地，可以通过RMSE均方根误差计算该第一损失值；并且，可以根据目标文本信息和神经网络模型输出的与样本唇动数据对应的文本信息计算第二损失值，示例地，可以通过softmax cross entropy交叉熵的方式计算该第二损失值。其中，第一损失值的计算方式和第二损失值的计算方式可以根据实际使用场景进行选择，可以相同，也可以不同，本公开对此不进行限定。
由此，在上述技术方案中，在确定神经网络模型的损失值以对神经网络模型进行训练时，不仅考虑了神经网络模型的学习目标即声学特征信息的损失，同时考虑了文本信息的约束，即同时获得了文本信息的损失值，从而可以根据两者综合确定该神经网络模型的损失，从而可以使得后续基于神经网络模型的损失值调整该神经网络模型的模型参数时，可以使得该神经网络模型更快、更准确的收敛，既可以提高神经网络模型的训练效率，又可以训练得出的声学特征提取模型的准确度。并且，在上述过程中综合考虑声学特征信息和文本信息的损失，可以一定程度上降低训练数据与测试数据出现偏差时，声学特征提取模型准确度的影响，从而可以提高训练得出的声学特征提取模型的泛化性，提高声学特征提取模型的应用范围。
可选地，如图2所示，所述神经网络模型包括第一子模型和第二子模型；
其中，所述第一子模型为包含多层三维卷积层的循环神经网络模型，用于对所述样本唇动数据进行特征编码，获得所述样本唇动数据对应的目标编码信息；所述第二子模型为包含多层一维卷积层、且具有单调注意力机制的自回归高斯混合神经网络模型，用于将所述目标编码信息解码为声学特征信息和文本信息。
其中，第一子模型用于对样本唇动数据进行特征编码，其可以包括嵌入层(即Embedding层)、预处理网络(Pre-net)子模型和CBHG(Convolution Bank+Highway network+bidirectional Gated Recurrent Unit，即，卷积层+高速网络+双向递归神经网络，也就是说，CBHG由卷积层、高速网络以及双向递归神经网络组成)子模型。嵌入层可以将样本唇动数据转换成向量，然后将该向量输入至Pre-net子模型，以对向量进行非线性变换，从而提升模型的收敛和泛化能力，最后，通过CBHG子模型根据非线性变换后的向量，获得相应的目标编码信息。其中，上述CBHG子模型的卷积层可以为三维卷积层，以便于在时间和空间维度上进行卷积操作，在获取样本唇动数据中每一帧的唇动特征的同时，也能表达相邻帧随时间推移的关联与变化，以便保证唇动特征的关联性和连续性。
其中，第二子模型用于对样本唇动数据的目标编码信息进行解码，示例地，可以采用高斯单调注意力GMM(Gaussian Mixture Model)monotonic attention机制进行解码，以保证解码获得声学特征信息的有序性，获得向量表征。该第二子模型中也可以包括预处理网络Pre-net子模型、Attention-RNN(Recurrent Neural Network)、Decoder-RNN以及后处理网络(post-processing-net，postnet)，其中，该后处理网络通过多层一维卷积层形成。其中，该Pre-net的结构与第一子模型中的Pre-net的结构相同，用于对输入的先前帧做一些非线性变换。Attention-RNN的结构可以为一层单向的、基于zoneout的LSTM，Decode-RNN可以为两层单向的、基于zoneout的LSTM，得出当前的输出值，之后，将输出值送入postnet。postnet可以为5层一维卷积网层形成的网络，它可以用于对Decode-RNN的输出进行预测，以分别获得文本信息和声学特征信息。
由此通过上述技术方案，通过多层三维卷积的循环神经网络模型对所述样本唇动数据进行特征编码，既可以保证对样本唇动数据中的每一帧图像的唇动特征提取的准确性，又可以保证对相邻帧的唇动特征之间的关联性的考量，从而可以保证获得的目标编码信息的准确性和全面性。并且，基于单调注意力机制，可以保证解码获得声学特征信息的有序性，从而提高语音合成的准确度和可懂性。另外通过多层一维卷积层可以预测声学特征信息和文本信息，则可以基于该文本信息对该神经网络模型进行约束，提高神经网络模型的训练效率和准确度。
本公开还提供一种语音合成方法，如图3所示，所述方法包括：
在步骤31中，获取待处理的唇动数据。
示例地，获取待处理的唇动数据可以基于获得的包含用户人脸图像的视频数据进行人脸图像提取，从而将获得的多个人脸图像作为该待处理的唇动数据。作为另一示例，获取待处理的唇动数据可以是：获取待处理的视频数据；提取所述视频数据的多个图像帧中的唇部区域图像，并将提取到的多个所述唇部区域图像作为所述唇动数据。其中，对唇部区域图像进行提取的方式已在上文进行详细说明。
作为另一示例，在对视频数据通过上述任一方式进行提取后所获得图像放大或缩小至预设分辨率，从而将获得的预设分辨率的图像确定为该待处理的唇动数据，以保证声学特征提取模型输入数据的统一。
在步骤32中，通过声学特征提取模型对唇动数据进行处理，以得到唇动数据对应的声学特征信息。其中，所述声学特征提取模型是通过将样本唇动数据对应的目标文本信息作为模型约束条件进行训练得到的。示例地，所述声学特征提取模型通过如下方式训练得到：获取样本唇动数据、与所述样本唇动数据对应的目标声学特征信息和目标文本信息；将所述样本唇动数据作为模型输入、将所述目标声学特征信息作为模型的目标输出、并将所述目标文本信息作为模型约束条件，对神经网络模型进行训练，以得到所述声学特征提取模型。
其中，声学特征提取模型的具体训练方式已在上文进行详细说明，在此不再赘述。示例地，该声学特征信息为用于生成语音的特征信息，如mel谱，声谱等。在该步骤中，可以通过声学特征提取模型对唇动数据进行解析，从而可以获得该唇动数据对应的声学特征信息，即通过该声学特征信息表征该唇动数据包含的内容。
在步骤33中，根据声学特征信息进行语音合成，以得到与唇动数据对应的音频信息。
示例地，可以根据声学特征信息输入声码器(Vocoder)进行语音合成，从而获得该音频信息。其中，该声码器可以为神经网络声码器，例如可以通过录制样本音频，提取该样本音频的声学特征信息，以基于该提取出的声学特征信息和录制的样本音频进行神经网络声码器的训练。声码器可以为Wavenet、Griffin-Lim、单层循环神经网络模型WaveRNN等，以获取更好的音质，达到与真人讲话接近的音质效果。
在上述技术方案中，获取待处理的唇动数据，通过声学特征提取模型对所述唇动数据进行处理，以得到所述唇动数据对应的声学特征信息，从而可以根据所述声学特征信息进行语音合成，以得到与所述唇动数据对应的音频信息。并且上述过程中用于获得声学特征信息的声学特征提取模型是通过将样本唇动数据对应的目标文本信息作为模型约束条件进行训练得到的。由此，通过上述技术方案，基于该声学特征提取模型获得唇动数据对应的声学特征信息，一方面可以基于该声学特征提取模型快速且准确地确定出唇动数据的内容表征，另一方面，由于该声学特征提取模型是基于大量的自然用户的样本数据确定出的，在模型训练的过程中可以学习语义之间的关联性，从而也可以一定程度上保证确定出的声学特征信息对应内容表征的连续性，从而保证获得的音频信息中语义连续性。并且，该声学特征提取模型在训练时可以基于文本信息对模型进行约束，从而可以通过增加文本学习的辅助任务以提高该声学特征提取模型对不同的测试数据的适用，提高该声学特征提取模型的准确性和适用范围，从而保证获得的音频信息的准确性。另外，该方法可以便于生成声带受损以及残障人士等用户对应的音频信息，可以为用户的良好交互提供技术支持，便于用户使用，提升该语音合成方法的适用范围，提升用户使用体验。
可选地，在训练所述神经网络模型的过程中，所述神经网络模型的损失值是根据第一损失值和第二损失值确定的，其中，所述第一损失值是根据所述目标声学特征信息和所述神经网络模型输出的与所述样本唇动数据对应的声学特征信息确定的，所述第二损失值是根据所述目标文本信息和所述神经网络模型输出的与所述样本唇动数据对应的文本信息确定的。
可选地，所述获取样本唇动数据、与所述样本唇动数据对应的目标声学特征信息和目标文本信息的示例性实现方式如下，该步骤可以包括：
获取样本视频数据；
确定所述样本视频数据中目标音频帧对应的多个图像帧；
提取每一所述图像帧中的唇部区域图像，并将提取到的多个所述唇部区域图像作为所述样本唇动数据；
获取所述目标音频帧对应的文本信息，并将所述目标音频帧对应的文本信息确定为与所述目标文本信息；
提取所述目标音频帧的声学特征信息，并将提取到的所述声学特征信息确定为所述目标声学特征信息。
可选地，所述神经网络模型包括第一子模型和第二子模型；
其中，所述第一子模型为包含多层三维卷积层的循环神经网络模型，用于对所述样本唇动数据进行特征编码，获得所述样本唇动数据对应的目标编码信息；所述第二子模型为包含多层一维卷积层、且具有单调注意力机制的自回归高斯混合神经网络模型，用于将所述目标编码信息解码为声学特征信息和文本信息。
其中，上述步骤的具体实现方式已在上文中进行详细说明，在此不再赘述。
可选地，所述方法还包括：播放所述音频信息。示例地，该方法可以用用于声带受损人士的实时对话场景中，则用户可以面对摄像装置进行口型讲话，则通过上述步骤可以获取待处理的唇动数据，从而可以对该唇动数据进行处理，从而获得音频信息。则该场景中，可以实时输出该音频信息，从而使得该用户的唇语可以被其他用户听懂，使得不懂唇语的用户可以通过上述方式获知讲唇语的用户的说话内容，便于用户之间的交流，提升用户使用体验。
可选地，所述方法还包括：
将所述音频信息合成到所述视频数据中，以生成目标视频数据。
示例地，在一种应用场景中，在声带受损的用户录制视频信时，其可能需要其他用户帮其进行配音，从而完成视频信的录制。在该应用场景下，本公开中通过对该用户录制的人脸图像中的唇动数据进行处理，从而可以根据该唇动数据获得对应的音频信息，之后将该音频信息合成到该视频数据中，从而可以自动生成用户的语音数据，并且添加至该视频数据中，自动化完成用户视频信的录制，便于用户使用。作为示例，将所述音频信息合成到所述视频数据中，以生成目标视频数据，可以是将该音频信息作为一个音轨添加至该视频数据中，可以保留该视频数据中原有的音频信息，如背景音乐，保证视频数据的完整性。
作为另一示例，在另一应用场景中，在视频配音篡改的应用场景中，将所述音频信息合成到所述视频数据中，以生成目标视频数据，可以是将该音频信息替换视频数据中原有的音频信息，从而实现视频中人物对话的原始内容，实现视频数据的还原。
其中，将所述音频信息合成到所述视频数据中，以生成目标视频数据的方式，用户可以根据实际使用场景进行预先设置，从而在合成时可以根据用户设置的方式进行合成，保证生成的目标视频数据为用户所需的视频数据。
由此，通过上述技术方案，可以基于该生成的音频信息重新生成新的视频数据，在该新生成的视频数据中可以包含对应的音频信息，通过该音频信息提示用户该视频数据中的内容信息，一方面便于观看视频的用户方便地了解视频内容，另一方面可以简化用户交互的过程，提升用户使用体验。
本公开还提供一种语音合成装置，如图4所示，所述装置40包括：
第一获取模块41，用于获取待处理的唇动数据；
处理模块42，用于通过声学特征提取模型对所述唇动数据进行处理，以得到所述唇动数据对应的声学特征信息；
第一合成模块43，用于根据所述声学特征信息进行语音合成，以得到与所述唇动数据对应的音频信息；其中，所述声学特征提取模型是通过将样本唇动数据对应的目标文本信息作为模型约束条件进行训练得到的。
可选地，所述声学特征提取模型通过如下方式训练得到：
获取样本唇动数据、与所述样本唇动数据对应的目标声学特征信息和目标文本信息；
将所述样本唇动数据作为模型输入、将所述目标声学特征信息作为模型的目标输出、并将所述目标文本信息作为模型约束条件，对神经网络模型进行训练，以得到所述声学特征提取模型。
可选地，在训练所述神经网络模型的过程中，所述神经网络模型的损失值是根据第一损失值和第二损失值确定的，其中，所述第一损失值是根据所述目标声学特征信息和所述神经网络模型输出的与所述样本唇动数据对应的声学特征信息确定的，所述第二损失值是根据所述目标文本信息和所述神经网络模型输出的与所述样本唇动数据对应的文本信息确定的。
可选地，所述获取样本唇动数据、与所述样本唇动数据对应的目标声学特征信息和目标文本信息，包括：
获取样本视频数据；
确定所述样本视频数据中目标音频帧对应的多个图像帧；
提取每一所述图像帧中的唇部区域图像，并将提取到的多个所述唇部区域图像作为所述样本唇动数据；
获取所述目标音频帧对应的文本信息，并将所述目标音频帧对应的文本信息确定为与所述目标文本信息；
提取所述目标音频帧的声学特征信息，并将提取到的所述声学特征信息确定为所述目标声学特征信息。
可选地，所述神经网络模型包括第一子模型和第二子模型；
其中，所述第一子模型为包含多层三维卷积层的循环神经网络模型，用于对所述样本唇动数据进行特征编码，获得所述样本唇动数据对应的目标编码信息；所述第二子模型为包含多层一维卷积层、且具有单调注意力机制的自回归高斯混合神经网络模型，用于将所述目标编码信息解码为声学特征信息和文本信息。
可选地，所述第一获取模块包括：
第一获取子模块，用于获取待处理的视频数据；
第一提取子模块，用于提取所述视频数据的多个图像帧中的唇部区域图像，并将提取到的多个所述唇部区域图像作为所述唇动数据。
可选地，所述装置还包括：
第二合成模块，用于将所述音频信息合成到所述视频数据中，以生成目标视频数据。
可选地，本公开还提供一种声学特征提取模型训练装置，如图5所示，所述装置50包括：
第二获取模块51，用于获取样本唇动数据、与所述样本唇动数据对应的目标声学特征信息和目标文本信息；
训练模块52，用于将所述样本唇动数据作为模型输入、将所述目标声学特征信息作为模型的目标输出、并将所述目标文本信息作为模型约束条件，对神经网络模型进行训练，以得到所述声学特征提取模型。
可选地，所述神经网络模型的损失值是根据第一损失值和第二损失值确定的，其中，所述第一损失值是根据所述目标声学特征信息和所述神经网络模型输出的与所述样本唇动数据对应的声学特征信息确定的，所述第二损失值是根据所述目标文本信息和所述神经网络模型输出的与所述样本唇动数据对应的文本信息确定的。
可选地，所述第二获取模块包括：
第二获取子模块，用于获取样本视频数据；
第一确定子模块，用于确定所述样本视频数据中目标音频帧对应的多个图像帧；
第二提取子模块，用于提取每一所述图像帧中的唇部区域图像，并将提取到的多个所述唇部区域图像作为所述样本唇动数据；
第三获取子模块，用于获取所述目标音频帧对应的文本信息，并将所述目标音频帧对应的文本信息确定为与所述目标文本信息；
第二确定子模块，用于提取所述目标音频帧的声学特征信息，并将提取到的所述声学特征信息确定为所述目标声学特征信息。
可选地，所述神经网络模型包括第一子模型和第二子模型；
其中，所述第一子模型为包含多层三维卷积层的循环神经网络模型，用于对所述样本唇动数据进行特征编码，获得所述样本唇动数据对应的目标编码信息；所述第二子模型为包含多层一维卷积层、且具有单调注意力机制的自回归高斯混合神经网络模型，用于将所述目标编码信息解码为声学特征信息和文本信息。
下面参考图6，其示出了适于用来实现本公开实施例的电子设备600的结构示意图。本公开实施例中的终端设备可以包括但不限于诸如移动电话、笔记本电脑、数字广播接收器、PDA(个人数字助理)、PAD(平板电脑)、PMP(便携式多媒体播放器)、车载终端(例如车载导航终端)等等的移动终端以及诸如数字TV、台式计算机等等的固定终端。图6示出的电子设备仅仅是一个示例，不应对本公开实施例的功能和使用范围带来任何限制。
如图6所示，电子设备600可以包括处理装置(例如中央处理器、图形处理器等)601，其可以根据存储在只读存储器(ROM)602中的程序或者从存储装置608加载到随机访问存储器(RAM)603中的程序而执行各种适当的动作和处理。在RAM 603中，还存储有电子设备600操作所需的各种程序和数据。处理装置601、ROM 602以及RAM 603通过总线604彼此相连。输入/输出(I/O)接口605也连接至总线604。
通常，以下装置可以连接至I/O接口605：包括例如触摸屏、触摸板、键盘、鼠标、摄像头、麦克风、加速度计、陀螺仪等的输入装置606；包括例如液晶显示器(LCD)、扬声器、振动器等的输出装置607；包括例如磁带、硬盘等的存储装置608；以及通信装置609。通信装置609可以允许电子设备600与其他设备进行无线或有线通信以交换数据。虽然图6示出了具有各种装置的电子设备600，但是应理解的是，并不要求实施或具备所有示出的装置。可以替代地实施或具备更多或更少的装置。
特别地，根据本公开的实施例，上文参考流程图描述的过程可以被实现为计算机软件程序。例如，本公开的实施例包括一种计算机程序产品，其包括承载在非暂态计算机可读介质上的计算机程序，该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中，该计算机程序可以通过通信装置609从网络上被下载和安装，或者从存储装置608被安装，或者从ROM 602被安装。在该计算机程序被处理装置601执行时，执行本公开实施例的方法中限定的上述功能。
需要说明的是，本公开上述的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本公开中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。而在本公开中，计算机可读信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读信号介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于：电线、光缆、RF(射频)等等，或者上述的任意合适的组合。
在一些实施方式中，客户端、服务器可以利用诸如HTTP(HyperText TransferProtocol，超文本传输协议)之类的任何当前已知或未来研发的网络协议进行通信，并且可以与任意形式或介质的数字数据通信(例如，通信网络)互连。通信网络的示例包括局域网(“LAN”)，广域网(“WAN”)，网际网(例如，互联网)以及端对端网络(例如，ad hoc端对端网络)，以及任何当前已知或未来研发的网络。
上述计算机可读介质可以是上述电子设备中所包含的；也可以是单独存在，而未装配入该电子设备中。
上述计算机可读介质承载有一个或者多个程序，当上述一个或者多个程序被该电子设备执行时，使得该电子设备：获取待处理的唇动数据；通过声学特征提取模型对所述唇动数据进行处理，以得到所述唇动数据对应的声学特征信息；根据所述声学特征信息进行语音合成，以得到与所述唇动数据对应的音频信息；其中，所述声学特征提取模型是通过将样本唇动数据对应的目标文本信息作为模型约束条件进行训练得到的。
可以以一种或多种程序设计语言或其组合来编写用于执行本公开的操作的计算机程序代码，上述程序设计语言包括但不限于面向对象的程序设计语言—诸如Java、Smalltalk、C++，还包括常规的过程式程序设计语言——诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络——包括局域网(LAN)或广域网(WAN)——连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。
附图中的流程图和框图，图示了按照本公开各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，该模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
描述于本公开实施例中所涉及到的模块可以通过软件的方式实现，也可以通过硬件的方式来实现。其中，模块的名称在某种情况下并不构成对该模块本身的限定，例如，第一获取模块还可以被描述为“获取待处理的唇动数据的模块”。
本文中以上描述的功能可以至少部分地由一个或多个硬件逻辑部件来执行。例如，非限制性地，可以使用的示范类型的硬件逻辑部件包括：现场可编程门阵列(FPGA)、专用集成电路(ASIC)、专用标准产品(ASSP)、片上系统(SOC)、复杂可编程逻辑设备(CPLD)等等。
在本公开的上下文中，机器可读介质可以是有形的介质，其可以包含或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的程序。机器可读介质可以是机器可读信号介质或机器可读储存介质。机器可读介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备，或者上述内容的任何合适组合。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM或快闪存储器)、光纤、便捷式紧凑盘只读存储器(CD-ROM)、光学储存设备、磁储存设备、或上述内容的任何合适组合。
根据本公开的一个或多个实施例，示例1提供了一种语音合成方法，其中，所述方法包括：
获取待处理的唇动数据；
通过声学特征提取模型对所述唇动数据进行处理，以得到所述唇动数据对应的声学特征信息；
根据所述声学特征信息进行语音合成，以得到与所述唇动数据对应的音频信息；其中，所述声学特征提取模型是通过将样本唇动数据对应的目标文本信息作为模型约束条件进行训练得到的。
根据本公开的一个或多个实施例，示例2提供了示例1的方法，其中，所述声学特征提取模型通过如下方式训练得到：
获取样本唇动数据、与所述样本唇动数据对应的目标声学特征信息和目标文本信息；
将所述样本唇动数据作为模型输入、将所述目标声学特征信息作为模型的目标输出、并将所述目标文本信息作为模型约束条件，对神经网络模型进行训练，以得到所述声学特征提取模型。
根据本公开的一个或多个实施例，示例3提供了示例2的方法，其中，在训练所述神经网络模型的过程中，所述神经网络模型的损失值是根据第一损失值和第二损失值确定的，其中，所述第一损失值是根据所述目标声学特征信息和所述神经网络模型输出的与所述样本唇动数据对应的声学特征信息确定的，所述第二损失值是根据所述目标文本信息和所述神经网络模型输出的与所述样本唇动数据对应的文本信息确定的。
根据本公开的一个或多个实施例，示例4提供了示例2的方法，其中，所述获取样本唇动数据、与所述样本唇动数据对应的目标声学特征信息和目标文本信息，包括：
获取样本视频数据；
确定所述样本视频数据中目标音频帧对应的多个图像帧；
提取每一所述图像帧中的唇部区域图像，并将提取到的多个所述唇部区域图像作为所述样本唇动数据；
获取所述目标音频帧对应的文本信息，并将所述目标音频帧对应的文本信息确定为与所述目标文本信息；
提取所述目标音频帧的声学特征信息，并将提取到的所述声学特征信息确定为所述目标声学特征信息。
根据本公开的一个或多个实施例，示例5提供了示例2-4中任一示例的方法，其中，所述神经网络模型包括第一子模型和第二子模型；
其中，所述第一子模型为包含多层三维卷积层的循环神经网络模型，用于对所述样本唇动数据进行特征编码，获得所述样本唇动数据对应的目标编码信息；所述第二子模型为包含多层一维卷积层、且具有单调注意力机制的自回归高斯混合神经网络模型，用于将所述目标编码信息解码为声学特征信息和文本信息。
根据本公开的一个或多个实施例，示例6提供了示例1的方法，其中，所述获取待处理的唇动数据，包括：
获取待处理的视频数据；
提取所述视频数据的多个图像帧中的唇部区域图像，并将提取到的多个所述唇部区域图像作为所述唇动数据。
根据本公开的一个或多个实施例，示例7提供了示例6的方法，其中，所述方法还包括：
将所述音频信息合成到所述视频数据中，以生成目标视频数据。
根据本公开的一个或多个实施例，示例8提供了一种声学特征提取模型训练方法，其中，所述方法包括：
获取样本唇动数据、与所述样本唇动数据对应的目标声学特征信息和目标文本信息；
将所述样本唇动数据作为模型输入、将所述目标声学特征信息作为模型的目标输出、并将所述目标文本信息作为模型约束条件，对神经网络模型进行训练，以得到所述声学特征提取模型。
根据本公开的一个或多个实施例，示例9提供了示例8的方法，其中，所述神经网络模型的损失值是根据第一损失值和第二损失值确定的，其中，所述第一损失值是根据所述目标声学特征信息和所述神经网络模型输出的与所述样本唇动数据对应的声学特征信息确定的，所述第二损失值是根据所述目标文本信息和所述神经网络模型输出的与所述样本唇动数据对应的文本信息确定的。
根据本公开的一个或多个实施例，示例10提供了示例8的方法，其中，所述获取样本唇动数据、与所述样本唇动数据对应的目标声学特征信息和目标文本信息，包括：
获取样本视频数据；
确定所述样本视频数据中目标音频帧对应的多个图像帧；
提取每一所述图像帧中的唇部区域图像，并将提取到的多个所述唇部区域图像作为所述样本唇动数据；
获取所述目标音频帧对应的文本信息，并将所述目标音频帧对应的文本信息确定为与所述目标文本信息；
提取所述目标音频帧的声学特征信息，并将提取到的所述声学特征信息确定为所述目标声学特征信息。
根据本公开的一个或多个实施例，示例11提供了示例8-10中任一示例的方法，其中，所述神经网络模型包括第一子模型和第二子模型；
其中，所述第一子模型为包含多层三维卷积层的循环神经网络模型，用于对所述样本唇动数据进行特征编码，获得所述样本唇动数据对应的目标编码信息；所述第二子模型为包含多层一维卷积层、且具有单调注意力机制的自回归高斯混合神经网络模型，用于将所述目标编码信息解码为声学特征信息和文本信息。
根据本公开的一个或多个实施例，示例12提供了一种语音合成装置，其中，所述装置包括：
第一获取模块，用于获取待处理的唇动数据；
处理模块，用于通过声学特征提取模型对所述唇动数据进行处理，以得到所述唇动数据对应的声学特征信息；
第一合成模块，用于根据所述声学特征信息进行语音合成，以得到与所述唇动数据对应的音频信息；其中，所述声学特征提取模型是通过将样本唇动数据对应的目标文本信息作为模型约束条件进行训练得到的。
根据本公开的一个或多个实施例，示例13提供了一种声学特征提取模型训练装置，其中，所述装置包括：
第二获取模块，用于获取样本唇动数据、与所述样本唇动数据对应的目标声学特征信息和目标文本信息；
训练模块，用于将所述样本唇动数据作为模型输入、将所述目标声学特征信息作为模型的目标输出、并将所述目标文本信息作为模型约束条件，对神经网络模型进行训练，以得到所述声学特征提取模型。
根据本公开的一个或多个实施例，示例14提供了一种计算机可读介质，其上存储有计算机程序，其特征在于，该程序被处理装置执行时实现上述示例1-11中任一示例所述方法的步骤。
根据本公开的一个或多个实施例，示例15提供了一种电子设备，其中，包括：
存储装置，其上存储有计算机程序；
处理装置，用于执行所述存储装置中的所述计算机程序，以实现上述示例1-11中任一示例所述方法的步骤
以上描述仅为本公开的较佳实施例以及对所运用技术原理的说明。本领域技术人员应当理解，本公开中所涉及的公开范围，并不限于上述技术特征的特定组合而成的技术方案，同时也应涵盖在不脱离上述公开构思的情况下，由上述技术特征或其等同特征进行任意组合而形成的其它技术方案。例如上述特征与本公开中公开的(但不限于)具有类似功能的技术特征进行互相替换而形成的技术方案。
此外，虽然采用特定次序描绘了各操作，但是这不应当理解为要求这些操作以所示出的特定次序或以顺序次序执行来执行。在一定环境下，多任务和并行处理可能是有利的。同样地，虽然在上面论述中包含了若干具体实现细节，但是这些不应当被解释为对本公开的范围的限制。在单独的实施例的上下文中描述的某些特征还可以组合地实现在单个实施例中。相反地，在单个实施例的上下文中描述的各种特征也可以单独地或以任何合适的子组合的方式实现在多个实施例中。
尽管已经采用特定于结构特征和/或方法逻辑动作的语言描述了本主题，但是应当理解所附权利要求书中所限定的主题未必局限于上面描述的特定特征或动作。相反，上面所描述的特定特征和动作仅仅是实现权利要求书的示例形式。关于上述实施例中的装置，其中各个模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述，此处将不做详细阐述说明。

Claims (15)

1.一种语音合成方法，其特征在于，所述方法包括：
获取待处理的唇动数据；
通过声学特征提取模型对所述唇动数据进行处理，以得到所述唇动数据对应的声学特征信息；
根据所述声学特征信息进行语音合成，以得到与所述唇动数据对应的音频信息；其中，所述声学特征提取模型是通过将样本唇动数据对应的目标文本信息作为模型约束条件进行训练得到的。
2.根据权利要求1所述的方法，其特征在于，所述声学特征提取模型通过如下方式训练得到：
获取样本唇动数据、与所述样本唇动数据对应的目标声学特征信息和目标文本信息；
将所述样本唇动数据作为模型输入、将所述目标声学特征信息作为模型的目标输出、并将所述目标文本信息作为模型约束条件，对神经网络模型进行训练，以得到所述声学特征提取模型。
3.根据权利要求2所述的方法，其特征在于，在训练所述神经网络模型的过程中，所述神经网络模型的损失值是根据第一损失值和第二损失值确定的，其中，所述第一损失值是根据所述目标声学特征信息和所述神经网络模型输出的与所述样本唇动数据对应的声学特征信息确定的，所述第二损失值是根据所述目标文本信息和所述神经网络模型输出的与所述样本唇动数据对应的文本信息确定的。
4.根据权利要求2所述的方法，其特征在于，所述获取样本唇动数据、与所述样本唇动数据对应的目标声学特征信息和目标文本信息，包括：
获取样本视频数据；
确定所述样本视频数据中目标音频帧对应的多个图像帧；
提取每一所述图像帧中的唇部区域图像，并将提取到的多个所述唇部区域图像作为所述样本唇动数据；
获取所述目标音频帧对应的文本信息，并将所述目标音频帧对应的文本信息确定为与所述目标文本信息；
提取所述目标音频帧的声学特征信息，并将提取到的所述声学特征信息确定为所述目标声学特征信息。
5.根据权利要求2-4中任一项所述的方法，其特征在于，所述神经网络模型包括第一子模型和第二子模型；
其中，所述第一子模型为包含多层三维卷积层的循环神经网络模型，用于对所述样本唇动数据进行特征编码，获得所述样本唇动数据对应的目标编码信息；所述第二子模型为包含多层一维卷积层、且具有单调注意力机制的自回归高斯混合神经网络模型，用于将所述目标编码信息解码为声学特征信息和文本信息。
6.根据权利要求1所述的方法，其特征在于，所述获取待处理的唇动数据，包括：
获取待处理的视频数据；
提取所述视频数据的多个图像帧中的唇部区域图像，并将提取到的多个所述唇部区域图像作为所述唇动数据。
7.根据权利要求6所述的方法，其特征在于，所述方法还包括：
将所述音频信息合成到所述视频数据中，以生成目标视频数据。
8.一种声学特征提取模型训练方法，其特征在于，所述方法包括：
获取样本唇动数据、与所述样本唇动数据对应的目标声学特征信息和目标文本信息；
将所述样本唇动数据作为模型输入、将所述目标声学特征信息作为模型的目标输出、并将所述目标文本信息作为模型约束条件，对神经网络模型进行训练，以得到所述声学特征提取模型。
9.根据权利要求8所述的方法，其特征在于，所述神经网络模型的损失值是根据第一损失值和第二损失值确定的，其中，所述第一损失值是根据所述目标声学特征信息和所述神经网络模型输出的与所述样本唇动数据对应的声学特征信息确定的，所述第二损失值是根据所述目标文本信息和所述神经网络模型输出的与所述样本唇动数据对应的文本信息确定的。
10.根据权利要求8所述的方法，其特征在于，所述获取样本唇动数据、与所述样本唇动数据对应的目标声学特征信息和目标文本信息，包括：
获取样本视频数据；
确定所述样本视频数据中目标音频帧对应的多个图像帧；
提取每一所述图像帧中的唇部区域图像，并将提取到的多个所述唇部区域图像作为所述样本唇动数据；
获取所述目标音频帧对应的文本信息，并将所述目标音频帧对应的文本信息确定为与所述目标文本信息；
提取所述目标音频帧的声学特征信息，并将提取到的所述声学特征信息确定为所述目标声学特征信息。
11.根据权利要求8-10中任一项所述的方法，其特征在于，所述神经网络模型包括第一子模型和第二子模型；
其中，所述第一子模型为包含多层三维卷积层的循环神经网络模型，用于对所述样本唇动数据进行特征编码，获得所述样本唇动数据对应的目标编码信息；所述第二子模型为包含多层一维卷积层、且具有单调注意力机制的自回归高斯混合神经网络模型，用于将所述目标编码信息解码为声学特征信息和文本信息。
12.一种语音合成装置，其特征在于，所述装置包括：
第一获取模块，用于获取待处理的唇动数据；
处理模块，用于通过声学特征提取模型对所述唇动数据进行处理，以得到所述唇动数据对应的声学特征信息；
第一合成模块，用于根据所述声学特征信息进行语音合成，以得到与所述唇动数据对应的音频信息；其中，所述声学特征提取模型是通过将样本唇动数据对应的目标文本信息作为模型约束条件进行训练得到的。
13.一种声学特征提取模型训练装置，其特征在于，所述装置包括：
第二获取模块，用于获取样本唇动数据、与所述样本唇动数据对应的目标声学特征信息和目标文本信息；
训练模块，用于将所述样本唇动数据作为模型输入、将所述目标声学特征信息作为模型的目标输出、并将所述目标文本信息作为模型约束条件，对神经网络模型进行训练，以得到所述声学特征提取模型。
14.一种计算机可读介质，其上存储有计算机程序，其特征在于，该程序被处理装置执行时实现权利要求1-11中任一项所述方法的步骤。
15.一种电子设备，其特征在于，包括：
存储装置，其上存储有计算机程序；
处理装置，用于执行所述存储装置中的所述计算机程序，以实现权利要求1-11中任一项所述方法的步骤。
CN202010768365.4A 2020-08-03 2020-08-03 语音合成、特征提取模型训练方法、装置、介质及设备 Active CN111883107B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010768365.4A CN111883107B (zh) 2020-08-03 2020-08-03 语音合成、特征提取模型训练方法、装置、介质及设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010768365.4A CN111883107B (zh) 2020-08-03 2020-08-03 语音合成、特征提取模型训练方法、装置、介质及设备

Publications (2)

Publication Number Publication Date
CN111883107A true CN111883107A (zh) 2020-11-03
CN111883107B CN111883107B (zh) 2022-09-16

Family

ID=73205172

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010768365.4A Active CN111883107B (zh) 2020-08-03 2020-08-03 语音合成、特征提取模型训练方法、装置、介质及设备

Country Status (1)

Country Link
CN (1) CN111883107B (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113077536A (zh) * 2021-04-20 2021-07-06 深圳追一科技有限公司 一种基于bert模型的嘴部动作驱动模型训练方法及组件
CN113178191A (zh) * 2021-04-25 2021-07-27 平安科技（深圳）有限公司 基于联邦学习的语音表征模型训练方法、装置、设备及介质
CN114500879A (zh) * 2022-02-09 2022-05-13 腾讯科技（深圳）有限公司 视频数据处理方法、装置、设备及存储介质
CN114615534A (zh) * 2022-01-27 2022-06-10 海信视像科技股份有限公司 显示设备及音频处理方法
WO2024087337A1 (zh) * 2022-10-24 2024-05-02 深圳先进技术研究院 一种由舌部超声图像直接合成语音的方法

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150025891A1 (en) * 2007-03-20 2015-01-22 Nuance Communications, Inc. Method and system for text-to-speech synthesis with personalized voice
CN109637518A (zh) * 2018-11-07 2019-04-16 北京搜狗科技发展有限公司 虚拟主播实现方法及装置
CN110210310A (zh) * 2019-04-30 2019-09-06 北京搜狗科技发展有限公司 一种视频处理方法、装置和用于视频处理的装置
CN110276259A (zh) * 2019-05-21 2019-09-24 平安科技（深圳）有限公司 唇语识别方法、装置、计算机设备及存储介质
CN111160047A (zh) * 2018-11-08 2020-05-15 北京搜狗科技发展有限公司 一种数据处理方法、装置和用于数据处理的装置
CN111223483A (zh) * 2019-12-10 2020-06-02 浙江大学 一种基于多粒度知识蒸馏的唇语识别方法
CN111369967A (zh) * 2020-03-11 2020-07-03 北京字节跳动网络技术有限公司 基于虚拟人物的语音合成方法、装置、介质及设备

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150025891A1 (en) * 2007-03-20 2015-01-22 Nuance Communications, Inc. Method and system for text-to-speech synthesis with personalized voice
CN109637518A (zh) * 2018-11-07 2019-04-16 北京搜狗科技发展有限公司 虚拟主播实现方法及装置
CN111160047A (zh) * 2018-11-08 2020-05-15 北京搜狗科技发展有限公司 一种数据处理方法、装置和用于数据处理的装置
CN110210310A (zh) * 2019-04-30 2019-09-06 北京搜狗科技发展有限公司 一种视频处理方法、装置和用于视频处理的装置
CN110276259A (zh) * 2019-05-21 2019-09-24 平安科技（深圳）有限公司 唇语识别方法、装置、计算机设备及存储介质
CN111223483A (zh) * 2019-12-10 2020-06-02 浙江大学 一种基于多粒度知识蒸馏的唇语识别方法
CN111369967A (zh) * 2020-03-11 2020-07-03 北京字节跳动网络技术有限公司 基于虚拟人物的语音合成方法、装置、介质及设备

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113077536A (zh) * 2021-04-20 2021-07-06 深圳追一科技有限公司 一种基于bert模型的嘴部动作驱动模型训练方法及组件
CN113178191A (zh) * 2021-04-25 2021-07-27 平安科技（深圳）有限公司 基于联邦学习的语音表征模型训练方法、装置、设备及介质
CN114615534A (zh) * 2022-01-27 2022-06-10 海信视像科技股份有限公司 显示设备及音频处理方法
CN114500879A (zh) * 2022-02-09 2022-05-13 腾讯科技（深圳）有限公司 视频数据处理方法、装置、设备及存储介质
WO2024087337A1 (zh) * 2022-10-24 2024-05-02 深圳先进技术研究院 一种由舌部超声图像直接合成语音的方法

Also Published As

Publication number Publication date
CN111883107B (zh) 2022-09-16

Similar Documents

Publication Publication Date Title
CN111883107B (zh) 语音合成、特征提取模型训练方法、装置、介质及设备
CN112115706B (zh) 文本处理方法、装置、电子设备及介质
US20230223010A1 (en) Video generation method, generation model training method and apparatus, and medium and device
US11630999B2 (en) Method and system for analyzing customer calls by implementing a machine learning model to identify emotions
WO2020098115A1 (zh) 字幕添加方法、装置、电子设备及计算机可读存储介质
US20240021202A1 (en) Method and apparatus for recognizing voice, electronic device and medium
CN111368559A (zh) 语音翻译方法、装置、电子设备及存储介质
CN111798821B (zh) 声音转换方法、装置、可读存储介质及电子设备
CN113205793B (zh) 音频生成方法、装置、存储介质及电子设备
US20240029709A1 (en) Voice generation method and apparatus, device, and computer readable medium
CN113035199B (zh) 音频处理方法、装置、设备及可读存储介质
CN108877779B (zh) 用于检测语音尾点的方法和装置
WO2023005729A1 (zh) 语音信息处理方法、装置和电子设备
CN113257218A (zh) 语音合成方法、装置、电子设备和存储介质
CN111369968A (zh) 声音复制方法、装置、可读介质及电子设备
CN114429658A (zh) 人脸关键点信息获取方法、生成人脸动画的方法及装置
WO2021169825A1 (zh) 语音合成方法、装置、设备和存储介质
CN113223555A (zh) 视频生成方法、装置、存储介质及电子设备
CN111862933A (zh) 用于生成合成语音的方法、装置、设备和介质
CN116108176A (zh) 基于多模态深度学习的文本分类方法、设备及存储介质
CN116186258A (zh) 基于多模态知识图谱的文本分类方法、设备及存储介质
CN113079328B (zh) 视频生成方法和装置、存储介质和电子设备
CN114495901A (zh) 语音合成方法、装置、存储介质及电子设备
CN115967833A (zh) 视频生成方法、装置、设备计存储介质
CN113761865A (zh) 声文重对齐及信息呈现方法、装置、电子设备和存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant