CN110136698A - 用于确定嘴型的方法、装置、设备和存储介质 - Google Patents
用于确定嘴型的方法、装置、设备和存储介质 Download PDFInfo
- Publication number
- CN110136698A CN110136698A CN201910289051.3A CN201910289051A CN110136698A CN 110136698 A CN110136698 A CN 110136698A CN 201910289051 A CN201910289051 A CN 201910289051A CN 110136698 A CN110136698 A CN 110136698A
- Authority
- CN
- China
- Prior art keywords
- nozzle type
- vectorization
- sequence
- video
- voice
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 53
- 230000014509 gene expression Effects 0.000 claims abstract description 50
- 238000013527 convolutional neural network Methods 0.000 claims abstract description 18
- 238000012549 training Methods 0.000 claims description 20
- 238000012545 processing Methods 0.000 claims description 15
- 230000008569 process Effects 0.000 claims description 13
- 239000013598 vector Substances 0.000 claims description 13
- 238000004590 computer program Methods 0.000 claims description 7
- 230000001256 tonic effect Effects 0.000 claims description 6
- 238000000605 extraction Methods 0.000 claims description 4
- 230000009471 action Effects 0.000 abstract description 8
- 238000010586 diagram Methods 0.000 description 16
- 238000005266 casting Methods 0.000 description 7
- 230000015654 memory Effects 0.000 description 5
- 238000005516 engineering process Methods 0.000 description 4
- 239000012634 fragment Substances 0.000 description 4
- 238000004891 communication Methods 0.000 description 3
- 239000000284 extract Substances 0.000 description 3
- 238000004088 simulation Methods 0.000 description 3
- 238000013528 artificial neural network Methods 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000013139 quantization Methods 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000012512 characterization method Methods 0.000 description 1
- 230000007812 deficiency Effects 0.000 description 1
- 230000008921 facial expression Effects 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 210000004209 hair Anatomy 0.000 description 1
- 230000000366 juvenile effect Effects 0.000 description 1
- 230000007787 long-term memory Effects 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 238000003825 pressing Methods 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 238000012163 sequencing technique Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 239000011800 void material Substances 0.000 description 1
Classifications
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/04—Segmentation; Word boundary detection
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/06—Creation of reference templates; Training of speech recognition systems, e.g. adaptation to the characteristics of the speaker's voice
- G10L15/063—Training
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/24—Speech recognition using non-acoustical features
- G10L15/25—Speech recognition using non-acoustical features using position of the lips, movement of the lips or face analysis
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
- G10L25/03—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the type of extracted parameters
- G10L25/24—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the type of extracted parameters the extracted parameters being the cepstrum
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
- G10L25/27—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the analysis technique
- G10L25/30—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the analysis technique using neural networks
Landscapes
- Engineering & Computer Science (AREA)
- Computational Linguistics (AREA)
- Health & Medical Sciences (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- Acoustics & Sound (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- Processing Or Creating Images (AREA)
Abstract
本公开涉及用于确定嘴型的方法、装置、设备和存储介质。在一种基于语音来确定虚拟人物的嘴型的方法中，获取用于确定虚拟人物的嘴型的语音序列。按照预定步长将语音序列划分为多个语音片段。基于多个语音片段，分别生成描述多个语音片段的多个向量化表示。基于多个向量化表示，根据嘴型生成模型中包括的真实人物的嘴型与真实人物的语音片段的向量化表示之间的关联关系，确定与多个语音片段的多个向量化表示相对应的嘴型序列。嘴型序列中的嘴型与多个语音片段中的语音片段的向量化表示相关联，以及嘴型生成模型是基于卷积神经网络获得的。采用上述实现方式，可以以更为有效的方式确定虚拟人物的嘴型，使得虚拟人物的嘴部动作更为自然。
Description
技术领域
本公开内容的实现方式概括地涉及图像处理，并且更具体地，涉及用于确定基于语音确定嘴型的方法、装置、设备和计算机存储介质。
背景技术
随着计算机技术的发展，目前已经出现了虚拟主播技术。在虚拟主播技术中，可以使用虚拟人物来播放新闻、天气预报、以及教学等方面的内容。真实人物在说话时，由于不同的发音对应于不同的嘴型，因而期望虚拟人物在播报时的嘴型能够逼真地模拟真实人物的嘴型。此时，如何以更为真实地方式确定虚拟人物的嘴型，成为一个技术难题。
发明内容
根据本公开内容的示例实现方式，提供了一种用于确定嘴型的方案。
在本公开内容的第一方面中，提供了一种基于语音来确定虚拟人物的嘴型的方法。在该方法中，获取用于确定虚拟人物的嘴型的语音序列；按照预定步长将语音序列划分为多个语音片段；基于多个语音片段，分别生成描述多个语音片段的多个向量化表示；以及基于多个向量化表示，根据嘴型生成模型中包括的真实人物的嘴型与真实人物的语音片段的向量化表示之间的关联关系，确定与多个语音片段的多个向量化表示相对应的嘴型序列，其中嘴型序列中的嘴型与多个语音片段中的语音片段的向量化表示相关联，以及嘴型生成模型是基于卷积神经网络获得的。
在本公开内容的第二方面中，提供了一种基于语音来确定虚拟人物的嘴型的装置，包括：获取模块，配置用于获取用于确定虚拟人物的嘴型的语音序列；划分模块，配置用于按照预定步长将语音序列划分为多个语音片段；生成模块，配置用于基于多个语音片段，分别生成描述多个语音片段的多个向量化表示；以及确定模块，配置用于基于多个向量化表示，根据嘴型生成模型中包括的真实人物的嘴型与真实人物的语音片段的向量化表示之间的关联关系，确定与多个语音片段的多个向量化表示相对应的嘴型序列，其中嘴型序列中的嘴型与多个语音片段中的语音片段的向量化表示相关联，以及嘴型生成模型是基于卷积神经网络获得的。
在本公开内容的第三方面中，提供了一种设备。该设备包括一个或多个处理器；以及存储装置，用于存储一个或多个程序，当一个或多个程序被一个或多个处理器执行，使得一个或多个处理器实现根据本公开内容的第一方面的方法。
在本公开内容的第四方面中，提供了一种其上存储有计算机程序的计算机可读介质，该程序在被处理器执行时实现根据本公开内容的第一方面的方法。
应当理解，发明内容部分中所描述的内容并非旨在限定本公开内容的实现方式的关键或重要特征，亦非用于限制本公开内容的范围。本公开内容的其他特征将通过以下的描述变得容易理解。
附图说明
结合附图并参考以下详细说明，本公开内容的各实现方式的上述和其他特征、优点及方面将变得更加明显。在附图中，相同或相似的附图标记表示相同或相似的元素，其中：
图1示意性示出了基于真实人物的视频来生成虚拟人物的视频的示意图；
图2示意性示出了根据本公开内容的示例性实现方式的用于确定虚拟人物的嘴型的技术方案的框图；
图3示意性示出了根据本公开内容的示例性实现方式的用于基于真实人物的视频来生成嘴型模型的方法的流程图；
图4示意性示出了根据本公开内容的示例性实现方式的用于基于真实人物的视频来生成嘴型模型的过程的框图；
图5示意性示出了根据本公开内容的示例性实现方式的用于基于卷积神经网络生成嘴型模型的过程的框图；
图6示意性示出了根据本公开内容的示例性实现方式的用于确定虚拟人物的嘴型的方法的流程图；
图7示意性示出了根据本公开内容的示例性实现方式的用于基于嘴型模型来生成虚拟人物的视频的框图；
图8示意性示出了根据本公开内容的示例性实现方式的用于确定虚拟人物的嘴型的装置的框图；以及
图9示出了能够实施本公开内容的多个实现方式的计算设备的框图。
具体实施方式
下面将参照附图更详细地描述本公开内容的实现方式。虽然附图中显示了本公开内容的某些实现方式，然而应当理解的是，本公开内容可以通过各种形式来实现，而且不应该被解释为限于这里阐述的实现方式，相反提供这些实现方式是为了更加透彻和完整地理解本公开内容。应当理解的是，本公开内容的附图及实现方式仅用于示例性作用，并非用于限制本公开内容的保护范围。
在本公开内容的实现方式的描述中，术语“包括”及其类似用语应当理解为开放性包含，即“包括但不限于”。术语“基于”应当理解为“至少部分地基于”。术语“一个实现方式”或“该实现方式”应当理解为“至少一个实现方式”。术语“第一”、“第二”等等可以指代不同的或相同的对象。下文还可能包括其他明确的和隐含的定义。
随着图像处理技术的发展，目前已经出现了虚拟主播。例如，对于某些并不需要主播与观众做出更多交流的播报类节目，已经可以利用虚拟主播来代替真实人物并播报节目。此时，仅需要由播音员朗读期望播报内容的文本作为语音输入(或者，还可以基于语音生成技术来生成语音输入)。通过将语音输入与虚拟主播的画面相配合，即可获得由虚拟主播播报节目的视频。
图1示意性示出了基于真实人物的视频110来生成虚拟人物的视频120的示意图100。将会理解，由于真实人物在朗读不同内容时，嘴部的形态是不同的。例如，在发出“啊”等读音时嘴部张开较大，而在发出“嗯”等读音时嘴部张开较小。为了更逼真地模拟真实人物的嘴型形态，目前已经提出了基于长短期记忆网络(LSTM)来预测虚拟人物在各个时间点处的嘴型的技术方案。
如图1所示，基于LSTM技术，可以从真实人物的视频110中学习真实人物在不同发音情况下的嘴型。该技术方案基于主要成分分析PCA系数，并基于PCA系数的逆向变换来恢复嘴型关键点的位置。然而，采用LSTM确定的嘴型的变化较为平缓，与真实人物说话时嘴型差距较大。此时，如何以更为逼真的方式确定虚拟人物的嘴型，成为一个有待解决的问题。
为了至少部分地解决上述技术方案中的不足，根据本公开的示例性实现，提供了一种用于确定嘴型的技术方案。在该技术方案中，提出了基于全卷积神经网络的模型，来确定虚拟人物的嘴型和音频片段之间的关联关系。具体地，提出的技术方案包括：生成嘴型模型和使用嘴型模型来确定虚拟人物的嘴型两个阶段。
在下文中，将参见图2概括描述本公开的示例性实现的上述生成和使用阶段的过程。图2示意性示出了根据本公开内容的示例性实现方式的用于确定虚拟人物的嘴型的技术方案的框图200。如图2所示，从真实人物的视频110中的音频部分210提取多个语音片段的多个向量化表示220，并从该真实人物的视频的画面部分中提取与每个音频片段相对应的嘴型230。继而，可以基于提取的多个向量化表示220和多个嘴型230，使用卷积神经网络来训练嘴型模型240。在此，训练后的嘴型模型240可以描述多个嘴型230与多个向量化表示220之间的关联关系。
将会理解，在此处的真实人物的视频110例如可以是由真实人物朗读的广泛覆盖各种发音的视频。在此的视频110的长度应当跨越较大时间范围。例如，可以采用播音员播报新闻的音频来作为视频110。
根据本公开的示例性实现方式还包括使用嘴型模型240来确定虚拟人物在播报其他音频期间的嘴型。具体地，可以获取用于确定虚拟人物的嘴型的语音序列250。例如，如果期望生成虚拟人物播报天气预报的视频，则此时输入的语音序列250可以是天气预报的音频内容。可以基于输入的语音序列250和嘴型模型240，来确定包括虚拟人物播报天气预报期间的各个时间点的嘴型的嘴型序列。进而，可以基于嘴型序列250来确定虚拟人物的视频120中的虚拟人物在各个时间点的嘴型。
相对于使用LSTM的方案而言，根据本公开的示例性实现方式，不必考虑各个音频片段之间的时间顺序。一方面可以以更为简单并且有效的方式建立嘴型模型，另一方面还可以改进现有技术方案中的嘴型变化过于平缓并且不能反映真实嘴型的问题。
将会理解，在图2所示的技术方案中，可以直接利用真实人物的视频110中的音频和嘴型来训练嘴型模型240。以此方式获得的嘴型模型240可以真实地反应语音与嘴型的关联关系。在此示例性实现中，可以采用端到端的方式建立嘴型模型240。在嘴型模型240中，在输入端采用真实人物的多个语音片段的多个向量化表示220作为输入，在输出端处以真实人物的嘴型230作为输出。因而，训练后的嘴型模型240可以直接基于输入的语音的向量化表示来确定虚拟人物说话时的相应嘴型。以此方式，可以准确地获取语音和嘴型直接的关联关系，进而使得生成的嘴型更为逼真。
根据本公开的示例性实现方式，可以获取真实人物的多个样本嘴型以及分别与多个样本嘴型相关联的真实人物的多个样本语音片段的多个样本向量化表示。例如，可以将真实播音员播报新闻的视频作为样本，以用于提取样本嘴型和样本向量化表示。继而，可以基于多个样本嘴型与多个样本向量化表示，训练嘴型模型240以使得嘴型模型240描述多个样本嘴型与多个样本向量化表示之间的关联关系。
在下文中，将首先参见图3描述如何有关生成嘴型模型240的过程的更多细节。图3示意性示出了根据本公开内容的示例性实现方式的用于基于真实人物的视频110来生成嘴型模型的方法300的流程图。在框310处，按照预定步长，将包括真实人物的图像和语音的视频序列划分为多个视频片段。具体地，可以将获取的真实人物的视频110划分为多个视频片段。在此可以设置预定步长，例如，可以将预定步长设置为10ms或者其他时间长度。备选地，为了获取更高的精度，还可以将预定步长设置为例如5ms。
在下文中，将参见图4示意性示出了根据本公开内容的示例性实现方式的用于基于真实人物的视频来生成嘴型模型240的过程的框图400。如图400所示，针对真实人物的视频110的处理可以包括图像处理和音频处理两方面。可以针对划分所得的多个视频片段中的每个视频片段分别进行图像和音频两方面的处理。在下文中，将首先描述图3中的框320处记载的有关图像的处理。参见图4，针对多个视频片段中的视频片段，可以基于该视频片段的视频部分，提取包括真实人物的样本嘴型的图像帧410-1、410-2、……、以及410-3(在此统称为图像帧410)。
根据本公开的示例性实现方式，嘴型可以包括多个关键点，多个关键点描述真实人物的嘴型的轮廓。因而，基于图像帧410-1、410-2、……、以及410-3中的真实人物的嘴型的轮廓，可以分别生成相应的嘴型230-1、230-2、……、以及230-3(在此统称为嘴型230)。将会理解，关键点可以分布在嘴型的轮廓线上。根据本公开的示例性实现方式，可以采用14个关键点，并且这些关键点分别分布在两个嘴角、上下嘴唇的外侧边缘以及嘴唇内侧的边缘处。根据本公开的示例性实现方式，还可以采用其他数量的关键点。例如，为了获得更高的精度，还可以使用更多数量的关键点。备选地，还可以使用较少的关键点，以降低生成嘴型模型240时的计算量。
在框330处，可以基于视频片段中的视频部分，生成描述真实人物语音的样本向量化表示。参见图4，在音频处理期间，可以从各个视频片段分别提取语音片段420-1、420-2、……、以及420-3。继而，可以基于预定规则来从各个语音片段420-1、420-2、……、以及420-3中获取相应的向量化表示220-1、220-2、……、以及220-3。
根据本公开的示例性实现方式，可以针对所述多个语音片段中的语音片段，来逐一生成相应的向量化表示。例如，在将视频序列划分为长度为10ms的语音片段的情况下，向量化表示可以是语音片段的特征。该特征可以包括多个维度，例如可以包括64维或者其他维度。
根据本公开的示例性实现方式，可以使用梅尔倒谱系数(Mel FrequencyCepstral Coefficients，简称MFCC)来确定向量化表示。由于人耳对不同频率的声波的敏感程度不同，从200Hz到5000Hz的语音信号对语音的清晰度影响对大。因而，可以首先针对音频片段执行滤波，并且基于人耳最为敏感的频率范围内的信号来生成向量化表示。备选地和/或附加地，还可以采用现有技术已经开发的或者将在未来开发的各种其他方式来生成向量化表示。
根据本公开的示例性实现方式，还可以将语音片段划分为更小的粒度，即可以在语音片段中的多个预定采样点处分别获取相应的多个特征向量，并基于获取的多个特征向量生成针对所述语音片段的特征化表示。例如，如果语音片段的长度为350ms，并且预定采用的之间的间隔为10ms，则对于一个语音片段而言，可以基于35个采样点处的特征，来生成相应的向量化表示。继而，可以将35个特征进行组合以形成向量化表示。假设每个特征的维度为64，则特征化表示可以包括64*35个维度。
将会理解，上文描述的语音片段长度以及采样点之间的间隔仅仅是示意性的。根据本公开的示例性实现方式，还可以采用其他的长度和间隔。例如，可以语音片段的长度可以是200ms，并且采样点之间的间隔可以是5ms或者其他数值。
返回图3，在340处，可以基于多个嘴型230-1、230-2、……、以及230-3与多个向量化表示220-1、220-2、……、以及220-3，训练嘴型模型240。在此，训练后的嘴型模型240可以描述多个样本嘴型与多个样本向量化表示之间的关联关系。换言之，当将向量化表示220-1、220-2、……、以及220-3分别输入嘴型模型240后，可以分别输出多个嘴型230-1、230-2、……、以及230-3。可以使用多维向量来表示用于训练的样本数据。如果以变量Batch来表示语音片段的数量，则此时用于训练嘴型模型240的输入的向量化表示的维度可以是Batch*1*64*35。在下文中，将参见图5描述有关生成嘴型模型240的更多细节。
图5示意性示出了根据本公开内容的示例性实现方式的用于基于卷积神经网络生成嘴型模型的过程的框图500。根据本公开的示例性实现方式，可以将一个向量化表示220与一个嘴型230作为一个训练样本，来基于卷积神经网络510训练嘴型模型240。根据本公开的示例性实现方式，可以将嘴型230中的每个关键点作为一个独立的通道进行训练。
在下文中，将仅以嘴型230中最左侧的关键点(即，左嘴角)为示例进行描述。可以确定最左侧关键点在嘴部区域图像中的坐标的位置(例如，左嘴角所在像素的x和y坐标来表示)。此时，一个训练样本可以包括一个64维的向量化表示(用于描述声音特征)以及一个二维坐标表示(用于描述左嘴角位置)。假设将真实人物的视频110划分为N的部分，则此时可以获得N个训练样本。通过将各个训练样本逐一输入卷积神经网络510，可以不断调整嘴型模型240的各项参数，进而使得嘴型模型240可以准确地描述真实人物的声音和嘴型之间的关联关系。
根据本公开的示例性实现方式，可以采用类似方式来针对其他通道进行训练，以便获得嘴型230中的全部关键点的位置。根据本公开的示例性实现方式，还可以将嘴型230中的各个关键点相结合进行训练。此时，一个训练样本可以包括一个64维的向量化表示(用于描述声音特征)以及14个二维坐标表示(用于描述嘴型中的14个关键点的位置)。
根据本公开的示例性实现方式，全卷积神经网络510例如可以是编码-解码的全卷积神经网络。根据本公开的示例性实现方式，可以从真实人物的视频110中选择多个固定时长(例如，350ms)的片段，并基于固定时长的语音片段生成向量化表示。按照10ms的采样间隔进行划分，此时的向量化表示的维度可以是(64*35)。整体输入的向量化表示的维度为(Batch*1*64*35)，其中Batch为片段的个数。继而，采用3*3的卷积和Max池化层将输入的向量化表示编码成Batch*1024*1*1的表示。然后，使用多层(例如，6层)核尺寸为4的反卷积，将该表示转换为Batch*14*64*64的关键点的特征图，进而获得嘴型模型240。
将会理解，嘴型模型240直接基于音频片段的向量化表示和嘴型来训练，因而获得的嘴型模型240与语种无关，可以适合于生成各种语言的嘴型。换言之，训练用的视频和生成的视频可以涉及不同的语言。例如，用于训练的视频可以使用英语，而生成的视频可以使用中文。
将会理解，在此获得的嘴型模型240可以重复使用。例如，在已经基于播报新闻的视频110获取了嘴型模型240的基础上，可以分别将该嘴型模型240用于针对不同的输入音频生成相应的嘴型序列。例如，可以分别针对输入的天气预报音频、教学音频等生成相应的最新序列，还可以为动画片中的虚拟人物生成相应的嘴型序列。
在已经获得嘴型模型240的情况下，该嘴型模型240可以基于输入的语音确定相应的嘴型(例如，在期望生成由虚拟人物播放天气预报的示例中，通过输入天气预报的音频，即可获得虚拟人物在播放天气预报时的嘴型)。为了获得虚拟人物的嘴型，可以按照预定步长将语音序列划分为多个语音片段，并分别生成描述多个语音片段的多个向量化表示。继而，可以基于多个向量化表示和嘴型模型，确定与多个语音片段的多个向量化表示相对应的嘴型序列。在此，嘴型序列中的每个嘴型可以描述虚拟人物在播报语音时的某个时间点处的嘴部姿态。
在下文中，将参见图6描述有关使用嘴型模型240获取嘴型的更多细节。图6示意性示出了根据本公开内容的示例性实现方式的用于确定虚拟人物的嘴型的方法600的流程图。如图6所示，在框610处，可以获取用于确定虚拟人物的嘴型的语音序列250。在生成播报天气预报的虚拟人物的视频120的示例中，此时语音序列250可以是人工录制的天气预报的音频，或者还可以是机器生成播报天气预报的音频。
在框620处，可以按照预定步长将语音序列250划分为多个语音片段。在此的预定步长应当与训练模型阶段使用的步长相同，例如10ms。在框630处，可以基于多个语音片段，分别生成描述多个语音片段的多个向量化表示。
将会理解，在使用嘴型240阶段中的划分语音片段以及生成向量化表示的过程类似于在生成嘴型模型240阶段的相应过程。两个阶段的不同之处在于被处理的对象不同。在生成嘴型模型240的阶段中，被处理的对象是来自真实人物的视频110中的音频部分(例如，新闻视频中的音频部分)，而在使用嘴型模型240的阶段中，被处理的对象是用于确定虚拟人物嘴型的音频250(例如，天气预报的音频)。具体地，在框620和630处示出的过程分别类似于图3中在框310和330处示出的过程，因而不再赘述。
在框640处，可以基于多个向量化表示，根据嘴型生成模型中包括的真实人物的嘴型与真实人物的语音片段的向量化表示之间的关联关系，确定与多个语音片段的多个向量化表示相对应的嘴型序列。将会理解，在此嘴型序列中的嘴型与多个语音片段中的语音片段的向量化表示相关联。
根据本公开的示例性实现方式，在框630中获取的向量化表示分别对应于一个时间点的嘴型。针对多个向量化表示中的向量化表示，可以根据关联关系和向量化表示，可以确定虚拟人物在该时间点的嘴型。
进一步，可以基于虚拟人物的图像以及嘴型序列中的嘴型，生成虚拟人物在播报语音时的各个时间点处的图像。在下文中，将参见图7进行描述。图7示意性示出了根据本公开内容的示例性实现方式的用于基于嘴型模型来生成虚拟人物的视频的框图700。如图7所示，可以利用音频序列250和嘴型模型240，来获取与音频序列250中的各个时间点相对应的嘴型710-1、710-2、……、以及710-3。
根据本公开的示例性实现方式，还可以获取包括虚拟人物的图像720。在此的虚拟人物可以是计算机生成的动画人物(例如，可以利用动画人物播放天气预报)，或者真实人物(例如，可以利用播放新闻的播音员的视频，生成该播音员播放天气预报的视频)。
根据本公开的示例性实现方式，可以通过多种方式获取虚拟人物的图像720。例如，可以从图片中获取虚拟人物的图像720。例如，可以获取卡通图像或者获取真实人物的照片。因而，可以以简单并且有效的方式来生成各种虚拟人物的视频120。为了使虚拟人物更加生动，还可以通过图像处理的方式来调整虚拟人物的表情或者动作。例如，可以为虚拟人物增加例如点头动作、其他肢体动作或者面部表情，以便更加生动地呈现虚拟人物。
根据本公开的示例性实现方式，还可以从预先生成的动画视频或者预先采集的视频中获取虚拟人物的图像720。由于此时视频中的虚拟人物包括各种表情和动作，因而在生成的虚拟视频120将会更为生动和自然。
根据本公开的示例性实现方式，基于嘴型序列中的各个嘴型，分别更新图像中的与虚拟人物的嘴部相关联的区域以形成图像序列。此时，可以逐一替换虚拟人物嘴部相关的区域。例如假设通过嘴型模型240可以确定虚拟人物在发出读音“天”时嘴型为710-1、发出读音“气”时的嘴型为710-2、以及发出读音“预”时的嘴型为710-3，等等。此时可以分别利用嘴型710-1、710-2和710-3中包括的多个关键点，调整虚拟人物的图像中的嘴部图像。
具体地，可以采用图像识别的方式，首先确定嘴部图像中的与各个关键点相对应的位置，继而利用关键点的位置来调整嘴部图像中的相应的位置。例如，可以通过拉伸、压缩等方式来调整嘴部图像中的各个像素的位置，进而获得调整后的嘴部图像。此时，即可生成包括调整后嘴部图像的图像序列。
继而，基于生成的图像序列和原始输入的音频序列250，可以生成包括虚拟人物的图像和语音的视频序列120。在生成的视频序列120中，视频部分包括虚拟人物的播报天气预报的画面，而音频部分包括虚拟人物播报天气预报的声音。
利用上文描述的技术方案，可以有效地基于包括真实人物说话的嘴部动作的嘴型模型240来获取虚拟人物相应的嘴部动作。由于此时的嘴型模型240准确地反映了真实人物说话时的嘴部特征，因而获取的嘴部动作是自然并且流畅的，并且能够模拟真人在发出各种声音时嘴部的开合位置。以此方式，可以更加逼真地模拟虚拟人物。
利用本公开的示例性实现方式，通过虚拟人物来代替真实人物，可以降低视频录制中真实播音员的工作负担，仅需要录制期望播出的音频即可。还可以降低视频录制中对于设备的要求，并且可以在仅需要音频录制设备的情况下，即可生成虚拟人物的视频120。进一步，对于少儿教育等领域而言，还可以利用儿童喜欢的卡通人物来生成视频(例如，生成教育视频)，以便提高学习过程中的趣味性。
在上文中已经详细描述了如何生成嘴型模型方法300和确定嘴型的方法600的多个实现方式。根据本公开的示例性实现方式，还提供了用于确定嘴型的装置。在下文中，将参见图8详细描述。图8示意性示出了根据本公开内容的示例性实现方式的嘴型确定装置800的框图。如图8所示，该装置800包括：获取模块810，配置用于获取用于确定虚拟人物的嘴型的语音序列；划分模块820，配置用于按照预定步长将语音序列划分为多个语音片段；生成模块830，配置用于基于多个语音片段，分别生成描述多个语音片段的多个向量化表示；以及确定模块840，配置用于基于多个向量化表示，根据嘴型生成模型中包括的真实人物的嘴型与真实人物的语音片段的向量化表示之间的关联关系，确定与多个语音片段的多个向量化表示相对应的嘴型序列，其中嘴型序列中的嘴型与多个语音片段中的语音片段的向量化表示相关联，以及嘴型生成模型是基于卷积神经网络获得的。
根据本公开的示例性实现方式，生成模块830包括：提取模块，配置用于针对多个语音片段中的语音片段，分别提取描述语音片段中的多个预定采样点处的语音的多个特征向量；以及表示生成模块，配置用于基于多个特征向量生成针对语音片段的向量化表示。
根据本公开的示例性实现方式，确定模块840包括：嘴型确定模块，配置用于针对多个向量化表示中的向量化表示，根据关联关系，确定与向量化表示相关联的嘴型。
根据本公开的示例性实现方式，进一步包括：图像获取模块，配置用于获取包括虚拟人物的图像；更新模块，配置用于基于嘴型序列中的各个嘴型，分别更新图像中的与虚拟人物的嘴部相关联的区域以形成图像序列；以及视频生成模块，配置用于基于图像序列和音频序列，生成包括虚拟人物的图像和语音的视频序列。
根据本公开的示例性实现方式，嘴型包括多个关键点，多个关键点描述真实人物的嘴型的轮廓。
根据本公开的示例性实现方式，更新模块包括：调整模块，配置用于针对嘴型序列中的嘴型，利用嘴型包括的多个关键点，调整虚拟人物的图像中的嘴部图像。
根据本公开的示例性实现方式，进一步包括模型获取模块，配置用于获取嘴型生成模型，包括：样本获取模块，配置用于获取真实人物的多个样本嘴型以及分别与多个样本嘴型相关联的真实人物的多个样本语音片段的多个样本向量化表示；以及训练模块，配置用于基于多个样本嘴型与多个样本向量化表示，训练嘴型模型以使得嘴型模型描述多个样本嘴型与多个样本向量化表示之间的关联关系。
根据本公开的示例性实现方式，样本获取模块包括：样本视频获取模块，配置用于获取包括真实人物的图像和语音的视频序列；样本处理模块，配置用于按照预定步长将视频序列划分为多个视频片段；视频处理模块，配置用于针对多个视频片段中的视频片段，包括：图像帧获取模块，配置用于基于视频片段的视频部分，提取包括真实人物的样本嘴型的图像帧；表示获取模块，配置用于基于视频片段的视频部分，生成描述真实人物语音的样本向量化表示。
根据本公开的示例性实现方式，卷积神经网络是全卷积神经网络。
图9示出了能够实施本公开内容的多个实现方式的计算设备900的框图。设备900可以用于实现图4描述的方法。如图所示，设备900包括中央处理单元(CPU)901，其可以根据存储在只读存储器(ROM)902中的计算机程序指令或者从存储单元908加载到随机访问存储器(RAM)903中的计算机程序指令，来执行各种适当的动作和处理。在RAM 903中，还可存储设备900操作所需的各种程序和数据。CPU901、ROM 902以及RAM 903通过总线904彼此相连。输入/输出(I/O)接口905也连接至总线904。
设备900中的多个部件连接至I/O接口905，包括：输入单元906，例如键盘、鼠标等；输出单元907，例如各种类型的显示器、扬声器等；存储单元908，例如磁盘、光盘等；以及通信单元909，例如网卡、调制解调器、无线通信收发机等。通信单元909允许设备900通过诸如因特网的计算机网络和/或各种电信网络与其他设备交换信息/数据。
处理单元901执行上文所描述的各个方法和处理，例如方法300和600。例如，在一些实现方式中，方法300和600可被实现为计算机软件程序，其被有形地包含于机器可读介质，例如存储单元908。在一些实现方式中，计算机程序的部分或者全部可以经由ROM 902和/或通信单元909而被载入和/或安装到设备900上。当计算机程序加载到RAM 903并由CPU901执行时，可以执行上文描述的方法300和600的一个或多个步骤。备选地，在其他实现方式中，CPU 901可以通过其他任何适当的方式(例如，借助于固件)而被配置为执行方法300和600。
根据本公开内容的示例性实现方式，提供了一种其上存储有计算机程序的计算机可读存储介质。程序被处理器执行时实现本公开所描述的方法。
本文中以上描述的功能可以至少部分地由一个或多个硬件逻辑部件来执行。例如，非限制性地，可以使用的示范类型的硬件逻辑部件包括：场可编程门阵列(FPGA)、专用集成电路(ASIC)、专用标准产品(ASSP)、芯片上系统的系统(SOC)、负载可编程逻辑设备(CPLD)等等。
用于实施本公开内容的方法的程序代码可以采用一个或多个编程语言的任何组合来编写。这些程序代码可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器或控制器，使得程序代码当由处理器或控制器执行时使流程图和/或框图中所规定的功能/操作被实施。程序代码可以完全在机器上执行、部分地在机器上执行，作为独立软件包部分地在机器上执行且部分地在远程机器上执行或完全在远程机器或服务器上执行。
在本公开内容的上下文中，机器可读介质可以是有形的介质，其可以包含或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的程序。机器可读介质可以是机器可读信号介质或机器可读储存介质。机器可读介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备，或者上述内容的任何合适组合。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM或快闪存储器)、光纤、便捷式紧凑盘只读存储器(CD-ROM)、光学储存设备、磁储存设备、或上述内容的任何合适组合。
此外，虽然采用特定次序描绘了各操作，但是这应当理解为要求这样操作以所示出的特定次序或以顺序次序执行，或者要求所有图示的操作应被执行以取得期望的结果。在一定环境下，多任务和并行处理可能是有利的。同样地，虽然在上面论述中包含了若干具体实现细节，但是这些不应当被解释为对本公开内容的范围的限制。在单独的实现方式的上下文中描述的某些特征还可以组合地实现在单个实现中。相反地，在单个实现的上下文中描述的各种特征也可以单独地或以任何合适的子组合的方式实现在多个实现中。
尽管已经采用特定于结构特征和/或方法逻辑动作的语言描述了本主题，但是应当理解所附权利要求书中所限定的主题未必局限于上面描述的特定特征或动作。相反，上面所描述的特定特征和动作仅仅是实现权利要求书的示例形式。
Claims (20)
1.一种基于语音来确定虚拟人物的嘴型的方法，包括：
获取用于确定所述虚拟人物的嘴型的语音序列；
按照预定步长将所述语音序列划分为多个语音片段；
基于所述多个语音片段，分别生成描述所述多个语音片段的多个向量化表示；以及
基于所述多个向量化表示，根据嘴型生成模型中包括的真实人物的嘴型与真实人物的语音片段的向量化表示之间的关联关系，确定与所述多个语音片段的所述多个向量化表示相对应的嘴型序列，
其中所述嘴型序列中的嘴型与所述多个语音片段中的语音片段的向量化表示相关联，以及所述嘴型生成模型是基于卷积神经网络获得的。
2.根据权利要求1所述的方法，其中基于所述多个语音片段，分别生成描述所述多个语音片段的多个向量化表示包括：针对所述多个语音片段中的语音片段，
分别提取描述所述语音片段中的多个预定采样点处的语音的多个特征向量；以及
基于所述多个特征向量生成针对所述语音片段的向量化表示。
3.根据权利要求1所述的方法，其中确定与所述多个语音片段的所述多个向量化表示相对应的嘴型序列包括：针对所述多个向量化表示中的向量化表示，
根据所述关联关系，确定与所述向量化表示相关联的嘴型。
4.根据权利要求1所述的方法，进一步包括：
获取包括所述虚拟人物的图像；
基于所述嘴型序列中的各个嘴型，分别更新所述图像中的与所述虚拟人物的嘴部相关联的区域以形成图像序列；以及
基于所述图像序列和所述音频序列，生成包括所述虚拟人物的图像和语音的视频序列。
5.根据权利要求4所述的方法，其中所述嘴型包括多个关键点，所述多个关键点描述所述真实人物的嘴型的轮廓。
6.根据权利要求5所述的方法，其中基于所述嘴型序列中的各个嘴型，分别更新所述图像中的与所述虚拟人物的嘴部相关联的区域以形成图像序列包括：针对所述嘴型序列中的所述嘴型，
利用所述嘴型包括的多个关键点，调整所述虚拟人物的所述图像中的嘴部图像。
7.根据权利要求1所述的方法，进一步包括：获取所述嘴型生成模型，包括：
获取所述真实人物的多个样本嘴型以及分别与所述多个样本嘴型相关联的所述真实人物的多个样本语音片段的多个样本向量化表示；以及
基于所述多个样本嘴型与所述多个样本向量化表示，训练所述嘴型模型以使得所述嘴型模型描述所述多个样本嘴型与所述多个样本向量化表示之间的所述关联关系。
8.根据权利要求7所述的方法，其中获取所述多个样本嘴型和所述多个样本向量化表示进一步包括：
获取包括所述真实人物的图像和语音的视频序列；
按照预定步长将所述视频序列划分为多个视频片段；
针对所述多个视频片段中的视频片段，
基于所述视频片段的视频部分，提取包括所述真实人物的样本嘴型的图像帧；
基于所述视频片段的视频部分，生成描述所述真实人物语音的样本向量化表示。
9.根据权利要求1所述的方法，其中：所述卷积神经网络是全卷积神经网络。
10.一种基于语音来确定虚拟人物的嘴型的装置，包括：
获取模块，配置用于获取用于确定所述虚拟人物的嘴型的语音序列；
划分模块，配置用于按照预定步长将所述语音序列划分为多个语音片段；
生成模块，配置用于基于所述多个语音片段，分别生成描述所述多个语音片段的多个向量化表示；以及
确定模块，配置用于基于所述多个向量化表示，根据嘴型生成模型中包括的真实人物的嘴型与真实人物的语音片段的向量化表示之间的关联关系，确定与所述多个语音片段的所述多个向量化表示相对应的嘴型序列，
其中所述嘴型序列中的嘴型与所述多个语音片段中的语音片段的向量化表示相关联，以及所述嘴型生成模型是基于卷积神经网络获得的。
11.根据权利要求9所述的装置，其中所述生成模块包括：
提取模块，配置用于针对所述多个语音片段中的语音片段，分别提取描述所述语音片段中的多个预定采样点处的语音的多个特征向量；以及
表示生成模块，配置用于基于所述多个特征向量生成针对所述语音片段的向量化表示。
12.根据权利要求10所述的装置，其中所述确定模块包括：
嘴型确定模块，配置用于针对所述多个向量化表示中的向量化表示，根据所述关联关系，确定与所述向量化表示相关联的嘴型。
13.根据权利要求10所述的装置，进一步包括：
图像获取模块，配置用于获取包括所述虚拟人物的图像；
更新模块，配置用于基于所述嘴型序列中的各个嘴型，分别更新所述图像中的与所述虚拟人物的嘴部相关联的区域以形成图像序列；以及
视频生成模块，配置用于基于所述图像序列和所述音频序列，生成包括所述虚拟人物的图像和语音的视频序列。
14.根据权利要求13所述的装置，其中所述嘴型包括多个关键点，所述多个关键点描述所述真实人物的嘴型的轮廓。
15.根据权利要求14所述的装置，其中所述更新模块包括：
调整模块，配置用于针对所述嘴型序列中的所述嘴型，利用所述嘴型包括的多个关键点，调整所述虚拟人物的所述图像中的嘴部图像。
16.根据权利要求10所述的装置，进一步包括模型获取模块，配置用于获取所述嘴型生成模型，包括：
样本获取模块，配置用于获取所述真实人物的多个样本嘴型以及分别与所述多个样本嘴型相关联的所述真实人物的多个样本语音片段的多个样本向量化表示；以及
训练模块，配置用于基于所述多个样本嘴型与所述多个样本向量化表示，训练所述嘴型模型以使得所述嘴型模型描述所述多个样本嘴型与所述多个样本向量化表示之间的所述关联关系。
17.根据权利要求16所述的装置，其中所述样本获取模块包括：
样本视频获取模块，配置用于获取包括所述真实人物的图像和语音的视频序列；
样本处理模块，配置用于按照预定步长将所述视频序列划分为多个视频片段；
视频处理模块，配置用于针对所述多个视频片段中的视频片段，包括：
图像帧获取模块，配置用于基于所述视频片段的视频部分，提取包括所述真实人物的样本嘴型的图像帧；
表示获取模块，配置用于基于所述视频片段的视频部分，生成描述所述真实人物语音的样本向量化表示。
18.根据权利要求10所述的装置，其中：所述卷积神经网络是全卷积神经网络。
19.一种基于语音来确定虚拟人物的嘴型的设备，所述设备包括：
一个或多个处理器；以及
存储装置，用于存储一个或多个程序，当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现根据权利要求1-9中任一项所述的方法。
20.一种计算机可读存储介质，其上存储有计算机程序，所述程序被处理器执行时实现根据权利要求1-9中任一项所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910289051.3A CN110136698B (zh) | 2019-04-11 | 2019-04-11 | 用于确定嘴型的方法、装置、设备和存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910289051.3A CN110136698B (zh) | 2019-04-11 | 2019-04-11 | 用于确定嘴型的方法、装置、设备和存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN110136698A true CN110136698A (zh) | 2019-08-16 |
| CN110136698B CN110136698B (zh) | 2021-09-24 |
Family
ID=67569801
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910289051.3A Active CN110136698B (zh) | 2019-04-11 | 2019-04-11 | 用于确定嘴型的方法、装置、设备和存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110136698B (zh) |
Cited By (17)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110446066A (zh) * | 2019-08-28 | 2019-11-12 | 北京百度网讯科技有限公司 | 用于生成视频的方法和装置 |
| CN111354370A (zh) * | 2020-02-13 | 2020-06-30 | 百度在线网络技术（北京）有限公司 | 一种唇形特征预测方法、装置和电子设备 |
| CN112188304A (zh) * | 2020-09-28 | 2021-01-05 | 广州酷狗计算机科技有限公司 | 视频生成方法、装置、终端及存储介质 |
| CN112233210A (zh) * | 2020-09-14 | 2021-01-15 | 北京百度网讯科技有限公司 | 生成虚拟人物视频的方法、装置、设备和计算机存储介质 |
| CN112333179A (zh) * | 2020-10-30 | 2021-02-05 | 腾讯科技（深圳）有限公司 | 虚拟视频的直播方法、装置、设备及可读存储介质 |
| CN112383721A (zh) * | 2020-11-13 | 2021-02-19 | 北京有竹居网络技术有限公司 | 用于生成视频的方法和装置 |
| CN112750184A (zh) * | 2019-10-30 | 2021-05-04 | 阿里巴巴集团控股有限公司 | 数据处理、动作驱动与人机交互方法及设备 |
| CN112992120A (zh) * | 2019-12-02 | 2021-06-18 | 泛太丝亚企业管理顾问(上海)有限公司 | 语音转换虚拟脸部图像的方法 |
| CN113132797A (zh) * | 2021-04-22 | 2021-07-16 | 北京房江湖科技有限公司 | 视频生成方法和装置、计算机可读存储介质、电子设备 |
| CN113205797A (zh) * | 2021-04-30 | 2021-08-03 | 平安科技（深圳）有限公司 | 虚拟主播生成方法、装置、计算机设备及可读存储介质 |
| WO2021196646A1 (zh) * | 2020-03-31 | 2021-10-07 | 北京市商汤科技开发有限公司 | 交互对象的驱动方法、装置、设备以及存储介质 |
| WO2021196644A1 (zh) * | 2020-03-31 | 2021-10-07 | 北京市商汤科技开发有限公司 | 交互对象的驱动方法、装置、设备以及存储介质 |
| CN113674177A (zh) * | 2021-08-25 | 2021-11-19 | 咪咕视讯科技有限公司 | 一种人像唇部的自动上妆方法、装置、设备和存储介质 |
| CN114466240A (zh) * | 2022-01-27 | 2022-05-10 | 北京精鸿软件科技有限公司 | 视频处理方法、装置、介质及电子设备 |
| CN114677634A (zh) * | 2022-05-30 | 2022-06-28 | 成都新希望金融信息有限公司 | 面签识别方法、装置、电子设备及存储介质 |
| CN115050083A (zh) * | 2022-08-15 | 2022-09-13 | 南京硅基智能科技有限公司 | 矫正口型模型、模型的训练及其应用方法 |
| CN112233210B (zh) * | 2020-09-14 | 2024-06-07 | 北京百度网讯科技有限公司 | 生成虚拟人物视频的方法、装置、设备和计算机存储介质 |
Citations (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2008140364A (ja) * | 2006-07-24 | 2008-06-19 | Advanced Telecommunication Research Institute International | リップシンクアニメーション作成装置、コンピュータプログラム及び顔モデル生成装置 |
| KR20140133056A (ko) * | 2013-05-09 | 2014-11-19 | 중앙대학교기술지주 주식회사 | 애니메이션 립싱크 자동화 장치 및 방법 |
| US20150042662A1 (en) * | 2013-08-08 | 2015-02-12 | Kabushiki Kaisha Toshiba | Synthetic audiovisual storyteller |
| CN104361620A (zh) * | 2014-11-27 | 2015-02-18 | 韩慧健 | 一种基于综合加权算法的口型动画合成方法 |
| CN106297792A (zh) * | 2016-09-14 | 2017-01-04 | 厦门幻世网络科技有限公司 | 一种语音口型动画的识别方法及装置 |
| CN106653052A (zh) * | 2016-12-29 | 2017-05-10 | Tcl集团股份有限公司 | 虚拟人脸动画的生成方法及装置 |
| CN107340859A (zh) * | 2017-06-14 | 2017-11-10 | 北京光年无限科技有限公司 | 多模态虚拟机器人的多模态交互方法和系统 |
| CN108538308A (zh) * | 2018-01-09 | 2018-09-14 | 网易（杭州）网络有限公司 | 基于语音的口型和/或表情模拟方法及装置 |
| CN108763190A (zh) * | 2018-04-12 | 2018-11-06 | 平安科技（深圳）有限公司 | 基于语音的口型动画合成装置、方法及可读存储介质 |
| CN108847234A (zh) * | 2018-06-28 | 2018-11-20 | 广州华多网络科技有限公司 | 唇语合成方法、装置、电子设备及存储介质 |
| CN109064532A (zh) * | 2018-06-11 | 2018-12-21 | 上海咔咖文化传播有限公司 | 动画角色自动口型生成方法及装置 |
| CN109377539A (zh) * | 2018-11-06 | 2019-02-22 | 北京百度网讯科技有限公司 | 用于生成动画的方法和装置 |
| CN109599113A (zh) * | 2019-01-22 | 2019-04-09 | 北京百度网讯科技有限公司 | 用于处理信息的方法和装置 |
-
2019
- 2019-04-11 CN CN201910289051.3A patent/CN110136698B/zh active Active
Patent Citations (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2008140364A (ja) * | 2006-07-24 | 2008-06-19 | Advanced Telecommunication Research Institute International | リップシンクアニメーション作成装置、コンピュータプログラム及び顔モデル生成装置 |
| KR20140133056A (ko) * | 2013-05-09 | 2014-11-19 | 중앙대학교기술지주 주식회사 | 애니메이션 립싱크 자동화 장치 및 방법 |
| US20150042662A1 (en) * | 2013-08-08 | 2015-02-12 | Kabushiki Kaisha Toshiba | Synthetic audiovisual storyteller |
| CN104361620A (zh) * | 2014-11-27 | 2015-02-18 | 韩慧健 | 一种基于综合加权算法的口型动画合成方法 |
| CN106297792A (zh) * | 2016-09-14 | 2017-01-04 | 厦门幻世网络科技有限公司 | 一种语音口型动画的识别方法及装置 |
| CN106653052A (zh) * | 2016-12-29 | 2017-05-10 | Tcl集团股份有限公司 | 虚拟人脸动画的生成方法及装置 |
| CN107340859A (zh) * | 2017-06-14 | 2017-11-10 | 北京光年无限科技有限公司 | 多模态虚拟机器人的多模态交互方法和系统 |
| CN108538308A (zh) * | 2018-01-09 | 2018-09-14 | 网易（杭州）网络有限公司 | 基于语音的口型和/或表情模拟方法及装置 |
| CN108763190A (zh) * | 2018-04-12 | 2018-11-06 | 平安科技（深圳）有限公司 | 基于语音的口型动画合成装置、方法及可读存储介质 |
| CN109064532A (zh) * | 2018-06-11 | 2018-12-21 | 上海咔咖文化传播有限公司 | 动画角色自动口型生成方法及装置 |
| CN108847234A (zh) * | 2018-06-28 | 2018-11-20 | 广州华多网络科技有限公司 | 唇语合成方法、装置、电子设备及存储介质 |
| CN109377539A (zh) * | 2018-11-06 | 2019-02-22 | 北京百度网讯科技有限公司 | 用于生成动画的方法和装置 |
| CN109599113A (zh) * | 2019-01-22 | 2019-04-09 | 北京百度网讯科技有限公司 | 用于处理信息的方法和装置 |
Non-Patent Citations (2)
| Title |
|---|
| GERARD LLORACH ET AL: "Web-based live speech-driven lip-sync", 《2016 8TH INTERNATIONAL CONFERENCE ON GAMES AND VIRTUAL WORLDS FOR SERIOUS APPLICATIONS》 * |
| 朱明会: "真实感三维人脸唇形动画系统的语音驱动", <中国优秀硕士学位论文全文数据库 信息科技辑> * |
Cited By (28)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110446066A (zh) * | 2019-08-28 | 2019-11-12 | 北京百度网讯科技有限公司 | 用于生成视频的方法和装置 |
| CN110446066B (zh) * | 2019-08-28 | 2021-11-19 | 北京百度网讯科技有限公司 | 用于生成视频的方法和装置 |
| CN112750184A (zh) * | 2019-10-30 | 2021-05-04 | 阿里巴巴集团控股有限公司 | 数据处理、动作驱动与人机交互方法及设备 |
| CN112750184B (zh) * | 2019-10-30 | 2023-11-10 | 阿里巴巴集团控股有限公司 | 数据处理、动作驱动与人机交互方法及设备 |
| CN112992120A (zh) * | 2019-12-02 | 2021-06-18 | 泛太丝亚企业管理顾问(上海)有限公司 | 语音转换虚拟脸部图像的方法 |
| CN111354370A (zh) * | 2020-02-13 | 2020-06-30 | 百度在线网络技术（北京）有限公司 | 一种唇形特征预测方法、装置和电子设备 |
| CN113672194A (zh) * | 2020-03-31 | 2021-11-19 | 北京市商汤科技开发有限公司 | 声学特征样本的获取方法、装置、设备以及存储介质 |
| WO2021196646A1 (zh) * | 2020-03-31 | 2021-10-07 | 北京市商汤科技开发有限公司 | 交互对象的驱动方法、装置、设备以及存储介质 |
| WO2021196644A1 (zh) * | 2020-03-31 | 2021-10-07 | 北京市商汤科技开发有限公司 | 交互对象的驱动方法、装置、设备以及存储介质 |
| JP2022530726A (ja) * | 2020-03-31 | 2022-07-01 | 北京市商▲湯▼科技▲開▼▲發▼有限公司 | インタラクティブ対象駆動方法、装置、デバイス、及び記録媒体 |
| CN112233210A (zh) * | 2020-09-14 | 2021-01-15 | 北京百度网讯科技有限公司 | 生成虚拟人物视频的方法、装置、设备和计算机存储介质 |
| CN112233210B (zh) * | 2020-09-14 | 2024-06-07 | 北京百度网讯科技有限公司 | 生成虚拟人物视频的方法、装置、设备和计算机存储介质 |
| CN112188304A (zh) * | 2020-09-28 | 2021-01-05 | 广州酷狗计算机科技有限公司 | 视频生成方法、装置、终端及存储介质 |
| CN112333179A (zh) * | 2020-10-30 | 2021-02-05 | 腾讯科技（深圳）有限公司 | 虚拟视频的直播方法、装置、设备及可读存储介质 |
| WO2022089167A1 (zh) * | 2020-10-30 | 2022-05-05 | 腾讯科技（深圳）有限公司 | 虚拟视频的直播方法、装置、设备及可读存储介质 |
| CN112333179B (zh) * | 2020-10-30 | 2023-11-10 | 腾讯科技（深圳）有限公司 | 虚拟视频的直播方法、装置、设备及可读存储介质 |
| US11882319B2 (en) | 2020-10-30 | 2024-01-23 | Tencent Technology (Shenzhen) Company Limited | Virtual live video streaming method and apparatus, device, and readable storage medium |
| CN112383721A (zh) * | 2020-11-13 | 2021-02-19 | 北京有竹居网络技术有限公司 | 用于生成视频的方法和装置 |
| CN113132797A (zh) * | 2021-04-22 | 2021-07-16 | 北京房江湖科技有限公司 | 视频生成方法和装置、计算机可读存储介质、电子设备 |
| CN113205797B (zh) * | 2021-04-30 | 2024-03-05 | 平安科技（深圳）有限公司 | 虚拟主播生成方法、装置、计算机设备及可读存储介质 |
| CN113205797A (zh) * | 2021-04-30 | 2021-08-03 | 平安科技（深圳）有限公司 | 虚拟主播生成方法、装置、计算机设备及可读存储介质 |
| CN113674177A (zh) * | 2021-08-25 | 2021-11-19 | 咪咕视讯科技有限公司 | 一种人像唇部的自动上妆方法、装置、设备和存储介质 |
| CN113674177B (zh) * | 2021-08-25 | 2024-03-26 | 咪咕视讯科技有限公司 | 一种人像唇部的自动上妆方法、装置、设备和存储介质 |
| CN114466240A (zh) * | 2022-01-27 | 2022-05-10 | 北京精鸿软件科技有限公司 | 视频处理方法、装置、介质及电子设备 |
| CN114677634A (zh) * | 2022-05-30 | 2022-06-28 | 成都新希望金融信息有限公司 | 面签识别方法、装置、电子设备及存储介质 |
| CN114677634B (zh) * | 2022-05-30 | 2022-09-27 | 成都新希望金融信息有限公司 | 面签识别方法、装置、电子设备及存储介质 |
| US11887403B1 (en) | 2022-08-15 | 2024-01-30 | Nanjing Silicon Intelligence Technology Co., Ltd. | Mouth shape correction model, and model training and application method |
| CN115050083A (zh) * | 2022-08-15 | 2022-09-13 | 南京硅基智能科技有限公司 | 矫正口型模型、模型的训练及其应用方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN110136698B (zh) | 2021-09-24 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110136698A (zh) | 用于确定嘴型的方法、装置、设备和存储介质 | |
| US11159597B2 (en) | Systems and methods for artificial dubbing | |
| US11145100B2 (en) | Method and system for implementing three-dimensional facial modeling and visual speech synthesis | |
| EP3438972B1 (en) | Information processing system and method for generating speech | |
| US9837091B2 (en) | Audio-visual dialogue system and method | |
| JP6019108B2 (ja) | 文字に基づく映像生成 | |
| CN109377539A (zh) | 用于生成动画的方法和装置 | |
| JP2014519082A5 (zh) | ||
| JP5194197B2 (ja) | 声質変換システム、声質変換装置及びその方法、声道情報生成装置及びその方法 | |
| Hansen et al. | On the issues of intra-speaker variability and realism in speech, speaker, and language recognition tasks | |
| CN113205793B (zh) | 音频生成方法、装置、存储介质及电子设备 | |
| US20220157329A1 (en) | Method of converting voice feature of voice | |
| CN110348409A (zh) | 一种基于声纹生成人脸图像的方法和装置 | |
| CN116051692A (zh) | 一种基于语音驱动的三维数字人脸部动画生成方法 | |
| CN116597857A (zh) | 一种语音驱动图像的方法、系统、装置及存储介质 | |
| CN116095357B (zh) | 虚拟主播的直播方法、装置及系统 | |
| van Rijn et al. | VoiceMe: Personalized voice generation in TTS | |
| Bataev et al. | Text-only domain adaptation for end-to-end asr using integrated text-to-mel-spectrogram generator | |
| KR20230172427A (ko) | 사람 음성에 따른 실사인물의 발화 영상 합성 시스템 | |
| CN116366872A (zh) | 基于中之人和人工智能的直播方法、装置及系统 | |
| US20230146945A1 (en) | Method of forming augmented corpus related to articulation disorder, corpus augmenting system, speech recognition platform, and assisting device | |
| JP3413384B2 (ja) | 調音状態の推定表示方法およびそのためのコンピュータプログラムを記録したコンピュータ読取可能な記録媒体 | |
| Verma et al. | Animating expressive faces across languages | |
| CN113079327A (zh) | 视频生成方法和装置、存储介质和电子设备 | |
| Zainkó et al. | Adaptation of Tacotron2-based Text-To-Speech for Articulatory-to-Acoustic Mapping using Ultrasound Tongue Imaging |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |