CN114937104A - 虚拟对象面部信息生成方法、装置和电子设备 - Google Patents
虚拟对象面部信息生成方法、装置和电子设备 Download PDFInfo
- Publication number
- CN114937104A CN114937104A CN202210729436.9A CN202210729436A CN114937104A CN 114937104 A CN114937104 A CN 114937104A CN 202210729436 A CN202210729436 A CN 202210729436A CN 114937104 A CN114937104 A CN 114937104A
- Authority
- CN
- China
- Prior art keywords
- pronunciation
- information
- expression
- facial
- generating
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 51
- 230000014509 gene expression Effects 0.000 claims abstract description 143
- 230000001815 facial effect Effects 0.000 claims abstract description 82
- 230000008921 facial expression Effects 0.000 claims abstract description 29
- 230000008451 emotion Effects 0.000 claims description 55
- 238000013528 artificial neural network Methods 0.000 claims description 33
- 238000012549 training Methods 0.000 claims description 27
- 238000004088 simulation Methods 0.000 claims description 12
- 238000004590 computer program Methods 0.000 claims description 9
- 230000004927 fusion Effects 0.000 claims description 7
- 230000009471 action Effects 0.000 abstract description 45
- 230000000694 effects Effects 0.000 abstract description 5
- 230000033001 locomotion Effects 0.000 description 14
- 238000003062 neural network model Methods 0.000 description 13
- 230000006870 function Effects 0.000 description 10
- 238000004891 communication Methods 0.000 description 8
- 238000010586 diagram Methods 0.000 description 8
- 238000012545 processing Methods 0.000 description 7
- 239000013598 vector Substances 0.000 description 7
- 230000003287 optical effect Effects 0.000 description 6
- 230000008569 process Effects 0.000 description 6
- 238000005516 engineering process Methods 0.000 description 5
- 210000003205 muscle Anatomy 0.000 description 4
- 210000001097 facial muscle Anatomy 0.000 description 3
- 238000012935 Averaging Methods 0.000 description 2
- 238000013475 authorization Methods 0.000 description 2
- 230000006835 compression Effects 0.000 description 2
- 238000007906 compression Methods 0.000 description 2
- 210000003128 head Anatomy 0.000 description 2
- 239000013307 optical fiber Substances 0.000 description 2
- 230000000644 propagated effect Effects 0.000 description 2
- 230000004044 response Effects 0.000 description 2
- 239000004065 semiconductor Substances 0.000 description 2
- 241001465754 Metazoa Species 0.000 description 1
- 101100043229 Oryza sativa subsp. japonica SPL14 gene Proteins 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 210000004709 eyebrow Anatomy 0.000 description 1
- 239000000835 fiber Substances 0.000 description 1
- 210000004209 hair Anatomy 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 210000000056 organ Anatomy 0.000 description 1
- 238000007500 overflow downdraw method Methods 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 230000001755 vocal effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T13/00—Animation
- G06T13/20—3D [Three Dimensional] animation
- G06T13/205—3D [Three Dimensional] animation driven by audio data
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T13/00—Animation
- G06T13/20—3D [Three Dimensional] animation
- G06T13/40—3D [Three Dimensional] animation of characters, e.g. humans, animals or virtual beings
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Multimedia (AREA)
- Health & Medical Sciences (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Processing Or Creating Images (AREA)
Abstract
本公开实施例公开了虚拟对象面部信息生成方法、装置和电子设备。该方法包括：获取待虚拟对象进行口语表达的文本信息对应的发音单元序列；根据预设面部表情生成规则生成所述发音单元序列对应的第一面部信息；基于真实对象对所述文本信息的口语表达，生成所述发音单元序列对应的第二面部信息；融合所述第一面部信息和所述第二面部信息，得到应用于虚拟对象的所述文本信息对应的目标面部信息，从而所得到的目标面部信息包括标准化发音动作信息与真实对象的发音动作。使得由目标面部信息生成的虚拟对象的口语表达时的动作更接近真实人物的发音时的动作，可以改善虚拟对象的观看效果。
Description
技术领域
本公开涉及计算机技术和软件技术，尤其涉及一种虚拟对象面部信息生成方法、装置和电子设备。
背景技术
随着计算机三维影像技术的不断发展，三维图形技术由于比平面图更直观，更能给观赏者以身临其境的感觉，越来越被人们所看重。
三维动画中的虚拟对象(包括虚拟人物、虚拟动物)的一个主要特点是他们可以通过各种表演，以声情并茂、表情达意来传递思想与情感。
发明内容
提供该公开内容部分以便以简要的形式介绍构思，这些构思将在后面的具体实施方式部分被详细描述。该公开内容部分并不旨在标识要求保护的技术方案的关键特征或必要特征，也不旨在用于限制所要求的保护的技术方案的范围。
本公开实施例提供了一种虚拟对象面部信息生成方法、装置和电子设备。
第一方面，本公开实施例提供了一种虚拟对象面部信息生成方法，包括：获取待虚拟对象进行口语表达的文本信息对应的发音单元序列；根据预设面部表情生成规则生成所述发音单元序列对应的第一面部信息；基于真实对象对所述文本信息的口语表达，生成所述发音单元序列对应的第二面部信息；融合所述第一面部信息和所述第二面部信息，得到应用于虚拟对象的所述文本信息对应的目标面部信息。
第二方面，本公开实施例提供了一种虚拟对象面部信息生成装置，该装置包括：获取模块，用于获取待虚拟对象进行口语表达的文本信息对应的发音单元序列；第一生成模块，用于根据预设面部表情生成规则生成所述发音单元序列对应的第一面部信息；第二生成模块，用于基于真实对象对所述文本信息的口语表达，生成所述发音单元序列对应的第二面部信息；融合模块，用于融合所述第一面部信息和所述第二面部信息，得到应用于虚拟对象的所述文本信息对应的目标面部信息。
第三方面，本公开实施例提供了一种电子设备，包括：至少一个处理器；存储装置，用于存储至少一个程序，当所述至少一个程序被所述至少一个处理器执行，使得所述至少一个处理器实现如第一方面所述的虚拟对象面部信息生成方法。
第四方面，本公开实施例提供了一种计算机可读介质，其上存储有计算机程序，该程序被处理器执行时实现如第一方面所述的虚拟对象面部信息生成方法的步骤。
本公开实施例提供的虚拟对象面部信息生成方法、装置和电子设备，通过获取待虚拟对象进行口语表达的文本信息对应的发音单元序列；根据预设面部表情生成规则生成所述发音单元序列对应的第一面部信息；基于真实对象对所述文本信息的口语表达，生成所述发音单元对应的第二面部信息；融合所述第一面部信息和所述第二面部信息，得到应用于虚拟对象的所述文本信息对应的目标面部信息，从而所得到的目标面部信息包括标准化发音动作信息与真实对象的发音动作。使得由目标面部信息生成的虚拟对象的口语表达时的动作更接近真实人物的发音时的动作，可以改善虚拟对象的观看效果。
附图说明
结合附图并参考以下具体实施方式，本公开各实施例的上述和其他特征、优点及方面将变得更加明显。贯穿附图中，相同或相似的附图标记表示相同或相似的元素。应当理解附图是示意性的，原件和元素不一定按照比例绘制。
图1是根据本公开的虚拟对象面部信息生成方法的一个实施例的流程图；
图2是根据本公开的虚拟对象面部信息生成装置的一个实施例的结构示意图；
图3是本公开的一个实施例的虚拟对象面部信息生成方法可以应用于其中的示例性系统架构；
图4是根据本公开实施例提供的电子设备的基本结构的示意图。
具体实施方式
可以理解的是，在使用本公开各实施例公开的技术方案之前，均应当依据相关法律法规通过恰当的方式对本公开所涉及个人信息的类型、使用范围、使用场景等告知用户并获得用户的授权。
例如，在响应于接收到用户的主动请求时，向用户发送提示信息，以明确地提示用户，其请求执行的操作将需要获取和使用到用户的个人信息。从而，使得用户可以根据提示信息来自主地选择是否向执行本公开技术方案的操作的电子设备、应用程序、服务器或存储介质等软件或硬件提供个人信息。
作为一种可选的但非限定性的实现方式，响应于接收到用户的主动请求，向用户发送提示信息的方式例如可以是弹窗的方式，弹窗中可以以文字的方式呈现提示信息。此外，弹窗中还可以承载供用户选择“同意”或者“不同意”向电子设备提供个人信息的选择控件。
可以理解的是，上述通知和获取用户授权过程仅是示意性的，不对本公开的实现方式构成限定，其它满足相关法律法规的方式也可应用于本公开的实现方式中。
可以理解的是，本技术方案所涉及的数据(包括但不限于数据本身、数据的获取或使用)应当遵循相应法律法规及相关规定的要求。
下面将参照附图更详细地描述本公开的实施例。虽然附图中显示了本公开的某些实施例，然而应当理解的是，本公开可以通过各种形式来实现，而且不应该被解释为限于这里阐述的实施例，相反提供这些实施例是为了更加透彻和完整地理解本公开。应当理解的是，本公开的附图及实施例仅用于示例性作用，并非用于限制本公开的保护范围。
应当理解，本公开的方法实施方式中记载的各个步骤可以按照不同的顺序执行，和/或并行执行。此外，方法实施方式可以包括附加的步骤和/或省略执行示出的步骤。本公开的范围在此方面不受限制。
本文使用的术语“包括”及其变形是开放性包括，即“包括但不限于”。术语“基于”是“至少部分地基于”。术语“一个实施例”表示“至少一个实施例”；术语“另一实施例”表示“至少一个另外的实施例”；术语“一些实施例”表示“至少一些实施例”。其他术语的相关定义将在下文描述中给出。
需要注意，本公开中提及的“第一”、“第二”等概念仅用于对不同的装置、模块或单元进行区分，并非用于限定这些装置、模块或单元所执行的功能的顺序或者相互依存关系。
需要注意，本公开中提及的“一个”、“多个”的修饰是示意性而非限制性的，本领域技术人员应当理解，除非在上下文另有明确指出，否则应该理解为“一个或多个”。
本公开实施方式中的多个装置之间所交互的消息或者信息的名称仅用于说明性的目的，而并不是用于对这些消息或信息的范围进行限制。
请参考图1，其示出了根据本公开的虚拟对象面部信息生成方法的一个实施例的流程。如图1所示该虚拟对象面部信息生成方法，包括以下步骤：
步骤101，获取待虚拟对象进行口语表达的文本信息对应的发音单元序列。
这里的虚拟对象可以是由计算机生成的任意对象。作为示例虚拟对象可以是用于指代任意人物的虚拟对象。以虚拟对象指代人物为例，虚拟对象可以具有模仿人物的头部、身体等。虚拟对象头部可以具有虚拟的面部。面部可以具有虚拟的五官等。
计算机通过影像技术还可以令虚拟对象模拟真实人物进行口语表达，也即令虚拟对象模拟真实人物讲话。
上述方法的执行主体可以是任意具有图像处理、数据处理功能的电子设备。例如台式计算机、便携式计算机、移动终端等。
上述文本信息可以是待由虚拟对象进行口语表达的任意文本。文本信息可以包括一个字(或字母)、两个以上的字(字母)等。
上述文本信息的发音单元序列，可以是由人工输入的，也可以是其他电子设备生成的，也可以是上述执行主体根据文本信息生成的。
这里的发音单元序列可以包括多个发音单元。这里的发音单元可以是音素。上面的发音序列可以是组成上述文本信息的发音的各音素按照发音的前后顺序排列得到的音素序列。
一个字(或单词)的发音可以对应一个音素，也可以对应两个以上的音素。若一个字(或单词)的音素在两个以上，则该字(或单词)对应的两个以上的音素。对于音素在两个以上的字，该字的两个以上的音素按照该字(或单词)的音素发音的前后顺序排列在上述发音单元中。
音素(phone)，是根据语音的自然属性划分出来的最小语音单位，依据音节里的发音动作来分析，一个动作构成一个音素。音素分为元音与辅音两大类。如汉语音节啊(ā)只有一个音素，爱(ài)有两个音素，代(dài)有三个音素。不同的字可以有相同的发音部分，也即有相同的音素。
音素是构成音节的最小单位或最小的语音片段，是从音质的角度划分出来的最小的线性的语音单位。音素是具体存在的物理现象。
在一些应用场景中，音素可以使用国际音标进行标注。国际音标的音标符号与全人类语言的音素一一对应。
国际音标(International Phonetic Alphabet，IPA)，是一组语言学者用来标示各种人类所能发出来的声音(指单音或音素)的语音符号系统。
国际音标中，可以由一个符号代表一个音。每一符号的基本音值和上下文、所在环境无关。
在这些应用场景中，上述发音单元序列中的每个音素可以被替换成IPA。
步骤102，根据预设面部表情生成规则生成所述发音单元序列对应的第一面部信息。
这里的预设面部表情生成规则可以是预先建立的。
具体地，对于每一个发音单元，预设面部表情生成规则中可以对应有该发音单元对应的发音参数。这里的发音参数可以包括面部多个肌肉群对应的参数。也即，对于每一个肌肉群可以设置该肌肉群对应的参数。假设面部肌肉群的数量为N，每一个音素可以对应N个参数，这个N个参数的值形成该音素的N维向量。上述N维参数中例如可以包括嘴唇、牙齿、舌头、下颌、脸颊、眼睛、眉毛等多个肌肉群对应的参数。
也就是说，上述第一面部信息可以包括由各发音单元分别对应的发音动作参数。
例如，每一个音素的N维向量可以是由国际音标规定的每个音素的标准发音动作确定的。IPA的N维向量具体可以表示为：{IPA1:{Expression1:值1,Expression2:值2，…}}。
根据上述预设面部表情生成规则，可以得到上述发音单元序列各自对应的N维向量。
上述面部信息可以包括上述发音单元序列中各发音单元分别对应的N维向量。
以上述发音单元序列中包括M个发音单元为例，上述发音单元序列中各发音单元分别对应的N维向量可以组成M×N维矩阵。
步骤103，基于真实对象对所述文本信息的口语表达，生成所述发音单元对应的第二面部信息。
这里的真实对象可以是真实的人。在一些应用场景中，上述真实对象可以是真实的动物。
上述口语表达可以真实对象对上述发音单元序列的实际发音。
上述步骤103可以包括对所采集的真实对象的对上述发音单元序列的发音动作，进行各种分析处理，得到的上述第二面部信息。
在一些应用场景中，上述步骤102可以包括：将所述发音单元序列输入到预先训练的神经网络，由所述神经网络输出所述第二面部信息，其中，所述预先训练的神经网络使用真实对象进行口语表达时的面部信息作为训练数据对初始神经网络进行训练得到。
上述神经网络可以为各种神经网络。上述真实对象进行口语表达时的面部信息可以通过各种面部信息采集手段采集。可以将所采集的面部信息转换成多维参数对应参数值。以汉语为例，上述口语表达可以包括字、词、句以及文章。以英语为例，上述口语表达可以包括单词、句子、段落以及文章。作为训练数据用的口语表达可以包括多个字、词句子、段落以及文章。上述作为训练数据的口语表达可以包括多个音素。训练数据中可以包括口语表达中的发音单元，以及发音单元对应的面部参数。例如可以以口语表达中的发音单元作为初始神经网络的输入，将发音单元发音参数作为神经网络的输出，对初始神经网络进行训练，从而得到训练后的神经网络。
上述训练后的神经网络用于根据发音单元序列输出与发音单元序列对应的各发音单元对应的面部动作参数。
第二面部信息包括多个发音单元分别对应的多个面部肌肉群的动作参数。假设面部肌肉群的数量为N，对于每一个发音单元，第二面部信息中可以包括该发音单元对应N个参数，这个N个参数的值形成该发音单元的N维向量。
步骤104，融合所述第一面部信息和第二面部信息，得到应用于虚拟对象的所述文本信息对应的目标面部信息。
对于每一个发音单元，将第一面部信息和第二面部信息中该发音单元对应的参数进行融合。
作为一种实现方式，上述参数融合可以包括将第一面部信息中的参数与第二面部信息中的参数进行加权平均。
作为另外一种实现方式中，上述参数融合可以包括将第一面部信息中的参数与第二面部信息中的参数取均值。
具体地，对于发音单元序列中的每一个发音单元，对于该发音单元对应的每一个参数，可以按照上述融合方法进行融合。从而得到该发音单元的的目标发音动作参数。进而可以得到发音单元序列中各发音单元分别对应的目标发音动作参数。
上述目标面部信息可以包括发音单元序列中各发音单元分别对应的目标发音动作参数。
本公开的上述实施例提供的方法，通过获取待虚拟对象进行口语表达的文本信息对应的发音单元序列；根据预设面部表情生成规则生成所述发音单元序列对应的第一面部信息；基于真实对象对所述文本信息的口语表达，生成所述发音单元对应的第二面部信息；融合所述第一面部信息和所述第二面部信息，得到应用于虚拟对象的所述文本信息对应的目标面部信息，从而所得到的目标面部信息包括标准化发音动作信息与真实对象的发音动作。使得由目标面部信息生成的虚拟对象的口语表达时的动作更接近真实人物的发音时的动作，可以改善虚拟对象的观看效果。
在一些可选的实现方式中，上述虚拟对象面部信息生成方法还包括：确定所述发音单元序列中各发音单元分别对应的表达时长。
第一面部信息和第二面部信息可以包括各发音单元对应的表达时长。具体地，在上述面部信息中，可以在对于一个发音单元，可以在发音动作参数中添加该发音单元对应的表达时长。
可以通过各种方式确定各发音单元的分别对应的表达时长。
例如，对于每一个发音单元，可以根据采集到的不同用户对该发音单元的实际表达时长，确定出该发音单元的表达时长。具体地，可以对多个用户对该发音单元的口语表达时长取均值，得到该发音单元的表达时长。
在一些应用场景中，上述确定所述发音单元序列中各发音单元分别对应的表达时长，包括：基于所述文本信息的目标表达时长，确定上述发音单元序列中各发音单元分别对应的表达时长。
这里的目标表达时长可以是上述文本信息总体对应的表达时长。
可以将目标表达时长平均分配给发音单元序列中的每一个发音单元。例如，目标表达时长为T秒，发音单元序列中的发音单元的数量为K个，则每个发音单元的表达时长为T/K秒/个。
对于每一个发音单元，为该发音单元对应的发音动作设置表达时长。
在这些可选的实现方式中，上述步骤102可以包括根据所述预设面部表情生成规则和所述表达时长，确定所述发音单元序列对应的第一面部信息。
也就是，对于每一个发音单元，第一面部信息中可以包括该发音单元对应的发音动作参数，还可以包括该发音单元的表达时长。
在这些可选的实现方式中，上述步骤103可以包括基于真实对象对所述文本信息的口语表达和所述各发音单元分别对应的表达时长，生成所述发音单元序列对应的第二面部信息。
在一些应用场景中，对于每一个发音单元，可以对真实对象的口语表达时采集该发音单元的发音动作参数时对应的该发音单元的持续时长与上述表达时长进行融合，确定该发音单元的发音动作参数，以及发音动作参数对应的目标持续时长。
这样一来，第二面部信息所包括的每一个发音单元的信息，包括该发音单元的发音动作参数和发音时长。而且，每一个发音单元的发音时长由文本信息对应的目标时长和真实对象对该发音单元进行口语表达时的持续时长确定。由第一面部信息和第二面部信息融合后的目标面部信息，目标面部信息中的发音单元的目标持续时长融合了根据文本信息的目标表达时长确定的持续时长以及真实对象对该发音单元的实际表达时长，从而所确定的该发音单元的持续时长与现实表达更加贴近。使得由上述目标面部信息确定出的虚拟对象在动画演示中，进行上述文本信息的口语表达时，所展示的面部表情更加流畅。
在一些可选的实现方式中，上述步骤103包括：根据接收到的添加情感指令，基于真实对象在目标情感下对所述文本信息的口语表达，生成所述目标情感对应的所述第二面部信息，其中，所述目标情感为所述情感指令指示的情感。
上述目标情感可以包括喜悦、悲伤、愤怒和正常中的一种。
在这些可选的实现方式中，可以根据预先所采集到的多个用户分别在上目标情感下的口语表达，确定在目标情感下的上述文本信息对应的第二面部信息。
以目标情感为喜悦情感为例进行说明。多个真实对象A、B和C。可以事先采集真实对象A、B和C在喜悦情感下的多个口语表达中不同发音单元的发音动作信息。然后根据发音动作信息分别生成真实对象A、B和C分别对应的在喜悦情感下的发音动作信息参数列表。
在接收到添加情感指令之后，若发音单元D为发音单元序列中的一个发音单元。可以分别在真实对象A、B和C各自对应的喜悦情感发音动作信息参数列表中，查找出的发音单元D的发音动作参数为DA、DB和DC。可以取DA、DB和DC的均值，作为在喜悦情感下，发音单元D的发音动作参数。
在另外一些可选的实现方式中，可以将上述发音单元序列以及目标情感信息输入到预先训练的神经网络中，由上述预先训练的神经网络来生成在上述目标情感下的上述发音单元序列的中各发音单元的发音动作参数，也即第二面部信息。
上述预先训练的神经网络可以是由训练数据进行训练得到，上述训练数据为在目标情感下，由多个用户不同的口语表达得到的训练数据。具体地，对于每一个用户，可以采集该用户在目标情感下的口语表达时的面部动作信息。上述口语表达可以包括字、词和段落的口语表达。根据上述字、词和段落的口语表达对应的面部动作信息，可以提取多个发音单元的发音动作参数。也即可以得到该用户在上述目标情感下的多个发音单元对应的发音动作参数。
可以将目标情感和多个发音单元作为输入，将由采集面部动作信息得到的多个用户在上述目标情感下的多个发音单元的发音动作参数作为输出，对上述神经网络模型进行训练，得到训练后的神经神经网络模型。该神经网络模型可以根据输入的目标情感以及发音单元，输出在该目标情感下的发音单元对应的发音动作参数。
在这些可选的实现方式中，可以由预先训练的神经网络模型来得到目标情感下的发音单元序列的第二面部信息。
由于上述神经网络模型是根据多个真实用户在目标情感下的口语表达得到的不同发音单元的面部动作信息训练得到，因此，有神经网络模型预测得到的发音单元的发音动作参数，与真实对象的发音动作参数的相似度较高。
在这些可选的实现方式中，由预设面部表情生成规则生成的第一面部信息和基于真实对象的口语表达确定的在目标情感下的第二面部信息得到的目标面部信息，由于包含了目标情感信息，使得由上述目标面部信息生成的虚拟对象的口语表达的视频中，虚拟对象在口语表达上述文本信息时的面部表情可以反映上述目标情感。
在一些可选的实现方式中，上述步骤103包括根据对象模拟指令，基于真实目标对象的口语表达，生成所述目标对象对应的所述第二面部信息。上述目标对象为对象模拟指令指示的目标对象。
上述目标对象可以为任意真实人物。上述目标对象的口语表达，可以包括对字、词、句和/或句群的口语表达。
可以根据预先所采集到的目标对象的口语表达，确定目标对象的在口语表达上述文本信息时对应的第二面部信息。
以真实对象A为例，可以事先采集真实对象A的多个口语表达中不同发音单元的发音动作信息。然后根据发音动作信息生成真实对象A的发音动作信息参数库。
接收到用于指示模拟对象为真实对象A的对象模拟指令之后，对于发音单元中的每一个发音单元，可以从该发音动作信息参数库中查找出该发音单元对应的发音动作参数。若发音单元D为发音单元序列中的一个发音单元。可以在真实对象A的发音动作信息参数库中，查找出的发音单元D的发音动作参数为D1。将发音单元D的发音动作参数D1作为待模拟的发音动作参数。
需要指出的是，上述发音动作参数库中的每个发音单元，可以由根据多次采集的目标真实对象对该发音单元的面部发音动作信息，得出该发音单元的目标发音动作参数。
在一些应用场景中，可以将上述发音单元序列以及目标真实对象的信息输入到预先训练的神经网络中，由上述预先训练的神经网络来生成在上述目标真实对象对应的上述发音单元序列的中各发音单元的发音动作参数，也即与目标真实对象对应的第二面部信息。
上述预先训练的神经网络可以是由训练数据进行训练得到，上述训练数据为目标真实对象的不同口语表达得到的训练数据。具体地，可以采集该目标真实对象口语表达时的面部动作信息。上述口语表达可以包括字、词和段落的口语表达。根据上述字、词和段落的口语表达对应的面部动作信息，可以提取多个发音单元的发音动作参数。也即可以得到该目标真实对象的多个发音单元对应的发音动作参数。
可以将目标真实对象的对象标识和多个发音单元作为输入，将由采集面部动作信息得到的目标真实对象的多个发音单元的发音动作参数作为输出，对上述神经网络模型进行训练，得到训练后的神经神经网络模型。该神经网络模型可以根据输入的目标真实对象以及发音单元，输出该目标真实对象对应的发音单元对应的发音动作参数。
在这些可选的实现方式中，可以由预先训练的神经网络模型来得到目标真实对象来表达发音单元序列的第二面部信息。
由于上述神经网络模型是根据目标真实对象的口语表达得到的训练数据训练得到的，因此，在输入目标真实对象与发音单元序列之后，输出的发音单元序列对应的第二面部信息与目标真实对象匹配度较高。
在这些可选的实现方式中，由预设面部表情生成规则生成的第一面部信息和基于目标真实对象的口语表达确定的第二面部信息得到的目标面部信息，由于包含了与目标真实对象匹配度较高的第二面部信息，使得由上述目标面部信息生成的虚拟对象的口语表达的视频中，虚拟对象在口语表达上述文本信息时的面部表情可以与目标真实对象的相似度较高。也即，由上述目标面部信息生成的虚拟对象的视频在进行口语表达时，可以模拟目标真实对象的口语表达。
需要说明的是，在实际使用中，可以准备多个真实对象的发音动作信息参数库，目标真实对象可以是多个真实对象中的任意一个。用户还可以在切换真实对象。还可以使用采集到的多个真实对象的口语表达时的面部动作信息分别对神经网络模型进行训练，使得神经网络模型可以生成与不同真实对象分别对应的发音单元的发音动作参数。
在一些应用场景中，上述步骤103包括：基于多个真实对象对所述文本信息的口语表达，生成所述发音单元序列对应的第二面部信息。
在这些应用场景，利用多个真实对象的口语表达，建立包括多个对象发音动作参数的发音动作参数库。对于每一个发音单元，可以根据多个对象的对该发音单元的发音动作参数，确定该发音单元对应的通用发音动作参数。上述通用发音动作参数可以存储在上述发音动作参数库中。
对于每一个发音单元，这里的通用发音动作参数，可以是多个用户的发音动作参数的均值。
可以根据发音单元序列中各发音单元的通用发音动作参数，生成发音单元序列对应的第二面部信息。
这样生成的第二面部信息是由多个用户的发音动作参数的综合，因此，由第二面部信息和第一面部信息所确定的目标面部信息生成的面部表情视频图像帧可以传达出普通用户在进行口语表达时的表情信息。
本公开提供的虚拟对象面部信息生成方法还包括如下步骤：基于所述文本信息对应的目标面部信息，生成与所述发音单元序列对应的虚拟对象的视频帧序列。
具体地，对于每一个发音单元，可以根据发音单元对应的发音动作参数进行虚拟对象的面部的三维建模，并根据建模结果生成该发音单元对应的视频帧。该视频帧中包括与该发单元对应的面部表情。
这样一来，可以生成发音单元序列对应的视频帧序列。
在一些应用场景中，上述执行主体可以逐帧展示各视频帧，从而展示连续的发音单元序列对应的虚拟对象的口语表达视频。
在另外一些应用场景中，上述执行主体可以将上述视频帧序列发给其他电子设备，由其他电子设备展示上述视频帧序列。
进一步参考图2，作为对上述各图所示方法的实现，本公开提供了一种虚拟对象面部信息生成装置的一个实施例，该装置实施例与图1所示的方法实施例相对应，该装置具体可以应用于各种电子设备中。
如图2所示，本实施例的虚拟对象面部信息生成装置包括：获取模块201、第一生成模块202、第二生成模块203和融合模块204。其中，获取模块201，用于获取待虚拟对象进行口语表达的文本信息对应的发音单元序列；第一生成模块202，用于根据预设面部表情生成规则生成所述发音单元序列对应的第一面部信息；第二生成模块203，用于基于真实对象对所述文本信息的口语表达，生成所述发音单元序列对应的第二面部信息；融合模块204，用于融合所述第一面部信息和所述第二面部信息，得到应用于虚拟对象的所述文本信息对应的目标面部信息。
在本实施例中，虚拟对象面部信息生成装置的获取模块201、第一生成模块202、第二生成模块203和融合模块204的具体处理及其所带来的技术效果可分别参考图1对应实施例中步骤101和步骤102的相关说明，在此不再赘述。
在一些可选的实现方式中，所述虚拟对象面部信息生成装置还包括：时长确定模块(图中未示出)。时长确定模块用于：确定所述发音单元序列中各发音单元分别对应的表达时长；以及第一生成模块202进一步用于：根据所述预设面部表情生成规则和所述表达时长，确定所述发音单元序列对应的第一面部信息；第二生成模块203进一步用于：基于真实对象对所述文本信息的口语表达和所述表达时长，生成所述发音单元序列对应的第二面部信息。
在一些可选的实现方式中，时长确定模块进一步用于：基于所述文本信息的目标表达时长，确定所述发音单元序列中各发音单元分别对应的表达时长。
在一些可选的实现方式中，第二生成模块203进一步用于：根据接收到的添加情感指令，基于真实对象在目标情感下对所述文本信息的口语表达，生成所述目标情感对应的所述第二面部信息，其中，所述目标情感为所述情感指令指示的情感。
在一些可选的实现方式中，第二生成模块203进一步用于：根据对象模拟的指令，基于目标真实对象的口语表达，生成所述目标对象对应的所述第二面部信息，其中，所述目标对象为所述对象模拟指令指示的目标对象。
在一些可选的实现方式中，第二生成模块203进一步用于：基于多个真实对象对所述文本信息的口语表达，生成所述发音单元序列对应的第二面部信息。
在一些可选的实现方式中，所述虚拟对象面部信息生成装置还包括：视频帧生成模块(图中未示出)。视频帧生成模块用于：基于所述文本信息对应的目标面部信息，生成与所述发音单元序列对应的虚拟对象的视频帧序列。
在一些可选的实现方式中，第二生成模块203进一步用于：将所述发音单元序列输入到预先训练的神经网络，由所述神经网络输出所述第二面部信息，其中，所述预先训练的神经网络使用真实对象进行口语表达时的面部信息作为训练数据对初始神经网络进行训练得到。
在一些可选的实现方式中，所述训练数据中的面部信息包括表情信息。
在一些可选的实现方式中，所述训练数据中的面部信息包括真实对象信息。
请参考图3，图3示出了本公开的一个实施例的虚拟对象面部信息生成方法可以应用于其中的示例性系统架构。
如图3所示，系统架构可以包括终端设备301、302、303，网络304，服务器305。网络304用以在终端设备301、302、303和服务器305之间提供通信链路的介质。网络304可以包括各种连接类型，例如有线、无线通信链路或者光纤电缆等等。
终端设备301、302、303可以通过网络304与服务器305交互，以接收或发送消息等。终端设备301、302、303上可以安装有各种客户端应用，例如网页浏览器应用、搜索类应用、新闻资讯类应用。终端设备301、302、303中的客户端应用可以接收用户的指令，并根据用户的指令完成相应的功能，例如根据用户的指令在信息中添加相应信息。
终端设备301、302、303可以是硬件，也可以是软件。当终端设备301、302、303为硬件时，可以是具有显示屏并且支持网页浏览的各种电子设备，包括但不限于智能手机、平板电脑、电子书阅读器、MP3播放器(Moving Picture Experts Group Audio Layer III，动态影像专家压缩标准音频层面3)、MP4(Moving Picture Experts Group Audio Layer IV，动态影像专家压缩标准音频层面4)播放器、膝上型便携计算机和台式计算机等等。当终端设备301、302、303为软件时，可以安装在上述所列举的电子设备中。其可以实现成多个软件或软件模块(例如用来提供分布式服务的软件或软件模块)，也可以实现成单个软件或软件模块。在此不做具体限定。
服务器305可以是提供各种服务的服务器，例如接收终端设备301、302、303发送的信息获取请求，根据信息获取请求向终端设备301、302、303返回获取请求对应的信息。
需要说明的是，本公开实施例所提供的虚拟对象面部信息生成方法可以由终端设备执行，相应地，虚拟对象面部信息生成装置可以设置在终端设备301、302、303中。此外，本公开实施例所提供的虚拟对象面部信息生成方法还可以由服务器305执行，相应地，虚拟对象面部信息生成装置可以设置于服务器305中。
应该理解，图3中的终端设备、网络和服务器的数目仅仅是示意性的。根据实现需要，可以具有任意数目的终端设备、网络和服务器。
下面参考图4，其示出了适于用来实现本公开实施例的电子设备(例如图3中的终端设备或服务器)的结构示意图。本公开实施例中的终端设备可以包括但不限于诸如移动电话、笔记本电脑、数字广播接收器、PDA(个人数字助理)、PAD(平板电脑)、PMP(便携式多媒体播放器)、车载终端(例如车载导航终端)等等的移动终端以及诸如数字TV、台式计算机等等的固定终端。图4示出的电子设备仅仅是一个示例，不应对本公开实施例的功能和使用范围带来任何限制。
如图4所示，电子设备可以包括处理装置(例如中央处理器、图形处理器等)401，其可以根据存储在只读存储器(ROM)402中的程序或者从存储装置408加载到随机访问存储器(RAM)403中的程序而执行各种适当的动作和处理。在RAM 403中，还存储有电子设备400操作所需的各种程序和数据。处理装置401、ROM 402以及RAM403通过总线404彼此相连。输入/输出(I/O)接口405也连接至总线404。
通常，以下装置可以连接至I/O接口405：包括例如触摸屏、触摸板、键盘、鼠标、摄像头、麦克风、加速度计、陀螺仪等的输入装置406；包括例如液晶显示器(LCD)、扬声器、振动器等的输出装置407；包括例如磁带、硬盘等的存储装置408；以及通信装置409。通信装置409可以允许电子设备与其他设备进行无线或有线通信以交换数据。虽然图4示出了具有各种装置的电子设备，但是应理解的是，并不要求实施或具备所有示出的装置。可以替代地实施或具备更多或更少的装置。
特别地，根据本公开的实施例，上文参考流程图描述的过程可以被实现为计算机软件程序。例如，本公开的实施例包括一种计算机程序产品，其包括承载在非暂态计算机可读介质上的计算机程序，该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中，该计算机程序可以通过通信装置409从网络上被下载和安装，或者从存储装置408被安装，或者从ROM 402被安装。在该计算机程序被处理装置401执行时，执行本公开实施例的方法中限定的上述功能。
需要说明的是，本公开上述的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本公开中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。而在本公开中，计算机可读信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读信号介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于：电线、光缆、RF(射频)等等，或者上述的任意合适的组合。
在一些实施方式中，客户端、服务器可以利用诸如HTTP(HyperText TransferProtocol，超文本传输协议)之类的任何当前已知或未来研发的网络协议进行通信，并且可以与任意形式或介质的数字数据通信(例如，通信网络)互连。通信网络的示例包括局域网(“LAN”)，广域网(“WAN”)，网际网(例如，互联网)以及端对端网络(例如，ad hoc端对端网络)，以及任何当前已知或未来研发的网络。
上述计算机可读介质可以是上述电子设备中所包含的；也可以是单独存在，而未装配入该电子设备中。
上述计算机可读介质承载有一个或者多个程序，当上述一个或者多个程序被该电子设备执行时，使得该电子设备：获取待虚拟对象进行口语表达的文本信息对应的发音单元序列；
根据预设面部表情生成规则生成所述发音单元序列对应的第一面部信息；
基于真实对象对所述文本信息的口语表达，生成所述发音单元序列对应的第二面部信息；
融合所述第一面部信息和所述第二面部信息，得到应用于虚拟对象的所述文本信息对应的目标面部信息。
可以以一种或多种程序设计语言或其组合来编写用于执行本公开的操作的计算机程序代码，上述程序设计语言包括但不限于面向对象的程序设计语言—诸如Java、Smalltalk、C++，还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络——包括局域网(LAN)或广域网(WAN)—连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。
附图中的流程图和框图，图示了按照本公开各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，该模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
描述于本公开实施例中所涉及到的单元可以通过软件的方式实现，也可以通过硬件的方式来实现。其中，单元的名称在某种情况下并不构成对该单元本身的限定。
本文中以上描述的功能可以至少部分地由一个或多个硬件逻辑部件来执行。例如，非限制性地，可以使用的示范类型的硬件逻辑部件包括：现场可编程门阵列(FPGA)、专用集成电路(ASIC)、专用标准产品(ASSP)、片上系统(SOC)、复杂可编程逻辑设备(CPLD)等等。
在本公开的上下文中，机器可读介质可以是有形的介质，其可以包含或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的程序。机器可读介质可以是机器可读信号介质或机器可读储存介质。机器可读介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备，或者上述内容的任何合适组合。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM或快闪存储器)、光纤、便捷式紧凑盘只读存储器(CD-ROM)、光学储存设备、磁储存设备、或上述内容的任何合适组合。
根据本公开的一个或多个实施例提供的一种虚拟对象面部信息生成方法，包括：获取待虚拟对象进行口语表达的文本信息对应的发音单元序列；根据预设面部表情生成规则生成所述发音单元序列对应的第一面部信息；基于真实对象对所述文本信息的口语表达，生成所述发音单元序列对应的第二面部信息；融合所述第一面部信息和所述第二面部信息，得到应用于虚拟对象的所述文本信息对应的目标面部信息。
根据本公开的一个或多个实施例，所述虚拟对象面部信息生成方法方法还包括：确定所述发音单元序列中各发音单元分别对应的表达时长；以及所述根据预设面部表情生成规则生成所述发音单元序列对应的第一面部信息，包括：根据所述预设面部表情生成规则和所述表达时长，确定所述发音单元序列对应的第一面部信息；所述基于真实对象对所述文本信息的口语表达，生成所述发音单元序列对应的第二面部信息，包括：基于真实对象对所述文本信息的口语表达和所述表达时长，生成所述发音单元序列对应的第二面部信息。
根据本公开的一个或多个实施例，所述确定所述发音单元序列中各发音单元分别对应的表达时长，包括：基于所述文本信息的目标表达时长，确定所述发音单元序列中各发音单元分别对应的表达时长。
根据本公开的一个或多个实施例，所述基于真实对象对所述文本信息的口语表达，生成所述发音单元序列对应的第二面部信息，包括：根据接收到的添加情感指令，基于真实对象在目标情感下对所述文本信息的口语表达，生成所述目标情感对应的所述第二面部信息，其中，所述目标情感为所述情感指令指示的情感。
根据本公开的一个或多个实施例，所述基于真实对象对所述文本信息的口语表达，生成所述发音单元序列对应的第二面部信息，包括：根据对象模拟的指令，基于目标真实对象的口语表达，生成所述目标对象对应的所述第二面部信息，其中，所述目标对象为所述对象模拟指令指示的目标对象。
根据本公开的一个或多个实施例，所述基于真实对象对所述文本信息的口语表达，生成所述发音单元序列对应的第二面部信息，包括：基于多个真实对象对所述文本信息的口语表达，生成所述发音单元序列对应的第二面部信息。
根据本公开的一个或多个实施例，所述方法还包括：基于所述文本信息对应的目标面部信息，生成与所述发音单元序列对应的虚拟对象的视频帧序列。
根据本公开的一个或多个实施例，所述基于真实对象对所述文本信息的口语表达，生成所述发音单元序列对应的第二面部信息，包括：将所述发音单元序列输入到预先训练的神经网络，由所述神经网络输出所述第二面部信息，其中，所述预先训练的神经网络使用真实对象进行口语表达时的面部信息作为训练数据对初始神经网络进行训练得到。
根据本公开的一个或多个实施例，所述训练数据中的面部信息包括表情信息。
根据本公开的一个或多个实施例，所述训练数据中的面部信息包括真实对象信息。
根据本公开的一个或多个实施例提供的一种虚拟对象面部信息生成装置，包括：获取模块，用于获取待虚拟对象进行口语表达的文本信息对应的发音单元序列；第一生成模块，用于根据预设面部表情生成规则生成所述发音单元序列对应的第一面部信息；第二生成模块，用于基于真实对象对所述文本信息的口语表达，生成所述发音单元序列对应的第二面部信息；融合模块，用于融合所述第一面部信息和所述第二面部信息，得到应用于虚拟对象的所述文本信息对应的目标面部信息。
根据本公开的一个或多个实施例，所述虚拟对象面部信息生成装置还包括：时长确定模块。时长确定模块用于：确定所述发音单元序列中各发音单元分别对应的表达时长；以及第一生成模块进一步用于：根据所述预设面部表情生成规则和所述表达时长，确定所述发音单元序列对应的第一面部信息；第二生成模块进一步用于：基于真实对象对所述文本信息的口语表达和所述表达时长，生成所述发音单元序列对应的第二面部信息。
在一些可选的实现方式中，时长确定模块进一步用于：基于所述文本信息的目标表达时长，确定所述发音单元序列中各发音单元分别对应的表达时长。
在一些可选的实现方式中，第二生成模块进一步用于：根据接收到的添加情感指令，基于真实对象在目标情感下对所述文本信息的口语表达，生成所述目标情感对应的所述第二面部信息，其中，所述目标情感为所述情感指令指示的情感。
在一些可选的实现方式中，第二生成模块进一步用于：根据对象模拟的指令，基于目标真实对象的口语表达，生成所述目标对象对应的所述第二面部信息，其中，所述目标对象为所述对象模拟指令指示的目标对象。
在一些可选的实现方式中，第二生成模块进一步用于：基于多个真实对象对所述文本信息的口语表达，生成所述发音单元序列对应的第二面部信息。
在一些可选的实现方式中，所述虚拟对象面部信息生成装置还包括：视频帧生成模块。视频帧生成模块用于：基于所述文本信息对应的目标面部信息，生成与所述发音单元序列对应的虚拟对象的视频帧序列。
在一些可选的实现方式中，第二生成模块进一步用于：将所述发音单元序列输入到预先训练的神经网络，由所述神经网络输出所述第二面部信息，其中，所述预先训练的神经网络使用真实对象进行口语表达时的面部信息作为训练数据对初始神经网络进行训练得到。
在一些可选的实现方式中，所述训练数据中的面部信息包括表情信息。
在一些可选的实现方式中，所述训练数据中的面部信息包括真实对象信息。
以上描述仅为本公开的较佳实施例以及对所运用技术原理的说明。本领域技术人员应当理解，本公开中所涉及的公开范围，并不限于上述技术特征的特定组合而成的技术方案，同时也应涵盖在不脱离上述公开构思的情况下，由上述技术特征或其等同特征进行任意组合而形成的其它技术方案。例如上述特征与本公开中公开的(但不限于)具有类似功能的技术特征进行互相替换而形成的技术方案。
此外，虽然采用特定次序描绘了各操作，但是这不应当理解为要求这些操作以所示出的特定次序或以顺序次序执行来执行。在一定环境下，多任务和并行处理可能是有利的。同样地，虽然在上面论述中包含了若干具体实现细节，但是这些不应当被解释为对本公开的范围的限制。在单独的实施例的上下文中描述的某些特征还可以组合地实现在单个实施例中。相反地，在单个实施例的上下文中描述的各种特征也可以单独地或以任何合适的子组合的方式实现在多个实施例中。
尽管已经采用特定于结构特征和/或方法逻辑动作的语言描述了本主题，但是应当理解所附权利要求书中所限定的主题未必局限于上面描述的特定特征或动作。相反，上面所描述的特定特征和动作仅仅是实现权利要求书的示例形式。
Claims (13)
1.一种虚拟对象面部信息生成方法，包括：
获取待虚拟对象进行口语表达的文本信息对应的发音单元序列；
根据预设面部表情生成规则生成所述发音单元序列对应的第一面部信息；
基于真实对象对所述文本信息的口语表达，生成所述发音单元序列对应的第二面部信息；
融合所述第一面部信息和所述第二面部信息，得到应用于虚拟对象的所述文本信息对应的目标面部信息。
2.根据权利要求1所述的方法，其中，所述方法还包括：
确定所述发音单元序列中各发音单元分别对应的表达时长；以及
所述根据预设面部表情生成规则生成所述发音单元序列对应的第一面部信息，包括：
根据所述预设面部表情生成规则和所述表达时长，确定所述发音单元序列对应的第一面部信息；
所述基于真实对象对所述文本信息的口语表达，生成所述发音单元序列对应的第二面部信息，包括：
基于真实对象对所述文本信息的口语表达和所述表达时长，生成所述发音单元序列对应的第二面部信息。
3.根据权利要求2所述的方法，其中，所述确定所述发音单元序列中各发音单元分别对应的表达时长，包括：
基于所述文本信息的目标表达时长，确定所述发音单元序列中各发音单元分别对应的表达时长。
4.根据权利要求1所述的方法，其中，所述基于真实对象对所述文本信息的口语表达，生成所述发音单元序列对应的第二面部信息，包括：
根据接收到的添加情感指令，基于真实对象在目标情感下对所述文本信息的口语表达，生成所述目标情感对应的所述第二面部信息，其中，所述目标情感为所述情感指令指示的情感。
5.根据权利要求1所述的方法，其中，所述基于真实对象对所述文本信息的口语表达，生成所述发音单元序列对应的第二面部信息，包括：
根据对象模拟的指令，基于目标真实对象的口语表达，生成所述目标对象对应的所述第二面部信息，其中，所述目标对象为所述对象模拟指令指示的目标对象。
6.根据权利要求1所述的方法，其中，所述基于真实对象对所述文本信息的口语表达，生成所述发音单元序列对应的第二面部信息，包括：
基于多个真实对象对所述文本信息的口语表达，生成所述发音单元序列对应的第二面部信息。
7.根据权利要求1所述的方法，其中，所述方法还包括：基于所述文本信息对应的目标面部信息，生成与所述发音单元序列对应的虚拟对象的视频帧序列。
8.根据权利要求1所述的方法，其中，所述基于真实对象对所述文本信息的口语表达，生成所述发音单元序列对应的第二面部信息，包括：
将所述发音单元序列输入到预先训练的神经网络，由所述神经网络输出所述第二面部信息，其中，所述预先训练的神经网络使用真实对象进行口语表达时的面部信息作为训练数据对初始神经网络进行训练得到。
9.根据权利要求8所述的方法，其中，所述训练数据中的面部信息包括表情信息。
10.根据权利要求8所述的方法，其中，所述训练数据中的面部信息包括真实对象信息。
11.一种虚拟对象面部信息生成装置，其特征在于，包括：
获取模块，用于获取待虚拟对象进行口语表达的文本信息对应的发音单元序列；
第一生成模块，用于根据预设面部表情生成规则生成所述发音单元序列对应的第一面部信息；
第二生成模块，用于基于真实对象对所述文本信息的口语表达，生成所述发音单元序列对应的第二面部信息；
融合模块，用于融合所述第一面部信息和所述第二面部信息，得到应用于虚拟对象的所述文本信息对应的目标面部信息。
12.一种电子设备，其特征在于，包括：
至少一个处理器；
存储装置，用于存储至少一个个程序，
当所述至少一个程序被所述至少一个处理器执行，使得所述至少一个处理器实现如权利要求1-10中任一所述的方法。
13.一种计算机可读介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1-10中任一所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210729436.9A CN114937104A (zh) | 2022-06-24 | 2022-06-24 | 虚拟对象面部信息生成方法、装置和电子设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210729436.9A CN114937104A (zh) | 2022-06-24 | 2022-06-24 | 虚拟对象面部信息生成方法、装置和电子设备 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN114937104A true CN114937104A (zh) | 2022-08-23 |
Family
ID=82867843
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210729436.9A Pending CN114937104A (zh) | 2022-06-24 | 2022-06-24 | 虚拟对象面部信息生成方法、装置和电子设备 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114937104A (zh) |
Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111145322A (zh) * | 2019-12-26 | 2020-05-12 | 上海浦东发展银行股份有限公司 | 用于驱动虚拟形象的方法、设备和计算机可读存储介质 |
| CN112927712A (zh) * | 2021-01-25 | 2021-06-08 | 网易（杭州）网络有限公司 | 视频生成方法、装置和电子设备 |
| CN113257218A (zh) * | 2021-05-13 | 2021-08-13 | 北京有竹居网络技术有限公司 | 语音合成方法、装置、电子设备和存储介质 |
| CN113450759A (zh) * | 2021-06-22 | 2021-09-28 | 北京百度网讯科技有限公司 | 语音生成方法、装置、电子设备以及存储介质 |
| CN113704390A (zh) * | 2021-03-24 | 2021-11-26 | 腾讯科技（深圳）有限公司 | 虚拟对象的交互方法、装置、计算机可读介质及电子设备 |
| CN113902838A (zh) * | 2021-11-18 | 2022-01-07 | 北京有竹居网络技术有限公司 | 动画生成方法、装置、存储介质及电子设备 |
| CN114255738A (zh) * | 2021-12-30 | 2022-03-29 | 北京有竹居网络技术有限公司 | 语音合成方法、装置、介质及电子设备 |
| CN114359517A (zh) * | 2021-11-24 | 2022-04-15 | 科大讯飞股份有限公司 | 虚拟形象生成方法、虚拟形象生成系统和计算设备 |
| CN114429767A (zh) * | 2022-01-26 | 2022-05-03 | 北京百度网讯科技有限公司 | 视频生成方法、装置、电子设备以及存储介质 |
-
2022
- 2022-06-24 CN CN202210729436.9A patent/CN114937104A/zh active Pending
Patent Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111145322A (zh) * | 2019-12-26 | 2020-05-12 | 上海浦东发展银行股份有限公司 | 用于驱动虚拟形象的方法、设备和计算机可读存储介质 |
| CN112927712A (zh) * | 2021-01-25 | 2021-06-08 | 网易（杭州）网络有限公司 | 视频生成方法、装置和电子设备 |
| CN113704390A (zh) * | 2021-03-24 | 2021-11-26 | 腾讯科技（深圳）有限公司 | 虚拟对象的交互方法、装置、计算机可读介质及电子设备 |
| CN113257218A (zh) * | 2021-05-13 | 2021-08-13 | 北京有竹居网络技术有限公司 | 语音合成方法、装置、电子设备和存储介质 |
| CN113450759A (zh) * | 2021-06-22 | 2021-09-28 | 北京百度网讯科技有限公司 | 语音生成方法、装置、电子设备以及存储介质 |
| CN113902838A (zh) * | 2021-11-18 | 2022-01-07 | 北京有竹居网络技术有限公司 | 动画生成方法、装置、存储介质及电子设备 |
| CN114359517A (zh) * | 2021-11-24 | 2022-04-15 | 科大讯飞股份有限公司 | 虚拟形象生成方法、虚拟形象生成系统和计算设备 |
| CN114255738A (zh) * | 2021-12-30 | 2022-03-29 | 北京有竹居网络技术有限公司 | 语音合成方法、装置、介质及电子设备 |
| CN114429767A (zh) * | 2022-01-26 | 2022-05-03 | 北京百度网讯科技有限公司 | 视频生成方法、装置、电子设备以及存储介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110688911B (zh) | 视频处理方法、装置、系统、终端设备及存储介质 | |
| US11158102B2 (en) | Method and apparatus for processing information | |
| CN111415677B (zh) | 用于生成视频的方法、装置、设备和介质 | |
| CN103650002B (zh) | 基于文本的视频生成 | |
| US11308671B2 (en) | Method and apparatus for controlling mouth shape changes of three-dimensional virtual portrait | |
| CN107481715B (zh) | 用于生成信息的方法和装置 | |
| CN110880198A (zh) | 动画生成方法和装置 | |
| WO2022170848A1 (zh) | 人机交互方法、装置、系统、电子设备以及计算机介质 | |
| CN113205793B (zh) | 音频生成方法、装置、存储介质及电子设备 | |
| CN113257218B (zh) | 语音合成方法、装置、电子设备和存储介质 | |
| CN112364144B (zh) | 交互方法、装置、设备和计算机可读介质 | |
| CN113689879B (zh) | 实时驱动虚拟人的方法、装置、电子设备及介质 | |
| CN114495927A (zh) | 多模态交互的虚拟数字人的生成方法及装置、存储介质、终端 | |
| CN116129863A (zh) | 语音合成模型的训练方法、语音合成方法及相关装置 | |
| CN113282791B (zh) | 视频生成方法和装置 | |
| KR20190109651A (ko) | 인공지능 기반의 음성 모방 대화 서비스 제공 방법 및 시스템 | |
| CN112383721B (zh) | 用于生成视频的方法、装置、设备和介质 | |
| CN112785667A (zh) | 视频生成方法、装置、介质及电子设备 | |
| CN113850898A (zh) | 场景渲染方法及装置、存储介质及电子设备 | |
| CN113689880B (zh) | 实时驱动虚拟人的方法、装置、电子设备及介质 | |
| CN112910761A (zh) | 即时通讯方法、装置、设备、存储介质以及程序产品 | |
| CN112381926A (zh) | 用于生成视频的方法和装置 | |
| CN112364653A (zh) | 用于语音合成的文本分析方法、装置、服务器和介质 | |
| CN112672207A (zh) | 音频数据处理方法、装置、计算机设备及存储介质 | |
| Koshtura et al. | Development of a Speech-to-Text Program for People with Haring Impairments. |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |