CN115330913B - 三维数字人口型生成方法、装置、电子设备及存储介质 - Google Patents

三维数字人口型生成方法、装置、电子设备及存储介质 Download PDF

Info

Publication number
CN115330913B
CN115330913B CN202211263920.3A CN202211263920A CN115330913B CN 115330913 B CN115330913 B CN 115330913B CN 202211263920 A CN202211263920 A CN 202211263920A CN 115330913 B CN115330913 B CN 115330913B
Authority
CN
China
Prior art keywords
vector
voice
convolution
splicing
input signal
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202211263920.3A
Other languages
English (en)
Other versions
CN115330913A (zh
Inventor
张顺四
徐家健
张强
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangzhou Quwan Network Technology Co Ltd
Original Assignee
Guangzhou Quwan Network Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangzhou Quwan Network Technology Co Ltd filed Critical Guangzhou Quwan Network Technology Co Ltd
Priority to CN202211263920.3A priority Critical patent/CN115330913B/zh
Publication of CN115330913A publication Critical patent/CN115330913A/zh
Application granted granted Critical
Publication of CN115330913B publication Critical patent/CN115330913B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T13/00—Animation
    • G06T13/20—3D [Three Dimensional] animation
    • G06T13/205—3D [Three Dimensional] animation driven by audio data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T13/00—Animation
    • G06T13/20—3D [Three Dimensional] animation
    • G06T13/40—3D [Three Dimensional] animation of characters, e.g. humans, animals or virtual beings
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/27—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the analysis technique
    • G10L25/30—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the analysis technique using neural networks
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/48—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use
    • G10L25/51—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination
    • G10L25/63—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination for estimating an emotional state
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/04—Indexing scheme for image data processing or generation, in general involving 3D image data

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • Signal Processing (AREA)
  • General Physics & Mathematics (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Computational Linguistics (AREA)
  • Acoustics & Sound (AREA)
  • Theoretical Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Child & Adolescent Psychology (AREA)
  • General Health & Medical Sciences (AREA)
  • Hospice & Palliative Care (AREA)
  • Psychiatry (AREA)
  • Processing Or Creating Images (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种三维数字人口型生成方法、装置、电子设备及存储介质，用于解决现有技术的口型驱动效果不理想，并且脸部表情和口型之间相互依赖，导致算法模型无法区分说话人的语气、情绪和真正的说话内容之间的真实口型表达的技术问题。本发明包括：获取语音输入信号；将所述语音输入信号转换为数字输入信号；分割所述数字输入信号，得到语音数字信号矩阵；建立所述语音数字信号矩阵的情绪模型，得到情绪表征向量；建立所述语音数字信号矩阵的语义模型，得到语义表征向量；对所述情绪表征向量和所述语义表征向量进行卷积操作，提取语音特征；根据所述语音特征生成口型驱动系数；采用所述口型驱动系数生成三维数字人口型。

Description

三维数字人口型生成方法、装置、电子设备及存储介质
技术领域
本发明涉及三维数字人技术领域，尤其涉及一种三维数字人口型生成方法、装置、电子设备及存储介质。
背景技术
虚拟数字人，是指存在于数字世界，通过动作捕捉、三维建模、语音合成等技术高度还原真实人类，再借助AR/MR/VR等终端呈现出来的立体“人”。随着虚拟数字人相关技术的不断发展，其运用门槛也相对降低，这也就将数字人相较于真人的优势凸显了出来，其可以通过大幅减少人力成本来提高效率，毕竟虚拟数字人不需要饮食睡眠，也不会疲倦生病，可以做到24小时不间断地工作。
现有技术的口型驱动效果不理想，并且脸部表情和口型之间相互依赖，导致算法模型无法区分说话人的语气、情绪和真正的说话内容之间的真实口型表达。
发明内容
本发明提供了一种三维数字人口型生成方法、装置、电子设备及存储介质，用于解决现有技术的口型驱动效果不理想，并且脸部表情和口型之间相互依赖，导致算法模型无法区分说话人的语气、情绪和真正的说话内容之间的真实口型表达的技术问题。
本发明提供了一种三维数字人口型生成方法，包括：
获取语音输入信号；
将所述语音输入信号转换为数字输入信号；
分割所述数字输入信号，得到语音数字信号矩阵；
建立所述语音数字信号矩阵的情绪模型，得到情绪表征向量；
建立所述语音数字信号矩阵的语义模型，得到语义表征向量；
对所述情绪表征向量和所述语义表征向量进行卷积操作，提取语音特征；
根据所述语音特征生成口型驱动系数；
采用所述口型驱动系数生成三维数字人口型。
可选地，所述将所述语音输入信号转换为数字输入信号的步骤，包括：
通过线性预测编码将语音输入信号转换为数字输入信号。
可选地，所述分割所述数字输入信号，得到语音数字信号矩阵的步骤，包括：
通过滑动窗口对所述数字输入信号进行分割，得到多个语音数字信号；
采用多个所述语音数字信号生成语音数字信号矩阵。
可选地，所述对所述情绪表征向量和所述语义表征向量进行卷积操作，提取语音特征的步骤，包括：
将所述情绪表征向量与所述语义表征向量进行拼接，得到第一拼接向量；
采用预设残差卷积神经网络对所述第一拼接向量进行卷积计算，得到第一卷积向量；
将所述第一卷积向量和所述情绪表征向量进行拼接，得到第二拼接向量；
采用预设残差卷积神经网络对所述第二拼接向量进行卷积计算，得到第二卷积向量；
将所述第二卷积向量和所述情绪表征向量进行拼接，得到第三拼接向量；
采用预设残差卷积神经网络对所述第三拼接向量进行卷积计算，得到第三卷积向量；
将所述第三卷积向量和所述情绪表征向量进行拼接，得到第四拼接向量；
采用预设残差卷积神经网络对所述第四拼接向量进行卷积计算，得到第四卷积向量；
将所述第四卷积向量和所述情绪表征向量进行拼接，得到第五拼接向量；
采用预设残差卷积神经网络对所述第五拼接向量进行卷积计算，得到语音特征。
可选地，所述根据所述语音特征生成口型驱动系数的步骤，包括：
获取预设第一线性运算的第一权重和第一偏移量；
获取预设第二线性运算的第二权重和第二偏移量；
采用所述语音特征、所述第一权重、所述第一偏移量、所述第二权重和所述第二偏移量生成口型驱动系数。
本发明还提供了一种三维数字人口型生成装置，包括：
语音输入信号获取模块，用于获取语音输入信号；
数字输入信号转换模块，用于将所述语音输入信号转换为数字输入信号；
分割模块，用于分割所述数字输入信号，得到语音数字信号矩阵；
情绪表征向量获取模块，用于建立所述语音数字信号矩阵的情绪模型，得到情绪表征向量；
语义表征向量获取模块，用于建立所述语音数字信号矩阵的语义模型，得到语义表征向量；
语音特征提取模块，用于对所述情绪表征向量和所述语义表征向量进行卷积操作，提取语音特征；
口型驱动系数生成模块，用于根据所述语音特征生成口型驱动系数；
三维数字人口型生成模块，用于采用所述口型驱动系数生成三维数字人口型。
可选地，所述数字输入信号转换模块，包括：
数字输入信号转换子模块，用于通过线性预测编码将语音输入信号转换为数字输入信号。
可选地，所述分割模块，包括：
分割子模块，用于通过滑动窗口对所述数字输入信号进行分割，得到多个语音数字信号；
语音数字信号矩阵生成子模块，用于采用多个所述语音数字信号生成语音数字信号矩阵。
本发明还提供了一种电子设备，所述设备包括处理器以及存储器：
所述存储器用于存储程序代码，并将所述程序代码传输给所述处理器；
所述处理器用于根据所述程序代码中的指令执行如上任一项所述的三维数字人口型生成方法。
本发明还提供了一种计算机可读存储介质，所述计算机可读存储介质用于存储程序代码，所述程序代码用于执行如上任一项所述的三维数字人口型生成方法。
从以上技术方案可以看出，本发明具有以下优点：本发明提供了一种三维数字人口型生成方法，包括：获取语音输入信号；将语音输入信号转换为数字输入信号；分割数字输入信号，得到语音数字信号矩阵；建立语音数字信号矩阵的情绪模型，得到情绪表征向量；建立语音数字信号矩阵的语义模型，得到语义表征向量；对情绪表征向量和语义表征向量进行卷积操作，提取语音特征；根据语音特征生成口型驱动系数；采用口型驱动系数生成三维数字人口型。本发明通过将语音输入信号转换为数字输入信号，然后从中提取情绪表征向量和语义表征向量，再对情绪表征向量和语义表征向量进行融合，得到同时反映情绪和语义的语音特征，生成基于语音特征生成的口型驱动系数，从而使得基于口型驱动系数生成的三维数字人口型能够反映人的语气和情绪，实现更真实的口型表达。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其它的附图。
图1为本发明实施例提供的一种三维数字人口型生成方法的步骤流程图；
图2为本发明另一实施例提供的一种三维数字人口型生成方法的步骤流程图；
图3为本发明实施例提供的一种三维数字人口型生成装置的结构框图。
具体实施方式
本发明实施例提供了一种三维数字人口型生成方法、装置、电子设备及存储介质，用于解决现有技术的口型驱动效果不理想，并且脸部表情和口型之间相互依赖，导致算法模型无法区分说话人的语气、情绪和真正的说话内容之间的真实口型表达的技术问题。
为使得本发明的发明目的、特征、优点能够更加的明显和易懂，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，下面所描述的实施例仅仅是本发明一部分实施例，而非全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。
请参阅图1，图1为本发明实施例提供的一种三维数字人口型生成方法的步骤流程图。
本发明提供的一种三维数字人口型生成方法，具体可以包括以下步骤：
步骤101，获取语音输入信号；
在本发明实施例中，可以通过语音接收设备（如麦克风）来获取用户的声音，生成语音输入信号。
步骤102，将语音输入信号转换为数字输入信号；
在本发明实施例中，在获取到语音输入信号后，可以将语音输入信号转换为数字输入信号。
在具体实现中，本发明获取的语音输入信号为音频模拟信号，通过使用线性预测编码（LPC）可以将音频模拟信号转换为数字输入信号。
步骤103，分割数字输入信号，得到语音数字信号矩阵；
在获取到数字输入信号后，可以对其进行分割，生成语音数字信号矩阵。
步骤104，建立语音数字信号矩阵的情绪模型，得到情绪表征向量；
在本发明实施例中，在获取到语音数字信号矩阵之后，可以对其进行情绪建模，得到情绪表征向量。
步骤105，建立语音数字信号矩阵的语义模型，得到语义表征向量；
在本发明实施例中，在获取到语音数字信号矩阵之后，可以对其进行语义建模，得到语义表征向量。
步骤106，对情绪表征向量和语义表征向量进行卷积操作，提取语音特征；
在获取到情绪表征向量和语义表征向量之后，可以对情绪表征向量和语义表征向量进行卷积操作，提取语音特征。
步骤107，根据语音特征生成口型驱动系数；
在获取到语音特征后，可以根据语音特征生成口型驱动系数。
在具体实现中，口型驱动系数可以包括27个基础表情的系数，通过这27个基础表情的任意权重组合，可以生成三维数字人的口型表情。
在一个示例中，基础表情可以包括左上唇上抬（mouthUpperUp_L）、右上唇上抬（mouthUpperUp_R）、左下唇下拉（mouthLowerDown_L）、右下唇下拉（mouthLowerDown_R）、下嘴唇外伸（mouthShrugLower）、上嘴唇外伸（mouthShrugUpper）、下颚前伸（mouthShrugLower）等27个互相独立、互不影响的嘴部相关的基础表情。
步骤108，采用口型驱动系数生成三维数字人口型。
在本发明实施例中，在获取到口型驱动系数之后，可以采用口型驱动系数生成三维数字人口型。
本发明通过将语音输入信号转换为数字输入信号，然后从中提取情绪表征向量和语义表征向量，再对情绪表征向量和语义表征向量进行融合，得到同时反映情绪和语义的语音特征，生成基于语音特征生成的口型驱动系数，从而使得基于口型驱动系数生成的三维数字人口型能够反映人的语气和情绪，实现更真实的口型表达。
请参阅图2，图2为本发明另一实施例提供的一种三维数字人口型生成方法的步骤流程图。具体可以包括以下步骤：
步骤201，获取语音输入信号；
在本发明实施例中，可以通过语音接收设备（如麦克风）来获取用户的声音，生成语音输入信号。
步骤202，通过线性预测编码将语音输入信号转换为数字输入信号；
在本发明实施例中，可以通过线性预测编码（LPC）来将语音输入信号转换为数字输入信号。一个语音输入信号的抽样能够用过去若干个语音抽样的线性组合来逼近，通过使实际语音抽样的线性预测抽样之间差值的平方和达到最小，来确定唯一的一组线性预测系数。通过线性预测系数，可以将语音输入信号转换为数字输入信号。
在具体实现中，线性预测编码LPC的系数
Figure 4541DEST_PATH_IMAGE001
可以通过以下公式计算得到：
Figure 442475DEST_PATH_IMAGE002
Figure 800775DEST_PATH_IMAGE003
Figure 727141DEST_PATH_IMAGE004
其中，
Figure 840591DEST_PATH_IMAGE005
是对真实语音输入信号的当前时刻信号值的建模；/>
Figure 703505DEST_PATH_IMAGE006
表示对真实语音输入信号的当前时刻往前第i个时刻信号值的建模；p表示采集的真实语音输入信号的信号值的数量；/>
Figure 927813DEST_PATH_IMAGE001
表示线性预测编码LPC的系数；/>
Figure 926993DEST_PATH_IMAGE007
为理想状态下的语音输入信号当前时刻信号值的表达，同时用于表示预测当前时刻的信号值；i表示当前时刻往前第i个时刻，/>
Figure 211343DEST_PATH_IMAGE008
为激励信号，同时被视为真实语音输入信号和理想状态下的语音输入信号的误差值，因此求解过程中需要使/>
Figure 561553DEST_PATH_IMAGE008
最小化，从而求解出/>
Figure 589552DEST_PATH_IMAGE001
（i=1，2，...，n）。
步骤203，分割数字输入信号，得到语音数字信号矩阵；
在获取到数字输入信号后，可以对其进行分割，生成语音数字信号矩阵。
在一个示例中，分割数字输入信号，得到语音数字信号矩阵的步骤，可以包括以下子步骤：
S31，通过滑动窗口对数字输入信号进行分割，得到多个语音数字信号；
S32，采用多个语音数字信号生成语音数字信号矩阵。
在具体实现中，可以对数字输入信号采用滑动窗口截取片段的方法，将数字输入信号分割为多个语音数字信号，从而生成语音数字信号矩阵。
步骤204，建立语音数字信号矩阵的情绪模型，得到情绪表征向量；
在本发明实施例中，在获取到语音数字信号矩阵之后，可以对其进行情绪建模，得到情绪表征向量。
在具体实现中，可以对语音信号矩阵进行多卷积核的多层卷积操作，且每一层的卷积核数量逐步增加，提取出深度语义表征向量。该表征向量能够对不同说话内容进行唯一区分。
在具体实现中，单层卷积操作可以表示为：
Figure 207353DEST_PATH_IMAGE009
其中，
Figure 334709DEST_PATH_IMAGE010
表示语音数字信号矩阵中第i行第j列的卷积运算结果；
Figure 234532DEST_PATH_IMAGE011
表示语音数字信号矩阵中第i+m行第j+n列的值；/>
Figure 738326DEST_PATH_IMAGE012
表示卷积核中第m行第n列的值；/>
Figure 39994DEST_PATH_IMAGE013
表示使用卷积核K对语音数字信号矩阵I的第i行j列的值进行卷积操作。
在一个示例中，情绪模型可以使用2层卷积层，卷积核大小均设置为3*3，每一层的卷积核数量分别设置为16，32。
步骤205，建立语音数字信号矩阵的语义模型，得到语义表征向量；
在本发明实施例中，可以对语音数字信号矩阵进行深度的多层卷积，且每一层的卷积核数量逐步增加，提取出深度语义表征向量，该表征向量能够对不同说话人内容进行唯一区分。
在一个示例中，语义模型可以使用5层卷积层，卷积核的大小均设置为3*1，每一层的卷积核数量分别设置为16、32、64、96、128。
步骤206，对情绪表征向量和语义表征向量进行卷积操作，提取语音特征；
在获取到情绪表征向量和语义表征向量之后，可以对情绪表征向量和语义表征向量进行卷积操作，提取语音特征。
在一个示例中，对情绪表征向量和语义表征向量进行卷积操作，提取语音特征的步骤，可以包括以下子步骤：
S601，将情绪表征向量与语义表征向量进行拼接，得到第一拼接向量；
S602，采用预设残差卷积神经网络对第一拼接向量进行卷积计算，得到第一卷积向量；
S603，将第一卷积向量和情绪表征向量进行拼接，得到第二拼接向量；
S604，采用预设残差卷积神经网络对第二拼接向量进行卷积计算，得到第二卷积向量；
S605，将第二卷积向量和情绪表征向量进行拼接，得到第三拼接向量；
S606，采用预设残差卷积神经网络对第三拼接向量进行卷积计算，得到第三卷积向量；
S607，将第三卷积向量和情绪表征向量进行拼接，得到第四拼接向量；
S608，采用预设残差卷积神经网络对第四拼接向量进行卷积计算，得到第四卷积向量；
S609，将第四卷积向量和情绪表征向量进行拼接，得到第五拼接向量；
S610，采用预设残差卷积神经网络对第五拼接向量进行卷积计算，得到语音特征。
在具体实现中，可以将情绪表征向量和语义表征向量进行拼接，得到第一拼接向量，然后采用预设残差卷积神经网络对第一拼接向量进行卷积操作，得到第一卷积向量。接着将情绪表征向量与第一卷积向量进行拼接，进行下一次的卷积操作。每一次卷积操作的结果均与情绪表征向量进行拼接后进行下一次卷积，总共通过5层卷积层，最终得到语音特征。
步骤207，根据语音特征生成口型驱动系数；
在本发明实施例中，在获取到语音特征后，可以采用语音特征生成口型驱动系数。
在一个示例中，根据语音特征生成口型驱动系数的步骤，可以包括以下子步骤：
S71，获取预设第一线性运算的第一权重和第一偏移量；
S72，获取预设第二线性运算的第二权重和第二偏移量；
S73，采用语音特征、第一权重、第一偏移量、第二权重和第二偏移量生成口型驱动系数。
在具体实现中，可以通过以下已训练好的神经网络模型计算得到口型驱动系数：
Figure 338251DEST_PATH_IMAGE014
其中，
Figure 161588DEST_PATH_IMAGE015
为第一线性运算的第一权重，/>
Figure 531390DEST_PATH_IMAGE016
为第二线性运算的第二权重，/>
Figure 359669DEST_PATH_IMAGE017
为第一线性运算的第一偏移量，/>
Figure 156723DEST_PATH_IMAGE018
为第二线性运算的第二偏移量，/>
Figure 640925DEST_PATH_IMAGE019
为语音特征，y为口型驱动系数（包含27个基础表情分别对应的系数）。
在一个示例中，上述神经网络模型的训练过程可以分为学习目标、学习损失函数以及优化器。其中学习目标为口型驱动系数（包含27个基础表情分别对应的系数，每个基础表情的系数的取值范围均为0到1之间），学习损失函数采用均方差损失函数（MSE）、时序稳定损失、正则化损失结合的方式，其中均方差损失函数可以表示为下述公式：
Figure 250636DEST_PATH_IMAGE020
其中，N为训练样本数量，
Figure 261317DEST_PATH_IMAGE021
为第i个样本的学习目标，/>
Figure 166957DEST_PATH_IMAGE022
为第i个样本的预测输出。
优化器采用自适应动量优化器（Adam）。
步骤208，采用口型驱动系数生成三维数字人口型。
在本发明实施例中，在获取到口型驱动系数之后，可以采用口型驱动系数生成三维数字人口型。
本发明通过将语音输入信号转换为数字输入信号，然后从中提取情绪表征向量和语义表征向量，再对情绪表征向量和语义表征向量进行融合，得到同时反映情绪和语义的语音特征，生成基于语音特征生成的口型驱动系数，从而使得基于口型驱动系数生成的三维数字人口型能够反映人的语气和情绪，实现更真实的口型表达。
请参阅图3，图3为本发明实施例提供的一种三维数字人口型生成装置的结构框图。
本发明实施例提供了一种三维数字人口型生成装置，包括：
语音输入信号获取模块301，用于获取语音输入信号；
数字输入信号转换模块302，用于将语音输入信号转换为数字输入信号；
分割模块303，用于分割数字输入信号，得到语音数字信号矩阵；
情绪表征向量获取模块304，用于建立语音数字信号矩阵的情绪模型，得到情绪表征向量；
语义表征向量获取模块305，用于建立语音数字信号矩阵的语义模型，得到语义表征向量；
语音特征提取模块306，用于对情绪表征向量和语义表征向量进行卷积操作，提取语音特征；
口型驱动系数生成模块307，用于根据语音特征生成口型驱动系数；
三维数字人口型生成模块308，用于采用口型驱动系数生成三维数字人口型。
在本发明实施例中，数字输入信号转换模块302，包括：
数字输入信号转换子模块，用于通过线性预测编码将语音输入信号转换为数字输入信号。
在本发明实施例中，分割模块303，包括：
分割子模块，用于通过滑动窗口对数字输入信号进行分割，得到多个语音数字信号；
语音数字信号矩阵生成子模块，用于采用多个语音数字信号生成语音数字信号矩阵。
在本发明实施例中，语音特征提取模块306，包括：
第一拼接子模块，用于将情绪表征向量与语义表征向量进行拼接，得到第一拼接向量；
第一卷积子模块，用于采用预设残差卷积神经网络对第一拼接向量进行卷积计算，得到第一卷积向量；
第二拼接子模块，用于将第一卷积向量和情绪表征向量进行拼接，得到第二拼接向量；
第二卷积子模块，用于采用预设残差卷积神经网络对第二拼接向量进行卷积计算，得到第二卷积向量；
第三拼接子模块，用于将第二卷积向量和情绪表征向量进行拼接，得到第三拼接向量；
第三卷积子模块，用于采用预设残差卷积神经网络对第三拼接向量进行卷积计算，得到第三卷积向量；
第四拼接子模块，用于将第三卷积向量和情绪表征向量进行拼接，得到第四拼接向量；
第四卷积子模块，用于采用预设残差卷积神经网络对第四拼接向量进行卷积计算，得到第四卷积向量；
第五拼接子模块，用于将第四卷积向量和情绪表征向量进行拼接，得到第五拼接向量；
语音特征提取子模块，用于采用预设残差卷积神经网络对第五拼接向量进行卷积计算，得到语音特征。
在本发明实施例中，口型驱动系数生成模块307，包括：
第一权重和第一偏移量获取子模块，用于获取预设第一线性运算的第一权重和第一偏移量；
第二权重和第二偏移量获取子模块，用于获取预设第二线性运算的第二权重和第二偏移量；
口型驱动系数生成子模块，用于采用语音特征、第一权重、第一偏移量、第二权重和第二偏移量生成口型驱动系数。
本发明实施例还提供了一种电子设备，设备包括处理器以及存储器：
存储器用于存储程序代码，并将程序代码传输给处理器；
处理器用于根据程序代码中的指令执行本发明实施例的三维数字人口型生成方法。
本发明实施例还提供了一种计算机可读存储介质，计算机可读存储介质用于存储程序代码，程序代码用于执行本发明实施例的三维数字人口型生成方法。
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统，装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
本说明书中的各个实施例均采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似的部分互相参见即可。
本领域内的技术人员应明白，本发明实施例的实施例可提供为方法、装置、或计算机程序产品。因此，本发明实施例可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明实施例可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本发明实施例是参照根据本发明实施例的方法、终端设备(系统)、和计算机程序产品的流程图和／或方框图来描述的。应理解可由计算机程序指令实现流程图和／或方框图中的每一流程和／或方框、以及流程图和／或方框图中的流程和／或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理终端设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理终端设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理终端设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理终端设备上，使得在计算机或其他可编程终端设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程终端设备上执行的指令提供用于实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能的步骤。
尽管已描述了本发明实施例的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例做出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本发明实施例范围的所有变更和修改。
最后，还需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者终端设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者终端设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者终端设备中还存在另外的相同要素。
以上所述，以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (9)

1.一种三维数字人口型生成方法，其特征在于，包括：
获取语音输入信号；
将所述语音输入信号转换为数字输入信号；
分割所述数字输入信号，得到语音数字信号矩阵；
建立所述语音数字信号矩阵的情绪模型，得到情绪表征向量；
建立所述语音数字信号矩阵的语义模型，得到语义表征向量；
对所述情绪表征向量和所述语义表征向量进行卷积操作，提取语音特征；
根据所述语音特征生成口型驱动系数；
采用所述口型驱动系数生成三维数字人口型；
其中，所述对所述情绪表征向量和所述语义表征向量进行卷积操作，提取语音特征的步骤，包括：
将所述情绪表征向量与所述语义表征向量进行拼接，得到第一拼接向量；
采用预设残差卷积神经网络对所述第一拼接向量进行卷积计算，得到第一卷积向量；
将所述第一卷积向量和所述情绪表征向量进行拼接，得到第二拼接向量；
采用预设残差卷积神经网络对所述第二拼接向量进行卷积计算，得到第二卷积向量；
将所述第二卷积向量和所述情绪表征向量进行拼接，得到第三拼接向量；
采用预设残差卷积神经网络对所述第三拼接向量进行卷积计算，得到第三卷积向量；
将所述第三卷积向量和所述情绪表征向量进行拼接，得到第四拼接向量；
采用预设残差卷积神经网络对所述第四拼接向量进行卷积计算，得到第四卷积向量；
将所述第四卷积向量和所述情绪表征向量进行拼接，得到第五拼接向量；
采用预设残差卷积神经网络对所述第五拼接向量进行卷积计算，得到语音特征。
2.根据权利要求1所述的方法，其特征在于，所述将语音输入信号转换为数字输入信号的步骤，包括：
通过线性预测编码将语音输入信号转换为数字输入信号。
3.根据权利要求1所述的方法，其特征在于，所述分割所述数字输入信号，得到语音数字信号矩阵的步骤，包括：
通过滑动窗口对所述数字输入信号进行分割，得到多个语音数字信号；
采用多个所述语音数字信号生成语音数字信号矩阵。
4.根据权利要求1所述的方法，其特征在于，所述根据所述语音特征生成口型驱动系数的步骤，包括：
获取预设第一线性运算的第一权重和第一偏移量；
获取预设第二线性运算的第二权重和第二偏移量；
采用所述语音特征、所述第一权重、所述第一偏移量、所述第二权重和所述第二偏移量生成口型驱动系数。
5.一种三维数字人口型生成装置，其特征在于，包括：
语音输入信号获取模块，用于获取语音输入信号；
数字输入信号转换模块，用于将所述语音输入信号转换为数字输入信号；
分割模块，用于分割所述数字输入信号，得到语音数字信号矩阵；
情绪表征向量获取模块，用于建立所述语音数字信号矩阵的情绪模型，得到情绪表征向量；
语义表征向量获取模块，用于建立所述语音数字信号矩阵的语义模型，得到语义表征向量；
语音特征提取模块，用于对所述情绪表征向量和所述语义表征向量进行卷积操作，提取语音特征；
口型驱动系数生成模块，用于根据所述语音特征生成口型驱动系数；
三维数字人口型生成模块，用于采用所述口型驱动系数生成三维数字人口型；
其中，语音特征提取模块，包括：
第一拼接子模块，用于将情绪表征向量与语义表征向量进行拼接，得到第一拼接向量；
第一卷积子模块，用于采用预设残差卷积神经网络对第一拼接向量进行卷积计算，得到第一卷积向量；
第二拼接子模块，用于将第一卷积向量和情绪表征向量进行拼接，得到第二拼接向量；
第二卷积子模块，用于采用预设残差卷积神经网络对第二拼接向量进行卷积计算，得到第二卷积向量；
第三拼接子模块，用于将第二卷积向量和情绪表征向量进行拼接，得到第三拼接向量；
第三卷积子模块，用于采用预设残差卷积神经网络对第三拼接向量进行卷积计算，得到第三卷积向量；
第四拼接子模块，用于将第三卷积向量和情绪表征向量进行拼接，得到第四拼接向量；
第四卷积子模块，用于采用预设残差卷积神经网络对第四拼接向量进行卷积计算，得到第四卷积向量；
第五拼接子模块，用于将第四卷积向量和情绪表征向量进行拼接，得到第五拼接向量；
语音特征提取子模块，用于采用预设残差卷积神经网络对第五拼接向量进行卷积计算，得到语音特征。
6.根据权利要求5所述的装置，其特征在于，所述数字输入信号转换模块，包括：
数字输入信号转换子模块，用于通过线性预测编码将语音输入信号转换为数字输入信号。
7.根据权利要求5所述的装置，其特征在于，所述分割模块，包括：
分割子模块，用于通过滑动窗口对所述数字输入信号进行分割，得到多个语音数字信号；
语音数字信号矩阵生成子模块，用于采用多个所述语音数字信号生成语音数字信号矩阵。
8.一种电子设备，其特征在于，所述设备包括处理器以及存储器：
所述存储器用于存储程序代码，并将所述程序代码传输给所述处理器；
所述处理器用于根据所述程序代码中的指令执行权利要求1-4任一项所述的三维数字人口型生成方法。
9.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质用于存储程序代码，所述程序代码用于执行权利要求1-4任一项所述的三维数字人口型生成方法。
CN202211263920.3A 2022-10-17 2022-10-17 三维数字人口型生成方法、装置、电子设备及存储介质 Active CN115330913B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211263920.3A CN115330913B (zh) 2022-10-17 2022-10-17 三维数字人口型生成方法、装置、电子设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211263920.3A CN115330913B (zh) 2022-10-17 2022-10-17 三维数字人口型生成方法、装置、电子设备及存储介质

Publications (2)

Publication Number Publication Date
CN115330913A CN115330913A (zh) 2022-11-11
CN115330913B true CN115330913B (zh) 2023-03-24

Family

ID=83915216

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211263920.3A Active CN115330913B (zh) 2022-10-17 2022-10-17 三维数字人口型生成方法、装置、电子设备及存储介质

Country Status (1)

Country Link
CN (1) CN115330913B (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116129004B (zh) * 2023-02-17 2023-09-15 华院计算技术(上海)股份有限公司 数字人生成方法及装置、计算机可读存储介质、终端
CN116912376B (zh) * 2023-09-14 2023-12-22 腾讯科技（深圳）有限公司 口型动画生成方法、装置、计算机设备和存储介质
CN116994600B (zh) * 2023-09-28 2023-12-12 中影年年(北京)文化传媒有限公司 基于音频驱动角色口型的方法及系统
CN117519663B (zh) * 2024-01-08 2024-04-26 广州趣丸网络科技有限公司 一种数字人智能生产平台

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101566828A (zh) * 2009-04-20 2009-10-28 西北工业大学 一种虚拟人嘴部运动控制方法
CN103218842A (zh) * 2013-03-12 2013-07-24 西南交通大学 一种语音同步驱动三维人脸口型与面部姿势动画的方法

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109712627A (zh) * 2019-03-07 2019-05-03 深圳欧博思智能科技有限公司 一种使用语音触发虚拟人物表情及口型动画的语音系统
CN110009716B (zh) * 2019-03-28 2023-09-26 网易（杭州）网络有限公司 面部表情的生成方法、装置、电子设备及存储介质
CN112562722A (zh) * 2020-12-01 2021-03-26 新华智云科技有限公司 基于语义的音频驱动数字人生成方法及系统
CN113554737A (zh) * 2020-12-04 2021-10-26 腾讯科技（深圳）有限公司 目标对象的动作驱动方法、装置、设备及存储介质
CN113822967A (zh) * 2021-02-09 2021-12-21 北京沃东天骏信息技术有限公司 人机交互方法、装置、系统、电子设备以及计算机介质
CN114419177A (zh) * 2022-01-07 2022-04-29 上海序言泽网络科技有限公司 个性化表情包生成方法、系统、电子设备及可读介质

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101566828A (zh) * 2009-04-20 2009-10-28 西北工业大学 一种虚拟人嘴部运动控制方法
CN103218842A (zh) * 2013-03-12 2013-07-24 西南交通大学 一种语音同步驱动三维人脸口型与面部姿势动画的方法

Also Published As

Publication number Publication date
CN115330913A (zh) 2022-11-11

Similar Documents

Publication Publication Date Title
CN115330913B (zh) 三维数字人口型生成方法、装置、电子设备及存储介质
CN109785824B (zh) 一种语音翻译模型的训练方法及装置
Pepino et al. Emotion recognition from speech using wav2vec 2.0 embeddings
US11508366B2 (en) Whispering voice recovery method, apparatus and device, and readable storage medium
CN109874029B (zh) 视频描述生成方法、装置、设备及存储介质
TWI754033B (zh) 關注點文案的生成
CN111243579B (zh) 一种时域单通道多说话人语音识别方法与系统
CN112767917B (zh) 语音识别方法、装置及存储介质
Li et al. Listen, Watch and Understand at the Cocktail Party: Audio-Visual-Contextual Speech Separation.
Borsos et al. Speechpainter: Text-conditioned speech inpainting
CN113035228A (zh) 声学特征提取方法、装置、设备及存储介质
CN116597857A (zh) 一种语音驱动图像的方法、系统、装置及存储介质
CN115984933A (zh) 人脸动画模型的训练方法、语音数据处理方法和装置
WO2021028236A1 (en) Systems and methods for sound conversion
CN113782042B (zh) 语音合成方法、声码器的训练方法、装置、设备及介质
CN113409803B (zh) 语音信号处理方法、装置、存储介质及设备
CN111653270B (zh) 语音处理方法、装置、计算机可读存储介质及电子设备
CN113362831A (zh) 一种说话人分离方法及其相关设备
CN109241262B (zh) 基于关键词生成回复语句的方法及装置
CN114360491A (zh) 语音合成方法、装置、电子设备及计算机可读存储介质
CN111883105B (zh) 用于视频场景的上下文信息预测模型的训练方法及系统
CN113516987A (zh) 一种说话人识别方法、装置、存储介质及设备
CN108538282A (zh) 一种由唇部视频直接生成语音的方法
CN115472152B (zh) 语音端点检测方法、装置、计算机设备及可读存储介质
CN113178206B (zh) Ai合成主播生成方法、电子设备及可读存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant