CN117594051B - 用于语音转换的可控说话者音频表示的方法及装置 - Google Patents

用于语音转换的可控说话者音频表示的方法及装置 Download PDF

Info

Publication number
CN117594051B
CN117594051B CN202410063968.2A CN202410063968A CN117594051B CN 117594051 B CN117594051 B CN 117594051B CN 202410063968 A CN202410063968 A CN 202410063968A CN 117594051 B CN117594051 B CN 117594051B
Authority
CN
China
Prior art keywords
vector
speaker
representation
audio
target
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202410063968.2A
Other languages
English (en)
Other versions
CN117594051A (zh
Inventor
陶建华
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tsinghua University
Original Assignee
Tsinghua University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tsinghua University filed Critical Tsinghua University
Priority to CN202410063968.2A priority Critical patent/CN117594051B/zh
Publication of CN117594051A publication Critical patent/CN117594051A/zh
Application granted granted Critical
Publication of CN117594051B publication Critical patent/CN117594051B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/003—Changing voice quality, e.g. pitch or formants
    • G10L21/007—Changing voice quality, e.g. pitch or formants characterised by the process used
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/003—Changing voice quality, e.g. pitch or formants
    • G10L21/007—Changing voice quality, e.g. pitch or formants characterised by the process used
    • G10L21/013—Adapting to target pitch
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/03—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the type of extracted parameters
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/27—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the analysis technique
    • G10L25/30—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the analysis technique using neural networks
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/003—Changing voice quality, e.g. pitch or formants
    • G10L21/007—Changing voice quality, e.g. pitch or formants characterised by the process used
    • G10L21/013—Adapting to target pitch
    • G10L2021/0135—Voice conversion or morphing

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computational Linguistics (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Software Systems (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Acoustics & Sound (AREA)
  • Multimedia (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Signal Processing (AREA)
  • Quality & Reliability (AREA)
  • General Physics & Mathematics (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Mathematical Physics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Medical Informatics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Stereophonic System (AREA)

Abstract

本公开涉及一种用于语音转换的可控说话者音频表示的方法及装置，上述方法包括：基于机器学习模型，对目标说话对象的音频进行特征提取，得到作为目标说话对象音色参考基准的说话者表示向量；获取编码空间中用于编码说话者音色的基础编码向量；基于上述基础编码向量，对上述说话者表示向量进行跨模态特征表示和计算残差，并对逐轮累积的残差进行跨模态特征表示，将各轮次的跨模态特征表示的累加结果确定为说话者音色表示向量。由于脱离了不同音色特征采用基础编码向量进行各类音色的表示，具有广泛的适用性，有助于提升语音转换方法或语音转换模型面对训练未出现过的说话者的鲁棒性。

Description

用于语音转换的可控说话者音频表示的方法及装置
技术领域
本公开涉及语音处理和人工智能技术领域，尤其涉及一种用于语音转换的可控说话者音频表示的方法及装置。
背景技术
随着人工智能技术的发展，衍生出来很多新技术，例如语音转换技术，将说话人A的音色转换为说话人B的音色，这一转换过程是将说话人A的音色特征转换为说话人B的音色特征的过程。
在实现本公开构思的过程中，发明人发现相关技术中至少存在如下技术问题：在构建语音转换模型的过程中，需要各种音色对应的被转换对象和转换后对象对应的训练数据进行训练，如果训练完成的语音转换模型在遇到训练中尚未碰到过的转换后对象进行语音转换处理，通常语音转换后的音色存在与期望音色相似度差的问题。
发明内容
为了解决上述技术问题或者至少部分地解决上述技术问题，本公开的实施例提供了一种用于语音转换的可控说话者音频表示的方法及装置。
第一方面，本公开的实施例提供一种用于语音转换的可控说话者音频表示的方法。上述音频表示的方法包括：基于机器学习模型，对目标说话对象的音频进行特征提取，得到作为目标说话对象音色参考基准的说话者表示向量；获取编码空间中用于编码说话者音色的基础编码向量；基于上述基础编码向量，对上述说话者表示向量进行跨模态特征表示和计算残差，并对逐轮累积的残差进行跨模态特征表示，将各轮次的跨模态特征表示的累加结果确定为说话者音色表示向量。
根据本公开的实施例，基于上述基础编码向量，对上述说话者表示向量进行跨模态特征表示和计算残差，并对逐轮累积的残差进行跨模态特征表示，将各轮次的跨模态特征表示的累加结果确定为说话者音色表示向量，包括：针对每个输入向量，循环执行跨模态特征表示和残差计算操作，直至残差小于设定阈值，将各轮得到嵌入特征向量的累加结果确定为说话者音色表示向量；其中，针对每个输入向量，循环执行跨模态特征表示和残差计算操作，包括：基于交叉注意力机制，将输入向量作为查询向量，利用上述基础编码向量生成键向量和值向量，对输入向量进行跨模态特征表示，得到嵌入特征向量；首轮的输入向量为上述说话者表示向量；计算上述输入向量与上述嵌入特征向量之间的残差；确定上述残差是否小于设定阈值；在上述残差超过设定阈值的情况下，将上述残差作为下一轮的输入向量。
根据本公开的实施例，基于机器学习模型，对目标说话对象的音频进行特征提取，得到作为目标说话对象音色参考基准的说话者表示向量，包括：对目标说话对象的音频进行分帧处理；基于说话者编码模型，对上述音频的每一帧进行编码处理，得到每一帧对应的编码结果；计算上述音频各帧的编码结果的均值，上述均值作为目标说话对象音色参考基准的说话者表示向量。
根据本公开的实施例，上述音频为梅尔频谱。
根据本公开的实施例，获取编码空间中用于编码说话者音色的基础编码向量，包括：将多个残差表示学习网络层作为用于编码说话者音色的基础编码向量；初始状态下，每个残差表示学习网络层为预设维度下的随机初始化向量。
第二方面，本公开的实施例提供一种语音转换的方法。上述语音转换的方法包括：获取待转换说话对象的第一音频中的目标说话内容；获取目标说话对象的第二音频；上述目标说话对象为音色转换处理的转换后对象；基于上述音频表示的方法，对上述目标说话对象的第二音频进行表示，得到目标说话者音色表示向量；将上述目标说话内容与上述目标说话者音色表示向量进行合成，得到以上述目标说话对象的音色呈现的目标说话内容。
根据本公开的实施例，上述语音转换的方法包括：对上述基础编码向量的组合和组合内各个基础编码向量的权重系数进行调控，生成调控说话者音色表示向量；将上述目标说话内容与上述调控说话者音色表示向量进行合成，得到以调控说话者音色呈现的目标说话内容。
第三方面，本公开的实施例提供一种用于语音转换的可控说话者音频表示的装置。上述音频表示的装置包括：特征提取模块、向量获取模块和处理模块。上述特征提取模块用于基于机器学习模型，对目标说话对象的音频进行特征提取，得到作为目标说话对象音色参考基准的说话者表示向量。上述向量获取模块用于获取编码空间中用于编码说话者音色的基础编码向量。上述处理模块用于基于上述基础编码向量，对上述说话者表示向量进行跨模态特征表示和计算残差，并对逐轮累积的残差进行跨模态特征表示，将各轮次的跨模态特征表示的累加结果确定为说话者音色表示向量。
第四方面，本公开的实施例提供一种语音转换的装置。上述语音转换的装置包括：内容获取模块、音频获取模块、音频表示模块和语音合成模块。上述内容获取模块用于获取待转换说话对象的第一音频中的目标说话内容。上述音频获取模块用于获取目标说话对象的第二音频；上述目标说话对象为音色转换处理的转换后对象。上述音频表示模块用于对上述目标说话对象的第二音频进行表示，得到目标说话者音色表示向量；上述音频表示模块采用上述音频表示的方法或上述音频表示的装置实现。上述语音合成模块用于将上述目标说话内容与上述目标说话者音色表示向量进行合成，得到以上述目标说话对象的音色呈现的目标说话内容。
第五方面，本公开的实施例提供了一种电子设备。上述电子设备包括处理器、通信接口、存储器和通信总线，其中，处理器、通信接口和存储器通过通信总线完成相互间的通信；存储器，用于存放计算机程序；处理器，用于执行存储器上所存放的程序时，实现如上所述的用于语音转换的可控说话者音频表示的方法或语音转换的方法。
第六方面，本公开的实施例提供了一种计算机可读存储介质。上述计算机可读存储介质上存储有计算机程序，上述计算机程序被处理器执行时实现如上所述的用于语音转换的可控说话者音频表示的方法或语音转换的方法。
本公开实施例提供的上述技术方案至少具有如下优点的部分或全部：
考虑到当前的语音转换方法或语音转换模型在遇到未见过的说话者时语音转换效果差，具有有限的鲁棒性，提供了一种音频表示的方法，通过基于机器学习模型，对目标说话对象的音频进行特征提取，得到用于表示目标说话对象音色的说话者表示向量，这一说话者表示向量作为参考基准，用于后续基于基础编码向量的多层残差进行跨模态特征学习，通过基于上述基础编码向量，对上述说话者表示向量进行跨模态特征表示和计算残差，并对逐轮累积的残差进行跨模态特征表示，将各轮次的跨模态特征表示的累加结果确定为说话者音色表示向量，通过多层残差逼近的方式得到的说话者音色表示向量与作为参考基准的说话者表示向量非常接近，能够有效作为语音转换方法或语音转换模型中转换后对象的音色表示，而且由于脱离了不同音色特征采用基础编码向量进行各类音色的表示，具有广泛的适用性，有助于提升语音转换方法或语音转换模型面对训练未出现过的说话者的鲁棒性。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本公开的实施例，并与说明书一起用于解释本公开的原理。
为了更清楚地说明本公开实施例或现有技术中的技术方案，下面将对实施例或相关技术描述中所需要使用的附图作简单地介绍，显而易见地，对于本领域普通技术人员而言，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1示意性地示出了根据本公开一实施例的用于语音转换的可控说话者音频表示的方法的流程图；
图2示意性地示出了根据本公开一实施例的步骤S110的详细实施流程图；
图3示意性地示出了根据本公开一实施例的步骤S130的实施过程示意图；
图4示意性地示出了根据本公开一实施例的语音转换的方法的流程图；
图5示意性地示出了根据本公开另一实施例的语音转换的方法的流程图；
图6示意性地示出了根据本公开一实施例的用于语音转换的可控说话者音频表示的装置的结构框图；
图7示意性地示出了根据本公开一实施例的语音转换的装置的结构框图；
图8示意性地示出了本公开实施例提供的电子设备的结构框图。
具体实施方式
为使本公开实施例的目的、技术方案和优点更加清楚，下面将结合本公开实施例中的附图，对本公开实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本公开的一部分实施例，而不是全部的实施例。基于本公开中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本公开保护的范围。
本公开的第一个示例性实施例提供一种用于语音转换的可控说话者音频表示的方法。
图1示意性地示出了根据本公开一实施例的用于语音转换的可控说话者音频表示的方法的流程图。
参照图1所示，本公开实施例提供的用于语音转换的可控说话者音频表示的方法，包括以下步骤：S110、S120和S130。
在步骤S110，基于机器学习模型，对目标说话对象的音频进行特征提取，得到作为目标说话对象音色参考基准的说话者表示向量。
在一些实施例中，目标说话对象可以是语音转换过程中的转换后对象。说话对象可以是各种类型的生物体或者具有发生结构的装置等，人作为常见的目标说话对象的示例。
在一些实施例中，上述机器学习模型为基于深度学习网络构建的说话者编码模型。可以采用已有的或改进的编码模型。
图2示意性地示出了根据本公开一实施例的步骤S110的详细实施流程图。
根据本公开的实施例，参照图2所示，上述步骤S110中，基于机器学习模型，对目标说话对象的音频进行特征提取，得到作为目标说话对象音色参考基准的说话者表示向量，包括以下步骤：S210、S220和S230。
在步骤S210，对目标说话对象的音频进行分帧处理。
在一些实施例中，上述音频为梅尔频谱。
在步骤S220，基于说话者编码模型，对上述音频的每一帧进行编码处理，得到每一帧对应的编码结果。
在步骤S230，计算上述音频各帧的编码结果的均值，上述均值作为目标说话对象音色参考基准的说话者表示向量。
例如，说话者表示向量S的表达式如下：
，（1）
其中，i表示音频的帧序号；x i表示音频的第i帧梅尔频谱；T表示音频对应的总帧数；表示基于说话者编码模型SpeakerEncoder对音频的第i帧进行编码得到的编码结果。
在步骤S120，获取编码空间中用于编码说话者音色的基础编码向量。
根据本公开的实施例，上述步骤S120中，获取编码空间中用于编码说话者音色的基础编码向量，包括：将多个残差表示学习网络层作为用于编码说话者音色的基础编码向量；初始状态下，每个残差表示学习网络层为预设维度下的随机初始化向量。
例如，将4个残差表示学习网络层应用于说话者编码模型的输出（即为说话者表示向量）的处理。例如初始状态下，使用4个可学习的1×ds维度的随机初始化向量α1~α4作为标记，然后，将这些向量α1~α4合并成一个矩阵C，据此生成交叉注意力（cross-attention，也可以描述为跨注意力）机制的键和值，同时将说话者表示向量S作为交叉注意力的查询向量，计算说话者对应的嵌入特征向量E并将其投影到R1×ds维度空间。
在步骤S130，基于上述基础编码向量，对上述说话者表示向量进行跨模态特征表示和计算残差，并对逐轮累积的残差进行跨模态特征表示，将各轮次的跨模态特征表示的累加结果确定为说话者音色表示向量。
图3示意性地示出了根据本公开一实施例的步骤S130的实施过程示意图。
根据本公开的实施例，参照图3所示，上述步骤S130中，基于上述基础编码向量，对上述说话者表示向量进行跨模态特征表示和计算残差，并对逐轮累积的残差进行跨模态特征表示，将各轮次的跨模态特征表示的累加结果确定为说话者音色表示向量，包括：
针对每个输入向量，循环执行跨模态特征表示和残差计算操作，直至残差小于设定阈值，将各轮得到嵌入特征向量的累加结果确定为说话者音色表示向量；
其中，针对每个输入向量，循环执行跨模态特征表示和残差计算操作，包括：基于交叉注意力机制，将输入向量作为查询向量，利用上述基础编码向量生成键向量和值向量，对输入向量进行跨模态特征表示，得到嵌入特征向量；首轮的输入向量为上述说话者表示向量；计算上述输入向量与上述嵌入特征向量之间的残差；确定上述残差是否小于设定阈值；在上述残差超过设定阈值的情况下，将上述残差作为下一轮的输入向量。
例如，参照图3所示，首轮的输入向量为说话者表示向量S，将说话者表示向量S作为查询向量，利用基础编码向量α1~α4生成键向量（K=CW k）和值向量（V=CW v），对说话者表示向量S进行跨模态特征表示，得到说话者表示向量S对应的嵌入特征向量，将首轮的嵌入特征向量表示为E 0；计算说话者表示向量S与嵌入特征向量E 0之间的残差ΔS0=S-E 0。确定残差ΔS0是否小于设定阈值，在残差ΔS0超过设定阈值的情况下，将第1轮的残差ΔS0作为下一轮（第2轮）的输入向量。
第2轮的输入向量为残差ΔS0，将残差ΔS0作为查询向量，利用基础编码向量α1~α4生成键向量（K=CW k）和值向量（V=CW v），对残差ΔS0进行跨模态特征表示，得到残差ΔS0对应的嵌入特征向量，将第2轮的嵌入特征向量表示为E 1；计算残差ΔS0与嵌入特征向量E 1之间的残差ΔS1=ΔS0-E 1。确定残差ΔS1是否小于设定阈值，在残差ΔS1超过设定阈值的情况下，将第2轮的残差ΔS1作为下一轮（第3轮）的输入向量，对应得到第3轮的嵌入特征向量E 2。以此类推，直至某一轮得到的残差小于设定阈值，例如在第M轮得到的残差ΔSM-1小于设定阈值，则将各轮得到嵌入特征向量的累加结果E 0+E 1+E 2+……+E M-1确定为说话者音色表示向量。
具体基于交叉注意力机制进行跨模态特征表示，得到嵌入特征向量E的过程可以采用以下表达式进行示意：
，（2）
其中，SWq为查询向量，S为说话者表示向量，Wq为查询向量的权重系数；CW k为键向量，C为基础编码向量的组合构成的矩阵，W k为键向量的权重系数；CW v为值向量，W v为值向量的权重系数；表示转置，d s为缩放因子，用于让分数的值更平滑，让梯度更稳定；W o为投影向量，用于将嵌入特征向量投影到预设维度空间。
在包含步骤S110~S130的实施例中，通过基于机器学习模型，对目标说话对象的音频进行特征提取，得到用于表示目标说话对象音色的说话者表示向量，这一说话者表示向量作为参考基准，用于后续基于基础编码向量的多层残差进行跨模态特征学习，通过基于上述基础编码向量，对上述说话者表示向量进行跨模态特征表示和计算残差，并对逐轮累积的残差进行跨模态特征表示，将各轮次的跨模态特征表示的累加结果确定为说话者音色表示向量，通过多层残差逼近的方式得到的说话者音色表示向量与作为参考基准的说话者表示向量非常接近，能够有效作为语音转换方法或语音转换模型中转换后对象的音色表示，而且由于脱离了不同音色特征采用基础编码向量进行各类音色的表示，具有广泛的适用性，有助于提升语音转换方法或语音转换模型面对训练未出现过的说话者的鲁棒性。此外，基于多层残差进行逐层累加逼近参考基准，还能够保证基于有限的基础编码变量进行说话者音色表示的近似程度和准确度，有效提升对未知说话者音色的表示能力和精准度。
本公开的第二个示例性实施例提供一种语音转换的方法。
图4示意性地示出了根据本公开一实施例的语音转换的方法的流程图。
参照图4所示，本公开实施例提供的语音转换的方法，包括以下步骤：S410、S420、S430和S440。
在步骤S410，获取待转换说话对象的第一音频中的目标说话内容。
待转换说话对象为音色转换处理的转换前对象。例如，要将采用说话者A的音色说出的目标说话内容转换为采用说话者B的音色说出的目标说话内容，则待转换说话对象为说话者A，目标说话对象为说话者B。
在步骤S420，获取目标说话对象的第二音频。
上述目标说话对象为音色转换处理的转换后对象。第二音频用作提取目标说话对象的音色特征，具体第二音频中包含的说话内容不做限制，与第一音频中的目标说话内容无关。例如，说话者A的目标说话内容为Content1：为大家讲述一个故事，在很久很久之前，有一个喜欢穿着红色衣服戴着红色帽子的小姑娘，人们都叫她小红帽。获取到的目标说话对象的第二音频包含的说话内容例如为Content2：我叫XXX，我的老家是XXX，我喜欢XXXXX。
在步骤S430，基于上述音频表示的方法，对上述目标说话对象的第二音频进行表示，得到目标说话者音色表示向量。
采用第一个实施例提供的音频表示的方法，对目标说话对象的第二音频进行表示，具体是对第二音频中的音色特征进行表示，得到目标说话者音色表示向量。
具体过程为：基于机器学习模型，对目标说话对象的第二音频进行特征提取，得到作为目标说话对象音色参考基准的说话者表示向量；获取编码空间中用于编码说话者音色的基础编码向量；基于该基础编码向量，对说话者表示向量进行跨模态特征表示和计算残差，并对逐轮累积的残差进行跨模态特征表示，将各轮次的跨模态特征表示的累加结果确定为目标说话者音色表示向量。
更多细节可以参照第一个实施例的相关描述，这里不再赘述。
在步骤S440，将上述目标说话内容与上述目标说话者音色表示向量进行合成，得到以上述目标说话对象的音色呈现的目标说话内容。
将目标说话内容Content1与目标说话者音色表示向量进行语音合成后，得到以说话者B的音色说出目标说话内容的语音。
在包含上述步骤S410~S440的实施例中，通过对目标说话对象的音频采用基础编码向量进行跨模态学习和残差逐层累加表示，能够有效提升对未知说话者音色的表示能力和精准度，进而提升语音转换的效果。
图5示意性地示出了根据本公开另一实施例的语音转换的方法的流程图。
参照图5所示，在一些实施例中，上述语音转换的方法除了包括上述步骤S410~S440之外，还包括以下步骤：S510和S520，为了简化示意，仅在图5中示意了步骤S510和S520。
在步骤S510，对上述基础编码向量的组合和组合内各个基础编码向量的权重系数进行调控，生成调控说话者音色表示向量。
在一些实施例中，参照公式（2）所示，在给定SWq的基础上，上述基础编码向量的组合可以是与目标说话对象对应的向量α1~α4合并成一个矩阵C相同，仅对组合内各个基础编码向量的权重系数（例如为W k、W v等）进行调控，这种情况下是在目标说话者的基础上进行音色调控。
在另一些实施例中，参照公式（2）所示，在不限定SWq的基础上，即不限制音色调控基础，给出任意的基础编码向量组合和对应的权重系数，可以生成调控说话者音色对应的调控说话者音色表示向量。
上述各个实施例中，最终得到的调控说话者音色表示向量对应的调控说话者音色可以是自然界存在的音色，也可以是合成的新音色。
在步骤S520，将上述目标说话内容与上述调控说话者音色表示向量进行合成，得到以调控说话者音色呈现的目标说话内容。
在包含步骤S510和S520的实施例中，通过对基础编码向量的组合以及组合内各个基础编码向量的权重系数进行调控，实现对音色的调控，支持在一个基础音色上的调控和无音色基础任意调控，调控方式灵活。
本公开的第三个示例性实施例提供一种用于语音转换的可控说话者音频表示的装置。
图6示意性地示出了根据本公开一实施例的用于语音转换的可控说话者音频表示的装置的结构框图。
参照图6所示，本公开实施例提供的音频表示的装置600包括：特征提取模块601、向量获取模块602和处理模块603。
上述特征提取模块601用于基于机器学习模型，对目标说话对象的音频进行特征提取，得到作为目标说话对象音色参考基准的说话者表示向量。
上述向量获取模块602用于获取编码空间中用于编码说话者音色的基础编码向量。
上述处理模块603用于基于上述基础编码向量，对上述说话者表示向量进行跨模态特征表示和计算残差，并对逐轮累积的残差进行跨模态特征表示，将各轮次的跨模态特征表示的累加结果确定为说话者音色表示向量。
根据本公开的实施例，基于上述基础编码向量，对上述说话者表示向量进行跨模态特征表示和计算残差，并对逐轮累积的残差进行跨模态特征表示，将各轮次的跨模态特征表示的累加结果确定为说话者音色表示向量，包括：针对每个输入向量，循环执行跨模态特征表示和残差计算操作，直至残差小于设定阈值，将各轮得到嵌入特征向量的累加结果确定为说话者音色表示向量；其中，针对每个输入向量，循环执行跨模态特征表示和残差计算操作，包括：基于交叉注意力机制，将输入向量作为查询向量，利用上述基础编码向量生成键向量和值向量，对输入向量进行跨模态特征表示，得到嵌入特征向量；首轮的输入向量为上述说话者表示向量；计算上述输入向量与上述嵌入特征向量之间的残差；确定上述残差是否小于设定阈值；在上述残差超过设定阈值的情况下，将上述残差作为下一轮的输入向量。
根据本公开的实施例，基于机器学习模型，对目标说话对象的音频进行特征提取，得到作为目标说话对象音色参考基准的说话者表示向量，包括：对目标说话对象的音频进行分帧处理；基于说话者编码模型，对上述音频的每一帧进行编码处理，得到每一帧对应的编码结果；计算上述音频各帧的编码结果的均值，上述均值作为目标说话对象音色参考基准的说话者表示向量。
根据本公开的实施例，上述音频为梅尔频谱。
根据本公开的实施例，获取编码空间中用于编码说话者音色的基础编码向量，包括：将多个残差表示学习网络层作为用于编码说话者音色的基础编码向量；初始状态下，每个残差表示学习网络层为预设维度下的随机初始化向量。
本公开的第四个示例性实施例提供一种语音转换的装置。
图7示意性地示出了根据本公开一实施例的语音转换的装置的结构框图。
参照图7所示，本公开实施例提供的包括：内容获取模块701、音频获取模块702、音频表示模块703和语音合成模块704。
上述内容获取模块701用于获取待转换说话对象的第一音频中的目标说话内容。
上述音频获取模块702用于获取目标说话对象的第二音频；上述目标说话对象为音色转换处理的转换后对象。
上述音频表示模块703用于对上述目标说话对象的第二音频进行表示，得到目标说话者音色表示向量；上述音频表示模块采用上述音频表示的方法或上述音频表示的装置实现。
上述语音合成模块704用于将上述目标说话内容与上述目标说话者音色表示向量进行合成，得到以上述目标说话对象的音色呈现的目标说话内容。
在一些实施例中，上述语音转换的装置700还包括：音色调控模块。
上述音色调控模块，用于对上述基础编码向量的组合和组合内各个基础编码向量的权重系数进行调控，生成调控说话者音色表示向量。
上述语音合成模块704，还用于：将上述目标说话内容与上述调控说话者音色表示向量进行合成，得到以调控说话者音色呈现的目标说话内容。
上述装置600或装置700所包含的功能模块中的任意多个可以合并在一个模块中实现，或者其中的任意一个模块可以被拆分成多个模块。或者，这些模块中的一个或多个模块的至少部分功能可以与其他模块的至少部分功能相结合，并在一个模块中实现。装置600或装置700所包含的功能模块中的至少一个可以至少被部分地实现为硬件电路，例如现场可编程门阵列（FPGA）、可编程逻辑阵列（PLA）、片上系统、基板上的系统、封装上的系统、专用集成电路（ASIC），或可以通过对电路进行集成或封装的任何其他的合理方式等硬件或固件来实现，或以软件、硬件以及固件三种实现方式中任意一种或以其中任意几种的适当组合来实现。或者，装置600或装置700所包含的功能模块中的至少一个可以至少被部分地实现为计算机程序模块，当该计算机程序模块被运行时，可以执行相应的功能。
本公开的第五个示例性实施例提供了一种电子设备。
图8示意性示出了本公开实施例提供的电子设备的结构框图。
参照图8所示，本公开实施例提供的电子设备800包括处理器801、通信接口802、存储器803和通信总线804，其中，处理器801、通信接口802和存储器803通过通信总线804完成相互间的通信；存储器803，用于存放计算机程序；处理器801，用于执行存储器上所存放的程序时，实现如上所述的用于语音转换的可控说话者音频表示的方法或语音转换的方法。
本公开的第六个示例性实施例还提供了一种计算机可读存储介质。上述计算机可读存储介质上存储有计算机程序，上述计算机程序被处理器执行时实现如上所述的用于语音转换的可控说话者音频表示的方法或语音转换的方法。
该计算机可读存储介质可以是上述实施例中描述的设备或装置中所包含的；也可以是单独存在，而未装配入该设备或装置中。上述计算机可读存储介质承载有一个或者多个程序，当上述一个或者多个程序被执行时，实现根据本公开实施例的方法。
根据本公开的实施例，计算机可读存储介质可以是非易失性的计算机可读存储介质，例如可以包括但不限于：便携式计算机磁盘、硬盘、随机访问存储器（RAM）、只读存储器（ROM）、可擦式可编程只读存储器（EPROM或闪存）、便携式紧凑磁盘只读存储器（CD-ROM）、光存储器件、磁存储器件、或者上述的任意合适的组合。在本公开中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。
需要说明的是，本公开实施例提供的技术方案中，所涉及的用户个人信息的采集、收集、更新、分析、处理、使用、传输、存储等方面，均符合相关法律法规的规定，被用于合法的用途，且不违背公序良俗。对用户个人信息采取必要措施，防止对用户个人信息数据的非法访问，维护用户个人信息安全、网络安全和国家安全。
需要说明的是，在本文中，诸如“第一”和“第二”等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
以上所述仅是本公开的具体实施方式，使本领域技术人员能够理解或实现本公开。对这些实施例的多种修改对本领域的技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本公开的精神或范围的情况下，在其它实施例中实现。因此，本公开将不会被限制于本文所示的这些实施例，而是要符合与本文所申请的原理和新颖特点相一致的最宽的范围。

Claims (11)

1.一种用于语音转换的可控说话者音频表示的方法，其特征在于，包括：
基于机器学习模型，对目标说话对象的音频进行特征提取，得到作为目标说话对象音色参考基准的说话者表示向量；
获取编码空间中用于编码说话者音色的基础编码向量；
基于所述基础编码向量，对所述说话者表示向量进行跨模态特征表示和计算残差，并对逐轮累积的残差进行跨模态特征表示，将各轮次的跨模态特征表示的累加结果确定为说话者音色表示向量，包括：基于交叉注意力机制，利用所述基础编码向量生成键向量和值向量，将所述说话者的表示向量作为输入向量进行跨模态特征表示，得到嵌入特征向量，并计算所述输入向量与所述嵌入特征向量之间的残差，在所述残差大于阈值时，将所述残差作为下一轮的所述输入向量；
其中，得到所述嵌入特征向量的过程采用以下表达式进行示意：
其中，E为嵌入特征向量，SWq为查询向量，S为说话者表示向量，Wq为查询向量的权重系数；CWk为键向量，C为基础编码向量的组合构成的矩阵，Wk为键向量的权重系数；CWv为值向量，Wv为值向量的权重系数；表示转置，ds为缩放因子，用于让分数的值更平滑，让梯度更稳定；Wo为投影向量，用于将嵌入特征向量投影到预设维度空间。
2.根据权利要求1所述的方法，其特征在于，基于所述基础编码向量，对所述说话者表示向量进行跨模态特征表示和计算残差，并对逐轮累积的残差进行跨模态特征表示，将各轮次的跨模态特征表示的累加结果确定为说话者音色表示向量，包括：
针对每个输入向量，循环执行跨模态特征表示和残差计算操作，直至残差小于设定阈值，将各轮得到嵌入特征向量的累加结果确定为说话者音色表示向量；
其中，针对每个输入向量，循环执行跨模态特征表示和残差计算操作，包括：
基于交叉注意力机制，将输入向量作为查询向量，利用所述基础编码向量生成键向量和值向量，对输入向量进行跨模态特征表示，得到嵌入特征向量；首轮的输入向量为所述说话者表示向量；
计算所述输入向量与所述嵌入特征向量之间的残差；
确定所述残差是否小于设定阈值；
在所述残差超过设定阈值的情况下，将所述残差作为下一轮的输入向量。
3.根据权利要求1所述的方法，其特征在于，基于机器学习模型，对目标说话对象的音频进行特征提取，得到作为目标说话对象音色参考基准的说话者表示向量，包括：
对目标说话对象的音频进行分帧处理；
基于说话者编码模型，对所述音频的每一帧进行编码处理，得到每一帧对应的编码结果；
计算所述音频各帧的编码结果的均值，所述均值作为目标说话对象音色参考基准的说话者表示向量。
4.根据权利要求3所述的方法，其特征在于，所述音频的特征为梅尔谱。
5.根据权利要求1所述的方法，其特征在于，获取编码空间中用于编码说话者音色的基础编码向量，包括：
将多个残差表示学习网络层作为用于编码说话者音色的基础编码向量；初始状态下，每个残差表示学习网络层为预设维度下的随机初始化向量。
6.一种语音转换的方法，其特征在于，包括：
获取待转换说话对象的第一音频中的目标说话内容；
获取目标说话对象的第二音频；所述目标说话对象为音色转换处理的转换后对象；
基于权利要求1-5中任一项所述的方法，对所述目标说话对象的第二音频进行表示，得到目标说话者音色表示向量；
将所述目标说话内容与所述目标说话者音色表示向量进行合成，得到以所述目标说话对象的音色呈现的目标说话内容。
7.根据权利要求6所述的方法，其特征在于，包括：
对所述基础编码向量的组合和组合内各个基础编码向量的权重系数进行调控，生成调控说话者音色表示向量；
将所述目标说话内容与所述目标说话者音色表示向量进行合成，得到以调控说话者音色呈现的目标说话内容。
8.一种用于语音转换的可控说话者音频表示的方法的装置，其特征在于，包括：
特征提取模块，用于基于机器学习模型，对目标说话对象的音频进行特征提取，得到作为目标说话对象音色参考基准的说话者表示向量；
向量获取模块，用于获取编码空间中用于编码说话者音色的基础编码向量；
处理模块，用于基于所述基础编码向量，对所述说话者表示向量进行跨模态特征表示和计算残差，并对逐轮累积的残差进行跨模态特征表示，将各轮次的跨模态特征表示的累加结果确定为说话者音色表示向量，包括：基于交叉注意力机制，利用所述基础编码向量生成键向量和值向量，将所述说话者的表示向量作为输入向量进行跨模态特征表示，得到嵌入特征向量，并计算所述输入向量与所述嵌入特征向量之间的残差，在所述残差大于阈值时，将所述残差作为下一轮的所述输入向量；
其中，得到所述嵌入特征向量的过程采用以下表达式进行示意：
其中，E为嵌入特征向量，SWq为查询向量，S为说话者表示向量，Wq为查询向量的权重系数；CWk为键向量，C为基础编码向量的组合构成的矩阵，Wk为键向量的权重系数；CWv为值向量，Wv为值向量的权重系数；表示转置，ds为缩放因子，用于让分数的值更平滑，让梯度更稳定；Wo为投影向量，用于将嵌入特征向量投影到预设维度空间。
9.一种语音转换的装置，其特征在于，包括：
内容获取模块，用于获取待转换说话对象的第一音频中的目标说话内容；
音频获取模块，用于获取目标说话对象的第二音频；所述目标说话对象为音色转换处理的转换后对象；
音频表示模块，用于对所述目标说话对象的第二音频进行表示，得到目标说话者音色表示向量；所述音频表示模块采用权利要求1-5中任一项所述的方法或权利要求8所述的装置实现；
语音合成模块，用于将所述目标说话内容与所述目标说话者音色表示向量进行合成，得到以所述目标说话对象的音色呈现的目标说话内容。
10.一种电子设备，其特征在于，包括处理器、通信接口、存储器和通信总线，其中，处理器、通信接口和存储器通过通信总线完成相互间的通信；
存储器，用于存放计算机程序；
处理器，用于执行存储器上所存放的程序时，实现权利要求1-7中任一项所述的方法。
11.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1-7中任一项所述的方法。
CN202410063968.2A 2024-01-17 2024-01-17 用于语音转换的可控说话者音频表示的方法及装置 Active CN117594051B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202410063968.2A CN117594051B (zh) 2024-01-17 2024-01-17 用于语音转换的可控说话者音频表示的方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202410063968.2A CN117594051B (zh) 2024-01-17 2024-01-17 用于语音转换的可控说话者音频表示的方法及装置

Publications (2)

Publication Number Publication Date
CN117594051A CN117594051A (zh) 2024-02-23
CN117594051B true CN117594051B (zh) 2024-04-05

Family

ID=89920422

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202410063968.2A Active CN117594051B (zh) 2024-01-17 2024-01-17 用于语音转换的可控说话者音频表示的方法及装置

Country Status (1)

Country Link
CN (1) CN117594051B (zh)

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111862934A (zh) * 2020-07-24 2020-10-30 苏州思必驰信息科技有限公司 语音合成模型的改进方法和语音合成方法及装置
CN112712813A (zh) * 2021-03-26 2021-04-27 北京达佳互联信息技术有限公司 语音处理方法、装置、设备及存储介质
CN112767910A (zh) * 2020-05-13 2021-05-07 腾讯科技（深圳）有限公司 音频信息合成方法、装置、计算机可读介质及电子设备
CN114360491A (zh) * 2021-12-29 2022-04-15 腾讯科技（深圳）有限公司 语音合成方法、装置、电子设备及计算机可读存储介质
WO2022167242A1 (en) * 2021-02-05 2022-08-11 Novoic Ltd. Method for obtaining de-identified data representations of speech for speech analysis
KR102495455B1 (ko) * 2021-09-30 2023-02-06 한동대학교 산학협력단 간섭 없이 다중 스타일 제어가 가능한 텍스트로부터의 음성 합성 방법
CN116741144A (zh) * 2023-05-26 2023-09-12 北京邮电大学 一种语音音色转换方法和系统

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112767910A (zh) * 2020-05-13 2021-05-07 腾讯科技（深圳）有限公司 音频信息合成方法、装置、计算机可读介质及电子设备
CN111862934A (zh) * 2020-07-24 2020-10-30 苏州思必驰信息科技有限公司 语音合成模型的改进方法和语音合成方法及装置
WO2022167242A1 (en) * 2021-02-05 2022-08-11 Novoic Ltd. Method for obtaining de-identified data representations of speech for speech analysis
CN112712813A (zh) * 2021-03-26 2021-04-27 北京达佳互联信息技术有限公司 语音处理方法、装置、设备及存储介质
KR102495455B1 (ko) * 2021-09-30 2023-02-06 한동대학교 산학협력단 간섭 없이 다중 스타일 제어가 가능한 텍스트로부터의 음성 합성 방법
CN114360491A (zh) * 2021-12-29 2022-04-15 腾讯科技（深圳）有限公司 语音合成方法、装置、电子设备及计算机可读存储介质
CN116741144A (zh) * 2023-05-26 2023-09-12 北京邮电大学 一种语音音色转换方法和系统

Also Published As

Publication number Publication date
CN117594051A (zh) 2024-02-23

Similar Documents

Publication Publication Date Title
CN112735373B (zh) 语音合成方法、装置、设备及存储介质
CN110335587B (zh) 语音合成方法、系统、终端设备和可读存储介质
CN110211575B (zh) 用于数据增强的语音加噪方法及系统
CN110164463B (zh) 一种语音转换方法、装置、电子设备及存储介质
CN112767917B (zh) 语音识别方法、装置及存储介质
CN111914076B (zh) 一种基于人机对话的用户画像构建方法、系统、终端及存储介质
CN112837669B (zh) 语音合成方法、装置及服务器
CN112071330A (zh) 一种音频数据处理方法、设备以及计算机可读存储介质
CN113470664B (zh) 语音转换方法、装置、设备及存储介质
WO2022252904A1 (zh) 基于人工智能的音频处理方法、装置、设备、存储介质及计算机程序产品
WO2023245389A1 (zh) 歌曲生成方法、装置、电子设备和存储介质
CN110675879B (zh) 基于大数据的音频评估方法、系统、设备及存储介质
CN117496927A (zh) 基于扩散模型的音乐音色风格转换方法及系统
CN117594051B (zh) 用于语音转换的可控说话者音频表示的方法及装置
CN111028833B (zh) 一种交互、车辆的交互方法、装置
CN112652309A (zh) 一种方言语音转换方法、装置、设备及存储介质
CN112580669A (zh) 一种对语音信息的训练方法及装置
CN112185340A (zh) 语音合成方法、语音合成装置、存储介质与电子设备
CN116959464A (zh) 音频生成网络的训练方法、音频生成方法以及装置
CN113299270B (zh) 语音合成系统的生成方法、装置、设备及存储介质
CN113421576B (zh) 语音转换方法、装置、设备以及存储介质
CN113241054B (zh) 语音平滑处理模型生成方法、语音平滑处理方法及装置
CN114464163A (zh) 语音合成模型的训练方法、装置、设备、存储介质和产品
CN114203151A (zh) 语音合成模型的训练的相关方法以及相关装置、设备
CN113555027A (zh) 语音情感转换方法、装置、计算机设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant