CN111429894A - 基于SE-ResNet STARGAN的多对多说话人转换方法 - Google Patents
基于SE-ResNet STARGAN的多对多说话人转换方法 Download PDFInfo
- Publication number
- CN111429894A CN111429894A CN202010168943.0A CN202010168943A CN111429894A CN 111429894 A CN111429894 A CN 111429894A CN 202010168943 A CN202010168943 A CN 202010168943A CN 111429894 A CN111429894 A CN 111429894A
- Authority
- CN
- China
- Prior art keywords
- speaker
- network
- generator
- resnet
- stargan
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 65
- 238000006243 chemical reaction Methods 0.000 title claims abstract description 55
- 238000012549 training Methods 0.000 claims abstract description 56
- 238000001228 spectrum Methods 0.000 claims abstract description 42
- 230000008569 process Effects 0.000 claims abstract description 22
- 230000015572 biosynthetic process Effects 0.000 claims abstract description 16
- 238000003786 synthesis reaction Methods 0.000 claims abstract description 16
- 230000003595 spectral effect Effects 0.000 claims description 51
- 230000006870 function Effects 0.000 claims description 48
- 238000004458 analytical method Methods 0.000 claims description 12
- 238000004590 computer program Methods 0.000 claims description 12
- 238000003860 storage Methods 0.000 claims description 11
- 238000013527 convolutional neural network Methods 0.000 claims description 7
- 230000004913 activation Effects 0.000 claims description 5
- 230000006835 compression Effects 0.000 claims description 5
- 238000007906 compression Methods 0.000 claims description 5
- 238000011176 pooling Methods 0.000 claims description 5
- 239000004576 sand Substances 0.000 claims description 5
- 238000011426 transformation method Methods 0.000 claims description 5
- 230000007704 transition Effects 0.000 claims description 5
- 230000002194 synthesizing effect Effects 0.000 claims description 3
- 230000000737 periodic effect Effects 0.000 claims description 2
- 230000015556 catabolic process Effects 0.000 abstract description 8
- 238000006731 degradation reaction Methods 0.000 abstract description 8
- 230000007246 mechanism Effects 0.000 abstract description 4
- 238000012512 characterization method Methods 0.000 abstract description 2
- 238000010586 diagram Methods 0.000 description 11
- 238000013507 mapping Methods 0.000 description 9
- 238000012545 processing Methods 0.000 description 5
- 238000009826 distribution Methods 0.000 description 4
- 238000005457 optimization Methods 0.000 description 4
- 238000013256 Gubra-Amylin NASH model Methods 0.000 description 3
- 238000011160 research Methods 0.000 description 3
- 230000003044 adaptive effect Effects 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000000605 extraction Methods 0.000 description 2
- 230000000423 heterosexual effect Effects 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000007430 reference method Methods 0.000 description 2
- 238000000926 separation method Methods 0.000 description 2
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000008034 disappearance Effects 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 238000009499 grossing Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000002401 inhibitory effect Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000005728 strengthening Methods 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/08—Speech classification or search
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/06—Creation of reference templates; Training of speech recognition systems, e.g. adaptation to the characteristics of the speaker's voice
- G10L15/063—Training
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/08—Speech classification or search
- G10L15/16—Speech classification or search using artificial neural networks
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/08—Speech classification or search
- G10L15/18—Speech classification or search using natural language modelling
- G10L15/1815—Semantic context, e.g. disambiguation of the recognition hypotheses based on word meaning
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/06—Creation of reference templates; Training of speech recognition systems, e.g. adaptation to the characteristics of the speaker's voice
- G10L15/063—Training
- G10L2015/0631—Creating reference templates; Clustering
Landscapes
- Engineering & Computer Science (AREA)
- Computational Linguistics (AREA)
- Health & Medical Sciences (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- Acoustics & Sound (AREA)
- Multimedia (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- Machine Translation (AREA)
Abstract
本发明公开了一种基于SE‑ResNet STARGAN的多对多说话人转换方法，基于STARGAN与SE‑ResNet相结合来实现语音转换系统，在残差网络基础上，引入注意力思想和门控机制对各通道的依赖性进行建模，通过全局信息学习每个特征通道的权重，并对特征进行逐通道调整，有选择性地强化有用特征同时抑制无用特征，进一步增强模型的表征能力，同时能够有效解决训练过程中存在的网络退化问题，较好地提升模型对语音频谱的语义的学习能力以及语音频谱的合成能力，从而改善转换后语音的个性相似度和合成质量，实现了一种非平行文本条件下的高质量的多对多语音转换方法。
Description
技术领域
本发明涉及一种多对多说话人转换方法，特别是涉及一种基于SE-ResNetSTARGAN的多对多说话人转换方法。
背景技术
语音转换是语音信号处理领域的重要研究分支，是在语音分析、合成和说话人识别的研究基础上发展与延伸的。语音转换的目标是改变源说话人的语音个性特征，使之具有目标说话人的语音个性特征，也就是使一个人说的语音经过转换后听起来像是另一个人说的语音，同时保留语义。
根据训练语料情形的不同，语音转换可以分为平行文本和非平行文本条件下的语音转换，在实际应用中，很难获取大量的平行训练语料，尤其是跨语种和医疗辅助患者领域，因此，无论从语音转换系统的通用性还是实用性来考虑，非平行语料条件下语音转换方法的研究具有极大的实际意义和应用价值。现有的非平行文本条件下的语音转换方法有基于循环一致对抗网络(Cycle-Consistent Adversarial Networks，Cycle-GAN)的方法、基于条件变分自编码器(Conditional Variational Auto-Encoder，C-VAE)的方法等。基于C-VAE模型的语音转换方法，直接利用说话人的身份标签建立语音转换系统，其中编码器对语音实现语义和个性信息的分离，解码器通过语义和说话人身份标签来实现语音的重构，从而可以解除对平行文本的依赖。但是由于C-VAE基于改进的理想假设，认为观察到的数据通常遵循高斯分布，导致解码器的输出语音过度平滑，转换后的语音质量不高。基于Cycle-GAN模型的语音转换方法利用对抗性损失和循环一致损失，同时学习声学特征的正映射和逆映射，可以有效缓解过平滑问题，改善转换语音质量，但是Cycle-GAN只能实现一对一的语音转换。
基于星型生成对抗网络(Star Generative Adversarial Network，STARGAN)模型的语音转换方法同时具有C-VAE和Cycle-GAN的优点，由于该方法的生成器具有编解码结构，可以同时学习多对多映射，生成器输出的属性由说话人身份标签控制，因此可以实现非平行文本条件下多对多的语音转换，但是此方法由于生成器中的编码网络与解码网络之间相互独立，直接通过生成器的编码网络无法较好地实现语义特征与说话人个性化特征的分离，同时生成器的解码网络也无法较好地实现语义特征与说话人个性特征的合成，因此在网络传输中容易丢失频谱深层的语义特征与说话人个性特征，造成信息的损失与噪声的生成，导致整个生成器缺乏对深层特征的提取能力。针对这种情况，需要一种能够很好地解决在训练过程中的网络退化问题，降低编码网络对于语义的学习难度，并且实现模型对频谱深层的语义特征与个性特征的学习功能，从而提高解码网络的频谱生成质量的转换方法，因此转换后的语音在语音质量和个性相似度上仍有待提升。
在图像领域中，残差网络(Residual Network，ResNet)的出现有效解决了深层卷积网络训练过程中网络退化的问题，ResNet结构的核心是通过建立前面层与后面层之间的“短路连接”，有助于提升训练过程中梯度的反向传播，解决梯度消失的问题，提高模型的训练效率。由于语音转换与图像领域的风格转换之间存在共性，即都是保留原有的内容特征而改变风格特征。鉴于此，本发明提出基于SE-ResNet STARGAN的语音方法，目的是能够有效解决训练过程中存在的网络退化问题，较好地提升模型对语音频谱的语义的学习能力以及语音频谱的合成能力，从而改善转换合成语音的质量和说话人个性相似度。
发明内容
发明目的：本发明要解决的技术问题是提供一种基于SE-ResNet STARGAN的多对多说话人转换方法，进一步增强网络的表征能力，解决现有的方法在训练过程中的网络退化问题，降低编码网络对于语义特征的学习难度，实现模型对频谱深层特征的学习功能，提高解码网络的频谱生成质量，更加充分学习语义特征和说话人的个性化特征，从而较好地改善转换后语音的个性相似度和语音质量。
技术方案：本发明所述的基于SE-ResNet STARGAN的多对多说话人转换方法，包括训练阶段和转换阶段，所述训练阶段包括以下步骤：
(1.1)获取训练语料，训练语料由多名说话人的语料组成，包含源说话人和目标说话人；
(1.2)将所述的训练语料通过WORLD语音分析/合成模型，提取出各说话人语句的频谱特征x、非周期特征和基频特征；
(1.3)将源说话人的频谱特征xs、目标说话人的频谱特征xt、源说话人标签cs和目标说话人标签ct，输入到SE-ResNet STARGAN网络进行训练，所述的SE-ResNetSTARGAN网络由生成器G、鉴别器D和分类器C组成，所述的生成器G由编码网络、解码网络以及若干层SE-ResNet层构成，其中编码网络和解码网络采用二维卷积神经网络，在编码网络与解码网络之间搭建若干层SE-ResNet，编码网络每层的输出经过一个SE-Net，将上一层的输出与经过SE-Net重标定的输出进行拼接；
(1.4)训练过程使生成器G的损失函数、鉴别器D的损失函数、分类器C的损失函数尽量小，直至设置的迭代次数，得到训练好的SE-ResNet STARGAN网络；
(1.5)构建从源说话人的语音基频到目标说话人的语音基频的基频转换函数；
所述转换阶段包括以下步骤：
(2.1)将待转换语料中源说话人的语音通过WORLD语音分析/合成模型提取出频谱特征xs′、非周期性特征和基频；
(2.2)将上述源说话人频谱特征xs、目标说话人标签特征ct′输入(1.4)中训练好的SE-ResNet STARGAN网络，重构出目标说话人频谱特征xtc′；
(2.3)通过(1.5)得到的基频转换函数，将(2.1)中提取出的源说话人基频转换为目标说话人的基频；
(2.4)将(2.2)中得到的重构目标说话人频谱特征xtc′、(2.3)中得到的目标说话人的基频和(2.1)中提取的非周期性特征通过WORLD语音分析/合成模型，合成得到转换后的说话人语音。
进一步的，所述的生成器G的编码网络包括5个卷积层，生成器G的解码网络包括5个反卷积层，在所述编码网络和解码网络之间还有6层SE-ResNet连接的卷积网络，每层卷积网络的输出经过全局池化层，沿着空间维度进行特征压缩，将每个二维的特征通道变成一个具有全局感受野的实数，然后通过Sigmoid激活函数的门控，获得0～1之间归一化的权重，以表征每个通道的重要程度，通过Scale操作将归一化后的权重加权到每个通道的特征上，从而完成在通道维度上对原始特征的重标定，最后将经过重标定的输出与上一层的输出进行拼接。
进一步的，所述的生成器G的编码网络的5个卷积层的过滤器大小分别为3*9、4*8、4*8、3*5、9*5，步长分别为1*1、2*2、2*2、1*1、9*1，过滤器深度分别为32、64、128、64、5；生成器G的解码网络的5个反卷积层的过滤器大小分别为9*5、3*5、4*8、4*8、3*9，步长分别为9*1、1*1、2*2、2*2、1*1，过滤器深度分别为64、128、64、32、1；所述的鉴别器D包括5个卷积层，5个卷积层的过滤器大小分别为3*9、3*8、3*8、3*6、36*5，步长分别为1*1、1*2、1*2、1*2、36*1，过滤器深度分别为32、32、32、32、1；所述的分类器C包括5个卷积层，5个卷积层的过滤器大小分别为4*4、4*4、4*4、3*4、1*4，步长分别为2*2、2*2、2*2、1*2、1*2，过滤器深度分别为8、16、32、16、4。
进一步的，步骤(1.3)和(1.4)中的训练过程包括以下步骤：
(1)将源说话人的频谱特征xs输入生成器G的编码网络，得到说话人无关的语义特征G(xs)；
(2)将上述得到的语义特征G(xs)与目标说话人的标签特征ct一同输入到生成器G的解码网络进行训练，在训练过程中最小化生成器G的损失函数，从而得到重构目标说话人的频谱特征xtc；
(3)将上述得到的重构目标说话人的频谱特征xtc，再次输入到生成器G的编码网络，得到说话人无关的语义特征G(xtc)；
(4)将上述得到的语义特征G(xtc)与源说话人标签特征cs输入到生成器G的解码网络进行训练，在训练过程中最小化生成器G的损失函数，得到重构源说话人的频谱特征xsc；
(5)将重构目标说话人的频谱特征xtc、目标说话人频谱特征xt以及目标说话人的标签特征ct一同输入到鉴别器D中进行训练，最小化鉴别器D的损失函数；
(6)将重构目标说话人的频谱特征xtc和目标说话人的频谱特征xt输入分类器C进行训练，最小化分类器C的损失函数；
(7)回到步骤(1)重复上述步骤，直至达到迭代次数，从而得到训练好的SE-ResNetSTARGAN网络。
进一步的，步骤(2.2)中的输入过程包括以下步骤：
(1)将源说话人的频谱特征xs′输入生成器G的编码网络，得到说话人无关的语义特征G(xs′)；
(2)将上述得到的语义特征G(xs′)与目标说话人的标签特征ct′一同输入到生成器G的解码网络，得到重构目标说话人的频谱特征xtc′。
本发明所述的计算机存储介质，其上存储有计算机程序，所述计算机程序在被计算机处理器执行时实现上述的方法。
有益效果：本方法能够使用STARGAN与SE-ResNet相结合来实现非平行文本条件下的多对多说话人语音转换，主要通过在生成器的编码网络和解码网络之间搭建SE-ResNet，通过引入注意力思想和门控机制对卷积网络的输出进行通道特征重调，即卷积网络的输出通过全局池化，沿着空间维度进行特征压缩，将每个二维的特征通道变成一个具有全局感受野的实数。通过Sigmoid激活函数的门控，获得0～1之间归一化的权重，以表征每个通道的重要程度。最后通过Scale操作将归一化后的权重加权到每个通道的特征上，从而完成在通道维度上对原始特征的重标定。通过有选择性地强化有用特征同时抑制无用特征，进一步增强模型的表征能力，能够充分学习源说话人与目标说话人的语音特征和个性化特征，并且提升生成器的编码网络对语义的提取能力。同时利用生成器编码阶段与解码阶段的SE-ResNet网络来克服C-VAE中过平滑的问题与STARGAN网络退化所造成的语音特征丢失问题，改善转换后的语音质量。本方法是对STARGAN网络在语音转换应用中的进一步改进。
本方法能够实现非平行文本条件下的语音转换，而且训练过程不需要任何对齐过程，提高了语音转换系统的通用性和实用性，本方法还可以将多个源-目标说话人对的转换系统整合在一个转换模型中，即实现多说话人对多说话人转换，在跨语种语音转换、电影配音、语音翻译等领域有较好的应用前景。
附图说明
图1是本方法SE-ResNet STARGAN的原理示意图；
图2是本方法的模型SE-ResNet STARGAN的生成器的网络结构图；
图3是本方法的模型SE-ResNet STARGAN的SE-ResNet原理示意图；
图4是同性转换情形下本方法的SE-ResNet STARGAN模型与基准STARGAN模型合成语音的语谱对比图；
图5是异性转换情形下本方法的SE-ResNet STARGAN模型与基准STARGAN模型合成语音的语谱对比图；
图6是同性转换情形下本方法的SE-ResNet STARGAN模型与基准STARGAN模型合成语音的时域波形对比图；
图7是异性转换情形下本方法的SE-ResNet STARGAN模型与基准STARGAN模型合成语音的时域波形对比图；
图8是本方法的SE-ResNet STARGAN模型与基准STARGAN模型的生成器损失函数的收敛速度对比图。
具体实施方式
在卷积神经网络中，卷积核以特征映射的形式捕获局部空间关系，不同的通道特征以同等重要的权重被进一步使用，使得全局无关的特性通过网络传播，从而影响准确性。本发明为了解决上述问题，在ResNet的基础通过添加SE-Net网络(Squeeze-and-ExcitationNetworks，SE-Net)，搭建SE-ResNet网络，利用不同通道特征之间的独立性进行建模，通过引入注意力思想和门控机制对卷积网络的输出进行通道特征重调，强调有用特征，抑制无用特征，在有效解决网络退化的问题的同时，进一步增强模型的表征能力，从而提高解码网络的频谱生成质量。本发明提出基于SE-ResNet STARGAN的语音方法，在生成器编码和解码阶段搭建SE-ResNet网络，通过全局信息学习每个特征通道的权重，以对特征进行逐通道调整，有选择性地加强有用特征并抑制无用特征，增强模型的表征能力，同时能够有效解决训练过程中存在的网络退化问题，较好地提升模型对语音频谱的语义的学习能力以及语音频谱的合成能力，从而改善转换合成语音的质量和说话人的个性相似度。SE-Net网络分为全局信息嵌入和自适应性重调操作，在全局信息嵌入中，卷积网络的输出通过全局池化，沿着空间维度进行特征压缩，将每个二维的特征通道变成一个具有全局感受野的实数。在自适应重调中，选择带有Sigmoid激活函数的门控，获得0～1之间归一化的权重，用来表征每个通道的重要程度。最后通过一个Scale操作将归一化后的权重加权到每个通道的特征上，从而完成在通道维度上对原始特征的重标定。为了控制模型复杂度和泛化能力，通过一个带有两个非线性全连接层的瓶颈层来参数化门控机制。
如图1所示，本发明的具体实施方法分为两个部分：训练部分用于得到语音转换所需的特征参数和转换函数，而转换部分用于实现源说话人语音转换为目标说话人语音。
训练阶段实施步骤为：
1.1)本发明构建的非平行语音转换系统使用VCC2018提供的非平行语料库，训练集中包含源说话人和目标说话人，其中4名男性和4名女性，每个说话人有81句训练语料。
1.2)训练语料通过WORLD语音分析/合成模型提取出各说话人语句的频谱包络特征、非周期性特征、对数基频logf0，得到的频谱包络特征和非周期性特征均为513维，再从频谱包络特征中提取36维的梅尔倒谱系数(MCEP)特征x，一次训练时取8个语音块，每一个语音块的帧数为512。因此，训练语料的维度为8*36*512。
1.3)本实施例中的STARGAN网络以Cycle-GAN模型为基础，通过改善GAN的结构，以及结合分类器，来提升Cycle-GAN效果。STARGAN由三部分组成：一个产生真实的频谱的生成器G，一个判断输入是真实频谱特征还是生成频谱特征的鉴别器D，以及一个判别生成频谱特征的标签是否属于ct的分类器C。生成器G的结构如图2所示。
STARGAN网络的目标函数为：
其中，IG(G)为生成器的损失函数：
其中，λcls＞＝0、λcyc＞＝0和λid＞＝0是正则化参数，分别表示分类损失、循环一致性损失和特征映射损失的权重。
Lcyc(G)、Lid(G)分别表示生成器的对抗损失、分类器优化生成器的分类损失、循环一致损失、特征映射损失。
鉴别器的损失函数为：
其中，
表示鉴别器的对抗损失，即鉴别器判别生成目标频谱特征特征和真实频谱特征的目标损失函数，D(xt,ct)分别表示鉴别器D判别真实目标频谱特征。G(xs,ct)表示生成器G生成的目标说话人频谱特征，D(G(xs,ct),ct)表示鉴别器判别生成的频谱特征，
表示生成器G生成的概率分布的期望，
表示真实概率分布的期望；
分类器二维卷积神经网络的损失函数为：
其中，pC(ct|xt)表示分类器判别目标说话人特征为标签ct的真实频谱特征的概率。
1.4)将1.2)中提取的源说话人频谱特征xs与目标说话人标签特征ct作为联合特征(xs,ct)输入生成器进行训练。训练生成器，使生成器的损失函数LG尽量小，得到生成目标说话人频谱特征xtc。
生成器由编码网络、解码网络以及SE-ResNet层构成。编码网络包括5个卷积层，5个卷积层的过滤器大小分别为3*9、4*8、4*8、3*5、9*5，步长分别为1*1、2*2、2*2、1*1、9*1，过滤器深度分别为32、64、128、64、5。解码网络包括5个反卷积层，5个反卷积层的过滤器大小分别为9*5、3*5、4*8、4*8、3*9，步长分别为9*1、1*1、2*2、2*2、1*1，过滤器深度分别为64、128、64、32、1，在编码网络与解码网络之间建立若干层SE-ResNet层，编码网络每层的输出经过一个SE-Net，将上一层的输出与经过SE-Net重标定的输出进行拼接。
本实施例SE-ResNet层优选为6层。SE-ResNet的原理如图3所示，每层卷积网络的输出经过全局池化层，沿着空间维度进行特征压缩，将每个二维的特征通道变成一个具有全局感受野的实数，然后通过Sigmoid激活函数的门控，获得0～1之间归一化的权重，以表征每个通道的重要程度，通过Scale操作将归一化后的权重加权到每个通道的特征上，从而完成在通道维度上对原始特征的重标定，最后将经过重标定的输出与上一层的输出进行拼接。
1.5)将1.4)得到的生成目标说话人频谱特征xtc和1.2)得到的训练语料的目标说话人频谱特征xt以及目标说话人标签ct，一同作为鉴别器的输入，训练鉴别器，使鉴别器的损失函数
尽可能小。
鉴别器采用二维卷积神经网络，包括5个卷积层，5个卷积层的过滤器大小分别为3*9、3*8、3*8、3*6、36*5，步长分别为1*1、1*2、1*2、1*2、36*1，过滤器深度分别为32、32、32、32、1。
鉴别器的损失函数为：
优化目标为：
1.6)将上述得到的目标说话人的频谱特征xtc，再次输入到生成器G的编码网络，得到说话人无关的语义特征G(xtc)，将上述得到的语义特征G(xtc)与源说话人标签特征cs输入到生成器G的解码网络进行训练，在训练过程中最小化生成器G的损失函数，得到重构源说话人的频谱特征xsc。在训练过程中最小化生成器的损失函数，包括生成器的对抗损失、循环一致损失、特征映射损失以及生成器的分类损失。其中，训练循环一致损失是为了使源说话人频谱特征xs在经过生成器G后，所重构的源说话人频谱特征xsc可以和xs尽可能保持一致。训练特征映射损失，是为了保证xs在经过生成器G后说话人标签仍是cs、分类损失指分类器判别生成器所生成的目标说话人频谱特征xtc属于标签ct的概率损失。
生成器的损失函数为：
优化目标为：
其中，λcls＞＝0、λcyc＞＝0和λid＞＝0是正则化参数，分别表示分类损失、循环一致性损失和特征映射损失的权重。
其中，
表示生成器生成的概率分布的期望，G(xs,ct)表示生成器生成频谱特征，
和鉴别器的损失
构成SE-ResNet STARGAN中对抗损失，用来判别输入鉴别器的频谱特征是真实频谱特征还是生成频谱特征，在训练过程中
尽可能小，生成器不断优化，直至生成能够以假乱真的频谱特征G(xs,ct)，使得鉴别器难以判别真假。
其中，pC(ct|G(xs,ct))表示分类器判别生成目标说话人频谱标签属于ct的概率，G(xs,ct)表示生成器生成的目标说话人频谱特征。在训练过程中，
尽可能小，使得生成器G生成的频谱G(xs,ct)能够被分类器正确分类为标签ct。
Lcyc(G)和Lid(G)借鉴Cycle-GAN模型中生成器的损失，Lcyc(G)为生成器G中循环一致损失：
其中，G(G(xs,ct),cs)为重构的源说话人频谱特征，
为重构源说话人频谱特征和真实源说话人频谱特征的损失期望。在训练生成器的损失中，Lcyc(G)尽可能小，使生成目标频谱特征G(xs,ct)、源说话人标签cs再次输入到生成器后，得到的重构源说话人频谱特征尽可能和xs相似。通过训练Lcyc(G)，可以有效保证说话人语音的语义特征，在经过生成器的编码以后不被损失。
Lid(G)为生成器G的特征映射损失：
其中，G(xs,cs)为源说话人频谱特征、说话人标签，输入到生成器后得到的源说话人频谱特征,
为xs和G(xs,cs)的损失期望。训练Lid(G)，可以有效保证输入频谱特征的标签cs在输入生成器后仍保持不变。
1.7)将上述生成的目标说话人频谱特征xtc和目标说话人的频谱特征xt输入分类器进行训练，最小化分类器的损失函数；
分类器采用二维卷积神经网络C，包括5个卷积层，5个卷积层的过滤器大小分别为4*4、4*4、4*4、3*4、1*4，步长分别为2*2、2*2、2*2、1*2、1*2，过滤器深度分别为8、16、32、16、4。
分类器二维卷积神经网络的损失函数为：
优化目标为：
1.8)重复1.4)、1.5)、1.6)和1.7)，直至达到迭代次数，从而得到训练好的SE-ResNetSTARGAN网络，其中生成器参数φ、鉴别器参数θ、分类器参数ψ为训练好的参数。由于神经网络具体设置不同以及实验设备性能不同，选择的迭代次数也各不相同。本实验中选择迭代次数为30000次。
1.9)使用对数基频logf0的均值和均方差建立基音频率转换关系，统计出每个说话人的对数基频的均值和均方差，利用对数域线性变换将源说话人对数基频logf0s转换得到目标说话人对数基频logf0t′。
基频转换函数为：
其中，μs和σs分别为源说话人的基频在对数域的均值和均方差，μt和σt分别为目标说话人的基频在对数域的均值和均方差。
转换阶段实施步骤为：
2.1)将源说话人语音通过WORLD语音分析/合成模型，提取源说话人的不同语句的频谱特征xs′、非周期性特征、基频。其中由于快速傅氏变换(FFT)长度设置为1024，因此得到的频谱特征xs′和非周期性特征均为1024/2+1＝513维。
2.2)将2.1)提取的源说话人语音的频谱特征xs′与目标说话人标签特征ct′作为联合特征(xs′,ct′)输入1.8)训练的SE-ResNet STARGAN网络，从而重构出目标说话人频谱特征xtc′。
2.3)通过1.9)得到的基音频率转换函数，将2.1)中提取出的源说话人基频转换为目标说话人的基频。
2.4)将2.2)中得到的重构目标说话人频谱特征xtc′、2.3)中得到的目标说话人的基频和2.1)提取的非周期性特征通过WORLD语音分析/合成模型合成转换后的说话人语音。
本发明的SE-ResNet STARGAN模型与基准STARGAN模型所合成的语音效果进行语谱图、时域波形以及生成器损失函数收敛速度的对比，同性转换情形下基准方法与本专利提出方法的语谱图对比如图4所示，异性转换情形下如图5所示。由图中分析可知，基于SE-ResNet STARGAN模型转换后合成语音的语谱图相比基准STARGAN模型，更加接近目标语音的语谱图，具有更清晰的细节、更完整的基音和谐波信息；同性转换情形下基准方法与本专利提出方法的时域波形对比如图6所示，异性转换情形下如图7所示。由图中分析可知，基于SE-ResNet STARGAN模型转换后合成语音的时域波形相比基准STARGAN模型更加接近目标语音的波形，噪音更少，波形更加平稳；生成器损失函数收敛速度的对比如图8所示。由图中分析可知，基于SE-ResNet STARGAN的多对多语音转换方法模型转换后合成语音的损失函数相比基准STARGAN模型，训练过程中收敛速度更快且平稳，并且损失值更低。综上进一步说明该模型具有更强的表征能力，能够提升模型对语音频谱的语义的学习能力以及语音频谱的合成能力，有效地改善了合成语音的音质和个性相似度。
本发明实施例如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明实施例的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机、服务器、或者网络设备等)执行本发明各个实施例所述方法的全部或部分。而前述的存储介质包括:U盘、移动硬盘、只读存储器(Read Only Memory,ROM)、磁碟或者光盘等各种可以存储程序代码的介质。这样，本发明实例不限制于任何特定的硬件和软件结合。
相应的，本发明的实施例还提供了一种计算机存储介质，其上存储有计算机程序。当所述计算机程序由处理器执行时，可以实现前述基于SE-ResNet STARGAN的多对多说话人转换方法。例如，该计算机存储介质为计算机可读存储介质。
本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
Claims (6)
1.一种基于SE-ResNet STARGAN的多对多说话人转换方法，其特征在于，包括训练阶段和转换阶段，所述训练阶段包括以下步骤：
(1.1)获取训练语料，训练语料由多名说话人的语料组成，包含源说话人和目标说话人；
(1.2)将所述的训练语料通过WORLD语音分析/合成模型，提取出各说话人语句的频谱特征x、非周期特征和基频特征；
(1.3)将源说话人的频谱特征xs、目标说话人的频谱特征xt、源说话人标签cs和目标说话人标签ct，输入到SE-ResNet STARGAN网络进行训练，所述的SE-ResNet STARGAN网络由生成器G、鉴别器D和分类器C组成，所述的生成器G由编码网络、解码网络以及若干层SE-ResNet层构成，其中编码网络和解码网络采用二维卷积神经网络，在编码网络与解码网络之间搭建若干层SE-ResNet，编码网络每层的输出经过一个SE-Net，将上一层的输出与经过SE-Net重标定的输出进行拼接；
(1.4)训练过程使生成器G的损失函数、鉴别器D的损失函数、分类器C的损失函数尽量小，直至设置的迭代次数，得到训练好的SE-ResNet STARGAN网络；
(1.5)构建从源说话人的语音基频到目标说话人的语音基频的基频转换函数；
所述转换阶段包括以下步骤：
(2.1)将待转换语料中源说话人的语音通过WORLD语音分析/合成模型提取出频谱特征xs′、非周期性特征和基频；
(2.2)将上述源说话人频谱特征xs′、目标说话人标签特征ct′输入(1.4)中训练好′的SE-ResNet STARGAN网络，重构出目标说话人频谱特征xtc；
(2.3)通过(1.5)得到的基频转换函数，将(2.1)中提取出的源说话人基频转换为目标说话人的基频；
(2.4)将(2.2)中得到的重构目标说话人频谱特征xtc′、(2.3)中得到的目标说话人的基频和(2.1)中提取的非周期性特征通过WORLD语音分析/合成模型，合成得到转换后的说话人语音。
2.根据权利要求1所述的基于SE-ResNet STARGAN的多对多说话人转换方法，其特征在于：所述的生成器G的编码网络包括5个卷积层，生成器G的解码网络包括5个反卷积层，在所述编码网络和解码网络之间还有6层SE-ResNet连接的卷积网络，每层卷积网络的输出经过全局池化层，沿着空间维度进行特征压缩，将每个二维的特征通道变成一个具有全局感受野的实数，然后通过Sigmoid激活函数的门控，获得0～1之间归一化的权重，以表征每个通道的重要程度，通过Scale操作将归一化后的权重加权到每个通道的特征上，从而完成在通道维度上对原始特征的重标定，最后将经过重标定的输出与上一层的输出进行拼接。
3.根据权利要求2所述的基于SE-ResNet STARGAN的多对多说话人转换方法，其特征在于：所述的生成器G的编码网络的5个卷积层的过滤器大小分别为3*9、4*8、4*8、3*5、9*5，步长分别为1*1、2*2、2*2、1*1、9*1，过滤器深度分别为32、64、128、64、5；生成器G的解码网络的5个反卷积层的过滤器大小分别为9*5、3*5、4*8、4*8、3*9，步长分别为9*1、1*1、2*2、2*2、1*1，过滤器深度分别为64、128、64、32、1；所述的鉴别器D包括5个卷积层，5个卷积层的过滤器大小分别为3*9、3*8、3*8、3*6、36*5，步长分别为1*1、1*2、1*2、1*2、36*1，过滤器深度分别为32、32、32、32、1；所述的分类器C包括5个卷积层，5个卷积层的过滤器大小分别为4*4、4*4、4*4、3*4、1*4，步长分别为2*2、2*2、2*2、1*2、1*2，过滤器深度分别为8、16、32、16、4。
4.根据权利要求1所述的基于SE-ResNet STARGAN的多对多说话人转换方法，其特征在于，步骤(1.3)和(1.4)中的训练过程包括以下步骤：
(1)将源说话人的频谱特征xs输入生成器G的编码网络，得到说话人无关的语义特征G(xs)；
(2)将上述得到的语义特征G(xs)与目标说话人的标签特征ct一同输入到生成器G的解码网络进行训练，在训练过程中最小化生成器G的损失函数，从而得到重构目标说话人的频谱特征xtc；
(3)将上述得到的重构目标说话人的频谱特征xtc，再次输入到生成器G的编码网络，得到说话人无关的语义特征G(xtc)；
(4)将上述得到的语义特征G(xtc)与源说话人标签特征cs输入到生成器G的解码网络进行训练，在训练过程中最小化生成器G的损失函数，得到重构源说话人的频谱特征xsc；
(5)将重构目标说话人的频谱特征xtc、目标说话人频谱特征xt以及目标说话人的标签特征ct一同输入到鉴别器D中进行训练，最小化鉴别器D的损失函数；
(6)将重构目标说话人的频谱特征xtc和目标说话人的频谱特征xt输入分类器C进行训练，最小化分类器C的损失函数；
(7)回到步骤(1)重复上述步骤，直至达到迭代次数，从而得到训练好的SE-ResNetSTARGAN网络。
5.根据权利要求1所述的基于SE-ResNet STARGAN的多对多说话人转换方法，其特征在于，步骤(2.2)中的输入过程包括以下步骤：
(1)将源说话人的频谱特征xs′输入生成器G的编码网络，得到说话人无关的语义特征G(xs′)；
(2)将上述得到的语义特征G(xs′)与目标说话人的标签特征ct′一同输入到生成器G的解码网络，得到重构目标说话人的频谱特征xtc′。
6.一种计算机存储介质，其上存储有计算机程序，其特征在于：所述计算机程序在被计算机处理器执行时实现权利要求1至5任一项所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010168943.0A CN111429894A (zh) | 2020-03-12 | 2020-03-12 | 基于SE-ResNet STARGAN的多对多说话人转换方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010168943.0A CN111429894A (zh) | 2020-03-12 | 2020-03-12 | 基于SE-ResNet STARGAN的多对多说话人转换方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN111429894A true CN111429894A (zh) | 2020-07-17 |
Family
ID=71547703
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010168943.0A Pending CN111429894A (zh) | 2020-03-12 | 2020-03-12 | 基于SE-ResNet STARGAN的多对多说话人转换方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111429894A (zh) |
Cited By (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111933110A (zh) * | 2020-08-12 | 2020-11-13 | 北京字节跳动网络技术有限公司 | 视频生成方法、生成模型训练方法、装置、介质及设备 |
| CN112259086A (zh) * | 2020-10-15 | 2021-01-22 | 杭州电子科技大学 | 一种基于语谱图合成的语音转换方法 |
| CN112382308A (zh) * | 2020-11-02 | 2021-02-19 | 天津大学 | 基于深度学习与简单声学特征的零次语音转换系统和方法 |
| CN112863529A (zh) * | 2020-12-31 | 2021-05-28 | 平安科技（深圳）有限公司 | 基于对抗学习的说话人语音转换方法及相关设备 |
| CN113053395A (zh) * | 2021-03-05 | 2021-06-29 | 深圳市声希科技有限公司 | 发音纠错学习方法、装置、存储介质及电子设备 |
| CN113257240A (zh) * | 2020-10-30 | 2021-08-13 | 国网天津市电力公司 | 一种基于对抗训练的端到端的语音识别方法 |
| CN113380264A (zh) * | 2021-05-21 | 2021-09-10 | 杭州电子科技大学 | 一种用于非对称语料的语音转换方法 |
| CN113744753A (zh) * | 2021-08-11 | 2021-12-03 | 清华大学苏州汽车研究院（相城） | 一种多人语音分离方法及语音分离模型的训练方法 |
| CN115240638A (zh) * | 2022-07-26 | 2022-10-25 | 北京小米移动软件有限公司 | 音频生成方法、装置、存储介质及芯片 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108427920A (zh) * | 2018-02-26 | 2018-08-21 | 杭州电子科技大学 | 一种基于深度学习的边海防目标检测方法 |
| CN109360206A (zh) * | 2018-09-08 | 2019-02-19 | 华中农业大学 | 基于深度学习的大田稻穗分割方法 |
| CN109525292A (zh) * | 2018-12-24 | 2019-03-26 | 东南大学 | 一种采用比特级优化网络的信道信息压缩反馈方法 |
| CN110009614A (zh) * | 2019-03-29 | 2019-07-12 | 北京百度网讯科技有限公司 | 用于输出信息的方法和装置 |
| CN110060690A (zh) * | 2019-04-04 | 2019-07-26 | 南京邮电大学 | 基于STARGAN和ResNet的多对多说话人转换方法 |
-
2020
- 2020-03-12 CN CN202010168943.0A patent/CN111429894A/zh active Pending
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108427920A (zh) * | 2018-02-26 | 2018-08-21 | 杭州电子科技大学 | 一种基于深度学习的边海防目标检测方法 |
| CN109360206A (zh) * | 2018-09-08 | 2019-02-19 | 华中农业大学 | 基于深度学习的大田稻穗分割方法 |
| CN109525292A (zh) * | 2018-12-24 | 2019-03-26 | 东南大学 | 一种采用比特级优化网络的信道信息压缩反馈方法 |
| CN110009614A (zh) * | 2019-03-29 | 2019-07-12 | 北京百度网讯科技有限公司 | 用于输出信息的方法和装置 |
| CN110060690A (zh) * | 2019-04-04 | 2019-07-26 | 南京邮电大学 | 基于STARGAN和ResNet的多对多说话人转换方法 |
Non-Patent Citations (1)
| Title |
|---|
| HU J 等: "Squeeze-and-excitation networks" * |
Cited By (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111933110A (zh) * | 2020-08-12 | 2020-11-13 | 北京字节跳动网络技术有限公司 | 视频生成方法、生成模型训练方法、装置、介质及设备 |
| CN112259086A (zh) * | 2020-10-15 | 2021-01-22 | 杭州电子科技大学 | 一种基于语谱图合成的语音转换方法 |
| CN113257240A (zh) * | 2020-10-30 | 2021-08-13 | 国网天津市电力公司 | 一种基于对抗训练的端到端的语音识别方法 |
| CN112382308A (zh) * | 2020-11-02 | 2021-02-19 | 天津大学 | 基于深度学习与简单声学特征的零次语音转换系统和方法 |
| CN112863529A (zh) * | 2020-12-31 | 2021-05-28 | 平安科技（深圳）有限公司 | 基于对抗学习的说话人语音转换方法及相关设备 |
| CN112863529B (zh) * | 2020-12-31 | 2023-09-22 | 平安科技（深圳）有限公司 | 基于对抗学习的说话人语音转换方法及相关设备 |
| CN113053395A (zh) * | 2021-03-05 | 2021-06-29 | 深圳市声希科技有限公司 | 发音纠错学习方法、装置、存储介质及电子设备 |
| CN113053395B (zh) * | 2021-03-05 | 2023-11-17 | 深圳市声希科技有限公司 | 发音纠错学习方法、装置、存储介质及电子设备 |
| CN113380264A (zh) * | 2021-05-21 | 2021-09-10 | 杭州电子科技大学 | 一种用于非对称语料的语音转换方法 |
| CN113744753A (zh) * | 2021-08-11 | 2021-12-03 | 清华大学苏州汽车研究院（相城） | 一种多人语音分离方法及语音分离模型的训练方法 |
| CN113744753B (zh) * | 2021-08-11 | 2023-09-08 | 清华大学苏州汽车研究院（相城） | 一种多人语音分离方法及语音分离模型的训练方法 |
| CN115240638A (zh) * | 2022-07-26 | 2022-10-25 | 北京小米移动软件有限公司 | 音频生成方法、装置、存储介质及芯片 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109671442B (zh) | 基于STARGAN和x向量的多对多说话人转换方法 | |
| CN111429894A (zh) | 基于SE-ResNet STARGAN的多对多说话人转换方法 | |
| CN110060690B (zh) | 基于STARGAN和ResNet的多对多说话人转换方法 | |
| CN111816156B (zh) | 基于说话人风格特征建模的多对多语音转换方法及系统 | |
| CN110600047B (zh) | 基于Perceptual STARGAN的多对多说话人转换方法 | |
| CN109599091B (zh) | 基于STARWGAN-GP和x向量的多对多说话人转换方法 | |
| Gao et al. | Nonparallel emotional speech conversion | |
| CN111462768B (zh) | 基于共享训练的多尺度StarGAN的语音转换方法 | |
| CN111785261A (zh) | 基于解纠缠和解释性表征的跨语种语音转换方法及系统 | |
| CN111833855B (zh) | 基于DenseNet STARGAN的多对多说话人转换方法 | |
| CN111429893A (zh) | 基于Transitive STARGAN的多对多说话人转换方法 | |
| CN110060657B (zh) | 基于sn的多对多说话人转换方法 | |
| CN112634920A (zh) | 基于域分离的语音转换模型的训练方法及装置 | |
| Chen et al. | A deep generative architecture for postfiltering in statistical parametric speech synthesis | |
| CN110136686A (zh) | 基于STARGAN与i向量的多对多说话人转换方法 | |
| CN110600046A (zh) | 基于改进的STARGAN和x向量的多对多说话人转换方法 | |
| CN116994553A (zh) | 语音合成模型的训练方法、语音合成方法、装置及设备 | |
| CN113744715A (zh) | 声码器语音合成方法、装置、计算机设备及存储介质 | |
| Wang et al. | Improved relativistic cycle-consistent gan with dilated residual network and multi-attention for speech enhancement | |
| CN113643687A (zh) | 融合DSNet与EDSR网络的非平行多对多语音转换方法 | |
| CN113593588A (zh) | 一种基于生成对抗网络的多唱歌人歌声合成方法和系统 | |
| CN112687262A (zh) | 语音转换方法、装置、电子设备及计算机可读存储介质 | |
| CN115966197A (zh) | 语音合成方法、装置、电子设备和存储介质 | |
| Gu et al. | Voice conversion using learnable similarity-guided masked autoencoder | |
| CN117649839B (zh) | 一种基于低秩适应的个性化语音合成方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| CB02 | Change of applicant information |
Address after: 210003 Gulou District, Jiangsu, Nanjing new model road, No. 66 Applicant after: NANJING University OF POSTS AND TELECOMMUNICATIONS Address before: Yuen Road Qixia District of Nanjing City, Jiangsu Province, No. 9 210003 Applicant before: NANJING University OF POSTS AND TELECOMMUNICATIONS |
|
| CB02 | Change of applicant information | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20200717 |
|
| RJ01 | Rejection of invention patent application after publication |