CN113223542A - 音频的转换方法、装置、存储介质及电子设备 - Google Patents
音频的转换方法、装置、存储介质及电子设备 Download PDFInfo
- Publication number
- CN113223542A CN113223542A CN202110456269.0A CN202110456269A CN113223542A CN 113223542 A CN113223542 A CN 113223542A CN 202110456269 A CN202110456269 A CN 202110456269A CN 113223542 A CN113223542 A CN 113223542A
- Authority
- CN
- China
- Prior art keywords
- audio
- dialect
- feature
- hidden layer
- recognition
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000006243 chemical reaction Methods 0.000 title claims abstract description 185
- 238000000034 method Methods 0.000 title claims abstract description 55
- 238000012549 training Methods 0.000 claims description 125
- 238000000605 extraction Methods 0.000 claims description 33
- 238000004590 computer program Methods 0.000 claims description 9
- 230000002194 synthesizing effect Effects 0.000 claims description 8
- 238000012545 processing Methods 0.000 abstract description 36
- 238000010586 diagram Methods 0.000 description 22
- 230000008569 process Effects 0.000 description 14
- 241001672694 Citrus reticulata Species 0.000 description 13
- 238000005516 engineering process Methods 0.000 description 12
- 238000004891 communication Methods 0.000 description 10
- 230000015572 biosynthetic process Effects 0.000 description 9
- 238000003786 synthesis reaction Methods 0.000 description 9
- 230000000694 effects Effects 0.000 description 7
- 230000008859 change Effects 0.000 description 6
- 238000013507 mapping Methods 0.000 description 6
- 230000005236 sound signal Effects 0.000 description 6
- 230000003044 adaptive effect Effects 0.000 description 5
- 238000013528 artificial neural network Methods 0.000 description 5
- 230000009471 action Effects 0.000 description 4
- 230000006870 function Effects 0.000 description 4
- 230000004927 fusion Effects 0.000 description 4
- 230000003287 optical effect Effects 0.000 description 4
- 238000011176 pooling Methods 0.000 description 4
- 238000001228 spectrum Methods 0.000 description 4
- 239000000284 extract Substances 0.000 description 3
- 238000003062 neural network model Methods 0.000 description 3
- 230000001133 acceleration Effects 0.000 description 2
- 230000008901 benefit Effects 0.000 description 2
- 230000007274 generation of a signal involved in cell-cell signaling Effects 0.000 description 2
- 230000003993 interaction Effects 0.000 description 2
- 238000007726 management method Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000009466 transformation Effects 0.000 description 2
- 230000004075 alteration Effects 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 238000009432 framing Methods 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 230000000737 periodic effect Effects 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 230000002085 persistent effect Effects 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 230000001052 transient effect Effects 0.000 description 1
- 230000007704 transition Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
- G10L21/003—Changing voice quality, e.g. pitch or formants
- G10L21/007—Changing voice quality, e.g. pitch or formants characterised by the process used
- G10L21/013—Adapting to target pitch
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
- G10L21/003—Changing voice quality, e.g. pitch or formants
- G10L21/007—Changing voice quality, e.g. pitch or formants characterised by the process used
- G10L21/013—Adapting to target pitch
- G10L2021/0135—Voice conversion or morphing
Landscapes
- Engineering & Computer Science (AREA)
- Quality & Reliability (AREA)
- Computational Linguistics (AREA)
- Signal Processing (AREA)
- Health & Medical Sciences (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- Acoustics & Sound (AREA)
- Multimedia (AREA)
- Machine Translation (AREA)
Abstract
本发明实施例提供了一种音频的转换方法、装置、存储介质以及电子设备，其中，所述方法包括：通过获取源说话人的初始音频，首先对初始音频进行特征识别，获得初始音频对应的语音识别特征以及音频隐层特征，接着将所提取的语音识别特征与音频隐层特征输入音频转换模型进行音色转换与方言口音处理，获得目标方言说话人的目标方言声学特征，然后可以根据目标方言声学特征生成对应的目标音频，通过音频转换模型语音识别特征与音频隐层特征进行处理，实现将任意说话人的音频转换为目标方言说话人的音频，不仅可以实现音色的转换，还可以在所转换的音频中携带目标方言口音，有效提高了音频的变声效果。
Description
技术领域
本发明涉及语音信号处理技术领域，特别是涉及一种音频的转换方法、装置、可读存储介质以及电子设备。
背景技术
目前，随着语音合成技术的发展，如何使合成语音自然化、多样化、个性化成为当前语音技术研究的热点，而变声技术则是让合成语音多样化、个性化的途径之一。变声技术主要是指保留语音信号的语义内容，但改变说话人声音特性的技术，使某人的声音听起来像另一个人的声音，比如男声、女声之间的转换，不同年龄层次之间的转换等；另一种是特定人之间的语音转换，比如将说话人A的声音转换为说话人B的声音。
传统变声实现任意源说话人到目标发音人的音色转换的处理方法通常是基于语音识别技术，对平行语料使用DTW(Dynamic Time Warping，动态时间归整)或Attention(注意力)机制等方式实现对齐，然后再进行音色转换。这种处理方式在转换模型训练时，需要收集源说话人和目标说话人的平行语料，即内容相同的音频语料，用对齐后的频谱特征训练转换模型；在进行音频转换时，对从源说话人的音频数据中提取的频谱特征通过转换模型进行转换，对基频特征采用线性拉伸处理，非周期成分不做任何变化。然而，在这种变声处理方式中，一方面，若源说话人带有方言口音的情况下，无法实现在音色转换的同时，让转换后的音频携带相应的方言口音，另一方面，变声的方式也仅仅只是实现音色转换，无法让转换后的声音携带相应的方言口音。
发明内容
本发明实施例提供一种音频的转换方法、装置、存储介质以及电子设备，以解决或部分解决相关技术中无法在对任意源说话人的声音进行音频的转换的过程中，让音频的转换后的声音携带相应方言口音的问题。
为了解决上述问题，本发明实施例公开了一种音频的转换方法，包括：
获取源说话人的初始音频；
对所述初始音频进行特征识别，获得所述初始音频对应的第一语音识别特征以及第一音频隐层特征；
将所述第一语音识别特征与所述第一音频隐层特征输入音频转换模型，获得目标方言说话人的目标方言声学特征；
根据所述目标方言声学特征，生成与所述初始音频对应的目标音频。
可选地，所述音频转换模型通过如下方式生成：
获取所述目标方言说话人的音频数据；
根据所述目标方言说话人的音频数据对音色转换模型进行自适应训练，获得音频转换模型。
可选地，所述根据所述目标方言说话人的音频数据对音色转换模型进行自适应训练，获得音频转换模型，包括：
将所述目标方言说话人的音频数据作为第一训练数据，并从所述第一训练数据中提取第二语音识别特征以及第一合成声学特征；
将所述训练数据输入方言识别模型，获得所述训练数据对应的方言隐层特征，以消除训练数据中与方言口音相关的信息；
采用所述方言隐层特征、所述第二语音识别特征以及所述第一合成声学特征对音色转换模型进行自适应训练，获得音频转换模型。
可选地，所述音色转换模型通过如下方式生成：
获取至少不同说话人的音频数据作为第二训练数据，并从所述第二训练数据中提取第三语音识别特征以及第二合成声学特征；
将所述第三语音识别特征输入所述音频识别模型，获得第二音频隐层特征；
采用所述第二合成声学特征以及所述第二音频隐层特征，训练得到音色转换模型。
可选地，所述方言识别模型通过如下方式生成：
采用所述第二语音识别特征以及所述第一合成声学特征对所述音频识别模型进行自适应训练，得到方言识别模型，所述方言识别模型用于识别目标方言说话人的声学特征。
可选地，所述对所述初始音频进行特征识别，获得所述初始音频对应的第一语音识别特征以及第一音频隐层特征，包括：
提取所述初始音频对应的音频特征；
将所述音频特征输入音频识别模型，获得与所述初始音频对应的第一语音识别特征，以及所述音频识别模型隐层输出的第一音频隐层特征。
可选地，所述根据所述目标方言声学特征，生成与所述初始音频对应的目标音频，包括：
采用所述目标方言声学特征生成所述目标方言说话人的语音信号；
对所述语音信号进行合成，获得与所述初始音频对应的目标音频。
本发明实施例还公开了一种音频的转换装置，包括：
获取模块，用于获取源说话人的初始音频；
第一隐层特征提取模块，用于对所述初始音频进行特征提取，获得所述初始音频对应的第一语音识别特征以及第一音频隐层特征；
方言声学特征生成模块，用于将所述第一语音识别特征与所述第一音频隐层特征输入音频转换模型，获得目标方言说话人的目标方言声学特征；
目标音频生成模块，用于根据所述目标方言声学特征，生成与所述初始音频对应的目标音频。
可选地，所述音频转换模型通过如下模块生成：
音频数据获取模块，用于获取所述目标方言说话人的音频数据；
音频转换模型训练模块，用于根据所述目标方言说话人的音频数据对音色转换模型进行自适应训练，获得音频转换模型。
可选地，所述音频转换模型训练模块包括：
特征提取子模块，用于将所述目标方言说话人的音频数据作为第一训练数据，并从所述第一训练数据中提取第二语音识别特征以及第一合成声学特征；
方言隐层特征提取子模块，用于将所述训练数据输入方言识别模型，获得所述训练数据对应的方言隐层特征，以消除训练数据中与方言口音相关的信息；
音频转换模型训练子模块，用于采用所述方言隐层特征、所述第二语音识别特征以及所述第一合成声学特征对音色转换模型进行自适应训练，获得音频转换模型。
可选地，所述音色转换模型通过如下模块生成：
音频数据获取模块，用于获取至少不同说话人的音频数据作为第二训练数据，并从所述第二训练数据中提取第三语音识别特征以及第二合成声学特征；
音频隐层特征提取模块，用于将所述第三语音识别特征输入所述音频识别模型，获得第二音频隐层特征；
音色转换模型训练模块，用于采用所述第二合成声学特征以及所述第二音频隐层特征，训练得到音色转换模型。
可选地，所述方言识别模型通过如下模块生成：
方言识别模型获得模块，用于采用所述第二语音识别特征以及所述第一合成声学特征对所述音频识别模型进行自适应训练，得到方言识别模型，所述方言识别模型用于识别目标方言说话人的声学特征。
可选地，所述第一隐层特征提取模块包括：
音频特征提取子模块，用于提取所述初始音频对应的音频特征；
隐层特征提取子模块将所述音频特征输入音频识别模型，获得与所述初始音频对应的第一语音识别特征，以及所述音频识别模型隐层输出的第一音频隐层特征。
可选地，所述目标音频生成模块包括：
语音信号生成子模块，用于采用所述目标方言声学特征生成所述目标方言说话人的语音信号；
目标音频生成子模块，用于对所述语音信号进行合成，获得与所述初始音频对应的目标音频。
本发明实施例还公开了一种可读存储介质，当所述存储介质中的指令由电子设备的处理器执行时，使得电子设备能够执行如本发明实施例所述的音频的转换方法。
本发明实施例还公开了一种电子设备，包括：处理器、存储器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述计算机程序被所述处理器执行时实现如本发明实施例所述的音频的转换方法的步骤。
本发明实施例包括以下优点：
本发明实施例可以通过获取源说话人的初始音频，首先可以对初始音频进行特征识别，获得初始音频对应的语音识别特征以及音频隐层特征，接着将所提取的语音识别特征与音频隐层特征输入音频转换模型进行音色转换与方言口音处理，获得目标方言说话人的目标方言声学特征，然后可以根据目标方言声学特征生成对应的目标音频，通过音频转换模型语音识别特征与音频隐层特征进行处理，实现将任意说话人的音频转换为目标方言说话人的音频，不仅可以实现音色的转换，还可以在所转换的音频中携带目标方言口音，有效提高了音频的变声效果。
附图说明
图1是本发明实施例中提供的一种音频的转换方法的步骤流程图；
图2是本发明实施例中提供的音频识别模型的示意图；
图3是本发明实施例中提供的音频转换模型的示意图；
图4是本发明实施例中提供的一种音频的转换方法的步骤流程图；
图5是本发明实施例中的识别模型的训练示意图；
图6是本发明实施例中的音频转换模型的训练示意图；
图7是本发明实施例中提供的一种音频的转换装置的结构框图；
图8是本发明实施例中提供的一种用于音频的转换的电子设备的结构框图；
图9是本发明实施例中提供的一种用于音频的转换的电子设备的结构示意图。
具体实施方式
为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本发明作进一步详细的说明。
作为一种示例，相关技术中任意源说话人到目标说话人的变声处理，往往只是针对音色的转换，如从男声、女声之间的转换，不同年龄层次之间的转换以及将说话人A的声音转换为说话人B的声音等等，而无法在对任意源说话人的声音进行音频的转换的过程中，让音频的转换后的声音携带相应方言口音。
对此，本发明实施例的核心构思之一是通过音频识别模型对源说话人的音频进行特征提取，获得对应的语音识别特征以及音频隐层特征。然后将语音识别特征与音频隐层特征作为音频转换模型的输入，其中，音频转换模型可以用于生成目标方言说话人的声学特征。通过将音频隐层特征输入音频转换模型，获得目标方言说话人的目标方言声学特征。然后再根据目标方言声学特征，生成与初始音频对应的目标音频，实现将任意说话人的音频转换为目标方言说话人的音频。本实施例不仅可以实现音色的转换，还可以在所转换的音频中携带目标方言口音，有效提高了音频的变声效果。
参照图1，示出了本发明实施例中提供的一种音频的转换方法的步骤流程图，具体可以包括如下步骤：
步骤101，获取源说话人的初始音频；
在本发明实施例中，初始音频可以为源说话人的一个完整语句所对应的音频。在音频转换的过程中，针对初始音频可以通过不同的模型进行处理以实现音频的转换，包括音频识别模型以及音频转换模型等，其中，音频识别模型可以用于对音频进行语义识别得到对应的识别结果，如识别音频并得到对应的文本信息；音频转换模型可以用于生成目标方言说话人的声学特征。
在实际应用中，音频转换模型可以为根据目标方言说话人的音频数据对音色转换模型进行自适应训练得到。通过音频转换模型可以在实现音色转换的同时，携带目标方言说话人的方言口音。其中，对于音色转换模型，可以通过收集多个说话人的音频数据进行通用变声模型训练，通过音色转换模型可以实现对音频进行音色的转换。例如，男声转女声、不同年龄层次之间的转换等等。对于音频转换模型，可以在该通用变声模型的基础上，利用目标方言说话人少量的音频数据进行自适应训练，得到目标方言说话人对应的音频转换模型。通过音频转换模型可以实现对音频进行音色转换的同时，给所转换的音频携带上目标方言说话人的方言口音。例如，源说话人为男人，初始音频为普通话音频，则经过相应的处理后，可以将普通话音频转换为携带有天津口音的女声普通话音频等。
可选地，声学特征可以包括梅尔频谱(MEL Spectrograms)等特征。
步骤102，对所述初始音频进行特征识别，获得所述初始音频对应的第一语音识别特征以及第一音频隐层特征；
在将源说话人的初始音频转换为目标音频的过程中，可以先根据音频识别模型对初始音频进行特征提取，具体地，针对初始音频的特征提取，可以包括两个部分，先提取初始音频对应的音频特征，接着将该音频特征输入音频识别模型中，利用音频识别模型中的神经网络层输入初始音频对应的第一语音识别特征。同时在该过程中，将音频识别模型中隐层输出的隐层特征作为初始音频对应的第一音频隐层特征，以便音频转换模型对第一语音识别特征与第一音频隐层特征进行后续的处理，实现任意说话人音频转换为目标方言说话人音频，例如，将说话人A的普通话音频转换为说话人B的天津口音音频等。
其中，音频隐层特征可以为音频识别模型隐层的输出，在本发明实施例中，音频识别模型可以采用神经网络模型，该神经网络模型可以包括一个或多个隐层，以及DNN全连接层。相应地，可以通过提取初始音频对应的音频特征，接着将音频特征输入音频识别模型中，获得隐层的输出以及获得DNN的输出。在实际应用中，可以将其中的一个或多个隐层输出作为语音识别的隐层特征。
此外，音频特征可以包括但不限于以下一种或多种：Fbank特征(Filter Banks)、MFCC(Mel-scale Frequent Cepstral Coefficient，梅尔频率倒谱系数)、PLP(PerceptualLinear Predictive，感知线性预测)参数。其中，由于人耳对声音频谱的响应是非线性的，Fbank可以为一种前端处理算法，以类似于人耳的方式对音频进行处理，从而提高语音识别的性能，对于Fbank特征可以通过预加重、分帧、加窗、短时傅里叶变换、Mel滤波以及去均值等过程从初始音频中提取得到；对Fbank特征做离散余弦变换即可得到MFCC特征，MFCC可以为在Mel标度频率域提取出来的倒谱参数，该特征参数可以为全极点模型预测多项式的一组系数，等效于一种LPC(Linear Prediction Coefficient，线性预测系数)特征。可选地，对于音频特征的提取可以采用现有技术，在此不再赘述。
在一种示例中，参照图2，示出了本发明实施例中提供的音频识别模型的示意图，其中，音频识别模型可以包括输入层、与输出层连接的多层LSTM层(Long-Short TermMemory，长短期记忆网络)以及与最后一层LSTM连接的DNN层等等。在对初始音频进行特征处理的过程中，可以通过输入层对初始音频进行向量映射，得到对应的音频特征，接着将音频特征输入LSTM层进行逐层映射，在本实施例中，可以将多层LSTM层作为隐层，从而得到最后一层LSTM层输出的音频隐层特征，以及DNN层输出的语音识别特征。
需要说明的是，在本发明实施例中，对于初始音频的特征提取，并不会用到音频识别模型输出层输出的结果，因此，在附图2所展示的音频识别模型可以为完整音频识别模型的部分结构，本发明对此不作限制。
步骤103，将所述第一语音识别特征与所述第一音频隐层特征输入音频转换模型，获得目标方言说话人的目标方言声学特征；
音频识别模型对初始音频进行特征提取，得到对应的第一语音识别特征以及第一音频隐层特征之后，可以将两者输入音频转换模型，得到目标方言说话人的目标方言声学特征，从而利用音频转换模型，可以将源说话人的初始音频所对应的语音识别特征与音频隐层特征转换成为具有目标方言说话人特点的语音合成声学特征。
在一种示例中，参照图3，示出了本发明实施例中提供的音频转换模型的示意图，其中，音频转换模型可以包括第一输入层与第二输入层，与第一输入层连接的第一全连接层(DNN*2)，与第一全连接层连接的多层卷积层(CNN Kemel＝N，其中，N为整数，本发明实施例中，N可以为1-11)，与多层卷积层连接的第一特征融合层concat，与第一特征融合层concat连接的池化层Max pooling，与池化层链接Max pooling的第一文本卷积层conv1d*2，与第一文本卷积层连接的线性映射层(线性映射层的数量可以为N，本发明实施例中N可以为4)，线性映射层可以包括Relu层以及sigmoid层，与线性映射层连接的第二特征融合层concat；与第二输入层连接的第二全连接层(DNN*2)，与第二全连接层连接的第二文本卷积层conv1d*1，以及分别与第二特征融合层和第二文本卷积层连接的LSTM层，LSTM层的输出即为语音合成声学特征。具体地，可以将通过音频识别模型得到的语音识别特征输入第一输入层，并通过模型中的相应神经网络进行映射，得到对应的第一输出结果，将音频识别模型隐层输出的隐层特征输入第二输入层，并通过模型中的相应神经网络进行映射得到对应的第二输出结果，接着分别对第一输出结果和第二输出结果进行融合并通过LSTM层进行处理，输出与初始音频对应的目标方言声学特征，从而通过音频转换模型实现对初始音频的声学特征合成，得到可以用于合成与初始音频不同音色且携带相应方言口音的目标方言声学特征，不仅可以实现音色的转换，还可以在所转换的音频中携带目标方言口音，有效提高了音频的变声效果。
步骤104，根据所述目标方言声学特征，生成与所述初始音频对应的目标音频。
在具体实现中，可以利用lpcnet/melgan等神经网络声码器对目标方言声学特征进行处理，生成对应的语音信号，然后对语音信号进行合成，得到与初始音频对应的目标音频，从而通过音频转换模型语音识别特征与音频隐层特征进行处理，实现将任意说话人的音频转换为目标方言说话人的音频，不仅可以实现音色的转换，还可以在所转换的音频中携带目标方言口音，有效提高了音频的变声效果。
在一种示例中，初始音频可以为任意普通话音频，则通过音频识别模型与音频转换模型的处理，可以在实现音色变换的同时，得到携带有方言口音的目标音频，例如，男声普通话音频转换为女声且携带有天津口音的音频，女声普通话音频转换为男声且携带有粤语口音的音频等等。
本发明实施例可以通过获取源说话人的初始音频，首先可以对初始音频进行特征识别，获得初始音频对应的语音识别特征以及音频隐层特征，接着将所提取的语音识别特征与音频隐层特征输入音频转换模型进行音色转换与方言口音处理，获得目标方言说话人的目标方言声学特征，然后可以根据目标方言声学特征生成对应的目标音频，通过音频转换模型语音识别特征与音频隐层特征进行处理，实现将任意说话人的音频转换为目标方言说话人的音频，不仅可以实现音色的转换，还可以在所转换的音频中携带目标方言口音，有效提高了音频的变声效果。
参照图4，示出了本发明实施例中提供的一种音频的转换方法的步骤流程图，具体可以包括如下步骤：
步骤401，获取源说话人的初始音频；
在本发明实施例中，初始音频可以为源说话人的一个完整语句所对应的音频。在音频转换的过程中，针对初始音频可以通过不同的模型进行处理以实现音频的转换，包括音频识别模型以及音频转换模型等，其中，音频识别模型可以用于对音频进行语义识别得到对应的识别结果，如识别音频并得到对应的文本信息；音频转换模型可以用于生成目标方言说话人的声学特征。
可选地，对于音频识别模型以及音频转换模型可以采用神经网络模型，例如CNN-LSTM(卷积神经网络和长短期记忆网络)等。其中，音频识别模型可以通过如下方式生成：收集任意说话人的普通话数据，并将普通话数据作为训练数据进行特征提取，包括可以根据对训练数据提取的语音识别隐层特征、语音合成声学特征以及根据训练数据合成的语音合成编码特征，则可以根据语音识别隐层特征、语音合成声学特征以及语音合成编码特征训练得到音频识别模型。
在得到通用的音频识别模型之后，可以获取目标方言说话人少量的音频数据，对通用的音频识别模型进行自适应训练，得到目标方言说话人过拟合的方言识别模型(即自适应识别模型)。具体地，可以将目标方言说话人的音频数据作为训练数据，提取对应的语音识别特征以及合成声学特征，将语音识别特征作为通用的音频识别模型的输入，将合成声学特征作为通用的音频识别模型的输出进行自适应训练至过拟合，得到方言识别模型，方言识别模型可以用于识别目标方言说话人的声学特征。
在一种示例中，参照图5，示出了本发明实施例中的识别模型的训练示意图，对于通用的音频识别模型，可以获取将普通话数据库中的普通话数据作为训练数据，对其进行特征提取，得到Fbank特征，根据Fbank特征进行模型训练，得到通用的音频识别模型；接着可以将目标方言说话人的音频数据作为训练数据，对其进行特征提取，得到Fbank特征，并根据Fbank特征对通用的音频识别模型进行自适应训练至过拟合，得到与目标方言说话人对应的方言识别模型。
对于音频转换模型，可以通过如下方式生成：获取目标方言说话人的音频数据，接着根据目标方言说话人的音频数据对预设的音色转换模型进行自适应训练，获得音频转换模型。具体地，可以将目标方言说话人的音频数据作为训练数据，并从训练数据中提取语音识别特征以及合成声学特征，接着先将训练数据输入预设的方言识别模型，获得训练数据对应的方言隐层特征，以消除训练数据中与方言口音相关的信息，有效保证了后续模型训练过程中数据处理的稳定性，然后采用方言隐层特征、第二语音识别特征以及合成声学特征对预设的音色转换模型进行自适应训练，获得音频转换模型，通过使用具有方言口音特征的方言隐层特征对模型进行自适应训练，可以保证在目标方言说话人数据有限的情况下，提高音频转换模型的稳定性。
其中，音色转换模型可以为通用的变声模型，其可以通过如下方式生成：获取至少不同说话人的音频数据作为训练数据，并从训练数据中提取语音识别特征以及合成声学特征，接着将语音识别特征输入音频识别模型，获得音频隐层特征，然后采用合成声学特征以及音频隐层特征，训练得到音色转换模型。
在一种示例中，参照图6，示出了本发明实施例中的音频转换模型的训练示意图，在获得通用的音色转换模型之后，可以获取目标方言说话人的音频数据，如天津话说话人的音频数据等，则可以对目标方言说话人的音频数据进行特征提取，包括提取对应的语音识别声学特征、语音合成声学特征，以及根据方言识别模型对音频数据进行隐层特征提取，得到对应的音频隐层特征，然后将语音识别声学特征、语音合成声学特征以及音频隐层特征输入音色转换模型进行自适应训练，得到可以生成目标方言说话人的声学特征的音频转换模型，在该过程中，通过使用具有方言口音特征的方言隐层特征对模型进行自适应训练，可以保证在目标方言说话人数据有限的情况下，提高音频转换模型的稳定性。
需要说明的是，本发明实施例包括但不限于上述示例，可以理解的是，本领域技术人员在本发明的思想指导下，还可以根据实际需要进行设置，本发明对此不作限制。
步骤402，提取所述初始音频对应的音频特征；
在一种示例中，可以通过音频识别模型提取初始音频的Fbank特征，以便根据该Fbank特征得到相应的声学特征。
步骤403，将所述音频特征输入音频识别模型，获得与所述初始音频对应的第一语音识别特征，以及所述音频识别模型隐层输出的第一音频隐层特征；
具体地，可以通过提取初始音频对应的音频特征，接着将音频特征输入音频识别模型中，获得隐层的输出以及获得DNN的输出，将隐层输出的隐层特征作为第一音频特征，将全连接层DNN的输出作为第一语音识别特征。
步骤404，将所述第一语音识别特征与所述第一音频隐层特征输入音频转换模型，获得目标方言说话人的目标方言声学特征；
音频识别模型对初始音频进行特征提取，得到对应的第一语音识别特征以及第一音频隐层特征之后，可以将两者输入音频转换模型，得到目标方言说话人的目标方言声学特征，从而利用音频转换模型，可以将源说话人的初始音频所对应的语音识别特征与音频隐层特征转换成为具有目标方言说话人特点的语音合成声学特征。
步骤405，采用所述目标方言声学特征生成所述目标方言说话人的音频信号；
步骤406，对所述音频信号进行合成，获得与所述初始音频对应的目标音频。
在具体实现中，可以利用lpcnet/melgan等神经网络声码器对目标方言声学特征进行处理，生成对应的语音信号，然后对语音信号进行合成，得到与初始音频对应的目标音频，从而通过音频转换模型语音识别特征与音频隐层特征进行处理，实现将任意说话人的音频转换为目标方言说话人的音频，不仅可以实现音色的转换，还可以在所转换的音频中携带目标方言口音，有效提高了音频的变声效果。
本发明实施例可以通过获取源说话人的初始音频，首先可以对初始音频进行特征识别，获得初始音频对应的语音识别特征以及音频隐层特征，接着将所提取的语音识别特征与音频隐层特征输入音频转换模型进行音色转换与方言口音处理，获得目标方言说话人的目标方言声学特征，然后可以根据目标方言声学特征生成对应的目标音频，通过音频转换模型语音识别特征与音频隐层特征进行处理，实现将任意说话人的音频转换为目标方言说话人的音频，不仅可以实现音色的转换，还可以在所转换的音频中携带目标方言口音，有效提高了音频的变声效果。
需要说明的是，对于方法实施例，为了简单描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本发明实施例并不受所描述的动作顺序的限制，因为依据本发明实施例，某些步骤可以采用其他顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于优选实施例，所涉及的动作并不一定是本发明实施例所必须的。
参照图7，示出了本发明实施例中提供的一种音频的转换装置的结构框图，具体可以包括如下模块：
获取模块701，用于获取源说话人的初始音频；
第一隐层特征提取模块702，用于对所述初始音频进行特征提取，获得所述初始音频对应的第一语音识别特征以及第一音频隐层特征；
方言声学特征生成模块703，用于将所述第一语音识别特征与所述第一音频隐层特征输入音频转换模型，获得目标方言说话人的目标方言声学特征；
目标音频生成模块704，用于根据所述目标方言声学特征，生成与所述初始音频对应的目标音频。
在本发明的一种可选实施例中，所述音频转换模型通过如下模块生成：
音频数据获取模块701，用于获取所述目标方言说话人的音频数据；
音频转换模型训练模块，用于根据所述目标方言说话人的音频数据对音色转换模型进行自适应训练，获得音频转换模型。
在本发明的一种可选实施例中，所述音频转换模型训练模块包括：
特征提取子模块，用于将所述目标方言说话人的音频数据作为第一训练数据，并从所述第一训练数据中提取第二语音识别特征以及第一合成声学特征；
方言隐层特征提取子模块，用于将所述训练数据输入方言识别模型，获得所述训练数据对应的方言隐层特征，以消除训练数据中与方言口音相关的信息；
音频转换模型训练子模块，用于采用所述方言隐层特征、所述第二语音识别特征以及所述第一合成声学特征对音色转换模型进行自适应训练，获得音频转换模型。
在本发明的一种可选实施例中，所述音色转换模型通过如下模块生成：
音频数据获取模块701，用于获取至少不同说话人的音频数据作为第二训练数据，并从所述第二训练数据中提取第三语音识别特征以及第二合成声学特征；
音频隐层特征提取模块，用于将所述第三语音识别特征输入音频识别模型，获得第二音频隐层特征；
音色转换模型训练模块，用于采用所述第二合成声学特征以及所述第二音频隐层特征，训练得到音色转换模型。
在本发明的一种可选实施例中，所述方言识别模型通过如下模块生成：
方言识别模型获得模块，用于采用所述第二语音识别特征以及所述第一合成声学特征对音频识别模型进行自适应训练，得到方言识别模型，所述方言识别模型用于识别目标方言说话人的声学特征。
在本发明的一种可选实施例中，所述第一隐层特征提取模块702包括：
音频特征提取子模块，用于提取所述初始音频对应的音频特征；
隐层特征提取子模块将所述音频特征输入音频识别模型，获得与所述初始音频对应的第一语音识别特征，以及所述音频识别模型隐层输出的第一音频隐层特征。
在本发明的一种可选实施例中，所述目标音频生成模块704包括：
语音信号生成子模块，用于采用所述目标方言声学特征生成所述目标方言说话人的语音信号；
目标音频生成子模块，用于对所述语音信号进行合成，获得与所述初始音频对应的目标音频。
对于装置实施例而言，由于其与方法实施例基本相似，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
图8是本发明实施例中提供的一种用于音频的转换的电子设备800的结构框图。例如，电子设备800可以是移动电话，计算机，数字广播终端，消息收发设备，游戏控制台，平板设备，医疗设备，健身设备，个人数字助理，智能穿戴设备等。
参照图5，电子设备800可以包括以下一个或多个组件：处理组件802，存储器804，电力组件806，多媒体组件808，音频组件810，输入/输出(I/O)的接口812，传感器组件814，以及通信组件816。
处理组件802通常控制电子设备800的整体操作，诸如与显示，电话呼叫，数据通信，相机操作和记录操作相关联的操作。处理元件802可以包括一个或多个处理器820来执行指令，以完成上述的方法的全部或部分步骤。此外，处理组件802可以包括一个或多个模块，便于处理组件802和其他组件之间的交互。例如，处理部件802可以包括多媒体模块，以方便多媒体组件808和处理组件802之间的交互。
存储器804被配置为存储各种类型的数据以支持在电子设备800的操作。这些数据的示例包括用于在电子设备800上操作的任何应用程序或方法的指令，联系人数据，电话簿数据，消息，图片，视频等。存储器804可以由任何类型的易失性或非易失性存储设备或者它们的组合实现，如静态随机存取存储器(SRAM)，电可擦除可编程只读存储器(EEPROM)，可擦除可编程只读存储器(EPROM)，可编程只读存储器(PROM)，只读存储器(ROM)，磁存储器，快闪存储器，磁盘或光盘。
电力组件806为电子设备800的各种组件提供电力。电力组件806可以包括电源管理系统，一个或多个电源，及其他与为电子设备800生成、管理和分配电力相关联的组件。
多媒体组件808包括在所述电子设备800和用户之间的提供一个输出接口的屏幕。在一些实施例中，屏幕可以包括液晶显示器(LCD)和触摸面板(TP)。如果屏幕包括触摸面板，屏幕可以被实现为触摸屏，以接收来自用户的输入信号。触摸面板包括一个或多个触摸传感器以感测触摸、滑动和触摸面板上的手势。所述触摸传感器可以不仅感测触摸或滑动动作的边界，而且还检测与所述触摸或滑动操作相关的持续时间和压力。在一些实施例中，多媒体组件808包括一个前置摄像头和/或后置摄像头。当电子设备800处于操作模式，如拍摄模式或视频模式时，前置摄像头和/或后置摄像头可以接收外部的多媒体数据。每个前置摄像头和后置摄像头可以是一个固定的光学透镜系统或具有焦距和光学变焦能力。
音频组件810被配置为输出和/或输入音频信号。例如，音频组件810包括一个麦克风(MIC)，当电子设备800处于操作模式，如呼叫模式、记录模式和语音识别模式时，麦克风被配置为接收外部音频信号。所接收的音频信号可以被进一步存储在存储器804或经由通信组件816发送。在一些实施例中，音频组件810还包括一个扬声器，用于输出音频信号。
I/O接口812为处理组件802和外围接口模块之间提供接口，上述外围接口模块可以是键盘，点击轮，按钮等。这些按钮可包括但不限于：主页按钮、音量按钮、启动按钮和锁定按钮。
传感器组件814包括一个或多个传感器，用于为电子设备800提供各个方面的状态评估。例如，传感器组件814可以检测到电子设备800的打开/关闭状态，组件的相对定位，例如所述组件为电子设备800的显示器和小键盘，传感器组件814还可以检测电子设备800或电子设备800一个组件的位置改变，用户与电子设备800接触的存在或不存在，电子设备800方位或加速/减速和电子设备800的温度变化。传感器组件814可以包括接近传感器，被配置用来在没有任何的物理接触时检测附近物体的存在。传感器组件814还可以包括光传感器，如CMOS或CCD图像传感器，用于在成像应用中使用。在一些实施例中，该传感器组件814还可以包括加速度传感器，陀螺仪传感器，磁传感器，压力传感器或温度传感器。
通信组件816被配置为便于电子设备800和其他设备之间有线或无线方式的通信。电子设备800可以接入基于通信标准的无线网络，如WiFi，2G或3G，或它们的组合。在一个示例性实施例中，通信部件814经由广播信道接收来自外部广播管理系统的广播信号或广播相关信息。在一个示例性实施例中，所述通信部件814还包括近场通信(NFC)模块，以促进短程通信。例如，在NFC模块可基于射频识别(RFID)技术，红外数据协会(IrDA)技术，超宽带(UWB)技术，蓝牙(BT)技术和其他技术来实现。
在示例性实施例中，电子设备800可以被一个或多个应用专用集成电路(ASIC)、数字信号处理器(DSP)、数字信号处理设备(DSPD)、可编程逻辑器件(PLD)、现场可编程门阵列(FPGA)、控制器、微控制器、微处理器或其他电子元件实现，用于执行上述方法。
在示例性实施例中，还提供了一种包括指令的非临时性计算机可读存储介质，例如包括指令的存储器804，上述指令可由电子设备800的处理器520执行以完成上述方法。例如，所述非临时性计算机可读存储介质可以是ROM、随机存取存储器(RAM)、CD-ROM、磁带、软盘和光数据存储设备等。
一种非临时性计算机可读存储介质，当所述存储介质中的指令由电子设备的处理器执行时，使得电子设备能够执行一种音频的转换方法，所述方法包括：
获取源说话人的初始音频；
对所述初始音频进行特征识别，获得所述初始音频对应的第一语音识别特征以及第一音频隐层特征；
将所述第一语音识别特征与所述第一音频隐层特征输入音频转换模型，获得目标方言说话人的目标方言声学特征；
根据所述目标方言声学特征，生成与所述初始音频对应的目标音频。
在本发明的一种可选实施例中，所述音频转换模型通过如下方式生成：
获取所述目标方言说话人的音频数据；
根据所述目标方言说话人的音频数据对音色转换模型进行自适应训练，获得音频转换模型。
在本发明的一种可选实施例中，所述根据所述目标方言说话人的音频数据对音色转换模型进行自适应训练，获得音频转换模型，包括：
将所述目标方言说话人的音频数据作为第一训练数据，并从所述第一训练数据中提取第二语音识别特征以及第一合成声学特征；
将所述训练数据输入方言识别模型，获得所述训练数据对应的方言隐层特征，以消除训练数据中与方言口音相关的信息；
采用所述方言隐层特征、所述第二语音识别特征以及所述第一合成声学特征对音色转换模型进行自适应训练，获得音频转换模型。
在本发明的一种可选实施例中，所述音色转换模型通过如下方式生成：
获取至少不同说话人的音频数据作为第二训练数据，并从所述第二训练数据中提取第三语音识别特征以及第二合成声学特征；
将所述第三语音识别特征输入所述音频识别模型，获得第二音频隐层特征；
采用所述第二合成声学特征以及所述第二音频隐层特征，训练得到音色转换模型。
在本发明的一种可选实施例中，所述方言识别模型通过如下方式生成：
采用所述第二语音识别特征以及所述第一合成声学特征对所述音频识别模型进行自适应训练，得到方言识别模型，所述方言识别模型用于识别目标方言说话人的声学特征。
在本发明的一种可选实施例中，所述对所述初始音频进行特征识别，获得所述初始音频对应的第一语音识别特征以及第一音频隐层特征，包括：
提取所述初始音频对应的音频特征；
将所述音频特征输入音频识别模型，获得与所述初始音频对应的第一语音识别特征，以及所述音频识别模型隐层输出的第一音频隐层特征。
在本发明的一种可选实施例中，所述根据所述目标方言声学特征，生成与所述初始音频对应的目标音频，包括：
采用所述目标方言声学特征生成所述目标方言说话人的语音信号；
对所述语音信号进行合成，获得与所述初始音频对应的目标音频。
图9是本发明实施例中提供的一种用于音频的转换的电子设备900的结构示意图。该电子设备900可以是服务器，该服务器可因配置或性能不同而产生比较大的差异，可以包括一个或一个以上中央处理器(central processing units，CPU)922(例如，一个或一个以上处理器)和存储器932，一个或一个以上存储应用程序942或数据944的存储介质930(例如一个或一个以上海量存储设备)。其中，存储器932和存储介质930可以是短暂存储或持久存储。存储在存储介质930的程序可以包括一个或一个以上模块(图示没标出)，每个模块可以包括对服务器中的一系列指令操作。更进一步地，中央处理器922可以设置为与存储介质930通信，在服务器上执行存储介质930中的一系列指令操作。
服务器还可以包括一个或一个以上电源926，一个或一个以上有线或无线网络接口950，一个或一个以上输入输出接口958，一个或一个以上键盘956，和/或，一个或一个以上操作系统941，例如Windows ServerTM，Mac OS XTM，UnixTM,LinuxTM，FreeBSDTM等等。
在示例性实施例中，服务器经配置以由一个或者一个以上中央处理器922执行一个或者一个以上程序包含用于进行以下操作的指令：
获取源说话人的初始音频；
对所述初始音频进行特征识别，获得所述初始音频对应的第一语音识别特征以及第一音频隐层特征；
将所述第一语音识别特征与所述第一音频隐层特征输入音频转换模型，获得目标方言说话人的目标方言声学特征；
根据所述目标方言声学特征，生成与所述初始音频对应的目标音频。
在本发明的一种可选实施例中，所述音频转换模型通过如下方式生成：
获取所述目标方言说话人的音频数据；
根据所述目标方言说话人的音频数据对音色转换模型进行自适应训练，获得音频转换模型。
在本发明的一种可选实施例中，所述根据所述目标方言说话人的音频数据对音色转换模型进行自适应训练，获得音频转换模型，包括：
将所述目标方言说话人的音频数据作为第一训练数据，并从所述第一训练数据中提取第二语音识别特征以及第一合成声学特征；
将所述训练数据输入方言识别模型，获得所述训练数据对应的方言隐层特征，以消除训练数据中与方言口音相关的信息；
采用所述方言隐层特征、所述第二语音识别特征以及所述第一合成声学特征对音色转换模型进行自适应训练，获得音频转换模型。
在本发明的一种可选实施例中，所述音色转换模型通过如下方式生成：
获取至少不同说话人的音频数据作为第二训练数据，并从所述第二训练数据中提取第三语音识别特征以及第二合成声学特征；
将所述第三语音识别特征输入所述音频识别模型，获得第二音频隐层特征；
采用所述第二合成声学特征以及所述第二音频隐层特征，训练得到音色转换模型。
在本发明的一种可选实施例中，所述方言识别模型通过如下方式生成：
采用所述第二语音识别特征以及所述第一合成声学特征对所述音频识别模型进行自适应训练，得到方言识别模型，所述方言识别模型用于识别目标方言说话人的声学特征。
在本发明的一种可选实施例中，所述对所述初始音频进行特征识别，获得所述初始音频对应的第一语音识别特征以及第一音频隐层特征，包括：
提取所述初始音频对应的音频特征；
将所述音频特征输入音频识别模型，获得与所述初始音频对应的第一语音识别特征，以及所述音频识别模型隐层输出的第一音频隐层特征。
在本发明的一种可选实施例中，所述根据所述目标方言声学特征，生成与所述初始音频对应的目标音频，包括：
采用所述目标方言声学特征生成所述目标方言说话人的语音信号；
对所述语音信号进行合成，获得与所述初始音频对应的目标音频。
本说明书中的各个实施例均采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似的部分互相参见即可。
本发明实施例是参照根据本发明实施例的方法、终端设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理终端设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理终端设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理终端设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理终端设备上，使得在计算机或其他可编程终端设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程终端设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
尽管已描述了本发明实施例的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例做出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本发明实施例范围的所有变更和修改。
此外，本申请实施例所涉及的年龄(性别、身份证号、护照号等(根据需求调整))等不适针对个人信息的使用，而是通用的描述。
最后，还需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者终端设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者终端设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者终端设备中还存在另外的相同要素。
以上对本发明所提供的一种音频的转换方法、一种音频的转换装置和一种电子设备以及一种存储介质，进行了详细介绍，本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。
Claims (15)
1.一种音频的转换方法，其特征在于，包括：
获取源说话人的初始音频；
对所述初始音频进行特征识别，获得所述初始音频对应的第一语音识别特征以及第一音频隐层特征；
将所述第一语音识别特征与所述第一音频隐层特征输入音频转换模型，获得目标方言说话人的目标方言声学特征；
根据所述目标方言声学特征，生成与所述初始音频对应的目标音频。
2.根据权利要求1所述的方法，其特征在于，所述音频转换模型通过如下方式生成：
获取所述目标方言说话人的音频数据；
根据所述目标方言说话人的音频数据对音色转换模型进行自适应训练，获得音频转换模型。
3.根据权利要求2所述的方法，其特征在于，所述根据所述目标方言说话人的音频数据对音色转换模型进行自适应训练，获得音频转换模型，包括：
将所述目标方言说话人的音频数据作为第一训练数据，并从所述第一训练数据中提取第二语音识别特征以及第一合成声学特征；
将所述训练数据输入方言识别模型，获得所述训练数据对应的方言隐层特征，以消除训练数据中与方言口音相关的信息；
采用所述方言隐层特征、所述第二语音识别特征以及所述第一合成声学特征对音色转换模型进行自适应训练，获得音频转换模型。
4.根据权利要求2或3所述的方法，其特征在于，所述音色转换模型通过如下方式生成：
获取至少不同说话人的音频数据作为第二训练数据，并从所述第二训练数据中提取第三语音识别特征以及第二合成声学特征；
将所述第三语音识别特征输入音频识别模型，获得第二音频隐层特征；
采用所述第二合成声学特征以及所述第二音频隐层特征，训练得到音色转换模型。
5.根据权利要求3所述的方法，其特征在于，所述方言识别模型通过如下方式生成：
采用所述第二语音识别特征以及所述第一合成声学特征对音频识别模型进行自适应训练，得到方言识别模型，所述方言识别模型用于识别目标方言说话人的声学特征。
6.根据权利要求1所述的方法，其特征在于，所述对所述初始音频进行特征识别，获得所述初始音频对应的第一语音识别特征以及第一音频隐层特征，包括：
提取所述初始音频对应的音频特征；
将所述音频特征输入音频识别模型，获得与所述初始音频对应的第一语音识别特征，以及所述音频识别模型隐层输出的第一音频隐层特征。
7.根据权利要求1所述的方法，其特征在于，所述根据所述目标方言声学特征，生成与所述初始音频对应的目标音频，包括：
采用所述目标方言声学特征生成所述目标方言说话人的语音信号；
对所述语音信号进行合成，获得与所述初始音频对应的目标音频。
8.一种音频的转换装置，其特征在于，包括：
获取模块，用于获取源说话人的初始音频；
第一隐层特征提取模块，用于对所述初始音频进行特征识别，获得所述初始音频对应的第一语音识别特征以及第一音频隐层特征；
方言声学特征生成模块，用于将所述第一语音识别特征与所述第一音频隐层特征输入音频转换模型，获得目标方言说话人的目标方言声学特征；
目标音频生成模块，用于根据所述目标方言声学特征，生成与所述初始音频对应的目标音频。
9.根据权利要求8所述的装置，其特征在于，所述音频转换模型通过如下模块生成：
音频数据获取模块，用于获取所述目标方言说话人的音频数据；
音频转换模型训练模块，用于根据所述目标方言说话人的音频数据对音色转换模型进行自适应训练，获得音频转换模型。
10.根据权利要求9所述的装置，其特征在于，所述音频转换模型训练模块包括：
特征提取子模块，用于将所述目标方言说话人的音频数据作为第一训练数据，并从所述第一训练数据中提取第二语音识别特征以及第一合成声学特征；
方言隐层特征提取子模块，用于将所述训练数据输入方言识别模型，获得所述训练数据对应的方言隐层特征，以消除训练数据中与方言口音相关的信息；
音频转换模型训练子模块，用于采用所述方言隐层特征、所述第二语音识别特征以及所述第一合成声学特征对音色转换模型进行自适应训练，获得音频转换模型。
11.根据权利要求9或10所述的装置，其特征在于，所述音色转换模型通过如下模块生成：
音频数据获取模块，用于获取至少不同说话人的音频数据作为第二训练数据，并从所述第二训练数据中提取第三语音识别特征以及第二合成声学特征；
音频隐层特征提取模块，用于将所述第三语音识别特征输入所述音频识别模型，获得第二音频隐层特征；
音色转换模型训练模块，用于采用所述第二合成声学特征以及所述第二音频隐层特征，训练得到音色转换模型。
12.根据权利要求10所述的装置，其特征在于，所述方言识别模型通过如下模块生成：
方言识别模型获得模块，用于采用所述第二语音识别特征以及所述第一合成声学特征对所述音频识别模型进行自适应训练，得到方言识别模型，所述方言识别模型用于识别目标方言说话人的声学特征。
13.根据权利要求8所述的装置，其特征在于，所述第一隐层特征提取模块包括：
音频特征提取子模块，用于提取所述初始音频对应的音频特征；
隐层特征提取子模块将所述音频特征输入音频识别模型，获得与所述初始音频对应的第一语音识别特征，以及所述音频识别模型隐层输出的第一音频隐层特征。
14.一种可读存储介质，其特征在于，当所述存储介质中的指令由电子设备的处理器执行时，使得电子设备能够执行如方法权利要求1-7任一所述的音频的转换方法。
15.一种电子设备，其特征在于，包括：处理器、存储器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述计算机程序被所述处理器执行时实现如权利要求1-7中任一所述的音频的转换方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110456269.0A CN113223542B (zh) | 2021-04-26 | 2021-04-26 | 音频的转换方法、装置、存储介质及电子设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110456269.0A CN113223542B (zh) | 2021-04-26 | 2021-04-26 | 音频的转换方法、装置、存储介质及电子设备 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113223542A true CN113223542A (zh) | 2021-08-06 |
| CN113223542B CN113223542B (zh) | 2024-04-12 |
Family
ID=77089519
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110456269.0A Active CN113223542B (zh) | 2021-04-26 | 2021-04-26 | 音频的转换方法、装置、存储介质及电子设备 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113223542B (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113823300A (zh) * | 2021-09-18 | 2021-12-21 | 京东方科技集团股份有限公司 | 语音处理方法及装置、存储介质、电子设备 |
| CN114449339A (zh) * | 2022-02-16 | 2022-05-06 | 深圳万兴软件有限公司 | 背景音效的转换方法、装置、计算机设备及存储介质 |
Citations (18)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2000112488A (ja) * | 1998-09-30 | 2000-04-21 | Fujitsu General Ltd | 音声変換装置 |
| US6424935B1 (en) * | 2000-07-31 | 2002-07-23 | Micron Technology, Inc. | Two-way speech recognition and dialect system |
| US20150046158A1 (en) * | 2013-08-07 | 2015-02-12 | Vonage Network Llc | Method and apparatus for voice modification during a call |
| CN108108357A (zh) * | 2018-01-12 | 2018-06-01 | 京东方科技集团股份有限公司 | 口音转换方法及装置、电子设备 |
| CN108172218A (zh) * | 2016-12-05 | 2018-06-15 | 中国移动通信有限公司研究院 | 一种语音建模方法及装置 |
| US20180336880A1 (en) * | 2017-05-19 | 2018-11-22 | Baidu Usa Llc | Systems and methods for multi-speaker neural text-to-speech |
| JP2019008120A (ja) * | 2017-06-23 | 2019-01-17 | 株式会社日立製作所 | 声質変換システム、声質変換方法、及び声質変換プログラム |
| US20190189112A1 (en) * | 2016-07-22 | 2019-06-20 | Baidu Online Network Technology (Beijing) Co., Ltd. | Voice recognition processing method, device and computer storage medium |
| KR20190080834A (ko) * | 2019-06-18 | 2019-07-08 | 엘지전자 주식회사 | 사투리 음소 적응 학습 시스템 및 방법 |
| CN110910865A (zh) * | 2019-11-25 | 2020-03-24 | 秒针信息技术有限公司 | 语音转换方法和装置、存储介质及电子装置 |
| US20200160836A1 (en) * | 2018-11-21 | 2020-05-21 | Google Llc | Multi-dialect and multilingual speech recognition |
| CN111462769A (zh) * | 2020-03-30 | 2020-07-28 | 深圳市声希科技有限公司 | 一种端到端的口音转换方法 |
| CN111583944A (zh) * | 2019-01-30 | 2020-08-25 | 北京搜狗科技发展有限公司 | 变声方法及装置 |
| CN111899719A (zh) * | 2020-07-30 | 2020-11-06 | 北京字节跳动网络技术有限公司 | 用于生成音频的方法、装置、设备和介质 |
| CN112037766A (zh) * | 2020-09-09 | 2020-12-04 | 广州华多网络科技有限公司 | 一种语音音色转换方法及相关设备 |
| CN112382267A (zh) * | 2020-11-13 | 2021-02-19 | 北京有竹居网络技术有限公司 | 用于转换口音的方法、装置、设备以及存储介质 |
| CN112382270A (zh) * | 2020-11-13 | 2021-02-19 | 北京有竹居网络技术有限公司 | 语音合成方法、装置、设备以及存储介质 |
| CN112562639A (zh) * | 2020-11-30 | 2021-03-26 | 努比亚技术有限公司 | 音频处理方法、终端及计算机可读存储介质 |
-
2021
- 2021-04-26 CN CN202110456269.0A patent/CN113223542B/zh active Active
Patent Citations (18)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2000112488A (ja) * | 1998-09-30 | 2000-04-21 | Fujitsu General Ltd | 音声変換装置 |
| US6424935B1 (en) * | 2000-07-31 | 2002-07-23 | Micron Technology, Inc. | Two-way speech recognition and dialect system |
| US20150046158A1 (en) * | 2013-08-07 | 2015-02-12 | Vonage Network Llc | Method and apparatus for voice modification during a call |
| US20190189112A1 (en) * | 2016-07-22 | 2019-06-20 | Baidu Online Network Technology (Beijing) Co., Ltd. | Voice recognition processing method, device and computer storage medium |
| CN108172218A (zh) * | 2016-12-05 | 2018-06-15 | 中国移动通信有限公司研究院 | 一种语音建模方法及装置 |
| US20180336880A1 (en) * | 2017-05-19 | 2018-11-22 | Baidu Usa Llc | Systems and methods for multi-speaker neural text-to-speech |
| JP2019008120A (ja) * | 2017-06-23 | 2019-01-17 | 株式会社日立製作所 | 声質変換システム、声質変換方法、及び声質変換プログラム |
| CN108108357A (zh) * | 2018-01-12 | 2018-06-01 | 京东方科技集团股份有限公司 | 口音转换方法及装置、电子设备 |
| US20200160836A1 (en) * | 2018-11-21 | 2020-05-21 | Google Llc | Multi-dialect and multilingual speech recognition |
| CN111583944A (zh) * | 2019-01-30 | 2020-08-25 | 北京搜狗科技发展有限公司 | 变声方法及装置 |
| KR20190080834A (ko) * | 2019-06-18 | 2019-07-08 | 엘지전자 주식회사 | 사투리 음소 적응 학습 시스템 및 방법 |
| CN110910865A (zh) * | 2019-11-25 | 2020-03-24 | 秒针信息技术有限公司 | 语音转换方法和装置、存储介质及电子装置 |
| CN111462769A (zh) * | 2020-03-30 | 2020-07-28 | 深圳市声希科技有限公司 | 一种端到端的口音转换方法 |
| CN111899719A (zh) * | 2020-07-30 | 2020-11-06 | 北京字节跳动网络技术有限公司 | 用于生成音频的方法、装置、设备和介质 |
| CN112037766A (zh) * | 2020-09-09 | 2020-12-04 | 广州华多网络科技有限公司 | 一种语音音色转换方法及相关设备 |
| CN112382267A (zh) * | 2020-11-13 | 2021-02-19 | 北京有竹居网络技术有限公司 | 用于转换口音的方法、装置、设备以及存储介质 |
| CN112382270A (zh) * | 2020-11-13 | 2021-02-19 | 北京有竹居网络技术有限公司 | 语音合成方法、装置、设备以及存储介质 |
| CN112562639A (zh) * | 2020-11-30 | 2021-03-26 | 努比亚技术有限公司 | 音频处理方法、终端及计算机可读存储介质 |
Non-Patent Citations (1)
| Title |
|---|
| 贾珈等: "汉语普通话与沈阳方言转换的研究", 《清华大学学报(自然科学版)》, pages 63 - 69 * |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113823300A (zh) * | 2021-09-18 | 2021-12-21 | 京东方科技集团股份有限公司 | 语音处理方法及装置、存储介质、电子设备 |
| CN113823300B (zh) * | 2021-09-18 | 2024-03-22 | 京东方科技集团股份有限公司 | 语音处理方法及装置、存储介质、电子设备 |
| CN114449339A (zh) * | 2022-02-16 | 2022-05-06 | 深圳万兴软件有限公司 | 背景音效的转换方法、装置、计算机设备及存储介质 |
| CN114449339B (zh) * | 2022-02-16 | 2024-04-12 | 深圳万兴软件有限公司 | 背景音效的转换方法、装置、计算机设备及存储介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN113223542B (zh) | 2024-04-12 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111583944A (zh) | 变声方法及装置 | |
| CN109801644B (zh) | 混合声音信号的分离方法、装置、电子设备和可读介质 | |
| CN111508511A (zh) | 实时变声方法及装置 | |
| CN110136692B (zh) | 语音合成方法、装置、设备及存储介质 | |
| WO2020006935A1 (zh) | 动物声纹特征提取方法、装置及计算机可读存储介质 | |
| CN110808063A (zh) | 一种语音处理方法、装置和用于处理语音的装置 | |
| CN109410973B (zh) | 变声处理方法、装置和计算机可读存储介质 | |
| CN113362812B (zh) | 一种语音识别方法、装置和电子设备 | |
| CN112786007A (zh) | 语音合成方法、装置、可读介质及电子设备 | |
| CN113409764B (zh) | 一种语音合成方法、装置和用于语音合成的装置 | |
| CN107274903B (zh) | 文本处理方法和装置、用于文本处理的装置 | |
| CN113223542B (zh) | 音频的转换方法、装置、存储介质及电子设备 | |
| WO2019242414A1 (zh) | 语音处理方法、装置、存储介质及电子设备 | |
| CN111326138A (zh) | 语音生成方法及装置 | |
| CN113129867B (zh) | 语音识别模型的训练方法、语音识别方法、装置和设备 | |
| CN113362813B (zh) | 一种语音识别方法、装置和电子设备 | |
| WO2021208531A1 (zh) | 一种语音处理方法、装置和电子设备 | |
| CN116129931B (zh) | 一种视听结合的语音分离模型搭建方法及语音分离方法 | |
| CN115148185A (zh) | 语音合成方法及装置、电子设备及存储介质 | |
| CN115273831A (zh) | 语音转换模型训练方法、语音转换方法和装置 | |
| CN113488022B (zh) | 一种语音合成方法和装置 | |
| WO2022147692A1 (zh) | 一种语音指令识别方法、电子设备以及非瞬态计算机可读存储介质 | |
| CN109102813B (zh) | 声纹识别方法、装置、电子设备和存储介质 | |
| CN110930977B (zh) | 一种数据处理方法、装置和电子设备 | |
| CN112151072A (zh) | 语音处理方法、装置和介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |