CN111599342A - 音色选择方法和选择系统 - Google Patents
音色选择方法和选择系统 Download PDFInfo
- Publication number
- CN111599342A CN111599342A CN201910129942.2A CN201910129942A CN111599342A CN 111599342 A CN111599342 A CN 111599342A CN 201910129942 A CN201910129942 A CN 201910129942A CN 111599342 A CN111599342 A CN 111599342A
- Authority
- CN
- China
- Prior art keywords
- user
- voice
- vector
- neural network
- feature
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 34
- 239000013598 vector Substances 0.000 claims abstract description 114
- 239000003086 colorant Substances 0.000 claims abstract description 4
- 238000013528 artificial neural network Methods 0.000 claims description 54
- 239000011159 matrix material Substances 0.000 claims description 34
- 230000009466 transformation Effects 0.000 claims description 34
- 238000010187 selection method Methods 0.000 claims description 21
- 239000000203 mixture Substances 0.000 claims description 18
- 230000006870 function Effects 0.000 claims description 16
- 238000000605 extraction Methods 0.000 claims description 9
- 238000005516 engineering process Methods 0.000 abstract description 15
- 230000015572 biosynthetic process Effects 0.000 abstract description 14
- 238000003786 synthesis reaction Methods 0.000 abstract description 14
- 238000010586 diagram Methods 0.000 description 12
- 230000003993 interaction Effects 0.000 description 5
- 230000008569 process Effects 0.000 description 5
- 230000003044 adaptive effect Effects 0.000 description 2
- 238000007635 classification algorithm Methods 0.000 description 2
- 230000002452 interceptive effect Effects 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000006978 adaptation Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004422 calculation algorithm Methods 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000003062 neural network model Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L13/00—Speech synthesis; Text to speech systems
- G10L13/08—Text analysis or generation of parameters for speech synthesis out of text, e.g. grapheme to phoneme translation, prosody generation or stress or intonation determination
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
- G10L25/03—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the type of extracted parameters
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
- G10L25/27—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the analysis technique
- G10L25/30—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the analysis technique using neural networks
Landscapes
- Engineering & Computer Science (AREA)
- Computational Linguistics (AREA)
- Health & Medical Sciences (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- Acoustics & Sound (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明实施例提供一种音色选择方法和选择系统，包括：从用户的语音中提取表征用户语音特征的特征向量；根据特征向量对用户进行分类，得到用户所属的用户类别；在多个备选音色中，将和用户类别匹配度最高的音色确定为由文本所转化音频的音色。本发明通过表征用户语音特征的特征向量得到用户所属的用户类别，并依据用户类别实现文本所转化音频音色的自动选择，解决了目前语音合成技术中音色选择自动性较差的技术问题。
Description
技术领域
本发明涉及语音合成的技术领域，具体涉及一种音色选择方法和选择系统。
背景技术
语音合成技术发展显著，已进入从文本到语音(Text To Speech，简称TTS)的阶段。一个成熟的TTS系统可以直接接受文本输入，进行语言学分析和韵律建模，最后合成并输出和文本语义相符的音频结果。目前，TTS系统采用的语音合成技术有如下三种：
(1)拼接合成技术，直接依赖于语音库中的原始语音数据，将语音库中合适的语音单元拼接起来合成最终的音频结果，因而对语音库的规模和质量要求都很高，近年来结合统计学或神经网络技术使得音频结果具有更高的清晰度和更好的自然度。
(2)参数合成技术，首先从输入的文本预测对应的声学特征，然后通过声码器(Vocoder)根据声学特征合成最终的音频结果。相对来说，该技术对语音库的规模要求远低于拼接合成技术，且容错能力更高，但由于音频结果是声码器合成的，音频结果的逼真效果不如拼接合成技术。
(3)端到端技术，利用大量的文本和语音库中的音频数据训练网络模型，通过训练得到的网络模型能直接从文本获得对应文本语义的声学特征，甚至直接得到音频结果。
总体而言，目前的TTS系统可以输出和文本语义相符的音频结果，且具有一定自然度和清晰度。但是，音频结果的音色是取决于语音库中的原始语音数据，为了使输出的音频结果的音色迎合更广泛的用户需求，目前主流TTS系统都会预先准备几种不同性别和不同年龄的音色，然后通过系统默认设置或用户手动选择来为音频结果配置音色。因此，目前语音合成技术中的音色选择存在自动性较差的技术问题。
发明内容
有鉴于此，本发明实施例提供了一种音色选择方法和选择系统，以解决传统语音合成技术中音色选择自动性较差的技术问题。
根据本发明的第一方面，提供一种音色选择方法，包括：
从用户的语音中提取表征所述用户语音特征的特征向量；
根据所述特征向量对所述用户进行分类，得到所述用户所属的用户类别；
在多个备选音色中，将和所述用户类别匹配度最高的音色确定为由文本所转化音频的音色。
可选地，从用户的语音中提取表征所述用户语音特征的特征向量，包括：
将所述用户的语音构建成超向量，并通过通用向量和变换矩阵从所述超向量中解构出表征所述用户语音特征的特征向量，其中，
所述通用向量表征语音中与说话者身份无关部分的信息，所述变换矩阵为将表征用户的语音信息转化为表征用户的语音特征的矩阵。
可选地，将所述用户的语音构建成超向量，并将所述超向量解构为通用向量和特征向量，包括：
通过对训练语音数据的训练，得到通用背景模型和变换矩阵；
将所述通用背景模型各成分的均值信息进行拼接，得到所述通用向量；
从所述用户的语音和所述通用背景模型得到所述用户的高斯混合模型；
将所述高斯混合模型各成分的均值信息进行拼接，得到所述超向量；
将所述超向量和所述通用向量的差值，通过所述变换矩阵进行逆变换，得到所述特征向量。
可选地，根据所述特征向量对所述用户进行分类，得到所述用户所属的用户类别，包括：
将所述特征向量从前馈神经网络的输入层输入到所述前馈神经网络中；
使用所述前馈神经网络对所述用户进行分类后，在所述前馈神经网络的输出层获取所述用户与多个用户类别相匹配的概率，得到多个概率值，其中，所述概率值和所述用户类别一一对应；
在所述多个概率值中，将最大概率对应的所述用户类别确定为所述用户所属的用户类别。
可选地，在所述前馈神经网络的输出层获取所述用户与多个用户类别相匹配的概率，包括：
在所述前馈神经网络的输出层的各个节点，通过柔性最大值函数获取所述用户与所述节点对应用户类别相匹配的概率，其中，所述节点和所述用户类别一一对应。
可选地，所述前馈神经网络为预先通过训练语音数据训练好的网络模型。
可选地，所述选择方法还包括：
获取所述用户通过手动方式选择的喜好音色；
通过所述喜好音色迭代更新所述前馈神经网络，以使所述用户和目标用户类别相匹配的概率值最大，其中，所述目标用户类别和所述多个备选音色的匹配度中，所述喜好音色具有最大匹配度。
根据本发明的第二方面，提供一种音色选择系统，包括：
提取模块，用于从用户的语音中提取表征所述用户语音特征的特征向量；
分类模块，用于根据所述特征向量对所述用户进行分类，得到所述用户所属的用户类别；
确定模块，用于在多个备选音色中，将和所述用户类别匹配度最高的音色确定为由文本所转化音频的音色。
可选地，所述提取模块用于：
将所述用户的语音构建成超向量，并通过通用向量和变换矩阵从所述超向量中解构出表征所述用户语音特征的特征向量，其中，
所述通用向量表征语音中与说话者身份无关部分的信息，所述变换矩阵为将表征用户的语音信息转化为表征用户的语音特征的矩阵。
可选地，所述提取模块用于：
通过对训练语音数据的训练，得到通用背景模型和变换矩阵；
将所述通用背景模型各成分的均值信息进行拼接，得到所述通用向量；
利用说话人自适应技术，从所述用户的语音和所述通用背景模型得到所述用户的高斯混合模型；
将所述高斯混合模型各成分的均值信息进行拼接，得到所述超向量；
将所述超向量和所述通用向量的差值，通过所述变换矩阵进行逆变换，得到所述特征向量。
可选地，所述分类模块用于：
将所述特征向量从前馈神经网络的输入层输入到所述前馈神经网络中；
使用所述前馈神经网络对所述用户进行分类后，在所述前馈神经网络的输出层获取所述用户与多个用户类别相匹配的概率，得到多个概率值，其中，所述概率值和所述用户类别一一对应；
在所述多个概率值中，将最大概率对应的所述用户类别确定为所述用户所属的用户类别。
可选地，所述分类模块用于：
在所述前馈神经网络的输出层的各个节点，通过柔性最大值函数获取所述用户与所述节点对应用户类别相匹配的概率，其中，所述节点和所述用户类别一一对应。
可选地，所述前馈神经网络为预先通过训练语音数据训练好的网络模型。
可选地，所述选择系统还包括：
获取模块，用于获取所述用户通过手动方式选择的喜好音色；
更新模块，用于通过所述喜好音色迭代更新所述前馈神经网络，以使所述用户和目标用户类别相匹配的概率值最大，其中，所述目标用户类别和所述多个备选音色的匹配度中，所述喜好音色具有最大匹配度。
根据本发明的第三方面，提供一种计算机可读存储介质，所述计算机可读存储介质存储有计算机指令，所述计算机指令被执行时实现如第一方面任一实施方式所述的音色选择方法。
根据本发明的第四方面，提供一种音色选择装置，包括：
存储器，用于存储计算机指令；
处理器，耦合到所述存储器，所述处理器被配置为基于所述存储器存储的计算机指令执行实现如第一方面任一实施方式所述的音色选择方法。
本发明的实施例具有以下优点或有益效果：
本发明通过从用户的语音中提取表征用户语音特征的特征向量，根据特征向量对用户进行分类，得到用户所属的用户类别；在多个备选音色中，将和用户类别匹配度最高的音色确定为由文本化音频的音色。即，通过表征用户语音特征的特征向量得到用户所属的用户类别，并依据用户类别实现文本所转化音频音色的自动选择，解决了目前语音合成技术中音色选择自动性较差的技术问题。
附图说明
通过参照以下附图对本发明实施例的描述，本发明的上述以及其它目的、特征和优点将更为清楚，在附图中：
图1是根据本发明实施例的音色选择方法的流程图；
图2是根据本发明实施例的利用GMM得到特征向量的实施原理图；
图3是根据本发明实施例的利用GMM得到特征向量的方法流程图；
图4是根据本发明实施例的前馈神经网络的示意图；
图5是根据本发明实施例的根据特征向量对用户进行分类的方法流程图；
图6是根据本发明实施例的音色选择系统的结构框图；
图7是根据本发明实施例的音色选择装置的结构框图。
具体实施方式
以下基于实施例对本发明进行描述，但是本发明并不仅仅限于这些实施例。在下文对本发明的细节描述中，详尽描述了一些特定的细节部分。对本领域技术人员来说没有这些细节部分的描述也可以完全理解本发明。为了避免混淆本发明的实质，公知的方法、过程、流程没有详细叙述。另外附图不一定是按比例绘制的。
图1所示是本发明实施例的音色选择方法的流程图。参照图1，音色选择方法包括：
步骤S101，从用户的语音中提取表征用户语音特征的特征向量。
步骤S102，根据特征向量对用户进行分类，得到用户所属的用户类别。
步骤S103，在多个备选音色中，将和用户类别匹配度最高的音色确定为由文本所转化音频的音色。
具体地，该音色选择方法可以应用在语音交互系统中。语音交互系统和使用者进行语音交互的过程中，需要采用语音合成技术将文本信息转化为音频信息，该音色选择方法提供了文本所转化音频的音色选择方法。在语音交互系统中，一般先需要录制用户的语音用于语音识别，可以从此时采集的用户语音中提取用户的语音特征。
上述用户类别，例如按照年龄段划分，则包括儿童、青年、中年和老年，不同年龄段的用户有不同的音色。若根据特征向量对用户进行分类，得出用户所属的用户类别为儿童，则在多个备选音色中，将和儿童音色匹配度最高的音色确定为由文本所转化音频的音色，因而，语音交互系统发出语音的音色更贴近用户语音，用户对该语音交互系统发出语音的音色具有更高的熟悉度和亲切感，更符合用户喜好。
本发明实施例，通过表征用户语音特征的特征向量得到用户所属的用户类别，并依据用户类别实现了文本所转化音频的音色自动选择，解决了目前语音合成技术中音色选择自动性较差的技术问题。
在可选的实施例中，步骤S101，从用户的语音中提取表征用户语音特征的特征向量，包括：
将用户的语音构建成超向量，并通过通用向量和变换矩阵从超向量中解构出表征用户语音特征的特征向量，其中，
通用向量表征语音中与说话者身份无关部分的信息，变换矩阵为将表征用户的语音信息转化为表征用户的语音特征的矩阵。
需要说明的是，本实施例的基本原理为：假定用户的语音可以解构成单纯的语义信息和说话人信息，首先，将用户的语音构建成超向量(Super Vector,简称SV)，超向量中包括语义信息和说话人信息；然后，将超向量解构为通用向量和特征向量，其中，通用向量用于表征语音中与说话者身份无关部分的信息(语义信息)，特征向量用于表征语音中用户的语音特征信息(说话人信息)。
上述实施例，通过从用户的语音中提取到的特征向量，表征用户的语音特征。
高斯混合模型(Gaussian Mixture Model,简称GMM)，是将单个普通的高斯模型加权得到的混合函数，组成其的各个成分为普通的高斯函数乘上常数系数。由于高斯混合模型具有良好的建模能力，常被用于语音声学模型的构建。本发明的一个可选实施例中，利用GMM得到特征向量，图2所示为该方法的实施原理图，图3所示为该方法的流程图。参照图2和图3，将用户的语音构建成超向量，并通过通用向量和变换矩阵从超向量中解构出表征用户语音特征的特征向量，包括：
步骤S301，通过对训练语音数据的训练，得到通用背景模型和变换矩阵。
具体地，对训练语音数据的训练，可以采用GMM训练；进而，训练语音数据即为GMM训练过程中所使用的语音数据；通过训练语音数据训练得到一个完整的GMM，即为通用背景模型(Universal Background Model,简称UBM)。
变换矩阵，又称为全差异空间，是由不同说话人的说话人信息和信道差异信息在空间上的统计分布构成的，它的求解是在设置初始值后，利用训练语音数据进行迭代训练得到的。
步骤S302，将通用背景模型各成分的均值信息进行拼接，得到通用向量。
需要说明的是，将通用背景模型各成分的均值信息进行拼接得到通用向量，即，通用向量的各元素为通用背景模型的各组成成分的均值。
步骤S303，从用户的语音和通用背景模型得到用户的高斯混合模型。
该步骤具体可以利用说话人自适应(Speaker Adaptation，简称SA)技术得到用户的高斯混合模型。说话人自适应技术，是对一个利用初始语音数据训练好的初始模型，用一定的新说话人语音数据(即，自适应数据，Adaptation Data)进行更新，得到对新说话人具有较高建模精度的新模型。上述通用背景模型为利用初始的语音数据训练得到的一个完整GMM，基于说话人自适应技术，利用用户的语音对该通用背景模型进行更新，则得到用户的GMM。
步骤S304，将高斯混合模型各成分的均值信息进行拼接，得到超向量。
需要说明的是，将高斯混合模型各成分的均值信息进行拼接得到超向量，与将通用背景模型各成分的均值信息进行拼接得到通用向量类似，即，超向量的各元素为通用背景模型的各组成成分的均值。
步骤S305，将超向量和通用向量的差值，通过变换矩阵进行逆变换，得到特征向量。
具体地，若将超向量记为s，通用向量记为m，变换矩阵记为T，特征向量记为i，则有：s＝m+Ti。
完成上述用户分类任务有许多有效的算法，这里采用简单的前馈神经网络(Feedforward neural network)，图4所示为前馈神经网络的示意图，前馈神经网络由输入层、隐藏层和输出层组成，隐藏层可包含多层。参照图5，通过前馈神经网络，根据特征向量对用户进行分类，得到用户所属的用户类别，包括：
步骤S501，将特征向量从前馈神经网络的输入层输入到前馈神经网络中。其中，前馈神经网络输入层的节点个数和用户语音特征向量的维度相同。
步骤S502，使用前馈神经网络对用户进行分类后，在前馈神经网络的输出层获取用户与多个用户类别相匹配的概率，得到多个概率值，其中，概率值和用户类别一一对应。
具体地，输出层的节点个数和用户类别的数量相同，且节点和用户类别一一对应，在前馈神经网络的输出层的各个节点，可以通过柔性最大值函数获取用户与节点对应用户类别相匹配的概率。
步骤S503，在多个概率值中，将最大概率对应的用户类别确定为用户所属的用户类别。
本发明实施例结合高效简单的分类算法，为音色选择过程提供了一种适用于用户分类的简单有效的方法。
为了让用户分类更加有效，可以先训练前馈神经网络的网络模型，然后使用训练好的前馈神经网络网络模型对用户进行分类。训练前馈神经网络的网络模型的具体实施方法包括：首先获取一批训练语音数据；然后，根据训练语音数据中的语音判断用户属性，如年龄和性别，并根据上述判断的结果将语音数据标注为某一类型；接着用标注好的语音数据对网络模型进行训练，使得分类准确率达到实际可用的值。
通过上述分类算法判断用户类别并自动依据用户类别选择的音色，可能不完全符合用户的喜好，因此用户可能还会手动重新选择音色，在可选的实施例中，音色选择方法还包括：
获取用户通过手动方式选择的喜好音色；
通过喜好音色迭代更新前馈神经网络，以使用户和目标用户类别相匹配的概率值最大，其中，目标用户类别和多个备选音色的匹配度中，喜好音色具有最大匹配度。
本发明实施例根据用户的喜好音色迭代更新前馈神经网络，使得交互的音频音色符合用户需求的概率逐步提高。
图6所示是本发明实施例的音色选择系统的结构框图。参照图6，音色选择系统包括：
提取模块100，用于从用户的语音中提取表征用户语音特征的特征向量；
分类模块200，用于根据特征向量对用户进行分类，得到用户所属的用户类别；
确定模块300，用于在多个备选音色中，将和用户类别匹配度最高的音色确定为由文本所转化音频的音色。
本发明实施例中，音色选择系统通过表征用户语音特征的特征向量得到用户所属的用户类别，并依据用户类别实现由文本所转化音频的音色的自动选择，解决了目前语音合成技术中音色选择自动性较差的技术问题。
在可选的实施例中，提取模块用于：
将所述用户的语音构建成超向量，并通过通用向量和变换矩阵从所述超向量中解构出表征所述用户语音特征的特征向量，其中，
所述通用向量表征语音中与说话者身份无关部分的信息，所述变换矩阵为将表征用户的语音信息转化为表征用户的语音特征的矩阵。
在可选的实施例中，提取模块用于：
通过对训练语音数据的训练，得到通用背景模型和变换矩阵；
将通用背景模型各成分的均值信息进行拼接，得到通用向量；
从用户的语音和通用背景模型得到用户的高斯混合模型；
将高斯混合模型各成分的均值信息进行拼接，得到超向量；
将超向量和通用向量的差值，通过变换矩阵进行逆变换，得到特征向量。
在可选的实施例中，分类模块用于：
将特征向量从前馈神经网络的输入层输入到前馈神经网络中；
使用前馈神经网络对用户进行分类后，在前馈神经网络的输出层获取用户与多个用户类别相匹配的概率，得到多个概率值，其中，概率值和用户类别一一对应；
在多个概率值中，将最大概率对应的用户类别确定为用户所属的用户类别。
在可选的实施例中，分类模块用于：
在前馈神经网络的输出层的各个节点，通过柔性最大值函数获取用户与节点对应用户类别相匹配的概率，其中，节点和用户类别一一对应。
在可选的实施例中，前馈神经网络为预先通过训练语音数据训练好的网络模型。
在可选的实施例中，音色选择系统还包括：
获取模块，用于获取用户通过手动方式选择的喜好音色；
更新模块，用于通过喜好音色迭代更新前馈神经网络，以使用户和目标用户类别相匹配的概率值最大，其中，目标用户类别和多个备选音色的匹配度中，喜好音色具有最大匹配度。
本发明一实施例的音色选择装置，包括：
存储器，用于存储计算机指令；
处理器，耦合到存储器，处理器被配置为基于存储器存储的计算机指令执行上述的音色选择方法。
图7示出的设备仅仅是音色选择装置的一个示例，不应对本发明实施例的功能和使用范围构成任何限制。参考图7，该音色选择装置包括通过总线连接的处理器701、存储器702和输入输出设备703。存储器702包括只读存储器(ROM)和随机访问存储器(RAM)，存储器702内存储有执行系统功能所需的各种计算机指令和数据，处理器701从存储器702中读取各种计算机指令以执行各种适当的动作和处理。输入输出设备703包括键盘、鼠标等的输入部分；包括诸如阴极射线管(CRT)、液晶显示器(LCD)等以及扬声器等的输出部分；包括硬盘等的存储部分；以及包括诸如LAN卡、调制解调器等的网络接口卡的通信部分。存储器702还存储有以下的计算机指令以完成本发明实施例的音色选择方法规定的操作：从用户的语音中提取表征用户语音特征的特征向量；根据特征向量对用户进行分类，得到用户所属的用户类别；在多个备选音色中，将和用户类别匹配度最高的音色确定为由文本所转化音频的音色。
相应地，本发明实施例提供一种计算机可读存储介质，该计算机可读存储介质存储有计算机指令，计算机指令被执行时实现上述音色选择方法所规定的操作。
附图中的流程图、框图图示了本发明实施例的系统、方法、装置的可能的体系框架、功能和操作，流程图和框图上的方框可以代表一个模块、程序段或仅仅是一段代码，模块、程序段和代码都是用来实现规定逻辑功能的可执行指令。也应当注意，实现规定逻辑功能的可执行指令可以重新组合，从而生成新的模块和程序段。因此附图的方框以及方框顺序只是用来更好的图示实施例的过程和步骤，而不应以此作为对发明本身的限制。
系统的各个模块或单元可以通过硬件、固件或软件实现。软件例如包括采用JAVA、C/C++/C#、Python及SQL等各种编程语言形成的编码程序。虽然在方法以及方法图例中给出本发明实施例的步骤以及步骤的顺序，但是步骤实现规定的逻辑功能的可执行指令可以重新组合，从而生成新的步骤。步骤的顺序也不应该仅仅局限于方法以及方法图例中的步骤顺序，可以根据功能的需要随时进行调整。例如将其中的某些步骤并行或按照相反顺序执行。
根据本发明的系统和方法可以部署在单个或多个服务器上。例如，可以将不同的模块分别部署在不同的服务器上，形成专用服务器。或者，可以在多个服务器上分布式部署相同的功能单元、模块或系统，以减轻负载压力。服务器包括但不限于在同一个局域网以及通过Internet连接的多个PC机、PC服务器、刀片机或超级计算机等。
以上仅为本发明的优选实施例，并不用于限制本发明，对于本领域技术人员而言，本发明可以有各种改动和变化。凡在本发明的精神和原理之内所作的任何修改、等同替换及改进等，均应包含在本发明的保护范围之内。
Claims (16)
1.一种音色选择方法，其特征在于，包括：
从用户的语音中提取表征所述用户语音特征的特征向量；
根据所述特征向量对所述用户进行分类，得到所述用户所属的用户类别；
在多个备选音色中，将和所述用户类别匹配度最高的音色确定为由文本所转化音频的音色。
2.根据权利要求1所述的选择方法，其特征在于：从用户的语音中提取表征所述用户语音特征的特征向量，包括：
将所述用户的语音构建成超向量，并通过通用向量和变换矩阵从所述超向量中解构出表征所述用户语音特征的特征向量，其中，
所述通用向量表征语音中与说话者身份无关部分的信息，所述变换矩阵为将表征用户的语音信息转化为表征用户的语音特征的矩阵。
3.根据权利要求2所述的选择方法，其特征在于：将所述用户的语音构建成超向量，并通过通用向量和变换矩阵从所述超向量中解构出表征所述用户语音特征的特征向量，包括：
通过对训练语音数据的训练，得到通用背景模型和变换矩阵；
将所述通用背景模型各成分的均值信息进行拼接，得到所述通用向量；
从所述用户的语音和所述通用背景模型得到所述用户的高斯混合模型；
将所述高斯混合模型各成分的均值信息进行拼接，得到所述超向量；
将所述超向量和所述通用向量的差值，通过所述变换矩阵进行逆变换，得到所述特征向量。
4.根据权利要求1所述的选择方法，其特征在于：根据所述特征向量对所述用户进行分类，得到所述用户所属的用户类别，包括：
将所述特征向量从前馈神经网络的输入层输入到所述前馈神经网络中；
使用所述前馈神经网络对所述用户进行分类后，在所述前馈神经网络的输出层获取所述用户与多个用户类别相匹配的概率，得到多个概率值，其中，所述概率值和所述用户类别一一对应；
在所述多个概率值中，将最大概率对应的所述用户类别确定为所述用户所属的用户类别。
5.根据权利要求4所述的选择方法，其特征在于：在所述前馈神经网络的输出层获取所述用户与多个用户类别相匹配的概率，包括：
在所述前馈神经网络的输出层的各个节点，通过柔性最大值函数获取所述用户与所述节点对应用户类别相匹配的概率，其中，所述节点和所述用户类别一一对应。
6.根据权利要求4所述的选择方法，其特征在于：所述前馈神经网络为预先通过训练语音数据训练好的网络模型。
7.根据权利要求4所述的选择方法，其特征在于：还包括：
获取所述用户通过手动方式选择的喜好音色；
通过所述喜好音色迭代更新所述前馈神经网络，以使所述用户和目标用户类别相匹配的概率值最大，其中，所述目标用户类别和所述多个备选音色的匹配度中，所述喜好音色具有最大匹配度。
8.一种音色选择系统，其特征在于，包括：
提取模块，用于从用户的语音中提取表征所述用户语音特征的特征向量；
分类模块，用于根据所述特征向量对所述用户进行分类，得到所述用户所属的用户类别；
确定模块，用于在多个备选音色中，将和所述用户类别匹配度最高的音色确定为由文本所转化音频的音色。
9.根据权利要求8所述的选择系统，其特征在于：所述提取模块用于：
将所述用户的语音构建成超向量，并通过通用向量和变换矩阵从所述超向量中解构出表征所述用户语音特征的特征向量，其中，
所述通用向量表征语音中与说话者身份无关部分的信息，所述变换矩阵为将表征用户的语音信息转化为表征用户的语音特征的矩阵。
10.根据权利要求9所述的选择系统，其特征在于：所述提取模块用于：
通过对训练语音数据的训练，得到通用背景模型和变换矩阵；
将所述通用背景模型各成分的均值信息进行拼接，得到所述通用向量；
从所述用户的语音和所述通用背景模型得到所述用户的高斯混合模型；
将所述高斯混合模型各成分的均值信息进行拼接，得到所述超向量；
将所述超向量和所述通用向量的差值，通过所述变换矩阵进行逆变换，得到所述特征向量。
11.根据权利要求8所述的选择系统，所述分类模块用于：
将所述特征向量从前馈神经网络的输入层输入到所述前馈神经网络中；
使用所述前馈神经网络对所述用户进行分类后，在所述前馈神经网络的输出层获取所述用户与多个用户类别相匹配的概率，得到多个概率值，其中，所述概率值和所述用户类别一一对应；
在所述多个概率值中，将最大概率对应的所述用户类别确定为所述用户所属的用户类别。
12.根据权利要求11所述的选择系统，其特征在于：所述分类模块用于：
在所述前馈神经网络的输出层的各个节点，通过柔性最大值函数获取所述用户与所述节点对应用户类别相匹配的概率，其中，所述节点和所述用户类别一一对应。
13.根据权利要求11所述的选择系统，其特征在于：所述前馈神经网络为预先通过训练语音数据训练好的网络模型。
14.根据权利要求11所述的选择系统，其特征在于：还包括：
获取模块，用于获取所述用户通过手动方式选择的喜好音色；
更新模块，用于通过所述喜好音色迭代更新所述前馈神经网络，以使所述用户和目标用户类别相匹配的概率值最大，其中，所述目标用户类别和所述多个备选音色的匹配度中，所述喜好音色具有最大匹配度。
15.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机指令，所述计算机指令被执行时实现如权利要求1至7任一项所述的音色选择方法。
16.一种音色选择装置，其特征在于，包括：
存储器，用于存储计算机指令；
处理器，耦合到所述存储器，所述处理器被配置为基于所述存储器存储的计算机指令执行实现如权利要求1-7中任一项所述的音色选择方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910129942.2A CN111599342A (zh) | 2019-02-21 | 2019-02-21 | 音色选择方法和选择系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910129942.2A CN111599342A (zh) | 2019-02-21 | 2019-02-21 | 音色选择方法和选择系统 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN111599342A true CN111599342A (zh) | 2020-08-28 |
Family
ID=72186822
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910129942.2A Pending CN111599342A (zh) | 2019-02-21 | 2019-02-21 | 音色选择方法和选择系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111599342A (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112614481A (zh) * | 2020-12-08 | 2021-04-06 | 浙江合众新能源汽车有限公司 | 一种汽车提示音的语音音色定制方法及系统 |
| CN113920979A (zh) * | 2021-11-11 | 2022-01-11 | 腾讯科技（深圳）有限公司 | 语音数据的获取方法、装置、设备及计算机可读存储介质 |
Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105761720A (zh) * | 2016-04-19 | 2016-07-13 | 北京地平线机器人技术研发有限公司 | 一种基于语音属性分类的交互系统及其方法 |
| CN105869645A (zh) * | 2016-03-25 | 2016-08-17 | 腾讯科技（深圳）有限公司 | 语音数据处理方法和装置 |
| CN106823374A (zh) * | 2017-01-17 | 2017-06-13 | 河海大学 | 基于Android系统的Talking Avatar手游软件的构建方法 |
| CN108460334A (zh) * | 2018-01-23 | 2018-08-28 | 北京易智能科技有限公司 | 一种基于声纹和人脸图像特征融合的年龄预测系统及方法 |
| KR20180113325A (ko) * | 2017-04-06 | 2018-10-16 | 한국과학기술원 | 음성변조를 위한 음성모델 부호화를 이용한 음성합성 기술 및 장치 |
| CN108737872A (zh) * | 2018-06-08 | 2018-11-02 | 百度在线网络技术（北京）有限公司 | 用于输出信息的方法和装置 |
| CN109002857A (zh) * | 2018-07-23 | 2018-12-14 | 厦门大学 | 一种基于深度学习的视频风格变换与自动生成方法及系统 |
| CN109119063A (zh) * | 2018-08-31 | 2019-01-01 | 腾讯科技（深圳）有限公司 | 视频配音生成方法、装置、设备及存储介质 |
-
2019
- 2019-02-21 CN CN201910129942.2A patent/CN111599342A/zh active Pending
Patent Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105869645A (zh) * | 2016-03-25 | 2016-08-17 | 腾讯科技（深圳）有限公司 | 语音数据处理方法和装置 |
| CN105761720A (zh) * | 2016-04-19 | 2016-07-13 | 北京地平线机器人技术研发有限公司 | 一种基于语音属性分类的交互系统及其方法 |
| CN106823374A (zh) * | 2017-01-17 | 2017-06-13 | 河海大学 | 基于Android系统的Talking Avatar手游软件的构建方法 |
| KR20180113325A (ko) * | 2017-04-06 | 2018-10-16 | 한국과학기술원 | 음성변조를 위한 음성모델 부호화를 이용한 음성합성 기술 및 장치 |
| CN108460334A (zh) * | 2018-01-23 | 2018-08-28 | 北京易智能科技有限公司 | 一种基于声纹和人脸图像特征融合的年龄预测系统及方法 |
| CN108737872A (zh) * | 2018-06-08 | 2018-11-02 | 百度在线网络技术（北京）有限公司 | 用于输出信息的方法和装置 |
| CN109002857A (zh) * | 2018-07-23 | 2018-12-14 | 厦门大学 | 一种基于深度学习的视频风格变换与自动生成方法及系统 |
| CN109119063A (zh) * | 2018-08-31 | 2019-01-01 | 腾讯科技（深圳）有限公司 | 视频配音生成方法、装置、设备及存储介质 |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112614481A (zh) * | 2020-12-08 | 2021-04-06 | 浙江合众新能源汽车有限公司 | 一种汽车提示音的语音音色定制方法及系统 |
| CN113920979A (zh) * | 2021-11-11 | 2022-01-11 | 腾讯科技（深圳）有限公司 | 语音数据的获取方法、装置、设备及计算机可读存储介质 |
| CN113920979B (zh) * | 2021-11-11 | 2023-06-02 | 腾讯科技（深圳）有限公司 | 语音数据的获取方法、装置、设备及计算机可读存储介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP5768093B2 (ja) | 音声処理システム | |
| US7603278B2 (en) | Segment set creating method and apparatus | |
| CN106971709A (zh) | 统计参数模型建立方法和装置、语音合成方法和装置 | |
| CN109313892A (zh) | 稳健的语言识别方法和系统 | |
| CN111081230A (zh) | 语音识别方法和设备 | |
| CN111950294A (zh) | 一种基于多参数K-means算法的意图识别方法、装置和电子设备 | |
| JP2022529268A (ja) | 音声を認識する方法及び装置 | |
| CN113822017A (zh) | 基于人工智能的音频生成方法、装置、设备及存储介质 | |
| CN111128175B (zh) | 口语对话管理方法及系统 | |
| CN111508466A (zh) | 一种文本处理方法、装置、设备及计算机可读存储介质 | |
| KR20240073984A (ko) | 관찰된 쿼리 패턴들에 기초하는 타겟 디바이스에 대한 증류 | |
| CN111599342A (zh) | 音色选择方法和选择系统 | |
| CN116303966A (zh) | 基于提示学习的对话行为识别系统 | |
| CN112242134A (zh) | 语音合成方法及装置 | |
| KR20220154655A (ko) | 가족 관계에 기초하여 음성 데이터를 생성하는 장치, 방법 및 컴퓨터 프로그램 | |
| CN115587173A (zh) | 一种对话文本预测方法、装置、设备、存储介质 | |
| JP6786065B2 (ja) | 音声評定装置、音声評定方法、教師変化情報の生産方法、およびプログラム | |
| CN111696517A (zh) | 语音合成方法、装置、计算机设备及计算机可读存储介质 | |
| JP2007026347A (ja) | テキストマイニング装置、テキストマイニング方法およびテキストマイニングプログラム | |
| CN116266266B (zh) | 多音字消歧方法、装置、设备及存储介质 | |
| CN114420086B (zh) | 语音合成方法和装置 | |
| TWI836627B (zh) | 智慧擴充相似詞模型系統及其方法 | |
| US20230117438A1 (en) | Intelligent expanding similar word model system and method thereof | |
| Pathak et al. | Emotion-Aware Text to Speech: Bridging Sentiment Analysis and Voice Synthesis | |
| CN115116426A (zh) | 语音生成方法、装置、电子设备及存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |