CN112614478B - 音频训练数据处理方法、装置、设备以及存储介质 - Google Patents

Abstract

本申请公开了一种音频训练数据处理方法、装置、设备以及存储介质，涉及语音技术和深度学习等人工智能技术领域。具体实现方案为：获取多个待处理音频文件，计算每个待处理音频文件的声纹特征向量；将每个待处理音频文件的声纹特征向量和标准特征向量进行匹配，根据匹配结果从多个待处理音频文件中获取多个候选音频文件；获取多个候选音频文件对应的多个候选文本信息，计算多个候选音频文件和多个候选文本信息的对齐似然值；根据每个候选音频文件的对齐似然值从多个候选音频文件中获取多个目标音频文件。由此，通过基于声纹特征、以及多读、少读等干扰音频数据对待处理音频进行过滤，保证音频训练数据的准确性，提高后续语音合成模型的稳定性。

Description

音频训练数据处理方法、装置、设备以及存储介质

技术领域

本申请涉及数据处理技术领域中的语音技术和深度学习等人工智能技术领域，尤其涉及一种音频训练数据处理方法、装置、设备以及存储介质。

背景技术

人工智能是研究使计算机来模拟人的某些思维过程和智能行为(如学习、推理、思考、规划等)的学科，既有硬件层面的技术也有软件层面的技术。人工智能技术一般包括如传感器、专用人工智能芯片、云计算、分布式存储、大数据处理等技术；人工智能软件技术主要包括计算机视觉技术、语音识别技术、自然语言处理技术以及机器学习/深度学习、大数据处理技术、知识图谱技术等几个大方向。

通常，个性化语音合成可应用于语音定制，通过深度学习技术，对发言人的风格、韵律、音色等个性化语音特征进行学习，并结合标准的文本转换语音合成系统，应用于任意文本的语音合成，不需要耗费大量的时间去专业录音棚录制语音，然后花费很长周期制作语音包。

相关个性化语音合成技术中，为了保证语音效果，获取比较大的录音数量，因此，用户出现录音口误、外界噪声混入等各种干扰因素发生的概率会增大，用户在录音风格的一致性也会出现变化，导致训练的模型稳定性比较差。

发明内容

本公开提供了一种用于音频训练数据处理的方法、装置、设备以及存储介质。

根据本公开的一方面，提供了一种音频训练数据处理方法，包括：

获取多个待处理音频文件，并计算每个待处理音频文件的声纹特征向量；

将所述每个待处理音频文件的声纹特征向量和标准特征向量进行匹配，根据匹配结果从所述多个待处理音频文件中获取多个候选音频文件；

获取所述多个候选音频文件对应的多个候选文本信息，计算所述多个候选音频文件和所述多个候选文本信息的对齐似然值；

根据每个候选音频文件的对齐似然值从所述多个候选音频文件中获取多个目标音频文件。

根据本公开的另一方面，提供了一种音频训练数据处理装置，包括：

第一获取模块，用于获取多个待处理音频文件；

第一计算模块，用于计算每个待处理音频文件的声纹特征向量；

匹配模块，用于将所述每个待处理音频文件的声纹特征向量和标准特征向量进行匹配，根据匹配结果从所述多个待处理音频文件中获取多个候选音频文件；

第二获取模块，用于获取所述多个候选音频文件对应的多个候选文本信息；

第二计算模块，用于计算所述多个候选音频文件和所述多个候选文本信息的对齐似然值；

第三获取模块，用于根据每个候选音频文件的对齐似然值从所述多个候选音频文件中获取多个目标音频文件。

根据第三方面，提供了一种电子设备，包括：至少一个处理器；以及与所述至少一个处理器通信连接的存储器；其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行上述实施例描述的音频训练数据处理方法。

根据第四方面，提出了一种存储有计算机指令的非瞬时计算机可读存储介质，所述计算机指令用于使所述计算机执行上述实施例描述的音频训练数据处理方法。

根据第五方面，提出了一种计算机程序产品，包括计算机程序，当所述计算机程序产品中的指令由处理器执行时，使得服务器能够执行上述实施例描述的音频训练数据处理方法的步骤。

应当理解，本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征，也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。

附图说明

附图用于更好地理解本方案，不构成对本申请的限定。其中：

图1是根据本申请第一实施例的音频训练数据处理方法的流程示意图；

图2是根据本申请第二实施例的音频训练数据处理方法的流程示意图；

图3是根据本申请第三实施例的音频训练数据处理方法的流程示意图；

图4是根据本申请第四实施例的音频训练数据处理装置的结构示意图；

图5是根据本申请第五实施例的音频训练数据处理装置的结构示意图；

图6是用来实现本申请实施例的音频训练数据处理方法的电子设备的框图。

具体实施方式

以下结合附图对本申请的示范性实施例做出说明，其中包括本申请实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本申请的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。

在实际应用中，为了满足用户个性化需求，可以对用户语音的风格、韵律、音色等个性化语音特征进行学习，并结合标准的文本转换语音合成系统，然而，为了保证语音效果，获取比较大的录音数量，存在用户出现录音口误、外界噪声混入等各种干扰因素的音频训练数据，以及用户在录音风格的一致性也会出现变化，导致训练的模型稳定性比较差。

针对上述问题，本申请提出一种音频训练数据处理方法，通过根据用户的声纹特征对待处理音频文件进行筛选，进一步将筛选后的音频训练数据中存在多读、少读、读错、混入噪声等有问题的音频数据删除，最后将目标音频文件作为样本进行语音合成模型训练，从而保证音频训练数据的准确性，从而提高后续语音合成模型的稳定性。

具体地，图1是根据本申请第一实施例的音频训练数据处理方法的流程图，音频训练数据处理方法用于电子设备中，其中，电子设备可以为任一具有计算能力的设备，例如可以为个人电脑(PersonalComputer，简称PC)、移动终端等，移动终端例如可以为手机、平板电脑、个人数字助理、穿戴式设备、车载设备等具有各种操作系统、触摸屏和/或显示屏的硬件设备比如智能电视、智能冰箱等。

如图1所示，该方法包括：

步骤101，获取多个待处理音频文件，并计算每个待处理音频文件的声纹特征向量。

在本申请实施例中，获取多个待处理音频文件的方式有很多种，可以根据应用场景选择设置，举例说明如下。

第一种示例，待处理音频文件可以理解为电子设备通过麦克风等声音采集设备获取用户根据多个不同文本进行朗读的音频文件。

第二种示例，可以基于用户在使用电子设备的过程中，基于文本录制音频的场景中，采集用户在不同时间段内进行录制的音频文件。

在本申请实施例中，多个待处理音频文件可以理解为具有一定数量的音频文件，比如80、100等。

在本申请实施例中，个性化语音合成需要对用户声音的风格、韵律、音色等个性化语音特征进行学习，因此，为了保证后续个性化语音合成模型的准确性，针对待处理音频文件中，声纹特征明显存在差异的音频文件进行过滤掉。

在本申请实施例中，计算每个待处理音频文件的声纹特征向量的方式有很多种，举例说明如下。

第一种示例，将每个待处理音频文件输入声学模型进行处理，获取每个待处理音频文件的声学特征和词法特征。

第二种示例，将每个待处理音频文件输入声学模型进行处理，获取每个待处理音频文件的韵律信息。

在本申请实施例中，声纹特征向量包括声学特征、词法特征、韵律信息、方言和口音信息、通道信息中的一种或者多种组合，具体可以根据应用场景选择设置。

步骤102，将每个待处理音频文件的声纹特征向量和标准特征向量进行匹配，根据匹配结果从多个待处理音频文件中获取多个候选音频文件。

在本申请实施例中，标准特征向量可以是预先设置，也可以是根据多个待处理音频文件中的声纹特征向量进行处理获取，具体根据应用场景选择设置。

在本申请实施例中，标准特征向量可以理解为与用户声音的风格、韵律、音色等个性化语音特征最相似的特征向量。

在本申请实施例中，将每个待处理音频文件的声纹特征向量和标准特征向量进行匹配，根据匹配结果从多个待处理音频文件中获取多个候选音频文件的方式有很多种，具体根据应用场景选择设置，举例说明如下：

第一种示例，计算每个待处理音频文件的声纹特征向量与标准特征向量的余弦相似度；其中，余弦相似度与声纹特征相似度成正比，按照余弦相似度对每个待处理音频文件进行排序，根据排序结果从多个待处理音频文件中获取目标数量的候选音频文件。

第二种示例，计算每个待处理音频文件的声纹特征向量与标准特征向量的平方差，按照平方差大小对每个待处理音频文件进行排序，根据排序结果从多个待处理音频文件中获取目标数量的候选音频文件。

步骤103，获取多个候选音频文件对应的多个候选文本信息，计算多个候选音频文件和多个候选文本信息的对齐似然值。

步骤104，根据每个候选音频文件的对齐似然值从多个候选音频文件中获取多个目标音频文件。

在本申请实施例中，基于上述描述，可以确定每个待处理的音频文件都有对应的文本信息，比如文本信息1“今天天气真好”、文本信息2“播放歌曲XX”，可以理解的是，文本信息对应的音频文件可能是由于用户多读、少读、读错、混入噪声等有问题导致音频文件转成的文本和原来实际文本存在差异，比如用户多读录制的音频文件对应的文本为“今天天气真真好”，从而存在与原来本文信息有差异，需要将这种音频文件从多个候选音频文件中删除。

在本申请实施例中，计算多个候选音频文件和多个候选文本信息的对齐似然值的方式有很多种，具体根据应用场景选择设置，举例说明如下：

第一种示例，将多个候选音频文件和多个候选文本信息一一对应关系输入识别对齐模型，获取每个候选音频文件的对齐似然值。

第二种示例，获取多个候选音频文件进行语音文本转换得到多个目标文本信息，通过公式计算目标文本信息与对应的候选文本信息之间的对齐似然值。

进一步地，根据每个候选音频文件的对齐似然值从多个候选音频文件中获取多个目标音频文件的方式有很多种，可以根据应用场景需要选择设置，举例说明如下。

第一种示例，按照对齐似然值对每个候选音频文件进行排序，根据排序结果从多个候选音频文件中获取目标数量的目标音频文件。

第二种示例，根据每个候选音频文件的重要性，赋予一定权重，根据权重和对齐似然值进行计算，并根据计算结果对每个候选音频进行排序，根据排序结果从多个候选音频文件中获取目标数量的目标音频文件。

综上所述，本申请的音频训练数据处理方法，通过获取多个待处理音频文件，并计算每个待处理音频文件的声纹特征向量；将每个待处理音频文件的声纹特征向量和标准特征向量进行匹配，根据匹配结果从多个待处理音频文件中获取多个候选音频文件；获取多个候选音频文件对应的多个候选文本信息，计算多个候选音频文件和多个候选文本信息的对齐似然值；根据每个候选音频文件的对齐似然值从多个候选音频文件中获取多个目标音频文件。由此，通过基于声纹特征、以及多读、少读等干扰音频数据对待处理音频进行过滤，从而保证音频训练数据的准确性，从而提高后续语音合成模型的稳定性。

图2是根据本申请第二实施例的音频训练数据处理方法的流程图，如图2所示，该方法包括：

步骤201，获取多个待处理音频文件，将每个待处理音频文件输入声学模型进行处理，获取每个待处理音频文件的声纹特征向量。

步骤202，计算每个待处理音频文件的声纹特征向量与标准特征向量的余弦相似度；其中，余弦相似度与声纹特征相似度成正比。

步骤203，按照余弦相似度对每个待处理音频文件进行排序，根据排序结果从多个待处理音频文件中获取目标数量的候选音频文件。

在本申请实施例中，获取多个待处理音频文件的方式有很多种，可以根据应用场景选择设置，举例说明如下。

第一种示例，待处理音频文件可以理解为电子设备通过麦克风等声音采集设备获取用户根据多个不同文本进行朗读的音频文件。

第二种示例，可以基于用户在使用电子设备的过程中，基于文本录制音频的场景中，采集用户在不同时间段内进行录制的音频文件。

在本申请实施例中，多个待处理音频文件可以理解为具有一定数量的音频文件，比如80、100等。

在本申请实施例中，声学模型可以是神经网络、高斯混合模型等，具体根据应用需要选择设置。

作为一种举例说明，从100个待处理音频文件中筛选掉风格相似度较差的25个待处理音频文件，将100个待处理音频文件输入声学模型，得到100个待处理音频文件中每个待处理音频文件的声纹特征向量。

在本申请实施例中，声纹特征向量包括声学特征、词法特征、韵律信息、方言和口音信息、通道信息中的一种或者多种组合，具体可以根据应用场景选择设置。

在本申请实施例中，计算100个待处理音频文件中每个待处理音频文件的声纹特征向量与标准特征向量的余弦相似度，并按照余弦相似度的数值大小降序排序，数值最大代表与用户声纹特征的基准值最为相似的音频文件，数据最小代表与用户声纹特征的基准值差异最大的音频文件。

在本申请实施例中，删除掉100个待处理音频文件中后25个余弦相似度的数值对应的音频文件，这25个待处理音频文件视为在风格特征上与基准值差距最大的音频文件，最终得到75个候选音频文件。

在本申请示例中，上述例子的目标数量为25，具体可以根据应用场景设置选择。

由此，选择一个标准特征向量作为用户声纹特征的代表，并计算每一音频文件的声纹特征向量与标准特征向量的相似度，并删除掉较小数值对应的音频文件，可以排除掉音色、风格等特征不同的数据干扰，使得音频训练数据在风格上可以保持统一，利于模型拟合。

步骤204，将多个候选音频文件和多个候选文本信息一一对应关系输入识别对齐模型，获取每个候选音频文件的对齐似然值。

步骤205，按照对齐似然值对每个候选音频文件进行排序，根据排序结果从多个候选音频文件中获取目标数量的目标音频文件。

在本申请实施例中，识别对齐模型可以预先基于文本和语音样本通过神经网络训练生成。

在本申请实施例中，继续以上述例子为例进行详细说明，将75个候选音频文件和其对应文本信息送入识别对齐模型，得到75个候选音频文件对应的对齐似然值，将对齐似然值按从大到小降序排列，删除掉序列中后25个数值对应的音频文件，这25个音频文件视为在音频质量较差的数据，最终得到50个目标音频文件，将50个目标音频文件送入模型训练。

在本申请示例中，上述例子的目标数量为25，具体可以根据应用场景设置选择。

由此，通过识别对齐模型在一定程度下可以反映出候选音频文件的质量，通常出现多读字、少读字、读错字、声音分辨不清等有问题的音频文件，其对齐似然值相比于正常音频会低很多，实现从一定程序上排除因口误、外部环境干扰等各种因素的干扰。

综上所述，本申请的音频训练数据方法，按照一定规则清洗掉风格、语速、音色等用户特征明显与其他音频不同的音频文件，以及多读、少读、读错、混入噪声等有问题的音频文件，并将筛选完毕的音频文件送入调试好的模型中训练，得到最终个性化语音合成模型，在音频训练数据方面，既能保证多音频文件数量带来的数据增益效果，又排除了用户口误等意外情况导致的干扰数据。

基于上述实施例的描述，标准特征向量可以理解为与用户声音的风格、韵律、音色等个性化语音特征最相似的特征向量。下面结合具体实施例描述，如何确定标准特征向量。

图3是根据本申请第三实施例的音频训练数据处理方法的流程图，如图3所示，该方法包括：

步骤301，将每个待处理音频文件输入声学模型进行处理，获取每个待处理音频文件的声纹特征向量。

步骤302，获取预设数量的声纹特征向量，计算预设数量的声纹特征向量的平均值作为标准特征向量。

在本申请实施例中，通过选取预设数量的声纹特征向量进行计算得到标准特征向量，比如上述例子，选取第11个到第30个待处理音频文件对应的声纹特征向量作为用户声纹特征的基准区间，并求第11个到第30个总共20个待处理音频文件对应的声纹特征向量的平均值作为标准特征向量，进一步提高音频训练数据处理的准确性。

为了实现上述实施例，本申请还提出了一种音频训练数据处理装置。图4是根据本申请第四实施例的音频训练数据处理装置的结构示意图，如图4所示，该音频训练数据处理装置包括：第一获取模块401、第一计算模块402、匹配模块403、第二获取模块404、第二计算模块405和第三获取模块406。

第一获取模块401，用于获取多个待处理音频文件。

第一计算模块402，用于计算每个待处理音频文件的声纹特征向量。

匹配模块403，用于将每个待处理音频文件的声纹特征向量和标准特征向量进行匹配，根据匹配结果从多个待处理音频文件中获取多个候选音频文件。

第二获取模块404，用于获取多个候选音频文件对应的多个候选文本信息。

第二计算模块405，用于计算多个候选音频文件和多个候选文本信息的对齐似然值。

第三获取模块406，用于根据每个候选音频文件的对齐似然值从多个候选音频文件中获取多个目标音频文件。

在本申请的一个实施例中，第一计算模块402，具体用于：将每个待处理音频文件输入声学模型进行处理，获取每个待处理音频文件的声纹特征向量；其中，声纹特征向量包括声学特征、词法特征、韵律信息、方言和口音信息、通道信息中的一种或者多种组合。

在本申请的一个实施例中，匹配模块403，具体用于：计算每个待处理音频文件的声纹特征向量与标准特征向量的余弦相似度；其中，余弦相似度与声纹特征相似度成正比，按照余弦相似度对每个待处理音频文件进行排序，根据排序结果从多个待处理音频文件中获取目标数量的候选音频文件。

在本申请的一个实施例中，第二计算模块405，具体用于：将多个候选音频文件和多个候选文本信息一一对应关系输入识别对齐模型，获取每个候选音频文件的对齐似然值。

在本申请的一个实施例中，第三获取模块406，具体用于：按照所述对齐似然值对每个候选音频文件进行排序，根据排序结果从多个候选音频文件中获取目标数量的目标音频文件。

需要说明的是，前述对音频训练数据处理方法的解释说明，也适用于本发明实施例的音频训练数据处理装置，其实现原理类似，在此不再赘述。

综上所述，本申请的音频训练数据处理装置，通过获取多个待处理音频文件，并计算每个待处理音频文件的声纹特征向量；将每个待处理音频文件的声纹特征向量和标准特征向量进行匹配，根据匹配结果从多个待处理音频文件中获取多个候选音频文件；获取多个候选音频文件对应的多个候选文本信息，计算多个候选音频文件和多个候选文本信息的对齐似然值；根据每个候选音频文件的对齐似然值从多个候选音频文件中获取多个目标音频文件。由此，通过基于声纹特征、以及多读、少读等干扰音频数据对待处理音频进行过滤，从而保证音频训练数据的准确性，从而提高后续语音合成模型的稳定性。

基于上述实施例的描述，标准特征向量可以理解为与用户声音的风格、韵律、音色等个性化语音特征最相似的特征向量。下面结合具体实施例描述，如何确定标准特征向量。

如图5所示，该音频训练数据处理装置包括：第一获取模块501、第一计算模块502、匹配模块503、第二获取模块504、第二计算模块505、第三获取模块506、第四获取模块507和第三计算模块508。

其中，第一获取模块501、第一计算模块502、匹配模块503、第二获取模块504、第二计算模块505、第三获取模块506与上述实施例的第一获取模块401、第一计算模块402、匹配模块403、第二获取模块404、第二计算模块405和第三获取模块406相对应，具体参见上述装置实施例描述，此处不再详述。

第四获取模块507，用于获取预设数量的声纹特征向量。

第三计算模块508，用于计算预设数量的声纹特征向量的平均值作为标准特征向量。

由此，进一步提高音频训练数据处理的准确性。

根据本申请的实施例，本申请还提供了一种电子设备和一种可读存储介质。

如图6所示，是根据本申请实施例的音频训练数据处理方法的电子设备的框图。电子设备旨在表示各种形式的数字计算机，诸如，膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置，诸如，个人数字处理、蜂窝电话、智能电话、可穿戴设备和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例，并且不意在限制本文中描述的和/或者要求的本申请的实现。

如图6所示，该电子设备包括：一个或多个处理器601、存储器602，以及用于连接各部件的接口，包括高速接口和低速接口。各个部件利用不同的总线互相连接，并且可以被安装在公共主板上或者根据需要以其它方式安装。处理器可以对在电子设备内执行的指令进行处理，包括存储在存储器中或者存储器上以在外部输入/输出装置(诸如，耦合至接口的显示设备)上显示GUI的图形信息的指令。在其它实施方式中，若需要，可以将多个处理器和/或多条总线与多个存储器和多个存储器一起使用。同样，可以连接多个电子设备，各个设备提供部分必要的操作(例如，作为服务器阵列、一组刀片式服务器、或者多处理器系统)。图6中以一个处理器601为例。

存储器602即为本申请所提供的非瞬时计算机可读存储介质。其中，所述存储器存储有可由至少一个处理器执行的指令，以使所述至少一个处理器执行本申请所提供的音频训练数据处理的方法。本申请的非瞬时计算机可读存储介质存储计算机指令，该计算机指令用于使计算机执行本申请所提供的音频训练数据处理的方法。

存储器602作为一种非瞬时计算机可读存储介质，可用于存储非瞬时软件程序、非瞬时计算机可执行程序以及模块，如本申请实施例中的音频训练数据处理的方法对应的程序指令/模块(例如，附图4所示的第一获取模块401、第一计算模块402、匹配模块403、第二获取模块404、第二计算模块405和第三获取模块406)。处理器601通过运行存储在存储器602中的非瞬时软件程序、指令以及模块，从而执行服务器的各种功能应用以及数据处理，即实现上述方法实施例中的音频训练数据处理方法。

存储器602可以包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需要的应用程序；存储数据区可存储根据音频训练数据处理的电子设备的使用所创建的数据等。此外，存储器602可以包括高速随机存取存储器，还可以包括非瞬时存储器，例如至少一个磁盘存储器件、闪存器件、或其他非瞬时固态存储器件。在一些实施例中，存储器602可选包括相对于处理器601远程设置的存储器，这些远程存储器可以通过网络连接至音频训练数据处理的电子设备。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。

音频训练数据处理方法的电子设备还可以包括：输入装置603和输出装置604。处理器601、存储器602、输入装置603和输出装置604可以通过总线或者其他方式连接，图6中以通过总线连接为例。

输入装置603可接收输入的数字或字符信息，以及产生与音频训练数据处理的电子设备的用户设置以及功能控制有关的键信号输入，例如触摸屏、小键盘、鼠标、轨迹板、触摸板、指示杆、一个或者多个鼠标按钮、轨迹球、操纵杆等输入装置。输出装置604可以包括显示设备、辅助照明装置(例如，LED)和触觉反馈装置(例如，振动电机)等。该显示设备可以包括但不限于，液晶显示器(LCD)、发光二极管(LED)显示器和等离子体显示器。在一些实施方式中，显示设备可以是触摸屏。

此处描述的系统和技术的各种实施方式可以在数字电子电路系统、集成电路系统、专用ASIC(专用集成电路)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括：实施在一个或者多个计算机程序中，该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程系统上执行和/或解释，该可编程处理器可以是专用或者通用可编程处理器，可以从存储系统、至少一个输入装置、和至少一个输出装置接收数据和指令，并且将数据和指令传输至该存储系统、该至少一个输入装置、和该至少一个输出装置。这些计算程序(也称作程序、软件、软件应用、或者代码)包括可编程处理器的机器指令，并且可以利用高级过程和/或面向对象的编程语言、和/或汇编/机器语言来实施这些计算程序。如本文使用的，术语“机器可读介质”和“计算机可读介质”指的是用于将机器指令和/或数据提供给可编程处理器的任何计算机程序产品、设备、和/或装置(例如，磁盘、光盘、存储器、可编程逻辑装置(PLD))，包括，接收作为机器可读信号的机器指令的机器可读介质。术语“机器可读信号”指的是用于将机器指令和/或数据提供给可编程处理器的任何信号。

为了提供与用户的交互，可以在计算机上实施此处描述的系统和技术，该计算机具有：用于向用户显示信息的显示装置(例如，CRT(阴极射线管)或者LCD(液晶显示器)监视器)；以及键盘和指向装置(例如，鼠标或者轨迹球)，用户可以通过该键盘和该指向装置来将输入提供给计算机。其它种类的装置还可以用于提供与用户的交互；例如，提供给用户的反馈可以是任何形式的传感反馈(例如，视觉反馈、听觉反馈、或者触觉反馈)；并且可以用任何形式(包括声输入、语音输入或者、触觉输入)来接收来自用户的输入。

可以将此处描述的系统和技术实施在包括后台部件的计算系统(例如，作为数据服务器)、或者包括中间件部件的计算系统(例如，应用服务器)、或者包括前端部件的计算系统(例如，具有图形用户界面或者网络浏览器的用户计算机，用户可以通过该图形用户界面或者该网络浏览器来与此处描述的系统和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算系统中。可以通过任何形式或者介质的数字数据通信(例如，通信网络)来将系统的部件相互连接。通信网络的示例包括：局域网(LAN)、广域网(WAN)、互联网以及区块链网络。

计算机系统可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端－服务器关系的计算机程序来产生客户端和服务器的关系。其中，服务器可以是云服务器，又称为云计算服务器或云主机，是云计算服务体系中的一项主机产品，以解决了传统物理主机与VPS(VirtualPrivate Server虚拟专用服务器)服务中，存在的管理难度大，业务扩展性弱的缺陷，服务器也可以为分布式系统的服务器，或者是结合了区块链的服务器。

本申请还提供一种计算机程序产品，包括计算机程序，所述计算机程序被处理器执行时实现上述所述的音频训练数据处理方法的步骤。

根据本申请实施例的技术方案，通过获取多个待处理音频文件，并计算每个待处理音频文件的声纹特征向量；将每个待处理音频文件的声纹特征向量和标准特征向量进行匹配，根据匹配结果从多个待处理音频文件中获取多个候选音频文件；获取多个候选音频文件对应的多个候选文本信息，计算多个候选音频文件和多个候选文本信息的对齐似然值；根据每个候选音频文件的对齐似然值从多个候选音频文件中获取多个目标音频文件。由此，通过基于声纹特征、以及多读、少读等干扰音频数据对待处理音频进行过滤，从而保证音频训练数据的准确性，从而提高后续语音合成模型的稳定性。

应该理解，可以使用上面所示的各种形式的流程，重新排序、增加或删除步骤。例如，本发申请中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行，只要能够实现本申请公开的技术方案所期望的结果，本文在此不进行限制。

上述具体实施方式，并不构成对本申请保护范围的限制。本领域技术人员应该明白的是，根据设计要求和其他因素，可以进行各种修改、组合、子组合和替代。任何在本申请的精神和原则之内所作的修改、等同替换和改进等，均应包含在本申请保护范围之内。

Claims (14)

1.一种音频训练数据处理方法，包括：

获取多个待处理音频文件，并计算每个待处理音频文件的声纹特征向量；

将所述每个待处理音频文件的声纹特征向量和标准特征向量进行匹配，根据匹配结果从所述多个待处理音频文件中获取多个候选音频文件；

获取所述多个候选音频文件对应的多个候选文本信息，计算所述多个候选音频文件和所述多个候选文本信息的对齐似然值；

根据每个候选音频文件的对齐似然值从所述多个候选音频文件中获取多个目标音频文件。

2.如权利要求1所述的方法，其中，所述计算每个待处理音频文件的声纹特征向量，包括：

将所述每个待处理音频文件输入声学模型进行处理，获取所述每个待处理音频文件的声纹特征向量；其中，所述声纹特征向量包括声学特征、词法特征、韵律信息、方言和口音信息、通道信息中的一种或者多种组合。

3.如权利要求1或2所述的方法，在将所述每个待处理音频文件的声纹特征向量和标准特征向量进行匹配之前，还包括：

获取预设数量的声纹特征向量；

计算所述预设数量的声纹特征向量的平均值作为所述标准特征向量。

4.如权利要求1所述的方法，其中，所述将所述每个待处理音频文件的声纹特征向量和标准特征向量进行匹配，根据匹配结果从所述多个待处理音频文件中获取多个候选音频文件，包括：

计算所述每个待处理音频文件的声纹特征向量与所述标准特征向量的余弦相似度；其中，所述余弦相似度与所述声纹特征相似度成正比；

按照所述余弦相似度对所述每个待处理音频文件进行排序，根据排序结果从所述多个待处理音频文件中获取目标数量的候选音频文件。

5.如权利要求1所述的方法，其中，所述计算所述多个候选音频文件和所述多个候选文本信息的对齐似然值，包括：

将所述多个候选音频文件和所述多个候选文本信息一一对应关系输入识别对齐模型，获取所述每个候选音频文件的对齐似然值。

6.如权利要求5所述的方法，所述根据每个候选音频文件的对齐似然值从所述多个候选音频文件中获取多个目标音频文件，包括：

按照所述对齐似然值对所述每个候选音频文件进行排序，根据排序结果从所述多个候选音频文件中获取目标数量的目标音频文件。

7.一种音频训练数据处理装置，包括：

第一获取模块，用于获取多个待处理音频文件；

第一计算模块，用于计算每个待处理音频文件的声纹特征向量；

匹配模块，用于将所述每个待处理音频文件的声纹特征向量和标准特征向量进行匹配，根据匹配结果从所述多个待处理音频文件中获取多个候选音频文件；

第二获取模块，用于获取所述多个候选音频文件对应的多个候选文本信息；

第二计算模块，用于计算所述多个候选音频文件和所述多个候选文本信息的对齐似然值；

第三获取模块，用于根据每个候选音频文件的对齐似然值从所述多个候选音频文件中获取多个目标音频文件。

8.如权利要求7所述的装置，其中，所述第一计算模块，具体用于：

将所述每个待处理音频文件输入声学模型进行处理，获取所述每个待处理音频文件的声纹特征向量；其中，所述声纹特征向量包括声学特征、词法特征、韵律信息、方言和口音信息、通道信息中的一种或者多种组合。

9.如权利要求7或8所述的装置，还包括：

第四获取模块，用于获取预设数量的声纹特征向量；

第三计算模块，用于计算所述预设数量的声纹特征向量的平均值作为所述标准特征向量。

10.如权利要求7所述的装置，其中，所述匹配模块，具体用于：

计算所述每个待处理音频文件的声纹特征向量与所述标准特征向量的余弦相似度；其中，所述余弦相似度与所述声纹特征相似度成正比；

按照所述余弦相似度对所述每个待处理音频文件进行排序，根据排序结果从所述多个待处理音频文件中获取目标数量的候选音频文件。

11.如权利要求7所述的装置，其中，所述第二计算模块，具体用于：

将所述多个候选音频文件和所述多个候选文本信息一一对应关系输入识别对齐模型，获取所述每个候选音频文件的对齐似然值。

12.如权利要求11所述的装置，第三获取模块，具体用于：

按照所述对齐似然值对所述每个候选音频文件进行排序，根据排序结果从所述多个候选音频文件中获取目标数量的目标音频文件。

13.一种电子设备，其特征在于，包括：

至少一个处理器；以及

与所述至少一个处理器通信连接的存储器；其中，

所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行权利要求1－6中任一项所述的音频训练数据处理方法。

14.一种存储有计算机指令的非瞬时计算机可读存储介质，其特征在于，所述计算机指令用于使所述计算机执行权利要求1－6中任一项所述的音频训练数据处理方法。

Images