CN112116916B - 确定语音增强算法的性能参数的方法、装置、介质及设备 - Google Patents
确定语音增强算法的性能参数的方法、装置、介质及设备 Download PDFInfo
- Publication number
- CN112116916B CN112116916B CN201910478562.XA CN201910478562A CN112116916B CN 112116916 B CN112116916 B CN 112116916B CN 201910478562 A CN201910478562 A CN 201910478562A CN 112116916 B CN112116916 B CN 112116916B
- Authority
- CN
- China
- Prior art keywords
- sets
- verification
- data
- voice
- voice data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 51
- 238000012795 verification Methods 0.000 claims abstract description 262
- 238000012549 training Methods 0.000 claims abstract description 178
- 238000013441 quality evaluation Methods 0.000 claims abstract description 38
- 238000012545 processing Methods 0.000 claims description 48
- 238000012986 modification Methods 0.000 claims description 19
- 230000004048 modification Effects 0.000 claims description 19
- 238000010200 validation analysis Methods 0.000 claims description 14
- 238000001303 quality assessment method Methods 0.000 claims description 8
- 230000002194 synthesizing effect Effects 0.000 claims 1
- 238000004891 communication Methods 0.000 description 10
- 238000010586 diagram Methods 0.000 description 8
- 238000005516 engineering process Methods 0.000 description 6
- 238000013527 convolutional neural network Methods 0.000 description 5
- 230000003287 optical effect Effects 0.000 description 4
- 230000005236 sound signal Effects 0.000 description 4
- 238000004364 calculation method Methods 0.000 description 3
- 238000013524 data verification Methods 0.000 description 3
- 230000008569 process Effects 0.000 description 3
- 230000001133 acceleration Effects 0.000 description 2
- 238000013528 artificial neural network Methods 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 238000011156 evaluation Methods 0.000 description 2
- 230000003993 interaction Effects 0.000 description 2
- 238000007726 management method Methods 0.000 description 2
- 230000008447 perception Effects 0.000 description 2
- 230000000306 recurrent effect Effects 0.000 description 2
- 230000009471 action Effects 0.000 description 1
- 230000006978 adaptation Effects 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 239000011121 hardwood Substances 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 235000012434 pretzels Nutrition 0.000 description 1
- 230000003595 spectral effect Effects 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
- G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/06—Creation of reference templates; Training of speech recognition systems, e.g. adaptation to the characteristics of the speaker's voice
- G10L15/063—Training
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/26—Speech to text systems
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
- H04L41/14—Network analysis or design
- H04L41/145—Network analysis or design involving simulating, designing, planning or modelling of a network
Landscapes
- Engineering & Computer Science (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Computational Linguistics (AREA)
- Health & Medical Sciences (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- Acoustics & Sound (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Quality & Reliability (AREA)
- Computer Networks & Wireless Communication (AREA)
- Artificial Intelligence (AREA)
- Telephonic Communication Services (AREA)
Abstract
本文公开了一种确定语音增强算法的性能参数的方法、装置、介质及设备,此方法包括：获取N个增强带噪语音数据的第一验证集合中每个语音数据的识别结果值；根据N个第一验证集合中的T个第二验证集合，获取T个第三验证集合；根据N‑T个第四验证集合获取N‑T个第一训练集合；通过将N‑T个第一训练集合中每个增强带噪语音数据的语音特征和相应的无噪语音数据的语音特征组合成组合式语音特征；根据N‑T组合式语音特征集合和相应的目标值，训练有参考的质量评价网络模型；根据有参考的质量评价网络模型和T个第三验证集合获取语音增强算法的性能参数。本文可以准确的评价应用于唤醒的语音增强算法的性能，提高移动终端的智能性，提高用户的使用体验。
Description
技术领域
本公开涉及语音处理技术领域，尤其涉及一种确定语音增强算法的性能参数的方法、装置、介质及设备。
背景技术
随着智能设备的智能化程度的不断提高，智能设备接受语音控制的准确性和稳定性也不断提高。
智能设备在接收语音控制数据后，为了提高识别准确度，会对此语音控制数据进行增强处理。随着用户需求的不断增加，智能设备需要具有评估增强处理算法的性能的能力。
现有的有参考客观质量评价指标包括：语音质量感知评价(PESQ，PerceptualEvaluation of Speech Quality),短时客观可理解程度(STOI，Short-Time ObjectiveIntelligibility Measure)。其中PESQ是基于主客观拟合，更偏向于人耳听觉感知；而STOI是基于谱距离的，更注重于语音的可懂度。
上述评估方式都没有针对唤醒来评估客观质量，所以需要一种更智能并且准确度更高的用于唤醒的语音增强算法的方案。
发明内容
为克服相关技术中存在的问题，本公开提供一种确定语音增强算法的性能参数的方法、装置、介质及设备。
根据本公开实施例的第一方面，提供了一种获取语音增强算法的性能参数的方法，包括：
获取N个增强带噪语音数据的第一验证集合中每个语音数据的识别结果值；其中，N个所述第一验证集合是对带噪语音数据集合采用N种增强算法进行增强处理后的数据集合，所述识别结果值包括：识别结果值为用于表示语音数据的值或用于表示非语音数据的值；所述N为大于1的整数；
根据N个所述第一验证集合中的T个第二验证集合，获取T个第三验证集合；根据N-T个第四验证集合获取N-T个第一训练集合；T是小于N的正整数；所述第一验证集合由所述第二验证集合和所述第四验证集合组成；所述第二验证集合、第三验证集合、第四验证集合中每个集合包含的语音数据对应同一增强算法；
通过将N-T个所述第一训练集合中每个增强带噪语音数据的语音特征和相应的无噪语音数据的语音特征组合成组合式语音特征，得到N-T个组合式语音特征集合；其中，每个组合式语音特征的目标值为相应的增强带噪语音数据对应的识别结果值，带噪语音数据是在无噪语音数据的基础上增加噪声获得的语音数据；
根据N-T所述组合式语音特征集合和相应的所述目标值，训练有参考的质量评价网络模型直至训练成功；
根据所述有参考的质量评价网络模型和所述T个第三验证集合获取语音增强算法的性能参数。
进一步地，根据所述有参考的质量评价网络模型和所述T个第三验证集合获取语音增强算法的性能参数包括：将所述第三验证集合中每个语音数据输入所述有参考的质量评价网络模型获得输出结果，统计每个第三验证集合的输出结果中与对应的识别结果值相同的输出结果个数，将此输出结果个数与第三验证集合包含的语音数据的个数的比值作为所述性能参数。
进一步地，在获取N个增强带噪语音数据的第一验证集合中每个语音数据的识别结果值之前，所述方法还包括：
通过采用N种增强算法对带噪语音数据集合进行增强处理，获得N个增强带噪语音的目标数据集合；
通过分别将N个所述目标数据集合分为两子集合，获得N个增强带噪语音数据的第二训练集合和N个所述第一验证集合；
通过将每个所述第二训练集合分别与噪声数据集合构成一个唤醒模型集合，获得N个唤醒模型训练集合；
根据N个所述唤醒模型训练集合和对应的唤醒结果值分别训练N个唤醒模型；其中，所述第二训练集合中每个增强带噪语音数据与唤醒成功结果值相对应，所述噪声数据集合中每个噪声数据与唤醒失败结果值相对应；
所述获取N个增强带噪语音数据的第一验证集合中每个语音数据的识别结果值，包括：
将每个第一验证集合的语音数据输入至相同增强算法对应的唤醒模型，得到输出结果，将输出结果作为此语音数据的识别结果值。
进一步地，所述根据N个所述第一验证集合中的T个第二验证集合，获取T个第三验证集合，包括：从N个所述第一验证集合中选择T个第一验证集合作为T个第二验证集合，分别去除每个所述第二验证集合中的对增强算法不敏感的增强带噪语音数据，得到T个敏感数据集合；将T个所述敏感数据集合确定为T个所述第三验证集合；
所述根据N-T个第四验证集合获取N-T个第一训练集合包括：分别去除每个所述第四验证集合中的对增强算法不敏感的增强带噪语音数据，得到N-T个敏感数据集合；将N-T个所述敏感数据集合确定为N-T个所述第一训练集合；
其中，对增强算法不敏感的增强带噪语音数据对应的N个增强带噪语音数据的识别结果值均为唤醒成功结果值或均为唤醒失败结果值。
进一步地，所述获取N-T个第一训练集合后，还包括：确定每个第一训练集合中正样本的数量和负样本的数量，所述正样本是指识别结果值为唤醒成功结果值的语音数据，所述负样本是指识别结果值为唤醒失败结果值的语音数据，对每个第一训练集合进行更新；
所述对每个第一训练集合进行更新包括以下方式中一种：
从所述负样本中选择多个负样本，在所述第一训练集合中增加选择出的多个负样本，直至正样本的数量和负样本的数量的相同；
从所述负样本中选择多个负样本，对选择出的多个负样本进行噪声修改处理，获得噪声修改处理后的负样本，在所述第一训练集合中增加噪声修改处理后的负样本，直至正样本的数量和负样本的数量的相同。
进一步地，通过将N-T个所述第一训练集合中每个增强带噪语音数据的语音特征和相应的无噪语音数据的语音特征组合成组合式语音特征包括：
将N-T个所述第一训练集合中每个增强带噪语音数据的二维语音特征和相应的无噪语音数据的二维语音特征组合为一维语音特征；
将N-T个第一训练集合中每个增强带噪语音数据的二维语音特征和相应的无噪语音数据的二维语音特征组合为三维语音特征。
进一步地，所述唤醒模型和所述有参考的质量评价网络模型是深度学习的网络模型。
根据本公开实施例的第二方面，提供了一种获取语音增强算法的性能参数的装置，包括：
第一获取模块，用于获取N个增强带噪语音数据的第一验证集合中每个语音数据的识别结果值；其中，N个所述第一验证集合是对带噪语音数据集合采用N种增强算法进行增强处理后的数据集合，所述识别结果值包括：识别结果值为用于表示语音数据的值或用于表示非语音数据的值；所述N为大于1的整数；
第二获取模块，用于根据N个所述第一验证集合中的T个第二验证集合，获取T个第三验证集合；根据N-T个第四验证集合获取N-T个第一训练集合；T是小于N的正整数；所述第一验证集合由所述第二验证集合和所述第四验证集合组成；所述第二验证集合、第三验证集合、第四验证集合中每个集合包含的语音数据对应同一增强算法；
第一组合模块，用于通过将N-T个所述第一训练集合中每个增强带噪语音数据的语音特征和相应的无噪语音数据的语音特征组合成组合式语音特征，得到N-T个组合式语音特征集合；其中，每个组合式语音特征的目标值为相应的增强带噪语音数据对应的识别结果值，带噪语音数据是在无噪语音数据的基础上增加噪声获得的语音数据；
第一训练模块，用于根据N-T所述组合式语音特征集合和相应的所述目标值，训练有参考的质量评价网络模型直至训练成功；
计算模块，根据所述有参考的质量评价网络模型和所述T个第三验证集合获取语音增强算法的性能参数。
进一步地，所述计算模块包括运算模块和统计模块；
所述运算模块，用于将所述第三验证集合中每个语音数据输入所述有参考的质量评价网络模型获得输出结果；
所述统计模块，用于统计每个第三验证集合的输出结果中与对应的识别结果值相同的输出结果个数，将此输出结果个数与第三验证集合包含的语音数据的个数的比值作为所述性能参数。
进一步地，所述装置还包括：
第一采集模块，用于通过采用N种增强算法对带噪语音数据集合进行增强处理，获得N个增强带噪语音的目标数据集合；
第二采集模块，用于通过分别将N个所述目标数据集合分为两子集合，获得N个增强带噪语音数据的第二训练集合和N个所述第一验证集合；
第二组合模块，用于通过将每个所述第二训练集合分别与噪声数据集合构成一个唤醒模型集合，获得N个唤醒模型训练集合；
第二训练模块，用于根据N个所述唤醒模型训练集合和对应的唤醒结果值分别训练N个唤醒模型；其中，所述第二训练集合中每个增强带噪语音数据与唤醒成功结果值相对应，所述噪声数据集合中每个噪声数据与唤醒失败结果值相对应；
所述第一获取模块，还用于使用以下方法获取N个增强带噪语音数据的第一验证集合中每个语音数据的识别结果值：
将每个第一验证集合的语音数据输入至相同增强算法对应的唤醒模型，得到输出结果，将输出结果作为此语音数据的识别结果值。
进一步地，所述第二获取模块，还用于使用以下方法根据N个所述第一验证集合中的T个第二验证集合，获取T个第三验证集合：从N个所述第一验证集合中选择T个第一验证集合作为T个第二验证集合，分别去除每个所述第二验证集合中的对增强算法不敏感的增强带噪语音数据，得到T个敏感数据集合；将T个所述敏感数据集合确定为T个所述第三验证集合；
还用于使用以下方法根据N-T个第四验证集合获取N-T个第一训练集合：分别去除每个所述第四验证集合中的对增强算法不敏感的增强带噪语音数据，得到N-T个敏感数据集合；将N-T个所述敏感数据集合确定为N-T个所述第一训练集合；
其中，对增强算法不敏感的增强带噪语音数据对应的N个增强带噪语音数据的识别结果值均为唤醒成功结果值或均为唤醒失败结果值。
进一步地，所述装置还包括：
所述核算模块，用于确定每个第一训练集合中正样本的数量和负样本的数量，所述正样本是指识别结果值为唤醒成功结果值的语音数据，所述负样本是指识别结果值为唤醒失败结果值的语音数据；
更新模块，用于对每个第一训练集合进行更新；对每个第一训练集合进行更新包括以下方式中一种：
从所述负样本中选择多个负样本，在所述第一训练集合中增加选择出的多个负样本，直至正样本的数量和负样本的数量的相同；
从所述负样本中选择多个负样本，对选择出的多个负样本进行噪声修改处理，获得噪声修改处理后的负样本，在所述第一训练集合中增加噪声修改处理后的负样本，直至正样本的数量和负样本的数量的相同。
进一步地，所述第一组合模块，还用于使用以下方法通过将N-T个所述第一训练集合中每个增强带噪语音数据的语音特征和相应的无噪语音数据的语音特征组合成组合式语音特征：
将N-T个所述第一训练集合中每个增强带噪语音数据的二维语音特征和相应的无噪语音数据的二维语音特征组合为一维语音特征；
将N-T个第一训练集合中每个增强带噪语音数据的二维语音特征和相应的无噪语音数据的二维语音特征组合为三维语音特征。
进一步地，所述唤醒模型和所述有参考的质量评价网络模型是深度学习的网络模型。
根据本公开实施例的第三方面，提供了一种获取语音增强算法的性能参数的装置，包括：
处理器；
用于存储处理器可执行指令的存储器；
其中，所述处理器被配置为：
获取N个增强带噪语音数据的第一验证集合中每个语音数据的识别结果值；其中，N个所述第一验证集合是对带噪语音数据集合采用N种增强算法进行增强处理后的数据集合，所述识别结果值包括：识别结果值为用于表示语音数据的值或用于表示非语音数据的值；所述N为大于1的整数；
根据N个所述第一验证集合中的T个第二验证集合，获取T个第三验证集合；根据N-T个第四验证集合获取N-T个第一训练集合；T是小于N的正整数；所述第一验证集合由所述第二验证集合和所述第四验证集合组成；所述第二验证集合、第三验证集合、第四验证集合中每个集合包含的语音数据对应同一增强算法；
通过将N-T个所述第一训练集合中每个增强带噪语音数据的语音特征和相应的无噪语音数据的语音特征组合成组合式语音特征，得到N-T个组合式语音特征集合；其中，每个组合式语音特征的目标值为相应的增强带噪语音数据对应的识别结果值，带噪语音数据是在无噪语音数据的基础上增加噪声获得的语音数据；
根据N-T所述组合式语音特征集合和相应的所述目标值，训练有参考的质量评价网络模型直至训练成功；
根据所述有参考的质量评价网络模型和所述T个第三验证集合获取语音增强算法的性能参数。
根据本公开实施例的第四方面，提供了一种非临时性计算机可读存储介质，当所述存储介质中的指令由移动终端的处理器执行时，使得移动终端能够执行一种获取语音增强算法的性能参数方法，所述方法包括：
获取N个增强带噪语音数据的第一验证集合中每个语音数据的识别结果值；其中，N个所述第一验证集合是对带噪语音数据集合采用N种增强算法进行增强处理后的数据集合，所述识别结果值包括：识别结果值为用于表示语音数据的值或用于表示非语音数据的值；所述N为大于1的整数；
根据N个所述第一验证集合中的T个第二验证集合，获取T个第三验证集合；根据N-T个第四验证集合获取N-T个第一训练集合；T是小于N的正整数；所述第一验证集合由所述第二验证集合和所述第四验证集合组成；所述第二验证集合、第三验证集合、第四验证集合中每个集合包含的语音数据对应同一增强算法；
通过将N-T个所述第一训练集合中每个增强带噪语音数据的语音特征和相应的无噪语音数据的语音特征组合成组合式语音特征，得到N-T个组合式语音特征集合；其中，每个组合式语音特征的目标值为相应的增强带噪语音数据对应的识别结果值，带噪语音数据是在无噪语音数据的基础上增加噪声获得的语音数据；
根据N-T所述组合式语音特征集合和相应的所述目标值，训练有参考的质量评价网络模型直至训练成功；
根据所述有参考的质量评价网络模型和所述T个第三验证集合获取语音增强算法的性能参数。
本公开的实施例提供的技术方案可以包括以下有益效果：建立有参考的质量评价网络模型，基于有参考的质量评价网络模型能够获取应用于唤醒的语音增强算法的性能参数，基于性能参数可以确定应用于唤醒的语音增强算法的性能。进而，可以为移动终端推荐性能最优的语音增强算法，从而提高移动终端的智能性，提高用户的使用体验。
应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本公开。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本发明的实施例，并与说明书一起用于解释本发明的原理。
图1是根据一示例性实施例示出的确定语音增强算法的性能参数的方法的流程图；
图2是根据一示例性实施例示出的确定语音增强算法的性能参数的装置的结构图；
图3是根据一示例性实施例示出的确定语音增强算法的性能参数的装置的结构图；
图4是根据一示例性实施例示出的确定语音增强算法的性能参数的装置的结构图；
图5是根据一示例性实施例示出的确定语音增强算法的性能参数的装置的结构图。
具体实施方式
这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本发明相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本发明的一些方面相一致的装置和方法的例子。
如图1所示，确定语音增强算法的性能参数的方法包括：
步骤S1，获取N个增强带噪语音数据的第一验证集合SE_K_A_i(i＝1,2....N)中每个语音数据的识别结果值。
其中，N个所述第一验证集合是对带噪语音数据集合采用N种增强算法进行增强处理后的数据集合，所述识别结果值包括：识别结果值为用于表示语音数据的值(例如1)或用于表示非语音数据的值(例如0)；所述N为大于1的整数。
步骤S2，根据N个所述第一验证集合中的T个第二验证集合，获取T个第三验证集合；根据N-T个第四验证集合获取N-T个第一训练集合。
其中，T是小于N的正整数；所述第一验证集合由所述第二验证集合和所述第四验证集合组成；所述第二验证集合、第三验证集合、第四验证集合中每个集合包含的语音数据对应同一增强算法。
步骤S3，通过将N-T个所述第一训练集合中每个增强带噪语音数据的语音特征和相应的无噪语音数据的语音特征组合成组合式语音特征，得到N-T个组合式语音特征集合。
其中，每个组合式语音特征的目标值为相应的增强带噪语音数据对应的识别结果值，带噪语音数据是在无噪语音数据的基础上增加噪声获得的语音数据。
步骤S4，根据N-T所述组合式语音特征集合和相应的所述目标值，训练有参考的质量评价网络模型直至训练成功。
步骤S5，根据所述有参考的质量评价网络模型和T个第三验证集合获取语音增强算法的性能参数。性能参数指示语音增强算法对提高唤醒词的识别率的贡献。
其中步骤S5中，根据所述有参考的质量评价网络模型和T个第三验证集合获取语音增强算法的性能参数包括：将所述第三验证集合中每个语音数据输入所述有参考的质量评价网络模型获得输出结果，统计每个第三验证集合的输出结果中与对应的识别结果值相同的输出结果个数，将此输出结果个数与第三验证集合包含的语音数据的个数的比值作为所述性能参数。此比值表示增强算法对提高唤醒词识别准确度的贡献指数，此比值越高表示此增强算法对提高唤醒词识别准确度的贡献越大。
其中，
在一种实现方式中，步骤1之前还包括：确定N个带噪语音数据验证集合。对带噪语音数据集合采用N种增强算法进行增强处理，获得N个增强带噪语音数据验证集合。步骤S1中获取N个增强带噪语音数据的第一验证集合SE_K_A_i(i＝1,2....N)中每个语音数据的识别结果值包括：使用语音识算法确定N个增强带噪语音数据验证集合SE_K_A_i(i＝1,2....N)中每个语音数据的识别结果。识别结果值包括：识别结果值为用于表示语音数据的值或用于表示非语音数据的值。
在一种实现方式中，步骤1之前还包括：
步骤1’，通过采用N种增强算法对带噪语音数据集合进行增强处理，获得N个增强带噪语音的目标数据集合。
步骤2’，通过分别将N个所述目标数据集合分为两子集合，获得N个增强带噪语音数据的第二训练集合和N个所述第一验证集合。
例如：N个目标数据集合中每个集合包括10000个增强带噪语音数据，将每个集合中前4000个数据的子集合作为一第二训练集合，将每个增强带噪语音数据集合中后6000个数据的子集合作为一第一验证集合。
通过将每个第二训练集合分别与噪声数据集合构成一个集合，获得N个唤醒模型训练集合。
根据N个唤醒模型训练集合和对应的唤醒结果值分别训练N个唤醒模型；其中，所述第二训练集合中每个增强带噪语音数据与唤醒成功结果值相对应，所述噪声数据集合中每个噪声数据与唤醒失败结果值相对应。
步骤S1中，获取N个增强带噪语音数据的第一验证集合SE_K_A_i(i＝1,2....N)中每个语音数据的识别结果值，包括：将每个第一验证集合的语音数据输入至相同增强算法对应的唤醒模型，得到输出结果，将输出结果作为此语音数据的识别结果值。
为了进一步提高数据的有效性，从而提高本方法的准确度，在步骤2中增加了除去对增强算法不敏感的数据的过程，具体的：
根据N个第一验证集合中的T个第二验证集合，获取T个第三验证集合，包括：从N个所述第一验证集合中选择T个第一验证集合作为T个第二验证集合，分别去除每个所述第二验证集合中的对增强算法不敏感的增强带噪语音数据，得到T个敏感数据集合；将T个所述敏感数据集合确定为T个所述第三验证集合；
根据N-T个第四验证集合获取N-T个第一训练集合包括：分别去除每个所述第四验证集合中的对增强算法不敏感的增强带噪语音数据，得到N-T个敏感数据集合；将N-T个所述敏感数据集合确定为N-T个第一训练集合；
其中，对增强算法不敏感的增强带噪语音数据对应的N个增强带噪语音数据的识别结果值均为唤醒成功结果值或均为唤醒失败结果值。
例如：第一个验证集合中包括6000个增强带噪语音数据，去除500个对增强算法不敏感的增强带噪语音数据，得到一个包含5500个数据的第三验证集合。
为平衡N-T个第一训练集合中正样本和负样本的数量，使第一训练集合中正样本和负样本达到均衡，获取N-T个第一训练集合后，还包括：确定每个第一训练集合中正样本的数量和负样本的数量，正样本是指识别结果值为唤醒成功结果值的语音数据，负样本是指识别结果值为唤醒失败结果值的语音数据，对每个第一训练集合进行更新；
对每个第一训练集合进行更新包括以下方式中一种：
从所述负样本中选择多个负样本，在所述第一训练集合中增加选择出的多个负样本，直至正样本的数量和负样本的数量的相同；
从所述负样本中选择多个负样本，对选择出的多个负样本进行噪声修改处理，获得噪声修改处理后的负样本，在所述第一训练集合中增加噪声修改处理后的负样本，直至正样本的数量和负样本的数量的相同。
其中，噪声修改处理是将负样本中的噪声修改为其它噪声，例如高斯噪声、椒盐噪声等。
本文建立有参考的质量评价网络模型，基于有参考的质量评价网络模型能够获取应用于唤醒的语音增强算法的性能参数，基于性能参数可以确定应用于唤醒的语音增强算法的性能。进而，可以为移动终端推荐性能最优的语音增强算法，从而提高移动终端的智能性，提高用户的使用体验。
下面通过具体实施例对本方法进行详细说明。
具体实施例一
步骤101，获得声音数据。具体的：
针对同一内容的唤醒词(例如“小爱同学”)录制无噪语音数据集合。例如：在消音室使用型号为AT2020USB+的麦克风进行唤醒词录制，录音者有成年男子和女子，以及小孩和老人。录制D1(例如10000)个无噪语音数据，构成无噪语音数据集合。
获得与无噪语音数据集合对应的带噪语音数据集合，具体的，将无噪语音数据集合中的每个语音数据在有噪声的环境上播放，录制得到与每个无噪语音数据对应的带噪语音数据，构成带噪语音数据集合。例如：在10.75×6.4米的会议室录制了带噪的唤醒词语音数据，会议室配有桌子，椅子，电视和硬木地板。使用口模拟器(真力80010A扬声器)，将无噪唤醒词在会议室进行播放，通过小爱音箱录制得到D1个带噪唤醒词。其中，无噪语音数据集合和带噪语音数据集合中的语音是一一对应的。例如：无噪语音数据集合中每个语音数据具有顺序编号，带噪语音数据集合中每个语音数据也具有顺序编号，相同的顺序编号对应语音数据是对应的。所以，带噪语音数据集合中语音数据的数量与无噪语音数据集合中无噪语音数据的数量相同，均为D1个。
在噪音环境下录制噪声数据集合，录制噪声数据集合包括D2(例如4000)个噪声数据。例如：背景播放咖啡馆背景噪音，音乐或电视噪音。其中音乐用两个外置JBL LSR 350扬声器播放。电视噪音包括电影，漫画，纪录片和新闻四类。每个重新录制的声音具有0dB至10dB的信噪比(SNR)，步长为5dB。
步骤102，对带噪语音数据集合中所有带噪语音数据采用N(例如9)种增强算法进行增强处理，获得N个增强带噪语音数据的目标数据集合SE_K_i(i＝1,2....N)。
步骤103，将每个目标数据集合SE_K_i(i＝1,2....N)分为两个子集合，一个子集合作为第二训练集合，另一个子集合作为第一验证集合，从而获得N个第二训练集合SE_K_T_i(i＝1,2....N)和N个第一验证集合SE_K_A_i(i＝1,2....N)。
例如：对每个目标数据集合SE_K_i，将前M(例如6000)个增强带噪语音数据作为第二训练集合SE_K_T_i，将剩余的增强带噪语音数据作为第一验证集合SE_K_A_i。
步骤104，确定N个第二训练集合SE_K_T_i(i＝1,2....N)中每个语音数据的唤醒结果值为唤醒成功结果值(例如1)，噪声数据集合中每个噪声数据的唤醒结果值为唤醒失败结果值(例如0)。
使用每个第二训练集合SE_K_T_i(i＝1,2....N)和噪声数据集合构成一个唤醒模型集合，获得N个唤醒模型训练集合，提取每个唤醒模型训练集合中的语音数据的语音特征(例如梅尔频率倒谱系数即MFCC特征)，此语音特征为X*Y维的二维数据，使用每个唤醒模型训练集合的语音特征集合以及此唤醒模型训练集合中每个语音数据的唤醒结果值训练一唤醒模型，具体的，将每个语音数据的唤醒结果值作为训练的目标值，直至将N个唤醒模型训练成功，获得训练成功的N个唤醒模型。
步骤105，将每个第一验证集合的语音数据输入至相同增强算法对应的唤醒模型，得到输出结果，将输出结果作为此语音数据的识别结果值，识别结果值为唤醒成功结果值(例如1)或唤醒失败结果值(例如0)。
例如：使用训练成功的第1识别模型对第一个第一验证集合SE_K_A_1进行验证，使用训练成功的第2识别模型对第二个第一验证集合SE_K_A_2进行验证。
步骤106，从N个第一验证集合SE_K_A_i(i＝1,2....N)中选择T个第一验证集合作为T个第二验证集合，分别去除每个所述第二验证集合中的对增强算法不敏感的增强带噪语音数据，得到T个敏感数据集合，将T个敏感数据集合确定为T个第三验证集合。
其中，对增强算法不敏感的增强带噪语音数据对应的N个增强带噪语音数据的识别结果值均为唤醒成功结果值或均为唤醒失败结果值。即：同一带噪语音数据对应的N个增强带噪语音数据的结果值均为唤醒成功结果值(例如1)或均为唤醒失败结果值(例如0)时，N个增强带噪语音数据均为对增强算法不敏感的数据。
从N个第一验证集合SE_K_A_i(i＝1,2....N)中选择上述T个第一验证集合之外的其它N-T个集合作为N-T个第四验证集合。根据N-T个第四验证集合获取N-T个第一训练集合，包括：分别去除每个第四验证集合中的对增强算法不敏感的增强带噪语音数据，得到N-T个敏感数据集合；将N-T个敏感数据集合确定为N-T个第一训练集合。
第二验证集合、第三验证集合、第四验证集合中每个集合包含的语音数据对应同一增强算法。
步骤107，计算N-T个第一训练集合中每个增强带噪语音数据的二维语音特征。计算无噪语音数据集合中与N-T个第一训练集合中增强带噪语音数据对应的无噪语音数据的二维语音特征。将N-T个第一训练集合中每个增强带噪语音数据的二维语音特征和相应的无噪语音数据的二维语音特征组合为三维语音特征，获得N-T个三维语音特征集合，每个组合式语音特征的目标值为相应的增强带噪语音数据对应的识别结果值。
其中，一个三维语音特征包括一用于表示二维带噪语音特征的X*Y维的二维数据和一用于表示二维无噪语音特征的X*Y维的二维数据。
步骤108，使用N-T个三维语音特征集合和相应的目标值训练有参考的质量评价网络模型直至训练成功。
步骤109，将第三验证集合中每个语音数据输入训练成功的有参考的质量评价网络模型获得输出结果，统计每个第三验证集合的输出结果中与对应的识别结果值相同的输出结果个数，将此输出结果个数与第三验证集合包含的语音数据的个数的比值作为性能参数。
唤醒模型和有参考的质量评价网络模型均是深度学习的网络模型，此深度学习的网络模型可以是深度可分卷积神经网络DSCNN(Depthwise Separable ConvolutionalNeural Network)、卷积神经网络CNN(Convolutional Neural Network)、卷积循环神经网络CRNN(convolutional Recurrent Neural Network)。例如：DSCNN可以包括：输入层，一层卷积层，五层深度可分离卷积层，输出层。
具体实施例二
具体实施例二与具体实施例一的主要不同之处是：
步骤107，计算N-T个第一训练集合中每个增强带噪语音数据的二维语音特征。计算无噪语音数据集合中与N-T个第一训练集合中增强带噪语音数据对应的无噪语音数据的二维语音特征。将N-T个第一训练集合中每个增强带噪语音数据的二维语音特征和相应的无噪语音数据的二维语音特征组合为一维语音特征，获得N-T个一维语音特征集合，设置每个一维语音特征的目标值为相应的增强带噪语音数据对应的识别结果值。
其中，一维语音特征是将用于表示二维带噪语音特征的X*Y维的二维数据和用于表示二维无噪语音特征的X*Y维的二维数据重新排序为一维数据。
步骤108，使用N-T个一维语音特征集合和相应的目标值训练有参考的的质量评价网络模型；训练成功后，获得训练成功的质量评价网络模型。
图2是根据一示例性实施例示出的确定语音增强算法的性能参数的装置的结构图；此装置包括：
第一获取模块，用于获取N个增强带噪语音数据的第一验证集合中每个语音数据的识别结果值；其中，N个所述第一验证集合是对带噪语音数据集合采用N种增强算法进行增强处理后的数据集合，所述识别结果值包括：识别结果值为用于表示语音数据的值或用于表示非语音数据的值；所述N为大于1的整数；
第二获取模块，用于根据N个所述第一验证集合中的T个第二验证集合，获取T个第三验证集合；根据N-T个第四验证集合获取N-T个第一训练集合；T是小于N的正整数；所述第一验证集合由所述第二验证集合和所述第四验证集合组成；所述第二验证集合、第三验证集合、第四验证集合中每个集合包含的语音数据对应同一增强算法；
第一组合模块，用于通过将N-T个所述第一训练集合中每个增强带噪语音数据的语音特征和相应的无噪语音数据的语音特征组合成组合式语音特征，得到N-T个组合式语音特征集合；其中，每个组合式语音特征的目标值为相应的增强带噪语音数据对应的识别结果值，带噪语音数据是在无噪语音数据的基础上增加噪声获得的语音数据；
第一训练模块，用于根据N-T所述组合式语音特征集合和相应的所述目标值，训练有参考的质量评价网络模型直至训练成功；
计算模块，根据所述有参考的质量评价网络模型和所述T个第三验证集合获取语音增强算法的性能参数。
其中，
计算模块包括运算模块和统计模块；
所述运算模块，用于将所述第三验证集合中每个语音数据输入所述有参考的质量评价网络模型获得输出结果；
所述统计模块，用于统计每个第三验证集合的输出结果中与对应的识别结果值相同的输出结果个数，将此输出结果个数与第三验证集合包含的语音数据的个数的比值作为所述性能参数。
图3是根据一示例性实施例示出的确定语音增强算法的性能参数的装置的结构图；此装置还包括：
第一采集模块，用于通过采用N种增强算法对带噪语音数据集合进行增强处理，获得N个增强带噪语音的目标数据集合；
第二采集模块，用于通过分别将N个所述目标数据集合分为两子集合，获得N个增强带噪语音数据的第二训练集合和N个所述第一验证集合；
第二组合模块，用于通过将每个所述第二训练集合分别与噪声数据集合构成一个唤醒模型集合，获得N个唤醒模型训练集合；
第二训练模块，用于根据N个所述唤醒模型训练集合和对应的唤醒结果值分别训练N个唤醒模型；其中，所述第二训练集合中每个增强带噪语音数据与唤醒成功结果值相对应，所述噪声数据集合中每个噪声数据与唤醒失败结果值相对应；
所述第一获取模块，还用于使用以下方法获取N个增强带噪语音数据的第一验证集合中每个语音数据的识别结果值：将每个第一验证集合的语音数据输入至相同增强算法对应的唤醒模型，得到输出结果，将输出结果作为此语音数据的识别结果值。
其中，
第二获取模块，还用于使用以下方法根据N个所述第一验证集合中的T个第二验证集合，获取T个第三验证集合：从N个所述第一验证集合中选择T个第一验证集合作为T个第二验证集合，分别去除每个所述第二验证集合中的对增强算法不敏感的增强带噪语音数据，得到T个敏感数据集合；将T个所述敏感数据集合确定为T个所述第三验证集合；还用于使用以下方法根据N-T个第四验证集合获取N-T个第一训练集合：分别去除每个所述第四验证集合中的对增强算法不敏感的增强带噪语音数据，得到N-T个敏感数据集合；将N-T个所述敏感数据集合确定为N-T个所述第一训练集合；
其中，对增强算法不敏感的增强带噪语音数据对应的N个增强带噪语音数据的识别结果值均为唤醒成功结果值或均为唤醒失败结果值。
所述唤醒模型和所述有参考的质量评价网络模型是深度学习的网络模型。
进一步地，所述第一组合模块，还用于使用以下方法通过将N-T个所述第一训练集合中每个增强带噪语音数据的语音特征和相应的无噪语音数据的语音特征组合成组合式语音特征：
将N-T个所述第一训练集合中每个增强带噪语音数据的二维语音特征和相应的无噪语音数据的二维语音特征组合为一维语音特征；
将N-T个第一训练集合中每个增强带噪语音数据的二维语音特征和相应的无噪语音数据的二维语音特征组合为三维语音特征。
图4是根据一示例性实施例示出的确定语音增强算法的性能参数的装置的结构图；本装置还包括：
核算模块，用于确定每个第一训练集合中正样本的数量和负样本的数量，所述正样本是指识别结果值为唤醒成功结果值的语音数据，所述负样本是指识别结果值为唤醒失败结果值的语音数据；
更新模块，用于对每个第一训练集合进行更新；对每个第一训练集合进行更新包括以下方式中一种：
从所述负样本中选择多个负样本，在所述第一训练集合中增加选择出的多个负样本，直至正样本的数量和负样本的数量的相同；
从所述负样本中选择多个负样本，对选择出的多个负样本进行噪声修改处理，获得噪声修改处理后的负样本，在所述第一训练集合中增加噪声修改处理后的负样本，直至正样本的数量和负样本的数量的相同。
图5是根据一示例性实施例示出的一种用于确定语音增强算法的性能参数的装置500的框图。例如，装置500可以是移动电话，计算机，数字广播终端，消息收发设备，游戏控制台，平板设备，医疗设备，健身设备，个人数字助理等。
参照图5，装置500可以包括以下一个或多个组件：处理组件502，存储器504，电力组件506，多媒体组件508，音频组件510，输入/输出(I/O)的接口512，传感器组件514，以及通信组件516。
处理组件502通常控制装置500的整体操作，诸如与显示，电话呼叫，数据通信，相机操作和记录操作相关联的操作。处理组件502可以包括一个或多个处理器520来执行指令，以完成上述的方法的全部或部分步骤。此外，处理组件502可以包括一个或多个模块，便于处理组件502和其他组件之间的交互。例如，处理组件502可以包括多媒体模块，以方便多媒体组件505和处理组件502之间的交互。
存储器504被配置为存储各种类型的数据以支持在设备500的操作。这些数据的示例包括用于在装置500上操作的任何应用程序或方法的指令，联系人数据，电话簿数据，消息，图片，视频等。存储器504可以由任何类型的易失性或非易失性存储设备或者它们的组合实现，如静态随机存取存储器(SRAM)，电可擦除可编程只读存储器(EEPROM)，可擦除可编程只读存储器(EPROM)，可编程只读存储器(PROM)，只读存储器(ROM)，磁存储器，快闪存储器，磁盘或光盘。
电源组件506为装置500的各种组件提供电力。电源组件506可以包括电源管理系统，一个或多个电源，及其他与为装置500生成、管理和分配电力相关联的组件。
多媒体组件505包括在所述装置500和用户之间的提供一个输出接口的屏幕。在一些实施例中，屏幕可以包括液晶显示器(LCD)和触摸面板(TP)。如果屏幕包括触摸面板，屏幕可以被实现为触摸屏，以接收来自用户的输入信号。触摸面板包括一个或多个触摸传感器以感测触摸、滑动和触摸面板上的手势。所述触摸传感器可以不仅感测触摸或滑动动作的边界，而且还检测与所述触摸或滑动操作相关的持续时间和压力。在一些实施例中，多媒体组件505包括一个前置摄像头和/或后置摄像头。当设备500处于操作模式，如拍摄模式或视频模式时，前置摄像头和/或后置摄像头可以接收外部的多媒体数据。每个前置摄像头和后置摄像头可以是一个固定的光学透镜系统或具有焦距和光学变焦能力。
音频组件510被配置为输出和/或输入音频信号。例如，音频组件510包括一个麦克风(MIC)，当装置500处于操作模式，如呼叫模式、记录模式和语音识别模式时，麦克风被配置为接收外部音频信号。所接收的音频信号可以被进一步存储在存储器504或经由通信组件516发送。在一些实施例中，音频组件510还包括一个扬声器，用于输出音频信号。
I/O接口512为处理组件502和外围接口模块之间提供接口，上述外围接口模块可以是键盘，点击轮，按钮等。这些按钮可包括但不限于：主页按钮、音量按钮、启动按钮和锁定按钮。
传感器组件514包括一个或多个传感器，用于为装置500提供各个方面的状态评估。例如，传感器组件514可以检测到设备500的打开/关闭状态，组件的相对定位，例如所述组件为装置500的显示器和小键盘，传感器组件514还可以检测装置500或装置500一个组件的位置改变，用户与装置500接触的存在或不存在，装置500方位或加速/减速和装置500的温度变化。传感器组件514可以包括接近传感器，被配置用来在没有任何的物理接触时检测附近物体的存在。传感器组件514还可以包括光传感器，如CMOS或CCD图像传感器，用于在成像应用中使用。在一些实施例中，该传感器组件514还可以包括加速度传感器，陀螺仪传感器，磁传感器，压力传感器或温度传感器。
通信组件516被配置为便于装置500和其他设备之间有线或无线方式的通信。装置500可以接入基于通信标准的无线网络，如WiFi，2G或3G，或它们的组合。在一个示例性实施例中，通信组件516经由广播信道接收来自外部广播管理系统的广播信号或广播相关信息。在一个示例性实施例中，所述通信组件516还包括近场通信(NFC)模块，以促进短程通信。例如，在NFC模块可基于射频识别(RFID)技术，红外数据协会(IrDA)技术，超宽带(UWB)技术，蓝牙(BT)技术和其他技术来实现。
在示例性实施例中，装置500可以被一个或多个应用专用集成电路(ASIC)、数字信号处理器(DSP)、数字信号处理设备(DSPD)、可编程逻辑器件(PLD)、现场可编程门阵列(FPGA)、控制器、微控制器、微处理器或其他电子元件实现，用于执行上述方法。
在示例性实施例中，还提供了一种包括指令的非临时性计算机可读存储介质，例如包括指令的存储器504，上述指令可由装置500的处理器520执行以完成上述方法。例如，所述非临时性计算机可读存储介质可以是ROM、随机存取存储器(RAM)、CD-ROM、磁带、软盘和光数据存储设备等。
本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本发明的其它实施方案。本申请旨在涵盖本发明的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本发明的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本发明的真正范围和精神由下面的权利要求指出。
应当理解的是，本发明并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本发明的范围仅由所附的权利要求来限制。
Claims (16)
1.一种获取语音增强算法的性能参数的方法，其特征在于，包括：
获取N个增强带噪语音数据的第一验证集合中每个语音数据的识别结果值；其中，N个所述第一验证集合是对带噪语音数据集合采用N种增强算法进行增强处理后的数据集合，所述识别结果值包括：识别结果值为用于表示语音数据的值或用于表示非语音数据的值；所述N为大于1的整数；
根据N个所述第一验证集合中的T个第二验证集合，获取T个第三验证集合；根据N-T个第四验证集合获取N-T个第一训练集合；T是小于N的正整数；所述第一验证集合由所述第二验证集合和所述第四验证集合组成；所述第二验证集合、第三验证集合、第四验证集合中每个集合包含的语音数据对应同一增强算法；其中，所述第三验证集合为所述第二验证集合中去除了对增强算法不敏感的增强带噪语音数据后获得的敏感数据的集合；所述第一训练集合为所述第四验证集合中去除了对增强算法不敏感的增强带噪语音数据后获得的敏感数据的集合；其中，对增强算法不敏感的增强带噪语音数据对应的N个增强带噪语音数据的识别结果值均为唤醒成功结果值或均为唤醒失败结果值；
通过将N-T个所述第一训练集合中每个增强带噪语音数据的语音特征和相应的无噪语音数据的语音特征组合成组合式语音特征，得到N-T个组合式语音特征集合；其中，每个组合式语音特征的目标值为相应的增强带噪语音数据对应的识别结果值，带噪语音数据是在无噪语音数据的基础上增加噪声获得的语音数据；
根据N-T所述组合式语音特征集合和相应的所述目标值，训练有参考的质量评价网络模型直至训练成功；
根据所述有参考的质量评价网络模型和所述T个第三验证集合获取语音增强算法的性能参数；
其中，所述获取N个增强带噪语音数据的第一验证集合中每个语音数据的识别结果值，包括：
将每个第一验证集合的语音数据输入至相同增强算法对应的唤醒模型，得到输出结果，将输出结果作为此语音数据的识别结果值。
2.如权利要求1所述的方法，其特征在于，
根据所述有参考的质量评价网络模型和所述T个第三验证集合获取语音增强算法的性能参数包括：将所述第三验证集合中每个语音数据输入所述有参考的质量评价网络模型获得输出结果，统计每个第三验证集合的输出结果中与对应的识别结果值相同的输出结果个数，将此输出结果个数与第三验证集合包含的语音数据的个数的比值作为所述性能参数。
3.如权利要求1所述的方法，其特征在于，
在获取N个增强带噪语音数据的第一验证集合中每个语音数据的识别结果值之前，所述方法还包括：
通过采用N种增强算法对带噪语音数据集合进行增强处理，获得N个增强带噪语音的目标数据集合；
通过分别将N个所述目标数据集合分为两子集合，获得N个增强带噪语音数据的第二训练集合和N个所述第一验证集合；
通过将每个所述第二训练集合分别与噪声数据集合构成一个唤醒模型集合，获得N个唤醒模型训练集合；
根据N个所述唤醒模型训练集合和对应的唤醒结果值分别训练N个唤醒模型；其中，所述第二训练集合中每个增强带噪语音数据与唤醒成功结果值相对应，所述噪声数据集合中每个噪声数据与唤醒失败结果值相对应。
4.如权利要求1所述的方法，其特征在于，
所述根据N个所述第一验证集合中的T个第二验证集合，获取T个第三验证集合，包括：从N个所述第一验证集合中选择T个第一验证集合作为T个第二验证集合，分别去除每个所述第二验证集合中的对增强算法不敏感的增强带噪语音数据，得到T个敏感数据集合；将T个所述敏感数据集合确定为T个所述第三验证集合；
所述根据N-T个第四验证集合获取N-T个第一训练集合包括：分别去除每个所述第四验证集合中的对增强算法不敏感的增强带噪语音数据，得到N-T个敏感数据集合；将N-T个所述敏感数据集合确定为N-T个所述第一训练集合。
5.如权利要求4所述的方法，其特征在于，
所述获取N-T个第一训练集合后，还包括：确定每个第一训练集合中正样本的数量和负样本的数量，所述正样本是指识别结果值为唤醒成功结果值的语音数据，所述负样本是指识别结果值为唤醒失败结果值的语音数据，对每个第一训练集合进行更新；
所述对每个第一训练集合进行更新包括以下方式中一种：
从所述负样本中选择多个负样本，在所述第一训练集合中增加选择出的多个负样本，直至正样本的数量和负样本的数量的相同；
从所述负样本中选择多个负样本，对选择出的多个负样本进行噪声修改处理，获得噪声修改处理后的负样本，在所述第一训练集合中增加噪声修改处理后的负样本，直至正样本的数量和负样本的数量的相同。
6.如权利要求1所述的方法，其特征在于，通过将N-T个所述第一训练集合中每个增强带噪语音数据的语音特征和相应的无噪语音数据的语音特征组合成组合式语音特征包括：
将N-T个所述第一训练集合中每个增强带噪语音数据的二维语音特征和相应的无噪语音数据的二维语音特征组合为一维语音特征；
或者，
将N-T个第一训练集合中每个增强带噪语音数据的二维语音特征和相应的无噪语音数据的二维语音特征组合为三维语音特征。
7.如权利要求3所述的方法，其特征在于，
所述唤醒模型和所述有参考的质量评价网络模型是深度学习的网络模型。
8.一种获取语音增强算法的性能参数的装置，其特征在于，包括：
第一获取模块，用于获取N个增强带噪语音数据的第一验证集合中每个语音数据的识别结果值；其中，N个所述第一验证集合是对带噪语音数据集合采用N种增强算法进行增强处理后的数据集合，所述识别结果值包括：识别结果值为用于表示语音数据的值或用于表示非语音数据的值；所述N为大于1的整数；
第二获取模块，用于根据N个所述第一验证集合中的T个第二验证集合，获取T个第三验证集合；根据N-T个第四验证集合获取N-T个第一训练集合；T是小于N的正整数；所述第一验证集合由所述第二验证集合和所述第四验证集合组成；所述第二验证集合、第三验证集合、第四验证集合中每个集合包含的语音数据对应同一增强算法；其中，所述第三验证集合为所述第二验证集合中去除了对增强算法不敏感的增强带噪语音数据后获得的敏感数据的集合；所述第一训练集合为所述第四验证集合中去除了对增强算法不敏感的增强带噪语音数据后获得的敏感数据的集合；其中，对增强算法不敏感的增强带噪语音数据对应的N个增强带噪语音数据的识别结果值均为唤醒成功结果值或均为唤醒失败结果值；
第一组合模块，用于通过将N-T个所述第一训练集合中每个增强带噪语音数据的语音特征和相应的无噪语音数据的语音特征组合成组合式语音特征，得到N-T个组合式语音特征集合；其中，每个组合式语音特征的目标值为相应的增强带噪语音数据对应的识别结果值，带噪语音数据是在无噪语音数据的基础上增加噪声获得的语音数据；
第一训练模块，用于根据N-T所述组合式语音特征集合和相应的所述目标值，训练有参考的质量评价网络模型直至训练成功；
计算模块，根据所述有参考的质量评价网络模型和所述T个第三验证集合获取语音增强算法的性能参数；
其中，所述第一获取模块，还用于使用以下方法获取N个增强带噪语音数据的第一验证集合中每个语音数据的识别结果值：
将每个第一验证集合的语音数据输入至相同增强算法对应的唤醒模型，得到输出结果，将输出结果作为此语音数据的识别结果值。
9.如权利要求8所述的装置，其特征在于，
所述计算模块包括运算模块和统计模块；
所述运算模块，用于将所述第三验证集合中每个语音数据输入所述有参考的质量评价网络模型获得输出结果；
所述统计模块，用于统计每个第三验证集合的输出结果中与对应的识别结果值相同的输出结果个数，将此输出结果个数与第三验证集合包含的语音数据的个数的比值作为所述性能参数。
10.如权利要求8所述的装置，其特征在于，
所述装置还包括：
第一采集模块，用于通过采用N种增强算法对带噪语音数据集合进行增强处理，获得N个增强带噪语音的目标数据集合；
第二采集模块，用于通过分别将N个所述目标数据集合分为两子集合，获得N个增强带噪语音数据的第二训练集合和N个所述第一验证集合；
第二组合模块，用于通过将每个所述第二训练集合分别与噪声数据集合构成一个唤醒模型集合，获得N个唤醒模型训练集合；
第二训练模块，用于根据N个所述唤醒模型训练集合和对应的唤醒结果值分别训练N个唤醒模型；其中，所述第二训练集合中每个增强带噪语音数据与唤醒成功结果值相对应，所述噪声数据集合中每个噪声数据与唤醒失败结果值相对应。
11.如权利要求8所述的装置，其特征在于，
所述第二获取模块，还用于使用以下方法根据N个所述第一验证集合中的T个第二验证集合，获取T个第三验证集合：从N个所述第一验证集合中选择T个第一验证集合作为T个第二验证集合，分别去除每个所述第二验证集合中的对增强算法不敏感的增强带噪语音数据，得到T个敏感数据集合；将T个所述敏感数据集合确定为T个所述第三验证集合；
还用于使用以下方法根据N-T个第四验证集合获取N-T个第一训练集合：分别去除每个所述第四验证集合中的对增强算法不敏感的增强带噪语音数据，得到N-T个敏感数据集合；将N-T个所述敏感数据集合确定为N-T个所述第一训练集合。
12.如权利要求8所述的装置，其特征在于，
所述装置还包括：
核算模块，用于确定每个第一训练集合中正样本的数量和负样本的数量，所述正样本是指识别结果值为唤醒成功结果值的语音数据，所述负样本是指识别结果值为唤醒失败结果值的语音数据；
更新模块，用于对每个第一训练集合进行更新；对每个第一训练集合进行更新包括以下方式中一种：
从所述负样本中选择多个负样本，在所述第一训练集合中增加选择出的多个负样本，直至正样本的数量和负样本的数量的相同；
从所述负样本中选择多个负样本，对选择出的多个负样本进行噪声修改处理，获得噪声修改处理后的负样本，在所述第一训练集合中增加噪声修改处理后的负样本，直至正样本的数量和负样本的数量的相同。
13.如权利要求8所述的装置，其特征在于，
所述第一组合模块，还用于使用以下方法通过将N-T个所述第一训练集合中每个增强带噪语音数据的语音特征和相应的无噪语音数据的语音特征组合成组合式语音特征：
将N-T个所述第一训练集合中每个增强带噪语音数据的二维语音特征和相应的无噪语音数据的二维语音特征组合为一维语音特征；
或者，
将N-T个第一训练集合中每个增强带噪语音数据的二维语音特征和相应的无噪语音数据的二维语音特征组合为三维语音特征。
14.如权利要求10所述的装置，其特征在于，
所述唤醒模型和所述有参考的质量评价网络模型是深度学习的网络模型。
15.一种获取语音增强算法的性能参数的装置，其特征在于，包括：
处理器；
用于存储处理器可执行指令的存储器；
其中，所述处理器被配置为：
获取N个增强带噪语音数据的第一验证集合中每个语音数据的识别结果值；其中，N个所述第一验证集合是对带噪语音数据集合采用N种增强算法进行增强处理后的数据集合，所述识别结果值包括：识别结果值为用于表示语音数据的值或用于表示非语音数据的值；所述N为大于1的整数；
根据N个所述第一验证集合中的T个第二验证集合，获取T个第三验证集合；根据N-T个第四验证集合获取N-T个第一训练集合；T是小于N的正整数；所述第一验证集合由所述第二验证集合和所述第四验证集合组成；所述第二验证集合、第三验证集合、第四验证集合中每个集合包含的语音数据对应同一增强算法；其中，所述第三验证集合为所述第二验证集合中去除了对增强算法不敏感的增强带噪语音数据后获得的敏感数据的集合；所述第一训练集合为所述第四验证集合中去除了对增强算法不敏感的增强带噪语音数据后获得的敏感数据的集合；其中，对增强算法不敏感的增强带噪语音数据对应的N个增强带噪语音数据的识别结果值均为唤醒成功结果值或均为唤醒失败结果值；
通过将N-T个所述第一训练集合中每个增强带噪语音数据的语音特征和相应的无噪语音数据的语音特征组合成组合式语音特征，得到N-T个组合式语音特征集合；其中，每个组合式语音特征的目标值为相应的增强带噪语音数据对应的识别结果值，带噪语音数据是在无噪语音数据的基础上增加噪声获得的语音数据；
根据N-T所述组合式语音特征集合和相应的所述目标值，训练有参考的质量评价网络模型直至训练成功；
根据所述有参考的质量评价网络模型和所述T个第三验证集合获取语音增强算法的性能参数；
其中，所述获取N个增强带噪语音数据的第一验证集合中每个语音数据的识别结果值，包括：
将每个第一验证集合的语音数据输入至相同增强算法对应的唤醒模型，得到输出结果，将输出结果作为此语音数据的识别结果值。
16.一种非临时性计算机可读存储介质，当所述存储介质中的指令由移动终端的处理器执行时，使得移动终端能够执行一种获取语音增强算法的性能参数方法，所述方法包括：
获取N个增强带噪语音数据的第一验证集合中每个语音数据的识别结果值；其中，N个所述第一验证集合是对带噪语音数据集合采用N种增强算法进行增强处理后的数据集合，所述识别结果值包括：识别结果值为用于表示语音数据的值或用于表示非语音数据的值；所述N为大于1的整数；
根据N个所述第一验证集合中的T个第二验证集合，获取T个第三验证集合；根据N-T个第四验证集合获取N-T个第一训练集合；T是小于N的正整数；所述第一验证集合由所述第二验证集合和所述第四验证集合组成；所述第二验证集合、第三验证集合、第四验证集合中每个集合包含的语音数据对应同一增强算法；其中，所述第三验证集合为所述第二验证集合中去除了对增强算法不敏感的增强带噪语音数据后获得的敏感数据的集合；所述第一训练集合为所述第四验证集合中去除了对增强算法不敏感的增强带噪语音数据后获得的敏感数据的集合；其中，对增强算法不敏感的增强带噪语音数据对应的N个增强带噪语音数据的识别结果值均为唤醒成功结果值或均为唤醒失败结果值；
通过将N-T个所述第一训练集合中每个增强带噪语音数据的语音特征和相应的无噪语音数据的语音特征组合成组合式语音特征，得到N-T个组合式语音特征集合；其中，每个组合式语音特征的目标值为相应的增强带噪语音数据对应的识别结果值，带噪语音数据是在无噪语音数据的基础上增加噪声获得的语音数据；
根据N-T所述组合式语音特征集合和相应的所述目标值，训练有参考的质量评价网络模型直至训练成功；
根据所述有参考的质量评价网络模型和所述T个第三验证集合获取语音增强算法的性能参数；
其中，所述获取N个增强带噪语音数据的第一验证集合中每个语音数据的识别结果值，包括：
将每个第一验证集合的语音数据输入至相同增强算法对应的唤醒模型，得到输出结果，将输出结果作为此语音数据的识别结果值。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910478562.XA CN112116916B (zh) | 2019-06-03 | 2019-06-03 | 确定语音增强算法的性能参数的方法、装置、介质及设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910478562.XA CN112116916B (zh) | 2019-06-03 | 2019-06-03 | 确定语音增强算法的性能参数的方法、装置、介质及设备 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN112116916A CN112116916A (zh) | 2020-12-22 |
| CN112116916B true CN112116916B (zh) | 2024-06-14 |
Family
ID=73795198
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910478562.XA Active CN112116916B (zh) | 2019-06-03 | 2019-06-03 | 确定语音增强算法的性能参数的方法、装置、介质及设备 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112116916B (zh) |
Family Cites Families (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20030033143A1 (en) * | 2001-08-13 | 2003-02-13 | Hagai Aronowitz | Decreasing noise sensitivity in speech processing under adverse conditions |
| KR101704926B1 (ko) * | 2015-10-23 | 2017-02-23 | 한양대학교 산학협력단 | 음향 환경 분류를 이용한 심화신경망의 앙상블이 구성된 통계모델 기반의 음성 검출 장치 및 음성 검출 방법 |
| US10812915B2 (en) * | 2017-10-27 | 2020-10-20 | Starkey Laboratories, Inc. | Electronic device using a compound metric for sound enhancement |
| CN109256144B (zh) * | 2018-11-20 | 2022-09-06 | 中国科学技术大学 | 基于集成学习与噪声感知训练的语音增强方法 |
-
2019
- 2019-06-03 CN CN201910478562.XA patent/CN112116916B/zh active Active
Non-Patent Citations (2)
| Title |
|---|
| Inconsistencies between the predicted qualities of enhanced speech signals from two objective metrics;Zhang Z等;The Journal of the Acoustical Society of America;第145卷(第3期);1898 * |
| 有监督学习条件下的单通道语音增强算法研究;张龙;中国博士学位论文全文数据库 信息科技辑;I136-11 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN112116916A (zh) | 2020-12-22 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN107105314B (zh) | 视频播放方法及装置 | |
| CN104991754B (zh) | 录音方法及装置 | |
| CN109360197B (zh) | 图像的处理方法、装置、电子设备及存储介质 | |
| US10230891B2 (en) | Method, device and medium of photography prompts | |
| CN110503968B (zh) | 一种音频处理方法、装置、设备及可读存储介质 | |
| CN107341509B (zh) | 卷积神经网络的训练方法、装置及可读存储介质 | |
| CN107493500A (zh) | 多媒体资源播放方法及装置 | |
| CN110931028B (zh) | 一种语音处理方法、装置和电子设备 | |
| CN113707134B (zh) | 一种模型训练方法、装置和用于模型训练的装置 | |
| CN115273831A (zh) | 语音转换模型训练方法、语音转换方法和装置 | |
| CN111988704B (zh) | 声音信号处理方法、装置以及存储介质 | |
| CN110970015B (zh) | 一种语音处理方法、装置和电子设备 | |
| CN112820300B (zh) | 音频处理方法及装置、终端、存储介质 | |
| CN109036404A (zh) | 语音交互方法及装置 | |
| CN113113044B (zh) | 音频处理方法及装置、终端及存储介质 | |
| CN109102813B (zh) | 声纹识别方法、装置、电子设备和存储介质 | |
| CN112116916B (zh) | 确定语音增强算法的性能参数的方法、装置、介质及设备 | |
| CN112866480B (zh) | 信息处理方法、装置、电子设备及存储介质 | |
| CN114356068B (zh) | 一种数据处理方法、装置和电子设备 | |
| CN113345451B (zh) | 一种变声方法、装置及电子设备 | |
| CN113345456B (zh) | 回声分离方法、装置及存储介质 | |
| CN113113036B (zh) | 音频信号处理方法及装置、终端及存储介质 | |
| CN114582327A (zh) | 语音识别模型训练方法、语言识别方法及电子设备 | |
| CN117373466A (zh) | 语音处理方法、装置、存储介质及芯片 | |
| CN114495942A (zh) | 一种语音识别方法、装置、电子设备及可读存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |