CN113724694B - 语音转换模型训练方法、装置、电子设备及存储介质 - Google Patents

语音转换模型训练方法、装置、电子设备及存储介质 Download PDF

Info

Publication number
CN113724694B
CN113724694B CN202111282503.9A CN202111282503A CN113724694B CN 113724694 B CN113724694 B CN 113724694B CN 202111282503 A CN202111282503 A CN 202111282503A CN 113724694 B CN113724694 B CN 113724694B
Authority
CN
China
Prior art keywords
noise
voice
spectrum
speech
sequence
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202111282503.9A
Other languages
English (en)
Other versions
CN113724694A (zh
Inventor
黄石磊
程刚
陈诚
廖晨
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Raisound Technology Co ltd
Original Assignee
Shenzhen Raisound Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Raisound Technology Co ltd filed Critical Shenzhen Raisound Technology Co ltd
Priority to CN202111282503.9A priority Critical patent/CN113724694B/zh
Publication of CN113724694A publication Critical patent/CN113724694A/zh
Application granted granted Critical
Publication of CN113724694B publication Critical patent/CN113724694B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/02—Feature extraction for speech recognition; Selection of recognition unit
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/06—Creation of reference templates; Training of speech recognition systems, e.g. adaptation to the characteristics of the speaker's voice
    • G10L15/063—Training
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/20—Speech recognition techniques specially adapted for robustness in adverse environments, e.g. in noise, of stress induced speech

Landscapes

  • Engineering & Computer Science (AREA)
  • Computational Linguistics (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Artificial Intelligence (AREA)
  • Electrically Operated Instructional Devices (AREA)

Abstract

本申请涉及人工智能技术领域，揭露了一种语音转换模型训练方法、装置、电子设备及存储介质。所述方法包括：利用非声波拾音的第一录音设备以及声波拾音的第二录音设备同时获取用户在第一状态下的语音，分别得到第一语音及第二语音；利用第一录音设备以及所述第二录音设备获取用户在第二状态下的语音，分别得到第一噪声语音及第二噪声语音；将第一噪声语音及第二噪声语音转化的频谱对齐；根据第一语音与第一噪声语音的频谱对齐关系，将第二语音与第二噪声语音的对齐，利用对齐后的第二语音与第二噪声语音训练语音深度学习模型，得到语音转换模型。本发明可以提高语音转换模型的训练精度。

Description

语音转换模型训练方法、装置、电子设备及存储介质
技术领域
本申请涉及人工智能技术领域，尤其涉及一种语音转换模型训练方法、装置、电子设备及存储介质。
背景技术
随着语音识别技术的发展，需要多种语音数据，如普通语音数据或添加噪声的噪声数据，以训练不同语音的识别效果，但是由于语音数据的获取较为困难，为了更好的获取不同类型的语音数据，需要对于语音数据进行转换，如将噪声数据进行降噪转化为普通语音，或者将普通语音添加噪声转化为噪声语音，目前语音数据的转换需要训练语音转换模型进行转换。
但是，目前语音转换模型的训练过程中由于普通语音和噪声语音不是同时录制的，且每一帧语音的语音特征差别较大，导致训练数据的标签不准确，从而造成模型的训练精度较低。
发明内容
为了解决上述技术问题或者至少部分地解决上述技术问题，本申请提供了一种语音转换模型训练方法、装置、电子设备及存储介质。
第一方面，本申请提供了一种语音转换模型训练方法，包括：
获取用户在第一状态下根据预设内容同时录制的至少两种语音，所述至少两种语音包括利用非声波拾音的第一录音设备录制的第一语音和利用声波拾音的第二录音设备录制的第二语音；
获取用户在第二状态下根据所述预设内容同时录制的至少两种噪声语音，所述至少两种噪声语音包括由所述第一录音设备录制的第一噪声语音和由所述第二录音设备录制的第二噪声语音；
将所述第一语音和所述第一噪声语音的频谱进行对齐，得到所述第一语音和所述第一噪声语音的对齐关系；
根据所述第一语音和所述第一噪声语音的对齐关系将所述第二语音和所述第二噪声语音进行对齐，确定对齐后的所述第二语音和所述第二噪声语音为预构建的深度学习模型的训练数据；
利用所述训练数据训练所述深度学习模型，得到语音转换模型。
可选地，所述将所述第一噪声语音和所述第二噪声语音的频谱进行对齐，得到所述第一噪声语音和所述第二噪声语音的对齐关系，包括：
对所述第一语音进行分帧，得到第一语音帧序列，及对所述第一噪声语音进行分帧，得到第一噪声语音帧序列；
将所述第一语音帧序列中每个第一语音帧转换为第一频谱，得到第一频谱序列，及将所述第一噪声语音帧序列中每个第一噪声语音帧转换为第一噪声频谱，得到第一噪声频谱序列；
将所述第一频谱序列与所述第一噪声频谱序列对齐，得到所述第一频谱和所述第一噪声频谱的对齐关系。
可选地，所述根据所述第一语音和所述第一噪声语音的对齐关系将所述第二语音和所述第二噪声语音进行对齐，包括：
对所述第二语音进行分帧，得到第二语音帧序列，及对所述第二噪声语音进行分帧，得到第二噪声语音帧序列；
将所述第二语音帧序列中的每个第二语音帧转换为第二频谱，得到第二频谱序列，及将所述第二噪声语音帧序列中的每个第二噪声语音帧转换为第二噪声频谱，得到第二噪声频谱序列；
从所述第一语音和所述第一噪声语音的对齐关系中获取每个所述第一频谱对齐的第一噪声频谱在所述第一噪声频谱序列中位置，得到对应的第一位置序号；
根据所述第一位置序号确定与所述第二频谱序列中每个所述第二频谱对齐的第二噪声频谱在所述第二噪声频谱序列中的位置；
根据每个所述第二频谱对齐的第二噪声频谱在所述第二噪声频谱序列中的位置，将所述第二频谱与所述第二噪声频谱进行对齐。
可选地，所述将所述第一语音帧序列中每个第一语音帧转换为第一频谱，得到第一频谱序列，包括：
将所述第一语音帧进行短时傅里叶变换，得到所述第一频谱；
将所有所述第一频谱按照对应的第一语音帧的顺序进行组合，得到所述第一频谱序列。
可选地，所述根据所述第一位置序号确定与所述第二频谱序列中每个所述第二频谱对齐的第二噪声频谱在所述第二噪声频谱序列中的位置，包括：
获取所述第一位置序号对应的第一频谱在所述第一频谱序列中的位置，得到第二位置序号；
确定所述第二频谱序列中第二位置序号的所述第二频谱与所述第二噪声频谱序列中第二位置序号的第二噪声频谱对齐。
可选地，所述确定对齐后的所述第二语音和所述第二噪声语音为预构建的深度学习模型的训练数据，包括：
确定每个所述第二频谱对齐的第二噪声频谱；
将每个所述第二频谱作为原始训练数据，将所述第二频谱对齐的第二噪声频谱标记为对应的标签训练数据；
汇总所述原始训练数据及所述标签训练数据，得到所述训练数据。
可选地，所述利用所述训练数据训练所述深度学习模型，得到语音转换模型，包括：
步骤A：利用所述深度学习模型对所述训练数据中每个原始训练数据进行预设次数的卷积池化操作，得到对应的特征数据；
步骤B：利用预设的激活函数对所述特征数据进行计算，得到每个特征数据对应的转化频谱；
步骤C：利用预构建的损失函数计算所述原始训练数据对应的所述转化频谱与所述原始训练数据对应的标签训练数据之间的损失值；
步骤D：若所述损失值大于或等于预设阈值，更新所述深度学习模型的参数，返回上述的步骤A；
步骤E：若所述损失值小于预设阈值，输出所述深度学习模型，得到所述语音转换模型。
第二方面，本申请提供了一种语音转换模型训练装置，包括：
语音获取模块，用于获取用户在第一状态下根据预设内容同时录制的至少两种语音，所述至少两种语音包括利用非声波拾音的第一录音设备录制的第一语音和利用声波拾音的第二录音设备录制的第二语音；获取用户在第二状态下根据所述预设内容同时录制的至少两种噪声语音，所述至少两种噪声语音包括由所述第一录音设备录制的第一噪声语音和由所述第二录音设备录制的第二噪声语音；
频谱对齐模块，用于将所述第一语音和所述第一噪声语音的频谱进行对齐，得到所述第一语音和所述第一噪声语音的对齐关系；根据所述第一语音和所述第一噪声语音的对齐关系将所述第二语音和所述第二噪声语音进行对齐，确定对齐后的所述第二语音和所述第二噪声语音为预构建的深度学习模型的训练数据；
模型训练模块，用于利用所述训练数据训练所述深度学习模型，得到语音转换模型。
第三方面，提供了一种电子设备，包括处理器、通信接口、存储器和通信总线，其中，处理器、通信接口、存储器通过通信总线完成相互间的通信；
存储器，用于存放计算机程序；
处理器，用于执行存储器上所存放的程序时，实现第一方面任一项实施例所述的语音转换模型训练方法的步骤。
第四方面，提供了一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现如第一方面任一项实施例所述的语音转换模型训练方法的步骤。
本申请实施例提供的上述技术方案与现有技术相比具有如下优点：
本发明实施例根据所述第一语音和所述第一噪声语音的对齐关系将所述第二语音和所述第二噪声语音进行对齐，确定对齐后的所述第二语音和所述第二噪声语音为预构建的深度学习模型的训练数据；利用所述训练数据训练所述深度学习模型，得到语音转换模型；利用第一录音设备录音由非声波方式进行拾音不受说话人外部状态改变的影响特性；以第一录音设备录制的说话人语音作为中介，从而将第一语音与第二语音进行对齐，进而在将所述第二语音和所述第二噪声语音进行对齐，进而利用对齐后的语音信息训练语音转换模型，提高语音转换模型的模型训练精度。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本发明的实施例，并与说明书一起用于解释本发明的原理。
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，对于本领域普通技术人员而言，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1为本申请实施例提供的一种语音转换模型训练方法的流程示意图；
图2为本申请实施例提供的一种语音转换模型训练装置的功能模块图；
图3为本申请实施例提供的一种语音转换模型训练的电子设备的结构示意图。
具体实施方式
为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请的一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本申请保护的范围。
图1为本申请实施例提供的一种语音转换模型训练方法的流程示意图。
S1、获取用户在第一状态下根据预设内容同时录制的至少两种语音，所述至少两种语音包括利用非声波拾音的第一录音设备录制的第一语音和利用声波拾音的第二录音设备录制的第二语音。
详细地，本发明实施例所述第一语音及第二语音为利用所述第一录音设备及所述第二录音设备同时录制某用户在第一状态下朗读预设内容的音频。
可选地，本发明实施例中所述第一录音设备为不受说话者自身或者外界等产生的噪声所影响的进行非声波方式拾音的音频捕获设备，如：喉麦；以及所述第二录音设备为进行声波拾音的普通类别麦克风。所述第一状态为用户在正常状态，即未受到身体状况、情绪、外在因素（如佩戴口罩）等影响时的状态。所述预设内容可以为预设的文本字段，如预设内容可以为文本字段 “123456879”等。例如：预设内容为文本字段 “123456789”，则第一语音为利用在喉麦某时刻录制的用户A正常状态下朗读预设内容“123456789”的音频，第二语音同一时刻利用普通声波拾音的麦克风录制的用户A正常状态下朗读预设内容“123456789”的音频。
S2、获取用户在第二状态下根据所述预设内容同时录制的至少两种噪声语音，所述至少两种噪声语音包括由所述第一录音设备录制的第一噪声语音和由所述第二录音设备录制的第二噪声语音。
详细地，本发明实施例中所述第一噪声语音及所述第二噪声语音为某时刻利用所述第一录音设备及所述第二录音设备同时录制的某用户在第二状态下朗读预设内容的读音的音频。所述第二状态为用户非正常状态，即受到身体状况、情绪、外在因素（如佩戴口罩）等影响时的非正常状态。所述预设内容与上述S1中所述内容相同，如预设内容为文本“123456879”。例如：预设内容为文本字段“123456879”，那么第一噪声语音为利用喉麦在某时刻录制的用户A戴口罩朗读预设内容“123456879”的音频，第二噪声语音同一时刻利用利用普通声波拾音的麦克风录制的用户A戴口罩朗读预设内容“123456879”的音频。
S3、将所述第一语音和所述第一噪声语音的频谱进行对齐，得到所述第一语音和所述第一噪声语音的对齐关系。
详细地，本发明实施例中将所述第一语音和所述第一噪声语音的频谱进行对齐，得到所述第一语音和所述第一噪声语音的对齐关系，包括：
步骤a：对所述第一语音进行分帧，得到第一语音帧序列，及对所述第一噪声语音进行分帧，得到第一噪声语音帧序列；
本发明实施例中为了更好的进行语音对齐，对所述第一语音进行分帧处理，得到所述第一语音帧序列。
具体地，本发明实施例中对所述第一语音进行分帧，得到第一语音帧序列，包括：
利用模/数转换器对所述第一语音进行采样，得到第一数字语音信号；对所述第一数字语音信号进行预加重操作，得到第一数字滤波语音信号，利用预设的时间长度将所述第一数字滤波语音信号进行分帧，得到多个第一语音帧；将所有所述第一语音帧按照在所述第一数字滤波语音信号中的先后顺序进行组合，得到第一语音帧序列。
由于人声的发音系统会抑制高频部分，在本实施例中，通过预加重操作，可以对数字语音信号进行补偿，以提升高频部分能量，使高频部分的语音能量和低频部分的语音能量有相似的幅度，使信号的频谱变得平坦，保持在低频到高频的整个频带中能用同样的信噪比。
具体地，本发明实施例可通过函数y(t)=x(t)-μx(t-1)对所述第一数字语音信号进行预加重操作，其中，x(t)为第一数字语音信号，t为时间，y(t)为所述数字滤波语音信号，μ为所述预加重操作的调节值，μ的取值范围为[0.9,1.0]。
进一步地，本发明实施例中对所述第一噪声语音进行分帧的方法与对所述第一语音进行分帧的方法相同，在此不再赘述。
步骤b：将所述第一语音帧序列中每个第一语音帧转换为第一频谱，得到第一频谱序列，及将所述第一噪声语音帧序列中每个第一噪声语音帧转换为第一噪声频谱，得到第一噪声频谱序列；
详细地，本发明实施例中将所述第一语音帧序列中的每个第一语音帧进行频域特征转换得到第一频谱，可选地，本发明实施例中将所述第一语音帧进行短时傅里叶变换，得到所述第一频谱，进一步地，将所有所述第一频谱按照对应的第一语音帧的顺序进行组合，得到第一频谱序列。
进一步地，本发明实施例中将所述第一噪声语音帧序列中的每个第一噪声语音帧进行频域特征转换得到第一噪声频谱，将所有所述第一噪声频谱按照对应的第一噪声语音帧的顺序进行组合，得到第一噪声频谱序列。
步骤c：将所述第一频谱序列与所述第一噪声频谱序列对齐，得到所述第一频谱和所述第一噪声频谱的对齐关系。
由于，所述第一语音和第一噪声语音不是同时录制的，所述第一语音与所述第一噪声语音的时序不相同的，所以所述第一频谱序列与所述第一噪声频谱序列中的频谱对齐的，因此，需要将所述第一频谱序列与所述第一噪声频谱序列对齐，得到每个所述第一频谱对齐的第一噪声频谱。
可选地，本发明实施例中利用DTW算法将所述第一频谱序列与所述第一噪声频谱序列进行对齐，得到每个所述第一频谱对齐的第一噪声频谱。例如：所述第一频谱序列为[第一频谱A，第一频谱B，第一频谱C]，所述第一噪声频谱序列为[第一噪声频谱B，第一噪声频谱A]，利用DTW（Dynamic Time Warping，动态时间归整）算法计算第一频谱A对齐第一噪声频谱B，第一频谱B对齐第一噪声频谱A，第一频谱C对齐第一噪声频谱B时两个序列之间的距离路径最短，所述第一频谱序列与所述第一噪声频谱序列对齐，此时第一频谱A对齐第一噪声频谱B，第一频谱B对齐第一噪声频谱A，第一频谱C对齐第一噪声频谱B。
S4、根据所述第一语音和所述第一噪声语音的对齐关系将所述第二语音和所述第二噪声语音进行对齐，确定对齐后的所述第二语音和所述第二噪声语音为预构建的深度学习模型的训练数据。
详细地，本发明实施例中根据所述第一语音和所述第一噪声语音的对齐关系将所述第二语音和所述第二噪声语音进行对齐，包括：
步骤I、对所述第二语音进行分帧，得到第二语音帧序列，及对所述第二噪声语音进行分帧，得到第二噪声语音帧序列；
可选地，本发明实施例中分帧的方法与前述分帧的方法相同，在此不在赘述。
步骤II、将所述第二语音帧序列中的每个第二语音帧转换为第二频谱，得到第二频谱序列，及将所述第二噪声语音帧序列中的每个第二噪声语音帧转换为第二噪声频谱，得到第二噪声频谱序列；
详细地，本发明实施例中将语音帧转化为频谱的方法与前述转化方法相同，在此不在赘述。
进一步地，由于所述第一语音与所述第二语音的是同时录制时序是相同的，所述第一噪声语音与所述第二噪声语音也是同时录制时序也相同，因此，所述第一频谱序列与所述第二频谱序列是对齐的，所述第一噪声频谱序列与所述第二噪声频谱序列是对齐的，所以可以根据第一频谱与第一噪声频谱的对齐关系，得到第二频谱对齐的第二噪声频谱。
步骤III、从所述第一语音和所述第一噪声语音的对齐关系中获取每个所述第一频谱对齐的第一噪声频谱在所述第一噪声频谱序列中位置，得到对应的第一位置序号；
步骤IV、根据所述第一位置序号确定与所述第二频谱序列中每个所述第二频谱对齐的第二噪声频谱在所述第二噪声频谱序列中的位置，得到所述第二频谱与所述第二噪声频谱的对齐关系。
具体地，本发明实施例根据所述第一位置序号确定与所述第二频谱序列中每个所述第二频谱对齐的第二噪声频谱在所述第二噪声频谱序列中的位置，包括：
获取所述第一位置序号对应的第一频谱在所述第一频谱序列中的位置，得到第二位置序号；
确定所述第二频谱序列中第二位置序号的所述第二频谱与所述第二噪声频谱序列中第二位置序号的第二噪声频谱对齐。
例如：所述第一频谱序列为[第一频谱A，第一频谱B，第一频谱C]，所述第二频谱序列为[第二频谱A，第二频谱B，第二频谱C]，所述第一噪声频谱序列为[第一噪声频谱A，第一噪声频谱B]，所述第二噪声频谱序列为[第二噪声频谱B，第二噪声频谱A]，第一频谱A对齐第一噪声频谱B，第一噪声频谱B对应的第一位置序号为1，第一频谱A对应的第二位置序号为1，第一频谱B对齐第一噪声频谱B，第一频谱B对应的第二位置序号为2，第一频谱C对齐第一噪声频谱A，第一噪声频谱A对应的第一位置序号为2，第一频谱A对应的第二位置序号为3，那么所述第二频谱序列中第一个频谱对齐第二噪声频谱序列中第一个频谱，所述第二频谱序列中第二个频谱对齐第二噪声频谱序列中第一个频谱，所述第二噪声频谱序列中第三个频谱对齐第二噪声频谱序列中第二个频谱,即第一频谱A对齐第一噪声频谱B，第一频谱B对齐第一噪声频谱B，第一频谱C对齐第一噪声频谱A。
进一步地，本发明实施例中根据所述第二频谱与所述第二噪声频谱的对齐关系，确定每个所述第二频谱对齐的第二噪声频谱；将每个所述第二频谱作为原始训练数据，将所述第二频谱对齐的第二噪声频谱标记为对应的标签训练数据；汇总所述原始训练数据及所述标签训练数据，得到训练数据。
本发明另一实施例中所述确定对齐后的所述第二语音和所述第二噪声语音为预构建的深度学习模型的训练数据，包括：
根据所述第二频谱与所述第二噪声频谱的对齐关系，确定每个所述第二频谱对齐的第二噪声频谱；
将每个所述第二噪声频谱作为原始训练数据，将所述第二噪声频谱对齐的第二频谱标记为对应的标签训练数据；
汇总所述原始训练数据及所述标签训练数据，得到所述训练数据。
S5、利用所述训练数据训练所述深度学习模型，得到语音转换模型。
详细地，本发明实施例中利用所述训练数据对预构建的深度学习模型进行训练，得到所述语音转换模型。其中，所述深度学习模型包括但不限于：CNN、RNN、TDNN等模型。
详细地，本发明实施例利用所述训练数据对深度学习模型进行迭代训练，包括：
步骤A：利用所述深度学习模型对所述训练数据中每个原始训练数据进行预设次数的卷积池化操作，得到对应的特征数据；所述训练数据详细地，本发明实施例中，将所述训练数据输入所述深度学习模型的输入层，进一步地，由所述深度学习模型隐含层的卷积层对所述训练数据每个原始训练数据进行卷积，得到卷积数据，再由所述深度学习模型的池化层对所述卷积数据进行池化，得到特征数据。
步骤B：利用预设的激活函数对所述特征数据进行计算，得到每个特征数据对应的转化频谱；
可选地，本发明实施例中所述激活函数为Relu函数、Sigmoid函数等。
步骤C：利用预构建的损失函数计算所述原始训练数据对应的所述转化频谱与所述原始训练数据对应的标签训练数据之间的损失值；
步骤D：若所述损失值大于或等于预设阈值，更新所述深度学习模型的参数，返回上述的步骤A；
步骤E：若所述损失值小于预设阈值，得到并输出所述语音转换模型。
详细地，所述卷积池化操作包括：卷积操作和池化操作。
较佳地，本发明实施例中所述池化操作为对所述卷积数据集进行平均池化操作得到所述特征集。
可选地，本发明实施例中所述损失函数包括：绝对值损失函数、平方损失函数、交叉熵损失函数等。
可选地，本发明实施例中当所述训练数据中的原始数据为第二频谱，那么对应的语音转化模型为可以将用户第一状态下录制的待识别语音转化为第二状态的语音，实现噪声的添加。
当所述训练数据中的原始数据为第二噪声频谱，那么对应的语音转化模型为可以将用户第二状态下录制的待识别语音转化为第一状态的语音，实现语音降噪。
本发明实施例中当接收到所述第一状态的待识别语音时，利用所述语音转换模型对所述待识别语音进行降噪，进而对降噪后的待识别语音进行语音识别。
详细地，本发明实施例将所述待识别语音进行分帧，得到待识别语音帧序列；
可选地，本发明实施例中所述第一状态为戴口罩的状态，所述待识别语音为获取的某用户戴口罩状态下说话的数据。
进一步地，本发明实施例将所述待识别语音帧序列中的每个待识别语音帧进行频谱转换为待识别频谱，得到待识别频谱序列；
详细地，本发明实施例将所述待识别语音帧序列中的每个待识别语音帧进行频域特征转换得到第一频谱，将所有所述第一频谱按照对应的待识别语音帧的顺序进行组合，得到待识别频谱序列。
进一步地，本发明实施例利用所述语音降噪模型对所述待识别频谱序列中每一个待识别频谱进行频谱对齐，得到降噪频谱序列；
详细地，本发明实施例利用降噪模型对所述待识别频谱序列中的每个待识别频谱进行频谱降噪，得到降噪频谱序列。
详细地，本发明实施例中将所述待识别频谱序列输入所述语音转换模型，得到所述降噪频谱序列。
进一步地，对所述降噪频谱序列进行语音识别，得到识别结果。
详细地，本发明实施例对所述降噪频谱序列进行语音识别，得到识别结果，所述降噪频谱序列识别为文本。可选地，本发明实施例可利用ASR将所述降噪频谱序列识别为文本。
本发明实施例根据所述第一语音和所述第一噪声语音的对齐关系将所述第二语音和所述第二噪声语音进行对齐，确定对齐后的所述第二语音和所述第二噪声语音为预构建的深度学习模型的训练数据；利用所述训练数据训练所述深度学习模型，得到语音转换模型；利用第一录音设备录音由非声波方式进行拾音不受说话人外部状态改变的影响特性；以第一录音设备录制的说话人语音作为中介，从而将第一语音与第二语音进行对齐，进而在将所述第二语音和所述第二噪声语音进行对齐，进而利用对齐后的语音信息训练语音转换模型，提高语音转换模型的模型训练精度。
如图2所示，是本发明语音转换模型训练装置的功能模块图。
本发明所述语音转换模型训练装置100可以安装于电子设备中。根据实现的功能，所述语音转换模型训练装置可以包括语音获取模块101、频谱对齐模块102、模型训练模块103，本发所述模块也可以称之为单元，是指一种能够被电子设备处理器所执行，并且能够完成固定功能的一系列计算机程序段，其存储在电子设备的存储器中。
在本实施例中，关于各模块/单元的功能如下：
所述语音获取模块101用于获取用户在第一状态下根据预设内容同时录制的至少两种语音，所述至少两种语音包括利用非声波拾音的第一录音设备录制的第一语音和利用声波拾音的第二录音设备录制的第二语音；获取用户在第二状态下根据所述预设内容同时录制的至少两种噪声语音，所述至少两种噪声语音包括由所述第一录音设备录制的第一噪声语音和由所述第二录音设备录制的第二噪声语音；
所述频谱对齐模块102用于将所述第一语音和所述第一噪声语音的频谱进行对齐，得到所述第一语音和所述第一噪声语音的对齐关系；根据所述第一语音和所述第一噪声语音的对齐关系将所述第二语音和所述第二噪声语音进行对齐，确定对齐后的所述第二语音和所述第二噪声语音为预构建的深度学习模型的训练数据；
所述模型训练模块103用于利用所述训练数据训练所述深度学习模型，得到语音转换模型。
详细地，本发明实施例中所述语音转换模型训练装置100中所述的各模块在使用时采用与上述图1所述的语音转换模型训练方法一样的技术手段，并能够产生相同的技术效果，这里不再赘述。
如图3所示，本申请实施例提供了一种实现语音转换模型训练的电子设备，包括处理器111、通信接口112、存储器113和通信总线114，其中，处理器111、通信接口112、存储器113通过通信总线114完成相互间的通信；
存储器113，用于存放计算机程序；
在本申请一个实施例中，处理器111，用于执行存储器113上所存放的程序时，实现前述任意一个方法实施例提供的语音转换模型训练方法，包括：
获取用户在第一状态下根据预设内容同时录制的至少两种语音，所述至少两种语音包括利用非声波拾音的第一录音设备录制的第一语音和利用声波拾音的第二录音设备录制的第二语音；
获取用户在第二状态下根据所述预设内容同时录制的至少两种噪声语音，所述至少两种噪声语音包括由所述第一录音设备录制的第一噪声语音和由所述第二录音设备录制的第二噪声语音；
将所述第一语音和所述第一噪声语音的频谱进行对齐，得到所述第一语音和所述第一噪声语音的对齐关系；
根据所述第一语音和所述第一噪声语音的对齐关系将所述第二语音和所述第二噪声语音进行对齐，确定对齐后的所述第二语音和所述第二噪声语音为预构建的深度学习模型的训练数据；
利用所述训练数据训练所述深度学习模型，得到语音转换模型。
上述通信总线114可以是外设部件互连标准(PeripheralComponentInterconnect，简称PCI)总线或扩展工业标准结构(ExtendedIndustryStandardArchitecture，简称EISA)总线等。该通信总线114可以分为地址总线、数据总线、控制总线等。为便于表示，图中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。
通信接口112用于上述电子设备与其他设备之间的通信。
存储器113可以包括随机存取存储器(RandomAccessMemory，简称RAM)，也可以包括非易失性存储器(non-volatilememory)，例如至少一个磁盘存储器。可选的，存储器113还可以是至少一个位于远离前述处理器111的存储装置。
上述的处理器111可以是通用处理器，包括中央处理器(CentralProcessingUnit，简称CPU)、网络处理器(NetworkProcessor，简称NP)等；还可以是数字信号处理器(DigitalSignalProcessing，简称DSP)、专用集成电路(ApplicationSpecificIntegratedCircuit，简称ASIC)、现场可编程门阵列(Field-ProgrammableGateArray，简称FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。
本申请实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现如前述任意一个方法实施例提供的语音转换模型训练方法的步骤。
在上述实施例中，可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时，可以全部或部分地以计算机程序产品的形式实现。计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行计算机程序指令时，全部或部分地产生按照本申请实施例的流程或功能。计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。计算机指令可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一个计算机可读存储介质传输，例如，计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线(DSL))或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。可用介质可以是磁性介质，(例如，软盘、硬盘、磁带)、光介质(例如，DVD)、或者半导体介质(例如固态硬盘SolidStateDisk(SSD))等。需要说明的是，在本文中，诸如“第一”和“第二”等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
以上所述仅是本发明的具体实施方式，使本领域技术人员能够理解或实现本发明。对这些实施例的多种修改对本领域的技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其它实施例中实现。因此，本发明将不会被限制于本文所示的这些实施例，而是要符合与本文所申请的原理和新颖特点相一致的最宽的范围。

Claims (10)

1.一种语音转换模型训练方法，其特征在于，所述方法包括：
获取用户在第一状态下根据预设内容同时录制的两种语音，所述两种语音包括利用非声波拾音的第一录音设备录制的第一语音和利用声波拾音的第二录音设备录制的第二语音；
获取用户在第二状态下根据所述预设内容同时录制的两种噪声语音，所述两种噪声语音包括由所述第一录音设备录制的第一噪声语音和由所述第二录音设备录制的第二噪声语音；
将所述第一语音和所述第一噪声语音的频谱进行对齐，得到所述第一语音和所述第一噪声语音的对齐关系；
根据所述第一语音和所述第一噪声语音的对齐关系将所述第二语音和所述第二噪声语音进行对齐，确定对齐后的所述第二语音和所述第二噪声语音为预构建的深度学习模型的训练数据；
利用所述训练数据训练所述深度学习模型，得到语音转换模型。
2.根据权利要求1所述的语音转换模型训练方法，其特征在于，所述将所述第一语音和所述第一噪声语音的频谱进行对齐，得到所述第一语音和所述第一噪声语音的对齐关系，包括：
对所述第一语音进行分帧，得到第一语音帧序列，及对所述第一噪声语音进行分帧，得到第一噪声语音帧序列；
将所述第一语音帧序列中每个第一语音帧转换为第一频谱，得到第一频谱序列，及将所述第一噪声语音帧序列中每个第一噪声语音帧转换为第一噪声频谱，得到第一噪声频谱序列；
将所述第一频谱序列与所述第一噪声频谱序列对齐，得到所述第一频谱和所述第一噪声频谱的对齐关系。
3.根据权利要求2所述的语音转换模型训练方法，其特征在于，所述根据所述第一语音和所述第一噪声语音的对齐关系将所述第二语音和所述第二噪声语音进行对齐，包括：
对所述第二语音进行分帧，得到第二语音帧序列，及对所述第二噪声语音进行分帧，得到第二噪声语音帧序列；
将所述第二语音帧序列中的每个第二语音帧转换为第二频谱，得到第二频谱序列，及将所述第二噪声语音帧序列中的每个第二噪声语音帧转换为第二噪声频谱，得到第二噪声频谱序列；
从所述第一语音和所述第一噪声语音的对齐关系中获取每个所述第一频谱对齐的第一噪声频谱在所述第一噪声频谱序列中位置，得到对应的第一位置序号；
根据所述第一位置序号确定与所述第二频谱序列中每个所述第二频谱对齐的第二噪声频谱在所述第二噪声频谱序列中的位置；
根据每个所述第二频谱对齐的第二噪声频谱在所述第二噪声频谱序列中的位置，将所述第二频谱与所述第二噪声频谱进行对齐。
4.根据权利要求2所述的语音转换模型训练方法，其特征在于，所述将所述第一语音帧序列中每个第一语音帧转换为第一频谱，得到第一频谱序列，包括：
将所述第一语音帧进行短时傅里叶变换，得到所述第一频谱；
将所有所述第一频谱按照对应的第一语音帧的顺序进行组合，得到所述第一频谱序列。
5.根据权利要求3所述的语音转换模型训练方法，其特征在于，所述根据所述第一位置序号确定与所述第二频谱序列中每个所述第二频谱对齐的第二噪声频谱在所述第二噪声频谱序列中的位置，包括：
获取所述第一位置序号对应的第一频谱在所述第一频谱序列中的位置，得到第二位置序号；
确定所述第二频谱序列中第二位置序号的所述第二频谱与所述第二噪声频谱序列中第二位置序号的第二噪声频谱对齐。
6.根据权利要求3所述的语音转换模型训练方法，其特征在于，所述确定对齐后的所述第二语音和所述第二噪声语音为预构建的深度学习模型的训练数据，包括：
确定每个所述第二频谱对齐的第二噪声频谱；
将每个所述第二频谱作为原始训练数据，将所述第二频谱对齐的第二噪声频谱标记为对应的标签训练数据；
汇总所述原始训练数据及所述标签训练数据，得到所述训练数据。
7.根据权利要求6所述的语音转换模型训练方法，其特征在于，所述利用所述训练数据训练所述深度学习模型，得到语音转换模型，包括：
步骤A：利用所述深度学习模型对所述训练数据中每个原始训练数据进行预设次数的卷积池化操作，得到对应的特征数据；
步骤B：利用预设的激活函数对所述特征数据进行计算，得到每个特征数据对应的转化频谱；
步骤C：利用预构建的损失函数计算所述原始训练数据对应的所述转化频谱与所述原始训练数据对应的标签训练数据之间的损失值；
步骤D：若所述损失值大于或等于预设阈值，更新所述深度学习模型的参数，返回上述的步骤A；
步骤E：若所述损失值小于预设阈值，输出所述深度学习模型，得到所述语音转换模型。
8.一种语音转换模型训练装置，其特征在于，包括：
语音获取模块，用于获取用户在第一状态下根据预设内容同时录制的两种语音，所述两种语音包括利用非声波拾音的第一录音设备录制的第一语音和利用声波拾音的第二录音设备录制的第二语音；获取用户在第二状态下根据所述预设内容同时录制的两种噪声语音，所述两种噪声语音包括由所述第一录音设备录制的第一噪声语音和由所述第二录音设备录制的第二噪声语音；
频谱对齐模块，用于将所述第一语音和所述第一噪声语音的频谱进行对齐，得到所述第一语音和所述第一噪声语音的对齐关系；根据所述第一语音和所述第一噪声语音的对齐关系将所述第二语音和所述第二噪声语音进行对齐，确定对齐后的所述第二语音和所述第二噪声语音为预构建的深度学习模型的训练数据；
模型训练模块，用于利用所述训练数据训练所述深度学习模型，得到语音转换模型。
9.一种电子设备，其特征在于，包括处理器、通信接口、存储器和通信总线，其中，处理器、通信接口、存储器通过通信总线完成相互间的通信；
存储器，用于存放计算机程序；
处理器，用于执行存储器上所存放的程序时，实现权利要求1至7中任意一项所述的语音转换模型训练方法的步骤。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至7中任意一项所述的语音转换模型训练方法的步骤。
CN202111282503.9A 2021-11-01 2021-11-01 语音转换模型训练方法、装置、电子设备及存储介质 Active CN113724694B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111282503.9A CN113724694B (zh) 2021-11-01 2021-11-01 语音转换模型训练方法、装置、电子设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111282503.9A CN113724694B (zh) 2021-11-01 2021-11-01 语音转换模型训练方法、装置、电子设备及存储介质

Publications (2)

Publication Number Publication Date
CN113724694A CN113724694A (zh) 2021-11-30
CN113724694B true CN113724694B (zh) 2022-03-08

Family

ID=78686330

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111282503.9A Active CN113724694B (zh) 2021-11-01 2021-11-01 语音转换模型训练方法、装置、电子设备及存储介质

Country Status (1)

Country Link
CN (1) CN113724694B (zh)

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1415505A1 (en) * 2001-05-30 2004-05-06 Aliphcom Detecting voiced and unvoiced speech using both acoustic and nonacoustic sensors
CN107910011B (zh) * 2017-12-28 2021-05-04 科大讯飞股份有限公司 一种语音降噪方法、装置、服务器及存储介质
CN111863014A (zh) * 2019-04-26 2020-10-30 北京嘀嘀无限科技发展有限公司 一种音频处理方法、装置、电子设备和可读存储介质
KR102663669B1 (ko) * 2019-11-01 2024-05-08 엘지전자 주식회사 소음 환경에서의 음성 합성
CN111276133B (zh) * 2020-01-20 2023-01-03 厦门快商通科技股份有限公司 音频识别方法、系统、移动终端及存储介质
CN112712790B (zh) * 2020-12-23 2023-08-15 平安银行股份有限公司 针对目标说话人的语音提取方法、装置、设备及介质

Also Published As

Publication number Publication date
CN113724694A (zh) 2021-11-30

Similar Documents

Publication Publication Date Title
Zhang et al. Deep learning for environmentally robust speech recognition: An overview of recent developments
US9666183B2 (en) Deep neural net based filter prediction for audio event classification and extraction
CN112949708B (zh) 情绪识别方法、装置、计算机设备和存储介质
CN105654955B (zh) 语音识别方法及装置
WO2020172828A1 (zh) 一种声源分离方法、装置及设备
CN112767927A (zh) 一种提取语音特征的方法、装置、终端及存储介质
WO2023001128A1 (zh) 音频数据的处理方法、装置及设备
Hsieh et al. Improving perceptual quality by phone-fortified perceptual loss for speech enhancement
US20200227069A1 (en) Method, device and apparatus for recognizing voice signal, and storage medium
JPWO2014049944A1 (ja) 音声処理装置、音声処理方法、音声処理プログラムおよび雑音抑圧装置
CN112802490B (zh) 一种基于传声器阵列的波束形成方法和装置
CN113724694B (zh) 语音转换模型训练方法、装置、电子设备及存储介质
WO2020015546A1 (zh) 一种远场语音识别方法、语音识别模型训练方法和服务器
CN113658596A (zh) 语意辨识方法与语意辨识装置
CN114420100B (zh) 语音检测方法及装置、电子设备及存储介质
Joy et al. Deep Scattering Power Spectrum Features for Robust Speech Recognition.
US20230116052A1 (en) Array geometry agnostic multi-channel personalized speech enhancement
Tkachenko et al. Speech enhancement for speaker recognition using deep recurrent neural networks
WO2023102930A1 (zh) 语音增强方法、电子设备、程序产品及存储介质
CN105355206A (zh) 一种声纹特征提取方法和电子设备
Zhao et al. Radio2Speech: High Quality Speech Recovery from Radio Frequency Signals
CN112687284B (zh) 混响语音的混响抑制方法及装置
JP2014092705A (ja) 音響信号強調装置、音響信号強調方法、およびプログラム
CN115148208B (zh) 音频数据处理方法、装置、芯片及电子设备
CN113257284B (zh) 语音活动检测模型训练、语音活动检测方法及相关装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant