CN114420108A - 一种语音识别模型训练方法、装置、计算机设备及介质 - Google Patents

一种语音识别模型训练方法、装置、计算机设备及介质 Download PDF

Info

Publication number
CN114420108A
CN114420108A CN202210139450.3A CN202210139450A CN114420108A CN 114420108 A CN114420108 A CN 114420108A CN 202210139450 A CN202210139450 A CN 202210139450A CN 114420108 A CN114420108 A CN 114420108A
Authority
CN
China
Prior art keywords
signal
domain signal
training
frequency domain
acquiring
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210139450.3A
Other languages
English (en)
Inventor
赵沁
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ping An Technology Shenzhen Co Ltd
Original Assignee
Ping An Technology Shenzhen Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ping An Technology Shenzhen Co Ltd filed Critical Ping An Technology Shenzhen Co Ltd
Priority to CN202210139450.3A priority Critical patent/CN114420108A/zh
Publication of CN114420108A publication Critical patent/CN114420108A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/06—Creation of reference templates; Training of speech recognition systems, e.g. adaptation to the characteristics of the speaker's voice
    • G10L15/063—Training
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/02—Feature extraction for speech recognition; Selection of recognition unit
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/03—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the type of extracted parameters
    • G10L25/24—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the type of extracted parameters the extracted parameters being the cepstrum
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/27—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the analysis technique
    • G10L25/30—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the analysis technique using neural networks
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/45—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the type of analysis window

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Computational Linguistics (AREA)
  • Acoustics & Sound (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • Telephonic Communication Services (AREA)

Abstract

本发明属于人工智能技术领域，提供一种语音识别模型训练方法、装置、计算机设备及介质，该方法包括：通过多个采样点采集语音的时域信号，将时域信号进行通道转换，获取单通道的时域信号，将所述单通道的时域信号进行频域转换，获取频域信号；对所述频域信号进行遍历，确定所述频域信号的数据帧与频谱的对应关系，获取数据帧的能量值，通过所述能量值确定所述频域信号的段落点，并通过所述段落点和所述数据帧来获取信号段落；通过多种窗长对所述信号段落进行分帧加窗处理，获取信号片段集，分别提取所述信号片段集中各个信号片段的音频特征，获取数据集；获取初始模型，对所述数据集以及初始模型进行迭代训练，获取语音识别模型。

Description

一种语音识别模型训练方法、装置、计算机设备及介质
技术领域
本发明设计人工智能技术领域，特别是涉及一种语音识别模型训练方法、装置、计算机设备及介质。
背景技术
随着人工智能技术的快速发展和广泛应用，语音识别技术逐渐应用于消费业务、金融服务业务等场景中，语音识别的任务包括声纹识别、语义识别或者情感识别等任务。可通过数据集对算法模型进行训练，获取理想的识别模型。识别模型的训练过程需要大量被标注的语音样本，然而高质量的语音样本较少，通过较少数量的语音样本进行训练，不利于获取高置信度的识别模型。
发明内容
鉴于以上所述现有技术的缺点，本发明的目的在于提供一种语音识别模型训练方法、装置、计算机设备及介质，用于解决语音识别任务置信度较低的问题。
为实现上述目的及其他相关目的，本发明提供一种语音识别模型训练方法，包括：
通过多个采样点采集语音的时域信号，将所述时域信号进行通道转换，获取单通道的时域信号，将所述单通道的时域信号进行频域转换，获取频域信号；
对所述频域信号进行遍历，确定所述频域信号的数据帧与频谱的对应关系，获取所述数据帧的能量值，通过所述能量值确定所述频域信号的段落点，并通过所述段落点和所述数据帧来获取信号段落；
通过多种窗长对所述信号段落进行分帧加窗处理，获取信号片段集，分别提取所述信号片段集中各个信号片段的音频特征，获取数据集，其中，分帧加窗处理中的帧移为所述窗长的1/n，n＞1；
获取初始模型，对所述数据集以及所述初始模型进行迭代训练，获取语音识别模型。
可选的，对所述频域信号进行遍历，确定所述频域信号的数据帧与频谱的对应关系，获取所述数据帧的能量值，通过所述能量值确定所述频域信号的段落点，并通过所述段落点和所述数据帧来获取信号段落的步骤包括：
对所述频域信号进行遍历，确定当前的数据帧与当前的频谱的对应关系，获取所述当前的数据帧的短时能熵比，判断所述短时能熵比是否大于预设值，若所述短时能熵比大于所述预设值，则将当前的数据帧作为所述频域信号的段落点，并将相邻两个所述段落点之间的数据帧输出为所述信号段落。
可选的，将所述时域信号进行通道转换，获取单通道的时域信号，包括：
判断所述时域信号的通道数量，当所述通道数量为多通道时，通过阵列增强或者广义旁瓣消除器增强进行通道转换，获取所述单通道的时域信号。
可选的，所述初始模型包括卷积神经网络，所述卷积神经网络包括输入层、中间层以及输出层，所述中间层包括卷积层以及多个权值层，其中，一权值层的输入端与另一权值层的输出端连接。
可选的，通过损失函数对所述数据集以及所述初始模型进行迭代训练，所述损失函数包括：第i类别的样本和权重值的损失、第i类别的标签与第i个样本的标签的权重值的损失、第i类别的样本和第k个权重值的损失。
可选的，获取初始模型，对所述数据集以及所述初始模型进行迭代训练，获取语音识别模型的步骤还包括：
将所述数据集分成K个子数据集，将其中一子集数据作为验证集，其余的K-1个子数据集作为训练集，进行迭代训练，获取K-1个训练模型；
根据准确率或者召回率，从K-1个所述训练模型选择所述语音识别模型。
可选的，获取初始模型，对所述数据集以及所述初始模型进行迭代训练，获取语音识别模型的步骤之前，包括：
通过多种窗长对所述信号段落进行再次分帧加窗处理，获取信号片段集，分别提取所述信号片段集中各个信号片段的音频特征，获取测试集，其中，再次分帧加窗处理中的帧移为所述窗长的1/p，p＞1且p≠n。
本发明提供一种语音识别模型训练装置，包括：
采集模块，用于通过多个采样点采集语音的时域信号，将所述时域信号进行通道转换，获取单通道的时域信号，将所述单通道的时域信号进行频域转换，获取频域信号；
预处理模块，用于对所述频域信号进行遍历，确定所述频域信号的数据帧与频谱的对应关系，获取所述数据帧的能量值，通过所述能量值确定所述频域信号的段落点，并通过所述段落点和所述数据帧来获取信号段落；
数据模块，用于通过多种窗长对所述信号段落进行分帧加窗处理，获取信号片段集，分别提取所述信号片段集中各个信号片段的音频特征，获取数据集，其中，分帧加窗处理中的帧移为所述窗长的1/n，n＞1；
处理模块，用于获取初始模型，对所述数据集以及所述初始模型进行迭代训练，获取语音识别模型。
本发明提供一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现所述语音识别模型训练方法的步骤。
本发明提供一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现所述的语音识别模型训练方法的步骤。
如上所述，本发明的语音识别模型训练方法、装置、计算机设备及可读存储介质，具有以下有益效果：
通过多种窗长对所述信号段落进行分帧加窗处理，获取信号片段，实现了高质量语音信号的数据增强，获取更多能被用于模型训练的信号片段以及音频特征，并基于数据增强后的信号片段集来获取数据集，满足模型训练的要求，通过对模型的迭代训练，以较高的识别性能作为指标，获取优选的训练模型作为语音识别模型，通过训练好的语音识别模型，对当前的或者实时的语音信号进行处理，完成语音识别任务。
附图说明
图1显示为本发明实施例的语音识别模型训练方法的应用环境示意图；
图2显示为本发明实施例的语音识别模型训练方法的流程示意图；
图3显示为本发明另一实施例的卷积神经网络的结构示意图；
图4显示为本发明实施例的中间层的结构示意图；
图5显示为本发明另一实施例的语音识别模型训练装置的结构示意图；
图6显示为本发明实施例中计算机设备的结构示意图。
具体实施方式
以下通过特定的具体实例说明本发明的实施方式，本领域技术人员可由本说明书所揭露的内容轻易地了解本发明的其他优点与功效。本发明还可以通过另外不同的具体实施方式加以实施或应用，本说明书中的各项细节也可以基于不同观点与应用，在没有背离本发明的精神下进行各种修饰或改变。
需要说明的是，本实施例中所提供的图示仅以示意方式说明本发明的基本构想，遂图式中仅显示与本发明中有关的组件而非按照实际实施时的组件数目、形状及尺寸绘制，其实际实施时各组件的型态、数量及比例可为一种随意的改变，且其组件布局型态也可能更为复杂。本说明书所附图式所绘示的结构、比例、大小等，均仅用以配合说明书所揭示的内容，以供熟悉此技术的人士了解与阅读，并非用以限定本发明可实施的限定条件，故不具技术上的实质意义，任何结构的修饰、比例关系的改变或大小的调整，在不影响本发明所能产生的功效及所能达成的目的下，均应仍落在本发明所揭示的技术内容得能涵盖的范围内。同时，本说明书中所引用的如“上”、“下”、“左”、“右”、“中间”及“一”等的用语，亦仅为便于叙述的明了，而非用以限定本发明可实施的范围，其相对关系的改变或调整，在无实质变更技术内容下，当亦视为本发明可实施的范畴。
本方案提供的语音识别模型训练方法，可以应用于如图1所示的应用环境中。其中，终端102通过网络与服务器104通过网络进行通信。例如，可以通过终端102进行语音识别处理，将其处理结果与服务器104进行数据传输。例如，可以通过服务器104进行语音识别处理，将其处理结果反馈至终端102中。又例如，可在服务器104中对初始模型进行迭代训练，将训练好的语音识别模型进行本地存储，还可以将训练好的语音识别模型配置在终端102中。其中，终端102可以但不限于是各种个人计算机、笔记本电脑、智能手机、平板电脑和便携式可穿戴设备，服务器104可以用独立的服务器或者是多个服务器组成的服务器集群来实现。
在一些业务场景中，例如，金融服务，需要通过语音交互完成业务的办理以及支持，随着语音识别技术的快速发展，声纹识别、语音识别、情感识别等处理任务也深入各个细分领域，在语音识别的过程中，需要通过数据集对用于语音识别的算法模型进行训练，然而，高质量的语音样本较少，需要对语音样本进行增强处理，以获取更多的语音样本，满足算法模型的训练需求。
如图2所示，本发明提供一种语音识别模型训练方法，包括：
S1：通过多个采样点采集语音的时域信号，将所述时域信号进行通道转换，获取单通道的时域信号，将所述单通道的时域信号进行频域转换，获取频域信号；
S2：对所述频域信号进行遍历，确定所述频域信号的数据帧与频谱的对应关系，获取所述数据帧的能量值，通过所述能量值确定所述频域信号的段落点，并通过所述段落点和所述数据帧来获取信号段落；
S3：通过多种窗长对所述信号段落进行分帧加窗处理，获取信号片段集，分别提取所述信号片段集中各个信号片段的音频特征，获取数据集，其中，分帧加窗处理中的帧移为所述窗长的1/n，n＞1；
S4：获取初始模型，对所述数据集以及所述初始模型进行迭代训练，获取语音识别模型。
在步骤S1中，示例性地说明，可通过多个采样点完成语音采集，例如，通过麦克风等录音设备进行采集，获取语音的时域信号，还可对时域信号进行增强降噪处理，去除噪声信号对语音的干扰，提高时域信号的质量，由于多通道的时域信号不便于语音特征的提取以及识别，可将多通道的时域信号进行通道转换，将多通道的时域信号转化为单通道的时域信号，为了便于语音的特征提取和识别，还将单通道的时域信号进行频域转换，获取频域信号。
在步骤S2中，示例性地说明，对所述频域信号的数据帧以及频谱进行遍历，确定所述频域信号的数据帧与频谱的对应关系，获取各个所述数据帧的能量值，通过所述能量值确定所述频域信号的段落点，例如，能量值高或者能量值低的数据帧作为段落点，并通过所述段落点和所述数据帧来获取信号段落，该信号段落内承载的音频特征较为连续，且音频特征较为丰富，以便于提取更多的语音特征信息。
在步骤S3中，示例性说明，通过多种窗长对所述信号段落进行分帧加窗处理，例如，提供的窗长包括200ms(毫秒)、100ms、50ms、30ms等，获取信号片段集，分别提取所述信号片段集中各个信号片段的音频特征，获取数据集，其中，分帧加窗处理中的帧移为所述窗长的1/n，n＞1，例如，n包括2、3、4等，可根据需要增强的语音样本的数量要求，来调整窗长以及帧移，当需要较多的语音样本时，可选择较短的窗长且将n的数值设置得较大，当需要较少的语音样本时，可选择较长的窗长且将n的数值设置得较小，通过有限的采样点采集语音，实现语音样本的数据增强，以满足算法模型的训练需求。例如，可选择四种窗长，分别为：200ms，100ms，50ms，30ms，帧间重叠1/2，即对应帧间重叠长度(帧移)分别为：100ms，50ms，25ms，15ms，还可以将帧间重叠1/4，即对应帧间重叠长度(帧移)分别为：50ms，25ms，12.5ms，7.5ms，还可以提取梅尔倒谱滤波系数(Mel Frequency Cepstrum Coefficient,MFCC)或者色度特征，作为音频特征。所述梅尔倒谱滤波系数的提取过程包括：预加重、分帧、加窗、快速傅里叶变换、带通滤波器获取MEL频谱以及获取倒谱特征，所述色度特征的提取过程包括：通过傅里叶变换获取频域信号，并从频域信号中提取共振峰特征和谐波频率特征的差分信号，所述差分信号包括一阶差分信号和/或二阶差分信号。
在步骤S4中，示例性地说明，获取的初始模型可以为神经网络算法或者支持向量机算法，还可以是未训练完成的算法模型，将数据集中样本输入到初始模型中进行迭代，设置一定的学习率、模型参数以及训练次数，获取识别结果，根据识别的结果的准确率(Precision)、召回率(Recall)等指标来衡量训练模型的性能，并获取优选的训练模型作为语音识别模型。
通过多种窗长对所述信号段落进行分帧加窗处理，获取信号片段，实现了高质量语音信号的数据增强，获取更多能被用于模型训练的信号片段以及音频特征，并基于数据增强后的信号片段集来获取数据集，满足模型训练的要求。
在一些实施例中，对所述频域信号进行遍历，确定所述频域信号的数据帧与频谱的对应关系，获取所述数据帧的能量值，通过所述能量值确定所述频域信号的段落点，并通过所述段落点和所述数据帧来获取信号段落的步骤包括：
对所述频域信号进行遍历，确定当前的数据帧与当前的频谱的对应关系，获取所述当前的数据帧的短时能熵比，将短时能熵比作为数据帧能量大小的判定指标，判断所述短时能熵比是否大于预设值，若所述短时能熵比大于所述预设值，将所述当前的数据帧移动至预设的语音帧缓冲器，并将当前的数据帧作为所述频域信号的段落点，并将相邻两个所述段落点之间的数据帧输出为所述信号段落。还可以通过其他算法来实现语音的分段，例如，语音的响应和停顿，获取信号段落。
为了降低时域信号的处理难度，可将多通道的时域信号转换为单通道的时域信号，在一些实施例中，将所述时域信号进行通道转换的步骤包括：
判断所述时域信号的通道数量，当所述通道数量为多通道时，通过阵列增强器(Array Intensity Estimator，AIE)或者广义旁瓣相消器(Generalized SidelobeCanceller,GSC)增强进行通道转换，获取所述单通道的时域信号。还可以将单通道的频域信号输入固定波束形成器中进行固定波束形成，以获得含有残留噪声的语音信号，将所述单通道的频域信号输入阻塞矩阵，并经过与该阻塞矩阵连接的自适应滤波器处理后，获得参考噪声信号，将所述含有残留噪声的语音信号以及参考噪声信号输入到自适应噪声消除器中进行自适应滤波，以获得频域信号。
随着人工智能(Artificial Intelligence，AI)技术的发展，神经网络算法广泛应用于分类、识别等处理任务中，然而，随着处理任务的复杂化，一般的神经网络不便于识别和分析深层次的信息，尤其是在语音识别的过程中，通过神经网络算法处理语音识别任务容易出现模型过度拟合以及不容易收敛等问题，如图3和图4所示，在一些实施例中，所述初始模型包括卷积神经网络，所述卷积神经网络包括输入层10、中间层20以及输出层30，所述中间层包括卷积层以及多个权值层，其中，一权值层21的输入端与另一权值层的输出端22连接。由于神经网络的中间层只有少量的隐藏单元对不同的输入改变它们的激活值，而大部分隐藏单元对不同的输入都是相同的反应，此时整个权重矩阵的秩不高，并且随着网络层数的增加，连乘后使得整个秩变的更低。可通过在中间层的权值层中将输入端和输出端连接，改善了反向传播中的权值分配，提高了语音识别模型的精度。
在一些实施例中，通过损失函数对所述数据集以及所述初始模型进行迭代训练，所述损失函数包括：第i类别的样本和权重值的损失、第i类别的标签与第i个样本的标签的权重值的损失、第i类别的样本和第k个权重值的损失。例如，所述损失函数的数学表达为：
Figure BDA0003506103470000081
其中，Loss为所述损失函数，N为所述数据集的样本的数量，θi为第i类别的样本和权重值之间的角度，yi为第i个样本的标签，m为余弦间距，s为尺度变量，e为自然对数，k为样本的标签序号，
Figure BDA0003506103470000082
为第i类别的标签与第i个样本的标签的权重值之间的角度，θk,i为第i类别的样本和第k个权重值之间的角度，i、k、N为正整数。通过该损失函数，能够在反向传播中对初始模型进行更加高精度的训练，可对中间层的神经元进行合理的权值分配，还避免了训练过程中的过度拟合现象。
为了提高模型训练的精度和可靠性，在一些实施例中，获取初始模型，对所述数据集以及所述初始模型进行迭代训练，获取语音识别模型的步骤还包括：
将所述数据集分成K个子数据集，将其中一子集数据作为验证集，其余的K-1个子数据集作为训练集，进行迭代训练，获取K-1个训练模型；
根据准确率或者召回率，从K-1个所述训练模型选择所述语音识别模型。例如，K取10，将数据集进行十等分，将其中一个子数据集作为验证集，将其他九个子数据集作为训练集，通过训练和对比，获取九个语音识别模型。通过交叉验证策略，对训练模型的精度进行了较好的识别和确定，避免获取的语音识别模型精度较低的情况发生。
为了验证获取的语音识别模型的精度，在一些实施例中，获取初始模型，对所述数据集以及所述初始模型进行迭代训练，获取语音识别模型的步骤之前，包括：
通过多种窗长对所述信号段落进行再次分帧加窗处理，获取信号片段集，分别提取所述信号片段集中各个信号片段的音频特征，获取测试集，其中，再次分帧加窗处理中的帧移为所述窗长的1/p，p＞1且p≠n。在获取数据集以及测试集的过程中，采用不同的帧移，避免数据集和测试集的重合度较高，可以采用不同的帧移满足测试集的数据获取要求，例如，通过将数据集输入到初始模型中进行训练，获取语音识别模型，并通过语音识别模型来识别测试集中的语音样本，获取语音识别模型的准确率和召回率，以此来检验该识别模型的性能。
应该理解的是，虽然图2-4的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，图2-4中的至少一部分步骤可以包括多个子步骤或者多个阶段，这些子步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些子步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。
如图5所示，本发明提供一种语音识别模型训练装置，包括：
采集模块，用于通过多个采样点采集语音的时域信号，将所述时域信号进行通道转换，获取单通道的时域信号，将所述单通道的时域信号进行频域转换，获取频域信号；
预处理模块，用于对所述频域信号进行遍历，确定所述频域信号的数据帧与频谱的对应关系，获取所述数据帧的能量值，通过所述能量值确定所述频域信号的段落点，并通过所述段落点和所述数据帧来获取信号段落；
数据模块，用于通过多种窗长对所述信号段落进行分帧加窗处理，获取信号片段集，分别提取所述信号片段集中各个信号片段的音频特征，获取数据集，其中，分帧加窗处理中的帧移为所述窗长的1/n，n＞1；
处理模块，用于获取初始模型，对所述数据集以及所述初始模型进行迭代训练，获取语音识别模型。通过多种窗长对所述信号段落进行分帧加窗处理，获取信号片段，实现了高质量语音信号的数据增强，获取更多能被用于模型训练的信号片段以及音频特征，并基于数据增强后的信号片段集来获取数据集，满足模型训练的要求。
可根据需要增强的语音样本的数量要求，来调整窗长以及帧移，当需要较多的语音样本时，可选择较短的窗长且将n的数值设置得较大，当需要较少的语音样本时，可选择较长的窗长且将n的数值设置得较小，通过有限的采样点采集语音，实现语音样本的数据增强，以满足算法模型的训练需求。例如，可选择四种窗长，分别为：200ms，100ms，50ms，30ms，帧间重叠1/2，即对应帧间重叠长度(帧移)分别为：100ms，50ms，25ms，15ms，还可以将帧间重叠1/4，即对应帧间重叠长度(帧移)分别为：50ms，25ms，12.5ms，7.5ms，还可以提取梅尔倒谱滤波系数(Mel Frequency Cepstrum Coefficient,MFCC)或者色度特征，作为音频特征。所述梅尔倒谱滤波系数的提取过程包括：预加重、分帧、加窗、快速傅里叶变换、带通滤波器获取MEL频谱以及获取倒谱特征，所述色度特征的提取过程包括：通过傅里叶变换获取频域信号，并从频域信号中提取共振峰特征和谐波频率特征的差分信号，所述差分信号包括一阶差分信号和/或二阶差分信号。
在一些实施例中，对所述频域信号进行遍历，确定所述频域信号的数据帧与频谱的对应关系，获取所述数据帧的能量值，通过所述能量值确定所述频域信号的段落点，并通过所述段落点和所述数据帧来获取信号段落的步骤包括：
对所述频域信号进行遍历，确定当前的数据帧与当前的频谱的对应关系，获取所述当前的数据帧的短时能熵比，判断所述短时能熵比是否大于预设值，若所述短时能熵比大于所述预设值，则将当前的数据帧作为所述频域信号的段落点，并将相邻两个所述段落点之间的数据帧输出为所述信号段落。
在一些实施例中，将所述时域信号进行通道转换的步骤包括：
判断所述时域信号的通道数量，当所述通道数量为多通道时，通过阵列增强或者广义旁瓣消除器增强进行通道转换，获取所述单通道的时域信号。
在一些实施例中，所述初始模型包括卷积神经网络，所述卷积神经网络包括输入层、中间层以及输出层，所述中间层包括卷积层以及多个权值层，其中，一权值层的输入端与另一权值层的输出端连接。可将语音识别模型配置在处理模块中，当需要执行处理任务时，通过处理模块处理当前的语音信息，获取识别结果。
在一些实施例中，通过损失函数对所述数据集以及所述初始模型进行迭代训练，所述损失函数包括：第i类别的样本和权重值的损失、第i类别的标签与第i个样本的标签的权重值的损失、第i类别的样本和第k个权重值的损失。例如，所述损失函数的数学表达为：
Figure BDA0003506103470000111
其中，Loss为所述损失函数，N为所述数据集的样本的数量，θi为第i类别的样本和权重值之间的角度，yi为第i个样本的标签，m为余弦间距，s为尺度变量，e为自然对数，k为标签序号，
Figure BDA0003506103470000112
为第i类别的标签与第i个样本的标签的权重值之间的角度，θk,i为第i类别的样本和第k个权重值之间的角度，i，k，N为正整数。
在一些实施例中，获取初始模型，对所述数据集以及所述初始模型进行迭代训练，获取语音识别模型的步骤还包括：
将所述数据集分成K个子数据集，将其中一子集数据作为验证集，其余的K-1个子数据集作为训练集，进行迭代训练，获取K-1个训练模型；
根据准确率或者召回率，从K-1个所述训练模型选择所述语音识别模型。
在一些实施例中，获取初始模型，对所述数据集以及所述初始模型进行迭代训练，获取语音识别模型的步骤之前，包括：
通过多种窗长对所述信号段落进行再次分帧加窗处理，获取信号片段集，分别提取所述信号片段集中各个信号片段的音频特征，获取测试集，其中，再次分帧加窗处理中的帧移为所述窗长的1/p，p＞1且p≠n。在获取数据集以及测试集的过程中，采用不同的帧移，避免数据集和测试集的重合度较高，可以采用不同的帧移满足测试集的数据获取要求，例如，通过将数据集输入到初始模型中进行训练，获取语音识别模型，并通过语音识别模型来识别测试集中的语音样本，获取语音识别模型的准确率和召回率，以此来检验该识别模型的性能。
根据本公开的实施例还提供了一种能够实现上述方法的电子设备或者计算机设备。所属技术领域的技术人员能够理解，本发明的执行主体包括但不限于系统、方法或程序产品。因此，本发明的执行主体可以具体实现为以下执行或者实施形式，即：硬件实施方式、软件实施方式(包括固件、微代码等)，或硬件和软件方面结合的实施方式，这里可以统称为“电路”、“模块”、“系统”、“设备”或者“装置”。
下面参照图6来描述根据本发明的这种实施方式的电子设备600。图6显示的电子设备600仅仅是一个示例，不应对本发明实施例的功能和使用范围带来任何限制。如图6所示，电子设备600以通用计算机设备的形式表现。电子设备600的组件可以包括但不限于：上述至少一个处理单元610、上述至少一个存储单元620、连接不同系统组件(包括存储单元620和处理单元610)的总线630。其中，所述存储单元存储有程序代码，所述程序代码可以被所述处理单元610执行，使得所述处理单元610执行本说明书上述“语音识别模型训练方法”部分中描述的根据本发明各种示例性实施方式的步骤。存储单元620可以包括易失性存储单元形式的可读介质，例如随机存取存储单元(RAM)621和/或高速缓存存储单元622，还可以进一步包括只读存储单元(ROM)623。存储单元620还可以包括具有一组(至少一个)程序模块625的程序/实用工具624，这样的程序模块625包括但不限于：操作系统、一个或者多个应用程序、其它程序模块以及程序数据，这些示例中的每一个或某种组合中可能包括网络环境的实现。总线630可以为表示几类总线结构中的一种或多种，包括存储单元总线或者存储单元控制器、外围总线、图形加速端口、处理单元或者使用多种总线结构中的任意总线结构的局域总线。电子设备600也可以与一个或多个外部设备800(例如键盘、指向设备、蓝牙设备等)通信，还可与一个或者多个使得用户能与该电子设备600交互的设备通信，和/或与使得该电子设备600能与一个或多个其它计算设备进行通信的任何设备(例如路由器、调制解调器等等)通信。这种通信可以通过输入/输出(I/O)接口650进行，比如与显示单元640通信。并且，电子设备600还可以通过网络适配器660与一个或者多个网络(例如局域网(LAN)，广域网(WAN)和/或公共网络，例如因特网)通信。如图所示，网络适配器660通过总线630与电子设备600的其它模块通信。应当明白，尽管图中未示出，可以结合电子设备600使用其它硬件和/或软件模块，包括但不限于：微代码、设备驱动器、冗余处理单元、外部磁盘驱动阵列、RAID(Redundant Arrays of Independent Disks/磁盘阵列)系统、磁带驱动器以及数据备份存储系统等。
通过以上的实施方式的描述，本领域的技术人员易于理解，这里描述的示例实施方式可以通过软件实现，也可以通过软件结合必要的硬件的方式来实现。因此，根据本公开实施方式的技术方案可以以软件产品的形式体现出来，该软件产品可以存储在一个非易失性存储介质(可以是CD-ROM，U盘，移动硬盘等)中或网络上，包括若干指令以使得一台计算机设备(可以是个人计算机、服务器、终端装置、或者网络设备等)执行根据本公开实施方式的方法。
根据本公开实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机可读指令，当所述计算机可读指令被计算机执行时，使计算机执行本说明书上述的语音识别模型训练方法。
在一些可能的实施方式中，本发明的各个方面还可以实现为一种程序产品的形式，其包括程序代码，当所述程序产品在终端设备上运行时，所述程序代码用于使所述终端设备执行本说明书上述“示例性方法”部分中描述的根据本发明各种示例性实施方式的步骤。
在本发明中，可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。所述程序产品可以采用一个或多个可读介质的任意组合。可读介质可以是可读信号介质或者可读存储介质。可读存储介质例如可以为但不限于电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑盘只读存储器(CD ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。计算机可读信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了可读程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。可读信号介质还可以是可读存储介质以外的任何可读介质，该可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于无线、有线、光缆、RF等等，或者上述的任意合适的组合。可以以一种或多种程序设计语言的任意组合来编写用于执行本发明操作的程序代码，所述程序设计语言包括面向对象的程序设计语言—诸如Java、C++等，还包括常规的过程式程序设计语言，诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算设备上执行、部分地在用户设备上执行、作为一个独立的软件包执行、部分在用户计算设备上部分在远程计算设备上执行、或者完全在远程计算设备或服务器上执行。在涉及远程计算设备的情形中，远程计算设备可以通过任意种类的网络，包括局域网(LAN)或广域网(WAN)，连接到用户计算设备，或者，可以连接到外部计算设备(例如利用因特网服务提供商来通过因特网连接)。
此外，上述附图仅是根据本发明示例性实施例的方法所包括的处理的示意性说明，而不是限制目的。易于理解，上述附图所示的处理并不表明或限制这些处理的时间顺序。另外，也易于理解，这些处理可以是例如在多个模块中同步或异步执行的。应当理解的是，本发明并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围执行各种修改和改变。本发明的范围仅由所附的权利要求来限制。

Claims (10)

1.一种语音识别模型训练方法，其特征在于，包括：
通过多个采样点采集语音的时域信号，将所述时域信号进行通道转换，获取单通道的时域信号，将所述单通道的时域信号进行频域转换，获取频域信号；
对所述频域信号进行遍历，确定所述频域信号的数据帧与频谱的对应关系，获取所述数据帧的能量值，通过所述能量值确定所述频域信号的段落点，并通过所述段落点和所述数据帧来获取信号段落；
通过多种窗长对所述信号段落进行分帧加窗处理，获取信号片段集，分别提取所述信号片段集中各个信号片段的音频特征，获取数据集，其中，分帧加窗处理中的帧移为所述窗长的1/n，n＞1；
获取初始模型，对所述数据集以及所述初始模型进行迭代训练，获取语音识别模型。
2.根据权利要求1所述的语音识别模型训练方法，其特征在于，对所述频域信号进行遍历，确定所述频域信号的数据帧与频谱的对应关系，获取所述数据帧的能量值，通过所述能量值确定所述频域信号的段落点，并通过所述段落点和所述数据帧来获取信号段落的步骤包括：
对所述频域信号进行遍历，确定当前的数据帧与当前的频谱的对应关系，获取所述当前的数据帧的短时能熵比，判断所述短时能熵比是否大于预设值，若所述短时能熵比大于所述预设值，则将当前的数据帧作为所述频域信号的段落点，并将相邻两个所述段落点之间的数据帧输出为所述信号段落。
3.根据权利要求1所述的语音识别模型训练方法，其特征在于，将所述时域信号进行通道转换，获取单通道的时域信号，包括：
判断所述时域信号的通道数量，当所述通道数量为多通道时，通过阵列增强或者广义旁瓣消除器增强进行通道转换，获取所述单通道的时域信号。
4.根据权利要求1所述的语音识别模型训练方法，其特征在于，所述初始模型包括卷积神经网络，所述卷积神经网络包括输入层、中间层以及输出层，所述中间层包括卷积层以及多个权值层，其中，一权值层的输入端与另一权值层的输出端连接。
5.根据权利要求4所述的语音识别模型训练方法，其特征在于，通过损失函数对所述数据集以及所述初始模型进行迭代训练，所述损失函数包括：第i类别的样本和权重值的损失、第i类别的标签与第i个样本的标签的权重值的损失、第i类别的样本和第k个权重值的损失。
6.根据权利要求4所述的语音识别模型训练方法，其特征在于，获取初始模型，对所述数据集以及所述初始模型进行迭代训练，获取语音识别模型的步骤还包括：
将所述数据集分成K个子数据集，将其中一子集数据作为验证集，其余的K-1个子数据集作为训练集，进行迭代训练，获取K-1个训练模型；
根据准确率或者召回率，从K-1个所述训练模型中选择所述语音识别模型。
7.根据权利要求1所述的语音识别模型训练方法，其特征在于，获取初始模型，所述对所述数据集以及所述初始模型进行迭代训练，获取语音识别模型的步骤之前，包括：
通过多种窗长对所述信号段落进行再次分帧加窗处理，获取信号片段集，分别提取所述信号片段集中各个信号片段的音频特征，获取测试集，其中，再次分帧加窗处理中的帧移为所述窗长的1/p，p＞1且p≠n。
8.一种语音识别模型训练装置，其特征在于，包括：
采集模块，用于通过多个采样点采集语音的时域信号，将所述时域信号进行通道转换，获取单通道的时域信号，将所述单通道的时域信号进行频域转换，获取频域信号；
预处理模块，用于对所述频域信号进行遍历，确定所述频域信号的数据帧与频谱的对应关系，获取所述数据帧的能量值，通过所述能量值确定所述频域信号的段落点，并通过所述段落点和所述数据帧来获取信号段落；
数据模块，用于通过多种窗长对所述信号段落进行分帧加窗处理，获取信号片段集，分别提取所述信号片段集中各个信号片段的音频特征，获取数据集，其中，分帧加窗处理中的帧移为所述窗长的1/n，n＞1；
处理模块，用于获取初始模型，对所述数据集以及所述初始模型进行迭代训练，获取语音识别模型。
9.一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1至7中任一项所述语音识别模型训练方法的步骤。
10.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至7任一项所述的语音识别模型训练方法的步骤。
CN202210139450.3A 2022-02-16 2022-02-16 一种语音识别模型训练方法、装置、计算机设备及介质 Pending CN114420108A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210139450.3A CN114420108A (zh) 2022-02-16 2022-02-16 一种语音识别模型训练方法、装置、计算机设备及介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210139450.3A CN114420108A (zh) 2022-02-16 2022-02-16 一种语音识别模型训练方法、装置、计算机设备及介质

Publications (1)

Publication Number Publication Date
CN114420108A true CN114420108A (zh) 2022-04-29

Family

ID=81261327

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210139450.3A Pending CN114420108A (zh) 2022-02-16 2022-02-16 一种语音识别模型训练方法、装置、计算机设备及介质

Country Status (1)

Country Link
CN (1) CN114420108A (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115497461A (zh) * 2022-09-09 2022-12-20 成都市联洲国际技术有限公司 音频识别模型训练方法以及音频识别方法
WO2024099359A1 (zh) * 2022-11-09 2024-05-16 北京有竹居网络技术有限公司 语音检测的方法和装置、电子设备和存储介质
WO2024140172A1 (zh) * 2022-12-29 2024-07-04 北京天玛智控科技股份有限公司 声音识别模型的训练方法、装置、电子设备及存储介质
CN118571212A (zh) * 2024-07-31 2024-08-30 深圳市美恩微电子有限公司 一种智能耳机的语音识别方法、装置、电子设备及存储介质

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115497461A (zh) * 2022-09-09 2022-12-20 成都市联洲国际技术有限公司 音频识别模型训练方法以及音频识别方法
WO2024099359A1 (zh) * 2022-11-09 2024-05-16 北京有竹居网络技术有限公司 语音检测的方法和装置、电子设备和存储介质
WO2024140172A1 (zh) * 2022-12-29 2024-07-04 北京天玛智控科技股份有限公司 声音识别模型的训练方法、装置、电子设备及存储介质
CN118571212A (zh) * 2024-07-31 2024-08-30 深圳市美恩微电子有限公司 一种智能耳机的语音识别方法、装置、电子设备及存储介质

Similar Documents

Publication Publication Date Title
US11783849B2 (en) Enhanced multi-channel acoustic models
CN112699991B (zh) 用于加速神经网络训练的信息处理的方法、电子设备和计算机可读介质
CN114420108A (zh) 一种语音识别模型训练方法、装置、计算机设备及介质
CN109074820B (zh) 使用神经网络进行音频处理
US20180261213A1 (en) Convolutional recurrent neural networks for small-footprint keyword spotting
WO2021189642A1 (zh) 信号处理方法、装置、计算机设备及存储介质
CN112949708A (zh) 情绪识别方法、装置、计算机设备和存储介质
CN114242044B (zh) 语音质量评估方法、语音质量评估模型训练方法及装置
CN110942766A (zh) 音频事件检测方法、系统、移动终端及存储介质
CN113077806B (zh) 音频处理方法及装置、模型训练方法及装置、介质和设备
CN112581980B (zh) 时频通道注意力权重计算和向量化的方法和网络
CN113808607A (zh) 基于神经网络的语音增强方法、装置及电子设备
JP2020071482A (ja) 語音分離方法、語音分離モデル訓練方法及びコンピュータ可読媒体
CN108806725A (zh) 语音区分方法、装置、计算机设备及存储介质
Chinta EEG-dependent automatic speech recognition using deep residual encoder based VGG net CNN
CN116913304A (zh) 实时语音流降噪方法、装置、计算机设备及存储介质
Prasanna Kumar et al. Single-channel speech separation using combined EMD and speech-specific information
CN115938364A (zh) 一种智能识别控制方法、终端设备及可读存储介质
Yu Research on music emotion classification based on CNN-LSTM network
CN113782005B (zh) 语音识别方法及装置、存储介质及电子设备
Zhang et al. SDFIE-NET–A self-learning dual-feature fusion information capture expression method for birdsong recognition
CN115116469A (zh) 特征表示的提取方法、装置、设备、介质及程序产品
Ahmadnejad et al. Tacnet: Temporal audio source counting network
Anguraj et al. Analysis of influencing features with spectral feature extraction and multi-class classification using deep neural network for speech recognition system
Li et al. MAF-Net: multidimensional attention fusion network for multichannel speech separation

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination