CN111554305A - 一种基于语谱图和注意力机制的声纹识别方法 - Google Patents

Abstract

本发明公开了一种基于语谱图和注意力机制的声纹识别方法，包括步骤：数据预处理，将语音语料进行处理；特征提取，提取语谱图作为输入特征；特征处理，将语谱图输入卷积神经网络，利用卷积神经网络对多语谱图进行自动优化和降维；模型训练，利用X‑Vector说话人识别模型对语谱图特征进行训练，并引入注意力机制对帧级别特征进行权重处理；打分判决，对两个待测样本的似然对数比得分和预设条件进行判定，给出两个样本是否为同一个说话人的判断。和现有X‑Vector说话人识别技术相比，本发明引入卷积神经网络和语谱图，能更好地捕获说话人特征，并且采用注意力机制对统计层进行训练，成本低，效率高，提高了说话人识别系统的性能。

Description

一种基于语谱图和注意力机制的声纹识别方法

技术领域

本发明涉及说话人识别领域，尤其涉及一种基于语谱图和注意力机制的声纹识别方法。

背景技术

随着科技的发展，用户身份认证方式发生了巨大的变化，声纹识别由于简单易行，可以抵抗回放攻击，广泛应用在声纹支付、声纹考勤、声纹门禁、社保认证等领域，应用前景广泛。

然而，声纹识别在实际应用中，由于应用场景复杂多变，存在噪声，导致声纹识别系统的鲁棒性不足，识别准确率下降。

发明内容

为克服传统说话人识别技术的鲁棒性差，系统抗噪能力弱的不足，本发明提出一种基于语谱图和注意力机制的声纹识别方法，以有效的提高说话人识别的鲁棒性和准确率。

本发明的技术方案是这样实现的，一种基于语谱图和注意力机制的声纹识别方法，包括步骤

S1：数据预处理，将语音语料利用Kaldi语音识别工具进行处理；

S2：特征提取，利用Kaldi语音识别工具提取语谱图(Spectrogram)作为输入特征；

S3：特征处理，将所述语谱图输入卷积神经网络，利用卷积神经网络对多语谱图进行自动优化和降维；

S4：模型训练，利用X-Vector模型对语谱图特征进行训练，并引入注意力机制对帧级别特征进行权重处理；

S5：打分判决，利用概率线性判别分析算法PLDA(Probability LinearDiscriminant Analysis)对两个待测样本的似然对数比得分和预设条件进行判定，给出两个样本是否为同一个说话人的判断。

进一步地，所述步骤S1数据预处理的实现步骤包括

S11，语音语料采用Voxceleb1语音数据库；

S12，利用Kaldi生成spk2utt、utt2spk和wav.scp等文件。

进一步地，所述步骤S2所述提取语谱图实现包括步骤

S21，将语音信号输入Kaldi语音识别工具；

S22，对语音信号进行分帧加窗；

S23，对分帧加窗后的语音信号进行傅里叶变换；

S24，对傅里叶变换后的语音信号进行能量密度计算；

S25，对经能量密度计算后的语音信号以时间为横轴，频率为纵轴，将每一帧信号按照时序进行连接，得到语音信号的语谱。

进一步地，所述步骤S4中所述的引入注意力机制对帧级别特征进行权重处理实现，包括步骤

S41，在对语音信号处理时，将信号进行分帧处理，每一帧都用相应的向量表示，使得一个语音信号用一个矩阵X＝(x₁,x₂,…,x_i,…,x_t)表示，其中x_i代表第i帧的向量，维度为d维，故X∈R^t×d；

S42，将注意力机制与统计层相结合，计算语音信号的加权统计量，然后计算不同帧的权重。假设统计层的输入为T帧向量H＝{m₁,m₂,…,m_i,…,m_T}，每一帧特征m_i的维度为d_h，因此，H的大小为d_h×T，采用注意力机制可以计算出每一帧的权重，如此计算可以得到一个权重矩阵A，如公式(1)所示：

A＝[α₁,α₂,…α_T]＝softmax(f(H^TW)) (1)

其中，f(·)为激活函数，采用ReLU函数，W表示变换矩阵；

S43，利用权重得到加权统计量，如公式(2)和公式(3)所示：

用[μ,σ]来表示一段语音信号；

S44，统计层中采用多头注意力机制，再将结果进行拼接，如公式(4)所示：

Multi-Head(μ,σ)＝Comcat([μ₁,σ₁],[μ₂,σ₂],…[μ_h,σ_h]) (4)

其中，[μ,σ]表示单个注意力机制计算得到的结果。

进一步地，步骤S5中所述的概率线性判别分析算法PLDA实现，包括步骤

S51，将X-Vector进行因子分析，计算如公式(5)所示，

P_i＝m+Φβ+ε_γ (5)

其中，m为训练数据全局均值，Φ为描述说话人类间差异的子空间矩阵，β是满足标准正态分布特征的隐含因子，且与说话人身份相关，ε_γ是对角矩阵∑的残余项；

S52，在决策打分环节，依次用η₁、η₂进行描述，两者的对数似然比的计算如公式(6)所示，

其中，R_s表示η₁和η₂来自同一个说话人的条件，R_d表示η₁和η₂来自不同说话人的条件。

进一步地，步骤S5所述的概率线性判别分析算法PLDA是根据对两个待测样本的似然对数比得分和预设条件的判定，给出两个样本是否为同一个说话人的判断。

本发明的有益效果在于，和现有X-Vector说话人识别技术相比，本发明采用卷积神经网络和语谱图，能更好地捕获说话人特征，并且采用注意力机制对统计层进行训练，成本低，效率高，提高了说话人识别系统的性能。

附图说明

图1是本发明一种基于语谱图和注意力机制的声纹识别方法流程图；

图2是本发明中基于注意力机制的统计层结构示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

请参见图1，本发明一种基于语谱图和注意力机制的声纹识别方法包括以下步骤

S1：数据预处理，将语音语料利用Kaldi语音识别工具进行处理；其中，

对于所述处理步骤的主要流程为：

S11，语音语料采用Voxceleb1语音数据库；

S12，利用Kaldi生成spk2utt、utt2spk和wav.scp等文件。

S2：特征提取，利用Kaldi语音识别工具提取语谱图(Spectrogram)作为输入特征；其中，

对于所述提取语谱图的步骤的主要流程为：

S21，将语音信号输入Kaldi语音识别工具；

S22，对语音信号进行分帧加窗；

S23，对上一步输出进行傅里叶变换；

S24，对上一步输出进行能量密度计算

S25，对上一步输出以时间为横轴，频率为纵轴，将每一帧信号按照时序进行连接，得到语音信号的语谱。

S3：特征处理，将语谱图输入卷积神经网络，利用卷积神经网络对其进行自动优化和降维；

S4：模型训练，利用X-Vector说话人识别模型对语谱图特征进行训练，并引入注意力机制对帧级别特征进行权重处理；其中，

对于所述步骤4中对于所述的引入注意力机制对帧级别特征进行权重处理步骤的主要流程为：

S41，在对语音信号处理时，将信号进行分帧处理，每一帧都用相应的向量表示，使得一个语音信号用一个矩阵X＝(x₁,x₂,…,x_i,…,x_t)表示，其中x_i代表第i帧的向量，维度为d维，故X∈R^t×d；

S42，将注意力机制与统计层相结合，计算语音信号的加权统计量，然后计算不同帧的权重。假设统计层的输入为T帧向量H＝{m₁,m₂,…,m_i,…,m_T}，每一帧特征m_i的维度为d_h，因此，H的大小为d_h×T，采用注意力机制可以计算出每一帧的权重，如此计算可以得到一个权重矩阵A，如公式(1)所示：

A＝[α₁,α₂,…α_T]＝softmax(f(H^TW)) (1)

其中，f(·)为激活函数，采用ReLU函数，W表示变换矩阵；

S43，利用权重得到加权统计量，如公式(2)和公式(3)所示：

用[μ,σ]来表示一段语音信号；

S44，统计层中采用多头注意力机制，再将结果进行拼接，如公式(4)所示：

Multi-Head(μ,σ)＝Comcat([μ₁,σ₁],[μ₂,σ₂],…[μ_h,σ_h]) (4)

S5：打分判决，利用概率线性判别分析算法PLDA(Probability LinearDiscriminant Analysis)对两个待测样本的似然对数比得分和预设条件进行判定，给出两个样本是否为同一个说话人的判断；其中，

对于所述概率线性判别分析算法PLDA步骤的主要流程为：

S51，将X-Vector进行因子分析，计算如公式(5)所示，

P_i＝m+Φβ+ε_γ (5)

其中，m为训练数据全局均值，Φ为描述说话人类间差异的子空间矩阵，β是满足标准正态分布特征的隐含因子，且与说话人身份相关，ε_γ是对角矩阵∑的残余项；

S52，在决策打分环节，依次用η₁、η₂进行描述，两者的对数似然比的计算如公式(6)所示，

其中，R_s表示η₁和η₂来自同一个说话人的条件，R_d表示η₁和η₂来自不同说话人的条件。

打分判决根据对两个待测样本的似然对数比得分是否符合预设判定条件，判断两个样本是否属于同一个说话人。

下面对本发明方法进行仿真并分析：

本发明在VoxCelebl数据集中，对语谱图和注意力机制下的声纹识别性能进行了仿真实验。VoxCelebl数据集是文本无关的，属于完全的集外数据集，全部音频的采样频率为16kHz，音频格式采用单声道16bit的wav音频文件。语音中带有真实场景噪声，如环境噪声、背景人声、室内噪声、录音设备噪声等，噪声出现的时间点没有任何规律。测评标准采用等错误率ERR(Equal Error Rate)来衡量说话人识别系统的性能。

表1是不同系统中，EER评价标准的对比。

表1

表2是X-Vector神经网络架构中帧数层的参数设置情况。

表2

网络层	时延参数	上下文相关帧数	节点数
				frame1	[t-2，t+2]	5	512
frame2	{t-2，t，t+2}	9	512
				frame3	{t-3，t，t+3}	15	512
frame4	{t}	15	512
				frame5	{t}	15	1500
stats pooling	[0，T)	T	3000
				segment6	{0}	T	512
segment6	{0}	T	512
				softmax	{0}	T	N

对比实验以X-Vector系统作为基线模型，X-Vector模型采用声学特征为20维的MFCC特征。对每一段语音段，得到512维的X-Vector矢量。其中baseline为基线X-Vector说话人识别系统，Spectrogram-CNN为采用语谱图和卷积神经网络的说话人识别系统，Spectrogram-CNN-Attention-Statistic Pooling为采用语谱图和卷积神经网络的基于注意力机制的统计层说话人识别系统。本发明提出的Spectrogram-CNN-Attention-Statistic Pooling模型在EER评价上均好于两种基线系统并且有明显优势，综上，本发明相较于两种基线系统有明显优势。

以上所述是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也视为本发明的保护范围。

Claims (5)

1.一种基于语谱图和注意力机制的声纹识别方法，其特征在于，包括步骤

S1：数据预处理，将语音语料利用Kaldi语音识别工具进行处理；

S2：特征提取，利用Kaldi语音识别工具提取语谱图作为输入特征；

S3：特征处理，将所述语谱图输入卷积神经网络，利用卷积神经网络对多语谱图进行自动优化和降维；

S4：模型训练，利用X-Vector说话人识别模型对语谱图特征进行训练，并引入注意力机制对帧级别特征进行权重处理；

S5：打分判决，利用概率线性判别分析算法PLDA对两个待测样本的似然对数比得分和预设条件进行判定，给出两个样本是否为同一个说话人的判断。

2.如权利要求1所述的基于语谱图和注意力机制的声纹识别方法，其特征在于，所述步骤S1数据预处理的实现步骤包括

S11，语音语料采用Voxceleb1语音数据库；

S12，利用Kaldi生成spk2utt、utt2spk和wav.scp文件。

3.如权利要求1所述的基于语谱图和注意力机制的声纹识别方法，其特征在于，所述步骤S2所述提取语谱图实现包括步骤

S21，将语音信号输入Kaldi语音识别工具；

S22，对语音信号进行分帧加窗；

S23，对分帧加窗后的语音信号进行傅里叶变换；

S24，对傅里叶变换后的语音信号进行能量密度计算；

S25，对经能量密度计算后的语音信号以时间为横轴，频率为纵轴，将每一帧信号按照时序进行连接，得到语音信号的语谱。

4.如权利要求1所述的基于语谱图和注意力机制的声纹识别方法，其特征在于，所述步骤S4中所述引入注意力机制对其进行帧权重的优化和处理的实现，包括步骤

S41，在对语音信号处理时，将信号进行分帧处理，每一帧都用相应的向量表示，使得一个语音信号用一个矩阵X＝(x₁,x₂,…,x_i…,x_t)表示，其中x_i代表第i帧的向量，维度为d，故X∈R^t×d；

S42，将注意力机制与统计层相结合，计算语音信号的加权统计量，然后计算不同帧的权重。假设统计层的输入为T帧向量H＝{m₁,m₂,…,m_i,…,m_T}，每一帧特征m_i的维度为d_h，因此，H的大小为d_h×T，采用注意力机制可以计算出每一帧的权重，如此计算可以得到一个权重矩阵A，如公式(1)所示：

A＝[α₁,α₂,…α_T]＝soft max(f(H^TW)) (1)

其中，f(·)为激活函数，采用ReLU函数，W表示变换矩阵；

S43，利用权重得到加权统计量，如公式(2)和公式(3)所示：

用[μ,σ]来表示一段语音信号；

S44，统计层中采用多头注意力机制，再将结果进行拼接，如公式(4)所示：

Multi-Head(μ,σ)＝Comcat([μ₁,σ₁],[μ₂,σ₂],…[μ_h,σ_h]) (4)

其中，[μ,σ]表示单个注意力机制计算得到的结果。

5.如权利要求1所述的基于语谱图和注意力机制的声纹识别方法，其特征在于，步骤S5中所述的概率线性判别分析算法PLDA实现，包括步骤

S51，将X-Vector进行因子分析，计算如公式(5)所示，

P_i＝m+Φβ+ε_γ (5)

其中，m为训练数据全局均值，Φ为描述说话人类间差异的子空间矩阵，β是满足标准正态分布特征的隐含因子，且与说话人身份相关，ε_γ是对角矩阵∑的残余项；

S52，在决策打分环节，依次用η₁、η₂进行描述，两者的对数似然比的计算如公式(6)所示，

其中，R_s表示η₁和η₂来自同一个说话人的条件，R_d表示η₁和η₂来自不同说话人的条件。

Images