CN112270931B - 一种基于孪生卷积神经网络进行欺骗性语音检测的方法 - Google Patents

Abstract

本发明公开了一种基于孪生卷积神经网络进行欺骗性语音检测的方法，包括如下步骤：(1)提取语音的高斯概率特征：(a)对所有原始语音进行预处理；(b)对预处理后的语音进行CQCC特征提取；(c)对CQCC特征训练得到两个高斯混合模型；(d)通过两个高斯混合模型提取语音的高斯概率特征；(2)对语音进行欺骗性检测：语音经过两个高斯混合模型提取特征后，得到二维矩阵，将二维矩阵输入到神经网络模型中进行语音欺骗性检测。本发明采用孪生卷积神经网络，基于真实语音和欺骗语音两种高斯混合模型训练，能够大大提高欺骗性语音检测的准确性。

Description

一种基于孪生卷积神经网络进行欺骗性语音检测的方法

技术领域

本发明属于语音检测技术领域，更具体的说是涉及一种基于孪生卷积神经网络进行欺骗性语音检测的方法。

背景技术

自动说话人确认(ASV)旨在通过给定语音段自动确认说话者的身份。语音技术的最新进展通过各种欺骗攻击对ASV系统构成了巨大威胁。有四种众所周知的攻击对ASV系统构成了严重威胁，即模仿，文本语音转换(TTS)，语音转换(VC)和重播。针对于真实语音和欺骗性语音的两类高斯混合模型分类器通常用作ASVspoof挑战的基线系统，该分类器旨在开发通用的有可能检测各种和无法预料的欺骗性攻击的对策。在经典高斯混合模型(GMM)中，分数是在所有特征帧上独立累积的，而且每个高斯分量的贡献信息都将被丢弃，并且在时间轴方向上也忽略了相邻帧之间的关系。这将直接影响着欺骗性语音检测的准确性。

因此，如何提供一种基于孪生卷积神经网络进行欺骗性语音检测的方法是本领域技术人员亟需解决的问题。

发明内容

有鉴于此，本发明提供了一种基于孪生卷积神经网络进行欺骗性语音检测的方法，采用孪生卷积神经网络，能够大大提高欺骗性语音检测的准确性。

为了实现上述目的，本发明采用如下技术方案：

一种基于孪生卷积神经网络进行欺骗性语音检测的方法，包括如下步骤：

(1)提取语音的高斯概率特征：

(a)对所有原始语音进行预处理；

(b)对预处理后的语音进行CQCC特征提取；

(c)对CQCC特征训练得到两个高斯混合模型；

(d)通过两个高斯混合模型提取语音的高斯概率特征；

(2)对语音进行欺骗性检测：

语音经过两个高斯混合模型提取特征后，得到二维矩阵，将二维矩阵输入到神经网络模型中进行语音欺骗性检测。

优选的，对所有原始语音进行预处理，包括预加重、分帧和加窗：

(1)预加重：语音信号的第n个采样点位x[n]，预加重公式如下：

x'[n]＝x[n]-0.97*x[n-1]

(2)分帧：将预加重后的语音分成短时语音帧，每帧帧长位20ms，为确保声学特征参数的平滑性，采用重叠取帧的方式，相邻帧重叠部分为10ms；

(3)加窗：对每帧信号进行加窗处理，采用汉明窗函数，得到短时加窗的语音信号：

x_l[n]＝w[n]*x[n+lL],0≤n≤N-1

其中，w[n]＝0.54-0.46cos(2πn/N-1)

其中，w[n]是窗函数，N是窗长，l是帧索引，L是帧移。

优选的，对预处理后的语音进行CQCC特征提取的方法包括：

(1)常数Q变换：

将预处理后的语音时序信号x(n)进行常数Q变换，即得到频域信号X^CQT(k)；常数Q变换表示为：

其中，k是频带数，N_k为可变窗函数，

是a_k(n)的共轭复数；a_k(n)可表示为：

其中，f_k是频率仓的中心频率，f_s是采样率，Φ_k是相位相移，其中C是尺度函数，定义如下：

(2)获取能量谱：

首先将经过常数Q变换得到的频域信号X^CQT(k)表示为：

X^CQT(k)＝a cosθ_kk+ja sinθ_kk＝a_k+jb_k

然后两边取平方得到能量谱：

(3)信号转换

对能量谱取对数将乘性信号转换为加性信号，得到log|X^CQT(k)|²；

(4)均匀采样：

首先确定一个线性重采样周期T_l，其中

是递增的距离函数；

通过将第一个音程分成周期为T_l的d等份，因为高音程是低音程分辨率的两倍，则可得到在第二个音程为2d等份；如此类推，第j个音程为2^j-1d等份，自然就能确定线性重采样周期了；通过求解k_l得到线性分辨率：

得到线性分布下的新采样频率F_l：

(5)离散余弦变换：

使用DCT对频谱压缩后的得到CQCC特征；其中L是重采样后的频带数，p＝0,1,...,L-1；

优选的，对CQCC特征训练得到两个高斯混合模型的方法为：

训练集中包含多个真实语音和欺骗语音，分别将这两类语音的CQCC特征放在一起，采用EM方法分别训练得到2个M阶高斯混合模型；对于D维向量x，概率密度计算公式为：

高斯混合分布的权重系数w_i满足

概率密度是由M个正态高斯密度函数p_i(x)组成：

其中，D为特征向量维度大小，μ_i和Σ_i分别是高斯密度函数的均值和协方差矩阵。

优选的，通过两个高斯混合模型提取语音的高斯概率特征的方法为：

1)对于每条语音的CQCC特征序列X＝{x₁,x₂,...,x_N}，提取高斯概率分布特征：对于特征x_i，对应的高斯概率特征f_i，由其在高斯混合模型分量的概率值计算得到。对于f_i中的每个分量f_ij，计算公式为：

f_ij＝log(w_j·p_j(x_i))

其中，w_j为高斯混合模型的第j个分量权重，p_j为特征在高斯混合模型第j个分量上的概率密度值；

2)对所有特征进行全局的均值方差归一化，计算所有语音的高斯概率特征的均值和方差，进行归一化

其中，μ_f和σ_f是训练集中所有语音的高斯概率特征的均值与方差。

优选的，神经网络模型结构为：

1)卷积层：包括多个一维卷积滤波器函数，窗口大小分别是2，3，4，5，6，7；

卷积层的输入是所述高斯概率特征，设语音帧数为T，语音转换成大小为512*T的二维向量X，输入到一维卷积层，卷积公式是：

其中，w_i,j是滤波器的权重系数，b是偏移量，w_l是滤波器的窗口大小；二维特征矩阵经过一个滤波器后，得到一维矩阵Y，长度为T；系统中滤波器数量为512，得到512个一维向量，直接拼接组成一个大小为512*T的二维向量；系统中窗口大小设置6个不同的值，这样得到6个二维向量，直接拼接组成大小为3072*T的二维向量；

2)池化层：对卷积层的输出的二维向量，用一维最大池化层获得固定大小为3072的一维向量Z，每个元素的值Z_l的计算公式是：

Z_i＝max({Y_i，j})

池化层对卷积层的输出二维矩阵Y，沿着帧数方向取最大值，获得一维向量；由于前面特征提取的时候，根据两个高斯混合模型得到两组高斯概率特征，经过卷积层和池化层，得到两个大小为3072的一维向量，将这两个向量简单串接起来得到大小为6144的一维向量；

3)全连接层：全连接层包含512个神经元节点，输出是大小为512的一维向量，其中每个节点的输出P_i计算公式是：

其中，w_i,j是滤波器的权重系数，b是偏移量，f是ReLU激活函数：

f(x)＝max(0，x)

4)输出层：输出层包含2个神经元节点，分别表示分类的结果是真实语音Q₀还是欺骗语音Q₁；

其中w_i,j是滤波器的权重系数，b是偏移量，h是Sigmoid激活函数：

最后根据分类的结果Q₀和Q₁的两个元素值大小判断语音是正常语音还是欺骗语音。

优选的，采用交叉熵损失函数训练神经网络，表示如下：

其中，K是神经网络输出的节点数，i是输出层节点索引，

是真实的标签，z_i是输出层第i个节点的原始输出，y_i是其激活输出。

本发明的有益效果在于：

传统的GMM会在所有帧上独立累积分数，并且不会考虑每个高斯分量对最终分数的贡献，相邻帧之间的关系也被忽略。本发明采用孪生卷积神经网络，基于真实语音和欺骗语音两种高斯混合模型训练，来进行欺骗语音检测，对于话语，高斯概率特征包括每个GMM组件上的分数分布，提出一维CNN模型，该模型不仅考虑GMM上的帧得分，还考虑帧之间的局部关系，还提出了一种用于欺骗语音检测的孪生卷积神经网络，它基于分别训练为真实语音和欺骗语音的两个高斯混合模型，能够大大提高欺骗性语音检测的准确性。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。

图1附图为本发明的方法流程图。

图2附图为本发明高斯混合模型的流程图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

请参阅附图1，本发明提供了一种基于孪生卷积神经网络进行欺骗性语音检测的方法，包括如下步骤：

(1)在传统的语音CQCC特征的基础上，进一步提取高斯概率分布特征：

(a)对所有原始语音进行预处理；

(b)对预处理后的语音进行CQCC特征提取；

(c)对CQCC特征训练得到两个高斯混合模型；

(d)通过两个高斯混合模型提取语音的高斯概率特征；

(2)对语音进行欺骗性检测：

语音经过两个高斯混合模型(分别在真实语音和欺骗语音集上训练得到)提取特征后，得到二维矩阵，将二维矩阵输入到神经网络模型中进行语音欺骗性检测。

本实施例中，对所有原始语音进行预处理，包括预加重、分帧和加窗：

(1)预加重：语音信号的第n个采样点位x[n]，预加重公式如下：

x'[n]＝x[n]-0.97*x[n-1]

(2)分帧：一般认为语音信号具有短时平稳特性，将预加重后的语音分成短时语音帧，每帧帧长位20ms，为确保声学特征参数的平滑性，采用重叠取帧的方式，相邻帧重叠部分为10ms；

(3)加窗：对每帧信号进行加窗处理，采用汉明窗函数，得到短时加窗的语音信号：

x_l[n]＝w[n]*x[n+lL],0≤n≤N-1

其中，w[n]＝0.54-0.46cos(2πn/N-1)

其中，w[n]是窗函数，N是窗长，l是帧索引，L是帧移。

本实施例中，对预处理后的语音进行CQCC特征提取的方法包括：

(1)常数Q变换：

将预处理后的语音时序信号x(n)进行常数Q变换，即得到频域信号X^CQT(k)；常数Q变换表示为：

其中，k是频带数，N_k为可变窗函数，

是a_k(n)的共轭复数；a_k(n)可表示为：

其中，f_k是频率仓的中心频率，f_s是采样率，Φ_k是相位相移，其中C是尺度函数，定义如下：

(2)获取能量谱：

首先将经过常数Q变换得到的频域信号X^CQT(k)表示为：

X^CQT(k)＝a cosθ_kk+ja sinθ_kk＝a_k+jb_k

然后两边取平方得到能量谱：

(3)信号转换

对能量谱取对数将乘性信号转换为加性信号，得到log|X^CQT(k)|²；

(4)均匀采样：

首先确定一个线性重采样周期T_l，其中

是递增的距离函数；

通过将第一个音程分成周期为T_l的d等份，因为高音程是低音程分辨率的两倍，则可得到在第二个音程为2d等份；如此类推，第j个音程为2^j-1d等份，自然就能确定线性重采样周期了；通过求解k_l得到线性分辨率：

得到线性分布下的新采样频率F_l：

(5)离散余弦变换：

使用DCT对频谱压缩后的得到CQCC特征；其中L是重采样后的频带数，p＝0,1,…,L-1；

本实施例中，对CQCC特征训练得到两个高斯混合模型的方法为：

训练集中包含多个真实语音和欺骗语音，分别将这两类语音的CQCC特征放在一起，采用EM(Expectation Maximization，期望最大)方法分别训练得到2个M阶高斯混合模型(如512阶)；对于D维向量x，概率密度计算公式为：

高斯混合分布的权重系数w_i满足

概率密度是由M个正态高斯密度函数p_i(x)组成：

其中，D为特征向量维度大小，μ_i和Σ_i分别是高斯密度函数的均值和协方差矩阵。

本模型采用EM算法来获得这些参数，算法描述如下：

A)首先设定高斯混合模型的阶数M，设定初始状态各高斯分布的权重系数w_i＝1/M，各个高斯分布的协方差矩阵Σ_i为单位矩阵，均值向量

其中

为训练样本的均值向量，Δμ_i为较小的随机向量。

B)设训练语音的特征为{x_t|t＝1,2,...,T}，按照下面公式对高斯混合模型参数进行估计：

C)重复B步骤50次。

本实施例中，通过两个高斯混合模型提取语音的高斯概率特征的方法为：

1)对于每条语音的CQCC特征序列X＝{x₁,x₂,...,x_N}，提取高斯概率分布特征：对于特征x_i，对应的高斯概率特征f_i，由其在高斯混合模型分量的概率值计算得到。对于f_i中的每个分量f_ij，计算公式为：

f_ij＝log(w_j·p_j(x_i))

其中，w_j为高斯混合模型的第j个分量权重，p_j为特征在高斯混合模型第j个分量上的概率密度值；

2)对所有特征进行全局的均值方差归一化，计算所有语音的高斯概率特征的均值和方差，进行归一化：

其中，μ_f和σ_f是训练集中所有语音的高斯概率特征的均值与方差。

本实施例中，神经网络模型结构为：

1)卷积层：包括多个一维卷积滤波器函数，窗口大小分别是2，3，4，5，6，7；

卷积层的输入是所述高斯概率特征，设语音帧数为T，语音转换成大小为512*T的二维向量X，输入到一维卷积层，卷积公式是：

其中，w_i,j是滤波器的权重系数，b是偏移量，w_l是滤波器的窗口大小；二维特征矩阵经过一个滤波器后，得到一维矩阵Y，长度为T；系统中滤波器数量为512，得到512个一维向量，直接拼接组成一个大小为512*T的二维向量；系统中窗口大小设置6个不同的值，这样得到6个二维向量，直接拼接组成大小为3072*T的二维向量；

2)池化层：对卷积层的输出的二维向量，用一维最大池化层获得固定大小为3072的一维向量Z，每个元素的值Z_l的计算公式是：

Z_i＝max({Y_i，j})

池化层对卷积层的输出二维矩阵Y，沿着帧数方向取最大值，获得一维向量；由于前面特征提取的时候，根据两个高斯混合模型得到两组高斯概率特征，经过卷积层和池化层，得到两个大小为3072的一维向量，将这两个向量简单串接起来得到大小为6144的一维向量；

3)全连接层：全连接层包含512个神经元节点，输出是大小为512的一维向量，其中每个节点的输出P_i计算公式是：

其中，w_i,j是滤波器的权重系数，b是偏移量，f是ReLU激活函数：

f(x)＝max(0，x)

4)输出层：输出层包含2个神经元节点，分别表示分类的结果是真实语音Q₀还是欺骗语音Q₁；

其中w_i,j是滤波器的权重系数，b是偏移量，h是Sigmoid激活函数：

最后根据分类的结果Q₀和Q₁的两个元素值大小判断语音是正常语音还是欺骗语音。

本实施例中，采用交叉熵损失函数训练神经网络，表示如下：

其中，K是神经网络输出的节点数，i是输出层节点索引，

是真实的标签，z_i是输出层第i个节点的原始输出，y_i是其激活输出。

传统的GMM会在所有帧上独立累积分数，并且不会考虑每个高斯分量对最终分数的贡献，相邻帧之间的关系也被忽略。本发明采用孪生卷积神经网络，基于真实语音和欺骗语音两种高斯混合模型训练，来进行欺骗语音检测，对于一段语音，高斯概率特征包括每个GMM组件上的分数分布，提出一维CNN模型，该模型不仅考虑GMM上的帧得分，还考虑帧之间的相邻关系，还提出了一种用于欺骗语音检测的孪生卷积神经网络，它基于分别训练为真实语音和欺骗语音的两个高斯混合模型，能够大大提高欺骗性语音检测的准确性。

本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的装置而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。

对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其它实施例中实现。因此，本发明将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。

Claims (4)

1.一种基于孪生卷积神经网络进行欺骗性语音检测的方法，其特征在于，包括如下步骤：

(1)提取语音的高斯概率特征；包括通过两个高斯混合模型提取语音的高斯概率特征，具体包括：

1)对于每条语音的CQCC特征序列X＝{x₁,x₂,...,x_N}，提取高斯概率分布特征：对于特征x_i，对应的高斯概率特征f_i，由其在高斯混合模型分量的概率值计算得到，对于f_i中的每个分量f_ij，计算公式为：

f_ij＝log(w_j·p_j(x_i))

其中，w_j为高斯混合模型的第j个分量权重，p_j为特征在高斯混合模型第j个分量上的概率密度值；

2)对所有特征进行全局的均值方差归一化，计算所有语音的高斯概率特征的均值和方差，进行归一化

其中，μ_f和σ_f是训练集中所有语音的高斯概率特征的均值与方差；

(a)对所有原始语音进行预处理；

(b)对预处理后的语音进行CQCC特征提取；

(c)对CQCC特征训练得到两个高斯混合模型，具体包括：

训练集中包含多个真实语音和欺骗语音，分别将这两类语音的CQCC特征放在一起，采用EM方法分别训练得到2个M阶高斯混合模型；对于D维向量x，概率密度计算公式为：

高斯混合分布的权重系数w_i满足

概率密度是由M个正态高斯密度函数p_i(x)组成：

其中，D为特征向量维度大小，μ_i和Σ_i分别是高斯密度函数的均值和协方差矩阵；

(d)通过两个高斯混合模型提取语音的高斯概率特征；

(2)对语音进行欺骗性检测：

语音经过两个高斯混合模型提取特征后，得到二维矩阵，将二维矩阵输入到神经网络模型中进行语音欺骗性检测；

所述神经网络模型结构为：

1)卷积层：包括多个一维卷积滤波器函数，窗口大小分别是2，3，4，5，6，7；

卷积层的输入是所述高斯概率特征，设语音帧数为T，语音转换成大小为512*T的二维向量X，输入到一维卷积层，卷积公式是：

其中，w_i,j是滤波器的权重系数，b是偏移量，w_l是滤波器的窗口大小；二维特征矩阵经过一个滤波器后，得到一维矩阵Y，长度为T；系统中滤波器数量为512，得到512个一维向量，直接拼接组成一个大小为512*T的二维向量；系统中窗口大小设置6个不同的值，这样得到6个二维向量，直接拼接组成大小为3072*T的二维向量；

2)池化层：对卷积层的输出的二维向量，用一维最大池化层获得固定大小为3072的一维向量Z，每个元素的值Z_l的计算公式是：

Z_i＝max({Y_i，j})

池化层对卷积层的输出二维矩阵Y，沿着帧数方向取最大值，获得一维向量；由于前面特征提取的时候，根据两个高斯混合模型得到两组高斯概率特征，经过卷积层和池化层，得到两个大小为3072的一维向量，将这两个向量简单串接起来得到大小为6144的一维向量；

3)全连接层：全连接层包含512个神经元节点，输出是大小为512的一维向量，其中每个节点的输出P_i计算公式是：

其中，w_i,j是滤波器的权重系数，b是偏移量，f是ReLU激活函数：

f(x)＝max(0,x)

4)输出层：输出层包含2个神经元节点，分别表示分类的结果是真实语音Q₀还是欺骗语音Q₁；

其中w_i,j是滤波器的权重系数，b是偏移量，h是Sigmoid激活函数：

最后根据分类的结果Q₀和Q₁的两个元素值大小判断语音是正常语音还是欺骗语音。

2.根据权利要求1所述的一种基于孪生卷积神经网络进行欺骗性语音检测的方法，其特征在于，对所有原始语音进行预处理，包括预加重、分帧和加窗：

(1)预加重：语音信号的第n个采样点位x[n]，预加重公式如下：

x'[n]＝x[n]-0.97*x[n-1]

(2)分帧：将预加重后的语音分成短时语音帧，每帧帧长位20ms，为确保声学特征参数的平滑性，采用重叠取帧的方式，相邻帧重叠部分为10ms；

(3)加窗：对每帧信号进行加窗处理，采用汉明窗函数，得到短时加窗的语音信号：

x_l[n]＝w[n]*x[n+lL],0≤n≤N-1

其中，w[n]＝0.54-0.46cos(2πn/N-1)

其中，w[n]是窗函数，N是窗长，l是帧索引，L是帧移。

3.根据权利要求2所述的一种基于孪生卷积神经网络进行欺骗性语音检测的方法，其特征在于，对预处理后的语音进行CQCC特征提取的方法包括：

(1)常数Q变换：

将预处理后的语音时序信号x(n)进行常数Q变换，即得到频域信号X^CQT(k)；常数Q变换表示为：

其中，k是频带数，N_k为可变窗函数，

是a_k(n)的共轭复数；a_k(n)可表示为：

其中，f_k是频率仓的中心频率，f_s是采样率，Φ_k是相位相移，其中C是尺度函数，定义如下：

(2)获取能量谱：

首先将经过常数Q变换得到的频域信号X^CQT(k)表示为：

X^CQT(k)＝a cosθ_kk+ja sinθ_kk＝a_k+jb_k

然后两边取平方得到能量谱：

(3)信号转换

对能量谱取对数将乘性信号转换为加性信号，得到log|X^CQT(k)|²；

(4)均匀采样：

首先确定一个线性重采样周期T_l，其中

是递增的距离函数；

通过将第一个音程分成周期为T_l的d等份，因为高音程是低音程分辨率的两倍，则可得到在第二个音程为2d等份；如此类推，第j个音程为2^j-1d等份，自然就能确定线性重采样周期了；通过求解k_l得到线性分辨率：

得到线性分布下的新采样频率F_l：

(5)离散余弦变换：

使用DCT对频谱压缩后的得到CQCC特征；其中L是重采样后的频带数，p＝0,1,...,L-1；

4.根据权利要求1所述的一种基于孪生卷积神经网络进行欺骗性语音检测的方法，其特征在于，采用交叉熵损失函数训练神经网络，表示如下：

其中，K是神经网络输出的节点数，i是输出层节点索引，

是真实的标签，z_i是输出层第i个节点的原始输出，y_i是其激活输出。

Images