CN108711436A - 基于高频和瓶颈特征的说话人验证系统重放攻击检测方法 - Google Patents
基于高频和瓶颈特征的说话人验证系统重放攻击检测方法 Download PDFInfo
- Publication number
- CN108711436A CN108711436A CN201810475055.6A CN201810475055A CN108711436A CN 108711436 A CN108711436 A CN 108711436A CN 201810475055 A CN201810475055 A CN 201810475055A CN 108711436 A CN108711436 A CN 108711436A
- Authority
- CN
- China
- Prior art keywords
- training
- classification results
- characteristic
- replay attack
- training set
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 38
- 238000012795 verification Methods 0.000 title claims abstract description 30
- 238000007637 random forest analysis Methods 0.000 claims abstract description 15
- 238000012549 training Methods 0.000 claims description 82
- 238000000034 method Methods 0.000 claims description 30
- 238000001228 spectrum Methods 0.000 claims description 22
- 238000000605 extraction Methods 0.000 claims description 19
- 238000003066 decision tree Methods 0.000 claims description 14
- 238000009432 framing Methods 0.000 claims description 8
- 230000008569 process Effects 0.000 claims description 7
- 230000007246 mechanism Effects 0.000 claims description 5
- 239000000284 extract Substances 0.000 claims description 4
- 238000012952 Resampling Methods 0.000 claims description 3
- 238000005192 partition Methods 0.000 claims description 3
- 235000013399 edible fruits Nutrition 0.000 claims description 2
- 241000209202 Bromus secalinus Species 0.000 claims 1
- 238000012360 testing method Methods 0.000 abstract description 2
- 238000013527 convolutional neural network Methods 0.000 description 23
- 230000006870 function Effects 0.000 description 9
- 238000002156 mixing Methods 0.000 description 5
- 230000004913 activation Effects 0.000 description 4
- 238000010606 normalization Methods 0.000 description 4
- 230000005540 biological transmission Effects 0.000 description 3
- 230000015572 biosynthetic process Effects 0.000 description 3
- 238000003786 synthesis reaction Methods 0.000 description 3
- 238000013459 approach Methods 0.000 description 2
- 230000000903 blocking effect Effects 0.000 description 2
- 238000004422 calculation algorithm Methods 0.000 description 2
- 238000006243 chemical reaction Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000007477 logistic regression Methods 0.000 description 2
- 238000013507 mapping Methods 0.000 description 2
- 239000000203 mixture Substances 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 238000005070 sampling Methods 0.000 description 2
- 230000005236 sound signal Effects 0.000 description 2
- NAWXUBYGYWOOIX-SFHVURJKSA-N (2s)-2-[[4-[2-(2,4-diaminoquinazolin-6-yl)ethyl]benzoyl]amino]-4-methylidenepentanedioic acid Chemical compound C1=CC2=NC(N)=NC(N)=C2C=C1CCC1=CC=C(C(=O)N[C@@H](CC(=C)C(O)=O)C(O)=O)C=C1 NAWXUBYGYWOOIX-SFHVURJKSA-N 0.000 description 1
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 description 1
- 241000220225 Malus Species 0.000 description 1
- 230000003044 adaptive effect Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000013145 classification model Methods 0.000 description 1
- 230000002860 competitive effect Effects 0.000 description 1
- 230000006835 compression Effects 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000002790 cross-validation Methods 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 230000036961 partial effect Effects 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 238000002360 preparation method Methods 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 238000010008 shearing Methods 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 230000003595 spectral effect Effects 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 230000007704 transition Effects 0.000 description 1
- 230000032258 transport Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
- G10L25/03—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the type of extracted parameters
- G10L25/24—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the type of extracted parameters the extracted parameters being the cepstrum
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
- G06F21/30—Authentication, i.e. establishing the identity or authorisation of security principals
- G06F21/31—User authentication
- G06F21/32—User authentication using biometric data, e.g. fingerprints, iris scans or voiceprints
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L17/00—Speaker identification or verification techniques
- G10L17/02—Preprocessing operations, e.g. segment selection; Pattern representation or modelling, e.g. based on linear discriminant analysis [LDA] or principal components; Feature selection or extraction
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L17/00—Speaker identification or verification techniques
- G10L17/04—Training, enrolment or model building
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L17/00—Speaker identification or verification techniques
- G10L17/18—Artificial neural networks; Connectionist approaches
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
- G10L25/03—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the type of extracted parameters
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
- G10L25/27—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the analysis technique
- G10L25/30—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the analysis technique using neural networks
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
- G10L25/48—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use
- G10L25/51—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Health & Medical Sciences (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Human Computer Interaction (AREA)
- Acoustics & Sound (AREA)
- Multimedia (AREA)
- Computational Linguistics (AREA)
- Signal Processing (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Computer Security & Cryptography (AREA)
- Theoretical Computer Science (AREA)
- Computer Hardware Design (AREA)
- Software Systems (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
- Complex Calculations (AREA)
Abstract
基于高频和瓶颈特征的说话人验证系统重放攻击检测方法，涉及说话人验证系统中的重放攻击电子欺诈检测方法，为了解决现有基线系统检测说话人验证系统重放攻击的等错误率高，可靠性差的问题。提取语音音频的高频特征，并输入高斯混合模型得到分类结果一；采用Light CNN提取语音音频的瓶颈特征，并输入随机森林集成学习模型，得到分类结果二；将分类结果一和分类结果二输入LR分类器得到检测结果，实现对重放攻击的检测。
Description
技术领域
本发明涉及说话人验证系统中的重放攻击电子欺诈检测方法。
背景技术
当今时代，生物学身份验证的应用领域越来越广泛，但相关研究表示生物学验证技术比较容易遭受恶意欺诈(spoof)攻击。虽然对电子欺诈检测的研究已经取得一些进展，但这个问题还有诸多难点尚未攻克，生物学身份验证系统依然很容易受到欺诈攻击的影响。自动说话人验证(Automatic Speaker Verification，ASV)系统作为一种典型的生物学验证系统，欺诈攻击同样会对ASV系统安全造成影响。
近年来ASV技术已经取得长足的进步，并达到可以大规模实际应用的程度，但ASV系统不仅要求系统的稳定性、可靠性，还要求对欺诈攻击的抵抗能力。然而在未对欺诈攻击采取对抗措施的ASV系统中，欺诈攻击很容易骗过ASV系统。目前欺诈攻击手段主要有以下四种：(1)模仿(Impersonation)攻击：攻击者通过模仿合法话者的声音来达到攻击的目的，这更多的是一种人工攻击手段。(2)重放攻击(Replay Attack)：重放攻击过程如图1所示，攻击者通过黑客手段直接获取合法话者的语音数字信号，通过播放设备转为模拟信号(合法话者的声音)，再由录音设备(承载ASV系统的设备)接收来达到攻击的目的。(3)语音合成(Speech Synthesis)攻击：攻击者通过能自适应合法话者发音特点的语音合成(Text-To-Speech，TTS)系统伪造语音来进行欺诈攻击。(4)声音转换(Voice Conversion，VC)攻击：攻击者通过将自己的声音调整至与合法话者声音相似来达到攻击的目的。
在上述四种攻击手段中，重放攻击是攻击者最容易实现的欺诈攻击手段，因为这种攻击的实现不需要语音信号处理的相关知识。由于缺乏可公开的数据集和标准化的基线系统，早期的重放攻击检测的研究工作都是在各自构建的小型内部数据集上进行，而这些数据集也大多都是通过少量的录音和回放设备进行收集，因此研究者很难将自己的结果与其他人的结果进行比较，因此重放攻击检测的相关研究长期处于停滞的状态。正是在这样的背景下，相关研究工作者在付出极大的努力后构建ASVspoof和RedDots Replayed两个数据集，因此，重放攻击检测方面的第一个拥有统一数据标签，以及评判准则的标准数据集应运而生。
基线系统发展至今仍存在检测说话人验证系统重放攻击的等错误率高，可靠性差的问题。
发明内容
本发明的目的是为了解决现有基线系统检测说话人验证系统重放攻击的等错误率高，可靠性差的问题，从而提供基于高频和瓶颈特征的说话人验证系统重放攻击检测方法。
本发明所述的基于高频和瓶颈特征的说话人验证系统重放攻击检测方法，包括以下步骤：
步骤一、提取训练集语音音频的高频特征，以该特征为训练集数据训练高斯混合模型，得到训练分类结果一；
步骤二、采用Light CNN提取训练集语音音频的瓶颈特征，以该特征为训练集数据训练随机森林集成学习模型，得到训练分类结果二；
步骤三、以训练分类结果一和训练分类结果二为训练集数据训练LR分类器，LR分类器输出最终训练的分类结果，完成训练；
步骤四、提取评估集语音音频的高频特征，并输入完成训练的高斯混合模型得到评估分类结果一；
步骤五、采用Light CNN提取评估集语音音频的瓶颈特征，并输入完成训练的随机森林集成学习模型，得到评估分类结果二；
步骤六、将评估分类结果一和评估分类结果二输入完成训练的LR分类器得到检测结果，实现对重放攻击的检测。
优选的是，步骤一具体包括以下步骤：
步骤一一、输入训练集语音音频，对语音音频进行预处理，包括预加重、分帧和加窗，然后进行快速傅里叶变换，再提取出IMFCC特征，以该特征作为高频特征；
步骤一二、应用MVN对IMFCC特征进行修正；
步骤一三、以步骤一二得到的IMFCC特征为训练集数据，将训练集数据分为真实语音特征和欺诈语音特征，并分别训练真实语音GMM和欺诈语音GMM，得到输出后计算对数似然比即训练分类结果一。
优选的是，步骤一一中，加窗时采用布莱克曼窗口。
优选的是，步骤一一中，采用Inverted Mel频率滤波器提取出IMFCC特征。
优选的是，步骤一三中，两个GMM的高斯分量都为512，采用的训练方法为期望最大化方法。
优选的是，步骤二具体包括以下步骤：
步骤二一、输入训练集语音音频，对语音音频进行预处理，包括分帧和加窗，再提取出对数能量谱特征，
步骤二二、应用MVN对对数能量谱特征进行修正；
步骤二三、以步骤二二得到的对数能量谱特征为训练集数据训练Light CNN，将训练完成的Light CNN隐层输出作为瓶颈特征；
步骤二四、以瓶颈特征为训练集数据训练随机森林集成学习模型，得到训练分类结果二。
优选的是，步骤二四具体包括以下步骤：
步骤二四一、从瓶颈特征中通过重采样的方式产生n个样本；
步骤二四二、假设样本特征数目为F_num，分别对n个样本选择F_num中的k个特征，对k个特征应用基尼指数获得最佳分割点，构建决策树；
步骤二四三、重复步骤二四一和步骤二四二K次，产生K棵决策树。
步骤二四四、对K棵决策树的分类结果采用多数投票机制来进行分类预测，得到训练分类结果二。
优选的是，步骤二一中，加窗时采用布莱克曼窗口。
本方法通过提取CIMFCC特征进行检测来提升该方法的检测性能；再提取瓶颈特征进行检测，最后进行分数混合，进而提高说话人验证系统对重放攻击检测的性能。本发明的等错误率低，可靠性高。
附图说明
图1是重放攻击过程的示意图；
图2是真实语音验证信号与欺诈语音验证信号的频谱图；
(a)为真实语音验证信号，(b)为欺诈语音验证信号；
图3是本发明的流程图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。
需要说明的是，在不冲突的情况下，本发明中的实施例及实施例中的特征可以相互组合。
下面结合附图和具体实施例对本发明作进一步说明，但不作为本发明的限定。
基于高频和瓶颈特征的说话人验证系统重放攻击检测方法，包括以下步骤：
步骤一、提取训练集语音音频的高频特征，以该特征为训练集数据训练高斯混合模型，得到训练分类结果一，具体为：
步骤一一、输入训练集语音音频，对输入的语音音频进行采样，对语音音频进行预加重，将输入的模拟信号转变为计算机能够处理的数字信号，然后进行分帧，加布莱克曼窗等操作，进行快速傅里叶变换，再提取出IMFCC特征，以该特征作为高频特征；
步骤一二、应用MVN对IMFCC特征进行修正；用于去噪提升系统性能。
步骤一三、以步骤一二得到的IMFCC特征为训练集数据，将训练集数据分为真实语音特征和欺诈语音特征，并分别训练真实语音GMM和欺诈语音GMM，得到输出后计算对数似然比。两个GMM的高斯分量都为512，采用的训练方法为期望最大化方法。
步骤二、采用Light CNN提取训练集语音音频的瓶颈特征，以该特征为训练集数据训练随机森林集成学习模型，得到训练分类结果二，具体为：
步骤二一、输入训练集语音音频，对输入的语音音频进行采样，将输入的模拟信号转变为计算机能够处理的数字信号，然后进行分帧、加布莱克曼窗等操作，再提取出对数能量谱(log-power-spectrum)特征；
步骤二二、应用MVN对对数能量谱特征进行修正；用于去噪提升系统性能；由于训练集语音音频长度不一致，进而得到的训练集数据帧数不一致，但Light CNN的输入要求各维度相同，因此要设置一固定帧数M，对帧数小于M的特征矩阵采用重复拼接的方式达到固定帧数，对帧数大于M的特征矩阵采用剪切的方式达到固定帧数。
步骤二三、以步骤二二得到的对数能量谱特征为训练集数据训练Light CNN，将训练完成的Light CNN隐层输出作为瓶颈特征；
在应用NIN结构，1x1和3x3卷积核，MFM激活函数后，构建一个16层的Light CNN神经网络，包含9个卷积层、4个NIN结构、5个最大池化层、1层全连接隐层、1层输出层，网络结构如表1所示。Light CNN网络训练算法采用自适应学习率方法Adam。
步骤二四、以瓶颈特征为训练集数据训练随机森林集成学习模型，采用网格搜索和交叉验证的方式来训练随机森林集成学习模型，得到训练分类结果二。
步骤三、以训练分类结果一和训练分类结果二为训练集数据训练LR分类器，LR分类器输出最终训练的分类结果，完成训练；再输入验证集语音音频对训练结果进行验证。
步骤四、提取评估集语音音频的高频特征，并输入完成训练的高斯混合模型得到分类结果一；
步骤五、采用Light CNN提取评估集语音音频的瓶颈特征，并输入完成训练的随机森林集成学习模型，得到评估分类结果二；
步骤六、将评估分类结果一和评估类结果二输入完成训练的LR分类器得到检测结果，实现对重放攻击的检测。
一、步骤一中基于高频特征的检测选用CIMFCC特征，以高斯混合模型(GaussianMixed Model，GMM)作为分类器。
如图1所示，重放攻击欺诈语音与真实语音的差别只在于，欺诈语音验证信号相较于真实语音验证信号额外经历一次信道传播，高频损失被放大。以信号经录音设备到远端验证服务器这一过程为例，欺诈语音验证信号S(t)由录音设备进行调制转为高频信号H(t)进行发送
H(t)＝S(t)cos(ωt) (1)
其中ω为调制频率；
在传输过程中不可避免的会引入噪声，在理想情况下噪声为高斯白噪声g(t)，
F(t)＝H(t)+g(t)＝S(t)cos(ωt)+g(t) (2)
信号H(t)被远端验证服务器接收，经解调得到N(t)
再经低通滤波器Lowfilter只取低频部分，即可得到欺诈语音验证信号L(t)，为与S(t)同频的高斯白噪声
L(t)与S(t)相比较不仅引入传输过程中的高斯白噪声，而且由于Lowfilter的作用，S(t)的高频部分信号被滤掉，造成S(t)在高频部分的损失，因此真实语音验证信号与欺诈语音验证信号的高频部分频谱子带存在巨大差异，典型示例如图2所示，因此体现音频高频信息的特征就可以作为检测所采用的特征。逆梅尔倒谱系数(InvertedMel Frequency Cepstral Coefficients，IMFCC)正是一种典型的高频特征。
在特征提取过程中，首先要对语音音频进行预处理，包括对语音音频进行预加重、分帧和加窗操作。
预加重处理其实是一个高通滤波器，它使语音信号的高频特性更加突现，该高通滤波器的传递函数为：
y(n)＝x(n)-ax(n-1) (5)
其中，α是预加重系数，0.9<α<1，x(n)为输入的第n个数据，y(n)为输出数据。
由于语音音频信号只在较短的时间内呈现平稳性(一般认为10-30ms)，因此将语音音频信号划分为一个个的短时段即一帧。同时为避免丢失语音信号的动态信息，相邻帧之间要有一段重叠区域，重叠区域一般为帧长的1/2或1/3。
分帧不可避免的会产生能量泄漏现象。窗函数是一个频带无限的函数，所以即使原信号是有限带宽信号，而在截断以后也必然成为无限带宽的函数，即信号在频域的能量与分布已被扩展。从采样定理可知，无论采样频率多高，只要信号一经截断，就不可避免地引起混叠，因此信号截断必然导致一些误差。能量泄漏与窗函数频谱的两侧旁瓣有关，如果两侧瓣的高度趋于零，而使能量相对集中在主瓣，就可以较为接近于真实的频谱。
不同的窗函数对信号频谱的影响并不一样，这主要是因为不同的窗函数，产生泄漏的大小不一样，频率分辨能力也不一样。信号的截断产生能量泄漏，而用快速傅里叶变换(Fast Fourier Transform，FFT)算法计算频谱又产生栅栏效应，从原理上讲这两种误差都不可能完全消除，但是可以通过选择不同的窗函数来对它们的影响进行抑制。
IMFCC提取过程中一般采用汉明窗或汉宁窗，针对重放攻击检测问题，本方法选用布莱克曼窗(Blackman Window)，布莱克曼窗和汉明窗的形式分别如公式(6)、(7)所示；
其中，a0＝0.42,a1＝0.5,a2＝0.08，N为一帧取样的点数。
布莱克曼窗口较汉明窗函数多一项余弦项，该余弦项使得旁瓣降低，旁瓣的降低则有效地压制能量泄露现象；布莱克曼窗口波动比汉明窗小，频率识别精度最低，但幅值识别精度最高，有利于检测频谱能量损失，而真实语音与欺诈语音的不同也正是高频能量的损失，因此选用布莱克曼窗口。
对经过预处理之后的语音音频做快速傅里叶变换，从而将时域上的信号转换到频域上，将得到的信号用频谱表示。
在特征提取过程中，采用的是逆梅尔Inverted Mel频率滤波器，Inverted Mel由Mel滤波翻转得到，因此Inverted Mel频率可以更好的捕捉到频谱高频特性。Mel频率与实际频率的具体对应关系如公式(8)所示，Inverted Mel频率与实际频率的具体关系如公式(9)所示：
flow为频带最低频率，fhigh为频带最高频率，Fs为采样频率，Ms为DCT阶数，fHz和f均为实际频率；类似于临界频带的划分，可以将语音音频划分成一系列三角形的滤波器序列，即Inverted Mel滤波器组。所有信号幅度加权和作为某个带通滤波器的输出，然后对所有滤波器输出作对数运算，再进一步作离散余弦变换(Discrete Cosine Transform，DCT)即得到IMFCC。
应用均值方差归一化(Mean Variance Normalization，MVN)对IMFCC特征进行修正。MVN又名Zero-Score方法，即将原始数据集归一化为均值为0、方差1的数据集，归一化公式如公式(10)所示
其中，μ、σ分别为原始数据集的均值和方差，x为原始数据，z为归一化后的数据。针对原始信号S(t)实施重放攻击后可得到信号n为欺诈语音样本数，k为下标，这主要是因为录音及播放设备搭配的多样性，会造成信道的多样性，使得检测变成一个开集问题。为增加检测模型的泛化能力，降低不同信道对信号的差异性影响，因此应用MVN对IMFCC修正，而MVN在原始数据的分布近似为高斯分布时会对系统性能提升较多，且能提升分类模型的收敛速度以及模型精度。
修正后的IMFCC特征提取完成后，以修正后的IMFCC特征为训练集数据，将训练集数据按标签分为真实语音特征和欺诈语音特征，再分别训练真实语音GMM和欺诈语音GMM。
二、基于瓶颈特征的检测以轻量级卷积神经网络(Light Convolutional NeuralNetwork，Light CNN)提取的瓶颈特征作为输入，以随机森林集成学习器作为分类器。
由深度网络提取的瓶颈特征是一种对原始特征的高层表示，因此瓶颈特征是一种对欺诈检测更为有效的特征；选用随机森林集成学习模型作为检测分类器，是因其具有较强的抗过拟合能力，且分类建模能力较其他机器学习模型更强。
基于瓶颈特征的检测输入为基于快速傅里叶变换(Fast Fourier Transform，FFT)的对数能量谱(Log Power Spectrum)，采用对数能量谱特征，而不是其他高层声学特征，目的在于最大程度地保存音频原始信息，进而提升瓶颈特征检测性能。由于训练音频时长并不一致，因而作为Light CNN的输入就需要对输入的对数能量谱特征进行时域维度上的统一，统一方法为设置一固定帧数M，对帧数小于M的特征矩阵在时域维度上重复拼接，对帧数大于M的特征矩阵在时域维度上进行剪切。
卷积神经网络具有出色的提取局部特征的能力，而欺诈音与真实音的语音频谱在高频局部区域存在明显差异，因此采用卷积神经网络进行特征提取。若选择传统的卷积神经网络作为特征提取工具，会因为训练集数据规模小而得到比较差的训练结果，且极易过拟合，而Light CNN具有压缩网络参数规模的能力，因此选择Light CNN作为瓶颈特征提取工具。Light CNN中激活函数采用最大特征映射(Max Feature Map，MFM)函数，公式如(11)所示
其中为输入，为输出，卷积核数为2N，H，W分别代表一个特征图(FeatureMap)的纵轴阈值和横轴阈值，i,j,k分别为特征图的纵轴、横轴以及信道(channel)，特征图的横轴、纵轴实际物理意义对应频域、时域。
从MFM公式即可看出，特征图的不同信道的对应元素间表现出一种竞争关系，并且起到一种特征选择的作用，也正是因为MFM激活函数这一特性才使得Light CNN的参数规模极大降低。在网络结构上，Light CNN采用与AlexNet相似的网络结构，并且参照网中网结构(Network in Network，NIN)，在卷积核大小的选择上采用1x1卷积核和3x3卷积核，其目的也是为进行特征选择和进一步降低网络参数规模，具体网络结构如表1所示，MFM即为最大特征映射激活函数层，网络需要训练的参数数目为261346。
表1.Light CNN提取瓶颈特征的网络结构
取全连接隐层输出作为瓶颈特征。瓶颈特征本质上是原始特征经多次非线性变换得到的一种区分性更强的高层特征，因此基于瓶颈特征的检测才会具有更好的性能。
应用MVN对瓶颈特征进行修正，为了进一步提高系统检测性能。
以瓶颈特征为训练集数据训练随机森林集成学习模型。随机森林集成学习模型较为适合做多分类问题的分类器，其训练和预测速度快，能够在分类的过程中生成一个泛化误差的内部无偏估计，有较强的抗过拟合能力，此外，其实现简单并且容易实现并行化。随机森林作为一个集成学习模型，其基模型为决策树，鉴于决策树容易过拟合的缺点，随机森林采用多个决策树的投票机制来改善决策树的缺陷。假设随机森林集成学习模型需要m棵决策树，那么就需要产生m个一定数量的样本集来训练每一棵树。全样本训练忽视局部样本的规律，这不利于模型的泛化能力，因此采用可以产生n(n<m)个样本的拔靴法(Bootstrapping方法)，这是一种有放回的抽样方法。而最终结果采用Bagging的策略来获得，即多数投票机制。
随机森林集成学习模型训练步骤如下：
1.从训练样本集(瓶颈特征)中通过重采样的方式产生n个样本。
2.假设样本特征数目为F_num，对n个样本选择F_num中的k个特征，对k个特征应用基尼指数获得最佳分割点，构建决策树。
3.重复1至2共K次，产生K棵决策树。
4.对K棵决策树分类结果采用多数投票机制来进行分类预测。
最终采用分数混合将步骤一和二的结果进行组合。分数混合是一种构建集成学习器的方法。采用逻辑回归(Logistic Regression，LR)进行分数混合，LR分数混合步骤如下：训练集语音音频步骤一和二可得两个分类结果，以两个分类结果作为新的训练集音频的特征训练LR分类器，LR分类器输出即为分类结果。
表2即为采用本发明的方法与现有基线系统方法的性能对比，本发明的方法性能绝对提升达22.21％，性能相对提升达72.5％。
表2.本发明与采用现有基线系统的方法的性能对比
| 检测方法 | 评估集等错误率 |
| 采用基线系统 | 30.6％ |
| 本发明的方法 | 8.39％ |
Claims (8)
1.基于高频和瓶颈特征的说话人验证系统重放攻击检测方法，其特征在于，包括以下步骤：
步骤一、提取训练集语音音频的高频特征，以该特征为训练集数据训练高斯混合模型，得到训练分类结果一；
步骤二、采用Light CNN提取训练集语音音频的瓶颈特征，以该特征为训练集数据训练随机森林集成学习模型，得到训练分类结果二；
步骤三、以训练分类结果一和训练分类结果二为训练集数据训练LR分类器，LR分类器输出最终训练的分类结果，完成训练；
步骤四、提取评估集语音音频的高频特征，并输入完成训练的高斯混合模型得到评估分类结果一；
步骤五、采用Light CNN提取评估集语音音频的瓶颈特征，并输入完成训练的随机森林集成学习模型，得到评估分类结果二；
步骤六、将评估分类结果一和评估分类结果二输入完成训练的LR分类器得到检测结果，实现对重放攻击的检测。
2.根据权利要求1所述的基于高频和瓶颈特征的说话人验证系统重放攻击检测方法，其特征在于，步骤一具体包括以下步骤：
步骤一一、输入训练集语音音频，对语音音频进行预处理，包括预加重、分帧和加窗，然后进行快速傅里叶变换，再提取出IMFCC特征，以该特征作为高频特征；
步骤一二、应用MVN对IMFCC特征进行修正；
步骤一三、以步骤一二得到的IMFCC特征为训练集数据，将训练集数据分为真实语音特征和欺诈语音特征，并分别训练真实语音GMM和欺诈语音GMM，得到输出后计算对数似然比即训练分类结果一。
3.根据权利要求2所述的基于高频和瓶颈特征的说话人验证系统重放攻击检测方法，其特征在于，步骤一一中，加窗时采用布莱克曼窗口。
4.根据权利要求2所述的基于高频和瓶颈特征的说话人验证系统重放攻击检测方法，其特征在于，步骤一一中，采用Inverted Mel频率滤波器提取出IMFCC特征。
5.根据权利要求2所述的基于高频和瓶颈特征的说话人验证系统重放攻击检测方法，其特征在于，步骤一三中，两个GMM的高斯分量都为512，采用的训练方法为期望最大化方法。
6.根据权利要求1所述的基于高频和瓶颈特征的说话人验证系统重放攻击检测方法，其特征在于，步骤二具体包括以下步骤：
步骤二一、输入训练集语音音频，对语音音频进行预处理，包括分帧和加窗，再提取出对数能量谱特征，
步骤二二、应用MVN对对数能量谱特征进行修正；
步骤二三、以步骤二二得到的对数能量谱特征为训练集数据训练Light CNN，将训练完成的Light CNN隐层输出作为瓶颈特征；
步骤二四、以瓶颈特征为训练集数据训练随机森林集成学习模型，得到训练分类结果二。
7.根据权利要求6所述的基于高频和瓶颈特征的说话人验证系统重放攻击检测方法，其特征在于，步骤二四具体包括以下步骤：
步骤二四一、从瓶颈特征中通过重采样的方式产生n个样本；
步骤二四二、假设样本特征数目为F_num，分别对n个样本选择F_num中的k个特征，对k个特征应用基尼指数获得最佳分割点，构建决策树；
步骤二四三、重复步骤二四一和步骤二四二K次，产生K棵决策树。
步骤二四四、对K棵决策树的分类结果采用多数投票机制来进行分类预测，得到训练分类结果二。
8.根据权利要求6所述的基于高频和瓶颈特征的说话人验证系统重放攻击检测方法，其特征在于，步骤二一中，加窗时采用布莱克曼窗口。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810475055.6A CN108711436B (zh) | 2018-05-17 | 2018-05-17 | 基于高频和瓶颈特征的说话人验证系统重放攻击检测方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810475055.6A CN108711436B (zh) | 2018-05-17 | 2018-05-17 | 基于高频和瓶颈特征的说话人验证系统重放攻击检测方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN108711436A true CN108711436A (zh) | 2018-10-26 |
| CN108711436B CN108711436B (zh) | 2020-06-09 |
Family
ID=63869182
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201810475055.6A Active CN108711436B (zh) | 2018-05-17 | 2018-05-17 | 基于高频和瓶颈特征的说话人验证系统重放攻击检测方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN108711436B (zh) |
Cited By (17)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109300479A (zh) * | 2018-10-31 | 2019-02-01 | 桂林电子科技大学 | 一种回放语音的声纹识别方法、装置及存储介质 |
| CN109801638A (zh) * | 2019-01-24 | 2019-05-24 | 平安科技（深圳）有限公司 | 语音验证方法、装置、计算机设备及存储介质 |
| CN110033757A (zh) * | 2019-04-04 | 2019-07-19 | 行知技术有限公司 | 一种人声识别算法 |
| CN110491391A (zh) * | 2019-07-02 | 2019-11-22 | 厦门大学 | 一种基于深度神经网络的欺骗语音检测方法 |
| CN111310836A (zh) * | 2020-02-20 | 2020-06-19 | 浙江工业大学 | 一种基于声谱图的声纹识别集成模型的防御方法及防御装置 |
| CN111354373A (zh) * | 2018-12-21 | 2020-06-30 | 中国科学院声学研究所 | 一种基于神经网络中间层特征滤波的音频信号分类方法 |
| CN111445904A (zh) * | 2018-12-27 | 2020-07-24 | 北京奇虎科技有限公司 | 基于云端的语音控制方法、装置及电子设备 |
| CN111785281A (zh) * | 2020-06-17 | 2020-10-16 | 国家计算机网络与信息安全管理中心 | 一种基于信道补偿的声纹识别方法及系统 |
| CN112201226A (zh) * | 2020-09-28 | 2021-01-08 | 复旦大学 | 一种发声方式判别方法及系统 |
| CN112216296A (zh) * | 2020-09-25 | 2021-01-12 | 脸萌有限公司 | 音频对抗扰动的测试方法、设备及存储介质 |
| CN112634882A (zh) * | 2021-03-11 | 2021-04-09 | 南京硅基智能科技有限公司 | 端到端实时语音端点检测神经网络模型、训练方法 |
| CN112992126A (zh) * | 2021-04-22 | 2021-06-18 | 北京远鉴信息技术有限公司 | 语音真伪的验证方法、装置、电子设备及可读存储介质 |
| WO2021164256A1 (zh) * | 2020-02-17 | 2021-08-26 | 平安科技（深圳）有限公司 | 语音信号处理方法、装置及设备 |
| CN114299963A (zh) * | 2022-01-05 | 2022-04-08 | 厦门快商通科技股份有限公司 | 一种端到端的声纹识别防重放攻击方法、装置及可读介质 |
| CN114783417A (zh) * | 2022-04-29 | 2022-07-22 | 北京远鉴信息技术有限公司 | 一种语音检测方法、装置、电子设备及存储介质 |
| CN115280410A (zh) * | 2020-01-13 | 2022-11-01 | 密歇根大学董事会 | 安全自动说话者验证系统 |
| US11551116B2 (en) * | 2020-01-29 | 2023-01-10 | Rohde & Schwarz Gmbh & Co. Kg | Signal analysis method and signal analysis module |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101552004A (zh) * | 2009-05-13 | 2009-10-07 | 哈尔滨工业大学 | 一种集内说话者的识别方法 |
| EP2860706A2 (en) * | 2013-09-24 | 2015-04-15 | Agnitio S.L. | Anti-spoofing |
| CN105869630A (zh) * | 2016-06-27 | 2016-08-17 | 上海交通大学 | 基于深度学习的说话人语音欺骗攻击检测方法及系统 |
| CN108038701A (zh) * | 2018-03-20 | 2018-05-15 | 杭州恩牛网络技术有限公司 | 一种集成学习反欺诈测试方法及系统 |
| CN109313902A (zh) * | 2016-06-06 | 2019-02-05 | 思睿逻辑国际半导体有限公司 | 语音用户接口 |
-
2018
- 2018-05-17 CN CN201810475055.6A patent/CN108711436B/zh active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101552004A (zh) * | 2009-05-13 | 2009-10-07 | 哈尔滨工业大学 | 一种集内说话者的识别方法 |
| EP2860706A2 (en) * | 2013-09-24 | 2015-04-15 | Agnitio S.L. | Anti-spoofing |
| CN109313902A (zh) * | 2016-06-06 | 2019-02-05 | 思睿逻辑国际半导体有限公司 | 语音用户接口 |
| CN105869630A (zh) * | 2016-06-27 | 2016-08-17 | 上海交通大学 | 基于深度学习的说话人语音欺骗攻击检测方法及系统 |
| CN108038701A (zh) * | 2018-03-20 | 2018-05-15 | 杭州恩牛网络技术有限公司 | 一种集成学习反欺诈测试方法及系统 |
Non-Patent Citations (2)
| Title |
|---|
| RAMA DODDIPATLA: "Speaker adaptive training in deep neural networks using speaker dependent bottleneck features", 《2016 IEEE INTERNATIONAL CONFERENCE ON ACOUSTICS, SPEECH AND SIGNAL PROCESSING (ICASSP)》 * |
| SHEERAZ MEMON ET AL.: "Using information theoretic vector quantization for inverted MFCC based speaker verification", 《2009 2ND INTERNATIONAL CONFERENCE ON COMPUTER, CONTROL AND COMMUNICATION》 * |
Cited By (22)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109300479A (zh) * | 2018-10-31 | 2019-02-01 | 桂林电子科技大学 | 一种回放语音的声纹识别方法、装置及存储介质 |
| CN111354373A (zh) * | 2018-12-21 | 2020-06-30 | 中国科学院声学研究所 | 一种基于神经网络中间层特征滤波的音频信号分类方法 |
| CN111445904A (zh) * | 2018-12-27 | 2020-07-24 | 北京奇虎科技有限公司 | 基于云端的语音控制方法、装置及电子设备 |
| CN109801638A (zh) * | 2019-01-24 | 2019-05-24 | 平安科技（深圳）有限公司 | 语音验证方法、装置、计算机设备及存储介质 |
| CN109801638B (zh) * | 2019-01-24 | 2023-10-13 | 平安科技（深圳）有限公司 | 语音验证方法、装置、计算机设备及存储介质 |
| CN110033757A (zh) * | 2019-04-04 | 2019-07-19 | 行知技术有限公司 | 一种人声识别算法 |
| CN110491391A (zh) * | 2019-07-02 | 2019-11-22 | 厦门大学 | 一种基于深度神经网络的欺骗语音检测方法 |
| CN115280410A (zh) * | 2020-01-13 | 2022-11-01 | 密歇根大学董事会 | 安全自动说话者验证系统 |
| US11551116B2 (en) * | 2020-01-29 | 2023-01-10 | Rohde & Schwarz Gmbh & Co. Kg | Signal analysis method and signal analysis module |
| WO2021164256A1 (zh) * | 2020-02-17 | 2021-08-26 | 平安科技（深圳）有限公司 | 语音信号处理方法、装置及设备 |
| CN111310836B (zh) * | 2020-02-20 | 2023-08-18 | 浙江工业大学 | 一种基于声谱图的声纹识别集成模型的防御方法及防御装置 |
| CN111310836A (zh) * | 2020-02-20 | 2020-06-19 | 浙江工业大学 | 一种基于声谱图的声纹识别集成模型的防御方法及防御装置 |
| CN111785281A (zh) * | 2020-06-17 | 2020-10-16 | 国家计算机网络与信息安全管理中心 | 一种基于信道补偿的声纹识别方法及系统 |
| CN112216296B (zh) * | 2020-09-25 | 2023-09-22 | 脸萌有限公司 | 音频对抗扰动的测试方法、设备及存储介质 |
| CN112216296A (zh) * | 2020-09-25 | 2021-01-12 | 脸萌有限公司 | 音频对抗扰动的测试方法、设备及存储介质 |
| CN112201226A (zh) * | 2020-09-28 | 2021-01-08 | 复旦大学 | 一种发声方式判别方法及系统 |
| CN112201226B (zh) * | 2020-09-28 | 2022-09-16 | 复旦大学 | 一种发声方式判别方法及系统 |
| CN112634882A (zh) * | 2021-03-11 | 2021-04-09 | 南京硅基智能科技有限公司 | 端到端实时语音端点检测神经网络模型、训练方法 |
| CN112634882B (zh) * | 2021-03-11 | 2021-06-04 | 南京硅基智能科技有限公司 | 端到端实时语音端点检测神经网络模型、训练方法 |
| CN112992126A (zh) * | 2021-04-22 | 2021-06-18 | 北京远鉴信息技术有限公司 | 语音真伪的验证方法、装置、电子设备及可读存储介质 |
| CN114299963A (zh) * | 2022-01-05 | 2022-04-08 | 厦门快商通科技股份有限公司 | 一种端到端的声纹识别防重放攻击方法、装置及可读介质 |
| CN114783417A (zh) * | 2022-04-29 | 2022-07-22 | 北京远鉴信息技术有限公司 | 一种语音检测方法、装置、电子设备及存储介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN108711436B (zh) | 2020-06-09 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN108711436A (zh) | 基于高频和瓶颈特征的说话人验证系统重放攻击检测方法 | |
| CN104732978B (zh) | 基于联合深度学习的文本相关的说话人识别方法 | |
| CN110189769A (zh) | 基于多个卷积神经网络模型结合的异常声音检测方法 | |
| CN107068154A (zh) | 基于声纹识别的身份验证的方法及系统 | |
| CN108922518A (zh) | 语音数据扩增方法和系统 | |
| CN108039176A (zh) | 一种防录音攻击的声纹认证方法、装置及门禁系统 | |
| US20170154640A1 (en) | Method and electronic device for voice recognition based on dynamic voice model selection | |
| CN109448759A (zh) | 一种基于气爆音的抗语音认证欺骗攻击检测方法 | |
| CN106941005A (zh) | 一种基于语音声学特征的声带异常检测方法 | |
| CN110767239A (zh) | 一种基于深度学习的声纹识别方法、装置及设备 | |
| CN106057206A (zh) | 声纹模型训练方法、声纹识别方法及装置 | |
| CN108922513A (zh) | 语音区分方法、装置、计算机设备及存储介质 | |
| CN110880329A (zh) | 一种音频识别方法及设备、存储介质 | |
| CN109841219A (zh) | 利用语音振幅信息和多种相位检测语音欺诈重放攻击方法 | |
| CN108198561A (zh) | 一种基于卷积神经网络的翻录语音检测方法 | |
| CN110299141A (zh) | 一种声纹识别中录音回放攻击检测的声学特征提取方法 | |
| CN110211604A (zh) | 一种用于语音变形检测的深度残差网络结构 | |
| CN110473569A (zh) | 检测说话人欺骗攻击的优化方法及系统 | |
| CN113823293B (zh) | 一种基于语音增强的说话人识别方法及系统 | |
| Ismail et al. | Mfcc-vq approach for qalqalahtajweed rule checking | |
| CN106782503A (zh) | 基于发音过程中生理信息的自动语音识别方法 | |
| CN110570871A (zh) | 一种基于TristouNet的声纹识别方法、装置及设备 | |
| Liang et al. | Recognition of spoofed voice using convolutional neural networks | |
| CN107464563A (zh) | 一种语音交互玩具 | |
| CN110232928B (zh) | 文本无关说话人验证方法和装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |