CN113571067B - 一种基于边界攻击的声纹识别对抗样本生成方法 - Google Patents
一种基于边界攻击的声纹识别对抗样本生成方法 Download PDFInfo
- Publication number
- CN113571067B CN113571067B CN202110682934.8A CN202110682934A CN113571067B CN 113571067 B CN113571067 B CN 113571067B CN 202110682934 A CN202110682934 A CN 202110682934A CN 113571067 B CN113571067 B CN 113571067B
- Authority
- CN
- China
- Prior art keywords
- sample
- attack
- original
- disturbance
- challenge
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 40
- 238000004422 calculation algorithm Methods 0.000 claims abstract description 13
- 238000007781 pre-processing Methods 0.000 claims abstract description 7
- 238000012360 testing method Methods 0.000 claims description 29
- 238000005070 sampling Methods 0.000 claims description 20
- 238000001228 spectrum Methods 0.000 claims description 18
- 230000006870 function Effects 0.000 claims description 17
- 238000009826 distribution Methods 0.000 claims description 15
- 238000004364 calculation method Methods 0.000 claims description 13
- 238000011176 pooling Methods 0.000 claims description 8
- 230000008569 process Effects 0.000 claims description 7
- 230000004913 activation Effects 0.000 claims description 5
- 230000003042 antagnostic effect Effects 0.000 claims description 5
- 238000010606 normalization Methods 0.000 claims description 5
- 238000013145 classification model Methods 0.000 claims description 4
- 238000006073 displacement reaction Methods 0.000 claims description 4
- 238000009432 framing Methods 0.000 claims description 4
- 239000011159 matrix material Substances 0.000 claims description 3
- 238000009827 uniform distribution Methods 0.000 claims description 3
- 230000008859 change Effects 0.000 claims description 2
- 238000013507 mapping Methods 0.000 claims description 2
- 238000005259 measurement Methods 0.000 claims description 2
- 238000003062 neural network model Methods 0.000 claims description 2
- 230000000737 periodic effect Effects 0.000 claims description 2
- 238000005295 random walk Methods 0.000 claims description 2
- 230000003247 decreasing effect Effects 0.000 claims 1
- 230000000694 effects Effects 0.000 claims 1
- 238000011056 performance test Methods 0.000 claims 1
- 238000012549 training Methods 0.000 abstract description 6
- 230000008901 benefit Effects 0.000 abstract description 2
- 238000013527 convolutional neural network Methods 0.000 abstract description 2
- 238000000605 extraction Methods 0.000 abstract description 2
- 238000013135 deep learning Methods 0.000 description 9
- 210000002569 neuron Anatomy 0.000 description 3
- 238000004458 analytical method Methods 0.000 description 2
- 238000002474 experimental method Methods 0.000 description 2
- 231100000572 poisoning Toxicity 0.000 description 2
- 230000000607 poisoning effect Effects 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 238000010183 spectrum analysis Methods 0.000 description 2
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 description 1
- 230000002159 abnormal effect Effects 0.000 description 1
- 230000008485 antagonism Effects 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000013136 deep learning model Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000037433 frameshift Effects 0.000 description 1
- 230000003595 spectral effect Effects 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
- G10L17/00—Speaker identification or verification
- G10L17/02—Preprocessing operations, e.g. segment selection; Pattern representation or modelling, e.g. based on linear discriminant analysis [LDA] or principal components; Feature selection or extraction
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
- G10L17/00—Speaker identification or verification
- G10L17/04—Training, enrolment or model building
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
- G10L17/00—Speaker identification or verification
- G10L17/18—Artificial neural networks; Connectionist approaches
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
- G10L21/00—Processing of the speech or voice signal to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
- G10L21/06—Transformation of speech into a non-audible representation, e.g. speech visualisation or speech processing for tactile aids
- G10L21/10—Transforming into visible information
- G10L21/14—Transforming into visible information by displaying frequency domain information
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L9/00—Cryptographic mechanisms or cryptographic arrangements for secret or secure communications; Network security protocols
- H04L9/002—Countermeasures against attacks on cryptographic mechanisms
Abstract
一种基于边界攻击的声纹识别的对抗样本生成方法,包括以下步骤:1)对所使用的语音数据集进行数据预处理;2)搭建声纹识别模型;3)边界攻击生成对抗样本的算法,流程为:选择边界攻击算法的初始点;选择游走方向;超参数调整。本发明对声纹身份进行分类时未采用传统的声学特征的方法,而是通过将语音转化为语谱图进行训练,可以充分利用卷积神经网络在图像上提取特征的优点,使精度得到极大的提高;本发明属于黑盒攻击,不需要知道原始模型的结构和参数,只需要模型的分类标签,应用面更广更具实际意义。攻击成功率高,产生的对抗样本肉眼无法察觉。
Description
技术领域
本发明属于深度学习安全领域,涉及一种基于边界攻击的声纹识别对抗样本生成方法。
背景技术
随着深度学习的迅速发展,深度学习已经是人工智能最常见的技术之一,在方方面面影响和改变着人们的生活,比较典型的应用包括智能家居、智能驾驶、语音识别、声纹识别等领域。但是深度学习作为一个非常复杂的软件系统,同样会面对各种黑客攻击。黑客通过深度学习系统,也可以威胁到财产安全、个人隐私、交通安全和公告安全。针对深度学习系统的攻击,通常包括以下几种。1.偷取模型,黑客通过各种先进手段,将部署在服务器中的模型文件窃取。2.数据投毒,针对深度学习的数据投毒主要是指向深度学习的训练样本中加入异常数据,导致模型在遇到某些条件时候会产生分类错误,比如后门攻击算法就是在中毒数据中添加一个后门标记,使得模型中毒。3.对抗样本,对抗样本是指在数据集中通过故意添加细微的干扰所形成的输入样本,这种样本导致模型以高置信度给出一个错误的输出。简单的讲,对抗样本通过在元素数据上叠加精心构造的人类难以察觉的扰动,使深度学习模型产生分类错误。深度学习的安全,成为当今我们需要去迫切解决的问题。
对于对抗样本的生成大多数方法要么是依赖于详细的模型信息(基于梯度的攻击),要么依赖于置信度分数,例如类别概率(基于分数的攻击),而这两种方法在大多数真实世界的场景中都不可用。因此提高对抗攻击的现实意义和增加其应用场景变的十分重要。
发明内容
为了克服已有技术的不足,本发明提供了一种基于深度学习的声纹识别的对抗攻击方法,该方法生成的对抗样本和原始样本看不出有任何区别,但是可以使模型分类错误;这是一种黑盒攻击方法,仅少数超参数需要调整,不依赖于替代模型,仅需知道模型输出的类别标签。
本发明解决其技术问题所采用的技术方案是:
一种基于边界攻击的声纹识别的对抗样本生成方法,包括以下步骤:
1)对所使用的语音数据集进行数据预处理:获取每一段语音的原始波形时域数据,然后对其进行傅里叶变换将其变换到频域得到语音信号的频谱,最后利用频谱特征画出对应的语谱图并保存;
2)搭建声纹识别模型:预先指定声纹识别模型的结构和参数,识别模型的数据集也预先给定,即说话人语音样本,包含用来说话人识别的输入特征和相应的分类标签,输入特征为语谱图,数据集中的样本集能被该模型以高精度预测输出;
3)边界攻击生成对抗样本的算法,流程为:
选择边界攻击算法的初始点:边界攻击需要的起始点就是一个对抗样本,在无目标攻击中,从给定输入的语谱图中从最大熵分布值采样得到初始点;
选择游走方向:首先从标准高斯分布中抽样获得随机扰动,并使得加上扰动后的样本的值在[0,255]之间,再将随机扰动扰动投影到一个以原始图片为中心的超球面上,以原始图片为中心的超球上游走,对抗样本朝着原始图片移动一小步;
超参数调整:调整正交扰动步长和朝着原始图片靠近的步长,一个点更新到下一个点的过程分为两步,首先在以原始图片为中心的超球面上走一步,保证下一步得到的图片仍然是对抗样本,然后再朝着原始样本走一步,这两个超参数需根据边界的局部几何形状动态调整。
进一步,所述方法还包括以下步骤:4)对抗样本进行性能测试。
本发明中,首先数据预处理,对于使用的语音数据集进行数据处理,生成语音数据集的语谱图特征;搭建声纹识别模型,使模型能够以很高的分类精度准确预测语音数据集中说话人的身份标签;选取测试集样本并利用边界攻击算法攻击模型以生成对抗样本。
本发明的有益效果主要表现在:1.本发明对声纹身份进行分类时未采用传统的声学特征的方法,而是通过将语音转化为语谱图进行训练,可以充分利用卷积神经网络在图像上提取特征的优点,使精度得到极大的提高。2.本发明属于黑盒攻击,不需要知道原始模型的结构和参数,只需要模型的分类标签,应用面更广更具实际意义。攻击成功率高,产生的对抗样本肉眼无法察觉。
附图说明
图1是边界攻击对抗样本生成方法基本流程图。
图2是声纹识别模型结构图。
图3是声纹识别模型训练精度图。
图4是对抗样本攻击过程相对扰动量变化图。
具体实施方式
下面结合附图对本发明作进一步描述。
参照图1~图4,一种基于边界攻击的声纹识别的对抗样本生成方法,包括以下步骤:
1)对说话人数据集进行预处理,将它们转换为语谱图,过程如下:
1.1:对输入语音信号进行预加重,从而对输入信号高频分量进行补偿,求语音信号频谱,频谱是指时域信号在频域下的表示方式,频率越高相应的成分越小,高频部分的频谱比低频部分的难求,为此要在预处理中进行预加重处理,预加重的目的是提高高频部分,使信号的频谱变得平坦,以便于频谱分析或者声道参数分析,预加重公式:
S(n)=x(n)-αx(n-1) (1)
S(n)是预加重后的语音信号,x是原始信号,n是语音信号中的采样点,α是系数,一般取0.97;
1.2:对采样语音信号进行分帧,获得稀疏的信号帧,方便后续信号分析与处理,语音信号中的频率随时间而变化,是个非平稳态过程,所以在大多数情况下,对整个信号进行傅立叶变换是没有意义的,随着时间的推移会丢失信号的频率轮廓,为了避免这种情况,需要进行分帧操作,把每一帧当成平稳信号处理,通过连接相邻帧来获得信号频率轮廓的良好近似;将N个采样点集合成一个观测单位,称为帧,长度为Ttotal的语音信号分帧公式如下:
u=H[(Ttotal-toverlap)/tinc] (2)
toverlap=ts-tinc (3)
其中u表示帧的数量,ts表示每帧涵盖的时间,tinc表示后一帧对前一帧的位移量,简称帧移,toverlap表示相邻两帧间的重叠部分,用来避免相邻两帧的变化过大,保持语音信息的完整性,H(.)表示取整函数,第i帧语音信号表示为Si(n),n=0,1,2…N-1,0≤i≤u;
1.3:对分帧后的采样信号进行加窗,来避免吉布斯现象和频谱泄露;
加窗处理的计算计算将一帧信号的每一个值乘以不同的权重,语音领域最常用的窗函数就是汉明窗;
对于长度为N的离散信号,这两种窗函数所对应的权重是w[n]
w[n]=(1-α)-αcos[2πn/(N-1)],0≤n≤N-1 (4)
当α=0.46,(4)为汉明窗;
S′i(n)=Si(n)×w(n) (5)
其中S′i(n)是某一帧信号加窗后的信号;
1.4:提取语音频谱图:由于对语音信号是一种短时平稳信号,可以在每个时刻用其附近的短时段语音信号分析得到一种频谱,将语音信号连续地进行这种频谱分析,可以得到一种二维图谱,它的横坐标表示时间,纵坐标表示频率,每个像素的灰度值大小反映相应时刻和相应频率的能量,这种时频图称语谱图(spectrogram)。具体步骤为:从时域转换到频域处理,将每一帧采用短时傅里叶变换得到在频谱上的能量分布,公式如下:
其中S′i(n)是输入的语音信号,N表示傅里叶变换的点数,与每一帧采样点个数相同,k表示频率,Xi(k)代表第i帧的频谱,表示频率与能量的关系,为了使那些幅值较低的成分相对高幅值成分得以拉高,以便观察掩盖在低幅噪声中的周期信号,将频谱转换为对数功率谱:
X′i(k)=10log10|Xi(k)|2 (7)
将每一帧的对数功率谱求转置矩阵后映射到一个灰度级表示:
其中,X′i(k)=[X′i(k1),X′i(k2),X′i(k3),...,X′i(kN)]T,Yi表示第i帧的灰度矩阵,最后将每一帧的灰度级表示在时间轴上拼凑起来并进行彩色映射得到语谱图Y,起到用二维表示三维的作用,公式如下:
Y=RGB([Y1,Y2,...,Yu]) (9)
2)搭建声纹识别模型的步骤:预先指定分类模型的结构和参数,且不发生变化,本发明采样的分类模型结构包含2D卷积层,最大池化层,批归一化层,全连接层,相关层计算公式如下:
Hout=(Hin+2padding-kernel_size)/stride+1 (10)
Wout=(Win+2padding-kernel_size)/stride+1 (11)
ReLU(x)=max(0,x) (12)
Y(m)=Conv_Block(Y(m-1)) (13)
Cout=ReLU(Y(m)) (14)
其中Hout是卷积层输出宽度,Wout是卷积层输出长度,Win是输入卷积层的长度,Hin是输入卷积层宽度,padding是输入的每条边补充0的层数,stride是卷积步长,kernel_size是卷积核大小,Y(m)是输入语谱图Y经过第m个卷积块后的输出,Conv_Block(.)是卷积块,Cout为经过卷积层产生并经过激活函数ReLU的输出矩阵;
Pout=max(Cout) (15)
其中Pout为最大池化层输出;
其中μ是批处理数据的均值,σ2是批处理数据的方差,λ和β是学习的参数,κ是为了避免除数为0时所使用的微小正数,是批归一化层后的输出;
3)边界攻击生成对抗样本的算法,流程为:首先选取一个对抗样本为初始点;再沿着对抗样性区域和非对抗性区域之间的边界随机游走,确保扰动样本仍有对抗性,且逼近原始样本,过程如下:
3.1:选取初始点,对于有目标攻击,直接选取被分类为目标类别的样本。对于无目标攻击,在给定输入的有效域(语谱图Y∈[0~255])中从最大熵分布中采样得到初始点,这里使用均匀分布替代最大熵分布;
是无目标攻击的初始点,代表第m个原始样本的第一个对抗样本,Uniform(0,255)代表从[0,255]这个范围中进行均匀采样,得到一个shape与原始样本一样的初始对抗样本;
3.2:随机游走,这决定了算法的效率,首先,从标准高斯分布中抽样得到初始扰动 的shape与输入语谱图的shape一致,再获得正交扰动/>计算公式为如下过程:
其中代表第k次迭代的第i次试验中的第j个试验对抗样本的采样扰动量,L2(.)是计算l2范数的函数,δ是正交扰动步长,/>是计算球面法线的单位向量,/>是最终的正交扰动大小,将/>投影到一个以原始样本Y为中心的超球面上,然后将/>减去投影大小,得到k∈[1,N1],i∈[1,N2],j∈[1,N3];
试验对抗样本为代表第k次迭代的第i次试验中的第j个试验对抗样本;
接着对进行clip满足公式(24),计算原始样本和扰动样本间的l2距离,朝着原始图片移动一小步,ε(ε>0)是朝着原始图片移动的步长:
接着对clip并满足公式(24):
3.3:超参数调整,边界攻击需要调整2个超参数,正交扰动步长和朝着原始图片移动的步长,这两个参数都会随着决策边界的局部几何形状进行动态调整,这两步步长需要动态调整:
首先检查正交扰动这步,所得到的扰动样本是否仍有对抗性,若有对抗性,就朝着原始样本移动一小步;正交扰动步长测试是否步长足够小,以便可以将对抗区域和非对抗区域之间的决策边界视为近似线性,如果每一次试验中对抗性样本所占比例小于一定数值(这里设置为a1)减少正交扰动步长δ,如果高于一定数值(这里设置为b1)增加δ,θ∈(0,1)
其中是第k次迭代的第i次试验中的第j个试验对抗样本在神经网络模型中的输出,argmax(f(Yij k))是输出标签值,y是真实标签,/>代表第k次迭代的第i次试验中的N3个试验样本中不具有对抗性的样本数量,scoreδ代表N3个试验样本中对抗性样本所占比例;
检查试验样本是否有对抗性,将有对抗性的试验样本再朝着原始图片移动一小步,如果这些试验样本攻击成功率过小(设置为a2),减小ε,ε←ε*θ;攻击成功率大于b2,增加ε,ε←ε/θ,最终在每一次迭代中选取l2值最小的对抗性样本并保存,最终进行完N1次迭代后选取N1个样本中l2值最小的为一个原始样本的最佳边界攻击对抗样本Ym,Ym代表第m个原始样本的最佳对抗样本;
则最终n个原始样本攻击完后,最佳攻击样本集为Y=[Y1,Y2,...,Yn];
4)对对抗样本进行性能测试,过程如下:
边界攻击的成功率计算公式:
其中n是测试集样本数量,Ym是第m个原样本对应的对抗样本,ym是第m个原始样本的正确标签,equal(.)是判断生成的对抗样本是否分类错误并统计个数,f(.)是声纹识别模型输出层(softmax层)输出的类别概率分布;
边界攻击生成的对抗样本的质量衡量,利用扰动量对于原始样本的相对l2范数来衡量对抗样本的扰动大小,计算公式为:
其中Y是对抗样本,Y是原始样本,σ是添加的扰动相对于原始样本的扰动量大小,该值越小说明生成的对抗样本质量越好,越不容易被人所区分。
实例:实际试验中的数据
步骤1选取实验数据
实验所用数据集为DIDI语音数据集,此数据集收集了不同年龄段,不同性别,不同地区说话者在安静环境下录制的语音,每人大约有110句话,采样率为22050。我们选择20人的语音作为声纹识别模型的数据集,每个人随机选择85句话作为训练集,其余作为测试集。对于每一句语音我们提取的原始波形时域数据长度为65000,然后利用上面所述的生成语谱图的方法生成相应的语谱图。对语谱图进行数据预处理保存为(bathsize,224,224,3)的数组大小,并生成对应的标签数据,处理后的数据集均保存为.npy文件。
步骤2参数确定
语音数据预处理中,选择帧长ts=0.025s,帧移tinc=0.01s,傅里叶变换的点数NFFT=1024。
本发明所采用的声纹识别模型结构如下:模型包含四个2D卷积层,三个最大池化层,四个批归一化层,两个全连接层,一个Dropout层。四个卷积层的卷积和大小均为3×3,卷积步伐均为2,卷积核数量分别为32,128,256,256。激活函数均为ReLU函数。三个最大池化层中的池化尺寸为2×2,池化步伐为1。Dropout层设置为0.5,省去50%的神经元。第一个全连接层神经元个数为512,激活函数为ReLU函数,最后一层全连接层神经元个数为分类的说话人个数,这里为20,激活函数为softmax函数。使用的损失函数为分类交叉熵函数categorical_crossentropy,表达式为优化器选择Adam,学习率为0.001,在模型训练过程中保存最优模型。边界攻击算法步骤中初始正交扰动步长δ=0.01,朝着原始样本移动步长ε=0.01,迭代次数N1=100,每次迭代中试验次数N2=200,故最大查询次数20000次,每次试验中生成试验样本数量N3=20,数值a=0.2,b=0.5
步骤3实验结果
所搭建的声纹识别模型具有很高的精度,其声纹识别模型的训练结果如图2所示。选取的测试集样本进行攻击,攻击成功率为100%。相对扰动量σ均在2万次查询内达到10-3级别,其中攻击过程的σ值变化大小,如图4所示。
本说明书的实施例所述的内容仅仅是对发明构思的实现形式的列举,仅作说明用途。本发明的保护范围不应当被视为仅限于本实施例所陈述的具体形式,本发明的保护范围也及于本领域的普通技术人员根据本发明构思所能想到的等同技术手段。
Claims (5)
1.一种基于边界攻击的声纹识别的对抗样本生成方法,其特征在于,所述方法包括以下步骤:
1)对所使用的语音数据集进行数据预处理:获取每一段语音的原始波形时域数据,然后对其进行傅里叶变换将其变换到频域得到语音信号的频谱,最后利用频谱特征画出对应的语谱图并保存;
2)搭建声纹识别模型:预先指定声纹识别模型的结构和参数,识别模型的数据集也预先给定,即说话人语音样本,包含用来说话人识别的输入特征和相应的分类标签,输入特征为语谱图,数据集中的样本集能被该模型以高精度预测输出;
3)边界攻击生成对抗样本的算法,流程为:
选择边界攻击算法的初始点:边界攻击需要的起始点就是一个对抗样本,在无目标攻击中,从给定输入的语谱图中从最大熵分布值采样得到初始点,使用均匀分布替代最大熵分布;
选择游走方向:首先从标准高斯分布中抽样获得随机扰动,并使得加上扰动后的样本的值在[0,255]之间,再将随机扰动投影到一个以原始图片为中心的超球面上,以原始图片为中心的超球上游走,对抗样本朝着原始图片移动一小步;
超参数调整:调整正交扰动步长和朝着原始图片靠近的步长,一个点更新到下一个点的过程分为两步,首先在以原始图片为中心的超球面上走一步,保证下一步得到的图片仍然是对抗样本,然后再朝着原始样本走一步,这两个超参数需根据边界的局部几何形状动态调整;
首先检查正交扰动这步,所得到的扰动样本是否仍有对抗性,若有对抗性,就朝着原始样本移动一小步;正交扰动步长测试是否步长足够小,以便可以将对抗区域和非对抗区域之间的决策边界视为近似线性,如果每一次试验中对抗性样本所占比例小于下限值a1则减少正交扰动步长δ,如果高于上限值b1则增加δ,θ∈(0,1)
其中是第k次迭代的第i次试验中的第j个试验对抗样本在神经网络模型中的输出,/>是输出标签值,y是真实标签,/>代表第k次迭代的第i次试验中的N3个试验样本中不具有对抗性的样本数量,scoreδ代表N3个试验样本中对抗性样本所占比例;
检查试验样本是否有对抗性,将有对抗性的试验样本再朝着原始图片移动一小步,如果这些试验样本攻击成功率小于下限值a2,减小ε,ε←ε*θ;攻击成功率大于上限值b2,增加ε,ε←ε/θ,最终在每一次迭代中选取l2值最小的对抗性样本并保存,最终进行完N1次迭代后选取N1个样本中l2值最小的为一个原始样本的最佳边界攻击对抗样本Ym,Ym代表第m个原始样本的最佳对抗样本;
则最终n个原始样本攻击完后,最佳攻击样本集为Y=[Y1,Y2,...,Yn]。
2.如权利要求1所述的一种基于边界攻击的声纹识别的对抗样本生成方法,其特征在于,所述步骤1)的过程如下:
1.1:对输入语音信号进行预加重,预加重公式:
S(n)=x(n)-αx(n-1) (1)
S(n)是预加重后的语音信号,x是原始信号,n是语音信号中的采样点,α是系数;
1.2:对采样语音信号进行分帧,获得稀疏的信号帧,将N个采样点集合成一个观测单位,称为帧,长度为Ttotal的语音信号分帧公式如下:
u=H[(Ttotal-toverlap)/tinc] (2)
toverlap=ts-tinc (3)
其中u表示帧的数量,ts表示每帧涵盖的时间,tinc表示后一帧对前一帧的位移量,简称帧移,toverlap表示相邻两帧间的重叠部分,用来避免相邻两帧的变化过大,保持语音信息的完整性,H(.)表示取整函数,第i帧语音信号表示为Si(n),n=0,1,2…N-1,0≤i≤u;
1.3:对分帧后的采样信号进行加窗,加窗处理的计算计算将一帧信号的每一个值乘以不同的权重;
对于长度为N的离散信号,这两种窗函数所对应的权重是w[n]
w[n]=(1-α)-αcos[2πn/(N-1)],0≤n≤N-1 (4)
当α=0.46,(4)为汉明窗;
S′i(n)=Si(n)×w(n) (5)
其中S′i(n)是某一帧信号加窗后的信号;
1.4:提取语音频谱图:从时域转换到频域处理,将每一帧采用短时傅里叶变换得到在频谱上的能量分布,公式如下:
其中S′i(n)是输入的语音信号,N表示傅里叶变换的点数,与每一帧采样点个数相同,k表示频率,Xi(k)代表第i帧的频谱,表示频率与能量的关系,为了使那些幅值较低的成分相对高幅值成分得以拉高,以便观察掩盖在低幅噪声中的周期信号,将频谱转换为对数功率谱:
X′i(k)=10log10|Xi(k)|2 (7)
将每一帧的对数功率谱求转置矩阵后映射到一个灰度级表示:
其中,X′i(k)=[X′i(k1),X′i(k2),X′i(k3),...,X′i(kN)]T,Yi表示第i帧的灰度矩阵,最后将每一帧的灰度级表示在时间轴上拼凑起来并进行彩色映射得到语谱图Y,起到用二维表示三维的作用,公式如下:
Y=RGB([Y1,Y2,...,Yu]) (9)。
3.如权利要求2所述的一种基于边界攻击的声纹识别的对抗样本生成方法,其特征在于,所述步骤2)中,搭建声纹识别模型的步骤:预先指定分类模型的结构和参数,且不发生变化,采样的分类模型结构包含2D卷积层,最大池化层,批归一化层,全连接层,相关层计算公式如下:
Hout=(Hin+2padding-kernel_size)/stride+1 (10)
Wout=(Win+2padding-kernel_size)/stride+1 (11)
ReLU(x)=max(0,x) (12)
Y(m)=Conv_Block(Y(m-1)) (13)
Cout=ReLU(Y(m)) (14)
其中Hout是卷积层输出宽度,Wout是卷积层输出长度,Win是输入卷积层的长度,Hin是输入卷积层宽度,padding是输入的每条边补充0的层数,stride是卷积步长,kernel_size是卷积核大小,Y(m)是输入语谱图Y经过第m个卷积块后的输出,Conv_Block(.)是卷积块,Cout为经过卷积层产生并经过激活函数ReLU的输出矩阵;
Pout=max(Cout) (15)
其中Pout为最大池化层输出;
其中μ是批处理数据的均值,σ2是批处理数据的方差,λ和β是学习的参数,κ是为了避免除数为0时所使用的微小正数,是批归一化层后的输出。
4.如权利要求3所述的一种基于边界攻击的声纹识别的对抗样本生成方法,其特征在于,所述步骤3)中,边界攻击生成对抗样本的算法的过程如下:
3.1:选取初始点,对于有目标攻击,直接选取被分类为目标类别的样本,对于无目标攻击,在给定输入的语谱图Y中从最大熵分布中采样得到初始点,这里使用均匀分布替代最大熵分布;
是无目标攻击的初始点,代表第m个原始样本的第一个对抗样本,Uniform(0,255)代表从[0,255]这个范围中进行均匀采样,得到一个shape与原始样本一样的初始对抗样本;
3.2:随机游走,这决定了算法的效率,首先,从标准高斯分布中抽样得到初始扰动的shape与输入语谱图的shape一致,再获得正交扰动/>计算公式为如下过程:
其中代表第k次迭代的第i次试验中的第j个试验对抗样本的采样扰动量,L2(.)是计算l2范数的函数,δ是正交扰动步长,/>是计算球面法线的单位向量,/>是最终的正交扰动大小,将/>投影到一个以原始样本Y为中心的超球面上,然后将/>减去投影大小,得到/>k∈[1,N1],i∈[1,N2],j∈[1,N3];
试验对抗样本为代表第k次迭代的第i次试验中的第j个试验对抗样本;
接着对进行clip满足公式(24),计算原始样本和扰动样本间的l2距离,朝着原始图片移动一小步,ε是朝着原始图片移动的步长,其中ε>0:
接着对并满足公式(24):
3.3:超参数调整,边界攻击需要调整2个超参数,正交扰动步长和朝着原始图片移动的步长,这两个参数都会随着决策边界的局部几何形状进行动态调整,这两步步长需要动态调整。
5.如权利要求4所述的一种基于边界攻击的声纹识别的对抗样本生成方法,其特征在于,所述方法还包括以下步骤:
步骤4),对抗样本进行性能测试,过程如下:
边界攻击的成功率计算公式:
其中n是测试集样本数量,Ym是第m个原样本对应的对抗样本,ym是第m个原始样本的正确标签,equal(.)是判断生成的对抗样本是否分类错误并统计个数,f(.)是声纹识别模型输出层输出的类别概率分布;
边界攻击生成的对抗样本的质量衡量,利用扰动量对于原始样本的相对l2范数来衡量对抗样本的扰动大小,计算公式为:
其中Y是对抗样本,Y是原始样本,σ是添加的扰动相对于原始样本的扰动量大小,该值越小说明生成的对抗样本质量越好,越不容易被人所区分。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110682934.8A CN113571067B (zh) | 2021-06-21 | 2021-06-21 | 一种基于边界攻击的声纹识别对抗样本生成方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110682934.8A CN113571067B (zh) | 2021-06-21 | 2021-06-21 | 一种基于边界攻击的声纹识别对抗样本生成方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN113571067A CN113571067A (zh) | 2021-10-29 |
CN113571067B true CN113571067B (zh) | 2023-12-26 |
Family
ID=78162330
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202110682934.8A Active CN113571067B (zh) | 2021-06-21 | 2021-06-21 | 一种基于边界攻击的声纹识别对抗样本生成方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN113571067B (zh) |
Families Citing this family (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
TWI814213B (zh) * | 2022-01-17 | 2023-09-01 | 國立清華大學 | 資料中毒方法及裝置 |
CN114661940B (zh) * | 2022-01-28 | 2023-08-08 | 宁波大学 | 一种适用于黑盒攻击下快速获取语音对抗样本的方法 |
CN114266050B (zh) * | 2022-03-03 | 2022-10-04 | 西南石油大学 | 一种跨平台恶意软件对抗样本生成方法及系统 |
CN115223011A (zh) * | 2022-07-08 | 2022-10-21 | 广东省智能网联汽车创新中心有限公司 | 一种智能驾驶场景的对抗样本生成方法及系统 |
CN116129931B (zh) * | 2023-04-14 | 2023-06-30 | 中国海洋大学 | 一种视听结合的语音分离模型搭建方法及语音分离方法 |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109948658A (zh) * | 2019-02-25 | 2019-06-28 | 浙江工业大学 | 面向特征图注意力机制的对抗攻击防御方法及应用 |
CN109961145A (zh) * | 2018-12-21 | 2019-07-02 | 北京理工大学 | 一种针对图像识别模型分类边界敏感的对抗样本生成方法 |
CN110768959A (zh) * | 2019-09-20 | 2020-02-07 | 浙江工业大学 | 一种基于信号边界摸索攻击的防御方法 |
CN111160400A (zh) * | 2019-12-06 | 2020-05-15 | 天津大学 | 一种基于修正边界攻击的对抗攻击方法 |
CN111275115A (zh) * | 2020-01-20 | 2020-06-12 | 星汉智能科技股份有限公司 | 一种基于生成对抗网络的对抗攻击样本的生成方法 |
CN111554305A (zh) * | 2020-04-26 | 2020-08-18 | 兰州理工大学 | 一种基于语谱图和注意力机制的声纹识别方法 |
-
2021
- 2021-06-21 CN CN202110682934.8A patent/CN113571067B/zh active Active
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109961145A (zh) * | 2018-12-21 | 2019-07-02 | 北京理工大学 | 一种针对图像识别模型分类边界敏感的对抗样本生成方法 |
CN109948658A (zh) * | 2019-02-25 | 2019-06-28 | 浙江工业大学 | 面向特征图注意力机制的对抗攻击防御方法及应用 |
CN110768959A (zh) * | 2019-09-20 | 2020-02-07 | 浙江工业大学 | 一种基于信号边界摸索攻击的防御方法 |
CN111160400A (zh) * | 2019-12-06 | 2020-05-15 | 天津大学 | 一种基于修正边界攻击的对抗攻击方法 |
CN111275115A (zh) * | 2020-01-20 | 2020-06-12 | 星汉智能科技股份有限公司 | 一种基于生成对抗网络的对抗攻击样本的生成方法 |
CN111554305A (zh) * | 2020-04-26 | 2020-08-18 | 兰州理工大学 | 一种基于语谱图和注意力机制的声纹识别方法 |
Non-Patent Citations (2)
Title |
---|
Side-Channel Gray-Box Attack for DNNs;Yun Xiang etc.;《IEEE Transactions on Circuits and Systems II: Express Briefs ( Volume: 68, Issue: 1, January 2021)》;正文501-505页 * |
深度学习中的对抗性攻击和防御;任奎;Tianhang Zheng;秦湛;Xue Liu;;Engineering(第03期);正文307-339页 * |
Also Published As
Publication number | Publication date |
---|---|
CN113571067A (zh) | 2021-10-29 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN113571067B (zh) | 一种基于边界攻击的声纹识别对抗样本生成方法 | |
CN112364779B (zh) | 信号处理与深-浅网络多模型融合的水声目标识别方法 | |
CN110400579B (zh) | 基于方向自注意力机制和双向长短时网络的语音情感识别 | |
CN110491416B (zh) | 一种基于lstm和sae的电话语音情感分析与识别方法 | |
Yu et al. | Spoofing detection in automatic speaker verification systems using DNN classifiers and dynamic acoustic features | |
CN109559736B (zh) | 一种基于对抗网络的电影演员自动配音方法 | |
CN108231067A (zh) | 基于卷积神经网络与随机森林分类的声音场景识别方法 | |
CN110459225B (zh) | 一种基于cnn融合特征的说话人辨认系统 | |
Joshi et al. | Study of pre-processing defenses against adversarial attacks on state-of-the-art speaker recognition systems | |
CN106529428A (zh) | 基于深度学习的水下目标识别方法 | |
CN110610709A (zh) | 基于声纹识别的身份辨别方法 | |
CN111261147A (zh) | 一种面向语音识别系统的音乐嵌入攻击防御方法 | |
CN113380255B (zh) | 一种基于迁移训练的声纹识别中毒样本生成方法 | |
CN109616104A (zh) | 基于关键点编码和多脉冲学习的环境声音识别方法 | |
CN110349588A (zh) | 一种基于词嵌入的lstm网络声纹识别方法 | |
CN112053694A (zh) | 一种基于cnn与gru网络融合的声纹识别方法 | |
CN110223708A (zh) | 基于语音处理的语音增强方法及相关设备 | |
CN111968666A (zh) | 基于深度域自适应网络的助听器语音增强方法 | |
CN111190158A (zh) | 复杂雷达辐射源识别方法、装置、电子设备及其存储介质 | |
CN115097396A (zh) | 基于cnn和lstm串联模型的雷达有源干扰识别方法 | |
CN114675249A (zh) | 基于注意力机制的雷达信号调制方式识别方法 | |
CN112331232B (zh) | 一种结合cgan谱图去噪和双边滤波谱图增强的语音情感识别方法 | |
CN110085236B (zh) | 一种基于自适应语音帧加权的说话人识别方法 | |
CN115064175A (zh) | 一种说话人识别方法 | |
CN111310836B (zh) | 一种基于声谱图的声纹识别集成模型的防御方法及防御装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |