CN115424620A - 一种基于自适应触发器的声纹识别后门样本生成方法 - Google Patents

Abstract

一种基于自适应触发器的声纹识别后门样本生成方法，首先确定生成器、判别器、分类网络的参数结构，分类网络应能以高精度正确预测样本；其次生成器将语音样本与随机噪声维度拼接，通过编码‑解码网络映射为特定噪声(触发器)，用此噪声样本与干净样本训练判别器；划分预中毒集合，利用预中毒集合产生的中毒样本与干净训练样本训练中毒的分类网络；冻结判别器与分类网络权重，利用它们的输出反馈训练生成器，使产生的触发器兼有高效性与隐蔽性；最后不断重复训练过程直到结果达到预期。本发明训练好的生成器能根据样本自适应的产生不同的触发器，不仅具有高成功率，还有良好的隐蔽性与鲁棒性。

Description

一种基于自适应触发器的声纹识别后门样本生成方法

技术领域

本发明涉及一种基于自适应触发器的声纹识别后门样本生成方法，本发明属于深度学习安全领域。

背景技术

声纹识别作为生物特征识别的一种，即利用人体所固有的生理特征或行为特征来进行个人身份鉴定的技术。因声音采集便捷廉价，声纹识别的算法复杂度相对较低且声音涉及到的隐私较少，被大量应用于多个领域，如在金融领域，应用声纹识别技术将办理人与数据库进行比对匹配；在公共安全领域，利用通话时留下的语音数据进行声纹识别；在移动支付领域，可以采用动态支付口令结合声纹识别技术，构筑双重保障，确保支付安全等。

然而最近的研究证明，声纹识别模型容易受到中毒攻击，通过中毒数据集训练的中毒模型在干净的数据集上表现正常，但在带有触发器的数据集上会展现特定的错误。中毒攻击可分为三类：用户采用第三方数据集；用户采用第三方平台；用户直接采用第三方模型。现有的中毒攻击大部分是第一种情况，用户在不知情的情况下使用网上的中毒数据集训练自己的模型，然而这种攻击存在缺陷，攻击者在不知道模型架构的情况下中毒数据集，设置的中毒触发器都是固定且单一的，这种触发器与样本的特征有较大的差异从而导致了效果差或者容易被察觉。因此，怎样设置具有高隐蔽性的触发器至关重要。

发明内容

本发明要克服现有技术的上述缺点，提供一种基于自适应触发器的声纹识别后门样本生成方法。本发明利用生成器网络，判别器网络与分类模型联合训练，在不降低模型精度的情况下有效的中毒模型，生成器会基于样本的特征产生不同的触发器，具有更好的隐蔽性。

本发明解决其技术问题所采用的技术方案是：根据语音信号的特征搭建生成器网络、判别器网络以及分类模型的结构，生成器网络将样本与采样的随机噪声映射为自适应触发器，判别器用来区分加入触发器的样本与原样本的区别从而限制触发器的大小，分类网络在加入自适应触发器的数据集上进行中毒训练，最后训练好的生成器能产生更隐蔽的触发器且有效的欺骗模型。

一种基于自适应触发器的声纹识别后门样本生成方法，含有以下步骤：

步骤1：根据语音信号搭建生成器模型、判别器模型与分类网络；

步骤2：训练判别器的权重；

步骤3：训练分类网络的权重；

步骤4：利用联合网络，冻结判别器与分类网络，训练生成器的权重；

步骤5：不断重复步骤2～4，保存期望的分类网络、生成器的结构与权重；

步骤6：测试分类网络的测试精度与攻击成功率。

进一步，步骤1具体包括：搭建生成器模型G的结构、搭建判别器模型D 的结构，指定分类模型F的结构与参数且不在变化。本发明直接对语音原始波形进行分类，因此生成器、判别器与分类模型均采用1DCNN形式，分类网络与判别器的结构包含1D卷积层、1D最大池化层、全连接层与批归一化层：其参数主要有卷积层的数量和大小，池化层的步长与尺寸、批归一化层的数量。生成器结构包含1D卷积层、1D最大池化层、1D上采样层：其参数主要有卷积层数量与大小、池化层与上采样层的尺寸。分类任务的数据集需预先给定，根据采样率提取其波形特征。

进一步，步骤2具体包括：训练判别器的权重，判别器用来限制触发器的大小，生成器的输出结合干净样本作为触发器的输入。生成器能将语音样本x 以及随机采样的噪声z映射为特定的触发器，其中语音样本、采样的噪声以及触发器具有相同的维度。在每次迭代中，随机从训练集X_train中m个样本作为一个批次，将这些样本输入至生成器，与采样的m个随机噪声结合，生成器将其映射为触发器：G(x_i,z_i)。将触发器添加到干净样本中生成噪声样本，即G(x_i,z_i)+x_i，利用判别器的二交叉熵损失函数进行梯度下降更新判别器的权重，损失函数如下所示：

其中Φ表示判别器的权重参数，损失函数是二元交叉熵损失。对于判别器而言，干净样本被标记为1，来自生成器的中毒样本被标记为0。D(x_i)表示判别器对于干净样本的输出，若第i个样本是噪声样本，D(G(x_i,z_i)+x_i)则表示判别器对于噪声样本的输出，最小化该损失函数使判别器能够准确识别噪声样本与干净样本，用来限制触发器的大小。

进一步，步骤3具体包括：训练分类网络，首先预先指定中毒比例λ，从训练集X_train中挑选出干净样本集X_clean与预中毒样本集X_p且不再变化，即：

X_train＝X_clean UX_p (2)

|X_train|＝λ·|X_p| (3)

然后在干净样本集和中毒样本集中分别挑选一个批次样本，数量都为m，将中毒样本的标签标记为期望攻击的类别t，保持干净样本集不变，利用干净交叉熵损失函数与中毒交叉熵损失函数训练一个中毒模型，总损失函数如下：

其中，前半部分是干净交叉熵损失函数，后半部分是中毒交叉熵损失函数。其中Ψ表示分类模型的权重参数，N表示类别的数目；y_ij表示第i个样本属于第 j个类别的真实概率(0或者1)；C_j(.)表示语音被分类为第j类的概率；t表示中毒类别；G(x′_i,z_i)表示样本x_i的触发器；G(x′_i,z_i)+x′_i表示不断更新的中毒语音。另外， x和x′_i来自不同分布，其中

他们是两个不重叠的子集，x′_i被采样去生成中毒样本。同时最小化干净交叉熵损失与中毒交叉熵损失，在保持模型精度的前提下使模型中毒，在所有样本上训练一次计作一次迭代。

进一步，步骤4具体包括：训练生成器，首先将生成器网络，判别器网络，分类模型结合为一个联合网络F；其次冻结判别器D的权重与分类模型C的权重，使两者的权重参数停止更新；然后从训练集中任意采样一个批次样本，数量为m，将其输入到联合网络F中，利用判别器与分类模型的输出反馈训练生成器，损失函数如下：

其中，m表示采样样本的数量；Θ表示生成器的权重参数；G(x_i,z_i)表示样本x_i的触发器；G(x_i,z_i)+x_i表示不断更新的中毒语音。损失的前半部分是判别器的反馈，D(.)表示判别器的输出概率；损失函数的后半部分是模型的反馈，C_t(.)表示语音被预测为第t类的概率，t是攻击的标签。注意这里对于判别器D，中毒语音的标签被标注为“0”。最小化该损失函数，使D(G(x_i,z_i)+x_i)与C_t(G(x_i,z_i)+x_i)的输出趋近1，此时中毒样本不仅具有较高的攻击成功率，且隐蔽性较强可以避过判别器的检测。α与β是超参数，用来控制生成器网络权重更新时判别器损失与分类器损失的重要程度，可以衡量隐蔽性与攻击成功率。

进一步，步骤5具体包括：为了保证触发器的隐蔽性与中毒成功率，不断重复步骤2～4直至触发器的大小以及中毒成功率到达一个期望的阈值，分别保存生成器模型与分类模型的结构与权重。

进一步，步骤6具体包括：测试模型精度与中毒成功率，首先，加载训练好的生成器网络与分类器网络的结构与权重，将随机采样的噪声集Z^t与测试集样本X^t输入到生成器中产生中毒样本X^tp，即：

X^tp＝X^t+G(X^t,Z^t) (6)

然后将测试样本与中毒样本分别输入至分类器网络中，计算模型对干净样本的分类精度以及中毒样本的攻击成功率，公式如下：

其中f′_θ表示中毒后的分类器网络，y_j表示第j个样本的真实标签，y_t表示中毒目标标签，Q表示测试集中样本的数量。

本发明的优点是利用了生成器、判别器与分类模型三者间的对抗训练，判别器用来区分中毒样本与干净样本，分类模型用来进行中毒操作，生成器根据判别器与分类模型的反馈来训练，最后训练的生成器不仅能根据样本的特征产生自适应触发器，该触发器还具有强隐蔽性，更难以被察觉。

附图说明

图1是本发明方法的生成器结构示意。

图2是本发明方法的总体框架图。

图3是本发明方法的模型训练流程图。

具体实施方式

下面结合附图进一步说明本发明方法的技术方案。

实施例1:

应用本发明的一种基于自适应触发器的声纹识别后门样本生成方法的系统攻击方法，含有以下步骤：

(1)搭建生成器模型G的结构、搭建判别器模型D的结构，指定分类模型F 的结构与参数且不在变化。本发明直接对语音原始波形进行分类，因此生成器、判别器与分类模型均采用1DCNN形式，分类网络与判别器的结构包含1D卷积层、1D最大池化层、全连接层与批归一化层：其参数主要有卷积层的数量和大小，池化层的步长与尺寸、批归一化层的数量。生成器结构包含1D卷积层、1D 最大池化层、1D上采样层：其参数主要有卷积层数量与大小、池化层与上采样层的尺寸。分类任务的数据集需预先给定，根据采样率提取其波形特征。

(2)训练判别器的权重。

判别器用来限制触发器的大小，生成器的输出结合干净样本作为触发器的输入。生成器能将语音样本x以及随机采样的噪声z映射为特定的触发器，其中语音样本、采样的噪声以及触发器具有相同的维度。在每次迭代中，随机从训练集X_train中m个样本作为一个批次，将这些样本输入至生成器，与采样的m个随机噪声结合，生成器将其映射为触发器：G(x_i,z_i)。将触发器添加到干净样本中生成噪声样本，即G(x_i,z_i)+x_i，利用判别器的二交叉熵损失函数进行梯度下降更新判别器的权重，损失函数如下所示：

其中Φ表示判别器的权重参数，损失函数是二元交叉熵损失。对于判别器而言，干净样本被标记为1，来自生成器的中毒样本被标记为0。D(x_i)表示判别器对于干净样本的输出，若第i个样本是噪声样本，D(G(x_i,z_i)+x_i)则表示判别器对于噪声样本的输出，最小化该损失函数使判别器能够准确识别噪声样本与干净样本，用来限制触发器的大小。

(3)训练分类网络的权重。

首先预先指定中毒比例λ，从训练集X_train中挑选出干净样本集X_clean与预中毒样本集X_p且不再变化，即：

X_train＝X_cleanUX_p (2)

|X_train|＝λ·|X_p| (3)

其次在干净样本集和中毒样本集中分别挑选一个批次样本，数量都为m，将中毒样本的标签标记为期望攻击的类别t，保持干净样本集不变，利用干净交叉熵损失函数与中毒交叉熵损失函数训练一个中毒模型，总损失函数如下：

其中，前半部分是干净交叉熵损失函数，后半部分是中毒交叉熵损失函数。其中Ψ表示分类模型的权重参数，N表示类别的数目；y_ij表示第i个样本属于第j 个类别的真实概率(0或者1)；C_j(.)表示语音被分类为第j类的概率；t表示中毒类别；G(x′_i,z_i)表示样本x_i的触发器；G(x′_i,z_i)+x′_i表示不断更新的中毒语音。另外， x和x′_i来自不同分布，其中

他们是两个不重叠的子集，x′_i被采样去生成中毒样本。同时最小化干净交叉熵损失与中毒交叉熵损失，在保持模型精度的前提下使模型中毒，在所有样本上训练一次计作一次迭代。

(4)训练生成器的权重。

首先将生成器网络，判别器网络，分类模型结合为一个联合网络F；其次冻结判别器D的权重与分类模型C的权重，使两者的权重参数停止更新；然后从训练集中任意采样一个批次样本，数量为m，将其输入到联合网络F中，利用判别器与分类模型的输出反馈训练生成器，损失函数如下：

其中，m表示采样样本的数量；Θ表示生成器的权重参数；G(x_i,z_i)表示样本x_i的触发器；G(x_i,z_i)+x_i表示不断更新的中毒语音。损失的前半部分是判别器的反馈，D(.)表示判别器的输出概率；损失函数的后半部分是模型的反馈，C_t(.)表示语音被预测为第t类的概率，t是攻击的标签。注意这里对于判别器D，中毒语音的标签被标注为“0”。最小化该损失函数，使D(G(x_i,z_i)+x_i)与C_t(G(x_i,z_i)+x_i)的输出趋近1，此时中毒样本不仅具有较高的攻击成功率，且隐蔽性较强可以避过判别器的检测。α与β是超参数，用来控制生成器网络权重更新时判别器损失与分类器损失的重要程度，可以衡量隐蔽性与攻击成功率。

(5)为了保证触发器的隐蔽性与中毒成功率，不断重复步骤2～4直至触发器的大小以及中毒成功率到达一个期望的阈值，分别保存生成器模型与分类器网络的结构与权重。

(6)将分类器网络部署进用户计算机系统。

该发明会保存一个分类器网络，该网络用来处理声纹识别的任务。第三方将训练好的模型递交给用户，用户将其部署到计算机系统中并验证其性能，如下所示。

用户用一批干净的验证集样本X^t来衡量分类器网络的性能，即分类精度。该分类器模型已被中毒，此时f′_θ表示中毒后的分类器网络，y_j表示第j个样本的真实标签，Q表示测试集中样本的数量。若Acc具有良好的分类性能，该分类器模型被用户认为是可信任的，将其部署在系统中等待声纹识别任务。

(7)将生成器网络部署进攻击系统。

攻击者的目的是针对分类网络进行中毒攻击，此时将本发明训练的生成器网络部署到攻击系统中，该生成器网络与上述的分类器网络有隐藏的中毒关系。利用系统部署的生成器网络产生中毒数据，如下所示，将随机采样的噪声集Z^t与测试集样本X^t输入到生成器中产生中毒样本X^tp，即：

X^tp＝X^t+G(X^t,Z^t) (6)

分类器模型对于生成器产生的样本具有高敏感性，因此用于声纹识别任务时将会被识别为错误的说话人。衡量该攻击系统的性能即攻击成功率：

其中f′_θ表示分类器网络，

表示第j个中毒样本，y_t表示中毒目标标签，Q表示测试集中样本的数量。若是该攻击系统具有良好的攻击成功率，说明本发明攻击方案的高性能。

实施案例2：实际实验中的数据

(1)选取实验数据。

实验所用数据集均为AISHELL-ASR0009-OS1语音数据集，此数据集录制时长178个小时，录制过程在安静室内环境中且高保真麦克风录制的音频降采样为16kHz。该数据集经过专业语音校对人员转写标注，并通过严格质量检验，数据库文本正确率在95％以上。一共有400多名来自中国不同口音区域的发言人参与录制，每个说话人有大概360条语音，长度从3秒-8秒不等，可用来做声纹识别实验、语音识别实验。在本发明中，我们随机选择10个说话人进行10 分类实验，我们消除了每段语音的静默部分并全部裁剪为2.5秒。对数据集的划分如下：我们的实验数据一共有2800个语音样本，按照8:2的比例划分为训练集以及测试集，分别用来训练生成器、中毒模型以及测试中毒模型的精度和攻击效果。

(2)确定参数。

本发明所采用的声纹识别模型结构如下：模型采用1DCNN网络，适合处理时序数据的分类任务，网络包含八个1D卷积层，七个池化层，七个批归一化层，两个全连接层。卷积层中卷积核的大小均为1×3，步长分别为[3,1,1,1,1,1,1,1]，卷积核的数量分别为[128,128,256,256,256,256,256,512]，激活函数均为Relu；池化层中的池化尺寸均为1×3，步长均为3；全连接层的神经元个数为[128，10]。本发明采用的判别器模型结构与分类模型结构类似，最后一层的激活函数为 sigmoid，神经元个数为1。

本发明采用的生成器模型结构为编码-解码结构，如图3所示，编码器将输入样本与随机采样的噪声映射为低维数据并提取其特征，解码器将低维数据重构为高维噪声，具体结构如表2所示。

(3)实验结果。

本发明使用客观语音质量评估(Perceptual evaluation of speech quality，PESQ)来衡量加入自适应触发器后的语音质量。PESQ需要带噪的音频语音和一个原始的参考语音，将两个待比较的语音语音经过电平调整、输入滤波器滤波、时间对准和补偿、听觉变换之后,分别提取两路语音的参数,综合其时频特性,得到PESQ分数,最终将这个分数映射到主观平均意见分(MOS)。PESQ得分范围在-0.5--4.5之间。得分越高表示语音质量越好。

为了衡量不同参数对结果的影响，本发明选择中毒比例为0.4，随着联合训练网络中损失函数的权重比(α:β)的改变，中毒网络的分类精度、中毒成功率以及PESQ的变化如下表。

表1自适应触发器结果分析

本说明书实施例所述的内容仅仅是对发明构思的实现形式的列举，本发明的保护范围不应当被视为仅限于实施例所陈述的具体形式，本发明的保护范围也及于本领域技术人员根据本发明构思所能够想到的等同技术手段。

Claims (7)

1.一种基于自适应触发器的声纹识别后门样本生成方法，其特征在于，包括以下步骤：

步骤1：根据语音信号搭建生成器模型、判别器模型与分类网络；

步骤2：训练判别器的权重；

步骤3：训练分类网络的权重；

步骤4：利用联合网络，冻结判别器与分类网络，训练生成器的权重；

步骤5：不断重复步骤2～4，保存期望的分类网络、生成器的结构与权重；

步骤6：测试分类网络的测试精度与攻击成功率。

2.如权利要求1所述的基于自适应触发器的声纹识别后门样本生成方法，其特征在于，步骤1具体包括：

搭建生成器模型G的结构、搭建判别器模型D的结构，指定分类模型F的结构与参数且不在变化。本发明直接对语音原始波形进行分类，因此生成器、判别器与分类模型均采用1DCNN形式，分类网络与判别器的结构包含1D卷积层、1D最大池化层、全连接层与批归一化层：其参数主要有卷积层的数量和大小，池化层的步长与尺寸、批归一化层的数量。生成器结构包含1D卷积层、1D最大池化层、1D上采样层：其参数主要有卷积层数量与大小、池化层与上采样层的尺寸。分类任务的数据集需预先给定，根据采样率提取其波形特征。

3.如权利要求1所述的基于自适应触发器的声纹识别后门样本生成方法，其特征在于，步骤2具体包括：

训练判别器的权重，判别器用来限制触发器的大小，生成器的输出结合干净样本作为触发器的输入。生成器能将语音样本x以及随机采样的噪声z映射为特定的触发器，其中语音样本、采样的噪声以及触发器具有相同的维度。在每次迭代中，随机从训练集X_train中m个样本作为一个批次，将这些样本输入至生成器，与采样的m个随机噪声结合，生成器将其映射为触发器：G(x_i,z_i)。将触发器添加到干净样本中生成噪声样本，即G(x_i,z_i)+x_i，利用判别器的二交叉熵损失函数进行梯度下降更新判别器的权重，损失函数如下所示：

其中Φ表示判别器的权重参数，损失函数是二元交叉熵损失。对于判别器而言，干净样本被标记为1，来自生成器的中毒样本被标记为0。D(x_i)表示判别器对于干净样本的输出，若第i个样本是噪声样本，D(G(x_i,z_i)+x_i)则表示判别器对于噪声样本的输出，最小化该损失函数使判别器能够准确识别噪声样本与干净样本，用来限制触发器的大小。

4.如权利要求1所述的基于自适应触发器的声纹识别后门样本生成方法，其特征在于，步骤3具体包括：

训练分类网络，首先预先指定中毒比例λ，从训练集X_train中挑选出干净样本集X_clean与预中毒样本集X_p且不再变化，即：

X_train＝X_clean∪X_p (2)

|X_train|＝λ·|X_p| (3)

然后在干净样本集和中毒样本集中分别挑选一个批次样本，数量都为m，将中毒样本的标签标记为期望攻击的类别t，保持干净样本集不变，利用干净交叉熵损失函数与中毒交叉熵损失函数训练一个中毒模型，总损失函数如下：

其中，前半部分是干净交叉熵损失函数，后半部分是中毒交叉熵损失函数。其中Ψ表示分类模型的权重参数，N表示类别的数目；y_ij表示第i个样本属于第j个类别的真实概率(0或者1)；C_j(.)表示语音被分类为第j类的概率；t表示中毒类别；G(x′_i,z_i)表示样本x_i的触发器；G(x′_i,z_i)+x′_i表示不断更新的中毒语音。另外，x和x′_i来自不同分布，其中

他们是两个不重叠的子集，x′_i被采样去生成中毒样本。同时最小化干净交叉熵损失与中毒交叉熵损失，在保持模型精度的前提下使模型中毒，在所有样本上训练一次计作一次迭代。

5.如权利要求1所述的基于自适应触发器的声纹识别后门样本生成方法，其特征在于，步骤4具体包括：

训练生成器，首先将生成器网络，判别器网络，分类模型结合为一个联合网络F；其次冻结判别器D的权重与分类模型C的权重，使两者的权重参数停止更新；然后从训练集中任意采样一个批次样本，数量为m，将其输入到联合网络F中，利用判别器与分类模型的输出反馈训练生成器，损失函数如下：

其中，m表示采样样本的数量；Θ表示生成器的权重参数；G(x_i,z_i)表示样本x_i的触发器；G(x_i,z_i)+x_i表示不断更新的中毒语音。损失的前半部分是判别器的反馈，D(.)表示判别器的输出概率；损失函数的后半部分是模型的反馈，C_t(.)表示语音被预测为第t类的概率，t是攻击的标签。注意这里对于判别器D，中毒语音的标签被标注为“0”。最小化该损失函数，使D(G(x_i,z_i)+x_i)与C_t(G(x_i,z_i)+x_i)的输出趋近1，此时中毒样本不仅具有较高的攻击成功率，且隐蔽性较强可以避过判别器的检测。α与β是超参数，用来控制生成器网络权重更新时判别器损失与分类器损失的重要程度，可以衡量隐蔽性与攻击成功率。

6.如权利要求1所述的基于自适应触发器的声纹识别后门样本生成方法，其特征在于，步骤5具体包括：

为了保证触发器的隐蔽性与中毒成功率，不断重复步骤2～4直至触发器的大小以及中毒成功率到达一个期望的阈值，分别保存生成器模型与分类模型的结构与权重。

7.如权利要求1所述的基于自适应触发器的声纹识别后门样本生成方法，其特征在于，步骤6具体包括：

测试模型精度与中毒成功率，首先，加载训练好的生成器网络与分类器网络的结构与权重，将随机采样的噪声集Z^t与测试集样本X^t输入到生成器中产生中毒样本X^tp，即：

X^tp＝X^t+G(X^t,Z^t) (7)

然后将测试样本与中毒样本分别输入至分类器网络中，计算模型对干净样本的分类精度以及中毒样本的攻击成功率，公式如下：

其中f′_θ表示中毒后的分类器网络，y_j表示第j个样本的真实标签，y_t表示中毒目标标签，Q表示测试集中样本的数量。

Images