CN111507384A - 一种黑盒深度模型对抗样本生成方法 - Google Patents

Abstract

本发明涉及一种黑盒深度模型对抗样本生成方法，其能够有效减少对模型的查询次数。其针对传统黑盒攻击方法由于解空间巨大、优化困难、查询次数多的问题。对于输入的图片，随机选取低频频率基对抗噪声空间，将对对抗噪声的高维优化问题转化为对相应振幅的低维优化问题，从而达到有效减少对模型的查询次数的目的。

Description

一种黑盒深度模型对抗样本生成方法

技术领域

本发明涉及黑盒攻击领域，具体涉及一种黑盒深度模型对抗样本生成方法。

背景技术

近年来，随着硬件GPU快速发展及大数据时代的来临，深度学习得到了迅猛发展，已席卷人工智能各个领域，包括语音识别、图像识别、视频跟踪、自然语音处理等在内的图、文、视频领域。深度学习技术突破了传统技术方法，大大提高各领域的识别性能。然而深度神经网络已经被证实容易受到微小的扰动的干扰，这引起了诸如自动驾驶、人脸验证等许多领域的安全担忧。

黑盒攻击是指攻击者在不清楚被攻击模型的诸如网络架构、模型参数等内部信息，只能通过输入来获取对应输出结果的情形下的攻击场景。一些攻击尝试通过在已有的模型上进行白盒攻击生成对抗噪声，然后迁移到目标模型上的方式来进行黑盒攻击。这种攻击方式可以很快地生成对抗样本，但是攻击成功率较低。

一些基于查询的方式通过反复输入图片，得到反馈，来更新对抗噪声。这类方式通常能达到很高的攻击成功率，但是需要对模型进行上千次的查询。这在实际场景中开销巨大，并且很容易被线上系统通过限制频率来防御。

因此，一种更高效的黑盒对抗生成样本方法将成为研究和应用的重点。

发明内容

针对现有技术存在的问题，本发明的目的在于提供一种黑盒深度模型对抗样本生成方法，其能够有效减少对模型的查询次数。

为实现上述目的，本发明采用的技术方案是：

一种黑盒深度模型对抗样本生成方法，其通过将待求取的对抗噪声δ采用频率分解的形式表示，即

δ＝∑_jα_jw_j＝αW，

其中，α_j表示频率j的幅度，向量α表示振幅，其维度等同于频率数量m；w_j表示频率j的基，W为降维投影矩阵；

从而将对抗噪声δ的求取转化为构建降维投影矩阵W和优化相应的振幅。

所述方法具体如下：

步骤1、输入图像x的维度d，设置频率数量m、低频限制参数r和最大查询次数max_iter；

步骤2、构建降维投影矩阵W；

步骤2.1、全零初始化降维投影矩阵W，初始化频率j＝0；

步骤2.2、若频率j小于频率数量m，从I_r×d中随机挑选一个基v_j，令W[j,:]＝DCT(v_j)，j＝j+1；

步骤2.3、重复步骤2.2，直至频率j等于频率数量m；此时，输出降维投影矩阵W；

步骤3、优化振幅α；

步骤3.1、初始化振幅α＝0，查询次数t＝0；

步骤3.2、随机采样向量Δα，如果Δα使得所攻击的神经网络模型的目标函数下降，则更新α＝α+Δα；

如果此时攻击成功，进入步骤4；否则，令t＝t+1，若t小于最大查询次数max_iter，重复步骤3.2；若t等于最大查询次数max_iter，进入步骤4；

步骤4、输出对抗噪声δ＝αW。

所述步骤3在进行优化振幅时，将振幅约束到离散的三值空间，即

Δα_i∈{-ρ,0,ρ}，

其中，Δα_i表示向量Δα的第i维，-ρ表示减少振幅，0表示保持振幅，ρ表示增加振幅；ρ的大小为改变的幅度大小。

所述步骤3在进行优化振幅时，采用了概率驱动的优化方法，具体如下：

步骤3.1、初始化α＝0，查询次数t＝0；

步骤3.2、求取采样概率；

步骤3.2.1、将振幅约束到离散的三值空间，即

Δα_i∈{-ρ，0，ρ}，

其中，Δα_i表示向量Δα的第i维，-ρ表示减少振幅，0表示保持振幅，ρ表示增加振幅；ρ的大小为改变的幅度大小。

步骤3.2.2、计算Δα每一维度在不同离散值上的混淆矩阵，如下：

Δα<sub>i</sub>	-ρ	0	ρ
				有效次数	e<sub>-ρ</sub>	e<sub>0</sub>	e<sub>ρ</sub>
无效次数	i<sub>-ρ</sub>	i<sub>0</sub>	i<sub>ρ</sub>

步骤3.2.3、根据混淆矩阵计算采样概率P(Δα_i＝v)：

其中，P(有效|Δα_i＝v)为δ_i在每一个值上的有效概率，其计算如下：

步骤3.3、根据步骤3.2得到的采样概率采样Δα，Δαx∈{-ρ，0，ρ}；如果Δα使得目标函数下降，则更新α＝α+Δα；如果此时攻击成功，进入步骤4；否则，令t＝t+1，若t小于最大查询次数max_iter，更新混淆矩阵，进入步骤3.2；若t等于最大查询次数max_iter，进入步骤4。

本发明针对传统黑盒攻击方法由于解空间巨大、优化困难、查询次数多的问题。对于输入的图片，随机选取低频频率基对抗噪声空间，将对对抗噪声的高维优化问题转化为对相应振幅的低维优化问题，从而达到有效减少对模型的查询次数的目的。

此外，本发明在上述基础上，采用简化随机游走策略用于对抗噪声的更新，每次随机采样一步，如果该步使得目标函数下降，则更新噪声。为了更快优化，本发明将每次采样的空间约束到离散的三值上，并对每个可能值计算成功概率，基于此做采样。进而从而在有效减少对模型的查询次数的基础上，进一步提高了黑盒攻击的成功率。

附图说明

图1为本发明实施例二和实施例三及现有方法在ResNet-50网络模型下的攻击效果对比图；

图2为本发明实施例二和实施例三及现有方法在VGG-16网络模型下的攻击效果对比图；

图3为本发明实施例二和实施例三及现有方法在Inception-V3网络模型下的攻击效果对比图。

具体实施方式

本发明揭示了一种黑盒深度模型对抗样本生成方法，通过将待求取的对抗噪声δ采用频率分解的形式表示，即δ＝∑_jα_jw_j＝αW，其中，α_j表示频率j的幅度，α表示振幅，其维度等同于频率数量m；w_j表示频率j的基，W为降维投影矩阵；从而将对抗噪声δ的求取转化为构建降维投影矩阵W和优化相应的振幅。

本发明针对传统黑盒攻击方法由于解空间巨大、优化困难、查询次数多的问题。对于输入的图片，随机选取低频频率基对抗噪声空间，将对对抗噪声的高维优化问题转化为对相应振幅的低维优化问题，从而达到有效减少对模型的查询次数的目的。

为详尽本发明技术方案，以下将列举三个实施例对黑盒深度模型对抗样本生成方法进行详述。

实施例一

本实施例一种黑盒深度模型对抗样本生成方法，具体如下：

步骤1、输入图像x的维度d，设置频率数量m、低频限制参数r和最大查询次数max_iter；

步骤2、构建降维投影矩阵W；

步骤2.1、全零初始化降维投影矩阵W，初始化频率j＝0；

步骤2.2、若频率j小于频率数量m，从矩阵I_r×d中随机挑选一个基v_j，令W[j,:]＝DCT(v_j)，j＝j+1；

步骤2.3、重复步骤2.2，直至频率j等于频率数量m；此时，输出降维投影矩阵W；

步骤3、优化振幅α；

步骤3.1、初始化振幅α＝0，查询次数t＝0；

步骤3.2、在一定的区间[-ρ,ρ]内随机采样向量Δα。如果Δα使得所攻击的神经网络模型的目标函数下降，则更新α＝α+Δα；

如果此时攻击成功，进入步骤4；否则，令t＝t+1，若t小于最大查询次数max_iter，重复步骤3.2；若t等于最大查询次数max_iter，进入步骤4；

步骤4、输出对抗噪声δ＝αW。

实施例二

本实施例一的基础上，将在进行优化振幅时，将振幅约束到离散的三值空间。本实施例一种黑盒深度模型对抗样本生成方法具体如下：

步骤1、输入图像x的维度d，设置频率数量m、低频限制参数r和最大查询次数max_iter；

步骤2、构建降维投影矩阵W；

步骤2.1、全零初始化降维投影矩阵W，初始化频率j＝0；

步骤2.2、若频率j小于频率数量m，从I_r×d中随机挑选一个基v_j，令W[j,:]＝DCT(v_j)，j＝j+1；

步骤2.3、重复步骤2.2，直至频率j等于频率数量m；此时，输出降维投影矩阵W；

步骤3、优化振幅α；

步骤3.1、初始化振幅α＝0，查询次数t＝0；

步骤3.2、随机采样向量Δα，Δα_i∈{-ρ,0,ρ}，其中，Δα_i表示向量Δα的第i维，-ρ表示减少振幅，0表示保持振幅，ρ表示增加振幅；ρ的大小为改变的幅度大小；

如果Δα使得所攻击的神经网络模型的目标函数下降，则更新α＝α+Δα；如果此时攻击成功，进入步骤4；否则，令t＝t+1，若t小于最大查询次数max_iter，重复步骤3.2；若t等于最大查询次数max_iter，进入步骤4；

步骤4、输出对抗噪声δ＝αW。

实施例三

本实施例在实施例一的基础上，将在进行优化振幅时，将振幅约束到离散的三值空间，且采用概率驱动的优化采样方法。本实施例的一种黑盒深度模型对抗样本生成方法具体如下：

步骤1、输入图像x的维度d，设置频率数量m、低频限制参数r和最大查询次数max_iter；

步骤2、构建降维投影矩阵W；

步骤2.1、全零初始化降维投影矩阵W，初始化频率j＝0；

步骤2.2、若频率j小于频率数量m，从I_r×d中随机挑选一个基v_j，令W[j，：]＝DCT(vj)，j＝j+1；

步骤2.3、重复步骤2.2，直至频率j等于频率数量m；此时，输出降维投影矩阵W；

步骤3、优化振幅α；

步骤3.1、初始化α＝0，查询次数t＝0；

步骤3.2、求取采样概率；

步骤3.2.1、将振幅约束到离散的三值空间，即

Δα_i∈{-ρ，0，ρ}，

其中，Δα_i表示向量Δα的第i维，-ρ表示减少振幅，0表示保持振幅，ρ表示增加振幅；ρ的大小为改变的幅度大小。

步骤3.2.2、计算Δα每一维度在不同离散值上的混淆矩阵，如下：

Δα<sub>i</sub>	-ρ	0	ρ
				有效次数	e<sub>-ρ</sub>	e<sub>0</sub>	e<sub>ρ</sub>
无效次数	i<sub>-ρ</sub>	i<sub>0</sub>	i<sub>ρ</sub>

步骤3.2.3、根据混淆矩阵计算采样概率P(Δα_i＝v)：

其中，P(有效|Δα_i＝v)为δ_i在每一个值上的有效概率，其计算如下：

步骤3.3、根据步骤3.2得到的采样概率采样Δα，Δα_i∈{-ρ,0,ρ}；

如果Δα使得目标函数下降，则更新α＝α+Δα；如果此时攻击成功，进入步骤4；否则，令t＝t+1，若t小于最大查询次数max_iter，更新混淆矩阵，进入步骤3.2；若t等于最大查询次数max_iter，进入步骤4。

步骤4、输出对抗噪声δ＝αW。

本发明在经典网络模型上进行了测试，包括VGG-16,ResNet-50和Inception-V3。对抗噪声的采用了L-2范数约束，数据集为通用的ImageNet数据集。测试结果如表1和表2所示：

表1

表2

表1为现有方法及现有方法结合实施例一的攻击效果对比，现有方法结合实施例一表示在实施例一的优化振幅部分采用现有的优化方法，例如NES+OURS表示，在实施例一的优化振幅部分采用NES优化方法。其中，ASR表示攻击成功率(越高越好)，Queries下的两个数值分别表示在成功攻击的样本上和在全部样本上的攻击查询次数(越低越好)。NES和Bandits为现有的两种黑盒攻击方法，Gaussian和Bandits_TD为两种降维的基准测试。

从中表1可以看出：本发明的黑盒深度模型对抗样本生成方法在大大提高了攻击成功率的同时，能有效减少至少24％的查询次数。这表明了本发明的高效性。

表2为本发明与现有方法的攻击效果对比。其中，ASR表示攻击成功率(越高越好)，Queries下的两个数值分别表示在成功攻击的样本上和在全部样本上的攻击查询次数(越低越好)。表2中，NES、Bandits、SimBA-DCT为现有方法，PRBA为采用了降维但是未采用概率驱动的优化采样方法(即实施例二)，PPBA为本发明提出的基于投影降维和概率驱动的黑盒深度模型对抗样本生成方法(即实施例三)。而表2中AUC为图1-3曲线下方的面积，越大越好。

结合表2和图1-3可知，实施例二提出的方法相比较现有的方法，在保持差不多或者更高的攻击成功率的情形下，花费更少的查询次数。而实施例三的方法在较少的查询次数下能取得较高的攻击成功率，表明了本发明的优越性。

以上所述，仅是本发明实施例而已，并非对本发明的技术范围作任何限制，故凡是依据本发明的技术实质对以上实施例所作的任何细微修改、等同变化与修饰，均仍属于本发明技术方案的范围内。

Claims (4)

1.一种黑盒深度模型对抗样本生成方法，其特征在于：通过将待求取的对抗噪声δ采用频率分解的形式表示，即

δ＝∑_jα_jw_j＝αW，

其中，α_j表示频率j的幅度，向量α表示振幅，其维度等同于频率数量m；w_j表示频率j的基，W为降维投影矩阵；

从而将对抗噪声δ的求取转化为构建降维投影矩阵W和优化相应的振幅。

2.根据权利要求1所述的一种黑盒深度模型对抗样本生成方法，其特征在于：所述方法具体如下：

步骤1、输入图像x的维度d，设置频率数量m、低频限制参数r和最大查询次数max_iter；

步骤2、构建降维投影矩阵W；

步骤2.1、全零初始化降维投影矩阵W，初始化频率j＝0；

步骤2.2、若频率j小于频率数量m，从矩阵I_r×d中随机挑选一个基v_j，令W[j,:]＝DCT(v_j)，j＝j+1；

步骤2.3、重复步骤2.2，直至频率j等于频率数量m；此时，输出降维投影矩阵W；

步骤3、优化振幅α；

步骤3.1、初始化振幅α＝0，查询次数t＝0；

步骤3.2、随机采样向量Δα，如果Δα使得所攻击的神经网络模型的目标函数下降，则更新α＝α+Δα；

如果此时攻击成功，进入步骤4；否则，令t＝t+1，若t小于最大查询次数max_iter，重复步骤3.2；若t等于最大查询次数max_iter，进入步骤4；

步骤4、输出对抗噪声δ＝αW。

3.根据权利要求2所述的一种黑盒深度模型对抗样本生成方法，其特征在于：所述步骤3在进行优化振幅时，将振幅约束到离散的三值空间，即

Δα_i∈{-ρ,0,ρ}，

其中，Δα_i表示向量Δα的第i维，-ρ表示减少振幅，0表示保持振幅，ρ表示增加振幅；ρ的大小为改变的幅度大小。

4.根据权利要求2所述的一种黑盒深度模型对抗样本生成方法，其特征在于：所述步骤3在进行优化振幅时，采用了概率驱动的优化方法，具体如下：

步骤3.1、初始化α＝0，查询次数t＝0；

步骤3.2、求取采样概率；

步骤3.2.1、将振幅约束到离散的三值空间，即

Δα_i∈{-ρ,0,ρ}，

其中，Δα_i表示向量Δα的第i维，-ρ表示减少振幅，0表示保持振幅，ρ表示增加振幅；ρ的大小为改变的幅度大小。

步骤3.2.2、计算Δα每一维度在不同离散值上的混淆矩阵，如下：

Δα_i -ρ 0 ρ 有效次数 e_-ρ e₀ e_ρ 无效次数 i_-ρ i₀ i_ρ

步骤3.2.3、根据混淆矩阵计算采样概率P(Δα_i＝v)：

其中，P(有效|Δα_i＝v)为δ_i在每一个值上的有效概率，其计算如下：

步骤3.3、根据步骤3.2得到的采样概率采样Δα，Δα_i∈{-ρ，0，ρ}；

如果Δα使得目标函数下降，则更新α＝α+Δα；如果此时攻击成功，进入步骤4；否则，令t＝t+1，若t小于最大查询次数max_iter，更新混淆矩阵，进入步骤3.2；若t等于最大查询次数max_iter，进入步骤4。

Images