CN114065872A - 基于特征重构的可见光图像通用对抗扰动构建方法及系统 - Google Patents

Abstract

本发明公开了一种基于特征重构的可见光图像通用对抗扰动构建方法及系统，所述方法包括：选取目标类别，搜集预定数量目标类别的可见光图像构成目标类别图像数据集；根据设置的损失函数，通过梯度下降算法对目标类别特征进行训练和优化，生成通用对抗扰动；将进行范数限制后的通用对抗扰动添加到所述目标类别图像数据集中，完成对抗样本的构建。采用本方法可以生成具有通用的可迁移的对抗扰动，进而可以高效快速的生成大量对抗样本。

Description

基于特征重构的可见光图像通用对抗扰动构建方法及系统

技术领域

本发明涉及人工智能与计算机安全技术交叉领域，尤其是涉及一种基于特征重构的可见光图像通用对抗扰动构建方法及系统。

背景技术

当今，人工智能的研究与应用越来越普遍。由于人工智能具有学习、推理、预测、决策等强大能力，人工智能在智能家居、自动驾驶、智能制造、智能交通、智慧城市等各种场景下得到大量应用。

然而，人工智能存在巨大的安全风险，原因是人工智能算法在设计之初并未将安全纳入其考虑的范围。因此算法的脆弱性容易被攻击者利用，判断结果容易被影响，致使系统判断出错。这样的安全隐患亟待分析与研究。

针对以上面对的问题，针对可见光图像分类模型构建对抗扰动，则有助于安全研究者和相关企业对模型存在的安全隐患进行分析。再者，构建的对抗扰动可用于后续对抗训练，修补模型中的安全隐患。因此，对抗扰动的构建方法显得尤为重要。

发明内容

本发明的目的在于提供一种基于特征重构的可见光图像通用对抗扰动构建方法及系统，旨在解决上述问题。

本发明提供一种基于特征重构的可见光图像通用对抗扰动构建方法，包括：

S1.选取目标类别，搜集预定数量目标类别的可见光图像构成目标类别图像数据集；

S2.根据设置的损失函数，通过梯度下降算法对目标类别特征进行训练和优化，生成通用对抗扰动；

S3.将进行范数限制后的通用对抗扰动添加到所述目标类别图像数据集中，完成对抗样本的构建。

本发明提供一种基于特征重构的可见光图像通用对抗扰动构建系统，包括：

目标图像搜集模块：用于选取目标类别，搜集预定数量目标类别的可见光图像构成目标类别图像数据集；

目标类别特征重构模块：用于根据设置的损失函数，通过梯度下降算法对目标类别特征进行训练和优化，生成通用对抗扰动；

对抗样本构建模块：用于将进行范数限制后的通用对抗扰动添加到所述目标类别图像数据集中，完成对抗样本的构建。

本发明实施例还提供一种基于特征重构的可见光图像通用对抗扰动构建设备，包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述计算机程序被所述处理器执行时实现上述基于特征重构的可见光图像通用对抗扰动构建方法的步骤。

采用本发明实施例，构建基于类别特征的输入无关且可迁移的对抗扰动，通过将其叠加到正常样本的方式快速高效产生大量的对抗样本，不需要针对特定的输入进行构造，辅助可见光图像分类模型的安全隐患分析与修补。

上述说明仅是本发明技术方案的概述，为了能够更清楚了解本发明的技术手段，而可依照说明书的内容予以实施，并且为了让本发明的上述和其它目的、特征和优点能够更明显易懂，以下特举本发明的具体实施方式。

附图说明

为了更清楚地说明本发明具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本发明实施例的基于特征重构的可见光图像通用对抗扰动构建方法流程图；

图2是本发明实施例的基于特征重构的可见光图像通用对抗扰动构建方法具体流程图；

图3是本发明实施例的基于特征重构的可见光图像通用对抗扰动构建系统的示意图；

图4是本发明实施例的基于特征重构的可见光图像通用对抗扰动构建设备示意图。

具体实施方式

下面将结合实施例对本发明的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

在本发明的描述中，需要理解的是，术语“中心”、“纵向”、“横向”、“长度”、“宽度”、“厚度”、“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”、“内”、“外”、“顺时针”、“逆时针”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。

此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个所述特征。在本发明的描述中，“多个”的含义是两个或两个以上，除非另有明确具体的限定。此外，术语“安装”、“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本发明中的具体含义。

方法实施例

根据本发明实施例，提供了一种基于特征重构的可见光图像通用对抗扰动构建方法，图1是本发明实施例的基于特征重构的可见光图像通用对抗扰动构建方法的流程图，如图1所示，根据本发明实施例的基于特征重构的可见光图像通用对抗扰动构建方法包括：

S1.选取目标类别，搜集预定数量目标类别的可见光图像构成目标类别图像数据集；

S2.根据设置的损失函数，通过梯度下降算法对目标类别特征进行训练和优化，生成通用对抗扰动；

S3.将进行范数限制后的通用对抗扰动添加到所述目标类别图像数据集中，完成对抗样本的构建。

图2是本发明实施例的基于特征重构的可见光图像通用对抗扰动构建方法具体流程图，下面以构造LeNet5分类器(其任务为分类MINST手写数字图片数据集)的对抗样本为例，具体阐述基于特征重构的可见光图像通用对抗扰动构建方法：

首先进行目标图像搜集，具体包括：

选取目标类别：在图像分类模型输出的有限集Y中选取目标类别y_i，i∈[0,N-1]，其中，N为所述图像分类模型输出的类别总数，具体的，图像分类模型C输出有限集Y＝{y₀,y₁,y₂,y₃,y₄,y₅,y₆,y₇,y₈,y₉}中的一个元素y_i(i∈[0,N-1])，输出通常使用One-hot编码，若要生成目标类别为0的对抗样本，则y_i＝[1,0,0,0,0,0,0,0,0,0]^T；

编写所述目标类别相关关键词，将所述目标类别y_i对应的自然语言描述l_i以及人工编写的与l_i相关的其他P个自然语言描述加入到集合L中，具体的若要生成目标类别为0的对抗样本，则l_i＝"0"，人工编写的集合L可以为[‘0’，‘零’，‘手写的0’，‘手写的零’，‘zero’]；

使用爬虫搜索与集合L中的关键词相关的图片，每个关键词取M张相关图片构成初始目标类别图像数据集D_t；

最后，排除数据集D_t中置信度不高的图片，将数据集D_t中P×M张图片p_j(j∈[0,P×M-1])输入所述目标分类模型C进行分类，其输出为c_j＝C(p_j)，若c_j≠y_i，则从数据集D_t中删除p_j。

然后进行目标类别特征重构，具体包括：

计算目标类别特征：计算数据集D_t中的所有图片p_j在所述目标分类模型C中第k层的输出C_k(p_i)，并加入特征集F，对LeNet5而言，C_k(·)可选择最后一层降采样层的输出；

定义损失函数：计算所述特征集F中所有特征的平均值f_mean，选择均方误差函数MSE(·)作为训练损失函数，定义损失函数如公式1所示：

loss(f)＝MSE(f,f_mean) 公式1；

通过反向传播计算梯度Δδ并优化输入δ，具体为：

统计数据集D_t中的图片得到均值μ与方差σ²，将x按正态分布δ～N(μ,σ²)随机初始化，并进行前向传播得到f＝C_k(δ)；

根据公式2计算梯度：

Δδ＝d(loss(f))/dδ 公式2；

通过E轮的随机梯度下降(SGD)或其他优化方法更新输入δ，得到对抗扰动δ_f，可以选择的优化方法还包括AdaGrad、RMSProp、Adam等，通常选择Adam(优化器)。

最后进行对抗样本构建，具体包括：

对抗扰动范数限制：设定对抗扰动最大2-范数为α，得到对抗扰动如公式3所示：

其中，α越大，对抗扰动的置信度越高；

将

添加到所述目标类别图像数据集中，完成不同置信度的对抗样本构建。

采用本发明实施例有以下有益效果：1)对抗样本生成具有高效性，计算出对抗扰动后，只需要一步加法，即可快速生成大量对抗样本。2)生成的对抗扰动具有通用性(或称输入无关性)，不需要针对特定输入生成特定的对抗扰动。3)具有可迁移性，生成的对抗扰动对不同的分类模型具有可迁移性。

系统实施例

根据本发明实施例，提供了一种基于特征重构的可见光图像通用对抗扰动构建系统，图3是本发明实施例的基于特征重构的可见光图像通用对抗扰动构建系统的示意图，如图3所示，根据本发明实施例的基于特征重构的可见光图像通用对抗扰动构建系统具体包括：

目标图像搜集模块30：用于选取目标类别，搜集预定数量目标类别的可见光图像构成目标类别图像数据集。

目标图像搜集模块30具体用于：

在图像分类模型输出的有限集Y中选取目标类别y_i，i∈[0,N-1]，其中，N为所述图像分类模型输出的类别总数；

编写所述目标类别相关关键词，将所述目标类别y_i对应的自然语言描述l_i以及人工编写的与l_i相关的其他P个自然语言描述加入到集合L中；

搜索与集合L中的关键词相关的图片，每个关键词取M张相关图片构成目标类别图像数据集D_t；

将数据集D_t中P×M张图片p_j输入所述目标分类模型C进行分类，j∈[0,P×M-1]，删除数据集D_t中若与所述目标类别y_i不符的图片。

目标类别特征重构模块32：用于根据设置的损失函数，通过梯度下降算法对目标类别特征进行训练和优化，生成通用对抗扰动。

目标类别特征重构模块32具体用于：

计算数据集D_t中的所有图片p_j在所述目标分类模型C中第k层的输出C_k(p_i)，加入特征集F；

计算所述特征集F中所有特征的平均值f_mean，选择均方误差函数MSE(·)作为训练损失函数，定义损失函数如公式1所示：

loss(f)＝MSE(f,f_mean) 公式1；

通过反向传播计算梯度Δδ并优化输入δ。

对抗样本构建模块34：用于将进行范数限制后的通用对抗扰动添加到所述目标类别图像数据集中，完成对抗样本的构建。

对抗样本构建模块34具体用于：

限制对抗扰动范数，设定对抗扰动最大2-范数为α，得到对抗扰动

将

添加到所述目标类别图像数据集中，构造对抗样本。

本发明实施例是与上述方法实施例对应的系统实施例，各个模块的具体操作可以参照方法实施例的描述进行理解，在此不再赘述。

装置实施例一

本发明实施例提供一种基于特征重构的可见光图像通用对抗扰动构建，如图4所示，包括：存储器40、处理器42及存储在所述存储器40上并可在所述处理器42上运行的计算机程序，所述计算机程序被所述处理器42执行时实现如下方法步骤：

S1.选取目标类别，搜集预定数量目标类别的可见光图像构成目标类别图像数据集，具体包括：

S101.在图像分类模型输出的有限集Y中选取目标类别y_i，i∈[0,N-1]，其中，N为所述图像分类模型输出的类别总数；

S102.编写所述目标类别相关关键词，将所述目标类别y_i对应的自然语言描述l_i以及人工编写的与l_i相关的其他P个自然语言描述加入到集合L中；

S103.搜索与集合L中的关键词相关的图片，每个关键词取M张相关图片构成目标类别图像数据集D_t；

S104.将数据集D_t中P×M张图片p_j输入所述目标分类模型C进行分类，j∈[0,P×M-1]，删除数据集D_t中若与所述目标类别y_i不符的图片。

S2.根据设置的损失函数，通过梯度下降算法对目标类别特征进行训练和优化，生成通用对抗扰动，具体包括：

S201.计算数据集D_t中的所有图片p_j在所述目标分类模型C中第k层的输出C_k(p_i)，加入特征集F；

S202.计算所述特征集F中所有特征的平均值f_mean，选择均方误差函数MSE(·)作为训练损失函数，定义损失函数如公式1所示：

loss(f)＝MSE(f,f_mean) 公式1；

S203.通过反向传播计算梯度Δδ并优化输入δ，具体的：

S2031.统计数据集D_t中的图片得到均值μ与方差σ²，将δ按正态分布δ～N(μ,σ²)随机初始化，并进行前向传播得到f＝C_k(δ)；

S2032.根据公式2计算梯度：

Δδ＝d(loss(f))/dδ 公式2；

S2033.通过多轮的随机梯度下降更新输入δ，得到对抗扰动δ_f。

S3.将进行范数限制后的通用对抗扰动添加到所述目标类别图像数据集中，完成对抗样本的构建，具体包括：

S301.限制对抗扰动范数，设定对抗扰动最大2-范数为α，得到对抗扰动如公式3所示：

其中，α越大，对抗扰动的置信度越高；

S302.将

添加到所述目标类别图像数据集中，完成不同置信度的对抗样本构建。

显然，本领域的技术人员应该明白，上述的本发明的各模块或各步骤可以用通用的计算装置来实现，它们可以集中在单个的计算装置上，或者分布在多个计算装置所组成的网络上，可选地，它们可以用计算装置可执行的程序代码来实现，从而，可以将它们存储在存储装置中由计算装置来执行，并且在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤，或者将它们分别制作成各个集成电路模块，或者将它们中的多个模块或步骤制作成单个集成电路模块来实现。这样，本发明不限制于任何特定的硬件和软件结合。

最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。

Claims (10)

1.一种基于特征重构的可见光图像通用对抗扰动构建方法，其特征在于，包括：

S1.选取目标类别，搜集预定数量目标类别的可见光图像构成目标类别图像数据集；

S2.根据设置的损失函数，通过梯度下降算法对目标类别特征进行训练和优化，生成通用对抗扰动；

S3.将进行范数限制后的通用对抗扰动添加到所述目标类别图像数据集中，完成对抗样本的构建。

2.根据权利要求1所述的方法，其特征在于，所述S1具体包括：

S101.在图像分类模型输出的有限集Y中选取目标类别y_i，i∈[0,N-1]，其中，N为所述图像分类模型输出的类别总数；

S102.编写所述目标类别相关关键词，将所述目标类别y_i对应的自然语言描述l_i以及人工编写的与l_i相关的其他P个自然语言描述加入到集合L中；

S103.搜索与集合L中的关键词相关的图片，每个关键词取M张相关图片构成目标类别图像数据集D_t；

S104.将数据集D_t中P×M张图片p_j输入所述目标分类模型C进行分类，j∈[0,P×M-1]，删除数据集D_t中若与所述目标类别y_i不符的图片。

3.根据权利要求1所述的方法，其特征在于，所述S2具体包括：

S201.计算数据集D_t中的所有图片p_j在所述目标分类模型C中第k层的输出C_k(p_i)，加入特征集F；

S202.计算所述特征集F中所有特征的平均值f_mean，选择均方误差函数MSE(·)作为训练损失函数，定义损失函数如公式1所示：

loss(f)＝MSE(f,f_mean) 公式1；

S203.通过反向传播计算梯度Δδ并优化输入δ。

4.根据权利要求3所述的方法，其特征在于，所述S103具体包括：

S2031.统计数据集D_t中的图片得到均值μ与方差σ²，将x按正态分布δ～N(μ,σ²)随机初始化，并进行前向传播得到f＝C_k(δ)；

S2032.根据公式2计算梯度：

Δδ＝d(loss(f))/dδ 公式2；

S2033.通过多轮的随机梯度下降更新输入δ，得到对抗扰动δ_f。

5.根据权利要求1所述的方法，其特征在于，所述S3具体包括：

S301.限制对抗扰动范数，设定对抗扰动最大2-范数为α，得到对抗扰动如公式3所示：

其中，α越大，对抗扰动的置信度越高；

S302.将

添加到所述目标类别图像数据集中，完成不同置信度的对抗样本构建。

6.一种基于特征重构的可见光图像通用对抗扰动构建系统，其特征在于，包括：

目标图像搜集模块：用于选取目标类别，搜集预定数量目标类别的可见光图像构成目标类别图像数据集；

目标类别特征重构模块：用于根据设置的损失函数，通过梯度下降算法对目标类别特征进行训练和优化，生成通用对抗扰动；

对抗样本构建模块：用于将进行范数限制后的通用对抗扰动添加到所述目标类别图像数据集中，完成对抗样本的构建。

7.根据权利要求6所述的系统，其特征在于，所述目标图像搜集模块具体用于：

在图像分类模型输出的有限集Y中选取目标类别y_i，i∈[0,N-1]，其中，N为所述图像分类模型输出的类别总数；

编写所述目标类别相关关键词，将所述目标类别y_i对应的自然语言描述l_i以及人工编写的与l_i相关的其他P个自然语言描述加入到集合L中；

搜索与集合L中的关键词相关的图片，每个关键词取M张相关图片构成目标类别图像数据集D_t；

将数据集D_t中P×M张图片p_j输入所述目标分类模型C进行分类，j∈[0,P×M-1]，删除数据集D_t中若与所述目标类别y_i不符的图片。

8.根据权利要求6所述的系统，其特征在于，所述目标类别特征重构模块具体用于：

计算数据集D_t中的所有图片p_j在所述目标分类模型C中第k层的输出C_k(p_i)，加入特征集F；

计算所述特征集F中所有特征的平均值f_mean，选择均方误差函数MSE(·)作为训练损失函数，定义损失函数如公式1所示：

loss(f)＝MSE(f,f_mean) 公式1；

通过反向传播计算梯度Δδ并优化输入δ。

9.根据权利要求6所述的系统，其特征在于，所述对抗样本构建模块具体用于：

限制对抗扰动范数，设定对抗扰动最大2-范数为α，得到对抗扰动

将

添加到所述目标类别图像数据集中，构造对抗样本。

10.一种基于特征重构的可见光图像通用对抗扰动构建设备，其特征在于，包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述计算机程序被所述处理器执行时实现如权利要求1至5中任一项所述的对抗扰动构建方法的步骤。

Images