CN113269241B - 一种遥感图像对抗样本的软阈值防御方法 - Google Patents

Abstract

本发明公开了一种遥感图像对抗样本的软阈值防御方法，将正确分类的遥感图像和对抗样本保存在同一类验证集中,删除在验证集中不能正确分类的遥感图像；将原始图像作为正面样本，将对抗样本作为负面样本，对保存的验证集中的图像重新分类；结合分类的输出置信度，得到新数据集；在新数据集上训练一个逻辑回归模型；通过原始图像和对抗样本的决策边界获得输出置信度的阈值；将当前输入图像的输出置信度和所述防守软阈值相比较，判断当前输入图像是否是一个对抗样本。本发明可有效防守遥感图像场景分类问题中的对抗样本的攻击，卷积神经网络的愚弄率被降低到0。

Description

一种遥感图像对抗样本的软阈值防御方法

技术领域

本发明属于遥感图像分类技术领域，尤其涉及一种遥感图像对抗样本的软阈值防御方法。

技术背景

卷积神经网络(CNN)具有出色的特征提取能力和较高的准确性，已成为遥感领域中物体识别的通用技术。它广泛应用于遥感领域，例如灾害管理，森林监测和城市规划。表现良好的CNN可以带来很高的经济利益。但是，许多研究表明，CNN非常容易受到对抗性样本的攻击，这些样本被精心生成并不易被察觉，它可以使模型以较高的置信度预测出错误结果。对抗样本已成为现实应用中CNN最为关注的安全问题。对抗样本通过生成扰动来欺骗模型预测出错误的结果，以此来显现卷积神经网络(CNN)的脆弱性。最近的研究表明，许多应用于遥感图像(RSI)场景分类的CNN仍然受到对抗样本攻击。

同样，在对抗领域，应用于遥感领域的CNN也受到对抗样本的威胁。这些对抗性样本与原始图像相比只产生了很小的变化，但是被模型分类为其它类别。这种威胁可能会对基于CNN的遥感应用造成高风险。通过对遥感图像场景分类任务的大量实验(RSI)发现，无论受到何种攻击，主流的CNN(例如Inception，ResNet等)都容易受到对抗样本的攻击，欺骗率可高达到98％以上。但是，大多数关于对抗性示例的防御算法研究都是基于自然图像。这些防御算法需要重新训练模型或修改模型的结构。它们不仅计算密集型还没有考虑RSI的对抗样本的属性。

与自然图像相比，RSI具有独特的属性，例如空间分辨率，丰富的光谱信息等。除此之外，RSI对抗样本还有许多属性；例如，当RSI的图像尺寸较大且空间分辨率较高时，原始图像仅需较小的扰动便会受到攻击。此外，RSI的对抗性样本具有攻击选择性，这意味着来自同一类别的对抗样本的错误分类不是随机的；它们高度集中在几个特定的类别中。错误分类的类别的分布也与攻击类型无关。本发明需要为RSI对抗性示例开发防御算法。

对抗样本已成为研究CNN鲁棒性的基本问题，有多种生成对抗样本的算法。Goodfellow提出了快速梯度标志攻击(FGSM)，该方法计算损失函数的梯度方向并沿梯度方向添加较小的对抗性扰动。这种扰动会增加使模型产生误差结果的损失值。这种攻击方法很简单，但是欺骗率不高。因此，Kurakin提出了一种称为基本迭代方法(BIM)的多重更新算法。在迭代更新下产生的对抗性扰动具有较高的欺骗率。另一个更强大的攻击算法DeepFool也使用迭代更新方法来生成对抗性样本。它允许每次更新的修改图像越过特征空间中的分类边界，从而导致模型获得错误的类。基于优化的攻击算法C&W将对抗样本视为变量，它设置优化对象以使模型在对抗性扰动最小的情况下被错误分类。这些攻击算法中的每一种都有其特征，但是都可以成功地攻击CNN。

为应对这些攻击算法，众多的防御算法应运而生。这些算法可以分为两种类型。第一种是增强模型的鲁棒性，例如对抗训练，梯度掩摸，输入变换。它们可以通过修改模型结构或添加其他正则项来提高模型的鲁棒性，从而增加对抗样本生成的难度。但是，这些算法需要重新训练模型且计算量大。第二种是仅检测。该算法通常需要训练新的检测器来提前提取图像的特征，并基于这些特征确定输入是否为对抗样本。

发明内容

通过对RSI的对抗样本的进一步分析，发现错误分类的类别并非随机产生的，并且这些对抗样本已证明具有攻击选择性。受遥感图像对对抗样本的攻击选择性的启发，本发明认为来自同一类别的对抗样本的错误分类类别和原始类别之间的分布是稳定的，它们可以通过决策边界区分。基于这一见解，本发明提出了一种遥感图像对抗样本的软阈值防御方法。它通过比较输出置信度和类的软阈值来确定当前输入图像是否是一个对抗样本。具体来说，本发明将一个类别下所有正确预测的图像视为正样本，将该类别下所有采用各种攻击算法的对对抗样本视为负样本。然后通过模型的置信度作为输入来训练一个逻辑回归模型。本发明可以根据这个逻辑回归模型得到原始图像和对对抗样本的决策边界，进一步得到输出置信度的阈值，即用于防御的类的软阈值。无论攻击的类型如何，每个类别都有一个软门槛。与基于自然图像的防御算法相比，本发明提出的算法是基于遥感图像对对抗样本的特性。通过实验，本发明在多种遥感图像数据集下的各种模型和攻击算法上表现良好。

本发明公开的一种遥感图像对抗样本的软阈值防御方法，具体包括以下步骤：

将正确分类的遥感图像和相应产生的对抗样本的输出置信度保存在同一类验证集中,删除在验证集中不能正确分类的遥感图像；

通过将原始图像作为正面样本，将对抗样本作为负面样本，对保存的验证集中的图像重新分类；

结合分类的输出置信度，得到新数据集D，所述新数据集中每个输入数据包括表示每个遥感图像的输出置信度，和表示该遥感图像是否是对抗样本的标签数据，所述标签数据为0的图像为对抗样本，为1的图像为原始图像；

在所述新数据集D上训练一个逻辑回归模型；

通过原始图像和对抗样本的决策边界获得输出置信度的阈值，所述阈值为每个类别的防守软阈值；

根据当前输入图像的类别选择相应类别的防守软阈值，将当前输入图像的输出置信度和所述防守软阈值相比较，来确定当前输入图像是否是一个对抗样本。

进一步的，在所述新数据集D上训练一个逻辑回归模型的步骤包括：

使用Sigmoid函数代替输入的置信度x和对应标签y之间的阶梯函数，计算原始图像的后验概率；

使用最大似然法来求解模型中的权重；

计算所述新数据集D的平均对数似然损失；

使用梯度下降算法迭代获得最优权重。

进一步的，对于所述数据集D，使用Sigmod函数定义如下，

z＝wx+b

其中w,b表示模型的权重,p(x)表示输入的x被分类为1的概率，即原始图像的后验概率。

进一步的，对抗样本的概率计算如下：

P(y|x；w,b)＝p(x)^y(1-p(x))^1-y

P(y|x；w,b)表示输入x是否是对抗样本的概率。

进一步的，所述最大似然法计算如下：

进一步的，所述平均对数似然损失如下：

进一步的，最优权重w^*,b^*的计算方法如下：

其中α是学习率，k代表迭代次数。

进一步的，所述阈值r如下：

r＝x,如果p(x；w^*,b^*)＝0.5

其中阈值r是用于防御的软阈值，每个类别都有一个相应的软阈值。

本发明提出的软阈值防御方法在本研究中也属于仅检测类别，这意味着找到一个对抗样本并予以拒绝。但是，本发明提出的算法不需要大量的计算，也不需要重新对模型展开。此外，它源自RSI对抗性示例的属性，这适用于遥感领域的对抗性样本问题。与基于自然图像的防御算法相比，本发明提出的算法基于RSI对抗样本的属性。

本发明能有效地防守遥感图像场景分类问题中的对抗样本的攻击。与其他需要修改模型结构或计算复杂的防御算法相比，本发明提出的算法简单有效。在某些情况下，FGSM，BIM，Deepfool和C&W攻击算法的欺骗率平均降低了97.76％，99.77％，68.18％和97.95％。此数据说明软阈值防御方法可以有效地抵御对抗欺骗。

附图说明

图1本发明一种遥感图像对抗样本的软阈值防御方法流程图；

具体实施方式

下面结合附图对本发明作进一步的说明，但不以任何方式对本发明加以限制，基于本发明教导所作的任何变换或替换，均属于本发明的保护范围。

根据RSI对抗样本的攻击选择性，软阈值防御方法的关键是正确获取每个类别的置信度阈值。当输出置信度高于该阈值时，表示输入RSI是安全的；而当输出置信度低于该阈值时，则RSI可能是一个对抗样本，这是不安全的。

如图1所示，本发明公开的一种遥感图像对抗样本的软阈值防御方法，具体包括以下步骤：

S10：将正确分类的遥感图像和相应产生的对抗样本的输出置信度保存在同一类验证集中,删除在验证集中不能正确分类的遥感图像；

本发明将正确分类的RSI和相应生成的对抗样本的输出置信度保存在同一类验证集中。这些负样本源自多种攻击。为每个类别获得的软阈值与攻击类型无关。本发明使用验证集的原因是训练集中的图像输出置信度很高，因此在这种情况下获得的阈值也很高。有了这样的阈值，可能会导致许多RSI未被正确地归类为对抗样本。另外，本发明删除了无法在验证集中正确分类的RSI。对抗样本来自验证集中正确分类的RSI，因为错误分类的RSI已经导致模型分类错误，这与对抗样本的定义不一致。

S20：通过将原始图像作为正面样本，将对抗样本作为负面样本，对保存的验证集中的图像重新分类；

本发明通过将原始图像视为正样本将对抗样本视为负样本来对保存的结果进行重新分类。结合它们的输出置信度，得到一个新的数据集D＝{(x1，y1)，(x2，y2)，··，(xn，yn)}，其中x表示每个RSI的输出置信度，而y表示这是否是一个对抗样本。n代表数据集的大小。y是0或1，其中0是对抗样本，而1是原始图像，这是一个二进制分类问题。

S30：结合分类的输出置信度，得到新数据集D，所述新数据集中每个输入数据包括表示每个遥感图像的输出置信度，和表示该遥感图像是否是对抗样本的标签数据，所述标签数据为0的图像为对抗样本，为1的图像为原始图像；

S40：在新数据集D上训练一个逻辑回归模型；

在此新数据集上训练逻辑回归模型，并通过逻辑回归算法获得决策边界。

S50：通过原始图像和对抗样本的决策边界获得输出置信度的阈值，该阈值为每个类别的防守软阈值；

通过原始图像的决策边界和对抗样本进一步获得用于防御的阈值。将模型的置信度用作训练逻辑回归模型的输入，得到原始图像的决策边界和基于这个逻辑回归模型的对抗样本，以进一步获得置信度阈值等，即用于防御的类别的软阈值。无论攻击的类型如何，每个类别都有一个软阈值。

S60：根据当前输入图像的类别选择相应类别的防守软阈值，将当前输入图像的输出置信度和所述防守软阈值相比较，来确定当前输入图像是否是一个对抗样本。当模型预测新的RSI时，如果输出置信度高于相应类别的软阈值，则输入为原始图像，反之则将对抗样本设为输入。具体来说，本发明将一类下所有正确预测的图像视为正样本，并将该类下各种具有攻击性算法的对抗性样本视为负样本。

具体地，S40步骤包括以下步骤：

S401：对于数据集D，本发明使用Sigmoid函数代替x和y之间的阶跃函数，其定义如下

其中，w，b表示模型的权重。p(x)表示输入x被分类为1的概率，它是原始图像的后验概率。因此，可以获得以下内容

P(y＝1|x；w，b)＝p(x) (2)

P(y＝0|x；w，b)＝1-p(x). (3)

结合这两种情况，可以得到

P(y|x；w，b)＝p(x)y(1-p(x))^1-y. (4)

式4表示输入x是否为对抗样本的概率。

S402：进一步使用最大似然法来求解模型中的权重。其似然函数如下所示，

通过解式5，对方程的两边都进行了相同的运算，并将其写为对数似然函数，

S403：对数据集的平均对数似然损失进行如下计算，

S404：在梯度下降算法下，可以迭代获得最优w*，b*，如下所示

其中，α是学习率，k表示迭代次数。在得到w*，b*之后，根据式1，本发明可以在该类下找到阈值f，即

r＝x，ifp(x；w^*，b^*)＝0.5. (9)

阈值r是用于防御的软阈值，每个类别都有一个相应的软阈值。当一个遥感图像的输出置信度低于该类的软阈值时，那么输入的遥感图像就是一个对抗样本，有效地降低了对抗样本所带来的风险。

下面使用现有的数据集对本发明的技术效果进行验证。

在本发明在实验中选择了8个CNN模型，分别是AlexNet，VGG16，ResNet50，Inception V4，Inception-ResNet，ResNeXt，DenseNet-121和PNASNet。这些模型都广泛用于遥感应用中。考虑到数据类型和地面对象的多样性，本发明选择了6个RSI数据集，它们是AID数据集，UC Merced土地利用数据集(UCM)数据集，NWPU-ESISC45(NWPU)数据集，EuroSAT-MS数据集，MSTAR数据集和部分SEN1-2数据集。因此，实验中有48种分类方案。然后，本发明使用了4种攻击算法，包括FGSM，BIM，DeepFool和C&W。所有攻击算法均用于为每种分类方案生成对抗样本。总共使用了192个攻击场景来验证本发明方法的有效性。

另外，本发明根据欺骗率的变化来量化防御的有效性。欺骗率是可能导致CNN在所有攻击图像中产生错误结果的对抗样本的比例。

A.基准表现

如表1所示，CNN的整体准确性(OA)在所有48个分类方案中都很好，其中大多数具有90％或更高的准确性。但是，即使在同一数据集上，每个CNN模型的表现也有所不同。另外，最新型号并不总是能产生最佳精度。各种分类方案可以更好地验证所提出的方法。

表1CNN分类准确度表(％)

在这些不同的分类方案中，本发明使用4种攻击算法来生成对抗样本，并使用它们来验证软阈值防御方法的有效性。

B.实验结果

与表1中CNN的良好表现相比，较高的欺骗率表明遥感中的CNN容易受到对抗性例子的攻击。

通过这些对抗性样本，本发明可以获得每个数据集中每个类别的软阈值。软阈值防御方法也对DeepFool攻击算法有效，尽管对其他三种攻击算法无效。对于不同的攻击，软阈值防御方法表现出不同的性能。

表2防御后FGSM的欺骗率(％)

表3防御后的BIM欺骗率(％)

表4防御后的DEEPFOOL欺骗率(％)

表5防御后的C&W欺骗率(％)

在采用本发明提出的防御方法后，表2，表3，表4和表5中显示了所有攻击方案的欺骗率。针对FGSM，所有欺骗率平均下降了97.76％。AID和NWPU数据集上模型的欺骗率降低为0。但是软阈值防御方法将MSRAT数据集的欺骗率平均降低了10.52％。对于相同的攻击算法，软阈值防御方法在不同数据集上的表现方式有所不同。在防御BIM攻击时，平均欺骗率下降了99.77％，这意味着是更有效的防御。

即使在MSRAT这个表现不佳的数据集上，在防御算法后，它的愚弄率接近0。针对同一数据集的软阈值防御方法的有效性因攻击算法而异。对于DeepFool，所有分类方案模型的欺骗率平均降低68.18％。对DeepFool的防御比对所有其他三种攻击算法的防御要差。这是因为Deepfool下的对抗示例模糊了原始图像和对抗示例之间的边界，从而使得依赖于决策边界的软阈值防御效率较低。尽管如此，在本发明的防御总体欺骗降低了很多。对于C&W攻击算法，欺骗率平均降低了97.95％。通过检查这些结果，软阈值防御方法已经证明了其有效性。

C.阈值分析

表6防御后的DEEPFOOL欺骗率(％)

本发明在AID数据集中的30个类别中选择两个类，即教堂和工业。表5显示了在不同模型下这两个类别的软阈值。在不同类别和CNN模型类型的组合之间，软阈值差异很大。此外，当一些图像被错误地预测为对抗样本时，分类精度降低。本发明在表5中显示了分类准确性和OA的下降。在教堂类别中，准确率平均下降2.86％。这是因为教堂类别中有47张图像，因此在少数错误图像之后准确性会迅速下降。这就是为什么某些模型上的准确度值下降的原因。对于所有模型，OA平均下降1.46％。但是，大多数仍然表现良好。考虑到对抗样本带来的高安全风险，因此有必要稍微降低精度以确保安全输出。

受到RSI对抗示例的攻击选择性的启发，本发明提出了一种软阈值防御方法。该防御算法通过基于CNN的分类器学习每个类别的输出阈值，从而将对抗样本和输入图像分类。

在本发明的实验中，本发明通过4种攻击算法下的48个分类场景验证了软阈值防御方法的有效性。实验结果表明，该方法可以有效地抵御对抗样本，在大多数情况下，CNN的欺骗率都降低为0。这降低了在遥感领域中与CNN对抗样本的风险。

上述实施例为本发明的一种实施方式，但本发明的实施方式并不受所述实施例的限制，其他的任何背离本发明的精神实质与原理下所做的改变、修饰、代替、组合、简化，均应为等效的置换方式，都包含在本发明的保护范围之内。

Claims (8)

1.一种遥感图像对抗样本的软阈值防御方法，其特征在于，包括以下步骤：

将正确分类的遥感图像和相应产生的对抗样本的输出置信度保存在同一类验证集中,删除在验证集中不能正确分类的遥感图像；

通过将原始图像作为正面样本，将对抗样本作为负面样本，对保存的验证集中的图像重新分类；

结合分类的输出置信度，得到新数据集D，所述新数据集中每个输入数据包括表示每个遥感图像的输出置信度，和表示该遥感图像是否是对抗样本的标签数据，所述标签数据为0的图像为对抗样本，为1的图像为原始图像；

在所述新数据集D上训练一个逻辑回归模型；

通过原始图像和对抗样本的决策边界获得输出置信度的阈值，所述阈值为每个类别的防守软阈值；

根据当前输入图像的类别选择相应类别的防守软阈值，将当前输入图像的输出置信度和所述防守软阈值相比较，来确定当前输入图像是否是一个对抗样本。

2.根据权利要求1所述的一种遥感图像对抗样本的软阈值防御方法，其特征在于，在所述新数据集D上训练一个逻辑回归模型的步骤包括：

使用Sigmoid函数代替输入的置信度x和对应标签y之间的阶梯函数，计算原始图像的后验概率；

使用最大似然法来求解模型中的权重；

计算所述新数据集D的平均对数似然损失；

使用梯度下降算法迭代获得最优权重。

3.根据权利要求2所述的一种遥感图像对抗样本的软阈值防御方法，其特征在于，对于所述数据集D，使用Sigmod函数定义如下，

z＝wx+b

其中w,b表示模型的权重,p(x)表示输入的x被分类为1的概率，即原始图像的后验概率。

4.根据权利要求3所述的一种遥感图像对抗样本的软阈值防御方法，其特征在于，对抗样本的概率计算如下：

P(y|x；w,b)＝p(x)^y(1-p(x))^1-y

P(y|x；w,b)表示输入x是否是对抗样本的概率。

5.根据权利要求4所述的一种遥感图像对抗样本的软阈值防御方法，其特征在于，所述最大似然法计算如下：

6.根据权利要求5所述的一种遥感图像对抗样本的软阈值防御方法，其特征在于，所述平均对数似然损失如下：

7.根据权利要求6所述的一种遥感图像对抗样本的软阈值防御方法，其特征在于，最优权重w^*,b^*的计算方法如下：

其中α是学习率，k代表迭代次数。

8.根据权利要求7所述的一种遥感图像对抗样本的软阈值防御方法，其特征在于，所述阈值r如下：

r＝x,如果p(x；w^*,b^*)＝0.5

其中，x是输入，阈值r是用于防御的软阈值，每个类别都有一个相应的软阈值。

Images