CN113378988A - 基于粒子群算法的深度学习系统鲁棒性增强方法及装置 - Google Patents

Abstract

本发明公开了一种基于粒子群算法的深度学习系统鲁棒性增强方法及装置，其中公开的方法的步骤为：获取图像数据集并整理分类为训练集和测试集；利用训练集进行对抗攻击预训练干净深度学习模型；构建鲁棒评估指标评估训练好的深度学习模型；构建零阶和一阶损失函数度量用于评估测试集与训练好的深度学习模型之间的关系；将一阶鲁棒性度量指标作为优化目标函数，从测试集中采集部分良性图像作为初始粒子并初始化粒子的位置和速度，以优化目标函数为最大目标采用粒子群优化算法对初始粒子的位置和速度进行迭代更新以生成测试样本；利用生成的测试样本与测试数据集重新训练深度学习模型获得鲁棒防御模型；对防御后模型受攻击的敏感性进行评估。

Description

基于粒子群算法的深度学习系统鲁棒性增强方法及装置

技术领域

本发明涉及深度学习安全领域，特别涉及一种基于粒子群算法的深度学习系统鲁棒性增强方法及装置。

背景技术

随着深度学习的快速发展，许多现实世界问题达到前所未有的突破的背后都是深度学习作为核心驱动力。

深度学习尽管已经取得了巨大的发展，但是深度学习系统易受到对抗性攻击的影响，对抗性攻击的对抗样本是在原始样本的基础上增加轻微扰动，与人类观察者的正常输入有着轻微的不同，但很容易欺骗深度学习系统做出错误的决策。对抗性攻击的存在不仅损害了深度学习系统的可靠性和鲁棒性，还导致了在人脸识别、恶意软件检测、医疗诊断、自动驾驶等安全等应用中不数深度学习系统的安全性问题。

在软件工程社区中已经做出了显著的努力来减轻对抗攻击的威胁，并在对抗样本存在的情况下提高深度学习系统的鲁棒性。现有的测试方法分为形式化的鲁棒性验证和系统测试两个方向，旨在及时发现深度学习模型的潜在缺陷以便进行理想的缺陷修复。

形式验证旨在证明在给定输入的邻域内不存在敌对的攻击样本，使用抽象解释、决策边界鲁棒性分析和可达性分析等方法已经取得了实质性进展。然而，形式验证技术通常是昂贵的，并且仅适用于有限的模型结构和属性。

系统测试旨在生成可以暴露深度学习模型漏洞的测试样本，然后，测试样本可以通过重新训练模型来提高模型的鲁棒性；但是，最近的研究结果表明，即使是基于现有的测试度量生成的测试样本与模型的鲁棒性并无直接的关系，这将导致重训练后的深度学习模型的鲁棒性提升度将受限。

对于以上问题，一方面，需要构建具有代表性的测试指标与模型的鲁棒性直接相关联，实现细粒度的深度学习模型详尽测试；另一方面，对于重训练来说，需要生成与鲁棒性提升直接相关的具有代表性的测试样本。

发明内容

为解决现有技术中存在的问题，本发明提供一种基于粒子群算法的深度学习系统鲁棒性增强方法及装置，该方法具有良好的适用性，能够有效的评估模型的安全性，获得的样本能够良好的修复模型潜在缺陷，并且不影响正常样本的正确率。

一种基于粒子群算法的深度学习系统鲁棒性增强方法，所述方法包括如下步骤：

获取图像数据集，并将图像数据集进行整理分类为训练集和测试集；并利用训练集进行对抗攻击，预训练干净深度学习模型；

构建鲁棒评估指标对训练好的深度学习模型的鲁棒性进行评估；

构建零阶和一阶损失函数度量用于评估图像测试集与训练好的深度学习模型之间的关系；

将一阶鲁棒性度量指标作为优化目标函数，

从图像测试集中采集部分良性图像作为初始粒子，并初始化粒子的位置和速度，以优化目标函数为最大目标，采用粒子群优化算法对初始粒子的位置和速度进行迭代更新以生成测试样本；

利用生成的测试样本与测试数据集一起重新训练深度学习模型，获得鲁棒防御模型；

对防御后模型受攻击的敏感性进行评估。

所述获取的图像数据集包括MNIST数据集、CIFAR-10数据集和ImageNet数据集，将获取的图像数据集保存为X以及每张图像相应的类标Y。

预训练干净深度模型包括如下步骤：

将划分好的训练集和测试集通过one-hot编码将图片数据集中每个样本的标签转化为一维向量；

收集模型对抗攻击方法FGSM和PGD，将获得的图像数据集进行两种攻击后获取对抗样本X’并保存；

将干净的图像数据输入到深度学习中进行训练，获得高分类置信度的深度学习模型。

所述鲁棒性评估指标包括全局鲁棒性评估指标和经验鲁棒性评估指标；

构建全局鲁棒性指标步骤如下：

设给定一个输入区域，若一个深度学习模型f:R→Y是全局鲁棒的，那么存在一个(σ,ε)领域，使得

并且深度学习模型输出||f(x₁)-f(x₂)||_p≤ε，其中||·||_p表示p范数约束；

构建经验鲁棒性指标步骤如下：

设给定一个深度学习模型f:X→Y，从获得的攻击数据集ATT，定义经验鲁棒性评估指标u:(f,ATT)→[0,1]为γ，其中γ表示为对抗攻击数据集对于深度学习模型的攻击准确率。

给定一组测试数据集x_i∈X,i＝1,2,...，一个深度学习模型f:X→Y，则零阶损失函数度量构建为：

ZOL(x_i,f)＝ξ(f(θ,x_i),y_i)

其中，ξ(·)表示深度学习模型的损失损失函数，θ表示为当前模型训练完成后的参数，y_i∈Y,i＝1,2,...表示测试输入的真实类标；

零阶损失函数直接计算与深度学习模型相关的测试样本的当前损失值。

给定一个输入x_i∈X,i＝1,2,...和它的ε邻域内的样本{x|||x-x_i||_p≤ε}和一组测试样本x_t，则一阶损失函数度量表示为：

对于不同的种子，生成的测试样本的损失可能有很大的不同，一般来说，更容易生成种子丢失率高的测试样本，因此采用一阶损失函数度量来进行优化。

所述优化目标函数表示为：

fit[i]＝P(C_i)-P(C_j,j≠i)+λ·FOL(x,x_t,f)

其中，P(·)表示为概率密度函数，C_i,C_j表示第i类和第j类(i≠j)，f为深度学习模型。

所述初始粒子的位置和速度的标准更新方式表示为：

v_i(t+1)＝v_i(t)+c₁r₁(t)[p_best(t)-x_i(t)]+c₂r₂(t)[g_best(t)-x_i(t)]

x_i(t+1)＝x_i(t)+v_i(t+1)

其中，其中t代表的是迭代的轮数，c₁和c₂为学习因子，r₁和r₂为0～1内的随机数，增加了粒子飞行的随机性，v_i为速度，x_i为位置，p_best为个体极值，g_best为全局极值。

具体过程为，从样本集中采集部分良性图像作为初始粒子，并初始化粒子的位置v_i和速度x_i，其中，位置v_i和速度x_i均为样本空间的维度，i为粒子的索引；

将每个粒子作为输入图像，根据目标函数计算每个粒子的适应度值fit[i]；比较每个粒子的适应度值fit[i]和个体极值p_best，如果fit[i]＜p_best[i]，则fit[i]用替代p_best，以更新个体极值p_best；

比较每个粒子的适应度值fit[i]和全局极值g_best，如果fit[i]＜g_best，则tif[i]用替代g_best，以更新全局极值g_best。

所述鲁棒性防御模型表示如下：

其中，y_i∈Y,i＝1,2,...表示测试输入的真实类标，ξ(·)表示深度学习模型的损失损失函数，f为深度学习模型，x_ti表示测试一组样本集合x_t中的第i个。。

对防御后模型的敏感性进行评估利用如下模型：

值越小表示模型防御效果越好；

其中，ASR(·)衡量测试模型对于对抗攻击的敏感性，f’为增加防御机制后的深度学习模型。

一种基于粒子群算法的深度学习系统鲁棒性增强装置，包括：

收集模块，收集图像并对图像进行整理分类；

预训练模块，根据获得的图像进行对抗攻击，预训练干净深度学习模型；

评估指标模块，构建全局鲁棒评估指标和经验鲁棒评估指标，对模型的鲁棒性提供评估，并且构建零阶和一阶鲁棒性度量用于评估样本与模型鲁棒性之间的关系；

测试样本生成模块，通过一阶鲁棒性度量指标作为优化目标函数，粒子群优化算法以优化目标函数作为最大目标，采用粒子群优化算法对初始粒子的位置和速度进行迭代更新以生成测试样本；

防御机制模块，通过生成的测试样本测试数据集一起对深度学习模型参数进行更新，获得鲁棒防御模型；

评估模块，通过评估防御后模型受攻击的敏感性，来判断模型是否理想地修复潜在的缺陷，并获得一定的防御能力。

与现有技术相比，本发明的有益之处在于：

(1)本方法通过一阶损失函数与模型鲁棒性之间建立关系，通过粒子群优化算法寻找适应度函数最大的粒子生成测试样本，并将样本与真实类标一起重新更新模型参数对于中毒模型，通过衡量鲁棒增强后的防御模型对于对抗样本的敏感度，来判断模型是否理想地修复潜在的缺陷，实现自我防御机制，具有良好的适用性，能够有效的评估模型的安全性，获得的样本能够良好的修复模型潜在缺陷，并且不影响正常样本的正确率。

附图说明

图1是本发明提供的基于粒子群算法的深度学习系统鲁棒性增强方法框图；

图2是本发明提供的基于粒子群算法的深度学习系统鲁棒性增强装置的结构示意图。

具体实施方式

下面结合附图和具体实施方式对本发明做进一步说明。

基于粒子群算法的深度学习系统鲁棒性增强方法，通过一阶损失函数与模型鲁棒性之间建立关系，通过粒子群优化算法寻找适应度函数最大的粒子生成测试样本，并将样本与真实类标一起重新更新模型参数对于中毒模型。通过衡量鲁棒增强后的防御模型对于对抗样本的敏感度，来判断模型是否理想地修复潜在的缺陷，实现自我防御机制。

图1为本实施例提供的基于粒子群算法的深度学习系统鲁棒性增强方法框图，实施例提供的基于粒子群算法的深度学习系统鲁棒性增强方法可以用于自动驾驶领域，深度学习模型依据采集的图像数据构建神经通路，用于建立防御机制，以保证自动驾驶的安全性。如图1所示，基于粒子群算法的深度学习系统的鲁棒性增强方法包括如下步骤：

一种基于粒子群算法的深度学习系统鲁棒性增强方法，所述方法包括如下步骤：

(1)获取图像数据集，并将图像数据集进行整理分类为训练集和测试集；所述获取的图像数据集包括MNIST数据集、CIFAR-10数据集和ImageNet数据集，将获取的图像数据集保存为X以及每张图像相应的类标Y。

(2)利用训练集进行对抗攻击，预训练干净深度学习模型；预训练干净深度模型包括如下步骤：

(2-1)将划分好的训练集和测试集通过one-hot编码将图片数据集中每个样本的标签转化为一维向量；

(2-2)收集模型对抗攻击方法FGSM和PGD，将获得的图像数据集进行两种攻击后获取对抗样本X’并保存；

(2-3)将干净的图像数据输入到深度学习中进行训练，获得高分类置信度的深度学习模型。

(3)构建鲁棒评估指标对训练好的深度学习模型的鲁棒性进行评估；所述鲁棒性评估指标包括全局鲁棒性评估指标和经验鲁棒性评估指标；

(3-1)构建全局鲁棒性指标步骤如下：

设给定一个输入区域，若一个深度学习模型f:R→Y是全局鲁棒的，那么存在一个(σ,ε)领域，使得

并且深度学习模型输出||f(x₁)-f(x₂)||_p≤ε，其中||·||_p表示p范数约束；

(3-2)构建经验鲁棒性指标步骤如下：

设给定一个深度学习模型f:X→Y，从获得的攻击数据集ATT，定义经验鲁棒性评估指标u:(f,ATT)→[0,1]为γ，其中γ表示为对抗攻击数据集对于深度学习模型的攻击准确率。

(4)构建零阶和一阶损失函数度量用于评估图像测试集与训练好的深度学习模型之间的关系；

(4-1)给定一组测试数据集x_i∈X,i＝1,2,...，一个深度学习模型f:X→Y，则零阶损失函数度量构建为：

ZOL(x_i,f)＝ξ(f(θ,x_i),y_i)

其中，ξ(·)表示深度学习模型的损失损失函数，θ表示为当前模型训练完成后的参数，y_i∈Y,i＝1,2,...表示测试输入的真实类标；

(4-2)给定一个输入x_i∈X,i＝1,2,...和它的ε邻域内的样本{x|||x-x_i||_p≤ε}和一组测试样本x_t，则一阶损失函数度量表示为：

(5)利用深度学习模型得到的不同类的类标标签的置信度的差异与一阶鲁棒性度量指标作为优化目标函数，

所述优化目标函数表示为：

fit[i]＝P(C_i)-P(C_j,j≠i)+λ·FOL(x,x_t,f)

其中，P(·)表示为概率密度函数，C_i,C_j表示第i类和第j类(i≠j)，f为深度学习模型。

(6)从图像测试集中采集部分良性图像作为初始粒子，并初始化粒子的位置和速度，以优化目标函数为最大目标，采用粒子群优化算法对初始粒子的位置和速度进行迭代更新以生成测试样本；

所述初始粒子的位置和速度的标准更新方式表示为：

v_i(t+1)＝v_i(t)+c₁r₁(t)[p_best(t)-x_i(t)]+c₂r₂(t)[g_best(t)-x_i(t)]

x_i(t+1)＝x_i(t)+v_i(t+1)

其中，其中t代表的是迭代的轮数，c₁和c₂为学习因子，r₁和r₂为0～1内的随机数，增加了粒子飞行的随机性，v_i为速度，x_i为位置，p_best为个体极值，g_best为全局极值。

(7)利用生成的测试样本与测试数据集一起重新训练深度学习模型，获得鲁棒防御模型；

所述鲁棒性防御模型表示如下：

其中，y_i∈Y,i＝1,2,...表示测试输入的真实类标，ξ(·)表示深度学习模型的损失损失函数，f为深度学习模型，x_ti表示测试一组样本集合x_t中的第i个。。

(8)对防御后模型受攻击的敏感性进行评估；

对防御后模型的敏感性进行评估利用如下模型：

值越小表示模型防御效果越好；

其中，ASR(·)衡量测试模型对于对抗攻击的敏感性，f’为增加防御机制后的深度学习模型。

图2为基于粒子群算法的深度学习系统鲁棒性增强装置，包括：

收集模块，收集图像并对图像进行整理分类；

预训练模块，根据获得的图像进行对抗攻击，预训练干净深度学习模型；

评估指标模块，构建全局鲁棒评估指标和经验鲁棒评估指标，对模型的鲁棒性提供评估，并且构建零阶和一阶鲁棒性度量用于评估样本与模型鲁棒性之间的关系；

测试样本生成模块，通过一阶鲁棒性度量指标作为优化目标函数，粒子群优化算法以优化目标函数作为最大目标，采用粒子群优化算法对初始粒子的位置和速度进行迭代更新以生成测试样本；

防御机制模块，通过生成的测试样本测试数据集一起对深度学习模型参数进行更新，获得鲁棒防御模型；

评估模块，通过评估防御后模型受攻击的敏感性，来判断模型是否理想地修复潜在的缺陷，并获得一定的防御能力。

Claims (10)

1.一种基于粒子群算法的深度学习系统鲁棒性增强方法，其特征在于，所述方法包括如下步骤：

获取图像数据集，并将图像数据集进行整理分类为训练集和测试集；并利用训练集进行对抗攻击，预训练干净深度学习模型；

构建鲁棒评估指标对训练好的深度学习模型的鲁棒性进行评估；

构建零阶和一阶损失函数度量用于评估测试集与训练好的深度学习模型之间的关系；

将一阶鲁棒性度量指标作为优化目标函数；

从测试集中采集部分良性图像作为初始粒子，并初始化粒子的位置和速度，以优化目标函数为最大目标，采用粒子群优化算法对初始粒子的位置和速度进行迭代更新以生成测试样本；

利用生成的测试样本与测试数据集一起重新训练深度学习模型，获得鲁棒防御模型；

对防御后模型受攻击的敏感性进行评估。

2.根据权利要求1所述的基于粒子群算法的深度学习系统鲁棒性增强方法，其特征在于，所述获取的图像数据集包括MNIST数据集、CIFAR-10数据集和ImageNet数据集，将获取的图像数据集保存为X以及每张图像相应的类标Y。

3.根据权利要求1所述的基于粒子群算法的深度学习系统鲁棒性增强方法，其特征在于，预训练干净深度模型包括如下步骤：

将划分好的训练集和测试集通过one-hot编码将图片数据集中每个样本的标签转化为一维向量；

收集模型对抗攻击方法FGSM和PGD，将获得的图像数据集进行两种攻击后获取对抗样本X’并保存；

将干净的图像数据输入到深度学习中进行训练，获得高分类置信度的深度学习模型。

4.根据权利要求3所述的基于粒子群算法的深度学习系统鲁棒性增强方法，其特征在于，所述鲁棒性评估指标包括全局鲁棒性评估指标和经验鲁棒性评估指标；

构建全局鲁棒性指标步骤如下：

设给定一个输入区域，若一个深度学习模型f:R→Y是全局鲁棒的，那么存在一个(σ,ε)领域，使得

并且深度学习模型输出||f(x₁)-f(x₂)||_p≤ε，其中||·||_p表示p范数约束；

构建经验鲁棒性指标步骤如下：

设给定一个深度学习模型f:X→Y，从获得的攻击数据集ATT，定义经验鲁棒性评估指标u:(f,ATT)→[0,1]为γ，其中γ表示为对抗攻击数据集对于深度学习模型的攻击准确率。

5.根据权利要求4所述的基于粒子群算法的深度学习系统鲁棒性增强方法，其特征在于，给定一组测试数据集x_i∈X,i＝1,2,...，一个深度学习模型f:X→Y，则零阶损失函数度量构建为：

ZOL(x_i,f)＝ξ(f(θ,x_i),y_i)

其中，ξ(·)表示深度学习模型的损失损失函数，θ表示为当前模型训练完成后的参数，y_i∈Y,i＝1,2,...表示测试输入的真实类标；

给定一个输入x_i∈X,i＝1,2,...和它的ε邻域内的样本{x|||x-x_i||_p≤ε}和一组测试样本x_t，则一阶损失函数度量表示为：

6.根据权利要求5所述的基于粒子群算法的深度学习系统鲁棒性增强方法，其特征在于，所述优化目标函数表示为：

fit[i]＝P(C_i)-P(C_j,j≠i)+λ·FOL(x,x_t,f)

其中，P(·)表示为概率密度函数，C_i,C_j表示第i类和第j类(i≠j)，f为深度学习模型。

7.根据权利要求6所述的基于粒子群算法的深度学习系统鲁棒性增强方法，其特征在于，所述初始粒子的位置和速度的标准更新方式表示为：

v_i(t+1)＝v_i(t)+c₁r₁(t)[p_best(t)-x_i(t)]+c₂r₂(t)[g_best(t)-x_i(t)]

x_i(t+1)＝x_i(t)+v_i(t+1)

其中，其中t代表的是迭代的轮数，c₁和c₂为学习因子，r₁和r₂为0～1内的随机数，增加了粒子飞行的随机性，v_i为速度，x_i为位置，p_best为个体极值，g_best为全局极值。

8.根据权利要求7所述的基于粒子群算法的深度学习系统鲁棒性增强方法，其特征在于，所述鲁棒性防御模型表示如下：

其中，y_i∈Y,i＝1,2,...表示测试输入的真实类标，ξ(·)表示深度学习模型的损失损失函数，f为深度学习模型，x_ti表示测试一组样本集合x_t中的第i个。

9.根据权利要求8所述的基于粒子群算法的深度学习系统鲁棒性增强方法，其特征在于，对防御后模型的敏感性进行评估利用如下模型：

值越小表示模型防御效果越好；

其中，ASR(·)衡量测试模型对于对抗攻击的敏感性，f’为增加防御机制后的深度学习模型。

10.一种基于粒子群算法的深度学习系统鲁棒性增强装置，其特征在于，包括：

收集模块，收集图像并对图像进行整理分类；

预训练模块，根据获得的图像进行对抗攻击，预训练干净深度学习模型；

评估指标模块，构建全局鲁棒评估指标和经验鲁棒评估指标，对模型的鲁棒性提供评估，并且构建零阶和一阶鲁棒性度量用于评估样本与模型鲁棒性之间的关系；

测试样本生成模块，将一阶鲁棒性度量指标作为优化目标函数，粒子群优化算法以优化目标函数作为最大目标，采用粒子群优化算法对初始粒子的位置和速度进行迭代更新以生成测试样本；

防御机制模块，通过生成的测试样本测试数据集一起对深度学习模型参数进行更新，获得鲁棒防御模型；

评估模块，通过评估防御后模型受攻击的敏感性，来判断模型是否理想地修复潜在的缺陷，并获得一定的防御能力。

Images