CN110222831A

CN110222831A - 深度学习模型的鲁棒性评估方法、装置及存储介质

Info

Publication number: CN110222831A
Application number: CN201910515046.XA
Authority: CN
Inventors: 刘焱; 郝新; 王洋
Original assignee: Beijing Baidu Netcom Science and Technology Co Ltd
Current assignee: Beijing Baidu Netcom Science and Technology Co Ltd
Priority date: 2019-06-13
Filing date: 2019-06-13
Publication date: 2019-09-10
Anticipated expiration: 2039-06-13
Also published as: CN110222831B

Abstract

本发明实施例提出一种深度学习模型的鲁棒性评估方法、装置及计算机可读存储介质。其中深度学习模型的鲁棒性评估方法包括：获取与待评估的深度学习模型对应的开源模型和数据集；将数据集中的原始图像输入到开源模型中，生成与原始图像对应的对抗样本；调用待评估的深度学习模型，使用对抗样本对待评估的深度学习模型进行攻击；统计数据集中的原始图像对应的对抗样本对待评估的深度学习模型的攻击成功率；利用攻击成功率确定待评估的深度学习模型的鲁棒性指标。本发明实施例不用提供深度学习模型的网络结构定义和参数，属于黑盒评估方式，仅需调用该模型即可达到接近白盒攻击算法的评估效果。且该方法大大减少了攻击次数，提升了评估效率。

Description

深度学习模型的鲁棒性评估方法、装置及存储介质

技术领域

本发明涉及信息技术领域，尤其涉及一种深度学习模型的鲁棒性评估方法、装置及计算机可读存储介质。

背景技术

在深度学习模型应用于智能驾驶、人脸支付、智能安防等敏感领域时，如果遭受对抗样本攻击，将会威胁驾驶安全、资金安全和公共安全。通常把深度学习模型抵御对抗样本的能力称为深度学习模型的鲁棒性。在信息安全领域中，评估深度学习模型的鲁棒性是一项非常重要的工作。

一方面，目前评估深度学习模型的鲁棒性主要依赖白盒攻击算法，需要提供深度学习模型的具体网络结构定义以及具体参数。常见的白盒攻击算法如下：L-BFGS(1argeBFGS)算法、FGSM(Fast Gradient Sign Method，快速梯度符号)算法、BIM(BasicIterative Methods，基本迭代方法)、ILCM(Iterative least-likely class，迭代最小可能类法)、MI-FGSM(Momentum iterative Fast Gradient Sign Method，动量迭代快速符号化梯度法)、JSMA(Jacobian Saliency Map Approach，雅可比特性映射方法)、DeepFool(迷惑深度学习分类模型)、C/W(Carlini&Wagner)方法。

但是在实际工作中，深度学习模型属于甲方企业的知识产权，一旦泄露深度学习模型的具体网络结构定义以及具体参数，会给甲方企业造成巨大损失。因此甲方企业难以将深度学习模型的具体网络结构定义以及具体参数提供给第三方评估者。

另一方面，常见的黑盒攻击算法，比如Single Pixel Attack(单像素攻击)和Local Search Attack(本地搜索攻击)，都依赖于一定的遍历策略，需要远程调用API(Application Programming Interface，应用程序编程接口)多次才能完成攻击过程。例如，黑盒攻击算法可能需要远程调用API几千甚至几十万次，才能完成攻击过程。其中，对于对抗样本的每一次细微改动，如修改一个像素，都需要调用一次API。因此，对于一个对抗样本，可能需要调用次数多达几十万次才能完成攻击。因此，目前评估深度学习模型的鲁棒性的黑盒攻击算法的评估效率较低。

发明内容

本发明实施例提供一种深度学习模型的鲁棒性评估方法、装置及计算机可读存储介质，以解决现有技术中的一个或多个技术问题。

第一方面，本发明实施例提供了一种深度学习模型的鲁棒性评估方法，包括：

获取与待评估的深度学习模型对应的开源模型和数据集；

将所述数据集中的原始图像输入到所述开源模型中，生成与所述原始图像对应的对抗样本；

调用所述待评估的深度学习模型，使用所述对抗样本对所述待评估的深度学习模型进行攻击；

统计所述数据集中的原始图像对应的对抗样本对所述待评估的深度学习模型的攻击成功率；

利用所述攻击成功率确定所述待评估的深度学习模型的鲁棒性指标。

在一种实施方式中，将所述数据集中的原始图像输入到所述开源模型中，生成与所述原始图像对应的对抗样本，包括利用损失函数对输入的所述原始图像进行迭代优化，以生成所述对抗样本；

其中，所述损失函数的值为第一损失值与第二损失值的和；所述第一损失值为定向攻击的目标值和实际预测值的交叉熵；所述第二损失值为输出值的欧氏距离与超参数的乘积；所述输出值的欧氏距离为所述原始图像输入到所述开源模型计算后的卷积层的输出值与所述对抗样本输入到所述开源模型计算后的卷积层输出值之间的欧氏距离。

在一种实施方式中，将所述数据集中的原始图像输入到所述开源模型中，生成与所述原始图像对应的对抗样本，包括：

利用多个所述开源模型进行集成学习，生成与所述原始图像对应的对抗样本。

在一种实施方式中，利用多个所述开源模型进行集成学习，生成与所述原始图像对应的对抗样本，包括：

在串行处理的多个所述开源模型中第一个所述开源模型中输入所述原始图像，将串行处理的多个所述开源模型中最后一个所述开源模型的输出结果作为所述对抗样本。

在一种实施方式中，调用所述待评估的深度学习模型，使用所述对抗样本对所述待评估的深度学习模型进行攻击，包括：

调用所述待评估的深度学习模型的应用程序编程接口，使用所述对抗样本对所述待评估的深度学习模型进行攻击；

确认是否攻击成功。

第二方面，本发明实施例提供了一种深度学习模型的鲁棒性评估装置，包括：

获取单元，用于获取与待评估的深度学习模型对应的开源模型和数据集；

生成单元，用于：将所述数据集中的原始图像输入到所述开源模型中，生成与所述原始图像对应的对抗样本；

攻击单元，用于：调用所述待评估的深度学习模型，使用所述对抗样本对所述待评估的深度学习模型进行攻击；

统计单元，用于统计所述数据集中的原始图像对应的对抗样本对所述待评估的深度学习模型的攻击成功率；

确定单元，用于：利用所述攻击成功率确定所述待评估的深度学习模型的鲁棒性指标。

在一种实施方式中，所述生成单元用于利用损失函数对输入的所述原始图像进行迭代优化，以生成所述对抗样本；

在一种实施方式中，所述生成单元用于：

在串行处理的多个所述开源模型中第一个所述开源模型中输入所述原始图像，将串行处理的多个所述开源模型中最后一个所述开源模型的生成结果作为所述对抗样本。

在一种实施方式中，所述攻击单元用于：

确认是否攻击成功。

第三方面，本发明实施例提供了一种深度学习模型的鲁棒性评估装置，所述装置的功能可以通过硬件实现，也可以通过硬件执行相应的软件实现。所述硬件或软件包括一个或多个与上述功能相对应的模块。

在一个可能的设计中，所述装置的结构中包括处理器和存储器，所述存储器用于存储支持所述装置执行上述深度学习模型的鲁棒性评估方法的程序，所述处理器被配置为用于执行所述存储器中存储的程序。所述装置还可以包括通信接口，用于与其他设备或通信网络通信。

第四方面，本发明实施例提供了一种计算机可读存储介质，用于存储深度学习模型的鲁棒性评估装置所用的计算机软件指令，其包括用于执行上述深度学习模型的鲁棒性评估方法所涉及的程序。

上述技术方案中的至少一个方案具有如下优点或有益效果：本发明实施例不需要甲方企业提供深度学习模型的具体网络结构定义以及具体参数，属于黑盒评估方式，仅需要远程调用待评估的深度学习模型的应用程序编程接口即可达到接近白盒攻击算法的评估效果。

上述技术方案中的至少一个方案具有如下优点或有益效果：基于迁移学习的思路进行改进，大大减少了攻击次数，提升了评估效率。例如，对于一个对抗样本，仅需要攻击一次即可完成攻击过程，大大提升评估效率。

上述概述仅仅是为了说明书的目的，并不意图以任何方式进行限制。除上述描述的示意性的方面、实施方式和特征之外，通过参考附图和以下的详细描述，本发明进一步的方面、实施方式和特征将会是容易明白的。

附图说明

在附图中，除非另外规定，否则贯穿多个附图相同的附图标记表示相同或相似的部件或元素。这些附图不一定是按照比例绘制的。应该理解，这些附图仅描绘了根据本发明公开的一些实施方式，而不应将其视为是对本发明范围的限制。

图1示出根据本发明实施例的深度学习模型的鲁棒性评估方法的流程图。

图2示出根据本发明实施例的深度学习模型的鲁棒性评估方法的使用对抗样本对模型进行攻击的流程图。

图3示出根据本发明实施例的深度学习模型的鲁棒性评估方法的流程图。

图4示出根据本发明实施例的深度学习模型的鲁棒性评估装置的结构框图。

图5示出根据本发明实施例的深度学习模型的鲁棒性评估装置的结构框图。

具体实施方式

在下文中，仅简单地描述了某些示例性实施例。正如本领域技术人员可认识到的那样，在不脱离本发明的精神或范围的情况下，可通过各种不同方式修改所描述的实施例。因此，附图和描述被认为本质上是示例性的而非限制性的。

图1示出根据本发明实施例的深度学习模型的鲁棒性评估方法的流程图。如图1所示，该深度学习模型的鲁棒性评估方法包括：

步骤S110，获取与待评估的深度学习模型对应的开源模型和数据集；

步骤S120，将所述数据集中的原始图像输入到所述开源模型中，生成与所述原始图像对应的对抗样本；

步骤S130，调用所述待评估的深度学习模型，使用所述对抗样本对所述待评估的深度学习模型进行攻击；

步骤S140，统计所述数据集中的原始图像对应的对抗样本对所述待评估的深度学习模型的攻击成功率；

步骤S150，利用所述攻击成功率确定所述待评估的深度学习模型的鲁棒性指标。

对抗样本是一个经过微小扰动或调整就可以让深度学习算法输出错误结果的输入样本。例如，在图像识别的应用场景中，原来被一个卷积神经网络分类为某一个类别的图片，经过非常细微甚至人眼无法察觉的改动后，突然被误分成另一个类别。在一个示例中，原来被一个卷积神经网络分类为“熊猫”类别的图片，经过非常细微甚至人眼无法察觉的改动后，突然被误分成“长臂猿”类别。

本发明实施例基于迁移学习的思路，对深度学习模型的黑盒评估方式进行改进，获取已知的深度学习模型，即开源模型。对已知的深度学习模型进行白盒攻击，得到对抗样本。然后再利用白盒攻击得到的对抗样本去攻击待评估模型，以得到待评估模型的鲁棒性。其中，迁移学习是一种机器学习方法，是把一个领域(即源域)的知识，迁移到另外一个领域(即目标域)，使得目标领域能够取得更好的学习效果。也就是说，迁移学习是运用已存有的知识对不同但相关领域问题进行求解的一种机器学习方法。其中，已有的知识叫做源域，要学习的新知识叫做目标域。

在一个示例中，可基于迭代优化并引入新的损失函数，对已知的本地的开源模型进行白盒攻击。然后再用生成的对抗样本远程调用待评估的深度学习模型的APT一次即可即可完成攻击过程，大大提升评估效率。本发明实施例基于迁移学习的思路，在源域中，对已知的本地的开源深度学习模型进行白盒攻击，然后将源域的知识迁移到目标域。在目标域中，利用白盒攻击得到的对抗样本去攻击未知的待评估的深度学习模型，使得目标领域能够取得更好的学习效果。

具体地，在步骤S110中，根据待评估的深度学习模型，准备公开可信的基准数据集。利用基准数据集中的原始图像可生成对抗样本。比如，如果待评估的深度学习模型是图像分类模型，则使用ImageNet数据集。其中，ImageNet计算机视觉系统识别项目名称，ImageNet项目是一个用于视觉对象识别软件研究的大型可视化数据库。再如，如果待评估的深度学习模型是目标检测模型，则使用MS COCO(Microsoft COCO：Common Objects inContext，微软可可：上下文中常见的对象)数据集。其中，MS COCO数据集是微软团队提供的一个可以用来进行图像识别、分割、注解等开发工作的数据集。

在以上示例中，可从ImageNet数据集或MS COCO数据集中选取数量适当的原始图像作为基准数据集，以便后续利用基准数据集中的原始图像对应的对抗样本对待评估的深度学习模型进行攻击后，统计攻击成功率。

另外，在步骤S110中，还需要根据评估的深度学习模型，准备公开可信的基准开源模型。比如，如果待评估的深度学习模型是图像分类模型，则使用VGG或ResNet(ResidualNeural Network)。其中，VGG全称是Visual Geometry Group，属于牛津大学科学工程系，其发布了一些列以VGG开头的卷积网络模型，可以应用在人脸识别、图像分类等方面，版本号分别从VGG16至VGG19。再如，如果待评估的深度学习模型是目标检测模型，则使用FasterRCNN(Faster Regions with Convolutional Neural Networks，快速区域卷积神经网络)、SSD(single shot multibox detector单次多盒检测器)、YOLO(You Only Look Once，你只需要看一眼)模型。

在步骤S120中，对本地的深度学习模型进行白盒攻击，得到对抗样本。将所述数据集中的原始图像输入到本地的深度学习模型中，生成与所述原始图像对应的对抗样本。其中，本地的深度学习模型是根据待评估模型，准备公开可信的基准开源模型。在步骤S130中，基于迁移学习的思路对深度学习模型的黑盒评估方式进行改进，使用白盒攻击得到的对抗样本对待评估的深度学习模型进行攻击。

图2示出根据本发明实施例的深度学习模型的鲁棒性评估方法的使用对抗样本对模型进行攻击的流程图。如图2所示，在一种实施方式中，图1中的步骤S130，调用所述待评估的深度学习模型，使用所述对抗样本对所述待评估的深度学习模型进行攻击，具体可包括：

步骤S210，调用所述待评估的深度学习模型的应用程序编程接口，使用所述对抗样本对所述待评估的深度学习模型进行攻击；

步骤S220，确认是否攻击成功。

在这种实施方式中，使用步骤S120生成的对抗样本，调用待评估的深度学习模型的远程调用API一次，进行验证，观察是否攻击成功。

在步骤S140中，遍历基准数据集中的全部原始图像的数据，对于每个原始图像，分别执行步骤S120和步骤S130之后，统计攻击成功和攻击失败的次数，得到攻击成功率。例如，基准数据集中有n个原始图像，如n＝100。则利用每个原始图像经过步骤S120和步骤S130的处理都可得到一个对抗样本。利用n个原始图像，可得到n个对抗样本。使用n个对抗样本中的每一个，调用待评估的深度学习模型的远程调用API一次，进行验证，观察是否攻击成功。统计攻击成功和攻击失败的次数，得到攻击成功率。

如果攻击成功率较高，则说明待评估的深度学习模型的鲁棒性较差。反之，如果攻击成功率较低，则说明待评估的深度学习模型的鲁棒性较好。因此，在步骤S150中，利用所述攻击成功率确定所述待评估的深度学习模型的鲁棒性指标。在一种实施方式中，可将将所述攻击成功率的值确定为所述待评估的深度学习模型的鲁棒性指标。

在一个示例中，将所述数据集中的原始图像输入到所述开源模型中，生成与所述原始图像对应的对抗样本，包括利用以下损失函数对输入的所述原始图像进行迭代优化，以生成所述对抗样本：

L＝Loss1+Loss2*p

其中，L为损失函数；Loss1为定向攻击的目标值和实际预测值的交叉熵；

Loss2为所述原始图像输入到所述开源模型计算后的卷积层的输出值与所述对抗样本输入到所述开源模型计算后的卷积层输出值之间的欧氏距离；

p为超参数。

上述迭代优化过程中，通过计算损失函数L的值，在优化器的作用下反向传递。整个过程中不优化模型的网络参数，开源模型的结构和网络参数不变，仅调整开源模型的输入值，使开源模型的输入值逐渐接近于对抗样本的值。经过若干次迭代计算后，最终生成了满足需要的对抗样本。其中，优化器可使用Adam(Adaptive moment estimation，自适应矩估计)或SGD(Stochastic gradient descent，随机梯度下降法)。

上述损失函数中，Lossl为定向攻击的目标值和实际预测值的交叉熵(CrossEntropy)。其中，交叉熵是Shannon(香农)信息论中一个重要概念，主要用于度量两个概率分布间的差异性信息。例如：对抗样本为定向攻击的要实现的目标是：将原来被分类为“熊猫”类别的图片误分成“长臂猿”类别。如“熊猫”类别的值是1，“长臂猿”类别的值是0。则定向攻击的目标值是“长臂猿”类别。实际预测值是开源模型实际识别出的结果，可能是“熊猫”，或者是“长臂猿”。

上述损失函数中，p为超参数，是可以手工设置的常数。p的取值范围为大于0且小于1。在步骤S120的一次或多次实验之后，如果实验效果不理想，可调整手工设置的常数p，以提高学习的性能和效果。

集成学习是使用一系列学习器进行学习，并使用某种规则把各个学习结果进行整合从而获得比单个学习器更好的学习效果的一种机器学习方法。本发明实施例利用多个所述开源模型进行集成学习，可达到更好的学习效果。

图3示出根据本发明实施例的深度学习模型的鲁棒性评估方法的流程图。如图3所示，在一种实施方式中，图1中的步骤S120，利用多个所述开源模型进行集成学习，生成与所述原始图像对应的对抗样本，具体可包括步骤S122：

在一个示例中，利用2个所述开源模型进行集成学习。假设选择的同类的基准开源模型为A1和A2。以A1为例，将基准数据集中的原始图像(没有经过扰动或调整的)输入到开源模型A1中，经过迭代优化，得到对抗样本。选择其卷积层的任意一层C1，定义损失函数：

Loss1为定向攻击的目标值和实际预测值的交叉熵；

Loss2为原始图像经过A1计算后C1层的输出值，与对抗样本经过A1计算后C1层的输出值之间的欧氏距离；

L＝Loss1+Loss2*p，其中p为超参数。

为了进一步提高攻击成功率，把A1生成的对抗样本在A2上重复以上操作，也就是将A1生成的对抗样本作为A2的输入值，在A2上重复以上操作，得到最终的对抗样本。

上述技术方案具有如下优点或有益效果：本发明实施例基于黑盒评估方式，不需要甲方企业提供深度学习模型的具体网络结构定义以及具体参数，仅需要远程调用待评估的深度学习模型的应用程序编程接口即可达到接近白盒攻击算法的评估效果。并且基于迁移学习的思路进行改进，对于一个对抗样本，仅需要攻击一次即可完成攻击过程，大大提升评估效率。

图4示出根据本发明实施例的深度学习模型的鲁棒性评估装置的结构框图。如图4所示，本发明实施例的深度学习模型的鲁棒性评估装置包括：

获取单元100，用于获取与待评估的深度学习模型对应的开源模型和数据集；

生成单元200，用于：将所述数据集中的原始图像输入到所述开源模型中，生成与所述原始图像对应的对抗样本；

攻击单元300，用于：调用所述待评估的深度学习模型，使用所述对抗样本对所述待评估的深度学习模型进行攻击；

统计单元400，用于统计所述数据集中的原始图像对应的对抗样本对所述待评估的深度学习模型的攻击成功率；

确定单元500，用于：利用所述攻击成功率确定所述待评估的深度学习模型的鲁棒性指标。

在一种实施方式中，所述生成单元200用于利用损失函数对输入的所述原始图像进行迭代优化，以生成所述对抗样本；

在一个示例中，所述生成单元200用于利用以下损失函数对输入的所述原始图像进行迭代优化，以生成所述对抗样本：

L＝Loss1+Loss2*p

其中，L为损失函数；Lossl为定向攻击的目标值和实际预测值的交叉熵；

p为超参数。

在一种实施方式中，所述生成单元200用于：

在一种实施方式中，所述攻击单元300用于：

确认是否攻击成功。

本发明实施例深度学习模型的鲁棒性评估装置中的各单元的功能可以参见上述方法中的对应描述，在此不再赘述。

图5示出根据本发明实施例的深度学习模型的鲁棒性评估装置的结构框图。如图5所示，该装置包括：存储器910和处理器920，存储器910内存储有可在处理器920上运行的计算机程序。所述处理器920执行所述计算机程序时实现上述实施例中的深度学习模型的鲁棒性评估方法。所述存储器910和处理器920的数量可以为一个或多个。

该装置还包括：

通信接口930，用于与外界设备进行通信，进行数据交互传输。

存储器910可能包含高速RAM存储器，也可能还包括非易失性存储器(non-volatile memory)，例如至少一个磁盘存储器。

如果存储器910、处理器920和通信接口930独立实现，则存储器910、处理器920和通信接口930可以通过总线相互连接并完成相互间的通信。所述总线可以是工业标准体系结构(ISA，Industry Standard Architecture)总线、外部设备互连(PCI，PeripheralComponent Interconnect)总线或扩展工业标准体系结构(EISA，Extended IndustryStandardArchitecture)总线等。所述总线可以分为地址总线、数据总线、控制总线等。为便于表示，图5中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。

可选的，在具体实现上，如果存储器910、处理器920及通信接口930集成在一块芯片上，则存储器910、处理器920及通信接口930可以通过内部接口完成相互间的通信。

本发明实施例提供了一种计算机可读存储介质，其存储有计算机程序，该程序被处理器执行时实现上述实施例中任一所述的方法。

在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。

此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或隐含地包括至少一个该特征。在本发明的描述中，“多个”的含义是两个或两个以上，除非另有明确具体的限定。

流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为，表示包括一个或更多个用于实现特定逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分，并且本发明的优选实施方式的范围包括另外的实现，其中可以不按所示出或讨论的顺序，包括根据所涉及的功能按基本同时的方式或按相反的顺序，来执行功能，这应被本发明的实施例所属技术领域的技术人员所理解。

在流程图中表示或在此以其他方式描述的逻辑和/或步骤，例如，可以被认为是用于实现逻辑功能的可执行指令的定序列表，可以具体实现在任何计算机可读介质中，以供指令执行系统、装置或设备(如基于计算机的系统、包括处理器的系统或其他可以从指令执行系统、装置或设备取指令并执行指令的系统)使用，或结合这些指令执行系统、装置或设备而使用。就本说明书而言，“计算机可读介质”可以是任何可以包含、存储、通信、传播或传输程序以供指令执行系统、装置或设备或结合这些指令执行系统、装置或设备而使用的装置。计算机可读介质的更具体的示例(非穷尽性列表)包括以下：具有一个或多个布线的电连接部(电子装置)，便携式计算机盘盒(磁装置)，随机存取存储器(RAM)，只读存储器(ROM)，可擦除可编辑只读存储器(EPROM或闪速存储器)，光纤装置，以及便携式只读存储器(CDROM)。另外，计算机可读介质甚至可以是可在其上打印所述程序的纸或其他合适的介质，因为可以例如通过对纸或其他介质进行光学扫描，接着进行编辑、解译或必要时以其他合适方式进行处理来以电子方式获得所述程序，然后将其存储在计算机存储器中。

应当理解，本发明的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中，多个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。例如，如果用硬件来实现，和在另一实施方式中一样，可用本领域公知的下列技术中的任一项或他们的组合来实现：具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路，具有合适的组合逻辑门电路的专用集成电路，可编程门阵列(PGA)，现场可编程门阵列(FPGA)等。

本技术领域的普通技术人员可以理解实现上述实施例方法携带的全部或部分步骤是可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，该程序在执行时，包括方法实施例的步骤之一或其组合。

此外，在本发明各个实施例中的各功能单元可以集成在一个处理模块中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。所述集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读存储介质中。所述存储介质可以是只读存储器，磁盘或光盘等。

以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到其各种变化或替换，这些都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以所述权利要求的保护范围为准。

Claims

1.一种深度学习模型的鲁棒性评估方法，其特征在于，包括：

获取与待评估的深度学习模型对应的开源模型和数据集；

2.根据权利要求1所述的方法，其特征在于，将所述数据集中的原始图像输入到所述开源模型中，生成与所述原始图像对应的对抗样本，包括利用损失函数对输入的所述原始图像进行迭代优化，以生成所述对抗样本；

3.根据权利要求2所述的方法，其特征在于，将所述数据集中的原始图像输入到所述开源模型中，生成与所述原始图像对应的对抗样本，包括：

4.根据权利要求3所述的方法，其特征在于，利用多个所述开源模型进行集成学习，生成与所述原始图像对应的对抗样本，包括：

5.根据权利要求1至4中任一项所述的方法，其特征在于，调用所述待评估的深度学习模型，使用所述对抗样本对所述待评估的深度学习模型进行攻击，包括：

确认是否攻击成功。

6.一种深度学习模型的鲁棒性评估装置，其特征在于，包括：

7.根据权利要求6所述的装置，其特征在于，所述生成单元用于利用损失函数对输入的所述原始图像进行迭代优化，以生成所述对抗样本；

8.根据权利要求7所述的装置，其特征在于，所述生成单元用于：

9.根据权利要求8所述的装置，其特征在于，所述生成单元用于：

10.根据权利要求6至9中任一项所述的装置，其特征在于，所述攻击单元用于：

确认是否攻击成功。

11.一种深度学习模型的鲁棒性评估装置，其特征在于，包括：

一个或多个处理器；

存储装置，用于存储一个或多个程序；

当所述一个或多个程序被所述一个或多个处理器执行时，使得所述一个或多个处理器实现如权利要求1至5中任一项所述的方法。

12.一种计算机可读存储介质，其存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1至5中任一项所述的方法。