CN109902018A - 一种智能驾驶系统测试案例的获取方法 - Google Patents

Abstract

本发明涉及一种智能驾驶系统测试案例的获取方法，该方法针对图像分类问题，将神经网络模型攻击问题形式化为优化问题；并利用演化算法迭代运算，实现对神经网络模型的黑箱对抗，同时，采用基于神经网络对抗样本制导的方式来生成智能车的测试库。与现有技术相比，本发明可自动获取有效的测试案例库，并具有保证以100％成功率攻击目标模型的同时，确保了攻击策略的可拓展性等优点。

Description

一种智能驾驶系统测试案例的获取方法

技术领域

本发明涉及智能驾驶技术领域，尤其是涉及一种智能驾驶系统测试案例的获取方法。

背景技术

智能驾驶的火热发展离不开人工智能技术的进步，而其中以神经网络的相关研究最为突出。基于神经网络模型，可以实现具备实时性、高精度、端到端的环境感知系统。但同时，该模型也存在相当大的潜在风险，如在某些场景下，一些对人来说非常细小的变化可能会导致严重的感知错误。针对具体的车型如何自动高效地产生出有效的测试案例，是智能车能否快速落地的关键。

针对采用神经网络模型的智能驾驶单元，尤其是感知系统，现有的产生测试样本的研究对神经网络进行对抗的主流方法基本都为白箱对抗，即对抗的前提是已知网络模型内部结构，在寻找对抗样本所需的噪音扰动时，必须基于网络模型的梯度信息。但是，在真正的现实情况中，测试人员往往无法完全知晓网络模型的内部结构，无法得到模型的梯度信息，也就无法利用以上的白箱对抗算法对网络进行对抗，进而得到测试样本。所以，黑箱对抗的算法往往具有更深刻的现实威胁。相比起白箱方式，关于黑箱对抗的算法研究相对较少，且现有黑箱对抗算法无法保证对抗的成功率，且对抗的领域拓展性较差，除了针对分类器以外，难以拓展至感知系统的其他模型中(例如针对目标检测、语义分割的模型等)。此外，现有智能车的测试方法基本上是采用统一的共享的测试样本库，即将自然场景进行元场景的切分、重组，得到风险相关的测试案例库。但是，目前还未有较好的针对某类型智能车特征的测试库的形成方法。

发明内容

本发明的目的就是为了克服上述现有技术存在的缺陷而提供一种智能驾驶系统测试案例的获取方法。

本发明的目的可以通过以下技术方案来实现：

一种智能驾驶系统测试案例的获取方法，包括下列步骤：

S1：利用智能驾驶系统的感知系统获取原始图像；

S2：针对智能驾驶系统的神经网络需要实现的错误设立攻击目标；

S3：根据攻击目标设立针对神经网络攻击的损失函数；

S4：对神经网络模型内部结构进行判断，对非已知内部结构的神经网络采用黑箱优化方法进行迭代计算，获取欺骗噪音，完成黑箱攻击；具体步骤包括：

1)按照演化算法所设定的一定分布随机生成一组噪音，利用为攻击神经网络所设立的损失函数值评价当前组噪音的性能，并从当前组噪音中选择一定数量的噪音；

2)利用选择的噪音与相应的评价表现来更新分布，更新分布后重新按照当前分布随机生成一组噪音，重复上述操作，进行迭代求解；

3)对迭代后的解进行判断，若迭代后的解足以欺骗过神经网络模型，则迭代停止，执行下一步，否则，再次执行步骤2)；

判断迭代后的解是否足以欺骗过神经网络模型的标准为判断对神经网络黑箱攻击后其生成的噪音的欺骗能力是否越来越强。即利用建立的损失函数获取神经网络预测结果与真实结果的接近程度，若预测结果与真实结果相差越多，则代表神经网络生成的噪音的欺骗能力越强。

4)将最终获取的解作为施加在原始图像上的欺骗噪音。

S5：将获取的欺骗噪音施加在原始图像上，获取基础样本，并将不同原始图像生成的测试样本组成针对神经网络的基础样本库；

S6：将基础样本库布置到虚拟场景中，获取测试案例场景库。

与现有技术相比，本发明具有以下优点：

一、本发明通过形式化神经网络的攻击问题，利用演化算法无需梯度信息的特点，实现对神经网络模型的黑箱攻击，在保证以100％成功率攻击目标模型的同时，确保了攻击策略的可拓展性；

二、本发明方法在迭代过程中，通过演化算法找到足以欺骗神经网络模型的输入端噪音，并通过添加噪音，能够有效地攻击神经网络模型，使感知系统的视觉检测输出产生异常，从而形成针对此神经网络系统的基础样本库，有利于对不同智能驾驶系统获取自然场景进行元场景的切分、重组，得到风险相关的有效测试案例库。

附图说明

图1为本发明方法的流程示意图。

具体实施方式

下面结合附图和具体实施例对本发明进行详细说明。显然，所描述的实施例是本发明的一部分实施例，而不是全部实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都应属于本发明保护的范围。

如图1所示，本发明涉及一种智能驾驶系统测试案例的获取方法，该方法包括以下步骤：

步骤一、利用智能驾驶系统的感知系统获取图片。

步骤二、针对智能驾驶系统的神经网络需实现的错误在获取的图片中设立攻击目标。

步骤三、判断神经网络的模型结构是否为已知结构，若是，则采用白箱攻击神经网络，否则，采用白箱攻击方法获取欺骗噪音，并对神经网络进行黑箱攻击。

采用采用白箱攻击方法获取欺骗噪音，并对神经网络进行黑箱攻击的具体内容为：

演化算法是一类模拟自然界遗传进化规律的仿生学算法，遗传算法是其中的一个分支。由于遗传算法的整体搜索策略和优化计算时不依赖于梯度信息，所以它的应用非常广泛，尤其适合于处理传统搜索方法难以解决的高度复杂的非线性问题。与传统的基于微积分的方法和穷举法等优化算法相比，演化算法是一种成熟的具有高鲁棒性和广泛适用性的全局优化方法，具有自组织、自适应、自学习的特性，能够不受问题性质的限制，有效地处理传统优化算法难以解决的复杂问题。

本发明采用演化算法寻找施加在图片上的欺骗噪音。在使用演化算法前，首先随机生成一组噪音，然后利用演化算法评价当前这组噪音的性能，并从当前这组噪音中选择一定数量的噪音作为迭代后的解的基础。随后，再对选择后的噪音再次进行评价操作，得到迭代后的解。若这些解满足使得对神经网络的欺骗能力越来越强，则迭代停止，将最终获取的解作为可施加在图片上的欺骗噪音；否则，将这些迭代得到的解作为当前解重新进行评价、迭代操作。演化算法可采用遗传算法、遗传规划、进化规划和进化策略等。

判断神经网络的欺骗能力越来越强的标准为：

利用建立的损失函数获取神经网络预测结果与真实结果的接近程度，预测结果与真实结果相差越多，代表神经网络的欺骗能力越强。

通过添加噪音，能够有效地攻击神经网络模型，使感知系统的视觉检测输出产生异常。优选地，损失函数可采用交叉熵函数来体现。

步骤四、将获取的欺骗噪音施加在图片上，获取基础样本，将不同图片生成的测试样本组成针对此神经网络的基础样本库。

步骤五、将基础样本库布置到虚拟场景中(即一个自动驾驶的仿真软件)，获取测试案例场景库。仿真软件可采用Carla。

为证明本发明方法的有效性，本实施例进行了两组实验。

实验一：

实验目的：验证本专利中黑箱攻击策略的可行性，与不同演化算法在此优化问题环境下的效果。由于对抗成功率为100％，故通过测试所得到的噪音范数大小与带噪音图像和原始图像的结构相似性为标准，衡量不同演化算法在此黑箱攻击策略中的优越性。

在手写数字识别MNIST数据集上，训练一个LeNet卷积神经网络，模型能够在测试集上达到99％的分类准确率。在本发明黑箱策略的基础上利用不同演化算法对该模型进行黑箱攻击，测试攻击完成后带有欺骗噪音的图像与原始图像的结构相似性。由于对抗成功率为100％，故通过测试所得到的噪音范数大小与带噪音图像和原始图像的结构相似性为标准，可衡量不同演化算法在此黑箱攻击策略中的优越性，衡量结果如表1所示。表中，GA为遗传算法(Genetic Algorithm)，PEPG为Parameter-Exploring Policy Gradien算法，OpenAI为OpenAI Evolution Strategy算法，CMA-ES(Covariance Matrix AdaptationEvolutionary Strategies)为协方差矩阵自适应进化算法，上述演化算法中，有一超参数为种群规模大小，会影响最后的效果。25、100即代表种群中的个体数量。

表1实验一实验结果

实验二：

实验目的：验证本发明中黑箱对抗策略的可行性，测试不同种群规模CMA-ES在此问题中的优化效果。同时测试在优化问题中不同范数对攻击效果的影响。

在公开数据集Cifar-10上，训练一个ResNet-18卷积神经网络，该模型能够在测试集上达到89.9％的分类准确率。利用本发明黑箱策略结合CMA-ES算法对该模型进行黑箱对抗，测试攻击完成后带有欺骗噪音的图像与原始图像的结构相似性，并测试不同范数对攻击效果的影响。实验结果如表2所示。

表2实验二实验结果

以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的工作人员在本发明揭露的技术范围内，可轻易想到各种等效的修改或替换，这些修改或替换都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以权利要求的保护范围为准。

Claims (4)

1.一种智能驾驶系统测试案例的获取方法，其特征在于，该方法包括下列步骤

1)利用智能驾驶系统的感知系统获取原始图像；

2)针对智能驾驶系统的神经网络需要实现的错误设立攻击目标；

3)根据攻击目标设立针对神经网络攻击的损失函数；

4)对神经网络模型内部结构进行判断，对非已知内部结构的神经网络采用黑箱优化方法进行迭代计算，获取欺骗噪音，完成黑箱攻击；

5)将获取的欺骗噪音施加在原始图像上，获取基础样本，并将不同原始图像生成的测试样本组成针对神经网络的基础样本库；

6)将基础样本库布置到虚拟场景中，获取测试案例场景库。

2.根据权利要求1所述的一种智能驾驶系统测试案例的获取方法，其特征在于，步骤4)中，采用黑箱优化方法进行迭代计算，获取欺骗噪音，完成黑箱攻击的具体步骤包括：

401)按照演化算法所设定的一定分布随机生成一组噪音，利用为攻击神经网络所设立的损失函数值评价当前组噪音的性能，并从当前组噪音中选择一定数量的噪音；

402)利用选择的噪音与相应的评价表现来更新分布，更新分布后重新按照当前分布随机生成一组噪音，重复上述操作，进行迭代求解；

403)对迭代后的解进行判断，若迭代后的解足以欺骗过神经网络模型，则迭代停止，执行下一步，否则，再次执行步骤302)；

404)将最终获取的解作为施加在原始图像上的欺骗噪音。

3.根据权利要求2所述的一种智能驾驶系统测试案例的获取方法，其特征在于，步骤403)中，判断迭代后的解是否足以欺骗过神经网络模型的标准为判断对神经网络黑箱攻击后其生成的噪音的欺骗能力是否越来越强。

4.根据权利要求3所述的一种智能驾驶系统测试案例的获取方法，其特征在于，步骤403)中，判断对神经网络黑箱攻击后其生成的噪音的欺骗能力是否越来越强的具体内容为：

利用建立的损失函数获取神经网络预测结果与真实结果的接近程度，若预测结果与真实结果相差越多，则代表神经网络生成的噪音的欺骗能力越强。