CN113610141B - 自动驾驶多传感器融合感知模型的鲁棒性测试方法及系统 - Google Patents

Abstract

本发明公开了自动驾驶多传感器融合感知模型的鲁棒性测试方法及系统，所述方法包括：利用预处理后的多个车载传感器的数据，训练得到多传感器融合感知模型；从多个车载传感器中选取一个待攻击传感器；在选择的待攻击传感器采集的数据上生成添加对抗扰动噪声的掩码，由此生成欺诈数据；将欺诈数据与其他传感器正常采集到的数据输入训练好的多传感器融合感知模型，计算欺诈数据生成的损失函数，并进行反向传播；结合损失函数梯度对欺诈数据进行迭代更新，得到最终的欺诈数据；将最终的欺诈数据与其他传感器正常采集到的数据输入到多传感器融合感知模型中，得到多传感器融合感知模型的输出精度，根据输出精度获取多传感器融合感知模型的鲁棒性测试结果。

Description

自动驾驶多传感器融合感知模型的鲁棒性测试方法及系统

技术领域

本发明涉及智能驾驶技术领域，具体涉及自动驾驶多传感器融合感知模型的鲁棒性测试方法及系统。

背景技术

近些年来，多传感器融合感知技术在自动驾驶领域被广泛应用，不同传感器和不同模态的数据被应用于图像语义分割、目标识别、目标跟踪等自动驾驶场景任务，取得了很好的效果。然而，深度网络模型的作用原理、可解释性研究并不明朗，可能存在奇异或人为恶意制造的场景和数据使得模型受到干扰和欺诈，严重威胁自动驾驶的安全。为此有必要利用对抗机器学习技术，对针对多传感器融合模型的欺诈和防御相关的技术进行研究，以提高多传感器融合模型的鲁棒性。

对抗机器学习是近几年深度学习中出现的新方向。对抗机器学习的研究内容是：通过向原始输入数据中加入精心设计的、人类不易察觉的噪声，使测试模型输出错误结果，加入对抗噪声的数据被称为“对抗样本”，也可以被称为“欺诈数据”。与传统的高斯噪声、椒盐噪声等噪声不同，对抗噪声能够较大程度地干扰深度网络模型做出正确预测。对抗样本的存在给现有的应用深度网络模型的系统带来了极大的安全隐患，尤其是像自动驾驶这类对安全性、可靠性要求较高的应用场景。为了提升模型的鲁棒性，最常用的方法是使用多种不同传感器数据作为输入，通过融合感知模型输出最终结果。

现有的对抗攻击方法主要是针对单传感器模型，处理数据的类型单一，处理流程也较为简单，很容易攻击成功。然而，这类攻击方法并不能有效地攻击多传感器模型，主要原因是：1)多传感器模型采用多种不同的数据类型作为输入，不同的数据对于输出结果能够产生互补效果；2)同时攻击多个传感器的实现代价太大，且并不能保证物理世界中对抗扰动的可实现性。

发明内容

本发明的目的在于克服上述技术缺陷，提出了一种自动驾驶多传感器融合感知模型的鲁棒性测试方法，可以应用于测试和提升多传感器融合感知模型的鲁棒性。

为实现上述目的，本发明提出了一种自动驾驶多传感器融合感知模型的鲁棒性测试方法，所述方法包括：

同时采集多个车载传感器的数据，并进性相应的预处理；

利用预处理后的多个车载传感器的数据，训练得到多传感器融合感知模型；

从多个车载传感器中选取一个待攻击传感器；在选择的待攻击传感器采集的数据上生成添加对抗扰动噪声的掩码，由此生成欺诈数据；

将欺诈数据与其他传感器正常采集到的数据输入训练好的多传感器融合感知模型，计算欺诈数据生成的损失函数，并进行反向传播；结合损失函数梯度对欺诈数据进行迭代更新，得到最终的欺诈数据；

将最终的欺诈数据与其他传感器正常采集到的数据输入到多传感器融合感知模型中，得到多传感器融合感知模型的输出精度，

根据输出精度获取多传感器融合感知模型的鲁棒性测试结果。

进一步的，所述从多个车载传感器中选取一个待攻击传感器，具体为：根据显著性分析结果选取对结果影响最大的传感器作为待攻击传感器。

进一步的，所述将欺诈数据与其他传感器正常采集到的数据输入训练好的多传感器融合感知模型，计算欺诈数据生成的损失函数，并进行反向传播；结合损失函数梯度对欺诈数据进行迭代更新，得到最终的欺诈数据；具体包括：

步骤S1)设预处理后的n-1个车载传感器正常采集的数据为 X₀,X₁,...,X_i-1，X_i+1,...,X_n-1，加入的欺诈数据为X′_i＝MX_i，M为对抗扰动噪声的掩码，X_i为预处理后的第i个车载传感器正常采集的数据；模型的正确标签为l；攻击多传感器网络模型J_θ(·)的数学表达式为：

J_θ(X₀,X₁,...，X′_i,...,X_n-1)≠l

将上述数学问题建模为下列优化问题：

minimizeD(X_i,X′_i)

s.t.J_θ(X₀,X₁,...,X′_i,...,X_n-1)≠l

X′_i∈[0,1]ⁿ

D(X_i,X′_i)为X_i和X′_i的欧式距离；

构造f(X₀,X₁,...,X′_i,...,X_n-1)≤0来等价表示J_θ(X₀,X₁,...,X′_i,...,X_n-1)≠l这一条件，f(·)函数的具体构造为：

f(x)＝(max(Z(x)_j)-Z(x)_t)⁺,j≠t

其中，Z(x)_j为多传感器融合感知模型输出层第j个节点输出的置信度；

(max(Z(x)_j)-Z(x)_t)⁺＝max(max(Z(x)_j)-Z(x)_t,0)，t为正确的标签；

上述的优化问题可以转化为以下形式：

minimizeD(X_i，X′_i)+λ·f(X₀，X₁，...,X′_i，...，X_n-1)

s.t.X′_i∈[0,1]ⁿ

其中，λ为参数；

步骤S2)将处理后的数据

作为输入，输入到多传感器融合网络模型J_θ(·)中，得到J_θ(·)的初始化输出Y_k，根据Y_k计算生成欺诈数据的损失函数；当k＝1时，

为第i个车载传感器的第k次迭代的欺诈数据；

步骤S3)利用损失函数梯度对欺诈数据进性更新：

其中，α为迭代步长，L(·)为损失函数，y^true是多传感器融合网络模型J_θ(·)的正确输出；

为损失函数的梯度；

步骤S4)当迭代次数k+1达到阈值max_iter或者多传感器融合网络模型J_θ(·)的像素准确率下降到某个临界值thresh_ap；进入步骤S5)；否则，k加1后，转入步骤 S2)；

步骤S5)将

作为最终的欺诈数据。

进一步的，所述根据输出精度获取多传感器融合感知模型的鲁棒性测试结果，具体包括：

当多传感器融合网络模型J_θ(·)的输出精度下降幅度在5％以内时，表明多传感器融合网络模型J_θ(·)鲁棒性很强；

当多传感器融合网络模型J_θ(·)的输出精度下降幅度在5％～10％时，表明多传感器融合网络模型J_θ(·)鲁棒性较强；

当多传感器融合网络模型J_θ(·)的输出精度下降幅度在10％以外时，表明多传感器融合网络模型J_θ(·)鲁棒性较弱。

本发明提出了一种自动驾驶多传感器融合感知模型的鲁棒性测试系统，所述系统包括：多个车载传感器、数据采集模块、模型训练模块、欺诈数据数据生成模块和鲁棒性测试模块；

所述数据采集模块，用于同时采集多个车载传感器的数据，并进性相应的预处理；

所述模型训练模块，用于利用预处理后的多个车载传感器的数据，训练得到多传感器融合感知模型；

所述欺诈数据数据生成模块，用于从多个车载传感器中选取一个待攻击传感器；在选择的待攻击传感器采集的数据上生成添加对抗扰动噪声的掩码，由此生成欺诈数据；将欺诈数据与其他传感器正常采集到的数据输入训练好的多传感器融合感知模型，计算欺诈数据生成的损失函数，并进行反向传播；结合损失函数梯度对欺诈数据进行迭代更新，得到最终的欺诈数据；

所述鲁棒性测试模块，用于将最终的欺诈数据与其他传感器正常采集到的数据输入到多传感器融合感知模型中，得到多传感器融合感知模型的输出精度，根据输出精度获取多传感器融合感知模型的鲁棒性测试结果。

进一步的，所述从多个车载传感器中选取一个待攻击传感器，具体为：根据显著性分析结果选取对结果影响最大的传感器作为待攻击传感器。

进一步的，所述将欺诈数据与其他传感器正常采集到的数据输入训练好的多传感器融合感知模型，计算欺诈数据生成的损失函数，并进行反向传播；结合损失函数梯度对欺诈数据进行迭代更新，得到最终的欺诈数据；具体包括：

步骤S1)设预处理后的n-1个车载传感器正常采集的数据为 X₀,X₁,...,X_i-1,X_i+1，...,X_n-1，加入的欺诈数据为X′_i＝MX_i，M为对抗扰动噪声的掩码，X_i为预处理后的第i个车载传感器正常采集的数据；模型的正确标签为l；攻击多传感器网络模型J_θ(·)的数学表达式为：

J_θ(X₀,X₁,...,X′_i,...,X_n-1)≠l

将上述数学问题建模为下列优化问题：

minimizeD(X_i,X′_i)

s.t.J_θ(X₀,X₁,...,X′_i,...,X_n-1)≠l

X′_i∈[0,1]ⁿ

D(X_i,X′_i)为X_i和X′_i的欧式距离；

构造f(X₀,X₁,...,X′_i,...,X_n-1)≤0来等价表示J_θ(X₀,X₁,...,X′_i,...,X_n-1)≠l这一条件，f(·)函数的具体构造为：

f(x)＝(max(Z(x)_j)-Z(x)_t)⁺,j≠t

其中，Z(x)_j为多传感器融合感知模型输出层第j个节点输出的置信度；

(max(Z(x)_j)-Z(x)_t)⁺＝max(max(Z(x)_j)-Z(x)_t,0)，t为正确的标签；

上述的优化问题可以转化为以下形式：

minimizeD(X_i，X′_i)+λ·f(X₀，X₁，...,X′_i，...，X_n-1)

s.t.X′_i∈[0,1]ⁿ

其中，λ为参数；

步骤S2)将处理后的数据

作为输入，输入到多传感器融合网络模型J_θ(·)中，得到J_θ(·)的初始化输出Y_k，根据Y_k计算生成欺诈数据的损失函数；当k＝1时，

为第i个车载传感器的第k次迭代的欺诈数据；

步骤S3)利用损失函数梯度对欺诈数据进性更新：

其中，α为迭代步长，L(·)为损失函数，y^true是多传感器融合网络模型J_θ(·)的正确输出；

为损失函数的梯度；

步骤S4)当迭代次数k+1达到阈值max_iter或者多传感器融合网络模型J_θ(·)的像素准确率下降到某个临界值thresh_ap；进入步骤S5)；否则，k加1后，转入步骤 S2)；

步骤S5)将

作为最终的欺诈数据。

进一步的，所述根据输出精度获取多传感器融合感知模型的鲁棒性测试结果，具体包括：

当多传感器融合网络模型J_θ(·)的输出精度下降幅度在5％以内时，表明多传感器融合网络模型J_θ(·)鲁棒性很强；

当多传感器融合网络模型J_θ(·)的输出精度下降幅度在5％～10％时，表明多传感器融合网络模型J_θ(·)鲁棒性较强；

当多传感器融合网络模型J_θ(·)的输出精度下降幅度在10％以外时，表明多传感器融合网络模型J_θ(·)鲁棒性较弱。

本发明的优势在于：

本发明方法提出了针对多传感器融合感知模型的鲁棒性测试方法，能够通过有效地实施攻击基于多传感器融合感知模型的任务，如图像分割、目标检测等，从而实现模型的鲁棒性有效测试。

附图说明

图1是本发明的实施例1提供的自动驾驶多传感器融合感知模型的鲁棒性测试方法的流程示意图；

图2是本发明的实施例1的欺诈数据迭代流程的架构图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

在介绍本发明实施例之前首先对本发明实施例中涉及到的相关名词作如下释义：

对抗攻击(Adversarial Attack)：又名逃逸攻击(Evasion Attack)，是一种在不改变网络模型结构、参数的情况下，通过修改输入样本达到使判别器出错的攻击方式，是AI安全领域中最常见的攻击方法之一。

对抗样本(Adversarial Example)：又可以称为“欺诈数据”。指被加入精心设计的、人类不容易察觉的、微小的扰动噪声，从而使判别器输出错误识别的测试样本。

受害模型(Victim Model)：又可称之为“目标模型”，即接收对抗样本作为输入的网络模型。在本发明中受害模型是多传感器融合感知模型。

多传感器模型(Multisensor Model)：使用多种不同类型传感器收集到的数据作为网络模型输入的深度网络模型。

白盒攻击(White-Box Attack)：能够获取受害模型全部的结构和参数的对抗攻击方式，与之相对应的是不能够获取受害模型全部的结构和参数的黑盒攻击，以及部分获取的灰盒攻击。

下面结合附图和实施例对本发明的技术方案进行详细的说明。

实施例1

如图1所示，本发明的实施例1提供了一种自动驾驶多传感器融合感知模型的鲁棒性测试方法，包括：

步骤1)通过n个车载传感器同时采集数据X₀,X₁,...,X_n-1，并进性相应的预处理；

X_i代表第i个传感器采集到的数据。实际应用中，传感器采集到的常见数据类型包括：RGB图像、点云数据、深度图像等。采集完传感器数据后需要进行输入的预处理。

以RGB图像和激光雷达点云数据融合为例，获取同一场景的RGB图像和激光雷达点云并进行预处理；具体包括如下步骤：

步骤101)通过车载相机获取RGB图像X₀；

采用安装在行驶车辆上的前向单目相机或前向单目摄像头采集路面图像信息。前向单目相机采集的是行驶车辆的行车方向正前方和路面上方的路面图像信息。即采集的路面图像信息是对应于采集车辆的行车方向的正前方和路面上方的信息的透视图。

步骤102)通过车载激光雷达获取原始点云X₁；

在本实施例中，路面图像信息和路面点云信息是同步采集的。即可以在行驶车辆上安装配置激光雷达和前向单目相机后，标定它们的相对位置姿态，同时开始对同一路面开始路面数据信息采集。

车载摄像头采集RGB图像X₀，激光雷达采集点云数据X₁。

为了便于计算，本发明下述实施例中所涉及的点云，均为360°点云中正对车辆前方，即图像所在方向的部分。并且，由于相机和激光雷达已经完成标定，可以确定点云投影到像素平面的转换矩阵T，以方便后续点云信息的特征提取。

对相机的标定，采用张氏标定法，先设定相机坐标系与世界坐标系，利用相机在预设位置放置的棋盘格上的成像，计算棋盘格的角点位置在成像中的二维坐标，再与棋盘格角点的真实三维坐标计算出变换矩阵；对激光雷达的标定，先设定激光雷达坐标系与真实世界坐标系，在预设位置放置若干障碍物并对齐进行激光雷达扫描，利用障碍物获得的点云在激光雷达坐标系中的坐标和障碍物在真实世界坐标系中的坐标计算得到两个坐标系的变换矩阵，其余参数，包括激光雷达的扫描分辨率、扫描速度、激光雷达与相机的时间对齐等，由各自的硬件信息与安装时的测量可以获得。标定将获得世界坐标系与相机的成像坐标系、世界坐标系与激光雷达坐标系之间的相互转换矩阵。

步骤103)利用转换矩阵T将点云投影到像素平面，更新原始点云图像X₁；

具体地，考虑激光雷达和前向摄像头已经完成标定工作，且根据标定参数得到了激光雷达三维坐标系和世界三维坐标系的转换矩阵K₁，相机二维成像坐标系和世界三维坐标系的转换矩阵K₂。假设世界坐标系下有一点P，在世界坐标系下对应的三维坐标为X₁₀，在点云所在的雷达坐标系中对应的三维坐标为X₁₁，在相机成像坐标系下的二维坐标为U，则U＝K₂·X₁₀，X₁₁＝K₁·X₁₀，因此

接着截取二维点云图像和灰度图像对应位置且相同尺寸的部分，每个像素点的取值为对应的反射强度值，再对空缺的部分以0值填补。从而激光雷达点云可以转换为灰度图像对应的二维点云图像，用于取代获取的原始点云，仍记为X₁。

步骤104)对原始点云图像X₁进行插值操作，如近邻插值法等，得到稠密点云图像，仍记为X₁；

步骤2)利用预处理后的n个传感器的数据，训练得到多传感器融合感知模型 J_θ(·)，其中θ为模型的参数；

以RGB图像和激光雷达点云数据融合为例，将RGB图像和稠密点云数据输入融合感知网络进行训练，获得训练好的融合感知模型以作为受害模型。

步骤3)从n个车载传感器中选取一个待攻击传感器；在选择的待攻击传感器采集的数据上生成添加对抗扰动噪声的掩码M，生成欺诈数据X′_i；

输入掩码主要是对欺诈数据进行空间约束，单一传感器输入掩码制作流程具体包括两个步骤：1)选取待攻击传感器；2)在待攻击传感器图像上生成掩码。

从这n个车载传感器中选取一个传感器来进行攻击。选取攻击传感器可以根据显著性分析(如Person相关分析)结果选取对结果影响最大的传感器，也可以人为地指定任意一个传感器。

对选取的攻击传感器，在此传感器图像X_i上生成掩码。该掩码可以用一个四元组(x,y,width,height)来表示，用符号记为M。生成掩码有两种方式：一种是通过启发式搜索算法(如遗传算法)确定四元组，另一种是人为定义该四元组。前者产生的四元组与模型、数据、启发式算法有关，实验效果相对于后者更好，但是掩码位置、大小相对难以控制。

模型原始的输入为X₀,X₁,...,X_i，...,X_n-1，经过掩码处理后的多传感器输入数据为：X₀,X₁,...,M·X_i,...,X_n-1。

在本实施例中，作为一种示例，选择车载摄像头传感器进行攻击，即产生针对 RGB图像X₀的欺诈数据X′₀。

在图像区域上选择一个掩码M，确定下来的掩码信息可以表示为(x,y,width,height)。掩码生成完毕后，对选择攻击的RGB图像数据X₀进行transform变换(包括随机尺寸变换、空白填充)，得到欺诈数据X′₀。随机尺寸变换是指同时将图像数据X₀的长、宽随机缩小到原尺寸的某个比例(如0.9，0.85，0.8等)，空白填充是指用0把缩小后的图像填充至原尺寸。将进行transform变换后的图像数据X₀用掩码相与运算 (取掩码中值为1的坐标，图像上该坐标处的数据保留原值；再取掩码中值为0的坐标，图像上该坐标处的数据值改成0)，从而完成初始化输入数据的操作。

步骤4)将X₀,X₁,...,X′_i,...,X_n-1输入步骤2)训练好的多传感器融合感知模型 J_θ(·)，计算欺诈数据生成的Loss函数，并进行反向传播；

欺诈数据Loss函数设计具体的流程如下：

设多传感器融合感知模型原始输入为X₀,X₁,…,X_n-1，加入欺诈数据的传感器记为X′_i，模型的正确标签为l。攻击多传感器网络模型的数学表达式为：

J_θ(X₀,X₁,...,X′_i,...,X_n-1)≠l

设D(·)为距离度量函数，引入该距离度量函数是因为：在进行攻击时，既希望能够攻击成功，同时又希望产生的欺诈数据与原始数据(如在场景中采集的未经修改的数据)尽可能地小。常用的距离度量函数一般是采用欧几里得距离。本发明将上述数学问题建模为下列优化问题：

minimizeD(X_i,X′_i)

s.t.J_θ(X₀,X₁,...,X′_i,...,X_n-1)≠l

X′_i∈[0,1]ⁿ

进一步地，为了方便后续的求解，本发明构造了f(X₀,X₁,...,X′_i,...,X_n-1)≤0来等价表示J_θ(X₀，X₁，...,X′_i,...,X_n-1)≠l这一条件，本发明中f(·)函数的具体构造为 f(x)＝(max(Z(x)_i)-X(x)_t)⁺，i≠t，其中(e)⁺为max(e,0)的简略表达，t为正确的标签。上述的优化问题可以转化为以下形式：

minimizeD(X_i,X′_i)+λ·f(X₀，X₁,...,X′_i,...,X_n-1)

s.t.X′_i∈[0，1]ⁿ

将处理后的数据X′₀，X₁作为输入，输入到多传感器融合网络模型J_θ(·)中，得到J_θ(·)的初始化输出Y，根据Y计算生成欺诈数据的Loss，借助深度学习框架PyTorch 的梯度计算功能完成反向梯度传播。

步骤5)结合反向传播梯度对欺诈数据进行迭代更新；

利用步骤4)中计算得到的梯度，借助PyTorch框架中的Adam优化器完成迭代更新。将更新后的X′_i和X₀,X₁,...,X_i-1,X_i+1,...,X_n-1重新输入网络模型，再次执行步骤4)的操作，得到网络模型J_θ(·)的输出后判断是否达到迭代终止条件，如果达到则跳出迭代循环，否则继续执行步骤4)的操作。

在本发明中，为了提升对抗攻击算法的可迁移性和攻击成功率，在生成欺诈数据之前还会对来自被攻击传感器的数据进行transform变换，记为T(·)。transform变换的操作包括：随机尺寸变换、随机空白填充。结合前面对输入进行掩码的操作，上述的优化问题可以表示为下列形式：

minimizeD(X_i,X′_i)+λ·f(X₀,X₁,...,M·T(X_i),...,X_n-1)

s.t.X′_i∈[0,1]ⁿ

产生的欺诈数据最终集中体现在来自单一传感器的数据上，通过一次迭代生成的欺诈数据的攻击效果往往并不充分，采用迭代式的生成方法就可以产生攻击效果较为充分的欺诈数据。单一传感器对抗数据的生成迭代的具体流程是：首先从原始的输入X₀,X₁,...,X_n-1选择一个待攻击传感器X_i，并对其进行transform变换、掩码处理，得到变换后的输入X₀,X₁,...,X′_i,...,x_n-1，然后将处理后的数据作为输入作为欺诈对象的多传感器模型J_θ中，第一次输入到模型J_θ主要作用是初始化，得到输出然后据此对输入进行迭代，迭代公式如下：

其中，

为第i个传感器第k次迭代数据，α为迭代步长(一般取1e-3)，L(·)为loss函数(一般选交叉熵损失函数)，y^true是多传感器模型J_θ的正确输出。在迭代的过程中

涉及到梯度的计算，本发明采取了深度学习框架PyTorch 进行反向传播，借助其中的Adam优化器可以更快地迭代对抗数据。

将每次迭代后的结果输入到多传感器模型J_θ中，每次迭代都会更新产生的欺诈数据，当迭代次数达到阈值max_iter(如200次)或者多传感器模型J_θ的像素准确率(AP)下降到某个临界值thresh_ap(如0.5)，即可退出迭代循环，此时得到的迭代结果即为最终的欺诈数据。如图2所示。

最终将迭代得到的某一传感器数据与其他传感器正常收集到的数据一并输入到多传感器融合感知模型J_θ中，这种修改后的输入数据能够使得被攻击的多传感器融合感知模型J_θ的精度显著下降，从而实现对目标模型的鲁棒性测试。

步骤6)将步骤5)得到的最终的欺诈数据与其他传感器正常采集到的数据，一并输入到多传感器融合感知模型J_θ(·)中，得到网络模型J_θ(·)的输出精度，观察输出精度的下降幅度，输出精度下降越大，说明网络模型J_θ(·)的鲁棒性越弱，反之则说明网络模型J_θ(·)的鲁棒性越强。

物理干扰载体用于将产生的欺诈数据在现实物理世界中实现，如帆布、画纸、木板等，根据场景生成欺诈数据后添加到物理载体上，实现物理世界的真实干扰。

实施例2

本发明的实施了2提出了一种自动驾驶多传感器融合感知模型的鲁棒性测试系统，包括：多个车载传感器、数据采集模块、模型训练模块、欺诈数据数据生成模块和鲁棒性测试模块；

数据采集模块，用于同时采集多个车载传感器的数据，并进性相应的预处理；

模型训练模块，用于利用预处理后的多个车载传感器的数据，训练得到多传感器融合感知模型；

欺诈数据数据生成模块，用于从多个车载传感器中选取一个待攻击传感器；在选择的待攻击传感器采集的数据上生成添加对抗扰动噪声的掩码，由此生成欺诈数据；将欺诈数据与其他传感器正常采集到的数据输入训练好的多传感器融合感知模型，计算欺诈数据生成的损失函数，并进行反向传播；结合损失函数梯度对欺诈数据进行迭代更新，得到最终的欺诈数据；

鲁棒性测试模块，用于将最终的欺诈数据与其他传感器正常采集到的数据输入到多传感器融合感知模型中，得到多传感器融合感知模型的输出精度，根据输出精度获取多传感器融合感知模型的鲁棒性测试结果。

实施例3

一种计算机设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现实施例1的方法。

实施例4

一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序当被处理器执行时使所述处理器执行实施例1的方法。

需要说明的是，本申请的实施例以相机和激光雷达获取的数据为例，但不限于上述数据，其他传感器的数据均可通过本方法进行攻击。

本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。

最后所应说明的是，以上实施例仅用以说明本发明的技术方案而非限制。尽管参照实施例对本发明进行了详细说明，本领域的普通技术人员应当理解，对本发明的技术方案进行修改或者等同替换，都不脱离本发明技术方案的精神和范围，其均应涵盖在本发明的权利要求范围当中。

Claims (6)

1.一种自动驾驶多传感器融合感知模型的鲁棒性测试方法，所述方法包括：

同时采集多个车载传感器的数据，并进行相应的预处理；

利用预处理后的多个车载传感器的数据，训练得到多传感器融合感知模型；

从多个车载传感器中选取一个待攻击传感器；在选择的待攻击传感器采集的数据上生成添加对抗扰动噪声的掩码，由此生成欺诈数据；

将欺诈数据与其他传感器正常采集到的数据输入训练好的多传感器融合感知模型，计算欺诈数据生成的损失函数，并进行反向传播；结合损失函数梯度对欺诈数据进行迭代更新，得到最终的欺诈数据；

将最终的欺诈数据与其他传感器正常采集到的数据输入到多传感器融合感知模型中，得到多传感器融合感知模型的输出精度，

根据输出精度获取多传感器融合感知模型的鲁棒性测试结果；

所述将欺诈数据与其他传感器正常采集到的数据输入训练好的多传感器融合感知模型，计算欺诈数据生成的损失函数，并进行反向传播；结合损失函数梯度对欺诈数据进行迭代更新，得到最终的欺诈数据；具体包括：

步骤S1)设预处理后的n-1个车载传感器正常采集的数据为X₀，X₁，...，X_i-1，X_i+1，...，X_n-1，加入的欺诈数据为X′_i＝MX_i，M为对抗扰动噪声的掩码，X_i为预处理后的第i个车载传感器正常采集的数据；模型的正确标签为l；攻击多传感器网络模型J_θ(·)的数学表达式为：

J_θ(X₀，X₁，…，X′_i，…，X_n-1)≠l

将上述数学问题建模为下列优化问题：

minimize D(X_i，X′_i)

s.t.J_θ(X₀，X₁，...，X′_i，...，X_n-1)≠l

X′_i∈[0，1]ⁿ

D(X_i，X′_i)为X_i和X′_i的欧式距离；

构造f(X₀，X₁，...，X′_i，...，X_n-1)≤0来等价表示J_θ(X₀，X₁，...，X′_i，...，X_n-1)≠l这一条件，f(·)函数的具体构造为：

f(x)＝(max(Z(x)_j)-Z(x)_t)⁺，j≠t

其中，Z(x)_i为多传感器融合感知模型输出层第j个节点输出的置信度；(max(Z(x)_j)-Z(x)_t)⁺＝max(max(Z(x)_j)-Z(x)_t，0)，t为正确的标签；

上述的优化问题可以转化为以下形式：

minimize D(X_i，X′_i)+λ·f(X₀，X₁，...，X′_i，…，X_n-1)

s.t.X′_i∈[0，1]ⁿ

其中，λ为参数；

步骤S2)将处理后的数据

作为输入，输入到多传感器融合网络模型J_θ(·)中，得到J_θ(·)的初始化输出Y_k，根据Y_k计算生成欺诈数据的损失函数；当k＝1时，

为第i个车载传感器的第k次迭代的欺诈数据；

步骤S3)利用损失函数梯度对欺诈数据进性更新：

其中，α为迭代步长，L(·)为损失函数，y^true是多传感器融合网络模型J_θ(·)的正确输出；

为损失函数的梯度；

步骤S4)当迭代次数k+1达到阈值max_iter或者多传感器融合网络模型J_θ(·)的像素准确率下降到某个临界值thresh_ap；进入步骤S5)；否则，k加1后，转入步骤S2)；

步骤S5)将

作为最终的欺诈数据。

2.根据权利要求1所述的自动驾驶多传感器融合感知模型的鲁棒性测试方法，其特征在于，所述从多个车载传感器中选取一个待攻击传感器，具体为：根据显著性分析结果选取对结果影响最大的传感器作为待攻击传感器。

3.根据权利要求1所述的自动驾驶多传感器融合感知模型的鲁棒性测试方法，其特征在于，所述根据输出精度获取多传感器融合感知模型的鲁棒性测试结果，具体包括：

当多传感器融合网络模型J_θ(·)的输出精度下降幅度在5％以内时，表明多传感器融合网络模型J_θ(·)鲁棒性很强；

当多传感器融合网络模型J_θ(·)的输出精度下降幅度在5％～10％时，表明多传感器融合网络模型J_θ(·)鲁棒性较强；

当多传感器融合网络模型J_θ(·)的输出精度下降幅度在10％以外时，表明多传感器融合网络模型J_θ(·)鲁棒性较弱。

4.一种自动驾驶多传感器融合感知模型的鲁棒性测试系统，其特征在于，所述系统包括：多个车载传感器、数据采集模块、模型训练模块、欺诈数据生成模块和鲁棒性测试模块；

所述数据采集模块，用于同时采集多个车载传感器的数据，并进行相应的预处理；

所述模型训练模块，用于利用预处理后的多个车载传感器的数据，训练得到多传感器融合感知模型；

所述欺诈数据生成模块，用于从多个车载传感器中选取一个待攻击传感器；在选择的待攻击传感器采集的数据上生成添加对抗扰动噪声的掩码，由此生成欺诈数据；将欺诈数据与其他传感器正常采集到的数据输入训练好的多传感器融合感知模型，计算欺诈数据生成的损失函数，并进行反向传播；结合损失函数梯度对欺诈数据进行迭代更新，得到最终的欺诈数据；

所述将欺诈数据与其他传感器正常采集到的数据输入训练好的多传感器融合感知模型，计算欺诈数据生成的损失函数，并进行反向传播；结合损失函数梯度对欺诈数据进行迭代更新，得到最终的欺诈数据；具体包括：

步骤S1)设预处理后的n-1个车载传感器正常采集的数据为X₀，X₁，...，X_i-1，X_i+1，...，X_n-1，加入的欺诈数据为X′_i＝MX_i，M为对抗扰动噪声的掩码，X_i为预处理后的第i个车载传感器正常采集的数据；模型的正确标签为l；攻击多传感器网络模型J_θ(·)的数学表达式为：

J_θ(X₀，X₁，…，X′_i，…，X_n-1)≠l

将上述数学问题建模为下列优化问题：

minimize D(X_i，X′_i)

s.t.J_θ(X₀，X₁，…，X′_i，…，X_n-1)≠l

X′_i∈[0，1]ⁿ

D(X_i，X′_i)为X_i和X′_i的欧式距离；

构造f(X₀，X₁，...，X′_i，...，X_n-1)≤0来等价表示J_θ(X₀，X₁，...，X′_i，...，X_n-1)≠l这一条件，f(·)函数的具体构造为：

f(x)＝(max(Z(x)_j)-Z(x)_t)⁺，j≠t

其中，Z(x)_j为多传感器融合感知模型输出层第j个节点输出的置信度；

(max(Z(x)_j)-Z(x)_t)⁺＝max(max(Z(x)_j)-Z(x)_t，0)，t为正确的标签；

上述的优化问题可以转化为以下形式：

minimize D(X_i，X′_i)+λ·f(X₀，X₁，…，X′_i，…，X_n-1)

s.t.X′_i∈[0，1]ⁿ

其中，λ为参数；

步骤S2)将处理后的数据

作为输入，输入到多传感器融合网络模型J_θ(·)中，得到J_θ(·)的初始化输出Y_k，根据Y_k计算生成欺诈数据的损失函数；当k＝1时，

为第i个车载传感器的第k次迭代的欺诈数据；

步骤S3)利用损失函数梯度对欺诈数据进性更新：

其中，α为迭代步长，L(·)为损失函数，y^true是多传感器融合网络模型J_θ(·)的正确输出；

为损失函数的梯度；

步骤S4)当迭代次数k+1达到阈值max_iter或者多传感器融合网络模型J_θ(·)的像素准确率下降到某个临界值thresh_ap；进入步骤S5)；否则，k加1后，转入步骤S2)；

步骤S5)将

作为最终的欺诈数据；

所述鲁棒性测试模块，用于将最终的欺诈数据与其他传感器正常采集到的数据输入到多传感器融合感知模型中，得到多传感器融合感知模型的输出精度，根据输出精度获取多传感器融合感知模型的鲁棒性测试结果。

5.根据权利要求4所述的自动驾驶多传感器融合感知模型的鲁棒性测试系统，其特征在于，所述从多个车载传感器中选取一个待攻击传感器，具体为：根据显著性分析结果选取对结果影响最大的传感器作为待攻击传感器。

6.根据权利要求4所述的自动驾驶多传感器融合感知模型的鲁棒性测试系统，其特征在于，所述根据输出精度获取多传感器融合感知模型的鲁棒性测试结果，具体包括：

当多传感器融合网络模型J_θ(·)的输出精度下降幅度在5％以内时，表明多传感器融合网络模型J_θ(·)鲁棒性很强；

当多传感器融合网络模型J_θ(·)的输出精度下降幅度在5％～10％时，表明多传感器融合网络模型J_θ(·)鲁棒性较强；

当多传感器融合网络模型J_θ(·)的输出精度下降幅度在10％以外时，表明多传感器融合网络模型J_θ(·)鲁棒性较弱。

Images