CN112215151B - 一种利用3d对抗样本增强目标检测系统抗干扰能力的方法 - Google Patents

Abstract

本发明公开了一种利用3D对抗样本增强目标检测系统抗干扰能力的方法；执行过程包括步骤1基于纹理的对抗样本生成；步骤2基于形状的对抗样本生成；步骤3基于渲染的对抗样本生成；步骤4生成预训练数据清洗网络；步骤5将对抗样本图像添加到原训练集中。本发明主要从图形学层面出发，以更全面、系统的方案来生成3D对抗样本，并利用生成的对抗样本来提高目标检测模型的对抗防御能力。

Description

一种利用3D对抗样本增强目标检测系统抗干扰能力的方法

技术领域

本发明涉及抗样本增强目标检测系统抗干扰领域，具体来讲是一种利用3D对抗样本增强目标检测系统抗干扰能力的方法。

背景技术

近年来研究表示，深度学习模型往往易受到对抗样本(adversarial examples)的威胁，即人为地对被检测物进行十分细微(或在人眼视角中相对正常)的改动，就可以使其被学习模型遗漏或误分类。更值得关注是，研究表明对抗样本存在“迁移性”，即针对某一个学习模型得到的对抗样本，输入给其他不同结构、参数、训练集的学习模型，也有可能误导其分析结果，攻击者不需要对目标学习模型有充分的了解，也可能成功对其进行攻击。

针对对抗样本的防御方法也是研究者关注的话题。常用的技术有数据清洗、添加对抗样本到训练集、蒸馏防御等等。这些技术很大程度上遵循“攻防一体”思想，需要对攻击模式有足够全面、深入的了解。总体而言，现有方法都只能在一定程度上降低对抗样本的影响，无法彻底解决其威胁。

目前已有研究者成功将对抗样本从像素层面推广到图形和现实空间，并成功误导目标检测和分类系统。当下，大多数对抗样本的研究依旧集中在图像层面，涉及到3D模型时也以纹理变换为主；而从图形学的角度看，在渲染和形状层面也可以生成3D对抗样本。但由于相关研究较少，目前对于基于图形学的对抗样本研究的理解相对不足，相关的防御措施也较为欠缺。

与本发明相关的现有技术

现有对抗样本生成的技术方案：

2013年,Szegedy等人首次在《Intriguing Properties of Neural Networks》提到了对抗样本的存在，提出了生成对抗样本的最基础理论，并在文中展示了基于L-BFGS方法制作对抗样本并成功误导学习模型的示例。2014年，Goodfellow等人提出了FGSM方法，基于梯度原理制作对抗样本。2016年，Nicolas Papernot等提出了JSMA方法，仅改变输入图像中的某一些像素点即可完成对抗攻击。关于三维空间对抗样本的生成技术，较典型的有2016年Alexey Kurakin首次在论文中展示了真实世界制作对抗样本的技术。2018年，Athalye Anish等人考虑3D对抗样本在实际打印和识别带来的不确定性，将优化目标从目标纹理本身推广到纹理的变换概率分布，即EOT(Expectation of Transformation)方法。同年，Kevin Eykholt等人将其研究应用在交通标志上，对交通指示牌进行人为处理，成功误导了车辆自动驾驶的目标检测系统。

现有对抗样本生成技术的缺点：

当前的研究主要集中在图像域的对抗样本攻击，很少涉及三维空间。有关图形学的应用，也集中在纹理变换，少有从渲染和形状层面对对抗样本进行讨论。如KevinEykholt的对抗样本生成方法，具体在实施上是给交通标志附着一定大小的像素色块。这些方法揭示了对抗样本的威胁性，但在生成过程上缺乏更系统的方案。

现有对抗防御的技术方案：

2009年，Huang Ling等人提出了数据清洗方法，主要对恶意的训练数据进行筛选。另外，还有通过提高学习算法的鲁棒性来增强抗干扰能力的方法，如Bagging，RSM(randomsubspace method)等。另外一类常用技术是将对抗样本添加到训练集中，进而提高模型鲁棒性。此外，2014年Hinton给出的蒸馏防御也是较好的神经网络强化方案，2016年NicolasPapernot提出将该技术应用在应对对抗样本的防御上，取得了一定的进展。

现有对抗防御技术的缺点：

不论是改变算法结构，数据清洗还是将对抗样本加入训练集的技术，要求防御方全面了解对抗攻击的模式，而当前的研究和应用则缺乏基于图形学、尤其是对图形形状和渲染的关注，因此一个基于图形的、全面的对抗样本防御技术是欠缺的。

发明内容

因此，本发明遵循神经网络对抗中“攻防一体”的思想，根据上文所描述的当前已有技术方法的局限性，将关注重点集中在基于图形的对抗样本生成。本发明提供一种利用3D对抗样本增强目标检测系统抗干扰能力的方法，从图形的纹理、渲染、形状三个方面，生成系统、全面的3D对抗样本，并将其与现有的对抗防御技术相结合，从而达到利用3D对抗样本来增强目标检测系统抗干扰能力的目的。

本发明是这样实现的，构造一种利用3D对抗样本增强目标检测系统抗干扰能力的方法，主要从图形学层面出发，以更全面、系统的方案来生成3D对抗样本，并利用生成的对抗样本来提高目标检测模型的对抗防御能力；其特征在于；具有如下执行步骤；

步骤1，基于纹理的对抗样本生成；基于对抗样本的梯度原理，修改目标3D模型的纹理和形状，实现纹理和形状层面的对抗攻击，得到对抗3D图形和M_vretioes

步骤2，基于形状的对抗样本生成；实现渲染层面的对抗攻击，得到对抗3D图形M_render；

步骤3，基于渲染的对抗样本生成；(3)对于得到的M_texture，M_verctees和M_render，将每一个3D对抗模型进行若干次变换后进行渲染，生成若干个在不同渲染背景、相机参数等条件下的对抗样本图像I_adv；

步骤4，生成预训练数据清洗网络；使用I_adv训练一个判别器，将其作为学习系统的预处理模块，得到抗干扰能力更强的目标检测模型；

步骤5，将对抗样本图像添加到原训练集中；将I_adv中的图像正确标注后添加到目标检测模型训练集中，增强该学习模型的鲁棒性。

根据本发明所述一种利用3D对抗样本增强目标检测系统抗干扰能力的方法，其特征在于；对于步骤1来讲，执行过程是，在FGSM等传统图像域的对抗样本生成技术基础上，结合增强鲁棒性的方法来优化纹理图像，达到对抗效果；

现有初始3D模型M(x，S)和待攻击的目标检测系统g，本发明基本原理可以表达为：

min||η||₂subject to

x^adv＝x+η

g(x)＝y，g(x′)≠y

其中，x表示原纹理，y是该模型所表征物体的正确分类标签，g(x)表示神经网络的输出结果，x^adv表示对抗样本，η表示对抗样本纹理与原纹理之间的差别，即人为添加的扰动；

步骤1.1生成整体微幅修改的对抗纹理；本步骤的目的，是将普通正常纹理位图进行细微的(人眼难以察觉的)像素修改，使其渲染输出的图像能干扰神经网络并使其产生错误判断；

本方案具体采用基于FGSM改进的方法：

x′＝x+η

其中，t表示对抗样本的形变，t表示形变可能的分布，∈表示人为控制变化量的一个系数，loss表示模型输出的损失值；

考虑到在三维空间乃至现实世界中，常存在随机的扰动和变换，比如常规的皱褶、旋转、变向等；因此将对纹理推广到对纹理在一定变换下的分布，能有效增加对抗样本的泛用性、鲁棒性。

步骤1.2生成局部大幅修改的对抗纹理；本步骤的目的，是将对抗发生范围局限在较小的区域，而不考虑扰动幅值的大小，类似于给目标物体贴上一块“补丁”；这样的修改不会影响人眼判断，但足以干扰学习模型的检测和识别；

本方法产生的补丁大小，可根据目标物体大小自适应规定，并默认补丁位于目标表面特定位置(如几何中心)；

假设设置的形变区域为r，则本方法可以表述为：

for pixels in R：

x^adv＝x+η

通过步骤1产生的对抗模型可记为M_texture(x^adv，S)。

根据本发明所述一种利用3D对抗样本增强目标检测系统抗干扰能力的方法，其特征在于；对于步骤2来讲，执行过程是，现有初始3D模型M(x，S)和待攻击的目标检测系统g，这一方法可以表达为：

max loss(g(S^adv)，y)＝loss(g(S^adv)，y′)+λloss_peroeptccal(g(S^adv))

其中，loss表示损失函数，S^adv表示对抗样本的3D网格，y′表明攻击的目标分类标签，在非目标攻击时该项表示最小化正确分类概率；loss_perceptccal表示人眼识别的损失函数，即人为扰动不被人眼察觉的附加项，λ是其权重系数；

步骤2.1生成整体微幅修改的对抗网格；本步骤的目的，是针对3D网格中所有的顶点坐标进行小幅度优化，人眼几乎无法观察出对抗样本和原物体之间的差别；

本方案具体采用基于梯度的优化方法：

S^adv＝S+η

由于不同形状、材质的物体可能产生的形变，因此可以在生成对抗网格模型的基础上推广到对物体形变分布的对抗优化：

其中E_t～T表示物体可能发生形变的分布；

步骤2.2生成局部大幅修改的对抗网格，本步骤的目的，是针对模型中某一小部分，进行较大幅度的改动；这一方案的难点在于改动部分的选择；

在网格模型的法线变化较大，即形状较“尖锐”的部分，往往更容易作为物体的特征被学习模型识别；因此，首先通过对网格进行求导的方式得到梯度变化较大的部分R，再在R内部进行优化：

for vertices in R：

S^adv＝S+η

注意这里与步骤1.2不同，仍需对优化加以限制λ′，而λ′＞＞λ；这是因为在应用上对于图像域的变化操作限制较小，但对于3D网格的修改实际上受到连续性等因素的限制；

通过步骤2产生的对抗模型可记为M_vorticos(x，S^adv)。

根据本发明所述一种利用3D对抗样本增强目标检测系统抗干扰能力的方法，其特征在于；对于步骤3来讲，执行过程是，是以图形学技术为出发点；

步骤3.1使用不同光照条件渲染图形；

在确认了纹理和网格形状后，物体还需要渲染成图像输入目标检测和分类模型中。根据域迁移(domain shift)的原理，光照条件不同时，可能使学习模型对于目标进行错误的检测和分类判断：

I^adv＝R(S^adv，P，r)

步骤3.2根据渲染结果修改图形纹理；

当干扰成功产生了影响时，根据L′与L的差值修改对抗样本的纹理:

x′＝x+∈(l′-l)

其中x′表示基于渲染原理所生成的对抗纹理，l′表示产生对抗性所使用的光照条件；

通过步骤2产生的对抗模型可记为M_render(x′，S)。

根据本发明所述一种利用3D对抗样本增强目标检测系统抗干扰能力的方法，其特征在于；对于步骤4来讲，执行过程是，在前3个步骤中，已经得到了系统的、全面的，基于图形学生成的3D对抗样本，即M_texture，M_vretioes和M_render；其构成的集合为M_adv；

在步骤4和步骤5中，需要使用这些图形构成一个对抗样本图像数据集I_adv，并利用它来增强目标检测系统的抗干扰能力。

步骤4.1生成对抗样本图像数据集；对于前3个步骤所产生的每一个对抗图形M_adv，将其在一定范围内进行随机旋转、形变，再在若干个不同相机参数、光照条件、渲染背景下进行渲染，得到一个对抗样本图像数据集I_adv：

forM in M_adv:

for t～T，p～P，i～L：

I＝R(t(M),p,l)

其中T表示旋转、形变等图形变换的分布，P表示相机参数的分布，L表示光照条件的分布，I表示生成的对抗样本图像，IeI_adv；

步骤4.2训练检测器；本步骤目的在于使用步骤1到步骤3所生成的对抗样本渲染结果训练一个检测器神经网络g_dis，使其能以较高概率将前3步所生成的各类对抗图形识别出来；

步骤4.3对接检测器与受保护的神经网络模型；将g_dis与受保护的目标检测系统g整合，使其能作为数据清洗的预处理模块，筛选出可能产生威胁的对抗样本。

本发明具有如下优点：本发明通过改进在此提供一种利用3D对抗样本增强目标检测系统抗干扰能力的方法；本发明主要从图形学层面出发，以更全面、系统的方案来生成3D对抗样本，并利用生成的对抗样本来提高目标检测模型的对抗防御能力。

附图说明

图1是本发明执行流程示意图；

图2-图3本发明的应用场景流程示意图。

具体实施方式

下面将结合附图1-图3对本发明进行详细说明，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本发明通过改进在此提供一种利用3D对抗样本增强目标检测系统抗干扰能力的方法；本发明主要从图形学层面出发，以更全面、系统的方案来生成3D对抗样本，并利用生成的对抗样本来提高目标检测模型的对抗防御能力。

现有目标3D模型M，其纹理为x，模型网格为s，在相机参数p和光照条件l下，渲染方式为R，则其渲染出的图像为：

I＝R(M，p，l)

本发明的技术流程可以概括为以下几点：

(1)基于对抗样本的梯度原理，修改目标3D模型的纹理和形状，实现纹理和形状层面的对抗攻击，得到对抗3D图形和Mvertiaer；

(2)基于图形学渲染原理，实现渲染层面的对抗攻击，得到对抗3D图形M_render；

(3)对于得到的M_texture，M_vretioes和M_render，将每一个3D对抗模型进行若干次变换后进行渲染，生成若干个在不同渲染背景、相机参数等条件下的对抗样本图像I_adv；

(4)使用I_adv训练一个判别器，将其作为学习系统的预处理模块，得到抗干扰能力更强的目标检测模型；

(5)将I_adv中的图像正确标注后添加到目标检测模型训练集中，增强该学习模型的鲁棒性。

具体执行步骤如下；

步骤1，基于纹理的对抗样本生成；

3D物体纹理层面的对抗优化，是原理上最接近图像层面的优化。本发明在FGSM等传统图像域的对抗样本生成技术基础上，结合增强鲁棒性的方法来优化纹理图像，达到对抗效果。

现有初始3D模型M(x，S)和待攻击的目标检测系统g，本发明基本原理可以表达为：

min||η||₂subject to

x^adv＝x+η

g(x)＝y，g(x′)≠y

其中，x表示原纹理，y是该模型所表征物体的正确分类标签，g(x)表示神经网络的输出结果，x^adv表示对抗样本，η表示对抗样本纹理与原纹理之间的差别，即人为添加的扰动。

步骤1.1生成整体微幅修改的对抗纹理；

本步骤的目的，是将普通正常纹理位图进行细微的(人眼难以察觉的)像素修改，使其渲染输出的图像能干扰神经网络并使其产生错误判断。

本方案具体采用基于FGSM改进的方法：

arg max_x′(E_t～T[loss(g(x)，y)]-λE_t～T[d(t(x′)，t(x))])subject to：

x′＝x+η

其中，t表示对抗样本的形变，T表示形变可能的分布，c表示人为控制变化量的一个系数，loss表示模型输出的损失值。

考虑到在三维空间乃至现实世界中，常存在随机的扰动和变换，比如常规的皱褶、旋转、变向等。因此将对纹理推广到对纹理在一定变换下的分布，能有效增加对抗样本的泛用性、鲁棒性。

步骤1.2生成局部大幅修改的对抗纹理；

本步骤的目的，是将对抗发生范围局限在较小的区域，而不考虑扰动幅值的大小，类似于给目标物体贴上一块“补丁”。这样的修改不会影响人眼判断，但足以干扰学习模型的检测和识别。

本方法产生的补丁大小，可根据目标物体大小自适应规定，并默认补丁位于目标表面特定位置(如几何中心)。

假设设置的形变区域为R，则本方法可以表述为：

for pixels in R：

x^adv＝x+η

通过步骤1产生的对抗模型可记为M_texture(x^adv，S)。

步骤2，基于形状的对抗样本生成；

本发明将图像域的对抗样本生成思想推广到图形域，对网格模型的坐标顶点(vertices)位置进行优化，通过最小化正确识别的输出结果，或最大化错误目标识别的输出结果，可以达到干扰效果。

现有初始3D模型M(x，S)和待攻击的目标检测系统g，这一方法可以表达为：

maxloss(g(S^adv)，y)＝loss(g(S^adv)，y′)+λloss_peroeptccal(g(S^adv))

其中，loss表示损失函数，S^adv表示对抗样本的3D网格，y′表明攻击的目标分类标签，在非目标攻击时该项表示最小化正确分类概率。loss_peraeptccat表示人眼识别的损失函数，即人为扰动不被人眼察觉的附加项，λ是其权重系数。

步骤2.1生成整体微幅修改的对抗网格；

本步骤的目的，是针对3D网格中所有的顶点坐标进行小幅度优化，人眼几乎无法观察出对抗样本和原物体之间的差别。

本方案具体采用基于梯度的优化方法：

S^adv＝S|η

由于不同形状、材质的物体可能产生的形变，因此可以在生成对抗网格模型的基础上推广到对物体形变分布的对抗优化：

其中E_t～T表示物体可能发生形变的分布。

步骤2.2生成局部大幅修改的对抗网格；

本步骤的目的，是针对模型中某一小部分，进行较大幅度的改动。这一方案的难点在于改动部分的选择。

在网格模型的法线变化较大，即形状较“尖锐”的部分，往往更容易作为物体的特征被学习模型识别。因此，首先通过对网格进行求导的方式得到梯度变化较大的部分R，再在R内部进行优化：

for vertices in R：

S^adv＝S+η

注意这里与步骤1.2不同，仍需对优化加以限制λ′，而λ′＞＞λ。这是因为在应用上对于图像域的变化操作限制较小，但对于3D网格的修改实际上受到连续性等因素的限制。

通过步骤2产生的对抗模型可记为M_vertiaes(x，S^adv)。

步骤3，基于渲染的对抗样本生成；

从渲染层面进行对抗攻击与纹理和形状攻击有本质上的不同。本过程并非从神经网络的角度来对物体进行修改，而是以图形学技术为出发点。

步骤3.1使用不同光照条件渲染图形；

在确认了纹理和网格形状后，物体还需要渲染成图像输入目标检测和分类模型中。根据域迁移(domain shift)的原理，光照条件不同时，可能使学习模型对于目标进行错误的检测和分类判断：

I^adv＝R(S^adv，P，r)

步骤3.2根据渲染结果修改图形纹理；

当干扰成功产生了影响时，根据L′与L的差值修改对抗样本的纹理:

x′＝x+∈(l′-l)

其中x′表示基于渲染原理所生成的对抗纹理，l′表示产生对抗性所使用的光照条件。

本过程不保证百分之百能从正常样本中得到有攻击性的对抗样本，但由于本过程完全使用图形学技术，因此产生的对抗样本更为自然，难以被常规的对抗防御所识别。

通过步骤2产生的对抗模型可记为M_render(x′，S)。

步骤4，生成预训练数据清洗网络；

在前3个步骤中，已经得到了系统的、全面的，基于图形学生成的3D对抗样本，即M_texture，M_vretioes和M_render。其构成的集合为M_adv。

在步骤4和步骤5中，需要使用这些图形构成一个对抗样本图像数据集I_adv，并利用它来增强目标检测系统的抗干扰能力。

步骤4.1生成对抗样本图像数据集；

对于前3个步骤所产生的每一个对抗图形M_adv，将其在一定范围内进行随机旋转、形变，再在若干个不同相机参数、光照条件、渲染背景下进行渲染，得到一个对抗样本图像数据集I_adv：

forM in M_adv:

for t～T，p～P，i～L：

I＝R(t(M),p,l)

其中T表示旋转、形变等图形变换的分布，P表示相机参数的分布，L表示光照条件的分布。I表示生成的对抗样本图像，I∈I_adv。

步骤4.2训练检测器，

本步骤目的在于使用步骤1到步骤3所生成的对抗样本渲染结果训练一个检测器神经网络g_dis，使其能以较高概率将前3步所生成的各类对抗图形识别出来。

步骤4.3对接检测器与受保护的神经网络模型，

将g_dis与受保护的目标检测系统g整合，使其能作为数据清洗的预处理模块，筛选出可能产生威胁的对抗样本。

步骤5，将对抗样本图像添加到原训练集中；

将前4.1得到的对抗样本图像经过正确标注，加入学习模型的训练集，重新训练g的参数，使其有一定的识别对抗样本的能力。

如图2-图3所示，本发明的应用场景举例；本发明可以应用于现实世界中的目标检测和分类等领域。以自动驾驶系统中的目标检测功能为例，一个合格的目标检测系统至少需要两个主要的因素：结构合理的神经网络学习模型和覆盖全面的训练数据集。其生成流程可以表达为图2。

这样的目标检测系统，在通常情况下能够满足自动驾驶等应用的需求。但是，如果有人恶意地在应用场景中加入了对抗样本，尤其是基于图形学原理修改了纹理、形状等特征的实体对抗样本，就很容易发生错误。

为了应对这一情况，我们可以先将基于图形学生成的3D对抗样本的渲染图像，作为强化内容加入到训练集中，如图3所示。

通过这样的数据集强化方式，可以让训练的神经网络系统面对对抗样本有更好的抗干扰能力，在真正拍摄到物理世界中的对抗样本时，也有能力将其识别并作出符合常识的正确判断。

对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其它实施例中实现。因此，本发明将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。

Claims (4)

1.一种利用3D对抗样本增强目标检测系统抗干扰能力的方法，从图形学层面出发，以更全面、系统的方案来生成3D对抗样本，并利用生成的对抗样本来提高目标检测模型的对抗防御能力；其特征在于；具有如下执行步骤；

步骤1，基于纹理的对抗样本生成；基于对抗样本的梯度原理，修改目标3D模型的纹理和形状，实现纹理和形状层面的对抗攻击，得到对抗3D图形和M_texture；

步骤2，基于形状的对抗样本生成；实现渲染层面的对抗攻击，得到对抗3D图形M_vertices；对于该步骤来讲，执行过程是，现有初始3D模型M(x，S)和待攻击的目标检测系统g，这一方法可以表达为：

max loss(g(S^adv)，y)＝loss(g(S^adv)，y′)+λloss_perceptual(g(S^adv))

其中，loss表示损失函数，S^adv表示对抗样本的3D网格，y′表明攻击的目标分类标签，在非目标攻击时该项表示最小化正确分类概率；loss_perceptual表示人眼识别的损失函数，即人为扰动不被人眼察觉的附加项，λ是其权重系数；

步骤2.1生成整体微幅修改的对抗网格；本步骤的目的，是针对3D网格中所有的顶点坐标进行小幅度优化，人眼几乎无法观察出对抗样本和原物体之间的差别；

本方案具体采用基于梯度的优化方法：

S^adv＝S+η

由于不同形状、材质的物体可能产生的形变，因此可以在生成对抗网格模型的基础上推广到对物体形变分布的对抗优化：

其中E_t～T表示物体可能发生形变的分布；

步骤2.2生成局部大幅修改的对抗网格，本步骤的目的，是针对模型中某一小部分，进行较大幅度的改动；这一方案的难点在于改动部分的选择；

在网格模型的法线变化较大，即形状较“尖锐”的部分，往往更容易作为物体的特征被学习模型识别；因此，首先通过对网格进行求导的方式得到梯度变化较大的部分R，再在R内部进行优化：

for vertices in R：

S^adv＝S+η

这里仍需对优化加以限制λ′，而λ′＞＞λ；这是因为在应用上对于图像域的变化操作限制较小，但对于3D网格的修改实际上受到连续性因素的限制；

通过步骤2产生的对抗模型可记为M_vertices(x，S^adv)；

步骤3，基于渲染的对抗样本生成；得到对抗3D图形和M_render；

步骤4，生成预训练数据清洗网络；对于得到的M_texture，M_vertices和M_render，将每一个3D对抗模型进行若干次变换后进行渲染，生成若干个在不同渲染背景、相机参数条件下的对抗样本图像I_adv；使用I_adv训练一个判别器，将其作为学习系统的预处理模块，得到抗干扰能力更强的目标检测模型；

步骤5，将对抗样本图像添加到原训练集中；将I_adv中的图像正确标注后添加到目标检测模型训练集中，增强该学习模型的鲁棒性。

2.根据权利要求1所述一种利用3D对抗样本增强目标检测系统抗干扰能力的方法，其特征在于；对于步骤1来讲，执行过程是，在FGSM传统图像域的对抗样本生成技术基础上，结合增强鲁棒性的方法来优化纹理图像，达到对抗效果；

现有初始3D模型M(x，S)和待攻击的目标检测系统g，基本原理可以表达为：

min||η||₂ subject to

x^adv＝x+η

g(x)＝y，g(x′)≠y

其中，x表示原纹理，y是该模型所表征物体的正确分类标签，g(x)表示神经网络的输出结果，x^adv表示对抗样本，η表示对抗样本纹理与原纹理之间的差别，即人为添加的扰动；

步骤1.1生成整体微幅修改的对抗纹理；本步骤的目的，是将普通正常纹理位图进行细微的像素修改，使其渲染输出的图像能干扰神经网络并使其产生错误判断；

本方案具体采用基于FGSM改进的方法：

arg max_x′(E_t～T[loss(g(x)，y)]-λE_t～T[d(t(x′)，t(x))])subject to：

x′＝x+η

其中，t表示对抗样本的形变，T表示形变可能的分布，∈表示人为控制变化量的一个系数，loss表示模型输出的损失值；

考虑到在三维空间乃至现实世界中，常存在随机的扰动和变换；因此将对纹理推广到对纹理在一定变换下的分布，能有效增加对抗样本的泛用性、鲁棒性；

步骤1.2生成局部大幅修改的对抗纹理；本步骤的目的，是将对抗发生范围局限在较小的区域，而不考虑扰动幅值的大小，类似于给目标物体贴上一块“补丁”；这样的修改不会影响人眼判断，但足以干扰学习模型的检测和识别；

产生的补丁大小，可根据目标物体大小自适应规定，并默认补丁位于目标表面特定位置；

假设设置的形变区域为R，则本方法可以表述为：

for pixels in R：

x^adv＝x+η

通过步骤1产生的对抗模型可记为M_texture(x^adv，S)。

3.根据权利要求1所述一种利用3D对抗样本增强目标检测系统抗干扰能力的方法，其特征在于；对于步骤3来讲，执行过程是，是以图形学技术为出发点；

步骤3.1使用不同光照条件渲染图形；

在确认了纹理和网格形状后，物体还需要渲染成图像输入目标检测和分类模型中；根据域迁移(domain shift)的原理，光照条件不同时，可能使学习模型对于目标进行错误的检测和分类判断：

I^adv＝R(S^adv，P，l)

步骤3.2根据渲染结果修改图形纹理；

当干扰成功产生了影响时，根据L′与L的差值修改对抗样本的纹理；

x′＝x+∈(l′-l)

其中x′表示基于渲染原理所生成的对抗纹理，l′表示产生对抗性所使用的光照条件；

通过步骤3产生的对抗模型可记为M_render(x′，S)。

4.根据权利要求1所述一种利用3D对抗样本增强目标检测系统抗干扰能力的方法，其特征在于；对于步骤4来讲，执行过程是，在前3个步骤中，已经得到了系统的、全面的，基于图形学生成的3D对抗样本，即M_texture，M_vertices和M_render；其构成的集合为M_adv；

在步骤4和步骤5中，需要使用这些图形构成一个对抗样本图像数据集I_adv，并利用它来增强目标检测系统的抗干扰能力；

步骤4.1生成对抗样本图像数据集；对于前3个步骤所产生的每一个对抗图形M_aav，将其在一定范围内进行随机旋转、形变，再在若干个不同相机参数、光照条件、渲染背景下进行渲染，得到一个对抗样本图像数据集I_adv：

forM in M_adv：

for t～T，p～P，l～L：

I＝R(t(M)，p，l)

其中T表示旋转、形变图形变换的分布，P表示相机参数的分布，L表示光照条件的分布，I表示生成的对抗样本图像，I∈I_adv；

步骤4.2训练检测器；本步骤目的在于使用步骤1到步骤3所生成的对抗样本渲染结果训练一个检测器神经网络g_dis，使其能以较高概率将前3步所生成的各类对抗图形识别出来；

步骤4.3对接检测器与受保护的神经网络模型；将g_dis与受保护的目标检测系统g整合，使其能作为数据清洗的预处理模块，筛选出可能产生威胁的对抗样本。

Images