CN118351197A - 一种基于指定颜色的对抗伪装图案生成方法及车辆 - Google Patents
一种基于指定颜色的对抗伪装图案生成方法及车辆 Download PDFInfo
- Publication number
- CN118351197A CN118351197A CN202410329887.2A CN202410329887A CN118351197A CN 118351197 A CN118351197 A CN 118351197A CN 202410329887 A CN202410329887 A CN 202410329887A CN 118351197 A CN118351197 A CN 118351197A
- Authority
- CN
- China
- Prior art keywords
- map
- color
- model
- challenge
- contrast
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 73
- 238000001514 detection method Methods 0.000 claims abstract description 109
- 239000011159 matrix material Substances 0.000 claims abstract description 74
- 239000003086 colorant Substances 0.000 claims abstract description 40
- 230000008447 perception Effects 0.000 claims abstract description 25
- 238000004422 calculation algorithm Methods 0.000 claims description 44
- 239000000427 antigen Substances 0.000 claims description 38
- 102000036639 antigens Human genes 0.000 claims description 38
- 108091007433 antigens Proteins 0.000 claims description 38
- 238000012549 training Methods 0.000 claims description 37
- 230000009466 transformation Effects 0.000 claims description 35
- 238000012937 correction Methods 0.000 claims description 27
- 230000008485 antagonism Effects 0.000 claims description 23
- 230000006870 function Effects 0.000 claims description 17
- 230000000694 effects Effects 0.000 claims description 15
- 238000009499 grossing Methods 0.000 claims description 13
- 238000005457 optimization Methods 0.000 claims description 13
- 238000002372 labelling Methods 0.000 claims description 12
- 238000009827 uniform distribution Methods 0.000 claims description 12
- 238000012360 testing method Methods 0.000 claims description 11
- PXFBZOLANLWPMH-UHFFFAOYSA-N 16-Epiaffinine Natural products C1C(C2=CC=CC=C2N2)=C2C(=O)CC2C(=CC)CN(C)C1C2CO PXFBZOLANLWPMH-UHFFFAOYSA-N 0.000 claims description 10
- 238000013507 mapping Methods 0.000 claims description 10
- 230000008569 process Effects 0.000 claims description 9
- 238000009826 distribution Methods 0.000 claims description 8
- 238000004590 computer program Methods 0.000 claims description 7
- 230000016776 visual perception Effects 0.000 claims description 6
- 239000000463 material Substances 0.000 claims description 5
- 238000004364 calculation method Methods 0.000 claims description 4
- 230000000007 visual effect Effects 0.000 claims description 4
- 230000004075 alteration Effects 0.000 claims description 3
- 238000003860 storage Methods 0.000 claims description 3
- 230000004438 eyesight Effects 0.000 abstract description 4
- 238000010586 diagram Methods 0.000 description 13
- 238000005516 engineering process Methods 0.000 description 7
- 238000005070 sampling Methods 0.000 description 4
- 238000000844 transformation Methods 0.000 description 4
- 238000013528 artificial neural network Methods 0.000 description 2
- 230000004927 fusion Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000009394 selective breeding Methods 0.000 description 2
- 230000003042 antagnostic effect Effects 0.000 description 1
- 239000005557 antagonist Substances 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000011835 investigation Methods 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 101150049349 setA gene Proteins 0.000 description 1
- 238000004088 simulation Methods 0.000 description 1
- 230000002194 synthesizing effect Effects 0.000 description 1
Landscapes
- Image Processing (AREA)
- Image Analysis (AREA)
Abstract
本发明提出的一种基于指定颜色的对抗伪装图案生成方法,计算机视觉技术领域,解决了生成的对抗图案颜色艳丽,易被人眼识别的技术问题,采用的方案是:获取颜色空间中指定颜色的颜色集合,作为对抗贴图的基色;确定待生成对抗贴图的尺寸,根据定义的颜色概率矩阵及对抗贴图的基色,计算得到对抗贴图中每个像素点的颜色,获得初始对抗贴图;根据原图中的检测模型感知模型信息及对抗贴图的位置,对初始对抗图优化,获得优化后的对抗贴图数据。本方案可成功生成可控颜色的对抗图案,同时在各种检测模型下以及数字世界和物理世界中都能保持稳定的攻击性。
Description
技术领域
本发明涉及计算机视觉技术领域,尤其涉及一种基于指定颜色的对抗伪装图案生成方法及车辆。
背景技术
本部分旨在为权利要求书中陈述的本发明的实施方式提供背景或上下文。此处的描述可包括可以探究的概念,但不一定是之前已经想到或者已经探究的概念。因此,除非在此指出,否则在本部分中描述的内容对于本申请的说明书和权利要求书而言不是现有技术,并且并不因为包括在本部分中就承认是现有技术。
随着计算机视觉技术的快速发展,以深度神经网络为框架的感知系统在自动驾驶和安防监控等方面得到广泛的应用,目标检测算法的安全性变得极为重要。然而,深度神经网络被证实对对抗噪声很敏感,预测结果容易受到特定图案的影响。挖掘检测模型的漏洞,探究检测器安全性就成为了一项重要的工作。而对抗伪装是一种让目标逃避智能感知识别的技术,可以用于重要目标躲避AI的侦察,具有非常重要的应用价值。
现有的对抗纹理图案生成方法绝大多数是无限制条件下生成的对抗图案,生成的对抗图案大多都颜色艳丽,不易与四周结合,该类型对抗图案容易引起人员注意,在实际应用过程中存在易被发现和易攻破的缺陷。
如何提升对抗攻击图案的自然性和实用性,研发一种针对目标检测网络模型的强自然性与高实用性的对抗伪装技术是本领域技术人员亟待解决的技术问题。
发明内容
为解决现有技术生成的对抗图案颜色艳丽,易被人眼识别的技术问题,本发明的目的是提供一种基于指定颜色的对抗伪装图案生成方法及车辆。
为解决上述技术问题,第一方面,根据一些实施例,本发明提供了一种基于指定颜色的对抗伪装图案生成方法,包括:
获取颜色空间中指定颜色的颜色集合,作为对抗贴图的基色;
确定待生成对抗贴图的尺寸,根据定义的颜色概率矩阵及所述对抗贴图的基色,计算得到对抗贴图中每个像素点的颜色,获得初始对抗贴图;
根据原图中的检测模型感知模型信息及所述对抗贴图的位置,对所述初始对抗图优化,获得优化后的对抗贴图数据。
可选的,在一些实施例中,在获取颜色空间中指定颜色的颜色集合之前,还包括:
获得原图中待训练车型的单阶段目标检测算法检测模型感知模型。
可选的,在一些实施例中,所述获得原图中待训练车型的单阶段目标检测算法检测模型感知模型,具体包括:
在真实环境中采集模型车辆的视觉感知数据,对所述模型车辆的位置信息进行标注;
根据标注信息训练针对所述车辆的单阶段目标检测算法检测模型感知模型。
可选的,在一些实施例中,所述在真实环境中采集模型车辆的视觉感知数据,对所述模型车辆的位置信息进行标注,具体包括:
将需要伪装的目标车辆模型放到不同的现实环境中,记录不同场景下不同视角和距离的可见光相机接收图像;
使用工具对每张图片中所在位置的矩形框信息<xl,yl,xr,yr>进行标注,其中<xl,yl>是矩形左上角坐标,<xr,yr>是矩形右下角坐标。
可选的,在一些实施例中,所述根据标注信息训练针对所述车辆的单阶段目标检测算法检测模型感知模型,具体包括:
根据标注信息,生成训练数据;
将所述训练数据,划分测试集与训练集,训练集将用于对抗伪装的底图以训练对抗贴图,测试集用于评测伪装的攻击效果;
将训练集输入到单阶段目标检测算法的检测模型中,训练针对所述车辆的单阶段检测模型,作为对抗贴图攻击的对象。
可选的,在一些实施例中,所述获取颜色空间中指定颜色的颜色集合,具体包括:
根据待伪装的颜色,在RGB颜色空间内确定颜色集合,作为所述对抗贴图的基色;
其中,所述颜色集合NC是基色数量。
可选的,在一些实施例中,所确定待生成对抗贴图的尺寸,根据定义的颜色概率矩阵及所述对抗贴图的基色,计算得到对抗贴图中每个像素点的颜色,具体包括:
选定所述对抗贴图M的尺寸为W×H,其中,W是宽,H是高;
定义颜色概率矩阵其中,pijk表示第i行第j列的像素点xij的颜色为ck的概率,D是对对抗贴图下采样的倍数;
对所述颜色概率矩阵进行平滑处理,得到平滑后的颜色概率矩阵
根据所述平滑后的颜色概率矩阵计算得到像素点xij的颜色mij,采用公式二,如下:
其中,τ是温度系数,用于控制生成颜色中不同基色的混合程度;
基于所述公式二,生成基于指定颜色的对抗贴图MD=[mij];
将所述对抗贴图MD上采样,得到设定大小的初始对抗贴图。
可选的,在一些实施例中,对所述颜色概率矩阵进行平滑处理,得到平滑后的颜色概率矩阵具体包括:
使用均匀平滑核对所颜色概率矩阵做进一步的平滑处理,得到平滑后的颜色概率矩阵采用公式一,如下:
可选的,在一些实施例中,所述将所述对抗贴图MD上采样,得到设定大小的初始对抗贴图,具体包括:
将所述对抗贴图MD上采样D,得到设定大小的对抗贴图M,采用公式三,如下:
M=UPSAMPLE(MD, ) (3)。
可选的,在一些实施例中,在所述获得初始对抗贴图之后,在根据原图中的检测模型感知模型信息及所述对抗贴图的位置之前,还包括:
对所述初始对抗贴图增加EOT干扰;
利用颜色矫正算法模拟所述初始对抗贴图在数字世界与物理世界的色差。
可选的,在一些实施例中,所述对所述初始对抗贴图增加EOT干扰,具体包括:对所述对抗贴图增加对比度干扰、明亮干扰、噪声干扰中至少任意一种。
可选的,在一些实施例中,所述利用颜色矫正算法模拟所述初始对抗贴图在数字世界与物理世界的色差,具体包括:
根据期望变换EOT算法,在所述对抗贴图的数字优化过程中模拟物理世界中对比度D~Uniform(d-,d+)、明亮B~Uniform(b-,b+)、噪声N~UniForm(n-,n+)物理变换;
其中,所述对比度、所述明亮、所述噪声都符合均匀分布,X-代表分布下界,X+代表分布的上界,X代表参数d、b、n中的一种,Uniform代表均匀分布;
变换采用公式4所示,如下:
MP=D*M+B+N (4)
其中,MP是添加对比度、明亮、噪音物理干扰后的对抗贴图;
将所述干扰后的对抗贴图,进行物理世界的颜色校正,得到颜色校正后的对抗贴图MC。
可选的,在一些实施例中,所述将所述干扰后的对抗贴图,进行物理世界的颜色校正,得到颜色校正后的对抗贴图MC,具体包括:
将所选的基色打印到对应物理材料上,采用相机反拍,得到在物理世界上的颜色数据
采用公式五,训练多项式颜色校正模型Tc,如下:
其中,代表多项式回归自由度分配矩阵,代表自由度值;
利用训所述颜色校正模型Tc,采用公式六,对数字世界中的对抗贴图MP进行颜色校正得到MC,所述公式六,具体如下:
MC=TC(MP) (6)。
可选的,在一些实施例中,所述根据原图中的检测模型感知模型信息及所述对抗贴图的位置,对所述初始对抗图优化,获得优化后的对抗贴图数据,具体包括:
根据原图中的模型位置、模型大小等信息改变对抗贴图的摆放位置和大小,将所述对抗贴图贴与所述原图结合,作为单阶段目标检测算法的输入;
采用梯度回传优化初始纹理的方法,计算所述单阶段目标检测算法检测模型中一阶段目标类别的置信分数,对损失函数进行梯度回传,获得优化后的对抗贴图数据。
可选的,在一些实施例中,所述根据原图中的模型位置、模型大小等信息改变对抗贴图的摆放位置和大小,然后将对抗贴图贴与原图结合,作为单阶段目标检测算法的输入,具体包括:
将所述对抗贴图MC进行零填充到与数据集中的图片Ir相同大小得到I′M;
根据原图中的每一张的车辆V所在的位置的矩形框<xl,yl,xr,yr>信息以及期望对抗贴图的大小比例信息,采用仿射变换矩阵将I′M进行旋转和缩放变换,得到包含对抗贴图的图片IM;
将包含所述对抗贴图的图片IM与原始图片Ir融合,得到对抗贴图为MC的攻击结果图像IA;
将所述攻击结果图像IA,作为单阶段目标检测模型F的输入。
可选的,在一些实施例中,所述采用仿射变换矩阵将I′M进行旋转和缩放变换,得到带有对抗贴图的图片IM,具体包括:
采用公式七,对所述仿射变换矩阵将I′M进行旋转和缩放变换,得到所述包含对抗贴图的图片IM:
IM=S*R(θ)*I′M (7)
R(θ)为用于关于旋转角度θ的旋转矩阵,具体的,公式八如下:
其中,S为缩放矩阵,只有对角线有不为0,具体公式九如下:
可选的,在一些实施例中,所述将包含所述对抗贴图的图片IM与原始图片Ir融合,得到对抗贴图为MC的攻击结果图像IA,具体包括:
采用公式十,将包含所述对抗贴图的图片IM与原始图片Ir融合,得到对抗贴图为MC的攻击结果图像IA,如下:
其中0≤i≤1280,0≤j≤720。
可选的,在一些实施例中,所述采用梯度回传优化初始纹理的方法,计算所述单阶段目标检测算法检测模型中一阶段目标类别的置信分数,对损失函数进行梯度回传,获得优化后的对抗贴图数据,具体包括:
将所述攻击结果图像IA输入单阶段检测模型F,其中,所述单阶段检测模型F的输出结果是检测框置信度Fobj(IA);
取被攻击类t的模型所有检测框的置信度Fobj,t(IA)的最大值,设置降低模型检测准确率的目标损失函数L,采用公式十一,如下所示:
利用所述目标损失函数L进行梯度回传计算,优化所述对抗贴图的颜色概率矩阵进而优化对抗贴图;
其中,攻击类t是指车辆类别。
可选的,在一些实施例中,在获得优化后的对抗贴图数据之后,还包括:
将所述优化后的对抗贴图打印并粘贴在对应位置,完成对抗伪装。
第二方面,本发明实施例,还提供了一种车辆,所述车辆的车身某区域,粘贴有上述第一方面任一项所述方法所获得的对抗贴图。
第三方面,本发明实施例,还提供一种基于指定颜色的对抗伪装图案生成装置,包括:
生成模块,用于获取颜色空间中指定颜色的颜色集合,作为对抗贴图的基色;还用于,确定待生成对抗贴图的尺寸,根据定义的颜色概率矩阵及所述对抗贴图的基色,计算得到对抗贴图中每个像素点的颜色,获得初始对抗贴图;
优化模块,用于根据原图中的检测模型感知模型信息及所述对抗贴图的位置,对所述初始对抗图优化,获得优化后的对抗贴图数。
第四方面,本发明实施例,还提供了一种电子设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,所述处理器执行所述程序时实现上述第一方面任一项所述方法的步骤。
第五方面,本发明实施例,还提供了一种计算机可读存储介质,其上存储有计算机程序,所述计算机程序被处理器执行时实现上述第一方面任一项所述方法的步骤。
本发明的上述技术方案至少具有如下有益的技术效果:本发明实施例的技术方案,通过获取颜色空间中指定颜色的颜色集合,作为对抗贴图的基色,根据确定的对抗贴图的基色,计算得到对抗贴图中每个像素点的颜色,获得到的初始对抗贴图,包含有人工确定的对抗图案的基色,利用人工选择及人眼的识别的特性,将人工选择的基色与对抗贴图结合,使得对抗图案不易被人眼识别发现成为一种可选项,能根据隐藏对象的四周情况自行选择颜色来进行隐藏,解决了对抗图案容易引起人员注意的问题,使得对抗图案不易的被人眼识别;通过人工选择,可以更好的与四周融合,有利于躲避人眼的识别;根据颜色概率矩阵,进一步计算得到对抗贴图中每个像素点的颜色,获得到初始对抗贴图,可有效的提升对抗攻击图案的自然性,还可以通过优化选取基色的颜色概率矩阵,针对任意模型可以生成颜色可控的对抗图案,可移植性好;在获得初始化对抗图后,对初始对抗图优化,获得优化后的对抗贴图,可不易被AI识别发现,提高了实用性;本申请的技术方案,可易与四周结合,不易被人眼睛识别引起人员注意,也不易被AI侦察发现,可有效的躲避AI的侦察以及人眼识别的隐患。因此,本申请的一种指定颜色下的对抗伪装图案生成技术,将其应用到复杂的物理世界中,可有效的实现目标检测系统对特定目标的误识别或漏检,该方法可以成功生成可控颜色的对抗图案,同时在各种检测模型下以及数字世界和物理世界中都能保持稳定的攻击性。
附图说明
为了更清楚地说明本发明实施例或传统技术中的技术方案,下面将对实施例中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1是本发明实施例提供的一种基于指定颜色的对抗伪装图案生成方法流程图。
图2是本发明实施例提供的基于指定颜色的对抗伪装图案生成方法的详细流程图。
图3是本发明实施例提供的一种优化的颜色校正前后的对抗贴图。
图4是本发明实施例提供的在物理世界中车辆模型的目标检测隐身效果。
图5是本发明实施例提供的一种基于指定颜色的对抗伪装图案生成装置示意框图。
图6是本发明实施例提供的一种电子设备示意框图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
此外,在以下说明中,省略了对公知结构和技术的描述,以避免不必要地混淆本发明的概念。
若本申请各个实施例之间的技术方案可以相互结合,以本领域普通技术人员能够实现为基础。
需要注意的是,本申请中所提及的先后顺序的序号,在实际的具体实现过程中,并不代表一定要严格按着先后顺序号来执行,序号是为了区分每个步骤,便于说明,防止产生混淆。
在附图中示出了根据本发明实施例的层结构示意图。这些图并非是按比例绘制的,其中为了清楚的目的,放大了某些细节,并且可能省略了某些细节。图中所示出的各种区域、层的形状以及它们之间的相对大小、位置关系仅是示例性的,实际中可能由于制造公差或技术限制而有所偏差,并且本领域技术人员根据实际所需可以另外设计具有不同形状、大小、相对位置的区域/层。
此外,下面所描述的本发明不同实施方式中所涉及的技术特征只要彼此之间未构成冲突就可以相互结合。
目前,现有技术中现有的对抗纹理图案生成方法绝大多数是无限制条件下生成的对抗图案,生成的对抗图案大多都颜色艳丽,该类型对抗图案容易引起人员注意,易被人眼所识别,因此,即使躲避了躲避AI的侦察,也存在着易被发现和易攻破的风险。
为了更好的隐藏与躲避,通过人工调整对抗图案颜色,使得对抗图案不易被人眼识别发现,成为一种可选项,但如何根据人工的选择,实现自动调整对抗图案颜色,且对抗图案仍然具备躲避AI的侦察能力,是一个需要解决的技术问题。
在说明本申请的技术方案前,先对本申请可能涉及到的相关的名词进行解释。
Uniform:均匀分布。
IoU:Intersection of Union,交并比。
EOT:Expectation Of Transform(期望变换),具体可以参考文献,如下:AthalyeA,Engstrom L,Ilyas A,et al.Synthesizing robust adversarial examples[C]//International conference on machine learning.PMLR,2018:284-293。
mAP@50:mean Average Precision@0.5,指目标检测任务中的平均精确度(mAP)评估指标,其中IoU阈值设为0.5,参考文献如下:Zheng L,Shen L,Tian L,et al.Scalableperson re-identification:Abenchmark[C]//Proceedings of the IEEE internationalconference on computer vision.2015:1116-1124。
YoloV5:You only look once Version 5,一种实时目标检测算法,可参考代码和说明如下:https://docs.ultralytics.com/yolov5。
labelme:一种图像标注工具,参考代码和说明如下:https://github.com/wkentaro/labelme。
为解决上述技术问题,本发明实施例提供了一种基于指定颜色的对抗伪装图案生成方法,包括:
获取颜色空间中指定颜色的颜色集合,作为对抗贴图的基色;
确定待生成对抗贴图的尺寸,根据定义的颜色概率矩阵及所述对抗贴图的基色,计算得到对抗贴图中每个像素点的颜色,获得初始对抗贴图;
根据原图中的检测模型感知模型信息及所述对抗贴图的位置,对所述初始对抗图优化,获得优化后的对抗贴图数据。
以下通过具体实施例进行说明,如图1及图2所示。
S101:获取颜色空间中指定颜色的颜色集合,作为对抗贴图的基色;
颜色空间可以是任何一个颜色空间,比如RGB颜色空,CMYK颜色空间等,指定的颜色是指人工所选定的颜色,即为待伪装的主题颜色色调,也可以理解为主基色。
通常性的,在实际生成的图片中,不会只有单一的颜色,即使是单一颜色的图片,通过光的反射、折射后,在人的眼中的图片亦会发生变化,因此,本申请为了更好的与实际贴合,当指定颜色后,在当前的颜色空间中确定一个颜色集合。
以RGB颜色为例,可以在RGB颜色空间中选择一个颜色集合 作为对抗贴图的基色,NC是基色数量,通常性的,NC大于等于2,本领域的技术人员,可以根据实际情况,进行适当的调整,此处不再列举。
S102:确定待生成对抗贴图的尺寸,根据定义的颜色概率矩阵及对抗贴图的基色,计算得到对抗贴图中每个像素点的颜色,获得初始对抗贴图;
当确定颜色的主基色以后,定义一个颜色概率矩阵,该概率矩阵和确定的基色及结合对抗贴图,根据待生成对抗贴图的尺寸,计算得到对抗贴图中每个像素点的颜色,获得初始对抗贴图,因此,该对抗贴图,与用户指定的主基色相近,且,通过颜色概率矩阵,使得生成的对抗图案的颜色可控,可有效的模仿同一颜色在自然条件下的所产生的各种细微的颜色差异。
S103:根据原图中的检测模型感知模型信息及对抗贴图的位置,对初始对抗图优化,获得优化后的对抗贴图数据。
获得初始对抗贴图后,该对抗贴图可能还是被易于发现,且,由于进行了颜色的处理,可能易被AI侦查发现,因此,需要对初始对抗贴图进行优化。
因此,根据原图中的检测模型感知模型信息及对抗贴图的位置,对初始对抗图优化,获得优化后的对抗贴图数据。
本发明实施例的技术方案,通过获取颜色空间中指定颜色的颜色集合,作为对抗贴图的基色,根据确定的对抗贴图的基色,计算得到对抗贴图中每个像素点的颜色,获得到的初始对抗贴图,包含有人工确定的对抗图案的基色,利用人工选择及人眼的识别的特性,将人工选择的基色与对抗贴图结合,使得对抗图案不易被人眼识别发现成为一种可选项,能根据隐藏对象的四周情况自行选择颜色来进行隐藏,解决了对抗图案容易引起人员注意的问题,使得对抗图案不易的被人眼识别;通过人工选择,可以更好的与四周融合,有利于躲避人眼的识别;根据颜色概率矩阵,进一步计算得到对抗贴图中每个像素点的颜色,获得到初始对抗贴图,可有效的提升对抗攻击图案的自然性,还可以通过优化选取基色的颜色概率矩阵,针对任意模型可以生成颜色可控的对抗图案,可移植性好;在获得初始化对抗图后,对初始对抗图优化,获得优化后的对抗贴图,可不易被AI识别发现,提高了实用性;本申请的技术方案,可易与四周结合,不易被人眼睛识别引起人员注意,也不易被AI侦察发现,可有效的躲避AI的侦察以及人眼识别的隐患。因此,本申请的一种指定颜色下的对抗伪装图案生成技术,将其应用到复杂的物理世界中,可有效的实现目标检测系统对特定目标的误识别或漏检,该方法可以成功生成可控颜色的对抗图案,同时在各种检测模型下以及数字世界和物理世界中都能保持稳定的攻击性。
可选的,作为其中一种实施例,在获取颜色空间中指定颜色的颜色集合之前,还包括:
获得原图中待训练车型的单阶段目标检测算法检测模型感知模型。
可选的,作为其中一种实施例,所述获得原图中待训练车型的单阶段目标检测算法检测模型感知模型,具体包括:
在真实环境中采集模型车辆的视觉感知数据,对所述模型车辆的位置信息进行标注;
根据标注信息训练针对所述车辆的单阶段目标检测算法检测模型感知模型。
可选的,作为其中一种实施例,所述在真实环境中采集模型车辆的视觉感知数据,对所述模型车辆的位置信息进行标注,具体包括:
将需要伪装的目标车辆模型放到不同的现实环境中,记录不同场景下不同视角和距离的可见光相机接收图像;
使用工具对每张图片中所在位置的矩形框信息<xl,yl,xr,yr>进行标注,其中<xl,yl>是矩形左上角坐标,<xr,yr>是矩形右下角坐标。
可选的,作为其中一种实施例,所述根据标注信息训练针对所述车辆的单阶段目标检测算法检测模型感知模型,具体包括:
根据标注信息,生成训练数据;
将所述训练数据,划分测试集与训练集,训练集将用于对抗伪装的底图以训练对抗贴图,测试集用于评测伪装的攻击效果;
将训练集输入到单阶段目标检测算法的检测模型中,训练针对所述车辆的单阶段检测模型,作为对抗贴图攻击的对象。
以下通过具体实施例进行说明。
S11、将需要伪装的目标车辆模型V放到不同的现实环境中,记录不同场景下不同视角和距离的可见光相机接收图像,使用labelme工具对每张图片中V所在位置的矩形框信息<xl,yl,xr,yr>进行标注,其中<xl,yl>是矩形左上角坐标,<xr,yr>是矩形右下角坐标。
具体的,可以将需要伪装的目标小车模型V放到城市建筑、草地树木等不同的现实环境中,使用相机记录车辆360°视角、0.5米和1米不同距离的可见光图像,图像大小为1280x720,图片数量为1080。使用labelme工具对每张图片中V所在位置的矩形框的左上角和右下角坐标信息<xl,yl,xr,yr>进行标注。
S12、针对生成的数据划分测试集与训练集,训练集将用于对抗伪装的底图以训练对抗贴图,测试集将用于评测伪装的攻击效果。
具体的,可以将采集和标注的数据按照9:1的比例划分测试集与训练集,训练集为972张,测试集为108张。训练集将用于单阶段检测模型的训练和对抗伪装的底图以训练对抗贴图,测试集将用于评测伪装的攻击效果。
S13、将训练集输入到YoloV5检测模型中,训练针对车辆V的单阶段检测模型F,作为对抗贴图攻击的对象。
更体的,将训练集图片及其对应的位置信息输入到YoloV5检测模型中,训练针对车辆V的单阶段检测模型F,作为对抗贴图攻击的对象。
本发明实施例的技术方案,在获取颜色空间中指定颜色的颜色集合之前,获得原图中待训练车型的单阶段目标检测算法检测模型感知模型,即根据实际的车型确定感知模型,该模型与物理世界的模型尽可能的保持一致,为训练对抗贴图提供一个可靠的数据源,间接的实现使训练后的对抗贴图更符合自然性。
可选的,作为其中一种实施例,所述获取颜色空间中指定颜色的颜色集合,具体包括:
根据待伪装的颜色,在RGB颜色空间内确定颜色集合,作为所述对抗贴图的基色;
其中,所述颜色集合NC是基色数量。
可选的,作为其中一种实施例,所确定待生成对抗贴图的尺寸,根据定义的颜色概率矩阵及所述对抗贴图的基色,计算得到对抗贴图中每个像素点的颜色,具体包括:
选定所述对抗贴图M的尺寸为W×H,其中,W是宽,H是高;
定义颜色概率矩阵其中,pijk表示第i行第j列的像素点xij的颜色为ck的概率,D是对对抗贴图下采样的倍数;
对所述颜色概率矩阵进行平滑处理,得到平滑后的颜色概率矩阵
根据所述平滑后的颜色概率矩阵计算得到像素点xij的颜色mij,采用公式二,如下:
其中,τ是温度系数,用于控制生成颜色中不同基色的混合程度;
基于所述公式二,生成基于指定颜色的对抗贴图MD=[mij];
将所述对抗贴图MD上采样,得到设定大小的初始对抗贴图。
可选的,作为其中一种实施例,对所述颜色概率矩阵进行平滑处理,得到平滑后的颜色概率矩阵具体包括:
使用均匀平滑核对所颜色概率矩阵做进一步的平滑处理,得到平滑后的颜色概率矩阵采用公式一,如下:
可选的,作为其中一种实施例,所述将所述对抗贴图MD上采样,得到设定大小的初始对抗贴图,具体包括:
将所述对抗贴图MD上采样D,得到设定大小的对抗贴图M,采用公式三,如下:
M=UPSAMPLE(MD,D) (3)。
以下通过具体实施例进行说明。
继续以上述实施例为例进行说明。
在RGB颜色空间内选取想要的颜色基色,在确定待生成对抗贴图的尺寸后,计算贴图中每个像素点的颜色概率,选取最大概率值作为该像素点的颜色,得到初始对抗贴图。具体可以如下:
S21、在RGB颜色空间中选择一个颜色集合 作为对抗贴图的基色,NC是基色数量。选定对抗贴图M的尺寸为W×H,W是宽,H是高。
具体的,可以在RGB颜色空间中选择4种颜色作为颜色集合,即NC=4,颜色集合如图2所示。
此处,设置对抗贴图M的尺寸为W=460,H=272。
S22、对于贴图M下采样后的所有像素点,定义一个颜色概率矩阵 pijk表示第i行第j列的像素点xij的颜色为ck的概率,D是对对抗贴图下采样的倍数。
使用均匀平滑核对做了进一步的平滑得到如公式1所示。
具体的,可以设置对抗贴图下采样的倍率D=2,对于贴图M下采样后的所有像素点,定义一个颜色概率矩阵使用均匀平滑核对做了进一步的平滑得到如公式1所示。
S23、根据平滑后的颜色概率矩阵计算得到像素点xij的颜色mij,如公式2所示。
τ是温度系数,控制生成颜色中不同基色的混合程度。通过公式2,便生成了基于选定基色的对抗贴图MD=[mij]。
S24、将MD上采样D得到设定大小的对抗贴图M,如公式3所示。
M=UPSAMPLE(MD,D) (3)
本发明实施例的技术方案,颜色概率矩阵,可针对任意模型可以生成颜色可控的对抗图案,实现了对对抗贴图颜色的控制,且,通过概率矩阵,可更好的模仿自然颜色,避免生成同一颜色时无任何的色差导致易被人眼发现问题,有效的提高了躲避的效果;通过优化选取基色的颜色概率矩阵,可应用各种条件各种情况,具有良好的可移植性。
可选的,作为其中一种实施例,在所述获得初始对抗贴图之后,在根据原图中的检测模型感知模型信息及所述对抗贴图的位置之前,还包括:
对所述初始对抗贴图增加EOT干扰;
利用颜色矫正算法模拟所述初始对抗贴图在数字世界与物理世界的色差。
可选的,作为其中一种实施例,所述对所述初始对抗贴图增加EOT干扰,具体包括:对所述对抗贴图增加对比度干扰、明亮干扰、噪声干扰中至少任意一种。
可选的,作为其中一种实施例,所述利用颜色矫正算法模拟所述初始对抗贴图在数字世界与物理世界的色差,具体包括:
根据期望变换EOT算法,在所述对抗贴图的数字优化过程中模拟物理世界中对比度D~Uniform(d-,d+)、明亮B~Uniform(b-,b+)、噪声N~Uniform(n-,n+)物理变换;
其中,所述对比度、所述明亮、所述噪声都符合均匀分布,X-代表分布下界,X+代表分布的上界,X代表参数d、b、n中的一种,Uniform代表均匀分布;
变换采用公式4所示,如下:
MP=D*M+B+N (4)
其中,MP是添加对比度、明亮、噪音物理干扰后的对抗贴图;
将所述干扰后的对抗贴图,进行物理世界的颜色校正,得到颜色校正后的对抗贴图MC。
可选的,作为其中一种实施例,所述将所述干扰后的对抗贴图,进行物理世界的颜色校正,得到颜色校正后的对抗贴图MC,具体包括:
将所选的基色打印到对应物理材料上,采用相机反拍,得到在物理世界上的颜色数据
采用公式五,训练多项式颜色校正模型Tc,如下:
其中,代表多项式回归自由度分配矩阵,代表自由度值;
利用训所述颜色校正模型Tc,采用公式六,对数字世界中的对抗贴图MP进行颜色校正得到MC,所述公式六,具体如下:
MC=TC(MP) (6)。
继续以上述实施例为例,通过具体实施例进行说明。
为了模拟在物理世界中可能出现的干扰,对对抗贴图增加对比度、明亮、噪声等EOT干扰;同时使用多项式颜色矫正算法模拟对抗贴图在数字世界与物理世界的色差,具体流程如下。
S31、根据期望变换EOT算法,在对抗贴图的数字优化过程中模拟物理世界中对比度D~Uniform(d-,d+)、明亮B~Uniform(b-,b+)、噪声N~Uniform(n-,n+)等物理变换,三者都符合均匀分布,*-是分布下界,*+是分布的上界。具体变换如公式4所示。
MP=D*M+B+N (4)
MP是添加对比度、明亮、噪音等物理干扰后的对抗贴图。
具体的,根据期望变换EOT算法,在对抗贴图的数字优化过程中模拟物理世界中对比度D、明亮B、噪声N等物理变换,具体过程如下:
S311、在对比度扰动中,从均匀分布中随机采样生随机对比度值D,均匀分布概率密度如公式20,具体的,其中,max=d+=1.2,min=d-=0.8。
S312、在亮度扰动中,从均匀分布中随机采样生随机亮度值B,均匀分布概率函数同S311,具体的,其中max=b+=1.2,min=b-=0.8。
S313、在噪声扰动中,从均匀分布中随机采样生随机噪声图像N,均匀分布概率函数同S311,具体的,其中max=n+=1.2,min=n-=0.8。
S314、将以上扰动添加到纹理图像上,得到随机变换后伪装纹理图像。具体操作如公式4:
MP=D*M+B+N (4)
S32、将所选的基色打印到物理材料上,使用相机反拍得到在物理世界上的颜色数据训练多项式颜色校正模型Tc,如公式5所示。
代表多项式回归自由度分配矩阵,代表自由度值。
S33、使用Tc对数字世界中的对抗贴图MP进行颜色校正得到MC,如公式6所示。
MC= C(MP) (6)
经过颜色校正得到的对抗贴图如图3所示。
本发明实施例的技术方案,通过多项式颜色校正算法,实现了对物理世界中色差、大气折射等的模拟,从而增在物理世界中的攻击效果,有效地降低了数字世界和物理世界的色差,本申请通过颜色校正,通过学习颜色从数字世界到物理世界的映射,该物理世界的映射包含了物理世界中因大气折射等导致的颜色变换,以弥补数字图片被打印再被摄像头捕捉之后的颜色失真,有效地降低了数字世界和物理世界的色差;并采用反拍的方式,将数字图片打印到物理材料上之后通过摄像头捕捉得到图片,有效降低数字世界与物理世界色差,这样可有效提高了数字颜色的显示效果,使得生成的对抗伪装图案的对抗效果更好。
可选的,作为其中一种实施例,所述根据原图中的检测模型感知模型信息及所述对抗贴图的位置,对所述初始对抗图优化,获得优化后的对抗贴图数据,具体包括:
根据原图中的模型位置、模型大小等信息改变对抗贴图的摆放位置和大小,将所述对抗贴图贴与所述原图结合,作为单阶段目标检测算法的输入;
采用梯度回传优化初始纹理的方法,计算所述单阶段目标检测算法检测模型中一阶段目标类别的置信分数,对损失函数进行梯度回传,获得优化后的对抗贴图数据。
可选的,作为其中一种实施例,所述根据原图中的模型位置、模型大小等信息改变对抗贴图的摆放位置和大小,然后将对抗贴图贴与原图结合,作为单阶段目标检测算法的输入,具体包括:
将所述对抗贴图MC进行零填充到与数据集中的图片Ir相同大小得到I′M;
根据原图中的每一张的车辆V所在的位置的矩形框<xl,yl,xr,yr>信息以及期望对抗贴图的大小比例信息,采用仿射变换矩阵将I′M进行旋转和缩放变换,得到包含对抗贴图的图片IM;
将包含所述对抗贴图的图片IM与原始图片Ir融合,得到对抗贴图为MC的攻击结果图像IA;
将所述攻击结果图像IA,作为单阶段目标检测模型F的输入。
可选的,作为其中一种实施例,所述采用仿射变换矩阵将I′M进行旋转和缩放变换,得到带有对抗贴图的图片IM,具体包括:
采用公式七,对所述仿射变换矩阵将I′M进行旋转和缩放变换,得到所述包含对抗贴图的图片IM:
IM=S*R(θ)*I′M (7)
R(θ)为用于关于旋转角度θ的旋转矩阵,具体的,公式八如下:
其中,S为缩放矩阵,只有对角线有不为0,具体公式九如下:
可选的,作为其中一种实施例,所述将包含所述对抗贴图的图片IM与原始图片Ir融合,得到对抗贴图为MC的攻击结果图像IA,具体包括:
采用公式十,将包含所述对抗贴图的图片IM与原始图片Ir融合,得到对抗贴图为MC的攻击结果图像IA,如下:
继续以上述实施例为例进行说明。
根据原图中的模型位置、模型大小等信息改变对抗贴图的摆放位置和大小,然后将对抗贴图贴与原图结合,作为单阶段目标检测算法YoloV5的输入,具体过程可以如下:
S41、将对抗贴图MC进行零填充到与数据集中的图片Ir相同大小得到I′M,根据每一张的车辆V所在的位置的矩形框<xl,yl,xr,yr>信息以及期望对抗贴图的大小比例信息,使用仿射变换矩阵将I′M进行旋转和缩放变换得到带有对抗贴图的图片IM。如公式7所示
IM=S*R(θ)*I′M (7)
R(θ)为用于关于旋转角度θ的旋转矩阵,定义如下:
S为缩放矩阵,只有对角线有不为0,形式如下
S42、将带有对抗贴图的图片IM与原始图片Ir融合,得到对抗贴图为MC的攻击结果图像IA,如公式10所示。
其中0≤i≤1280,0≤j≤720。
本发明的实施例的技术方案,通过模拟物理世界中因大气折射等导致的颜色变换,有效提高了物理世界的攻击效果。
可选的,作为其中一种实施例,所述采用梯度回传优化初始纹理的方法,计算所述单阶段目标检测算法检测模型中一阶段目标类别的置信分数,对损失函数进行梯度回传,获得优化后的对抗贴图数据,具体包括:
将所述攻击结果图像IA输入单阶段检测模型F,其中,所述单阶段检测模型F的输出结果是检测框置信度Fobj(IA);
取被攻击类t的模型所有检测框的置信度Fobj,t(IA)的最大值,设置降低模型检测准确率的目标损失函数L,采用公式十一,如下所示:
利用所述目标损失函数L进行梯度回传计算,优化所述对抗贴图的颜色概率矩阵进而优化对抗贴图;
其中,攻击类t是指车辆类别。
继续以上述实施例为例进行说明。
采用梯度回传优化初始纹理的方法,计算YoloV5检测模型中一阶段目标类别的置信分数,对损失函数进行梯度回传,优化初始对抗贴图。
S51、将攻击结果图像IA输入单阶段检测模型F,其中F的输出结果是检测框置信度Fobj(IA);
S52、取被攻击类v的模型所有检测框的置信度Fobj,t(IA)的最大值,设置降低模型检测准确率的目标函数L,如公式11所示:
S53、利用损失函数L进行梯度回传计算,优化模型上对抗贴图的颜色概率矩阵进而优化对抗贴图。
本发明实施例的技术方案,通过优化对抗攻击损失,利用梯度回传的优化方法,实现对抗纹理有效的聚集,从而实现对抗伪装纹理在数字世界和物理世界的攻击性。
可选的,作为其中一种实施例,在获得优化后的对抗贴图数据之后,还包括:
将所述优化后的对抗帖图打印并粘贴在对应位置,完成对抗伪装。
继续以上述实施例为例进行说明。
将上述S53中的优化结果打印,将对抗贴图贴至实车对应的位置,完成对抗伪装,并检测对抗效果。
获得的伪装效果如图4所示。
本发明所提供的目标检测对抗攻击方法主要为解决已知模型参数和架构的白盒攻击,主要针对单阶段检测模型的检测置信度得分进行攻击,在数字世界和物理世界能都有攻击效果。
本发明实施例,还提供一种车辆,所述车辆的车身某区域,粘贴有上述实施例中任一项所述方法所获得的对抗贴图。
本发明实施例,还提供一种基于指定颜色的对抗伪装图案生成装置500,如图5所示,包括:
生成模块501,用于获取颜色空间中指定颜色的颜色集合,作为对抗贴图的基色;还用于,确定待生成对抗贴图的尺寸,根据定义的颜色概率矩阵及所述对抗贴图的基色,计算得到对抗贴图中每个像素点的颜色,获得初始对抗贴图;
优化模块502,用于根据原图中的检测模型感知模型信息及所述对抗贴图的位置,对所述初始对抗图优化,获得优化后的对抗贴图数据。
本发明实施例,还提供一种电子设备600,如图6所示,包括存储器601、处理器602及存储在存储器601上并可在处理器602上运行的计算机程序,所述处理器602执行所述程序时实现上述实施例任一项所述方法的步骤。
本发明实施例,还提供一种计算机可读存储介质,其上存储有计算机程序,所述计算机程序被处理器执行时实现上述实施例任一项所述方法的步骤。
显然,所描述的实施例是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
应当理解的是,本发明的上述具体实施方式仅仅用于示例性说明或解释本发明的原理,而不构成对本发明的限制。因此,在不偏离本发明的精神和范围的情况下所做的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。此外,本发明所附权利要求旨在涵盖落入所附权利要求范围和边界、或者这种范围和边界的等同形式内的全部变化和修改例。
Claims (23)
1.一种基于指定颜色的对抗伪装图案生成方法,其特征在于,包括:
获取颜色空间中指定颜色的颜色集合,作为对抗贴图的基色;
确定待生成对抗贴图的尺寸,根据定义的颜色概率矩阵及所述对抗贴图的基色,计算得到对抗贴图中每个像素点的颜色,获得初始对抗贴图;
根据原图中的检测模型感知模型信息及所述对抗贴图的位置,对所述初始对抗图优化,获得优化后的对抗贴图数据。
2.根据权利要求1所述的方法,其特征在于,在获取颜色空间中指定颜色的颜色集合之前,还包括:
获得原图中待训练车型的单阶段目标检测算法检测模型感知模型。
3.根据权利要求2所述的方法,其特征在于,所述获得原图中待训练车型的单阶段目标检测算法检测模型感知模型,具体包括:
在真实环境中采集模型车辆的视觉感知数据,对所述模型车辆的位置信息进行标注;
根据标注信息训练针对所述车辆的单阶段目标检测算法检测模型感知模型。
4.根据权利要求3所述的方法,其特征在于,所述在真实环境中采集模型车辆的视觉感知数据,对所述模型车辆的位置信息进行标注,具体包括:
将需要伪装的目标车辆模型放到不同的现实环境中,记录不同场景下不同视角和距离的可见光相机接收图像;
使用工具对每张图片中所在位置的矩形框信息<xl,yl,xr,yr>进行标注,其中<xl,yl>是矩形左上角坐标,<xr,yr>是矩形右下角坐标。
5.根据权利要求3所述的方法,其特征在于,所述根据标注信息训练针对所述车辆的单阶段目标检测算法检测模型感知模型,具体包括:
根据标注信息,生成训练数据;
将所述训练数据,划分测试集与训练集,训练集将用于对抗伪装的底图以训练对抗贴图,测试集用于评测伪装的攻击效果;
将训练集输入到单阶段目标检测算法的检测模型中,训练针对所述车辆的单阶段检测模型,作为对抗贴图攻击的对象。
6.根据权利要求1所述的方法,其特征在于,所述获取颜色空间中指定颜色的颜色集合,具体包括:
根据待伪装的颜色,在RGB颜色空间内确定颜色集合,作为所述对抗贴图的基色;
其中,所述颜色集合NC是基色数量。
7.根据权利要求1所述的方法,其特征在于,所确定待生成对抗贴图的尺寸,根据定义的颜色概率矩阵及所述对抗贴图的基色,计算得到对抗贴图中每个像素点的颜色,具体包括:
选定所述对抗贴图M的尺寸为W×H,其中,W是宽,H是高;
定义颜色概率矩阵其中,pijk表示第i行第j列的像素点xij的颜色为ck的概率,D是对对抗贴图下采样的倍数;
对所述颜色概率矩阵进行平滑处理,得到平滑后的颜色概率矩阵
根据所述平滑后的颜色概率矩阵计算得到像素点xij的颜色mij,采用公式二,如下:
其中,τ是温度系数,用于控制生成颜色中不同基色的混合程度;
基于所述公式二,生成基于指定颜色的对抗贴图MD=[mij];
将所述对抗贴图MD上采样,得到设定大小的初始对抗贴图。
8.根据权利要求7所述的方法,其特征在于,对所述颜色概率矩阵进行平滑处理,得到平滑后的颜色概率矩阵具体包括:
使用均匀平滑核对所颜色概率矩阵做进一步的平滑处理,得到平滑后的颜色概率矩阵采用公式一,如下:
9.根据权利要求7所述的方法,其特征在于,所述将所述对抗贴图MD上采样,得到设定大小的初始对抗贴图,具体包括:
将所述对抗贴图MD上采样D,得到设定大小的对抗贴图M,采用公式三,如下:
M=UPSAMPLE(MD,D) (3)
其中,UPSAMPLE代表上采样。
10.根据权利要求1所述的方法,其特征在于,在所述获得初始对抗贴图之后,在根据原图中的检测模型感知模型信息及所述对抗贴图的位置之前,还包括:
对所述初始对抗贴图增加EOT干扰;
利用颜色矫正算法模拟所述初始对抗贴图在数字世界与物理世界的色差。
11.根据权利要求10所述的方法,其特征在于,所述对所述初始对抗贴图增加EOT干扰,具体包括:对所述对抗贴图增加对比度干扰、明亮干扰、噪声干扰中至少任意一种。
12.根据权利要求10所述的方法,其特征在于,所述利用颜色矫正算法模拟所述初始对抗贴图在数字世界与物理世界的色差,具体包括:
根据期望变换EOT算法,在所述对抗贴图的数字优化过程中模拟物理世界中对比度D~Uniform(d-,d+)、明亮B~Uniform(b-,b+)、噪声N~Uniform(n-,n+)物理变换;
其中,所述对比度、所述明亮、所述噪声都符合均匀分布,X-代表分布下界,X+代表分布的上界,X代表参数d、b、n中的一种,Uniform代表均匀分布;
变换采用公式4所示,如下:
MP=D*M+B+N (4)
其中,MP是添加对比度、明亮、噪音物理干扰后的对抗贴图;
将所述干扰后的对抗贴图,进行物理世界的颜色校正,得到颜色校正后的对抗贴图MC。
13.根据权利要求12所述的方法,其特征在于,所述将所述干扰后的对抗贴图,进行物理世界的颜色校正,得到颜色校正后的对抗贴图MC,具体包括:
将所选的基色打印到对应物理材料上,采用相机反拍,得到在物理世界上的颜色数据
采用公式五,训练多项式颜色校正模型Tc,如下:
其中,代表多项式回归自由度分配矩阵,代表自由度值;
利用训所述颜色校正模型Tc,采用公式六,对数字世界中的对抗贴图MP进行颜色校正得到MC,所述公式六,具体如下:
MC=TC(MP) (6)。
14.根据权利要求1所述的方法,其特征在于,所述根据原图中的检测模型感知模型信息及所述对抗贴图的位置,对所述初始对抗图优化,获得优化后的对抗贴图数据,具体包括:
根据原图中的模型位置、模型大小等信息改变对抗贴图的摆放位置和大小,将所述对抗贴图贴与所述原图结合,作为单阶段目标检测算法的输入;
采用梯度回传优化初始纹理的方法,计算所述单阶段目标检测算法检测模型中一阶段目标类别的置信分数,对损失函数进行梯度回传,获得优化后的对抗贴图数据。
15.根据权利要求14所述的方法,其特征在于,所述根据原图中的模型位置、模型大小等信息改变对抗贴图的摆放位置和大小,然后将对抗贴图贴与原图结合,作为单阶段目标检测算法的输入,具体包括:
将所述对抗贴图MC进行零填充到与数据集中的图片Ir相同大小得到I′M;
根据原图中的每一张的车辆V所在的位置的矩形框<xl,yl,xr,yr>信息以及期望对抗贴图的大小比例信息,采用仿射变换矩阵将I′M进行旋转和缩放变换,得到包含对抗贴图的图片IM;
将包含所述对抗贴图的图片IM与原始图片Ir融合,得到对抗贴图为MC的攻击结果图像IA;
将所述攻击结果图像IA,作为单阶段目标检测模型F的输入。
16.根据权利要求14所述的方法,其特征在于,所述采用仿射变换矩阵将I′M进行旋转和缩放变换,得到带有对抗贴图的图片IM,具体包括:
采用公式七,对所述仿射变换矩阵将I′M进行旋转和缩放变换,得到所述包含对抗贴图的图片IM:
IM=S*R(θ)*I′M (7)
R(θ)为用于关于旋转角度θ的旋转矩阵,具体的,公式八如下:
其中,S为缩放矩阵,只有对角线有不为0,具体公式九如下:
17.根据权利要求14所述的方法,其特征在于,所述将包含所述对抗贴图的图片IM与原始图片Ir融合,得到对抗贴图为MC的攻击结果图像IA,具体包括:
采用公式十,将包含所述对抗贴图的图片IM与原始图片Ir融合,得到对抗贴图为MC的攻击结果图像IA,如下:
其中0≤i≤1280,0≤j≤720。
18.根据权利要求15所述的方法,其特征在于,所述采用梯度回传优化初始纹理的方法,计算所述单阶段目标检测算法检测模型中一阶段目标类别的置信分数,对损失函数进行梯度回传,获得优化后的对抗贴图数据,具体包括:
将所述攻击结果图像IA输入单阶段检测模型F,其中,所述单阶段检测模型F的输出结果是检测框置信度Fobj(IA);
取被攻击类t的模型所有检测框的置信度Fobj,t(IA)的最大值,设置降低模型检测准确率的目标损失函数L,采用公式十一,如下所示:
利用所述目标损失函数L进行梯度回传计算,优化所述对抗贴图的颜色概率矩阵进而优化对抗贴图;
其中,所述攻击类t是指车辆类别。
19.根据权利要求1所述的方法,其特征在于,在获得优化后的对抗贴图数据之后,还包括:
将所述优化后的对抗帖图打印并粘贴在对应位置,完成对抗伪装。
20.一种车辆,其特征在于,所述车辆的车身某区域,粘贴有如权利要求1-18任一项所述方法所获得的对抗贴图。
21.一种基于指定颜色的对抗伪装图案生成装置,其特征在于,包括:
生成模块,用于获取颜色空间中指定颜色的颜色集合,作为对抗贴图的基色;还用于,确定待生成对抗贴图的尺寸,根据定义的颜色概率矩阵及所述对抗贴图的基色,计算得到对抗贴图中每个像素点的颜色,获得初始对抗贴图;
优化模块,用于根据原图中的检测模型感知模型信息及所述对抗贴图的位置,对所述初始对抗图优化,获得优化后的对抗贴图数据。
22.一种电子设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,其特征在于,所述处理器执行所述程序时实现权利要求1-19任一项所述方法的步骤。
23.一种计算机可读存储介质,其上存储有计算机程序,其特征在于:所述计算机程序被处理器执行时实现权利要求1-19任一项所述方法的步骤。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202410329887.2A CN118351197A (zh) | 2024-03-21 | 2024-03-21 | 一种基于指定颜色的对抗伪装图案生成方法及车辆 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202410329887.2A CN118351197A (zh) | 2024-03-21 | 2024-03-21 | 一种基于指定颜色的对抗伪装图案生成方法及车辆 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN118351197A true CN118351197A (zh) | 2024-07-16 |
Family
ID=91814824
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202410329887.2A Pending CN118351197A (zh) | 2024-03-21 | 2024-03-21 | 一种基于指定颜色的对抗伪装图案生成方法及车辆 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN118351197A (zh) |
-
2024
- 2024-03-21 CN CN202410329887.2A patent/CN118351197A/zh active Pending
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN106548165B (zh) | 一种基于图像分块加权的卷积神经网络的人脸识别方法 | |
CN105518744B (zh) | 行人再识别方法及设备 | |
CN108171673B (zh) | 图像处理方法、装置、车载抬头显示系统及车辆 | |
WO2022165809A1 (zh) | 一种训练深度学习模型的方法和装置 | |
US10950039B2 (en) | Image processing apparatus | |
Christlein et al. | A study on features for the detection of copy-move forgeries | |
US20180357819A1 (en) | Method for generating a set of annotated images | |
CN106951870B (zh) | 主动视觉注意的监控视频显著事件智能检测预警方法 | |
Tan et al. | Legitimate adversarial patches: Evading human eyes and detection models in the physical world | |
CN102722868B (zh) | 一种高动态范围图像色调映射方法 | |
CN109711472B (zh) | 训练数据生成方法和装置 | |
CN109447909A (zh) | 基于视觉显著性的红外与可见光图像融合方法及系统 | |
JP2024096981A (ja) | 情報処理装置、情報処理方法およびコンピュータプログラム | |
CN109565577A (zh) | 色彩校正装置、色彩校正系统、色彩校正用全息图、色彩校正方法以及程序 | |
US11620759B2 (en) | Systems and methods for machine learning enhanced image registration | |
CN116030519A (zh) | 一种直播教学平台的学习注意力检测与评估方法 | |
CN114998801A (zh) | 基于对比自监督学习网络的森林火灾烟雾视频检测方法 | |
CN113706607B (zh) | 一种基于圆环阵列图的亚像素定位方法、计算机设备与装置 | |
CN118351197A (zh) | 一种基于指定颜色的对抗伪装图案生成方法及车辆 | |
CN116152121A (zh) | 基于畸变参数的曲面屏生成方法、矫正方法 | |
US11734860B2 (en) | Method and system for generating an augmented reality image | |
CN114972170A (zh) | 一种基于鱼眼相机的密集场景下抗遮挡的物体检测方法 | |
CN113240611A (zh) | 一种基于图片序列的异物检测方法 | |
CN114760422B (zh) | 一种逆光检测方法及系统、电子设备及存储介质 | |
CN114120372B (zh) | 基于人体检测识别的空间客流热力分布方法及系统 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |