CN116631043B - 自然对抗补丁生成方法、目标检测模型的训练方法及装置 - Google Patents
自然对抗补丁生成方法、目标检测模型的训练方法及装置 Download PDFInfo
- Publication number
- CN116631043B CN116631043B CN202310912988.8A CN202310912988A CN116631043B CN 116631043 B CN116631043 B CN 116631043B CN 202310912988 A CN202310912988 A CN 202310912988A CN 116631043 B CN116631043 B CN 116631043B
- Authority
- CN
- China
- Prior art keywords
- natural
- potential space
- encoder
- loss
- training
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000012549 training Methods 0.000 title claims abstract description 49
- 238000000034 method Methods 0.000 title claims abstract description 37
- 238000001514 detection method Methods 0.000 title claims abstract description 29
- 238000009792 diffusion process Methods 0.000 claims abstract description 48
- 238000005070 sampling Methods 0.000 claims abstract description 23
- 230000006835 compression Effects 0.000 claims abstract description 17
- 238000007906 compression Methods 0.000 claims abstract description 17
- 230000008447 perception Effects 0.000 claims abstract description 15
- 238000013507 mapping Methods 0.000 claims abstract description 12
- 238000013528 artificial neural network Methods 0.000 claims description 17
- 230000006870 function Effects 0.000 claims description 8
- 238000010276 construction Methods 0.000 claims description 3
- 230000002159 abnormal effect Effects 0.000 description 4
- 241000282414 Homo sapiens Species 0.000 description 3
- 238000011161 development Methods 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 241000282412 Homo Species 0.000 description 2
- 241001465754 Metazoa Species 0.000 description 2
- 238000013459 approach Methods 0.000 description 2
- 230000007547 defect Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000001737 promoting effect Effects 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 238000012360 testing method Methods 0.000 description 2
- 241000282472 Canis lupus familiaris Species 0.000 description 1
- 241000282326 Felis catus Species 0.000 description 1
- 230000008485 antagonism Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000003745 diagnosis Methods 0.000 description 1
- 201000010099 disease Diseases 0.000 description 1
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 1
- 230000008451 emotion Effects 0.000 description 1
- 239000011521 glass Substances 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 238000003062 neural network model Methods 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 230000003094 perturbing effect Effects 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 238000012216 screening Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/172—Classification, e.g. identification
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/0464—Convolutional networks [CNN, ConvNet]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
- Y02T10/00—Road transport of goods or passengers
- Y02T10/10—Internal combustion engine [ICE] based vehicles
- Y02T10/40—Engine management systems
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Evolutionary Computation (AREA)
- General Physics & Mathematics (AREA)
- Computing Systems (AREA)
- Artificial Intelligence (AREA)
- Software Systems (AREA)
- Data Mining & Analysis (AREA)
- Multimedia (AREA)
- Mathematical Physics (AREA)
- General Engineering & Computer Science (AREA)
- Molecular Biology (AREA)
- Computational Linguistics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Human Computer Interaction (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Medical Informatics (AREA)
- Databases & Information Systems (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种自然对抗补丁生成方法、目标检测模型的训练方法及装置，自然对抗补丁生成方法，包括：将自然图像通过预训练好的自动编码器中的编码器进行感知压缩，得到潜在空间；利用扩散模型学习潜在空间并进行训练，得到训练好的扩散模型；从高斯分布中采样一个随机噪声，并通过训练好的扩散模型将所述随机噪声映射到潜在空间中的隐变量，得到映射隐变量，随后通过预训练好的自动编码器中的解码器对映射隐变量采样得到自然对抗补丁。本发明通过生成一种具有人们熟悉的图案和内容的自然对抗补丁，用于对目标检测器或人脸识别系统进行训练，能有效提高目标检测器或人脸识别系统的检测精度以及鲁棒性。
Description
技术领域
本发明属于图像处理技术领域，具体涉及一种自然对抗补丁生成方法、目标检测模型的训练方法及装置。
背景技术
深度神经网络已经被广泛应用于自动驾驶、人脸识别、疾病诊断等领域，并且由于不受人类主观判断和情感因素的影响，其结果往往作为关键任务后续决策的重要信息来源。尽管这些技术为人类带来了便利， 但是已有的工作研究表明，基于深度神经网络的模型容易受到对抗样本的攻击。对抗样本是指通过设计一种特殊的扰动，一般不改变模型本身，只是修改模型的输入，使得模型在推理时以高置信度做出错误的判断。对抗攻击的现象不仅存在于数字空间，还会影响基于深度神经网络的许多物理世界任务，包括已经落地使用的基于深度神经网络的AI系统，对抗样本在物理世界中造成的影响不容小视，甚至可能导致巨额财产损失和重大人员伤亡。
对抗样本对神经网络的攻击暴露出了神经网络在鲁棒性上的缺陷，也给神经网络的应用带来了威胁，在出于对深度神经网络应用可靠性和安全性的考量，研究对抗样本技术能够有效的帮助理解神经网络模型，判断网络模型的实际可用性，并且能为深度学习技术的安全可靠发展提供助力。
对抗补丁是一类特殊的对抗攻击方式，通常用于物理世界中的对抗攻击。对抗补丁不再局限于像素级扰动使人类难以察觉，而为了实现更高效的攻击，其在一个较小的、局部的、没有扰动约束的区域内生成一个特殊的补丁块。但是，由于受到光照、角度等物理因素的影响，对抗补丁需要具有良好的鲁棒性，以便在物理环境中成功攻击。
对抗补丁通常与一些目标检测场景中待测的物理对象关联起来，如将具有攻击效果的对抗补丁打印在T恤或者眼镜框上，从而导致检测器或者人脸识别系统做出错误判断，因此，如何排除对抗补丁的干扰，提高目标检测器或人脸识别系统的检测精度以及鲁棒性是亟需解决的技术问题。
发明内容
为解决现有技术中的不足，本发明提供一种自然对抗补丁生成方法、目标检测模型的训练方法及装置，通过生成一种具有人们熟悉的图案和内容的自然对抗补丁，用于对目标检测器或人脸识别系统进行训练，能有效提高目标检测器或人脸识别系统的检测精度以及鲁棒性。
为达到上述目的，本发明所采用的技术方案是：
第一方面，提供一种自然对抗补丁生成方法，包括：将自然图像通过预训练好的自动编码器中的编码器进行感知压缩，得到潜在空间；利用扩散模型学习潜在空间并进行训练，得到训练好的扩散模型；从高斯分布中采样一个随机噪声，并通过训练好的扩散模型将所述随机噪声映射到潜在空间中的隐变量，得到映射隐变量，随后通过预训练好的自动编码器中的解码器对映射隐变量采样得到自然对抗补丁。
进一步地，所述自动编码器的训练过程包括：将重构损失和正则项损失/>的加权组合/>作为总损失对自动编码器进行训练：
（1）
（2）
（3）
其中，和/>分别是自动编码器中的编码器和解码器；/>是自然图像数据集中一批次的第/>张图片，n是自然图像数据集中一个批次的图像数量；/>是重构损失，即源图像和重构图像之间的均方误差，公式（2）中/>利用/>散度来约束潜在空间的分布不会偏离标准正态分布，/>代表正态分布，/>和/>分别是编码器压缩得到的潜在空间的均值和方差；公式（3）中/>用来控制对潜在空间的约束力度。
进一步地，将自然图像通过预训练好的自动编码器中的编码器进行感知压缩，得到潜在空间，包括：通过预训练好的自动编码器中的编码器将自然图像感知压缩到底层潜在空间和顶层潜在空间，并且在感知压缩时使用KL正则项约束潜在空间；然后把顶层潜在空间上采样至与底层潜在空间具有相同维度，并将相同维度的顶层潜在空间和底层潜在空间拼接得到整体的潜在空间。
进一步地，使用以时间为条件的UNet网络作为扩散模型的主干网络，用于预测时刻加入的噪声，/>，其中/>是扩散过程的总时间步数。
进一步地，所述扩散模型的损失函数为：
（4）
其中，是/>时刻从标准高斯分布/>中采样得到真实的噪声，/>是神经网络预测/>时刻的噪声，/>是图像经过编码器/>得到的隐变量z后添加噪声的版本。以两个噪声的误差平方的平均数/>作为损失。
进一步地，还包括：将自然对抗补丁应用到目标数据集上，并输入目标检测模型中得到置信度分数和分类分数/>，并定义对抗检测损失：
（5）
其中，是添加了对抗补丁批量为B的一组图片中的第i张图片；
对抗总损失为：
（6）
（7）
（8）
其中，和/>分别代表不可打印损失和全变分损失，/>是自然对抗补丁/>在位置/>处的像素向量，/>是来自可打印颜色集/>的颜色向量；/>是自然对抗补丁中t通道上/>位置的像素标量；通过/>和/>两个物理世界损失控制生成的自然对抗补丁在物理世界的可打印性和光滑性，并使用/>和/>分别为所述不可打印损失和全变分损失的权重系数；反向传播最小化总损失函数，优化更新从高斯分布中采样的随机噪声。
第二方面，提供一种自然对抗补丁生成装置，包括：自然图像压缩模块，用于将自然图像通过预训练好的自动编码器中的编码器进行感知压缩，得到潜在空间；扩散模型训练模块，用于利用扩散模型学习潜在空间并进行训练，得到训练好的扩散模型；自然对抗补丁生成模块，用于从高斯分布中采样一个随机噪声，并通过训练好的扩散模型将所述随机噪声映射到潜在空间中的隐变量，得到映射隐变量，随后通过预训练好的自动编码器中的解码器对映射隐变量采样得到自然对抗补丁。
第三方面，提供一种目标检测模型的训练方法，包括：将通过第一方面所述的自然对抗补丁生成方法得到的自然对抗补丁添加到目标数据集中的图片上，得到训练数据集，用于对目标检测模型进行训练。
第四方面，提供一种目标检测模型的训练装置，包括：训练集构建模块，用于将通过第一方面所述的自然对抗补丁生成方法得到的自然对抗补丁添加到目标数据集中的图片上，得到训练数据集，用于对目标检测模型进行训练。
与现有技术相比，本发明所达到的有益效果：本发明通过将自然图像通过预训练好的自动编码器中的编码器进行感知压缩，得到潜在空间；利用扩散模型学习潜在空间并进行训练，得到训练好的扩散模型；从高斯分布中采样一个随机噪声，并通过训练好的扩散模型将所述随机噪声映射到潜在空间中的隐变量，得到映射隐变量，随后通过预训练好的自动编码器中的解码器对映射隐变量采样得到自然对抗补丁，将该自然对抗补丁，用于对目标检测器或人脸识别系统进行训练，能有效提高目标检测器或人脸识别系统的检测精度以及鲁棒性。
附图说明
图1是使用目标检测器识别含对抗补丁的图像的场景示意图；
图2是本发明实施例中感知压缩自然图像到潜在空间的整体结构图；
图3是本发明实施例中扩散模型学习自然图像的潜在空间的整体结构图；
图4是本发明实施例中利用扩散模型在潜在空间中生成自然对抗补丁训练示意图。
具体实施方式
下面结合附图对本发明作进一步描述。以下实施例仅用于更加清楚地说明本发明的技术方案，而不能以此来限制本发明的保护范围。
实施例一：
一种自然对抗补丁生成方法，包括：将自然图像通过预训练好的自动编码器中的编码器进行感知压缩，得到潜在空间；利用扩散模型学习潜在空间并进行训练，得到训练好的扩散模型；从高斯分布中采样一个随机噪声，并通过训练好的扩散模型将所述随机噪声映射到潜在空间中的隐变量，得到映射隐变量，随后通过预训练好的自动编码器中的解码器对映射隐变量采样得到自然对抗补丁。
步骤1：利用重构损失和正则项损失/>的加权组合/>作为总损失预训练一个自动编码器，
（1）
（2）
（3）
其中，和/>分别是自动编码器中的编码器和解码器；/>是自然图像数据集中一批次的第/>张图片，n是自然图像数据集中一个批次的图像数量。/>是重构损失，即源图像和重构图像之间的均方误差，公式（2）中/>利用/>散度来约束潜在空间的分布不会偏离标准正态分布，/>代表正态分布，/>和/>分别是编码器压缩得到的潜在空间的均值和方差。公式（3）中/>用来控制对潜在空间的约束力度。
步骤2：利用步骤1中的编码器，将自然图像感知压缩到低维的潜在空间，并保存潜在空间，潜在空间是一个由隐变量所组成的集合/>，其中N是自然图像数据集的图像数量。
步骤3：利用扩散模型学习步骤2中的潜在空间。使用以时间为条件的UNet作为扩散模型的主干网络，它被训练来预测时刻加入的噪声，/>,其中/>是扩散过程的总时间步数；扩散模型的损失函数被定义为：
（4）
其中，是/>时刻从标准高斯分布/>中采样得到真实的噪声，/>是神经网络预测/>时刻的噪声，/>是图像经过编码器/>得到的隐变量z后添加噪声的版本。以两个噪声的误差平方的平均数/>作为损失。
步骤4：从高斯分布中采样一个随机噪声，利用步骤3训练好的扩散模型将/>映射到潜在空间中的隐变量/>，随后将/>通过解码器/>采样得到自然对抗补丁/>。
步骤5：将步骤4采样得到的应用到目标数据集InriaPerson上，送入目标检测器中得到置信度分数/>和分类分数/>，并定义对抗检测损失：
（5）
其中，是添加了对抗补丁批量为B的一组图片中的第i张图片。
步骤6：对抗总损失为：
（6）
（7）
（8）
其中，和/>分别代表不可打印损失和全变分损失，/>是自然对抗补丁/>在位置/>处的像素向量，/> 是来自可打印颜色集/>的颜色向量。/>是自然对抗补丁中t通道上/>位置的像素标量。通过/>和/>两个物理世界损失控制生成的自然对抗补丁在物理世界的可打印性和光滑性，并使用/>和/>分别为所述不可打印损失和全变分损失的权重系数；反向传播最小化总损失函数，优化更新从高斯分布中采样的随机噪声。
利用上述步骤可以生成物理世界的自然对抗补丁，将自然对抗补丁应用在攻击目标身上后，可以使得目标检测器进行错误判断。
对抗样本的研究对神经网络的安全发展具有重要提升作用。本发明是一种自然对抗补丁的生成方法，区别于其他方法仅关心对抗补丁在物理世界中的攻击效果而忽略对抗补丁的自然程度，使得对抗补丁在成功攻击检测器之前就被人所捕获为异常输入；本发明通过扩散模型学习自然图像的双层潜在空间，利用扩散模型将高斯扰动映射到潜在空间中的隐变量z，通过解码器采样得到一种具有人们熟悉的图案和内容的自然对抗补丁，使补丁在能够攻击神经网络的同时不会轻易地被人眼所察觉为异常，将该自然对抗补丁，用于对目标检测器或人脸识别系统进行训练，能有效提高目标检测器或人脸识别系统的检测精度以及鲁棒性。为研究神经网络的鲁棒性提供了新的方向和思路。
如图1所示，目标检测器用于对输入图像进行识别，初始图像检测框结果属于A类别，对初始图像添加自然对抗补丁后，将其再次输入到相目标检测器中，会导致无法检测到目标或者检测结果是非A类别。这种通过故意对输入样本添加干扰，导致模型以高置信度给出一个错误的输出的方法称为对抗攻击。
下面结合附图2和附图3，对本发明提出的一种基于扩散模型的自然对抗补丁生成方法进行详细说明：
选取自然动物图像作为感知压缩阶段的数据集，该数据集由15000张3×256×256的图片组成，包括野生动物、猫、狗三个类别。每个类别有5000张图片。其中13500张图片作为训练集,1500张图片作为测试集。
攻击数据集是InriaPerson，该数据集是一组包含站立或者行走的行人图像，通过筛选行人高度大于100像素的样本，得到902张图像，其中614张图片作为训练集，288张图片作为测试集，并且将图像压缩成为YOLOv3模型的输入尺寸3×416×416。
第一步，将自然图像通过自动编码器中的编码器从大小为3×256×256的原始图片感知压缩成为10×32×32的底层潜在空间和10×16×16的顶层潜在空间，并且在感知压缩时使用KL正则项约束潜在空间；然后把顶层潜在空间上采样和底层潜在空间相同维度后拼接得到20×32×32大小的整体潜在空间。
第二步，将得到的潜在空间通过自动编码器中的解码器进行重构,将重构图像和原图像之间计算均方误差作为重构损失，将重构损失和正则项损失加权组合/>作为总损失优化自动编码器，其中。
第三步，将自然图片数据集通过预训练好的自动编码器感知压缩为潜在空间，并保存潜在空间集。
第四步，利用扩散模型学习保存的潜在空间。使用以时间为条件的UNet作为扩散模型主干网络，它被训练来预测时刻加入的噪声,/>,优化损失函数为/>；其中/>是/>时刻真实的噪声，/>是预测/>时刻的噪声，以两个噪声的均方误差作为损失反向传播优化扩散模型。
第五步，如图4所示，从高斯分布中采样一个随机噪声，利用预训练好的扩散模型将/>映射到潜在空间中的隐变量/>，随后将/>通过自动编码器中解码器采样得到自然图像p。
第六步，将采样得到的自然对抗补丁应用到目标数据集InriaPerson上，送入目标检测器YOLOv3中得到置信度分数/>和分类分数/>，设置批量大小为8，定义对抗检测损失/>，其中/>是一个批量中的第i张图片。
第七步，计算对抗总损失,其中和分别代表不可打印损失和全变分损失，控制生成的补丁在物理世界的可打印性和光滑性。
第八步，反向传播以最小化损失函数，迭代更新/>直到/>收敛不再下降，得到自然对抗补丁，将补丁作用于物理世界可以使检测器以高置信度做出错误判断。
对抗样本的研究对神经网络的安全发展具有重要提升作用。本发明是一种自然对抗补丁的生成方法，区别于其他方法仅关心对抗补丁在物理世界中的攻击效果而忽略对抗补丁的自然程度，使得对抗补丁在成功攻击检测器之前就被人所捕获为异常输入；本发明通过扩散模型学习自然图像的双层潜在空间，利用扩散模型将高斯扰动映射到潜在空间中的隐变量z，通过解码器采样得到自然对抗补丁，生成的对抗补丁具有人们熟悉的图案和内容，不会轻易地被人眼所察觉为异常，极大程度地增强了对抗补丁的实用性和隐蔽性，为研究对抗样本和神经网络提供了新的思路。
实施例二：
基于实施例一所述的一种自然对抗补丁生成方法，本实施例提供一种自然对抗补丁生成装置，包括：
自然图像压缩模块，用于将自然图像通过预训练好的自动编码器中的编码器进行感知压缩，得到潜在空间；
扩散模型训练模块，用于利用扩散模型学习潜在空间并进行训练，得到训练好的扩散模型；
自然对抗补丁生成模块，用于从高斯分布中采样一个随机噪声，并通过训练好的扩散模型将所述随机噪声映射到潜在空间中的隐变量，得到映射隐变量，随后通过预训练好的自动编码器中的解码器对映射隐变量采样得到自然对抗补丁。
实施例三：
基于实施例一所述的一种自然对抗补丁生成方法、实施例二所述的一种自然对抗补丁生成装置，本实施例提供一种目标检测模型的训练方法，包括：
将通过实施例一所述的自然对抗补丁生成方法得到的自然对抗补丁添加到目标数据集中的图片上，得到训练数据集，用于对目标检测模型进行训练。
实施例四：
基于实施例一~实施例三，本实施例提供一种目标检测模型的训练装置，包括：
训练集构建模块，用于将通过实施例一所述的自然对抗补丁生成方法得到的自然对抗补丁添加到目标数据集中的图片上，得到训练数据集，用于对目标检测模型进行训练。
以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明技术原理的前提下，还可以做出若干改进和变形，这些改进和变形也应视为本发明的保护范围。
Claims (5)
1.一种自然对抗补丁生成方法，其特征在于，包括：
将自然图像通过预训练好的自动编码器中的编码器进行感知压缩，得到潜在空间；
利用扩散模型学习潜在空间并进行训练，得到训练好的扩散模型；
从高斯分布中采样一个随机噪声，并通过训练好的扩散模型将所述随机噪声映射到潜在空间中的隐变量，得到映射隐变量，随后通过预训练好的自动编码器中的解码器对映射隐变量采样得到自然对抗补丁；
其中，所述自动编码器的训练过程包括：
将重构损失和正则项损失/>的加权组合/>作为总损失对自动编码器进行训练：
（1）
（2）
（3）
其中，和/>分别是自动编码器中的编码器和解码器；/>是自然图像数据集中一批次的第/>张图片，/>是自然图像数据集中一个批次的图像数量；/>是重构损失，即源图像和重构图像之间的均方误差，公式（2）中/>利用/>散度来约束潜在空间的分布不会偏离标准正态分布，/>代表正态分布，/>和/>分别是编码器压缩得到的潜在空间的均值和方差；公式（3）中/>用来控制对潜在空间的约束力度；
将自然图像通过预训练好的自动编码器中的编码器进行感知压缩，得到潜在空间，包括：
通过预训练好的自动编码器中的编码器将自然图像感知压缩到底层潜在空间和顶层潜在空间，并且在感知压缩时使用KL正则项约束潜在空间；然后把顶层潜在空间上采样至与底层潜在空间具有相同维度，并将相同维度的顶层潜在空间和底层潜在空间拼接得到整体的潜在空间；
使用以时间为条件的UNet网络作为扩散模型的主干网络，用于预测时刻加入的噪声，，其中/>是扩散过程的总时刻步数；
所述扩散模型的损失函数为：
（4）
其中，是/>时刻从标准高斯分布/>中采样得到真实的噪声，/>是神经网络预测/>时刻的噪声，/>是图像经过编码器/>得到隐变量z后添加噪声的版本；以两个噪声的误差平方的平均数/>作为损失。
2.根据权利要求1所述的自然对抗补丁生成方法，其特征在于，还包括：
将自然对抗补丁应用到目标数据集上，并输入目标检测模型中得到置信度分数和分类分数/>，并定义对抗检测损失：
（5）
其中，是添加了对抗补丁批量为B的一组图片中的第i张图片；
对抗总损失为：
（6）
（7）
（8）
其中，和/>分别代表不可打印损失和全变分损失，/>是自然对抗补丁/>在位置处的像素向量，/> 是来自可打印颜色集/>的颜色向量；/>是自然对抗补丁/>中t通道上/>位置的像素标量；通过/>和/>两个物理世界损失控制生成的自然对抗补丁在物理世界的可打印性和光滑性，并使用/>和/>分别为所述不可打印损失和全变分损失的权重系数；反向传播最小化总损失函数，优化更新从高斯分布中采样的随机噪声。
3.一种自然对抗补丁生成装置，其特征在于，包括：
自然图像压缩模块，用于将自然图像通过预训练好的自动编码器中的编码器进行感知压缩，得到潜在空间；
扩散模型训练模块，用于利用扩散模型学习潜在空间并进行训练，得到训练好的扩散模型；
自然对抗补丁生成模块，用于从高斯分布中采样一个随机噪声，并通过训练好的扩散模型将所述随机噪声映射到潜在空间中的隐变量，得到映射隐变量，随后通过预训练好的自动编码器中的解码器对映射隐变量采样得到自然对抗补丁；
其中，所述自动编码器的训练过程包括：
将重构损失和正则项损失/>的加权组合/>作为总损失对自动编码器进行训练：
（1）
（2）
（3）
其中，和/>分别是自动编码器中的编码器和解码器；/>是自然图像数据集中一批次的第/>张图片，/>是自然图像数据集中一个批次的图像数量；/>是重构损失，即源图像和重构图像之间的均方误差，公式（2）中/>利用/>散度来约束潜在空间的分布不会偏离标准正态分布，/>代表正态分布，/>和/>分别是编码器压缩得到的潜在空间的均值和方差；公式（3）中/>用来控制对潜在空间的约束力度；
将自然图像通过预训练好的自动编码器中的编码器进行感知压缩，得到潜在空间，包括：
通过预训练好的自动编码器中的编码器将自然图像感知压缩到底层潜在空间和顶层潜在空间，并且在感知压缩时使用KL正则项约束潜在空间；然后把顶层潜在空间上采样至与底层潜在空间具有相同维度，并将相同维度的顶层潜在空间和底层潜在空间拼接得到整体的潜在空间；
使用以时间为条件的UNet网络作为扩散模型的主干网络，用于预测时刻加入的噪声，，其中/>是扩散过程的总时刻步数；
所述扩散模型的损失函数为：
（4）
其中，是/>时刻从标准高斯分布/>中采样得到真实的噪声，/>是神经网络预测/>时刻的噪声，/>是图像经过编码器/>得到隐变量z后添加噪声的版本；以两个噪声的误差平方的平均数/>作为损失。
4.一种目标检测模型的训练方法，其特征在于，包括：
将通过权利要求1~2任一项所述的自然对抗补丁生成方法得到的自然对抗补丁添加到目标数据集中的图片上，得到训练数据集，用于对目标检测模型进行训练。
5.一种目标检测模型的训练装置，其特征在于，包括：
训练集构建模块，用于将通过权利要求1~2任一项所述的自然对抗补丁生成方法得到的自然对抗补丁添加到目标数据集中的图片上，得到训练数据集，用于对目标检测模型进行训练。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310912988.8A CN116631043B (zh) | 2023-07-25 | 2023-07-25 | 自然对抗补丁生成方法、目标检测模型的训练方法及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310912988.8A CN116631043B (zh) | 2023-07-25 | 2023-07-25 | 自然对抗补丁生成方法、目标检测模型的训练方法及装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN116631043A CN116631043A (zh) | 2023-08-22 |
| CN116631043B true CN116631043B (zh) | 2023-09-22 |
Family
ID=87592472
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310912988.8A Active CN116631043B (zh) | 2023-07-25 | 2023-07-25 | 自然对抗补丁生成方法、目标检测模型的训练方法及装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116631043B (zh) |
Families Citing this family (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116883520B (zh) * | 2023-09-05 | 2023-11-28 | 武汉大学 | 基于颜色量化的多检测器物理域对抗补丁生成方法 |
| CN117173543B (zh) * | 2023-11-02 | 2024-02-02 | 天津大学 | 一种肺腺癌和肺结核的混合图像重构方法及系统 |
| CN117459727B (zh) * | 2023-12-22 | 2024-05-03 | 浙江省北大信息技术高等研究院 | 一种图像处理方法、装置、系统、电子设备及存储介质 |
Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109977922A (zh) * | 2019-04-11 | 2019-07-05 | 电子科技大学 | 一种基于生成对抗网络的行人掩模生成方法 |
| CN111932444A (zh) * | 2020-07-16 | 2020-11-13 | 中国石油大学(华东) | 基于生成对抗网络的人脸属性编辑方法及信息处理终端 |
| CN113361604A (zh) * | 2021-06-03 | 2021-09-07 | 浙江工业大学 | 一种面向目标检测的物理攻击对抗补丁的生成方法及系统 |
| CN114742208A (zh) * | 2022-04-22 | 2022-07-12 | 天津大学 | 一种基于对比学习和对抗学习的图预训练学习方法 |
| CN115358908A (zh) * | 2022-08-17 | 2022-11-18 | 南京信息工程大学 | 基于轻量级网络对抗的车牌防盗摄隐私保护方法及系统 |
| CN115860112A (zh) * | 2023-01-17 | 2023-03-28 | 武汉大学 | 基于模型反演方法的对抗样本防御方法和设备 |
| CN115984339A (zh) * | 2023-02-15 | 2023-04-18 | 西安交通大学 | 基于几何特征精炼与对抗生成网络的双管道点云补全方法 |
| CN116109534A (zh) * | 2022-12-30 | 2023-05-12 | 浙江大华技术股份有限公司 | 对抗补丁生成方法、电子设备及计算机可读存储介质 |
| CN116343166A (zh) * | 2023-02-13 | 2023-06-27 | 武汉理工大学 | 一种交通标志的对抗补丁防御方法及装置 |
Family Cites Families (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US10803347B2 (en) * | 2017-12-01 | 2020-10-13 | The University Of Chicago | Image transformation with a hybrid autoencoder and generative adversarial network machine learning architecture |
| US11049223B2 (en) * | 2019-06-19 | 2021-06-29 | Siemens Healthcare Gmbh | Class-aware adversarial pulmonary nodule synthesis |
-
2023
- 2023-07-25 CN CN202310912988.8A patent/CN116631043B/zh active Active
Patent Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109977922A (zh) * | 2019-04-11 | 2019-07-05 | 电子科技大学 | 一种基于生成对抗网络的行人掩模生成方法 |
| CN111932444A (zh) * | 2020-07-16 | 2020-11-13 | 中国石油大学(华东) | 基于生成对抗网络的人脸属性编辑方法及信息处理终端 |
| CN113361604A (zh) * | 2021-06-03 | 2021-09-07 | 浙江工业大学 | 一种面向目标检测的物理攻击对抗补丁的生成方法及系统 |
| CN114742208A (zh) * | 2022-04-22 | 2022-07-12 | 天津大学 | 一种基于对比学习和对抗学习的图预训练学习方法 |
| CN115358908A (zh) * | 2022-08-17 | 2022-11-18 | 南京信息工程大学 | 基于轻量级网络对抗的车牌防盗摄隐私保护方法及系统 |
| CN116109534A (zh) * | 2022-12-30 | 2023-05-12 | 浙江大华技术股份有限公司 | 对抗补丁生成方法、电子设备及计算机可读存储介质 |
| CN115860112A (zh) * | 2023-01-17 | 2023-03-28 | 武汉大学 | 基于模型反演方法的对抗样本防御方法和设备 |
| CN116343166A (zh) * | 2023-02-13 | 2023-06-27 | 武汉理工大学 | 一种交通标志的对抗补丁防御方法及装置 |
| CN115984339A (zh) * | 2023-02-15 | 2023-04-18 | 西安交通大学 | 基于几何特征精炼与对抗生成网络的双管道点云补全方法 |
Non-Patent Citations (4)
| Title |
|---|
| Adversarial Defense of Image Classification Using a Variational Auto-Envoder;Yi Luo等;arXiv;第1-8页 * |
| 深度学习中的对抗攻击与防御;刘西蒙等;网络与信息安全学报;第6卷(第5期);第36-53页 * |
| 视觉对抗样本生成技术概述;王伟等;信息安全学报(第2期);第44-53页 * |
| 针对车牌识别系统的双重对抗攻击;陈先意等;网络与信息安全学报;第9卷(第3期);第16-27页 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN116631043A (zh) | 2023-08-22 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN116631043B (zh) | 自然对抗补丁生成方法、目标检测模型的训练方法及装置 | |
| Guo et al. | Fake face detection via adaptive manipulation traces extraction network | |
| WO2022052530A1 (zh) | 人脸矫正模型的训练方法、装置、电子设备及存储介质 | |
| WO2020159437A1 (en) | Method and system for face liveness detection | |
| CN113744262B (zh) | 一种基于GAN和YOLO-v5的目标分割检测方法 | |
| Bhagtani et al. | An overview of recent work in media forensics: Methods and threats | |
| CN113379036B (zh) | 一种基于上下文编码器的油气图像脱敏方法 | |
| US20200364873A1 (en) | Importance sampling for segmentation network training modification | |
| CN115050064A (zh) | 人脸活体检测方法、装置、设备及介质 | |
| US11393072B2 (en) | Methods and systems for automatically correcting image rotation | |
| JP2024505766A (ja) | エンドツーエンドウォーターマーキングシステム | |
| CN117649610B (zh) | 一种基于YOLOv5的害虫检测方法及系统 | |
| US11734888B2 (en) | Real-time 3D facial animation from binocular video | |
| Ma et al. | Enhancing the security of image steganography via multiple adversarial networks and channel attention modules | |
| CN117496338A (zh) | 用于防御网站图片篡改和图片马上传的方法、设备及系统 | |
| CN116821897A (zh) | 基于重参数化隐写触发器的标签一致型后门攻击方法 | |
| Shen et al. | A biological hierarchical model based underwater moving object detection | |
| CN116503314A (zh) | 用于门制造的质量检测系统及方法 | |
| CN115358952A (zh) | 一种基于元学习的图像增强方法、系统、设备和存储介质 | |
| CN114332982A (zh) | 一种人脸识别模型攻击防御方法、装置、设备及存储介质 | |
| CN113569897B (zh) | 一种基于固定像素点获取低频信息的对抗样本防御方法 | |
| Liang et al. | An image augmentation‐based ice monitoring method for safe navigation of polar ships | |
| CN114048466B (zh) | 一种基于yolo-v3算法的神经网络后门攻击防御方法 | |
| Wang et al. | Contrast Adjustment Forensics Based on Second-Order Statistical and Deep Learning Features | |
| CN113657448B (zh) | 一种基于生成对抗网络和梯度解释的对抗样本防御方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |