CN113487506B - 基于注意力去噪的对抗样本防御方法、装置和系统 - Google Patents
基于注意力去噪的对抗样本防御方法、装置和系统 Download PDFInfo
- Publication number
- CN113487506B CN113487506B CN202110762352.0A CN202110762352A CN113487506B CN 113487506 B CN113487506 B CN 113487506B CN 202110762352 A CN202110762352 A CN 202110762352A CN 113487506 B CN113487506 B CN 113487506B
- Authority
- CN
- China
- Prior art keywords
- image
- loss
- attention
- generated image
- classification
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 57
- 230000007123 defense Effects 0.000 title claims abstract description 33
- 238000013256 Gubra-Amylin NASH model Methods 0.000 claims abstract description 104
- 238000012545 processing Methods 0.000 claims abstract description 58
- 238000012549 training Methods 0.000 claims description 49
- 230000000875 corresponding effect Effects 0.000 claims description 42
- 238000005457 optimization Methods 0.000 claims description 24
- 230000002596 correlated effect Effects 0.000 claims description 19
- 230000008569 process Effects 0.000 claims description 15
- 238000011176 pooling Methods 0.000 claims description 9
- 230000000694 effects Effects 0.000 abstract description 11
- 238000013527 convolutional neural network Methods 0.000 description 14
- 230000006870 function Effects 0.000 description 11
- 238000010586 diagram Methods 0.000 description 10
- 238000001994 activation Methods 0.000 description 6
- 230000004913 activation Effects 0.000 description 5
- 238000005516 engineering process Methods 0.000 description 5
- 238000002474 experimental method Methods 0.000 description 4
- 230000008447 perception Effects 0.000 description 4
- 230000000007 visual effect Effects 0.000 description 4
- 230000009471 action Effects 0.000 description 3
- 238000004458 analytical method Methods 0.000 description 3
- 238000013528 artificial neural network Methods 0.000 description 3
- 238000013461 design Methods 0.000 description 3
- 238000001514 detection method Methods 0.000 description 3
- 238000011156 evaluation Methods 0.000 description 3
- 230000008485 antagonism Effects 0.000 description 2
- 238000013145 classification model Methods 0.000 description 2
- 238000013135 deep learning Methods 0.000 description 2
- 238000000605 extraction Methods 0.000 description 2
- 239000004973 liquid crystal related substance Substances 0.000 description 2
- 238000013507 mapping Methods 0.000 description 2
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000001143 conditioned effect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 230000008713 feedback mechanism Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000008092 positive effect Effects 0.000 description 1
- 238000013442 quality metrics Methods 0.000 description 1
- 230000008439 repair process Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 238000000926 separation method Methods 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 238000010200 validation analysis Methods 0.000 description 1
- 230000004412 visual outcomes Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/70—Denoising; Smoothing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
- G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
- Y02T10/00—Road transport of goods or passengers
- Y02T10/10—Internal combustion engine [ICE] based vehicles
- Y02T10/40—Engine management systems
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- General Physics & Mathematics (AREA)
- Evolutionary Computation (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- General Engineering & Computer Science (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Software Systems (AREA)
- Mathematical Physics (AREA)
- Computing Systems (AREA)
- Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Probability & Statistics with Applications (AREA)
- Evolutionary Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
本申请提供一种基于注意力去噪的对抗样本防御方法、装置和系统，该方法包括：获取待处理图像；依据训练好的生成对抗网络GAN模型，对所述待处理图像进行去噪处理，得到去噪图像；依据所述去噪图像进行图像数据处理。该方法可以实现对抗样本防御，优化图像数据处理的效果。
Description
技术领域
本申请涉及人工智能安全技术领域，尤其涉及一种基于注意力去噪的对抗样本防御方法、装置和系统。
背景技术
深度学习技术的发展，促进了深度神经网络(Deep Neural Networks，简称DNN)在各个领域的成功应用，尤其是其中的卷积神经网络(Convolutional Neural Networks，简称CNN)，在图像分类领域表现出了优异的性能。
然而，现有研究表明，CNN容易受到人类察觉不到的像素级干扰，这种添加了微小扰动的图像被称为对抗样本。进一步的研究表明，对抗样本的这种扰动能力可以在不同模型之间进行转移，这种可转移性可在不知道目标模型的权重和结构的情况下进行黑盒攻击。黑盒攻击已被证明在现实世界中是可行的，这就对安全敏感的深度学习应用程序(例如身份认证和自动驾驶)构成了潜在威胁。因此，构建有效的防御措施来抵御对抗攻击成为现实的迫切需要。
发明内容
有鉴于此，本申请提供一种基于注意力去噪的对抗样本防御方法、装置和系统。
具体地，本申请是通过如下技术方案实现的：
根据本申请实施例的第一方面，提供一种基于注意力去噪的对抗样本防御方法，包括：
获取待处理图像；
依据训练好的生成对抗网络GAN模型，对所述待处理图像进行去噪处理，得到去噪图像；其中，在所述GAN模型的训练过程中，依据生成图像的注意力损失以及分类损失对所述GAN模型的进行反馈优化，所述生成图像为所述GAN模型中的生成器对对抗样本进行处理后得到的图像；所述生成图像的注意力损失和所述生成图像与对应的干净样本之间的注意力区域差异正相关，所述分类损失和所述生成图像的分类准确性负相关；
依据所述去噪图像进行图像数据处理。
根据本申请实施例的第二方面，提供一种基于注意力去噪的对抗样本防御装置，包括：
获取单元，用于获取待处理图像；
去噪单元，用于依据训练好的生成对抗网络GAN模型，对所述待处理图像进行去噪处理，得到去噪图像；其中，在所述GAN模型的训练过程中，依据生成图像的注意力损失以及分类损失对所述GAN模型的进行反馈优化，所述生成图像为所述GAN模型中的生成器对对抗样本进行处理后得到的图像；所述生成图像的注意力损失和所述生成图像与对应的干净样本之间的注意力区域差异正相关，所述分类损失和所述生成图像的分类准确性负相关；
处理单元，用于依据所述去噪图像进行图像数据处理。
根据本申请实施例的第三方面，提供一种基于注意力去噪的对抗样本防御系统，包括：前端采集设备以及后端处理设备；其中：
所述前端采集设备，用于进行图像采集；
所述后端处理设备，用于获取所述前端采集设备采集的图像，作为待处理图像；
所述后端处理设备，还用于依据训练好的生成对抗网络GAN模型，对所述待处理图像进行去噪处理，得到去噪图像；其中，在所述GAN模型的训练过程中，依据生成图像的注意力损失以及分类损失对所述GAN模型的进行反馈优化，所述生成图像为所述GAN模型中的生成器对对抗样本进行处理后得到的图像；所述生成图像的注意力损失和所述生成图像与对应的干净样本之间的注意力区域差异正相关，所述分类损失和所述生成图像的分类准确性负相关；
所述后端处理设备，还用于依据所述去噪图像进行图像数据处理。
本申请实施例的基于注意力去噪的对抗样本防御方法，通过在对GAN模型进行训练时，引入注意力损失和分类损失，依据生成图像的注意力损失以及分类损失对GAN模型进行反馈优化，进而，在执行图像数据处理任务时，可以依据训练好的GAN模型对待处理图像进行去噪处理，并依据得到的去噪图像进行图像数据处理，实现了对抗样本防御，优化了图像数据处理的效果。
附图说明
图1为本申请一示例性实施例示出的一种基于注意力去噪的对抗样本防御方法的流程示意图；
图2为本申请一示例性实施例示出的一种Attention-CGAN的对抗样本防御方法的示意图；
图3为本申请一示例性实施例示出的一种生成器和判别器的结构示意图；
图4A和4B为本申请一示例性实施例示出的一种Attention-CGAN的可视化实验结果示意图；
图5本申请一示例性实施例示出的一种注意力区域的可视化研究结果示意图；
图6为本申请一示例性实施例示出的一种基于注意力去噪的对抗样本防御装置的结构示意图；
图7为本申请又一示例性实施例示出的另一种基于注意力去噪的对抗样本防御装置的结构示意图；
图8为本申请一示例性实施例示出的一种基于注意力去噪的对抗样本防御系统的结构示意图。
具体实施方式
这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本申请相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本申请的一些方面相一致的装置和方法的例子。
在本申请使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本申请。在本申请和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义。
为了使本领域技术人员更好地理解本申请实施例提供的技术方案，并使本申请实施例的上述目的、特征和优点能够更加明显易懂，下面结合附图对本申请实施例中技术方案作进一步详细的说明。
请参见图1，为本申请实施例提供的一种基于注意力去噪的对抗样本防御方法的流程示意图，如图1所示，该基于注意力去噪的对抗样本防御方法可以包括以下步骤：
步骤S100、获取待处理图像。
示例性的，待处理图像可以包括但不限于前端采集设备实时采集的图像或后端存储的图像。
步骤S110、依据训练好的GAN模型，对待处理图像进行去噪处理，得到去噪图像。
本申请实施例中，考虑到实际应用中可能会由于攻击等原因导致依据获取到的待处理图像进行图像数据处理时效果变差。
例如，待处理图像由于攻击而存在干扰信息，导致对待处理图像进行目标检测时，检测准确性下降。
为了优化图像数据处理的效果，在对获取到的待处理图像进行图像数据处理之前，可以利用预先训练的生成对抗网络(Generative Adversarial Networks，简称GAN)模型，对待处理图像进行去噪处理。
示例性的，考虑到对攻击者而言，其主要采取找到有助于分类器正确判断的区域(可以称为注意力区域)，对其进行修改以降低正确类的置信度或者增加错误类别的置信度的方式来实现攻击。因而，本申请实施例在构建并训练GAN模型时，可以以注意力为导向，更加关注注意力区域，保证去噪后的图像具有语义不变性，来实现对抗样本防御。
示例性的，注意力区域是分类器对输入图像进行分类时，作为分类依据的区域，即分类器可以依据输入图像的注意力区域中的信息，对输入图像进行分类。
示例性的，在本申请实施例中，在训练GAN模型时，引入注意力损失，对GAN模型的训练进行优化反馈，以保持去噪之后样本(即GAN模型中生成器的生成图像)的注意力区域与原始干净样本的一致性，即对对抗样本进行去噪的同时保留干净样本的特征，减少GAN模型的训练难度，加快其拟合速度。
此外，在训练GAN模型时，还引入了分类损失，对GAN模型的训练进行优化反馈，使去噪后的样本和干净样本的分布更加近似，大大提高了其分类精度。
示例性的，注意力损失用于表征生成图像的注意力区域与该生成图像对应的干净图像的注意力区域之间的差异，且注意力损失可以和生成图像与对应的干净样本之间的注意力区域差异正相关。
例如，对于干净样本A，可以通过对其增加干扰信息，得到对抗样本A＇，该对抗样本A＇输入到GAN模型之后，GAN模型的生成器(可以称为G)输出生成图像(即对对抗样本进行去噪处理后得到的图像)A"，则可以依生成图像A"与干净样本A之间的注意力区域的差异，确定注意力损失。
示例性的，分类损失可以用于表征生成图像的分类准确性，且分类损失可以与生成图像的分类准确性负相关，即生成图像的分类准确性越差，分类损失越高。
例如，对于任一生成图像，可以依据该生成图像对应的干净样本的正确分类类别(即预先设定的该干净样本的分类类别，可以称为目标分类类别)，以分类器对该生成图像进行分类时，目标分类类别的置信度来表征该生成图像的分类准确性，相应地，当生成图像输入到分类器之后，目标分类类别的置信度越高，分类损失越小；目标分类类别的置信度越低，分类损失越大。
本申请实施例中，通过在对GAN模型进行训练时，引入注意力损失和分类损失，依据生成图像的注意力损失以及分类损失对GAN模型(本文中的GAN模型可以称为Attention-CGAN模型)进行反馈优化，减少了GAN模型的训练难度，加快了其拟合速度，并优化了依据GAN模型进行去噪处理后得到的去噪图像进行分类时的分类准确性。
需要说明的是，本申请实施例中，在对GAN模型进行训练时，可以依然保留传统GAN模型训练方案中的对抗损失反馈机制，即本申请实施例中训练GAN模型时，可以依据对抗损失、注意力损失以及分类损失，对GAN模型进行反馈优化，例如，通过对对抗损失、注意力损失以及分类损失进行加权求和的方式，得到用于进行反馈优化的损失。
步骤S120、依据去噪图像进行图像数据处理。
本申请实施例中，当按照上述实施例中描述的方式对待处理图像进行去噪处理，得到去噪图像时，可以依据该去噪图像进行图像数据处理。
例如，可以依据去噪图像进行目标检测、目标分类或目标分割等图像数据处理。
可见，在图1所示方法流程中，通过在对GAN模型进行训练时，引入注意力损失和分类损失，依据生成图像的注意力损失以及分类损失对GAN模型进行反馈优化，进而，在执行图像数据处理任务时，可以依据训练好的GAN模型对待处理图像进行去噪处理，并依据得到的去噪图像进行图像数据处理，实现了对抗样本防御，优化了图像数据处理的效果。
在一些实施例中，在上述GAN模型的训练过程中，对于任一生成图像，该生成图像的注意力损失通过以下方式确定：
利用预设分类器，分别确定该生成图像的第一注意力图，以及该生成图像对应的干净样本的第二注意力图；
依据第一注意力图和第二注意力图之间的差异，确定该生成图像的注意力损失。
示例性的，可以依据GAN模型的生成器输出的生成图像的注意力图(本文中称为第一注意力图)与生成图像对应的干净样本的注意力图(本文中称为第二注意力图)之间的差异，确定生成图像的注意力损失。
示例性的，在GAN模型的训练过程中，对于任一干净样本，可以对该干净样本进行干扰处理(模拟攻击处理)，增加干扰信息，得到该干净样本对应的对抗样本，并将该对抗样本输入到GAN模型中，由GAN模型对该对抗样本进行去噪处理。
对于对抗样本输入GAN模型后，可以获取GAN模型的生成器输出的生成图像，并利用预设分类器，分别确定该生成图像的第一注意力图，以及该生成图像对应的干净样本的第二注意力图，并依据该第一注意力图和第二注意力图之间的差异，确定该生成图像的注意力损失。
在一个示例中，注意力图可以通过以下方式确定：
获取输入图像输入预设分类器后，预设分类器的最后一个卷积层输出的特征图；
依据该特征图，利用全局平均池化方式，分别确定预设分类器的最后一个卷积层中各卷积核的权重；
依据各卷积核的权重，以及该特征图，确定输入图像的目标分类类别的注意力图；其中，目标分类类别为预先设定的输入图像对应的干净样本的分类类别。
示例性的，考虑到基于CNN的图像分类与依靠手动设计的传统图像分类技术不同，CNN能够自动提取图像的特征。而注意力区域是CNN进行决策的依据，攻击者进行攻击时主要目的也是偏离和分散注意力区域。因此，本申请实施例在进行GAN模型训练时，可以求出不同特征对CNN决策的重要性，即求出模型的注意力区域。
示例性的，可以依据输入图像输入预设分类器后，该预设分类器的最后一个卷积层输出的特征图，确定预设分类器的最后一个卷积层中各卷积核的权重。
示例性的，可以利用全局平均池化方式，确定预设分类器的最后一个卷积层中各卷积核的权重。
当确定了预设分类器的最后一个卷积层中各卷积核的权重时，可以依据该最后一个卷积层中各卷积核的权重，以及该最后一个卷积层输出的特征图，确定输入图像的目标分类类别的注意力图。
例如，可以依据所确定的最后一个卷积层的各卷积核的权重，对该最后一个卷积层输出的特征图中，各卷积核的激活输出进行加权求和，得到输入图像的目标分类类别的注意力图。
在一些实施例中，在GAN模型的训练过程中，对于任一生成图像，该生成图像的分类损失通过以下方式确定：
利用预设分类器，对该生成图像进行分类，以确定预设分类器输出的该生成图像的目标分类类别的置信度；其中，目标分类类别为预先设定的输入图像对应的干净样本的分类类别；
依据预设分类器输出的该生成图像的目标分类类别的置信度，确定该生成图像的分类损失。
示例性的，可以依据预设分类器对GAN模型的生成图像进行分类时，目标分类类别的置信度，确定生成图像的分类损失。
示例性的，在GAN模型的训练过程中，对于GAN模型的生成器输出的任一生成图像，可以利用预设分类器对该生成图像进行分类，并确定预设分类器输出的该生成图像的目标分类类别的置信度，进而，可以依据该预设分类器输出的该生成图像的目标分类类别的置信度，确定该生成图像的分类损失。
需要说明的是，在本申请实施例中，为了提高所确定的注意力损失的可靠性，当按照上述方式确定注意力损失时，可以依据多帧生成图像的与其对应的干净样本的注意力图差异，确定注意力损失，并依据所确定的注意力损失对GAN模型进行反馈优化。
同理，当按照上述方式确定分类损失时，可以依据预设分类器输出的多帧生成图像的目标分类类别的置信度，确定分类损失，并依据所确定的分类损失对GAN模型进行优化。
在一些实施例中，上述依据生成图像的注意力损失以及分类损失对GAN模型的进行反馈优化，可以包括：
依据生成图像的注意力损失、分类损失以及以下损失中的至少一个，确定GAN模型的目标损失：
像素级损失以及感知损失；
依据生成图像的目标损失对GAN模型的进行反馈优化。
示例性的，为了进一步优化GAN模型的去噪效果，提升GAN模型对对抗样本进行去噪处理后得到的生成图像与对应的干净样本的相似性，在对GAN模型进行优化时，除了可以引入上述注意力损失以及分类损失之外，还可以引入像素级损失以及感知损失。
示例性的，像素级损失可以用于表征生成图像与对应的干净样本之间的像素值差异，且像素级损失可以和生成图像与对应的干净样本之间的像素值差异正相关，即生成图像与对应的干净样本之间的像素值差异越大，像素级损失越大。
示例性的，感知损失可以用于表征生成图像与对应的干净样本之间的颜色、纹理差异，且感知损失可以和生成图像与对应的干净样本之间的颜色、纹理差异正相关，即生成图像与对应的干净样本之间的颜色、纹理差异越大，感知差异越大。
举例来说，在GAN模型的训练过程中，可以依据生成图像的注意力损失、分类损失、对抗损失、像素级损失以及感知损失，确定GAN模型的损失(本文中称为目标损失)，并依据生成图像的目标损失对GAN模型进行反馈优化。
为了使本领域技术人员更好地理解本申请实施例提供的技术方案，下面结合具体实施例对本申请实施例提供的技术方案进行说明。
本申请实施例的目标是基于条件生成式对抗网络的深层网络构造一个Attention-CGAN，学习从输入对抗样本x′到去除噪声图像x″的映射，生成器和判别器均以额外信息x′为条件。
本申请实施例提出CGN模型可以包括三个部分：生成器G，判别器D以及注意力分类损失函数。
示例性的，生成器G的主要目的是重建注意力区域，得到一个去噪图像x″，而判别器D尽可能检测出生成器G“伪造”的x″(即尽可能的区分出干净样本x与去噪图像x″)，也可以看作是生成器G的指导。
考虑到条件GAN训练起来很不稳定，这会导致生成器G的输出图像中出现伪像，x″输入分类器时很难被分类正确，因此本申请引入了注意力分类损失函数来解决此问题。
请参见图2，本申请实施例提出的Attention-CGAN的对抗样本防御方法可以包括以下两步：
第一步、通过重新设计的注意力分类损失函数训练Attention-CGAN来修复对抗样本，得到一个重建的图像(即生成器G的输出图像)；
第二步、将重建的图像输入分类器，若能够被正确分类，则达到消除噪声对图像语义影响的目的。
下面分别从Attention-CGAN模型的训练、模块划分进行说明。
一、Attention-CGAN模型的训练过程：
步骤1.1、选择合适的生成器G和判别器D的结构构建Attention-CGAN模型，以及，选择分类器C；
步骤1.2、利用注意力分类损失函数训练Attention-CGAN模型；
步骤1.3、将去噪之后的图像输入分类器C，若能够被正确分类，则达到防御的目的。
二、模块划分
主要划分为三个模块：1、生成器G和判别器D的结构；2、注意力提取；3、注意力分类损失函数。
2.1、对于第一个模块：生成器G和判别器D的结构
2.1.1、生成器G：在进行生成器G的结构设计时，需要保证对于单个对抗样本，生成器G能够在不丢失背景图像的细节信息的情况下尽可能地重建注意力区域，生成像素级的干净样本。
示例性的，在构建生成器G时，可以利用基于稀疏编码的技术，这些技术采用的是对称encoder-decoder(编码-解码)结构，将输入图像传输到特定域来有效分离背景图像和不需要的成分(例如对抗噪声)。在分离之后将背景图像(在新域中)转移回原始域，该过程需要使用对称过程。
基于上述思路，可以采用对称结构来形成生成器结构，使得生成器学习从输入的对抗图像到其对应的干净图像端到端的映射。
示例性的，生成器结构可以采用U-Net结构，其示意图可以参见图2，该结构利用skip-connections(跳层连接)，使得不同分辨率条件下低层的细节信息被保留从而能够充分融合特征。
示例性的，如图3所示，生成器G的结构可以采用步幅为2的4个向下卷积层，9个ResNet块和4个向上卷积层。
2.1.2、判别器D：从GAN框架的角度来看，对输入对抗样本进行去噪的目的不仅是为了使去噪之后的结果在视觉上吸引人并从定量角度与干净样本相当，而且还要尽量确保消除噪声后的样本与干净样本不可区分，即将生成器G输出的生成图像，以及该生成图像对应的干净样本输入判别器D，判别器D输出结果为Real(或称为True，即真，表明该生成图像与干净样本为同一图像)。
其中，当判别器D输出结果为Fake(假)时，表明该生成图像与干净样本被判别器D判别为不同图像。
示例性的，如图3所示，判别器D可以为一个8层卷积神经网络。
2.2、对于第二个模块：注意力提取
考虑到基于CNN的图像分类与依靠手动设计的传统图像分类技术不同，CNN能够自动提取图像的特征，而注意力区域是CNN进行决策的依据，攻击者进行对抗攻击时通常倾向于偏离和分散注意力区域。因此，在进行GAN模型训练时，可以求出不同特征对CNN决策的重要性，即求出模型的注意力区域。
示例性的，假设输入图像为x∈Rm，输入图像x通过CNN后，在最后一层卷积层输出该图像的高层特征表示为A，其中用A(k)∈Ru×v表示高层特征A中第k个卷积核的激活输出，卷积核的大小为u×v。A经过一个全连接层FC后，会输出每个类别的置信度向量Z，其中，Zc表示第c类的Logits值，该值越大表示x被预测为第c类的概率越大。Zc对A(k)的梯度可以衡量第k个卷积核对第c类的分类预测重要性。
基于上述思路，可以采用全局平均池化操作，计算第k个卷积核的权重
其中，为第k个卷积核(p,q)处的激活输出。
最后，结合权重对A(k)进行加权求和，得到关于第c类的一个特征激活映射
考虑到只有中的正值会对最后的分类结果产生积极作用，所以对最终的加权结果再进行一次ReLU激活处理，去除负值的影响，得到第c的注意力图：
其中，第c类为预设的输入图像x的分类类别(即上述目标分类类别)。
2.3、对于第三个模块：注意力分类损失函数
考虑到CGAN模型训练起来极不稳定，这样就会导致三种情况：第一、去噪之后的图像仍然带有噪声(这个噪声可能是生成器生成的)或者是难以理解的结果；第二、去噪之后的图像不能保留原始的语义特征，即注意力区域发生转移；第三、去噪之后的图像输入分类器不能被正确分类。导致这三种情况的一个可能的原因是新的图像可能跟训练样本的分布不同。
针对上述问题，将注意力损失、分类损失以及感知损失引入CGAN模型训练过程。
其中，新的损失函数(即上述目标损失对应的损失函数)能够保留图像的原始注意力区域，同时保留图像的颜色和纹理信息，使得去噪之后的图像拥有良好的视觉性能，并且去噪之后的图像能够被正确分类，最终达到防御的目的。
示例性的，新的损失函数可以如下：
LAttention-CGAN＝L0+λ1L1+λ2L2+λ3L3+λ4L4
其中，L0表示像素级损失，L1表示对抗损失，L2表示注意力损失，L3表示分类损失，L4表示感知损失；λ1、λ2、λ3和λ4分别为对抗损失、注意力损失、分类损失以及感知损失的预定义权重。
示例性的，像素级损失可以采用欧几里得损失。
下面对L0、L1、L2、L3以及L4的具体形式进行说明。
2.3.1、像素级损失：给定一个通道是C、宽是W、高是H的图像对{x′,x}(即C×W×H)，像素级的欧式损失可定义为：
其中，G(x′)c,w,h和((x)c,h,w分别为生成图像的所有像素值和干净样本的所有像素值，║*║2 2为欧几里得范数。
2.3.2、注意力损失：在获得模型注意力图后，注意力损失旨在最大程度地减少生成图像与生成图像对应的干净样本的两个注意力图之间的成对差异：
其中，Lc(G(x′))为生成图像的注意力图。
2.3.3、对抗损失和分类损失：给定N个输入-标签对(xi,x′i,yi)，对抗损失以及分类损失可以表示为：
其中，D(x,G(x′))为判别器的输出，SG(x′)为softmax的输出。
2.3.4、感知损失函数：假设某个网络φ第i层输出的特征图形状为Ci×Wi×Hi，则感知损失可以定义为：
其中，φ(G(x′))c,w,h为φ网络在第i层在处理图像G(x′)时的激活输出，φ(x)c,h,w为φ网络在第i层在处理图像x时的激活输出…。
示例性的，引入感知损失的目的是最小化高级特征之间的距离。
示例性的，可以采用的是VGG-16的relu3_3层的输出来计算感知损失。
为了使本领域技术人员更好地理解本申请实施例的技术效果，下面结合具体实验分析对本申请实施例进一步进行说明。
3.1、实验设置
数据集：本申请实施例在Cifar10和ILSVRC2012两个基准数据集上进行实验验证，所有的自然图像均归一化到[0,1]。Cifar10数据集由60000个32×32×3图像组成，包含10个类，每类6000张图，其中50000张用于训练，另外10000用于测试。
ILSVRC2012图像分类数据集包含了来自1000个类别的120万张244×244×3的图片，50000张图像作为验证集。
模型和实验环境：本申请实施例中的所有Cifar10实验均使用AlexNet、VGG-11和ResNet18网络结构在单个GeForce RTX 2080ti上运行，所有的ILSVRC2012实验均使用AlexNet、VGG-16和ResNet34在四个GeForce RTX 2080tis的单机上运行。
Attention-CGAN的训练技术：本申请实施例使用Adam优化器，初始学习率设置为0.0002，Cifar10和ILSVRC2012的batch size(批大小)分别为128和32，Cifar10和ILSVRC2012的epoch(轮次)分别为1000和2000。λ1＝1、λ2＝1、λ3＝1.5和λ4＝1。
攻击技术：本申请实施例中，在评估实验中使用PGD-50、C&W(l2-norm)攻击。对于PGD-50，扰动约束设置为16/255，步长是2/255，随机重启10次。对于C&W设置常数为1，学习率是0.01，迭代1000次。
评价指标：本申请实施例采用的评价指标是分类器的预测准确率(accuracy)来定量分析提出的技术防御能力，峰值信噪比(Peak signal-to-noise Ratio,简称PSNR)和结构相似性指数(Structural Similarity Index，简称SSIM)用来定量分析生成图像的质量，其中PSNR和SSIM的计算技术如下：
给定一个尺寸大小为H×W的图像x，其对应的对抗样本为x′，则x与x′之间的PSNR)SSIM可定义为：
SSIM(x,x′)＝[l(x,x′)]α[c(x,x′)]β[s(x,x′)]γ
其中，MSE(x,x′)为x和x′的均方误差，α，β，γ＞0，l(x,x′)为亮度比较，c(x,x′)为对比度比较，s(x,x′)为结构比较。
其中，μx和μx′分别为x和x′的像素平均值，σx和σx'分别为x和x′的像素标准差。σxx'为x和x′之间的像素协方差，c1，c2和c3为常数。
3.2、可视化结果分析
本申请首先进行可视化分析来说明提出的去噪结果在视觉上是可行的。
请参见图4A，为本申请实施例的技术方案应用在Cifar10数据集上的结果，从第三行可以很清楚的观察到Attention-CGAN具有很好的去噪性能，并且能够很好地学习数据集的特征，这一点在ILSVRC2012数据集上更能体现出来，其示意图可以请参见图4B。
如图4B所示，与Cifar10相比，ILSVRC2012更能反映图像的细节特征，图像的语义特征也更加清晰。因此，即使图像纹理更加的复杂，但Attention-CGAN仍然可以达到很好的去噪和防御效果。
请参见图5，应用本申请实施例提供的技术方案，去噪之后的样本注意力区域几乎不会发生转移，这也说明本发对对抗样本进行去噪的同时有效的保留了干净样本的特征，使得图像注意力区域保持一致性。
3.3、对各种攻击技术的鲁棒性
接下来本申请实施例利用定量实验进一步验证Attention-CGAN的性能。
示例性的，表1分别显示了在Cifar10和ILSVRC2012上基于PGD和C&W攻击算法的不同分类模型的分类准确率，其中“Base”表示在没有任何防御情况下，对抗样本的分类准确率，“Attention-CGAN”表示利用本申请实施例提供的技术方案去噪后的样本的分类精度。
表1、在不同攻击技术和数据集下，不同分类模型的分类准确率
3.4、与其他技术对比
为了进一步验证Attention-CGAN的有效性，将本申请实施例提供的技术方案与三种传统技术进行了比较，分别是APE-GAN，Defense-GAN，S.Liu等人提出的技术。
示例性的，如表2所示，其中攻击技术采用PGD-50算法。结果表明，与其他三种技术相比，本申请实施例提供的技术方案的去噪效果得到较为明显地提升，这一点在Cifar10和ILSVRC2012两个数据集上都清晰地表现出来。
在Cifar10_VGG11上APE-GAN，Defense-GAN和S.Liu三种技术的分类准确率比本申请实施例提供的技术方案分别低7.5％，8.3％和7.5％，这说明本申请实施例能够有效去除对抗样本的噪声，达到防御对抗攻击的目的。
示例性的，本申请实施例还采用两个广泛使用的图像质量度量指标：PSNR和SSIM，来定量分析去噪后样本与干净样本的相似度，其相关数据可以分别如表3和表4所示。
其中，对于这两个指标它们有相同的标准，即其值越大图像质量越好。
表2、不同模型和数据集下四种防御技术分类准确率的比较
表3、不同防御技术对不同攻击技术生成的对抗样本进行去噪前后的PSNR对比
表4、不同防御技术对不同攻击技术生成的对抗样本进行去噪前后的SSIM对比
以上对本申请提供的方法进行了描述。下面对本申请提供的装置进行描述：
请参见图6，为本申请实施例提供的一种基于注意力去噪的对抗样本防御装置的结构示意图，如图6所示，该基于注意力去噪的对抗样本防御装置可以包括：
获取单元610，用于获取待处理图像；
去噪单元620，用于依据训练好的生成对抗网络GAN模型，对所述待处理图像进行去噪处理，得到去噪图像；其中，在所述GAN模型的训练过程中，依据生成图像的注意力损失以及分类损失对所述GAN模型的进行反馈优化，所述生成图像为所述GAN模型中的生成器对对抗样本进行处理后得到的图像；所述生成图像的注意力损失和所述生成图像与对应的干净样本之间的注意力区域差异正相关，所述分类损失和所述生成图像的分类准确性负相关；
处理单元630，用于依据所述去噪图像进行图像数据处理。
在一些实施例中，请参见图7，所述基于注意力去噪的对抗样本防御装置还包括：训练单元640；
在所述GAN模型的训练过程中，对于任一生成图像，该生成图像的注意力损失由所述训练单元640通过以下方式确定：
利用预设分类器，分别确定该生成图像的第一注意力图，以及该生成图像对应的干净样本的第二注意力图；
依据所述第一注意力图和所述第二注意力图之间的差异，确定该生成图像的注意力损失。
在一些实施例中，注意力图由所述训练单元640通过以下方式确定：
获取输入图像输入所述预设分类器后，所述预设分类器的最后一个卷积层输出的特征图；
依据所述特征图，利用全局平均池化方式，分别确定所述预设分类器的最后一个卷积层中各卷积核的权重；
依据所述各卷积核的权重，以及所述特征图，确定输入图像的目标分类类别的注意力图；其中，所述目标分类类别为预先设定的所述输入图像对应的干净样本的分类类别。
在一些实施例中，在所述GAN模型的训练过程中，对于任一生成图像，该生成图像的分类损失由训练单元640通过以下方式确定：
利用预设分类器，对该生成图像进行分类，以确定所述预设分类器输出的该生成图像的目标分类类别的置信度；其中，所述目标分类类别为预先设定的所述输入图像对应的干净样本的分类类别；
依据所述预设分类器输出的该生成图像的目标分类类别的置信度，确定该生成图像的分类损失。
在一些实施例中，所述训练单元640依据生成图像的注意力损失以及分类损失对所述GAN模型的进行反馈优化，包括：
依据生成图像的注意力损失、分类损失以及以下损失中的至少一个，确定所述GAN模型的目标损失：
像素级损失以及感知损失；
依据生成图像的目标损失对所述GAN模型的进行反馈优化。
请参见图8，为本申请实施例提供的一种基于注意力去噪的对抗样本防御系统的结构示意图，如图8所示，该基于注意力去噪的对抗样本防御系统可以包括：前端采集设备810以及后端处理设备820；其中：
所述前端采集设备810，用于进行图像采集；
所述后端处理设备820，用于获取所述前端采集设备采集的图像，作为待处理图像；
所述后端处理设备820，还用于依据训练好的生成对抗网络GAN模型，对所述待处理图像进行去噪处理，得到去噪图像；其中，在所述GAN模型的训练过程中，依据生成图像的注意力损失以及分类损失对所述GAN模型的进行反馈优化，所述生成图像为所述GAN模型中的生成器对对抗样本进行处理后得到的图像；所述生成图像的注意力损失和所述生成图像与对应的干净样本之间的注意力区域差异正相关，所述分类损失和所述生成图像的分类准确性负相关；
所述后端处理设备820，还用于依据所述去噪图像进行图像数据处理。
在一些实施例中，在所述GAN模型的训练过程中，对于任一生成图像，该生成图像的注意力损失由所述后端处理设备820通过以下方式确定：
利用预设分类器，分别确定该生成图像的第一注意力图，以及该生成图像对应的干净样本的第二注意力图；
依据所述第一注意力图和所述第二注意力图之间的差异，确定该生成图像的注意力损失。
在一些实施例中，注意力图由所述后端处理设备820通过以下方式确定：
获取输入图像输入所述预设分类器后，所述预设分类器的最后一个卷积层输出的特征图；
依据所述特征图，利用全局平均池化方式，分别确定所述预设分类器的最后一个卷积层中各卷积核的权重；
依据所述各卷积核的权重，以及所述特征图，确定输入图像的目标分类类别的注意力图；其中，所述目标分类类别为预先设定的所述输入图像对应的干净样本的分类类别。
在一些实施例中，在所述GAN模型的训练过程中，对于任一生成图像，该生成图像的分类损失由所述后端处理设备820通过以下方式确定：
利用预设分类器，对该生成图像进行分类，以确定所述预设分类器输出的该生成图像的目标分类类别的置信度；其中，所述目标分类类别为预先设定的所述输入图像对应的干净样本的分类类别；
依据所述预设分类器输出的该生成图像的目标分类类别的置信度，确定该生成图像的分类损失。
在一些实施例中，所述后端处理设备820依据生成图像的注意力损失以及分类损失对所述GAN模型的进行反馈优化，包括：
依据生成图像的注意力损失、分类损失以及以下损失中的至少一个，确定所述GAN模型的目标损失：
像素级损失以及感知损失；
依据生成图像的目标损失对所述GAN模型的进行反馈优化。
需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
以上所述仅为本申请的较佳实施例而已，并不用以限制本申请，凡在本申请的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本申请保护的范围之内。
Claims (11)
1.一种基于注意力去噪的对抗样本防御方法，其特征在于，包括：
获取待处理图像；
依据训练好的生成对抗网络GAN模型，对所述待处理图像进行去噪处理，得到去噪图像；其中，在所述GAN模型的训练过程中，依据生成图像的注意力损失以及分类损失对所述GAN模型的进行反馈优化，所述生成图像为所述GAN模型中的生成器对对抗样本进行处理后得到的图像；所述生成图像的注意力损失和所述生成图像与对应的干净样本之间的注意力区域差异正相关，所述分类损失和所述生成图像的分类准确性负相关；
依据所述去噪图像进行图像数据处理。
2.根据权利要求1所述的方法，其特征在于，在所述GAN模型的训练过程中，对于任一生成图像，该生成图像的注意力损失通过以下方式确定：
利用预设分类器，分别确定该生成图像的第一注意力图，以及该生成图像对应的干净样本的第二注意力图；
依据所述第一注意力图和所述第二注意力图之间的差异，确定该生成图像的注意力损失。
3.根据权利要求2所述的方法，其特征在于，注意力图通过以下方式确定：
获取输入图像输入所述预设分类器后，所述预设分类器的最后一个卷积层输出的特征图；
依据所述特征图，利用全局平均池化方式，分别确定所述预设分类器的最后一个卷积层中各卷积核的权重；
依据所述各卷积核的权重，以及所述特征图，确定输入图像的目标分类类别的注意力图；其中，所述目标分类类别为预先设定的所述输入图像对应的干净样本的分类类别；
其中，依据所述特征图，利用全局平均池化方式，分别确定所述预设分类器的最后一个卷积层中各卷积核的权重，包括：
利用以下公式确定计算第k个卷积核的权重
其中，u×v为卷积核的大小，为第k个卷积核(p,q)处的激活输出，Zc表示第c类的Logits值。
4.根据权利要求1所述的方法，其特征在于，在所述GAN模型的训练过程中，对于任一生成图像，该生成图像的分类损失通过以下方式确定：
利用预设分类器，对该生成图像进行分类，以确定所述预设分类器输出的该生成图像的目标分类类别的置信度；其中，所述目标分类类别为预先设定的输入图像对应的干净样本的分类类别；
依据所述预设分类器输出的该生成图像的目标分类类别的置信度，确定该生成图像的分类损失。
5.根据权利要求1所述的方法，其特征在于，所述依据生成图像的注意力损失以及分类损失对所述GAN模型的进行反馈优化，包括：
依据生成图像的注意力损失、分类损失以及以下损失中的至少一个，确定所述GAN模型的目标损失：
像素级损失以及感知损失；
依据生成图像的目标损失对所述GAN模型的进行反馈优化。
6.一种基于注意力去噪的对抗样本防御装置，其特征在于，包括：
获取单元，用于获取待处理图像；
去噪单元，用于依据训练好的生成对抗网络GAN模型，对所述待处理图像进行去噪处理，得到去噪图像；其中，在所述GAN模型的训练过程中，依据生成图像的注意力损失以及分类损失对所述GAN模型的进行反馈优化，所述生成图像为所述GAN模型中的生成器对对抗样本进行处理后得到的图像；所述生成图像的注意力损失和所述生成图像与对应的干净样本之间的注意力区域差异正相关，所述分类损失和所述生成图像的分类准确性负相关；
处理单元，用于依据所述去噪图像进行图像数据处理。
7.根据权利要求6所述的装置，其特征在于，所述装置还包括：训练单元；
在所述GAN模型的训练过程中，对于任一生成图像，该生成图像的注意力损失由所述训练单元通过以下方式确定：
利用预设分类器，分别确定该生成图像的第一注意力图，以及该生成图像对应的干净样本的第二注意力图；
依据所述第一注意力图和所述第二注意力图之间的差异，确定该生成图像的注意力损失。
8.根据权利要求7所述的装置，其特征在于，注意力图由所述训练单元通过以下方式确定：
获取输入图像输入所述预设分类器后，所述预设分类器的最后一个卷积层输出的特征图；
依据所述特征图，利用全局平均池化方式，分别确定所述预设分类器的最后一个卷积层中各卷积核的权重；
依据所述各卷积核的权重，以及所述特征图，确定输入图像的目标分类类别的注意力图；其中，所述目标分类类别为预先设定的所述输入图像对应的干净样本的分类类别；
其中，依据所述特征图，利用全局平均池化方式，分别确定所述预设分类器的最后一个卷积层中各卷积核的权重，包括：
利用以下公式确定计算第k个卷积核的权重
其中，u×v为卷积核的大小，为第k个卷积核(p,q)处的激活输出，Zc表示第c类的Logits值。
9.根据权利要求7所述的装置，其特征在于，在所述GAN模型的训练过程中，对于任一生成图像，该生成图像的分类损失由训练单元通过以下方式确定：
利用预设分类器，对该生成图像进行分类，以确定所述预设分类器输出的该生成图像的目标分类类别的置信度；其中，所述目标分类类别为预先设定的输入图像对应的干净样本的分类类别；
依据所述预设分类器输出的该生成图像的目标分类类别的置信度，确定该生成图像的分类损失。
10.根据权利要求7所述的装置，其特征在于，所述训练单元依据生成图像的注意力损失以及分类损失对所述GAN模型的进行反馈优化，包括：
依据生成图像的注意力损失、分类损失以及以下损失中的至少一个，确定所述GAN模型的目标损失：
像素级损失以及感知损失；
依据生成图像的目标损失对所述GAN模型的进行反馈优化。
11.一种基于注意力去噪的对抗样本防御系统，其特征在于，包括：前端采集设备以及后端处理设备；其中：
所述前端采集设备，用于进行图像采集；
所述后端处理设备，用于获取所述前端采集设备采集的图像，作为待处理图像；
所述后端处理设备，还用于依据训练好的生成对抗网络GAN模型，对所述待处理图像进行去噪处理，得到去噪图像；其中，在所述GAN模型的训练过程中，依据生成图像的注意力损失以及分类损失对所述GAN模型的进行反馈优化，所述生成图像为所述GAN模型中的生成器对对抗样本进行处理后得到的图像；所述生成图像的注意力损失和所述生成图像与对应的干净样本之间的注意力区域差异正相关，所述分类损失和所述生成图像的分类准确性负相关；
所述后端处理设备，还用于依据所述去噪图像进行图像数据处理。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110762352.0A CN113487506B (zh) | 2021-07-06 | 2021-07-06 | 基于注意力去噪的对抗样本防御方法、装置和系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110762352.0A CN113487506B (zh) | 2021-07-06 | 2021-07-06 | 基于注意力去噪的对抗样本防御方法、装置和系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113487506A CN113487506A (zh) | 2021-10-08 |
| CN113487506B true CN113487506B (zh) | 2023-08-29 |
Family
ID=77940434
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110762352.0A Active CN113487506B (zh) | 2021-07-06 | 2021-07-06 | 基于注意力去噪的对抗样本防御方法、装置和系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113487506B (zh) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114742170B (zh) * | 2022-04-22 | 2023-07-25 | 马上消费金融股份有限公司 | 对抗样本生成方法、模型训练方法、图像识别方法及装置 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110473154A (zh) * | 2019-07-31 | 2019-11-19 | 西安理工大学 | 一种基于生成对抗网络的图像去噪方法 |
| WO2019240900A1 (en) * | 2018-06-12 | 2019-12-19 | Siemens Aktiengesellschaft | Attention loss based deep neural network training |
| CN111310802A (zh) * | 2020-01-20 | 2020-06-19 | 星汉智能科技股份有限公司 | 一种基于生成对抗网络的对抗攻击防御训练方法 |
| CN111627429A (zh) * | 2020-05-20 | 2020-09-04 | 浙江工业大学 | 一种基于CycleGAN的语音识别模型的防御方法及装置 |
| CN111968195A (zh) * | 2020-08-20 | 2020-11-20 | 太原科技大学 | 用于低剂量ct图像降噪及去伪影的双注意力生成对抗网络 |
Family Cites Families (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110647794B (zh) * | 2019-07-12 | 2023-01-03 | 五邑大学 | 基于注意力机制的多尺度sar图像识别方法及装置 |
| US11836249B2 (en) * | 2019-11-21 | 2023-12-05 | Paypal, Inc. | System and method for counteracting adversarial attacks |
-
2021
- 2021-07-06 CN CN202110762352.0A patent/CN113487506B/zh active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2019240900A1 (en) * | 2018-06-12 | 2019-12-19 | Siemens Aktiengesellschaft | Attention loss based deep neural network training |
| CN110473154A (zh) * | 2019-07-31 | 2019-11-19 | 西安理工大学 | 一种基于生成对抗网络的图像去噪方法 |
| CN111310802A (zh) * | 2020-01-20 | 2020-06-19 | 星汉智能科技股份有限公司 | 一种基于生成对抗网络的对抗攻击防御训练方法 |
| CN111627429A (zh) * | 2020-05-20 | 2020-09-04 | 浙江工业大学 | 一种基于CycleGAN的语音识别模型的防御方法及装置 |
| CN111968195A (zh) * | 2020-08-20 | 2020-11-20 | 太原科技大学 | 用于低剂量ct图像降噪及去伪影的双注意力生成对抗网络 |
Non-Patent Citations (1)
| Title |
|---|
| Three-dimensional residual channel attention networks denoise and sharpen fluorescence microscopy image volumes;Jiji Chen等;《nature methods》;第18卷;第678–687页 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN113487506A (zh) | 2021-10-08 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN113554089B (zh) | 一种图像分类对抗样本防御方法、系统及数据处理终端 | |
| CN111340716B (zh) | 一种改进双重判别对抗网络模型的图像去模糊方法 | |
| CN111414964A (zh) | 一种基于对抗样本防御的图像安全识别方法 | |
| Rehman et al. | Deep learning for face anti-spoofing: An end-to-end approach | |
| CN113627543B (zh) | 一种对抗攻击检测方法 | |
| CN112488934B (zh) | 一种基于cs-tcgan的指静脉图像去噪方法 | |
| Wu et al. | Towards multi-operation image anti-forensics with generative adversarial networks | |
| CN113505855A (zh) | 一种对抗攻击模型的训练方法 | |
| CN113487506B (zh) | 基于注意力去噪的对抗样本防御方法、装置和系统 | |
| CN115830369A (zh) | 基于深度神经网络的对抗样本生成方法及系统 | |
| CN114626042A (zh) | 一种人脸验证攻击方法和装置 | |
| Liu et al. | Ensemble of CNN and rich model for steganalysis | |
| CN114841890A (zh) | 一种基于生成对抗网络的水下图像去模糊方法 | |
| Camacho et al. | Convolutional neural network initialization approaches for image manipulation detection | |
| Tang et al. | Reinforcement learning of non-additive joint steganographic embedding costs with attention mechanism | |
| CN114283058A (zh) | 基于对抗网络和最大互信息优化的图像超分辨率重建方法 | |
| Korhonen et al. | Adversarial attacks against blind image quality assessment models | |
| Saealal et al. | Three-Dimensional Convolutional Approaches for the Verification of Deepfake Videos: The Effect of Image Depth Size on Authentication Performance | |
| Ma et al. | Enhancing the security of image steganography via multiple adversarial networks and channel attention modules | |
| CN117152486A (zh) | 一种基于可解释性的图像对抗样本检测方法 | |
| CN115358952B (zh) | 一种基于元学习的图像增强方法、系统、设备和存储介质 | |
| CN116258867A (zh) | 一种基于关键区域低感知性扰动的对抗样本生成方法 | |
| CN111723864A (zh) | 基于主动学习使用互联网图片进行对抗训练的方法及装置 | |
| CN113657448B (zh) | 一种基于生成对抗网络和梯度解释的对抗样本防御方法 | |
| Antony et al. | T2FRF Filter: An Effective Algorithm for the Restoration of Fingerprint Images |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |