CN109543760B - 基于图像滤镜算法的对抗样本检测方法 - Google Patents

基于图像滤镜算法的对抗样本检测方法 Download PDF

Info

Publication number
CN109543760B
CN109543760B CN201811431005.4A CN201811431005A CN109543760B CN 109543760 B CN109543760 B CN 109543760B CN 201811431005 A CN201811431005 A CN 201811431005A CN 109543760 B CN109543760 B CN 109543760B
Authority
CN
China
Prior art keywords
sample
image
input image
inconsistency
classification
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201811431005.4A
Other languages
English (en)
Other versions
CN109543760A (zh
Inventor
易平
顾双驰
杨涛
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Jiaotong University
Third Research Institute of the Ministry of Public Security
Original Assignee
Shanghai Jiaotong University
Third Research Institute of the Ministry of Public Security
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Jiaotong University, Third Research Institute of the Ministry of Public Security filed Critical Shanghai Jiaotong University
Priority to CN201811431005.4A priority Critical patent/CN109543760B/zh
Publication of CN109543760A publication Critical patent/CN109543760A/zh
Application granted granted Critical
Publication of CN109543760B publication Critical patent/CN109543760B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/217—Validation; Performance evaluation; Active pattern learning techniques

Landscapes

  • Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Probability & Statistics with Applications (AREA)
  • Image Analysis (AREA)

Abstract

一种基于图像滤镜算法的对抗样本检测方法，通过图像滤镜算法对待测样本进行处理后得到多个比对样本，将比对样本与待测样本一并输入深度学习模型进行分类，通过评估分类结果的不一致性以判断待测样本属于对抗样本或正常样本。本发明针对人工智能的图像对抗攻击，能够应用于图像分类，图像识别领域，能够以相对低廉的成本对输入样本进行检测进而提升深度学习模型的安全性能。

Description

基于图像滤镜算法的对抗样本检测方法
技术领域
本发明涉及的是一种人工智能领域的技术，具体是一种针对对抗样本攻击的基于图像滤镜算法的对抗样本检测方法。
背景技术
随着人工智能和深度学习技术的快速发展，机器学习本身的安全问题也不断涌现。当使用一些特定的攻击算法，对正常样本添加特定的图样，就可以把正常样本变为对抗样本，使深度学习模型得出错误的分类结果，但是从人看来样本并没有发生大的变化。因此目前有许多研究都在致力于使用独立的检测方法来抵御对抗样本的攻击。
发明内容
本发明针对上述现有技术的缺陷和不足，提出一种基于图像滤镜算法的对抗样本检测方法，通过使用图像滤镜算法修改深度学习模型的输入图像，通过分析分类结果是否具有不一致性来检测对抗样本，进而提升深度学习模型的鲁棒性。本发明针对人工智能的图像对抗攻击，能够应用于图像分类，图像识别领域，能够对输入样本进行检测进而提升深度学习模型的安全性能。
本发明是通过以下技术方案实现的：
本发明通过图像滤镜算法对待测样本进行处理后得到多个比对样本，将比对样本与待测样本一并输入深度学习模型进行分类，通过评估分类结果的不一致性以判断待测样本属于对抗样本或正常样本。
所述的待测样本采用但不限于图像、视频或其组合。
所述的图像滤镜算法包括：高斯模糊算法、中值模糊算法、颜色深度降低算法或其组合。
所述的深度学习模型为卷积神经网络。
所述的分类结果是指：深度学习模型对于待测样本和每个比对样本的预测分类结果，该分类结果p优选采用向量表示p＝[p1,p2,p3,...]，其中：每一个分量代表输入图像在每一个类别的预测概率。
所述的不一致性是指：未经过滤镜算法处理的待测样本和经过滤镜算法处理的比对样本在分类结果中存在的差异，当待测样本为对抗样本，则该差异将显著增加，具体为：
dist2 (og,filtered)＝||f(x)og-f(x)filtered||2,f(x)＝<p1(x),p2(x),p3(x),…>，其中：og为待测样本，filtered为比对样本，,f(x)为x待测样本的分类结果，||·||2为对两个分类结果(概率向量)求欧几里得距离，<p1(x),p2(x),p3(x),…>为以向量方式表示的x待测样本的分类结果。
所述的对抗样本的生成方法包括但不限于：快速梯度下降法(FGSM)、迭代的快速梯度下降算法(BIM)、基于优化的对抗样本距离计算方法(C&W)或其组合。
技术效果
本发明与现有同类技术相比具有低成本和高灵活性的特点：本发明采用的图像滤镜算法对计算机性能的要求相对于其他类型的对抗样本检测方法要更低，不需要昂贵的图形计算资源进行深度学习模型的二次训练，并且不需要对深度学习模型进行修改。而且本发明可以灵活运用于任意图像分类深度学习模型上，并且能与其他类型的对抗样本防御方法相结合，从而显著提升深度学习模型的图像分类鲁棒性。
附图说明
图1为本发明总体结构示意图；
图2为原始输入图像和经过滤镜算法处理后的图像输出分类结果的示意图。
图3为图像分类结果不一致性分析示意图。
具体实施方式
如图1所示，为本实施例涉及的一种基于图像滤镜算法实现的对抗样本检测系统，包括：依次级联的图像滤镜预处理模块、深度学习模型分类器模块和预测结果不一致性分析模块，其中：图像滤镜预处理模块将原始输入图像添加图像滤镜算法得到经过处理的输入图像，深度学习模型分类器模块根据原始输入图像以及经过处理的输入图像进行分类并输出分类结果，预测结果不一致性分析模块根据分类结果计算不一致性并得出原始输入图像是否是对抗样本的检测结果。
所述的原始输入图像中包括经修改的图像和未经修改的图像，其中的修改是指：使用滤镜算法对图像进行处理。
所述的计算不一致性是指：
dist2 (og,filtered)＝||f(x)og-f(x)filtered||2,f(x)＝<p1(x),p2(x),p3(x),…>，其中：其中：og为原始输入图片，filtered为经过滤镜算法处理后的图像，,f(x)为x输入图像的分类结果，||·||2为对两个分类结果(概率向量)求欧几里得距离，<p1(x),p2(x),p3(x),…〉为以向量方式表示的x待测样本的分类结果；当计算得到的不一致性结果超过阈值则认为原始图像为对抗样本。
本实施例中,f(x)分类结果的维度与深度学习分类器的总类别保持一致。本实施例中的深度学习模型可以是任意的图像分类神经网络。
如图2和图3所示，本实施例涉及上述系统的针对对抗样本攻击的基于图像滤镜算法的对抗样本检测方法，包括以下步骤：
a)将原始输入图像Xog输入图像滤镜预处理模块得到多个经过处理的输入图像Xf1、Xf2、Xf3等。
b)将原始输入图像Xog和经过处理的输入图像Xf1、Xf2、Xf3等都输入深度学习模型中进行分类，得到对应各个输入的预测结果Rog(原始输入图像结果)和Rf1、Rf2、Rf3(滤镜处理后图像的结果)。
所述的深度学习模型具体采用基于卷积神经网络实现的图像分类器。
c)将所有预测结果输入不一致性分析模块，得到量化的预测结果不一致性值Inc。
d)当不一致性值Inc超过阈值α，则判断原始输入图像Xog为对抗样本，当低于α，则判断原始输入图像Xog为正常样本。
和现有的对抗样本检测技术在成本方面进行对比，基于图像滤镜算法的对抗样本检测方法(本方法)在保持高检测率的同时，具有硬件成本低廉与效率高的特点。
用现有的对抗样本检测技术在MNIST和ImageNet数据集上进行测试后，效果分别如下：
a)MNIST:
I.核密度法(Kernel Density)：95.7％
II.LID(局部内在维度)：96.9％
III.基于图像滤镜算法的对抗样本检测方法(本方法)：97.2％
b)ImageNet:
I.LID(局部内在维度)：85.8％
II.基于图像滤镜算法的对抗样本检测方法(本方法)：86.2％
由结果可知，在低分辨率内容简单的MNIST数据集上，本方法的检测率高达97.2％，在具备更低成本的前提下获得了更高的检测率。而在ImageNet这类非常复杂的数据集上，本方法也能保持较高的检测率。
上述具体实施可由本领域技术人员在不背离本发明原理和宗旨的前提下以不同的方式对其进行局部调整，本发明的保护范围以权利要求书为准且不由上述具体实施所限，在其范围内的各个实现方案均受本发明之约束。

Claims (1)

1.一种基于图像滤镜算法的对抗样本检测方法的实现系统，其特征在于，包括：依次级联的图像滤镜预处理模块、深度学习模型分类器模块和预测结果不一致性分析模块，其中：图像滤镜预处理模块将原始输入图像添加图像滤镜算法得到经过处理的输入图像，深度学习模型分类器模块根据原始输入图像以及经过处理的输入图像进行分类并输出分类结果，预测结果不一致性分析模块根据分类结果计算不一致性并得出原始输入图像是否是对抗样本的检测结果；
所述的原始输入图像采用图像、视频或其组合；
所述的图像滤镜算法包括：高斯模糊算法、中值模糊算法、颜色深度降低算法或其组合；
所述的分类结果p采用向量表示p＝[p1,p2,p3,...]，其中：每一个分量代表输入图像在每一个类别的预测概率；
所述的不一致性是指：未经过滤镜算法处理的待测样本和经过滤镜算法处理的比对样本在分类结果中存在的差异，当待测样本为对抗样本，则该差异将显著增加，具体为：
dist2 (og，filtered)＝||f(x)og-f(x)filtered||2，f(x)＝<p1(x)，p2(x)，p3(x)，…>，其中：og为待测样本，filtered为比对样本，f(x)为样本的分类结果，||·||2为对两个分类结果，即概率向量求欧几里得距离，<p1(x)，p2(x)，p3(x)，…>为以向量方式表示的样本的分类结果；
所述的对抗样本的生成方法包括：快速梯度下降法、迭代的快速梯度下降算法、基于优化的对抗样本距离计算方法或其组合；
所述的基于图像滤镜算法的对抗样本检测是指：通过图像滤镜算法对待测样本进行处理后得到多个比对样本，将比对样本与待测样本一并输入卷积神经网络进行分类，通过评估分类结果，即卷积神经网络对于待测样本和每个比对样本的预测分类结果的不一致性以判断待测样本属于对抗样本或正常样本，具体为：
a)将原始输入图像Xog输入图像滤镜预处理模块得到多个经过处理的输入图像Xf1、Xf2、Xf3；
b)将原始输入图像Xog和经过处理的输入图像Xf1、Xf2、Xf3都输入深度学习模型中进行分类，得到对应各个输入的原始输入图像结果Rog和滤镜处理后图像的结果Rf1、Rf2、Rf3；
所述的深度学习模型具体采用基于卷积神经网络实现的图像分类器；
c)将所有预测结果输入不一致性分析模块，得到量化的预测结果不一致性值Inc；
d)当不一致性值Inc超过阈值α，则判断原始输入图像Xog为对抗样本，当不一致性值Inc低于α，则判断原始输入图像Xog为正常样本。
CN201811431005.4A 2018-11-28 2018-11-28 基于图像滤镜算法的对抗样本检测方法 Active CN109543760B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811431005.4A CN109543760B (zh) 2018-11-28 2018-11-28 基于图像滤镜算法的对抗样本检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811431005.4A CN109543760B (zh) 2018-11-28 2018-11-28 基于图像滤镜算法的对抗样本检测方法

Publications (2)

Publication Number Publication Date
CN109543760A CN109543760A (zh) 2019-03-29
CN109543760B true CN109543760B (zh) 2021-10-19

Family

ID=65850540

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811431005.4A Active CN109543760B (zh) 2018-11-28 2018-11-28 基于图像滤镜算法的对抗样本检测方法

Country Status (1)

Country Link
CN (1) CN109543760B (zh)

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110222831B (zh) * 2019-06-13 2022-05-17 百度在线网络技术（北京）有限公司 深度学习模型的鲁棒性评估方法、装置及存储介质
US10990855B2 (en) * 2019-06-13 2021-04-27 Baidu Usa Llc Detecting adversarial samples by a vision based perception system
CN110768959B (zh) * 2019-09-20 2021-12-21 浙江工业大学 一种基于信号边界摸索攻击的防御方法
CN110717525B (zh) * 2019-09-20 2022-03-08 浙江工业大学 一种通道自适应优化的对抗攻击防御方法和装置
CN110866238B (zh) * 2019-11-13 2023-04-21 北京工业大学 基于对抗样本的验证码图像的生成方法
CN110852450B (zh) * 2020-01-15 2020-04-14 支付宝(杭州)信息技术有限公司 识别对抗样本以保护模型安全的方法及装置
CN111460881A (zh) * 2020-01-16 2020-07-28 华中科技大学 基于近邻判别的交通标志对抗样本检测方法和分类装置
CN111291901B (zh) * 2020-04-24 2020-08-14 支付宝(杭州)信息技术有限公司 后门样本的检测方法、装置和电子设备
CN113283545B (zh) * 2021-07-14 2021-11-02 中国工程物理研究院计算机应用研究所 一种针对视频识别场景的物理干扰方法及系统

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107808098A (zh) * 2017-09-07 2018-03-16 阿里巴巴集团控股有限公司 一种模型安全检测方法、装置以及电子设备
CN108446765A (zh) * 2018-02-11 2018-08-24 浙江工业大学 面向深度学习对抗性攻击的多模型协同防御方法
CN108537271A (zh) * 2018-04-04 2018-09-14 重庆大学 一种基于卷积去噪自编码机防御对抗样本攻击的方法
CN108710892A (zh) * 2018-04-04 2018-10-26 浙江工业大学 面向多种对抗图片攻击的协同免疫防御方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108717550B (zh) * 2018-04-28 2021-06-22 浙江大学 一种基于对抗学习的图像对抗验证码生成方法和系统

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107808098A (zh) * 2017-09-07 2018-03-16 阿里巴巴集团控股有限公司 一种模型安全检测方法、装置以及电子设备
CN108446765A (zh) * 2018-02-11 2018-08-24 浙江工业大学 面向深度学习对抗性攻击的多模型协同防御方法
CN108537271A (zh) * 2018-04-04 2018-09-14 重庆大学 一种基于卷积去噪自编码机防御对抗样本攻击的方法
CN108710892A (zh) * 2018-04-04 2018-10-26 浙江工业大学 面向多种对抗图片攻击的协同免疫防御方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
Towards Evaluating the Robustness of Neural Networks;Nicholas Carlini 等;《2017 IEEE Symposium on Security and Privacy (SP)》;20170522;第39-57页 *
人工智能对抗攻击研究综述;易平 等;《上海交通大学学报》;20181030;第52卷(第10期);第1298-1306页 *
深度学习中的对抗样本问题;张思思 等;《计算机学报》;20181106;第41卷;第1-21页 *

Also Published As

Publication number Publication date
CN109543760A (zh) 2019-03-29

Similar Documents

Publication Publication Date Title
CN109543760B (zh) 基于图像滤镜算法的对抗样本检测方法
CN113554089B (zh) 一种图像分类对抗样本防御方法、系统及数据处理终端
Chen et al. Median filtering forensics based on convolutional neural networks
CN110348475B (zh) 一种基于空间变换的对抗样本增强方法和模型
Medina et al. Comparison of CNN and MLP classifiers for algae detection in underwater pipelines
CN113536972B (zh) 一种基于目标域伪标签的自监督跨域人群计数方法
Choi et al. Detecting composite image manipulation based on deep neural networks
CN112668522B (zh) 一种人体关键点与人体掩码联合检测网络及方法
CN113627543B (zh) 一种对抗攻击检测方法
Sun et al. Complete defense framework to protect deep neural networks against adversarial examples
Prasad et al. INDIAN SIGN LANGUAGE RECOGNITION SYSTEM USING NEW FUSION BASED EDGE OPERATOR.
Li et al. Rethinking natural adversarial examples for classification models
CN112990357B (zh) 一种基于稀疏扰动的黑盒视频对抗样本生成方法
CN113378620B (zh) 监控视频噪声环境下跨摄像头行人重识别方法
Saealal et al. Three-Dimensional Convolutional Approaches for the Verification of Deepfake Videos: The Effect of Image Depth Size on Authentication Performance
CN112818774A (zh) 一种活体检测方法及装置
CN116612355A (zh) 人脸伪造识别模型训练方法和装置、人脸识别方法和装置
Peng et al. Evaluating deep learning for image classification in adversarial environment
Ma et al. TransCAB: Transferable Clean-Annotation Backdoor to Object Detection with Natural Trigger in Real-World
CN114913607A (zh) 一种基于多特征融合的指静脉仿冒检测方法
Geng et al. Dense Face Detection via High-level Context Mining
Fan et al. Hybrid defense for deep neural networks: an integration of detecting and cleaning adversarial perturbations
Jung et al. Cosine focal loss-based change detection for video surveillance systems
Chen et al. Defending Adversarial Patches via Joint Region Localizing and Inpainting
CN111192288B (zh) 基于形变样本生成网络的目标跟踪算法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant