CN110516695A - 面向医学图像分类的对抗样本生成方法及系统 - Google Patents

面向医学图像分类的对抗样本生成方法及系统 Download PDF

Info

Publication number
CN110516695A
CN110516695A CN201910623044.2A CN201910623044A CN110516695A CN 110516695 A CN110516695 A CN 110516695A CN 201910623044 A CN201910623044 A CN 201910623044A CN 110516695 A CN110516695 A CN 110516695A
Authority
CN
China
Prior art keywords
network
image
sample
medical images
classification
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201910623044.2A
Other languages
English (en)
Inventor
张道强
朱文勇
张涛
李仲年
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanjing University of Aeronautics and Astronautics
Original Assignee
Nanjing University of Aeronautics and Astronautics
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanjing University of Aeronautics and Astronautics filed Critical Nanjing University of Aeronautics and Astronautics
Priority to CN201910623044.2A priority Critical patent/CN110516695A/zh
Publication of CN110516695A publication Critical patent/CN110516695A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/217—Validation; Performance evaluation; Active pattern learning techniques
    • G06F18/2193—Validation; Performance evaluation; Active pattern learning techniques based on specific statistical tests
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • Public Health (AREA)
  • General Engineering & Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Evolutionary Computation (AREA)
  • Biomedical Technology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Primary Health Care (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Epidemiology (AREA)
  • Databases & Information Systems (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Pathology (AREA)
  • Radiology & Medical Imaging (AREA)
  • Probability & Statistics with Applications (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种面向医学图像分类的对抗样本生成方法和系统，其中对抗样本生成方法包括步骤：1、建立并训练医学图像分类网络；2、构建对抗样本生成网络G；G采用A或B的方式生成对抗样本图像：A：G根据原始图像或噪声图像生成扰动，经范数约束后得到对抗扰动U，将U添加到原始图像上，得到对抗样本图像；B：G根据原始图像生成对抗样本图像；3、将生成的对抗样本图像输入医学图像分类网络中得到分类结果；根据原始图像的真实分类结果cx的one‑hot编码计算损失函数，通过最小化目标函数来更新G的参数，得到优化后的对抗样本生成网络G(·)；4、使用G(·)按照A或B的方式得到对抗样本图像。该方法能够根据医学图像分类网络的结果生成有效对抗样本，对分类网络进行攻击实验。

Description

面向医学图像分类的对抗样本生成方法及系统
技术领域
本发明属于医学图像处理技术领域，具体涉及一种面向医学图像分类的对抗样本生成方法和对应的系统。
背景技术
近年来，由新网络结构和大数据进步驱动的深度学习算法在许多人工智能系统中表现出惊人的高性能，例如图像识别和语义分割。深度学习在临床医学的应用也十分令人兴奋，在医学诊断上，深度学习算法似乎已经与医生在放射学，病理学，皮肤病学和眼科学方面达到了相同水平。2018年，美国食品和药物管理局(FDA)批准了首个自主人工智能医疗诊断系统，并表示他们正在积极开发一个新的监管框架，以促进这一领域的创新。
然而，Szegedy等人发现深度神经网络在实现图像分类以及图像分割等方面存在一个弱点。他们表明，尽管深度学习算法已经达到很高的准确率，但现在的深度网络却极易受到人类视觉系统几乎无法察觉的小扰动造成的对抗攻击，这种攻击可以使深度神经网络分类器完全改变其关于图像的预测，更糟糕的是，受到攻击的模型对错误预测结果表示高度信任，而且相同的图像扰动可以欺骗多个网络。这些结果的深远影响引起了研究人员对对抗攻击的广泛兴趣以及引发他们对深度学习模型鲁棒性以及防御方法的思考。
Moosavi-Dezfooli等人在2016年首先提出通用型扰动的概念，通用扰动是一个固定的扰动，其在被添加到自然图像后，可能误导大多数图像的预训练模型。Mopuri等人提出了一种与初始数据无关的方法来生成通用扰动，其动机是当输入通用扰动时，最大化多层网络的平均激活函数值，虽然这种方法不需要训练数据的相关信息，但是它的结果并没有像Moosavi-Dezfooli的方法那么好。Metzen等人提出了一种用于生成语义分割模型的通用型目标攻击的方法。他们的方法类似于Moosavi-Dezfooli的方法，他们通过添加图像相关型扰动并剪切结果以满足范数约束来创建通用型扰动。Moosavi-Dezfooli等人在2017年又提出了一种基于决策边界的几何性质对分类器对抗通用扰动的鲁棒性进行定量分析的方法。
对于创建图像相关型扰动，目前有许多方法已经被提出。基于优化的方法，如Szegedy等人和Carlini等人的方法，通过扰动范数约束和模型损失函数来定义代价函数达到优化目的，虽然这些方法比其他方法能获得更好的结果，但是他们的推理时间很慢。Goodfellow等人在2015年提出了一种快速梯度符号方法(Fast Gradient Sign Method,FGSM)来生成对抗样本，该方法计算每一个元素的损失函数的梯度，然后基于梯度下降方向移动一小步，虽然这种方法很快速，但仅使用基于损失函数线性近似的单个方向常常会导致次优结果。基于这项工作，Moosavi-Dezfooli等人提出了一种迭代算法，通过假设损失函数可以在每次迭代时围绕当前数据点线性化来计算对抗扰动。Kurakin等人提出了一种迭代最小可能类的方法，这是一种基于迭代梯度的方法，选择最不可能的预测类作为目标类，他们还讨论了如何有效的在训练过程中添加对抗样本来提高模型鲁棒性。
但目前所提出的这些创建对抗扰动的方法大都应用于自然图像中，对分类要求较高的医学图像没有涉及，且医学图像深度学习模型安全性和鲁棒性要求更高。一个故意合成的对抗扰动片段可以极大概率地误导分类网络模型的输出，使医学图像分类错误。所以在深度学习算法模型在真正部署之前，对它的鲁棒性检测，对抗攻击的抗性，在噪声干扰下正确分类的能力分析是必须的，而检测试验的方法就需要一个有效的对抗样本图像。如何针对医学图像分类生成对抗样本图像，来测试医学图像分类网络的鲁棒性，是急需解决的问题。
发明内容
发明目的：针对现有技术中存在的问题，本发明提供了一种面向医学图像分类的对抗样本生成方法，该方法能够根据医学图像分类网络的分类结果生成有效的对抗样本，用于对分类网络进行攻击实验。
技术方案：本发明一方面公开了一种面向医学图像分类的对抗样本生成方法，包括步骤：
(1)建立医学图像分类网络K，并采用已添加类别标签的医学图像数据集对所述医学图像分类网络进行训练；所述医学图像分类网络对输入图像x进行分类，得到所有类标签的概率向量k(x)，分类结果K(x)＝argmaxk(x)；
(2)构建对抗样本生成网络G；所述对抗样本生成网络G采用A或B两种方式之一生成对抗样本图像a：
(A)所述对抗样本生成网络G根据输入的原始图像x或噪声图像Z生成扰动u，对扰动u进行范数约束后得到对抗扰动U，将对抗扰动U添加到原始图像x上，得到对抗样本图像a；
(B)所述对抗样本生成网络G根据输入的原始图像x生成对抗样本图像a；
(3)将生成的对抗样本图像a输入到训练好的医学图像分类网络K中，得到分类结果K(a)；根据原始图像x的真实分类结果cx的one-hot编码计算损失函数和目标函数，通过最小化目标函数来更新对抗样本生成网络G的参数，得到优化后的对抗样本生成网络G(·)；
(4)使用优化后的生成扰动网络G(·)按照(A)或(B)的方式得到对抗样本图像a。
本发明中，医学图像分类网络为以VGG为主干的神经网络模型。
方式(A)中的对抗样本生成网络G包括对抗扰动生成网络fΘ、范数约束模块和加法器；所述对抗扰动生成网络fΘ以ResNet网络为架构，包括依次连接的N1个下采样卷积层、M1个残差网络块、W1个上采样卷积层；对抗扰动生成网络fΘ根据输入的原始图像x或噪声图像Z生成扰动u；
范数约束模块对扰动u进行范数约束后得到对抗扰动U，加法器将对抗扰动U添加到原始图像x上，得到对抗样本图像a。
方式(B)中的对抗样本生成网络G以ResNet网络为架构，包括依次连接的N2个下采样卷积层、M2个残差网络块、W2个上采样卷积层和范数约束模块；所述对抗样本生成网络G的输入为原始图像x，输出为与原始图像x相对于的对抗样本图像。
步骤(3)中的目标函数为：
L(a)＝-LK(K(a),cx)+d(a,x)
其中，LK(·,·)是医学图像分类网络K的损失函数，d(·,·)是距离度量。
对于非目标对抗样本，所述损失函数LK可以为：
或：
或：
其中，H(·,·)为交叉熵损失函数的下降函数；为原始图像x的真实分类结果cx的one-hot编码；Kl(x)＝argmink(x)，为Kl(x)的one-hot编码；ki(a)为a被识别为第i类的概率，i＝1,2,...,c；
对于目标对抗样本，所述损失函数LK可以为：
Ltargeted(Θ)＝log(H(k(a),It))
或：
其中It为目标类的one-hot编码。
另一方面，本发明公开了一种面向医学图像分类的对抗样本生成系统，包括：医学图像分类网络K、对抗样本生成网络G；
所述医学图像分类网络对输入图像x进行分类，得到所有类标签的概率向量k(x)，分类结果K(x)＝argmaxk(x)；
所述对抗样本生成网络G根据原始图像和医学图像分类网络对对抗样本图像的分类结果，生成与原始图像相对于的对抗样本图像。
对抗样本生成网络G的一种结构为：包括对抗扰动生成网络fΘ、范数约束模块和加法器；所述对抗扰动生成网络fΘ以ResNet网络为架构，包括依次连接的N1个下采样卷积层、M1个残差网络块、W1个上采样卷积层；对抗扰动生成网络fΘ根据输入的原始图像x或噪声图像Z生成扰动u；
范数约束模块对扰动u进行范数约束后得到对抗扰动U，加法器将对抗扰动U添加到原始图像x上，得到对抗样本图像a。
对抗样本生成网络G的另一种结构为：以ResNet网络为架构，包括依次连接的N2个下采样卷积层、M2个残差网络块、W2个上采样卷积层和范数约束模块；所述对抗样本生成网络G的输入为原始图像，输出为与原始图像相对于的对抗样本图像。
本发明公开的面向医学图像分类的对抗样本生成系统中，医学图像分类网络为以VGG为主干的神经网络模型。
有益效果：本发明公开的面向医学图像分类的对抗样本生成方法与系统，针对医学图像分类网络来生成对抗样本图像，所生成的对抗样本图像能够很好地学习分类网络的特征，对训练好的医学图像分类网络进行有效的攻击，用于测试医学图像分类网络的鲁棒性。
附图说明
图1为实施例1中面向医学图像分类的对抗样本生成系统的架构示意图；
图2为实验1过程中部分图像的对比图；
图3为实验2过程中部分图像的对比图；
图4为实验3过程中部分图像的对比图；
图5为实验4过程中部分图像的对比图；
图6为实验5过程中部分图像的对比图；
图7为实验6过程中部分图像的对比图；
图8为实验7过程中部分图像的对比图；
图9为实验8过程中部分图像的对比图；
图10为实施例3中面向医学图像分类的对抗样本生成系统的架构示意图。
具体实施方式
下面结合附图和具体实施方式，进一步阐明本发明。
实施例1：
本实施例公开了一种面向医学图像分类的对抗样本生成方法，包括步骤：
步骤1、建立医学图像分类网络K，并采用已添加类别标签的医学图像数据集对所述医学图像分类网络进行训练；所述医学图像分类网络对输入图像x进行分类，得到所有类标签的概率向量k(x)，分类结果K(x)＝argmax k(x)；
步骤2、构建对抗样本生成网络G；
所述对抗样本生成网络G根据输入的原始图像x或噪声图像Z生成扰动u，对扰动u进行范数约束后得到对抗扰动U，将对抗扰动U添加到原始图像x上，得到对抗样本图像a；
步骤3、将生成的对抗样本图像a输入到训练好的医学图像分类网络K中，得到分类结果K(a)；根据原始图像x的真实分类结果cx的one-hot编码计算损失函数和目标函数，通过最小化目标函数来更新对抗样本生成网络G的参数，得到优化后的对抗样本生成网络G(·)；
步骤4、使用优化后的生成扰动网络G(·)按照(A)或(B)的方式得到对抗样本图像a。
本实施例构建了面向医学图像分类的对抗样本生成系统来实施上述方法，图1为其架构示意图。其中对抗样本生成网络G包括对抗扰动生成网络fΘ、范数约束模块scale和加法器；对抗扰动生成网络fΘ根据输入的原始图像x或噪声图像Z生成扰动u；范数约束模块scale对扰动u进行范数约束后得到对抗扰动U，加法器将对抗扰动U添加到原始图像x上，得到对抗样本图像a。
假设X∈Rd代表医学图像的输入集合空间，图像可分为c类，c种可能的类标签集合可以表示为C＝{1,2,3,...,c}，对于医学图像分类网络K，先采用已添加类别标签的医学图像数据集进行训练，使它具有非常高的分类准确率。
对于每个输入医学图像x∈X，假设k(x)代表分类神经网络输出所有类标签的概率向量，标记K(x)为网络输出分类结果，令K(x)＝argmaxk(x)。另外，假设cx为图像x真实的类别标签，由于预训练的分类网络模型有较高的准确率，对于X中的大多数样本，可以用K(x)代表cx。
假设AK代表分类神经网络K的对抗样本空间，AK中的每一个图像都与一个原始医学图像相似，区别人眼无法察觉，从而可欺骗分类神经网络K，所以对于任意一个a∈AK，都存在x∈X，使距离度量d(a,x)非常小，并且K(a)≠cx，d(·,·)是某个距离度量公式。定义目标函数如下：
L(a)＝-LK(K(a),cx)+d(a,x) (1)
LK是LK(·,·)是医学图像分类网络K的损失函数，通过最小化目标函数L(a)来更新对抗样本生成网络G的参数，从而得到与原始图像对应的对抗样本图像。这个框架适用于任何医学图像分类神经网络。本实施例中，采用基于注意模块的VGG(Visual GeometryGroup)为主干的分类神经网络，即模拟人的视觉注意力机制，对图像中特征向量标注注意力程度，提取图像关键信息，忽略背景信息来对图像进行分类，其损失函数为交叉熵损失(Cross Entropy Loss)。
通用的对抗扰动独立于原始图像产生，可以同时干扰数据集中的大多数样本。首先假设分类神经网络K的通用的对抗扰动集合因为是不依靠数据集中的图像产生的扰动，需要寻找一个函数f：Xd→UK它可以将一个随机的图案片段，即噪声Z转化为通用的对抗扰动U，根据输入随机改变，就可以得到一组对抗扰动。在实践上，设计一个神经网络代替函数f的工作，将f近似为权重为Θ的fΘ深度神经网络，由潜在空间采样的随机向量通过生成器转化为自然图像。本实施例中对抗扰动生成网络fΘ以ResNet网络为架构，包括依次连接的N1个下采样卷积层、M1个残差网络块、W1个上采样卷积层；fΘ由最小化目标函数(1)进行训练，其中对抗样本图像a＝x+U。
这个fΘ深度神经网络应该满足的条件：
训练这个网络fΘ去产生扰动u＝fΘ(Z)，并用L∞范数对扰动u进行范数约束，得到对抗扰动U。本实施例中的范数约束为：由此将对抗扰动U限制在一个固定范数内。参数σ为预设的阈值。
图1中，当fΘ的输入为噪声Z时，展示了生成通用对抗扰动的深度网络模型结构和对抗扰动U与原始图像x合成对抗样本图像a，欺骗分类网络的过程。一个从随机Xd域采样的固定的噪声图案Z，作为神经网络fΘ的输入，输出扰动u＝fΘ(Z)，然后fΘ(Z)规格化于一个固定范数，处理过的通用对抗扰动U加入到原始医学图像x中，再将合成图像U+x进行合理剪裁成对抗样本a，作为被攻击医学分类网络模型K的输入，并标记输出分类结果为K(a)。令表示图像x真实分类结果的one-hot encoding编码，同时定义为cross-entropy交叉熵损失函数的下降函数。
对于非目标对抗攻击，K(a)分类标签应该与真实类别标签cx差别很大，由前文方法中介绍k(a)表示对抗样本所有分类类别概率，设计如下非目标对抗样本的损失函数作为LK：
同时如下损失函数也表现的很好(Kl(x)＝argmink(x)，为Kl(x)的one-hot编码)：
或：
ki(a)为a被识别为第i类的概率，i＝1,2,...,c；
对于目标对抗攻击，定义如下损失函数作为LK(It为目标类t的one-hot编码)：
Ltargeted(Θ)＝log(H(k(a),It)) (6)
或：
通过最小化上述目标函数来更新对抗样本生成网络G的参数，得到优化后的对抗样本生成网络G(·)。
本实施例中，采用通用的对抗扰动来生成对抗样本图像，即将随机噪声图像Z输入到对抗扰动生成网络fΘ中，生成对抗扰动，对抗扰动与原始图像合成对抗样本图像，对抗样本图像输入到训练好的分类网络中，根据分类结果通过最小化目标函数来优化对抗扰动生成网络fΘ的参数，使用优化后的对抗扰动生成网络fΘ来生成对抗样本图像a，最后用医学图像分类网络K对对抗样本图像a进行分类来验证对抗样本图像a是否能够成功欺骗分类网络K。通过实验1-4验证了采用通用的对抗扰动来生成对抗样本图像的有效性。
实验1是进行非目标攻击，采用MESSIDOR眼底图像数据集对医学图像分类网络K进行训练，训练好的分类网络在MESSIDOR眼底图像数据集上的分类准确率达到87.19％。对抗扰动生成网络fΘ的损失函数采用式(4)的定义，学习率为0.0001，优化算法为梯度随机下降法(Stochastic Gradient Descent，SGD)。非目标攻击对抗样本成功欺骗被攻击的分类网络的概率用以下式(8)来计算：
其中m为测试样本数量，si为第i个测试样本图像，bi为si对应的对抗样本图像，
实验1中，范数约束使用的是L∞范数，并设定L∞＝13。经过大量的训练，对于糖尿病视网膜病变视网膜眼底图像分类网络的对抗攻击，对抗样本的攻击成功率(L∞＝13)从刚开始的45％到达了60％。如图2所示，为实验过程中部分图像，其中图2-(a)为生成的对抗扰动图像；图2-(b)为与2-(a)中各图像一一对应的原始图像；图2-(c)为与图2-(a)中各图像一一对应的对抗样本图像。
实验2采用ISIC-2016皮肤损伤图像数据集对医学图像分类网络K进行训练，训练好的分类网络在ISIC-2016皮肤损伤图像数据集上的分类准确率达到85.20％，对抗扰动生成网络fΘ的损失函数采用式(4)的定义。与实验1一样进行非目标攻击。对于皮肤癌分类网络的对抗攻击，按照式(8)计算的对抗样本的攻击成功率在L∞＝10和L∞＝13的条件下分别达到85.22％和87.34％。如图3所示，为L∞＝13下实验过程中部分图像，其中图3-(a)为生成的对抗扰动图像；图3-(b)为与3-(a)中各图像一一对应的原始图像；图3-(c)为与图3-(a)中各图像一一对应的对抗样本图像。
实验3是进行目标攻击。同实验1一样，采用MESSIDOR眼底图像数据集对医学图像分类网络K进行训练；对抗扰动生成网络fΘ的损失函数采用式(6)的定义。目标攻击对抗样本成功欺骗被攻击的分类网络的概率用式(9)来计算：
进过大量的训练，L∞＝13条件下对抗样本目标攻击成功的准确率为94％。如图4所示，为实验过程中部分图像，其中图4-(a)为生成的对抗扰动图像；图4-(b)为与4-(a)中各图像一一对应的原始图像；图4-(c)为与图4-(a)中各图像一一对应的对抗样本图像。
实验4是进行目标攻击，同实验2一样，采用ISIC-2016皮肤损伤图像数据集对医学图像分类网络K进行训练，对抗扰动生成网络fΘ的损失函数采用式(6)的定义。目标攻击对抗样本成功欺骗被攻击的分类网络的概率用式(9)来计算。在L∞＝10和L∞＝13的条件下分别产生扰动，对抗样本误导成功率分别为95.51％和98.42％。如图5所示，为实验过程中部分图像，其中图5-(a)为生成的对抗扰动图像；图5-(b)为与5-(a)中各图像一一对应的原始图像；图5-(c)为与图5-(a)中各图像一一对应的对抗样本图像。
实施例2：
依靠图像的对抗扰动攻击，是根据输入的原始图像来生成对抗扰动。图1中，当fΘ的输入为原始图像x时，展示了依靠图像生成对抗扰动U，并与原始图像x合成对抗样本图像a，欺骗分类网络的过程。对抗扰动生成网络fΘ满足fΘ:K(x+fΘ(x))≠K(x)≈cx(或者目标攻击K(x+fΘ(x))＝t≠cx)。为了使d(x,fΘ(x))足够小，应该在Lp范数下使||fΘ(x)||p足够小，本实施例中p取∞。通过实验5-8验证了依靠图像生成对抗样本图像的有效性。
实验5是进行非目标攻击。采用MESSIDOR眼底图像数据集对医学图像分类网络K进行训练；对抗扰动生成网络fΘ的损失函数采用式(5)的定义。并同样用L∞＝13范数条件下限定扰动幅度。通过大量的训练，产生的依靠图像的对抗样本攻击，通过式(8)计算的误导率针对眼底图像在L∞＝13条件下可以达到64％。如图6所示，为实验过程中部分图像，其中图6-(a)为生成的对抗扰动图像；图6-(b)为与6-(a)中各图像一一对应的原始图像；图6-(c)为与图6-(a)中各图像一一对应的对抗样本图像。
实验6采用ISIC-2016皮肤损伤图像数据集对医学图像分类网络K进行训练，训练好的分类网络在ISIC-2016皮肤损伤图像数据集上的分类准确率达到85.20％，对抗扰动生成网络fΘ的损失函数采用式(5)的定义。与实验5一样进行非目标攻击。对于皮肤癌分类网络的对抗攻击，按照式(8)计算的对抗样本的攻击成功率在L∞＝10和L∞＝13的条件下分别达到75.20％和87.60％。如图7所示，为L∞＝10下实验过程中部分图像，其中图7-(a)为生成的对抗扰动图像；图7-(b)为与7-(a)中各图像一一对应的原始图像；图7-(c)为与图7-(a)中各图像一一对应的对抗样本图像。
实验7是进行目标攻击。同实验5一样，采用MESSIDOR眼底图像数据集对医学图像分类网络K进行训练；对抗扰动生成网络fΘ的损失函数采用式(7)的定义。目标攻击对抗样本成功欺骗被攻击的分类网络的概率用式(9)来计算。进过大量的训练，L∞＝13条件下对抗样本目标攻击成功的准确率为96％。如图8所示，为实验过程中部分图像，其中图8-(a)为生成的对抗扰动图像；图8-(b)为与8-(a)中各图像一一对应的原始图像；图8-(c)为与图8-(a)中各图像一一对应的对抗样本图像。
实验8是进行目标攻击，同实验6一样，采用ISIC-2016皮肤损伤图像数据集对医学图像分类网络K进行训练，对抗扰动生成网络fΘ的损失函数采用式(7)的定义。目标攻击对抗样本成功欺骗被攻击的分类网络的概率用式(9)来计算。在L∞＝10和L∞＝13的条件下分别产生扰动，对抗样本误导成功率分别为73.09％和93.40％。如图9所示，为实验过程中部分图像，其中图9-(a)为生成的对抗扰动图像；图9-(b)为与9-(a)中各图像一一对应的原始图像；图9-(c)为与图9-(a)中各图像一一对应的对抗样本图像。
对上述实验1-8的结果进行分析，实验结果如表1，表2和表3所示，在L∞＝13条件下进行对眼底图像的对抗扰动实验，在L∞＝13和L∞＝10的条件下分别进行对皮肤图像的对抗扰动实验。
表1对抗样本攻击眼底图像分类网络模型(原分类准确率达87.19％，L∞＝13)
表2对抗样本攻击皮肤图像分类网络模型(原分类准确率达85.20％，L∞＝13)
表3对抗样本攻击皮肤图像分类网络模型(原分类准确率达85.20％，L∞＝10)
实验结果显示，相对于不同的医学图像分类网络模型，本发明的对抗扰动生成方法产生的对抗样本都能造成很大程度上的影响。从结果上看，针对医学图像分类的对抗样本生成方法是成功的，对抗样本的图像视觉效果是难以察觉异常的，并且对抗样本对高分类准确率的医学图像分类网络有较高的欺骗成功率。所以本发明的医学图像对抗扰动生成方法可以作为检测医学图像深度学习算法鲁棒性的一定依据，从而推动未来对医学图像分类网络针对对抗样本的防御的研究。
实施例3：
本实施例与实施例2的区别在于，对抗样本生成网络G直接根据原始图像生成对抗样本图像。本实施例中构建的面向医学图像分类的对抗样本生成系统如图10所示，其中，对抗样本生成网络G以ResNet网络为架构，包括依次连接的N2个下采样卷积层、M2个残差网络块、W2个上采样卷积层和范数约束模块scale；对抗样本生成网络G的输入为原始图像x，输出为与原始图像相对应的对抗样本图像a。
对抗样本生成网络G实现函数f:Xd→AK的功能，对于每个在图像集X中的图像x，都可以生成一个对抗样本a＝f(x)，a∈AK。生成的对抗样本a使分类神经网络K分类准确率下降且具有较大的欺骗成功率，即K(f(x))＝cx的概率减小，K(f(x))≠cx或K(f(x))＝t的概率较高(t为攻击目标类，与cx为不同的类)，且为了和原图几乎无异，要满足d(x,f(x))足够小，即使||f(x)||p在Lp范数下足够小，本实施例中p取∞。
将原始图像x输入对抗样本生成网络G，直接输出对抗样本图像，将对抗样本图像进行裁剪缩放到适合分类网络K的输入图像标准，并输入到分类网络K中，得到分类结果k(a)。k(a)为对抗样本图像输出所有类别的概率，根据该结果计算损失来更新对抗扰动生成器网络的参数。采用的损失函数如式(3)-(7)所示。

Claims (10)

1.面向医学图像分类的对抗样本生成方法，其特征在于，包括步骤：
(1)建立医学图像分类网络K，并采用已添加类别标签的医学图像数据集对所述医学图像分类网络进行训练；所述医学图像分类网络对输入图像x进行分类，得到所有类标签的概率向量k(x)，分类结果K(x)＝argmaxk(x)；
(2)构建对抗样本生成网络G；所述对抗样本生成网络G采用A或B两种方式之一生成对抗样本图像a：
(A)所述对抗样本生成网络G根据输入的原始图像x或噪声图像Z生成扰动u，对扰动u进行范数约束后得到对抗扰动U，将对抗扰动U添加到原始图像x上，得到对抗样本图像a；
(B)所述对抗样本生成网络G根据输入的原始图像x生成对抗样本图像a；
(3)将生成的对抗样本图像a输入到训练好的医学图像分类网络K中，得到分类结果K(a)；根据原始图像x的真实分类结果cx的one-hot编码计算损失函数和目标函数，通过最小化目标函数来更新对抗样本生成网络G的参数，得到优化后的对抗样本生成网络G(·)；
(4)使用优化后的生成扰动网络G(·)按照(A)或(B)的方式得到对抗样本图像a。
2.根据权利要求1所述的面向医学图像分类的对抗样本生成方法，其特征在于，所述医学图像分类网络为以VGG为主干的神经网络模型。
3.根据权利要求1所述的面向医学图像分类的对抗样本生成方法，其特征在于，所述方式(A)中的对抗样本生成网络G包括对抗扰动生成网络fΘ、范数约束模块和加法器；所述对抗扰动生成网络fΘ以ResNet网络为架构，包括依次连接的N1个下采样卷积层、M1个残差网络块、W1个上采样卷积层；对抗扰动生成网络fΘ根据输入的原始图像x或噪声图像Z生成扰动u；
范数约束模块对扰动u进行范数约束后得到对抗扰动U，加法器将对抗扰动U添加到原始图像x上，得到对抗样本图像a。
4.根据权利要求1所述的面向医学图像分类的对抗样本生成方法，其特征在于，所述方式(B)中的对抗样本生成网络G以ResNet网络为架构，包括依次连接的N2个下采样卷积层、M2个残差网络块、W2个上采样卷积层和范数约束模块；所述对抗样本生成网络G的输入为原始图像x，输出为与原始图像x相对应的对抗样本图像。
5.根据权利要求1所述的面向医学图像分类的对抗样本生成方法，其特征在于，所述目标函数为：
L(a)＝-LK(K(a),cx)+d(a,x)
其中，LK(·,·)是医学图像分类网络K的损失函数，d(·,·)是距离度量。
6.根据权利要求1所述的面向医学图像分类的对抗样本生成方法，其特征在于，对于非目标对抗样本，所述损失函数LK为：
或：
或：
其中，H(·,·)为交叉熵损失函数的下降函数；为原始图像x的真实分类结果cx的one-hot编码；Kl(x)＝argmink(x)，为Kl(x)的one-hot编码；ki(a)为a被识别为第i类的概率，i＝1,2,...,c；
对于目标对抗样本，所述损失函数LK为：
Ltargeted(Θ)＝log(H(k(a),It))；
或：
其中It为目标类的one-hot编码。
7.面向医学图像分类的对抗样本生成系统，其特征在于，包括：医学图像分类网络K、对抗样本生成网络G；
所述医学图像分类网络对输入图像x进行分类，得到所有类标签的概率向量k(x)，分类结果K(x)＝argmax k(x)；
所述对抗样本生成网络G根据原始图像和医学图像分类网络对对抗样本图像的分类结果，生成与原始图像相对于的对抗样本图像。
8.根据权利要求7所述的面向医学图像分类的对抗样本生成系统，其特征在于，对抗样本生成网络G包括对抗扰动生成网络fΘ、范数约束模块和加法器；所述对抗扰动生成网络fΘ以ResNet网络为架构，包括依次连接的N1个下采样卷积层、M1个残差网络块、W1个上采样卷积层；对抗扰动生成网络fΘ根据输入的原始图像x或噪声图像Z生成扰动u；
范数约束模块对扰动u进行范数约束后得到对抗扰动U，加法器将对抗扰动U添加到原始图像x上，得到对抗样本图像a。
9.根据权利要求7所述的面向医学图像分类的对抗样本生成系统，其特征在于，对抗样本生成网络G以ResNet网络为架构，包括依次连接的N2个下采样卷积层、M2个残差网络块、W2个上采样卷积层和范数约束模块；所述对抗样本生成网络G的输入为原始图像，输出为与原始图像相对于的对抗样本图像。
10.根据权利要求7所述的面向医学图像分类的对抗样本生成系统，其特征在于，所述医学图像分类网络为以VGG为主干的神经网络模型。
CN201910623044.2A 2019-07-11 2019-07-11 面向医学图像分类的对抗样本生成方法及系统 Pending CN110516695A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910623044.2A CN110516695A (zh) 2019-07-11 2019-07-11 面向医学图像分类的对抗样本生成方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910623044.2A CN110516695A (zh) 2019-07-11 2019-07-11 面向医学图像分类的对抗样本生成方法及系统

Publications (1)

Publication Number Publication Date
CN110516695A true CN110516695A (zh) 2019-11-29

Family

ID=68622887

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910623044.2A Pending CN110516695A (zh) 2019-07-11 2019-07-11 面向医学图像分类的对抗样本生成方法及系统

Country Status (1)

Country Link
CN (1) CN110516695A (zh)

Cited By (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111046379A (zh) * 2019-12-06 2020-04-21 支付宝(杭州)信息技术有限公司 一种对抗攻击的监测方法和装置
CN111340066A (zh) * 2020-02-10 2020-06-26 电子科技大学 一种基于几何向量的对抗样本生成方法
CN111368908A (zh) * 2020-03-03 2020-07-03 广州大学 一种基于深度学习的hrrp无目标对抗样本生成方法
CN111382837A (zh) * 2020-02-05 2020-07-07 鹏城实验室 一种基于深度乘积量化的对抗样本生成方法
CN111475797A (zh) * 2020-03-26 2020-07-31 深圳先进技术研究院 一种对抗图像生成方法、装置、设备以及可读存储介质
CN111582384A (zh) * 2020-05-11 2020-08-25 西安邮电大学 一种图像对抗样本生成方法
CN111783890A (zh) * 2020-07-02 2020-10-16 电子科技大学 一种针对图像识别过程中的小像素对抗样本防御方法
CN112035834A (zh) * 2020-08-28 2020-12-04 北京推想科技有限公司 对抗训练方法及装置、神经网络模型的应用方法及装置
CN112115761A (zh) * 2020-05-12 2020-12-22 吉林大学 自动驾驶汽车视觉感知系统漏洞检测的对抗样本生成方法
CN112241766A (zh) * 2020-10-27 2021-01-19 西安电子科技大学 基于样本生成和迁移学习的肝脏ct图像多病变分类方法
CN112270700A (zh) * 2020-10-30 2021-01-26 浙江大学 一种愚弄深度神经网络可解释算法的攻击判断方法
CN112329837A (zh) * 2020-11-02 2021-02-05 北京邮电大学 一种对抗样本检测方法、装置、电子设备及介质
CN112364885A (zh) * 2020-10-12 2021-02-12 浙江大学 一种基于深度神经网络模型可解释性的对抗样本防御方法
CN112506797A (zh) * 2020-12-22 2021-03-16 南京航空航天大学 一种针对医学影像识别系统的性能测试方法
CN112861759A (zh) * 2021-02-24 2021-05-28 北京瑞莱智慧科技有限公司 一种对抗样本生成方法及装置
CN113178255A (zh) * 2021-05-18 2021-07-27 西安邮电大学 一种基于gan的医学诊断模型对抗攻击方法
CN113436051A (zh) * 2021-06-17 2021-09-24 南京航空航天大学 基于图像对抗的图像隐私保护方法、系统及计算机设备
WO2021189364A1 (zh) * 2020-03-26 2021-09-30 深圳先进技术研究院 一种对抗图像生成方法、装置、设备以及可读存储介质
CN113487545A (zh) * 2021-06-24 2021-10-08 广州玖的数码科技有限公司 一种面向姿态估计深度神经网络的扰动图像生成方法
CN114065872A (zh) * 2021-11-26 2022-02-18 杭州涿溪脑与智能研究所 基于特征重构的可见光图像通用对抗扰动构建方法及系统
CN114240951A (zh) * 2021-12-13 2022-03-25 电子科技大学 一种基于查询的医学图像分割神经网络的黑盒攻击方法
CN114444579A (zh) * 2021-12-31 2022-05-06 北京瑞莱智慧科技有限公司 通用扰动获取方法、装置、存储介质及计算机设备
CN114968760A (zh) * 2022-04-02 2022-08-30 阿里云计算有限公司 图片对抗样本生成方法和图片分类系统测试方法
CN115938530A (zh) * 2023-01-09 2023-04-07 人工智能与数字经济广东省实验室(广州) 抗后门攻击的智能医疗影像诊断意见自动生成方法
CN116030247A (zh) * 2023-03-20 2023-04-28 之江实验室 一种医学图像样本生成方法、装置、存储介质及电子设备

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106296692A (zh) * 2016-08-11 2017-01-04 深圳市未来媒体技术研究院 基于对抗网络的图像显著性检测方法
CN108322349A (zh) * 2018-02-11 2018-07-24 浙江工业大学 基于对抗式生成网络的深度学习对抗性攻击防御方法
CN108537271A (zh) * 2018-04-04 2018-09-14 重庆大学 一种基于卷积去噪自编码机防御对抗样本攻击的方法
CN108710896A (zh) * 2018-04-24 2018-10-26 浙江工业大学 基于产生式对抗学习网络的领域学习方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106296692A (zh) * 2016-08-11 2017-01-04 深圳市未来媒体技术研究院 基于对抗网络的图像显著性检测方法
CN108322349A (zh) * 2018-02-11 2018-07-24 浙江工业大学 基于对抗式生成网络的深度学习对抗性攻击防御方法
CN108537271A (zh) * 2018-04-04 2018-09-14 重庆大学 一种基于卷积去噪自编码机防御对抗样本攻击的方法
CN108710896A (zh) * 2018-04-24 2018-10-26 浙江工业大学 基于产生式对抗学习网络的领域学习方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
OMID POURSAEED等: "Generative Adversarial Perturbations", 《IEEE》 *

Cited By (37)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111046379A (zh) * 2019-12-06 2020-04-21 支付宝(杭州)信息技术有限公司 一种对抗攻击的监测方法和装置
CN111046379B (zh) * 2019-12-06 2021-06-18 支付宝(杭州)信息技术有限公司 一种对抗攻击的监测方法和装置
CN111382837A (zh) * 2020-02-05 2020-07-07 鹏城实验室 一种基于深度乘积量化的对抗样本生成方法
CN111382837B (zh) * 2020-02-05 2023-07-18 鹏城实验室 一种基于深度乘积量化的对抗样本生成方法
CN111340066A (zh) * 2020-02-10 2020-06-26 电子科技大学 一种基于几何向量的对抗样本生成方法
CN111340066B (zh) * 2020-02-10 2022-05-31 电子科技大学 一种基于几何向量的对抗样本生成方法
CN111368908A (zh) * 2020-03-03 2020-07-03 广州大学 一种基于深度学习的hrrp无目标对抗样本生成方法
CN111368908B (zh) * 2020-03-03 2023-12-19 广州大学 一种基于深度学习的hrrp无目标对抗样本生成方法
US11995155B2 (en) 2020-03-26 2024-05-28 Shenzhen Institutes Of Advanced Technology Adversarial image generation method, computer device, and computer-readable storage medium
CN111475797B (zh) * 2020-03-26 2023-09-29 深圳先进技术研究院 一种对抗图像生成方法、装置、设备以及可读存储介质
CN111475797A (zh) * 2020-03-26 2020-07-31 深圳先进技术研究院 一种对抗图像生成方法、装置、设备以及可读存储介质
GB2607647A (en) * 2020-03-26 2022-12-14 Shenzhen Inst Adv Tech Method and device for generating adversarial image, equipment, and readable storage medium
WO2021189364A1 (zh) * 2020-03-26 2021-09-30 深圳先进技术研究院 一种对抗图像生成方法、装置、设备以及可读存储介质
CN111582384B (zh) * 2020-05-11 2023-09-22 西安邮电大学 一种图像对抗样本生成方法
CN111582384A (zh) * 2020-05-11 2020-08-25 西安邮电大学 一种图像对抗样本生成方法
CN112115761A (zh) * 2020-05-12 2020-12-22 吉林大学 自动驾驶汽车视觉感知系统漏洞检测的对抗样本生成方法
CN111783890A (zh) * 2020-07-02 2020-10-16 电子科技大学 一种针对图像识别过程中的小像素对抗样本防御方法
CN111783890B (zh) * 2020-07-02 2022-06-03 电子科技大学 一种针对图像识别过程中的小像素对抗样本防御方法
CN112035834A (zh) * 2020-08-28 2020-12-04 北京推想科技有限公司 对抗训练方法及装置、神经网络模型的应用方法及装置
CN112364885A (zh) * 2020-10-12 2021-02-12 浙江大学 一种基于深度神经网络模型可解释性的对抗样本防御方法
CN112241766A (zh) * 2020-10-27 2021-01-19 西安电子科技大学 基于样本生成和迁移学习的肝脏ct图像多病变分类方法
CN112270700A (zh) * 2020-10-30 2021-01-26 浙江大学 一种愚弄深度神经网络可解释算法的攻击判断方法
CN112270700B (zh) * 2020-10-30 2022-06-28 浙江大学 一种愚弄深度神经网络可解释算法的攻击判断方法
CN112329837A (zh) * 2020-11-02 2021-02-05 北京邮电大学 一种对抗样本检测方法、装置、电子设备及介质
CN112506797A (zh) * 2020-12-22 2021-03-16 南京航空航天大学 一种针对医学影像识别系统的性能测试方法
CN112861759B (zh) * 2021-02-24 2022-05-10 北京瑞莱智慧科技有限公司 一种对抗样本生成方法及装置
CN112861759A (zh) * 2021-02-24 2021-05-28 北京瑞莱智慧科技有限公司 一种对抗样本生成方法及装置
CN113178255B (zh) * 2021-05-18 2023-05-26 西安邮电大学 一种基于gan的医学诊断模型对抗攻击方法
CN113178255A (zh) * 2021-05-18 2021-07-27 西安邮电大学 一种基于gan的医学诊断模型对抗攻击方法
CN113436051A (zh) * 2021-06-17 2021-09-24 南京航空航天大学 基于图像对抗的图像隐私保护方法、系统及计算机设备
CN113487545A (zh) * 2021-06-24 2021-10-08 广州玖的数码科技有限公司 一种面向姿态估计深度神经网络的扰动图像生成方法
CN114065872A (zh) * 2021-11-26 2022-02-18 杭州涿溪脑与智能研究所 基于特征重构的可见光图像通用对抗扰动构建方法及系统
CN114240951A (zh) * 2021-12-13 2022-03-25 电子科技大学 一种基于查询的医学图像分割神经网络的黑盒攻击方法
CN114444579A (zh) * 2021-12-31 2022-05-06 北京瑞莱智慧科技有限公司 通用扰动获取方法、装置、存储介质及计算机设备
CN114968760A (zh) * 2022-04-02 2022-08-30 阿里云计算有限公司 图片对抗样本生成方法和图片分类系统测试方法
CN115938530A (zh) * 2023-01-09 2023-04-07 人工智能与数字经济广东省实验室(广州) 抗后门攻击的智能医疗影像诊断意见自动生成方法
CN116030247A (zh) * 2023-03-20 2023-04-28 之江实验室 一种医学图像样本生成方法、装置、存储介质及电子设备

Similar Documents

Publication Publication Date Title
CN110516695A (zh) 面向医学图像分类的对抗样本生成方法及系统
Abdullah et al. Facial expression recognition based on deep learning convolution neural network: A review
CN109977841A (zh) 一种基于对抗深度学习网络的人脸识别方法
Bhadani et al. A facemask detector using machine learning and image processing techniques
CN106651915B (zh) 基于卷积神经网络的多尺度表达的目标跟踪方法
CN109241829A (zh) 基于时空注意卷积神经网络的行为识别方法及装置
CN111368926B (zh) 图像筛选方法、装置和计算机可读存储介质
CN110503650A (zh) 眼底血管图像分割对抗样本生成方法、分割网络安全评价方法
Theodoridis et al. Cross-modal variational alignment of latent spaces
CN108205684A (zh) 图像消歧方法、装置、存储介质和电子设备
CN110047506A (zh) 一种基于卷积神经网络和多核学习svm的关键音频检测方法
CN110390289A (zh) 基于指称理解的视频安防检测方法
Chilakala et al. Optimal deep belief network with opposition‐based hybrid grasshopper and honeybee optimization algorithm for lung cancer classification: A DBNGHHB approach
Hussein Robust iris recognition framework using computer vision algorithms
Stuchi et al. Frequency learning for image classification
Liu et al. Li Zhang
Dinesh et al. Reliable evaluation of neural network for multiclass classification of real-world data
Javaid et al. Neural networks for infectious diseases detection: Prospects and challenges
Wang et al. Interpret neural networks by extracting critical subnetworks
CN107967455A (zh) 一种智能人体多维自然特征大数据透明学习方法与系统
Babu et al. A new design of iris recognition using hough transform with K-means clustering and enhanced faster R-CNN
Chen et al. DDDM: a Brain-Inspired Framework for Robust Classification
Joby et al. Pneumogan: a gan based model for pneumonia detection
Jaafar et al. Effect of natural background noise and man-made noise on automated frog calls identification system
Azeem et al. Neural networks for infectious diseases detection: Prospects and challenges

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20191129

RJ01 Rejection of invention patent application after publication