CN112035834A - 对抗训练方法及装置、神经网络模型的应用方法及装置 - Google Patents

对抗训练方法及装置、神经网络模型的应用方法及装置 Download PDF

Info

Publication number
CN112035834A
CN112035834A CN202010885701.3A CN202010885701A CN112035834A CN 112035834 A CN112035834 A CN 112035834A CN 202010885701 A CN202010885701 A CN 202010885701A CN 112035834 A CN112035834 A CN 112035834A
Authority
CN
China
Prior art keywords
medical image
noise
neural network
network model
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010885701.3A
Other languages
English (en)
Inventor
简伟健
张欢
王瑜
赵朝炜
李新阳
陈宽
王少康
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Tuoxiang Technology Co ltd
Beijing Infervision Technology Co Ltd
Original Assignee
Beijing Tuoxiang Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Tuoxiang Technology Co ltd filed Critical Beijing Tuoxiang Technology Co ltd
Priority to CN202010885701.3A priority Critical patent/CN112035834A/zh
Publication of CN112035834A publication Critical patent/CN112035834A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/50—Monitoring users, programs or devices to maintain the integrity of platforms, e.g. of processors, firmware or operating systems
    • G06F21/55—Detecting local intrusion or implementing counter-measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/20—ICT specially adapted for the handling or processing of medical images for handling medical images, e.g. DICOM, HL7 or PACS

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Computing Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Computer Security & Cryptography (AREA)
  • Radiology & Medical Imaging (AREA)
  • Epidemiology (AREA)
  • Medical Informatics (AREA)
  • Primary Health Care (AREA)
  • Public Health (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Computer Hardware Design (AREA)
  • Measuring And Recording Apparatus For Diagnosis (AREA)

Abstract

本发明提供了一种对抗训练方法及装置、神经网络模型的应用方法及装置。对抗训练方法包括：获取原始医学图像；获取原始医学图像对应的对抗样本，其中，对抗样本通过在原始医学图像上添加噪声得到，噪声是根据多个图像生成的；将原始医学图像和对抗样本作为训练样本训练医学神经网络模型，可以提高医学神经网络模型防御对抗攻击的鲁棒性，提高医学神经网络模型的泛化能力，以及提高医学神经网络模型的预测效果。

Description

对抗训练方法及装置、神经网络模型的应用方法及装置
技术领域
本发明涉及深度学习技术领域，具体涉及一种对抗训练方法及装置、神经网络模型的应用方法及装置。
背景技术
近年来，深度学习已经改变了计算机视觉，并且已经在大量面向消费者的产品中得到了应用。深度学习的一个特别令人兴奋的应用领域是医学影像处理和辅助诊断。近年来已经有许多备受瞩目的医疗人工智能项目，在放射学、病理学和眼科学任务中取得接近甚至超越人类医生的水平。
然而，深度学习技术有许多潜在的问题，比如神经网络模型非常容易受到对抗攻击，存在严重的安全风险。对抗攻击指的是在神经网络模型原始输入上添加对抗扰动构建对抗样本，从而使神经网络模型产生错误判断的过程。
发明内容
有鉴于此，本发明实施例提供了一种对抗训练方法及装置、神经网络模型的应用方法及装置，能够提高医学神经网络模型防御对抗攻击的鲁棒性，提高医学神经网络模型的泛化能力，以及提高医学神经网络模型的预测效果。
根据本发明实施例的第一方面，提供一种对抗训练方法，包括：获取原始医学图像；获取原始医学图像对应的对抗样本，其中，对抗样本通过在原始医学图像上添加噪声得到，噪声是根据多个图像生成的；将原始医学图像和对抗样本作为训练样本训练医学神经网络模型。
在本发明的一个实施例中，上述获取原始医学图像对应的对抗样本，包括：获取多个图像，其中，多个图像中的每个图像包括自然图像或医学图像；基于多个图像中的每个图像的权重参数，将多个图像混合，得到噪声；添加噪声至原始医学图像上，得到对抗样本。
在本发明的一个实施例中，上述基于多个图像中的每个图像的权重参数，将多个图像混合，得到噪声，包括：基于图像变换参数，对多个图像进行图像变换；基于权重参数，将经过图像变换后的多个图像进行加权混合，得到噪声。
在本发明的一个实施例中，上述基于多个图像中的每个图像的权重参数，将多个图像混合，得到噪声，还包括：将对抗样本输入医学神经网络模型，获取损失值；根据损失值，通过对抗攻击方法更新图像变换参数和/或权重参数，得到优化后的噪声，其中，上述添加噪声至原始医学图像上，得到对抗样本，包括：添加优化后的噪声至原始医学图像上，得到优化后的对抗样本。
在本发明的一个实施例中，上述添加噪声至原始医学图像上，得到对抗样本，包括：将噪声与原始医学图像进行加权混合，得到对抗样本。
根据本发明实施例的第二方面，提供一种神经网络模型的应用方法，包括：获取待处理医学图像；利用医学神经网络模型对待处理医学图像进行处理，得到处理结果，其中，医学神经网络模型通过原始医学图像和对抗样本训练得到，对抗样本通过在原始医学图像上添加噪声得到，噪声是根据多个图像生成的。
根据本发明实施例的第三方面，提供一种对抗训练装置，包括：第一获取模块，用于获取原始医学图像；第二获取模块，用于获取原始医学图像对应的对抗样本，其中，对抗样本通过在原始医学图像上添加噪声得到，噪声是根据多个图像生成的；训练模块，用于将原始医学图像和对抗样本作为训练样本训练医学神经网络模型。
根据本发明实施例的第四方面，提供一种神经网络模型的应用装置，包括：获取模块，用于获取待处理医学图像；处理模块，用于利用医学神经网络模型对待处理医学图像进行处理，得到处理结果，其中，医学神经网络模型通过原始医学图像和对抗样本训练得到，对抗样本通过在原始医学图像上添加噪声得到，噪声是根据多个图像生成的。
根据本发明实施例的第五方面，提供一种计算机可读存储介质，其特征在于，所述存储介质存储有计算机程序，所述计算机程序用于执行上述任一项所述的方法。
根据本发明实施例的第六方面，提供一种电子设备，包括：处理器；用于存储所述处理器可执行指令的存储器；所述处理器，用于执行上述任一项所述的方法。
根据本发明实施例提供的技术方案，通过获取原始医学图像；获取原始医学图像对应的对抗样本，其中，对抗样本通过在原始医学图像上添加噪声得到，噪声是根据多个图像生成的；将原始医学图像和对抗样本作为训练样本训练医学神经网络模型，基于多个图像生成噪声，可以提高医学神经网络模型防御对抗攻击的鲁棒性，提高医学神经网络模型的泛化能力，以及提高医学神经网络模型的预测效果。
附图说明
为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1所示为本发明一实施例提供的对抗训练方法的流程示意图。
图2所示为本发明另一实施例提供的对抗训练方法的流程示意图。
图3所示为本发明一实施例提供的神经网络模型的应用方法的流程示意图。
图4所示为本发明一实施例提供的对抗训练装置的框图。
图5所示为本发明一实施例提供的第二获取模块的框图。
图6所示为本发明一实施例提供的神经网络模型的应用装置的框图。
图7所示为本发明一实施例提供的电子设备的框图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
由于本申请实施例涉及对抗训练和神经网络方面的应用，为了便于理解，下面先对本申请实施例可能涉及的相关术语及神经网络等相关概念进行简单介绍。
(1)深度学习
深度学习是机器学习的分支，是一种以人工神经网络为架构，对数据进行表征学习的算法。
(2)神经网络模型
神经网络模型包括输入层，隐含层，输出层。一般来说第一层是输入层，最后一层是输出层，中间的层都是隐含层。层与层之间是全连接的，也就是说，第i层的任意一个神经元一定与第i+1层的任意一个神经元相连。就每一层的工作来说，简单来说就是如下线性关系表达式：
Figure BDA0002655508310000041
其中，
Figure BDA0002655508310000043
是输入向量，
Figure BDA0002655508310000042
是输出向量，b是偏移向量，W是权重矩阵(也称系数)，α(.)是激活函数。训练神经网络模型的过程也就是学习权重矩阵的过程，其最终目的是得到训练好的神经网络模型的所有层的权重矩阵。
在训练神经网络模型的过程中，因为希望神经网络模型的输出尽可能的接近真正想要预测值，所以可以通过比较当前网络的预测值和真正想要的目标值，再根据两者之间的差异情况来更新每一层神经网络的权重向量(当然，在第一次更新之前通常会有初始化的过程，即为深度神经网络中的各层预先配置参数)，比如，如果网络的预测值高了，就调整权重向量让它预测低一些，不断的调整，直到深度神经网络能够预测出真正想要的目标值或与真正想要的目标值非常接近的值。因此，就需要预先定义“如何比较预测值和目标值之间的差异”，这便是损失函数(loss function)或目标函数(objective function)，它们是用于衡量预测值和目标值的差异的重要方程。
具体地，可以采用误差反向传播(back propagation，BP)算法在训练过程中修正初始的神经网络模型中参数的大小，使得神经网络模型的重建误差损失越来越小。反向传播算法是以误差损失为主导的反向传播运动，旨在得到最优的神经网络模型的参数，例如权重矩阵。
(3)对抗攻击
对抗攻击指的是在神经网络模型原始输入上添加对抗扰动构建对抗样本，从而使神经网络模型产生错误判断的过程。一般来说对抗扰动具有两个特点：一是扰动是微小的甚至是肉眼难以观测到的；二是添加的扰动必须有能力使得神经网络模型产生错误的输出。
(4)对抗样本
对抗样本是对干净样本进行处理后的样本，被故意扰乱(如加噪声、进行某些变换等)以达到迷惑、愚弄机器学习模型的目的，可以使模型预测失效，对模型安全性产生很大威胁。
(5)对抗训练
对抗训练是指使用对抗样本来训练机器学习模型，使模型提高对抗鲁棒性的方法。
图1所示为本发明一实施例提供的对抗训练方法的流程示意图。该方法可以由计算机设备(例如，服务器)执行。如图1所示，该方法包括如下内容。
S110：获取原始医学图像。
应当理解，原始医学图像可以是从训练集中随机抽取的一个或多个医学图像，本发明对原始医学图像的来源不作具体限定。
原始医学图像包括但不限于X光片、X线计算机断层摄影(CT)影像、核磁共振(MR)影像、病理图像、超声影像、内镜影像等，本发明对原始医学图像的类型不作具体限定。
S120：获取原始医学图像对应的对抗样本，其中，对抗样本通过在原始医学图像上添加噪声得到，噪声是根据多个图像生成的。
对抗样本是对原始医学图像进行处理后的样本，被故意扰乱(如加噪声)以达到迷惑、愚弄医学神经网络模型的目的，可以使医学神经网络模型预测失效，对医学神经网络模型安全性产生很大威胁。
应当理解，上述多个图像可以是从训练集中随机抽取的多个图像，其中，多个图像中的每个图像可以是自然图像，也可以是医学图像等，本发明对此不作限定。
另外，本发明对所述多个图像的具体数量不作限定。例如，在对抗训练的初期，可以使多个图像的数量较少，使得生成的对抗样本比较接近于自然图像或医学图像，保证模型的泛化能力；而随着训练迭代次数的增多，可以增加多个图像的数量，提高攻击的效果，从而保证模型防御对抗攻击的鲁棒性。
在本发明的一个实施例中，可以基于多个图像中的每个图像的权重参数，将多个图像混合，得到噪声；添加噪声至原始医学图像上，得到对抗样本。其中，权重参数可以随着医学神经网络模型的反向传播进行更新。
应当理解，上述描述仅为示例性描述，本发明对根据多个图像生成噪声的具体方式不作具体限定。
S130：将原始医学图像和对抗样本作为训练样本训练医学神经网络模型。
医学神经网络模型可以是用于分割的医学神经网络、用于分类的医学神经网络或用于预测的医学神经网络等，本发明对医学神经网络的具体类型不作限定。
另外，上述医学神经网络可以是卷积神经网络、U型神经网络等，本发明对医学神经网络的结构也不作具体限定。
具体地，分别将原始医学图像和对抗样本输入医学神经网络模型，对医学神经网络模型进行训练，直到医学神经网络模型收敛。
具体地，将原始医学图像输入医学神经网络模型，得到输出预测值；根据输出预测值与标签，计算损失值；将损失值反向传播，更新该医学神经网络模型的参数。
同样地，将对抗样本输入医学神经网络模型，得到输出预测值；根据输出预测值与标签，计算损失值；将损失值反向传播，更新该医学神经网络模型的参数。
根据本发明实施例提供的技术方案，通过获取原始医学图像；获取原始医学图像对应的对抗样本，其中，对抗样本通过在原始医学图像上添加噪声得到，噪声是根据多个图像生成的；将原始医学图像和对抗样本作为训练样本训练医学神经网络模型，基于多个图像生成噪声，可以提高医学神经网络模型防御对抗攻击的鲁棒性，提高医学神经网络模型的泛化能力，以及提高医学神经网络模型的预测效果。
在本发明的另一个实施例中，上述基于多个图像中的每个图像的权重参数，将多个图像混合，得到噪声，包括：基于图像变换参数，对多个图像进行图像变换；基于权重参数，将经过图像变换后的多个图像进行加权混合，得到噪声。
具体地，首先，从训练数据集中随机抽取n个图像(p1,p2…pn)，先对该n个图像进行图像变换，以扩充数据。具体地，可以对图像进行仿射变换、灰度变换和/或弹性形变等，本发明对数据扩充的形式不作具体限定。
例如，对于仿射变换，图像变换参数可以为仿射变换矩阵；对于伽马(gamma)灰度变换，图像变换参数可以为gamma值；对于弹性形变，图像变换参数可以为不同方向的形变场，本发明对图像变换参数的具体形式不作限定。
例如，对于图像pi，图像变换参数设为θi，图像变换设为f，则变换后的图像为f(pi,θi)。
应当理解，图像pi可以进行一种或多种图像变换，当图像pi进行多种图像变换时，例如，图像pi进行仿射变换和灰度变换，则该图像pi的图像变换参数θi为与仿射变换和灰度变换相关的参数。
其次，基于每个图像pi的权重参数αi，将经过图像变换后的多个图像进行加权求和，得到噪声，即
Figure BDA0002655508310000081
需要说明的是，权重参数、图像变换参数可以随着医学神经网络模型的反向传播进行更新。
在本发明的另一个实施例中，上述基于多个图像中的每个图像的权重参数，将多个图像混合，得到噪声，还包括：将对抗样本输入医学神经网络模型，获取损失值；根据损失值，通过对抗攻击方法更新图像变换参数和/或权重参数，得到优化后的噪声，其中，上述添加噪声至原始医学图像上，得到对抗样本，包括：添加优化后的噪声至原始医学图像上，得到优化后的对抗样本。
具体地，将对抗样本输入医学神经网络模型，得到医学神经网络模型的输出，根据该输出与标签计算损失值；将损失值进行反向传播，更新图像变换参数和/或权重参数，从而优化噪声，进而得到优化后的对抗样本。通过优化对抗样本，可以使对抗样本达到更好的攻击效果。
具体地，可以通过最大化损失值优化噪声，本发明对此不作具体限定。
应当理解，上述对抗攻击方法可以为快速梯度符号法(FGSM)、迷惑深度法(Deepfool)或基本迭代法(BIM)等方法，本发明对此不作具体限定。
在本发明的另一个实施例中，上述添加噪声至原始医学图像上，得到对抗样本，包括：将噪声与原始医学图像进行加权混合，得到对抗样本。
例如，噪声的权重系数记为k，原始医学图像记为x，对抗样本记为x′，则对抗样本可以表示为
Figure BDA0002655508310000091
图2所示为本发明另一实施例提供的对抗训练方法的流程示意图。该方法可以由计算机设备(例如，服务器)执行。如图2所示，该方法包括如下内容。
S210：获取训练集，从训练集随机抽出一个原始医学图像样本；
S220：从训练集中随机抽出n个图像样本，对n个图像样本进行图像变换，得到多个变换图像。
n个图像样本可以为自然图像或医学图像。例如，n个图像样本分别记为p1,p2…pn，对于图像样本pi，图像变换参数设为θi，图像变换设为f，则变换后的图像样本为f(pi,θi)。
S230：基于每个图像样本的权重参数，将多个变换图像进行加权混合得到噪声。
例如，噪声可以表示为
Figure BDA0002655508310000092
其中αi为样本图像pi的权重参数αi。
S240：将噪声与原始医学图像样本进行加权混合，得到对抗样本。
例如，噪声的权重系数记为k，原始医学图像样本记为x，对抗样本记为x′，则对抗样本可以表示为
Figure BDA0002655508310000093
S250：将对抗样本x′输入医学神经网络模型，获得损失值。
例如，将对抗样本x′输入医学神经网络模型，医学神经网络模型的输出预测值记为
Figure BDA0002655508310000094
根据输出预测值与标签，计算损失值，记为
Figure BDA0002655508310000095
S260：根据损失值，通过对抗训练方法更新图像变换参数和/或权重参数，得到优化后的对抗样本。
具体地，可以将损失值反向传播，以更新图像变换参数θi和/或权重参数αi。
具体地，可以根据下述公式，即通过最大化模型损失获得图像变换参数θi和权重参数αi：
Figure BDA0002655508310000101
其中，ζ是约束图像变换参数的范围，ε是权重参数的范围。ζ和ε为预先设定的超参数。
上述对抗攻击方法可以为快速梯度符号法(FGSM)、迷惑深度法(Deepfool)或基本迭代法BIM等方法，本发明对此不作具体限定。
S270：将优化后的对抗样本和原始医学图像作为训练样本输入医学神经网络模型进行训练。
S280：循环迭代上述步骤S210至S270，直至医学神经网络模型达到收敛条件。
根据本发明实施例提供的技术方案，通过获取训练集，从训练集随机抽出一个原始医学图像样本x；从训练集中随机抽出n个图像样本，对n个图像样本进行图像变换，得到多个变换图像；基于每个样本图像的权重参数，将多个变换图像进行加权混合得到噪声；将噪声与原始医学图像样本进行加权混合，得到对抗样本；将对抗样本x′输入医学神经网络模型，获得损失值；根据损失值，通过对抗训练方法更新图像变换参数和/或权重参数，得到优化后的对抗样本；将优化后的对抗样本和原始医学图像作为训练样本输入医学神经网络模型进行训练；循环迭代上述步骤S210至S270，直至医学神经网络模型达到收敛条件，基于自然图像或医学图像的变换、混合生成噪声，可以提高医学神经网络模型防御对抗攻击的鲁棒性，提高医学神经网络模型的泛化能力，以及提高医学神经网络模型的预测效果。
图3所示为本发明一实施例提供的神经网络模型的应用方法的流程示意图。该方法可以由计算机设备(例如，服务器)执行。如图3所示，该方法包括如下内容。
S310：获取待处理医学图像。
S320：利用医学神经网络模型对待处理医学图像进行处理，得到处理结果，其中，医学神经网络模型通过原始医学图像和对抗样本训练得到，对抗样本通过在原始医学图像上添加噪声得到，噪声是根据多个图像生成的。
根据本发明实施例提供的技术方案，通过获取待处理医学图像；利用医学神经网络模型对待处理医学图像进行处理，得到处理结果，其中，医学神经网络模型通过原始医学图像和对抗样本训练得到，对抗样本通过在原始医学图像上添加噪声得到，噪声是根据多个图像生成的，能够提高医学神经网络模型的处理效果。
上述所有可选技术方案，可以采用任意结合形成本发明的可选实施例，在此不再一一赘述。
下述为本发明装置实施例，可以用于执行本发明方法实施例。对于本发明装置实施例中未披露的细节，请参照本发明方法实施例。
图4所示为本发明一实施例提供的对抗训练装置的框图。如图4所示，该对抗训练装置400包括：
第一获取模块410，用于获取原始医学图像。
第二获取模块420，用于获取原始医学图像对应的对抗样本，其中，对抗样本通过在原始医学图像上添加噪声得到，噪声是根据多个图像生成的。
训练模块430，用于将原始医学图像和对抗样本作为训练样本训练医学神经网络模型。
根据本发明实施例提供的技术方案，通过获取原始医学图像；获取原始医学图像对应的对抗样本，其中，对抗样本通过在原始医学图像上添加噪声得到，噪声是根据多个图像生成的；将原始医学图像和对抗样本作为训练样本训练医学神经网络模型，基于多个图像生成噪声，可以提高医学神经网络模型防御对抗攻击的鲁棒性，提高医学神经网络模型的泛化能力，以及提高医学神经网络模型的预测效果。
在本发明的另一个实施例中，如图5所示，第二获取模块420可以包括获取单元421、噪声单元422和添加单元423。获取单元421用于获取多个图像，其中，多个图像中的每个图像包括自然图像或医学图像；混合单元422用于基于多个图像中的每个图像的权重参数，将多个图像混合，得到噪声；添加单元423用于添加噪声至原始医学图像上，得到对抗样本。
在本发明的另一个实施例中，上述噪声单元422还用于基于图像变换参数，对多个图像进行图像变换；基于权重参数，将经过图像变换后的多个图像进行加权混合，得到噪声。
在本发明的另一个实施例中，上述噪声单元422还包括输入子单元和更新子单元。输入子单元用于将对抗样本输入医学神经网络模型，获取损失值；更新子单元用于根据损失值，通过对抗攻击方法更新图像变换参数和/或权重参数，得到优化后的噪声；添加单元423还用于添加优化后的噪声至原始医学图像上，得到优化后的对抗样本。
在本发明的另一个实施例中，上述添加单元423还用于将噪声与原始医学图像进行加权混合，得到对抗样本。
图6所示为本发明一实施例提供的神经网络模型的应用装置的框图。如图6所示，该神经网络模型的应用装置600包括：
获取模块610，用于获取待处理医学图像。
处理模块620，用于利用医学神经网络模型对待处理医学图像进行处理，得到处理结果，其中，医学神经网络模型通过原始医学图像和对抗样本训练得到，对抗样本通过在原始医学图像上添加噪声得到，噪声是根据多个图像生成的。
根据本发明实施例提供的技术方案，通过获取待处理医学图像；利用医学神经网络模型对待处理医学图像进行处理，得到处理结果，其中，医学神经网络模型通过原始医学图像和对抗样本训练得到，对抗样本通过在原始医学图像上添加噪声得到，噪声是根据多个图像生成的，能够提高医学神经网络模型的处理效果。
上述装置中各个模块的功能和作用的实现过程具体详见上述方法中对应步骤的实现过程，在此不再赘述。
图7所示为本发明一实施例提供的电子设备700的框图。
参照图7，电子设备700包括处理组件710，其进一步包括一个或多个处理器，以及由存储器720所代表的存储器资源，用于存储可由处理组件710的执行的指令，例如应用程序。存储器720中存储的应用程序可以包括一个或一个以上的每一个对应于一组指令的模块。此外，处理组件710被配置为执行指令，以执行上述对抗训练方法和神经网络模型的应用方法。
电子设备700还可以包括一个电源组件被配置为执行电子设备700的电源管理，一个有线或无线网络接口被配置为将电子设备700连接到网络，和一个输入输出(I/O)接口。电子设备700可以操作基于存储在存储器720的操作系统，例如Windows ServerTM，Mac OSXTM，UnixTM，LinuxTM，FreeBSDTM或类似。
一种非临时性计算机可读存储介质，当存储介质中的指令由上述电子设备700的处理器执行时，使得上述电子设备700能够执行上述对抗训练方法和神经网络模型的应用方法。
本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统、装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
在本申请所提供的几个实施例中，应该理解到，所揭露的系统、装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。
所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机、服务器、或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(Read-Only Memory，ROM)、随机存取存储器(Random Access Memory，RAM)、磁碟或者光盘等各种可以存储程序校验码的介质。
另外，还需要说明的是，本案中各技术特征的组合方式并不限本案权利要求中所记载的组合方式或是具体实施例所记载的组合方式，本案所记载的所有技术特征可以以任何方式进行自由组合或结合，除非相互之间产生矛盾。
需要注意的是，以上列举的仅为本发明的具体实施例，显然本发明不限于以上实施例，随之有着许多的类似变化。本领域的技术人员如果从本发明公开的内容直接导出或联想到的所有变形，均应属于本发明的保护范围。
应当理解，本发明实施例中提到的第一、第二等限定词，仅仅为了更清楚地描述本发明实施例的技术方案使用，并不能用以限制本发明的保护范围。
以上仅为本发明的较佳实施例而已，并非用于限定本发明的保护范围。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种对抗训练方法，其特征在于，包括：
获取原始医学图像；
获取所述原始医学图像对应的对抗样本，其中，所述对抗样本通过在所述原始医学图像上添加噪声得到，所述噪声是根据多个图像生成的；
将所述原始医学图像和所述对抗样本作为训练样本训练医学神经网络模型。
2.根据权利要求1所述的方法，其特征在于，所述获取所述原始医学图像对应的对抗样本，包括：
获取所述多个图像，其中，所述多个图像中的每个图像包括自然图像或医学图像；
基于所述多个图像中的每个图像的权重参数，将所述多个图像混合，得到所述噪声；
添加所述噪声至所述原始医学图像上，得到所述对抗样本。
3.根据权利要求2所述的方法，其特征在于，所述基于所述多个图像中的每个图像的权重参数，将所述多个图像混合，得到所述噪声，包括：
基于图像变换参数，对所述多个图像进行图像变换；
基于所述权重参数，将经过图像变换后的所述多个图像进行加权混合，得到所述噪声。
4.根据权利要求3所述的方法，其特征在于，所述基于所述多个图像中的每个图像的权重参数，将所述多个图像混合，得到所述噪声，还包括：
将所述对抗样本输入所述医学神经网络模型，获取损失值；
根据所述损失值，通过对抗攻击方法更新所述图像变换参数和/或所述权重参数，得到优化后的噪声，
其中，所述添加所述噪声至所述原始医学图像上，得到所述对抗样本，包括：
添加优化后的噪声至所述原始医学图像上，得到优化后的对抗样本。
5.根据权利要求2所述的方法，其特征在于，所述添加所述噪声至所述原始医学图像上，得到所述对抗样本，包括：
将所述噪声与所述原始医学图像进行加权混合，得到所述对抗样本。
6.一种神经网络模型的应用方法，其特征在于，包括：
获取待处理医学图像；
利用医学神经网络模型对所述待处理医学图像进行处理，得到处理结果，其中，所述医学神经网络模型通过原始医学图像和对抗样本训练得到，所述对抗样本通过在所述原始医学图像上添加噪声得到，所述噪声是根据多个图像生成的。
7.一种对抗训练装置，其特征在于，包括：
第一获取模块，用于获取原始医学图像；
第二获取模块，用于获取所述原始医学图像对应的对抗样本，其中，所述对抗样本通过在所述原始医学图像上添加噪声得到，所述噪声是根据多个图像生成的；
训练模块，用于将所述原始医学图像和所述对抗样本作为训练样本训练医学神经网络模型。
8.一种神经网络模型的应用装置，其特征在于，包括：
获取模块，用于获取待处理医学图像；
处理模块，用于利用医学神经网络模型对所述待处理医学图像进行处理，得到处理结果，其中，所述医学神经网络模型通过原始医学图像和对抗样本训练得到，所述对抗样本通过在所述原始医学图像上添加噪声得到，所述噪声是根据多个图像生成的。
9.一种计算机可读存储介质，其特征在于，所述存储介质存储有计算机程序，所述计算机程序用于执行上述权利要求1至6中任一项所述的方法。
10.一种电子设备，其特征在于，所述电子设备包括：
处理器；
用于存储所述处理器可执行指令的存储器；
所述处理器，用于执行上述权利要求1至6中任一项所述的方法。
CN202010885701.3A 2020-08-28 2020-08-28 对抗训练方法及装置、神经网络模型的应用方法及装置 Pending CN112035834A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010885701.3A CN112035834A (zh) 2020-08-28 2020-08-28 对抗训练方法及装置、神经网络模型的应用方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010885701.3A CN112035834A (zh) 2020-08-28 2020-08-28 对抗训练方法及装置、神经网络模型的应用方法及装置

Publications (1)

Publication Number Publication Date
CN112035834A true CN112035834A (zh) 2020-12-04

Family

ID=73586942

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010885701.3A Pending CN112035834A (zh) 2020-08-28 2020-08-28 对抗训练方法及装置、神经网络模型的应用方法及装置

Country Status (1)

Country Link
CN (1) CN112035834A (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112651459A (zh) * 2020-12-31 2021-04-13 厦门易仕特仪器有限公司 深度学习图像对抗样本防御方法、装置、设备及存储介质
CN112883774A (zh) * 2020-12-31 2021-06-01 厦门易仕特仪器有限公司 行人重识别数据增强方法、装置、设备及可读存储介质
CN113222960A (zh) * 2021-05-27 2021-08-06 哈尔滨工程大学 基于特征去噪的深度神经网络对抗防御方法、系统、存储介质及设备
WO2022152153A1 (zh) * 2021-01-18 2022-07-21 北京灵汐科技有限公司 图像处理、密钥生成、训练方法及装置、计算机可读介质
WO2022199137A1 (zh) * 2021-03-23 2022-09-29 中国科学院深圳先进技术研究院 语义分割网络的训练方法、图像处理方法及其设备
WO2022242471A1 (en) * 2021-05-17 2022-11-24 Chengdu SynSense Technology Co., Ltd. Neural network configuration parameter training and deployment method and apparatus for coping with device mismatch

Citations (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018028255A1 (zh) * 2016-08-11 2018-02-15 深圳市未来媒体技术研究院 基于对抗网络的图像显著性检测方法
US20180182084A1 (en) * 2016-12-23 2018-06-28 Industrial Technology Research Institute Gas leakage detection method
US20190005386A1 (en) * 2017-07-01 2019-01-03 Intel Corporation Techniques for training deep neural networks
CN109214973A (zh) * 2018-08-24 2019-01-15 中国科学技术大学 针对隐写分析神经网络的对抗安全载体生成方法
CN109948658A (zh) * 2019-02-25 2019-06-28 浙江工业大学 面向特征图注意力机制的对抗攻击防御方法及应用
US20190220605A1 (en) * 2019-03-22 2019-07-18 Intel Corporation Adversarial training of neural networks using information about activation path differentials
CN110084002A (zh) * 2019-04-23 2019-08-02 清华大学 深度神经网络攻击方法、装置、介质和计算设备
CN110443367A (zh) * 2019-07-30 2019-11-12 电子科技大学 一种增强神经网络模型鲁棒性能的方法
CN110516695A (zh) * 2019-07-11 2019-11-29 南京航空航天大学 面向医学图像分类的对抗样本生成方法及系统
CN110705652A (zh) * 2019-10-17 2020-01-17 北京瑞莱智慧科技有限公司 对抗样本及其生成方法、介质、装置和计算设备
CN111027060A (zh) * 2019-12-17 2020-04-17 电子科技大学 基于知识蒸馏的神经网络黑盒攻击型防御方法
US20200151503A1 (en) * 2018-11-08 2020-05-14 Adobe Inc. Training Text Recognition Systems
CN111242166A (zh) * 2019-12-30 2020-06-05 南京航空航天大学 一种通用对抗扰动生成方法
CN111340214A (zh) * 2020-02-21 2020-06-26 腾讯科技（深圳）有限公司 对抗攻击模型的训练方法及装置
US20200226425A1 (en) * 2019-01-11 2020-07-16 International Business Machines Corporation Margin based adversarial computer program
CN111542841A (zh) * 2018-06-08 2020-08-14 北京嘀嘀无限科技发展有限公司 一种内容识别的系统和方法
CN111539008A (zh) * 2020-05-22 2020-08-14 支付宝(杭州)信息技术有限公司 保护隐私的图像处理方法及装置

Patent Citations (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018028255A1 (zh) * 2016-08-11 2018-02-15 深圳市未来媒体技术研究院 基于对抗网络的图像显著性检测方法
US20180182084A1 (en) * 2016-12-23 2018-06-28 Industrial Technology Research Institute Gas leakage detection method
US20190005386A1 (en) * 2017-07-01 2019-01-03 Intel Corporation Techniques for training deep neural networks
CN111542841A (zh) * 2018-06-08 2020-08-14 北京嘀嘀无限科技发展有限公司 一种内容识别的系统和方法
CN109214973A (zh) * 2018-08-24 2019-01-15 中国科学技术大学 针对隐写分析神经网络的对抗安全载体生成方法
US20200151503A1 (en) * 2018-11-08 2020-05-14 Adobe Inc. Training Text Recognition Systems
US20200226425A1 (en) * 2019-01-11 2020-07-16 International Business Machines Corporation Margin based adversarial computer program
CN109948658A (zh) * 2019-02-25 2019-06-28 浙江工业大学 面向特征图注意力机制的对抗攻击防御方法及应用
US20190220605A1 (en) * 2019-03-22 2019-07-18 Intel Corporation Adversarial training of neural networks using information about activation path differentials
CN110084002A (zh) * 2019-04-23 2019-08-02 清华大学 深度神经网络攻击方法、装置、介质和计算设备
CN110516695A (zh) * 2019-07-11 2019-11-29 南京航空航天大学 面向医学图像分类的对抗样本生成方法及系统
CN110443367A (zh) * 2019-07-30 2019-11-12 电子科技大学 一种增强神经网络模型鲁棒性能的方法
CN110705652A (zh) * 2019-10-17 2020-01-17 北京瑞莱智慧科技有限公司 对抗样本及其生成方法、介质、装置和计算设备
CN111027060A (zh) * 2019-12-17 2020-04-17 电子科技大学 基于知识蒸馏的神经网络黑盒攻击型防御方法
CN111242166A (zh) * 2019-12-30 2020-06-05 南京航空航天大学 一种通用对抗扰动生成方法
CN111340214A (zh) * 2020-02-21 2020-06-26 腾讯科技（深圳）有限公司 对抗攻击模型的训练方法及装置
CN111539008A (zh) * 2020-05-22 2020-08-14 支付宝(杭州)信息技术有限公司 保护隐私的图像处理方法及装置

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112651459A (zh) * 2020-12-31 2021-04-13 厦门易仕特仪器有限公司 深度学习图像对抗样本防御方法、装置、设备及存储介质
CN112883774A (zh) * 2020-12-31 2021-06-01 厦门易仕特仪器有限公司 行人重识别数据增强方法、装置、设备及可读存储介质
WO2022152153A1 (zh) * 2021-01-18 2022-07-21 北京灵汐科技有限公司 图像处理、密钥生成、训练方法及装置、计算机可读介质
WO2022199137A1 (zh) * 2021-03-23 2022-09-29 中国科学院深圳先进技术研究院 语义分割网络的训练方法、图像处理方法及其设备
WO2022242471A1 (en) * 2021-05-17 2022-11-24 Chengdu SynSense Technology Co., Ltd. Neural network configuration parameter training and deployment method and apparatus for coping with device mismatch
CN113222960A (zh) * 2021-05-27 2021-08-06 哈尔滨工程大学 基于特征去噪的深度神经网络对抗防御方法、系统、存储介质及设备

Similar Documents

Publication Publication Date Title
CN112035834A (zh) 对抗训练方法及装置、神经网络模型的应用方法及装置
Hou et al. Robust histopathology image analysis: To label or to synthesize?
Apostolidis et al. A survey on adversarial deep learning robustness in medical image analysis
CN108537794B (zh) 医学图像数据处理方法、装置和计算机可读存储介质
He et al. A fast adaptive parameter estimation for total variation image restoration
KR101880035B1 (ko) 영상 생성 방법 및 장치, 및 영상 분석 방법
CN111881926A (zh) 图像生成、图像生成模型的训练方法、装置、设备及介质
US10275909B2 (en) Systems and methods for an integrated system for visualizing, simulating, modifying and 3D printing 3D objects
Chen et al. Deepfakes in ophthalmology: applications and realism of synthetic retinal images from generative adversarial networks
Mangaokar et al. Jekyll: Attacking medical image diagnostics using deep generative models
CN112765662B (zh) 一种在深度学习下支持训练集成员隐私保护的方法
Vatian et al. Impact of adversarial examples on the efficiency of interpretation and use of information from high-tech medical images
Qu et al. An experimental study of data heterogeneity in federated learning methods for medical imaging
CN113822289A (zh) 图像降噪模型的训练方法、装置、设备及存储介质
Sharif et al. Deep perceptual enhancement for medical image analysis
Patwari et al. JBFnet-low dose CT denoising by trainable joint bilateral filtering
Liu et al. Robustifying deep networks for medical image segmentation
Jin et al. Backdoor attack and defense in federated generative adversarial network-based medical image synthesis
Wang et al. Fvp: Fourier visual prompting for source-free unsupervised domain adaptation of medical image segmentation
Niu et al. Multiple window learning for CT metal artifact reduction
Mangalagiri et al. Toward generating synthetic CT volumes using a 3D-conditional generative adversarial network
Das et al. Privacy risks analysis and mitigation in federated learning for medical images
CN115272152A (zh) 一种对抗医学图像的生成方法、装置、设备及存储介质
Kügler et al. Physical attacks in dermoscopy: An evaluation of robustness for clinical deep-learning
CN112233126B (zh) 医学图像的加窗方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
CB02 Change of applicant information

Address after: Room B401, floor 4, building 1, No. 12, Shangdi Information Road, Haidian District, Beijing 100085

Applicant after: Tuxiang Medical Technology Co., Ltd

Address before: Room B401, floor 4, building 1, No. 12, Shangdi Information Road, Haidian District, Beijing 100085

Applicant before: Beijing Tuoxiang Technology Co.,Ltd.

CB02 Change of applicant information
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination