CN113408698A - 一种深度神经网络模型鲁棒性优化方法 - Google Patents

一种深度神经网络模型鲁棒性优化方法 Download PDF

Info

Publication number
CN113408698A
CN113408698A CN202110659491.0A CN202110659491A CN113408698A CN 113408698 A CN113408698 A CN 113408698A CN 202110659491 A CN202110659491 A CN 202110659491A CN 113408698 A CN113408698 A CN 113408698A
Authority
CN
China
Prior art keywords
model
neural network
deep neural
samples
sample
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110659491.0A
Other languages
English (en)
Other versions
CN113408698B (zh
Inventor
孙家泽
唐彦梅
王曙燕
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xian University of Posts and Telecommunications
Original Assignee
Xian University of Posts and Telecommunications
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xian University of Posts and Telecommunications filed Critical Xian University of Posts and Telecommunications
Priority to CN202110659491.0A priority Critical patent/CN113408698B/zh
Publication of CN113408698A publication Critical patent/CN113408698A/zh
Application granted granted Critical
Publication of CN113408698B publication Critical patent/CN113408698B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G06F18/2148—Generating training patterns; Bootstrap methods, e.g. bagging or boosting characterised by the process organisation or structure, e.g. boosting cascade
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computational Linguistics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Evolutionary Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Image Analysis (AREA)

Abstract

本发明针对深度神经网络鲁棒性优化问题，公开了一种高效的深度神经网络模型鲁棒性优化方法，属于机器学习和AI安全领域。该方法首先为目标模型浅层添加额外分支进行特征融合，将目标模型改造为可以在速度和准确率之间进行权衡的特征金字塔结构，然后基于生成式对抗网络提取图像样本的潜在特征生成攻击力更强的对抗样本进行对抗训练。本发明提供了一种高效的深度神经网络模型鲁棒性优化方法，有助于扩大模型的防御范围，对模型鲁棒性进行优化。

Description

一种深度神经网络模型鲁棒性优化方法
技术领域
本发明属于机器学习和AI安全领域，具体涉及深度神经网络模型鲁棒性优化问题，提出了一种深度神经网络模型鲁棒性优化方法。
背景技术
深度神经网络近年来发展飞快，已经在多个领域得到大量应用，虽然在现阶段深度神经网络模型已达到较高准确率，但研究表明通过对正常样本添加微小扰动会使神经网络分类器产生误判，这些扰动并不会影响人眼判断。这一类可以使神经网络分类器产生误判的样本被称为对抗样本，对抗样本改变神经网络的潜在特征影响了神经网络的输出。因此提高深度神经网络模型对对抗样本攻击的防御能力从而提高深度神经网络的模型鲁棒性，对于深度神经网络技术的发展起到关键作用。
为了使对抗环境下深度神经网络模型的使用更为安全，国内外许多学者致力于提升深度神经网络模型的鲁棒性。对深度神经网络模型进行白盒攻击时，在扰动相同的前提下，模型的分类准确率越高，鲁棒性越好。目前提高模型鲁棒性的方法有三类：修改模型的输入数据、修改网络结构和增加外部模块。对提高模型鲁棒性的以往研究基本都存在防御范围有限和开销大等问题。
发明内容
深度神经网络模型鲁棒性优化方法，其一主要是将基础模型改造为可以在速度和准确率之间进行权衡特征金字塔结构，其二是将特征金字塔结构模型作为目标模型，以原始图像的潜在特征作为先验生成对抗样本加入训练集中进行对抗训练。目标是使改进后的模型能防御多种白盒攻击，分类准确率高，由此模型鲁棒性得到优化。
本发明为一种深度神经网络模型鲁棒性优化方法，其特征在于包括以下步骤：
步骤一：选定一个深度神经网络图像分类模型作为基础模型，在基础模型的浅层添加额外的分支P1，P2,...,Pn形成多预测分支结构，其中n为基础模型的残差块组数减1；
步骤二：将Pn所在层的特征图采用上采样的方法扩展大小直至和Pn-1所在层的特征图一致；
步骤三：重复步骤二至n为2，最后将P1，P2,...,Pn的预测结果做平均运算作为输出，至此将基础模型改造为特征金字塔结构，特征金字塔结构如图2所示；
步骤四：选定特征金字塔结构模型作为目标模型M，训练目标模型M直至目标模型M可以准确地将从原始数据集中采样的图像映射到其对应的标签t，具体地，t为原始图像数据集中人工标记的图像类别信息；
步骤五：将目标模型M的最后一层卷积层作为特征提取器f，构建生成器G和判别器D，具体地，生成器G由卷积神经网络构建，判别器D用来区分真实图像和生成的对抗样本，体系结构如图3所示；
步骤六：输入所需对抗样本的攻击类别a；
步骤七：对来自噪声先验pg(z)的m个噪声样本{z1,…zm}进行小批量采样,对来自数据生成分布pdata(x)的m个样本{x1,…xm}进行小批量采样；
步骤八：将{x1,…xm}经过特征提取器f提取潜在特征输出特征向量f(x)，从正态分布采样{z1,…zm}输出噪声向量z；
步骤九：将特征向量f(x)和噪声向量z作为级联向量，输入到生成器G中生成样本{xadv1,xadv2,...xadvm}；
步骤十：最小化xadvi和xi之间的l2损失以限制扰动大小，其中1≤i≤m，增加随机梯度更新判别器D，判别器D最大化真实图像和生成样本差异度，降低随机梯度更新生成器G，生成器G最小化生成的样本属于类别t的概率；
步骤十一：重复步骤十直至{xadv1,xadv2,...xadvm}接近原始分布，且输出的对抗样本标签为a。
步骤十二：重复步骤六至步骤十一直至生成的对抗样本攻击类别的数量与原始图像数据集中存在的图像类别一致，将所有对抗样本人工标记为正确类别标签后重新加入训练集中，对目标模型M进行重新训练。
附图说明
附图1为深度神经网络模型鲁棒性优化方法流程图。
附图2为基础模型改造为特征金字塔结构的示意图。
附图3为利用潜在特征生成对抗样本的体系结构图。
具体实施方式
以经典深度神经网络模型Resne32为例，对本发明提出的一种深度神经网络模型鲁棒性优化方法的具体实施方式进行说明。
步骤一：选定Resne32模型作为基础模型，Resnet32模型总共有3组残差块，每组残差块有不同数量的恒等残差块组成，在Resnet32模型的前两组残差块之后分别加入分支P1，P2形成多预测分支结构；
步骤二：将P2所在层的特征图采用上采样的方法扩展大小直至和P1所在层的特征图一致；
步骤三：将P1，P2的预测结果做平均运算作为输出，至此将基础模型Resne32改造为特征金字塔结构；
步骤四：选定以Resne32模型改造的特征金字塔结构模型作为目标模型M，训练目标模型M直至目标模型M可以准确地将从原始数据集中采样的图像映射到其对应的标签t，具体地，t为原始图像数据集中人工标记的图像类别信息；
步骤五：将目标模型M的最后一层卷积层作为特征提取器f，构建生成器G和判别器D，具体地，生成器G由卷积神经网络构建，判别器D用来区分真实图像和生成的样本；
步骤六：针对MNIST数据集进行实验，输入所需对抗样本的攻击类别0；
步骤七：对10000个随机高维噪声样本{z1,…z10000}进行小批量采样,对来自原始数据的10000个样本{x1,…x10000}进行小批量采样；
步骤八：将{x1,…x10000}经过特征提取器f提取潜在特征输出特征向量f(x)，从正态分布采样{z1,…z10000}输出噪声向量z；
步骤九：将图像特征向量f(x)和噪声向量z的级联映射输入到生成器G中生成样本{xadv1,xadv2,...xadv10000}；
步骤十：最小化每个生成图像和原始图像之间的l2损失以限制扰动大小，增加随机梯度更新判别器D，判别器D最大化真实图像和生成样本差异度，降低随机梯度更新生成器G，生成器G最小化生成的样本属于类别0的概率；
步骤十一：重复步骤十直至生成的10000个样本输出的样本标签为0；
步骤十二：重复步骤六至步骤十一，分别将攻击类别设为0到9的数字，直至各种攻击类别都生成10000个对抗样本，将产生的对抗样本标记为正确标签加入MNIST训练集中重新训练目标模型M。
通过以上过程可以实现一种深度神经网络模型鲁棒性优化方法，流程图如图1所示，分为修改网络结构和修改模型输入数据两个阶段。修改网络结构阶段主要为目标模型添加预测分支，将目标模型改造为特征金字塔结构；修改模型输入数据阶段主要利用特征提取器提取潜在特征生成对抗样本，将生成的对抗样本加入训练集中训练模型。
针对Resne34模型，分别在MNIST和CIFAR-10数据集上使用五种白盒攻击分别进行实验，表1是优化后的Resne34模型在高扰动的五种白盒攻击下，对抗样本分类正确率比较，第一部分是在MNIST数据集上的实验结果，第二部分是在CIFAR-10数据集上的实验结果。
从表1可以看出，本方法在高扰动的五种白盒攻击下分类正确率相比基础模型至少提升了4倍，说明优化后的模型防御能力比原模型防御能力更强，防御范围扩大，可以作为一种深度神经网络模型鲁棒性优化方法。
表1 MNIST和CIFAR-10数据集上对于对抗样本分类正确率比较
Figure BDA0003114558360000041

Claims (1)

1.一种深度神经网络模型鲁棒性优化方法，其特征在于包括以下步骤：
步骤一：选定一个深度神经网络图像分类模型作为基础模型，在基础模型的浅层添加额外的分支P1，P2,...,Pn形成多预测分支结构，其中n为基础模型的残差块组数减1；
步骤二：将Pn所在层的特征图采用上采样的方法扩展大小直至和Pn-1所在层的特征图一致；
步骤三：重复步骤二至n为2，最后将P1，P2,...,Pn的预测结果做平均运算作为输出，至此将基础模型改造为特征金字塔结构；
步骤四：选定特征金字塔结构模型作为目标模型M，训练目标模型M直至目标模型M可以准确地将从原始数据集中采样的图像映射到其对应的标签t，具体地，t为原始图像数据集中人工标记的图像类别信息；
步骤五：将目标模型M的最后一层卷积层作为特征提取器f，构建生成器G和判别器D，具体地，生成器G由卷积神经网络构建，判别器D用来区分真实图像和生成的对抗样本；
步骤六：输入所需对抗样本的攻击类别a；
步骤七：对来自噪声先验pg(z)的m个噪声样本{z1,…zm}进行小批量采样,对来自数据生成分布pdata(x)的m个样本{x1,…xm}进行小批量采样；
步骤八：将{x1,…xm}经过特征提取器f提取潜在特征输出特征向量f(x)，从正态分布采样{z1,…zm}输出噪声向量z；
步骤九：将特征向量f(x)和噪声向量z作为级联向量，输入到生成器G中生成样本{xadv1,xadv2,...xadvm}；
步骤十：最小化xadvi和xi之间的l2损失以限制扰动大小，其中1≤i≤m，增加随机梯度更新判别器D，判别器D最大化真实图像和生成样本差异度，降低随机梯度更新生成器G，生成器G最小化生成的样本属于类别t的概率；
步骤十一：重复步骤十直至{xadv1,xadv2,...xadvm}接近原始分布，且输出的对抗样本标签为a。
步骤十二：重复步骤六至步骤十一直至生成的对抗样本攻击类别的数量与原始图像数据集中存在的图像类别一致，将所有对抗样本人工标记为正确类别标签后重新加入训练集中，对目标模型M进行重新训练。
CN202110659491.0A 2021-06-15 2021-06-15 一种深度神经网络模型鲁棒性优化方法 Active CN113408698B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110659491.0A CN113408698B (zh) 2021-06-15 2021-06-15 一种深度神经网络模型鲁棒性优化方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110659491.0A CN113408698B (zh) 2021-06-15 2021-06-15 一种深度神经网络模型鲁棒性优化方法

Publications (2)

Publication Number Publication Date
CN113408698A true CN113408698A (zh) 2021-09-17
CN113408698B CN113408698B (zh) 2023-06-23

Family

ID=77683821

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110659491.0A Active CN113408698B (zh) 2021-06-15 2021-06-15 一种深度神经网络模型鲁棒性优化方法

Country Status (1)

Country Link
CN (1) CN113408698B (zh)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109460814A (zh) * 2018-09-28 2019-03-12 浙江工业大学 一种具有防御对抗样本攻击功能的深度学习分类方法
CN111724342A (zh) * 2020-05-18 2020-09-29 天津大学 一种用于超声影像中甲状腺微小结节的检测方法
RU2735148C1 (ru) * 2019-12-09 2020-10-28 Самсунг Электроникс Ко., Лтд. Обучение gan (генеративно-состязательных сетей) созданию попиксельной аннотации
WO2021018811A1 (en) * 2019-07-26 2021-02-04 Tomtom Global Content B.V. Generative adversarial networks for image segmentation
CN112435221A (zh) * 2020-11-10 2021-03-02 东南大学 一种基于生成式对抗网络模型的图像异常检测方法
CN112509001A (zh) * 2020-11-24 2021-03-16 河南工业大学 一种多尺度和多特征融合的特征金字塔网络盲复原方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109460814A (zh) * 2018-09-28 2019-03-12 浙江工业大学 一种具有防御对抗样本攻击功能的深度学习分类方法
WO2021018811A1 (en) * 2019-07-26 2021-02-04 Tomtom Global Content B.V. Generative adversarial networks for image segmentation
RU2735148C1 (ru) * 2019-12-09 2020-10-28 Самсунг Электроникс Ко., Лтд. Обучение gan (генеративно-состязательных сетей) созданию попиксельной аннотации
CN111724342A (zh) * 2020-05-18 2020-09-29 天津大学 一种用于超声影像中甲状腺微小结节的检测方法
CN112435221A (zh) * 2020-11-10 2021-03-02 东南大学 一种基于生成式对抗网络模型的图像异常检测方法
CN112509001A (zh) * 2020-11-24 2021-03-16 河南工业大学 一种多尺度和多特征融合的特征金字塔网络盲复原方法

Non-Patent Citations (5)

* Cited by examiner, † Cited by third party
Title
ASSAF SHOCHER 等: "Semantic Pyramid for Image Generation", 《CVPR2020》 *
ASSAF SHOCHER 等: "Semantic Pyramid for Image Generation", 《CVPR2020》, 5 August 2020 (2020-08-05), pages 3 - 4 *
TSUNG-YI LIN 等: "Feature Pyramid Networks for Object Detection", 《CVPR2017》 *
TSUNG-YI LIN 等: "Feature Pyramid Networks for Object Detection", 《CVPR2017》, 9 November 2017 (2017-11-09), pages 3 *
张庆林 等: "基于对抗学习的讽刺识别研究", 北京大学学报(自然科学版), vol. 55, no. 1 *

Also Published As

Publication number Publication date
CN113408698B (zh) 2023-06-23

Similar Documents

Publication Publication Date Title
CN110765966B (zh) 一种面向手写文字的一阶段自动识别与翻译方法
Assaf et al. Explainable deep neural networks for multivariate time series predictions.
CN112733866A (zh) 一种提高可控图像文本描述正确性的网络构建方法
CN111401156B (zh) 基于Gabor卷积神经网络的图像识别方法
CN110175248B (zh) 一种基于深度学习和哈希编码的人脸图像检索方法和装置
CN113221852B (zh) 一种目标识别方法及装置
CN107528824B (zh) 一种基于二维度稀疏化的深度信念网络入侵检测方法
CN112115265A (zh) 文本分类中的小样本学习方法
CN112766378B (zh) 一种专注细粒度识别的跨域小样本图像分类模型方法
CN113537467B (zh) 一种基于wgan-gp的对抗扰动图像生成方法
CN113378949A (zh) 一种基于胶囊网络和混合注意力的双重生成对抗学习方法
CN111461244A (zh) 一种基于SimpleShot的One-Shot学习新方法
CN116563410A (zh) 基于两级生成对抗网络的电气设备电火花图像生成方法
CN114818889A (zh) 一种基于线性自注意力Transformer的图像分类方法
CN114170659A (zh) 一种基于注意力机制的面部情感识别方法
CN112200262B (zh) 支持多任务和跨任务的小样本分类训练方法及装置
CN116701681B (zh) 一种用于语义分割的多查询网络
CN116226357B (zh) 一种输入中包含错误信息场景下的文档检索方法
CN112270367A (zh) 一种基于语义信息的深度学习模型对抗鲁棒性增强方法
CN111767949A (zh) 一种基于特征和样本对抗共生的多任务学习方法及其系统
CN111553424A (zh) 一种基于cgan的图像数据平衡和分类方法
CN107085700A (zh) 一种基于稀疏表示与单隐层神经网络技术相结合的人脸识别方法
CN113408698B (zh) 一种深度神经网络模型鲁棒性优化方法
Agrawal et al. Impact of attention on adversarial robustness of image classification models
CN114155554A (zh) 一种基于Transformer的相机域适应行人重识别方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant