CN115374931A - 一种基于元对抗训练的深度神经网络鲁棒性增强方法 - Google Patents

一种基于元对抗训练的深度神经网络鲁棒性增强方法 Download PDF

Info

Publication number
CN115374931A
CN115374931A CN202111496687.9A CN202111496687A CN115374931A CN 115374931 A CN115374931 A CN 115374931A CN 202111496687 A CN202111496687 A CN 202111496687A CN 115374931 A CN115374931 A CN 115374931A
Authority
CN
China
Prior art keywords
meta
neural network
deep neural
training
sample
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202111496687.9A
Other languages
English (en)
Inventor
常有康
赵宏
韩立毅
田伟权
李文改
党育
赵凡
韩泽宇
倪志敏
王伟杰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Lanzhou University of Technology
Original Assignee
Lanzhou University of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Lanzhou University of Technology filed Critical Lanzhou University of Technology
Priority to CN202111496687.9A priority Critical patent/CN115374931A/zh
Publication of CN115374931A publication Critical patent/CN115374931A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于元对抗训练的深度神经网络鲁棒性增强方法，包括步骤：使用多种对抗攻击算法生成对抗样本，验证元对抗训练防御方法的鲁棒性；将对抗样本与干净样本按照不同的比例进行融合构造训练集；使用卷积神经网络的卷积操作对所述训练集中的数据进行特征提取；元学习阶段，变换特征提取器的参数，使得深度神经网络快速适应小样本任务；输出对抗样本的类别，计算准确率。与现有技术相比，在对抗训练过程中加入元学习方法，利用元学习在面对新出现的样本时具有较强的泛化性、较高的识别准确率的特点，解决对抗训练泛化性较差的问题。

Description

一种基于元对抗训练的深度神经网络鲁棒性增强方法
技术领域
本发明涉及深度神经网络领域，尤其涉及一种基于元对抗训练的深度神经网络鲁棒性增强方法。
背景技术
随着人工智能的快速发展，深度神经网络(Deep Neural Network,DNN)正在引领人工智能走向新一轮的高潮，其在许多领域都取得了瞩目的成就。如：在自动驾驶中，利用摄像头和激光雷达等传感器采集道路环境数据，将其输入深度神经网络中进行识别预测，在没有人工干预的情况下实现自动驾驶；在医学影像分析中，深度神经网络可以识别、分类和量化医学图像，辅助医生进行疾病的快速诊断；在图像识别中，由于深度神经网络强大的数据学习能力，可以大幅度提升图像识别的准确率；在网络分析中，深度神经网络通过分析并识别数据流量中的异常信息，实现快速的网络入侵检测；在智能制造中，设备以及传感器通过深度神经网络实现系统的自我感知、学习和维护功能，加快信息数据的分析和处理，保证生产的有序进行；利用智能系统中的自我预测和感知能力，能够及时了解运行中存在的故障问题，并在第一时间内进行故障报警，降低故障威胁。
深度神经网络在各个领域都扮演着重要的角色，因此针对深度神经网络鲁棒性的研究至关重要。对抗训练防御方法作为目前最有希望提高深度神经网络鲁棒性的防御方法之一，当其在面对未曾出现过的对抗样本时，需要将新出现的对抗样本加入到训练集中，这种通过暴力的训练方式提升深度神经网络鲁棒性的方法存在训练时间长，泛化能力差的问题。
发明内容
为克服现有技术的不足，本发明提出一种基于元对抗训练的深度神经网络鲁棒性增强方法。本发明的技术方案是这样实现的：
一种基于元对抗训练的深度神经网络鲁棒性增强方法，包括步骤
S1：使用多种对抗攻击算法生成对抗样本，验证元对抗训练防御方法的鲁棒性；
S2：将对抗样本与干净样本按照不同的比例进行融合构造训练集；
S3：使用卷积神经网络的卷积操作对所述训练集中的数据进行特征提取；
S4：元学习阶段，变换特征提取器的参数，使得深度神经网络快速适应小样本任务；
S5：输出对抗样本的类别，计算准确率。
进一步地，步骤S1包括步骤：分别使用BIM、C&W、DeepFool、DI2FGSM、 MDI2FGSM、RGF、P-RGF和Parsimonious对抗攻击算法生成对抗样本。
进一步地，步骤S2包括：根据步骤S1生成的多种对抗样本按照不同的比例与干净样本进行融合，构造训练集。
进一步地，步骤S3所述的使用卷积神经网络的卷积操作对训练集中的数据进行特征提取，包括步骤：
首先初始化特征提取器Θ和分类器θ的参数，然后将miniImageNet训练集中的部分干净样本替换为生成的对抗样本，使用ResNet网络模型通过梯度下降方法学习特征提取器Θ和分类器θ的参数，如公式(1)所示：
Figure RE-GDA0003633390320000031
其中，α表示学习率，ΛΔ表示交叉熵损失函数，
Figure RE-GDA0003633390320000032
如公式(2)所示：
Figure RE-GDA0003633390320000033
进一步地，步骤S4所述的变换特征提取器的参数，使得深度神经网络快速适应小样本任务，包括步骤
S41：特征提取阶段学习的特征提取器参数Θ在小样本学习过程中保持固定，在元学习阶段对其进行伸缩和平移变换以快速适应未曾见过的数据样本；分类器参数θ重新初始化与更新，如公式(3)所示：
Figure RE-GDA0003633390320000034
其中，
Figure RE-GDA0003633390320000035
表示伸缩变换，初始化为1，
Figure RE-GDA0003633390320000036
表示平移变换，初始化为0，
Figure RE-GDA0003633390320000037
表示伸缩与平移变换，T(tr)表示训练数据，β表示学习率，θ′表示当前分类任务的参数；
S42：在测试过程中，通过使用测试数据T(te)计算损失值，对伸缩和平移操作进行参数优化，同时更新参数θ，如公式(4)、(5)所示：
Figure RE-GDA0003633390320000041
Figure RE-GDA0003633390320000042
对于给定的Θ，特征提取器Θ的第i层包含K个神经元，即包含K个参数对，{(Wi,k,bi,k)}分别表示权重和偏差，若输入为X，则将{ΦS{1,2}}应用于(W,b)的公式如(6)所示：
Figure RE-GDA0003633390320000043
S43：利用已经优化的伸缩和平移操作将在大规模数据集上训练的权重迁移到元学习任务中。
进一步地，步骤S5所述的输出对抗样本的类别，计算准确率，包括步骤：将对抗样本输入经过元对抗训练之后的深度神经网络，计算准确率，验证网络模型面对对抗样本时的鲁棒性。
本发明的有益效果在于，与现有技术相比，在对抗训练过程中加入元学习方法，利用元学习在面对新出现的样本时具有较强的泛化性、较高的识别准确率的特点，解决对抗训练泛化性较差的问题。
具体实施方式
下面将对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本发明提出一种基于元对抗训练的深度神经网络鲁棒性增强方法。本发明的技术方案是这样实现的：
一种基于元对抗训练的深度神经网络鲁棒性增强方法，包括步骤
S1：使用多种对抗攻击算法生成对抗样本，验证元对抗训练防御方法的鲁棒性；
S2：将对抗样本与干净样本按照不同的比例进行融合构造训练集；
S3：使用卷积神经网络的卷积操作对所述训练集中的数据进行特征提取；
S4：元学习阶段，变换特征提取器的参数，使得深度神经网络快速适应小样本任务；
S5：输出对抗样本的类别，计算准确率。
进一步地，步骤S1包括步骤：分别使用BIM、C&W、DeepFool、DI2FGSM、 MDI2FGSM、RGF、P-RGF和Parsimonious对抗攻击算法生成对抗样本。
进一步地，步骤S2包括：根据步骤S1生成的多种对抗样本按照不同的比例与干净样本进行融合，构造训练集。
进一步地，步骤S3所述的使用卷积神经网络的卷积操作对训练集中的数据进行特征提取，包括步骤：
首先初始化特征提取器Θ和分类器θ的参数，然后将miniImageNet训练集中的部分干净样本替换为生成的对抗样本，使用ResNet网络模型通过梯度下降方法学习特征提取器Θ和分类器θ的参数，如公式(1)所示：
Figure RE-GDA0003633390320000051
其中，α表示学习率，ΛΔ表示交叉熵损失函数，
Figure RE-GDA0003633390320000061
如公式(2)所示：
Figure RE-GDA0003633390320000062
进一步地，步骤S4所述的变换特征提取器的参数，使得深度神经网络快速适应小样本任务，包括步骤
S41：特征提取阶段学习的特征提取器参数Θ在小样本学习过程中保持固定，在元学习阶段对其进行伸缩和平移变换以快速适应未曾见过的数据样本；然而，由于特征提取阶段与元学习阶段类别数不一致，因此分类器参数θ需要重新初始化与更新，如公式(3)所示：
Figure RE-GDA0003633390320000063
其中，
Figure RE-GDA0003633390320000064
表示伸缩变换，初始化为1，
Figure RE-GDA0003633390320000065
表示平移变换，初始化为0，
Figure RE-GDA0003633390320000066
表示伸缩与平移变换，T(tr)表示训练数据，β表示学习率，与公式(2)中的θ不同，公式(4)中的θ关注于元学习训练任务中少量的几个类，在小样本数据中进行分类，θ′表示当前分类任务的参数；
S42：在测试过程中，通过使用测试数据T(te)计算损失值，对伸缩和平移操作进行参数优化，同时更新参数θ，如公式(4)、(5)所示：
Figure RE-GDA0003633390320000067
Figure RE-GDA0003633390320000068
对于给定的Θ，特征提取器Θ的第i层包含K个神经元，即包含K个参数对，{(Wi,k,bi,k)}分别表示权重和偏差，若输入为X，则将{ΦS{1,2}}应用于(W,b)的公式如(6)所示：
Figure RE-GDA0003633390320000071
S43：利用已经优化的伸缩和平移操作将在大规模数据集上训练的权重迁移到元学习任务中，该操作确保深度神经网络在面对小样本数据时快速收敛，并且有效地减少过拟合现象。
步骤S5所述的输出对抗样本的类别，计算准确率，包括步骤：将对抗样本输入经过元对抗训练之后的深度神经网络，计算准确率，验证网络模型面对对抗样本时的鲁棒性。
以上所述是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也视为本发明的保护范围。

Claims (6)

1.一种基于元对抗训练的深度神经网络鲁棒性增强方法，其特征在于，包括步骤
S1：使用多种对抗攻击算法生成对抗样本，验证元对抗训练防御方法的鲁棒性；
S2：将对抗样本与干净样本按照不同的比例进行融合构造训练集；
S3：使用卷积神经网络的卷积操作对所述训练集中的数据进行特征提取；
S4：元学习阶段，变换特征提取器的参数，使得深度神经网络快速适应小样本任务；
S5：输出对抗样本的类别，计算准确率。
2.如权利要求1所述的基于元对抗训练的深度神经网络鲁棒性增强方法，其特征在于，步骤S1包括步骤：分别使用BIM、C&W、DeepFool、DI2FGSM、MDI2FGSM、RGF、P-RGF和Parsimonious对抗攻击算法生成对抗样本。
3.如权利要求2所述的基于元对抗训练的深度神经网络鲁棒性增强方法，其特征在于步骤S2包括：根据步骤S1生成的多种对抗样本按照不同的比例与干净样本进行融合，构造训练集。
4.如权利要求1所述的基于元对抗训练的深度神经网络鲁棒性增强方法，其特征在于步骤S3所述的使用卷积神经网络的卷积操作对训练集中的数据进行特征提取，包括步骤：
首先初始化特征提取器Θ和分类器θ的参数，然后将miniImageNet训练集中的部分干净样本替换为生成的对抗样本，使用ResNet网络模型通过梯度下降方法学习特征提取器Θ和分类器θ的参数，如公式(1)所示：
Figure FDA0003400976320000021
其中，α表示学习率，ΛΔ表示交叉熵损失函数，
Figure FDA0003400976320000022
如公式(2)所示：
Figure FDA0003400976320000023
5.如权利要求1所述的基于元对抗训练的深度神经网络鲁棒性增强方法，其特征在于步骤S4所述的变换特征提取器的参数，使得深度神经网络快速适应小样本任务，包括步骤
S41：特征提取阶段学习的特征提取器参数Θ在小样本学习过程中保持固定，在元学习阶段对其进行伸缩和平移变换以快速适应未曾见过的数据样本；分类器参数θ重新初始化与更新，如公式(3)所示：
Figure FDA0003400976320000024
其中，
Figure FDA0003400976320000025
表示伸缩变换，初始化为1，
Figure FDA0003400976320000026
表示平移变换，初始化为0，
Figure FDA0003400976320000027
表示伸缩与平移变换，Τ(tr)表示训练数据，β表示学习率，θ′表示当前分类任务的参数；
S42：在测试过程中，通过使用测试数据Τ(te)计算损失值，对伸缩和平移操作进行参数优化，同时更新参数θ，如公式(4)、(5)所示：
Figure FDA0003400976320000031
Figure FDA0003400976320000032
对于给定的Θ，特征提取器Θ的第i层包含K个神经元，即包含K个参数对，{(Wi,k,bi,k)}分别表示权重和偏差，若输入为X，则将{ΦS{1,2}}应用于(W,b)的公式如(6)所示：
Figure FDA0003400976320000033
S43：利用已经优化的伸缩和平移操作将在大规模数据集上训练的权重迁移到元学习任务中。
6.如权利要求1所述的基于元对抗训练的深度神经网络鲁棒性增强方法，其特征在于，步骤S5所述的输出对抗样本的类别，计算准确率，包括步骤：将对抗样本输入经过元对抗训练之后的深度神经网络，计算准确率，验证网络模型面对对抗样本时的鲁棒性。
CN202111496687.9A 2021-12-09 2021-12-09 一种基于元对抗训练的深度神经网络鲁棒性增强方法 Pending CN115374931A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111496687.9A CN115374931A (zh) 2021-12-09 2021-12-09 一种基于元对抗训练的深度神经网络鲁棒性增强方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111496687.9A CN115374931A (zh) 2021-12-09 2021-12-09 一种基于元对抗训练的深度神经网络鲁棒性增强方法

Publications (1)

Publication Number Publication Date
CN115374931A true CN115374931A (zh) 2022-11-22

Family

ID=84060248

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111496687.9A Pending CN115374931A (zh) 2021-12-09 2021-12-09 一种基于元对抗训练的深度神经网络鲁棒性增强方法

Country Status (1)

Country Link
CN (1) CN115374931A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117541555A (zh) * 2023-11-16 2024-02-09 广州市公路实业发展有限公司 一种道路路面病害检测方法及系统

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117541555A (zh) * 2023-11-16 2024-02-09 广州市公路实业发展有限公司 一种道路路面病害检测方法及系统

Similar Documents

Publication Publication Date Title
CN108334936B (zh) 基于迁移卷积神经网络的故障预测方法
CN108133188B (zh) 一种基于运动历史图像与卷积神经网络的行为识别方法
CN108830285B (zh) 一种基于Faster-RCNN的加强学习的目标检测方法
CN109993100B (zh) 基于深层特征聚类的人脸表情识别的实现方法
CN113988126B (zh) 一种基于少标签数据特征迁移的滚动轴承故障诊断方法
CN107945210B (zh) 基于深度学习和环境自适应的目标跟踪方法
CN111046961B (zh) 基于双向长短时记忆单元和胶囊网络的故障分类方法
CN114417913B (zh) 基于pc-tcn和迁移学习的轴承寿命预测方法
CN114862838A (zh) 基于无监督学习的缺陷检测方法及设备
CN108596044B (zh) 基于深度卷积神经网络的行人检测方法
CN115953630A (zh) 一种基于全局-局部知识蒸馏的跨域小样本图像分类方法
CN115374931A (zh) 一种基于元对抗训练的深度神经网络鲁棒性增强方法
Nigam et al. Wheat rust disease identification using deep learning
CN114500004A (zh) 一种基于条件扩散概率生成模型的异常检测方法
CN117485842A (zh) 门式斗轮机轮斗横梁姿态实时监测方法及其系统
CN117578715A (zh) 一种电力运维智能监测预警方法、系统及存储介质
CN112581502A (zh) 一种基于孪生网络的目标跟踪方法
CN114821200B (zh) 一种应用于工业视觉检测领域的图像检测模型及方法
Kundur et al. Insect pest image detection and classification using deep learning
Saad et al. An instance segmentation framework for in-situ plankton taxa assessment
CN115393714A (zh) 一种融合图论推理的输电线路螺栓缺销钉检测方法
CN115578325A (zh) 一种基于通道注意配准网络的图像异常检测方法
Yu et al. Fault diagnosis of wearable temperature sensors based on multi-scale feature extraction
CN113076438B (zh) 一种不平衡数据集下基于多数类转化为少数类的分类方法
CN116645727B (zh) 一种基于Openpose模型算法的行为捕捉识别方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination