CN111126458A - 基于小样本的数据增强及神经网络对抗训练方法 - Google Patents

基于小样本的数据增强及神经网络对抗训练方法 Download PDF

Info

Publication number
CN111126458A
CN111126458A CN201911240414.0A CN201911240414A CN111126458A CN 111126458 A CN111126458 A CN 111126458A CN 201911240414 A CN201911240414 A CN 201911240414A CN 111126458 A CN111126458 A CN 111126458A
Authority
CN
China
Prior art keywords
neural network
generator
evaluation model
data
data enhancement
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201911240414.0A
Other languages
English (en)
Inventor
王础
范国超
郝创博
王佳佳
王东豪
刘玉蓉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Jinghang Computing Communication Research Institute
Original Assignee
Beijing Jinghang Computing Communication Research Institute
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Jinghang Computing Communication Research Institute filed Critical Beijing Jinghang Computing Communication Research Institute
Priority to CN201911240414.0A priority Critical patent/CN111126458A/zh
Publication of CN111126458A publication Critical patent/CN111126458A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/08—Detecting or categorising vehicles

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computational Linguistics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Evolutionary Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本发明属于车辆缺陷等级评估技术领域，具体涉及一种基于小样本的数据增强及神经网络对抗训练方法。本发明改进了基于生成模型数据增强的车辆损伤和缺陷等级神经网络评估模型小样本条件优化方法。基于传统生成模型数据增强方法与神经网络评估模型结构的相容性不足，因此增强数据对神经网络评估模型的性能优化作用有限。本发明提出结合神经网络评估模型结构特征的数据增强方法和神经网络评估模型基于增强数据的对抗训练方法，解决神经网络评估模型在小样本条件下模型结构性能退化的问题，提升了神经网络评估模型的性能。

Description

基于小样本的数据增强及神经网络对抗训练方法
技术领域
本发明属于车辆缺陷等级评估技术领域，具体涉及一种基于小样本的数据增强及神经网络对抗训练方法。
背景技术
车辆部件的性能与可靠性与温度、湿度、光照等环境因素密切相关。评估环境对车辆部件损伤和性能退化的影响对面向不同地区的车辆设计与制造参数的优化具有重要的指导作用。在给定环境因素中，评估车辆部件损伤和缺陷等级是评估环境对车辆影响的重要内容和环节。由于车辆部件损伤和缺陷是相关影响因素长期作用所形成的，因此试验采集的部件损伤和缺陷数据面临数据量少、成本高的问题。另一方面，基于神经网络的车辆部件损伤和缺陷等级评估模型具有高性能的前提是需要大量的损伤和缺陷数据进行训练。当车辆部件损伤和缺陷的数据量小(满足小样本条件)时，基于神经网络的部件损伤和缺陷评估模型的性能受到限制。
神经网络评估模型在小样本条件中的优化方法取得了飞速发展，通用神经网络评估模型在车辆部件损伤和缺陷等级评估领域取得了更加广泛和深入的应用。目前，神经网络评估模型在小样本条件中的优化方法以融合先验知识等学习为基本原理，主要基于数据增强、迁移学习、元学习、度量学习等优化策略。在元学习中，一些优化方法利用基于记忆的神经网络模型进行记忆增强，从而实现对已有知识的存储，利用知识记忆模型提升原有神经网络评估模型在小样本条件下的性能。在迁移学习中，一些评估方法将不同环境场景中采集的数据特征映射到公共空间，实现在单一场景采集少量数据的条件下训练神经网络评估模型。元学习基于已有的评估任务学习经验和信息，将已有的经验和信息融合到源评估模型中，从而在目标任务中通过源评估模型中存储的信息和知识，提升目标评估任务中的神经网络评估模型性能。度量学习通过构造数据特征空间和数据相似度的度量函数，利用特征相似的数据进行迁移训练，实现神经网络评估模型在小样本条件的性能。基于数据增强的神经网络评估模型优化方法利用数据增强方法和面向增强数据的模型训练方法，进一步提升评估模型的性能。
迄今为止，基于数据增强的神经网络评估模型优化方法在数据增强和模型训练准则的性能方面无法满足实际应用领域的需求。基于人工准则的数据增强方法虽然融合先验知识和数据结构信息，但是由于人工准则与神经网络评估模型结构的相容性具有不确定性，所以增强数据对神经网络评估模型性能优化效果受到限制。基于深度生成模型的数据增强方法利用变分自编码器(VAE)与对抗生成网络(GAN)等深度生成模型生成数据对车辆损伤和缺陷数据集进行数据增强。但是VAE和GAN模型缺乏可解释性，因此生成的车辆损伤和缺陷数据与神经网络评估模型缺乏关联，对神经网络评估模型的性能具有不确定性。
发明内容
(一)要解决的技术问题
本发明要解决的技术问题是如何提供一种基于小样本的数据增强及神经网络对抗训练方法。
(二)技术方案
为解决上述技术问题，本发明提供一种基于小样本的数据增强及神经网络对抗训练方法，所述方法包括：
步骤1：将数据集
Figure BDA0002306063680000021
平均分解成t份，具体形式如下：
Figure BDA0002306063680000022
步骤2：随机选取整数k∈[1...nt]，训练第一生成器G1(x,φ1)、第二生成器G2(x,φ2)和第三生成器G3(x,φ3)中的参数{φ1,φ2,φ3}，所述步骤2包括：步骤21、步骤22和步骤23；
步骤21：通过求解下面关于参数φ1的优化问题来得到第一生成器G1(x,φ1)的最优参数φ1：
Figure BDA0002306063680000031
步骤22：通过求解下面关于参数φ2的优化问题来得到第二生成器G2(x,φ2)的最优参数φ2：
Figure BDA0002306063680000032
步骤23：通过求解下面关于参数φ3的优化问题来得到生成器G3(x,φ3)的最优参数φ3：
Figure BDA0002306063680000033
步骤3：对i＝nk-1...nk，计算第一生成器G1(xi,φ1)、第二生成器G2(xi,φ2)和第三生成器G3(xi,φ3)的重要性权值W1i、W2i、W3i：
Figure BDA0002306063680000034
Figure BDA0002306063680000035
Figure BDA0002306063680000036
其中，Jl(f(x,θ),y)为交叉熵损失函数l(f(x,θ),y)关于θ的Jacobian矩阵；
Jl(f(G1(xi,φ1),θ),yi)表示Jl(f(x,θ),y)在x＝G1(xi,φ1),y＝yi处的取值；
Jl(f(G2(xi,φ2),θ),yi)表示Jl(f(x,θ),y)在x＝G2(xi,φ2),y＝yi处的取值；
Jl(f(G2(xi,φ2),θ),yi)表示Jl(f(x,θ),y)在x＝G2(xi,φ2),y＝yi处的取值；
步骤4：通过求解下面关于参数θ的优化问题，得到评估模型f(x,θ)的最优参数θ：
Figure BDA0002306063680000041
步骤5：如果迭代次数超过给定阈值ε，则终止；否则回到步骤2。
其中，所述α1为给定的权值参数。
其中，所述Jl(f(x,θ),y)为交叉熵损失函数l(f(x,θ),y)关于θ的Jacobian矩阵。
其中，所述Jl(f(G2(xi,φ2),θ),yi)表示Jl(f(x,θ),y)在x＝G2(xi,φ2),y＝yi处的取值。
其中，所述α2为给定的权值参数。
其中，Jl(f(G3(xi,φ3),θ),yi)表示Jl(f(x,θ),y)在x＝G3(xi,φ3),y＝yi处的取值。
其中，所述α3为给定的权值参数。
其中，所述c是给定的权值系数。
(三)有益效果
本发明改进了基于生成模型数据增强的车辆损伤和缺陷等级神经网络评估模型小样本条件优化方法。基于传统生成模型数据增强方法与神经网络评估模型结构的相容性不足，因此增强数据对神经网络评估模型的性能优化作用有限。本发明提出结合神经网络评估模型结构特征的数据增强方法和神经网络评估模型基于增强数据的对抗训练方法，解决神经网络评估模型在小样本条件下模型结构性能退化的问题，提升了神经网络评估模型的性能。
与现有技术相比，本发明技术方案的主要关键点包含下面几点：
(1)本发明技术方案的框架具有创新性。本发明技术方案利用生成器生成增强数据，然后在步骤3对增强数据进行重要性评分，最后利用评分加权的增强数据对神经网络评估模型进行对抗训练。
(2)在步骤21中，本发明技术方案训练增强数据第一生成器，使得生成器在数据空间中与真实数据距离较大，但是在神经网络模型中间层f’的输出与真实数据距离较小的数据。
(3)在步骤22中，本发明技术方案训练增强数据第二生成器，使得生成器生成数据在原始空间中与真实数据距离较小的同时，关于神经网络评估模型的损失函数梯度较大。增强数据的生成方法旨在解决神经网络评估模型在小样本条件下结构光滑的退化问题和神经网络模型提取车辆损伤和缺陷数据冗余特征的缺点。
(4)在步骤3中，给定数据x，对第一生成器、第二生成器和第三生成器输出的数据根据对神经网络评估模型f的重要性进行加权，加权方式是创新点。
(5)步骤4中，利用增强数据对神经网络评估模型进行训练的目标函数是创新点，现有技术中没有相同的训练方式。
附图说明
图1为本发明技术方案原理示意图。
具体实施方式
为使本发明的目的、内容、和优点更加清楚，下面结合附图和实施例，对本发明的具体实施方式作进一步详细描述。
给定车辆损伤和缺陷数据
Figure BDA0002306063680000051
其中，n为数据个数，xi为第i个数据的向量表示，yi为表示第i个数据的类别。假设神经网络评估模型输出记作f(x,θ)，神经网络评估模型中间特征层的输出记作f'(x,θ)，其中，θ为神经网络的参数。神经网络评估模型的缺陷等级评估任务训练过程等价于求解下面的优化问题：
Figure BDA0002306063680000061
其中，l(f(x,θ),y)为神经网络评估模型关于缺陷等级评估任务的交叉熵损失函数。
本发明针对神经网络评估模型结构由于车辆损伤和缺陷数据数量不足的小样本条件而导致的缺陷等级评估任务性能退化问题，提出面向小样本条件的部件损伤和缺陷神经网络评估模型优化方法，设计针对神经网络评估模型结构缺陷的数据增强方法和模型训练方法，提升基于传统生成模型的数据增强方法对神经网络评估模型结构的性能，提升了评估模型的等级预测性能。
具体而言，本发明提供一种基于小样本的数据增强及神经网络对抗训练方法，如图1所示，所述方法包括：
步骤1：将数据集
Figure BDA0002306063680000062
平均分解成t份，具体形式如下：
Figure BDA0002306063680000063
步骤2：随机选取整数k∈[1...nt]，训练第一生成器G1(x,φ1)、第二生成器G2(x,φ2)和第三生成器G3(x,φ3)中的参数{φ1,φ2,φ3}，所述步骤2包括：步骤2.1、步骤2.2和步骤2.3；
步骤2.1：通过求解下面关于参数φ1的优化问题来得到第一生成器G1(x,φ1)的最优参数φ1：
Figure BDA0002306063680000064
其中，α1为给定的权值参数；
步骤2.2：通过求解下面关于参数φ2的优化问题来得到第二生成器G2(x,φ2)的最优参数φ2：
Figure BDA0002306063680000071
其中，Jl(f(x,θ),y)为交叉熵损失函数l(f(x,θ),y)关于θ的Jacobian矩阵；
Jl(f(G2(xi,φ2),θ),yi)表示Jl(f(x,θ),y)在x＝G2(xi,φ2),y＝yi处的取值，α2为给定的权值参数；
步骤2.3：通过求解下面关于参数φ3的优化问题来得到生成器G3(x,φ3)的最优参数φ3：
Figure BDA0002306063680000072
其中，Jl(f(x,θ),y)为交叉熵损失函数l(f(x,θ),y)关于θ的Jacobian矩阵；
Jl(f(G3(xi,φ3),θ),yi)表示Jl(f(x,θ),y)在x＝G3(xi,φ3),y＝yi处的取值，α3为给定的权值参数；
步骤3：对i＝nk-1...nk，计算第一生成器G1(xi,φ1)、第二生成器G2(xi,φ2)和第三生成器G3(xi,φ3)的重要性权值W1i、W2i、W3i：
Figure BDA0002306063680000073
Figure BDA0002306063680000074
Figure BDA0002306063680000075
其中，Jl(f(x,θ),y)为交叉熵损失函数l(f(x,θ),y)关于θ的Jacobian矩阵；
Jl(f(G1(xi,φ1),θ),yi)表示Jl(f(x,θ),y)在x＝G1(xi,φ1),y＝yi处的取值；
Jl(f(G2(xi,φ2),θ),yi)表示Jl(f(x,θ),y)在x＝G2(xi,φ2),y＝yi处的取值；
Jl(f(G2(xi,φ2),θ),yi)表示Jl(f(x,θ),y)在x＝G2(xi,φ2),y＝yi处的取值；
步骤4：通过求解下面关于参数θ的优化问题，得到评估模型f(x,θ)的最优参数θ：
Figure BDA0002306063680000081
其中，c是给定的权值系数；
步骤5：如果迭代次数超过给定阈值ε，则终止；否则回到步骤2。
以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明技术原理的前提下，还可以做出若干改进和变形，这些改进和变形也应视为本发明的保护范围。

Claims (8)

1.一种基于小样本的数据增强及神经网络对抗训练方法，其特征在于，所述方法包括：
步骤1：将数据集
Figure FDA0002306063670000011
平均分解成t份，具体形式如下：
Figure FDA0002306063670000012
步骤2：随机选取整数k∈[1...nt]，训练第一生成器G1(x,φ1)、第二生成器G2(x,φ2)和第三生成器G3(x,φ3)中的参数{φ1,φ2,φ3}，所述步骤2包括：步骤21、步骤22和步骤23；
步骤21：通过求解下面关于参数φ1的优化问题来得到第一生成器G1(x,φ1)的最优参数φ1：
Figure FDA0002306063670000013
步骤22：通过求解下面关于参数φ2的优化问题来得到第二生成器G2(x,φ2)的最优参数φ2：
Figure FDA0002306063670000014
步骤23：通过求解下面关于参数φ3的优化问题来得到生成器G3(x,φ3)的最优参数φ3：
Figure FDA0002306063670000015
步骤3：对i＝nk-1...nk，计算第一生成器G1(xi,φ1)、第二生成器G2(xi,φ2)和第三生成器G3(xi,φ3)的重要性权值W1i、W2i、W3i：
Figure FDA0002306063670000016
Figure FDA0002306063670000021
Figure FDA0002306063670000022
其中，Jl(f(x,θ),y)为交叉熵损失函数l(f(x,θ),y)关于θ的Jacobian矩阵；
Jl(f(G1(xi,φ1),θ),yi)表示Jl(f(x,θ),y)在x＝G1(xi,φ1),y＝yi处的取值；
Jl(f(G2(xi,φ2),θ),yi)表示Jl(f(x,θ),y)在x＝G2(xi,φ2),y＝yi处的取值；
Jl(f(G2(xi,φ2),θ),yi)表示Jl(f(x,θ),y)在x＝G2(xi,φ2),y＝yi处的取值；
步骤4：通过求解下面关于参数θ的优化问题，得到评估模型f(x,θ)的最优参数θ：
Figure FDA0002306063670000023
步骤5：如果迭代次数超过给定阈值ε，则终止；否则回到步骤2。
2.如权利要求1所述的基于小样本的数据增强及神经网络对抗训练方法，其特征在于，所述α1为给定的权值参数。
3.如权利要求1所述的基于小样本的数据增强及神经网络对抗训练方法，其特征在于，所述Jl(f(x,θ),y)为交叉熵损失函数l(f(x,θ),y)关于θ的Jacobian矩阵。
4.如权利要求1所述的基于小样本的数据增强及神经网络对抗训练方法，其特征在于，所述Jl(f(G2(xi,φ2),θ),yi)表示Jl(f(x,θ),y)在x＝G2(xi,φ2),y＝yi处的取值。
5.如权利要求1所述的基于小样本的数据增强及神经网络对抗训练方法，其特征在于，所述α2为给定的权值参数。
6.如权利要求1所述的基于小样本的数据增强及神经网络对抗训练方法，其特征在于，Jl(f(G3(xi,φ3),θ),yi)表示Jl(f(x,θ),y)在x＝G3(xi,φ3),y＝yi处的取值。
7.如权利要求1所述的基于小样本的数据增强及神经网络对抗训练方法，其特征在于，所述α3为给定的权值参数。
8.如权利要求1所述的基于小样本的数据增强及神经网络对抗训练方法，其特征在于，所述c是给定的权值系数。
CN201911240414.0A 2019-12-06 2019-12-06 基于小样本的数据增强及神经网络对抗训练方法 Pending CN111126458A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911240414.0A CN111126458A (zh) 2019-12-06 2019-12-06 基于小样本的数据增强及神经网络对抗训练方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911240414.0A CN111126458A (zh) 2019-12-06 2019-12-06 基于小样本的数据增强及神经网络对抗训练方法

Publications (1)

Publication Number Publication Date
CN111126458A true CN111126458A (zh) 2020-05-08

Family

ID=70497635

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911240414.0A Pending CN111126458A (zh) 2019-12-06 2019-12-06 基于小样本的数据增强及神经网络对抗训练方法

Country Status (1)

Country Link
CN (1) CN111126458A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113917938A (zh) * 2021-10-08 2022-01-11 北京京航计算通讯研究所 小样本条件下的飞行器姿态控制数据增强和模型训练方法
CN116777292A (zh) * 2023-06-30 2023-09-19 北京京航计算通讯研究所 基于多批次小样本航天产品的缺陷率指标修正方法

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113917938A (zh) * 2021-10-08 2022-01-11 北京京航计算通讯研究所 小样本条件下的飞行器姿态控制数据增强和模型训练方法
CN113917938B (zh) * 2021-10-08 2024-04-19 北京京航计算通讯研究所 小样本条件下的飞行器姿态控制数据增强和模型训练方法
CN116777292A (zh) * 2023-06-30 2023-09-19 北京京航计算通讯研究所 基于多批次小样本航天产品的缺陷率指标修正方法
CN116777292B (zh) * 2023-06-30 2024-04-16 北京京航计算通讯研究所 基于多批次小样本航天产品的缺陷率指标修正方法

Similar Documents

Publication Publication Date Title
CN111126794A (zh) 基于小样本的数据增强及神经网络对抗训练系统
CN111723780B (zh) 基于高分辨率遥感图像的跨域数据的定向迁移方法及系统
CN109902018B (zh) 一种智能驾驶系统测试案例的获取方法
CN107016464B (zh) 基于动态贝叶斯网络的威胁估计方法
CN110888058A (zh) 一种基于动力电池soc和soh联合估计的算法
CN111199270A (zh) 一种基于深度学习的区域波高预报方法及终端
CN108710576B (zh) 基于异构迁移的数据集扩充方法及软件缺陷预测方法
CN111126458A (zh) 基于小样本的数据增强及神经网络对抗训练方法
CN111353545A (zh) 一种基于稀疏网络迁移的植株病虫害识别方法
CN110826244B (zh) 模拟轨道交通影响城市生长的共轭梯度元胞自动机方法
CN108182500A (zh) 基于加速寿命试验的弹药贮存可靠性预测方法
CN109960755B (zh) 一种基于动态迭代快速梯度的用户隐私保护方法
WO2023216725A1 (zh) 一种改进的主动学习遥感样本标记方法
CN115345297A (zh) 一种基于生成对抗网络的台区样本生成方法及系统
CN110705045A (zh) 一种利用网络拓扑特性构建加权网络的链路预测方法
CN109754135B (zh) 信用行为数据处理方法、装置、存储介质和计算机设备
CN116137059A (zh) 基于多层次特征提取网络模型的三维点云质量评价方法
CN115051925A (zh) 一种基于迁移学习的时空序列预测方法
CN116956733A (zh) 基于改进蜣螂算法的光伏电池模型参数辨识方法
CN114283083B (zh) 一种基于解耦表示的场景生成模型的美学增强方法
CN113076490B (zh) 一种基于混合节点图的涉案微博对象级情感分类方法
CN114818271A (zh) 一种基于三维设计的输变电工程评价系统及方法
CN110717281A (zh) 基于犹豫云语言术语集和群决策的仿真模型可信度评估方法
Zhang et al. C 3-GAN: Complex-Condition-Controlled Urban Traffic Estimation through Generative Adversarial Networks
CN109581194B (zh) 一种电子系统故障测试策略动态生成方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20200508

RJ01 Rejection of invention patent application after publication