CN111126794A - 基于小样本的数据增强及神经网络对抗训练系统 - Google Patents

基于小样本的数据增强及神经网络对抗训练系统 Download PDF

Info

Publication number
CN111126794A
CN111126794A CN201911240412.1A CN201911240412A CN111126794A CN 111126794 A CN111126794 A CN 111126794A CN 201911240412 A CN201911240412 A CN 201911240412A CN 111126794 A CN111126794 A CN 111126794A
Authority
CN
China
Prior art keywords
generator
training
neural network
theta
module
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201911240412.1A
Other languages
English (en)
Inventor
王础
范国超
郝创博
王佳佳
王东豪
刘玉蓉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Jinghang Computing Communication Research Institute
Original Assignee
Beijing Jinghang Computing Communication Research Institute
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Jinghang Computing Communication Research Institute filed Critical Beijing Jinghang Computing Communication Research Institute
Priority to CN201911240412.1A priority Critical patent/CN111126794A/zh
Publication of CN111126794A publication Critical patent/CN111126794A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/06—Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
    • G06Q10/063—Operations research, analysis or management
    • G06Q10/0639—Performance analysis of employees; Performance analysis of enterprise or organisation operations
    • G06Q10/06393—Score-carding, benchmarking or key performance indicator [KPI] analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/082—Learning methods modifying the architecture, e.g. adding, deleting or silencing nodes or connections

Landscapes

  • Business, Economics & Management (AREA)
  • Engineering & Computer Science (AREA)
  • Human Resources & Organizations (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Strategic Management (AREA)
  • Educational Administration (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Economics (AREA)
  • Development Economics (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computational Linguistics (AREA)
  • Quality & Reliability (AREA)
  • General Business, Economics & Management (AREA)
  • Operations Research (AREA)
  • Marketing (AREA)
  • Health & Medical Sciences (AREA)
  • Game Theory and Decision Science (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Tourism & Hospitality (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Feedback Control In General (AREA)

Abstract

本发明属于车辆缺陷等级评估技术领域，具体涉及一种基于小样本的数据增强及神经网络对抗训练系统。本发明改进了基于生成模型数据增强的车辆损伤和缺陷等级神经网络评估模型小样本条件优化方案。基于传统生成模型数据增强方法与神经网络评估模型结构的相容性不足，因此增强数据对神经网络评估模型的性能优化作用有限。本发明提出结合神经网络评估模型结构特征的数据增强方法和神经网络评估模型基于增强数据的对抗训练系统，解决神经网络评估模型在小样本条件下模型结构性能退化的问题，提升了神经网络评估模型的性能。

Description

基于小样本的数据增强及神经网络对抗训练系统
技术领域
本发明属于车辆缺陷等级评估技术领域，具体涉及一种基于小样本的数据增强及神经网络对抗训练系统。
背景技术
车辆部件的性能与可靠性与温度、湿度、光照等环境因素密切相关。评估环境对车辆部件损伤和性能退化的影响对面向不同地区的车辆设计与制造参数的优化具有重要的指导作用。在给定环境因素中，评估车辆部件损伤和缺陷等级是评估环境对车辆影响的重要内容和环节。由于车辆部件损伤和缺陷是相关影响因素长期作用所形成的，因此试验采集的部件损伤和缺陷数据面临数据量少、成本高的问题。另一方面，基于神经网络的车辆部件损伤和缺陷等级评估模型具有高性能的前提是需要大量的损伤和缺陷数据进行训练。当车辆部件损伤和缺陷的数据量小(满足小样本条件)时，基于神经网络的部件损伤和缺陷评估模型的性能受到限制。
神经网络评估模型在小样本条件中的优化方法取得了飞速发展，通用神经网络评估模型在车辆部件损伤和缺陷等级评估领域取得了更加广泛和深入的应用。目前，神经网络评估模型在小样本条件中的优化方法以融合先验知识等学习为基本原理，主要基于数据增强、迁移学习、元学习、度量学习等优化策略。在元学习中，一些优化方法利用基于记忆的神经网络模型进行记忆增强，从而实现对已有知识的存储，利用知识记忆模型提升原有神经网络评估模型在小样本条件下的性能。在迁移学习中，一些评估方法将不同环境场景中采集的数据特征映射到公共空间，实现在单一场景采集少量数据的条件下训练神经网络评估模型。元学习基于已有的评估任务学习经验和信息，将已有的经验和信息融合到源评估模型中，从而在目标任务中通过源评估模型中存储的信息和知识，提升目标评估任务中的神经网络评估模型性能。度量学习通过构造数据特征空间和数据相似度的度量函数，利用特征相似的数据进行迁移训练，实现神经网络评估模型在小样本条件的性能。基于数据增强的神经网络评估模型优化方法利用数据增强方法和面向增强数据的模型训练方法，进一步提升评估模型的性能。
迄今为止，基于数据增强的神经网络评估模型优化方法在数据增强和模型训练准则的性能方面无法满足实际应用领域的需求。基于人工准则的数据增强方法虽然融合先验知识和数据结构信息，但是由于人工准则与神经网络评估模型结构的相容性具有不确定性，所以增强数据对神经网络评估模型性能优化效果受到限制。基于深度生成模型的数据增强方法利用变分自编码器(VAE)与对抗生成网络(GAN)等深度生成模型生成数据对车辆损伤和缺陷数据集进行数据增强。但是VAE和GAN模型缺乏可解释性，因此生成的车辆损伤和缺陷数据与神经网络评估模型缺乏关联，对神经网络评估模型的性能具有不确定性。
发明内容
(一)要解决的技术问题
本发明要解决的技术问题是如何提供一种基于小样本的数据增强及神经网络对抗训练系统。
(二)技术方案
为解决上述技术问题，本发明提供一种基于小样本的数据增强及神经网络对抗训练系统，所述系统包括：数据集分解模块、生成器训练模块、权值获取模块、最优参数获取模块、迭代控制模块；
所述数据集分解模块用于将数据集
Figure BDA0002306060990000021
平均分解成t份，具体形式如下：
Figure BDA0002306060990000031
所述生成器训练模块用于随机选取整数k∈[1...nt]，训练第一生成器G1(x,φ1)、第二生成器G2(x,φ2)和第三生成器G3(x,φ3)中的参数{φ1,φ2,φ3}，所述生成器训练模块包括：第一训练单元、第二训练单元和第三训练单元；
所述第一训练单元用于通过求解下面关于参数φ1的优化问题来得到第一生成器G1(x,φ1)的最优参数φ1：
Figure BDA0002306060990000032
所述第二训练单元用于通过求解下面关于参数φ2的优化问题来得到第二生成器G2(x,φ2)的最优参数φ2：
Figure BDA0002306060990000033
所述第三训练单元用于通过求解下面关于参数φ3的优化问题来得到生成器G3(x,φ3)的最优参数φ3：
Figure BDA0002306060990000034
所述权值获取模块用于对i＝nk-1...nk，计算第一生成器G1(xi,φ1)、第二生成器G2(xi,φ2)和第三生成器G3(xi,φ3)的重要性权值W1i、W2i、W3i：
Figure BDA0002306060990000035
Figure BDA0002306060990000036
Figure BDA0002306060990000037
其中，Jl(f(x,θ),y)为交叉熵损失函数l(f(x,θ),y)关于θ的Jacobian矩阵；
Jl(f(G1(xi,φ1),θ),yi)表示Jl(f(x,θ),y)在x＝G1(xi,φ1),y＝yi处的取值；
Jl(f(G2(xi,φ2),θ),yi)表示Jl(f(x,θ),y)在x＝G2(xi,φ2),y＝yi处的取值；
Jl(f(G2(xi,φ2),θ),yi)表示Jl(f(x,θ),y)在x＝G2(xi,φ2),y＝yi处的取值；
所述最优参数获取模块用于通过求解下面关于参数θ的优化问题，得到评估模型f(x,θ)的最优参数θ：
Figure BDA0002306060990000041
所述迭代控制模块用于判断迭代次数是否超过给定阈值ε，则终止训练过程；否则控制所述生成器训练模块继续训练过程；
所述系统的工作过程如下：
步骤1：数据集分解模块将数据集
Figure BDA0002306060990000042
平均分解成t份，具体形式如下：
Figure BDA0002306060990000043
步骤2：生成器训练模块随机选取整数k∈[1...nt]，训练第一生成器G1(x,φ1)、第二生成器G2(x,φ2)和第三生成器G3(x,φ3)中的参数{φ1,φ2,φ3}，所述步骤2包括：步骤21、步骤22和步骤23；
步骤21：第一训练单元通过求解下面关于参数φ1的优化问题来得到第一生成器G1(x,φ1)的最优参数φ1：
Figure BDA0002306060990000044
步骤22：第二训练单元通过求解下面关于参数φ2的优化问题来得到第二生成器G2(x,φ2)的最优参数φ2：
Figure BDA0002306060990000051
步骤23：第三训练单元通过求解下面关于参数φ3的优化问题来得到生成器G3(x,φ3)的最优参数φ3：
Figure BDA0002306060990000052
步骤3：权值获取模块对i＝nk-1...nk，计算第一生成器G1(xi,φ1)、第二生成器G2(xi,φ2)和第三生成器G3(xi,φ3)的重要性权值W1i、W2i、W3i：
Figure BDA0002306060990000053
Figure BDA0002306060990000054
Figure BDA0002306060990000055
其中，Jl(f(x,θ),y)为交叉熵损失函数l(f(x,θ),y)关于θ的Jacobian矩阵；
Jl(f(G1(xi,φ1),θ),yi)表示Jl(f(x,θ),y)在x＝G1(xi,φ1),y＝yi处的取值；
Jl(f(G2(xi,φ2),θ),yi)表示Jl(f(x,θ),y)在x＝G2(xi,φ2),y＝yi处的取值；
Jl(f(G2(xi,φ2),θ),yi)表示Jl(f(x,θ),y)在x＝G2(xi,φ2),y＝yi处的取值；
步骤4：最优参数获取模块通过求解下面关于参数θ的优化问题，得到评估模型f(x,θ)的最优参数θ：
Figure BDA0002306060990000056
步骤5：迭代控制模块进行判断，如果迭代次数超过给定阈值ε，则终止；否则回到步骤2。
其中，所述α1为给定的权值参数。
其中，所述Jl(f(x,θ),y)为交叉熵损失函数l(f(x,θ),y)关于θ的Jacobian矩阵。
其中，所述Jl(f(G2(xi,φ2),θ),yi)表示Jl(f(x,θ),y)在x＝G2(xi,φ2),y＝yi处的取值。
其中，所述α2为给定的权值参数。
其中，Jl(f(G3(xi,φ3),θ),yi)表示Jl(f(x,θ),y)在x＝G3(xi,φ3),y＝yi处的取值。
其中，所述α3为给定的权值参数。
其中，所述c是给定的权值系数。
(三)有益效果
本发明改进了基于生成模型数据增强的车辆损伤和缺陷等级神经网络评估模型小样本条件优化方案。基于传统生成模型数据增强方法与神经网络评估模型结构的相容性不足，因此增强数据对神经网络评估模型的性能优化作用有限。本发明提出结合神经网络评估模型结构特征的数据增强方法和神经网络评估模型基于增强数据的对抗训练系统，解决神经网络评估模型在小样本条件下模型结构性能退化的问题，提升了神经网络评估模型的性能。
与现有技术相比，本发明技术方案的主要关键点包含下面几点：
(1)本发明技术方案的框架具有创新性。本发明技术方案利用生成器生成增强数据，然后在权值获取模块对增强数据进行重要性评分，最后利用评分加权的增强数据对神经网络评估模型进行对抗训练。
(2)在第一训练单元处，本发明技术方案训练增强数据第一生成器，使得生成器在数据空间中与真实数据距离较大，但是在神经网络模型中间层f’的输出与真实数据距离较小的数据。
(3)在第二训练单元处，本发明技术方案训练增强数据第二生成器，使得生成器生成数据在原始空间中与真实数据距离较小的同时，关于神经网络评估模型的损失函数梯度较大。增强数据的生成方法旨在解决神经网络评估模型在小样本条件下结构光滑的退化问题和神经网络模型提取车辆损伤和缺陷数据冗余特征的缺点。
(4)在权值获取模块中，给定数据x，对第一生成器、第二生成器和第三生成器输出的数据根据对神经网络评估模型f的重要性进行加权，加权方式是创新点。
(5)在最优参数获取模块处，利用增强数据对神经网络评估模型进行训练的目标函数是创新点，现有技术中没有相同的训练方式。
附图说明
图1为本发明技术方案原理示意图。
具体实施方式
为使本发明的目的、内容、和优点更加清楚，下面结合附图和实施例，对本发明的具体实施方式作进一步详细描述。
给定车辆损伤和缺陷数据
Figure BDA0002306060990000071
其中，n为数据个数，xi为第i个数据的向量表示，yi为表示第i个数据的类别。假设神经网络评估模型输出记作f(x,θ)，神经网络评估模型中间特征层的输出记作f'(x,θ)，其中，θ为神经网络的参数。神经网络评估模型的缺陷等级评估任务训练过程等价于求解下面的优化问题：
Figure BDA0002306060990000072
其中，l(f(x,θ),y)为神经网络评估模型关于缺陷等级评估任务的交叉熵损失函数。
本发明针对神经网络评估模型结构由于车辆损伤和缺陷数据数量不足的小样本条件而导致的缺陷等级评估任务性能退化问题，提出面向小样本条件的部件损伤和缺陷神经网络评估模型优化方法，设计针对神经网络评估模型结构缺陷的数据增强方法和模型训练方法，提升基于传统生成模型的数据增强方法对神经网络评估模型结构的性能，提升了评估模型的等级预测性能。
具体而言，本发明提供一种基于小样本的数据增强及神经网络对抗训练系统，所述系统包括：数据集分解模块、生成器训练模块、权值获取模块、最优参数获取模块、迭代控制模块；
所述数据集分解模块用于将数据集
Figure BDA0002306060990000081
平均分解成t份，具体形式如下：
Figure BDA0002306060990000082
所述生成器训练模块用于随机选取整数k∈[1...nt]，训练第一生成器G1(x,φ1)、第二生成器G2(x,φ2)和第三生成器G3(x,φ3)中的参数
{φ1,φ2,φ3}，所述生成器训练模块包括：第一训练单元、第二训练单元和第三训练单元；
所述第一训练单元用于通过求解下面关于参数φ1的优化问题来得到第一生成器G1(x,φ1)的最优参数φ1：
Figure BDA0002306060990000083
所述第二训练单元用于通过求解下面关于参数φ2的优化问题来得到第二生成器G2(x,φ2)的最优参数φ2：
Figure BDA0002306060990000084
所述第三训练单元用于通过求解下面关于参数φ3的优化问题来得到生成器G3(x,φ3)的最优参数φ3：
Figure BDA0002306060990000091
所述权值获取模块用于对i＝nk-1...nk，计算第一生成器G1(xi,φ1)、第二生成器G2(xi,φ2)和第三生成器G3(xi,φ3)的重要性权值W1i、W2i、W3i：
Figure BDA0002306060990000092
Figure BDA0002306060990000093
Figure BDA0002306060990000094
其中，Jl(f(x,θ),y)为交叉熵损失函数l(f(x,θ),y)关于θ的Jacobian矩阵；
Jl(f(G1(xi,φ1),θ),yi)表示Jl(f(x,θ),y)在x＝G1(xi,φ1),y＝yi处的取值；
Jl(f(G2(xi,φ2),θ),yi)表示Jl(f(x,θ),y)在x＝G2(xi,φ2),y＝yi处的取值；
Jl(f(G2(xi,φ2),θ),yi)表示Jl(f(x,θ),y)在x＝G2(xi,φ2),y＝yi处的取值；
所述最优参数获取模块用于通过求解下面关于参数θ的优化问题，得到评估模型f(x,θ)的最优参数θ：
Figure BDA0002306060990000095
所述迭代控制模块用于判断迭代次数是否超过给定阈值ε，则终止训练过程；否则控制所述生成器训练模块继续训练过程；
所述系统的工作过程如下：
步骤1：数据集分解模块将数据集
Figure BDA0002306060990000096
平均分解成t份，具体形式如下：
Figure BDA0002306060990000101
步骤2：生成器训练模块随机选取整数k∈[1...nt]，训练第一生成器G1(x,φ1)、第二生成器G2(x,φ2)和第三生成器G3(x,φ3)中的参数{φ1,φ2,φ3}，所述步骤2包括：步骤21、步骤22和步骤23；
步骤21：第一训练单元通过求解下面关于参数φ1的优化问题来得到第一生成器G1(x,φ1)的最优参数φ1：
Figure BDA0002306060990000102
步骤22：第二训练单元通过求解下面关于参数φ2的优化问题来得到第二生成器G2(x,φ2)的最优参数φ2：
Figure BDA0002306060990000103
步骤23：第三训练单元通过求解下面关于参数φ3的优化问题来得到生成器G3(x,φ3)的最优参数φ3：
Figure BDA0002306060990000104
步骤3：权值获取模块对i＝nk-1...nk，计算第一生成器G1(xi,φ1)、第二生成器G2(xi,φ2)和第三生成器G3(xi,φ3)的重要性权值W1i、W2i、W3i：
Figure BDA0002306060990000105
Figure BDA0002306060990000106
Figure BDA0002306060990000107
其中，Jl(f(x,θ),y)为交叉熵损失函数l(f(x,θ),y)关于θ的Jacobian矩阵；
Jl(f(G1(xi,φ1),θ),yi)表示Jl(f(x,θ),y)在x＝G1(xi,φ1),y＝yi处的取值；
Jl(f(G2(xi,φ2),θ),yi)表示Jl(f(x,θ),y)在x＝G2(xi,φ2),y＝yi处的取值；
Jl(f(G2(xi,φ2),θ),yi)表示Jl(f(x,θ),y)在x＝G2(xi,φ2),y＝yi处的取值；
步骤4：最优参数获取模块通过求解下面关于参数θ的优化问题，得到评估模型f(x,θ)的最优参数θ：
Figure BDA0002306060990000111
步骤5：迭代控制模块进行判断，如果迭代次数超过给定阈值ε，则终止；否则回到步骤2。
其中，所述α1为给定的权值参数。
其中，所述Jl(f(x,θ),y)为交叉熵损失函数l(f(x,θ),y)关于θ的Jacobian矩阵。
其中，所述Jl(f(G2(xi,φ2),θ),yi)表示Jl(f(x,θ),y)在x＝G2(xi,φ2),y＝yi处的取值。
其中，所述α2为给定的权值参数。
其中，Jl(f(G3(xi,φ3),θ),yi)表示Jl(f(x,θ),y)在x＝G3(xi,φ3),y＝yi处的取值。
其中，所述α3为给定的权值参数。
其中，所述c是给定的权值系数。
此外，本发明还提供一种基于小样本的数据增强及神经网络对抗训练方法，如图1所示，所述方法包括：
步骤1：将数据集
Figure BDA0002306060990000112
平均分解成t份，具体形式如下：
Figure BDA0002306060990000121
步骤2：随机选取整数k∈[1...nt]，训练第一生成器G1(x,φ1)、第二生成器G2(x,φ2)和第三生成器G3(x,φ3)中的参数{φ1,φ2,φ3}，所述步骤2包括：步骤2.1、步骤2.2和步骤2.3；
步骤2.1：通过求解下面关于参数φ1的优化问题来得到第一生成器G1(x,φ1)的最优参数φ1：
Figure BDA0002306060990000122
其中，α1为给定的权值参数；
步骤2.2：通过求解下面关于参数φ2的优化问题来得到第二生成器G2(x,φ2)的最优参数φ2：
Figure BDA0002306060990000123
其中，Jl(f(x,θ),y)为交叉熵损失函数l(f(x,θ),y)关于θ的Jacobian矩阵；
Jl(f(G2(xi,φ2),θ),yi)表示Jl(f(x,θ),y)在x＝G2(xi,φ2),y＝yi处的取值，α2为给定的权值参数；
步骤2.3：通过求解下面关于参数φ3的优化问题来得到生成器G3(x,φ3)的最优参数φ3：
Figure BDA0002306060990000124
其中，Jl(f(x,θ),y)为交叉熵损失函数l(f(x,θ),y)关于θ的Jacobian矩阵；
Jl(f(G3(xi,φ3),θ),yi)表示Jl(f(x,θ),y)在x＝G3(xi,φ3),y＝yi处的取值，α3为给定的权值参数；
步骤3：对i＝nk-1...nk，计算第一生成器G1(xi,φ1)、第二生成器G2(xi,φ2)和第三生成器G3(xi,φ3)的重要性权值W1i、W2i、W3i：
Figure BDA0002306060990000131
Figure BDA0002306060990000132
Figure BDA0002306060990000133
其中，Jl(f(x,θ),y)为交叉熵损失函数l(f(x,θ),y)关于θ的Jacobian矩阵；
Jl(f(G1(xi,φ1),θ),yi)表示Jl(f(x,θ),y)在x＝G1(xi,φ1),y＝yi处的取值；
Jl(f(G2(xi,φ2),θ),yi)表示Jl(f(x,θ),y)在x＝G2(xi,φ2),y＝yi处的取值；
Jl(f(G2(xi,φ2),θ),yi)表示Jl(f(x,θ),y)在x＝G2(xi,φ2),y＝yi处的取值；
步骤4：通过求解下面关于参数θ的优化问题，得到评估模型f(x,θ)的最优参数θ：
Figure BDA0002306060990000134
其中，c是给定的权值系数；
步骤5：如果迭代次数超过给定阈值ε，则终止；否则回到步骤2。
以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明技术原理的前提下，还可以做出若干改进和变形，这些改进和变形也应视为本发明的保护范围。

Claims (8)

1.一种基于小样本的数据增强及神经网络对抗训练系统，其特征在于，所述系统包括：数据集分解模块、生成器训练模块、权值获取模块、最优参数获取模块、迭代控制模块；
所述数据集分解模块用于将数据集
Figure FDA0002306060980000011
平均分解成t份，具体形式如下：
Figure FDA0002306060980000012
所述生成器训练模块用于随机选取整数k∈[1...nt]，训练第一生成器G1(x,φ1)、第二生成器G2(x,φ2)和第三生成器G3(x,φ3)中的参数{φ1,φ2,φ3}，所述生成器训练模块包括：第一训练单元、第二训练单元和第三训练单元；
所述第一训练单元用于通过求解下面关于参数φ1的优化问题来得到第一生成器G1(x,φ1)的最优参数φ1：
Figure FDA0002306060980000013
所述第二训练单元用于通过求解下面关于参数φ2的优化问题来得到第二生成器G2(x,φ2)的最优参数φ2：
Figure FDA0002306060980000014
所述第三训练单元用于通过求解下面关于参数φ3的优化问题来得到生成器G3(x,φ3)的最优参数φ3：
Figure FDA0002306060980000015
所述权值获取模块用于对i＝nk-1...nk，计算第一生成器G1(xi,φ1)、第二生成器G2(xi,φ2)和第三生成器G3(xi,φ3)的重要性权值W1i、W2i、W3i：
Figure FDA0002306060980000021
Figure FDA0002306060980000022
Figure FDA0002306060980000023
其中，Jl(f(x,θ),y)为交叉熵损失函数l(f(x,θ),y)关于θ的Jacobian矩阵；
Jl(f(G1(xi,φ1),θ),yi)表示Jl(f(x,θ),y)在x＝G1(xi,φ1),y＝yi处的取值；
Jl(f(G2(xi,φ2),θ),yi)表示Jl(f(x,θ),y)在x＝G2(xi,φ2),y＝yi处的取值；
Jl(f(G2(xi,φ2),θ),yi)表示Jl(f(x,θ),y)在x＝G2(xi,φ2),y＝yi处的取值；
所述最优参数获取模块用于通过求解下面关于参数θ的优化问题，得到评估模型f(x,θ)的最优参数θ：
Figure FDA0002306060980000024
所述迭代控制模块用于判断迭代次数是否超过给定阈值ε，则终止训练过程；否则控制所述生成器训练模块继续训练过程；
所述系统的工作过程如下：
步骤1：数据集分解模块将数据集
Figure FDA0002306060980000025
平均分解成t份，具体形式如下：
Figure FDA0002306060980000026
步骤2：生成器训练模块随机选取整数k∈[1...nt]，训练第一生成器G1(x,φ1)、第二生成器G2(x,φ2)和第三生成器G3(x,φ3)中的参数{φ1,φ2,φ3}，所述步骤2包括：步骤21、步骤22和步骤23；
步骤21：第一训练单元通过求解下面关于参数φ1的优化问题来得到第一生成器G1(x,φ1)的最优参数φ1：
Figure FDA0002306060980000031
步骤22：第二训练单元通过求解下面关于参数φ2的优化问题来得到第二生成器G2(x,φ2)的最优参数φ2：
Figure FDA0002306060980000032
步骤23：第三训练单元通过求解下面关于参数φ3的优化问题来得到生成器G3(x,φ3)的最优参数φ3：
Figure FDA0002306060980000033
步骤3：权值获取模块对i＝nk-1...nk，计算第一生成器G1(xi,φ1)、第二生成器G2(xi,φ2)和第三生成器G3(xi,φ3)的重要性权值W1i、W2i、W3i：
Figure FDA0002306060980000034
Figure FDA0002306060980000035
Figure FDA0002306060980000036
其中，Jl(f(x,θ),y)为交叉熵损失函数l(f(x,θ),y)关于θ的Jacobian矩阵；
Jl(f(G1(xi,φ1),θ),yi)表示Jl(f(x,θ),y)在x＝G1(xi,φ1),y＝yi处的取值；
Jl(f(G2(xi,φ2),θ),yi)表示Jl(f(x,θ),y)在x＝G2(xi,φ2),y＝yi处的取值；
Jl(f(G2(xi,φ2),θ),yi)表示Jl(f(x,θ),y)在x＝G2(xi,φ2),y＝yi处的取值；
步骤4：最优参数获取模块通过求解下面关于参数θ的优化问题，得到评估模型f(x,θ)的最优参数θ：
Figure FDA0002306060980000041
步骤5：迭代控制模块进行判断，如果迭代次数超过给定阈值ε，则终止；否则回到步骤2。
2.如权利要求1所述的基于小样本的数据增强及神经网络对抗训练系统，其特征在于，所述α1为给定的权值参数。
3.如权利要求1所述的基于小样本的数据增强及神经网络对抗训练系统，其特征在于，所述Jl(f(x,θ),y)为交叉熵损失函数l(f(x,θ),y)关于θ的Jacobian矩阵。
4.如权利要求1所述的基于小样本的数据增强及神经网络对抗训练系统，其特征在于，所述Jl(f(G2(xi,φ2),θ),yi)表示Jl(f(x,θ),y)在x＝G2(xi,φ2),y＝yi处的取值。
5.如权利要求1所述的基于小样本的数据增强及神经网络对抗训练系统，其特征在于，所述α2为给定的权值参数。
6.如权利要求1所述的基于小样本的数据增强及神经网络对抗训练系统，其特征在于，Jl(f(G3(xi,φ3),θ),yi)表示Jl(f(x,θ),y)在x＝G3(xi,φ3),y＝yi处的取值。
7.如权利要求1所述的基于小样本的数据增强及神经网络对抗训练系统，其特征在于，所述α3为给定的权值参数。
8.如权利要求1所述的基于小样本的数据增强及神经网络对抗训练系统，其特征在于，所述c是给定的权值系数。
CN201911240412.1A 2019-12-06 2019-12-06 基于小样本的数据增强及神经网络对抗训练系统 Pending CN111126794A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911240412.1A CN111126794A (zh) 2019-12-06 2019-12-06 基于小样本的数据增强及神经网络对抗训练系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911240412.1A CN111126794A (zh) 2019-12-06 2019-12-06 基于小样本的数据增强及神经网络对抗训练系统

Publications (1)

Publication Number Publication Date
CN111126794A true CN111126794A (zh) 2020-05-08

Family

ID=70496274

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911240412.1A Pending CN111126794A (zh) 2019-12-06 2019-12-06 基于小样本的数据增强及神经网络对抗训练系统

Country Status (1)

Country Link
CN (1) CN111126794A (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111816306A (zh) * 2020-09-14 2020-10-23 颐保医疗科技(上海)有限公司 一种医学数据处理方法、预测模型的训练方法及装置
CN112991346A (zh) * 2021-05-13 2021-06-18 深圳科亚医疗科技有限公司 用于医学图像分析的学习网络的训练方法和训练系统
CN113917938A (zh) * 2021-10-08 2022-01-11 北京京航计算通讯研究所 小样本条件下的飞行器姿态控制数据增强和模型训练方法
CN116957052A (zh) * 2023-06-09 2023-10-27 清华大学 基于构造样本相似度的风险评估模型的训练方法
CN117743719A (zh) * 2023-12-22 2024-03-22 北京京航计算通讯研究所 一种页面元素的识别方法

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111816306A (zh) * 2020-09-14 2020-10-23 颐保医疗科技(上海)有限公司 一种医学数据处理方法、预测模型的训练方法及装置
CN111816306B (zh) * 2020-09-14 2020-12-22 颐保医疗科技(上海)有限公司 一种医学数据处理方法、预测模型的训练方法及装置
CN112991346A (zh) * 2021-05-13 2021-06-18 深圳科亚医疗科技有限公司 用于医学图像分析的学习网络的训练方法和训练系统
CN112991346B (zh) * 2021-05-13 2022-04-26 深圳科亚医疗科技有限公司 用于医学图像分析的学习网络的训练方法和训练系统
CN113917938A (zh) * 2021-10-08 2022-01-11 北京京航计算通讯研究所 小样本条件下的飞行器姿态控制数据增强和模型训练方法
CN113917938B (zh) * 2021-10-08 2024-04-19 北京京航计算通讯研究所 小样本条件下的飞行器姿态控制数据增强和模型训练方法
CN116957052A (zh) * 2023-06-09 2023-10-27 清华大学 基于构造样本相似度的风险评估模型的训练方法
CN116957052B (zh) * 2023-06-09 2024-06-04 清华大学 基于构造样本相似度的风险评估模型的训练方法
CN117743719A (zh) * 2023-12-22 2024-03-22 北京京航计算通讯研究所 一种页面元素的识别方法

Similar Documents

Publication Publication Date Title
CN111126794A (zh) 基于小样本的数据增强及神经网络对抗训练系统
CN110569886B (zh) 一种双向通道注意力元学习的图像分类方法
CN111723780B (zh) 基于高分辨率遥感图像的跨域数据的定向迁移方法及系统
CN109902018B (zh) 一种智能驾驶系统测试案例的获取方法
CN108710576B (zh) 基于异构迁移的数据集扩充方法及软件缺陷预测方法
CN111126458A (zh) 基于小样本的数据增强及神经网络对抗训练方法
CN109754135B (zh) 信用行为数据处理方法、装置、存储介质和计算机设备
CN113239884A (zh) 电梯轿厢内人体行为识别方法
CN115345297A (zh) 一种基于生成对抗网络的台区样本生成方法及系统
Marengoni et al. Decision making and uncertainty management in a 3D reconstruction system
CN115345222A (zh) 一种基于TimeGAN模型的故障分类方法
CN115051925A (zh) 一种基于迁移学习的时空序列预测方法
CN114897204A (zh) 一种海上风电场短期风速预测方法和装置
CN111539250B (zh) 一种基于神经网络的图像雾浓度估计方法、系统和终端
CN109581194B (zh) 一种电子系统故障测试策略动态生成方法
CN113553918A (zh) 一种基于脉冲主动学习的机打发票字符识别方法
CN116796821A (zh) 面向3d目标检测算法的高效神经网络架构搜索方法及装置
CN115952924B (zh) 一种基于优化vmd与特征热力图的短期风电功率预测方法
CN116564099A (zh) 一种基于特征注意力的交通流速度预测方法
CN113821452B (zh) 根据被测系统测试表现动态生成测试案例的智能测试方法
CN115630361A (zh) 一种基于注意力蒸馏的联邦学习后门防御方法
CN113516163B (zh) 基于网络剪枝的车辆分类模型压缩方法、装置及存储介质
JP6950647B2 (ja) データ判定装置、方法、及びプログラム
JP2020144411A (ja) 属性推定装置、属性推定方法、属性推定器学習装置、及びプログラム
CN109800923A (zh) 一种分散式风力发电短期功率组合预测方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20200508