CN109190750B - 基于对抗生成网络的小样本生成方法及装置 - Google Patents

基于对抗生成网络的小样本生成方法及装置 Download PDF

Info

Publication number
CN109190750B
CN109190750B CN201810737975.0A CN201810737975A CN109190750B CN 109190750 B CN109190750 B CN 109190750B CN 201810737975 A CN201810737975 A CN 201810737975A CN 109190750 B CN109190750 B CN 109190750B
Authority
CN
China
Prior art keywords
network
data
countermeasure
generation
training
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201810737975.0A
Other languages
English (en)
Other versions
CN109190750A (zh
Inventor
李扬曦
杜翠兰
井雅琪
佟玲玲
张翠
胡卫明
李文娟
薛建明
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Institute of Automation of Chinese Academy of Science
National Computer Network and Information Security Management Center
Original Assignee
Institute of Automation of Chinese Academy of Science
National Computer Network and Information Security Management Center
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Institute of Automation of Chinese Academy of Science, National Computer Network and Information Security Management Center filed Critical Institute of Automation of Chinese Academy of Science
Priority to CN201810737975.0A priority Critical patent/CN109190750B/zh
Publication of CN109190750A publication Critical patent/CN109190750A/zh
Application granted granted Critical
Publication of CN109190750B publication Critical patent/CN109190750B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Molecular Biology (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Machine Translation (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及深度学习技术领域，具体提供了一种基于对抗生成网络的小样本生成方法及装置，旨在解决如何在少量样本数据的情况下利用生成对抗网络生成样本数据的技术问题。为此目的，本发明提供的基于对抗生成网络的小样本生成方法能够基于对抗生成网络并根据随机噪声和标签信息，生成小样本类型对应的样本。在此过程中，本发明采用迁移学习和批量训练的方法对对抗生成网络进行网络训练，使生成对抗网络可以有效迁移应用于少量样本的对抗生成网络样本生成任务中。

Description

基于对抗生成网络的小样本生成方法及装置
技术领域
本发明涉及深度学习技术领域，具体涉及一种基于对抗生成网络的小样本生成方法及装置。
背景技术
基于深度学习技术构建的神经网络模型通常需要使用大量样本数据完成模型训练。然而，某些特定类型的目标样本数据往往难以获取或无法获取。例如，人脸表情数据和特殊图像数据等。目前，可以利用生成对抗网络技术生成特定类型的目标样本数据，但是生成对抗网络也必要使用大量的样本数据完成网络训练后才能生成较为准确的目标样本数据。
发明内容
为了解决现有技术中的上述问题，即为了解决如何在少量样本数据的情况下利用生成对抗网络生成样本数据的技术问题。为此目的，本发明提供了一种基于对抗生成网络的小样本生成方法及装置。
在第一方面，本发明中的基于对抗生成网络的小样本生成方法包括如下步骤：
获取符合预设数据分布的随机噪声以及预设的小样本类型对应的标签信息；
基于预先构建的对抗生成网络并根据所述随机噪声和标签信息，生成所述小样本类型对应的样本；
其中，所述对抗生成网络是基于卷积神经网络并利用机器学习算法所构建的网络，所述方法还包括按照下列步骤对所述对抗生成网络进行网络训练：
利用所述机器学习算法并根据预设的源数据集对所述对抗生成网络进行网络训练，得到第一对抗生成网络；
利用所述机器学习算法并根据预设的目标数据集对所述第一对抗生成网络进行网络训练，得到第二对抗生成网络；
并且其中，所述源数据集中源数据的数量远大于所述目标数据集中目标数据的数量。
进一步地，本发明提供的一个优选技术方案是：
所述对抗生成网络包括生成网络和对抗网络；
所述生成网络被配置为根据所述随机噪声和标签信息生成对抗样本；
所述对抗网络被配置为根据所述对抗样本及其标签信息，获取所述对抗样本的真实概率；
相应的，“基于预先构建的对抗生成网络并根据所述随机噪声和标签信息，生成所述小样本类型对应的样本”的步骤包括选取所述真实概率大于等于预设概率阈值的对抗样本作为所述小样本类型对应的样本。
进一步地，本发明提供的一个优选技术方案是：
“利用所述机器学习算法并根据预设的源数据集对所述对抗生成网络进行网络训练，得到第一对抗生成网络”的步骤包括：
步骤S11：根据预设的第一训练批量获取所述源数据集中的源数据；
步骤S12：利用所述机器学习算法并根据所述源数据对所述对抗生成网络中的生成网络进行网络迭代训练，并根据所述源数据和所述生成网络的生成数据，对所述对抗生成网络中的对抗网络进行网络训练；
步骤S13：重复执行步骤S11～步骤S12并且当所述生成网络的生成数据满足预设的数据要求时停止训练。
进一步地，本发明提供的一个优选技术方案是：
“利用所述机器学习算法并根据所述源数据对所述对抗生成网络中的生成网络进行网络迭代训练”的步骤包括：
步骤S121：获取每个源数据对应的标签信息和随机噪声，并且对所述每个源数据对应的标签信息和随机噪声进行数据拼接得到第一拼接数据；
步骤S122：利用所述机器学习算法并根据所述第一拼接数据对所述对抗生成网络中的生成网络进行网络训练；
步骤S123：重复执行步骤S121～步骤S122并且当所述生成网络的生成数据满足预设的数据要求时停止训练。
进一步地，本发明提供的一个优选技术方案是：
“根据所述源数据和所述生成网络的生成数据，对所述对抗生成网络中的对抗网络进行网络训练”的步骤包括：
根据所述源数据和所述生成网络的生成数据构建第一对抗数据集；
获取所述第一对抗数据集中的对抗数据及其标签信息并且对所述对抗数据和标签信息进行数据拼接得到第二拼接数据；
利用所述机器学习算法并根据所述第二拼接数据对所述对抗生成网络中的对抗网络进行网络训练；
其中，所述第一对抗数据集包括生成数据和源数据，并且所述生成数据与源数据的数量相同。
进一步地，本发明提供的一个优选技术方案是：
“利用所述机器学习算法并根据预设的目标数据集对所述第一对抗生成网络进行网络训练，得到第二对抗生成网络”的步骤包括：
步骤S21：根据预设的第二训练批量获取所述目标数据集中的目标数据；
步骤S22：利用所述机器学习算法并根据所述目标数据对所述对抗生成网络中的生成网络进行网络迭代训练，并根据所述目标数据和所述生成网络的生成数据，对所述对抗生成网络中的对抗网络进行网络训练；
步骤S23：重复执行步骤S21～步骤S22并且当所述生成网络的生成数据满足预设的数据要求时停止训练。
进一步地，本发明提供的一个优选技术方案是：
“利用所述机器学习算法并根据所述目标数据对所述对抗生成网络中的生成网络进行网络迭代训练”的步骤包括：
步骤S221：获取每个目标数据对应的标签信息和随机噪声，并且对所述每个目标数据对应的标签信息和随机噪声进行数据拼接得到第三拼接数据；
步骤S222：利用所述机器学习算法并根据所述第三拼接数据对所述第一对抗生成网络中的生成网络进行网络训练；
步骤S223：重复执行步骤S221～步骤S222并且当所述生成网络的生成数据满足预设的数据要求时停止训练。
进一步地，本发明提供的一个优选技术方案是：
“根据所述目标数据和所述生成网络的生成数据，对所述对抗生成网络中的对抗网络进行网络训练”的步骤包括：
根据所述目标数据和所述生成网络的生成数据构建第二对抗数据集；
获取所述第二对抗数据集中的对抗数据及其标签信息并且对所述对抗数据和标签信息进行数据拼接得到第四拼接数据；
利用所述机器学习算法并根据所述第四拼接数据对所述第一对抗生成网络中的对抗网络进行网络训练；
其中，所述第二对抗数据集包括生成数据和目标数据，并且所述生成数据与目标数据的数量相同。
在第二方面，本发明中的存储装置存储有多条程序，所述程序适于由处理器加载以执行上述技术方案中任一项技术方案所述的基于对抗生成网络的样本生成方法。
在第三方面，本发明中的控制装置，包括处理器和存储设备，所述存储设备适于存储多条程序，所述程序适于由所述处理器加载以执行上述技术方案中任一项技术方案所述的基于对抗生成网络的样本生成方法。
与最接近的现有技术相比，上述技术方案至少具有如下有益效果：
本发明提供的基于对抗生成网络的小样本生成方法的主要步骤是：首先获取随机噪声和标签信息，然后基于对抗生成网络并根据随机噪声和标签信息，生成小样本类型对应的样本。具体地，本发明采用迁移学习和批量训练的方法对对抗生成网络进行网络训练，使生成对抗网络可以有效迁移应用于少量样本的对抗生成网络样本生成任务中。
附图说明
图1是本发明实施例中一种基于对抗生成网络的小样本生成方法的主要步骤示意图；
图2是本发明实施例中一种对抗生成网络的网络训练方法的主要步骤示意图。
具体实施方式
下面参照附图来描述本发明的优选实施方式。本领域技术人员应当理解的是，这些实施方式仅仅用于解释本发明的技术原理，并非旨在限制本发明的保护范围。
参阅附图1，图1示例性示出了本实施例中基于对抗生成网络的小样本生成方法的主要步骤。如图1所示，本实施例中基于对抗生成网络的小样本生成方法可以包括如下步骤：
步骤S101：获取符合预设数据分布的随机噪声以及预设的小样本类型对应的标签信息。具体地，本实施例中随机噪声可以是符合(-1,1)均匀分布的随机数。小样本类型可以是人脸表情的图像样本或特殊符号的图像样本。
步骤S102：基于预先构建的对抗生成网络并根据随机噪声和标签信息，生成小样本类型对应的样本。
具体地，本实施例中的对抗生成网络是基于卷积神经网络并利用机器学习算法所构建的网络，该对抗生成网络可以包括生成网络和对抗网络。生成网络可以被配置为根据随机噪声和小样本类型相关标签信息生成对抗样本。对抗网络可以被配置为根据对抗样本及其标签信息，获取对抗样本的真实概率。可选地，本实施例中选取真实概率大于等于预设概率阈值的对抗样本作为小样本类型对应的样本。
进一步地，本实施例中图1所示的小样本生成方法在利用对抗生成网络生成小样本类型对应的样本之前，还可以对对抗生成网络进行网络训练来优化对抗生成网络。
参阅附图2，图2示例性示出了本实施例中对抗生成网络的网络训练方法的主要步骤。如图2所示，本实施例中可以按照如下步骤对上述对抗生成网络进行网络训练：
步骤S201：利用机器学习算法并根据预设的源数据集对上述对抗生成网络进行网络训练，得到第一对抗生成网络。
在本实施例中可以按照如下步骤获取第一对抗生成网络：
步骤S2011：根据预设的第一训练批量获取源数据集中的源数据。
步骤S2012：利用机器学习算法并根据步骤S2011所获取的源数据对对抗生成网络中的生成网络进行网络迭代训练，并根据源数据和生成网络的生成数据，对对抗生成网络中的对抗网络进行网络训练。
具体地，本实施例中可以按照下列步骤对对抗生成网络中的生成网络进行网络迭代训练：
首先，获取每个源数据对应的标签信息和随机噪声，并且对每个源数据对应的标签信息和随机噪声进行数据拼接得到第一拼接数据。然后，利用机器学习算法并根据第一拼接数据对对抗生成网络中的生成网络进行网络训练。最后，重复执行上面两个步骤并且当生成网络的生成数据满足预设的数据要求时停止训练。
本实施例中还可以按照下列步骤对对抗生成网络中的对抗网络进行网络训练：
首先，根据源数据和生成网络的生成数据构建第一对抗数据集。然后，获取第一对抗数据集中的对抗数据及其标签信息并且对对抗数据和标签信息进行数据拼接得到第二拼接数据。最后，利用机器学习算法并根据第二拼接数据对对抗生成网络中的对抗网络进行网络训练。其中，第一对抗数据集可以包括生成数据和源数据，并且生成数据与源数据的数量相同。生成数据可以是彩色图像(即RGB图像)
步骤S2013：重复执行步骤S2011～步骤S2012并且当生成网络的生成数据满足预设的数据要求时停止训练。
在本实施例提供的一个优选实施方案中，对抗生成网络中的生成网络可以包括多个反卷积层(如反卷积层1～反卷积层N)、多个批量标准化层(Batch Normalization，BN)和多个激活函数层。具体地，反卷积层1～反卷积层N-1中的每个反卷积层分别与一个批量标准化层和一个激活函数层连接，反卷积层N与一个激活函数层。对抗生成网络中的对抗网络可以包括多个卷积层(如卷积层1～卷积层N)、多个批量标准化层(Batch Normalization，BN)和多个激活函数层。具体地，卷积层2～卷积层N中的每个卷积层分别与一个批量标准化层和一个激活函数层连接，并且卷积层N的输出侧还与一个分类损失函数层(分类损失函数层可以采用Sigmoid函数)连接。
可选的，本实施例中的生成网络包括4个反卷积层。具体地，反卷积层1分别与一个批量标准化层和一个激活函数层(激活函数层可以采用激活函数Relu)连接，反卷积层2分别与一个批量标准化层和一个激活函数层(激活函数层可以采用激活函数Relu)连接，反卷积层3分别与一个批量标准化层和一个激活函数层(激活函数层可以采用激活函数Relu)连接，反卷积层4与一个激活函数层(激活函数层可以采用激活函数TanH)连接。
本实施例中的对抗网络包括4个卷积层。具体地，卷积层2分别与一个批量标准化层和一个激活函数层(激活函数层可以采用激活函数Lrelu)连接，卷积层3分别与一个批量标准化层和一个激活函数层(激活函数层可以采用激活函数Lrelu)连接，卷积层4分别与一个批量标准化层和一个激活函数层(激活函数层可以采用激活函数Lrelu)连接，并且卷积层4的输出侧还与分类损失函数层(分类损失函数层可以采用Sigmoid分类损失函数)连接。
下面对上述对抗生成网络的网络训练方法进行具体说明。
本实施例中源数据集是CelebA人脸数据集，同时按照8:2的比例将该源数据集划分为训练集和测试集，以及利用one-hot编码方法对源数据集的相关标签信息进行编码，将对抗生成网络的第一训练批量设置为128，学习率设置为0.0002。
具体地，本实施例中可以按照如下步骤对上述对抗生成网络中的生成网络进行网络训练：
步骤11：根据第一训练批量选取源数据并获取每个源数据的标签信息。
步骤12：将源数据及其标签信息输入至生成网络的反卷积层1(反卷积层1的卷积核是4×4卷积核，卷积步幅是1)进行反卷积操作，然后再经批量标准化层和Relu激活函数层进行数据处理得到两个256×4×4的特征向量(即源数据和标签信息对应的特征向量)。
步骤13：将步骤12得到的两个特征向量进行拼接得到第一拼接数据，再将该第一拼接数据输入至生成网络的反卷积层2(反卷积层2的卷积核是4×4卷积核，卷积步幅是2)进行反卷积操作，然后再经批量标准化层和Relu激活函数层进行数据处理得到256×8×8的特征向量。
步骤14：步骤13得到的特征向量输入至生成网络的反卷积层3(反卷积层3的卷积核是4×4卷积核，卷积步幅是2)进行反卷积操作，然后再经批量标准化层和Relu激活函数层进行数据处理得到128×16×16的特征向量。
步骤15：将步骤14得到特征向量输入至生成网络的反卷积层4(反卷积层3的卷积核是4×4卷积核，卷积步幅是2)进行反卷积操作，然后再经TanH激活函数层进行数据处理得到32×32×1的特征向量。
步骤16：重复执行步骤12～步骤15得到64个32×32×1的特征向量(即生成网络的生成数据)并获取64个源数据。利用生成网络的生成数据和所获取的源数据对对抗网络进行网络训练。
进一步地，本实施例中可以按照如下步骤对上述对抗生成网络中的对抗网络进行网络训练：
步骤21：将源数据/生成数据及其标签信息输入至对抗网络的卷积层1(卷积层1的卷积核是4×4卷积核，卷积步幅是2)进行卷积操作，然后再经批量标准化层和Lrelu激活函数层进行数据处理得到两个16×16×64的特征向量(即源数据/生成数据和标签信息对应的特征向量)。
步骤22：将步骤21得到的两个特征向量进行拼接得到第二拼接数据，再将该第二拼接数据输入至对抗网络的卷积层2(卷积层2的卷积核是4×4卷积核，卷积步幅是2)进行卷积操作，然后再经批量标准化层和Lrelu激活函数层进行数据处理得到8×8×256的特征向量。
步骤23：将步骤22得到的特征向量输入至对抗网络的卷积层3(卷积层3的卷积核是4×4卷积核，卷积步幅是2)进行卷积操作，然后再经批量标准化层和Lrelu激活函数层进行数据处理得到4×4×512的特征向量。
步骤24：将步骤23得到的特征向量输入至对抗网络的卷积层4(卷积层4的卷积核是4×4卷积核，卷积步幅是2)进行卷积操作，然后再经Sigmoid分类损失函数层进行数据处理得到该源数据/生成数据对应的真实概率。
步骤S202：利用机器学习算法并根据预设的目标数据集对第一对抗生成网络进行网络训练，得到第二对抗生成网络。其中，源数据集中源数据的数量远大于目标数据集中目标数据的数量，即目标数据集是小样本数据集。
在本实施例中可以按照如下步骤获取第二对抗生成网络：
步骤S2021：根据预设的第二训练批量获取目标数据集中的目标数据。
步骤S2022：利用机器学习算法并根据步骤S2021所获取的目标数据对对抗生成网络中的生成网络进行网络迭代训练，并根据所述目标数据和所述生成网络的生成数据，对所述对抗生成网络中的对抗网络进行网络训练；
具体地，本实施例中可以按照下列步骤对对抗生成网络中的生成网络进行网络迭代训练：
首先，获取每个目标数据对应的标签信息和随机噪声，并且对每个目标数据对应的标签信息和随机噪声进行数据拼接得到第三拼接数据。利用机器学习算法并根据第三拼接数据对第一对抗生成网络中的生成网络进行网络训练。最后，重复执行上面两个步骤并且当生成网络的生成数据满足预设的数据要求时停止训练。
本实施例中还可以按照下列步骤对对抗生成网络中的对抗网络进行网络训练：
首先，根据目标数据和生成网络的生成数据构建第二对抗数据集。然后，获取第二对抗数据集中的对抗数据及其标签信息并且对对抗数据和标签信息进行数据拼接得到第四拼接数据。最后，利用机器学习算法并根据第四拼接数据对第一对抗生成网络中的对抗网络进行网络训练。其中，第二对抗数据集可以包括生成数据和目标数据，并且生成数据与目标数据的数量相同。
步骤S2023：重复执行步骤S2021～步骤S2022并且当生成网络的生成数据满足预设的数据要求时停止训练。
下面对上述对抗生成网络的网络训练方法进行具体说明。
本实施例中目标数据集是JAFFE人脸表情数据集，同时按照8:2的比例将该目标数据集划分为训练集和测试集，以及利用one-hot编码方法对目标数据集的相关标签信息进行编码，将对抗生成网络的第二训练批量设置为64，学习率设置为0.0001。
具体地，本实施例中对上述第一对抗生成网络中的生成网络进行网络训练的方法与前述步骤11～步骤16所示的方法相同，对上述第一对抗生成网络中的对抗网络进行网络训练的方法与前述步骤21～步骤24所示的方法相同，为了描述简洁，在此不再赘述。
上述实施例中虽然将各个步骤按照上述先后次序的方式进行了描述，但是本领域技术人员可以理解，为了实现本实施例的效果，不同的步骤之间不必按照这样的次序执行，其可以同时(并行)执行或以颠倒的次序执行，这些简单的变化都在本发明的保护范围之内。
基于上述方法实施例，本发明提供了一种存储装置，该存储装置存储有多条程序，这些程序适于由处理加载以执行上述方法实施例所述的基于对抗生成网络的样本生成方法。
基于上述方法实施例，本发明还提供了一种控制装置，该控制装置可以包括处理器和存储设备。具体地，存储设备适于存储多条程序，这些程序适于由处理加载以执行上述方法实施例所述的基于对抗生成网络的样本生成方法。
本领域的技术人员能够理解，尽管在此所述的一些实施例包括其它实施例中所包括的某些特征而不是其它特征，但是不同实施例的特征的组合意味着处于本发明的范围之内并且形成不同的实施例。例如，在本发明的权利要求书中，所要求保护的实施例的任意之一都可以以任意的组合方式来使用。
本发明还可以实现为用于执行这里所描述的方法的一部分或者全部的设备或者装置程序(例如，PC程序和PC程序产品)。这样的实现本发明的程序可以存储在PC可读介质上，或者可以具有一个或者多个信号的形式。这样的信号可以从因特网网站上下载得到，或者在载体信号上提供，或者以任何其他形式提供。
应该注意的是上述实施例对本发明进行说明而不是对本发明进行限制，并且本领域技术人员在不脱离所附权利要求的范围的情况下可设计出替换实施例。在权利要求中，不应将位于括号之间的任何参考符号构造成对权利要求的限制。单词“包含”和“包括”不排除存在未列在权利要求中的元件或步骤。位于元件之前的单词“一”或“一个”不排除存在多个这样的元件。单词第一、第二、以及第三等的使用不表示任何顺序。可将这些单词解释为名称。
至此，已经结合附图所示的优选实施方式描述了本发明的技术方案，但是，本领域技术人员容易理解的是，本发明的保护范围显然不局限于这些具体实施方式。在不偏离本发明的原理的前提下，本领域技术人员可以对相关技术特征作出等同的更改或替换，这些更改或替换之后的技术方案都将落入本发明的保护范围之内。

Claims (10)

1.一种基于对抗生成网络的小样本生成方法，其特征在于包括：
获取符合预设数据分布的随机噪声以及预设的小样本类型对应的标签信息；所述预设的小样本类型是人脸表情的图像样本；
基于预先构建的对抗生成网络并根据所述随机噪声和标签信息，生成所述小样本类型对应的样本；
其中，所述对抗生成网络是基于卷积神经网络并利用机器学习算法所构建的网络，所述方法还包括按照下列步骤对所述对抗生成网络进行网络训练：
利用所述机器学习算法并根据预设的源数据集对所述对抗生成网络进行网络训练，得到第一对抗生成网络；
利用所述机器学习算法并根据预设的目标数据集对所述第一对抗生成网络进行网络训练，得到第二对抗生成网络；
并且其中，所述预设的源数据集和所述预设的目标数据集均是人脸表情数据集，所述源数据集中源数据的数量远大于所述目标数据集中目标数据的数量。
2.根据权利要求1所述的基于对抗生成网络的小样本生成方法，其特征在于，所述对抗生成网络包括生成网络和对抗网络；
所述生成网络被配置为根据所述随机噪声和标签信息生成对抗样本；
所述对抗网络被配置为根据所述对抗样本及其标签信息，获取所述对抗样本的真实概率；
相应的，“基于预先构建的对抗生成网络并根据所述随机噪声和标签信息，生成所述小样本类型对应的样本”的步骤包括选取所述真实概率大于等于预设概率阈值的对抗样本作为所述小样本类型对应的样本。
3.根据权利要求2所述的基于对抗生成网络的小样本生成方法，其特征在于，“利用所述机器学习算法并根据预设的源数据集对所述对抗生成网络进行网络训练，得到第一对抗生成网络”的步骤包括：
步骤S11：从所述源数据集中获取第一训练批量的源数据；
步骤S12：利用所述机器学习算法并根据所述源数据对所述对抗生成网络中的生成网络进行网络迭代训练，并根据所述源数据和所述生成网络的生成数据，对所述对抗生成网络中的对抗网络进行网络训练；
步骤S13：重复执行步骤S11～步骤S12并且当所述生成网络的生成数据满足预设的数据要求时停止训练。
4.根据权利要求3所述基于对抗生成网络的小样本生成方法，其特征在于，“利用所述机器学习算法并根据所述源数据对所述对抗生成网络中的生成网络进行网络迭代训练”的步骤包括：
步骤S121：获取每个源数据对应的标签信息和随机噪声，并且对所述每个源数据对应的标签信息和随机噪声进行数据拼接得到第一拼接数据；
步骤S122：利用所述机器学习算法并根据所述第一拼接数据对所述对抗生成网络中的生成网络进行网络训练；
步骤S123：重复执行步骤S121～步骤S122并且当所述生成网络的生成数据满足预设的数据要求时停止训练。
5.根据权利要求4所述基于对抗生成网络的小样本生成方法，其特征在于，“根据所述源数据和所述生成网络的生成数据，对所述对抗生成网络中的对抗网络进行网络训练”的步骤包括：
根据所述源数据和所述生成网络的生成数据构建第一对抗数据集；
获取所述第一对抗数据集中的对抗数据及其标签信息并且对所述对抗数据和标签信息进行数据拼接得到第二拼接数据；
利用所述机器学习算法并根据所述第二拼接数据对所述对抗生成网络中的对抗网络进行网络训练；
其中，所述第一对抗数据集包括生成数据和源数据，并且所述生成数据与源数据的数量相同。
6.根据权利要求2所述的基于对抗生成网络的小样本生成方法，其特征在于，“利用所述机器学习算法并根据预设的目标数据集对所述第一对抗生成网络进行网络训练，得到第二对抗生成网络”的步骤包括：
步骤S21：从所述目标数据集中获取第二训练批量的目标数据；
步骤S22：利用所述机器学习算法并根据所述目标数据对所述对抗生成网络中的生成网络进行网络迭代训练，并根据所述目标数据和所述生成网络的生成数据，对所述对抗生成网络中的对抗网络进行网络训练；
步骤S23：重复执行步骤S21～步骤S22并且当所述生成网络的生成数据满足预设的数据要求时停止训练。
7.根据权利要求6所述的基于对抗生成网络的小样本生成方法，其特征在于，“利用所述机器学习算法并根据所述目标数据对所述对抗生成网络中的生成网络进行网络迭代训练”的步骤包括：
步骤S221：获取每个目标数据对应的标签信息和随机噪声，并且对所述每个目标数据对应的标签信息和随机噪声进行数据拼接得到第三拼接数据；
步骤S222：利用所述机器学习算法并根据所述第三拼接数据对所述第一对抗生成网络中的生成网络进行网络训练；
步骤S223：重复执行步骤S221～步骤S222并且当所述生成网络的生成数据满足预设的数据要求时停止训练。
8.根据权利要求7所述的基于对抗生成网络的小样本生成方法，其特征在于，“根据所述目标数据和所述生成网络的生成数据，对所述对抗生成网络中的对抗网络进行网络训练”的步骤包括：
根据所述目标数据和所述生成网络的生成数据构建第二对抗数据集；
获取所述第二对抗数据集中的对抗数据及其标签信息并且对所述对抗数据和标签信息进行数据拼接得到第四拼接数据；
利用所述机器学习算法并根据所述第四拼接数据对所述第一对抗生成网络中的对抗网络进行网络训练；
其中，所述第二对抗数据集包括生成数据和目标数据，并且所述生成数据与目标数据的数量相同。
9.一种存储装置，其中存储有多条程序，其特征在于，所述程序适于由处理器加载以执行权利要求1-8中任一项所述的基于对抗生成网络的小样本生成方法。
10.一种控制装置，包括处理器和存储设备，所述存储设备适于存储多条程序，其特征在于，所述程序适于由所述处理器加载以执行权利要求1-8中任一项所述的基于对抗生成网络的小样本生成方法。
CN201810737975.0A 2018-07-06 2018-07-06 基于对抗生成网络的小样本生成方法及装置 Active CN109190750B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810737975.0A CN109190750B (zh) 2018-07-06 2018-07-06 基于对抗生成网络的小样本生成方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810737975.0A CN109190750B (zh) 2018-07-06 2018-07-06 基于对抗生成网络的小样本生成方法及装置

Publications (2)

Publication Number Publication Date
CN109190750A CN109190750A (zh) 2019-01-11
CN109190750B true CN109190750B (zh) 2021-06-08

Family

ID=64936117

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810737975.0A Active CN109190750B (zh) 2018-07-06 2018-07-06 基于对抗生成网络的小样本生成方法及装置

Country Status (1)

Country Link
CN (1) CN109190750B (zh)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109816032B (zh) * 2019-01-30 2020-09-11 中科人工智能创新技术研究院(青岛)有限公司 基于生成式对抗网络的无偏映射零样本分类方法和装置
CN109800730B (zh) * 2019-01-30 2022-03-08 北京字节跳动网络技术有限公司 用于生成头像生成模型的方法和装置
CN110009038B (zh) * 2019-04-04 2022-02-22 北京百度网讯科技有限公司 筛查模型的训练方法、装置及存储介质
CN110210486B (zh) * 2019-05-15 2021-01-01 西安电子科技大学 一种基于素描标注信息的生成对抗迁移学习方法
CN110298384B (zh) * 2019-06-03 2021-03-12 西华大学 对抗样本图像生成方法和装置
CN110390347B (zh) * 2019-06-10 2021-09-07 河海大学 针对深度神经网络的条件引导式对抗生成测试方法与系统
CN110888911A (zh) * 2019-10-11 2020-03-17 平安科技（深圳）有限公司 样本数据处理方法、装置、计算机设备及存储介质
CN111723851A (zh) * 2020-05-30 2020-09-29 同济大学 一种生产线故障检测方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105469111A (zh) * 2015-11-19 2016-04-06 浙江大学 基于改进的mfa和迁移学习的小样本集的物体分类方法
CN107392973A (zh) * 2017-06-06 2017-11-24 中国科学院自动化研究所 像素级手写体汉字自动生成方法、存储设备、处理装置
CN107909621A (zh) * 2017-11-16 2018-04-13 深圳市唯特视科技有限公司 一种基于双生成对抗网络的医学图像合成方法
CN107978044A (zh) * 2017-11-29 2018-05-01 南京甄视智能科技有限公司 基于人脸识别技术和rfid技术的高精度识别系统和识别方法
CN108052940A (zh) * 2017-12-17 2018-05-18 南京理工大学 基于深度学习的sar遥感图像水面目标检测方法

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018053340A1 (en) * 2016-09-15 2018-03-22 Twitter, Inc. Super resolution using a generative adversarial network
JP2018063504A (ja) * 2016-10-12 2018-04-19 株式会社リコー 生成モデル学習方法、装置及びプログラム

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105469111A (zh) * 2015-11-19 2016-04-06 浙江大学 基于改进的mfa和迁移学习的小样本集的物体分类方法
CN107392973A (zh) * 2017-06-06 2017-11-24 中国科学院自动化研究所 像素级手写体汉字自动生成方法、存储设备、处理装置
CN107909621A (zh) * 2017-11-16 2018-04-13 深圳市唯特视科技有限公司 一种基于双生成对抗网络的医学图像合成方法
CN107978044A (zh) * 2017-11-29 2018-05-01 南京甄视智能科技有限公司 基于人脸识别技术和rfid技术的高精度识别系统和识别方法
CN108052940A (zh) * 2017-12-17 2018-05-18 南京理工大学 基于深度学习的sar遥感图像水面目标检测方法

Also Published As

Publication number Publication date
CN109190750A (zh) 2019-01-11

Similar Documents

Publication Publication Date Title
CN109190750B (zh) 基于对抗生成网络的小样本生成方法及装置
Kalchbrenner et al. Efficient neural audio synthesis
US9111222B2 (en) Method and apparatus for switching the binary state of a location in memory in a probabilistic manner to store synaptic weights of a neural network
CN112837676B (zh) 一种语句生成方法、语句生成装置及智能设备
CN104484682A (zh) 一种基于主动深度学习的遥感图像分类方法
CN112884059B (zh) 一种融合先验知识的小样本雷达工作模式分类方法
JP2014520349A (ja) スパース結合性をもたらす局所競合学習則のための方法および装置
CN111967573A (zh) 数据处理方法、装置、设备及计算机可读存储介质
CN115130536A (zh) 特征提取模型的训练方法、数据处理方法、装置及设备
CN114067157A (zh) 基于忆阻器的神经网络优化方法、装置及忆阻器阵列
JP2024532679A (ja) 自己回帰言語モデルニューラルネットワークを使用して出力系列を評価すること
Yang et al. Looped transformers are better at learning learning algorithms
CN108629410B (zh) 基于主成分分析降维和/或升维的神经网络处理方法
CN114764619A (zh) 一种基于量子线路的卷积操作方法及装置
CN110728351A (zh) 数据处理方法、相关设备及计算机存储介质
US20230139347A1 (en) Per-embedding-group activation quantization
US9336498B2 (en) Method and apparatus for improving resilience in customized program learning network computational environments
CN115952847A (zh) 神经网络模型的处理方法及处理装置
CN112511361B (zh) 模型训练方法、装置和计算设备
Kaloev et al. Comprehensive Review of Benefits from the Use of Neuron Connection Pruning Techniques During the Training Process of Artificial Neural Networks in Reinforcement Learning: Experimental Simulations in Atari Games
CN108629409B (zh) 一种基于主成分分析减少io开销的神经网络处理系统
CN114330512B (zh) 数据处理方法、装置、电子设备及计算机可读存储介质
CN107798344A (zh) 图像识别方法及装置、计算机可读介质
Frisch et al. A cognitive stochastic machine based on Bayesian inference: a behavioral analysis
Montone et al. The Usefulness of Past Knowledge when Learning a New Task in Deep Neural Networks.

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant