CN112052893A - 基于生成对抗网络的半监督图像分类方法 - Google Patents

基于生成对抗网络的半监督图像分类方法 Download PDF

Info

Publication number
CN112052893A
CN112052893A CN202010904002.9A CN202010904002A CN112052893A CN 112052893 A CN112052893 A CN 112052893A CN 202010904002 A CN202010904002 A CN 202010904002A CN 112052893 A CN112052893 A CN 112052893A
Authority
CN
China
Prior art keywords
network
layer
convolution
convolutional
sample set
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010904002.9A
Other languages
English (en)
Inventor
田小林
王露
李帅
张艺帆
高文星
杨坤
焦李成
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xidian University
Original Assignee
Xidian University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xidian University filed Critical Xidian University
Priority to CN202010904002.9A priority Critical patent/CN112052893A/zh
Publication of CN112052893A publication Critical patent/CN112052893A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/24Classification techniques
    • G06F18/241Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2415Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/21Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G06F18/2155Generating training patterns; Bootstrap methods, e.g. bagging or boosting characterised by the incorporation of unlabelled data, e.g. multiple instance learning [MIL], semi-supervised techniques using expectation-maximisation [EM] or naïve labelling
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/045Combinations of networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/40Extraction of image or video features
    • G06V10/46Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G06V10/462Salient features, e.g. scale invariant feature transforms [SIFT]

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Molecular Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Evolutionary Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Probability & Statistics with Applications (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于生成对抗网络的半监督图像分类方法,用于解决现有技术中存在的因网络提取的特征缺乏辨识度与多样性导致的分类精度较低的技术问题,实现步骤为:获取训练样本集和测试样本集;搭建生成对抗网络模型;对生成对抗网络模型进行迭代训练;获取半监督图像分类结果。本发明利用特征金字塔网络融合不同层级提取到的特征,通过生成对抗网络的博弈过程提高模型的分类能力,增加了特征的辨识度与多样性,能够更丰富的表征分类图像的类间特征,提高了图像分类精度,并能够在只含有少量精确标注样本的样本集上获得很好的图像分类效果,可用于实际场景中目标分类。

Description

基于生成对抗网络的半监督图像分类方法
技术领域
本发明属于图像处理技术领域,涉及一种图像分类方法,具体涉及一种基于生成对抗网络的半监督图像分类方法,可用于目标检测、目标分类等领域。
背景技术
图像分类是计算机视觉领域的核心问题之一,任务是从给定的分类集合中给图像分配一个标签,标签总是来自预定义的可能类别集。目前图像分类有基于距离度量的方法、基于纹理特征的方法和基于深度学习的方法等。近些年来由于深度学习的迅速发展,图像分类领域也取得了重大进展,目前已经可以在一些现实中的图像分类问题上获得较好的分类精度,图像分类技术被广泛应用于目标分类、目标检测等领域。深度学习主要有监督学习、无监督学习和半监督学习三种方法。监督学习是指利用一组已知类别的样本调整分类器的参数,使其达到所要求性能的过程,现有的图像分类方法能够在监督学习中取的良好的效果,但是这依赖于足够数量的带标签训练样本,在很多实际图像分类任务中,依然没有建立相应应用场景下的标准数据集,例如在医学诊断领域和地物图像领域就存在数据样本获取困难的问题,数据精确标注任务需要专家耗费巨大的人力和物力资源,这大大提高了图像分类任务的门槛,由于缺少精确标注数据使得网络的训练样本集数据量过少,监督学习可能会造成模型过拟合现象,极大地影响分类精度;无监督学习是指根据类别未知(没有被标记)的训练样本解决模式识别中的各种问题,使用无监督学习可以降低图像分类任务的门槛,但分类精度不够理想;半监督学习是监督学习与无监督学习相结合的一种学习方法,半监督学习使用大量的未标记数据,同时使用标记数据,来进行模式识别工作,适合在标注数据少,而训练数据多的场景下使用,当标注数据有限时,半监督学习可以降低对标注数据的依赖程度,极大地丰富分类任务的应用场景。
深度学习中深度卷积神经网络应用的范围最广,被广泛用于图像分类中的特征提取。不同层级的卷积网络能提取到不同的图像语义特征,浅层网络获取到的图像特征大都是颜色、纹理等低级语义特征,低级特征种类丰富但辨识度不高,不适用于图像分类任务;而深层网络提取到主要是轮廓、形状等高级语义特征,高级语义特征具有较高的辨识度和代表性,但仅仅依赖高级语义特征来执行图像分类任务,又存在特征单一、缺乏多样性的问题,影响最终的图像分类精度。例如,申请公布号为CN111553424A,名称为“一种基于CGAN的图像数据平衡和分类方法”的专利申请,公开了一种基于条件生成对抗网络CGAN的图像数据平衡和分类方法,该方法首先从数据集中读取真实数据x和标签y,将标签及随机噪声z送入生成器G,将G的输出结果和x送入判别器D,交替训练G和D直到网络达到纳什平衡状态。然后加载训练好的模型,在训练好的模型上新增一个输出层对输入进行分类,以试图解决不平衡数据集对分类精度带来的影响,提高模型的分类精度。但是,该方法仅使用深层网络提取到的高级语义特征执行分类任务,图像特征比较单一,为了获取较高的分类精度,需要大量有标记的样本对模型进行训练,难以在缺乏有标签训练样本的问题上发挥作用,大大限制了其应用范围。
发明内容
本发明的目的在于克服上述现有技术存在的缺陷,提出了一种基于生成对抗网络的半监督图像分类方法,旨在提高图像的分类精度。
为实现上述目的,本发明采取的技术方案包括如下步骤:
(1)获取训练样本集和测试样本集:
(1a)获取类别数为K且每个类别包含
Figure BDA0002660746430000021
幅图像的数据集,并对数据集进行归一化,得到包含S幅归一化图像的归一化数据集,其中,2≤K≤20,S≥60000;
(1b)从归一化数据集的每类别中随机选取n幅归一化图像,并将选取的共N幅归一化图像作为测试样本集,然后对其余S-N幅归一化图像中的l幅进行标注,得到带标签训练样本集L={L1,L2,...,Lm,...,Ll},将S-N-l幅归一化图像作为不带标签训练样本集U={U1,U2,...,Um,...,US-N-l},其中,
Figure BDA0002660746430000022
Figure BDA0002660746430000023
Lm表示第m个带标签的训练样本,Um表示第m个不带标签的训练样本;
(2)搭建生成对抗网络模型:
搭建包括生成器网络G和与其连接的判别器网络D的生成对抗网络模型,其中,生成器网络G采用包含全连接层和多个卷积层的卷积神经网络;判别器网络D包括特征金字塔网络和与其级联的SoftMax分类器,特征金字塔网络包括级联的输入层、由依次连接的A个卷积层组成的主干网络M={M1,M2,...,Ma,...,MA}和由卷积层组成的输出层,主干网络M中的前A-1个卷积层各连接由多个池化层和一个卷积层组成的第一支干,A-1个第一支干并行排布,组成第一支干网络
Figure BDA0002660746430000031
第A卷积层MA连接A-1个并行排布的卷积层组成的第二支干网络
Figure BDA0002660746430000032
Figure BDA0002660746430000033
末端的卷积层与输出层相连,
Figure BDA0002660746430000034
的末端与
Figure BDA0002660746430000035
中的卷积层的前端相连,其中Ma表示M中的第a卷积层,
Figure BDA0002660746430000036
表示Z1中的第a个第一支干,
Figure BDA0002660746430000037
表示Z2中的第a卷积层;
(3)对生成对抗网络模型进行迭代训练:
(3a)初始化生成器网络G的网络参数为θG,判别器网络D的网络参数为θD,判别器网络D对于生成器网络G生成的虚假样本集的类别选项概率为D(Gi(z)),z表示包括k个服从高斯分布的噪声向量的集合,k≥10000,阈值t=0.001,迭代次数为i,最大迭代次数为I,I≥500,学习标志位为flag,并令i=0,D(Gi(z))=0;
(3b)固定生成器网络G的网络参数θG,对判别器网络D的网络参数θD进行更新:
(3b1)将从z中随机选取的v个服从高斯分布的噪声向量作为生成器网络G的输入进行特征提取,得到包括v个特征图的虚假样本集V={V1,V2,...,Vm,...,Vv},5000≤v≤10000,Vm表示第m个虚假样本;
(3b2)将虚假样本集V、带标签训练样本集L和不带标签训练样本集U作为判别器网络D的输入,特征金字塔网络对样本进行特征提取,并对每个样本所提取的特征进行融合,得到v+S-N个样本特征,SoftMax分类器通过每个样本特征输出每个样本的类别选项概率,更新判别器网络D对于生成器网络G生成的虚假样本集V的类别选项概率D(Gi(z)),选取每个样本类别选项概率最高的类别选项作为样本的类别预测标签;
(3b3)当学习标志位flag=1时,判别器网络D通过带标签训练样本集L进行监督学习,得到损失函数值Ls,当学习标志位flag=0时,判别器网络D通过虚假样本集V和不带标签训练样本集U进行无监督学习,得到损失函数值Luns,并采用随机梯度下降法,通过损失函数值Lloss=Ls+Luns对判别器网络D的网络参数θD进行更新;
(3c)固定判别器网络D的网络参数θD,生成器网络G根据判别器网络D输出的虚假样本集V的类别选项概率D(Gi(z)),计算自己的损失函数值LG,并采用随机梯度下降法,通过损失函数值LG对生成器网络G的网络参数θG进行更新;
(3d)判断i≥I或|D(Gi(z))-0.5|≤t是否成立,若是,得到训练好的生成对抗网络模型,否则,令i=i+1,并执行步骤(3b);
(4)获取半监督图像分类结果:
将测试样本集作为训练好的生成对抗网络模型的输入进行分类,得到图像的分类结果;
本发明与现有技术相比,具有如下优点:
本发明采用的生成对抗网络包含生成器网络G和判别器网络D,D中包含在主干网络不同层级的卷积层上分别级联第一支干网络与第二支干网络构成的特征金字塔网络和softmax分类器,使用主干网络提取G生成的虚假样本和输入的真实样本不同层级的特征,并通过第一支干网络与第二支干网络的特征求和操作融合特征,结合了图像的低级语义特征与高级语义特征,解决了图像特征缺乏辨识度和多样性的问题,在缺乏足够带标签训练样本的情况下也能达到较好的分类精度,减少了对带标签训练样本的依赖性,根据融合特征对样本分类,根据分类结果调节G参数,再固定G参数调节D参数,通过生成对抗网络的极大极小博弈来达到网络的纳什平衡。仿真结果表明,本发明与现有技术相比,cifar10图像分类精度提高了2.32%。
附图说明
图1为本发明的实现流程图;
图2为本发明特征金字塔网络示意图;
图3为用本发明对cifar10数据集的仿真结果图。
具体实施方式
以下结合附图和具体实施例,对本发明作进一步详细描述。
参照图1,本发明包括如下步骤:
步骤1)获取训练样本集和测试样本集:
步骤1a)获取类别数为K且每个类别包含
Figure BDA0002660746430000051
幅图像的数据集,并对数据集进行归一化,得到包含S幅归一化图像的归一化数据集,其中,2≤K≤20,S≥60000;本实例中采用类别数为10且每个类别包含6000幅图像的cifar10数据集,对数据集进行归一化,得到包含60000幅归一化图像的归一化数据集;
步骤1b)从归一化数据集的每类别中随机选取n幅归一化图像,并将选取的共N幅归一化图像作为测试样本集,然后对其余S-N幅归一化图像中的l幅进行标注,得到带标签训练样本集L={L1,L2,...,Lm,...,Ll},将S-N-l幅归一化图像作为不带标签训练样本集U={U1,U2,...,Um,...,US-N-l},其中,
Figure BDA0002660746430000052
Figure BDA0002660746430000053
Lm表示第m个带标签的训练样本,Um表示第m个不带标签的训练样本;本实例中从cifar10数据集每类别中随机选取1000幅归一化图像,测试样本集包含10000幅归一化图像,其余50000幅归一化图像中的4000幅作为带标签训练样本集,46000幅作为不带标签训练样本集;
步骤2)搭建生成对抗网络模型:
搭建包括生成器网络G和与其连接的判别器网络D的生成对抗网络模型,其中,生成器网络G采用包含全连接层和多个卷积层的卷积神经网络;判别器网络D包括特征金字塔网络和与其级联的SoftMax分类器,特征金字塔网络包括级联的输入层、由依次连接的A个卷积层组成的主干网络M={M1,M2,...,Ma,...,MA}和由卷积层组成的输出层,主干网络M中的前A-1个卷积层各连接由多个池化层和一个卷积层组成的第一支干,A-1个第一支干并行排布,组成第一支干网络
Figure BDA0002660746430000061
第A个卷积层MA连接A-1个并行排布的卷积层组成的第二支干网络
Figure BDA0002660746430000062
Figure BDA0002660746430000063
末端的卷积层与输出层相连,
Figure BDA0002660746430000064
的末端与
Figure BDA0002660746430000065
中的卷积层的前端相连,其中Ma表示M中的第a卷积层,
Figure BDA0002660746430000066
表示Z1中的第a个第一支干,
Figure BDA0002660746430000067
表示Z2中的第a卷积层;
本实例中生成器网络G具体结构和参数如下:
全连接层→第一卷积层conv1→第二卷积层conv2→第三卷积层conv3→第四卷积层conv4
全连接层的节点个数为256个;卷积层数量为4个,第一卷积层conv1、第二卷积层conv2、第三卷积层conv3卷积核大小均为5×5,卷积核步长均为2,第四卷积层conv4卷积核大小为1×1,卷积核步长为1,第一卷积层conv1、第二卷积层conv2、第三卷积层conv3和第四卷积层conv4的卷积核数量分别为256,128,64,1,卷积层激活函数均为relu函数;
本实例中判别器网络D中特征金字塔网络输入层的大小为28×28×1;
参照图2,本实例中判别器网络D中特征金字塔主干网络具体参数为:
主干网络M={M1,M2,M3,M4}包括4个依次连接的卷积层,卷积核大小均为3×3,卷积核步长均为2,第一卷积层M1,第二卷积层M2,第三卷积层M3,第四卷积层M4的卷积核数量分别为64,128,256,256,卷积层的激活函数均为lrelu函数;
本实例中判别器网络D中特征金字塔网络输出层的卷积层的卷积核大小为3×3,卷积核步长为1,卷积核数量为256;
参照图2,判别器网络D中特征金字塔网络第一支干网络参数如下:
第一支干网络
Figure BDA0002660746430000068
包括3个第一支干,
Figure BDA0002660746430000069
包含3个池化层和卷积层:第一池化层pool1、第二池化层pool2、第三池化层pool3、第一卷积层conv1_1,
Figure BDA00026607464300000610
包含2个池化层和卷积层:第四池化层pool4、第五池化层pool5、第二卷积层conv1_2,
Figure BDA0002660746430000071
包含1个池化层和卷积层:第六池化层pool6、第三卷积层conv1_3;池化层采样核步长均为2,池化方式均为最大池化,第一池化层pool1、第二池化层pool2、第四池化层pool4和第六池化层pool6采样核大小均为3×3,第三池化层pool3和第五池化层pool5采样核大小均为2×2;卷积层卷积核大小均为3×3,卷积核步长均为1,第一卷积层conv1_1、第二卷积层conv1_2和第三卷积层conv1_3的卷积核数量分别为64,128,256;
参照图2,判别器网络D中特征金字塔网络第二支干网络具体参数为:
第二支干网络
Figure BDA0002660746430000072
包括3个卷积层,
Figure BDA0002660746430000073
为第一卷积层conv2_1,
Figure BDA0002660746430000074
为第二卷积层conv2_2,
Figure BDA0002660746430000075
为第三卷积层conv2_3;卷积层卷积核大小均为1×1,卷积核步长均为2,第一卷积层conv2_1、第二卷积层conv2_2和第三卷积层conv2_3的卷积核数量分别为64,128,256;
通过第一支干网络与第二支干网络之间的特征求和操作,将第一卷积层M1,第二卷积层M2,第三卷积层M3和第四卷积层M4提取到的不同特征融合到一起,并对融合后的特征进行卷积、拼接操作,得到的图像特征同时具有低级语义特征和高级语义特征,增加了特征的辨识度与多样性,有利于网络对图像进行分类,可以有效地提高分类精度;
步骤3)对生成对抗网络模型进行迭代训练:
步骤3a)初始化生成器网络G的网络参数为θG,判别器网络D的网络参数为θD,判别器网络D对于生成器网络G生成的虚假样本集的类别选项概率D(Gi(z)),z表示包括k个服从高斯分布的噪声向量的集合,k≥10000,阈值t=0.001,迭代次数为i,最大迭代次数为I,I≥500,学习标志位为flag,并令i=0,D(Gi(z))=0;
步骤3b)固定生成器网络G的网络参数θG,对判别器网络D的网络参数θD进行更新:
步骤3b1)将从z中随机选取的v个服从高斯分布的噪声向量作为生成器网络G的输入进行特征提取,得到包括v个特征图的虚假样本集V={V1,V2,...,Vm,...,Vv},5000≤v≤10000,Vm表示第m个虚假样本;
步骤3b2)将虚假样本集V、带标签训练样本集L和不带标签训练样本集U作为判别器网络D的输入,特征金字塔网络对样本进行特征提取,并对每个样本所提取的特征进行融合,得到v+S-N个样本特征,SoftMax分类器通过每个样本特征输出每个样本类别选项概率,更新判别器网络D对于生成器网络G生成的虚假样本集V类别选项概率D(Gi(z)),选取每个样本概率最高的类别选项作为样本的类别预测标签;
步骤3b3)当学习标志位flag=1时,判别器网络D通过带标签训练样本集L进行监督学习,得到损失函数值Ls,当学习标志位flag=0时,判别器网络D通过虚假样本集V和不带标签训练样本集U进行无监督学习,得到损失函数值Luns,并采用随机梯度下降法,通过损失函数值Lloss=Ls+Luns对判别器网络D的网络参数θD进行更新;
损失函数值Ls、损失函数值Luns,计算公式分别为:
Figure BDA0002660746430000081
Figure BDA0002660746430000082
其中,y表示样本类别标签,
Figure BDA0002660746430000083
表示带标签训练样本集L的期望值,Pdata(L,y)表示带标签训练样本集L的概率密度函数,Pmodel(y|L,y<K+1)表示K+1类分类概率模型,
Figure BDA0002660746430000084
表示不带标签训练样本集U的期望值,Pmodel(y=K+1|U)表示不带标签训练样本集U的概率密度模型,Ez~noise表示噪声向量集合z的数学期望值,Pmodel(y=K+1|z)表示噪声向量集合z的概率密度模型;
步骤3c)固定判别器网络D的网络参数θD,生成器网络G根据判别器网络D输出的虚假样本集V类别选项概率D(Gi(z)),计算自己的损失函数值LG,并采用随机梯度下降法,通过损失函数值LG对生成器网络G的网络参数θG进行更新;
生成器网络G的损失函数值LG,计算公式如下:
LG=-Ez~P(z)log(1-D(Gi(z))),
其中,Ez~P(z)表示样本服从高斯分布的数学期望值,P(z)表示噪声向量集合z的概率密度函数;
步骤3d)判断i≥I或|D(Gi(z))-0.5|≤t是否成立,若是,得到训练好的生成对抗网络模型,否则,令i=i+1,并执行步骤(3b);
步骤4)获取半监督图像分类结果:
将测试样本集作为训练好的生成对抗网络模型的输入进行分类,得到图像的分类结果;本实例中,将10000个测试样本集输入到训练好的生成对抗网络模型中,得到图像的分类结果。
以下结合附图和具体实施例,对本发明作进一步详细描述。
1.仿真实验条件和内容:
本发明仿真实验的硬件测试平台是:CPU为intel Core i5-6500,主频为3.2GHz,内存8GB,GPU为NVIDIA TITAN Xp;软件平台是:Ubuntu 16.04 LTS,64位操作系统,python3.5。本发明仿真实验是采用本发明和一个现有技术(一种基于CGAN的图像数据平衡和分类方法)对cifar10数据集的50000幅图像中4000个带标签训练样本和剩余46000个不带标签训练样本对网络进行训练,使用训练好的网络对10000个测试样本进行分类仿真,对两种方法的分类精度进行对比,结果如表1所示,本发明的仿真结果图如图3所示。
2.仿真结果分析:
表1
Figure BDA0002660746430000091
参照图3,其中,结果图横坐标iteration代表网络训练次数,结果图纵坐标testacc代表图像分类精度。从图3可见,本发明在仅使用4000个带标签训练样本的情况下,就取得82.74%的图像分类精度,极大地降低了图形分类任务的训练集门槛,在多领域拥有更好的适用性。

Claims (4)

1.一种基于生成对抗网络的半监督图像分类方法,其特征在于,包括如下步骤:
(1)获取训练样本集和测试样本集:
(1a)获取类别数为K且每个类别包含
Figure FDA0002660746420000011
幅图像的数据集,并对数据集进行归一化,得到包含S幅归一化图像的归一化数据集,其中,2≤K≤20,S≥60000;
(1b)从归一化数据集的每类别中随机选取n幅归一化图像,并将选取的共N幅归一化图像作为测试样本集,然后对其余S-N幅归一化图像中的l幅进行标注,得到带标签训练样本集L={L1,L2,...,Lm,...,Ll},将S-N-l幅归一化图像作为不带标签训练样本集U={U1,U2,...,Um,...,US-N-l},其中,
Figure FDA0002660746420000012
Figure FDA0002660746420000013
Lm表示第m个带标签的训练样本,Um表示第m个不带标签的训练样本;
(2)搭建生成对抗网络模型:
搭建包括生成器网络G和与其连接的判别器网络D的生成对抗网络模型,其中,生成器网络G采用包含全连接层和多个卷积层的卷积神经网络;判别器网络D包括特征金字塔网络和与其级联的SoftMax分类器,特征金字塔网络包括级联的输入层、由依次连接的A个卷积层组成的主干网络M={M1,M2,...,Ma,...,MA}和由卷积层组成的输出层,主干网络M中的前A-1个卷积层各连接由多个池化层和一个卷积层组成的第一支干,A-1个第一支干并行排布,组成第一支干网络
Figure FDA0002660746420000014
第A个卷积层MA连接A-1个并行排布的卷积层组成的第二支干网络
Figure FDA0002660746420000015
Figure FDA0002660746420000016
末端的卷积层与输出层相连,
Figure FDA0002660746420000017
的末端与
Figure FDA0002660746420000018
中的卷积层的前端相连,其中Ma表示M中的第a卷积层,
Figure FDA0002660746420000019
表示Z1中的第a个第一支干,
Figure FDA00026607464200000110
表示Z2中的第a卷积层;
(3)对生成对抗网络模型进行迭代训练:
(3a)初始化生成器网络G的网络参数为θG,判别器网络D的网络参数为θD,判别器网络D对于生成器网络G生成的虚假样本集的类别选项概率为D(Gi(z)),z表示包括k个服从高斯分布的噪声向量的集合,k≥10000,阈值t=0.001,迭代次数为i,最大迭代次数为I,I≥500,学习标志位为flag,并令i=0,D(Gi(z))=0;
(3b)固定生成器网络G的网络参数θG,对判别器网络D的网络参数θD进行更新:
(3b1)将从z中随机选取的v个服从高斯分布的噪声向量作为生成器网络G的输入进行特征提取,得到包括v个特征图的虚假样本集V={V1,V2,...,Vm,...,Vv},5000≤v≤10000,Vm表示第m个虚假样本;
(3b2)将虚假样本集V、带标签训练样本集L和不带标签训练样本集U作为判别器网络D的输入,特征金字塔网络对样本进行特征提取,并对每个样本所提取的特征进行融合,得到v+S-N个样本特征,SoftMax分类器通过每个样本特征输出每个样本的类别选项概率,更新判别器网络D对于生成器网络G生成的虚假样本集V的类别选项概率D(Gi(z)),选取每个样本类别选项概率最高的类别作为样本的类别预测标签;
(3b3)当学习标志位flag=1时,判别器网络D通过带标签训练样本集L进行监督学习,得到损失函数值Ls,当学习标志位flag=0时,判别器网络D通过虚假样本集V和不带标签训练样本集U进行无监督学习,得到损失函数值Luns,并采用随机梯度下降法,通过损失函数值Lloss=Ls+Luns对判别器网络D的网络参数θD进行更新;
(3c)固定判别器网络D的网络参数θD,生成器网络G根据判别器网络D输出的虚假样本集V的类别选项概率D(Gi(z)),计算自己的损失函数值LG,并采用随机梯度下降法,通过损失函数值LG对生成器网络G的网络参数θG进行更新;
(3d)判断i≥I或|D(Gi(z))-0.5|≤t是否成立,若是,得到训练好的生成对抗网络模型,否则,令i=i+1,并执行步骤(3b);
(4)获取半监督图像分类结果:
将测试样本集作为训练好的生成对抗网络模型的输入进行分类,得到图像的分类结果。
2.根据权利要求1所述的基于生成对抗网络的半监督图像分类方法,其特征在于,步骤(2)所述的生成器网络G和判别器网络D,其中:
生成器网络G的具体结构和参数为:
全连接层→第一卷积层conv1→第二卷积层conv2→第三卷积层conv3→第四卷积层conv4
全连接层的节点个数为256个;卷积层数量为4个,第一卷积层conv1、第二卷积层conv2、第三卷积层conv3卷积核大小均为5×5,卷积核步长均为2,第四卷积层conv4卷积核大小为1×1,卷积核步长为1,第一卷积层conv1、第二卷积层conv2、第三卷积层conv3和第四卷积层conv4的卷积核数量分别为256,128,64,1,卷积层激活函数均为relu函数;
判别器网络D中特征金字塔网络输入层的大小为28×28×1;
判别器网络D中特征金字塔网络主干网络具体参数为:
主干网络M={M1,M2,M3,M4}包括4个依次连接的卷积层,卷积核大小均为3×3,卷积核步长均为2,第一卷积层M1,第二卷积层M2,第三卷积层M3,第四卷积层M4的卷积核数量分别为64,128,256,256,卷积层的激活函数均为lrelu函数;
判别器网络D中特征金字塔网络输出层的卷积层卷积核大小为3×3,卷积核步长为1,卷积核数量为256。
判别器网络D中特征金字塔网络第一支干网络具体参数为:
第一支干网络
Figure FDA0002660746420000031
包括3个第一支干,
Figure FDA0002660746420000032
包含3个池化层和卷积层:第一池化层pool1、第二池化层pool2、第三池化层pool3、第一卷积层conv1_1,
Figure FDA0002660746420000041
包含2个池化层和卷积层:第四池化层pool4、第五池化层pool5、第二卷积层conv1_2,
Figure FDA0002660746420000042
包含1个池化层和卷积层:第六池化层pool6、第三卷积层conv1_3;池化层采样核步长均为2,池化方式均为最大池化,第一池化层pool1、第二池化层pool2、第四池化层pool4和第六池化层pool6采样核大小均为3×3,第三池化层pool3和第五池化层pool5采样核大小均为2×2;卷积层卷积核大小均为3×3,卷积核步长均为1,第一卷积层conv1_1、第二卷积层conv1_2和第三卷积层conv1_3的卷积核数量分别为64,128,256;
判别器网络D中特征金字塔网络第二支干网络具体参数为:
第二支干网络
Figure FDA0002660746420000043
包括3个卷积层,
Figure FDA0002660746420000044
为第一卷积层conv2_1,
Figure FDA0002660746420000045
为第二卷积层conv2_2,
Figure FDA0002660746420000046
为第三卷积层conv2_3;卷积层卷积核大小均为1×1,卷积核步长均为2,第一卷积层conv2_1、第二卷积层conv2_2和第三卷积层conv2_3的卷积核数量分别为64,128,256。
3.根据权利要求1所述的基于生成对抗网络的半监督图像分类方法,其特征在于,步骤(3b3)中所述的损失函数值Ls、损失函数值Luns,计算公式分别为:
Figure FDA0002660746420000047
Figure FDA0002660746420000048
其中,y表示样本类别标签,
Figure FDA0002660746420000049
表示带标签训练样本集L的期望值,Pdata(L,y)表示带标签训练样本集L的概率密度函数,Pmodel(y|L,y<K+1)表示K+1类分类概率模型,
Figure FDA00026607464200000410
表示不带标签训练样本集U的期望值,Pmodel(y=K+1|U)表示不带标签训练样本集U的概率密度模型,Ez~noise表示噪声向量集合z的数学期望值,Pmodel(y=K+1|z)表示噪声向量集合z的概率密度模型。
4.根据权利要求1所述的基于生成对抗网络的半监督图像分类方法,其特征在于,步骤(3c)中所述的生成器网络G的损失函数值LG,计算公式为:
LG=-Ez~P(z)log(1-D(Gi(z))),
其中,Ez~P(z)表示样本服从高斯分布的数学期望值,P(z)表示噪声向量集合z的概率密度函数。
CN202010904002.9A 2020-09-01 2020-09-01 基于生成对抗网络的半监督图像分类方法 Pending CN112052893A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010904002.9A CN112052893A (zh) 2020-09-01 2020-09-01 基于生成对抗网络的半监督图像分类方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010904002.9A CN112052893A (zh) 2020-09-01 2020-09-01 基于生成对抗网络的半监督图像分类方法

Publications (1)

Publication Number Publication Date
CN112052893A true CN112052893A (zh) 2020-12-08

Family

ID=73608309

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010904002.9A Pending CN112052893A (zh) 2020-09-01 2020-09-01 基于生成对抗网络的半监督图像分类方法

Country Status (1)

Country Link
CN (1) CN112052893A (zh)

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112529005A (zh) * 2020-12-11 2021-03-19 西安电子科技大学 基于语义特征一致性监督金字塔网络的目标检测方法
CN112614053A (zh) * 2020-12-25 2021-04-06 哈尔滨市科佳通用机电股份有限公司 基于对抗神经网络的单个图像生成多个图像的方法及系统
CN112784930A (zh) * 2021-03-17 2021-05-11 西安电子科技大学 基于cacgan的hrrp识别数据库样本扩充方法
CN113128620A (zh) * 2021-05-11 2021-07-16 北京理工大学 一种基于层次关系的半监督领域自适应图片分类方法
CN113221948A (zh) * 2021-04-13 2021-08-06 复旦大学 基于对抗生成网络和弱监督学习的数字切片图像分类方法
CN113255789A (zh) * 2021-05-31 2021-08-13 西安电子科技大学 基于对抗网络和多被试脑电信号的视频质量评价方法
CN113469084A (zh) * 2021-07-07 2021-10-01 西安电子科技大学 基于对比生成对抗网络的高光谱图像分类方法
CN113569917A (zh) * 2021-07-01 2021-10-29 浙江大学 一种自监督的图像翻译方法和系统
CN114120048A (zh) * 2022-01-26 2022-03-01 中兴通讯股份有限公司 图像处理方法、电子设备及计算存储介质
CN114241263A (zh) * 2021-12-17 2022-03-25 电子科技大学 基于生成对抗网络的雷达干扰半监督开集识别系统
CN114821247A (zh) * 2022-06-30 2022-07-29 杭州闪马智擎科技有限公司 一种模型的训练方法、装置、存储介质及电子装置
CN115086674A (zh) * 2022-06-16 2022-09-20 西安电子科技大学 基于生成对抗网络的图像隐写方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109190665A (zh) * 2018-07-30 2019-01-11 国网上海市电力公司 一种基于半监督生成对抗网络的通用图像分类方法和装置
CN109523463A (zh) * 2018-11-20 2019-03-26 中山大学 一种基于条件生成对抗网络的人脸老化方法
CN110097103A (zh) * 2019-04-22 2019-08-06 西安电子科技大学 基于生成对抗网络的半监督图像分类方法
CN110110745A (zh) * 2019-03-29 2019-08-09 上海海事大学 基于生成对抗网络的半监督x光图像自动标注

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109190665A (zh) * 2018-07-30 2019-01-11 国网上海市电力公司 一种基于半监督生成对抗网络的通用图像分类方法和装置
CN109523463A (zh) * 2018-11-20 2019-03-26 中山大学 一种基于条件生成对抗网络的人脸老化方法
CN110110745A (zh) * 2019-03-29 2019-08-09 上海海事大学 基于生成对抗网络的半监督x光图像自动标注
CN110097103A (zh) * 2019-04-22 2019-08-06 西安电子科技大学 基于生成对抗网络的半监督图像分类方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
HONGYUYANG等: "LearningFaceAgeProgression:APyramidArchitectureofGANs", 《2018IEEE/CVFCONFERENCEONCOMPUTERVISIONANDPATTERNRECOGNITION》 *

Cited By (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112529005A (zh) * 2020-12-11 2021-03-19 西安电子科技大学 基于语义特征一致性监督金字塔网络的目标检测方法
CN112529005B (zh) * 2020-12-11 2022-12-06 西安电子科技大学 基于语义特征一致性监督金字塔网络的目标检测方法
CN112614053A (zh) * 2020-12-25 2021-04-06 哈尔滨市科佳通用机电股份有限公司 基于对抗神经网络的单个图像生成多个图像的方法及系统
CN112784930B (zh) * 2021-03-17 2022-03-04 西安电子科技大学 基于cacgan的hrrp识别数据库样本扩充方法
CN112784930A (zh) * 2021-03-17 2021-05-11 西安电子科技大学 基于cacgan的hrrp识别数据库样本扩充方法
CN113221948A (zh) * 2021-04-13 2021-08-06 复旦大学 基于对抗生成网络和弱监督学习的数字切片图像分类方法
CN113221948B (zh) * 2021-04-13 2022-08-05 复旦大学 基于对抗生成网络和弱监督学习的数字切片图像分类方法
CN113128620A (zh) * 2021-05-11 2021-07-16 北京理工大学 一种基于层次关系的半监督领域自适应图片分类方法
CN113128620B (zh) * 2021-05-11 2022-10-21 北京理工大学 一种基于层次关系的半监督领域自适应图片分类方法
CN113255789A (zh) * 2021-05-31 2021-08-13 西安电子科技大学 基于对抗网络和多被试脑电信号的视频质量评价方法
CN113255789B (zh) * 2021-05-31 2023-01-24 西安电子科技大学 基于对抗网络和多被试脑电信号的视频质量评价方法
CN113569917A (zh) * 2021-07-01 2021-10-29 浙江大学 一种自监督的图像翻译方法和系统
CN113569917B (zh) * 2021-07-01 2023-12-12 浙江大学 一种自监督的图像翻译方法和系统
CN113469084A (zh) * 2021-07-07 2021-10-01 西安电子科技大学 基于对比生成对抗网络的高光谱图像分类方法
CN113469084B (zh) * 2021-07-07 2023-06-30 西安电子科技大学 基于对比生成对抗网络的高光谱图像分类方法
CN114241263A (zh) * 2021-12-17 2022-03-25 电子科技大学 基于生成对抗网络的雷达干扰半监督开集识别系统
CN114241263B (zh) * 2021-12-17 2023-05-02 电子科技大学 基于生成对抗网络的雷达干扰半监督开集识别系统
CN114120048A (zh) * 2022-01-26 2022-03-01 中兴通讯股份有限公司 图像处理方法、电子设备及计算存储介质
CN115086674A (zh) * 2022-06-16 2022-09-20 西安电子科技大学 基于生成对抗网络的图像隐写方法
CN115086674B (zh) * 2022-06-16 2024-04-02 西安电子科技大学 基于生成对抗网络的图像隐写方法
CN114821247A (zh) * 2022-06-30 2022-07-29 杭州闪马智擎科技有限公司 一种模型的训练方法、装置、存储介质及电子装置

Similar Documents

Publication Publication Date Title
CN112052893A (zh) 基于生成对抗网络的半监督图像分类方法
Zhang et al. Stackgan++: Realistic image synthesis with stacked generative adversarial networks
CN110516596B (zh) 基于Octave卷积的空谱注意力高光谱图像分类方法
CN108615010B (zh) 基于平行卷积神经网络特征图融合的人脸表情识别方法
CN113159051B (zh) 一种基于边缘解耦的遥感图像轻量化语义分割方法
CN108510012A (zh) 一种基于多尺度特征图的目标快速检测方法
CN109598306B (zh) 基于srcm和卷积神经网络的高光谱图像分类方法
CN109840560B (zh) 基于胶囊网络中融入聚类的图像分类方法
CN113486981A (zh) 基于多尺度特征注意力融合网络的rgb图像分类方法
CN112070729B (zh) 一种基于场景增强的anchor-free遥感图像目标检测方法及系统
CN107944483B (zh) 基于双通道dcgan和特征融合的多光谱图像分类方法
CN111914728B (zh) 高光谱遥感影像半监督分类方法、装置及存储介质
CN110909760B (zh) 一种基于卷积神经网络的图像开放集识别方法
CN112949738B (zh) 基于eecnn算法的多类不平衡高光谱图像分类方法
CN110148103A (zh) 基于联合优化的高光谱和多光谱图像融合方法、计算机可读存储介质、电子设备
CN112905828B (zh) 一种结合显著特征的图像检索器、数据库及检索方法
CN110705374A (zh) 基于改进RetinaNet网络的输电线路缺陷识别方法
CN110009700B (zh) 基于rgb图和梯度图的卷积神经网络视觉深度估计方法
CN111985554A (zh) 一种模型训练方法、手镯识别方法及对应装置
CN109255339B (zh) 基于自适应深度森林人体步态能量图的分类方法
CN113642621A (zh) 基于生成对抗网络的零样本图像分类方法
CN109583519A (zh) 一种基于p-Laplacian图卷积神经网络的半监督分类方法
CN111222545B (zh) 基于线性规划增量学习的图像分类方法
CN110852369A (zh) 联合3d/2d卷积网络和自适应光谱解混的高光谱图像分类方法
CN114330516A (zh) 基于多图引导神经网络模型的小样本徽景图像分类

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20201208

WD01 Invention patent application deemed withdrawn after publication