CN110647927A - 一种基于acgan图像半监督分类算法 - Google Patents

一种基于acgan图像半监督分类算法 Download PDF

Info

Publication number
CN110647927A
CN110647927A CN201910883908.4A CN201910883908A CN110647927A CN 110647927 A CN110647927 A CN 110647927A CN 201910883908 A CN201910883908 A CN 201910883908A CN 110647927 A CN110647927 A CN 110647927A
Authority
CN
China
Prior art keywords
data
acgan
discriminator
loss function
semi
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201910883908.4A
Other languages
English (en)
Inventor
肖红光
赵准登
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Changsha University of Science and Technology
Original Assignee
Changsha University of Science and Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Changsha University of Science and Technology filed Critical Changsha University of Science and Technology
Priority to CN201910883908.4A priority Critical patent/CN110647927A/zh
Publication of CN110647927A publication Critical patent/CN110647927A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • Computational Linguistics (AREA)
  • Health & Medical Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Image Analysis (AREA)

Abstract

本发明基于ACGAN图像半监督分类算法解决在半监督学习中标签过少导致分类过拟合的问题，通过ACGAN网络中的生成器生成假数据及其对应的标签，并把假数据放入分类器中进行分类，增加带有标签的数据量，从而提高分类模型的泛化能力。

Description

一种基于ACGAN图像半监督分类算法
技术领域
本发明涉及图像识别领域，具体一种基于ACGAN图像半监督分类算法。
背景技术
在实际应用中,为分类模型提供大量的人工标签越来越困难,因此,近几年基于半监督的图像分类问题获得了越来越多的关注。大量实验表明,在生成对抗网络的训练过程中,引入少量的标签数据能获得更好的分类效果。目前最常用的半监督生成对抗网络是Improved GAN，其解决一个K+1类的分类问题，其中前K类表示真实数据的具体类别，第K+1类表示生成数据即假数据的类别。然而这个网络模型并不能对生成数据有一个具体的分类，仅仅只是把生成数据去判别真伪，对于标签稀少的数据集采用半监督学习进行分类精度提高不太明显。
发明内容
针对半监督分类标签不足造成分类结果过拟合，本发明的目的在于针对ACGAN网络结构提供了一种基于ACGAN图像半监督分类算法，通过ACGAN中的分类器生成带有标签的假数据提供给分类器进行分类，增加带标签样本的数量来提高分类精度，对于无标签数据采用香农熵以衡量分类器对于无标签数据分类的不确定度，以此来提高分类器的自信度。
为实现上述目的，本发明采用以下技术方案：
1采用minibatch方式训练，先从标准正态分布中采样m个随机分布z，和m个带标签样本中的标签c，通过矩阵融和把z和y融和成一个矩阵当成生成器G的输入，通过步长卷积生成与原图像具有相同维度的假数据Xg～Pg(X,Y)。
2判别器D1接收带标签数据Xl，不带标签数据Xu和生成数据Xg通过卷积网络生成对应的数据特征。
3判别器D2接收D1输出的图像特征，通过MLP网络输出一个数值来判别这个数据特征的真伪，判别器D1/D2与生成器G构成极大极小化博弈，其期望如公式(1)，利用梯度下降法来更新D1，D2和G中的参数
其中D(X)＝D2(D1(X))，κ＝(m+n)。
4分类器C接收D1输出的图像特征，通过MLP网络输出一个k维列向量，其损失函数lC分为两部分，对于有标签数据和生成数据来说使用交叉熵来表示损失函数lsup，如公式(3)所示；对于无标签数据使用香农熵来表示损失函数lu，如公式(4)所示；通过对损失函数采用梯度下降法来更新D1和C中的参数；
lC＝lu+lsup (2)
其中
5重复步骤1—4，通过生成器和判别器博弈，直至网络达到纳什均衡。
附图说明
图1是本发明一种实施方式的方法网络结构图；
图2是本发明在MNIST数据集下的每个部分具体实施方法。
具体实施方式
下面通过附图及具体实施方式对本发明进行详细的说明。显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。在下文对本发明的细节描述中，详尽描述了一些特定的细节部分。对本领域技术人员来说没有这些细节部分的描述也可以完全理解本发明。为了避免混淆本发明的实质，公知的方法、过程、流程、元件和电路并没有详细叙述。
一种基于ACGAN半监督图像分类算法，其网络结构如图1所示，包括步骤：
步骤一：采用minibatch方式训练，先从标准正态分布中采样m个随机分布z，和m个带标签样本中的标签c，通过矩阵融和把z和y融和成一个矩阵当成生成器G的输入，通过步长卷积生成与原图像具有相同维度的假数据Xg～Pg(X,Y)。
步骤二：判别器D1通过接收带标签数据，不带标签数据和生成数据生成对应的数据特征：
2.1采样m个有标签数据Xl～Pl(X,Y)输入到判别器D1，通过卷积神经网络生成一个一维向量D1(Xl)作为有标签数据的特征；
2.2把m个假数据Xg～Pg(X,Y)输入到判别器D1，通过卷积神经网络生成一个一维向量D1(Xg)作为假数据的特征；
2.3采样n个无标签数据Xu～Pu(X)输入到判别器D1，通过卷积神经网络生成一个一维向量D1(Xu)作为无标签数据的特征。
步骤三：判别器D2接收D1输出的图像特征，通过MLP网络层输出一个数值来判别这个数据特征的真伪。判别器D1/D2与生成器G构成极大极小化博弈，其期望如公式(1)，利用梯度下降法来更新D1，D2和G中的参数：
Figure BDA0002205341910000031
其中D(X)＝D2(D1(X))，κ＝(m+n)。
由于无标签数据远小于有标签数据，为了使得上式达到纳什均衡，在无标签数据对应的期望前面乘上系数κ解决数据不平衡问题，证明如下：
当G中参数固定时，上式对D求导可得：
Figure BDA0002205341910000032
令导数等于0，由于Pl和Pu独立同分布，则最优判别器D(X)为：
Figure BDA0002205341910000033
所以当生成数据分布和真实数据分布一致时(即Pl＝Pg)，判别器D(x)＝0.5，则表明判别器和生成器达到纳什均衡。
3.1把m个假数据特征D1(Xg)输入至判别器D2，判别器的目的则希望给假数据低分，即通过梯度下降法更新D1/D2的参数最小化式(1)中的第三项，而生成器则希望假数据能在判别器中得到高分，即通过梯度下降法更新G中的参数最大化式(1)中的第三项，所以这就构成极大极小值博弈；
3.2把m个有标签数据特征D1(Xl)输入至判别器D2，判别器的目的则希望给真实数据高分，即通过梯度下降法更新D1/D2的参数最大化式(1)中的第一项；
3.3把n个无标签数据特征D1(Xu)输入至判别器D2，判别器的目的则希望给真实数据高分，即通过梯度下降法更新D1/D2的参数最大化式(1)中的第二项。
步骤四：分类器C接收D1输出的图像特征，通过MLP网络输出一个k维列向量，其损失函数lC分为两部分，对于有标签数据和生成数据来说使用交叉熵来表示损失函数lsup，如公式(3)所示，对于无标签数据使用香农熵来表示损失函数lu，如公式(4)所示，通过对损失函数采用梯度下降法来更新D1和C中的参数。
lC＝lu+lsup (2)
其中
Figure BDA0002205341910000042
步骤五：重复步骤1-4，通过生成器和判别器博弈，直至网络达到纳什均衡。
网络训练完成后，分类任务只需提取判别器D1和分类器C两个部分，通过从判别器D1输入图片生成对应的图片特征向量，再通过分类器C生成其类别，从而达到半监督分类的目的。其中图2是该网络在MNIST数据集上每个部分的具体实施方法。

Claims (5)

1.一种基于ACGAN图像半监督分类算法，其特征在于，包括步骤
1)采用minibatch方式训练，先从标准正态分布中采样m个随机分布z，和m个带标签样本中的标签c，通过矩阵融和把z和y融和成一个矩阵当成生成器G的输入，通过步长卷积生成与原图像具有相同维度的假数据Xg～Pg(X,Y)；
2)判别器D1接收带标签数据Xl，不带标签数据Xu和生成数据Xg通过卷积网络生成对应的数据特征；
3)判别器D2接收D1输出的图像特征，通过MLP网络输出一个数值来判别这个数据特征的真伪。判别器D1/D2与生成器G构成极大极小化博弈，其期望如公式(1)，利用梯度下降法来更新D1，D2和G中的参数；
Figure FDA0002205341900000011
其中D(X)＝D2(D1(X))，κ＝(m+n)
4)分类器C接收D1输出的图像特征，通过MLP网络输出一个k维列向量，其损失函数lC分为两部分如公式(2)所示，对于有标签数据和生成数据来说使用交叉熵来表示损失函数lsup，如公式(3)所示；对于无标签数据使用香农熵来表示损失函数lu，如公式(4)所示；通过对损失函数采用梯度下降法来更新D1和C中的参数；
lC＝lu+lsup (2)
其中
Figure FDA0002205341900000013
5)重复步骤1—4)，通过生成器和判别器博弈，直至网络达到纳什均衡。
2.根据权利要求1所述的一种基于ACGAN的图像半监督分类算法，其特征在于，在原有的ACGAN网络中的判别器输入加上了无标签数据。
3.根据权利要求1所述的一种基于ACGAN的图像半监督分类算法，其特征在于，把通过生成器生成的带有标签的数据视为真实数据输入到分类器中，并采用交叉熵表示损失函数。
4.根据权利要求1所述的一种基于ACGAN的图像半监督分类算法，其特征在于，通过在生成数据得分期望前乘上系数κ。
5.根据权利要求1所述的一种基于ACGAN的图像半监督分类算法，其特征在于，通过分类器对无标签数据特征采用香浓熵表示损失函数。
CN201910883908.4A 2019-09-18 2019-09-18 一种基于acgan图像半监督分类算法 Pending CN110647927A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910883908.4A CN110647927A (zh) 2019-09-18 2019-09-18 一种基于acgan图像半监督分类算法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910883908.4A CN110647927A (zh) 2019-09-18 2019-09-18 一种基于acgan图像半监督分类算法

Publications (1)

Publication Number Publication Date
CN110647927A true CN110647927A (zh) 2020-01-03

Family

ID=68991360

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910883908.4A Pending CN110647927A (zh) 2019-09-18 2019-09-18 一种基于acgan图像半监督分类算法

Country Status (1)

Country Link
CN (1) CN110647927A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111241291A (zh) * 2020-04-24 2020-06-05 支付宝(杭州)信息技术有限公司 利用对抗生成网络生成对抗样本的方法及装置
CN112307926A (zh) * 2020-10-26 2021-02-02 西北工业大学 一种基于生成对抗网络的声学被动式舰船目标分类方法

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107506800A (zh) * 2017-09-21 2017-12-22 深圳市唯特视科技有限公司 一种基于无监督域适应的无标签视频人脸识别方法
CN107944483A (zh) * 2017-11-17 2018-04-20 西安电子科技大学 基于双通道dcgan和特征融合的多光谱图像分类方法
CN108764005A (zh) * 2018-01-31 2018-11-06 华侨大学 一种高光谱遥感图像地物空间波谱特征提取方法及系统
WO2018209894A1 (en) * 2017-05-19 2018-11-22 Huawei Technologies Co., Ltd. Semi-supervised regression with generative adversarial networks
CN109214408A (zh) * 2018-07-10 2019-01-15 武汉科技大学 基于生成对抗模型识别肝肿瘤的方法及装置
CN109948660A (zh) * 2019-02-26 2019-06-28 长沙理工大学 一种改进辅助分类器gan的图像分类方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018209894A1 (en) * 2017-05-19 2018-11-22 Huawei Technologies Co., Ltd. Semi-supervised regression with generative adversarial networks
CN107506800A (zh) * 2017-09-21 2017-12-22 深圳市唯特视科技有限公司 一种基于无监督域适应的无标签视频人脸识别方法
CN107944483A (zh) * 2017-11-17 2018-04-20 西安电子科技大学 基于双通道dcgan和特征融合的多光谱图像分类方法
CN108764005A (zh) * 2018-01-31 2018-11-06 华侨大学 一种高光谱遥感图像地物空间波谱特征提取方法及系统
CN109214408A (zh) * 2018-07-10 2019-01-15 武汉科技大学 基于生成对抗模型识别肝肿瘤的方法及装置
CN109948660A (zh) * 2019-02-26 2019-06-28 长沙理工大学 一种改进辅助分类器gan的图像分类方法

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111241291A (zh) * 2020-04-24 2020-06-05 支付宝(杭州)信息技术有限公司 利用对抗生成网络生成对抗样本的方法及装置
CN112307926A (zh) * 2020-10-26 2021-02-02 西北工业大学 一种基于生成对抗网络的声学被动式舰船目标分类方法
CN112307926B (zh) * 2020-10-26 2022-12-06 西北工业大学 一种基于生成对抗网络的声学被动式舰船目标分类方法

Similar Documents

Publication Publication Date Title
CN110414377B (zh) 一种基于尺度注意力网络的遥感图像场景分类方法
Rozantsev et al. Beyond sharing weights for deep domain adaptation
Xie et al. Hybrid CNN and dictionary-based models for scene recognition and domain adaptation
Wei et al. Variations in variational autoencoders-a comparative evaluation
Li et al. Linestofacephoto: Face photo generation from lines with conditional self-attention generative adversarial networks
CN106326288B (zh) 图像搜索方法及装置
Yang et al. Action recognition using super sparse coding vector with spatio-temporal awareness
CN114841257B (zh) 一种基于自监督对比约束下的小样本目标检测方法
CN105930834B (zh) 基于球哈希二值编码的人脸识别方法及装置
Qin et al. Compressive sequential learning for action similarity labeling
Gao et al. The labeled multiple canonical correlation analysis for information fusion
CN112784929B (zh) 一种基于双元组扩充的小样本图像分类方法及装置
CN109284767B (zh) 一种基于增广样本和多流层的行人检索方法
US20210224647A1 (en) Model training apparatus and method
CN112488209B (zh) 一种基于半监督学习的增量式图片分类方法
CN108154156B (zh) 基于神经主题模型的图像集成分类方法及装置
CN110111365B (zh) 基于深度学习的训练方法和装置以及目标跟踪方法和装置
Kumar Verma et al. Generative model for zero-shot sketch-based image retrieval
CN106529586A (zh) 基于补充文本特征的图像分类方法
CN110647927A (zh) 一种基于acgan图像半监督分类算法
CN115222998A (zh) 一种图像分类方法
CN114283083B (zh) 一种基于解耦表示的场景生成模型的美学增强方法
Khokher et al. A super descriptor tensor decomposition for dynamic scene recognition
CN107220597A (zh) 一种基于局部特征和词袋模型人体动作识别过程的关键帧选取方法
Liao et al. Preserving Label-Related Domain-Specific Information for Cross-Domain Semantic Segmentation

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20200103