CN109948660A - 一种改进辅助分类器gan的图像分类方法 - Google Patents
一种改进辅助分类器gan的图像分类方法 Download PDFInfo
- Publication number
- CN109948660A CN109948660A CN201910142328.XA CN201910142328A CN109948660A CN 109948660 A CN109948660 A CN 109948660A CN 201910142328 A CN201910142328 A CN 201910142328A CN 109948660 A CN109948660 A CN 109948660A
- Authority
- CN
- China
- Prior art keywords
- sample
- label
- arbiter
- formula
- acgan
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
- 238000000034 method Methods 0.000 title claims abstract description 71
- 238000012544 monitoring process Methods 0.000 claims abstract description 4
- 238000012549 training Methods 0.000 claims description 34
- 238000013527 convolutional neural network Methods 0.000 abstract description 28
- 230000006870 function Effects 0.000 description 19
- 208000009119 Giant Axonal Neuropathy Diseases 0.000 description 18
- 201000003382 giant axonal neuropathy 1 Diseases 0.000 description 18
- 238000002474 experimental method Methods 0.000 description 13
- 238000012360 testing method Methods 0.000 description 12
- 230000000694 effects Effects 0.000 description 11
- 230000004069 differentiation Effects 0.000 description 6
- 238000009826 distribution Methods 0.000 description 6
- 238000000605 extraction Methods 0.000 description 4
- 230000008569 process Effects 0.000 description 4
- 230000017105 transposition Effects 0.000 description 4
- 230000008859 change Effects 0.000 description 3
- 241001269238 Data Species 0.000 description 2
- 238000013256 Gubra-Amylin NASH model Methods 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 2
- 238000013528 artificial neural network Methods 0.000 description 2
- 238000004422 calculation algorithm Methods 0.000 description 2
- 238000010276 construction Methods 0.000 description 2
- 239000000284 extract Substances 0.000 description 2
- 230000006872 improvement Effects 0.000 description 2
- 238000004519 manufacturing process Methods 0.000 description 2
- 239000000203 mixture Substances 0.000 description 2
- NAWXUBYGYWOOIX-SFHVURJKSA-N (2s)-2-[[4-[2-(2,4-diaminoquinazolin-6-yl)ethyl]benzoyl]amino]-4-methylidenepentanedioic acid Chemical compound C1=CC2=NC(N)=NC(N)=C2C=C1CCC1=CC=C(C(=O)N[C@@H](CC(=C)C(O)=O)C(O)=O)C=C1 NAWXUBYGYWOOIX-SFHVURJKSA-N 0.000 description 1
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 238000007635 classification algorithm Methods 0.000 description 1
- 238000013145 classification model Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 230000007812 deficiency Effects 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 230000009977 dual effect Effects 0.000 description 1
- 235000013399 edible fruits Nutrition 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 239000004744 fabric Substances 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- General Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种改进辅助分类器GAN的图像分类方法,包括:在ACGAN网络结构的基础上,将判别器的部分卷积层改为池化层,让生成样本在判别器中的特征输出与真实样本在判别器中的特征输出相匹配,在判别网络的输出层连接Softmax分类器,输出样本标签的后验概率估计值;将真实样本看成有标签的监督数据,生成样本看成有标签的假数据,利用样本的真假属性以及样本的输出标签与输入标签的交叉熵损失函数重构生成器和判别器的损失函数。该方法与原始ACGAN方法及同等深度网络结构的卷积神经网络相比,具有更好的分类准确率。
Description
技术领域
本发明涉及图像分类技术领域,具体涉及一种改进辅助分类器GAN的图像分类方法。
背景技术
图像分类是图像处理的热点研究问题,目前最优的方法是深度卷积神经网络(DCNN)方法。DCNN本质上是一种更加有效的特征提取方法,将提取的特征作为分类器的输入从而实现分类。此类网络最大的缺点是只能利用人工提供的样本,模型不能学习样本的空间分布,不能更深层次地理解样本的内在结构,这无疑会影响模型的最终分类效果。
生成模型是一种能够学习到数据的潜在分布并生成新样本的模型。传统的生成模型有高斯模型、贝叶斯网络、S型信度网、高斯混合模型GMM、多项混合模型MMM、隐马尔科夫模型和隐马尔科夫随机场模型等。2014年,Ian J.Goodfellow在总结传统生成网络的优缺点的基础上,提出了生成对抗网络(Generative Adversarial Network,GAN)。GAN的核心思想是同时训练两个相互对抗的网络:生成网络(Generative Network,G)和判别网络(Discriminative Network,D)。训练判别网络使其能将真实样本和生成网络生成的伪样本区分开,其本质是一个二分类问题;训练生成网络使其生成尽可能看似真实的样本,让判别器错误的将其判别为真样本,达到以假乱真的效果。然而,GAN属于无监督学习范围,与其他生成式模型相比,这种不需要预先建模的方式存在可控性不佳的缺点。
为此,现有技术提出了一种将GAN与卷积神经网络(Convolutional NeuralNetwork,CNN)相结合的生成网络模型DCGAN(Deep Convolutional GANs),从而达到生成网络训练过程更加稳定,生成图像更加清晰的目的。条件生成式对抗网络(ConditionalGenerative Adversarial Networks,CGAN)训练时在生成器和判别器中都加入了图像的类别标签,从而实现图像的定向生成;基于辅助分类器生成对抗网络(Auxiliary ClassifierGenerative Adversarial Networks,ACGAN)与CGAN一样,也是利用图像的标签信息进行训练,但此时只是在生成器中加入标签信息,从而实现图像的定向生成。CGAN、ACGAN的应用将GAN带入到监督学习的范畴,可以达到标签与生成图像相对应的效果,其中ACGAN在CGAN的基础上做了进一步改进,并结合了InfoGAN中最大互信息的思想,实验表明,ACGAN能生成更加高清的样本。但是传统的ACGAN网络的判别器是一个天然的分类器,用于图像分类时,存在训练速度慢、训练过程不稳定、判别效果不佳等诸多问题。
发明内容
针对现有技术的上述不足,本发明的目的是提供一种改进辅助分类器GAN的图像分类算法(Image Classification Based on Auxiliary Classifier GAN,IC-ACGAN)。
为实现上述目的,本发明采用以下技术方案:
一种改进辅助分类器GAN的图像分类方法,包括:
在ACGAN网络结构的基础上,将判别器的第3卷积层、第5卷积层分别改为池化层,并引入特征匹配(FM),使生成样本在判别器中的特征输出与真实样本在判别器中的特征输出相匹配,FM的目标函数如式(1)所示:
式中,f(x)表示判别器中间层的输出,x为输入,z~pz为噪声,G(z;θg)为生成样本空间;
将真实样本看成有标签的监督数据,生成样本看成有标签的假数据,然后在判别器的输出层连接Softmax分类器,输出样本标签的后验概率估计值;
其中,真实样本的监督损失函数Lsupervised,表示为式(2):
式中,N为训练中一个batch内的样本数,<·,·>表示内积,y为样本标签,y'为样本标签预测值,p为预测函数,CE(y,y')为y与y'的交叉熵损失值;
真实数据的损失函数Lreal表示为式(3):
Lreal=Lsupervised (3);
判别生成样本为假样本类的概率期望损失Lunsupervised如式(4)所示:
式中,K为类别;
生成样本的输入标签与样本标签y一致,得到生成样本的输出标签y'fake与输入标签之间的交叉熵损失值为CE(y,y'fake),生成样本的损失函数Lfake如式(5)所示:
Lfake=0.5×(Lunsupervised+CE(y,y'fake)) (5);
利用样本的真假属性以及样本的输出标签与输入标签的交叉熵损失函数重构生成器和判别器的损失函数,其中,判别器的误差LD表示为式(6):
LD=0.5×(Lreal+Lfake) (6);
生成器的误差LG表示为式(7):
LG=0.5×(LFM+Lunsupervised) (7);
其中表示特征匹配的二范数损失项。
优选的,对于MNIST数据集,判别网络的卷积层结构为:kernel_size是5,stride是1,padding是1,池化层结构为kernel_size是2,stride是2。
本发明的有益效果:
(1)本发明的IC-ACGAN方法在原始ACGAN条件上进行优化,主要包括引入特征匹配、改变判别器的输出层结构,引入Softmax分类器,并采用半监督学习思想重构生成器和判别器损失函数,在判别器中引入池化方法等,测试结果表明,与比原始ACGAN方法相比,IC-ACGAN方法在MNIST、CIFAR10、CIFAR100数据集上的分类效果都有较大提高,效果也更加稳定,同时与同等深度网络结构的卷积神经网络相比,同样具有更好的分类准确率。
(2)将带池化的生成对抗网络用于解决图像分类问题,一方面可以利用池化法生成样本的多样性,另一方面又可以利用池化更加有效地提取特征,进一步提高分类效果。
附图说明
图1是GAN网络结构;
图2是ACGAN网络结构;
图3是ACGAN生成器结构(以MNIST数据为例);
图4是ACGAN判别器结构(以MNIST数据为例);
图5是IC-ACGAN网络结构;
图6是IC-ACGAN判别器结构(以MNIST数据为例);
图7是不同方法在MNIST训练集上的分类效果图;
图8是不同方法在MNIST测试集上的比较;
图9是不同方法在CIFAR10训练集上的分类效果图;
图10是不同方法在CIFAR10测试集上的比较;
图11是不同方法在CIFAR100训练集上的分类效果图;
图12是不同方法在CIFAR10测试集上的比较。
具体实施方式
下面通过附图及具体实施方式对本发明进行详细的说明。
生成对抗网络是生成模型的一种,是Ian J.Goodfellow于2014年提出。GAN模型是基于最小最大的二人博弈问题,其对抗训练的方式如式(8)所示:
GAN模型的网络结构图如图1所示。GAN网络模型包含生成器G和判别器D,其中生成器是噪声z~pz(z)到生成样本空间G(z;θg)的一个映射,而判别器D(x;θd)则是判断输入x是来自真实样本还是生成样本,因此判别器本质上是一个二分类。在G与D的不断对抗中,生成分布pg(x)不断靠近真实分布p(x),最终达到Nash均衡。此时生成器可以完全拟合真实数据分布,即pg(x)=p(x),而判别器为D(x)=p(x)/(pg(x)+p(x))=1/2。从而实现生成样本的分布与真实样本分布完全一致,达到生成真实样本的目的。GAN的两个神经网络G和D都利用传统的反向传播原理,且计算过程不需要复杂的马尔科夫链、也不需要极大释然估计、没有复杂的变分下限,大大降低了网络的训练难度,更加容易达到收敛。
原始GAN属于无监督学习范围,可控性不佳。CGAN首次将生成对抗网络应用到监督型学习方法中,可以达到标签与生成图像相对应的效果。ACGAN在CGAN的基础上做了进一步改进,并结合了InfoGAN中最大互信息的思想。如图2是ACGAN的网络结构图。
式(9)、式(10)是ACGAN训练的目标函数:
Ls=E[logp(s=real|xdata)]+E[logp(s=fake)|xfake] (9),
Lc=E[logp(C=c|xdata)]+E[logp(C=c)|xfake] (10)。
训练D,使Ls+Lc最大化;训练G,使Lc-Ls最大化。从网络结构或训练目标函数均可以看出,ACGAN损失函数在GAN的基础上增加了输入样本标签信息与标签后验概率估计值之间的交叉熵。网络训练完成后,输入一个样本x,判别器就可以输出其对应于每一类的概率p(y|x),选择使得p(y|x)最大的类别k作为输入样本x的标签,从而实现图像分类。
以MNIST数据为例,基于ACGAN的图像分类模型生成器结构如图3所示。网络生成器包括4个全连接层和5个转置卷积层,其中1、3转置卷积层结构相同:kernel_size是4,stride是2,padding是1;2、4、5转置卷积层结构相同:kernel_size是5,stride是1,padding是1。
图4是与图3对应的ACGAN模型的判别器结构图。判别器与生成器结构刚好相反,同样包括5个卷积层和4个全连接层,其中1、2、4卷积层结构相同:kernel_size是5,stride是1,padding是1;3、5卷积层结构相同:kernel_size是4,stride是2,padding是1。判别网络的输出层除了输出样本真假判别外,还输出样本标签的后验概率估计,也即是测试集中样本标签的估计值。
然而ACGAN图像分类算法存在训练不稳定、效果不佳等问题,本发明通过分析ACGAN高清图像的合成原理及其判别器判断能力,提出一种改进的基于ACGAN的图像分类方法(IC-ACGAN)。
本实施例中,该方法可概括为:在判别网络的输出层取消样本的真假判别,只输出样本标签的后验概率估计值;将真实样本看成监督数据,生成样本看成有标签的假数据,利用样本的真假属性以及样本的输出标签与输入标签的交叉熵损失函数重构生成器和判别器的损失函数;在判别网络中引入池化方法,更有效的提取分类特征;在判别网络中加入特征匹配,保证生成样本多样性。
特征匹配(Feature Matching,FM)是Improved GAN中提出的一种提高训练稳定性、生成样本多样性的方法。假设f(x)表示判别器中间层的输出,则FM的目标函数可表示为式(1):
式中,f(x)表示判别器中间层的输出,x为输入,z~pz为噪声,G(z;θg)为生成样本空间。即让生成样本在判别器中的特征输出与真实样本在判别器中的特征输出相匹配,提高ACGAN在图像分类上的分类效果。
直接利用ACGAN的判别网络D进行分类时,存在训练速度慢、网络不稳定、效果差等问题。因此,对图2的ACGAN网络结构进行改进,改进后网络结构如图5所示。
从网络结构上看,改进后的网络取消了判别器中的真假样本判别项,同时在判别器中引入了特征匹配,除此之外其他部分没有变化。但为了保证网络有效利用真假样本各自特征,在生成器和判别器的损失函数上做了较大改变。将真实样本看成带标签的监督数据,生成样本看成有标签的假数据,然后在判别网络的输出层连接Softmax分类器,得到真实样本的监督损失函数Lsupervised,表示为式(2):
式中,N为训练中一个batch内的样本数,<·,·>表示内积,y为样本标签,y'为样本标签预测值,p为预测函数,CE(y,y')为y与y'的交叉熵损失值。所以,真实数据的损失函数Lreal表示为式(3):
Lreal=Lsupervised (3);
对生成数据,其误差包括两部分:一部分为判别生成样本为第K+1类,也即是假样本类的概率损失值;另一部分是生成样本的输出标签y'fake与输入标签y之间的交叉熵损失值。令Lunsupervised表示判别生成样本为假样本类的概率期望损失,利用Softmax函数性质,令y'K+1=0得到式(4):
同时,因为使用ACGAN网络,所以每个batch内生成样本的输入标签与样本标签y一致,故生成样本的输出标签y'fake与输入标签之间的交叉熵损失值为CE(y,y'fake)。综上可知,生成样本的损失函数Lfake如式(5)所示:
Lfake=0.5×(Lunsupervised+CE(y,y'fake)) (5)。
训练中不断更新生成器与判别器参数,因此,需要分别构建生成器和判别器的误差。对判别器D,误差LD表示为式(6):
LD=0.5×(Lreal+Lfake) (6);
对生成器G,误差LG表示为式(7):
LG=0.5×(LFM+Lunsupervised) (7);
其中表示特征匹配的二范数损失项。
卷积神经网络在图像分类方法中取得巨大成功,池化方法发挥重要作用。作为卷积神经网络的重要步骤,池化不仅可以有效的提取特征,还可以实现数据降维,防止过拟合现象。池化是卷积神经网络特征提取的关键步骤,它具有保持平移、旋转、伸缩不变性等特点。常用的池化方法包括均值池化、最大池化和随机池化等方法。
在GAN应用过程中,为了使得生成的图片更加高清,在判别网络中使用转置卷积(Deconv)来替代池化,使得池化在生成网络中遭到弃用。本实施例的IC-ACGAN方法将生成对抗网络与池化方法相结合,将带池化的生成对抗网络专用于解决分类问题,这样一方面可以利用生成样本的多样性;另一方面又可以利用池化更加有效的提取特征。
具体地,IC-ACGAN在引入特征匹配和重构损失函数的基础上进一步改进,将ACGAN中判别器的部分卷积层改为池化层,而生成器结构保持不变。是即将原判别网络(对应图4)中的第3、5卷积层改为池化层,池化层结构为kernel_size是2,stride是2,改进后判别网络的结构如图6所示。
为验证本发明提出算法有效性,计划在MNIST、CIFAR10、CIFAR100数据集上分别进行实验。在所有实验中,IC-ACGAN方法中池化层均采用均值池化。
MNIST为手写字体数据集,共60000条训练数据以及10000条测试数据,每条数据对应0-9中的一个数字,每条数据是28*28的二维图像数据,展开成向量后为784维度。为了增强结果的可比性,本实验的ACGAN中判别器的网络结构如图4所描述,IC-ACGAN中判别器的网络结构如图6所示。每次训练的batchsize为100,每组实验共训练100个epoch。实验中生成器和判别器均采用Adam优化,学习率均为0.0002。实验采用Pytorch深度学习框架,并且在GPU条件下实现。
对于图像分类问题,目前最优的方法之一是CNN方法,所以本实验将IC-ACGAN方法与同等深度网络结构的CNN方法进行比较。为使实验具有更高可比性,对CNN的均值池化和最大池化均进行了实验比较。如图7是训练完100个epoch后,各种不同方法在MNIST训练集上的分类效果图。如图8是不同方法在MNIST测试集上的比较。
表1是训练50个epoch后,网络训练趋于平稳时,不同方法在MNIST上的平均预测准确率与方差。
表1不同方法训练50到100个epoch的MNIST预测均值与方差
模型 | 均值 | 方差 |
均值池化CNN | 0.99498 | 6e-09 |
最大池化CNN | 0.994144 | 3.264e-09 |
ACGAN | 0.994116 | 4.06944e-07 |
IC-ACGAN | 0.995604 | 1.92384e-07 |
如表2是训练完成后各种不同方法在不同的数据集上的最高准确率。
表2不同方法在MNIST、CIFAR10、CIFAR100上的最高预测准确率
模型 | MNIST | CIFAR10 | CIFAR100 |
均值池化CNN | 0.9951 | 0.7796 | 0.4594 |
最大池化CNN | 0.9943 | 0.7639 | 0.4283 |
ACGAN | 0.9950 | 0.7306 | 0.3989 |
IC-ACGAN | 0.9962 | 0.7907 | 0.4803 |
综合图8、表1、表2可见:与ACGAN相比,IC-ACGAN具有更小的方差,因此具有更好的训练与测试稳定性。同时IC-ACGAN的最高预测准确率为99.62%,高于ACGAN的99.50%,50个epoch后的平均预测准确率同样也更高;与CNN方法相比,IC-ACGAN方法比均值池化CNN和最大池化CNN都有更好的最高预测准确率和平均预测准确率。
CIFAR10是比MNIST更加复杂的数据,每张图像是32*32的彩色图像,即图像大小为3*32*32。共包含10个类别,每个类别5000张图像,即共50000张训练图像,另有10000张测试图片。实验的网络结构与MNIST实验结构完全相同,只是生成器最后的输出层输出特征数变为3,判别器的输入层特征也为3。如图9是训练完100个epoch后,各种不同方法在CIFAR10训练集上的效果图。如图10是不同方法在CIFAR10测试集上的比较。
如表3是50个epoch后,不同方法的平均预测准确率与方差。
表3不同方法训练50到100个epoch的CIFAR10预测均值与方差
模型 | 均值 | 方差 |
均值池化CNN | 0.775686 | 3.935204e-06 |
最大池化CNN | 0.755746 | 3.878884e-06 |
ACGAN | 0.719572 | 5.7500464e-05 |
IC-ACGAN | 0.782244 | 3.1517216e-05 |
通过图10、表2、表3分析可知:ACGAN方法在MNIST上表现出不错的效果,但当面对复杂的CIFAR10数据时,效果却很差,远不如CNN方法。改进后的IC-ACGAN方法表现出极强的适应能力,面对复杂的CIFAR10数据时,预测准确率同样比相同结构的CNN方法要好得多。
CIFAR100是与CIFAR10类似的数据,都是三通道的彩色图形。但CIFAR100共有100个类别,每个类别共500张训练图片,也即共有50000张训练图片,另有10000测试图片。此时每个类别训练样本数更少,因此,在测试集上的表现也就稍差。CIFAR100实验中各种分类方法网络结构与CIFAR10、MNIST实验中的结构完全一样。如图11是训练完100个epoch后不同方法在CIFAR100训练集上的分类效果图。图12是不同方法在CIFAR100测试集上的比较。
如表4是训练了50个epoch,网络逐渐趋于稳定后,各种不同方法的平均预测准确率与方差:
表4不同方法训练50到100个epoch的CIFAR100预测均值与方差
模型 | 均值 | 方差 |
均值池化CNN | 0.452368 | 4.916176e-06 |
最大池化CNN | 0.40943 | 5.2557e-06 |
ACGAN | 0.38845 | 3.04989e-05 |
IC-ACGAN | 0.462822 | 4.7516916e-05 |
分析图12、表2、表4可知:与CIFAR10结论相似,与同等结构的CNN方法相比,ACGAN面对复杂的CIFAR100数据时同样表现出较差的效果。本发明提出的IC-ACGAN方法在CIFAR100上同样表现出强大的适应能力,与同等结构的CNN相比,预测准确率有大幅度的提升。
综上可知,当面对相对简单MNIST数据集时,ACGAN、IC-ACGAN均表现出优良分类效果;当面对复杂高维数据时,ACGAN表现则不如CNN方法,本发明提出的IC-ACGAN方法同样表现出较好的分类效果。因此,本发明方法增强了网络对于复杂数据的适应能力,且与同等结构的CNN方法相比,预测准确率也有显著提高。
以上实施例是对本发明的解释,但是,本发明并不局限于上述实施方式中的具体细节,本领域的技术人员在本发明的技术构思范围内进行的多种等同替代或简单变型方式,均应属于本发明的保护范围。
Claims (2)
1.一种改进辅助分类器GAN的图像分类方法,其特征在于,包括:
在ACGAN网络结构的基础条件下,将判别器的第3卷积层、第5卷积层分别改为池化层,并引入特征匹配,使生成样本在判别器中的特征输出与真实样本在判别器中的特征输出相匹配,特征匹配的目标函数如式(1)所示:
式中,f(x)表示判别器中间层的输出,x为输入,z~pz为噪声,G(z;θg)为生成样本空间;
将真实样本看成有标签的监督数据,生成样本看成有标签的假数据,然后在判别器的输出层连接Softmax分类器,输出样本标签的后验概率估计值;
其中,真实样本的监督损失函数Lsupervised,表示为式(2):
式中,N为训练中一个batch内的样本数,<·,·>表示内积,y为样本标签,y'为样本标签预测值,p为预测函数,CE(y,y')为y与y'的交叉熵损失值;
真实数据的损失函数Lreal表示为式(3):
Lreal=Lsupervised (3);
判别生成样本为假样本类的概率期望损失Lunsupervised如式(4)所示:
式中,K为类别;
生成样本的输入标签与样本标签y一致,得到生成样本的输出标签y'fake与输入标签之间的交叉熵损失值为CE(y,y'fake),生成样本的损失函数Lfake如式(5)所示:
Lfake=0.5×(Lunsupervised+CE(y,y'fake)) (5);
利用样本的真假属性以及样本的输出标签与输入标签的交叉熵损失函数重构生成器和判别器的损失函数,其中,判别器的误差LD表示为式(6):
LD=0.5×(Lreal+Lfake) (6);
生成器的误差LG表示为式(7):
LG=0.5×(LFM+Lunsupervised) (7);
其中表示特征匹配的二范数损失项。
2.根据权利要求1所述的改进辅助分类器GAN的图像分类方法,其特征在于,对于MNIST数据集,判别网络的卷积层结构为:kernel_size是5,stride是1,padding是1,池化层结构为kernel_size是2,stride是2。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910142328.XA CN109948660A (zh) | 2019-02-26 | 2019-02-26 | 一种改进辅助分类器gan的图像分类方法 |
PCT/CN2019/076429 WO2020172838A1 (zh) | 2019-02-26 | 2019-02-28 | 一种改进辅助分类器gan的图像分类方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910142328.XA CN109948660A (zh) | 2019-02-26 | 2019-02-26 | 一种改进辅助分类器gan的图像分类方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN109948660A true CN109948660A (zh) | 2019-06-28 |
Family
ID=67008089
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201910142328.XA Withdrawn CN109948660A (zh) | 2019-02-26 | 2019-02-26 | 一种改进辅助分类器gan的图像分类方法 |
Country Status (2)
Country | Link |
---|---|
CN (1) | CN109948660A (zh) |
WO (1) | WO2020172838A1 (zh) |
Cited By (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110490239A (zh) * | 2019-08-06 | 2019-11-22 | 腾讯医疗健康(深圳)有限公司 | 图像质控网络的训练方法、质量分类方法、装置及设备 |
CN110598765A (zh) * | 2019-08-28 | 2019-12-20 | 腾讯科技(深圳)有限公司 | 样本生成方法、装置、计算机设备及存储介质 |
CN110633989A (zh) * | 2019-08-16 | 2019-12-31 | 阿里巴巴集团控股有限公司 | 一种风险行为生成模型的确定方法及装置 |
CN110647927A (zh) * | 2019-09-18 | 2020-01-03 | 长沙理工大学 | 一种基于acgan图像半监督分类算法 |
CN111008652A (zh) * | 2019-11-15 | 2020-04-14 | 河海大学 | 一种基于gan的高光谱遥感影像分类方法 |
CN111027439A (zh) * | 2019-12-03 | 2020-04-17 | 西北工业大学 | 基于辅助分类生成对抗网络的sar目标识别方法 |
CN111241291A (zh) * | 2020-04-24 | 2020-06-05 | 支付宝(杭州)信息技术有限公司 | 利用对抗生成网络生成对抗样本的方法及装置 |
CN112865866A (zh) * | 2021-01-20 | 2021-05-28 | 重庆邮电大学 | 基于gsn的可见光pam系统非线性补偿方法 |
CN113240655A (zh) * | 2021-05-21 | 2021-08-10 | 深圳大学 | 一种自动检测眼底图像类型的方法、存储介质及装置 |
CN114092721A (zh) * | 2020-08-06 | 2022-02-25 | 清华大学 | 一种基于软正交辅助空间的零标签危险品标签生成方法 |
WO2023274167A1 (zh) * | 2021-06-30 | 2023-01-05 | 华为技术有限公司 | 图像分类、模型训练方法、设备、存储介质及计算机程序 |
CN115809702A (zh) * | 2022-11-11 | 2023-03-17 | 中南大学 | Acgan模型构建方法、图像生成方法及服装设计方法 |
Families Citing this family (32)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112434790B (zh) * | 2020-11-10 | 2024-03-29 | 西安理工大学 | 一种对于卷积神经网络判别部分黑箱问题的自解释方法 |
CN112396110B (zh) * | 2020-11-20 | 2024-02-02 | 南京大学 | 一种基于生成对抗级联网络增广图像的方法 |
CN112329116A (zh) * | 2020-11-23 | 2021-02-05 | 恩亿科(北京)数据科技有限公司 | 基于生成对抗网络的畸零空间规划设计生成方法与系统 |
CN112598125B (zh) * | 2020-11-25 | 2024-04-30 | 西安科技大学 | 一种基于双判别器加权生成对抗网络的手写数字生成方法 |
CN112489198A (zh) * | 2020-11-30 | 2021-03-12 | 江苏科技大学 | 一种基于对抗学习的三维重建系统及其方法 |
CN112634216B (zh) * | 2020-12-16 | 2024-02-09 | 西安理工大学 | 一种基于深度学习模型的绝缘子自爆检测方法 |
CN112561791B (zh) * | 2020-12-24 | 2024-04-09 | 上海海事大学 | 一种基于优化AnimeGAN的图像风格迁移 |
CN112633386A (zh) * | 2020-12-26 | 2021-04-09 | 北京工业大学 | 基于sacvaegan的高光谱图像分类方法 |
CN112966544B (zh) * | 2020-12-29 | 2024-04-02 | 杭州电子科技大学 | 一种采用ICGAN与ResNet网络的雷达辐射源信号分类识别方法 |
CN112699809B (zh) * | 2020-12-31 | 2023-08-01 | 深圳数联天下智能科技有限公司 | 痘痘类别识别方法、装置、计算机设备及存储介质 |
CN113326737A (zh) * | 2021-05-06 | 2021-08-31 | 西北工业大学 | 一种水中目标的数据增强方法 |
CN113222002B (zh) * | 2021-05-07 | 2024-04-05 | 西安交通大学 | 一种基于生成式鉴别性对比优化的零样本分类方法 |
CN113222052B (zh) * | 2021-05-25 | 2023-06-23 | 云南电网有限责任公司电力科学研究院 | 用于电力设备高光谱图像分类的生成对抗神经网络方法 |
CN113435263B (zh) * | 2021-06-07 | 2024-04-19 | 上海应用技术大学 | 基于cgan数据增强的频谱感知方法及系统 |
CN113240668B (zh) * | 2021-06-08 | 2024-04-16 | 南京师范大学 | 一种基于图像数字特征分布的生成熔池图像质量评估方法 |
CN113283599B (zh) * | 2021-06-11 | 2024-03-19 | 浙江工业大学 | 基于神经元激活率的对抗攻击防御方法 |
CN113569632A (zh) * | 2021-06-16 | 2021-10-29 | 西安电子科技大学 | 一种基于wgan的小样本地面慢速运动目标分类方法 |
CN113406437B (zh) * | 2021-06-21 | 2022-03-08 | 西南交通大学 | 一种基于辅助分类生成对抗网络的输电线路故障检测方法 |
CN113379715A (zh) * | 2021-06-24 | 2021-09-10 | 南京信息工程大学 | 一种水下图像增强和数据集真值图像获得方法 |
CN113537379B (zh) * | 2021-07-27 | 2024-04-16 | 沈阳工业大学 | 一种基于CGANs的立体匹配方法 |
CN113627498B (zh) * | 2021-07-28 | 2024-03-12 | 中国科学院计算技术研究所 | 人物丑化图像识别和模型训练方法与装置 |
CN113627503B (zh) * | 2021-07-30 | 2023-10-24 | 中国科学院计算技术研究所 | 生成图像溯源方法与装置、模型训练方法与装置、电子设备及存储介质 |
CN113657240A (zh) * | 2021-08-12 | 2021-11-16 | 浙江工业大学 | 一种基于多视角图像扩增的类不平衡珍珠分类方法 |
CN113688941B (zh) * | 2021-09-09 | 2024-06-14 | 西北工业大学 | 基于生成对抗网络的小样本声呐图像分类识别优化方法 |
CN113988154A (zh) * | 2021-09-27 | 2022-01-28 | 电子科技大学长三角研究院(衢州) | 一种基于不变信息蒸馏的无监督解耦图像生成方法 |
CN113869208B (zh) * | 2021-09-28 | 2024-06-07 | 徐州卓越声振测控科技有限公司 | 基于sa-acwgan-gp的滚动轴承故障诊断方法 |
CN114169385B (zh) * | 2021-09-28 | 2024-04-09 | 北京工业大学 | 基于混合数据增强的mswi过程燃烧状态识别方法 |
CN113887136B (zh) * | 2021-10-08 | 2024-05-14 | 东北大学 | 一种基于改进GAN和ResNet的电动汽车电机轴承故障诊断方法 |
CN114429156B (zh) * | 2022-01-21 | 2023-06-20 | 西安电子科技大学 | 雷达干扰多域特征对抗学习与检测识别方法 |
CN114627348B (zh) * | 2022-03-22 | 2024-05-31 | 厦门大学 | 多主体任务中基于意图的图片识别方法 |
CN114821229B (zh) * | 2022-04-14 | 2023-07-28 | 江苏集萃清联智控科技有限公司 | 基于条件生成对抗网络的水下声学数据集增广方法及系统 |
CN117315376B (zh) * | 2023-11-28 | 2024-02-13 | 聊城莱柯智能机器人有限公司 | 基于机器学习的机械零件工业质检方法 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20170351935A1 (en) * | 2016-06-01 | 2017-12-07 | Mitsubishi Electric Research Laboratories, Inc | Method and System for Generating Multimodal Digital Images |
CN108491874A (zh) * | 2018-03-19 | 2018-09-04 | 天津大学 | 一种基于生成式对抗网络的图像单分类方法 |
CN108764005A (zh) * | 2018-01-31 | 2018-11-06 | 华侨大学 | 一种高光谱遥感图像地物空间波谱特征提取方法及系统 |
EP3404586A1 (en) * | 2017-05-18 | 2018-11-21 | INTEL Corporation | Novelty detection using discriminator of generative adversarial network |
CN109102014A (zh) * | 2018-08-01 | 2018-12-28 | 中国海洋大学 | 基于深度卷积神经网络的类别不平衡的图像分类方法 |
Family Cites Families (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10915817B2 (en) * | 2017-01-23 | 2021-02-09 | Fotonation Limited | Method of training a neural network |
CN108805188B (zh) * | 2018-05-29 | 2020-08-21 | 徐州工程学院 | 一种基于特征重标定生成对抗网络的图像分类方法 |
CN109190665B (zh) * | 2018-07-30 | 2023-07-04 | 国网上海市电力公司 | 一种基于半监督生成对抗网络的通用图像分类方法和装置 |
-
2019
- 2019-02-26 CN CN201910142328.XA patent/CN109948660A/zh not_active Withdrawn
- 2019-02-28 WO PCT/CN2019/076429 patent/WO2020172838A1/zh active Application Filing
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20170351935A1 (en) * | 2016-06-01 | 2017-12-07 | Mitsubishi Electric Research Laboratories, Inc | Method and System for Generating Multimodal Digital Images |
EP3404586A1 (en) * | 2017-05-18 | 2018-11-21 | INTEL Corporation | Novelty detection using discriminator of generative adversarial network |
CN108764005A (zh) * | 2018-01-31 | 2018-11-06 | 华侨大学 | 一种高光谱遥感图像地物空间波谱特征提取方法及系统 |
CN108491874A (zh) * | 2018-03-19 | 2018-09-04 | 天津大学 | 一种基于生成式对抗网络的图像单分类方法 |
CN109102014A (zh) * | 2018-08-01 | 2018-12-28 | 中国海洋大学 | 基于深度卷积神经网络的类别不平衡的图像分类方法 |
Non-Patent Citations (3)
Title |
---|
AUGUSTUS ODENA,ET AL.: "《Conditional Image Synthesis with Auxiliary Classifier GANs》", 《ARXIV:1610.09585V4》 * |
刘群,陈锻生: "《采用ACGAN及多特征融合的高光谱遥感图像分类》", 《华侨大学学报》 * |
易珂: "《基于深度网络ACGAN的图像识别》", 《电子技术与软件工程》 * |
Cited By (16)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110490239A (zh) * | 2019-08-06 | 2019-11-22 | 腾讯医疗健康(深圳)有限公司 | 图像质控网络的训练方法、质量分类方法、装置及设备 |
CN110490239B (zh) * | 2019-08-06 | 2024-02-27 | 腾讯医疗健康(深圳)有限公司 | 图像质控网络的训练方法、质量分类方法、装置及设备 |
CN110633989A (zh) * | 2019-08-16 | 2019-12-31 | 阿里巴巴集团控股有限公司 | 一种风险行为生成模型的确定方法及装置 |
CN110633989B (zh) * | 2019-08-16 | 2023-08-29 | 创新先进技术有限公司 | 一种风险行为生成模型的确定方法及装置 |
CN110598765B (zh) * | 2019-08-28 | 2023-05-26 | 腾讯科技(深圳)有限公司 | 样本生成方法、装置、计算机设备及存储介质 |
CN110598765A (zh) * | 2019-08-28 | 2019-12-20 | 腾讯科技(深圳)有限公司 | 样本生成方法、装置、计算机设备及存储介质 |
WO2021036471A1 (zh) * | 2019-08-28 | 2021-03-04 | 腾讯科技(深圳)有限公司 | 样本生成方法、装置、计算机设备及存储介质 |
CN110647927A (zh) * | 2019-09-18 | 2020-01-03 | 长沙理工大学 | 一种基于acgan图像半监督分类算法 |
CN111008652A (zh) * | 2019-11-15 | 2020-04-14 | 河海大学 | 一种基于gan的高光谱遥感影像分类方法 |
CN111027439A (zh) * | 2019-12-03 | 2020-04-17 | 西北工业大学 | 基于辅助分类生成对抗网络的sar目标识别方法 |
CN111241291A (zh) * | 2020-04-24 | 2020-06-05 | 支付宝(杭州)信息技术有限公司 | 利用对抗生成网络生成对抗样本的方法及装置 |
CN114092721A (zh) * | 2020-08-06 | 2022-02-25 | 清华大学 | 一种基于软正交辅助空间的零标签危险品标签生成方法 |
CN112865866A (zh) * | 2021-01-20 | 2021-05-28 | 重庆邮电大学 | 基于gsn的可见光pam系统非线性补偿方法 |
CN113240655A (zh) * | 2021-05-21 | 2021-08-10 | 深圳大学 | 一种自动检测眼底图像类型的方法、存储介质及装置 |
WO2023274167A1 (zh) * | 2021-06-30 | 2023-01-05 | 华为技术有限公司 | 图像分类、模型训练方法、设备、存储介质及计算机程序 |
CN115809702A (zh) * | 2022-11-11 | 2023-03-17 | 中南大学 | Acgan模型构建方法、图像生成方法及服装设计方法 |
Also Published As
Publication number | Publication date |
---|---|
WO2020172838A1 (zh) | 2020-09-03 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN109948660A (zh) | 一种改进辅助分类器gan的图像分类方法 | |
CN109508669B (zh) | 一种基于生成式对抗网络的人脸表情识别方法 | |
CN108717568B (zh) | 一种基于三维卷积神经网络的图像特征提取与训练方法 | |
Jin et al. | Generative adversarial network technologies and applications in computer vision | |
CN108596265A (zh) | 基于文本描述信息和生成对抗网络的视频生成模型 | |
CN109376582A (zh) | 一种基于生成对抗网络的交互式人脸卡通方法 | |
CN108665058A (zh) | 一种基于分段损失的生成对抗网络方法 | |
CN110378985A (zh) | 一种基于gan的动漫绘画辅助创作方法 | |
CN108109160A (zh) | 一种基于深度学习的免交互式GrabCut舌体分割方法 | |
CN107330444A (zh) | 一种基于生成对抗网络的图像自动文本标注方法 | |
CN107358626A (zh) | 一种利用条件生成对抗网络计算视差的方法 | |
CN109886922A (zh) | 基于SE-DenseNet深度学习框架和多模态增强MR图像的肝细胞癌自动分级方法 | |
CN109117877A (zh) | 一种基于深度卷积生成对抗网络的黄颡鱼及其套养种识别方法 | |
CN113724354B (zh) | 基于参考图颜色风格的灰度图像着色方法 | |
CN113807265B (zh) | 一种多样化的人脸图像合成方法及系统 | |
CN107169417A (zh) | 基于多核增强和显著性融合的rgbd图像协同显著性检测方法 | |
CN113361566A (zh) | 用对抗性学习和判别性学习来迁移生成式对抗网络的方法 | |
CN107092931A (zh) | 一种奶牛个体识别的方法 | |
Chen et al. | A pornographic images recognition model based on deep one-class classification with visual attention mechanism | |
Lin et al. | Unsupervised video-based action recognition with imagining motion and perceiving appearance | |
Deng et al. | Boosting semi-supervised learning with Contrastive Complementary Labeling | |
CN115457374B (zh) | 基于推理模式评估深伪图像检测模型泛化性方法及装置 | |
CN113658285B (zh) | 一种人脸照片到艺术素描的生成方法 | |
Li et al. | Image generation from scene graph with object edges | |
He | Lung CT imaging sign classification through deep learning on small data |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
WW01 | Invention patent application withdrawn after publication |
Application publication date: 20190628 |
|
WW01 | Invention patent application withdrawn after publication |