CN113705709A - 一种改进的半监督图像分类方法、设备及存储介质 - Google Patents

一种改进的半监督图像分类方法、设备及存储介质 Download PDF

Info

Publication number
CN113705709A
CN113705709A CN202111027446.XA CN202111027446A CN113705709A CN 113705709 A CN113705709 A CN 113705709A CN 202111027446 A CN202111027446 A CN 202111027446A CN 113705709 A CN113705709 A CN 113705709A
Authority
CN
China
Prior art keywords
sub
image
formula
supervised
judgers
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202111027446.XA
Other languages
English (en)
Inventor
邹帅
钱涛
余长江
邱斌
钟方伟
苟文清
周莉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xinjiang Information Industry Co ltd
Original Assignee
Xinjiang Information Industry Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xinjiang Information Industry Co ltd filed Critical Xinjiang Information Industry Co ltd
Priority to CN202111027446.XA priority Critical patent/CN113705709A/zh
Publication of CN113705709A publication Critical patent/CN113705709A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Biophysics (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Probability & Statistics with Applications (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及一种改进的半监督图像分类方法、设备及存储介质，包括以下步骤：(1)构建改进后的半监督图像分类模型；改进后的半监督图像分类模型包括生成器、判断器及若干个子判断器(副判断器)；(2)训练改进后的半监督图像分类模型；(3)将待分类的图像输入至步骤(2)训练好的改进后的半监督图像分类模型，得到分类结果。本发明改进后的半监督图像分类模型表现出较好的测试错误率，可以更好地利用未标记图像和生成图像来提高分类能力。

Description

一种改进的半监督图像分类方法、设备及存储介质
技术领域
本发明属于深度学习人工智能技术领域，具体涉及一种基于Triple-Gan的改进半监督图像分类方法、设备及存储介质。
背景技术
近些年来，人工智能在各个领域中迅速发展和应用，机器学习和深度学习中的大部分方法都属于统计学，统计学亦是人工智能的理论支撑，从解决统计学问题出发，对大量的数据进行收集处理，然后对目标数据可能出现的结果进行排列组合和估算来实现对真实结果的模拟。根据收集到的数据拥有的标签的多少，可以对分类任务进行三个方向的划分，监督学习的分类、半监督学习的分类和无监督学习的分类。现实生活中要获取有充分标注信息的数据需要很高的代价，首先一般数据的标注信息需要大量的人力进行标注，往往会导致目标任务的时效性与有效性受到影响，其次对于专业数据则需要有经验的专业人士进行统计标注，往往极难获取。实际中我们得到的数据一般是少量有标签的样本数据于大量无标签的样本数据的混合，这就需要半监督学习，半监督学习是一种能够根据少量带有标签值的数据与大量无标签值数据来学习的算法。基于深度学习的半监督分类通过使用无标签值数据进行聚类，再使用有标签数据微调实现半监督分类。
2014年生成对抗网络模型GAN(Generative Adversarial Networks)提出后，迅速发展并成为了人工智能领域中的一种非常重要的模型和工具。生成对抗网络通过一定数量的训练样本训练生成器以使其可以学习到真实样本的分布，从而自己生成逼真的“假”样本使判断器可以学习到真实样本和生成样本的数据特征。GAN中可以含有一个或多个判断器，判断器的作用就是实现目标的二分类即真或假，本质是分类器。训练判断器时只需适当数量的标注图像或信息，外加简单的线性模拟，判断器的全链接输出层可以作为特征提取层，借助生成器的辅助，可以实现GAN对原始图像与生成图像的联合分类，而不是仅仅对原始图像的单独分类，使得GAN完成的分类任务更加具有灵活性与复杂性。
随着人工智能的快速发展，对利用未标记数据帮助学习的需求越来越强烈，半监督学习成了人工智能领域中的研究热点，并逐渐发展分成了生成式方法(generativemethods)、低密度分割法(low-density sparation methods)、基于图的方法(graph-basedmethods)以及基于分歧的方法(disagreement-based methods)。
生成对抗网络是基于GAN的半监督图像分类模型的基本网络模型。其中，噪声z是随机生成的符合某一分布的数据，将其输入到生成器G中，训练生成器G生成与真实数据一致分布的数据，之后将真实数据x和生成器产生的数据G(z)一起输入到判断器D中，训练判断器D来判断输入数据是否为真实数据，最后根据判断器返回的结果来调整训练生成器与判断器直到判断器无法正确分辨出真实数据与生成数据，达到动态平衡，此时模型训练即为成功。
相比于其他典型的生成模型，GAN模型不需要复杂的变换推断，只需简单的梯度下降和反向传播算法，而且模型中的神经网络也相对简单不复杂，不需要可逆函数即可构成生成器网络，极大增加了模型设计的自由度，可以很好地处理高维数据的复杂分布。但是，其也有很多不足之处，如模式崩塌、模型不可控以及训练过程中难以收敛等。
发明内容
为了解决上述问题，本发明提供了一种基于Triple-Gan的改进半监督图像分类方法。
本发明还提供了一种计算机设备及存储介质。
术语解释：
1、Triple-Gan，分类生成统一框架。
2、生成器，请解释；通过真实图片分布训练尽量生成与真实数据相同分布的数据。
3、判断器，请解释；通过生成器的输入与真实图片区分出生成数据是否为真实数据。
4、子判断器，请解释；与判断器有大致相同的网络层和参数，其作用是从不同类型的数据分布中区分出输入图像是真还是假。
5、惩罚强迫生成网络，请解释；用于从低密度区域生成对抗图像，以帮助判断器学习正确的分类边界。
本发明的技术方案为：
一种基于Triple-Gan的改进半监督图像分类方法，包括以下步骤：
(1)构建改进后的半监督图像分类模型；改进后的半监督图像分类模型包括生成器、判断器和一组子判断器，一组子判断器包括若干个子判断器；
(2)训练改进后的半监督图像分类模型；
(3)将待分类的图像输入至步骤(2)训练好的改进后的半监督图像分类模型，得到图像分类结果。
根据本发明优选的，一组子判断器包括第一子判断器Ds1和第二子判断器Ds2；
生成器G从分布Pz中提取随机的噪声z作为输入，并以生成对抗的方式与所有的判断器同时训练；判断器D0是改进后的半监督图像分类模型中的判别部分，尽可能将输入图像划分为正确的类别；一组子判断器包括第一子判断器Ds1和第二子判断器Ds2，从不同类型的数据分布中区分出输入图像是真还是假。
根据本发明优选的，步骤(2)中，训练改进后的半监督图像分类模型，包括步骤如下：
步骤1：令子判断器数量K为2个，设置dropout率、batchsize及训练迭代周期tmax；
步骤2：设置最佳学习率确定参数αg、αcc和αd；
步骤3：随机初始化改进后的半监督图像分类模型的网络参数θd和θg，并设置t＝1；
步骤4：当t≤tmax时，进入步骤5，否则，结束；
步骤5：从S中采样一批标签图像
Figure BDA0003243839060000031
和一批无标签图像
Figure BDA0003243839060000032
通过生成器生成一批生成图像
Figure BDA0003243839060000033
S是指一个部分数据被标记的图像数据集；S包括几个标记图像的子集，
Figure BDA0003243839060000034
Figure BDA0003243839060000035
以及大量未标记的图像数据的子集，
Figure BDA0003243839060000036
Pd代表了图像xl或xu的真实分布，yl是xl服从标签分布的标签，Pc是所有类的总数，
Figure BDA0003243839060000037
和
Figure BDA0003243839060000038
是两个子集的大小；
步骤6：用判断器预测
Figure BDA0003243839060000039
和
Figure BDA00032438390600000310
中图像的标签，并用
Figure BDA00032438390600000311
和
Figure BDA00032438390600000312
分别表示
Figure BDA00032438390600000313
和
Figure BDA00032438390600000314
具有标签c的图像的子集；
步骤7：通过提升其随机梯度来更新θd，如式(I)所示：
Figure BDA00032438390600000315
步骤8：通过降低随机梯度来更新θg，如式(Ⅱ)所示：
Figure BDA00032438390600000316
式(Ⅱ)中，var(·)是向量的方差函数；hk(x)是kth在子判断器Dsk上图像x的映射表示。
根据本发明优选的，采用改进的特征匹配方法训练改进后的半监督图像分类模型，包括步骤如下：
①最小化生成图像数据分布与真实图像数据分布之间的特征表示的平均差异，进行特征匹配，如式(III)所示：
Figure BDA00032438390600000317
式(III)中，FM是特征匹配后的结果，h(X)是原始图像数据x的特征分布表示，
Figure BDA00032438390600000318
是期望算子，h(G(z))是指生成器G产生的数据的特征分布表示，G(z)是指生成器G产生的数据；
②将步骤①特征匹配后得到的结果扩展到有监督的范围内；如式(Ⅳ)所示：
Figure BDA0003243839060000041
式(Ⅳ)中，mean(·)是平均函数算子；h(·)是以原始图像的恰当特征表示的图函数；
Xc表示cth集群中的图像，也用C标记；
FMs将步骤①特征匹配后得到的结果扩展到有监督的范围内后得到的结果；
③施加一个惩罚强迫生成网络，从低密度区域生成对抗图像，对惩罚强迫生成网络构建一个高密度惩罚，以惩罚其从高密度区域生成图像数据的行为，
惩罚强迫生成网络中的惩罚函数如式(Ⅴ)所示：
Figure BDA0003243839060000042
④通过最小化基于集群的平均差分和密度惩罚，约束生成器，从每个集群的低密度区域生成对抗图像，通过组合来自子判断器的候选特征表示，得到最后的特征匹配公式如式(Ⅵ)所示：
Figure BDA0003243839060000043
式(Ⅵ)中，αd是控制密度惩罚强度的系数；K是指子判断器的个数；
⑤定义改进后的半监督图像分类模型的最优目标函数，如式(Ⅶ)所示：
Figure BDA0003243839060000044
其中
Figure BDA0003243839060000045
是标注的多类交叉熵损失，用以最大限度地提高D0正确分类标记图像的对数似然；
Figure BDA0003243839060000046
是定义的集群一致性损失函数，计算如式(Ⅷ)所示，αcc是它的系数；
Figure BDA0003243839060000047
⑥定义综合性最优目标的子判断器，具体如下：
通过对抗学习来区分生成器生成的生成图像和真实图像，通过随机dropout的方法同时使用两个不同的子鉴别器，综合性最优的目标函数如式(Ⅸ)所示：
Figure BDA0003243839060000048
式(Ⅸ)中，Dsk(x)是第k个子判断器判断图像x是否来自真实分布的概率输出，Ds1、Ds2分别表示第一子判断器和第二子判断器，
⑦假设子判断器的个数为k个，得到k个子判断器的最终综合目标函数如式(Ⅹ)所示：
Figure BDA0003243839060000051
式(Ⅹ)中，P(y|x,D0)是指条件分布，用于预测最大化输入x和标签y之间的互信息；
根据本发明优选的，所述步骤⑥中，使用两个子判断器进行对抗训练，并使其从每个真实分布集群的低密度分布区域生成对抗图像，以帮助子判断器学习正确的鉴别边界，因此，使用增强的特征匹配方法外加一个额外的全局正则化项来优化，优化计算如式(Ⅺ)所示：
Figure BDA0003243839060000052
式(Ⅺ)中，
Figure BDA0003243839060000053
是惩罚强迫生成网络的全集正则化方法，αg是它的系数；
所述全局正则化项是约束生成器生成图像的伪标签分布，全局正则化项计算如式(Ⅻ)所示：
Figure BDA0003243839060000054
式(Ⅻ)中，P(c|G(z),z∈Pz,D0)是生成图像预测为伪标签的概率分布，余弦函数测量了两个标签分布之间的相似性。
一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现基于Triple-Gan的改进半监督图像分类方法的步骤。
一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现基于Triple-Gan的改进半监督图像分类方法的步骤。
本发明的有益效果为：
1、本发明改进后的半监督图像分类模型表现出较好的测试错误率，可以更好地利用未标记图像和生成图像来提高分类能力。
2、当标记的训练图像更小时，本发明改进后的半监督图像分类模型可以比传统GAN模型达到更低的错误率，证明了使用集群一致性损失函数和改进特征匹配方法可以有效提取隐含监督信息并提高分类能力。
3、由于采用了增强的特征匹配，本发明改进后的半监督图像分类模型具有较好的捕获真实分布和抑制模型崩塌问题的能力，生成器生成了很好的视觉质量的图像，并且不会产生崩塌图像。
4、本发明改进后的半监督图像分类模型生成了一些变形或者水平旋转地图像，更接近真实图像的相似图像，这证明了改进后的半监督图像分类模型对于从低密度区域生成图像是有效的，证明改进的方法有利于提高其鉴别能力。
附图说明
图1为本发明改进后的半监督图像分类模型的基本架构示意图；
图2为MNIST数据集原始图像示意图；
图3为MNIST数据集生成图像示意图；
图4为绝缘子数据集原始图像示意图；
图5为绝缘子数据集生成图像示意图。
具体实施方式
下面结合说明书附图和实施例对本发明作进一步限定，但不限于此。
实施例1
一种基于Triple-Gan的改进半监督图像分类方法，包括以下步骤：
(1)构建改进后的半监督图像分类模型；如图1所示，改进后的半监督图像分类模型包括生成器、判断器和一组子判断器，一组子判断器包括第一子判断器Ds1和第二子判断器Ds2；
生成器G从分布Pz中提取随机的噪声z作为输入，并以生成对抗的方式与所有的判断器同时训练；判断器D0是改进后的半监督图像分类模型中的判别部分，尽可能将输入图像划分为正确的类别；一组子判断器包括第一子判断器Ds1和第二子判断器Ds2，除了最后几层之外，它们和判断器D0有大致相同的网络层和参数，以降低模型的复杂性。从不同类型的数据分布中区分出输入图像是真还是假。
(2)训练改进后的半监督图像分类模型；
(3)将待分类的图像输入至步骤(2)训练好的改进后的半监督图像分类模型，得到图像分类结果。
步骤(2)中，训练改进后的半监督图像分类模型，包括步骤如下：
步骤1：令子判断器数量K为2个，设置dropout率、batchsize及训练迭代周期tmax；dropout率见表1和表2，batchsize均为100，MNIST、CIFAR10、SVHN和电塔绝缘子数据集的训练迭代周期分别为100、1000、400和100。
MNIST数据集上改进后的半监督图像分类模型使用的网络参数如表1所示，CIFAR10和SVHN数据集上模型使用的网络参数网络参数如表2所示，绝缘子数据集上模型使用的网络参数如表3所示：
表1
Figure BDA0003243839060000071
表2
Figure BDA0003243839060000072
表3
Figure BDA0003243839060000073
Figure BDA0003243839060000081
步骤2：根据业内通常所选择的最佳学习率确定参数αg，αcc和αd，改进后的半监督图像分类模型参数设置如下：MNIST上αd＝0.25、αcc＝0.025、αg＝1.0；CIFAR10和SVHN上αd＝0.5、αcc＝0.05、αg＝1.0；电塔绝缘子数据集上αd＝1.0、αcc＝0.005、αg＝1.0。
步骤3：随机初始化改进后的半监督图像分类模型的网络参数θd和θg，并设置t＝1；
步骤4：当t≤tmax时，进入步骤5，否则，结束；
步骤5：从S中采样一批标记图像
Figure BDA0003243839060000082
和一批未标记图像
Figure BDA0003243839060000083
用当前生成器G生成一批生成的对抗图像
Figure BDA0003243839060000084
S是指一个部分数据被标记的图像数据集；S包括几个标记图像的子集，
Figure BDA0003243839060000085
Figure BDA0003243839060000086
以及大量未标记的图像数据的子集，
Figure BDA0003243839060000087
Figure BDA0003243839060000088
Pd代表了图像xl或xu的真实分布，yl是xl服从标签分布的标签，Pc是所有类的总数，
Figure BDA0003243839060000089
和
Figure BDA00032438390600000810
是两个子集的大小；
步骤6：用当前判断器D0预测
Figure BDA00032438390600000811
和
Figure BDA00032438390600000812
中图像的标签，并用
Figure BDA00032438390600000813
和
Figure BDA00032438390600000814
分别表示它们手机具有标签c的图像的子集；
步骤7：通过提升其随机梯度来更新θd，如式(I)所示：
Figure BDA00032438390600000815
步骤8：通过降低随机梯度来更新θg，如式(Ⅱ)所示：
Figure BDA00032438390600000816
式(Ⅱ)中，var(·)是向量的方差函数；hk(x)是kth在子判断器Dsk上图像x的映射表示。
采用改进的特征匹配方法训练改进后的半监督图像分类模型，包括步骤如下：
①最小化生成图像数据分布与真实图像数据分布之间的特征表示的平均差异，进行特征匹配，如式(III)所示：
Figure BDA0003243839060000091
式(III)中，FM是特征匹配后的结果，h(X)是原始图像数据x的特征分布表示，
Figure BDA0003243839060000092
是期望算子，h(G(z))是指生成器G产生的数据的特征分布表示，G(z)是指生成器G产生的数据；
②将步骤①特征匹配后得到的结果扩展到有监督的范围内；有监督的特征匹配最小化了基于集群的平均差异，更精确地捕捉集群分布之间地差异，如式(Ⅳ)所示：
Figure BDA0003243839060000093
式(Ⅳ)中，mean(·)是平均函数算子；h(·)是以原始图像的恰当特征表示的图函数；
Xc表示cth集群中的图像，也用C标记；
FMs将步骤①特征匹配后得到的结果扩展到有监督的范围内后得到的结果；
③施加一个惩罚强迫生成网络，从低密度区域生成对抗图像，以帮助判断器学习正确的分类边界。对惩罚强迫生成网络构建一个高密度惩罚，以惩罚其从高密度区域生成图像数据的行为，
惩罚强迫生成网络中的惩罚函数如式(Ⅴ)所示：
Figure BDA0003243839060000094
低密度惩罚意味着高平均方差比，生成图像数据会被推离真实图像索在的高密度区域，反之亦然。这种高密度区域惩罚控制了生成图像的分布，不需要额外的密度估计模型。并且，由于这种惩罚损失函数会在生成器生成重复的图像数据时给予严重的惩罚，同时有助于缓解模式崩塌的问题。
④通过最小化基于集群的平均差分和密度惩罚，约束生成器，从每个集群的低密度区域生成对抗图像，通过组合来自子判断器的候选特征表示，得到最后的特征匹配公式如式(Ⅵ)所示：
Figure BDA0003243839060000095
式(Ⅵ)中，αd是控制密度惩罚强度的系数；K是指子判断器的个数；
⑤定义改进后的半监督图像分类模型的最优目标函数，如式(Ⅶ)所示：
Figure BDA0003243839060000101
其中
Figure BDA0003243839060000102
是标注的多类交叉熵损失，用以最大限度地提高D0正确分类标记图像的对数似然；
Figure BDA0003243839060000103
是定义的集群一致性损失函数，计算如式(Ⅷ)所示，αcc是它的系数；
Figure BDA0003243839060000104
⑥定义综合性最优目标的子判断器，具体如下：
通过对抗学习来区分生成器生成的生成图像和真实图像，通过随机dropout的方法同时使用两个不同的子鉴别器，综合性最优的目标函数如式(Ⅸ)所示：
Figure BDA0003243839060000105
式(Ⅸ)中，Dsk(x)是第k个子判断器判断图像x是否来自真实分布的概率输出，Ds1、Ds2分别表示第一子判断器和第二子判断器，
⑦假设子判断器的个数为k个，得到k个子判断器的最终综合目标函数如式(Ⅹ)所示：
Figure BDA0003243839060000106
式(Ⅹ)中，P(y|x,D0)是指条件分布，用于预测最大化输入x和标签y之间的互信息；使得生成器能够生成更高质量的图像，进而提高了判断器分类效果。
步骤⑥中，使用两个子判断器进行对抗训练，并使其从每个真实分布集群的低密度分布区域生成对抗图像，以帮助子判断器学习正确的鉴别边界，因此，使用增强的特征匹配方法外加一个额外的全局正则化项来优化，优化计算如式(Ⅺ)所示：
Figure BDA0003243839060000107
式(Ⅺ)中，
Figure BDA0003243839060000108
是惩罚强迫生成网络的全集正则化方法，αg是它的系数；
全局正则化项是约束生成器生成图像的伪标签分布，这是增强特征匹配项的一个很好的补充，因为后者不能阻止生成网络主要在少数集群中生成匹配良好的图像，在本发明中，全局正则化项计算如式(Ⅻ)所示：
Figure BDA0003243839060000109
式(Ⅻ)中，P(c|G(z),z∈Pz,D0)是生成图像预测为伪标签的概率分布，余弦函数测量了两个标签分布之间的相似性。
本发明模型及其它比较变体使用Tensorflow2.0实现，运行服务器环境为RTX1070TIGPU和32G内存。
本发明分别在MNIST、CIFAR10、SVHN和电塔绝缘子数据集上运行本发明模型和其他比较模型，参考Salimans等的研究工作，将MNIST的标记数量分别设为50、100和200，将SVHN数据集的标记数量分别设为500和1000，将CIFAR10数据集的标记数量分别设为1000、2000和4000，将电塔绝缘子数据集的标记数量分别设为100、200和400。在不同情况下，用不同的随机初始化网络参数进行训练，并使用测试集上的平均误差率来评估不同模型的性能，在MNIST数据集上的分类错误率比较见表4，在CIFAR10数据集上的分类错误率比较见表5，在绝缘子数据集上的分类错误率见表6：
表4
Figure BDA0003243839060000111
表5
Figure BDA0003243839060000112
表6
Figure BDA0003243839060000121
从上述表4、表5、表6结果中可以得出以下结论：
(1)与其他GAN网络模型对比，改进后的模型表现出较为不错的测试错误率，这说明改进方法可以更好地利用未标记图像和生成图像来提高分类能力。
(2)当标记的训练图像更小时，改进后的模型可以比传统GAN模型达到更低的错误率，证明了使用集群一致性损失函数和改进特征匹配方法可以有效提取隐含监督信息并提高分类能力。
此外，图2为MNIST数据集原始图像示意图；图3为MNIST数据集生成图像示意图；图4为绝缘子数据集原始图像示意图；图5为绝缘子数据集生成图像示意图。可以明显看出，生成器生成了很好的视觉质量的图像，并且不会产生崩塌图像，这表明由于采用了增强的特征匹配，该模型具有较好的捕获真实分布和抑制模型崩塌问题的能力。最后，从图中可以清楚地观察到，模型生成了一些变形或者水平旋转地图像，这些图像很接近真实图像的相似图像，这证明了模型对于从低密度区域生成图像是有效的，证明改进的方法有利于提高其鉴别能力。
实施例2
一种计算机设备，包括存储器和处理器，存储器存储有计算机程序，处理器执行计算机程序时实现实施例1所述的基于Triple-Gan的改进半监督图像分类方法的步骤。
实施例3
一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现实施例1所述的基于Triple-Gan的改进半监督图像分类方法的步骤。

Claims (7)

1.一种基于Triple-Gan的改进半监督图像分类方法，其特征在于，包括以下步骤：
(1)构建改进后的半监督图像分类模型；改进后的半监督图像分类模型包括生成器、判断器和一组子判断器，一组子判断器包括若干个子判断器；
(2)训练改进后的半监督图像分类模型；
(3)将待分类的图像输入至步骤(2)训练好的改进后的半监督图像分类模型，得到图像分类结果。
2.根据权利要求1所述的一种基于Triple-Gan的改进半监督图像分类方法，其特征在于，一组子判断器包括第一子判断器Ds1和第二子判断器Ds2；生成器G从分布Pz中提取随机的噪声z作为输入，并以生成对抗的方式与所有的判断器同时训练；判断器D0是改进后的半监督图像分类模型中的判别部分，尽可能将输入图像划分为正确的类别；一组子判断器包括第一子判断器Ds1和第二子判断器Ds2，从不同类型的数据分布中区分出输入图像是真还是假。
3.根据权利要求1所述的一种基于Triple-Gan的改进半监督图像分类方法，其特征在于，步骤(2)中，训练改进后的半监督图像分类模型，包括步骤如下：
步骤1：令子判断器数量K为2个，设置dropout率、batchsize及训练迭代周期tmax；
步骤2：设置最佳学习率确定参数αg、αcc和αd；
步骤3：随机初始化改进后的半监督图像分类模型的网络参数θd和θg，并设置t＝1；
步骤4：当t≤tmax时，进入步骤5，否则，结束；
步骤5：从S中采样一批标签图像
Figure FDA00032438390500000114
和一批无标签图像
Figure FDA00032438390500000115
Figure FDA00032438390500000116
过生成器生成一批生成图像
Figure FDA0003243839050000011
S是指一个部分数据被标记的图像数据集；S包括几个标记图像的子集，
Figure FDA0003243839050000012
Figure FDA0003243839050000013
以及大量未标记的图像数据的子集，
Figure FDA0003243839050000014
Pd代表了图像xl或xu的真实分布，yl是xl服从标签分布的标签，Pc是所有类的总数，
Figure FDA0003243839050000015
和
Figure FDA0003243839050000016
是两个子集的大小；
步骤6：用判断器预测
Figure FDA0003243839050000017
和
Figure FDA0003243839050000018
中图像的标签，并用
Figure FDA0003243839050000019
和
Figure FDA00032438390500000110
分别表示
Figure FDA00032438390500000111
和
Figure FDA00032438390500000112
具有标签c的图像的子集；
步骤7：通过提升其随机梯度来更新θd，如式(I)所示：
Figure FDA00032438390500000113
Figure FDA0003243839050000021
步骤8：通过降低随机梯度来更新θg，如式(II)所示：
Figure FDA0003243839050000022
式(II)中，var(·)是向量的方差函数；hk(x)是kth在子判断器Dsk上图像x的映射表示。
4.根据权利要求1所述的一种基于Triple-Gan的改进半监督图像分类方法，其特征在于，采用改进的特征匹配方法训练改进后的半监督图像分类模型，包括步骤如下：
①最小化生成图像数据分布与真实图像数据分布之间的特征表示的平均差异，进行特征匹配，如式(III)所示：
Figure FDA0003243839050000023
式(III)中，FM是特征匹配后的结果，h(X)是原始图像数据x的特征分布表示，
Figure FDA0003243839050000024
是期望算子，h(G(z))是指生成器G产生的数据的特征分布表示，G(z)是指生成器G产生的数据；
②将步骤①特征匹配后得到的结果扩展到有监督的范围内；如式(IV)所示：
Figure FDA0003243839050000025
式(IV)中，mean(·)是平均函数算子；h(·)是以原始图像的恰当特征表示的图函数；Xc表示cth集群中的图像，也用C标记；
FMs将步骤①特征匹配后得到的结果扩展到有监督的范围内后得到的结果；
③施加一个惩罚强迫生成网络，从低密度区域生成对抗图像，对惩罚强迫生成网络构建一个高密度惩罚，以惩罚其从高密度区域生成图像数据的行为，
惩罚强迫生成网络中的惩罚函数如式(V)所示：
Figure FDA0003243839050000026
④通过最小化基于集群的平均差分和密度惩罚，约束生成器，从每个集群的低密度区域生成对抗图像，通过组合来自子判断器的候选特征表示，得到最后的特征匹配公式如式(VI)所示：
Figure FDA0003243839050000027
Figure FDA00032438390500000310
式(VI)中，αd是控制密度惩罚强度的系数；K是指子判断器的个数；
⑤定义改进后的半监督图像分类模型的最优目标函数，如式(VII)所示：
Figure FDA0003243839050000031
其中
Figure FDA0003243839050000032
是标注的多类交叉熵损失，用以最大限度地提高D0正确分类标记图像的对数似然；
Figure FDA0003243839050000033
是定义的集群一致性损失函数，计算如式(VIII)所示，αcc是它的系数；
Figure FDA0003243839050000034
⑥定义综合性最优目标的子判断器，具体如下：
通过对抗学习来区分生成器生成的生成图像和真实图像，通过随机dropout的方法同时使用两个不同的子鉴别器，综合性最优的目标函数如式(IX)所示：
Figure FDA0003243839050000035
式(IX)中，Dsk(x)是第k个子判断器判断图像x是否来自真实分布的概率输出，Ds1、Ds2分别表示第一子判断器和第二子判断器，
⑦假设子判断器的个数为k个，得到k个子判断器的最终综合目标函数如式(X)所示：
Figure FDA0003243839050000036
式(X)中，P(y|x，D0)是指条件分布，用于预测最大化输入x和标签y之间的互信息。
5.根据权利要求4所述的一种基于Triple-Gan的改进半监督图像分类方法，其特征在于，所述步骤⑥中，使用两个子判断器进行对抗训练，并使其从每个真实分布集群的低密度分布区域生成对抗图像，以帮助子判断器学习正确的鉴别边界，因此，使用增强的特征匹配方法外加一个额外的全局正则化项来优化，优化计算如式(XI)所示：
Figure FDA0003243839050000037
式(XI)中，
Figure FDA0003243839050000038
是惩罚强迫生成网络的全集正则化方法，αg是它的系数；
所述全局正则化项是约束生成器生成图像的伪标签分布，全局正则化项计算如式(XII)所示：
Figure FDA0003243839050000039
式(XII)中，P(c|G(z)，z∈Pz，D0)是生成图像预测为伪标签的概率分布，余弦函数测量了两个标签分布之间的相似性。
6.一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1-5任一所述的基于Triple-Gan的改进半监督图像分类方法的步骤。
7.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1-5任一所述的基于Triple-Gan的改进半监督图像分类方法的步骤。
CN202111027446.XA 2021-09-02 2021-09-02 一种改进的半监督图像分类方法、设备及存储介质 Pending CN113705709A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111027446.XA CN113705709A (zh) 2021-09-02 2021-09-02 一种改进的半监督图像分类方法、设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111027446.XA CN113705709A (zh) 2021-09-02 2021-09-02 一种改进的半监督图像分类方法、设备及存储介质

Publications (1)

Publication Number Publication Date
CN113705709A true CN113705709A (zh) 2021-11-26

Family

ID=78657464

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111027446.XA Pending CN113705709A (zh) 2021-09-02 2021-09-02 一种改进的半监督图像分类方法、设备及存储介质

Country Status (1)

Country Link
CN (1) CN113705709A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115314254A (zh) * 2022-07-07 2022-11-08 中国人民解放军战略支援部队信息工程大学 基于改进wgan-gp的半监督恶意流量检测方法
CN115936980A (zh) * 2022-07-22 2023-04-07 北京字跳网络技术有限公司 一种图像处理方法、装置、电子设备及存储介质
CN117076871A (zh) * 2023-10-16 2023-11-17 南京邮电大学 一种基于不平衡半监督对抗训练框架的电池故障分类方法

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115314254A (zh) * 2022-07-07 2022-11-08 中国人民解放军战略支援部队信息工程大学 基于改进wgan-gp的半监督恶意流量检测方法
CN115314254B (zh) * 2022-07-07 2023-06-23 中国人民解放军战略支援部队信息工程大学 基于改进wgan-gp的半监督恶意流量检测方法
CN115936980A (zh) * 2022-07-22 2023-04-07 北京字跳网络技术有限公司 一种图像处理方法、装置、电子设备及存储介质
CN115936980B (zh) * 2022-07-22 2023-10-20 北京字跳网络技术有限公司 一种图像处理方法、装置、电子设备及存储介质
CN117076871A (zh) * 2023-10-16 2023-11-17 南京邮电大学 一种基于不平衡半监督对抗训练框架的电池故障分类方法
CN117076871B (zh) * 2023-10-16 2023-12-29 南京邮电大学 一种基于不平衡半监督对抗训练框架的电池故障分类方法

Similar Documents

Publication Publication Date Title
Wertheimer et al. Few-shot learning with localization in realistic settings
CN113705709A (zh) 一种改进的半监督图像分类方法、设备及存储介质
Donahue et al. Decaf: A deep convolutional activation feature for generic visual recognition
Changpinyo et al. Synthesized classifiers for zero-shot learning
Tao et al. Supervised tensor learning
Swets et al. Efficient content-based image retrieval using automatic feature selection
Tang et al. Non-frontal view facial expression recognition based on ergodic hidden markov model supervectors
Simon et al. Generalized orderless pooling performs implicit salient matching
CN103425996B (zh) 一种并行分布式的大规模图像识别方法
Pu et al. Dynamic conceptional contrastive learning for generalized category discovery
CN110705591A (zh) 一种基于最优子空间学习的异构迁移学习方法
CN113688894B (zh) 一种融合多粒度特征的细粒度图像分类方法
CN107358172B (zh) 一种基于人脸朝向分类的人脸特征点初始化方法
CN114663685B (zh) 一种行人重识别模型训练的方法、装置和设备
CN112232395B (zh) 一种基于联合训练生成对抗网络的半监督图像分类方法
Xu et al. Discriminative analysis for symmetric positive definite matrices on lie groups
CN111611909A (zh) 多子空间域自适应人脸识别方法
Le et al. Task affinity with maximum bipartite matching in few-shot learning
CN115393666A (zh) 图像分类中基于原型补全的小样本扩充方法及系统
CN116681921A (zh) 一种基于多特征损失函数融合的目标标注方法及系统
CN111488923A (zh) 增强的锚点图半监督分类方法
Chandra et al. Learning hierarchical bag of words using naive bayes clustering
CN110751153A (zh) 一种室内场景rgb-d图像的语义标注方法
Hoo et al. Enhanced random forest with image/patch-level learning for image understanding
CN111310864B (zh) 一种基于分组稀疏的多核学习图像分类方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination