CN111046900A - 基于局部流形正则化的半监督生成对抗网络图像分类方法 - Google Patents

基于局部流形正则化的半监督生成对抗网络图像分类方法 Download PDF

Info

Publication number
CN111046900A
CN111046900A CN201911023691.6A CN201911023691A CN111046900A CN 111046900 A CN111046900 A CN 111046900A CN 201911023691 A CN201911023691 A CN 201911023691A CN 111046900 A CN111046900 A CN 111046900A
Authority
CN
China
Prior art keywords
data
manifold
generator
local
discriminator
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201911023691.6A
Other languages
English (en)
Other versions
CN111046900B (zh
Inventor
唐贤伦
余新弦
彭德光
李洁
徐瑾
郝博慧
钟冰
邹密
李锐
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Chongqing University of Post and Telecommunications
Original Assignee
Chongqing University of Post and Telecommunications
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Chongqing University of Post and Telecommunications filed Critical Chongqing University of Post and Telecommunications
Priority to CN201911023691.6A priority Critical patent/CN111046900B/zh
Publication of CN111046900A publication Critical patent/CN111046900A/zh
Application granted granted Critical
Publication of CN111046900B publication Critical patent/CN111046900B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G06F18/2155—Generating training patterns; Bootstrap methods, e.g. bagging or boosting characterised by the incorporation of unlabelled data, e.g. multiple instance learning [MIL], semi-supervised techniques using expectation-maximisation [EM] or naïve labelling
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/088—Non-supervised learning, e.g. competitive learning

Abstract

本发明请求保护一种基于局部流形正则化的半监督生成对抗网络图像分类方法，该方法将局部流形正则化引入半监督生成对抗网络。该方法基于生成对抗网络对数据流形优秀的拟合能力，引入局部流形正则化，可以很好地解决判别器过度训练问题。通过在判别器和生成器的损失函数中加入流形正则化项，以对数据流形的突变进行惩罚，能够防止模型陷入局部崩溃，增强模型对数据流形的局部扰动保持不变性，使模型具有更好的鲁棒性。结合局部流形正则化的半监督生成对抗网络图像分类方法在半监督图像分类问题上可显著提高图像分类的准确率。

Description

基于局部流形正则化的半监督生成对抗网络图像分类方法
技术领域
本发明属于图像半监督分类领域，尤其涉及一种基于局部流形正则化的半监督生成对抗网络的图像分类方法。。
背景技术
半监督学习(SSL)是机器学习领域中结合监督学习与无监督学习的一种学习方法。半监督分类方法是利用少量的有标签数据和大量的无标签数据对模型进行训练，使分类器性能达到最优的方法。目前常用的半监督学习方法有：半监督支持向量机、协同训练、自训练、图论半监督学习、正则化约束类和半监督生成对抗网络等。其中，半监督生成对抗网络(Semi-supervised Learning with Generative Adversarial Networks)是最近提出的基于生成对抗网络的半监督学习模型，由于其同时对有标签和无标签数据的流形结构有着优秀的拟合能力，相比其他半监督学习方法，具有更好的效果和泛化能力。
半监督生成对抗网络目前有两种训练方法，即直接最大化判别器输出法和特征匹配法。第一种方法最大的问题是容易造成判别器的过度训练，难以达到生成器和判别器的平衡条件，降低了模型的稳定性。特征匹配法很好地克服了这些缺点，Feture MatchingGAN使用的就是这种方法。在Feture Matching GAN中，通过为生成器指定一个新的目标函数来解决生成对抗网络的不稳定性。新目标函数不是直接最大化判别器的输出，而是要求生成器生成与真实数据统计特征相匹配的数据，从而使判别器只判别模型中值得匹配的统计特征。具体说来，就是训练生成器拟合鉴别器中间层输出特征的期望值。特征匹配法考虑到了使用生成器拟合判别器中间层的决定性特征，因而在半监督图像分类中表现出了优异的分类能力。Feture Matching GAN在半监督图像分类时，没有使用正则化方法，可能导致模型陷入局部崩溃。
发明内容
本发明所要解决的问题是，针对Feture Matching GAN在半监督学习时，没有使用正则化方法，可能导致模型陷入局部崩溃的问题。本发明在特征匹配的基础上，引入局部流形正则化，提出了一种基于局部流形正则化的半监督生成对抗网络图像分类方法。在本方法中，生成器采用转置卷积层(Transposed Convolutional Layers)将输入噪声进行上采样，输出拟合输入图像分布的假样本。判别器使用卷积层(Convolutional Layer)提取输入图像的特征，经过一个Softmax函数输出对图像类别的预测，通过对特征向量进行分类，识别出输入图像的真伪及其类别。
本发明提出了一种基于流形正则化的半监督生成对抗网络图像分类方法，核心是提出一种带有局部流形正则化项的新的损失函数，强制模型对数据流形的局部扰动保持不变性，从而使模型具有更好的鲁棒性，提高图像分类的精确度。本发明的技术方案如下：
一种基于局部流形正则化的半监督生成对抗网络图像分类方法，其包括以下步骤：
步骤1：获取要进行分类的图像数据集，采用机器标注或人工标注的方式对一部分图像进行类别标记，标注的类别总数记为N，另一部分为无标签数据，将所有图像数据分为训练集和测试集。
步骤2：构建局部生成器并对局部生成器正则化，对训练集的数据使用转置卷积神经网络训练局部生成器，输出符合数据集分布的生成图像数据；
步骤3：将有标签数据、无标签数据及生成器生成的假数据输入判别器中，采用卷积神经网络训练判别器，输出对图像数据所属类别的预测；
步骤4：训练基于局部流形正则化的半监督生成对抗网络，计算判别器损失，判别器损失为有监督损失与无监督损失之和再加上局部流形正则化项，使用特征匹配的方法计算生成器损失；
步骤5：使用反向传播算法优化参数，最小化损失函数，对图像数据集进行分类模型训练，使用测试集图像验证模型性能；建立半监督图像分类模型，对新输入的无标签图像数据进行分类判别。
进一步的，所述步骤1具体包括：
建立图像数据集，对一部分数据进行标记，图像的总类别记为N，定义有标签数据集
Figure BDA00022480184800000311
其中xi为图像，yi为对应的标签，定义无标签数据集
Figure BDA00022480184800000312
将图像数据集分为训练集和测试集，训练集用来训练半监督分类模型，测试集用来测试模型的分类效果。
进一步的，所述步骤2构建局部生成器并对局部生成器正则化具体方法为，对于生成器G(x,z)上的数据流形
Figure BDA0002248018480000031
构建一个关于数据点x的局部坐标表
Figure BDA0002248018480000032
其中局部坐标z由欧几里德空间
Figure BDA0002248018480000033
上的随机分布Pz得到，位于不同数据点上的局部生成器能够覆盖整个数据流形
Figure BDA0002248018480000034
为了防止流形的切线空间坍缩，生成器需要满足以下两个条件：
1)局部性：G(x,0)＝x，即局部坐标z的初始位置应位于x上；
2)正交性：
Figure BDA0002248018480000035
其中，
Figure BDA0002248018480000036
为N个流形切向量
Figure BDA0002248018480000037
叠加到矩阵的列中得到的雅可比矩阵，IN是大小为N的单位矩阵。
为了满足以上两个条件，使用下式对局部生成器进行正则化：
Figure BDA0002248018480000038
其中λ和γ为权重系数，当使用深度卷积网络训练生成器时，通过反向传播算法对(1)进行最小化。
进一步的，所述步骤2使用卷积神经网络训练生成器的过程具体为：将100维均匀随机噪声输入生成器，经过一个密集连接的全连接层，得到维度为6*6*512的特征图，对该特征图进行批归一化，使用ReLU作为激活函数；经过若干层转置卷积层，输出一个与所用图像数据集大小相同的生成图像，其中，中间层采用批归一化对特征图进行标准化，采用ReLU作为激活函数；最后一层卷积层采用权重归一化，采用tanh函数作为激活函数；
生成器的训练定义为最大化生成样本的概率，同时最小化正则化项：
Figure BDA0002248018480000039
其中D(G(x,z))表示G(x,z)为真实数据的概率，
Figure BDA00022480184800000310
表示在x～Px,z～Pz条件下的数学期望，同理，
Figure BDA0002248018480000045
表示x～Px条件下的数学期望。正则化项保证了局部性条件和正交性条件。
进一步的，所述步骤3使用卷积神经网络训练判别器，具体步骤为：将步骤1中的有标签数据、无标签数据、步骤2中的生成数据输入判别器，判别器输出N+1维概率输出，其中，前N维表示数据分别隶属于N个图像类别的概率，第N+1维表示输入图像为真实数据的概率，具体过程为，在输入层中对输入图像的数据点随机失活,，降低模型的过拟合风险。卷积层采用权重归一化，使用Leaky ReLU作为激活函数。经过若干卷积层后，得到一组特征图，将其输入两层MLP卷积层，得到的输出作为判别器的中间层输出；最后采用全局池化和密集连接的方式重构中间层输出，使用Softmax函数计算输入图像隶属于每个类别的概率，由于Softmax函数的特殊性质：
Figure BDA0002248018480000041
Figure BDA0002248018480000042
可以将第N+1类的概率映射到前N个类别，采用这种方法，将判别器的N+1维输出整理为N维；
判别器的训练定义为最大化真实样本的概率：
Figure BDA0002248018480000043
其中D(x)表示x为真实数据的概率。
进一步的，所述步骤4的判别器的总损失函数描述为对下式进行最小化：LD＝Lsupervised+Lunsupervised+μΩmanifold(8)其中，μ为权重系数，Lsupervised表示有监督损失、Lunsupervised表示无监督损失、Ωmanifold表示流形正则化项。
进一步的，所述步骤4的生成器的总损失函数描述为对下式进行最小化：
Figure BDA0002248018480000044
其中，第一项为特征匹配损失，h(x)为步骤3中判别器的中间层输出，第二项为步骤2中的(1)，对生成样本数据流形的局部性和正交性做出了相应的限制。
本发明的优点及有益效果如下：
本发明采用特征匹配的方法训练生成器，采用局部流形正则化的方法对损失函数进行正则。本发明在步骤2的内容搭建生成器的过程中，采用局部生成器的方式，采用局部坐标表的形式，将全局生成器分解为若干个局部生成器，相比于直接使用全局生成器，局部生成器对数据流形局部的拟合能力更强，对数据流形的变化更敏锐，对局部特征的构建能力更强。
本发明在步骤3的内容搭建并训练判别器的过程中，使用使用Leaky ReLU作为激活函数，判别器的中间层输出采用MLP卷积层输出，相比使用其他中间层输出，采用MLP卷积层的方法使判别器更好地捕获数据流形的变化。
本发明在步骤4的内容基于特征匹配生成器的损失函数中，加入了流形正则化项，对生成样本数据流形的局部性和正交性做出了相应的限制。相比于不使用流形正则化项的生成器损失，加入流形正则化项后，生成器能更好地拟合数据分布特征。
本发明在步骤4的内容判别器的损失函数中，加入了流形正则化项，对流形上分类函数的突变进行惩罚。相比于不使用流形正则化的判别器损失，加入流形正则化后，使判别器具有局部稳定性，有效增强了模型的鲁棒性，显著提高图像半监督分类的准确性。
附图说明
图1是本发明提供优选实施例基于流形正则化的半监督生成对抗网络图像分类方法模型图；
图2基于流形正则化的半监督生成对抗网络图像分类方法流程图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、详细地描述。所描述的实施例仅仅是本发明的一部分实施例。
本发明解决上述技术问题的技术方案是：
如图1和图2所示，本发明结合局部流形正则化的半监督生成对抗网络图像分类方法的具体步骤是：
步骤1：建立图像数据集，对一部分数据进行标记，图像的总类别记为N,定义有标签数据集
Figure BDA00022480184800000611
其中xi为图像，yi为对应的标签。定义无标签数据集
Figure BDA00022480184800000612
将图像数据集分为训练集和测试集，训练集用来训练半监督分类模型，测试集用来测试模型的分类效果。
步骤2：构建局部生成器以应用局部流行正则化，具体方法为，对于生成器G(x,z)上的数据流形
Figure BDA0002248018480000061
构建一个关于数据点x的局部坐标表
Figure BDA0002248018480000062
Figure BDA0002248018480000063
其中局部坐标z由欧几里德空间
Figure BDA0002248018480000064
上的随机分布Pz得到，位于不同数据点上的局部生成器能够覆盖整个数据流形
Figure BDA0002248018480000065
为了防止流形的切线空间坍缩，生成器需要满足以下两个条件：
1)局部性：G(x,0)＝x，即局部坐标z的初始位置应位于x上；
2)正交性：
Figure BDA0002248018480000066
其中，
Figure BDA0002248018480000067
为N个流形切向量
Figure BDA0002248018480000068
叠加到矩阵的列中得到的雅可比矩阵，IN是大小为N的单位矩阵。
为了满足以上两个条件，可以使用下式对局部生成器进行正则化：
Figure BDA0002248018480000069
其中λ和γ为权重系数。当使用深度卷积网络训练生成器时，可以通过反向传播算法对(1)进行最小化。
使用卷积神经网络训练生成器的过程具体为，将100维均匀随机噪声输入生成器，经过一个密集连接的全连接层，得到维度为6*6*512的特征图，对该特征图进行批归一化(Batch normalization),使用ReLU作为激活函数。经过若干层转置卷积层，输出一个与所用图像数据集大小相同的生成图像，例如，对于Cifar-10数据集，生成器的输出为32*32*3的RGB图像。其中，中间层采用批归一化对特征图进行标准化，采用ReLU作为激活函数。最后一层卷积层采用权重归一化(Weight normalization)，采用tanh函数作为激活函数。
生成器的训练定义为最大化生成样本的概率，同时最小化正则化项：
Figure BDA00022480184800000610
其中D(G(x,z))表示G(x,z)为真实数据的概率，正则化项保证了局部性条件和正交性条件。
步骤3：使用卷积神经网络训练判别器，具体步骤为，将步骤1中的有标签数据、无标签数据、步骤2中的生成数据输入判别器，判别器输出N+1维概率输出，其中，前N维表示数据分别隶属于N个图像类别的概率，第N+1维表示输入图像为真实数据的概率。具体过程为，在输入层中对输入图像的数据点随机失活(Dropout)，降低模型的过拟合风险。卷积层采用权重归一化，使用Leaky ReLU作为激活函数。经过若干卷积层后，得到一组特征图，将其输入两层MLP卷积层(Multilayer perceptron)，得到的输出作为判别器的中间层输出。最后采用全局池化和密集连接的方式重构中间层输出，使用Softmax函数计算输入图像隶属于每个类别的概率，由于Softmax函数的特殊性质：
Figure BDA0002248018480000071
Figure BDA0002248018480000072
可以将第N+1类的概率映射到前N个类别，采用这种方法，将判别器的N+1维输出整理为N维。
判别器的训练定义为最大化真实样本的概率：
Figure BDA0002248018480000073
其中D(x)表示x为真实数据的概率。
步骤4：训练结合局部流形正则化的半监督生成对抗网络。具体过程为，记步骤3中判别器的输出为f，对f进行流形正则化用下式表示：
Figure BDA0002248018480000074
对于f所在的数据流形
Figure BDA0002248018480000075
取流形上的数据点x，应用步骤2构建的局部生成器，使用下式对x所在的数据流形进行近似：
Figure BDA0002248018480000076
其中，Jz为判别器输出f对潜在局部生成器坐标z偏导数的雅可比矩阵。
由于f是一个多类别分类器，使用深度神经网络计算Ω(f,x)梯度时，需要计算一个参数量巨大的黑森矩阵(Hessian)，这会导致计算量的大幅增加。出于对计算效率的考虑，使用随机有限差异的方法近似梯度项：
||Jzf(G(x,zi))||F≈||f(G(x,zi+δ))-f(G(x,zi))||F (6)
其中，
Figure BDA0002248018480000081
流形梯度的大小会影响判别器的平滑性，为了消除这种影响，在采用(6)对流形梯度进行近似的基础上，在流形梯度方向上引入一个可调节变量对梯度大小做出限制，则流形梯度近似为：
Figure BDA0002248018480000082
其中，∈为可调节变量，r(x,z)为位于x处带有可调节变量η的流形梯度，
Figure BDA0002248018480000083
计算判别器的损失。来自有标签数据集
Figure BDA0002248018480000084
的样本对记为(xl,yl)，来自无标签数据集
Figure BDA0002248018480000089
的样本记为xu，用
Figure BDA0002248018480000085
和Px分别表示有标签数据和真实数据的分布。由于无标签真实样本的数量一般远大于有标签样本，因此可以向生成器提供足够多的有用信息，帮助生成器学习真实数据的流形结构。
假设输入图像数据的类别为N，判别器的输出表示为P(y|x)，即输入图像x属于类别y的概率，其中y∈{1,2,…,N+1}。前N维表示真实类别，第N+1维表示x是否为生成样本。判别器的最终总损失函数表示为对下式进行最小化：
LD＝Lsupervised+Lunsupervised+μΩmanifold (8)
其中，
Figure BDA0002248018480000086
Figure BDA0002248018480000087
Figure BDA0002248018480000088
判别器的总损失分为三部分：有监督损失Lsupervised、无监督损失Lunsupervised、流形正则化项Ωmanifold。有监督损失描述为:对来自有标签样本分布
Figure BDA0002248018480000091
的样本被P(y|x)正确分类的对数概度进行最小化。无监督损失分为两部分，第一部分强制判别器将无标签数据判别为真，第二部分强制判别器将G(x,z)生成的数据判别为假，无监督损失可以理解为一个标准的生成对抗网络博弈模型。流形正则化项对流形上分类函数的突变进行惩罚，以得到一个具有局部稳定性的判别器。
生成器的总损失函数描述为对下式进行最小化：
Figure BDA0002248018480000092
其中，第一项为特征匹配损失，h(x)为步骤3中判别器的中间层输出，该项最大限度地减小了实际样本和生成样本之间的特征差异，在半监督学习中有优异的表现。第二项为步骤2中的(1)，对生成样本数据流形的局部性和正交性做出了相应的限制。
步骤5：使用反向传播算法优化参数，最小化判别器总损失函数和生成器总损失函数，对图像数据集进行分类模型训练，判别器的输出表示输入图像的类别，统计判别器正确分类类别的个数，计算图像分类的准确率。
以上这些实施例应理解为仅用于说明本发明而不用于限制本发明的保护范围。在阅读了本发明的记载的内容之后，技术人员可以对本发明作各种改动或修改，这些等效变化和修饰同样落入本发明权利要求所限定的范围。

Claims (7)

1.一种基于局部流形正则化的半监督生成对抗网络图像分类方法，其特征在于，包括以下步骤：
步骤1：获取要进行分类的图像数据集，采用机器标注或人工标注的方式对一部分图像进行类别标记，标注的类别总数记为N，另一部分为无标签数据，将所有图像数据分为训练集和测试集。
步骤2：构建局部生成器并对局部生成器正则化，对训练集的数据使用转置卷积神经网络训练局部生成器，输出符合数据集分布的生成图像数据；
步骤3：将有标签数据、无标签数据及生成器生成的假数据输入判别器中，采用卷积神经网络训练判别器，输出对图像数据所属类别的预测；
步骤4：训练基于局部流形正则化的半监督生成对抗网络，计算判别器损失，判别器损失为有监督损失与无监督损失之和再加上局部流形正则化项，使用特征匹配的方法计算生成器损失；
步骤5：使用反向传播算法优化参数，最小化损失函数，对图像数据集进行分类模型训练，使用测试集图像验证模型性能；建立半监督图像分类模型，对新输入的无标签图像数据进行分类判别。
2.根据权利要求1所述的基于局部流形正则化的半监督生成对抗网络图像分类方法，其特征在于，所述步骤1具体包括：
建立图像数据集，对一部分数据进行标记，图像的总类别记为N，定义有标签数据集
Figure FDA0002248018470000011
其中xi为图像，yi为对应的标签，定义无标签数据集
Figure FDA0002248018470000012
将图像数据集分为训练集和测试集，训练集用来训练半监督分类模型，测试集用来测试模型的分类效果。
3.根据权利要求1所述的基于局部流形正则化的半监督生成对抗网络图像分类方法，其特征在于，所述步骤2构建局部生成器并对局部生成器正则化具体方法为，对于生成器G(x,z)上的数据流形
Figure FDA0002248018470000013
构建一个关于数据点x的局部坐标表
Figure FDA0002248018470000014
其中局部坐标z由欧几里德空间
Figure FDA0002248018470000015
上的随机分布Pz得到，位于不同数据点上的局部生成器能够覆盖整个数据流形
Figure FDA0002248018470000016
为了防止流形的切线空间坍缩，生成器需要满足以下两个条件：
1)局部性：G(x,0)＝x，即局部坐标z的初始位置应位于x上；
2)正交性：
Figure FDA0002248018470000021
其中，
Figure FDA0002248018470000022
为N个流形切向量
Figure FDA0002248018470000023
叠加到矩阵的列中得到的雅可比矩阵，IN是大小为N的单位矩阵。
为了满足以上两个条件，使用下式对局部生成器进行正则化：
Figure FDA0002248018470000024
其中λ和γ为权重系数，当使用深度卷积网络训练生成器时，通过反向传播算法对(1)进行最小化。
4.根据权利要求3所述的基于局部流形正则化的半监督生成对抗网络图像分类方法，其特征在于，所述步骤2使用卷积神经网络训练生成器的过程具体为：将100维均匀随机噪声输入生成器，经过一个密集连接的全连接层，得到维度为6*6*512的特征图，对该特征图进行批归一化，使用ReLU作为激活函数；经过若干层转置卷积层，输出一个与所用图像数据集大小相同的生成图像，其中，中间层采用批归一化对特征图进行标准化，采用ReLU作为激活函数；最后一层卷积层采用权重归一化，采用tanh函数作为激活函数；
生成器的训练定义为最大化生成样本的概率，同时最小化正则化项：
Figure FDA0002248018470000025
其中D(G(x,z))表示G(x,z)为真实数据的概率，
Figure FDA0002248018470000026
表示在x～Px,z～Pz条件下的数学期望，同理，
Figure FDA0002248018470000027
表示x～Px条件下的数学期望。正则化项保证了局部性条件和正交性条件。
5.根据权利要求:4所述的基于局部流形正则化的半监督生成对抗网络图像分类方法，其特征在于，所述步骤3使用卷积神经网络训练判别器，具体步骤为：将步骤1中的有标签数据、无标签数据、步骤2中的生成数据输入判别器，判别器输出N+1维概率输出，其中，前N维表示数据分别隶属于N个图像类别的概率，第N+1维表示输入图像为真实数据的概率，具体过程为，在输入层中对输入图像的数据点随机失活,降低模型的过拟合风险。卷积层采用权重归一化，使用Leaky ReLU作为激活函数。经过若干卷积层后，得到一组特征图，将其输入两层MLP卷积层，得到的输出作为判别器的中间层输出；最后采用全局池化和密集连接的方式重构中间层输出，使用Softmax函数计算输入图像隶属于每个类别的概率，由于Softmax函数的特殊性质：
Figure FDA0002248018470000031
Figure FDA0002248018470000032
可以将第N+1类的概率映射到前N个类别，采用这种方法，将判别器的N+1维输出整理为N维。
判别器的训练定义为最大化真实样本的概率：
Figure FDA0002248018470000033
其中D(x)表示x为真实数据的概率。
6.根据权利要求5所述的基于局部流形正则化的半监督生成对抗网络图像分类方法，其特征在于，所述步骤4的生成器的总损失函数描述为对下式进行最小化：
Figure FDA0002248018470000034
其中，第一项为特征匹配损失，h(x)为步骤3中判别器的中间层输出，第二项为步骤2中的(1)，对生成样本数据流形的局部性和正交性做出了相应的限制。
7.根据权利要求5所述的基于局部流形正则化的半监督生成对抗网络图像分类方法，其特征在于，所述步骤4的判别器的总损失函数描述为对下式进行最小化：
LD＝Lsupervised+Lunsupervised+μΩmanifold
其中，μ为权重系数，Lsupervised表示有监督损失、Lunsupervised表示无监督损失、Ωmanifold表示流形正则化项。
CN201911023691.6A 2019-10-25 2019-10-25 基于局部流形正则化的半监督生成对抗网络图像分类方法 Active CN111046900B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911023691.6A CN111046900B (zh) 2019-10-25 2019-10-25 基于局部流形正则化的半监督生成对抗网络图像分类方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911023691.6A CN111046900B (zh) 2019-10-25 2019-10-25 基于局部流形正则化的半监督生成对抗网络图像分类方法

Publications (2)

Publication Number Publication Date
CN111046900A true CN111046900A (zh) 2020-04-21
CN111046900B CN111046900B (zh) 2022-10-18

Family

ID=70231803

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911023691.6A Active CN111046900B (zh) 2019-10-25 2019-10-25 基于局部流形正则化的半监督生成对抗网络图像分类方法

Country Status (1)

Country Link
CN (1) CN111046900B (zh)

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111461264A (zh) * 2020-05-25 2020-07-28 南京大学 基于生成对抗网络的具有可伸缩性模块化图像识别方法
CN111832650A (zh) * 2020-07-14 2020-10-27 西安电子科技大学 基于生成对抗网络局部聚合编码半监督的图像分类方法
CN112347930A (zh) * 2020-11-06 2021-02-09 天津市勘察设计院集团有限公司 基于自学习半监督深度神经网络高分影像场景分类方法
CN112699921A (zh) * 2020-12-16 2021-04-23 重庆邮电大学 一种基于堆栈降噪自编码的电网暂态故障数据聚类清洗方法
CN112767328A (zh) * 2021-01-08 2021-05-07 厦门大学 基于对抗学习和适应性分析的医学图像病灶跨域检测方法
CN113240655A (zh) * 2021-05-21 2021-08-10 深圳大学 一种自动检测眼底图像类型的方法、存储介质及装置
CN113269228A (zh) * 2021-04-20 2021-08-17 重庆邮电大学 一种图网络分类模型的训练方法、装置、系统及电子设备
CN113378721A (zh) * 2021-06-11 2021-09-10 西安电子科技大学 一种基于对称和局部判别的生成对抗人脸校正方法及系统
CN113884290A (zh) * 2021-09-28 2022-01-04 江南大学 基于自训练半监督生成对抗网络的调压器故障诊断方法
CN115187787A (zh) * 2022-09-09 2022-10-14 清华大学 用于自监督多视图表征学习的局部流形增强的方法及装置
CN115314254A (zh) * 2022-07-07 2022-11-08 中国人民解放军战略支援部队信息工程大学 基于改进wgan-gp的半监督恶意流量检测方法
CN117612020A (zh) * 2024-01-24 2024-02-27 西安宇速防务集团有限公司 基于sgan对抗神经网络遥感影像要素变化的检测方法

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20180173994A1 (en) * 2016-12-15 2018-06-21 WaveOne Inc. Enhanced coding efficiency with progressive representation
CN108596265A (zh) * 2018-05-02 2018-09-28 中山大学 基于文本描述信息和生成对抗网络的视频生成模型
CN108805188A (zh) * 2018-05-29 2018-11-13 徐州工程学院 一种基于特征重标定生成对抗网络的图像分类方法
CN109325931A (zh) * 2018-08-22 2019-02-12 中北大学 基于生成对抗网络和超分辨率网络的多模态图像融合方法
CN110097103A (zh) * 2019-04-22 2019-08-06 西安电子科技大学 基于生成对抗网络的半监督图像分类方法
CN110288537A (zh) * 2019-05-20 2019-09-27 湖南大学 基于自注意力的深度生成式对抗网络的人脸图像补全方法
CN110320162A (zh) * 2019-05-20 2019-10-11 广东省智能制造研究所 一种基于生成对抗网络的半监督高光谱数据定量分析方法
US20200285944A1 (en) * 2019-03-08 2020-09-10 Adobe Inc. Graph convolutional networks with motif-based attention

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20180173994A1 (en) * 2016-12-15 2018-06-21 WaveOne Inc. Enhanced coding efficiency with progressive representation
CN108596265A (zh) * 2018-05-02 2018-09-28 中山大学 基于文本描述信息和生成对抗网络的视频生成模型
CN108805188A (zh) * 2018-05-29 2018-11-13 徐州工程学院 一种基于特征重标定生成对抗网络的图像分类方法
CN109325931A (zh) * 2018-08-22 2019-02-12 中北大学 基于生成对抗网络和超分辨率网络的多模态图像融合方法
US20200285944A1 (en) * 2019-03-08 2020-09-10 Adobe Inc. Graph convolutional networks with motif-based attention
CN110097103A (zh) * 2019-04-22 2019-08-06 西安电子科技大学 基于生成对抗网络的半监督图像分类方法
CN110288537A (zh) * 2019-05-20 2019-09-27 湖南大学 基于自注意力的深度生成式对抗网络的人脸图像补全方法
CN110320162A (zh) * 2019-05-20 2019-10-11 广东省智能制造研究所 一种基于生成对抗网络的半监督高光谱数据定量分析方法

Non-Patent Citations (10)

* Cited by examiner, † Cited by third party
Title
ALI MADANI 等: "Semi-supervised learning with generative adversarial networks for chest X-ray classification with ability of data domain adaptation", 《INTERNATIONAL SYMPOSIUM ON BIOMEDICAL IMAGING》 *
BRUNO LECOUAT 等: "Semi-Supervised Learning with GANs: Revisiting Manifold Regularization", 《ICLR 2018》 *
PEIPEI LI 等: "Global and Local Consistent Age Generative Adversarial Networks", 《INTERNATIONAL CONFERENCE ON PATTERN RECOGNITION》 *
余新弦: "基于改进半监督生成对抗网络的图像分类方法研究", 《中国优秀博硕士学位论文全文数据库(硕士)信息科技辑》 *
刘其开: "基于半监督生成对抗网络的图像分类", 《中国优秀博硕士学位论文全文数据库(硕士)信息科技辑》 *
刘坤 等: "基于半监督生成对抗网络X光图像分类算法", 《光学学报》 *
唐贤伦 等: "基于条件深度卷积生成对抗网络的图像识别方法", 《自动化学报》 *
晋银峰 等: "基于GAN和TV正则化的MRI超分辨率重建算法", 《计算机工程与设计》 *
陈展: "基于自步学习的对标签噪声稳健的半监督分类方法研究", 《中国优秀博硕士学位论文全文数据库(硕士)信息科技辑》 *
陈玮 等: "基于生成对抗网络的图像去雾算法", 《信息与控制》 *

Cited By (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111461264A (zh) * 2020-05-25 2020-07-28 南京大学 基于生成对抗网络的具有可伸缩性模块化图像识别方法
CN111832650A (zh) * 2020-07-14 2020-10-27 西安电子科技大学 基于生成对抗网络局部聚合编码半监督的图像分类方法
CN111832650B (zh) * 2020-07-14 2023-08-01 西安电子科技大学 基于生成对抗网络局部聚合编码半监督的图像分类方法
CN112347930A (zh) * 2020-11-06 2021-02-09 天津市勘察设计院集团有限公司 基于自学习半监督深度神经网络高分影像场景分类方法
CN112347930B (zh) * 2020-11-06 2022-11-29 天津市勘察设计院集团有限公司 基于自学习半监督深度神经网络高分影像场景分类方法
CN112699921A (zh) * 2020-12-16 2021-04-23 重庆邮电大学 一种基于堆栈降噪自编码的电网暂态故障数据聚类清洗方法
CN112699921B (zh) * 2020-12-16 2022-07-15 重庆邮电大学 一种基于堆栈降噪自编码的电网暂态故障数据聚类清洗方法
CN112767328B (zh) * 2021-01-08 2022-06-14 厦门大学 基于对抗学习和适应性分析的医学图像病灶跨域检测方法
CN112767328A (zh) * 2021-01-08 2021-05-07 厦门大学 基于对抗学习和适应性分析的医学图像病灶跨域检测方法
CN113269228B (zh) * 2021-04-20 2022-06-10 重庆邮电大学 一种图网络分类模型的训练方法、装置、系统及电子设备
CN113269228A (zh) * 2021-04-20 2021-08-17 重庆邮电大学 一种图网络分类模型的训练方法、装置、系统及电子设备
CN113240655A (zh) * 2021-05-21 2021-08-10 深圳大学 一种自动检测眼底图像类型的方法、存储介质及装置
CN113378721A (zh) * 2021-06-11 2021-09-10 西安电子科技大学 一种基于对称和局部判别的生成对抗人脸校正方法及系统
CN113378721B (zh) * 2021-06-11 2023-08-18 西安电子科技大学 一种基于对称和局部判别的生成对抗人脸校正方法及系统
CN113884290B (zh) * 2021-09-28 2022-08-02 江南大学 基于自训练半监督生成对抗网络的调压器故障诊断方法
CN113884290A (zh) * 2021-09-28 2022-01-04 江南大学 基于自训练半监督生成对抗网络的调压器故障诊断方法
CN115314254A (zh) * 2022-07-07 2022-11-08 中国人民解放军战略支援部队信息工程大学 基于改进wgan-gp的半监督恶意流量检测方法
CN115314254B (zh) * 2022-07-07 2023-06-23 中国人民解放军战略支援部队信息工程大学 基于改进wgan-gp的半监督恶意流量检测方法
CN115187787B (zh) * 2022-09-09 2023-01-31 清华大学 用于自监督多视图表征学习的局部流形增强的方法及装置
CN115187787A (zh) * 2022-09-09 2022-10-14 清华大学 用于自监督多视图表征学习的局部流形增强的方法及装置
CN117612020A (zh) * 2024-01-24 2024-02-27 西安宇速防务集团有限公司 基于sgan对抗神经网络遥感影像要素变化的检测方法

Also Published As

Publication number Publication date
CN111046900B (zh) 2022-10-18

Similar Documents

Publication Publication Date Title
CN111046900B (zh) 基于局部流形正则化的半监督生成对抗网络图像分类方法
CN110689086B (zh) 基于生成式对抗网络的半监督高分遥感图像场景分类方法
CN108875818B (zh) 基于变分自编码机与对抗网络结合的零样本图像分类方法
Thai et al. Image classification using support vector machine and artificial neural network
Liao et al. Learning deep parsimonious representations
Lee et al. Wasserstein introspective neural networks
CN109063724B (zh) 一种增强型生成式对抗网络以及目标样本识别方法
EP3029606A2 (en) Method and apparatus for image classification with joint feature adaptation and classifier learning
CN109671070B (zh) 一种基于特征加权和特征相关性融合的目标检测方法
CN109063719B (zh) 一种联合结构相似性和类信息的图像分类方法
CN104866810A (zh) 一种深度卷积神经网络的人脸识别方法
US11695898B2 (en) Video processing using a spectral decomposition layer
Raparthi et al. Machine Learning Based Deep Cloud Model to Enhance Robustness and Noise Interference
CN110111365B (zh) 基于深度学习的训练方法和装置以及目标跟踪方法和装置
Singh et al. Feature selection using harmony search for script identification from handwritten document images
CN115222998B (zh) 一种图像分类方法
CN111339734A (zh) 一种基于文本生成图像的方法
Barnes et al. STRICR-FB, A novel size-translation-rotation-invariant character recognition method
CN113344069B (zh) 一种基于多维关系对齐的无监督视觉表征学习的图像分类方法
Ashoka et al. Feature extraction technique for neural network based pattern recognition
CN114780767A (zh) 一种基于深度卷积神经网络的大规模图像检索方法及系统
CN114386494A (zh) 基于可扩展本体的产品全生命周期质量追溯方法和装置
Dalara et al. Entity Recognition in Indian Sculpture using CLAHE and machine learning
Xu et al. Steganography algorithms recognition based on match image and deep features verification
CN114187638A (zh) 一种基于空间分布损失函数的真实环境下的人脸表情识别方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant