CN109376769A - 基于生成式对抗神经网络用于多任务分类的信息迁移方法 - Google Patents

基于生成式对抗神经网络用于多任务分类的信息迁移方法 Download PDF

Info

Publication number
CN109376769A
CN109376769A CN201811112423.7A CN201811112423A CN109376769A CN 109376769 A CN109376769 A CN 109376769A CN 201811112423 A CN201811112423 A CN 201811112423A CN 109376769 A CN109376769 A CN 109376769A
Authority
CN
China
Prior art keywords
attribute
data
network
value
information transfer
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201811112423.7A
Other languages
English (en)
Inventor
周浪雄
傅伦凯
李俊
马震远
林安成
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangdong Polytechnic Normal University
Original Assignee
Guangdong Polytechnic Normal University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangdong Polytechnic Normal University filed Critical Guangdong Polytechnic Normal University
Priority to CN201811112423.7A priority Critical patent/CN109376769A/zh
Publication of CN109376769A publication Critical patent/CN109376769A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2411—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on the proximity to a decision surface, e.g. support vector machines
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/174—Facial expression recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/178—Human faces, e.g. facial parts, sketches or expressions estimating age from face image; using age information for improving recognition

Abstract

本发明提供了基于生成式对抗神经网络用于多任务分类的信息迁移方法，应用于具有多个属性的数据，主要任务是对该数据中一个或多个属性确定其具体的取值，称为目标属性；利用生成式对抗神经网络从数据的一个或多个非目标属性中获得有助于确定该数据目标属性的信息，所述数据的一个(或多个)非目标属性称为辅助属性。具体包括：利用生成式对抗神经网络构建多属性数据的信息迁移模型；对所述信息迁移模型进行训练直至达到预设条件，结束训练；利用训练完成的信息迁移模型来完成任务。本发明利用生成式对抗神经网络和Wasserstein‑1距离的度量，实现了多任务分类的信息迁移，从而提高了目标分类任务的准确性。

Description

基于生成式对抗神经网络用于多任务分类的信息迁移方法
技术领域
本发明属于计算机信息处理领域，涉及一种多任务分类的信息迁移方法，特别涉及基于生成式对抗神经网络的多任务分类的信息迁移方法。
背景技术
2005年，DARPA(美国国防部高级研究机构)给出了有关迁移学习的一个新的定义：迁移学习系统能够对先前任务中学到的知识和技巧进行识别，并将它应用到一个新的任务中去。传统机器学习模型的训练和测试都在同一个领域当中进行，而在迁移学习中，进行模型构建的领域被称为源领域，模型被应用的领域成为目标领域。
迁移学习作为一种处理小样本的大数据的方法，在机器学习的早期阶段就被进行了深入的研究。在先前的研究中，出现了基于共享源和目标特性的兼容性来协同训练的方法；采用从源域到目标域的传递的分类的信息的聚类算法；利用目标域的合适的模型的期望最大化(Expectation Maximization)算法的构建朴素贝叶斯迁移分类器(NBTC，NaiveBayes Transfer Classifier)；在上述的算法中发现相似的分类问题有助于提高指定分类任务问题的性能。
观测数据通常带有多种不同方面的属性，例如：一张图片可以有一类属性用于指定对象类别的内容，比如对象是飞机、建筑物、猫等，同时，还有另一类属性用于描述图像的风格，比如风格是写实或者是艺术。带有标注的属性或已经标注的属性的数据通常包含有的丰富的知识，而聚焦于数据的某一方面的分析任务可以从数据的另一方面中获益。
目前，从多属性数据的多个任务中的不同分类的信息迁移或迁移学习仍是一个难题。
发明内容
为解决上述问题，本发明提供了基于生成式对抗神经网络用于多任务分类的信息迁移方法，应用于具有多个属性的数据，主要任务对其中一个或多个属性确定其具体的取值，称为目标属性；利用生成式对抗神经网络从数据的一个或多个非目标属性中获得有助于确定其目标属性的信息，所述数据的一个(或多个)非目标属性称为辅助属性。
在本发明的实施例中，所述多任务分类的信息迁移方法包括：利用生成式对抗神经网络构建多属性数据的信息迁移模型；对所述信息迁移模型进行训练直至达到预设条件，结束训练；利用训练完成的信息迁移模型来完成所述主要任务。
进一步的，所述多属性数据的信息迁移模型包括生成式神经网络G、目标属性判别网络Dt、辅助属性判别网络Da；所述生成式神经网络G被配置为生成数据的抽象表示；所述目标属性判别网络Dt被配置为根据前述由生成式网络产生的抽象表示预测数据中的目标属性；所述辅助属性判别网络Da被配置为根据前述由生成式网络产生的抽象表示预测数据中的辅助属性。
更进一步的，所述训练过程包括：收集具有多个属性的训练数据集，所述训练数据集包括可观测的数据样本和每一个观测到的数据样本所对应的多个属性的值；构造所述生成式对抗神经网络在训练数据集上的损失函数；通过优化函数调整所述生成式对抗神经网络的参数，尽可能减小损失函数的损失。
在本发明的实施例中，所述优化函数为：
其中x表示观测到的数据样本，yi表示观测到的数据样本所对应的目标属性的值，表示观测到的数据样本和其对应的目标属性的值的联合分布空间，L(Dt(G(x))，y)表示目标属性判别网络Dt预测的目标属性的值Dt(G(x))与样本中的目标属性的值的损失函数，表示观测到的数据样本和目标属性的联合分布空间上关于损失函数L的期望；
λ表示权重系数，I(p，q)表示观测到的样本数据在其对应的辅助属性的不同取值时的概率分布之间的距离度量函数。进一步的，所述距离度量函数采用Wasserstein-1距离度量。
在发明的实施例中，所述优化函数为：
其中x表示观测到的数据样本，yi表示观测到的数据样本所对应的目标属性的值，yj表示观测到的数据样本所对应的辅助属性的值，表示观测到的数据样本和其对应的目标属性的值的联合分布空间，L(Dt(G(x))，y)表示目标属性判别网络Dt预测的目标属性的值Dt(G(x))与样本中的目标属性的值的损失函数，表示观测到的数据样本和目标属性的联合分布空间上关于损失函数L的期望；
λ表示权重系数，表示观测到的数据样本和其对应的辅助属性的值的联合分布空间，K(Da(G(x))，yj)表示辅助判别网络Da预测的辅助属性的值Da(G(x))的分布与样本中的目标属性的值yi的分布之间的地动距离的Kantorovich-Rubinstein对偶计算；表示观测到的数据样本和辅助属性的值在其联合分布空间的Kantorovich-Rubinstein对偶计算的期望。
优选的，所述Kantorovich-Rubinstein对偶计算按如下公式进行：
其中表示样本数据在其对应的辅助属性的取值为1时的条件概率分布，表示表示样本数据在其对应的辅助属性的取值为0时的条件概率分布。
在本发明的实施例中，所述权重系数λ的取值为0.001-1。
在本发明的实施例中，其特征在于，所述多属性数据的信息迁移模型包括N个目标属性判别网络和M个辅助属性判别网络，1≤N≤M。
附图说明
图1为本发明的实施例中的多属性数据的信息迁移模型的训练用的数据集示例；
图2为本发明的实施例中的多属性数据的信息迁移模型的基本结构原理图；
图3为本发明的实施例中的多属性数据的信息迁移模型的测试用的数据集示例；
图4为本发明实施例中的多属性数据的信息迁移模型与CNN在测试数据集的测试结果表；
图5为本发明的实施例中的带有2个辅助属性判别网络的多属性数据的信息迁移模型结构图；
图6为本发明的实施例中的带有2个辅助属性判别网络的多属性数据的信息迁移模型的生成式神经网络的结构图；
图7为本发明的实施例中的带有2个辅助属性判别网络的多属性数据的信息迁移模型的目标属性判别网络D1的结构图；
图8为本发明的实施例中的带有2个辅助属性判别网络的多属性数据的信息迁移模型的目标属性判别网络D2的结构图；
图9为本发明的实施例中的带有2个辅助属性判别网络的多属性数据的信息迁移模型的目标属性判别网络D3的结构图；
图10为实施例3中人脸数据集示例；
图11为实施例3中的多属性数据的信息迁移模型结构图；
图12为实施例3中的多属性数据的信息迁移模型中生成式神经网络G的结构图；
图13为实施例3中的多属性数据的信息迁移模型中目标判别网络D1的结构图；
图14为实施例3中的多属性数据的信息迁移模型中目标判别网络D2的结构图；
图15为实施例3中的多属性数据的信息迁移模型中目标判别网络D3的结构图；
图16为实施例3中的多属性数据的信息迁移模型中目标判别网络D4的结构图。
具体实施方式
为了更好的理解本发明所提出的技术方案，下面结合附图和具体的实施例对本发明作进一步阐述。
基于生成式对抗神经网络用于多任务分类的信息迁移方法，应用于具有多个属性的数据，主要任务是对其中一个或多个属性确定其具体的取值，称为目标属性；
利用生成式对抗神经网络从数据的一个或多个非目标属性中获得有助于确定该数据目标属性的信息，所述数据的一个(或多个)非目标属性称为辅助属性。
在本发明的实施例中，所述多任务分类的信息迁移方法包括：利用生成式对抗神经网络构建多属性数据的信息迁移模型；对所述信息迁移模型进行训练直至达到预设条件，结束训练；利用训练完成的信息迁移模型来完成所述主要任务。
进一步的，所述多属性数据的信息迁移模型包括生成式神经网络G、目标属性判别网络Dt、辅助属性判别网络Da；所述生成式神经网络G被配置为生成数据的抽象表示；所述目标属性判别网络Dt被配置为根据前述由生成式网络产生的抽象表示预测数据中的目标属性；所述辅助属性判别网络Da被配置为根据前述由生成式网络产生的抽象表示预测数据中的辅助属性。
更进一步的，所述训练过程包括：收集具有多个属性的训练数据集，所述训练数据集包括可观测的数据样本和每一个观测到的数据样本所对应的多个属性的值；构造所述生成式对抗神经网络在训练数据集上的损失函数；通过优化函数调整所述生成式对抗神经网络的参数，尽可能减小损失函数的损失。
在本发明的实施例中，所述优化函数为：
其中x表示观测到的数据样本，yi表示观测到的数据样本所对应的目标属性的值，表示观测到的数据样本和其对应的目标属性的值的联合分布空间，L(Dt(G(x))，y)表示目标属性判别网络Dt预测的目标属性的值G(x)与样本中的目标属性的值yi的损失函数，表示观测到的数据样本和目标属性的联合分布空间上关于损失函数L的期望；
λ表示权重系数，p表示样本数据在其对应的辅助属性的取值为0时的概率分布，q表示样本数据在其对应的辅助属性的取值为1时的概率分布，I(p，q)表示观测到的样本数据在其对应的辅助属性的不同取值时的概率分布之间的距离度量函数。进一步的，所述距离度量函数I采用Wasserstein-1距离度量。
在发明的实施例中，所述优化函数替换为：
其中x表示观测到的数据样本，yi表示观测到的数据样本所对应的目标属性的值，yj表示观测到的数据样本所对应的辅助属性的值，
表示观测到的数据样本和其对应的目标属性的值的联合分布空间，L(Dt(G(x))，y)表示目标属性判别网络Dt预测的目标属性的值Dt(G(x))与样本中的目标属性的值的损失函数，表示观测到的数据样本和目标属性的联合分布空间上关于损失函数L的期望；
λ表示权重系数，表示观测到的数据样本和其对应的辅助属性的值的联合分布空间，K(Da(G(x))，yj)表示辅助判别网络Da预测的辅助属性的值Da(G(x))的分布与样本中的目标属性的值yi的分布之间的地动距离的Kantorovich-Rubinstein对偶计算；表示观测到的数据样本和辅助属性的值在其联合分布空间的Kantorovich-Rubinstein对偶计算的期望。
优选的，所述Kantorovich-Rubinstein对偶计算按如下公式进行：
其中表示样本数据在其对应的辅助属性的取值为1时的条件概率分布，表示表示样本数据在其对应的辅助属性的取值为0时的条件概率分布。
在本发明的实施例中，所述权重系数λ的取值为0.001-1。
在本发明的实施例中，所述多属性数据的信息迁移模型包括N个目标属性判别网络和M个辅助属性判别网络，1≤N≤M。
假设任意给定一批多属性数据样本，分布在空间上，表示观测数据的分布，表示对应的m个不同方面的属性的值的联合分布，不妨设为了学习或训练的预测属性利用先验知识，任意构造一个表示函数
设有属性和属性则和分别属于不同的属性群组，在理想的表示模型下，观测数据的分布与相互独立，进而在无论下都独立。将定义为目标属性，为辅助属性。
数据表示器G是一种映射，为表示空间。给定一个概率分布通过G可产生对应在上的分布。考虑yi的条件概率分布：X|Yi＝ξ，其中X为分布χ的变量，Yi为分布的变量，且ξ＝{0，1}，则由G映射到上的条件概率分布，表示为：
将上式简写为若为辅助属性，需要χ的表示空间与独立即等价于G在空间的分布与独立：
用I(p，q)表示两个概率分布的差异，由中的目标属性以及的辅助属性和(*)式中确定，表示为如下公式：
其中x表示观测到的数据样本，yi表示观测到的数据样本所对应的目标属性的值，表示观测到的数据样本和其对应的目标属性的值的联合分布空间，L(Di(G(x))，y)表示目标属性判别网络Dt预测的目标属性的值与样本中的目标属性的值的损失函数，表示观测到的数据样本和目标属性的联合分布空间上关于损失函数L的期望；λ表示权重系数，为每个辅助属性的值的概率分布之间的度量函数，j为辅助属性判别网络的编号。此处仅为说明的方便，取yi为0或1。
在上式中，通过Kantorovich-Rubinstein对偶计算的EM距离度量，则优化函数为：
其中x表示观测到的数据样本，yi表示观测到的数据样本所对应的目标属性的值，yj表示观测到的数据样本所对应的辅助属性的值，表示观测到的数据样本和其对应的目标属性的值的联合分布空间，L(Di(G(x))，yi)表示第l个目标属性判别网络Di预测的目标属性的值Di(G(x))与样本中的目标属性的值yi的损失函数，表示观测到的数据样本和目标属性的联合分布空间上关于损失函数L的期望；λ表示权重系数，表示观测到的数据样本和其对应的辅助属性的值的联合分布空间，K(Dj(G(x))，yj)表示第j个辅助判别网络Dj预测的目标属性的值Dj(G(x))的分布与样本中的目标属性的值yj的分布之间的地动距离的Kantorovich-Rubinstein对偶计算；表示观测到的数据样本和辅助属性的值的联合分布空间的Kantorovich-Rubinstein对偶计算的期望。
地动距离：Earth-Mover距离，用于度量两个分布之间的距离。
实施例1
本实施例的目标任务是标准图像的分类，即为每一个包含手写数字的28x28灰度图像分配0-9的标签。测试的具体配置如下：如图1所示，对MNIST(Mixed NationalInstitute of Standards and Technology)数据集上的图像进行随机旋转后获得新的数据集。在本实施例的数据集中，为消除几何对称性对性能指标的影响，选择使用有限个几何变换的数字。例如，数字“0”主要是关于π的旋转对称，即使在手写风格也是如此。也同样适用于数字“1”或“8”。数字“6”和“9”通过π旋转后也是相互对称。
图2展示的是在多属性数据的信息迁移模型框架下的网络结构。在多属性数据的信息迁移模型中生成式神经网络G采用标准CNN(Convolutional Neural Network卷积神经网络)的数据表示层的结构。在多属性数据的信息迁移模型中，编码后的数据分别进入判别网络D1和D2两个分支：D1输出的是预测图像3种不同旋转角度的方向；D2输出的是数字的值(标识)：y∈{0，...，9}。在本实施例中，将旋转角度视为辅助属性，将数字身份视为目标属性在训练阶段，多属性数据的信息迁移模型的优化目标如下：
其中，θ，w1，w2分别是生成式神经网络G、判别网络D1和判别网络D2的网络参数。带有.*上标代表优化变量的最佳值。常数参数λ主要影响生成式神经网络参数θ的调节，并且确定了混合辅助属性的目标和区分目标属性之间的权重。我们检查了λ在{0.001-1}之间一系列的值。λ在合理地范围内对多属性数据的信息迁移模型的性能是不敏感的。为方便起见，将文中的多属性数据的信息迁移模型简称为MATGAN。
图4所示，多属性数据的信息迁移模型(MATGAN)与标准深度CNN识别经过旋转的数字图像(如图3所示的数据集)的错误率(准确度)，从表格中我们可以看出多任务迁移框架优于CNN，在λ＝1.1时相较于标准的CNN降低了10％以上。这个证明了“与数字识别的无关的几何变换的预测任务”对“数字识别”任务是有益的。进一步，带有任意方向的数字信息有助于建立更好的数字识别的分类网络。由此，通过使用多属性数据的信息迁移模型框架可以通过对图像施加不改变的几何变换的干扰中提高网络预测的稳定性，即表明辅助属性引起的不变性对目标属性的预测是有益的。
实施例2
MNIST数据集一共有60000张图像，将其中50000张图像作为训练数据集，剩下的10000张图像作为测试数据集。首先对MNIST数据集进行预处理，预处理后的MNIST数据集中的每一张图像都附加有三种标记。第一种标记为：图像的数字，即y∈{0，...，9}；第二种标记为：图像的旋转方向，即第三种标记为：图像的来源，即ρ2∈{S，D}；
备注：此式子ρ2∈{S，D}中，S表示的是：图像的来源属于扫描；D表示的是：图像的来源属于下载。
如图5所示，三个判别网络(三个任务)在多属性数据的信息迁移模型框架下实现的网络结构图：其中，G代表的是生成式神经网络、D1代表的是预测图像数字的目标判别网络、D2代表的是预测图像旋转方向的辅助属性判别网络、D3代表的是预测图像来源的辅助属性判别网络。BPROP表示损失的反向传播，PRED表示预测的属性的值，GND-TRUTH代表实际样本或样本对应的属件的值(下同)。
注意，在GAN中的损失模块LOSS_FN有一个输入来指明是迁移任务的损失还是目标任务的损失，它表示的形状类似于异或门的运算符。如果迁移信号(TRNS)为正，说明该网络是辅助属性判别网络，则在进行反向传播前的损失就会被抵消。如果迁移信号(TRNS)为负，说明该网络是目标判别网络，则在进行反向传播前的损失不会被抵消。λ代表的是可选权重。
如图6所示，生成式神经网络结构图：
第一步：将3维的28x28矩阵数据(图像的一种抽象表示)输入到第一层神经网络进行卷积计算，输出64维的12x12矩阵数据；
第二步：将第一步的输出结果作为第二层神经网络的输入进行卷积计算，输出50维的4x4矩阵数据(即800维特征向量)；
第三步：将第二步的输出结果作为第三层全连接网络的输入进行全连接计算，输出500维特征向量。
如图7所示，目标判别网络结构图：
第一步：首先将生成式神经网络的输出结果(500维特征向量)作为D1(目标判别网络)的输入，然后进行第一层全连接网络的全连接计算，计算后输出的是500维特征向量；
第二步：将第一步的输出结果作为第二层全连接网络的全连接计算，计算后输出的是500位特征向量；
第三步：将第二步的输出结果作为第三层全连接网络的全连接计算，计算后输出的是3位特征向量。
如图8所示，辅助属性判别网络结构图：
第一步：首先将生成式神经网络的输出结果(500维特征向量)作为D1(目标判别网络)的输入，然后进行第一层全连接网络的全连接计算，计算后输出的是500维特征向量；
第二步：将第一步的输出结果作为第二层全连接网络的全连接计算，计算后输出的是500位特征向量；
第三步：将第二步的输出结果作为第三层全连接网络的全连接计算，计算后输出的是10位特征向量。
如图9所示，第一步：首先将生成式神经网络的输出结果(500维特征向量)作为D1(目标判别网络)的输入，然后进行第一层全连接网络的全连接计算，计算后输出的是500维特征向量；
第二步：将第一步的输出结果作为第二层全连接网络的全连接计算，计算后输出的是500位特征向量；
第三步：将第二步的输出结果作为第三层全连接网络的全连接计算，计算后输出的是2位特征向量。
在上述的多属性数据的信息迁移模型网络结构中，编码后的数据会分别进入目标判别网络D1、辅助属性判别网络D2和辅助属性判别网络D3。D1输出的是预测图像数字y∈{0，...，9}；D2输出的是图像旋转方向D3输出的是图像来源ρ2∈{S，D}。在此设置中，我们把预测图像中的数字视为目标属性，并且将图像旋转方向和图像来源都视为辅助属性。所以，在训练阶段，多属性数据的信息迁移模型的优化目标如下：
其中，θ，w1，w2，w3分别是生成式神经网络G、目标判别网络D1、迁移判别网络D2、迁移判别网络D3的网络参数。带有.*上标代表优化变量的最佳值。常数参数λ主要影响生成式神经网络参数θ的调节，并且确定了混合辅助属性的目标和区分目标属性之间的权衡。
实施例3
将多属性数据的信息迁移模型框架用于其它图像数据集，例如：人脸数据集(图10)。
数据集简述：MTFL人脸数据集，该数据集包含了12995张从互联网上收集的面部图像，该数据集自带有四种标记。第一种标记为：人脸头部姿势，即少∈{-60°，-30°，0，30°，60°}；第二种标记为：人脸是否带眼镜，即ρ1∈{G，NG}；第三种标记为：人脸是否微笑，即ρ2∈{S，NS}；第四种标记为：人的性别，即ρ3∈{M，F}；在实验之前，需要对MTFL人脸数据集做修改图像大小的预处理工作，即MTFL人脸数据集中每一张图像都reSize()成28x28大小的RGB图像。
备注：在此式子少∈{-60°，-30°，0，30°，60°}中，负60度代表的是头部姿势按逆时针方向转60度、负30度代表的是头部姿势按逆时针方向转30度、0度代表的是头部姿势没有偏转、30度代表的是头部姿势按顺时针方向转30度、60度代表的是头部姿势按顺时针方向转60度。
在此式子ρ1∈{G，NG}中，G代表的是有戴眼镜、NG代表的是没有戴眼镜；
在此式子ρ2∈{S，NS}中，S代表的是人脸微笑、NS代表的是人脸没有微笑；
在此式子ρ3∈{M，F}中，M代表的是图像中人的性别是男性、F代表的是图像中人的性别是女性。
根据上述情况，如图11所示，多属性数据的信息迁移模型框架如下：
图中所展示的是四个判别网络(四个任务)在多属性数据的信息迁移模型框架下实现的网络结构图，其中，G代表的是生成式神经网络、D1代表的是预测人脸图像头部姿势的目标判别网络、D2代表的是预测人脸是否戴眼镜的辅助属性判别网络、D3代表的是预测人脸是否微笑的辅助属性判别网络、D4代表的是预测人脸图像性别的辅助属性判别网络。
注意，在GAN中的损失模块LOSS_FN有一个输入来指明是迁移任务的损失还是目标任务的损失，它表示的形状类似于异或门的运算符。如果迁移信号(TRNS)为正，说明该网络是辅助属性判别网络，则在进行反向传播前的错误损失就会被抵消。如果迁移信号(TRNS)为负，说明该网络是目标判别网络，则在进行反向传播前的错误损失不会被抵消。λ代表的是可选权重。
如图12所示，生成式神经网络G结构图：
第一步：将3维的28x28矩阵数据(图像)输入到第一层神经网络进行卷积计算，计算后的输出是64维的12x12矩阵数据；
第二步：将第一步的输出结果作为第二层神经网络的输入进行卷积计算，计算后输出的是50维的4x4矩阵数据(即800维特征向量)；
第三步：将第二步的输出结果作为第三层全连接网络的输入进行全连接计算，计算后输出的是500维特征向量；
目标判别网络结构图：
第一步：首先将生成式神经网络的输出结果(500维特征向量)作为D1(目标判别网络)的输入，然后进行第一层全连接网络的全连接计算，计算后输出的是500维特征向量；
第二步：将第一步的输出结果作为第二层全连接网络的全连接计算，计算后输出的是500位特征向量；
第三步：将第二步的输出结果作为第三层全连接网络的全连接计算，计算后输出的是5位特征向量。
如图14所示，辅助属性判别网络D2结构图：
第一步：首先将生成式神经网络的输出结果(500维特征向量)作为D1(目标判别网络)的输入，然后进行第一层全连接网络的全连接计算，计算后输出的是500维特征向量；
第二步：将第一步的输出结果作为第二层全连接网络的全连接计算，计算后输出的是500位特征向量；
第三步：将第二步的输出结果作为第三层全连接网络的全连接计算，计算后输出的是2位特征向量。
如图15所示，辅助属性判别网络D3结构图：
第一步：首先将生成式神经网络的输出结果(500维特征向量)作为D1(目标判别网络)的输入，然后进行第一层全连接网络的全连接计算，计算后输出的是500维特征向量；
第二步：将第一步的输出结果作为第二层全连接网络的全连接计算，计算后输出的是500位特征向量；
第三步：将第二步的输出结果作为第三层全连接网络的全连接计算，计算后输出的是2位特征向量。
如图16所示，辅助属性判别网络D4结构图：
第一步：首先将生成式神经网络的输出结果(500维特征向量)作为D1(目标判别网络)的输入，然后进行第一层全连接网络的全连接计算，计算后输出的是500维特征向量；
第二步：将第一步的输出结果作为第二层全连接网络的全连接计算，计算后输出的是500位特征向量；第三步：将第二步的输出结果作为第三层全连接网络的全连接计算，计算后输出的是2位特征向量；
在多属性数据的信息迁移模型网络结构中，编码后的数据会分别进入目标判别网络D1、辅助属性判别网络D2、辅助属性判别网络D3、D4辅助属性判别网络。D1输出的是预测人脸图像头部姿势少∈{-60°，-30°，0，30°，60°}；D2输出的是人脸图像是否戴眼镜ρ1∈{G，NG}；D3输出的是人脸图像是否微笑ρ2∈{S，NS}；D4输出的是人脸图像性别ρ3∈{M，F}。在此设置中，我们把预测人脸图像头部姿势视为目标属性，并且将人脸图像是否戴眼镜、人脸图像是否微笑和人脸图像性别都视为辅助属性。所以，在训练阶段，MAGTAN的优化目标如下：
其中，θ，w1，w2，w3，w4分别是生成式神经网络G、目标属性判别网络D1、辅助属性判别网络D2、、辅助属性判别网络D3、、辅助属性判别网络D4的网络参数。带有.*上标代表优化变量的最佳值。常数参数λ主要影响生成式神经网络参数θ的调节，并且确定了混合辅助属性的目标和区分目标属性之间的权衡。
以上所述仅为本发明的较佳实施例，并不能限制本发明，凡在本发明的精神和原则之内，所做的任何修改，等同替换、改进，均应包含在本发明的保护范围之内。

Claims (10)

1.基于生成式对抗神经网络用于多任务分类的信息迁移方法，其特征在于，
该方法应用于具有多个属性的数据，主要任务是对该数据中一个或多个属性确定其具体的取值，称为目标属性；
利用生成式对抗神经网络从所述数据的一个或多个非目标属性中获得有助于确定该数据目标属性的信息，所述数据的一个或多个非目标属性称为辅助属性。
2.根据权利要求1所述的多任务分类的信息迁移方法，其特征在于，包括：
利用生成式对抗神经网络构建多属性数据的信息迁移模型；
对所述信息迁移模型进行训练直至达到预设条件，结束训练；
利用训练完成的信息迁移模型来完成所述主要任务。
3.根据权利要求2所述的多任务分类的信息迁移方法，其特征在于，
所述多属性数据的信息迁移模型包括生成式神经网络G、目标属性判别网络Dt、辅助属性判别网络Da；
所述生成式神经网络G被配置为生成数据的抽象表示；所述目标属性判别网络Dt被配置为根据前述由生成式网络产生的抽象表示预测数据中的目标属性；所述辅助属性判别网络Da被配置为根据前述由生成式网络产生的抽象表示预测数据中的辅助属性。
4.根据权利要求3所述的多任务分类的信息迁移方法，其特征在于，
所述训练过程包括：收集具有多个属性的训练数据集，所述训练数据集包括可观测的数据样本和每一个观测到的数据样本所对应的多个属性的值；构造所述生成式对抗神经网络在训练数据集上的损失函数；通过优化函数调整所述生成式对抗神经网络的参数，尽可能减小损失函数的损失。
5.根据权利要求4所述的多任务分类的信息迁移方法，其特征在于，
所述优化函数为：
其中x表示观测到的数据样本，yi表示观测到的数据样本所对应的目标属性的值，表示观测到的数据样本和其对应的目标属性的值的联合分布空间，L(Dt(G(x))，yi)表示目标属性判别网络Dt预测的目标属性的值Dt(G(x))与样本中的目标属性的值yi的损失函数，表示观测到的数据样本和目标属性的联合分布空间上关于损失函数L的期望；
λ表示权重系数，p表示样本数据在其对应的辅助属性的取值为0时的条件概率分布，q表示样本数据在其对应的辅助属性的取值为1时的条件概率分布，I(p，q)表示观测到的样本数据在其对应的辅助属性的不同取值时的概率分布之间的距离度量函数。
6.根据权利要求5所述的多任务分类的信息迁移方法，其特征在于，所述距离度量函数采用Wasserstein-1距离度量。
7.根据权利要求6所述的所述的多任务分类的信息迁移方法，其特征在于，所述优化函数替换为：
其中x表示观测到的数据样本，yi表示观测到的数据样本所对应的目标属性的值，yj表示观测到的数据样本所对应的辅助属性的值，
表示观测到的数据样本和其对应的目标属性的值的联合分布空间，L(Dt(G(x))，y)表示目标属性判别网络Dt预测的目标属性的值Dt(G(x))与样本中的目标属性的值的损失函数，表示观测到的数据样本和目标属性的联合分布空间上关于损失函数L的期望；
λ表示权重系数，表示观测到的数据样本和其对应的辅助属性的值的联合分布空间，K(Da(G(x))，yj)表示辅助判别网络Da预测的辅助属性的值Da(G(x))的分布与样本中的目标属性的值yi的分布之间的地动距离的Kantorovich-Rubinstein对偶计算；表示观测到的数据样本和辅助属性的值在其联合分布空间的Kantorovich-Rubinstein对偶计算的期望。
8.根据权利要求7所述的多任务分类的信息迁移方法，其特征在于，所述Kantorovich-Rubinstein对偶计算按如下公式进行：
其中表示样本数据在其对应的辅助属性的取值为1时的条件概率分布，表示表示样本数据在其对应的辅助属性的取值为0时的条件概率分布。
9.根据权利要求5所述的多任务分类的信息迁移方法，其特征在于，所述权重系数λ的取值为0.001-1。
10.根据权利要求3所述的多任务分类的信息迁移方法，其特征在于，所述多属性数据的信息迁移模型包括N个目标属性判别网络和M个辅助属性判别网络，1≤N≤M。
CN201811112423.7A 2018-09-21 2018-09-21 基于生成式对抗神经网络用于多任务分类的信息迁移方法 Pending CN109376769A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811112423.7A CN109376769A (zh) 2018-09-21 2018-09-21 基于生成式对抗神经网络用于多任务分类的信息迁移方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811112423.7A CN109376769A (zh) 2018-09-21 2018-09-21 基于生成式对抗神经网络用于多任务分类的信息迁移方法

Publications (1)

Publication Number Publication Date
CN109376769A true CN109376769A (zh) 2019-02-22

Family

ID=65402218

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811112423.7A Pending CN109376769A (zh) 2018-09-21 2018-09-21 基于生成式对抗神经网络用于多任务分类的信息迁移方法

Country Status (1)

Country Link
CN (1) CN109376769A (zh)

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110008338A (zh) * 2019-03-04 2019-07-12 华南理工大学 一种融合gan和迁移学习的电商评价情感分析方法
CN110059465A (zh) * 2019-04-24 2019-07-26 腾讯科技（深圳）有限公司 身份验证方法、对抗生成网络的训练方法、装置及设备
CN110188864A (zh) * 2019-05-06 2019-08-30 南京大学 基于分布表示和分布度量的小样本学习方法
CN110210556A (zh) * 2019-05-29 2019-09-06 中国科学技术大学 行人再识别数据生成方法
CN110414383A (zh) * 2019-07-11 2019-11-05 华中科技大学 基于Wasserstein距离的卷积神经网络对抗迁移学习方法及其应用
CN110705407A (zh) * 2019-09-20 2020-01-17 五邑大学 基于多任务迁移的人脸美丽预测方法及装置
WO2020206876A1 (zh) * 2019-04-08 2020-10-15 清华大学 学习分离表征的图卷积神经网络构建方法及装置
CN112861805A (zh) * 2021-03-17 2021-05-28 中山大学 一种基于内容特征和风格特征的人脸图像生成方法
CN113657486A (zh) * 2021-08-16 2021-11-16 浙江新再灵科技股份有限公司 基于电梯图片数据的多标签多属性分类模型建立方法

Cited By (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110008338A (zh) * 2019-03-04 2019-07-12 华南理工大学 一种融合gan和迁移学习的电商评价情感分析方法
WO2020206876A1 (zh) * 2019-04-08 2020-10-15 清华大学 学习分离表征的图卷积神经网络构建方法及装置
CN110059465A (zh) * 2019-04-24 2019-07-26 腾讯科技（深圳）有限公司 身份验证方法、对抗生成网络的训练方法、装置及设备
WO2020215915A1 (zh) * 2019-04-24 2020-10-29 腾讯科技（深圳）有限公司 身份验证方法、装置、计算机设备及存储介质
CN110188864A (zh) * 2019-05-06 2019-08-30 南京大学 基于分布表示和分布度量的小样本学习方法
CN110210556A (zh) * 2019-05-29 2019-09-06 中国科学技术大学 行人再识别数据生成方法
CN110210556B (zh) * 2019-05-29 2022-09-06 中国科学技术大学 行人再识别数据生成方法
CN110414383A (zh) * 2019-07-11 2019-11-05 华中科技大学 基于Wasserstein距离的卷积神经网络对抗迁移学习方法及其应用
CN110705407A (zh) * 2019-09-20 2020-01-17 五邑大学 基于多任务迁移的人脸美丽预测方法及装置
CN112861805A (zh) * 2021-03-17 2021-05-28 中山大学 一种基于内容特征和风格特征的人脸图像生成方法
CN112861805B (zh) * 2021-03-17 2023-07-18 中山大学 一种基于内容特征和风格特征的人脸图像生成方法
CN113657486A (zh) * 2021-08-16 2021-11-16 浙江新再灵科技股份有限公司 基于电梯图片数据的多标签多属性分类模型建立方法
CN113657486B (zh) * 2021-08-16 2023-11-07 浙江新再灵科技股份有限公司 基于电梯图片数据的多标签多属性分类模型建立方法

Similar Documents

Publication Publication Date Title
CN109376769A (zh) 基于生成式对抗神经网络用于多任务分类的信息迁移方法
Raab et al. Reactive soft prototype computing for concept drift streams
Sebe et al. Robust computer vision: Theory and applications
CN107609459A (zh) 一种基于深度学习的人脸识别方法及装置
CN108427921A (zh) 一种基于卷积神经网络的人脸识别方法
CN105138998B (zh) 基于视角自适应子空间学习算法的行人重识别方法及系统
CN108256450A (zh) 一种基于深度学习的人脸识别和人脸验证的监督学习方法
Jabeen et al. Review of classification using genetic programming
Zhang et al. Fast covariance matching with fuzzy genetic algorithm
CN112668482B (zh) 人脸识别训练方法、装置、计算机设备及存储介质
CN112241478A (zh) 一种基于图神经网络的大规模数据可视化降维方法
Deshpande et al. Improved Otsu and Kapur approach for white blood cells segmentation based on LebTLBO optimization for the detection of Leukemia.
CN113496260B (zh) 基于改进YOLOv3算法的粮库人员不规范作业检测法
Zhou et al. A novel K-means image clustering algorithm based on glowworm swarm optimization
CN105809200B (zh) 一种生物启发式自主抽取图像语义信息的方法及装置
Dornaika et al. Multi-view graph fusion for semi-supervised learning: application to image-based face beauty prediction
Peng et al. Image thresholding with cell-like P systems
Bi et al. Critical direction projection networks for few-shot learning
Li et al. High-Order Correlation-Guided Slide-Level Histology Retrieval With Self-Supervised Hashing
Zou et al. A 3D model feature extraction method using curvature-based shape distribution
Liu et al. A complex chained P system based on evolutionary mechanism for image segmentation
Kong et al. Ridge–based curvilinear structure detection for identifying road in remote sensing image and backbone in neuron dendrite image
Li et al. GADet: A Geometry-Aware X-ray Prohibited Items Detector
Dai et al. Grey incidence clustering method based on multidimensional dynamic time warping distance
Udendhran et al. Enhancing representational learning for cloud robotic vision through explainable fuzzy convolutional autoencoder framework

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20190222