CN111191027A - 一种基于高斯混合分布vae的广义零样本识别方法 - Google Patents

Abstract

本发明涉及一种基于高斯混合分布VAE的广义零样本识别方法，该方法包括以下步骤：步骤1：预训练res101网络后，经过该网络对样本图片特征提取并转化得到视觉特征；步骤2：针对样本图片的文本信息通过标注和设定得到语意特征；步骤3：建立分别用于处理视觉特征和语意特征的两种VAE模型，并进一步构建混合高斯分布VAE网络模型；步骤4：利用混合高斯分布VAE网络模型进行训练，分别将两类特征映射到对应的隐藏空间，并服从混合高斯分布，完成模型训练；步骤5：利用训练完成模型对实际待测试的特征进行分类，经过验证测试得到识别结果。与现有技术相比，本发明具有识别准确度高，识别速度快等优点。

Description

一种基于高斯混合分布VAE的广义零样本识别方法

技术领域

本发明涉及一种广义零样本识别方法，尤其是涉及一种基于高斯混合分布VAE的广义零样本识别方法。

背景技术

近几年来，人工智能的热潮席卷世界，并且取得了很多优秀和标志性的成果。然而，人工智能的发展不得不依赖于庞大的数据库。在人工智能的计算中，数据库质量的重要性有时甚至超越了算法本身的重要性。当前，数据库存在一个很大的问题就是：样本的更新，如何能让计算机在满足识别旧的样本的同时，又识别出新的样本，成为一项具有挑战又十分具有研究意义的一项课题和任务。

为了解决上述问题，人们开始着手零样本学习。所谓零样本学习，就是识别出训练集中不存在的类别。例如：为了识别猫、狗和猪，就需要提供大量的猫、狗和猪的图片用以模型训练，然后给定一张新的图片，就能判定属于猫、狗或猪的其中哪一类。但是对于之前训练图片未出现的类别牛、老虎等，这个模型便无法将牛、老虎识别出来。在过去的十几年中，人们开始着手零样本学习，主要工作包括课题的基本定义、算法性能的评估，算法的改进和创新。但是，之前绝大多数零样本学习的算法都是只测试新的类别，对于旧的类别没有一个较确切的评估，即测试时，不测试旧的类别猫、狗、猪，只测试新的类别牛、老虎。这并不符合现实生活中新旧类别同时检测的情景。因而，人们进一步提出了广义零样本学习这一更具有现实意义的概念，即在测试时加入了旧的类别的评估，将猫、狗、猪、牛和老虎放在一起进行测试。

零样本学习的主要方法是视觉特征和语意特征的联系，广义零样本学习在之前研究工作的基础上，也形成了三种解决该问题的方法。第一种是视觉特征到语意特征的映射，该方法一般是视觉特征通过简单的特征提取，然后通过全连接层映射到与语意特征，最后实现目标的识别。但是，高纬度的信息映射的低纬度必然造成信息的丢失，为了缓解这一问题人们进一步提出了第二种方法，即语意特征到视觉特征的映射。该方法主要是通过数据生成器，将语意特征映射到视觉特征。第三种方法是两种特征变量的交叉映射，典型的方法是将两种变量映射到一个隐藏空间，在同一个隐藏空间里，实现了两种特征的联系。

因此，综上所述，目前针对广义零样本识别的方法选择较少，并且现有的相关识别方法的准确度以及速度等性能不佳，大量的方法出现有准确度和综合性能评估结果不均衡的现象。

发明内容

本发明的目的就是为了克服上述现有技术存在的缺陷而提供一种基于高斯混合分布VAE的广义零样本识别方法。

本发明的目的可以通过以下技术方案来实现：

一种基于高斯混合分布VAE的广义零样本识别方法，该方法包括以下步骤：

步骤1：预训练res101网络后，经过该网络对样本图片特征提取并转化得到视觉特征；

步骤2：针对样本图片的文本信息通过标注和设定得到语意特征；

步骤3：建立分别用于处理视觉特征和语意特征的两种VAE模型，并进一步构建混合高斯分布VAE网络模型；

步骤4：利用混合高斯分布VAE网络模型进行训练，分别将两类特征映射到对应的隐藏空间，并服从混合高斯分布，完成模型训练；

步骤5：利用训练完成模型对实际待测试的特征进行分类，经过验证测试得到识别结果。

进一步地，所述的步骤1具体包括：采用经过Imagenet训练的res101网络针对样本图片进行特征提取并转化得到视觉特征。

进一步地，所述的步骤2具体包括：针对样本图片的文本信息，通过标注转换为文字向量后，再通过数字信息设定转换得到向量形式的语意特征。

进一步地，所述的步骤3中的混合高斯分布VAE网络模型包括softmax层和与其分别连接的两个VAE模型，每个所述VAE模型包括通过连接层相互连接的编码器、隐藏空间和解码器。

进一步地，所述的编码器包括多个注意力权重层、用于表示高斯分布方差和均值的多个Σ层和多个μ层。

进一步地，所述的步骤4中利用混合高斯分布VAE网络模型进行训练过程的loss函数为：

L＝λ₁*L_CA+λ₂*L_DA+λ₃*L_VAE

式中，L表示loss函数，L_CA为VAE模型恢复两种特征的能力，λ₁为L_CA在整个loss函数中的影响因素，L_DA为视觉特征和语意特征两个分布的相似程度，λ₂为L_DA在整个loss函数中的影响因素，L_VAE为视觉特征和语意特征理论概率分布与实际概率分布的相似程度，λ₃为L_VAE在整个loss函数中的影响因素。

进一步地，所述的VAE模型恢复两种特征的能力L_CA的计算公式为：

式中，k和j表示特征的类型，x^(j)和x^(k)表示同一个类别中某一个样本的第j个和第k个类型特征，E_k和D_j分别表示第k类特征的编码器和第j类特征的解码器。

进一步地，所述的视觉特征和语意特征两个分布的相似程度L_DA的计算公式为：

式中，A和V分别表示语意特征和视觉特征，k和j表示特征的类型，μ和∑分别表示概率分布的方差和均值。

进一步地，所述的视觉特征和语意特征理论概率分布与实际概率分布的相似程度L_VAE的计算公式为：

式中，q_φ和p_θ分别表示模拟的概率分布和实际数据本身的概率分布。

与现有技术相比，本发明具有以下优点：

(1)本发明方法将混合高斯分布应用与VAE模型中，适用于广义零样本识别，并且取得了较高的综合性能。

(2)本发明方法包括步骤1：预训练res101网络后，经过该网络对样本图片特征提取并转化得到视觉特征；步骤2：针对样本图片的文本信息通过标注和设定得到语意特征；步骤3：建立分别用于处理视觉特征和语意特征的两种VAE模型，并进一步构建混合高斯分布VAE网络模型；步骤4：利用混合高斯分布VAE网络模型进行训练，分别将两类特征映射到对应的隐藏空间，并服从混合高斯分布，完成模型训练；步骤5：利用训练完成模型对实际待测试的特征进行分类，经过验证测试得到识别结果，识别速度快且准确度高。

(3)本方法(AGM-VAE)适用于广义零样本识别，从另一个角度证明了，注意力机制和多通道思想的有效性。

附图说明

图1为本发明预训练RES101的过程示意图；

图2为本发明中基于混合高斯VAE网络模型示意图；

图3为本发明中混合高斯VAE模型中的ENCODER结构图；

图4为本发明实施例中最大注意力权值对本发明方法的影响变化示意图；

图5为本发明实施例中高斯分布个数对本发明方法的影响变化示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明的一部分实施例，而不是全部实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都应属于本发明保护的范围。

本发明采用的方案是：

1、Imagenet预训练res101网络，输入经过该网络特征提取的视觉特征；

2、输入经过人为标注和设定的语意特征；

3、建立两种VAE模型，一类用于处理视觉特征，一类用于处理语意特征；

4、分别将两类特征映射到对应的隐藏空间，并且服从混合高斯分布；

5、训练模型使得视觉特征(VISUAL FEATURES)和语意特征(SEMANTIC FEATURES)的概率分布接近同一分布。

6、将训练好的分类器，进行验证和测试，并得到实验结果。

具体实施例

1.预训练res101网络

如图1所示为本实施例预训练res101网络的示意图和对应的视觉特征提取图。本实施例为了简化训练的过程，提升网络训练的速度，采用经过Imagenet训练的res101网络进行特征的提取，实现将图片特征转化之后训练需要视觉特征，每一个图片经过处理之后转变为2048个视觉特征。

2.文本信息转为语意特征

每一类样本的图片都有对应文字描述，例如老虎类的图片，会有花纹、哺乳类、爬行类、肉食类等文字描述。为了将文字描述转化成便于训练的数字信息，本发明将(花纹，哺乳类，爬行类，肉食)转化为向量(1，1，1，1)，将(无花纹，哺乳类，爬行类，肉食)转化为(0，1，1，1)，其他文字情况只要将对应的数字置0置1即可。这样，本发明方法便完成了文字信息到语意特征的转化。

3.混合高斯分布VAE(AGM-VAE)网络框架

本发明设计的混合高斯分布VAE网络模型的基本结构如图2所示，以两个VAE为基础框架，这些基础框架可以将各种特征充分的联系结合，为了有效的提升计算效率，本发明方法采用全连接层来构建VAE。

混合高斯分布VAE网络包含了两个VAE模型，一个用于训练视觉特征，一个用于训练语意特征，最后用softmax层用于最后的分类。每一个VAE模型又包含一个编码器(ENCODER)、一个隐藏空间(Z)和一个解码器(DECODER)，三个组成部分都是由全连接层构成。编码器的结构如图3所示，分别包含多个注意力权重层(α_i)、Σ层和μ层，注意力权重层表示对应高斯分布的系数，Σ层和μ层分别表示对应高斯分布的方差和均值，图中latentfeatures for AGM model表示混合高斯分布模型的潜在特征。

4.训练过程和loss函数

(1)训练过程

训练过程如图2所示，视觉特征和语意特征分别经过对应的编码器，压缩之后，将特征的维度映射到固定维度的隐藏空间，经过解码器，还原出相应的特征。此时，完成了对两个VAE模型的训练。测试时，将待测试的特征输入到编码器，经由隐藏空间，最后输入到softmax中去，实现最后的分类。

(2)loss函数

基于混合高斯分布的VAE算法如下：

L＝λ₁*L_CA+λ₂*L_DA+λ₃*L_VAE

式中，L表示loss函数，L_CA为VAE模型恢复两种特征的能力，λ₁为L_CA在整个loss函数中的影响因素，L_DA为视觉特征和语意特征两个分布的相似程度，λ₂为L_DA在整个loss函数中的影响因素，L_VAE为视觉特征和语意特征理论概率分布与实际概率分布的相似程度，λ₃为L_VAE在整个loss函数中的影响因素。

其中，VAE模型恢复两种特征的能力L_CA的计算公式为：

式中，k和j表示特征的类型，x^(j)和x^(k)表示同一个类别中某一个样本的第j个和第k个类型特征，E_k和D_j分别表示第k类特征的编码器和第j类特征的解码器；

视觉特征和语意特征两个分布的相似程度L_DA的计算公式为：

式中，A和V分别表示语意特征和视觉特征，k和j表示特征的类型，μ和∑分别表示概率分布的方差和均值。

但是混合高斯分布没有明确的方差和均值，为了计算两个分布的相似性，本发明采用一个近似的处理，即

和

∑_k和μ_k分别表示第k类别特征的等效方差和均值。

分别表示第k类别特征中，第i个高斯分布的注意力权值、方差和均值，Q表示高斯分布的个数。

视觉特征和语意特征理论概率分布与实际概率分布的相似程度L_VAE的计算公式为：

式中，q_φ和p_θ分别表示模拟的概率分布和实际数据本身的概率分布。

实施例实际试验结果与分析

如图4所示，不同的注意力权重最大值得到的结果是不一样的，经过15次实验后，本实施例实验最好的结果出现在α＝1的时候。图5表示不同的高斯分布个数对实验结果的影响，从上图可以看出当高斯的个数Q＝6时，得到的实验结果是最好的，图4中横坐标为注意力权重最大值，图5中横坐标为高斯分布个数，图4和图5中的纵坐标均为准确率。

表1列出了本方法(AGM-VAE)和广义零样本学习领域其他方法的比较，从表中可以看出，在识别旧类别的准确率(S)和识别新类别准确率(U)已经达到了较高的准确率。本方法在综合性能参数(H)的表现是最好的，已经超过几乎所有算法的结果。

表1：本发明方法实施例与其他方法的比较结果

以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到各种等效的修改或替换，这些修改或替换都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以权利要求的保护范围为准。

Claims (9)

1.一种基于高斯混合分布VAE的广义零样本识别方法，其特征在于，该方法包括以下步骤：

步骤1：预训练res101网络后，经过该网络对样本图片特征提取并转化得到视觉特征；

步骤2：针对样本图片的文本信息通过标注和设定得到语意特征；

步骤3：建立分别用于处理视觉特征和语意特征的两种VAE模型，并进一步构建混合高斯分布VAE网络模型；

步骤4：利用混合高斯分布VAE网络模型进行训练，分别将两类特征映射到对应的隐藏空间，并服从混合高斯分布，完成模型训练；

步骤5：利用训练完成模型对实际待测试的特征进行分类，经过验证测试得到识别结果。

2.根据权利要求1所述的一种基于高斯混合分布VAE的广义零样本识别方法，其特征在于，所述的步骤1具体包括：采用经过Imagenet训练的res101网络针对样本图片进行特征提取并转化得到视觉特征。

3.根据权利要求1所述的一种基于高斯混合分布VAE的广义零样本识别方法，其特征在于，所述的步骤2具体包括：针对样本图片的文本信息，通过标注转换为文字向量后，再通过数字信息设定转换得到向量形式的语意特征。

4.根据权利要求1所述的一种基于高斯混合分布VAE的广义零样本识别方法，其特征在于，所述的步骤3中的混合高斯分布VAE网络模型包括softmax层和与其分别连接的两个VAE模型，每个所述VAE模型包括通过连接层相互连接的编码器、隐藏空间和解码器。

5.根据权利要求4所述的一种基于高斯混合分布VAE的广义零样本识别方法，其特征在于，所述的编码器包括多个注意力权重层、用于表示高斯分布方差和均值的多个Σ层和多个μ层。

6.根据权利要求1所述的一种基于高斯混合分布VAE的广义零样本识别方法，其特征在于，所述的步骤4中利用混合高斯分布VAE网络模型进行训练过程的loss函数为：

L＝λ₁*L_CA+λ₂*L_DA+λ₃*L_VAE

式中，L表示loss函数，L_CA为VAE模型恢复两种特征的能力，λ₁为L_CA在整个loss函数中的影响因素，L_DA为视觉特征和语意特征两个分布的相似程度，λ₂为L_DA在整个loss函数中的影响因素，L_VAE为视觉特征和语意特征理论概率分布与实际概率分布的相似程度，λ₃为L_VAE在整个loss函数中的影响因素。

7.根据权利要求6所述的一种基于高斯混合分布VAE的广义零样本识别方法，其特征在于，所述的VAE模型恢复两种特征的能力L_CA的计算公式为：

式中，k和j表示特征的类型，x^(j)和x^(k)表示同一个类别中某一个样本的第j个和第k个类型特征，E_k和D_j分别表示第k类特征的编码器和第j类特征的解码器。

8.根据权利要求6所述的一种基于高斯混合分布VAE的广义零样本识别方法，其特征在于，所述的视觉特征和语意特征两个分布的相似程度L_DA的计算公式为：

式中，A和V分别表示语意特征和视觉特征，k和j表示特征的类型，μ和∑分别表示概率分布的方差和均值。

9.根据权利要求6所述的一种基于高斯混合分布VAE的广义零样本识别方法，其特征在于，所述的视觉特征和语意特征理论概率分布与实际概率分布的相似程度L_VAE的计算公式为：

式中，q_φ和p_θ分别表示模拟的概率分布和实际数据本身的概率分布。

Images