CN110472652A - 基于语义引导的少量样本分类方法 - Google Patents

Abstract

一种基于语义引导的少量样本分类方法，使用卷积神经网络模块对所有样本图像分别进行特征提取，得到每张样本图像的特征向量；将属于同类别的样本图像的特征向量的均值作为该类别的类别原型来表示该类；通过全连接网络将所有类别原型映射到与对应类别的语义向量相同的维度，计算类别原型与语义向量的欧式距离，将欧式距离作为一个损失函数来引导类别原型和对应的语义向量对齐；将待识别的图像进行特征提取并将该图像映射到与语义相同的维度，与所有类别的类别原型映射到与对应的语义相同的维度得到的向量进行比较，对待识别的图像进行分类。本发明通过利用语义空间对视觉空间进行约束引导，使图像的特征空间具有一定的语义相关性，结构更加鲁棒。

Description

基于语义引导的少量样本分类方法

技术领域

本发明涉及一种样本分类方法。特别是涉及一种用于计算机视觉领域少量样本图像分类的基于语义引导的少量样本分类方法。

背景技术

图像识别是各种计算机视觉任务中最基本的也是最具价值的研究方向之一，是其他各种图像处理任务，如目标检测、语义分割等的基础，解决这一问题对整个计算机视觉领域的发展具有极其重要的意义。随着深度学习的发展，图像识别任务较之以往取得了突破性的进展。虽然现在的各种算法在图像识别任务中能取得较高的分类准确率，但这些方法需要成百上千万的数据来支持网络的训练，样本的获取以及标注成本极高，同时大多数深度网络需要在高性能GPU上用很长时间训练，消耗了大量的算力资源，训练好的网络模型参数比较大，这对于一些小型的嵌入式设备来说是不可接受的，虽然可以通过云计算等方法将算力消耗放在远程服务器上，但这种方法对于要求实时性和稳定性的应用来说也是巨大的挑战，在网络建设欠发达的地区其应用十分受限制。

针对深度神经网络目前存在的这些问题，学术界和工业界的研究重点从传统的深度学习专项通过少量训练样本训练一个收敛速度快、识别准确率高的网络成为受关注高的方向。

少样本图像识别任务在最近取得了很大的进展，但是这些方法研究的重点大多集中在如何找出一种度量方法，导致某些方法的相似性比较大。这些工作不注意塑造同类样本特征向量之间的相似性，导致分类的效果不能进一步提升。

发明内容

本发明所要解决的技术问题是，提供一种基于语义引导的少量样本分类方法。

本发明所采用的技术方案是：一种基于语义引导的少量样本分类方法，包括如下步骤：

1)使用卷积神经网络模块对所有样本图像分别进行特征提取，得到每张样本图像的特征向量；

2)将属于同类别的所有样本图像的特征向量的均值作为该类别的类别原型来表示该类；

3)通过全连接网络将所有类别原型映射到与对应类别的语义向量相同的维度，然后计算类别原型与语义向量的欧式距离，将所述的欧式距离作为一个损失函数来引导类别原型和对应的语义向量对齐；

4)将待识别的图像进行特征提取并将该图像映射到与语义相同的维度，与所有类别的类别原型映射到与对应的语义相同的维度得到的向量进行比较，对待识别的图像进行分类。

步骤1)中假设样本图像为x，用公式表示如下：

fea_x＝f(x) (1)

其中，f表示特征提取器，fea_x表示样本图像x的特征向量。

步骤2)中

设定属于同类别的样本图像x有N张，则该类别原型用公式表示为：

其中，c表示类别，fea_cxi表示该类别的第i幅样本图像的特征向量，pro_c表示c类别的类别原型。

步骤3)用公式表示为：

fs_c＝g(pro_c) (3)

loss1＝L1(fs_c,s_c) (4)

其中，fs_c表示将类别原型映射到与对应的语义相同的维度得到的向量，c表示类别，g表示映射函数，pro_c表示c类别的类别原型，s_c表示对应类别原型的语义，L1表示损失函数。

步骤4)用公式表示为：

sim_ci-y＝C(fs_ci,fs_y) (5)

其中，fs_ci表示第i个类别原型映射到与对应的语义相同的维度得到的向量，fs_y表示待测试图像y与应的语义向量对齐的特征向量，C表示度量函数，sim_ci-y表示待测试图像y与第i个类别的相似程度，最终将待测试图像y分到相似度最高的类别里面。

本发明的基于语义引导的少量样本分类方法，通过利用语义空间对视觉空间进行约束引导，使图像的特征空间具有一定的语义相关性，结构更加鲁棒。其优势主要体现在：

(1)有效性：本发明在两个少样本识别任务的数据集miniImagenet和CUB上进行测试都取得了好的效果，超过现有方法的水平，说明本发明能够有效地对通过少量样本实现对未见图像的分类。

(2)新颖性：该发明首次提出了利用图像的语义特征对图像的视觉空间信息进行约束，让模型在训练过程中充分学习两者之间的内在关系。

(3)实用性：该发明能够有效减少图像分类任务所需要的训练样本的数量，精简的网络结构具有更低的硬件需求和更快的识别速度，使得图像识别的深度网络更适合在嵌入式等小型硬件中进行部署。

附图说明

图1是本发明基于语义引导的少量样本分类方法的示意图。

具体实施方式

下面结合实施例和附图对本发明的基于语义引导的少量样本分类方法做出详细说明。

如图1所示，本发明的基于语义引导的少量样本分类方法，包括如下步骤：

1)使用卷积神经网络模块对所有样本图像分别进行特征提取，得到每张样本图像的特征向量，此时的较低维的向量能比较好的包含该图像的主要信息。

假设样本图像为x，用公式表示如下：

fea_x＝f(x) (1)

其中，f表示特征提取器，fea_x表示样本图像x的特征向量。

2)将属于同类别的所有样本图像的特征向量的均值作为该类别的类别原型来表示该类；

设定属于同类别的样本图像x有N张，则该类别原型用公式表示为：

其中，c表示类别，fea_cxi表示该类别的第i幅样本图像的特征向量，pro_c表示c类别的类别原型。

3)通过全连接网络将所有类别原型映射到与对应类别的语义向量相同的维度，然后计算类别原型与语义向量的欧式距离，将所述的欧式距离作为一个损失函数来引导类别原型和对应的语义向量对齐；

用公式表示为：

fs_c＝g(pro_c) (3)

loss1＝L1(fs_c,s_c) (4)

其中，fs_c表示将类别原型映射到与对应的语义相同的维度得到的向量，c表示类别，g表示映射函数，pro_c表示c类别的类别原型，s_c表示对应类别原型的语义，L1表示损失函数。

4)将待识别的图像进行特征提取并将该图像映射到与语义相同的维度，与所有类别的类别原型映射到与对应的语义相同的维度得到的向量进行比较，对待识别的图像进行分类。

用公式表示为：

sim_ci-y＝C(fs_ci,fs_y) (5)

其中，fs_ci表示第i个类别原型映射到与对应的语义相同的维度得到的向量，fs_y表示待测试图像y与应的语义向量对齐的特征向量，C表示度量函数，sim_ci-y表示待测试图像y与第i个类别的相似程度，最终将待测试图像y分到相似度最高的类别里面。

Claims (5)

1.基于语义引导的少量样本分类方法，其特征在于，包括如下步骤：

1)使用卷积神经网络模块对所有样本图像分别进行特征提取，得到每张样本图像的特征向量；

2)将属于同类别的所有样本图像的特征向量的均值作为该类别的类别原型来表示该类；

3)通过全连接网络将所有类别原型映射到与对应类别的语义向量相同的维度，然后计算类别原型与语义向量的欧式距离，将所述的欧式距离作为一个损失函数来引导类别原型和对应的语义向量对齐；

4)将待识别的图像进行特征提取并将该图像映射到与语义相同的维度，与所有类别的类别原型映射到与对应的语义相同的维度得到的向量进行比较，对待识别的图像进行分类。

2.根据权利要求1所述的基于语义引导的少量样本分类方法，其特征在于，步骤1)中假设样本图像为x，用公式表示如下：

fea_x＝f(x) (1)

其中，f表示特征提取器，fea_x表示样本图像x的特征向量。

3.根据权利要求1所述的基于语义引导的少量样本分类方法，其特征在于，步骤2)中设定属于同类别的样本图像x有N张，则该类别原型用公式表示为：

其中，c表示类别，fea_cxi表示该类别的第i幅样本图像的特征向量，pro_c表示c类别的类别原型。

4.根据权利要求1所述的基于语义引导的少量样本分类方法，其特征在于，步骤3)用公式表示为：

fs_c＝g(pro_c) (3)

loss1＝L1(fs_c，s_c) (4)

其中，fs_c表示将类别原型映射到与对应的语义相同的维度得到的向量，c表示类别，g表示映射函数，pro_c表示c类别的类别原型，s_c表示对应类别原型的语义，L1表示损失函数。

5.根据权利要求1所述的基于语义引导的少量样本分类方法，其特征在于，步骤4)用公式表示为：

sim_ci-y＝C(fs_ci，fs_y) (5)

其中，fs_ci表示第i个类别原型映射到与对应的语义相同的维度得到的向量，fs_y表示待测试图像y与应的语义向量对齐的特征向量，C表示度量函数，sim_ci-y表示待测试图像y与第i个类别的相似程度，最终将待测试图像y分到相似度最高的类别里面。