CN113537305A - 一种基于匹配网络少样本学习的图像分类方法 - Google Patents

Abstract

本发明属于计算机视觉图像识别技术领域，具体为一种基于匹配网络少样本学习的图像分类方法。本发明步骤包括：将图像数据集划分为类别互斥的训练集和测试集；基于episode方式将训练集和测试集分别划分出支持集和查询集；将支持集和查询集样本通过卷积神经网络CNN进行特征提取；将支持集和查询集的样本特征通过基于注意力机制的长短期记忆网络进行完全条件嵌入；由得到的支持集，查询集完全条件嵌入的结果，计算查询集和支持集的改进余弦相似度，并计算预测值；计算混合损失函数，用AdamW梯度学习算法优化匹配网络模型；将在训练集上训练后的模型，应用于测试集，得到分类结果。本发明方法图像分类精度高、运算速度快。

Description

一种基于匹配网络少样本学习的图像分类方法

技术领域

本发明属于计算机视觉图像识别技术领域，具体涉及一种基于匹配网络少样本学习的图像分类方法。

背景技术

深度学习是近十年来人工智能领域取得的最重要的突破之一，目前它已经在图像分类方面取得较大成功。深度学习取得如此成就的原因之一在于它利用多层网络从大数据中自动学习特征，但也正因为它对大数据依赖性强，使得其在实际应用中被限制。深度学习中的图像分类有许多潜在方面的应用，但没有公开可用的数据集，许多研发部门没有足够的资金去创建规模庞大的数据集；其次深度学习的网络结构较深，模型训练非常耗时，在面对复杂多变的分类时需要重新训练大数据集，不可避免地产生很大地时间损失。

近年来元学习成为深度学习的研究热门之一，少样本学习又是其主要的应用，成为解决上述问题的途径之一。元学习又称学会学习，核心思想是“用已用经验学会学习”，将这种思想应用于少样本学习，可以通过少量的数据标签训练得到泛化能力强，具有继续学习能力的模型。

发明内容

针对以上问题，本发明的目的在于提供一种分类精度高、计算速度快的基于匹配网络少样本学习的图像分类方法。

本发明在匹配网络基础上，从构建混合损失函数、采用AdamW梯度学习算法、改进余弦度量三个方面组合，构建图像分类方法，并取得更高分类精度。

本发明提供的基于匹配网络的少样本学习的图像分类方法，具体步骤为：

Step1：将图像数据集划分为训练集和测试集；

Step2：基于episode方式在训练集和测试集中分别划分出支持集和查询集，利用少样本学习k-wayn-shot构建episode；

Step3：将支持集和查询集通过卷积神经网络CNN进行特征提取，得到支持集和查询集的特征；

Step4：将支持集和查询集的特征通过基于注意力机制的长短期记忆网络(bidirectional Long-Short Term Memory，LSTM)进行完全条件嵌入(Hochreiter S，Schmidhuber J.Long short-term memory[J].Neural computation，1997，9(8)：1735-1780.)；

Step5：由Step4得到的支持集，查询集完全条件嵌入的结果，计算查询集和支持集的改进余弦相似度，并计算查询集样本的预测值；

Step6：计算混合损失函数，用AdamW梯度学习算法(Loshchilovl，HutterF.FixingWeight Decay RegularizationinAdam[J].)优化匹配网络模型；

Step7：将上述在训练集上训练后的模型，应用于测试集。

最后，计算其分类准确率，评估该模型的泛化能力。

进一步地，在Step1中，训练集和测试集的图像类别互斥。

进一步地，Step2的具体操作流程如下：

Step2-1：在训练集中随机取k个图像类别，从每个类别中选取n个图像构成支持集，再从每个类别剩余图像中取q个图像构成查询集，支持集和查询集结合构成一个episode，按此方式构建多个随机episode。同时为了体现“少样本”特点，一般情况下k、n、q的取值较小，例如k＝5，n＝1，q＝1；

Step2-2：在测试集中按照和训练集相同的方法，构建多个随机episode。

进一步地，Step5中，由于余弦相似度主要是从方向上区分差异，而对绝对的数值不敏感，因此没法衡量每个维度上数值的差异，会导致这样一种情况：两个特征绝对值差异很大，但是余弦相似度接近1，在这种情况下查询样本特征与支持集样本特征计算余弦相似度时，会直接导致误判，从而降低准确率；为此，本发明提出改进余弦相似度方法：

Step5-1：先计算整个支持集特征的均值，查询样本特征减去这个均值，然后求它与支持集各个样本特征的改进余弦相似度，再用改进余弦相似度计算注意力，具体公式如下：

c_mean为支持集样本特征均值，

是改进余弦度量，函数

又称为核函数，用于度量查询集样本

与支持集样本x_j的匹配程度，

与g(x_i)分别为对查询集与支持集样本进行特征提取后得到的特征向量；然后通过对支持集样本x_j真实标签y_j进行加权求和进而得到查询集样本

的预测标签

Step5-2：计算了注意力之后，计算查询集样本的预测标签

公式如下：

y_j是每个类别的真实标签，将每个类别根据注意力得分进行线性加权，从而预测查询集各样本属于哪一类别。

进一步地，Step6中所述混合损失函数中包括主损失函数和辅助损失函数，主损失函数为交叉熵损失函数，占比大；辅助损失函数为平方项加绝对值项，占比小，辅助主损失函数进行微调；核心思想是增大查询集样本与支持集中同类样本的余弦相似度，减小查询集样本与支持集中不同类样本的余弦相似度，公式如下：

其中，

loss＝loss₁+loss₂， (7)

loss₁是交叉熵损失函数，y_i是查询集样本

的真实标签，

是根据公式(3)得到的关于

的预测标签，k是图像类别数，n是支持集中每个类别的样本数，q是查询集中每个类别的样本数；loss₂是辅助损失函数，第一部分是查询集与支持集属于同类样本，用来增大改进余弦距离值，第二部分是查询集与支持集属于不同类样本，用来减小改进余弦距离值，α、β、v是可以设置的超参数，用来调整辅助函数所占权重，第二部分大括号下角标的+表示只取正值；loss即为构建的混合损失函数；

Step6中所述用AdamW梯度学习算法优化匹配网络模型，AdamW算法具体步骤如下：

这里采用L2正则化，是减少过拟合的经典方法，它向损失函数loss添加由模型所有权重的平方和组成的惩罚项，并乘上特定的超参数以控制惩罚力度，其中，其中L是总损失函数，γ即为设置的超参数，用以控制惩罚力度，这也称为权重衰减，||θ||²是模型所有权重参数的平方和组成的惩罚项，θ_t是要调整的参数。

本发明优点：

本发明具有较高的图像分类精度，在构建损失函数过程中，减少同类样本距离，扩大非同类样本距离，在提出的改进余弦距离中克服了图像特征值之间因度量角度相似而数值差异大可能引起的误差，进一步提升精度。除此之外，本发明采用小样本学习方法，具有强大的泛化能力，能快速适应新的图像分类任务。

附图说明

图1是本发明中基于匹配网络的少样本学习的图像分类方法流程图示。

图2是本发明中基于匹配网络的少样本学习的图像分类方法的实施例详细结构流程图示。

图3是本发明中匹配网络中卷积神经网络对图像进行特征提取的流程图示。

具体实施方式

为下面将结合具体实施例进一步介绍本发明。此处指明，所描述的实施例仅是本发明全部实施例的一部分，基于本实施例，本领域的技术工作人员在没有做出创造性劳动前提下取得的其它实施例，都属于本发明保护的范围。进一步说明，本实施例中所使用的具体数字，公式，参数设置值仅是本实施例中使用的一组较好设定值，但并不能理解为对本发明专利的范围限制。基于本发明构思，做出的若干变形改进和参数设置，都应属于本发明的保护范围。

实施例

提供一种基于匹配网络少样本学习的图像分类方法，其具体步骤如下：

Step1：选取minilmageNet数据集，该数据集包含100类共60000张彩色图片，其中每类有600个样本，每张图片的尺寸为84×84，从中划分80个类作训练集，20个类做测试集。

Step2：基于episode方式在训练集和测试集中分别划分出支持集和查询集，本实施例中采用两种分类任务，具体步骤如下：

Step2-1：第一种采用5-way 1-shot，即在训练集随机选取5种类别，每个类别中选1张作支持集，然后在每个类别剩余的图像中各选取15张构成查询集，构成一个episode，在测试集随机选取5种类别，每个类别中选1张作支持集，然后在每个类别剩余的图像中各选取1张构成查询集，也构成一个episode，以此构建多个随机episode；第二种采用5-way 5-shot，即在训练集随机选取5种类别，每个类别中选5张作支持集，然后在每个类别剩余的图像中各选取15张构成查询集，在测试集随机选取5种类别，每个类别中选5张作支持集，然后在每个类别剩余的图像中各选取1张构成查询集，以此构建多个随机episode；

Step2-2：训练轮次train_epochs＝200，每轮训练选取的任务数量episodes＝100，测试阶段迭代次数test_epochs＝1000，将一个epoch的1O0个eposides导入匹配网络进行训练，在该轮训练结束后用测试集测试匹配网络模型精度，评估模型泛化能力，按此方式重复执行200轮次。

Step3：将支持集和查询集通过卷积神经网络CNN进行特征提取，本实施例采用的卷积神经网络CNN具有4个完全相同的卷积模块，每个卷积模块有卷积层，批量归一化层和池化层，卷积层有64个卷积核，卷积核尺寸是3×3，批量归一化层采用BatchNorm2d进行数据的归一化处理，避免因为数据过大而导致网络性能的不稳定，接着采用Relu激活函数，池化层的池化窗口尺寸为2×2，步长为2，按这种方式设计4个完全相同的卷积模块并连接在一起，在完成第一个卷积神经网络特征提取之后将第一个提取的特征输入第二个进一步进行特征提取，依次类推到第个层完成特征提取，最后由Flatten层完成数据维度转换，将N维张量转换为2维张量。本实施例输入彩色图片尺寸维度84×84×3，从输入层输入后经过卷积神经网络CNN特征提取和维度转换后得到支持集，查询集的2维特征张量。

Step4：将Step3中得到的支持集特征通过BidrectionalLSTM完全条件嵌入，查询集特征通过AttentionLSTM完全条件嵌入。

Step5：由Step4得到的支持集，查询集完全条件嵌入的结果，计算查询集和支持集的改进余弦相似度，具体步骤如下：

Step5-1：余弦相似度主要是从方向上区分差异，而对绝对的数值不敏感，因此没法衡量每个维度上数值的差异，会导致这样一种情况：两个特征绝对值差异很大，但是余弦相似度接近1。在这种情况下查询样本特征与支持集样本特征计算余弦相似度时，会直接导致误判，从而降低准确率；

Step5-2：本发明提出改进余弦相似度方法，先计算整个支持集特征完全条件嵌入后的均值，查询集样本特征减去这个均值，然后求它与支持集各个样本特征的改进余弦相似度，再用改进余弦相似度计算注意力，具体公式如下：

c_mean支持集样本特征均值，

是改进余弦度量，函数

又称为核函数，用于度量查询集样本

与支持集样本x_j的匹配程度，

与g(x_j)分别为对查询集与支持集样本进行特征提取后得到的特征向量，之后通过对支持集样本x_j真实标签y_j进行加权求和进而得到查询集样本

的预测标签

Step5-3：计算了注意力之后，计算查询集样本的预测值，公式如下：

y_j是每个类别的真实标签，将每个类别根据注意力得分进行线性加权，从而预测查询集各样本属于哪一类别。

Step6：计算混合损失函数，用AdamW梯度学习算法优化匹配网络模型，具体说明如下：

在混合损失函数构成中，以交叉熵损失函数作为主损失函数，占比大；以平方项加绝对值项作为辅助损失函数，占比小，辅助主损失函数进行微调。核心思想是增大查询集样本与支持集中同类样本的余弦相似度，减小查询集样本与支持集中不同类样本的余弦相似度，具体公式如下：

其中，

loss＝loss₁+loss₂， (7)

loss₁是交叉熵损失函数，y_i是查询集样本

的真实标签，

是根据公式(3)得到的关于

的预测标签，k是图像类别数，n是支持集中每个类别的样本数，q是查询集中每个类别的样本数；loss₂是辅助损失函数，第一部分是查询集与支持集属于同类样本，用来增大改进余弦距离值，第二部分是查询集与支持集属于不同类样本，用来减小改进余弦距离值，α、β、v是可以设置的超参数，本实施例中α＝0.01、β＝0.1、v＝0.1，用来调整辅助函数所占权重，第二部分大括号下角标的+表示只取正值；loss即为构建的混合损失函数；

选用AdamW梯度学习算法优化匹配网络模型，AdamW算法步骤如下：

L2正则化是减少过拟合的经典方法，它会向损失函数添加由模型所有权重的平方和组成的惩罚项，并乘上特定的超参数以控制惩罚力度，其中γ即为设置的超参数，用以控制惩罚力度，这也称为权重衰减，||θ||²是模型所有权重参数的平方和组成的惩罚项，θ_t是要调整的参数。

在Step7中将上述在训练集上训练后的模型，应用于测试集，通过计算其分类准确率，评估该模型的泛化能力。

然后重复执行S2～S7直至训练轮次达到200，下表1为200轮后的测试结果：

由表1得出，本发明方法在少样本学习的图像分类上相对与已有方案取得了较高的准确率。

上述实施例仅是本发明几种实施方式之一，进行详细具体的参数描述以便于理解，但不能认为是对本发明范围的限制。

Claims (4)

1.一种基于匹配网络的少样本学习的图像分类方法，其特征在于，具体步骤如下：

Step1：将图像数据集划分为训练集和测试集；训练集和测试集的图像类别互斥；

Step2：基于episode方式在训练集和测试集中分别划分出支持集和查询集，利用少样本学习k-way n-shot构建episode；

Step3：将支持集和查询集通过卷积神经网络CNN进行特征提取，得到支持集和查询集的特征；

Step4：将支持集和查询集的样本特征通过基于注意力机制的长短期记忆网络LSTM进行完全条件嵌入；

Step5：由Step4得到的支持集，查询集完全条件嵌入的结果，计算查询集和支持集的改进余弦相似度，并计算查询集样本的预测值；

Step6：计算混合损失函数，用AdamW梯度学习算法优化匹配网络模型；

Step7：将上述在训练集上训练后的模型，应用于测试集，得到分类结果。

2.根据权利要求1所述的图像分类方法，其特征在于，Step2的具体操作流程如下：

Step2-1：在训练集中随机取k个图像类别，从每个类别中选取n个图像构成支持集，再从每个类别剩余图像中取q个图像构成查询集，支持集和查询集结合构成一个episode，按此方式构建多个随机episode；

Step2-2：在测试集中按照和训练集相同的方法，构建多个随机episode。

3.根据权利要求1所述的图像分类方法，其特征在于，Step5中所述计算查询集和支持集的改进余弦相似度，并计算查询集样本的预测值，具体流程如下：

Step5-1：先计算整个支持集特征的均值，查询样本特征减去这个均值，然后求它与支持集各个样本特征的改进余弦相似度，再用改进余弦相似度计算注意力，具体公式如下：

c_mean为支持集样本特征均值，

是改进余弦度量，函数

又称为核函数，用于度量查询集样本

与支持集样本x_j的匹配程度，

与g(x_j)分别为对查询集与支持集样本进行特征提取后得到的特征向量；然后通过对支持集样本x_j真实标签y_j进行加权求和进而得到查询集样本

的预测标签

Step5-2：计算了注意力之后，计算查询集样本的预测值，公式如下：

y_j是每个类别的真实标签，将每个类别根据注意力得分进行线性加权，从而预测查询集各样本属于哪一类别。

4.根据权利要求1所述的图像分类方法，其特征在于，Step6中所述混合损失函数中包括主损失函数和辅助损失函数，主损失函数为交叉熵损失函数，占比大；辅助损失函数为平方项加绝对值项，占比小，辅助主损失函数进行微调；核心思想是增大查询集样本与支持集中同类样本的余弦相似度，减小查询集样本与支持集中不同类样本的余弦相似度，公式如下：

其中，

loss＝loss₁+loss₂， (7)

loss₁是交叉熵损失函数，y_i是查询集样本

的真实标签，

是根据公式(3)得到的关于

的预测标签，k是图像类别数，n是支持集中每个类别的样本数，q是查询集中每个类别的样本数；loss₂是辅助损失函数，第一部分是查询集与支持集属于同类样本，用来增大改进余弦距离值，第二部分是查询集与支持集属于不同类样本，用来减小改进余弦距离值，α、β、v是可以设置的超参数，用来调整辅助函数所占权重，第二部分大括号下角标的+表示只取正值；loss即为构建的混合损失函数；

Step6中所述用AdamW梯度学习算法优化匹配网络模型，AdamW算法具体步骤如下：

其中，其中L是总损失函数，γ即为设置的超参数，用以控制惩罚力度，也称为权重衰减，‖θ‖²是模型所有权重参数的平方和组成的惩罚项，θ_t是要调整的参数。

Images