CN110569886A - 一种双向通道注意力元学习的图像分类方法 - Google Patents

Abstract

本发明的一种双向通道注意力元学习的图像分类方法，通过注意力模型机制学习元学习中支持集与查询集之间的关系，使支持集与查询集相互关注，其优势主要体现在：本发明假设在支持集图像样本视觉特征映射到类别特征时，考虑到查询集样本对支持集样本特征显著区域的关注，同时也考虑到支持集对查询集显著区域的关注，挖掘支持集与查询集之间关系，将会提高网络对于图像特征显著、细节区域的关注，加快收敛速度，并且进一步提高对基于元学习的少样本图像分类方法的性能。

Description

一种双向通道注意力元学习的图像分类方法

技术领域

本发明涉及一种图像分类方法。特别是涉及一种基于卷积神经网络的双向通道注意力元学习的图像分类方法。

背景技术

深度学习技术是在大量数据和大规模训练的基础上，模拟或实现人类的学习行为，以获取新的知识或技能。在现实中，随着更多应用场景的涌现，我们也将必然面临更多数据不足的问题，然而在标注数据比较少的情况下，神经网络通常容易过拟合，使深度学习的应用和效果都受到了限制。与之相反，人类具有从少量数据中学习的能力。

因此如何能够让机器像人类一样能够利用学习经验从小样本中进行有效学习，成为了一个重要的研究方向。由该情境提出的少样本学习(Few-shot learning)，少样本学习目标是用已知类别训练一个分类模型，使它能够在只有少量数据的未知类别上具有很好的泛化性能。元学习(Meta Learning)也称为学会学习，其思想是利用已有的先验知识能够快速适应新的学习任务。元学习思想的提出为少样本学习提供了新的思路，基于元学习的少样本学习方法引起了广泛关注。

在面对图像分类的元学习中，将图像类别分为元训练集(Meta Train Set)和元测试集(Meta Test Set)，其类别互不重合。现有元学习图像分类的方法大致可分为两种：基于度量的图像分类方法和基于梯度的图像分类方法。

基于度量的图像分类方法旨在最小化图像的类内距离，同时最大化图像类间距离，经典算法如匹配网络(Matching Network)，关系网络(Relation Network)和原型网络(Prototypical Network)。这类图像分类方法通常采用Episodic的训练策略，即将图像的数据集训练集分为支持集(Support Set)和查询集(Query Set)，对每个类别抽取少量图像样本，形成一个子任务(episodes)，用来模拟训练和测试的过程，再使用子任务来训练模型。

基于梯度的图像分类方法旨在训练一个模型仅通过微调可以更好的泛化到新的图像分类任务上，经典算法如模型无关的元学习图像分类方法(MAML)。

元学习通过对已有任务的学习，来提升对未见的新任务的分类准确率。通过对支持集和查询集的图像视觉特征进行匹配，完成分类。元学习在此框架下，学习一种视觉特征与视觉特征的匹配关系，以实现新任务的自动分类。

注意力模型最近广泛应用到各种深度学习任务当中，是对神经网络结构进行改进的机制。该模型借鉴了人类视觉的注意力机制，提高网络对于图像特征显著、细节区域的关注，从而会进一步提高少样本图像分类方法的性能。

将数据集分为元训练集(Meta Train Set)和元测试集(Meta Test Set)，其类别互不重合。采用Episodic的训练策略，即将训练集分为支持集(Support Set)和查询集(Query Set)，对每个类别抽取少量样本，形成一个子任务(episodes)，用来模拟训练和测试的过程，再使用子任务来训练模型。在训练阶段从元训练集的支持集中随机选出C个不同的类别，每个类别有K个带标签的样本，组成C-way,K-shot任务的支持集及查询集x_i∈R^h×w×c是支持集或查询集第i个视觉特征，y_i是支持集或查询集相应的第i个标签。

现存的基于度量的元学习方法主要包括以下步骤：

1)在训练阶段，通过卷积神经网络模型实现将支持集和查询集视觉特征映射到同一特征空间。

2)将得到的支持集样本的特征向量，通过相加或拼接实现由样本特征映射到类别特征。

利用支持集类别特征向量与查询集样本特征向量间的相似度关系，确定查询集样本所属类别。可使用方法有最近邻方法，卷积神经网络等。

基于元学习的少样本训练主要存在以下问题：

在利用将支持集的样本特征向量转化为类别的特征向量的映射关系时，简单的将同一类别的样本相加或拼接很可能造成一些具有判别性的信息丢失，忽略了样本间差异，使每个样本对结果的贡献度一样。同时忽略了查询集与支持集关系，对图像特征显著、细节区域关注不够。

发明内容

本发明所要解决的技术问题是，提供一种支持集与查询集双向注意的有较好分类性能的通道注意力元学习的图像分类方法

本发明所采用的技术方案是：一种双向通道注意力元学习的图像分类方法，其特征在于，包括如下步骤：

1)将图像数据分为元训练集和元测试集；将元训练集和元测试集分别分为支持集和查询集，对支持集中的每个类别抽取设定量样本，形成一少样本任务；

2)从元训练集的支持集随机取得C个图像类别，每个图像类别包含K个图像视觉特征记为：x_S＝{x₁,x₂,x₃,...,x_N}，其中N＝K×C，为支持集图像个数；从元训练集的查询集取得图像视觉特征x_Q；

3)依次将支持集与查询集图像的视觉特征送入特征提取网络f_θ，将支持集与查询集嵌入同一特征空间，按照特征提取网络f_θ得到支持集图像的低层特征和查询集图像的低层特征

4)依次将元训练集的查询集和支持集的低层视觉特征输入到注意力权重图生成模块A中，分别得到支持集类别级的通道注意力权重T_S和查询集通道注意力权重T_Q；

5)将支持集类别级的通道注意力权重T_S和查询集通道注意力权重T_Q，以及支持集和查询集图像低层特征进行融合，得到图像高层特征再将支持集和查询集图像低层特征与图像高层特征进行融合，得到图像融合特征

6)依次将查询集和支持集的图像融合特征输入k近邻分类器S，分别得到支持集和查询集类别级的融合特征相似度；

7)在训练阶段，不断地从元训练集中获取不同的少样本任务，采用交叉熵损失和函数通过反向传播，使用Adam优化器训练特征提取网络f_θ和注意力权重图生成网络A的参数，直至交叉熵损失和函数值趋于稳定；

8)在测试阶段，依次将元测试集的查询集和支持集的图像视觉特征输入到训练好的特征提取网络f_θ和注意力权重图生成网络A中，计算支持集和查询集类别级的融合特征相似度，将最大相似度所对应的类别，作为查询集图像的类别。

本发明的一种双向通道注意力元学习的图像分类方法，通过注意力模型机制学习元学习中支持集与查询集之间的关系，使支持集与查询集相互关注，其优势主要体现在：

本发明假设在支持集图像样本视觉特征映射到类别特征时，考虑到查询集样本对支持集样本特征显著区域的关注，同时也考虑到支持集对查询集显著区域的关注，挖掘支持集与查询集之间关系，将会提高网络对于图像特征显著、细节区域的关注，加快收敛速度，并且进一步提高对基于元学习的少样本图像分类方法的性能。

附图说明

图1是本发明一种双向通道注意力元学习的图像分类方法的流程图。

具体实施方式

下面结合实施例和附图对本发明的一种双向通道注意力元学习的图像分类方法做出详细说明。

如图1所示，本发明的一种双向通道注意力元学习的图像分类方法，包括如下步骤：

1)将图像数据分为元训练集(Meta Train Set)和元测试集(Meta Test Set)；将元训练集和元测试集分别分为支持集(Support Set)和查询集(Query Set)，对支持集中的每个类别抽取设定量样本，形成一少样本任务(episodes)；

2)从元训练集的支持集随机取得C个图像类别，每个图像类别包含K个图像视觉特征记为：x_S＝{x₁,x₂,x₃,...,x_N}，其中N＝K×C，为支持集图像个数；从元训练集的查询集取得图像视觉特征x_Q；

3)依次将支持集与查询集图像的视觉特征送入特征提取网络f_θ，将支持集与查询集嵌入同一特征空间，按照特征提取网络f_θ得到支持集和查询集图像低层特征

所述的按照特征提取网络f_θ得到支持集和查询集图像低层特征是采用如下公式：

其中，表示支持集图像的低层特征；x_i表示支持集的图像的视觉特征；表示查询集图像的低层特征；x_Q表示查询集的图像的视觉特征。

4)依次将元训练集的查询集和支持集的低层视觉特征输入到注意力权重图生成模块A中，分别得到支持集类别级的通道注意力权重T_S和查询集通道注意力权重T_Q；所述的注意力权重图生成模块A包括：挤压模型和激励模型，其中

挤压模型将支持集图像的低层特征和查询集图像的低层特征每个通道内特征值相加再求平均，即全局平均池化：

其中，n为支持集与查询集低层特征的特征值数量；u_S为支持集全局平均池化特征，u_Q为查询集全局平均池化特征；

激励模型使用线性变换函数W₁、W₂和激活函数，得到每个通道的激励权重：

其中，W₁，W₂为线性变换函数；σ为sigmoid函数；δ为ReLU函数；为支持集通道注意力权重；为查询集通道注意力权重。

本发明是采用如下公式得到支持集的通道注意力权重T_S＝{T₁,T₂,...,T_C}和查询集通道注意力权重T_Q：

其中，T_i′表示支持集图像的通道注意力权重；表示输入支持集图像的低层特征的第i个图像的低层特征得到的通道注意力权重；K表示一个图像类别中有K个图像。

5)将支持集类别级的通道注意力权重T_S和查询集通道注意力权重T_Q，以及支持集和查询集图像低层特征进行融合，得到图像高层特征再将支持集和查询集图像低层特征与图像高层特征进行融合，得到图像融合特征其中，

本发明是采用如下公式得到图像高层特征

其中，表示支持集第i个图像的图像高层特征；G表示融合；表示支持集第i个图像的低层特征；T_Q表示查询集通道注意力权重；T_j表示支持集中第j个类别的通道注意力权重；表示查询集图像关于支持集中第j个类别的图像高层特征。

本发明是采用如下公式得到图像的融合特征

其中表示支持集第i类第j个图像的高低层特征；λ表示可学习的参数；表示查询集图像的低层特征；表示查询集图像关于支持集中第i个类别的图像高层特征。

6)依次将查询集和支持集的图像融合特征输入k近邻分类器S，分别得到支持集和查询集类别级的融合特征相似度；是采用如下公式得到支持集和查询集类别级的融合特征相似度：

其中，d_i表示查询集与支持集第i个类的融合特征相似度；分别表示支持集和查询集类别级的融合特征；m＝hw，其中，h为图像的高，w为图像的宽；k为k近邻分类器参数。

7)在训练阶段，不断地从元训练集中获取不同的少样本任务，采用交叉熵损失和函数通过反向传播，使用Adam优化器训练特征提取网络f_θ和注意力权重图生成网络A的参数，直至交叉熵损失和函数值趋于稳定；

8)在测试阶段，依次将元测试集的查询集和支持集的图像视觉特征输入到训练好的特征提取网络f_θ和注意力权重图生成网络A中，采用步骤6)所述的公式(14)和公式(15)计算支持集和查询集类别级的融合特征相似度，将最大相似度所对应的类别，作为查询集图像的类别。

Claims (7)

1.一种双向通道注意力元学习的图像分类方法，其特征在于，包括如下步骤：

1)将图像数据分为元训练集和元测试集；将元训练集和元测试集分别分为支持集和查询集，对支持集中的每个类别抽取设定量样本，形成一少样本任务；

2)从元训练集的支持集随机取得C个图像类别，每个图像类别包含K个图像视觉特征记为：x_S＝{x₁,x₂,x₃,...,x_N}，其中N＝K×C，为支持集图像个数；从元训练集的查询集取得图像视觉特征x_Q；

3)依次将支持集与查询集图像的视觉特征送入特征提取网络f_θ，将支持集与查询集嵌入同一特征空间，按照特征提取网络f_θ得到支持集图像的低层特征和查询集图像的低层特征

4)依次将元训练集的查询集和支持集的低层视觉特征输入到注意力权重图生成模块A中，分别得到支持集类别级的通道注意力权重T_S和查询集通道注意力权重T_Q；

5)将支持集类别级的通道注意力权重T_S和查询集通道注意力权重T_Q，以及支持集和查询集图像低层特征进行融合，得到图像高层特征再将支持集和查询集图像低层特征与图像高层特征进行融合，得到图像融合特征

6)依次将查询集和支持集的图像融合特征输入k近邻分类器S，分别得到支持集和查询集类别级的融合特征相似度；

7)在训练阶段，不断地从元训练集中获取不同的少样本任务，采用交叉熵损失和函数通过反向传播，使用Adam优化器训练特征提取网络f_θ和注意力权重图生成网络A的参数，直至交叉熵损失和函数值趋于稳定；

8)在测试阶段，依次将元测试集的查询集和支持集的图像视觉特征输入到训练好的特征提取网络f_θ和注意力权重图生成网络A中，计算支持集和查询集类别级的融合特征相似度，将最大相似度所对应的类别，作为查询集图像的类别。

2.根据权利要求1所述的一种双向通道注意力元学习的图像分类方法，其特征在于，步骤3)所述的按照特征提取网络f_θ得到支持集和查询集图像低层特征是采用如下公式：

其中，表示支持集图像的低层特征；x_i表示支持集的图像的视觉特征；表示查询集图像的低层特征；x_Q表示查询集的图像的视觉特征。

3.根据权利要求1所述的一种双向通道注意力元学习的图像分类方法，其特征在于，步骤4)所述的注意力权重图生成模块A包括：挤压模型和激励模型，其中

挤压模型将支持集图像的低层特征和查询集图像的低层特征每个通道内特征值相加再求平均，即全局平均池化：

其中，n为支持集与查询集低层特征的特征值数量；u_S为支持集全局平均池化特征，u_Q为查询集全局平均池化特征；

激励模型使用线性变换函数W₁、W₂和激活函数，得到每个通道的激励权重：

其中，W₁，W₂为线性变换函数；σ为sigmoid函数；δ为ReLU函数；为支持集通道注意力权重；为查询集通道注意力权重。

4.根据权利要求1所述的一种双向通道注意力元学习的图像分类方法，其特征在于，步骤4)是采用如下公式得到支持集的通道注意力权重T_S＝{T₁,T₂,...,T_C}和查询集通道注意力权重T_Q：

其中，T_i′表示支持集图像的通道注意力权重；表示输入支持集图像的低层特征的第i个图像的低层特征得到的通道注意力权重；K表示一个图像类别中有K个图像。

5.根据权利要求1所述的一种双向通道注意力元学习的图像分类方法，其特征在于，步骤5)是采用如下公式得到图像高层特征

其中，表示支持集第i个图像的图像高层特征；G表示融合；表示支持集第i个图像的低层特征；T_Q表示查询集通道注意力权重；T_j表示支持集中第j个类别的通道注意力权重；表示查询集图像关于支持集中第j个类别的图像高层特征。

6.根据权利要求1所述的一种双向通道注意力元学习的图像分类方法，其特征在于，步骤5)是采用如下公式得到图像的融合特征

其中表示支持集第i类第j个图像的高低层特征；λ表示可学习的参数；表示查询集图像的低层特征；表示查询集图像关于支持集中第i个类别的图像高层特征。

7.根据权利要求1所述的一种双向通道注意力元学习的图像分类方法，其特征在于，步骤6)和步骤8)是采用如下公式得到支持集和查询集类别级的融合特征相似度：

其中，d_i表示查询集与支持集第i个类的融合特征相似度；分别表示支持集和查询集类别级的融合特征；m＝hw，其中，h为融合特征特征图的高，w为融合特征特征图的宽；k为k近邻分类器参数。