CN115690541A - 提高小样本、小目标识别准确率的深度学习训练方法 - Google Patents

Abstract

本发明公开提高小样本、小目标识别准确率的深度学习训练方法，涉及小样本、小目标识别技术领域。本发明针对训练时不同小样本、小目标种类背景相似度过高的问题提出融合双注意力机制的特征加强模块；其次，针对单样本情况下的预测可能产生的过拟合问题提出基于高斯分布的特征生成模块以提高泛化能力；最后，将三种典型小样本训练方法统一成两阶段训练模型以融入提出的方法。将该思路及改进首次应用于传统害虫分类数据集IP102，识别准确率可以在基准方法上取得2.11％到6.87％的提升。

Description

提高小样本、小目标识别准确率的深度学习训练方法

技术领域

本发明涉及小样本、小目标识别技术领域，具体涉及提高小样本、小目标识别准确率的深度学习训练方法。

背景技术

农业问题关乎民生大计，种类繁多的害虫却给粮食生产和作物安全带来了巨大的挑战，因此安全高效的识别农业害虫尤为重要。同时基于深度学习的图像识别技术也取得了飞速的进展，各种改进的卷积神经网络和transformer机制在某些特定场景下的表现已经超越人类，面对经济与效率的取舍，有学者在农业害虫识别领域使用机器视觉方法进行了各种积极的尝试。

复杂农田生态中小样本、小目标识别研究过程中，2016年吴翔使用12层卷积神经网络对128*128输入的彩色图像进行识别，在10类害虫识别上达到了76.7％的识别准确率；2017年Cheng等通过深度残差模块对复杂农田背景下的害虫进行识别，准确率达到99.67％；2018年周爱明提出了适合移动端部署的轻量化模型，在保证一定效率的条件下识别准确率为93.5％；2019年THENMOZHI等使用迁移学习的思路研究农业害虫识别，并对多种超参数进行调节，最终在引用的三类害虫识别上达到95％以上的准确率；2020年NANNI等人在更具挑战的ip102数据集上，将显著性方法与卷积神经网络进行融合，达到了61.93％的识别准确率；2021年HRIDOY等使用不同的卷积神经网络，在早期秋葵害虫图像上进行对比实验，其中MobileNetV2表现效果最佳，取得了98％的识别准确率。虽然已有研究取得了较好的成果，但是其识别准确率严重依赖数据集，对于新出现的未经训练的类别则束手无策

为了进一步农业害虫识别提高模型在小样本、小目标情况下的识别准确率，目前已经具有三种最典型小样本训练方法，即匹配网络、原型网络和图神经网络。三种小样本学习方法在具有不同特征的数据上表现各有优势，但三种典型的小样本训练方法仍存在如下缺陷：

1、三种典型网络小样本训练方法都只关注度量方法合适而忽略了将图像信息映射到特征空间的过程中是否损失了每个害虫类别的关键性特征信息，如果每类害虫缺乏独有的特征标识，那么分类效果势必收到影响。

2、三种典型网络小样本训练方法，即使映射后的特征向量足以保留每张害虫图像的类别信息，在测试阶段每一类害虫仅有一张图片进行分类引导，如果这一张图片特征不明确或者某些非关键性信息过于强烈则会对分类结果有错误的引导，势必会影响病虫害特征的准确性。

3、基于深度学习的图像识别技术在具体应用前必须先经过大量带标签样本的训练，然而在实际场景中目标域样本可能非常稀缺。现有的小样本训练方法，训练时可能存在的小目标和背景混淆以及小样本场景下预测可能产生的过拟合。

发明内容

本发明的目的在于，提供提高小样本、小目标识别准确率的深度学习训练方法，提出一个通用的两阶段训练模型以融合现行主流方法并增强其表现，针对训练时可能存在的小目标和背景混淆问题提出融合双注意力机制的特征加强模块。其次，针对小样本场景下预测可能产生的过拟合问题提出基于高斯分布的特征生成模块以提高泛化能力。最后，将改进思路统一成两阶段训练模型，在三种典型小样本识别方法上取得了2.11％到6.87％不等的提升效果。

为实现上述技术目的，达到上述技术效果，本发明是通过以下技术方案实现：

提高小样本、小目标识别准确率的深度学习训练方法，将传统小样本学习训练方法分成两个阶段训练模型，在训练阶段，引入双注意力机制强化不同小样本、小目标的差异信息特征；在验证阶段，基于高斯分布的特征生成模块，借助基类丰富的小样本、小目标信息生成相关样本，纠正测试样本稀缺带来的偏分布。

进一步地，所述双注意力机制由空间注意力机制和通道注意力机制融合，融入到基于传统小样本学习训练方法训练出可提取小样本、小目标类别关键性信息的特征提取器，对小样本、小目标进行关键性信息的特征进行加强；

进一步地，所述在验证阶段假定小样本、小目标的关键性信息的特征是成高斯分布，基于训练阶段关键性信息的特征提取网络，计算基类小样本、小目标的类别在特征空间上的均值和方差，并基于最近邻算法与新类小样本、小目标的相似类别特征生成带标记样本，再结合生成的标记样本和新类小样本、小目标支持集训练出一个分类器；

进一步地，将通道注意力机制、空间注意力机制进行骨干网络信息融合步骤如下：

步骤1:所述通道注意力机制由平均均池化下采样和最大池化下采样的新类小样本、小目标进行数据特征处理而得，表达式如下：

F∈R^C×H×W为选取的中间层的特征图，C,H,W分别表示特征图的深度、高度和宽度；α,δ分别表示平均池化下采样和最大池化下采样，经过其作用后特征图尺寸为C×1×1,整个过程可表示为：

其中W₀,W₁是共享卷积层，用来改变特征图的通道数；

其完整的通道注意力操作如下：

ω₁＝σ(W₁ReLU(W₀α(F))+W₁ReLU(W₀δ(F)))

ReLU()和σ()分别表示Relu激活函数和sigmoid激活函数；

步骤2：所述空间注意力机制将平均池化下采样和最大池化下采样的结果进行特征融合后叠加一个卷积层，以获取空间权重特征，形式化表示为：

ω₂＝σ(W^7*7(α(F)；δ(F)))

步骤3：将步骤1和步骤二中的通道注意力机和空间注意力机制进行骨干网络信息融合成双注意力机制，融合过程如下：

ω₁,ω₂分别代表提到的通道注意力机制和空间注意力机制，

表示逐元素相乘。

进一步地，所述在验证阶段具体详细步骤如下：

步骤1：计算基类特征信息，其中第i类的均值μ_i,和方差Σ_i为：

其中i代表支持集内样本种类数，j代表对应种类内具体的样本数量。n_i则表示基类i中样本的总数，x_j是基类i中第j个样本的特征向量；

步骤2：生成最相关种类特征，用欧式距离进行密切性度量找出K个类别，通过K个类别的均值和方差来生成最相关类别的特征信息；

是新类中带标签样本在特征空间中的向量表示，N_d是基类中所有样本与的欧式距离的集合，选取距离最近的前t个元素作为补充类集合N_t：

根据补充类集合内的元素可以生成与新类关系密切的均值和方差：

步骤3：基于生成特征样本训练线性分类器，将生成的特征集合称作F_y,F_y＝{(μ'₁,Σ'₁),…,(μ'_k,∑'_k)},其中μ'_i,∑'_i是根据支持集中第i类图像的特征向量生成的校准分布均值和方差；已知类别的均值和特征向量，随机采样生成补充样本集合为G_y：

其中第i类样本对应生成补充样本为(x,y)，将生成的样本与原样本混合作为增强样本，最小化交叉熵损失训练一个线性分类器：

其中

为每一个训练任务的类别数，θ为可训练的参数，通过线性分类器对新类的查询集进行预测并计算准确率。

本小样本训练方法应用于农业害虫识别训练。

本发明的有益效果：

1、本发明在训练阶段，引入空间注意力机制和通道注意力机制以强化不同类别害虫类别差异信息；在验证阶段，使用基类信息加强新类支撑集样本特征以避免过拟合，最终将两种方法进行结合，使得模型识别准确率在基准方法上得到了大幅提升。应用该方法可以在新的害虫种类比如非洲蝗虫刚入侵时，只需专家进行一次标定，后续便可以对其地区容易混淆的害虫种类进行识别，从而进行针对性防治预案。

2、本发明将小样本领域研究思路应用于大型公开农业害虫数据集IP102上进行实验并改进，对比传统图像分类方法在出现新的类别时如果没有大量的训练样本便无法进行识别的问题，提出的方法在面对同样的问题时只需要一个“引导样本”便能很好的进行识别。

3、本发明将传统的典型网络小样本训练方法统一成一个两阶段的训练模式，在第一阶段引入空间注意力机制和通道注意力机制以使网络更好的提取特征，在第二阶段为了防止网络过拟合又基于高斯采样的方法借助基类数据集纠正新类分布，综合三种典型网络小样本训练方法，识别精度能够得到极大的提升。

当然，实施本发明的任一产品并不一定需要同时达到以上所述的所有优点。

附图说明

图1为5way-1shot测试任务示意图；

图2为整体网络架构图；

图3为双注意力机制流程图；

图4为本发明实施例所述流程图。

具体实施方式

为了更清楚地说明本发明实施例的技术方案，下面将结合附图对实施例对本发明进行详细说明。

提高小样本、小目标识别准确率的深度学习训练方法，将传统小样本学习训练方法分成两个阶段，在训练阶段，引入双注意力机制强化不同小样本、小目标的差异信息特征；在验证阶段，基于高斯分布的特征生成模块，借助基类丰富的小样本、小目标信息生成相关样本，纠正测试样本稀缺带来的偏分布。

下面结合具体实施例对本发明进行说明：

实施例1

本实施例提供一种基于深度学习的小样本训练方法，基于的三种传统典型小样本学习训练方法的识别过程。

本实施例中，三种传统典型小样本训练方法对小样本、小目标的农业害虫问题定义时，小样本学习的训练目标是给定一组标记好的图农业害虫新类集S＝{(x₁，y₁)，(x₂，y₂)...(x_i，y_i)}，其中x_i∈R^d×d是农田生态系统中害虫的图像特征，y_i∈C是样本标签，人为将S划分为基类S_b和新类S_n，二者关系

S_b∪S_n＝S，对于基类和新类中的S_I,I＝b|n，又分别存在支撑集(Support set)和查询集(Query set)

目的是通过S_b的引导使得网络具有在S_n中的泛化能力，在每一次任务

中，通过支撑集

的引导能将

划分到正确的害虫类别中，其中

为了衡量处理农业害虫模型的泛化能力，通常会定义一个K_w-way N_s-shot的问题，即：在新类农业害虫下，每次任务会随机抽取k个类别，每个类别只提供N个带标签的样本作为支持集，然后对新出现的未知标签样本进行分类计算准确率。当N_s＝1的时就是单样本学习，即支持集每一个类别只提供一个带标签的样本用于学习。该任务信息如图1所示。

第一种：匹配网络基于度量学习的方法。匹配网络的思想就是在给定农业害虫的支持集样本的情况下，假设有一个新的测试样本

需要分别求出

属于y_i的概率，并将最大类别标签概率作为最终预测结果。模型一般表示为：

其中k为类别数，对于支持集的每一个类别都需要求出概率；a是网络训练的目标，其一般表达式为:

d是查询集与支持集的距离度量，原文采用余弦相似度作为度量，f和g为网络嵌入模型，目的是将查询集和支持集映射到农业害虫不同的特征空间。

第二种：原型网络基于度量学习的方法。原型网络则假定对于每一类农业害虫样本在特征空间都存在一个原型位置prototype，同类别农业害虫样本则分布于这个原型附近。因此在训练时先通过一个embedding函数将数据映射到农业害虫图集的特征空间，然后将向量化均值作为每一类的原型空间。形式化表示为：

c_k为每一类别的原型，f_φ是一个嵌入模型，目的是将图像转化到特征空间，增强计算效率。

在测试时将查询集数据与每个类别原型的距离经softmax处理便可以得到所属类别，即：

d是一个距离度量函数，用于衡量查询集与类别原型之间的距离。

第三种：图神经基于度量学习的方法。图神经网络的方法则通过将标签信息从有标签的农业害虫样本传播到无标签的农业害虫样本上进行图像分类。首先构造图神经网络初始节点：

f_φ(x_i)是农业害虫样本在特征空间中的向量表示，h(l)是标签的One-Hot向量，二者拼接作为图的初始结点。

其次，获得图的临接矩阵：

将结点i和j的绝对值之差叠加一个多层感知器作为图的临界矩阵，MLP即是一个多层感知机，

是可以学习的参数

最后，获得整体图模型并进行消息传播

B为邻接矩阵的集合，

是可以训练的参数，它可以获得当前层结点和其邻接矩阵的顶点并更新为下一层的顶点，ρ(·)是为了提高泛化能力引进的激活函数。通过以上方法经过多次迭代可以将标签信息传递至无标签农业害虫样本。

实施例2

本实施例提供融合不同特征增强模块的两阶段训练步骤，第一阶段引入双注意力机制对特征提取阶段每类农业害虫的关键性特征信息进行数据增强，第二阶段采用基于高斯分布的特征生成模块，借助基类丰富的农业害虫样本信息生成相关样本以纠正测试样本稀缺带来的偏分布，整体网络架构如图2所示。

第一阶段(训练阶段)首先基于传统的小样本学习方法训练出一个良好的可以准确提取不同害虫类别关键性信息的特征提取器，如resnet，并在这一阶段引入空间注意力和通道注意力机制，使得特征提取网络能够识别到不同种类在各种背景下的细微差异，从而重点关注每一个害虫类别独有特征信息。

第二阶段(验证阶段)由于农业害虫新类中的数据只有有限的带标记样本，如果采用传统方法直接分类很可能会产生过拟合的情况。因此假定特征是基于高斯分布的，则每个类的类别信息与其均值和方差直接相关，均值表示了每个类别的原型，方差表示类内差异性，这样便可以借助基类的分布更加准确地估计新类的分布。因此第二阶段会借助第一阶段的特征提取网络，计算出基类类别在特征空间上的均值和方差，并基于最近邻算法的思想利用与新类最相似类别特征生成大量带标记的样本，最后结合生成的样本和新类支持集训练出一个更加优秀的分类器以实现分类。

结合空间注意力和通道注意力的特征提取网络时，注意力机制使得网路学会关注重点区域，比如螽斯和蝗虫的重点差异为触角与身体长度的比例，一般有空间注意力机制和通道注意力机制两种模式，空间注意力机制关注图像维度的差异信息，通道注意力机制关注通道维度的差异信息。

对于农业害虫而言，图像维度体现了不同害虫的大小和角度，位置等信息，通道维度体现了颜色，纹理等信息，二者对于不同的害虫辨识都非常重要，因此本文结合空间注意力和通道注意力机制对每一阶段生成的特征图进行加强处理。无论以ConvNet还是ResNet作为特征提取网络，都在跳跃连接阶段引入双注意力机制以达到准确率和效率的平衡，具体实现细节如图3双注意力机制流程图所示。

双注意力机制融合步骤具体如下：

步骤1：通道注意力机制处理时，将农业害虫图像映射到特征空间的过程中，图像信息会经过多层卷积不断进行信息压缩，每个卷积层的不同通道会关注不同的信息，通道注意力机制解决网络应该重点关注那些通道信息的问题，一个通道注意力机制由以下两部分组成：

F∈R^C×H×W为选取的中间层的特征图，C,H,W分别表示特征图的深度，高度和宽度；α,δ分别表示平均池化下采样和最大池化下采样，经过其作用后特征图尺寸为C×1×1,整个过程可表示为：

其中W₀,W₁是共享卷积层，目的是改变特征图的通道数。

一个完整的通道注意力操作表示如下：

ω₁＝σ(W₁ReLU(W₀α(F))+W₁ReLU(W₀δ(F)))

ReLU()和σ()分别表示Relu激活函数和sigmoid激活函数。

步骤2：空间注意力机制解决网络应该关注哪些重点区域的问题，与通道注意力机制类似，其实现方式是将平均池化下采样和最大池化下采样的结果进行特征融合后叠加一个卷积层，以获取空间权重特征，可形式化表示为：

ω₂＝σ(W^7*7(α(F)；δ(F)))

步骤3：骨干网络信息融合时，对于每一个stage的输出都会经过这样一个双注意力机制，通道注意力机制会把原图转化成一个C×1×1的一维向量，并与特征图进行相乘以学习通道的权重信息；空间注意力机制会将原图转化成一个1×H×W特征图，以学习到特征图的每一个空间信息的权重值。

双注意力机制可表示为以下过程：

ω₁,ω₂分别代表提到的通道注意力机制和空间注意力机制，

表示各元素相乘。一个完整的并行双注意力机制则会将通道注意力机制的输出作为空间注意力机制输入，最终叠加得到注意力结果。

实施例3

本实施例提供基于基于高斯分布的特征模块生成的具体详细步骤，在测试阶段每一类农业害虫只有一张引导图片，已训练出的模型很容易因为样本不足形成的偏分布而导致过拟合，为防止过拟合，需要合理利用基类数据中的大量样本。对于农业害虫而言，虽然新类农业害虫是没有见过的类别，但均属于昆虫种类，图像特征与基类图像具有极大的相似性，因此可以借助训练集中相似样本的均值和方差来校准偏分布以防止过拟合。具体步骤如下：

步骤1：计算基类农业害虫特征信息时，利用第一阶段生成的特征提取网络将原图映射到特征空间，可以有效地减少数据维度，从而进行特征的快速提取。由于基类农业害虫中数据样本充足，可以方便地获取每一个农业害虫类别在特征空间内的统计信息，其中第i类的均值μ_i,和方差Σ_i为：

其中i代表支持集内样本种类数，j代表对应种类内具体的样本数量。n_i则表示基类i中样本的总数，x_j是基类i中第j个样本的特征向量。

步骤2：生成最相关种类特征时，特征迁移与校准的前提是农业害虫样本相似度较高，因而在特征空间内的均值和方差相差不大，而基类农业害虫数据类别丰富，不可能全部用于样本生成，因此需要找出与新类关系最为密切的农业害虫种类信息.本文采用欧式距离进行密切性度量找出关系最为密切的K个类别，通过这K个类别的均值和方差来生成最相关类别的特征信息。

式中

是新类中带标签样本在特征空间中的向量表示，

是基类中所有样本与的欧式距离的集合，选取距离最近的前t个元素作为补充类集合

根据补充类集合内的元素可以生成与新类关系最为密切的均值和方差：

步骤3：根据生成特征采样样本训练线性分类器时,需要对于每一次测试任务都应该基于以上方法计算均值和方差生成样本来校正支持集农业害虫样本分布，将生成的特征集合称作F_y,

F_y＝{(μ′₁，∑′₁)，…，(μ′_k，∑′_k)},其中μ'_i,∑'_i是根据支持集中第i类图像的特征向量生成的校准分布均值和方差。

若已知类别的均值和特征向量，则通过随机采样生成补充样本，设生成的样本集合为G_y,则：

其中第i类样本对应生成补充样本为(x,y)，将生成的农业害虫样本与农业害虫原样本混合作为增强样本，通过最小化交叉熵损失训练一个线性分类器。

其中

是对于每一个训练任务而言的类别数，θ是一个可训练的参数，训练完毕之后用模式训练的线性分类器对新类的农业害虫查询集进行预测计算准确率。

实施例4

本实施例提供基于本发明的小样本训练方法和传统训练方法进行对比实验。本实验的数据基于IP102大型农业害虫数据集，共包含超过75000幅图像，102类从野外真实环境中发现的常见害虫，平均每类有737个样本，但数据集分布不均匀，具有长尾分布效应。

对于传统图像识别任务，采用典型的原数据集划分模式，即训练集：测试集：验证集＝6:2:2；而对于小样本图像识别任务，为了使验证集与训练集不产生类别交叉，编写程序随机选取六十个类别作为训练集，剩余类别里验证集和测试集各占21个类别。

传统方法表现如下：

传统的图像训练方法主要包括手工提取特征和利用深度学习提取特征的方法，前者主要包括如SIFT和HOG等方法，这些方法在低级语义特征如边缘，颜色和纹理上表现较好；而后者在高级语义信息上的表现则更为优异。分别采用SIFT和HOG进行特征提取，并用SVM和KNN作为分类器进行结果评估，实验结果如表1所示。

表1传统图像分类结果

由实验结果可见，深度学习提取特征总体上比传统手工提取特征效果更为优秀，最佳效果是以ResNet为backbone进行特征提取和KNN进行农业害虫分类，但其平均准确率也仅为43.7％，从侧面反映ip102数据集具有一定的识别难度。

对比实验结果：

对于主流且效果较好的三种方法方法分别以5-way1-shot做对比实验，分类器采用逻辑回归，每次测试都在相同的测试集上循环实验10000次，取平均准确率作为最终结果，因为原论文提出多以Conv4作为特征提取网络，但最近研究发现Resnet10更能兼顾速度与精度，为了验证方法有效性，分别以两种特征提取网络结合提出的方法均做了对比实验，实验结果如下表2所示：

表2提出的方法提升效果

由实验结果可见提出的方法效果显著，对于不同的方法识别准确率最高得到了6.87％增强，最差也有2.11％的提升。表现最好的是GNN网络结合提出的特征增强模块，在ip102数据集上得到了46.06％的分类准确率。

对于传统方法是利用全部数据集在102个类别上进行预测，而单样本方法是只抽取一张图片在5个类别上进行预测，其识别准确率在数值虽然没有直接可比性，但对于实际应用而言，显然单个农业害虫样本方法更具有价值，因为对于未知类别而言并不需要在所有农业害虫类别上进行识别，反而只给出个别专家标注样本进行识别更有意义。

在其他数据集上的表现：

目前小样本学习训练方法的主要公开数据集为mini-ImageNet数据集，该数据集是从大型农业害虫图像分类数据集ImageNet中抽取的60000张图像构成的，总共分类100个类别，每个类别有600张尺寸为84*84的自然图像，数据集按照主流方法进行划分，训练集，验证集和测试集分别占64,16,20个类别。选取Transductive和Inductive方法下效果最好的PrototypicalNet和GnnNet进行实验，提升结果如表3所示:

表3 mini-Imagenet实验结果

由实验结果可见，虽然对比其他方法PrototypicalNet和GnnNet表现已经很优秀，但是融合本文提出特征增强模块依然得到了不错的提升效果，同样说明本文方法确实具有一定的普适性效果。

消融实验：

为了验证提出的两个模块：双注意力机制模块和特征生成模块的的作用，采用两个数据集上表现最好的GNN模型作为基础架构，分别在两个数据集上以Resnet10为backbone做了消融实验，实验结果如表4所示：

表4消融实验

由实验结果可见，在两个数据集上只有注意力机制提升效果并不明显，分别只有1.04％和0.55％，加上特征生成模块后提升效果较为明显，但是同时加上注意力机制和特征生成模块效果相当显著，分别达到了5.87％和3.95％的准确率提升，这同时也佐证了提出方法的理论有效性，因为利用原始网络进行预测时注意力机制虽然有效，但是因为网络学习已经比较彻底，在验证时作用有限，而我们的方法第二阶段进行验证时需要非常依赖第一阶段backbone生成的特征向量进行特征分布的度量，注意力机制使得网络能够更加关注每个类别之间不同的特征，配合第二阶段的数据生成弥补测试集上样本不足的情况，这样两种方法互相促进，所以会达到不错的效果。

以上公开的本发明优选实施例只是用于帮助阐述本发明。优选实施例并没有详尽叙述所有的细节，也不限制该发明仅为所述的具体实施方式。显然，根据本说明书的内容，可作很多的修改和变化。本说明书选取并具体描述这些实施例，是为了更好地解释本发明的原理和实际应用，从而使所属技术领域技术人员能很好地理解和利用本发明。本发明仅受权利要求书及其全部范围和等效物的限制。

Claims (5)

1.提高小样本、小目标识别准确率的深度学习训练方法，其特征在于，将传统小样本学习训练方法分两个阶段，在训练阶段，引入双注意力机制强化不同小样本、小目标的差异信息特征；在验证阶段，基于高斯分布的特征生成模块，借助基类生成相关样本。

2.根据权利要求1所述提高小样本、小目标识别准确率的深度学习训练方法，其特征在于，所述双注意力机制由空间注意力机制和通道注意力机制融合，并融入至基于传统小样本学习训练方法训练出关键性信息的特征提取器，对关键性信息的特征加强。

3.根据权利要求1所述提高小样本、小目标识别准确率的深度学习训练方法，其特征在于，所述在验证阶段假定小样本、小目标的关键性信息的特征成高斯分布，基于训练阶段关键性信息的特征提取网络，计算小样本、小目标的基类类别在特征空间上的均值和方差，并基于最近邻算法与小样本、小目标的新类相似类别特征生成带标记样本，再结合生成标记样本和新类小样本、小目标支持集训练分类器。

4.根据权利要求2所述提高小样本、小目标识别准确率的深度学习训练方法，其特征在于，将通道注意力机制、空间注意力机制进行骨干网络信息融合步骤如下：

步骤1:所述通道注意力机制由平均均池化下采样和最大池化下采样的新类小样本、小目标进行数据特征处理而得，表达式如下：

F∈R^C×H×W为选取的中间层的特征图，C,H,W分别表示特征图的深度、高度和宽度；α,δ分别表示平均池化下采样和最大池化下采样，经过其作用后特征图尺寸为C×1×1,整个过程可表示为：

其中W₀,W₁是共享卷积层，用来改变特征图的通道数；

其完整的通道注意力操作如下：

ω₁＝σ(W₁ReLU(W₀α(F))+W₁ReLU(W₀δ(F)))

ReLU()和σ()分别表示Relu激活函数和sigmoid激活函数；

步骤2：所述空间注意力机制将平均池化下采样和最大池化下采样的结果进行特征融合后叠加一个卷积层，以获取空间权重特征，形式化表示为：

ω₂＝σ(W^7*7(α(F)；δ(F)))

步骤3：将步骤1和步骤二中的通道注意力机和空间注意力机制进行骨干网络信息融合成双注意力机制，融合过程如下：

ω₁,ω₂分别代表提到的通道注意力机制和空间注意力机制，

表示逐元素相乘。

5.根据权利要求3所述提高小样本、小目标识别准确率的深度学习训练方法，其特征在于，所述在验证阶段具体详细步骤如下：

步骤1：计算基类特征信息，其中第i类的均值μ_i,和方差Σ_i为：

其中i代表支持集内样本种类数，j代表对应种类内具体的样本数量。n_i则表示基类i中样本的总数，x_j是基类i中第j个样本的特征向量；

步骤2：生成最相关种类特征，用欧式距离进行密切性度量找出K个类别，通过K个类别的均值和方差来生成最相关类别的特征信息；

是新类中带标签样本在特征空间中的向量表示，N_d是基类中所有样本与的欧式距离的集合，选取距离最近的前t个元素作为补充类集合N_t：

根据补充类集合内的元素可以生成与新类关系密切的均值和方差：

步骤3：基于生成特征样本训练线性分类器，将生成的特征集合称作Fy,F_y＝{(μ'₁,Σ'₁),…,(μ'_k,∑'_k)},其中μ'_i,∑'_i是根据支持集中第i类图像的特征向量生成的校准分布均值和方差；已知类别的均值和特征向量，随机采样生成补充样本集合为G_y：

其中第i类样本对应生成补充样本为(x,y)，将生成的样本与原样本混合作为增强样本，最小化交叉熵损失训练一个线性分类器：

其中

为每一个训练任务的类别数，θ为可训练的参数，通过线性分类器对新类的查询集进行预测并计算准确率。

Images