CN113743363A - 一种基于无人机系统小样本的遮挡目标识别方法 - Google Patents

Abstract

本发明公开了一种基于无人机系统小样本的遮挡目标识别方法，属于遮挡目标识别领域，所述方法包括：构建融合自注意力机制的元学习模型：设计元学习网络框架，并将自注意力机制模块加入元学习网络框架；基于多个小样本图像学习任务进行模型训练；将训练好的元学习模型用于实际小样本遮挡目标图像识别任务。本发明提供了一种融合自注意力机制的元学习模型，利用元学习的小样本学习能力以及通过学习目标的部分与部分之间的关系，增加目标的有效特征，解决了无人机系统小样本条件下遮挡目标识别效果较差的问题。

Description

一种基于无人机系统小样本的遮挡目标识别方法

技术领域

本发明属于遮挡目标识别技术领域，尤其涉及一种基于无人机系统小样本 的遮挡目标识别方法。

背景技术

无人机常用于对未知环境中未知目标的识别，任务的特殊性使得无人机在 执行任务时会存在很多目标样本数量较少且存在环境遮挡的情况。遮挡目标识 别一直是目标识别领域的难点问题，而对于样本很少的小样本识别任务，这类 目标更加难以处理。

针对遮挡目标识别问题，传统特征提取方法大多通过整合一系列特征检测 器的方式设计模型，以提高识别准确率，但同时带来计算量大的问题，速度成 为该类算法的主要瓶颈。深度学习方法在大样本条件下可以获得较好目标识别 效果，但难以在小样本条件下学习到较好的模型。元学习等小样本学习方法以 任务作为单位进行学习，利用先验知识加速模型的学习效率，能够在泛化性较 强的初始网路基础上快速适应新的任务，在小样本目标识别领域取得较高的准 确率，但遮挡条件使得目标有效特征更少，使得小样本条件下的遮挡目标识别 效果较差。自注意力机制可以快速提取出样本内部信息，在语义识别等领域都 得到了一定的应用，但是还未用于小样本识别问题。

发明内容(发明)

针对现有技术中的上述不足，本发明提供的一种基于无人机系统小样本的 遮挡目标识别方法，提供了一种融合自注意力机制的元学习模型，利用元学习 的小样本学习能力以及通过学习目标的部分与部分之间的关系，增加目标的有 效特征，解决了无人机系统小样本条件下遮挡目标识别效果较差的问题。

为了达到上述发明目的，本发明采用的技术方案为：

本发明提供一种基于无人机系统小样本的遮挡目标识别方法，包括如下步 骤：

S1、设计元学习网络框架，并将用于自注意力机制模块加入元学习网络框 架，以构建融合自注意力机制的元学习模型；

S2、基于多个小样本图像学习任务对所述元学习模型进行训练；

S3、利用已训练的元学习模型对实际无人机系统小样本进行遮挡目标图像 识别。

本发明的有益效果为：本发明与深度学习方法相比，本方法在相同条件下 只需要很少的样本数量即可达到相当的识别准确率，且本方法与传统的小样本 学习相比，由于融入了自注意力机制模块，能够有效获取目标各个部分之间的 依赖关系，在遮挡目标识别上能够获取更高的准确率。

进一步地，所述步骤1中元学习网络框架为直筒型结构，且由2×2的第一 卷积层、2×2的第二卷积层、2×2的第三卷积层、2×2的第四卷积层以及全连 接层依次连接构成；所述自注意力机制模块的输入端与第一卷积层的输出端连 接，且其输出端与第二卷积层的输出端连接；所述第一卷积层的输出端与第二 卷积层的输入端之间采用残差连接的方式与自注意力机制模块进行融合。

上述进一步方案的有益效果为：采用所述元学习网络框架作为基础框架， 能够保留小样本学习能力，采用残差连接的方式融入自注意力机制模块，能够 捕捉目标更多的有效特征，提高模型对目标的表征能力，且可以适应不同的网 络结构，应用比较灵活方便。

所述自注意力机制模块由1×1的第五卷积层、1×1的第六卷积层、1×1的第 七卷积层以及softmax层构成；

所述第五卷积层、第六卷积层和第七卷积层的通道数均为1，且分别一一对 应高斯函数参数φ(x)、高斯函数参数θ(x)以及图像输入信号x的信息变换结果 g(x)。

上述进一步方案的有益效果为：所述自注意机制模块能够同时关注输入信 号在某个具体位置的特征以及与其他位置的关联关系。

进一步地，所述自注意力机制模块对高斯函数参数φ(x)、高斯函数参数θ(x) 和图像输入信号x的信息变换结果g(x)处理的方法步骤如下：

A1、将所述φ(x)与θ(x)在分别进行1×1卷积后，得到φ(x)卷积结果和θ(x)卷 积结果；

A2、将φ(x)卷积结果和θ(x)卷积结果进行矩阵乘操作，得到第一相似度结 果，且将第一相似度结果输入至Softmax层，归一化得到第一相似度输出结果；

A3、将第一相似度输出结果与g(x)的1×1卷积结果进行矩阵乘操作，得到 图像输出信号y，并将图像输出信号y输入至第二卷积层。

上述进一步方案的有益效果为：通过卷积计算获取两个位置之间的关联关 系，在归一化后与当前关注位置的特征通过矩阵乘操作进行加权，并使得输出 信号与输入信号具有相同的维度。

进一步地，所述自注意力机制模块加入元学习网络框架用于嵌入图像输入 信号x中的所有图块，根据任一图块i逐一遍历图像中每一其他图块j，并计算 图块i与图块j之间的关系和信号在图块j处的表达，且将图块i与图块j之间关 系和信号在图块j处的表达的乘积进行相加以及归一化处理。

上述进一步方案的有益效果为：所述自注意力机制模块能够学习图像任意 两个位置之间的关联关系，将这种关系附加在当前关注位置，获取该位置的非 局部响应。

进一步地，所述自注意力机制模块计算图块i与图块j之间的关系采用嵌入 式高斯函数f(·)，且f(·)的表达式如下：

其中，e表示常数e，θ(x_i)表示第一自注意力机制模块参数W_θ与图像输入信 号x中图块i的乘积，T表示高斯函数的常数参数，φ(x_i)表示第二自注意力机制 模块参数W_φ与图像输入信号x中图块i的乘积，x_i表示图像输入信号x中图块i， x_j表示图像输入信号x中图块j。

上述进一步方案的有益效果为：所述嵌入式高斯函数能够在嵌入式空间度 量两个不同位置的相似性，从而获取图像中存在的大范围依赖关系，对于目标 样本图像则隐含着目标各个部分之间的关系。

进一步地，所述图像输入信号x中图块j处的信息变换函数g(x_j)的表达式如 下：

g(x_j)＝W_gx_j

其中，W_g表示第三自注意力机制模块参数，x_j表示图像输入信号x中图块j。

上述进一步方案的有益效果为：所述信息变换函数能够获取图像输入信号 中具体某个位置处的特征表达，特征计算的形式是多样的，这里采用线性函数， 可以通过空间上的1×1卷积实现。

进一步地，所述自注意力机制模块计算表达式如下：

其中，x表示图像输入信号，y表示图像输出信号且与x尺度相同，i和j分 别表示图像中图块的位置，x_i表示图像输入信号x中图块i，x_j表示图像输入信 号x中图块j，

表示对于任意的j都可用于归一化处理，y_i表示图像输入信号x 中图块i处通过自注意力模块处理后的响应信号，函数g(x_j)表示图像输入信号x 中图块j处的信息变换，函数C(x)表示归一化因子，f(·)表示嵌入式高斯函数。

上述进一步方案的有益效果为：所述自注意力机制模块将任意位置与其它 所有位置之间的相关性作为权值，对该位置局部信号特征进行加权处理，从而 反映出该位置的非局部响应。

进一步地，所述第一卷积层的输出端与第二卷积层的输入端之间采用残差 连接方式与自注意力机制模块进行融合的结果Z_i的表达式如下：

Z_i＝W_Zy_i+x_i

其中，W_Z表示第四自注意力机制模块参数，y_i表示图像输入信号x中图块i处 通过自注意力模块处理后的响应信号，x_i表示图像输入信号x中图块i。

上述进一步方案的有益效果为：所述残差连接将自注意力机制模块转化为 一个组件，便于嵌入到其它网络结构中，为该网络中后续层引入更多语义信息。

进一步地，所述步骤S2包括如下步骤：

S21、获取公开标准图像数据集；

S22、根据公开标准图像数据集采样出若干个小样本图像学习任务；

S23、将元学习模型的第一自注意力机制模块参数W_θ、第二自注意力机制模 块参数W_φ、第三自注意力机制模块参数W_g和第四自注意力机制模块参数W_Z作为 初始化参数逐一对各小样本图像学习任务进行训练，且经过设定次数迭代后利 用询问集得到当前小样本图像学习任务在元学习模型参数下的误差；

S24、根据所述误差更新元学习模型的各自注意力机制模块参数，并以更新 的自注意力机制模块参数作为下一轮迭代过程中元学习模型的初值，完成元学 习模型的训练。

上述进一步方案的有益效果为：按照元学习方法进行元学习模型的训练， 可以基于少量样本即可获取较好的参数，用于小样本情况下的遮挡目标分类任 务。

附图说明

图1为本发明实施例中基于无人机系统小样本遮挡目标识别方法的步骤流 程图。

图2为本发明实施例中融合自注意力机制的元学习模型结构图。

图3为本发明实施例中自注意力机制模块的网络结构图。

图4为本发明实施例中本方案采用miniImagenet数据集在不同遮挡程度下 采用3-way 5-shot随迭代次数增加的识别正确率曲线图。

图5为本发明实施例中采用的非实物无人机实拍数据验证集。

图6为本发明实施例中本方案在不同样本数量下采用3-way 5-shot随迭代次 数增加的识别准确率曲线图。

具体实施方式

下面对本发明的具体实施方式进行描述，以便于本技术领域的技术人员理 解本发明，但应该清楚，本发明不限于具体实施方式的范围，对本技术领域的 普通技术人员来讲，只要各种变化在所附的权利要求限定和确定的本发明的精 神和范围内，这些变化是显而易见的，一切利用本发明构思的发明创造均在保 护之列。

如图1所示，在本发明的一个实施例中，本发明提供一种基于无人机系统 小样本的遮挡目标识别方法，包括如下步骤：

S1、设计元学习网络框架，并将用于自注意力机制模块加入元学习网络框 架，以构建融合自注意力机制的元学习模型；

S2、基于多个小样本图像学习任务对所述元学习模型进行训练；

S3、利用已训练的元学习模型对实际无人机系统小样本进行遮挡目标图像 识别。

如图2所示，所述步骤1中元学习网络框架为直筒型结构，且由2×2的第 一卷积层、2×2的第二卷积层、2×2的第三卷积层、2×2的第四卷积层以及全 连接层依次连接构成；所述自注意力机制模块的输入端与第一卷积层的输出端 连接，且其输出端与第二卷积层的输出端连接；所述第一卷积层的输出端与第 二卷积层的输入端之间采用残差连接的方式与自注意力机制模块进行融合。

如图3所示，所述自注意力机制模块由1×1的第五卷积层、1×1的第六卷积 层、1×1的第七卷积层以及softmax层构成；

所述第五卷积层、第六卷积层和第七卷积层的通道数均为1，且分别一一对 应高斯函数参数φ(x)、高斯函数参数θ(x)以及图像输入信号x的信息变换结果 g(x)。

所述自注意力机制模块对高斯函数参数φ(x)、高斯函数参数θ(x)和图像输 入信号x的信息变换结果g(x)处理的方法步骤如下：

A1、将所述φ(x)与θ(x)在分别进行1×1卷积后，得到φ(x)卷积结果和θ(x)卷 积结果；

A2、将φ(x)卷积结果和θ(x)卷积结果进行矩阵乘操作，得到第一相似度结 果，且将第一相似度结果输入至Softmax层，归一化得到第一相似度输出结果；

A3、将第一相似度输出结果与g(x)的1×1卷积结果进行矩阵乘操作，得到 图像输出信号y，并将图像输出信号y输入至第二卷积层。

所述自注意力机制模块加入元学习网络框架用于嵌入图像输入信号x中的 所有图块，根据任一图块i逐一遍历图像中每一其他图块j，并计算图块i与图 块j之间的关系和信号在图块j处的表达，且将图块i与图块j之间关系和信号 在图块j处的表达的乘积进行相加以及归一化处理。

所述自注意力机制模块计算图块i与图块j之间的关系采用嵌入式高斯函数 f(·)，且f(·)的表达式如下：

其中，e表示常数e，θ(x_i)表示第一自注意力机制模块参数W_θ与图像输入信 号x中图块i的乘积，T表示高斯函数的常数参数，φ(x_i)表示第二自注意力机制 模块参数W_φ与图像输入信号x中图块i的乘积，x_i表示图像输入信号x中图块i， x_j表示图像输入信号x中图块j。

不失一般性，函数f(·)也可以选择高斯函数、点乘函数、串联函数等。

所述图像输入信号x中图块j处的信息变换函数g(x_j)的表达式如下：

g(x_j)＝W_gx_j

其中，W_g表示第三自注意力机制模块参数，x_j表示图像输入信号x中图块j。

进一步地，所述自注意力机制模块计算表达式如下：

其中，x表示图像输入信号，y表示图像输出信号且与x尺度相同，i和j分 别表示图像中图块的位置，x_i表示图像输入信号x中图块i，x_j表示图像输入信 号x中图块j，

表示对于任意的j都可用于归一化处理，y_i表示图像输入信号x 中图块i处通过自注意力模块处理后的响应信号，函数g(x_j)表示图像输入信号x 中图块j处的信息变换，函数C(x)表示归一化因子，f(·)表示嵌入式高斯函数。

所述自注意力模块计算表达式可以等价为一个softmax函数，所述softmax 函数表达式如下：

y_i＝softmax(x^TW_θ ^TW_φx)g(x)

其中，x^T表示图像输入信号的转置，W_θ ^T表示第一自注意力机制模块参数的 转置，W_φ表示第二自注意力机制模块参数，x表示图像输入信号，g(x)表示图像 输入信号x的信息转换函数。

所述第一卷积层的输出端与第二卷积层的输入端之间采用残差连接方式与 自注意力机制模块进行融合的结果Z_i的表达式如下：

Z_i＝W_Zy_i+x_i

其中，W_Z表示第四自注意力机制模块参数，y_i表示图像输入信号x中图块i处 通过自注意力模块处理后的响应信号，x_i表示图像输入信号x中图块i。

所述步骤S2包括如下步骤：

S21、获取公开标准图像数据集；

S22、根据公开标准图像数据集采样出若干个小样本图像学习任务；

S23、将元学习模型的第一自注意力机制模块参数W_θ、第二自注意力机制模 块参数W_φ、第三自注意力机制模块参数W_g和第四自注意力机制模块参数W_Z作为 初始化参数逐一对各小样本图像学习任务进行训练，且经过设定次数迭代后利 用询问集得到当前小样本图像学习任务在元学习模型参数下的误差；

S24、根据所述误差更新元学习模型的各自注意力机制模块参数，并以更新 的自注意力机制模块参数作为下一轮迭代过程中元学习模型的初值，完成元学 习模型的训练。

本发明与深度学习方法相比，本方法在相同条件下只需要很少的样本数量 即可达到相当的识别准确率，且本方法与传统的小样本学习相比，由于融入了 自注意力机制模块，能够有效获取目标各个部分之间的依赖关系，在遮挡目标 识别上能够获取更高的准确率。

在本发明的一个实用实例中，本方案与传统神经网络ResNet18网络进行对 比测试，选择了3类任务，每一类包含的支撑集样本为5个，即为3-way 5shot 任务。采用公开数据集miniImagenet进行模型训练，并对该数据集进行人为添 加随机遮挡，实现模拟遮挡目标的识别过程。

如图4所示，采用miniImagenet数据集通过无遮挡、遮挡5％和遮挡10％三 种数据集进行对比测试，其中，随迭代次数的增加，正确率随遮挡范围增加而 逐渐降低，3-way5shot任务的测试过程中识别正确率变化曲线图中，本方案所 提供的元学习模型在每一类只有5个支撑样本集的情况下，经过3次迭代，即 能够实现高识别效果，且采用miniImagenet数据集识别的正确率比较如表1所 示：

表1

	无遮挡	遮挡5％	遮挡10％
				元学习模型：3-way 5-shot	75.05％	71.19％	68.97％
ResNet18：3-way 5-shot	43.33％	39.33％	35.33％
				ResNet18：3-way 50-shot	52.33％	51.67％	52.67％

根据表中信息得到，本方案提供的元学习模型在小样本条件下有高识别正 确率。ResNet18在3-way 5-shot条件下表现较差，当样本数量达到50时(3-way 50-shot)正确率仅达到50％，这是因为传统的深度学习模型依赖大量样本的训 练，在样本比较少时识别效果会大幅度降低。

如图5所示，在本发明的另一个实用实例中，为更好地验证本方案提供的 元学习模型在无人机实际任务中的表现效果，采用无人机实拍数据用作验证集， 其中，拍摄数据为被遮挡的非实物模型。

如图6所示，在3-way 5-shot条件下，模型具有高识别准确率。根据无人机 实拍数据用作验证集时，本方案提供的元学习模型与ResNet18在遮挡目标为 3-way 5-shot任务中识别准确率的识别准确率如表2所示：

表2

根据表中信息得到，本方案提供元学习模型在小样本条件下有识别效率高， 相比深度学习方法在小样本条件下对目标识别具有优势，且仅需要其1/10的样 本数量即可达到与其相当的识别效果。

Claims (10)

1.一种基于无人机系统小样本的遮挡目标识别方法，其特征在于，包括如下步骤：

S1、设计元学习网络框架，并将用于自注意力机制模块加入元学习网络框架，以构建融合自注意力机制的元学习模型；

S2、基于多个小样本图像学习任务对所述元学习模型进行训练；

S3、利用已训练的元学习模型对实际无人机系统小样本进行遮挡目标图像识别。

2.根据权利要求1所述的基于无人机系统小样本的遮挡目标识别方法，其特征在于，所述步骤1中元学习网络框架为直筒型结构，且由2×2的第一卷积层、2×2的第二卷积层、2×2的第三卷积层、2×2的第四卷积层以及全连接层依次连接构成；所述自注意力机制模块的输入端与第一卷积层的输出端连接，且其输出端与第二卷积层的输出端连接；所述第一卷积层的输出端与第二卷积层的输入端之间采用残差连接的方式与自注意力机制模块进行融合。

3.根据权利要求2所述的基于无人机系统小样本的遮挡目标识别方法，其特征在于，所述自注意力机制模块由1×1的第五卷积层、1×1的第六卷积层和1×1的第七卷积层以及softmax层构成；

所述第五卷积层、第六卷积层和第七卷积层的通道数均为1，且分别一一对应第一高斯函数参数φ(x)、第二高斯函数参数θ(x)、图像输入信号x的信息变换结果g(x)。

4.根据权利要求3所述的基于无人机系统小样本的遮挡目标识别方法，其特征在于，所述自注意力机制模块对第一高斯函数参数φ(x)、第二高斯函数参数θ(x)、图像输入信号x的信息变换结果g(x)处理的方法步骤如下：

A1、将所述φ(x)与θ(x)在分别进行1×1卷积后，得到φ(x)卷积结果和θ(x)卷积结果；

A2、将φ(x)卷积结果和θ(x)卷积结果进行矩阵乘操作，得到第一相似度结果，且将第一相似度结果输入至Softmax层，归一化得到第一相似度输出结果；

A3、将第一相似度输出结果与g(x)的1×1卷积结果进行矩阵乘操作，得到图像输出信号y，并将图像输出信号y输入至第二卷积层。

5.根据权利要求1所述的基于无人机系统小样本的遮挡目标识别方法，其特征在于，所述自注意力机制模块加入元学习网络框架用于嵌入图像输入信号x中的所有图块，根据任一图块i逐一遍历图像中每一其他图块j，并计算图块i与图块j之间的关系和信号在图块j处的表达，且将图块i与图块j之间关系和信号在图块j处的表达的乘积进行相加以及归一化处理。

6.根据权利要求5所述的基于无人机系统小样本的遮挡目标识别方法，其特征在于，所述自注意力机制模块计算图块i与图块j之间的关系采用嵌入式高斯函数f(·)，且f(·)的表达式如下：

其中，e表示常数e，θ(x_i)表示第一自注意力机制模块参数W_θ与图像输入信号x中图块i的乘积，T表示高斯函数的常数参数，φ(x_i)表示第二自注意力机制模块参数W_φ与图像输入信号x中图块i的乘积，x_i表示图像输入信号x中图块i，x_j表示图像输入信号x中图块j。

7.根据权利要求6所述的基于无人机系统小样本的遮挡目标识别方法，其特征在于，所述图像输入信号x中图块j处的信息变换函数g(x_j)的表达式如下：

g(x_j)＝W_gx_j

其中，W_g表示第三自注意力机制模块参数，x_j表示图像输入信号x中图块j。

8.根据权利要求7所述的基于无人机系统小样本的遮挡目标识别方法，其特征在于，所述自注意力机制模块计算表达式如下：

其中，x表示图像输入信号，y表示图像输出信号且与x尺度相同，i和j分别表示图像中图块的位置，x_i表示图像输入信号x中图块i，x_j表示图像输入信号x中图块j，

表示对于任意的j都可用于归一化处理，y_i表示图像输入信号x中图块i处通过自注意力模块处理后的响应信号，函数g(x_j)表示图像输入信号x中图块j处的信息变换，函数C(x)表示归一化因子，f(·)表示嵌入式高斯函数。

9.根据权利要求2所述的基于无人机系统小样本的遮挡目标识别方法，其特征在于，所述第一卷积层的输出端与第二卷积层的输入端之间采用残差连接方式与自注意力机制模块进行融合的结果Z_i的表达式如下：

Z_i＝W_Zy_i+x_i

其中，W_Z表示第四自注意力机制模块参数，y_i表示图像输入信号x中图块i处通过自注意力模块处理后的响应信号，x_i表示图像输入信号x中图块i。

10.根据权利要求1所述的基于无人机系统小样本的遮挡目标识别方法，其特征在于，所述步骤S2包括如下步骤：

S21、获取公开标准图像数据集；

S22、根据公开标准图像数据集采样出若干个小样本图像学习任务；

S23、将元学习模型的第一自注意力机制模块参数W_θ、第二自注意力机制模块参数W_φ、第三自注意力机制模块参数W_g和第四自注意力机制模块参数W_Z作为初始化参数逐一对各小样本图像学习任务进行训练，且经过设定次数迭代后利用询问集得到当前小样本图像学习任务在元学习模型参数下的误差；

S24、根据所述误差更新元学习模型的各自注意力机制模块参数，并以更新的自注意力机制模块参数作为下一轮迭代过程中元学习模型的初值，完成元学习模型的训练。

Images