CN114387524A - 基于多层级二阶表征的小样本学习的图像识别方法和系统 - Google Patents

Abstract

本发明提出基于多层级二阶表征的小样本学习的图像识别方法和系统。所述方法利用所述训练阶段的支撑图像集和所述训练阶段的查询图像集来训练图像识别分类器，经训练的所述图像识别分类器用于对所述测试阶段的查询图像集中的图像进行识别分类，以确定其在所述测试阶段的支撑图像集中所属的类别；所述图像识别分类器包含表征提取模块和关系度量模块，所述表征提取模块包含串联的M个网络卷积块，以及分别与所述M个网络卷积块对应相连的M个二阶池化层，所述关系度量模块包含分别与所述M个二阶池化层对应相连的M个基础学习器，以及汇总所述M个基础学习器的学习结果的结果预测单元。

Description

基于多层级二阶表征的小样本学习的图像识别方法和系统

技术领域

本发明属于图像识别领域，尤其涉及基于多层级二阶表征的小样本学习的图像识别方法和系统。

背景技术

近年来，尽管卷积神经网络已在目标识别、场景分类和图像识别等任务中取得了先进成果，但也存在一些瓶颈问题，比如现有卷积网络模型严重依赖大规模的训练标注数据，难以在训练数据匮乏的场景中发挥效用。相比之下，人类只需少量数据就能做到快速学习的能力展现了生物视觉的优越性，受此启发，研究人员提出了“小样本学习”概念，旨在探索如何在训练样本较少的情况下训练网络以解决新场景下的不同任务。

目前，小样本学习问题主要基于目标识别场景进行算法建模和性能评估，简单来说，可以概括为一种L-way Z-shot的分类任务，即从训练集中随机采用L个不同类别，在从每个类别中抽取Z个标记样本组建支持集S，通过度量查询集Q中未标记样本与支持集之间的关系进行分类。在训练学习阶段，通过以上方式构建大量元训练任务来优化模型参数，随后将其迁移至目标测试类别，在测试样本上开展模型性能评估。

目前，广泛使用的小样本学习方法之一为度量学习技术，其核心思想在于度量支撑集和查询集图像对表征之间的相似性来获取不同样本之间的关系，并以此作为依据来执行分类任务。该方法一般具有两个模块，表征提取模块和关系度量模块，其中表征提取模块主要负责将图像样本嵌入卷积向量空间，而关系度量模块则用来计算支撑-查询样本对之间的相似度得分。关系网络和原型网络模型是该类小样本学习方法的典型代表，两者都采用了表征提取加关系度量的学习框架，只是在度量函数选择上有所不同。

尽管上述基于度量学习的小样本学习方法在小样本目标识别任务中取得了一定成效，却也存在以下缺陷：（1）现有表征提取方法所用的一阶统计特征虽然简洁有效，却存在样本输入规模固定的瓶颈，无法有效整合不同尺度输入图像的抽象表征信息，从而使得图像表征质量有待加强；（2）关系网络的度量模块仅比较了样本对经卷积网络模型处理后的最终表征之间的相似性，而忽略了不同层级抽象表征之间的相关性与互补性，进而无法获取更加全面和准确的判别结果。

发明内容

本发明要解决的技术问题是：如何设计新型关系网络以使小样本学习模型能够提升图像表征质量，进而改善训练样本极少情况下的分类性能。

对此，本发明提出基于多层级二阶表征的小样本学习的图像识别方案，通过设计二阶统计特征和多层级表征架构，使增强后的小样本学习模型能够更好的捕获图像对之间复杂的类关系，从而获得更好的分类效果。

本发明第一方面公开了一种基于多层级二阶表征的小样本学习的图像识别方法。所述方法包括：

步骤S1、从测试图像集包含的L类测试子集中的每个测试子集中随机抽取Z张测试图像，以形成测试阶段的支撑图像集，并从所述L类测试子集中除被抽取的L×Z张测试支撑图像以外的剩余图像中随意选取一张测试图像，以形成所述测试阶段的查询图像集；

步骤S2、从训练图像集包含的K类训练子集中随机选取L类训练子集，并从所述L类训练子集中的每个训练子集中随机抽取Z张训练图像，以形成训练阶段的支撑图像集，并从所述L类训练子集中除被抽取的L×Z张训练图像以外的剩余图像中随意选取一张训练图像，以形成所述训练阶段的查询图像集；

步骤S3、利用所述训练阶段的支撑图像集和所述训练阶段的查询图像集来训练图像识别分类器，经训练的所述图像识别分类器用于对所述测试阶段的查询图像集中的图像进行识别分类，以确定其在所述测试阶段的支撑图像集中所属的类别；

其中，所述测试阶段的查询图像集中图像所属的类别为未知状态，所述训练阶段的查询图像集中的图像所属的类别为已知状态；

其中，L类测试子集所属的L个类别与所述K类训练子集所属的K个类别各不相同，L、Z、K、M均为正整数，且K≥L；

其中，所述图像识别分类器包含表征提取模块和关系度量模块，所述表征提取模块包含串联的M个网络卷积块，以及分别与所述M个网络卷积块对应相连的M个二阶池化层，所述关系度量模块包含分别与所述M个二阶池化层对应相连的M个基础学习器，以及汇总所述M个基础学习器的学习结果的结果预测单元。

根据本发明第一方面的方法，在执行所述步骤S3之前，所述方法还包括，对所述训练阶段的支撑图像集和所述训练阶段的查询图像集包含的L×Z+1张训练图像进行预处理，所述预处理包括：

对于所述L×Z+1张训练图像中的每张图像，均执行尺度变换以获取D张训练子图像，所述D张训练子图像为基于D个不同尺度的图像，通过所述尺度变换得到的（L×Z+1）×D张训练子图像被输入至所述图像识别分类器以进行训练。

根据本发明第一方面的方法，在所述步骤S3中，利用所述训练阶段的支撑图像集和所述训练阶段的查询图像集来训练所述图像识别分类器，具体包括：

获取所述训练阶段的查询图像集中的图像经第j个卷积网络块的抽象表征和所述第i类训练子集中的所述Z张训练图像经第j个卷积网络块的平均抽象表征，j∈{1,2,...,M}，i∈{1,2,...,L}；

所述第j个二阶池化层对所述训练阶段的查询图像集中的图像经第j个卷积网络块的抽象表征和所述第i类训练子集中的所述Z张训练图像经第j个卷积网络块的平均抽象表征经外积操作和正则操作后进行拼接处理，以获取拼接图像表征，将所述拼接图像表征发送至与所述第j个二阶池化层对应连接的第j个基础学习器；

所述第j个基础学习器基于所述拼接图像表征，通过学习确定所述训练阶段的查询图像集中的图像属于所述第i类训练子集所属的类别的概率值，所述结果预测单元汇总所述M个基础学习器的概率值，得到所述训练阶段的查询图像集中的图像属于所述第i类训练子集所属的类别的总概率值；

基于所述训练阶段的查询图像集中的图像属于所述第i类训练子集所属的类别的总概率值，来判断所述图像识别分类器的识别分类准确度，以进一步完成对所述图像识别分类器的训练。

根据本发明第一方面的方法，在所述步骤S3中，获取所述训练阶段的查询图像集中的图像经第j个卷积网络块的抽象表征，具体包括：

获取所述训练阶段的查询图像集中的图像，将其基于所述D个不同尺度的D张训练子图像经过串联的所述M个卷积网络块，以分别提取所述训练阶段的查询图像集中的图像经第j个卷积网络块的抽象表征。

根据本发明第一方面的方法，在所述步骤S3中，获取所述第i类训练子集中的所述Z张训练图像经第j个卷积网络块的平均抽象表征，具体包括：

获取第i类训练子集中的Z张训练图像，对于所述Z张训练图像的每一张，将其基于所述D个不同尺度的D张训练子图像经过串联的所述M个卷积网络块，以分别提取所述第i类训练子集中的Z张训练图像经第j个卷积网络块的抽象表征；

所述第i类训练子集中的Z张训练图像经第j个卷积网络块的抽象表征被送至与所述第j个卷积网络块对应相连的第j个二阶池化层，所述第j个二阶池化层用于对所述第j个卷积网络块输出的所述Z张训练图像的抽象表征取平均，以获取所述第i类训练子集中的所述Z张训练图像经第j个卷积网络块的平均抽象表征。

根据本发明第一方面的方法，在所述步骤S3中：

所述外积操作具体为：所述训练阶段的查询图像集中的图像经第j个卷积网络块的抽象表征和其转置向量做外积，以获得矩阵形式的第一抽象表征，所述训练阶段的支撑图像集中的图像经第j个卷积网络块的平均抽象表征与其转置向量做外积，以获得矩阵形式的第二抽象表征；

所述正则操作具体为：分别对所述第一抽象表征和所述第二抽象表征中的各个元素取开方，以得到经正则化的第一抽象表征和经正则化的第二抽象表征；

所述拼接处理具体为：所述经正则化的第一抽象表征中的各个对象分别与所述经正则化的第二抽象表征中的各个对象进行拼接，得到所述拼接图像表征。

根据本发明第一方面的方法，在所述步骤S3中，利用所述训练阶段的支撑图像集和所述训练阶段的查询图像集，多次对所述图像识别分类器执行训练过程，每次训练过程选取的所述训练阶段的支撑图像集和所述训练阶段的查询图像集各不相同。

本发明第二方面公开了一种基于多层级二阶表征的小样本学习的图像识别系统，所述系统包括一图像识别分类器，所述图像识别分类器包含表征提取模块和关系度量模块，所述表征提取模块包含串联的M个网络卷积块，以及分别与所述M个网络卷积块对应相连的M个二阶池化层，所述关系度量模块包含分别与所述M个二阶池化层对应相连的M个基础学习器，以及汇总所述M个基础学习器的学习结果的结果预测单元；

利用所述训练阶段的支撑图像集和所述训练阶段的查询图像集来训练图像识别分类器，经训练的所述图像识别分类器用于对所述测试阶段的查询图像集中的图像进行识别分类，以确定其在所述测试阶段的支撑图像集中所属的类别；

其中：

从测试图像集包含的L类测试子集中的每个测试子集中随机抽取Z张测试图像，以形成测试阶段的支撑图像集，并从所述L类测试子集中除被抽取的L×Z张测试支撑图像以外的剩余图像中随意选取一张测试图像，以形成所述测试阶段的查询图像集；

从训练图像集包含的K类训练子集中随机选取L类训练子集，并从所述L类训练子集中的每个训练子集中随机抽取Z张训练图像，以形成训练阶段的支撑图像集，并从所述L类训练子集中除被抽取的L×Z张训练图像以外的剩余图像中随意选取一张训练图像，以形成所述训练阶段的查询图像集；

所述测试阶段的查询图像集中图像所属的类别为未知状态，所述训练阶段的查询图像集中的图像所属的类别为已知状态；

L类测试子集所属的L个类别与所述K类训练子集所属的K个类别各不相同，L、Z、K、M均为正整数，且K≥L。

根据本发明第二方面的系统，在对所述图像识别分类器进行训练前，对所述训练阶段的支撑图像集和所述训练阶段的查询图像集包含的L×Z+1张训练图像进行预处理，所述预处理包括：

对于所述L×Z+1张训练图像中的每张图像，均执行尺度变换以获取D张训练子图像，所述D张训练子图像为基于D个不同尺度的图像，通过所述尺度变换得到的（L×Z+1）×D张训练子图像被输入至所述图像识别分类器以进行训练。

根据本发明第二方面的系统，利用所述训练阶段的支撑图像集和所述训练阶段的查询图像集来训练所述图像识别分类器，具体包括：

获取所述训练阶段的查询图像集中的图像经第j个卷积网络块的抽象表征和所述第i类训练子集中的所述Z张训练图像经第j个卷积网络块的平均抽象表征，j∈{1,2,...,M}，i∈{1,2,...,L}；

所述第j个二阶池化层对所述训练阶段的查询图像集中的图像经第j个卷积网络块的抽象表征和所述第i类训练子集中的所述Z张训练图像经第j个卷积网络块的平均抽象表征经外积操作和正则操作后进行拼接处理，以获取拼接图像表征，将所述拼接图像表征发送至与所述第j个二阶池化层对应连接的第j个基础学习器；

所述第j个基础学习器基于所述拼接图像表征，通过学习确定所述训练阶段的查询图像集中的图像属于所述第i类训练子集所属的类别的概率值，所述结果预测单元汇总所述M个基础学习器的概率值，得到所述训练阶段的查询图像集中的图像属于所述第i类训练子集所属的类别的总概率值；

基于所述训练阶段的查询图像集中的图像属于所述第i类训练子集所属的类别的总概率值，来判断所述图像识别分类器的识别分类准确度，以进一步完成对所述图像识别分类器的训练。

根据本发明第二方面的系统，获取所述训练阶段的查询图像集中的图像经第j个卷积网络块的抽象表征，具体包括：

获取所述训练阶段的查询图像集中的图像，将其基于所述D个不同尺度的D张训练子图像经过串联的所述M个卷积网络块，以分别提取所述训练阶段的查询图像集中的图像经第j个卷积网络块的抽象表征。

根据本发明第二方面的系统，获取所述第i类训练子集中的所述Z张训练图像经第j个卷积网络块的平均抽象表征，具体包括：

获取第i类训练子集中的Z张训练图像，对于所述Z张训练图像的每一张，将其基于所述D个不同尺度的D张训练子图像经过串联的所述M个卷积网络块，以分别提取所述第i类训练子集中的Z张训练图像经第j个卷积网络块的抽象表征；

所述第i类训练子集中的Z张训练图像经第j个卷积网络块的抽象表征被送至与所述第j个卷积网络块对应相连的第j个二阶池化层，所述第j个二阶池化层用于对所述第j个卷积网络块输出的所述Z张训练图像的抽象表征取平均，以获取所述第i类训练子集中的所述Z张训练图像经第j个卷积网络块的平均抽象表征。

根据本发明第二方面的系统，所述外积操作具体为：所述训练阶段的查询图像集中的图像经第j个卷积网络块的抽象表征和其转置向量做外积，以获得矩阵形式的第一抽象表征，所述训练阶段的支撑图像集中的图像经第j个卷积网络块的平均抽象表征与其转置向量做外积，以获得矩阵形式的第二抽象表征；

所述正则操作具体为：分别对所述第一抽象表征和所述第二抽象表征中的各个元素取开方，以得到经正则化的第一抽象表征和经正则化的第二抽象表征；

所述拼接处理具体为：所述经正则化的第一抽象表征中的各个对象分别与所述经正则化的第二抽象表征中的各个对象进行拼接，得到所述拼接图像表征。

根据本发明第二方面的系统，利用所述训练阶段的支撑图像集和所述训练阶段的查询图像集，多次对所述图像识别分类器执行训练过程，每次训练过程选取的所述训练阶段的支撑图像集和所述训练阶段的查询图像集各不相同。

本发明第三方面公开了一种电子设备。所述电子设备包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时，实现本公开第一方面中任一项所述的一种基于多层级二阶表征的小样本学习的图像识别方法中的步骤。

本发明第四方面公开了一种计算机可读存储介质。所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时，实现本公开第一方面中任一项所述的一种基于多层级二阶表征的小样本学习的图像识别方法中的步骤。

综上，本发明提供的技术方案使用的二阶表征计算方法突破了传统表征提取模型中存在的样本输入规模固定的瓶颈，实现了不同尺度输入图像抽象表征间的有效整合，从而提升了小样本学习过程中的图像表征质量；其次，本发明提出了一种基于多层级二阶表征的小样本学习方法，能够将图像样本的不同层级抽象表征关联起来，从而充分发挥不同层级表征间的互补性，以获得更加全面和准确的判别结果。

附图说明

为了更清楚地说明本发明具体实施方式或现有技术中的技术方案下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为根据本发明实施例的一种基于多层级二阶表征的小样本学习的图像识别方法的流程图；

图2为根据本发明第一实施例的基于多层级二阶表征的小样本学习方法的流程图；

图3为根据本发明实施例的一种电子设备的结构图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例只是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本发明第一方面公开了一种基于多层级二阶表征的小样本学习的图像识别方法。图1为根据本发明实施例的一种基于多层级二阶表征的小样本学习的图像识别方法的流程图；如图1所示，所述方法包括：

步骤S1、从测试图像集包含的L类测试子集中的每个测试子集中随机抽取Z张测试图像，以形成测试阶段的支撑图像集，并从所述L类测试子集中除被抽取的L×Z张测试支撑图像以外的剩余图像中随意选取一张测试图像，以形成所述测试阶段的查询图像集；

步骤S2、从训练图像集包含的K类训练子集中随机选取L类训练子集，并从所述L类训练子集中的每个训练子集中随机抽取Z张训练图像，以形成训练阶段的支撑图像集，并从所述L类训练子集中除被抽取的L×Z张训练图像以外的剩余图像中随意选取一张训练图像，以形成所述训练阶段的查询图像集；

步骤S3、利用所述训练阶段的支撑图像集和所述训练阶段的查询图像集来训练图像识别分类器，经训练的所述图像识别分类器用于对所述测试阶段的查询图像集中的图像进行识别分类，以确定其在所述测试阶段的支撑图像集中所属的类别；

其中，所述测试阶段的查询图像集中图像所属的类别为未知状态，所述训练阶段的查询图像集中的图像所属的类别为已知状态；

其中，L类测试子集所属的L个类别与所述K类训练子集所属的K个类别各不相同，L、Z、K、M均为正整数，且K≥L；

其中，所述图像识别分类器包含表征提取模块和关系度量模块，所述表征提取模块包含串联的M个网络卷积块，以及分别与所述M个网络卷积块对应相连的M个二阶池化层，所述关系度量模块包含分别与所述M个二阶池化层对应相连的M个基础学习器，以及汇总所述M个基础学习器的学习结果的结果预测单元。

在一些实施例中，在在执行所述步骤S3之前，所述方法还包括，对所述训练阶段的支撑图像集和所述训练阶段的查询图像集包含的L×Z+1张训练图像进行预处理，所述预处理包括：

对于所述L×Z+1张训练图像中的每张图像，均执行尺度变换以获取D张训练子图像，所述D张训练子图像为基于D个不同尺度的图像，通过所述尺度变换得到的（L×Z+1）×D张训练子图像被输入至所述图像识别分类器以进行训练。

在一些实施例中，在在所述步骤S3中，利用所述训练阶段的支撑图像集和所述训练阶段的查询图像集来训练所述图像识别分类器，具体包括：

获取所述训练阶段的查询图像集中的图像经第j个卷积网络块的抽象表征和所述第i类训练子集中的所述Z张训练图像经第j个卷积网络块的平均抽象表征，j∈{1,2,...,M}，i∈{1,2,...,L}；

所述第j个二阶池化层对所述训练阶段的查询图像集中的图像经第j个卷积网络块的抽象表征和所述第i类训练子集中的所述Z张训练图像经第j个卷积网络块的平均抽象表征经外积操作和正则操作后进行拼接处理，以获取拼接图像表征，将所述拼接图像表征发送至与所述第j个二阶池化层对应连接的第j个基础学习器；

所述第j个基础学习器基于所述拼接图像表征，通过学习确定所述训练阶段的查询图像集中的图像属于所述第i类训练子集所属的类别的概率值，所述结果预测单元汇总所述M个基础学习器的概率值，得到所述训练阶段的查询图像集中的图像属于所述第i类训练子集所属的类别的总概率值；

基于所述训练阶段的查询图像集中的图像属于所述第i类训练子集所属的类别的总概率值，来判断所述图像识别分类器的识别分类准确度，以进一步完成对所述图像识别分类器的训练。

在一些实施例中，在在所述步骤S3中，获取所述训练阶段的查询图像集中的图像经第j个卷积网络块的抽象表征，具体包括：

获取所述训练阶段的查询图像集中的图像，将其基于所述D个不同尺度的D张训练子图像经过串联的所述M个卷积网络块，以分别提取所述训练阶段的查询图像集中的图像经第j个卷积网络块的抽象表征。

在一些实施例中，在在所述步骤S3中，获取所述第i类训练子集中的所述Z张训练图像经第j个卷积网络块的平均抽象表征，具体包括：

获取第i类训练子集中的Z张训练图像，对于所述Z张训练图像的每一张，将其基于所述D个不同尺度的D张训练子图像经过串联的所述M个卷积网络块，以分别提取所述第i类训练子集中的Z张训练图像经第j个卷积网络块的抽象表征；

所述第i类训练子集中的Z张训练图像经第j个卷积网络块的抽象表征被送至与所述第j个卷积网络块对应相连的第j个二阶池化层，所述第j个二阶池化层用于对所述第j个卷积网络块输出的所述Z张训练图像的抽象表征取平均，以获取所述第i类训练子集中的所述Z张训练图像经第j个卷积网络块的平均抽象表征。

在一些实施例中，在在所述步骤S3中：

所述外积操作具体为：所述训练阶段的查询图像集中的图像经第j个卷积网络块的抽象表征和其转置向量做外积，以获得矩阵形式的第一抽象表征，所述训练阶段的支撑图像集中的图像经第j个卷积网络块的平均抽象表征与其转置向量做外积，以获得矩阵形式的第二抽象表征；

所述正则操作具体为：分别对所述第一抽象表征和所述第二抽象表征中的各个元素取开方，以得到经正则化的第一抽象表征和经正则化的第二抽象表征；

所述拼接处理具体为：所述经正则化的第一抽象表征中的各个对象分别与所述经正则化的第二抽象表征中的各个对象进行拼接，得到所述拼接图像表征。

在一些实施例中，在在所述步骤S3中，利用所述训练阶段的支撑图像集和所述训练阶段的查询图像集，多次对所述图像识别分类器执行训练过程，每次训练过程选取的所述训练阶段的支撑图像集和所述训练阶段的查询图像集各不相同。

第一实施例

图2为根据本发明第一实施例的基于多层级二阶表征的小样本学习方法的流程图；如图2所示，本发明第一方面公开的技术方案主要包含尺度变换、表征提取和关系度量三个模块，其中尺度变换模块负责生成多种尺度的图像样本，并以此作为小样本学习模型的实际输入；表征提取模块则负责提取输入样本的多层级抽象表征，并借助二阶池化操作来完成不同尺度、不同层级抽象表征的整合工作，随后将整合后的抽象表征对馈送至关系度量模块进行后续处理；关系度量模块则对输入图像的多个层级表征进行训练，以确定每一组样本表征对中不同层级表征向量基于类别的相似性分数，进而获得待测样本的预测类别。

具体地，调用尺度变换模块，对训练集和测试集中各个图像样本进行尺度缩放操作，获得多种尺度的图像样本来增强训练空间；

具体地，调用表征提取模块，对多种尺度的图像样本进行表征提取，以获得各个图像样本的多层级抽象表征向量，所述表征提取模块由3个卷积网络块和对应的二阶池化操作组件组成，其中前者负责生成输入图像样本经卷积网络模型处理后的一阶抽象表征，而后者则对所述的一阶抽象表征进行二阶统计处理以获得最终的样本特征对，具体操作包括平均、外积、正则化和拼接四个步骤，随后将样本特征对馈送至关系度量模块进行最终的类别预测。

具体地，调用关系度量模块，对接收到的样本特征对进行训练，以确定各个图像样本特征向量在不同层级上的相似度分数，随后取均值并将相似度分数最高的样本类别作为最终预测类别。

第二实施例

首先从训练集中随机采用L个不同类别，从每个类别中分别抽取Z个样本组建支持集，在随机抽取1个样本作为查询集，所述支持集和查询集用于小样本分类模型的训练阶段；随后使用同样的方法在测试集中获得测试阶段的支撑集和查询集。

训练阶段：将支撑集图像样本X（每类Z个）和查询集图像样本Y输入到尺度变换模块，尺度变换模块通过下采样处理后分别获得3种不同大小的变换样本X _s1 , X _s2 , X _s3 和Y _s1 ,Y _s2 , Y _s3 ，其中s₂和s₃分别为原始样本大小s₁的1/2和1/4，并将其馈送至图像表征模块进行特征提取。

表征提取模块由3个卷积网络块和相应的二阶池化组件组成，所述卷积网络块串行连接在一起，用来提取不同层级的样本抽象表征。所述卷积网络块可采用传统的4层卷积网络或者经典的ResNet-12骨干网络。

首个卷积网络块对不同大小的图像样本X _s1 , X _s2 , X _s3 和Y _s1 , Y _s2 , Y _s3 进行表征提取，从而生成初级的第一层级特征向量和，随后二阶池化操作组件将支撑集样本X和查询集样本Y的所有初级的第一层级特征向量进行两两配对，依次执行平均、外积、正则化和拼接操作来生成最终的第一层级特征向量。具体来说，平均操作指的是将同一类别的多个样本（Z个）经卷积网络块提取的初级特征向量取平均以获取该类别的初级特征向量，随后将初级特征向量和与自身做外积，从而解决不同大小图像表征间难以有效合并的难题，同时采用求平方根的方式来对上述结果进行正则化处理；最后将得到的支撑集和查询集样本特征向量进行拼接以生成最终的第一层级特征向量，所述最终的第一层级特征向量用于基础学习器的训练。

表征提取模块中的第二和第三卷积网络块采用与第一卷积网络块相同的处理步骤，只不过后者采用前者的输出作为输入，进而获得最终的第二和第三层级特征向量。每对输入图像样本在每个层级中都将产生3*3（尺度变换个数的平方）个最终的该层级特征向量

关系度量模块分别以最终的第一、第二和第三层级特征向量为输入来训练相应的基础学习器模型，并以查询集样本与支撑集样本中与该查询集类别相同的样本的相似度分数最高为训练终止条件。需要注意的是，三个基础学习器模型的训练过程是相互独立，互不影响的。

测试阶段：将支撑集样本与待测试的查询集样本输入到所述经训练的小样本学习模型中，从而生成基于不同基础学习器的第一相似度得分、第二相似度得分和第三相似度得分，随后对其取平均作为最终的相似度得分，并将相似度得分最高的样本类别作为查询集样本的预测类别。

第三实施例

本发明公开的学习模型主要包含尺度变换、表征提取和关系度量三大模块，其中表征提取又可进一步划分为卷积网络块和二阶池化两个子模块。尺度变换模块主要负责生成多种尺度的图像样本，表征提取模块则负责输入样本的多层级抽象表征，并借助二阶池化操作来完成不同尺度、不同层级抽象表征的整合工作，关系度量模块则负责生成同一输入图像样本对的不同层级表征向量基于类别的相似性分数，进而获得待测样本的预测类别。多层级表征提取架构和二阶统计特征的设计使得小样本学习模型能够学习到更加全面的图像表征，从而促进预测精度的提升。

具体地，利用外积加正则化的二阶池化操作来解决不同尺度图像表征间难以有效合并的难题，从而增强了图像表征质量。

具体地，利用多个卷积网络块来获取输入图像对的不同层级抽象表征，并配以相互独立的基础学习器来充分发挥多层级表征之间存在的互补性。

具体地，利用相互独立的相似度计算组件来生成输入样本对在不同层级的相似度分数，并通过取均值的方式来获得更加全面和准确地预测结果。

本发明第二方面公开了一种基于多层级二阶表征的小样本学习的图像识别系统，所述系统包括一图像识别分类器，所述图像识别分类器包含表征提取模块和关系度量模块，所述表征提取模块包含串联的M个网络卷积块，以及分别与所述M个网络卷积块对应相连的M个二阶池化层，所述关系度量模块包含分别与所述M个二阶池化层对应相连的M个基础学习器，以及汇总所述M个基础学习器的学习结果的结果预测单元；

利用所述训练阶段的支撑图像集和所述训练阶段的查询图像集来训练图像识别分类器，经训练的所述图像识别分类器用于对所述测试阶段的查询图像集中的图像进行识别分类，以确定其在所述测试阶段的支撑图像集中所属的类别；

其中：

从测试图像集包含的L类测试子集中的每个测试子集中随机抽取Z张测试图像，以形成测试阶段的支撑图像集，并从所述L类测试子集中除被抽取的L×Z张测试支撑图像以外的剩余图像中随意选取一张测试图像，以形成所述测试阶段的查询图像集；

从训练图像集包含的K类训练子集中随机选取L类训练子集，并从所述L类训练子集中的每个训练子集中随机抽取Z张训练图像，以形成训练阶段的支撑图像集，并从所述L类训练子集中除被抽取的L×Z张训练图像以外的剩余图像中随意选取一张训练图像，以形成所述训练阶段的查询图像集；

所述测试阶段的查询图像集中图像所属的类别为未知状态，所述训练阶段的查询图像集中的图像所属的类别为已知状态；

L类测试子集所属的L个类别与所述K类训练子集所属的K个类别各不相同，L、Z、K、M均为正整数，且K≥L。

根据本发明第二方面的系统，在对所述图像识别分类器进行训练前，对所述训练阶段的支撑图像集和所述训练阶段的查询图像集包含的L×Z+1张训练图像进行预处理，所述预处理包括：

对于所述L×Z+1张训练图像中的每张图像，均执行尺度变换以获取D张训练子图像，所述D张训练子图像为基于D个不同尺度的图像，通过所述尺度变换得到的（L×Z+1）×D张训练子图像被输入至所述图像识别分类器以进行训练。

根据本发明第二方面的系统，利用所述训练阶段的支撑图像集和所述训练阶段的查询图像集来训练所述图像识别分类器，具体包括：

获取所述训练阶段的查询图像集中的图像经第j个卷积网络块的抽象表征和所述第i类训练子集中的所述Z张训练图像经第j个卷积网络块的平均抽象表征，j∈{1,2,...,M}，i∈{1,2,...,L}；

所述第j个二阶池化层对所述训练阶段的查询图像集中的图像经第j个卷积网络块的抽象表征和所述第i类训练子集中的所述Z张训练图像经第j个卷积网络块的平均抽象表征经外积操作和正则操作后进行拼接处理，以获取拼接图像表征，将所述拼接图像表征发送至与所述第j个二阶池化层对应连接的第j个基础学习器；

所述第j个基础学习器基于所述拼接图像表征，通过学习确定所述训练阶段的查询图像集中的图像属于所述第i类训练子集所属的类别的概率值，所述结果预测单元汇总所述M个基础学习器的概率值，得到所述训练阶段的查询图像集中的图像属于所述第i类训练子集所属的类别的总概率值；

基于所述训练阶段的查询图像集中的图像属于所述第i类训练子集所属的类别的总概率值，来判断所述图像识别分类器的识别分类准确度，以进一步完成对所述图像识别分类器的训练。

根据本发明第二方面的系统，获取所述训练阶段的查询图像集中的图像经第j个卷积网络块的抽象表征，具体包括：

获取所述训练阶段的查询图像集中的图像，将其基于所述D个不同尺度的D张训练子图像经过串联的所述M个卷积网络块，以分别提取所述训练阶段的查询图像集中的图像经第j个卷积网络块的抽象表征。

根据本发明第二方面的系统，获取所述第i类训练子集中的所述Z张训练图像经第j个卷积网络块的平均抽象表征，具体包括：

获取第i类训练子集中的Z张训练图像，对于所述Z张训练图像的每一张，将其基于所述D个不同尺度的D张训练子图像经过串联的所述M个卷积网络块，以分别提取所述第i类训练子集中的Z张训练图像经第j个卷积网络块的抽象表征；

所述第i类训练子集中的Z张训练图像经第j个卷积网络块的抽象表征被送至与所述第j个卷积网络块对应相连的第j个二阶池化层，所述第j个二阶池化层用于对所述第j个卷积网络块输出的所述Z张训练图像的抽象表征取平均，以获取所述第i类训练子集中的所述Z张训练图像经第j个卷积网络块的平均抽象表征。

根据本发明第二方面的系统，所述外积操作具体为：所述训练阶段的查询图像集中的图像经第j个卷积网络块的抽象表征和其转置向量做外积，以获得矩阵形式的第一抽象表征，所述训练阶段的支撑图像集中的图像经第j个卷积网络块的平均抽象表征与其转置向量做外积，以获得矩阵形式的第二抽象表征；

所述正则操作具体为：分别对所述第一抽象表征和所述第二抽象表征中的各个元素取开方，以得到经正则化的第一抽象表征和经正则化的第二抽象表征；

所述拼接处理具体为：所述经正则化的第一抽象表征中的各个对象分别与所述经正则化的第二抽象表征中的各个对象进行拼接，得到所述拼接图像表征。

根据本发明第二方面的系统，利用所述训练阶段的支撑图像集和所述训练阶段的查询图像集，多次对所述图像识别分类器执行训练过程，每次训练过程选取的所述训练阶段的支撑图像集和所述训练阶段的查询图像集各不相同。

本发明第三方面公开了一种电子设备。所述电子设备包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时，实现本公开第一方面中任一项所述的一种基于多层级二阶表征的小样本学习的图像识别方法中的步骤。

图3为根据本发明实施例的一种电子设备的结构图，如图3所示，电子设备包括通过系统总线连接的处理器、存储器、通信接口、显示屏和输入装置。其中，该电子设备的处理器用于提供计算和控制能力。该电子设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统和计算机程序。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该电子设备的通信接口用于与外部的终端进行有线或无线方式的通信，无线方式可通过WIFI、运营商网络、近场通信（NFC）或其他技术实现。该电子设备的显示屏可以是液晶显示屏或者电子墨水显示屏，该电子设备的输入装置可以是显示屏上覆盖的触摸层，也可以是电子设备外壳上设置的按键、轨迹球或触控板，还可以是外接的键盘、触控板或鼠标等。

本领域技术人员可以理解，图3中示出的结构，仅仅是与本公开的技术方案相关的部分的结构图，并不构成对本申请方案所应用于其上的电子设备的限定，具体的电子设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。

本发明第四方面公开了一种计算机可读存储介质。所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时，实现本公开第一方面中任一项所述的一种基于多层级二阶表征的小样本学习的图像识别方法中的步骤。

综上，本发明提供的技术方案使用的二阶表征计算方法突破了传统表征提取模型中存在的样本输入规模固定的瓶颈，实现了不同尺度输入图像抽象表征间的有效整合，从而提升了小样本学习过程中的图像表征质量；其次，本发明提出了一种基于多层级二阶表征的小样本学习方法，能够将图像样本的不同层级抽象表征关联起来，从而充分发挥不同层级表征间的互补性，以获得更加全面和准确的判别结果。

请注意，以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。

Claims (10)

1.一种基于多层级二阶表征的小样本学习的图像识别方法，其特征在于，所述方法包括：

步骤S1、从测试图像集包含的L类测试子集中的每个测试子集中随机抽取Z张测试图像，以形成测试阶段的支撑图像集，并从所述L类测试子集中除被抽取的L×Z张测试支撑图像以外的剩余图像中随意选取一张测试图像，以形成所述测试阶段的查询图像集；

步骤S2、从训练图像集包含的K类训练子集中随机选取L类训练子集，并从所述L类训练子集中的每个训练子集中随机抽取Z张训练图像，以形成训练阶段的支撑图像集，并从所述L类训练子集中除被抽取的L×Z张训练图像以外的剩余图像中随意选取一张训练图像，以形成所述训练阶段的查询图像集；

步骤S3、利用所述训练阶段的支撑图像集和所述训练阶段的查询图像集来训练图像识别分类器，经训练的所述图像识别分类器用于对所述测试阶段的查询图像集中的图像进行识别分类，以确定其在所述测试阶段的支撑图像集中所属的类别；

其中，所述测试阶段的查询图像集中图像所属的类别为未知状态，所述训练阶段的查询图像集中的图像所属的类别为已知状态；

其中，L类测试子集所属的L个类别与所述K类训练子集所属的K个类别各不相同，L、Z、K、M均为正整数，且K≥L；

其中，所述图像识别分类器包含表征提取模块和关系度量模块，所述表征提取模块包含串联的M个网络卷积块，以及分别与所述M个网络卷积块对应相连的M个二阶池化层，所述关系度量模块包含分别与所述M个二阶池化层对应相连的M个基础学习器，以及汇总所述M个基础学习器的学习结果的结果预测单元。

2.根据权利要求1所述的一种基于多层级二阶表征的小样本学习的图像识别方法，其特征在于，在执行所述步骤S3之前，所述方法还包括，对所述训练阶段的支撑图像集和所述训练阶段的查询图像集包含的L×Z+1张训练图像进行预处理，所述预处理包括：

对于所述L×Z+1张训练图像中的每张图像，均执行尺度变换以获取D张训练子图像，所述D张训练子图像为基于D个不同尺度的图像，通过所述尺度变换得到的（L×Z+1）×D张训练子图像被输入至所述图像识别分类器以进行训练。

3.根据权利要求2所述的一种基于多层级二阶表征的小样本学习的图像识别方法，其特征在于，在所述步骤S3中，利用所述训练阶段的支撑图像集和所述训练阶段的查询图像集来训练所述图像识别分类器，具体包括：

获取所述训练阶段的查询图像集中的图像经第j个卷积网络块的抽象表征和所述第i类训练子集中的所述Z张训练图像经第j个卷积网络块的平均抽象表征，j∈{1,2,...,M}，i∈{1,2,...,L}；

所述第j个二阶池化层对所述训练阶段的查询图像集中的图像经第j个卷积网络块的抽象表征和所述第i类训练子集中的所述Z张训练图像经第j个卷积网络块的平均抽象表征经外积操作和正则操作后进行拼接处理，以获取拼接图像表征，将所述拼接图像表征发送至与所述第j个二阶池化层对应连接的第j个基础学习器；

所述第j个基础学习器基于所述拼接图像表征，通过学习确定所述训练阶段的查询图像集中的图像属于所述第i类训练子集所属的类别的概率值，所述结果预测单元汇总所述M个基础学习器的概率值，得到所述训练阶段的查询图像集中的图像属于所述第i类训练子集所属的类别的总概率值；

基于所述训练阶段的查询图像集中的图像属于所述第i类训练子集所属的类别的总概率值，来判断所述图像识别分类器的识别分类准确度，以进一步完成对所述图像识别分类器的训练。

4.根据权利要求3所述的一种基于多层级二阶表征的小样本学习的图像识别方法，其特征在于，在所述步骤S3中，获取所述训练阶段的查询图像集中的图像经第j个卷积网络块的抽象表征，具体包括：

获取所述训练阶段的查询图像集中的图像，将其基于所述D个不同尺度的D张训练子图像经过串联的所述M个卷积网络块，以分别提取所述训练阶段的查询图像集中的图像经第j个卷积网络块的抽象表征。

5.根据权利要求4所述的一种基于多层级二阶表征的小样本学习的图像识别方法，其特征在于，在所述步骤S3中，获取所述第i类训练子集中的所述Z张训练图像经第j个卷积网络块的平均抽象表征，具体包括：

获取第i类训练子集中的Z张训练图像，对于所述Z张训练图像的每一张，将其基于所述D个不同尺度的D张训练子图像经过串联的所述M个卷积网络块，以分别提取所述第i类训练子集中的Z张训练图像经第j个卷积网络块的抽象表征；

所述第i类训练子集中的Z张训练图像经第j个卷积网络块的抽象表征被送至与所述第j个卷积网络块对应相连的第j个二阶池化层，所述第j个二阶池化层用于对所述第j个卷积网络块输出的所述Z张训练图像的抽象表征取平均，以获取所述第i类训练子集中的所述Z张训练图像经第j个卷积网络块的平均抽象表征。

6.根据权利要求5所述的一种基于多层级二阶表征的小样本学习的图像识别方法，其特征在于，在所述步骤S3中：

所述外积操作具体为：所述训练阶段的查询图像集中的图像经第j个卷积网络块的抽象表征和其转置向量做外积，以获得矩阵形式的第一抽象表征，所述训练阶段的支撑图像集中的图像经第j个卷积网络块的平均抽象表征与其转置向量做外积，以获得矩阵形式的第二抽象表征；

所述正则操作具体为：分别对所述第一抽象表征和所述第二抽象表征中的各个元素取开方，以得到经正则化的第一抽象表征和经正则化的第二抽象表征；

所述拼接处理具体为：所述经正则化的第一抽象表征中的各个对象分别与所述经正则化的第二抽象表征中的各个对象进行拼接，得到所述拼接图像表征。

7.根据权利要求6所述的一种基于多层级二阶表征的小样本学习的图像识别方法，其特征在于，在所述步骤S3中，利用所述训练阶段的支撑图像集和所述训练阶段的查询图像集，多次对所述图像识别分类器执行训练过程，每次训练过程选取的所述训练阶段的支撑图像集和所述训练阶段的查询图像集各不相同。

8.一种基于多层级二阶表征的小样本学习的图像识别系统，所述系统包括一图像识别分类器，其特征在于：

所述图像识别分类器包含表征提取模块和关系度量模块，所述表征提取模块包含串联的M个网络卷积块，以及分别与所述M个网络卷积块对应相连的M个二阶池化层，所述关系度量模块包含分别与所述M个二阶池化层对应相连的M个基础学习器，以及汇总所述M个基础学习器的学习结果的结果预测单元；

利用所述训练阶段的支撑图像集和所述训练阶段的查询图像集来训练图像识别分类器，经训练的所述图像识别分类器用于对所述测试阶段的查询图像集中的图像进行识别分类，以确定其在所述测试阶段的支撑图像集中所属的类别；

其中：

从测试图像集包含的L类测试子集中的每个测试子集中随机抽取Z张测试图像，以形成测试阶段的支撑图像集，并从所述L类测试子集中除被抽取的L×Z张测试支撑图像以外的剩余图像中随意选取一张测试图像，以形成所述测试阶段的查询图像集；

从训练图像集包含的K类训练子集中随机选取L类训练子集，并从所述L类训练子集中的每个训练子集中随机抽取Z张训练图像，以形成训练阶段的支撑图像集，并从所述L类训练子集中除被抽取的L×Z张训练图像以外的剩余图像中随意选取一张训练图像，以形成所述训练阶段的查询图像集；

所述测试阶段的查询图像集中图像所属的类别为未知状态，所述训练阶段的查询图像集中的图像所属的类别为已知状态；

L类测试子集所属的L个类别与所述K类训练子集所属的K个类别各不相同，L、Z、K、M均为正整数，且K≥L。

9.一种电子设备，其特征在于，所述电子设备包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时，实现权利要求1至7中任一项所述的一种基于多层级二阶表征的小样本学习的图像识别方法中的步骤。

10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时，实现权利要求1至7中任一项所述的一种基于多层级二阶表征的小样本学习的图像识别方法中的步骤。

Images