CN115965968A - 基于知识引导的小样本目标检测识别方法 - Google Patents

Abstract

本发明提供了一种基于知识引导的小样本目标检测识别方法，通过获取待分类目标的图像训练集；对每张目标图像进行语义层面上的实例分割，作为实景基元，通过预设的残差神经网络进行特征提取得到实景基元的特征向量，并根据特征向量与基元空间的基础基元数量，构建目标图像的特征矩阵；根据基础基元与语义信息的先验知识以及实景基元之间的先验知识，将先验的逻辑知识和语义信息以知识图谱的形式进行推理；本发明通过关联图像特征与语义基元，构建了知识驱动的知识图谱，有效缓解模型对于数据的依赖，极大地提高了小样本场景下的准确性，可以解决现有技术依赖于大量精准标注的数据，在小样本条件下其性能往往损失明显的问题。

Description

基于知识引导的小样本目标检测识别方法

技术领域

本发明属于图像处理技术领域，具体涉及一种基于知识引导的小样本目标检测识别方法。

背景技术

近年来，计算机技术迅速发展，人工智能技术也得到了不断进步，且深度学习模型和大规模的数据集具有强大的表达能力，所以，基于深度学习的目标检测识别技术显示出空前未有的优势，并且取得了令人鼓舞的性能，因此，目标检测技术在生产、生活以及军事中得到了普遍而又有效的运用。但是在实际的应用之中，由于数据的难以获取且需要耗费大量的人力和资源，或者由于某些领域的限制，我们无法获得大量的数据集，所以，弱小目标检测问题在实际应用中更为常见。当前，对于弱小目标识别问题，主要有两种解决的思路：一种是基于数据的调整，即对数据进行增强，扩大数据集，避免过拟合；另一种是对模型进行调整，在已有的模型上，引入有效模块，删减无用模块，利于提取图像信息，提高识别准确率。目前，国内外对弱小目标的识别均是基于以上两个思路进行的。

现有技术的专利文献“一种基于深度神经网络的弱小目标识别方法”(申请号：CN201711369730.9，申请公布号：CN108122003A，公布日期：2018.06.05)提出了一种注重于弱小目标特征提取，增加图像数据深度的新型深度神经网络结构。该方法的主要包括以下几个步骤：(1)获取深度神经网络训练数据,根据现有弱小目标相关数据信息,构建弱小目标图像样本数据库；(2)搭建深度神经网络,并采用梯度下降和反向传播算法训练深度神经网络模型；(3)利用高斯金字塔和滑动窗口搜索方式识别图像中的弱小目标。该方法仍存在不足之处：需要构建与识别目标相似的数据集以实现图像数据的增强，对于难以获取公开数据集的目标识别有很大的局限性。

杨文涛等人在其发表的论文“基于改进YOLOv5m的弱小目标识别方法”(计算机测量与控制：1-9[2022-11-03]，公开日期：2022.8.18)中提出了一种改进型YOLOv5m网络的多目标识别检测方法。该方法的主要步骤为：(1)对输入图像进行Mosaic数据增强以丰富图像检测识别目标的背景；(2)基于自适应锚框得到最合适的Anchor尺寸，将目标进行框选出来，并将处理之后的图像放入focus模块进行切片处理；(3)对FPN+PAN的特征融合网络进行改进，让模型学到更多的学习特征；(4)增加一个小目标检测层，将浅特征层图和深特征层图结合起来进行检测。但是，此方法仍存在不足之处：对特征融合网络的改进以及增加小目标检测层使网络的复杂度变高，检测识别所花费的时间也相应增加。

现有技术的专利文献“一种弱小目标检测方法”(申请号：201910685093.9，申请公布号：CN110414600 A，公布日期：2019.11.05)提出了一种识别准确率高的基于迁移学习的空间目标小样本识别方法。该方法的主要步骤为：(1)建立辅助样本空间目标数据集；(2)构建端到端的深度最近邻网络；(3)将辅助数据集送入深度最近邻网络进行训练；(4)构建空间目标数据集；(5)将目标数据集送入深度最近邻网络进行识别。但是此方法仍存在不足：深度最近邻网络中的网络层数较多，弱小目标的像素点较少，在网络嵌入过程中会存在信息丢失。

发明内容

为了解决现有技术中存在的上述问题，本发明提供了一种基于知识引导的小样本目标检测识别方法。本发明要解决的技术问题通过以下技术方案实现：

本发明提供了一种基于知识引导的小样本目标检测识别方法包括：

步骤1：获取待分类的目标图像；

步骤2：基于先验知识，预先规划出所有能表示目标图像中目标的高级语义特征的基础基元，从而构成目标整体的基元空间；

步骤3：利用所述基元空间中的基础基元指导每张目标图像在语义层面上的实例分割，获得像素在基础基元上对应的超像素块，并将每个超像素块作为该目标图像的实景基元；

步骤4：将目标图像的实景基元通过预设的残差神经网络进行特征提取，取出所述残差神经网路输出层的前一层的特征向量，将该特征向量作为实景基元的特征向量，并根据特征向量与基元空间的基础基元数量，构建目标图像的特征矩阵；

步骤5：根据基础基元与语义信息的先验知识以及基础基元之间的逻辑关联的先验知识，进行语义与基础基元的逻辑关联图谱建立过程，获得知识图谱；

步骤6：利用知识图谱以及每个目标图像的特征矩阵，通过训练好的图卷积网络对该目标图像对应的特征矩阵进行类别的推理预测，获得目标图像的分类结果。

本发明的有益效果：

第一，由于本发明利用实例分割，将图像分割为可以表示高级语义特征的超像素块，将人脑感知信息与计算机信息结合起来，产生语义基元，使得本发明具有人机结合的特点。

第二，由于本发明利用语义基元的特征信息以及先验的逻辑知识建立知识图谱，利用知识引导目标识别，避免了深度学习中的黑盒子问题，使得本发明在弱小目标识别中具有可解释性。

第三，由于本发明使用图卷积网络，利用知识图谱构建图结构，进而将知识嵌入到网络之中，降低了普通网络对于数据集的依赖，使得本发明在弱小目标识别中的准确率有了极大的提高。

以下将结合附图及实施例对本发明做进一步详细说明。

附图说明

图1是本发明提供的一种基于知识引导的小样本目标检测识别方法的流程图；

图2是本发明实验仿真图。

具体实施方式

下面结合具体实施例对本发明做进一步详细的描述，但本发明的实施方式不限于此。

在介绍本发明之前，首先介绍本发明的技术构思。

本发明的目的是：解决数据获取与数据标注难度大，可供训练的样本数量小，检测识别任务可解释性差的问题。实现本发明目的的思路是：本发明通过借鉴大脑在先验知识的指导下从场景中快速提取目标语义基元的过程，对语义基元进行提取，利用知识联想完成小样本学习，解决了工程应用中因为依赖于大量精准标注的数据导致小样本场景下性能损失明显的问题。本发明通过对分割得到的表示高级语义信息的基元进行特征提取得到图像的特征矩阵，并且构建了深度特征与语义基元间的相互映射关系，解决了工程应用中计算机视觉中语义鸿沟的问题。本发明计算构建了知识驱动的知识图谱，以图结构的形式将先验知识嵌入图卷积网络中进行推理，解决了工程应用中对于数据存在依赖以及“黑盒子”问题，具有可解释性的特点。

为实现本发明的目的，本发明提供了一种基于知识引导的小样本目标检测识别方法包括：

步骤1：获取待分类的目标图像；

步骤2：基于先验知识，预先规划出所有能表示目标图像中目标的高级语义特征的基础基元，从而构成目标整体的基元空间；

步骤3：利用所述基元空间中的基础基元指导每张目标图像在语义层面上的实例分割，获得像素在基础基元上对应的超像素块，并将每个超像素块作为该目标图像的实景基元；

具体的，步骤3包括：

步骤31：利用训练好的SOLO2算法网络，生成S×S网格对应的S^2通道的实例掩码；

步骤32：利用所述基元空间中的基础基元指导所述实例掩码在语义层面上对目标图像进行实例分割，获得像素在基础基元上对应的超像素块，并将每个超像素块作为该目标图像的实景基元。

对图像训练集中的每幅目标图像进行实例分割，本发明使用SOLO2算法对输入的图像进行语义层面上的实例分割，分割得到的超像素块作为该图像的基元。

对于生成SOLO算法中的mask：

首先生成S×S网格对应的S²通道的实例掩码，最后一层以一层金字塔特征F∈R^{H ×W×E}作为输入，最后应用到一个具有S²输出通道的卷积，操作为：

M_i,j＝_i,j*

其中，G_i,j∈R^1×1×E是卷积核，M_i,j∈R^H×W是只包含一个中心位于位置(,j)的实例的最终掩码；

其次对于实例分割算法SOLO2中的损失函数为：

L＝L_cate+L_mask

其中，L_cate是语义分类的常规Focal Loss，L_mask是遮罩预测的Dice Loss。

步骤4：将目标图像的实景基元通过预设的残差神经网络进行特征提取，取出所述残差神经网路输出层的前一层的特征向量，将该特征向量作为实景基元的特征向量，并根据特征向量与基元空间的基础基元数量，构建目标图像的特征矩阵；

具体的，步骤4包括：

步骤41：构建残差神经网络，并对该残差神经网络进行训练获得训练好的残差神经网络；

步骤42：利用训练好的残差神经网络对每张目标图像的实景基元进行特征提取，以将实景基元表征为1×D的特征向量；

步骤43：根据基元空间的基础基元数量N以及特征向量的长度D，初始化全零矩阵；

步骤44：将特征向量填充在全零矩阵的对应维度上，得到特征矩阵X_i。

在具体运行时，步骤4可通过如下过程实现：

(3a)对于所获得的基元，构建残差神经网络(ResNet)对其进行特征提取，将每个实景基元表征为1×D的特征向量。在训练阶段，该过程被建模为实景基元的分类任务，通过交叉熵损失对训练集中所分割出的所有基元进行监督，从而获得不同基元的特征表达；

(3b)在ResNet训练完备后，将基元输入网络进行特征提取，并取出输出层之前一层的特征向量，作为该实景基元的特征向量，具体方法如下：

对于训练得到的ResNet残差神经网络模型，我们将倒数第二层的全连接层作为输出，保留长度为128的向量作为每个基元的特征向量，其中输出的向量长度可以根据分类空间的复杂程度做调整，当分类空间的类别相似度高，分类任务复杂时可以调高倒数第二层全连接层的结点数量，反之分类空间简单时可以调低倒数第二层全连接层的结点数量；

根据基元数量N以及(3b)中输出特征向量长度D初始化全零矩阵，利用图片基元经过(3b)中的特征提取，对全零矩阵进行填充得到特征矩阵X_i，具体方法如下：

根据构建分类空间内的基元数量N以及(3b)中输出特征向量长度D初始化全零矩阵，对于数据集中的第i张图像所提取出来的基元，将这些基元经过(3b)中特征提取之后并放入初始化矩阵的对应维度上，得到特征矩阵X_i。

步骤5：根据基础基元与语义信息的先验知识以及基础基元之间的逻辑关联的先验知识，进行语义与基础基元的逻辑关联图谱建立过程，获得知识图谱；

具体的，步骤5包括：

步骤51：根据基元空间的基础基元与语义信息的先验知识，对基础基元与其语义信息进行映射；

步骤52：归纳相同的基础基元，并构成基础基元对应的语义关联对；

步骤53：根据语义关联对以及基础基元之间的拓扑关系，构建知识图谱。

在具体运行时，步骤5可通过如下过程实现：

(4a)通过先验知识，即由经验而归纳得到的对于事物及其属性的认识，以指导基元与其语义信息进行映射，归纳相同的基元并构成基元对应的语义关联对，进而消除语义多意性。

(4b)通过先验知识，明确各个基元之间的联系，图结构使将各个语义关联对之间的拓扑关系得以体现，使得模型不仅是在基元层面，更是在目标层面实现了对于语义关联的认知。

步骤6：利用知识图谱以及每个目标图像的特征矩阵，通过训练好的图卷积网络对该目标图像对应的特征矩阵进行类别的推理预测，获得目标图像的分类结果。

其中，训练图卷积网络的过程为根据训练集进行迭代训练，使用测试集对训练后的图卷积网络进行测试，最终得到训练好的图卷积网络。

具体的，步骤6包括：

步骤61：对于知识图谱中一个具有N个节点，且每个节点都储存有D维特征的图结构数据，通过对知识图谱中的节点进行点亮可以得到一个维数为N×D的特征矩阵X；

其中，每个节点之间的邻接关系构成一个维数是N×N的邻接矩阵A；

步骤62：将特征矩阵X以及邻接矩阵A作为图卷积网络的输入，通过图卷积网络进行特征矩阵的更新，基于所述图卷积网络的层之间的传播公式从而更新各层的特征矩阵；

图卷积网络层与层之间的传播公式可以表示为：

其中，

I代表单位矩阵，

是

的度矩阵，W⁽⁾是图卷积网络中第l层的可学习权重，H⁽⁾是图卷积网络中第l层的特征矩阵，当l＝0时，H⁽⁾即为输入X，σ是非线性激活函数。

步骤63：基于更新的特征矩阵X通过训练好图卷积网络输出分类结果，并根据分类结果预测目标图像的分类结果，从而实现知识驱动的可解释的小样本推理。

步骤63包括：

步骤631：图卷积网络中的第一层对输入的特征矩阵X图卷积操作，利用ReLU激活函数输出特征矩阵H；

其中，第一层输出为

ReLU激活函数为：f(x)＝max(0,x)；

步骤632：第二层对特征矩阵H进行图卷积操作，利用softmax激活函数输出结果；

第二层的输出结果为：

其中，softmax激活函数为：

步骤633：根据第一层的输出以及第二层的输出，确定图卷积网络的推理公式；

考虑到样本数量与模型训练与推理效率，本发明构建了两层的图卷积网络，如果分类空间的复杂度提高，可以增加图卷积网络的层数，从而让图卷积模型完成更复杂的推理；

由此图卷积模型在输入中，根据特征矩阵X生成方法将目标存在的基元以矩阵形式输入，从而包含了目标语义对于图谱节点的激活状态，邻接矩阵A描述了基于先验知识构建的语义基元之间的拓扑关系。该图卷积网络的推理公式可表示为：

其中，Z为图卷积网络的输出结果，f代表网络的推理函数，

ReLU和softmax表示激活函数；

步骤634：利用所述推理公式推理图卷积网络输出的分类结果，并根据分类结果预测目标图像的分类结果，从而实现知识驱动的可解释的小样本推理。

本发明提供了一种基于知识引导的小样本目标检测识别方法，通过获取待分类目标的图像训练集；对每张目标图像进行语义层面上的实例分割，作为实景基元，通过预设的残差神经网络进行特征提取得到实景基元的特征向量，并根据特征向量与基元空间的基础基元数量，构建目标图像的特征矩阵；根据基础基元与语义信息的先验知识以及实景基元之间的先验知识，将先验的逻辑知识和语义信息以知识图谱的形式进行推理；本发明通过关联图像特征与语义基元，构建了知识驱动的知识图谱，有效缓解模型对于数据的依赖，极大地提高了小样本场景下的准确性，可以解决现有技术依赖于大量精准标注的数据，在小样本条件下其性能往往损失明显的问题。

下面结合仿真实验对本发明的效果做进一步的说明：

1.仿真实验条件：

本发明的仿真实验的硬件平台为：处理器为Intel(R)Xeon(R)CPU E5-2680v3，主频为2.90GHz，内存16GB，GPU为RTX 2080Ti。

本发明的仿真实验的软件平台为：Windows 10操作系统、python3.8、PyTorch1.7.0和pycharm2017。

本发明仿真实验在小样本军事目标识别任务上对于所提算法进行了实验验证。本次实验中所使用军事目标识别数据集搜集自网络，共包含五类目标，分别为坦克、装甲车、卡车、伪装目标、吉普车。其中，有274张图片用于训练模型，118张图片用于验证算法性能，每张图像大小为300×300×3像素，图像格式为JPEG，各类目标样本数量见表1：

表1数据集各类样本数量

结合表1可以看出，整个数据集符合小样本场景下的识别任务要求，个别类别如吉普的数量的样本非常少。

2.仿真内容及其结果分析：

本发明仿真实验是选取了经典的分类网络ResNet-50、DenseNet-121以及ShuffleNet v2作为对比算法。实验结果如表2所示：

表2数据集各类样本数量

结合表2可以看出，本发明方法取得了88.2％的分类准确率，与现有结果最好的分类网络DenseNet-121相比，精度提升了25.5％，这直观体现了基于语义关联推理的目标识别方法的在小样本条件下的优越性。

下面结合仿真图对本发明中地提取基元步骤做进一步描述：

图2中(a)图为本发明仿真实验中提取得到的“炮台”基元，由图像可以看出，有不规则像素点组成的超像素块可以有效地表达炮塔这一语义信息，相比于直接对图像做切分操作，本发明提取出来的超像素块没有冗余像素的影响，更符合人脑地联想与推理过程。

图2中(b)图为本发明仿真实验中提取得到的“车体”基元；图2中(c)图为本发明仿真实验中提取得到的“车体”基元，这三种基元构成该坦克图像地基元，分别输入特征提取网络后将得到地特征向量放入对应的网络，示意中的图片只激活了三行，即炮塔、车体和履带的三行。

以上仿真实验表明：方法通过提取语义基元消解语义多样性、构建语义关联图谱嵌入目标多层级语义关系，以及设计基于图谱激活的推理方式增强模型可解释性，使得机器能够在知识的引导下，借鉴大脑的知识联想机制，实现可解释的小样本目标识别。具体地，本方法通过实例分割得到具有高级语义信息地基元，使用本发明的方法生成特征矩阵并且利用先验知识构成的知识图谱在图卷积网络中进行推理。同时，实验证明该方法无论是从可解释性上还是从小样本场景下的任务性能上均优于现有的识别模型，是一种高效且具有可解释性的小样本目标检测识别方法。

此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个该特征。在本发明的描述中，“多个”的含义是两个或两个以上，除非另有明确具体的限定。

尽管在此结合各实施例对本申请进行了描述，然而，在实施所要求保护的本申请过程中，本领域技术人员通过查看所述附图、公开内容、以及所附权利要求书，可理解并实现所述公开实施例的其他变化。在权利要求中，“包括”(comprising)一词不排除其他组成部分或步骤，“一”或“一个”不排除多个的情况。

以上内容是结合具体的优选实施方式对本发明所作的进一步详细说明，不能认定本发明的具体实施只局限于这些说明。对于本发明所属技术领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干简单推演或替换，都应当视为属于本发明的保护范围。

Claims (7)

1.一种基于知识引导的小样本目标检测识别方法，其特征在于，包括：

步骤1：获取待分类的目标图像；

步骤2：基于先验知识，预先规划出所有能表示目标图像中目标的高级语义特征的基础基元，从而构成目标整体的基元空间；

步骤3：利用所述基元空间中的基础基元指导每张目标图像在语义层面上的实例分割，获得像素在基础基元上对应的超像素块，并将每个超像素块作为该目标图像的实景基元；

步骤4：将目标图像的实景基元通过预设的残差神经网络进行特征提取，取出所述残差神经网路输出层的前一层的特征向量，将该特征向量作为实景基元的特征向量，并根据特征向量与基元空间的基础基元数量，构建目标图像的特征矩阵；

步骤5：根据基础基元与语义信息的先验知识以及基础基元之间的逻辑关联的先验知识，进行语义与基础基元的逻辑关联图谱建立过程，获得知识图谱；

步骤6：利用知识图谱以及每个目标图像的特征矩阵，通过训练好的图卷积网络对该目标图像对应的特征矩阵进行类别的推理预测，获得目标图像的分类结果。

2.根据权利要求1所述的一种基于知识引导的小样本目标检测识别方法，其特征在于，步骤3包括：

步骤31：利用训练好的SOLO2算法网络，生成S×S网格对应的S^2通道的实例掩码；

步骤32：利用所述基元空间中的基础基元指导所述实例掩码在语义层面上对目标图像进行实例分割，获得像素在基础基元上对应的超像素块，并将每个超像素块作为该目标图像的实景基元。

3.根据权利要求1所述的一种基于知识引导的小样本目标检测识别方法，其特征在于，步骤4包括：

步骤41：构建残差神经网络，并对该残差神经网络进行训练获得训练好的残差神经网络；

步骤42：利用训练好的残差神经网络对每张目标图像的实景基元进行特征提取，以将实景基元表征为1×D的特征向量；

步骤43：根据基元空间的基础基元数量N以及特征向量的长度D，初始化全零矩阵；

步骤44：将特征向量填充在全零矩阵的对应维度上，得到特征矩阵X_i。

4.根据权利要求1所述的一种基于知识引导的小样本目标检测识别方法，其特征在于，步骤5包括：

步骤51：根据基元空间的基础基元与语义信息的先验知识，对基础基元与其语义信息进行映射；

步骤52：归纳相同的基础基元，并构成基础基元对应的语义关联对；

步骤53：根据语义关联对以及基础基元之间的拓扑关系，构建知识图谱。

5.根据权利要求1所述的一种基于知识引导的小样本目标检测识别方法，其特征在于，步骤6包括：

步骤61：对于知识图谱中一个具有N个节点，且每个节点都储存有D维特征的图结构数据，通过对知识图谱中的节点进行点亮可以得到一个维数为N×D的特征矩阵X；

其中，每个节点之间的邻接关系构成一个维数是N×N的邻接矩阵A；

步骤62：将特征矩阵X以及邻接矩阵A作为训练好的图卷积网络的输入，基于所述图卷积网络的层之间的传播公式进行特征矩阵X的更新；

步骤63：基于更新的特征矩阵X通过训练好图卷积网络输出分类结果，并根据分类结果预测目标图像的分类结果，从而实现知识驱动的可解释的小样本推理。

6.根据权利要求5所述的一种基于知识引导的小样本目标检测识别方法，其特征在于，图卷积网络层与层之间的传播公式可以表示为：

其中，

I代表单位矩阵，

是

的度矩阵，W⁽⁾是图卷积网络中第l层的可学习权重，H⁽⁾是图卷积网络中第l层的特征矩阵，当l＝0时，H⁽⁾即为输入X，σ是非线性激活函数。

7.根据权利要求6所述的一种基于知识引导的小样本目标检测识别方法，其特征在于，步骤63包括：

步骤631：图卷积网络中的第一层对输入的特征矩阵X图卷积操作，利用ReLU激活函数输出特征矩阵H；

其中，第一层输出为

ReLU激活函数为：f(x)＝max(0,x)；

步骤632：第二层对特征矩阵H进行图卷积操作，利用softmax激活函数输出结果；

第二层的输出结果为：

其中，softmax激活函数为：

步骤633：根据第一层的输出以及第二层的输出，确定图卷积网络的推理公式；

所述推理公式为：

其中，Z为图卷积网络的输出结果，f代表网络的推理函数，

ReLU和softmax表示激活函数；

步骤634：利用所述推理公式推理图卷积网络输出的分类结果，并根据分类结果预测目标图像的分类结果，从而实现知识驱动的可解释的小样本推理。

Images