CN113420642A - 一种基于类别语义特征重加权的小样本目标检测方法及系统 - Google Patents

一种基于类别语义特征重加权的小样本目标检测方法及系统 Download PDF

Info

Publication number
CN113420642A
CN113420642A CN202110686586.1A CN202110686586A CN113420642A CN 113420642 A CN113420642 A CN 113420642A CN 202110686586 A CN202110686586 A CN 202110686586A CN 113420642 A CN113420642 A CN 113420642A
Authority
CN
China
Prior art keywords
category
sample
semantic
graph
features
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110686586.1A
Other languages
English (en)
Inventor
刘芳
熊怡梦
李玲玲
李鹏芳
刘旭
杜姚阳
李硕
陈璞花
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xidian University
Original Assignee
Xidian University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xidian University filed Critical Xidian University
Priority to CN202110686586.1A priority Critical patent/CN113420642A/zh
Publication of CN113420642A publication Critical patent/CN113420642A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2411—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on the proximity to a decision surface, e.g. support vector machines
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Computational Linguistics (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明公开了一种基于类别语义特征重加权的小样本目标检测方法及系统，使用类别标签的语义信息计算出基类和新类类别之间的关联性，然后根据基类和新类之间的关联程度，使用图卷积网络将基类的元特征传递给新类的元特征，使在只有少量新类数据的情况下学习到较好的新类元特征。本发明按照基类和新类类别构造支持集和查询样本；根据基类和新类类别构造类别语义图；构造类别语义嵌入模块；使用两阶段的训练方式对整个网络进行训练，该网络包括特征提取器、元学习器、类别语义嵌入模块和检测层，在PASCAL VOC上的对比实验证明了本发明的有效性。

Description

一种基于类别语义特征重加权的小样本目标检测方法及系统
技术领域
本发明属于计算机视觉技术领域，具体涉及一种基于类别语义特征重加权的小样本目标检测方法及系统。
背景技术
近几年，由于计算机硬件的快速发展，以及ImageNet等大规模带标签数据集的出现，人工智能得到了巨大的发展，使其在许多领域都超过了人类。但是，想要让人工智能像人类一样能够利用少量样本学习到新的知识并用于解决实际问题，仍然面临着许多问题与挑战。
深度学习作为一项数据驱动的技术，一般依赖于大量的训练数据才能使模型获得良好的结果。但在现实世界的真实场景中，收集大量的数据并进行相应的标注需要消耗专业人员大量的精力和时间，甚至在某些特殊的应用领域，例如罕见或重大疾病以及违禁物品的识别与检测等，标签的获取和制作过程都较困难。因此，让深度学习模型具有从少量样本中快速学习的能力成为国内外学者开始专注研究的问题，这一类问题被称为小样本学习。
目前，小样本学习方法的应用领域广泛，但基于小样本学习的目标检测领域的相关研究较少。目标检测是计算机视觉领域一个经典的任务，如何把经典的目标检测方法与小样本场景相结合也是一个研究的热点。随着小样本目标检测相关研究的深入，能够在数据匮乏的场景下解决目标检测问题，同时降低对数据的依赖，促进人工智能项目的落地，因此研究小样本场景下的目标检测任务具有一定的科研价值和实用价值。
早期，人们通过扩充样本数量来解决小样本目标检测的问题。由于原始数据集中的样本数量较少，样本的可扩充空间有限且生成的样本或特征过于相似，导致利用扩充后的数据集对模型进行训练后，模型的提升效果并不高。所以，现在更多地从学习策略出发，通过修改原始目标检测模型的结构，更多地利用少量有标签样本和待检测样本自身的信息。
目前的小样本目标检测方法主要是将小样本学习方法与成熟的目标检测框架相结合。具体可分为两种，第一种是使用度量学习的小样本学习方法，通过计算输入特征与其它类别特征之间的距离，判断输入图片所属类别，以此训练一个模块最为目标检测模型的分类头，从而实现小样本目标检测效果。第二种是使用元学习的小样本学习方法，通过在原始目标检测模型的基础上添加一个元学习器学习支持集样本的特征，并用该特征调整待检测样本的特征，然后对调整后的特征进行检测。在利用少量带标签训练样本进行目标检测时，先使用大量的基类样本训练一个基础模型，然后使用少量样本进行模型的微调，但这一训练过程中并没有充分利用基类与新类类别之间的关联性，最终，模型能够学习到一个鲁棒的基类特征表示，但新类特征的可判别性较差，特别是当新类只有1个或2个有标签的训练样本时，可以利用的自身监督信息更少，这直接影响到新类样本的检测结果。
发明内容
本发明所要解决的技术问题在于针对上述现有技术中的不足，提供一种基于类别语义特征重加权的小样本目标检测方法及系统，解决了现有的基于元学习的小样本目标检测方法中，学习基类和新类的元特征时，针对没有充分利用基类和新类类别的关联性，导致新类的元特征表达能力较差的问题。
本发明采用以下技术方案：
一种基于类别语义特征重加权的小样本目标检测方法，包括以下步骤：
S1、将数据集中的类别划分为基类和新类类别，并按照C way K shot方法构造成小样本学习任务的形式，得到支持集样本和查询样本；
S2、根据步骤S1得到的支持集样本S的类别标签构造初始类别语义图G；
S3、构建类别语义嵌入模块，并利用元学习器得到步骤S1中支持集样本的C个不同类别的元特征，将元特征和步骤S2构造的初始类别语义图G作为类别语义嵌入模块的输入，类别语义嵌入模块以元特征作为初始类别语义图节点的实际值，通过图卷积网络利用图节点之间的类别语义相似度进行图节点特征之间的融合，输出支持集样本元特征；
S4、根据步骤S3得到的支持集样本特征，与利用特征提取器获得的步骤S1中查询样本的特征F在通道维度相乘，得到C个经过通道维度调整后的查询样本特征；
S5、根据步骤S4得到的查询样本特征，进行相应类别目标物体的检测，并增加交叉熵损失函数用于对融合后的支持集样本元特征进行分类。
具体的，步骤S1中，查询样本
Figure BDA0003124799160000031
支持集样本
Figure BDA0003124799160000032
Figure BDA0003124799160000033
C为支持集样本中的类别个数，K为支持集样本中每个类别的样本个数，
Figure BDA0003124799160000034
为第i个类别的查询样本,
Figure BDA0003124799160000035
为第i个类别中的第j个支持集样本。
具体的，步骤S2具体为：
S201、利用Word2vec模型获取类别标签对应的词向量表示：
S202、根据步骤S201中得到的词向量表示计算类别标签之间的语义相似度；
S203、构建初始类别语义图G，图节点集合V对应不同的类别标签，节点之间相连边的值E表示类别标签之间的语义相似度；
S204、在基类训练阶段，按照基类类别构造初始类别语义图Gbase，在小样本微调阶段，按照全部类别构造初始类别语义图Gall。
进一步的，步骤S202中，类别标签之间的语义相似度
Figure BDA0003124799160000041
为：
Figure BDA0003124799160000042
其中，veca、vecb分别代表a和b两个类别标签的词向量表示，l表示词向量的长度。
更进一步的，数据集中每一个类别与该数据集中其它类别的类别语义相似度
Figure BDA0003124799160000043
归一化计算如下：
Figure BDA0003124799160000044
其中，
Figure BDA0003124799160000045
和
Figure BDA0003124799160000046
分别指类别a与其它类别的类别语义相似度中的最大和最小值。
具体的，步骤S3具体为：
S301、选取支持集样本全局平均池化层之后的特征
Figure BDA0003124799160000047
作为初始类别语义图G的初始节点值，与初始类别语义图G构造的邻接矩阵A作为标签知识模块的输入，并随机初始化图卷积层的参数W，邻接矩阵A由类别标签之间的语义相似度值构成的矩阵；
S302、通过类别语义模块中的两个图卷积层进行特征之间的融合过程。
进一步的，步骤S302具体为：
通过第一层图卷积层得到输出特征X1＝σ(BN(AX0W1))，X0表示支持集样本元特征的集合，BN表示批归一化，σ表示激活函数；然后将X1输入第二层图卷积，得到输出特征X2＝BN(AX1W2))；最后和初始的输入元特征进行融合X2＝X0+X2，将融合后的特征经过激活函数，得到最终的支持集样本元特征，即Xout＝σ(X2)，
Figure BDA0003124799160000051
具体的，步骤S5中，整体的Loss包括查询样本的分类损失Lc，目标框的坐标损失Lbbx，置信度损失Lobj以及支持集中样本特征的分类损失LG；具体为：
Loss＝Lc+Lbbx+Lobj+LG。
本发明的另一技术方案是，一种基于类别语义特征重加权的小样本目标检测系统，包括：
样本模块，将数据集中的类别划分为基类和新类类别，并按照C way K shot方法构造成小样本学习任务的形式，得到支持集样本和查询样本；
语义图模块，根据样本模块得到的支持集样本S的类别标签构造初始类别语义图G；
融合模块，构建类别语义嵌入模块，并利用元学习器得到样本模块中支持集样本的C个不同类别的元特征，将元特征和语义图模块构造的初始类别语义图G作为类别语义嵌入模块的输入，类别语义嵌入模块以元特征作为初始类别语义图节点的实际值，通过图卷积网络利用图节点之间的类别语义相似度进行图节点特征之间的融合，输出支持集样本元特征；
特征模块，根据融合模块得到的支持集样本特征，与利用特征提取器获得的样本模块中查询样本的特征F在通道维度相乘，得到C个经过通道维度调整后的查询样本特征；
检测模块，根据特征模块得到的查询样本特征，进行相应类别目标物体的检测，并增加交叉熵损失函数用于对融合后的支持集样本元特征进行分类。
与现有技术相比，本发明至少具有以下有益效果：
本发明一种基于类别语义特征重加权的小样本目标检测方法，相较于原始的基于特征重加权的小样本目标检测方法(FODFR)在学习基类和新类的元特征时，针对没有充分利用基类和新类类别的关联性，导致新类的元特征表达能力较差的问题，将类别之间的类别语义信息融入到支持集的元特征学习过程中，充分利用基类与新类的语义关联性，指导新类样本元特征的学习，S2中构建初始类别语义图G，充分挖掘类别标签之间的关联性，S4中借助图卷积网络的消息传播机制，进行图节点之间的信息传递，从而实现基类特征和新类特征之间的交互，将利用大量训练样本得到的鲁棒的基类特征中与新类样本有相关性的信息，传递到仅有少量训练样本的新类特征中，使得新类样本特征在训练数据不足的情况下，仍能具有较好的表达能力。本发明通过Word2Vec算法提取出类别语义信息，然后构建初始类别语义图，以类别标签为图节点，类别语义相似度为图节点的边，支持集图片对应类别的特征作为图节点的实际内容，利用图卷积网络通过类别语义相似度，将基类的特征通过相似度融合到新类特征中，增强新类特征的表达能力。为了避免经过该模块后的不同类别的特征差异性变小，对融合后的支持集样本特征进行分类，可以保持特征差异性的同时聚合不同类别样本特征中相似的信息；最终增强支持集样本元特征的表达能力，从而更好的突出查询样本中的关键特征，提高新类的检测结果。
进一步的，为了增强模型在新类上的泛化性能，根据小样本学习旨在通过少量样本对新的类学习出有效的模型这一特性，模拟小样本学习场景，将包含大量丰富带标签的基类训练数据构造成查询样本和支持集样本的形式，通过支持集样本的知识推理出查询样本类别。
进一步的，通过类别标签之间的语义相似度来构建初始类别语义图G，可以使每个类别所提取出的特征根据类别之间的语义关联性进行交互，进而达到利用基类特征丰富新类特征的目的。
进一步的，包含了相同语义信息多的词向量之间的余弦距离较大，而包含了相同语义信息少的词向量之间的余弦距离较小，所以通过类别标签对应的词向量之间的余弦距离可以度量类别之间的语义相似度。
进一步的，因为上一步计算出的语义相似度会有负数出现，并且分布区间相对较大，所以通过归一化的方式将其映射到[0,1]的区间范围内。
进一步的，类别语义嵌入模块能够利用图卷积层和初始标签语义图，使不同类别的特征根据类别之间的语义相似度，进行充分融合，从而使样本少的新类特征所包含的信息更加丰富。
进一步的，通过两层图卷积后的特征中，每个类别所对应的特征已经充分融合其他类别的特征信息，为了使最后的特征仍然保留一些每个类别独有的信息，将最后一个图卷积层输出的特征与输入类别语义嵌入模块之前的特征相加，做为类别语义嵌入模块的输出特征。
进一步的，为了让类别语义嵌入模块不过度融合其他类别的特征信息，设置了一个新的分类损失函数LG来进行约束，使类别语义嵌入模块所输出的特征中，每个类别对应的特征之间具有差异性。
综上所述，本发明先使用类别标签的语义信息计算出基类和新类类别之间的语义关联性，然后根据基类和新类之间的关联程度，使用图卷积网络将基类的元特征传递传递给新类的元特征，使在只有少量新类数据的情况下学习到较好的新类元特征，从而提高新类数据的检测效果。
下面通过附图和实施例，对本发明的技术方案做进一步的详细描述。
附图说明
图1为本发明的实现流程图；
图2为类别语义嵌入模块图；
图3为本发明的交通工具检测结果对比图；
图4为本发明的动物检测结果对比图；
图5为本发明的家居用品检测结果对比图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
应当理解，当在本说明书和所附权利要求书中使用时，术语“包括”和“包含”指示所描述特征、整体、步骤、操作、元素和/或组件的存在，但并不排除一个或多个其它特征、整体、步骤、操作、元素、组件和/或其集合的存在或添加。
还应当理解，在本发明说明书中所使用的术语仅仅是出于描述特定实施例的目的而并不意在限制本发明。如在本发明说明书和所附权利要求书中所使用的那样，除非上下文清楚地指明其它情况，否则单数形式的“一”、“一个”及“该”意在包括复数形式。
还应当进一步理解，在本发明说明书和所附权利要求书中使用的术语“和/或”是指相关联列出的项中的一个或多个的任何组合以及所有可能组合，并且包括这些组合。
在附图中示出了根据本发明公开实施例的各种结构示意图。这些图并非是按比例绘制的，其中为了清楚表达的目的，放大了某些细节，并且可能省略了某些细节。图中所示出的各种区域、层的形状及它们之间的相对大小、位置关系仅是示例性的，实际中可能由于制造公差或技术限制而有所偏差，并且本领域技术人员根据实际所需可以另外设计具有不同形状、大小、相对位置的区域/层。
本发明提供了一种基于类别语义特征重加权的小样本目标检测方法，将目标检测数据集中的类别划分为基类和新类，并构造成支持集和查询集样本的形式；构造类别语义嵌入模块；使用两阶段的训练方式对整个网络进行训练，该网络包括特征提取器、元学习器、类别语义嵌入模块和检测层；在基类训练阶段，使用基类训练数据构造的支持集样本和查询样本进行训练，并根据基类类别构造类别语义图Gbase；在小样本微调阶段，使用基类和新类构造的平衡数据构造的支持集样本和查询样本进行训练，其中基类和新类都仅有少量相同个数的带标签样本，此时根据数据集中的全部类别构造类别语义图Gall；输入新类的测试图像、新类和基类的少量带标签样本的支持集图像，得到测试图像的检测结果；本发明将类别之间的类别语义融入到支持集的元特征学习过程中，充分利用基类与新类的语义关联性，指导新类样本元特征的学习，突出查询样本中相应类别特征的表达能力从而提高最终的目标检测效果。
请参阅图1，本发明一种基于类别语义特征重加权的小样本目标检测方法，包括以下步骤：
S1、将数据集中的类别划分为基类和新类类别，并按照C way K shot方法构造成小样本学习任务的形式，即支持集样本和查询样本；
查询样本
Figure BDA0003124799160000101
支持集样本
Figure BDA0003124799160000102
Figure BDA0003124799160000103
其中，C为支持集样本中的类别个数，K为支持集样本中每个类别的样本个数，
Figure BDA0003124799160000104
为第i个类别的查询样本,
Figure BDA0003124799160000105
为第i个类别中的第j个支持集样本。
S2、根据步骤S1得到的支持集样本S的类别标签构造初始类别语义图G；
请参考图2，初始类别语义图G以类别标签为节点，类别之间的语义相似度为边，节点之间相互连接构成的，具体的构造方法如下所示。
S201、利用Word2vec模型获取类别标签对应的词向量表示：
S202、根据步骤S201中得到的词向量表示计算类别标签之间的语义相似度，计算方法如下所示：
Figure BDA0003124799160000106
其中，veca、vecb分别代表a和b两个类别标签的词向量表示，l表示词向量的长度。按照这种方式，计算数据集中每个类别标签的词向量与其它类别标签的词向量之间的语义相似度。
由于类别语义相似度是通过余弦距离的方式进行计算，该值的范围是在[-1，1]，为了避免计算过程导致特征的尺度改变，将相似度缩放到[0，1]范围，以类别标签a为例，与其它类别的类别语义相似度归一化计算方式如下：
Figure BDA0003124799160000107
其中，
Figure BDA0003124799160000108
和
Figure BDA0003124799160000109
分别指类别a与其它类别的类别语义相似度中的最大和最小值。
S203、构建初始类别语义图G，图节点集合V＝{vi|i＝1,2,…,C}对应不同的类别标签，C表示类别个数，节点之间相连边的值E＝{eij|i＝1,2,…,C；j＝1,2，…，C}表示类别标签之间的语义相似度，其中eij＝simij；
S204、在基类训练阶段，按照基类类别构造初始类别语义图Gbase，在小样本微调阶段，按照全部类别构造初始类别语义图Gall。
S3、构建类别语义嵌入模块，并利用元学习器得到步骤S1中支持集样本的C个不同类别的元特征{w1,w2,…,wi,…,wC}，将其和初始类别语义图G作为该模块的输入，该模块以元特征作为初始类别语义图节点的实际值，通过图卷积网络利用图节点之间的类别语义相似度进行图节点特征之间的融合，从而增强支持集样本元特征的表达能力，该模块输出的支持集样本元特征为
Figure BDA0003124799160000111
其中，每一个类别的元特征表示为
Figure BDA0003124799160000112
请参考图2，构造类别语义嵌入模块，该模块位于元学习器之后，主要由两个图卷积层构成。该模块的具体实现步骤为：
S301、选取支持集样本全局平均池化层之后的特征
Figure BDA0003124799160000113
作为初始类别语义图G的初始节点值，与图G构造的邻接矩阵A作为标签知识模块的输入，并随机初始化图卷积层的参数W，其中邻接矩阵A是由类别标签之间的语义相似度值构成的矩阵；
S302、通过类别语义模块中的两个图卷积层进行特征之间的融合过程，具体过程为：
首先，通过第一层图卷积层得到输出特征X1＝σ(BN(AX0W1))，其中X0表示支持集样本元特征的集合，即
Figure BDA0003124799160000114
BN表示批归一化，σ表示激活函数，然后将X1输入第二层图卷积，得到输出特征X2＝BN(AX1W2))，最后和初始的输入元特征进行融合X2＝X0+X2，将融合后的特征经过激活函数，得到最终的支持集样本元特征，即Xout＝σ(X2)，
Figure BDA0003124799160000121
Figure BDA0003124799160000122
S4、根据步骤S3得到的支持集样本特征
Figure BDA0003124799160000123
与利用特征提取器获得的步骤S1中查询样本的特征F在通道维度相乘，得到C个经过通道维度调整后的查询样本特征{F1,F2,…,Fi,…,FC}；其中，经过
Figure BDA0003124799160000124
调整后的查询样本特征为
Figure BDA0003124799160000125
S5、根据步骤S4得到的查询样本特征，进行相应类别目标物体的检测，并增加交叉熵损失函数用于对融合后的支持集样本元特征进行分类，从而保证融合后的不同类别的支持集样本特征能在最大限度地保持自身的差异性的同时充分吸收其它类别的信息。
Loss＝Lc+Lbbx+Lobj+LG
整个模型的损失函数包含四个部分：查询样本的分类损失Lc，目标框的坐标损失Lbbx，置信度损失Lobj以及支持集中样本特征的分类损失LG。
分类损失Lc，目标框的坐标损失Lbbx，置信度损失Lobj均和FODFR的一致，Lc为目标预测的类别与标签类别求交叉熵损失，Lbbx为预测的目标的坐标与标签坐标的均方差损失，Lobj则为预测出的目标框与预先设定好的anchor的IoU和标签坐标与预设的anchor的IoU的均方损失，LG为融合后的支持集样本特征的预测类别与其真实标签类别的交叉熵损失。
本发明再一个实施例中，提供一种基于类别语义特征重加权的小样本目标检测系统，该系统能够用于实现上述基于类别语义特征重加权的小样本目标检测方法，具体的，该基于类别语义特征重加权的小样本目标检测系统包括样本模块、语义图模块、融合模块、特征模块以及检测模块。
其中，样本模块，将数据集中的类别划分为基类和新类类别，并按照C way K shot方法构造成小样本学习任务的形式，得到支持集样本和查询样本；
语义图模块，根据样本模块得到的支持集样本S的类别标签构造初始类别语义图G；
融合模块，构建类别语义嵌入模块，并利用元学习器得到样本模块中支持集样本的C个不同类别的元特征，将元特征和语义图模块构造的初始类别语义图G作为类别语义嵌入模块的输入，类别语义嵌入模块以元特征作为初始类别语义图节点的实际值，通过图卷积网络利用图节点之间的类别语义相似度进行图节点特征之间的融合，输出支持集样本元特征；
特征模块，根据融合模块得到的支持集样本特征，与利用特征提取器获得的样本模块中查询样本的特征F在通道维度相乘，得到C个经过通道维度调整后的查询样本特征；
检测模块，根据特征模块得到的查询样本特征，进行相应类别目标物体的检测，并增加交叉熵损失函数用于对融合后的支持集样本元特征进行分类。
本发明再一个实施例中，提供了一种终端设备，该终端设备包括处理器以及存储器，所述存储器用于存储计算机程序，所述计算机程序包括程序指令，所述处理器用于执行所述计算机存储介质存储的程序指令。处理器可能是中央处理单元(Central ProcessingUnit，CPU)，还可以是其他通用处理器、数字信号处理器(Digital Signal Processor、DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现成可编程门阵列(Field-Programmable GateArray，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等，其是终端的计算核心以及控制核心，其适于实现一条或一条以上指令，具体适于加载并执行一条或一条以上指令从而实现相应方法流程或相应功能；本发明实施例所述的处理器可以用于基于类别语义特征重加权的小样本目标检测方法的操作，包括：
将数据集中的类别划分为基类和新类类别，并按照C way K shot方法构造成小样本学习任务的形式，得到支持集样本和查询样本；根据支持集样本S的类别标签构造初始类别语义图G；构建类别语义嵌入模块，并利用元学习器得到支持集样本的C个不同类别的元特征，将元特征和初始类别语义图G作为类别语义嵌入模块的输入，类别语义嵌入模块以元特征作为初始类别语义图节点的实际值，通过图卷积网络利用图节点之间的类别语义相似度进行图节点特征之间的融合，输出支持集样本元特征；根据支持集样本特征，与利用特征提取器获得的查询样本的特征F在通道维度相乘，得到C个经过通道维度调整后的查询样本特征；根据查询样本特征，进行相应类别目标物体的检测，并增加交叉熵损失函数用于对融合后的支持集样本元特征进行分类。
本发明再一个实施例中，本发明还提供了一种存储介质，具体为计算机可读存储介质(Memory)，所述计算机可读存储介质是终端设备中的记忆设备，用于存放程序和数据。可以理解的是，此处的计算机可读存储介质既可以包括终端设备中的内置存储介质，当然也可以包括终端设备所支持的扩展存储介质。计算机可读存储介质提供存储空间，该存储空间存储了终端的操作系统。并且，在该存储空间中还存放了适于被处理器加载并执行的一条或一条以上的指令，这些指令可以是一个或一个以上的计算机程序(包括程序代码)。需要说明的是，此处的计算机可读存储介质可以是高速RAM存储器，也可以是非不稳定的存储器(non-volatile memory)，例如至少一个磁盘存储器。
可由处理器加载并执行计算机可读存储介质中存放的一条或一条以上指令，以实现上述实施例中有关基于类别语义特征重加权的小样本目标检测方法的相应步骤；计算机可读存储介质中的一条或一条以上指令由处理器加载并执行如下步骤：
将数据集中的类别划分为基类和新类类别，并按照C way K shot方法构造成小样本学习任务的形式，得到支持集样本和查询样本；根据支持集样本S的类别标签构造初始类别语义图G；构建类别语义嵌入模块，并利用元学习器得到支持集样本的C个不同类别的元特征，将元特征和初始类别语义图G作为类别语义嵌入模块的输入，类别语义嵌入模块以元特征作为初始类别语义图节点的实际值，通过图卷积网络利用图节点之间的类别语义相似度进行图节点特征之间的融合，输出支持集样本元特征；根据支持集样本特征，与利用特征提取器获得的查询样本的特征F在通道维度相乘，得到C个经过通道维度调整后的查询样本特征；根据查询样本特征，进行相应类别目标物体的检测，并增加交叉熵损失函数用于对融合后的支持集样本元特征进行分类。
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。通常在此处附图中的描述和所示的本发明实施例的组件可以通过各种不同的配置来布置和设计。因此，以下对在附图中提供的本发明的实施例的详细描述并非旨在限制要求保护的本发明的范围，而是仅仅表示本发明的选定实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本发明的效果可通过以下仿真结果进一步说明
1.仿真条件
本发明仿真的硬件条件为：
4个8核的Intel至强E5-2650CPU，主频为2.4GHz，内存64GB，GPU为Nvidia TiTanX，GPU显存为12G；
本发明仿真所使用的数据集为PASCAL VOC 2007和2012数据集。
PASCAL VOC的训练数据集由VOC07+VOC12的训练验证集组成，总共有16551张训练图片，其测试数据集则由PASCAL VOC2007的测试集构成，总共4952张测试图片，整个PASCALVOC数据集共20个目标类别。我们选取数据集中的15类作为基类，剩下的5类作为新类，在基类训练阶段，仅使用基类数据以及它的标签信息，而在小样本微调阶段，使用训练集中一小部分数据构成一个类别平衡的数据集，该数据集由新类和基类类别样本构成，且这部分数据的每一个类别仅有K个带目标框的物体，K∈{1，2，3，5，10}。
2.仿真内容
用本发明方法在上述仿真条件下进行实验，在K＝10时，在新类测试样本上进行测试得到图3是本发明的交通工具检测结果对比图，图4是本发明的动物检测结果对比图，图5是本发明的家居用品检测结果对比图。其中，从左到右依次是标签图像、FODFR的检测结果图以及本发明方法的检测结果图。
图3是本发明的交通工具检测结果对比图，可以看出对于“bus”和“motorbike”这两个类别的目标物体，FODFR算法虽然能准确地定位和识别出图像中的目标物体，但是其置信度较低，相比于FODFR本发明融合基类中多个交通工具类别样本的特征信息，增强“bus”和“motorbike”的支持集样本特征的表达能力，不仅能正确检测出目标物体，而且可以大幅度提升目标物体的置信度得分。
图4是本发明的动物检测结果对比图，可以看出对于这“bird”和“cow”两个类别，FODFR算法的定位效果不够好，且置信度较低。本发明融合基类中多个动物类别样本特征的信息，增强“bird”和“cow”的特征的表达能力，显著提升了置信度得分，定位效果相比于FODFR有所提升。
图5本发明的家居用品检测结果对比图，新类中的家居用品仅有“sofa”，FODFR算法虽然检测出图像中的目标物体，但其置信度较低，由于基类中与“sofa”相似的目标类别较少，由于FODFR在“sofa”类的检测精度过低，因此通过本章方法仅融合少量其它类的样本特征信息也可提升其置信度分数。
PASCAL VOC的全部20类测试样本在不同K值情况下与其方法的结果对比见表1。
表1
Figure BDA0003124799160000171
Figure BDA0003124799160000181
从表1的结果看本发明的方法取得了较好的检测效果。
综上所述，本发明一种基于类别语义特征重加权的小样本目标检测方法，能够充分利用类别标签之间的语义信息，并将其融入到支持集样本元特征的学习过程中，从而指导新类样本元特征的学习，将利用大量训练样本得到的鲁棒的基类特征中与新类样本有相关性的信息，传递到仅有少量训练样本的新类特征中，使得新类样本特征在训练数据不足的情况下，仍能具有较好的表达能力，进而提高新类目标物体的检测结果。
本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
以上内容仅为说明本发明的技术思想，不能以此限定本发明的保护范围，凡是按照本发明提出的技术思想，在技术方案基础上所做的任何改动，均落入本发明权利要求书的保护范围之内。

Claims (9)

1.一种基于类别语义特征重加权的小样本目标检测方法，其特征在于，包括以下步骤：
S1、将数据集中的类别划分为基类和新类类别，并按照C way K shot方法构造成小样本学习任务的形式，得到支持集样本和查询样本；
S2、根据步骤S1得到的支持集样本S的类别标签构造初始类别语义图G；
S3、构建类别语义嵌入模块，并利用元学习器得到步骤S1中支持集样本的C个不同类别的元特征，将元特征和步骤S2构造的初始类别语义图G作为类别语义嵌入模块的输入，类别语义嵌入模块以元特征作为初始类别语义图节点的实际值，通过图卷积网络利用图节点之间的类别语义相似度进行图节点特征之间的融合，输出支持集样本元特征；
S4、根据步骤S3得到的支持集样本特征，与利用特征提取器获得的步骤S1中查询样本的特征F在通道维度相乘，得到C个经过通道维度调整后的查询样本特征；
S5、根据步骤S4得到的查询样本特征，进行相应类别目标物体的检测，并增加交叉熵损失函数用于对融合后的支持集样本元特征进行分类。
2.根据权利要求1所述的方法，其特征在于，步骤S1中，查询样本
Figure FDA0003124799150000011
Figure FDA0003124799150000012
支持集样本
Figure FDA0003124799150000013
C为支持集样本中的类别个数，K为支持集样本中每个类别的样本个数，
Figure FDA0003124799150000014
为第i个类别的查询样本，
Figure FDA0003124799150000015
为第i个类别中的第j个支持集样本。
3.根据权利要求1所述的方法，其特征在于，步骤S2具体为：
S201、利用Word2vec模型获取类别标签对应的词向量表示：
S202、根据步骤S201中得到的词向量表示计算类别标签之间的语义相似度；
S203、构建初始类别语义图G，图节点集合V对应不同的类别标签，节点之间相连边的值E表示类别标签之间的语义相似度；
S204、在基类训练阶段，按照基类类别构造初始类别语义图Gbase，在小样本微调阶段，按照全部类别构造初始类别语义图Gall。
4.根据权利要求3所述的方法，其特征在于，步骤S202中，类别标签之间的语义相似度
Figure FDA0003124799150000021
为：
Figure FDA0003124799150000022
其中，veca、vecb分别代表a和b两个类别标签的词向量表示，l表示词向量的长度。
5.根据权利要求4所述的方法，其特征在于，数据集中每一个类别与该数据集中其它类别的类别语义相似度
Figure FDA0003124799150000023
归一化计算如下：
Figure FDA0003124799150000024
其中，
Figure FDA0003124799150000025
和
Figure FDA0003124799150000026
分别指类别a与其它类别的类别语义相似度中的最大和最小值。
6.根据权利要求1所述的方法，其特征在于，步骤S3具体为：
S301、选取支持集样本全局平均池化层之后的特征
Figure FDA0003124799150000027
作为初始类别语义图G的初始节点值，与初始类别语义图G构造的邻接矩阵A作为标签知识模块的输入，并随机初始化图卷积层的参数W，邻接矩阵A由类别标签之间的语义相似度值构成的矩阵；
S302、通过类别语义模块中的两个图卷积层进行特征之间的融合过程。
7.根据权利要求6所述的方法，其特征在于，步骤S302具体为：
通过第一层图卷积层得到输出特征X1＝σ(BN(AX0W1))，X0表示支持集样本元特征的集合，BN表示批归一化，σ表示激活函数；然后将X1输入第二层图卷积，得到输出特征X2＝BN(AX1W2))；最后和初始的输入元特征进行融合X2＝X0+X2，将融合后的特征经过激活函数，得到最终的支持集样本元特征，即Xout＝σ(X2)，
Figure FDA0003124799150000031
8.根据权利要求1所述的方法，其特征在于，步骤S5中，整体的Loss包括查询样本的分类损失Lc，目标框的坐标损失Lbbx，置信度损失Lobj以及支持集中样本特征的分类损失LG；具体为：
Loss＝Lc+Lbbx+Lobj+LG。
9.一种基于类别语义特征重加权的小样本目标检测系统，其特征在于，包括：
样本模块，将数据集中的类别划分为基类和新类类别，并按照C way K shot方法构造成小样本学习任务的形式，得到支持集样本和查询样本；
语义图模块，根据样本模块得到的支持集样本S的类别标签构造初始类别语义图G；
融合模块，构建类别语义嵌入模块，并利用元学习器得到样本模块中支持集样本的C个不同类别的元特征，将元特征和语义图模块构造的初始类别语义图G作为类别语义嵌入模块的输入，类别语义嵌入模块以元特征作为初始类别语义图节点的实际值，通过图卷积网络利用图节点之间的类别语义相似度进行图节点特征之间的融合，输出支持集样本元特征；
特征模块，根据融合模块得到的支持集样本特征，与利用特征提取器获得的样本模块中查询样本的特征F在通道维度相乘，得到C个经过通道维度调整后的查询样本特征；
检测模块，根据特征模块得到的查询样本特征，进行相应类别目标物体的检测，并增加交叉熵损失函数用于对融合后的支持集样本元特征进行分类。
CN202110686586.1A 2021-06-21 2021-06-21 一种基于类别语义特征重加权的小样本目标检测方法及系统 Pending CN113420642A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110686586.1A CN113420642A (zh) 2021-06-21 2021-06-21 一种基于类别语义特征重加权的小样本目标检测方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110686586.1A CN113420642A (zh) 2021-06-21 2021-06-21 一种基于类别语义特征重加权的小样本目标检测方法及系统

Publications (1)

Publication Number Publication Date
CN113420642A true CN113420642A (zh) 2021-09-21

Family

ID=77789573

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110686586.1A Pending CN113420642A (zh) 2021-06-21 2021-06-21 一种基于类别语义特征重加权的小样本目标检测方法及系统

Country Status (1)

Country Link
CN (1) CN113420642A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114898145A (zh) * 2022-05-05 2022-08-12 上海人工智能创新中心 一种隐式新类实例的挖掘方法、装置及电子设备
CN116403071A (zh) * 2023-03-23 2023-07-07 河海大学 基于特征重构的少样本混凝土缺陷检测方法及装置
CN114898145B (zh) * 2022-05-05 2024-06-07 上海人工智能创新中心 一种隐式新类实例的挖掘方法、装置及电子设备

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107423416A (zh) * 2017-07-29 2017-12-01 福州市勘测院 一种基于实例的语义融合及多规空间数据冲突检测方法
CN110555475A (zh) * 2019-08-29 2019-12-10 华南理工大学 一种基于语义信息融合的少样本目标检测方法
CN110580500A (zh) * 2019-08-20 2019-12-17 天津大学 一种面向人物交互的网络权重生成少样本图像分类方法
US20200285896A1 (en) * 2019-03-09 2020-09-10 Tongji University Method for person re-identification based on deep model with multi-loss fusion training strategy
CN111797893A (zh) * 2020-05-26 2020-10-20 华为技术有限公司 一种神经网络的训练方法、图像分类系统及相关设备
CN112100332A (zh) * 2020-09-14 2020-12-18 腾讯科技（深圳）有限公司 词嵌入表示学习方法及装置、文本召回方法及装置
CN112183620A (zh) * 2020-09-27 2021-01-05 中国科学院自动化研究所 基于图卷积神经网络的小样本分类模型的发育方法及系统
CN112464743A (zh) * 2020-11-09 2021-03-09 西北工业大学 一种基于多尺度特征加权的小样本目标检测方法

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107423416A (zh) * 2017-07-29 2017-12-01 福州市勘测院 一种基于实例的语义融合及多规空间数据冲突检测方法
US20200285896A1 (en) * 2019-03-09 2020-09-10 Tongji University Method for person re-identification based on deep model with multi-loss fusion training strategy
CN110580500A (zh) * 2019-08-20 2019-12-17 天津大学 一种面向人物交互的网络权重生成少样本图像分类方法
CN110555475A (zh) * 2019-08-29 2019-12-10 华南理工大学 一种基于语义信息融合的少样本目标检测方法
CN111797893A (zh) * 2020-05-26 2020-10-20 华为技术有限公司 一种神经网络的训练方法、图像分类系统及相关设备
CN112100332A (zh) * 2020-09-14 2020-12-18 腾讯科技（深圳）有限公司 词嵌入表示学习方法及装置、文本召回方法及装置
CN112183620A (zh) * 2020-09-27 2021-01-05 中国科学院自动化研究所 基于图卷积神经网络的小样本分类模型的发育方法及系统
CN112464743A (zh) * 2020-11-09 2021-03-09 西北工业大学 一种基于多尺度特征加权的小样本目标检测方法

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
BINGYI KANG 等: "Few-shot Object Detection via Feature Reweighting", 《2019 IEEE/CVF INTERNATIONAL CONFERENCE ON COMPUTER VISION》 *
GEONUK KIM 等: "Few-Shot Object Detection via Knowledge Transfer", 《ARXIV:2008.12496V1》 *
李昊: "基于小样本的目标检测算法研究", 《中国优秀硕士学位论文全文数据库 信息科技辑》 *
潘兴甲 等: "小样本目标检测的研究现状", 《南京信息工程大学学报（自然科学版）》 *

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114898145A (zh) * 2022-05-05 2022-08-12 上海人工智能创新中心 一种隐式新类实例的挖掘方法、装置及电子设备
CN114898145B (zh) * 2022-05-05 2024-06-07 上海人工智能创新中心 一种隐式新类实例的挖掘方法、装置及电子设备
CN116403071A (zh) * 2023-03-23 2023-07-07 河海大学 基于特征重构的少样本混凝土缺陷检测方法及装置
CN116403071B (zh) * 2023-03-23 2024-03-26 河海大学 基于特征重构的少样本混凝土缺陷检测方法及装置

Similar Documents

Publication Publication Date Title
Liu et al. Teinet: Towards an efficient architecture for video recognition
CN111860171B (zh) 一种大规模遥感图像中不规则形状目标的检测方法及系统
CN113240039B (zh) 基于空间位置特征重加权的小样本目标检测方法及系统
CN111428733B (zh) 基于语义特征空间转换的零样本目标检测方法及系统
CN108647665A (zh) 基于深度学习的航拍车辆实时检测方法
US10685236B2 (en) Multi-model techniques to generate video metadata
CN105930402A (zh) 基于卷积神经网络的视频检索方法及系统
CN113627447B (zh) 标签识别方法、装置、计算机设备、存储介质及程序产品
CN111783712A (zh) 一种视频处理方法、装置、设备及介质
CN111259823A (zh) 一种基于卷积神经网络的色情图像识别方法
CN113378937A (zh) 一种基于自监督增强的小样本图像分类方法及系统
CN108268598A (zh) 一种基于视频图像数据的分析系统及分析方法
CN113420642A (zh) 一种基于类别语义特征重加权的小样本目标检测方法及系统
CN113239866B (zh) 一种时空特征融合与样本注意增强的人脸识别方法及系统
CN112101154B (zh) 视频分类方法、装置、计算机设备和存储介质
CN113076972A (zh) 一种基于深度学习的两阶段Logo图像检测方法及系统
Wang et al. Lightweight bilateral network for real-time semantic segmentation
CN113378722B (zh) 基于3d卷积和多级语义信息融合的行为识别方法及系统
CN113327227B (zh) 一种基于MobilenetV3的小麦头快速检测方法
CN115359296A (zh) 图像识别方法、装置、电子设备及存储介质
CN112784061A (zh) 知识图谱的构建方法、装置、计算设备及存储介质
Li et al. Volleyball movement standardization recognition model based on convolutional neural network
Yu et al. Construction of garden landscape design system based on multimodal intelligent computing and deep neural network
Lou et al. Mse-net: Pedestrian attribute recognition using mlsc and se-blocks
CN116244483B (zh) 一种基于数据合成的大规模零样本数据检索方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination