CN112819110A - 基于权重生成的增量式小样本目标检测方法及系统 - Google Patents

基于权重生成的增量式小样本目标检测方法及系统 Download PDF

Info

Publication number
CN112819110A
CN112819110A CN202110420700.6A CN202110420700A CN112819110A CN 112819110 A CN112819110 A CN 112819110A CN 202110420700 A CN202110420700 A CN 202110420700A CN 112819110 A CN112819110 A CN 112819110A
Authority
CN
China
Prior art keywords
category
new
target
sample
basic
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110420700.6A
Other languages
English (en)
Other versions
CN112819110B (zh
Inventor
刘智勇
张璐
杨旭
亓鲁
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Institute of Automation of Chinese Academy of Science
Original Assignee
Institute of Automation of Chinese Academy of Science
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Institute of Automation of Chinese Academy of Science filed Critical Institute of Automation of Chinese Academy of Science
Priority to CN202110420700.6A priority Critical patent/CN112819110B/zh
Publication of CN112819110A publication Critical patent/CN112819110A/zh
Application granted granted Critical
Publication of CN112819110B publication Critical patent/CN112819110B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/254—Fusion techniques of classification results, e.g. of results related to same input data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07—Target detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Image Analysis (AREA)

Abstract

本发明属于计算机视觉领域，具体涉及了一种基于权重生成的增量式小样本目标检测方法及系统，旨在解决现有目标检测器缺乏小样本快速学习和增量学习的能力，对标签数据依赖性强，检测器不具备开放性的问题。本发明包括：通过基础类别数据进行检测器监督训练；获取基础类别目标检测器的尺度感知和中心度感知的权重，生成基础类别响应；结合基础类别响应生成新类别权重；结合新类别数据进行基础类别目标检测器的微调训练；通过获得的基础类别和新类别的目标检测器实现增量式小样本目标检测。本发明结合尺度和中心度感知，区域特征更具代表性，目标定位更准确，模型在增量学习中可获得更好的整体性能，检测效率高、准确性和精度高。

Description

基于权重生成的增量式小样本目标检测方法及系统
技术领域
本发明属于计算机视觉领域，具体涉及了一种基于权重生成的增量式小样本目标检测方法及系统。
背景技术
作为许多计算机视觉任务中必不可少的步骤，近年来，目标检测引起了学术界和工业界广泛的关注。在深度神经网络的帮助下，目标检测领域已取得了长足的进步。但是，深度神经网络高度依赖庞大的训练数据和消耗大量人力的人工标注，而在许多实际情况下，人们并不容易得到海量标注标签。同时，当面对随着时间推进随时可能增加新的检测要求的数据流时，大多数基于深度神经网络的目标检测器都缺乏小样本快速学习和增量学习的能力。
最近，一些研究提出了在图像分类的任务中进行增量式/小样本学习的方法，但如何在更具挑战性的目标检测领域解决这种设置仍然亟待解决。考虑到上述限制，在本文中，我们针对性解决增量式小样本目标检测任务。该任务旨在仅通过几个示例对新类别目标进行检测，同时保持检测旧类的能力。这就要求新的检测器要具有注释效率和开放性，但在这一重要特性在现有技术中很少涉及。
发明内容
为了解决现有技术中的上述问题，即现有目标检测器缺乏小样本快速学习和增量学习的能力，对标签数据依赖性强，检测器不具备注释效率和开放性的问题，本发明提供了一种基于权重生成的增量式小样本目标检测方法，该方法包括：
基于获取的待检测图像，通过构建并训练好的用于基础类别和新类别目标检测的目标检测器进行前向推理的目标检测，获得目标检测结果；
其中，所述用于基础类别和新类别目标检测的目标检测器，其构建及训练方法为：
步骤S10，获取增量式小样本目标检测任务的样本数据集；所述样本数据包括基础类别样本集和新类别样本集；
步骤S20，构建目标检测器，并基于所述基础类别样本集，通过标准监督方法进行所述目标检测器的训练，获得基础类别目标检测器；
步骤S30，对于所述新类别样本集的每一个新类别样本，通过所述基础类别目标检测器的FPN网络提取尺度感知区域特征图，并基于所述尺度感知特征图提取中心度感知区域特征图；
步骤S40，对所述新类别样本集中每一个新类别样本的中心度感知区域特征图进行平均，获得新类别的最终代表性区域特征图；
步骤S50，基于所述新类别的最终代表性区域特征图，获得所述基础类别目标检测器对区域特征的基础类别响应，并进行基础类别权重组合生成新类别权重；
步骤S60，基于所述新类别权重进行所述基础类别目标检测器的微调，获得用于基础类别和新类别目标检测的目标检测器。
在一些优选的实施例中，所述基础类别目标数据集和新类别目标数据集，分别表示为：
Figure 304723DEST_PATH_IMAGE001
Figure 311993DEST_PATH_IMAGE002
其中，
Figure 306494DEST_PATH_IMAGE003
和
Figure 791833DEST_PATH_IMAGE004
分别代表基础类别目标数据集和新类别目标数据集，
Figure 820969DEST_PATH_IMAGE005
基础类别目标数据集中第
Figure 733561DEST_PATH_IMAGE006
个数据，
Figure 480938DEST_PATH_IMAGE007
为
Figure 769968DEST_PATH_IMAGE005
的标签，
Figure 653610DEST_PATH_IMAGE008
为基础类别目标数据集中 数据的总数量，
Figure 861737DEST_PATH_IMAGE009
代表新类别目标数据集中第
Figure 971776DEST_PATH_IMAGE010
个数据，
Figure 657972DEST_PATH_IMAGE011
为
Figure 537066DEST_PATH_IMAGE009
的标签，
Figure 916095DEST_PATH_IMAGE012
为新类别目标数据集中数据的总数量，
Figure 247850DEST_PATH_IMAGE013
。
在一些优选的实施例中，步骤S30中通过所述基础类别目标检测器的FPN网络提取尺度感知区域特征图，其方法为：
Figure 421560DEST_PATH_IMAGE014
Figure 279795DEST_PATH_IMAGE015
其中，
Figure 970670DEST_PATH_IMAGE016
代表新类别样本的尺度感知特征图，
Figure 648776DEST_PATH_IMAGE017
代表第
Figure 817721DEST_PATH_IMAGE018
个新类别样本的尺度，
Figure 530462DEST_PATH_IMAGE019
代表第
Figure 392238DEST_PATH_IMAGE018
个新类别样本的宽度和高度，
Figure 823220DEST_PATH_IMAGE020
为代表FPN层级的整数。
在一些优选的实施例中，所述中心度感知区域特征，其获取方法为：
步骤S311，对于所述新类别样本集中每一个新类别样本，基于该新类别样本的真值边界框，生成模型中心感知权重；
步骤S312，基于所述模型中心感知权重，结合该新类别样本的尺度感知特征图，获得该新类别样本的中心度感知区域特征图。
在一些优选的实施例中，所述中心感知权重，其计算方法为：
将新类别样本的特征的宽
Figure 795855DEST_PATH_IMAGE021
高记为
Figure 363103DEST_PATH_IMAGE022
，并计算
Figure 254835DEST_PATH_IMAGE022
空间中任一个像素位 置的掩码标量
Figure 314058DEST_PATH_IMAGE023
：
Figure 683860DEST_PATH_IMAGE024
其中，
Figure 246559DEST_PATH_IMAGE025
、
Figure 574772DEST_PATH_IMAGE026
、
Figure 590133DEST_PATH_IMAGE027
、
Figure 294784DEST_PATH_IMAGE028
分别代表从当前位置到目标区域边界的距离，
Figure 711990DEST_PATH_IMAGE029
代表求最 小值操作，
Figure 211104DEST_PATH_IMAGE030
代表求最大值操作，
Figure 713761DEST_PATH_IMAGE021
代表相乘；
遍历所述
Figure 425365DEST_PATH_IMAGE022
空间中每一个像素位置，获得对应的标量
Figure 962656DEST_PATH_IMAGE023
构成的掩码矩 阵
Figure 632672DEST_PATH_IMAGE031
；
将所述掩码矩阵
Figure 622625DEST_PATH_IMAGE032
沿第三维
Figure 403499DEST_PATH_IMAGE033
通过广播方式复制，获得掩码张量
Figure 795297DEST_PATH_IMAGE034
作为中心感知权重；
Figure 636214DEST_PATH_IMAGE035
代表第
Figure 113463DEST_PATH_IMAGE036
个新类的第
Figure 698028DEST_PATH_IMAGE018
个样本。
在一些优选的实施例中，步骤S312包括：
Figure 803388DEST_PATH_IMAGE037
其中，
Figure 690572DEST_PATH_IMAGE038
代表第
Figure 514172DEST_PATH_IMAGE036
个新类的第
Figure 777794DEST_PATH_IMAGE018
个样本的中心度感知区域特征，
Figure 3239DEST_PATH_IMAGE039
代 表逐像素相乘，
Figure 61325DEST_PATH_IMAGE016
代表第
Figure 637800DEST_PATH_IMAGE036
个新类的第
Figure 439533DEST_PATH_IMAGE018
个样本的尺度感知特征图。
在一些优选的实施例中，所述新类别的最终代表性区域特征图，其获取方法为：
Figure 253906DEST_PATH_IMAGE040
其中，
Figure 748472DEST_PATH_IMAGE041
代表第
Figure 546664DEST_PATH_IMAGE036
个新类的尺度感知区域特征，
Figure 886509DEST_PATH_IMAGE042
为样本数据的数量。
在一些优选的实施例中，所述基础类别响应，其表示为：
Figure 86547DEST_PATH_IMAGE014
Figure 752014DEST_PATH_IMAGE015
其中，
Figure 506344DEST_PATH_IMAGE041
代表第
Figure 40093DEST_PATH_IMAGE036
个新类别的最终代表性区域特征图，
Figure 970003DEST_PATH_IMAGE042
为新类别样本集中新类别 样本的数量，
Figure 665427DEST_PATH_IMAGE043
代表第
Figure 313577DEST_PATH_IMAGE036
个新类的第
Figure 385438DEST_PATH_IMAGE018
个样本的中心度感知区域特征。
在一些优选的实施例中，所述基础类别响应，其表示为：
Figure 169854DEST_PATH_IMAGE044
Figure 36179DEST_PATH_IMAGE045
其中，
Figure 171625DEST_PATH_IMAGE046
为进行
Figure 47178DEST_PATH_IMAGE033
通道的
Figure 686100DEST_PATH_IMAGE047
卷积核获得的基础类别目标检测器的 各基础类别分类权重，
Figure 723327DEST_PATH_IMAGE048
为基础类别的数量，
Figure 346069DEST_PATH_IMAGE049
代表基础类别响应，
Figure 759733DEST_PATH_IMAGE041
代表第
Figure 518741DEST_PATH_IMAGE036
个新类别 的最终代表性区域特征图，
Figure 726869DEST_PATH_IMAGE050
代表卷积运算，
Figure 571328DEST_PATH_IMAGE051
分别代表第
Figure 523103DEST_PATH_IMAGE036
个新类别的最终代 表性区域特征图
Figure 261252DEST_PATH_IMAGE041
在基础类别
Figure 781227DEST_PATH_IMAGE052
上的响应值。
在一些优选的实施例中，所述新类别权重，其表示为：
Figure 237616DEST_PATH_IMAGE053
其中，
Figure 868448DEST_PATH_IMAGE054
代表第
Figure 461104DEST_PATH_IMAGE036
个新类的新类别权重，
Figure 151979DEST_PATH_IMAGE055
代表第
Figure 830085DEST_PATH_IMAGE056
个基础类别分类权重，
Figure 49628DEST_PATH_IMAGE057
代 表第
Figure 637735DEST_PATH_IMAGE056
个基础类别响应，
Figure 358566DEST_PATH_IMAGE058
代表基础类别响应
Figure 664914DEST_PATH_IMAGE049
的L2范数。
本发明的另一方面，提出了一种基于权重生成的增量式小样本目标检测系统，该系统包括增量式小样本检测模块和模型训练模块；
所述增量式小样本检测模块，配置为基于获取的待检测图像，通过构建并训练好的用于基础类别和新类别目标检测的目标检测器进行前向推理的目标检测，获得目标检测结果；
所述模型训练模块包括训练数据获取模块、基础训练模块、尺度与中心度感知特征图提取模块、区域特征图获取模块、新类别权重计算模块和新类别模型获取模块；
所述训练数据获取模块，配置为获取增量式小样本目标检测任务的样本数据集；所述样本数据包括基础类别样本集和新类别样本集；
所述基础训练模块，配置为构建目标检测器，并基于所述基础类别样本集，通过标准监督方法进行所述目标检测器的训练，获得基础类别目标检测器；
所述尺度与中心度感知特征图提取模块，配置为对于所述新类别样本集的每一个新类别样本，通过所述基础类别目标检测器的FPN网络提取尺度感知区域特征图，并基于所述尺度感知特征图提取中心度感知区域特征图；
所述区域特征图获取模块，配置为对所述新类别样本集中每一个新类别样本的中心度感知区域特征图进行平均，获得新类别的最终代表性区域特征图；
所述新类别权重计算模块，配置为基于所述新类别的最终代表性区域特征图，获得所述基础类别目标检测器对区域特征的基础类别响应，并进行基础类别权重组合生成新类别权重；
所述新类别模型获取模块，配置为基于所述新类别权重进行所述基础类别目标检测器的微调，获得用于基础类别和新类别目标检测的目标检测器。
本发明的有益效果：
（1）本发明基于权重生成的增量式小样本目标检测方法，从生成新类的权重的角度去解决增量式小样本目标检测问题，采用最新的全卷积单阶段对象检测器（FCOS）作为基础类别检测器，充分利用其两个主要优点：①无锚框和无候选区域建议；②使用多个二元分类器而不是一个多类分类器。这些优点为基础类别检测器提供了更大的灵活性，无锚框和无候选区域建议能够更自然地适应尺度未知的新类别对象，多个二元分类器也允许后续操作中更容易地通过添加新的二元分类器的方式加入新类别。
（2）本发明基于权重生成的增量式小样本目标检测方法，采用尺度感知的权重组合策略，为权重组合选择尺度特定的、更具有代表性的区域特征，这些特征可以充分表示目标检测任务中尺度的变化，结合中心度感知的权重组合，可以产生一种以空间加权方式组合参数的蒙版，其考虑了对象检测任务中的定位能力，实现了高效、准确的小样本增量式目标检测，对带标签数据依赖性小，仅需极少量的带标签新类别样本数据，模型在新类别的样本分类中取得较好的效果。
（3）本发明基于权重生成的增量式小样本目标检测方法，在生成新类别权重获取针对新类别的目标检测器后，即使不进行微调训练，也能以有效的权重生成方式获得优于现有模型的性能，如果进行微调，其生成的权重组合可以作为较好的初始化权重，该权重可以有效加速模型收敛，从而在增量学习设置中获得更好的整体性能。
附图说明
通过阅读参照以下附图所作的对非限制性实施例所作的详细描述，本申请的其它特征、目的和优点将会变得更明显：
图1是本发明基于权重生成的增量式小样本目标检测方法的流程示意图；
图2是本发明基于权重生成的增量式小样本目标检测方法一种实施例的网络结构示意图；
图3是本发明基于权重生成的增量式小样本目标检测方法一种实施例的基于尺度的区域特征选取示意图；
图4是本发明基于权重生成的增量式小样本目标检测方法一种实施例的
Figure 762183DEST_PATH_IMAGE059
区 域特征图的掩码矩阵热图。
具体实施方式
下面结合附图和实施例对本申请作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅用于解释相关发明，而非对该发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与有关发明相关的部分。
需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本申请。
本发明提供一种基于权重生成的增量式小样本目标检测方法，采用最新的全卷积单阶段对象检测器（FCOS）作为基础检测器，因为它具有两个主要优点：（1）无锚框和无候选区域建议，（2）使用多个二元分类器而不是一个多类分类器。这些优点为检测器提供了更大的灵活性，无锚框和无候选区域建议能够更自然地适应尺度未知的新类别对象，多个二元分类器也能更容易地通过添加新的二元分类器的方式使加入新类别。
为了使用小样本数据生成新类的权重，本发明还提出了一种权重组合策略，该策略构建了与基础类和新类的联系。它通过利用基础分类器产生的新类别区域特征的响应值来重新组合基础权重，从而将学习到的信息从基础权重通过特征的响应传递到新类别。为了获得更具代表性的新类别区域特征，本发明进一步考虑了目标检测任务中的两个典型特征：（1）目标的尺度变化；（2）模型在整个特征图上而非代表全图的矢量上获得检测结果。具体而言，对于图像分类任务，通常输入图像或对象的大小会被调整或裁剪为特定尺度（例如224×224），以便于卷积神经网络（CNN）进行处理。但是，在目标检测任务中，图像可能包含具有多个尺度的多个目标，因此，比例因实例而异。在通用目标检测中，近年来解决多尺度问题的一个较为有效的方案是特征金字塔网络，它通过生成一系列特征金字塔以应对从小到大的尺度变化。受此启发，本发明在权重生成过程中，将不同尺度的目标分配给其相应的特征金字塔级别，以实现在权重组合时更好具有代表性的、尺度特定的特征表示。此外，与使用矢量进行最终预测的图像分类不同，目标检测模型基于特征图的整个空间像素获得检测结果。这意味着特征图上的每个像素都有潜力获得高置信度的输出。因此，本发明们通过计算出中心度掩模加权后的区域特征进行中心度感知的权重组合。该策略的目的是使区域特征更关注中心点，因为它们往往能够获得更好的定位结果。在这些设置下，本发明获取的模型在具有挑战性的MS COCO和PASCAL VOC数据集上进行了广泛的实验，证明了该方法的有效性。在没有任何微调的情况下，本发明方法以有效的权重生成方式得到了优于以前的方法的性能。此外，如果有条件进行微调，本发明提出的权重组合可以作为较好的初始化权重，该权重可以有效加速模型收敛，从而在增量学习设置中获得更好的整体性能。
本发明的一种基于权重生成的增量式小样本目标检测方法，该方法包括：
基于获取的待检测图像，通过构建并训练好的用于基础类别和新类别目标检测的目标检测器进行前向推理的目标检测，获得目标检测结果；
其中，所述用于基础类别和新类别目标检测的目标检测器，其构建及训练方法为：
步骤S10，获取增量式小样本目标检测任务的样本数据集；所述样本数据包括基础类别样本集和新类别样本集；
步骤S20，构建目标检测器，并基于所述基础类别样本集，通过标准监督方法进行所述目标检测器的训练，获得基础类别目标检测器；
步骤S30，对于所述新类别样本集的每一个新类别样本，通过所述基础类别目标检测器的FPN网络提取尺度感知区域特征图，并基于所述尺度感知特征图提取中心度感知区域特征图；
步骤S40，对所述新类别样本集中每一个新类别样本的中心度感知区域特征图进行平均，获得新类别的最终代表性区域特征图；
步骤S50，基于所述新类别的最终代表性区域特征图，获得所述基础类别目标检测器对区域特征的基础类别响应，并进行基础类别权重组合生成新类别权重；
步骤S60，基于所述新类别权重进行所述基础类别目标检测器的微调，获得用于基础类别和新类别目标检测的目标检测器。
为了更清晰地对本发明基于权重生成的增量式小样本目标检测方法进行说明，下面结合图1对本发明实施例中各步骤展开详述。
本发明第一实施例的基于权重生成的增量式小样本目标检测方法，各步骤详细描述如下：
基于获取的待检测图像，通过构建并训练好的用于基础类别和新类别目标检测的目标检测器进行前向推理的目标检测，获得目标检测结果；
其中，所述用于基础类别和新类别目标检测的目标检测器，其构建及训练方法为：
步骤S10，获取增量式小样本目标检测任务的样本数据集；所述样本数据包括基础 类别
Figure 204796DEST_PATH_IMAGE060
样本集
Figure 362108DEST_PATH_IMAGE003
和新类别
Figure 749227DEST_PATH_IMAGE061
样本集
Figure 525553DEST_PATH_IMAGE004
，如式（1）、式（2）所示：
Figure 212887DEST_PATH_IMAGE062
Figure 416466DEST_PATH_IMAGE063
其中，
Figure 556460DEST_PATH_IMAGE003
和
Figure 870898DEST_PATH_IMAGE004
分别代表基础类别样本集和新类别样本集，
Figure 412738DEST_PATH_IMAGE005
基础类别 样本集中第
Figure 787219DEST_PATH_IMAGE006
个样本，
Figure 148930DEST_PATH_IMAGE007
为
Figure 532638DEST_PATH_IMAGE005
的标签（类别和边界框坐标），
Figure 928984DEST_PATH_IMAGE008
为基础类别样本集 中样本的总数量，
Figure 474366DEST_PATH_IMAGE009
代表新类别样本集中第
Figure 323373DEST_PATH_IMAGE010
个数据，
Figure 245193DEST_PATH_IMAGE011
为
Figure 496046DEST_PATH_IMAGE009
的标签（类别和 边界框坐标），
Figure 336963DEST_PATH_IMAGE012
为新类别样本集中样本的总数量，
Figure 548632DEST_PATH_IMAGE013
。同时，两组样本 是不相交的，新类将在无法重新访问基础类样本的情况下增量式地加入。
基类的图像集合是
Figure 133198DEST_PATH_IMAGE064
。小样本的新类图像集合
Figure 379502DEST_PATH_IMAGE065
只包 含很少的新类别训练图像，以确保每个新类别目标仅具有
Figure 125741DEST_PATH_IMAGE042
个（例如1，5 和 10 ）带标注的 目标实例。值得注意的是，
Figure 90286DEST_PATH_IMAGE066
和
Figure 212963DEST_PATH_IMAGE067
可以共存于单个图像
Figure 579354DEST_PATH_IMAGE068
中，但是不能同时访问到它 们的标签，因为基础类别和新类别的获取是有先后顺序的。
Figure 762073DEST_PATH_IMAGE066
包含足够的基础类样本， 而
Figure 948335DEST_PATH_IMAGE067
代表仅包含少量新类别样本，即
Figure 609123DEST_PATH_IMAGE008
远大于
Figure 954654DEST_PATH_IMAGE012
。
步骤S20，构建目标检测器，并基于所述基础类别样本集，通过标准监督方法进行所述目标检测器的训练，获得基础类别目标检测器。
如图2所示，为本发明基于权重生成的增量式小样本目标检测方法一种实施例的网络结构示意图，检测器可分为五个主要部分：主干网络、特征金字塔网络、边界框回归分支、中心度估计分支和分类分支，其中主干网络、特征金字塔网络、边界框回归分支、中心度估计分支可被视作与类别无关的结构，因为它们可以由所有类别共享，因此，将检测器增加新类时，网络最大的变换是加入新的分类分支，因此，本发明将增量式目标检测过程视为生成新类别分类分支权重的过程，大大减少网络复杂度，进一步减少了加入新类别后的计算开销。
为了传递知识并建立基础类和新类之间的联系，本发明使用基础分类器在新类别样本的代表性区域特征上产生的响应值来重组基础分类器权重。一个直观的动机是，在分类时，相似的类别可以共享更多的可区分特征。例如，与不同大类别中的目标（例如牛和汽车）相比，相同大类别（例如牛和马）中的目标通常具有相似的外观和上下文信息，因此，其中一种目标（例如马）的分类权重也可以帮助区分该大类别中另一目标（例如牛），但对于其他大类别中目标（例如汽车）的权重则很难做出贡献。
该步骤的目的是训练可以较好地检测基础类别的检测器，训练样本使用基础图像 集合
Figure 183641DEST_PATH_IMAGE066
。由于
Figure 981833DEST_PATH_IMAGE066
类别中的基础类别样本较为充足，这里使用标准的监督训练方式。训 练完成后，可以得到相应的基础类别目标检测器。
步骤S30，步骤S30，对于所述新类别样本集的每一个新类别样本，通过所述基础类别目标检测器的FPN网络提取尺度感知区域特征图，并基于所述尺度感知特征图提取中心度感知区域特征图。
本发明设计了一种基于尺度的区域特征选取策略，以选择更具代表性的区域特征。如图3所示，为本发明基于权重生成的增量式小样本目标检测方法一种实施例的基于尺度的区域特征选取示意图，为了展示清晰，仅画出了图像块（一个目标的感兴趣区域）而不是整个图像。具有不同尺度的目标将分配给不同的金字塔等级。在本发明检测器的实现中，FPN包括5个层级，P3、P4、P5、P6、P7，共具有5个不同的特征步长：分别为8、16、32、64、128。其中，步长较小（例如8）的特征图包含更多细节信息，而步长较大（例如128）的特征图则能够提供更强的语义信息。
给定第
Figure 587258DEST_PATH_IMAGE036
个类别的第
Figure 521716DEST_PATH_IMAGE018
个实例的真值边界框，可以在FPN的各个层上，通过张量切 片来获取样本的区域特征图
Figure 921604DEST_PATH_IMAGE069
，其中一种计算代表性区域特征图的简单 方法是在所有FPN层上求平均值，如式（3）所示：
Figure 207092DEST_PATH_IMAGE070
其中，
Figure 616208DEST_PATH_IMAGE071
为代表FPN层级的整数，
Figure 670752DEST_PATH_IMAGE035
代表第
Figure 100596DEST_PATH_IMAGE036
个新类的第
Figure 748746DEST_PATH_IMAGE018
个样本。
为了选择更加合理的、在特点尺度上的区域特征，不同于式（3）所示的简单求平均 方法，本发明以分而治之的方式构造
Figure 820607DEST_PATH_IMAGE016
：将较大尺度的目标分配给较高层级的特征金字 塔，将较小的目标分配给较低的层级，在本发明中，将
Figure 339444DEST_PATH_IMAGE072
、
Figure 471348DEST_PATH_IMAGE073
、
Figure 341215DEST_PATH_IMAGE074
、
Figure 216768DEST_PATH_IMAGE075
、
Figure 855690DEST_PATH_IMAGE076
的尺度分别分配至P3、P4、P5、P6、P7层，由此获得第
Figure 892917DEST_PATH_IMAGE036
个新类的第
Figure 374713DEST_PATH_IMAGE018
个样本的尺度感知（Scale-Aware）区域特征图
Figure 194902DEST_PATH_IMAGE016
，如式（4）和式（5）所示：
Figure 953911DEST_PATH_IMAGE077
Figure 427617DEST_PATH_IMAGE078
其中，
Figure 272076DEST_PATH_IMAGE016
代表新类别样本的尺度感知特征图，
Figure 223852DEST_PATH_IMAGE017
代表第
Figure 837367DEST_PATH_IMAGE018
个新类别样本的尺度，
Figure 481975DEST_PATH_IMAGE019
代表第
Figure 813730DEST_PATH_IMAGE018
个新类别样本的宽度和高度，
Figure 569197DEST_PATH_IMAGE020
为代表FPN层级的整数。
与使用一个特征向量进行最终分类的图像分类任务不同，目标检测模型的预测基于整个相关的特征图。 这意味着，特征图上的每个像素都有潜力产生具有高置信度的预测结果。 此外，在目标检测任务中，边界框定位的质量至关重要，通常使用交并比（IoU，Intersection over Union）来评估。因此，希望具有较高置信度的点能够更好地回归。由于区域中心点往往会获得较好的回归结果，本发明基于中心度对目标区域中不同位置的特征进行聚合，以使代表性区域特征更加关注目标区域中心点。
中心度感知区域特征，其获取方法为：
步骤S311，对于所述新类别样本集中每一个新类别样本，基于该新类别样本的真值边界框，生成模型中心感知权重：
将新类别样本的特征的宽
Figure 161852DEST_PATH_IMAGE021
高记为
Figure 587148DEST_PATH_IMAGE022
，并计算
Figure 530834DEST_PATH_IMAGE022
空间中任一个像素位 置的掩码标量
Figure 965357DEST_PATH_IMAGE023
，如式（6）所示：
Figure 678098DEST_PATH_IMAGE079
其中，
Figure 539875DEST_PATH_IMAGE025
、
Figure 439698DEST_PATH_IMAGE026
、
Figure 236552DEST_PATH_IMAGE027
、
Figure 69379DEST_PATH_IMAGE028
分别代表从当前位置到目标区域边界的距离，
Figure 102057DEST_PATH_IMAGE029
代表求最 小值操作，
Figure 754755DEST_PATH_IMAGE030
代表求最大值操作，
Figure 390136DEST_PATH_IMAGE021
代表相乘；
遍历所述
Figure 952835DEST_PATH_IMAGE022
空间中每一个像素位置，获得对应的标量
Figure 281048DEST_PATH_IMAGE023
构成的掩码矩 阵
Figure 296409DEST_PATH_IMAGE031
；
如果一个目标生成了一个
Figure 735480DEST_PATH_IMAGE059
的特征图（除以特征步长后），那么最大的权重将 给到中心点，其余点的权重随着像素到中心距离的增加而减小。
将所述掩码矩阵
Figure 152686DEST_PATH_IMAGE032
沿第三维
Figure 386222DEST_PATH_IMAGE033
（
Figure 888878DEST_PATH_IMAGE080
）通过广播方式复制，获得掩码 张量
Figure 131641DEST_PATH_IMAGE034
作为中心感知权重；
Figure 403353DEST_PATH_IMAGE035
代表第
Figure 73369DEST_PATH_IMAGE036
个新类的第
Figure 63322DEST_PATH_IMAGE018
个样本。
步骤S312，基于所述模型中心感知权重，结合该新类别样本的尺度感知特征图，获得该新类别样本的中心度感知区域特征图，如式（7）所示：
Figure 844196DEST_PATH_IMAGE081
其中，
Figure 95049DEST_PATH_IMAGE038
代表基础类别目标检测器的中心度感知区域特征，
Figure 811332DEST_PATH_IMAGE039
代表逐 像素相乘，
Figure 413215DEST_PATH_IMAGE016
代表样本数据的特征。即通过中心感知权重
Figure 873146DEST_PATH_IMAGE082
对样本数据的特征
Figure 244084DEST_PATH_IMAGE016
进行了空间聚合，获得中心度感知区域特征
Figure 865690DEST_PATH_IMAGE038
。
如图4所示，为本发明基于权重生成的增量式小样本目标检测方法一种实施例的
Figure 954868DEST_PATH_IMAGE059
区域特征图的掩码矩阵热图，其右边的灰度渐变条和刻度表示以不同的灰度代表不 同的权重，以靠近中心的点为例，
Figure 952911DEST_PATH_IMAGE083
，
Figure 178356DEST_PATH_IMAGE084
，
Figure 502021DEST_PATH_IMAGE085
，则该点的
Figure 812917DEST_PATH_IMAGE023
为0.77，即中心度权重为0.77。
步骤S40，对所述新类别样本集中每一个新类别样本的中心度感知区域特征图进行平均，获得新类别的最终代表性区域特征图。
通过对
Figure 473706DEST_PATH_IMAGE042
个样本数据的中心度感知区域特征
Figure 694602DEST_PATH_IMAGE043
进行平均，获得第
Figure 48223DEST_PATH_IMAGE036
个新类的尺度 感知区域特征，如式（8）所示：
Figure 721781DEST_PATH_IMAGE086
其中，
Figure 451840DEST_PATH_IMAGE041
代表第
Figure 527243DEST_PATH_IMAGE036
个新类别的最终代表性区域特征图，
Figure 51766DEST_PATH_IMAGE042
为新类别样本集中新类别 样本的数量，
Figure 212620DEST_PATH_IMAGE043
代表第
Figure 480790DEST_PATH_IMAGE036
个新类的第
Figure 145121DEST_PATH_IMAGE018
个样本的中心度感知区域特征。
步骤S50，基于所述新类别的最终代表性区域特征图，获得所述基础类别目标检测器对区域特征的基础类别响应，并进行基础类别权重组合生成新类别权重。
基础类别权重组合，其表示如式（9）所示：
Figure 106123DEST_PATH_IMAGE087
其中，
Figure 754273DEST_PATH_IMAGE046
为进行
Figure 560555DEST_PATH_IMAGE033
通道的
Figure 610551DEST_PATH_IMAGE047
卷积核获得的基础类别目标检测器的 各基础类别分类权重，
Figure 883401DEST_PATH_IMAGE048
为基础类别的数量。
将新类别权重中的偏差值初始化设置为
Figure 143481DEST_PATH_IMAGE088
，并将
Figure 159978DEST_PATH_IMAGE089
设 置为0.01，从而基础类别响应如式（10）所示：
Figure 64480DEST_PATH_IMAGE090
其中，
Figure 367286DEST_PATH_IMAGE049
代表基础类别响应，
Figure 724449DEST_PATH_IMAGE041
代表第
Figure 138113DEST_PATH_IMAGE036
个新类的尺度感知区域特征，
Figure 756176DEST_PATH_IMAGE050
代表卷 积运算
Figure 105249DEST_PATH_IMAGE051
分别代表第
Figure 74342DEST_PATH_IMAGE036
个新类别的最终代表性区域特征图
Figure 901483DEST_PATH_IMAGE041
在基础类别
Figure 905211DEST_PATH_IMAGE052
上的响应值。
当给定
Figure 425186DEST_PATH_IMAGE036
个新类别的最终代表性区域特征图
Figure 615995DEST_PATH_IMAGE091
，则能计算获取相应的 新类别权重
Figure 512407DEST_PATH_IMAGE092
。
Figure 839483DEST_PATH_IMAGE054
的计算方法表示如式（11）所示：
Figure 530359DEST_PATH_IMAGE093
其中，
Figure 474044DEST_PATH_IMAGE054
代表第
Figure 908568DEST_PATH_IMAGE036
个新类的新类别权重，
Figure 621309DEST_PATH_IMAGE055
代表第
Figure 217506DEST_PATH_IMAGE056
个基础类别分类权重，
Figure 382908DEST_PATH_IMAGE057
代 表第
Figure 480177DEST_PATH_IMAGE056
个基础类别响应，
Figure 188370DEST_PATH_IMAGE058
代表基础类别响应
Figure 80103DEST_PATH_IMAGE049
的L2范数。
每个新类别的权重
Figure 862028DEST_PATH_IMAGE094
获取之后，得到所有新类别的权重
Figure 762988DEST_PATH_IMAGE095
，如式（12）所示：
Figure 794529DEST_PATH_IMAGE096
由于权重是卷积核，因此可以使用级联的方式将基础类别权重和新类别权重统一 至
Figure 122742DEST_PATH_IMAGE097
，如式（13）所示：
Figure 138103DEST_PATH_IMAGE098
通过此方式，本发明最终的目标检测器实现了检测类别的增量，这个过程仅引入 了很少的额外参数（
Figure 842753DEST_PATH_IMAGE095
和相应的偏差值）即可同时检测基础类别和新类别。
由上述过程可知，新类别的最终代表性区域特征图
Figure 259959DEST_PATH_IMAGE041
是生成适当新类别权重的关 键步骤，本发明通过基于尺度的区域特征选取和基于中心度的区域特征聚合获得了更具代 表性区域特征图
Figure 493495DEST_PATH_IMAGE041
，从而能够快速有效地获取更适当的新类别权重，进而在保证检测精度 与准确性的前提下提升了目标检测器从基础类别检测到新类别检测的效率。
步骤S60，基于所述新类别权重进行所述基础类别目标检测器的微调，获得用于基础类别和新类别目标检测的目标检测器。
在没有任何微调的情况下，本发明方法以有效的权重生成方式得到了优于以前的方法的性能。此外，如果有条件进行微调，本发明提出的权重组合可以作为较好的初始化权重，该权重可以有效加速模型收敛，从而在增量学习设置中获得更好的整体性能。
上述实施例中虽然将各个步骤按照上述先后次序的方式进行了描述，但是本领域技术人员可以理解，为了实现本实施例的效果，不同的步骤之间不必按照这样的次序执行，其可以同时(并行)执行或以颠倒的次序执行，这些简单的变化都在本发明的保护范围之内。
本发明第二实施例的基于权重生成的增量式小样本目标检测系统，该系统包括增量式小样本检测模块和模型训练模块；
所述增量式小样本检测模块，配置为基于获取的待检测图像，通过构建并训练好的用于基础类别和新类别目标检测的目标检测器进行前向推理的目标检测，获得目标检测结果；
所述模型训练模块包括训练数据获取模块、基础训练模块、尺度与中心度感知特征图提取模块、区域特征图获取模块、新类别权重计算模块和新类别模型获取模块；
所述训练数据获取模块，配置为获取增量式小样本目标检测任务的样本数据集；所述样本数据包括基础类别样本集和新类别样本集；
所述基础训练模块，配置为构建目标检测器，并基于所述基础类别样本集，通过标准监督方法进行所述目标检测器的训练，获得基础类别目标检测器；
所述尺度与中心度感知特征图提取模块，配置为对于所述新类别样本集的每一个新类别样本，通过所述基础类别目标检测器的FPN网络提取尺度感知区域特征图，并基于所述尺度感知特征图提取中心度感知区域特征图；
所述区域特征图获取模块，配置为对所述新类别样本集中每一个新类别样本的中心度感知区域特征图进行平均，获得新类别的最终代表性区域特征图；
所述新类别权重计算模块，配置为基于所述新类别的最终代表性区域特征图，获得所述基础类别目标检测器对区域特征的基础类别响应，并进行基础类别权重组合生成新类别权重；
所述新类别模型获取模块，配置为基于所述新类别权重进行所述基础类别目标检测器的微调，获得用于基础类别和新类别目标检测的目标检测器。
所属技术领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统的具体工作过程及有关说明，可以参考前述方法实施例中的对应过程，在此不再赘述。
需要说明的是，上述实施例提供的基于权重生成的增量式小样本目标检测系统，仅以上述各功能模块的划分进行举例说明，在实际应用中，可以根据需要而将上述功能分配由不同的功能模块来完成，即将本发明实施例中的模块或者步骤再分解或者组合，例如，上述实施例的模块可以合并为一个模块，也可以进一步拆分成多个子模块，以完成以上描述的全部或者部分功能。对于本发明实施例中涉及的模块、步骤的名称，仅仅是为了区分各个模块或者步骤，不视为对本发明的不当限定。
本发明第三实施例的一种电子设备，包括：
至少一个处理器；以及
与至少一个所述处理器通信连接的存储器；其中，
所述存储器存储有可被所述处理器执行的指令，所述指令用于被所述处理器执行以实现上述的基于权重生成的增量式小样本目标检测方法。
本发明第四实施例的一种计算机可读存储介质，所述计算机可读存储介质存储有计算机指令，所述计算机指令用于被所述计算机执行以实现上述的基于权重生成的增量式小样本目标检测方法。
所属技术领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的存储装置、处理装置的具体工作过程及有关说明，可以参考前述方法实施例中的对应过程，在此不再赘述。
本领域技术人员应该能够意识到，结合本文中所公开的实施例描述的各示例的模块、方法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，软件模块、方法步骤对应的程序可以置于随机存储器（RAM）、内存、只读存储器（ROM）、电可编程ROM、电可擦除可编程ROM、寄存器、硬盘、可移动磁盘、CD-ROM、或技术领域内所公知的任意其它形式的存储介质中。为了清楚地说明电子硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以电子硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。本领域技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。
术语“第一”、 “第二”等是用于区别类似的对象，而不是用于描述或表示特定的顺序或先后次序。
术语“包括”或者任何其它类似用语旨在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备/装置不仅包括那些要素，而且还包括没有明确列出的其它要素，或者还包括这些过程、方法、物品或者设备/装置所固有的要素。
至此，已经结合附图所示的优选实施方式描述了本发明的技术方案，但是，本领域技术人员容易理解的是，本发明的保护范围显然不局限于这些具体实施方式。在不偏离本发明的原理的前提下，本领域技术人员可以对相关技术特征做出等同的更改或替换，这些更改或替换之后的技术方案都将落入本发明的保护范围之内。

Claims (10)

1.一种基于权重生成的增量式小样本目标检测方法，其特征在于，该方法包括：
基于获取的待检测图像，通过构建并训练好的用于基础类别和新类别目标检测的目标检测器进行前向推理的目标检测，获得目标检测结果；
其中，所述用于基础类别和新类别目标检测的目标检测器，其构建及训练方法为：
步骤S10，获取增量式小样本目标检测任务的样本数据集；所述样本数据包括基础类别样本集和新类别样本集；
步骤S20，构建目标检测器，并基于所述基础类别样本集，通过标准监督方法进行所述目标检测器的训练，获得基础类别目标检测器；
步骤S30，对于所述新类别样本集的每一个新类别样本，通过所述基础类别目标检测器的FPN网络提取尺度感知区域特征图，并基于所述尺度感知特征图提取中心度感知区域特征图；
步骤S40，对所述新类别样本集中每一个新类别样本的中心度感知区域特征图进行平均，获得新类别的最终代表性区域特征图；
步骤S50，基于所述新类别的最终代表性区域特征图，获得所述基础类别目标检测器对区域特征的基础类别响应，并进行基础类别权重组合生成新类别权重；
步骤S60，基于所述新类别权重进行所述基础类别目标检测器的微调，获得用于基础类别和新类别目标检测的目标检测器。
2.根据权利要求1所述的基于权重生成的增量式小样本目标检测方法，其特征在于，所述基础类别目标数据集和新类别目标数据集，分别表示为：
Figure 745953DEST_PATH_IMAGE001
Figure 600776DEST_PATH_IMAGE002
其中，
Figure 911672DEST_PATH_IMAGE003
和
Figure 713406DEST_PATH_IMAGE004
分别代表基础类别目标数据集和新类别目标数据集，
Figure 58937DEST_PATH_IMAGE005
基础 类别目标数据集中第
Figure 84661DEST_PATH_IMAGE006
个数据，
Figure 758219DEST_PATH_IMAGE007
为
Figure 488278DEST_PATH_IMAGE005
的标签，
Figure 563681DEST_PATH_IMAGE008
为基础类别目标数据集中数据 的总数量，
Figure 822624DEST_PATH_IMAGE009
代表新类别目标数据集中第
Figure 983478DEST_PATH_IMAGE010
个数据，
Figure 251649DEST_PATH_IMAGE011
为
Figure 181559DEST_PATH_IMAGE009
的标签，
Figure 876982DEST_PATH_IMAGE012
为 新类别目标数据集中数据的总数量，
Figure 649766DEST_PATH_IMAGE013
。
3.根据权利要求1所述的基于权重生成的增量式小样本目标检测方法，其特征在于，步骤S30中通过所述基础类别目标检测器的FPN网络提取尺度感知区域特征图，其方法为：
Figure 331414DEST_PATH_IMAGE014
Figure DEST_PATH_IMAGE015
其中，
Figure 646989DEST_PATH_IMAGE016
代表新类别样本的尺度感知特征图，
Figure 513314DEST_PATH_IMAGE017
代表第
Figure 179919DEST_PATH_IMAGE018
个新类别样本的尺度，
Figure 665258DEST_PATH_IMAGE019
代表第
Figure 694394DEST_PATH_IMAGE018
个新类别样本的宽度和高度，
Figure 872565DEST_PATH_IMAGE020
为代表FPN层级的整数。
4.根据权利要求3所述的基于权重生成的增量式小样本目标检测方法，其特征在于，所述中心度感知区域特征，其获取方法为：
步骤S311，对于所述新类别样本集中每一个新类别样本，基于该新类别样本的真值边界框，生成模型中心感知权重；
步骤S312，基于所述模型中心感知权重，结合该新类别样本的尺度感知特征图，获得该新类别样本的中心度感知区域特征图。
5.根据权利要求4所述的基于权重生成的增量式小样本目标检测方法，其特征在于，所述中心感知权重，其计算方法为：
将新类别样本的特征的宽
Figure 354362DEST_PATH_IMAGE021
高记为
Figure 502447DEST_PATH_IMAGE022
，并计算
Figure 261455DEST_PATH_IMAGE022
空间中任一个像素位置的 掩码标量
Figure 735162DEST_PATH_IMAGE023
：
Figure 579621DEST_PATH_IMAGE024
其中，
Figure 531397DEST_PATH_IMAGE025
、
Figure 398772DEST_PATH_IMAGE026
、
Figure 777801DEST_PATH_IMAGE027
、
Figure 109556DEST_PATH_IMAGE028
分别代表从当前位置到目标区域边界的距离，
Figure 865023DEST_PATH_IMAGE029
代表求最小值操 作，
Figure 333044DEST_PATH_IMAGE030
代表求最大值操作，
Figure 882974DEST_PATH_IMAGE021
代表相乘；
遍历所述
Figure 826660DEST_PATH_IMAGE022
空间中每一个像素位置，获得对应的标量
Figure 526762DEST_PATH_IMAGE023
构成的掩码矩阵
Figure 318132DEST_PATH_IMAGE031
；
将所述掩码矩阵
Figure 38963DEST_PATH_IMAGE032
沿第三维
Figure 79732DEST_PATH_IMAGE033
通过广播方式复制，获得掩码张量
Figure 177001DEST_PATH_IMAGE034
作为中心感知权重；
Figure 885194DEST_PATH_IMAGE035
代表第
Figure 776926DEST_PATH_IMAGE036
个新类的第
Figure 570570DEST_PATH_IMAGE018
个样本。
6.根据权利要求5所述的基于权重生成的增量式小样本目标检测方法，其特征在于，步骤S312包括：
Figure 205950DEST_PATH_IMAGE037
其中，
Figure 627705DEST_PATH_IMAGE038
代表第
Figure 831284DEST_PATH_IMAGE036
个新类的第
Figure 971278DEST_PATH_IMAGE018
个样本的中心度感知区域特征，
Figure 285716DEST_PATH_IMAGE039
代表逐 像素相乘，
Figure 827556DEST_PATH_IMAGE016
代表第
Figure 202036DEST_PATH_IMAGE036
个新类的第
Figure 829327DEST_PATH_IMAGE018
个样本的尺度感知特征图。
7.根据权利要求1所述的基于权重生成的增量式小样本目标检测方法，其特征在于，所述新类别的最终代表性区域特征图，其获取方法为：
Figure 947456DEST_PATH_IMAGE040
其中，
Figure 78223DEST_PATH_IMAGE041
代表第
Figure 748238DEST_PATH_IMAGE036
个新类别的最终代表性区域特征图，
Figure 738191DEST_PATH_IMAGE042
为新类别样本集中新类别样本 的数量，
Figure 519065DEST_PATH_IMAGE043
代表第
Figure 645284DEST_PATH_IMAGE036
个新类的第
Figure 486201DEST_PATH_IMAGE018
个样本的中心度感知区域特征。
8.根据权利要求1所述的基于权重生成的增量式小样本目标检测方法，其特征在于，所述基础类别响应，其表示为：
Figure 963450DEST_PATH_IMAGE044
Figure 548015DEST_PATH_IMAGE045
其中，
Figure 653375DEST_PATH_IMAGE046
为进行
Figure 540559DEST_PATH_IMAGE033
通道的
Figure 364159DEST_PATH_IMAGE047
卷积核获得的基础类别目标检测器的各基础 类别分类权重，
Figure 627781DEST_PATH_IMAGE048
为基础类别的数量，
Figure 853226DEST_PATH_IMAGE049
代表基础类别响应，
Figure 645733DEST_PATH_IMAGE041
代表第
Figure 222207DEST_PATH_IMAGE036
个新类别的最终 代表性区域特征图，
Figure 23941DEST_PATH_IMAGE050
代表卷积运算，
Figure 103893DEST_PATH_IMAGE051
分别代表第
Figure 598459DEST_PATH_IMAGE036
个新类别的最终代表性区 域特征图
Figure 131072DEST_PATH_IMAGE041
在基础类别
Figure 861130DEST_PATH_IMAGE052
上的响应值。
9.据权利要求8所述的基于权重生成的增量式小样本目标检测方法，其特征在于，所述新类别权重，其表示为：
Figure 670954DEST_PATH_IMAGE053
其中，
Figure 461056DEST_PATH_IMAGE054
代表第
Figure 356331DEST_PATH_IMAGE036
个新类的新类别权重，
Figure 624501DEST_PATH_IMAGE055
代表第
Figure 554411DEST_PATH_IMAGE056
个基础类别分类权重，
Figure 515414DEST_PATH_IMAGE057
代表第个 基础类别响应，
Figure 757039DEST_PATH_IMAGE058
代表基础类别响应
Figure 704267DEST_PATH_IMAGE049
的L2范数。
10.一种基于权重生成的增量式小样本目标检测系统，其特征在于，该系统包括增量式小样本检测模块和模型训练模块；
所述增量式小样本检测模块，配置为基于获取的待检测图像，通过构建并训练好的用于基础类别和新类别目标检测的目标检测器进行前向推理的目标检测，获得目标检测结果；
所述模型训练模块包括训练数据获取模块、基础训练模块、尺度与中心度感知特征图提取模块、区域特征图获取模块、新类别权重计算模块和新类别模型获取模块；
所述训练数据获取模块，配置为获取增量式小样本目标检测任务的样本数据集；所述样本数据包括基础类别样本集和新类别样本集；
所述基础训练模块，配置为构建目标检测器，并基于所述基础类别样本集，通过标准监督方法进行所述目标检测器的训练，获得基础类别目标检测器；
所述尺度与中心度感知特征图提取模块，配置为对于所述新类别样本集的每一个新类别样本，通过所述基础类别目标检测器的FPN网络提取尺度感知区域特征图，并基于所述尺度感知特征图提取中心度感知区域特征图；
所述区域特征图获取模块，配置为对所述新类别样本集中每一个新类别样本的中心度感知区域特征图进行平均，获得新类别的最终代表性区域特征图；
所述新类别权重计算模块，配置为基于所述新类别的最终代表性区域特征图，获得所述基础类别目标检测器对区域特征的基础类别响应，并进行基础类别权重组合生成新类别权重；
所述新类别模型获取模块，配置为基于所述新类别权重进行所述基础类别目标检测器的微调，获得用于基础类别和新类别目标检测的目标检测器。
CN202110420700.6A 2021-04-19 2021-04-19 基于权重生成的增量式小样本目标检测方法及系统 Active CN112819110B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110420700.6A CN112819110B (zh) 2021-04-19 2021-04-19 基于权重生成的增量式小样本目标检测方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110420700.6A CN112819110B (zh) 2021-04-19 2021-04-19 基于权重生成的增量式小样本目标检测方法及系统

Publications (2)

Publication Number Publication Date
CN112819110A true CN112819110A (zh) 2021-05-18
CN112819110B CN112819110B (zh) 2021-06-29

Family

ID=75862433

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110420700.6A Active CN112819110B (zh) 2021-04-19 2021-04-19 基于权重生成的增量式小样本目标检测方法及系统

Country Status (1)

Country Link
CN (1) CN112819110B (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113191359A (zh) * 2021-06-30 2021-07-30 之江实验室 基于支持与查询样本的小样本目标检测方法与系统
CN113378942A (zh) * 2021-06-16 2021-09-10 中国石油大学(华东) 基于多头特征协作的小样本图像分类方法
CN113673488A (zh) * 2021-10-21 2021-11-19 季华实验室 基于少样本的目标检测方法、装置及物件分拣智能系统
CN113673589A (zh) * 2021-08-12 2021-11-19 南京理工大学 基于边框距离度量的标签选择自适应增量检测方法及系统
CN113822368A (zh) * 2021-09-29 2021-12-21 成都信息工程大学 一种基于无锚的增量式目标检测方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100202681A1 (en) * 2007-06-01 2010-08-12 Haizhou Ai Detecting device of special shot object and learning device and method thereof
CN110837856A (zh) * 2019-10-31 2020-02-25 深圳市商汤科技有限公司 神经网络训练及目标检测方法、装置、设备和存储介质
CN112329827A (zh) * 2020-10-26 2021-02-05 同济大学 一种基于元学习的增量小样本目标检测方法
CN112464743A (zh) * 2020-11-09 2021-03-09 西北工业大学 一种基于多尺度特征加权的小样本目标检测方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100202681A1 (en) * 2007-06-01 2010-08-12 Haizhou Ai Detecting device of special shot object and learning device and method thereof
CN110837856A (zh) * 2019-10-31 2020-02-25 深圳市商汤科技有限公司 神经网络训练及目标检测方法、装置、设备和存储介质
CN112329827A (zh) * 2020-10-26 2021-02-05 同济大学 一种基于元学习的增量小样本目标检测方法
CN112464743A (zh) * 2020-11-09 2021-03-09 西北工业大学 一种基于多尺度特征加权的小样本目标检测方法

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113378942A (zh) * 2021-06-16 2021-09-10 中国石油大学(华东) 基于多头特征协作的小样本图像分类方法
CN113378942B (zh) * 2021-06-16 2022-07-01 中国石油大学(华东) 基于多头特征协作的小样本图像分类方法
CN113191359A (zh) * 2021-06-30 2021-07-30 之江实验室 基于支持与查询样本的小样本目标检测方法与系统
CN113191359B (zh) * 2021-06-30 2021-11-16 之江实验室 基于支持与查询样本的小样本目标检测方法与系统
CN113673589A (zh) * 2021-08-12 2021-11-19 南京理工大学 基于边框距离度量的标签选择自适应增量检测方法及系统
CN113822368A (zh) * 2021-09-29 2021-12-21 成都信息工程大学 一种基于无锚的增量式目标检测方法
CN113673488A (zh) * 2021-10-21 2021-11-19 季华实验室 基于少样本的目标检测方法、装置及物件分拣智能系统

Also Published As

Publication number Publication date
CN112819110B (zh) 2021-06-29

Similar Documents

Publication Publication Date Title
CN112819110B (zh) 基于权重生成的增量式小样本目标检测方法及系统
Wen et al. Directionally constrained fully convolutional neural network for airborne LiDAR point cloud classification
Labao et al. Cascaded deep network systems with linked ensemble components for underwater fish detection in the wild
Marchant et al. Automated analysis of foraminifera fossil records by image classification using a convolutional neural network
JP7242975B2 (ja) ディシジョンツリーベースの適応ブースティング分類器におけるオブジェクト分類のための方法、デジタルシステム、並びに非一時的コンピュータ可読記憶媒体
Rahaman et al. An efficient multilevel thresholding based satellite image segmentation approach using a new adaptive cuckoo search algorithm
CN109117879A (zh) 图像分类方法、装置及系统
CN109543662A (zh) 基于区域提议的目标检测方法、系统、装置和存储介质
CN104715251B (zh) 一种基于直方图线性拟合的显著目标检测方法
Shahab et al. How salient is scene text?
CN111160469A (zh) 一种目标检测系统的主动学习方法
CN111967464B (zh) 一种基于深度学习的弱监督目标定位方法
CN110633711B (zh) 训练特征点检测器的计算机装置、方法及特征点检测方法
CN107977624A (zh) 一种语义分割方法、装置以及系统
Li et al. A comparison of deep learning methods for airborne lidar point clouds classification
CN108629373A (zh) 一种图像分类方法、系统、设备及计算机可读存储介质
Li et al. SDBD: A hierarchical region-of-interest detection approach in large-scale remote sensing image
Naqvi et al. Feature quality-based dynamic feature selection for improving salient object detection
Yang et al. Toward country scale building detection with convolutional neural network using aerial images
CN116670687A (zh) 用于调整训练后的物体检测模型以适应域偏移的方法和系统
CN116977633A (zh) 地物要素分割模型训练方法、地物要素分割方法及装置
Mazarire et al. Exploring machine learning algorithms for mapping crop types in a heterogeneous agriculture landscape using Sentinel-2 data. A case study of Free State Province, South Africa
Kumar et al. Drone-based apple detection: Finding the depth of apples using YOLOv7 architecture with multi-head attention mechanism
Amelio et al. An evolutionary approach for image segmentation
Zhang et al. TPMv2: An end-to-end tomato pose method based on 3D key points detection

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant