CN113536971A - 一种基于增量学习的目标检测方法 - Google Patents

一种基于增量学习的目标检测方法 Download PDF

Info

Publication number
CN113536971A
CN113536971A CN202110717472.9A CN202110717472A CN113536971A CN 113536971 A CN113536971 A CN 113536971A CN 202110717472 A CN202110717472 A CN 202110717472A CN 113536971 A CN113536971 A CN 113536971A
Authority
CN
China
Prior art keywords
image
target detection
network
channel
detection network
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110717472.9A
Other languages
English (en)
Inventor
陈扬
张�杰
杨宵玲
杜寅超
陈江鹏
郑学哲
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhongke Suzhou Intelligent Computing Technology Research Institute
Innolight Technology Suzhou Ltd
Original Assignee
Zhongke Suzhou Intelligent Computing Technology Research Institute
Innolight Technology Suzhou Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhongke Suzhou Intelligent Computing Technology Research Institute, Innolight Technology Suzhou Ltd filed Critical Zhongke Suzhou Intelligent Computing Technology Research Institute
Priority to CN202110717472.9A priority Critical patent/CN113536971A/zh
Publication of CN113536971A publication Critical patent/CN113536971A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • Computational Linguistics (AREA)
  • Health & Medical Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Image Analysis (AREA)

Abstract

本发明揭示了一种基于增量学习的目标检测方法，在不改变原有目标检测网络的检测能力基础上，能持续增加新的检测功能，主要概述步骤为构建目标检测网络，在目标检测网络的图像分类特征层添加图像重构误差模块，基于图像信息重构的方式，提取到得到抽象、完备的特征；设计了赋予图像中低频和高频分量不同权重的重构损失函数，避免网络在重构的图像中丢失目标特征；在目标检测网络的完备特征空间中，插入ICLM模块进行类别增量学习任务。应用本发明目标检测方法，在通用的目标检测网络中构建的完备特征空间能有效地保留整张图像的信息，避免在特征提取阶段产生特征丢失，是一种简单有效的增量学习方法。

Description

一种基于增量学习的目标检测方法
技术领域
本发明涉及一种深度网络模型的增量学习领域，尤其涉及一种基于增量学习的目标检测方法。
背景技术
目标检测算法在现实生活中已经有广泛的应用，在特定场景中，目标检测算法的准确率也逐渐提升至快饱和的状态。然而，现实生活中，随着新需求的提出和产品的种类增加，目标检测算法需要判断的类别也随之增加。若重新建立一个新的神经网络模型，或在一个已有的目标检测模型中添加新的可检测类别，并使用新类别的数据集直接训练已有网络，则训练出的模型会很大程度地丧失在旧类别上的检测能力。基于此，研究人员提出了增量学习，使得一个学习器从新数据中获得新知识的同时，能够保留从之前数据中已经学习得到的旧知识。
目前已有的增量学习方法可分为两类：一种是基于模型蒸馏的思想，通过设计保留损失函数，使得在旧类任务中新网络的输出与原有网络的输出近似；通过新任务检测损失函数，使得网络在新的类别数据中有效检测。通过设计这种损失函数并微调整体网络，可以将旧类的检测能力大部分保存。这种方法改变了原先相关任务的参数，在原先类别的分类能力上会有变化，但在新的类别任务中精度较高。另一种是基于特征提取的思想，将网络前部的层作为一个通用的特征提取器，在检测新的类别时，对已有的网络添加新的输出层。在训练阶段，使用新类别数据训练新添加的输出层参数，使得新的模型能够有效检测新增类别任务。这种方法没有改变原先类的参数，因此原先类的分类能力被完备保存，但在新的类别任务中精度不高。
发明内容
鉴于上述现有技术的不足，本发明的目的旨在提出一种基于增量学习的目标检测方法，提升算法在新增的类别任务中的检测精度。
本发明实现上述目的的技术解决方案是：一种基于增量学习的目标检测方法，其特征在于：S1、使用原始数据集，并对其中的图像数据进行预处理，将图像调整到预期目标检测网络设定的尺寸；S2、构建目标检测网络，并在目标检测网络的图像分类特征层添加图像重构误差模块，基于图像重构提取得到抽象、完备的图像特征；S3、综合图像重构和原有目标检测网络的损失函数，对目标检测网络进行训练优化，使图像重构损失函数和目标检测网络损失函数达到收敛，并保存优化后网络的权重参数；S4、使用新的任务数据集，并对其中的图像数据进行预处理，将图像调整到网络设定的尺寸；S5、构建基于类增量目标检测网络的新的网络模型，并在网络的特征空间添加增量学习模块；S6、在新的网络模型中加载步骤S3所得的权重参数，并随机初始化增量学习模块的参数；S7、使用新的任务数据集只训练增量学习模块的分类网络与回归网络，并使分类与回归的损失函数达到收敛，并保存增量目标检测网络的权重参数；S8、部署优化后的参数，对目标进行检测；S9、增加新的类别任务，重复执行步骤S4~S8。
应用本发明目标检测新的技术解决方案具备显著的进步性：该方法通过设计赋予图像中低频和高频分量不同权重的图像重构损失函数，构建了一个包含各类别任务丰富的相关特征、相对更完备的特征空间，从而提高算法在新增的类别任务中的检测精度。
附图说明
图1为本发明方法中一种基于完备特征空间的Yolo v4增量学习网络框架示意图。
图2为本发明方法中一种基于完备特征空间的Yolo v4增量学习网络模块图。
图3为本发明方法中一种基于完备特征空间的Faster RCNN增量学习网络框架示意图。
图4为本发明方法实施过程中构建的频分图金字塔架构示意图。
具体实施方式
以下便结合附图对本发明的具体实施方式作进一步的详述，以使本发明技术方案更易于理解、掌握，从而对本发明的保护范围做出更为清晰的界定。
在实际场景中，将深度卷积神经网络作为一种特征提取器，可以得到抽象的特征。但受当前学习任务的影响，网络在分类阶段前的特征会聚焦于当前检测任务，保留适用于当前任务的直接、有效特征，导致图像中与当前任务无关的特征产生丢失，因此深度卷积神经网络提取到的特征只适用于当前的检测任务。为了不改变原先模型的分类性能，本发明设计并提出了一种目标检测方法，基于特征提取的思想进行增量学习，使得特征空间保持相对完备。其概述的步骤描述如下；S1、使用原始数据集，并对其中的图像数据进行预处理，将图像调整到预期目标检测网络设定的尺寸；S2、构建目标检测网络，并在目标检测网络的图像分类特征层添加图像重构误差模块，基于图像重构提取得到抽象、完备的图像特征；S3、综合图像重构和原有目标检测网络的损失函数，对目标检测网络进行训练优化，使图像重构损失函数和目标检测网络损失函数达到收敛，并保存优化后网络的权重参数；S4、使用新的任务数据集，并对其中的图像数据进行预处理，将图像调整到网络设定的尺寸；S5、构建基于类增量目标检测网络的新的网络模型，并在网络的特征空间添加增量学习模块；S6、在新的网络模型中加载步骤S3所得的权重参数，并随机初始化增量学习模块的参数；S7、使用新的任务数据集只训练增量学习模块的分类网络与回归网络，并使分类与回归的损失函数达到收敛，并保存增量目标检测网络的权重参数；S8、部署优化后的参数，对目标进行检测；S9、增加新的类别任务，重复执行步骤S4~S8。
更具体地来看，其中步骤S1包含如下细化步骤：S101、对图像进行颜色增强、平移变化、水平以及垂直翻转、随机马赛克等方法的预处理；S102、使用双线性插值算法将图像数据大小放缩到固定分辨率，如416×416。
其中步骤S2中在目标检测网络的图像分类特征层中添加图像重构误差模块的具体方法为：S201、在一阶段目标检测网络的分类与回归卷积层前添加图像信息重构模块，例如在Yolo v4网络中添加该模块，添加过程如图1和图2所示。通过在不同层级的分类与回归卷积层前添加图像重构误差模块（即图示的图像信息重构模块），辅助当前层级的网络提取到抽象、完备的图像特征；S202、在两阶段目标检测网络的特征提取层后，添加图像重构误差模块，例如Faster RCNN网络中添加该模块，添加过程如图3所示。通过在网络的特性提取层后添加图像信息重构模块，辅助特征提取网络提取到抽象、完备的图像特征；S203、图像信息重构模块由卷积层和上采样层构成，由一个3×3卷积层、一个1×1卷积层和一个上采样层构成。特征图先经过3×3卷积层，再使用上采样操作（例如reshape，双线性差值等）将特征图的宽、高调整为输入图片的宽、高，最后使用1×1卷积层生成重构图像。
需要说明的是，上述一阶段目标检测网络并非仅限于Yolo v4网络一种，其同类型网络还包括SSD等，且即使Yolo本身也有v1~v5等多系列。以上描述及后文仅以Yolo v4为例。同理，二阶段目标检测网络也仅以包括但不限于Faster RCNN网络举例描述。
其中步骤S3中综合图像重构损失和目标检测网络的损失函数的具体操作为：S301、网络的损失函数由两部分组成，如公式（1）：
Figure 100002_DEST_PATH_IMAGE002
所示。其中
Figure 100002_DEST_PATH_IMAGE004
为目标检测网络的损失项，通常由框回归损失、分类损失和置信度损失等误差项构成。
Figure 100002_DEST_PATH_IMAGE006
为图像重构损失项，由公式（2）：
Figure DEST_PATH_IMAGE008
计算所得。其中，
Figure DEST_PATH_IMAGE010
、
Figure DEST_PATH_IMAGE012
、
Figure DEST_PATH_IMAGE014
分别表示预测图像与真实图像标签在R、G、B每一通道之间的误差，度量方式采用
Figure DEST_PATH_IMAGE016
损失，真实图像标签可以是单张彩色图像，也可以是彩色图像中R、G、B三通道的一系列高低频分量组合。
构建频分图金字塔。彩色图像每一颜色通道的图像可以分解为一系列的高低频图像，以R通道为例，其中每一张高低频图像对应一种频率分量图，简称频分图。由一系列频分图进行分解而构成的组合称为频分图金字塔。频分图金字塔共n+1层，每一层的频分图可以通过高斯卷积的方法生成低频分量图和高频分量图，低频分量图由公式（3）：
Figure DEST_PATH_IMAGE018
计算得到；其中，
Figure DEST_PATH_IMAGE020
为原图的R通道图像，
Figure DEST_PATH_IMAGE022
为原图R通道中提取到的低频分量图，*表示二维卷积，G为二维高斯卷积核。而二维高斯卷积核由公式（4）：
Figure DEST_PATH_IMAGE024
所示的生成函数得到，
Figure DEST_PATH_IMAGE026
表示方差。
对于原图R通道中提取得到的高频分量图
Figure DEST_PATH_IMAGE028
，则由公式（5）：
Figure DEST_PATH_IMAGE030
计算得到。
以上述高频分量图和低频分量图的计算方式，构建出了如图4所示的频分图金字塔。
再然后，基于频分图金字塔构建图像信息重构误差。在一幅图像中，背景往往占据图像的大部分区域，目标为图像中不固定位置并且占比较小的部分。因此图像的重构过程中，网络需要聚焦于这部分小区域。图像的高频信息对应着图像中像素值变化剧烈的区域，尤其是目标与背景的交界处，因此本申请通过提取图片不同的频分图增强目标区域的显著性，使网络聚焦于目标区域以确保特征空间的完备性。
为此，本步骤中还设计了赋予图像中低频和高频分量不同权重的重构损失函数，有以下两种形式：
第一种是直接预测高低频分量图，并赋予各通道图像中低频分量和高频分量不同的误差权重，对应R通道的重构损失函数由公式（6）：
Figure DEST_PATH_IMAGE032
计算得到，其中L为图像R通道的频分图数量，
Figure DEST_PATH_IMAGE034
表示第i张频分图的误差权重，
Figure DEST_PATH_IMAGE036
为图像R通道中第i张频分图的预测结果，
Figure DEST_PATH_IMAGE038
为图像R通道中第i张频分图的真实标签，
Figure DEST_PATH_IMAGE016A
为一种损失的度量方式。
根据应用场景的不同，真实标签中选取不同的频分图组合作为真实标签信息。在实际应用中，为了简化网络的计算量，真实标签取分辨率为208×208的插值图像。例如，在彩色图像的各通道选取相同种类的8张频分图，分别是通道原图像、频分图1、频分图0-1、频分图1-0、频分图0-0-1、频分图0-1-1、频分图1-0-0、频分图1-1-0。因此网络中图像信息重构模块输出的张量通道数为24，每一通道都对应了一张频分图。随后，在每一张频分图上计算误差。最后，将所有频分图误差汇总，得到最终的图像重构误差。
第二种形式的重构损失函数，是将高频分量作为损失函数的权重系数，对应R通道重构损失函数由公式（7）：
Figure 100002_DEST_PATH_IMAGE041
计算得到。其中，
Figure 100002_DEST_PATH_IMAGE043
为图像R通道的预测结果，
Figure 100002_DEST_PATH_IMAGE045
表示图像R通道的真实标签，w、h分别表示图像的宽度和高度，
Figure 100002_DEST_PATH_IMAGE047
表示R通道下每一像素点的权重系数，该权重系数由公式（8）：
Figure 100002_DEST_PATH_IMAGE049
计算得到，其中，L为图像R通道的频分图数量，
Figure 100002_DEST_PATH_IMAGE051
表示第i张频分图的误差权重，
Figure 100002_DEST_PATH_IMAGE053
为图像R通道中第i张频分图，γ为幂数。
上述步骤S4的具体操作为：获取新增的数据集，并对图像进行颜色增强、平移变化、水平以及垂直翻转、随机马赛克等方法的预处理；而后使用双线性插值法将所有图像数据大小放缩到固定分辨率，如416×416。
上述步骤S5的具体步骤为：在完备的特征空间中，插入增量学习模块，用于输出增量类的检测结果。而该增量学习模块由卷积层或全连接层构成。在如Faster RCNN的两阶段目标检测网络中，添加的增量学习模块（或称为ICL模块）有ICL-RPN模块和ICL-fc层。其中，ICL-RPN模块用于生成增量类的候选框与RPN网络采用相同的结构，ICL-fc层用于输出增量类检测任务的框和类别信息，对应原FastRCNN中的全连接层。而在如Yolo v4的一阶段目标检测网络中分别在原网络的FPN-s1、FPN-s2、FPN-s3模块中添加ICL_Conv模块，用于输出新的增量类检测任务的框和类别信息。该ICL_Conv模块由3×3卷积和1×1卷积层组成。
上述步骤S6的具体步骤为：在新的网络模型中，与新增数据集前的旧模型相同的结构部分参数使用原先保存的旧模型参数，在新增加的增量学习模块中，使用随机初始化的方法生成参数。分情况来看，在如Faster RCNN的两阶段目标检测网络中，需要随机初始化参数的模块有ICL-RPN模块和ICL-fc层。而在如Yolo v4的一阶段目标检测网络中，需要随机初始化参数的模块为三个检测阶段添加的ICL_Conv模块。
上述步骤S7的具体步骤为：使用新增的数据集训练基于完备特征空间的增量目标检测网络。训练的损失函数为对应目标检测网络的损失函数。在如Faster RCNN的两阶段目标检测网络中，损失函数包括ICL-RPN的框回归与分类误差、ICL-fc层的精确框回归与分类误差。而在如Yolo v4的一阶段目标检测网络中，损失函数为框回归误差、置信度误差与分类误差。当损失函数收敛，保存增量目标检测网络的全部参数。
上述步骤S8的具体步骤包括：推理阶段，增量学习网络的预测过程与原有目标检测网络的输出过程相似。
在如Faster RCNN的两阶段目标检测网络中，先计算原有类别的RPN的候选框信息和精确框回归信息与分类信息，再计算新增类的RPN的候选框信息和精确框回归信息与分类信息。而在如Yolo v4的一阶段目标检测网络中，先计算原有类别的置信度、候选框与类别信息，再计算新增类别的置信度、候选框与类别信息。
综上关于本发明基于增量学习的目标检测方法结合图示的实施例详述可见，其具备突出的实质性特点和显著的进步性。该方法通过设计赋予图像中低频和高频分量不同权重的图像重构损失函数，构建了一个包含各类别任务丰富的相关特征、相对更完备的特征空间，从而提高算法在新增的类别任务中的检测精度。
除上述实施例外，本发明还可以有其它实施方式，凡采用等同替换或等效变换形成的技术方案，均落在本发明所要求保护的范围之内。

Claims (10)

1.一种基于增量学习的目标检测方法，其特征在于：
S1、使用原始数据集，并对其中的图像数据进行预处理，将图像调整到预期目标检测网络设定的尺寸；
S2、构建目标检测网络，并在目标检测网络的图像分类特征层添加图像重构误差模块，基于图像重构提取得到抽象、完备的图像特征；
S3、综合图像重构和原有目标检测网络的损失函数，对目标检测网络进行训练优化，使图像重构损失函数和目标检测网络损失函数达到收敛，并保存优化后网络的权重参数；
S4、使用新的任务数据集，并对其中的图像数据进行预处理，将图像调整到网络设定的尺寸；
S5、构建基于类增量目标检测网络的新的网络模型，并在网络的特征空间添加增量学习模块；
S6、在新的网络模型中加载步骤S3所得的权重参数，并随机初始化增量学习模块的参数；
S7、使用新的任务数据集只训练增量学习模块的分类网络与回归网络，并使分类与回归的损失函数达到收敛，并保存增量目标检测网络的权重参数；
S8、部署优化后的参数，对目标进行检测；
S9、增加新的类别任务，重复执行步骤S4~S8。
2.根据权利要求1所述基于增量学习的目标检测方法，其特征在于：步骤S1中所述预处理至少包括颜色增强、平移变化、水平翻转、垂直翻转、随机马赛克；且使用双线性插值算法将图像调整到预定义的固定分辨率。
3.根据权利要求1所述基于增量学习的目标检测方法，其特征在于：所述图像重构误差模块由一个3×3卷积层、一个1×1卷积层和一个上采样层构成，实现功能为对图像的分类特征先经过3×3卷积层，再使用上采样操作将特征图像的尺寸调整为输入图片的尺寸，而后使用1×1卷积层生成重构图像；步骤S2在一阶段目标检测网络的分类与回归卷积层前添加图像重构误差模块，或者在两阶段目标检测网络的特征提取层后添加图像重构误差模块。
4.根据权利要求1所述基于增量学习的目标检测方法，其特征在于：步骤S3包括：
S31、分析图像重构后网络的损失函数，由原目标检测网络的损失项
Figure DEST_PATH_IMAGE002
和图像重构损失
Figure DEST_PATH_IMAGE004
两部分组成，由公式（1）：
Figure DEST_PATH_IMAGE006
计算得出，其中，
Figure DEST_PATH_IMAGE007
由框回归损失、分类损失和置信度损失构成，而图像重构损失
Figure 319668DEST_PATH_IMAGE004
由公式（2）：
Figure DEST_PATH_IMAGE009
计算得出，其中
Figure DEST_PATH_IMAGE011
、
Figure DEST_PATH_IMAGE013
、
Figure DEST_PATH_IMAGE015
分别表示预测图像与真实图像标签在R、G、B每一通道之间的误差；
S32、对彩色图像每一颜色通道的图像分解得到系列频分图，并对频分图通过高斯卷积生成低频分量图和高频分量图，并组合构建频分图金字塔，对于原图R通道中提取得到低频分量图
Figure DEST_PATH_IMAGE017
，由公式（3）：
Figure DEST_PATH_IMAGE019
计算得出，其中
Figure DEST_PATH_IMAGE021
为原图的R通道图像，*为二维卷积、G为二维高斯卷积核，由公式（4）：
Figure DEST_PATH_IMAGE023
的生成函数得到，其中
Figure DEST_PATH_IMAGE025
表示方差；对于原图R通道中提取得到高频分量图
Figure DEST_PATH_IMAGE027
，由公式（5）：
Figure DEST_PATH_IMAGE029
计算得出；
S33、基于频分图金字塔构建图像信息重构误差。
5.根据权利要求4所述基于增量学习的目标检测方法，其特征在于：步骤S33中，基于相应通道图像直接预测的高频分量图和低频分量图，赋予低频分量和高频分量对应的误差权重，对应图像R通道的重构损失函数由公式（6）：
Figure DEST_PATH_IMAGE031
计算得到，其中L为图像R通道的频分图数量，
Figure DEST_PATH_IMAGE033
表示第i张频分图的误差权重，
Figure DEST_PATH_IMAGE035
为图像R通道中第i张频分图的预测结果，
Figure DEST_PATH_IMAGE037
为图像R通道中第i张频分图的真实标签，
Figure DEST_PATH_IMAGE039
为一种损失的度量方式。
6.根据权利要求4所述基于增量学习的目标检测方法，其特征在于：步骤S33中，将高频分量作为损失函数的权重系数，对应图像R通道的重构损失函数由公式（7）：
Figure DEST_PATH_IMAGE041
计算得到，其中，
Figure DEST_PATH_IMAGE043
为图像R通道的预测结果，
Figure DEST_PATH_IMAGE045
表示图像R通道的真实标签，w、h分别表示图像的宽度和高度，
Figure DEST_PATH_IMAGE047
表示R通道下每一像素点的权重系数，且权重系数由公式（8）：
Figure DEST_PATH_IMAGE049
计算得到，其中，L为图像R通道的频分图数量，
Figure DEST_PATH_IMAGE051
表示第i张频分图的误差权重，
Figure DEST_PATH_IMAGE053
为图像R通道中第i张频分图，γ为幂数。
7.根据权利要求1所述基于增量学习的目标检测方法，其特征在于：步骤S5中所述增量学习模块由卷积层或全连接层构成，插入至特征空间之中；对于一阶段目标检测网络中的Yolo v4，分别在FPN-s1、FPN-s2、FPN-s3三个模块中添加ICL_Conv模块，用于输出新的增量类检测任务的框和类别信息；对于两阶段目标检测网络中的Fater RCNN，添加ICL-RPN模块和ICL-fc层，其中ICL-RPN模块用于生成与RPN网络相同结构、增量类的候选框，ICL-fc层用于输出增量类检测任务的框和类别信息。
8.根据权利要求1所述基于增量学习的目标检测方法，其特征在于：对于步骤S5所构建新的网络模型，步骤S3所保存的权重参数加载于其中与类增量目标检测网络相同的结构部分，且对于一阶段目标检测网络中的Yolo v4，随机初始化参数的对象为其中的三个ICL_Conv模块，对于两阶段目标检测网络中的Fater RCNN，随机初始化参数的对象为其中ICL-RPN模块和ICL-fc层。
9.根据权利要求1所述基于增量学习的目标检测方法，其特征在于：步骤S7中训练的损失函数为对应目标检测函数的损失函数，对于一阶段目标检测网络中的Yolo v4，损失函数为框回归误差、置信度误差与分类误差；对于两阶段目标检测网络中的Fater RCNN，损失函数包括ICL-RPN的框回归与分类误差、ICL-fc层的精确框回归与分类误差。
10.根据权利要求1所述基于增量学习的目标检测方法，其特征在于：步骤S8中，在推理阶段，增量学习网络的预测过程参照原有目标检测网络的输出过程；对于一阶段目标检测网络中的Yolo v4，先计算原有类别的置信度、候选框与类别信息，再计算新增类别的置信度、候选框与类别信息；对于两阶段目标检测网络中的Fater RCNN，先计算原有类别的RPN的候选框信息和精确框回归信息与分类信息，再计算新增类别的RPN的候选框信息和精确框回归信息与分类信息。
CN202110717472.9A 2021-06-28 2021-06-28 一种基于增量学习的目标检测方法 Pending CN113536971A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110717472.9A CN113536971A (zh) 2021-06-28 2021-06-28 一种基于增量学习的目标检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110717472.9A CN113536971A (zh) 2021-06-28 2021-06-28 一种基于增量学习的目标检测方法

Publications (1)

Publication Number Publication Date
CN113536971A true CN113536971A (zh) 2021-10-22

Family

ID=78125949

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110717472.9A Pending CN113536971A (zh) 2021-06-28 2021-06-28 一种基于增量学习的目标检测方法

Country Status (1)

Country Link
CN (1) CN113536971A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117152419A (zh) * 2023-10-11 2023-12-01 中国矿业大学 一种矿井架空乘人装置人员违规携带物品的检测方法及系统

Citations (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101216942A (zh) * 2008-01-14 2008-07-09 浙江大学 一种自适应选取权重的增量式特征背景建模算法
CN106991646A (zh) * 2017-03-28 2017-07-28 福建帝视信息科技有限公司 一种基于密集连接网络的图像超分辨率方法
CN108520197A (zh) * 2018-02-28 2018-09-11 中国航空工业集团公司洛阳电光设备研究所 一种遥感图像目标检测方法及装置
CN110059672A (zh) * 2019-04-30 2019-07-26 福州大学 一种利用增量学习对显微镜细胞图像检测模型进行增类学习的方法
CN110310227A (zh) * 2019-06-27 2019-10-08 电子科技大学 一种基于高低频信息分解的图像超分辨率重建方法
CN110503092A (zh) * 2019-07-22 2019-11-26 天津科技大学 基于领域适应的改进ssd监控视频目标检测方法
CN110889865A (zh) * 2019-10-31 2020-03-17 广东技术师范大学 一种基于局部加权稀疏特征选择的视频目标跟踪方法
US20200175384A1 (en) * 2018-11-30 2020-06-04 Samsung Electronics Co., Ltd. System and method for incremental learning
CN111626367A (zh) * 2020-05-28 2020-09-04 深圳前海微众银行股份有限公司 对抗样本检测方法、装置、设备及计算机可读存储介质
CN112016507A (zh) * 2020-09-07 2020-12-01 平安科技（深圳）有限公司 基于超分辨率的车辆检测方法、装置、设备及存储介质
CN112561909A (zh) * 2020-12-28 2021-03-26 南京航空航天大学 一种基于融合变异的图像对抗样本生成方法
CN112766110A (zh) * 2021-01-08 2021-05-07 重庆创通联智物联网有限公司 物体缺陷识别模型的训练方法、物体缺陷识别方法及装置
US20210150757A1 (en) * 2019-11-20 2021-05-20 Nvidia Corporation Training and inferencing using a neural network to predict orientations of objects in images
CN112966709A (zh) * 2021-01-27 2021-06-15 中国电子进出口有限公司 一种基于深度学习的精细车型识别方法及系统

Patent Citations (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101216942A (zh) * 2008-01-14 2008-07-09 浙江大学 一种自适应选取权重的增量式特征背景建模算法
CN106991646A (zh) * 2017-03-28 2017-07-28 福建帝视信息科技有限公司 一种基于密集连接网络的图像超分辨率方法
CN108520197A (zh) * 2018-02-28 2018-09-11 中国航空工业集团公司洛阳电光设备研究所 一种遥感图像目标检测方法及装置
US20200175384A1 (en) * 2018-11-30 2020-06-04 Samsung Electronics Co., Ltd. System and method for incremental learning
CN110059672A (zh) * 2019-04-30 2019-07-26 福州大学 一种利用增量学习对显微镜细胞图像检测模型进行增类学习的方法
CN110310227A (zh) * 2019-06-27 2019-10-08 电子科技大学 一种基于高低频信息分解的图像超分辨率重建方法
CN110503092A (zh) * 2019-07-22 2019-11-26 天津科技大学 基于领域适应的改进ssd监控视频目标检测方法
CN110889865A (zh) * 2019-10-31 2020-03-17 广东技术师范大学 一种基于局部加权稀疏特征选择的视频目标跟踪方法
US20210150757A1 (en) * 2019-11-20 2021-05-20 Nvidia Corporation Training and inferencing using a neural network to predict orientations of objects in images
CN111626367A (zh) * 2020-05-28 2020-09-04 深圳前海微众银行股份有限公司 对抗样本检测方法、装置、设备及计算机可读存储介质
CN112016507A (zh) * 2020-09-07 2020-12-01 平安科技（深圳）有限公司 基于超分辨率的车辆检测方法、装置、设备及存储介质
CN112561909A (zh) * 2020-12-28 2021-03-26 南京航空航天大学 一种基于融合变异的图像对抗样本生成方法
CN112766110A (zh) * 2021-01-08 2021-05-07 重庆创通联智物联网有限公司 物体缺陷识别模型的训练方法、物体缺陷识别方法及装置
CN112966709A (zh) * 2021-01-27 2021-06-15 中国电子进出口有限公司 一种基于深度学习的精细车型识别方法及系统

Non-Patent Citations (5)

* Cited by examiner, † Cited by third party
Title
EUNTAE CHOI等: "Autoencoder-Based Incremental Class Learning without Retraining on Old Data", 《ARXIV》, 18 July 2019 (2019-07-18), pages 1 - 7 *
KONSTANTIN SHMELKOV等: "Incremental Learning of Object Detectors without Catastrophic Forgetting", 《PROCEEDINGS OF THE IEEE INTERNATIONAL CONFERENCE ON COMPUTER VISION (ICCV)》, 31 December 2017 (2017-12-31), pages 3400 - 3409 *
ZHONGLING HUANG等: "Transfer Learning with Deep Convolutional Neural Network for SAR Target Classification with Limited Labeled Data", 《REMOTE SENSING》, 31 August 2017 (2017-08-31), pages 1 - 21 *
李威等: "基于渐进多源域迁移的无监督跨域目标检测", 《自动化学报》, 20 March 2020 (2020-03-20), pages 1 - 14 *
田敏皓等: "基于增量学习的X射线安检系统检测算法研究", 《测试技术学报》, vol. 33, no. 1, 31 December 2019 (2019-12-31), pages 48 - 53 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117152419A (zh) * 2023-10-11 2023-12-01 中国矿业大学 一种矿井架空乘人装置人员违规携带物品的检测方法及系统
CN117152419B (zh) * 2023-10-11 2024-03-29 中国矿业大学 一种矿井架空乘人装置人员违规携带物品的检测方法及系统

Similar Documents

Publication Publication Date Title
CN113240580B (zh) 一种基于多维度知识蒸馏的轻量级图像超分辨率重建方法
CN110232394B (zh) 一种多尺度图像语义分割方法
CN111369440B (zh) 模型训练、图像超分辨处理方法、装置、终端及存储介质
CN113362329A (zh) 病灶检测模型的训练方法及识别图像中的病灶的方法
CN111582483A (zh) 基于空间和通道联合注意力机制的无监督学习光流估计方法
CN107506792B (zh) 一种半监督的显著对象检测方法
CN112365514A (zh) 基于改进PSPNet的语义分割方法
CN109447897B (zh) 一种真实场景图像合成方法及系统
CN116645592B (zh) 一种基于图像处理的裂缝检测方法和存储介质
CN112862774A (zh) 一种遥感影像建筑物精确分割方法
CN111161224A (zh) 基于深度学习的铸件内部缺陷分级评估系统及方法
CN115345866B (zh) 一种遥感影像中建筑物提取方法、电子设备及存储介质
CN112598657B (zh) 缺陷检测方法、装置、模型构造方法和计算机设备
CN112132164B (zh) 目标检测方法、系统、计算机装置及存储介质
CN116994140A (zh) 基于遥感影像的耕地提取方法、装置、设备和介质
CN113536971A (zh) 一种基于增量学习的目标检测方法
CN114092803A (zh) 基于遥感图像的云检测方法、装置、电子设备及介质
CN113744142A (zh) 图像修复方法、电子设备及存储介质
CN115311550B (zh) 遥感影像语义变化检测方法、装置、电子设备及存储介质
CN114419078B (zh) 基于卷积神经网络的表面缺陷区域分割方法及装置
CN115797181A (zh) 一种面向矿井模糊环境的图像超分辨率重建方法
CN115496654A (zh) 基于自注意力机制的图像超分辨率重建方法、设备及介质
CN116310832A (zh) 遥感图像处理方法、装置、设备、介质及产品
CN114549958B (zh) 基于上下文信息感知机理的夜间和伪装目标检测方法
CN116091893A (zh) 一种基于U-net网络的地震图像反褶积方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination