CN113052165A - 目标检测方法、装置、电子设备及存储介质 - Google Patents

目标检测方法、装置、电子设备及存储介质 Download PDF

Info

Publication number
CN113052165A
CN113052165A CN202110120871.7A CN202110120871A CN113052165A CN 113052165 A CN113052165 A CN 113052165A CN 202110120871 A CN202110120871 A CN 202110120871A CN 113052165 A CN113052165 A CN 113052165A
Authority
CN
China
Prior art keywords
target
network
detection
basic
target detection
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110120871.7A
Other languages
English (en)
Inventor
范智博
马宇宸
黎泽明
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Megvii Technology Co Ltd
Original Assignee
Beijing Megvii Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Megvii Technology Co Ltd filed Critical Beijing Megvii Technology Co Ltd
Priority to CN202110120871.7A priority Critical patent/CN113052165A/zh
Publication of CN113052165A publication Critical patent/CN113052165A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/047—Probabilistic or stochastic networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Biophysics (AREA)
  • Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Software Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Probability & Statistics with Applications (AREA)
  • Evolutionary Biology (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供了一种目标检测方法、装置、电子设备及存储介质，该方法包括：通过骨干网络提取待检测图像的图像特征；通过偏差均衡RPN对图像特征进行处理，得到目标检测提议框；根据图像特征和目标检测提议框，通过复合ROI检测网络确定多个初步目标检测结果；根据多个初步目标检测结果，确定最终的目标检测结果。本发明在实现小样本类别的目标检测时不会导致大样本性能的掉落，没有产生遗忘效应，提高了目标检测的准确性，而且相比元学习方式降低了计算复杂度。

Description

目标检测方法、装置、电子设备及存储介质
技术领域
本发明涉及图像处理技术领域，特别是涉及一种目标检测方法、装置、电子设备及存储介质。
背景技术
目标检测(Object Detection)是指给定一张图像，对其所包含的属于感兴趣类别的物体进行分类与定位，是计算机视觉相关业务的基础技术之一。小样本目标检测(Few-Shot Object Detection)是指在部分类别样本数量较少(通常少于30个物体/类)的情况下进行的目标检测，由于存在另外的样本数量充足的类别，可以利用这些类别的信息帮助小样本条件下的学习。
目前，小样本目标检测技术方案较少，通常分为元学习和迁移学习两类。然而，这两类方法在实现小样本类别的目标检测时都牺牲了部分大样本类别性能，导致大样本性能的掉落，即遗忘效应，目标检测的准确性较低，并且元学习方法往往计算复杂度更高。
发明内容
鉴于上述问题，提出了本发明实施例以便提供一种克服上述问题或者至少部分地解决上述问题的一种目标检测方法、装置、电子设备及存储介质。
依据本发明实施例的第一方面，提供了一种目标检测方法，包括：
通过骨干网络提取待检测图像的图像特征；
通过偏差均衡区域生成网络RPN对所述图像特征进行处理，得到目标检测提议框；
根据所述图像特征和所述目标检测提议框，通过复合ROI检测网络确定多个初步目标检测结果；
根据所述多个初步目标检测结果，确定最终的目标检测结果。
依据本发明实施例的第二方面，提供了一种目标检测装置，包括：
特征提取模块，用于通过骨干网络提取待检测图像的图像特征；
提议框生成模块，用于通过偏差均衡RPN生成对图像特征进行处理，得到目标检测提议框；
初步结果确定模块，用于根据所述图像特征和所述目标检测提议框，通过复合ROI检测网络确定多个初步目标检测结果；
检测结果确定模块，用于根据所述多个初步目标检测结果，确定最终的目标检测结果。
依据本发明实施例的第三方面，提供了一种电子设备，包括：处理器、存储器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述计算机程序被所述处理器执行时实现如第一方面中所述的目标检测方法。
依据本发明实施例的第四方面，提供了一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如第一方面所述的目标检测方法。
本发明实施例提供的目标检测方法、装置、电子设备及存储介质，通过骨干网络提取待检测图像的图像特征，通过偏差均衡RPN对图像特征进行处理，得到目标检测提议框，根据图像特征和目标检测提议框，通过复合ROI检测网络确定多个初步目标检测结果，根据多个初步目标检测结果，确定最终的目标检测结果，由于通过偏差均衡RPN来生成目标检测提议框，并通过复合ROI检测网络确定多个初步目标检测结果，在实现小样本类别的目标检测时没有牺牲大样本类别的性能，不会导致大样本性能的掉落，即没有产生遗忘效应，提高了目标检测的准确性，而且这是一种迁移学习的方式，相比元学习方式降低了计算复杂度。
上述说明仅是本发明技术方案的概述，为了能够更清楚了解本发明的技术手段，而可依照说明书的内容予以实施，并且为了让本发明的上述和其它目的、特征和优点能够更明显易懂，以下特举本发明的具体实施方式。
附图说明
通过阅读下文优选实施方式的详细描述，各种其他的优点和益处对于本领域普通技术人员将变得清楚明了。附图仅用于示出优选实施方式的目的，而并不认为是对本发明的限制。
图1是本发明实施例提供的一种目标检测方法的步骤流程图；
图2是本发明实施例中的无遗忘效应的Faster R-CNN检测器的结构示意图；
图3是本发明实施例提供的一种目标检测装置的结构框图。
具体实施方式
下面将参照附图更详细地描述本发明的示例性实施例。虽然附图中显示了本发明的示例性实施例，然而应当理解，可以以各种形式实现本发明而不应被这里阐述的实施例所限制。相反，提供这些实施例是为了能够更透彻地理解本发明，并且能够将本发明的范围完整的传达给本领域的技术人员。
图1是本发明实施例提供的一种目标检测方法的步骤流程图，该方法可以应用于小样本目标检测中，如图1所示，该方法可以包括：
步骤101，通过骨干网络提取待检测图像的图像特征。
通过基于卷积网络的骨干网络提取待检测图像的图像特征。
步骤102，通过偏差均衡RPN对所述图像特征进行处理，得到目标检测提议框。
将图像特征输入偏差均衡RPN(Region Proposal Networks，区域生成网络)，通过偏差均衡RPN对所述图像特征进行处理，生成目标检测提议框。偏差均衡RPN可以包括基础目标分类器和基础RPN，将图像特征分别输入基础目标分类器和基础RPN，基础目标分类器通过Softmax区分图像特征中每个预定义边框(anchors)是前景还是背景，得到每个预定义边框是前景的概率；基础RPN计算目标区域即每个预定义边框的边框偏移量，得到每个预定义边框的定位偏差；通过proposal层综合每个预定义边框的概率和定位偏差，得到初始的提议框，并从初始的提议框中剔除太小的和超出边界的提议框，得到最终的提议框。
在本发明的一个实施例中，所述偏差均衡RPN包括基础目标分类器、微调目标分类器和基础RPN，其中，所述基础目标分类器基于大样本数据集训练得到，所述微调目标分类器是在均衡数据集上对所述基础目标分类器进行微调训练得到。
其中，所述大样本数据集是包括基础目标检测结果即大样本类别的数据集，所述均衡数据集是包括基础目标检测结果和新目标检测结果的数据集，所述新目标检测结果也就是小样本类别的检测结果。
基础目标分类器和微调目标分类器分别对图像特征进行前景和背景的分类，得到每个预定义边框属于前景的概率，即得到前景区域，综合基础目标分类器的输出和微调目标分类器的输出，得到目标区域，并根据基础RPN输出的定位偏差对目标区域进行修正，得到提议框。通过增加了微调目标分类器来检测小样本类别的目标，可以进一步提高小样本类别目标检测的准确性。
在本发明的一个实施例中，所述通过偏差均衡RPN对所述图像特征进行处理，得到目标检测提议框，包括：通过所述基础目标分类器生成所述图像特征对应的第一目标得分图，通过微调目标分类器生成所述图像特征对应的第二目标得分图；通过基础RPN确定所述图像特征对应的定位偏差；根据所述第一目标得分图、第二目标得分图和所述定位偏差，生成目标检测提议框。
将图像特征分别输入基础目标分类器、微调目标分类器和基础RPN，基础目标分类器确定图像特征中每个像素点在预定义边框内是前景的概率，得到图像特征对应的第一目标得分图，由于基础目标分类器是基于大样本数据集预训练得到，所以第一目标得分图是针对大样本类别的目标得分图；微调目标分类器确定图像特征中每个像素点在预定义边框内是前景的概率，得到图像特征对应的第二目标得分图，由于微调目标训练器是在基础目标分类器的基础上基于均衡数据集微调训练得到的，所以第二目标得分图是针对大样本类别和小样本类别的目标得分图；通过基础RPN计算图像特征对应的定位偏差；综合第一目标得分图第二目标得分图和定位偏差，得到目标检测提议框。由于微调目标分类器是在基础目标分类器的基础上基于均衡数据集进行微调训练得到的，均衡数据集包括了大样本类别和小样本类别，从而使用基础目标分类器和微调目标分类器可以在提高小样本检测准确性的基础上，不会导致大样本类别性能的降落。
在一种可选的实施方式中，所述根据所述第一目标得分图、第二目标得分图和所述定位偏差，生成目标检测提议框，包括：取所述第一目标得分图和所述第二目标得分图中对应像素的最大值，得到所述图像特征对应的融合目标得分图；根据所述定位偏差和所述融合目标得分图，生成所述目标检测提议框。
在得到第一目标得分图和第二目标得分图后，可以比较第一目标得分图和第二目标得分图中同一像素点的像素值，将最大的像素值作为融合目标得分图中该同一像素点的像素值，得到包括大样本类别和小样本类别的融合目标得分图，使得前景目标更加突出，之后根据定位偏差和融合目标得分图，生成目标检测提议框。
步骤103，根据所述图像特征和所述目标检测提议框，通过复合ROI检测网络确定多个初步目标检测结果。
其中，所述复合ROI检测网络包括并行的多个ROI检测网络。所述复合ROI检测网络可选包括基础ROI检测网络和新ROI检测网络，其中，所述基础ROI检测网络基于大样本数据集训练得到，所述新ROI检测网络基于均衡数据集微调训练得到。由于基础ROI检测网络是基于大样本数据集训练得到，所以基础ROI检测网络可以确定出大样本类别的基础目标检测结果；由于新ROI检测网络是基于均衡数据集训练得到，所以新ROI检测网络可以确定出大样本类别的基础目标检测结果和小样本类别的新目标检测结果。
在得到目标检测提议框后，将图像特征和目标检测提议框输入复合ROI(RegionOf Interest，感兴趣区域)检测网络，通过复合ROI检测网络检测每个提议框对应的初步目标检测检测结果，得到多个初步目标检测结果。
在本发明的一个实施例中，所述初步目标检测结果包括基础目标检测结果和新目标检测结果；
根据所述图像特征和所述目标检测提议框，通过复合ROI检测网络确定所述多个初步目标检测结果，包括：根据所述图像特征和所述目标检测提议框，通过所述复合ROI检测网络中的基础ROI检测网络确定基础目标检测结果，通过所述复合ROI检测网络中的新ROI检测网络确定基础目标检测结果和新目标检测结果。
其中，所述基础目标检测结果为大样本类别的检测结果，所述新目标类别为小样本类别的检测结果。
在得到目标检测提议框后，将图像特征和目标检测提议框分别输入基础ROI检测网络和新ROI检测网络，通过基础ROI检测网络确定提议框内的图像特征所属的大样本类别，得到基础目标检测结果；通过新ROI检测网络确定提议框内的图像特征所属的大样本类别和小样本类别，得到基础目标检测结果和新目标检测结果。
由于基础ROI检测网络是基于大样本数据集训练得到的，新ROI检测网络是基于均衡数据集微调训练得到，在微调训练的过程中保持基础ROI检测网络的网络权重不变，从而在实现小样本类别的目标检测时没有牺牲大样本类别的性能，不会导致大样本性能的掉落，即没有产生遗忘效应，而且这是一种迁移学习的方式，相比元学习方式降低了计算复杂度。
其中，新ROI检测网络包括分类器，所述分类器采取余弦分类器的形式，即分类器对输入的特征和分类器权重分别进行L2归一化后，再进行张量运算，这样可以避免大样本类别和小样本类别范数的差异。
步骤104，根据所述多个初步目标检测结果，确定最终的目标检测结果。
在得到多个初步目标检测结果后，对多个初步目标检测结果，进行合并处理，得到最终的目标检测结果，即得到包围目标的提议框和提议框内的图像特征所属的目标类别。每个提议框内的目标可能是一个大目标的一部分，例如，一个大目标为车时，每个提议框内的目标可能会包括车头、车灯等部分，这时可以对每个提议框对应的目标类别进行合并处理，得到最终的目标检测结果。
在本发明的一个实施例中，所述根据所述多个初步目标检测结果，确定最终的目标检测结果，包括：对所述多个初步目标检测结果进行非极大值抑制处理，得到最终的目标检测结果。
对多个初步目标检测结果进行非极大值抑制(Non-Maximum Suppression，NMS)处理，即对基础ROI检测网络输出的基础目标检测结果和新ROI检测网络输出基础目标检测结果和新目标检测结果一起进行非极大值抑制处理，以去除冗余的提议框，得到较为合适的提议框和对应的目标类别，作为最终的目标检测结果。通过非极大值抑制处理来合并提议框对应的目标类别，可以得到较为准确的目标检测结果。
图2是本发明实施例中的无遗忘效应的Faster R-CNN检测器的结构示意图，如图2所示，该无遗忘效应的Faster R-CNN检测器包括骨干网络、偏差均衡RPN和复合ROI检测网络，其中，偏差均衡RPN包括基础目标分类器、微调目标分类器和基础RPN，复合检测网络包括基础ROI检测网络和新ROI检测网络。首先通过骨干网络提取待检测图像的图像特征，图像特征输入基础目标分类器、微调目标分类器和基础RPN，基础目标分类器输出第一目标得分图，微调目标分类器输出第二目标得分图，取所述第一目标得分图和第二目标得分图中对应像素的最大值，得到所述融合目标得分图，基础RPN输出图像特征对应的定位偏差，根据定位偏差和融合目标得分图，得到目标检测提议框；目标检测提议框和图像特征输入基础ROI检测网络和新ROI检测网络，基础ROI检测网络确定提议框内的图像特征的基础目标检测结果，新ROI检测网络确定提议框内的图像特征的基础目标检测结果和/或新目标检测结果；对所有目标检测提议框对应的基础目标检测结果和新目标检测结果进行非极大值抑制处理，得到最终的目标检测结果。包括所述骨干网络、基础目标分类器、基础RPN和基础ROI检测网络的网络是基于大样本数据集预训练得到的，在对包括骨干网络、基础目标分类器、基础RPN、微调目标分类器、基础ROI检测网络和所述新ROI检测网络的网络进行微调训练的过程中，保持述骨干网络、基础目标分类器、基础RPN和基础ROI检测网络的网络权重不变，从而避免了遗忘效应，在实现小样本目标检测的基础上不会导致大样本性能的降落。
本实施例提供的目标检测方法，通过骨干网络提取待检测图像的图像特征，通过偏差均衡RPN对图像特征进行处理，得到目标检测提议框，根据图像特征和目标检测提议框，通过复合ROI检测网络确定多个初步目标检测结果，根据多个初步目标检测结果，确定最终的目标检测结果，由于通过偏差均衡RPN来生成目标检测提议框，并通过复合ROI检测网络确定多个初步目标检测结果，在实现小样本类别的目标检测时没有牺牲大样本类别的性能，不会导致大样本性能的掉落，即没有产生遗忘效应，提高了目标检测的准确性，而且这是一种迁移学习的方式，相比元学习方式降低了计算复杂度。
在上述技术方案的基础上，所述偏差均衡RPN和所述复合ROI检测网络的训练过程，包括：基于所述大样本数据集，对包括所述骨干网络、偏差均衡RPN中的基础目标分类器和基础RPN，以及复合ROI检测网络中的基础ROI检测网络的网络进行预训练；基于所述均衡数据集，对包括所述骨干网络、偏差均衡RPN中的基础目标分类器、基础RPN和微调目标分类器、以及所述复合ROI检测网络中的基础ROI检测网络和新ROI检测网络的网络进行微调训练，并保持所述骨干网络、基础目标分类器、基础RPN和基础ROI检测网络的网络权重固定。
包括骨干网络、基础目标分类器、基础RPN和基础ROI检测网络的网络是一个传统的Faster R-CNN检测器，在对网络进行训练时，先基于大样本数据集，对该传统的FasterR-CNN检测器进行预训练，预训练完成后，再基于均衡数据集，对包括所述骨干网络、基础目标分类器、微调目标分类器、基础RPN、基础ROI检测网络和所述新ROI检测网络的网络组成的无遗忘效应的Faster R-CNN检测器进行微调训练，在微调训练的过程中，保持所述骨干网络、基础目标分类器、基础RPN和基础ROI检测网络的网络权重固定，只对微调目标分类器和新ROI检测网络的网络权重进行调整，以避免大样本性能的降落，实现了无遗忘效应的目标检测。
在上述技术方案的基础上，在所述基于所述均衡数据集，对包括所述骨干网络、偏差均衡RPN中的基础目标分类器、基础RPN和微调目标分类器、以及所述复合ROI检测网络中的基础ROI检测网络和新ROI检测网络的网络进行微调训练之前，还包括：将所述微调目标分类器的网络权重初始化为所述基础目标分类器的网络权重，并随机初始化所述新ROI检测网络的网络权重。
在对包括所述骨干网络、基础目标分类器、基础RPN和基础ROI检测网络的网络预训练完成后，将微调目标分类器的网络权重初始化为基础目标分类器的网络权重，并随机初始化新ROI检测网络的网络权重，在此基础上，基于均衡数据集进行微调训练。由于微调目标分类器相对于基础目标分类器是可以在预测大样本类别目标得分的基础上预测小样本类别的目标得分的，所以可以将微调目标分类器的网络权重初始化为基础目标分类器的网络权重，这样可以提高微调训练的速度。而新ROI检测网络相对于基础ROI检测网络可以检测更多的类别，即包括大样本类别和小样本类别，与基础ROI检测网络可以检测的类别数量不同，可以随机初始化网络权重。
在上述技术方案的基础上，所述方法还包括：通过所述基础ROI检测网络输出的基础目标检测结果与所述新ROI检测网络输出的基础目标检测结果的一致性损失对所述新ROI检测网络进行微调训练。
基础目标检测结果为大样本类别的检测结果，而新目标检测结果为小样本类别的检测结果，对于一个目标检测提议框而言，新ROI检测网络检测到的基础目标检测结果和基础ROI检测网络检测到的基础目标检测结果应该一致，所以可以通过基础ROI检测网络输出的基础目标检测结果与所述新ROI检测网络输出的基础目标检测结果的一致性损失来约束对新ROI检测网络的微调训练。一致性损失可以表示如下：
Figure BDA0002922010630000091
其中，Lcon为一致性损失，
Figure BDA0002922010630000092
和
Figure BDA0002922010630000093
分别为新ROI检测网络和基础ROI检测网络在所有基础目标类别Cb关于类别c的归一化边缘概率分布。
一致性损失不限于上述形式，还可以使用负余弦相似度、L1偏差等一致性损失。通过使用一致性损失对新ROI检测网络进行微调训练，可以进一步提高训练完成的网络对目标检测的准确性。
需要说明的是，对于方法实施例，为了简单描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本发明实施例并不受所描述的动作顺序的限制，因为依据本发明实施例，某些步骤可以采用其他顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于优选实施例，所涉及的动作并不一定是本发明实施例所必须的。
图3是本发明实施例提供的一种目标测装置的结构框图，如图3所示，该目标检测装置可以包括：
特征提取模块301，用于通过骨干网络提取待检测图像的图像特征；
提议框生成模块302，用于通过偏差均衡RPN对所述图像特征进行处理，得到目标检测提议框；
初步结果确定模块303，用于根据所述图像特征和所述目标检测提议框，通过复合ROI检测网络确定多个初步目标检测结果；
检测结果确定模块304，用于根据所述多个初步目标检测结果，确定最终的目标检测结果。
可选的，所述复合ROI检测网络包括基础ROI检测网络和新ROI检测网络，其中，所述基础ROI检测网络基于大样本数据集训练得到，所述新ROI检测网络基于均衡数据集微调训练得到。
可选的，所述初步目标检测结果包括基础目标检测结果和新目标检测结果；
所述目标类别确定模块具体用于：
根据所述图像特征和所述目标检测提议框，通过所述复合ROI检测网络中的基础ROI检测网络确定基础目标检测结果，通过所述复合ROI检测网络中的新ROI检测网络确定基础目标检测结果和新目标检测结果。
可选的，所述偏差均衡RPN包括基础目标分类器、微调目标分类器和基础RPN，其中，所述基础目标分类器基于大样本数据集训练得到，所述微调目标分类器是在所述均衡数据集上对所述基础目标分类器进行微调训练得到。
可选的，所述提议框生成模块包括：
目标得分图生成单元，用于通过所述基础目标分类器生成所述图像特征对应的第一目标得分图，通过微调目标分类器生成所述图像特征对应的第二目标得分图；
定位偏差确定单元，用于通过基础RPN确定所述图像特征对应的定位偏差；
提议框生成单元，用于根据所述第一目标得分图、第二目标得分图和所述定位偏差，生成目标检测提议框。
可选的，所述提议框生成单元包括：
目标得分图融合子单元，用于取所述第一目标得分图和所述第二目标得分图中对应像素的最大值，生成所述图像特征对应的融合目标得分图；
提议框生成子单元，用于根据所述定位偏差和所述融合目标得分图，生成所述目标检测提议框。
可选的，所述装置还包括：
预训练模块，用于基于所述大样本数据集，对包括所述骨干网络、偏差均衡RPN中的基础目标分类器和基础RPN，以及复合ROI检测网络中的基础ROI检测网络的网络进行预训练；
微调训练模块，用于基于所述均衡数据集，对包括所述骨干网络、偏差均衡RPN中的基础目标分类器、基础RPN和微调目标分类器、以及所述复合ROI检测网络中的基础ROI检测网络和新ROI检测网络的网络进行微调训练，并保持所述骨干网络、基础目标分类器、基础RPN和基础ROI检测网络的网络权重固定。
可选的，所述装置还包括：
权重初始化模块，用于将所述微调目标分类器的网络权重初始化为所述基础目标分类器的网络权重，并随机初始化所述新ROI检测网络的网络权重。
可选的，所述装置还包括：
微调训练约束模块，用于通过所述基础ROI检测网络输出的基础目标检测结果与所述新ROI检测网络输出的基础目标检测结果的一致性损失对所述新ROI检测网络进行微调训练。
可选的，所述检测结果确定模块具体用于：
对所述多个初步目标检测结果进行非极大值抑制处理，得到最终的目标检测结果。
本实施例提供的目标检测装置，通过骨干网络提取待检测图像的图像特征，通过偏差均衡RPN对图像特征进行处理，得到目标检测提议框，根据图像特征和目标检测提议框，通过复合ROI检测网络确定多个初步目标检测结果，根据多个初步目标检测结果，确定最终的目标检测结果，由于通过偏差均衡RPN来生成目标检测提议框，并通过复合ROI检测网络确定多个初步目标检测结果，在实现小样本类别的目标检测时没有牺牲大样本类别的性能，不会导致大样本性能的掉落，即没有产生遗忘效应，提高了目标检测的准确性，而且这是一种迁移学习的方式，相比元学习方式降低了计算复杂度。
对于装置实施例而言，由于其与方法实施例基本相似，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
进一步地，根据本发明的一个实施例，提供了一种电子设备，所述电子设备可以为计算机、移动终端或服务器等，所述电子设备包括：处理器、存储器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述计算机程序被所述处理器执行时实现前述实施例的目标检测方法。
根据本发明的一个实施例，还提供了一种计算机可读存储介质，所述计算机可读存储介质包括但不限于磁盘存储器、CD-ROM、光学存储器等，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现前述实施例的目标检测方法。
本说明书中的各个实施例均采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似的部分互相参见即可。
本领域内的技术人员应明白，本发明实施例的实施例可提供为方法、装置、或计算机程序产品。因此，本发明实施例可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明实施例可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本发明实施例是参照根据本发明实施例的方法、终端设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理终端设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理终端设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理终端设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理终端设备上，使得在计算机或其他可编程终端设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程终端设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
尽管已描述了本发明实施例的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例做出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本发明实施例范围的所有变更和修改。
最后，还需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者终端设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者终端设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者终端设备中还存在另外的相同要素。
以上对本发明所提供的一种目标检测方法、装置、电子设备及存储介质，进行了详细介绍，本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。

Claims (13)

1.一种目标检测方法，其特征在于，包括：
通过骨干网络提取待检测图像的图像特征；
通过偏差均衡区域生成网络RPN对所述图像特征进行处理，得到目标检测提议框；
根据所述图像特征和所述目标检测提议框，通过复合感兴趣区域ROI检测网络确定多个初步目标检测结果；
根据所述多个初步目标检测结果，确定最终的目标检测结果。
2.根据权利要求1所述的方法，其特征在于，所述复合ROI检测网络包括基础ROI检测网络和新ROI检测网络，其中，所述基础ROI检测网络基于大样本数据集训练得到，所述新ROI检测网络基于均衡数据集微调训练得到。
3.根据权利要求2所述的方法，其特征在于，所述初步目标检测结果包括基础目标检测结果和新目标检测结果；
根据所述图像特征和所述目标检测提议框，通过复合ROI检测网络确定多个初步目标检测结果，包括：
根据所述图像特征和所述目标检测提议框，通过所述复合ROI检测网络中的基础ROI检测网络确定基础目标检测结果，通过所述复合ROI检测网络中的新ROI检测网络确定基础目标检测结果和新目标检测结果。
4.根据权利要求1-3任一项所述的方法，其特征在于，所述偏差均衡RPN包括基础目标分类器、微调目标分类器和基础RPN，其中，所述基础目标分类器基于大样本数据集训练得到，所述微调目标分类器是在均衡数据集上对所述基础目标分类器进行微调训练得到。
5.根据权利要求4所述的方法，其特征在于，所述通过偏差均衡RPN对所述图像特征进行处理，得到目标检测提议框，包括：
通过所述基础目标分类器生成所述图像特征对应的第一目标得分图，通过微调目标分类器生成所述图像特征对应的第二目标得分图；
通过基础RPN确定所述图像特征对应的定位偏差；
根据所述第一目标得分图、第二目标得分图和所述定位偏差，生成目标检测提议框。
6.根据权利要求5所述的方法，其特征在于，所述根据所述第一目标得分图、第二目标得分图和所述定位偏差，生成目标检测提议框，包括：
取所述第一目标得分图和所述第二目标得分图中对应像素的最大值，得到所述图像特征对应的融合目标得分图；
根据所述定位偏差和所述融合目标得分图，生成所述目标检测提议框。
7.根据权利要求1-6任一项所述的方法，其特征在于，所述偏差均衡RPN和所述复合ROI检测网络的训练过程，包括：
基于所述大样本数据集，对包括所述骨干网络、偏差均衡RPN中的基础目标分类器和基础RPN，以及复合ROI检测网络中的基础ROI检测网络的网络进行预训练；
基于所述均衡数据集，对包括所述骨干网络、偏差均衡RPN中的基础目标分类器、基础RPN和微调目标分类器、以及所述复合ROI检测网络中的基础ROI检测网络和新ROI检测网络的网络进行微调训练，并保持所述骨干网络、基础目标分类器、基础RPN和基础ROI检测网络的网络权重固定。
8.根据权利要求7所述的方法，其特征在于，在所述基于所述均衡数据集，对包括所述骨干网络、偏差均衡RPN中的基础目标分类器、基础RPN和微调目标分类器、以及所述复合ROI检测网络中的基础ROI检测网络和新ROI检测网络的网络进行微调训练之前，还包括：
将所述微调目标分类器的网络权重初始化为所述基础目标分类器的网络权重，并随机初始化所述新ROI检测网络的网络权重。
9.根据权利要求7所述的方法，其特征在于，所述方法还包括：
通过所述基础ROI检测网络输出的基础目标检测结果与所述新ROI检测网络输出的基础目标检测结果的一致性损失对所述新ROI检测网络进行微调训练。
10.根据权利要求1-6任一项所述的方法，其特征在于，所述根据所述多个初步目标检测结果，确定最终的目标检测结果，包括：
对所述多个初步目标检测结果进行非极大值抑制处理，得到最终的目标检测结果。
11.一种目标检测装置，其特征在于，包括：
特征提取模块，用于通过骨干网络提取待检测图像的图像特征；
提议框生成模块，用于通过偏差均衡RPN对所述图像特征进行处理，得到目标检测提议框；
初步结果确定模块，用于根据所述图像特征和所述目标检测提议框，通过复合ROI检测网络确定多个初步目标检测结果；
检测结果确定模块，用于根据所述多个初步目标检测结果，确定最终的目标检测结果。
12.一种电子设备，其特征在于，包括：处理器、存储器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述计算机程序被所述处理器执行时实现如权利要求1-10任一项所述的目标检测方法。
13.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求1-10任一项所述的目标检测方法。
CN202110120871.7A 2021-01-28 2021-01-28 目标检测方法、装置、电子设备及存储介质 Pending CN113052165A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110120871.7A CN113052165A (zh) 2021-01-28 2021-01-28 目标检测方法、装置、电子设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110120871.7A CN113052165A (zh) 2021-01-28 2021-01-28 目标检测方法、装置、电子设备及存储介质

Publications (1)

Publication Number Publication Date
CN113052165A true CN113052165A (zh) 2021-06-29

Family

ID=76508332

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110120871.7A Pending CN113052165A (zh) 2021-01-28 2021-01-28 目标检测方法、装置、电子设备及存储介质

Country Status (1)

Country Link
CN (1) CN113052165A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113408549A (zh) * 2021-07-14 2021-09-17 西安电子科技大学 基于模板匹配和注意力机制的少样本弱小目标检测方法
WO2023000764A1 (zh) * 2021-07-23 2023-01-26 北京迈格威科技有限公司 目标检索方法、装置、设备及存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20190156144A1 (en) * 2017-02-23 2019-05-23 Beijing Sensetime Technology Development Co., Ltd Method and apparatus for detecting object, method and apparatus for training neural network, and electronic device
CN110414380A (zh) * 2019-07-10 2019-11-05 上海交通大学 一种基于目标检测的学生行为检测方法
CN111652266A (zh) * 2020-04-17 2020-09-11 北京三快在线科技有限公司 用户界面组件的识别方法、装置、电子设备和存储介质
CN111860568A (zh) * 2020-05-13 2020-10-30 北京嘀嘀无限科技发展有限公司 数据样本的均衡分布方法、装置及存储介质

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20190156144A1 (en) * 2017-02-23 2019-05-23 Beijing Sensetime Technology Development Co., Ltd Method and apparatus for detecting object, method and apparatus for training neural network, and electronic device
CN110414380A (zh) * 2019-07-10 2019-11-05 上海交通大学 一种基于目标检测的学生行为检测方法
CN111652266A (zh) * 2020-04-17 2020-09-11 北京三快在线科技有限公司 用户界面组件的识别方法、装置、电子设备和存储介质
CN111860568A (zh) * 2020-05-13 2020-10-30 北京嘀嘀无限科技发展有限公司 数据样本的均衡分布方法、装置及存储介质

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
YINGCHI MAO等: "Crack Detection with Multi-task Enhanced Faster R-CNN Model", 《IEEE XPLORE》, 28 August 2020 (2020-08-28) *
潘婷 等: "基于卷积神经网络的车辆和行人检测算法", 《浙江科技学院学报》, 31 October 2018 (2018-10-31) *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113408549A (zh) * 2021-07-14 2021-09-17 西安电子科技大学 基于模板匹配和注意力机制的少样本弱小目标检测方法
CN113408549B (zh) * 2021-07-14 2023-01-24 西安电子科技大学 基于模板匹配和注意力机制的少样本弱小目标检测方法
WO2023000764A1 (zh) * 2021-07-23 2023-01-26 北京迈格威科技有限公司 目标检索方法、装置、设备及存储介质

Similar Documents

Publication Publication Date Title
US9779354B2 (en) Learning method and recording medium
CN113255694B (zh) 训练图像特征提取模型和提取图像特征的方法、装置
CN112232241B (zh) 一种行人重识别方法、装置、电子设备和可读存储介质
US9563825B2 (en) Convolutional neural network using a binarized convolution layer
US7171042B2 (en) System and method for classification of images and videos
CN105760488B (zh) 基于多层次特征融合的图像表达方法和装置
US8244044B2 (en) Feature selection and extraction
US10706327B2 (en) Information processing apparatus, information processing method, and storage medium
CN111967387A (zh) 表单识别方法、装置、设备及计算机可读存储介质
US20190138852A1 (en) Information processing apparatus, information processing method, and storage medium for generating teacher information
US10832036B2 (en) Meta-learning for facial recognition
CN113052165A (zh) 目标检测方法、装置、电子设备及存储介质
CN114863221B (zh) 检测模型的训练方法、装置、系统、设备及存储介质
WO2019167784A1 (ja) 位置特定装置、位置特定方法及びコンピュータプログラム
CN110738238A (zh) 一种证件信息的分类定位方法及装置
CN111144215A (zh) 图像处理方法、装置、电子设备及存储介质
CN110909784A (zh) 一种图像识别模型的训练方法、装置及电子设备
WO2015146113A1 (ja) 識別辞書学習システム、識別辞書学習方法および記録媒体
CN114861842A (zh) 少样本目标检测方法、装置和电子设备
CN115035347A (zh) 图片识别方法、装置及电子设备
CN115546581A (zh) 一种解耦的增量目标检测方法
KR102314990B1 (ko) 머신러닝 기반으로 비디오를 분류하는 장치, 방법 및 컴퓨터 프로그램
CN110263196B (zh) 图像检索方法、装置、电子设备及存储介质
WO2020113563A1 (zh) 人脸图像质量评估方法、装置、设备及存储介质
CN113762382B (zh) 模型的训练及场景识别方法、装置、设备及介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination