CN114462469B - 目标检测模型的训练方法、目标检测方法及相关装置 - Google Patents

目标检测模型的训练方法、目标检测方法及相关装置 Download PDF

Info

Publication number
CN114462469B
CN114462469B CN202111564608.3A CN202111564608A CN114462469B CN 114462469 B CN114462469 B CN 114462469B CN 202111564608 A CN202111564608 A CN 202111564608A CN 114462469 B CN114462469 B CN 114462469B
Authority
CN
China
Prior art keywords
target
sample
frame
scale
feature map
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202111564608.3A
Other languages
English (en)
Other versions
CN114462469A (zh
Inventor
司永洁
潘华东
殷俊
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang Dahua Technology Co Ltd
Original Assignee
Zhejiang Dahua Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang Dahua Technology Co Ltd filed Critical Zhejiang Dahua Technology Co Ltd
Priority to CN202111564608.3A priority Critical patent/CN114462469B/zh
Publication of CN114462469A publication Critical patent/CN114462469A/zh
Application granted granted Critical
Publication of CN114462469B publication Critical patent/CN114462469B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Computational Linguistics (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Image Analysis (AREA)

Abstract

本申请公开了一种目标检测模型的训练方法、目标检测方法及相关装置。目标检测模型的训练方法包括：获取样本图像，样本图像具有真实标签框；对样本图像进行不同尺度的特征提取，获得样本图像的特征图集，特征图集中包含至少两个特征图，且不同特征图的尺度不同；对于每个尺度的特征图，利用与其相邻层级的特征图进行特征融合，得到样本图像的多个目标特征图；在多个目标特征图上设置样本检测框，并根据真实标签框从样本检测框中确定出候选框；利用候选框对目标检测模型进行训练，得到训练后的目标检测模型。上述方案，能够为目标检测任务中的分类分支和回归分支提供更具有判别性的特征，对总体的目标检测任务选择了合适的优化方向。

Description

目标检测模型的训练方法、目标检测方法及相关装置
技术领域
本申请涉及图像处理技术领域，特别是涉及一种目标检测模型的训练方法、目标检测方法及相关装置。
背景技术
近年来，随着神经网络技术的发展和计算机算力的飞速提升，越来越多的视觉任务比如行人检测、人脸识别、垃圾检测、缺陷检测、车牌检测、商品检测、遥感目标检测等都可以通过计算机实现智能化处理。
目标检测任务通过准确定位目标位置和识别目标类别在人民生活、工业生产、城市建设、军事侦查以及环境保护等许多领域都有着广泛的应用价值。现有的多尺度卷积网络大多是基于特征金字塔的结构，由自上而下连接和横向连接组成，该方案的不足之处在于低层特征图的位置信息无法向上传递，导致部分目标定位效果差。
发明内容
本申请主要解决的技术问题是提供一种目标检测模型的训练方法、目标检测方法及相关装置，能够为目标检测任务中的分类分支和回归分支提供更具有判别性的特征，对总体的目标检测任务选择了合适的优化方向。
为了解决上述问题，本申请第一方面提供了一种目标检测模型的训练方法，所述目标检测模型的训练方法包括：获取样本图像，所述样本图像具有真实标签框；对所述样本图像进行不同尺度的特征提取，获得所述样本图像的特征图集，所述特征图集中包含至少两个特征图，且不同特征图的尺度不同；对于每个尺度的特征图，利用与其相邻层级的特征图进行特征融合，得到所述样本图像的多个目标特征图；在所述多个目标特征图上设置样本检测框，并根据所述真实标签框从所述样本检测框中确定出候选框；利用所述候选框对所述目标检测模型进行训练，得到训练后的目标检测模型。
其中，所述对于每个尺度的特征图，利用与其相邻层级的特征图进行特征融合，得到所述样本图像的多个目标特征图，包括：针对第一尺度的特征图，获取与所述第一尺度的特征图具有相邻层级的第二尺度的特征图和第三尺度的特征图；其中，所述第一尺度小于所述第二尺度，所述第一尺度与所述第二尺度之间具有第一预设倍数关系，且所述第一尺度大于所述第三尺度，所述第一尺度与所述第三尺度之间具有第二预设倍数关系；对所述第二尺度的的特征图进行所述第一预设倍数的下采样，对所述第三尺度的的特征图进行所述第二预设倍数的上采样，得到与所述第一尺度相同的两个特征图；将所述第一尺度的特征图和所述与所述第一尺度相同的两个特征图进行特征融合，得到所述第一尺度的特征图对应的目标特征图。
其中，所述在所述多个目标特征图上设置样本检测框，并根据所述真实标签框从所述样本检测框中确定出候选框，包括：根据所有目标特征图之间的采样倍数关系，在每个目标特征图上设置若干个样本检测框；其中，同一目标特征图上的不同样本检测框的尺度相同、且比例不同；根据每个样本检测框与所述真实标签框之间的交并比，将所有样本检测框划分为正样本框和负样本框，将所述正样本框和所述负样本框作为所述候选框。
其中，在所述根据每个样本检测框与所述真实标签框之间的交并比，将所有样本检测框划分为正样本框和负样本框的步骤之后，所述方法还包括：对所述正样本框进行预设比例的缩放，得到新的样本检测框；根据每个新的样本检测框与所述真实标签框之间的交并比，将所有新的样本检测框划分为正样本框和负样本框，将所述正样本框和所述负样本框作为所述候选框。
其中，所述预设比例为0.9至1.1之间。
其中，所述利用所述候选框对所述目标检测模型进行训练，得到训练后的目标检测模型，包括：根据所有真实目标与所述样本图像的相对比例，计算所有真实目标的相对面积均值，以作为目标相对面积阈值；根据所述候选框的相对面积与所述目标相对面积阈值之间的大小关系，将所述候选框放置在对应的目标特征图上；利用放置有对应的候选框的所述目标特征图对所述目标检测模型进行训练，得到训练后的目标检测模型。
其中，所述根据所述候选框的相对面积与所述目标相对面积阈值之间的大小关系，将所述候选框放置在对应的目标特征图上，包括：比较所述候选框的相对面积与所述目标相对面积阈值之间的大小；若所述候选框的相对面积大于所述目标相对面积阈值的第四预设倍数，则将所述候选框放置在第一层级的目标特征图上；若所述候选框的相对面积不大于所述目标相对面积阈值的第四预设倍数、且大于所述目标相对面积阈值的第五预设倍数，则将所述候选框放置在第二层级的目标特征图上；若所述候选框的相对面积不大于所述目标相对面积阈值的第五预设倍数，则将所述候选框放置在第三层级的目标特征图上；其中，所述第四预设倍数大于所述第五预设倍数，所述第二层级高于所述第三层级、且低于所述第一层级。
为了解决上述问题，本申请第二方面提供了一种目标检测方法，所述目标检测方法包括：对待检测图像进行不同尺度的特征提取，得到所述待检测图像的多个目标特征图；不同目标特征图的尺度不同；将所述多个目标特征图输入目标检测模型，生成目标检测框，以对所述待检测图像进行目标检测；其中，所述目标检测模型是通过上述第一方面的目标检测模型的训练方法训练得到的。
为解决上述问题，本申请第三方面提供了一种目标检测模型的训练装置，所述目标检测模型的训练装置包括：获取模块，所述获取模块用于获取样本图像，所述样本图像具有真实标签框；提取模块，所述提取模块用于对所述样本图像进行不同尺度的特征提取，获得所述样本图像的特征图集，所述特征图集中包含至少两个特征图，且不同特征图的尺度不同；处理模块，所述处理模块用于对于每个尺度的特征图，利用与其相邻层级的特征图进行特征融合，得到所述样本图像的多个目标特征图；确定模块，所述确定模块用于在所述多个目标特征图上设置样本检测框，并根据所述真实标签框从所述样本检测框中确定出候选框；训练模块，所述训练模块用于利用所述候选框对所述目标检测模型进行训练，得到训练后的目标检测模型。
为解决上述问题，本申请第四方面提供了一种电子设备，所述声源方位的定位电子设备包括相互连接的处理器和存储器；所述存储器用于存储程序指令，所述处理器用于执行所述程序指令以实现上述第一方面的目标检测模型的训练方法，或上述第二方面的目标检测方法。
为解决上述问题，本申请第五方面提供了一种计算机可读存储介质，其上存储有程序指令，所述程序指令被处理器执行时实现上述第一方面的目标检测模型的训练方法，或上述第二方面的目标检测方法。
本发明的有益效果是：区别于现有技术的情况，本申请通过获取样本图像，样本图像具有真实标签框，然后对样本图像进行不同尺度的特征提取，获得样本图像的特征图集，特征图集中包含至少两个特征图，且不同特征图的尺度不同，对于每个尺度的特征图，利用与其相邻层级的特征图进行特征融合，得到样本图像的多个目标特征图；于是，可以在多个目标特征图上设置样本检测框，并根据真实标签框从样本检测框中确定出候选框，然后利用候选框对目标检测模型进行训练，得到训练后的目标检测模型。通过设计多尺度的网络模型，可以提取不同尺度的特征图，进而实现相邻尺度的特征图的特征信息互联，通过相邻层的特征信息互联可以实现高低层特征的有效传递，充分利用了特征的语义信息和位置信息，为目标检测任务中的分类分支和回归分支提供更具有判别性的特征；另外，采用端到端的训练方法可以解决小目标的检测问题，目标检测模型中的区域建议网络和目标检测网络同时进行损失回传，实现梯度更新，对总体的目标检测任务来说选择了合适的优化方向。
附图说明
图1是本申请目标检测模型的训练方法一实施例的流程示意图；
图2是图1中步骤S13一实施例的流程示意图；
图3是图1中步骤S14一实施例的流程示意图；
图4是图1中步骤S15一实施例的流程示意图；
图5是本申请目标检测方法一实施例的流程示意图；
图6是本申请目标检测模型的训练装置一实施例的结构示意图；
图7是本申请电子设备一实施例的结构示意图；
图8是本申请计算机可读存储介质一实施例的结构示意图。
具体实施方式
下面结合说明书附图，对本申请实施例的方案进行详细说明。
以下描述中，为了说明而不是为了限定，提出了诸如特定系统结构、接口、技术之类的具体细节，以便透彻理解本申请。
本文中术语“系统”和“网络”在本文中常被可互换使用。本文中术语“和/或”，仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。另外，本文中字符“/”，一般表示前后关联对象是一种“或”的关系。此外，本文中的“多”表示两个或者多于两个。
请参阅图1，图1是本申请目标检测模型的训练方法一实施例的流程示意图。本实施例中的目标检测模型的训练方法，包括以下步骤：
步骤S11：获取样本图像，所述样本图像具有真实标签框。
本申请中，可以采用网络上公开的成熟的图像训练集中的图像作为样本图像，样本图像的数量可以为多张，每张样本图像具有真实标签框，真实标签框标注有样本图像包含的真实目标信息。
步骤S12：对所述样本图像进行不同尺度的特征提取，获得所述样本图像的特征图集，所述特征图集中包含至少两个特征图，且不同特征图的尺度不同。
在获取到样本图像后，可以将样本图像输入特征提取网络进行特征提取，得到多个尺度的特征图，形成样本图像的特征图集。在本申请实施例中，采用卷及神经网络对步骤S11中获取的样本图像进行特征提取，可选的，特征提取网络为VGG16、ResNet等常见的骨干网络。具体地，通过深度残差网络对样本图像进行最细尺度的下采样，然后通过深度残差网络对最细尺度的特征图进行上采样进行尺寸放大，将最细尺度的高层特征图与上采样得到的底层特征图经过1×1卷积通道侧向连接减少参数，将其逐级叠加，构建特征金字塔。特征金字塔是图像多尺度表达的一种，是一种以多分辨率来解释图像的有效但概念简单的结构。一幅图像的金字塔是一系列以金字塔形状排列的分辨率逐步降低，且来源于同一张原始图的图像集合。其通过梯次向下采样获得，直到达到某个终止条件才停止采样。将一层一层的图像比喻成金字塔，层级越高，则图像越小，分辨率越低。例如，使用ResNet50网络提取样本图像在不同尺度下的特征图，即ResNet50网络对同一样本图像进行不同尺度的下采样，可以得到下采样16倍、下采样32倍和下采样64倍处的特征图。
步骤S13：对于每个尺度的特征图，利用与其相邻层级的特征图进行特征融合，得到所述样本图像的多个目标特征图。
对同一样本图像进行不同尺度的下采样，得到多个不同尺度的特征图后，可以对这些特征图的特征信息进行相邻层之间的有效互联，对于每个尺度的特征图来说，利用该尺度的特征图与其相邻层级的特征图进行特征融合，得到该尺度下的目标特征图，进而得到样本图像的多个目标特征图。
请结合图2，图2是图1中步骤S13一实施例的流程示意图。在一实施例中，上述步骤S13具体包括：
步骤S131：针对第一尺度的特征图，获取与所述第一尺度的特征图具有相邻层级的第二尺度的特征图和第三尺度的特征图。其中，所述第一尺度小于所述第二尺度，所述第一尺度与所述第二尺度之间具有第一预设倍数关系，且所述第一尺度大于所述第三尺度，所述第一尺度与所述第三尺度之间具有第二预设倍数关系。
以对同一样本图像进行不同尺度的下采样，得到下采样16倍、下采样32倍和下采样64倍处的特征图为例，第一尺度的特征图为下采样32倍处的特征图，第二尺度的特征图为下采样64倍处的特征图，第三尺度的特征图为下采样16倍处的特征图，第一预设倍数关系和第二预设倍数关系均为2倍。
步骤S132：对所述第二尺度的的特征图进行所述第一预设倍数的下采样，对所述第三尺度的的特征图进行所述第二预设倍数的上采样，得到与所述第一尺度相同的两个特征图。
步骤S133：将所述第一尺度的特征图和所述与所述第一尺度相同的两个特征图进行特征融合，得到所述第一尺度的特征图对应的目标特征图。
针对下采样32倍处的特征层级来说，需要对下采样16倍处的特征图进行2倍下采样，对下采样64倍处的特征图进行2倍上采样，得到下采样32倍处的两个特征图，然后将这两个特征图与原本下采样32倍处的特征图进行对应元素相加的特征融合，得到下采样32倍处的目标特征图。同样地，针对下采样16倍处的特征层级来说，需要对下采样32倍处的特征图进行2倍上采样，得到下采样16倍处的一个特征图，然后将这个特征图与原本下采样16倍处的特征图进行对应元素相加的特征融合，得到下采样16倍处的目标特征图；而针对下采样64倍处的特征图，需要对下采样32倍处的特征图进行2倍下采样，得到下采样64倍处的一个特征图，然后将这个特征图与原本下采样64倍处的特征图进行对应元素相加的特征融合，得到下采样64倍处的目标特征图。从而可以实现相邻层特征信息的有效互联。
步骤S14：在所述多个目标特征图上设置样本检测框，并根据所述真实标签框从所述样本检测框中确定出候选框。
在得到样本图像的多个目标特征图后，可以在多个目标特征图上进行样本检测框的设置，然后可以根据当前的样本检测框与真实标签框之间的交并比来确定候选框的划分。
步骤S15：利用所述候选框对所述目标检测模型进行训练，得到训练后的目标检测模型。
目标检测模型包括区域建议网络和目标检测网络，其中，候选区域网络会产生大量的候选的样本检测框，然后以这些候选的样本检测框中选择满足条件的部分作为候选框，将候选框作为输入，以对目标检测网络进行训练，从而得到训练后的目标检测模型。
上述方案，通过设计多尺度的网络模型，可以提取不同尺度的特征图，进而实现相邻尺度的特征图的特征信息互联，通过相邻层的特征信息互联可以实现高低层特征的有效传递，充分利用了特征的语义信息和位置信息，为目标检测任务中的分类分支和回归分支提供更具有判别性的特征；另外，采用端到端的训练方法可以解决小目标的检测问题，目标检测模型中的区域建议网络和目标检测网络同时进行损失回传，实现梯度更新，对总体的目标检测任务来说选择了合适的优化方向。
请结合图3，图3是图1中步骤S14一实施例的流程示意图。在一实施例中，上述步骤S14具体包括：
步骤S141：根据所有目标特征图之间的采样倍数关系，在每个目标特征图上设置若干个样本检测框。其中，同一目标特征图上的不同样本检测框的尺度相同、且比例不同。
步骤S142：根据每个样本检测框与所述真实标签框之间的交并比，将所有样本检测框划分为正样本框和负样本框，将所述正样本框和所述负样本框作为所述候选框。
具体地，在得到样本图像的多个目标特征图后，可以根据下采样倍数关系在目标特征图上进行检测框的设计，每一层的目标特征图都设置尺度相同比例不同的若干个样本检测框，例如，在某一目标特征图上设置三个样本检测框，这三个样本检测框的面积相同，但长宽比例不同。然后根据每个样本检测框与真实标签框之间的交并比，将所有样本检测框划分为正样本框和负样本框；例如，可以设置第一交并比阈值和第二交并比阈值，第一交并比阈值大于第二交并比阈值，当样本检测框与真实标签框之间的交并比大于第一交并比阈值时，将该样本检测框划分为正样本框，当样本检测框与真实标签框之间的交并比小于第二交并比阈值时，将该样本检测框划分为负样本框，而样本检测框与真实标签框之间的交并比处于第一交并比阈值和第二交并比阈值之间的样本检测框，则可以舍弃。在一实施方式中，第一交并比阈值可以设置为0.7，第二交并比阈值可以设置为0.3。
进一步地，在上述步骤S142之后，还可以包括：
步骤S143：对所述正样本框进行预设比例的缩放，得到新的样本检测框。
步骤S144：根据每个新的样本检测框与所述真实标签框之间的交并比，将所有新的样本检测框划分为正样本框和负样本框，将所述正样本框和所述负样本框作为所述候选框。
在确定了正样本框和负样本框之后，可以对正样本框进行一定尺度的缩放，即对正样本框进行预设比例的缩放，相当于对正样本框进行内缩或者外扩，得到新的样本检测框，于是，当前的真实目标又多了两个可能的正样本标签，对于产生的新的样本检测框，同样根据每个新的样本检测框与真实标签框之间的交并比，将所有新的样本检测框划分为正样本框和负样本框。在一实施方式中，预设比例为0.9至1.1之间。
上述方案，采用缩放正样本框的方法，对已经确定正负样本归属的样本框进行小范围的内缩或者外扩，可以在训练的过程中获得更多的正样本，一定程度上缓解了正负样本失衡的问题。
请结合图4，图4是图1中步骤S15一实施例的流程示意图。在一实施例中，上述步骤S15具体包括：
步骤S151：根据所有真实目标与所述样本图像的相对比例，计算所有真实目标的相对面积均值，以作为目标相对面积阈值。
步骤S152：根据所述候选框的相对面积与所述目标相对面积阈值之间的大小关系，将所述候选框放置在对应的目标特征图上。
步骤S153：利用放置有对应的候选框的所述目标特征图对所述目标检测模型进行训练，得到训练后的目标检测模型。
可以理解的是，在确定了包括正样本框和负样本框的所有候选框之后，可以开始训练候选区域网络，该网络可以实现候选框位置的修正以及是否包含目标的判断。在得到大量的候选框之后，要为目标检测网络的训练选择合适的正样本框和负样本框，针对小目标难以检测的问题，采用目标相对面积阈值T判断法来为候选框选择特定的训练特征层级，将满足条件的候选框送入ROI池化层，这些候选框可以理解为映射在样本图像上的目标框，这些候选框具体应该映射到哪个特征图需要根据候选框的相对面积与目标相对面积阈值之间的大小关系进行分配，即确定ROI池化层的输入特征来自哪个层级的特征。其中，根据当前训练集中的真实目标与原始样本图像的大小的相对比例，计算所有真实目标的相对面积均值，将它们的均值作为目标相对面积阈值T。然后根据候选框的相对面积S与目标相对面积阈值T之间的大小关系，将该候选框放置在对应的目标特征图上进行训练。
在一实施方式中，上述步骤S152具体可以包括：比较所述候选框的相对面积与所述目标相对面积阈值之间的大小；若所述候选框的相对面积大于所述目标相对面积阈值的第四预设倍数，则将所述候选框放置在第一层级的目标特征图上；若所述候选框的相对面积不大于所述目标相对面积阈值的第四预设倍数、且大于所述目标相对面积阈值的第五预设倍数，则将所述候选框放置在第二层级的目标特征图上；若所述候选框的相对面积不大于所述目标相对面积阈值的第五预设倍数，则将所述候选框放置在第三层级的目标特征图上；其中，所述第四预设倍数大于所述第五预设倍数，所述第二层级高于所述第三层级、且低于所述第一层级。
例如，第四预设倍数为1，第五预设倍数为0.5，第一层级的目标特征图为下采样64倍处的目标特征图，第二层级的目标特征图为下采样32倍处的目标特征图，第三层级的目标特征图为下采样16倍处的目标特征图，因此，通过比较候选框的相对面积S与目标相对面积阈值T之间的大小；若S>T，则将该候选框放置在下采样64倍处的目标特征图上进行训练；若0.5*T<S<＝T，则将该候选框放置在下采样32倍处的目标特征图上进行训练；若S<＝0.5*T，则将该候选框放置在下采样16倍处的目标特征图上进行训练。
上述方案，采用目标相对面积阈值T来判断训练样本的特征层级归属问题，样本框可以自主选择指定尺度的特征图，由于训练样本的目标尺度差异较大，这样的分配方法避免了很多小目标由于得分较低、无法在目标检测网络的训练过程中对损失作出相关的贡献、进而影响到小目标的检出效果的问题，使用目标相对面积阈值T来让样本框选择最适合进行训练的特征层级，保证了小目标在训练过程中的数量占比，使得网络的优化方向朝着有利于小目标检出的方向进行。
请参阅图5，图5是本申请目标检测方法一实施例的流程示意图。本实施例中的目标检测方法，包括以下步骤：
步骤S51：对待检测图像进行不同尺度的特征提取，得到所述待检测图像的多个目标特征图；不同目标特征图的尺度不同。
步骤S52：将所述多个目标特征图输入目标检测模型，生成目标检测框，以对所述待检测图像进行目标检测。其中，所述目标检测模型是通过上述任意一种目标检测模型的训练方法训练得到的。
本申请通过设计多尺度的网络模型，可以提取不同尺度的特征图，进而实现相邻尺度的特征图的特征信息互联，通过相邻层的特征信息互联可以实现高低层特征的有效传递，充分利用了特征的语义信息和位置信息，为目标检测任务中的分类分支和回归分支提供更具有判别性的特征；另外，采用端到端的训练方法可以解决小目标的检测问题，目标检测模型中的区域建议网络和目标检测网络同时进行损失回传，实现梯度更新，对总体的目标检测任务来说选择了合适的优化方向，使用训练后的目标检测模型可以提高目标检测效果。
请参阅图6，图6是本申请目标检测模型的训练装置一实施例的结构示意图。本实施例中的目标检测模型的训练装置60包括相互连接的获取模块600、提取模块602、处理模块604、确定模块606和训练模块608；所述获取模块600用于获取样本图像，所述样本图像具有真实标签框；所述提取模块602用于对所述样本图像进行不同尺度的特征提取，获得所述样本图像的特征图集，所述特征图集中包含至少两个特征图，且不同特征图的尺度不同；所述处理模块604用于对于每个尺度的特征图，利用与其相邻层级的特征图进行特征融合，得到所述样本图像的多个目标特征图；所述确定模块606用于在所述多个目标特征图上设置样本检测框，并根据所述真实标签框从所述样本检测框中确定出候选框；所述训练模块608用于利用所述候选框对所述目标检测模型进行训练，得到训练后的目标检测模型。
在一实施例中，所述处理模块604执行对于每个尺度的特征图，利用与其相邻层级的特征图进行特征融合，得到所述样本图像的多个目标特征图的步骤，包括：针对第一尺度的特征图，获取与所述第一尺度的特征图具有相邻层级的第二尺度的特征图和第三尺度的特征图；其中，所述第一尺度小于所述第二尺度，所述第一尺度与所述第二尺度之间具有第一预设倍数关系，且所述第一尺度大于所述第三尺度，所述第一尺度与所述第三尺度之间具有第二预设倍数关系；对所述第二尺度的的特征图进行所述第一预设倍数的下采样，对所述第三尺度的的特征图进行所述第二预设倍数的上采样，得到与所述第一尺度相同的两个特征图；将所述第一尺度的特征图和所述与所述第一尺度相同的两个特征图进行特征融合，得到所述第一尺度的特征图对应的目标特征图。
在一实施例中，所述确定模块606执行在所述多个目标特征图上设置样本检测框，并根据所述真实标签框从所述样本检测框中确定出候选框的步骤，包括：根据所有目标特征图之间的采样倍数关系，在每个目标特征图上设置若干个样本检测框；其中，同一目标特征图上的不同样本检测框的尺度相同、且比例不同；根据每个样本检测框与所述真实标签框之间的交并比，将所有样本检测框划分为正样本框和负样本框。
在一实施例中，所述确定模块606在执行根据每个样本检测框与所述真实标签框之间的交并比，将所有样本检测框划分为正样本框和负样本框的步骤之后，还用于：对所述正样本框进行预设比例的缩放，得到新的样本检测框；根据每个新的样本检测框与所述真实标签框之间的交并比，将所有新的样本检测框划分为正样本框和负样本框。
在一实施例中，所述预设比例为0.9至1.1之间。
在一实施例中，所述训练模块608执行利用所述候选框对所述目标检测模型进行训练，得到训练后的目标检测模型的步骤，包括：根据所有真实目标与所述样本图像的相对比例，计算所有真实目标的相对面积均值，以作为目标相对面积阈值；根据所述候选框的相对面积与所述目标相对面积阈值之间的大小关系，将所述候选框放置在对应的目标特征图上；利用放置有对应的候选框的所述目标特征图对所述目标检测模型进行训练，得到训练后的目标检测模型。
在一实施例中，所述训练模块608执行根据所述候选框的相对面积与所述目标相对面积阈值之间的大小关系，将所述候选框放置在对应的目标特征图上的步骤，具体包括：比较所述候选框的相对面积与所述目标相对面积阈值之间的大小；若所述候选框的相对面积大于所述目标相对面积阈值的第四预设倍数，则将所述候选框放置在第一层级的目标特征图上；若所述候选框的相对面积不大于所述目标相对面积阈值的第四预设倍数、且大于所述目标相对面积阈值的第五预设倍数，则将所述候选框放置在第二层级的目标特征图上；若所述候选框的相对面积不大于所述目标相对面积阈值的第五预设倍数，则将所述候选框放置在第三层级的目标特征图上；其中，所述第四预设倍数大于所述第五预设倍数，所述第二层级高于所述第三层级、且低于所述第一层级。
关于本申请目标检测模型的训练装置60实现目标检测模型的训练方法的具体内容请参阅上述目标检测模型的训练方法实施例中的内容，此处不再赘述。
请参阅图7，图7是本申请电子设备一实施例的结构示意图。本实施例中的电子设备70包括相互连接的处理器702和存储器701；存储器701用于存储程序指令，处理器702用于执行存储器701中存储的程序指令，以实现上述任一目标检测模型的训练方法或目标检测方法实施例的步骤。在一个具体的实施场景中，电子设备70可以包括但不限于：微型计算机、服务器。
具体而言，处理器702用于控制其自身以及存储器701以实现上述任一目标检测模型的训练方法或目标检测方法实施例的步骤。处理器702还可以称为CPU(CentralProcessing Unit，中央处理单元)。处理器702可能是一种集成电路芯片，具有信号的处理能力。处理器702还可以是通用处理器、数字信号处理器(Digital Signal Processor,DSP)、专用集成电路(Application Specific Integrated Circuit,ASIC)、现场可编程门阵列(Field-Programmable Gate Array,FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。另外，处理器702可以由集成电路芯片共同实现。
请参阅图8，图8是本申请计算机可读存储介质一实施例的结构示意图。本申请计算机可读存储介质80，其上存储有程序指令800，程序指令800被处理器执行时实现上述任一目标检测模型的训练方法或目标检测方法实施例中的步骤。
该计算机可读存储介质80具体可以为U盘、移动硬盘、只读存储器(ROM，Read-OnlyMemory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等可以存储程序指令800的介质，或者也可以为存储有该程序指令800的服务器，该服务器可将存储的程序指令800发送给其他设备运行，或者也可以自运行该存储的程序指令800。
在本申请所提供的几个实施例中，应该理解到，所揭露的方法、设备和装置，可以通过其它的方式实现。例如，以上所描述的设备和装置实施方式仅仅是示意性的，例如，模块或单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施方式方案的目的。
另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)或处理器(processor)执行本申请各个实施方式方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。

Claims (10)

1.一种目标检测模型的训练方法，其特征在于，所述目标检测模型的训练方法包括：
获取样本图像，所述样本图像具有真实标签框；
对所述样本图像进行不同尺度的特征提取，获得所述样本图像的特征图集，所述特征图集中包含至少两个特征图，且不同特征图的尺度不同；
对于每个尺度的特征图，利用与其相邻层级的特征图进行特征融合，得到所述样本图像的多个目标特征图；
在所述多个目标特征图上设置样本检测框，并根据所述真实标签框从所述样本检测框中确定出候选框；
利用所述候选框对所述目标检测模型进行训练，得到训练后的目标检测模型；
其中，所述利用所述候选框对所述目标检测模型进行训练，得到训练后的目标检测模型，包括：
根据所有真实目标与所述样本图像的相对比例，计算所有真实目标的相对面积均值，以作为目标相对面积阈值；
根据所述候选框的相对面积与所述目标相对面积阈值之间的大小关系，将所述候选框放置在对应的目标特征图上；
利用放置有对应的候选框的所述目标特征图对所述目标检测模型进行训练，得到训练后的目标检测模型。
2.根据权利要求1所述的目标检测模型的训练方法，其特征在于，所述对于每个尺度的特征图，利用与其相邻层级的特征图进行特征融合，得到所述样本图像的多个目标特征图，包括：
针对第一尺度的特征图，获取与所述第一尺度的特征图具有相邻层级的第二尺度的特征图和第三尺度的特征图；其中，所述第一尺度小于所述第二尺度，所述第一尺度与所述第二尺度之间具有第一预设倍数关系，且所述第一尺度大于所述第三尺度，所述第一尺度与所述第三尺度之间具有第二预设倍数关系；
对所述第二尺度的的特征图进行所述第一预设倍数的下采样，对所述第三尺度的的特征图进行所述第二预设倍数的上采样，得到与所述第一尺度相同的两个特征图；
将所述第一尺度的特征图和所述与所述第一尺度相同的两个特征图进行特征融合，得到所述第一尺度的特征图对应的目标特征图。
3.根据权利要求1所述的目标检测模型的训练方法，其特征在于，所述在所述多个目标特征图上设置样本检测框，并根据所述真实标签框从所述样本检测框中确定出候选框，包括：
根据所有目标特征图之间的采样倍数关系，在每个目标特征图上设置若干个样本检测框；其中，同一目标特征图上的不同样本检测框的尺度相同、且比例不同；
根据每个样本检测框与所述真实标签框之间的交并比，将所有样本检测框划分为正样本框和负样本框，将所述正样本框和所述负样本框作为所述候选框。
4.根据权利要求3所述的目标检测模型的训练方法，其特征在于，在所述根据每个样本检测框与所述真实标签框之间的交并比，将所有样本检测框划分为正样本框和负样本框，将所述正样本框和所述负样本框作为所述候选框的步骤之后，所述方法还包括：
对所述正样本框进行预设比例的缩放，得到新的样本检测框；
根据每个新的样本检测框与所述真实标签框之间的交并比，将所有新的样本检测框划分为正样本框和负样本框，将所述正样本框和所述负样本框作为所述候选框。
5.根据权利要求4所述的目标检测模型的训练方法，其特征在于，
所述预设比例为0.9至1.1之间。
6.根据权利要求1所述的目标检测模型的训练方法，其特征在于，所述根据所述候选框的相对面积与所述目标相对面积阈值之间的大小关系，将所述候选框放置在对应的目标特征图上，包括：
比较所述候选框的相对面积与所述目标相对面积阈值之间的大小；
若所述候选框的相对面积大于所述目标相对面积阈值的第四预设倍数，则将所述候选框放置在第一层级的目标特征图上；
若所述候选框的相对面积不大于所述目标相对面积阈值的第四预设倍数、且大于所述目标相对面积阈值的第五预设倍数，则将所述候选框放置在第二层级的目标特征图上；
若所述候选框的相对面积不大于所述目标相对面积阈值的第五预设倍数，则将所述候选框放置在第三层级的目标特征图上；
其中，所述第四预设倍数大于所述第五预设倍数，所述第二层级高于所述第三层级、且低于所述第一层级。
7.一种目标检测方法，其特征在于，所述目标检测方法包括：
对待检测图像进行不同尺度的特征提取，得到所述待检测图像的多个目标特征图；不同目标特征图的尺度不同；
将所述多个目标特征图输入目标检测模型，生成目标检测框，以对所述待检测图像进行目标检测；
其中，所述目标检测模型是通过权利要求1至6任一项所述的目标检测模型的训练方法训练得到的。
8.一种目标检测模型的训练装置，其特征在于，所述目标检测模型的训练装置包括：
获取模块，所述获取模块用于获取样本图像，所述样本图像具有真实标签框；
提取模块，所述提取模块用于对所述样本图像进行不同尺度的特征提取，获得所述样本图像的特征图集，所述特征图集中包含至少两个特征图，且不同特征图的尺度不同；
处理模块，所述处理模块用于对于每个尺度的特征图，利用与其相邻层级的特征图进行特征融合，得到所述样本图像的多个目标特征图；
确定模块，所述确定模块用于在所述多个目标特征图上设置样本检测框，并根据所述真实标签框从所述样本检测框中确定出候选框；
训练模块，所述训练模块用于利用所述候选框对所述目标检测模型进行训练，得到训练后的目标检测模型；
其中，所述训练模块执行利用所述候选框对所述目标检测模型进行训练，得到训练后的目标检测模型的步骤，包括：根据所有真实目标与所述样本图像的相对比例，计算所有真实目标的相对面积均值，以作为目标相对面积阈值；根据所述候选框的相对面积与所述目标相对面积阈值之间的大小关系，将所述候选框放置在对应的目标特征图上；利用放置有对应的候选框的所述目标特征图对所述目标检测模型进行训练，得到训练后的目标检测模型。
9.一种电子设备，其特征在于，所述电子设备包括相互连接的处理器和存储器；
所述存储器用于存储程序指令，所述处理器用于执行所述程序指令以实现如权利要求1-6任一项所述的目标检测模型的训练方法，或权利要求7所述的目标检测方法。
10.一种计算机可读存储介质，其上存储有程序指令，其特征在于，所述程序指令被处理器执行时实现权利要求1至6任一项所述的目标检测模型的训练方法，或权利要求7所述的目标检测方法。
CN202111564608.3A 2021-12-20 2021-12-20 目标检测模型的训练方法、目标检测方法及相关装置 Active CN114462469B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111564608.3A CN114462469B (zh) 2021-12-20 2021-12-20 目标检测模型的训练方法、目标检测方法及相关装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111564608.3A CN114462469B (zh) 2021-12-20 2021-12-20 目标检测模型的训练方法、目标检测方法及相关装置

Publications (2)

Publication Number Publication Date
CN114462469A CN114462469A (zh) 2022-05-10
CN114462469B true CN114462469B (zh) 2023-04-18

Family

ID=81405299

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111564608.3A Active CN114462469B (zh) 2021-12-20 2021-12-20 目标检测模型的训练方法、目标检测方法及相关装置

Country Status (1)

Country Link
CN (1) CN114462469B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114862683B (zh) * 2022-07-07 2022-12-09 浪潮电子信息产业股份有限公司 模型生成方法、目标检测方法、装置、设备及介质
CN115482417B (zh) * 2022-09-29 2023-08-08 珠海视熙科技有限公司 多目标检测模型及其训练方法、装置、介质及设备

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111199175A (zh) * 2018-11-20 2020-05-26 株式会社日立制作所 一种目标检测网络模型的训练方法及装置
CN111241947A (zh) * 2019-12-31 2020-06-05 深圳奇迹智慧网络有限公司 目标检测模型的训练方法、装置、存储介质和计算机设备

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109598290A (zh) * 2018-11-22 2019-04-09 上海交通大学 一种基于两级检测相结合的图像小目标检测方法
CN110458011A (zh) * 2019-07-05 2019-11-15 北京百度网讯科技有限公司 端到端的文字识别方法及装置、计算机设备及可读介质
CN111914727B (zh) * 2020-07-28 2024-04-26 联芯智能(南京)科技有限公司 基于平衡采样与非线性特征融合的小目标人体检测方法
CN112464733A (zh) * 2020-11-04 2021-03-09 北京理工大学重庆创新中心 基于双向特征融合的高分辨率光学遥感图像地物分类方法
CN112700442A (zh) * 2021-02-01 2021-04-23 浙江驿公里智能科技有限公司 基于Faster R-CNN的模切机工件缺陷检测方法和系统

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111199175A (zh) * 2018-11-20 2020-05-26 株式会社日立制作所 一种目标检测网络模型的训练方法及装置
CN111241947A (zh) * 2019-12-31 2020-06-05 深圳奇迹智慧网络有限公司 目标检测模型的训练方法、装置、存储介质和计算机设备

Also Published As

Publication number Publication date
CN114462469A (zh) 2022-05-10

Similar Documents

Publication Publication Date Title
Li et al. Automatic pixel‐level multiple damage detection of concrete structure using fully convolutional network
Cord et al. Automatic road defect detection by textural pattern recognition based on AdaBoost
CN110929774B (zh) 图像中目标物的分类方法、模型训练方法和装置
CN109086811B (zh) 多标签图像分类方法、装置及电子设备
CN109977191B (zh) 问题地图检测方法、装置、电子设备和介质
CN105574550A (zh) 一种车辆识别方法及装置
CN114462469B (zh) 目标检测模型的训练方法、目标检测方法及相关装置
CN112446378B (zh) 目标检测方法及装置、存储介质、终端
CN111797829A (zh) 一种车牌检测方法、装置、电子设备和存储介质
CN112016467B (zh) 交通标志识别模型训练方法、识别方法、系统、设备及介质
CN112906816B (zh) 基于光微分与双通道神经网络的目标检测方法和装置
CN112541372B (zh) 一种困难样本筛选方法及装置
CN114821102A (zh) 密集柑橘数量检测方法、设备、存储介质及装置
Moradi et al. Automated anomaly detection and localization in sewer inspection videos using proportional data modeling and deep learning–based text recognition
CN110852327A (zh) 图像处理方法、装置、电子设备及存储介质
CN115115825B (zh) 图像中的对象检测方法、装置、计算机设备和存储介质
CN111144425B (zh) 检测拍屏图片的方法、装置、电子设备及存储介质
CN113887608A (zh) 一种模型训练的方法、图像检测的方法及装置
CN110866931B (zh) 图像分割模型训练方法及基于分类的强化图像分割方法
CN112052907A (zh) 基于图像边缘信息的目标检测方法、装置及存储介质
CN115439654A (zh) 动态约束下的弱监督农田地块精细化分割方法及系统
CN110991201A (zh) 条码检测方法及相关装置
CN114168768A (zh) 图像检索方法及相关设备
CN112287905A (zh) 车辆损伤识别方法、装置、设备及存储介质
CN116843983A (zh) 路面病害识别方法、模型训练方法、电子设备及介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant