CN116310386A - 基于浅层自适应增强上下文的CenterNet小目标检测方法 - Google Patents

基于浅层自适应增强上下文的CenterNet小目标检测方法 Download PDF

Info

Publication number
CN116310386A
CN116310386A CN202310258164.3A CN202310258164A CN116310386A CN 116310386 A CN116310386 A CN 116310386A CN 202310258164 A CN202310258164 A CN 202310258164A CN 116310386 A CN116310386 A CN 116310386A
Authority
CN
China
Prior art keywords
target
shallow
feature
context
prediction
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310258164.3A
Other languages
English (en)
Inventor
张�杰
曲光
刘博文
张焕龙
王凤仙
江泳
李林伟
王夏兵
李岱霖
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Air Force Communication Sergeant School Of Pla
Zhengzhou University of Light Industry
Original Assignee
Air Force Communication Sergeant School Of Pla
Zhengzhou University of Light Industry
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Air Force Communication Sergeant School Of Pla, Zhengzhou University of Light Industry filed Critical Air Force Communication Sergeant School Of Pla
Priority to CN202310258164.3A priority Critical patent/CN116310386A/zh
Publication of CN116310386A publication Critical patent/CN116310386A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07—Target detection
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Databases & Information Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Image Analysis (AREA)

Abstract

本发明提出了一种基于浅层自适应增强上下文的CenterNet小目标检测方法，属目标检测的技术领域，本发明构建CenterNet目标检测模型；利用主干特征提取网络对输入图像进行特征提取得到浅层特征和深层特征；通过浅层特征层选择一个小目标信息较多的浅层特征，通过自适应增强上下文模块获取上下文信息，将上下文信息和原始浅层特征加权融合得到增强后的浅层特征；将增强后的浅层特征与经反卷积的深层特征进行特征融合得到预测特征图；将预测特征图送入预测网络预测目标的属性，获得目标的检测结果。本发明将通过自适应增强上下文模块进行浅层特征与深层特征融合，具有丰富的细节信息和语义信息，提高小目标的检测精度，且能够提升检测效果。

Description

基于浅层自适应增强上下文的CenterNet小目标检测方法
技术领域
本发明涉及目标检测的技术领域，尤其涉及一种基于浅层自适应增强上下文的CenterNet小目标检测方法。
背景技术
目标检测是计算机视觉领域中的重要研究课题之一，其目的是对图像中的目标进行定位和识别。当前，目标检测已广泛应用于人脸检测、缺陷检测、无人驾驶、智能监控以及遥感领域等，拥有非常广阔的发展前景。目前基于深度学习的比较主流的目标检测模型有Faster-RCNN、YOLOv3、CenterNet等。其中，Faster-RCNN属于两阶段模型，其首先利用RPN(区域建议网络)生成高质量候选区域，再对候选区域建议进行分类和回归。两阶段检测精度高，但检测效率较低。YOLOv3属于有锚框的单阶段模型，利用多尺度特征进行预测，通过特征图上目标的中心点特征对目标进行分类和回归，但其引入锚框的同时产生更多的参数，降低模型的检测效率。CenterNet是无锚框的单阶段模型，相比于YOLOv3模型，显著缩减了模型的计算量和训练时间。CenterNet模型利用关键点估计方法找到目标中心点，使用目标中心点位置的特征预测目标所有属性。本发明选择将速度和精度均衡的ResNet50作为CenterNet模型的主干特征提取网络。CenterNet模型结构如图1所示，其目标检测步骤如下：利用主干特征提取网络ResNet50对输入图像提取特征，对提取的深层特征经过三次反卷积后生成128×128高分辨率特征图，最后通过热力图(类别)预测、中心点预测和宽高预测获取目标检测结果。
随着深度学习的快速发展，目标检测模型已经取得了很大突破，但是仍然面临着许多挑战，其中如何提高小目标的检测精度成为挑战中的一个热门话题。主要原因有以下几个方面：(1)小物体空间小、像素少，难以获得充分的物体特征信息；(2)小目标信息经多次下采样后严重丢失甚至消失。在现实世界中，目标通常与周围的其他目标和环境共存，利用这种关系有助于提高小目标的检测性能。通过不同程度的上下文信息，我们可以获得小目标和周围场景的特征，这将有助于小目标的分类。因此，上下文信息对小目标检测很有帮助。此外，又由于小目标的特征信息主要集中在浅层。受此启发，为解决小目标检测精度低的问题，考虑到将自适应增强上下文模块应用到检测模型中的浅层中去。
发明内容
针对传统目标检测模型中针对小目标的特征信息在多次下采样后丢失严重甚至消失等情况，导致的漏检率高，精度低的技术问题，本发明提出一种基于浅层自适应增强上下文的CenterNet小目标检测方法，有效提高了CenterNet模型对小目标的检测性能。
为了达到上述目的，本发明的技术方案是这样实现的：一种基于浅层自适应增强上下文的CenterNet小目标检测方法，其步骤如下：
步骤S1、通过主干特征提取网络、自适应增强上下文模块和预测网络构建CenterNet目标检测模型；
步骤S2：利用主干特征提取网络对输入图像进行特征提取，得到不同程度的浅层特征和深层特征；从提取的浅层特征中选择一个小目标信息较多的浅层特征I，通过自适应增强上下文模块获取浅层特征I中的不同程度的上下文信息，并将不同程度的上下文信息和浅层特征I加权融合得到增强后的浅层特征II；
步骤S3、将增强后的浅层特征II与经反卷积的深层特征进行特征融合，得到预测特征图；
步骤S4、将预测特征图送入预测网络预测目标的属性，获得目标的检测结果。
优选地，所述主干特征提取网络为ResNet50网络；所述ResNet50网络包括卷积模块和恒等映射模块，其中卷积模块的作用是改变特征的维度；恒等映射模块用于加深主干特征提取网络的深度。
优选地，所述浅层特征I的特征图大小为64×64，该层的特征图分辨率较大，小目标特征信息较多；从浅层特征层输出的大小为64×64的浅层特征I通过一次反卷积操作使得该特征图增大为128×128。
优选地，所述自适应增强上下文模块包括三个不同比率的空洞卷积和跳跃连接四个分支，用来获取浅层特征I的不同程度的上下文信息，跳跃连接用来保留原始的浅层特征I，空洞卷积和跳跃连接的权重通过自适应权重分配方式得到。
优选地，三个空洞卷积的比率分别为1、2、4且核大小为3×3。
优选地，所述空洞卷积和跳跃连接的权重通过训练得到，训练的方法是随机梯度下降法，通过反向传播的方式把输出损失的梯度往前一层一层进行传递，更新每一层的参数来降低输出的损失，每次迭代进行损失梯度的向前传递及参数的更新，迭代沿着更好收敛的方向进行，直到模型收敛；根据每个分支的重要性，自适应增强上下文模块会产生对应的每个分支的权重，权重根据每个分支的重要性来进行分配；每个分支与对应分配的权重进行相乘得到相应的加权，将加权后的所有分支进行相加得到增强后的浅层特征。
优选地，比率为1、2、4的核大小为3×3空洞卷积以及跳跃连接分配自适应权重的方式为：
Figure BDA0004130368480000031
i,j＝1,2,3,4；
其中，Qi为归一化权重，ωi为初始化的索引权重，ωj为比率为1、2、4空洞卷积获取的不同程度的上下文信息和原始的浅层特征的权重。
优选地，所述步骤S3的反卷积为三次反卷积，三次反卷积将大小为16×16的深层特征生成高分辨率特征图；所述步骤S3的特征融合的方式为拼接。
优选地，所述预测网络包括目标热力图预测、目标中心点预测和目标宽高预测，目标热力图预测、中心点预测和目标宽高预测依次获取目标的类别、目标的位置和宽高。
优选地，训练中，所述CenterNet目标检测模型的总损失函数为：
Ldet＝Lk+λsizeLsize+λoffLoff
其中，λoff和λsize分别为目标宽高预测的损失函数和目标中心点偏移的损失函数的权重参数；Lk为目标热力图预测的损失函数，且：
Figure BDA0004130368480000032
其中，
Figure BDA0004130368480000033
为模型预测值，Yxyc为真实值，N为正样本个数；α和β为控制参数；
Lsize为目标宽高预测的损失函数，且：
Figure BDA0004130368480000034
其中，
Figure BDA0004130368480000035
为预测的目标宽高值，Sk为目标宽高真实值；
Loff为目标中心点偏移即预测的目标中心点相对于目标真实中心点的偏移的损失函数且：
Figure BDA0004130368480000036
其中，
Figure BDA0004130368480000037
表示预测的偏移值，p为输入图像中目标中心点坐标，R为缩放尺度，/>
Figure BDA0004130368480000038
为缩放后目标中心点的近似整数坐标。
本发明的有益效果：本发明首先通过在Centernet模型的主干特征提取网络ResNet50中引出一个小目标信息较多的浅层特征层，然后将此浅层特征通过自适应增强上下文模块，能够自适应地获得浅层特征不同程度的上下文信息同时保留原始特征信息，提高小目标的检测精度。本发明将通过自适应增强上下文模块的浅层特征与经三次反卷积后的深层特征进行特征融合，融合后的特征层具有丰富的细节信息和语义信息，提高小目标的检测精度，且通过训练实验证明本发明能够很好地提升小目标的检测效果。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为原始CenterNet目标检测模型的整体结构图。
图2为本发明加入浅层自适应增强上下文模块后的CenterNet目标检测流程图。
图3为本发明提供的浅层自适应增强上下文模块的结构图。
图4为本发明的加入浅层自适应增强上下文模块的CenterNet目标检测模型的整体结构图。
图5为本发明在KITTI数据集上与原始CenterNet目标检测模型的检测结果对比图，其中，(a)为本发明，(b)为原始CenterNet目标检测模型。
图6为本发明在小目标烟虫数据集上与原始CenterNet目标检测模型检测结果对比图，其中，(a)为本发明，(b)为原始CenterNet目标检测模型。
图7为本发明在小目标烟虫数据集上与原始CenterNet目标检测模型检测效果对比图，其中，(a)为本发明，(b)为原始CenterNet目标检测模型。
图8为本发明在小目标烟虫数据集上与原始CenterNet目标检测模型检测效果对比图，其中，(a)为本发明，(b)为原始CenterNet目标检测模型。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有付出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
实施例1
一种基于浅层自适应增强上下文的CenterNet小目标检测方法，参照图4，包括以下步骤：
步骤一：构建主干特征提取网络ResNet50，利用主干特征提取网络ResNet50提取图像特征，得到不同程度的浅层特征和深层特征。从提取的特征中选择一个大小为64×64的浅层特征I。将此浅层特征I通过一次反卷积操作后变成大小为128×128的浅层特征图，并通过自适应增强上下文模块来自适应地获取浅层特征的不同程度上下文信息和保留原始浅层特征。
步骤二：将通过自适应增强上下文模块的浅层特征I与经过三次反卷积后特征图大小变成128×128的深层特征特征融合，得到预测特征图。
步骤三：将预测特征图送入预测网络得到目标的检测结果。
将主干特征提取网络、自适应增强上下文模块、三次反卷积、特征融合和预测网络构成CenterNet目标检测模型，训练CenterNet目标检测模型，收敛时对每一代的CenterNet目标检测模型进行测试，保存最好的训练模型权重，同时该模型权重下的自适应增强上下文模块的权重分配也是最好的，由此得到训练好的CenterNet目标检测模型。
实施例2
作为本发明最佳实施方式，本发明一种基于浅层自适应增强上下文的CenterNet小目标检测方法，参照图2所示，包括主干特征提取网络、自适应增强上下文模块、三次反卷积、特征融合和预测网络。本发明的具体步骤如下：
步骤一、构建CenterNet目标检测模型的主干特征提取网络ResNet50，利用主干特征提取网络ResNet50对输入图像进行特征提取，得到不同程度的浅层特征和深层特征；从提取的浅层特征中选择一个小目标信息较多的浅层特征I输入到自适应增强上下文模块，获取浅层特征I中的上下文信息，并将上下文信息和原始浅层特征I加权融合得到增强后的浅层特征I。
主干特征提取网络ResNet50中的卷积模块(Conv block)和恒等映射模块(Identity block)在图4中已表示，其中卷积模块(Conv block)的输入和输出的维度是不一样的，所以不能连续串联，它的作用是改变特征的维度；恒等映射模块(Identity block)的输入维度和输出维度相同、可以串联，用于加深主干特征提取网络ResNet50的深度，图4中相应位置的数字即为串联模块的个数，其中，BatchNorm是进行归一化处理、ReLU起到激活函数的作用。通过在主干特征提取网络ResNet50提取的浅层特征中选择一个小目标信息较多的浅层特征，该浅层特征的特征图大小为64×64，选择64×64的浅层特征图，因为该层特征图分辨率较大，能够保留较多小目标的特征信息，且感受野适中。通过一次反卷积操作将此浅层特征层I的特征图增大为128×128，以作为自适应增强上下文模块的输入特征。一次反卷积操作能够使特征图的分辨率增大一倍。
如图3所示为本发明设计的自适应增强上下文模块的结构图，共四个分支，其中前三个分支使用不同比率的核大小为3×3空洞卷积，由于不同比率的空洞卷积感受野不同，因此可以获取不同程度输入的浅层特征的上下文信息，另外第四个分支用来保留原始特征信息。
自适应增强上下文模块对输入浅层特征处理步骤如下：
a、输入的浅层特征通过自适应增强上下文模块，不同比率的空洞卷积用来获取输入浅层特征不同程度的上下文信息，跳跃连接保留原始特征信息。
b、由于不同程度的上下文信息对输出的贡献不同，要为不同比率的空洞卷积以及跳跃连接分配额外的权重，具体的权重分配方式见公式(1)。即通过数据集对本发明提出的方法进行训练，训练的方法是随机梯度下降法，通过反向传播的方式把输出损失的梯度往前一层一层进行传递，通过更新每一层的参数来降低输出的损失，每次迭代都会进行损失梯度的向前传递及参数的更新，迭代沿着更好收敛的方向进行，直到模型收敛。根据每个分支的重要性，该自适应增强上下文模块会产生对应的每个分支的权重，权重根据每个分支的重要性来进行分配，该分配方式为自适应的，能够更好的提升本发明对于小目标的检测精度。
c、通过上述步骤b为相应的分支分配自适应的权重之后，每个分支与对应分配的权重进行相乘得到相应的加权，将加权后的所有分支进行特征融合，融合的方式为相加，得到最终输出。
其中，比率为1、2、4的核大小为3×3空洞卷积以及跳跃连接分配自适应权重的方式如下：
Figure BDA0004130368480000061
i,j＝1,2,3,4
其中，Qi为归一化权重，ωi为初始化的索引权重。ωj为比率为1、2、4空洞卷积获取的不同程度的上下文信息和原始特征的权重，该权重是对本发明提出的方法进行训练时，以沿着让方法更好收敛的方向进行迭代，根据每个分支的重要性而给每个分支所分配的。权重根据每个分支的重要性来进行分配，可以更好的平衡不同程度的上下文信息，使本发明提出的方法更好的收敛。
步骤二、将自适应增强上下文模块得到的浅层特征与经三次反卷积后大小变为128×128的深层特征进行特征融合，特征融合的方式为拼接，得到预测特征图。
深层特征的大小为16×16，对深层特征进行三次反卷积的目的是为了生成高分辨率特征图，而选择使用深层特征进行三次反卷积是因为深层特征语义信息较多，且经过三次反卷积的操作能够使得深层特征图分辨率增大三倍，反卷积操作能够增大特征图的分辨率大小。
步骤三、将融合后的特征即预测特征图送入预测网络，通过预测目标的三个属性，获得目标的检测结果。
预测网络由三部分组成，分别是目标热力图(类别)预测、目标中心点预测和目标宽高预测。其中，送入预测网络的预测特征图相当于将整个图片划分成128×128个区域即特征图的大小为128×128，每个区域存在一个特征点，特征点即特征图的每一个像素点，如果某个目标的中心落在这个区域，那么就由这个特征点来确定这个目标。最终通过目标热力图(类别)预测、中心点预测和目标宽高预测来依次获取目标的类别、目标的位置和宽高，得到目标的检测结果，检测过程到此结束。
训练由主干特征提取网络、浅层特征I、自适应增强上下文模块、三次反卷积、特征融合和预测网络构成的CenterNet目标检测模型，收敛时对每一代的模型进行测试，保存最好的训练模型权重，同时该模型权重下的自适应增强上下文模块的权重分配也是最好的，由此得到训练好的CenterNet目标检测模型。
CenterNet目标检测模型的总损失函数如下：
Ldet＝Lk+λsizeLsize+λoffLoff
其中，权重参数λsize设置为0.1，权重参数λoff设置为1。Lk为热力图(类别)预测的损失函数，表达式如下：
Figure BDA0004130368480000071
其中，
Figure BDA0004130368480000072
为模型预测值，Yxyc为真实值，N为正样本个数。参数α和β设置为2和4。
Lsize为目标宽高预测的损失函数，表达式如下：
Figure BDA0004130368480000073
其中，
Figure BDA0004130368480000074
为预测的目标宽高值，Sk为目标宽高真实值。
Loff为目标中心点偏移的损失函数，表达式如下：
Figure BDA0004130368480000075
其中，
Figure BDA0004130368480000076
表示预测的偏移值，p为输入图像中目标中心点坐标，R为缩放尺度，这里取4，/>
Figure BDA0004130368480000077
为缩放后目标中心点的近似整数坐标。
如图5所示，为在KITTI数据集上本发明提供的基于浅层自适应增强上下文的CenterNet模型检测结果(a)与原始CenterNet模型检测结果(b)对比，mAP(平均精度)提升1.72％。综合Car、Cyclist、Pedestrian三种目标来看，本发明有良好的提升效果。其中，KITTI数据集为目前国际上最重要的计算机视觉算法评价数据集之一，包含三个类别。因该数据集包含了许多小型物体和物体不同程度的遮挡和截断，可以充分验证本发明对于小目标的检测性能。本发明使用Pytoch框架训练模型，实验环境采用Intel i7-9700k CPU、NVIDIA Quadro P4000显卡和8GB内存硬件设备。
如图6所示，本发明还使用制作的烟虫数据集来验证对于小目标检测的效果。该数据集只包含烟虫一个目标类别，其中有1927个训练样本、215个验证样本和238个测试样本。训练样本用来对目标检测模型进行训练，使得模型达到收敛状态。验证样本用来监督模型的训练情况，指导模型选择最优的CenterNet模型参数。测试样本对模型检测效果进行评估，以充分验证模型的收敛情况。
由于该数据集中包含大量的烟虫小目标，同样可以充分验证本发明对于小目标的检测效果，本发明提供的基于浅层自适应增强上下文的CenterNet模型检测效果(a)与原始CenterNet模型检测效果(b)相比，mAP提升5.57％，这充分验证了本发明对于小目标检测的有效性。
如图7所示，为在烟虫数据集上本发明提供的基于浅层自适应增强上下文的CenterNet模型检测效果(a)与原始CenterNet模型检测效果(b)对比图。可以很清楚的看出本发明能够检测到更多的烟虫目标，提升该数据集对于烟虫的检测精度。
如图8所示，为在烟虫数据集上本发明提供的基于浅层自适应增强上下文的CenterNet模型检测效果(a)与原始CenterNet模型检测效果(b)对比图，该图存在烟虫目标聚集且周围含有烟丝背景的情况。通过图8的对比结果可以看出，上下文信息有助于小目标的检测。本发明通过上下文信息获取了周围的烟虫目标特征和周围的烟丝特征，而检测到相关的烟虫，提升了烟虫的检测精度。
以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种基于浅层自适应增强上下文的CenterNet小目标检测方法，其特征在于，其步骤如下：
步骤S1、通过主干特征提取网络、自适应增强上下文模块和预测网络构建CenterNet目标检测模型；
步骤S2：利用主干特征提取网络对输入图像进行特征提取，得到不同程度的浅层特征和深层特征；从提取的浅层特征中选择一个小目标信息较多的浅层特征I，通过自适应增强上下文模块获取浅层特征I中的不同程度的上下文信息，并将不同程度的上下文信息和浅层特征I加权融合得到增强后的浅层特征II；
步骤S3、将增强后的浅层特征II与经反卷积的深层特征进行特征融合，得到预测特征图；
步骤S4、将预测特征图送入预测网络预测目标的属性，获得目标的检测结果。
2.根据权利要求1所述的基于浅层自适应增强上下文的CenterNet小目标检测方法，其特征在于，所述主干特征提取网络为ResNet50网络；所述ResNet50网络包括卷积模块和恒等映射模块，其中卷积模块的作用是改变特征的维度；恒等映射模块用于加深主干特征提取网络的深度。
3.根据权利要求1或2所述的基于浅层自适应增强上下文的CenterNet小目标检测方法，其特征在于，所述浅层特征I的特征图大小为64×64，该层的特征图分辨率较大，小目标特征信息较多；大小为64×64的浅层特征I通过一次反卷积操作使得特征图增大为128×128。
4.根据权利要求3所述的基于浅层自适应增强上下文的CenterNet小目标检测方法，其特征在于，所述自适应增强上下文模块包括三个不同比率的空洞卷积和跳跃连接四个分支，用来获取浅层特征I的不同程度的上下文信息，跳跃连接用来保留原始的浅层特征I，空洞卷积和跳跃连接的权重通过自适应权重分配方式得到。
5.根据权利要求4所述的基于浅层自适应增强上下文的CenterNet小目标检测方法，其特征在于，三个空洞卷积的比率分别为1、2、4且核大小为3×3。
6.根据权利要求5所述的基于浅层自适应增强上下文的CenterNet小目标检测方法，其特征在于，所述空洞卷积和跳跃连接的权重通过训练得到，训练的方法是随机梯度下降法，通过反向传播的方式把输出损失的梯度往前一层一层进行传递，更新每一层的参数来降低输出的损失，每次迭代进行损失梯度的向前传递及参数的更新，迭代沿着更好收敛的方向进行，直到模型收敛；根据每个分支的重要性，自适应增强上下文模块会产生对应的每个分支的权重，权重根据每个分支的重要性来进行分配；每个分支与对应分配的权重进行相乘得到相应的加权，将加权后的所有分支进行相加得到增强后的浅层特征。
7.根据权利要求5或6所述的基于浅层自适应增强上下文的CenterNet小目标检测方法，其特征在于，比率为1、2、4的核大小为3×3空洞卷积以及跳跃连接分配自适应权重的方式为：
Figure FDA0004130368470000021
其中，Qi为归一化权重，ωi为初始化的索引权重，ωj为比率为1、2、4空洞卷积获取的不同程度的上下文信息和原始的浅层特征的权重。
8.根据权利要求7所述的基于浅层自适应增强上下文的CenterNet小目标检测方法，其特征在于，所述步骤S3的反卷积为三次反卷积，三次反卷积将大小为16×16的深层特征生成高分辨率特征图；所述步骤S3的特征融合的方式为拼接。
9.根据权利要求8所述的基于浅层自适应增强上下文的CenterNet小目标检测方法，其特征在于，所述预测网络包括目标热力图预测、目标中心点预测和目标宽高预测，目标热力图预测、中心点预测和目标宽高预测依次获取目标的类别、目标的位置和宽高。
10.根据权利要求7或8所述的基于浅层自适应增强上下文的CenterNet小目标检测方法，其特征在于，训练中，所述CenterNet目标检测模型的总损失函数为：
Ldet＝Lk+λsizeLsize+λoffLoff
其中，λoff和λsize分别为目标宽高预测的损失函数和目标中心点偏移的损失函数的权重参数；Lk为目标热力图预测的损失函数，且：
Figure FDA0004130368470000022
其中，
Figure FDA0004130368470000023
为模型预测值，Yxyc为真实值，N为正样本个数；α和β为控制参数；
Lsize为目标宽高预测的损失函数，且：
Figure FDA0004130368470000024
其中，
Figure FDA0004130368470000025
为预测的目标宽高值，Sk为目标宽高真实值；
Loff为目标中心点偏移即预测的目标中心点相对于目标真实中心点的偏移的损失函数且：
Figure FDA0004130368470000026
其中，
Figure FDA0004130368470000027
表示预测的偏移值，p为输入图像中目标中心点坐标，R为缩放尺度，/>
Figure FDA0004130368470000028
为缩放后目标中心点的近似整数坐标。
CN202310258164.3A 2023-03-16 2023-03-16 基于浅层自适应增强上下文的CenterNet小目标检测方法 Pending CN116310386A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310258164.3A CN116310386A (zh) 2023-03-16 2023-03-16 基于浅层自适应增强上下文的CenterNet小目标检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310258164.3A CN116310386A (zh) 2023-03-16 2023-03-16 基于浅层自适应增强上下文的CenterNet小目标检测方法

Publications (1)

Publication Number Publication Date
CN116310386A true CN116310386A (zh) 2023-06-23

Family

ID=86781137

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310258164.3A Pending CN116310386A (zh) 2023-03-16 2023-03-16 基于浅层自适应增强上下文的CenterNet小目标检测方法

Country Status (1)

Country Link
CN (1) CN116310386A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116823804A (zh) * 2023-07-21 2023-09-29 北京化工大学 基于知识和数据联合驱动的输电通道安全监测方法
CN117935067A (zh) * 2024-03-25 2024-04-26 中国人民解放军火箭军工程大学 一种sar图像建筑物检测方法

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116823804A (zh) * 2023-07-21 2023-09-29 北京化工大学 基于知识和数据联合驱动的输电通道安全监测方法
CN116823804B (zh) * 2023-07-21 2024-02-09 北京化工大学 基于知识和数据联合驱动的输电通道安全监测方法
CN117935067A (zh) * 2024-03-25 2024-04-26 中国人民解放军火箭军工程大学 一种sar图像建筑物检测方法
CN117935067B (zh) * 2024-03-25 2024-05-28 中国人民解放军火箭军工程大学 一种sar图像建筑物检测方法

Similar Documents

Publication Publication Date Title
CN114120019B (zh) 一种轻量化的目标检测方法
CN111126472B (zh) 一种基于ssd改进的目标检测方法
CN108830285B (zh) 一种基于Faster-RCNN的加强学习的目标检测方法
CN110472627A (zh) 一种端到端的sar图像识别方法、装置及存储介质
CN116310386A (zh) 基于浅层自适应增强上下文的CenterNet小目标检测方法
CN110929577A (zh) 一种基于YOLOv3的轻量级框架改进的目标识别方法
CN110458165B (zh) 一种引入注意力机制的自然场景文本检测方法
CN111126258A (zh) 图像识别方法及相关装置
CN107391505A (zh) 一种图像处理方法及系统
CN110008853B (zh) 行人检测网络及模型训练方法、检测方法、介质、设备
CN112541532B (zh) 基于密集连接结构的目标检测方法
CN112163520B (zh) 一种基于改进损失函数的mdssd人脸检测方法
CN113570029A (zh) 获取神经网络模型的方法、图像处理方法及装置
CN114565048A (zh) 基于自适应特征融合金字塔网络的三阶段害虫图像识别方法
CN117037215B (zh) 人体姿态估计模型训练方法、估计方法、装置及电子设备
CN113487610B (zh) 疱疹图像识别方法、装置、计算机设备和存储介质
CN111611925A (zh) 一种建筑物检测与识别方法及装置
CN110826609A (zh) 一种基于强化学习的双流特征融合图像识别方法
CN112070040A (zh) 一种用于视频字幕的文本行检测方法
CN112131933A (zh) 一种基于改进yolo网络的快速行人检测方法与系统
CN114332075A (zh) 基于轻量化深度学习模型的结构缺陷快速识别与分类方法
CN111222534A (zh) 一种基于双向特征融合和更平衡l1损失的单发多框检测器优化方法
CN113887649A (zh) 一种基于深层特征和浅层特征融合的目标检测方法
CN116597275A (zh) 一种基于数据增强的高速移动目标识别方法
CN112487911B (zh) 智能监控环境下基于改进yolov3的实时行人检测方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination