CN113221855B - 基于尺度敏感损失与特征融合的小目标检测方法和系统 - Google Patents

基于尺度敏感损失与特征融合的小目标检测方法和系统 Download PDF

Info

Publication number
CN113221855B
CN113221855B CN202110656942.5A CN202110656942A CN113221855B CN 113221855 B CN113221855 B CN 113221855B CN 202110656942 A CN202110656942 A CN 202110656942A CN 113221855 B CN113221855 B CN 113221855B
Authority
CN
China
Prior art keywords
module
loss
target
fusion
target detection
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110656942.5A
Other languages
English (en)
Other versions
CN113221855A (zh
Inventor
袁广林
秦晓燕
琚长瑞
李豪
陈萍
李从利
鲍蕾
黄勤超
任帅军
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
PLA Army Academy of Artillery and Air Defense
Original Assignee
PLA Army Academy of Artillery and Air Defense
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by PLA Army Academy of Artillery and Air Defense filed Critical PLA Army Academy of Artillery and Air Defense
Priority to CN202110656942.5A priority Critical patent/CN113221855B/zh
Publication of CN113221855A publication Critical patent/CN113221855A/zh
Application granted granted Critical
Publication of CN113221855B publication Critical patent/CN113221855B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07—Target detection
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Multimedia (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供一种基于尺度敏感损失与特征融合的小目标检测方法和系统，检测方法包括：建立训练数据集和尺度敏感损失与特征融合的目标检测网络；所述数据集中包括多张训练图像，每张图像中设置有至少一个待检测目标；所述检测模型包括特征提取模块、特征融合模块和目标检测模块；采用所述训练数据集对所述检测模型进行训练，得到训练后的检测模型；训练过程中所采用的损失函数为包括分类损失部分、回归损失和下采样造成的目标偏移损失；将待检测图像输入所述训练后的检测模型，得到小目标检测结果。本发明所提供的技术方案，能够解决小目标检测时存在的网络结构复杂、检测速度较慢的问题。

Description

基于尺度敏感损失与特征融合的小目标检测方法和系统
技术领域
本发明涉及小目标检测技术领域，具体涉及一种基于尺度敏感损失与特征融合的小目标检测方法和系统。
背景技术
小目标检测是指对图像中体积较小的目标进行检测，在小目标检测技术中，为了提高对小目标检测的效果，目前常用的技术有多尺度建模与数据增强两大类方法。
多尺度方法的核心思想是利用深度神经网络不同层次特征分别预测不同尺度的目标，该方法常用的技术方案包括：
(1)利用浅层特征图进行小目标检测，但是由于目标检测任务同时需要物体的“语义和位置”特征，而语义特征存在于深层特征图中，因此分层预测的网络结构难以兼顾小目标的语义和位置特征。
(2)特征金字塔网络(Feature Pyramid Networks，FPN)技术，该技术将深层特征图上采样后与浅层特征图融合，进行多尺度目标预测，一定程度上提升了小目标检测性能，但FPN技术具有局限性，即只适用于有锚框的目标检测方法中。
(3)多尺度正样本训练技术，该技术将正样本按照尺度划分成几个组，然后分别训练，其缺点是大大增加了计算量，降低了检测速度。
数据增强技术的思路是在训练阶段增加小目标样本数量从而提高模型对小目标的检测性能，这种做法对小目标物体的检测也有一定的提升，但是检测方法所采用网络的结构复杂，数据处理步骤多，检测速度较慢。
发明内容
本发明的目的是提供一种基于尺度敏感损失与特征融合的小目标检测方法和系统，以至少解决上述小目标检测时存在的网络结构复杂、检测速度较慢的问题。
为实现上述目的，本发明的采用如下技术方案：
一种基于尺度敏感损失与特征融合的小目标检测方法，包括如下步骤：
步骤S1：建立训练数据集和尺度敏感损失与特征融合的目标检测网络；
所述数据集中包括多张训练图像，每张图像中设置有至少一个待检测目标；
所述检测模型包括：
特征提取模块，卷积层、第一残差模块、第二残差模块、第三残差模块和第四残差模块；
特征融合模块，包括第一融合子模块和第二融合子模块；所述第一融合子模块和第二融合子模块均包括一个反卷积层和一个可变性卷积层，其中第一融合子模块的输入量为第三个残差模块和第四个残差模块的输出量，所述第二融合子模块的输入量为所述第一融合子模块的输出量和第二残差模块的输出量；
目标检测模块，用于根据所述特征融合模块的输出量得到目标检测结果；
步骤S2：采用所述训练数据集对所述检测模型进行训练，得到训练后的检测模型；
训练过程中所采用的损失函数为包括分类损失部分、回归损失和下采样造成的目标偏移损失；
步骤S3：将待检测图像输入所述训练后的检测模型，得到小目标检测结果。
进一步地，所述第一残差模块的输出图像为其输入图像尺寸的1/2，所述第二残差模块的输出图像为其输入图像尺寸的1/4，所述第三残差模块的输出图像为其输入图像尺寸的1/8，所述第四残差模块的输出图像为其输入图像尺寸的1/6。
进一步地，所述损失函数为
Ltotal＝Lcls+λ1×Lsize+λ2×Loff
其中Ltotal为分类损失，Lcls为训练损失，Lsize为目标定位损失，λ1为其权重，Loff为下采样造成的目标偏移损失，λ2为其权重。
进一步地，所述分类损失函数为
Figure GDA0004064264320000021
其中Lcls为其中一个分类的损失，Yxyc和
Figure GDA0004064264320000022
分别表示类别热图中(x,y)处该分类的标注值和预测值，N是标注的样本个数，k1-s为损失的权重，其中s为目标占整副图像的比例。
进一步地，在训练所述目标检测网络时，首先对训练数据集中各训练图像中的待检测目标进行标注，所述标注包括类别标注、尺寸标注和位置标注。
一种基于尺度敏感损失与特征融合的小目标检测系统，包括存储器和处理器，所述存储器存储有用于在所述处理器执行的计算机程序；所述处理器执行所述计算机程序时，实现如下基于尺度敏感损失与特征融合的小目标检测方法：
步骤S1：建立训练数据集和尺度敏感损失与特征融合的目标检测网络；
所述数据集中包括多张训练图像，每张图像中设置有至少一个待检测目标；
所述检测模型包括：
特征提取模块，卷积层、第一残差模块、第二残差模块、第三残差模块和第四残差模块；
特征融合模块，包括第一融合子模块和第二融合子模块；所述第一融合子模块和第二融合子模块均包括一个反卷积层和一个可变性卷积层，其中第一融合子模块的输入量为第三个残差模块和第四个残差模块的输出量，所述第二融合子模块的输入量为所述第一融合子模块的输出量和第二残差模块的输出量；
目标检测模块，用于根据所述特征融合模块的输出量得到检测目标；
步骤S2：采用所述训练数据集对所述检测模型进行训练，得到训练后的检测模型；
训练过程中所采用的损失函数为包括分类损失部分、回归损失和下采样造成的目标偏移损失；
步骤S3：将待检测图像输入所述训练后的检测模型，目标检测结果。
进一步地，所述第一残差模块的输出图像为其输入图像尺寸的1/2，所述第二残差模块的输出图像为其输入图像尺寸的1/4，所述第三残差模块的输出图像为其输入图像尺寸的1/8，所述第四残差模块的输出图像为其输入图像尺寸的1/6。
进一步地，所述损失函数为
Ltotal＝Lcls+λ1×Lsize+λ2×Loff
其中Ltotal为分类损失，Lcls为训练损失，Lsize为目标定位损失，λ1为其权重，Loff为下采样造成的目标偏移损失，λ2为其权重。
进一步地，所述分类损失函数为
Figure GDA0004064264320000031
其中Lcls为其中一个分类的损失，Yxyc和
Figure GDA0004064264320000032
分别表示类别热图中(x,y)处该分类的标注值和预测值，N是标注的样本个数，k1-s为损失的权重，其中s为目标占整副图像的比例。
进一步地，在训练所述目标检测网络时，首先对训练数据集中各训练图像中的待检测目标进行标注，所述标注包括类别标注、尺寸标注和位置标注。
本发明的有益效果：
本发明所提供的技术方案，所建立的目标检测网络中采用基于反卷积和可变形卷积的自上而下融合特征模块，从而获得高分辨率、强语义的特征图，解决小目标检测时存在的网络结构复杂、检测速度较慢的问题。
附图说明
通过参考附图阅读下文的详细描述，本公开示例性实施方式的上述以及其他目的、特征和优点将变得易于理解。在附图中，以示例性而非限制性的方式示出了本公开的若干实施方式，并且相同或对应的标号表示相同或对应的部分，其中：
图1是本发明实施例中基于尺度敏感损失与特征融合的小目标检测方法的流程示意图；
图2是本发明实施例中尺度敏感损失与特征融合的目标检测网络的结构示意图；以及
图3是本发明实施例中损失权重与目标尺寸之间的函数关系示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，本领域技术人员应知，本发明所描述的实施例是本发明一部分实施例，而不是全部的实施例。因此，本领域技术人员在没有做出创造性劳动前提下，基于本发明中的实施例所获得的所有其他实施例，都属于本发明保护的范围。
请参阅图1，图1示出了一种基于尺度敏感损失与特征融合的小目标检测方法的示意图，根据图1的内容可知，上述方法包括：
步骤S1：建立尺度敏感损失与特征融合的目标检测网络，该目标检测网络的结构如图2所示，包括：
特征提取模块：包括一个卷积层Conv1和自底向上的第一残差模块block1、第二残差模块block2、第三残差模块block3、第三残差模块block4，其中第一残差模块block1和第二残差模块block2输出的是浅层特征图，第三残差模块block3和第三残差模块block4输出的是深层特征图。
上述的卷积层(Convolutional layer)是利用卷积核对输入特征图进行卷积操作，每个卷积核的参数都是通过反向传播算法最优化得到的。卷积运算的目的是提取输入的不同特征，第一层卷积层可能只能提取一些低级的特征如边缘、线条和角等层级，更多层的网络能从低级特征中迭代提取更复杂的特征。
残差模块即残差网络模块(Residual Network，ResNet)，用于在不相邻特征图之间增加了恒等映射，解决网络深度带来的训练困难问题。
特征融合模块：包括两个串联的第一融合子模块和第二融合子模块，第一融合子模块和第二融合子模块均包括一个反卷积devonv和一个可变形卷积DCNv2。
反卷积是一种特殊的正向卷积，先按照一定的比例通过补0来扩大输入图像的尺寸，接着旋转卷积核，再进行正向卷积。反卷积的作用是通过对特征图上采样，得到高分辨率的特征图。可变形卷积对卷积核中每个采样点的位置都增加了一个偏移变量，可以实现在当前位置附近随意采样而不局限于传统的规则格点。可变性卷积能够适应目标的几何形变，提高目标的定位能力。上述第一融合子模块的输入量为第三个残差模块和第四个残差模块的输出量，第二融合子模块的输入量为所述第一融合子模块的输出量和第二残差模块的输出量，第一融合子模块和第二融合子模块均将其相应的两个输出量进行相加运算，融合成一个特征图。特征融合模块用于将特征提取模块中得到的深层特征图与浅层特征图进行特征融合，得到高分辨率、强语义的融合特征图，该融合特征图为多通道特征图，包括用于分类的热图、预测目标位置偏移值的特征图和用于预测目标尺度的特征图。
目标检测模块：用于根据也正融合模块的输出量得到目标检测结果。目标检测结果包括目标类别和目标位置，设分类热图在每个位置预测有第一设定数量的类别的目标输出，目标检测网络对各类别的热图处理时先提取相应的峰值点，提取方法为：若一个点的值大于等于其周围八个点的值，则认为该点是峰值点。选择最大的前第二数量的峰值点，即网络最多可以在一张图像中预测出第二数量的目标，每一个峰值点包含两个信息，其中一个是目标类别信息，另一个峰值点所在的位置为目标中心点。考虑到网络的下采样操作会带来一定的偏移，而目标位置偏移特征图预测了每个位置的目标中心的横向和纵向偏移量，因此目标尺度有目标框的宽和高表示，目标尺度特征图负责预测目标框的宽和高，根据预测的目标中心点和偏移量确定目标中心，根据预测的目标的宽高确定目标的尺度，最终实现目标检测。
步骤S2：获取训练数据集，并采用该训练数据集对所建立的目标检测网络进行训练，得到训练后的目标检测网络。
本实施例中所获取的训练数据集，其中包括多张训练图像，每张训练图像中至少包含一个待检测目标。在采用训练数据集训练所建立的目标网络时，将训练数据集中的训练图像输入到所建立的目标检测网络中，使其参数收敛，得到训练后的目标检测网络。
步骤S3：获取待检测图像，将其输入到训练后的目标检测网络，得到其中的待检测目标。
在一个实施例中，前述步骤S1中训练所建立的目标检测网络中，第一残差模块block1的输出图像为其输入图像尺寸的1/2；第二残差模块block2的输出图像为其输入图像尺寸的1/4，第三残差模块block3的输出图像为其输入图像尺寸的1/8，第三残差模块block4的输出图像为其输入图像尺寸的1/6。
在另一个实施例中，前述步骤S2中对目标检测网络进行训练时，所采用的损失函数包括训练损失、目标尺度损失和下采样造成的目标偏移损失。本实施中设训练损失为Ltotal，分类损失为Lcls，目标尺度损失为Lsize，下采样造成的目标偏移损失为Loff，则
Ltotal＝Lcls+λ1×Lsize+λ2×Loff
其中λ1为目标定位损失权重，λ2为下采样造成的目标偏移损失权重。
进一步地，在又一个实施例中，在训练目标检测网络时，需先对训练数据集中的各训练图像中的目标进行分类，设其中一类为c类，则该类的分类损失Lcls为：
Figure GDA0004064264320000061
其中Yxyc和
Figure GDA0004064264320000062
分别表示类别热图中(x,y)处c类的标注值和预测值，N是标注的样本个数，k1-s为损失的权重，其中s为目标占整副图像的比例，α和β是超参数，用于调节难易样本的损失权重，本实施例中取α＝2，β＝4。
本实施例中目标检测网络输出的特征图是其原输入图像经过4倍下采样得到的，上述下采样造成的目标偏移损失Loff，根据将目标检测网络输出特征图中的目标中心位置重新映射回原始图像时的精度误差得到，即
Figure GDA0004064264320000063
上式中：p代表目标在目标检测网络输入图像中的中心点坐标，
Figure GDA0004064264320000064
是p下采样四倍后向下取整的值，用于表示目标在目标检测网络输出的特征图中的中心点坐标，
Figure GDA0004064264320000065
是目标中心点经过下采样4倍后的偏移量，该值是在训练过程中提取计算好的；
Figure GDA0004064264320000066
表示目标检测网络预测出的目标中心点
Figure GDA0004064264320000067
的偏移量。
假设c类的第k个目标ck利用矩形框
Figure GDA0004064264320000068
标注，其中
Figure GDA0004064264320000069
为矩形框左上角坐标，
Figure GDA00040642643200000610
为矩形框右下角坐标，则上述目标尺度损失Lsize的计算方法如下：
Figure GDA00040642643200000611
其中
Figure GDA00040642643200000612
为网络预测出的目标的实际长度和宽度，
Figure GDA00040642643200000613
是标注目标进行了下采样后的长宽值，这个值是训练前提前计算出来。
本实施例所公开的技术方案采用上述损失函数，其损失与目标尺度成反比，可提高对小目标检测的精度。
仿真测试：
将本发明提供的基于尺度敏感损失与特征融合的小目标检测方法(SS-FF-CenterNet)分别与两阶段和单阶段代表性目标检测方法在同一硬件环境下、相同数据集上(Voc2007+Voc2012)进行训练和测试。从实验结果分析，由于本方案加入了尺度敏感损失权重、特征融合模块等创新设计，与CenterNet等无锚框目标检测方法相比，小目标的平均精度提升了5.1％，且明显高于其他主流检测方法。在检测速度方面，以ResNet-50为backbone网络，检测速度依然能够达到50的帧率，在单阶段方法中处于较高水平。
表1
Figure GDA0004064264320000071
在表1中：Faster-RCNN为基于区域建议网络的实时目标检测，Cascade RCNN为级联的区域建议网络目标检测，R-FCN为基于区域的全卷积网络目标检测，FPN为基于特征金字塔网络的目标检测，SSD为单阶段多锚框检测器，YOLOv4为统一的实时目标检测(V4版本)，CornerNet为角点网络目标检测，CenterNet为中心点网络目标检测。
在另一方面中，本公开提供一种基于尺度敏感损失与特征融合的小目标检测系统，该系统包括处理器、存储器、通信接口和通信总线，处理器、存储器和通信接口通过通信总线完成相互间的通信。处理器用于提供计算和控制能力。存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统和计算机程序。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。上述通信接口用于与外部的终端进行有线或无线方式的通信，无线方式可通过WIFI、运营商网络、NFC(近场通信)或其他技术实现。本实施例所提供的发动机平均摩擦损失获取设备，其存储器用于存储至少一可执行指令，该可执行指令使处理器执行上述基于尺度敏感损失与特征融合的小目标检测方法及其多个实施例。
虽然本说明书已经示出和描述了本发明的多个实施例，但对于本领域技术人员显而易见的是，这样的实施例只是以示例的方式提供的。本领域技术人员会在不偏离本发明思想和精神的情况下想到许多更改、改变和替代的方式。应当理解的是在实践本发明的过程中，可以采用本文所描述的本发明实施例的各种替代方案。所附权利要求书旨在限定本发明的保护范围，并因此覆盖这些权利要求保护范围内的模块组成、等同或替代方案。

Claims (6)

1.一种基于尺度敏感损失与特征融合的小目标检测方法，其特征在于，包括如下步骤：
步骤S1：建立训练数据集和尺度敏感损失与特征融合的目标检测网络；
所述数据集中包括多张训练图像，每张图像中设置有至少一个待检测目标；
所述目标检测网络包括：
特征提取模块，卷积层、第一残差模块、第二残差模块、第三残差模块和第四残差模块；
特征融合模块，包括第一融合子模块和第二融合子模块；所述第一融合子模块和第二融合子模块均包括一个反卷积层和一个可变性卷积层，其中第一融合子模块的输入量为第三个残差模块和第四个残差模块的输出量，所述第二融合子模块的输入量为所述第一融合子模块的输出量和第二残差模块的输出量；
目标检测模块，用于根据所述特征融合模块的输出量得到检测目标；
步骤S2：采用所述训练数据集对所述目标检测网络进行训练，得到训练后的检测模型；
训练过程中所采用的损失函数为包括分类损失部分、回归损失和下采样造成的目标偏移损失；所述损失函数为
Ltotal＝Lcls+λ1×Lsize+λ2×Loff
其中Ltotal为训练损失，Lcls为分类损失，Lsize为目标定位损失，λ1为其权重，Loff为下采样造成的目标偏移损失，λ2为其权重；
所述分类损失函数为
其中Lcls为其中一个分类的损失，Yxyc和分别表示类别热图中(x,y)处该分类的标注值和预测值，N是标注的样本个数，k1-s为损失的权重，其中s为目标占整副图像的比例，所述α和β为超参数；
步骤S3：将待检测图像输入所述训练后的检测模型，得到小目标检测结果。
2.根据权利要求1所述的基于尺度敏感损失与特征融合的小目标检测方法，其特征在于，所述第一残差模块的输出图像为其输入图像尺寸的1/2，所述第二残差模块的输出图像为其输入图像尺寸的1/4，所述第三残差模块的输出图像为其输入图像尺寸的1/8，所述第四残差模块的输出图像为其输入图像尺寸的1/6。
3.根据权利要求1所述的基于尺度敏感损失与特征融合的小目标检测方法，其特征在于，在训练所述目标检测网络时，首先对训练数据集中各训练图像中的待检测目标进行标注，所述标注包括类别标注、尺寸标注和位置标注。
4.一种基于尺度敏感损失与特征融合的小目标检测系统，包括存储器和处理器，所述存储器存储有用于在所述处理器执行的计算机程序；其特征在于，所述处理器执行所述计算机程序时，实现如下基于尺度敏感损失与特征融合的小目标检测方法：
步骤S1：建立训练数据集和尺度敏感损失与特征融合的目标检测网络；
所述数据集中包括多张训练图像，每张图像中设置有至少一个待检测目标；
所述目标检测网络包括：
特征提取模块，卷积层、第一残差模块、第二残差模块、第三残差模块和第四残差模块；
特征融合模块，包括第一融合子模块和第二融合子模块；所述第一融合子模块和第二融合子模块均包括一个反卷积层和一个可变性卷积层，其中第一融合子模块的输入量为第三个残差模块和第四个残差模块的输出量，所述第二融合子模块的输入量为所述第一融合子模块的输出量和第二残差模块的输出量；
目标检测模块，用于根据所述特征融合模块的输出量得到检测目标；
步骤S2：采用所述训练数据集对所述目标检测网络进行训练，得到训练后的检测模型；
训练过程中所采用的损失函数为包括分类损失部分、回归损失和下采样造成的目标偏移损失；所述损失函数为
Ltotal＝Lcls+λ1×Lsize+λ2×Loff
其中Ltotal为训练损失，Lcls为分类损失，Lsize为目标定位损失，λ1为其权重，Loff为下采样造成的目标偏移损失，λ2为其权重；
所述分类损失函数为
其中Lcls为其中一个分类的损失，Yxyc和分别表示类别热图中(x,y)处该分类的标注值和预测值，N是标注的样本个数，k1-s为损失的权重，其中s为目标占整副图像的比例，所述α和β为超参数；
步骤S3：将待检测图像输入所述训练后的检测模型，得到小目标检测结果。
5.根据权利要求4所述的基于尺度敏感损失与特征融合的小目标检测系统，其特征在于，所述第一残差模块的输出图像为其输入图像尺寸的1/2，所述第二残差模块的输出图像为其输入图像尺寸的1/4，所述第三残差模块的输出图像为其输入图像尺寸的1/8，所述第四残差模块的输出图像为其输入图像尺寸的1/6。
6.根据权利要求4所述的基于尺度敏感损失与特征融合的小目标检测系统，其特征在于，在训练所述目标检测网络时，首先对训练数据集中各训练图像中的待检测目标进行标注，所述标注包括类别标注、尺寸标注和位置标注。
CN202110656942.5A 2021-06-11 2021-06-11 基于尺度敏感损失与特征融合的小目标检测方法和系统 Active CN113221855B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110656942.5A CN113221855B (zh) 2021-06-11 2021-06-11 基于尺度敏感损失与特征融合的小目标检测方法和系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110656942.5A CN113221855B (zh) 2021-06-11 2021-06-11 基于尺度敏感损失与特征融合的小目标检测方法和系统

Publications (2)

Publication Number Publication Date
CN113221855A CN113221855A (zh) 2021-08-06
CN113221855B true CN113221855B (zh) 2023-04-07

Family

ID=77081466

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110656942.5A Active CN113221855B (zh) 2021-06-11 2021-06-11 基于尺度敏感损失与特征融合的小目标检测方法和系统

Country Status (1)

Country Link
CN (1) CN113221855B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113516676B (zh) * 2021-09-14 2021-12-28 成都时识科技有限公司 角点检测方法、脉冲神经网络处理器、芯片及电子产品
CN114863136A (zh) * 2022-05-25 2022-08-05 中国人民解放军陆军炮兵防空兵学院 一种基于对角线网络的无锚框目标检测方法及系统
CN116205967A (zh) * 2023-04-27 2023-06-02 中国科学院长春光学精密机械与物理研究所 医学影像语义分割方法、装置、设备及介质

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112446327A (zh) * 2020-11-27 2021-03-05 中国地质大学（武汉） 一种基于无锚框的遥感图像目标检测方法

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110163234B (zh) * 2018-10-10 2023-04-18 腾讯科技（深圳）有限公司 一种模型训练方法、装置和存储介质
US11429842B2 (en) * 2019-02-24 2022-08-30 Microsoft Technology Licensing, Llc Neural network for skeletons from input images
CN112070729B (zh) * 2020-08-26 2023-07-07 西安交通大学 一种基于场景增强的anchor-free遥感图像目标检测方法及系统
CN112016512A (zh) * 2020-09-08 2020-12-01 重庆市地理信息和遥感应用中心 基于反馈式多尺度训练的遥感图像小目标检测方法

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112446327A (zh) * 2020-11-27 2021-03-05 中国地质大学（武汉） 一种基于无锚框的遥感图像目标检测方法

Also Published As

Publication number Publication date
CN113221855A (zh) 2021-08-06

Similar Documents

Publication Publication Date Title
CN113221855B (zh) 基于尺度敏感损失与特征融合的小目标检测方法和系统
CN109117876B (zh) 一种稠密小目标检测模型构建方法、模型及检测方法
WO2017215622A1 (zh) 物体分割方法及装置、计算设备
US20190361972A1 (en) Method, apparatus, device for table extraction based on a richly formatted document and medium
CN111179217A (zh) 一种基于注意力机制的遥感图像多尺度目标检测方法
Li et al. A new method of image detection for small datasets under the framework of YOLO network
CN109784372B (zh) 一种基于卷积神经网络的目标分类方法
CN110532894A (zh) 基于边界约束CenterNet的遥感目标检测方法
CN109858414A (zh) 一种发票分块检测方法
CN109977997A (zh) 基于卷积神经网络快速鲁棒的图像目标检测与分割方法
US20240193923A1 (en) Method of training target object detection model, method of detecting target object, electronic device and storage medium
CN109858547A (zh) 一种基于bssd的目标检测方法与装置
CN111353580B (zh) 目标检测网络的训练方法、电子设备及存储介质
CN112800955A (zh) 基于加权双向特征金字塔的遥感影像旋转目标检测方法及系统
CN111651361A (zh) 一种基于可视化页面的无脚本自动化测试方法
CN111444807A (zh) 目标检测方法、装置、电子设备和计算机可读介质
US20230401691A1 (en) Image defect detection method, electronic device and readable storage medium
CN114639102B (zh) 基于关键点与尺寸回归的细胞分割方法和装置
CN110866931B (zh) 图像分割模型训练方法及基于分类的强化图像分割方法
CN112784189A (zh) 一种识别页面图像的方法和装置
CN113191237A (zh) 一种基于改进YOLOv3的果树图像小目标检测方法及装置
Nugroho et al. Comparison of deep learning-based object classification methods for detecting tomato ripeness
CN112149518A (zh) 基于began和yolov3模型的松果检测方法
US8755606B2 (en) Systems and methods for efficient feature extraction accuracy using imperfect extractors
CN112084941A (zh) 一种基于遥感图像的目标检测与识别方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant