CN116342868A - 基于多尺度特征补偿及门控增强的小目标检测方法 - Google Patents

基于多尺度特征补偿及门控增强的小目标检测方法 Download PDF

Info

Publication number
CN116342868A
CN116342868A CN202310283681.6A CN202310283681A CN116342868A CN 116342868 A CN116342868 A CN 116342868A CN 202310283681 A CN202310283681 A CN 202310283681A CN 116342868 A CN116342868 A CN 116342868A
Authority
CN
China
Prior art keywords
module
convolution
small target
target detection
layer
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310283681.6A
Other languages
English (en)
Inventor
张铭津
臧璠
岳珂
张秉颜
李云松
高新波
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xidian University
Original Assignee
Xidian University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xidian University filed Critical Xidian University
Priority to CN202310283681.6A priority Critical patent/CN116342868A/zh
Publication of CN116342868A publication Critical patent/CN116342868A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
    • G06V10/449—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters
    • G06V10/451—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters with interaction between the filter responses, e.g. cortical complex cells
    • G06V10/454—Integrating the filters into a hierarchical structure, e.g. convolutional neural networks [CNN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/52—Scale-space analysis, e.g. wavelet analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Biodiversity & Conservation Biology (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于多尺度特征补偿及门控增强的小目标检测方法，主要解决现有方法检测准确率低的问题，实现步骤为：获取训练样本集和测试样本集；构建基于多尺度特征补偿及门控增强的小目标检测模型：包括顺次连接的卷积模块、转置模块、门控增强模块和预测模块，以及加载在卷积模块和转置模块之间的多尺度特征补偿模块；对小目标检测模型进行迭代训练；获取测试样本的小目标检测结果。本发明中多尺度特征补偿模块用来提取下采样操作前后的浅层和深层特征，并利用浅层特征对深层特征补偿细节特征，提高多尺度上下文的表征能力，门控增强模块用来增强目标特征和抑制背景噪声，提高目标的信噪比，提高小目标检测的准确率。

Description

基于多尺度特征补偿及门控增强的小目标检测方法
技术领域
本发明属于图像处理技术领域，具体涉及一种基于多尺度特征补偿及门控增强的小目标检测方法，可用于森林火灾检测系统和精确制导系统。
背景技术
通常将目标区域在整个图像的占比为0.08％到0.58％之间的目标称为小目标，小目标在图像中分辨率低、像素小、对比度低和信噪比低，目标检测算法难以充分提取小目标的特征信息，这对小目标检测提出了挑战。基于深度学习的小目标检测算法不断发展，研究方向大致可以分为：锚框优化、数据增强、网络结构优化、多尺度特征融合、引入上下文信息等。
例如，哈尔滨理工大学在其申请的专利文献“一种基于CenterNet改进的多尺度特征融合的小目标检测方法”(专利申请号：CN202211459753.X，申请公布号为CN115631400A)中，提出了一种基于CenterNet改进的多尺度特征融合的小目标检测方法，将原始CneterNet模型的主干网络替换为可以获得高分辨率的主干网络来获得高质量的特征图，高分辨率的主干网络引入细粒度级多尺度特征融合模块，其将输入的特征图分为规格相同的四组，除了第一组特征图外之后每一组特征图都会与前一组特征图的输出相加得到输出，再进行卷积操作，卷积完成后将四组特征图的输出在通道维度拼接，然后引入坐标注意力机制和进行Droupout操作。主干网络会生成四个尺度不同的特征图，进行整合成通道数和大小相同的特征图后，拼接起来作为层级特征融合模块的输入，层级特征融合模块为不同分辨率的特征图赋予不同权重，自适应调节高低分辨率的比例，强化不同尺寸目标检测时所需要的特征信息。该发明中小目标特征信息在下采样操作中易丢失，并且小目标特征信息的信噪比低，导致检测的准确率较低。
发明内容
为了解决现有技术中存在的上述问题，本发明提供了一种基于多尺度特征补偿及门控增强的小目标检测方法，用于解决现有的小目标检测方法检测准确率低的问题。
为实现上述目的，本发明具体实现步骤包括如下：
(1)获取训练样本集和测试样本集：
获取K幅小目标图像，并对每幅小目标图像中的小目标对象进行标注，再将M幅小目标图像及其对应的标签组成训练样本集R1，将剩余的K-M幅小目标图像及其对应的标签组成测试样本集E1，其中K≥500，
Figure BDA0004138919830000021
(2)构建基于多尺度特征补偿及门控增强的小目标检测模型O：
构建包括顺次连接的卷积模块、转置模块、门控增强模块和预测模块的小目标检测模型O；卷积模块包括依次层叠的N个卷积层；转置模块包括依次层叠的N个转置卷积层；第n个卷积层的输入、输出端与第N-(n-1)个转置卷积层之间各加载有一个多尺度特征补偿模块，第二和第三个转置卷积层的输入端均与门控增强模块的输入端相连；多尺度特征补偿模块包括并行排布的三个分支，第一、第二分支均由顺次连接的六个残差卷积模块组成，第三分支由顺次连接的卷积层和六个残差卷积模块组成，且第二分支的输入端还与第三分支的输入端相连，三个分支中的第二、第四、第六残差卷积模块的输出端相加连接；残差卷积模块包括顺次连接的六个卷积层；门控增强模块包括并行排布的两个池化层和与其级联的卷积层和非线性激活层；预测模块包括顺次连接的卷积层、归一化层、非线性激活层、随机dropout层和卷积层；其中，N≥3；
(3)对小目标检测模型O进行迭代训练：
(3a)初始化迭代次数为t，最大迭代次数为T，T≥1000，第t次迭代的小目标检测模型Ot中的权值、偏置参数分别为wt、bt，并令t＝0，Ot＝O；
(3b)将从训练样本集R1中随机有放回的选取L个训练样本作为小目标检测模型O的输入进行前向传播，其中，1≤L≤M：
(3b1)卷积模块中N个卷积层逐层对每个训练样本进行下采样，得到每个卷积层输出的L个下采样特征图；
(3b2)每个多尺度特征补偿模块分别利用其所连接的卷积模块中对应的卷积层的输入对卷积层的输出进行特征补偿，得到每个多尺度特征补偿模块输出的L个特征补偿特征图；
(3b3)转置模块中的第n个转置卷积层对其所连接的多尺度特征补偿模块的输出和第n-1个转置卷积层的输出的加和进行上采样，得到每个转置卷积层输出的L个上采样特征图；
(3b4)门控增强模块利用第二个转置卷积层的输入和第N个转置卷积层的输出对第三个转置卷积层的输入进行去除背景信息和增强目标特征，得到门控增强模块输出的L个具有高信噪比的特征图；
(3b5)预测模块对每个具有高信噪比的特征图进行预测，得到L个小目标检测结果；
(3c)利用Dice损失函数LDice和交叉熵损失函数LCE，并通过生成的L个小目标检测结果和与其对应的的L个标签计算Ot的损失值Lt，再通过链式法则计算Lt对权值参数ωt及偏置参数bt的偏导
Figure BDA0004138919830000031
和/>
Figure BDA0004138919830000032
最后根据/>
Figure BDA0004138919830000033
对ωt、bt进行更新，得到本次迭代的网络模型Ot；
(3d)判断t≥T是否成立，若是，得到训练好的小目标检测模型O*，否则，令t＝t+1，并执行步骤(3b)；
(4)获取测试样本的小目标检测结果：
将测试样本集E1作为训练好的小目标检测模型O*的输入进行前向传播，得到K-M个测试样本对应的小目标检测结果。
与现有技术相比，本发明具有以下优点：
本发明所构建的基于多尺度特征补偿及门控增强的小目标检测模型包括顺次连接的卷积模块、转置模块、门控增强模块和预测模块，以及加载在卷积模块和转置模块之间的多尺度特征补偿模块，在对该模型进行训练以及获取小目标检测结果的过程中，多尺度特征补偿模块用来提取下采样操作前后的浅层和深层特征，并利用浅层特征对深层特征补偿细节特征，使细节特征传播到网络的最深部分，以补偿下采样操作中丢失的目标特征，提高多尺度上下文的表征能力，门控增强模块用来增强目标特征和抑制背景噪声，提高目标的信噪比，实验结果表明，本发明能够有效提高小目标检测的准确率。
附图说明
图1为本发明实现的流程图；
图2为本发明实施例采用的基于多尺度特征补偿及门控增强的小目标检测模型；
图3为本发明实施例采用的多尺度特征补偿模块；
图4为本发明实施例采用的残差卷积模块；
图5为本发明实施例采用的门控增强模块。
具体实施方式
以下结合附图和具体实施例，对本发明作进一步详细描述。
参照图1，本发明包括如下步骤：
(1)获取训练样本集和测试样本集：
获取IRSTD-1k数据集包含的1000幅小目标图像，并对每幅小目标图像中的小目标进行标注，再将600幅小目标图像及其对应的标签组成训练样本集R1，将剩余的400幅小目标图像及其对应的标签组成测试样本集E1；
(2)构建基于多尺度特征补偿及门控增强的小目标检测模型O：
参照图2，对本发明实施例采用的基于多尺度特征补偿及门控增强的小目标检测模型做进一步的描述。
构建包括顺次连接的卷积模块、转置模块、门控增强模块和预测模块的小目标检测模型O；卷积模块包括依次层叠的卷积层个数为N＝3；转置模块包括依次层叠的转置卷积层个数为N＝3；第一卷积层的输入、输出端与第一多尺度特征补偿模块的输入端相连，第一多尺度特征补偿模块的输出端与第二转置卷积层的输出端相加连接(element-wise add)后再与第三转置卷积层的输入端连接，第二卷积层的输入、输出端与第二多尺度特征补偿模块的输入端相连，第二多尺度特征补偿模块的输出端与第一转置卷积层的输出端相加连接(element-wise add)后再与第二转置卷积层的输入端相连，第三卷积层的输入、输出端与第三多尺度特征补偿模块的输入端相连，第三多尺度特征补偿模块的输出端与第一转置卷积层的输入端相连；第二转置卷积层和第三转置卷积层的输入端还与门控增强模块的输入端相连；其中，多尺度特征补偿模块包括并行排布的三个分支，第二分支的输入端还和第三分支的输入端相连，第一分支包括顺次连接的第一残差卷积模块、第二残差卷积模块、第三残差卷积模块、第四残差卷积模块、第五残差卷积模块、第六残差卷积模块，第二分支包括顺次连接的第七残差卷积模块、第八残差卷积模块、第九残差卷积模块、第十残差卷积模块、第十一残差卷积模块、第十二残差卷积模块，第三分支包括顺次连接的第四卷积层、第十三残差卷积模块、第十四残差卷积模块、第十五残差卷积模块、第十六残差卷积模块、第十七残差卷积模块、第十八残差卷积模块，第二残差卷积模块、第八残差卷积模块和第十四残差卷积模块的输出端还进行相加连接(element-wise add)，第四残差卷积模块、第十残差卷积模块和第十六残差卷积模块的输出端还进行相加连接(element-wise add)，第六残差卷积模块、第十二残差卷积模块和第十八残差卷积模块的输出端还进行相加连接(element-wise add)；残差卷积模块包括顺次连接的第五卷积层、第六卷积层、第七卷积层、第八卷积层、第九卷积层、第十卷积层；门控增强模块包括并行排布的第一池化层和第二池化层，两个池化层的输出端进行通道拼接(concat)后，再顺次连接第十一卷积层和第一非线性激活层，中层输入端与第一非线性激活层的输出端进行点乘后与低层输入端进行相加(element-wise add)；预测模块包括顺次连接的第十二卷积层、归一化层、第二非线性激活层、随机dropout层和第十三卷积层；
具体参数设置为：输入通道为16；第一卷积层、第二卷积层、第三卷积层的卷积核大小均为3*3，步长均为2，填充均为1，输出通道分别为32、64、128；第一转置卷积层、第二转置卷积层、第三转置卷积层的卷积核大小均为4*4，步长均为2，填充均为1，输出通道分别为64、32、16；第一、第二、第三多级特征补偿块中的第四卷积层的卷积核大小均为3*3，步长均为2，填充均为1，输出通道分别为64、128、256；第五卷积层、第六卷积层、第七卷积层、第八卷积层、第九卷积层、第十卷积层均为空洞卷积，卷积核大小均为3*3，第五卷积层、第六卷积层的膨胀率为1，第七卷积层、第八卷积层的膨胀率为2，第九卷积层、第十卷积层的膨胀率为3；第十一卷积层的卷积核大小为3*3，步长为1，填充为1，输出通道为1，第十二卷积层的卷积核大小为3*3，步长为1，填充为1，输出通道为4，第十三卷积层的卷积核大小为1*1，步长为1，输出通道为1；第一池化层采用最大池化，第二池化层采用平均池化；第一非线性激活层采用Sigmoid函数，第二非线性激活层采用ReLU函数；归一化层采用批量归一化；随机dropout层设置节点保留概率为0.5。
参照图3，对本发明实施例采用的多尺度特征补偿模块做进一步的描述。
所述多尺度特征补偿模块具体来说，利用具有丰富细节的高分辨率特征来指导特征聚合，其中高分辨率特征可以补偿下采样和池化操作丢失的细节，低分辨率特征保留检测的语义。用fe n-1表示第n个多尺度特征补偿模块第一分支输入的浅层特征，其输入来自较浅层网络，fe n表示第n个多尺度特征补偿模块第二、第三分支输入的深层特征，其输入来自较深层网络，
Figure BDA0004138919830000061
表示第三分支中fe n的下采样特征。由于低级特征图fe n-1包含目标精细的细节特征，因此fe n-1非常适合网络学习目标的边缘和纹理信息；高级特征/>
Figure BDA0004138919830000062
具有很大的感受野并且包含丰富的高级语义特征，因此/>
Figure BDA0004138919830000063
很适合网络区分目标与背景噪声；中级特征fe n既包含部分细节特征又具有较少的背景噪声。
用
Figure BDA0004138919830000064
表示第n个多尺度特征补偿模块第一分支的第j个残差卷积模块，/>
Figure BDA0004138919830000065
表示第n个多尺度特征补偿模块第二分支的第j个残差卷积模块，/>
Figure BDA0004138919830000066
表示第n个多尺度特征补偿模块第三分支的第j个残差卷积模块，/>
Figure BDA0004138919830000067
表示第n个多尺度特征补偿模块第一分支的特征提取，/>
Figure BDA0004138919830000068
表示第n个多尺度特征补偿模块第二分支的特征提取，/>
Figure BDA0004138919830000069
表示第n个多尺度特征补偿模块第三分支的特征提取，分别定义为：
Figure BDA00041389198300000610
Figure BDA00041389198300000611
Figure BDA00041389198300000612
多尺度特征补偿模块通过从不同层提取特征来不断补偿中层特征，用Mn,q表示第n个多尺度特征补偿模块第q次三个分支进行相加(element-wise add)后的特征，这一过程可以被描述为以下方程：
Figure BDA0004138919830000071
Figure BDA0004138919830000072
Figure BDA0004138919830000073
其中，Mn,1表示第n个多尺度特征补偿模块第一次三个分支的合并特征，作为经过第一次特征补偿后的中级特征，Mn,2表示第n个多尺度特征补偿模块第二次三个分支的合并特征，作为经过第二次特征补偿后的中级特征，Mn,3表示第n个多尺度特征补偿模块第三次三个分支的合并特征，作为多尺度特征补偿模块的输出。在本发明中，浅层特征fe n-1为第n个卷积层的输入，深层特征fe n为第n个卷积层的输出，此处卷积层进行的是下采样操作，多尺度特征补偿模块用来提取的是下采样操作前后的浅层和深层特征，并利用浅层特征对深层特征补偿细节特征，因此多尺度特征补偿模块补偿了下采样操作中丢失的目标特征，使细节特征传播到网络的最深部分。
参照图4，对本发明实施例采用的残差卷积模块做进一步的描述。
两个大小均为3*3空洞卷积层顺次连接成对，形成一个空洞卷积块，共有三个空洞卷积块，膨胀率分别设置为1、2和3，以嵌套的方式排列这三个空洞卷积块，可以看作是多个残差连接方式，具体地，第五卷积层和第六卷积层顺次连接成对，第七卷积层和第八卷积层顺次连接成对，第九卷积层和第十卷积层顺次连接成对，第五卷积层的输入端与第六卷积层的输出端相加连接(element-wise add)，第七卷积层的输入端与第八卷积层的输出端相加连接(element-wise add)，第九卷积层的输入端与第十卷积层的输出端相加连接(element-wise add)后再与第五卷积层、第七卷积层、第九卷积层的输入端相加连接(element-wise add)。此残差连接方式的空洞卷积块可以扩大感受野以获取更多的多尺度上下文信息，同时不改变图像输出特征图的尺寸，保留分辨率。
参照图5，对本发明实施例采用的门控增强模块做进一步的描述。
所述门控增强模块具体来说，首先，由于较深层特征的背景噪声较小，则利用深层特征，使其经过平均池化层和最大池化层去除冗余信息，保留目标特征，再经过卷积层和Sigmoid激活层，得到取值范围为(0,1)的深层纯目标特征图，然后利用该深层纯目标特征作为门控单元来抑制中层特征中的大部分噪声，即深层纯目标特征图与中层特征图进行逐元素相乘，得到中层纯目标特征，最后利用具有精细的细节特征的浅层特征增强中层纯目标特征图中的目标特征，即中层纯目标特征图与浅层特征图进行逐元素相加，得到具有高信噪比的特征，这个过程可以表述为:
Fkernel＝σ(Conv(Max(Fhigh),Avg(Fhigh))) (7)
Fpurity＝Fkernel×Fmid (8)
FHSNR＝Fpurity+Flow (9)
其中Max(·)，Avg(·)，Conv(·)和σ(·)分别代表最大池化层，平均池化层，卷积层和Sigmoid激活层。Fkernel表示深层纯目标特征，Fhigh表示深层特征，Fmid表示中层特征，Fpurity表示中层纯目标特征，Flow表示浅层特征，FHSNR表示具有高信噪比的特征。在本发明中，此处浅层特征为第二个转置卷积层输入的特征，中层特征为第三个转置卷积层输入的特征，深层特征为第N个转置卷积层输出的特征；在本发明实施例中，此处浅层特征为第二个转置卷积层输入的特征，中层特征为第三个转置卷积层输入的特征，深层特征为第三个转置卷积层输出的特征。
(3)对小目标检测模型O进行迭代训练：
(3a)初始化迭代次数为t，最大迭代次数为T＝2000，第t次迭代的小目标检测模型Ot中的权值、偏置参数分别为wt、bt，并令t＝0，Ot＝O；
(3b)将从训练样本集R1中随机有放回的选取32个训练样本作为小目标检测模型O的输入进行前向传播：
(3b1)第一卷积层对训练样本进行下采样，得到下采样特征图x1，第二卷积层对下采样特征图x1进行下采样，得到下采样特征图x2，第三卷积层对下采样特征图x2进行下采样，得到下采样特征图x3；
(3b2)第一多尺度特征补偿模块利用训练样本对下采样特征图x1进行特征补偿，得到特征补偿特征图x4，第二多尺度特征补偿模块利用下采样特征图x1对下采样特征图x2进行特征补偿，得到特征补偿特征图x5，第三多尺度特征补偿模块利用下采样特征图x2对下采样特征图x3进行特征补偿，得到特征补偿特征图x6；
(3b3)第一转置卷积层对特征补偿特征图x6进行上采样，得到上采样特征图x7，上采样特征图x7与特征补偿特征图x5行逐元素相加，得到加和特征图x8，第二转置卷积层对加和特征图x8进行上采样，得到上采样特征图x9，上采样特征图x9与特征补偿特征图x4进行逐元素相加，得到加和特征图x10，第三转置卷积层对加和特征图x10进行上采样，得到上采样特征图x11；
(3b4)门控增强模块对利用加和特征图x8和上采样特征图x11对加和特征图x10进行去除背景信息和增强目标特征，得到特征图x12，具体地，上采样特征图x11去除冗余信息得到深层纯目标特征图x'11，深层纯目标特征图x'11和加和特征图x10进行逐元素相乘得到中层纯目标特征图x'10，中层纯目标特征图x'10和加和特征图x8进行逐元素相加，得到具有高信噪比的特征图x12；
(3b5)预测模块对具有高信噪比的特征图x12进行预测，得到32个小目标检测结果。
(3c)利用Dice损失函数LDice和交叉熵损失函数LCE，并通过生成的32个小目标检测结果和与其对应的的32个标签计算Ot的损失值Lt，再通过链式法则计算Lt对权值参数ωt及偏置参数bt的偏导
Figure BDA0004138919830000091
和/>
Figure BDA0004138919830000092
最后根据/>
Figure BDA0004138919830000093
对ωt、bt进行更新，得到本次迭代的网络模型Ot；
(3d)判断t≥2000是否成立，若是，得到训练好的小目标检测模型O*，否则，令t＝t+1，并执行步骤(3b)；
(4)获取测试样本的小目标检测结果：
将测试样本集E1作为训练好的小目标检测模型O*的输入进行前向传播，得到400个测试样本对应的小目标检测结果。
以下结合仿真实验，对本发明的技术效果进行说明
仿真条件、内容及结果分析：
仿真实验的硬件平台为：处理器为Intel(R)Core i9-9900K CPU，主频为3.5GHz，内存为32GB、显卡为NVIDIA GeForce RTX 2080Ti。仿真实验的软件平台为：Ubuntu 16.04操作系统，python版本为3.7，Pytorch版本为1.7.1。
使用交并比(IoU)评估指标对比专利文献“一种基于CenterNet改进的多尺度特征融合的小目标检测方法”(专利申请号：CN202211459753.X，申请公布号为CN115631400A)和本发明在测试样本上的检测准确度，现有方法小目标检测结果的交并比(IoU)为61.75％，本发明小目标检测结果的交并比(IoU)为64.87％，相较于现有技术，本发明的检测准确度有显著提高。

Claims (2)

1.一种基于多尺度特征补偿及门控增强的小目标检测方法，其特征在于，包括以下步骤：
(1)获取训练样本集和测试样本集：
获取K幅小目标图像，并对每幅小目标图像中的小目标对象进行标注，再将M幅小目标图像及其对应的标签组成训练样本集R1，将剩余的K-M幅小目标图像及其对应的标签组成测试样本集E1，其中K≥500，
Figure FDA0004138919820000011
(2)构建基于多尺度特征补偿及门控增强的小目标检测模型O：
构建包括顺次连接的卷积模块、转置模块、门控增强模块和预测模块的小目标检测模型O；卷积模块包括依次层叠的N个卷积层；转置模块包括依次层叠的N个转置卷积层；第n个卷积层的输入、输出端与第N-(n-1)个转置卷积层之间各加载有一个多尺度特征补偿模块，第二和第三个转置卷积层的输入端均与门控增强模块的输入端相连；多尺度特征补偿模块包括并行排布的三个分支，第一、第二分支均由顺次连接的六个残差卷积模块组成，第三分支由顺次连接的卷积层和六个残差卷积模块组成，且第二分支的输入端还与第三分支的输入端相连，三个分支中的第二、第四、第六残差卷积模块的输出端相加连接；残差卷积模块包括顺次连接的六个卷积层；门控增强模块包括并行排布的两个池化层和与其级联的卷积层和非线性激活层；预测模块包括顺次连接的卷积层、归一化层、非线性激活层、随机dropout层和卷积层；其中，N≥3；
(3)对小目标检测模型O进行迭代训练：
(3a)初始化迭代次数为t，最大迭代次数为T，T≥1000，第t次迭代的小目标检测模型Ot中的权值、偏置参数分别为wt、bt，并令t＝0，Ot＝O；
(3b)将从训练样本集R1中随机有放回的选取L个训练样本作为小目标检测模型O的输入进行前向传播，其中，1≤L≤M：
(3b1)卷积模块中N个卷积层逐层对每个训练样本进行下采样，得到每个卷积层输出的L个下采样特征图；
(3b2)每个多尺度特征补偿模块分别利用其所连接的卷积模块中对应的卷积层的输入对卷积层的输出进行特征补偿，得到每个多尺度特征补偿模块输出的L个特征补偿特征图；
(3b3)转置模块中的第n个转置卷积层对其所连接的多尺度特征补偿模块的输出和第n-1个转置卷积层的输出的加和进行上采样，得到每个转置卷积层输出的L个上采样特征图；
(3b4)门控增强模块利用第二个转置卷积层的输入和第N个转置卷积层的输出对第三个转置卷积层的输入进行去除背景信息和增强目标特征，得到门控增强模块输出的L个具有高信噪比的特征图；
(3b5)预测模块对每个具有高信噪比的特征图进行预测，得到L个小目标检测结果；
(3c)利用Dice损失函数LDice和交叉熵损失函数LCE，并通过生成的L个小目标检测结果和与其对应的的L个标签计算Ot的损失值Lt，再通过链式法则计算Lt对权值参数ωt及偏置参数bt的偏导
Figure FDA0004138919820000021
和/>
Figure FDA0004138919820000022
最后根据/>
Figure FDA0004138919820000023
对ωt、bt进行更新，得到本次迭代的网络模型Ot；
(3d)判断t≥T是否成立，若是，得到训练好的小目标检测模型O*，否则，令t＝t+1，并执行步骤(3b)；
(4)获取测试样本的小目标检测结果：
将测试样本集E1作为训练好的小目标检测模型O*的输入进行前向传播，得到K-M个测试样本对应的小目标检测结果。
2.根据权利要求1所述的基于多尺度特征补偿及门控增强的小目标检测方法，其特征在于，步骤(3c)中所述的计算Ot的损失值Lt，以及对ωt、bt进行更新，计算、更新公式分别为：
Lt＝LDice+LCE
Figure FDA0004138919820000031
Figure FDA0004138919820000032
Figure FDA0004138919820000033
Figure FDA0004138919820000034
其中，pl表示预测输入小目标图像中每个像素属于标签类别的概率，rl表示输入图像中每个像素的类别，ε表示修正因子，取值为在(0,0.1)的取值范围内选取的任意一个实数，其作用是防止分数的分母为零，ωt、bt表示Ot所有可学习参数的权值、偏置参数，wt'、bt'表示ωt、bt的更新结果，α表示学习率。
CN202310283681.6A 2023-03-22 2023-03-22 基于多尺度特征补偿及门控增强的小目标检测方法 Pending CN116342868A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310283681.6A CN116342868A (zh) 2023-03-22 2023-03-22 基于多尺度特征补偿及门控增强的小目标检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310283681.6A CN116342868A (zh) 2023-03-22 2023-03-22 基于多尺度特征补偿及门控增强的小目标检测方法

Publications (1)

Publication Number Publication Date
CN116342868A true CN116342868A (zh) 2023-06-27

Family

ID=86883403

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310283681.6A Pending CN116342868A (zh) 2023-03-22 2023-03-22 基于多尺度特征补偿及门控增强的小目标检测方法

Country Status (1)

Country Link
CN (1) CN116342868A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117808707A (zh) * 2023-12-28 2024-04-02 山东财经大学 多尺度图像去雾方法、系统、设备及存储介质

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117808707A (zh) * 2023-12-28 2024-04-02 山东财经大学 多尺度图像去雾方法、系统、设备及存储介质
CN117808707B (zh) * 2023-12-28 2024-08-02 山东财经大学 多尺度图像去雾方法、系统、设备及存储介质

Similar Documents

Publication Publication Date Title
CN110232394B (zh) 一种多尺度图像语义分割方法
US20210097325A1 (en) Method and apparatus for segmenting image, and method and apparatus for training segmentation network
CN110838125B (zh) 医学图像的目标检测方法、装置、设备、存储介质
CN114612477B (zh) 一种轻量化图像分割方法、系统、介质、终端及应用
CN113408398B (zh) 基于通道注意力及概率上采样的遥感图像云检测方法
CN110569738A (zh) 基于密集连接网络的自然场景文本检测方法、设备和介质
CN111612017A (zh) 一种基于信息增强的目标检测方法
CN111079739A (zh) 一种多尺度注意力特征检测方法
CN116152591B (zh) 模型训练方法、红外小目标检测方法、装置及电子设备
CN113468996A (zh) 一种基于边缘细化的伪装物体检测方法
CN111832228A (zh) 基于cnn-lstm的振动传递系统
CN111739037B (zh) 一种针对室内场景rgb-d图像的语义分割方法
CN116342868A (zh) 基于多尺度特征补偿及门控增强的小目标检测方法
CN116740362B (zh) 一种基于注意力的轻量化非对称场景语义分割方法及系统
CN114821058A (zh) 一种图像语义分割方法、装置、电子设备及存储介质
CN111179272B (zh) 一种面向道路场景的快速语义分割方法
CN110443296A (zh) 面向高光谱图像分类的数据自适应激活函数学习方法
CN115565034A (zh) 基于双流增强网络的红外小目标检测方法
CN112560907B (zh) 基于混合域注意力的有限像素红外无人机目标检测方法
CN112132867B (zh) 一种遥感影像变化检测方法及装置
CN116953702A (zh) 基于演绎范式的旋转目标检测方法及装置
CN115129920B (zh) 局部特征增强光学sar遥感图像跨模态检索方法及设备
US12067777B2 (en) Efficient video processing via dynamic knowledge propagation
CN113496228B (zh) 一种基于Res2Net、TransUNet和协同注意力的人体语义分割方法
CN111161250B (zh) 一种多尺度遥感图像密集房屋检测方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination