CN114494829A - 一种sar图像多尺度舰船目标检测方法 - Google Patents

一种sar图像多尺度舰船目标检测方法 Download PDF

Info

Publication number
CN114494829A
CN114494829A CN202210045694.5A CN202210045694A CN114494829A CN 114494829 A CN114494829 A CN 114494829A CN 202210045694 A CN202210045694 A CN 202210045694A CN 114494829 A CN114494829 A CN 114494829A
Authority
CN
China
Prior art keywords
feature
ship target
cspmres2
module
target detection
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202210045694.5A
Other languages
English (en)
Other versions
CN114494829B (zh
Inventor
王海
周科学
张敏
谭金林
王梁
张锐
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shaanxi Aerospace Technology Application Research Institute Co ltd
Xidian University
Original Assignee
Shaanxi Aerospace Technology Application Research Institute Co ltd
Xidian University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shaanxi Aerospace Technology Application Research Institute Co ltd, Xidian University filed Critical Shaanxi Aerospace Technology Application Research Institute Co ltd
Priority to CN202210045694.5A priority Critical patent/CN114494829B/zh
Publication of CN114494829A publication Critical patent/CN114494829A/zh
Application granted granted Critical
Publication of CN114494829B publication Critical patent/CN114494829B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/24Classification techniques
    • G06F18/241Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/25Fusion techniques
    • G06F18/253Fusion techniques of extracted features
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/045Combinations of networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/048Activation functions
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Molecular Biology (AREA)
  • Computational Linguistics (AREA)
  • Software Systems (AREA)
  • Mathematical Physics (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computing Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)
  • Radar Systems Or Details Thereof (AREA)

Abstract

本发明提供了一种SAR图像多尺度舰船目标检测方法,解决了舰船目标检测网络直接进行特征图融合,忽略特征图间融合程度的技术问题。本发明通过获取原始SSDD数据集;构建特征提取模块;构建特征融合模块;构建基于特征提取和特征融合模块的舰船目标检测网络;进行网络训练和测试,实现了SAR图像多尺度舰船目标更准确的检测。本发明构建的特征提取模块能获得被检测舰船目标的多尺度特征,且作为检测网络主干和检测头的基础模块。构建的特征融合模块能在特征自适应融合之后经过一个特征提取模块增强特征表达。本发明拥有强大特征提取能力的同时能平衡多尺度舰船目标的检测,提升了检测精度,用于SAR图像舰船目标检测。

Description

一种SAR图像多尺度舰船目标检测方法
技术领域
本发明属于雷达遥感技术领域,主要涉及舰船目标检测,具体是一种SAR图像多尺度舰船目标检测方法,用于SAR图像多尺度舰船目标的检测。
背景技术
合成孔径雷达(Synthetic Aperture Radar,SAR)是一种有源微波遥感成像雷达,可以全天、全天候观测地球表面,因此,SAR可以在海洋监测和海上交通监管中发挥重要作用。随着星载SAR的快速发展,许多国家都开发了自己的SAR技术,如德国的TerraSAR-X、加拿大的RADARSAT-2和中国的高分3号等。近年来,在SAR图像中进行船舶检测的研究较多,自基于深度学习的目标检测迅速发展以来,SAR图像目标检测也引入了基于深度学习的目标检测方法。然而,在SAR图像舰船目标检测中,由于SAR图像中舰船目标具有多尺度特性,使得基于深度学习的舰船目标检测方法需要同时关注不同尺寸的目标,根据基于深度学习目标检测的原理,需要对输入图像进行多次下采样操作以提取具有较大感受野的更高级语义特征,然而随着对输入图像进行下采样次数的增加,多尺度目标的信息分布在目标检测网络的多个层上,如何保证舰船目标检测网络能够提取有效的多尺度目标信息,并有效利用目标检测不同层上的信息进行多尺度目标检测是提升多尺度目标检测性能的关键,也是SAR图像多尺度舰船特性给基于深度学习的目标检测网络带来的挑战。
为了解决SAR图像多尺度舰船目特性带来的挑战,研究人员设计了许多机遇基于深度学习的目标检测方法来检测SAR图像中的多次尺度舰船目标。文献[Fu,J.;Sun,X.;Wang,Z.;Fu,K.An Anchor-Free Method Based on Feature Balancing and RefinementNetwork for Multiscale Ship Detection in SAR Images.IEEE Trans.Geosci.RemoteSens.2021,59,1331-1344.]通过提出注意力引导的平衡金字塔,在语义上平衡不同层次的多个特征,该金字塔可以有效地关注复杂场景中的小型舰船目标;文献[Cui,Z.;Li,Q.;Cao,Z.;Liu,N.Dense Attention Pyramid Networks for Multi-Scale Ship Detectionin SAR Images.IEEE Trans.Geosci.Remote Sens.2019,57,8983-8997.]采用注意力机制专注于多尺度舰船目标检测,其中提出了一个密集的注意力金字塔网络,即DAPN(DenseAttention Pyramid Network),DAPN中的卷积注意力模块使用通道注意和空间注意来提取分辨率和语义信息,并突出显着特征;文献[Liu,N.;Cao,Z.;Cui,Z.;Pi,Y.;Dang,S.Multi-Scale Proposal Generation for Ship Detection in SAR Images.Remote Sens.2019,11,526.]构建了舰船目标提案生成器,解决了SAR图像中舰船的多尺度问题,可以获得最高的召回率和提案质量。
尽管上述文献针对SAR图像多尺度舰船目标特性进行了舰船目标检测网络的设计以提高多尺度舰船目标检测的性能,然而这些文献中舰船目标检测网络的多尺度特征融合过程采用直接融合来自不同层的特征图的方式,忽略了特征图之间融合程度的问题,使得融合后的特征图并不能很好地平衡多尺度目标的检测。
发明内容
本发明的目的是针对现有技术存在的不足和问题,提供一种轻量级、特征自适应融合、检测精度更高和速度更快的SAR图像多尺度舰船目标检测方法。
本发明是一种SAR图像多尺度舰船目标检测方法,其特征在于,包括有以下步骤:
(1)获取原始SSDD数据集:通过SAR和网络获取得到被检测舰船目标的原始合成孔径雷达图像舰船检测数据集SSDD,获取数据集中的图像格式为jpg,该图像为舰船目标检测网络的输入图像,图像中标注文件格式为xml,对标注文件进行预处理以符合舰船目标检测网络所需的txt格式要求,存为txt格式文本,作为被检测舰船目标的原始SSDD,然后以8:2的划分比例得到被检测舰船目标的训练集和测试集;
(2)构建CSPMRes2特征提取模块,获取多尺度特征:构建的特征提取模块CSPMRes2将输入特征图x在通道维度上平均分为两部分x0'和x0”,其中一部分x0'特征图经过k个引入了坐标注意力机制模块的多尺度特征提取模块MRes2以获得被检测舰船目标的多尺度特征,最后一个多尺度特征提取模块MRes2的输出经过一个卷积核为1×1,步长为1×1的卷积块后结果为xT特征图,将xT特征图与x0”特征图在通道维度进行拼接后的结果经过一个卷积核为1×1,步长为1×1的卷积块,此时的结果xU为构建的CSPMRes2特征提取模块的输出;k为多尺度特征提取模块MRes2的个数,当k=1时,构建的CSPMRes2特征提取模块记为CSPMRes2_1,当k=3时,构建的CSPMRes2特征提取模块记为CSPMRes2_3;也就是说CSPMRes2特征提取模块的输出包含被检测舰船目标的多尺度特征;构建的CSPMRes2特征提取模块将作为舰船目标检测网络主干的基础模块,设置在舰船目标检测网络主干最后三个不同层上的CSPMRes2特征提取模块分别输出的三个不同尺度特征图fs,fm和fl作为舰船目标检测网络主干的输出,其中fs为小尺寸特征图,fm为中等尺寸特征图,fl为大尺寸特征图;
(3)构建FC-FPN特征融合模块:构建的特征融合模块FC-FPN的输入是舰船目标检测网络主干最后三个不同层上的CSPMRes2特征提取模块的三个不同尺度特征图fs,fm和fl;FC-FPN特征融合模块中参与特征融合的特征图都有一个可学习的融合系数,使特征融合自适应地进行,在特征自适应融合后会经过一个CSPMRes2_1特征提取模块以增强特征表达;FC-FPN特征融合模块结构内有从上至下的两次特征上采样过程和从下至上的两次特征下采样的过程,其中从上至下的上采样过程以特征图fs为基础进行第一次上采样,上采样结果与特征图fm进行自适应特征融合后经过一个CSPMRes2_1特征提取模块的输出特征图记为fsm,然后以特征图fsm为基础进行第二次上采样,上采样结果与特征图fl进行自适应特征融合后经过一个CSPMRes2_1特征提取模块后的输出特征图记为fml;从下至上的下采样过程以特征图fml为基础进行第一次下采样,下采样结果与特征图fsm进行自适应特征融合后经过一个CSPMRes2_1特征提取模块后的输出特征图记为flm,然后以特征图flm为基础进行第二次下采样,下采样结果与特征图fs进行自适应特征融合后经过一个CSPMRes2_1特征提取模块后的输出特征图记为fms;构建的FC-FPN特征融合模块的输出是三个不同尺度特征图fml,flm和fms,其中fml用于检测小尺寸舰船目标,flm用于检测中等尺寸舰船目标,fms用于检测小尺寸舰船目标;
(4)构建基于CSPMRes2和FC-FPN模块的目标检测网络;将特征提取模块CSPMRes2和特征融合模块FC-FPN作为构建SAR图像多尺度舰船目标检测网络的基础模块,该构建的SAR图像多尺度舰船目标检测网络包括主干与检测头两部分,主干在前,检测头在后;该SAR图像多尺度舰船目标检测网络输入为原始SSDD数据集中的输入图像,舰船目标检测网络主干中以卷积下采样模块在前,CSPMRes2特征提取模块在后的顺序交替重复四次作为主体结构,其中第四次卷积下采样模块和CSPMRes2特征提取模块之间有一个SPP(SpatialPyramid Pool)金字塔池化模块;SAR图像多尺度舰船目标检测网络主干总体经过了五次下采样,其中第一次下采样操作为Focus,其他的下采样均是通过卷积的形式进行的,SAR图像多尺度舰船目标检测网络主干的输出是最后三个不同层上的CSPMRes2特征提取模块的三个不同尺度特征图fs,fm和fl;SAR图像多尺度舰船目标检测网络的检测头就是特征融合模块FC-FPN,检测头输入是SAR图像多尺度舰船目标检测网络主干最后三个不同层上的CSPMRes2特征提取模块的三个不同尺度特征图fs,fm和fl,其输出为三个不同尺度的特征图fml,flm和fms;检测头的输出也是基于CSPMRes2和FC-FPN模块构建的舰船目标检测网络的输出;
(5)舰船目标检测网络训练:使用被检测舰船目标的训练集作为SAR图像多尺度舰船目标检测网络的输入,网络的输入大小为512×512,使用随机梯度下降SGD作为优化器,网络的初始学习率为0.01,动量为0.937,迭代次数为800个epoch,采用了左右翻转,马赛克数据增强手段;设置完网络所需超参数后,开始网络的训练,生成并得到SAR图像多尺度舰船目标检测网络训练模型;舰船目标检测网络的训练都是从头开始训练,未使用任何预训练模型参数;
(6)舰船目标检测网络测试:使用被检测舰船目标的测试集作为SAR图像多尺度舰船目标检测网络训练模型的输入,首先设置交并比IoU(Intersection over Union)阈值为0.001,置信度阈值为0.65,然后加载训练完成后的模型参数,将测试数据集统一图片尺寸512×512后送入SAR图像多尺度舰船目标检测网络进行测试,得到被检测舰船目标的检测结果,检测结果中的每只舰船具有类别,置信度,舰船中心横坐标,舰船中心纵坐标,舰船目标宽度和舰船目标高度六个属性,最后将检测结果与txt格式文本中存储的真实目标位置与类别进行COCO格式指标的评估。
本发明解决了目前SAR图像舰船目标检测网络检测头结构直接进行特征图融合,忽略特征图之间融合程度的问题。
与现有技术相比,本发明的技术优势:
网络参数轻量级:本发明设计的特征提取模块CSPMRes2能够降低梯度重复,模块参数量低,使得基于该特征提取模块构建的舰船目标检测网络具有网络参数轻量级的特点。
特征自适应融合:在舰船目标检测网络的检测头特征融合中,本发明设计的特征融合模块FC-FPN考虑了特征图融合程度的问题,使特征图自适应地进行,从而更好地平衡SAR图像多尺度舰船目标的检测。
检测速度快:基于特征提取模块CSPMRes2和特征融合模块FC-FPN构建的舰船目标检测网络的参数量低,因而网络的计算量较少,能够实现更快的舰船目标检测。
检测精度高:得益于特征提取模块CSPMRes2强大的多尺度特征提取能力和特征融合模块FC-FPN自适应特征融合平衡多尺度目标检测的能力,基于特征提取模块CSPMRes2和特征融合模块FC-FPN构建的舰船目标检测网络能够有效提升舰船目标检测的精度。
附图说明
图1为本发明的舰船目标检测网络流程框图;
图2为本发明的CSPMRes2特征提取模块;
图3为本发明的FC-FPN特征融合模块;
图4为本发明的舰船目标检测网络;
图5(a)为YOLOv5s舰船目标检测网络的检测效果图;
图5(b)为本发明的舰船目标检测网络的检测效果图。
具体实施方式
实施例1
在目前基于深度学习的SAR图像舰船目标检测方法中,SAR图像舰船目标检测网络检测头的来自不同层的特征图都是未经任何处理直接融合,忽略不同层特征图间融合程度的问题,使融合后的特征图并不能很好地平衡多尺度目标的检测。本发明为了提升SAR图像多尺度舰船目标的检测性能,提出一种SAR图像多尺度舰船目标检测方法。
本发明是一种SAR图像多尺度舰船目标检测方法,参见图1,图1为本发明的舰船目标检测网络流程框图,包括有以下步骤:
(1)获取原始SSDD数据集:通过SAR和网络获取得到被检测舰船目标的原始合成孔径雷达图像舰船检测数据集SSDD,获取数据集中的图像格式为jpg,该图像为舰船目标检测网络的输入图像,图像中标注文件格式为xml,该文件中舰船目标的标注信息为左下角坐标(xmin,ymin)和左上角坐标(xmax,ymax),提取xml标注文件内舰船目标坐标信息,将舰船目标坐标信息变换为中心坐标(cx,cy)和宽高(w,h),将变换后的坐标信息以及从xml文件提取的舰船目标类别进行顺序编号后存为符合舰船目标检测网络所需的txt格式文本,作为被检测舰船目标的原始SSDD,然后将被检测舰船目标的原始SSDD以8:2的划分比例得到被检测舰船目标的训练集和测试集。
(2)构建CSPMRes2特征提取模块,获取多尺度特征:将步骤(1)中获得的输入图像使用卷积进行特征提取后作为构建的CSPMRes2(Cross Stage Partial network withModified Res2Net)模块的输入特征图x,构建的特征提取模块CSPMRes2将输入特征图x在通道维度上平均分为两部分x0'和x0”,其中一部分x0'特征图经过一个多尺度特征提取模块MRes2(Modified Res2Net)后的结果与自身在通道维度进行拼接,拼接后的结果视为新的x0',再执行x0'经过的过程,设置x0'经过的过程重复了k次,最后一次的输出经过一个卷积核为1×1,步长为1×1的卷积块后结果为xT特征图,将xT特征图与x0”特征图在通道维度进行拼接后的结果经过一个卷积核为1×1,步长为1×1的卷积块,此时的结果xU为构建的CSPMRes2特征提取模块的输出;当x0'经过的过程重复次数k=1时,构建的CSPMRes2特征提取模块记为CSPMRes2_1,当k=3时,构建的CSPMRes2特征提取模块记为CSPMRes2_3;也就是说CSPMRes2特征提取模块的输出包含被检测舰船目标的多尺度特征;构建的CSPMRes2特征提取模块将作为舰船目标检测网络主干的基础模块,设置在舰船目标检测网络主干最后三个不同层上的CSPMRes2特征提取模块分别输出的三个不同尺度特征图fs,fm和fl作为舰船目标检测网络主干的输出,其中fs为小尺寸特征图,fm为中等尺寸特征图,fl为大尺寸特征图。
换句话说,本发明的特征提取模块将输入特征图在通道维度上平均分为两部分,其中一部分特征图经过引入了坐标注意力机制模块的多尺度特征提取能力模块以获得被检测舰船目标的多尺度特征,该多尺度特征提取能力模块可以以串联的方式重复多次,最后的输出特征图将与另一部分未经过任何处理特征图在通道维度上进行拼接以作为CSPMRes2特征提取模块的输出。
(3)构建FC-FPN特征融合模块:FC-FPN(Feature Pyramid Network with FusionCoefficient)特征融合模块中有四次特征融合,两次上采样过程和两次下采样过程,特征融合过程在每次下采样过程执行完之后;在四次特征融合中,给每次参与特征融合的两个特征图各自设置一个可学习系数,使特征融合自适应地进行,每次特征自适应融合后经过一个步骤(2)中构建的CSPMRes2_1特征提取模块以增强特征表达;以舰船目标检测网络主干最后三个不同层上的CSPMRes2特征提取模块的三个不同尺度特征图fs,fm和fl作为构建的特征融合模块FC-FPN的输入;两次上采样过程以特征图fs为基础进行第一次上采样,上采样结果与特征图fm乘以各自的可学习系数进行自适应特征融合后经过一个CSPMRes2_1特征提取模块的输出特征图记为fsm,然后以特征图fsm为基础进行第二次上采样,上采样结果与特征图fl乘以各自的可学习系数进行自适应特征融合后经过一个CSPMRes2_1特征提取模块后的输出特征图记为fml;两次下采样过程以特征图fml为基础进行第一次下采样,下采样结果与特征图fsm乘以各自的可学习系数进行自适应特征融合后经过一个CSPMRes2_1特征提取模块后的输出特征图记为flm,然后以特征图flm为基础进行第二次下采样,下采样结果与特征图fs乘以各自的可学习系数进行自适应特征融合后经过一个CSPMRes2_1特征提取模块后的输出特征图记为fms;将三个不同尺度特征图fml,flm和fms作为构建的FC-FPN特征融合模块的输出,其中fml用于检测小尺寸舰船目标,flm用于检测中等尺寸舰船目标,fms用于检测小尺寸舰船目标。
(4)构建基于CSPMRes2特征提取模块和FC-FPN特征融合模块的舰船目标检测网络;将步骤(2)和(3)构建的特征提取模块CSPMRes2和特征融合模块FC-FPN作为构建SAR图像多尺度舰船目标检测网络的基础模块,该构建的SAR图像多尺度舰船目标检测网络包括主干与检测头两部分,主干在前,检测头在后;该SAR图像多尺度舰船目标检测网络输入为步骤(1)中获得原始SSDD数据集中的输入图像,构建的舰船目标检测网络主干有一个Focus下采样模块,四个卷积下采样模块,两个CSPMRes2_1特征提取模块,两个CSPMRes2_3特征提取模块和一个空间金字塔池化模块SPP(Spatial Pyramid Pool);Focus下采样模块是构建舰船目标检测网络主干的第一个模块,然后以卷积下采样模块在前,CSPMRes2特征提取模块在后的顺序交替重复四次,其中第一次和第四次中CSPMRes2特征提取模块为CSPMRes2_1特征提取模块,第二次和第三次中CSPMRes2特征提取模块为CSPMRes2_3特征提取模块,另外在第四次的卷积下采样模块和CSPMRes2_1特征提取模块之间有一个SPP金字塔池化模块;构建的SAR图像多尺度舰船目标检测网络主干总体经过了五次下采样,其中第一次下采样操作为Focus,其他的下采样均是通过卷积的形式进行的。SAR图像多尺度舰船目标检测网络主干的输出是最后三个不同层上的CSPMRes2特征提取模块的三个不同尺度特征图fs,fm和fl;构建的SAR图像多尺度舰船目标检测网络检测头就是步骤(3)构建的特征融合模块FC-FPN,检测头的输入是SAR图像多尺度舰船目标检测网络主干输出的三个不同尺度特征图fs,fm和fl,检测头输出为三个不同尺度的特征图fml,flm和fms;检测头的输出也是基于CSPMRes2和FC-FPN模块构建的舰船目标检测网络的输出。本发明构建的舰船目标检测网络主干中CSPMRes2模块存在于每个卷积下采样层之后,FC-FPN中的CSPMRes2模块存在于特征自适应融合之后。基于CSPMRes2特征提取模块和FC-FPN特征融合模块构建的舰船目标检测网络经过了五次下采样,第一次下采样操作是对输入图片每隔两行两列进行数据抽取,并拼接到通道维度上,其他的下采样均是通过卷积的形式进行的。在本发明构建的舰船目标检测网络中,FC-FPN特征融合模块就是构建的舰船目标检测网络的检测头,该检测头的输出是三个不同尺度的特征图,分别用于检测多尺度的舰船目标。
(5)舰船目标检测网络训练:使用步骤1得到的被检测舰船目标的训练集作为步骤4得到的SAR图像多尺度舰船目标检测网络的输入,网络的输入大小为512×512,使用随机梯度下降SGD作为优化器,网络的初始学习率为0.01,动量为0.937,迭代次数为800个epoch,采用了左右翻转,马赛克数据增强手段;设置完网络所需超参数后,开始网络的训练,生成并得到SAR图像多尺度舰船目标检测网络训练模型;舰船目标检测网络的训练都是从头开始训练,未使用任何预训练模型参数;
(6)舰船目标检测网络测试:使用步骤1得到的被检测舰船目标的测试集作为步骤5得到的SAR图像多尺度舰船目标检测网络训练模型的输入,首先设置交并比IoU(Intersection over Union)阈值为0.001,置信度阈值为0.65,然后加载训练完成后的模型参数,将测试数据集统一图片尺寸512×512后送入SAR图像多尺度舰船目标检测网络进行测试,得到被检测舰船目标的检测结果,检测结果中的每只舰船具有类别,置信度,舰船中心横坐标,舰船中心纵坐标,舰船目标宽度和舰船目标高度六个属性,最后将检测结果与txt格式文本中存储的真实目标位置与类别进行COCO格式指标的评估。
本发明提供了一个SAR图像多尺度舰船目标检测方法的整体技术方案。
在目前的SAR图像多尺度舰船目标检测网络中,主流的舰船目标网络检测头都采用了特征金字塔网络的各种变体进行来自舰船目标检测网络主干不同层的特征的融合,然而在这些变体特征金字塔网络特征融合中,都采用了特征图直接融合的方式,没有考虑特征图之间融合程度的问题,这使得特征图的融合过于机械,对检测多尺度目标是不利的。为了解决SAR图像具有多尺度目标特性带来的问题,本发明的思路是将舰船目标检测网络分为主干和检测头两部分,本发明通过设计表达能力更强的主干网络和更加符合多尺度舰船目标检测特点的检测头结构,提升了多尺度舰船目标检测网络提取特征的能力,有效增强了舰船目标检测网络的检测性能。本发明设计了特征提取模块CSPMRes2和特征融合模块FC-FPN,特征提取模块CSPMRes2是构建舰船目标检测网络主干的基础模块,使构建的舰船目标检测网络主干能够提取更具判别性的特征,增强了特征的表达能力;特征融合模块FC-FPN则是作为舰船目标检测网络的检测头,该模块内参与特征融合的特征图都设置了一个可学习的系数,使特征的融合自适应地进行,能够有效平衡SAR图像中多尺度目标的检测。
实施例2
一种SAR图像多尺度舰船目标检测方法同实施例1,本发明步骤(1)中所述的提取原始SSDD数据集包括有如下步骤:
(1a)解析原始SSDD数据集:解析原始SSDD数据集xml文件格式的标签文件,提取图片宽度img_width和高度img_height,舰船目标矩形标注框位置左下角(xmin,ymin)坐标信息和右上角(xmax,ymax)坐标信息以及舰船目标类别。
(1b)舰船目标类别编号:将步骤(1a)得到的原始图像舰船目标类别从零开始进行顺序编号,得到舰船目标类别的编号。
(1c)舰船目标坐标变换:将步骤(1a)获得的原始图像中舰船目标矩形标注框的左下角坐标(xmin,ymin)和右上角坐标(xmax,ymax)坐标变换为舰船目标矩形标注框中心坐标(cx,cy)和舰船目标矩形标注框宽高(w,h);xmin,xmax,和cx为舰船目标矩形标注框横坐标;ymin,ymax和cy为舰船目标矩形标注框纵坐标;w为舰船目标矩形标注框的宽度,h为舰船目标矩形标注框的高度;坐标变换计算公式具体如下:
舰船目标矩形标注框横坐标cx的变换公式为:
Figure BDA0003472202660000091
舰船目标矩形标注框纵坐标cy的变换公式为:
Figure BDA0003472202660000092
舰船目标矩形标注框宽度w的变换公式为:
Figure BDA0003472202660000093
舰船目标矩形标注框高度h的变换公式为:
Figure BDA0003472202660000094
通过将原始SSDD数据集中xml格式标注文件中的舰船目标坐标进行变换,有利于本发明舰船目标检测网络对真实舰船目标标签的处理,方便进行舰船目标检测网络的训练和测试。
(1d)txt格式文本生成:将(1b)中类别的舰船目标类别编号与(1c)得到的坐标变换后的(cx,cy)和(w,h)拼接成(类编号,cx,cy,w,h)的形式,每张图片中每个目标占一行,以符合舰船目标检测网络所需的txt格式要求,然后存为txt格式文本。
本发明获取原始SSDD数据集并对其xml格式标注文件进行坐标变换并保存为txt格式文本为了符合舰船目标检测网络的输入格式要求,方便进行舰船目标检测网络得训练和测试。
实施例3
一种SAR图像多尺度舰船目标检测方法同实施例1-2,步骤(2)中所述构建的CSPMRes2模块,参见图2,图2为本发明的CSPMRes2特征提取模块,具体构建步骤如下:
(2a)将输入特征图划分为两部分:将原始SSDD数据集的输入图像使用卷积进行特征提取后作为输入特征图x,将输入特征图x在通道维度上平均分为两部分x0'和x0”;其中第二部分x0”特征图未经过任何模块,第一部分x0'特征图则经过了引入坐标注意力机制模块的多尺度特征提取能力模块。通过将输入特征图从通道维度划分为通道数相等的两部分,可以有效降低舰船目标检测网络训练时的梯度重复。
(2b)构建引入了坐标注意力机制模块的多尺度特征提取能力模块:将x0'经过四个1×1卷积得到x11,x12,x13和x14四个子特征图,每个子特征图通道数量为特征图x0'通道数量的四分之一;将第二个子特征图x12经过3×3卷积后得到第一个输出特征图y2;将第一个输出特征图y2与第三个子特征图x13进行对应元素求和,其结果经过一个坐标注意力机制模块,其结果为第二个输出特征图y3;将第二个输出特征图y3与第四个子特征图x14进行对应元素求和,其结果经过一个坐标注意力机制模块,其结果为第三个输出特征图y4;将第一个子特征图x11,第一个输出特征图y2,第二个输出特征图y3,第三个输出特征图y4在通道维度上进行拼接,拼接结果经过一个坐标注意力机制模块,其结果为第四个输出特征图y,然后将第一部分特征图x0'与第四个输出特征图y在通道维度上进行拼接,其结果作为新的第一部分特征图x0'。经过该步骤的过程后,输出的特征图融合了多个不同感受野特征图的信息,也就是融合了多尺度的特征信息,有效增强了特征的表达能力。另外由于坐标注意力机制的存在,输出的特征图能够捕获特征图内部通道间的相关性和获得特征图空间维度中更精确的位置信息。
(2c)CSPMRes2特征提取模块输出:重复(2b)的步骤,重复次数为k(k=1或者k=3),最后一次的结果经过一个卷积核为1×1,步长为1×1的卷积块后输出特征图为xT,将特征图xT与第二部分特征图x0”在通道维度上进行拼接,然后经过一个卷积核为1×1,步长为1×1的卷积块后,得到最终CSPMRes2特征提取模块的输出特征图xU。当k=1时,构建的CSPMRes2特征提取模块记为CSPMRes2_1,当k=3时,构建的CSPMRes2特征提取模块记为CSPMRes2_3。该步骤中的1×1卷积有效融合了特征图通道维度的信息,不同数量的多尺度特征提取模块赋予了构建的CSPMRes2特征提取模块强大的多尺度特征提取能力。
本发明构建的特征提取模块CSPMRes2能够降低梯度重复,并且参数少,计算量低,由于特征提取模块CSPMRes2内引入了多尺度特征提取能力和坐标注意力机制模块,使得特征提取模块CSPMRes2也拥有多尺度特征提取能力以及坐标注意力机制模块所带来的捕获特征图内部通道间的相关性和获得更精确的位置信息的能力。也就是说构建的特征提取模块CSPMRes2具备强大的特征提取能力,能够增强特征的表达,提取更加具有判别性的特征。本发明构建的特征提取模块CSPMRes2作为舰船目标检测网络的重要基础模块,给舰船目标检测网络的强大特征提取能力提供了至关重要的支撑。
实施例4
一种SAR图像多尺度舰船目标检测方法同实施例1-3,步骤(3)中所述构建的FC-FPN模块,参见图3,图3为本发明的FC-FPN特征融合模块,具体构建步骤为:
(3a)获取FC-FPN模块的多尺度输入特征图:获取基于权利要求1中步骤(2)特征提取模块CSPMRes2构建的舰船目标检测网络主干最后三个不同层上的特征提取模块CSPMRes2的三个不同尺度特征图fs,fm和fl作为特征融合模块FC-FPN的输入,三个不同尺度特征图空间分辨率fs<fm<fl。不同空间分辨率大小的特征图保留了不同尺度目标不同层次的信息,使用不同尺度的特征图进行特征融合,可以获得不同尺度目标间信息的交流,利于多尺度目标的检测。
(3b)从上至下过程特征自适应融合:将特征图fs上采样得到fs',特征图fs'乘以第一个可学习系数α1,特征图fm乘以第二个可学习系数β1,然后将带可学习系数的特征图fs'和fm进行对应元素求和,其结果经过一个CSPMRes2_1特征提取模块,输出为fsm;将特征图fsm上采样得到f'sm,特征图f'sm乘以第三个可学习系数α2,特征图fl乘以第第四个可学习系数β2,然后将带可学习系数的特征图f'sm和fl进行对应元素求和,其结果经过一个CSPMRes2_1特征提取模块,输出为fml。从上至下的特征自适应融合可以使低层特征图获得高层特征图的语义信息,增强了不同层特征图之间信息的交流。
(3c)从下至上过程特征自适应融合:将特征图fml下采样得到f'ml,特征图f'ml乘以第五个可学习系数α3,特征图fsm乘以第六个可学习系数β3,然后将带可学习系数的特征图f'ml和fsm进行对应元素求和,其结果经过一个CSPMRes2_1特征提取模块,输出为flm;将特征图flm下采样得到f'lm,特征图f'lm乘以第七个可学习系数α4,特征图fs乘以第八个可学习系数β4,然后将带可学习系数的特征图f'lm和fs进行对应元素求和,其结果经过一个CSPMRes2_1特征提取模块,输出为fms。从下至上的特征自适应融合过程使用了从上至下特征自适应融合过程的特征图作为输入,更进一步增强了不同层特征图之间信息的交流。
(3d)FC-FPN特征融合模块输出:将特征图fml,flm和fms作为FC-FPN特征融合模块的输出以检测不同尺度大小目标。
本发明构建的特征融合模块FC-FPN考虑了参与特征融合的特征图之间的融合程度,给参与特征融合的特征图设置了一个可学习系数,通过该可变的可学习系数,使得特征融合能够自适应进行得到最合适的特征融合结果。在特征自适应融合之后经过一个特征提取CSPMRes2,进一步增强了特征融合模块FC-FPN的特征表达能力。本发明构建的特征融合模块FC-FPN给舰船目标检测网络提供了平衡多尺度目标检测的能力。
实施例5
一种SAR图像多尺度舰船目标检测方法同实施例1-4,步骤(4)中所述构建基于CSPMRes2特征提取模块和FC-FPN特征融合模块的舰船目标检测网络,参见图4,图4为本发明的舰船目标检测网络,具体构建步骤如下:
(4a)构建目标检测网络主干:构建的目标检测网络主干具有Focus下采样模块,卷积下采样模块,CSPMRes2_1特征提取模块,CSPMRes2_3特征提取模块,FC-FPN特征融合模块和SPP(Spatial Pyramid Pool)空间金字塔池化模块;其中Focus下采样块将输入图像在空间维度每隔两行两列进行数据抽样,然后拼接在通道维度上;卷积下采样块中包含一个卷积核大小为3×3,步长为2×2的卷积,一个BatchNorm和一个SiLU激活函数;SPP空间金字塔池化模块使用了三个最大池化操作,三个最大池化操作的核大小分别为5×5、9×9和13×13,步长均为1×1,填充为分别为2×2、4×6和6×6;构建的舰船目标主干结构为:(a)Focus下采样块->(b)卷积下采样块->(c)CSPMRes2_1特征提取模块->(d)卷积下采样块->(e)CSPMRes2_3特征提取模块->(f)第三个卷积下采样块->(g)CSPMRes2_3特征提取模块->(h)卷积下采样块->(i)空间金字塔池化层SPP->(j)CSPMRes2_1特征提取模块,模块(a)到模块(j)是顺序连接;该步骤中构建的舰船目标检测网络主干中最重要的CSPMRes2特征提取模块,该模块具备多尺度特征提取能力,从而使得构建的舰船目标检测网络主干具备了强大的特征提取能力。
(4b)构建目标检测网络检测头:构建的舰船目标检测网络的检测头就是特征融合模块FC-FPN,分别将舰船目标检测网络主干中的(e)、(g)和(j)模块分别输出的特征图fl,fm和fs作为舰船目标检测网络检测头的输入,经过舰船目标检测网络检测头,即经过特征融合模块FC-FPN后,得到的特征图fml,flm和fms。舰船目标检测的检测头是特征融合模块FC-FPN,也就是说该检测头能够平衡多尺度舰船目标的检测,提升多尺度舰船目标道德检测性能。
(4c)目标检测网络的输出:基于CSPMRes2和FC-FPN模块构建的舰船目标检测网络的输出也就是舰船目标检测网络检测头的输出,用于预测不同尺度目标的类别与位置。
与现有SAR图像多尺度舰船目标检测网络相比,本发明基于提出的特提取模块CSPMRes2和特征融合模块FC-FPN构建的舰船目标检测网络的参数量低,计算量少,使构建的舰船目标检测网络具有轻量级、速度快的优点;特征融合模块FC-FPN考虑了舰船目标检测网络检测头中特征融合程度的问题,为参与特征融合的特征图设置了一个可以学系数,使特征融合自适应进行,从而使得舰船目标检测网络具有特征自适应融合的优点;基于特提取模块CSPMRes2和特征融合模块FC-FPN构建的舰船目标检测网络具备强大的特征提取能力与平衡多尺度舰船目标检测的能力,有效提升了舰船目标检测网络的检测精度。总的来说,本发明的SAR图像多尺度舰船目标检测网络具有轻量级、速度快、特征自适应融合和检测精度高的优点。
本发明属于雷达遥感技术领域,具体涉及一种SAR图像多尺度舰船目标检测方法。本发明的方法构建了一种CSPMRes2模块,该模块在具备减少梯度信息重复与计算量的优点基础上,结合了多尺度特征提取能力,有效提升了SAR图像特征提取的能力,本发明的方法还构建了一个FC-FPN模块,该模块中给每个参与特征融合的特征图设置了一个可学习融合系数,使得特征图的融合能够自适应地进行,从而同时兼顾SAR图像中多尺度舰船目标的检测,本发明的方法在拥有强大的特征提取能力的同时能够对多尺度的舰船目标进行检测,有效提升了SAR图像舰船目标检测的检测效果。
下面给出一个更加详细的例子,对本发明进一步说明:
实施例6
一种SAR图像多尺度舰船目标检测方法同实施例1-5,本发明为了提升SAR图像多尺度舰船目标的检测性能,将本发明构建的CSPMRes2特征提取模块和FC-FPN特征融合模块结合构建了SAR图像舰船目标检测网络。将CSPMRes2特征提取模块作为目标检测网络主干的基础模块,以FC-FPN特征融合模块作为检测头。参见图1,图1为本发明的舰船目标检测网络流程框图,具体实施步骤如下:
步骤1,对原始SSDD进行xml格式标标注文件预处理,然后以8:2的比例划分为训练集和测试集,标注文件预处理具体包括如下步骤:
(1a)解析原始SSDD数据集xml文件格式的标签文件,提取图片宽度img_width和高度img_height信息、舰船目标类别信息、舰船目标左下角坐标(xmin,ymin)信息和舰船目标右上角坐标(xmax,ymax)信息;
(1b)将步骤(1a)得到的舰船目标类别从零开始进行顺序编号,得到舰船目标类别的编号;
(1c)根据将步骤(1a)得到的图片宽度img_width和高度img_height,将图中舰船目标(xmin,ymin)和(xmax,ymax)坐标变换为(cx,cy)和(w,h)的格式,(cx,cy)为舰船目标中心坐标,(w,h)为舰船目标矩形包围框的宽和高;
(1d)步骤(1c)中的坐标变换过程具体如下:
舰船目标中心横坐标cx的变换公式:
Figure BDA0003472202660000141
舰船目标中心纵坐标cy的变换公式:
Figure BDA0003472202660000142
舰船目标矩形包围框宽度w的变换公式:
Figure BDA0003472202660000143
舰船目标矩形包围框高度h的变换公式:
Figure BDA0003472202660000144
(1e)将(1b)中得到的舰船目标类别编号与(1c)得到的舰船目标中心坐标(cx,cy)和舰船目标矩形包围框宽高(w,h)拼成(类编号,x,y,w,h)的形式,每张图片中每个目标占一行,然后存为txt格式文本。
步骤2,构建CSPMRes2特征提取模块,具体构建方法如下:
(2a)将步骤1中原始SSDD数据集的输入图像使用卷积进行特征提取后作为输入特征图x,将输入特征图x按通道划分为两部分x0'和x0”
(2b)将x0'经过四个1×1卷积分为四个部分x11,x12,x13和想x14,每个部分特征图通道数量为特征图x0'通道数量的四分之一;
(2c)将步骤(2b)得到特征图x12经过3×3卷积后得到输出y2;
(2d)将步骤(2c)中得到的特征图y2与步骤(2b)中得到的特征图x13进行对应元素求和,其结果送入一个坐标注意力机制模块,其输出结果为y3;
(2e)将步骤(2d)中得到的特征图y3与步骤(2b)中得到的特征图x14进行对应元素求和,其结果送入一个坐标注意力机制模块,其输出结果为y4;
(2f)将特征图x11,y2,y3,y4进行拼接,其结果经过一个坐标注意力机制模块,其输出结果为y;
(2g)将特征图x0'与特征图y进行拼接,其结果作为新的x0'
(2h)然后重复(2b)至(2g)的步骤,重复次数为k(k=1或者k=3);
(2i)步骤(2h)完成后,其输出特征图经过一个1×1卷积块后得到特征图xt,将特征图x0”与特征图xt进行拼接,然后经过一个1×1卷积块,得到最终CSPMRes2特征提取模块的输出特征图。当步骤(2h)中的k=1时,构建的CSPMRes2特征提取模块记为CSPMRes2_1;当k=3时,构建的CSPMRes2特征提取模块记为CSPMRes2_3。
步骤3,构建FC-FPN特征融合模块,具体构建过程如下:
(3a)获取基于步骤2中特征提取模块CSPMRes2构建的舰船目标检测网络主干最后三个不同层上的特征提取模块CSPMRes2的三个不同尺度特征图fs,fm和fl作为FC-FPN特征融合模块的输入,特征图空间分辨率fs<fm<fl
(3b)将特征图fs上采样得到fs',将特征图fs'乘以第一个可学习系数α1,特征图fm乘以第二个可学习系数β1,然后将带可学习系数的特征图fs'和fm进行对应元素求和,其结果经过一个步骤2构建的CSPMRes2_1模块,输出为fsm
(3c)将特征图fsm上采样得到f'sm,将特征图f'sm乘以第三个可学习系数α2,特征图fl乘以第四个可学习系数β2,然后将带可学习系数的特征图f'sm和fl进行对应元素求和,其结果经过一个步骤2构建的CSPMRes2_1模块,输出为fml
(3d)将特征图fml下采样得到f'ml,将特征图f'ml乘以第五个可学习系数α3,特征图fsm乘以第六个可学习系数β3,然后将带可学习系数的特征图f'ml和fsm进行对应元素求和,其结果经过一个步骤2构建的CSPMRes2_1模块,输出为flm
(3e)将特征图flm下采样得到f'lm,将特征图f'lm乘以第七个可学习系数α4,特征图fs乘以第八个可学习系数β4,然后将带可学习系数的特征图f'lm和fs进行对应元素求和,其结果经过一个步骤2构建的CSPMRes2_1模块,输出为fms
(3f)将特征图fml,flm和fms作为FC-FPN特征融合模块的输出以检测不同尺度大小目标。
步骤4,构建基于CSPMRes2特征提取模块和FC-FPN特征融合模块的目标检测网络具体步骤如下:
(4a)构建目标检测网络主干:构建的目标检测网络主干具有Focus下采样模块,卷积下采样模块,CSPMRes2_1特征提取模块,CSPMRes2_3特征提取模块,FC-FPN特征融合模块和SPP(Spatial Pyramid Pool)空间金字塔池化模块;其中Focus下采样块将输入图像在空间维度每隔两行两列进行数据抽样,然后拼接在通道维度上;卷积下采样块中包含一个卷积核大小为3×3,步长为2×2的卷积,一个BatchNorm和一个SiLU激活函数;SPP空间金字塔池化模块使用了三个最大池化操作,三个最大池化操作的核大小分别为5×5、9×9和13×13,步长均为1×1,填充为分别为2×2、4×6和6×6;构建的舰船目标主干结构为:(a)Focus下采样块->(b)卷积下采样块->(c)CSPMRes2_1特征提取模块->(d)卷积下采样块->(e)CSPMRes2_3特征提取模块->(f)第三个卷积下采样块->(g)CSPMRes2_3特征提取模块->(h)卷积下采样块->(i)空间金字塔池化层SPP->(j)CSPMRes2_1特征提取模块,模块(a)到模块(j)是顺序连接;
(4b)构建目标检测网络检测头:构建的舰船目标检测网络的检测头就是特征融合模块FC-FPN,分别将步骤(4a)构建的舰船目标检测网络主干中的(e)、(g)和(j)模块分别输出的特征图fl,fm和fs作为舰船目标检测网络检测头的输入,经过舰船目标检测网络检测头,即经过特征融合模块FC-FPN后,得到的特征图fml,flm和fms
(4c)目标检测网络的输出:基于CSPMRes2特征提取模块和FC-FPN特征融合模块构建的舰船目标检测网络的输出也就是舰船目标检测网络检测头的输出,用于预测不同尺度目标的类别与位置。
步骤5,舰船目标网络训练的具体步骤如下:
(5a)将步骤1对原始SSDD数据集划分得到的训练数据在输入舰船目标检测网络前,首先将SSDD训练集统一为512×512的分辨率,然后进行左右翻转,马赛克数据增强;
(5b)将目标检测网络进行初始化,从头开始训练,不使用任何预训练模型参数,其中网络优化器使用了SGD,初始学习率为0.01,动量为0.937,迭代次数为800个epoch;
(5c)设置网步骤(5b)中网络的超参数后,开始舰船目标检测网络的训练,训练完成后,将舰船目标检测网络参数保存为后缀为pt的权重文件。
步骤6,舰船目标网络测试的具体步骤为:
(6a)将步骤1对原始SSDD数据集划分得到的测试集统一为512×512的分辨率,不做任何数据增强;
(6b)给步骤4所构建的舰船目标检测网络加载步骤5下(5c)步骤得到的网络权重文件;
(6c)将步骤(6a)得到测试集数据输入(6b)中加载了网络权重的舰船目标检测网络中进行目标检测,将检测结果与测试集中真实目标进行COCO格式指标的评估,得到目标检测网络的检测性能。
本发明通过将获取的原始SSDD数据集做预处理,使其标注文件的格式满足本发明舰船目标检测网络的输入要求,方便了舰船目标检测网络的训练与测试;构建的强大的特征提取模块CSPMRes2作为舰船目标检测网络主干的基础模块,提升了舰船目标检测网络主干的特征提取能力;构建的带有可学习系数的特征融合模块FC-FPN考虑了特征图之间融合程度的问题,能够有效平衡多尺度舰船目标的舰船;基于特征提取模块CSPMRes2和特征融合模块FC-FPN构建的舰船目标检测网络具备了强大的特征提取能力和平衡多尺度舰船目标检测的能力,能够有效提升舰船目标检测网络的检测精度。
下面通过实验及其数据对本发明的技术效果再做说明:
实施例7
一种SAR图像多尺度舰船目标检测方法同实施例1-6。
实验条件:本发明实验使用的操作系统为64位Ubuntu18.04 LTS,集成开发平台为Pycharm2021,使用的深度学习框架为pytorch;硬件环境:主板CPU为16核3.80GHz的
Figure BDA0003472202660000171
CoreTM i7-9800X,主板内存为32GB,显卡为具有12GB内存的NVIDIA GeForce RTX 2080Ti。
实验内容:使用获取得到的原始SSDD数据集,执行YOLOv5s和本发明的舰船目标检测方法的性能试验,并比较YOLOv5s和本发明的舰船目标检测方法的性能差异。
评估指标:使用COCO评估指标进行舰船目标检测网络性能的评估,COCO各指标的含义如表1所示,其中AP(Average Precision)表示平均精度,IoU(Intersection overUnion)表示交并比,是预测框与真实框之间的重叠度。
表1:COCO评估指标含义
指标 含义
AP AP at IoU=0.50:0.05:0.95
AP<sub>50</sub> AP at IoU=0.50
AP<sub>75</sub> AP at IoU=0.75
AP<sub>S</sub> 小目标AP:舰船目标矩形框面积&lt;32<sup>2</sup>
AP<sub>M</sub> 中等目标AP:舰船目标矩形框面积&lt;area&lt;96<sup>2</sup>
AP<sub>L</sub> 大目标AP:舰船目标矩形框面积&gt;96<sup>2</sup>
实验结果与分析:将本发明与YOLOv5小规模网络(记为YOLOv5s)的目标检测结果进行对比,具体的COCO评估指标效果如表2所示。
表2:本发明方法与YOLOv5s舰船目标检测网络结果对比
方法 AP AP<sub>50</sub> AP<sub>75</sub> AP<sub>S</sub> AP<sub>M</sub> AP<sub>L</sub>
YOLOv5s 0.604 0.954 0.686 0.541 0.708 0.683
本发明 0.611 0.956 0.709 0.554 0.700 0.704
从表1可以看到,本发明的方法在中等目标的检测性能略低于YOLOv5s算法,但是在小目标APS与大目标APL的检测上分别超过YOLOv5s 1.3%与2.1%,同时从AP75指标来看,本发明的方法比YOLOv5s高了2.3%。表1中的实验结果表明本发明方法构建的CSPMRes2特征提取模块和FC-FPN特征提取模块发挥了其特征提取能力强,平衡多尺度目标检测的能力,使得本发明的方法能够具备更好的检测精度。
本例中使用原始SSDD数据划分得到的测试集图片进行测试,本发明和YOLOv5s目标检测结果展参见图5,图5(a)为YOLOv5s舰船目标检测网络的检测效果图,图5(b)为本发明的舰船目标检测网络的检测效果图。图5(a)与图5(b)是同一张图分别在YOLOv5s目标检测网络与本发明的舰船目标检测网络的检测效果图,图中舰船目标预测框上的数值代表该预测框是舰船的概率,即置信度,该值越接近1,则表明该预测框是舰船的可能性越大。从图5图像中可以看到,与本发明的舰船目标检测网络相比,YOLOv5s目标检测网络有较多的漏检,从图5(a)可以看到YOLOv5s漏掉了图片左上角较大的舰船目标,而本发明的舰船目标检测网络能够很准确地检测出来;另外从YOLOv5s与本发明的舰船目标检测网络检测出的舰船目标的置信度数值对比来看,本发明的舰船目标检测方法检测出的舰船目标置信度高于YOLOv5s目标检测方法的检测出的舰船目标置信度,这表明本发明基于CSPMRes2特征提取模块和FC-FPN特征提取模块构建的舰船目标检测方法能够更好地提取出舰船目标的特征信息,从而获得更高的舰船目标置信度。
本发明基于CSPMRes2特征提取模块和FC-FPN特征融合模块的SAR图像多尺度舰船目标检测方法可以有效发挥CSPMRes2特征提取模块强大的特征提取能力和FC-FPN特征融合模块平衡多尺度舰船目标检测的能力,从而实现多尺度舰船目标检测精度的提升,构建的SAR图像多尺度舰船目标检测方法能够预测出较为准确的舰船目标位置。
综上,本发明属于雷达遥感技术领域,主要涉及舰船目标检测,具体是一种SAR图像多尺度舰船目标检测方法,用于SAR图像多尺度舰船目标的检测。本发明解决了目前SAR图像舰船目标检测网络检测头结构直接进行特征图融合,忽略特征图之间融合程度的问题。本发明通过获取原始SSDD数据集,构建CSPMRes2特征提取模块;构建FC-FPN特征融合模块;构建基于CSPMRes2特征提取模块和FC-FPN特征融合模块的舰船目标检测网络;进行舰船目标检测网络训练;进行舰船目标检测网络测试,实现了SAR图像多尺度舰船目标更准确的检测。本发明构建的CSPMRes2特征提取模块将输入特征图在通道维度上平均分两部分,一路经历一个或多个带有坐标注意力机制模块的多尺度特征提取能力模块后,与另一路未经任何处理的输入特征图在通道维度上进行拼接输出以获得被检测舰船目标的多尺度特征。本发明的舰船目标检测网络也是以CSPMRes2特征提取模块为其网络主干和检测头的基础模块。本发明首先构建了一个CSPMRes2(Cross Stage Partial network with ModifiedRes2Net)特征提取模块,该模块在具备减少梯度信息重复与计算量的优点基础上,结合了多尺度特征提取能力,能够有效提升SAR图像多尺度舰船特征提取能力;为了平衡多尺度目标舰船目标的检测,本发明还构建了一个FC-FPN(Feature Pyramid Network with FusionCoefficient)特征融合模块,该模块中给每个参与特征融合的特征图设置了一个可学习融合系数,使得特征图的融合能够自适应地进行,在每次特征自适应融合之后会经过一个CSPMRes2特征提取模块以增强特征表达,从而同时兼顾SAR图像中多尺度舰船目标的检测。本发明将构建的CSPMRes2特征提取模块和FC-FPN特征融合模块作为基础模块,构建了一种SAR图像多尺度舰船目标检测方法。通过使用SSDD数据对本发明构建的一种SAR图像多尺度舰船目标检测方法进行性能验证,验证结果说明了本发明构建的一种SAR图像多尺度舰船目标检测方法在拥有强大的特征提取能力的同时能够对多尺度的舰船目标进行检测,并有效提升了SAR图像舰船目标检测的检测精度。

Claims (5)

1.一种SAR图像多尺度舰船目标检测方法,其特征在于,包括有以下步骤:
(1)获取原始SSDD数据集:通过SAR和网络获取得到被检测舰船目标的原始合成孔径雷达图像舰船检测数据集SSDD,获取数据集中的图像格式为jpg,该图像为舰船目标检测网络的输入图像,图像中标注文件格式为xml,对标注文件进行预处理以符合舰船目标检测网络所需的txt格式要求,存为txt格式文本,作为被检测舰船目标的原始SSDD,然后以8:2的划分比例得到被检测舰船目标的训练集和测试集;
(2)构建CSPMRes2特征提取模块,获取多尺度特征:构建的特征提取模块CSPMRes2将输入特征图x在通道维度上平均分为两部分x0'和x0”,其中一部分x0'特征图经过k个引入了坐标注意力机制模块的多尺度特征提取模块MRes2以获得被检测舰船目标的多尺度特征,最后一个多尺度特征提取模块MRes2的输出经过一个卷积核为1×1,步长为1×1的卷积块后结果为xT特征图,将xT特征图与x0”特征图在通道维度进行拼接后的结果经过一个卷积核为1×1,步长为1×1的卷积块,此时的结果xU为构建的CSPMRes2特征提取模块的输出;k为多尺度特征提取模块MRes2的个数,当k=1时,构建的CSPMRes2特征提取模块记为CSPMRes2_1,当k=3时,构建的CSPMRes2特征提取模块记为CSPMRes2_3;也就是说CSPMRes2特征提取模块的输出包含被检测舰船目标的多尺度特征;构建的CSPMRes2特征提取模块将作为舰船目标检测网络主干的基础模块,设置在舰船目标检测网络主干最后三个不同层上的CSPMRes2特征提取模块分别输出的三个不同尺度特征图fs,fm和fl作为舰船目标检测网络主干的输出,其中fs为小尺寸特征图,fm为中等尺寸特征图,fl为大尺寸特征图;
(3)构建FC-FPN特征融合模块:构建的特征融合模块FC-FPN的输入是舰船目标检测网络主干最后三个不同层上的CSPMRes2特征提取模块的三个不同尺度特征图fs,fm和fl;FC-FPN特征融合模块中参与特征融合的特征图都有一个可学习的融合系数,使特征融合自适应地进行,在特征自适应融合后会经过一个CSPMRes2_1特征提取模块以增强特征表达;FC-FPN特征融合模块结构内有从上至下的两次特征上采样过程和从下至上的两次特征下采样的过程,其中从上至下的上采样过程以特征图fs为基础进行第一次上采样,上采样结果与特征图fm进行自适应特征融合后经过一个CSPMRes2_1特征提取模块的输出特征图记为fsm,然后以特征图fsm为基础进行第二次上采样,上采样结果与特征图fl进行自适应特征融合后经过一个CSPMRes2_1特征提取模块后的输出特征图记为fml;从下至上的下采样过程以特征图fml为基础进行第一次下采样,下采样结果与特征图fsm进行自适应特征融合后经过一个CSPMRes2_1特征提取模块后的输出特征图记为flm,然后以特征图flm为基础进行第二次下采样,下采样结果与特征图fs进行自适应特征融合后经过一个CSPMRes2_1特征提取模块后的输出特征图记为fms;构建的FC-FPN特征融合模块的输出是三个不同尺度特征图fml,flm和fms,其中fml用于检测小尺寸舰船目标,flm用于检测中等尺寸舰船目标,fms用于检测小尺寸舰船目标;
(4)构建基于CSPMRes2和FC-FPN模块的目标检测网络;将特征提取模块CSPMRes2和特征融合模块FC-FPN作为构建SAR图像多尺度舰船目标检测网络的基础模块,该构建的SAR图像多尺度舰船目标检测网络包括主干与检测头两部分,主干在前,检测头在后;该SAR图像多尺度舰船目标检测网络输入为原始SSDD数据集中的输入图像,舰船目标检测网络主干中以卷积下采样模块在前,CSPMRes2特征提取模块在后的顺序交替重复四次作为主体结构,其中第四次卷积下采样模块和CSPMRes2特征提取模块之间有一个SPP(Spatial PyramidPool)金字塔池化模块;SAR图像多尺度舰船目标检测网络主干总体经过了五次下采样,其中第一次下采样操作为Focus,其他的下采样均是通过卷积的形式进行的,SAR图像多尺度舰船目标检测网络主干的输出是最后三个不同层上的CSPMRes2特征提取模块的三个不同尺度特征图fs,fm和fl;SAR图像多尺度舰船目标检测网络的检测头就是特征融合模块FC-FPN,检测头输入是SAR图像多尺度舰船目标检测网络主干最后三个不同层上的CSPMRes2特征提取模块的三个不同尺度特征图fs,fm和fl,其输出为三个不同尺度的特征图fml,flm和fms;检测头的输出也是基于CSPMRes2和FC-FPN模块构建的舰船目标检测网络的输出;
(5)舰船目标检测网络训练:使用被检测舰船目标的训练集作为SAR图像多尺度舰船目标检测网络的输入,网络的输入大小为512×512,使用随机梯度下降SGD作为优化器,网络的初始学习率为0.01,动量为0.937,迭代次数为800个epoch,采用了左右翻转,马赛克数据增强手段;设置完网络所需超参数后,开始网络的训练,生成并得到SAR图像多尺度舰船目标检测网络训练模型;舰船目标检测网络的训练都是从头开始训练,未使用任何预训练模型参数;
(6)舰船目标检测网络测试:使用被检测舰船目标的测试集作为SAR图像多尺度舰船目标检测网络训练模型的输入,首先设置交并比IoU(Intersection over Union)阈值为0.001,置信度阈值为0.65,然后加载训练完成后的模型参数,将测试数据集统一图片尺寸512×512后送入SAR图像多尺度舰船目标检测网络进行测试,得到被检测舰船目标的检测结果,检测结果中的每只舰船具有类别,置信度,舰船中心横坐标,舰船中心纵坐标,舰船目标宽度和舰船目标高度六个属性,最后将检测结果与txt格式文本中存储的真实目标位置与类别进行COCO格式指标的评估。
2.根据权利要求1所述的一种SAR图像多尺度舰船目标检测方法,其特征在于,步骤(1)中所述的提取原始SSDD数据集包括有如下步骤:
(1a)解析原始SSDD数据集:解析原始SSDD数据集xml文件格式的标签文件,提取图片宽度img_width和高度img_height,舰船目标矩形标注框位置左下角(xmin,ymin)坐标信息和右上角(xmax,ymax)坐标信息以及舰船目标类别;
(1b)舰船目标类别编号:将原始图像的舰船目标类别从零开始进行顺序编号,得到舰船目标类别的编号;
(1c)舰船目标坐标变换:将原始图像中舰船目标矩形标注框的左下角坐标(xmin,ymin)和右上角坐标(xmax,ymax)坐标变换为舰船目标矩形标注框中心坐标(cx,cy)和舰船目标矩形标注框宽高(w,h);xmin,xmax,cx为舰船目标矩形标注框横坐标;ymin,ymax,cy为舰船目标矩形标注框纵坐标;w为舰船目标矩形标注框的宽度,h为舰船目标矩形标注框的高度;坐标变换计算公式具体如下:
Figure FDA0003472202650000031
Figure FDA0003472202650000032
Figure FDA0003472202650000033
Figure FDA0003472202650000034
(1d)txt格式文本生成:将舰船目标类别编号与坐标变换后的(cx,cy)和(w,h)拼接成(类编号,cx,cy,w,h)的形式,每张图片中每个目标占一行,以符合舰船目标检测网络所需的txt格式要求,然后存为txt格式文本。
3.根据权利要求1所述的一种SAR图像多尺度舰船目标检测方法,其特征在于,步骤(2)中所述构建CSPMRes2模块包括有如下步骤:
(2a)将输入特征图划分为两部分:将输入特征图x在通道维度上平均分为两部分x0'和x0”;其中第二部分x0”特征图未经过任何模块,第一部分x0'特征图则经过了引入坐标注意力机制模块的多尺度特征提取能力模块;
(2b)构建引入了坐标注意力机制模块的多尺度特征提取能力模块:将x0'经过四个1×1卷积得到x11,x12,x13和x14四个子特征图,每个子特征图通道数量为特征图x0'通道数量的四分之一;将第二个子特征图x12经过3×3卷积后得到第一个输出特征图y2;将第一个输出特征图y2与第三个子特征图x13进行对应元素求和,其结果经过一个坐标注意力机制模块,其结果为第二个输出特征图y3;将第二个输出特征图y3与第四个子特征图x14进行对应元素求和,其结果经过一个坐标注意力机制模块,其结果为第三个输出特征图y4;将第一个子特征图x11,第一个输出特征图y2,第二个输出特征图y3,第三个输出特征图y4在通道维度上进行拼接,拼接结果经过一个坐标注意力机制模块,其结果为第四个输出特征图y,然后将第一部分特征图x0'与第四个输出特征图y在通道维度上进行拼接,其结果作为新的第一部分特征图x0'
(2c)CSPMRes2特征提取模块输出:重复(2b)的步骤,重复次数为k(k=1或者k=3),最后一次的结果经过一个卷积核为1×1,步长为1×1的卷积块后输出特征图为xT,将特征图xT与第二部分特征图x0”在通道维度上进行拼接,然后经过一个卷积核为1×1,步长为1×1的卷积块后,得到最终CSPMRes2特征提取模块的输出特征图xU。当k=1时,构建的CSPMRes2特征提取模块记为CSPMRes2_1,当k=3时,构建的CSPMRes2特征提取模块记为CSPMRes2_3。
4.根据权利要求1所述的一种SAR图像多尺度舰船目标检测方法,其特征在于,步骤(3)中所述构建FC-FPN模块包括有如下步骤:
(3a)获取FC-FPN模块的多尺度输入特征图:获取基于特征提取模块CSPMRes2构建的舰船目标检测网络主干最后三个不同层上的特征提取模块CSPMRes2的三个不同尺度特征图fs,fm和fl作为特征融合模块FC-FPN的输入,三个不同尺度特征图空间分辨率fs<fm<fl
(3b)从上至下过程特征自适应融合:将特征图fs上采样得到fs',特征图fs'乘以第一个可学习系数α1,特征图fm乘以第二个可学习系数β1,然后将带可学习系数的特征图fs'和fm进行对应元素求和,其结果经过一个CSPMRes2_1特征提取模块,输出为fsm;将特征图fsm上采样得到f′sm,特征图f′sm乘以第三个可学习系数α2,特征图fl乘以第第四个可学习系数β2,然后将带可学习系数的特征图f′sm和fl进行对应元素求和,其结果经过一个CSPMRes2_1特征提取模块,输出为fml
(3c)从下至上过程特征自适应融合:将特征图fml下采样得到f′ml,特征图f′ml乘以第五个可学习系数α3,特征图fsm乘以第六个可学习系数β3,然后将带可学习系数的特征图f′ml和fsm进行对应元素求和,其结果经过一个CSPMRes2_1特征提取模块,输出为flm;将特征图flm下采样得到f′lm,特征图f′lm乘以第七个可学习系数α4,特征图fs乘以第八个可学习系数β4,然后将带可学习系数的特征图f′lm和fs进行对应元素求和,其结果经过一个CSPMRes2_1特征提取模块,输出为fms
(3d)FC-FPN特征融合模块输出:将特征图fml,flm和fms作为FC-FPN特征融合模块的输出以检测不同尺度大小目标。
5.根据权利要求1所述的一种SAR图像多尺度舰船目标检测方法,其特征在于,步骤(4)中所述构建基于CSPMRes2和FC-FPN模块的目标检测网络包括有如下步骤:
(4a)构建目标检测网络主干:构建的目标检测网络主干结构为:(a)Focus下采样块->(b)卷积下采样块->(c)CSPMRes2_1特征提取模块->(d)卷积下采样块->(e)CSPMRes2_3特征提取模块->(f)第三个卷积下采样块->(g)CSPMRes2_3特征提取模块->(h)卷积下采样块->(i)空间金字塔池化层SPP->(j)CSPMRes2_1特征提取模块,模块(a)到模块(j)是顺序连接;其中Focus下采样块将输入图像在空间维度每隔两行两列进行数据抽样,然后拼接在通道维度上;每个卷积块中包含一个卷积核大小为3×3,步长为2×2的卷积,一个BatchNorm和一个SiLU激活函数;SPP(Spatial Pyramid Pool)是空间金字塔池化层,空间金字塔池化层中使用了三个最大池化操作,三个最大池化操作的核大小分别为5×5、9×9和13×13,步长均为1×1,填充为分别为2×2、4×6和6×6;
(4b)构建目标检测网络检测头:构建的舰船目标检测网络的检测头就是特征融合模块FC-FPN,分别将舰船目标检测网络主干中的(e)、(g)和(j)模块分别输出的特征图fl,fm和fs作为舰船目标检测网络检测头的输入,经过舰船目标检测网络检测头,即经过特征融合模块FC-FPN后,得到的特征图fml,flm和fms
(4c)目标检测网络的输出:基于CSPMRes2和FC-FPN模块构建的舰船目标检测网络的输出也就是舰船目标检测网络检测头的输出,用于预测不同尺度目标的类别与位置。
CN202210045694.5A 2022-01-16 2022-01-16 一种sar图像多尺度舰船目标检测方法 Active CN114494829B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210045694.5A CN114494829B (zh) 2022-01-16 2022-01-16 一种sar图像多尺度舰船目标检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210045694.5A CN114494829B (zh) 2022-01-16 2022-01-16 一种sar图像多尺度舰船目标检测方法

Publications (2)

Publication Number Publication Date
CN114494829A true CN114494829A (zh) 2022-05-13
CN114494829B CN114494829B (zh) 2024-06-11

Family

ID=81511907

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210045694.5A Active CN114494829B (zh) 2022-01-16 2022-01-16 一种sar图像多尺度舰船目标检测方法

Country Status (1)

Country Link
CN (1) CN114494829B (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114926794A (zh) * 2022-06-20 2022-08-19 重庆邮电大学 一种高效的轻量化sar船舶目标检测方法
CN115393868A (zh) * 2022-08-18 2022-11-25 中化现代农业有限公司 文本检测方法、装置、电子设备和存储介质
CN115546555A (zh) * 2022-10-18 2022-12-30 安徽大学 一种基于混合表征学习增强的轻量化sar目标检测方法
CN115909064A (zh) * 2022-11-15 2023-04-04 大连海事大学 一种海雾环境下基于深度学习的海上舰船目标检测方法
CN116883861A (zh) * 2023-07-17 2023-10-13 中国人民解放军战略支援部队航天工程大学 面向微小卫星在轨应用的港口大中型舰船活动识别方法及系统
CN117237614A (zh) * 2023-11-10 2023-12-15 江西啄木蜂科技有限公司 基于深度学习的湖面漂浮物小目标检测方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110084210A (zh) * 2019-04-30 2019-08-02 电子科技大学 基于注意力金字塔网络的sar图像多尺度舰船检测方法
CN110414414A (zh) * 2019-07-25 2019-11-05 合肥工业大学 基于多层级特征深度融合的sar图像舰船目标鉴别方法
CN110796037A (zh) * 2019-10-15 2020-02-14 武汉大学 基于轻量级感受野金字塔的星载光学遥感图像舰船目标检测方法
CN111797717A (zh) * 2020-06-17 2020-10-20 电子科技大学 一种高速高精度的sar图像船只检测方法
CN112487900A (zh) * 2020-11-20 2021-03-12 中国人民解放军战略支援部队航天工程大学 一种基于特征融合的sar图像舰船目标检测方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110084210A (zh) * 2019-04-30 2019-08-02 电子科技大学 基于注意力金字塔网络的sar图像多尺度舰船检测方法
CN110414414A (zh) * 2019-07-25 2019-11-05 合肥工业大学 基于多层级特征深度融合的sar图像舰船目标鉴别方法
CN110796037A (zh) * 2019-10-15 2020-02-14 武汉大学 基于轻量级感受野金字塔的星载光学遥感图像舰船目标检测方法
CN111797717A (zh) * 2020-06-17 2020-10-20 电子科技大学 一种高速高精度的sar图像船只检测方法
CN112487900A (zh) * 2020-11-20 2021-03-12 中国人民解放军战略支援部队航天工程大学 一种基于特征融合的sar图像舰船目标检测方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
ZHOU KEXUE 等: "Ship Detection in SAR Images Based on Multi-Scale Feature Extraction and Adaptive Feature Fusion", REMOTE SENSING, vol. 14, no. 3, 6 February 2022 (2022-02-06), pages 755 *
张筱晗;姚力波;吕亚飞;简涛;赵志伟;藏洁;: "双向特征融合的数据自适应SAR图像舰船目标检测模型", 中国图象图形学报, no. 09, 16 September 2020 (2020-09-16), pages 9 - 18 *
江源;李建伟;张玉婷;: "基于特征重用和语义聚合的SAR图像舰船目标检测", 海军航空工程学院学报, no. 06, 30 December 2019 (2019-12-30), pages 229 - 238 *

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114926794A (zh) * 2022-06-20 2022-08-19 重庆邮电大学 一种高效的轻量化sar船舶目标检测方法
CN115393868A (zh) * 2022-08-18 2022-11-25 中化现代农业有限公司 文本检测方法、装置、电子设备和存储介质
CN115546555A (zh) * 2022-10-18 2022-12-30 安徽大学 一种基于混合表征学习增强的轻量化sar目标检测方法
CN115546555B (zh) * 2022-10-18 2024-05-03 安徽大学 一种基于混合表征学习增强的轻量化sar目标检测方法
CN115909064A (zh) * 2022-11-15 2023-04-04 大连海事大学 一种海雾环境下基于深度学习的海上舰船目标检测方法
CN116883861A (zh) * 2023-07-17 2023-10-13 中国人民解放军战略支援部队航天工程大学 面向微小卫星在轨应用的港口大中型舰船活动识别方法及系统
CN116883861B (zh) * 2023-07-17 2024-01-26 中国人民解放军战略支援部队航天工程大学 面向微小卫星在轨应用的港口大中型舰船活动识别方法及系统
CN117237614A (zh) * 2023-11-10 2023-12-15 江西啄木蜂科技有限公司 基于深度学习的湖面漂浮物小目标检测方法
CN117237614B (zh) * 2023-11-10 2024-02-06 江西啄木蜂科技有限公司 基于深度学习的湖面漂浮物小目标检测方法

Also Published As

Publication number Publication date
CN114494829B (zh) 2024-06-11

Similar Documents

Publication Publication Date Title
CN114494829A (zh) 一种sar图像多尺度舰船目标检测方法
CN110188705B (zh) 一种适用于车载系统的远距离交通标志检测识别方法
CN113780149B (zh) 一种基于注意力机制的遥感图像建筑物目标高效提取方法
CN112766087A (zh) 一种基于知识蒸馏的光学遥感图像舰船检测方法
CN113780211A (zh) 一种基于改进型Yolov4-tiny的轻量级飞机检测方法
CN110853057B (zh) 基于全局和多尺度全卷积网络的航拍图像分割方法
CN113177560A (zh) 一种普适性轻量级深度学习车辆检测方法
CN112862774B (zh) 一种遥感影像建筑物精确分割方法
CN109241858A (zh) 一种基于轨道交通列车的客流密度检测方法及装置
CN112818777B (zh) 一种基于密集连接与特征增强的遥感图像目标检测方法
Fan et al. A novel sonar target detection and classification algorithm
CN110276351A (zh) 多语言场景文本检测与识别方法
CN115131797A (zh) 一种基于特征增强金字塔网络的场景文本检测方法
CN111639697B (zh) 基于非重复采样与原型网络的高光谱图像分类方法
CN114565824B (zh) 基于全卷积网络的单阶段旋转舰船检测方法
CN113111740A (zh) 一种遥感图像目标检测的特征编织方法
CN115565034A (zh) 基于双流增强网络的红外小目标检测方法
CN115346068A (zh) 一种铁路货运列车螺栓丢失故障图像自动生成方法
CN115330703A (zh) 基于上下文信息融合的遥感影像云与云阴影检测方法
Qiao et al. LiteSCANet: An efficient lightweight network based on spectral and channel-wise attention for hyperspectral image classification
Yang et al. A real-time object detection method for underwater complex environments based on FasterNet-YOLOv7
Shang et al. RiceNet: a lightweight instance segmentation network for adhesive rice grains
Hu Study on the Lightweighting Strategy of Target Detection Model with Deep Learning
CN116612124B (zh) 一种基于双分支串行混合注意力的输电线路缺陷检测方法
CN117522687B (zh) 基于粒子动力学的高光谱图像超分辨重建方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant