CN116597313B - 一种基于改进YOLOv7的舰船光学图像尾迹检测方法 - Google Patents

一种基于改进YOLOv7的舰船光学图像尾迹检测方法 Download PDF

Info

Publication number
CN116597313B
CN116597313B CN202310597627.9A CN202310597627A CN116597313B CN 116597313 B CN116597313 B CN 116597313B CN 202310597627 A CN202310597627 A CN 202310597627A CN 116597313 B CN116597313 B CN 116597313B
Authority
CN
China
Prior art keywords
ship
wake
remote sensing
module
network
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202310597627.9A
Other languages
English (en)
Other versions
CN116597313A (zh
Inventor
曲钧天
曹翔宇
王学谦
梁斌
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen International Graduate School of Tsinghua University
Original Assignee
Shenzhen International Graduate School of Tsinghua University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen International Graduate School of Tsinghua University filed Critical Shenzhen International Graduate School of Tsinghua University
Priority to CN202310597627.9A priority Critical patent/CN116597313B/zh
Publication of CN116597313A publication Critical patent/CN116597313A/zh
Application granted granted Critical
Publication of CN116597313B publication Critical patent/CN116597313B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/30—Noise filtering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G06V20/54—Surveillance or monitoring of activities, e.g. for recognising suspicious objects of traffic, e.g. cars on the road, trains or boats

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Biomedical Technology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Medical Informatics (AREA)
  • Databases & Information Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于改进YOLOv7的舰船光学图像尾迹检测方法，包括以下步骤：S1、获取舰船尾迹光学遥感图像集；S2、对所述舰船尾迹光学遥感图像集进行预处理和标记，建立训练集和测试集；S3、对改进YOLOv7网络进行建模；S4、利用所述训练集训练所述改进YOLOv7网络直至收敛；S5、将待分析的舰船尾迹光学遥感图像输入至收敛后的改进YOLOv7网络，输出舰船尾迹的检测结果。

Description

一种基于改进YOLOv7的舰船光学图像尾迹检测方法
技术领域
本发明涉及一种基于改进YOLOv7的舰船光学图像尾迹检测方法，属于海洋工程和计算机视觉领域。
背景技术
作为航行中的舰船在遥感图像中最为明显的特征，舰船尾迹的空间尺度远大于舰船本身，且隐含着舰船航速等关键信息，因此对舰船尾迹的识别与分析具备重要的经济和军事意义。
目前，舰船尾迹检测技术主要包括两类——基于微波遥感的尾迹检测技术和基于光学遥感的尾迹检测技术。其中，基于微波遥感的尾迹检测技术的基本理论是：舰船尾迹与毛细重力波之间的相互作用导致海面粗糙度发生变化，从而改变了合成孔径雷达发出的雷达波在海面处的散射特性，进而影响了雷达回波强度。微波遥感虽然有分辨率较低的局限性，但尾迹具备高信噪比，再加之相关技术起步较早，因此现有的尾迹检测算法大部分针对微波遥感图像设计。例如，基于Radon变换的尾迹检测技术，可将微波遥感图像上的舰船尾迹线条转换为Radon变换域上的峰值点或谷值点，其本身及衍生算法以其易实现性和高可用性被广泛应用于微波遥感尾迹检测任务中。相比之下，由于光学遥感图像分辨率高，其中的尾迹纹理特征丰富、信噪比低，基于光学遥感的尾迹检测技术仍有待发展。现有的一些研究希望将Radon变换等经典算法移植到光学遥感图像处理中，但常由于海面杂波等因素的干扰出现误报，进而要求算法在预处理阶段有大量的人工干预，极大地限制了算法的泛化性和鲁棒性。总之，现有算法已经难以满足日益增长的光学图像尾迹检测需求，亟需开发一种性能更优、自动化程度更高的光学图像尾迹检测方法。
近年来，随着以YOLO系列算法为代表的基于深度学习的目标检测算法的理论更新与技术迭代，其解决复杂背景下特定问题的能力已获得大幅改善。再加之随着各类光学遥感图像公开数据集的涌现，采集到神经网络模型训练所需的大量舰船尾迹光学遥感图像也成为了可能。因此，使用改进的YOLOv7算法对光学图像中的舰船尾迹进行检测已具备充分的理论与现实基础。
发明内容
本发明的主要目的即在于提出一种基于改进YOLOv7的舰船光学图像尾迹检测方法，以解决现有的基于光学遥感图像的舰船尾迹检测方案泛化性和鲁棒性较低的问题。
为达上述目的，本发明提出以下技术方案：
一种基于改进YOLOv7的舰船光学图像尾迹检测方法，包括以下步骤：S1、获取舰船尾迹光学遥感图像集；S2、对所述舰船尾迹光学遥感图像集进行预处理和标记，建立训练集和测试集；S3、对改进YOLOv7网络进行建模；S4、利用所述训练集训练所述改进YOLOv7网络直至收敛；S5、将待分析的舰船尾迹光学遥感图像输入至收敛后的改进YOLOv7网络，输出舰船尾迹的检测结果。
进一步地，步骤S1包括：在谷歌地图上寻找并获取一系列不同海域、不同季节、不同舰型的RGB舰船尾迹遥感图像，以完成舰船尾迹光学遥感图像集的采集。
进一步地，步骤S2包括：对舰船尾迹光学遥感图像进行导向滤波，随后标记导向滤波后的尾迹信息。
进一步地，所述导向滤波用于对所述舰船尾迹光学遥感图像进行保边平滑去噪处理，以滤除水面杂波，其表达式为：
其中，
其中，Tk为导向滤波处理后的图像，Ik为所述舰船尾迹光学遥感图像，为所述舰船尾迹光学遥感图像经过均值滤波后得到的低频分量，∈为正则化变量，Var(·)表示求方差。
进一步地，所述尾迹信息包括尾迹的有向包围盒，所述有向包围盒表示为：
(xC，yC，H，W，α)
其中，xC和yC是有向包围盒中心点的横纵坐标，H和W是有向包围盒的长和宽；α是有向包围盒的长边相对于x轴正方向的角度，以逆时针旋转方向为正，取值范围为[0,π)。
进一步地，步骤S3中所述改进YOLOv7网络包括：Backbone模块，Head模块，以及连接于Backbone模块的输出与Head模块的输入之间的频域注意力模块；所述Backbone模块用于提取舰船尾迹光学遥感图像的多尺度特征，所述频域注意力模块用于选择性提取舰船尾迹光学遥感图像的频域特征，从而获得多层次特征图；所述Head模块用于将不同层次的特征图进行融合，并利用融合后的特征做出预测；其中，所述Head模块的损失函数采用PIoULoss损失函数。
进一步地，步骤S4还包括：训练后测试所述改进YOLOv7网络的性能，通过绘制所述改进YOLOv7网络在测试集上的精确度-召回率曲线来测试；其中，精确度和召回率分别表示为：
TP为测试集中被判别为正样本的正样本数量，FP为测试集中被误判为正样本的负样本数量，FN为测试集中被漏识别的正样本数量。
进一步地，所述测试集中的样本被判别为正样本的条件为：
其中，OBBidentified为测试集样本经所述改进YOLOv7网络识别出的尾迹的有向包围盒，OBBactual为测试集样本的所述有向包围盒的真实值，IoU为所述有向包围盒的检测结果与真实值的交并比，T为判别阈值；通过改变判别阈值T的大小，绘制所述精确度-召回率曲线。
进一步地，在步骤S5中，输出舰船尾迹的检测结果包括尾迹的有向包围盒和置信度分数。
本发明另还提出一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时能实现前述舰船光学图像尾迹检测方法的步骤。
本发明所提供的技术方案，与现有技术相比，至少具备以下优点：
1)泛化性能强：相较Radon变换等经典尾迹检测方法，本发明提供的检测方法对光学图像中低信噪比、交叠等复杂的尾迹信息具备更优的检测能力；
2)自动化程度高：得益于网络的端到端结构，网络训练过程中的各种细节不依赖于人工干预，大大节省了算法调优所需的人力和时间成本；
3)可扩展性强：所述改进YOLOv7网络内部包含多个层级结构。在未来的研究中，易以该网络为基础，通过增加或调整网络模块来继续提升检测性能，或解决更复杂、更特化的检测任务。
附图说明
图1是本发明实施例提出的基于改进YOLOv7的舰船光学图像尾迹检测方法的流程图；
图2是构成舰船尾迹光学遥感图像集的原始RGB舰船尾迹遥感图像示例；
图3是进行导向滤波预处理后的舰船尾迹光学遥感图像示例；
图4是对尾迹的有向包围盒进行标记的方法示例；
图5是本发明实施例改进YOLOv7网络的结构示意图；
图6是改进YOLOv7网络中高效远程注意力模块ELAN的网络结构示意图；
图7是改进YOLOv7网络中ELAN-H模块的网络结构示意图；
图8是改进YOLOv7网络中SPPCSPC模块的网络结构示意图；
图9是改进YOLOv7网络中频域注意力模块FCAM的网络结构示意图。
具体实施方式
为使本发明的技术方案更加清晰，下面将结合说明书附图以及具体的实施方式，对本发明进行详细说明。
请参考图1，本发明实施例提出一种基于改进YOLOv7的舰船光学图像尾迹检测方法，包括以下步骤S1～S5：
步骤S1、获取舰船尾迹光学遥感图像集。具体地，可在谷歌地图上寻找并获取一系列不同海域、不同季节、不同舰型的RGB舰船尾迹遥感图像，以完成舰船尾迹光学遥感图像集的采集。采集舰船尾迹光学遥感图像集，目的是使改进YOLOv7网络能从不同的海洋背景中提取一般特征，避免模型训练时出现过拟合问题。本发明提供的带有舰船尾迹特征的光学遥感图像示例如图2所示。
步骤S2、对所述舰船尾迹光学遥感图像集进行预处理和标记，建立训练集和测试集。所述预处理包括：对舰船尾迹光学遥感图像(即原始图像)进行导向滤波，随后标记导向滤波后的尾迹信息。
所述导向滤波用于对所述舰船尾迹光学遥感图像进行保边平滑去噪处理，以滤除水面杂波，其表达式为：
其中，
其中，Tk为导向滤波处理后的图像，Ik为所述舰船尾迹光学遥感图像，为所述舰船尾迹光学遥感图像经过均值滤波后得到的低频分量，∈为正则化变量，Var(·)表示求方差，Var(Ik)即表示舰船尾迹光学遥感图像Ik的方。进行导向滤波预处理后的舰船尾迹光学遥感图像如图3所示。滤波后，图像中的海面杂波作为低频分量被滤去，而尾迹作为高频分量被保留。
所述尾迹信息包括尾迹的有向包围盒，所述有向包围盒表示为：
(xc，yC，H，W，α)
其中，xC和yC是有向包围盒中心点的横纵坐标，H和W是有向包围盒的长和宽；α是有向包围盒的长边相对于x轴正方向的角度，以逆时针旋转方向为正，取值范围为[0,π)。本发明实施例的有向包围盒相比于传统标注框(例如没有方向的矩形框)而言，优点体现在：对于本发明的尾迹图像而言，采用传统包围框面积会太大，包含进去过多无效图像内容，而本发明实施例采用有向包围框，可以以最小的矩形面积包围尾迹，提升检测效果。损失函数的改进也是基于该有向包围盒。对预处理后的图像中尾迹的有向包围盒进行标记的方法如图4所示。完成标记后，首先将尾迹的有向包围盒数据按Pascal VOC格式保存到XML文件中，然后将标记后的舰船尾迹光学遥感图像集按4:1的比例(该比例只是示例性的，可以按其它比例来划分，本发明对此不进行限制)随机划分训练集与测试集。
步骤S3、对改进YOLOv7网络进行建模。本发明实施例所述的改进YOLOv7网络是在原YOLOv7网络的基础上对其Backbone模块和Head模块进行改进而得到。
步骤S4、利用所述训练集训练所述改进YOLOv7网络直至收敛，并测试网络的性能。
S5、将待分析的舰船尾迹光学遥感图像输入至收敛后的改进YOLOv7网络，输出舰船尾迹的检测结果。检测结果包括尾迹的有向包围盒以及置信度分数。上述检测结果还需在原始图像上可视化标注出来，以供直观分析。
参考图5，本发明实施例的改进YOLOv7网络，对Backbone模块的改进是在原Backbone模块的基础上添加频域注意力模块FCAM，Head模块的改进是将原Head模块的损失函数改为PIoU Loss损失函数。也就是说，本发明实施例中改进YOLOv7网络包括Backbone模块，Head模块以及连接于Backbone模块的输出与Head模块的输入之间的频域注意力模块。本发明实施例的Backbone模块用于提取舰船尾迹光学遥感图像的多尺度特征，本发明实施例的频域注意力模块用于选择性提取舰船尾迹光学遥感图像的频域特征，从而获得多层次特征图；本发明实施例的Head模块用于将不同层次的特征图进行融合，并利用融合后的特征做出预测。
继续参考图5，在图5中：
CBS模块是由一个二维卷积层(Conv)、一个批量归一化层(BN)和一个SiLU激活函数层依次连接而成。本发明实施例的YOLOv7网络中包括三种CBS模块，即CBS1,1、CBS3,2和CBS3,1，其中，CBS1,1模块采用1*1的卷积，且步长(stride)为1，主要作用是调整特征维度；CBS3,2模块采用3*3的卷积，且步长为2，主要作用是进行下采样；CBS3,1模块采用3*3的卷积，且步长为1，主要作用是进行特征提取。Cat代表对模块输出结果进行拼接操作。
UP模块的作用是采用最近邻插值方法对图像进行上采样，它由一个CBS1,1模块和一个上采样模块连接而成。
MP模块的作用是对图像进行池化(下采样)，它包括两个分支：第一个分支先经过一个最大值池化(Maxpool)模块，再经过一个1*1卷积模块以调整输出特征维度；第二个分支则是先经过一个1*1卷积模块调整特征维度，然后再经过一个步长为2的3*3卷积模块以实现下采样。最后，将第一个分支与第二个分支的结果相拼接，就得到了MP模块的最终输出。本发明实施例的YOLOv7网络中包括两种MP模块，即MP1和MP2，它们的区别仅在于MP1模块的输出的特征维度与输入的特征维度相同，而MP2模块的输出的特征维度是输入的特征维度的2倍。
ELAN模块是高效远程注意力模块，其作用是对图像进行多尺度特征提取。如图6所示，ELAN模块主要包括两个分支，第一个分支是依次经过了一个1*1卷积模块和四个步长为1的3*3卷积模块，以提取图像的多尺度特征，第二个分支只经过了一个1*1卷积以调整输出特征维度。最后，将来自两个分支的四个不同尺度的图像特征拼接起来，在经过一个1*1卷积模块，即得到了Backbone模块的特征提取结果。
如图7，ELAN-H模块的结构和功能与ELAN模块类似，但输出包括六个不同尺度的图像特征。
SPPCSPC模块是带有空间池化金字塔(SPP)的跨阶段局部网络(CSPNet)模块。SPPCSPC模块的主要功能是增大感受野，实现多尺度特征信息的融合。如图8所示，SPPCSPC模块同样包括两个分支，第一个分支包括一个空间池化金字塔(SPP)结构，即先并行进行1*1、5*5、9*9、13*13个不同尺度的最大值池化(Maxpool)，再将结果相拼接，以扩大感受野；第二个分支只经过了一个1*1卷积以调整输出特征维度。最后将第一个分支与第二个分支的结果相拼接，就得到了SPPCSPC模块的最终输出。
REPCONV模块是重参数卷积模块，它由一个重参数化(REP)模块和一个卷积模块连接而成，作用是对网络进行重参数化以降低模型计算复杂度、提升模型性能。
FCAM模块是频域注意力模块，是针对舰船尾迹识别问题做出的优化，用于选择性提取图像的频域特征。
应当理解的是，上述YOLOv7网络的各个现有模块内部结构仅是示例性的，并不代表本发明仅能以上述文字所描述的结构或者图中所示例的网络结构来实现，本领域技术人员对网络结构做出等同变型并用于实现本发明的检测方法，也应归于本发明的保护范围。
本发明实施例的改进YOLOv7网络的Backbone模块的输入为经步骤S2预处理后的图像，其包含R、G、B三个色彩通道，在一种示例性的实施例中，Backbone模块的输入尺寸为640*640，输出为三个特征图，这三个特征图的大小分别为80*80*512、40*40*1024和20*20*1024。将频域注意力模块FCAM添加到Backbone模块的输出处，其作用是选择性提取频谱特征。参考图9，假设频域注意力模块FCAM输入的特征图为P，其尺寸为H*W*C，则频域注意力模块首先通过其Split模块将特征图P按通道维度划分为N组，并分别记为Pn，其中n＝1,2,3,…N，则Pn的通道数为(C/N)。随后通过2D DCT模块计算每组特征图在不同频率下的二维离散余弦变换，公式为：
其中，DCT(Pn)为划分后的特征图，Pn为进行二维离散余弦变换后的结果，是Pn在(i,j)点的元素，/>是二维离散余弦变换的基底，其计算式为：
随后，将所有Pn的二维离散余弦变换结果相连接，并经过Sigmoid_FC(Sigmoid激活函数和全连接层fc)，获得多频谱通道注意力图，表示为：
att＝sigmoid(fc(cat([DCT(P1)，DCT(P2)，...，DCT(PN)]；
最后，在Weighting模块使用注意力图att对原始特征图P的每个通道进行加权，即为Backbone模块输出经频域注意力模块后最终输出的特征图 与P的特征图尺寸相同。
进一步地，本发明实施例的Head模块的输入为频域注意力模块输出的特征图在图5所示实施例中，频域注意力模块有三个，分别输出三个特征图；相应地，本发明实施例的Head模块输出为三组预测结果，这三组预测结果的尺寸分别为20*20*18、40*40*18和80*80*18。其中，上述预测结果的深度为18是因为每个预测区域部署3个锚框，同时每个锚框具有6个参数，即尾迹的有向包围盒(xC，yC，H，W，α)和识别置信度conf。本发明实施例在原始YOLOv7网络的Head模块的基础上，将损失函数优化为PIoU Loss，以改善倾斜舰船目标检测能力。对于两个有向包围盒b和b’来说，用下式计算其PIoU Loss：
其中,M为b和b’的匹配集合，PIoU(b,b')为b和b’的交并比，用下式计算：
在上式中有：
其中Bb,b'代表能完整包含b和b’的最小水平框，δ(pi,j|b)和δ(pi,j|b')为指示函数，分别用于衡量点pi,j是否在b和b’的内部，计算方法为：
上式中的为点pi,j到经过b的中心点且与h方向平行的直线的距离，/>为点pi,j到经过b的中心点且与w方向平行的直线的距离。/>和/>的平方和即为pi,j到b的中心点的距离的平方。至此，对于PIoU Loss的全部推导完毕。
进一步地，测试改进YOLOv7网络的性能，包括绘制网络模型在测试集上的精确度-召回率曲线。其中，精确度和召回率可分别表示为：
其中TP为测试集中被判别为正样本的正样本数量，FP为测试集中被误判为正样本的负样本数量，FN为测试集中被漏识别的正样本数量。
进一步地，所述测试集中的样本被判别为正样本的条件为：
其中，OBBidentified为测试集样本经所述改进YOLOv7网络识别出的尾迹的有向包围盒，OBBactual为测试集样本的所述有向包围盒的真实值，IoU为所述有向包围盒的检测结果与真实值的交并比，T为判别阈值；通过改变判别阈值T的大小，绘制所述精确度-召回率曲线。
在一些实施例中，IoU的取值范围为[0,1]，反映检测结果与真实值的吻合程度，IoU越大，则表明检测结果与真实值间的吻合程度越大。通常情况下，取T＝0.5即可。通过改变阈值T的大小，可绘制网络模型在测试集上的精确度-召回率曲线。
本发明的另一实施例还提出一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时能实现前述实施例所述的舰船光学图像尾迹检测方法的步骤。基于这样的理解，本发明的前述检测方法可以以软件产品的形式体现出来，该软件产品可以存储在一个非易失性存储介质(可以是CD-ROM，U盘，移动硬盘等)中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施场景的检测方法。
以上内容是结合具体的优选实施方式对本发明所作的进一步详细说明，不能认定本发明的具体实施只局限于这些说明。对于本发明所属技术领域的技术人员来说，在不脱离本发明构思的前提下，还可以做出若干等同替代或明显变型，而且性能或用途相同，都应当视为属于本发明的保护范围。

Claims (10)

1.一种基于改进YOLOv7的舰船光学图像尾迹检测方法，其特征在于，包括以下步骤：
S1、获取舰船尾迹光学遥感图像集；
S2、对所述舰船尾迹光学遥感图像集进行预处理和标记，建立训练集和测试集；
S3、对改进YOLOv7网络进行建模；所述改进YOLOv7网络包括：Backbone模块，Head模块，以及，连接于Backbone模块的输出与Head模块的输入之间的频域注意力模块；所述Backbone模块用于提取舰船尾迹光学遥感图像的多尺度特征；所述频域注意力模块是频域通道注意力模块FCAM，用于选择性提取舰船尾迹光学遥感图像的频域特征，从而获得多层次特征图；所述Head模块用于将不同层次的特征图进行融合，并利用融合后的特征做出预测；
S4、利用所述训练集训练所述改进YOLOv7网络直至收敛；
S5、将待分析的舰船尾迹光学遥感图像输入至收敛后的改进YOLOv7网络，输出舰船尾迹的检测结果。
2.如权利要求1所述的舰船光学图像尾迹检测方法，其特征在于，步骤S1包括：在谷歌地图上寻找并获取一系列不同海域、不同季节、不同舰型的RGB舰船尾迹遥感图像，以完成舰船尾迹光学遥感图像集的采集。
3.如权利要求1所述的舰船光学图像尾迹检测方法，其特征在于，步骤S2包括：对舰船尾迹光学遥感图像进行导向滤波，随后标记导向滤波后的尾迹信息。
4.如权利要求3所述的舰船光学图像尾迹检测方法，其特征在于，所述导向滤波用于对所述舰船尾迹光学遥感图像进行保边平滑去噪处理，以滤除水面杂波，其表达式为：
其中，
其中，Tk为导向滤波处理后的图像，Ik为所述舰船尾迹光学遥感图像，为所述舰船尾迹光学遥感图像经过均值滤波后得到的低频分量，∈为正则化变量，Var(·)表示求方差。
5.如权利要求3所述的舰船光学图像尾迹检测方法，其特征在于，所述尾迹信息包括尾迹的有向包围盒，所述有向包围盒表示为：
(xC，yC，H，W，α)
其中，xC和yC是有向包围盒中心点的横纵坐标，H和W是有向包围盒的长和宽；α是有向包围盒的长边相对于x轴正方向的角度，以逆时针旋转方向为正，取值范围为[0,π)。
6.如权利要求1所述的舰船光学图像尾迹检测方法，其特征在于，所述Head模块的损失函数采用PIoU Loss损失函数。
7.如权利要求1所述的舰船光学图像尾迹检测方法，其特征在于，步骤S4还包括：训练后测试所述改进YOLOv7网络的性能，通过绘制所述改进YOLOv7网络在测试集上的精确度-召回率曲线来测试；其中，精确度和召回率分别表示为：
TP为测试集中被判别为正样本的正样本数量，FP为测试集中被误判为正样本的负样本数量，FN为测试集中被漏识别的正样本数量。
8.如权利要求7所述的舰船光学图像尾迹检测方法，其特征在于，所述测试集中的样本被判别为正样本的条件为：
其中，OBBidentified为测试集样本经所述改进YOLOv7网络识别出的尾迹的有向包围盒，OBBactual为测试集样本的所述有向包围盒的真实值，IoU为所述有向包围盒的检测结果与真实值的交并比，T为判别阈值；通过改变判别阈值T的大小，绘制所述精确度-召回率曲线。
9.如权利要求7所述的舰船光学图像尾迹检测方法，其特征在于，在步骤S5中，输出舰船尾迹的检测结果包括尾迹的有向包围盒和置信度分数。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该计算机程序被处理器执行时能实现权利要求1-9任一项所述的舰船光学图像尾迹检测方法的步骤。
CN202310597627.9A 2023-05-25 2023-05-25 一种基于改进YOLOv7的舰船光学图像尾迹检测方法 Active CN116597313B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310597627.9A CN116597313B (zh) 2023-05-25 2023-05-25 一种基于改进YOLOv7的舰船光学图像尾迹检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310597627.9A CN116597313B (zh) 2023-05-25 2023-05-25 一种基于改进YOLOv7的舰船光学图像尾迹检测方法

Publications (2)

Publication Number Publication Date
CN116597313A CN116597313A (zh) 2023-08-15
CN116597313B true CN116597313B (zh) 2024-05-14

Family

ID=87607822

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310597627.9A Active CN116597313B (zh) 2023-05-25 2023-05-25 一种基于改进YOLOv7的舰船光学图像尾迹检测方法

Country Status (1)

Country Link
CN (1) CN116597313B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117788436A (zh) * 2023-12-27 2024-03-29 国网四川省电力公司电力科学研究院 基于云边协同的线路金具锈蚀缺陷检测方法、系统及介质

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113743322A (zh) * 2021-09-07 2021-12-03 上海海事大学 基于改进YOLOv3算法的海上船舶检测方法
WO2022152009A1 (zh) * 2021-01-12 2022-07-21 腾讯科技（深圳）有限公司 目标检测方法、装置、设备以及存储介质
CN115114949A (zh) * 2021-03-18 2022-09-27 中国科学院声学研究所 一种基于水声信号的舰船目标智能识别方法及系统
CN115546650A (zh) * 2022-10-29 2022-12-30 西安电子科技大学 基于yolo-v网络的检测遥感影像中舰船方法
CN115578602A (zh) * 2022-11-09 2023-01-06 北京信息科技大学 一种基于改进YOLOv7的自然树种识别方法
CN116109942A (zh) * 2023-02-16 2023-05-12 大连海事大学 一种可见光遥感图像舰船目标检测方法
CN116152171A (zh) * 2022-12-15 2023-05-23 重庆市西部水资源开发有限公司 智能建造目标计数方法、电子设备及存储介质

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022152009A1 (zh) * 2021-01-12 2022-07-21 腾讯科技（深圳）有限公司 目标检测方法、装置、设备以及存储介质
CN115114949A (zh) * 2021-03-18 2022-09-27 中国科学院声学研究所 一种基于水声信号的舰船目标智能识别方法及系统
CN113743322A (zh) * 2021-09-07 2021-12-03 上海海事大学 基于改进YOLOv3算法的海上船舶检测方法
CN115546650A (zh) * 2022-10-29 2022-12-30 西安电子科技大学 基于yolo-v网络的检测遥感影像中舰船方法
CN115578602A (zh) * 2022-11-09 2023-01-06 北京信息科技大学 一种基于改进YOLOv7的自然树种识别方法
CN116152171A (zh) * 2022-12-15 2023-05-23 重庆市西部水资源开发有限公司 智能建造目标计数方法、电子设备及存储介质
CN116109942A (zh) * 2023-02-16 2023-05-12 大连海事大学 一种可见光遥感图像舰船目标检测方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
Frequency-Adaptive Learning for SAR Ship Detection in Clutter Scenes;Linping Zhang等;IEEE Transactions on Geoscience and Remote Sensing;20230228;第61卷;1-14 *
Linping Zhang等.Frequency-Adaptive Learning for SAR Ship Detection in Clutter Scenes.IEEE Transactions on Geoscience and Remote Sensing .2023,第61卷1-14. *
基于改进CGHT的光学遥感图像舰船尾迹检测;赵春晖;栾世杰;沈阳大学学报(自然科学版);20141231(第005期);全文 *

Also Published As

Publication number Publication date
CN116597313A (zh) 2023-08-15

Similar Documents

Publication Publication Date Title
US11402494B2 (en) Method and apparatus for end-to-end SAR image recognition, and storage medium
Cao et al. Ship recognition method combined with image segmentation and deep learning feature extraction in video surveillance
Ji et al. Seabed sediment classification using multibeam backscatter data based on the selecting optimal random forest model
CN114565860B (zh) 一种多维度增强学习合成孔径雷达图像目标检测方法
CN111310582A (zh) 基于边界感知和对抗学习的湍流退化图像语义分割方法
Jin et al. A salient region detection and pattern matching-based algorithm for center detection of a partially covered tropical cyclone in a SAR image
CN116597313B (zh) 一种基于改进YOLOv7的舰船光学图像尾迹检测方法
CN111368658B (zh) 一种自主航行中智能船舶外部目标的自动检测方法及系统
Tang et al. Sonar image mosaic based on a new feature matching method
CN111414954A (zh) 一种岩石图像检索方法及其系统
Zhang et al. A object detection and tracking method for security in intelligence of unmanned surface vehicles
CN113536963A (zh) 基于轻量化yolo网络的sar图像飞机目标检测方法
CN114821358A (zh) 光学遥感图像海上舰船目标提取与识别方法
CN115115601A (zh) 一种基于形变注意金字塔的遥感舰船目标检测方法
Wang et al. Fused adaptive receptive field mechanism and dynamic multiscale dilated convolution for side-scan sonar image segmentation
Picard et al. Seafloor description in sonar images using the monogenic signal and the intrinsic dimensionality
CN117351371A (zh) 一种基于深度学习的遥感图像目标检测方法
CN112862748A (zh) 一种多维域特征联合sar船舰智能检测方法
CN113191996A (zh) 一种遥感影像变化检测方法、装置及其电子设备
CN112150474A (zh) 一种水下气泡图像特征分割提取方法
Sun et al. Bankline detection of GF-3 SAR images based on shearlet
Xiao et al. Feature-level image fusion
Yu et al. A lightweight ship detection method in optical remote sensing image under cloud interference
Lei et al. Multi-feature fusion sonar image target detection evaluation based on particle swarm optimization algorithm
Sahu et al. Digital image texture classification and detection using radon transform

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant