CN113780152B - 一种基于目标感知的遥感图像船只小目标检测方法 - Google Patents

一种基于目标感知的遥感图像船只小目标检测方法 Download PDF

Info

Publication number
CN113780152B
CN113780152B CN202111043241.0A CN202111043241A CN113780152B CN 113780152 B CN113780152 B CN 113780152B CN 202111043241 A CN202111043241 A CN 202111043241A CN 113780152 B CN113780152 B CN 113780152B
Authority
CN
China
Prior art keywords
target
network
ship
branch
remote sensing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202111043241.0A
Other languages
English (en)
Other versions
CN113780152A (zh
Inventor
史振威
田路云
陈剑奇
陈科研
刘子力
贺广均
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beihang University
Beijing Institute of Satellite Information Engineering
Original Assignee
Beihang University
Beijing Institute of Satellite Information Engineering
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beihang University, Beijing Institute of Satellite Information Engineering filed Critical Beihang University
Priority to CN202111043241.0A priority Critical patent/CN113780152B/zh
Publication of CN113780152A publication Critical patent/CN113780152A/zh
Application granted granted Critical
Publication of CN113780152B publication Critical patent/CN113780152B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Molecular Biology (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明公开一种基于目标感知的遥感图像船只小目标检测方法，基于多任务学习、YOLOv5、特征金字塔、多头注意力、超分辨重建等方法，具体步骤如下：一、读入图像数据并进行预处理；二、构造基于目标感知的多任务深度神经网络；三、训练卷积神经网络，得到静态模型参数；四、利用去除目标感知分支后的训练好的模型进行遥感图像目标检测。本发明通过设计一种新型的基于目标感知的多任务深度学习网络，能够对低分辨率宽幅遥感图像下的船只小目标有更加优秀的检测性能，并保证实时的检测速度。输入为遥感图像，输出为船只小目标的位置信息，自动化程度高，能够大幅度提高效率、准确度并降低成本。

Description

一种基于目标感知的遥感图像船只小目标检测方法
技术领域
本发明一种基于目标感知的遥感图像船只小目标检测方法，尤其涉及深度学习中的多任务学习以及YOLOv5网络的一种低分辨率宽幅可见光遥感图像船只小目标深度学习检测方法，属于低分辨率遥感图像目标检测技术领域。
背景技术
在众多卫星遥感监测目标中，船只目标一直是十分重要的观测对象。作为海上主要的运输载体，船只目标无论在国防安全、军事侦察等军用领域，还是在环境保护、资源勘测等民用领域都有着十分重要的地位，也因此，船只检测一直来都是遥感领域中的研究热点。
遥感图像的船只目标检测是指利用卫星遥感平台获取扫描区域的遥感图像数据，之后结合相应的目标检测算法对其进行处理，最终获取到海面船只的精确定位和相关的船只目标信息。在过往几十年里，遥感船只目标检测主要集中于红外图像和合成孔径雷达SAR(SyntheticAperture Radar)成像，对可见光成像的研究则相对滞后。而随着软硬件的迅速发展以及大量资源的投入，可见光成像质量和分辨率逐年提升，相比于红外和SAR图像，可见光图像更贴合人眼观测物体的方式，其所具备的直观易理解、内容丰富易解译的优点，吸引着大批研究人员投入到遥感可见光图像任务的研究当中。而与此同时，我国开展高分辨率对地观测系统重大专项，搭载有可见光相机的高分系列卫星依次升空，为可见光任务提供了海量高质量的图像数据，进一步推动了遥感可见光图像任务的研究。正是在这种环境下，基于可见光图像的船只目标检测有着更大的发展潜能，在整个遥感领域有着愈加重要的地位。
随着大数据时代的开启以及计算机并行计算硬件的不断迭代更新，基于深度学习的船只目标检测方法成为大势所趋，其检测精度、稳定性相比于传统检测方法有着巨大的提升，在船只目标检测领域占据着主流地位。目前，深度学习船只检测方法多是以自然图像中的目标检测网络为基础，并结合船只目标的特性进行适应性改造提出的。深度学习目标检测网络主要可以分为two-stage二阶段算法以及one-stage一阶段算法。其中，二阶段算法主要以RCNN(Regions with CNN features)系列为主，而一阶段算法主要以YOLO(Youonly look once)系列为主。目前的船只检测方法，在上述目标检测网络的基础上，通过融合船只目标的形状特征、提取船头船尾特征、船只尾迹特征以及加入船只角度信息，将自然图像中的目标检测方法成功应用于遥感船只检测中，并衍生出无向船只检测与有向船只检测两大类，推动着可见光船只目标检测领域向更高精度、更高稳定性的方向发展。
然而，尽管针对可见光船只目标已经提出了众多性能优异的深度学习检测方法，其中大多数方法主要是面向亚米级高分辨率的遥感图像，而对诸如16m等较低分辨率的遥感图像缺少相应的研究。亚米级遥感图像中船只目标通常所占像素面积较大，纹理清楚、目标所含信息多、易与背景区分；而在16m分辨率图像中，船只目标纹理形状等信息大幅度减少，多数情况下所占像素面积只有不到20×20，目标所含信息少、更容易受到背景干扰，但尽管如此，16m分辨成像有着几百千米的幅宽，相比于亚米级成像几十千米的幅宽，16m分辨率成像所具备的大视野特性，在军事领域、民用领域有着更加重要的战略意义。因此，对16m分辨率可见光成像船只小目标检测方法的探索研究，其所蕴含的科学价值是十分巨大的，同时，也能为其他低分宽幅成像任务提供必要的参考与指导。
发明内容
本发明的目的在于提供一种基于目标感知的遥感图像船只小目标检测方法，该方法是基于深度学习中的多任务学习以及YOLOv5网络的一种低分辨率宽幅可见光遥感图像船只小目标深度学习检测方法，该方法在YOLOv5特征提取部分后引入了两个学习分支，构造了一个新型的多任务学习网络，从而实现对低分辨率宽幅可见光遥感图像下的船只小目标的检测，在保证检测实时性的同时，有着优秀的检测精度，弥补了目前深度学习船只检测方法在低分辨率图像上研究的不足。
本发明是通过以下技术方案实现的：
本发明是一种基于目标感知的遥感图像船只小目标检测方法。该检测方法主要通过卷积神经网络实现，可以分为特征提取部分、目标检测分支和目标感知分支。该方法的具体步骤如下：
步骤一：计算机读取数据。首先使用计算机读取遥感图像数据；读入数据后，将图片进行数据增广。
步骤二：构造基于目标感知的多任务深度神经网络。
本发明利用YOLOv5的特征提取部分对图片进行初步的特征提取，在特征提取部分之后，本发明设计了目标检测分支和目标感知分支，其中，目标检测分支本发明设计了一个融合有多头注意力的特征金字塔结构，该结构能够更有效地挖掘利用提取到的特征信息；而在目标感知分支部分，本发明设计了一个输入图像选择性降质方式，通过对降质后的图像进行拟合重建，能够引导特征提取部分提取更加有价值的特征。
其中，所述的融合有多头注意力的特征金字塔结构，具体是指结合特征金字塔以及多头注意力的优点，使得网络在融合浅层与深层特征的同时，能够有全局感受野，提高船只小目标检测的准确率。
其中，所述的图像选择性降质方式，是对输入图像进行处理，使得目标区域清晰，非目标区域模糊，并使图像分辨率降低。
其中，所述的拟合重建，是通过对现有的深度学习超分辨率重建网络进行改造，在减少网络模型大小后，使之适用于本方法，通过拟合重建降质后的图像，能够引导特征提取部分提取更加有价值的特征。
其中，所述的目标检测分支和目标感知分支是相辅相成的，能够共同提高最终的检测精度，此外，目标感知分支只在网络训练过程中起作用，而在实际检测过程移出，从而减少不必要的计算成本；
步骤三：训练卷积神经网络。如步骤二构造好网络后，在Pytorch深度学习框架下，利用带标签的训练数据对网络进行训练，直至网络达到最优，并记录此时的网络参数。
步骤四：遥感图像目标检测。利用步骤三训练好的网络模型，在移出其中的目标感知分支参数后，对检测数据进行船只小目标检测，输出船只位置信息。
本发明的优点是：本发明通过设计一种新型的基于目标感知的多任务深度学习网络，能够对低分辨率宽幅遥感图像下的船只小目标有更加优秀的检测性能，并保证实时的检测速度。输入为遥感图像，输出为船只小目标的位置信息，自动化程度高，能够大幅度提高效率、准确度并降低成本。
附图说明
图1是本发明设计的船只小目标检测网络结构图。
图2是YOLOv5网络原型。
图3是跨阶段多头注意力结构设计。
图4是选择性降质流程。
图5是RCAB结构。
图6是本发明方法整体检测流程。
表1实验所采用的数据集参数表。
表2跨阶段多头注意力结构的参数。
表3与其他检测方法的对比结果。
具体实施方式
为了更好地理解本发明的技术方案，以下结合附图对本发明的实施方式作进一步描述：
本发明在Pytorch框架下，使用Python语言编程实现。首先完成网络的搭建，并配置相关的参数；再利用训练数据进行网络的训练，获得调优的网络参数；然后利用训练好的网络模型对低分辨率可见光遥感图像进行船只小目标检测。
本发明特征提取部分所利用的YOLOv5网络结构原型如图2所示，共分为Encoder、Neck和Head三部分，其中Encoder即对输入图像进行特征提取，之后将提取到的特征输入到Neck部分来对特征进行进一步的融合与利用，最后Head部分利用融合后的特征输出检测结果。其中Encoder部分即为本发明所利用的特征提取部分。计算机配置采用Intel XeonGold 6240CPU处理器，主频2.60GHz，内存384GB，显卡是NVIDIA Tesla V100，显存为32GB。如图6所示，本发明的遥感图像目标方法包括如下步骤：
步骤一：计算机读取数据。首先使用计算机读取遥感图像数据。本发明使用的数据来自于高分一号和高分六号卫星的宽幅相机成像数据，空间分辨率为16m，本发明标注了共3876张512×512的图像，并划分了如下表1所示的训练集、测试集与验证集。
表1
读入数据后，在训练阶段需要将图片进行数据增广。
步骤二：构造基于目标感知的多任务深度神经网络。
如图1所示为本发明提出的基于目标感知的多任务深度神经网络。整个网络主要由三部分组成：骨干网络(即特征提取网络)、目标检测分支、目标感知分支。其中骨干网络即为本发明所利用的YOLOv5特征提取部分；目标检测分支紧接着骨干网络，以骨干网络中不同层提取到的特征作为输入，输出船只目标检测框的位置以及船只目标的置信度得分。在该分支中，本发明设计了一个基于多头注意力的特征金字塔模块，相比于YOLOv5中的Neck特征融合部分，该模块能更大程度扩大网络感受野，更有效地利用现有的特征信息，在该模块的作用下，网络对遥感图像船只小目标的检测精度以及检测性能获得较大提升；网络的目标感知分支与目标检测分支相并列，该分支中本发明设计了一个目标感知模块，该模块首先对原始输入图像进行降质操作，使其保留船只目标区域并模糊其他区域，构造出一幅降质图像作为该分支的标签，之后该模块以骨干网络提取到的特征作为输入，通过超分辨重建网络重建拟合相应的降质图像，目标感知分支本质上可以看作目标检测分支的辅助，通过利用目标感知模块，可以促使网络的骨干部分保留更多的船只目标信息，同时降低环境的干扰。
目标检测分支中本发明设计了一个基于多头注意力的特征金字塔模块，该模块实际上是通过在特征金字塔中引入本发明设计的跨阶段多头注意力结构(将在下面详细说明)从而实现特征金字塔与多头注意力的结合，使网络能利用特征金字塔融合更丰富的语义信息，同时利用多头注意力获得全局感受野，更适用于船只小目标人的检测。该模块可以看作是对图2中YOLOv5的特征融合部分(Neck虚线框部分)的改进。本发明设计的基于多头注意力的特征金字塔模块宏观结构可以理解为是在不同层特征融合前与融合后引入本发明设计的跨阶段多头注意力结构，从而提升网络的整体性能。相比于YOLOv5中的Neck结构，本发明设计的基于多头注意力的特征金字塔模块有以下不同：
1、移除PAN(Path Aggregation Network)结构并只保留FPN(即特征金字塔)结构；
相比于FPN，PAN只是在前者的基础上多加了一个Bottom-up自下而上的结构，类似于Top-down自上而下结构将语义信息传递给浅层特征，Bottom-up原有的目的是为了将低层特征所具有丰富空间信息以更近的距离更快地传播到深层特征中去。然而，对于16m分辨率下的船只小目标，其尺度通常都比较小(低于20×20像素)，在对三个输出检测层进行锚框分配时，船只目标的真实框以及候选框大部分是落在较浅的两层检测层上，落在深层检测层上的检测框数量很小，从而，网络的检测性能很大程度是依赖于浅层检测层的检测性能，而对深层检测层的依赖较小。因此，丰富深层检测层的空间信息实际上性价比很小，无法实质上提升最终的检测结果。为此，本发明通过移除YOLOv5中Neck部分的Bottom-up自下而上的结构，从而去除了PAN结构的使用，同时保留了YOLOv5中Neck部分的FPN结构，该操作能够在牺牲微小精度的同时，换来极大检测速度的提升。
2、在FPN的侧向连接结构中加入权重系数
本发明在特征金字塔的上下层特征融合部分加入了一个权重系数，让网络自动学习对于不同尺度目标所需分配的各特征权重系数。权重系数即图1中的Scale，该系数实际上是对特征进行一个乘法操作，从而保证特征金字塔各层特征分配合理。相比于网络所含的百万级参数量，该操作只新增2个权重参数，对网络的整体计算量几乎没有影响，并在后续实验中能带来一定的精度提升。
3、设计提出了跨阶段多头注意力结构
在图像领域中，多头注意力由于其自身的结构，有着全图的感受野，能够关注到特征图上各个点之间的联系，对于特征的有效利用有着巨大的帮助，而通过将多头注意力融合进目标检测网络中，能够更进一步丰富特征的融合，有利于网络对目标特征更好的学习。基于上述多头注意力的优势，本发明将多头注意力引入网络的目标检测分支，同时参考CSPNet的跨阶段特征融合思想，本发明设计提出了跨阶段多头注意力结构如图3所示，其中MHSA即为多头注意力。该结构嵌入在特征金字塔上下层特征融合前以及融合后。
当特征输入时，跨阶段多头注意力结构同YOLOv5中的CSP层一样，将特征均分为两部分输入到两条支路，下边一条支路包含有MHSA多头注意力层，用于扩大网络的感受野，融合提取更丰富的特征，此外，为保证网络的稳定性，在该分支中通过残差连接，将该支路的输入与多头注意力层的输出相加，作为该分支的输出，并与上一条支路的输出进行concat操作，得到最后跨阶段多头注意力的输出，跨阶段多头注意力结构的参数如表2所示。
表2
而目标感知分支主要由目标感知模块组成，本发明设计了一个选择性降质操作来生成要拟合重建的降质图，降质流程如图4所示。具体操作是对原始图像作一个选择性模糊，通过结合均值模糊滤波器，将非船只目标区域进行模糊，而保留船只目标区域。类似于图像领域中的显著性机制，选择性降质实际上输出了一个“伪显著图”，本发明通过让骨干网络特征重建拟合该降质图，进而达到引导网络关注船只小目标的目的。由于卷积网络需要结合周围环境信息进行参数学习，因而对图像突变区域的特征学习效果较差。为缓减图像局部突变模糊带来的非线性性，本发明设计的降质操作采取了“离船只目标区域越近越清晰，离船只目标越远越模糊”的策略，该策略的具体实现主要利用了均值滤波器的核大小，对于离目标较远的像素点，其对应的均值滤波器核较大，从而使得该位置信息丢失较多，较为模糊；而对于离目标近的像素点，其对应的均值滤波器核较小，从而使得该位置信息保留较全，也就较为清晰。为使目标区域失真较小，且非目标区域越远越模糊，本发明构造了下述指数函数来计算各个像素点对应的均值滤波器核大小：
在上式中，S代表均值滤波器核大小，dmin代表当图中存在若干船只目标时，所在像素点到各个目标的最短欧氏距离。此外，由于常数的最优取值需要耗费大量时间，而本发明的重点在于体现选择性降质的思想，因此，本发明在实验过程中只取了1.01、1.03以及1.05进行实验，最终根据最优结果选择了1.03作为常数量。
得到降质后的图像后，本发明选用RCAB(Residual channel attention block)对降质图像进行重建拟合，RCAB结构如图5所示。
整体看来，目标感知分支是一个重建拟合降质后的“伪显著图”的过程。由于“伪显著图”较大程度保留了船只目标区域，而模糊了非船只目标区域，通过重建拟合该降质图像，可以引导骨干网络在特征提取过程中更多选择船只目标的特征信息，而减少周围干扰环境的信息，从而达到引导骨干网络将注意放在船只目标上的效果，使骨干网络提取的特征更有价值。
通过将目标感知分支与检测分支相结合，目标感知分支能为检测分支提供更加有价值的骨干网络输出特征，在通过进一步融合利用这些特征后，目标检测分支的检测性能可以获得更高的提升。
深度卷积神经网络的网络参数需要通过训练从而取到最优值，具体需要通过对损失函数值的梯度进行反向传播达到训练效果。损失函数可以理解为是计算网络预测值与真实值的差异，通过训练网络参数来使得该差异尽可能缩小。本发明的网络损失函数由目标检测分支损失函数与目标感知分支损失函数共同组成，其中目标检测分支损失函数沿用YOLOv5的配置，而由于目标感知分支的输出是对降质图像的拟合重建，本发明采用MSE均方误差作为该分支的损失函数。目标感知分支的损失函数公式如下：
上式中，ypred代表重建拟合的结果图像的像素值，ytrue代表降质图像标签的像素值，n代表图像大小，此处为128×128。
对于目标检测分支和目标感知分支的联合学习，由于各任务之间的损失可能存在量纲不一致等问题，因此如何平衡各分支损失函数的权重对网络最终的学习效果有很大的影响。本发明利用了现有的多任务网络训练策略，通过设置系数a、b，让网络自身去学习平衡两个分支的权重。整个网络最终的损失函数如下所示：
在训练过程中，由于网络是希望通过学习降低loss的大小，因此网络的前两项是希望a、b参数越大越好，而为避免a、b直接取极大值，在上述损失函数中，引入了后两项作为正则项，防止网络训练失衡。当其中一个loss较大时，其对应的权重系数会减小，驱使网络loss变小，从而使不同任务之间的loss得到平衡。
步骤三：训练卷积神经网络。如步骤二构造好网络后，在Pytorch深度学习框架下，本发明首先对网络参数进行随机初始化；之后将带标签的训练数据输入进网络，得到预测的检测结果；随后计算预测结果与真实结果之间的损失函数值，将该值对应的梯度反向传播至网络的各个参数，从而达到训练效果；最后当网络输出结果收敛后，记录此时的网络参数，该参数即训练好的网络参数。
步骤四：遥感图像目标检测。在实际检测过程中，将待检测图像或测试图像输入至步骤三中训练好的网络中，经网络计算输出船只小目标位置信息，即网络的检测结果。为海量遥感数据自动化数据分析和信息提取提供了便利。
实验结果：本发明使用的数据集来自于高分一号和高分六号卫星的16m低分辨率宽幅相机成像数据。本发明设计的各结构在检测精度上相比于YOLOv5原型有着明显的提升，论证了本发明所包含的各结构的有效性。此外，在与其他主流方法对比检测精度和时间效率过程中，本方法表现突出，表3所示为与其他检测方法的对比结果。其中AP是评价检测准确度的指标，越高则越优秀；FPS是评价检测速度的指标，越高则检测越快。
表3

Claims (9)

1.一种基于目标感知的遥感图像船只小目标检测方法，其特征在于，具体步骤如下：
步骤一：计算机读取数据；首先使用计算机读取遥感图像数据；读入数据后，将图片进行数据增广；
步骤二：构造基于目标感知的多任务深度神经网络；
步骤三：训练卷积神经网络；如步骤二构造好网络后，在Pytorch深度学习框架下，利用带标签的训练数据对网络进行训练，直至网络达到最优，并记录此时的网络参数；
步骤四：遥感图像目标检测；利用步骤三训练好的网络模型，在移出其中的目标感知分支参数后，对检测数据进行船只小目标检测，输出船只位置信息；
其中，基于目标感知的多任务深度神经网络由三部分组成：骨干网络即特征提取网络、目标检测分支、目标感知分支；骨干网络即所利用的YOLOv5特征提取部分；目标检测分支紧接着骨干网络，以骨干网络中不同层提取到的特征作为输入，输出船只目标检测框的位置以及船只目标的置信度得分；在该目标检测分支中，设计了一个基于多头注意力的特征金字塔模块，在该多头注意力的特征金字塔模块的作用下，网络对遥感图像船只小目标的检测精度以及检测性能获得很大提升；
目标感知分支与目标检测分支相并列，设计了一个目标感知模块，该目标感知模块首先对原始输入图像进行降质操作，使其保留船只目标区域并模糊其他区域，构造出一幅降质图像作为该分支的标签，之后该模块以骨干网络提取到的特征作为输入，通过超分辨重建网络重建拟合相应的降质图像，目标感知分支看作目标检测分支的辅助，通过利用目标感知模块，促使网络的骨干部分保留更多的船只目标信息，同时降低环境的干扰。
2.根据权利要求1所述的一种基于目标感知的遥感图像船只小目标检测方法，其特征在于：使用的数据来自于高分一号和高分六号卫星的宽幅相机成像数据，空间分辨率为16m，标注了共3876张512×512的图像，读入数据后，在训练阶段需要将图片进行数据增广。
3.根据权利要求1所述的一种基于目标感知的遥感图像船只小目标检测方法，其特征在于：特征提取部分所利用的YOLOv5网络结构共分为Encoder、Neck和Head三部分，其中Encoder即对输入图像进行特征提取，之后将提取到的特征输入到Neck部分来对特征进行进一步的融合与利用，最后Head部分利用融合后的特征输出检测结果；其中Encoder部分即为所利用的特征提取部分。
4.根据权利要求1所述的一种基于目标感知的遥感图像船只小目标检测方法，其特征在于：多头注意力的特征金字塔模块是通过在特征金字塔中引入跨阶段多头注意力结构从而实现特征金字塔与多头注意力的结合，使网络能利用特征金字塔融合更丰富的语义信息，同时利用多头注意力获得全局感受野，适用于船只小目标人的检测。
5.根据权利要求4所述的一种基于目标感知的遥感图像船只小目标检测方法，其特征在于：移除PAN结构并只保留FPN结构，即特征金字塔：
通过移除YOLOv5中Neck部分的Bottom-up自下而上的结构，从而去除了PAN结构的使用，同时保留了YOLOv5中Neck部分的FPN结构，该操作能够在牺牲微小精度的同时，换来极大检测速度的提升；
在FPN的侧向连接结构中加入权重系数：
在特征金字塔的上下层特征融合部分加入了一个权重系数，让网络自动学习对于不同尺度目标所需分配的各特征权重系数；该系数实际上是对特征进行一个乘法操作，从而保证特征金字塔各层特征分配合理；
设计提出了跨阶段多头注意力结构：
将多头注意力引入网络的目标检测分支，同时参考CSPNet的跨阶段特征融合思想，提出了跨阶段多头注意力结构，其中MHSA即为多头注意力；该结构嵌入在特征金字塔上下层特征融合前以及融合后；
当特征输入时，跨阶段多头注意力结构同YOLOv5中的CSP层一样，将特征均分为两部分输入到两条支路，下边一条支路包含有MHSA多头注意力层，用于扩大网络的感受野，融合提取更丰富的特征，此外，为保证网络的稳定性，在该分支中通过残差连接，将该支路的输入与多头注意力层的输出相加，作为该分支的输出，并与上一条支路的输出进行concat操作，得到最后跨阶段多头注意力的输出。
6.根据权利要求1或5所述的一种基于目标感知的遥感图像船只小目标检测方法，其特征在于：设计一个选择性降质操作来生成要拟合重建的降质图，具体操作是对原始图像作一个选择性模糊，通过结合均值模糊滤波器，将非船只目标区域进行模糊，而保留船只目标区域；选择性降质实际上输出了一个“伪显著图”，通过让骨干网络特征重建拟合该降质图，进而达到引导网络关注船只小目标的目的；由于卷积网络需要结合周围环境信息进行参数学习，因而对图像突变区域的特征学习效果较差；为缓减图像局部突变模糊带来的非线性性，设计降质操作采取了“离船只目标区域越近越清晰，离船只目标越远越模糊”的策略，该策略的具体实现利用了均值滤波器的核大小，对于离目标较远的像素点，其对应的均值滤波器核较大，从而使得该位置信息丢失较多，较为模糊；而对于离目标近的像素点，其对应的均值滤波器核较小，从而使得该位置信息保留较全，也就较为清晰；
为使目标区域失真较小，且非目标区域越远越模糊，构造了下述指数函数来计算各个像素点对应的均值滤波器核大小：
在上式中，S代表均值滤波器核大小，dmin代表当图中存在若干船只目标时，所在像素点到各个目标的最短欧氏距离；此外，由于常数的最优取值需要耗费大量时间，只取1.01、1.03以及1.05进行实验；得到降质后的图像后，选用RCAB对降质图像进行重建拟合。
7.根据权利要求1或5所述的一种基于目标感知的遥感图像船只小目标检测方法，其特征在于：深度卷积神经网络的网络参数需要通过训练从而取到最优值，具体需要通过对损失函数值的梯度进行反向传播达到训练效果；损失函数理解为是计算网络预测值与真实值的差异，通过训练网络参数来使得该差异尽可能缩小；网络损失函数由目标检测分支损失函数与目标感知分支损失函数共同组成；其中，目标检测分支损失函数沿用YOLOv5的配置，而由于目标感知分支的输出是对降质图像的拟合重建，采用MSE均方误差作为该分支的损失函数；目标感知分支的损失函数公式如下：
上式中，ypred代表重建拟合的结果图像的像素值，ytrue代表降质图像标签的像素值，n代表图像大小，此处为128×128。
8.根据权利要求1或5所述的一种基于目标感知的遥感图像船只小目标检测方法，其特征在于：对于目标检测分支和目标感知分支的联合学习，由于各任务之间的损失可能存在量纲不一致的问题，这里利用了现有的多任务网络训练策略，通过设置系数a、b，让网络自身去学习平衡两个分支的权重；整个网络最终的损失函数如下所示：
在训练过程中，由于网络是希望通过学习降低loss的大小，因此网络的前两项是希望a、b参数越大越好，而为避免a、b直接取极大值，在上述损失函数中，引入了后两项作为正则项，防止网络训练失衡；当其中一个loss较大时，其对应的权重系数会减小，驱使网络loss变小，从而使不同任务之间的loss得到平衡。
9.根据权利要求1所述的一种基于目标感知的遥感图像船只小目标检测方法，其特征在于：在步骤三中，首先对网络参数进行随机初始化；之后将带标签的训练数据输入进网络，得到预测的检测结果；随后计算预测结果与真实结果之间的损失函数值，将该值对应的梯度反向传播至网络的各个参数，从而达到训练效果；最后当网络输出结果收敛后，记录此时的网络参数，该参数即训练好的网络参数。
CN202111043241.0A 2021-09-07 2021-09-07 一种基于目标感知的遥感图像船只小目标检测方法 Active CN113780152B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111043241.0A CN113780152B (zh) 2021-09-07 2021-09-07 一种基于目标感知的遥感图像船只小目标检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111043241.0A CN113780152B (zh) 2021-09-07 2021-09-07 一种基于目标感知的遥感图像船只小目标检测方法

Publications (2)

Publication Number Publication Date
CN113780152A CN113780152A (zh) 2021-12-10
CN113780152B true CN113780152B (zh) 2024-04-05

Family

ID=78841538

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111043241.0A Active CN113780152B (zh) 2021-09-07 2021-09-07 一种基于目标感知的遥感图像船只小目标检测方法

Country Status (1)

Country Link
CN (1) CN113780152B (zh)

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114332701B (zh) * 2021-12-27 2024-05-28 北京航空航天大学 一种基于任务区分检测再识别联合网络的目标跟踪方法
CN114092820B (zh) * 2022-01-20 2022-04-22 城云科技（中国）有限公司 目标检测方法及应用其的移动目标跟踪方法
CN114663366A (zh) * 2022-03-07 2022-06-24 南京工业大学 一种基于YOLOv5s神经网络的酒店套装门检测方法
CN114332590B (zh) * 2022-03-08 2022-06-17 北京百度网讯科技有限公司 联合感知模型训练、联合感知方法、装置、设备和介质
CN114596431A (zh) * 2022-03-10 2022-06-07 北京百度网讯科技有限公司 信息确定方法、装置及电子设备
CN114900619B (zh) * 2022-05-06 2023-05-05 北京航空航天大学 一种自适应曝光驱动相机摄影水下图像处理系统
CN114842365B (zh) * 2022-07-04 2022-11-29 中国科学院地理科学与资源研究所 一种无人机航拍目标检测识别方法和系统
CN114842019B (zh) * 2022-07-06 2022-09-09 山东建筑大学 一种电池板表面缺陷检测方法、系统、存储介质及设备
CN115272987B (zh) * 2022-07-07 2023-08-22 淮阴工学院 一种基于MSA-Yolov5的恶劣天气下车辆检测方法及装置
CN116416468B (zh) * 2023-04-11 2023-10-03 安徽中科星联信息技术有限公司 一种基于神经架构搜索的sar目标检测方法
CN117576164B (zh) * 2023-12-14 2024-05-03 中国人民解放军海军航空大学 基于特征联合学习的遥感视频海陆运动目标跟踪方法
CN117612029B (zh) * 2023-12-21 2024-05-24 石家庄铁道大学 一种基于渐进特征平滑和尺度适应性膨胀卷积的遥感图像目标检测方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109711295A (zh) * 2018-12-14 2019-05-03 北京航空航天大学 一种光学遥感图像近岸舰船检测方法
CN109934096A (zh) * 2019-01-22 2019-06-25 浙江零跑科技有限公司 基于特征时序相关性的自动驾驶视觉感知优化方法
CN111192240A (zh) * 2019-12-23 2020-05-22 北京航空航天大学 一种基于随机接入记忆的遥感图像目标检测方法
CN113034379A (zh) * 2020-12-28 2021-06-25 北京航空航天大学 天候天时自适应的快速图像清晰化处理方法
CN113052210A (zh) * 2021-03-11 2021-06-29 北京工业大学 一种基于卷积神经网络的快速低光照目标检测方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11195044B2 (en) * 2020-01-12 2021-12-07 Dalian University Of Technology Fully automatic natural image matting method

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109711295A (zh) * 2018-12-14 2019-05-03 北京航空航天大学 一种光学遥感图像近岸舰船检测方法
CN109934096A (zh) * 2019-01-22 2019-06-25 浙江零跑科技有限公司 基于特征时序相关性的自动驾驶视觉感知优化方法
CN111192240A (zh) * 2019-12-23 2020-05-22 北京航空航天大学 一种基于随机接入记忆的遥感图像目标检测方法
CN113034379A (zh) * 2020-12-28 2021-06-25 北京航空航天大学 天候天时自适应的快速图像清晰化处理方法
CN113052210A (zh) * 2021-03-11 2021-06-29 北京工业大学 一种基于卷积神经网络的快速低光照目标检测方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Tianyang Shi,et al..Neural Rendering for Game Character Auto-creation.《IEEE Transactions on Pattern Analysis and Machine Intelligence》.2020,全文. *
深度学习的空间红外弱小目标状态感知方法;黄乐弘;曹立华;李宁;李毅;;中国光学(第03期);全文 *

Also Published As

Publication number Publication date
CN113780152A (zh) 2021-12-10

Similar Documents

Publication Publication Date Title
CN113780152B (zh) 一种基于目标感知的遥感图像船只小目标检测方法
Zhang et al. Remote sensing image spatiotemporal fusion using a generative adversarial network
CN111950453B (zh) 一种基于选择性注意力机制的任意形状文本识别方法
Ding et al. Semantic segmentation of large-size VHR remote sensing images using a two-stage multiscale training architecture
Dong et al. RRSGAN: Reference-based super-resolution for remote sensing image
CN113160234B (zh) 基于超分辨率和域自适应的无监督遥感图像语义分割方法
Chen et al. MFFN: An underwater sensing scene image enhancement method based on multiscale feature fusion network
CN110276269A (zh) 一种基于注意力机制的遥感图像目标检测方法
CN113223068B (zh) 一种基于深度全局特征的多模态图像配准方法及系统
CN116229056A (zh) 基于双分支特征融合的语义分割方法、装置、设备
Zhang et al. Dense haze removal based on dynamic collaborative inference learning for remote sensing images
CN114943888B (zh) 基于多尺度信息融合的海面小目标检测方法
Li et al. Gated auxiliary edge detection task for road extraction with weight-balanced loss
Chen et al. Structure-aware weakly supervised network for building extraction from remote sensing images
Ding et al. Sw-YoloX: An anchor-free detector based transformer for sea surface object detection
CN113011295A (zh) 基于遥感影像识别光伏发电站的方法、计算机设备和介质
Shang et al. Spatiotemporal reflectance fusion using a generative adversarial network
Li et al. Deep Learning-based Model for Automatic Salt Rock Segmentation
CN114463624A (zh) 一种应用于城市管理监督的违章建筑物检测方法及装置
Liu et al. Improved YOLOv5s for small ship detection with optical remote sensing images
CN116719031B (zh) 一种合成孔径雷达sar图像的海洋涡旋检测方法及系统
CN113570509A (zh) 数据处理方法以及计算机设备
CN116311093A (zh) 一种基于关键点的无锚框海面船舶目标检测方法和系统
Hao et al. Infrared small target detection with super-resolution and YOLO
CN115035429A (zh) 一种基于复合主干网络和多预测头的航拍目标检测方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant