CN116863351A - 一种基于双流网络的遥感细粒度船舶目标识别方法 - Google Patents

一种基于双流网络的遥感细粒度船舶目标识别方法 Download PDF

Info

Publication number
CN116863351A
CN116863351A CN202310935784.6A CN202310935784A CN116863351A CN 116863351 A CN116863351 A CN 116863351A CN 202310935784 A CN202310935784 A CN 202310935784A CN 116863351 A CN116863351 A CN 116863351A
Authority
CN
China
Prior art keywords
features
image
remote sensing
local
global
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310935784.6A
Other languages
English (en)
Inventor
张翔
杨世军
吴琪辉
李洪娇
罗迒哉
赵万青
钟升
张万绪
彭进业
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NORTHWEST UNIVERSITY
Original Assignee
NORTHWEST UNIVERSITY
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by NORTHWEST UNIVERSITY filed Critical NORTHWEST UNIVERSITY
Priority to CN202310935784.6A priority Critical patent/CN116863351A/zh
Publication of CN116863351A publication Critical patent/CN116863351A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G06V20/13—Satellite images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • Medical Informatics (AREA)
  • Mathematical Physics (AREA)
  • Databases & Information Systems (AREA)
  • Image Analysis (AREA)
  • Remote Sensing (AREA)
  • Astronomy & Astrophysics (AREA)

Abstract

本发明公开了一种基于双流网络的遥感细粒度船舶目标识别方法，识别网络包含两个分支:局部残差分支(LRB)和全局表示分支(GRB)。局部残差分支通过我们提出的全尺寸跳跃连接(FSC)和条形加法池化(SPA)模块有效地提取船舶目标最具判别性的局部细粒度特征。全局表示分支通过Swin‑Transformer捕获全局上下文信息，建立目标的远程依赖关系，并提取更强大的全局粗粒度特征。此外，在特征融合模块中设计了一个轻量级融合(LF)模块，将两个分支的特征信息融合在一起，保证了具有判别性的全局和局部信息不会相互淹没，从而有效地提高了模型的性能。在两个主流的遥感数据集上进行了大量的实验和分析，结果表明该方法可以以较高的准确率识别出船舶目标。

Description

一种基于双流网络的遥感细粒度船舶目标识别方法
技术领域
本发明属于计算机视觉领域，涉及模式识别、图像处理、深度学习等技术，具体涉及基于深度学习的图像识别方法。
背景技术
细粒度船舶分类是遥感图像识别中的一项重要、复杂和具有挑战性的任务，其目的是识别给定船类的子类。近年来，随着光学卫星技术的飞速发展，遥感影像已成为获取海上交通信息的重要手段。海上安全是国家安全和经济稳定的重要组成部分，对保障海上航行安全、提高海上运输效率具有至关重要的作用。值得注意的是，在遥感领域，细粒度船舶分类任务面临着几个关键挑战：(1)在细粒度船舶数据集中，不同子类之间的高度相似性以及同一子类内姿态、尺度、旋转和颜色的巨大变化使得细粒度船舶分类任务极具挑战性。(2)在现实世界中，由于地物分布不均匀、遥感图像采集方法的限制、数据采集误差、样本选择偏差等因素，细粒度船舶数据集存在样本不平衡的问题。为了应对这些挑战，基于CNN的方法和基于Transformer的方法不断涌现出来，但不幸的是，这些方法都存在各自的弊端，基于CNN的方法由于卷积接受野的限制对于全局特征的提取不够，而基于Transformer的方法对局部精细特征的提取能力又不如CNN。实验证明，这些基于单一理论模型的方法的性能远远不能取得令人满意的结果。
基于观察，得出一个合理的结论：遥感图像细粒度目标识别方法有效与否很大程度上取决于判别特征的提取，这些特征可以是一些局部精细特征，也可以是全局表示特征。而现有的绝大多数方法都局限于对局部精细特征的提取。因此，研究全局表示特征的有效性和全局与局部特征相融合的融合特征的有效性是非常有意义的，在遥感目标识别中，不仅仅局限于局部，还会考虑到图像中的远程特相互依赖关系，局部特征结合全局表示特征训练一个更可靠和更强大的网络进行遥感细粒度船舶目标识别。
最近，随着基于自注意机制的Transformer架构在自然语言处理领域的巨大成功。而ViT也首次成功地将Transformer架构应用于计算机视觉领域，并在多个任务中显示了巨大的前景。由于其设计中存在多头自关注层，ViT可以从每个位置查看和考虑所有其他位置，使其能够全局处理整个图像并从中提取有用的特征。因此，ViT可以以高度并行的方式从图像中捕获全局特征。但是，ViT仍然存在每层计算成本高、相邻窗口内容提取不完整等缺点。因此，采用了Swin-Transformer方法提取全局表示特征。同时考虑到船舶的特殊性，设计了条形加法池化模块来捕获局部残差分支中船舶图像的远程上下文依赖关系。条形加法池化模块可以使网络更加关注目标区域，提取更精确的特征，同时避免不相关的混淆特征对最终分类性能的影响。为了捕获多粒度特征信息，更好地融合全局与局部判别性和一致性特征，实现特征重用，在局部残差分支的后四个阶段引入了全尺度跳跃连接。为了合理利用全局表示特征和局部精细特征，设计了一个轻量级的融合模块，以促进全局和局部特征之间的充分交互和融合。
发明内容
本发明的目的在于克服上述现有技术不足，提供一种基于双流网络的遥感细粒度船舶目标识别方法。本发明有三个关键步骤：识别网络首先对训练数据做预处理，克服样本不平衡和样本较少的问题。然后，识别网络将预处理后的图像分别输入到全局表示分支和局部残差分支中，提取得到全局表示特征和局部精细特征，再通过一个轻量级的融合模块得到融合特征。最后，使用全局表示特征、局部精细特征和融合特征分别计算得到局部损失、全局损失、分类损失和推拉损失，四个损失函数联合约束模型训练，增强了模型的鲁棒性和泛化能力，在一定程度上优化了分类精度。
为了实现上述任务，本发明采用以下技术方案：
一种基于双流网络的遥感细粒度船舶目标识别方法，包括以下步骤：
步骤一，在遥感细粒度图像船舶数据集下使用图像预处理模块，得到网络的输入图像。
步骤1-1：对于给定的数据集，首先我们通过观察可以发现这些遥感图像中船舶的长宽比比较大。因此，在对遥感船舶图像进行图像预增强时，应采用比例拉伸技术代替标准缩放方法，即在保持原始图像比例的情况下对图像进行拉伸，然后将剩余空间填充为零像素。除此之外，我们的图像预增强方法还应用了随机裁剪和缩放、随机高斯模糊、随机旋转和随机水平和垂直翻转来增加训练数据集中的子类样本数量。
步骤1-2：如果在给定的数据集上，判断每一类的样本数量，然后采用图像预增强(IPA)方法，增加每一类的样本数量，如下式所示：
其中Ioi代表每个类别的样本，n代表类别；t表示阈值，设置为200。该公式表明，当某一类的样本数量小于t时，使用图像预增强(IPA)方法将图像数量增加到t。最终得到网络的原始输入图像I。
步骤二，用步骤一预增强后得到的图像，输入到全局表示分支中。
步骤2-1：使用步骤一得到的预增强输入图像I，输入到全局表示分支中，捕获全局上下文信息以建立目标对象的远程依赖关系。首先将输入图像I划分为N＝m1×m2个不重叠的小块，其中m1和m2分别为输入图像中每一行、每一列的小块数量。
步骤2-2：然后对得到的这些小块做线性投影，得到嵌入令牌，这些令牌分别经过Swin-Transformer块，最终得到全局表示特征。
步骤三，用步骤一预增强后得到的图像，输入到局部残差分支中。
步骤3-1：使用步骤一得到的预增强输入图像I，输入到局部残差分支中，该分支主要采用ResNet50，但是为了增强网络的接受野和特征抽象能力，在Resnet50的Stage1(7×7,(3,64),Conv)基础上，重新设计了一个Stage1*。它通过3次连续的3×3卷积操作代替了一次7×7卷积操作，通过叠加多个卷积层，第一阶段网络的感受野会逐渐增大，从而提供更大范围内的上下文信息。并且多层卷积，使网络可以逐渐学习更多抽象的特征表示，即低层次的卷积层可以捕捉边缘、纹理等低级特征，而高层次的卷积层可以捕捉更高级别的语义特征，从而提高模型对复杂问题的理解和表达能力。
步骤3-2：图像经过Stage1*后得到的特征，输入到下一阶段中，为了适应船舶的姿态，设计了条形加法池化(SPA)模块提取船舶的远程语义关系和局部精细特征，条形加法池化模块分别放置在Stage2,3,4,5之后。
具体步骤是，首先使用水平和垂直条形池化操作从不同的空间维度建立远程上下文语义关系，输出图像中连接到具有几乎相同水平和垂直坐标的输入图像位置的黑边正方形所示。从结果可以看出，条形加法池化模块比ResNet更能有效地识别局部判别特征。并且，在输出中加入了低级语义特征，极大地缓解了信息瓶颈和特征混淆的问题，整个过程如下式所示：
式中Fli,i＝1,2,…,m表示各阶段的输出特征向量；是我们改进的Stage1，/>是Stage和条形加法池化模块的组合；本文采用五阶段设计，故设m＝5。
步骤3-3：在后四个阶段使用全尺寸跳跃连接(FSC)实现多粒度特征融合，来更好地捕获全局和局部的区分性和一致性特征，通过区分性特征来缓解类间不可区分性，通过一致性特征来缓解类内不可区分性，最终实现特征重用。通过步骤三后我们得到局部精细特征。
步骤四，经过步骤二和步骤三后分别得到了全局表示特征和局部精细特征，然后通过融合模块得到最终用于识别任务的特征。
步骤4-1：将全局表示分支的全局表示特征和局部残差分支的局部精细特征在通道方向上进行拼接，得到拼接特征。然后，通过如图2(a)所示的模块对拼接特征进行拼接后，得到融合特征，用于后续的分类任务，具体如下式所示：
F＝LF(Concat(Fg,Fl))
其中，F是融合特征，LF是我们提出的轻量级融合模块，Concat是在通道方向上拼接两个特征，Fg和Fl分别是全局表示特征和局部精细特征。
步骤五，多损失联合训练。
步骤5-1：经过特征融合模块后，我们得到了最终的融合特征用于计算损失和分类，然而，经过实验证明一个损失函数对于模型的鲁棒性和约束是不够的。解决这一问题的一种方法是结合所设计模型的特点，综合利用多个损失函数联合约束模型训练。为此，我们将步骤二和步骤三中得到的全局表示特征和局部精细特征分别单独使用交叉熵损失函数用于计算损失得到Lglobal和Llocal，步骤四得到的融合特征分别通过交叉熵损失函数和推拉损失函数计算得到Lclass和LP2。
步骤5-2：整个设计的网络模型最终是可以端到端联合训练的，步骤5-1中得到的多个损失函数相加的总的损失值L，多损失函数联合训练提高了模型的鲁棒性和泛化能力。总体目标如下式所示:
L＝Lclass+αLP2+βLlocal+γLglobal
其中，α,β和γ是超参数，可以分别取值0或1，表示使用指定损失函数或不使用指定损失函数；
分析如下：在不使用P2损失函数时在FGSCR-42数据集上的平均AA达到了94.05％，而在使用P2损失函数时平均AA达到了94.62％，因而P2损失函数使模型AA提高了将近0.5％；同理在不使用local损失函数时平均AA达到了94.16％，而使用local损失函数时平均AA达到了94.51％，res损失函数使AA提高了将近0.35％；同理在不使用global损失函数时平均AA达到了94.27％，而使用global损失函数时平均AA达到了94.4％，global损失函数使AA提高了0.13％；并且在仅使用class分类损失函数时，AA性能最差，但在使用全部损失函数时，得到了最好的AA性能.因此，发现多损失函数联合训练，有效的提高了模型的鲁棒性和泛化能力。经过大量实验证明α＝β＝γ＝1时模型效果最好，达到了最佳识别性能。
附图说明
图1是本发明总体框图；
图2是轻量化融合模块和改进的Stage1*模块；
图3条形加法池化模块
图4FGSC-23和FGSCR-42数据集Grad-CAM结果图
图5条形加法池化模块和全尺寸跳跃连接的Grad-CAM结果图；
具体实施方式
本方法总体由全局表示分支(GRB)、局部残差分支(LRB)和特征融合模块组成。全局表示分支主要用于捕获图像的全局上下文信息并建立目标的远程依赖关系以提取全局表示特征。局部残差分支主要用于捕获判别区域并提取目标的局部精细特征。特征融合模块旨在通过设计的轻量级融合(LF)模块正确融合全局表示分支和局部残差分支的特征信息，保证两个分支的信息不会相互混淆，同时获得最具区分性的特征。具体来说，原始图像通过图像预处理操作得到输入图像，然后同时输入到全局表示分支和局部残差分支中，得到全局特征和局部特征。然后，全局特征和局部特征在通道方向上拼接以获得拼接特征，并将其输入到特征融合模块最终获取融合特征。最后，通过推拉模块使用融合特征进行船舶分类，分别得到两个损失：分类损失和推拉损失，以及两个分支的损失：全局损失和局部损失。这四个损失函数共同约束模型的训练。
实验数据用到两个数据集：FGSC-23数据集和FGSCR-42数据集。
FGSC-23：FGSC-23是一个公开的细粒度船舶分类数据集，包含4081张不同大小的图像，像素从40×40到800×800不等。它包括23个细粒度的类别，如航空母舰(AC)，驱逐舰(DE)，登陆艇(LC)等，每一个图像主要收集自GF-1卫星和谷歌地球。
FGSCR-42：FGSCR-42是第一个大型细粒度船舶分类数据集。该数据集包含7776张图像，大小从50×50到大约500×1500不等。分为“尼米兹”级航母(NAC)、“小鹰”级航母(KHCA)、“中途岛”级航母(MCA)等42个细粒度级别。图像主要来自Google Earth和之前的一些数据集。
1.实验细节
使用PyTorch框架实现我们的模型，并在单个NVIDIA RTX 3090GPU卡上训练所有模型。全局表示分支和局部残差分支分别使用在ImageNet上预训练的ResNet50和在ImageNet-1k上预训练的Swin-T作为主干。数据集采用3:1:1的比例划分为训练集、验证集和测试集。整个模型由一个动量为0.9、权重衰减为1e-4的随机梯度下降优化器进行训练。网络的初始学习率设置为0.01，并使用余弦退火策略进行调整。批量大小设置为46，训练epoch数设置为100。除了图像预处理模块，我们仍然应用随机裁剪和缩放，随机高斯模糊，随机旋转，以及随机水平和垂直翻转来增强训练数据集。然而，对于测试和有效数据集，我们仅通过比例拉伸方法来调整图像大小。通过实验验证，当超参数α,β和γ均为1时，分类效果最好。整个实验采用整体准确率(AA)作为衡量标准，表示如下式：
其中，式中，C表示类别个数，c表示相应的类别，Acc(·)表示每个类别的准确率。
2.FGSCR-42数据集上多损失函数的实验结果
表1:多损失函数在FGSCR-42数据集上的效果
表1展示了本发明在FGSCR-42数据集上损失函数选取的比较，本方法得出的结论是当α＝β＝γ＝1时模型效果最好，达到了最佳识别性能。
3.FGSC-23数据集和FGSCR-42数据集上的实验结果
表1:FGSC-23和FGSCR-42数据集上的AA准确率
表2展示了本发明在FGSC-23和FGSCR-42数据集上与基准网络和最先进的方法进行了比较，本方法在FGSC-23和FGSCR-42数据集上都取得了最佳的性能。
如图4所示，利用Grad-CAM方法生成了全局表示分支和局部残差分支特征的激活图以及最终融合特征的激活图，对比了基线网络ResNet50和最先进方法EFM-Net，增强了网络的可解释性。从激活图中可以看出，基于Swin-T网络的全局表示分支，注意特征基本覆盖了整个感兴趣的区域，但对目标的小细节不敏感，并且伴随着一定的噪声特征干扰，如在FGSCR-42数据集中，这种现象更为严重。与基线ResNet50网络相比，局部残差分支的激活图关注区域更小，更多地关注最具判别性和信息量的区域，即FGSC-23数据集中的舱室或FGSCR-42数据集中的舰载特种设备和舰载战斗机等。当使用轻量级融合(LF)模块对两个分支进行融合并使用融合后的特征进行分类，这表明所生成的融合特征兼有两者的优点，既能有效降低噪声特征的干扰，又能提高捕获判别区域的能力。与最先进方法相比，本方法捕获了更多信息，实验表明，本方法两个独立分支提取了有用的特征信息，LF模块很好地结合了两个分支的特征，从而获得了最佳的识别性能。
如图5所示，利用Grad-CAM方法对比了使用全尺寸跳跃连接(FSC)和条形加法池化(SPA)模块先后的激活图。从第二列的激活图中可以观察到，当不使用条形池化(SP)模块或条形加法池化(SPA)模块时，激活图周围或角落中的非目标区域也被激活。这表明存在大量不相关的特征和混淆的特征，这对识别性能有相当大的负面影响。然后，将条形池化(SPA)模块应用于ResNet网络中的特定位置，发现它在两个数据集上的表现都有了移动的改善，并且更准确的定位到了目标区域的特征，但大量不相关的激活区域仍然存在。因此，通过使用本发明的条形加法池化(SPA)模块，在两个数据集上都展示了最佳的性能改进，同时保持了很强的可解释性。它有效地抑制了目标上不相关激活区域的干扰，极大地提高了局部判别特征的定位效率。克服了信息瓶颈问题，增强了模型对输入图像的感知能力。

Claims (10)

1.一种基于双流网络的遥感细粒度船舶目标识别方法，其特征在于，包括以下步骤：
步骤一，在遥感细粒度图像船舶数据集下使用图像预处理模块，得到网络的输入图像；
步骤二，用步骤一预增强后得到的图像，输入到全局表示分支中；
步骤三，用步骤一预增强后得到的图像，输入到局部残差分支中；
步骤四，经过步骤二和步骤三后分别得到了全局表示特征和局部精细特征，然后通过融合模块得到最终用于识别任务的特征；
步骤五，多损失联合训练。
2.根据权利要求1所述的基于双流网络的遥感细粒度船舶目标识别方法，其特征在于：所述步骤一包括以下步骤：
步骤1-1：对于给定的数据集，使用图像预增强方法提高图像的多样性和合理性；
步骤1-2：对于给定的数据集的每一类，结合图像预增强方法，增加图像的样本数。
3.根据权利要求2所述的基于双流网络的遥感细粒度船舶目标识别方法，其特征在于：所述步骤1-1的具体步骤：
在对遥感船舶图像进行图像预增强时，采用比例拉伸技术来代替标准缩放方法，即在保持原始图像比例的情况下对图像进行拉伸，然后将剩余空间填充为零像素，除此之外，图像预增强方法还应用了随机裁剪和缩放、随机高斯模糊、随机旋转和随机水平和垂直翻转来增加训练数据集中的子类样本数量。
4.根据权利要求2所述的基于双流网络的遥感细粒度船舶目标识别方法，其特征在于：所述步骤1-2的具体步骤：
在给定的数据集上，判断每一类的样本数量，然后采用图像预增强(IPA)方法，增加每一类的样本数量，如下式所示：
其中Ioi代表每个类别的样本，n代表类别；t表示阈值，设置为200，该公式表明，当某一类的样本数量小于t时，使用图像预增强(IPA)方法将图像数量增加到t，最终得到网络的原始输入图像I。
5.根据权利要求1所述的基于双流网络的遥感细粒度船舶目标识别方法，其特征在于：所述步骤二包括以下步骤：
步骤2-1：使用步骤一得到的预增强输入图像I，输入到全局表示分支中，捕获全局上下文信息以建立目标对象的远程依赖关系。首先将输入图像I划分为N＝m1×m2个不重叠的小块，其中m1和m2分别为输入图像中每一行、每一列的小块数量；
步骤2-2：然后对得到的这些小块做线性投影，得到嵌入令牌，这些令牌分别经过Swin-Transformer块，最终得到全局表示特征。
6.根据权利要求1所述的基于双流网络的遥感细粒度船舶目标识别方法，其特征在于：所述步骤三包括以下步骤：
步骤3-1：将步骤一得到的预增强输入图像I，输入到我们新改进的ResNet50的Stage1*中；
步骤3-2：图像经过了第一阶段的Stage1*后，在ResNet50的后四个阶段加入了设计的条形加法池化(SPA)模块，构成新改进的ResNet50的后四个阶段；
步骤3-3：步骤3-2构建了ResNet50，再在其后四个阶段使用全尺寸跳跃连接(FSC)实现多粒度特征融合，这个做法可以更好地捕获全局和局部的区分性和一致性特征，通过区分性特征来缓解类间不可区分性，通过一致性特征来缓解类内不可区分性，最终实现特征重用。
7.根据权利要求6所述的基于双流网络的遥感细粒度船舶目标识别方法，其特征在于：所述步骤3-1的具体步骤：
使用步骤一得到的预增强输入图像I，输入到局部残差分支中，该分支主要采用ResNet50，但是为了增强网络的接受野和特征抽象能力，在Resnet50的Stage1(7×7,(3,64),Conv)基础上，重新设计了一个Stage1*，它通过3次连续的3×3卷积操作代替了一次7×7卷积操作，通过叠加多个卷积层，第一阶段网络的感受野会逐渐增大，从而提供更大范围内的上下文信息，并且多层卷积，使网络可以逐渐学习更多抽象的特征表示，即低层次的卷积层可以捕捉边缘、纹理等低级特征，而高层次的卷积层可以捕捉更高级别的语义特征，从而提高模型对复杂问题的理解和表达能力。
8.根据权利要求6所述的基于双流网络的遥感细粒度船舶目标识别方法，其特征在于：所述步骤3-2的具体步骤：
图像经过Stage1*后得到的特征，输入到下一阶段中，为了适应船舶的姿态，我设计了条形加法池化(SPA)模块提取船舶的远程语义关系和局部精细特征，条形加法池化模块分别放置在Stage2,3,4,5之后，具体步骤是，首先使用水平和垂直条形池化操作从不同的空间维度建立远程上下文语义关系，比如输出图像中连接到具有几乎相同水平和垂直坐标的输入图像位置的黑边正方形所示，从结果可以看出，条形加法池化模块更能有效地识别局部判别特征，并且在输出中加入了低级语义特征，极大地缓解了信息瓶颈和特征混淆的问题，整个过程如下式所示：
式中Fli,i＝1,2,…,m表示各阶段的输出特征向量；是改进的Stage1，/>是Stage和条形加法池化模块的组合。
9.根据权利要求1所述的基于双流网络的遥感细粒度船舶目标识别方法，其特征在于：所述步骤四包括以下具体步骤：
步骤4-1：将全局表示分支的全局表示特征和局部残差分支的局部精细特征在通道方向上进行拼接，得到拼接特征，然后，通过LF模块对拼接特征进行拼接后，得到融合特征，用于后续的分类任务，具体如下式所示：
其中，F是融合特征，LF是轻量级融合模块，Concat是在通道方向上拼接两个特征，Fg和Fl分别是全局表示特征和局部精细特征。
10.根据权利要求1所述的基于双流网络的遥感细粒度船舶目标识别方法，其特征在于：所述步骤五包括以下步骤：
步骤5-1：经过特征融合模块后，得到了最终的融合特征用于计算损失和分类。为此，将步骤二和步骤三中得到的全局表示特征和局部精细特征分别单独使用交叉熵损失函数用于计算损失得到Lglobal和Llocal，步骤四得到的融合特征分别通过交叉熵损失函数和推拉损失函数计算得到Lclass和
步骤5-2：整个设计的网络模型最终是可以端到端联合训练的，步骤5-1中得到的多个损失函数相加的总的损失值为L，多损失函数联合训练提高了模型的鲁棒性和泛化能力。总体目标如下式所示:
其中，α,β和γ是超参数，可以分别取值0或1，表示使用指定损失函数或不使用指定损失函数；经过实验证明α＝β＝γ＝1时模型训练效果最好，达到了最佳识别性能。
CN202310935784.6A 2023-07-27 2023-07-27 一种基于双流网络的遥感细粒度船舶目标识别方法 Pending CN116863351A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310935784.6A CN116863351A (zh) 2023-07-27 2023-07-27 一种基于双流网络的遥感细粒度船舶目标识别方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310935784.6A CN116863351A (zh) 2023-07-27 2023-07-27 一种基于双流网络的遥感细粒度船舶目标识别方法

Publications (1)

Publication Number Publication Date
CN116863351A true CN116863351A (zh) 2023-10-10

Family

ID=88230537

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310935784.6A Pending CN116863351A (zh) 2023-07-27 2023-07-27 一种基于双流网络的遥感细粒度船舶目标识别方法

Country Status (1)

Country Link
CN (1) CN116863351A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117726954A (zh) * 2024-02-09 2024-03-19 成都信息工程大学 一种遥感图像海陆分割方法及系统

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117726954A (zh) * 2024-02-09 2024-03-19 成都信息工程大学 一种遥感图像海陆分割方法及系统
CN117726954B (zh) * 2024-02-09 2024-04-30 成都信息工程大学 一种遥感图像海陆分割方法及系统

Similar Documents

Publication Publication Date Title
Zhang et al. A domain adaptation neural network for change detection with heterogeneous optical and SAR remote sensing images
Guo et al. Super-resolution integrated building semantic segmentation for multi-source remote sensing imagery
CN114821357A (zh) 一种基于transformer的光学遥感目标检测方法
CN114241274B (zh) 一种基于超分辨率多尺度特征融合的小目标检测方法
Zhang et al. Semantic image segmentation for sea ice parameters recognition using deep convolutional neural networks
CN116863351A (zh) 一种基于双流网络的遥感细粒度船舶目标识别方法
Singh et al. Semantic segmentation using deep convolutional neural network: A review
CN113343989A (zh) 一种基于前景选择域自适应的目标检测方法及系统
CN113743521B (zh) 一种基于多尺度上下文感知的目标检测方法
CN115019132A (zh) 一种用于复杂背景船舶的多目标识别方法
Chen et al. A novel lightweight bilateral segmentation network for detecting oil spills on the sea surface
Yan et al. Transy-net: Learning fully transformer networks for change detection of remote sensing images
Long et al. Integrating spatial details with long-range contexts for semantic segmentation of very high-resolution remote-sensing images
Patel et al. A novel approach for semantic segmentation of automatic road network extractions from remote sensing images by modified UNet
CN113221731B (zh) 一种多尺度遥感图像目标检测方法及系统
Zhao et al. Squnet: An high-performance network for crater detection with dem data
CN117372853A (zh) 一种基于图像增强和注意力机制的水下目标检测算法
Saida et al. CNN-based segmentation frameworks for structural component and earthquake damage determinations using UAV images
CN114663654B (zh) 一种改进YOLOv4网络模型及小目标检测方法
Qi et al. JAED-Net: joint attention encoder–decoder network for road extraction from remote sensing images
CN114494893B (zh) 基于语义重用上下文特征金字塔的遥感图像特征提取方法
CN113887470B (zh) 基于多任务注意力机制的高分辨率遥感图像地物提取方法
Mishra et al. Detection Of Ships in The Ocean Using Deep Learning Algorithm
Shi et al. Adaptive feature fusion with attention-guided small target detection in remote sensing images
Zhang et al. Mfenet: Multi-feature extraction net for remote sensing semantic segmentation

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination