CN112861774A - 一种使用遥感图像识别舰船目标的方法及系统 - Google Patents

一种使用遥感图像识别舰船目标的方法及系统 Download PDF

Info

Publication number
CN112861774A
CN112861774A CN202110238322.XA CN202110238322A CN112861774A CN 112861774 A CN112861774 A CN 112861774A CN 202110238322 A CN202110238322 A CN 202110238322A CN 112861774 A CN112861774 A CN 112861774A
Authority
CN
China
Prior art keywords
image
feature
features
compact module
ship target
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110238322.XA
Other languages
English (en)
Inventor
王玉林
李孟洋
姚力波
侯波
贺杰
路兴强
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shandong Industry Research Satellite Information Technology Industry Research Institute Co ltd
Original Assignee
Shandong Industry Research Satellite Information Technology Industry Research Institute Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shandong Industry Research Satellite Information Technology Industry Research Institute Co ltd filed Critical Shandong Industry Research Satellite Information Technology Industry Research Institute Co ltd
Priority to CN202110238322.XA priority Critical patent/CN112861774A/zh
Publication of CN112861774A publication Critical patent/CN112861774A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G06V20/13—Satellite images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/41—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/46—Extracting features or characteristics from the video content, e.g. video fingerprints, representative shots or key frames

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Remote Sensing (AREA)
  • Astronomy & Astrophysics (AREA)
  • Computational Linguistics (AREA)
  • Software Systems (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种使用遥感图像识别舰船目标的方法及系统，属于图像识别领域；在获取同一时刻同一场景包含舰船目标的全色图像和多光谱图像后，使用预训练的伪孪生网络模型将全色图像和多光谱图像的特征进行特征融合，然后采用分类网络对融合后的特征进行识别，最后得到舰船目标的识别结果。本申请通过伪孪生网络模型中全色图像处理分支和多光谱图像处理分支分别处理全色图像和多光谱图像，然后将得到的特征融合，这样在识别遥感图像中舰船目标时既能采用全色图像具有高空间分辨率的优点；又能综合多光谱图像具有较高的光谱分辨率的优点。因此大大提高了使用遥感图像识别舰船目标时的识别准确率。

Description

一种使用遥感图像识别舰船目标的方法及系统
技术领域
本发明涉及图像识别领域，特别地，涉及一种使用遥感图像识别舰船目标的方法及系统。
背景技术
随着海洋资源的不断开发，准确识别舰船目标对于维护海洋安全、海上交通管制具有重要意义。遥感图像具有覆盖范围广、空间分辨率高、与人类视觉表征相符合的优势，越来越广泛地应用到舰船目标识别任务中。
近年来，遥感卫星发展迅速，遥感图像质量和数量都得到大幅提升。当前，全球拥有高分系列、资源系列、Quickbird、Ikonos等多颗遥感卫星，卫星搭载不同成像设备或者同类型不同分辨率的成像设备为同一场景提供了多源数据，大多数光学对地观测卫星和航空摄影系统同时提供全色图像（PAN）与多光谱图像（MS）。
因此，在对舰船进行识别时一般都采用遥感图像。但是舰船目标的刚体结构受天气、光照等拍照条件影响较大，具有较小的类间差异和较大的类内差异，例如驱逐舰和护卫舰在外界条件相同时图像内差异较小；但是同一驱逐舰在不同天气和光照下图像的差异非常大，因此如何有效提取其特征成为识别的关键问题。遥感图像中全色图像具有高空间分辨率，但其只有一个波段，无法获取较全面的光谱信息；多光谱图像具有多个光谱波段，具有较高的光谱分辨率，然而其空间分辨率相对较低。因此使用遥感图像识别舰船目标时识别准确率较低。
发明内容
为了克服现有技术的不足，本发明提供一种使用遥感图像识别舰船目标的方法及系统，以解决使用遥感图像识别舰船目标时识别准确率较低的问题。
本发明解决其技术问题所采用的技术方案是：
一方面，
一种使用遥感图像识别舰船目标的方法，包括以下步骤：
获取同一时刻同一场景包含舰船目标的全色图像和多光谱图像；
使用预训练的伪孪生网络模型对将所述全色图像和所述多光谱图像进行特征融合并采用分类网络对融合后的特征进行识别，所述伪孪生网络模型包括全色图像处理分支和多光谱图像处理分支；
得到舰船目标的识别结果。
进一步地，所述使用预训练的伪孪生网络模型对将所述全色图像和所述多光谱图像进行特征融合包括：
使用全色图像处理分支处理所述全色图像得到所述全色图像的多级特征；
使用多光谱图像处理分支处理所述多光谱图像得到所述多光谱图像的特征；
将所述全色图像的多级特征与所述多光谱图像的特征在通道维进行融合得到融合后的特征。
进一步地，所述使用全色图像处理分支处理所述全色图像得到所述全色图像的多级特征包括：
将所述全色图像进行预处理；
将预处理后的全色图像送入第一层卷积网络得到所述全色图像的特征并对所述特征进行最大池化处理；
将最大池化处理的特征依次送入第一紧凑模块和第二紧凑模块得到输出特征，所述第一紧凑模块和第二紧凑模块用于通过不同特征层之间的级联，得到多个层次的抽象特征图，即输出特征；
将所述输出特征进行全局最大池化，压缩模型并展平得到每个通道最具有代表性的特征，即所述全色图像的多级特征。
进一步地，所述第一紧凑模块和第二紧凑模块包括顺序连接的多个特征层；所述第一紧凑模块和第二紧凑模块采用间隔连接的方法将不同特征层的特征连接实现不同特征层之间的级联。
进一步地，所述第一紧凑模块和第二紧凑模块分别包括顺序连接的四个特征层，每个特征层能够得到一个特征；所述采用间隔连接的方法将不同特征层的特征连接实现不同特征层之间的级联包括：
将最大池化处理的特征作为第一紧凑模块的第一特征与第一紧凑模块的第三特征连接；第一紧凑模块的第二特征与第一紧凑模块的第四特征连接；
第一紧凑模块的第五特征经过处理后作为第二紧凑模块中的第一特征；第二紧凑模块的第二特征与第二紧凑模块的第四特征连接；第二紧凑模块的第三特征与第二紧凑模块的第五特征特征连接。
进一步地，所述使用多光谱图像处理分支处理所述多光谱图像得到所述多光谱图像的特征包括：
将所述多光谱图像进行预处理；
将预处理后的图像送入三层卷积神经网络得到三个维度的特征图，每层卷积神经网络包括卷积层、激活层和归一化；
将所述特征图进行全局最大池化处理；
选择每个特征通道上最具代表性的特征，展平得到所述多光谱图像的特征。
进一步地，还包括：
只在三层卷积神经网络的最后一层的卷积神经网络后加入一层池化层。
进一步地，还包括：所述伪孪生网络模型训练时采用图像随机水平翻转、随机垂直翻转、水平旋转的数据增强方法。
进一步地，还包括：所述伪孪生网络模型训练时，在全色图像处理分支和多光谱图像处理分支分别提取各自的特征后，引入dropout层，根据预设参数，按照比例将提取的特征随机置零。
另一方面，
一种使用遥感图像识别舰船目标的系统，包括：
遥感图像获取模块，用于获取同一时刻同一场景包含舰船目标的全色图像和多光谱图像；
特征融合及识别模块，用于使用预训练的伪孪生网络模型对将所述全色图像和所述多光谱图像进行特征融合并采用分类网络对融合后的特征进行识别，所述伪孪生网络模型包括全色图像处理分支和多光谱图像处理分支；
识别结果获取模块，用于得到舰船目标的识别结果。
本申请采用以上技术方案，至少具备以下有益效果：
本发明技术方案提供一种使用遥感图像识别舰船目标的方法及系统，在获取同一时刻同一场景包含舰船目标的全色图像和多光谱图像后，使用预训练的伪孪生网络模型将全色图像和多光谱图像的特征进行特征融合，然后采用分类网络对融合后的特征进行识别，最后得到舰船目标的识别结果。本申请通过伪孪生网络模型中全色图像处理分支和多光谱图像处理分支分别处理全色图像和多光谱图像，然后将得到的特征融合，这样在识别遥感图像中舰船目标时既能采用全色图像具有高空间分辨率的优点；又能综合多光谱图像具有较高的光谱分辨率的优点。因此大大提高了使用遥感图像识别舰船目标时的识别准确率。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明实施例提供的一种使用遥感图像识别舰船目标的方法的流程图；
图2是本发明实施例提供的一种伪孪生网络模型的结构示意图；
图3是本发明实施例提供的一种全色图像处理分支的提取特征的示意图；
图4是本发明实施例提供的一种多光谱图像处理分支的提取特征的示意图；
图5是本发明实施例提供的一种使用遥感图像识别舰船目标的系统的结构示意图。
具体实施方式
为使本申请的目的、技术方案和优点更加清楚，下面结合附图和实施例对本发明的技术方案进行详细的描述说明。显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所得到的所有其它实施方式，都属于本申请所保护的范围。
参照图1，本发明实施例提供一种使用遥感图像识别舰船目标的方法，包括以下步骤：
获取同一时刻同一场景包含舰船目标的全色图像和多光谱图像；
使用预训练的伪孪生网络模型对将使用遥感图像识别舰船目标的方法及系统全色图像和使用遥感图像识别舰船目标的方法及系统多光谱图像进行特征融合并采用分类网络对融合后的特征进行识别，使用遥感图像识别舰船目标的方法及系统伪孪生网络模型包括全色图像处理分支和多光谱图像处理分支；
得到舰船目标的识别结果。
本发明实施例提供的一种使用遥感图像识别舰船目标的方法，在获取同一时刻同一场景包含舰船目标的全色图像和多光谱图像后，使用预训练的伪孪生网络模型将全色图像和多光谱图像的特征进行特征融合，然后采用分类网络对融合后的特征进行识别，最后得到舰船目标的识别结果。本申请通过伪孪生网络模型中全色图像处理分支和多光谱图像处理分支分别处理全色图像和多光谱图像，然后将得到的特征融合，这样在识别遥感图像中舰船目标时既能采用全色图像具有高空间分辨率的优点；又能综合多光谱图像具有较高的光谱分辨率的优点。因此大大提高了使用遥感图像识别舰船目标时的识别准确率。
需要说明的是，图像融合分为像素级融合、特征级融合和决策级融合。像素级融合一般用于图像重建，信息保留的最为全面，对于图像识别任务具有具有较多的冗余性；特征级融合是对图像的边缘轮廓等细节信息预处理并提取特征后进行的操作，具有较好的实时性和精度，适合图像识别任务；决策级融合是对不同源数据分别运算得到结果，按照融合策略对结果进行融合得到最优结果。本申请采用特征级融合。其中本发明实施例采用的分类网络为softmax分类网络。
作为上述实施例的一种补充说明，如图2所示，使用遥感图像识别舰船目标的方法及系统使用预训练的伪孪生网络模型对将使用遥感图像识别舰船目标的方法及系统全色图像和使用遥感图像识别舰船目标的方法及系统多光谱图像进行特征融合包括：
使用全色图像处理分支处理使用遥感图像识别舰船目标的方法及系统全色图像得到使用遥感图像识别舰船目标的方法及系统全色图像的多级特征；
使用多光谱图像处理分支处理使用遥感图像识别舰船目标的方法及系统多光谱图像得到使用遥感图像识别舰船目标的方法及系统多光谱图像的特征；
将使用遥感图像识别舰船目标的方法及系统全色图像的多级特征与使用遥感图像识别舰船目标的方法及系统多光谱图像的特征在通道维进行融合得到融合后的特征。
在实际生活中，全色图像具有较高的空间分辨率，因此蕴含更多的舰船目标细节信息，如船头形状、船的轮廓边缘，这些信息对于舰船刚体目标的识别具有重要作用。卷积神经网络浅层网络可以提取到边缘轮廓等细节信息，随着层数的加深，提取到的特征也具有更高的抽象性。
因此一些可选实施例中，如图3所示，使用遥感图像识别舰船目标的方法及系统使用全色图像处理分支处理使用遥感图像识别舰船目标的方法及系统全色图像得到使用遥感图像识别舰船目标的方法及系统全色图像的多级特征包括：
将使用遥感图像识别舰船目标的方法及系统全色图像进行预处理；
将预处理后的全色图像送入第一层卷积网络得到使用遥感图像识别舰船目标的方法及系统全色图像的特征并对使用遥感图像识别舰船目标的方法及系统特征进行最大池化处理；
将最大池化处理的特征依次送入第一紧凑模块（图3中第一个虚线框）和第二紧凑模块（图3中第二个虚线框）得到输出特征，使用遥感图像识别舰船目标的方法及系统第一紧凑模块和第二紧凑模块用于通过不同特征层之间的级联，得到多个层次的抽象特征图，即输出特征；
将使用遥感图像识别舰船目标的方法及系统输出特征进行全局最大池化，压缩模型并展平得到每个通道最具有代表性的特征，即使用遥感图像识别舰船目标的方法及系统全色图像的多级特征
Figure RE-269384DEST_PATH_IMAGE001
。
进一步地，使用遥感图像识别舰船目标的方法及系统第一紧凑模块和第二紧凑模块包括顺序连接的多个特征层；第一紧凑模块和第二紧凑模块采用间隔连接的方法将不同特征层的特征连接实现不同特征层之间的级联。
示例性的，所述第一紧凑模块和第二紧凑模块分别包括顺序连接的四个特征层，每个特征层能够得到一个特征；所述采用间隔连接的方法将不同特征层的特征连接实现不同特征层之间的级联包括：
将最大池化处理的特征作为第一紧凑模块的第一特征与第一紧凑模块的第三特征连接；第一紧凑模块的第二特征与第一紧凑模块的第四特征连接；
第一紧凑模块的第五特征经过处理后作为第二紧凑模块中的第一特征；第二紧凑模块的第二特征与第二紧凑模块的第四特征连接；第二紧凑模块的第三特征与第二紧凑模块的第五特征特征连接。
作为本发明实施例一种可选实现方式，第一紧凑模块和第二紧凑模块总共包括五级特征，记为x0、x1、x2、x3和x4，不同于密集网络，本申请实施例设计的紧凑模块并非将前一层的输出与后续的每一层输出进行连接，而是采用间隔连接的方法，每间隔两个卷积层进行一次特征连接，具体来说，第一个紧凑模块中x0与x2、x1与x3连接，第二个紧凑模块中，x1与x3、x2与x4连接，以实现不同层特征图的重用组合，获取了更充分特征表示的同时，又避免了冗余的网络结构，降低运算量。
以第一个紧凑模块为例，实现过程可以表示为：
Figure 303975DEST_PATH_IMAGE003
其中，H(·)代表非线性函数，包括BN、Relu、池化、卷积等操作，|表示特征图在通道维进行拼接。在卷积过程中，为保持不同层特征图具有相同大小，实现特征图在通道维的连接，取padding为1、kernal size为3*3。非线性转化过程使得网络更加轻便简洁，加快收敛速度，提高运算速度。
一些可选实施例中，如图4所示，使用遥感图像识别舰船目标的方法及系统使用多光谱图像处理分支处理使用遥感图像识别舰船目标的方法及系统多光谱图像得到使用遥感图像识别舰船目标的方法及系统多光谱图像的特征包括：
将使用遥感图像识别舰船目标的方法及系统多光谱图像进行预处理；
将预处理后的图像送入三层卷积神经网络得到三个维度的特征图，每层卷积神经网络包括卷积层、激活层和归一化；
将使用遥感图像识别舰船目标的方法及系统特征图进行全局最大池化处理；
选择每个特征通道上最具代表性的特征，展平得到使用遥感图像识别舰船目标的方法及系统多光谱图像的特征fMS。
在本申请实施例中，多光谱图像具有四个波段光谱，与全色图像的波段光谱相比，拥有更高的光谱分辨率，意味着更充分的光谱信息。
图3和图4中，PAN image是全色图像，MS image是多光谱图像，Convolution是第一层卷积网络，BN是归一化，Maxpooling是最大池化， Global Maxpooling是全局最大池化，Relu是激活层；特征层或卷积层上的数字128/256/512是该层的通道数。所有结构都是本领域常用结构，在此不再详述。
需要说明的是，三层卷积神经网络为三组包括卷积层、激活层、归一化的非线性结构，均采用3*3卷积核，图像经过这三组非线性结构，分别得到128、256、512维特征图。为更好的保留光谱信息、利用原始光谱信息的相关性，前两组卷积层后不加入池化层，仅在最后一层卷积后加入一层池化层，加快收敛过程。最后，利用全局最大池化，选择出每个特征通道上最具代表性的特征，展平得到特征fMS。
作为本发明实施例一种可选的实现方式，本申请实施例的伪孪生网络模型采取端对端训练方法，参数更新通过反向传播完成。
训练损失为：
Figure RE-890083DEST_PATH_IMAGE003
其中，Y表示真实概率，P表示预测概率，N表示总的样本数目，K表示样本的类别数，这里K=6,
Figure RE-102758DEST_PATH_IMAGE004
，w为分类网络权重，b为偏置，f为全色图像多级特征提取分支与多光谱特征提取分支得到的特征fPAN、fMS在通道维进行连接。
由于全连接层只能输入固定大小的特征向量，为适应模型输入，在训练之前统一将图像大小映射为128*128。深度学习是一种数据驱动算法，必须有大量数据作为支撑，鉴于遥感图像的标注成本大，本文采用了图像随机水平翻转、随机垂直翻转、水平旋转的数据增强方法，为网络增添了额外的训练数据，使得训练更充分。同时，本文设计的轻量化网络识别结构与一些经典网络相比结构较为简单，易产生过拟合问题，导致训练不容易收敛，影响网络性能。因此，在训练中，本文在两个支路分别获取各自的特征后，引入dropout层，根据设置参数，按照比例将提取特征随机置零，增加网络鲁棒性，减少运算量，提高训练效率。
其中，由于全连接层只能输入固定大小的特征向量，为适应模型输入，在训练之前统一将图像大小映射为128*128。深度学习是一种数据驱动算法，必须有大量数据作为支撑，鉴于遥感图像的标注成本大，本文采用了图像随机水平翻转、随机垂直翻转、水平旋转的数据增强方法，为网络增添了额外的训练数据，使得训练更充分。同时，本文设计的轻量化网络识别结构与一些经典网络相比结构较为简单，易产生过拟合问题，导致训练不容易收敛，影响网络性能。因此，在训练中，本文在两个支路分别获取各自的特征后，引入dropout层，根据设置参数，按照比例将提取特征随机置零，增加网络鲁棒性，减少运算量，提高训练效率。
为了进一步说明本申请的方案，本申请还提供了使用遥感图像识别舰船目标的实验及数据。
实验平台为搭载ubantu16.04系统的计算机，配置1080Ti显卡，采用Pytorch深度学习框架。参数设置p取0.5，迭代次数250次，批处理数据8组，起始学习率0.001，每迭代50轮学习率下降为20%，采用ADAM训练优化方法。
本节采用自建的多源遥感图像舰船目标识别数据集MPSC（MS and PAN image ship classification dataset）。该数据集源自GF-2卫星遥感图像，可同时获得同一场景 的全色图像和多光谱图像。本申请对舰船目标制作切片，完成异源图像的配准，并对每个舰 船进行类别标注。全色图像分辨率为1m，多光谱图像的分辨率为4m，含近红外、R、G、B四个波 段光谱，共包含6类舰船，2632组舰船目标，如表1所示，分别为驱逐舰、护卫舰、作战小艇、散 装货船、集装箱船、油船。实验按照4:1的比例划分训练集和测试集。
类别 驱逐舰 护卫舰 作战小艇 散装货船 集装箱船 油船
数量 99 183 264 940 389 791
表1。
在本申请中，为验证本文所提方法的有效性和优越性，在自建的MPSC数据集上，针 对多源图像融合与单源图像的识别效果、不同网络结构的识别效果、不同方法的识别效果 进行实验。表2是多源图像融合和单源图像对比结果。
方法 准确率 训练时间 测试时间
MS_adaptive_net 64.887% 6.102s 1.360s
PAN__dense_net 71.774% 4.84s 0.934s
MPF(proposed) 74.589% 5.629s 1.038s
表2。
通过实验，可以看出本申请构建的网络结构对于全色图像和多光谱图像融合舰船目标识别的准确率要大幅优于单源图像的识别准确率，体现了空、谱信息互补性，证明了网络的有效性，与此相比，训练时间和测试时间的增加也在可以接受的范围内，是值得的。同时，通过对比发现，全色图像的识别准确率要高于多光谱图像，说明全色图像提供的信息量对于识别任务更充分些。伪孪生网络适用完成输入不同却相关的分类任务，受此启发，本申请采用了基于伪孪生网络的全色图像和多光谱图像融合舰船目标识别轻量化网络MPF（MSPAN FusionNetwork），解决了单源图像提供信息不充分的问题；实现网络轻量化，与其他网络相比，运算量大幅降低，训练和测试时间缩短，增强了网络的实时性；从GF-2遥感卫星获取同一时刻同一场景的全色图像和多光谱图像，制作舰船目标切片，构造MPSC(MS and PANShip Classification)全色多光谱舰船目标识别数据集用于网络训练测试使用本文方法在该数据集上测试取得了74.589%的准确率，较其他方法有不同程度的提升。
一个实施例中，本发明还提供一种使用遥感图像识别舰船目标的系统，如图5所示，包括：
遥感图像获取模块510，用于获取同一时刻同一场景包含舰船目标的全色图像和多光谱图像；
特征融合及识别模块520，用于使用预训练的伪孪生网络模型对将使用遥感图像识别舰船目标的方法及系统全色图像和使用遥感图像识别舰船目标的方法及系统多光谱图像进行特征融合并采用分类网络523对融合后的特征进行识别，使用遥感图像识别舰船目标的方法及系统伪孪生网络模型包括全色图像处理分支521和多光谱图像处理分支522。
需要说明的是，使用遥感图像识别舰船目标的方法及系统伪孪生网络模型训练时采用图像随机水平翻转、随机垂直翻转、水平旋转的数据增强方法。使用遥感图像识别舰船目标的方法及系统伪孪生网络模型训练时，在全色图像处理分支和多光谱图像处理分支分别提取各自的特征后，引入dropout层，根据预设参数，按照比例将提取的特征随机置零。
具体地，特征融合及识别模块使用全色图像处理分支处理使用遥感图像识别舰船目标的方法及系统全色图像得到使用遥感图像识别舰船目标的方法及系统全色图像的多级特征；
使用多光谱图像处理分支处理使用遥感图像识别舰船目标的方法及系统多光谱图像得到使用遥感图像识别舰船目标的方法及系统多光谱图像的特征；
将使用遥感图像识别舰船目标的方法及系统全色图像的多级特征与使用遥感图像识别舰船目标的方法及系统多光谱图像的特征在通道维进行融合得到融合后的特征。
其中，全色图像处理分支将使用遥感图像识别舰船目标的方法及系统全色图像进行预处理；
将预处理后的全色图像送入第一层卷积网络得到使用遥感图像识别舰船目标的方法及系统全色图像的特征并对使用遥感图像识别舰船目标的方法及系统特征进行最大池化处理；
将最大池化处理的特征依次送入第一紧凑模块和第二紧凑模块得到输出特征，使用遥感图像识别舰船目标的方法及系统第一紧凑模块和第二紧凑模块用于通过不同特征层之间的级联，得到多个层次的抽象特征图，即输出特征；
将使用遥感图像识别舰船目标的方法及系统输出特征进行全局最大池化，压缩模型并展平得到每个通道最具有代表性的特征，即使用遥感图像识别舰船目标的方法及系统全色图像的多级特征。
进一步地，第一紧凑模块和第二紧凑模块包括顺序连接的多个特征层；第一紧凑模块和第二紧凑模块采用间隔连接的方法将不同特征层的特征连接实现不同特征层之间的级联。具体地，使用遥感图像识别舰船目标的方法及系统第一紧凑模块和第二紧凑模块总共包括五个特征层，每个特征层能够得到一个特征；使用遥感图像识别舰船目标的方法及系统采用间隔连接的方法将不同特征层的特征连接实现不同特征层之间的级联包括：
第一紧凑模块中：第一特征层的特征与第三特征层的特征连接；第二特征层的特征与第四特征层的特征连接；
第二紧凑模块中：第二特征层的特征与第四特征层的特征连接；第三特征层与第五特征层的特征连接。
多光谱图像处理分支将使用遥感图像识别舰船目标的方法及系统多光谱图像进行预处理；
将预处理后的图像送入三层卷积神经网络得到三个维度的特征图，每层卷积神经网络包括卷积层、激活层和归一化；
将使用遥感图像识别舰船目标的方法及系统特征图进行全局最大池化处理；
选择每个特征通道上最具代表性的特征，展平得到使用遥感图像识别舰船目标的方法及系统多光谱图像的特征。其中，还包括：只在三层卷积神经网络的最后一层的卷积神经网络后加入一层池化层。
识别结果获取模块530，用于得到舰船目标的识别结果。
本发明实施例提供的一种使用遥感图像识别舰船目标的系统，遥感图像获取模块获取同一时刻同一场景包含舰船目标的全色图像和多光谱图像；特征融合及识别模块使用预训练的伪孪生网络模型对将使用遥感图像识别舰船目标的方法及系统全色图像和使用遥感图像识别舰船目标的方法及系统多光谱图像进行特征融合并采用分类网络对融合后的特征进行识别；识别结果获取模块得到舰船目标的识别结果。将同一时刻同一场景下包含舰船目标的全色图像和多光谱图像输入到伪孪生网络模型，经过伪孪生网络模型将全色图像和多光源图像的特征融合，然后在分类网络中识别融合后的特征，最终得到舰船目标的识别结果。识别效率快，准确率高。
可以理解的是，上述各实施例中相同或相似部分可以相互参考，在一些实施例中未详细说明的内容可以参见其他实施例中相同或相似的内容。
需要说明的是，在本申请的描述中，术语“第一”、“第二”等仅用于描述目的，而不能理解为指示或暗示相对重要性。此外，在本申请的描述中，除非另有说明，“多个”的含义是指至少两个。
流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为，表示包括一个或更多个用于实现特定逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分，并且本申请的优选实施方式的范围包括另外的实现，其中可以不按所示出或讨论的顺序，包括根据所涉及的功能按基本同时的方式或按相反的顺序，来执行功能，这应被本申请的实施例所属技术领域的技术人员所理解。
应当理解，本申请的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中，多个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。例如，如果用硬件来实现，和在另一实施方式中一样，可用本领域公知的下列技术中的任一项或他们的组合来实现：具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路，具有合适的组合逻辑门电路的专用集成电路，可编程门阵列（PGA），现场可编程门阵列（FPGA）等。
本技术领域的普通技术人员可以理解实现上述实施例方法携带的全部或部分步骤是可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，该程序在执行时，包括方法实施例的步骤之一或其组合。
此外，在本申请各个实施例中的各功能单元可以集成在一个处理模块中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。所述集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。
上述提到的存储介质可以是只读存储器，磁盘或光盘等。
在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本申请的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。
尽管上面已经示出和描述了本申请的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本申请的限制，本领域的普通技术人员在本申请的范围内可以对上述实施例进行变化、修改、替换和变型。

Claims (10)

1.一种使用遥感图像识别舰船目标的方法，其特征在于，包括以下步骤：
获取同一时刻同一场景包含舰船目标的全色图像和多光谱图像；
使用预训练的伪孪生网络模型对将所述全色图像和所述多光谱图像进行特征融合并采用分类网络对融合后的特征进行识别，所述伪孪生网络模型包括全色图像处理分支和多光谱图像处理分支；
得到舰船目标的识别结果。
2.根据权利要求1所述的方法，其特征在于：所述使用预训练的伪孪生网络模型对将所述全色图像和所述多光谱图像进行特征融合包括：
使用全色图像处理分支处理所述全色图像得到所述全色图像的多级特征；
使用多光谱图像处理分支处理所述多光谱图像得到所述多光谱图像的特征；
将所述全色图像的多级特征与所述多光谱图像的特征在通道维进行融合得到融合后的特征。
3.根据权利要求1所述的方法，其特征在于：所述使用全色图像处理分支处理所述全色图像得到所述全色图像的多级特征包括：
将所述全色图像进行预处理；
将预处理后的全色图像送入第一层卷积网络得到所述全色图像的特征并对所述特征进行最大池化处理；
将最大池化处理的特征依次送入第一紧凑模块和第二紧凑模块得到输出特征，所述第一紧凑模块和第二紧凑模块用于通过不同特征层之间的级联，得到多个层次的抽象特征图，即输出特征；
将所述输出特征进行全局最大池化，压缩模型并展平得到每个通道最具有代表性的特征，即所述全色图像的多级特征。
4.根据权利要求3所述的方法，其特征在于：所述第一紧凑模块和第二紧凑模块包括顺序连接的多个特征层；所述第一紧凑模块和第二紧凑模块采用间隔连接的方法将不同特征层的特征连接实现不同特征层之间的级联。
5.根据权利要求4所述的方法，其特征在于：所述第一紧凑模块和第二紧凑模块分别包括顺序连接的四个特征层，每个特征层能够得到一个特征；所述采用间隔连接的方法将不同特征层的特征连接实现不同特征层之间的级联包括：
将最大池化处理的特征作为第一紧凑模块的第一特征与第一紧凑模块的第三特征连接；第一紧凑模块的第二特征与第一紧凑模块的第四特征连接；
第一紧凑模块的第五特征经过处理后作为第二紧凑模块中的第一特征；第二紧凑模块的第二特征与第二紧凑模块的第四特征连接；第二紧凑模块的第三特征与第二紧凑模块的第五特征特征连接。
6.根据权利要求2所述的方法，其特征在于：所述使用多光谱图像处理分支处理所述多光谱图像得到所述多光谱图像的特征包括：
将所述多光谱图像进行预处理；
将预处理后的图像送入三层卷积神经网络得到三个维度的特征图，每层卷积神经网络包括卷积层、激活层和归一化；
将所述特征图进行全局最大池化处理；
选择每个特征通道上最具代表性的特征，展平得到所述多光谱图像的特征。
7.根据权利要求6所述的方法，其特征在于，还包括：
只在三层卷积神经网络的最后一层的卷积神经网络后加入一层池化层。
8.根据权利要求1所述的方法，其特征在于，还包括：所述伪孪生网络模型训练时采用图像随机水平翻转、随机垂直翻转、水平旋转的数据增强方法。
9.根据权利要求1所述的方法，其特征在于，还包括：所述伪孪生网络模型训练时，在全色图像处理分支和多光谱图像处理分支分别提取各自的特征后，引入dropout层，根据预设参数，按照比例将提取的特征随机置零。
10.一种使用遥感图像识别舰船目标的系统，其特征在于，包括：
遥感图像获取模块，用于获取同一时刻同一场景包含舰船目标的全色图像和多光谱图像；
特征融合及识别模块，用于使用预训练的伪孪生网络模型对将所述全色图像和所述多光谱图像进行特征融合并采用分类网络对融合后的特征进行识别，所述伪孪生网络模型包括全色图像处理分支和多光谱图像处理分支；
识别结果获取模块，用于得到舰船目标的识别结果。
CN202110238322.XA 2021-03-04 2021-03-04 一种使用遥感图像识别舰船目标的方法及系统 Pending CN112861774A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110238322.XA CN112861774A (zh) 2021-03-04 2021-03-04 一种使用遥感图像识别舰船目标的方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110238322.XA CN112861774A (zh) 2021-03-04 2021-03-04 一种使用遥感图像识别舰船目标的方法及系统

Publications (1)

Publication Number Publication Date
CN112861774A true CN112861774A (zh) 2021-05-28

Family

ID=75991491

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110238322.XA Pending CN112861774A (zh) 2021-03-04 2021-03-04 一种使用遥感图像识别舰船目标的方法及系统

Country Status (1)

Country Link
CN (1) CN112861774A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112560706A (zh) * 2020-12-18 2021-03-26 广东电网有限责任公司电力科学研究院 一种多源卫星图像水体目标识别方法及装置
CN113537379A (zh) * 2021-07-27 2021-10-22 沈阳工业大学 一种基于CGANs的立体匹配方法
CN113627292A (zh) * 2021-07-28 2021-11-09 广东海启星海洋科技有限公司 基于融合网络的遥感图像识别方法及装置

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108062754A (zh) * 2018-01-19 2018-05-22 深圳大学 基于密集网络图像的分割、识别方法和装置
CN109146831A (zh) * 2018-08-01 2019-01-04 武汉大学 基于双支深度学习网络的遥感图像融合方法及系统
CN110189282A (zh) * 2019-05-09 2019-08-30 西北工业大学 基于密集和跳跃连接深度卷积网络的多光谱和全色图像融合方法
CN110930315A (zh) * 2019-10-23 2020-03-27 西北工业大学 基于双通路卷积网络和层次clstm的多光谱图像全色锐化方法
CN111008642A (zh) * 2019-10-25 2020-04-14 湖北富瑞尔科技有限公司 基于卷积神经网络的高分辨率遥感影像分类方法及系统
CN111523521A (zh) * 2020-06-18 2020-08-11 西安电子科技大学 一种双支路融合多尺度注意神经网络的遥感图像分类方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108062754A (zh) * 2018-01-19 2018-05-22 深圳大学 基于密集网络图像的分割、识别方法和装置
CN109146831A (zh) * 2018-08-01 2019-01-04 武汉大学 基于双支深度学习网络的遥感图像融合方法及系统
CN110189282A (zh) * 2019-05-09 2019-08-30 西北工业大学 基于密集和跳跃连接深度卷积网络的多光谱和全色图像融合方法
CN110930315A (zh) * 2019-10-23 2020-03-27 西北工业大学 基于双通路卷积网络和层次clstm的多光谱图像全色锐化方法
CN111008642A (zh) * 2019-10-25 2020-04-14 湖北富瑞尔科技有限公司 基于卷积神经网络的高分辨率遥感影像分类方法及系统
CN111523521A (zh) * 2020-06-18 2020-08-11 西安电子科技大学 一种双支路融合多尺度注意神经网络的遥感图像分类方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
陈丽琼等: "基于多分类学习的光学遥感图像舰船检测", 《华中科技大学学报(自然科学版)》 *

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112560706A (zh) * 2020-12-18 2021-03-26 广东电网有限责任公司电力科学研究院 一种多源卫星图像水体目标识别方法及装置
CN112560706B (zh) * 2020-12-18 2022-03-29 广东电网有限责任公司电力科学研究院 一种多源卫星图像水体目标识别方法及装置
CN113537379A (zh) * 2021-07-27 2021-10-22 沈阳工业大学 一种基于CGANs的立体匹配方法
CN113537379B (zh) * 2021-07-27 2024-04-16 沈阳工业大学 一种基于CGANs的立体匹配方法
CN113627292A (zh) * 2021-07-28 2021-11-09 广东海启星海洋科技有限公司 基于融合网络的遥感图像识别方法及装置
CN113627292B (zh) * 2021-07-28 2024-04-30 广东海启星海洋科技有限公司 基于融合网络的遥感图像识别方法及装置

Similar Documents

Publication Publication Date Title
Minetto et al. Hydra: An ensemble of convolutional neural networks for geospatial land classification
US10282589B2 (en) Method and system for detection and classification of cells using convolutional neural networks
Isikdogan et al. Surface water mapping by deep learning
CN112861774A (zh) 一种使用遥感图像识别舰船目标的方法及系统
Fu et al. Reciprocal translation between SAR and optical remote sensing images with cascaded-residual adversarial networks
Zhou et al. Interlinked convolutional neural networks for face parsing
CN112507777A (zh) 一种基于深度学习的光学遥感图像舰船检测与分割方法
US20220301301A1 (en) System and method of feature detection in satellite images using neural networks
CN116343144B (zh) 一种融合视觉感知自适应去雾的实时目标检测方法
CN113743417B (zh) 语义分割方法和语义分割装置
CN115527056A (zh) 基于双混合卷积生成对抗网络的高光谱图像分类方法
CN115631427A (zh) 一种基于混合注意力多场景船舶检测分割方法
Oehmcke et al. Creating cloud-free satellite imagery from image time series with deep learning
Rout et al. Deepswir: A deep learning based approach for the synthesis of short-wave infrared band using multi-sensor concurrent datasets
EP4296706A1 (en) Method and system for lulc guided sar visualization
Li et al. Ship classification by the fusion of Panchromatic image and multi-spectral image based on Pseudo Siamese LightweightNetwork
CN116188859A (zh) 一种基于超分和检测网络的茶叶病害无人机遥感监测方法
CN113837185B (zh) 目标检测方法、系统、装置及存储介质
Huang et al. Research on crop planting area classification from remote sensing image based on deep learning
Zou et al. DiffCR: A fast conditional diffusion framework for cloud removal from optical satellite images
US11182672B1 (en) Optimized focal-plane electronics using vector-enhanced deep learning
Bebis et al. Advances in Visual Computing: 14th International Symposium on Visual Computing, ISVC 2019, Lake Tahoe, NV, USA, October 7–9, 2019, Proceedings, Part II
Kang et al. Band-wise multi-scale CNN architecture for remote sensing image scene classification
Kamel et al. Data Augmentation for Land Cover Classification Using Generative Adversarial Networks
Gujrathi et al. Improving the classification of Land use Objects using Dense Connectitvity of Convolutional Neural Networks

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20210528

RJ01 Rejection of invention patent application after publication