CN111027512B - 一种遥感图像近岸船检测与定位方法及装置 - Google Patents

一种遥感图像近岸船检测与定位方法及装置 Download PDF

Info

Publication number
CN111027512B
CN111027512B CN201911348700.9A CN201911348700A CN111027512B CN 111027512 B CN111027512 B CN 111027512B CN 201911348700 A CN201911348700 A CN 201911348700A CN 111027512 B CN111027512 B CN 111027512B
Authority
CN
China
Prior art keywords
ship
feature map
preset
determining
network
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201911348700.9A
Other languages
English (en)
Other versions
CN111027512A (zh
Inventor
毕福昆
冯素婷
田雨萌
侯金元
后兴海
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
North China University of Technology
Original Assignee
North China University of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by North China University of Technology filed Critical North China University of Technology
Priority to CN201911348700.9A priority Critical patent/CN111027512B/zh
Publication of CN111027512A publication Critical patent/CN111027512A/zh
Application granted granted Critical
Publication of CN111027512B publication Critical patent/CN111027512B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G06V20/13—Satellite images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/213—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10032—Satellite or aerial image; Remote sensing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Molecular Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Software Systems (AREA)
  • Mathematical Physics (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Astronomy & Astrophysics (AREA)
  • Remote Sensing (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明实施例提供一种遥感图像近岸船检测与定位方法及装置，方法包括：提取遥感图像中的特征，并生成特征图；对最后一层特征图进行相关处理，得到不同尺度的船舶局域特征图；在不同尺度的船舶局域特征图上设置预设个数预置框；确定预置框内的目标置信度以及预置框的偏移量；根据预置框内的目标置信度，确定旋转框内的目标置信度，并且根据预置框的偏移量及四点坐标，确定旋转框的四点坐标，得到与所述预置框对应的旋转框，以检测船舶的位置。本发明在DSOD网络中嵌入视觉注意力增强网络模型，增强了船舶局域特征，从而提升了船舶预测的准确度；在不同尺度船舶局域特征图上设置预置框，提升了船舶预测的准确度和定位精度。

Description

一种遥感图像近岸船检测与定位方法及装置
技术领域
本发明涉及通信技术领域，尤其涉及一种遥感图像近岸船检测与定位方法及装置。
背景技术
随着遥感技术的飞速发展，近岸船检测在遥感领域越来越受到重视。
目前，基于遥感图像的近岸船检测方法种类较多。如传统检测方法中，研究者们提出基于加权和旋转尺度不变的船舶检测方法；或者通过提取感兴趣区域的船舶目标的形状和纹理等组合特征，从粗到细进行船舶检测；还尝试通过横纵梯度扫描筛选船舶候选区，利用DPM(Deformable Parts Model，可变形的组件模型)方法进行船舶检测。但是，由于遥感图像存在大量在颜色、形状和纹理等特征相似的干扰物，难以区分靠港和近港等船舶目标。此外，卷积神经网络在目标检测领域得到了广泛的应用，目前卷积神经网络采用叠加网络结构深度的策略能够提升网络的检测性能，例如：基于Resnet架构的网络增加了网络的宽度，ResnetXt增加了网络的基数来泛化网络，深入的网络训练得到更深层次的特征表达。然而，由于遥感图像数据量大，目标与背景特征差异不显著，检测定位不准确。
因此，如何提升船舶检测的准确率和定位精度成为亟待解决的问题。
发明内容
本发明实施例提供一种遥感图像近岸船检测与定位方法及装置，用以解决如何提升船舶检测的准确率和定位精度问题。
本发明实施例提供一种遥感图像近岸船检测与定位方法，包括：
提取遥感图像中的特征，并生成特征图；
对最后一层特征图进行相关处理，得到不同尺度的船舶局域特征图；
在所述不同尺度的船舶局域特征图上设置预设个数预置框；
确定所述预置框内的目标置信度以及所述预置框的偏移量；
根据所述预置框内的目标置信度，确定旋转框内的目标置信度，并且根据所述预置框的偏移量及四点坐标，确定所述旋转框的四点坐标，得到与所述预置框对应的旋转框，以检测船舶的位置。
可选地，所述提取遥感图像中的特征，并生成特征图，包括：
利用DSOD网络的卷积层提取所述遥感图像中的特征，并生成特征图。
可选地，所述对最后一层特征图进行相关处理，得到不同尺度的船舶局域特征图，包括：
利用视觉注意力增强网络模型对DSOD网络生成的特征图中的最后一层特征图进行相关处理，得到所述不同尺度的船舶局域特征图。
可选地，所述利用视觉注意力增强网络模型对DSOD网络生成的特征图中的最后一层特征图进行相关处理，得到所述不同尺度的船舶局域特征图，包括：
平均池化和最大池化对DSOD提取的特征进行采集，并基于采集的结果生成具有通道信息的一维向量F1和F2；
将所述一维向量F1和F2分别输入共享网络，生成所述注意力映射M1和M2；
基于所述注意力映射M1和M2，生成具有表征特征图信息的一维向量Mc；
根据所述一维向量Mc和所述DSOD网络生成的特征图中的最后一层特征图，确定所述不同尺度的船舶局域特征图。
可选地，所述基于所述注意力映射M1和M2，生成具有表征特征图信息的一维向量Mc，包括：
合并所述注意力映射M1和M2，并根据合并后的结果，生成具有表征特征图信息的一维向量Mc。
可选地，所述根据所述一维向量Mc和所述DSOD网络生成的特征图中的最后一层特征图，确定所述不同尺度的船舶局域特征图，包括：
所述一维向量Mc与所述DSOD网络生成的特征图中的最后一层特征图相乘，得到所述不同尺度的船舶局域特征图。
可选地，所述根据所述预置框内的目标置信度，确定旋转框内的目标置信度，并且根据所述预置框的偏移量及四点坐标，确定所述旋转框的四点坐标，得到与所述预置框对应的旋转框，以检测船舶的位置，具体包括：
根据所述预置框内的目标置信度，确定旋转框内的目标置信度，并且根据所述预置框的偏移量及四点坐标，确定所述旋转框的四点坐标，得到与所述预置框对应的旋转框；
基于非极大值抑制对所述旋转框进行剔除，以确定所述船舶的最终位置。
本发明实施例提供一种遥感图像近岸船检测与定位装置，包括：提取和生成模块、相关处理模块、设置模块、置信度和偏移量确定模块和旋转框四点坐标确定模块；
所述提取和生成模块，用于提取遥感图像中的特征，并生成特征图；
所述相关处理模块，用于对最后一层特征图进行相关处理，得到船舶局域特征图；
所述设置模块，用于在所述船舶局域特征图上设置预设个数预置框；
所述置信度和偏移量确定模块，用于确定所述预置框内的目标置信度以及所述预置框的偏移量；
所述旋转框四点坐标确定模块，用于根据所述预置框内的目标置信度，确定旋转框内的目标置信度，并且根据所述预置框的偏移量及四点坐标，确定所述旋转框的四点坐标，得到与所述预置框对应的旋转框，以检测船舶的位置。
可选地，所述提取和生成模块，具体用于：
利用DSOD网络的卷积层提取所述遥感图像中的特征，并生成特征图。
可选地，所述相关处理模块，具体用于：
利用视觉注意力增强网络模型对DSOD网络生成的特征图中的最后一层特征图进行相关处理，得到所述不同尺度的船舶局域特征图。
可选地，所述利用视觉注意力增强网络模型对DSOD网络生成的特征图中的最后一层特征图进行相关处理，得到所述不同尺度的船舶局域特征图，包括：
平均池化和最大池化对DSOD提取的特征进行采集，并基于采集的结果生成具有通道信息的一维向量F1和F2；
将所述一维向量F1和F2分别输入共享网络，生成所述注意力映射M1和M2；
基于所述注意力映射M1和M2，生成具有表征特征图信息的一维向量Mc；
根据所述一维向量Mc和所述DSOD网络生成的特征图中的最后一层特征图，确定所述不同尺度的船舶局域特征图。
可选地，所述基于所述注意力映射M1和M2，生成具有表征特征图信息的一维向量Mc，包括：
合并所述注意力映射M1和M2，并根据合并后的结果，生成具有表征特征图信息的一维向量Mc。
可选地，所述根据所述一维向量Mc和所述DSOD网络生成的特征图中的最后一层特征图，确定所述不同尺度的船舶局域特征图，包括：
所述一维向量Mc与所述DSOD网络生成的特征图中的最后一层特征图相乘，得到所述不同尺度的船舶局域特征图。
可选地，所述旋转框四点坐标确定模块，具体用于：
根据所述预置框内的目标置信度，确定所述旋转框内的目标置信度，并且根据所述预置框的偏移量及四点坐标，确定所述旋转框的四点坐标，得到与所述预置框对应的旋转框；
基于非极大值抑制对所述旋转框进行剔除，以确定所述船舶的最终位置。
本发明一实施例还提供一种电子设备，包括：
至少一个处理器；以及
与所述处理器通信连接的至少一个存储器，其中：
所述存储器存储有可被所述处理器执行的程序指令，所述处理器调用所述程序指令能够执行上述方法。
本发明一实施例还提供一种非暂态计算机可读存储介质，所述非暂态计算机可读存储介质存储计算机程序，所述计算机程序使所述计算机执行上述方法。
本发明实施例在DSOD网络中嵌入视觉注意力增强网络模型，增强了船舶局域特征，从而提升了船舶预测的准确度；在不同尺度船舶局域特征图上设置预置框，提升了船舶预测的准确度和定位精度。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明一实施例提供的一种遥感图像近岸船检测与定位方法的流程示意图；
图2为本发明一实施例提供的基于视觉增强DSOD的遥感图像近岸船检测方法流程图；
图3为本发明一实施例提供的预置框与旋转框的示意图；
图4为本发明一实施例提供的旋转框重叠示意图；
图5为本发明一实施例提供的一种遥感图像近岸船检测与定位装置的结构示意图；
图6为本发明一实施例提供的电子设备的逻辑框图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
图1示出了本发明一实施例提供的一种遥感图像近岸船检测与定位方法的流程示意图，包括：
S11，提取遥感图像中的特征，并生成特征图。
在本发明实施例中，如图2所示，首先输入一张遥感图像，利用DSOD(DeeplySupervised Object Detector，深入的监督对象检测器)网络的卷积层提取特征，并生成特征图。
S12，对最后一层特征图进行相关处理，得到不同尺度的船舶局域特征图。
在本发明实施例中，为提升船舶局域特征的显著性，本发明实施例采用视觉注意力增强网络模型对DSOD的最后一层特征图进行特征增强，如图2所示，在通道维度上提升网络的视觉注意力。
S13，在所述不同尺度的船舶局域特征图上设置预设个数预置框。
在本发明实施例中，在不同尺度的船舶局域特征图上设置预设个数预置框进行预置框回归检测。本发明实施例根据船舶的尺度特性和遥感图像的分辨率，设置了C1，C2，C3，C4和C5为5种尺度的船舶局域特征图，尺度分别为如图2所示的4*4、8*8、16*16、32*32、64*64。遥感图像分辨率为1m，输入图像为1k*1k像素，将船舶局域特征图上的预置框映射回原图，其船舶局域特征图64*64上能够预测最小15*15个像素的船舶，在4*4的特征图能预测300*300个像素的船舶，基本包含所有尺寸的船舶，进而克服在遥感图像中具有类内尺度差异大的问题。另外船舶的形状一般为长宽比例不同的长方形，为了能够适应不同方向、不同长度船舶，本发明实施例在每种船舶局域特征图的每个位置设置8个预置框。根据舰船比例特性，检测的特征图上设置了8个不同横纵比的矩形框(即预置框)(1：1，1：3，3：1，1：5，5：1，1：7，7：1)，覆盖了不同长度的船舶，准确回归检测。其中1：1的为两个不同尺寸正方形的框。
S14，确定所述预置框内的目标置信度以及所述预置框的偏移量。
在本发明实施例中，在训练阶段，真实框匹配到IOU大于0.5的预置框d＝(x0，yo；w0，h0)作为正样本，预置框的中心点坐标(x0，yo)，宽和高(w0，h0)，没有匹配上的为负样本。为了减少正负样本的不平衡，本文随机筛选负样本，使得正负样本的比例为1：3。通过DSOD网络正向传播，得到目标的置信度，将置信度输入损失函数，求解置信度与真实目标的误差。再利用反向传播不断学习得到最终卷积核参数。需要说明的是，图3中的虚线框d表示预置框，实线框q表示旋转框。在检测阶段，为了检测船舶的置信度和旋转框坐标，训练得到的卷积核参数对图像经过一系列卷积，计算每个预置框内的目标置信度以及预置框的偏移量。
S15，根据所述预置框内的目标置信度，确定旋转框内的目标置信度，并且根据所述预置框的偏移量及四点坐标，确定所述旋转框的四点坐标，得到与所述预置框对应的旋转框，以检测船舶的位置。
在本发明实施例中，根据所述预置框内的目标置信度，可以确定出旋转框内的目标置信度。具体地，所述旋转框内的目标置信度即是所述预置框内的目标置信度。此外，根据所述预置框的偏移量及四点坐标，可以确定出所述旋转框的四点坐标，得到与所述预置框对应的旋转框，以检测船舶的位置。
本发明实施例在DSOD网络中嵌入视觉注意力增强网络模型，增强了船舶局域特征，从而提升了船舶预测的准确度；在不同尺度船舶局域特征图上设置预置框，提升了船舶预测的准确度和定位精度。
进一步地，在上述方法实施例的基础上，所述提取遥感图像中的特征，并生成特征图，包括：
利用DSOD网络的卷积层提取所述遥感图像中的特征，并生成特征图。
在本发明实施例中，首先需要说明的是，DSOD的网络结构作为船舶检测的特征提取模块，其网络结构不需要预训练的基网络就能够训练拟合得到最佳模型，相比于需要大量样本预训练的检测网络，在保证检测性能的同时可以快速实现网络结构的调整。因此，在本发明实施例中，利用DSOD网络的卷积层提取如图2所示的输入遥感图像中的特征，并生成特征图。
本发明实施例利用DSOD网络提取遥感图像中的特征，并生成特征图，为视觉注意力增强网络模型进行特征增强提供了依据。
进一步地，在上述方法实施例的基础上，所述对最后一层特征图进行相关处理，得到不同尺度的船舶局域特征图，包括：
利用视觉注意力增强网络模型对DSOD网络生成的特征图中的最后一层特征图进行相关处理，得到所述不同尺度的船舶局域特征图。
在本发明实施例中，由于卷积的最后一层特征图具有深层次图像特征，因此利用视觉注意力增强网络模型对DSOD网络生成的特征图中的最后一层特征图进行相关处理，即增强船舶局域特征，得到不同尺度的船舶局域特征图。
本发明实施例通过对DSOD网络生成的特征图中的最后一层特征图进行相关处理，得到不同尺度的船舶局域特征图。
进一步地，在上述方法实施例的基础上，所述利用视觉注意力增强网络模型对DSOD网络生成的特征图中的最后一层特征图进行相关处理，得到所述不同尺度的船舶局域特征图，包括：
平均池化和最大池化对DSOD提取的特征进行采集，并基于采集的结果生成具有通道信息的一维向量F1和F2；
将所述一维向量F1和F2分别输入共享网络，生成所述注意力映射M1和M2；
基于所述注意力映射M1和M2，生成具有表征特征图信息的一维向量Mc；
根据所述一维向量Mc和所述DSOD网络生成的特征图中的最后一层特征图，确定所述不同尺度的船舶局域特征图。
在本发明实施例中，分别用平均池化和最大池化分别对DSOD提取的特征进行采集，形成具有通道信息的一维向量F1和F2。将F1和F2分别输入MLP(Multi-LayerPerception，共享网络)，生成注意力映射M1和M2。根据公式(2)，基于注意力映射M1和M2，通过激励函数Relu形成具有表征特征图信息的一维向量Mc。一维向量Mc与DSOD网络生成的特征图中的最后一层特征图相乘后形成更强表征能力的特征图，即不同尺度的船舶局域特征图。σ表示的是sigmoid激活函数，W0和W1为共享权重。
Figure BDA0002334105890000081
本发明实施例确定出了不同尺度的船舶局域特征图，为船舶的检查和定位提供了依据。
进一步地，在上述方法实施例的基础上，所述基于所述注意力映射M1和M2，生成具有表征特征图信息的一维向量Mc，包括：
合并所述注意力映射M1和M2，并根据合并后的结果，生成具有表征特征图信息的一维向量Mc。
在本发明实施例中，通过合并注意力映射M1和M2，利用激活函数Relu生成具有表征特征图信息的一维向量Mc。
本发明实施例确定出了具有表征特征图信息的一维向量Mc，为后续生成不同尺度的船舶局域特征图提供了依据。
进一步地，在上述方法实施例的基础上，所述根据所述一维向量Mc和所述DSOD网络生成的特征图中的最后一层特征图，确定所述不同尺度的船舶局域特征图，包括：
所述一维向量Mc与所述DSOD网络生成的特征图中的最后一层特征图相乘，得到所述不同尺度的船舶局域特征图。
在本发明实施例中，为得到不同尺度的船舶局域特征图，将一维向量Mc与DSOD网络生成的特征图中的最后一层特征图相乘。
本发明实施例确定出的不同尺度的船舶局域特征图覆盖了不同长度的船舶，使得船舶检测结果更准确。
进一步地，在上述方法实施例的基础上，所述根据所述预置框内的目标置信度，确定旋转框内的目标置信度，并且根据所述预置框的偏移量及四点坐标，确定所述旋转框的四点坐标，得到与所述预置框对应的旋转框，以检测船舶的位置，具体包括：
根据所述预置框内的目标置信度，确定旋转框内的目标置信度，并且根据所述预置框的偏移量及四点坐标，确定所述旋转框的四点坐标，得到与所述预置框对应的旋转框；
基于非极大值抑制对所述旋转框进行剔除，以确定所述船舶的最终位置。
在本发明实施例中，根据所述预置框内的目标置信度，可以确定出旋转框内的目标置信度。需要说明的是，可以先将预置框内目标置信度小于0.5的预置框剔除。然后根据大于或等于0.5的预置框内的目标置信度，确定出与所述预置框对应的所述旋转框内的目标置信度，减小了计算量。
在本发明实施例中，根据所述预置框的偏移量及四点坐标，确定所述旋转框的四点坐标。具体地，所述预置框的偏移量Δq＝(Δx1，Δy1；Δx2，Δy2；Δx3，Δy3；Δx4，Δy4)。公式(3)是所述预置框的四点坐标。结合公式(4)，计算旋转框的四点坐标
Figure BDA0002334105890000101
Figure BDA0002334105890000102
Figure BDA0002334105890000103
得到与所述预置框对应的旋转框。
在本发明实施例中，基于非极大值抑制对所述旋转框进行剔除，以确定所述船舶的最终位置。具体地，旋转框NMS(Non-Maximum Suppression，非极大值抑制)根据检测的结果判断旋转框是否重叠。如图4所示，若重叠，则计算两个旋转框的重叠区域的面积。由于重叠区域为多边形，如图4所示，因此计算各个三角形的面积，从而计算重叠区域的面积So，合并区域的面积Su，以及IoU。若IoU大于设定的阈值，根据旋转框内的目标置信度的大小剔除多余的旋转框，得到最佳旋转框坐标，实现船舶的准确定位。其中，
Figure BDA0002334105890000104
Su＝w0*h0+w1*h1-So
IoU＝So/Su
本发明实施例根据旋转框内的目标置信度的大小剔除了多余的旋转框，得到最佳旋转框坐标，实现了船舶的准确定位。
图5示出了本发明实施例提供的遥感图像近岸船检测与定位装置的结构示意图，所述装置包括：提取和生成模块51、相关处理模块52、设置模块53、置信度和偏移量确定模块54和旋转框四点坐标确定模块55；
所述提取和生成模块51，用于提取遥感图像中的特征，并生成特征图；
所述相关处理模块52，用于对最后一层特征图进行相关处理，得到船舶局域特征图；
所述设置模块53，用于在所述船舶局域特征图上设置预设个数预置框；
所述置信度和偏移量确定模块54，用于确定所述预置框内的目标置信度以及所述预置框的偏移量；
所述旋转框四点坐标确定模块55，用于根据所述预置框内的目标置信度，确定旋转框内的目标置信度，并且根据所述预置框的偏移量及四点坐标，确定所述旋转框的四点坐标，得到与所述预置框对应的旋转框，以检测船舶的位置。
进一步地，在上述装置实施例的基础上，所述提取和生成模块51，具体用于：
利用DSOD网络的卷积层提取所述遥感图像中的特征，并生成特征图。
进一步地，在上述装置实施例的基础上，所述相关处理模块52，具体用于：
利用视觉注意力增强网络模型对DSOD网络生成的特征图中的最后一层特征图进行相关处理，得到所述不同尺度的船舶局域特征图。
进一步地，在上述装置实施例的基础上，所述利用视觉注意力增强网络模型对DSOD网络生成的特征图中的最后一层特征图进行相关处理，得到所述不同尺度的船舶局域特征图，包括：
平均池化和最大池化对DSOD提取的特征进行采集，并基于采集的结果生成具有通道信息的一维向量F1和F2；
将所述一维向量F1和F2分别输入共享网络，生成所述注意力映射M1和M2；
基于所述注意力映射M1和M2，生成具有表征特征图信息的一维向量Mc；
根据所述一维向量Mc和所述DSOD网络生成的特征图中的最后一层特征图，确定所述不同尺度的船舶局域特征图。
进一步地，在上述装置实施例的基础上，所述基于所述注意力映射M1和M2，生成具有表征特征图信息的一维向量Mc，包括：
合并所述注意力映射M1和M2，并根据合并后的结果，生成具有表征特征图信息的一维向量Mc。
进一步地，在上述装置实施例的基础上，所述根据所述一维向量Mc和所述DSOD网络生成的特征图中的最后一层特征图，确定所述不同尺度的船舶局域特征图，包括：
所述一维向量Mc与所述DSOD网络生成的特征图中的最后一层特征图相乘，得到所述不同尺度的船舶局域特征图。
进一步地，在上述装置实施例的基础上，所述旋转框四点坐标确定模块55，具体用于：
根据所述预置框内的目标置信度，确定旋转框内的目标置信度，并且根据所述预置框的偏移量及四点坐标，确定所述旋转框的四点坐标，得到与所述预置框对应的旋转框；
基于非极大值抑制对所述旋转框进行剔除，以确定所述船舶的最终位置。
图6为本发明一实施例提供的电子设备的逻辑框图；所述电子设备，包括：处理器(processor)61、存储器(memory)62和总线63；
其中，所述处理器61和存储器62通过所述总线63完成相互间的通信；所述处理器61用于调用所述存储器62中的程序指令，以执行上述方法实施例所提供的遥感图像近岸船检测与定位方法，例如包括：提取遥感图像中的特征，并生成特征图；对最后一层特征图进行相关处理，得到不同尺度的船舶局域特征图；在所述不同尺度的船舶局域特征图上设置预设个数预置框；确定所述预置框内的目标置信度以及所述预置框的偏移量；根据所述预置框内的目标置信度，确定所述旋转框内的目标置信度，并且根据所述预置框的偏移量及四点坐标，确定所述旋转框的四点坐标，得到与所述预置框对应的旋转框，以检测船舶的位置。
本发明一实施例还提出一种非暂态计算机可读存储介质，所述非暂态计算机可读存储介质存储计算机程序，该计算机程序被处理器执行时实现了执行上述各实施例提供的遥感图像近岸船检测与定位方法，例如包括：提取遥感图像中的特征，并生成特征图；对最后一层特征图进行相关处理，得到不同尺度的船舶局域特征图；在所述不同尺度的船舶局域特征图上设置预设个数预置框；确定所述预置框内的目标置信度以及所述预置框的偏移量；根据所述预置框内的目标置信度，确定所述旋转框内的目标置信度，并且根据所述预置框的偏移量及四点坐标，确定所述旋转框的四点坐标，得到与所述预置框对应的旋转框，以检测船舶的位置。
以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (7)

1.一种遥感图像近岸船检测与定位方法，其特征在于，包括：
提取遥感图像中的特征，并生成特征图，具体包括：利用DSOD网络的卷积层提取所述遥感图像中的特征，并生成特征图；
对最后一层特征图进行相关处理，得到不同尺度的船舶局域特征图，具体包括：利用视觉注意力增强网络模型对DSOD网络生成的特征图中的最后一层特征图进行相关处理，得到所述不同尺度的船舶局域特征图；
所述利用视觉注意力增强网络模型对DSOD网络生成的特征图中的最后一层特征图进行相关处理，得到所述不同尺度的船舶局域特征图，包括：
平均池化和最大池化对DSOD提取的特征进行采集，并基于采集的结果生成具有通道信息的一维向量F1和F2；
将所述一维向量F1和F2分别输入共享网络，生成注意力映射M1和M2；
基于所述注意力映射M1和M2，生成具有表征特征图信息的一维向量Mc;
根据所述一维向量Mc和所述DSOD网络生成的特征图中的最后一层特征图，确定所述不同尺度的船舶局域特征图；
在所述不同尺度的船舶局域特征图上设置预设个数预置框；
确定所述预置框内的目标置信度以及所述预置框的偏移量；
根据所述预置框内的目标置信度，确定旋转框内的目标置信度，并且根据所述预置框的偏移量及四点坐标，确定所述旋转框的四点坐标，得到与所述预置框对应的旋转框，以检测船舶的位置。
2.根据权利要求1所述的遥感图像近岸船检测与定位方法，其特征在于，所述基于所述注意力映射M1和M2，生成具有表征特征图信息的一维向量Mc，包括：
合并所述注意力映射M1和M2，并根据合并后的结果，生成具有表征特征图信息的一维向量Mc。
3.根据权利要求1所述的遥感图像近岸船检测与定位方法，其特征在于，所述根据所述一维向量Mc和所述DSOD网络生成的特征图中的最后一层特征图，确定所述不同尺度的船舶局域特征图，包括：
所述一维向量Mc与所述DSOD网络生成的特征图中的最后一层特征图相乘，得到所述不同尺度的船舶局域特征图。
4.根据权利要求1所述的遥感图像近岸船检测与定位方法，其特征在于，所述根据所述预置框内的目标置信度，确定旋转框内的目标置信度，并且根据所述预置框的偏移量及四点坐标，确定所述旋转框的四点坐标，得到与所述预置框对应的旋转框，以检测船舶的位置，具体包括：
根据所述预置框内的目标置信度，确定旋转框内的目标置信度，并且根据所述预置框的偏移量及四点坐标，确定所述旋转框的四点坐标，得到与所述预置框对应的旋转框；
基于非极大值抑制对所述旋转框进行剔除，以确定所述船舶的最终位置。
5.一种遥感图像近岸船检测与定位装置，其特征在于，包括：提取和生成模块、相关处理模块、设置模块、置信度和偏移量确定模块和旋转框四点坐标确定模块；
所述提取和生成模块，用于提取遥感图像中的特征，并生成特征图，具体用于：利用DSOD网络的卷积层提取所述遥感图像中的特征，并生成特征图；
所述相关处理模块，用于对最后一层特征图进行相关处理，得到不同尺度的船舶局域特征图，具体用于：利用视觉注意力增强网络模型对DSOD网络生成的特征图中的最后一层特征图进行相关处理，得到所述不同尺度的船舶局域特征图；
所述利用视觉注意力增强网络模型对DSOD网络生成的特征图中的最后一层特征图进行相关处理，得到所述不同尺度的船舶局域特征图，包括：平均池化和最大池化对DSOD提取的特征进行采集，并基于采集的结果生成具有通道信息的一维向量F1和F2；
将所述一维向量F1和F2分别输入共享网络，生成注意力映射M1和M2；
基于所述注意力映射M1和M2，生成具有表征特征图信息的一维向量Mc;
根据所述一维向量Mc和所述DSOD网络生成的特征图中的最后一层特征图，确定所述不同尺度的船舶局域特征图；
所述设置模块，用于在所述船舶局域特征图上设置预设个数预置框；
所述置信度和偏移量确定模块，用于确定所述预置框内的目标置信度以及所述预置框的偏移量；
所述旋转框四点坐标确定模块，用于根据所述预置框内的目标置信度，确定旋转框内的目标置信度，并且根据所述预置框的偏移量及四点坐标，确定所述旋转框的四点坐标，得到与所述预置框对应的旋转框，以检测船舶的位置。
6.一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1至4任一项所述遥感图像近岸船检测与定位方法的步骤。
7.一种非暂态计算机可读存储介质，其上存储有计算机程序，其特征在于，该计算机程序被处理器执行时实现如权利要求1至4任一项所述遥感图像近岸船检测与定位方法的步骤。
CN201911348700.9A 2019-12-24 2019-12-24 一种遥感图像近岸船检测与定位方法及装置 Active CN111027512B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911348700.9A CN111027512B (zh) 2019-12-24 2019-12-24 一种遥感图像近岸船检测与定位方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911348700.9A CN111027512B (zh) 2019-12-24 2019-12-24 一种遥感图像近岸船检测与定位方法及装置

Publications (2)

Publication Number Publication Date
CN111027512A CN111027512A (zh) 2020-04-17
CN111027512B true CN111027512B (zh) 2023-04-18

Family

ID=70211936

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911348700.9A Active CN111027512B (zh) 2019-12-24 2019-12-24 一种遥感图像近岸船检测与定位方法及装置

Country Status (1)

Country Link
CN (1) CN111027512B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112597895B (zh) * 2020-12-22 2024-04-26 阿波罗智联(北京)科技有限公司 基于偏移量检测的置信度确定方法、路侧设备及云控平台
CN116823838B (zh) * 2023-08-31 2023-11-14 武汉理工大学三亚科教创新园 高斯先验标签分配与特征解耦的海洋船舶检测方法与系统

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106056084A (zh) * 2016-06-01 2016-10-26 北方工业大学 一种多分辨层次化筛选的遥感图像港口船舶检测方法
CN109376576A (zh) * 2018-08-21 2019-02-22 中国海洋大学 基于交替更新密集连通从零训练网络的目标检测方法
CN109784476A (zh) * 2019-01-12 2019-05-21 福州大学 一种改进dsod网络的方法
CN110163197A (zh) * 2018-08-24 2019-08-23 腾讯科技（深圳）有限公司 目标检测方法、装置、计算机可读存储介质及计算机设备
CN110223302A (zh) * 2019-05-08 2019-09-10 华中科技大学 一种基于旋转区域提取的舰船多目标检测方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108108670B (zh) * 2017-12-04 2018-10-26 交通运输部规划研究院 一种层次化筛选的遥感图像提取港口仓库的方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106056084A (zh) * 2016-06-01 2016-10-26 北方工业大学 一种多分辨层次化筛选的遥感图像港口船舶检测方法
CN109376576A (zh) * 2018-08-21 2019-02-22 中国海洋大学 基于交替更新密集连通从零训练网络的目标检测方法
CN110163197A (zh) * 2018-08-24 2019-08-23 腾讯科技（深圳）有限公司 目标检测方法、装置、计算机可读存储介质及计算机设备
CN109784476A (zh) * 2019-01-12 2019-05-21 福州大学 一种改进dsod网络的方法
CN110223302A (zh) * 2019-05-08 2019-09-10 华中科技大学 一种基于旋转区域提取的舰船多目标检测方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Yi Deng等.Research on High-Performance Remote Sensing Image Real-Time Processing System.201O International Conference On Computer Design And Appliations (ICCDA 2010).2010,全文. *
师皓等.基于嵌入式平台实现的遥感图像城区检测算法.北京理工大学学报.2016,第第36卷卷(第第36卷期),全文. *

Also Published As

Publication number Publication date
CN111027512A (zh) 2020-04-17

Similar Documents

Publication Publication Date Title
CN109583369B (zh) 一种基于目标区域分割网络的目标识别方法及装置
CN107563303B (zh) 一种基于深度学习的鲁棒性舰船目标检测方法
CN110031843B (zh) 基于roi区域的sar图像目标定位方法、系统、装置
EP3346445B1 (en) Methods and devices for extracting an object from a video sequence
CN109427055B (zh) 基于视觉注意机制和信息熵的遥感图像海面舰船检测方法
US20120328161A1 (en) Method and multi-scale attention system for spatiotemporal change determination and object detection
CN108986152B (zh) 一种基于差分图像的异物检测方法及装置
CN114820465B (zh) 点云检测模型训练方法、装置、电子设备及存储介质
CN109697441B (zh) 一种目标检测方法、装置及计算机设备
CN108875504B (zh) 基于神经网络的图像检测方法和图像检测装置
CN111027512B (zh) 一种遥感图像近岸船检测与定位方法及装置
WO2018000252A1 (zh) 高分辨遥感海洋图像的海背景建模与抑制的方法及系统
CN112348116B (zh) 利用空间上下文的目标检测方法、装置和计算机设备
CN114821358A (zh) 光学遥感图像海上舰船目标提取与识别方法
CN112633274A (zh) 一种声呐图像目标检测方法、装置、电子设备
CN113362293A (zh) 一种基于显著性的sar图像舰船目标快速检测方法
CN115115601A (zh) 一种基于形变注意金字塔的遥感舰船目标检测方法
Albrecht et al. Visual maritime attention using multiple low-level features and naive bayes classification
CN112329677B (zh) 基于特征融合的遥感图像河道目标检测方法和装置
Zhou et al. A fusion algorithm of object detection and tracking for unmanned surface vehicles
CN110728311A (zh) 一种图像处理方法、装置和存储介质
CN115439497A (zh) 基于改进hou模型的红外图像舰船目标快速识别方法
CN115272856A (zh) 舰船目标细粒度识别方法及设备
CN114638891A (zh) 基于图像和点云融合的目标检测定位方法与系统
Lakshmi et al. Keypoint-based mapping analysis on transformed Side Scan Sonar images

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant