CN111860336A - 基于位置感知的高分辨遥感图像倾斜船舶目标检测方法 - Google Patents

基于位置感知的高分辨遥感图像倾斜船舶目标检测方法 Download PDF

Info

Publication number
CN111860336A
CN111860336A CN202010708200.8A CN202010708200A CN111860336A CN 111860336 A CN111860336 A CN 111860336A CN 202010708200 A CN202010708200 A CN 202010708200A CN 111860336 A CN111860336 A CN 111860336A
Authority
CN
China
Prior art keywords
score
network
image
prediction
frame
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010708200.8A
Other languages
English (en)
Other versions
CN111860336B (zh
Inventor
李映
刘凌毅
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Northwestern Polytechnical University
Original Assignee
Northwestern Polytechnical University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Northwestern Polytechnical University filed Critical Northwestern Polytechnical University
Priority to CN202010708200.8A priority Critical patent/CN111860336B/zh
Publication of CN111860336A publication Critical patent/CN111860336A/zh
Application granted granted Critical
Publication of CN111860336B publication Critical patent/CN111860336B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G06V20/13—Satellite images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/23—Clustering techniques
    • G06F18/232—Non-hierarchical techniques
    • G06F18/2321—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions
    • G06F18/23213—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions with fixed number of clusters, e.g. K-means clustering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/048—Activation functions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/24—Aligning, centring, orientation detection or correction of the image
    • G06V10/242—Aligning, centring, orientation detection or correction of the image by image rotation, e.g. by 90 degrees
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07—Target detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Multimedia (AREA)
  • Biophysics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Molecular Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Biomedical Technology (AREA)
  • Health & Medical Sciences (AREA)
  • Probability & Statistics with Applications (AREA)
  • Astronomy & Astrophysics (AREA)
  • Remote Sensing (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及一种基于位置感知的高分辨遥感图像倾斜船舶目标检测方法，利用UNet‑like多尺度卷积网络提取多尺度深度特征图；利用提取出来的深度特征图通过基于锚点的旋转框回归模型直接预测每个锚点存在船舶的可能性得分和锚点所在预测框的位置；利用位置感知得分校正模型对锚点得分进行校正。本方法利用UNet‑like卷积神经网络提取兼备深度语义特征和浅层细节特征，在保证分类精度的同时提升模型定位精度，提升了小尺寸船舶的检测性能。同时利用位置感知得分校正模型进一步修正候选框得分，提高候选框定位精度。

Description

基于位置感知的高分辨遥感图像倾斜船舶目标检测方法
技术领域
本发明涉及一种遥感图像的船舶目标检测方法，特别是从高分辨遥感图像中检测倾斜密集排列船舶目标的方法。
背景技术
在过去的几十年中，船舶检测一直是遥感领域的热门话题，其对促进国防建设，港口管理和货物运输等方面的发展有重要作用。传统船舶检测算法通过提取并识别船舶的形状和纹理特征来实现船舶检测，此类方法简单易行、可解释性强，但其提取特征多为浅层信息，且设计一种适用于所有船舶的手工特征较为困难。
目前卷积神经网络已在目标检测领域取得了重大进展。但遥感图像中的船舶存在尺寸变化大和图像占比小的特点导致基于深度学习的船舶检测算法生成大量冗余的候选区域，大幅提升了时间复杂度和假样率；同时，船舶长宽比大，常密集排列的特点增加了特征提取和密集船舶定位的难度。《Rotated region based CNN for ship detection》(ICIP.IEEE,2017:900-904.)提出了一种基于旋转区域的CNN用于船舶检测，它使用旋转感兴趣区域(RRoI)池化层提取旋转区域特征并直接回归旋转角度。《Automatic ShipDetection in Remote Sensing Images from Google Earth of Complex Scenes Basedon Multiscale Rotation Dense Feature Pyramid Networks》(Remote Sensing.IEEE,2018:14.)提出了多尺度旋转密集特征金字塔网络，设计了具有多尺度RoI Align的旋转锚策略，以提高旋转对象的特征提取模型的效率。然而，大量的旋转锚增加了物体分类的难度并产生了更多的错误警报。《Rotated Region Based Fully Convolutional Network forShip Detection》(IGRSS.IEEE,2018:673-676.)提出了一种基于全卷积神经网络的旋转船舶检测方法，该方法具有较快的检测速度，但由于正样本和负样本的比例不平衡，在复杂背景下检测的准确性较低。
发明内容
要解决的技术问题
为了进一步提升倾斜船舶目标检测方法的性能，本发明提供一种基于位置感知的高分辨遥感图像倾斜船舶目标检测方法，利用UNet-like多尺度卷积网络提取多尺度深度特征图；利用提取出来的深度特征图通过基于锚点的旋转框回归模型直接预测每个锚点存在船舶的可能性得分和锚点所在预测框的位置；利用位置感知得分校正模型对锚点得分进行校正。本方法利用UNet-like卷积神经网络提取兼备深度语义特征和浅层细节特征，在保证分类精度的同时提升模型定位精度，提升了小尺寸船舶的检测性能。同时利用位置感知得分校正模型进一步修正候选框得分，提高候选框定位精度。
技术方案
一种基于位置感知的高分辨遥感图像倾斜船舶目标检测方法，其特征在于步骤如下：
步骤1：图像预处理：将遥感图像处理成统一地物分辨率和尺寸的图像块，并进行归一化；
步骤2：将预处理后的图像块输入训练好的UNet-like多尺度卷积网络进行特征提取，得到不同尺寸的特征图；所述的UNet-like多尺度卷积网络由主干网络和特征融合网络构成，主干网络选用ResNet101，用于提取4种不同深度水平的特征图{C2,C3,C4,C5}；特征融合网络利用双线性插值将深层特征图C5放大为原来的2倍，使其与浅层特征图C4融合，再通过一个3x3卷积层和一个1x1卷积层得到融合后的特征图C4’，将C4’放大为原来的2倍与C3融合，得到特征图C3’，将C3’放大为原来的2倍与C2融合，得到特征图C2’；最后将特征图{C2’,C3’,C4’}分别传入一个3x3卷积层和一个1x1卷积层，得到融合后的特征图{P2,P3,P4}，其具有相同的通道数但不同的特征图尺寸，尺寸最大的P2用于检测小目标船舶，尺寸最小的P4用于检测大目标船舶；
步骤3：基于anchor的倾斜边框回归模型
基于锚点的倾斜边框回归模型从步骤2得到的三个不同尺寸的特征图中直接进行预测，回归模型可分为分类子网络和位置回归子网络两部分，分类子网络预测每个锚点的概率得分，位置回归子网络预测锚点到预测框四边的距离和倾斜角度，其步骤如下：
(1)从数据集内采集船舶尺寸信息，将其按照面积划分为3组，每组利用K-mean算法得到5个聚类作为anchor先验参数；
(2)分类子网络按顺序由三个3x3卷积层，一个1x1卷积层和一个sigmoid函数构成，分类子网络输出得分图与输入特征图尺寸相同，通道数为5，代表5个anchor存在船舶目标的概率的得分，从得分图内筛选出高于阈值的点作为预测点；
(3)回归子网络结构与分类子网络一致，输出特征图的通道数为25，代表5个anchor的距离和角度预测量(t1,t2,t3,t4,tθ)，预测框的距离和角度由预测量和anchor先验参数计算，其公式如下：
Figure BDA0002595482060000031
θ＝(sigmoid(tθ×2-1)×π/4
其中hk和wk是第k个anchor的长宽先验参数；
(4)将提取出来的特征图{P1,P2,P2}分别输入训练好的基于锚点的倾斜边框回归模型，得到分类得分图，距离预测图和角度预测图，筛选出得分图中大于0.5的锚点位置(x,y)，并提取该锚点位置的距离预测值(t1,t2,t3,t4)和角度预测值tθ，根据步骤(3)中公式计算出预测距离(d1,d2,d3,d4)和倾斜角度θ；
(5)预测框位置由锚点坐标(x,y)和预测的距离(d1,d2,d3,d4)及倾斜角度θ唯一确定，{D1,D2,D3,D4}为预测框的点，D1点为x,y坐标和最小的点，D2,D3,D4顺时针依次排列，d1,d2,d3,d4为锚点到四条边的距离，θ为预测框的倾斜角；
步骤4：位置感知得分校准
位置感知得分校准模型对预测框得分进行修正，根据预测框的位置选取9个采样点，将采样点在得分图上等采样值的均值作为预测框的修正得分，其具体步骤如下：
(1)根据预测框的坐标位置，计算采样点的坐标位置：
采样点 横坐标 纵坐标
S1 0.5x<sub>1</sub>+0.3x<sub>3</sub>+0.2x<sub>4</sub> 0.5y<sub>1</sub>+0.3y<sub>3</sub>+0.2y<sub>4</sub>
S2 0.6x<sub>1</sub>+0.4x<sub>3</sub> 0.6y<sub>1</sub>+0.4y<sub>3</sub>
S3 0.5x<sub>1</sub>+0.3x<sub>3</sub>+0.2x<sub>2</sub> 0.5y<sub>1</sub>+0.3y<sub>3</sub>+0.2y<sub>2</sub>
S4 0.4x<sub>2</sub>+0.6x<sub>4</sub> 0.4y<sub>2</sub>+0.6y<sub>4</sub>
S5 0.5x<sub>1</sub>+0.5x<sub>3</sub> 0.5y<sub>1</sub>+0.5y<sub>3</sub>
S6 0.6x<sub>2</sub>+0.4x<sub>4</sub> 0.6y<sub>2</sub>+0.4y<sub>4</sub>
S7 0.3x<sub>1</sub>+0.5x<sub>3</sub>+0.2x<sub>2</sub> 0.3y<sub>1</sub>+0.5y<sub>3</sub>+0.2y<sub>2</sub>
S8 0.4x<sub>1</sub>+0.6x<sub>3</sub> 0.4y<sub>1</sub>+0.6y<sub>3</sub>
S9 0.3x<sub>1</sub>+0.5x<sub>3</sub>+0.2x<sub>4</sub> 0.3y<sub>1</sub>+0.5y<sub>3</sub>+0.2y<sub>4</sub>
其中(x1,y1),(x2,y2),(x3,y3),(x4,y4)分别为倾斜框端点D1,D2,D3,D4的坐标；
(2)将采样点从原图映射到得分图上，利用双线性插值得到采样点位置的预测得分值，并取采样点的得分值均值作为预测框的校正得分值；
(3)利用非极大值抑制算法将重叠度大于0.3的冗余预测框去除，得到图像块的检测结果；
步骤5：图像块检测结果融合
借助图像块信息将预测框在图像块的坐标转化为原图上的坐标，并利用非极大值抑制算法剔出冗余预测框，得到最终检测结果，其步骤如下：
(1)将预测框的坐标与所在图像块的左上角坐标相加并按照图像块的放缩比例还原，得到预测框在原检测遥感图像上的坐标位置；
(2)将所有图像块上的结果汇总，利用非极大值抑制算法剔出重叠度大于0.3的候选框，得到最终检测结果。
所述的图像预处理具体如下：
(1)读取遥感图像内包含的地物信息，并将图像进行放缩使图像的空间分辨率为5米；
(2)将放缩后的图像进行裁剪，裁剪的图像尺寸为1024*1024像素，相邻图片之间重叠128像素，并记录裁剪图像块左上角像素点在原图上的坐标；
(3)将裁减后的图像块的每个像素值进行归一化，使其减去统计学均值，将图像块逐一进行检测。
所述的UNet-like多尺度卷积网络的训练如下：主干网络ResNet101选用在ImageNet分类数据集训练好的分类模型作为预训练模型，特征融合网络采用Kaiming初始化方法对网络参数进行初始化，UNet-like多尺度卷积网络将与基于锚点的倾斜边框回归模型在船舶数据集上共同训练调优，以实现其提取船舶深度语义特征的功能。
所述的基于anchor的倾斜边框回归模型的训练如下：利用Kaiming初始化方法对基于锚点的倾斜边框回归模型进行初始化，并将其与UNet-like多尺度卷积网络共同在公开倾斜船舶数据集HRSC2016和自建倾斜传播数据集HRSD中进行训练调优；损失函数由分类损失函数、距离回归损失函数和角度损失函数构成，分类损失函数采用Focal损失函数，距离回归损失函数采用IoU损失函数，角度损失函数采用余弦损失函数；模型训练采用随机梯度下降算法，学习率设置为0.001，学习率每1万次迭代缩小为原来的十分之一；动量参数设置为0.9；模型训练9万轮，batch size设置为8。
有益效果
本发明提出了一种基于位置感知的高分辨遥感图像倾斜船舶目标检测方法，利用UNet-like多尺度卷积网络提取具备深度语义信息的高分辨特征图，将特征图传入基于锚点的旋转框回归模型直接预测旋转矩形框作为预测框。再通过位置感知得分校正模型修正预测框的得分。本方法提取的特征图同时包含深层语义信息和浅层位置信息，提升对不同尺寸船舶的检测能力，利用锚点来改善不同长宽比和尺度船舶的定位能力，最后使用位置感知得分校正模型进一步修正预测框的得分，提升模型检测性能，其具体优点如下：
设计了UNet-like多尺度卷积网络结构，主干网络ResNet101可充分提取遥感图像中的深层语义信息，UNet结构将不同层特征图融合，增加特征图的细节位置信息。采用多尺度特征图预测，不同大小的特征图负责预测相应尺寸的船舶，提升了对各种尺寸船舶的检测性能。
采用基于锚点的旋转框回归模型，引入不同长宽比的锚来辅助不同形状船舶进行位置回归，提升了模型对不同类型船舶的定位性能，在不同尺寸特征图上进行多尺度检测，改善了模型对不同尺寸船舶的检测能力，采用旋转矩形框进行定位，可更精准的定位船舶，避免密集排列导致的船舶漏检问题。
提出了位置感知得分校正模型，利用预测框位置信息对预测框得分进行修正，使定位更好的预测框的得分更高，避免非极大值抑制算法将定位精准但得分较低的预测框剔除的问题，提升模型的定位精度。
附图说明
图1是基于位置感知的高分辨遥感图像倾斜船舶目标检测方法流程图。
图2是UNet-like多尺度卷积网络结构图。
图3是旋转矩形框定位示意图。
图4是采样点相对位置示意图。
具体实施方式
现结合实施例、附图对本发明作进一步描述：
一种基于位置感知的高分辨遥感图像倾斜船舶目标检测方法，包括下述步骤：
(1)利用UNet-like多尺度卷积网络提取深度语义特征图。选择ResNet101作为主干网络，利用UNet网络特征图融合思想将浅层特征逐层与深层特征融合，得到融合后的特征图。
(2)将融合后的特征图传入基于锚点的旋转框回归模型内，直接预测每个锚点分类得分和锚点所在预测框的位置。模型由卷积层构成，可同时预测所有锚点的概率得分、位置偏移和倾斜角度，筛选得分高于阈值的锚点，利用这些锚点预测的位置偏移和锚点的先验长宽参数计算出锚点到预测框各边的垂直距离，再结合预测的倾斜角度得到最终预测框位置。
(3)利用位置感知得分校正模型对预测框得分进行校正，根据矩形框的相对位置在所得最终预测框中计算出9个关键采样点，将采样点映射到锚点概率得分图上，利用双线性差值得到采样点的得分值，并将得分值的均值作为最终预测框的修正得分值，利用倾斜矩形框非最大值抑制算法，去除冗余预测框得到最终船舶预测结果。
(4)模型在公开倾斜船舶数据集HRSC2016和自建倾斜传播数据集HRSD中进行训练，主干网络采用已在ImageNet训练好的ResNet101作为预训练模型，分类损失函数、距离回归损失函数和角度损失函数分别采用Focal损失函数、IoU损失函数和余弦损失函数，采用随机梯度下降算法进行模型训练。
如图1所示，具体步骤如下：
1.图像预处理
图像预处理步骤将遥感图像处理成统一空间分辨率和尺寸的图像块，并进行归一化，使检测方法在相同的情况下进行检测，提升检测方法的鲁棒性，其步骤如下：
(1)读取遥感图像内包含的地物信息，并将图像进行放缩使图像的空间分辨率为5米。
(2)将放缩后的图像进行裁剪，裁剪的图像尺寸为1024x1024像素，相邻图像之间重叠128像素，并记录裁剪图像块左上角像素点在原图上的坐标。
(3)将裁减后的图像块的每个像素值进行归一化，使其减去统计学均值。将图像块逐一进行检测。
2.UNet-like多尺度卷积网络特征提取
将预处理后的图像块传入UNet-like多尺度卷积网络对进行特征提取，得到不同尺寸的特征图，网络结构图如图2，其步骤如下：
(1)UNet-like多尺度卷积网络由主干网络和特征融合网络构成，主干网络选用ResNet101，用于提取4种不同深度水平的特征图{C2,C3,C4,C5}。特征融合网络利用双线性插值将深层特征图C5放大为原来的2倍，使其与浅层特征图C4融合，再通过一个3x3卷积层和一个1x1卷积层得到融合后的特征图C4’，将C4’重复上述操作与C3融合，得到特征图C3’，将C3’重复上述操作与C2融合，得到特征图C2’。最后将特征图{C2’,C3’,C4’}分别传入一个3x3卷积层和一个1x1卷积层，得到具有相同通道数的特征图{P2,P3,P4}。
(2)主干网络ResNet101选用在ImageNet分类数据集训练好的分类模型作为预训练模型，特征融合网络采用Kaiming初始化方法对网络参数进行初始化。UNet-like多尺度卷积网络将与基于锚点的倾斜边框回归模型在船舶数据集上共同训练调优，以实现其提取船舶深度语义特征的功能。
(3)图像块经过训练好的UNet-like多尺度卷积网络，得到融合后的特征图{P2,P3,P4}，其具有相同的通道数但不同的特征图尺寸。尺寸最大的P2用于检测小目标船舶，尺寸最小的P4用于检测大目标船舶。
3.基于锚点的倾斜边框回归模型预测
基于锚点的倾斜边框回归模型从上步得到的三个不同尺寸的特征图中直接进行预测，回归模型可分为分类子网络和位置回归子网络两部分，分类子网络预测每个锚点的概率得分，位置回归子网络预测锚点到预测框四边的距离和倾斜角度，其步骤如下：
(1)从数据集内采集船舶尺寸信息，将其按照面积划分为3组，每组利用K-mean算法得到5个聚类作为锚点先验参数。
(2)分类子网络按顺序由三个3x3卷积层，一个1x1卷积层和一个sigmoid函数构成，分类子网络输出得分图与输入特征图尺寸相同，通道数为5，代表5个锚点存在船舶目标的概率的得分。从得分图内筛选出高于阈值的点作为预测点。
(3)回归子网络结构与分类子网络一致，输出特征图的通道数为25，代表5个锚点的距离和角度预测量(t1,t2,t3,t4,tθ)，预测框的距离和角度由预测量和锚点先验参数计算，其公式如下：
Figure BDA0002595482060000091
θ＝(sigmoid(tθ×2-1)×π/4
其中hk和wk是第k个锚的长宽先验参数。
(4)利用Kaiming初始化方法对基于锚点的倾斜边框回归模型进行初始化，并将其与UNet-like多尺度卷积网络共同在公开倾斜船舶数据集HRSC2016和自建倾斜传播数据集HRSD中进行训练调优。损失函数由分类损失函数、距离回归损失函数和角度损失函数构成，分类损失函数采用Focal损失函数，距离回归损失函数采用IoU损失函数，角度损失函数采用余弦损失函数。模型训练采用随机梯度下降算法，学习率设置为0.001，学习率每1万次迭代缩小为原来的十分之一。动量参数设置为0.9。模型训练9万轮，batch size设置为8。
(5)将提取出来的特征图{P1,P2,P2}分别传入训练好的基于锚点的倾斜边框回归模型，得到分类得分图，距离预测图和角度预测图，筛选出得分图中大于0.5的锚点位置(x,y)，并提取该锚点位置的距离预测值(t1,t2,t3,t4)和角度预测值tθ，根据步骤(3)中公式计算出预测距离(d1,d2,d3,d4)和倾斜角度θ。
(6)预测框位置由锚点坐标(x,y)和预测的距离(d1,d2,d3,d4)及倾斜角度θ唯一确定，图3为预测框定位示意图，{D1,D2,D3,D4}为预测框的点，D1点为x,y坐标和最小的点，D2,D3,D4顺时针依次排列，d1,d2,d3,d4为锚点到四条边的距离，θ为预测框的倾斜角。
4.位置感知得分校准
位置感知得分校准模型对预测框得分进行修正，根据预测框的位置选取9个采样点，将采样点在得分图上的采样值均值作为预测框的修正得分，其具体步骤如下：
(1)根据预测框的坐标位置，计算采样点的坐标位置，预测框和采样点的相对位置见图4，其具体坐标见下表，其中(x1,y1),(x2,y2),(x3,y3),(x4,y4)分别为倾斜框端点D1,D2,D3,D4的坐标。
采样点 横坐标 纵坐标
S1 0.5x<sub>1</sub>+0.3x<sub>3</sub>+0.2x<sub>4</sub> 0.5y<sub>1</sub>+0.3y<sub>3</sub>+0.2y<sub>4</sub>
S2 0.6x<sub>1</sub>+0.4x<sub>3</sub> 0.6y<sub>1</sub>+0.4y<sub>3</sub>
S3 0.5x<sub>1</sub>+0.3x<sub>3</sub>+0.2x<sub>2</sub> 0.5y<sub>1</sub>+0.3y<sub>3</sub>+0.2y<sub>2</sub>
S4 0.4x<sub>2</sub>+0.6x<sub>4</sub> 0.4y<sub>2</sub>+0.6y<sub>4</sub>
S5 0.5x<sub>1</sub>+0.5x<sub>3</sub> 0.5y<sub>1</sub>+0.5y<sub>3</sub>
S6 0.6x<sub>2</sub>+0.4x<sub>4</sub> 0.6y<sub>2</sub>+0.4y<sub>4</sub>
S7 0.3x<sub>1</sub>+0.5x<sub>3</sub>+0.2x<sub>2</sub> 0.3y<sub>1</sub>+0.5y<sub>3</sub>+0.2y<sub>2</sub>
S8 0.4x<sub>1</sub>+0.6x<sub>3</sub> 0.4y<sub>1</sub>+0.6y<sub>3</sub>
S9 0.3x<sub>1</sub>+0.5x<sub>3</sub>+0.2x<sub>4</sub> 0.3y<sub>1</sub>+0.5y<sub>3</sub>+0.2y<sub>4</sub>
(2)将采样点从原图映射到得分图上，利用双线性插值得到采样点位置的预测得分值，并取采样点的得分值均值作为预测框的校正得分值。
(3)利用非极大值抑制算法将重叠度大于0.3的冗余预测框去除，得到图像块的检测结果。
5.图像块检测结果融合
借助图像块信息将预测框在图像块的坐标转化为原图上的坐标，并利用非极大值抑制算法剔出冗余预测框，得到最终检测结果，其步骤如下：
(1)将预测框的坐标与所在图像块的左上角坐标相加并按照图像块的放缩比例还原，得到预测框在原检测遥感图像上的坐标位置。
(2)将所有图像块上的结果汇总，利用非极大值抑制算法剔出重叠度大于0.3的候选框，得到最终检测结果。

Claims (4)

1.一种基于位置感知的高分辨遥感图像倾斜船舶目标检测方法，其特征在于步骤如下：
步骤1：图像预处理：将遥感图像处理成统一地物分辨率和尺寸的图像块，并进行归一化；
步骤2：将预处理后的图像块输入训练好的UNet-like多尺度卷积网络进行特征提取，得到不同尺寸的特征图；所述的UNet-like多尺度卷积网络由主干网络和特征融合网络构成，主干网络选用ResNet101，用于提取4种不同深度水平的特征图{C2,C3,C4,C5}；特征融合网络利用双线性插值将深层特征图C5放大为原来的2倍，使其与浅层特征图C4融合，再通过一个3x3卷积层和一个1x1卷积层得到融合后的特征图C4’，将C4’放大为原来的2倍与C3融合，得到特征图C3’，将C3’放大为原来的2倍与C2融合，得到特征图C2’；最后将特征图{C2’,C3’,C4’}分别传入一个3x3卷积层和一个1x1卷积层，得到融合后的特征图{P2,P3,P4}，其具有相同的通道数但不同的特征图尺寸，尺寸最大的P2用于检测小目标船舶，尺寸最小的P4用于检测大目标船舶；
步骤3：基于anchor的倾斜边框回归模型
基于锚点的倾斜边框回归模型从步骤2得到的三个不同尺寸的特征图中直接进行预测，回归模型可分为分类子网络和位置回归子网络两部分，分类子网络预测每个锚点的概率得分，位置回归子网络预测锚点到预测框四边的距离和倾斜角度，其步骤如下：
(1)从数据集内采集船舶尺寸信息，将其按照面积划分为3组，每组利用K-mean算法得到5个聚类作为anchor先验参数；
(2)分类子网络按顺序由三个3x3卷积层，一个1x1卷积层和一个sigmoid函数构成，分类子网络输出得分图与输入特征图尺寸相同，通道数为5，代表5个anchor存在船舶目标的概率的得分，从得分图内筛选出高于阈值的点作为预测点；
(3)回归子网络结构与分类子网络一致，输出特征图的通道数为25，代表5个anchor的距离和角度预测量(t1,t2,t3,t4,tθ)，预测框的距离和角度由预测量和anchor先验参数计算，其公式如下：
Figure FDA0002595482050000021
θ＝(sigmoid(tθ×2-1)×π/4
其中hk和wk是第k个anchor的长宽先验参数；
(4)将提取出来的特征图{P1,P2,P2}分别输入训练好的基于锚点的倾斜边框回归模型，得到分类得分图，距离预测图和角度预测图，筛选出得分图中大于0.5的锚点位置(x,y)，并提取该锚点位置的距离预测值(t1,t2,t3,t4)和角度预测值tθ，根据步骤(3)中公式计算出预测距离(d1,d2,d3,d4)和倾斜角度θ；
(5)预测框位置由锚点坐标(x,y)和预测的距离(d1,d2,d3,d4)及倾斜角度θ唯一确定，{D1,D2,D3,D4}为预测框的点，D1点为x,y坐标和最小的点，D2,D3,D4顺时针依次排列，d1,d2,d3,d4为锚点到四条边的距离，θ为预测框的倾斜角；
步骤4：位置感知得分校准
位置感知得分校准模型对预测框得分进行修正，根据预测框的位置选取9个采样点，将采样点在得分图上等采样值的均值作为预测框的修正得分，其具体步骤如下：
(1)根据预测框的坐标位置，计算采样点的坐标位置：
Figure FDA0002595482050000022
Figure FDA0002595482050000031
其中(x1,y1),(x2,y2),(x3,y3),(x4,y4)分别为倾斜框端点D1,D2,D3,D4的坐标；
(2)将采样点从原图映射到得分图上，利用双线性插值得到采样点位置的预测得分值，并取采样点的得分值均值作为预测框的校正得分值；
(3)利用非极大值抑制算法将重叠度大于0.3的冗余预测框去除，得到图像块的检测结果；
步骤5：图像块检测结果融合
借助图像块信息将预测框在图像块的坐标转化为原图上的坐标，并利用非极大值抑制算法剔出冗余预测框，得到最终检测结果，其步骤如下：
(1)将预测框的坐标与所在图像块的左上角坐标相加并按照图像块的放缩比例还原，得到预测框在原检测遥感图像上的坐标位置；
(2)将所有图像块上的结果汇总，利用非极大值抑制算法剔出重叠度大于0.3的候选框，得到最终检测结果。
2.根据权利要求1所述的一种基于位置感知的高分辨遥感图像倾斜船舶目标检测方法，其特征在于所述的图像预处理具体如下：
(1)读取遥感图像内包含的地物信息，并将图像进行放缩使图像的空间分辨率为5米；
(2)将放缩后的图像进行裁剪，裁剪的图像尺寸为1024*1024像素，相邻图片之间重叠128像素，并记录裁剪图像块左上角像素点在原图上的坐标；
(3)将裁减后的图像块的每个像素值进行归一化，使其减去统计学均值，将图像块逐一进行检测。
3.根据权利要求1所述的一种基于位置感知的高分辨遥感图像倾斜船舶目标检测方法，其特征在于所述的UNet-like多尺度卷积网络的训练如下：主干网络ResNet101选用在ImageNet分类数据集训练好的分类模型作为预训练模型，特征融合网络采用Kaiming初始化方法对网络参数进行初始化，UNet-like多尺度卷积网络将与基于锚点的倾斜边框回归模型在船舶数据集上共同训练调优，以实现其提取船舶深度语义特征的功能。
4.根据权利要求1所述的一种基于位置感知的高分辨遥感图像倾斜船舶目标检测方法，其特征在于所述的基于anchor的倾斜边框回归模型的训练如下：利用Kaiming初始化方法对基于锚点的倾斜边框回归模型进行初始化，并将其与UNet-like多尺度卷积网络共同在公开倾斜船舶数据集HRSC2016和自建倾斜传播数据集HRSD中进行训练调优；损失函数由分类损失函数、距离回归损失函数和角度损失函数构成，分类损失函数采用Focal损失函数，距离回归损失函数采用IoU损失函数，角度损失函数采用余弦损失函数；模型训练采用随机梯度下降算法，学习率设置为0.001，学习率每1万次迭代缩小为原来的十分之一；动量参数设置为0.9；模型训练9万轮，batch size设置为8。
CN202010708200.8A 2020-07-21 2020-07-21 基于位置感知的高分辨遥感图像倾斜船舶目标检测方法 Active CN111860336B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010708200.8A CN111860336B (zh) 2020-07-21 2020-07-21 基于位置感知的高分辨遥感图像倾斜船舶目标检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010708200.8A CN111860336B (zh) 2020-07-21 2020-07-21 基于位置感知的高分辨遥感图像倾斜船舶目标检测方法

Publications (2)

Publication Number Publication Date
CN111860336A true CN111860336A (zh) 2020-10-30
CN111860336B CN111860336B (zh) 2022-02-11

Family

ID=73001861

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010708200.8A Active CN111860336B (zh) 2020-07-21 2020-07-21 基于位置感知的高分辨遥感图像倾斜船舶目标检测方法

Country Status (1)

Country Link
CN (1) CN111860336B (zh)

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112560614A (zh) * 2020-12-04 2021-03-26 中国电子科技集团公司第十五研究所 一种基于候选框特征修正的遥感图像目标检测方法及系统
CN112560671A (zh) * 2020-12-15 2021-03-26 哈尔滨工程大学 基于旋转卷积神经网络的船舶检测方法
CN112699808A (zh) * 2020-12-31 2021-04-23 深圳市华尊科技股份有限公司 密集目标检测方法、电子设备及相关产品
CN112861744A (zh) * 2021-02-20 2021-05-28 哈尔滨工程大学 一种基于旋转锚点聚类的遥感图像目标快速检测方法
CN112926452A (zh) * 2021-02-25 2021-06-08 东北林业大学 一种基于GCN和GRU增强U-Net特征的高光谱分类方法及系统
CN113205151A (zh) * 2021-05-25 2021-08-03 上海海事大学 基于改进ssd模型的船舶目标实时检测方法及终端
CN113284185A (zh) * 2021-06-16 2021-08-20 河北工业大学 用于遥感目标检测的旋转目标检测方法
CN113326749A (zh) * 2021-05-17 2021-08-31 合肥高维数据技术有限公司 目标检测方法、装置以及存储介质、电子设备
WO2022151032A1 (en) * 2021-01-13 2022-07-21 Alibaba Group Holding Limited Responsive localization of persons by a non-stereo vision system
CN116052096A (zh) * 2023-03-31 2023-05-02 浙江华是科技股份有限公司 一种压缩数据船舶检测方法、系统及计算机存储介质
CN116051548B (zh) * 2023-03-14 2023-08-11 中国铁塔股份有限公司 一种定位方法及装置
CN112699808B (zh) * 2020-12-31 2024-06-07 深圳市华尊科技股份有限公司 密集目标检测方法、电子设备及相关产品

Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2009137616A2 (en) * 2008-05-06 2009-11-12 Strongwatch Corporation Novel sensor apparatus
US20100215254A1 (en) * 2009-02-25 2010-08-26 Toyota Motor Engineering & Manufacturing North America Self-Learning Object Detection and Classification Systems and Methods
CN105303526A (zh) * 2015-09-17 2016-02-03 哈尔滨工业大学 一种基于海岸线数据及频谱分析的舰船目标检测方法
CN106384344A (zh) * 2016-08-30 2017-02-08 中国科学院长春光学精密机械与物理研究所 一种光学遥感图像海面舰船目标检测与提取方法
CN108596055A (zh) * 2018-04-10 2018-09-28 西北工业大学 一种复杂背景下高分辨遥感图像的机场目标检测方法
CN108921066A (zh) * 2018-06-22 2018-11-30 西安电子科技大学 基于特征融合卷积网络的光学遥感图像舰船检测方法
CN108960135A (zh) * 2018-07-03 2018-12-07 西北工业大学 基于高分辨遥感图像的密集舰船目标精确检测方法
CN108960143A (zh) * 2018-07-04 2018-12-07 北京航空航天大学 一种高分辨率可见光遥感图像中的舰船检测深度学习方法
CN111091095A (zh) * 2019-12-19 2020-05-01 华中科技大学 一种遥感图像中船只目标的检测方法
CN111160249A (zh) * 2019-12-30 2020-05-15 西北工业大学深圳研究院 基于跨尺度特征融合的光学遥感图像多类目标检测方法
WO2020102988A1 (zh) * 2018-11-20 2020-05-28 西安电子科技大学 基于特征融合和稠密连接的红外面目标检测方法
CN111368769A (zh) * 2020-03-10 2020-07-03 大连东软信息学院 基于改进锚点框生成模型的船舶多目标检测方法

Patent Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2009137616A2 (en) * 2008-05-06 2009-11-12 Strongwatch Corporation Novel sensor apparatus
US20100215254A1 (en) * 2009-02-25 2010-08-26 Toyota Motor Engineering & Manufacturing North America Self-Learning Object Detection and Classification Systems and Methods
CN105303526A (zh) * 2015-09-17 2016-02-03 哈尔滨工业大学 一种基于海岸线数据及频谱分析的舰船目标检测方法
CN106384344A (zh) * 2016-08-30 2017-02-08 中国科学院长春光学精密机械与物理研究所 一种光学遥感图像海面舰船目标检测与提取方法
CN108596055A (zh) * 2018-04-10 2018-09-28 西北工业大学 一种复杂背景下高分辨遥感图像的机场目标检测方法
CN108921066A (zh) * 2018-06-22 2018-11-30 西安电子科技大学 基于特征融合卷积网络的光学遥感图像舰船检测方法
CN108960135A (zh) * 2018-07-03 2018-12-07 西北工业大学 基于高分辨遥感图像的密集舰船目标精确检测方法
CN108960143A (zh) * 2018-07-04 2018-12-07 北京航空航天大学 一种高分辨率可见光遥感图像中的舰船检测深度学习方法
WO2020102988A1 (zh) * 2018-11-20 2020-05-28 西安电子科技大学 基于特征融合和稠密连接的红外面目标检测方法
CN111091095A (zh) * 2019-12-19 2020-05-01 华中科技大学 一种遥感图像中船只目标的检测方法
CN111160249A (zh) * 2019-12-30 2020-05-15 西北工业大学深圳研究院 基于跨尺度特征融合的光学遥感图像多类目标检测方法
CN111368769A (zh) * 2020-03-10 2020-07-03 大连东软信息学院 基于改进锚点框生成模型的船舶多目标检测方法

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
WENXU SHI ET AL: "CISPNet: Automatic Detection of Remote Sensing Images from Google Earth in Complex Scenes Based on Context Information Scene Perception", 《APPLIED SCIENCES》 *
YINGCHAO FENG ET AL: "Towards Automated Ship Detection and Category Recognition from High-Resolution Aerial Images", 《REMOTE SENSING》 *
刘帅帅: "基于特征融合的船舶检测与分类方法的研究", 《中国优秀硕士学位论文全文数据库工程科技Ⅱ辑》 *
廖翔勇: "基于深层卷积神经网络的高分辨率遥感影像船舶检测和分类", 《中国优秀硕士学位论文全文数据库工程科技Ⅱ辑》 *

Cited By (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112560614A (zh) * 2020-12-04 2021-03-26 中国电子科技集团公司第十五研究所 一种基于候选框特征修正的遥感图像目标检测方法及系统
CN112560671A (zh) * 2020-12-15 2021-03-26 哈尔滨工程大学 基于旋转卷积神经网络的船舶检测方法
CN112699808A (zh) * 2020-12-31 2021-04-23 深圳市华尊科技股份有限公司 密集目标检测方法、电子设备及相关产品
CN112699808B (zh) * 2020-12-31 2024-06-07 深圳市华尊科技股份有限公司 密集目标检测方法、电子设备及相关产品
WO2022151032A1 (en) * 2021-01-13 2022-07-21 Alibaba Group Holding Limited Responsive localization of persons by a non-stereo vision system
CN112861744B (zh) * 2021-02-20 2022-06-17 哈尔滨工程大学 一种基于旋转锚点聚类的遥感图像目标快速检测方法
CN112861744A (zh) * 2021-02-20 2021-05-28 哈尔滨工程大学 一种基于旋转锚点聚类的遥感图像目标快速检测方法
CN112926452A (zh) * 2021-02-25 2021-06-08 东北林业大学 一种基于GCN和GRU增强U-Net特征的高光谱分类方法及系统
CN113326749A (zh) * 2021-05-17 2021-08-31 合肥高维数据技术有限公司 目标检测方法、装置以及存储介质、电子设备
CN113205151A (zh) * 2021-05-25 2021-08-03 上海海事大学 基于改进ssd模型的船舶目标实时检测方法及终端
CN113205151B (zh) * 2021-05-25 2024-02-27 上海海事大学 基于改进ssd模型的船舶目标实时检测方法及终端
CN113284185A (zh) * 2021-06-16 2021-08-20 河北工业大学 用于遥感目标检测的旋转目标检测方法
CN113284185B (zh) * 2021-06-16 2022-03-15 河北工业大学 用于遥感目标检测的旋转目标检测方法
CN116051548B (zh) * 2023-03-14 2023-08-11 中国铁塔股份有限公司 一种定位方法及装置
CN116052096A (zh) * 2023-03-31 2023-05-02 浙江华是科技股份有限公司 一种压缩数据船舶检测方法、系统及计算机存储介质

Also Published As

Publication number Publication date
CN111860336B (zh) 2022-02-11

Similar Documents

Publication Publication Date Title
CN111860336B (zh) 基于位置感知的高分辨遥感图像倾斜船舶目标检测方法
CN108961235B (zh) 一种基于YOLOv3网络和粒子滤波算法的缺陷绝缘子识别方法
CN111274865B (zh) 一种基于全卷积神经网络的遥感图像云检测方法及装置
CN109934200B (zh) 一种基于改进M-Net的RGB彩色遥感图像云检测方法及系统
CN109711295B (zh) 一种光学遥感图像近岸舰船检测方法
CN108510504B (zh) 图像分割方法和装置
CN107016677A (zh) 一种基于fcn和cnn的云图分割方法
CN109871823B (zh) 一种结合旋转框和上下文信息的卫星图像舰船检测方法
CN107492094A (zh) 一种高压电线绝缘子的无人机视觉检测方法
CN110414509B (zh) 基于海陆分割和特征金字塔网络的港口停靠舰船检测方法
CN109829423B (zh) 一种结冰湖泊红外成像检测方法
CN111027446B (zh) 一种高分辨率影像的海岸线自动提取方法
CN114565860B (zh) 一种多维度增强学习合成孔径雷达图像目标检测方法
CN111753682B (zh) 一种基于目标检测算法的吊装区域动态监控方法
CN107247927B (zh) 一种基于缨帽变换的遥感图像海岸线信息提取方法及系统
CN112489054A (zh) 一种基于深度学习的遥感图像语义分割方法
CN114612769B (zh) 一种融入局部结构信息的集成感知红外成像舰船检测方法
CN112115911A (zh) 一种基于深度学习的轻量型sar图像目标检测方法
CN114022408A (zh) 基于多尺度卷积神经网络的遥感图像云检测方法
CN113033315A (zh) 一种稀土开采高分影像识别与定位方法
CN114596551A (zh) 一种车载前视图像裂缝检测的方法
CN107103610A (zh) 立体测绘卫星影像匹配可疑区域自动检测方法
CN110458019B (zh) 稀缺认知样本条件下的排除倒影干扰的水面目标检测方法
CN113469097B (zh) 一种基于ssd网络的水面漂浮物多相机实时检测方法
CN111291818A (zh) 一种面向云掩膜的非均匀类别的样本均衡化方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant