CN111666801A - 一种大场景sar图像舰船目标检测方法 - Google Patents

一种大场景sar图像舰船目标检测方法 Download PDF

Info

Publication number
CN111666801A
CN111666801A CN202010051720.6A CN202010051720A CN111666801A CN 111666801 A CN111666801 A CN 111666801A CN 202010051720 A CN202010051720 A CN 202010051720A CN 111666801 A CN111666801 A CN 111666801A
Authority
CN
China
Prior art keywords
sar image
target detection
scene
slice
detection
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010051720.6A
Other languages
English (en)
Inventor
崔宗勇
王晓雅
曹宗杰
闵锐
李晋
皮亦鸣
杨建宇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
University of Electronic Science and Technology of China
Original Assignee
University of Electronic Science and Technology of China
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by University of Electronic Science and Technology of China filed Critical University of Electronic Science and Technology of China
Priority to CN202010051720.6A priority Critical patent/CN111666801A/zh
Publication of CN111666801A publication Critical patent/CN111666801A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G06V20/13—Satellite images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07—Target detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Biophysics (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Molecular Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Biomedical Technology (AREA)
  • Health & Medical Sciences (AREA)
  • Astronomy & Astrophysics (AREA)
  • Remote Sensing (AREA)
  • Multimedia (AREA)
  • Radar Systems Or Details Thereof (AREA)

Abstract

本发明属于雷达遥感应用技术领域，具体涉及一种大场景SAR图像舰船目标检测方法。本发明首先采用海陆粗分类，来对大场景图像进行预处理，然后将基于中心点的anchor‑free目标检测方法应用于SAR图像舰船目标检测领域。通过关键点估计，回归来获得目标的其它信息，如大小，位置等信息。将预筛选和基于中心点的检测方法结合，获得了更好的检测效果，同时加快了检测速度。

Description

一种大场景SAR图像舰船目标检测方法
技术领域
本发明属于雷达遥感应用技术领域，具体涉及一种大场景SAR图像舰船目标的检测方法。
背景技术
合成孔径雷达(Synthetic Aperture Radar，SAR)不受天气和光照条件的影响，具有全天时、全天候等优点，已广泛应用到海洋检测、资源勘探等领域。SAR图像目标检测利用SAR图像信息来实现目标位置和类别的判定，在军事和民用等方面都有明确的应用需求，是实现SAR技术应用的关键技术之一。
SAR图像目标检测性能和特征提取的好坏及与测试目标的相似性有密切关系。目前目标检测的泛化性能都还不太理想。随着SAR成像技术的发展，SAR图像分辨率逐渐提高，数据集也逐渐丰富，大场景目标检测成为一个趋势。在大场景SAR图像中，舰船目标可以看作小目标，在整幅图中所占比例很小，同时大部分为背景区域。然而，现有的方法在大场景的舰船检测方面都不能取得较好的实验结果，陆地对舰船目标检测有很大的干扰。因此，有必要研究更好的特征提取方法，减少特征损失，同时减少陆地对舰船目标检测的干扰以在大场景SAR图像舰船检测中获得更好的性能。
传统的SAR图像舰船检测方法，是利用手工设计的特征进行目标检测，针对不同的场景，要重新进行建模，检测效率低而且虚警率高。尤其在近岸地区，手工设计的特征性能较差。近年来，随着深度学习的发展，人们将深度学习的方法应用到SAR图像舰船目标检测中，取得了较好的结果。尽管如此，在卷积神经网络中，随着层深度的增加，特征图变得高度语义化但更抽象化。同时，在下采样过程中，在最后特征图上小型目标几乎没有用于位置细化和分类的信息，这大大降低了检测性能。
在此基础上，人们开始思考anchor-free的目标检测方法，来减少超参的设计，大大减少计算量。可以看出，anchor-free的目标检测方法是当前比较好的目标检测方法，因此，将其应用到SAR图像舰船目标检测中。虽然目前的深度网络的方法不再需要进行海陆分割这一步，但是大场景SAR图像中，舰船在图像中所占比例很小，大部分为背景区域，这些背景区域送入繁重的检测网络，不但加重了检测负担，同时陆地对舰船目标的检测有很大的干扰。因此，在进行大场景SAR图像目标检测时，先对海陆区域进行粗分类，来减少计算资源的浪费，同时剔除陆地区域的部分干扰，就显得尤为重要。
发明内容
本发明的目的，就是针对上述存在的问题及不足，为了克服目前基于卷积神经网络的方法在大场景SAR图像舰船目标中，对小型舰船以及密集停靠的舰船检测效果差，以及背景区域送入检测计算资源浪费问题，提供了一种基于海陆偏分类的anchor-free大场景SAR图像舰船目标检测方法。
本发明的技术方案为：一种大场景SAR图像舰船目标检测方法，如图1所示，包括：
步骤1、在公开数据集SAR-ship-Dataset上，训练CenterNet网络，得到最优的模型及其对应参数，获得训练好的CenterNet网络；
步骤2、对大场景SAR图像进行滑窗切片(400×400)，切片时保留切片的位置信息；
步骤3、对大场景SAR图像切片进行海陆偏分类。对大场景SAR图像进行海陆偏分类，筛除只包含陆地的切片，用于后续的舰船目标检测。
此过程主要是对大场景SAR图像进行预处理。目前的预分类方法，无论是传统的机器学习方法，还是神经网络方法，都是需要进行训练的，计算量大，而且容易把只含有少量海域的切片如附图2错误分类。而本发明采用偏分类来进行分类，将只含陆地的切片筛除。只要切片中含有海域，就将其送入检测，这样在不降低检测效果的同时，大大减少了计算量。筛选依据公式：
Figure BDA0002371400830000021
其中，uij为位置(i，j)上二值化后的像素值，满足上式的切片包含海域；
首先，将切片图像进行二值化处理，经过对大量大场景SAR图像切片进行统计得出，检测切片外围40×40的像素值以40×40×60％为阈值可以准确将陆地筛除。在400×400的切片外围40×40的区域内，滑窗二值化后像素值的最大的和超过40×40×60％，判定该切片包含海域。
步骤4、将分类结果送入训练好的CenterNet网络进行舰船目标检测。CenterNet网络框架将目标建模为一个点(边界框的中心点)，将目标检测问题转化为关键点估计问题。若I∈RW×H×3是一张输入宽为H，高为W的切片图片。送入网络后得到关键点heatmap服从
Figure BDA0002371400830000031
分布，其中，R是输出步长，C是目标类别的数量。若
Figure BDA0002371400830000032
则对应一个检测到的关键点，若
Figure BDA0002371400830000033
则为背景。本发明中，CenterNet网络的输出步长R为4，目标类别数量C为1。小的输出步长得到较高的输出分辨率，使得小型舰船的检测效果更好，从而得到更高的检测率。设(x1，y1，x2，y2)是目标的边界框，它的中心点在
Figure BDA0002371400830000034
而目标的其它信息在关键点的图像信息中获得。通过
Figure BDA0002371400830000035
来预测所有的中心点，然后回归得到目标大小s＝(x2-x1,y2-y1)。用关键点处的值
Figure BDA0002371400830000036
作为它的置信度信息，并在其位置上回归得到边界框大小，位置坐标为
Figure BDA0002371400830000037
其中，
Figure BDA0002371400830000038
是下采样过程中的偏移预测，
Figure BDA0002371400830000039
是目标大小的预测。
对于一个舰船目标，本发明仅预测一个中心点，从而不需要进行基于IOU的非极大抑制，同时，该方法是anchor-free的，减少了超参的设计，大大减少了计算量。该方法对于密集的船只比其它基于卷积神经网络的舰船目标检测效果更好。
步骤4、将含有舰船目标检测结果的切片通过位置信息映射回大场景SAR图像中，就得到了大场景SAR图像舰船目标的检测结果。
本发明在现有SAR图像舰船目标检测的基础上，提出了一种基于中心点的anchor-free目标检测应用于大场景SAR图像的方法。该方法对于大场景中的小型舰船的检测和背景噪声的剔除有很好的效果。在提高检测速度的同时，提高了检测率，为SAR图像舰船检测的实际应用提供了可能。
本发明的有益效果为，较现有的大场景SAR图像舰船目标检测方法，本发明采用较轻量级的目标分类网络，检测速度较快，在预处理阶段，无需复杂的训练，以较少的计算量剔除部分陆地干扰区域，可以获得更高的检测率。
附图说明
图1为本发明大场景SAR图像舰船目标检测流程；
图2为仅含有少量海域的切片；
图3为切片筛选结果展示；
图4为大场景中检测效果图展示。
具体实施方式
下面以中科院2019年发布的数据集SAR-ship-Dataset为基础，对本发明做进一步的说明。
实验测试所用的大场景图为Sentinel-1数据集中随机选取的切片，切片大小为超过10000×10000的JPG格式图像。训练和验证的数据集是大小为256×256的JPG格式图像。
首先选取目前公开的数据集SAR-ship-Dataset作为训练和验证集。该数据集以高分三号SAR数据和Sentinel-1SAR数据为主数据源，包含43819舰船切片。高分三号的成像模式是Strip-Map(UFS)、Fine Strip-Map 1(FSI)、Full Polarization 1(QPSI)、FullPolarization 2(QPSII)和Fine Strip-Map 2(FSII)。这5种成像模型的分辨率分别是3m、5m、8m、25m和10m。Sentinel-1的成像模式为S3 Strip-Map(SM),S6SM和IW。以512×512的输入分辨率进行训练，所有模块的输出分辨率均为128×128。使用随机翻转，随机缩放(介于0.6到1.3之间)，裁剪和颜色抖动作为数据增强，并使用Adam优化整体目标。学习率设置为1.25e-4，训练100个epoch，且分别在60和80个epoch时将学习率下降10倍。batch-size设置为16。
CenterNet检测网络的backbone选用全卷积网络deep layer aggregation(DLA)。DLA网络是具有分层跳过连接的图像分类网络。它使用迭代深度聚合来增加特征图的分辨率。在此基础上，将原始卷积在每个上采样层上放置3×3可变形卷积。DLA-34的下采样层使用ImageNet预训练进行初始化，而上采样层则是随机初始化。
本发明是为了实现大场景SAR图像舰船目标检测，因此，将在公开数据集SAR-ship-Dataset上训练好的模型应用在大场景SAR图像中。首先将大场景SAR图像以滑窗方式切为400×400大小的切片，很多切片只包含陆地区域，无舰船目标的候选区域，因此，通过海陆粗筛选将只含陆地的切片筛除，这样同时筛除了陆地区域的干扰目标，接下来，将筛选之后的海域切片送入训练好的CenterNet网络模型进行检测，得到切片检测结果。根据切片保留的位置信息映射回大场景SAR图像中，得到检测结果。
本发明的优势主要体现在海陆偏分类的简单快捷，无需通过训练，将部分背景区域筛除，减少后续复杂的检测环节，提高检测速度，还有效减少了陆地区域的虚警，同时本发明采用基于中心点的anchor-free目标检测方法，下采样过程中的特征损失更少，且通过特征融合，获得更好的语义信息，对小型舰船的检测率更高。且比现有的检测方法，有更高的精度和检测效率。检测效果图如附图4所示。

Claims (1)

1.一种大场景SAR图像舰船目标检测方法，其特征在于，包括以下步骤：
步骤1、在公开数据集SAR-ship-Dataset上，训练CenterNet网络，得到最优的模型及其对应参数，获得训练好的CenterNet网络；
步骤2、对大场景SAR图像进行滑窗切片(400×400)，切片时保留切片的位置信息；
步骤3、对大场景SAR图像切片进行海陆偏分类，筛除只含陆地的切片，具体为，将SAR图像切片二值化处理后，通过如下公式进行筛选：
Figure FDA0002371400820000011
其中，uij为位置(i，j)上二值化后的像素值，满足上式的切片包含海域，定义为海域切片；
步骤4、将经过步骤3筛选的海域切片输入训练好的CenterNet网络。
设I∈RW×H×3是一张输入宽为H，高为W的切片图片，送入训练好的CenterNet网络后首先得到关键点热图服从
Figure FDA0002371400820000012
分布，其中，R是输出步长，C是目标类别的数量，若
Figure FDA0002371400820000013
则对应一个检测到的关键点，若
Figure FDA0002371400820000014
则为背景；设(x1，y1，x2，y2)是目标的边界框，它的中心点在
Figure FDA0002371400820000015
通过
Figure FDA0002371400820000016
来预测所有的中心点，然后回归得到目标大小s＝(x2-x1,y2-y1)，用关键点处的值
Figure FDA0002371400820000017
作为它的置信度信息，并在其位置上回归得到边界框大小，位置坐标为
Figure FDA0002371400820000018
其中，
Figure FDA0002371400820000019
是下采样过程中的偏移预测，
Figure FDA00023714008200000110
是目标大小的预测；
步骤4、将含有舰船目标检测结果的切片通过位置信息映射回大场景SAR图像中，得到大场景SAR图像舰船目标的检测结果。
CN202010051720.6A 2020-01-17 2020-01-17 一种大场景sar图像舰船目标检测方法 Pending CN111666801A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010051720.6A CN111666801A (zh) 2020-01-17 2020-01-17 一种大场景sar图像舰船目标检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010051720.6A CN111666801A (zh) 2020-01-17 2020-01-17 一种大场景sar图像舰船目标检测方法

Publications (1)

Publication Number Publication Date
CN111666801A true CN111666801A (zh) 2020-09-15

Family

ID=72382540

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010051720.6A Pending CN111666801A (zh) 2020-01-17 2020-01-17 一种大场景sar图像舰船目标检测方法

Country Status (1)

Country Link
CN (1) CN111666801A (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112115911A (zh) * 2020-09-28 2020-12-22 安徽大学 一种基于深度学习的轻量型sar图像目标检测方法
CN112883971A (zh) * 2021-03-04 2021-06-01 中山大学 一种基于深度学习的sar图像舰船目标检测方法
CN113111758A (zh) * 2021-04-06 2021-07-13 中山大学 一种基于脉冲神经网络的sar图像舰船目标识别方法
CN113284135A (zh) * 2021-06-21 2021-08-20 河北工业大学 基于全局与局部上下文信息的sar舰船检测方法
CN114565839A (zh) * 2022-02-17 2022-05-31 广州市城市规划勘测设计研究院 一种遥感影像目标检测方法、装置、设备及计算机介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20160019458A1 (en) * 2014-07-16 2016-01-21 Deep Learning Analytics, LLC Systems and methods for recognizing objects in radar imagery
CN109740460A (zh) * 2018-12-21 2019-05-10 武汉大学 基于深度残差密集网络的光学遥感图像舰船检测方法
CN110443201A (zh) * 2019-08-06 2019-11-12 哈尔滨工业大学 基于多源影像联合形状分析与多属性融合的目标识别方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20160019458A1 (en) * 2014-07-16 2016-01-21 Deep Learning Analytics, LLC Systems and methods for recognizing objects in radar imagery
CN109740460A (zh) * 2018-12-21 2019-05-10 武汉大学 基于深度残差密集网络的光学遥感图像舰船检测方法
CN110443201A (zh) * 2019-08-06 2019-11-12 哈尔滨工业大学 基于多源影像联合形状分析与多属性融合的目标识别方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
K DUAN等: "Centernet: Keypoint triplets for object detection", 《ARXIV》 *
XINGYI ZHO等: "Objects as Points", 《COMPUTER VISION AND PATTERN RECOGNITION》 *
熊伟等: "基于SVM的高分辨率SAR图像舰船目标检测算法", 《遥感技术与应用》 *

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112115911A (zh) * 2020-09-28 2020-12-22 安徽大学 一种基于深度学习的轻量型sar图像目标检测方法
CN112883971A (zh) * 2021-03-04 2021-06-01 中山大学 一种基于深度学习的sar图像舰船目标检测方法
CN113111758A (zh) * 2021-04-06 2021-07-13 中山大学 一种基于脉冲神经网络的sar图像舰船目标识别方法
CN113111758B (zh) * 2021-04-06 2024-01-12 中山大学 一种基于脉冲神经网络的sar图像舰船目标识别方法
CN113284135A (zh) * 2021-06-21 2021-08-20 河北工业大学 基于全局与局部上下文信息的sar舰船检测方法
CN113284135B (zh) * 2021-06-21 2022-10-04 河北工业大学 基于全局与局部上下文信息的sar舰船检测方法
CN114565839A (zh) * 2022-02-17 2022-05-31 广州市城市规划勘测设计研究院 一种遥感影像目标检测方法、装置、设备及计算机介质

Similar Documents

Publication Publication Date Title
CN111666801A (zh) 一种大场景sar图像舰船目标检测方法
CN111914686B (zh) 基于周域关联和模式识别的sar遥感图像水域提取方法、装置及系统
Zhang et al. Region of interest extraction in remote sensing images by saliency analysis with the normal directional lifting wavelet transform
CN112597815A (zh) 一种基于Group-G0模型的合成孔径雷达图像舰船检测方法
Asokan et al. Machine learning based image processing techniques for satellite image analysis-a survey
CN111723693A (zh) 一种基于小样本学习的人群计数方法
CN112784757B (zh) 海上sar舰船目标显著性检测与识别方法
CN115546555B (zh) 一种基于混合表征学习增强的轻量化sar目标检测方法
Wang et al. Revisiting SLIC: Fast superpixel segmentation of marine SAR images using density features
CN109977968A (zh) 一种深度学习分类后比较的sar变化检测方法
CN111242061A (zh) 一种基于注意力机制的合成孔径雷达舰船目标检测方法
US20220335572A1 (en) Semantically accurate super-resolution generative adversarial networks
Zhang et al. Contextual squeeze-and-excitation mask r-cnn for sar ship instance segmentation
Al-Saad et al. Airbus ship detection from satellite imagery using frequency domain learning
Huang et al. Ship detection using texture statistics from optical satellite images
Hommos et al. Hd Qatari ANPR system
CN111353459A (zh) 一种资源受限条件下的舰船目标检测方法
Wu et al. Vehicle detection in high-resolution images using superpixel segmentation and CNN iteration strategy
CN111008555B (zh) 一种无人机图像弱小目标增强提取方法
Gao et al. Ship object detection in one-stage framework based on Swin-Transformer
Sun et al. A two-step ship target detection method in high-resolution SAR image based on coarse-to-fine mechanism
Rathgamage Don et al. A multistage framework for detection of very small objects
Kakoolvand et al. Unsupervised change detection in sar images using a six-branch cnn and adaptive window approach
CN104102926B (zh) 一种海面油膜识别方法
Yan et al. Multiscale saliency detection method for ship targets in synthetic aperture radar images

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20200915

RJ01 Rejection of invention patent application after publication