CN110516606A - 高分辨率卫星影像任意方向舰船目标检测方法 - Google Patents

高分辨率卫星影像任意方向舰船目标检测方法 Download PDF

Info

Publication number
CN110516606A
CN110516606A CN201910801203.3A CN201910801203A CN110516606A CN 110516606 A CN110516606 A CN 110516606A CN 201910801203 A CN201910801203 A CN 201910801203A CN 110516606 A CN110516606 A CN 110516606A
Authority
CN
China
Prior art keywords
ship target
image
resolution
satellite image
target detection
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201910801203.3A
Other languages
English (en)
Inventor
汪磊
喻金桃
郭海涛
赵秀云
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Guanwei Technology Co Ltd
Original Assignee
Beijing Guanwei Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Guanwei Technology Co Ltd filed Critical Beijing Guanwei Technology Co Ltd
Priority to CN201910801203.3A priority Critical patent/CN110516606A/zh
Publication of CN110516606A publication Critical patent/CN110516606A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/23—Clustering techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G06V20/13—Satellite images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07—Target detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Astronomy & Astrophysics (AREA)
  • Remote Sensing (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种高分辨率卫星影像任意方向舰船目标检测方法，包括：将卫星影像输入到区域筛选网络，得到舰船目标候选区域图像；将舰船目标候选区域图像输入到预先训练好的任意方向舰船检测模型中进行目标检测，得到初步目标检测结果；利用NMS方法对初步目标检测结果进行去重，得到目标检测结果；其中，任意方向舰船检测模型采用VGG16作为骨干网络，保留conv1_1至conv5_3，将最后两层全连接层替换为卷积层，并依次增加8层卷积层以及一个3x5的长卷积核生成的卷积层。本发明提供的高分辨率卫星影像任意方向舰船目标检测方法，能够有效提高舰船目标检测准确性。

Description

高分辨率卫星影像任意方向舰船目标检测方法
技术领域
本发明涉及图像处理技术领域，更具体的说是涉及一种高分辨率卫星影像任意方向舰船目标检测方法。
背景技术
近年来，随着航空航天技术的进步，遥感影像获取的手段日益成熟，影像的分辨率，包括时间分辨率、空间分辨率、辐射分辨率和光谱分辨率正在不断提高。目前，遥感已突破数据获取的瓶颈，正在走向全面应用的新阶段，为海洋近岸目标的提取奠定了数据基础。舰船作为重要的海洋目标，是海上监测和战时打击的重点目标，实时有效的获取舰船的基本信息，在民用和军事领域都有着巨大的意义。在民用领域，辅助遇难船只救援，打击走私、非法倾倒油污、非法捕鱼和海盗等违法行为，监控特定港口或海域的海运交通等都需要获取舰船信息；在军事领域，通过对重点港口和海域的舰船进行检测、监视和识别，确定舰船的型号、种类、位置等重要信息，便于海战场环境态势的分析，从而掌握对方的海上作战实力，评估战时海上打击效果，形成海上作战情报等，为海战场决策支持提供依据。
早期的舰船检测主要是使用SAR图像，且已比较成熟，可见光遥感图像的舰船目标研究较晚，相关资料也较少。而在光学图像中，海洋背景下的舰船检测也已有广泛研究，靠岸舰船检测相对海上舰船检测起步较晚。
目前，舰船检测的方法主要分为两大类：传统方法和基于深度学习的方法。传统的卫星影像目标检测方法主要采用从粗到细的多步骤策略，一般包括影像预处理、海陆分割、区域特征提取、目标判别等步骤，传统方法需要人工设计特征提取方法，适应性较差，导致检测结果不准确。
深度学习技术由于其强大的特征表示和端到端的训练学习能力使得其在目标检测与识别领域应用广泛，并极大地提升了检测性能。基于深度学习的目标检测方法首先也是从图像中提取候选区域，然后采用卷积神经网络(Convolution Neural Network,CNN)等深度神经网络对候选区域进行鉴别和边界框回归，实现目标检测与识别。
现有舰船检测方法的不足主要包括：CNN的计算瓶颈主要在于高维全连接层，其不仅参数多，计算复杂度高，容易导致过拟合，而且需要同样大小的图像输入，且常用目标检测算法采用通用卷积核，大长宽比目标检测效果较差，导致检测结果准确性较差。
因此，如何提供一种舰船目标检测结果准确性高的方法是本领域技术人员亟需解决的问题。
发明内容
有鉴于此，本发明提供了一种高分辨率卫星影像任意方向舰船目标检测方法，能够有效提高舰船目标检测准确性。
为了实现上述目的，本发明采用如下技术方案：
一种高分辨率卫星影像任意方向舰船目标检测方法，包括：
将卫星影像输入到区域筛选网络，得到舰船目标候选区域图像；
将舰船目标候选区域图像输入到预先训练好的任意方向舰船检测模型中进行目标检测，得到初步目标检测结果；
利用NMS方法对初步目标检测结果进行去重，得到目标检测结果；
其中，任意方向舰船检测模型采用VGG16作为骨干网络，保留conv1_1至conv5_3，将最后两层全连接层替换为卷积层，并依次增加conv6_1、conv6_2，conv7_1、conv7_2，conv8_1、conv8_2和conv9_1、conv9_2共8层卷积层以及一个3x5的长卷积核生成的卷积层。
优选的，任意方向舰船检测模型的训练方法具体包括：
训练数据生成步骤：将预先标注好的高分辨率卫星影像裁剪成固定大小的样本数据；
数据增广步骤：基于样本数据和超分辨率对抗生成网络生成多尺度高分辨率影像，作为训练数据；采用旋转、翻转和亮度对比度调整方法进一步扩充样本数据，作为训练数据；
长宽比聚类分析步骤：对样本数据进行舰船目标的长、宽以及长宽比聚类分析，得到聚类结果，根据聚类结果设定长宽比参数；
训练步骤：基于长宽比参数和预设的默认框垂直偏移，将训练数据输入到任意方向舰船检测模型中进行训练，并利用NMS算法进行去重，在训练过程中基于损失函数进行收敛判断，最终得到训练好的任意方向舰船检测模型。
优选的，训练数据生成步骤具体包括：
将深度学习网络输入图像大小作为滑动窗口的大小，有重叠的在卫星影像上滑动；
若当前滑动窗口内包含有效舰船目标，则将当前滑动窗口对应的图像裁剪出来，同时，将当前窗口内舰船相对于整幅卫星影像的坐标更新为在当前滑动窗口内的坐标，并保存为裁剪出的图像对应的XML标注文件。
优选的，有效舰船目标的判别方法包括：
滑动窗口面积和舰船目标四边形区域重叠面积与舰船四边形区域面积之比大于0.5，则判定为有效舰船目标。
优选的，训练步骤中所采用的损失函数为：
其中，x表示匹配指示矩阵，对于第i个默认框和第j个真实目标框，若二者匹配，则xij＝1，c表示预测的置信度，l表示预测的位置，g表示真实的位置；N为与真实目标框匹配的默认框的总数，Lloc为L1损失，Lconf为二值的softmax分类损失。
优选的，所述区域筛选网络采用MTCNN模型中的PNet网络。
优选的，多尺度高分辨率影像包括：原始影像2倍分辨率的影像数据和原始影像4倍分辨率的影像数据。
经由上述的技术方案可知，与现有技术相比，本发明公开提供了一种高分辨率卫星影像任意方向舰船目标检测方法，具有如下技术优势：
(1)标注大量舰船目标数据，并根据标注数据对舰船的长宽比进行聚类分析，设计适合于舰船目标检测的长宽比参数；
(2)借鉴文字检测思路设计长卷积核检测层，并在垂直方向增加默认框密度，以更好的适应多方向检测，实现大长宽比任意方向舰船目标检测，检测得到目标区域的四个点坐标位置偏移，采用四个点坐标更加精确地表示舰船目标位置；
(3)本发明网络结构为全卷积网络，只有卷积层和池化层，可以适用于不同尺度的输入，同时，没有全连接层，计算参数大大减少，能够有效提高计算效率。
综上所述，本发明提供的高分辨率卫星影像任意方向舰船目标检测方法能够有效提高舰船目标检测准确性。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。
图1为本发明提供的高分辨率卫星影像任意方向舰船目标检测方法的流程示意图；
图2为本发明提供的任意方向舰船目标检测网络结构示意图；
图3为本发明提供的默认框预测过程示意图；
图4为本发明提供的默认框垂直偏移示意图；
图5为本发明提供的MTCNN模型PNet网络结构示意图；
图6为本发明提供的舰船目标检测结果示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
参见附图1，本发明实施例公开了一种高分辨率卫星影像任意方向舰船目标检测方法，包括：
将卫星影像输入到区域筛选网络，得到舰船目标候选区域图像；具体的，所述区域筛选网络采用MTCNN模型中的Pnet网络；
将舰船目标候选区域图像输入到预先训练好的任意方向舰船检测模型中进行目标检测，得到初步目标检测结果；
利用NMS方法对初步目标检测结果进行去重，得到目标检测结果；
其中，任意方向舰船检测模型采用VGG16作为骨干网络，保留conv1_1至conv5_3，将最后两层全连接层替换为卷积层，并依次增加conv6_1、conv6_2，conv7_1、conv7_2，conv8_1、conv8_2和conv9_1、conv9_2 8层卷积层以及一个3x5的长卷积核生成的卷积层。各卷积层参数如下表所示。
卷积层 卷积核个数 卷积核大小
fc6(conv) 1024 3x3
fc7(conv) 1024 1x1
conv6_1 256 1x1
conv6_2 512 3x3
conv7_1 128 1x1
conv7_2 256 3x3
conv8_1 128 1x1
conv8_2 256 3x3
conv9_1 128 1x1
conv9_2 256 3x3
为了进一步优化上述技术方案，任意方向舰船检测模型的训练方法具体包括：
训练数据生成步骤：将预先标注好的高分辨率卫星影像裁剪成固定大小的样本数据；
数据增广步骤：基于样本数据和超分辨率对抗生成网络生成多尺度高分辨率影像，作为训练数据；采用旋转、翻转和亮度对比度调整方法进一步扩充样本数据，作为训练数据；其中，多尺度高分辨率图像包括：原始影像2倍分辨率的影像数据和原始影像4倍分辨率的影像数据。
本发明采用超分辨率对抗生成网络生成多尺度高分辨率图像，用于扩充训练样本数据，降低模型对图像分辨率的要求，提高模型泛化能力。
长宽比聚类分析步骤：对样本数据进行舰船目标的长、宽以及长宽比聚类分析，得到聚类结果，根据聚类结果设定长宽比参数；
训练步骤：基于长宽比参数和预设的默认框垂直偏移，将训练数据输入到任意方向舰船检测模型中进行训练，并利用NMS算法进行去重，在训练过程中基于损失函数进行收敛判断，得到训练好的任意方向舰船检测模型；
其中，训练步骤中所采用的损失函数为：
其中，x表示匹配指示矩阵，对于第i个默认框和第j个真实目标框，若二者匹配，则xij＝1，c表示预测的置信度，l表示预测的位置，g表示真实的位置；N为与真实目标框匹配的默认框的总数，Lloc为L1损失，Lconf为二值的softmax分类损失。
为了进一步优化上述技术方案，训练数据生成步骤具体包括：
将深度学习网络输入图像大小作为滑动窗口的大小，有重叠的在卫星影像上滑动；
若当前滑动窗口内包含有效舰船目标，则将当前滑动窗口对应的图像裁剪出来，同时，将当前窗口内舰船相对于整幅卫星影像的坐标更新为在当前滑动窗口内的坐标，并保存为裁剪出的图像对应的XML标注文件。
具体的，有效舰船目标的判别方法包括：
滑动窗口面积和舰船目标四边形区域重叠面积与舰船四边形区域面积之比大于0.5，则判定为有效舰船目标。
下面结合具体技术细节对本发明的技术方案做进一步阐述。
1.卫星影像舰船数据的标注
利用四边形标注工具对高分辨率卫星影像中的舰船目标使用“四点法”进行四边形标注，并将卫星影像中所有标注好的目标信息以XML文件的格式存储到本地。存储信息包括四边形四个点的坐标以及舰船类型等信息。
2.训练数据的生成和数据增广
2.1训练数据的生成
根据深度学习模型输入所需大小，结合标注的XML文件，将标注好的大场景高分辨率卫星影像裁剪成固定大小的样本数据。具体方法如下：
将深度学习网络输入图像大小作为滑动窗口的大小，有重叠的在大幅卫星影像上滑动。若当前滑动窗口中包含有效舰船目标，则将当前滑动窗口对应的图像裁剪出来，同时，将当前窗口内舰船相对于整幅卫星影像的坐标更新为在当前窗口内的坐标，并保存为该裁剪图像对应的XML标注文件。
舰船有效目标判别方式如下：以滑动窗口面积和舰船目标四边形区域重叠面积与舰船四边形区域面积之比为判据，若面积之比大于0.5，则视为有效舰船目标。
2.2数据增广
深度学习是数据驱动型的学习方式，为了满足学习训练要求、提高目标检测模型的泛化能力，防止目标检测模型过度拟合，采取如下方法对训练数据进行数据增广。
(1)采用基于超分辨率对抗生成网络(SRGAN)生成多尺度高分辨率影像，生成2倍、4倍分辨率影像以扩充训练和验证数据。
(2)采用旋转、翻转、亮度对比度调整等方法，进一步扩充训练和验证数据。其中，验证数据是指训练时，为了测试模型准确率的数据。
3.舰船目标长宽比聚类分析
通用目标检测算法长宽比参数设定简单，对于方向多变、长宽比较大的舰船目标而言并不适合，因此，本发明经过上述数据标注，数据生成等步骤获取舰船目标样本数据集之后，先对舰船目标的长、宽以及长宽比做聚类分析，根据长宽比聚类结果设计适合于舰船目标的长宽比参数。根据数据聚类结果将舰船目标检测长宽比参数设定为：3:1，5:1，7:1，9:1，11:1。
在训练的过程中，根据长宽比计算默认框的长宽和中心点，不同特征图每个位置上都会有多个默认框，然后计算默认框与真实框(标注框)的交并比，若交并比大于一定阈值(一般是0.5)，则默认框与真实框匹配，与真实框匹配的默认框进行后续的预测。
4.1舰船目标检测模型设计思路
本发明借鉴文字场景检测思路设计舰船目标检测模型，采用VGG16作为骨干网络，保留conv1_1至conv5_3，将最后两层全连接层用卷积层替换，另外增加conv6_1、conv6_2，conv7_1、conv7_2，conv8_1、conv8_2和conv9_1、conv9_2共8层卷积层，选取骨干网络的conv3_3，conv4_3，fc7(已替换为卷积层)，以及新增加的conv6_2,conv7_2,conv8_2,conv9_2等7个卷积层，然后接一个3x5长卷积核生成的用于检测的卷积层，输出每个默认框的类别以及四边形的位置偏置信息，最后进行极大值抑制(NMS)处理，形成舰船目标检测全卷积网络。任意方向舰船目标检测网络结构图如图2所示。
4.2舰船目标检测模型设计与实现
(1)采用300x300的VGG16网络作为骨干网络，保留conv1_1至conv5_3，将最后两层全连接层用卷积层替换，获取输入图像的多特征图。
(2)选取骨干网络的conv3_3，conv4_3，fc7(已替换为卷积层),以及新增加的conv6_2,conv7_2,conv8_2,conv9_2等7个卷积层用于检测，每个不同检测层可以产生不同尺度的特征图。
(3)为了检测大长宽比目标，使用3x5长卷积核生成用于检测的卷积层，在上述7个卷积层之后接一个用于检测的卷积层，用于预测输出，获取每个默认框的类别以及位置信息，该位置信息为舰船目标四个点的坐标的偏置信息。
该检测层是网络的核心，默认框是矩形的，输出是四边形预测框，预测的是相对于默认框的偏置信息。默认框预测过程如图3所示，白色实线是真实框，白色虚线是匹配上的默认框，白色箭头表示学习过程。具体过程如下：
1)首先假设b0＝{x0,y0,w0,h0}表示默认框，相应的四边形表示方法为其中，(x0，y0)表示默认框的中心点，(w0，h0)表示默认框的宽度和高度，则四边形表示的计算方法如公式(1)所示。
在7个卷积层后的检测层将预测每个默认框的舰船目标概率以及位置偏置，输出预测值为(Δx,Δy,Δw,Δh,Δx1,Δy1,Δx2,Δy2,Δx3,Δy3,Δx4,Δy4,c)其中，c是指预测的置信度，其余各参数代表位置的偏移；参见公式(2)，则检测到的最小矩形和四边形为：
在训练阶段，默认框与标注四边形计算得到真实值，然后通过真实值与预测值的差值计算损失值。
设置垂直偏移，本发明默认框为细长形，这样可能导致默认框在水平方向密集在垂直方向上稀疏，从而导致检测不准确。因此在垂直方向上设置默认框垂直偏移，使得默认框在垂直方向密集，没有垂直偏移的只有白色实线框，就会漏掉很多连续的垂直方向目标。白色虚线框是加入了垂直偏移后的，能把舰船目标信息都包围了进去，如图4所示。
使用NMS(非极大值抑制)算法，对不同的特征层预测出的候选目标区域进行去重，得到舰船目标位置和类别信息的最终预测结果。首先将所有检测结果按照概率大小排序，并从高到低的遍历预测框。对于每个预测框，去除同一类别下与当前预测框IOU大于0.5的其他预测框，得到去重后的检测结果。
4.3舰船目标检测损失函数
舰船目标检测损失函数如公式(3)所示。
其中，x表示匹配指示矩阵，对于第i个默认框和第j个真实目标框，若二者匹配，则xij＝1，c表示预测的置信度，l表示预测的位置，g表示真实的位置；N为与真实目标框匹配的默认框的总数，Lloc为L1损失，Lconf为二值的softmax分类损失。
5.大幅卫星影像舰船目标检测
大幅卫星影像舰船目标检测流程图如图1所示。
5.1候选区域筛选
传统的滑动窗口法在大幅卫星影像上有重叠的滑动，然后将滑动窗口区域作为目标检测模型的输入，进行目标检测，需要遍历整幅影像，计算效率低，因此本发明采用实时人脸检测MTCNN模型的Pnet网络，作为区域筛选网络，筛选舰船目标候选区域，加快搜索速度，其网络结构如图5所示。MTCNN模型由三个不同尺度的小型卷积神经网络组成，分别为PNet、RNet和ONet。PNet为区域建议网络，用来生成候选目标。PNet是一个浅层的全卷积网络，包含三个卷积层和一个池化层，输入图像大小为12像素×12像素。全卷积神经网络不含全连接层，可以满足任意大小的图像输入，因此可以实现大范围遥感影像的目标搜索。PNet本质上是一种利用GPU加速的滑动窗口法，在选取候选窗口的同时对每个候选窗口进行分类判断。
5.2舰船目标检测与重复目标去除
(1)将区域筛选筛选网络获取的候选区域作为检测模型输入，检测该区域内是否有舰船目标，若有，预测目标的四个坐标，并将舰船目标在该候选区域的坐标映射到大幅卫星影像上，所有候选区域重复该过程。
(2)对所有候选区域检测完毕之后，在大幅卫星影像上获得的检测目标区域可能会有重叠，因此为了得到唯一的目标检测区域，采用NMS算法进行去重，获取最后的目标检测结果。舰船目标检测检测结果示意图如图6所示。
本发明采用四点法标注大量舰船目标数据，并进行聚类分析，获取舰船目标的长宽比，设计适合于大长宽比舰船目标的默认框，提高舰船目标检测准确性；借鉴文字检测方法，设计长卷积核、增加垂直方向默认框密度，实现任意方向舰船目标检测，此外，采用四点法表示预测回归结果，能够更加精确的表示目标位置；本发明任意方向舰船目标检测网络为全卷积网络，没有全连接层，参数量大大减少，计算效率高，同时，只有卷积层和池化层，因此可以输入不同尺度影像。
本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的装置而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。
对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其它实施例中实现。因此，本发明将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。

Claims (7)

1.一种高分辨率卫星影像任意方向舰船目标检测方法，其特征在于，包括：
将卫星影像输入到区域筛选网络，得到舰船目标候选区域图像；
将舰船目标候选区域图像输入到预先训练好的任意方向舰船检测模型中进行目标检测，得到初步目标检测结果；
利用NMS方法对初步目标检测结果进行去重，得到目标检测结果；
其中，任意方向舰船检测模型采用VGG16作为骨干网络，保留conv1_1至conv5_3，将最后两层全连接层替换为卷积层，并依次增加conv6_1、conv6_2，conv7_1、conv7_2，conv8_1、conv8_2和conv9_1、conv9_2共8层卷积层以及一个3x5的长卷积核生成的卷积层。
2.根据权利要求1所述的高分辨率卫星影像任意方向舰船目标检测方法，其特征在于，任意方向舰船检测模型的训练方法具体包括：
训练数据生成步骤：将预先标注好的高分辨率卫星影像裁剪成固定大小的样本数据；
数据增广步骤：基于样本数据和超分辨率对抗生成网络生成多尺度高分辨率影像，作为训练数据；采用旋转、翻转和亮度对比度调整方法进一步扩充样本数据，作为训练数据；
长宽比聚类分析步骤：对样本数据进行舰船目标的长、宽以及长宽比聚类分析，得到聚类结果，根据聚类结果设定长宽比参数；
训练步骤：基于长宽比参数和预设的默认框垂直偏移，将训练数据输入到任意方向舰船检测模型中进行训练，并利用NMS算法进行去重，在训练过程中基于损失函数进行收敛判断，最终得到训练好的任意方向舰船检测模型。
3.根据权利要求2所述的高分辨率卫星影像任意方向舰船目标检测方法，其特征在于，训练数据生成步骤具体包括：
将深度学习网络输入图像大小作为滑动窗口的大小，有重叠的在卫星影像上滑动；
若当前滑动窗口内包含有效舰船目标，则将当前滑动窗口对应的图像裁剪出来，同时，将当前窗口内舰船相对于整幅卫星影像的坐标更新为在当前滑动窗口内的坐标，并保存为裁剪出的图像对应的XML标注文件。
4.根据权利要求3所述的高分辨率卫星影像任意方向舰船目标检测方法，其特征在于，有效舰船目标的判别方法包括：
滑动窗口面积和舰船目标四边形区域重叠面积与舰船四边形区域面积之比大于0.5，则判定为有效舰船目标。
5.根据权利要求2所述的高分辨率卫星影像任意方向舰船目标检测方法，其特征在于，训练步骤中所采用的损失函数为：
其中，x表示匹配指示矩阵，对于第i个默认框和第j个真实目标框，若二者匹配，则xij＝1，c表示预测的置信度，l表示预测的位置，g表示真实的位置；N为与真实目标框匹配的默认框的总数，Lloc为L1损失，Lconf为二值的softmax分类损失。
6.根据权利要求1所述的高分辨率卫星影像任意方向舰船目标检测方法，其特征在于，所述区域筛选网络采用MTCNN模型中的PNet网络。
7.根据权利要求2～6任意一项所述的高分辨率卫星影像任意方向舰船目标检测方法，其特征在于，多尺度高分辨率影像包括：原始影像2倍分辨率的影像数据和原始影像4倍分辨率的影像数据。
CN201910801203.3A 2019-08-28 2019-08-28 高分辨率卫星影像任意方向舰船目标检测方法 Pending CN110516606A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910801203.3A CN110516606A (zh) 2019-08-28 2019-08-28 高分辨率卫星影像任意方向舰船目标检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910801203.3A CN110516606A (zh) 2019-08-28 2019-08-28 高分辨率卫星影像任意方向舰船目标检测方法

Publications (1)

Publication Number Publication Date
CN110516606A true CN110516606A (zh) 2019-11-29

Family

ID=68628566

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910801203.3A Pending CN110516606A (zh) 2019-08-28 2019-08-28 高分辨率卫星影像任意方向舰船目标检测方法

Country Status (1)

Country Link
CN (1) CN110516606A (zh)

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111079624A (zh) * 2019-12-11 2020-04-28 北京金山云网络技术有限公司 一种样本信息采集的方法、装置、电子设备以及介质
CN111176820A (zh) * 2019-12-31 2020-05-19 中科院计算技术研究所大数据研究院 一种基于深度神经网络的边缘计算任务的分配方法及装置
CN111325101A (zh) * 2020-01-21 2020-06-23 上海中旖能源科技有限公司 基于卫星图像的液化天然气储罐检测方法及装置、设备
CN111353459A (zh) * 2020-03-10 2020-06-30 北京观微科技有限公司 一种资源受限条件下的舰船目标检测方法
CN111368935A (zh) * 2020-03-17 2020-07-03 北京航天自动控制研究所 一种基于生成对抗网络的sar时敏目标样本增广方法
CN111967292A (zh) * 2020-05-25 2020-11-20 电子科技大学 一种轻量级的sar图像船只检测方法
CN112084869A (zh) * 2020-08-10 2020-12-15 北京航空航天大学 一种基于紧致四边形表示的建筑物目标检测方法
CN112347895A (zh) * 2020-11-02 2021-02-09 北京观微科技有限公司 一种基于边界优化神经网络的舰船遥感目标检测方法
CN112488924A (zh) * 2020-12-21 2021-03-12 深圳大学 一种图像超分辨率模型训练方法、重建方法及装置
CN112966635A (zh) * 2021-03-19 2021-06-15 北京理工大学 面向低分辨率时序遥感影像的运动舰船检测方法及装置
CN113406684A (zh) * 2021-06-15 2021-09-17 中国人民解放军国防科技大学 一种视频卫星的地面目标检测方法及装置

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108830224A (zh) * 2018-06-19 2018-11-16 武汉大学 一种基于深度学习的高分辨率遥感影像舰船目标检测方法
CN109409288A (zh) * 2018-10-25 2019-03-01 北京市商汤科技开发有限公司 图像处理方法、装置、电子设备和存储介质
CN109766823A (zh) * 2019-01-07 2019-05-17 浙江大学 一种基于深层卷积神经网络的高分辨率遥感船舶检测方法
CN110136198A (zh) * 2018-02-09 2019-08-16 腾讯科技（深圳）有限公司 图像处理方法及其装置、设备和存储介质

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110136198A (zh) * 2018-02-09 2019-08-16 腾讯科技（深圳）有限公司 图像处理方法及其装置、设备和存储介质
CN108830224A (zh) * 2018-06-19 2018-11-16 武汉大学 一种基于深度学习的高分辨率遥感影像舰船目标检测方法
CN109409288A (zh) * 2018-10-25 2019-03-01 北京市商汤科技开发有限公司 图像处理方法、装置、电子设备和存储介质
CN109766823A (zh) * 2019-01-07 2019-05-17 浙江大学 一种基于深层卷积神经网络的高分辨率遥感船舶检测方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
邱世赟: "基于深度学习的高分辨率光学遥感图像舰船检测", 《中国优秀硕士学位论文全文数据库 工程科技II辑》 *

Cited By (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111079624A (zh) * 2019-12-11 2020-04-28 北京金山云网络技术有限公司 一种样本信息采集的方法、装置、电子设备以及介质
CN111079624B (zh) * 2019-12-11 2023-09-01 北京金山云网络技术有限公司 一种样本信息采集的方法、装置、电子设备以及介质
CN111176820A (zh) * 2019-12-31 2020-05-19 中科院计算技术研究所大数据研究院 一种基于深度神经网络的边缘计算任务的分配方法及装置
CN111325101A (zh) * 2020-01-21 2020-06-23 上海中旖能源科技有限公司 基于卫星图像的液化天然气储罐检测方法及装置、设备
CN111353459A (zh) * 2020-03-10 2020-06-30 北京观微科技有限公司 一种资源受限条件下的舰船目标检测方法
CN111368935A (zh) * 2020-03-17 2020-07-03 北京航天自动控制研究所 一种基于生成对抗网络的sar时敏目标样本增广方法
CN111967292B (zh) * 2020-05-25 2022-05-17 电子科技大学 一种轻量级的sar图像船只检测方法
CN111967292A (zh) * 2020-05-25 2020-11-20 电子科技大学 一种轻量级的sar图像船只检测方法
CN112084869A (zh) * 2020-08-10 2020-12-15 北京航空航天大学 一种基于紧致四边形表示的建筑物目标检测方法
CN112084869B (zh) * 2020-08-10 2023-04-07 北京航空航天大学 一种基于紧致四边形表示的建筑物目标检测方法
CN112347895A (zh) * 2020-11-02 2021-02-09 北京观微科技有限公司 一种基于边界优化神经网络的舰船遥感目标检测方法
CN112488924A (zh) * 2020-12-21 2021-03-12 深圳大学 一种图像超分辨率模型训练方法、重建方法及装置
CN112488924B (zh) * 2020-12-21 2023-10-27 深圳大学 一种图像超分辨率模型训练方法、重建方法及装置
CN112966635B (zh) * 2021-03-19 2022-05-31 北京理工大学 面向低分辨率时序遥感影像的运动舰船检测方法及装置
CN112966635A (zh) * 2021-03-19 2021-06-15 北京理工大学 面向低分辨率时序遥感影像的运动舰船检测方法及装置
CN113406684A (zh) * 2021-06-15 2021-09-17 中国人民解放军国防科技大学 一种视频卫星的地面目标检测方法及装置

Similar Documents

Publication Publication Date Title
CN110516606A (zh) 高分辨率卫星影像任意方向舰船目标检测方法
CN110516605A (zh) 基于级联神经网络的任意方向舰船目标检测方法
CN107563303B (zh) 一种基于深度学习的鲁棒性舰船目标检测方法
CN109299688B (zh) 基于可变形快速卷积神经网络的舰船检测方法
CN111626290B (zh) 一种复杂海面环境下的红外舰船目标检测识别方法
CN109740460B (zh) 基于深度残差密集网络的光学遥感图像舰船检测方法
CN109117802B (zh) 面向大场景高分遥感影像的舰船检测方法
CN107247930A (zh) 基于cnn和选择性注意机制的sar图像目标检测方法
CN112560671B (zh) 基于旋转卷积神经网络的船舶检测方法
CN103942557B (zh) 一种煤矿井下图像预处理方法
CN109978869A (zh) 一种基于灰度共生矩阵和Hough变换的海天线检测方法与系统
CN110378308A (zh) 改进的基于Faster R-CNN的港口SAR图像近岸舰船检测方法
CN112149591B (zh) 用于sar图像的ssd-aeff自动桥梁检测方法及系统
CN107563433A (zh) 一种基于卷积神经网络的红外小目标检测方法
CN112597815A (zh) 一种基于Group-G0模型的合成孔径雷达图像舰船检测方法
CN110414509A (zh) 基于海陆分割和特征金字塔网络的港口停靠舰船检测方法
He et al. Ship detection without sea-land segmentation for large-scale high-resolution optical satellite images
CN108596952A (zh) 基于候选区域筛选的快速深度学习遥感图像目标检测方法
Zhang et al. Nearshore vessel detection based on Scene-mask R-CNN in remote sensing image
CN113469097B (zh) 一种基于ssd网络的水面漂浮物多相机实时检测方法
CN107169412A (zh) 基于混合模型决策的遥感图像靠港船只检测方法
Zhang et al. Contextual squeeze-and-excitation mask r-cnn for sar ship instance segmentation
CN110097524A (zh) 基于融合卷积神经网络的sar图像目标检测方法
Chen et al. SAR ship target detection for SSDv2 under complex backgrounds
Li et al. Target detection in color sonar image based on YOLOV5 network

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB03 Change of inventor or designer information
CB03 Change of inventor or designer information

Inventor after: Wang Lei

Inventor after: Yu Jintao

Inventor after: Zhao Xiuyun

Inventor before: Wang Lei

Inventor before: Yu Jintao

Inventor before: Guo Haitao

Inventor before: Zhao Xiuyun

RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20191129