CN108898065A - 候选区快速筛选与尺度自适应的深度网络舰船目标检测方法 - Google Patents

候选区快速筛选与尺度自适应的深度网络舰船目标检测方法 Download PDF

Info

Publication number
CN108898065A
CN108898065A CN201810571979.6A CN201810571979A CN108898065A CN 108898065 A CN108898065 A CN 108898065A CN 201810571979 A CN201810571979 A CN 201810571979A CN 108898065 A CN108898065 A CN 108898065A
Authority
CN
China
Prior art keywords
naval vessel
ship target
mentioned steps
ship
picture
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201810571979.6A
Other languages
English (en)
Other versions
CN108898065B (zh
Inventor
侯鑫
李波
赵鹏
韩传钊
俞文勇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beihang University
Beijing Institute of Remote Sensing Information
Original Assignee
Beihang University
Beijing Institute of Remote Sensing Information
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beihang University, Beijing Institute of Remote Sensing Information filed Critical Beihang University
Priority to CN201810571979.6A priority Critical patent/CN108898065B/zh
Publication of CN108898065A publication Critical patent/CN108898065A/zh
Application granted granted Critical
Publication of CN108898065B publication Critical patent/CN108898065B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/20—Scenes; Scene-specific elements in augmented reality scenes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2413—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Computational Linguistics (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)
  • Radar Systems Or Details Thereof (AREA)

Abstract

本发明公开了一种候选区快速筛选与尺度自适应的深度网络舰船目标检测方法。该方法首先利用三个尺度的全卷积网络对原始输入图像进行卷积，得到基于概率分布的特征图谱，并对该特征图谱进行坐标映射，获得舰船目标候选区域。然后通过空间金字塔采样SPP操作将不同尺寸的舰船候选区域特征统一成固定长度表达。最后分别通过分类器和回归器进行虚警排除和舰船定位边界框位置校正。与现有方法相比，本方法能够提供对不同尺度舰船检测更高的准确率，以及对舰船位置更精确的定位。

Description

候选区快速筛选与尺度自适应的深度网络舰船目标检测方法
技术领域
本发明涉及一种候选区快速筛选与尺度自适应的深度网络舰船目标检测方法，属于数字图像处理技术领域。
背景技术
由于其在海洋交通监控、船舶救援、渔业管理等方面具有极其重要的指导意义，越来越多的人已经投入到舰船目标检测领域的研究中。近年来，利用合成孔径雷达SAR(Synthetic aperture radar)图像进行海洋目标检测与监视的研究在海洋遥感领域得到高度重视。由于SAR图像具有观测范围广、观测周期短、数据时效强、全天候和全天时等优点，针对SAR图像进行舰船的检测、监视、分析舰船的位置、面积等参数的算法研究已经非常广泛。然而，SAR传感器的数量有限，回访周期相对较长，空间分辨率相对较低。因此基于SAR的舰船检测方法研究进展缓慢。另一方面，随着光传感器连续覆盖率的不断提高，利用高分辨率可见光图像数据进行舰船检测的研究越来越广泛。
现有的可见光舰船检测方法通常可以分为两步：舰船候选区域提取阶段和虚警排除阶段。
从输入图像中分割提取舰船候选区是不可或缺的步骤，舰船候选区域的分割准确度和精度直接决定了舰船检测性能的好坏。候选区域提取要求速度快，召回率高。典型的算法包括基于图像分割的方法，基于显著性检测的方法，基于小波变换的方法和基于异常检测的方法。然而，上述提到的方法都是从人类感知周围事物的方式出发，由于目前受光照、天气、海况、舰船尺度等诸多条件的限制，上述方法自适应性较差，难以对多幅图像都产生鲁棒性的效果。
虚警排除阶段主要通过手工设计特征，并通过分类器进行分类来实现。该阶段要求降低虚警，精确定位舰船位置。常见的特征表示主要分为两类，分别是基于舰船自身特征分析和设计复杂的特征描述子。舰船自身特征主要有形状特征和纹理特征。其中可利用的形状特征有周长，面积、紧凑度、对称性、长宽比、凸度、矩形度、偏心率以及矩不变量等；纹理特征有均值、方差、熵以及灰度共生矩阵等。基于舰船自身形状和纹理特征来进行虚警排除设计简单快速，但是对舰船特征表达能力较弱，对于形状和纹理特性相似的碎云，岛屿无法很好的排除，虚警率较高。同时，不同尺度的舰船目标形状和纹理特性存在差异，难以确定自适应性的阈值，需要根据实际情况调整，实际应用中鲁棒性较差。因此，一些典型的特征描述子被应用到舰船检测领域。常用的特征描述子有局部二值模式LBP，尺度缩放不变特征SIFT，方向梯度直方图特征HOG，哈尔特征Haar，Gabor特征等等。由于舰船具有尺度不一和方向随意等特性，这些特征表示不能很好的描述舰船的特性。而且对于同样具有对称性的碎云、岛屿以及海岸线等虚警干扰不能很好地排除，对于舰船周围存在碎云干扰、薄雾遮盖的情况容易导致漏检。
经常使用的分类器有支持向量机,极限学习机,集成学习方法和神经网络等。目前，对舰船检测的研究主要集中在设计提取识别力高的特征表达以及设计性能好的分类算法两方面。然而，人工设计特征多为局部浅层的特征，表达形式单一，没有充分考虑舰船尺度变化对检测性能的影响，因此，在面对尺度多变的舰船目标时难以取得令人满意的效果，在实际应用中遇到了一定的瓶颈。
在这样的背景下，需要设计一种候选区快速筛选与尺度自适应的深度网络舰船目标检测方法，以有效提高对不同尺度舰船特征描述的稳定性，降低碎云、海浪和岛屿的干扰，同时提高对舰船目标定位的准确性。
发明内容
根据本发明的一个方面，提供了一种候选区快速筛选与尺度自适应的深度网络舰船目标检测方法，其特征在于包括如下步骤：
(1)收集舰船切片数据，构建分类样本库，通过旋转、平移、对称、对比度变换进行样本增广，对正样本根据舰船长度进行分类，分为N组，对负样本进行细分类，将其分为碎云，海浪和陆地三类；
(2)根据上述步骤(1)得到分类数据集，按照预定比例α划分训练集和测试集，并依据舰船长度划分三个尺度全卷积网络：FCN_1，FCN_2，FCN_3，分别训练三个尺度分类器：C_1，C_2，C_3；
(3)准备舰船检测数据集，其中每张图片包含由手工标注的舰船位置定位边界框信息，按照预定比例β划分训练集和测试集；
(4)将上述步骤(2)中得到的所述分类器作为滤波器，分别对上述步骤(3)中所述的舰船检测数据集中的每张图片进行滤波，得到三种尺度的卷积特征图谱，所述卷积特征图谱中的每个点表示原图中一定大小的区域包含舰船的概率，对此概率结果进行二值化获得对应的二值图谱；
(5)根据上述步骤(4)中得到的舰船目标二值图谱，通过形态学操作进行膨胀，得到连通区域，然后依据所述全卷积网络的卷积核计算方法，将二值图谱上连通区域的坐标映射回原图，得到舰船目标候选区域；
(6)根据上述步骤(5)中得到的舰船目标候选区域，选取全卷积网络中倒数第二个卷积层的特征作为该舰船目标候选区域的特征表示，然后通过空间金字塔采样SPP操作，得到固定长度的特征向量；
(7)将上述步骤(3)中训练集图片和对应图片中手工标注的舰船位置定位边界框信息以及对应图片经过上述步骤(6)得到的舰船目标候选区域对应的特征向量作为多任务学习的输入，分别进行虚警排除和舰船目标精定位；将上述步骤(5)得到的每个舰船目标候选区域和上述步骤(3)得到的舰船目标定位边界框信息进行比较，如果两个区域的交叉面积与两个区域的面积并集的比值IoU大于阈值T1，则将该舰船目标候选区域作为正样本，并对其进行边界框回归，如果两个区域的交叉面积与两个区域的面积并集的比值IoU小于阈值T2，则将该区域作为负样本，且不进行回归，经过训练得到检测模型；
(8)根据上述步骤(7)中得到所述检测模型，将上述步骤(3)中测试集图片以及对应图片在上述步骤(5)中提取的舰船目标候选区域对应的特征向量和定位信息作为上述检测模型的输入，得到相应候选区域分类和定位修正结果，根据舰船样本分类结果以及舰船位置的定位修正结果，将其绘制在上述步骤(3)中的测试集图片上，作为最终的检测结果。本申请所提供的候选区快速筛选与尺度自适应的深度网络舰船目标检测方法有如下的优点：
1本申请中建立的三个尺度的全卷积网络不仅可以提供对于舰船目标更加稳定的特征表示，而且对于不同尺度的舰船目标具有更好的鲁棒性。
2本申请中SPP操作可以防止不适当的变形对舰船目标特征失真的影响。
3本申请中边界框回归操作可以提高舰船目标定位的精确度。
附图说明
下面结合附图和具体实施方式对本发明作进一步的详细说明。
图1是候选区快速筛选与尺度自适应的深度网络舰船目标检测方法的训练流程图；
图2显示了本发明所述的基于尺度自适应的可见光图像舰船检测方法的检测结果，其中(a)为平静海面检测结果，(b)为海浪背景检测结果，(c)为陆地背景检测结果，(d)为碎云背景检测结果。
具体实施方式
本申请所要解决的技术问题在于提供一种候选区快速筛选与尺度自适应的深度网络舰船目标检测方法。该方法首先利用全卷积神经网络FCN建立图像的特征表示，然后在此特征图谱上通过概率分布进行舰船候选区域提取。最后对提出的舰船候选区域进行虚警排除和舰船位置修正。
为实现上述的发明目的，根据本发明的一个方面，提供了一种候选区快速筛选与尺度自适应的深度网络舰船目标检测方法，包括如下步骤：
(1)收集舰船切片数据，构建分类样本库，通过旋转、平移、对称、对比度变换进行样本增广，对正样本根据舰船长度进行分类，分为N组，对负样本进行细分类，将其分为碎云，海浪和陆地三类；
(2)根据上述步骤(1)得到分类数据集，按照预定比例α划分训练集和测试集，并依据舰船长度划分三个尺度全卷积网络：FCN_1，FCN_2，FCN_3，分别训练三个尺度分类器：C_1，C_2，C_3；
(3)准备舰船检测数据集，其中每张图片包含由手工标注的舰船位置定位边界框信息，按照预定比例β划分训练集和测试集；
(4)将上述步骤(2)中得到的所述分类器作为滤波器，分别对上述步骤(3)中所述的舰船检测数据集中的每张图片进行滤波，得到三种尺度的卷积特征图谱，所述卷积特征图谱中的每个点表示原图中一定大小的区域包含舰船的概率，对此概率结果进行二值化获得对应的二值图谱；
(5)根据上述步骤(4)中得到的舰船目标二值图谱，通过形态学操作进行膨胀，得到连通区域，然后依据所述全卷积网络的卷积核计算方法，将二值图谱上连通区域的坐标映射回原图，得到舰船目标候选区域；
(6)根据上述步骤(5)中得到的舰船目标候选区域，选取全卷积网络中倒数第二个卷积层的特征作为该舰船目标候选区域的特征表示，然后通过空间金字塔采样SPP操作，得到固定长度的特征向量；
(7)将上述步骤(3)中训练集图片和对应图片中手工标注的舰船位置定位边界框信息以及对应图片经过上述步骤(6)得到的舰船目标候选区域对应的特征向量作为多任务学习的输入，分别进行虚警排除和舰船目标精定位；将上述步骤(5)得到的每个舰船目标候选区域和上述步骤(3)得到的舰船目标定位边界框信息进行比较，如果两个区域的交叉面积与两个区域的面积并集的比值IoU大于阈值T1，则将该舰船目标候选区域作为正样本，并对其进行边界框回归，如果两个区域的交叉面积与两个区域的面积并集的比值IoU小于阈值T2，则将该区域作为负样本，且不进行回归，经过训练得到检测模型；
(8)根据上述步骤(7)中得到所述检测模型，将上述步骤(3)中测试集图片以及对应图片在上述步骤(5)中提取的舰船目标候选区域对应的特征向量和定位信息作为上述检测模型的输入，得到相应候选区域分类和定位修正结果，根据舰船样本分类结果以及舰船位置的定位修正结果，将其绘制在上述步骤(3)中的测试集图片上，作为最终的检测结果。
在根据本发明的一个实施例中，所述步骤(1)中，选择N＝3，舰船长度分别为s∈[15,60)、m∈[60,120)、l＝[120,200]，s、m、l表示三个尺度舰船的长度，单位是像素。
在根据本发明的一个实施例中，所述步骤(2)中，划分训练集和测试集的优选比例α为8:2，三个全卷积网络的输入图像尺寸分别是64×64、128×128、256×256像素。
在根据本发明的一个实施例中，所述步骤(3)中，数据集包含4000张图片和相应标签文件，每张图片大小为1000×1000像素，其中至少包含一艘船，每个标签文件包含对应图中舰船目标的位置，舰船目标的位置信息表示为(xmin,ymin,xmax,ymax)，(xmin,ymin)表示舰船位置左上角坐标，(xmax,ymax)表示舰船位置右下角坐标，划分训练集和测试集的优选比例β为8:2。
在根据本发明的一个实施例中，所述步骤(4)中，二值图谱中值为1表示该位置映射到原图的区域包含舰船，值为0表示该位置映射到原图的区域不包含舰船。
在根据本发明的一个实施例中，所述步骤(7)中，阈值T1优选为0.5，阈值T2优选为0.3。
以下结合具体实施例对本发明所提供的候选区快速筛选与尺度自适应的深度网络舰船目标检测方法进行详细说明。根据本发明的一个实施例，该方法的训练处理流程见图1，其包括以下步骤。
步骤1、收集舰船切片数据，构建分类样本库，通过旋转、平移、对称、对比度变换进行样本增广，对正样本根据舰船长度进行分类，分为N组，对负样本进行细分类，将其分为碎云，海浪和陆地三类。
在构造分类样本库时，舰船样本有4500张切片数据，其中三个尺度舰船样本都是1500张。在对舰船样本进行增广时，每隔90度旋转一次，分别向四个方向平移20％的距离，并进行水平对称和垂直对称，提高样本对位置变化的鲁棒性。通过对比度变化来提高样本对光照变化的鲁棒性。
但是，一些样本经过上述变换后质量不是特别高，通过人为干预进行选择删除，最后得到每个尺度舰船样本数目分别是10000张，16000张和12000张。
步骤2、根据上述步骤1得到分类数据集，按照预定比例α划分训练集和测试集，并依据舰船长度划分三个尺度全卷积网络：FCN_1，FCN_2，FCN_3，分别训练三个尺度分类器：C_1，C_2，C_3。
三个全卷积网络分别针对步骤1中三种长度舰船设计，因此其输入分别是64×64、128×128和256×256像素。如无特别说明，网络中卷积核大小均为3×3，每层结构均由卷积层、批量归一化层、激活函数层、池化层组成，最后一个卷积层用来实现分类操作，因此，卷积核大小为4×4，通道数为4。FCN_1由六个卷积模块构成，其中通道数分别是16、32、64、128、256和4，第五个卷积模块卷积核大小为1×1。FCN_2由六个卷积模块构成，其中通道数分别是16、32、64、128、256和4。FCN_3由八个卷积模块构成，其中通道数分别是16、32、64、128、256、512、256和4，第七个卷积模块卷积核大小为1×1。
在训练过程中，使用随机梯度下降算法SGD，批大小设置为128，动量设置为0.9，权重衰减因子设置为0.0005，学习率初试化为0.01，当测试集错误率停止下降时将学习率减小十倍。每个卷积层权重初始化为均值为0，标准差为0.01的高斯分布，每层偏差初始化为常数1，权重更新规则如下所示：
ωi+1＝ωi+νi+1 (2)
其中，v表示动量，ω表示权重，ε表示学习率，D表示批大小，表示损失函数L对权重ω求导，式(1)中表示对批大小的数据取平均值，下标i表示第i次迭代参数，下标i+1表示第i+1次迭代参数。损失函数L采取softmax交叉熵损失函数，定义如下：
其中，N代表输入数据的个数，i表示第i个样本，j表示第j个类别，X表示卷积神经网络的输出，Y表示0-1向量，即如果第i个样本的类别为j，那么yij＝1，而第i行的其余列的值都为0，这里用1{j＝y(i)}来表示，pi,j表示第i个输入样本类别为j的概率，定义如下所示：
步骤3、准备舰船检测数据集，其中每张图片包含由手工标注的舰船位置定位边界框信息，按照预定比例β划分训练集和测试集。
数据集中每个标签文件是一个xml文件，其中包含图片名称，图片路径，舰船目标定位边界框信息，用一个四维向量表示，其中(xmin,ymin)表示边界框左上角坐标，(xmax,ymax)表示边界框右下角坐标。
步骤4、将上述步骤2中得到的所述分类器作为滤波器，分别对上述步骤3中所述的舰船检测数据集中的每张图片进行滤波，得到三种尺度的卷积特征图谱，所述卷积特征图谱中的每个点表示原图中一定大小的区域包含舰船的概率，对此概率结果进行二值化获得对应的二值图谱。
尽管步骤2中训练的是基于小切片大小的分类器，但全卷积网络的特性使得其可以有任意大小的输入，因此，将步骤3中的每张图片输入到三个不同尺度的分类器中，将得到三个不同大小的特征图谱，而每个特征图谱中的每个位置分别代表了原图中的64×64、128×128和256×256像素大小的区域是舰船的概率，因此可以根据该概率分布图得到特征图谱关于舰船目标分布的二值图谱。
步骤5、根据上述步骤4中得到的舰船目标二值图谱，通过形态学操作进行膨胀，得到连通区域，然后依据所述全卷积网络的卷积核计算方法，将二值图谱上连通区域的坐标映射回原图，得到舰船目标候选区域。
基于上述步骤4得到的二值图谱，可能有一些相邻位置都有高的响应，即二值图谱值为1。为防止一些舰船目标某些部分响应较弱，因此通过一个像素的膨胀，得到二值图谱中舰船目标响应连通区域数目和位置。三个尺度全卷积网络设计方式决定了二值图谱上每个点与原图的映射方式，根据此映射方式可得舰船目标在原图中的候选区域。
步骤6、根据上述步骤5中得到的舰船目标候选区域，选取全卷积网络中倒数第二个卷积层的特征作为该舰船目标候选区域的特征表示，然后通过空间金字塔采样SPP操作，得到固定长度的特征向量。
全卷积网络设计的最后一个卷积层是用来做分类的，因此，对于每个舰船目标候选区域，选取倒数第二个卷积层的输出特征作为该舰船目标候选区域的特征表示。全连接层需要固定大小的输入，而每个舰船目标候选区域的大小是与舰船大小紧密相关的，如果简单的将候选区域拉伸到固定大小，则会破坏舰船特征的分布，影响后面的分类结果和回归准确率。所以，通过采用SPP操作，在保证特征向量固定大小的同时，舰船目标特征不会失真，而且能保留一定的多尺度信息。
SPP对舰船候选区域进行分块，分别分成4×4、2×2和1×1大小，然后对每块求取最大值，得到21个最大值，最后将这些值串联得到21×256-d维度的特征向量。
步骤7、将上述步骤3中训练集图片和对应图片中手工标注的舰船位置边界框信息以及对应图片经过上述步骤6得到的舰船目标候选区域对应的特征向量作为多任务学习的输入，分别进行虚警排除和舰船目标精定位；将上述步骤5得到的每个舰船目标候选区域和上述步骤3得到的舰船目标定位边界框信息进行比较，如果两个区域的交叉面积与两个区域的面积并集的比值IoU大于阈值T1，则将该舰船目标候选区域作为正样本，并对其进行边界框回归，如果两个区域的交叉面积与两个区域的面积并集的比值IoU小于阈值T2，则将该区域作为负样本，且不进行回归，经过训练得到检测模型。
将每个舰船目标候选区域与舰船目标定位边界框信息进行比较，可以得到IoU值，具体计算方式如下：
P表示舰船候选区域边界框信息，G表示舰船目标真实定位边界框信息。其中，阈值T1优选为0.5，阈值T2优选为0.3。其分类损失函数类似公式(3)所示。
当输入的舰船候选区与真实定位信息相差较小时(IoU>0.5)，可以认为这种变换是一种线性变换，因此可以通过线性回归来建模对舰船位置窗口进行微调，其具体执行方式如下所示：
其中，x,y,w,h分别代表边界框中心点的坐标,边界框的宽和边界框的高，P代表预测的舰船候选区域边界框，G代表舰船目标的真实定位边界框，因此，线性回归的目标是寻找一种关系使得输入预测的窗口P，经过映射得到一个跟真实窗口G更接近的回归窗口
步骤8、根据上述步骤7得到所述检测模型，将上述步骤3中测试集图片以及对应图片在上述步骤5中提取的舰船目标候选区域对应的特征向量和定位信息作为上述检测模型的输入，得到相应候选区域分类和定位修正结果，根据舰船样本分类结果以及舰船位置的定位修正结果，将其绘制在上述步骤3中的测试集图片上，作为最终的检测结果。
本发明在PC平台上进行了算法实验，实验过程中使用多种背景，不同大小和不同舰船尺度的500张可见光遥感图像。图2给出了本发明方法在不同背景条件下对于不同尺度舰船的检测结果。从图中可以看出，不论在平静海面背景，海浪干扰背景，陆地干扰背景，还是碎云干扰背景下，本发明都具有好的检测结果。
根据本发明的该方法与现有的舰船检测方法进行了实验对比。对比实验中的对比方法(1)是Changren Zhu等人于2010年在《IEEE TRANSACTIONS ON GEOSCIENCE ANDREMOTE SENSING》发表的文章“A Novel Hierarchical Method of Ship Detection fromSpaceborne Optical Image Based on Shape and Texture Features”中提出的；对比方法(2)是Fukun Bi等人于2012年在《IEEE GEOSCIENCE AND REMOTE SENSING LETTERS》发表的文章“A Visual Search Inspired Computational Model for Ship Detection inOptical Satellite Images”中提出的；对比方法(3)是Gu Hong Nie等人于2017年在《ITMWeb of Conferences》发表的文章“Ship Detection Using Transfer Learned SingleShot Multi Box Detector”中提出的。实验数据为GF-1卫星拍摄的2米分辨率全色卫星图像。舰船检测评价指标包括召回率(Recall rate)、精确率(Precision rate)和虚警率(False rate)。这些指标定义如下：
(1)Recall rate：Recall rate表示的是样本中被预测正确的样本所占的比例。预测结果有两种可能，一种是把原来的正类预测成正类(TP)，另一种是把原来的正类预测为负类(FN)，其可用公式(10)表示。Recall rate越大说明舰船目标漏检越少。
(2)Precision rate：Precision rate表示的是预测为正的样本中真正的正样本比例。预测结果有两种可能，一种是把正类预测为正类(TP)，另一种就是把负类预测为正类(FP)，其可用公式(11)表示。Precision rate越高说明舰船检测准确率越高。
(3)False rate:False rate表示的是预测为正的样本中负样本的比例。其可用公式(12)表示。False rate越高说明舰船检测虚警率越高。
表1列出了本发明方法对于不同尺度舰船的检测结果。从实验结果可以看出，本发明方法对于不同尺度舰船都表现出了较好的检测性能。这是由于本方法采用的全卷积网络可以提取舰船更深层次的特征；同时本方法采用了三个尺度的网络，针对不同尺度的舰船提取特征，使得特征更具有针对性和鲁棒性。
表2列出了本发明方法与对比方法的客观评价结果。从对比结果可以看出，本发明方法的召回率、检测率都高于对比方法，虚警率低于对比方法，这是由于本方法提取的舰船特征更稳定，可以减少不同背景的干扰；同时本方法能够提供对不同尺度舰船的鲁棒性，这是因为本方法采用了多尺度全卷积网络，针对不同尺度舰船，提取相应特征，排除舰船尺度对特征稳定性的影响。另一方面，本方法可以提供对舰船目标更精确的定位，这是由于本方法采用了舰船定位边界框回归算法，能够获得较高的修正精度。
表1本发明方法对于不同大小舰船检测结果
表2本发明方法与其他方法对比实验结果
以上对本发明所提供的候选区快速筛选与尺度自适应的深度网络舰船目标检测方法进行了详细的说明，但显然本发明的具体实现形式并不局限于此。对于本技术领域的一般技术人员来说，在不背离本发明的权利要求范围的情况下对它进行的各种显而易见的改变都在本发明的保护范围之内。

Claims (6)

1.一种候选区快速筛选与尺度自适应的深度网络舰船目标检测方法，其特征在于包括：
(1)收集舰船切片数据，构建分类样本库，通过旋转、平移、对称、对比度变换进行样本增广，对正样本根据舰船长度进行分类，分为N组，对负样本进行细分类，将其分为碎云，海浪和陆地三类；
(2)根据上述步骤(1)得到分类数据集，按照预定比例α划分训练集和测试集，并依据舰船长度划分三个尺度全卷积网络：FCN_1，FCN_2，FCN_3，分别训练三个尺度分类器：C_1，C_2，C_3；
(3)准备舰船检测数据集，其中每张图片包含由手工标注的舰船位置定位边界框信息，按照预定比例β划分训练集和测试集；
(4)将上述步骤(2)中得到的所述分类器作为滤波器，分别对上述步骤(3)中所述的舰船检测数据集中的每张图片进行滤波，得到三种尺度的卷积特征图谱，所述卷积特征图谱中的每个点表示原图中一定大小的区域包含舰船的概率，对此概率结果进行二值化获得对应的二值图谱；
(5)根据上述步骤(4)中得到的舰船目标二值图谱，通过形态学操作进行膨胀，得到连通区域，然后依据所述全卷积网络的卷积核计算方法，将二值图谱上连通区域的坐标映射回原图，得到舰船目标候选区域；
(6)根据上述步骤(5)中得到的舰船目标候选区域，选取全卷积网络中倒数第二个卷积层的特征作为该舰船目标候选区域的特征表示，然后通过空间金字塔采样SPP操作，得到固定长度的特征向量；
(7)将上述步骤(3)中训练集图片和对应图片中手工标注的舰船位置定位边界框信息以及对应图片经过上述步骤(6)得到的舰船目标候选区域对应的特征向量作为多任务学习的输入，分别进行虚警排除和舰船目标精定位；将上述步骤(5)得到的每个舰船目标候选区域和上述步骤(3)得到的舰船目标定位边界框信息进行比较，如果两个区域的交叉面积与两个区域的面积并集的比值IoU大于阈值T1，则将该舰船目标候选区域作为正样本，并对其进行边界框回归，如果两个区域的交叉面积与两个区域的面积并集的比值IoU小于阈值T2，则将该区域作为负样本，且不进行回归，经过训练得到检测模型；
(8)根据上述步骤(7)中得到所述检测模型，将上述步骤(3)中测试集图片以及对应图片在上述步骤(5)中提取的舰船目标候选区域对应的特征向量和定位信息作为上述检测模型的输入，得到相应候选区域分类和定位修正结果，根据舰船样本分类结果以及舰船位置的定位修正结果，将其绘制在上述步骤(3)中的测试集图片上，作为最终的检测结果。
2.如权利要求1所述的深度网络舰船目标检测方法，其特征在于：
在所述步骤(1)中，选择N＝3，舰船长度分别为s∈[15,60)、m∈[60,120)、l＝[120,200]，s、m、l表示三个尺度舰船的长度，单位是像素。
3.如权利要求1所述的深度网络舰船目标检测方法，其特征在于：
在所述步骤(2)中，划分训练集和测试集的优选比例α为8:2，三个全卷积网络的输入图像尺寸分别是64×64、128×128、256×256像素。
4.如权利要求1所述的深度网络舰船目标检测方法，其特征在于：
在所述步骤(3)中，数据集包含4000张图片和相应标签文件，每张图片大小为1000×1000像素，其中至少包含一艘船，每个标签文件包含对应图中舰船目标的位置，舰船目标的位置信息表示为(xmin,ymin,xmax,ymax)，(xmin,ymin)表示舰船位置左上角坐标，(xmax,ymax)表示舰船位置右下角坐标，划分训练集和测试集的优选比例β为8:2。
5.如权利要求1所述的深度网络舰船目标检测方法，其特征在于：
在所述步骤(4)中，二值图谱中值为1表示该位置映射到原图的区域包含舰船，值为0表示该位置映射到原图的区域不包含舰船。
6.如权利要求1所述的深度网络舰船目标检测方法，其特征在于：
在所述步骤(7)中，阈值T1优选为0.5，阈值T2优选为0.3。
CN201810571979.6A 2018-05-31 2018-05-31 候选区快速筛选与尺度自适应的深度网络舰船目标检测方法 Active CN108898065B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810571979.6A CN108898065B (zh) 2018-05-31 2018-05-31 候选区快速筛选与尺度自适应的深度网络舰船目标检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810571979.6A CN108898065B (zh) 2018-05-31 2018-05-31 候选区快速筛选与尺度自适应的深度网络舰船目标检测方法

Publications (2)

Publication Number Publication Date
CN108898065A true CN108898065A (zh) 2018-11-27
CN108898065B CN108898065B (zh) 2021-08-13

Family

ID=64344473

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810571979.6A Active CN108898065B (zh) 2018-05-31 2018-05-31 候选区快速筛选与尺度自适应的深度网络舰船目标检测方法

Country Status (1)

Country Link
CN (1) CN108898065B (zh)

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109583369A (zh) * 2018-11-29 2019-04-05 北京邮电大学 一种基于目标区域分割网络的目标识别方法及装置
CN109754362A (zh) * 2018-12-24 2019-05-14 哈尔滨工程大学 一种用可旋转的边界框标注海参目标检测结果的方法
CN110135456A (zh) * 2019-04-08 2019-08-16 图麟信息科技（上海）有限公司 一种目标检测模型的训练方法及装置
CN110717534A (zh) * 2019-09-30 2020-01-21 中国科学院大学 一种基于网络监督的目标分类和定位方法
CN111914924A (zh) * 2020-07-28 2020-11-10 西安电子科技大学 一种快速舰船目标检测方法、存储介质及计算设备
CN112102353A (zh) * 2020-08-27 2020-12-18 普联国际有限公司 运动目标的分类方法、装置、设备及存储介质
CN112907521A (zh) * 2021-02-05 2021-06-04 上海展湾信息科技有限公司 基于ssd和glcm的焊接气孔目标检测方法
CN113011417A (zh) * 2021-01-08 2021-06-22 湖南大学 基于交并比覆盖率损失与重定位策略的目标匹配方法
CN113239953A (zh) * 2021-03-30 2021-08-10 西安电子科技大学 基于有向高斯函数的sar图像旋转舰船检测方法
CN113393497A (zh) * 2021-07-07 2021-09-14 中国人民解放军海军航空大学 碎云条件下序列遥感图像舰船目标跟踪方法、装置及设备

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106651955A (zh) * 2016-10-10 2017-05-10 北京小米移动软件有限公司 图片中目标物的定位方法及装置
US20170147905A1 (en) * 2015-11-25 2017-05-25 Baidu Usa Llc Systems and methods for end-to-end object detection
WO2017101036A1 (en) * 2015-12-16 2017-06-22 Intel Corporation Fully convolutional pyramid networks for pedestrian detection
CN107527352A (zh) * 2017-08-09 2017-12-29 中国电子科技集团公司第五十四研究所 基于深度学习fcn网络的遥感舰船目标轮廓分割与检测方法
CN107563381A (zh) * 2017-09-12 2018-01-09 国家新闻出版广电总局广播科学研究院 基于全卷积网络的多特征融合的目标检测方法
CN107665498A (zh) * 2017-08-29 2018-02-06 北京航空航天大学 基于典型示例挖掘的全卷积网络飞机检测方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20170147905A1 (en) * 2015-11-25 2017-05-25 Baidu Usa Llc Systems and methods for end-to-end object detection
WO2017101036A1 (en) * 2015-12-16 2017-06-22 Intel Corporation Fully convolutional pyramid networks for pedestrian detection
CN106651955A (zh) * 2016-10-10 2017-05-10 北京小米移动软件有限公司 图片中目标物的定位方法及装置
CN107527352A (zh) * 2017-08-09 2017-12-29 中国电子科技集团公司第五十四研究所 基于深度学习fcn网络的遥感舰船目标轮廓分割与检测方法
CN107665498A (zh) * 2017-08-29 2018-02-06 北京航空航天大学 基于典型示例挖掘的全卷积网络飞机检测方法
CN107563381A (zh) * 2017-09-12 2018-01-09 国家新闻出版广电总局广播科学研究院 基于全卷积网络的多特征融合的目标检测方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
HAONING LIN ET AL.: "Fully Convolutional Network With Task Partitioning for Inshore Ship Detection in Optical Remote Sensing Images", 《IEEE GEOSCIENCE AND REMOTE SENSING LETTERS》 *
YUAN YAO ET AL.: "Ship detection in optical remote sensing images based on deep convolutional neural networks", 《JOURNAL OF APPLIED REMOTE SENSING》 *
辛鹏等: "全卷积网络多层特征融合的飞机快速检测", 《光学学报》 *

Cited By (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109583369B (zh) * 2018-11-29 2020-11-13 北京邮电大学 一种基于目标区域分割网络的目标识别方法及装置
CN109583369A (zh) * 2018-11-29 2019-04-05 北京邮电大学 一种基于目标区域分割网络的目标识别方法及装置
CN109754362A (zh) * 2018-12-24 2019-05-14 哈尔滨工程大学 一种用可旋转的边界框标注海参目标检测结果的方法
CN110135456A (zh) * 2019-04-08 2019-08-16 图麟信息科技（上海）有限公司 一种目标检测模型的训练方法及装置
CN110717534A (zh) * 2019-09-30 2020-01-21 中国科学院大学 一种基于网络监督的目标分类和定位方法
CN110717534B (zh) * 2019-09-30 2020-09-15 中国科学院大学 一种基于网络监督的目标分类和定位方法
CN111914924A (zh) * 2020-07-28 2020-11-10 西安电子科技大学 一种快速舰船目标检测方法、存储介质及计算设备
CN111914924B (zh) * 2020-07-28 2024-02-06 西安电子科技大学 一种快速舰船目标检测方法、存储介质及计算设备
CN112102353A (zh) * 2020-08-27 2020-12-18 普联国际有限公司 运动目标的分类方法、装置、设备及存储介质
CN112102353B (zh) * 2020-08-27 2024-06-07 普联国际有限公司 运动目标的分类方法、装置、设备及存储介质
CN113011417B (zh) * 2021-01-08 2023-02-10 湖南大学 基于交并比覆盖率损失与重定位策略的目标匹配方法
CN113011417A (zh) * 2021-01-08 2021-06-22 湖南大学 基于交并比覆盖率损失与重定位策略的目标匹配方法
CN112907521A (zh) * 2021-02-05 2021-06-04 上海展湾信息科技有限公司 基于ssd和glcm的焊接气孔目标检测方法
CN113239953B (zh) * 2021-03-30 2024-02-09 西安电子科技大学 基于有向高斯函数的sar图像旋转舰船检测方法
CN113239953A (zh) * 2021-03-30 2021-08-10 西安电子科技大学 基于有向高斯函数的sar图像旋转舰船检测方法
CN113393497B (zh) * 2021-07-07 2022-08-09 中国人民解放军海军航空大学 碎云条件下序列遥感图像舰船目标跟踪方法、装置及设备
CN113393497A (zh) * 2021-07-07 2021-09-14 中国人民解放军海军航空大学 碎云条件下序列遥感图像舰船目标跟踪方法、装置及设备

Also Published As

Publication number Publication date
CN108898065B (zh) 2021-08-13

Similar Documents

Publication Publication Date Title
CN108898065A (zh) 候选区快速筛选与尺度自适应的深度网络舰船目标检测方法
Blaschke et al. Image segmentation methods for object-based analysis and classification
CN106815601B (zh) 基于递归神经网络的高光谱图像分类方法
Liu et al. Multiscale morphological compressed change vector analysis for unsupervised multiple change detection
Huang et al. Morphological building/shadow index for building extraction from high-resolution imagery over urban areas
CN108052940A (zh) 基于深度学习的sar遥感图像水面目标检测方法
Davis et al. Real-time observation of taxa-specific plankton distributions: an optical sampling method
CN108230329A (zh) 基于多尺度卷积神经网络的语义分割方法
Jiang et al. Focal-test-based spatial decision tree learning
CN110097101B (zh) 一种基于改进可靠性因子的遥感图像融合与海岸带分类方法
CN105809194B (zh) 一种sar影像翻译为光学影像的方法
Zhang et al. Unsupervised difference representation learning for detecting multiple types of changes in multitemporal remote sensing images
CN110502654A (zh) 一种适用于多源异构遥感数据的目标库生成系统
CN112347895A (zh) 一种基于边界优化神经网络的舰船遥感目标检测方法
Su et al. Machine learning-assisted region merging for remote sensing image segmentation
Peng et al. Object-based change detection from satellite imagery by segmentation optimization and multi-features fusion
CN108664838A (zh) 基于改进rpn深度网络的端到端的监控场景行人检测方法
Deng et al. Cloud detection in satellite images based on natural scene statistics and gabor features
Chen et al. Geospatial transformer is what you need for aircraft detection in SAR Imagery
CN107798345A (zh) 基于块对角与低秩表示的高光谱伪装目标检测方法
Zhao et al. SAR ship detection based on end-to-end morphological feature pyramid network
CN106485239A (zh) 一种利用单类支持向量机检测河流目标的方法
Han et al. Exploring the synergistic use of multi-scale image object metrics for land-use/land-cover mapping using an object-based approach
CN109165658A (zh) 一种基于Faster-RCNN的强负样本水下目标检测方法
CN108230313A (zh) 基于部件自适应选择与判别模型的sar图像目标检测方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant