CN107527352A

CN107527352A - 基于深度学习fcn网络的遥感舰船目标轮廓分割与检测方法

Info

Publication number: CN107527352A
Application number: CN201710675694.2A
Authority: CN
Inventors: 楚博策
Original assignee: CETC 54 Research Institute
Current assignee: CETC 54 Research Institute
Priority date: 2017-08-09
Filing date: 2017-08-09
Publication date: 2017-12-29
Anticipated expiration: 2037-08-09
Also published as: CN107527352B

Abstract

本发明公开了一种基于深度学习FCN全卷积网络的遥感舰船轮廓分割与检测方法，首先构建遥感舰船目标数据库，对其中遥感舰船目标进行逐像素标注，随后本发明设计一种更深的6层全卷积网络6‑FCN结构通过卷积与反卷积进行参数训练，最终对宽幅遥感检测图像进行重叠切分，检测后合并得到最终遥感影像舰船检测结果。可以在高效迅速地实现遥感舰船目标检测的同时实完成舰船轮廓的精准分割，精简了传统的检测复杂流程，并且实现很好的分割与检测效果提升。

Description

基于深度学习FCN网络的遥感舰船目标轮廓分割与检测方法

技术领域

本发明属于遥感图像智能识别技术领域，更为具体地讲，涉及在监控场景下一种基于全卷积神经网络的遥感舰船目标检测方法。

背景技术

卫星海洋监视具有成像带幅宽、数据量大的特点，军事活动关注的重点是对海上运动目标实施侦察、跟踪监视其状态，积累和掌握有关国家、地区海上军事力量的部署与目标动向。快速、准确检测并提取目标图像非常必要，利用计算机技术实现遥感图像遥感舰船目标检测成为国内外研究重点。

目前已有的舰船检测方法，

(1)大部分是主要有双参数CFAR方法、基于K分布的CFAR方法等。这类方法检测准确率较低，并且虚警率过高。其检测率稳定在85％左右，虚警率根据参数选择在5％-10％。本发明提出的方法其检测率可以达到98％，虚警率低于5％。

(2)可见光图像遥感舰船目标检测算法还包括尾迹检测算法，基于舰船本身各类浅层特征(Hough直线、形态、灰度、边缘、SIFT等)的检测算法。而遥感影像随着载荷不同，其成像特点各异，上述方法需要人为规定检测特征，对不同图像检测效果差异较大，鲁棒性较差，而本发明提出的方法提取遥感舰船目标的深度特征，无需人为规定特征，具有很好的普适性。

(3)本发明提出方法除了实现传统方法的目标检测还可以实现逐像素的类别检测，可以有效检测出目标轮廓，可以为后续识别提供帮助。

发明内容

本发明的目的在于克服现有技术的不足，提出基于全卷积网络的遥感舰船目标检测方法，来进一步提高检测准确度和召回率，减少虚警和漏检。

本发明的目的是这样实现的：

基于深度学习FCN网络的遥感舰船目标轮廓分割与检测方法，包括以下步骤：

(1)采集不同型号(高分-1号、高分-2号等)、不同分辨率(1m、2.5m等)可见光的遥感舰船目标遥感图像，然后对每一张目标图像进行逐像素标注，标注后的数据组成一幅二值图像，其中0灰度表示背景像素，1灰度表示舰船像素，把遥感图像和对应标注图像打包构成训练样本；

(2)设计6层深度学习FCN网络；

(3)初始设定步骤(2)的深度学习FCN网络中的节点参数，对训练样本中的遥感舰船目标图像，根据步骤(2)的网络结构模型，得到遥感舰船目标图像的检测结果，根据检测结果和对应标注的遥感舰船目标图像逐个像素计算多分类回归模型softmax分类的损失，得到每一个遥感舰船目标图像的损失值；

(4)将所有遥感舰船目标图像的损失值进行排序，选择损失值最大的设定个数遥感舰船目标图像作为难例样本，并将这些难例样本的损失值反馈到深度学习FCN网络模型中，使用随机梯度下降法更新深度学习FCN网络模型的节点参数，从而得到检测目标的神经网络模型，用于监控场景下采集的遥感舰船目标图像的检测；其中，设定个数的数值根据经验值决定；

(5)将待检测图像采用重叠切分方法进行切分，将切分后的所有分块分别送入深度学习FCN网络中，得到每个分块的初始检测结果，并消除每个分块的细小的像素级误检测，将消除像素级误检测后的所有分块的检测结果汇总到原图中，得到最终检测与分割的合并结果。

其中，步骤(5)具体包括以下步骤：

(501)计算分块的像素数S：

其中，X为分辨率，L为待检测图像大小；

(502)采用重叠切分方法从坐标原点开始对待检测图像按照分块像素数进行分块；

(503)将所有分块分别送入深度学习FCN网络中，得到所有分块的初始检测结果，并通过膨胀腐蚀消除细小的像素级误检测；

(504)将消除像素级误检测后的所有分块的检测结果汇总到原图中，当重叠区域检测结果产生矛盾时，保留其中检测为遥感舰船目标像素的结果作为最终检测与分割的合并结果。

其中，步骤(2)中深度学习FCN网络具体为：前六层的节点依次为对遥感舰船目标图像进行6次卷积特征提取和下采样后的图像；后六层的节点依次为对第六层的图像进行6次反卷积特征提取和上采样后的图像；并分别将第五层、第四层和第三层与最后一层进行连接，连接实现的操作为把第五层、第四层和第三层的图像分别进行反卷积特征提取并上采样至原图大小，将上采样至原图大小的图像与最后一层的图像进行合并强化，完成整个网络的连接结构；

其中，步骤(2)中前六层图像的分辨率在遥感舰船目标图像原图的基础上依次缩小了2，4，8，16，32和64倍；后六层图像的分辨率在第六层图像的基础上依次放大了2，4，8，16，32和64倍；第五层、第四层和第三层的图像分别进行反卷积特征提取并一一对应进行32倍、16倍和8倍上采样至原图大小。

本发明与背景技术相比具有如下优点：

1、本发明提出了基于全卷积FCN网络用于遥感目标检测，通过卷积和反卷积结构设计，以二维图像作为标注，可以实现任意遥感图像的输入。

2、本发明采用深度学习网络，可以提取深度抽象特征，相比背景技术实现目标特征更精准描述。

3、本发明不但实现了目标的定位检测还可以进行轮廓分割，精简背景技术的冗余流程，并可以为后续识别过成提供轮廓信息。

4、本发明全卷积FCN网络是基于像素-标签的点对点模型，可以记忆存储像素级目标信息，可以很好地克服边缘效应(当图中遥感舰船目标不完整时也可以检测出目标)。

附图说明

图1是本发明基于深度学习FCN网络的舰船目标目标检测流程图。

图2是本发明卷积热度图。

图3是本发明反卷积示例图。

图4是本发明网络结构的主要层次结构。

图5是本发明港口与遥感舰船目标截取示意图。

图6是本发明舰船标注示意图,其中左侧为待标注图像，右侧为标注结果。

图7是本发明原始图像、FCN检测后结果与标注图像对比结果图，其中左侧为待检测图像，中间位检测后结果，右侧为标注结果。

图8是本发明不完整舰船检测效果图，其中左侧为待检测图像，中间位检测后结果，右侧为标注结果。

图9是本发明宽幅遥感舰船最终检测结果。

图10是本发明像素误差随迭代变换示意图。

具体实施方式

下面结合附图对本发明的具体实施方式进行描述，以便本领域的技术人员更好地理解本发明。需要特别提醒注意的是，在以下的描述中，当已知功能和设计的详细描述也许会淡化本发明的主要内容时，这些描述在这里将被忽略。

图1是本发明基于深度学习FCN网络的遥感舰船目标检测方法一种具体实施下的原理框图。

在本实施例中，如图1所示基于深度学习FCN网络的遥感舰船目标轮廓分割与检测方法，包括以下步骤：

1、数据准备

数据准备包括遥感检测目标数据库的建立和遥感舰船目标的标注，其中本实施例中采用基于高分-1，高分-2，谷歌等多种数据来源，对上千余大型遥感舰船目标进行搜集。采用不同载荷、不同分辨率的遥感舰船目标图像进行训练。FCN为逐像素检测网络，不同于传统画框标注的方法，本实施采用逐像素标注的方法对所有遥感舰船目标图像进行标注。

2、网络结构设计

本发明设计6层全卷积6-FCN网络对不同尺度的目标图像进行特征提取，得到卷积特征，经过6次卷积和下采样后，图像的分辨率依次缩小了2，4，8，16，32，64倍，得到前六层的节点；依次为对第6层的图像进行6次反卷积特征提取和上采样后得到后六层节点。对第6层的输出(64倍放大)反卷积到原图大小得到卷积热度图如图2所示；对第5层的输出、第4层的输出和第3层的输出也依次反卷积，分别需要32倍、16倍和8倍上采样，将第5层、第4层和第3层的输出与最后一层进行合并如图3所示，实现强化检测结果。为实现对特征的深度刻画效果，本发明设计6-FCN网络如图4所示作为深度卷积神经网络的结构。

3、模型训练

初始设定步骤(2)的深度学习FCN网络中的节点参数，对训练样本中标注的遥感舰船目标图像，根据步骤(2)的网络结构模型，得到遥感舰船目标图像的检测结果，根据检测结果和遥感舰船目标图像逐个像素计算多分类回归模型softmax分类的损失，得到每一个遥感舰船目标图像的损失值；将所有遥感舰船目标图像的损失值进行排序，选择损失值最大的设定个数遥感舰船目标图像作为难例样本，并将这些难例样本的损失值反馈到深度学习FCN网络模型中，使用随机梯度下降法更新深度学习FCN网络模型的节点参数，从而得到检测目标的神经网络模型，用于监控场景下采集的遥感舰船目标图像的检测。

4、数据检测

将待检测宽幅遥感舰船图像采用重叠切分方法进行宽幅图像切分，将切分后的所有分块分别送入深度学习FCN网络中，得到每个分块的初始检测结果，并消除每个分块的细小的像素级误检测，将消除像素级误检测后的所有分块的检测结果汇总到原图中，得到最终检测与分割的合并结果。

具体为：

假设分辨率为X，根据待检测宽幅遥感舰船图像大小L，采用重叠切分方法以待检测宽幅遥感舰船图像长度的1.5*L作为分块的大小，其中分块像素数S为

对原始待检测宽幅遥感舰船图像进行切分后的分块进行并行计算，最终合并到一起生产宽幅检测结果。①采用重叠切分方法从坐标原点开始对待检测图像进行分块如图5所示，分块采取交叠方式进行；②将所有分块分别送入深度学习FCN网络中，通过FCN网络得到所有分块的初始检测结果，如图6所示，并通过膨胀腐蚀消除细小的像素级误检测；③分别对小块图像进行检测，结果如图7所示,FCN网络是基于像素-标签的点对点模型，可以记忆存储像素级目标信息，可以很好地克服边缘效应，对不完整的遥感舰船目标检测如图8所示。将小块的检测结果汇总到原图中，当重叠区域检测结果产生矛盾时，保留其中检测为目标像素的结果作为最终检测与分割的合并结果，如图9所示。

为了验证本发明的有效性，我们首先使用自己制作的数据集进行模型的训练，然后基于采集的复杂场景下的遥感舰船目标图像进行人体目标检测效果的对比验证。在本实施例中，选用matconvnet框架实现FCN网络架构，基于自身数据集数量以及舰船检测任务类别更改原有模型参数，并使用舰船数据在PASCALVOC数据集训练的原始模型上进行微调，最终得到用于舰船检测的模型。

本发明实现检测与分割的同时进行，采用召回率、虚警率与分割准确率进行衡量指标，其中召回率又称查全率，表示一副图内检测到的遥感舰船目标占所有遥感舰船目标总数比值，虚警率表示非遥感舰船目标检测为舰船数目与所有舰船总数比值。像素准确率如图10表示正确检测为遥感舰船目标的像素数与所有遥感舰船目标像素数比值。本发明最终召回率为98％，漏检率为1％，分割准确率为97.7％，相比传统背景方法召回率90％，漏检率8％具有较大性能提升。

尽管上面对本发明说明性的具体实施方式进行了描述，以便于本技术领域的技术人员理解本发明，但应该清楚，本发明不限于具体实施方式的范围，对本技术领域的普通技术人员来讲，只要各种变化在所附的权利要求限定和确定的本发明的精神和范围内，这些变化是显而易见的，一切利用本发明构思的发明创造均在保护之列。

Claims

1.基于深度学习FCN网络的遥感舰船目标轮廓分割与检测方法，其特征在于，包括以下步骤：

(1)采集不同型号、不同分辨率可见光的遥感舰船目标图像，对每一张遥感舰船目标图像进行逐像素标注，把遥感舰船目标图像和对应标注的遥感舰船目标图像打包构成训练样本；

(2)设计6层深度学习FCN网络；

(3)初始设定步骤(2)设计的深度学习FCN网络中的节点参数，对训练样本中的遥感舰船目标图像，根据步骤(2)的网络结构模型，得到检测结果，根据检测结果和对应标注的遥感舰船目标图像逐个像素计算多分类回归模型softmax分类的损失，得到每一个遥感舰船目标图像的损失值；

(4)将所有遥感舰船目标图像的损失值进行排序，选择损失值最大的设定个数的遥感舰船目标图像作为难例样本，并将这些难例样本的损失值反馈到深度学习FCN网络中，使用随机梯度下降法更新深度学习FCN网络的节点参数；

2.根据权利要求1所述的基于深度学习FCN网络的遥感舰船目标轮廓分割与检测方法，其特征在于，步骤(2)中深度学习FCN网络具体为：前六层的节点依次为对遥感舰船目标图像进行6次卷积特征提取和下采样后的图像；后六层的节点依次为对第六层的图像进行6次反卷积特征提取和上采样后的图像；并分别将第五层、第四层和第三层与最后一层进行连接，连接实现的操作为把第五层、第四层和第三层的图像分别进行反卷积特征提取并上采样至原图大小，将上采样至原图大小的图像与最后一层的图像进行合并强化，完成整个网络的连接结构。

3.根据权利要求1所述的基于深度学习FCN网络的遥感舰船目标轮廓分割与检测方法，其特征在于，步骤(5)具体包括以下步骤：

(501)计算分块的像素数S：

其中，X为分辨率，L为待检测图像的大小；

(504)将消除像素级误检测后的所有分块的检测结果汇总到原图中，当重叠区域检测结果产生矛盾时，保留其中检测为目标像素的结果作为最终检测与分割的合并结果。

4.根据权利要求2所述的基于深度学习FCN网络的遥感舰船目标轮廓分割与检测方法，其特征在于，步骤(2)中前六层图像的分辨率在遥感舰船目标图像原图的基础上依次缩小了2，4，8，16，32和64倍；后六层图像的分辨率在第六层图像的基础上依次放大了2，4，8，16，32和64倍；第五层、第四层和第三层的图像分别进行反卷积特征提取并一一对应进行32倍、16倍和8倍上采样至原图大小。