CN109740460A - 基于深度残差密集网络的光学遥感图像舰船检测方法 - Google Patents

Abstract

本发明公开了一种基于深度残差密集网络的光学遥感图像舰船检测方法，包括：1)利用绿波段图像和近红外图像计算归一化水体指数，进行二值化，实现海陆分离；2)利用二值图中的连通域信息提取舰船候选区域，在对应的细节丰富的全色图像上截取切片；3)构建一个多类别的舰船数据集，训练深度残差密集网络；4)利用训练好的深度残差密集网络对待检测切片进行多分类，剔除所有的虚景，得到最终的检测结果。该方法充分利用了多光谱图像和全色图像的优势，采用了深度残差密集网络和多分类学习策略来克服海浪、云层、海岛等虚景的干扰，在平静海面和复杂海面背景下均能实现快速准确的舰船检测。

Description

基于深度残差密集网络的光学遥感图像舰船检测方法

技术领域

本发明属于光学遥感图像目标检测技术领域，具体涉及一种基于深度残差密集网络的光学遥感图像舰船检测方法。

背景技术

舰船作为重要的军事目标和运输载体，在许多领域都有着广泛的应用，如国防建设、海上救援、渔业管理、货物运输等。近年来，随着光学遥感技术的不断发展，在细节更丰富、分辨率更高的光学遥感图像上实现舰船的自动检测逐渐成为国内外学者关注的热点问题。但是由于拍摄天气、拍摄时间的影响，光学遥感图像中的舰船检测往往容易受到云层、波浪、海岛等因素的干扰，导致检测精度下降。

传统的光学遥感图像舰船检测方法通常采用手工设计特征加上分类器的方式，常用的特征包括长宽比、面积、Gabor、Gist、局部二值模式LBP、尺度不变特征变换SIFT、方向梯度直方图HOG以及这些特征的不同组合，提取了目标的特征之后，将这些特征送入分类器(如支持向量机SVM、Adaboost、极限学习机ELM)进行分类识别，得到最后的检测结果。

申请号(CN201611039322.2)的专利文献提出了一种遥感影像中复杂海面背景下的舰船检测方法，在海陆分离和获得特征显著图之后，提取疑似目标最小外接矩形的长宽比、疑似目标实际面积与最小外接矩形面积的比值、疑似目标与邻域均值的比值等特征，根据这些特征剔除虚景，得到最终的检测结果。

申请号(CN201611232350.6)的专利文献提出使用扩展小波变换查找感兴趣区域，然后提取候选区域的轮廓，计算轮廓的形状特征和纹理特征，最后利用SVM对上述组合特征进行二分类，完成舰船检测。

上述传统的光学遥感图像舰船检测方法在平静海面下可以取得较好的检测效果，但仍然存在以下不足：(1)舰船的类内差异大、形态变化多样，传统的手工特征难以克服尺度变化、光照变化、运动变化带来的影响；(2)舰船与虚景具有类间相似性，舰船通常呈现出狭长的结构，和海上的浮桥、陆地上的建筑、集装箱等虚景有着相似的形状，传统特征如长宽比、面积对于这类虚景区分度较低；(3)传统特征难以克服复杂天气环境下云层、波浪、小岛等的干扰，导致虚警增加。

随着深度学习的兴起，有学者提出了基于卷积神经网络CNN(ConvolutionalNeural Networks)的舰船检测方法，虽然CNN提高了特征的表达能力，但大部分方法将舰船检测当成二分类问题看待，忽略了舰船的类内差异性，导致检测精度不高。

发明内容

针对现有技术的不足，本发明提出一种基于深度残差密集网络的光学遥感图像舰船检测方法。本方法结合了多光谱图像的光谱信息与全色图像丰富的细节，用深度残差密集网络提取的特征代替传统手工特征或浅层网络提取的特征，并且提出了多分类学习的策略代替现有的二分类学习。本方法克服了舰船的类内差异大以及虚景种类繁多的问题，能够精准的检测出遥感图像中大小各异、状态不同的舰船目标，并且显著降低了云层、海浪、小岛、浮桥等虚景的干扰，在提高舰船检测精度的同时降低了虚警率。

为实现上述目的，本发明的基本思路是：首先，利用多光谱图像进行二值化，实现海陆分割，去除陆地干扰物的影响；然后利用二值图中的连通域信息提取舰船候选区域，在对应的全色图像上截取切片；最后利用深度残差密集网络对这些切片进行多分类，得到最终的检测结果。

本发明的技术方案具体包括以下步骤：

步骤1，利用多光谱图像中的绿波段图像和近红外图像计算归一化水体指数，并进行二值化，实现海陆分离；

步骤2，利用二值图中的连通域信息提取舰船候选区域，在对应的细节丰富的全色图像上截取切片；

步骤3，构建光学遥感图像舰船数据集，包括训练集和测试集：

步骤4，通过训练集和测试集对构建的深度残差密集网络进行训练和测试，利用训练好且精度最高的深度残差密集网络对待检测舰船候选区域进行分类，得到最终的检测结果。

进一步的，步骤1的具体实现方式如下，

步骤1.1，利用大小为m×n的多光谱图像中的绿波段图像Green和近红外波段NIR求取归一化水体指数NDWI(Normalized Difference Water Index)，得到大小为m×n的矩阵S；

步骤1.2，根据多光谱图像的背景设定阈值η，对矩阵S的每一个位置进行判断，大于η的置为0，小于η的置为255，得到海陆分离后的二值图像S₁；

步骤1.3，对二值图像S₁进行形态学闭运算操作，填充陆地区域中的空洞，得到闭运算后的结果图S₂，再对S₂进行连通域分析，得到每个连通域的中心点坐标以及面积。

进一步的，步骤1.1中矩阵S的计算公式如下，

其中i表示多光谱图像的行索引，取值范围为1～m，j表示多光谱图像的列索引，取值范围为1～n，计算出来的S(i,j)取值在-1～1之间。

进一步的，步骤2的具体实现方式如下，

步骤2.1，设定舰船目标的面积阈值η₂，对步骤1.3得到的每个连通域进行判断，面积小于η₂的被判为疑似目标，得到d个疑似目标的中心点坐标{(x₁,y₁),(x₂,y₂),...,(x_d,y_d)}；

步骤2.2，去除二值图像S₂中符合步骤2.1条件的连通域，剩下面积大于η₂的连通域(认为是陆地)，得到纯陆地的二值图像S₃，通过插值的方法将S₃放大到全色图像的尺寸，根据S₃中白色的陆地区域将全色图像P中的陆地置为黑色，得到只有海域信息的全色图像P₂；

步骤2.3，根据多光谱图像和全色图像的尺寸比例，设全色图像的尺寸是多光谱图像的k倍，将步骤2.1得到的疑似目标的中心坐标放大到原来的k倍，即对应全色图像上疑似目标的中心点坐标{(kx₁,ky₁),(kx₂,ky₂),···,(kx_d,ky_d)}，以这d个点为中心，在步骤2.2得到的全色图像P₂上截取大小为L×L的切片，作为舰船候选区域。

进一步的，步骤3的具体实现方式如下，

步骤3.1，收集已有的卫星图像，包括多光谱图像的绿波段和NIR波段以及对应的全色图像，经过步骤1和步骤2处理得到所有舰船候选区域的切片；

步骤3.2，将这些切片分为两大类：舰船和虚景，根据形状和数量的不同将舰船目标细分为大船、中船、小船、带尾迹的船和多条船5小类，将虚景细分为波浪、云、海岛、浮桥、黑色海面5小类，数据集一共被分为10个子类；

步骤3.3，将切片数据集随机打乱，按一定的比例划分训练集和测试集。

进一步的，步骤4的具体实现方式如下，

步骤4.1，搭建深度残差密集网络，用步骤3.3得到的训练集对网络进行训练，共进行c轮训练，记录下每轮训练的分类损失和精度，保存下精度最高的模型，用来测试；

步骤4.2，用步骤4.1中训练好的模型对测试集的每张切片进行预测，计算目标属于每种类别的概率，选取概率最高的类别作为预测的结果，计算模型在测试集上的检测精度；

步骤4.3，输入待检测的多光谱图像和全色图像，经过步骤1和步骤2得到舰船候选区域，用步骤4.1中训练好的模型对每个候选区域进行预测，剔除预测为波浪、云、海岛、浮桥、黑色海面5类的切片，保留所有属于舰船目标子类(大船、中船、小船、带尾迹的船和多条船)的切片，将舰船类切片在全色图上对应的位置框出来，得到最后的检测结果。

进一步的，步骤4.1中搭建的深度残差密集网络包括初始卷积层，最大池化层，4个局部残差密集块，平均池化层和全连接层。

进一步的，所述局部残差密集块由K个基本单元和1个控制单元CU(Control Unit)组成，每个基本单元由两组卷积Conv+批归一化BN(Batch Normalization)+激活函数ReLU(Rectified Linear Unit)组成，控制单元由一组Conv+BN+ReLU和平均池化层组成。

本发明与现有技术相比具有以下优点和有益效果：

(1)本发明充分利用多光谱图像和全色图像各自的优势进行舰船检测，海陆分离阶段利用分辨率较低的多光谱图像去除陆地干扰，快速地定位疑似目标，在分类时则在细节丰富、分辨率较高的全色图像上截取舰船候选区域的切片，从而在保证速度的前提下有效提高舰船检测的精度。

(2)本发明设计了深度残差密集网络代替传统手工特征或浅层CNN提取的特征，可以从海量的样本中学习出舰船目标的本质特征，提高了舰船的召回率。

(3)针对舰船类内差异大以及虚景种类繁多的问题，本发明提出了多分类学习的策略，将舰船目标和虚景都分为了更精细的类别，有助于深度残差密集网络学习到有区分度的特征，从而有效克服云层、波浪、海岛等干扰物的影响，显著降低了虚警率。

附图说明

图1为本发明的总体流程图。

图2为本发明数据集中每种类别的样本示例。

图3为本发明中深度残差密集网络的结构图。

图4为本发明中局部残差密集块的结构图。

具体实施方式

下面结合附图和实施例对本发明的技术方案作进一步说明。

为了更清楚的阐述本发明的目的、技术方案和有益效果，下面结合附图和实施例进一步说明。应当理解，本发明不应限于实施例公开的内容，本发明要求保护的范围以权利要求书界定的范围为准。

参照图1，本发明的具体实施方式分为以下步骤：

已知：以高分一号卫星图片为样本，输入空间分辨率8米、大小为m×n的多光谱图像的绿波段Green和近红外波段NIR(Near Infrared)，以及空间分辨率为2米、大小为4m×4n的全色图像P。

步骤1，海陆分离：

步骤1.1，利用绿波段图像Green和近红外波段NIR求取归一化水体指数NDWI，得到大小为m×n的矩阵S，其计算公式如下：

其中i表示图像的行索引，取值范围为1～m，j表示图像的列索引，取值范围为1～n，计算出来的S(i,j)取值在-1～1之间。由于绿波段图像中陆地的灰度值比NIR图像低，而海水的灰度值比NIR图像高，因此矩阵S中水域大部分为正值，而陆地区域则为0或负值。

步骤1.2，根据图像的背景设定阈值η，在本实施例中平静海面下设置η＝0.2，有云或有浪的复杂背景下设置η＝0.05，对矩阵S的每一个像素进行反向二值化，得到海陆分离后的二值图像S₁，其计算公式如下：

根据步骤2.1的分析可知，计算后的二值图像S₁中海水部分呈现黑色，而陆地和海上船只大部分为白色；

步骤1.3，对二值图像S₁进行形态学闭运算操作(先膨胀后腐蚀)，填充陆地区域中的空洞，得到闭运算后的结果图S₂，再对S₂进行连通域分析，得到每个连通域的中心点坐标以及面积；

步骤2，提取舰船候选区域：

步骤2.1，设定舰船目标的面积阈值η₂＝1500，对步骤1.3得到的每个连通域进行判断，面积小于η₂的被判为疑似目标，得到d个疑似目标的中心点坐标{(x₁,y₁),(x₂,y₂),...,(x_d,y_d)}；

步骤2.2，去除二值图像S₂中符合步骤2.1条件的连通域，剩下面积大于η₂的连通域(认为是陆地)，得到纯陆地的二值图像S₃，通过插值的方法将S₃放大到全色图像的尺寸4m×4n，根据S₃中白色的陆地区域将全色图像P中的陆地置为黑色，得到只有海域信息的全色图像P₂；

步骤2.3，根据多光谱图像和全色图像的尺寸比例1:4，将步骤2.1得到的疑似目标的中心坐标放大到原来的4倍，即对应全色图像上疑似目标的中心点坐标{(4x₁,4y₁),(4x₂,4y₂),...,(4x_d,4y_d)}，以这d个点为中心，在步骤2.2得到的全色图像P₂上截取大小为L×L的切片(在本实施例中设置L＝224)，作为舰船候选区域；

步骤3，构建光学遥感图像舰船数据集：

步骤3.1，收集待检测的高分一号卫星大图，包括多光谱图像的绿波段和近红外波段以及对应的全色图像。用窗口大小为512×512且步长为448的滑窗，逐一切割绿波段图像和近红外波段图像；用窗口大小为2048×2048且步长为1792的滑窗，切割对应的全色图像，得到576组不同海面背景不同光照强度的绿波段图像、近红外图像和全色图像。设定步长小于窗口大小是为了保证边缘处舰船目标的完整性，将每一组图像作为输入，经过步骤1和步骤2后，得到所有舰船候选区域的切片，共43756张；

步骤3.2，为了克服舰船类内差异大以及虚景种类繁多的问题，人工将这些切片分为两大类：舰船和虚景，根据形状和数量的不同将舰船目标细分为大船、中船、小船、带尾迹的船和多条船5小类，将虚景细分为波浪、云、海岛、浮桥、黑色海面5小类，图2为数据集中10个子类的样本示例，每种类别至少有3000张样本；

步骤3.3，将切片数据集随机打乱，按7:3的比例划分训练集和测试集。为了保证样本的均衡性，随机从每种类别的样本中抽取70％构成训练集，剩下的30％作为测试集，最后训练集包含30629张切片，测试集包含13127张切片；

步骤4，用深度残差密集网络对舰船候选区域进行分类：

步骤4.1，搭建深度残差密集网络，其结构如图3所示，依次为输入图片→初始卷积层→最大池化层→4个局部残差密集块→平均池化层→全连接层，最后输出每种类别的概率。

图4为局部残差密集块的结构图，以第v个为例，该模块主要由K个基本单元和1个控制单元CU(Control Unit)组成，每个基本单元由两组3×3卷积Conv+批归一化BN(BatchNormalization)+激活函数ReLU(Rectified Linear Unit)组成，控制单元由一组1×1Conv+BN+ReLU和平均池化层组成。图中R_v-1表示第(v-1)个局部残差密集块的输出，也即第v个局部残差密集块的输入；R_v,k表示第v个局部残差密集块中第k个基本单元的输出，它的计算由下式表示：

其中表示Conv+BN+ReLU的组合函数，[R_v-1,R_v,1,...,R_v,k-1]表示将第(v-1)个局部残差密集块的输出与第v个局部残差密集块中1,...,(k-1)个基本单元的输出串联起来的结果。R_v,CU表示第v个局部残差密集块中控制单元CU的输出；图中的局部残差连接指的是将第v-1个局部残差密集块的输出R_v-1与控制单元的输出R_v,CU串联，得到第v个局部残差密集块的输出R_v。

具体实施时，深度残差密集网络的细节如表1所示，图4中每个卷积操作之后的BN和ReLU在表1中未体现。在网络搭建完成之后，对步骤3.3训练集中的所有切片进行预处理和数据增强操作，包括去均值、随机翻转和随机裁剪等。从训练集中随机选择20％的样本作为验证集，用剩下80％的样本对深度残差密集网络进行训练，训练时采用随机梯度下降法SGD(Stochastic Gradient Descent)，共进行90轮训练，初始学习率lr＝0.01，每30轮训练之后学习率下降为原来的1/10，每一批训练的数据量batchsize＝128。记录下每轮训练的分类损失和验证集上的分类精度，保存下精度最高的模型参数，用于后续测试集的测试以及实际检测时切片的分类；

表1

步骤4.2，用步骤4.1中训练好的深度残差卷积网络模型对测试集的每张切片进行预测，计算目标属于每种类别的概率，选取概率最高的类别作为预测的结果，计算模型在测试集上的分类精度；

步骤4.3，输入待检测的多光谱图像和全色图像，经过步骤1和步骤2得到舰船候选区域，用步骤4.1中训练好的模型对每个候选区域进行预测，剔除预测为波浪、云、海岛、浮桥、黑色海面5类的切片，保留所有属于舰船目标子类(大船、中船、小船、带尾迹的船和多条船)的切片，将舰船类切片在全色图上对应的位置框出来，得到最后的检测结果。

本文中所描述的具体实施例仅仅是对本发明精神作举例说明。本发明所属技术领域的技术人员可以对所描述的具体实施例做各种各样的修改或补充或采用类似的方式替代，但并不会偏离本发明的精神或者超越所附权利要求书所定义的范围。

Claims (8)

1.一种基于深度残差密集网络的光学遥感图像舰船检测方法，其特征在于，包括如下步骤：

步骤1，利用多光谱图像中的绿波段图像和近红外图像计算归一化水体指数，并进行二值化，实现海陆分离；

步骤2，利用二值图中的连通域信息提取舰船候选区域，在对应的细节丰富的全色图像上截取切片；

步骤3，构建光学遥感图像舰船数据集，包括训练集和测试集：

步骤4，通过训练集和测试集对构建的深度残差密集网络进行训练和测试，利用训练好且精度最高的深度残差密集网络对待检测舰船候选区域进行分类，得到最终的检测结果。

2.如权利要求1所述的一种基于深度残差密集网络的光学遥感图像舰船检测方法，其特征在于：步骤1的具体实现方式如下，

步骤1.1，利用大小为m×n的多光谱图像中的绿波段图像Green和近红外波段NIR求取归一化水体指数NDWI(Normalized Difference Water Index)，得到大小为m×n的矩阵S；

步骤1.2，根据多光谱图像的背景设定阈值η，对矩阵S的每一个位置进行判断，大于η的置为0，小于η的置为255，得到海陆分离后的二值图像S₁；

步骤1.3，对二值图像S₁进行形态学闭运算操作，填充陆地区域中的空洞，得到闭运算后的结果图S₂，再对S₂进行连通域分析，得到每个连通域的中心点坐标以及面积。

3.如权利要求2所述的一种基于深度残差密集网络的光学遥感图像舰船检测方法，其特征在于：步骤1.1中矩阵S的计算公式如下，

其中i表示多光谱图像的行索引，取值范围为1～m，j表示多光谱图像的列索引，取值范围为1～n，计算出来的S(i,j)取值在-1～1之间。

4.如权利要求2所述的一种基于深度残差密集网络的光学遥感图像舰船检测方法，其特征在于：步骤2的具体实现方式如下，

步骤2.1，设定舰船目标的面积阈值η₂，对步骤1.3得到的每个连通域进行判断，面积小于η₂的被判为疑似目标，得到d个疑似目标的中心点坐标{(x₁,y₁),(x₂,y₂),...,(x_d,y_d)}；

步骤2.2，去除二值图像S₂中符合步骤2.1条件的连通域，剩下面积大于η₂的连通域(认为是陆地)，得到纯陆地的二值图像S₃，通过插值的方法将S₃放大到全色图像的尺寸，根据S₃中白色的陆地区域将全色图像P中的陆地置为黑色，得到只有海域信息的全色图像P₂；

步骤2.3，根据多光谱图像和全色图像的尺寸比例，设全色图像的尺寸是多光谱图像的k倍，将步骤2.1得到的疑似目标的中心坐标放大到原来的k倍，即对应全色图像上疑似目标的中心点坐标{(kx₁,ky₁),(kx₂,ky₂),···,(kx_d,ky_d)}，以这d个点为中心，在步骤2.2得到的全色图像P₂上截取大小为L×L的切片，作为舰船候选区域。

5.如权利要求4所述的一种基于深度残差密集网络的光学遥感图像舰船检测方法，其特征在于：步骤3的具体实现方式如下，

步骤3.1，收集已有的卫星图像，包括多光谱图像的绿波段和NIR波段以及对应的全色图像，经过步骤1和步骤2处理得到所有舰船候选区域的切片；

步骤3.2，将这些切片分为两大类：舰船和虚景，根据形状和数量的不同将舰船目标细分为大船、中船、小船、带尾迹的船和多条船5小类，将虚景细分为波浪、云、海岛、浮桥、黑色海面5小类，数据集一共被分为10个子类；

步骤3.3，将切片数据集随机打乱，按一定的比例划分训练集和测试集。

6.如权利要求5所述的一种基于深度残差密集网络的光学遥感图像舰船检测方法，其特征在于：步骤4的具体实现方式如下，

步骤4.1，搭建深度残差密集网络，用步骤3.3得到的训练集对网络进行训练，共进行c轮训练，记录下每轮训练的分类损失和精度，保存下精度最高的模型，用来测试；

步骤4.2，用步骤4.1中训练好的模型对测试集的每张切片进行预测，计算目标属于每种类别的概率，选取概率最高的类别作为预测的结果，计算模型在测试集上的检测精度；

步骤4.3，输入待检测的多光谱图像和全色图像，经过步骤1和步骤2得到舰船候选区域，用步骤4.1中训练好的模型对每个候选区域进行预测，剔除预测为波浪、云、海岛、浮桥、黑色海面5类的切片，保留所有属于舰船目标子类(大船、中船、小船、带尾迹的船和多条船)的切片，将舰船类切片在全色图上对应的位置框出来，得到最后的检测结果。

7.如权利要求6所述的一种基于深度残差密集网络的光学遥感图像舰船检测方法，其特征在于：步骤4.1中搭建的深度残差密集网络包括初始卷积层，最大池化层，4个局部残差密集块，平均池化层和全连接层。

8.如权利要求7所述的一种基于深度残差密集网络的光学遥感图像舰船检测方法，其特征在于：所述局部残差密集块由K个基本单元和1个控制单元CU(Control Unit)组成，每个基本单元由两组卷积Conv+批归一化BN(Batch Normalization)+激活函数ReLU(Rectified Linear Unit)组成，控制单元由一组Conv+BN+ReLU和平均池化层组成。