CN108596055B - 一种复杂背景下高分辨遥感图像的机场目标检测方法 - Google Patents

Abstract

本发明涉及一种复杂背景下高分辨遥感图像的机场目标检测方法，利用全卷积网络对遥感图像进行显著性检测，利用改进的LSD算法提取遥感图像的线特征；提取显著性特征和直线特征分别划分目标候选区域，将同时满足显著性特征和直线特征的区域作为目标候选区域；利用卷积网络提取候选区域对应图像的深度特征，再利用ROI Pooling网络将不同尺寸的二维矩阵特征转化为长度相同的一维特征，通过两个独立的全连接网络计算候选区域的目标概率和位置偏移，检测遥感图像中的机场目标。本方法利用机场显著性和平行直线跑道等先验知识生成少量候选区域，大幅降低了测试的难度，且提取的候选区域更精准，提升了检测的准确度和标记机场区域的位置精度。

Description

一种复杂背景下高分辨遥感图像的机场目标检测方法

技术领域

本发明属于遥感图像中机场目标检测方法，涉及一种复杂背景下高分辨遥感图像的机场目标检测方法，特别是从具有复杂背景的高分辨遥感图像中检测机场目标的方法。

背景技术

传统机场检测算法利用机场特有先验知识提取机场区域，其主要包括基于线特征及颜色纹理特征的机场检测算法和基于显著性特征的机场检测算法。基于线特征及颜色纹理特征的机场检测算法利用机场跑道形状和纹理等先验知识在图像中提取相应特征，再对机场区域进行分割，最后对分割区域用分类器筛除伪目标。这类方法简单易行，但其提取特征多为浅层信息，会将相似目标如建筑、公路作为机场目标，误检率较高。基于显著性的机场检测算法受机场在图像中的视觉显著性启发，根据不同显著性理论提取显著性特征并进行图像分割，再通过分类器进行分类。此方法对高对比度图像有较好检测效果，但在目标与背景接近，目标占比小等复杂背景情况，容易出现漏检的问题。

目前基于深度学习的检测算法在检测的精度上取得了巨大突破，但遥感图像尺寸大，机场占比小，目标个数稀少等特点导致基于深度学习的机场检测算法会生成大量冗余的候选区域，时间复杂度过高；同时，机场形状各异，可训练样本有限等问题导致训练集也无法代表所有机场目标，难以训练出合适的检测网络，检测精度较低。《Airport Detectionfrom Remote Sensing Images Using Transferable Convolutional Neural Networks》(International Joint Conference on Neural Networks.IEEE,2016:2590-2595.)提出了基于卷积神经网络的机场检测算法，采用LSD线特征提取算法获取候选区域位置，再利用卷积神经网络对候选区域进行分类。此方法提升了检测的准确率。但直线特征分割算法过于简单，会将道路、建筑物等非机场区域作为机场候选目标容易造成目标的错检，导致检测正确率下降。

发明内容

要解决的技术问题

为了避免现有技术的不足之处，本发明提出一种复杂背景下高分辨遥感图像的机场目标检测方法，克服现有机场目标检测方法检测精度不足的问题。

技术方案

一种复杂背景下高分辨遥感图像的机场目标检测方法，其特征在于步骤如下：

步骤1：

将遥感图像等比例变换，使其最小尺寸为500～1000，对每个像素值减去统计均值，得到预处理后的遥感图像；

对全卷积网络FCN32s进行修改，形成一个显著性特征网络；

所述修改：输出类别设置为2，将在数据集Pascal VOC 2012上训练好的FCN32s的网络权值加载到修改后的网络上，在显著性数据集MSRA-1000上对加载权值的网络进行训练调优。

利用显著性特征网络对预处理后的遥感图像进行显著性检测，得到显著性特征图；

步骤2：利用LSD算法对遥感图像进行直线检测，提取直线特征，得到直线特征图；

步骤3：将直线特征图按像素位置映射到显著性特征图内，根据显著性特征和直线特征位置关系选取候选区域，其具体步骤如下：

1)利用自适应阈值分割方法对显著特征图进行二值化：利用最大类间方差法计算显著性特征图的阈值，根据阈值将显著性图划分出显著性区域，得到显著性区域图；

2)将直线特征图按照像素位置映射到显著性区域图内，剔除端点位于非显著性区域的直线特征，将满足角度差小于2或相交，端点间最小距离小于较长直线特征长度的1.3倍的直线特征归为一个集合，剔除只有一个直线特征的集合，以剩余集合的最小正交外接矩阵作为分类的候选区域；

步骤4：

将遥感图像等比例变换，使其最小尺寸为500～1000，对每个像素值减去统计均值，得到预处理后的图像，将步骤3得到的候选区域坐标映射到预处理后的图像中；

对卷积网络VGG16进行修改，形成一个目标检测网络；

所述修改如下：

1)去除网络底部的全连接层，使网络输出为输入图像的深度特征图；

2)在网络底部增加ROI采样层，可根据候选区域的坐标在深度特征图上提取候选区域对应特征块，并将其转化为长度为4096的特征向量；

3)在ROI采样层后增加两个独立的全连接层，可分别利用特征向量预测目标概率和位置偏移；

4)将在数据集Pascal VOC 2012上训练好的VGG16的网络权值加载到修改后的网络上，在人工标注的机场目标数据集上对加载权值的网络进行训练调优；

利用显著性特征网络根据候选区域坐标对预处理后的遥感图像上候选区域位置进行机场目标检测，预测每个候选区域存在机场目标的概率和位置偏移，将概率超过0.5的候选区域作为机场目标，并利用位置偏移对候选区域位置进行修正。

所述训练好的全卷积显著性检测网络为：选择FCN32s网络作为预训练网络，在显著性数据集MSRA-1000中训练调优，训练得到用于显著性检测的全卷积检测网络。

有益效果

本发明提出的一种复杂背景下高分辨遥感图像的机场目标检测方法，利用全卷积网络对遥感图像进行显著性检测，计算像素级的显著性特征图；同时利用改进的LSD(LineSegment Detector)算法提取遥感图像的线特征；利用提取到的显著性特征和直线特征分别划分目标候选区域，将同时满足显著性特征和直线特征的区域作为目标候选区域；利用卷积网络提取候选区域对应图像的深度特征，再利用ROI Pooling(Region of interestPooling)网络将不同尺寸的二维矩阵特征转化为长度相同的一维特征，并分别通过两个独立的全连接网络计算候选区域的目标概率和位置偏移。最终检测出遥感图像中的机场目标。本方法利用机场显著性和平行直线跑道等先验知识生成少量候选区域，大幅降低了测试的难度，且提取的候选区域更精准，提升了检测的准确度和标记机场区域的位置精度。

本发明优点如下：

1、使用全卷积网络对遥感图像进行显著性特征提取，提升了显著性特征的可靠性，并利用最大类间差算法自动生成一个划分显著性区域的阈值，有利于提取更加精准的候选区域。

2、在LSD算法中加入短线段合并算法，利用直线特征的角度及相对位置信息将在同一条直线上的临近短线段合并，避免了由于图像噪声导致的直线特征截断，提升了直线特征质量。

3、将位于显著性区域的直线特征所在区域作为候选区域，有效的结合了显著性特征和直线特征，克服了低对比度显著性特征不明显和复杂环境下提取非机场目标的直线特征的问题，提升了机场候选区域的精准度。

4、利用卷积神经网络对候选区域进行分类和位置精修，发挥了卷积神经提取深度特征的优势，使最终分类结果更加准确。

附图说明

图1是本发明基于复杂背景的遥感图像机场目标检测方法流程图。

具体实施方式

现结合实施例、附图对本发明作进一步描述：

本发明解决其技术问题所采用的技术方案：一种复杂背景下遥感图像机场目标检测方法，其特点是包括下述步骤：

(1)利用全卷积网络提取遥感图像的显著性特征。选择FCN32s网络作为预训练网络，在显著性数据集MSRA-1000中训练调优，训练得到用于显著性检测的全卷积检测网络，利用训练好的全卷积显著性检测网络提取遥感图像显著性特征图。

(2)利用LSD算法对遥感图像进行直线检测，提取直线特征。利用像素邻间梯度关系获取直线特征，利用直线特征的角度及相对位置信息将在同一条直线上的临近短线段合并，利用直线特征长度信息剔除长度较短线段，最终得到较完整的直线特征。

(3)将直线特征按像素位置映射到显著性特征图内，根据显著性特征和直线特征位置关系选取候选区域。利用最大类间差算法，从显著性特征图中自适应的产生阈值，利用阈值将显著性图划分为显著性区域和非显著性区域，得到显著性区域图，将直线特征映射到显著性区域图内，剔除端点不在显著性区域的直线特征，根据剩余直线特征的位置关系将相近的平行或交叉直线归为一组，将直线特征数不小于2的组取组内线段的最小外接正交矩形作为候选区域。

(4)利用卷积网络提取候选区域对应遥感图像的深度特征，并通过两个子全连接网络分别进行机场分类和位置回归。选择卷积网络VGG16提取遥感图像的深度特征，并利用ROI Pooling网络提取候选区域对应的深度特征，并转化为固定长度的特征向量，将特征向量作为输入分别传入概率预测和位置回归的全连接网络，计算出目标概率和候选区域偏移。

具体实施例：

1、显著性检测

利用全卷积网络对遥感图像进行显著性检测，计算得到得遥感图像的像素级显著性特征图，其步骤如下：

(1)对遥感图像进行预处理，将图像等比例变换，使其最小尺寸为600，将每个像素值减去统计均值。

(2)选择全卷积网络FCN32s作为网络基础，输出类别设置为2，并去除softmax层，将上采样后的特征直接作为显著性特征，损失函数设置为类别和概率的交叉熵。

(3)将在训练集Pascal VOC 2012Segmentation database上训练好的FCN32s作为预训练网络，利用显著性数据集MSRA-1000进行网络调优

(4)将遥感图像传入训练好的全卷积显著性检测网络，计算得到显著性特征图。

2、线特征提取

使用LSD算法提取遥感图像上的直线特征，将在同一条直线上的临近短线段合并，得到较完整的线特征作为获取目标候选区域的信息，其步骤如下：

(1)生成level-line场，计算图像的梯度场，图像I中像素点(x,y)在x和y方向的梯度计算方式如下：

其中I(x,y)表示在(x,y)处的灰度值。像素点的梯度值G(x,y)和梯度方向θ(x,y)可以表示为：

根据上述公式，计算出图像上每个像素点的梯度值和梯度方向

(2)生成直线支持区域，从图像的梯度场中选取梯度模值最大的点，以该点为支撑域生成的初始点进行扩张。直线支撑域的梯度方法设置为初始点的梯度方向。检测初始点的8邻域像素点是否满足与直线支撑区域的梯度方向的夹角小于τ，如果满足将邻域点加入直线支撑域内。并更新直线支撑区域的梯度方向：

将在一定角度容忍值之内的像素点生成线段的支持区域。每一个直线段的支持区域就是一个真实线段的候选区域。对每一个直线支持区域选择一个最小矩形框表示该区域。当直线邻域点不能满足条件时，直线支撑域生成完成。

(3)验证直线区域，根据类内点的密度对矩形区域进行筛选，类内点密度d的计算方式如下：

其中r为得到的矩形框，k为直线支持域内像素点的个数。对类内点密度过小的区域先进行一次筛选。然后使用Helmholtz原理，对伪直线进行筛除。

(4)以矩形框内横坐标最大最小像素点作为线特征的端点，通过端点坐标坐标计算直线特征的长度和角度，剔除长度小于图像宽度二十分之一的直线特征，将满足端点间距和角度差小于阈值的直线特征进行合并。

3、候选区域生成

将直线特征按像素位置映射到显著性特征图内，根据显著性特征和直线特征位置关系选取候选区域，其具体步骤如下：

(1)利用自适应阈值分割方法对显著特征图进行二值化，利用最大类间方差法计算得到显著性特征图的阈值，根据阈值将显著性图划分出显著性区域。

(2)将直线特征按照像素位置映射到显著性区域图内，剔除端点位于非显著性区域的直线特征，将满足角度差小于2或相交，端点间最小距离小于较长直线特征长度的1.3倍的直线特征归为一个集合，剔除只有一个直线特征的集合，以剩余集合的最小正交外接矩阵作为分类的候选区域。

4、机场目标检测

运用卷积网络提取特征图，并提取候选区域映射的特征，通过SPP网络，将不同尺寸的局部特征图转化为固定尺寸的特征向量，再通过全连接网络，预测目标概率和位置偏移。其步骤如下：

(1)对遥感图像进行预处理，将图像等比例变换，使其最小尺寸为600，将每个像素值减去统计均值，得到像素均值大致为0的输入图像。

(2)利用VGG16网络提取全图的深度特征，通过原图和特征图的映射关系，提取候选区域对应特征图，并利用SPP网络将候选区域的特征图转化为固定尺寸的特征向量，利用两个独立的全连接子网络分别预测目标概率和位置偏移，损失函数由类别损失函数和位置损失函数相加构成，类别损失函数为真实类别和预测概率的交叉熵，位置损失函数为真实和预测坐标的均方差损失。

(3)选择在数据集Pascal VOC 2012detection训练好的VGG16网络作为预训练网络，以人工标注的机场目标数据集作为训练集，以Selective Search方法生成大量矩形框作为候选区域，对构建的网络进行训练调优。

将预处理后的遥感图像作为训练好的检测网络的输入，将结合显著性特征和线特征生成的区域作为候选区域，对遥感图像进行预测，筛选出预测概率高于目标概率阈值的区域，利用NMS(Non Maximum Suppression)算法剔除重叠的候选区域，利用预测的偏移值和候选区域坐标计算出精修后的机场位置。

Claims (1)

1.一种复杂背景下高分辨遥感图像的机场目标检测方法，其特征在于步骤如下：

步骤1：

将遥感图像等比例变换，使其最小尺寸为500～1000，对每个像素值减去统计均值，得到预处理后的遥感图像；

对全卷积网络FCN32s进行修改，形成一个显著性特征网络；

所述修改：输出类别设置为2，将在数据集Pascal VOC 2012上训练好的FCN32s的网络权值加载到修改后的网络上，在显著性数据集MSRA-1000上对加载权值的网络进行训练调优；

利用显著性特征网络对预处理后的遥感图像进行显著性检测，得到显著性特征图；

步骤2：利用LSD算法对遥感图像进行直线检测，提取直线特征，得到直线特征图；

(1)生成level-line场，计算图像的梯度场，图像I中像素点(x,y)在x和y方向的梯度计算方式如下：

其中I(x,y)表示在(x,y)处的灰度值；像素点的梯度值G(x,y)和梯度方向θ(x,y)可以表示为：

根据上述公式，计算出图像上每个像素点的梯度值和梯度方向

(2)生成直线支持区域，从图像的梯度场中选取梯度模值最大的点，以该点为支撑域生成的初始点进行扩张；直线支撑域的梯度方法设置为初始点的梯度方向；检测初始点的8邻域像素点是否满足与直线支撑区域的梯度方向的夹角小于τ，如果满足将邻域点加入直线支撑域内；并更新直线支撑区域的梯度方向：

将在一定角度容忍值之内的像素点生成线段的支持区域；每一个直线段的支持区域就是一个真实线段的候选区域；对每一个直线支持区域选择一个最小矩形框表示该区域；当直线邻域点不能满足条件时，直线支撑域生成完成；

(3)验证直线区域，根据类内点的密度对矩形区域进行筛选，类内点密度d的计算方式如下：

其中r为得到的矩形框，k为直线支持域内像素点的个数；对类内点密度过小的区域先进行一次筛选；然后使用Helmholtz原理，对伪直线进行筛除；

(4)以矩形框内横坐标最大最小像素点作为线特征的端点，通过端点坐标计算直线特征的长度和角度，剔除长度小于图像宽度二十分之一的直线特征，将满足端点间距和角度差小于阈值的直线特征进行合并；

步骤3：将直线特征图按像素位置映射到显著性特征图内，根据显著性特征和直线特征位置关系选取候选区域，其具体步骤如下：

1)利用自适应阈值分割方法对显著特征图进行二值化：利用最大类间方差法计算显著性特征图的阈值，根据阈值将显著性图划分出显著性区域，得到显著性区域图；

2)将直线特征图按照像素位置映射到显著性区域图内，剔除端点位于非显著性区域的直线特征，将满足角度差小于2或相交，端点间最小距离小于较长直线特征长度的1.3倍的直线特征归为一个集合，剔除只有一个直线特征的集合，以剩余集合的最小正交外接矩阵作为分类的候选区域；

步骤4：

将遥感图像等比例变换，使其最小尺寸为500～1000，对每个像素值减去统计均值，得到预处理后的图像，将步骤3得到的候选区域坐标映射到预处理后的图像中；

对卷积网络VGG16进行修改，形成一个目标检测网络；

所述修改如下：

1)去除网络底部的全连接层，使网络输出为输入图像的深度特征图；

2)在网络底部增加ROI采样层，可根据候选区域的坐标在深度特征图上提取候选区域对应特征块，并将其转化为长度为4096的特征向量；

3)在ROI采样层后增加两个独立的全连接层，可分别利用特征向量预测目标概率和位置偏移；

4)将在数据集Pascal VOC 2012上训练好的VGG16的网络权值加载到修改后的网络上，在人工标注的机场目标数据集上对加载权值的网络进行训练调优；

利用显著性特征网络根据候选区域坐标对预处理后的遥感图像上候选区域位置进行机场目标检测，预测每个候选区域存在机场目标的概率和位置偏移，将概率超过0.5的候选区域作为机场目标，并利用位置偏移对候选区域位置进行修正。

Images