CN109800755A - 一种基于多尺度特征的遥感影像小目标检测方法 - Google Patents

Abstract

本申请属于图像处理技术领域，特别是涉及一种基于多尺度特征的遥感影像小目标检测方法。目前的深度神经网络大多采用单层的特征图，对小目标检测效果不太理想。本申请提供了一种基于多尺度特征的遥感影像小目标检测方法，所述方法包括如下步骤：步骤1：获取遥感影像后通过深度神经网络对遥感影像进行特征提取；步骤2：对步骤1中处理后的遥感影像基于多尺度特征进行候选框提取选出建议候选框；步骤3：对提取出来的建议候选框进行分类，判断每个建议候选框属于哪个类别；步骤4：对每个建议候选框进行边框回归；步骤5：经过边框回归后输出边界框。能够更有效检测小目标，对小目标的召回率有了很大提升。

Description

一种基于多尺度特征的遥感影像小目标检测方法

技术领域

本申请属于图像处理技术领域，特别是涉及一种基于多尺度特征的遥感影像小目标检测方法。

背景技术

在遥感影像中，受图像分辨率的影响，其中有着大量的小目标存在，这些小目标由于自身图像分辨率低，占整幅图像中的比例小，使得在实现快速定位检测目标时，很难准确的检测到小目标的存在。随着机器学习技术的不断发展，遥感影像的目标检测方法越来越多。由于影像中大量小目标的存在，从影像中检测小目标是很困难的，存在大量漏检，而影响到了整体的检测效果，因此在遥感影像中小目标检测是目前研究的重点区域。

为了能够有效的在遥感影像中检测出目标，常用的检测方法有：1)Harr分类器；2)梯度直方图(HoG)+SVM分类器；3)Discriminatively trained deformable part models(DPM)。4)基于深度神经网络的方法。Haar分类器实际上是Boosting算法的一个应用，Haar分类器用到了Boosting算法中的AdaBoost算法，只是把AdaBoost算法训练出的强分类器进行了级联，并且在底层的特征提取中采用了高效率的矩形特征和积分图方法，但是由于原始的Haar特征太简单，无法有效检测出需求的目标。梯度直方图特征(HOG)是一种对图像局部重叠区域的密集型描述符,它通过计算局部区域的梯度方向直方图来构成特征，使用梯度直方图特征结合SVM分类器对目标进行检测，但是梯度直方图的方法存在，描述子生成过程冗长，导致速度慢，实时性差，很难处理遮挡问题，并且对噪点相当敏感等缺点。DPM方法可以看作是梯度直方图和SVM分类器的升级版，但是DPM相对复杂，检测速度也比较慢，同时对于场景较为复杂的情况还是无法解决。深度神经网络的方法主要有Faster RCNN。

深度神经网络可以很好的对于复杂的场景实现检测，精度和召回率都可以得到很好的保证，对于特征的提取由深度神经网络自动完成，也提高了目标检测的迁移性，但是目前的深度神经网络大多采用单层的特征图，对小目标检测效果不太理想。

发明内容

1.要解决的技术问题

基于深度神经网络可以很好的对于复杂的场景实现检测，精度和召回率都可以得到很好的保证，对于特征的提取由深度神经网络自动完成，也提高了目标检测的迁移性，但是目前的深度神经网络大多采用单层的特征图，对小目标检测效果不太理想的问题，本申请提供了一种基于多尺度特征的遥感影像小目标检测方法。

2.技术方案

为了达到上述的目的，本申请提供了一种基于多尺度特征的遥感影像小目标检测方法，所述方法包括如下步骤：

步骤1：获取遥感影像后通过深度神经网络对遥感影像进行特征提取；

步骤2：对步骤1中处理后的遥感影像基于多尺度特征进行候选框提取选出建议候选框；

步骤3：对提取出来的建议候选框进行分类，判断每个建议候选框属于哪个类别；

步骤4：对每个建议候选框进行边框回归；

步骤5：经过边框回归后输出边界框。

可选地，所述深度神经网络包括VGG、ResNet或者Inception。

可选地，所述VGG包括五个池化层，所述五个池化层将整个VGG划分为五层不同大小的特征图。

可选地，所述步骤2基于多尺度特征进行候选框提取包括对提取的特征设定的建议区域，然后使用设定的建议区域对所有特征层提取候选框，将所有特征层提取出来的候选框按照前景的置信度排序，再经过非极大值抑制后选出前景置信度最高的前若干个区域作为建议候选框。

可选地，所述预先设定的建议区域是通过在特征图上逐一滑动滑窗，得到不同宽高比的候选区域。

可选地，所述特征图上每个点涵盖若干可能的候选区域。

可选地，所述步骤3包括将提取出来的建议候选框，输送至全连接层，判断每个建议候选框属于哪个类别。

可选地，所述边框回归公式如下：

G_x＝P_wd_x(P)+P_x， (1)

G_y＝P_hd_y(P)+P_y， (2)

G_w＝P_wexp(d_w(P))， (3)

G_h＝P_h exp(d_h(P))， (4)

其中，公式(1)(2)表示平移变换，公式(3)(4)表示缩放变换；

P_x，P_y表示中心点的坐标，P_w，P_h表示宽高，d_x(P)，d_y(P)，d_w(P)，d_h(P)是四个微分变换，Δx＝P_wd_x(P)表示x轴的位置偏移量，Δy＝P_hd_y(P)表示y轴的位置偏移量；S_w＝exp(d_w(P))表示矩形框宽缩放的偏移量，S_h＝exp(d_h(P))表示矩形框高的缩放的偏移量；G_x，G_y表示变换后的中心点坐标，G_w，G_h表示变换后的宽和高。

3.有益效果

与现有技术相比，本申请提供的一种基于多尺度特征的遥感影像小目标检测方法的有益效果在于：

本申请提供的基于多尺度特征的遥感影像小目标检测方法通过对遥感图像进行特征提取后基于多尺度特征进行候选框提取，然后进行分类和边框回归，能够更有效检测小目标，对小目标的召回率有了很大提升。

附图说明

图1是本申请的VGG结构示意图；

图2是本申请的基于多尺度特征的遥感影像小目标检测方法中选出建议候选框过程原理示意图；

图3是单层特征图的检测效果示意图一；

图4是单层特征图的检测效果示意图二；

图5是本申请的基于多尺度特征的遥感影像小目标检测方法的检测效果示意图一；

图6是本申请的基于多尺度特征的遥感影像小目标检测方法的检测效果示意图二。

具体实施方式

在下文中，将参考附图对本申请的具体实施例进行详细地描述，依照这些详细的描述，所属领域技术人员能够清楚地理解本申请，并能够实施本申请。在不违背本申请原理的情况下，各个不同的实施例中的特征可以进行组合以获得新的实施方式，或者替代某些实施例中的某些特征，获得其它优选的实施方式。

凡是只纪录各种地物电磁波大小的胶片(或相片)，都称为遥感影像(RemoteSensing Image)，在遥感中主要是指航空像片和卫星相片。

参见图1～6，本申请提供一种基于多尺度特征的遥感影像小目标检测方法，所述方法包括如下步骤：

步骤1：获取遥感影像后通过深度神经网络对遥感影像进行特征提取；

步骤2：对步骤1中处理后的遥感影像基于多尺度特征进行候选框提取选出建议候选框；

步骤3：对提取出来的建议候选框进行分类，判断每个建议候选框属于哪个类别；

步骤4：对每个建议候选框进行边框回归；

步骤5：经过边框回归后输出边界框。

本申请中首先对遥感影像进行深度神经网络提取得到若干特征图，特征提取出来之后，需要利用这些特征生成建议候选框。底层的特征会保留更多的底层信息，而高层的特征会有更高级的抽象信息，底层信息对于小目标的检测会有很大帮助。本申请综合利用底层信息和高层信息，构建出了一个利用多尺度特征图，用以提取候选框的结构。从最底层特征开始，使用底层特征提取候选框，然后使用第二层特征提取候选框，然后依次使用第三层、第四层、第五层分别提取候选框。将提取出来的建议候选框，送入到一个全连接层去，判断出每个建议候选框属于哪个类别。然后要对每个建议候选框做边框回归。经过边框回归就可以得到一个和真实框十分接近的边界框。

可选地，所述深度神经网络包括VGG、ResNet或者Inception。

本申请以VGG为例说明了深度学习网络的特征提取过程，实际上，众多的其它网络如ResNet、Inception等都可以用来进行特征提取，其使用步骤与本处写的VGG是一样的。

可选地，所述VGG包括五个池化层，所述五个池化层将整个VGG划分为五层不同大小的特征图。

本申请使用了一种非常深的神经网络作为特征的提取器，这种非常深的网络被称作是VGG网络。是由大量的3*3的小卷积核层层叠加实现更大的感受野。其中VGG-16包含13个是卷积层(conv)和3个全连接层(FC)。VGG-19包含16个卷积层(conv)和3个全连接层(FC)，此外VGG网络还有5个池化层(pool)，五个池化层将整个VGG网络划分为了五层的不同大小的特征图，一般取最顶层的特征。将遥感影像输入到网络中，经过网络的提取，最终可以得到需要的特征。

可选地，所述步骤2基于多尺度特征进行候选框提取包括对提取的特征设定的建议区域，然后使用设定的建议区域对所有特征层提取候选框，将所有特征层提取出来的候选框按照前景的置信度排序，再经过非极大值抑制后选出前景置信度最高的前若干个区域作为建议候选框。

在每个特征层提取候选框时，需要预先设定的建议区域。预先设定的建议区域是通过在特征图上逐一滑动滑窗，每个点涵盖了K个可能的候选区域，例如：以这个点作为区域中心，取像素尺寸大小为(8，16，32)，宽高比例大小为(0.5，1，1.5)的候选区域，这样一个特征点，就代表了3*3个不同像素大小，不同宽高比的候选区域。然后将所有特征层提取出来的候选框，按照前景的置信度排序，再经过非极大值抑制之后，最终选出前景置信度最高的前300个区域作为建议候选框。

可选地，所述预先设定的建议区域是通过在特征图上逐一滑动滑窗，得到不同宽高比的候选区域。

可选地，所述特征图上每个点涵盖若干可能的候选区域。

可选地，所述步骤3包括将提取出来的建议候选框，输送至全连接层，判断每个建议候选框属于哪个类别。

可选地，所述边框回归公式如下：

G_x＝P_wd_x(P)+P_x， (1)

G_y＝P_hd_y(P)+P_y， (2)

G_w＝P_wexp(d_w(P))， (3)

G_h＝P_h exp(d_h(P))， (4)

其中，公式(1)(2)表示平移变换，公式(3)(4)表示缩放变换；

P_x，P_y表示中心点的坐标，P_w，P_h表示宽高，d_x(P)，d_y(P)，d_w(P)，d_h(P)是四个微分变换，Δx＝P_wd_x(P)表示x轴的位置偏移量，Δy＝P_hd_y(P)表示y轴的位置偏移量；S_w＝exp(d_w(P))表示矩形框宽缩放的偏移量，S_h＝exp(d_h(P))表示矩形框高的缩放的偏移量；G_x，G_y表示变换后的中心点坐标，G_w，G_h表示变换后的宽和高。

利用多幅包含小目标的遥感影像测试本申请中方法的有效性，同时与使用单层特征图的检测效果进行了比较。图3和图4为单层特征图的检测效果，图5和图6为多尺度特征图的检测效果。从四幅图中可以看出，本申请方法能够有效地对小目标进行检测，对小目标的召回率得到了显著的提高，小目标遗漏的情况减少了很多。

为客观评价算法检测的结果，采用平均精度指标来评估检测的质量，即：

Accuracy表示精确度，所有类别的精确度平均值就是平均精度。TruePositives表示正确正预测，TrueNegatives表示正确负预测，FalseNegatives表示错误负预测，FalsePositives表示错误正预测。质量评价结果如下表所示：

表1目标检测平均精度

从评价结果可以看出，使用了多尺度特征图的候选框提取结构，整体的平均精度比仅使用单层特征图的效果要好很多。本申请的方法在实验测试中比仅使用单层特征图的结构平均精度高出了12％，结果表明本申请的方法能够对检测效果带来提升，尤其是在小目标上可以保证很高的召回率。

本申请提供的基于多尺度特征的遥感影像小目标检测方法通过对遥感图像进行特征提取后基于多尺度特征进行候选框提取，然后进行分类和边框回归，能够更有效检测小目标，对小目标的召回率有了很大提升。

尽管在上文中参考特定的实施例对本申请进行了描述，但是所属领域技术人员应当理解，在本申请公开的原理和范围内，可以针对本申请公开的配置和细节做出许多修改。本申请的保护范围由所附的权利要求来确定，并且权利要求意在涵盖权利要求中技术特征的等同物文字意义或范围所包含的全部修改。

Claims (8)

1.一种基于多尺度特征的遥感影像小目标检测方法，其特征在于：所述方法包括如下步骤：

步骤1：获取遥感影像后通过深度神经网络对遥感影像进行特征提取；

步骤2：对步骤1中处理后的遥感影像基于多尺度特征进行候选框提取选出建议候选框；

步骤3：对提取出来的建议候选框进行分类，判断每个建议候选框属于哪个类别；

步骤4：对每个建议候选框进行边框回归；

步骤5：经过边框回归后输出边界框。

2.如权利要求1所述的基于多尺度特征的遥感影像小目标检测方法，其特征在于：所述深度神经网络包括VGG、ResNet或者Inception。

3.如权利要求2所述的基于多尺度特征的遥感影像小目标检测方法，其特征在于：所述VGG包括五个池化层，所述五个池化层将整个VGG划分为五层不同大小的特征图。

4.如权利要求1所述的基于多尺度特征的遥感影像小目标检测方法，其特征在于：所述步骤2基于多尺度特征进行候选框提取包括对提取的特征设定的建议区域，然后使用设定的建议区域对所有特征层提取候选框，将所有特征层提取出来的候选框按照前景的置信度排序，再经过非极大值抑制后选出前景置信度最高的前若干个区域作为建议候选框。

5.如权利要求4所述的基于多尺度特征的遥感影像小目标检测方法，其特征在于：所述预先设定的建议区域是通过在特征图上逐一滑动滑窗，得到不同宽高比的候选区域。

6.如权利要求5所述的基于多尺度特征的遥感影像小目标检测方法，其特征在于：所述特征图上每个点涵盖若干可能的候选区域。

7.如权利要求1所述的基于多尺度特征的遥感影像小目标检测方法，其特征在于：所述步骤3包括将提取出来的建议候选框，输送至全连接层，判断每个建议候选框属于哪个类别。

8.如权利要求1所述的基于多尺度特征的遥感影像小目标检测方法，其特征在于：所述边框回归公式如下：

G_x＝P_wd_x(P)+P_x， (1)

G_y＝P_hd_y(P)+P_y， (2)

G_w＝P_wexp(d_w(P))， (3)

G_h＝P_hexp(d_h(P))， (4)

其中，公式(1)(2)表示平移变换，公式(3)(4)表示缩放变换；

P_x，P_y表示中心点的坐标，P_w，P_h表示宽高，d_x(P)，d_y(P)，d_w(P)，d_h(P)是四个微分变换，Δx＝P_wd_x(P)表示x轴的位置偏移量，Δy＝P_hd_y(P)表示y轴的位置偏移量；S_w＝exp(d_w(P))表示矩形框宽缩放的偏移量，S_h＝exp(d_h(P))表示矩形框高的缩放的偏移量；G_x，G_y表示变换后的中心点坐标，G_w，G_h表示变换后的宽和高。