CN108520197A - 一种遥感图像目标检测方法及装置 - Google Patents

Abstract

本发明涉及一种遥感图像目标检测方法及装置，该方法首先建立深度全卷积神经网络；所述深度全卷积神经网络包括用于特征提取的主网络和用于目标检测的子网络；然后利用图像分类数据库对主网络进行训练；在主网络训练完成后，添加子网络；利用遥感目标检测数据库对网络参数进行微调，得到训练好的深度全卷积神经网络；最后将待测遥感图像输入至深度全卷积神经网络，得到最终的目标检测结果。相对于常规的直接只使用遥感目标检测数据库对建立的深度全卷积神经网络进行训练，本发明可以提高泛化能力和准确率，实现在复杂背景下快速、高精度、高鲁棒性地自动目标检测。

Description

一种遥感图像目标检测方法及装置

技术领域

本发明属于图像处理技术领域，具体涉及一种遥感图像目标检测方法及装置。

背景技术

遥感图像目标自动检测，是指计算机通过全自动的方式对监控区域的典型目标进行检测、定位的技术。遥感图像目标检测作为当前遥感图像应用领域中主要研究的内容，具有重要的理论意义和广泛的应用价值。

自动检测技术在军民两方面都具有重要的应用价值。在军事方面，自动目标检测被用来探测和检测军事目标，实现对区域的自动监视、侦查和警戒。在民用方面，自动目标检测技术可用于辅助工作人员进行车辆监控、土地规划、机场障碍物检测等工作。

经典的目标检测方法，主要分为模型驱动和数据驱动两种类型。

模型驱动方法主要依靠领域专家对目标进行建模，之后利用实际数据的统计信息修正和改进模型，目标检测的过程通过模型匹配的方式实现。这类方法往往计算复杂、设计难度大，并且无法适应复杂多变的实际情况。

数据驱动的方法主要利用大量人工标注的数据进行半监督或监督学习，特征提取和分类器的参数均由训练得到。这类方法的优势是不需要专家进行模型设计，同时只要数据库够完善，就能够适应复杂的实际环境和不同的应用领域；缺点是需要大量人力建设完善的数据库。

近年来，基于深度卷积神经网络的自动目标检测方法取得了良好的检测效果，但是，目标的卷积神经网络往往结构复杂，训练过程繁琐，计算量大，难以实现快速检测；此外，精确标注的遥感图像数据库规模较小，容易导致深度神经网络过拟合，导致实际应用中检测准确率较低。

发明内容

本发明的目的在于提供一种遥感图像目标检测方法及装置，用以解决现有技术中只采用精确标注的遥感图像数据库进行遥感图像目标检测时造成的检测准确率较低的问题。

为解决上述技术问题，本发明的技术方案为：

本发明提供了一种遥感图像目标检测方法，包括如下方法方案：

方法方案一，包括如下步骤：

建立深度全卷积神经网络；所述深度全卷积神经网络包括用于特征提取的主网络和用于目标检测的子网络；

利用图像分类数据库对主网络进行训练；在主网络训练完成后，添加子网络；利用遥感目标检测数据库对网络参数进行微调，得到训练好的深度全卷积神经网络；

将待测遥感图像输入至深度全卷积神经网络，得到最终的目标检测结果。

方法方案二，在方法方案一的基础上，将待测遥感图像输入至深度全卷积神经网络前，还包括将待测遥感图片缩放至设定尺寸的步骤。

方法方案三，在方法方案一的基础上，所述得到目标检测结果包括：通过深度全卷积神经网络的前向传播计算待测遥感图片中的目标位置和输出类别置信度信息，将输出类别置信度高于设定阈值的目标位置作为最终的目标检测结果。

方法方案四，在方法方案三的基础上，所述子网络采用滑动窗口的方式对主网络产生的特征图上的区域进行卷积，以得到待测遥感图片中的目标位置和输出类别置信度信息。

方法方案五，在方法方案三的基础上，在将输出类别置信度高于设定阈值的目标位置作为最终的目标检测结果前，还包括采用后处理方法来排除低质量的目标检测结果的步骤。

方法方案六，在方法方案五的基础上，所述后处理方法为非极大抑制法。

方法方案七，在方法方案三的基础上，所述目标位置包括外接长方形边界框的中心位置坐标、长度和宽度。

方法方案八，在方法方案一的基础上，在主网络训练完成后，将全连接层去掉，在隐藏层上添加子网络；其中，所述主网络包括输入层，隐藏层和用作分类器的全连接层。

方法方案九，在方法方案一的基础上，采用随机梯度下降法来利用遥感目标检测数据库对网络参数进行微调。

本发明还提供了一种遥感图像目标检测装置，包括如下装置方案：

装置方案一，包括处理器，所述处理器用于执行指令实现如下方法：

建立深度全卷积神经网络；所述深度全卷积神经网络包括用于特征提取的主网络和用于目标检测的子网络；

利用图像分类数据库对主网络进行训练；在主网络训练完成后，添加子网络；利用遥感目标检测数据库对网络参数进行微调，得到训练好的深度全卷积神经网络；

将待测遥感图像输入至深度全卷积神经网络，得到最终的目标检测结果。

装置方案二，在装置方案一的基础上，将待测遥感图像输入至深度全卷积神经网络前，还包括将待测遥感图片缩放至设定尺寸的步骤。

装置方案三，在装置方案一的基础上，所述得到目标检测结果包括：通过深度全卷积神经网络的前向传播计算待测遥感图片中的目标位置和输出类别置信度信息，将输出类别置信度高于设定阈值的目标位置作为最终的目标检测结果。

装置方案四，在装置方案三的基础上，所述子网络采用滑动窗口的方式对主网络产生的特征图上的区域进行卷积，以得到待测遥感图片中的目标位置和输出类别置信度信息。

装置方案五，在装置方案三的基础上，在将输出类别置信度高于设定阈值的目标位置作为最终的目标检测结果前，还包括采用后处理方法来排除低质量的目标检测结果的步骤。

装置方案六，在装置方案五的基础上，所述后处理方法为非极大抑制法。

装置方案七，在装置方案三的基础上，所述目标位置包括外接长方形边界框的中心位置坐标、长度和宽度。

装置方案八，在装置方案一的基础上，在主网络训练完成后，将全连接层去掉，在隐藏层上添加子网络；其中，所述主网络包括输入层，隐藏层和用作分类器的全连接层。

装置方案九，在装置方案一的基础上，采用随机梯度下降法来利用遥感目标检测数据库对网络参数进行微调。

本发明的有益效果：

本发明的遥感图像目标检测方法及装置，在对建立的深度全卷积神经网络进行训练时，将迁移学习的训练方法应用到遥感目标检测方法上，即首先利用图像分类数据库对主网络进行预训练，在训练好后再利用遥感目标检测数据库对网络参数进行微调，即第二次训练，从而得到最终的训练好的深度全卷积神经网络。相对于常规的直接只使用遥感目标检测数据库对建立的深度全卷积神经网络进行训练，本发明使用大规模的图像分类数据库来进行预训练，可以大幅度提高遥感目标检测的泛化能力，进一步提升了其准确率，从而实现在复杂背景下快速、高精度、高鲁棒性的自动目标检测。

附图说明

图1是用于目标检测的子网络示意图；

图2是网络训练流程图；

图3是目标检测流程图。

具体实施方式

为了实现在复杂背景下快速、高精度、高鲁棒性的自动目标检测，本发明提供了一种遥感图像目标检测装置，该装置包括处理器，所述处理器用于执行指令实现本发明的遥感图像目标检测方法。下面结合附图及实施例，对本发明的遥感图像目标检测方法的最佳实施方式作详细说明。

首先，建立深度全卷积神经网络。该深度全卷积神经网络包括用于特征提取的主网络和用于目标检测的子网络两部分。

该主网络为深度卷积神经网络，包括输入层、隐藏层和全连接层。输入层用于将待测遥感图像输入卷积神经网络；隐藏层通常包含多个卷积层和池化层，通过卷积和池化操作实现深度特征的提取；全连接层作为分类器。每个隐藏层输出的特征为特征图。

该子网络为较浅的卷积神经网络，例如可只包含一层卷积层，其示意图如图1所示。该子网络附加在主网络的特定隐藏层之后，例如可在每个池化层之后附加一组子网络。因为不同深度的主网络隐藏层具有不同大小的感受野，因此一组子网络只检测一定尺寸范围内(包括特定的宽高比)的目标。若某一层主网络隐藏层对应的感受野的大小为32像素，那么这个隐藏层之后附加的一组子网络所检测的目标大小也在32像素左右。

对于每一组子网络，若事先设定了k种宽高比的参考边界框，那么这组子网络就应该包含k个子网络，每个子网络对应一个参考边界框。一组子网络在所附加的隐藏层输出的特征图上进行卷积操作，每个子网络包含C+4个卷积核，分别输出C个类别的置信度以及4个预测边界框的中心位置和边长相对于参考边界框的位置信息(Δx,Δy,Δh,Δw)，之后计算出预测边界框相对于图像坐标系的中心点位置、长度和宽度。其中，子网络采用滑动窗口的方式对主网络产生的特征图上的区域进行卷积，得到目标的位置和类别置信度。

然后，采用迁移学习对深度全卷积神经网络进行训练，得到训练好的深度全卷积神经网络，如图2所示。具体包括：

1)利用图像分类数据库对主网络进行训练。该图像分类数据库为综合性的大规模图像分类数据库，最好为类别数量在100以上、图片数量在100万张以上的数据库。例如，可选择ImageNet图像分类数据库，以便对深度全卷积神经网络进行充分的训练。当然，也可选择其他现有的图像分类数据库对该主网络进行训练。该主网络可采用GoogleNet等公开的深度全卷积神经网络，或者根据实际应用需求自行设计。该数据库，需要对图片中的类别进行准确标注。

2)在主网络预训练完成后，先将主网络中的全连接层去掉，只保留输入层、卷积层和池化层；接着可根据实际需求在最后一层池化层后面增加一定数量的卷积层和池化层，以将主网络扩充成更深的网络；之后在特定的卷积层或池化层后面附加子网络。该子网路通常根据目标大小等实际情况，只在特定的卷积层或池化层后面附加子网络。

3)在添加完子网络后，再利用遥感目标检测数据库对网络参数进行微调，以得到训练好的深度全卷积神经网络。在训练和微调时，均可采用现有的监督学习的方式进行，参数更新方法可采用随机梯度下降法。该遥感目标检测数据库要求对图片中所有目标的位置和类别进行准确的标注。

接着，完成上述工作后，便可将待测遥感图像输入至该训练好的深度全卷积神经网络，以得到最终的目标检测结果，如图3所示。具体可包括如下步骤：

1)将待测遥感图像缩放至固定尺寸，例如300*300，通过主网络的输入层将该缩放后的图像输入至卷积神经网络中。

2)通过训练好的深度全卷积神经网络的前向传播计算待测遥感图像中包含的疑似目标的位置、尺寸和类别置信度。其中，目标的位置可采用外接长方形边界框的形式来表达，输出结果为长方形边界框的中心位置坐标、长度和宽度。

3)由于步骤2)中的检测结果里包含很多重叠的边界框，这时用后处理方法将低质量的边界框去掉，例如，位置和大小不够准确的边界框。此时，可采用非极大抑制法。

4)判断各个检测结果的置信度是否高于预设的阈值，将高于预设的阈值的检测结果进行保留，即为最终输出的目标检测结果。该目标检测结果包括预测的目标的位置(即为目标边界框左上和右下顶点的x，y坐标)以及类别置信度。

在实施例中，采用了一些现有的手段。例如，在训练和微调时的参数更新方法采用的为随机梯度下降法；为了将低质量的边界框去掉，采用非极大抑制法。除了这些方法，也可采用现有其他的一些方法来对应实现上述功能。

Claims (10)

1.一种遥感图像目标检测方法，其特征在于，包括如下步骤：

建立深度全卷积神经网络；所述深度全卷积神经网络包括用于特征提取的主网络和用于目标检测的子网络；

利用图像分类数据库对主网络进行训练；在主网络训练完成后，添加子网络；利用遥感目标检测数据库对网络参数进行微调，得到训练好的深度全卷积神经网络；

将待测遥感图像输入至深度全卷积神经网络，得到最终的目标检测结果。

2.根据权利要求1所述的遥感图像目标检测方法，其特征在于，将待测遥感图像输入至深度全卷积神经网络前，还包括将待测遥感图片缩放至设定尺寸的步骤。

3.根据权利要求1所述的遥感图像目标检测方法，其特征在于，所述得到目标检测结果包括：通过深度全卷积神经网络的前向传播计算待测遥感图片中的目标位置和输出类别置信度信息，将输出类别置信度高于设定阈值的目标位置作为最终的目标检测结果。

4.根据权利要求3所述的遥感图像目标检测方法，其特征在于，所述子网络采用滑动窗口的方式对主网络产生的特征图上的区域进行卷积，以得到待测遥感图片中的目标位置和输出类别置信度信息。

5.根据权利要求3所述的遥感图像目标检测方法，其特征在于，在将输出类别置信度高于设定阈值的目标位置作为最终的目标检测结果前，还包括采用后处理方法来排除低质量的目标检测结果的步骤。

6.根据权利要求5所述的遥感图像目标检测方法，其特征在于，所述后处理方法为非极大抑制法。

7.根据权利要求3所述的遥感图像目标检测方法，其特征在于，所述目标位置包括外接长方形边界框的中心位置坐标、长度和宽度。

8.根据权利要求1所述的遥感图像目标检测方法，其特征在于，在主网络训练完成后，将全连接层去掉，在隐藏层上添加子网络；其中，所述主网络包括输入层，隐藏层和用作分类器的全连接层。

9.根据权利要求1所述的遥感图像目标检测方法，其特征在于，采用随机梯度下降法来利用遥感目标检测数据库对网络参数进行微调。

10.一种遥感图像目标检测装置，其特征在于，包括处理器，所述处理器用于执行指令实现如下方法：

建立深度全卷积神经网络；所述深度全卷积神经网络包括用于特征提取的主网络和用于目标检测的子网络；

利用图像分类数据库对主网络进行训练；在主网络训练完成后，添加子网络；利用遥感目标检测数据库对网络参数进行微调，得到训练好的深度全卷积神经网络；

将待测遥感图像输入至深度全卷积神经网络，得到最终的目标检测结果。