CN110008900A - 一种由区域到目标的可见光遥感图像候选目标提取方法 - Google Patents

Abstract

本发明涉及一种由区域到目标的可见光遥感图像候选目标提取方法，属于遥感图像处理和分析技术领域，解决了现有候选目标提取方法应用场景受限或提取的候选目标数量太多的问题。包括以下步骤：通过第一滑窗在遥感图像中提取大尺度区域，第一滑窗的尺寸根据目标大小确定；将上述提取的大尺度区域依次输入到训练好的候选区域识别模型中进行分类，得到包含感兴趣目标的候选区域；通过第二滑窗在上述候选区域中进行候选目标提取，第二滑窗的尺寸小于第一滑窗。本发明实现了在相同的召回率下，提取的候选目标数量远少于现有方法，有效减少目标检测识别工作量，提高后续检测识别的速度和精度；同时，可应用于各种环境场合，克服了场景限制。

Description

一种由区域到目标的可见光遥感图像候选目标提取方法

技术领域

本发明涉及遥感图像处理和分析技术领域，尤其涉及一种由区域到目标的可见光遥感图像候选目标提取方法。

背景技术

候选目标提取是可见光遥感图像目标检测识别的重要基础，是检测识别流程中的关键环节。候选目标提取是指通过特定的方法在图像中进行搜索，去除图像中的非目标，保留疑似目标作为候选目标，提供给后续的目标检测识别环节，减少目标检测识别数据处理量，提高检测识别速度和精度。

现有的可见光遥感图像候选目标提取方法可以分为两类：基于阈值分割的方法和基于视觉显著性的方法。其中，基于阈值分割的方法利用目标和背景在灰度值、颜色、纹理等方面的差异，寻找合适的阈值将目标和背景区分开。如：利用大津算法进行水陆分割，然后检测边缘，最后根据检测的边缘提取候选舰船目标；利用大津算法分割水陆，然后使用线分割检测器检测线状目标，并将这些目标作为候选舰船；基于轮廓模型的能量函数，采用迭代全局优化的策略实现水陆分割；在海表均匀性分析的基础上，使用融合了像素和区域特征的线性函数来提取候选舰船等等。这类方法存在的主要问题是分割能力有限，一般只能用于背景相对简单的场合，例如舰船检测等。

基于视觉显著性的方法模拟了人类的目标搜索过程，利用的信息包括颜色、方向和梯度等。如：利用二值化梯度幅值特征进行飞机候选目标提取；综合利用颜色、方向和梯度等信息计算视觉显著性，并据此提取候选舰船目标等等。这类方法存在的主要问题是针对的是通用目标，所有的有明显几何轮廓的目标都被当作候选目标，因此提取出的候选目标数量较多。

发明内容

鉴于上述的分析，本发明旨在提供一种由区域到目标的可见光遥感图像候选目标提取方法，用以解决现有候选目标提取方法应用场景受限或提取的候选目标数量太多的问题。

本发明的目的主要是通过以下技术方案实现的：

提供了一种由区域到目标的可见光遥感图像候选目标提取方法，包括以下步骤：

通过第一滑窗在遥感图像中提取大尺度区域，所述第一滑窗的尺寸根据目标大小确定；

将上述提取的大尺度区域依次输入到训练好的候选区域识别模型中进行分类，得到包含感兴趣目标的候选区域；

通过第二滑窗在上述候选区域中进行候选目标提取，所述第二滑窗的尺寸小于第一滑窗。

本发明有益效果如下：本发明针对可见光遥感图像目标的聚集性特点进行候选目标提取，在相同的召回率下，提取的候选目标数量远少于现有方法(如：对于飞机候选目标提取，相比基于视觉显著性的方法，本发明提取的候选目标数量减少约40％；对于舰船候选目标提取，相比基于阈值分割的方法，本发明提取的候选目标数量减少约30％)，有利于减少目标检测识别工作量，提高后续检测识别的速度和精度。另外，本发明应用场景广泛，适用于可见光遥感图像中的飞机、舰船、车辆等多类目标；还可扩展应用于红外、高光谱、合成孔径雷达候选目标提取，可以满足各种环境场合。有效解决了现有基于阈值分割的候选目标提取方法分割能力有限，应用场景受限及基于视觉显著性的候选目标提取方法提取的候选目标数量太多，不利于后续的目标检测识别的问题。

在上述方案的基础上，本发明还做了如下改进：

进一步，所述候选区域识别模型包括：第一卷积神经网络和第一分类器；

所述第一卷积神经网络为VGGNet-16，包含13个卷积层、2个全连接层和1个输出层；从第一个全连接层中提取大尺度区域的特征；

所述第一分类器为LIBSVM分类器，通过上述提取的大尺度区域特征对大尺度区域进行分类。

进一步，所述通过第二滑窗在上述候选区域中进行候选目标提取，包括：

利用第二滑窗在上述候选区域中提取出若干小尺度区域；

将上述小尺度区域依次输入到训练好的候选目标提取模型，提取候选目标；

所述候选目标提取模型包括：第二卷积神经网络和第二分类器；其中，第二卷积神经网络为VGGNet-16，包含13个卷积层、2个全连接层和1个输出层，从第一个全连接层中提取小尺度区域的特征；

所述第二分类器为LIBSVM分类器，通过上述提取的小尺度区域特征对小尺度区域进行分类。

进一步，还包括，采用非极大值抑制对得到的候选区域或候选目标进行筛选，去除冗余的候选区域或候选目标。

进一步，采用非极大值抑制对得到的候选区域进行筛选，包括：

当出现多个候选区域位置重叠程度超过设定的IOU阈值时，进行非极大值抑制，并按照分数从高到低排列候选区域；从得分最高的候选区域开始，依次和剩下的所有候选区域进行比较，将重叠面积与得分最高的候选区域的面积之比超过预设比值的候选区域舍弃，得到一组筛选后的候选区域；依次对所有候选区域进行同样处理，直到遍历所有的候选区域，得到两两之间重叠面积都小于预设比值的候选区域集合。

进一步，所述第一滑窗的大小为图像中目标大小的4倍，第二滑窗的大小为图像中目标大小的1倍。

进一步，所述提取大尺度区域，包括：从图像左上角开始，通过第一滑窗从左到右、从上到下的顺序裁剪大尺度区域；

所述提取小尺度区域，包括：从图像左上角开始，通过第二滑窗从左到右、从上到下的顺序裁剪小尺度区域。

进一步，将第一滑窗的滑动步长设置为小于第一滑窗的长宽尺寸，将分割得到的相邻的大尺度区域之间保留25％的重叠度。

进一步，还包括，采集训练数据，并进行标注，对所述候选区域识别模型和候选目标提取模型分别进行训练，得到训练好的候选区域识别和候选目标提取模型。

进一步，还包括：对数据集进行干扰加强，所述干扰加强包括数据水平翻转、加噪声或随机裁剪中的至少一种。

本发明中，上述各技术方案之间还可以相互组合，以实现更多的优选组合方案。本发明的其他特征和优点将在随后的说明书中阐述，并且，部分优点可从说明书中变得显而易见，或者通过实施本发明而了解。本发明的目的和其他优点可通过说明书、权利要求书以及附图中所特别指出的内容中来实现和获得。

附图说明

附图仅用于示出具体实施例的目的，而并不认为是对本发明的限制，在整个附图中，相同的参考符号表示相同的部件。

图1为本发明实施例中由区域到目标的可见光遥感图像候选目标提取方法流程图；

图2为本发明实施例中大尺度区域提取示意图；

图3为本发明实施例中候选目标提取示意图。

具体实施方式

下面结合附图来具体描述本发明的优选实施例，其中，附图构成本申请一部分，并与本发明的实施例一起用于阐释本发明的原理，并非用于限定本发明的范围。

本发明的一个具体实施例，公开了一种由区域到目标的可见光遥感图像候选目标提取方法。如图1所示，包括以下步骤：

步骤S1、通过第一滑窗在遥感图像中提取大尺度区域，所述第一滑窗的尺寸根据目标大小确定；

步骤S2、将上述提取的大尺度区域依次输入到训练好的候选区域识别模型中进行分类，得到包含感兴趣目标的候选区域；

步骤S3、通过第二滑窗在上述候选区域中进行候选目标提取，所述第二滑窗的尺寸小于第一滑窗。

与现有技术相比，本实施例提供的由区域到目标的可见光遥感图像候选目标提取方法，针对可见光遥感图像目标的聚集性特点进行候选目标提取，在相同的召回率下，提取的候选目标数量远少于现有方法，有利于减少目标检测识别工作量，提高后续检测识别的速度和精度。另外，本发明应用场景广泛，适用于可见光遥感图像中的飞机、舰船、车辆等多类目标；还可扩展应用于红外、高光谱、合成孔径雷达候选目标提取，可以满足各种环境场合。有效解决了现有基于阈值分割的候选目标提取方法分割能力有限，应用场景受限及基于视觉显著性的候选目标提取方法提取的候选目标数量太多，不利于后续的目标检测识别的问题。

具体来说，在步骤S1中，通过第一滑窗在图像中提取大尺度区域，其中，第一滑窗的尺寸根据目标大小确定。

如图2所示，利用滑窗的方法，从输入图像的一端开始，顺次裁剪大尺度区域，直到遍布整个图像区域，完成大尺度区域提取。示例性地，从输入图像的左上角开始，按照从左到右、从上到下的顺序裁剪大尺度区域。

大尺度区域的大小根据图像中目标的大小确定，本发明方法适用于可见光遥感图像中的飞机、舰船、车辆等多类目标；还可扩展应用于红外、高光谱、合成孔径雷达等候选目标。在本实施例中，仅以飞机目标为例进行说明，单个飞机目标在图像中的大小约为64×64像素，第一滑窗(即大尺度区域)的长和宽大致为目标的4倍，由此确定大尺度区域的大小为256×256像素。

需要说明的是，为了避免遗漏目标或者出现目标被分割在不同的大尺度区域，给后续进一步的目标检测识别带来干扰或者无法识别到感兴趣的目标。本实施例中，将第一滑窗的滑动步长设置为小于滑窗的长宽尺寸，以便分割得到的相邻的大尺度区域之间保留一定的重叠度，优选的，相邻区域间的重叠度为25％。

在步骤S2中，将上述提取的大尺度区域依次输入到训练好的候选区域识别模型中进行分类，得到包含感兴趣目标的一个或多个候选区域。

其中，候选区域识别模型由第一卷积神经网络和第一分类器构成。

第一卷积神经网络用于提取大尺度区域的特征，并将提取的特征传递到第一分类器进行分类，将符合的大尺度区域作为候选区域；第一卷积神经网络可以采用多种卷积神经网络或者网络中的不同特征提取层进行特征提取、还可以使用现有非卷积神经网络类的特征提取方法提取特征，均能达到本实施例中的效果；优选地，本实例中使用VGGNet-16作为第一卷积神经网络，并从VGGNet-16的第一个全连接层提取特征；该网络包含13个卷积层、2个全连接层和1个输出层；

第一分类器可以采用多种现有分类器实现分类功能，本实施例中采用SVM(support vector machine，支持向量机)，优选的，采用LIBSVM进行分类。

在利用上述构建的候选区域识别模型进行识别分类之前，需要建立大规模图像分类数据集进行训练，以便模型具有强大的特征提取能力，提高分类的准确率。

具体地，在构建大规模图像分类数据集时，可以通过网上公开数据库或者自作的方式获取，优选的，采用谷歌地图遥感图像数据作为候选区域识别模型的训练集，同时，还可以将数据集中数据进行干扰加强(数据水平翻转、加噪声、随机裁剪)，以便提高模型的训练效果。

需要说明的是，为了进一步提高模型候选区域识别的准确性，在选取的训练图像中，一部分图像需包含完整的目标。

采集到数据集后，分割成用于训练的大尺度区域，并对各区域进行标注，将含有感兴趣目标的大尺度区域和不含有感兴趣目标的大尺度区域归为不同的类：一类是包含感兴趣目标的大尺度区域，类标签设置为1；另一类是不包含感兴趣目标的大尺度区域，类标签设置为0。

在完成训练数据采集后，设置好初始化方法、学习率、优化器和损失函数，利用两类大尺度区域的图像和对应的类标签对第一卷积神经网络进行训练；从训练好的第一卷积神经网络的第一个全连接层提取两类大尺度区域的特征，利用两类大尺度区域的特征和对应的类标签对第一分类器进行训练；经过训练后，获得识别效果理想的候选区域识别模型。

将上述步骤S1中提取的各大尺度区域依次输入到上述训练好的候选区域识别模型进行识别分类，得到包含感兴趣目标的大尺度区域作为候选区域。具体地，提取第一卷积神经网络的全连接层特征作为大尺度区域的特征；将提取的待分类的大尺度区域的特征输入到第一分类器中进行分类，如果第一分类器给出的类标签为1，则认为该大尺度区域为候选区域，即包含感兴趣目标的区域；如果第一分类器给出的类标签为0，则舍弃该大尺度区域。

为了进一步减少多余候选区域的数量，降低目标检测识别工作量，提高后续检测识别的速度和精度；本实施例采用非极大值抑制解决候选区域冗余的问题，具体地，当经过候选区域识别模型分类得到的候选区域集合中出现多个候选区域位置重叠程度超过设定的IOU阈值时，进行非极大值抑制，并按照分数从高到低排列候选区域；然后，从得分最高的候选区域开始，依次和剩下的所有候选区域进行比较，将重叠面积与得分最高的候选区域的面积之比超过预设比值(优选的，设置为0.7)的候选区域舍弃，得到一组筛选后的候选区域集合，然后依次进行同样处理，直到遍历所有的候选区域，得到两两之间重叠面积都小于预设比值的候选区域集合。

在步骤S3中，通过第二滑窗在上述候选区域中进行候选目标提取，得到候选目标。

如图3所示，在得到的候选区域中，利用滑窗的方法，从图像左上角开始，按照从左到右、从上到下的顺序裁剪小尺度区域。在裁剪出来的小尺度区域中，通过候选目标提取模型进行候选目标的提取；

其中，候选目标提取模型与上述候选区域识别模型相似，由第二卷积神经网络和第二分类器构成。第二卷积神经网络用于提取小尺度区域的特征，并将提取的特征传递到第二分类器进行分类，将符合的小尺度区域作为候选目标；优选地，依旧使用VGGNet-16作为第二卷积神经网络，并从VGGNet-16的倒数第二个全连接层提取特征；该网络包含13个卷积层、2个全连接层和1个输出层；第二分类器依旧采用LIBSVM进行分类。为避免遗漏目标，相邻的区域间需要保留一定的重叠度，优选的，相邻区域间的重叠度为25％。

第二滑窗的大小(小尺度区域的大小)根据图像中目标的大小确定，同时第二滑窗的尺寸小于上述第一滑窗。在本实施例中，依旧以飞机目标为例，单个飞机目标在图像中的大小约为64×64像素，由此确定小尺度区域的大小为64×64像素。

在采集训练该候选目标提取模型所需数据集时，对步骤S2中获取的大尺度区域进行分割，需要说明的是，分割得到的小尺度区域可以包含全部或者部分目标，并将这部分小尺度区域的分类标注为1，即为候选目标；其他的小尺度区域则标注为0。

在完成训练数据采集后，设置好初始化方法、学习率、优化器和损失函数，利用两类小尺度区域的图像和对应的类标签对第二卷积神经网络进行训练；从训练好的第二卷积神经网络的第一个全连接层提取两类小尺度区域的特征，利用两类小尺度区域的特征和对应的类标签对第二分类器进行训练；经过训练后，获得识别效果理想的候选目标提取模型。

相应的，依旧可以采用非极大值抑制解决候选目标冗余的问题，具体过程与前述相似，这里不再赘述，从而进一步减少多余候选目标的数量，降低目标检测识别工作量，提高后续目标检测识别的速度和精度；

为了验证本实施例中由区域到目标的可见光遥感图像候选目标提取方法的效果，以遥感影像中飞机、舰船等分别作为候选目标，与现有的基于视觉显著性和基于阈值分割的候选目标提取方法进行了比对，结果表明：在相同的召回率下，本发明提取的候选目标数量远少于现有方法。具体地，对于飞机候选目标提取，相比基于视觉显著性的方法，本发明提取的候选目标数量减少约40％；对于舰船候选目标提取，相比基于阈值分割的方法，本发明提取的候选目标数量减少约30％。

本领域技术人员可以理解，实现上述实施例方法的全部或部分流程，可以通过计算机程序指令相关的硬件来完成，所述的程序可存储于计算机可读存储介质中。其中，所述计算机可读存储介质为磁盘、光盘、只读存储记忆体或随机存储记忆体等。

以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内。

Claims (10)

1.一种由区域到目标的可见光遥感图像候选目标提取方法，其特征在于，包括以下步骤：

通过第一滑窗在遥感图像中提取大尺度区域，所述第一滑窗的尺寸根据目标大小确定；

将上述提取的大尺度区域依次输入到训练好的候选区域识别模型中进行分类，得到包含感兴趣目标的候选区域；

通过第二滑窗在上述候选区域中进行候选目标提取，所述第二滑窗的尺寸小于第一滑窗。

2.根据权利要求1所述的方法，其特征在于，所述候选区域识别模型包括：第一卷积神经网络和第一分类器；

所述第一卷积神经网络为VGGNet-16，包含13个卷积层、2个全连接层和1个输出层；从第一个全连接层中提取大尺度区域的特征；

所述第一分类器为LIBSVM分类器，通过上述提取的大尺度区域特征对大尺度区域进行分类。

3.根据权利要求1或2所述的方法，其特征在于，所述通过第二滑窗在上述候选区域中进行候选目标提取，包括：

利用第二滑窗在上述候选区域中提取出若干小尺度区域；

将上述小尺度区域依次输入到训练好的候选目标提取模型，提取候选目标；

所述候选目标提取模型包括：第二卷积神经网络和第二分类器；其中，第二卷积神经网络为VGGNet-16，包含13个卷积层、2个全连接层和1个输出层，从第一个全连接层中提取小尺度区域的特征；

所述第二分类器为LIBSVM分类器，通过上述提取的小尺度区域特征对小尺度区域进行分类。

4.根据权利要求3所述的方法，其特征在于，还包括，采用非极大值抑制对得到的候选区域或候选目标进行筛选，去除冗余的候选区域或候选目标。

5.根据权利要求4所述的方法，其特征在于，采用非极大值抑制对得到的候选区域进行筛选，包括：

当出现多个候选区域位置重叠程度超过设定的IOU阈值时，进行非极大值抑制，并按照分数从高到低排列候选区域；从得分最高的候选区域开始，依次和剩下的所有候选区域进行比较，将重叠面积与得分最高的候选区域的面积之比超过预设比值的候选区域舍弃，得到一组筛选后的候选区域；依次对所有候选区域进行同样处理，直到遍历所有的候选区域，得到两两之间重叠面积都小于预设比值的候选区域集合。

6.根据权利要求5所述的方法，其特征在于，所述第一滑窗的大小为图像中目标大小的4倍，第二滑窗的大小为图像中目标大小的1倍。

7.根据权利要求6所述的方法，其特征在于，所述提取大尺度区域，包括：从图像左上角开始，通过第一滑窗从左到右、从上到下的顺序裁剪大尺度区域；

所述提取小尺度区域，包括：从图像左上角开始，通过第二滑窗从左到右、从上到下的顺序裁剪小尺度区域。

8.根据权利要求7所述的方法，其特征在于，将第一滑窗的滑动步长设置为小于第一滑窗的长宽尺寸，将分割得到的相邻的大尺度区域之间保留25％的重叠度。

9.根据权利要求8所述的方法，其特征在于，还包括，采集训练数据，并进行标注，对所述候选区域识别模型和候选目标提取模型分别进行训练，得到训练好的候选区域识别和候选目标提取模型。

10.根据权利要求9所述的方法，其特征在于，还包括：对数据集进行干扰加强，所述干扰加强包括数据水平翻转、加噪声或随机裁剪中的至少一种。