CN107657279B - 一种基于少量样本的遥感目标检测方法 - Google Patents

Abstract

本发明公开了一种基于少量样本的遥感目标检测方法，所述方法首先对采集的样本进行处理，得到辅助数据集，然后对所述辅助数据集与目标域进行相似性验证，再根据辅助数据集训练可变形部件模型(Deformable Part based Model,DPM)模型参数，得到目标分类器，进行目标检测，其中，在进行DPM模型参数训练时，将模型中的参数进行划分，然后迁移学习，得到目标分类器。本发明所述方法在源域数据混合模型训练时的采用目标聚类方式，能有效减少训练误差，降低训练复杂度，并且，采用具有结构化参数划分的方法，能提高适应模型的检测性能。

Description

一种基于少量样本的遥感目标检测方法

技术领域

本发明涉及遥感目标检测领域，尤其涉及一种基于少量样本的遥感目标检测方法。

背景技术

遥感目标检测是通过机器学习方法与计算机视觉算法对航拍图像、视频中的一类或多类物体进行精确定位或识别的过程。其属于计算机视觉中的高级任务，通常作为活动分析、事件识别、场景理解和目标追踪的研究基础。随着我国高分辨率遥感成像技术的发展，遥感目标检测将在未来将具有越来越重要的作用。

但是，传统的目标检测技术需要从应用数据中对大量样本进行标注，用于检测分类器的训练，以使得算法尽可能逼近目标样本在特征上的真实分布特性，进而获取可泛化的检测模型。然而在遥感应用领域，目标样本的获取具有较大的局限性。首先，对大规模的图像数据进行人工标注是非常费时费力的；其次，对于遥感场景中的一些特定目标，大规模的图像数据中也仅有少数的样本，并不能形成足够用于完备训练的数据集。

但在遥感目标检测中，存在着少量样本的问题，遥感图像中难以直接获取到较大数目的样本，原因在遥感图像中目标是很稀疏的，没有目标的图占了绝大多数。而且目标种类多，标注难度大，导致标注样本较少，这是遥感目标检测中的直接问题。

而现有方法能够解决具有较多未标注图像的情况，但在处理只有少量样本的问题时，往往难以学习到样本空间的整体特征分布，训练得到的检测模型因而不具备足够的泛化能力，将增大误检的概率。

发明内容

为了克服上述问题，本发明人进行了锐意研究，提出一种基于少量样本的遥感目标检测方法，该方法能够在少量样本遥感场景下训练目标检测模型，提高遥感目标的检测性能，从而完成本发明。

本发明提供了一种基于少量样本的遥感目标检测方法，具体体现在以下几个方面：

(1)一种基于少量样本的遥感目标检测方法，其中，所述方法包括以下步骤：

步骤1、采集样本，并对其进行预处理，得到样本数据集；

步骤2、对步骤1得到的样本数据集进行处理，得到辅助数据集；

步骤3、利用步骤2的辅助数据集训练DPM模型参数，得到目标分类器。

(2)根据上述(1)所述的方法，其中，步骤1包括以下子步骤：

步骤1.1、从遥感成像平台中采集含有目标的图像；

步骤1.2、在步骤1.1采集的图像中标注目标的位置与轮廓，得到初步样本数据集；

步骤1.3、对步骤1.2得到的初步样本数据集进行数据增强处理，得到样本数据集。

(3)根据上述(1)或(2)所述的方法，其中，在步骤1.3中，所述数据增强处理包括旋转、翻转、尺度变换和对比度变换。

(4)根据上述(1)至(3)之一所述的方法，其中，步骤2包括以下子步骤：

步骤2.1、分析步骤1得到的样本数据集中目标样本的分布特性，并利用目标样本和目标类别进行三维建模，得到目标的三维模型；

步骤2.2、将步骤2.1得到的目标的三维模型与遥感背景融合，形成虚拟数据集；

步骤2.3、对步骤2.2形成的虚拟数据集进行加噪处理，得到辅助数据集。

(5)根据上述(1)至(4)之一所述的方法，其中，

在步骤2.3之后执行步骤2.4：对步骤2.3得到的辅助数据集与目标域数据集进行内在相似性的验证，优选地，利用方向梯度直方图特征和深度特征进行相似性验证。

(6)根据上述(1)至(5)之一所述的方法，其特征在于，步骤3包括以下子步骤：

步骤3.1、将辅助数据集中的目标样本在特征空间中进行聚类，得到具有特征相似性的混合分类；

步骤3.2、利用步骤3.1得到的混合分类结果对DPM模型进行训练，得到源域DPM模型；

步骤3.3、对源域DPM模型的参数进行适应性再训练，优选采用步骤1得到的样本数据集进行适应性再训练，得到目标分类器。

(7)根据上述(1)至(6)之一所述的方法，其特征在于，在步骤3.1中，基于方向梯度直方图(HOG)特征对目标进行聚类。

(8)根据上述(1)至(7)之一所述的方法，其中，步骤3.3包括以下子步骤：

步骤3.3.1、对源域DPM模型的参数进行划分，得到具有拓扑结构的部件级别参数；

步骤3.3.2、对每个部件级别参数分别构建进行域适应的正则化项；

步骤3.3.3、将正则化项带入SVM优化方程，进行迁移学习处理；

步骤3.3.4、用梯度下降法求优化方程的解，得到基于域自适应的目标分类器。

(9)根据上述(1)至(8)之一所述的方法，其中，

在步骤3.3.1中，根据源域DPM模型内在的混合分类以及子部件对源域DPM模型的参数进行划分；和/或

在步骤3.3.3中，所述的迁移学习处理的方式为优化如下式所示的目标函数：

其中，在上式中，ΔW_i＝W_i-W_i ^S为样本适应参数与源域DPM模型参数的差；C为用于控制误差影响的正则化惩罚系数；ξ_i为软间隔，

为正则化项；β_i为参数的权重，γ为用于控制β_i范数的正则化惩罚系数。

(10)根据上述(1)至(9)之一所述的方法，其中，步骤4包括以下子步骤：

步骤4.1、对给定的测试图像，进行候选框提取，优选采用Selective Search方法提取候选框；

步骤4.2、将步骤4.1提取的候选框投入步骤3的目标分类器中，获得候选框是需检测目标的分类置信度，并保留高于模型阈值的候选框，作为检测结果；

步骤4.3、对步骤4.2得到的检测结果候选框做非极大值抑制处理，去除重叠的候选框，得到最终优化的检测结果。

附图说明

图1示出本发明所述方法的流程示意图；

图2示出本发明所述方法中步骤2.4进行相似性验证的实验例结果图；

图3示出本发明所述方法中步骤3的过程示意图；

图4示出实施例中对样本进行旋转、翻转、尺度变换和对比度变换的处理结果图；

图5示出实施例中在三维建模软件SketchUp中对通用的车辆三维模型进行调整的结果图；

图6示出实施例中对虚拟数据集进行模糊处理和信噪比为0.8的椒盐噪声的添加的结果图；

图7示出实施例以及对比例1～3得到的精确率-召回率曲线。

附图标记

0-背景；1-非目标样本；2-目标样本；3-辅助数据集。

具体实施方式

下面通过附图对本发明进一步详细说明。通过这些说明，本发明的特点和优点将变得更为清楚明确。

本发明提供了一种基于少量样本的遥感目标检测方法，如图1所示，所述方法包括以下步骤：

步骤1、采集样本，并对其进行预处理，得到样本数据集。

在进一步优选的实施方式中，步骤1包括以下子步骤：

步骤1.1、从遥感成像平台中采集含有目标的图像；

其中，在步骤1.1中，采集的图像的数量少于1000、甚至少于500，因此，本发明是基于少量样本下进行。

步骤1.2、在步骤1.1采集的图像中标注目标的位置与轮廓，得到初步样本数据集；

步骤1.3、对步骤1.2得到的初步样本数据集进行数据增强处理，得到样本数据集。

根据本发明一种优选的实施方式，在步骤1.3中，所述数据增强处理包括旋转、翻转、尺度变换和对比度变换。

其中，在步骤1.3中，进行数据增强处理可以增强少量样本在特征分布上的表达能力，扩展样本数据数目，从而扩大样本数据集的特征分布。

步骤2、对步骤1得到的样本数据集进行处理，得到辅助数据集。

根据本发明一种优选的实施方式，步骤2包括以下子步骤：

步骤2.1、分析步骤1得到的样本数据集中目标样本的分布特性，并利用目标样本和目标类别进行三维建模，得到目标的三维模型；

其中，所述目标类别是指待检测的目标的类别，例如是车辆类别、飞机类别或者其它类别；所述分布特性包括目标在像素数值加和、角度、长宽比等几何统计特性。

步骤2.2、将步骤2.1得到的目标的三维模型与遥感背景融合，形成虚拟数据集；

步骤2.3、对步骤2.2形成的虚拟数据集进行加噪处理，得到辅助数据集。

根据本发明一种优选的实施方式，在步骤2.2中，所述融合于建模软件中进行。

在进一步优选的实施方式中，在步骤2.2中，所述融合于建模软件Sketch中进行。

其中，所述虚拟数据集能从形成过程中自动获取所有样本的标注信息，为了能具有更好的样本表述能力，除根据步骤2.1中的分布特性生成相对应的样本外，还额外采用随机的参数生成车辆样本。

根据本发明一种优选的实施方式，在步骤2.3中，所述加噪处理包括模糊处理和随机噪点。

这样，可以使合成的图像更接近遥感图像。

根据本发明一种优选的实施方式，在步骤2.3之后进行步骤2.4：

步骤2.4、对步骤2.3得到的辅助数据集与目标域数据集进行内在相似性的验证。

其中，所述目标域数据集是指待检测目标的数据空间。在步骤2.4中，对辅助数据集与目标域数据集进行验证，确保其相似性，而该技术在现有目标检测工作中并未有涉及。

除了利用方向梯度直方图特征进行相似性验证之外，为了更进一步地筛选样本，提出基于深度特征进行相似性验证，具体做法如下：用VGG深度网络提取多种不同目标的深度特征，通过t-sne数据可视化工具对这些目标在深度特征空间中的聚类进行分析，从特征表示角度验证相似性。

在本发明中，例如进行车辆(目标样本)检测，分别进行背景(类别0)、非目标样本(类别1)、目标样本(类别2)，辅助数据集(类别3)进行相似性验证，其中，非目标样本选择了同为遥感数据集目标的飞机样本，所提取的深度特征经过可视化后的结果图2所示。由图2可以看出，背景(类别0)的与飞机(类别1)的特征在可视化后与两种车辆(类别2和类别3)的特征在聚类上有明显差异，同时辅助数据集的特征在目标车辆特征的聚类中有一定的分布，具有与目标域数据类似的性质辅助数据集还包括了少量样本中不具备的先验知识，集图中类别3左下角位置的数据点。即辅助数据集与目标样本具有相似性，并能提供目标样本未能包括的先验知识。

步骤3、利用步骤2的辅助数据集训练DPM模型参数，得到目标分类器。

根据本发明一种优选的实施方式，在步骤3中，所述DPM模型是基于HOG特征的DPM模型。

在进一步优选的实施方式中，步骤3包括以下子步骤：

步骤3.1、将辅助数据集中的目标样本在特征空间中进行聚类，得到具有特征相似性的混合分类，样本优选策略是根据方向梯度直方图(HOG)特征进行聚类；

其中，辅助数据集中的目标样本在计算特征之后才用于分类，在特征空间中，相似的样本会有聚集性，而不相似的样本则会相离较远。而方向梯度直方图(HOG-Histogram OfGradient)特征的特点是将图像局部出现的梯度信息统计为直方图，能够很好的描述目标的形状边缘。在本发明中根据HOG特征聚类，而不是根据几何结构进行，这样，可以不用考虑几何标注是否正确，就能充分把相似样本划分在一起。

步骤3.2、利用步骤3.1得到的混合分类结果对DPM模型进行训练，得到源域DPM模型；

步骤3.3、对源域DPM模型的参数进行适应性再训练，优选采用步骤1得到的样本数据集进行适应性再训练，得到目标分类器。

根据本发明一种优选的实施方式，如图3所示，步骤3.3包括以下子步骤：

步骤3.3.1、对源域DPM模型的参数进行划分，得到具有拓扑结构的部件级别参数；

其中，源域DPM模型的参数是高维度向量，在优选实施方案中，对其进行划分，并赋予每个划分块不同的权重进行模型调整，实现参数优化。

步骤3.3.2、对每个部件级别参数分别构建进行域适应的正则化项；

步骤3.3.3、将正则化项带入SVM优化方程，进行迁移学习处理；

步骤3.3.4、用梯度下降法求优化方程的解，得到基于域自适应的目标分类器。

根据本发明一种优选的实施方式，在步骤3.3.1中，根据源域DPM模型内在的混合分类以及子部件对源域DPM模型的参数进行划分。

在本发明中，在步骤3.3.1中，如图3所示，设源域模型的参数为W_S，则W_S包含了按不同角度划分的目标混合模型，每个混合模型都由相应的子部件组成。以将该预训练的模型参数迁移到一个不同的领域中，首先需要将参数向量分解为P个部分，P是划分的混合模型数目。注意到对每个组成部分W_Sp来说，都会包含有性状相关的滤波器和变形参数。分解的模型参数通过不同的权重参数β_p∈[1,P]应用到目标样本中。

根据本发明一种优选的实施方式，在步骤3.3.3中，所述的迁移学习处理的方式为优化如下式所示的目标函数：

其中，在上式中，ΔW_i＝W_i-W_i ^S为样本适应参数与源域DPM模型参数的差，C为用于控制误差影响的正则化惩罚系数，ξ_i为软间隔，

为正则化项；β_i为参数的权重，γ为用于控制β_i范数的正则化惩罚系数。

其中，为了使参数权重β_i也能通过达到最优化，引入正则化惩罚系数γ来控制β_i的范数。如图3所示，假设W^S为源域模型的参数，按照内部混合模型以及部件划分为

对每一个划分的参数W_i ^S，赋予一个单独的权重β_i，则对于小样本车辆中的N个样本来说，构建损失方程，如上式所示。

而在现有技术的模型迁移方法如下式所示：

其中，将所有辅助模型参数视为整体，在整体上来进行调整的，但这会限制了辅助数据集与目标样本在特征空间上要具有极其近似的分布表示。这对于具有混合的子部件模型来说是很难做到的。首先，其并没有考虑到模型内部的本质结构知识联系。其次，当辅助数据集和目标样本在特征空间上具有较大不同的时候，即模型决策分界面差距较大，训练的效率会变得很低。

步骤4、利用步骤3得到的目标分类器进行目标检测。

根据本发明一种优选的实施方式，步骤4包括以下子步骤：

步骤4.1、对给定的测试图像，进行候选框提取，优选采用Selective Search方法提取候选框；

步骤4.2、将步骤4.1提取的候选框投入步骤3的目标分类器中，获得候选框是需检测目标的分类置信度，并保留高于模型阈值的候选框，作为检测结果；

步骤4.3、对步骤4.2得到的检测结果候选框做非极大值抑制处理，去除重叠的候选框，得到最终优化的检测结果。

在本发明中，源域是指训练集，目标域是指测试集。

本发明所具有的有益效果包括：

(1)本发明所述方法基于少量样本即可进行目标检测，所述少量样本为几百，例如200～300；

(2)本发明所述方法采用了生成数据的方式来获取辅助样本，能适用于遥感领域中的大部分人工目标；

(3)本发明所述方法在源域数据混合模型训练时的采用目标聚类方式，能有效减少训练误差，降低训练复杂度；

(4)本发明所述方法在域自适应模型训练时采用具有结构化参数划分的方法，能提高适应模型的检测性能；

(5)本发明所述方法的检测效果远比直接使用少量样本训练模型好，并接近于大样本下的训练模型。

实施例

采用本发明所述方法进行遥感车辆目标的检测，其具体的实施例如下：

采集300个已被标注位置和轮廓的遥感车辆样本数据与遥感背景。通过步骤1.3所述的数据增强方式，如图4所示，经过旋转、翻转、尺度变换、对比度变换，最终得到1500个车辆样本的扩展数据。

根据从扩展车辆样本中获取的角度、长宽比分布，在三维建模软件SketchUp中对通用的车辆三维模型进行调整，具体地，如图5所示，从俯视角度的基础上，拉伸、压缩模型的长度、宽度，得到适应于本实施例角度、长宽比分布的三维模型。

在三维建模软件中，结合上述得到的车辆三维模型与采集的遥感背景，建立虚拟的遥感场景，在其中采集虚拟数据集。

对获得的虚拟数据集进行模糊处理和信噪比为0.8的椒盐噪声的添加(如图6所示)，得到2700个车辆样本的辅助数据集。

用VGG深度网络提取以下样本的特征：遥感车辆样本、辅助数据集车辆样本、遥感背景以及同遥感场景中易出现的飞机样本特征；通过t-sne数据可视化工具，分析上述目标在深度特征空间中的聚类效应，验证辅助车辆样本与遥感车辆样本在特征空间中相似性，并且其能借此特性与背景和其他目标能够相互区分，结果如图2所示。

利用上述得到的2700个辅助数据集，基于方向梯度直方图(HOG)特征在特征空间中进行聚类；利用得到的混合分类结果对DPM模型进行训练，得到源域DPM模型。

对源域DPM模型的参数进行划分，得到具有拓扑结构的部件级别参数；然后利用下述算法：

，并基于数据增强后的1500个车辆样本的扩展数据进行域适应训练，得到遥感车辆分类器。

采用本发明所述方法进行车辆目标的检测，检测实验所用的测试集为1024遥感车辆样本。

检测实验中，所使用的性能指标为精确率-召回率曲线(Precision RecallCurve，PRC)，以及平均准确率(mean Accuracy Precision，mAP)。结果如表1和图7所示。

对比例

对比例1

采用本发明所述方法进行的车辆样本目标检测，区别在于：在2700个与实施例相同场景的、真实遥感车辆大样本下进行的，即在充足样本条件下训练分类器，这也是分类器训练的理想情况。其检测性能作为实施例性能上界，指示实施例与理想情况下的差距。

使用步骤3.1和3.2中相同的方法，训练得到对比例1的遥感车辆分类器。检测实验中，所使用的性能指标为精确率-召回率曲线(Precision Recall Curve，PRC)，以及平均准确率(mean Accuracy Precision，mAP)。结果如表1和图7所示。

对比例2

采用本发明所述方法进行的车辆样本目标检测，即是在实施例中采集的300遥感车辆样本中进行的，即直接在小样本条件下训练分类器。对比例2的检测性能作为实施例性能提升的基准，指示实施例的提升幅度。

与实施例相比，对比例2没有使用样本生成和模型域适应算法。直接使用步骤3.1和3.2中相同的方法，训练得到对比例2的遥感车辆分类器，这也是通常情况下分类器训练的方式。

检测实验中，所使用的性能指标为精确率-召回率曲线(Precision RecallCurve，PRC)，以及平均准确率(mean Accuracy Precision，mAP)。结果如表1和图7所示。

对比例3

重复实施例的过程，区别在于：将算法

替换为：

结果如表1所示。

表1

	实施例	对比例1	对比例2	对比例3
					mAP	0.9151	0.9186	0.8199	0.8519

由表1和图4可以看出，本发明的实施例在检测性能上远超对比例2和对比例3，并且，接近于大样本情况下的对比例1，也说明，本发明所述方法在小样本(少量样本)的情况下即可得到与基于大样本(大量样本)情况下几乎一致的分析结果。

以上结合了优选的实施方式对本发明进行了说明，不过这些实施方式仅是范例性的，仅起到说明性的作用。在此基础上，可以对本发明进行多种替换和改进，这些均落入本发明的保护范围内。

Claims (6)

1.一种基于少量样本的遥感目标检测方法，其特征在于，所述方法包括以下步骤：

步骤1、采集样本，并对其进行预处理，得到样本数据集；

步骤2、对步骤1得到的样本数据集进行处理，得到辅助数据集；

步骤2包括以下子步骤：

步骤2.1、分析步骤1得到的样本数据集中目标样本的分布特性，并利用目标样本和目标类别进行三维建模，得到目标的三维模型；

步骤2.2、将步骤2.1得到的目标的三维模型与遥感背景融合，形成虚拟数据集；

步骤2.3、对步骤2.2形成的虚拟数据集进行加噪处理，得到辅助数据集；

步骤2.4、对步骤2.3得到的辅助数据集与目标域数据集进行内在相似性验证，利用方向梯度直方图特征和深度特征进行相似性验证；

所述目标域数据集是指待检测目标的数据空间；

步骤3、利用步骤2的辅助数据集训练DPM模型参数，得到目标分类器；

步骤3包括以下子步骤：

步骤3.1、将辅助数据集中的目标样本在特征空间中进行聚类，得到具有特征相似性的混合分类结果；

步骤3.2、利用步骤3.1得到的混合分类结果对DPM模型进行训练，得到源域DPM模型；

步骤3.3、对源域DPM模型的参数进行适应性再训练，采用步骤1得到的样本数据集进行适应性再训练，得到目标分类器；

步骤3.3包括以下子步骤：

步骤3.3.1、对源域DPM模型的参数进行划分，得到具有拓扑结构的部件级别参数；

根据源域DPM模型内在的混合分类以及子部件对源域DPM模型的参数进行划分；

步骤3.3.2、对每个部件级别参数分别构建进行域适应的正则化项；

步骤3.3.3、将正则化项带入SVM优化方程，进行迁移学习处理；

步骤3.3.4、用梯度下降法求优化方程的解，得到基于域自适应的目标分类器；

步骤4、利用步骤3得到的目标分类器进行目标检测。

2.根据权利要求1所述的方法，其特征在于，步骤1包括以下子步骤：

步骤1.1、从遥感成像平台中采集含有目标的图像；

步骤1.2、在步骤1.1采集的图像中标注目标的位置与轮廓，得到初步样本数据集；

步骤1.3、对步骤1.2得到的初步样本数据集进行数据增强处理，得到样本数据集。

3.根据权利要求2所述的方法，其特征在于，在步骤1.3中，所述数据增强处理包括旋转、翻转、尺度变换和对比度变换。

4.根据权利要求1所述的方法，其特征在于，在步骤3.1中，基于方向梯度直方图特征对目标样本进行聚类。

5.根据权利要求1所述的方法，其特征在于，

在步骤3.3.3中，所述的迁移学习处理的方式为优化如下式所示的目标函数：

在上式中，ΔW_i＝W_i-W_i ^S为样本适应参数与源域DPM模型参数的差；C为用于控制误差影响的正则化惩罚系数；ξ_i为软间隔，

为正则化项；β_i为参数的权重，γ为用于控制β_i范数的正则化惩罚系数。

6.根据权利要求1所述的方法，其特征在于，步骤4包括以下子步骤：

步骤4.1、对给定的测试图像，进行候选框提取，采用Selective Search方法提取候选框；

步骤4.2、将步骤4.1提取的候选框投入步骤3的目标分类器中，获得候选框是需检测目标的分类置信度，并保留高于模型阈值的候选框，作为检测结果；

步骤4.3、对步骤4.2得到的检测结果候选框做非极大值抑制处理，去除重叠的候选框，得到最终优化的检测结果。

Images