CN103310195B - 车辆高分遥感图像的基于llc特征的弱监督识别方法 - Google Patents

Abstract

本发明提出一种车辆高分遥感图像的基于LLC特征的弱监督识别方法，可以在没有人工标注出具体目标的训练样本中，首先利用显著模型，自适应分割和负样本挖掘方法获得初始化训练样本集，然后提取样本图块的LLC特征利用SVM分类器进行反复迭代训练学习，得出最优目标分类器。最后利用这个分类器对测试图像中的候选图块进行分类和定位即可完成复杂背景遥感图像中车辆目标的检测和识别。

Description

车辆高分遥感图像的基于LLC特征的弱监督识别方法

技术领域

本发明属于遥感图像目标检测与识别领域，涉及一种车辆高分遥感图像的基于LLC特征的弱监督识别方法，可以在没有人工标注出具体目标的训练样本中训练出目标模型并应用于高分辨率遥感图像中车辆目标的检测与识别。

背景技术

遥感图像目标检测与识别一直是遥感图像处理和模式识别领域研究的热点课题,它是随着遥感技术的发展而兴起的一项新技术，具有作用距离远、覆盖范围广、执行效率高等方面的优点，同时也有着重要的军事意义和民用价值。随着计算机技术的不断发展，机器学习，模式识别，数据挖掘等方面的技术对遥感信息提取和处理产生了至关重要的作用。目前根据机器学习的形式，可以把遥感图像目标识别算法主要分为两类：无监督的目标自动识别算法和有监督目标自动识别算法。所谓无监督目标自动识别算法，就是在没有任何标注的训练数据中，由算法寻求目标的潜在特性，从而完成遥感图像中的目标自动检测与识别。而有监督目标检测算法则是对已经由人工标注完全的正负训练样本集进行训练学习，是计算机找出特定目标的一类特征，然后根据训练结果对测试数据中的目标进行自动检测和识别。

然而，无监督的目标自动识别结果往往不够准确，传统的无监督学习的方法在复杂背景下的遥感图像中更是难以达到理想的效果。有监督的目标检测虽然在许多领域已经取得了比较好的结果，但是在遥感图像中，由于图像数量繁多，每幅图像包含信息量大，目标种类多，数量大等诸多因素，使得对遥感图像数据库的人工标注显得尤为困难。此外，由于图像分辨率有限，背景复杂等因素，目前常用的图像特征(例如HOG和BOW)并不能在遥感图像目标识别任务中取得十分突出的效果。为此，本发明提出一种基于LLC特征的弱监督遥感目标自动识别算法，可以对复杂背景下的遥感图像目标提取有效的特征向量，并在没有人工标注出具体目标的训练样本中进行迭代训练学习，得到的目标模型可以应用于遥感图像中复杂背景下的车辆目标的自动检测也识别。因此，本发明可以大大减少人工标注的复杂度，节省人工标注的时间，同时保证最终在弱监督训练出的目标模型可以在测试图像库中对车辆目标进行自动检测与识别。

发明内容

要解决的技术问题

为了避免现有技术的不足之处，本发明提出一种车辆高分遥感图像的基于LLC特征的弱监督识别方法，可以在没有人工标注出具体目标的训练样本中获取初始化训练样本集，然后提取样本图块的LLC特征利用SVM分类器进行反复迭代训练学习，得出最优目标分类器。最后利用这个分类器对测试图像中的候选图块进行分类和定位。

技术方案

一种车辆高分遥感图像的基于LLC特征的弱监督识别方法，其特征在于步骤如下：

步骤1提取训练图像的显著图：将输入图像下采样为N×N个像素，然后针对图像中的每个像素提取显著性特征并选取“基于视觉注意机制的遥感图像感兴趣目标分割方法”中的14显著性特征，记为[sm₁,sm₂,…,sm₁₄]，然后将各类显著特征分量图的权重视为相同的，通过求取所有显著特征分量图的均值作生产显著图sm，

步骤2图像分割，获取候选目标图块：采用自适应阈值分割方法对显著图进行显著区域分割，其中阈值令t∈[0.5,5]中的两个值对图像分割后得到二值图以二值图中的显著值为1的像素集为显著区域，求取显著区域的外接矩形获取显著图块；其中：W为显著图sm的列数，H为显著图sm的行数，S(x,y)为显著图sm在坐标为x,y处的显著值；

在训练集中实施步骤1～2获得的显著图块为目标候选图块；在背景训练集中实施步骤1～2获得的显著图块为负样本字典；

步骤3利用在背景训练集中得出的负样本字典对训练集中的目标候选图块进行负样本挖掘，完成初始化标注，步骤为：

步骤a、首先分别提取负样本字典和目标候选图块中的SIFT特征并进行聚类，然后使用BOW模型进行表示；

步骤b、根据测量目标候选图块与负样本字典中图块的相似性，将与负样本字典最不相似的目标候选图块作为初始化标注结果；其中：||·||₁表示L₁范数，表示第i幅图像中第j个目标候选图块，表示负样本字典中，其BOW特征与的BOW特征欧氏距离最近的一个负样本图块；

步骤4迭代训练，优化分类器：将所有初始化标注结果作为分类器的初始化正训练样本，并在负样本字典中选取同等数量的图块作为分类器的初始化负训练样本，在每一次迭代训练中，首先提取所有训练样本的LLC特征，利用SVM对特征训练分类器，然后将训练好的分类器对所有目标候选图块进行分类，将分类结果为车辆目标的图块作为下一次训练的正训练样本，如此反复迭代直到达到迭代停止条件。本发明利用每一次迭代得到的分类器在负样本字典中的错误率来判断分类器的性能，当本次迭代得到的分类器比上一次迭代的分类器的错误率高的时候，迭代停止，并选取上一次迭代得到的分类器为最优分类器输出；

步骤5车辆目标检测识别：首先利用步骤1和步骤2对测试图像进行处理,得到图像中的显著图块作为目标候选图块,然后利用步骤4训练出的最优分类器对所有候选图块进行分类，对分类为目标的图块在图像中进行定位即可完成遥感图像中车辆目标的检测识别。

所述步骤1中“基于视觉注意机制的遥感图像感兴趣目标分割方法”采用第一届高分辨率对地观测会议论文集中张鼎文、韩军伟和郭雷发表的“基于视觉注意机制的遥感图像感兴趣目标分割方法”文献。

所述步骤2中的自适应阈值分割方法，采用R.Achanta,S.Hemami,F.Estrada andS.Susstrunk,“Frequency-tuned salient region detection,”IEEE Conference onComputer Vision and Pattern Recognition,2009文献中的方法实现。

所述步骤2中显著区域的外接矩形采用Pandey,M.,Lazebnik,S.“Scenerecognition and weakly supervised object localization with deformable part-based model”ICCV,2011中所提出的方法进行修正。

所述步骤3中采用SIFT特征，利用Lowe D G.“Distinctive image features fromscale-invariant keypoints”[J].International journal of computer vision,2004文献中的方法实现。

所述步骤3中采用BOW模型，利用L.Fei-Fei and P.Perona.“A BayesianHierarchical Model for Learning Natural Scene Categories.”IEEEComp.Vis.Patt.Recog.2005文献中的方法实现。

所述步骤4中采用LLC特征，利用Wang,Jinjun,et al.“Locality-constrainedlinear coding for image classification.”Computer Vision and PatternRecognition(CVPR),2010文献中的方法实现。

有益效果

本发明提出一种车辆高分遥感图像的基于LLC特征的弱监督识别方法，可以在没有人工标注出具体目标的训练样本中，首先利用显著模型，自适应分割和负样本挖掘方法获得初始化训练样本集，然后提取样本图块的LLC特征利用SVM分类器进行反复迭代训练学习，得出最优目标分类器。最后利用这个分类器对测试图像中的候选图块进行分类和定位即可完成复杂背景遥感图像中车辆目标的检测和识别。

附图表说明

图1：本发明方法的基本流程图

图2：实验对比结果图

图3：准确率-回想率曲线对比图

具体实施方式

现结合实施例、附图对本发明作进一步描述：

用于实施的硬件环境是：Intel Pentium 2.93GHz CPU计算机、2.0GB内存，运行的软件环境是：Matlab R2011b和Windows XP。选取了85幅高分辨率遥感图像进行车辆识别，其中45幅作为训练图像，另外40幅作为测试图像。

本发明具体实施如下：

1.提取训练图像的显著图：将输入图像下采样为200×200个像素，然后针对图像中的每个像素提取显著性特征。本发明选取“基于视觉注意机制的遥感图像感兴趣目标分割方法”中的14显著性特征，记为[sm₁,sm₂,…,sm₁₄]。因为在弱监督学习中，我们的训练样本只进行了弱标注，也就是我们只知道训练样本中哪些图像中含有目标，哪些图像中不含有目标，而不知道目标具体在图像中的哪个位置，所以我们不能用训练的方法来对提取的显著图进行融合。由于缺少先验知识，我们将各类显著特征分量图的权重视为相同的，通过求取所有显著特征分量图的均值作生产显著图sm，

2.图像分割，获取候选目标图块：本发明选取“Frequency-tuned salient regiondetection”中的自适应阈值分割方法对显著图进行显著区域分割，其中阈值其中：W为显著图sm的列数，H为显著图sm的行数，S(x,y)为显著图sm在坐标为x,y处的显著值；令t∈[0.5,5]中的两个值对图像分割后得到二值图在二值图中，显著值为1的像素集即为显著区域。然后通过求取显著区域的外接矩形，并采用“Scene recognition and weakly supervisedobject localization with deformable part-based model”中的方法对这个外接矩形进行修正来获取显著图块。

在训练集中实施步骤1～3获得的显著图块为目标候选图块；在背景训练集中实施步骤1～3获得的显著图块为负样本字典；

3.利用在背景训练集中得出的负样本字典对训练集中的目标候选图块进行负样本挖掘，完成初始化标注，步骤为：

步骤a、首先分别提取负样本字典和目标候选图块中的SIFT特征并进行聚类，然后使用BOW模型进行表示；

步骤b、根据测量目标候选图块与负样本字典中图块的相似性，将与负样本字典最不相似的目标候选图块作为初始化标注结果；其中：||·||₁表示L₁范数，表示第i幅图像中第j个目标候选图块，表示负样本字典中，其BOW特征与的BOW特征欧氏距离最近的一个负样本图块；

其中，设置聚类数k∈[50,200]，每幅遥感图像中初始化标注数为n∈[1,20]。

4.迭代训练，优化分类器：将所有初始化标注结果作为分类器的初始化正训练样本，并在负样本字典中选取同等数量的图块作为分类器的初始化负训练样本，在每一次迭代训练中，首先根据文献“Locality-constrained linear coding for imageclassification”提取所有训练样本的LLC特征，利用SVM对特征训练分类器，然后将训练好的分类器对所有目标候选图块进行分类，将分类结果为车辆目标的图块作为下一次训练的正训练样本，如此反复迭代直到达到迭代停止条件。本发明利用每一次迭代得到的分类器在负样本字典中的错误率来判断分类器的性能，当本次迭代得到的分类器比上一次迭代的分类器的错误率高的时候，迭代停止，并选取上一次迭代得到的分类器为最优分类器输出。

5.车辆目标检测识别：首先利用步骤1和步骤2对测试图像进行处理,得到图像中的显著图块作为目标候选图块,然后利用步骤4训练出的最优分类器对所有候选图块进行分类，对分类为目标的图块在图像中进行定位即可完成遥感图像中车辆目标的检测识别。

本发明在40幅高分辨率遥感图像测试集中进行车辆检测识别，并选用准确率-回想率曲线对识别结果进行评估。其中准确率-回想率曲线定义为在分割阈值变化下，回想率(TPR)和准确率(Preci)的变化关系。计算公式如下：

$FPR=\frac{FP}{N}$

$TPR=\frac{TP}{P}$

$\mathrm{Pr}eci=\frac{TP}{TP+FP}$

其中FP为检测到的虚警，N为ground truth中非目标的区域；TP为检测到的实警，P为ground truth中目标的区域。

附图2为一些对比实验结果，其中，弱监督方法指的是利用本发明方法进行遥感图像车辆识别的结果，全监督方法指的是利用人工标注的训练样本集，训练基于LLC特征的SVM分类器，对测试图像中候选目标图块进行分类的结果。可以看出本发明是一种行之有效的弱监督遥感车辆识别算法，并且能够达到与全监督方法十分接近的车辆识别效果。附图3为本发明方法和全监督方法的准确率-回想率曲线,其中上方的曲线表示本发明方法的性能，下方的曲线表示传统的全监督方法的性能。从曲线中可以看出，按照本发明方法训练出的弱监督目标分类器在目标检测结果中可以达到更高的准确值，而利用全监督方法则可以达到更高的查全率(TP)，总体来说，本发明能够在没有人工标注的情况下自动完成训练样本的初始化和迭代优化，最终完成测试图像的目标识别和定位，并取得与令人满意的结果。

Claims (7)

1.一种车辆高分遥感图像的基于LLC特征的弱监督识别方法，其特征在于步骤如下：

步骤1提取训练图像的显著图：将输入图像下采样为N×N个像素，然后针对图像中的每个像素提取显著性特征并选取“基于视觉注意机制的遥感图像感兴趣目标分割方法”中的14显著性特征，记为[sm₁,sm₂,···,sm₁₄]，然后将各类显著特征分量图的权重视为相同的，通过求取所有显著特征分量图的均值来获得显著图sm， $sm=\frac{1}{14}\underset{i=1}{\overset{14}{\Σ}}{\mathrm{sm}}_i;$

步骤2图像分割，获取候选目标图块：采用自适应阈值分割方法对显著图进行显著区域分割，其中阈值令t∈[0.5,5]中的两个值对图像分割后得到两个二值图 $BinaryMap(i,j)=\left\{\begin{array}{c}1,S(x,y)\&GreaterEqual;T\\ 0,S(x,y)<T\end{array}\right.;$ 分别以每个二值图中的显著值为1的像素集为显著区域，求取显著区域的外接矩形获取显著图块；其中：W为显著图sm的列数，H为显著图sm的行数，S(x,y)为显著图sm在坐标为x,y处的显著值；

在训练集中实施步骤1～2获得的显著图块为目标候选图块；在背景训练集中实施步骤1～2获得的显著图块为负样本字典；

步骤3利用在背景训练集中得出的负样本字典对训练集中的目标候选图块进行负样本挖掘，完成初始化标注，步骤为：

步骤a、首先分别提取负样本字典和目标候选图块中的SIFT特征并进行聚类，然后使用BOW模型进行表示；

步骤b、根据测量目标候选图块与负样本字典中图块的相似性，将与负样本字典最不相似的目标候选图块作为初始化标注结果；其中：||·||₁表示L₁范数，表示第i幅图像中第j个目标候选图块，表示负样本字典中，其BOW特征与的BOW特征欧氏距离最近的一个负样本图块；

步骤4迭代训练，优化分类器：将所有初始化标注结果作为分类器的初始化正训练样本，并在负样本字典中选取同等数量的图块作为分类器的初始化负训练样本，在每一次迭代训练中，首先提取所有训练样本的LLC特征，利用SVM对特征训练分类器，然后将训练好的分类器对所有目标候选图块进行分类，将分类结果为车辆目标的图块作为下一次训练的正训练样本，如此反复迭代直到达到迭代停止条件，本发明利用每一次迭代得到的分类器在负样本字典中的错误率来判断分类器的性能，当本次迭代得到的分类器比上一次迭代的分类器的错误率高的时候，迭代停止，并选取上一次迭代得到的分类器为最优分类器输出；

步骤5车辆目标检测识别：首先利用步骤1和步骤2对测试图像进行处理,得到图像中的显著图块作为目标候选图块,然后利用步骤4训练出的最优分类器对所有候选图块进行分类，对分类为目标的图块在图像中进行定位即可完成遥感图像中车辆目标的检测识别。

2.根据权利要求1所述的车辆高分遥感图像的基于LLC特征的弱监督识别方法，其特征在于：所述步骤1中“基于视觉注意机制的遥感图像感兴趣目标分割方法”采用第一届高分辨率对地观测会议论文集中张鼎文、韩军伟和郭雷发表的“基于视觉注意机制的遥感图像感兴趣目标分割方法”文献。

3.根据权利要求1所述的车辆高分遥感图像的基于LLC特征的弱监督识别方法，其特征在于：所述步骤2中的自适应阈值分割方法，采用R.Achanta,S.Hemami,F.Estrada andS.Susstrunk,“Frequency-tuned salient region detection,”IEEE Conference onComputer Vision and Pattern Recognition,2009文献中的方法实现。

4.根据权利要求1所述的车辆高分遥感图像的基于LLC特征的弱监督识别方法，其特征在于：所述步骤2中显著区域的外接矩形采用Pandey,M.,Lazebnik,S.“Scene recognitionand weakly supervised object localization with deformable part-based model”ICCV,2011中所提出的方法进行修正。

5.根据权利要求1所述的车辆高分遥感图像的基于LLC特征的弱监督识别方法，其特征在于：所述步骤3中采用SIFT特征，利用Lowe D G.“Distinctive image features fromscale-invariant keypoints”[J].International journal of computer vision,2004文献中的方法实现。

6.根据权利要求1所述的车辆高分遥感图像的基于LLC特征的弱监督识别方法，其特征在于：所述步骤3中采用BOW模型，利用L.Fei-Fei and P.Perona.“ABayesianHierarchical Model for Learning Natural Scene Categories.”IEEEComp.Vis.Patt.Recog.2005文献中的方法实现。

7.根据权利要求1所述的车辆高分遥感图像的基于LLC特征的弱监督识别方法，其特征在于：所述步骤4中采用LLC特征，利用Wang,Jinjun,et al.“Locality-constrainedlinear coding for image classification.”Computer Vision and PatternRecognition，CVPR,2010文献中的方法实现。