CN103440508B - 基于视觉词袋模型的遥感图像目标识别方法 - Google Patents

Abstract

本发明公开了一种基于视觉词袋模型的遥感图像目标识别方法，属于图像识别技术领域。本发明针对传统遥感图像目标检测识别算法效果不佳的缺点，将视觉词袋模型引入到高分辨率遥感图像中用于目标的检测识别，同时为了精简视觉单词码本得到精简且最具鉴别力的视觉单词，本发明结合相关性及冗余度分析去除视觉单词码本中不相关、弱相关以及冗余的视觉单词，选出了对目标识别最为重要的视觉单词，减少了后续测试的计算量，提高了效率，为遥感图像目标的检测识别提供了一个新的研究方向。

Description

基于视觉词袋模型的遥感图像目标识别方法

技术领域

本发明涉及一种遥感图像目标识别方法，尤其涉及一种基于视觉词袋模型的遥感图像目标识别方法，属于图像识别技术领域。

背景技术

随着遥感技术的迅猛发展，遥感图像的空间分辨率越来越高，对遥感图像中感兴趣的目标进行定位和辨识已经成为一个重要的研究方向。利用遥感图像来检测目标，在军事和民用领域都有着广泛的应用前景。尤其是在军事方面，利用遥感图像来检测重要军事目标（例如飞机、坦克、导弹发射井等），已经应用于国防建设中。

常用的目标识别算法有两种：一种是由下而上的数据驱动型，另一种是由上而下的知识驱动型。目前基于遥感图像的目标检测技术，大多采用第一种策略，即先对图像进行分割或是边缘提取，然后采用模板匹配的方法来检测目标。但是由于遥感图像质量和目标阴影的影响，分割后的目标通常会断开成几个区域，很难完整地提取目标的边缘轮廓，所以还需要再进行区域合并或者边缘连接，这种方法不仅实现起来复杂而且抗干扰能力很弱，同时由于待识别目标的类型往往很多，很难用一个统一的模板去匹配所有的目标，因此检测结果经常不令人满意。

视觉词袋是一种比较流行的基于局部属性的图像表示方法，在物体识别、人体行为分析等计算机视觉问题中得到了广泛的应用，该方法源于文本分析领域中的词袋表示（bag-of-words），近些年来，基于视觉词袋的图像表达已被广泛地应用到计算机视觉和多媒体领域。因此，可以考虑采用视觉词袋模型来进行遥感图像目标识别，利用高分辨率遥感目标图像训练集构建描述目标特性的视觉单词码本（visualcodebook，），将遥感目标图像从原来由图像像素点描述转化为视觉词袋表示（即由该幅图像所提取的局部特征关于训练集视觉单词码本中各视觉单词出现频次的统计值）。但由于视觉单词码本规模较大，一般都包含几百甚至上千个视觉单词，且视觉单词码本的规模对于后续的目标检测尤为重要，会影响整个过程的结果及效率。

发明内容

本发明所要解决的技术问题在于克服现有技术不足，提供一种基于视觉词袋模型的遥感图像目标识别方法，使用相关性和冗余度分析来对视觉单词码本中的视觉单词进行选择，最终得到精简且鉴别力强的描述目标的遥感目标图像视觉单词码本，从而能在保证识别准确率的前提下，有效减少后续目标检测识别的计算量，提高目标检测识别的效率。

本发明的基于视觉词袋模型的遥感图像目标识别方法，首先选取各典型类别目标的遥感图像构建训练集；然后分别提取训练集中各遥感图像以及测试遥感图像的视觉词袋特征；最后利用视觉词袋特征比较测试遥感图像与训练集中各遥感图像之间的相似度，如测试遥感图像与训练集中各遥感图像之间的相似度均小于预设的相似度阈值，则判定测试遥感图像不是待识别目标；如否，则判定测试遥感图像为待识别目标，且其类别为与其相似度最大的训练集遥感图像的目标类别；所述视觉词袋特征按照以下方法提取：

步骤1、分别提取训练集中各遥感图像的局部特征，并对所提取出的所有局部特征进行聚类，所得到的每个聚类中心作为一个视觉单词，所有聚类中心构成初始视觉单词码本；

步骤2、对初始视觉单词码本进行精简，具体如下：

步骤2-1、对视觉单词码本中的每一个视觉单词，分别计算其与目标类别集合之间的类别相关性，并将与目标类别集合之间的类别相关性小于一预设相关性阈值的视觉单词从初始视觉单词码本中剔除，得到去相关后的视觉单词码本；初始视觉单词码本中的第i个视觉单词F_i与目标类别集合C之间的类别相关性按照下式计算：

${\mathrm{SU}}_{F_i,C}=2\left[\frac{\mathrm{IG}\left(C\right|F_i)}{H\left(F_i\right)+H\left(C\right)}\right],i=\mathrm{1,2},\·\·\·,K$

其中，K为初始视觉单词码本中视觉单词的数目；

是训练集样本类别的熵，N_c是目标类别集合中的目标类别总数，P(C=c)表示训练集样本的类别属于目标类别集合C中的第c类目标类别的概率；

是视觉单词F_i在所有目标类别样本分布上的熵，P(f_c=F_i)表示类别属于目标类别集合C中的第c类目标类别的训练集样本的局部特征中包含视觉单词F_i的概率；

IG(C|F_i)是视觉单词F_i对目标类别分类的信息增益，其计算公式如下：

IG(C|F_i)=H(C)-H(C|F_i)

其中 $H\left(C\right|F_i)=-\underset{c=1}{\overset{N_c}{\mathrm{\Σ}}}P(f_c=F_i)\underset{c^{\′}=1}{\overset{N_c}{\mathrm{\Σ}}}P(C=c^{\′}|f_c=F_i){\log }_{2}P(C=c^{\′}|f_c=F_i)$ 给定视觉单词F_i时类别的条件信息熵，P(C=c'|f_c=F_i)表示训练集样本的局部特征中包含视觉单词F_i时目标类别集合C中的第c'类目标类别的条件概率；

步骤2-2、初始化集合变量W_list、W_list'为空；将去相关后的视觉单词码本中的所有视觉单词加入到集合W_list'中，并按值对W_list'中的所有视觉单词进行降序排列；

步骤2-3、对W_list'中每一当前排序第一的视觉单词F_j，计算该视觉单词与W_list'中其他任一视觉单词F_i,i≠j之间的对称不确定性若则将F_i从W_list'中去除；当F_j与W_list'中所有其他视觉单词都计算一轮后，将F_j加入到集合W_list中，同时在W_list'中删除F_j；视觉单词F_j和F_i之间的对称不确定性按照下式计算：

${\mathrm{SU}}_{F_i,F_j}=2\left[\frac{\mathrm{IG}\left(F_j\right|F_i)}{H\left(F_i\right)+H\left(F_j\right)}\right]$

其中， $H\left(F_i\right)=-\underset{c=1}{\overset{N_c}{\mathrm{\Σ}}}P(f_c=F_i){\log }_{2}P(f_c=F_i),$ $H\left(F_j\right)=-\underset{c=1}{\overset{N_c}{\mathrm{\Σ}}}P(f_c=F_j){\log }_{2}P(f_c=F_j)$ 分别为视觉单词F_i、F_j在所有目标类别样本分布上的熵，P(f_c=F_i)、P(f_c=F_j)分别表示类别属于目标类别集合C中的第c类目标类别的训练集样本的局部特征中包含视觉单词F_i、F_j的概率；

IG(F_j|F_i)是视觉单词F_i对视觉单词F_j的信息增益，其计算公式如下：

IG(F_j|F_i)=H(F_j)-H(F_j|F_i)

其中， $H\left(F_j\right|F_i)=-\underset{c=1}{\overset{N_c}{\mathrm{\Σ}}}P(f_c=F_i)\underset{c^{\′}=1}{\overset{N_c}{\mathrm{\Σ}}}P(f_{c\′}=F_j|f_c=F_i){\log }_{2}P(f_{c\′}=F_j|f_c=F_i)$ 表示给定视觉单词F_i时视觉单词F_j的条件信息熵，P(f_c'=F_j|f_c=F_i)表示类别属于目标类别集合C中的第c类目标类别的训练集样本的局部特征中包含视觉单词F_i时类别属于目标类别集合C中的第c'类目标类别的包含视觉单词F_j的条件概率；

步骤2-4、重复步骤2-3的操作，直到集合W_list'为空；此时集合W_list即为精简后的视觉单词码本；

步骤3、对所要提取特征的一幅遥感图像，将其每个局部特征分配给精简后的视觉单词码本中与其欧式距离最近的视觉单词，然后统计该遥感图像所有局部特征隶属于精简后的视觉单词码本中所有视觉单词的分布直方图，该分布直方图即为该遥感图像的视觉词袋特征。

优选地，所述局部特征为SIFT（scaleinvariantfeaturetransform）特征。

进一步地，利用直方图相交值作为两幅遥感图像间的相似度，两幅遥感图像Q、D的直方图相交值P(Q,D)按照下式得到：

$P(Q,D)=\frac{\underset{i=1}{\overset{N}{\mathrm{\Σ}}}\min [H_Q\left(i\right),H_D\left(i\right)]}{\underset{i=1}{\overset{N}{\mathrm{\Σ}}}{H}_Q\left(i\right)},$

其中，各个变量的具体含义为：

N：精简后的视觉单词码本中的视觉单词数；

n_Q：遥感图像Q提取出的SIFT特征总数；

n_D：遥感图像D提取出的SIFT特征总数；

H_Q(i)=n_Q(i)/n_Q，表示遥感图像Q中属于第i个视觉单词类别的SIFT特征个数占该遥感图像全部SIFT特征数的比例，i=1,2,...,N；

H_D(i)=n_D(i)/n_D，表示遥感图像D中属于第i个视觉单词类别的SIFT特征个数占该遥感图像全部SIFT特征数的比例，i=1,2,...,N。

相比现有技术，本发明具有以下有益效果：

本发明将视觉词袋模型引入遥感图像目标检测识别，并利用相关性及冗余度分析去除视觉单词码本中不相关、弱相关以及冗余的视觉单词，选出了对目标识别最为重要的视觉单词，减少了后续检测的计算量，提高了检测效率，为遥感图像目标的检测识别提供了一个新的研究方向。

附图说明

图1为飞机遥感图像原图；

图2为所提取的图1的SIFT特征。

具体实施方式

下面结合附图对本发明的技术方案进行详细说明：

本发明将视觉词袋模型引入到高分辨遥感图像中用于特定类型目标检测识别，对高分辨率遥感目标图像训练集构建描述目标特性的视觉单词码本，将遥感目标图像从原来由图像像素点描述转化为直方图表示，一幅图像的直方图是由该幅图像所提取的局部特征关于训练集视觉单词码本中各视觉单词出现频次的统计值，因此两幅图像的相似性可以通过两者直方图间的相似度来度量。但由于现有方法所构建的视觉单词码本规模较大（一般都包含几百甚至上千个视觉单词），而视觉单词码本的规模对于后续的目标检测尤为重要，会影响整个过程的结果及效率。为此，本发明利用相关性和冗余度分析来对视觉单词码本中的视觉单词进行选择，最终得到精简且鉴别力强的描述目标的遥感目标图像视觉单词码本，从而能在保证识别准确率的前提下，有效减少后续目标检测识别的计算量，提高目标检测识别的效率。

为了便于公众理解本发明技术方案，下面以遥感图像飞机识别为例来进行详细说明。

本发明的基于视觉词袋模型的遥感图像目标识别方法，具体如下：

步骤A、选取各典型类别飞机的遥感图像构建训练集。

步骤B、分别提取训练集中各遥感图像以及测试遥感图像的视觉词袋特征。

本发明中视觉词袋特征的提取具体按照以下方法：

步骤1、分别提取训练集中各遥感图像的局部特征，并对所提取出的所有局部特征进行聚类，所得到的每个聚类中心作为一个视觉单词，所有聚类中心构成初始视觉单词码本。

本实施例中采用的局部特征是SIFT特征即尺度不变特征，SIFT变换是一种基于尺度空间的、对图像缩放、旋转甚至仿射变换保持不变性的特征匹配算法，该算法匹配能力较强，能提取稳定的特征，可以处理两幅图像之间发生平移、旋转、仿射变换、视角变换、光照变换情况下的匹配问题，甚至在某种程度上对任意角度拍摄的图像也具备较为稳定的特征匹配能力，从而可以实现差异较大的两幅图像之间的特征匹配（关于图像SIFT特征的更详细内容可参考文献[DAVIDG.LOWE.DistinctiveImageFeaturesfromScale-InvariantKeypoints.InternationalJournalofComputerVision,2004,60(2):91-110]、[刘立,詹茵茵,罗扬,刘朝晖,彭复员.尺度不变特征变换算子综述[J].中国图象图形学报,2013,18(8):885～892]）。

对图1所示的高分辨率遥感飞机训练图像提取SIFT局部特征，结果如图2（提取的SIFT特征的位置、方向等信息）所示，该幅训练图像共提取出了32个SIFT局部特征，每个特征都有128维。当对训练集中全部训练图像提取完毕SIFT局部特征后，需要对所有的SIFT特征进行聚类形成视觉单词。

聚类的目标是将数据对象分成若干个“组”，并且使得同一组内的对象之间具有高度的相似性，同时不同组内的对象之间具有较大的差别。目前常用的聚类方法可以概括为基于划分的方法、基于层次聚类的方法、基于密度的方法、基于模型的方法和基于网格的方法。由于飞机尺寸、形态等原因，不同飞机图像提取出的SIFT特征数不尽相同，有时相差很大，对背景复杂、尺寸比较大的飞机遥感图像提取的SIFT特征数最多能达到400，因此所有训练飞机图像累加的SIFT特征数据量庞大。考虑到计算复杂度的问题，本发明最终选用了K-means聚类算法。K-means计算相对简单，可应用性高，但是它本身也存在缺点，它需要用户事先确定K的取值，往往K的值需要根据个人经验多次尝试，才能找到最佳的聚类个数。

现有技术通常直接以聚类后得到的所有视觉单词作为视觉单词码本来进行后续的视觉词袋表示（提取视觉词袋特征），任一高分辨率遥感飞机图像均可表达为该幅图像提取的SIFT局部特征关于该视觉单词码本中各视觉单词出现频次的直方图。一个包含少量视觉单词的视觉单词码本可能会缺少鉴别能力，因为一些不相似的描述符可能会与相同的视觉单词相对应，这无疑是不允许的；但是相反，一个太大的视觉单词码本同样会产生问题，一些相似的描述符可能会被匹配到不同的视觉单词上去，而且大规模的视觉单词码本需要更多的存储和计算资源，由于维数灾难的影响，许多机器学习算法的性能可能会降低。因此，有必要对初始视觉单词码本进行精简，去除那些相关性不高、冗余度大的视觉单词。

步骤2、对初始视觉单词码本进行精简，具体如下：

步骤2-1、对视觉单词码本中的每一个视觉单词，分别计算其与目标类别集合之间的类别相关性，并将与目标类别集合之间的类别相关性小于一预设相关性阈值的视觉单词从初始视觉单词码本中剔除，得到去相关后的视觉单词码本；初始视觉单词码本中的第i个视觉单词F_i与目标类别集合C之间的类别相关性按照下式计算：

${\mathrm{SU}}_{F_i,C}=2\left[\frac{\mathrm{IG}\left(C\right|F_i)}{H\left(F_i\right)+H\left(C\right)}\right],i=\mathrm{1,2},\·\·\·,K$

其中，K为初始视觉单词码本中视觉单词的数目；

是训练集样本类别的熵，N_c是目标类别集合中的目标类别总数，P(C=c)表示训练集样本的类别属于目标类别集合C中的第c类目标类别的概率；

是视觉单词F_i在所有目标类别样本分布上的熵，P(f_c=F_i)表示类别属于目标类别集合C中的第c类目标类别的训练集样本的局部特征中包含视觉单词F_i的概率；

IG(C|F_i)是视觉单词F_i对目标类别分类的信息增益，其计算公式如下：

IG(C|F_i)=H(C)-H(C|F_i)

其中 $H\left(C\right|F_i)=-\underset{c=1}{\overset{N_c}{\mathrm{\Σ}}}P(f_c=F_i)\underset{c^{\′}=1}{\overset{N_c}{\mathrm{\Σ}}}P(C=c^{\′}|f_c=F_i){\log }_{2}P(C=c^{\′}|f_c=F_i)$ 给定视觉单词F_i时类别的条件信息熵，P(C=c'|f_c=F_i)表示训练集样本的局部特征中包含视觉单词F_i时目标类别集合C中的第c'类目标类别的条件概率；

步骤2-2、初始化集合变量W_list、W_list'为空；将去相关后的视觉单词码本中的所有视觉单词加入到集合W_list'中，并按值对W_list'中的所有视觉单词进行降序排列；

步骤2-3、对W_list'中每一当前排序第一的视觉单词F_j，计算该视觉单词与W_list'中其他任一视觉单词F_i,i≠j之间的对称不确定性若则将F_i从W_list'中去除；当F_j与W_list'中所有其他视觉单词都计算一轮后，将F_j加入到集合W_list中，同时在W_list'中删除F_j；视觉单词F_j和F_i之间的对称不确定性按照下式计算：

${\mathrm{SU}}_{F_i,F_j}=2\left[\frac{\mathrm{IG}\left(F_j\right|F_i)}{H\left(F_i\right)+H\left(F_j\right)}\right]$

其中， $H\left(F_i\right)=-\underset{c=1}{\overset{N_c}{\mathrm{\Σ}}}P(f_c=F_i){\log }_{2}P(f_c=F_i),$ $H\left(F_j\right)=-\underset{c=1}{\overset{N_c}{\mathrm{\Σ}}}P(f_c=F_j){\log }_{2}P(f_c=F_j)$ 分别为视觉单词F_i、F_j在所有目标类别样本分布上的熵，P(f_c=F_i)、P(f_c=F_j)分别表示类别属于目标类别集合C中的第c类目标类别的训练集样本的局部特征中包含视觉单词F_i、F_j的概率；

IG(F_j|F_i)是视觉单词F_i对视觉单词F_j的信息增益，其计算公式如下：

IG(F_j|F_i)=H(F_j)-H(F_j|F_i)

其中， $H\left(F_j\right|F_i)=-\underset{c=1}{\overset{N_c}{\mathrm{\Σ}}}P(f_c=F_i)\underset{c^{\′}=1}{\overset{N_c}{\mathrm{\Σ}}}P(f_{c\′}=F_j|f_c=F_i){\log }_{2}P(f_{c\′}=F_j|f_c=F_i)$ 表示给定视觉单词F_i时视觉单词F_j的条件信息熵，P(f_c'=F_j|f_c=F_i)表示类别属于目标类别集合C中的第c类目标类别的训练集样本的局部特征中包含视觉单词F_i时类别属于目标类别集合C中的第c'类目标类别的包含视觉单词F_j的条件概率；

步骤2-4、重复步骤2-3的操作，直到集合W_list'为空；此时集合W_list即为精简后的视觉单词码本；

步骤3、将要提取视觉词袋特征的遥感飞机图像表达为该幅图像提取的SIFT局部特征关于精简后视觉单词码本中各视觉单词出现频次的直方图；亦即对所要提取特征的一幅遥感图像，将其每个局部特征分配给精简后的视觉单词码本中与其欧式距离最近的视觉单词，然后统计该遥感图像所有局部特征隶属于精简后的视觉单词码本中所有视觉单词的分布直方图，该分布直方图即为该遥感图像的视觉词袋特征。

步骤C、利用视觉词袋特征比较测试遥感图像与训练集中各遥感图像之间的相似度，如测试遥感图像与训练集中各遥感图像之间的相似度均小于预设的相似度阈值，则判定测试遥感图像不是待识别目标；如否，则判定测试遥感图像为待识别目标，且其类别为与其相似度最大的训练集遥感图像的目标类别。

本发明中的测试图像类似于训练图像，是只包含一个飞机目标或是没有飞机目标的其他图像。但是大多数高分辨率遥感飞机图像都包含多个飞机目标或是拥有复杂的背景，因此能够直接使用的测试图像往往难以得到，需要从一般的高分辨率遥感飞机图像中提取，例如可以采用现有的各种图像分割算法，或者专家手工标注。本发明的测试遥感图像是根据SIFT特征从高分辨率遥感图像中筛选得到，具体方法如下：

（1）提取高分辨率遥感图像的SIFT特征点，并统计SIFT特征点在该图像中出现的位置；

（2）逐个像素扫描该图像：对于以当前所扫描像素点为中心，边长为2r（本发明优选r的初始值为7）个像素的正方形区域，如果该区域内SIFT特征点的个数n满足5≤n≤100且r增加1后SIFT特征点的数目不会增加，则把这个正方形区域作为测试图像区域；否则跳到步骤（3）；

（3）若r≤r_max，r_max为预设的搜索半径阈值，r_max优选取值为50，则r=r+1，重复步骤（2）的操作；否则，对下一像素，重复步骤（2）～（3），直到所有的像素点都被处理完毕；

（4）对筛选出的相邻测试图像区域分别进行区域合并，合并的规则是相邻测试图像区域中心点之间距离小于阈值R；完成区域合并后得到的各测试图像区域即为所述测试遥感图像。阈值R可以预设为一恒定值，也可按照以下方法根据参与合并的两个测试图像进行自适应设置：设置阈值R为参与合并的两个测试图像区域边长平均值的70%，即R=0.7(r1+r2),其中r1、r2分别为待合并的两个相邻测试图像区域的边长的一半。

本发明利用直方图相交值作为两幅遥感图像间的相似度，两幅遥感图像Q、D的直方图相交值P(Q,D)按照下式得到：

$P(Q,D)=\frac{\underset{i=1}{\overset{N}{\mathrm{\Σ}}}\min [H_Q\left(i\right),H_D\left(i\right)]}{\underset{i=1}{\overset{N}{\mathrm{\Σ}}}{H}_Q\left(i\right)},$

其中，各个变量的具体含义为：

N：精简后的视觉单词码本中的视觉单词数；

n_Q：遥感图像Q提取出的SIFT特征总数；

n_D：遥感图像D提取出的SIFT特征总数；

H_Q(i)=n_Q(i)/n_Q，表示遥感图像Q中属于第i个视觉单词类别的SIFT特征个数占该遥感图像全部SIFT特征数的比例，i=1,2,...,N；

H_D(i)=n_D(i)/n_D，表示遥感图像D中属于第i个视觉单词类别的SIFT特征个数占该遥感图像全部SIFT特征数的比例，i=1,2,...,N。

为了验证本发明的效果，进行了以下试验验证。

实验中选取的高分辨率遥感飞机图像训练集中共包含109幅图像，不仅包含了不同类型、不同大小的飞机目标，还包含一类含有伪装的飞机目标，且伪装的方法不尽相同，既有颜色伪装也有背景伪装，尽可能地涵盖了各式形态的飞机，体现了训练样本的多样性。提取训练集中109幅飞机图像的SIFT局部特征，汇总后共有6100个，每个SIFT特征有128维。接着对这6100个局部特征用K-means方法进行聚类生成视觉单词，所有视觉单词构成高分辨率遥感飞机图像初始视觉单词码本。对初始视觉单词码本按照本发明方法进行精简，得到新的视觉单词码本。

本试验中对训练集图像的SIFT特征在K-means聚类阶段聚成200类，因而形成了包含200个视觉单词的飞机图像初始视觉单词码本。接着对该初始视觉单词码本进行精简，且取相关性阈值δ=0.25，在相关性分析阶段共去除了163个不相关以及弱相关的视觉单词，在冗余度分析阶段共去除了25个冗余单词，最终得到的视觉单词码本包含了12个视觉单词，形成了一个描述飞机特性的精简且有鉴别力的视觉单词码本。

然后对训练集中的所有训练图像根据新的视觉单词码本统计出各自的直方图信息（视觉词袋特征）。根据SIFT局部特征形成视觉单词直方图信息的过程如下：

1、对每幅图像（训练图像或是测试图像）的每个SIFT特征，计算它与精简后视觉单词码本W_list中各个视觉单词之间的欧式距离，对应存放于数组dist[N]（N为新视觉单词码本W_list中的视觉单词数目）的各个元素中；

2、选择dist[N]中的最小值，说明该SIFT局部特征与该处对应的视觉单词距离最近，则隶属于该视觉单词的SIFT特征个数加一；

3、重复步骤1～2，直到该图像的所有SIFT特征都处理完毕，此时得到该幅图像关于新视觉单词码本W_list中所有视觉单词的分布直方图。

本试验在60幅高分辨率遥感飞机大图像中选取测试图像，这60幅测试图像中共包含238架飞机目标。采用本发明的筛选方法，共提取了325幅测试图像，分为两种：一类是带有飞机目标的测试图像219幅，还有一类是不带飞机目标的其他图像106幅。接着对测试集中的每幅测试图像提取它的SIFT局部特征，按照构造训练直方图一样的方法构造测试直方图。得到测试直方图之后就是测试直方图与训练集中所有训练直方图的匹配过程，计算它们之间的相似程度。试验中的相似度阈值取0.75。

为了综合评判选择出的视觉单词码本的优劣程度，试验中采用F-Measure作为最终的度量指标。F-Measure（又称F-Score）是IR（信息检索）领域常用的一个评价标准，计算公式如下所示：

$F_{\mathrm{\β}}=\frac{({\mathrm{\β}}^2+1)\mathrm{PR}}{{\mathrm{\β}}^{2}P+R}$

其中P代表查准率，R为查全率，β是一个参数。当β=1时就是常见的F₁-Measure，F₁-Measure是根据查全率和查准率给出的一个综合评价指标，具体的计算公式为：

$F_1=\frac{2P\×R}{P+R}$

最终采用本发明方法正确识别出213架飞机，漏检25架，虚警43架，查全率为89.50%，查准率为83.02%，F₁-Measure值为86.24%，从实验角度说明本发明方法是可行的。

此外，还验证了在不进行视觉单词码本精简，直接采用原始所有200个视觉单词对训练集构建训练直方图进行飞机识别时的情况。对于同样的测试集，当测试直方图与训练直方图的相交值同样大于等于0.75时，不能正确识别出任何一幅测试图像。取其他直方图相交值时的测试情况如下表1所示，表中“—”代表该处的值无法计算，“similarity”表示直方图相交值。

表1不进行视觉单词选择直接进行测试时不同直方图相交值对应的识别情况

从上表可以看出，当P(Q,D)≥0.4时原始视觉单词码本才开始检测出飞机目标，P(Q,D)≥0.2时的识别结果比较合理，查全率等于84.03%，查准率为81.63%，此时的F₁-Measure为82.81%，但这三个评判参数都不及本发明方法选取的包含12个视觉单词的视觉单词码本对应的评判参数，且此时测试图像与训练图像的相似度很低（相似度仅在0.2～0.4之间，都小于0.5），不具说服力。表1说明原有200个单词中不相关、弱相关以及冗余单词的存在严重阻碍了飞机目标的识别，在视觉单词数较多时不能准确地描述对飞机目标识别最为重要的特征，反映了高维特征空间中的Hughes现象，说明了视觉单词码本精简的重要性以及必要性。

Claims (9)

1.一种基于视觉词袋模型的遥感图像目标识别方法，其特征在于，首先选取各典型类别目标的遥感图像构建训练集；然后分别提取训练集中各遥感图像以及测试遥感图像的视觉词袋特征；最后利用视觉词袋特征比较测试遥感图像与训练集中各遥感图像之间的相似度，如测试遥感图像与训练集中各遥感图像之间的相似度均小于预设的相似度阈值，则判定测试遥感图像不是待识别目标；如否，则判定测试遥感图像为待识别目标，且其类别为与其相似度最大的训练集遥感图像的目标类别；所述视觉词袋特征按照以下方法提取：

步骤1、分别提取训练集中各遥感图像的局部特征，并对所提取出的所有局部特征进行聚类，所得到的每个聚类中心作为一个视觉单词，所有聚类中心构成初始视觉单词码本；

步骤2、对初始视觉单词码本进行精简，具体如下：

步骤2-1、对视觉单词码本中的每一个视觉单词，分别计算其与目标类别集合之间的类别相关性，并将与目标类别集合之间的类别相关性小于一预设相关性阈值的视觉单词从初始视觉单词码本中剔除，得到去相关后的视觉单词码本；初始视觉单词码本中的第i个视觉单词F_i与目标类别集合C之间的类别相关性按照下式计算：

$\begin{array}{cc}{\mathrm{SU}}_{F_i,C}=2\[\frac{IG\left(C\right|F_i)}{H\left(F_i\right)+H\left(C\right)}\]& i=1,2,\mathrm{...},K\end{array}$

其中，K为初始视觉单词码本中视觉单词的数目；

是训练集样本类别的熵，N_c是目标类别集合中的目标类别总数，P(C＝c)表示训练集样本的类别属于目标类别集合C中的第c类目标类别的概率；

是视觉单词F_i在所有目标类别样本分布上的熵，P(f_c＝F_i)表示类别属于目标类别集合C中的第c类目标类别的训练集样本的局部特征中包含视觉单词F_i的概率；

IG(C|F_i)是视觉单词F_i对目标类别分类的信息增益，其计算公式如下：

IG(C|F_i)＝H(C)-H(C|F_i)

其中 $H\left(C\right|F_i)=-\underset{c=1}{\overset{N_c}{\Σ}}P(f_c=F_i)\underset{c=1}{\overset{N_c}{\Σ}}P(C=c^{\′}|f_c=F_i){\log }_{2}P(C=c^{\′}|f_c=F_i)$ 给定视觉单词F_i时类别的条件信息熵，P(C＝c'|f_c＝F_i)表示训练集样本的局部特征中包含视觉单词F_i时目标类别集合C中的第c'类目标类别的条件概率；

步骤2-2、初始化集合变量W_list、W_list'为空；将去相关后的视觉单词码本中的所有视觉单词加入到集合W_list'中，并按值对W_list'中的所有视觉单词进行降序排列；

步骤2-3、对W_list'中每一当前排序第一的视觉单词F_j，计算该视觉单词与W_list'中其他任一视觉单词F_i,i≠j之间的对称不确定性若则将F_i从W_list'中去除；当F_j与W_list'中所有其他视觉单词都计算一轮后，将F_j加入到集合W_list中，同时在W_list'中删除F_j；视觉单词F_j和F_i之间的对称不确定性按照下式计算：

${\mathrm{SU}}_{F_i,F_j}=2\[\frac{IG\left(F_j\right|F_i)}{H\left(F_i\right)+H\left(F_j\right)}\]$

其中， $H\left(F_i\right)=-\underset{c=1}{\overset{N_c}{\Σ}}P(f_c=F_i){\log }_{2}P(f_c=F_i),H\left(F_j\right)=-\underset{c=1}{\overset{N_c}{\Σ}}P(f_c=F_j){\log }_{2}P(f_c=F_j)$ 分别为视觉单词F_i、F_j在所有目标类别样本分布上的熵，P(f_c＝F_i)、P(f_c＝F_j)分别表示类别属于目标类别集合C中的第c类目标类别的训练集样本的局部特征中包含视觉单词F_i、F_j的概率；

IG(F_j|F_i)是视觉单词F_i对视觉单词F_j的信息增益，其计算公式如下：

IG(F_j|F_i)＝H(F_j)-H(F_j|F_i)

其中， $H\left(F_j\right|F_i)=-\underset{c=1}{\overset{N_c}{\Σ}}P(f_c=F_i)\underset{c^{\′}=1}{\overset{N_c}{\Σ}}P(f_{c^{\′}}=F_j|f_c=F_i){\log }_{2}P(f_{c^{\′}}=F_j|f_c=F_i)$ 表示给定视觉单词F_i时视觉单词F_j的条件信息熵，P(f_c'＝F_j|f_c＝F_i)表示类别属于目标类别集合C中的第c类目标类别的训练集样本的局部特征中包含视觉单词F_i时类别属于目标类别集合C中的第c'类目标类别的包含视觉单词F_j的条件概率；

步骤2-4、重复步骤2-3的操作，直到集合W_list'为空；此时集合W_list即为精简后的视觉单词码本；

步骤3、对所要提取特征的一幅遥感图像，将其每个局部特征分配给精简后的视觉单词码本中与其欧式距离最近的视觉单词，然后统计该遥感图像所有局部特征隶属于精简后的视觉单词码本中所有视觉单词的分布直方图，该分布直方图即为该遥感图像的视觉词袋特征。

2.如权利要求1所述基于视觉词袋模型的遥感图像目标识别方法，其特征在于，所述局部特征为SIFT特征。

3.如权利要求2所述基于视觉词袋模型的遥感图像目标识别方法，其特征在于，利用直方图相交值作为两幅遥感图像间的相似度，两幅遥感图像Q、D的直方图相交值P(Q,D)按照下式得到：

$P(Q,D)=\frac{\underset{i=1}{\overset{N}{\Σ}}min\[H_Q\left(i\right),H_D\left(i\right)\]}{\underset{i=1}{\overset{N}{\Σ}}{H}_Q\left(i\right)},$

其中，各个变量的具体含义为：

N：精简后的视觉单词码本中的视觉单词数；

n_Q：遥感图像Q提取出的SIFT特征总数；

n_D：遥感图像D提取出的SIFT特征总数；

H_Q(i)＝n_Q(i)/n_Q，表示遥感图像Q中属于第i个视觉单词类别的SIFT特征个数占该遥感图像全部SIFT特征数的比例，i＝1,2,...,N；

H_D(i)＝n_D(i)/n_D，表示遥感图像D中属于第i个视觉单词类别的SIFT特征个数占该遥感图像全部SIFT特征数的比例，i＝1,2,...,N。

4.如权利要求2所述基于视觉词袋模型的遥感图像目标识别方法，其特征在于，所述测试遥感图像是根据SIFT特征从高分辨率遥感图像中筛选得到，具体方法如下：

(1)提取所述高分辨率遥感图像的SIFT特征点，并统计SIFT特征点在该图像中出现的位置；

(2)逐个像素扫描该图像：对于以当前所扫描像素点为中心，边长为2r个像素的正方形区域，如果该区域内SIFT特征点的个数n满足5≤n≤100且r增加1后SIFT特征点的数目不会增加，则把这个正方形区域作为测试图像区域；否则跳到步骤(3)；

(3)若r≤r_max，r_max为预设的搜索半径阈值，则r＝r+1，重复步骤(2)的操作；否则，对下一像素，重复步骤(2)～(3)，直到所有的像素点都被处理完毕；

(4)对筛选出的相邻测试图像区域分别进行区域合并，合并的规则是相邻测试图像区域中心点之间距离小于阈值R；完成区域合并后得到的各测试图像区域即为所述测试遥感图像。

5.如权利要求4所述基于视觉词袋模型的遥感图像目标识别方法，其特征在于，搜索半径阈值r_max的值为50。

6.如权利要求4所述基于视觉词袋模型的遥感图像目标识别方法，其特征在于，进行逐像素搜索时，r的初始值为7。

7.如权利要求4所述基于视觉词袋模型的遥感图像目标识别方法，其特征在于，所述阈值R的值为参与合并的两个测试图像区域边长平均值的70％。

8.如权利要求2所述基于视觉词袋模型的遥感图像目标识别方法，其特征在于，所述相似度阈值的取值为0.75。

9.如权利要求1所述基于视觉词袋模型的遥感图像目标识别方法，其特征在于，采用K-means聚类方法对所提取出的所有局部特征进行聚类。