CN103345511A - 一种基于稀疏表达的遥感图像检索方法 - Google Patents

Abstract

本发明涉及一种基于稀疏表达的遥感图像检索方法，技术特征在于：首先对查询图像提取底层特征并使用在线字典学习方法训练过完备字典，然后将查询图像的底层特征使用由查询图像与数据库图像的过完备字典构成的联合字典稀疏编码并计算重构误差，根据重构误差投票，计算出查询图像与数据库中图像的相似度，最后根据相似度的降序排列得到最终的排序检索结果。利用本发明方法，可以实现遥感图像快速、有效地检索，提高检索质量，且具有较好的鲁棒性。

Description

一种基于稀疏表达的遥感图像检索方法

技术领域

本发明涉及一种基于稀疏表达的遥感图像检索方法，可以实现从海量遥感影像数据库中快速、准确地检索查询出相关的场景图像。

背景技术

随着卫星遥感技术的不断发展，遥感影像数据在城市规划、环境保护、地质勘探、灾害管理、军事侦查与打击等领域得到了日益广泛的应用。然而，随着获取数据的急速增长，如何从海量遥感影像数据库中快速、准确地检索查询出相关的场景图像已经成为目前迫切需要解决的问题之一。

目前已有的遥感图像检索方法，概括起来可以分为基于文本的图像检索、基于内容的图像检索和基于语义的图像检索三大类。基于文本的图像检索主要是根据人对图像内容的理解所标注的关键词进行检索，然而对于遥感图像数据，其场景复杂，内容丰富，很难用关键词准确地描述图像的相关信息，且标注任务惊人，无法满足遥感图像检索需求。基于内容的遥感图像检索主要是根据提取的图像底层视觉特征来计算图像间的相似性得到检索结果，然而这种方法由于利用底层特征信息，会忽略掉高层语义信息，导致检索结果不佳。基于语义的图像检索主要是提取图像的高层语义信息，根据信息检索图像，然而如何提取和表达图像的语义成为需要解决的关键问题。

现有的遥感图像检索方法中有利用目标的形状和视觉特征、空间纹理信息的方法来检索遥感图像。但是，这些方法所提取的特征都是针对具体目标或场景的，对于一些目标多样，场景多变的遥感图像而言，这些方法有一定的局限性。近年来，局部不变特征(SIFT)因具有尺度旋转不变性及对不同目标及场景的独立性，在遥感图像检索中也得到了一定的应用。Yi Yang等人在《IEEE Transaction on Geoscience and RemoteSensing》2013年2月第51卷第4期“Geographic Image Retrieval Using Local InvariantFeatures”一文中提出使用BoW的方法实现遥感图像检索。该方法首先提取遥感图像的SIFT特征，然后利用Bag-of-Words（BoW）建立图像的描述索引，最后根据查询图像与数据库中图像的相似度得到排序检索结果。但是，该方法在使用BoW模型表示图像时，仅利用视觉词汇的频数信息，而忽略了词汇之间的空域关系，这将会影响图像的检索精度。

发明内容

要解决的技术问题

为了避免现有技术的不足之处，本发明提出了一种基于稀疏表达的遥感图像检索方法。这种方法可以从遥感图像数据库中快速、准确地检索查询到相关的场景图像，具有较高的检索精度和较好的鲁棒性。

技术方案

一种基于稀疏表达的遥感图像检索方法，其设计步骤如下：

步骤1训练查询图像的过完备字典：首先将一幅查询图像I_query划分成若干大小为n×n×3的图像块，每个图像块之间有50%的重叠；然后将每个图像块中的红、绿、蓝三个颜色通道的像素值转化为3n²×1维的向量，作为查询图像I_query的底层特征

其中：N_query为查询图像I_query的底层特征个数；然后对查询图像I_query的底层特征

使用在线字典学习方法训练出过完备字典，得到查询图像I_query的过完备字典D_query，大小为m×k_query，其中m＝3n²，m＜k_query，k_query为D_query中原子的个数；

步骤2图像间相似度计算：计算查询图像I_query与遥感图像数据库I中图像的相似度，具体步骤如下：

步骤a构建联合字典：选取遥感图像数据库I中的任一幅图像I_reference，I_reference∈I，在遥感图像数据库过完备字典集合Dict中对应的过完备字典D_reference∈Dict，然后将D_reference与步骤1的D_query组合起来，构成联合字典D_unite＝[D_reference,D_query]；

其中，I＝{I_r|r＝1,2,...,T}，I_r是遥感图像数据库I中的图像，T为遥感图像数据库I中图像的个数；D_reference是图像I_reference所对应的过完备字典，其大小为m×k_reference,m＜k_reference，k_reference为D_reference中原子的个数；Dict＝{D_r|r＝1,2,...,T}，D_r是I_r所对应的过完备字典；

步骤b稀疏编码：对查询图像I_query的底层特征

在联合字典D_unite上采用LARS-Lasso方法稀疏编码，得到对应的稀疏编码系数

其大小为(k_reference+k_query)×1；

步骤c计算相似度：根据求出的稀疏编码系数计算

的重构误差

其中||·||₂为l₂范数；将中对应D_query原子位置处的系数置为零，得到仅使用D_reference中原子重构

的重构误差

将

中对应D_reference原子位置处的系数置为零，得到仅使用D_query中原子重构

的重构误差然后比较

与

的大小，如果则给D_reference投票，如果

则给D_query投票，得到对D_reference和D_query的投票率分别为V_reference和V_query，其中0＜V_reference,V_query＜1；

最后计算查询图像I_query与图像I_reference的相似度为

$\mathrm{Similarity}=\frac{V_{\mathrm{reference}}-V_{\mathrm{query}}+1}{2};$

步骤3得到排序检索结果：依次计算查询图像I_query与遥感图像数据库I中每幅图像的相似度，并将得到的相似度值按降序排列，得到排序检索结果。

所述步骤2中D_r的训练方法是：首先将I_r划分成若干大小为n×n×3的图像块，每个图像块之间有50%的重叠；然后将每个图像块中的红、绿、蓝三个颜色通道的像素值转化为3n²×1维的向量，作为I_r的底层特征

然后对I_r的底层特征

使用在线字典学习方法训练出过完备字典D_r，大小为m×k_r，m＜k_r，k_r为D_r中原子的个数。

所述在线字典学习方法采用为Online Learning for Matrix Factorization and SparseCoding文章中的计算方法。

所述步骤b中的LARS-Lasso方法采用文章Least angle regression中的计算方法。

所述l₂范数的计算公式为

${\left|\right|z\left|\right|}_2=\sqrt{\underset{q=1}{\overset{Q}{\mathrm{\Σ}}}{\left|{\mathrm{\ξ}}_q\right|}^2}$

式中，z是大小为Q×1的向量，ξ_q为向量z的元素，q＝1,2,...,Q。

有益效果

本发明提出的一种基于稀疏表达的遥感图像检索方法，首先对查询图像提取底层特征并使用在线字典学习方法训练过完备字典，然后将查询图像的底层特征使用由查询图像的过完备字典与数据库中图像的过完备字典构成的联合字典稀疏编码并计算重构误差，根据重构误差投票，计算出查询图像与数据库中图像的相似度，最后根据相似度的降序排列得到最终的排序检索结果。

本发明的有益效果：可以在遥感图像数据库中快速、准确地查询到感兴趣的目标或场景图像。实践证明，该方法具有较高的检索精度和较好的鲁棒性。

附图说明

图1：本发明方法的基本流程框图

图2：本发明方法所使用的数据库部分图像示例

图3：本发明方法的检索结果示例

图4：本发明方法的实验结果对比

(a)Precision-Recall曲线对比（蓝色虚线代表BoW方法，红色实线代表本发明方法）

(b)F1-measure曲线对比（蓝色虚线代表BoW方法，红色实线代表本发明方法）

具体实施方式

现结合实施实例、附图对本发明作进一步描述：

用于实施的硬件环境是：Intel Pentium 2.93GHz CPU计算机、2.0GB内存，运行的软件环境是：Matlab R2011a和Windows XP。本实验使用公开数据库UC Merced LandUse Dataset，该数据集共有2100幅图像，包含21类常见的遥感图像，其中每个类别包含100幅图像，每幅图像大小为256×256，图像空间分辨率为30cm/pixel。为了显示数据的可靠性，从每类数据中随机挑选20幅图像，构成一个共420幅图像数据库用于测试。另外，从每类选择一幅图像，作为查询图像。

本发明具体实施如下：

1．训练查询图像的过完备字典：对于一幅查询图像I_query，首先将其划分成若干大小为8×8×3的图像块，每个图像块之间有50%的重叠；然后将每个图像块中的红、绿、蓝三个颜色通道的像素值转化为192×1维的向量，作为查询图像I_query的底层特征

其中N_query为查询图像I_query的底层特征个数；然后对查询图像I_query的底层特征

使用在线字典学习方法训练出过完备字典，得到查询图像I_query的过完备字典D_query，大小为192×300；

所述在线字典学习方法见论文Mairal J,Bach F,Ponce J,Sapiro G.Online Learningfor Matrix Factorization and Sparse Coding[J].The Journal of Machine Learning Research,2010,11:19-60.

2．图像间相似度计算：计算查询图像I_query与遥感图像数据库I中图像的相似度，具体步骤如下：

(1)构建联合字典：对于遥感图像数据库I中的一幅图像I_reference∈I，选取I_reference在遥感图像数据库过完备字典集合Dict中对应的过完备字典D_reference∈Dict，然后将D_reference与D_query组合起来，构成联合字典D_unite＝[D_reference,D_query]；

其中，I＝{I_r|r＝1,2,...,T}，I_r是遥感图像数据库I中的图像，T为遥感图像数据库I中图像的个数；D_reference是图像I_reference所对应的过完备字典，其大小为192×500；Dict＝{D_r|r＝1,2,...,T}，D_r是I_r所对应的过完备字典，D_r的训练方法是首先将I_r划分成若干大小为8×8×3的图像块，每个图像块之间有50%的重叠；然后将每个图像块中的红、绿、蓝三个颜色通道的像素值转化为192×1维的向量，作为I_r的底层特征

然后对I_r的底层特征

使用在线字典学习方法训练出过完备字典D_r，大小为192×500；

(2)稀疏编码：对查询图像I_query的底层特征

在联合字典D_unite上采用LARS-Lasso方法稀疏编码，得到对应的稀疏编码系数

其大小为800×1；

所述LARS-Lasso方法见文章Efron B,Hastie T,Johnstone I,Tibshirani R.Leastangle regression.The Annals of Statistics,2004,32(2):407–499.

(3)计算相似度：根据求出的稀疏编码系数计算

的重构误差

其中||·||₂为l₂范数；将

中对应D_query原子位置处的系数置为零，得到仅使用D_reference中原子重构

的重构误差

将

中对应D_reference原子位置处的系数置为零，得到仅使用D_query中原子重构

的重构误差

然后比较

与

的大小，如果

则给D_reference投票，如果则给D_query投票，最终得到对D_reference和D_query的投票率分别为V_reference和V_query，其中0＜V_reference,V_query＜1；最后计算查询图像I_query与图像I_reference的相似度为

$\mathrm{Similarity}=\frac{V_{\mathrm{reference}}-V_{\mathrm{query}}+1}{2}$

所述l₂范数的计算公式为

${\left|\right|z\left|\right|}_2=\sqrt{\underset{q=1}{\overset{Q}{\mathrm{\Σ}}}{\left|{\mathrm{\ξ}}_q\right|}^2}$

式中，z是大小为Q×1的向量，ξ_q为向量z的元素，q＝1,2,...,Q；

3．得到排序检索结果：依次计算查询图像I_query与遥感图像数据库I中每幅图像的相似度，并将得到的相似度值按降序排列，得到最终的排序检索结果。

选用查准率-查全率曲线（即Precision-Recall曲线）（见附图4（a））和F1-measure曲线（见附图4（b））对本发明的检索性能评估，Precision和Recall的计算公式如下：

$\mathrm{Recall}=\frac{\mathrm{TN}}{\mathrm{TP}}$

$\mathrm{Precision}=\frac{\mathrm{TN}}{T}$

其中，TP为目标图像中与查询图像相似的图像数目，TN为一次查询返回的图像中相关图像的数目，T为检索系统返回图像的数目。

F1-measure是根据Precision和Recall给出的一个综合评价指标，其计算公式为：

$F1-\mathrm{measure}=\frac{2\×\mathrm{Precision}\×\mathrm{Recall}}{\mathrm{Precision}+\mathrm{Recall}}$

另外，选用MPEG-7提出的ANMRR（Average Normalized Modified Retrieval Rank）值作为对本发明的检索有效性进行评估。这种评价方法比查全率和查准率的对图像的评价效果更好，更能反映出图像的检索精度。其取值范围为0～1，值越小表明检索效果越好。将本发明所得的检索结果与基于BoW的检索方法进行了对比，对比结果如表1所示。从实验分析比较表中的数据可见，使用本发明的检索精度更高。

表1检索结果评价

所述ANMRR值的求取方法见图书：Salembier P,Sikora T,Manjunath B S.Introduction to MPEG-7:multimedia content description interface[M].John Wiley & Sons,Inc.,2002.

Claims (5)

1.一种基于稀疏表达的遥感图像检索方法，其设计步骤在于：

步骤1训练查询图像的过完备字典：首先将一幅查询图像I_query划分成若干大小为n×n×3的图像块，每个图像块之间有50%的重叠；然后将每个图像块中的红、绿、蓝三个颜色通道的像素值转化为3n²×1维的向量，作为查询图像I_query的底层特征

其中：N_query为查询图像I_query的底层特征个数；然后对查询图像I_query的底层特征

使用在线字典学习方法训练出过完备字典，得到查询图像I_query的过完备字典D_query，大小为m×k_query，其中m＝3n²，m＜k_query，k_query为D_query中原子的个数；

步骤2图像间相似度计算：计算查询图像I_query与遥感图像数据库I中图像的相似度，具体步骤如下：

步骤a构建联合字典：选取遥感图像数据库I中的任一幅图像I_reference，I_reference∈I，在遥感图像数据库过完备字典集合Dict中对应的过完备字典D_reference∈Dict，然后将D_reference与步骤1的D_query组合起来，构成联合字典D_unite＝[D_reference,D_query]；

其中，I＝{I_r|r＝1,2,...,T}，I_r是遥感图像数据库I中的图像，T为遥感图像数据库I中图像的个数；D_reference是图像I_reference所对应的过完备字典，其大小为m×k_reference,m＜k_reference，k_reference为D_reference中原子的个数；Dict＝{D_r|r＝1,2,...,T}，D_r是I_r所对应的过完备字典；

步骤b稀疏编码：对查询图像I_query的底层特征

在联合字典D_unite上采用LARS-Lasso方法稀疏编码，得到对应的稀疏编码系数

其大小为(k_reference+k_query)×1；

步骤c计算相似度：根据求出的稀疏编码系数

计算

的重构误差其中||·||₂为l₂范数；将

中对应D_query原子位置处的系数置为零，得到仅使用D_reference中原子重构

的重构误差

将

中对应D_reference原子位置处的系数置为零，得到仅使用D_query中原子重构

的重构误差

然后比较

与

的大小，如果

则给D_reference投票，如果

则给D_query投票，得到对D_reference和D_query的投票率分别为V_reference和V_query，其中0＜V_reference,V_query＜1；

最后计算查询图像I_query与图像I_reference的相似度为

$\mathrm{Similarity}=\frac{V_{\mathrm{reference}}-V_{\mathrm{query}}+1}{2};$

步骤3得到排序检索结果：依次计算查询图像I_query与遥感图像数据库I中每幅图像的相似度，并将得到的相似度值按降序排列，得到排序检索结果。

2.根据权利要求1所述基于稀疏表达的遥感图像检索方法，其特征在于：所述步骤2中D_r的训练方法是：首先将Ir划分成若干大小为n×n×3的图像块，每个图像块之间有50%的重叠；然后将每个图像块中的红、绿、蓝三个颜色通道的像素值转化为3n²×1维的向量，作为I_r的底层特征

然后对I_r的底层特征

使用在线字典学习方法训练出过完备字典D_r，大小为m×k_r，m＜k_r，k_r为D_r中原子的个数。

3.根据权利要求2所述基于稀疏表达的遥感图像检索方法，其特征在于：所述在线字典学习方法采用为Online Learning for Matrix Factorization and Sparse Coding文章中的计算方法。

4.根据权利要求1所述基于稀疏表达的遥感图像检索方法，其特征在于：所述步骤b中的LARS-Lasso方法采用文章Least angle regression中的计算方法。

5.根据权利要求1所述基于稀疏表达的遥感图像检索方法，其特征在于：所述l₂范数的计算公式为

${\left|\right|z\left|\right|}_2=\sqrt{\underset{q=1}{\overset{Q}{\mathrm{\Σ}}}{\left|{\mathrm{\ξ}}_q\right|}^2}$

式中，z是大小为Q×1的向量，ξ_q为向量z的元素，q＝1,2,...,Q。

Images