CN107480718A - 一种基于视觉词袋模型的高分辨率遥感图像分类方法 - Google Patents

一种基于视觉词袋模型的高分辨率遥感图像分类方法 Download PDF

Info

Publication number
CN107480718A
CN107480718A CN201710706366.4A CN201710706366A CN107480718A CN 107480718 A CN107480718 A CN 107480718A CN 201710706366 A CN201710706366 A CN 201710706366A CN 107480718 A CN107480718 A CN 107480718A
Authority
CN
China
Prior art keywords
msub
mrow
visual dictionary
remote sensing
dictionary
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201710706366.4A
Other languages
English (en)
Inventor
陈苏婷
丁杰
冯瑞
王卓
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanjing University of Information Science and Technology
Original Assignee
Nanjing University of Information Science and Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanjing University of Information Science and Technology filed Critical Nanjing University of Information Science and Technology
Priority to CN201710706366.4A priority Critical patent/CN107480718A/zh
Publication of CN107480718A publication Critical patent/CN107480718A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2413—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
    • G06F18/24133—Distances to prototypes
    • G06F18/24137—Distances to cluster centroïds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/23—Clustering techniques
    • G06F18/232—Non-hierarchical techniques
    • G06F18/2321—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions
    • G06F18/23213—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions with fixed number of clusters, e.g. K-means clustering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features

Landscapes

  • Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Probability & Statistics with Applications (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明公开了一种基于视觉词袋模型的高分辨率遥感图像分类方法，包括，图像多特征提取；构建初始视觉词典；筛选视觉单词，构建视觉词典子集；图像表达和分类。本发明有效减少了词典中的冗余信息，平衡了单词的相关性和冗余性，从而提高词典子集的特征描述能力，使高分辨率遥感图像的分类精度得到显著提升。

Description

一种基于视觉词袋模型的高分辨率遥感图像分类方法
技术领域
本发明涉及一种基于视觉词袋模型的高分辨率遥感图像分类方法，属于遥感图像分类领域。
背景技术
随着面向对象思想在高分辨率遥感图像处理中的应用，该方法不断的发展创新，逐渐成为遥感图像分类的必然选择，且近些年，国内外专家学者对高分辨率遥感图像分类不断提出新的思想和算法。因此，面向对象的高分辨率遥感图像分类方法已经逐步取代基于像素的遥感图像分类方法，在图像分类领域取得令人瞩目的成果。随着传感技术的发展和卫星的更新，遥感图像广泛应用在各个领域，不仅仅应用在国防建设上，在土地测绘、环境监测、抢险救灾、城市规划等国民经济方面也越来越普及。
常见的遥感图像分类方法可以分为监督分类，非监督分类和半监督分类，主要区别在于训练样本的差异。一般来讲非监督分类不需要先验知识和其他训练样本，直接根据数据的特征性进行分类；监督分类模型先处理分析训练样本，再计算分类结果；半监督分类模型将训练样本的有无标签作为学习分类的依据之一。
基于视觉词袋模型的高分辨率遥感图像分类方法属于监督分类，但是现有的基于视觉词袋模型的高分辨率遥感图像分类方法中视觉词袋模型计算复杂度高，冗余信息严重。
发明内容
为了解决上述技术问题，本发明提供了一种基于视觉词袋模型的高分辨率遥感图像分类方法。
为了达到上述目的，本发明所采用的技术方案是：
一种基于视觉词袋模型的高分辨率遥感图像分类方法，包括，
图像多特征提取：
将待处理图像进行分割，对每个子区域提取底层特征，并将同一子区域底层特征进行融合；
构建初始视觉词典：
通过K-means聚类算法对融合后的底层特征聚类，每一类均为一个视觉单词，聚类中心的数目便是初始视觉词典的规模；
筛选视觉单词，构建视觉词典子集：
首先，通过ReliefF算法赋予视觉单词权重参数，来表示不同视觉单词对分类的贡献度；然后，结合mRMR准则计算视觉单词的相关度和冗余度，并添加视觉词典平衡系数；最后建立一个新的词典判别函数，筛选得到视觉词典子集；
图像表达和分类：
视觉词典子集通过池化后生成高层语义特征，SPM模型提取图像的空间布局信息，融合高层语义特征和空间布局信息，通过池化后得到最终特征向量，输入分类器完成分类。
底层特征包括纹理特征、形状特征和KAZE特征，这些特征采用串行方法进行融合。
K-means聚类算法将所有融合后的底层特征作为待聚类集合X＝{x1,x2,...,xn}，xj表示第j个子区域融合后的底层特征，选取k个点作为聚类中心，分别计算每个融合后的底层特征与聚类中心的欧式距离，距离最近的归为一类，如下式：
其中，c(i)为xj所属的类别，1≤i≤k，x为底层特征，μ为聚类中心。
筛选视觉单词，构建视觉词典子集的具体过程为，
定义V＝[v1,...,vk]T为初始视觉词典；
通过ReliefF算法计算初始视觉词典中每个视觉单词与图像类别的相关性权重，去掉相关性权重最小的视觉单词，得到新的视觉词典Vn′，其相关性权重矩阵为wn′，对vn′进行加权处理，得到Vm＝Vn′·wn′；
定义视觉词典子集中视觉单词的数量为d；
根据确定第一个与类别最相关的视觉单词加入到词典子集V′中，再通过mRMR准则选择下一个视觉单词，直到选出d个视觉单词为止，其中，vi为V中单词，1≤i≤k，c为单词类别，Rlv()表示相关性函数，I()表示互信息函数；
mRMR准则判别函数为：
其中，α为视觉词典平衡系数，0≤α≤1，vj为Vm中单词，m为迭代次数，Vm为加权后词典。
采用串行方法融合高层语义特征和空间布局信息。
k和d的值的范围均为200～1200。
本发明所达到的有益效果：本发明有效减少了词典中的冗余信息，平衡了单词的相关性和冗余性，从而提高词典子集的特征描述能力，使高分辨率遥感图像的分类精度得到显著提升。
附图说明
图1为本发明的流程图；
图2为构建视觉词典子集的流程图；
图3为实验对比图。
具体实施方式
下面结合附图对本发明作进一步描述。以下实施例仅用于更加清楚地说明本发明的技术方案，而不能以此来限制本发明的保护范围。
如图1所示，一种基于视觉词袋模型的高分辨率遥感图像分类方法，包括以下步骤：
步骤1，图像多特征提取。
首先将待处理图像进行空间分割，假设共分为S层，将第s层分割为4s-1个子区域，1≤s≤S，然后对每个子区域提取底层特征，包括纹理特征、形状特征和KAZE特征，并将同一子区域底层特征采用串行方法进行融合，将融合后的底层特征作为构建视觉单词的对象。
步骤2，构建初始视觉词典。
通过K-means聚类算法对融合后的底层特征聚类，每一类均为一个视觉单词，聚类中心的数目便是初始视觉词典的规模；
K-means聚类算法将所有融合后的底层特征作为待聚类集合X＝{x1,x2,...,xn}，xj表示第j个子区域融合后的底层特征，n为子区域个数，选取k个点作为聚类中心，分别计算每个融合后的底层特征与聚类中心的欧式距离，距离最近的归为一类，如下式：
其中，c(i)为xj所属的类别，1≤i≤k，x为底层特征，μ为聚类中心。
步骤3，筛选视觉单词，构建视觉词典子集。
首先，通过ReliefF算法赋予视觉单词权重参数，来表示不同视觉单词对分类的贡献度；然后，结合mRMR准则计算视觉单词的相关度和冗余度，并添加视觉词典平衡系数；最后建立一个新的词典判别函数，筛选得到视觉词典子集。
具体过程如图2所示：
S1)定义V＝[v1,...,vk]T为初始视觉词典，vk为第k个视觉单词，V是k×D的矩阵，D是融合后图像底层特征的维数。
S2)通过ReliefF算法计算初始视觉词典中每个视觉单词与图像类别的相关性权重，去掉相关性权重最小的视觉单词，得到新的视觉词典Vn′，其相关性权重矩阵为wn′，对vn′进行加权处理，得到Vm＝Vn′·wn′。
S3)定义视觉词典子集中视觉单词的数量为d。
S4)根据确定第一个与类别最相关的视觉单词加入到词典子集V′中，再通过mRMR准则选择下一个视觉单词，直到选出d个视觉单词为止，其中，vi为V中单词，1≤i≤k，c为单词类别，Rlv()表示相关性函数，I()表示互信息函数；
mRMR准则判别函数为：
其中，α为视觉词典平衡系数，0≤α≤1，vj为Vm中单词，m为迭代次数，Vm为加权后词典。
步骤4，图像表达和分类。
视觉词典子集通过池化后生成高层语义特征，SPM模型提取图像的空间布局信息，采用串行方法融合高层语义特征和空间布局信息，通过池化后得到最终特征向量，输入分类器完成分类。
为了进一步说明上述方法，进行20次实验，所有实验中k和d的值的范围均为200～1200，其他数据保持不变，取20次实验的平均分类准确率作为评价结果，准确率约为88％。
截取了实验区遥感图像上的图像块，5个类别各150幅图像，目的是训练本发明提出的分类算法和评价算法的分类精度。通过实验对比不同训练样本数对分类准确率的影响。分别选取40，60，80，100，120作为每类图像的训练样本数进行实验，其他数据均保持一致，取20次实验的平均分类准确率作为评价结果。另外，为了验证本文算法的有效性，选择经典的BoVW模型算法作参考，在不同的训练样本数下对图像进行分类。
实验结果如图3所示，随着训练样本数的增加，两种算法的分类精度不断提高，当训练样本数大于40，本发明算法的平均分类准确率高于经典的BoVW模型算法，且趋势越来越明显。分析可知训练样本数较少时模型学习不充分，不能够全面准确的描述图像信息，导致分类效果较差；样本数越多包含的图像信息也就越全面，分类准确率也越高；但随着样本数的增加数据冗余也增多，分类精度的增长趋于平缓。
上述方法有效减少了词典中的冗余信息，平衡了单词的相关性和冗余性，从而提高词典子集的特征描述能力，使高分辨率遥感图像的分类精度得到显著提升。
以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明技术原理的前提下，还可以做出若干改进和变形，这些改进和变形也应视为本发明的保护范围。

Claims (6)

1.一种基于视觉词袋模型的高分辨率遥感图像分类方法，其特征在于：包括，
图像多特征提取：
将待处理图像进行分割，对每个子区域提取底层特征，并将同一子区域底层特征进行融合；
构建初始视觉词典：
通过K-means聚类算法对融合后的底层特征聚类，每一类均为一个视觉单词，聚类中心的数目便是初始视觉词典的规模；
筛选视觉单词，构建视觉词典子集：
首先，通过ReliefF算法赋予视觉单词权重参数，来表示不同视觉单词对分类的贡献度；然后，结合mRMR准则计算视觉单词的相关度和冗余度，并添加视觉词典平衡系数；最后建立一个新的词典判别函数，筛选得到视觉词典子集；
图像表达和分类：
视觉词典子集通过池化后生成高层语义特征，SPM模型提取图像的空间布局信息，融合高层语义特征和空间布局信息，通过池化后得到最终特征向量，输入分类器完成分类。
2.根据权利要求1所述的一种基于视觉词袋模型的高分辨率遥感图像分类方法，其特征在于：底层特征包括纹理特征、形状特征和KAZE特征，这些特征采用串行方法进行融合。
3.根据权利要求1所述的一种基于视觉词袋模型的高分辨率遥感图像分类方法，其特征在于：K-means聚类算法将所有融合后的底层特征作为待聚类集合X＝{x1,x2,...,xn}，xj表示第j个子区域融合后的底层特征，选取k个点作为聚类中心，分别计算每个融合后的底层特征与聚类中心的欧式距离，距离最近的归为一类，如下式：
<mrow> <msup> <mi>c</mi> <mrow> <mo>(</mo> <mi>i</mi> <mo>)</mo> </mrow> </msup> <mo>=</mo> <mi>arg</mi> <munder> <mi>min</mi> <mi>j</mi> </munder> <mo>|</mo> <mo>|</mo> <msub> <mi>x</mi> <mi>j</mi> </msub> <mo>-</mo> <mi>&amp;mu;</mi> <mo>|</mo> <msup> <mo>|</mo> <mn>2</mn> </msup> </mrow>
其中，c(i)为xj所属的类别，1≤i≤k，x为底层特征，μ为聚类中心。
4.根据权利要求1所述的一种基于视觉词袋模型的高分辨率遥感图像分类方法，其特征在于：筛选视觉单词，构建视觉词典子集的具体过程为，
定义V＝[v1,...,vk]T为初始视觉词典；
通过ReliefF算法计算初始视觉词典中每个视觉单词与图像类别的相关性权重，去掉相关性权重最小的视觉单词，得到新的视觉词典Vn′，其相关性权重矩阵为wn′，对vn′进行加权处理，得到Vm＝Vn′·wn′；
定义视觉词典子集中视觉单词的数量为d；
根据确定第一个与类别最相关的视觉单词加入到词典子集V′中，再通过mRMR准则选择下一个视觉单词，直到选出d个视觉单词为止，其中，vi为V中单词，1≤i≤k，c为单词类别，Rlv()表示相关性函数，I()表示互信息函数；
mRMR准则判别函数为：
<mrow> <msub> <mi>max</mi> <mrow> <msub> <mi>v</mi> <mi>i</mi> </msub> <mo>&amp;Element;</mo> <mi>V</mi> <mo>-</mo> <msub> <mi>V</mi> <mi>m</mi> </msub> </mrow> </msub> <mo>&amp;lsqb;</mo> <mi>&amp;alpha;</mi> <mi>I</mi> <mrow> <mo>(</mo> <msub> <mi>v</mi> <mi>i</mi> </msub> <mo>,</mo> <mi>c</mi> <mo>)</mo> </mrow> <mo>-</mo> <mrow> <mo>(</mo> <mn>1</mn> <mo>-</mo> <mi>&amp;alpha;</mi> <mo>)</mo> </mrow> <mfrac> <mn>1</mn> <mi>m</mi> </mfrac> <munder> <mo>&amp;Sigma;</mo> <mrow> <msub> <mi>v</mi> <mi>j</mi> </msub> <mo>&amp;Element;</mo> <msub> <mi>V</mi> <mi>m</mi> </msub> </mrow> </munder> <mi>I</mi> <mrow> <mo>(</mo> <msub> <mi>v</mi> <mi>i</mi> </msub> <mo>,</mo> <msub> <mi>v</mi> <mi>j</mi> </msub> <mo>)</mo> </mrow> <mo>&amp;rsqb;</mo> </mrow> 1
其中，α为视觉词典平衡系数，0≤α≤1，vj为Vm中单词，m为迭代次数，Vm为加权后词典。
5.根据权利要求1所述的一种基于视觉词袋模型的高分辨率遥感图像分类方法，其特征在于：采用串行方法融合高层语义特征和空间布局信息。
6.根据权利要求1所述的一种基于视觉词袋模型的高分辨率遥感图像分类方法，其特征在于：k和d的值的范围均为200～1200。
CN201710706366.4A 2017-08-17 2017-08-17 一种基于视觉词袋模型的高分辨率遥感图像分类方法 Pending CN107480718A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710706366.4A CN107480718A (zh) 2017-08-17 2017-08-17 一种基于视觉词袋模型的高分辨率遥感图像分类方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710706366.4A CN107480718A (zh) 2017-08-17 2017-08-17 一种基于视觉词袋模型的高分辨率遥感图像分类方法

Publications (1)

Publication Number Publication Date
CN107480718A true CN107480718A (zh) 2017-12-15

Family

ID=60600765

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710706366.4A Pending CN107480718A (zh) 2017-08-17 2017-08-17 一种基于视觉词袋模型的高分辨率遥感图像分类方法

Country Status (1)

Country Link
CN (1) CN107480718A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110288045A (zh) * 2019-07-02 2019-09-27 中南大学 一种基于皮尔逊相关系数的语义视觉词典优化方法
CN112434759A (zh) * 2020-12-17 2021-03-02 无锡职业技术学院 一种基于视觉词典的图像分类方法
CN112668590A (zh) * 2021-01-05 2021-04-16 瞬联软件科技(南京)有限公司 基于图像特征空间和空域空间的视觉词组构建方法和装置

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105005786A (zh) * 2015-06-19 2015-10-28 南京航空航天大学 一种基于BoF和多特征融合的纹理图像分类方法
CN106203448A (zh) * 2016-07-08 2016-12-07 南京信息工程大学 一种基于非线性尺度空间的场景分类方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105005786A (zh) * 2015-06-19 2015-10-28 南京航空航天大学 一种基于BoF和多特征融合的纹理图像分类方法
CN106203448A (zh) * 2016-07-08 2016-12-07 南京信息工程大学 一种基于非线性尺度空间的场景分类方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
吴丽娜: "基于词袋模型的图像分类算法研究", 《中国博士学位论文全文数据库信息科技辑》 *
王露 等: "基于ReliefF+mRMR特征降维算法的多特征遥感图像分类", 《中国体视学与图像分析》 *

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110288045A (zh) * 2019-07-02 2019-09-27 中南大学 一种基于皮尔逊相关系数的语义视觉词典优化方法
CN110288045B (zh) * 2019-07-02 2023-03-24 中南大学 一种基于皮尔逊相关系数的语义视觉词典优化方法
CN112434759A (zh) * 2020-12-17 2021-03-02 无锡职业技术学院 一种基于视觉词典的图像分类方法
CN112668590A (zh) * 2021-01-05 2021-04-16 瞬联软件科技(南京)有限公司 基于图像特征空间和空域空间的视觉词组构建方法和装置

Similar Documents

Publication Publication Date Title
CN110135267B (zh) 一种大场景sar图像细微目标检测方法
CN108830285B (zh) 一种基于Faster-RCNN的加强学习的目标检测方法
Yuan et al. Gated CNN: Integrating multi-scale feature layers for object detection
CN104866810B (zh) 一种深度卷积神经网络的人脸识别方法
Farabet et al. Scene parsing with multiscale feature learning, purity trees, and optimal covers
CN112396002A (zh) 一种基于SE-YOLOv3的轻量级遥感目标检测方法
CN112949572B (zh) 基于Slim-YOLOv3的口罩佩戴情况检测方法
CN104850865B (zh) 一种多特征迁移学习的实时压缩跟踪方法
CN112036447B (zh) 零样本目标检测系统及可学习语义和固定语义融合方法
CN113408605B (zh) 基于小样本学习的高光谱图像半监督分类方法
CN109711448A (zh) 基于判别关键域和深度学习的植物图像细粒度分类方法
CN105069478B (zh) 基于超像素张量稀疏编码的高光谱遥感地物分类方法
CN114841257B (zh) 一种基于自监督对比约束下的小样本目标检测方法
CN103679191B (zh) 基于静态图片的自动套牌车检测方法
CN105488809A (zh) 基于rgbd描述符的室内场景语义分割方法
CN112163599B (zh) 一种基于多尺度多层次融合的图像分类方法
CN106296734B (zh) 基于极限学习机和boosting多核学习的目标跟踪方法
Freytag et al. Labeling examples that matter: Relevance-based active learning with gaussian processes
CN113032613B (zh) 一种基于交互注意力卷积神经网络的三维模型检索方法
CN108564111A (zh) 一种基于邻域粗糙集特征选择的图像分类方法
Wu et al. Typical target detection in satellite images based on convolutional neural networks
CN109614866A (zh) 基于级联深度卷积神经网络的人脸检测方法
CN107480718A (zh) 一种基于视觉词袋模型的高分辨率遥感图像分类方法
CN114818963B (zh) 一种基于跨图像特征融合的小样本检测方法
CN114821022A (zh) 融合主观逻辑和不确定性分布建模的可信目标检测方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20171215