CN104680173A - 一种遥感图像场景分类方法 - Google Patents

一种遥感图像场景分类方法 Download PDF

Info

Publication number
CN104680173A
CN104680173A CN201510038379.XA CN201510038379A CN104680173A CN 104680173 A CN104680173 A CN 104680173A CN 201510038379 A CN201510038379 A CN 201510038379A CN 104680173 A CN104680173 A CN 104680173A
Authority
CN
China
Prior art keywords
image
class
unique point
divided
evenly distributed
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201510038379.XA
Other languages
English (en)
Other versions
CN104680173B (zh
Inventor
李士进
蒋亚平
张洋
郭以军
王亚明
冯钧
高祥涛
占迪
朱海晨
王声特
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Water Development In Hai River Basin Council Of Ministry Of Water Resources Water Conservancy Information Network Center
Hohai University HHU
Original Assignee
Water Development In Hai River Basin Council Of Ministry Of Water Resources Water Conservancy Information Network Center
Hohai University HHU
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Water Development In Hai River Basin Council Of Ministry Of Water Resources Water Conservancy Information Network Center, Hohai University HHU filed Critical Water Development In Hai River Basin Council Of Ministry Of Water Resources Water Conservancy Information Network Center
Priority to CN201510038379.XA priority Critical patent/CN104680173B/zh
Publication of CN104680173A publication Critical patent/CN104680173A/zh
Application granted granted Critical
Publication of CN104680173B publication Critical patent/CN104680173B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Landscapes

  • Image Analysis (AREA)

Abstract

本发明公开了一种遥感图像场景分类方法。本发明方法根据图像中局部不变特征点的分布情况将图像先进行预分类,分为特征点分布均匀和特征点分布不均匀两类;然后,对特征点分布均匀的图像,利用颜色直方图与纹理特征融合的全局特征进行训练和分类,对特征点分布不均匀的图像,利用ScSPM(Sparse Coding Spatial Pyramid Matching,基于稀疏编码的空间金字塔匹配模型特征)局部特征进行训练和分类。相比现有技术,本发明在提高分类精度的同时降低了分类所需的时间。

Description

一种遥感图像场景分类方法
技术领域
本发明涉及一种遥感图像场景分类方法。
背景技术
近年来,高分辨率对地观测技术得到了迅猛发展,已经在土地调查、城市规划、灾害管理和军事等诸多领域发挥了重要的作用。相比于中低分辨率遥感图像,高分辨率遥感图像能够提供详细的地面信息,但各种地物空间结构分布较复杂。随着遥感图像分辨率的提高,空间信息量更加丰富,空间地物几何信息、纹理信息等更加明显,但同时也带来了高分影像同类地物的光谱差异性增强,不同地物的光谱异质性降低等问题。因此,虽然高分遥感影像提供了更为精细的地表刻画,但智能化、自动化信息提取任务的难度相比如中低分辨率遥感影像大大增加。传统的遥感图像目视解译方法不仅要求丰富的专业经验和充足的野外实地调查资料,而且由于这种识别方法是建立在特定的先验知识基础上,因此识别难度较大,效率较低。
根据图像描述方式的不同,当前图像分类方法大致可以分为:基于全局特征的描述方法和基于局部特征的的描述方法。常见的全局特征包括:LBP(Local binary pattern)、颜色直方图、纹理特征等。由于全局特征通常是整幅图像,因而不能较好地描述图像中的局部目标,因此对飞机、网球场等特征点分布较稀疏的类别图像分类精度较低。基于局部特征的图像描述方法由于可以在同一类别千变万化的图像中寻找不变的特征,受到广大研究者青睐。2004年,Csurka等学者[Csurka G,Dance C R,Fan L,et al.Visualcategorization with bags of keypoints[C]//Proceedings of Workshop on Statistical Learningin Computer Vision.Prague,Czech Republic:Springer,2004:1-22]首次将词包模型(亦称为视觉词袋模型)用于图像场景分类,并提出了针对图像场景分类的视觉词包模型算法。Lazebnik等人[Lazebnik S,Schmid C,Ponce J.Beyond bags of features:Spatial pyramidmatching for recognizing naturalscene categories.[C]In CVPR,New York,USA:IEEEComputer 2006:2169-2178]在视觉词包模型中加入空间金字塔匹配核,提出空间金字塔核的词包模型。Yang等学者[Yang J C,Yu K,Gong Y H,et al.Linear spatial pyramidmatchingusing sparse coding for image classification[C]//Proceedingsof the 22ndInternational Conference on Computer Vision and Pattern Recognition.Miami,USA:IEEEComputer Society,2009:1794-1801.]提出稀疏编码方法ScSPM,它通过解凸优化问题求取局部描述矢量关于视觉单词向量的稀疏表示,使用多个视觉单词向量线性组合表示局部矢量,大大提高了分类性能。文献[Ji R R,Yao H X,Liu W.Task-dependent visual-codebookcompression[J].IEEE Transactions on Image Processing,2012:21(4):2282-2293.]使用硬分配编码取代稀疏编码,使用监督字典学习算法对Bof特征进行压缩以弥补编码方法所带来的不足。Bolovinou等人[Bolovinou A,Pratikakis I,Perantonis S.Bag of spatio-visualwords for context inference in scene classification[J].PatternRecognition,2013,46(3):1039-1053.]提出了基于有序空间结构关系的视觉单词,在内容表达中加入了上下文信息。
上述现有技术虽然各有其特点,但均存在未能很好平衡分类精度和分类时间之间的矛盾。
发明内容
本发明所要解决的技术问题在于克服现有技术不足,提供一种遥感图像场景分类方法,利用多特征融合多分类器的方法对遥感图像进行场景分类,在提高分类精度的同时降低了分类所需的时间。
本发明具体采用以下技术方案:
一种遥感图像场景分类方法,包括训练阶段和测试阶段;
所述训练阶段包括以下步骤:
步骤1、提取各训练样本图像的局部不变特征,并根据局部不变特征点在图像中的密度分布情况将训练样本图像分为特征点分布均匀和特征点分布不均匀这两类;
步骤2、提取特征点分布均匀的训练样本图像的全局特征,并对一个分类器进行训练,得到第一分类器;提取特征点分布不均匀的训练样本图像的局部特征,并对另一个分类器进行训练,得到第二分类器;
所述测试阶段包括以下步骤:
步骤3、提取测试样本图像的局部不变特征,并根据局部不变特征点在图像中的密度分布情况将测试样本图像分为特征点分布均匀和特征点分布不均匀这两类;
步骤4、提取特征点分布均匀的测试样本图像的全局特征,利用第一分类器对其进行分类;提取特征点分布不均匀的测试样本图像的局部特征,利用第二分类器进行分类。
优选地,所述全局特征为相互串接并归一化的颜色特征和纹理特征。
优选地,所述局部特征为基于稀疏编码的空间金子塔匹配模型特征。
所述将图像分为特征点分布均匀和特征点分布不均匀这两类,可根据实际需要设计相应的判断方法,以下为两种优选方案:
第一种、具体通过以下方法将图像分为特征点分布均匀和特征点分布不均匀这两类:
对于训练样本图像,将图像分为一组互不重叠的图像块,并判断局部不变特征点在这些图像块中的分布方差是否大于预设的方差阈值,如是,则将该图像初步判定为特征点分布不均匀;反之,则初步判定为特征点分布均匀;对于每一类场景的所有训练样本图像,如其中被初步判定为特征点分布均匀的图像所占比例达到或超过预设的比例下限值,则将该类场景的所有训练样本图像划为特征点分布均匀的一类,否则,将该类场景的所有训练样本图像划为特征点分布不均匀的一类;所述比例下限值的取值范围为[0.8,1);
对于测试样本图像,将图像分为一组互不重叠的图像块,并判断局部不变特征点在这些图像块中的分布方差是否大于预设的方差阈值,如是,则将该图像划为特征点分布不均匀的一类;反之,则为特征点分布均匀的一类。所述方差阈值的优选范围为[1.5,3],最好取为2.5。
第二种、具体通过以下方法将图像分为特征点分布均匀和特征点分布不均匀这两类:
对于训练样本图像,将图像分为一组互不重叠的图像块,并统计各图像块中所包含的局部不变特征点数量,如所包含局部不变特征点数量在预设范围内的图像块在该图像所有图像块中所占的比例大于预设的比例阈值,则将该图像初步判定为特征点分布均匀的一类;反之,则初步判定为特征点分布不均匀的一类;对于每一类场景的所有训练样本图像,如其中被初步判定为特征点分布均匀的图像所占比例达到或超过预设的比例下限值,则将该类场景的所有训练样本图像划为特征点分布均匀的一类,否则,将该类场景的所有训练样本图像划为特征点分布不均匀的一类;所述比例下限值的取值范围为[0.8,1);
对于测试样本图像,将图像分为一组互不重叠的图像块,并统计各图像块中所包含的局部不变特征点数量,如所包含局部不变特征点数量在预设范围内的图像块在该图像所有图像块中所占的比例大于预设的比例阈值,则将该图像划为特征点分布均匀的一类;反之,则划为特征点分布不均匀的一类。
上述两种方案均采用图像中的所有局部不变特征点来进行预分类,虽然相对简单,但考虑到不同的局部特征对图像场景表达的重要性也是不同的,为了进一步提高预分类的准确性,本发明又提出了一种改进方案,利用视觉词袋模型(Bag of Feature,简称BoF)对局部特征点进行筛选,找出图像中的重要特征点,然后根据重要特征点的密度分布情况进行预分类,从而可提高预分类的准确性,进而提高整体的场景分类精度。该改进方案具体如下:
具体通过以下方法将图像分为特征点分布均匀和特征点分布不均匀这两类:
对于训练样本图像,首先建立训练样本图像初始的视觉词袋并得到每一幅训练样本图像的初始视觉词袋特征表示;然后从每一类场景的所有训练样本图像的视觉单词中选出出现频次最大的前N个视觉单词,N为预设的范围为20~50的整数;以所选出的所有视觉单词构成新的视觉词袋;从每幅训练样本图像中选出与新的视觉词袋中的视觉单词对应的局部不变特征点,作为该幅图像的重要特征点;将每幅图像分为一组互不重叠的图像块,对每一幅图像,判断是否其中每个图像块中的重要特征点数目与该幅图像中重要特征点总数之比均在[0.06,0.16]范围内,如是,则初步判定该幅图像为特征点分布均匀的一类,否则初步判定该幅图像为分布不均匀的一类;最后,对于每一类场景的所有训练样本图像,如其中被初步判定为特征点分布均匀的图像所占比例达到或超过预设的比例下限值,则将该类场景的所有训练样本图像划为特征点分布均匀的一类,否则,将该类场景的所有训练样本图像划为特征点分布不均匀的一类;所述比例下限值的取值范围为[0.8,1);
对于测试样本图像,首先从每幅测试样本图像中选出与所述新的视觉词袋中的视觉单词对应的局部不变特征点,作为该幅图像的重要特征点;将每幅图像分为一组互不重叠的图像块,对每一幅图像,判断是否其中每个图像块中的重要特征点数目与该幅图像中重要特征点总数之比均在[0.06,0.16]范围内,如是,则将该幅图像划为特征点分布均匀的一类,否则将该幅图像划为分布不均匀的一类。
上述三种技术方案中,所述图像块的大小优选为64*64像素;所述比例下限值优选为0.9。
相比现有技术,本发明具有以下有益效果:
本发明方法具有更高的分类精度,经实验验证,本发明的总体平均分类精度可达到90.1%,高于现有的各类分类方法。
本发明方法的时间性能更好,经实验验证,本发明的分类时间,相较于现有基于ScSPM特征的分类方法,降低了近一半。
附图说明
图1为农田、灌木丛、飞机和海滨类遥感图像的特征点分布情况;
图2为本发明具体实施方式中的训练过程;
图3为本发明具体实施方式中的测试过程;
图4为本发明方法与几种现有分类方法的分类精度比较结果。
具体实施方式
下面结合附图对本发明的技术方案进行详细说明:
由于高分辨率遥感图像中不同类别图像的特征点分布情况不一致,有些类别图像的显著特征较均匀的分布在整幅图像上;还有一些则分布在局部、单个目标上,特征点在整幅图像上分布较稀疏。如图1中,农田类和灌木丛类图像特征点在整幅图像上分布较均匀;而飞机类和海滨类图像特征点在整幅图像上分布不均匀,其中飞机类图像特征点仅分布在飞机局部形状上,海滨类图像特征点仅分布在海水与沙滩的分界线上。因此可以考虑将图像分为特征点分布均匀和特征点分布不均匀这两大类,采用不同的图像特征对这两大类图像分别进行训练和分类。
本发明基于以上思路,根据图像中局部不变特征点的分布情况将图像先进行预分类,分为特征点分布均匀和特征点分布不均匀这两类;然后,对特征点分布均匀的图像,利用LBP、颜色直方图、纹理特征等全局特征进行训练和分类,对特征点分布不均匀的图像,利用SPM(Spatial Pyramid Matching,空间金字塔匹配模型)、ScSPM(SparseCoding Spatial Pyramid Matching,基于稀疏编码的空间金字塔匹配模型特征)等局部特征进行训练和分类。
虽然上述技术方案可从整体上提高分类精度,降低分类时间,但由于不同的特征以及不同的分类器对于最终的分类性能会产生不同的影响,因此本发明技术方案中,全局特征优选采用相互串接的颜色特征和纹理特征,局部特征优选采用基于稀疏编码的空间金子塔匹配模型特征,分类器优选SVM(支持向量机)分类器。
为了便于公众理解,下面以本发明的一个优选实施例来对本发明的技术方案进行详细说明。
本实施例的训练阶段的流程如图2所示,包括以下步骤:
步骤1、提取各训练样本图像的局部不变特征,并根据局部不变特征点在图像中的密度分布情况将训练样本图像分为特征点分布均匀和特征点分布不均匀这两类。
本发明可采用现有的SIFT、SURF等各种局部不变特征,本实施例中以SIFT特征为例,并利用词袋模型对SIFT特征点进行筛选,SIFT特征为现有技术,详细内容可参考文献[DAVID.LOWE.Distinctive Image Features from Scale-Invariant Keypoints[J].International Journal of Computer Vision,2004,60(2):91-100.],具体包括以下步骤:
步骤1-1、将所提取的训练集中的所有局部不变SIFT特征放入一个文件中,形成局部特征点集,利用矢量量化方法对局部特征点集进行聚类,每个聚类中心表示一个视觉单词,所有聚类中心形成视觉单词库(即初始的视觉词袋);
步骤1-2、将各个图像的局部特征分配给视觉单词库中与其距离最近的视觉单词,然后统计各个视觉单词对应的词频,形成图像的视觉词袋特征表示;
步骤1-3、统计每一类场景所有图像的各个视觉单词的词频的相加总和,并将各个视觉单词的词频进行排序,从中取出词频较大的前N个视觉单词,N为预设的大于1的整数,范围一般为20~50,本发明优选取为30;
步骤1-4、将各场景类别图像中词频较大的前N个视觉单词进行合并,即得到所有场景类别的总体视觉词袋;然后统计每幅图像中含有与该总体视觉词袋中视觉单词对应的SIFT特征点,即为该幅图像的重要特征点;
步骤1-5、统计每类场景中每幅图像重要特征的个数为Mij,其中i为类别标号且1≤i≤c,c为场景类别总数,j为图像标号;将每幅图像划分为若干64*64像素的互不重叠子图像块,统计每个图像块中重要特征点的数目分别记为ns(其中s为图像块标号且1≤s≤9),对每幅图像分别计算若ps均满足ps∈[0.06,0.16]这个范围,则判断该幅图像特征点分布均匀并记为Y,否则为分布不均匀并记为N;最后统计每类场景中被标记为Y的训练样本图像个数为Yi,并计算则p为该场景类别的图像特征点分布均匀的概率,若p≥90%,则该类别图像特征点分布均匀,否则为分布不均匀,这样就将c个场景类别的训练样本图像预分为两大类。
步骤2、提取特征点分布均匀的训练样本图像的全局特征,并对一个分类器进行训练,得到第一分类器;提取特征点分布不均匀的训练样本图像的局部特征,并对另一个分类器进行训练,得到第二分类器。
本实施例中的全局特征采用相互串接的颜色特征和纹理特征,局部特征采用基于稀疏编码的空间金子塔匹配模型特征,分类器优选SVM分类器。下面对这几种特征的基本内容进行简要介绍。
图像的颜色在人们认识图像的过程中占据重要比重,由于该特征易于计算,且性能稳定,被广泛应用于图像分类。图像的颜色特征通常通过直方图、平均灰度级等表示出来,其中基于直方图的表示方法所获得的图像分类效果最好。
颜色直方图是在许多图像检索系统中被广泛采用的一种全局特征,由于颜色特征在分布均匀类别(例如农田、森林、活动房等)图像中分布较明显,并对图像本身的尺寸、方向、视角的依赖性小而被广泛使用,它的优点是特征提取和相似度计算较简单。颜色直方图描述的是不同色彩在整幅图像中所占的比例,即图像中出现了哪些颜色以及每个颜色出现的概率。Swain和Ballard[Swain M J,Ballard D H.Color indexing[J].InternationalJournal of Computer Vision,1991,7(1):11-32.]最先提出使用颜色直方图作为图像颜色特征的表示方法,并把直方图应用于图像检索。颜色直方图,对于图像以观察轴为轴心的旋转以及幅度不大的缩放和平移等几何变换不敏感。
本实施例中颜色直方图特征的提取是基于HSL(Hue,Saturation,Lightness)亮度饱和度色彩空间,相比于RGB(Red,Green,Blue)色彩空间,前者更符合人眼的视觉感知特性。具体特征提取方法如下:
对于图像的每一个像素,首先将其H,S,L分量分别量化为8等份,这样HSL直方图就有了512个间隔(bin)。然后,再统计所有像素的直方图。最后采用L1范式对其进行归一化,以消除图像大小变化的影响。使用式(1)的L1-范式进行归一化:
L 1 - norm : f = V | | V | | 1 + ϵ - - - ( 1 )
式中:V代表未归一化的向量,ε代表着一个较小值(用来防止分母为零),一般情况下ε=0.1,||V|||表示1范数。
纹理是高分辨率图像的一种重要空间信息,反映了图像中物体表面的粗糙、紧密、细致、疏松等结构组织信息,并且随着分辨率的提高,地物的内部结构越来越清晰,这在遥感图像中表现为地物的纹理结构越来越明显。相对于光谱信息,纹理特征能反映目标地物内像元色调有规则的空间变化,同时纹理具有不依赖于颜色或亮度即可反映图像中同质现象的特点。基于信号处理(空间域滤波、Gabor变换、局部二值模式等)的纹理特征提取将图像看作二维信号,使用滤波方法对图像进行分析提取纹理,其中Gabor变换是该类方法中最典型的代表。鉴于Gabor滤波器具有较强的纹理描述能力,本实施例中利用Gabor滤波器提取均匀纹理描述子,Gabor滤波器是一种现有技术,具体可参照文献[Tai Sing Lee.Image Representation Using 2D Gabor Wavelets.IEEE Transactionson pattern analysis and machine intelligence,1996,18(10):1-13.],具体提取方法如下:
使用6个方向,5个尺度的Gabor滤波器对原始图像进行Gabor变换,形成30幅图像的纹理表示,再通过计算这30幅图像的滤波均值和方差从而得到维数是60的特征向量。
fMPEG7HT=[μ11111212,...,μ1S1S,..,μRSRS]  (2)
其中,uRS和σRS分别是R方向和S尺度的输出滤波器对应的滤波均值和方差。
这两种全局特征各有其优缺点,本实施例中将这两种特征进行融合,即采用颜色直方图特征和纹理特征串接后的融合特征作为新的全局特征向量,对特征点分布均匀的训练样本图像进行分类器训练;具体融合方法如下:假设X={x1,x2,...,xs}是A(可以是Gabor或Color)特征向量;Y={y1,y2,...,yt}是B(可以是Gabor或Color)特征向量,其中s和t分别表示X和Y特征的维数。得到新的特征向量Z为:Z={X∪Y}={x1,x2,...,xs,y1,y2,...,yt},然后再进行归一化,以消除不同特征对图像的影响。
BOF模型[Sivic J,Zisserman A.Video google:A Text Retrieval Approach to ObjectMatching in Videos[C]//Proceedings of IEEE International Conference on ComputerVision,2003.Nice,France:IEEE Computer Society,2003:1470-1477.]是比较经典的局部特征提取方法,它采用硬指派方法对局部描述子进行编码,缺点是忽略了局部特征的空间位置排列信息。由于遥感图像地物信息极其丰富,视觉词包模型在编码过程中只能将特征描述子分配给最邻近的一个视觉词,这样容易丢失遥感图像的重要信息,因此本发明优选采用基于稀疏编码的空间金子塔匹配模型特征(以下简称ScSPM特征)来保留遥感图像更多的局部信息。
稀疏编码是一种模拟哺乳动物的视觉系统主视皮层V1区简单细胞感受野的人工神经网络方法,也是目前比较流行的基于表现属性的图像表示方法。该方法广泛用于图像去噪、图像恢复、图像分割等领域,具有空间局部性、方向性和频域带通性,是一种自适应图像统计方法。稀疏编码的过程是基于过完备字典来选择少量原子信号对原始信号进行重建,过完备字典作为所有信号的表示基础,能尽可能的包含更多、更全面的信息。稀疏编码作为一种硬指派量化改进方法,显著提高了硬指派量化性能以及硬指派编码问题的鲁棒性。本实施例中所采用的ScSPM特征提取方法如下:
(1)从密集的网格图像中提取SIFT描述符,利用稀疏编码方法对SIFT特征进行编码,其目标函数为:
min Σ m = 1 M | | x m - u m V | | 2 + λ | u m | s . t . | | V k | | ≤ 1 , ∀ k = 1,2 , . . . K - - - ( 3 )
其中Xd×N=(x1,x2,...,xm,...,xN)代表局部特征描述子集合,且xm∈Rd,d表示特征的维数,N表示局部特征的个数;M表示视觉单词的个数,um表示特征描述子xm的编码向量。U=(u1,u2,...,uN)代表局部特征描述子编码的集合。
稀疏编码过程分为训练和编码阶段。在训练阶段:从图像块中随机采集一组描述符X通过交替优化U和V来求解等式(3),其中V作为码本;在编码阶段:每幅图像用一组描述符x表示,通过优化等式(3)中的U来得到稀疏编码。在对等式(3)进行优化时,当固定U、V为变量时该等式为凸函数;在V固定U为变量时该等式也为凸函数,但这两种情况不能同时存在,本实施例中通过交替优化V或U(固定另一个)这种迭代方法来解决的。优化方法如下:
①固定V,求解U的最优化问题可以通过单独求解每一个um系数来解决。
min u m | | x m - V u m | | 2 2 + λ | u m | - - - ( 4 )
②固定U,求解V的问题可以被简化为二次约束最小二乘问题,通过拉格朗日对偶方法解决。
min V | | X - VU | | F 2 s . t . | | V k | | ≤ 1 , ∀ k = 1,2 , . . . , K - - - ( 5 )
在稀疏编码特征提取中,通过等式(4)和(5)进行迭代运算,直到收敛。
(2)编码后再采用预先选好的汇集函数计算图像特征,我们定义函数F为从U到Z的映射z=f(U),其中码本V是预先已经学习并且已经固定的,汇集函数定义在U的每一列上,本实施例中将汇集函数定义为绝对稀疏编码的最大汇集函数:
Z j = max { | u 1 j | , | u 2 j | , . . . , | u Mj | } - - - ( 6 )
其中Zj是Z的第j个元素,Uij是U矩阵的第i行j列元素,M是在一个划分子区域里面的局部特征描述子的数目。与空间金字塔匹配模型相似,通过对图像进行多尺度的划分,并且计算每个划分尺度下每个子区域里面的Z值,最后进行连接即可得到图像的表示。
利用特征点分布均匀的训练样本图像的全局特征训练一个分类器,利用特征点分布不均匀的训练样本图像的ScSPM特征训练另一个分类器,可分别记为分布均匀分类器和分布不均匀分类器。
本实施例的测试阶段的流程如图3所示,包括以下步骤:
步骤3、提取测试样本图像的局部不变特征,并根据局部不变特征点在图像中的密度分布情况将测试样本图像分为特征点分布均匀和特征点分布不均匀这两类。
先对测试样本图像提取SIFT点,然后根据训练阶段得到的总体视觉词袋,找出图像中含有与该总体视觉词袋中视觉单词对应的SIFT特征点,即为该幅图像的重要特征点;与训练阶段相同,将每幅图像划分为若干64*64像素的互不重叠子图像块,统计每个图像块中重要特征点的数目分别记为ns(其中s为图像块标号且1≤s≤9),对每幅图像,分别计算若ps均满足ps∈[0.06,0.16]这个范围,则判断该幅图像特征点分布均匀,否则为分布不均匀。
步骤4、提取特征点分布均匀的测试样本图像的全局特征,利用第一分类器对其进行分类;提取特征点分布不均匀的测试样本图像的局部特征,利用第二分类器进行分类。
对于特征点分布均匀的测试样本图像,按照与训练阶段相同的全局特征提取方法提取其全局特征,然后将提取出的全局特征输入分布均匀分类器,即可得到该测试图像的场景类别。对于特征点分布不均匀的测试样本图像,提取其ScSPM特征,并输入分布不均匀分类器,得到该测试图像的场景类别。
为了验证本发明方法的效果,进行了以下验证实验。
本发明算法实现的电脑配置为i5处理器、64位操作系统;算法实现环境为Matlab2010b和Visual C++6.0。
实验采用的图像数据集是国际上公共的大型遥感图像分类测试数据集[YangYi,Shawn N.Spatial pyramid co-occurrence for image classification[C]//IEEE InternationalConference on Computer Vision.2011:1465-1472.],它涵盖自然与人工场景共21种类别,每种类别图像的数目为100,全部为彩色图像,图像的平均尺寸大小为256*256像素,这些图像从United States Geological Survey(美国地质勘探局)处下载,其中包括的场景有:农田、飞机、棒球场、海滨、建筑物、丛林、密集住宅区、森林、高速公路、高尔夫球场、港口、十字路口、中密度住宅区、活动房、天桥、停车场、河流、跑道、稀疏住宅区、储油罐、网球场。这些图像反映了每类场景图像的不同情景,并具有良好的代表性。在下面实验中,若无特别说明,从每类中随机提取80幅图像作为训练样本,剩下的20幅图像作为测试样本。
实验中采用直方图相交核作为颜色直方图的核函数,采用径向基函数(RBF)作为纹理特征的核函数,ScSPM则采用线性核函数。
从每一类别中提取80幅图像作为训练样本,利用支持向量机进行训练,剩余20幅图像作为测试样本。各个特征具体参数设置如下:Color颜色直方图特征向量维数为512;Gabor纹理特征向量维数为60维;ScSPM特征向量维数为21504维,分别利用这三种单一图像特征以及利用本发明方法进行分类。
根据分类结果可以看出,颜色直方图特征在建筑物、高尔夫球场、河流分类问题中的分类正确率较其他类别高。在农田、高速公路、十字路口和立交桥分类问题上,颜色直方图方法表现很差。
Gabor纹理特征在农田、灌木丛、中密度住宅区分类问题中的分类精度较其他类别高。在建筑物、停车场、河流分类问题上Gabor方法表现很差。
ScSPM特征在飞机、棒球场、海滨、森林、十字路口、立交桥和停车场等分类问题中表现最好。在建筑物、高尔夫球场分类问题中表现略差。
虽然每一种特征都有其表现较好的几类,但是总体平均分类精度都不高,不能够满足实际中分类精度的要求。
而本发明的分类方法,除了飞机、森林、高尔夫球场、十字路口、停车场和跑道类别外,对于其他类别的分类精度均比单一特征的最大分类精度高,这充分说明了对每一个样本图像,不同特征之间存在互补性。本发明方法对于海滨和港口分类问题的分类性能最好,达到了100%,对于除了建筑物、高尔夫球场、中密度住宅区、活动房、稀疏住宅区、储油罐和网球场类之外的其他类别的分类精度均高于90%。
图4显示了单一特征和本发明方法的五次平均分类精度对比性能曲线图,从图中可以看出,本发明方法的总体平均分类精度最高,达到90.1%。良好的分类精度证明了本文算法更具有鲁棒性。
表1给出了本发明方法与几种常见特征融合方法的分类精度对比。从表1中可以看出本发明方法显著优于多数投票法和完全一致法,且比加权综合法高2%,说明了本发明方法具有有效性。
表1本发明方法与各种融合方法分类精度对比
ScSPM稀疏特征提取和分类是目前各种特征表示中最好的方法之一,但时间复杂度较大,本发明通过分层分类的策略不仅提高了分类精度,而且降低了整体分类的时间复杂度。单特征ScSPM与本发明方法对分布不均匀的类别提取ScSPM特征和预测分类的时间性能比较结果如表2。
表2单特征ScSPM与本发明方法中对分布不均匀的类别提取ScSPM特征以及预测分类的时间性能对比
从表2中可以看出,本发明方法的时间性能较单特征ScSPM好。

Claims (10)

1.一种遥感图像场景分类方法,包括训练阶段和测试阶段;其特征在于,
所述训练阶段包括以下步骤:
步骤1、提取各训练样本图像的局部不变特征,并根据局部不变特征点在图像中的密度分布情况将训练样本图像分为特征点分布均匀和特征点分布不均匀这两类;
步骤2、提取特征点分布均匀的训练样本图像的全局特征,并对一个分类器进行训练,得到第一分类器;提取特征点分布不均匀的训练样本图像的局部特征,并对另一个分类器进行训练,得到第二分类器;
所述测试阶段包括以下步骤:
步骤3、提取测试样本图像的局部不变特征,并根据局部不变特征点在图像中的密度分布情况将测试样本图像分为特征点分布均匀和特征点分布不均匀这两类;
步骤4、提取特征点分布均匀的测试样本图像的全局特征,利用第一分类器对其进行分类;提取特征点分布不均匀的测试样本图像的局部特征,利用第二分类器进行分类。
2.如权利要求1所述遥感图像场景分类方法,其特征在于,所述全局特征为相互串接并归一化的颜色特征和纹理特征。
3.如权利要求2所述遥感图像场景分类方法,其特征在于,所述颜色特征为HSL色彩空间的颜色直方图特征,所述纹理特征为Gabor纹理特征。
4.如权利要求1所述遥感图像场景分类方法,其特征在于,所述局部特征为基于稀疏编码的空间金子塔匹配模型特征。
5.如权利要求1所述遥感图像场景分类方法,其特征在于,具体通过以下方法将图像分为特征点分布均匀和特征点分布不均匀这两类:
对于训练样本图像,将图像分为一组互不重叠的图像块,并判断局部不变特征点在这些图像块中的分布方差是否大于预设的方差阈值,如是,则将该图像初步判定为特征点分布不均匀;反之,则初步判定为特征点分布均匀;对于每一类场景的所有训练样本图像,如其中被初步判定为特征点分布均匀的图像所占比例达到或超过预设的比例下限值,则将该类场景的所有训练样本图像划为特征点分布均匀的一类,否则,将该类场景的所有训练样本图像划为特征点分布不均匀的一类;所述比例下限值的取值范围为[0.8,1);
对于测试样本图像,将图像分为一组互不重叠的图像块,并判断局部不变特征点在这些图像块中的分布方差是否大于预设的方差阈值,如是,则将该图像划为特征点分布不均匀的一类;反之,则为特征点分布均匀的一类。
6.如权利要求1所述遥感图像场景分类方法,其特征在于,具体通过以下方法将图像分为特征点分布均匀和特征点分布不均匀这两类:
对于训练样本图像,将图像分为一组互不重叠的图像块,并统计各图像块中所包含的局部不变特征点数量,如所包含局部不变特征点数量在预设范围内的图像块在该图像所有图像块中所占的比例大于预设的比例阈值,则将该图像初步判定为特征点分布均匀的一类;反之,则初步判定为特征点分布不均匀的一类;对于每一类场景的所有训练样本图像,如其中被初步判定为特征点分布均匀的图像所占比例达到或超过预设的比例下限值,则将该类场景的所有训练样本图像划为特征点分布均匀的一类,否则,将该类场景的所有训练样本图像划为特征点分布不均匀的一类;所述比例下限值的取值范围为[0.8,1);
对于测试样本图像,将图像分为一组互不重叠的图像块,并统计各图像块中所包含的局部不变特征点数量,如所包含局部不变特征点数量在预设范围内的图像块在该图像所有图像块中所占的比例大于预设的比例阈值,则将该图像划为特征点分布均匀的一类;反之,则划为特征点分布不均匀的一类。
7.如权利要求1所述遥感图像场景分类方法,其特征在于,具体通过以下方法将图像分为特征点分布均匀和特征点分布不均匀这两类:
对于训练样本图像,首先建立训练样本图像初始的视觉词袋并得到每一幅训练样本图像的初始视觉词袋特征表示;然后从每一类场景的所有训练样本图像的视觉单词中选出出现频次最大的前N个视觉单词,N为预设的范围为20~50的整数;以所选出的所有视觉单词构成新的视觉词袋;从每幅训练样本图像中选出与新的视觉词袋中的视觉单词对应的局部不变特征点,作为该幅图像的重要特征点;将每幅图像分为一组互不重叠的图像块,对每一幅图像,判断是否其中每个图像块中的重要特征点数目与该幅图像中重要特征点总数之比均在                                                范围内,如是,则初步判定该幅图像为特征点分布均匀的一类,否则初步判定该幅图像为分布不均匀的一类;最后,对于每一类场景的所有训练样本图像,如其中被初步判定为特征点分布均匀的图像所占比例达到或超过预设的比例下限值,则将该类场景的所有训练样本图像划为特征点分布均匀的一类,否则,将该类场景的所有训练样本图像划为特征点分布不均匀的一类;所述比例下限值的取值范围为[0.8,1);
对于测试样本图像,首先从每幅测试样本图像中选出与所述新的视觉词袋中的视觉单词对应的局部不变特征点,作为该幅图像的重要特征点;将每幅图像分为一组互不重叠的图像块,对每一幅图像,判断是否其中每个图像块中的重要特征点数目与该幅图像中重要特征点总数之比均在范围内,如是,则将该幅图像划为特征点分布均匀的一类,否则将该幅图像划为分布不均匀的一类。
8.如权利要求5~7任一项所述遥感图像场景分类方法,其特征在于,所述图像块的大小为64*64像素。
9.如权利要求5~7任一项所述遥感图像场景分类方法,其特征在于,所述比例下限值为0.9。
10.如权利要求1所述遥感图像场景分类方法,其特征在于,所述分类器为支持向量机,所述局部不变特征为SIFT特征。
CN201510038379.XA 2015-01-26 2015-01-26 一种遥感图像场景分类方法 Expired - Fee Related CN104680173B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201510038379.XA CN104680173B (zh) 2015-01-26 2015-01-26 一种遥感图像场景分类方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201510038379.XA CN104680173B (zh) 2015-01-26 2015-01-26 一种遥感图像场景分类方法

Publications (2)

Publication Number Publication Date
CN104680173A true CN104680173A (zh) 2015-06-03
CN104680173B CN104680173B (zh) 2018-04-27

Family

ID=53315190

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201510038379.XA Expired - Fee Related CN104680173B (zh) 2015-01-26 2015-01-26 一种遥感图像场景分类方法

Country Status (1)

Country Link
CN (1) CN104680173B (zh)

Cited By (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105654098A (zh) * 2016-03-23 2016-06-08 深圳大学 一种高光谱遥感图像的分类方法及其系统
CN105740824A (zh) * 2016-02-01 2016-07-06 福建师范大学 一种具有抗特征冲突的人口密集区识别方法
CN105894030A (zh) * 2016-04-01 2016-08-24 河海大学 基于分层多特征融合的高分辨率遥感图像场景分类方法
CN106250909A (zh) * 2016-07-11 2016-12-21 南京邮电大学 一种基于改进视觉词袋模型的图像分类方法
CN106250828A (zh) * 2016-07-22 2016-12-21 中山大学 一种基于改进的lbp算子的人群计数方法
CN106919919A (zh) * 2017-02-28 2017-07-04 西安电子科技大学 一种基于多特征融合词包模型的sar目标鉴别方法
CN107480620A (zh) * 2017-08-04 2017-12-15 河海大学 基于异构特征融合的遥感图像自动目标识别方法
CN108229451A (zh) * 2018-03-19 2018-06-29 河海大学 一种基于类间识别力特征的遥感场景分类方法
CN108805022A (zh) * 2018-04-27 2018-11-13 河海大学 一种基于多尺度centrist特征的遥感场景分类方法
CN110705653A (zh) * 2019-10-22 2020-01-17 Oppo广东移动通信有限公司 图像分类方法、图像分类装置及终端设备
CN110807485A (zh) * 2019-10-31 2020-02-18 电子科技大学 基于高分遥感影像二分类语义分割图融合成多分类语义图的方法
CN111695577A (zh) * 2020-06-12 2020-09-22 哈尔滨理工大学 一种多特征融合的安全帽跟踪算法
CN111985389A (zh) * 2020-08-18 2020-11-24 中国电建集团成都勘测设计研究院有限公司 一种基于流域属性距离的流域相似判别方法
CN111985494A (zh) * 2020-07-07 2020-11-24 深圳大学 一种基于轻量化车载终端的道路病害检测及分类方法
CN115861822A (zh) * 2023-02-07 2023-03-28 海豚乐智科技(成都)有限责任公司 一种目标局部点与全局结构化匹配方法及装置

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102622607A (zh) * 2012-02-24 2012-08-01 河海大学 一种基于多特征融合的遥感图像分类方法
CN103020647A (zh) * 2013-01-08 2013-04-03 西安电子科技大学 基于级联的sift特征和稀疏编码的图像分类方法
CN103413142A (zh) * 2013-07-22 2013-11-27 中国科学院遥感与数字地球研究所 一种基于二维小波分解及视觉词包模型的遥感图像土地利用场景分类方法
CN104252625A (zh) * 2013-06-28 2014-12-31 河海大学 样本自适应多特征加权的遥感图像分类方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102622607A (zh) * 2012-02-24 2012-08-01 河海大学 一种基于多特征融合的遥感图像分类方法
CN103020647A (zh) * 2013-01-08 2013-04-03 西安电子科技大学 基于级联的sift特征和稀疏编码的图像分类方法
CN104252625A (zh) * 2013-06-28 2014-12-31 河海大学 样本自适应多特征加权的遥感图像分类方法
CN103413142A (zh) * 2013-07-22 2013-11-27 中国科学院遥感与数字地球研究所 一种基于二维小波分解及视觉词包模型的遥感图像土地利用场景分类方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
YI YANG 等: ""Spatial pyramid co-occurrence for image classification"", 《COMPUTER VISION (ICCV), 2011 IEEE INTERNATIONAL CONFERENCE ON》 *

Cited By (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105740824A (zh) * 2016-02-01 2016-07-06 福建师范大学 一种具有抗特征冲突的人口密集区识别方法
CN105654098A (zh) * 2016-03-23 2016-06-08 深圳大学 一种高光谱遥感图像的分类方法及其系统
WO2017161892A1 (zh) * 2016-03-23 2017-09-28 深圳大学 一种高光谱遥感图像的分类方法及其系统
CN105654098B (zh) * 2016-03-23 2019-12-27 深圳大学 一种高光谱遥感图像的分类方法及其系统
CN105894030B (zh) * 2016-04-01 2019-02-19 河海大学 基于分层多特征融合的高分辨率遥感图像场景分类方法
CN105894030A (zh) * 2016-04-01 2016-08-24 河海大学 基于分层多特征融合的高分辨率遥感图像场景分类方法
CN106250909A (zh) * 2016-07-11 2016-12-21 南京邮电大学 一种基于改进视觉词袋模型的图像分类方法
CN106250828A (zh) * 2016-07-22 2016-12-21 中山大学 一种基于改进的lbp算子的人群计数方法
CN106250828B (zh) * 2016-07-22 2019-06-04 中山大学 一种基于改进的lbp算子的人群计数方法
CN106919919A (zh) * 2017-02-28 2017-07-04 西安电子科技大学 一种基于多特征融合词包模型的sar目标鉴别方法
CN107480620B (zh) * 2017-08-04 2020-06-16 河海大学 基于异构特征融合的遥感图像自动目标识别方法
CN107480620A (zh) * 2017-08-04 2017-12-15 河海大学 基于异构特征融合的遥感图像自动目标识别方法
CN108229451A (zh) * 2018-03-19 2018-06-29 河海大学 一种基于类间识别力特征的遥感场景分类方法
CN108805022A (zh) * 2018-04-27 2018-11-13 河海大学 一种基于多尺度centrist特征的遥感场景分类方法
CN110705653A (zh) * 2019-10-22 2020-01-17 Oppo广东移动通信有限公司 图像分类方法、图像分类装置及终端设备
CN110807485B (zh) * 2019-10-31 2022-05-03 电子科技大学 基于高分遥感影像二分类语义分割图融合成多分类语义图的方法
CN110807485A (zh) * 2019-10-31 2020-02-18 电子科技大学 基于高分遥感影像二分类语义分割图融合成多分类语义图的方法
CN111695577A (zh) * 2020-06-12 2020-09-22 哈尔滨理工大学 一种多特征融合的安全帽跟踪算法
CN111985494A (zh) * 2020-07-07 2020-11-24 深圳大学 一种基于轻量化车载终端的道路病害检测及分类方法
CN111985494B (zh) * 2020-07-07 2023-12-22 深圳大学 一种基于轻量化车载终端的道路病害检测及分类方法
CN111985389A (zh) * 2020-08-18 2020-11-24 中国电建集团成都勘测设计研究院有限公司 一种基于流域属性距离的流域相似判别方法
CN111985389B (zh) * 2020-08-18 2023-05-16 中国电建集团成都勘测设计研究院有限公司 一种基于流域属性距离的流域相似判别方法
CN115861822A (zh) * 2023-02-07 2023-03-28 海豚乐智科技(成都)有限责任公司 一种目标局部点与全局结构化匹配方法及装置

Also Published As

Publication number Publication date
CN104680173B (zh) 2018-04-27

Similar Documents

Publication Publication Date Title
CN104680173B (zh) 一种遥感图像场景分类方法
CN102622607B (zh) 一种基于多特征融合的遥感图像分类方法
Li et al. Integrating multilayer features of convolutional neural networks for remote sensing scene classification
CN112861978B (zh) 一种基于注意力机制的多分支特征融合遥感场景图像分类方法
CN107609601B (zh) 一种基于多层卷积神经网络的舰船目标识别方法
Guo et al. Global-local attention network for aerial scene classification
CN103942564B (zh) 基于非监督特征学习的高分辨率遥感影像场景分类方法
CN111767800B (zh) 遥感影像场景分类得分融合方法、系统、设备及存储介质
CN102496034B (zh) 基于直线单词的高空间分辨率遥感图像词袋分类方法
CN112883839B (zh) 基于自适应样本集构造与深度学习的遥感影像解译方法
CN106991382A (zh) 一种遥感场景分类方法
CN105894030B (zh) 基于分层多特征融合的高分辨率遥感图像场景分类方法
CN105139028A (zh) 基于分层稀疏滤波卷积神经网络的sar图像分类方法
CN104091321A (zh) 适用于地面激光雷达点云分类的多层次点集特征的提取方法
CN112232151B (zh) 一种嵌入注意力机制的迭代聚合神经网络高分遥感场景分类方法
CN102646200A (zh) 多分类器自适应权值融合的影像分类方法及系统
CN106156798B (zh) 基于环形空间金字塔和多核学习的场景图像分类方法
Mei et al. Remote sensing scene classification using sparse representation-based framework with deep feature fusion
CN112488050A (zh) 一种结合颜色与纹理的航拍影像场景分类方法和系统
CN104252625A (zh) 样本自适应多特征加权的遥感图像分类方法
Xu et al. Multi-structure joint decision-making approach for land use classification of high-resolution remote sensing images based on CNNs
CN107092884A (zh) 一种快速粗精级联行人检测方法
Jiang et al. Focal-test-based spatial decision tree learning: A summary of results
CN109784237A (zh) 基于迁移学习的残差网络训练的场景分类方法
CN111414958B (zh) 一种视觉词袋金字塔的多特征图像分类方法及系统

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20180427

Termination date: 20190126