CN104517120A - 基于多路分层正交匹配的遥感图像场景分类方法 - Google Patents

基于多路分层正交匹配的遥感图像场景分类方法 Download PDF

Info

Publication number
CN104517120A
CN104517120A CN201410733535.XA CN201410733535A CN104517120A CN 104517120 A CN104517120 A CN 104517120A CN 201410733535 A CN201410733535 A CN 201410733535A CN 104517120 A CN104517120 A CN 104517120A
Authority
CN
China
Prior art keywords
image
remote sensing
classification
obtains
scene image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201410733535.XA
Other languages
English (en)
Other versions
CN104517120B (zh
Inventor
王爽
焦李成
鲍珍珍
刘红英
熊涛
马文萍
马晶晶
梁建华
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xidian University
Original Assignee
Xidian University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xidian University filed Critical Xidian University
Priority to CN201410733535.XA priority Critical patent/CN104517120B/zh
Publication of CN104517120A publication Critical patent/CN104517120A/zh
Application granted granted Critical
Publication of CN104517120B publication Critical patent/CN104517120B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/24Classification techniques
    • G06F18/241Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2411Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on the proximity to a decision surface, e.g. support vector machines
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/21Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214Generating training patterns; Bootstrap methods, e.g. bagging or boosting

Landscapes

  • Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Image Analysis (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

本发明公开了一种基于多路分层匹配追踪算法的遥感图像场景分类方法,主要解决现有技术分类精度不高的问题,其实现步骤为:(1)分别建立对遥感场景图像进行分类的训练集和测试集;(2)采用五种不同的滑窗对图像进行密集采样,得到图像采样点;(3)用K-SVD算法字典学习;(4)对图像采样点进行稀疏编码;(5)对图像进行块最大池化;(6)针对不同滑窗得到的图像块大小,分别建立第二层或第三层特征学习过程;(7)用金字塔模型和最大池化得到图像特征向量;(8)用半监督的支持向量机进行分类。本发明充分利用图像本身的信息建立了不同层次不同路径的特征学习过程,可用于遥感图像的场景检测和目标识别。

Description

基于多路分层正交匹配的遥感图像场景分类方法
技术领域
本发明属于图像处理技术领域,涉及遥感图像场景分类,可用于对遥感图像场景检测和图像检索。
背景技术
随着计算机网络技术和多媒体技术的迅速发展,遥感图像场景分类已经成为图像理解中一个非常重要的研究领域,已经在图像检索、计算机视觉和目标识别等领域中得到广泛应用。遥感图像场景分类是根据图像内容图像进行自动标注的一种技术,根据学习的特征类型分类为基于底层特征的方法和基于中层特征的方法两类。基于底层特征的方法主要有基于颜色、纹理和形状进行分类的方法;基于中层特征的方法是通过对场景图像进行建模来达到分类的目的。因为基于底层特征的分类方法是对图像的底层信息进行全局统计建模,虽然时间复杂度较低,但对场景稍微复杂的图像分类效果很差,所以近年来得到广泛应用的是基于中层特征的分类方法。
经典的遥感图像场景分类方法包括:
Vogel等人提出的基于语义概念进行建模的方法。该方法首先将局部图像区域分类到一定的语义概念中,然后根据这些语义概念在图像中出现的频率描述图像。但此方法为了得到预定义的语义概念模型,往往需要大量的人工标记样本。
Oliva和Torralba提出了基于全局语义属性的分类方。该方法中作者运用图像的底层特征主观设计了一组视觉感知属性(如:自然度、宽阔度、粗糙度、伸展度和险峻度等)来描述场景的主要空间结构,然后通过这些空间结构对图像进行分类。该方法的缺陷是图像视觉感知属性的定义带主观色彩,适应性较差。
Lifeifei等人提出了基于兴趣点的局部映射的方法。该方法通过在图像中自动地检测出感兴趣点,并采用局部描述子对这些感兴趣点进行描述,然后建立局部描述子到某种局部语义概念的映射,从而构建中层语义模型,最终达到图像场景分类的目的。该方法的基本思想和经典的文本分类模型Bag-of-words很相似。现在已有很多基于Bag-of-words模型的遥感场景分类方法,主要思想是先提取图像的局部描述子,通过聚 类等算法得到字典,再用稀疏编码的方法对图像局部块进行编码,最后通过池化策略得到图像特征向量。现有的经典稀疏编码方法如LLC稀疏编码,见参考文献J.Wang,J.Yang,K.Yu,F.Lv,T.Huang,and Y.Gong.Locality-constrained linear coding for image classification.CVPR 2010;LSC稀疏编码方法,见参考文献Lingqiao Liu,Lei Wang,Xinwang Liu,“In defense of soft-assignment coding”,in ICCV,2011,pp.2486-2493.这两种方法均是通过对Hard编码改进得到,Hard编码是用字典中和局部描述子距离最近的一个原子去重构该描述子,这样的紧约束会导致较大的重构误差并且对局部描述子的表示欠灵活;LLC编码则是找到和描述子最近的K个原子重构该描述子,弥补了Hard编码的缺陷;LSC是找到和描述子最近的K个原子,然后建立这K个原子和待重构的描述子之间的距离关系,得到稀疏编码,较LLC时间复杂度低。
发明内容
本发明的目的在于针对已有技术的不足,提出一种基于多路分层正交匹配追踪的遥感图像场景分类方法,以提高分类的准确度。
为实现上述目的,本发明包括如下步骤:
(1)分别建立对遥感场景图像进行分类的训练集和测试集;
(1a)根据需要将遥感场景图像数据集定义为N类,类别编号分别为1~N;
(1b)在每一类遥感场景图像中随机选择80幅图像组成对遥感场景图像进行分类的训练集,其余图像为遥感场景图像分类的测试集;
(2)取大小为W1×W1的滑窗对遥感场景图像分类的训练集和遥感场景图像分类的测试集的每一幅RGB图像进行密集采样,建立单层特征学习过程P1,得到图像特征向量F1;
(3)取大小为W2×W2的滑窗对遥感场景图像分类的训练集和遥感场景图像分类的测试集的每一幅RGB图像的灰度图像进行密集采样,建立两层特征学习过程P2,得到图像特征向量F2;
(4)取大小为W3×W3的滑窗同步骤(2)进行处理,建立单层特征学习过程P3,得到图像特征向量F3;
(5)取大小为W4×W4的滑窗同步骤(3)进行处理,建立两层特征学习过程P4,得到图像特征向量F4;
(6)取大小为W5×W5的滑窗对遥感场景图像分类的训练集和遥感场景图像分类的测试集的每一幅RGB图像的灰度图像进行密集采样,建立三层特征学习过程P5,得到图像特征向量F5;
(7)将遥感场景图像分类的训练集和遥感场景图像分类的测试集的每一幅图像的特征向量F1、F2、F3、F4和F5依次连接构成图像最终的特征向量,然后用半监督的支持向量机(Semi-Supervised Support Vector Machine,S3VM)分类器进行分类。
本发明具有如下优点:
1.本发明是从原图像块直接学习字典,代替了传统遥感图像场景分类方法从原图像块先提取特征描述子然后再学习字典的过程,直接从不同大小的图像块学习字典可以充分运用图像本身的信息,突破了传统遥感图像场景分类方法中局部图像块描述子对整个算法的性能限制。
2.本发明基于不同大小的图像块建立不同层次不同路径的特征学习过程,和传统遥感图像场景分类方法的单层单路径特征学习过程相比,本发明学习到的遥感图像特征包含的信息更丰富,可分辨度更高。
附图说明
图1是本发明的总体流程图;
图2是本发明的详细流程图;
图3是数据集样例。
具体实施方式
参照图2,本发明的具体实现步骤如下:
步骤1,分别建立对遥感场景图像进行分类的训练集和测试集;
(1a)根据需要将遥感场景图像数据集定义为N类,类别编号分别为1~N;
(1b)在每一类遥感场景图像中随机选择80幅图像组成对遥感场景图像进行分类的训练集,其余图像为遥感场景图像分类的测试集;
步骤2,取大小为W1×W1的滑窗对遥感场景图像分类的训练集和遥感场景图像分类的测试集的每一幅RGB图像进行密集采样,建立单层特征学习过程P1,得到图像特征向量F1;
(2a)取大小为W1×W1(8×8)的滑窗对遥感场景图像分类的训练集和遥感场景图像 分类的测试集的每一幅RGB图像进行密集采样,采样步长为1个像素,得到采样点集合SP1;
(2b)在遥感场景图像分类的训练集的每一幅图像的采样点集合SP1中随机选取N1(N1=50)个组成字典的学习样本集合Y1=[y1,y2,...,yn](n=N×N1×80,其中N为步骤(1a)中定义的类别数),设置字典大小为DS1(经验值为1000),然后用K-SVD算法学习得到字典D1;
(2b1)建立的K-SVD算法的模型如下:
x ^ = arc min x | | y i - Dx i | | 2 2 + μ | | x i | | 0
其中yi为学习样本,xi为稀疏系数,xi的集合构成系数矩阵X,‖xi0为xi的零范数, 为学习样本yi的稀疏编码,D=[d1,d2,...,dN]为字典,‖·‖2表示2范数,μ为稀疏因子;
(2b2)固定字典D,计算重构信号yi对应的系数矩阵X;
(2b3)固定系数矩阵X,按列更新字典
假设先固定系数矩阵X和字典D,将系数矩阵X中对应字典D的第k列dk的第k行表示如下,其中T表示转置:
| | Y - DX | | = | | Y - Σ j = 1 K d j x T j | | F 2 = | | ( Y - Σ j ≠ k d j x T j ) - d k x T k | | F 2 = | | E k - d k x T k | | F 2
其中表示在字典D中去掉dk对其他样本造成的误差;
(2b4)对字典D的第k列dk对应的X的第k行做变换,保留系数的非零项得到 
(2b5)将字典D的第k列dk与(2b4)中得到的相乘,记录下非零项的位置p;
(2b6)对误差Ek做变换,保留p位置上的项,得到
(2b7)对进行SVD分解,得到dk的更新值,然后更新dk
迭代步骤(2b2)~步骤(2b7),直到重构误差达到设定的阈值(一般取0.001~1)停止迭代,得到最终的字典;
迭代步骤(2b2)~步骤(2b7),直到重构误差达到设定的阈值(一般取0.001~1)停止迭代,得到最终的字典;
步骤(3b)、步骤(3f)、步骤(4b)、步骤(5b)、步骤(5f)、步骤(6b)、步骤(6f)和步骤(6j)中所述用K-SVD训练得到字典过程均按上述步骤执行;
(2c)用字典D1和正交匹配追踪算法(Orthogonal Matching Pursuit(OMP))对遥感场景图像分类的训练集和遥感场景图像分类的测试集的每一幅图像的采样点集合SP1进行稀疏编码,得到稀疏编码集合SC1;
(2c1)建立的OMP算法的模型如下:
x ^ = min | | x | | 0 , s . t . | | Dx - y | | 2 2 < &xi; ,
其中x为稀疏信号,为x的稀疏逼近信号,‖x‖0表示x的零范数,D为字典,y为在基矩阵D下稀疏信号x的采样向量,‖·‖2表示2范数,ξ为误差常数。
(2c2)输入参数基矩阵D,系数向量y,稀疏度K;设置残差r0=y,索引集(空集),t=1,t为迭代次数;
(2c3)计算残差r和基矩阵D中di(i=1,...,N)的内积的最大值对应的di的下标λ,计算公式为:λ=argmaxi=1...N|(rt-1,di)|;
(2c4)更新索引集Λt=Λt-1∪{λt},记录得到的基矩阵中的重构原子集合  D t = [ D t - 1 , d &lambda; t ] ;
(2c5)由最小二乘法计算得到
(2c6)更新残差并令t=t+1;
(2c7)判断是否满足t>K,若满足,则停止迭代;若不满足,则执行步骤(2c3);
步骤(3c)、步骤(3g)、步骤(4c)、步骤(5c)、步骤(5g)、步骤(6c)、步骤(6g)和步骤(6k)中所述OMP算法执行过程均按上述步骤执行;
(2d)对遥感场景图像分类的训练集和遥感场景图像分类的测试集的每一幅图像的稀疏编码集合SC1,取池化单元大小为C1×C1(4×4),求每一个池化单元中模值最大的稀疏编码,此稀疏编码即为该单元的池化向量,从而得到池化向量集合PC1;
(2e)对遥感场景图像分类的训练集和遥感场景图像分类的测试集的每一幅图像的池化向量集合PC1,运用空间金字塔模型(Spatial Pyramid Matching(SPM))和最大池 化方法进行池化,得到每一幅图像的特征向量F1;
(2e1)按金字塔模型将每一幅图像划分为三个等级,即L1、L2、L3,其中L1、L2、L3等级分别将图像均匀划分为M1×M1(1×1)个图像块,即原图像、M2×M2(2×2)个图像块、M3×M3(3×3亦或4×4)个图像块,总计M1×M1+M2×M2+M3×M3个图像块;
(2e2)在每一幅图像的M1×M1+M2×M2+M3×M3个图像块中分别求得模值最大的池化向量,并依次连接构成最终的图像特征向量F1;
步骤(3i)、步骤(4e)、步骤(5i)、步骤(6m)中所述用SPM和最大池化方法得到每一幅图像的特征向量过程均按上述步骤进行。
步骤3,取大小为W2×W2的滑窗对遥感场景图像分类的训练集和遥感场景图像分类的测试集的每一幅RGB图像的灰度图像进行密集采样,建立两层特征学习过程P2,得到图像特征向量F2;
(3a)取大小为W2×W2(5×5)的滑窗对遥感场景图像分类的训练集和遥感场景图像分类的测试集的每一幅RGB图像的灰度图像进行密集采样,采样步长为1个像素,得到第一层的采样点集合SP21;
(3b)同步骤(2b)进行处理,设置字典大小为DS21(经验值为60),得到第一层字典D21;
(3c)对遥感场景图像分类的训练集和遥感场景图像分类的测试集的每一幅图像的第一层的采样点集合SP21,用字典D21和OMP算法进行编码,得到稀疏编码集合SC21;
(3d)同步骤(2d)进行处理,得到图像的第一层特征集合F21;
(3e)用大小为C21×C21(4×4)的窗口对遥感场景图像分类的训练集和遥感场景图像分类的测试集的每一幅图像的第一层特征集合F21进行密集采样,采样步长为1个像素,得到第二层的采样点集合SP22;
(3f)在遥感场景图像分类的训练集的每一幅图像的第二层采样点集合SP22中随机选取N22(N22=20)个组成字典的学习样本集合Y22=[y1,y2,...,ym](m=N×N22×80,其中N为步骤(1a)中定义的类别数),设置字典大小为DS22(经验值为1000),然后通过K-SVD算法学习得到第二层字典D22;
(3g)用字典D22和OMP算法对遥感场景图像分类的训练集和遥感场景图像分类的测试集的每一幅图像的第二层采样点集合SP22进行稀疏编码,得到稀疏编码集合SC22;
(3h)对遥感场景图像分类的训练集和遥感场景图像分类的测试集的每一幅图像的稀疏编码集合SC22,取池化单元为C22×C22(1×1),求每一个池化单元中模值最大的稀疏编码,此稀疏编码即为该单元的池化向量,从而得到每一幅图像的第二层特征集合F22;
(3i)同步骤(2e)进行处理,得到每一幅图像的特征向量F2。
步骤4,取大小为W3×W3的滑窗同步骤(2)进行处理,建立单层特征学习过程P3,得到图像特征向量F3;
(4a)取大小为W3×W3(18×18)的滑窗同步骤(2a)进行处理,得到采样点集合SP3;
(4b)同步骤(2b)进行处理,得到字典D3;
(4c)对遥感场景图像分类的训练集和遥感场景图像分类的测试集的每一幅图像的第一层的采样点集合SP3,用字典D3和OMP算法进行编码,得到稀疏编码集合SC3;
(4d)同步骤(2d)进行处理,得到池化向量集合PC3;
(4e)同步骤(2e)进行处理,得到每一幅图像的特征向量F3。
步骤5,取大小为W4×W4的滑窗同步骤(3)进行处理,建立两层特征学习过程P4,得到图像特征向量F4;
(5a)取大小为W4×W4(10×10)的滑窗同步骤(3a)进行处理,得到第一层的采样点集合SP41;
(5b)同步骤(3b)进行处理,得到第一层字典D41;
(5c)对遥感场景图像分类的训练集和遥感场景图像分类的测试集的每一幅图像的第一层的采样点集合SP41,用字典D41和OMP算法进行编码,得到稀疏编码集合SC41;
(5d)同步骤(3d)进行处理,得到图像的第一层特征集合F41;
(5e)同步骤(3e)进行处理,得到第二层的采样点集合SP42;
(5f)同步骤(3f)进行处理,得到第二层字典D42;
(5g)用字典D42和OMP算法对遥感场景图像分类的训练集和遥感场景图像分类的 测试集的每一幅图像的第二层的采样点集合SP42进行稀疏编码,得到稀疏编码集合SC42;
(5h)同步骤(3h)进行处理,得到图像的第二层特征集合F42;
(5i)同步骤(3i)进行处理,得到每一幅图像的特征向量F4。
步骤6,取大小为W5×W5的滑窗对遥感场景图像分类的训练集和遥感场景图像分类的测试集的每一幅RGB图像的灰度图像进行密集采样,建立三层特征学习过程P5,得到图像特征向量F5;
(6a)取大小为W5×W5(5×5)的滑窗同步骤(3a)进行处理,得到第一层的采样点集合SP51;
(6b)同步骤(3b)进行处理,得到第一层字典D51;
(6c)对遥感场景图像分类的训练集和遥感场景图像分类的测试集的每一幅图像的第一层的采样点集合SP51,用字典D51和OMP算法进行编码,得到稀疏编码集合SC51;
(6d)同步骤(3d)进行处理,得到图像的第一层特征集合F51;
(6e)同步骤(3e)进行处理,得到第二层的采样点集合SP52;
(6f)同步骤(3f)进行处理,得到第二层字典D52;
(6g)用字典D52和OMP算法对遥感场景图像分类的训练集和遥感场景图像分类的测试集的每一幅图像的第二层的采样点集合SP52进行稀疏编码,得到稀疏编码集合SC52;
(6h)对遥感场景图像分类的训练集和遥感场景图像分类的测试集的每一幅图像的稀疏编码集合SC52,取池化单元为C52×C52(3×3),求每一个池化单元中模值最大的稀疏编码,此稀疏编码即为该单元的池化向量,从而得到每一幅图像的第二层特征集合F52;
(6i)用大小为C52×C52(3×3)的窗口对遥感场景图像分类的训练集和遥感场景图像分类的测试集的每一幅图像的第二层特征集合F52进行密集采样,采样步长为1个像素,得到第三层的采样点集合SP53;
(6j)同步骤(3f)进行处理,得到第三层字典D53;
(6k)用字典D53和OMP算法对遥感场景图像分类的训练集和遥感场景图像分类的 测试集的每一幅图像的第三层的采样点集合SP53进行稀疏编码,得到稀疏编码集合SC53;
(6l)同步骤(3h)进行处理,得到图像的第三层特征集合F53;
(6m)同步骤(3i)进行处理,得到每一幅图像的特征向量F5。
步骤7,将遥感场景图像分类的训练集和遥感场景图像分类的测试集的每一幅图像的特征向量F1、F2、F3、F4和F5依次连接构成图像最终的特征向量,然后用半监督的支持向量机(Semi-Supervised Support Vector Machine,S3VM)分类器进行分类。
(7a)建立支持向量机的判决函数: y ( x ) = arg max c = 1 , . . . , C ( K ( x , x c ) T &alpha; c + b c ) ,
其中x表示测试样本,c代表类别编号,xc表示第c类的训练样本,K(x,xc)是测试样本x的非线性核函数,表示样本x和xc的相似度,αc是第c类的权重向量,bc是第c类的阈值向量,T表示转置;
(7b)用有标签的样本训练有监督的支持向量机,得到分类模型,用此分类模型对无标签的样本进行分类,然后在分类后的正样本中选取前若干个可靠度最高的作为正样本,剩余样本为负样本;
(7c)重新用SVM分类器进行分类,得到新的分类结果;
(7d)在未分类的样本中选择一个正样本变为负样本,同时选择一个负样本变为正样本,然后用SVM分类器分类,若分类正确率提高了,则取反,否则不取反;
(7e)重复步骤(7d),直到满足设定的阈值(一般取0.01~0.1)为止。
本发明的效果通过以下实验仿真进一步说明。
1、实验条件: 
硬件平台为:Pentium(R)Dual-Core CPU E53002.60GHZ 2GB GHz。
软件平台为:MATLAB7.10(R2010a)和Visual Studio 2010。
仿真实验采用的遥感图像场景类别库是UCMERCED data set,该场景类别库包含21个类别的遥感场景图像,每一个类别包含100幅图像,总图像数目为2100,每一幅是大小为256×256×3或256×253×3的RGB图像,其样例图像如图3所示,其中图3 (a)为农田场景,图3 (b)为机场场景,图3 (c)为棒球场场景,图3 (d)为海滩场景,图3 (e)为建筑物场景,图3 (f)为丛林场景,图3 (g)为密集住宅区场景,图3 (h)为森林场景,图3 (i) 为高速公路场景,图3 (j)为高尔夫球场场景,图3 (k)为海港场景,图3 (l)为十字路口场景,图3 (m)为中等住宅区场景,图3 (n)为活动住房场景,图3 (o)为陆桥场景,图3 (p)为停车场场景,图3 (q)为河流场景,图3 (r)为跑道场景,图3 (s)为稀疏住宅区场景,图3 (t)为储存罐场景,图3 (u)为乒乓球场景。
实验方法:分别为本发明和现有的LLC稀疏编码和LSC稀疏编码的方法,这都是本领域具有代表性的方法。
2、实验内容及分析
使用本发明与LLC稀疏编码和LSC稀疏编码的方法进行对比,均对数据集UCMERCED data set中的每一个遥感场景类别中随机选取80幅共1680幅图像组成遥感场景分类的训练集,用数据集UCMERCED data set中其余240幅图像组成遥感图像分类的测试集。本发明与LLC稀疏编码和LSC稀疏编码的方法的仿真实验均是进行10次实验,计算10次实验的平均分类正确率,作为UCMERCED data set类别库的最终分类正确率。
仿真一,用提取SIFT特征和LLC稀疏编码的方法对UCMERCED data set进行分类,分类结果见表1方法(1)。
仿真二,用提取SIFT特征和LSC稀疏编码的方法对UCMERCED data set进行分类,分类结果见表1中方法(2)。
仿真三,用本发明的方法对UCMERCED data set进行分类,分类结果见表1中方法(3)。
表1不同方法分类正确率统计
方法 正确率
(1)LLC 74.05%
(2)LSC 75.96%
(3)本发明方法 89.93%
从表1可见,本发明方法对UCMERCED data set类别库的最终分类正确率远远高于其他方法。
综上所述,本发明提出的基于多路分层正交匹配的遥感图像场景分类方法对遥感图像场景分类能取得更好的分类结果。

Claims (10)

1.一种基于多路分层正交匹配追踪的遥感图像场景分类方法,包括如下步骤:
(1)分别建立对遥感场景图像进行分类的训练集和测试集;
(1a)根据需要将遥感场景图像数据集定义为N类,类别编号分别为1~N;
(1b)在每一类遥感场景图像中随机选择80幅图像组成对遥感场景图像进行分类的训练集,其余图像为遥感场景图像分类的测试集;
(2)取大小为W1×W1的滑窗对遥感场景图像分类的训练集和遥感场景图像分类的测试集的每一幅RGB图像进行密集采样,建立单层特征学习过程P1,得到图像特征向量F1;
(3)取大小为W2×W2的滑窗对遥感场景图像分类的训练集和遥感场景图像分类的测试集的每一幅RGB图像的灰度图像进行密集采样,建立两层特征学习过程P2,得到图像特征向量F2;
(4)取大小为W3×W3的滑窗同步骤(2)进行处理,建立单层特征学习过程P3,得到图像特征向量F3;
(5)取大小为W4×W4的滑窗同步骤(3)进行处理,建立两层特征学习过程P4,得到图像特征向量F4;
(6)取大小为W5×W5的滑窗对遥感场景图像分类的训练集和遥感场景图像分类的测试集的每一幅RGB图像的灰度图像进行密集采样,建立三层特征学习过程P5,得到图像特征向量F5;
(7)将遥感场景图像分类的训练集和遥感场景图像分类的测试集的每一幅图像的特征向量F1、F2、F3、F4和F5依次连接构成最终的特征向量,然后用半监督的支持向量机(Semi-Supervised Support Vector Machine,S3VM)分类器进行分类。
2.根据权利要求1所述的基于多路分层正交匹配追踪的遥感图像场景分类方法,其中,步骤(2)所述的取大小为W1×W1(8×8)的滑窗对遥感场景图像分类的训练集和遥感场景图像分类的测试集的每一幅RGB图像进行密集采样,建立单层特征学习过程P1,按如下步骤进行:
(2a)取大小为W1×W1(8×8)的滑窗对遥感场景图像分类的训练集和遥感场景图像分类的测试集的每一幅RGB图像进行密集采样,采样步长为1个像素,得到采样点集合SP1;
(2b)在遥感场景图像分类的训练集的每一幅图像的采样点集合SP1中随机选取N1(N1=50)个组成字典的学习样本集合Y1=[y1,y2,...,yn],其中,n=N×N1×80,N为步骤(1a)中定义的类别数,设置字典大小为DS1(经验值为1000),然后用K-SVD算法学习得到字典D1;
(2c)用步骤(2b)中得到的字典D1和正交匹配追踪算法(Orthogonal MatchingPursuit,OMP)对遥感场景图像分类的训练集和遥感场景图像分类的测试集的每一幅图像的采样点集合SP1进行稀疏编码,得到稀疏编码集合SC1;
(2d)对遥感场景图像分类的训练集和遥感场景图像分类的测试集的每一幅图像的稀疏编码集合SC1,取池化单元大小为C1×C1(4×4),求每一个池化单元中模值最大的稀疏编码,此稀疏编码即为该单元的池化向量,从而得到池化向量集合PC1;
(2e)对遥感场景图像分类的训练集和遥感场景图像分类的测试集的每一幅图像的池化向量集合PC1,运用空间金字塔模型(Spatial Pyramid Matching(SPM))和最大池化方法进行池化,得到每一幅图像的特征向量F1。
3.根据权利要求1所述的基于多路分层正交匹配追踪的遥感图像场景分类方法,其中,步骤(3)所述的取大小为W2×W2(5×5)的滑窗对遥感场景图像分类的训练集和遥感场景图像分类的测试集的每一幅RGB图像的灰度图像进行密集采样,建立两层特征学习过程P2,按如下步骤进行:
(3a)取大小为W2×W2(5×5)的滑窗对遥感场景图像分类的训练集和遥感场景图像分类的测试集的每一幅RGB图像的灰度图像进行密集采样,采样步长为1个像素,得到第一层的采样点集合SP21;
(3b)同步骤(2b)进行处理,设置字典大小为DS21(经验值为60),得到第一层字典D21;
(3c)对遥感场景图像分类的训练集和遥感场景图像分类的测试集的每一幅图像的第一层的采样点集合SP21,用字典D21和OMP算法进行编码,得到稀疏编码集合SC21;
(3d)同步骤(2d)进行处理,得到图像的第一层特征集合F21;
(3e)用大小为C21×C21(4×4)的窗口对遥感场景图像分类的训练集和遥感场景图像分类的测试集的每一幅图像的第一层特征集合F21进行密集采样,采样步长为1个像素,得到第二层的采样点集合SP22;
(3f)在遥感场景图像分类的训练集的每一幅图像的第二层采样点集合SP22中随机选取N22(N22=20)个组成字典的学习样本集合Y22=[y1,y2,...,ym],其中m=N×N22×80,N为步骤(1a)中定义的类别数,设置字典大小为DS22(经验值为1000),然后通过K-SVD算法学习得到第二层字典D22;
(3g)用字典D22和OMP算法对遥感场景图像分类的训练集和遥感场景图像分类的测试集的每一幅图像的第二层采样点集合SP22进行稀疏编码,得到稀疏编码集合SC22;
(3h)对遥感场景图像分类的训练集和遥感场景图像分类的测试集的每一幅图像的稀疏编码集合SC22,取池化单元为C22×C22(1×1),求每一个池化单元中模值最大的稀疏编码,此稀疏编码即为该单元的池化向量,从而得到每一幅图像的第二层特征集合F22;
(3i)同步骤(2e)进行处理,得到每一幅图像的特征向量F2。
4.根据权利要求1所述的基于多路分层正交匹配追踪的遥感图像场景分类方法,其中,步骤(4)所述的取大小为W3×W3(18×18)的滑窗同步骤(2)进行处理,建立单层特征学习过程P3,按如下步骤进行:
(4a)取大小为W3×W3(18×18)的滑窗同步骤(2a)进行处理,得到采样点集合SP3;
(4b)同步骤(2b)进行处理,得到字典D3;
(4c)对遥感场景图像分类的训练集和遥感场景图像分类的测试集的每一幅图像的第一层的采样点集合SP3,用字典D3和OMP算法进行编码,得到稀疏编码集合SC3;
(4d)同步骤(2d)进行处理,得到池化向量集合PC3;
(4e)同步骤(2e)进行处理,得到每一幅图像的特征向量F3。
5.根据权利要求1所述的基于多路分层正交匹配追踪的遥感图像场景分类方法,其中,步骤(5)所述的取大小为W4×W4(10×10)的滑窗同步骤(3)进行处理,建立两层特征学习过程P4,按如下步骤进行:
(5a)取大小为W4×W4(10×10)的滑窗同步骤(3a)进行处理,得到第一层的采样点集合SP41;
(5b)同步骤(3b)进行处理,得到第一层字典D41;
(5c)对遥感场景图像分类的训练集和遥感场景图像分类的测试集的每一幅图像的第一层的采样点集合SP41,用字典D41和OMP算法进行编码,得到稀疏编码集合SC41;
(5d)同步骤(3d)进行处理,得到图像的第一层特征集合F41;
(5e)同步骤(3e)进行处理,得到第二层的采样点集合SP42;
(5f)同步骤(3f)进行处理,得到第二层字典D42;
(5g)用字典D42和OMP算法对遥感场景图像分类的训练集和遥感场景图像分类的测试集的每一幅图像的第二层的采样点集合SP42进行稀疏编码,得到稀疏编码集合SC42;
(5h)同步骤(3h)进行处理,得到图像的第二层特征集合F42;
(5i)同步骤(3i)进行处理,得到每一幅图像的特征向量F4。
6.根据权利要求1所述的基于多路分层正交匹配追踪的遥感图像场景分类方法,其中,步骤(6)所述的取大小为W5×W5(5×5)的滑窗对遥感场景图像分类的训练集和遥感场景图像分类的测试集的每一幅RGB图像的灰度图像进行密集采样,建立三层特征学习过程P5,按如下步骤进行:
(6a)取大小为W5×W5(5×5)的滑窗同步骤(3a)进行处理,得到第一层的采样点集合SP51;
(6b)同步骤(3b)进行处理,得到第一层字典D51;
(6c)对遥感场景图像分类的训练集和遥感场景图像分类的测试集的每一幅图像的第一层的采样点集合SP51,用字典D51和OMP算法进行编码,得到稀疏编码集合SC51;
(6d)同步骤(3d)进行处理,得到图像的第一层特征集合F51;
(6e)同步骤(3e)进行处理,得到第二层的采样点集合SP52;
(6f)同步骤(3f)进行处理,得到第二层字典D52;
(6g)用字典D52和OMP算法对遥感场景图像分类的训练集和遥感场景图像分类的测试集的每一幅图像的第二层的采样点集合SP52进行稀疏编码,得到稀疏编码集合SC52;
(6h)对遥感场景图像分类的训练集和遥感场景图像分类的测试集的每一幅图像的稀疏编码集合SC52,取池化单元为C52×C52(3×3),求每一个池化单元中模值最大的稀疏编码,此稀疏编码即为该单元的池化向量,从而得到每一幅图像的第二层特征集合F52;
(6i)用大小为C52×C52(3×3)的窗口对遥感场景图像分类的训练集和遥感场景图像分类的测试集的每一幅图像的第二层特征集合F52进行密集采样,采样步长为1个像素,得到第三层的采样点集合SP53;
(6j)同步骤(3f)进行处理,得到第三层字典D53;
(6k)用字典D53和OMP算法对遥感场景图像分类的训练集和遥感场景图像分类的测试集的每一幅图像的第三层的采样点集合SP53进行稀疏编码,得到稀疏编码集合SC53;
(6l)同步骤(3h)进行处理,得到图像的第三层特征集合F53;
(6m)同步骤(3i)进行处理,得到每一幅图像的特征向量F5。
7.根据权利要求2所述的基于多路分层正交匹配追踪的遥感图像场景分类方法,其中,步骤(2b)中所述的用K-SVD训练得到字典,按如下步骤进行:
(2b1)建立的K-SVD算法的模型如下:
x ^ = arg min x | | y i - D x i | | 2 2 + &mu; | | x i | | 0
其中yi为学习样本,xi为稀疏系数,xi的集合构成系数矩阵X,||xi||0为xi的零范数,为学习样本yi的稀疏编码,D=[d1,d2,...,dM]为字典,||·||2表示2范数,μ为稀疏因子;
(2b2)固定字典D,计算重构信号yi对应的系数矩阵X;
(2b3)固定系数矩阵X,按列更新字典
假设先固定系数矩阵X和字典D,将系数矩阵X中对应字典D的第k列dk的第k行表示如下,其中T表示转置:
| | Y - DX | | = | | Y - &Sigma; j = 1 K d j x T j | | F 2 = | | ( Y - &Sigma; j &NotEqual; k d j x T j ) - d j x T k | | F 2 = | | E k - d k x T k | | F 2
其中表示在字典D中去掉dk对其他样本造成的误差;
(2b4)对字典D的第k列dk对应的X的第k行做变换,保留系数的非零项得到
(2b5)将字典D的第k列dk与(2b4)中得到的相乘,记录下非零项的位置p;
(2b6)对误差Ek做变换,保留p位置上的项,得到
(2b7)对进行SVD分解,得到dk的更新值,然后更新dk
迭代步骤(2b2)~步骤(2b7),直到重构误差达到设定的阈值(一般取0.001~1)停止迭代,得到最终的字典;
权利要求3的步骤(3b)和步骤(3f)、权利要求4的步骤(4b)、权利要求5的步骤(5b)和步骤(5f)、权利要求6的步骤(6b)、步骤(6f)和步骤(6j)中所述用K-SVD训练得到字典过程均按上述步骤执行。
8.根据权利要求2所述的基于多路分层正交匹配追踪的遥感图像场景分类方法,其中,步骤(2c)中所述用步骤(2b)中得到的字典D1和正交匹配追踪算法(OrthogonalMatching Pursuit,OMP)对遥感场景图像分类的训练集和遥感场景图像分类的测试集的每一幅图像的采样点集合SP1进行稀疏编码,得到稀疏编码集合SC1,按如下步骤进行:
(2c1)建立的OMP算法的模型如下:
x ^ = min | | x | | 0 , s . t . | | Dx - y | | 2 2 < &xi; ,
其中x为稀疏信号,为x的稀疏逼近信号,||x||0表示x的零范数,D为字典,y为在基矩阵D下稀疏信号x的采样向量,||·||2表示2范数,ξ为误差常数;
(2c2)输入参数基矩阵D,系数向量y,稀疏度K;设置残差r0=y,索引集(空集),t=1,t为迭代次数;
(2c3)计算残差r和基矩阵D中di(i=1,...,M)的内积的最大值对应的di的下标λ,计算公式为:λ=argmaxi=1...N|(rt-1,di)|;
(2c4)更新索引集Λt=Λt-1∪{λt},记录得到的基矩阵中的重构原子集合 D t = [ D t - 1 , d &lambda; t ] ;
(2c5)由最小二乘法计算得到
(2c6)更新残差并令t=t+1;
(2c7)判断是否满足t>K,若满足,则停止迭代;若不满足,则执行步骤(2c3);
权利要求3的步骤(3c)和步骤(3g)、权利要求4的步骤(4c)、权利要求5的步骤(5c)和步骤(5g)、权利要求6的步骤(6c)、步骤(6g)和步骤(6k)中所述的OMP算法执行过程均按上述步骤执行。
9.根据权利要求2所述的基于多路分层正交匹配追踪的遥感图像场景分类方法,其中,步骤(2e)对遥感场景图像分类的训练集和遥感场景图像分类的测试集的每一幅图像的池化向量集合PC1,运用空间金字塔模型和最大池化方法进行池化,得到每一幅图像的特征向量F1,按如下步骤进行:
(2e1)按金字塔模型将遥感场景图像分类的训练集和遥感场景图像分类的测试集的每一幅图像划分为三个等级,即L1、L2、L3,其中L1、L2、L3等级分别将图像均匀划分为M1×M1(1×1)个图像块,即原图像、M2×M2(2×2)个图像块、M3×M3(3×3亦或4×4)个图像块,总计M1×M1+M2×M2+M3×M3个图像块;
(2e2)在每一幅图像的M1×M1+M2×M2+M3×M3个图像块中分别求得模值最大的池化向量,并依次连接构成最终的图像特征向量F1;
权利要求3的步骤(3i)、权利要求4的步骤(4e)、权利要求5的步骤(5i)、权利要求6的步骤(6m)中所述的用SPM和最大池化方法得到每一幅图像的特征向量过程均按上述步骤进行。
10.根据权利要求1所述的基于多路分层正交匹配追踪的遥感图像场景分类方法,其中,步骤(7)所述用半监督的支持向量机分类器分类,按如下步骤进行:
(7a)建立支持向量机的判决函数: y ( x ) = arg max c = 1 , &CenterDot; &CenterDot; &CenterDot; , C ( K ( x , x c ) T &alpha; c + b c ) ,
其中x表示测试样本,c代表类别编号,xc表示第c类的训练样本,K(x,xc)是测试样本x的非线性核函数,表示样本x和xc的相似度,αc是第c类的权重向量,bc是第c类的阈值向量,T表示转置;
(7b)用有标签的样本训练有监督的支持向量机,得到分类模型,用此分类模型对无标签的样本进行分类,然后在分类后的正样本中选取前若干个可靠度最高的作为正样本,剩余样本为负样本;
(7c)重新用SVM分类器进行分类,得到新的分类结果;
(7d)在未分类的样本中选择一个正样本变为负样本,同时选择一个负样本变为正样本,然后用SVM分类器分类,若分类正确率提高了,则取反,否则不取反;
(7e)重复步骤(7d),直到满足设定的阈值(一般取0.01~0.1)为止。
CN201410733535.XA 2014-12-04 2014-12-04 基于多路分层正交匹配的遥感图像场景分类方法 Active CN104517120B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201410733535.XA CN104517120B (zh) 2014-12-04 2014-12-04 基于多路分层正交匹配的遥感图像场景分类方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201410733535.XA CN104517120B (zh) 2014-12-04 2014-12-04 基于多路分层正交匹配的遥感图像场景分类方法

Publications (2)

Publication Number Publication Date
CN104517120A true CN104517120A (zh) 2015-04-15
CN104517120B CN104517120B (zh) 2018-12-25

Family

ID=52792386

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201410733535.XA Active CN104517120B (zh) 2014-12-04 2014-12-04 基于多路分层正交匹配的遥感图像场景分类方法

Country Status (1)

Country Link
CN (1) CN104517120B (zh)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105069481A (zh) * 2015-08-19 2015-11-18 西安电子科技大学 基于空间金字塔稀疏编码的自然场景多标记分类方法
CN105894030A (zh) * 2016-04-01 2016-08-24 河海大学 基于分层多特征融合的高分辨率遥感图像场景分类方法
CN105930876A (zh) * 2016-05-13 2016-09-07 华侨大学 一种基于逆向训练的植物图像集分类方法
CN106326810A (zh) * 2015-06-25 2017-01-11 株式会社理光 道路场景识别方法及设备
CN108388908A (zh) * 2018-01-18 2018-08-10 华南理工大学 基于k-svd和滑窗降噪的滚动轴承冲击故障诊断方法
CN111191617A (zh) * 2020-01-02 2020-05-22 武汉大学 一种基于分层结构的遥感场景分类方法
CN112329852A (zh) * 2020-11-05 2021-02-05 西安泽塔云科技股份有限公司 地表覆盖影像的分类方法、装置和电子设备

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103150578A (zh) * 2013-04-09 2013-06-12 山东师范大学 一种基于半监督学习的支持向量机分类器训练方法
CN103595417A (zh) * 2013-09-06 2014-02-19 重庆大学 压缩感知框架下脉冲-连续核信号混合重构方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103150578A (zh) * 2013-04-09 2013-06-12 山东师范大学 一种基于半监督学习的支持向量机分类器训练方法
CN103595417A (zh) * 2013-09-06 2014-02-19 重庆大学 压缩感知框架下脉冲-连续核信号混合重构方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
LIEFENG BO,XIAOFENG REN,DIETER FOX: ""Multipath Sparse Coding Using Hierarchiral Matching Pursuit"", 《COMPUTER VISION AND PATTERN RECOGNITION》 *
张晓阳等: ""基于K-SVD和残差比的低信噪比图像稀疏表示去噪算法"", 《光学技术》 *

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106326810A (zh) * 2015-06-25 2017-01-11 株式会社理光 道路场景识别方法及设备
CN106326810B (zh) * 2015-06-25 2019-12-24 株式会社理光 道路场景识别方法及设备
CN105069481A (zh) * 2015-08-19 2015-11-18 西安电子科技大学 基于空间金字塔稀疏编码的自然场景多标记分类方法
CN105069481B (zh) * 2015-08-19 2018-05-25 西安电子科技大学 基于空间金字塔稀疏编码的自然场景多标记分类方法
CN105894030A (zh) * 2016-04-01 2016-08-24 河海大学 基于分层多特征融合的高分辨率遥感图像场景分类方法
CN105894030B (zh) * 2016-04-01 2019-02-19 河海大学 基于分层多特征融合的高分辨率遥感图像场景分类方法
CN105930876A (zh) * 2016-05-13 2016-09-07 华侨大学 一种基于逆向训练的植物图像集分类方法
CN108388908A (zh) * 2018-01-18 2018-08-10 华南理工大学 基于k-svd和滑窗降噪的滚动轴承冲击故障诊断方法
CN108388908B (zh) * 2018-01-18 2020-06-19 华南理工大学 基于k-svd和滑窗降噪的滚动轴承冲击故障诊断方法
CN111191617A (zh) * 2020-01-02 2020-05-22 武汉大学 一种基于分层结构的遥感场景分类方法
CN111191617B (zh) * 2020-01-02 2022-02-01 武汉大学 一种基于分层结构的遥感场景分类方法
CN112329852A (zh) * 2020-11-05 2021-02-05 西安泽塔云科技股份有限公司 地表覆盖影像的分类方法、装置和电子设备

Also Published As

Publication number Publication date
CN104517120B (zh) 2018-12-25

Similar Documents

Publication Publication Date Title
CN110321963B (zh) 基于融合多尺度多维空谱特征的高光谱图像分类方法
CN104517120A (zh) 基于多路分层正交匹配的遥感图像场景分类方法
CN110334765B (zh) 基于注意力机制多尺度深度学习的遥感影像分类方法
Zhang et al. A Linear Dirichlet Mixture Model for decomposing scenes: Application to analyzing urban functional zonings
CN109359623A (zh) 基于深度联合分布适配网络的高光谱图像迁移分类方法
CN106408030A (zh) 基于中层语义属性和卷积神经网络的sar图像分类方法
CN109743642B (zh) 基于分层循环神经网络的视频摘要生成方法
CN105069481A (zh) 基于空间金字塔稀疏编码的自然场景多标记分类方法
CN104794455B (zh) 一种东巴象形文字识别方法
CN104820841B (zh) 基于低阶互信息和光谱上下文波段选择的高光谱分类方法
CN107767416A (zh) 一种低分辨率图像中行人朝向的识别方法
CN109145832A (zh) 基于dsfnn与非局部决策的极化sar图像半监督分类方法
CN105469111A (zh) 基于改进的mfa和迁移学习的小样本集的物体分类方法
CN109657704B (zh) 一种基于稀疏融合的核化场景特征提取方法
CN103745233A (zh) 基于空间信息迁移的高光谱图像分类方法
CN105631469A (zh) 一种多层稀疏编码特征的鸟类图像识别方法
CN106097290A (zh) 基于nmf图像融合的sar图像变化检测方法
CN113111716A (zh) 一种基于深度学习的遥感影像半自动标注方法和装置
Li et al. An aerial image segmentation approach based on enhanced multi-scale convolutional neural network
CN111738052B (zh) 基于深度学习的多特征融合高光谱遥感地物分类方法
CN104484347A (zh) 一种基于地理信息的层次化视觉特征提取方法
CN113657414B (zh) 一种物体识别方法
Ataş Performance Evaluation of Jaccard-Dice Coefficient on Building Segmentation from High Resolution Satellite Images
CN111242134A (zh) 一种基于特征自适应学习的遥感影像地物分割方法
CN108121964A (zh) 基于矩阵的联合稀疏局部保持投影人脸识别方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant