CN112507962A - 基于卷积稀疏分解的高光谱图像多尺度特征提取方法 - Google Patents

基于卷积稀疏分解的高光谱图像多尺度特征提取方法 Download PDF

Info

Publication number
CN112507962A
CN112507962A CN202011530046.6A CN202011530046A CN112507962A CN 112507962 A CN112507962 A CN 112507962A CN 202011530046 A CN202011530046 A CN 202011530046A CN 112507962 A CN112507962 A CN 112507962A
Authority
CN
China
Prior art keywords
sparse
model
scale
analysis
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202011530046.6A
Other languages
English (en)
Inventor
张钧萍
仲崇潇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Harbin Institute of Technology
Original Assignee
Harbin Institute of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Harbin Institute of Technology filed Critical Harbin Institute of Technology
Priority to CN202011530046.6A priority Critical patent/CN112507962A/zh
Publication of CN112507962A publication Critical patent/CN112507962A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G06V20/13—Satellite images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
    • G06F17/10—Complex mathematical operations
    • G06F17/11—Complex mathematical operations for solving equations, e.g. nonlinear equations, general mathematical optimization problems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/213—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods
    • G06F18/2135—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods based on approximation criteria, e.g. principal component analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/28—Determining representative reference patterns, e.g. by averaging or distorting; Generating dictionaries
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/56—Extraction of image or video features relating to colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G06V20/194—Terrestrial scenes using hyperspectral data, i.e. more or other wavelengths than RGB

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Computational Mathematics (AREA)
  • Mathematical Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Multimedia (AREA)
  • Pure & Applied Mathematics (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Mathematical Optimization (AREA)
  • Remote Sensing (AREA)
  • Operations Research (AREA)
  • Astronomy & Astrophysics (AREA)
  • Algebra (AREA)
  • Databases & Information Systems (AREA)
  • Software Systems (AREA)
  • Image Analysis (AREA)

Abstract

基于卷积稀疏分解的高光谱图像多尺度特征提取方法，属于图像处理技术领域，本发明为解决高光谱图像多尺度特征提取有效性差、图像分类精确度低的问题。它将图像信号输入至稀疏表示模型中，合成稀疏模型将图像信号采用合成稀疏字典中基元的线性组合进行表示，分析稀疏模型将图像信号经过分析字典投影，获得具有稀疏性质的投影系数；建立卷积稀疏分解模型，分别将合成稀疏模型和分析稀疏模型的先验知识添加到卷积稀疏分解模型的两个部分，然后对卷积稀疏分解模型求解；对图像信号采用分段平均的方法进行光谱降维，对降维获得图像进行多尺度空间的频谱特征提取，采用主成分分析法提取多尺度的空间频谱特征。本发明用于对高光谱图像进行特征提取。

Description

基于卷积稀疏分解的高光谱图像多尺度特征提取方法
技术领域
本发明涉及一种高光谱图像多尺度特征提取方法，属于图像处理技术领域。
背景技术
高光谱图像特征提取是提高分类精度的有效手段。由于不同地物往往具有不同的空间特性，高光谱图像多尺度特征提取成为近年来广受关注的研究内容。为实现有效的多尺度特征提取，现有方法往往采取对高光谱图像的原始空间信息进行不同程度的平滑操作，从而获得从小尺度到大尺度的空间特征。然而，这些方法在提取特征时往往以模糊图像的重要结构信息为代价，从而严重限制了多尺度策略对分类任务的有效性，尤其是对于地物空间特性复杂的城市场景。
发明内容
本发明目的是为了解决高光谱图像多尺度特征提取有效性差、图像分类精确度低的问题，提供了一种基于卷积稀疏分解的高光谱图像多尺度特征提取方法。
本发明所述基于卷积稀疏分解的高光谱图像多尺度特征提取方法，它包括：
S1、将图像信号输入至稀疏表示模型中，所述稀疏表示模型包括合成稀疏模型和分析稀疏模型，合成稀疏模型将图像信号采用合成稀疏字典中基元的线性组合进行表示，分析稀疏模型将图像信号经过分析字典的投影，获得具有稀疏性质的投影系数；
S2、建立卷积稀疏分解模型，然后分别将合成稀疏模型和分析稀疏模型的先验知识添加到卷积稀疏分解模型的两个部分，然后对卷积稀疏分解模型求解；
S3、对图像信号采用分段平均的方法进行光谱降维，对降维获得图像进行多尺度空间的频谱特征提取，采用主成分分析法提取多尺度的空间频谱特征。
优选的，S1所述合成稀疏模型将图像信号采用合成稀疏字典中基元的线性组合进行表示的具体方法包括：
将一维信号
Figure BDA0002851800710000011
表示为合成稀疏字典D中q个基元的线性组合：
x＝Dαs,s.t.||αs||0＝q；
其中，
Figure BDA0002851800710000012
d≤n具有过完备性质，合成稀疏字典D中的每个列向量是一个基元；d表示x的维度，n表示D中基元的个数；
线性表示系数
Figure BDA0002851800710000021
稀疏特性用L0范数度量；L0范数为||·||0，表示某个向量中非零元素的个数。
优选的，S1所述分析稀疏模型获得具有稀疏性质的投影系数的具体方法包括：
对于一维信号
Figure BDA0002851800710000022
分析稀疏模型利用分析字典
Figure BDA0002851800710000023
对信号进行投影，
分析字典Ω与信号x相乘，生成具有稀疏性质的投影系数αA＝Ωx：
αA＝Ωx s.t.||αA||0＝l；
其中，获得的系数αA是稀疏向量，是信号x的分析系数特；l表示αA中非0元素的个数，表征信号x在分析字典Ω下的分析稀疏度。
优选的，S2所述建立卷积稀疏分解模型，然后分别将合成稀疏模型和分析稀疏模型的先验知识添加到卷积稀疏分解模型的两个部分的具体方法包括：
将二维图像X分解为两个部分：
X＝F+T，其中，F为空间结构部分，T为局部纹理信息；
将分析稀疏模型的先验知识用于约束空间结构部分F，该稀疏约束项的正则化参数为λ，
将合成稀疏模型的先验知识约束局部纹理信息T，该稀疏约束项的正则化参数为β；采用卷积的方式将二维图像X的分解改写为最小化能量方程的形式：
Figure BDA0002851800710000024
其中，局部纹理信息
Figure BDA0002851800710000025
为各个合成稀疏字典dA,n,n＝1,...,N与相应的稀疏矩阵An,n＝1,...,N进行卷积后求和获得；dF,m,m＝1,...,M表示第m个分析字典；
采用矩阵乘法代替卷积运算，并对各个合成稀疏字典引入额外的约束确保有界性，获得卷积稀疏正则化模型：
Figure BDA0002851800710000031
其中，f是F的向量化形式，αn，n＝1,…,N是An,n＝1,...,N的向量化形式，
DA,n和DF,m分别表示dA,n,n＝1,...,N和dF,m,m＝1,...,M的循环块构成的循环矩阵。
优选的，S2所述对卷积稀疏分解模型求解的具体方法包括：
采用交替最小化方法对卷积稀疏正则化模型求解，即对所有未知变量进行交替更新；
输入为：二维图像X、分析稀疏模型稀疏约束项的正则化参数λ和合成稀疏模型稀疏约束项的正则化参数β；
初始化：F＝0，
Figure BDA0002851800710000032
设
Figure BDA0002851800710000033
为固定常数，采用交替方向乘子法求解F(i)：
Figure BDA0002851800710000034
其中，i＝1:I表示循环幅值；
如果i＝1，则采用(X-F(1))的分析字典作为初始化合成合成稀疏字典
Figure BDA0002851800710000035
设F与{dA,1,...,dA,N}为固定常数，采用交替方向乘子法求解
Figure BDA0002851800710000036
Figure BDA0002851800710000037
设F与An为固定常数，更新{dA,1,...,dA,N}：
Figure BDA0002851800710000038
输出F和T。
优选的，S3所述对图像信号采用分段平均的方法进行光谱降维，具体过程包括：
对于高光谱的图像数据
Figure BDA0002851800710000039
空间尺寸为R×C，波段数为B，平均划分为若干个波段子集：
X＝{X1,X2,...,XS}；
其中，降维后的光谱维度是S；
如果B不能被S整除，前S-1个子集中的波段数为B/S四舍五入得到，最后一个子集XS为剩余光谱波段；
对于每个子集，通过对各波段求平均值计算出Xs,s＝1,...,S，获得降维后的图像数据：
Figure BDA0002851800710000041
优选的，S3所述对降维获得图像进行多尺度空间的频谱特征提取，具体过程包括：
将降维获得的图像数据分解为两个部分：
Figure BDA0002851800710000042
其中，F＝{F1,F2,...,FS}为各光谱通道的空间结构部分，T＝{T1,T2,...,TS}为不相关的局部纹理信息；
通过调节卷积稀疏分解模型中的λ和β获取
Figure BDA0002851800710000043
在不同尺度下的空间特征：
当λ的值增大时，对应的分析稀疏模型的稀疏约束项
Figure BDA0002851800710000044
增强，分解得到的特征的尺度增大，
当β的值增大时，对应的疏矩阵An的稀疏性增强，分解得到的特征的尺度减小；
设尺度的数量为K，则获得多尺度空间的频谱特征集合：
Figure BDA0002851800710000045
优选的，S3所述采用主成分分析法提取多尺度的空间频谱特征，具体过程包括：
采用主成分分析法增强像素之间的光谱差异性，并去除冗余数据，获取强判别性的多尺度空间频谱特征，对于第k个尺度的空间特征
Figure BDA0002851800710000046
经过主成分分析变换降维后的特征表示为：
Figure BDA0002851800710000047
其中，P表示保留的主成分个数；
将各尺度上的空间频谱特征堆叠，获得光谱维数P×K的多尺度空间频谱特征集合：
Figure BDA0002851800710000051
本发明的优点：本发明提出的基于卷积稀疏分解的高光谱图像多尺度特征提取方法引入了卷积稀疏分解模型，能够结合两种稀疏表示的先验知识，有效地捕捉数据的内在空间特征。在该模型的基础上，提出一种新的多尺度空间特征提取法，在不同尺度下去除不相关的噪声和局部纹理，并保留显著空间结构特征，有效地防止了雾状伪影，提高了空间信息的利用。通过简单地与主成分分析进行结合，即可得到具有良好判别特性的高光谱图像多尺度空-谱特征。
附图说明
图1是本发明验证过程中选取的第一幅高光谱图像的彩色图；
图2是图1的真值图；
图3是本发明验证过程中选取的第二幅高光谱图像的彩色图；
图4是图3的真值图；
图5是选取的第一幅高光谱图像的第一主成分，其中图a表示尺度1，图b表示尺度2，图c表示尺度3，图d表示尺度4，图e表示尺度5；
图6是选取的第二幅高光谱图像的第一主成分，其中图a表示尺度1，图b表示尺度2，图c表示尺度3，图d表示尺度4，图e表示尺度5；
图7是根据不同方法对第一幅图像的数据进行分类获得的结果图，其中图a表示采用SVM方法，图b表示采用JSRC方法，图c表示采用MASR方法，图d表示采用IID方法，图e表示采用PCA-EPFs方法，图f表示采用MCSD-PCA方法；
图8是采用不同方法对第一幅图像数据进行分类所得的结果图；
图9是采用不同方法对第二幅图像数据进行分类所得的结果图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。
需要说明的是，在不冲突的情况下，本发明中的实施例及实施例中的特征可以相互组合。
具体实施方式一：本实施方式所述基于卷积稀疏分解的高光谱图像多尺度特征提取方法，它包括：
S1、将图像信号输入至稀疏表示模型中，所述稀疏表示模型包括合成稀疏模型和分析稀疏模型，合成稀疏模型将图像信号采用合成稀疏字典中基元的线性组合进行表示，分析稀疏模型将图像信号经过分析字典的投影，获得具有稀疏性质的投影系数；
S2、建立卷积稀疏分解模型，然后分别将合成稀疏模型和分析稀疏模型的先验知识添加到卷积稀疏分解模型的两个部分，然后对卷积稀疏分解模型求解；
S3、对图像信号采用分段平均的方法进行光谱降维，对降维获得图像进行多尺度空间的频谱特征提取，采用主成分分析法提取多尺度的空间频谱特征。
本实施方式中，图像信号的稀疏表示模型主要包括合成稀疏模型和分析稀疏模型，二者分别从不同的角度分析图像的稀疏性质。在合成稀疏表示模型中，信号被分解为过完备字典和稀疏系数，即信号可由字典中少量基元的线性组合进行表达。在分析稀疏表示模型中，信号经过分析字典的投影，得到具有稀疏性质的投影系数，即信号与分析字典的行基元正交。
本实施方式中，高光谱图像中地物的空间特性往往较为复杂，而现有多尺度方法获取到特征信息的判别特性也十分有限。基于图像的空间信息通常包含特定尺度下的结构分量和相应的局部高频纹理分量这一特性，本发明引入卷积稀疏分解(ConvolutionalSparse Decomposition,CSD)模型，将提取所需的空间特征看作一个待求解的逆问题。通过针对两个分量添加不同的稀疏先验知识，该模型能够在去除不相关局部纹理的同时有效保留图像中与地物语义相关的结构信息，所采用的卷积形式确保了分解结果在整个空间维度上的最优性。
本实施方式中，在卷积稀疏分解模型的基础上，本发明提出一种新的多尺度空-谱特征提取方法(MCSD-PCA)。首先，通过分段平均操作降低原始高光谱数据的光谱维度；然后通过求解不同参数的卷积稀疏分解模型，从降维数据中分离出不同尺度的空间结构特征；最后，对各尺度下的特征采用主成分分析(PCA)方法提取有效光谱信息，将所得的各尺度特征在光谱维度进行叠加便可得到用于分类任务的多尺度空-谱特征。
具体实施方式二：本实施方式对实施方式一作进一步说明，S1所述合成稀疏模型将图像信号采用合成稀疏字典中基元的线性组合进行表示的具体方法包括：
将一维信号
Figure BDA0002851800710000071
表示为合成稀疏字典D中q个基元的线性组合：
x＝Dαs,s.t.||αs||0＝q；
其中，
Figure BDA0002851800710000072
d≤n具有过完备性质，合成稀疏字典D中的每个列向量是一个基元；d表示x的维度，n表示D中基元的个数；
线性表示系数
Figure BDA0002851800710000073
稀疏特性用L0范数度量；L0范数为||·||0，表示某个向量中非零元素的个数。
进一步的，S1所述分析稀疏模型获得具有稀疏性质的投影系数的具体方法包括：
对于一维信号
Figure BDA0002851800710000074
分析稀疏模型利用分析字典
Figure BDA0002851800710000075
对信号进行投影，
分析字典Ω与信号x相乘，生成具有稀疏性质的投影系数αA＝Ωx：
αA＝Ωx s.t.||αA||0＝l；
其中，获得的系数αA是稀疏向量，是信号x的分析系数特；l表示αA中非0元素的个数，表征信号x在分析字典Ω下的分析稀疏度。
本实施方式中，L0范数定义为||·||0，表示某个向量中非零元素的个数，也称为稀疏度。合成稀疏表示模型指出，信号x可以由字典D中的q个基元线性表示，非零元素的个数q定义了所属子空间的维度。
本实施方式中，对于信号
Figure BDA0002851800710000076
分析稀疏表示利用分析字典
Figure BDA0002851800710000077
对信号进行投影，生成具有稀疏性质的分析系数αA＝Ωx，即αA中的大部分元素近于0。也就是说，利用分析字典Ω与信号x相乘得到的系数αA是稀疏向量，为信号x的分析稀疏特。
具体实施方式三：本实施方式对实施方式二作进一步说明，S2所述建立卷积稀疏分解模型，然后分别将合成稀疏模型和分析稀疏模型的先验知识添加到卷积稀疏分解模型的两个部分的具体方法包括：
将二维图像X分解为两个部分：
X＝F+T，其中，F为空间结构部分，T为局部纹理信息；
将分析稀疏模型的先验知识用于约束空间结构部分F，该稀疏约束项的正则化参数为λ，
将合成稀疏模型的先验知识约束局部纹理信息T，该稀疏约束项的正则化参数为β；
采用卷积的方式将二维图像X的分解改写为最小化能量方程的形式：
Figure BDA0002851800710000081
其中，局部纹理信息
Figure BDA0002851800710000082
为各个合成稀疏字典dA,n,n＝1,...,N与相应的稀疏矩阵An,n＝1,...,N进行卷积后求和获得；dF,m,m＝1,...,M表示第m个分析字典；
采用矩阵乘法代替卷积运算，并对各个合成稀疏字典引入额外的约束确保有界性，获得卷积稀疏正则化模型：
Figure BDA0002851800710000083
其中，f是F的向量化形式，αn，n＝1,…,N是An,n＝1,...,N的向量化形式，
DA,n和DF,m分别表示dA,n,n＝1,...,N和dF,m,m＝1,...,M的循环块构成的循环矩阵。
进一步的，S2所述对卷积稀疏分解模型求解的具体方法包括：
采用交替最小化方法对卷积稀疏正则化模型求解，即对所有未知变量进行交替更新；
输入为：二维图像X、分析稀疏模型稀疏约束项的正则化参数λ和合成稀疏模型稀疏约束项的正则化参数β；
初始化：F＝0，
Figure BDA0002851800710000084
设
Figure BDA0002851800710000085
为固定常数，采用交替方向乘子法求解F(i)：
Figure BDA0002851800710000086
其中，i＝1:I表示循环幅值；
如果i＝1，则采用(X-F(1))的分析字典作为初始化合成合成稀疏字典
Figure BDA0002851800710000087
设F与{dA,1,...,dA,N}为固定常数，采用交替方向乘子法求解
Figure BDA0002851800710000091
Figure BDA0002851800710000092
设F与An为固定常数，更新{dA,1,...,dA,N}：
Figure BDA0002851800710000093
输出F和T。
本实施方式中，由于图像的空间信息往往可分解为一定尺度上的显著结构信息和相应的局部纹理信息，本发明将两种稀疏表示模型相结合引入一种正则化图像分解方法。具体来说，对于二维图像X，可将其分解为两个组成部分：X＝F+T。由于这一分解为不适定问题，可通过建立约束优化模型来解决。根据前文对两种稀疏模型的分析，分析稀疏表示能够有效获取图像的结构平滑信息，而合成稀疏表示则更适用于高频纹理的捕捉。因此，可将分析稀疏先验用于约束空间结构F，将合成稀疏先验作为局部纹理T的约束。此外，为了实现对图像整体空间维度的稀疏表示，模型采取了卷积的操作方式来代替传统方法中将图像分割为独立小块的做法。
本实施方式中，由于本发明中图像分解的主要目的是建立能够获取显著性空间结构F的鲁棒模型，因此选择梯度算子作为分析稀疏字典。具体来说，我们将水平方向与竖直方向的一阶、二阶空间梯度[-1,1]，[-1,1]T，[1,-2,1]，和[1,-2,1]T设为分析稀疏字典{dF,1,...,dF,4}，因为这两类滤波器都在提取图像的结构平滑区域中体现出良好的性能。而对于合成稀疏表示字典{dA,1,...,dA,N}，考虑到高频纹理信息的复杂性，我们将其设为未知，并由迭代求解过程中进行自适应学习得到。
本实施方式中，采用交替最小化的方法进行计算，即对所有未知变量进行交替更新。因此，目标方程可被划分为以f、αn和dA,n为未知变量的三个子问题，其中每个子问题都假设其他2个变量为固定常数。
具体实施方式四：本实施方式对实施方式三作进一步说明，S3所述对图像信号采用分段平均的方法进行光谱降维，具体过程包括：
对于高光谱的图像数据
Figure BDA0002851800710000094
空间尺寸为R×C，波段数为B，平均划分为若干个波段子集：
X＝{X1,X2,...,XS}；
其中，降维后的光谱维度是S；
如果B不能被S整除，前S-1个子集中的波段数为B/S四舍五入得到，最后一个子集XS为剩余光谱波段；
对于每个子集，通过对各波段求平均值计算出Xs,s＝1,...,S，获得降维后的图像数据：
Figure BDA0002851800710000101
进一步的，S3所述对降维获得图像进行多尺度空间的频谱特征提取，具体过程包括：
将降维获得的图像数据分解为两个部分：
Figure BDA0002851800710000102
其中，F＝{F1,F2,...,FS}为各光谱通道的空间结构部分，T＝{T1,T2,...,TS}为不相关的局部纹理信息；
通过调节卷积稀疏分解模型中的λ和β获取
Figure BDA0002851800710000103
在不同尺度下的空间特征：
当λ的值增大时，对应的分析稀疏模型的稀疏约束项
Figure BDA0002851800710000104
增强，分解得到的特征的尺度增大，
当β的值增大时，对应的疏矩阵An的稀疏性增强，分解得到的特征的尺度减小；
设尺度的数量为K，则获得多尺度空间的频谱特征集合：
Figure BDA0002851800710000105
再进一步的，S3所述采用主成分分析法提取多尺度的空间频谱特征，具体过程包括：
采用主成分分析法增强像素之间的光谱差异性，并去除冗余数据，获取强判别性的多尺度空间频谱特征，对于第k个尺度的空间特征
Figure BDA0002851800710000106
经过主成分分析变换降维后的特征表示为：
Figure BDA0002851800710000107
其中，P表示保留的主成分个数；
将各尺度上的空间频谱特征堆叠，获得光谱维数P×K的多尺度空间频谱特征集合：
Figure BDA0002851800710000111
本实施方式中，高光谱图像中近似于连续的波段可以为地物的分类提供丰富的信息，但由于相邻光谱通道的高度相关性，高光谱数据立方体中存在着大量的冗余，此时若直接对原始数据进行空间特征提取会使得计算复杂性过高。因此，本发明中首先对原始高光谱图像采取分段平均的方法进行光谱降维。采用分段平均的方法计算成本低，且能够有效留原始光谱信息的物理特性。
本实施方式中，通过采用CSD模型对各波段的空间信息进行分解，可提取得到特定尺度下的空间特征。基于正则化参数在其有效范围内衡量着其相应约束项的约束强度这一特性，获取
Figure BDA0002851800710000112
在不同尺度下的空间特征可通过调节CSD模型中的λ和β来实现。具体来说，当λ的值增大时，其对应的约束项
Figure BDA0002851800710000113
稀疏性越强，Fs中的平滑区域会越大，即分解得到特征的尺度越大。而当β的值增大时，其对应系数矩阵An的稀疏性会增强，非0元素稀少，分离所得到的纹理图
Figure BDA0002851800710000114
中会是一些尺度较小的高频信息，此时Fs的特征尺度就会减小。因此，两个正则化参数都制约着分解的结果，而通过设置不同的正则化参数对卷积稀疏分解模型进行求解，可从降维数据中获取不同尺度的空间特征。
对于两个正则化参数的选择，在实际实验中，所得特征的尺度主要取决于二者的相对权重。这使得固定其中一个参数的同时调节另一个参数成为较为简单的改变特征尺度的方式。事实上，由于在卷积稀疏分解模型中我们更关注的是Fs的获取，因此其相应约束项的正则化参数λ的值的选择更为重要。此外，实验测试也证明，若将λ设为固定值调节β，所能获取到的特征尺度范围十分有限。具体来说，当λ固定为较大值时，由于对Fs分析稀疏性约束较强，此时无论如何增大β，都无法得到尺度较小的分解结果；而当λ固定为较小值时，由于对Fs分析稀疏性约束偏弱，即便β调至十分小也无法得到尺度较大的分解结果。因此，我们选择固定β调节λ来获取不同尺度下的空间特征。根据多次尝试，我们将λ和β的初值分别设为0.02和0.2，从降维数据中逐波段分解出第1尺度的空间特征，然后每次将λ的值翻一倍以获得更大尺度的空间特征。考虑到过大的权重会导致空间信息的失真，我们将λ的最大值设为0.32。也就是说，我们选择K＝5，即5个尺度的空间特征，其相应正则化参数分别为：{λ＝0.02,β＝0.2},{λ＝0.04,β＝0.2},{λ＝0.08,β＝0.2},{λ＝0.16,β＝0.2},{λ＝0.32,β＝0.2}。
本实施方式中，尽管所获取到的各尺度空间特征可以直接堆叠作为高光谱图像的多尺度特征，但由于提取空间特征时会一定程度上削弱不同类别的像素之间的光谱差异性，且此时的数据中仍然存在着部分冗余，因此可采用主成分分析(PCA)方法来增强像素之间的光谱差异性并去除冗余数据，从而获取判别性更强的多尺度空-谱特征。
在本发明中，我们将降维后的维度S和保留主成分个数P分别设为10和8，以实现计算效率和特征分类性能的权衡。
本发明中，在合成稀疏模型和分析稀疏模型这两类稀疏模型中，合成稀疏表示强调稀疏系数的非零元素个数和位置，用来表征信号x所属空间维度。而分析稀疏更强调稀疏系数向量中零元素的个数和位置，他们表征了信号所属正交补空间的维度。可以看出，分析稀疏模型下得到的系数在图像的平滑区域中更具稀疏性，而大多数非0系数都集中在细节纹理区域，合成稀疏模型则反之。这意味着在应用于图像信号时，分析稀疏模型倾向于图像结构信息的提取，而合成稀疏模型更能够捕捉到图像中的细节信息。
本发明中，为验证本发明所提多尺度特征提取方法的有效性，选取2幅常用高光谱图像数据进行验证，验证结果如图1-图9所示。
其中，第一幅高光谱图像PaviaUniversity为反射光学系统成像光谱仪(ROSIS-03)光学传感器于意大利北部帕维亚市区上空飞行期间获得。该图像的空间分辨率为1.3m，尺寸为610×340，光谱范围为430nm-860nm，在去除原始数据中含有的噪声频带后剩余波段数目为103个。Pavia University数据中包含有9类地物，其中大多数为人造对象，数据的假彩色图和真值图如图1和图2所示。
第二幅数据为ITRES-CASI 1500高光谱成像仪所拍摄的Houston Campus，其场景为休斯顿大学校园及其附近市区。数据的空间分辨率为2.5m，像素个数为349×1905，其所包含的144个波段覆盖了从380nm-1050nm的波长范围。图3给出了Houston Campus的假彩色图像，图4给出了其所包含的15种地物的真值图。
为验证本发明算法的有效性，分别对Pavia University和Houston Campus进行多尺度空-谱特征提取。图5和图6分别显示了两幅图像在各个尺度下的特征的第1主成分，其中图a表示尺度1，图b表示尺度2，图c表示尺度3，图d表示尺度4，图e表示尺度5；从图中可以看出，随着尺度的增大，局部纹理和弱小边缘被分离，而得图像的空间趋势和主体结构特征以保留。
在所得多尺度空-谱特征的基础上，进一步采用支持向量机(SVM)分类器对两幅高光谱图像进行分类测试，并选取了其他五种方法进行比较。其中包括直接对原始数据采用SVM分类器进行分类，基于稀疏表示的分类器JSRC和利用多尺度策略对其进行改进的MASR，基于本征分解的特征提取方法IID，以及多尺度边缘保持滤波PCA-EPF算法。为全面地对各方法的性能进行定量评估，实验计算了每一种地物类别的分类精度，并选择总体精度(OA)，平均精度(AA)以及Kappa系数来衡量各方法的整体分类效果。实验中所用的训练样本均采取随机的方式选取，所有结果均为10次以上实验的平均值。
在对第一幅数据Pavia University进行分类试验时，我们选择1％的标记样本作为训练集，将剩余99％的标记样本作为测试集。表1中的数据为采用不同方法进行分类后各类别的精度以及整体衡量标准OA，AA和Kappa系数，图7为根据各方法所得结果绘制的分类专题图，其中图a表示采用SVM方法，图b表示采用JSRC方法，图c表示采用MASR方法，图d表示采用IID方法，图e表示采用PCA-EPFs方法，图f表示采用MCSD-PCA方法。从实验结果中可以明显看出，采用本发明所提的特征取方法获取到的高光谱图像多尺度特征能够获得最佳分类效果。具体来说，其在七个地物类别(草地，砂砾，树木，金属板，裸土，沥青屋顶和砖石)和三个整体衡量标准上获得了相比其他五种方法的更高分类精度。
表1
地物类别 训练/测试 SVM JSRC MASR IID PCA-EPFs MCSD-PCA
柏油路 66/6565 88.78 94.33 94.99 99.08 95.23 98.18
草地 186/18463 92.12 86.86 93.75 98.93 99.25 99.63
砂砾 21/2078 74.31 63.71 84.67 99.44 94.60 99.74
树木 31/3033 93.84 93.12 96.95 96.26 98.65 99.72
金属板 13/1332 97.27 96.90 90.61 99.53 99.90 99.91
裸土 50/4979 89.18 75.48 96.31 99.61 99.29 99.94
沥青屋顶 13/1317 76.79 73.47 91.05 98.16 94.85 99.23
砖石 37/3645 80.59 56.94 68.44 94.98 92.69 96.63
阴影 9/938 99.97 99.79 100 98.71 95.68 99.97
OA -- 89.39 81.97 90.69 98.48 97.56 99.18
AA -- 88.10 82.29 90.75 98.30 96.68 99.22
Kappa -- 85.79 75.71 87.52 97.98 96.77 98.92
图8和图9是采用不同方法对Pavia University数据进行分类所得到的结果图，在第二幅图像Houston Campus的分类实验中，选取了5％标记的样本作为训练数据集，剩余95％的样本作为测试集，所得到的分类结果如表2所示。可以看出，由于Houston Campus数据的空间结构较为复杂，采取多尺度策略的MASR和PCA-EPFs相比JSRC和SVM的改善效果显得十分有限，甚至出现了负面的影响。例如，MASR所得到的Parking lot1的精确度仅为87.88％，而PCA-EPFs对Health grass和树的分类精度都小于90％。显然，本发明所提出的特征提取方法能够实现最好的分类结果，其所得到的三项分类指标(OA、AA、Kappa)都高于其他五种方法。值得注意的是，尽管IDD也能够提供较为理想的分类结果，但本发明所提特征提取方法可以获得更为均衡的分类精度，每个类别的分类准确率都超过了95％。
表2
地物类别 训练/测试 SVM JSRC MASR IID PCA-EPFs MCSD-PCA
健康的草 53/1000 94.75 96.25 95.16 98.71 89.13 96.64
修剪的草 53/1011 96.79 98.61 98.06 99.09 90.59 96.33
人工草 25/480 99.42 100 100 100 99.86 100
树木 53/1003 98.33 97.84 97.13 99.49 88.25 98.36
土壤 53/1003 94.98 95.76 98.48 99.10 97.96 99.64
水 7/136 95.74 90.99 100 96.75 91.42 100
居民楼 54/1018 89.05 95.57 96.87 96.90 91.15 97.09
商业楼 53/1000 86.18 94.21 98.68 94.32 93.76 95.76
公路 53/1006 83.43 82.88 92.06 96.27 87.90 99.11
高速公路 52/984 88.48 86.59 93.26 95.43 96.20 97.03
铁路 53/1001 88.21 87.20 94.39 96.27 96.36 99.27
停车场1 52/989 88.33 81.80 87.88 95.39 97.08 96.83
停车场2 14/271 64.64 80.80 92.23 91.67 91.08 97.59
网球场 12/235 94.48 98.14 95.90 100 99.33 100
跑道 24/449 99.46 90.79 98.06 99.07 98.08 98.64
OA -- 90.84 91.72 95.36 97.20 93.22 97.77
AA -- 90.49 91.83 95.88 97.23 93.88 98.15
Kappa -- 90.05 91.00 94.96 96.96 92.64 97.57
为更全面地评估分类性能，将各个方法在不同数量的训练样本下取得的总体分类精度绘制成折线图来进行直观的对比。其中，Pavia University数据选取的训练样本数量为0.1％-2％，Houston数据为1％-20％。如图8和图9所示，随着训练样本数量的增加，各方法的总体分类精度会不断地提升进而趋近于一个稳定的数值。从图中可以明显看出，所提方法在分类任务中的性能优于其他方法，尤其在训练样本数量较为有限时。例如，对于Pavia University数据，采用所提多尺度特征提取方法，能够在仅使用训练集中0.1％的标记样本进行训练时获得超过90％的总体精度。
本发明中，为验证本发明所提算法的有效性，将其应用于常用数据集进行特征提取，并将所提特征用于分类任务中，与传统的像素级分类方法和近年提出的基于特征提取的分类方法进行对比。实验结果表明，本发明所提算法能够有效提取高光谱图像的多尺度空-谱特征，实现更高精度的地物分类。
虽然在本文中参照了特定的实施方式来描述本发明，但是应该理解的是，这些实施例仅仅是本发明的原理和应用的示例。因此应该理解的是，可以对示例性的实施例进行许多修改，并且可以设计出其他的布置，只要不偏离所附权利要求所限定的本发明的精神和范围。应该理解的是，可以通过不同于原始权利要求所描述的方式来结合不同的从属权利要求和本文中所述的特征。还可以理解的是，结合单独实施例所描述的特征可以使用在其他所述实施例中。

Claims (8)

1.基于卷积稀疏分解的高光谱图像多尺度特征提取方法，其特征在于，它包括：
S1、将图像信号输入至稀疏表示模型中，所述稀疏表示模型包括合成稀疏模型和分析稀疏模型，合成稀疏模型将图像信号采用合成稀疏字典中基元的线性组合进行表示，分析稀疏模型将图像信号经过分析字典的投影，获得具有稀疏性质的投影系数；
S2、建立卷积稀疏分解模型，然后分别将合成稀疏模型和分析稀疏模型的先验知识添加到卷积稀疏分解模型的两个部分，然后对卷积稀疏分解模型求解；
S3、对图像信号采用分段平均的方法进行光谱降维，对降维获得图像进行多尺度空间的频谱特征提取，采用主成分分析法提取多尺度的空间频谱特征。
2.根据权利要求1所述的基于卷积稀疏分解的高光谱图像多尺度特征提取方法，其特征在于，S1所述合成稀疏模型将图像信号采用合成稀疏字典中基元的线性组合进行表示的具体方法包括：
将一维信号
Figure FDA0002851800700000011
表示为合成稀疏字典D中q个基元的线性组合：
x＝Dαs,s.t.||αs||0＝q；
其中，
Figure FDA0002851800700000012
d≤n具有过完备性质，合成稀疏字典D中的每个列向量是一个基元；d表示x的维度，n表示D中基元的个数；
线性表示系数
Figure FDA0002851800700000013
稀疏特性用L0范数度量；L0范数为||·||0，表示某个向量中非零元素的个数。
3.根据权利要求2所述的基于卷积稀疏分解的高光谱图像多尺度特征提取方法，其特征在于，S1所述分析稀疏模型获得具有稀疏性质的投影系数的具体方法包括：
对于一维信号
Figure FDA0002851800700000014
分析稀疏模型利用分析字典
Figure FDA0002851800700000015
对信号进行投影，
分析字典Ω与信号x相乘，生成具有稀疏性质的投影系数αA＝Ωx：
αA＝Ωx s.t.||αA||0＝l；
其中，获得的系数αA是稀疏向量，是信号x的分析系数特；l表示αA中非0元素的个数，表征信号x在分析字典Ω下的分析稀疏度。
4.根据权利要求3所述的基于卷积稀疏分解的高光谱图像多尺度特征提取方法，其特征在于，S2所述建立卷积稀疏分解模型，然后分别将合成稀疏模型和分析稀疏模型的先验知识添加到卷积稀疏分解模型的两个部分的具体方法包括：
将二维图像X分解为两个部分：
X＝F+T，其中，F为空间结构部分，T为局部纹理信息；
将分析稀疏模型的先验知识用于约束空间结构部分F，该稀疏约束项的正则化参数为λ，
将合成稀疏模型的先验知识约束局部纹理信息T，该稀疏约束项的正则化参数为β；
采用卷积的方式将二维图像X的分解改写为最小化能量方程的形式：
Figure FDA0002851800700000021
其中，局部纹理信息
Figure FDA0002851800700000022
为各个合成稀疏字典dA,n,n＝1,...,N与相应的稀疏矩阵An,n＝1,...,N进行卷积后求和获得；dF,m,m＝1,...,M表示第m个分析字典；
采用矩阵乘法代替卷积运算，并对各个合成稀疏字典引入额外的约束确保有界性，获得卷积稀疏正则化模型：
Figure FDA0002851800700000023
其中，f是F的向量化形式，αn，n＝1,…,N是An,n＝1,...,N的向量化形式，
DA,n和DF,m分别表示dA,n,n＝1,...,N和dF,m,m＝1,...,M的循环块构成的循环矩阵。
5.根据权利要求4所述的基于卷积稀疏分解的高光谱图像多尺度特征提取方法，其特征在于，S2所述对卷积稀疏分解模型求解的具体方法包括：
采用交替最小化方法对卷积稀疏正则化模型求解，即对所有未知变量进行交替更新；
输入为：二维图像X、分析稀疏模型稀疏约束项的正则化参数λ和合成稀疏模型稀疏约束项的正则化参数β；
初始化：
Figure FDA0002851800700000031
设
Figure FDA0002851800700000032
为固定常数，采用交替方向乘子法求解F(i)：
Figure FDA0002851800700000033
其中，i＝1:I表示循环幅值；
如果i＝1，则采用(X-F(1))的分析字典作为初始化合成合成稀疏字典
Figure FDA0002851800700000034
设F与{dA,1,...,dA,N}为固定常数，采用交替方向乘子法求解
Figure FDA0002851800700000035
Figure FDA0002851800700000036
设F与An为固定常数，更新{dA,1,...,dA,N}：
Figure FDA0002851800700000037
输出F和T。
6.根据权利要求5所述的基于卷积稀疏分解的高光谱图像多尺度特征提取方法，其特征在于，S3所述对图像信号采用分段平均的方法进行光谱降维，具体过程包括：
对于高光谱的图像数据
Figure FDA0002851800700000038
空间尺寸为R×C，波段数为B，平均划分为若干个波段子集：
X＝{X1,X2,...,XS}；
其中，降维后的光谱维度是S；
如果B不能被S整除，前S-1个子集中的波段数为B/S四舍五入得到，最后一个子集XS为剩余光谱波段；
对于每个子集，通过对各波段求平均值计算出Xs,s＝1,...,S，获得降维后的图像数据：
Figure FDA0002851800700000039
7.根据权利要求6所述的基于卷积稀疏分解的高光谱图像多尺度特征提取方法，其特征在于，S3所述对降维获得图像进行多尺度空间的频谱特征提取，具体过程包括：
将降维获得的图像数据分解为两个部分：
Figure FDA0002851800700000041
其中，F＝{F1,F2,...,FS}为各光谱通道的空间结构部分，T＝{T1,T2,...,TS}为不相关的局部纹理信息；
通过调节卷积稀疏分解模型中的λ和β获取
Figure FDA0002851800700000042
在不同尺度下的空间特征：
当λ的值增大时，对应的分析稀疏模型的稀疏约束项
Figure FDA0002851800700000043
增强，分解得到的特征的尺度增大，
当β的值增大时，对应的疏矩阵An的稀疏性增强，分解得到的特征的尺度减小；
设尺度的数量为K，则获得多尺度空间的频谱特征集合：
Figure FDA0002851800700000044
8.根据权利要求7所述的基于卷积稀疏分解的高光谱图像多尺度特征提取方法，其特征在于，S3所述采用主成分分析法提取多尺度的空间频谱特征，具体过程包括：
采用主成分分析法增强像素之间的光谱差异性，并去除冗余数据，获取强判别性的多尺度空间频谱特征，对于第k个尺度的空间特征
Figure FDA0002851800700000045
经过主成分分析变换降维后的特征表示为：
Figure FDA0002851800700000046
其中，P表示保留的主成分个数；
将各尺度上的空间频谱特征堆叠，获得光谱维数P×K的多尺度空间频谱特征集合：
Figure FDA0002851800700000047
CN202011530046.6A 2020-12-22 2020-12-22 基于卷积稀疏分解的高光谱图像多尺度特征提取方法 Pending CN112507962A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011530046.6A CN112507962A (zh) 2020-12-22 2020-12-22 基于卷积稀疏分解的高光谱图像多尺度特征提取方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011530046.6A CN112507962A (zh) 2020-12-22 2020-12-22 基于卷积稀疏分解的高光谱图像多尺度特征提取方法

Publications (1)

Publication Number Publication Date
CN112507962A true CN112507962A (zh) 2021-03-16

Family

ID=74922971

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011530046.6A Pending CN112507962A (zh) 2020-12-22 2020-12-22 基于卷积稀疏分解的高光谱图像多尺度特征提取方法

Country Status (1)

Country Link
CN (1) CN112507962A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113034641A (zh) * 2021-03-29 2021-06-25 安徽工程大学 一种基于小波多尺度卷积特征编码的稀疏角度ct重建方法

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113034641A (zh) * 2021-03-29 2021-06-25 安徽工程大学 一种基于小波多尺度卷积特征编码的稀疏角度ct重建方法
CN113034641B (zh) * 2021-03-29 2022-11-08 安徽工程大学 一种基于小波多尺度卷积特征编码的稀疏角度ct重建方法

Similar Documents

Publication Publication Date Title
CN110321963B (zh) 基于融合多尺度多维空谱特征的高光谱图像分类方法
CN110363215B (zh) 基于生成式对抗网络的sar图像转化为光学图像的方法
Irmak et al. A MAP-based approach for hyperspectral imagery super-resolution
CN111260576B (zh) 一种基于去噪三维卷积自编码网络的高光谱解混算法
CN110728192B (zh) 一种基于新型特征金字塔深度网络的高分遥感图像分类方法
Luo et al. A novel algorithm of remote sensing image fusion based on shift-invariant Shearlet transform and regional selection
CN110717354A (zh) 基于半监督k-svd与多尺度稀疏表示的超像元分类方法
Zhang et al. Cloud detection in high-resolution remote sensing images using multi-features of ground objects
CN109215053B (zh) 一种无人机航拍视频中含暂停状态的运动车辆检测方法
Bahl et al. Low-power neural networks for semantic segmentation of satellite images
Li et al. Hyperspectral image recovery employing a multidimensional nonlocal total variation model
CN104463223B (zh) 基于空谱信息丰度约束的高光谱图像组稀疏解混方法
Tsai et al. 3D computation of gray level co-occurrence in hyperspectral image cubes
CN105894013A (zh) 基于cnn和smm的极化sar图像分类方法
CN117058558A (zh) 基于证据融合多层深度卷积网络的遥感图像场景分类方法
Ouma et al. Urban-trees extraction from Quickbird imagery using multiscale spectex-filtering and non-parametric classification
Liu et al. An attention-guided and wavelet-constrained generative adversarial network for infrared and visible image fusion
CN112633202A (zh) 一种基于双重去噪联合多尺度超像素降维的高光谱图像分类算法
CN112381144A (zh) 非欧与欧氏域空谱特征学习的异构深度网络方法
CN110310263B (zh) 一种基于显著性分析和背景先验的sar图像居民区检测方法
Huang et al. SIDNet: a single image dedusting network with color cast correction
CN112507962A (zh) 基于卷积稀疏分解的高光谱图像多尺度特征提取方法
CN114299382A (zh) 高光谱遥感图像分类方法及系统
CN113421198A (zh) 一种基于子空间的非局部低秩张量分解的高光谱图像去噪方法
Laban et al. Enhanced pixel based urban area classification of satellite images using convolutional neural network

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination