CN110458208A - 基于信息测度的高光谱图像分类方法 - Google Patents

基于信息测度的高光谱图像分类方法 Download PDF

Info

Publication number
CN110458208A
CN110458208A CN201910672230.5A CN201910672230A CN110458208A CN 110458208 A CN110458208 A CN 110458208A CN 201910672230 A CN201910672230 A CN 201910672230A CN 110458208 A CN110458208 A CN 110458208A
Authority
CN
China
Prior art keywords
information
spectral
hyperspectral image
spectral band
band
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201910672230.5A
Other languages
English (en)
Inventor
林连雷
陈采璐
张珊珊
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Harbin Institute of Technology
Original Assignee
Harbin Institute of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Harbin Institute of Technology filed Critical Harbin Institute of Technology
Priority to CN201910672230.5A priority Critical patent/CN110458208A/zh
Publication of CN110458208A publication Critical patent/CN110458208A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • Computational Linguistics (AREA)
  • Health & Medical Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供了基于信息测度的高光谱图像分类方法，包括如下步骤：应用熵和颜色匹配函数对高光谱图像中的光谱带进行初步选择；计算初步选择后光谱带之间的互信息，选择互信息最小的光谱带，完成二次选择；提取二次选择后光谱带的空谱信息；将所述空谱信息输入至CNN模型，输出分类结果与图像。本发明基于信息测度的高光谱图像分类方法有良好的分类表现，对高度相似的地物信息分类准确率高，而在样本充足数据集上的分类性能更加突出。

Description

基于信息测度的高光谱图像分类方法
技术领域
本发明涉及高光谱图像处理技术领域，特别涉及基于信息测度的高光谱图像分类方法。
背景技术
近年来，高光谱图像(Hyperspectral Image,HSI)分析在各领域的应用十分广泛，如应用于土地覆盖分类与变化监测、环境科学和矿物开发等。高光谱传感器通过捕获数以百计连续窄谱带上的二维地面空间图像，产生了包含光谱信息和空间信息的三维高光谱图像。高光谱传感器提供许多传统光谱传感器无法提供的连续光谱曲线，其波段横跨可见光到红外光，包含丰富的光谱信息。
虽然高光谱图像丰富的光谱信息和空间信息有利于对地面目标进行分类，但在实际应用中也面临着一定的困难：
高光谱图像具有高维度和高信息冗余的典型特征，与普通图像相比包含的信息量更加庞大，导致在分类中对某个像元进行处理的运算量较大，因此需要先对高光谱图像进行降维预处理。目前，主成分分析(Principal Component Analysis,PCA)已成为常用的将高维数据降成低维的方法。但仅提取空间特征或光谱特征无法充分融合空间信息和光谱信息，而空谱信息的融合对于提高高光谱图像的分类准确率十分必要。
因此，如何提供一种在正常样本量下对高度相似的地物信息分类准确率高、误分类信息少的高光谱图像分类方法是本领域技术人员亟需解决的问题。
发明内容
本发明提供了基于信息测度的高光谱图像分类方法，提出了提出基于信息测度降维的CNN分类方法(IM)，以及在信息测度降维的基础上加强与光谱信息融合的CNN分类方法(IM_SPE)，对各类地物分类结果与真实地物信息一致性高，说明了在大数据集上分类的稳定性和准确性。具体方案如下：
基于信息测度的高光谱图像分类方法，包括如下步骤：
步骤一，应用熵和颜色匹配函数对高光谱图像中的光谱带进行初步选择；
步骤二，计算初步选择后光谱带之间的互信息，选择互信息最小的光谱带，完成二次选择；
步骤三，提取二次选择后光谱带的空谱信息；
步骤四，将所述空谱信息输入至CNN模型，输出分类结果与图像。
优选的，所述步骤一具体包括：
计算高光谱图像每个光谱带的熵；
计算每个光谱带的熵的局部平均值；
保留熵处于局部平均值上下浮动阈值因子范围内的光谱带；
利用CMF颜色匹配函数进行光谱带筛选。
优选的，利用CMF颜色匹配函数进行光谱带筛选包括：
获取固定波段内光谱带中的CMF颜色匹配系数，采用自动阈值方法定义 CMF系数最优阈值：
其中，是通过对CMF进行阈值处理而丢弃的通道集合，为的互补集合，是通过上述推导得到的丢弃光谱带的总熵，是所选光谱带的总熵；根据上式，分别得到对应三原色的三个最优阈值tR,tB,tG.
当光谱带中对应三原色CMF颜色匹配系数高于最优阈值时，保留所述光谱带，分别得到三原色的频带选择集合和
优选的，步骤二中，遍历和中所有光谱的组合，挑选出第 3阶归一化互信息最小的三个光谱。
优选的，所述步骤二之后，还包括，利用图像假彩色合成方法将二次选择的光谱带进行基于信息测度的假彩色合成，得到假彩色图像，用于对地物目标信息的预判，以及与CNN分类后的结果进行对比验证。
优选的，所述步骤三之后，还包括：
获取二次选择的光谱带的灰度图像；
将每个灰度图像分解成多个patch，提取patch中心像元在高光谱图像所有光谱带上的全部光谱信息；
通过对光谱信息组合、截取、变形、叠加，输出与二次选择后光谱带的空谱信息同样形状与大小的信息。
优选的，步骤四为将叠加后输出的信息与步骤三的空谱信息堆叠输入 CNN模型训练，输出分类结果与图像。利用图像假彩色合成方法将二次选择的光谱带进行基于信息测度的假彩色合成，得到假彩色图像，用于对地物目标信息的预判，以及与CNN分类后的结果进行对比验证。
本发明相较现有技术具有以下有益效果：
本发明公开提供了基于信息测度的高光谱图像分类方法，提出了基于信息测度降维的高光谱图像分类方法(IM)，应用熵和颜色匹配函数对谱带初步选择，再计算最小互信息对谱带二次选择，有效实现了对高光谱图像降维。并通过对选出谱带合成假彩色图像，实现了对地物信息的可视预判。相对于基于光谱信息的分类方法，IM方法的总分类准确率至少提高了7％。相对于基于空间信息的分类方法和融合光谱与第一主成分空间信息的分类方法，IM 方法总分类准确率至少提高了4％。在此基础上，又提出基于信息测度降维与光谱信息加强的分类方法(IM_SPE)，进一步融合空谱信息输入卷积神经网络，获得比基于前三主成分空谱信息分类方法和IM方法更高的分类准确率，该方法通过巧妙的降维在一定程度上解决了光谱信息冗余的问题，并且利用空谱融合得到了更好的分类效果。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。
图1为本发明基于信息测度的高光谱图像分类方法流程图；
图2为本发明高纬数据集不相关光谱带的排除示意图；
图3为本发明波长360nm到830nm之间的CIE 1931颜色匹配曲线；
图4为本发明红光CMF系数变化曲线及阈值设置示意图；
图5为本发明红、绿、蓝三色加色假彩色合成示意图；
图6为本发明基于信息测度的高光谱图像分类模型；
图7为本发明基于信息测度降维与光谱信息加强的高光谱图像分类流程图；
图8为本发明基于信息测度降维与光谱信息加强的CNN分类模型；
图9为本发明实施例Salinas数据集地物真实标记图；
图10为本发明实施例Pavia Center数据集地物真实标记；
图11为本发明实施例基于信息测度所选三个谱带的灰度图生成的假彩色图像一；
图12为本发明实施例基于信息测度所选三个谱带的灰度图生成的假彩色图像二；
图13为本发明实施例SPE、PCA1、PCA1_SPE、PCA3、IM和IM_SPE 方法在Salinas数据集上的分类结果图；
图14为本发明实施例SPE、PCA1、PCA1_SPE、PCA3、IM和IM_SPE 方法在PaviaCenter数据集分类结果图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
谱带选择是指选择具有相关信息的谱带图像，本实施例的主要思路是将熵和互信息作为谱带选择的标准，以实现高光谱图像降维和下一步分类。首先，应用香农熵来测量图像信息，计算熵信息来评价每个波段或波长间隔中包含的信息，设置阈值以排除不相关的光谱带，并结合颜色匹配函数来完成光谱带的初步选择。其次，因为互信息测量两个随机变量之间的统计依赖性，使用互信息可以有效地识别冗余光谱带，因此，使用互信息来进一步选择包含最有用信息的光谱带。接下来，将选择的光谱带组合成包含主光谱信息的假彩色图像。最后，在两个高光谱数据集进行参数选择和分类性能对比实验，验证提出的IM和IM_SPE方法在分类性能上有更好的表现。
S1，应用熵和颜色匹配函数对高光谱图像中的光谱带进行初步选择。
将香农通信理论应用于高光谱图像时，通常认为每个通道都等效于一个随机变量X，并且其中所有像元都是X的事件xi，通过香农熵排除信息量少的通道以实现对高光谱图像光谱带初步选择的步骤如下：
首先，计算高光谱图像每个光谱带的熵H(Bi)。其中随机变量Bi是第i个光谱带(i＝1,2,……,n)，xi是第i个光谱带的像元，是谱带Bi的概率密度函数，b是对数阶数。
其次，定义每个光谱带的熵的局部平均值。其中m是窗口大小，表示邻域的大小。
最后，保留达到以下条件的谱带Bi。其中σ是阈值因子，熵比局部平均值上下浮动阈值因子σ的范围更高或更低的光谱带被认为是冗余的。
参见说明书附图1，横轴代表光谱带数量，即光谱维数，纵轴代表每个光谱带熵的大小，蓝色曲线即为熵曲线，它的平滑度决定了窗口大小m和阈值因子σ的取值。如果曲线是平滑的，则高光谱图像相邻光谱带信息的变化小，谱带信息的不确定性小，落在相关范围之外的谱带数量少，具有不相关谱带的概率小，冗余谱带少，在这种情况下，选择较小的σ和m来提高排除冗余谱带的能力。相反，如果曲线波动较大，则高光谱图像相邻光谱带信息的变化大，谱带信息的不确定性大，落在相关范围之外的谱带数量多，具有不相关谱带的概率大，冗余谱带多，在这种情况下，选择较大的σ和m来排除冗余谱带，以防误排除有效信息谱带。
接下来，使用描述人眼视觉色彩特性的CIE 1931标准色度观察者颜色匹配函数(CMF)，在计算熵的基础上再基于CMF完成对光谱带初步选择的完整过程。基于特定波长的CMF确定了为达到与该波长对应单色光相同的视觉效果必须混合每种三原色光(红光、蓝光、绿光)的数量。通过将CIE颜色匹配应用于可见光范围的高光谱图像，可以将高光谱图像可视化为颜色匹配正确的图像。
参见说明书附图2，设第一条有效光谱带的波长λ＝360nm，最后一条有效光谱带的波长λ＝830，并将所有的光谱做线性映射，以保证高光谱图像的所有光谱都映射到360nm-830nm之间。
分别对三原色光的CMF颜色匹配系数设置阈值t，分别获得基于三原色光通道的频带选择集合和
说明书附图3中，对红光CMF的系数变化曲线进行举例说明，对红光 CMF的系数变化曲线设置了两种频谱阈值(t＝0.1，t＝0.5)。当CMF系数高于阈值时，保留这些光谱带。在没有特定应用的情况下设置参数t非常具有挑战性。本实施例采用自动阈值方法，将最佳阈值定义为最大化丢弃信息量的t 值。设是通过对CMF进行阈值处理而丢弃的通道集合，为的互补集合。最优阈值topt定义为
是通过上述推导得到的丢弃光谱带的总熵，是所选光谱带的总熵。根据式(4)，分别得到对应三原色的三个最优阈值tR,tB,tG。当光谱带中对应三原色CMF颜色匹配系数高于最优阈值时，保留所述光谱带，进而分别得到三原色的频带选择集合和
S2，计算初步选择后光谱带之间的互信息，选择互信息最小的光谱带，完成二次选择。
一个信道的信息可以增加另外两个信道之间的互信息，在这样的情况下，两个信道间重叠的信息越少，两个随机变量间相互依赖的程度越低，包含的信息量就越大。需要同时考虑两个标准对高光谱图像进行降维：最大信息量和最小冗余量。
使用波段S＝{B1,…,Bk}的第k阶归一化信息(NI)作为标准化互信息，NI 被定义为
I(S)是谱带B1到Bk的互信息，H(Bi)是谱带Bi的熵。
在上一节中，对三原色光的CMF系数设置阈值t得到三原色的频带选择集合：和互信息NI3(S)的值越小，所选光谱带中包含的信息量越大，对高光谱图像降维效果越好。因此，选择n＝3N*个光谱带，N*为正整数，得到xRN*,yBN*,zGN* 使 NI3(xRN*,yBN*,zGN*)最小。以N*＝1为例，得到xR,yB,zG 使 NI3(xR,yB,zG)最小，即，遍历和中所有光谱的组合，挑选出第3 阶归一化互信息最小的三个光谱，这3个光谱带中就包含了高光谱图像最主要的信息。
高光谱图像记录的包含大量地面目标信息的灰度图像不一定能让观察者直接识别，人眼仅能区别256个灰度等级中的30～40个。图像假彩色合成技术作为一种图像增强技术，通过加色或减色将多光谱单色图像合成为假彩色图像。
参见说明书附图5，由三色加色合成方法保存高光谱三维彩色图像的其中三幅灰度图像，并设定与红、绿、蓝三色对应的三个变色函数R(x,y)、G(x,y)、 B(x,y)。
其中，Grayi(x,y),(i＝1,2,3)表示三幅灰度图像的灰度数据， Red(Gray1(x,y))、Green(Gray2(x,y))、Blue(Gray3(x,y))表示对三幅灰度图像分别映射红色、绿色、蓝色的颜色变换。最后将三幅颜色变换后的图像合成为假彩色图像。
(R,G,B)＝(R(x,y),G(x,y),B(x,y)) (7)
选择经过二次选择选出的三个光谱带xR,yB,zG的三幅灰度图像，对其按照上述步骤进行假彩色合成，完成基于信息测度的假彩色合成。由于颜色的丰富性，假彩色图像可以更好地展示出真实的地物。
S3，提取二次选择后光谱带的空谱信息。所选择的三个光谱带包含了最主要的光谱信息，再在每个光谱带上获得空间信息，最终提取空谱信息。
S4，将所述空谱信息输入至CNN模型，输出分类结果与图像。
参见说明书附图6的分类模型所示，基于信息测度对高光谱图像进行降维，选出三个光谱带xR,yB,zG，得到三幅灰度图像。与基于PCA前三主成分空谱信息的CNN分类方法类似的，将每幅灰度图像分解成多个patch，每个patch 大小为m×m，则IM选出的三个光谱带xR,yB,zG包含m×m×3大小的空谱信息，将其作为CNN模型的输入。
值得注意的，在将三幅灰度图像的信息输入CNN网络前合成假彩色图像，将降维后的高光谱图像信息转化为颜色信息，既方便了观察者对地物真实目标信息的预判，又可以满足与输入CNN后的高光谱图像分类结果对比验证。假设高光谱数据大小为I1×I2×I3，从I1×I2所覆盖的二维地面空间来看，输入 CNN的信息包含了三层m×m大小的空间信息；从光谱维I3来看，输入CNN 的信息包含了每个patch中心像元在IM选出的三个光谱带xR,yB,zG上所有的光谱信息。因此本方法保留了IM选出的三个光谱带xR,yB,zG上所有的空谱信息， CNN输入参数input的通道数in_channels＝3，即利用CNN模型对高光谱图像 m×m×3的多通道数据进行处理，实现更高准确率的高光谱图像分类。
参见说明书附图7，本发明实施例还提供了一种基于信息测度的高光谱图像分类过程，主要分为以下三个步骤：第一，通过基于熵和颜色匹配函数 (CMF)的谱带初步选择与基于最小互信息的谱带二次选择，选出三个光谱带并将其灰度图合成假彩色图像，这三个光谱带包含了最主要的光谱信息，再将每幅灰度图像分解成多个patch，在每个光谱带上获得空间信息，提取三个谱带上的空谱信息；第二，提取patch中心像元在高光谱图像所有光谱带上的全部光谱信息，通过对光谱信息组合、截取、变形、叠加，输出与通过IM 方法提取的三维空谱信息同样形状与大小的信息；第三，将前两步得到的空谱信息堆叠输入CNN模型训练，输出分类结果与图像，与通过假彩色图像观察预判的地物真实信息对比验证。
参见说明书附图8所示的信息测度降维与光谱信息加强的CNN分类模型，基于信息测度对高光谱图像降维，选出三个光谱带xR,yB,zG，得到三幅灰度图像。每幅灰度图像的patch大小为m×m，则IM选出的三个光谱带xR,yB,zG包含m×m×3大小的空谱信息。与融合光谱与第一主成分空间信息的CNN分类方法类似的，假设高光谱数据大小为I1×I2×I3，首先，将patch中心像元大小为1×1×I3的一维光谱信息重复叠加n次，得到大小为1×(n×I3)的一维光谱信息，截取与二维空间信息m×m大小相等的一维光谱向量，将大小为1×m×m 的一维光谱向量变形为m×m的二维光谱矩阵并叠加三层，与三个光谱带 xR,yB,zG分解的三层m×m大小的二维空间信息组合成m×m×6大小的空谱信息一起输入CNN模型。值得注意的，在将三幅灰度图像的信息输入CNN网络前合成假彩色图像，将降维后的高光谱图像信息转化为颜色信息，既方便了观察者对地物真实目标信息的预判，又可以满足与输入CNN后的高光谱图像分类结果对比验证。CNN输入参数input的通道数in_channels＝6，即利用 CNN模型对高光谱图像m×m×6的多通道数据进行处理，实现更高准确率的高光谱图像分类。
下面，给出了应用本发明所述方法的具体算例，采用以下算例验证本发明的有益效果。
选取数据集：
Salinas数据集由机载可见光/红外成像光谱仪(AVIRIS)传感器在美国加州萨利纳斯山谷采集。未修正的高光谱图像数据包含224个波段，每个光谱波段对应的二维地面空间包含512×217像元，空间分辨率为每像元3.7米。通过去除覆盖水体吸收区域的20个光谱带(108-112,154-167和224)，将修正后的光谱维数减少到204。高光谱图像真实地物被划分为16类，真实地物信息如图9所示。
Pavia Center数据集为反射光学系统成像光谱仪(ROSIS)高光谱传感器在意大利南部的帕维亚市市中心上空拍摄获得。空间分辨率为每像元1.3米，高光谱图像数据在删除噪声波带后有102个光谱带，且每个光谱波段对应的二维地面空间包含1096×715个像元。该地区包含9种地物，地物真实信息如图10所示。
这两个数据集之间即有相似也有区别：Salinas和Pavia Center数据集图像尺寸都大，但Pavia Center数据量极其庞大，其二维图像尺寸约为Salinas图像尺寸的7倍；Salinas数据集主要反映植被(如休耕地(Fallow)、芹菜(Celery)) 的地物信息，包含丰富的地物种类且多为规则块状分布；Pavia Center数据集主要反映城市景观的地物信息，包含地物种类虽然较少但地物形状的不规则性较强。Salinas数据集包含光谱信息丰富，Pavia Center数据集包含光谱信息较少，但两数据集空间分辨率都高，且Pavia Center数据集的空间分辨率高于 Salinas数据集。并且通过主成分分析发现，两数据集第一主成分包含的地物信息均远多于其他波段信息，说明图像信息分布集中。综上所述，通过这两个数据集上的分类结果对比，可以得到对分类方法性能较为全面的评价。
选取分类结果评价指标：
选择评价指标对分类效果进行评价，包括总体分类准确率(OA)、平均分类准确率(AA)和Kappa系数。
选择参数：
基于信息测度的谱带选择算法中有三个关键参数需要手动调整：第一个是n，n＝3N*(N*＝1,2,......,10)表示所选光谱带的数量；第二个是窗口大小m，第三个是阈值σ。他们决定排除的光谱带，并对高光谱图像的CNN分类结果产生重大影响。
N*若设置太大可能会失去降维的意义，本文取N*＝1，即n＝3，使选择的光谱带包含最大信息量和最小冗余量。
如表1所示，设置Salinas数据集所选光谱带数量n＝3，窗口大小m＝11，不同σ值情况下，基于信息测度降维的高光谱图像分类方法的准确率(以OA 为例)不同。
表1 Salinas数据集上不同σ(n＝3，m＝11)下的总体分类准确率(OA)(％)
从表1的结果来看，当σ＝0.05和σ＝0.15时，分类性能最好，但σ在这两个峰值之后都有较大的波动使OA减小；此外，当σ>0.2时，OA结果相同，这解释了当σ足够大时，它们对分类结果具有基本相同的效果。通过反复实验，选择中等的阈值σ，取σ＝0.1。
对于基于信息测度的高光谱图像的维数，窗口大小m具有很大的影响。选择3个波段n＝3，并设置阈值σ＝0.1，不同窗口大小m对OA影响如表2所示。
表2 Salinas数据集上不同m(n＝3，σ＝0.1)下的总体分类准确率(OA)(％)
通过比较表2中的OA，m>14时，总分类准确率一直维持在较高水平。因为Salinas数据集熵曲率急剧变化，因此较大的窗口大小(m＝20)和中等的σ(σ＝0.1)更合适。对于m的选择只需找到最合适的窗口大小m，而不关心整体趋势。
因为Salinas数据集和Pavia Center数据集图像信息分布均较为集中，取 PaviaCenter数据集窗口大小m＝20，阈值σ＝0.1。
由以上参数基于信息测度对Salinas数据集选择的三个光谱带xR,yB,zG对应为第32，61，66个谱带，使互信息NI3(xR,yB,zG)最小为NI3(32,61,66)＝0.5451。对 Pavia Center数据集选择的三个光谱带xR,yB,zG对应为第6，68，28个谱带，使互信息NI3(xR,yB,zG)最小为NI3(6,68,28)＝0.5358。基于信息测度对两数据集所选三个谱带的灰度图生成假彩色图像如图11所示。
附图11中，(a)为Salinas数据集第32，61，66谱带灰度图生成的假彩色图像，(b)为Pavia Center数据集第6，68，28谱带灰度图生成的假彩色图像。
基于信息测度对Indianpines数据集选择的三个光谱带xR,yB,zG对应为第 92，12，67个谱带，使互信息NI3(xR,yB,zG)最小为NI3(92,12,67)＝0.3759。对Pavia University数据集选择的三个光谱带xR,yB,zG对应为第1，46，10个谱带，使互信息NI3(xR,yB,zG)最小为NI3(1,46,10)＝0.5317。基于信息测度对两数据集所选三个谱带的灰度图生成假彩色图像如图12所示。
附图12中，(a)为Indianpines数据集第92，12，67谱带灰度图生成的假彩色图像，(b)为PaviaUniversity数据集第1，46，10谱带灰度图生成的假彩色图像。
在基于信息测度的CNN分类方法中对高光谱图像做降维处理，如图6所示，对每个像素点选其周围m×m大小的patch为其空间信息。选择Salinas数据集和Pavia Center数据集的空间信息patch大小分别为27×27和21×21。每个选择三个光谱带，分别得到27×27×3和21×21×3的空谱信息，作为CNN 的输入。
在基于信息测度降维与光谱信息加强的CNN分类方法中，如图8所示，分别截取Salinas数据集和Pavia Center数据集的一维光谱信息并变形为二维矩阵，使包含光谱信息的二维矩阵大小与包含空间信息的二维矩阵大小相等。具体的，Salinas数据集空间信息patch大小为27×27的二维矩阵，每个像元点的光谱信息用一维向量1×204表示，则将光谱信息重复4次并累加，得到1 ×816的一维光谱向量，在其上截取1×729的一维光谱向量(27×27＝729)，并将其变形成27×27的二维光谱矩阵，叠加三层得到27×27×3的空谱信息，与仅基于信息测度所得27×27×3的空谱信息组合成27×27×6的空谱信息输入 CNN。同理，Pavia Center数据集空间信息patch大小为21×21的二维矩阵，每个像元点的光谱信息用一维向量1×102表示，则将光谱信息重复5次并累加，得到1×510的一维光谱向量，在其上截取1×441的一维光谱向量 (21×21＝441)，并将其变形成21×21的二维光谱矩阵，叠加三层得到21×21 ×3的空谱信息，与仅基于信息测度所得21×21×3的空谱信息堆叠组合成 21×21×6的空谱信息输入CNN。
表3 CNN网络参数设置
如表3所示，对两个高光谱图像数据集建立两个CNN网络。在两个网络中，都选择ReLU激活函数和最大池化方式；采用随机失活(Dropout)防止或减轻过拟合，keep_prob＝0.5表示神经元被选中的概率，其中有50％的数据被丢弃；两个网络的初始权值均由确定均值和标准差的正态分布进行随机初始化，初始化完成后，将训练样本输入到网络并更新网络权值；CNN模型的卷积层、池化层以及全连接层都按照表3进行设置。在上表中，128@5×5表示在该层中共有128个5×5大小的卷积核，Strides＝2表示步长为2。
在本算例中，与Pavia Center数据集相比，Salinas数据集尺寸相对较小。将Salinas数据集对应CNN网络的批尺寸(batch_size)设置为50，地物类别数目为16，故将网络输出层单元数目设置为16。将Pavia Center数据集所对应CNN网络的批尺寸设置为128，地物类别数目为9，故将网络输出单元数目设置为9。将两个数据集CNN网络训练中的学习率均设置为0.005，Salinas 数据集训练次数设定为260次，Pavia Center数据集训练次数设定为100次。网络训练好以后，便可以将待分类目标输入到对应的CNN分类模型中，对目标类别做出预测。
性能对比实验：
Salinas数据集与Pavia Center数据集分别用于类比样本数量正常和样本数量非常充足的情况。根据两数据集的特点，随机选择Salinas数据集所有标记像元的5％作为训练样本，剩余95％的像元作为测试样本，Salinas实际样本数量分配如表3-4；随机选择Pavia Center数据集所有标记像元的9％作为训练样本，剩余91％的像元作为测试样本，Pavia Center实际样本数量分配如表3-5。
表4 Salinas样本分配
从表4中，可以看出Salinas数据集样本分布较为均衡。
表5 Pavia Center样本分配
从表5中，可以看出Pavia Center数据集训练样本非常充足，测试样本数据量庞大。
为了充分验证方法的有效性，将本章提出的基于信息测度降维的CNN分类方法(简称为IM)、基于信息测度降维与光谱信息加强的CNN分类方法 (简称为IM_SPE)与SPE、PCA1、PCA1_SPE、PCA3的分类性能对比。在 Salinas数据集上的分类性能对比如表6所示。
表6 Salinas分类结果(％)(该分类结果为各算法运行10次求得的平均数据)
从表6可以看出，在Salinas数据集上，IM和IM_SPE方法总体上有着最为优异的分类准确率，尤其是IM_SPE方法的OA相对于SPE、PCA1和PCA3 方法分别提高了12.07％、4.69％和1.01％，在AA和Kappa系数上的优异表现更加充分说明了IM和IM_SPE方法的稳定性和准确性。
参见图13(a)～(f)分别为SPE、PCA1、PCA1_SPE、PCA3、IM和IM_SPE 方法在Salinas数据集上的分类结果图，(g)为Salinas真实地物标记示意图。通过图13，可以更加直观地看出IM和IM_SPE方法在Salinas数据集上的整体分类效果明显优于SPE、PCA1、PCA1_SPE、PCA3方法。特别是对高度相似的地物类别(第1和第2类(Weeds1和Weeds2)，第8和第15类(Soil和Vinyarduntrained))的分类效果有显著提高，对高度相似地物的误分类情况显著减少。说明IM和IM_SPE方法对高度相似地物信息的分类有突出优势。
SPE、PCA1、PCA1_SPE、PCA3、IM和IM_SPE方法在Pavia Center数据集上的分类性能对比如表7所示。
表7 Pavia Center分类结果(％)(该分类结果为各算法运行10次求得的平均数据)
由表7看出，在Pavia Center数据集上，IM和IM_SPE方法总体上有着最为优异的分类准确率，均达到99％以上，尤其是IM_SPE方法相对于SPE、 PCA1和PCA1_SPE方法分别提高了8％、7.36％和0.91％。IM和IM_SPE平均分类准确率和Kappa系数也最高，说明预测的各类地物分类结果与真实地物信息一致性更高，更加说明了IM和IM_SPE方法在大数据集上分类的稳定性和准确性。
图14(a)～(f)分别为SPE、PCA1、PCA1_SPE、PCA3、IM和IM_SPE方法在Pavia Center数据集上的分类结果图，(g)为Pavia Center真实地物标记示意图。由图14可以看出IM和IM_SPE方法在Pavia Center数据集充足的训练样本下有突出的分类表现，几乎完全正确分类。
通过在Salinas和Pavia Center两个数据集上的性能对比可以看出，基于信息测度的高光谱图像分类方法(IM和IM_SPE)有着最高且最稳定的分类结果，在样本数量正常与非常充足的情况下均有良好的分类表现，在正常样本量下对高度相似的地物信息分类准确率高，误分类信息少或几乎没有，且随着样本数量的丰富，在样本充足的数据集上有着更加优越的表现。
以上对本发明所提供的基于信息测度的高光谱图像分类方法进行了详细介绍，本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。
在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

Claims (8)

1.基于信息测度的高光谱图像分类方法，其特征在于，包括如下步骤：
步骤一，应用熵和颜色匹配函数对高光谱图像中的光谱带进行初步选择；
步骤二，计算初步选择后光谱带之间的互信息，选择互信息最小的光谱带，完成二次选择；
步骤三，提取二次选择后光谱带的空谱信息；
步骤四，将所述空谱信息输入至CNN模型，输出分类结果与图像。
2.根据权利要求1所述的基于信息测度的高光谱图像分类方法，其特征在于，所述步骤一具体包括：
计算高光谱图像每个光谱带的熵；
计算每个光谱带的熵的局部平均值；
保留熵处于局部平均值上下浮动阈值因子范围内的光谱带；
利用CMF颜色匹配函数进行光谱带筛选。
3.根据权利要求2所述的基于信息测度的高光谱图像分类方法，其特征在于，利用CMF颜色匹配函数进行光谱带筛选包括：
获取固定波段内光谱带中的CMF颜色匹配系数，采用自动阈值方法定义CMF系数最优阈值：
其中，是通过对CMF进行阈值处理而丢弃的通道集合，为的互补集合，是通过上述推导得到的丢弃光谱带的总熵，是所选光谱带的总熵；根据上式，分别得到对应三原色的三个最优阈值tR,tB,tG.
当光谱带中对应三原色CMF颜色匹配系数高于最优阈值时，保留所述光谱带，分别得到三原色的频带选择集合和
4.根据权利要求3所述的基于信息测度的高光谱图像分类方法，其特征在于，步骤二中，遍历和中所有光谱的组合，挑选出第3阶归一化互信息最小的三个光谱。
5.根据权利要求1所述的基于信息测度的高光谱图像分类方法，其特征在于，所述步骤二之后，还包括，利用图像假彩色合成方法将二次选择的光谱带进行基于信息测度的假彩色合成，得到假彩色图像，用于对地物目标信息的预判，以及与CNN分类后的结果进行对比验证。
6.根据权利要求1所述的基于信息测度的高光谱图像分类方法，其特征在于，所述步骤三之后，还包括：
获取二次选择的光谱带的灰度图像；
将每个灰度图像分解成多个patch，提取patch中心像元在高光谱图像所有光谱带上的全部光谱信息；
通过对光谱信息组合、截取、变形、叠加，输出与二次选择后光谱带的空谱信息同样形状与大小的信息。
7.根据权利要求6所述的基于信息测度的高光谱图像分类方法，其特征在于，步骤四为将叠加后输出的信息与步骤三的空谱信息堆叠输入CNN模型训练，输出分类结果与图像。
8.根据权利要求7所述的基于信息测度的高光谱图像分类方法，其特征在于，还包括，利用图像假彩色合成方法将二次选择的光谱带进行基于信息测度的假彩色合成，得到假彩色图像，用于对地物目标信息的预判，以及与CNN分类后的结果进行对比验证。
CN201910672230.5A 2019-07-24 2019-07-24 基于信息测度的高光谱图像分类方法 Pending CN110458208A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910672230.5A CN110458208A (zh) 2019-07-24 2019-07-24 基于信息测度的高光谱图像分类方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910672230.5A CN110458208A (zh) 2019-07-24 2019-07-24 基于信息测度的高光谱图像分类方法

Publications (1)

Publication Number Publication Date
CN110458208A true CN110458208A (zh) 2019-11-15

Family

ID=68483310

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910672230.5A Pending CN110458208A (zh) 2019-07-24 2019-07-24 基于信息测度的高光谱图像分类方法

Country Status (1)

Country Link
CN (1) CN110458208A (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112699756A (zh) * 2020-12-24 2021-04-23 中国农业科学院农业信息研究所 一种基于高光谱图像的茶叶原产地识别方法和系统
CN112730300A (zh) * 2020-10-13 2021-04-30 中国人民解放军国防科技大学 一种基于香农熵的giirs观测区大气廓线集采样方法
CN115131317A (zh) * 2022-06-28 2022-09-30 华东师范大学 一种基于双模态图像的胃癌癌前病变分析系统及方法
CN117474029A (zh) * 2023-12-28 2024-01-30 中科微点技术有限公司 基于区块链的ai偏振增强图码波频采集成像识别方法

Citations (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101853392A (zh) * 2010-04-21 2010-10-06 河海大学 基于条件互信息的遥感高光谱图像波段选择方法
CN102521605A (zh) * 2011-11-25 2012-06-27 河海大学 一种高光谱遥感图像波段选择方法
CN102915445A (zh) * 2012-09-17 2013-02-06 杭州电子科技大学 一种改进型的神经网络高光谱遥感影像分类方法
CN105069468A (zh) * 2015-07-28 2015-11-18 西安电子科技大学 基于脊波和深度卷积网络的高光谱图像分类方法
CN105654117A (zh) * 2015-12-25 2016-06-08 西北工业大学 基于sae深度网络的高光谱图像空谱联合的分类方法
CN106022355A (zh) * 2016-05-09 2016-10-12 西北工业大学 基于3dcnn的高光谱图像空谱联合分类方法
CN106446936A (zh) * 2016-09-06 2017-02-22 哈尔滨工业大学 基于卷积神经网络的空谱联合数据转波形图的高光谱数据分类方法
CN106845381A (zh) * 2017-01-16 2017-06-13 西北工业大学 基于双通道卷积神经网络的空谱联合的高光谱图像分类方法
CN107025445A (zh) * 2017-04-10 2017-08-08 中国科学院合肥物质科学研究院 基于类信息熵的多源遥感图像组合选择方法
CN107194373A (zh) * 2017-06-16 2017-09-22 河海大学 一种高光谱遥感影像特征提取与分类方法
CN107256414A (zh) * 2017-06-27 2017-10-17 哈尔滨工业大学 基于空域特征图谱的极化sar图像卷积神经网络分类方法
CN107657285A (zh) * 2017-10-13 2018-02-02 哈尔滨工业大学 基于三维卷积神经网络的高光谱图像分类方法
WO2018100244A1 (en) * 2016-12-01 2018-06-07 Nokia Technologies Oy Audio processing
CN109583469A (zh) * 2018-10-17 2019-04-05 浙江工业大学 基于互信息的k均值高光谱图像波段聚类方法
CN109615008A (zh) * 2018-12-11 2019-04-12 华中师范大学 基于堆叠宽度学习的高光谱图像分类方法和系统
CN109949320A (zh) * 2019-03-20 2019-06-28 哈尔滨工业大学 基于熵与互信息的高光谱图像超像元分割方法

Patent Citations (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101853392A (zh) * 2010-04-21 2010-10-06 河海大学 基于条件互信息的遥感高光谱图像波段选择方法
CN102521605A (zh) * 2011-11-25 2012-06-27 河海大学 一种高光谱遥感图像波段选择方法
CN102915445A (zh) * 2012-09-17 2013-02-06 杭州电子科技大学 一种改进型的神经网络高光谱遥感影像分类方法
CN105069468A (zh) * 2015-07-28 2015-11-18 西安电子科技大学 基于脊波和深度卷积网络的高光谱图像分类方法
CN105654117A (zh) * 2015-12-25 2016-06-08 西北工业大学 基于sae深度网络的高光谱图像空谱联合的分类方法
CN106022355A (zh) * 2016-05-09 2016-10-12 西北工业大学 基于3dcnn的高光谱图像空谱联合分类方法
CN106446936A (zh) * 2016-09-06 2017-02-22 哈尔滨工业大学 基于卷积神经网络的空谱联合数据转波形图的高光谱数据分类方法
WO2018100244A1 (en) * 2016-12-01 2018-06-07 Nokia Technologies Oy Audio processing
CN106845381A (zh) * 2017-01-16 2017-06-13 西北工业大学 基于双通道卷积神经网络的空谱联合的高光谱图像分类方法
CN107025445A (zh) * 2017-04-10 2017-08-08 中国科学院合肥物质科学研究院 基于类信息熵的多源遥感图像组合选择方法
CN107194373A (zh) * 2017-06-16 2017-09-22 河海大学 一种高光谱遥感影像特征提取与分类方法
CN107256414A (zh) * 2017-06-27 2017-10-17 哈尔滨工业大学 基于空域特征图谱的极化sar图像卷积神经网络分类方法
CN107657285A (zh) * 2017-10-13 2018-02-02 哈尔滨工业大学 基于三维卷积神经网络的高光谱图像分类方法
CN109583469A (zh) * 2018-10-17 2019-04-05 浙江工业大学 基于互信息的k均值高光谱图像波段聚类方法
CN109615008A (zh) * 2018-12-11 2019-04-12 华中师范大学 基于堆叠宽度学习的高光谱图像分类方法和系统
CN109949320A (zh) * 2019-03-20 2019-06-28 哈尔滨工业大学 基于熵与互信息的高光谱图像超像元分割方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
MENGMENG ZHANG 等: "Diverse Region-Based CNN for Hyperspectral Image Classification", 《IEEE TRANSACTIONS ON IMAGE PROCESSING》 *

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112730300A (zh) * 2020-10-13 2021-04-30 中国人民解放军国防科技大学 一种基于香农熵的giirs观测区大气廓线集采样方法
CN112730300B (zh) * 2020-10-13 2024-06-07 中国人民解放军国防科技大学 一种基于香农熵的giirs观测区大气廓线集采样方法
CN112699756A (zh) * 2020-12-24 2021-04-23 中国农业科学院农业信息研究所 一种基于高光谱图像的茶叶原产地识别方法和系统
CN112699756B (zh) * 2020-12-24 2023-08-25 中国农业科学院农业信息研究所 一种基于高光谱图像的茶叶原产地识别方法和系统
CN115131317A (zh) * 2022-06-28 2022-09-30 华东师范大学 一种基于双模态图像的胃癌癌前病变分析系统及方法
CN115131317B (zh) * 2022-06-28 2024-03-12 华东师范大学 一种基于双模态图像的胃癌癌前病变分析系统及方法
CN117474029A (zh) * 2023-12-28 2024-01-30 中科微点技术有限公司 基于区块链的ai偏振增强图码波频采集成像识别方法
CN117474029B (zh) * 2023-12-28 2024-03-22 中科微点技术有限公司 基于区块链的ai偏振增强图码波频采集成像识别方法

Similar Documents

Publication Publication Date Title
CN112232280B (zh) 基于自编码器与3d深度残差网络的高光谱图像分类方法
CN110458208A (zh) 基于信息测度的高光谱图像分类方法
CN108491849A (zh) 基于三维稠密连接卷积神经网络的高光谱图像分类方法
CN105469098B (zh) 一种自适应特征权重合成的lidar数据地物精确分类方法
CN107358260B (zh) 一种基于表面波cnn的多光谱图像分类方法
CN102646200B (zh) 多分类器自适应权值融合的影像分类方法及系统
CN108460391B (zh) 基于生成对抗网络的高光谱图像无监督特征提取方法
CN111476170A (zh) 一种结合深度学习和随机森林的遥感影像语义分割方法
CN107392925A (zh) 基于超像素编码和卷积神经网络的遥感影像地物分类方法
CN103914705B (zh) 一种基于多目标免疫克隆的高光谱图像分类和波段选择的方法
CN107832797B (zh) 基于深度融合残差网的多光谱图像分类方法
CN109344891A (zh) 一种基于深度神经网络的高光谱遥感数据分类方法
CN112949738B (zh) 基于eecnn算法的多类不平衡高光谱图像分类方法
CN113222836A (zh) 一种高光谱与多光谱遥感信息融合方法及系统
Xie et al. POLSAR image classification via clustering-WAE classification model
CN103886334A (zh) 一种多指标融合的高光谱遥感影像降维方法
CN103020265A (zh) 图像检索的方法和系统
Jahan et al. Fusion of hyperspectral and LiDAR data using discriminant correlation analysis for land cover classification
CN109472757A (zh) 一种基于生成对抗神经网络的图像去台标方法
CN111783884A (zh) 基于深度学习的无监督高光谱图像分类方法
CN106408009B (zh) 基于深度置信网络的邻域加权平均高光谱图像分类方法
CN115512162A (zh) 基于注意力孪生网络与多模态融合特征的地物分类方法
CN116863345A (zh) 一种基于双重注意力和尺度融合的高分影像农田识别方法
CN114299398B (zh) 一种基于自监督对比学习的小样本遥感图像分类方法
CN116051983A (zh) 一种面向多业务系统融合的多光谱遥感影像水体提取方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20191115