CN113673556A - 一种基于多尺度密集卷积网络的高光谱图像分类方法 - Google Patents

一种基于多尺度密集卷积网络的高光谱图像分类方法 Download PDF

Info

Publication number
CN113673556A
CN113673556A CN202110778881.XA CN202110778881A CN113673556A CN 113673556 A CN113673556 A CN 113673556A CN 202110778881 A CN202110778881 A CN 202110778881A CN 113673556 A CN113673556 A CN 113673556A
Authority
CN
China
Prior art keywords
image
hyperspectral image
layer
output
dense
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110778881.XA
Other languages
English (en)
Inventor
于浩洋
张昊
徐震
郑珂
宋梅萍
于纯妍
张建祎
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Dalian Maritime University
Original Assignee
Dalian Maritime University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Dalian Maritime University filed Critical Dalian Maritime University
Priority to CN202110778881.XA priority Critical patent/CN113673556A/zh
Publication of CN113673556A publication Critical patent/CN113673556A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/21Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/24Classification techniques
    • G06F18/241Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/25Fusion techniques
    • G06F18/253Fusion techniques of extracted features
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/045Combinations of networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/70Denoising; Smoothing
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10032Satellite or aerial image; Remote sensing
    • G06T2207/10036Multispectral image; Hyperspectral image

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Molecular Biology (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Health & Medical Sciences (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于多尺度密集卷积网络的高光谱图像分类方法,包括:在训练阶段,将包含训练样本的整张高光谱图像输入至多尺度密集卷积网络模型中对该模型进行训练,从而输出整张图像所有像素的预测标签;通过标记训练样本的位置来选择相应的像素,在所选像素和预测像素之间计算损失,更新网络模型参数;在测试阶段,采用多尺度密集卷积网络模型对整张高光谱图像进行分类获得分类结果。首先使用基于图像的高光谱图像分类框架提高了模型的计算效率,充分利用了图像中的邻域细节信息,避免冗余信息对模型产生的误差和干扰。最后多尺度密集卷积网络的引入完成了对高光谱图像的分类。

Description

一种基于多尺度密集卷积网络的高光谱图像分类方法
技术领域
本发明涉及本发明涉及遥感图像处理技术领域,尤其涉及一种基于多尺度密集卷积网络的高光谱图像分类方法。
背景技术
遥感是一门对地观测的科学技术。相对于常规遥感,高光谱影像在保留较高空间分辨率的同时,光谱分辨率得到了极大的提高,这使得其无论在描述同类地物的细节方面,还是识别不同类别地物的能力方面都有大幅提高。高光谱图像分类的依据是光谱信息和空间信息,基于光谱特征的分类方法是将高光谱数据作为一种无序的信号集合进行分类。但实际上,高光谱图像的像元是二维空间中有序排列的特殊集合,其直接体现就是图像的空间特征。随着同类地物的光谱复杂性程度增加,仅使用光谱信息已不能满足分类应用的需要。
目前高光谱图像分类领域中,空间信息和光谱信息的组合使用已广泛应用于高光谱图像分类。近年来,多尺度空间光谱卷积神经网络(CNN)已被引入用于高光谱图像分类。然而,大多数基于CNN的高光谱图像分类方法主要使用基于图像分割的分类框架。这限制了空间邻居信息的使用范围,并降低了训练和测试中的处理效率。显然,基于图片分割的分类框架有几个缺点。首先,图块大小限制了分类模型的接受范围。其次,如果补丁大小改变,则必须重新设计模型。最重要的是,最佳图块大小取决于地面采样距离。
发明内容
根据现有技术存在的问题,本发明公开了一种基于多尺度密集卷积网络的高光谱图像分类方法,具体包括如下步骤:
在训练阶段,将包含训练样本的整张高光谱图像输入至多尺度密集卷积网络模型中对该模型进行训练,从而输出整张图像所有像素的预测标签;
通过标记训练样本的位置来选择相应的像素,在所选像素和预测像素之间计算损失,更新网络模型参数;
在测试阶段,采用多尺度密集卷积网络模型对整张高光谱图像进行分类获得分类结果。
进一步的,采用多尺度密集卷积网络对整张高光谱图像进行分类时:
在该网络模型中,使用1×1卷积层,实例规范化层和非线性激活函数来进行特征提取以生成初始特征图;
通过一系列卷积层和池化层来缩小初始特征图的尺寸;
将缩小后的特征图输入到密集块中来提取精细的光谱特征;
密集块的输出以不同比例的上采样以生成四个不同尺寸的特征图;
通过特征金字塔结构将四个不同尺寸的特征图和初始特征图融合在一起;
将融合后的特征图使用两个1×1卷积层、一个规范化层和一个非线性激活函数来进行分类以输出最终分类结果图。
进一步的,所述计算损失时采用交叉熵损失函数,即
Figure BDA0003156884200000021
其中H(p,q)表示概率分布p和概率分布q的交叉熵,概率分布p为期望输出概率分布q为实际输出,x为随机变量。
进一步的,采用密集块提取精细的光谱特征时采用如下方式:在密集块中使用密集链接的方式,即每个层都与前面所有层在通道维度上连接在一起作为下一层的输入,第i层的输入不仅与i-1层的输出有关,记作:
Xi=Hi([X0,X1,...,Xi-1]) (2)
其中Xi为第i层的输出,[]代表拼接,即将X0到Xi-1的层的所有输出特征图按通道组合在一起,其中所用到的非线性变换Hi为批量归一化层,非线性激活函数和3×3卷积层。
由于采用了上述技术方案,本发明提供的一种基于多尺度密集卷积网络的高光谱图像分类方法,该网络使用基于图像的深度学习分类框架,将整张高光谱图像输入到模型中。首先,通过一系列卷积层和池化层对高光谱图像进行特征提取和特征聚合。其次,将处理完的特征图送入密集块提取更精细的特征,密集块的输出以不同比例的上采样以生成适合于特征金字塔结构的特征图。最后,通过特征金字塔结构融合不同比例的特征图并通过两个的1×1卷积层,一个规范化层和一个激活函数集成在一起,以输出分类结果图。首先使用基于图像的高光谱图像分类框架提高了模型的计算效率,充分利用了图像中的邻域细节信息,避免冗余信息对模型产生的误差和干扰。最后多尺度密集卷积网络的引入完成了对高光谱图像的分类。本网络提高了模型的对空间信息和光谱信息的响应能力,避免了冗余信息对模型的干扰,提高了模型的计算效率。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请中记载的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为本发明提供的方法的流程示意图;
图2为本发明中多尺度密集卷积网络示意图;
图3a-图3c为本发明中ROSIS University of Pavia数据集以及分类结果示意图;
图4a-图4c为本发明中AVIRIS Indian Pines数据集以及分类结果示意图;
图5a-图5c为本发明中AVIRIS Salinas数据集以及分类结果示意图。
具体实施方式
为使本发明的技术方案和优点更加清楚,下面结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚完整的描述:
如图1所示的一种基于多尺度密集卷积网络的高光谱图像分类方法,具体包括以下步骤:
(1):对原始图像进行归一化处理;
归一化是一种数据预处理操作,将原始高光谱图像数据映射到0~1范围之内,记归一化后的高光谱图像为X,X中任意像元记为xi,j,共计有n个像元,B个波段。
(2):使用基于图像的深度学习分类框架,将整张图像输入到网络中;
基于图像的深度学习分类框架是以整张图像作为网络的输入。在训练阶段,将整张训练样本的图像输入到网络中,输出为所有相应像素的预测标签。由于该图像中的一部分像素具有标签,因此通过标记训练样本的位置来选择相应的像素。在所选像素和标记像素之间计算损失。在测试阶段,预测整张高光谱图像所有像素的标签,得到分类结果。
计算损失通过交叉熵函数来计算,即
Figure BDA0003156884200000041
其中H(p,q)表示概率分布p和概率分布q的交叉熵,概率分布p为期望输出概率分布q为实际输出,x为随机变量。
(3):使用多尺度密集卷积网络,高光谱图像数据进行分类;
具体来说,首先使用特征提取模块对高光谱图像数据进行特征提取,特征提取模块包含1×1卷积层,实例规范化层和非线性激活函数。其次,为了提高在密集块中的计算效率,我们通过一系列卷积层和池化层来减少特征图的大小。第三,将处理后的特征图发送到密集块中以提取更精细的特征。第四,密集块的输出以不同比例的上采样以生成适合于特征金字塔结构的特征图。最后,通过特征金字塔结构融合不同比例的特征图并通过两个的1×1卷积层,一个规范化层和一个激活函数集成在一起,以输出分类结果图。
其中,在密集块中,第i层的输入不仅与i-1层的输出有关,所采用的具体形式为:
Xi=Hi([X0,X1,...,Xi-1]) (2)
其中Xi为第i层的输出,[]代表拼接,即将X0到Xi-1的层的所有输出特征图按通道组合在一起。这里所用到的非线性变换Hi为批量归一化层,非线性激活函数和3×3卷积层。
真实高光谱数据实验
下面按照上述方法步骤,采用三组公开真实的高光谱图像数据集,对本发明提供的一种基于图像的高光谱图像分类多尺度密集卷积网络进行测试说明,以及应用效果分析和评价。
1.数据集及参数设定
(1)ROSIS University of Pavia数据集
本实验采用的第一组数据集为由超光谱图像收集实验仪器(ROSIS)高光谱传感器系统在意大利北部的Pavia地区收集。该数据集图像尺寸为610*340,共包含207400个像元,共计115个波段,波长范围为0.43-0.86μm。去除噪声波段和水吸收波段后,还剩下103个波段用于本实验,空间分辨率为13m。附图3a展示了该数据集的假彩色合成图像,附图3b是对应的地面参考图像,共包含9种真实地物类别,总计42776个已知标签的样本。
根据具体实施方式中的步骤阐述,对应Pavia University数据集信息可知,该数据集中,像元个数N=42776,波段数B=103,类别数K=9。本实验中,设定随机选取每类50个训练样本,总计450个训练样本。
(2)AVIRIS Indian Pines数据集
本实验采用的第二组数据集是由AVIRIS(Airborne Visible/Infrared ImagingSpectrometer)传感器于1992年在美国印第安纳州西北区域获取的高光谱数据集。该数据集图像尺寸为145×145,共包含21025个像元,共计220个波段,波段范围为0.25~2.4μm,空间分辨率为20m。实验去除了20个水吸收和低信噪比波段,保留了其他200条波段用于实验。附图4a展示了该数据集的假彩色合成图像,附图4b是对应的地面参考图像,共包含16种真实地物类别,总计10366个已知标签的样本。
根据具体实施方式中的步骤阐述,对应AVIRIS Indian Pines数据集信息可知,该数据集中,像元个数N=21025,波段数B=200,类别数K=16.本实验中,设定随机选取每类30个训练样本,总计480个训练样本。
(3)AVIRIS Salinas数据集
本实验所采用的第三组数据集是由AVIRIS传感器于美国加利福尼亚州获取的Salinas高光谱数据。该数据集图像尺寸为512×217,共包含111104个像元,共计224个波段,空间分辨率为3.7m。实验去除了20个水吸收波段,保留了其他204个波段用于实验附图5a展示了该数据集的假彩色合成图像,附图5b是对应的地面参考图像,共包含16种真实地物类别,总计54129个已知标签的样本。
根据具体实施方式中的步骤阐述,对应AVIRIS Salinas数据集信息可知,该数据集中,像元个数N=111104,波段数B=224,类别数K=16。本实验中,设定随机选取每类30个训练样本,总计480个训练样本。
2.实验评价指标
(1)整体精度(Overall Accuracy,OA)
整体精度OA的定义形式为:
Figure BDA0003156884200000061
其中Yi表示分类结果中标记为第i类,且地面参考图像中同样属于第i类的像元个数;Ni表示地面参考图像中第i类的样本总数。
(2)类别精度(Class-dependent Accuracy,CA)
类别精度CA的定义形式为:
CA=Yi/Ni (2)
3.实验结果分析及评价
本发明提供的一种基于图像的高光谱图像分类多尺度密集卷积网络(以下简称“多尺度密集卷积网络”)在使用三组真实高光谱图像数据实验的结果如表1-表3所示,对应的分类结果图像如附图3c、附图4c和附图5c所示。
本实验引入了传统的UNet网络(以下简称“UNet”),以及支持向量机方法(以下简称“支持向量机”)。根据分类结果,可以分析得到以下结论:
(1)相较于支持向量机表示,多尺度密集卷积网络取得更好的分类效果,证明了本发明提供的多尺度密集卷积网络的有效性,奠定了本发明的基本框架。
(2)相较于UNet网络,本发明提供的多尺度密集卷积网络取得了更高的整体精度,通过融合不同尺度的特征图,提高了模型对于空间和光谱特征的响应能力,证明了该方法对于解决有限样本条件下空间信息和光谱信息不能充分利用问题的能力。
表1 Pavia University数据集分类结果(每类50个训练样本)
Figure BDA0003156884200000062
Figure BDA0003156884200000071
表2 AVIRIS Indian Pines数据集分类结果(每类30个训练样本)
Figure BDA0003156884200000072
表3 AVIRIS Salinas数据集分类结果(每类30个训练样本)
Figure BDA0003156884200000073
Figure BDA0003156884200000081
本方法对于高光谱图像具有数据量大、波段数多、波段间相关性强、冗余度高等问题,提供基于多尺度密集卷积网络的高光谱图像分类方法,通过使用基于图像的深度学习分类框架,将整张图像输入到网络中进行训练和测试,最后应用多尺度密集卷积网络对高光谱图像数据进行分类。三组真实公开的高光谱数据集的实验结果证明了本发明提供的一种基于图像的高光谱图像分类多尺度密集卷积网络的有效性。
以上所述,仅为本发明较佳的具体实施方式,但本发明的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本发明揭露的技术范围内,根据本发明的技术方案及其发明构思加以等同替换或改变,都应涵盖在本发明的保护范围之内。

Claims (4)

1.一种基于多尺度密集卷积网络的高光谱图像分类方法,其特征在于包:
在训练阶段,将包含训练样本的整张高光谱图像输入至多尺度密集卷积网络模型中对该模型进行训练,从而输出整张图像所有像素的预测标签;
通过标记训练样本的位置来选择相应的像素,在所选像素和预测像素之间计算损失,更新网络模型参数;
在测试阶段,采用多尺度密集卷积网络模型对整张高光谱图像进行分类获得分类结果。
2.根据权利要求1所述的方法,其特征在于:采用多尺度密集卷积网络对整张高光谱图像进行分类时:
在该网络模型中,使用1×1卷积层,实例规范化层和非线性激活函数来进行特征提取以生成初始特征图;
通过一系列卷积层和池化层来缩小初始特征图的尺寸;
将缩小后的特征图输入到密集块中来提取精细的光谱特征;
密集块的输出以不同比例的上采样以生成四个不同尺寸的特征图;
通过特征金字塔结构将四个不同尺寸的特征图和初始特征图融合在一起;
将融合后的特征图使用两个1×1卷积层、一个规范化层和一个非线性激活函数来进行分类以输出最终分类结果图。
3.根据权利要求1所述的方法,其特征在于:所述计算损失时采用交叉熵损失函数,即
Figure FDA0003156884190000011
其中H(p,q)表示概率分布p和概率分布q的交叉熵,概率分布p为期望输出概率分布q为实际输出,x为随机变量。
4.根据权利要求1所述的方法,其特征在于:采用密集块提取精细的光谱特征时采用如下方式:在密集块中使用密集链接的方式,即每个层都与前面所有层在通道维度上连接在一起作为下一层的输入,第i层的输入不仅与i-1层的输出有关,记作:
Xi=Hi([X0,X1,...,Xi-1]) (2)
其中Xi为第i层的输出,[]代表拼接,即将X0到Xi-1的层的所有输出特征图按通道组合在一起,其中所用到的非线性变换Hi为批量归一化层,非线性激活函数和3×3卷积层。
CN202110778881.XA 2021-07-09 2021-07-09 一种基于多尺度密集卷积网络的高光谱图像分类方法 Pending CN113673556A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110778881.XA CN113673556A (zh) 2021-07-09 2021-07-09 一种基于多尺度密集卷积网络的高光谱图像分类方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110778881.XA CN113673556A (zh) 2021-07-09 2021-07-09 一种基于多尺度密集卷积网络的高光谱图像分类方法

Publications (1)

Publication Number Publication Date
CN113673556A true CN113673556A (zh) 2021-11-19

Family

ID=78538813

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110778881.XA Pending CN113673556A (zh) 2021-07-09 2021-07-09 一种基于多尺度密集卷积网络的高光谱图像分类方法

Country Status (1)

Country Link
CN (1) CN113673556A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114494821A (zh) * 2021-12-16 2022-05-13 广西壮族自治区自然资源遥感院 基于特征多尺度感知与自适应聚合的遥感影像云检测方法
CN114494755A (zh) * 2021-12-24 2022-05-13 中国航天空气动力技术研究院 一种基于节点金字塔的高光谱图像分类方法
CN116503669A (zh) * 2023-05-22 2023-07-28 齐鲁工业大学(山东省科学院) 轻量化层间多尺度密集网络的高光谱遥感图像分类方法

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114494821A (zh) * 2021-12-16 2022-05-13 广西壮族自治区自然资源遥感院 基于特征多尺度感知与自适应聚合的遥感影像云检测方法
CN114494821B (zh) * 2021-12-16 2022-11-18 广西壮族自治区自然资源遥感院 基于特征多尺度感知与自适应聚合的遥感影像云检测方法
CN114494755A (zh) * 2021-12-24 2022-05-13 中国航天空气动力技术研究院 一种基于节点金字塔的高光谱图像分类方法
CN116503669A (zh) * 2023-05-22 2023-07-28 齐鲁工业大学(山东省科学院) 轻量化层间多尺度密集网络的高光谱遥感图像分类方法

Similar Documents

Publication Publication Date Title
CN110321963B (zh) 基于融合多尺度多维空谱特征的高光谱图像分类方法
CN108491849B (zh) 基于三维稠密连接卷积神经网络的高光谱图像分类方法
CN107358260B (zh) 一种基于表面波cnn的多光谱图像分类方法
CN113673556A (zh) 一种基于多尺度密集卷积网络的高光谱图像分类方法
CN107316013A (zh) 基于nsct变换和dcnn的高光谱图像分类方法
Wu et al. A geographic information-driven method and a new large scale dataset for remote sensing cloud/snow detection
CN106503739A (zh) 联合光谱和纹理特征的高光谱遥感影像svm分类方法及系统
CN111353531B (zh) 基于奇异值分解和空谱域注意力机制高光谱图像分类方法
CN111401426B (zh) 基于伪标签学习的小样本高光谱图像分类方法
CN110728197B (zh) 基于深度学习的单木级树种识别方法
CN113095409A (zh) 基于注意力机制和权值共享的高光谱图像分类方法
CN111914909B (zh) 基于空谱联合三方向卷积网络的高光谱变化检测方法
CN113139512B (zh) 基于残差和注意力的深度网络高光谱影像分类方法
Wang et al. RSCNet: A residual self-calibrated network for hyperspectral image change detection
CN113052216B (zh) 基于双路图u-net卷积网络的溢油高光谱图像检测方法
CN115240072A (zh) 一种基于多方向多尺度光谱-空间残差卷积神经网络的高光谱多类变化检测方法
Tamilarasi et al. Automated building and road classifications from hyperspectral imagery through a fully convolutional network and support vector machine
CN115049640B (zh) 一种基于深度学习的道路裂缝检测方法
CN108256557B (zh) 结合深度学习和邻域集成的高光谱图像分类方法
CN111639697B (zh) 基于非重复采样与原型网络的高光谱图像分类方法
CN110991463A (zh) 一种超像素图引导下的多尺度引导滤波特征提取方法
CN111222545A (zh) 基于线性规划增量学习的图像分类方法
CN117115675A (zh) 一种跨时相轻量化空谱特征融合高光谱变化检测方法、系统、设备及介质
CN116630700A (zh) 基于引入通道-空间注意力机制的遥感图像分类方法
CN113469084B (zh) 基于对比生成对抗网络的高光谱图像分类方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination