CN110866552A - 基于全卷积空间传播网络的高光谱图像分类方法 - Google Patents
基于全卷积空间传播网络的高光谱图像分类方法 Download PDFInfo
- Publication number
- CN110866552A CN110866552A CN201911078729.XA CN201911078729A CN110866552A CN 110866552 A CN110866552 A CN 110866552A CN 201911078729 A CN201911078729 A CN 201911078729A CN 110866552 A CN110866552 A CN 110866552A
- Authority
- CN
- China
- Prior art keywords
- data
- hyperspectral image
- network
- convolution
- training
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
- Y02A40/00—Adaptation technologies in agriculture, forestry, livestock or agroalimentary production
- Y02A40/10—Adaptation technologies in agriculture, forestry, livestock or agroalimentary production in agriculture
Abstract
本发明涉及一种基于全卷积空间传播网络的高光谱图像分类方法,针对高光谱图像分类问题,结合深度学习相关技术,首次将基于全卷积空间传播网络应用于高光谱图像分类中。传统的基于卷积神经网络的高光谱图像分类方法都是对图像进行逐像素分类,存在着大量的重复运算,且输入图像的大小对于分类结果有着很大的影响。而全卷积空间传播网络减少了重复运算的同时还可以接受任何尺寸的输入图像,并且充分利用了高光谱图像的空间信息,从而实现一定条件下高光谱图像的高精度分类。
Description
技术领域
本发明涉及一种全卷积空间传播网络高光谱图像分类方法,属遥感图像处理领域。
背景技术
高光谱图像同时包含光谱信息和空间信息,在军事及民用领域都有着重要的应用。 然而,高光谱图像的高维特性、波段间高度相关性、光谱混合等使得高光谱图像分类面临巨大挑战。近年来,随着深度学习新技术的出现,基于深度学习的高光谱图像分 类方法得到了突破性的进展。但是,深度学习模型通常含有大量参数,需要大量的训 练样本。而高光谱图像有标注的样本相对较少,难以完全满足深层次深度学习模型的 训练,容易出现过拟合问题。
高光谱图像分类问题旨在给定一副具有部分标注像素的图像,通过相关算法,预测出图像中所有像素对应的具体地物类别。传统的高光谱图像分类方法一般利用人工 预设特征,例如SIFT,HOG,PHOG等,从高光谱图像中提取特征,然后借由多层感 知器,支持向量机等模型来分类。但是这些人工预设特征的设计及选取依赖专业性知 识,且很难选取一种有通用性的特征。
近年来,随着深度学习的兴起,完全数据驱动和不需要先验知识的深度神经网络在图像处理和计算机视觉等领域展现出了突出的优势,其应用范围涵盖了高级图像识 别、中低级图像处理等诸多方面,例如目标识别、检测、分类和图像去噪、动态去模 糊、重建等等。高光谱图像分类领域也引入了深度学习的相关技术,且取得了明显优 于传统方法的分类效果。但是,受高光谱图像训练样本数量的限制,应用在高光谱图 像分类中的深度学习模型相对较浅,尽管计算机视觉方面大量实验已经表明有效的增 加深度对于提升分类表现非常有益。
发明内容
要解决的技术问题
为了避免现有技术的不足之处,本发明提出一种基于全卷积空间传播网络的高光谱图像分类方法。
技术方案
一种基于全卷积空间传播网络的高光谱图像分类方法,其特征在于步骤如下:
步骤1:数据预处理
首先,对待处理的高光谱图像数据进行数据扩充,分别进行上下、左右、90°、 180°和270°旋转变换,可以由原本的一张高光谱图像得到六张高光谱图像;再对得 到的高光谱图像进行最大最小归一化:
其中,xij为原始数据,xmax、xmin分别为原始数据中的最大值和最小值;
归一化后的高光谱图像按照一定步长进行分割;
步骤2:数据划分
从预处理完的高光谱图像中,统计出标注样本的总个数,然后从中选取5%的标注样本作为训练数据;
步骤3:构建网络模型
依次包含了两部分结构:
1)特征提取部分:输入数据先依次通过一个不对称的三维卷积层,激励函数和归一化层;其中不对称三维卷积层采用结构不对称的三维卷积核,该卷积核在光谱维尺 寸大于空间维尺寸,激励函数采用了ReLU,归一化采用BN;数据经BN处理之后, 再依次经过宽度为32,64,128三个下采样模块进一步提取深度特征,所述的下采样 模块:从输入端到输出端,左侧主干部分依次包含卷积核大小分别为1×3×3和3×1×1 的卷积层,这两层卷积层后均接着一个ReLU激励层和BN层,左侧主干部分先考虑 高光谱图像中的空间方向信息再考虑谱方向信息;与之相对应的,右侧主干部分依次 包含卷积核大小分别为3×1×1和1×3×3的卷积层,两层卷积层后均接着一个ReLU 激励层和BN层,右侧主干部分先考虑高光谱图像中的谱方向信息再考虑空间方向信 息;
2)分类部分:该部分由四个宽度分别为128、64、32和32的卷积层构成;前三 层卷积层对特征图进行卷积,使它恢复到与输入图像相同的尺寸;其中最后一层卷积 层是利用高光谱图像的空间信息,对每个像素之间进行联系,在一个2D的图上进行 线性传播操作进而构建一个可学习的图,最终得到包含所有类别的概率分类的结果图; 所述的线性传播公式:
步骤4:训练网络模型
将训练数据批量地输入到构建好的全卷积空间传播网络中,以标注的类别为指导信息,利用梯度下降算法对网络参数进行训练,直至网络收敛;训练过程中,每次随 机不重复的从训练集里抽取5%的样本为一批训练数据,将该数据输入到网络,抽取 特征并计算预测结果,以预测结果与实际结果之间的交叉熵为损失函数,计算网络权 值的偏导数,并利用梯度下降算法,更新网络参数;训练过程便利整个训练集一次为 一轮训练;整个训练过程进行80轮,前70轮学习率设为0.01,最后10轮,学习率衰 减到0.001;整个训练过程中,动量项设为0.9;
步骤5:生成分类结果
基于训练完的网络模型,对目标高光谱图像数据进行类别预测,得到分类结果图。
有益效果
本发明提出的一种基于全卷积空间传播网络的高光谱图像分类方法,针对高光谱图像分类问题,结合深度学习相关技术,首次将基于全卷积空间传播网络应用于高光 谱图像分类中。传统的基于卷积神经网络的高光谱图像分类方法都是对图像进行逐像 素分类,存在着大量的重复运算,且输入图像的大小对于分类结果有着很大的影响。 而全卷积空间传播网络减少了重复运算的同时还可以接受任何尺寸的输入图像,并且 充分利用了高光谱图像的空间信息,从而实现一定条件下高光谱图像的高精度分类。
附图说明
图1基于全卷积空间传播网络的高光谱图像分类方法流程图
图2下采样模块图
图3全卷积空间传播网络结构图
具体实施方式
现结合实施例、附图对本发明作进一步描述:
该方法主要是基于全卷积空间传播网络的高光谱图像分类方法。该方法从待分类的高光谱图像中,提取适量有标注的样本对本技术方案中所提出的全卷积空间传播网 络进行训练,然后利用训练好的网络模型对整幅高光谱图像进行分类。
本技术方案的具体措施如下:
步骤1:数据预处理;对待处理的高光谱数据集进行数据扩充和最大最小归一化。
步骤2:数据划分;从预处理完的高光谱图像中,统计出标注样本的总个数,然后从中选取5%的标注样本作为训练数据。
步骤3:构建网络模型;本发明所构建的网络结构由基于全卷积空间传播网络构成。
步骤4:训练网络模型;利用训练集对构建的网络模型进行训练,然后将经过训练的 网络模型进行特征提取;训练过程中,以标注的类别为指导信息,利用梯度下降算法 对网络参数进行训练,直至网络收敛。
步骤5:得到测试结果;基于训练完的网络模型,对目标高光谱图像数据集中所有像 素进行类别预测,得到分类结果图。
实施例:
步骤1:数据预处理;首先,对待处理的高光谱图像数据进行数据扩充,分别进 行上下、左右、90°、180°和270°旋转变换,可以由原本的一张高光谱图像得到六 张高光谱图像。再对得到的高光谱图像进行最大最小归一化,归一化公式如公式(1) 所示。归一化后的高光谱图像按照一定步长进行分割,一般取20。
步骤2:数据划分;从预处理完的高光谱图像中,统计出标注样本的总个数,然 后从中选取5%的标注样本作为训练数据。
步骤3:构建网络模型;本发明设计的网络依次包含了两部分结构:
1)特征提取部分;输入数据先依次通过一个不对称的三维卷积层,激励函数和归一化层。其中不对称三维卷积层采用结构不对称的三维卷积核,该卷积核在光谱维尺 寸大于空间维尺寸,从而起到在该处理模块处理数据过程中更注重光谱维信息的作用, 例如,卷积层可采用光谱维尺度为5,空间维尺度为1×1的卷积核,并将卷积层宽度 设为32。该模块中,激励函数采用了ReLU,归一化采用了batch normalization(BN); 数据经BN处理之后,再依次经过宽度为32,64,128三个下采样模块进一步提取深 度特征,具体结构如图3所示。下采样模块具体结构如图2所示,从输入端到输出端, 左侧主干部分依次包含卷积核大小分别为1×3×3和3×1×1的卷积层,这两层卷积层 后均接着一个ReLU激励层和BN层,左侧主干部分先考虑高光谱图像中的空间方向 信息再考虑谱方向信息;与之相对应的,右侧主干部分依次包含卷积核大小分别为 3×1×1和1×3×3的卷积层,两层卷积层后均接着一个ReLU激励层和BN层,右侧主 干部分先考虑高光谱图像中的谱方向信息再考虑空间方向信息。
2)分类部分;该部分由四个宽度分别为128、64、32和32的卷积层构成;前三 层卷积层对特征图进行卷积,使它恢复到与输入图像相同的尺寸。其中最后一层卷积 层是利用高光谱图像的空间信息,对每个像素之间进行联系,在一个2D的图上进行 线性传播操作进而构建一个可学习的图,最终得到包含所有类别的概率分类的结果图。 线性传播公式如公式(2)所示,其中hij代表在像素点(i,j)处的周围的像素点, 代表一系列(i,j)处的权重,K是(i,j)的相邻坐标,由表示,hK表示 相邻像素。
步骤4:训练网络模型;将训练数据批量地输入到构建好的全卷积空间传播网络中,以标注的类别为指导信息,利用梯度下降算法对网络参数进行训练,直至网络收 敛;训练过程中,每次随机不重复的从训练集里抽取5%的样本为一批训练数据,将 该数据输入到网络,抽取特征并计算预测结果,以预测结果与实际结果之间的交叉熵 为损失函数,计算网络权值的偏导数,并利用梯度下降算法,更新网络参数。训练过 程便利整个训练集一次为一轮训练。整个训练过程进行80轮,前70轮学习率设为0.01, 最后10轮,学习率衰减到0.001;整个训练过程中,动量项设为0.9。
步骤5:生成分类结果;基于训练完的网络模型,对目标高光谱图像数据进行类别预 测,得到分类结果图。
本发明针对高光谱图像数据特点,通过构建全卷积空间传播网络,实现了有限训练样本条件下,高光谱图像深度特征的自主提取,高精度的分类。本发明与现有的基 于卷积神经网络学习的高光谱图像分类方法相比,分类精度更高,且参数量和运算量 更少。
Claims (1)
1.一种基于全卷积空间传播网络的高光谱图像分类方法,其特征在于步骤如下:
步骤1:数据预处理
首先,对待处理的高光谱图像数据进行数据扩充,分别进行上下、左右、90°、180°和270°旋转变换,可以由原本的一张高光谱图像得到六张高光谱图像;再对得到的高光谱图像进行最大最小归一化:
其中,xij为原始数据,xmax、xmin分别为原始数据中的最大值和最小值;
归一化后的高光谱图像按照一定步长进行分割;
步骤2:数据划分
从预处理完的高光谱图像中,统计出标注样本的总个数,然后从中选取5%的标注样本作为训练数据;
步骤3:构建网络模型
依次包含了两部分结构:
1)特征提取部分:输入数据先依次通过一个不对称的三维卷积层,激励函数和归一化层;其中不对称三维卷积层采用结构不对称的三维卷积核,该卷积核在光谱维尺寸大于空间维尺寸,激励函数采用了ReLU,归一化采用BN;数据经BN处理之后,再依次经过宽度为32,64,128三个下采样模块进一步提取深度特征,所述的下采样模块:从输入端到输出端,左侧主干部分依次包含卷积核大小分别为1×3×3和3×1×1的卷积层,这两层卷积层后均接着一个ReLU激励层和BN层,左侧主干部分先考虑高光谱图像中的空间方向信息再考虑谱方向信息;与之相对应的,右侧主干部分依次包含卷积核大小分别为3×1×1和1×3×3的卷积层,两层卷积层后均接着一个ReLU激励层和BN层,右侧主干部分先考虑高光谱图像中的谱方向信息再考虑空间方向信息;
2)分类部分:该部分由四个宽度分别为128、64、32和32的卷积层构成;前三层卷积层对特征图进行卷积,使它恢复到与输入图像相同的尺寸;其中最后一层卷积层是利用高光谱图像的空间信息,对每个像素之间进行联系,在一个2D的图上进行线性传播操作进而构建一个可学习的图,最终得到包含所有类别的概率分类的结果图;所述的线性传播公式:
步骤4:训练网络模型
将训练数据批量地输入到构建好的全卷积空间传播网络中,以标注的类别为指导信息,利用梯度下降算法对网络参数进行训练,直至网络收敛;训练过程中,每次随机不重复的从训练集里抽取5%的样本为一批训练数据,将该数据输入到网络,抽取特征并计算预测结果,以预测结果与实际结果之间的交叉熵为损失函数,计算网络权值的偏导数,并利用梯度下降算法,更新网络参数;训练过程便利整个训练集一次为一轮训练;整个训练过程进行80轮,前70轮学习率设为0.01,最后10轮,学习率衰减到0.001;整个训练过程中,动量项设为0.9;
步骤5:生成分类结果
基于训练完的网络模型,对目标高光谱图像数据进行类别预测,得到分类结果图。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201911078729.XA CN110866552B (zh) | 2019-11-06 | 2019-11-06 | 基于全卷积空间传播网络的高光谱图像分类方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201911078729.XA CN110866552B (zh) | 2019-11-06 | 2019-11-06 | 基于全卷积空间传播网络的高光谱图像分类方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN110866552A true CN110866552A (zh) | 2020-03-06 |
CN110866552B CN110866552B (zh) | 2023-04-14 |
Family
ID=69654894
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201911078729.XA Active CN110866552B (zh) | 2019-11-06 | 2019-11-06 | 基于全卷积空间传播网络的高光谱图像分类方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN110866552B (zh) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112508066A (zh) * | 2020-11-25 | 2021-03-16 | 四川大学 | 一种基于残差全卷积分割网络的高光谱图像分类方法 |
CN112633401A (zh) * | 2020-12-29 | 2021-04-09 | 中国科学院长春光学精密机械与物理研究所 | 一种高光谱遥感图像分类方法、装置、设备及存储介质 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108171122A (zh) * | 2017-12-11 | 2018-06-15 | 南京理工大学 | 基于全卷积网络的高光谱遥感图像的分类方法 |
CN109754017A (zh) * | 2019-01-09 | 2019-05-14 | 西北工业大学 | 基于可分离的三维残差网络和迁移学习高光谱图像分类方法 |
CN109784347A (zh) * | 2018-12-17 | 2019-05-21 | 西北工业大学 | 基于多尺度稠密卷积神经网络和谱注意力机制的图像分类方法 |
CN110298396A (zh) * | 2019-06-25 | 2019-10-01 | 北京工业大学 | 基于深度学习多特征融合的高光谱图像分类方法 |
-
2019
- 2019-11-06 CN CN201911078729.XA patent/CN110866552B/zh active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108171122A (zh) * | 2017-12-11 | 2018-06-15 | 南京理工大学 | 基于全卷积网络的高光谱遥感图像的分类方法 |
CN109784347A (zh) * | 2018-12-17 | 2019-05-21 | 西北工业大学 | 基于多尺度稠密卷积神经网络和谱注意力机制的图像分类方法 |
CN109754017A (zh) * | 2019-01-09 | 2019-05-14 | 西北工业大学 | 基于可分离的三维残差网络和迁移学习高光谱图像分类方法 |
CN110298396A (zh) * | 2019-06-25 | 2019-10-01 | 北京工业大学 | 基于深度学习多特征融合的高光谱图像分类方法 |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112508066A (zh) * | 2020-11-25 | 2021-03-16 | 四川大学 | 一种基于残差全卷积分割网络的高光谱图像分类方法 |
CN112633401A (zh) * | 2020-12-29 | 2021-04-09 | 中国科学院长春光学精密机械与物理研究所 | 一种高光谱遥感图像分类方法、装置、设备及存储介质 |
Also Published As
Publication number | Publication date |
---|---|
CN110866552B (zh) | 2023-04-14 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN109754017B (zh) | 基于可分离的三维残差网络和迁移学习高光谱图像分类方法 | |
CN111368896B (zh) | 基于密集残差三维卷积神经网络的高光谱遥感图像分类方法 | |
CN106683048B (zh) | 一种图像超分辨率方法及设备 | |
KR102318772B1 (ko) | 도메인 분리 뉴럴 네트워크들 | |
CN105938559B (zh) | 使用卷积神经网络的数字图像处理 | |
CN110222773B (zh) | 基于不对称分解卷积网络的高光谱图像小样本分类方法 | |
CN111738344B (zh) | 一种基于多尺度融合的快速目标检测方法 | |
CN114202672A (zh) | 一种基于注意力机制的小目标检测方法 | |
Si et al. | A deep convolutional neural network model for intelligent discrimination between coal and rocks in coal mining face | |
CN107563433B (zh) | 一种基于卷积神经网络的红外小目标检测方法 | |
CN109753996B (zh) | 基于三维轻量化深度网络的高光谱图像分类方法 | |
Rahaman et al. | An efficient multilevel thresholding based satellite image segmentation approach using a new adaptive cuckoo search algorithm | |
CN110852369B (zh) | 联合3d/2d卷积网络和自适应光谱解混的高光谱图像分类方法 | |
CN104866868A (zh) | 基于深度神经网络的金属币识别方法和装置 | |
CN110197205A (zh) | 一种多特征来源残差网络的图像识别方法 | |
CN110619352A (zh) | 基于深度卷积神经网络的典型红外目标分类方法 | |
CN112288011A (zh) | 一种基于自注意力深度神经网络的图像匹配方法 | |
CN113191489B (zh) | 二值神经网络模型的训练方法、图像处理方法和装置 | |
CN110136162B (zh) | 无人机视角遥感目标跟踪方法及装置 | |
CN113034506B (zh) | 遥感图像语义分割方法、装置、计算机设备和存储介质 | |
CN111027509B (zh) | 一种基于双流卷积神经网络的高光谱图像目标检测方法 | |
CN112801104B (zh) | 基于语义分割的图像像素级伪标签确定方法及系统 | |
Liu et al. | Deep adaptive inference networks for single image super-resolution | |
CN110866552B (zh) | 基于全卷积空间传播网络的高光谱图像分类方法 | |
CN111639697B (zh) | 基于非重复采样与原型网络的高光谱图像分类方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |