CN112991354B - 一种基于深度学习的高分辨率遥感影像语义分割方法 - Google Patents
一种基于深度学习的高分辨率遥感影像语义分割方法 Download PDFInfo
- Publication number
- CN112991354B CN112991354B CN202110271050.3A CN202110271050A CN112991354B CN 112991354 B CN112991354 B CN 112991354B CN 202110271050 A CN202110271050 A CN 202110271050A CN 112991354 B CN112991354 B CN 112991354B
- Authority
- CN
- China
- Prior art keywords
- layer
- feature
- remote sensing
- level
- sensing image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000011218 segmentation Effects 0.000 title claims abstract description 49
- 238000000034 method Methods 0.000 title claims abstract description 31
- 238000013135 deep learning Methods 0.000 title claims abstract description 22
- 230000004927 fusion Effects 0.000 claims abstract description 45
- 238000012549 training Methods 0.000 claims abstract description 34
- 238000000605 extraction Methods 0.000 claims abstract description 21
- 238000012545 processing Methods 0.000 claims abstract description 18
- 238000012937 correction Methods 0.000 claims abstract description 15
- 238000012795 verification Methods 0.000 claims abstract description 5
- 238000007781 pre-processing Methods 0.000 claims abstract description 4
- 238000010606 normalization Methods 0.000 claims description 48
- 230000006870 function Effects 0.000 claims description 47
- 208000037170 Delayed Emergence from Anesthesia Diseases 0.000 claims description 28
- 238000010586 diagram Methods 0.000 claims description 12
- 238000011176 pooling Methods 0.000 claims description 11
- 230000003321 amplification Effects 0.000 claims description 10
- 238000003199 nucleic acid amplification method Methods 0.000 claims description 10
- 238000005070 sampling Methods 0.000 claims description 9
- 230000008569 process Effects 0.000 claims description 7
- 238000006243 chemical reaction Methods 0.000 claims description 3
- 230000006835 compression Effects 0.000 claims description 3
- 238000007906 compression Methods 0.000 claims description 3
- 238000001228 spectrum Methods 0.000 description 3
- 238000012544 monitoring process Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 230000008034 disappearance Effects 0.000 description 1
- 238000003709 image segmentation Methods 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000005549 size reduction Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10032—Satellite or aerial image; Remote sensing
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- General Engineering & Computer Science (AREA)
- Evolutionary Computation (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Computing Systems (AREA)
- Biomedical Technology (AREA)
- General Health & Medical Sciences (AREA)
- Computational Linguistics (AREA)
- Biophysics (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Molecular Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Health & Medical Sciences (AREA)
- Evolutionary Biology (AREA)
- Multimedia (AREA)
- Image Analysis (AREA)
Abstract
本发明涉及遥感影像处理技术领域,提供一种基于深度学习的高分辨率遥感影像语义分割方法,包括:步骤1:获取遥感影像初始数据集并标记地物类别;步骤2:对遥感影像数据集预处理;步骤3:划分训练与验证数据集;步骤4:构建基于深度学习的遥感影像语义分割模型包括数据预训练模块、特征编码层、通道特征重校正模块、特征解码层、多级特征提取模块、特征融合层、分类模块;对应编码与解码层级间设置通道特征重校正层,解码层级后连接多级特征提取层;步骤5:训练遥感影像语义分割模型;步骤6:待语义分割遥感影像的语义分割。本发明能够加强各级特征的利用率,充分利用不同地物的上下文信息,提高遥感影像语义分割的精度、效率与完整性。
Description
技术领域
本发明涉及遥感影像处理技术领域,尤其是涉及一种基于深度学习的高分辨率遥感影像语义分割方法。
背景技术
语义分割是计算机视觉领域的关键问题之一,旨在对每个像素进行密集的预测来赋予每个像素所属的类别。同时,在遥感领域,各种语义分割方法被广泛地用于遥感影像分类,在国土信息资源领域,遥感影像语义分割可以为空间规划、国土资源普查提供依据,同时也可应用于灾情评估预测与监测、农业监测与农作物估产等领域。
随着遥感技术的进步,可获取的影像空间分辨率越来越高。高分辨率遥感影像具有较高的空间分辨率,包含丰富的地物信息,地物目标的类间差异降低了,但是其中的“同物异谱”和“异物同谱”现象会使分类的难度变大,一般高分辨率的遥感影像含有较少的光谱信息,能够提取的地物特征会有一定的限制,同时与中、低分辨率的遥感影像相比,高分辨率遥感影像数据量更大、复杂度较高,易受类别不平衡的影响,需要研究比较高效且准确的方法来实现高分遥感影像的语义分割。
目前,应用于遥感影像语义分割的模型主要采用全卷积神经网络,主要以FCN(Fully Convolutional Networks)为代表,由于其能够对输入的影像特征进行由低到高的逐层提取,并能对特征进行整合生成合适的模型,故其在遥感影像语义分割上应用比较广泛。FCN通过上采样过程来还原图像的大小,通过将最后的全连接层更换为卷积层,实现了像素级别的分类。典型反卷积网络如SegNet网络、U-Net网络,两者都是采用编码解码结构,其中上采样部分采用了反卷积,SegNet包含了池化索引结构,U-Net包含了跨层特征融合结构,都能够将位置信息与语义信息结合,对语义分割的完整性有较大的提升。
由于FCN下采样增加感受野的同时会导致特征图的空间分辨率降低,丢失位置信息,导致语义分割的完整性较差,SegNet、U-Net这些网络通常在低层特征与深层特征融合时融合不充分,没能考虑到遥感影像不同地物之间的相关性,导致图像分割的精度较低,分割的完整性也较差。
发明内容
针对现有技术存在的问题,本发明提供一种基于深度学习的高分辨率遥感影像语义分割方法,能够加强各级特征的利用率,充分利用不同地物的上下文信息,提高遥感影像语义分割的精度、效率与完整性。
本发明的技术方案为:
一种基于深度学习的高分辨率遥感影像语义分割方法,其特征在于:包括下述步骤:
步骤1:获取遥感影像初始数据集,并对遥感影像初始数据集中每张遥感图像中的像素点进行地物类别标记,得到遥感影像数据集;
步骤2:对遥感影像数据集进行预处理;所述预处理包括归一化处理、裁剪处理、数据扩增处理;
步骤3:将预处理后的遥感影像数据集按照一定的比例划分为训练数据集、验证数据集;
步骤4:构建基于深度学习的遥感影像语义分割模型包括数据预训练模块、特征编码层、通道特征重校正模块、特征解码层、多级特征提取模块、第一特征融合层、分类模块;所述通道特征重校正模块包括多个通道特征重校正层,所述多级特征提取模块包括多个多级特征提取层,所述特征编码层的第j编码层级与特征解码层的第J-j解码层级的跳跃连接间设置一个通道特征重校正层,所述特征解码层的每一解码层级之后都连接有一个多级特征提取层,每个所述多级特征提取层的输出、所述数据预训练模块的输出均连接到所述第一特征融合层,所述第一特征融合层与所述分类模块连接;其中,j∈{1,2,...,J-1},J为特征编码层的层级总数;
步骤5:利用训练数据集对所述基于深度学习的遥感影像语义分割模型进行训练,得到最优语义分割模型;
步骤6:采集待语义分割的遥感影像,对待语义分割的遥感影像进行归一化处理、按行和列进行固定步长滑动裁剪处理,将预处理后的待语义分割的遥感影像输入所述最优语义分割模型中,将输出的特征图按照位置关系进行拼接。
进一步的,所述步骤2包括下述步骤:
步骤2.1:对所述遥感影像数据集中的每张遥感图像采用Min-Max标准化方法进行归一化处理,具体的,对于原始遥感图像中所有像素点的灰度值组成的序列{x1,x2,...,xi,...,xn},归一化处理后的灰度值序列为{x1',x2',...,xi',...,xn'},
其中,xi为原始遥感图像中第i个像素点的灰度值,xi'为原始遥感图像中第i个像素点的归一化处理后的灰度值,i∈{1,2,...,n},n为原始遥感图像中的像素点总数;
步骤2.2:对归一化处理后的遥感图像采用随机滑动窗口的方法进行批量裁剪;
步骤2.3:对裁剪得到的图像采用OpenCV进行数据扩增,所述数据扩增的方法为随机选择旋转90°、随机旋转180°、随机旋转270°、伽马变换中的一种或多种。
进一步的,所述数据预训练模块包括四个并行的网络层、第二特征融合层;
第一个网络层包括依次连接的1×1卷积层、批归一化层、线性整流函数层、3×3卷积层、批归一化层、线性整流函数层、3×3卷积层、批归一化层、线性整流函数层;
第二个网络层包括依次连接的1×1卷积层、批归一化层、线性整流函数层、3×3卷积层、批归一化层、线性整流函数层;
第三个网络层包括依次连接的3×3最大池化层、1×1卷积层、批归一化层、线性整流函数层;
第四个网络层包括1×1卷积层、批归一化层、线性整流函数层;
原始输入图像输入每个网络层,每个网络层的输出连接第二特征融合层的输入。
进一步的,所述特征编码层包括依次相连的第一编码层级、第二编码层级、第三编码层级、第四编码层级、第五编码层级,第j∈{1,2,...,J-1}个编码层级包括依次相连的残差块、下采样层;
所述第一编码层级的残差块的结构为在依次连接的两个卷积单元的基础上添加残差连接,所述卷积单元包括依次连接的3×3卷积层、批归一化层、线性整流函数层,所述第一编码层级的残差连接为第一编码层级的输入通过1×1卷积层处理后与第一编码层级的第二个卷积单元的批归一化层的输出进行对应通道像素叠加、再输入到第一编码层级的第二个卷积单元的线性整流函数层;
所述第二编码层级的残差块与第一编码层级的残差块结构相同;
所述第三编码层级的残差块的结构为在依次连接的三个卷积单元的基础上添加残差连接,所述第三编码层级的残差连接为第三编码层级的输入通过1×1卷积层处理后与第三编码层级的第三个卷积单元的批归一化层的输出进行对应通道像素叠加、再输入到第三编码层级的第三个卷积单元的线性整流函数层;
所述第四编码层级的残差块与第三编码层级的残差块结构相同;
所述下采样层包括3×3最大池化层;
所述第五编码层级包括依次连接的2个3×3卷积层。
进一步的,所述特征解码层包括依次相连的第一解码层级、第二解码层级、第三解码层级、第四解码层级,每个解码层级均包括依次相连的上采样层、第三特征融合层、残差块;
每个解码层级的残差块的结构均为在一个卷积单元的基础上添加残差连接,每个解码层级的残差连接均为该解码层级的第三特征融合层的输出通过1×1卷积层处理后与该解码层级的卷积单元的批归一化层的输出进行对应通道像素叠加、再输入到该解码层级的卷积单元的线性整流函数层;
所述上采样层包括3×3转置卷积层;
所述第五编码层级与第一解码层级连接;
所述特征编码层的第j编码层级通过一个通道特征重校正层与特征解码层的第J-j解码层级的第三特征融合层连接。
进一步的,每个所述通道特征重校正层进行通道特征重校正的具体过程均为:首先对给定的输入特征图X∈RH×W×C进行一系列卷积操作Ftr得到特征图U∈RH'×W'×C',然后对特征图U进行全局平均池化操作Fsq(·)得到特征图U'∈R1×1×C‘,接着对特征图U'顺着空间维度进行特征压缩,将每个二维特征图压缩成具有全局感受野的实数,之后通过Sigmoid函数σ(·)为每个通道生成权重得到新的特征图M∈R1×1×C‘,最后将特征图M与特征图U进行点乘,完成特征通道的重加权,得到通道特征校正后的特征图X'∈RH'×W'×C',X'=M·U;其中,H、W、C分别为特征图X的像素高度、像素宽度、通道数,H'、W'、C'分别为特征图X'的像素高度、像素宽度、通道数。
进一步的,第j∈{1,2,...,J-2}解码层级之后连接的多级特征提取层包括依次连接的上采样层、1×1卷积层,第J-1解码层级之后连接的多级特征提取层包括1×1卷积层,每个上采样层均采用双线性插值方式进行上采样。
进一步的,每个特征融合层的特征融合方式均为concatenate;所述第一特征融合层将每个所述多级特征提取层输出的特征图与所述数据预训练模块输出的特征图进行通道级联,即进行横向或纵向空间上的叠加。
进一步的,所述分类模块包括一个softmax函数,用于将分类结果表示为标签空间的概率分布,具体为:
假设所分割的地物类别数为l,对于给定输入Y=(y1,y2,...,yk,...,yl),经过softmax函数之后的输出为
其中,表示样本属于第k个地物类别的概率。
进一步的,所述步骤5中,在训练过程中,计算分类模块的损失函数来进行模型参数的更新,得到最优语义分割模型;其中所使用的损失函数为
其中,Sk为样本在第k个地物类别上的类别标签真实值,样本属于第k个地物类别时Sk=1,样本不属于第k个地物类别时Sk=0。
本发明的有益效果为:
(1)本发明通过数据预训练模块进行基础特征的提取,主体网络都采用残差连接方式,具体地在特征编码层与特征解码层部分均通过恒等映射的残差结构来实现初始输入与卷积后输出特征图的叠加,能够减少训练参数量,加快网络的收敛速度与训练速度,解决了网络加深时导致的“梯度消失”问题,而且特征编码层与特征解码层的特征通过跨层连接的方式进行特征融合,逐级加强了各级特征的利用率,更好地融合了浅层的空间信息和深层的语义信息。
(2)本发明在特征编码层的各编码层级之后分别添加一个通道特征重校正层,对特征编码层四个层级输出的特征图进行特征通道权重的重新分配,能够有效提高重要特征的利用率,抑制无效特征的比重,克服地物混合等状况的干扰,提高遥感影像语义分割的精度。
(3)本发明在特征解码层的各解码层级之后分别添加一个多级特征提取层,多级特征提取层能够获取解码阶段四个层级的特征图,四个层级的特征图分别包含不同感受野的特征图,通过将不同尺度的特征图进行上采样之后与预训练的特征图进行特征融合,能够充分利用多尺度特征的上下文信息,并且融合后的特征空间信息较为丰富,能够提高最终分割的完整性,减少错分、漏分的现象。
附图说明
图1为本发明的基于深度学习的高分辨率遥感影像语义分割方法的流程图。
图2为具体实施方式中采用随机滑动窗口方法对遥感图像进行批量裁剪的示意图。
图3为具体实施方式中本发明的基于深度学习的遥感影像语义分割模型的结构示意图。
图4为具体实施方式中数据预训练模块的结构示意图。
图5为具体实施方式中第一编码层级的残差块的结构示意图。
图6为具体实施方式中第三编码层级的残差块的结构示意图。
图7为具体实施方式中每个解码层级的结构示意图。
图8为具体实施方式中通道特征重校正层的结构示意图。
图9为具体实施方式中多级特征提取模块的结构示意图。
图10为具体实施方式中第一特征融合层的融合方式示意图。
具体实施方式
下面将结合附图和具体实施方式,对本发明作进一步描述。
如图1所示,本发明的基于深度学习的高分辨率遥感影像语义分割方法,包括下述步骤:
步骤1:获取遥感影像初始数据集,并对遥感影像初始数据集中每张遥感图像中的像素点进行地物类别标记,得到遥感影像数据集。
步骤2:对遥感影像数据集进行预处理;所述预处理包括归一化处理、裁剪处理、数据扩增处理。
本实施例中,步骤2包括下述步骤:
步骤2.1:对所述遥感影像数据集中的每张遥感图像采用Min-Max标准化方法进行归一化处理,具体的,对于原始遥感图像中所有像素点的灰度值组成的序列{x1,x2,...,xi,...,xn},归一化处理后的灰度值序列为{x1',x2',...,xi',...,xn'},
其中,xi为原始遥感图像中第i个像素点的灰度值,xi'为原始遥感图像中第i个像素点的归一化处理后的灰度值,i∈{1,2,...,n},n为原始遥感图像中的像素点总数。
遥感影像数据分布存在较大的差异,通过上述的归一化处理能将数据映射到0-1的范围之内,可以加快模型的收敛速度同时提高其精度。
步骤2.2:如图2所示,对归一化处理后的遥感图像采用随机滑动窗口的方法进行批量裁剪。
遥感影像一般尺寸较大,难以直接输入到网络模型中进行训练,通过上述裁剪处理能够将遥感影像裁剪成适合输入模型的尺寸。
步骤2.3:对裁剪得到的图像采用OpenCV进行数据扩增,所述数据扩增的方法为随机选择旋转90°、随机旋转180°、随机旋转270°、伽马变换中的一种或多种。
通过上述数据扩增处理,能够使得获取的图像数量满足训练的需求。
步骤3:将预处理后的遥感影像数据集按照一定的比例划分为训练数据集、验证数据集。
本实施例中,采用4:1的比例将预处理后的遥感影像数据集划分为训练数据集、验证数据集。
步骤4:如图3所示,构建基于深度学习的遥感影像语义分割模型包括数据预训练模块Inception V2、特征编码层、通道特征重校正模块、特征解码层、多级特征提取模块、第一特征融合层FS、分类模块;所述通道特征重校正模块包括多个通道特征重校正层SE,所述多级特征提取模块包括多个多级特征提取层MFE,所述特征编码层的第j编码层级与特征解码层的第J-j解码层级的跳跃连接间设置一个通道特征重校正层SE,所述特征解码层的每一解码层级之后都连接有一个多级特征提取层MFE,每个所述多级特征提取层MFE的输出、所述数据预训练模块Inception V2的输出均连接到所述第一特征融合层FS,所述第一特征融合层FS与所述分类模块连接;其中,j∈{1,2,...,J-1},J为特征编码层的层级总数。
在本发明的遥感影像语义分割模型中:首先通过数据预训练模块Inception V2实现特征的初步提取,然后将提取的特征图输入到网络的特征编码层中进行进一步的特征提取,之后将提取的特征经过特征解码层进行图像尺寸还原,将特征编码层各个部分的特征图先经过通道特征重校正之后获得带权重的通道特征图,之后将各级特征图与特征解码层的特征图通过跨层连接的方式进行特征级联,级联之后的特征图进入多级特征提取模块,将多级特征与经过数据预训练模块Inception V2的特征图输入到第一特征融合层FS进行特征融合,最后将融合后的特征图输入到分类模块中,根据分类模块中损失函数来进行模型参数的更新。
图3至图10中,INPUT代表原始输入,Conv代表卷积层,BatchNorm代表批归一化层,RELU代表线性整流函数层,Pool代表最大池化层,Concatenate代表特征融合方式为concatenate的特征融合层,UPSAMPLING代表上采样层,OUTPUT代表模型输出。
本实施例中,如图4所示,所述数据预训练模块包括四个并行的网络层、第二特征融合层;
第一个网络层包括依次连接的1×1卷积层、批归一化层、线性整流函数层、3×3卷积层、批归一化层、线性整流函数层、3×3卷积层、批归一化层、线性整流函数层;
第二个网络层包括依次连接的1×1卷积层、批归一化层、线性整流函数层、3×3卷积层、批归一化层、线性整流函数层;
第三个网络层包括依次连接的3×3最大池化层、1×1卷积层、批归一化层、线性整流函数层;
第四个网络层包括1×1卷积层、批归一化层、线性整流函数层;
原始输入图像输入每个网络层,每个网络层的输出连接第二特征融合层的输入。
如下表1所示,J=5,特征编码层包括依次相连的第一编码层级CONV1、第二编码层级CONV2、第三编码层级CONV3、第四编码层级CONV4、第五编码层级CONV5,第j∈{1,2,...,J-1}个编码层级包括依次相连的残差块、下采样层。本实施例中,输入尺寸为256×256×3。
如图5所示,所述第一编码层级CONV1的残差块的结构为在依次连接的两个卷积单元的基础上添加残差连接,所述卷积单元包括依次连接的3×3卷积层、批归一化层、线性整流函数层,所述第一编码层级CONV1的残差连接为第一编码层级CONV1的输入通过1×1卷积层处理后与第一编码层级CONV1的第二个卷积单元的批归一化层的输出进行对应通道像素叠加、再输入到第一编码层级CONV1的第二个卷积单元的线性整流函数层;
所述第二编码层级CONV2的残差块与第一编码层级CONV1的残差块结构相同;
如图6所示,所述第三编码层级CONV3的残差块的结构为在依次连接的三个卷积单元的基础上添加残差连接,所述第三编码层级CONV3的残差连接为第三编码层级CONV3的输入通过1×1卷积层处理后与第三编码层级CONV3的第三个卷积单元的批归一化层的输出进行对应通道像素叠加、再输入到第三编码层级CONV3的第三个卷积单元的线性整流函数层;
所述第四编码层级CONV4的残差块与第三编码层级CONV3的残差块结构相同;
所述下采样层包括3×3最大池化层max pool;
所述第五编码层级CONV5包括依次连接的2个3×3卷积层。
表1
如下表2所示,所述特征解码层包括依次相连的第一解码层级UP CONV1、第二解码层级UP CONV2、第三解码层级UP CONV3、第四解码层级UP CONV4,每个解码层级均包括依次相连的上采样层、第三特征融合层、残差块;
如图7所示,每个解码层级的残差块的结构均为在一个卷积单元的基础上添加残差连接,每个解码层级的残差连接均为该解码层级的第三特征融合层的输出通过1×1卷积层处理后与该解码层级的卷积单元的批归一化层的输出进行对应通道像素叠加、再输入到该解码层级的卷积单元的线性整流函数层;
所述上采样层包括3×3转置卷积层trans Conv;
所述第五编码层级CONV5与第一解码层级UP CONV1连接;
所述特征编码层的第j编码层级通过一个通道特征重校正层与特征解码层的第J-j解码层级的第三特征融合层连接。
特征解码层的输出为各个层级的整体特征图,四个层级输出的特征图分别为特征图UPD_1、特征图UPD_2、特征图UPD_3和特征图UPD_4。
表2
如图8所示,每个所述通道特征重校正层SE进行通道特征重校正的具体过程均为:首先对给定的输入特征图X∈RH×W×C进行一系列卷积操作Ftr得到特征图U∈RH'×W'×C',然后对特征图U进行全局平均池化操作Fsq(·)得到特征图U'∈R1×1×C‘,接着对特征图U'顺着空间维度进行特征压缩,将每个二维特征图压缩成具有全局感受野的实数,之后通过Sigmoid函数σ(·)为每个通道生成权重得到新的特征图M∈R1×1×C‘,最后将特征图M与特征图U进行点乘,完成特征通道的重加权,得到通道特征校正后的特征图X'∈RH'×W'×C',X'=M·U;其中,H、W、C分别为特征图X的像素高度、像素宽度、通道数,H'、W'、C'分别为特征图X'的像素高度、像素宽度、通道数。
如图9所示,第一解码层级UPCONV1、第二解码层级UPCONV2、第三解码层级UPCONV3之后连接的多级特征提取层MFE(MultiFeature Extraction)均包括依次连接的上采样层、1×1卷积层,上采样倍数分别为8、4、2,每个上采样层均采用双线性插值方式进行上采样;第四解码层级UPCONV4之后连接的多级特征提取层MFE包括1×1卷积层。
本实施例中,每个特征融合层的特征融合方式均为concatenate。如图10所示,第一特征融合层FS(Feature Fusion)将每个所述多级特征提取层MFE输出的特征图与所述数据预训练模块InceptionV2输出的特征图进行通道级联,即进行横向或纵向空间上的叠加,以加强各级通道特征图的联系。
本实施例中,分类模块包括一个softmax函数,用于将分类结果表示为标签空间的概率分布,具体为:
假设所分割的地物类别数为l,对于给定输入Y=(y1,y2,...,yk,...,yl),经过softmax函数之后的输出为
其中,表示样本属于第k个地物类别的概率。
步骤5:利用训练数据集对所述基于深度学习的遥感影像语义分割模型进行训练,得到最优语义分割模型。
本实施例中,在训练过程中,计算分类模块的损失函数来进行模型参数的更新,得到最优语义分割模型;其中所使用的损失函数为
其中,Sk为样本在第k个地物类别上的类别标签真实值,样本属于第k个地物类别时Sk=1,样本不属于第k个地物类别时Sk=0。
步骤6:采集待语义分割的遥感影像,对待语义分割的遥感影像进行归一化处理、按行和列进行固定步长滑动裁剪处理,将预处理后的待语义分割的遥感影像输入所述最优语义分割模型中,实现遥感影像端对端的输出,将输出的特征图按照位置关系进行拼接。
显然,上述实施例仅仅是本发明的一部分实施例,而不是全部的实施例。上述实施例仅用于解释本发明,并不构成对本发明保护范围的限定。基于上述实施例,本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例,也即凡在本申请的精神和原理之内所作的所有修改、等同替换和改进等,均落在本发明要求的保护范围内。
Claims (6)
1.一种基于深度学习的高分辨率遥感影像语义分割方法,其特征在于:包括下述步骤:
步骤1:获取遥感影像初始数据集,并对遥感影像初始数据集中每张遥感图像中的像素点进行地物类别标记,得到遥感影像数据集;
步骤2:对遥感影像数据集进行预处理;所述预处理包括归一化处理、裁剪处理、数据扩增处理;
步骤3:将预处理后的遥感影像数据集按照一定的比例划分为训练数据集、验证数据集;
步骤4:构建基于深度学习的遥感影像语义分割模型包括数据预训练模块、特征编码层、通道特征重校正模块、特征解码层、多级特征提取模块、第一特征融合层、分类模块;
所述通道特征重校正模块包括多个通道特征重校正层,所述多级特征提取模块包括多个多级特征提取层,所述特征编码层的第j编码层级与特征解码层的第J-j解码层级的跳跃连接间设置一个通道特征重校正层,所述特征解码层的每一解码层级之后都连接有一个多级特征提取层,每个所述多级特征提取层的输出、所述数据预训练模块的输出均连接到所述第一特征融合层,所述第一特征融合层与所述分类模块连接;其中,j∈{1,2,…,J-1},J为特征编码层的层级总数;
所述数据预训练模块包括四个并行的网络层、第二特征融合层;第一个网络层包括依次连接的1×1卷积层、批归一化层、线性整流函数层、3×3卷积层、批归一化层、线性整流函数层、3×3卷积层、批归一化层、线性整流函数层;第二个网络层包括依次连接的1×1卷积层、批归一化层、线性整流函数层、3×3卷积层、批归一化层、线性整流函数层;第三个网络层包括依次连接的3×3最大池化层、1×1卷积层、批归一化层、线性整流函数层;第四个网络层包括1×1卷积层、批归一化层、线性整流函数层;原始输入图像输入每个网络层,每个网络层的输出连接第二特征融合层的输入;
所述特征编码层包括依次相连的第一编码层级、第二编码层级、第三编码层级、第四编码层级、第五编码层级,第j∈{1,2,…,J-1}个编码层级包括依次相连的残差块、下采样层;所述第一编码层级的残差块的结构为在依次连接的两个卷积单元的基础上添加残差连接,所述卷积单元包括依次连接的3×3卷积层、批归一化层、线性整流函数层,所述第一编码层级的残差连接为第一编码层级的输入通过1×1卷积层处理后与第一编码层级的第二个卷积单元的批归一化层的输出进行对应通道像素叠加、再输入到第一编码层级的第二个卷积单元的线性整流函数层;所述第二编码层级的残差块与第一编码层级的残差块结构相同;所述第三编码层级的残差块的结构为在依次连接的三个卷积单元的基础上添加残差连接,所述第三编码层级的残差连接为第三编码层级的输入通过1×1卷积层处理后与第三编码层级的第三个卷积单元的批归一化层的输出进行对应通道像素叠加、再输入到第三编码层级的第三个卷积单元的线性整流函数层;所述第四编码层级的残差块与第三编码层级的残差块结构相同;所述下采样层包括3×3最大池化层;所述第五编码层级包括依次连接的2个3×3卷积层;
所述特征解码层包括依次相连的第一解码层级、第二解码层级、第三解码层级、第四解码层级,每个解码层级均包括依次相连的上采样层、第三特征融合层、残差块;每个解码层级的残差块的结构均为在一个卷积单元的基础上添加残差连接,每个解码层级的残差连接均为该解码层级的第三特征融合层的输出通过1×1卷积层处理后与该解码层级的卷积单元的批归一化层的输出进行对应通道像素叠加、再输入到该解码层级的卷积单元的线性整流函数层;所述上采样层包括3×3转置卷积层;所述第五编码层级与第一解码层级连接;所述特征编码层的第j编码层级通过一个通道特征重校正层与特征解码层的第J-j解码层级的第三特征融合层连接;
每个所述通道特征重校正层进行通道特征重校正的具体过程均为:首先对给定的输入特征图X∈RH×W×C进行一系列卷积操作Ftr得到特征图U∈RH'×W'×C',然后对特征图U进行全局平均池化操作Fsq(·)得到特征图U'∈R1×1×C‘,接着对特征图U'顺着空间维度进行特征压缩,将每个二维特征图压缩成具有全局感受野的实数,之后通过Sigmoid函数σ(·)为每个通道生成权重得到新的特征图M∈R1×1×C‘,最后将特征图M与特征图U进行点乘,完成特征通道的重加权,得到通道特征校正后的特征图X'∈RH'×W'×C',X'=M·U;其中,H、W、C分别为特征图X的像素高度、像素宽度、通道数,H'、W'、C'分别为特征图X'的像素高度、像素宽度、通道数;
步骤5:利用训练数据集对所述基于深度学习的遥感影像语义分割模型进行训练,得到最优语义分割模型;
步骤6:采集待语义分割的遥感影像,对待语义分割的遥感影像进行归一化处理、按行和列进行固定步长滑动裁剪处理,将预处理后的待语义分割的遥感影像输入所述最优语义分割模型中,将输出的特征图按照位置关系进行拼接。
2.根据权利要求1所述的基于深度学习的高分辨率遥感影像语义分割方法,其特征在于,所述步骤2包括下述步骤:
步骤2.1:对所述遥感影像数据集中的每张遥感图像采用Min-Max标准化方法进行归一化处理,具体的,对于原始遥感图像中所有像素点的灰度值组成的序列{x1,x2,...,xi,...,xn},归一化处理后的灰度值序列为{x1',x2',...,xi',...,xn'},
其中,xi为原始遥感图像中第i个像素点的灰度值,xi'为原始遥感图像中第i个像素点的归一化处理后的灰度值,i∈{1,2,...,n},n为原始遥感图像中的像素点总数;
步骤2.2:对归一化处理后的遥感图像采用随机滑动窗口的方法进行批量裁剪;
步骤2.3:对裁剪得到的图像采用OpenCV进行数据扩增,所述数据扩增的方法为随机选择旋转90°、随机旋转180°、随机旋转270°、伽马变换中的一种或多种。
3.根据权利要求1所述的基于深度学习的高分辨率遥感影像语义分割方法,其特征在于,第j∈{1,2,...,J-2}解码层级之后连接的多级特征提取层包括依次连接的上采样层、1×1卷积层,第J-1解码层级之后连接的多级特征提取层包括1×1卷积层,每个上采样层均采用双线性插值方式进行上采样。
4.根据权利要求1所述的基于深度学习的高分辨率遥感影像语义分割方法,其特征在于,每个特征融合层的特征融合方式均为concatenate;所述第一特征融合层将每个所述多级特征提取层输出的特征图与所述数据预训练模块输出的特征图进行通道级联,即进行横向或纵向空间上的叠加。
5.根据权利要求1所述的基于深度学习的高分辨率遥感影像语义分割方法,其特征在于,所述分类模块包括一个softmax函数,用于将分类结果表示为标签空间的概率分布,具体为:
假设所分割的地物类别数为l,对于给定输入Y=(y1,y2,...,yk,...,yl),经过softmax函数之后的输出为
其中,表示样本属于第k个地物类别的概率。
6.根据权利要求5所述的基于深度学习的高分辨率遥感影像语义分割方法,其特征在于,所述步骤5中,在训练过程中,计算分类模块的损失函数来进行模型参数的更新,得到最优语义分割模型;其中所使用的损失函数为
其中,Sk为样本在第k个地物类别上的类别标签真实值,样本属于第k个地物类别时Sk=1,样本不属于第k个地物类别时Sk=0。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110271050.3A CN112991354B (zh) | 2021-03-11 | 2021-03-11 | 一种基于深度学习的高分辨率遥感影像语义分割方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110271050.3A CN112991354B (zh) | 2021-03-11 | 2021-03-11 | 一种基于深度学习的高分辨率遥感影像语义分割方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN112991354A CN112991354A (zh) | 2021-06-18 |
CN112991354B true CN112991354B (zh) | 2024-02-13 |
Family
ID=76335045
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202110271050.3A Active CN112991354B (zh) | 2021-03-11 | 2021-03-11 | 一种基于深度学习的高分辨率遥感影像语义分割方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN112991354B (zh) |
Families Citing this family (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113408537B (zh) * | 2021-07-19 | 2023-07-21 | 中南大学 | 一种遥感影像域适应语义分割方法 |
CN113496221B (zh) * | 2021-09-08 | 2022-02-01 | 湖南大学 | 基于深度双边滤波的点监督遥感图像语义分割方法及系统 |
CN114222124B (zh) * | 2021-11-29 | 2022-09-23 | 广州波视信息科技股份有限公司 | 一种编解码方法及设备 |
CN115035402B (zh) * | 2022-04-15 | 2023-09-12 | 南京信息工程大学 | 一种用于土地覆盖分类问题的多级特征聚合系统及方法 |
CN115082778B (zh) * | 2022-04-28 | 2023-04-07 | 中国农业科学院农业信息研究所 | 一种基于多分支学习的宅基地识别方法及系统 |
CN114821342B (zh) * | 2022-06-02 | 2023-04-18 | 中国科学院地理科学与资源研究所 | 一种遥感影像道路提取方法及系统 |
CN115223154A (zh) * | 2022-07-20 | 2022-10-21 | 中国科学院长春光学精密机械与物理研究所 | 目标检测系统及其检测方法 |
CN115049936B (zh) * | 2022-08-12 | 2022-11-22 | 深圳市规划和自然资源数据管理中心(深圳市空间地理信息中心) | 一种面向高分遥感影像的边界增强型语义分割方法 |
CN115393733B (zh) * | 2022-08-22 | 2023-08-18 | 河海大学 | 一种基于深度学习的水体自动识别方法及系统 |
CN116091940B (zh) * | 2023-01-05 | 2023-07-25 | 中国农业科学院农业资源与农业区划研究所 | 一种基于高分辨率卫星遥感影像的作物分类和识别方法 |
CN117111013B (zh) * | 2023-08-22 | 2024-04-30 | 南京慧尔视智能科技有限公司 | 一种雷达目标跟踪航迹起始方法、装置、设备及介质 |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109785344A (zh) * | 2019-01-22 | 2019-05-21 | 成都大学 | 基于特征重标定的双通路残差网络的遥感图像分割方法 |
CN112132193A (zh) * | 2020-09-10 | 2020-12-25 | 中国科学院深圳先进技术研究院 | 一种用于遥感图像分类的神经网络优化方法、终端以及存储介质 |
-
2021
- 2021-03-11 CN CN202110271050.3A patent/CN112991354B/zh active Active
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109785344A (zh) * | 2019-01-22 | 2019-05-21 | 成都大学 | 基于特征重标定的双通路残差网络的遥感图像分割方法 |
CN112132193A (zh) * | 2020-09-10 | 2020-12-25 | 中国科学院深圳先进技术研究院 | 一种用于遥感图像分类的神经网络优化方法、终端以及存储介质 |
Non-Patent Citations (7)
Title |
---|
A Deep Learning-Based Approach for Automated Yellow Rust Disease Detection from High-Resolution Hyperspectral UAV Images;Xin Zhang等;《Remote Sensing》;第11卷(第13期);1-16 * |
AeroRIT: A New Scene for Hyperspectral Image Analysis;Aneesh Rangnekar等;《IEEE Transactions on Geoscience and Remote Sensing》;第58卷(第11期);8116 - 8124 * |
Deep Attention and Multi-Scale Networks for Accurate Remote Sensing Image Segmentation;Xingqun Qi等;《IEEE Access》;第8卷;146627-146639 * |
IRSNET: An Inception-Resnet Feature Reconstruction Model for Building Segmentation;Kepeng Xu等;《Neural Information Processing》;第1143卷;41–48 * |
基于 Inception -V3 模型的高分遥感影像场景分类;蔡之灵等;《国土资源遥感》;第32卷(第3期);80-89 * |
基于深度学习的盐体语义分割算法研究;郭江涛;《中国优秀硕士学位论文全文数据库 (基础科学辑)》(第7期);A011-381 * |
多模态融合的高分遥感图像语义分割方法;李万琦;李克俭;陈少波;;中南民族大学学报(自然科学版)(第04期);79-86 * |
Also Published As
Publication number | Publication date |
---|---|
CN112991354A (zh) | 2021-06-18 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN112991354B (zh) | 一种基于深度学习的高分辨率遥感影像语义分割方法 | |
CN111462126B (zh) | 一种基于边缘增强的语义图像分割方法及系统 | |
CN110781776B (zh) | 一种基于预测和残差细化网络的道路提取方法 | |
CN110147794A (zh) | 一种基于深度学习的无人车室外场景实时分割方法 | |
CN112183258A (zh) | 一种基于上下文信息和注意力机制的遥感图像道路分割方法 | |
CN113888550A (zh) | 一种结合超分辨率和注意力机制的遥感图像道路分割方法 | |
CN114283120B (zh) | 一种基于领域自适应的端到端多源异质遥感影像变化检测方法 | |
CN112950780B (zh) | 一种基于遥感影像的网络地图智能生成方法及系统 | |
CN109785409B (zh) | 一种基于注意力机制的图像-文本数据融合方法和系统 | |
CN114022770A (zh) | 基于改进自注意力机制与迁移学习的山体裂缝检测方法 | |
CN113298817A (zh) | 一种准确率高的遥感图像语义分割方法 | |
CN113971735A (zh) | 一种深度图像聚类方法、系统、设备、介质及终端 | |
CN116958827A (zh) | 一种基于深度学习的撂荒区域提取方法 | |
CN110264483B (zh) | 一种基于深度学习的语义图像分割方法 | |
CN115965789A (zh) | 一种基于场景感知类注意力的遥感图像语义分割方法 | |
CN112149526A (zh) | 一种基于长距离信息融合的车道线检测方法及系统 | |
CN111783688B (zh) | 一种基于卷积神经网络的遥感图像场景分类方法 | |
CN113362915A (zh) | 一种基于多模态学习的材料性能预测方法及系统 | |
CN111950476A (zh) | 基于深度学习的复杂环境下河道船舶自动识别方法 | |
CN113343861B (zh) | 一种基于神经网络模型的遥感图像水体区域提取方法 | |
CN115375922A (zh) | 一种基于多尺度空间注意力的轻量化显著性检测方法 | |
CN111190952B (zh) | 一种基于图像金字塔提取城市画像多尺度特征并持久化的方法 | |
CN114170519A (zh) | 基于深度学习与多维注意力的高分辨率遥感道路提取方法 | |
CN114220019A (zh) | 一种轻量级沙漏式遥感图像目标检测方法及系统 | |
Li et al. | Data-specific activation function learning for hyperspectral image classification |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |