CN113312993A - 一种基于PSPNet的遥感数据土地覆盖分类方法 - Google Patents

一种基于PSPNet的遥感数据土地覆盖分类方法 Download PDF

Info

Publication number
CN113312993A
CN113312993A CN202110539555.3A CN202110539555A CN113312993A CN 113312993 A CN113312993 A CN 113312993A CN 202110539555 A CN202110539555 A CN 202110539555A CN 113312993 A CN113312993 A CN 113312993A
Authority
CN
China
Prior art keywords
remote sensing
image
nir
pspnet
land cover
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110539555.3A
Other languages
English (en)
Other versions
CN113312993B (zh
Inventor
于歌
张玺
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Peking University
Original Assignee
Peking University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Peking University filed Critical Peking University
Priority to CN202110539555.3A priority Critical patent/CN113312993B/zh
Publication of CN113312993A publication Critical patent/CN113312993A/zh
Application granted granted Critical
Publication of CN113312993B publication Critical patent/CN113312993B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G06V20/13—Satellite images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G06V10/267—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion by performing operations on regions, e.g. growing, shrinking or watersheds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computing Systems (AREA)
  • Biomedical Technology (AREA)
  • General Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Biophysics (AREA)
  • Health & Medical Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Molecular Biology (AREA)
  • Evolutionary Biology (AREA)
  • Probability & Statistics with Applications (AREA)
  • Astronomy & Astrophysics (AREA)
  • Remote Sensing (AREA)
  • Image Analysis (AREA)

Abstract

本发明公布了一种基于PSPNet的遥感数据土地覆盖分类方法，采用多尺度融合分割模块构造多尺度特征，对土地覆盖类型进行分析，快速建立辨识模型，通过自适应损失算法，弥补样本稀疏类别不平衡造成的信息损失，自适应样本权重，采用预训练网络迁移的方法，通过图像数据库丰富样本多样性，实现对不同类型雷达遥感图像的辨识分割，其算法复杂度低，计算周期短，可适应样本稀疏不平衡下的遥感图像，并对其像素点进行精准语义分割，将土地图片进行区域类型分类，在图像处理领域具有普适性和高可移植性。

Description

一种基于PSPNet的遥感数据土地覆盖分类方法
技术领域
本发明属于遥感数据图像处理技术领域，涉及图像语义分割处理技术，具体涉及一种基于PSPNet(Pyramid Scene Parsing Network)的土地遥感数据语义分割获取土地覆盖分类的方法。
背景技术
土地覆盖是指地球陆地表面的各种生物或物理的覆盖类型，包括地表的植被(天然或人工)、建设用地，湖泊、冰川、裸岩和沙漠等，主要描述地球表面的自然属性。遥感通过人造地球卫星、航空等平台上的探测仪器，对地球表面实施远超人类视觉空间的大范围的观测，综合展现了包括地质、水文等多种事物的形态和分布。遥感技术广泛应用于农林、海洋、地质等领域，从中提取的地物信息，在自然灾害应急、农业检测等任务中发挥了重要的作用。利用遥感数据对土地覆盖进行自动语义分类对可持续发展、农业自主发展和城市规划具有重要意义。
目前，国内外针对遥感土地覆盖分类技术大多是利用卷积网络对遥感数据进行语义分割。将任务转化为对像素点的标记问题，利用输入的遥感图像，训练卷积网络对每个像素点进行端到端分类。采用扩展卷积的方法获得全局高分辨率特征图，并通过逐步地下采样和池化得到语义信息丰富但分辨率较低的特征图。近年来涌现出优秀的语义分割模型，U-Net、FCN、SegNet、PSPNet、DeepLab v3+等，使得分割性能有了很大提升。
然而，深度网络往往依赖样本的完备性，受制于专家领域知识的缺乏。由于真实土地表面类型复杂多样，各类型完备遥感样本图像采集困难。由于气候条件、噪音、云层覆盖或其他视觉限制，从卫星遥感图像中收集特定标记样本很困难，造成样本类别不平衡问题，即某些土地覆盖层类别在调查区域中占主导地位，样本稀疏类别不足以支撑模型的建立，限制了分类精度的提高。与此同时，卫星遥感与普通场景不同，目标种类多，结构复杂，尺度不一，既包含河流、湖泊、森林等自然地物，又包含建筑、公路等人工地物，具有特定的特点，物体边缘像素点没有规则或者清晰的边界，特别是外观模糊的小物体边界和颜色，纹理相似的复杂形状物体附近，辨识性能较差。如何避免信息丢失，利用特征描述方法进行准确的土地覆盖分类仍然是一个具有挑战性的课题。遥感影像中包含的丰富的光谱和空间信息，增加了特征提取和表达的复杂性，目前对于复杂遥感信号的精准辨识尚没有形成快速精准诊断方法。因此，现有技术很难实现将智能化技术与遥感数据分析有效结合一起，针对复杂状况的土地覆盖形成完备语义分割，遥感数据土地覆盖分类精度不高。
发明内容
针对上述现有技术的不足，本发明提供一种基于遥感数据土地覆盖分类网络模型PSPNet(Pyramid Scene Parsing Network)的遥感数据土地覆盖分类方法。本方法可以对土地覆盖类型进行分析，快速建立辨识模型，其算法复杂度低，计算周期短以及可移植性高，可适应样本稀疏不平衡下的遥感图像，并对其像素点进行精准语义分割，即将土地图片进行区域类型分类。
本发明从提取样本完备多尺度融合特征的角度，提出一种基于多尺度卷积特征融合的分割方法；是一种从深度学习角度基于Pyramid Scene Parsing Network(PSPNet)的土地覆盖类型辨识方法。
本发明的技术方案是：
一种基于PSPNet的遥感数据土地覆盖分类方法，具体步骤如下：
步骤1：采集土地覆盖类别的遥感图像数据；对已知土地覆盖类型的遥感图像数据样本集进行数据预处理，得到预处理之后的图像(Q,Mg,Mb)，Q为近红外通道与红通道融合后像素点，Mg为绿通道像素点，Mb为蓝通道像素点；遥感图像数据样本集共有nsample张图片样本，每张遥感图像尺寸为m*n，m为横向所包含像素点数量，n为纵向所包含像素点数量，遥感图像的四通道包括：近红外(NIR)、红(R)、绿(G)、蓝(B)；
步骤1.1：将采集到的第λ张原始的遥感图片像素点表示为(Mi,Mj,k)λ，i≤m，Mi表示横向第i个像素值，j≤n，Mj表示纵向第j个像素值，k≤4，k为通道数。首先将图像分割为包含a*a像素的小块，a为横纵最大像素数量，然后将图像按比例b进行缩放。
步骤1.2：对图片进行过采样，为了扩充稀疏类别的样本数量，如果该稀疏类别样本数量小于总样本数量百分比阈值d，则将该稀疏类别区域进行图像平移后再采样，即过采样。之后进行N*90°翻转，N＝{1,2,3}，加入高斯噪声，处理后小图片像素点表示为
Figure BDA0003068723580000021
Figure BDA0003068723580000022
Figure BDA0003068723580000023
为处理后小图片横向所包含像素点数量，
Figure BDA0003068723580000024
为处理后小图片纵向所包含像素点数量。
步骤1.3：采用一种极大互信息系数(MIC)方法将NIR通道的像素点
Figure BDA0003068723580000025
和R通道的像素点
Figure BDA0003068723580000026
进行高斯融合，得到预处理之后的图像。
步骤1.3.1：在NIR通道和R通道内分别按照维度nir和r进行网格分割。在每一个网格区域Ωnir，r中计算互信息I(Ωnir，r；NIR，R)为：
Figure BDA0003068723580000031
其中，p(nir，r)是联合分布概率，p(nir)和p(r)是边缘概率分布；计算如下，
Figure BDA0003068723580000032
其中，I(a∈Ωnir)为落在区域Ωnir内的采样点个数，I(a∈Ωr)为落在区域Ωr内的采样点个数，I(a∈Ωnir，r)为落在区域Ωnir，r内的采样点个数，I(a∈Ω)为样本集采样点总个数。
步骤1.3.2：在不同网格划分下NIR和R的最大互信息为Imax(Ωnir，r；NIR，R)，对其归一化可得
Figure BDA0003068723580000033
Figure BDA0003068723580000038
的取值区间为[0，1]。
步骤1.3.3：融合后的新通道
Figure BDA0003068723580000034
代替NIR通道
Figure BDA0003068723580000035
和R通道
Figure BDA0003068723580000036
组成样本
Figure BDA0003068723580000039
即为预处理之后的图像
Figure BDA00030687235800000310
构建遥感数据土地覆盖分类网络模型PSPNet并训练模型PSPNet，包括步骤2～步骤4。
步骤2：采用残差网络(Residual Network)中的ResNet-50网络对预处理之后的图像
Figure BDA00030687235800000311
进行特征提取。包括如下步骤：
步骤2.1：利用图像数据集预训练残差网络，将得到的训练好的网络记为NET0；
在ImageNet数据库，包含133万张图片，1000类上用残差网络、空洞卷积和降维卷积预训练残差网络(ResNet 50)，得到训练好的网络记为NET0。
步骤2.2：迁移NET0，将步骤1.3.3中得到的预处理之后的图像(称为样本图像
Figure BDA00030687235800000312
)送入NET0网络，通过全局自适应平均方法，将输入的样本图像映射合并，得到特征映射。样本图像的个数为
Figure BDA0003068723580000037
个。经过三次缩小特征图，一次最大池化(maxpool)，两次卷积(conv)，将输入特征映射的维数降低到1/Nlayer，得到特征映射featuremap{y}，其中Nlayer是层数。
步骤2.3：采用双线性插值方法对特征映射featuremap{y}进行扩展。
featuremap{y}被上采样，插值为f(x，y)。扩展过程表示为：
f(x,y)＝(1-μ)×(1-ν)×OriImage[n,m]+μ×ν×OriImage[n+1,m+1]+(1-μ)×ν×OriImage[n,m+1]+μ×(1-ν)×OriImage[n+,m].
其中f(x,y)表示改变的像素，OriImage[n,m]表示原始像素。μ，ν是阈值；
再经过卷积层输出特征映射结果featuremap{ym}。
步骤3：采用一种多尺度融合分割模块，采用
Figure BDA0003068723580000041
层金字塔结构收集各层次信息，对
Figure BDA00030687235800000414
和featuremap{ym}进行语义分割，得到初步预测分割图，即对像素点
Figure BDA0003068723580000042
进行分类。
步骤3.1：在空洞卷积率D＝1下，提取代表全局的特征映射featuremap{y0}。
Figure BDA0003068723580000043
其中，
Figure BDA0003068723580000044
表示卷积运算符，
Figure BDA0003068723580000045
将输入特征卷积映射为具有滤波器大小ker的扩展卷积
Figure BDA0003068723580000046
在扩张卷积中，一个核的大小ker被空洞卷积率D放大到ker+(ker-1)(D-1)。
步骤3.2：在空洞卷积率D作用下，提取图像局部多尺度的特征映射featuremap{ys}。
Figure BDA0003068723580000047
其中，
Figure BDA0003068723580000048
代表常规的n层卷积网络，通过
Figure BDA0003068723580000049
映射函数
Figure BDA00030687235800000410
得到y。
Figure BDA00030687235800000411
步骤3.3：采用一种基于焦点损失(Focal loss)的自适应损失函数训练拟合PSPNet网络模型，表示为：
L(σt)＝-(1-αt)(1-p*σt)γlog(σt)
Figure BDA00030687235800000412
其中，σt为类别标签；αt是权重因子，βt是与类别有关的阈值,σ是标签，t≤K，K为总类别数。
Figure BDA00030687235800000413
Figure BDA0003068723580000051
Figure BDA0003068723580000052
步骤3.4：根据土地覆盖遥感图像特点，提出三种评价指数来计算自适应损失中的βt，包括：植被指数βvegetation，水体指数βwaterbody和形态学指数βmorphology。其中Sw表示水体区域所包含的像素。Sr表示外围矩形的最小边框区域中包含的像素点数。
步骤3.5：根据步骤3.4的像素点分类结果，通过步骤3.3和步骤3.4调整αt,βt,可调整像素点对损失L的影响。
步骤3.6：将步骤2.3中特征映射featuremap{ym}和步骤3.2得到的输出特征映射featuremap{ys}进行连接(concate)组合和卷积上采样，得到初步预测分割图。
步骤4：采用一种全连接条件随机场(CRFs)进行数据后处理，结合原始影像(遥感图像)中所有像素之间的关系对步骤3.5中的分类结果图像(初步预测分割图)进行处理，通过计算输出一元势能概率图，优化分类结果图像中粗糙和不确定性的标记，修正细碎的错分区域，同时得到更细致的分割边界。
步骤4.1：图像中每个位置为(i,j,k)的像素点(Q,Mg,Mb)i,j,k对应一个类别标签
Figure BDA0003068723580000053
和观测值p，通过计算输出一元势能概率图。
Figure BDA0003068723580000054
Figure BDA0003068723580000055
Figure BDA0003068723580000056
其中，
Figure BDA0003068723580000057
为能量函数，其中
Figure BDA0003068723580000058
为一元势能函数，
Figure BDA0003068723580000059
为二元势能函数，其中的一元势能函数用于衡量当像素点(Q,Mg,Mb)i,j,k的观测值为p时，该像素点属于类别标签
Figure BDA00030687235800000510
的概率，来自卷积神经网络的后端输出。二元势能函数用于衡量两事件同时发生的概率
Figure BDA0003068723580000061
二元势能函数中的位置信息[i,j,k]和颜色信息由原始影像提供。
Figure BDA0003068723580000062
为标签兼容项，在标签不同时，限制能量的传导。w为权重参数，KG(pi,pj)为特征函数，表示为：
Figure BDA0003068723580000063
特征函数采用参数[θα,θβ,θγ]的核表征的形式表示了不同像素之间的“关联性”，第一项为表面核，第二项为平滑核。
步骤4.2：迭代最小化能量函数，能量函数越小时，预测的类别标签越准确，迭代至能量函数收敛，得到训练好的模型PSPNet。
步骤5：对待分类的遥感数据，通过训练好的模型PSPNet，得到最优一元势能对应的概率分布图，经过softmax函数运算得到的最终遥感数据土地覆盖分类图。
与现有技术相比，本发明的有益技术效果：
1、采用多尺度融合分割模块构造多尺度特征，分析遥感信号的全局与局部所含信息，为土地覆盖分类提供科学分析依据，提高语义分割方法对类别复杂物体辨识精度。
2、通过自适应损失算法，弥补样本稀疏类别不平衡造成的信息损失，自适应样本权重，鲁棒性强，短时间内进行图像语义分割快速实现遥感土地图像的分类，降低分类失误带来的社会危害。
3、采用预训练网络迁移的方法，通过ImageNet数据库丰富样本多样性，实现对不同类型雷达遥感图像的辨识分割，使网络在图像处理领域具有普适性和可移植性。
附图说明
图1为本发明实施例的一种基于PSPNet的遥感数据土地覆盖分类方法的流程框图；
图2为本发明实施例的自适应损失模块效果对比图；
其中，(a)为未加入自适应损失模块的分类结果图；(b)为加入自适应损失模块的分类结果图。
图3为本发明实施例的多尺度融合分割模块效果对比图；
其中，(a)为两个通道未加入多尺度融合分割模块的分类结果；(b)为加入多尺度融合分割模块的分类结果。
图4为本发明实施例的土地覆盖分类的PSPNet网络模型结构示意图。
图5为本发明实施例的测试样本的土地覆盖分类结果示意图。
图6为本发明实施例在测试样本中各模块提升的Kappa精度对比图；
其中，(1)基线：原始PSPNetRes50；(2)改进1:添加数据预处理；(3)改进2:增加自适应损失；(4)改进3：增加多尺度融合分割模块；(5)改进4：本发明的网络；(2)-(4)改进的有效性平均值分别为0.009、0.018、0.118。
具体实施方式
下面结合附图和具体实施实例，进一步阐述本发明，但不以任何方式限制本发明的范围。
本发明提供一种基于遥感数据土地覆盖分类网络模型PSPNet(Pyramid SceneParsing Network)的遥感数据土地覆盖分类方法。图4为本发明具体实施利提供的土地覆盖分类的PSPNet网络模型的结构示意。
如图1所示，本发明基于PSPNet的遥感数据土地覆盖分类方法主要分为5个步骤：对已知土地覆盖类型的遥感数据进行数据预处理，预处理之后的图像采用ResNet-Net50网络对特征提取，采用一种多尺度融合分割模块对像素点进行分类，采用一种全连接条件随机场(CRFs)进行数据后处理，输出概率分布图经过softmax函数运算得到的最终分割预测图。
本实例中：
原始数据训练集为8张遥感图像，验证集为2张遥感图像，尺寸为6800*7200，类别数K＝16；剪裁尺寸a＝520，缩放比例b＝[0.5-2]；空洞卷积率D＝[1,2,4,8]；过采样阈值d＝2％，翻转系数N＝1,2,3,4，区域平移1/3后，多采样4张小图像；
Figure BDA0003068723580000071
语义分割算法：U-Net PSP-Net DeepLabV3+DANet；基础模型：VGG-16ResNet-50 ResNet-101；计算机配置如下Ubuntu16.04,NVIDIA Titan-X(12GB)；深度学习框架：Keras(Tensorflow)，Pytorch；
具体实施如下：
一种基于PSPNet的遥感数据土地覆盖分类方法，具体步骤如下：
步骤1：对已知土地覆盖类型的遥感数据进行数据预处理，样本集共有nsample张图片样本，每张图片尺寸为m*n，所述遥感图片四通道包括：近红外(NIR)、红(R)、绿(G)、蓝(B)；
步骤1.1：采集到的第λ张原始的遥感图片像素点表示为(Mi,Mj,k)λ，i≤m，j≤n，k≤4。首先将图像分割为a*a像素的小块，然后将图像按比例b进行缩放。
步骤1.2：对图片进行过采样，如果类别小于阈值d，则将区域平移后再采样，之后进行N*90°翻转，加入高斯噪声，处理后小图片像素点表示为
Figure BDA0003068723580000072
步骤1.3：采用一种极大互信息系数(MIC)方法将NIR通道
Figure BDA0003068723580000073
和R通道
Figure BDA0003068723580000074
进行融合。
步骤1.3.1：在NIR通道和R通道内按照nir和r维度进行网格分割。在每一个网格区域Ωnir,r中计算互信息I(Ω；NIR,R)为：
Figure BDA0003068723580000081
其中，p(nir,r)是联合分布概率，p(nir)和p(r)是边缘概率分布计算如下，
Figure BDA0003068723580000082
其中，I(a∈Ωnir)为落在区域Ωnir内的采样点个数，I(a∈Ωr)为落在区域Ωr内的采样点个数，I(a∈Ωnir,r)为落在区域Ωnir,r内的采样点个数，I(a∈Ω)为样本集采样点总个数。
步骤1.3.2：在不同网格划分下NIR和R的最大互信息为Imax(Ωnir,r；NIR,R)，对其归一化可得
Figure BDA0003068723580000083
Figure BDA00030687235800000810
的取值区间为[0,1]。
步骤1.2.3：融合后的新通道
Figure BDA0003068723580000084
代替NIR通道
Figure BDA0003068723580000085
和R通道
Figure BDA0003068723580000086
组成样本
Figure BDA0003068723580000087
Figure BDA0003068723580000088
为预处理后图像尺寸。
步骤2：采用ResNet-50网络对预处理之后的图像
Figure BDA00030687235800000811
进行特征提取。
步骤2.1：在ImageNet数据库(包含133万张图片，1000类)上用残差网络、空洞卷积和降维卷积预训练网络NET0。
步骤2.2：迁移NET0，将步骤1.2.3中
Figure BDA0003068723580000089
个样本数据
Figure BDA00030687235800000812
送入NET0网络，通过全局自适应平均将输入的样本图像映射合并，分别得到特征映射。经过三次缩小特征图，一次maxpool，两次卷积conv，将输入特征映射的维数降低到1/Nlayer，得到featuremap{y}，其中Nlayer是层数。
步骤2.3：采用一种双线性插值对特征映射featuremap{y}进行扩展。featuremap{y}被上采样，插值为f(x,y)，其中f(x,y)表示改变的像素，OriImage[n,m]表示原始像素。μ，ν是阈值，经过卷积层输出结果featuremap{ym}。
f(x,y)＝(1-μ)×(1-ν)×OriImage[n,m]+μ×ν×OriImage[n+1,m+1]+(1-μ)×ν×OriImage[n,m+1]+μ×(1-ν)×OriImage[n+,m].
步骤3：采用一种多尺度融合分割模块，采用
Figure BDA0003068723580000091
层金字塔结构收集各层次信息，对
Figure BDA00030687235800000916
和featuremap{ym}进行语义分割，即对像素点
Figure BDA0003068723580000092
进行分类。
步骤3.1：在空洞卷积率D＝1下，提取代表全局特征featuremap{y0}。
Figure BDA0003068723580000093
其中
Figure BDA0003068723580000094
表示卷积运算符，
Figure BDA0003068723580000095
将输入特征卷积映射为具有滤波器大小k的扩展卷积
Figure BDA0003068723580000096
在扩张卷积中，一个核的大小k被空洞卷积率D放大到k+(k-1)(D-1)。
步骤3.2：在空洞卷积率D作用下，提取代表局部多尺度特征featuremap{ys}。
Figure BDA0003068723580000097
其中，
Figure BDA0003068723580000098
代表常规的n层卷积网络，通过
Figure BDA0003068723580000099
映射
Figure BDA00030687235800000910
得到ym。
Figure BDA00030687235800000911
步骤3.2：采用一种基于Focal loss的自适应损失函数训练拟合网络。
L(σt)＝-(1-αt)(1-p*σt)γlog(σt)
Figure BDA00030687235800000912
其中，αt是权重因子，βt是与类别有关的阈值,σ是标签，t≤K，K为总类别数。
Figure BDA00030687235800000913
Figure BDA00030687235800000914
Figure BDA00030687235800000915
步骤3.3：根据土地覆盖遥感图像特点，提出三种评价指数来计算自适应损失中的βt，植被指数βvegetation，水体指数βwaterbody和形态学指数βmorphology。其中Sw表示水体区域所包含的像素。Sr表示外围矩形的最小边框区域中包含的像素数。
步骤3.4：通过调整αt,βt,当像素点分类错误，(1-p*σt)值较高，损失没有较大变化；反之，当分类正确像素点对损失影响被削弱。
步骤3.5：将步骤2.3中特征映射featuremap{ym}和四个输出特征映射featuremap{ys}进行concate组合，以及卷积上采样得到初步预测分割图。
步骤4：采用一种全连接条件随机场(CRFs)进行数据后处理，结合原始影像中所有像素之间的关系对深度学习得到的分类结果进行处理，优化分类图像中粗糙和不确定性的标记，修正细碎的错分区域，同时得到更细致的分割边界。
步骤4.1：每个位置为(i,j,k)的像素点(Q,Mg,Mb)i,j,k对应一个类别标签
Figure BDA0003068723580000101
观测值p，通过计算输出一元势能概率图。
Figure BDA0003068723580000102
Figure BDA0003068723580000103
Figure BDA0003068723580000104
其中
Figure BDA0003068723580000105
为能量函数，前项为一元势能，后项为二元势能，其中的一元势函数用于衡量当像素点(Q,Mg,Mb)i,j,k的观测值为p时，该像素点属于类别标签
Figure BDA0003068723580000106
的概率,来自卷积神经网络网络的后端输出。二元势函数用于衡量两事件同时发生的概率
Figure BDA0003068723580000107
二元势能中的位置信息和颜色信息由原始影像提供。
Figure BDA0003068723580000108
为标签兼容项，w为权重参数，KG(pi,pj)为特征函数。
Figure BDA0003068723580000109
步骤4.2：通过迭代最小化能量函数，能量函数越小时，预测的类别标签越准确，迭代至能量函数收敛。
步骤5：得到最优一元势能得到的概率分布图，输出经过softmax函数运算得到的最终分割预测图。
仿真结果说明：
表1：本发明算法与其他语义分割算法仿真结果对比
Figure BDA00030687235800001010
表1反映了本发明算法在本实例样本分类结果的Kappa的精度。其中本专利算法结果精度最高，较传统方法有0.117的精度提升。
图2、图3、图5，图6分别反映了本发明算法以及各模块在测试样本的分割效果与精度提升，其中多尺度融合分割模块提升精度0.018，自适应损失模块提升精度0.118。以上实验结果验证了算法分割能力和鲁棒性较好，能够实现快速遥感数据土地覆盖分类。
需要注意的是，公布实施例的目的在于帮助进一步理解本发明，但是本领域的技术人员可以理解：在不脱离本发明及所附权利要求的范围内，各种替换和修改都是可能的。

Claims (10)

1.一种基于PSPNet的遥感数据土地覆盖分类方法，包括如下步骤：
步骤1：采集土地覆盖类别的遥感图像数据；对已知土地覆盖类型的遥感图像数据样本集进行数据预处理，得到预处理之后的图像(Q,Mg,Mb)，Q为近红外通道与红通道融合后像素点，Mg为绿通道像素点，Mb为蓝通道像素点；遥感图像数据样本集共有nsample张图片样本，每张遥感图像尺寸为m*n，m为横向所包含像素点数量，n为纵向所包含像素点数量；包括：
步骤1.1：将采集到的第λ张原始的遥感图片像素点表示为(Mi,Mj,k)λ，i≤m，Mi表示横向第i个像素值，j≤n，Mj表示纵向第j个像素值，k为通道数；首先将图像分割为包含a*a像素的小块，a为横纵最大像素数量；然后将图像按比例b进行缩放；
步骤1.2：对图片进行过采样；
如果该稀疏类别样本数量小于总样本数量百分比阈值d，则将该稀疏类别区域进行图像平移后再采样，即过采样；之后进行N*90°翻转，N＝{1,2,3}，加入高斯噪声，处理后小图片像素点表示为
Figure FDA0003068723570000011
Figure FDA0003068723570000012
为处理后小图片横向所包含像素点数量，
Figure FDA0003068723570000013
为处理后小图片纵向所包含像素点数量；
步骤1.3：采用极大互信息系数MIC方法，将NIR通道的像素点
Figure FDA0003068723570000014
和R通道的像素点
Figure FDA0003068723570000015
进行高斯融合，得到预处理之后的图像，记为样本图像
Figure FDA0003068723570000016
构建遥感数据土地覆盖分类网络模型PSPNet并训练模型PSPNet，包括步骤2～步骤4；
步骤2：采用残差网络对预处理之后的图像
Figure FDA0003068723570000017
进行特征提取；包括：
步骤2.1：利用图像数据集预训练残差网络，将得到的训练好的网络记为NET0；
步骤2.2：迁移NET0，将步骤1.3中得到的样本图像
Figure FDA0003068723570000018
送入NET0网络，通过全局自适应平均方法，将输入的样本图像映射合并，得到特征映射featuremap{y}；样本图像的个数为
Figure FDA0003068723570000019
步骤2.3：采用双线性插值方法对特征映射featuremap{y}进行扩展：将featuremap{y}上采样，插值为f(x,y)；再经过卷积层输出特征映射结果featuremap{ym}；
步骤3：采用多尺度融合分割，利用金字塔结构收集各层次信息，对
Figure FDA00030687235700000110
和featuremap{ym}进行语义分割，得到初步预测分割图，即对像素点
Figure FDA0003068723570000021
进行分类；包括：
步骤3.1：在空洞卷积率D＝1下，提取代表全局的特征映射featuremap{y0}；
Figure FDA0003068723570000022
其中，
Figure FDA0003068723570000023
表示卷积运算符，
Figure FDA0003068723570000024
将输入特征卷积映射为具有滤波器大小ker的扩展卷积
Figure FDA0003068723570000025
在扩张卷积中，一个核的大小ker被空洞卷积率D放大到ker+(ker-1)(D-1)；
步骤3.2：在空洞卷积率D作用下，提取图像局部多尺度的特征映射featuremap{ys}；表示为：
Figure FDA0003068723570000026
其中，
Figure FDA0003068723570000027
代表常规的n层卷积网络，通过
Figure FDA0003068723570000028
Figure FDA0003068723570000029
映射函数
Figure FDA00030687235700000210
得到y；
Figure FDA00030687235700000211
步骤3.3：采用基于焦点损失的自适应损失函数训练拟合PSPNet网络模型，表示为：
L(σt)＝-(1-αt)(1-p*σt)γlog(σt)
Figure FDA00030687235700000212
其中，σt为类别标签；αt是权重因子，βt是与类别有关的阈值,σ是标签，t≤K，K为总类别数；
步骤3.4：采用评价指数计算自适应损失中的βt；βt包括：植被指数βvegetation，水体指数βwaterbody和形态学指数βmorphology；
步骤3.5：根据步骤3.4的像素点分类结果，通过步骤3.3和步骤3.4调整αt,βt,可调整像素点对损失L的影响；
步骤3.6：将特征映射featuremap{ym}和输出特征映射featuremap{ys}进行连接组合和卷积上采样，得到初步预测分割图，即为分类结果图像；
步骤4：进行数据后处理，对步骤3.5中的分类结果图像进行处理，通过计算输出一元势能对应的概率分布图；再优化分类结果图像中粗糙和不确定性的标记，修正细碎的错分区域，得到分割边界；
步骤5：对待分类的遥感数据，通过训练好的模型PSPNet，得到最优一元势能对应的概率分布图，经过softmax函数运算得到的最终遥感数据土地覆盖分类图。
2.如权利要求1所述基于PSPNet的遥感数据土地覆盖分类方法，其特征是，遥感图像的四通道包括：近红外NIR、红R、绿G、蓝B。
3.如权利要求1所述基于PSPNet的遥感数据土地覆盖分类方法，其特征是，步骤1.3具体包括如下步骤：
步骤1.3.1：在NIR通道和R通道内分别按照维度nir和r进行网格分割，在每一个网格区域Ωnir,r中计算互信息I(Ωnir，r；NIR，R)，表示为：
Figure FDA0003068723570000031
其中，p(nir,r)是联合分布概率，p(nir)和p(r)是边缘概率分布；计算如下：
Figure FDA0003068723570000032
其中，I(a∈Ωnir)为落在区域Ωnir内的采样点个数，I(a∈Ωr)为落在区域Ωr内的采样点个数，I(a∈Ωnir,r)为落在区域Ωnir,r内的采样点个数，I(a∈Ω)为样本集采样点总个数；
步骤1.3.2：在不同网格划分下NIR和R的最大互信息为Imax(Ωnir,r；NIR,R)，进行归一化得
Figure FDA0003068723570000033
Figure FDA0003068723570000034
的取值区间为[0,1]；
步骤1.3.3：将融合后的新通道
Figure FDA0003068723570000035
代替NIR通道
Figure FDA0003068723570000036
和R通道
Figure FDA0003068723570000037
组成样本
Figure FDA0003068723570000038
即为预处理之后的图像，称为样本图像
Figure FDA0003068723570000039
4.如权利要求1所述基于PSPNet的遥感数据土地覆盖分类方法，其特征是，步骤2.1具体利用图像数据集ImageNet预训练残差网络；ImageNet包含133万张图片，1000类上用残差网络、空洞卷积和降维卷积预训练残差网络，得到训练好的网络记为NET0。
5.如权利要求1所述基于PSPNet的遥感数据土地覆盖分类方法，其特征是，残差网络采用ResNet-50。
6.如权利要求1所述基于PSPNet的遥感数据土地覆盖分类方法，其特征是，步骤2.2中，具体经过三次缩小特征图，一次最大池化maxpool，两次卷积conv，将输入特征映射的维数降低到1/Nlayer，得到特征映射featuremap{y}，Nlayer是层数。
7.如权利要求1所述基于PSPNet的遥感数据土地覆盖分类方法，其特征是，步骤2.3：采用双线性插值方法对特征映射featuremap{y}进行扩展，扩展过程表示为：
f(x,y)＝(1-μ)×(1-ν)×OriImage[n,m]+μ×ν×OriImage[n+1,m+1]+(1-μ)×ν×OriImage[n,m+1]+μ×(1-ν)×OriImage[n+,m].
其中f(x,y)表示改变的像素，OriImage[n,m]表示原始像素。μ，ν是阈值。
8.如权利要求1所述基于PSPNet的遥感数据土地覆盖分类方法，其特征是，步骤3.4中，植被指数βvegetation，水体指数βwaterbody和形态学指数βmorphology分别表示为：
Figure FDA0003068723570000041
Figure FDA0003068723570000042
Figure FDA0003068723570000043
其中，Sw表示水体区域所包含的像素；Sr表示外围矩形的最小边框区域中包含的像素数。
9.如权利要求1所述基于PSPNet的遥感数据土地覆盖分类方法，其特征是，步骤4采用一种全连接条件随机场CRFs进行数据后处理，包括如下步骤：
步骤4.1：图像中每个位置为(i,j,k)的像素点(Q,Mg,Mb)i,j,k对应一个类别标签
Figure FDA0003068723570000044
和观测值p，通过计算输出一元势能概率图，表示为：
Figure FDA0003068723570000045
Figure FDA0003068723570000046
Figure FDA0003068723570000051
其中，
Figure FDA0003068723570000052
为能量函数，
Figure FDA0003068723570000053
为一元势能函数，
Figure FDA0003068723570000054
为二元势能函数；一元势能函数用于衡量当像素点(Q,Mg,Mb)i,j,k的观测值为p时，像素点属于类别标签
Figure FDA0003068723570000055
的概率，来自卷积神经网络的后端输出；二元势能函数用于衡量两事件同时发生的概率
Figure FDA0003068723570000056
Figure FDA0003068723570000057
为标签兼容项，用于在标签不同时，限制能量的传导；w为权重参数；KG(fi,fj)为特征函数；步骤4.2：迭代最小化能量函数，能量函数越小时，预测的类别标签越准确，迭代至能量函数收敛。
10.如权利要求9所述基于PSPNet的遥感数据土地覆盖分类方法，其特征是，特征函数KG(pi,pj)表示为：
Figure FDA0003068723570000058
特征函数采用参数[θα,θβ,θγ]的核表征的形式表示了不同像素之间的关联性，第一项为表面核，第二项为平滑核。
CN202110539555.3A 2021-05-17 2021-05-17 一种基于PSPNet的遥感数据土地覆盖分类方法 Active CN113312993B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110539555.3A CN113312993B (zh) 2021-05-17 2021-05-17 一种基于PSPNet的遥感数据土地覆盖分类方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110539555.3A CN113312993B (zh) 2021-05-17 2021-05-17 一种基于PSPNet的遥感数据土地覆盖分类方法

Publications (2)

Publication Number Publication Date
CN113312993A true CN113312993A (zh) 2021-08-27
CN113312993B CN113312993B (zh) 2022-07-26

Family

ID=77373739

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110539555.3A Active CN113312993B (zh) 2021-05-17 2021-05-17 一种基于PSPNet的遥感数据土地覆盖分类方法

Country Status (1)

Country Link
CN (1) CN113312993B (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113963177A (zh) * 2021-11-11 2022-01-21 电子科技大学 一种基于cnn的建筑物掩膜轮廓矢量化的方法
CN115527123A (zh) * 2022-10-21 2022-12-27 河北省科学院地理科学研究所 一种基于多源特征融合的土地覆被遥感监测方法
CN116129278A (zh) * 2023-04-10 2023-05-16 牧马人(山东)勘察测绘集团有限公司 一种基于遥感影像的土地利用分类识别系统
CN117036715A (zh) * 2023-10-09 2023-11-10 南京北斗创新应用科技研究院有限公司 一种基于卷积神经网络的形变区边界自动提取方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109636905A (zh) * 2018-12-07 2019-04-16 东北大学 基于深度卷积神经网络的环境语义建图方法
CN110781775A (zh) * 2019-10-10 2020-02-11 武汉大学 一种多尺度特征支持的遥感影像水体信息精确分割方法
US20210035304A1 (en) * 2018-04-10 2021-02-04 Tencent Technology (Shenzhen) Company Limited Training method for image semantic segmentation model and server

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20210035304A1 (en) * 2018-04-10 2021-02-04 Tencent Technology (Shenzhen) Company Limited Training method for image semantic segmentation model and server
CN109636905A (zh) * 2018-12-07 2019-04-16 东北大学 基于深度卷积神经网络的环境语义建图方法
CN110781775A (zh) * 2019-10-10 2020-02-11 武汉大学 一种多尺度特征支持的遥感影像水体信息精确分割方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
邵光辉 等: "《具有SE 结构的改进的PSPNet用于紫菜养殖区识别》", 《软件》 *

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113963177A (zh) * 2021-11-11 2022-01-21 电子科技大学 一种基于cnn的建筑物掩膜轮廓矢量化的方法
CN115527123A (zh) * 2022-10-21 2022-12-27 河北省科学院地理科学研究所 一种基于多源特征融合的土地覆被遥感监测方法
CN116129278A (zh) * 2023-04-10 2023-05-16 牧马人(山东)勘察测绘集团有限公司 一种基于遥感影像的土地利用分类识别系统
CN117036715A (zh) * 2023-10-09 2023-11-10 南京北斗创新应用科技研究院有限公司 一种基于卷积神经网络的形变区边界自动提取方法

Also Published As

Publication number Publication date
CN113312993B (zh) 2022-07-26

Similar Documents

Publication Publication Date Title
CN113312993B (zh) 一种基于PSPNet的遥感数据土地覆盖分类方法
Guo et al. CDnetV2: CNN-based cloud detection for remote sensing imagery with cloud-snow coexistence
CN110427836B (zh) 一种基于多尺度优化的高分辨率遥感影像水体提取方法
CN103679675B (zh) 一种面向水质定量遥感应用的遥感影像融合方法
CN111914611B (zh) 城市绿地高分遥感监测方法与系统
CN111598098B (zh) 一种基于全卷积神经网络的水尺水位线检测及有效性识别方法
CN115170979B (zh) 一种多源数据融合的矿区精细用地分类方法
CN109741340B (zh) 基于fcn-aspp网络的冰盖雷达图像冰层精细化分割方法
CN109635726B (zh) 一种基于对称式深度网络结合多尺度池化的滑坡识别方法
CN112950780B (zh) 一种基于遥感影像的网络地图智能生成方法及系统
CN112561876A (zh) 基于图像的池塘和水库的水质检测方法及系统
CN113919226B (zh) 基于权重的采矿植被生态累积效应扰动范围识别方法
CN114898212B (zh) 一种高分辨率遥感图像多地物变化信息提取方法
Feng et al. Embranchment cnn based local climate zone classification using sar and multispectral remote sensing data
CN112419197A (zh) 一种通用的单、多时相sar影像相干斑噪声去除方法
CN112949407A (zh) 一种基于深度学习和点集优化的遥感影像建筑物矢量化方法
CN107766810B (zh) 一种云、影检测方法
CN109961105A (zh) 一种基于多任务深度学习的高分辨率遥感影像分类方法
CN114943902A (zh) 基于多尺度特征感知网络的城市植被无人机遥感分类方法
CN116524189A (zh) 一种基于编解码索引化边缘表征的高分辨率遥感图像语义分割方法
CN113642475B (zh) 基于卷积神经网络模型的大西洋飓风强度估算方法
CN113705340A (zh) 一种基于雷达遥感数据的深度学习变化检测方法
CN116844053A (zh) 一种小麦种植区域识别方法、系统、电子设备及存储介质
Ruiz-Lendínez et al. Deep learning methods applied to digital elevation models: state of the art
CN112446256A (zh) 一种基于深度isa数据融合的植被类型识别方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant