CN111259828A - 基于高分辨率遥感图像多特征的识别方法 - Google Patents

基于高分辨率遥感图像多特征的识别方法 Download PDF

Info

Publication number
CN111259828A
CN111259828A CN202010062502.2A CN202010062502A CN111259828A CN 111259828 A CN111259828 A CN 111259828A CN 202010062502 A CN202010062502 A CN 202010062502A CN 111259828 A CN111259828 A CN 111259828A
Authority
CN
China
Prior art keywords
remote sensing
sensing image
feature
data
features
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010062502.2A
Other languages
English (en)
Other versions
CN111259828B (zh
Inventor
赵生银
安如
李学锡
蒋彤
胡宜娜
黄理军
王本林
朱美如
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Jiangsu Yitu Geography Information Technology Co ltd
Hohai University HHU
Original Assignee
Jiangsu Yitu Geography Information Technology Co ltd
Hohai University HHU
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Jiangsu Yitu Geography Information Technology Co ltd, Hohai University HHU filed Critical Jiangsu Yitu Geography Information Technology Co ltd
Priority to CN202010062502.2A priority Critical patent/CN111259828B/zh
Publication of CN111259828A publication Critical patent/CN111259828A/zh
Application granted granted Critical
Publication of CN111259828B publication Critical patent/CN111259828B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/10Terrestrial scenes
    • G06V20/13Satellite images
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/24Classification techniques
    • G06F18/241Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/24Classification techniques
    • G06F18/241Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2415Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/045Combinations of networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/047Probabilistic or stochastic networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods

Abstract

基于高分辨率遥感图像多特征的识别方法。涉及遥感图像处理领域,具体涉及一种基于高分辨率遥感图像多特征的识别方法。提出了一种将遥感多特征数据作为神经网络的输入源,并构建提取、融合遥感图像多尺度特征信息,添加辅助损失函数来提高模型的准确性,提高遥感图像识别精度的基于高分辨率遥感图像多特征的识别方法。本发明可以较好地挖掘遥感图像信息,来提高深度卷积网络对遥感图像的识别能力;通过设置辅助损失函数,来辅助本发明网络的训练,来提高网络的识别精度;网络结构可以提取、融合遥感图像的不同尺度信息,并能筛选有利于遥感图像识别的特征信息,提高遥感图像的识别精度;融合方法相比较,遥感图像识别总体精度可以达到1.4%。

Description

基于高分辨率遥感图像多特征的识别方法
技术领域
本发明涉及遥感图像处理领域,具体涉及一种基于高分辨率遥感图像多特征的识别方法。
背景技术
遥感图像识别是遥感研究领域中的一个基本问题,通过对地物的光谱、纹理等特征信息,对不同的地物进行识别,实现了对图像中的每一个像元进行真实地物标签分类的过程。随着遥感技术的不断发展,高分辨率遥感图像在各个领域使用得越来越频繁,对遥感图像分类技术的要求越来越高。但是随着遥感图像分辨率的提高,不同地物类型的光谱有相互重叠部分,“同物异谱、异物同谱”的现象比较严重,严重制约了高分辨率遥感图像的解译精度。虽然高分辨率遥感图像可以提供丰富的地物信息,但是数据量巨大,传统的遥感处理技术没有较好的充分挖掘其地物细节信息,产生了“数据丰富,信息贫乏”的现象。因此研究一种更加高效、高精度的高分辨率遥感图像分类方法迫在眉睫。基于深度学习技术的遥感图像识别核心思想就是对目标进行像素级别的分割,对组成不同目标物的像素进行属性的颜色标注。遥感领域的图像识别也是采用这种思想,因此基于深度学习技术的遥感图像识别技术是具有一定的研究价值。
高分辨率遥感数据与DSM数据、NDVI数据等对不同地物类型具有不同的区别能力。其中高分辨率遥感数据可以较好地表达地物的空间关系及光谱信息;DSM数据可以对高度信息敏感,对于建筑物、树木等提供辅助的识别信息;NDVI数据可以有效区分植被地物与非植被地物。因此,不同的特征数据在一定程度上可以有助于提取特定的地物信息,所以DSM和NDVI遥感数据对遥感图像识别精度的提高具有一定的帮助作用。
发明内容
本发明针对以上问题,提出了一种将遥感多特征数据作为神经网络的输入源,并构建提取、融合遥感图像多尺度特征信息,添加辅助损失函数来提高模型的准确性,提高遥感图像识别精度的基于高分辨率遥感图像多特征的识别方法。
本发明的技术方案是:包含以下数据基础:原始高分辨率遥感图像、DSM数据和地表真实标签数据;按以下步骤进行识别:
1)、对所述原始高分辨率遥感图像进行预处理;通过波段运算来获得NDVI数据的多特征遥感图像;构建包括所述原始高分辨率遥感图像、DSM数据和NDVI数据的六通道遥感图像做为全卷积网络的多特征输入源;
2)、对步骤1)得到的所述多特征遥感图像、及所述多特征遥感图像对应的所述地表真实标签数据进行数据增强,再随机裁剪构建训练样本集和测试样本集;
3)、构建多特征全卷积网络模型来提取、融合所述多特征输入源;利用深度残差网络ResNet50提取作为浅层特征的所述多特征输入源,得遥感图像识别结果一:将浅层特征经过上采样输出的一个遥感图像识别结果;和遥感图像识别结果二:利用金字塔池化结构提取ResNet50网络结构特征图的不同尺度的特征信息,将不同尺度特征信息进行融合来获取遥感图像识别结果;
4)、将步骤2)获得的训练样本集和测试样本集来训练所述多特征全卷积网络模型,通过调整参数,得最优遥感图像识别模型;
5)、将待预测图像输入所述最优遥感图像识别模型,得到遥感图像识别结果,并将所述遥感图像识别结果用全连接条件随机场进行后处理,纠正错分现象,提高图像的识别精度。
步骤1)预处理的具体过程为:
对原始高分辨率遥感图像近红外波段和红波段进行NDVI指数计算,计算公式如下:
Figure BDA0002374938360000021
其中,NIR为遥感图像的近红外波段,Red为遥感图像的红波段,所述近红外波段和红波段根据NDVI的计算公式进行波段运算操作,提取遥感图像的NDVI特征图像,NDVI数据值得范围在[-1,1];
然后进行波段叠加,将遥感原始图像、NDVI数据和DSM数据构建为一个包含六个特征的高分辨率遥感数据。
步骤2)具体为:对所述多特征遥感图像及其对应的地表真实标签进行旋转、翻转等数据变换,来提高网络模型的的泛化能力;然后将所述多特征遥感图像及其对应的地表真实标签随机裁剪为256×256像素大小的图片,其中训练数据集为20000张遥感图像和对应的标签图像,测试集5000张遥感图像和对应的标签图像。
步骤3)具体为:
在特征提取阶段,构建ResNet50结构来提取遥感原始波段图像特征和DSM数据、NDVI数据的浅层特征;
构建SENet结构可以提取对当前任务有用的特征信息,抑制特征信息量小的特征图;
将ResNet50网络提取的浅层特征和SENet结构提取的特征进行求和操作;最后上采样输出遥感图像识别结果一;
构建金字塔池化结构来提取ResNet50网络浅层特征的多尺度特征信息;然后ResNet50网络浅层特征和金字塔池化结构多尺度特征进行通道叠加操作,利用SENet结构来提取信息量大的特征,将金字塔池化结构的多尺度特征和SENet结构处理的特征进行求和操作,上采样输出遥感图像识别结果二。
步骤4)训练后的最优遥感图像识别模型,其中训练的参数具体为:
训练的迭代次数(Epochs)为200,一次训练的图片数量(Batch_Size)为7,多特征全卷积网络模型的浅层特征识别结果和多尺度特征识别结果的损失函数都采用多分类损失函数(categorical_crossentropy),其中浅层特征遥感图像识别结果的损失权重为0.1,最终遥感图像识别结果的损失权重为0.9。采用方向传播方法和Adam优化算法训练模型,其中Adam优化函数中学习率(Learning_Rate)为0.0005,一阶矩估计的指数衰减率(beta_1)为0.9,二阶矩估计的指数衰减率(beta_2)为0.999,直到网络收敛为止,并保存训练的最优模型参数。
步骤5)中遥感图像的识别结果用全连接条件随机场具体为:
假设每张遥感图像的每个像素i的属性值和地表真实标签类别值分别为xi和yi,将每个像素点作为条件随机场的节点,各个像素之间的联系作为条件随机场的边,通过每个像素的xi来预测该像素对应的类别标签值yi。根据Hammersley-Clifford定理:一个无向图模型的概率可以表示为定义在图上所有最大团上的势函数的乘积,所以标签的后验概率表示为:
Figure BDA0002374938360000031
其中,x代表遥感图像的属性值;y代表地表真实标签类别值;Z(x,θ)为归一化函数;w为条件随机场的节点集合;Ni为节点i的相邻区域;ψi代表单位置势函数,ψij代表双位置势函数。全连接条件随机场的二元势函数描述了所有像素之间的关系,使相似的像素点分配相同类别标签,图像颜色和像素间相对距离差异程度较大的像素点分配不同类别标签,有效改善了图像分割边界不规整问题。
本发明采用的技术方案与现有的技术相比,具有以下优点:
1、本发明在传统的原始高分辨率图像的基础上,添加了DSM和NDVI数据,构建遥感图像多特征输入源,可以较好地挖掘遥感图像信息,来提高深度卷积网络对遥感图像的识别能力。
2、本发明构建的网络结构有2个遥感图像识别输出,其中浅层网络特征的识别输出的损失函数的权重为0.1,最终输出结果的损失函数的权重为0.9,通过设置辅助损失函数,来辅助本发明网络的训练,来提高网络的识别精度。
3、本发明的网络结构可以提取、融合遥感图像的不同尺度信息,并能筛选有利于遥感图像识别的特征信息,提高遥感图像的识别精度;相较于传统的遥感特征提取、识别方法,本发明方法省时省力且提高了精度。
4、与直接将遥感原始波段作为神经网络的输入源相比,本发明将遥感数据多特征作为输入源,然后进行多尺度特征提取、融合方法相比较,遥感图像识别总体精度可以达到1.4%。
附图说明
图1是本发明的遥感多特征数据识别技术流程图;
图2-1是原始遥感图像数据;
图2-2是NDVI遥感数据;
图2-3是DSM遥感数据;
图3是本发明网络模型组合详细结构;
图4是本发明的ResNet50提取浅层特征网络详细结构;
图5是本发明卷积单元(CONVUNIT)网络组合详细结构;
图6是本发明ResNet的IdentityBlock组合详细结构;
图7是本发明ResNet的CONVBLOCK组合详细结构;
图8是本发明基于ResNet思想的SENet网络组合详细结构;
图9是本发明金字塔结构网络组合详细结构;
图10是本发明地表真实标签数据;
图11-1是本发明遥感图像(红、绿、蓝)三个波段在模型下识别结果;
图11-2是本发明遥感图像多特征的网络模型浅层特征识别结果;
图11-3是本发明遥感图像多特征的网络模型多特征识别结果。
具体实施方式
下面结合附图1至11-3详细表述本发明,包含以下数据基础:原始高分辨率遥感图像(红、蓝、绿和近红外四个波段)、DSM(数字表面模型)数据和地表真实标签数据;按以下步骤进行识别:
1)、对所述原始高分辨率(空间分辨率为0.05×0.05米,图像大小为6000×6000像素)遥感图像进行预处理;通过波段运算来获得NDVI数据的多特征遥感图像;构建包括所述原始高分辨率遥感图像(红、蓝、绿和近红外四个波段)、DSM(数字表面模型)数据和NDVI数据的六通道遥感图像做为全卷积网络的多特征输入源;
2)、对步骤1)得到的所述多特征遥感图像、及所述多特征遥感图像对应的所述地表真实标签数据(如图10)进行数据增强,再随机裁剪构建训练样本集和测试样本集;
3)、构建多特征全卷积网络模型来提取、融合所述多特征输入源;利用深度残差网络ResNet50提取作为浅层特征的所述多特征输入源,得遥感图像识别结果一:将浅层特征经过上采样输出的一个遥感图像识别结果;和遥感图像识别结果二:利用金字塔池化结构提取ResNet50网络结构特征图的不同尺度的特征信息,将不同尺度特征信息进行融合来获取遥感图像识别结果;
4)、将步骤2)获得的训练样本集和测试样本集来训练所述多特征全卷积网络模型,通过调整参数,得最优遥感图像识别模型;
5)、将待预测图像输入所述最优遥感图像识别模型,得到遥感图像识别结果,并将所述遥感图像识别结果用全连接条件随机场进行后处理,纠正错分现象,提高图像的识别精度;具体如下:
5.1)将测试图像(6000×6000像素)输入模型进行预测,采用滑动窗口的方法来保证相邻的图像块间具有重叠区域,每次预测256×256像素的遥感图像,滑动步长为128,然后保留预测图像中的部分结果,忽略边缘结果,依次拼接。实验发现这种方式可以有效减少拼接痕迹,提高预测图像的精度。
5.2)将预测的遥感图像的识别结果和原始遥感图像利用全连接条件随机场进行优化,纠正错分现象,提高遥感图像识别精度。
步骤1)预处理的具体过程为:
对原始高分辨率遥感图像近红外波段和红波段进行NDVI指数计算,计算公式如下:
Figure BDA0002374938360000051
其中,NIR为遥感图像的近红外波段,Red为遥感图像的红波段,所述近红外波段和红波段根据NDVI的计算公式进行波段运算操作,提取遥感图像的NDVI特征图像,NDVI数据值得范围在[-1,1];
然后进行波段叠加,将遥感原始数据、NDVI数据和DSM数据构建为一个包含六个特征的高分辨率遥感数据。
步骤2)具体为:对所述多特征遥感图像及其对应的地表真实标签进行旋转、翻转等数据变换,来提高网络模型的的泛化能力;然后将所述多特征遥感图像及其对应的地表真实标签随机裁剪为256×256像素大小的图片,其中训练数据集为20000张遥感图像和对应的标签图像,测试集5000张遥感图像和对应的标签图像;在数据变换之前,要首先对遥感图像及其对应的地表标签图像的RGB值转化为以灰度值的类别标签(0,1,2,3,4,5)的灰度图像。
步骤3)具体为,如图3所示:
3.1)在特征提取阶段,构建ResNet50结构来提取遥感原始波段图像(红、蓝、绿和近红外通道)特征和DSM(数字表面模型)数据、NDVI数据的六个特征遥感数据(256×256像素大小)浅层特征;如图4所示,具体如下:
3.1.1)采用卷积单元和最大池化层组合(CONVUNIT+MAXPOOL)对六个特征遥感数据进行特征提取,获得的特征图大小(长,宽,通道数)为(128,128,64);其中卷积单元(CONVUNIT)采用卷积层(CONV2D)、批标准化层(BatchNorm)和激活函数层(Relu)依次组成,如图5所示;然后通过最大池化层(MAXPOOL)来降低图像的分辨率;
3.1.2)ResNet50残差网络的残差结构包含有2个基本结构,一个是标识块(IdentityBlock,IDBlock),其输入和输出特征的通道数量一致,可以进行多个串联操作,如图6所示。首先将输入的特征数据进行2个卷积单元(CONVUNIT)操作,然后分别进行卷积层(CONV2D)、批标准化层(BatchNorm)操作得到输出特征数据,将输出的特征数据和输入的特征数据进行求和操作,最后进行激活函数层(Relu)操作;另外一个是卷积块(CONVBLOCK),其输入和输出特征的通道数量不一致,通过1×1的卷积核改变输出的通道数,才可以进行多个串联操作,如图7所示。首先将输入的特征数据进行2个卷积单元(CONVUNIT)操作,然后分别进行卷积层(CONV2D)、批标准化层(BatchNorm)操作得到输出特征数据,由于输入特征数据和输出的卷积特征数据不一致,利用卷积层(CONV2D)、批标准化层(BatchNorm)操作组合改变输入特征的通道数,然后将输出的特征数据和输入的特征数据进行求和操作,最后进行激活函数层(Relu)操作;
3.1.3)第一个残差结构采用1个卷积块(CONVBLOCK),2个标识块(IDBlock)提取的特征图大小(长,宽,通道数)为(64,64,256);
第二个残差结构采用1个卷积块(CONVBLOCK),3个标识块(IDBlock)提取的特征图大小(长,宽,通道数)为(64,64,512);
第三个残差结构采用1个卷积块(CONVBLOCK),5个标识块(IDBlock)提取的特征图大小(长,宽,通道数)为(32,32,1024);
第四个残差结构采用1个卷积块(CONVBLOCK),2个标识块(IDBlock)提取的特征图大小(长,宽,通道数)为(32,32,2048)。
3.2)构建SENet结构可以提取对当前任务有用的特征信息,抑制特征信息量小的特征图即利用SENet结构提取ResNet50残差网络浅层特征中信息量大的特征;如图8所示,将输入图像特征(InputTensor)进行全局池化操作(GlobalPool),全局池化操作可以选出更有分辨力的特征,然后分别进行全卷积(FC)、激活函数(Relu)、全卷积(FC)和激活函数(Sigmoid)操作,得到输入图像特征的每个权重大小,然后与输入图像特征数据相乘操作,获取输入图像特征信息量大的图像特征,最后与输入图像数据求和操作,求和操作使得SENet结构有着类似于残差网络的结构思想,最后可以得到SENet结构提取的特征。
3.3)将ResNet50网络提取的浅层特征和SENet结构提取的特征进行求和操作;如图3所示,利用1×1的卷积核(CONYUNIT)上采样(UPSampling)和softmax函数输出(OutPut)遥感图像预测结果,其中该输出的损失函数的权重为0.1,来辅助优化网络的训练,即得到遥感图像识别结果一;
3.4)构建金字塔池化结构来提取ResNet50网络浅层特征的多尺度特征信息,如图9所示,具体如下:
3.4.1)使用256个1×1的卷积单元(CONVUNIT)改变输出的通道数为256,然后使用空洞率(dila=2)为2卷积核来扩大感受野,利用Dropout(中文解释)为0.1的操作获得第一个尺度为(32,32,256)的特征图;
3.4.2)使用池化大小为2的平均池化(AveragePool)操作缩小特征图的尺寸到(16,16),然后使用256个1×1的卷积单元(CONVUNIT)改变输出的通道数为256,利用Dropout为0.1和2倍上采样(UPSampling)操作获得第二个尺度为(32,32,256)的特征图;
3.4.3使用池化大小为4的平均池化(AveragePool)操作缩小特征图的尺寸到(8,8),然后使用256个1×1的卷积单元(CONVUNIT)改变输出的通道数为256,利用Dropout为0.1和,4倍上采样(UPSampling)操作获得第三个尺度为(32,32,256)的特征图;
3.4.4)使用池化大小为8的平均池化(AveragePool)操作缩小特征图的尺寸到(4,4),然后使用256个1×1的卷积单元(CONVUNIT)改变输出的通道数为256,利用Dropout为0.1和8倍上采样(UPSampling)操作获得第四个尺度为(32,32,256)的特征图;
3.4.5)使用256个1×1的卷积单元(CONVUNIT)改变输出的通道数为256,然后使用2个连续空洞率(dila=2)为2的3×3卷积核来扩大感受野,利用Dropout为0.1的操作获得第五个尺度为(32,32,256)的特征图;
然后将ResNet50网络浅层特征和得到的金字塔池化结构多个尺度的特征图进行通道叠加操作,叠加后特征图大小为(32,32,3328),实现了遥感特征数据不同尺度融合目的;
3.5)利用SENet结构来提取金字塔池化结构中多个尺度特征中信息量大的特征,然后将金字塔池化结构的多尺度特征和SENet结构处理后的特征进行求和操作,利用6个1×1的卷积核(CONVUNIT)将特征图大小变换为(32,32,6),然后使用8倍上采样(UPSampling)和softmax激活函数获得遥感图像每一个像素对应的类别,得出(OutPut)遥感图像识别结果,结果其中该输出结果损失函数的损失权重为0.9,即得到遥感图像识别结果二。
步骤4)训练后的最优遥感图像识别模型为:
在训练阶段,将预处理好的遥感训练样本集和验证样本集作为输入源,对本发明构建的遥感图像识别模型进行训练、学习,得到预测概率分布图,利用交叉熵函数计算预测图与真实标签的误差值,使用Adam优化函数不断减小误差值,不断迭代更新网络的参数来获得、保存最优的模型。
其中训练参数具体为:
训练的迭代次数(Epochs)为200,一次训练的图片数量(Batch_Size)为7,多特征全卷积网络模型的浅层特征识别结果和多尺度特征识别结果的损失函数都采用多分类损失函数(categorical_crossentropy),其中浅层特征遥感图像识别结果的损失权重为0.1,最终遥感图像识别结果的损失权重为0.9。采用方向传播方法和Adam优化算法训练模型,其中Adam优化函数中学习率(Learning_Rate)为0.0005,一阶矩估计的指数衰减率(beta_1)为0.9,二阶矩估计的指数衰减率(beta_2)为0.999,直到网络收敛为止,并保存训练的最优模型参数。
步骤5)中遥感图像的识别结果用全连接条件随机场具体为:
假设每张遥感图像的每个像素i的属性值和地表真实标签类别值分别为xi和yi,将每个像素点作为条件随机场的节点,各个像素之间的联系作为条件随机场的边,通过每个像素的xi来预测该像素对应的类别标签值yi。根据Hammersley-Clifford定理:一个无向图模型的概率可以表示为定义在图上所有最大团上的势函数的乘积,所以标签的后验概率表示为:
Figure BDA0002374938360000081
其中,x代表遥感图像的属性值;y代表地表真实标签类别值;Z(x,θ)为归一化函数;w为条件随机场的节点集合;Ni为节点i的相邻区域;ψi代表单位置势函数,ψij代表双位置势函数。全连接条件随机场的二元势函数描述了所有像素之间的关系,使相似的像素点分配相同类别标签,图像颜色和像素间相对距离差异程度较大的像素点分配不同类别标签,有效改善了图像分割边界不规整问题。
图11-1是本发明遥感图像(红、绿、蓝)三个波段在模型下识别结果,相比于遥感地表标签图像,采用三波段特征的遥感图像识别结果出现了许多错误识别情况,其中植被地物识别结果不连续,有许多“椒盐噪声”现象,地物识别边界不规整;
图11-2是本发明遥感图像多特征的网络模型浅层特征识别结果,相比于遥感地表标签图像,地物类型错误识别情况较为严重,由于未采用金字塔结构提取多特征进行遥感图像识别,浅层特征未包含丰富的语义信息,造成了对不同形状、大小的地物未能很好的识别,并且识别结果不连续;
图11-3是本发明遥感图像多特征的网络模型多特征识别结果,相比于遥感地表标签图像,该结果存在较少的错误识别情况,再加入NDVI数据和DSM数据情况下,植被和建筑物的识别效果较好,识别边界较为连续。
本发明是适用于遥感图像处理领域的一种基于高分辨率遥感图像多特征的识别方法。解决了传统遥感数据源(红、绿、蓝、近红外四通道)对不同的地物类型表达和识别能力有限以及图像识别精度较低的问题。本发明在采用原始高分辨率遥感图像的基础上,添加了数字表面模型(DSM)和NDVI植被指数特征遥感数据来构建遥感多特征输入数据,构建了一个深度全卷积神经网络模型来提取遥感多特征数据的不同尺度的特征信息,并将卷积网络提取的深度多尺度特征进行融合,利用多输出的损失函数提高模型的收敛速度,以提高遥感图像的识别精度。本发明可以充分挖掘遥感图像的信息,总体识别精度达到了91.3%,比单一的遥感数据源提高了1.4%。

Claims (6)

1.基于高分辨率遥感图像多特征的识别方法,包含以下数据基础:原始高分辨率遥感图像、DSM数据和地表真实标签数据;其特征在于,按以下步骤进行识别:
1)、对所述原始高分辨率遥感图像进行预处理;通过波段运算来获得NDVI数据的多特征遥感图像;构建包括所述原始高分辨率遥感图像、DSM数据和NDVI数据的六通道遥感图像做为全卷积网络的多特征输入源;
2)、对步骤1)得到的所述多特征遥感图像、及所述多特征遥感图像对应的所述地表真实标签数据进行数据增强,再随机裁剪构建训练样本集和测试样本集;
3)、构建多特征全卷积网络模型来提取、融合所述多特征输入源;利用深度残差网络ResNet50提取作为浅层特征的所述多特征输入源,得遥感图像识别结果一:将浅层特征经过上采样输出的一个遥感图像识别结果;和遥感图像识别结果二:利用金字塔池化结构提取ResNet50网络结构特征图的不同尺度的特征信息,将不同尺度特征信息进行融合来获取遥感图像识别结果;
4)、将步骤2)获得的训练样本集和测试样本集来训练所述多特征全卷积网络模型,通过调整参数,得最优遥感图像识别模型;
5)、将待预测图像输入所述最优遥感图像识别模型,得到遥感图像识别结果,并将所述遥感图像识别结果用全连接条件随机场进行后处理,纠正错分现象,提高图像的识别精度。
2.根据权利要求1所述的基于高分辨率遥感图像多特征的识别方法,其特征在于,步骤1)预处理的具体过程为:
对原始高分辨率遥感图像近红外波段和红波段进行NDVI指数计算,计算公式如下:
Figure FDA0002374938350000011
其中,NIR为遥感图像的近红外波段,Red为遥感图像的红波段,所述近红外波段和红波段根据NDVI的计算公式进行波段运算操作,提取遥感图像的NDVI特征图像,NDVI数据值得范围在[-1,1];
然后进行波段叠加,将遥感原始数据、NDVI数据和DSM数据构建为一个包含六个特征的高分辨率遥感数据。
3.根据权利要求1所述的基于高分辨率遥感图像多特征的识别方法,其特征在于,步骤2)具体为:对所述多特征遥感图像及其对应的地表真实标签进行旋转、翻转等数据变换,来提高网络模型的的泛化能力;然后将所述多特征遥感图像及其对应的地表真实标签随机裁剪为256×256像素大小的图片,其中训练数据集为20000张遥感图像和对应的标签图像,测试集5000张遥感图像和对应的标签图像。
4.根据权利要求1所述的基于高分辨率遥感图像多特征的识别方法,其特征在于,步骤3)具体为:
在特征提取阶段,构建ResNet50结构来提取遥感原始波段图像特征和DSM数据、NDVI数据的浅层特征;
构建SENet结构可以提取对当前任务有用的特征信息,抑制特征信息量小的特征图;
将ResNet50网络提取的浅层特征和SENet结构提取的特征进行求和操作;最后上采样输出遥感图像识别结果一;
构建金字塔池化结构来提取ResNet50网络浅层特征的多尺度特征信息;然后ResNet50网络浅层特征和金字塔池化结构多尺度特征进行通道叠加操作,利用SENet结构来提取信息量大的特征,将金字塔池化结构的多尺度特征和SENet结构处理的特征进行求和操作,上采样输出遥感图像识别结果二。
5.根据权利要求1所述的基于高分辨率遥感图像多特征的识别方法,其特征在于,步骤4)训练后的最优遥感图像识别模型,其中训练的参数具体为:
训练的迭代次数(Epochs)为200,一次训练的图片数量(Batch_Size)为7,多特征全卷积网络模型的浅层特征识别结果和多尺度特征识别结果的损失函数都采用多分类损失函数(categorical_crossentropy),其中浅层特征遥感图像识别结果的损失权重为0.1,最终遥感图像识别结果的损失权重为0.9。采用方向传播方法和Adam优化算法训练模型,其中Adam优化函数中学习率(Learning_Rate)为0.0005,一阶矩估计的指数衰减率(beta_1)为0.9,二阶矩估计的指数衰减率(beta_2)为0.999,直到网络收敛为止,并保存训练的最优模型参数。
6.根据权利要求1所述的基于多特征高分辨率遥感图像识别方法,其特征在于,步骤5)中遥感图像的识别结果用全连接条件随机场具体为:
假设每张遥感图像的每个像素i的属性值和地表真实标签类别值分别为xi和yi,将每个像素点作为条件随机场的节点,各个像素之间的联系作为条件随机场的边,通过每个像素的xi来预测该像素对应的类别标签值yi。根据Hammersley-Clifford定理:一个无向图模型的概率可以表示为定义在图上所有最大团上的势函数的乘积,所以标签的后验概率表示为:
Figure FDA0002374938350000021
其中,x代表遥感图像的属性值;y代表地表真实标签类别值;Z(x,θ)为归一化函数;w为条件随机场的节点集合;Ni为节点i的相邻区域;ψi代表单位置势函数,ψij代表双位置势函数。全连接条件随机场的二元势函数描述了所有像素之间的关系,使相似的像素点分配相同类别标签,图像颜色和像素间相对距离差异程度较大的像素点分配不同类别标签,有效改善了图像分割边界不规整问题。
CN202010062502.2A 2020-01-20 2020-01-20 基于高分辨率遥感图像多特征的识别方法 Active CN111259828B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010062502.2A CN111259828B (zh) 2020-01-20 2020-01-20 基于高分辨率遥感图像多特征的识别方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010062502.2A CN111259828B (zh) 2020-01-20 2020-01-20 基于高分辨率遥感图像多特征的识别方法

Publications (2)

Publication Number Publication Date
CN111259828A true CN111259828A (zh) 2020-06-09
CN111259828B CN111259828B (zh) 2022-05-17

Family

ID=70949059

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010062502.2A Active CN111259828B (zh) 2020-01-20 2020-01-20 基于高分辨率遥感图像多特征的识别方法

Country Status (1)

Country Link
CN (1) CN111259828B (zh)

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112507888A (zh) * 2020-12-11 2021-03-16 北京建筑大学 建筑物识别方法及装置
CN112686297A (zh) * 2020-12-29 2021-04-20 中国人民解放军海军航空大学 一种雷达目标运动状态的分类方法及系统
CN112837320A (zh) * 2021-01-29 2021-05-25 武汉善睐科技有限公司 一种基于并行空洞卷积的遥感影像语义分割方法
CN113052227A (zh) * 2021-03-22 2021-06-29 山西三友和智慧信息技术股份有限公司 一种基于SE-ResNet的肺结核识别方法
CN113298086A (zh) * 2021-04-26 2021-08-24 自然资源部第一海洋研究所 基于U-Net网络的赤潮多光谱检测方法
CN113469094A (zh) * 2021-07-13 2021-10-01 上海中科辰新卫星技术有限公司 一种基于多模态遥感数据深度融合的地表覆盖分类方法
CN113642456A (zh) * 2021-08-11 2021-11-12 福州大学 一种基于拼图引导的深度特征融合的高分辨率遥感图像场景分类方法
CN113780096A (zh) * 2021-08-17 2021-12-10 北京数慧时空信息技术有限公司 基于半监督深度学习的植被类地物提取方法
CN114399896A (zh) * 2020-09-25 2022-04-26 汉桑(南京)科技有限公司 一种根据遥控设备图像配置遥控功能数据的方法和系统
CN114694177A (zh) * 2022-03-10 2022-07-01 电子科技大学 基于多尺度特征和属性关联挖掘的细粒度人物属性识别方法
CN115830469A (zh) * 2022-11-25 2023-03-21 中国科学院空天信息创新研究院 基于多模态特征融合的滑坡与周边地物识别方法及系统

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108241871A (zh) * 2017-12-27 2018-07-03 华北水利水电大学 基于多特征的激光点云与影像融合数据分类方法
US20180217110A1 (en) * 2017-01-30 2018-08-02 Latency, LLC Systems, methods, and media for detecting abnormalities in equipment that emit ultrasonic energy into a solid medium during failure
AU2018101336A4 (en) * 2018-09-12 2018-10-11 Hu, Yuan Miss Building extraction application based on machine learning in Urban-Suburban-Integration Area
CN108985238A (zh) * 2018-07-23 2018-12-11 武汉大学 联合深度学习和语义概率的高分辨率遥感影像不透水面提取方法及系统
CN109671070A (zh) * 2018-12-16 2019-04-23 华中科技大学 一种基于特征加权和特征相关性融合的目标检测方法
CN110084294A (zh) * 2019-04-18 2019-08-02 北京师范大学 一种基于多尺度深度特征的遥感影像分类方法
CN110263705A (zh) * 2019-06-19 2019-09-20 上海交通大学 面向遥感技术领域两期高分辨率遥感影像变化检测方法

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20180217110A1 (en) * 2017-01-30 2018-08-02 Latency, LLC Systems, methods, and media for detecting abnormalities in equipment that emit ultrasonic energy into a solid medium during failure
CN108241871A (zh) * 2017-12-27 2018-07-03 华北水利水电大学 基于多特征的激光点云与影像融合数据分类方法
CN108985238A (zh) * 2018-07-23 2018-12-11 武汉大学 联合深度学习和语义概率的高分辨率遥感影像不透水面提取方法及系统
AU2018101336A4 (en) * 2018-09-12 2018-10-11 Hu, Yuan Miss Building extraction application based on machine learning in Urban-Suburban-Integration Area
CN109671070A (zh) * 2018-12-16 2019-04-23 华中科技大学 一种基于特征加权和特征相关性融合的目标检测方法
CN110084294A (zh) * 2019-04-18 2019-08-02 北京师范大学 一种基于多尺度深度特征的遥感影像分类方法
CN110263705A (zh) * 2019-06-19 2019-09-20 上海交通大学 面向遥感技术领域两期高分辨率遥感影像变化检测方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
HENGSHUANG ZHAO 等: "Pyramid Scene Parsing Network", 《ARXIV》 *
JIE HU 等: "Squeeze-and-Excitation Networks", 《ARXIV》 *
许慧敏: "基于深度学习U-Net模型的高分辨率遥感影像分类方法研究", 《中国优秀博硕士学位论文全文数据库(硕士) 基础科学辑》 *

Cited By (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114399896A (zh) * 2020-09-25 2022-04-26 汉桑(南京)科技有限公司 一种根据遥控设备图像配置遥控功能数据的方法和系统
CN112507888A (zh) * 2020-12-11 2021-03-16 北京建筑大学 建筑物识别方法及装置
CN112686297A (zh) * 2020-12-29 2021-04-20 中国人民解放军海军航空大学 一种雷达目标运动状态的分类方法及系统
CN112686297B (zh) * 2020-12-29 2023-04-14 中国人民解放军海军航空大学 一种雷达目标运动状态的分类方法及系统
CN112837320A (zh) * 2021-01-29 2021-05-25 武汉善睐科技有限公司 一种基于并行空洞卷积的遥感影像语义分割方法
CN112837320B (zh) * 2021-01-29 2023-10-27 华中科技大学 一种基于并行空洞卷积的遥感影像语义分割方法
CN113052227A (zh) * 2021-03-22 2021-06-29 山西三友和智慧信息技术股份有限公司 一种基于SE-ResNet的肺结核识别方法
CN113298086A (zh) * 2021-04-26 2021-08-24 自然资源部第一海洋研究所 基于U-Net网络的赤潮多光谱检测方法
CN113469094A (zh) * 2021-07-13 2021-10-01 上海中科辰新卫星技术有限公司 一种基于多模态遥感数据深度融合的地表覆盖分类方法
CN113469094B (zh) * 2021-07-13 2023-12-26 上海中科辰新卫星技术有限公司 一种基于多模态遥感数据深度融合的地表覆盖分类方法
CN113642456A (zh) * 2021-08-11 2021-11-12 福州大学 一种基于拼图引导的深度特征融合的高分辨率遥感图像场景分类方法
CN113642456B (zh) * 2021-08-11 2023-08-11 福州大学 基于拼图引导的深度特征融合的遥感图像场景分类方法
CN113780096A (zh) * 2021-08-17 2021-12-10 北京数慧时空信息技术有限公司 基于半监督深度学习的植被类地物提取方法
CN113780096B (zh) * 2021-08-17 2023-12-01 北京数慧时空信息技术有限公司 基于半监督深度学习的植被类地物提取方法
CN114694177A (zh) * 2022-03-10 2022-07-01 电子科技大学 基于多尺度特征和属性关联挖掘的细粒度人物属性识别方法
CN114694177B (zh) * 2022-03-10 2023-04-28 电子科技大学 基于多尺度特征和属性关联挖掘的细粒度人物属性识别方法
CN115830469A (zh) * 2022-11-25 2023-03-21 中国科学院空天信息创新研究院 基于多模态特征融合的滑坡与周边地物识别方法及系统

Also Published As

Publication number Publication date
CN111259828B (zh) 2022-05-17

Similar Documents

Publication Publication Date Title
CN111259828B (zh) 基于高分辨率遥感图像多特征的识别方法
CN111914907B (zh) 一种基于深度学习空谱联合网络的高光谱图像分类方法
CN111695467B (zh) 基于超像素样本扩充的空谱全卷积高光谱图像分类方法
CN111797779A (zh) 基于区域注意力多尺度特征融合的遥感图像语义分割方法
CN108734719A (zh) 一种基于全卷积神经网络的鳞翅目昆虫图像前背景自动分割方法
CN112347970B (zh) 一种基于图卷积神经网络的遥感影像地物识别方法
CN110807485B (zh) 基于高分遥感影像二分类语义分割图融合成多分类语义图的方法
CN111401380B (zh) 一种基于深度特征增强和边缘优化的rgb-d图像语义分割方法
CN110728197B (zh) 基于深度学习的单木级树种识别方法
CN112949416B (zh) 一种监督的高光谱多尺度图卷积分类方法
CN114187450A (zh) 一种基于深度学习的遥感图像语义分割方法
CN112200090A (zh) 基于交叉分组空谱特征增强网络的高光谱图像分类方法
CN113034506B (zh) 遥感图像语义分割方法、装置、计算机设备和存储介质
CN113256649B (zh) 一种基于深度学习的遥感图像选站选线语义分割方法
CN113239736B (zh) 一种基于多源遥感数据的土地覆盖分类标注图获取方法
CN113052216B (zh) 基于双路图u-net卷积网络的溢油高光谱图像检测方法
CN114724155A (zh) 基于深度卷积神经网络的场景文本检测方法、系统及设备
CN110689065A (zh) 一种基于扁平混合卷积神经网络的高光谱图像分类方法
CN113435254A (zh) 一种基于哨兵二号影像的耕地深度学习提取方法
CN114445442B (zh) 基于非对称交叉融合的多光谱图像语义分割方法
CN114596463A (zh) 一种基于图像的地块类型分类方法
Huang et al. A correlation context-driven method for sea fog detection in meteorological satellite imagery
CN114120036A (zh) 一种轻量化的遥感图像云检测方法
CN113139515A (zh) 基于条件随机场和深度特征学习的高光谱图像分类方法
CN114299382A (zh) 高光谱遥感图像分类方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant