CN111695436B - 一种基于目标增强的高空间分辨率遥感图像场景分类方法 - Google Patents

一种基于目标增强的高空间分辨率遥感图像场景分类方法 Download PDF

Info

Publication number
CN111695436B
CN111695436B CN202010426582.5A CN202010426582A CN111695436B CN 111695436 B CN111695436 B CN 111695436B CN 202010426582 A CN202010426582 A CN 202010426582A CN 111695436 B CN111695436 B CN 111695436B
Authority
CN
China
Prior art keywords
image
remote sensing
information block
resolution remote
spatial
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010426582.5A
Other languages
English (en)
Other versions
CN111695436A (zh
Inventor
谷延锋
白洋
高国明
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Harbin Institute of Technology
Original Assignee
Harbin Institute of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Harbin Institute of Technology filed Critical Harbin Institute of Technology
Priority to CN202010426582.5A priority Critical patent/CN111695436B/zh
Publication of CN111695436A publication Critical patent/CN111695436A/zh
Application granted granted Critical
Publication of CN111695436B publication Critical patent/CN111695436B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/40Scenes; Scene-specific elements in video content
    • G06V20/41Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/24Classification techniques
    • G06F18/241Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2415Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/044Recurrent networks, e.g. Hopfield networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/045Combinations of networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/049Temporal neural networks, e.g. delay elements, oscillating neurons or pulsed inputs
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/10Terrestrial scenes
    • G06V20/13Satellite images

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computational Linguistics (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Mathematical Physics (AREA)
  • Computing Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Multimedia (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Probability & Statistics with Applications (AREA)
  • Astronomy & Astrophysics (AREA)
  • Remote Sensing (AREA)
  • Image Analysis (AREA)

Abstract

一种基于目标增强的高空间分辨率遥感图像场景分类方法,它属于遥感图像场景分类技术领域。本发明解决了高空间分辨率遥感图像中地物形式多样、空间分布复杂,导致对图像场景分类精度低,以及采用手工分类方法效率低的问题。本发明利用计算机视觉中的显著性机制,对高分辨率遥感图像进行显著性增强处理。提出一种反复注意结构,并在此基础上构建一个有效的基于目标增强的高空间分辨率遥感图像场景分类方法。本发明方法受到人类视觉系统注意机制的启发,通过迭代图像特征的方式对图像显著特征进行增强,再不断学习进而专注于图像关键区域,这样可以有效提高分类精度,也可以加快收敛速度,提高学习效率。本发明可以应用于遥感图像场景分类。

Description

一种基于目标增强的高空间分辨率遥感图像场景分类方法
技术领域
本发明属于遥感图像场景分类技术领域,具体涉及一种基于目标增强的高空间分辨率遥感图像场景分类方法。
背景技术
现阶段,随着遥感探测手段的迅速发展,一系列商用高分辨率遥感卫星如Quickbird、Worldview系列、GeoEye系列,国产GF-1等相继发射,获取高空间分辨率遥感图像变得越来越容易,而且高空间分辨率的遥感图像的应用正变得越来越普及。作为遥感技术的重要组成部分,遥感图像的场景分类被广泛应用于国土安全监控、土地覆盖/土地利用分类、城市规划、环境监测等军事、民用领域。随着遥感技术的不断发展,遥感图像空间分辨率的不断提高,所提供的地物信息越来越丰富,空间分布越来越复杂,传统的遥感图像场景分类方法难以得到更高的分类精度。而且高空间分辨率遥感图像通常是一片大区域的俯视视图,这导致图像包含许多类型的目标和特征。那么如何对高空间分辨率遥感图像进行场景分类,使得其涵盖信息更加完整且鉴别性更强就成为了现今热门的问题。
遥感图像中的场景类别是人为对场景的命名方式定义的,包含语义一致性等特性,不仅能够表示人类对图像的全局认识,还包含了判别图像信息所依据的前后文信息。针对场景分类,手工分类是最基本的分类方法,其就是按照人们平常的先验知识来进行猜测,比如对于城市可以划分为:中型城市、大型城市、乡村等等,其中乡村又可以细分为村庄、乡镇、农田等等。但是现阶段,数字图像领域中存在着巨量的高空间分辨率遥感图像,而手工分类方法的效率又比较低,因此完全依靠手工对这些数字图像进行标注的传统方法已经不可行,在这种情况下需要提出更加有效的场景分类方法。
发明内容
本发明的目的是为解决由于高空间分辨率遥感图像中的地物形式多样、空间分布复杂,导致对遥感图像场景分类的分类精度低,以及采用手工分类方法的效率低的问题,而提出了一种基于目标增强的高空间分辨率遥感图像场景分类方法。
本发明为解决上述技术问题采取的技术方案是:
一种基于目标增强的高空间分辨率遥感图像场景分类方法,其具体包括以下步骤:
步骤一、采集一组高空间分辨率遥感图像X1,所述高空间分辨率遥感图像X1中包含的场景类别的标签向量为Y;
步骤二、对采集的高空间分辨率遥感图像X1中的各张图像分别进行高斯滤波处理,获得各张图像对应的高斯滤波后图像;
再将各张高斯滤波后图像分别转换成Lab图像,对于任意一张Lab图像,分别计算出Lab图像中全部像素点在各通道上元素的均值,将Lab图像中全部像素点在各通道上元素的均值表示成向量Iμ的形式:Iμ=[Lμ,aμ,bμ]-1,其中,Lμ代表全部像素点在L通道上元素的均值,aμ代表全部像素点在a通道上元素的均值,bμ代表全部像素点在b通道上元素的均值;
计算出向量Iμ与对应的Lab图像中每个像素点的欧式距离,将Lab图像中的像素点(x,y)对应的欧式距离赋值给图像S(x,y)中的像素点(x,y),当将整张Lab图像中全部像素点对应的欧式距离全部赋值到图像S(x,y)中后,获得Lab图像对应的图像S(x,y);
将获得的各张S(x,y)图像输入ResNet-50网络,利用ResNet-50网络提取出采集的每张高空间分辨率遥感图像对应的特征信息块F;
步骤三、分别对步骤二获得的每个特征信息块F进行加权处理,获得各特征信息块F所对应的一次增强后的特征信息块F1以及输入长短时记忆网络的初始权重值x1
步骤四、利用长短时记忆网络对一次增强后的特征信息块F1进行重新调整,再依次获得二次增强后的特征信息块F2,三次增强后的特征信息块F3,…,T次增强后的特征信息块FT
步骤五、利用特征信息块F1,F2,…,FT以及高空间分辨率遥感图像X1中包含的场景类别的标签向量Y对softmax分类模型进行训练,直至达到设置的最大训练次数时终止训练,获得训练好的softmax分类模型;
将采集的待进行场景分类的高空间分辨率遥感图像进行步骤二至步骤四的处理后,将处理结果输入训练好的softmax分类模型,通过softmax分类模型输出场景分类结果。
本发明的有益效果是:本发明提出了一种基于目标增强的高空间分辨率遥感图像场景分类方法,本发明利用计算机视觉中的显著性机制,对高空间分辨率遥感图像进行显著性增强处理。提出了一种反复注意结构,并在此基础上构建了一个有效的基于目标增强的高空间分辨率遥感图像场景分类方法。本发明方法受到人类视觉系统注意机制的启发,通过迭代图像特征的方式对图像显著特征进行增强,再不断学习进而专注于图像关键区域,这样不仅有助于提高分类的精度,也可以大大加快收敛速度,提高学习效率。
同时,采用本发明的智能化的场景分类方法,可以克服手工分类方法的不足,提高分类效率。
为了验证本发明所提出的方法的性能,针对一组高空间分辨率数据进行验证,UCMerced Land-Use数据集包含21个典型场景类别,每类由100个图像组成,大小为256×256像素,分辨率为0.3m。实验结果验证了本发明提出的基于目标增强的高空间分辨率遥感图像场景分类算法的有效性。在数据中各类均使用80%作为训练集的情况下,本发明的分类精度为0.975左右。
附图说明
图1是本发明的实现流程示意图;
图2a是显著性增强FT算法流程图;
图2b是原始图像与显著性增强后图像的对比图;
图3a是原始图像与一次目标增强后的图像特征信息块的对比图;
图3b是目标增强结构的示意图;
图3c是原始图像与经过两次目标增强后的图像特征信息块的对比图;
图4a为实验数据集中的农田场景图像的示意图;
图4b为实验数据集中的棒球场场景图像的示意图;
图4c为实验数据集中的沙滩海岸场景图像的示意图;
图4d为实验数据集中的森林场景图像的示意图;
图4e为实验数据集中的交叉路口场景图像的示意图;
图4f为实验数据集中的港口场景图像的示意图;
实验使用数据集共有21类地物,分别为:农田、棒球场、沙滩海岸、森林、交叉路口、港口等,共有标签样本数据为2100个;
图5是采用80%数据用作训练样本条件下对目标图像分类的10次实验中混淆矩阵的平均值的示意图。
具体实施方式
具体实施方式一:结合图1说明本实施方式。本实施方式所述的一种基于目标增强的高空间分辨率遥感图像场景分类方法,所述方法具体包括以下步骤:
步骤一、采集一组高空间分辨率遥感图像X1(一般5m以上分辨率可以认为是高空间分辨率图像),所述高空间分辨率遥感图像X1中包含的场景类别的标签向量为Y;
步骤二、对采集的高空间分辨率遥感图像X1中的各张图像分别进行高斯滤波处理,获得各张图像对应的高斯滤波后图像;
再将各张高斯滤波后图像分别转换成Lab图像(色彩空间图像),对于任意一张Lab图像,分别计算出Lab图像中全部像素点在各通道上元素的均值,将Lab图像中全部像素点在各通道上元素的均值表示成向量Iμ的形式:Iμ=[Lμ,aμ,bμ]-1,其中,Lμ代表全部像素点在L通道上元素的均值,aμ代表全部像素点在a通道上元素的均值,bμ代表全部像素点在b通道上元素的均值;
计算出向量Iμ与对应的Lab图像中每个像素点的欧式距离,将Lab图像中的像素点(x,y)对应的欧式距离赋值给图像S(x,y)中的像素点(x,y),当将整张Lab图像中全部像素点对应的欧式距离全部赋值到图像S(x,y)中后,获得Lab图像对应的图像S(x,y);
将获得的各张S(x,y)图像输入ResNet-50网络,利用ResNet-50网络提取出采集的每张高空间分辨率遥感图像对应的特征信息块F;
步骤三、分别对步骤二获得的每个特征信息块F进行加权处理,获得各特征信息块F所对应的一次增强后的特征信息块F1以及输入长短时记忆网络的初始权重值x1
步骤四、利用长短时记忆网络对一次增强后的特征信息块F1进行重新调整,再依次获得二次增强后的特征信息块F2,三次增强后的特征信息块F3,…,T次增强后的特征信息块FT
步骤五、利用特征信息块F1,F2,…,FT以及高空间分辨率遥感图像X1中包含的场景类别的标签向量Y对softmax分类模型进行训练,直至达到设置的最大训练次数时终止训练,获得训练好的softmax分类模型;
将采集的待进行场景分类的高空间分辨率遥感图像进行步骤二至步骤四的处理后,将处理结果输入训练好的softmax分类模型,通过softmax分类模型输出场景分类结果。
本发明以场景增强和特征增强为基础,从深度学习以及图像显著性的角度出发,构建目标增强学习网络,对遥感图像进行场景分类,与之前针对对象的分类方式不同,基于卷积神经网络的场景分类方法没有显而易见的特征提取过程,而是通过构建深度网络进行不断学习来完善所提取出来的特征,这样就能够使得提取出来的特征具有更强的描述能力。
具体实施方式二:结合图2a和图2b说明本实施方式。本实施方式与具体实施方式一不同的是:所述步骤二的具体过程为:
步骤二一、分别对高空间分辨率遥感图像X1中的每张图像进行高斯滤波处理,得到高斯滤波处理后的图像;
经过高斯滤波处理后的图像去掉了图像中的高频信息,使得图像具有更多的低维空间信息,也就是使图像变得更加平滑。
所述高斯滤波处理后的图像为RGB图像,将每张RGB图像均转换成对应的Lab图像,转换的公式如下:
Figure BDA0002498939480000051
Figure BDA0002498939480000052
Figure BDA0002498939480000053
式中,R,G,B分别为RGB图像在三个波段上的元素,L,a,b分别为Lab图像在三个通道上的元素,X、Y、Z、L′、M′和S′均为中间变量;
对于获得的任意一张Lab图像,分别求出该张Lab图像中全部像素点在L通道上元素的均值Lμ、在a通道上元素的均值aμ以及在b通道上元素的均值bμ
令向量Iμ=[Lμ,aμ,bμ]-1,分别计算出向量Iμ与对应的Lab图像中各像素点之间的欧氏距离,将Lab图像中的像素点(x,y)对应的欧式距离赋值给图像S(x,y)中的像素点(x,y),当将整张Lab图像中全部像素点对应的欧式距离全部赋值到图像S(x,y)中后,获得Lab图像对应的图像S(x,y);图像S(x,y)中的像素点个数与Lab图像中的像素点个数相同,且采取一一对应的赋值方式;
S(x,y)=||Iμ-Iωhc(x,y)||
其中,Iωhc(x,y)=[Lωhc,aωhc,bωhc]-1,Lωhc,aωhc,bωhc分别为Lab图像中的像素点(x,y)在L,a,b三个通道上的元素值;
同理,获得每张Lab图像所对应的S(x,y)图像;
Lab图像中的亮度通道(L通道)专门负责图像的明暗程度,简单的说就是整幅图的灰度图。a通道和b通道只负责具体颜色的多少,a通道表示从洋红色(通道里的白色)至深绿色(通道里的黑色)的范围;b表示从焦黄色(通道里的白色)至袅蓝色(通道里的黑色)的范围;a、b通道里的50%中性灰色表示没有颜色,所以越接近灰色说明颜色越少。之后,对图像中Lab三个通道的数据分别取均值,得到Iμ=[Lμ,aμ,bμ]-1。最后,求Lab图像Iωhc(x,y)和均值Iμ之间的距离S(x,y),此处的距离为欧氏距离,计算公示如下:
S(x,y)=||Iμ-Iωhc(x,y)||
步骤二二、将步骤二一中获得的S(x,y)图像输入到ResNet-50网络中,所述ResNet-50网络包括5层卷积层,其中,后面的4层卷积层是4层残差块(ResidualBlock),通过最后一层卷积层来输出采集的每张高空间分辨率遥感图像对应的特征信息块F,其具体计算公式如下:
Figure BDA0002498939480000061
其中,l代表ResNet-50网络的卷积层层数,
Figure BDA0002498939480000062
是ResNet-50网络的第l层卷积层输出的图像中第j个像素的值,
Figure BDA0002498939480000063
是输入第l层卷积层的图像中第j个像素的值,
Figure BDA0002498939480000064
Figure BDA0002498939480000065
在第l层卷积层所使用卷积核中的位置i处的加权值,i代表卷积核中的位置,Mj代表卷积核中的位置的集合,
Figure BDA0002498939480000066
为输入第l层卷积层的图像中第j个像素的偏置值,f(·)代表激活函数,让神经网络具有更多非线性成分;*代表做乘法运算;
实际上,
Figure BDA0002498939480000067
为第l层卷积层使用的卷积核中第i个数的值;
Figure BDA0002498939480000068
其中,
Figure BDA0002498939480000069
是第5层卷积层输出的图像中第j个像素的值,P×P代表第5层卷积层输出的图像中包含的像素总数,fj为特征信息块F中的元素,F={f1,f2,…,fP×P}。分别将采集的每张高空间分辨率遥感图像对应的S(x,y)图像输入ResNet-50网络中,即可得到采集的每张图像对应的特征信息块F。
其它步骤及参数与具体实施方式一相同。
具体实施方式三:结合图3a说明本实施方式。本实施方式与具体实施方式二不同的是:所述步骤三的具体过程为:
使用注意掩模矩阵作为注意权重,通过特征信息块F和初始化的注意掩模矩阵a1计算输入长短时记忆网络(LSTM)中的初始权重值x1和一次增强后的特征信息块F1
其中初始化的注意掩模矩阵a1的值是随机产生的;
具体计算公式如下:
a1={a1,1,a1,2,…,a1,P×P}
Figure BDA0002498939480000071
f1,j=a1,j×fj,a1,j∈a1,fj∈F,f1,j∈F1,j∈1,2,…,P×P
其中,a1是初始化的注意掩模矩阵,a1,j为初始化的注意掩模矩阵中的第j个元素,f1,j是一次增强后的特征信息块F1中的第j个元素,x1是输入长短时记忆网络处理的初始权重值。
其它步骤及参数与具体实施方式一或二相同。
具体实施方式四:结合图3b、图3c说明本实施方式。本实施方式与具体实施方式三不同的是:所述步骤四的具体过程为:
步骤四一、利用长短时记忆网络处理不同时刻的图像特征权重值xt,此网络中各个参数计算方式如下:
ft=σ(Wxfxt+Whfht-1+Wcfct-1+bf)
it=σ(Wxixt+Whiht-1+Wcict-1+bi)
ot=σ(Wxoxt+Whoht-1+Wcoct-1+bo)
ct=σ(Wxcxt+Whcht-1+bc)
ht=ottanh(ct)
其中,t为长短时记忆网络的第t层,xt是输入长短时记忆网络处理的第t层的权重值,o是输出门,ot是第t层输出门的输出结果,bo是输出ot的偏置,c是存储器单元激活矢量,ct是第t层存储器单元激活矢量的输出结果,bc是输出ct的偏置,ct-1为第t-1层存储器单元激活矢量的输出结果,σ是逻辑sigmoid函数,产生一个介于0到1的值,来决定是否允许上一时刻学习到的知识通过,ht-1为长短时记忆网络第t-1层的输出结果,ht为长短时记忆网络第t层的输出结果,tanh(·)为激活函数,Wxo是xt在输出ot时的权重,Who是ht-1在输出ot时的权重,Wco是ct-1在输出ot时的权重,Wxc是xt在输出ct时的权重,Whc是ht-1在输出ct时的权重;
i是输入门,f是遗忘门,对输入门和遗忘门的相关参数的定义同上;
步骤四二、通过t次增强后的特征信息块Ft和注意掩模矩阵at计算输入长短时记忆网络处理的第t+1层的权重值xt+1,计算公式如下:
at={at,1,at,2,…,at,P×P},t∈1…T
Figure BDA0002498939480000081
at+1=softmax(ht),t∈1…T
ft,j=at,j×ft-1,j,at,j∈at,ft-1,j∈Ft-1,ft,j∈Ft,j∈1,2,…,P×P,t∈1…T
其中,at是输入长短时记忆网络第t层的注意掩模矩阵,t∈1…T,T是长短时记忆网络的总层数,at,1,at,2,…,at,P×P是at中的元素,注意掩模矩阵at的大小是P×P,ft,j是t次增强后的特征信息块Ft中的第j个元素,其具有与Ft相同的维度,xt+1是输入长短时记忆网络处理的第t+1层的权重值,at+1是输入长短时记忆网络第t+1层的注意掩模矩阵,softmax(·)是归一化函数,ft-1,j是t-1次增强后的特征信息块Ft-1中的第j个元素;
当t的取值达到T时,即依次获得了t次增强后的特征信息块Ft,t∈1…T。
本实施方式中,当t=1时,{f0,1,f0,2,…,f0,P×P}=F。
其它步骤及参数与具体实施方式一至三之一相同。
具体实施方式五:本实施方式与具体实施方式一至四之一不同的是:所述步骤五的具体过程是:
利用softmax函数将高空间分辨率遥感图像X1中包含的场景类别的标签向量Y映射到(0,1)之间后,获得标签向量Y′;将特征信息块F1,F2,…,FT作为softmax分类模型的训练样本,将标签向量Y′作为训练样本的标签,利用训练样本对softmax分类模型进行训练,直至达到设置的最大训练次数时终止训练,获得训练好的softmax分类模型;
将采集的待进行场景分类的高空间分辨率遥感图像进行步骤二至步骤四的处理后,获得待进行场景分类的高空间分辨率遥感图像对应的特征信息块,将获得的特征信息块输入训练好的softmax分类模型,选取最大预测概率值所对应的类别作为待进行场景分类的高空间分辨率遥感图像的场景分类结果;
Figure BDA0002498939480000091
其中,Si′为采集的待进行场景分类的高空间分辨率遥感图像属于第i′个类别的概率,ei′代表第i′个类别的预测结果,i′=1,2,…,C,C代表类别的总个数,e是自然对数。
其它步骤及参数与具体实施方式一至四之一相同。
实施例一:
本实施例一种基于目标增强的高空间分辨率遥感图像场景分类算法具体是按照以下步骤制备的:
实验所用数据是UC Merced Land-Use数据集,其中每个图像尺寸为256x256像素。这些图像都是从各地市区图像中手动提取的,数据包含3个光谱波段(R、G、B),像素分辨率为0.3m。图4a至图4f分别为此数据集中几类场景图像示例。利用图4a至图4f中具有的类别标签的数据对网络进行训练,然后利用测试数据的分类标签结果判定我们所提出的分类效果。
为了确认本发明方法的有效性,图5为利用本发明方法在UCM数据集上的混淆矩阵图。表1为在不同的训练样本数目的条件下,六种分类算法对此数据集的分类结果。
表1
Figure BDA0002498939480000092
从图5可以看到,在密集住宅区类别中,所构建的方法具有更好的结果,这证实了由于引入反复增强结构,本发明方法非常擅长处理具有较多信息的场景图像。从表1可以看出,当使用80%标记的图像进行训练时,与其他遥感场景分类方法相比,ATENet在正确率和稳定性方面都有较大的提升。当使用50%标记的图像进行训练时,此方法也是最优的。因此实验验证了此算法的有效性。
本发明的上述算例仅为详细地说明本发明的计算模型和计算流程,而并非是对本发明的实施方式的限定。对于所属领域的普通技术人员来说,在上述说明的基础上还可以做出其它不同形式的变化或变动,这里无法对所有的实施方式予以穷举,凡是属于本发明的技术方案所引伸出的显而易见的变化或变动仍处于本发明的保护范围之列。

Claims (5)

1.一种基于目标增强的高空间分辨率遥感图像场景分类方法,其特征在于,所述方法具体包括以下步骤:
步骤一、采集一组高空间分辨率遥感图像X1,所述高空间分辨率遥感图像X1中包含的场景类别的标签向量为Y;
步骤二、对采集的高空间分辨率遥感图像X1中的各张图像分别进行高斯滤波处理,获得各张图像对应的高斯滤波后图像;
再将各张高斯滤波后图像分别转换成Lab图像,对于任意一张Lab图像,分别计算出Lab图像中全部像素点在各通道上元素的均值,将Lab图像中全部像素点在各通道上元素的均值表示成向量Iμ的形式:Iμ=[Lμ,aμ,bμ]-1,其中,Lμ代表全部像素点在L通道上元素的均值,aμ代表全部像素点在a通道上元素的均值,bμ代表全部像素点在b通道上元素的均值;
计算出向量Iμ与对应的Lab图像中每个像素点的欧式距离,将Lab图像中的像素点(x,y)对应的欧式距离赋值给图像S(x,y)中的像素点(x,y),当将整张Lab图像中全部像素点对应的欧式距离全部赋值到图像S(x,y)中后,获得Lab图像对应的图像S(x,y);
将获得的各张S(x,y)图像输入ResNet-50网络,利用ResNet-50网络提取出采集的每张高空间分辨率遥感图像对应的特征信息块F;
步骤三、分别对步骤二获得的每个特征信息块F进行加权处理,获得各特征信息块F所对应的一次增强后的特征信息块F1以及输入长短时记忆网络的初始权重值x1
步骤四、利用长短时记忆网络对一次增强后的特征信息块F1进行重新调整,再依次获得二次增强后的特征信息块F2,三次增强后的特征信息块F3,…,T次增强后的特征信息块FT
步骤五、利用特征信息块F1,F2,…,FT以及高空间分辨率遥感图像X1中包含的场景类别的标签向量Y对softmax分类模型进行训练,直至达到设置的最大训练次数时终止训练,获得训练好的softmax分类模型;
将采集的待进行场景分类的高空间分辨率遥感图像进行步骤二至步骤四的处理后,将处理结果输入训练好的softmax分类模型,通过softmax分类模型输出场景分类结果。
2.根据权利要求1所述的一种基于目标增强的高空间分辨率遥感图像场景分类方法,其特征在于,所述步骤二的具体过程为:
步骤二一、分别对高空间分辨率遥感图像X1中的每张图像进行高斯滤波处理,得到高斯滤波处理后的图像;
所述高斯滤波处理后的图像为RGB图像,将每张RGB图像均转换成对应的Lab图像,转换的公式如下:
Figure FDA0002498939470000021
Figure FDA0002498939470000022
Figure FDA0002498939470000023
式中,R,G,B分别为RGB图像在三个波段上的元素,L,a,b分别为Lab图像在三个通道上的元素,X、Y、Z、L′、M′和S′均为中间变量;
对于获得的任意一张Lab图像,分别求出该张Lab图像中全部像素点在L通道上元素的均值Lμ、在a通道上元素的均值aμ以及在b通道上元素的均值bμ
令向量Iμ=[Lμ,aμ,bμ]-1,分别计算出向量Iμ与对应的Lab图像中各像素点之间的欧氏距离,将Lab图像中的像素点(x,y)对应的欧式距离赋值给图像S(x,y)中的像素点(x,y),当将整张Lab图像中全部像素点对应的欧式距离全部赋值到图像S(x,y)中后,获得Lab图像对应的图像S(x,y);
S(x,y)=||Iμ-Iωhc(x,y)||
其中,Iωhc(x,y)=[Lωhc,aωhc,bωhc]-1,Lωhc,aωhc,bωhc分别为Lab图像中的像素点(x,y)在L,a,b三个通道上的元素值;
同理,获得每张Lab图像所对应的S(x,y)图像;
步骤二二、将步骤二一中获得的S(x,y)图像输入到ResNet-50网络中,所述ResNet-50网络包括5层卷积层,其中,后面的4层卷积层是4层残差块,通过最后一层卷积层来输出采集的每张高空间分辨率遥感图像对应的特征信息块F,其具体计算公式如下:
Figure FDA0002498939470000031
其中,l代表ResNet-50网络的卷积层层数,
Figure FDA0002498939470000032
是ResNet-50网络的第l层卷积层输出的图像中第j个像素的值,
Figure FDA0002498939470000033
是输入第l层卷积层的图像中第j个像素的值,
Figure FDA0002498939470000034
Figure FDA0002498939470000035
在第l层卷积层所使用卷积核中的位置i处的加权值,i代表卷积核中的位置,Mj代表卷积核中的位置的集合,
Figure FDA0002498939470000036
为输入第l层卷积层的图像中第j个像素的偏置值,f(·)代表激活函数;
Figure FDA0002498939470000037
其中,
Figure FDA0002498939470000038
是第5层卷积层输出的图像中第j个像素的值,P×P代表第5层卷积层输出的图像中包含的像素总数,fj为特征信息块F中的元素,F={f1,f2,…,fP×P}。
3.根据权利要求2所述的一种基于目标增强的高空间分辨率遥感图像场景分类方法,其特征在于,所述步骤三的具体过程为:
使用注意掩模矩阵作为注意权重,通过特征信息块F和初始化的注意掩模矩阵a1计算输入长短时记忆网络中的初始权重值x1和一次增强后的特征信息块F1
具体计算公式如下:
a1={a1,1,a1,2,···,a1,P×P}
Figure FDA0002498939470000039
f1,j=a1,j×fj,a1,j∈a1,fj∈F,f1,j∈F1,j∈1,2,···,P×P
其中,a1是初始化的注意掩模矩阵,a1,j为初始化的注意掩模矩阵中的第j个元素,f1,j是一次增强后的特征信息块F1中的第j个元素,x1是输入长短时记忆网络处理的初始权重值。
4.根据权利要求3所述的一种基于目标增强的高空间分辨率遥感图像场景分类方法,其特征在于,所述步骤四的具体过程为:
步骤四一、利用长短时记忆网络处理不同时刻的权重值xt
ot=σ(Wxoxt+Whoht-1+Wcoct-1+bo)
ct=σ(Wxcxt+Whcht-1+bc)
ht=ot tanh(ct)
其中,t为长短时记忆网络的第t层,xt是输入长短时记忆网络处理的第t层的权重值,o是输出门,ot是第t层输出门的输出结果,bo是输出ot的偏置,c是存储器单元激活矢量,ct是第t层存储器单元激活矢量的输出结果,bc是输出ct的偏置,ct-1为第t-1层存储器单元激活矢量的输出结果,σ是逻辑sigmoid函数,ht-1为长短时记忆网络第t-1层的输出结果,ht为长短时记忆网络第t层的输出结果,tanh(·)为激活函数,Wxo是xt在输出ot时的权重,Who是ht-1在输出ot时的权重,Wco是ct-1在输出ot时的权重,Wxc是xt在输出ct时的权重,Whc是ht-1在输出ct时的权重;
步骤四二、通过t次增强后的特征信息块Ft和注意掩模矩阵at计算输入长短时记忆网络处理的第t+1层的权重值xt+1,计算公式如下:
at={at,1,at,2,···,at,P×P},t∈1···T
Figure FDA0002498939470000041
at+1=softmax(ht),t∈1···T
ft,j=at,j×ft-1,j,at,j∈at,ft-1,j∈Ft-1,ft,j∈Ft,j∈1,2,···,P×P,t∈1···T
其中,at是输入长短时记忆网络第t层的注意掩模矩阵,t∈1···T,T是长短时记忆网络的总层数,at,1,at,2,···,at,P×P是at中的元素,注意掩模矩阵at的大小是P×P,ft,j是t次增强后的特征信息块Ft中的第j个元素,xt+1是输入长短时记忆网络处理的第t+1层的权重值,at+1是输入长短时记忆网络第t+1层的注意掩模矩阵,softmax(·)是归一化函数,ft-1,j是t-1次增强后的特征信息块Ft-1中的第j个元素;
当t的取值达到T时,即依次获得了t次增强后的特征信息块Ft,t∈1···T。
5.根据权利要求4所述的一种基于目标增强的高空间分辨率遥感图像场景分类方法,其特征在于,所述步骤五的具体过程是:
将高空间分辨率遥感图像X1中包含的场景类别的标签向量Y映射到(0,1)之间后,获得标签向量Y′;将特征信息块F1,F2,…,FT作为softmax分类模型的训练样本,将标签向量Y′作为训练样本的标签,利用训练样本对softmax分类模型进行训练,直至达到设置的最大训练次数时终止训练,获得训练好的softmax分类模型;
将采集的待进行场景分类的高空间分辨率遥感图像进行步骤二至步骤四的处理后,获得待进行场景分类的高空间分辨率遥感图像对应的特征信息块,将获得的特征信息块输入训练好的softmax分类模型,选取最大预测概率值所对应的类别作为待进行场景分类的高空间分辨率遥感图像的场景分类结果;
Figure FDA0002498939470000051
其中,Si′为采集的待进行场景分类的高空间分辨率遥感图像属于第i′个类别的概率,ei′代表第i′个类别的预测结果,i′=1,2,…,C,C代表类别的总个数,e是自然对数。
CN202010426582.5A 2020-05-19 2020-05-19 一种基于目标增强的高空间分辨率遥感图像场景分类方法 Active CN111695436B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010426582.5A CN111695436B (zh) 2020-05-19 2020-05-19 一种基于目标增强的高空间分辨率遥感图像场景分类方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010426582.5A CN111695436B (zh) 2020-05-19 2020-05-19 一种基于目标增强的高空间分辨率遥感图像场景分类方法

Publications (2)

Publication Number Publication Date
CN111695436A CN111695436A (zh) 2020-09-22
CN111695436B true CN111695436B (zh) 2022-05-13

Family

ID=72477945

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010426582.5A Active CN111695436B (zh) 2020-05-19 2020-05-19 一种基于目标增强的高空间分辨率遥感图像场景分类方法

Country Status (1)

Country Link
CN (1) CN111695436B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115497010B (zh) * 2022-09-30 2023-07-04 北京恒歌科技有限公司 一种基于深度学习的地理信息的识别方法及系统
CN116580210B (zh) * 2023-07-05 2023-09-15 四川弘和数智集团有限公司 一种线性目标检测方法、装置、设备及介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110046575A (zh) * 2019-04-16 2019-07-23 浙江农林大学 基于改进残差网络的遥感图像场景分类方法
CN110728192A (zh) * 2019-09-16 2020-01-24 河海大学 一种基于新型特征金字塔深度网络的高分遥感图像分类方法
AU2020100052A4 (en) * 2020-01-10 2020-02-13 Gao, Yiang Mr Unattended video classifying system based on transfer learning
CN111079649A (zh) * 2019-12-17 2020-04-28 西安电子科技大学 基于轻量化语义分割网络的遥感图像地物分类方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110046575A (zh) * 2019-04-16 2019-07-23 浙江农林大学 基于改进残差网络的遥感图像场景分类方法
CN110728192A (zh) * 2019-09-16 2020-01-24 河海大学 一种基于新型特征金字塔深度网络的高分遥感图像分类方法
CN111079649A (zh) * 2019-12-17 2020-04-28 西安电子科技大学 基于轻量化语义分割网络的遥感图像地物分类方法
AU2020100052A4 (en) * 2020-01-10 2020-02-13 Gao, Yiang Mr Unattended video classifying system based on transfer learning

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
Multi-temporal images classification with evidential fusion of manifold alignment;M. Zhang 等;《2017 IEEE International Geoscience and Remote Sensing Symposium (IGARSS)》;20171204;819-822 *
Scene Classification of High-Resolution Remotely Sensed Image Based on ResNet;M Wang 等;《Journal of Geovisualization and Spatial Analysis》;20191010;第03卷(第16期);1-9 *
利用DCNN融合特征对遥感图像进行场景分类;王振国 等;《电子设计工程》;20180309;第26卷(第01期);189-193 *

Also Published As

Publication number Publication date
CN111695436A (zh) 2020-09-22

Similar Documents

Publication Publication Date Title
CN110443143B (zh) 多分支卷积神经网络融合的遥感图像场景分类方法
CN112507793B (zh) 一种超短期光伏功率预测方法
Wang et al. Scene classification of high-resolution remotely sensed image based on ResNet
CN107092870B (zh) 一种高分辨率影像语义信息提取方法
CN111401384B (zh) 一种变电设备缺陷图像匹配方法
CN111259906B (zh) 含多级通道注意力的条件生成对抗遥感图像目标分割方法
CN110728192B (zh) 一种基于新型特征金字塔深度网络的高分遥感图像分类方法
CN104966085B (zh) 一种基于多显著特征融合的遥感图像感兴趣区域检测方法
CN109934154B (zh) 一种遥感影像变化检测方法及检测装置
CN109558806A (zh) 高分遥感图像变化的检测方法和系统
CN105787501B (zh) 输电线路走廊区域自动选择特征的植被分类方法
CN112348036A (zh) 基于轻量化残差学习和反卷积级联的自适应目标检测方法
CN112232151B (zh) 一种嵌入注意力机制的迭代聚合神经网络高分遥感场景分类方法
CN110633708A (zh) 一种基于全局模型和局部优化的深度网络显著性检测方法
CN107169508B (zh) 一种基于融合特征的旗袍图像情感语义识别方法
CN108090472A (zh) 基于多通道一致性特征的行人重识别方法及其系统
CN111695436B (zh) 一种基于目标增强的高空间分辨率遥感图像场景分类方法
CN106096655A (zh) 一种基于卷积神经网络的光学遥感图像飞机检测方法
CN105139385A (zh) 基于深层自动编码器重构的图像视觉显著性区域检测方法
CN105718932A (zh) 一种基于果蝇优化算法和光滑孪生支持向量机的彩色图像分类方法与系统
CN112364979B (zh) 一种基于GoogLeNet的红外图像识别方法
CN114387195A (zh) 一种基于非全局预增强的红外图像与可见光图像融合方法
CN112560624A (zh) 基于模型深度集成的高分遥感影像语义分割方法
CN115965968A (zh) 基于知识引导的小样本目标检测识别方法
CN113837191A (zh) 基于双向无监督域适应融合的跨星遥感图像语义分割方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant