CN112101190A - 一种遥感图像分类方法、存储介质及计算设备 - Google Patents

一种遥感图像分类方法、存储介质及计算设备 Download PDF

Info

Publication number
CN112101190A
CN112101190A CN202010955163.0A CN202010955163A CN112101190A CN 112101190 A CN112101190 A CN 112101190A CN 202010955163 A CN202010955163 A CN 202010955163A CN 112101190 A CN112101190 A CN 112101190A
Authority
CN
China
Prior art keywords
convolution
training
samples
remote sensing
size
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010955163.0A
Other languages
English (en)
Other versions
CN112101190B (zh
Inventor
李玲玲
梁普江
孙宸
马晶晶
焦李成
刘芳
郭晓惠
刘旭
张丹
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xidian University
Original Assignee
Xidian University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xidian University filed Critical Xidian University
Priority to CN202010955163.0A priority Critical patent/CN112101190B/zh
Publication of CN112101190A publication Critical patent/CN112101190A/zh
Application granted granted Critical
Publication of CN112101190B publication Critical patent/CN112101190B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/10Terrestrial scenes
    • G06V20/13Satellite images
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/24Classification techniques
    • G06F18/241Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2415Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/045Combinations of networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/40Extraction of image or video features
    • G06V10/46Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G06V10/462Salient features, e.g. scale invariant feature transforms [SIFT]
    • G06V10/464Salient features, e.g. scale invariant feature transforms [SIFT] using a plurality of salient features, e.g. bag-of-words [BoW] representations
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02DCLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Molecular Biology (AREA)
  • Software Systems (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Computing Systems (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • Astronomy & Astrophysics (AREA)
  • Remote Sensing (AREA)
  • Probability & Statistics with Applications (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种遥感图像分类方法、存储介质及计算设备,创建遥感图像集,对遥感图像集进行标准化处理,得到训练样本集和测试样本集;设置多尺度特征提取模块,通过在两个并行的卷积模块中设置不同的空洞卷积,生成两个尺度的特征图;设置自适应特征融合模块,自适应特征融合模块能够自适应的选择生成的两个不同尺度的特征中的有用信息并进行融合;搭建整个神经网络模型;使用训练样本集对整个神经网络模型进行迭代训练;在测试样本中随机选择样本作为位置类别样本,利用训练好的神经网络对对需要预测的未知样本进行分类。本发明减少冗余信息,更灵活的选择多尺度特征,提升网络的稳定性,进而提升网络模型的分类能力。

Description

一种遥感图像分类方法、存储介质及计算设备
技术领域
本发明属于图像处理技术领域,具体涉及一种基于双支路深度多尺度网络的遥感图像分类方法、存储介质及计算设备。
背景技术
遥感图像场景分类是一项基本的遥感图像处理任务,在军事和民用领域都有广泛的应用。近几年遥感技术发展发展迅速,所捕获到的遥感图像拥有高分辨率,结构复杂的特点。传统的遥感图像处理方法难以捕捉到复杂图像中的语义信息,所以在当前高质量图像的分类任务上表现不佳。
近几年,深度学习发展迅速,并且已经在图像处理领域取得了很好地效果。得益于卷及操作和层级结构,深度学习方法不仅可以提取诸如颜色,纹理这种图像的浅层特征,还可以有效地提取图像中的深层语义特征,比如图像中的目标。然而当前的卷积神经网络模型有一定的局限性,由于一般的模型都只有固定的感受野,难以提取多尺度特征,在面对图像中目标大小变化时,模型往往难以充分捕捉到目标的信息。通过使用不同感受野的卷积核可以使模型能够提取多尺度特征,进而捕捉到不同大小的目标,更灵活的发挥卷积神经网络的优势。因此,如何在卷积神经网络中引入多尺度特征,并且灵活运用多尺度特征成为了提高模型性能的关键。
发明内容
本发明所要解决的技术问题在于针对上述现有技术中的不足,提供一种基于双支路深度多尺度网络的遥感图像分类方法、存储介质及计算设备,通过结合空洞卷积的特性,可以在卷积神经网络中引入多尺度特性,增强网络对不同尺度目标的感知能力,同时利用通道注意力机制自适应的融合多尺度特征,可以使网络更灵活的应对多尺度问题,从而提升对遥感图像的分类能力。
本发明采用以下技术方案:
一种遥感图像分类方法,包括以下步骤:
S1、创建遥感图像集,对遥感图像集进行标准化处理,得到训练样本集和测试样本集;
S2、设置多尺度特征提取模块,包括两个并行的卷积模块,通过在两个并行的卷积模块中设置不同的空洞卷积,提取出不同尺度的信息,生成两个尺度的特征图;
S3、设置自适应特征融合模块,包括全局池化构成的压缩操作,两个全连接层以及softmax函数构成的激活操作,自适应特征融合模块能够自适应的选择步骤S2中生成的两个不同尺度的特征中的有用信息并进行融合;
S4、搭建整个神经网络模型,以步骤S3中融合得到的包含多尺度信息的卷积特征作为输入;
S5、使用步骤S1中所得到的训练样本集对步骤S4整个神经网络模型进行迭代训练;
S6、在测试样本中随机选择样本作为位置类别样本,利用步骤S5训练好的神经网络对对需要预测的未知样本进行分类。
具体的,步骤S1具体为:
S101、获取UC_Merced图像,建立遥感图像样本集I={I1,I2,…Ii…,IN},并根据每个样本对应的标签建立对应的样本标签集L={L1,L2,…Li…,LN},标签集中的标签Li对应样本集中样本Ii的类别,Ii表示样本集中的第i个样本,i∈[0,N],N表示样本集中总的样本个数;
S102、对样本集中的样本进行min-max归一化处理;
S103、将归一化之后的数据集分为训练数据集Train和测试数据集Test,对于每一类样本,将80%作为训练样本集,剩余20%作为测试样本集,得到训练样本集{Train1,Train2,…Trainm…,TrainM}和测试样本集{Test1,Test2,…Testj…,TestJ},其中,Trainm为训练数据集中的第m个样本,m∈[0,M],M为训练集中样本的总个数,M<N;Testj为测试数据集中的第j个样本,j∈[0,J],J为训练集中样本的总个数,J<N。
具体的,步骤S2中,两个卷积模块的输入为经过min-max处理后的样本,裁减至224*224*3;输出为两个拥有相同尺寸的特征图,尺寸为112*112*64;卷积模块中有两个串联的卷积层,两个卷积模块参数共享,输出两个包含不同尺度信息的特征图Oa和Ob
进一步的,第一个卷积块conva,layera.1使用3*3的卷积核,步长为1,layera.2也使用3*3的卷积核,步长为2,其空洞率设置为1,输出特征图Oa的尺寸为112*112*64;
第一个卷积块convb,layerb.1使用3*3的卷积核,步长为1,layerb.2也使用3*3的卷积核,步长为2,其空洞率设置为2,输出特征图Ob的尺寸为112*112*64。
具体的,步骤S3具体为:
S301、将两个尺寸为W×H×C的特征图Oa和Ob相加得到总的特征图O,特征图O的尺寸为W×H×C,对O使用全局平均池化操作,得到包含全局信息的卷积特征图z,卷积特征图z的尺寸为1×1×C;
S302、将卷积特征图z通过两个全连接层和softmax激活层生成两组不同的权重p和q,p和q的尺寸为1×1×C,对于第一个全连接层,参数个数为
Figure BDA0002678358230000041
输出尺寸为1×1×C/r,r为超参数;对于第二个全连接层,参数个数为
Figure BDA0002678358230000042
输出尺寸为1×2×C,分为两个不同的特征p′和q′,尺寸均为1×1×C;
S303、对于两个全连接层输出的特征p′和q′用softmax函数激活,并分离为两组不同的权重p和q,将两个权重p和q按通道分别乘以两个输入特征Oa和Ob,再将其相加得到融合后的特征图O。
具体的,步骤S4具体为:
S401、搭建一个有八个卷积模块的深度特征提取部分,将融合后的多尺度特征图送入,输入特征图尺寸为112*112*64;
S402、使用全局池化层将提取到的深度语义特征压缩为一维特征,输入为卷积模块的输出特征图,输出为一维的全局特征,尺寸为1×1×512;
S403、使用卷积核大小为512*T的全连接层进行最终结果的分类,T等于样本集合中所包含类别的个数。
具体的,步骤S5具体为:
S501、设置迭代训练时的超参数,包括总的迭代次数E,学习率η,训练时每一批次的批量大小B,即每一次训练时,训练样本集{Train1,Train2,…Trainm…,TrainM}每次输入B个样本,整个样本集每一轮训练所需要的输入次数为Q;
S502、选择交叉熵函数
Figure BDA0002678358230000043
作为损失函数;
S503、通过梯度下降算法降低步骤S502损失函数,迭代训练网络,每次迭代时对网络中的参数进行更新,第t次迭代更新后的卷积核参数Wt+1如下:
Figure BDA0002678358230000051
其中,Wt表示第t次迭代的卷积核参数,losst表示第t次迭代时权重参数所带来的损失,
Figure BDA0002678358230000052
即是本次更新的梯度值;
S504、当迭代次数未达到所设置的最小迭代次数E时,若损失函数loss不再下降,则停止训练;当迭代次数达到所设置的最小迭代次数E时,则停止训练,得到训练好的卷积神经网络模型;否则,继续进行迭代优化。
具体的,步骤S6中,对于未知类别的遥感图像Iunkown进行min-max标准化处理,使图像内的像素点的值在[0,1]之间,得到归一化处理之后的待分类样本I'unkown;将归一化之后的样本输入到已经训练好的网络中,网络输出的分类结果即样本的预测结果。
更进一步的,本发明的特点还在于:
本发明的另一技术方案是,一种存储一个或多个程序的计算机可读存储介质,所述一个或多个程序包括指令,所述指令当由计算设备执行时,使得所述计算设备执行根据所述的方法中的任一方法。
本发明的另一技术方案是,一种计算设备,包括:
一个或多个处理器、存储器及一个或多个程序,其中一个或多个程序存储在所述存储器中并被配置为所述一个或多个处理器执行,所述一个或多个程序包括用于执行所述的方法中的任一方法的指令。
与现有技术相比,本发明至少具有以下有益效果:
本发明是一种基于双支路深度多尺度网络的遥感图像分类方法,结合了空洞卷积和自适应融合方法,由于空洞卷积可以在不增加额外参数的情况下扩大卷积核的感受野,这可以使得卷积核更灵活的捕捉不同尺度大小的目标,增加网络的多尺度特性;通过注意力机制的自适应融合方法可以自适应的融合不同尺度的特征,让网络有选择不同尺度特征的能力。本发明可以使深度神经网络模型能够捕捉多尺度特征并灵活运用多尺度特征。
进一步的,使用80%的样本作为训练数据集,可以使网络更充分的捕捉样本集的特征,使用20%作为验证数据集,以保证网络的有效性;通过对数据进行max-min归一化处理,可以增强网络的稳定性,进一步加快网络的收敛速度。
进一步的,通过使用在浅层设置两个并行的不同大小感受野的卷积层,可以提取到两个不同尺度的特征,从而在卷积神经网络中引入丰富的多尺度信息,使得网络能够提取多尺度特征。空洞卷积可以在不增加网络参数的情况下,扩大卷积核的感受野,使得网络拥有捕捉不同大小的目标的能力。
进一步的,通过对特征进行池化压缩操作和全连接层操作,可以给两个分支包含不同尺度信息的特征图以不同的权重,进而自适应的选择出更关键的信息进行融合,最终更灵活的利用多尺度特征,减少特征图中的冗余信息。
进一步的,通过设置多层的串联卷积层结构,可以更有效的提取出稳定且具有鉴别性的特征。浅层的低级特征可以经过多层卷积层转变为深层的高级语义特征,更有益于最终的分类结果。
进一步的,交叉熵函数在面对多分类问题时,可以有效地定位网络的损失,结合梯度下降算法,可以是网络在庞大搜索空间中收敛。同时,通过设置合适的超参数,可以有效地减少过拟合现象。
综上所述,本发明通过设置拥有不同感受野的并行特征提取模块,并结合注意力机制自适应融合多尺度特征,构建了一种基于双支路深度多尺度网络的遥感图像分类方法,利用空洞卷积在卷积神经网络中引入了丰富的多尺度特性,并结合注意力机制,自适应地选择合适的特征进行融合,减少冗余信息,更灵活的选择多尺度特征可以让网络更灵活的解决目标大小不一致的问题,提升网络的稳定性,进而提升网络模型的分类能力。
下面通过附图和实施例,对本发明的技术方案做进一步的详细描述。
附图说明
图1为本发明基本流程图;
图2为本发明深度多尺度网络模型图;
图3为基于通道注意力的自适应融合模块结构图。
具体实施方式
本发明提供了一种基于双支路深度多尺度网络的遥感图像分类方法、存储介质及计算设备,利用空洞卷积获取图像的多尺度特征,然后利用通道注意力机制自适应地融合多尺度特征,再将融合后的多尺度特征通过多层残差模块提取出高级语义信息,最后通过全连接层和softmax函数实现图像分类。
请参阅图1,本发明一种基于双支路深度多尺度网络的遥感图像分类方法,包括以下步骤:
S1、创建遥感图像集,对样本进行标准化处理,得到训练样本集和测试样本集;
S101、获取UC_Merced图像,建立遥感图像样本集I={I1,I2,…Ii…,IN},并根据每个样本对应的标签建立对应的样本标签集L={L1,L2,…Li…,LN},标签集中的标签Li对应样本集中样本Ii的类别,Ii表示样本集中的第i个样本,i∈[0,N],N表示样本集中总的样本个数;
S102、对样本集中的样本进行min-max标准化处理:
Figure BDA0002678358230000081
其中,Imin表示所有样本中的所有像素点处像素值的最小值,Imax表示所有样本中的所有像素点处像素值的最大值,{I1′,I2′,…Ii′…,IN′}表示标准化处理之后的样本集,其中每个样本的每一个像素点处的像素值都在[0,1]之间。
S103、将归一化之后的数据集分为训练数据集Train和测试数据集Test,对于每一类样本,将其中的80%作为训练样本集,其余的20%作为测试样本集,最终得到训练样本集{Train1,Train2,…Trainm…,TrainM}和测试样本集{Test1,Test2,…Testj…,TestJ};
其中,Trainm为训练数据集中的第m个样本,m∈[0,M],M为训练集中样本的总个数,M<N;Testj为测试数据集中的第j个样本,j∈[0,J],J为训练集中样本的总个数,J<N。
S2、设置多尺度特征提取模块;
S201、设置两个并行的卷积模块,其中两个卷积模块参数共享,但是空洞率不同。输入为经过min-max处理后的样本,将其裁减至224*224*3;输出为两个拥有相同尺寸的特征图,其尺寸为112*112*64;
S202、两个卷积模块均使用3*3的卷积核,卷积模块中有两个串联的卷积层,第一个卷积层步长为1,第二个卷积层步长为2,是的输出特征的尺寸减小为原来的1/2,两个卷积模块参数共享,输出两个包含不同尺度信息的特征图Oa和Ob
第一个卷积块conva,layera.1使用3*3的卷积核,步长为1,layera.2也使用3*3的卷积核,步长为2,其空洞率设置为1,输出特征图Oa,其尺寸为112*112*64;
第一个卷积块convb,layerb.1使用3*3的卷积核,步长为1,layerb.2也使用3*3的卷积核,步长为2,其空洞率设置为2,输出特征图Ob,其尺寸为112*112*64;
S3、设置自适应特征融合模块,包括有全局池化构成的压缩操作,2个全连接层,还有softmax函数构成的激活操作,如图2所示,具体描述如下:
S301、输入的两个特征图Oa和Ob尺寸为W×H×C,将其相加得到总的特征图O,其尺寸为W×H×C,对O使用全局平均池化操作,得到包含全局信息的卷积特征图z,其尺寸为1×1×C;
Figure BDA0002678358230000091
S302、将全局特征z通过两个全连接层和softmax激活层,生成两组不同的权重p和q,其中,p和q的尺寸为1×1×C,对于第一个全连接层,其参数个数为
Figure BDA0002678358230000092
其输出尺寸为1×1×C/r,其中r为超参数,本实验中设置为16;
对于第二个全连接层,其参数个数为
Figure BDA0002678358230000093
其输出尺寸为1×2×C,将其分为两个不同的特征p′和q′,其尺寸都为1×1×C;
S303、对于两个全连接层输出的特征p′和q′用softmax函数激活,并分离为两组不同的权重p和q;
Softmax函数为:
Figure BDA0002678358230000094
其中,Si表示输出第i个位置上的值,ei表示输入第i个位置上的值;
将两个权重p和q按通道分别乘以两个输入特征Oa和Ob中,再将其相加,得到融合后的特征图O:
K=p·O1+q·O2
其中,K为自适应融合后的特征,其中包含不同尺度的信息;
S4、搭建整个神经网络模型;
S401、搭建一个有八个卷积模块的深度特征提取部分,将融合后的多尺度特征图送入,输入特征图尺寸为112*112*64;
第一个卷积块conv1:输入为多尺度特征图,layer1.1使用3×3的卷积核,步长为1,layer1.2使用3×3的卷积核,步长为2,使得输出特征图尺寸为56×56×64;
第二个卷积块conv2:输入为第一个卷积块的输出。Layer2.1使用3×3的卷积核,步长为1,layer2.2使用3×3的卷积核,步长为1,使得输出特征图尺寸为56×56×64;
第三个卷积块conv3:输入为第二个卷积块的输出。Layer3.1使用3×3的卷积核,步长为1,layer3.2使用3×3的卷积核,步长为2,使得输出特征图尺寸为28×28×128;
第四个卷积块conv4:输入为第三个卷积块的输出。Layer4.1使用3×3的卷积核,步长为1,layer4.2使用3×3的卷积核,步长为1,使得输出特征图尺寸为28×28×128;
第五个卷积块conv5:输入为第四个卷积块的输出。Layer5.1使用3×3的卷积核,步长为1,layer5.2使用3×3的卷积核,步长为2,使得输出特征图尺寸为14×14×256;
第六个卷积块conv6:输入为第五个卷积块的输出。Layer6.1使用3×3的卷积核,步长为1,layer6.2使用3×3的卷积核,步长为1,使得输出特征图尺寸为14×14×256;
第七个卷积块conv7:输入为第六个卷积块的输出。Layer7.1使用3×3的卷积核,步长为1,layer7.2使用3×3的卷积核,步长为2,使得输出特征图尺寸为7×7×512;
第八个卷积块conv8:输入为第七个卷积块的输出。Layer8.1使用3×3的卷积核,步长为1,layer8.2使用3×3的卷积核,步长为1,使得输出特征图尺寸为7×7×512;
S402、使用全局池化层将提取到的深度语义特征压缩为一维特征,输入为卷积模块的输出特征图,输出为一维的全局特征;
卷积模块的输出特征图尺寸为7×7×512,通过全局平均池化得到一维的全局特征,其尺寸为1×1×512;
S403、使用全连接层进行最终结果的分类;
全连接层卷积核大小为512*T,其输出为一维向量,长度为T,其中T等于样本集合中所包含类别的个数。使用softmax回归函数预测各类别的概率,公式如下:
Figure BDA0002678358230000111
其中,Out表示全连接层的输出,作为softmax函数的输入,j表示当前类别,j∈[0,T],pj表示输入图像被判别为第j类的概率。
S5、对整个卷积神经网络模型进行迭代训练;
S501、设置迭代训练时的超参数:总的迭代次数E,学习率η,训练时每一批次的批量大小B,即每一次训练时,训练样本集{Train1,Train2,…Trainm…,TrainM}每次输入B个样本,则整个样本集每一轮训练所需要的输入次数Q为:
Figure BDA0002678358230000112
其中,M为训练数据集中的样本总数。
S502、设置损失函数:由于是多分类问题,故选择交叉熵函数作为损失函数:
Figure BDA0002678358230000121
上式表示所有样本的交叉熵损失函数总和,对于样本Trainm而言,ym表示样本的实际类别,om表示模型所预测出的类别。
S503、通过梯度下降算法降低损失函数从而迭代训练网络,每次迭代时通过下式对网络中的参数进行更新:
Figure BDA0002678358230000122
其中,Wt表示第t次迭代的卷积核参数,losst表示第t次迭代时权重参数所带来的损失,
Figure BDA0002678358230000123
即是本次更新的梯度值,Wt+1表示第t次迭代更新后的卷积核参数。如此反复迭代更新卷积核参数,便可使网络的损失函数越来越小,分类结果越来越趋近于实际类别。
S504、当迭代次数未达到所设置的最小迭代次数E时,若损失函数loss不再下降,则停止训练;当迭代次数达到所设置的最小迭代次数E时,则停止训练,得到训练好的卷积神经网络模型;否则,继续进行迭代优化。
S6、对需要预测的未知样本进行分类。
S601、对于未知类别的遥感图像Iunkown进行min-max标准化处理,使图像内的像素点的值在[0,1]之间,得到归一化处理之后的待分类样本I'unkown
S602、将归一化之后的样本输入到已经训练好的网络中,网络输出的分类结果即是对该样本的预测结果。
为使本发明实施例的目的、技术方案和优点更加清楚,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本发明一部分实施例,而不是全部的实施例。通常在此处附图中的描述和所示的本发明实施例的组件可以通过各种不同的配置来布置和设计。因此,以下对在附图中提供的本发明的实施例的详细描述并非旨在限制要求保护的本发明的范围,而是仅仅表示本发明的选定实施例。基于本发明中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
仿真条件:
本实例在HP-Z840-Workstation with Xeon(R)CPU E5-2630,GeForce 1080ti,64G RAM,Windows系统下,Pytorch运行平台上,完成本发明以及现有遥感图像场景分类仿真。
参数设置:
学习率固定为0.001,η=0.001,每次输入图片数B为16次,衰减率β为0.9,两个支路中的空洞率分别设置为1和2。
实验结果:
以上述仿真条件下,对于UCMerced_LandUse使用80%作为训练样本集,20%作为测试样本集。在测试样本集上,本方法分别和现有代表性的三种深度学习模型进行对比,结果如表1所示:
表1:测试分类准确率比较
Figure BDA0002678358230000131
表1中的GSoP-Net为现有的基于二阶特征深度模型的遥感图像分类方法,ECA-Net为现有的基于通道注意力机制的遥感图像分类方法,如图3所示。从表一中可以看出,在相同实验条件下,本发明的准确率要高于现有代表性的遥感图像分类模型。
综上所述,本发明一种基于双支路深度多尺度网络的遥感图像分类方法、存储介质及计算设备,首先对样本集进行合理的预处理并分为训练集和测试集,通过使用并行的具有不同空洞率的卷积层,可以捕捉到不同尺度的信息,从而在整个模型中引入多尺度信息,进一步通过自适应模块选择出不同尺度特征图中的有用信息进行融合,充分利用了多尺度特征中的信息,最后通过多层的卷及操作生成鲁棒性且具有强鉴别性的特征用于最后的分类,通过训练集对整个神经网络进行迭代训练使得网络具有正确分类能力。最后,便可以对未知类别的图片进行分类。
本领域内的技术人员应明白,本申请的实施例可提供为方法、系统、或计算机程序产品。因此,本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且,本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器,使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中,使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品,该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上,使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理,从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
以上内容仅为说明本发明的技术思想,不能以此限定本发明的保护范围,凡是按照本发明提出的技术思想,在技术方案基础上所做的任何改动,均落入本发明权利要求书的保护范围之内。

Claims (10)

1.一种遥感图像分类方法,其特征在于,包括以下步骤:
S1、创建遥感图像集,对遥感图像集进行标准化处理,得到训练样本集和测试样本集;
S2、设置多尺度特征提取模块,包括两个并行的卷积模块,通过在两个并行的卷积模块中设置不同的空洞卷积,提取出不同尺度的信息,生成两个尺度的特征图;
S3、设置自适应特征融合模块,包括全局池化构成的压缩操作,两个全连接层以及softmax函数构成的激活操作,自适应特征融合模块能够自适应的选择步骤S2中生成的两个不同尺度的特征中的有用信息并进行融合;
S4、搭建整个神经网络模型,以步骤S3中融合得到的包含多尺度信息的卷积特征作为输入;
S5、使用步骤S1中所得到的训练样本集对步骤S4整个神经网络模型进行迭代训练;
S6、在测试样本中随机选择样本作为位置类别样本,利用步骤S5训练好的神经网络对对需要预测的未知样本进行分类。
2.根据权利要求1所述的遥感图像分类方法存储介质及计算设备,其特征在于,步骤S1具体为:
S101、获取UC_Merced图像,建立遥感图像样本集I={I1,I2,…Ii…,IN},并根据每个样本对应的标签建立对应的样本标签集L={L1,L2,…Li…,LN},标签集中的标签Li对应样本集中样本Ii的类别,Ii表示样本集中的第i个样本,i∈[0,N],N表示样本集中总的样本个数;
S102、对样本集中的样本进行min-max归一化处理;
S103、将归一化之后的数据集分为训练数据集Train和测试数据集Test,对于每一类样本,将80%作为训练样本集,剩余20%作为测试样本集,得到训练样本集{Train1,Train2,…Trainm…,TrainM}和测试样本集{Test1,Test2,…Testj…,TestJ},其中,Trainm为训练数据集中的第m个样本,m∈[0,M],M为训练集中样本的总个数,M<N;Testj为测试数据集中的第j个样本,j∈[0,J],J为训练集中样本的总个数,J<N。
3.根据权利要求1所述的遥感图像分类方法存储介质及计算设备,其特征在于,步骤S2中,两个卷积模块的输入为经过min-max处理后的样本,裁减至224*224*3;输出为两个拥有相同尺寸的特征图,尺寸为112*112*64;卷积模块中有两个串联的卷积层,两个卷积模块参数共享,输出两个包含不同尺度信息的特征图Oa和Ob
4.根据权利要求3所述的遥感图像分类方法存储介质及计算设备,其特征在于,第一个卷积块conva,layera.1使用3*3的卷积核,步长为1,layera.2也使用3*3的卷积核,步长为2,其空洞率设置为1,输出特征图Oa的尺寸为112*112*64;
第一个卷积块convb,layerb.1使用3*3的卷积核,步长为1,layerb.2也使用3*3的卷积核,步长为2,其空洞率设置为2,输出特征图Ob的尺寸为112*112*64。
5.根据权利要求1所述的遥感图像分类方法存储介质及计算设备,其特征在于,步骤S3具体为:
S301、将两个尺寸为W×H×C的特征图Oa和Ob相加得到总的特征图O,特征图O的尺寸为W×H×C,对O使用全局平均池化操作,得到包含全局信息的卷积特征图z,卷积特征图z的尺寸为1×1×C;
S302、将卷积特征图z通过两个全连接层和softmax激活层生成两组不同的权重p和q,p和q的尺寸为1×1×C,对于第一个全连接层,参数个数为
Figure FDA0002678358220000031
输出尺寸为1×1×C/r,r为超参数;对于第二个全连接层,参数个数为
Figure FDA0002678358220000032
输出尺寸为1×2×C,分为两个不同的特征p′和q′,尺寸均为1×1×C;
S303、对于两个全连接层输出的特征p′和q′用softmax函数激活,并分离为两组不同的权重p和q,将两个权重p和q按通道分别乘以两个输入特征Oa和Ob,再将其相加得到融合后的特征图O。
6.根据权利要求1所述的遥感图像分类方法存储介质及计算设备,其特征在于,步骤S4具体为:
S401、搭建一个有八个卷积模块的深度特征提取部分,将融合后的多尺度特征图送入,输入特征图尺寸为112*112*64;
S402、使用全局池化层将提取到的深度语义特征压缩为一维特征,输入为卷积模块的输出特征图,输出为一维的全局特征,尺寸为1×1×512;
S403、使用卷积核大小为512*T的全连接层进行最终结果的分类,T等于样本集合中所包含类别的个数。
7.根据权利要求1所述的遥感图像分类方法存储介质及计算设备,其特征在于,步骤S5具体为:
S501、设置迭代训练时的超参数,包括总的迭代次数E,学习率η,训练时每一批次的批量大小B,即每一次训练时,训练样本集{Train1,Train2,…Trainm…,TrainM}每次输入B个样本,整个样本集每一轮训练所需要的输入次数为Q;
S502、选择交叉熵函数
Figure FDA0002678358220000033
作为损失函数;
S503、通过梯度下降算法降低步骤S502损失函数,迭代训练网络,每次迭代时对网络中的参数进行更新,第t次迭代更新后的卷积核参数Wt+1如下:
Figure FDA0002678358220000041
其中,Wt表示第t次迭代的卷积核参数,losst表示第t次迭代时权重参数所带来的损失,
Figure FDA0002678358220000042
即是本次更新的梯度值;
S504、当迭代次数未达到所设置的最小迭代次数E时,若损失函数loss不再下降,则停止训练;当迭代次数达到所设置的最小迭代次数E时,则停止训练,得到训练好的卷积神经网络模型;否则,继续进行迭代优化。
8.根据权利要求1所述的遥感图像分类方法存储介质及计算设备,其特征在于,步骤S6中,对于未知类别的遥感图像Iunkown进行min-max标准化处理,使图像内的像素点的值在[0,1]之间,得到归一化处理之后的待分类样本I'unkown;将归一化之后的样本输入到已经训练好的网络中,网络输出的分类结果即样本的预测结果。
9.一种存储一个或多个程序的计算机可读存储介质,其特征在于,所述一个或多个程序包括指令,所述指令当由计算设备执行时,使得所述计算设备执行根据权利要求1至8所述的方法中的任一方法。
10.一种计算设备,其特征在于,包括:
一个或多个处理器、存储器及一个或多个程序,其中一个或多个程序存储在所述存储器中并被配置为所述一个或多个处理器执行,所述一个或多个程序包括用于执行根据权利要求1至8所述的方法中的任一方法的指令。
CN202010955163.0A 2020-09-11 2020-09-11 一种遥感图像分类方法、存储介质及计算设备 Active CN112101190B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010955163.0A CN112101190B (zh) 2020-09-11 2020-09-11 一种遥感图像分类方法、存储介质及计算设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010955163.0A CN112101190B (zh) 2020-09-11 2020-09-11 一种遥感图像分类方法、存储介质及计算设备

Publications (2)

Publication Number Publication Date
CN112101190A true CN112101190A (zh) 2020-12-18
CN112101190B CN112101190B (zh) 2023-11-03

Family

ID=73752567

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010955163.0A Active CN112101190B (zh) 2020-09-11 2020-09-11 一种遥感图像分类方法、存储介质及计算设备

Country Status (1)

Country Link
CN (1) CN112101190B (zh)

Cited By (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111027670A (zh) * 2019-11-04 2020-04-17 重庆特斯联智慧科技股份有限公司 特征图处理方法、装置、电子设备及存储介质
CN112651468A (zh) * 2021-01-18 2021-04-13 佛山职业技术学院 一种多尺度轻量化图像分类方法及其存储介质
CN112766283A (zh) * 2021-01-25 2021-05-07 西安电子科技大学 一种基于多尺度卷积网络的两相流流型识别方法
CN112861978A (zh) * 2021-02-20 2021-05-28 齐齐哈尔大学 一种基于注意力机制的多分支特征融合遥感场景图像分类方法
CN112949771A (zh) * 2021-04-08 2021-06-11 河海大学 一种基于多深度多尺度层级注意力融合机制的高光谱遥感影像分类方法
CN113111975A (zh) * 2021-05-12 2021-07-13 合肥工业大学 基于多核尺度卷积神经网络的sar图像目标分类方法
CN113239815A (zh) * 2021-05-17 2021-08-10 广东工业大学 一种基于真实语义全网络学习的遥感影像分类方法、装置及设备
CN113255514A (zh) * 2021-05-24 2021-08-13 西安理工大学 基于局部场景感知图卷积网络的行为识别方法
CN113298092A (zh) * 2021-05-28 2021-08-24 有米科技股份有限公司 用于多层次图像轮廓信息提取的神经网络训练方法及装置
CN113538615A (zh) * 2021-06-29 2021-10-22 中国海洋大学 基于双流生成器深度卷积对抗生成网络的遥感图像上色方法
CN113611315A (zh) * 2021-08-03 2021-11-05 南开大学 基于轻量化卷积神经网络的声纹识别方法和装置
CN113643239A (zh) * 2021-07-15 2021-11-12 上海交通大学 一种基于记存机制的异常检测方法、装置和介质
CN114092819A (zh) * 2022-01-19 2022-02-25 成都四方伟业软件股份有限公司 一种图像分类方法及装置
CN114511452A (zh) * 2021-12-06 2022-05-17 中南大学 融合多尺度空洞卷积和三元组注意力的遥感图像检索方法
CN115063396A (zh) * 2022-07-11 2022-09-16 浙江金汇华特种耐火材料有限公司 长寿命耐火砖的制备系统及其制备方法
CN115170979A (zh) * 2022-06-30 2022-10-11 国家能源投资集团有限责任公司 一种多源数据融合的矿区精细用地分类方法
CN116030358A (zh) * 2022-12-20 2023-04-28 中国科学院空天信息创新研究院 面向星群分布式的参数特征融合的遥感细粒度分类方法
CN116524368A (zh) * 2023-04-14 2023-08-01 北京卫星信息工程研究所 遥感图像目标检测方法
CN116721301A (zh) * 2023-08-10 2023-09-08 中国地质大学(武汉) 目标场景分类模型训练方法、分类方法、设备及存储介质
CN112651468B (zh) * 2021-01-18 2024-06-04 佛山职业技术学院 一种多尺度轻量化图像分类方法及其存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110334765A (zh) * 2019-07-05 2019-10-15 西安电子科技大学 基于注意力机制多尺度深度学习的遥感影像分类方法
CN110728224A (zh) * 2019-10-08 2020-01-24 西安电子科技大学 一种基于注意力机制深度Contourlet网络的遥感图像分类方法
CN111523521A (zh) * 2020-06-18 2020-08-11 西安电子科技大学 一种双支路融合多尺度注意神经网络的遥感图像分类方法
WO2020169043A1 (zh) * 2019-02-21 2020-08-27 苏州大学 一种密集人群计数的方法、装置、设备以及存储介质

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020169043A1 (zh) * 2019-02-21 2020-08-27 苏州大学 一种密集人群计数的方法、装置、设备以及存储介质
CN110334765A (zh) * 2019-07-05 2019-10-15 西安电子科技大学 基于注意力机制多尺度深度学习的遥感影像分类方法
CN110728224A (zh) * 2019-10-08 2020-01-24 西安电子科技大学 一种基于注意力机制深度Contourlet网络的遥感图像分类方法
CN111523521A (zh) * 2020-06-18 2020-08-11 西安电子科技大学 一种双支路融合多尺度注意神经网络的遥感图像分类方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
马永杰;程时升;马芸婷;陈敏;: "多尺度特征融合与极限学习机结合的交通标志识别", 液晶与显示, no. 06 *

Cited By (34)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111027670A (zh) * 2019-11-04 2020-04-17 重庆特斯联智慧科技股份有限公司 特征图处理方法、装置、电子设备及存储介质
CN111027670B (zh) * 2019-11-04 2022-07-22 重庆特斯联智慧科技股份有限公司 特征图处理方法、装置、电子设备及存储介质
CN112651468A (zh) * 2021-01-18 2021-04-13 佛山职业技术学院 一种多尺度轻量化图像分类方法及其存储介质
CN112651468B (zh) * 2021-01-18 2024-06-04 佛山职业技术学院 一种多尺度轻量化图像分类方法及其存储介质
CN112766283A (zh) * 2021-01-25 2021-05-07 西安电子科技大学 一种基于多尺度卷积网络的两相流流型识别方法
CN112766283B (zh) * 2021-01-25 2023-03-24 西安电子科技大学 一种基于多尺度卷积网络的两相流流型识别方法
CN112861978A (zh) * 2021-02-20 2021-05-28 齐齐哈尔大学 一种基于注意力机制的多分支特征融合遥感场景图像分类方法
CN112949771A (zh) * 2021-04-08 2021-06-11 河海大学 一种基于多深度多尺度层级注意力融合机制的高光谱遥感影像分类方法
CN113111975A (zh) * 2021-05-12 2021-07-13 合肥工业大学 基于多核尺度卷积神经网络的sar图像目标分类方法
CN113239815A (zh) * 2021-05-17 2021-08-10 广东工业大学 一种基于真实语义全网络学习的遥感影像分类方法、装置及设备
CN113239815B (zh) * 2021-05-17 2022-09-06 广东工业大学 一种基于真实语义全网络学习的遥感影像分类方法、装置及设备
CN113255514A (zh) * 2021-05-24 2021-08-13 西安理工大学 基于局部场景感知图卷积网络的行为识别方法
CN113255514B (zh) * 2021-05-24 2023-04-07 西安理工大学 基于局部场景感知图卷积网络的行为识别方法
CN113298092A (zh) * 2021-05-28 2021-08-24 有米科技股份有限公司 用于多层次图像轮廓信息提取的神经网络训练方法及装置
CN113538615A (zh) * 2021-06-29 2021-10-22 中国海洋大学 基于双流生成器深度卷积对抗生成网络的遥感图像上色方法
CN113538615B (zh) * 2021-06-29 2024-01-09 中国海洋大学 基于双流生成器深度卷积对抗生成网络的遥感图像上色方法
CN113643239A (zh) * 2021-07-15 2021-11-12 上海交通大学 一种基于记存机制的异常检测方法、装置和介质
CN113643239B (zh) * 2021-07-15 2023-10-27 上海交通大学 一种基于记存机制的异常检测方法、装置和介质
CN113611315B (zh) * 2021-08-03 2023-09-22 南开大学 基于轻量化卷积神经网络的声纹识别方法和装置
CN113611315A (zh) * 2021-08-03 2021-11-05 南开大学 基于轻量化卷积神经网络的声纹识别方法和装置
CN114511452B (zh) * 2021-12-06 2024-03-19 中南大学 融合多尺度空洞卷积和三元组注意力的遥感图像检索方法
CN114511452A (zh) * 2021-12-06 2022-05-17 中南大学 融合多尺度空洞卷积和三元组注意力的遥感图像检索方法
CN114092819B (zh) * 2022-01-19 2022-04-19 成都四方伟业软件股份有限公司 一种图像分类方法及装置
CN114092819A (zh) * 2022-01-19 2022-02-25 成都四方伟业软件股份有限公司 一种图像分类方法及装置
CN115170979B (zh) * 2022-06-30 2023-02-24 国家能源投资集团有限责任公司 一种多源数据融合的矿区精细用地分类方法
CN115170979A (zh) * 2022-06-30 2022-10-11 国家能源投资集团有限责任公司 一种多源数据融合的矿区精细用地分类方法
CN115063396B (zh) * 2022-07-11 2023-04-18 浙江金汇华特种耐火材料有限公司 长寿命耐火砖的制备系统及其制备方法
CN115063396A (zh) * 2022-07-11 2022-09-16 浙江金汇华特种耐火材料有限公司 长寿命耐火砖的制备系统及其制备方法
CN116030358B (zh) * 2022-12-20 2023-06-23 中国科学院空天信息创新研究院 面向星群分布式的参数特征融合的遥感细粒度分类方法
CN116030358A (zh) * 2022-12-20 2023-04-28 中国科学院空天信息创新研究院 面向星群分布式的参数特征融合的遥感细粒度分类方法
CN116524368A (zh) * 2023-04-14 2023-08-01 北京卫星信息工程研究所 遥感图像目标检测方法
CN116524368B (zh) * 2023-04-14 2023-12-19 北京卫星信息工程研究所 遥感图像目标检测方法
CN116721301A (zh) * 2023-08-10 2023-09-08 中国地质大学(武汉) 目标场景分类模型训练方法、分类方法、设备及存储介质
CN116721301B (zh) * 2023-08-10 2023-10-24 中国地质大学(武汉) 目标场景分类模型训练方法、分类方法、设备及存储介质

Also Published As

Publication number Publication date
CN112101190B (zh) 2023-11-03

Similar Documents

Publication Publication Date Title
CN112101190B (zh) 一种遥感图像分类方法、存储介质及计算设备
CN110263324B (zh) 文本处理方法、模型训练方法和装置
CN110728224B (zh) 一种基于注意力机制深度Contourlet网络的遥感图像分类方法
US20220215227A1 (en) Neural Architecture Search Method, Image Processing Method And Apparatus, And Storage Medium
CN112446476A (zh) 神经网络模型压缩的方法、装置、存储介质和芯片
EP4163831A1 (en) Neural network distillation method and device
WO2021218517A1 (zh) 获取神经网络模型的方法、图像处理方法及装置
CN112639828A (zh) 数据处理的方法、训练神经网络模型的方法及设备
CN113705769A (zh) 一种神经网络训练方法以及装置
WO2021042857A1 (zh) 图像分割模型的处理方法和处理装置
CN112381763A (zh) 一种表面缺陷检测方法
CN113240079A (zh) 一种模型训练方法及装置
CN113592060A (zh) 一种神经网络优化方法以及装置
WO2022063076A1 (zh) 对抗样本的识别方法及装置
US20220222934A1 (en) Neural network construction method and apparatus, and image processing method and apparatus
CN111709415A (zh) 目标检测方法、装置、计算机设备和存储介质
CN114861842A (zh) 少样本目标检测方法、装置和电子设备
CN116797850A (zh) 基于知识蒸馏和一致性正则化的类增量图像分类方法
CN111783688A (zh) 一种基于卷积神经网络的遥感图像场景分类方法
WO2023071658A1 (zh) Ai模型的处理方法、运算方法及装置
Zerrouk et al. Evolutionary algorithm for optimized CNN architecture search applied to real-time boat detection in aerial images
CN114330650A (zh) 基于进化元学习模型训练的小样本特征分析方法及装置
US11657282B2 (en) Efficient inferencing with fast pointwise convolution
CN115129863A (zh) 意图识别方法、装置、设备、存储介质和计算机程序产品
WO2022104271A1 (en) Automatic early-exiting machine learning models

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant