CN111325165B - 考虑空间关系信息的城市遥感影像场景分类方法 - Google Patents

考虑空间关系信息的城市遥感影像场景分类方法 Download PDF

Info

Publication number
CN111325165B
CN111325165B CN202010118553.2A CN202010118553A CN111325165B CN 111325165 B CN111325165 B CN 111325165B CN 202010118553 A CN202010118553 A CN 202010118553A CN 111325165 B CN111325165 B CN 111325165B
Authority
CN
China
Prior art keywords
remote sensing
information
sensing image
spatial
conv
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010118553.2A
Other languages
English (en)
Other versions
CN111325165A (zh
Inventor
陶超
鲁伟鹏
齐霁
李海峰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Central South University
Original Assignee
Central South University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Central South University filed Critical Central South University
Priority to CN202010118553.2A priority Critical patent/CN111325165B/zh
Publication of CN111325165A publication Critical patent/CN111325165A/zh
Priority to US17/168,580 priority patent/US11710307B2/en
Application granted granted Critical
Publication of CN111325165B publication Critical patent/CN111325165B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G06V20/13—Satellite images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G06V20/176—Urban or other man-made structures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/213—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods
    • G06F18/2134—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods based on separation criteria, e.g. independent component analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/217—Validation; Performance evaluation; Active pattern learning techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/047—Probabilistic or stochastic networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/32—Normalisation of the pattern dimensions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/751—Comparing pixel values or logical combinations thereof, or feature values having positional relevance, e.g. template matching
    • G06V10/7515—Shifting the patterns to accommodate for positional errors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/7715—Feature extraction, e.g. by transforming the feature space, e.g. multi-dimensional scaling [MDS]; Mappings, e.g. subspace methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/776—Validation; Performance evaluation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent

Abstract

本发明公开了考虑空间关系信息的城市遥感影像场景分类方法，包括以下步骤：将遥感影像进行均匀无重叠裁剪成子图；对每一个子图进行视觉信息编码，获得特征图像FV；将FV输入交叉传递单元获得层次化空间特征；对所述的层次化空间特征进行卷积降维；对降维后的特征进行softmax模型分类，获得分类结果。本发明方法综合考虑两种空间关系信息：局部空间信息和长程空间信息在分类中的作用，在交叉传递单元中设计了三种路径的信息融合，从而获得了较好的城市遥感影像场景分类结果。

Description

考虑空间关系信息的城市遥感影像场景分类方法
技术领域
本发明属于遥感影像分析和深度学习技术领域，涉及大尺度高分辨率遥感影像的场景分类方法，具体涉及考虑空间关系信息的城市遥感影像场景分类方法。
背景技术
随着遥感影像分辨率的不断提高，影像的分析已经从面向像素和面向对象阶段进入了面向场景阶段。城市场景的准确提取分类对城市规划、交通运输等方面发挥着重要的作用。自2012年以来深度学习在数字图像处理中的迅速发展，国内外许多研究人员已经开始将深度学习技术与遥感影像分析分类结合。如：Liu等通过在卷积神经网络中引入多级金字塔结构，提出了SPP-Net+MKL模型，实现了多尺度的遥感影像分析(参考文献：LIU Q,HANGR,SONG H,et al.2017.Learning multiscale deep features for high-resolutionsatellite image scene classification.IEEE Transactions on Geoscience andRemote Sensing[J],56:117-126.)；Cheng等人则通过设计特殊的损失函数，提出了Discriminative CNNs模型，实现了对视觉上相似的不同遥感影像场景的分类(CHENG G,YANG C,YAO X,et al.2018.When deep learning meets metric learning:Remotesensing image scene classification via learning discriminative CNNs.IEEETransactions on Geoscience and Remote Sensing[J],56:2811-2821.)。与自然图片不同的是，遥感影像之间具有更加丰富的空间关系信息。由于自然图像之间几乎没有空间关系，因此基于自然图像分析的深度学习模型不能对于这种空间关系信息进行建模分析。同时，在建立用于模型训练的数据集时，往往影像与影像之间的信息会被抛弃。这两者使得深度学习模型在遥感影像上的总体表现不如其在自然图像上的表现。
发明内容
本发明的目的在于提供考虑空间关系信息的城市遥感影像场景分类方法，本发明方法综合考虑两种空间关系信息：局部空间信息(regional spatial relationship)和长程空间信息(long-range spatial relationship)在分类中的作用，从而获得了较好的城市遥感影像场景分类结果。
本发明的目的是这样实现的，包括以下步骤：
步骤1，将遥感影像进行均匀无重叠裁剪成子图；
步骤2，对每一个子图进行视觉信息编码，获得特征图像FV；
步骤3，将FV输入交叉传递单元获得层次化空间特征；
步骤4，对所述的层次化空间特征进行卷积降维；
步骤5，对降维后的特征进行softmax模型分类，获得分类结果；
步骤1中所述的裁剪过程为：尺寸M×N的大范围遥感影像I被均匀无重叠的滑动裁剪成m×n个子图，每个子图pi，j的尺寸为
Figure GDA0003940445950000021
其中，pi，j在I中的行列号(i，j)作为空间信息保存；
步骤2中所述的视觉信息编码，采用预训练好的深度卷积模型将对每一个子图pi，j进行视觉信息编码，将pi，j转化为一个向量
Figure GDA0003940445950000022
遥感影像I被转换为特征图像FV：
Figure GDA0003940445950000031
所述的交叉传递单元用于局部空间信息与长程空间信息的提取与融合，所述的局部空间信息的提取公式为：Fr＝Conv(Fv)＝Fv*W+b，其中，Fr表示提取分析的空间关系信息，W表示卷积核，b表示偏置量，星号*表示卷积计算，所述的长程空间信息采用基于循环神经网络的ReNet模块进行提取。
优选地，所述的交叉传递单元的输入为特征图像FV，输出为层次化空间特征FE，采用三条路径进行信息的提取分析与传递：第一条路径先对FV进行局部空间信息的提取，而后进行长程空间信息的提取；第二条路径则相反，对FV先进行长程空间信息的提取，而后进行局部空间信息的提取；第三条路径则直接将FV传递到交叉传递单元末端的捷径，不进行额外处理，由此，输出层次化空间特征FE表示为：
FE＝tanh(ReNet2(Conv1(FV))+Conv2(ReNet1(FV))+FV)
其中tanh为双曲正切函数，ReNet1，ReNet2表示两个参数不同的ReNet模块，Conv1和Conv2表示两个参数不同的卷积模块。
优选地，步骤3中所述的特征图像经过三个串联的交叉传递单元，得到的层次化空间特征记为FM；步骤4中采用尺寸为1×1的卷积层Conv1×1对FM进行卷积降维；
在步骤5中，采用softmax模型进行分类，pi，j的分类结果Ci，j表示为：
Ci,j＝argmax(softmax(conv1×1(FM)i,j))
其中argmax(x)表示向量x最大分量所对应的维度。
优选地，所述ReNet模块可以从上下左右四个方向沿像素的行列进行长程空间信息的提取分析。
本发明方法针对现阶段的遥感影像分析方法无法分析影像之间的空间关系，设计了一个可以进行不同影像间空间关系提取分析的模型，模型可大致分为两个部分：视觉信息提取编码部分和空间关系信息融合部分，通过本发明方法能够实现对遥感影像进行较好场景分类，比如对遥感影像中的商业、工业、住宅、机构用地的区分。
附图说明
图1本发明方法的流程示意图；
图2本发明实施例中ReNet模块结构图；
图3本发明实施例中交叉传递单元结构示意图；
图4本发明实施例的数据处理流程示意图。
具体实施方式
下面结合实施例和附图对本发明作进一步的说明，但不以任何方式对本发明加以限制，基于本发明教导所作的任何变换或替换，均属于本发明的保护范围。
针对现阶段的遥感影像分析方法无法分析影像之间的空间关系，设计了一个可以进行不同影像间空间关系提取分析的模型，模型可大致分为两个部分：视觉信息提取编码部分和空间关系信息融合部分，通过本发明方法能够实现对遥感影像进行较好场景分类，比如对遥感影像中的商业、工业、住宅、机构用地的区分。
如图1所示，本发明实施例包括以下步骤：
步骤1，将遥感影像进行均匀无重叠裁剪成子图；
步骤2，对每一个子图进行视觉信息编码，获得特征图像FV；
步骤3，将FV输入交叉传递单元获得层次化空间特征；
步骤4，对所述的层次化空间特征进行卷积降维；
步骤5，对降维后的特征进行softmax分类，获得分类结果。
步骤1中，本实施例为保留遥感影像之间的空间关系信息，一张尺寸为M×N的大范围遥感影像I被均匀无重叠的滑动裁剪成m×n个子图，每个子图pi，j的尺寸为
Figure GDA0003940445950000051
其中，pi，j在I中的行列号(i，j)作为空间信息保存。
步骤2中，对于每一个子图pi，j，采用预训练好的深度卷积模型将对其进行视觉信息编码，将pi，j转化为一个向量
Figure GDA0003940445950000053
最后I将被转换为特征图像FV：
Figure GDA0003940445950000052
在获取到FV后，可将每个
Figure GDA0003940445950000054
视为一个像素，对I中的pi，j分类问题则被转换为对FV的语义分割问题。考虑到场景分布具有面状分布(机场、居民区等)和线状分布(道路、河流等)，本实施例在考虑空间信息时主要考虑两种空间关系信息：局部空间信息(regionalspatial relationship)和长程空间信息(long-range spatial relationship)。对空间关系信息的建模包括以下三个方面：
1、局部空间信息建模
对于FV，局部空间信息可理解为
Figure GDA0003940445950000055
与其一定邻域范围内的向量的关系。卷积神经网络模型通过卷及操作，可以提取融合一定邻域内的信息，从而达到局部空间信息建模的目的。因此在局部空间信息分析中本发明将采用卷积模型。假设用W表示卷积核，b表示偏置量，Fr表示提取分析的空间关系信息，则一层卷机模型可表示为：
Fr＝Conv(Fv)＝Fv*W+b      (2)
其中星号(*)表示卷积计算。
2、长程空间信息建模
ReNet模块结构图如图2所示，对于FV，长程空间信息可理解为可
Figure GDA0003940445950000062
与其所在行列向量的关系。循环神经网络在序列模型中有广泛的应用，其特殊的阶段信息处理结构可以对上下文信息进行综合的分析。考虑到同一行或同一列的fV可以被视为一个序列数据，因此本实施例引入了基于循环神经网络的ReNet模块。ReNet模块可以从上下左右四个方向沿像素的行列进行长程空间信息的提取分析，实验表明，其在部分公开数据及上的表现可以达到卷积神经网络的水平(VISIN F,KASTNER K,CHO K,et al.2015.ReNet:A RecurrentNeural Network Based Alternative to Convolutional Networks.Computer Science[J],25:2983-2996.)。
3、空间关系融合建模
交叉传递单元结构示意图如图3所示，
Figure GDA0003940445950000061
表示相加，本实施例设计了交叉传递单元(crossing transfer unit，CTU)来实现局部空间信息与长程空间信息的融合。CTU以特征图像作为输入(FV)与输出(FE)，采用三条路径进行信息的提取分析与传递：第一条路径先对FV进行局部空间信息的提取，而后进行长程空间信息的提取；第二条路径则相反，对FV先进行长程空间信息的提取，而后进行局部空间信息的提取；第三条路径则直接将FV传递到CTU末端的捷径，不进行额外处理，实验表明，增加一条直传路径可以加速模型的收敛速度(HeK,Zhang X,Ren S,et al.Deep residual learning for image recognition[C]Proceedings of the IEEE conference on computer vision and patternrecognition.2016:770-778.)。最终的输出结果FE可表示为：
FE＝tanh(ReNet2(Conv1(FV))+Conv2(ReNet1(FV))+FV)   (3)
其中tanh为双曲正切函数，ReNet1，ReNet2表示两个参数不同的ReNet模块，Conv1和Conv2表示两个参数不同的卷积模块。
经过三个串联的交叉传递单元，空间关系信息的建模所得到的结果记为FM，本实施例采用一个尺寸为1×1的卷积层Conv1×1对FM进行卷积降维，采用softmax模型进行分类，最终pi，j的分类结果Ci，j可表示为：
Ci,j＝argmax(softmax(conv1×1(FM)i,j))       (4)
其中argmax(x)表示向量x最大分量所对应的维度。
softmax模型训练过程中，损失函数为交叉熵损失，采用反向传播方法来优化模型参数。数据处理的基本流程如图4所示。
实验中所采用的数据集为CSU-RESISC10数据集，该数据集预处理后的训练测试样本分布如表1所示。
表1
Figure GDA0003940445950000071
对于CSU-RESISC10数据集中的每一张2000×2000的遥感影像I，首先将其均匀无重叠地裁剪为20×20个子图pi，j，每个子图地尺寸为100×100。
对于每一个子图pi，j，使用在CSU-RESISC10上预训练的Xception模型将对其进行视觉信息编码，将pi，j转化为一个2048维向量
Figure GDA0003940445950000083
最后I将被转换为特征图像
Figure GDA0003940445950000081
为了减少计算量，在进行下一步计算之前，采用一个尺寸为1×1的卷积将FV降至512维。
预训练共训练50个批次，学习率为10-5，衰减率为0.98，预训练的结果可参照表2第一行。
在进行空间关系建模时，本发明通过增加补边和控制卷积核补偿，保持所有输出特征图像和输入特征图像的尺寸不变。为了充分提取
Figure GDA0003940445950000084
之间的空间关系，本发明采用了3个CTU模块逐级递进地提取层次化空间特征。空间关系建模的最终输出结果为
Figure GDA0003940445950000082
本实施例最后按照公式(4)分类。
模型训练时采用交叉熵作为损失函数，本发明模型共训练100批次，学习率为10-5，衰减率为0.98。在训练约15次后，模型收敛。
为验证本发明的有效性，除本实施例外，额外选择了SPP-Net+MKL、Discriminative CNNs和传统自然图片分类模型Xception(Chollet F.Xception:Deeplearning with depthwise separable convolutions[C]Proceedings of the IEEEconference on computer vision and pattern recognition.2017:1251-1258.)作为对比,在CSU-RESISC10数据集上进行分类实验，并选择F1分数和Kappa系数(κ)作为评价依据。
对比试验中超参数保持与本发明方法一致。各方法在不同场景中的表现如表2所示。
表2
Figure GDA0003940445950000091
实验结果显示，由于场景的复杂性，单一的遥感影像并不能很好地实现对商业、工业、住宅、机构用地的区分。用于对比的三种方法，κ均小于0.78。由于将影像之间的空间关系纳入考虑，本发明方法相较于其他三组对比试验，Kappa的提升幅度分别为10.1％、10.3％和8.8％。

Claims (5)

1.考虑空间关系信息的城市遥感影像场景分类方法，其特征在于，包括以下步骤：
步骤1，将遥感影像进行均匀无重叠裁剪成子图；
步骤2，对每一个子图进行视觉信息编码，获得特征图像FV；
步骤3，将特征图像FV输入交叉传递单元获得层次化空间特征；
步骤4，对所述的层次化空间特征进行卷积降维；
步骤5，对降维后的特征进行softmax模型分类，获得分类结果；
步骤1中所述的裁剪过程为：尺寸M×N的大范围遥感影像I被均匀无重叠的滑动裁剪成m×n个子图，每个子图pi，j的尺寸为
Figure FDA0003940445940000011
其中，pi，j在I中的行列号(i，j)作为空间信息保存；
步骤2中所述的视觉信息编码，采用预训练好的深度卷积模型将对每一个子图pi，j进行视觉信息编码，将pi，j转化为一个向量
Figure FDA0003940445940000013
遥感影像I被转换为特征图像FV：
Figure FDA0003940445940000012
所述的交叉传递单元用于局部空间信息与长程空间信息的提取与融合，所述的局部空间信息的提取公式为：Fr＝Conv(Fv)＝Fv*W+b，其中，Fr表示提取分析的空间关系信息，W表示卷积核，b表示偏置量，星号*表示卷积计算，所述的长程空间信息采用基于循环神经网络的ReNet模块进行提取。
2.根据权利要求1所述的城市遥感影像场景分类方法，其特征在于，所述的交叉传递单元的输入为特征图像FV，输出为层次化空间特征FE，采用三条路径进行信息的提取分析与传递：第一条路径先对FV进行局部空间信息的提取，而后进行长程空间信息的提取；第二条路径先对FV先进行长程空间信息的提取，而后进行局部空间信息的提取；第三条路径则直接将FV传递到交叉传递单元末端的捷径，不进行额外处理，由此，输出层次化空间特征FE表示为：
FE＝tanh(ReNet2(Conv1(FV))+Conv2(ReNet1(FV))+FV)
其中tanh为双曲正切函数，ReNet1，ReNet2表示两个不同的ReNet模块，Conv1和Conv2表示两个不同的卷积模块。
3.根据权利要求1或2所述的城市遥感影像场景分类方法，其特征在于，步骤3中所述的特征图像经过三个串联的交叉传递单元，得到的层次化空间特征记为FM；
在步骤4中，采用尺寸为1×1的卷积层Conv1×1对FM进行卷积降维；
在步骤5中，采用softmax模型进行分类，pi，j的分类结果Ci，j表示为：
Ci,j＝argmax(softmax(conv1×1(FM)i,j))
其中，argmax(x)表示向量x最大分量所对应的维度。
4.根据权利要求1所述的城市遥感影像场景分类方法，其特征在于，所述ReNet模块可以从上下左右四个方向沿像素的行列进行长程空间信息的提取分析。
5.根据权利要求1所述的城市遥感影像场景分类方法，其特征在于，所述softmax模型训练过程中，损失函数为交叉熵损失，采用反向传播方法来优化模型参数。
CN202010118553.2A 2020-02-26 2020-02-26 考虑空间关系信息的城市遥感影像场景分类方法 Active CN111325165B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202010118553.2A CN111325165B (zh) 2020-02-26 2020-02-26 考虑空间关系信息的城市遥感影像场景分类方法
US17/168,580 US11710307B2 (en) 2020-02-26 2021-02-05 Urban remote sensing image scene classification method in consideration of spatial relationships

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010118553.2A CN111325165B (zh) 2020-02-26 2020-02-26 考虑空间关系信息的城市遥感影像场景分类方法

Publications (2)

Publication Number Publication Date
CN111325165A CN111325165A (zh) 2020-06-23
CN111325165B true CN111325165B (zh) 2023-05-05

Family

ID=71163436

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010118553.2A Active CN111325165B (zh) 2020-02-26 2020-02-26 考虑空间关系信息的城市遥感影像场景分类方法

Country Status (2)

Country Link
US (1) US11710307B2 (zh)
CN (1) CN111325165B (zh)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112163550A (zh) * 2020-10-14 2021-01-01 中南大学 基于深度神经网络自动学习的遥感影像场景分类方法
CN112634453A (zh) * 2021-01-27 2021-04-09 河南浩宇空间数据科技有限责任公司 一种基于5g和ai城市遥感技术的数据管理平台
CN113837046A (zh) * 2021-09-17 2021-12-24 西北工业大学 一种基于迭代特征分布学习的小样本遥感图像场景分类方法
CN114238428B (zh) * 2022-02-24 2022-05-13 亿景智联(北京)科技有限公司 一种城市动态地理画像生成方法以及装置
CN116052019B (zh) * 2023-03-31 2023-07-25 深圳市规划和自然资源数据管理中心(深圳市空间地理信息中心) 适合于大区域高分辨率卫星影像的建成区高质量检测方法
CN116721301B (zh) * 2023-08-10 2023-10-24 中国地质大学（武汉） 目标场景分类模型训练方法、分类方法、设备及存储介质
CN117434295B (zh) * 2023-10-24 2024-04-05 广州远动信息技术有限公司 一种声层析信号强度数据的智能处理评价方法
CN117274763B (zh) * 2023-11-21 2024-04-05 珠江水利委员会珠江水利科学研究院 基于平衡点分析的遥感影像空-谱融合方法、系统、设备及介质

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2008106615A1 (en) * 2007-02-28 2008-09-04 Numenta, Inc. Spatio-temporal learning algorithms in hierarchical temporal networks
US11074495B2 (en) * 2013-02-28 2021-07-27 Z Advanced Computing, Inc. (Zac) System and method for extremely efficient image and pattern recognition and artificial intelligence platform
US9619703B2 (en) * 2015-04-10 2017-04-11 Tata Consultancy Services Limited Method and system for geo-demographic classification of a geographical region
CN107392925B (zh) * 2017-08-01 2020-07-07 西安电子科技大学 基于超像素编码和卷积神经网络的遥感影像地物分类方法
US10984532B2 (en) * 2018-08-24 2021-04-20 Ordnance Survey Limited Joint deep learning for land cover and land use classification
CN110096948B (zh) * 2019-03-15 2020-11-17 中国科学院西安光学精密机械研究所 基于特征聚合卷积网络的遥感影像识别方法
CN110555446B (zh) * 2019-08-19 2023-06-02 北京工业大学 基于多尺度深度特征融合和迁移学习的遥感影像场景分类方法

Also Published As

Publication number Publication date
US11710307B2 (en) 2023-07-25
US20210264150A1 (en) 2021-08-26
CN111325165A (zh) 2020-06-23

Similar Documents

Publication Publication Date Title
CN111325165B (zh) 考虑空间关系信息的城市遥感影像场景分类方法
CN110728192B (zh) 一种基于新型特征金字塔深度网络的高分遥感图像分类方法
CN109543502B (zh) 一种基于深度多尺度神经网络的语义分割方法
CN103093444B (zh) 基于自相似性和结构信息约束的图像超分辨重建方法
CN111582316A (zh) 一种rgb-d显著性目标检测方法
CN111612008A (zh) 基于卷积网络的图像分割方法
CN112241939B (zh) 一种基于多尺度和非局部的轻量去雨方法
CN112489164B (zh) 基于改进深度可分离卷积神经网络的图像着色方法
Atif et al. A review on semantic segmentation from a modern perspective
CN113240683B (zh) 基于注意力机制的轻量化语义分割模型构建方法
Xiao et al. Enhancing multiscale representations with transformer for remote sensing image semantic segmentation
CN115393396B (zh) 一种基于掩码预训练的无人机目标跟踪方法
CN111881716A (zh) 一种基于多视角生成对抗网络的行人重识别方法
CN112149526B (zh) 一种基于长距离信息融合的车道线检测方法及系统
CN112233129A (zh) 基于深度学习的并行多尺度注意力机制语义分割方法及装置
CN110852199A (zh) 一种基于双帧编码解码模型的前景提取方法
CN112785626A (zh) 一种基于多尺度特征融合的孪生网络小目标跟踪方法
CN116310305A (zh) 一种基于张量和二阶协方差注意力机制的编解码结构语义分割模型
CN115660955A (zh) 高效多注意力特征融合的超分辨率重建模型、方法、设备及存储介质
CN111461976A (zh) 基于高效轻量级坐标神经网络的图像超分辨率方法
CN113066089B (zh) 一种基于注意力引导机制的实时图像语义分割方法
CN111275076B (zh) 基于特征选择和特征融合的图像显著性检测方法
CN110807369B (zh) 基于深度学习和注意力机制的短视频内容智能分类方法
CN114494284B (zh) 一种基于显式监督区域关系的场景解析模型及方法
CN115775316A (zh) 基于多尺度注意力机制的图像语义分割方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant