CN111582225A - 一种遥感图像场景分类方法及装置 - Google Patents
一种遥感图像场景分类方法及装置 Download PDFInfo
- Publication number
- CN111582225A CN111582225A CN202010425217.2A CN202010425217A CN111582225A CN 111582225 A CN111582225 A CN 111582225A CN 202010425217 A CN202010425217 A CN 202010425217A CN 111582225 A CN111582225 A CN 111582225A
- Authority
- CN
- China
- Prior art keywords
- self
- training
- remote sensing
- residual error
- attention
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 46
- 238000012549 training Methods 0.000 claims abstract description 161
- 238000012360 testing method Methods 0.000 claims abstract description 43
- 230000007246 mechanism Effects 0.000 claims abstract description 39
- 238000005516 engineering process Methods 0.000 claims abstract description 13
- 238000007781 pre-processing Methods 0.000 claims abstract description 13
- 238000011176 pooling Methods 0.000 claims description 38
- 238000005457 optimization Methods 0.000 claims description 30
- 238000012795 verification Methods 0.000 claims description 24
- 238000010586 diagram Methods 0.000 claims description 18
- 238000012545 processing Methods 0.000 claims description 18
- 239000013598 vector Substances 0.000 claims description 18
- 230000008569 process Effects 0.000 claims description 16
- 230000000694 effects Effects 0.000 claims description 9
- 230000009467 reduction Effects 0.000 claims description 8
- 238000010200 validation analysis Methods 0.000 claims description 4
- 230000006870 function Effects 0.000 description 19
- 208000037170 Delayed Emergence from Anesthesia Diseases 0.000 description 10
- 238000004364 calculation method Methods 0.000 description 4
- 238000013507 mapping Methods 0.000 description 4
- 239000011159 matrix material Substances 0.000 description 4
- 238000012935 Averaging Methods 0.000 description 2
- 230000005494 condensation Effects 0.000 description 2
- 238000009833 condensation Methods 0.000 description 2
- 230000021615 conjugation Effects 0.000 description 2
- 238000013135 deep learning Methods 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 238000012886 linear function Methods 0.000 description 2
- 238000010606 normalization Methods 0.000 description 2
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 description 1
- 150000001875 compounds Chemical class 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 238000011835 investigation Methods 0.000 description 1
- 238000007726 management method Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000003062 neural network model Methods 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/10—Terrestrial scenes
- G06V20/13—Satellite images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
- Y02T10/00—Road transport of goods or passengers
- Y02T10/10—Internal combustion engine [ICE] based vehicles
- Y02T10/40—Engine management systems
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- General Physics & Mathematics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- General Engineering & Computer Science (AREA)
- Evolutionary Computation (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Molecular Biology (AREA)
- Bioinformatics & Computational Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- General Health & Medical Sciences (AREA)
- Evolutionary Biology (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Astronomy & Astrophysics (AREA)
- Remote Sensing (AREA)
- Multimedia (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种遥感图像场景分类方法及装置，缓解了冗余信息的干扰和类内多样性的影响，提高了遥感图像场景分类的分类准确率。方法包括：获取遥感图像的场景数据集，场景数据集包括训练集和测试集；通过数据增强技术对训练集的遥感图像进行预处理；通过自注意力机制对预置残差网络结构进行改进，得到自注意力残差网络；利用训练集对自注意力残差网络进行训练，并根据交叉熵损失及中心损失对自注意力残差网络的参数进行优化；根据优化后的自注意力残差网络，对测试集的图像进行分类，得到遥感图像场景分类结果。
Description
技术领域
本发明涉及遥感技术领域，特别是涉及一种遥感图像场景分类方法及装置。
背景技术
近年来，随着遥感技术及传感器系统的快速发展，遥感图像数据不断涌现。遥感图像场景分类是遥感图像分析解译的一种重要手段，在城市规划、土地资源管理和军事侦查等领域都有着广泛的应用。但遥感场景空间布局复杂，分类时容易受到冗余背景的干扰，目标的多样性导致其类别更加难以区分，这使得分类任务变得相当具有挑战性。
随着深度学习的发展，卷积神经网络也被研究人员利用到遥感图像场景分类中来提取高级语义特征。它们大多采用预先训练好的神经网络模型，例如CaffeNet、GoogleNet和VGGNet，作为遥感场景分类的特征提取器。基于深度学习的方法可以学习更多抽象和高级的语义特征，进一步提供对场景的高效表示和识别。
但是，由于遥感场景中目标通常小而分散，冗余背景占据了图像的大部分空间，场景中并非所有的信息都是对分类有用的。而现有的遥感图像场景分类方法大多是从整个图像中提取特征，而没有充分利用图像中最关键的目标信息，容易受到冗余信息的干扰。另外，遥感图像场景的类内多样性也给分类带来了很大的难度，不同的季节、位置和传感器等因素都可能使得相同类别的场景具有较大的差异性。冗余信息的干扰和类内多样性的影响，都会导致遥感图像场景分类的分类准确率降低。
发明内容
本发明的目的是提供一种遥感图像场景分类方法及装置，缓解了冗余信息的干扰和类内多样性的影响，提高了遥感图像场景分类的分类准确率。
本发明第一方面提供一种遥感图像场景分类方法，包括：
获取遥感图像的场景数据集，场景数据集包括训练集和测试集；
通过数据增强技术对训练集的遥感图像进行预处理；
通过自注意力机制对预置残差网络结构进行改进，得到自注意力残差网络；
利用训练集对自注意力残差网络进行训练，并根据交叉熵损失及中心损失对自注意力残差网络的参数进行优化；
根据优化后的自注意力残差网络，对测试集的遥感图像进行分类，得到遥感图像场景分类结果。
进一步的，利用训练集对自注意力残差网络进行训练，并根据交叉熵损失及中心损失对自注意力残差网络的参数进行优化，包括：
将训练集的遥感图像输入到自注意力残差网络，自注意力残差网络包括五个卷积阶段、自注意力机制、最大池化层、平均池化层、全连接层及分类层；
通过前四个卷积阶段及最大池化层对遥感图像进行处理，输出特征图；
通过自注意力机制对特征图进行处理，输出自注意力特征图；
通过第五个卷积阶段、平均池化层及全连接层对自注意力特征图进行处理，输出特征向量；
通过分类层对特征向量进行场景分类，输出训练图像的分类结果，训练图像为训练集中的遥感图像；
根据训练图像的真实分类概率分布与训练图像的分类结果的预测分类概率分布，计算得到交叉熵损失值；
根据全连接层进行降维处理，并计算得到训练样本的中心损失值，训练样本为训练集中的遥感图像样本；
根据交叉熵损失值、中心损失值及预置的权衡参数，构建得到联合损失函数；
通过联合损失函数对自注意力残差网络的参数进行优化。
进一步的，根据优化后的自注意力残差网络，对测试集的遥感图像进行分类，得到遥感图像场景分类结果，包括：
将测试集的遥感图像输入到优化后的自注意力残差网络，输出测试图像的分类结果，即遥感图像场景分类结果。
进一步的，场景数据集还包括验证集，方法还包括：
在训练自注意力残差网络的过程中，通过验证集对自注意力残差网络进行验证，并保存验证效果最优的参数。
本发明第二方面提供一种遥感图像场景分类装置，包括：
获取模块，用于获取遥感图像的场景数据集，场景数据集包括训练集和测试集；
预处理模块，用于通过数据增强技术对训练集的遥感图像进行预处理；
自注意力残差网络模块，用于通过自注意力机制对预置残差网络结构进行改进，得到自注意力残差网络；
网络训练优化模块，用于利用训练集对自注意力残差网络进行训练，并根据交叉熵损失及中心损失对自注意力残差网络的参数进行优化；
场景分类模块，用于根据优化后的自注意力残差网络，对测试集的图像进行分类，得到遥感图像场景分类结果。
进一步的，
网络训练优化模块，还用于将训练集的遥感图像输入到自注意力残差网络，自注意力残差网络包括五个卷积阶段、自注意力机制、最大池化层、平均池化层、全连接层及分类层；
网络训练优化模块，还用于通过前四个卷积阶段及最大池化层对遥感图像进行处理，输出特征图；
网络训练优化模块，还用于通过自注意力机制对特征图进行处理，输出自注意力特征图；
网络训练优化模块，还用于通过第五个卷积阶段、平均池化层及全连接层对自注意力特征图进行处理，输出特征向量；
网络训练优化模块，还用于通过分类层对特征向量进行场景分类，输出训练图像的分类结果，训练图像为训练集中的遥感图像；
网络训练优化模块，还用于根据训练图像的真实分类概率分布与训练图像的分类结果的预测分类概率分布，计算得到交叉熵损失值；
网络训练优化模块，还用于根据全连接层进行降维处理，并计算得到训练样本的中心损失值，训练样本为训练集中的遥感图像样本；
网络训练模块，还用于根据交叉熵损失值、中心损失值及预置的权衡参数，构建得到联合损失函数；
网络训练模块，还用于通过联合损失函数对自注意力残差网络的参数进行优化。
进一步的，
场景分类模块，还用于将测试集的遥感图像输入到优化后的自注意力残差网络，输出测试图像的分类结果，即遥感图像场景分类结果。
进一步的，场景数据集还包括验证集，装置还包括：
验证模块，用于在训练自注意力残差网络的过程中，通过验证集对自注意力残差网络进行验证，并保存验证效果最优的参数。
由上可见，本发明中获取遥感图像的场景数据集，场景数据集包括训练集和测试集，通过数据增强技术对训练集的遥感图像进行预处理，通过自注意力机制对预置残差网络结构进行改进，得到自注意力残差网络，利用训练集对自注意力残差网络进行训练，并根据交叉熵损失及中心损失对自注意力残差网络的参数进行优化，根据优化后的自注意力残差网络，对测试集的遥感图像进行分类，得到遥感图像场景分类结果。由于加入了自注意力机制，可以缓解冗余背景的干扰，能够有效降低计算量并提高分类性能，并且通过中心损失与交叉熵损失，能够缩小场景分类中的类内差异，提高了特征的判别能力，以便更好地区分类内容易混淆的场景图像。因此避免了冗余信息的干扰和类内多样性的影响，提高了遥感图像场景分类的分类准确率。
附图说明
为了更清楚地说明本发明实施例中的技术方案，下面将对现有技术和实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明提供的遥感图像场景分类方法的一个实施例的流程示意图；
图2为本发明提供的遥感图像场景分类装置的一个实施例的结构示意图；
图3为本发明提供的遥感图像场景分类装置的另一个实施例的结构示意图。
具体实施方式
本发明的核心是提供一种遥感图像场景分类方法及装置，缓解了冗余信息的干扰和类内多样性的影响，提高了遥感图像场景分类的分类准确率。
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
如图1所示，本发明实施例提供一种遥感图像场景分类方法，包括：
101、获取遥感图像的场景数据集，场景数据集包括训练集和测试集；
本实施例中，获取需要进行场景分类的遥感图像的场景数据集，场景数据集通过预置的比例，划分为训练集和测试集，另外，还设置了验证集，例如，数据集采用的是UCMerced Land-use(UC Merced)数据集，包含21类，每类100张遥感图像。将数据集分为训练集和测试集和验证集，其中，训练集为25％，测试集为50％，验证集为25％。
102、通过数据增强技术对训练集的遥感图像进行预处理；
本实施例中，通过数据增强技术对训练集的遥感图像进行预处理，由于本实施例中，残差网络的主干网络使用的是Resnet18，那么遥感图像的尺寸是3×224×224，通道数为3。
103、通过自注意力机制对预置残差网络结构进行改进，得到自注意力残差网络；
本实施例中，通过自注意力机制对预置残差网络结构进行改进，得到自注意力残差网络，自注意力残差网络的网络结构如下表1，
表1自注意力残差网络的网络结构
其中，Conv1表示第一个卷积阶段，Conv2_x、Conv3_x、Conv4_x、Conv5_x分别表示第二个-第五个卷积阶段，Self-attention表示自注意力机制，Max pool表示最大池化层，Average pool表示平均池化层，21-d fc表示全连接层，Softmax表示分类层。
104、利用训练集对自注意力残差网络进行训练，并根据交叉熵损失及中心损失对自注意力残差网络的参数进行优化；
本实施例中，利用训练集对自注意力残差网络进行训练，在训练时采用的是Adam优化算法作为参数优化策略，训练周期预置为200，每个周期的批处理大小为128，初始学习率为0.0001，采用学习率衰减策略，周期每隔30将学习率下降到原来的0.9倍，将交叉熵损失及中心损失进行结合，具体可以是构成联合损失函数，从而对自注意力残差网络的参数进行优化。
105、根据优化后的自注意力残差网络，对测试集的遥感图像进行分类，得到遥感图像场景分类结果。
本实施例中，在自注意力残差网络进行优化后，根据优化后的自注意力残差网络，对测试集的遥感图像进行分类，得到遥感图像场景分类结果。
本发明实施例中，获取遥感图像的场景数据集，场景数据集包括训练集和测试集，通过数据增强技术对训练集的遥感图像进行预处理，通过自注意力机制对预置残差网络结构进行改进，得到自注意力残差网络，利用训练集对自注意力残差网络进行训练，根据交叉熵损失及中心损失对自注意力残差网络的参数进行优化，根据优化后的自注意力残差网络，对测试集的图像进行分类，得到遥感图像场景分类结果。由于加入了自注意力机制，可以缓解冗余背景的干扰，能够有效降低计算量并提高分类性能，并且通过中心损失与交叉熵损失，能够缩小场景分类中的类内差异，提高了特征的判别能力，以便更好地区分类内容易混淆的场景图像。因此避免了冗余信息的干扰和类内多样性的影响，提高了遥感图像场景分类的分类准确率。
可选的，本发明的一些实施例中，利用训练集对自注意力残差网络进行训练，并根据交叉熵损失及中心损失对自注意力残差网络的参数进行优化，包括：
将训练集的遥感图像输入到自注意力残差网络，自注意力残差网络包括五个卷积阶段、自注意力机制、最大池化层、平均池化层、全连接层及分类层；
通过前四个卷积阶段及最大池化层对遥感图像进行处理，输出特征图；
通过自注意力机制对特征图进行处理，输出训练自注意力特征图；
通过第五个卷积阶段、平均池化层及全连接层对自注意力特征图进行处理，输出特征向量；
通过分类层对特征向量进行场景分类，输出训练图像的分类结果，训练图像为所述训练集中的遥感图像；
根据训练图像的真实分类概率分布与训练图像的分类结果的预测分类概率分布，计算得到交叉熵损失值；
根据全连接层进行降维处理，并计算得到训练样本的中心损失值，训练样本为训练集中的遥感图像的样本；
根据交叉熵损失值、中心损失值及预置的权衡参数，构建得到联合损失函数；
通过联合损失函数对自注意力残差网络的参数进行优化。
本发明实施例中，自注意力残差网络包括五个卷积阶段、自注意力机制、最大池化层、平均池化层、全连接层及分类层，具体训练过程如下：
1、训练集的遥感图像的输入图像尺寸为3×224×224，通道数为3；
2、在第一层卷积阶段Conv1中，有64个大小为7×7的卷积核，步长为2，输出特征图尺寸为64×112×112；
3、在最大池化层Max pool中，滤波器大小为3×3，步长为2，输出特征图尺寸为64×56×56；
4、Conv2_x由两个残差块构成，每个残差块中包含两个卷积层，卷积层中有64个大小为3×3的卷积核，步长为1，输出特征图尺寸为64×56×56；
5、Conv3_x由两个残差块构成，每个残差块中包含两个卷积层，卷积层中有128个大小为3×3的卷积核，步长为1，输出特征图尺寸为128×28×28；
6、Conv4_x由两个残差块构成，每个残差块中包含两个卷积层，卷积层中有256个大小为3×3的卷积核，步长为1，输出特征图尺寸为256×14×14，；
7、由Conv4_x输出的特征图输入自注意力机制，从自注意力机制输出的特征图尺寸为256×14×14，作为自注意力特征图；
自注意力机制是通过一种非局部操作来模拟长距离的依赖关系，其根据各像素之间的相关性，对所有像素进行加权。权重越大，则说明这个区域越重要。
非局部操作表示为：
其中，x和y分别是输入和输出，且两者大小一致。i表示输出特征图的其中一个位置，j表示所有可能位置的索引。成对函数(pairwise function)f用来计算i和所有可能关联的位置j之间的关系，这种关系可表示为权重。f的输出是一个标量。g为一个映射函数，用于计算输入信号在j位置的特征值，其输出是一个向量。C(x)为归一化参数，设置为C(x)＝N，N为输入x中的像素数目，即196。映射函数g被定义为线性函数g(xj)＝Wgxj，Wg是通过1×1卷积得到的权重矩阵；
f通过串联(concatenation)的形式求得：
式中[·,·]表示串联(concatenation)操作，θ(xi)＝Wθxi，φ(xj)＝Wφxj。其中Wθ、Wφ为自学习的权重矩阵，通过1×1卷积实现。wf是一个能够将串联的向量转换成一个标量的权重向量，通过1×1卷积实现。此外，为了减少计算量，在φ与g的操作后还分别增加了一个滤波器大小为2×2的最大池化层；
将非局部操作的输出与输入特征进行残差连接，可以获得最终的自注意力输出：
zi＝Wzyi+xi
其中Wz为权重矩阵，通过1×1的卷积将计算后的通道数扩充到与输入x的通道数相同。通过残差连接的形式使得自注意力模块能够灵活地加入到预先训练的模型中，并且不会干扰原模型的性能；
8、由自注意力机制输出的自注意力特征图再进入Conv5_x，Conv5_x由两个残差块构成，每个残差块中包含两个卷积层，卷积层中有512个大小为3×3的卷积核，步长为1，输出特征图尺寸为512×7×7；
9、平均池化层，滤波器大小为7×7，输出尺寸为512×1×1；
10、平均池化层后为全连接层；
11、最后为Softmax层，在此进行分类。
在以上1-11中描述的是如何进行训练的，还需要通过交叉熵损失与中心损失对参数进行优化，具体构建联合损失函数如下：
联合损失函数为交叉熵损失与中心损失的结合：
Ljoint＝αLs+βLc
其中α和β为权衡参数，用于控制中心损失和交叉熵损失之间的平衡，分别被设置为1和0.008；
交叉熵损失通过评估真实标签的概率分布与预测标签的概率分布的之间的差异，从而提高模型的判别能力，其定义如下：
其中,m为训练的样本数，n为类别数。
表示属于类别ck的第k个图像的深度特征，d为特征维数。
代表第l列中最后一个全连接层的权重，
为偏置项；
在计算中心损失时，为了避免因计算损失过大导致训练出现较大波动从而增加训练的难度，我们在Resnet18输出的特征之后先采用了一层全连接层进行降维，中心损失的定义如下：
其中，
代表每个小批量中属于类别ck的所有深度特征的平均值。
可选的，本发明的一些实施例中，根据优化后的自注意力残差网络，对测试集的遥感图像进行分类，得到遥感图像场景分类结果，包括：
将测试集的遥感图像输入到优化后的自注意力残差网络，输出测试图像的分类结果，即遥感图像场景分类结果。
本发明实施例中，在自注意力残差网络进行优化之后，将测试集的遥感图像输入到优化后的自注意力残差网络，就能输出遥感图像场景分类结果。
可选的，本发明的一些实施例中，场景数据集还包括验证集，方法还包括：
在训练自注意力残差网络的过程中，通过验证集对自注意力残差网络进行验证，并保存验证效果最优的参数。
本发明实施例中，为保证自注意力残差网络的准确率，在自注意力残差网络的训练过程中，还需要通过验证集对自注意力残差网络的效果进行验证，并保存验证效果最优的参数。
以上实施例中，具体对遥感图像场景分类方法进行了具体说明，下面通过实施例对应用遥感图像场景分类方法的遥感图像场景分类装置进行详细说明。
请参考图2，本发明实施例提供一种遥感图像场景分类装置，包括：
获取模块201，用于获取遥感图像的场景数据集，场景数据集包括训练集和测试集；
预处理模块202，用于通过数据增强技术对训练集的遥感图像进行预处理；
自注意力残差网络模块203，用于通过自注意力机制对预置残差网络结构进行改进，得到自注意力残差网络；
网络训练优化模块204，用于利用训练集对自注意力残差网络进行训练，并根据交叉熵损失及中心损失对自注意力残差网络的参数进行优化；
场景分类模块205，用于根据优化后的自注意力残差网络，对测试集的遥感图像进行分类，得到遥感图像场景分类结果。
本发明实施例中，获取模块201获取遥感图像的场景数据集，场景数据集包括训练集和测试集，预处理模块202通过数据增强技术对训练集的遥感图像进行预处理，自注意力残差网络模块203通过自注意力机制对预置残差网络结构进行改进，得到自注意力残差网络，网络训练优化模块204利用训练集对自注意力残差网络进行训练，并根据交叉熵损失及中心损失对自注意力残差网络的参数进行优化，场景分类模块205根据优化后的自注意力残差网络，对测试集的图像进行分类，得到遥感图像场景分类结果。由于加入了自注意力机制，可以缓解冗余背景的干扰，能够有效降低计算量并提高分类性能，并且通过中心损失与交叉熵损失，能够缩小场景分类中的类内差异，提高了特征的判别能力，以便更好地区分类内容易混淆的场景图像。因此避免了冗余信息的干扰和类内多样性的影响，提高了遥感图像场景分类的分类准确率。
可选的，结合图2所示，本发明的一些实施例中，
网络训练优化模块204，还用于将训练集的遥感图像输入到自注意力残差网络，自注意力残差网络包括五个卷积阶段、自注意力机制、最大池化层、平均池化层、全连接层及分类层；
网络训练优化模块204，还用于通过前四个卷积阶段及最大池化层对遥感图像进行处理，输出特征图；
网络训练优化模块204，还用于通过自注意力机制对特征图进行处理，输出训练自注意力特征图；
网络训练优化模块204，还用于通过第五个卷积阶段、平均池化层及全连接层对自注意力特征图进行处理，输出特征向量；
网络训练优化模块204，还用于通过分类层对特征向量进行场景分类，输出训练图像的分类结果，训练图像为训练集中的遥感图像；
网络训练优化模块204，还用于根据训练集的遥感图像的真实分类概率分布与训练分类结果的预测分类概率分布，计算得到交叉熵损失值；
网络训练优化模块204，还用于根据全连接层进行降维处理，并计算得到训练样本的中心损失值，训练样本为训练集中的遥感图像样本；
网络训练优化模块204，还用于根据交叉熵损失值、中心损失值及预置的权衡参数，构建得到联合损失函数；
网络训练优化模块204，还用于通过联合损失函数对自注意力残差网络的参数进行优化。
本发明实施例中，自注意力残差网络包括五个卷积阶段、自注意力机制、最大池化层、平均池化层、全连接层及分类层，网络训练优化模块204具体训练过程如下：
1、训练集的遥感图像的输入图像尺寸为3×224×224，通道数为3；
2、在第一层卷积层Conv1中，有64个大小为7×7的卷积核，步长为2，输出特征图尺寸为64×112×112；
3、在最大池化层Max pool中，滤波器大小为3×3，步长为2，输出特征图尺寸为64×56×56；
4、Conv2_x由两个残差块构成，每个残差块中包含两个卷积层，卷积层中有64个大小为3×3的卷积核，步长为1，输出特征图尺寸为64×56×56；
5、Conv3_x由两个残差块构成，每个残差块中包含两个卷积层，卷积层中有128个大小为3×3的卷积核，步长为1，输出特征图尺寸为128×28×28；
6、Conv4_x由两个残差块构成，每个残差块中包含两个卷积层，卷积层中有256个大小为3×3的卷积核，步长为1，输出特征图尺寸为256×14×14；
7、由Conv4_x输出的特征图输入自注意力机制，从自注意力机制输出的特征图尺寸为256×14×14，作为自注意力特征图；
自注意力机制是通过一种非局部操作来模拟长距离的依赖关系，其根据各像素之间的相关性，对所有像素进行加权。权重越大，则说明这个区域越重要。
非局部操作表示为：
其中，x和y分别是输入和输出，且两者大小一致。i表示输出特征图的其中一个位置，j表示所有可能位置的索引。成对函数(pairwise function)f用来计算i和所有可能关联的位置j之间的关系，这种关系可表示为权重。f的输出是一个标量。g为一个映射函数，用于计算输入信号在j位置的特征值，其输出是一个向量。C(x)为归一化参数，设置为C(x)＝N，N为输入x中的像素数目，即196。映射函数g被定义为线性函数g(xj)＝Wgxj，Wg是通过1×1卷积得到的权重矩阵；
f通过串联(concatenation)的形式求得：
式中[·,·]表示串联(concatenation)操作，θ(xi)＝Wθxi，φ(xj)＝Wφxj。其中Wθ、Wφ为自学习的权重矩阵，通过1×1卷积实现。wf是一个能够将串联的向量转换成一个标量的权重向量，通过1×1卷积实现。此外，为了减少计算量，在φ与g的操作后还分别增加了一个滤波器大小为2×2的最大池化层；
将非局部操作的输出与输入特征进行残差连接，可以获得最终的自注意力输出：
zi＝Wzyi+xi
其中Wz为权重矩阵，通过1×1的卷积将计算后的通道数扩充到与输入x的通道数相同。通过残差连接的形式使得自注意力模块能够灵活地加入到预先训练的模型中，并且不会干扰原模型的性能；
8、由自注意力机制输出的自注意力特征图再进入Conv5_x，Conv5_x由两个残差块构成，每个残差块中包含两个卷积层，卷积层中有512个大小为3×3的卷积核，步长为1，输出特征图尺寸为512×7×7；
9、平均池化层，滤波器大小为7×7，输出尺寸为512×1×1；
10、平均池化层后为全连接层；
11、最后为Softmax层，在此进行分类。
联合损失函数为交叉熵损失与中心损失的结合：
Ljoint＝αLs+βLc
其中α和β为权衡参数，用于控制中心损失和交叉熵损失之间的平衡，分别被设置为1和0.008；
交叉熵损失通过评估真实标签的概率分布与预测标签的概率分布的之间的差异，从而提高模型的判别能力，其定义如下：
其中,m为训练的样本数，n为类别数。
表示属于类别ck的第k个图像的深度特征，d为特征维数。
代表第l列中最后一个全连接层的权重，
为偏置项；
在计算中心损失时，为了避免因计算损失过大导致训练出现较大波动从而增加训练的难度，我们在Resnet18输出的特征之后先采用了一层全连接层进行降维，中心损失的定义如下：
其中，
代表每个小批量中属于类别ck的所有深度特征的平均值。
可选的，结合图2所示，本发明的一些实施例中，
场景分类模块205，还用于将测试集的遥感图像输入到优化后的自注意力残差网络，输出测试图像的分类结果，即遥感图像场景分类结果。
本发明实施例中，在自注意力残差网络进行优化之后，场景分类模块205将测试集的遥感图像输入到优化后的自注意力残差网络，就能输出遥感图像场景分类结果。
结合图2所示的实施例，可选的，图3所示，本发明的一些实施例中，场景数据集还包括验证集，装置还包括：
验证模块301，用于在训练自注意力残差网络的过程中，通过验证集对自注意力残差网络进行验证，并保存最好的网络参数。
本发明实施例中，为保证自注意力残差网络的准确率，在自注意力残差网络的训练过程中，还需要验证模块301通过验证集对自注意力残差网络的效果进行验证，并保存验证效果最优的参数。
由上可见，本发明中获取遥感图像的场景数据集，场景数据集包括训练集和测试集，通过数据增强技术对训练集的遥感图像进行预处理，通过自注意力机制对预置残差网络结构进行改进，得到自注意力残差网络，利用训练集对自注意力残差网络进行训练，根据交叉熵损失及中心损失对自注意力残差网络的参数进行优化，根据优化后的自注意力残差网络，对测试集的图像进行分类，得到遥感图像场景分类结果。由于加入了自注意力机制，可以缓解冗余背景的干扰，能够有效降低计算量并提高分类性能，并且通过中心损失与交叉熵损失，能够缩小场景分类中的类内差异，提高了特征的判别能力，以便更好地区分类内容易混淆的场景图像。因此避免了冗余信息的干扰和类内多样性的影响，提高了遥感图像场景分类的分类准确率。
本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的装置而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。
还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者设备中还存在另外的相同要素。
对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其他实施例中实现。因此，本发明将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。
Claims (8)
1.一种遥感图像场景分类方法，其特征在于，包括：
获取遥感图像的场景数据集，所述场景数据集包括训练集和测试集；
通过数据增强技术对所述训练集的遥感图像进行预处理；
通过自注意力机制对预置残差网络结构进行改进，得到自注意力残差网络；
利用所述训练集对所述自注意力残差网络进行训练，并根据交叉熵损失及中心损失对所述自注意力残差网络的参数进行优化；
根据优化后的所述自注意力残差网络，对所述测试集的遥感图像进行分类，得到遥感图像场景分类结果。
2.根据权利要求1所述的方法，其特征在于，所述利用所述训练集对所述自注意力残差网络进行训练，并根据交叉熵损失及中心损失对所述自注意力残差网络的参数进行优化，包括：
将所述训练集的遥感图像输入到所述自注意力残差网络，所述自注意力残差网络包括五个卷积阶段、自注意力机制、最大池化层、平均池化层、全连接层及分类层；
通过前四个卷积阶段及所述最大池化层对所述遥感图像进行处理，输出特征图；
通过自注意力机制对所述特征图进行处理，输出自注意力特征图；
通过第五个卷积阶段、所述平均池化层及所述全连接层对所述自注意力特征图进行处理，输出特征向量；
通过所述分类层对所述特征向量进行场景分类，输出训练图像的分类结果，所述训练图像为所述训练集中的遥感图像；
根据所述训练图像的真实分类概率分布与所述训练图像的分类结果的预测分类概率分布，计算得到交叉熵损失值；
根据所述全连接层进行降维处理，并计算得到训练样本的中心损失值，所述训练样本为所述训练集中的遥感图像样本；
根据所述交叉熵损失值、所述中心损失值及预置的权衡参数，构建得到联合损失函数；
通过所述联合损失函数对所述自注意力残差网络的参数进行优化。
3.根据权利要求2所述的方法，其特征在于，所述根据优化后的自注意力残差网络，对所述测试集的遥感图像进行分类，得到遥感图像场景分类结果，包括：
将所述测试集的遥感图像输入到优化后的所述自注意力残差网络，输出所述测试图像的分类结果，即遥感图像场景分类结果。
4.根据权利要求1-3中任一项所述的方法，其特征在于，所述场景数据集还包括验证集，所述方法还包括：
在训练所述自注意力残差网络的过程中，通过所述验证集对所述自注意力残差网络进行验证，并保存验证效果最优的参数。
5.一种遥感图像场景分类装置，其特征在于，包括：
获取模块，用于获取遥感图像的场景数据集，所述场景数据集包括训练集和测试集；
预处理模块，用于通过数据增强技术对所述训练集的遥感图像进行预处理；
自注意力残差网络模块，用于通过自注意力机制对预置残差网络结构进行改进，得到自注意力残差网络；
网络训练优化模块，用于利用所述训练集对所述自注意力残差网络进行训练，并根据交叉熵损失及中心损失对所述自注意力残差网络的参数进行优化；
场景分类模块，用于根据优化后的自注意力残差网络，对测试集的遥感图像进行分类，得到遥感图像场景分类结果。
6.根据权利要求5所述的装置，其特征在于，
所述网络训练优化模块，还用于将所述训练集的遥感图像输入到所述自注意力残差网络，所述自注意力残差网络包括五个卷积阶段、自注意力机制、最大池化层、平均池化层、全连接层及分类层；
所述网络训练优化模块，还用于通过前四个卷积阶段及所述最大池化层对所述遥感图像进行处理，输出特征图；
所述网络训练优化模块，还用于通过自注意力机制对所述特征图进行处理，输出自注意力特征图；
所述网络训练优化模块，还用于通过第五个卷积阶段、所述平均池化层及所述全连接层对所述自注意力特征图进行处理，输出特征向量；
所述网络训练优化模块，还用于通过所述分类层对所述特征向量进行场景分类，输出训练图像的分类结果，所述训练图像为所述训练集中的遥感图像；
所述网络训练优化模块，还用于根据所述训练图像的真实分类概率分布与所述训练图像的分类结果的预测分类概率分布，计算得到交叉熵损失值；
所述网络训练优化模块，还用于根据所述全连接层进行降维处理，并计算得到训练样本的中心损失值，所述训练样本为所述训练集中的遥感图像样本；
所述网络训练模块，还用于根据所述交叉熵损失值、所述中心损失值及预置的权衡参数，构建得到联合损失函数；
所述网络训练模块，还用于通过所述联合损失函数对所述自注意力残差网络的参数进行优化。
7.根据权利要求6所述的装置，其特征在于，
所述场景分类模块，还用于将所述测试集的遥感图像输入到优化后的所述自注意力残差网络，输出所述测试图像的分类结果，即遥感图像场景分类结果。
8.根据权利要求4-7项中任一项所述的装置，其特征在于，所述场景数据集还包括验证集，所述装置还包括：
验证模块，用于在训练所述自注意力残差网络的过程中，通过所述验证集对所述自注意力残差网络进行验证，并保存验证效果最优的参数。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010425217.2A CN111582225B (zh) | 2020-05-19 | 2020-05-19 | 一种遥感图像场景分类方法及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010425217.2A CN111582225B (zh) | 2020-05-19 | 2020-05-19 | 一种遥感图像场景分类方法及装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111582225A true CN111582225A (zh) | 2020-08-25 |
| CN111582225B CN111582225B (zh) | 2023-06-20 |
Family
ID=72117235
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010425217.2A Active CN111582225B (zh) | 2020-05-19 | 2020-05-19 | 一种遥感图像场景分类方法及装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111582225B (zh) |
Cited By (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112163601A (zh) * | 2020-09-14 | 2021-01-01 | 华南理工大学 | 图像分类方法、系统、计算机设备及存储介质 |
| CN112163465A (zh) * | 2020-09-11 | 2021-01-01 | 华南理工大学 | 细粒度图像分类方法、系统、计算机设备及存储介质 |
| CN112257601A (zh) * | 2020-10-22 | 2021-01-22 | 福州大学 | 基于弱监督学习的数据增强网络的细粒度车辆识别方法 |
| CN112365508A (zh) * | 2020-11-03 | 2021-02-12 | 云南电网有限责任公司昆明供电局 | 基于视觉注意与残差网络的sar遥感图像水域分割方法 |
| CN112632315A (zh) * | 2020-12-30 | 2021-04-09 | 珠海大横琴科技发展有限公司 | 一种遥感图像检索的方法和装置 |
| CN113011500A (zh) * | 2021-03-22 | 2021-06-22 | 华南理工大学 | 虚拟现实场景数据集的分类方法、系统、设备及介质 |
| CN113160219A (zh) * | 2021-05-12 | 2021-07-23 | 北京交通大学 | 用于无人机遥感图像的实时铁路场景解析方法 |
| CN113239947A (zh) * | 2021-03-10 | 2021-08-10 | 安徽省农业科学院农业经济与信息研究所 | 一种基于细粒度分类技术的害虫图像分类方法 |
| CN114202697A (zh) * | 2021-12-15 | 2022-03-18 | 中国地质大学（武汉） | 基于注意力对齐分布自适应的遥感跨场景分类方法和设备 |
| CN114266938A (zh) * | 2021-12-23 | 2022-04-01 | 南京邮电大学 | 一种基于多模态信息和全局注意力机制的场景识别方法 |
| WO2022073452A1 (zh) * | 2020-10-07 | 2022-04-14 | 武汉大学 | 一种基于自注意力上下文网络的高光谱遥感图像分类方法 |
| CN114445654A (zh) * | 2021-12-27 | 2022-05-06 | 天翼云科技有限公司 | 图像审核模型、方法及电子设备 |
| CN116665113A (zh) * | 2023-07-28 | 2023-08-29 | 广东海洋大学 | 基于不确定性量化的遥感场景识别方法、系统及介质 |
Citations (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108710831A (zh) * | 2018-04-24 | 2018-10-26 | 华南理工大学 | 一种基于机器视觉的小数据集人脸识别算法 |
| CN109165667A (zh) * | 2018-07-06 | 2019-01-08 | 中国科学院自动化研究所 | 基于自注意力机制的脑疾病分类系统 |
| CN109376576A (zh) * | 2018-08-21 | 2019-02-22 | 中国海洋大学 | 基于交替更新密集连通从零训练网络的目标检测方法 |
| CN109784211A (zh) * | 2018-12-26 | 2019-05-21 | 西安交通大学 | 一种基于深度学习的运动想象脑电信号分类方法 |
| CN109800754A (zh) * | 2018-12-06 | 2019-05-24 | 杭州电子科技大学 | 一种基于卷积神经网络的古字体分类方法 |
| CN109948425A (zh) * | 2019-01-22 | 2019-06-28 | 中国矿业大学 | 一种结构感知自注意和在线实例聚合匹配的行人搜索方法及装置 |
| CN110046575A (zh) * | 2019-04-16 | 2019-07-23 | 浙江农林大学 | 基于改进残差网络的遥感图像场景分类方法 |
| CN110503187A (zh) * | 2019-07-26 | 2019-11-26 | 江苏大学 | 一种用于功能核磁共振成像数据生成的生成对抗网络模型的实现方法 |
| US20200026953A1 (en) * | 2018-07-23 | 2020-01-23 | Wuhan University | Method and system of extraction of impervious surface of remote sensing image |
| US20200065968A1 (en) * | 2018-08-24 | 2020-02-27 | Ordnance Survey Limited | Joint Deep Learning for Land Cover and Land Use Classification |
| AU2020100413A4 (en) * | 2019-10-25 | 2020-04-23 | Xero Limited | Docket analysis methods and systems |
| CN111126282A (zh) * | 2019-12-25 | 2020-05-08 | 中国矿业大学 | 一种基于变分自注意力强化学习的遥感图像内容描述方法 |
-
2020
- 2020-05-19 CN CN202010425217.2A patent/CN111582225B/zh active Active
Patent Citations (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108710831A (zh) * | 2018-04-24 | 2018-10-26 | 华南理工大学 | 一种基于机器视觉的小数据集人脸识别算法 |
| CN109165667A (zh) * | 2018-07-06 | 2019-01-08 | 中国科学院自动化研究所 | 基于自注意力机制的脑疾病分类系统 |
| US20200026953A1 (en) * | 2018-07-23 | 2020-01-23 | Wuhan University | Method and system of extraction of impervious surface of remote sensing image |
| CN109376576A (zh) * | 2018-08-21 | 2019-02-22 | 中国海洋大学 | 基于交替更新密集连通从零训练网络的目标检测方法 |
| US20200065968A1 (en) * | 2018-08-24 | 2020-02-27 | Ordnance Survey Limited | Joint Deep Learning for Land Cover and Land Use Classification |
| CN109800754A (zh) * | 2018-12-06 | 2019-05-24 | 杭州电子科技大学 | 一种基于卷积神经网络的古字体分类方法 |
| CN109784211A (zh) * | 2018-12-26 | 2019-05-21 | 西安交通大学 | 一种基于深度学习的运动想象脑电信号分类方法 |
| CN109948425A (zh) * | 2019-01-22 | 2019-06-28 | 中国矿业大学 | 一种结构感知自注意和在线实例聚合匹配的行人搜索方法及装置 |
| CN110046575A (zh) * | 2019-04-16 | 2019-07-23 | 浙江农林大学 | 基于改进残差网络的遥感图像场景分类方法 |
| CN110503187A (zh) * | 2019-07-26 | 2019-11-26 | 江苏大学 | 一种用于功能核磁共振成像数据生成的生成对抗网络模型的实现方法 |
| AU2020100413A4 (en) * | 2019-10-25 | 2020-04-23 | Xero Limited | Docket analysis methods and systems |
| CN111126282A (zh) * | 2019-12-25 | 2020-05-08 | 中国矿业大学 | 一种基于变分自注意力强化学习的遥感图像内容描述方法 |
Non-Patent Citations (4)
| Title |
|---|
| ADAM BIELSKI: "Understanding Multimodal Popularity Prediction of Social Media Videos With Self-Attention" * |
| HONGLIN WU; SHUZHEN ZHAO: "Remote Sensing Image Sharpening by Integrating Multispectral Image Super-Resolution and Convolutional Sparse Representation Fusion" * |
| 刘文祥;舒远仲;唐小敏;刘金梅;: "采用双注意力机制Deeplabv3+算法的遥感影像语义分割", no. 02 * |
| 边小勇;费雄君;穆楠;: "基于尺度注意力网络的遥感图像场景分类", no. 03 * |
Cited By (19)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112163465A (zh) * | 2020-09-11 | 2021-01-01 | 华南理工大学 | 细粒度图像分类方法、系统、计算机设备及存储介质 |
| CN112163601A (zh) * | 2020-09-14 | 2021-01-01 | 华南理工大学 | 图像分类方法、系统、计算机设备及存储介质 |
| CN112163601B (zh) * | 2020-09-14 | 2023-09-26 | 华南理工大学 | 图像分类方法、系统、计算机设备及存储介质 |
| WO2022073452A1 (zh) * | 2020-10-07 | 2022-04-14 | 武汉大学 | 一种基于自注意力上下文网络的高光谱遥感图像分类方法 |
| US11783579B2 (en) | 2020-10-07 | 2023-10-10 | Wuhan University | Hyperspectral remote sensing image classification method based on self-attention context network |
| CN112257601A (zh) * | 2020-10-22 | 2021-01-22 | 福州大学 | 基于弱监督学习的数据增强网络的细粒度车辆识别方法 |
| CN112365508A (zh) * | 2020-11-03 | 2021-02-12 | 云南电网有限责任公司昆明供电局 | 基于视觉注意与残差网络的sar遥感图像水域分割方法 |
| CN112632315B (zh) * | 2020-12-30 | 2022-03-29 | 珠海大横琴科技发展有限公司 | 一种遥感图像检索的方法和装置 |
| CN112632315A (zh) * | 2020-12-30 | 2021-04-09 | 珠海大横琴科技发展有限公司 | 一种遥感图像检索的方法和装置 |
| CN113239947A (zh) * | 2021-03-10 | 2021-08-10 | 安徽省农业科学院农业经济与信息研究所 | 一种基于细粒度分类技术的害虫图像分类方法 |
| CN113011500B (zh) * | 2021-03-22 | 2023-08-22 | 华南理工大学 | 虚拟现实场景数据集的分类方法、系统、设备及介质 |
| CN113011500A (zh) * | 2021-03-22 | 2021-06-22 | 华南理工大学 | 虚拟现实场景数据集的分类方法、系统、设备及介质 |
| CN113160219A (zh) * | 2021-05-12 | 2021-07-23 | 北京交通大学 | 用于无人机遥感图像的实时铁路场景解析方法 |
| CN113160219B (zh) * | 2021-05-12 | 2023-02-07 | 北京交通大学 | 用于无人机遥感图像的实时铁路场景解析方法 |
| CN114202697A (zh) * | 2021-12-15 | 2022-03-18 | 中国地质大学（武汉） | 基于注意力对齐分布自适应的遥感跨场景分类方法和设备 |
| CN114266938A (zh) * | 2021-12-23 | 2022-04-01 | 南京邮电大学 | 一种基于多模态信息和全局注意力机制的场景识别方法 |
| CN114445654A (zh) * | 2021-12-27 | 2022-05-06 | 天翼云科技有限公司 | 图像审核模型、方法及电子设备 |
| CN116665113A (zh) * | 2023-07-28 | 2023-08-29 | 广东海洋大学 | 基于不确定性量化的遥感场景识别方法、系统及介质 |
| CN116665113B (zh) * | 2023-07-28 | 2023-10-27 | 广东海洋大学 | 基于不确定性量化的遥感场景识别方法、系统及介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN111582225B (zh) | 2023-06-20 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111582225A (zh) | 一种遥感图像场景分类方法及装置 | |
| CN111914907B (zh) | 一种基于深度学习空谱联合网络的高光谱图像分类方法 | |
| CN111274869B (zh) | 基于并行注意力机制残差网进行高光谱图像分类的方法 | |
| CN113076994B (zh) | 一种开集域自适应图像分类方法及系统 | |
| CN111126258A (zh) | 图像识别方法及相关装置 | |
| CN105138973A (zh) | 人脸认证的方法和装置 | |
| CN116994069B (zh) | 一种基于多模态信息的图像解析方法及系统 | |
| CN110175248B (zh) | 一种基于深度学习和哈希编码的人脸图像检索方法和装置 | |
| CN112800876A (zh) | 一种用于重识别的超球面特征嵌入方法及系统 | |
| CN112580480B (zh) | 一种高光谱遥感影像分类方法及装置 | |
| CN114255403A (zh) | 基于深度学习的光学遥感图像数据处理方法及系统 | |
| CN116342894B (zh) | 基于改进YOLOv5的GIS红外特征识别系统及方法 | |
| CN113159067A (zh) | 一种基于多粒度局部特征软关联聚合的细粒度图像辨识方法及装置 | |
| CN113762326A (zh) | 一种数据识别方法、装置、设备及可读存储介质 | |
| CN114241564A (zh) | 一种基于类间差异强化网络的人脸表情识别方法 | |
| CN111696136A (zh) | 一种基于编解码结构的目标跟踪方法 | |
| CN113095158A (zh) | 一种基于对抗生成网络的笔迹生成方法及装置 | |
| CN117351550A (zh) | 基于有监督对比学习的网格自注意力人脸表情识别方法 | |
| CN115761888A (zh) | 基于nl-c3d模型的塔吊操作人员异常行为检测方法 | |
| CN117558011B (zh) | 基于自一致性矩阵和多尺度损失的图像文本篡改检测方法 | |
| CN111275694A (zh) | 一种注意力机制引导的递进式划分人体解析模型及方法 | |
| CN113591892A (zh) | 一种训练数据的处理方法及装置 | |
| CN115512428A (zh) | 一种人脸活体判别方法、系统、装置和存储介质 | |
| CN115761268A (zh) | 一种基于局部纹理增强网络的杆塔关键部件缺陷识别方法 | |
| CN114120050A (zh) | 地表生态数据提取方法及装置、设备和存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |