CN112766083A - 基于多尺度特征融合的遥感场景分类方法及系统 - Google Patents

基于多尺度特征融合的遥感场景分类方法及系统 Download PDF

Info

Publication number
CN112766083A
CN112766083A CN202011643443.4A CN202011643443A CN112766083A CN 112766083 A CN112766083 A CN 112766083A CN 202011643443 A CN202011643443 A CN 202011643443A CN 112766083 A CN112766083 A CN 112766083A
Authority
CN
China
Prior art keywords
image
remote sensing
features
processing
feature
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202011643443.4A
Other languages
English (en)
Other versions
CN112766083B (zh
Inventor
郑禄
梁家锐
宋中山
帖军
刘振宇
汪红
肖鹏飞
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
South Central Minzu University
Original Assignee
South Central University for Nationalities
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by South Central University for Nationalities filed Critical South Central University for Nationalities
Priority to CN202011643443.4A priority Critical patent/CN112766083B/zh
Publication of CN112766083A publication Critical patent/CN112766083A/zh
Application granted granted Critical
Publication of CN112766083B publication Critical patent/CN112766083B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G06V20/13—Satellite images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/213—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Astronomy & Astrophysics (AREA)
  • Remote Sensing (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及图像处理技术领域，公开了一种基于多尺度特征融合的遥感场景分类方法及系统，所述方法包括：获取采集到的遥感图像在不同尺度下的图像特征，将图像特征输入到预设卷积神经网络模型中进行多尺度特征融合，获得融合特征，获取遥感图像的底层特征，将底层特征和融合特征进行归一化处理，获得目标特征，将目标特征输入至预设分类器中进行场景分类，以获得所述遥感图像的类别。通过将获得的遥感图像在不同尺度下的图像特征输入至预设卷积神经网络模型中来获得融合特征，再将融合特征和底层特征进行归一化处理，获得目标特征，并基于目标特征实现遥感场景分类，以避免类间相似高现象和类内差异大现象的发生，提高遥感图像分类精度和准确度。

Description

基于多尺度特征融合的遥感场景分类方法及系统
技术领域
本发明涉及图像处理技术领域，尤其涉及一种基于多尺度特征融合的遥感场景分类方法及系统。
背景技术
遥感图像为人类分析观测地表提供了重要的数据基础，但由于其多半通过不同的遥感卫星相互协作以完成对地表的观测，使得遥感图像具有以下特点：(1)遥感图像的覆盖范围广泛，包含的信息量大；(2)类内差异大，即同一类别的地物类型的遥感图像在纹理、形状以及颜色上差异明显；(3)类间相似高，即不同类别的地物类型的遥感图像在纹理、形状以及颜色上相识度较高。基于此，加大了遥感场景分类难度，也影响了遥感场景分类精度和准确度。因此，如何提高遥感场景分类精度和准确度，成为一个亟待解决的问题。
上述内容仅用于辅助理解本发明的技术方案，并不代表承认上述内容是现有技术。
发明内容
本发明的主要目的在于提供了一种基于多尺度特征融合的遥感场景分类方法及系统，旨在解决如何提高遥感场景分类精度和准确度的技术问题。
为实现上述目的，本发明提供了一种基于多尺度特征融合的遥感场景分类方法，所述方法包括以下步骤：
获取采集到的遥感图像在不同尺度下的图像特征；
将所述图像特征输入到预设卷积神经网络模型中进行多尺度特征融合，获得融合特征；
获取所述遥感图像的底层特征，将所述底层特征和所述融合特征进行归一化处理，获得目标特征；
将所述目标特征输入至预设分类器中进行场景分类，以获得所述遥感图像的类别。
优选地，所述获取采集到的遥感图像在不同尺度下的图像特征的步骤，具体包括：
对采集到的遥感图像进行缩放处理，获得缩放遥感图像；
将所述缩放遥感图像输入至预设图像金字塔中进行图像采样处理，获得与所述缩放遥感图像对应的不同尺度下的尺度图像；
将所述尺度图像依次输入至特征提取器和特征聚合器中进行特征提取处理和特征聚合处理，获得图像特征。
优选地，所述将所述缩放遥感图像输入至预设图像金字塔中进行图像采样处理，获得与所述缩放遥感图像对应的不同尺度下的尺度图像的步骤，具体包括：
获取所述缩放遥感图像的尺度大小，并根据所述尺度大小匹配对应的图像采样规则；
将所述缩放遥感图像输入至预设图像金字塔中根据所述图像采样规则进行向上图像采样处理和/或向下图像采样处理，获得与所述缩放遥感图像对应的不同尺度下的尺度图像。
优选地，所述将所述图像特征输入到预设卷积神经网络模型中进行多尺度特征融合，获得融合特征的步骤，具体包括：
将所述图像特征输入到预设卷积神经网络模型的末位卷积层中进行卷积处理，以获得对应的图像特征图；
将所述图像特征图输入到所述预设卷积神经网络模型的池化层中进行池化处理，获得不同的池化特征；
对所述池化特征进行降维处理，获得对应的低维特征图；
对所述低维特征图依次进行双线性插值上采样处理和级联聚合处理，获得融合特征。
优选地，所述将所述图像特征图输入到所述预设卷积神经网络模型的池化层中进行池化处理，获得不同的池化特征的步骤，具体包括：
将所述图像特征图输入到所述预设卷积神经网络模型的池化层中通过以下公式进行池化处理，获得不同的池化特征，
pi＝pooli(F),i＝1,2,3,4
即
Figure BDA0002872124240000031
式中，pi为池化特征的统一表示，p1、p2、p3、p4为不同的池化特征，pooli为池化处理的统一表示，pool1、pool2、pool3、pool4表示作不同大小的池化处理，F为图像特征图。
优选地，所述对所述池化特征进行降维处理，获得对应的低维特征图的步骤，具体包括：
对所述池化特征通过下式进行降维处理，获得对应的低维特征图，
fi＝conv(pi),i＝1,2,3,4
即
Figure BDA0002872124240000032
式中，fi为低维特征图的统一表示，pi为池化特征的统一表示，conv表示作卷积处理，p1、p2、p3、p4为不同的池化特征，f1、f2、f3、f4为不同的低维特征图。
优选地，所述对所述低维特征图依次进行双线性插值上采样处理和级联聚合处理，获得融合特征的步骤，具体包括：
对所述低维特征图通过下式进行双线性插值上采样处理和级联聚合处理，获得融合特征，
F'＝cat[F,up(f1),up(f2),up(f3),up(f4)]
式中，F'为融合特征，cat表示作级联聚合处理，F为图像特征图，up表示作双线性插值上采样处理，f1、f2、f3、f4为不同的低维特征图。
此外，为实现上述目的，本发明还提出一种基于多尺度特征融合的遥感场景分类系统，其特征在于，所述系统包括：
特征获取模块，用于获取采集到的遥感图像在不同尺度下的图像特征；
特征融合模块，用于将所述图像特征输入到预设卷积神经网络模型中进行多尺度特征融合，获得融合特征；
归一化处理模块，用于获取所述遥感图像的底层特征，将所述底层特征和所述融合特征进行归一化处理，获得目标特征；
场景分类模块，用于将所述目标特征输入至预设分类器中进行场景分类，以获得所述遥感图像的类别。
优选地，所述特征获取模块，还用于对采集到的遥感图像进行缩放处理，获得缩放遥感图像；
所述特征获取模块，还用于将所述缩放遥感图像输入至预设图像金字塔中进行图像采样处理，获得与所述缩放遥感图像对应的不同尺度下的尺度图像；
所述特征获取模块，还用于将所述尺度图像依次输入至特征提取器和特征聚合器中进行特征提取处理和特征聚合处理，获得图像特征。
优选地，所述特征融合模块，还用于将所述图像特征输入到预设卷积神经网络模型的末位卷积层中进行卷积处理，以获得对应的图像特征图；
所述特征融合模块，还用于将所述图像特征图输入到所述预设卷积神经网络模型的池化层中进行池化处理，获得不同的池化特征；
所述特征融合模块，还用于对所述池化特征进行降维处理，获得对应的低维特征图；
所述特征融合模块，还用于对所述低维特征图依次进行双线性插值上采样处理和级联聚合处理，获得融合特征。
本发明获取采集到的遥感图像在不同尺度下的图像特征，将所述图像特征输入到预设卷积神经网络模型中进行多尺度特征融合，获得融合特征，获取所述遥感图像的底层特征，将所述底层特征和所述融合特征进行归一化处理，获得目标特征，将所述目标特征输入至预设分类器中进行场景分类，以获得所述遥感图像的类别。通过基于特征聚合补偿卷积神经网络建立预设卷积神经网络模型，并将获得的遥感图像在不同尺度下的图像特征输入至预设卷积神经网络模型中来获得融合特征，再将融合特征和基于所述遥感图像根据尺度不变特征变换方式获得的底层特征进行归一化处理，获得目标特征，并基于所述目标特征实现遥感场景分类，以避免类间相似高(不同类别的地物类型的遥感图像在纹理、形状以及颜色上相识度较高)现象和类内差异大(同一类别的地物类型的遥感图像在纹理、形状以及颜色上差异明显)现象的发生，提高遥感图像分类精度和准确度。
附图说明
图1为本发明基于多尺度特征融合的遥感场景分类方法第一实施例的流程示意图；
图2为本发明基于多尺度特征融合的遥感场景分类方法第二实施例的流程示意图；
图3为本发明基于多尺度特征融合的遥感场景分类方法第三实施例的流程示意图；
图4为本发明基于多尺度特征融合的遥感场景分类系统第一实施例的结构框图。
本发明目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。
具体实施方式
应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。
本发明实施例提供了一种基于多尺度特征融合的遥感场景分类方法，参照图1，图1为本发明基于多尺度特征融合的遥感场景分类方法第一实施例的流程示意图。
本实施例中，所述基于多尺度特征融合的遥感场景分类方法包括以下步骤：
步骤S10：获取采集到的遥感图像在不同尺度下的图像特征；
易于理解的是，为了避免因遥感图像在多角度和多方向拍摄而导致的类内差异大(同一类别的地物类型的遥感图像在纹理、形状以及颜色上差异明显)现象的发生，以提高遥感图像分类精度和准确度，在从预设数据集获得遥感图像后，可先对遥感图像进行数据增强处理，所述数据增强处理包括但不限于图像旋转和图像转置，具体旋转角度可根据实际需求而定，如0°、7°、90°、97°、180°、187°、270°以及277°(超出基数0°、90°、180°以及270°的±7°范围的旋转将会引入不属于原始遥感图像的像素值)，本实施例对此不加以限制。相应地，具体转置方向也可根据实际需求而定，本实施例对此不加以限制。所述预设数据集为包括多类遥感影像的数据集，如，UC Merced数据集，NWPU-RESISC45数据集，AID数据集，WHU-RS19数据集，在具体实现中可根据实际需求进行选择，本实施例对此不加以限制。
进一步地，在获得经过数据增强处理后的遥感图像后，可将经过数据增强处理后的遥感图像通过图像金字塔进行图像采样处理，如，UC Merced数据集和NWPU-RESISC45数据集的原始遥感图像大小为256×256像素，可将该原始遥感图像等比例缩小为224×224像素后，采用图像金字塔分别向上、向下采样得到448×448像素和112×112像素的遥感图像，又如，AID数据集和WHU-RS19数据集的原始遥感图像大小为600×600像素，可将该原始遥感图像等比例缩小至448×448像素后，采用图像金字塔向下采样得到224×224像素和112×112像素的遥感图像，然后，对采样获得的不同尺寸大小的遥感图像进行特征提取处理和特征聚合处理，获得图像特征。
步骤S20：将所述图像特征输入到预设卷积神经网络模型中进行多尺度特征融合，获得融合特征；
需要说明的是，为了避免类间相似高(不同类别的地物类型的遥感图像在纹理、形状以及颜色上相识度较高)现象和类内差异大(同一类别的地物类型的遥感图像在纹理、形状以及颜色上差异明显)现象的发生，以提高遥感图像分类精度和准确度，在将获得的图像特征输入到预设卷积神经网络模型中进行多尺度特征融合，获得融合特征之前，还需构建预设卷积神经网络模型，所述预设卷积神经网络模型基于特征聚合补偿卷积神经网络(Feature Aggregation Compensation CNN，FAC-CNN)建立，所述FAC-CNN采用视觉几何群网络(Visual Geometry Group-Network 16，VGG-Net 16)为基础网络，选取conv3-3，conv5-1和conv5-3作为顶层高级语义特征组合，并采用密集连接的方式进行特征聚合，选取conv1-2，conv2-2和conv3-1作为外观卷积特征，并采用浅层卷积编码的方式进行特征聚合，然后，利用双向门控来提高特征的互补性，最后将顶层语义特征、外观卷积特征以及VGG-Net 16的第一个全连接层(全局特征)进行合并后获得。
进一步地，在获得所述预设卷积神经网络模型后，可将获得的图像特征作为多尺度输入(Multi Scale Input,MSI)输入到预设卷积神经网络模型中进行多尺度特征融合(Multi Scale Feature Fusion，MSFF)，获得融合特征。
步骤S30：获取所述遥感图像的底层特征，将所述底层特征和所述融合特征进行归一化处理，获得目标特征；
需要说明的是，为了提高遥感图像的图像特征的表达力度，以进一步提高遥感图像分类精度和准确度，除基于遥感图像获得上述融合特征外，还可基于所述遥感图像根据尺度不变特征变换(Scale-invariant feature transform，SIFT)的方式获得底层特征，即可通过创建尺度空间，并使用高斯模糊图像的方式将纹理和一些次要的信息从遥感图像中删除，仅保留形状和边缘的相关信息，然后，将原始遥感图像按预设比例缩放预设次数，并为获得的每个新图像利用高斯模糊去除噪点，以获得对应个数的模糊图像，所述预设比例可根据实际需求而定，本实施例对此不加以限制。所述预设次数可根据实际需求而定，如4次(则可获得的模糊图像个数为5)，本实施例对此不加以限制。接着，将每个不同比例的模糊图像通过高斯差异技术减去连续的高斯图像，以得到增强后的特征，由此得到潜在的关键点，并通过后续的关键点定位、筛选以及定向分配获得底层特征，具体地，在获得到潜在的关键点后，可进行关键点定位、筛选、定向分配以及关键点描述，然后，将关键点转换到4×4的空间网格中，接着，将梯度统一到八个网格中，以获得128维旋转尺度不变特征，即底层特征。最后，对所述融合特征和所述底层特征进行归一化处理，以获得目标特征。
步骤S40：将所述目标特征输入至预设分类器中进行场景分类，以获得所述遥感图像的类别。
易于理解的是，在获得目标特征后，可将所述目标特征输入至预设分类器中进行场景分类，以获得所述遥感图像的类别，所述预设分类器可根据实际需求进行设置，如softmax分类器，本实施例对此不加以限制，所述遥感图像的类别可为多种场景的类别及其组合，如森林、河流、湖泊、湿地，又如教堂、铁路、宫殿、火车站等。
本实施例中，获取采集到的遥感图像在不同尺度下的图像特征，将所述图像特征输入到预设卷积神经网络模型中进行多尺度特征融合，获得融合特征，获取所述遥感图像的底层特征，将所述底层特征和所述融合特征进行归一化处理，获得目标特征，将所述目标特征输入至预设分类器中进行场景分类，以获得所述遥感图像的类别。通过基于特征聚合补偿卷积神经网络建立预设卷积神经网络模型，并将获得的遥感图像在不同尺度下的图像特征输入至预设卷积神经网络模型中来获得融合特征，再将融合特征和基于所述遥感图像根据尺度不变特征变换方式获得的底层特征进行归一化处理，获得目标特征，并基于所述目标特征实现遥感场景分类，以避免类间相似高(不同类别的地物类型的遥感图像在纹理、形状以及颜色上相识度较高)现象和类内差异大(同一类别的地物类型的遥感图像在纹理、形状以及颜色上差异明显)现象的发生，提高遥感图像分类精度和准确度。
参考图2，图2为本发明基于多尺度特征融合的遥感场景分类方法第二实施例的流程示意图。
基于上述第一实施例，在本实施例中，所述步骤S10包括：
步骤S101：对采集到的遥感图像进行缩放处理，获得缩放遥感图像；
在具体实现中，由于VGG-Net 16支持的图像输入大小是224×224像素，现有技术在将预设数据集中的遥感图像输入至VGG-Net 16时，一般是使用同等比例的方式将原始遥感图像缩小成224×224像素，或者是将遥感图像进行随机裁剪、中心裁剪等，再将裁剪出来的部分图像进行伸缩使其符合VGG-Net16的图像输入要求，现有技术的这种方式势必会导致像素信息减少，影响了遥感图像的分类精度和准确度。基于此，本实施例对不符合VGG-Net 16的图像输入要求的遥感图片，可先进行缩放处理，获得缩放遥感图像，如，UC Merced数据集和NWPU-RESISC45数据集的原始遥感图像大小为256×256像素，则可将该原始遥感图像等比例缩小为224×224像素，又如，AID数据集和WHU-RS19数据集的原始遥感图像大小为600×600像素，则可将该原始遥感图像等比例缩小至448×448像素。
步骤S102：将所述缩放遥感图像输入至预设图像金字塔中进行图像采样处理，获得与所述缩放遥感图像对应的不同尺度下的尺度图像；
需要说明的是，在获得缩放遥感图像后，可获取所述缩放遥感图像的尺度大小，并根据所述尺度大小匹配对应的图像采样规则，然后将所述缩放遥感图像输入至预设图像金字塔中根据所述图像采样规则进行向上图像采样处理和/或向下图像采样处理，获得与所述缩放遥感图像对应的不同尺度下的尺度图像，所述预设图像金字塔包括但不限于高斯金字塔(Gaussian pyramid)和拉普拉斯金字塔(Laplacian pyramid)，其中，高斯金字塔可用来向下进行图像采样，拉普拉斯金字塔用来从金字塔低层图像重建上层未采样图像，即向上进行图像采样，所述图像采样规则可理解为根据尺度大小匹配对应的图像金字塔，并根据匹配的金字塔进行对应图样采样处理。如，在将从UC Merced数据集和NWPU-RESISC45数据集获得的原始遥感图像大小为256×256像素等比例缩小为224×224像素后，可采用拉普拉斯金字塔向上采样得到448×448像素的尺度图像，并采用高斯图像金字塔向下采样得到112×112像素的尺度图像，又如，在将AID数据集和WHU-RS19数据集获得的原始遥感图像大小为600×600像素等比例缩小至448×448像素后，可采用高斯图像金字塔向下采样得到224×224像素和112×112像素的尺度图像。
步骤S103：将所述尺度图像依次输入至特征提取器和特征聚合器中进行特征提取处理和特征聚合处理，获得图像特征。
易于理解的是，在获得不同尺度的尺度图像后，可将不同尺度的图像输入到不同的特征提取器中进行特征提取，所述特征提取器的上部分为大尺度图像的特征提取网络，中间部分为FAC-CNN的前5个卷积层，下部分为小尺度图像的特征提取网路，所述特征聚合器基于算术平均聚合算法建立，用以融合提取到的不同尺度的特征，并作为FAC-CNN的conv3-2的特征输入。
本实施例中，对采集到的遥感图像进行缩放处理，获得缩放遥感图像，将所述缩放遥感图像输入至预设图像金字塔中进行图像采样处理，获得与所述缩放遥感图像对应的不同尺度下的尺度图像，将所述尺度图像依次输入至特征提取器和特征聚合器中进行特征提取处理和特征聚合处理，获得图像特征。有别于现有技术直接将遥感图像直接进行缩小处理、随机裁剪、中心裁剪等而导致像素信息减少，影响了遥感图像的分类精度和准确度，本实施例通过将等比例缩放处理后的遥感图像输入至预设图像金字塔中进行图像采样处理，获得与所述缩放遥感图像对应的不同尺度下的尺度图像，实现了对获取到遥感图像的高质量还原和输入，避免了像素信息减少现象的发生，再将所述尺度图像依次输入至特征提取器和特征聚合器中进行特征提取处理和特征聚合处理，获得图像特征，便于后续在预设卷积神经网络模型中基于输入的图像特征进行遥感场景分类，以进一步提高遥感场景分类的精度和准确度。
参考图3，图3为本发明基于多尺度特征融合的遥感场景分类方法第三实施例的流程示意图。
基于上述各实施例，在本实施例中，所述步骤S20包括：
步骤S201：将所述图像特征输入到预设卷积神经网络模型的末位卷积层中进行卷积处理，以获得对应的图像特征图；
步骤S202：将所述图像特征图输入到所述预设卷积神经网络模型的池化层中进行池化处理，获得不同的池化特征；
需要说明的是，在获得遥感图像在不同尺度下的图像特征后，可将所述图像特征输入到预设卷积神经网络模型的最后一个卷积层中进行卷积处理，以获得对应的图像特征图，然后，将所述图像特征图输入到所述预设卷积神经网络模型的池化层中通过以下公式进行池化处理，获得不同的池化特征，
pi＝pooli(F),i＝1,2,3,4
即
Figure BDA0002872124240000101
式中，pi为池化特征的统一表示，p1、p2、p3、p4为不同的池化特征，pooli为池化处理的统一表示，pool1、pool2、pool3、pool4表示作不同大小的池化处理，F为图像特征图。
其中，F∈RH×W×C，H为图像特征图的高度，W为图像特征图的宽度，C为图像特征图的通道数。pooli为根据图像特征图F的高度和宽度的不同而设计的不同大小的平均池化或最大池化操作，本实施例中，多尺度特征融合分为了4层，每层的大小p1,p2,p3,p4分别为1×1×C，2×2×C，3×3×C，6×6×C。
步骤S203：对所述池化特征进行降维处理，获得对应的低维特征图；
在具体实现中，为了保证全局特征的权重，将多尺度特征融合部分通过不同池化操作之后使用1×1卷积层，可将不同池化特征p1,p2,p3,p4的维数降维成1/4C，具体地，可对所述池化特征通过下式进行降维处理，获得对应的低维特征图，其中conv表示1×1卷积操作。
fi＝conv(pi),i＝1,2,3,4
即
Figure BDA0002872124240000102
式中，fi为低维特征图的统一表示，pi为池化特征的统一表示，conv表示作卷积处理，p1、p2、p3、p4为不同的池化特征，f1、f2、f3、f4为不同的低维特征图。
步骤S204：对所述低维特征图依次进行双线性插值上采样处理和级联聚合处理，获得融合特征。
需要说明的是，在获得低维特征图后，可直接对低维特征图f1,f2,f3,f4进行上采样，通过双线性插值得到与原始特征图尺寸相同的特征，然后将不同的层次特征串联起来得到最终的融合特征F'，其中，F'∈RH×W×2C。
具体地，可对所述低维特征图通过下式进行双线性插值上采样处理和级联聚合处理，获得融合特征，
F'＝cat[F,up(f1),up(f2),up(f3),up(f4)]
式中，F'为融合特征，cat表示作级联聚合处理，F为图像特征图，up表示作双线性插值上采样处理，f1、f2、f3、f4为不同的低维特征图。
在具体实现中，在将图像特征设置为FAC-CNN最后一层卷积层时，获得的图像特征图F大小为14×14×512像素，然后对图像特征图F进行池化处理，获得池化特征p1、p2、p3、p4，即将图像特征图F分别为经过全局平均池化、13×13的池化核、12×12的池化核和9×9的池化核进行平均池化后，得到的1×1×512、2×2×512、3×3×512和6×6×512的池化特征。池化特征再经过1×1卷积后得到1×1×128、2×2×128、3×3×128和6×6×128的低维特征图，并通过上采样将低维特征图大小恢复为14×14，最终级联聚合图像特征图F与低维特征图，得到融合特征，即为14×14×1024的特征图表示，最后对融合特征做全局平均池化操作生成1×1×1024的特征向量。
本实施例中，将不同尺度下的图像特征输入到预设卷积神经网络模型的末位卷积层中进行卷积处理，以获得对应的图像特征图；将所述图像特征图输入到所述预设卷积神经网络模型的池化层中进行池化处理，获得不同的池化特征；对所述池化特征进行降维处理，获得对应的低维特征图；对所述低维特征图依次进行双线性插值上采样处理和级联聚合处理，获得融合特征。通过将遥感图像在不同尺度下的图像特征设置为预设卷积神经网络模型的末位卷积层，并对所述图像特征依次进行卷积处理、池化处理、降维处理、双线性插值上采样处理以及级联聚合处理，获得融合特征，以充分融合获得的不同尺度下的图像特征，便于后续基于获得的融合特征进行遥感场景分类，提高遥感场景分类精度和准确度。
参照图4，图4为本发明基于多尺度特征融合的遥感场景分类系统第一实施例的结构框图。
如图4所示，本发明实施例提出的基于多尺度特征融合的遥感场景分类系统包括：
特征获取模块10，用于获取采集到的遥感图像在不同尺度下的图像特征；
特征融合模块20，用于将所述图像特征输入到预设卷积神经网络模型中进行多尺度特征融合，获得融合特征；
归一化处理模块30，用于获取所述遥感图像的底层特征，将所述底层特征和所述融合特征进行归一化处理，获得目标特征；
场景分类模块40，用于将所述目标特征输入至预设分类器中进行场景分类，以获得所述遥感图像的类别。
本实施例中，获取采集到的遥感图像在不同尺度下的图像特征，将所述图像特征输入到预设卷积神经网络模型中进行多尺度特征融合，获得融合特征，获取所述遥感图像的底层特征，将所述底层特征和所述融合特征进行归一化处理，获得目标特征，将所述目标特征输入至预设分类器中进行场景分类，以获得所述遥感图像的类别。通过基于特征聚合补偿卷积神经网络建立预设卷积神经网络模型，并将获得的遥感图像在不同尺度下的图像特征输入至预设卷积神经网络模型中来获得融合特征，再将融合特征和基于所述遥感图像根据尺度不变特征变换方式获得的底层特征进行归一化处理，获得目标特征，并基于所述目标特征实现遥感场景分类，以避免类间相似高(不同类别的地物类型的遥感图像在纹理、形状以及颜色上相识度较高)现象和类内差异大(同一类别的地物类型的遥感图像在纹理、形状以及颜色上差异明显)现象的发生，提高遥感图像分类精度和准确度。
基于本发明上述基于多尺度特征融合的遥感场景分类系统第一实施例，提出本发明基于多尺度特征融合的遥感场景分类系统的第二实施例。
在本实施例中，所述特征获取模块10，还用于对采集到的遥感图像进行缩放处理，获得缩放遥感图像；
所述特征获取模块10，还用于将所述缩放遥感图像输入至预设图像金字塔中进行图像采样处理，获得与所述缩放遥感图像对应的不同尺度下的尺度图像；
所述特征获取模块10，还用于将所述尺度图像依次输入至特征提取器和特征聚合器中进行特征提取处理和特征聚合处理，获得图像特征。
所述特征获取模块10，还用于获取所述缩放遥感图像的尺度大小，并根据所述尺度大小匹配对应的图像采样规则；
所述特征获取模块10，还用于将所述缩放遥感图像输入至预设图像金字塔中根据所述图像采样规则进行向上图像采样处理和/或向下图像采样处理，获得与所述缩放遥感图像对应的不同尺度下的尺度图像。
所述特征融合模块20，还用于将所述图像特征输入到预设卷积神经网络模型的末位卷积层中进行卷积处理，以获得对应的图像特征图；
所述特征融合模块20，还用于将所述图像特征图输入到所述预设卷积神经网络模型的池化层中进行池化处理，获得不同的池化特征；
所述特征融合模块20，还用于对所述池化特征进行降维处理，获得对应的低维特征图；
所述特征融合模块20，还用于对所述低维特征图依次进行双线性插值上采样处理和级联聚合处理，获得融合特征。
所述特征融合模块20，还用于将所述图像特征图输入到所述预设卷积神经网络模型的池化层中通过以下公式进行池化处理，获得不同的池化特征，
pi＝pooli(F),i＝1,2,3,4
即
Figure BDA0002872124240000131
式中，pi为池化特征的统一表示，p1、p2、p3、p4为不同的池化特征，pooli为池化处理的统一表示，pool1、pool2、pool3、pool4表示作不同大小的池化处理，F为图像特征图。
所述特征融合模块20，还用于对所述池化特征通过下式进行降维处理，获得对应的低维特征图，
fi＝conv(pi),i＝1,2,3,4
即
Figure BDA0002872124240000141
式中，fi为低维特征图的统一表示，pi为池化特征的统一表示，conv表示作卷积处理，p1、p2、p3、p4为不同的池化特征，f1、f2、f3、f4为不同的低维特征图。
所述特征融合模块20，还用于对所述低维特征图通过下式进行双线性插值上采样处理和级联聚合处理，获得融合特征，
F'＝cat[F,up(f1),up(f2),up(f3),up(f4)]
式中，F'为融合特征，cat表示作级联聚合处理，F为图像特征图，up表示作双线性插值上采样处理，f1、f2、f3、f4为不同的低维特征图。
本发明基于多尺度特征融合的遥感场景分类系统的其他实施例或具体实现方式可参照上述各方法实施例，此处不再赘述。
需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者系统不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者系统所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者系统中还存在另外的相同要素。
上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质(如只读存储器/随机存取存储器、磁碟、光盘)中，包括若干指令用以使得一台终端设备(可以是手机，计算机，服务器，空调器，或者网络设备等)执行本发明各个实施例所述的方法。
以上仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。

Claims (10)

1.一种基于多尺度特征融合的遥感场景分类方法，其特征在于，所述方法包括：
获取采集到的遥感图像在不同尺度下的图像特征；
将所述图像特征输入到预设卷积神经网络模型中进行多尺度特征融合，获得融合特征；
获取所述遥感图像的底层特征，将所述底层特征和所述融合特征进行归一化处理，获得目标特征；
将所述目标特征输入至预设分类器中进行场景分类，以获得所述遥感图像的类别。
2.如权利要求1所述的方法，其特征在于，所述获取采集到的遥感图像在不同尺度下的图像特征的步骤，具体包括：
对采集到的遥感图像进行缩放处理，获得缩放遥感图像；
将所述缩放遥感图像输入至预设图像金字塔中进行图像采样处理，获得与所述缩放遥感图像对应的不同尺度下的尺度图像；
将所述尺度图像依次输入至特征提取器和特征聚合器中进行特征提取处理和特征聚合处理，获得图像特征。
3.如权利要求2所述的方法，其特征在于，所述将所述缩放遥感图像输入至预设图像金字塔中进行图像采样处理，获得与所述缩放遥感图像对应的不同尺度下的尺度图像的步骤，具体包括：
获取所述缩放遥感图像的尺度大小，并根据所述尺度大小匹配对应的图像采样规则；
将所述缩放遥感图像输入至预设图像金字塔中根据所述图像采样规则进行向上图像采样处理和/或向下图像采样处理，获得与所述缩放遥感图像对应的不同尺度下的尺度图像。
4.如权利要求1所述的方法，其特征在于，所述将所述图像特征输入到预设卷积神经网络模型中进行多尺度特征融合，获得融合特征的步骤，具体包括：
将所述图像特征输入到预设卷积神经网络模型的末位卷积层中进行卷积处理，以获得对应的图像特征图；
将所述图像特征图输入到所述预设卷积神经网络模型的池化层中进行池化处理，获得不同的池化特征；
对所述池化特征进行降维处理，获得对应的低维特征图；
对所述低维特征图依次进行双线性插值上采样处理和级联聚合处理，获得融合特征。
5.如权利要求4所述的方法，其特征在于，所述将所述图像特征图输入到所述预设卷积神经网络模型的池化层中进行池化处理，获得不同的池化特征的步骤，具体包括：
将所述图像特征图输入到所述预设卷积神经网络模型的池化层中通过以下公式进行池化处理，获得不同的池化特征，
pi＝pooli(F),i＝1,2,3,4
即
Figure FDA0002872124230000021
式中，pi为池化特征的统一表示，p1、p2、p3、p4为不同的池化特征，pooli为池化处理的统一表示，pool1、pool2、pool3、pool4表示作不同大小的池化处理，F为图像特征图。
6.如权利要求4所述的方法，其特征在于，所述对所述池化特征进行降维处理，获得对应的低维特征图的步骤，具体包括：
对所述池化特征通过下式进行降维处理，获得对应的低维特征图，
fi＝conv(pi),i＝1,2,3,4
即
Figure FDA0002872124230000022
式中，fi为低维特征图的统一表示，pi为池化特征的统一表示，conv表示作卷积处理，p1、p2、p3、p4为不同的池化特征，f1、f2、f3、f4为不同的低维特征图。
7.如权利要求4所述的方法，其特征在于，所述对所述低维特征图依次进行双线性插值上采样处理和级联聚合处理，获得融合特征的步骤，具体包括：
对所述低维特征图通过下式进行双线性插值上采样处理和级联聚合处理，获得融合特征，
F'＝cat[F,up(f1),up(f2),up(f3),up(f4)]
式中，F'为融合特征，cat表示作级联聚合处理，F为图像特征图，up表示作双线性插值上采样处理，f1、f2、f3、f4为不同的低维特征图。
8.一种基于多尺度特征融合的遥感场景分类系统，其特征在于，所述系统包括：
特征获取模块，用于获取采集到的遥感图像在不同尺度下的图像特征；
特征融合模块，用于将所述图像特征输入到预设卷积神经网络模型中进行多尺度特征融合，获得融合特征；
归一化处理模块，用于获取所述遥感图像的底层特征，将所述底层特征和所述融合特征进行归一化处理，获得目标特征；
场景分类模块，用于将所述目标特征输入至预设分类器中进行场景分类，以获得所述遥感图像的类别。
9.如权利要求8所述的系统，其特征在于，所述特征获取模块，还用于对采集到的遥感图像进行缩放处理，获得缩放遥感图像；
所述特征获取模块，还用于将所述缩放遥感图像输入至预设图像金字塔中进行图像采样处理，获得与所述缩放遥感图像对应的不同尺度下的尺度图像；
所述特征获取模块，还用于将所述尺度图像依次输入至特征提取器和特征聚合器中进行特征提取处理和特征聚合处理，获得图像特征。
10.如权利要求8所述的系统，其特征在于，所述特征融合模块，还用于将所述图像特征输入到预设卷积神经网络模型的末位卷积层中进行卷积处理，以获得对应的图像特征图；
所述特征融合模块，还用于将所述图像特征图输入到所述预设卷积神经网络模型的池化层中进行池化处理，获得不同的池化特征；
所述特征融合模块，还用于对所述池化特征进行降维处理，获得对应的低维特征图；
所述特征融合模块，还用于对所述低维特征图依次进行双线性插值上采样处理和级联聚合处理，获得融合特征。
CN202011643443.4A 2020-12-30 2020-12-30 基于多尺度特征融合的遥感场景分类方法及系统 Active CN112766083B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011643443.4A CN112766083B (zh) 2020-12-30 2020-12-30 基于多尺度特征融合的遥感场景分类方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011643443.4A CN112766083B (zh) 2020-12-30 2020-12-30 基于多尺度特征融合的遥感场景分类方法及系统

Publications (2)

Publication Number Publication Date
CN112766083A true CN112766083A (zh) 2021-05-07
CN112766083B CN112766083B (zh) 2023-10-27

Family

ID=75698720

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011643443.4A Active CN112766083B (zh) 2020-12-30 2020-12-30 基于多尺度特征融合的遥感场景分类方法及系统

Country Status (1)

Country Link
CN (1) CN112766083B (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113269787A (zh) * 2021-05-20 2021-08-17 浙江科技学院 一种基于门控融合的遥感图像语义分割方法
CN113377988A (zh) * 2021-05-20 2021-09-10 西安理工大学 一种基于深度散列与多特征融合的增量图像检索方法
CN113392104A (zh) * 2021-05-19 2021-09-14 江苏星月测绘科技股份有限公司 一种基于cim的海量数据分析方法及系统
CN113408594A (zh) * 2021-06-04 2021-09-17 中南民族大学 一种基于注意力网络尺度特征融合的遥感场景分类方法
CN116721301A (zh) * 2023-08-10 2023-09-08 中国地质大学（武汉） 目标场景分类模型训练方法、分类方法、设备及存储介质
CN117475182A (zh) * 2023-09-13 2024-01-30 江南大学 基于多特征聚合的立体匹配方法

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102214298A (zh) * 2011-06-20 2011-10-12 复旦大学 基于选择性视觉注意机制的遥感图像机场目标检测与识别方法
CN102867196A (zh) * 2012-09-13 2013-01-09 武汉大学 基于Gist特征学习的复杂海面遥感影像舰船检测方法
CN103198456A (zh) * 2013-03-21 2013-07-10 西安电子科技大学 基于方向波域隐马尔可夫树模型的遥感图像融合方法
CN106991382A (zh) * 2017-03-13 2017-07-28 南京信息工程大学 一种遥感场景分类方法
CN110555446A (zh) * 2019-08-19 2019-12-10 北京工业大学 基于多尺度深度特征融合和迁移学习的遥感影像场景分类方法
CN111860293A (zh) * 2020-07-16 2020-10-30 中南民族大学 遥感场景分类方法、装置、终端设备及存储介质

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102214298A (zh) * 2011-06-20 2011-10-12 复旦大学 基于选择性视觉注意机制的遥感图像机场目标检测与识别方法
CN102867196A (zh) * 2012-09-13 2013-01-09 武汉大学 基于Gist特征学习的复杂海面遥感影像舰船检测方法
CN103198456A (zh) * 2013-03-21 2013-07-10 西安电子科技大学 基于方向波域隐马尔可夫树模型的遥感图像融合方法
CN106991382A (zh) * 2017-03-13 2017-07-28 南京信息工程大学 一种遥感场景分类方法
CN110555446A (zh) * 2019-08-19 2019-12-10 北京工业大学 基于多尺度深度特征融合和迁移学习的遥感影像场景分类方法
CN111860293A (zh) * 2020-07-16 2020-10-30 中南民族大学 遥感场景分类方法、装置、终端设备及存储介质

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113392104A (zh) * 2021-05-19 2021-09-14 江苏星月测绘科技股份有限公司 一种基于cim的海量数据分析方法及系统
CN113392104B (zh) * 2021-05-19 2021-12-28 江苏星月测绘科技股份有限公司 一种基于cim的海量数据分析方法及系统
CN113269787A (zh) * 2021-05-20 2021-08-17 浙江科技学院 一种基于门控融合的遥感图像语义分割方法
CN113377988A (zh) * 2021-05-20 2021-09-10 西安理工大学 一种基于深度散列与多特征融合的增量图像检索方法
CN113408594A (zh) * 2021-06-04 2021-09-17 中南民族大学 一种基于注意力网络尺度特征融合的遥感场景分类方法
CN113408594B (zh) * 2021-06-04 2022-04-29 中南民族大学 一种基于注意力网络尺度特征融合的遥感场景分类方法
CN116721301A (zh) * 2023-08-10 2023-09-08 中国地质大学（武汉） 目标场景分类模型训练方法、分类方法、设备及存储介质
CN116721301B (zh) * 2023-08-10 2023-10-24 中国地质大学（武汉） 目标场景分类模型训练方法、分类方法、设备及存储介质
CN117475182A (zh) * 2023-09-13 2024-01-30 江南大学 基于多特征聚合的立体匹配方法
CN117475182B (zh) * 2023-09-13 2024-06-04 江南大学 基于多特征聚合的立体匹配方法

Also Published As

Publication number Publication date
CN112766083B (zh) 2023-10-27

Similar Documents

Publication Publication Date Title
CN112766083A (zh) 基于多尺度特征融合的遥感场景分类方法及系统
Zhou et al. Pyramid fully convolutional network for hyperspectral and multispectral image fusion
El Amin et al. Convolutional neural network features based change detection in satellite images
CN107358260B (zh) 一种基于表面波cnn的多光谱图像分类方法
Yuan et al. Remote sensing image segmentation by combining spectral and texture features
Dalla Mura et al. Classification of hyperspectral images by using extended morphological attribute profiles and independent component analysis
Riaz et al. Texture classification using rotation-and scale-invariant gabor texture features
Sirmacek et al. Urban-area and building detection using SIFT keypoints and graph theory
Song et al. Road extraction using SVM and image segmentation
CN108305260B (zh) 一种图像中角点的检测方法、装置及设备
CN107633216B (zh) 高光谱遥感图像的三维表面空谱联合特征编码方法及装置
Caprioli et al. Accuracy assessment of per-field classification integrating very fine spatial resolution satellite imagery with topographic data
CN109086777A (zh) 一种基于全局像素特征的显著图精细化方法
Herrault et al. Automatic extraction of forests from historical maps based on unsupervised classification in the CIELab color space
CN111179193B (zh) 基于DCNNs和GANs的皮肤镜图像增强和分类方法
CN103399863B (zh) 基于边缘方向差特征袋的图像检索方法
Giachetti Effective characterization of relief patterns
CN114444565A (zh) 一种图像篡改检测方法、终端设备及存储介质
CN108335265B (zh) 一种基于样本学习的快速图像超分辨率重建方法及装置
CN113744142A (zh) 图像修复方法、电子设备及存储介质
Kustra et al. Computing refined skeletal features from medial point clouds
CN112633070A (zh) 高分辨率遥感影像建筑物提取方法及系统
CN110070626B (zh) 一种基于多视角分类的三维物体检索方法
Xie et al. SMRD: A local feature descriptor for multi-modal image registration
CN114862883A (zh) 一种目标边缘提取方法、图像分割方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant