CN108052911A - 基于深度学习的多模态遥感影像高层特征融合分类方法 - Google Patents

基于深度学习的多模态遥感影像高层特征融合分类方法 Download PDF

Info

Publication number
CN108052911A
CN108052911A CN201711379681.7A CN201711379681A CN108052911A CN 108052911 A CN108052911 A CN 108052911A CN 201711379681 A CN201711379681 A CN 201711379681A CN 108052911 A CN108052911 A CN 108052911A
Authority
CN
China
Prior art keywords
remote sensing
sensing image
modal
deep learning
level feature
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201711379681.7A
Other languages
English (en)
Other versions
CN108052911B (zh
Inventor
贺琪
黄冬梅
李瑶
杜艳玲
查铖
李明慧
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Maritime University
Original Assignee
Shanghai Maritime University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Maritime University filed Critical Shanghai Maritime University
Priority to CN201711379681.7A priority Critical patent/CN108052911B/zh
Publication of CN108052911A publication Critical patent/CN108052911A/zh
Application granted granted Critical
Publication of CN108052911B publication Critical patent/CN108052911B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G06V20/13—Satellite images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2413—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
    • G06F18/24133—Distances to prototypes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2413—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
    • G06F18/24147—Distances to closest patterns, e.g. nearest neighbour classification

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Astronomy & Astrophysics (AREA)
  • Remote Sensing (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及一种基于深度学习的多模态遥感影像高层特征融合分类方法，其包括以下步骤：多模态遥感数据集的预处理，制作高层特征提取器的训练集、验证集、测试集，用于高层特征提取器模型参数的构建；多模态高层特征提取器的模型构建，用于提取多个模态遥感影像的高层特征；多模态遥感影像高层特征的提取与存储，用于多分类器的训练、验证与测试；高层特征融合算法，用于制作分类器的训练集、验证集与测试集；分类器模型参数的构建，用于新产生的数据集的分类。本发明通过深度学习可以在遥感影像地物分类中取得显著效果，适用于复杂、海量的遥感影像分类，具有精度高、快速、高效、安全的特点，从而提高遥感影像的利用率以及遥感影像的利用价值。

Description

基于深度学习的多模态遥感影像高层特征融合分类方法
技术领域
本发明涉及机器学习领域，尤其涉及深度学习领域，具体涉及一种基于深度学习的多模态遥感影像高层特征融合分类方法。
背景技术
随着遥感技术的发展，高效的将遥感技术应用于区域性土地调查、定量提取土地利用信息、监测与评价环境等具有重要的研究价值。其中，遥感影像分类技术作为遥感应用的重要支撑已广泛应用于专题信息提取、变化检测、专题地图制作以及遥感数据库的建立。
遥感影像分类是遥感应用系统中的关键技术，其主要任务是根据地物电磁波辐射信息在遥感影像上的特征，判读识别地面物体的属性及其分布状况。虽然近年来遥感影像分类算法的研究取得了较大的进展，但其在现实中，由于地表地物成分、性质、分布情况的复杂性及成像条件等因素，实际影像会出现“同物异谱”和“同谱异物”的现象；应对各种遥感影像识别方法普遍通用性较差；现存的遥感影像识别方法过程复杂，不易操作。所以，如何提高遥感影像分类算法的精读和速度以适应上述挑战仍然是目前研究聚焦的核心。
遥感影像分类领域可分为单模态分类技术和多模态分类技术。单模态分类是基于一种模态遥感影像的分类算法，单模态分类方法中，在处理“同物异谱”和“同谱异物”等复杂问题时，无法很好地应对。多模态分类方法则更好地解决了遥感影像“同物异谱”和“同谱异物”给分类带来的挑战。
多模态遥感影像分类方法层出不穷，而且这个领域的发展趋势逐渐从传统的分类方法转向机器学习和信号处理的高级方法。在处理来自多个传感器、不同分辨率以及具有不同物理表达形式的多模态遥感影像时，虽然机器学习已经广泛应用于遥感影像分类，但是这类方法依然存在以下四个问题：(1)对多种模态的选择具有限制性；(2)遥感影像具有的光谱、维度、时相、分辨率等特点，使得数据处理具有严峻的挑战；(3)如何建立多种模态之间的相互关系用于提高遥感影像的分类精度有一定的难度；(4)随着遥感技术的发展，海量的遥感影像处理面临挑战。
专利文献CN104102929A，公开日2014.10.15，公开了一种基于深度学习的高光谱遥感数据分类方法，该方法首先对高光谱原始数据进行处理获得高光谱原始数据的光谱特征向量和空间特征信息；再对所述光谱特征向量和空间特征信息进行整合；由高光谱整合数据确定标记样本，并由标记样本中选择训练样本和测试样本；使用训练样本对构成深层网络的多层限制玻尔兹曼机进行预训练；使用训练样本对多层限制玻尔兹曼机构成的网络进行有监督学习；将测试样本输入微调后的多层限制玻尔兹曼机构成的网络，实现高光谱遥感数据的分类。该方法解决了现有对蕴含非线性特征的高光谱数据进行分类的方法存在分类精度低的问题。
专利文献CN105930877A，公开日2016.09.07，公开了一种基于多模态深度学习的遥感影像分类方法，该方法包括以下步骤：首先构建多模态遥感影像数据样本集，包括不同成像原理的多模态遥感影像；基于不同的数据模态，构建数据模态敏感的特征学习深度网络，采用不同模态数据分别训练相应的特征学习深度网络；建立模态间特征关联模型生成关联共享特征并训练；采用测试样本集输入训练微调后的多模态深度网络，实现遥感影像精准分类。该发明的优点表现在：有效利用多源遥感影像，挖掘模态间互补、合作信息，整个过程自动进行，减少了人工投入与主观人为因素导致的分类精度低，提高了分类精度。
专利文献CN106845418A，公开日2017.06.13，公开了一种基于深度学习的高光谱图像分类方法，首先通过数据样本的获取、自编码网络的逐层训练及采用BP算法对预训练得到初始权值的进一步调整，实现对高光谱图像的降维处理；然后取高光谱图像中每一个像元邻域内的数据立方体作为卷积神经网络的输入，像元对应的地物种类作为卷积神经网络的期望输出，训练卷积神经网络，并将训练好的卷积神经网络作用于整幅高光谱图像，得到最后高精度分类结果。该发明克服了传统高光谱图像分类问题中降维过程中丢弃细节、分类时空间信息丢失、分类精度低的弊端，达到了较好的分类精度。
专利文献CN106897737A，2017.06.27，公开了一种基于高光谱遥感图像的地物分类方法，将原始的超限学习机网络扩展为层级化多通道融合网络，在网络训练方面，不同于原始ELM网络的最小二乘算法求解输出权重策略以及深度学习网络的全局迭代调优策略，而是采用贪婪式逐层训练的方式，对层级网络逐层训练，极大地缩短了网络的训练时间，在逐层训练的过程中，每层网络的训练求解模型均添加l1正则优化项，使得参数求解结果更稀疏，减少过拟合风险；在网络功能方面，该发明所提网络模型的不同层级实现了目标数据特征学习或特征融合。
然而，目前还未见可以有效克服如前所述的机器学习应用于遥感影像分类中尚存在的四个问题，能够快速、高效、安全的对复杂、海量的遥感数据进行分类的方法。
发明内容
本发明的目的是针对现有技术中的不足，提供一种基于深度学习的多模态遥感影像高层特征融合分类方法。
为实现上述目的，本发明采取的技术方案是：
一种基于深度学习的多模态遥感影像高层特征融合分类方法，包括以下步骤：
步骤1，多模态遥感数据集的预处理，制作高层特征提取器的训练集、验证集、测试集，用于高层特征提取器模型参数的构建；
步骤2，多模态高层特征提取器的模型构建，用于提取多个模态遥感影像的高层特征；
步骤3，多模态遥感影像高层特征的提取与存储，用于多分类器的训练、验证与测试；
步骤4，高层特征融合算法，用于制作分类器的训练集、验证集与测试集；
步骤5，分类器模型参数的构建，用于新产生的数据集的分类。
作为本发明的一个优选例，所述的步骤1包括以下步骤：
步骤1-1，根据遥感影像的特点确定多种模态的数据类型；
步骤1-2，将多模影像裁剪成128*128大小的影像，并根据类别打标签，然后分别按照7:1:2的比例构建两组模态的训练集、验证集、测试集。
作为本发明的一个优选例，根据遥感影像数据集的特点选择两种不同分辨率作为多模态。
作为本发明的一个优选例，所述的步骤2包括以下步骤：
步骤2-1，设计目标函数：使用交叉熵函数评估分类效果：给定两个概率分布p和q，通过q来表示p的交叉熵为：
再采用tensorflow中去掉回归参数的Softmax回归将神经网络的输出变成一个概率分布，
从而通过交叉熵来计算预测的概率分布与真实答案的概率分布之间的距离，p代表的是正确答案，q代表的是预测值；
步骤2-2，设计深度学习的网络结构：包括卷积层、池化层、全连接层以及Softmax层的组装；学习率的设置；过拟合问题的处理。
作为本发明的一个优选例，使用尺寸为3*3，大小深度为16的卷积核，经过前向传播过程得到的单位矩阵中的第i个节点的取值g(i)为：
其中，表示对于输出单位节点矩阵中的第i个节点，过滤器输入节点(x，y，z)的权重，使用bi表示第i个输出节点对应的偏置参数，ax，y，z为过滤器中节点(x，y，z)的取值，f为激活函数；同时使用ReLU作为激活函数时单位矩阵中第i个节点取值的计算。
作为本发明的一个优选例，采用过滤器尺寸为[1，2，2，1]的池化层实现最大池化。
作为本发明的一个优选例，用指数衰减的方法设置梯度下降算法中的学习率，具体实现算法如下：
decayed_learning_rate＝\
learning_rate*decay_rate∧(global_step/decay_steps)
上述函数为tensorflow中的exponential_decay函数，learning_rate为事先设定好的初始学习率，decay_rate为衰减系数，decay_steps为衰减速度。
作为本发明的一个优选例，所述的过拟合问题的处理具体方法为：在损失函数中加入刻画模型复杂程度的指标即正则化方法以避免过拟合，设用于刻画模型在训练及数据上表现的损失函数为J(θ)，在优化时优化J(θ)+μR(w)，其中R(w)刻画的是模型的复杂程度，而μ表示模型复杂损失在总损失中的比例，θ表示神经网络中所有的参数，包括边上的权重w和偏置项b；联合使用L1正则化与L2正则化，具体算法如下：
作为本发明的一个优选例，所述的步骤3包括以下步骤：
步骤3-1，批量处理算法的设计
构建队列结构，批量的将多模态遥感影像集输入高层特征提取器，将影像集的高层特征、标签、存储位置分别存储；
步骤3-2，高层特征存储结构的设计
针对遥感影像高层特征的结构特点，设计字典存储结构存储批量提取的高层特征。
作为本发明的一个优选例，所述的步骤4包括以下步骤：
步骤4-1，融合算法的设计
在高层特征融合的过程中构建融合函数M＝(wA*FeatureA+wB*FeatureB)，将同物异谱的多种模态遥感影像的高层特征融合之前，分别给每个模态加上权重矩阵，利用分类器的交叉熵函数反向调节该权重矩阵；
步骤4-2，融合后数据集的存储结构设计
针对融合后高层特征的特点，将类别标签与高层特征对应起来存储。
本发明优点在于：
1、本发明克服了现有技术中存在的多模态遥感影像分类对多种模态的选择具有限制性的缺陷；
2、本发明克服了现有技术中存在的多模态遥感影像分类对遥感影像数据处理能力具有局限性的缺陷；
3、本发明克服了现有技术中多种模态遥感数据相关关系应用于分类模型的困难；
4、本发明适用于海量遥感影像的处理；
5、深度卷积神经网络(CNN)可以很好的获取影像纹理信息，捕捉像素与像素之间的空间特征；
6、不同模态的遥感影像在训练分类器时特有的信息相互补充，使得分类器充分学习到同物异谱包含的更多的信息。
综上，本发明的基于深度学习的多模态遥感影像高层特征融合分类方法，通过深度学习可以在遥感影像地物分类中取得显著效果，适用于复杂、海量的遥感影像分类，具有精度高、快速、高效、安全的特点，从而提高遥感影像的利用率以及遥感影像的利用价值。
附图说明
附图1为本发明的基于深度学习的多模态遥感影像高层特征融合分类方法的构建与应用过程。
附图2为本发明的基于深度学习的多模态遥感影像高层特征融合分类方法的步骤2(高层特征提取器模型参数的构建)示意图。
附图3为本发明的基于深度学习的多模态遥感影像高层特征融合分类方法的步骤3(多模态高层特征的提取与存储)示意图。
附图4为本发明的基于深度学习的多模态遥感影像高层特征融合分类方法的多模态融合策略以及分类器的训练、验证与测试。
具体实施方式
下面结合附图对本发明提供的具体实施方式作详细说明。
实施例1
请参见图1，图1是本发明的基于深度学习的多模态遥感影像高层特征融合分类方法的构建与应用过程。所述的基于深度学习的多模态遥感影像高层特征融合分类方法具有如下构成：
步骤1，多模态遥感数据集的预处理，制作高层特征提取器的训练集、验证集、测试集，用于高层特征提取器模型参数的构建；
步骤2，多模态高层特征提取器的模型构建，用于提取多个模态遥感影像的高层特征；
步骤3，多模态遥感影像高层特征的提取与存储，用于多分类器的训练、验证与测试；
步骤4，高层特征融合算法，用于制作分类器的训练集、验证集与测试集；
步骤5，分类器模型参数的构建，用于新产生的数据集的分类。
其中，所述的步骤1包括以下几个步骤：
步骤1-1，根据遥感影像的特点确定多种模态的数据类型；
多模态的遥感影像中的多模态范围包括：不同分辨率的遥感影像、不同角度的遥感影像、不同源的遥感影像、不同时间分辨率的遥感影像、不同空间分辨率的遥感影像、不同维度的遥感影像等。本实施例根据遥感影像数据集的特点选择两种不同分辨率作为多模态。
步骤1-2，将多模影像裁剪成128*128大小的影像，并根据类别打标签，然后分别按照7:1:2的比例构建两组模态的训练集、验证集、测试集。
请参见图2，图2为本发明的基于深度学习的多模态遥感影像高层特征融合分类方法的步骤2(高层特征提取器模型参数的构建)示意图。所述的步骤2包括以下步骤：
步骤2-1，设计目标函数；
神经网络模型的效果以及优化的目标是通过损失函数来定义的。通过神经网络解决多分类问题最常用的方法是设置n个输出节点，其中n为类别的个数。对于每一幅遥感影像，神经网络可以得到的一个n维数组作为输出结果。数组中的每一个维度对应一个类别。如果一幅遥感影像属于类别k，那么这个类别对应的输出节点的输出值应该为1，而其他节点的输出都为0。
因此，使用交叉熵函数评估分类效果：给定两个概率分布p和q，通过q来表示p的交叉熵为：
公式(1)中交叉熵函数刻画的是两个概率分布之间的距离，但是神经网络的输出不总是概率分布的。本实施例采用Softmax回归将神经网络前向传播得到的结果变成概率分布，具体内容如下：由于事件总数是有限的情况，概率分布函数p(X＝x)满足：
且
采用tensorflow中去掉回归参数的Softmax回归将神经网络的输出变成一个概率分布。假设原始神经网络输出为y1，y2，...，yn，那么经过Softmax回归处理之后的输出为：
其中，y′i表示神经网络的输出经过Softmax函数处理后得到的概率值，eyi表示样本类别为标签i的概率，eyj表示样本类别为标签j的概率，是对概率分布进行归一化，使得所有概率总和为1。
从以上公式中可以看出，原始神经网络的输出被用作置信度来生成新的输出，而新的输出满足概率分布的所有要求。
从而可以通过交叉熵来计算预测的概率分布与真实答案的概率分布之间的距离了，p代表的是正确答案，q代表的是预测值。交叉熵值越小，两个概率分布越接近。
步骤2-2，设计深度学习的网络结构；
本实施例的深度学习网络结构的内容包括：卷积层、池化层、全连接层以及Softmax层的组装；学习率的设置；过拟合问题的处理。
卷积层：本实施例使用尺寸为3*3，大小深度为16的卷积核，经过前向传播过程得到的单位矩阵中的第i个节点的取值g(i)为：
其中，表示对于输出单位节点矩阵中的第i个节点，过滤器输入节点(x，y，z)的权重，使用bi表示第i个输出节点对应的偏置参数。ax，y，z为过滤器中节点(x，y，z)的取值，f为激活函数。同时本发明中使用ReLU作为激活函数时单位矩阵中第i个节点取值的计算。
池化层：本实施例采用过滤器尺寸为[1,2,2,1]的池化层实现最大池化。非常有效的缩小了矩阵的尺寸，从而减少最后全连接层中的参数。使用池化层即加快了计算速度又在一定程度上防止了过拟合现象。
全连接层：将最后矩阵中的节点拉成一个一维向量，用于输入Softmax层进行分类操作。
Softmax层：将神经网络的输出变成一个概率分布，并计算交叉熵，根据交叉熵反向调节各层网络的参数值。
学习率的设置：本实施例使用指数衰减的方法设置梯度下降算法中的学习率，该方法既可以让模型在训练的前期快速接近较优解，又可以保证模型在训练后期不会有太大的波动，从而更加接近局部最优解。具体实现算法如下：
decayed_learning_rate＝\
learning_rate*decay_rate^(global_step/decay_steps)
上述函数为tensorflow中的exponential_decay函数，通过这个函数，可以先使用较大的学习率来快速的得到一个比较优的解，然后随着迭代的继续逐步减小学习率。其中，learning_rate为事先设定好的初始学习率，decay_rate为衰减系数，decay_steps为衰减速度。
过拟合问题的处理：过拟合问题是指当一个模型过于复杂后，它可以很好地“记忆”每一个训练数据中随机噪音的部分而忘记了要去“学习”训练数据中通用的趋势。本实施例为了避免过拟合，在损失函数中加入刻画模型复杂程度的指标，即正则化方法。设用于刻画模型在训练及数据上表现的损失函数为J(θ)，那么在优化时不是直接优化J(θ)，而是优化J(θ)+μR(w)，其中R(w)刻画的是模型的复杂程度，而μ表示模型复杂损失在总损失中的比例，θ表示神经网络中所有的参数，包括边上的权重w和偏置项b。本实施例联合使用L1正则化与L2正则化，具体算法如下：wi表示深度学习网络中使用L1正则化第i层的权重矩阵，表示使用L2正则化第i层的权重矩阵，α表示两种正则化在处理过拟合中的权值。
请参见图3，图3为本发明的基于深度学习的多模态遥感影像高层特征融合分类方法的步骤3(多模态高层特征的提取与存储)示意图。所述的步骤3包括以下几个步骤：
步骤3-1，批量处理算法的设计；
构建队列结构，批量的将多模态遥感影像集输入高层特征提取器，将影像集的高层特征、标签、存储位置分别存储。
步骤3-2，高层特征存储结构的设计；
针对遥感影像高层特征的结构特点，设计字典存储结构存储批量提取的高层特征。
请参见图4，图4为本发明的基于深度学习的多模态遥感影像高层特征融合分类方法的多模态融合策略以及分类器的训练、验证与测试。所述的步骤4包括以下几个步骤：
步骤4-1，融合算法的设计；
本实施例在高层特征融合的过程中构建融合函数N＝(wA*FeatureA+wB*FeatureB)，其中M表示两种模态的高层特征融合后得到的样本，FeatureA表示第一种模态使用卷积深度学习网络提取的高层特征，FeatureB表示第二种模态使用卷积深度网络提取的高层特征，wA、wB表示两种模态在融合算法中的权值。将同物异谱的多种模态遥感影像的高层特征融合之前，分别给每个模态加上权重矩阵。利用分类器的交叉熵函数反向调节该权重矩阵。
步骤4-2，融合后数据集的存储结构设计；
针对融合后高层特征的特点，将类别标签与高层特征对应起来存储。
实施例2
本实施例选取包含21类场景遥感卫星图像分类数据库UC Merced Land UseDataset和西北理工大学创建的遥感影像场景分类的数据集NWPU-RESISC45 dataset。两个数据集的分辩率不同，看作两种模态。本发明在进行二分类实验中对数据集的制作如下：针对UC Merced Land Use Dataset，由于每个类的遥感影像数量只有100多幅，为了扩充数据集，在现有数据集的基础上对数据集随机扭转、分割、改变图像亮度得到1000幅256*256的遥感影像数据集；针对NWPU-RESISC45 dataset，每个类别有700幅遥感影像，使用相同的方法将数据集扩充到1000幅。
按照7:1:2的比例制作出两组训练集、验证集与测试集，用于训练两组有针对性的高层特征提取器，每个模态的高层特征提取器的具体步骤如下：
输出该模态的高层特征提取器即该深度网络的模型参数。
算法分析：在时间复杂度方面，该算法使用卷积层、池化层、全连接层以及Softmax层，本发明在每一层卷积层后面都加了池化层，可以大大减少计算的时间复杂度。
至此，得到了两种模态的高层特征提取器的模型参数，接下来是遥感影像的高层特征提取与两种模态之间高层特征的融合与存储，具体步骤如下：
For(j＝0；j<datasetsNum；j++)//datasetsNum表示数据集中遥感影像的数量
将UC Merced Land Use Dataset模态的数据集输入到UC Merced Land UseDataset对应的高层特征提取器；
将NWPU-RESISC45 dataset模态的数据集输入到NWPU-RESISC45 dataset对应的高层特征提取器；
定义UC Merced Land Use Dataset类型存储栈UC[]；
定义UC Merced Land Use Dataset类型标签的存储栈UC_lable[]；由于两种模态的遥感数据在数据集中的位置是一一对应的，提取高层特征的顺序与数据集中的位置是一致的，所以可以只存储一个标签集；
定义NWPU-RESISC45 dataset类型存储栈NWPU[]；
输出两个模态的高层特征存储栈UC[]、NWPU[]和类别标签存储栈UC_lable[]；
至此，本发明已经拿到两种模态的高层特征数据集以及它们的类别标签，接下来就要通过自己构建的融合函数将两种模态融合在一起去训练分类器，具体步骤如下：
输入分类器的模型参数；
至此本发明得到了一整套基于深度学习的多模态遥感影像高层特融合分类方法的实现架构。该模型在应用过程中比单模态遥感影像训练得到的分类器分类精度更高，是因为两种模态的遥感影像包含的地物特征比单个模态遥感影像更加丰富，具体步骤如下：
输入单个模态的遥感影像数据集；
经过高层特征提取器提取出影像集的高层特征；
将高层特征输入到分类器层；
输出分类结果。
以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员，在不脱离本发明方法的前提下，还可以做出若干改进和补充，这些改进和补充也应视为本发明的保护范围。

Claims (10)

1.一种基于深度学习的多模态遥感影像高层特征融合分类方法，其特征在于，包括以下步骤：
步骤1，多模态遥感数据集的预处理，制作高层特征提取器的训练集、验证集、测试集，用于高层特征提取器模型参数的构建；
步骤2，多模态高层特征提取器的模型构建，用于提取多个模态遥感影像的高层特征；
步骤3，多模态遥感影像高层特征的提取与存储，用于多分类器的训练、验证与测试；
步骤4，高层特征融合算法，用于制作分类器的训练集、验证集与测试集；
步骤5，分类器模型参数的构建，用于新产生的数据集的分类。
2.根据权利要求1所述的基于深度学习的多模态遥感影像高层特征融合分类方法，其特征在于，所述的步骤1包括以下步骤：
步骤1-1，根据遥感影像的特点确定多种模态的数据类型；
步骤1-2，将多模影像裁剪成128*128大小的影像，并根据类别打标签，然后分别按照7:1:2的比例构建两组模态的训练集、验证集、测试集。
3.根据权利要求2所述的基于深度学习的多模态遥感影像高层特征融合分类方法，其特征在于，根据遥感影像数据集的特点选择两种不同分辨率作为多模态。
4.根据权利要求1所述的基于深度学习的多模态遥感影像高层特征融合分类方法，其特征在于，所述的步骤2包括以下步骤：
步骤2-1，设计目标函数：使用交叉熵函数评估分类效果：给定两个概率分布p和q，通过q来表示p的交叉熵为：
<mrow> <mi>H</mi> <mrow> <mo>(</mo> <mi>p</mi> <mo>,</mo> <mi>q</mi> <mo>)</mo> </mrow> <mo>=</mo> <mo>-</mo> <munder> <mo>&amp;Sigma;</mo> <mi>x</mi> </munder> <mi>p</mi> <mrow> <mo>(</mo> <mi>x</mi> <mo>)</mo> </mrow> <mi>l</mi> <mi>o</mi> <mi>g</mi> <mi> </mi> <mi>q</mi> <mrow> <mo>(</mo> <mi>x</mi> <mo>)</mo> </mrow> <mo>-</mo> <mo>-</mo> <mo>-</mo> <mrow> <mo>(</mo> <mn>1</mn> <mo>)</mo> </mrow> </mrow>
再采用tensorflow中去掉回归参数的Softmax回归将神经网络的输出变成一个概率分布，
从而通过交叉熵来计算预测的概率分布与真实答案的概率分布之间的距离，p代表的是正确答案，q代表的是预测值；
步骤2-2，设计深度学习的网络结构：包括卷积层、池化层、全连接层以及Softmax层的组装；学习率的设置；过拟合问题的处理。
5.根据权利要求4所述的基于深度学习的多模态遥感影像高层特征融合分类方法，其特征在于，使用尺寸为3*3，大小深度为16的卷积核，经过前向传播过程得到的单位矩阵中的第i个节点的取值g(i)为：
<mrow> <mi>g</mi> <mrow> <mo>(</mo> <mi>i</mi> <mo>)</mo> </mrow> <mo>=</mo> <mi>f</mi> <mrow> <mo>(</mo> <munderover> <mo>&amp;Sigma;</mo> <mrow> <mi>x</mi> <mo>=</mo> <mn>1</mn> </mrow> <mn>2</mn> </munderover> <munderover> <mo>&amp;Sigma;</mo> <mrow> <mi>y</mi> <mo>=</mo> <mn>1</mn> </mrow> <mn>2</mn> </munderover> <munderover> <mo>&amp;Sigma;</mo> <mrow> <mi>z</mi> <mo>=</mo> <mn>1</mn> </mrow> <mn>3</mn> </munderover> <msub> <mi>a</mi> <mrow> <mi>x</mi> <mo>,</mo> <mi>y</mi> <mo>,</mo> <mi>z</mi> </mrow> </msub> <mo>&amp;times;</mo> <msubsup> <mi>w</mi> <mrow> <mi>x</mi> <mo>,</mo> <mi>y</mi> <mo>,</mo> <mi>z</mi> </mrow> <mi>i</mi> </msubsup> <mo>+</mo> <msup> <mi>b</mi> <mi>i</mi> </msup> <mo>)</mo> </mrow> </mrow>
其中，表示对于输出单位节点矩阵中的第i个节点，过滤器输入节点(x，y，z)的权重，使用bi表示第i个输出节点对应的偏置参数，ax，y，z为过滤器中节点(x，y，z)的取值，f为激活函数；同时使用ReLU作为激活函数时单位矩阵中第i个节点取值的计算。
6.根据权利要求4所述的基于深度学习的多模态遥感影像高层特征融合分类方法，其特征在于，采用过滤器尺寸为[1，2，2，1]的池化层实现最大池化。
7.根据权利要求4所述的基于深度学习的多模态遥感影像高层特征融合分类方法，其特征在于，用指数衰减的方法设置梯度下降算法中的学习率，具体实现算法如下：
decayed_learning_rate＝\
learning_rate*decay_rate∧(global_step/decay_steps)
上述函数为tensorflow中的exponential_decay函数，learning_rate为事先设定好的初始学习率，decay_rate为衰减系数，decay_steps为衰减速度。
8.根据权利要求4所述的基于深度学习的多模态遥感影像高层特征融合分类方法，其特征在于，所述的过拟合问题的处理具体方法为：在损失函数中加入刻画模型复杂程度的指标即正则化方法以避免过拟合，设用于刻画模型在训练及数据上表现的损失函数为J(θ)，在优化时优化J(θ)+μR(w)，其中R(w)刻画的是模型的复杂程度，而μ表示模型复杂损失在总损失中的比例，θ表示神经网络中所有的参数，包括边上的权重w和偏置项b；联合使用L1正则化与L2正则化，具体算法如下：
<mrow> <mi>R</mi> <mrow> <mo>(</mo> <mi>w</mi> <mo>)</mo> </mrow> <mo>=</mo> <munder> <mo>&amp;Sigma;</mo> <mi>i</mi> </munder> <mi>&amp;alpha;</mi> <mo>|</mo> <msub> <mi>w</mi> <mi>i</mi> </msub> <mo>|</mo> <mo>+</mo> <mrow> <mo>(</mo> <mn>1</mn> <mo>-</mo> <mi>&amp;alpha;</mi> <mo>)</mo> </mrow> <msubsup> <mi>w</mi> <mi>i</mi> <mn>2</mn> </msubsup> <mo>.</mo> </mrow>
9.根据权利要求1所述的基于深度学习的多模态遥感影像高层特征融合分类方法，其特征在于，所述的步骤3包括以下步骤：
步骤3-1，批量处理算法的设计
构建队列结构，批量的将多模态遥感影像集输入高层特征提取器，将影像集的高层特征、标签、存储位置分别存储；
步骤3-2，高层特征存储结构的设计
针对遥感影像高层特征的结构特点，设计字典存储结构存储批量提取的高层特征。
10.根据权利要求1所述的基于深度学习的多模态遥感影像高层特征融合分类方法，其特征在于，所述的步骤4包括以下步骤：
步骤4-1，融合算法的设计
在高层特征融合的过程中构建融合函数M＝(wA*FeatureA+WB*FeatureB)，将同物异谱的多种模态遥感影像的高层特征融合之前，分别给每个模态加上权重矩阵，利用分类器的交叉熵函数反向调节该权重矩阵；
步骤4-2，融合后数据集的存储结构设计
针对融合后高层特征的特点，将类别标签与高层特征对应起来存储。
CN201711379681.7A 2017-12-20 2017-12-20 基于深度学习的多模态遥感影像高层特征融合分类方法 Active CN108052911B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201711379681.7A CN108052911B (zh) 2017-12-20 2017-12-20 基于深度学习的多模态遥感影像高层特征融合分类方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201711379681.7A CN108052911B (zh) 2017-12-20 2017-12-20 基于深度学习的多模态遥感影像高层特征融合分类方法

Publications (2)

Publication Number Publication Date
CN108052911A true CN108052911A (zh) 2018-05-18
CN108052911B CN108052911B (zh) 2021-12-07

Family

ID=62130143

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201711379681.7A Active CN108052911B (zh) 2017-12-20 2017-12-20 基于深度学习的多模态遥感影像高层特征融合分类方法

Country Status (1)

Country Link
CN (1) CN108052911B (zh)

Cited By (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108805259A (zh) * 2018-05-23 2018-11-13 北京达佳互联信息技术有限公司 神经网络模型训练方法、装置、存储介质及终端设备
CN108830308A (zh) * 2018-05-31 2018-11-16 西安电子科技大学 一种基于信号的传统特征与深度特征融合的调制识别方法
CN108959075A (zh) * 2018-06-15 2018-12-07 Oppo（重庆）智能科技有限公司 算法库的测试方法、装置、存储介质及电子设备
CN109063766A (zh) * 2018-07-31 2018-12-21 湘潭大学 一种基于判别性预测稀疏分解模型的图像分类方法
CN109543630A (zh) * 2018-11-28 2019-03-29 苏州中科天启遥感科技有限公司 基于深度学习的遥感影像林地提取方法及系统、存储介质、电子设备
CN109726772A (zh) * 2019-03-14 2019-05-07 西安交通大学 基于多流融合模型的行星齿轮箱智能诊断方法
CN109754006A (zh) * 2018-12-26 2019-05-14 清华大学 一种视图及点云融合的立体视觉内容分类方法与系统
CN109815880A (zh) * 2019-01-20 2019-05-28 景遥（上海）信息技术有限公司 基于低空遥感影像和深度学习的水葫芦识别系统及方法
CN109978882A (zh) * 2019-04-09 2019-07-05 中康龙马(北京)医疗健康科技有限公司 一种基于多模态融合的医疗影像目标检测方法
CN110334724A (zh) * 2019-04-16 2019-10-15 武汉理工大学 基于lstm的遥感对象自然语言描述及多尺度矫正方法
CN110852227A (zh) * 2019-11-04 2020-02-28 中国科学院遥感与数字地球研究所 高光谱图像深度学习分类方法、装置、设备及存储介质
CN111461176A (zh) * 2020-03-09 2020-07-28 华南理工大学 基于归一化互信息的多模态融合方法、装置、介质及设备
CN111914777A (zh) * 2020-08-07 2020-11-10 广东工业大学 一种跨模态识别机器人指令的方法及系统
CN112070070A (zh) * 2020-11-10 2020-12-11 南京信息工程大学 一种用于城市遥感场景识别的lw-cnn方法和系统
CN112183669A (zh) * 2020-11-04 2021-01-05 北京航天泰坦科技股份有限公司 图像分类方法和装置、设备及存储介质
CN112655001A (zh) * 2018-09-07 2021-04-13 爱贝欧汽车系统有限公司 分类对象的方法和装置
WO2021098323A1 (zh) * 2019-11-19 2021-05-27 清华大学 一种基于多模态融合深度学习的布匹缺陷检测方法
CN114359660A (zh) * 2021-12-20 2022-04-15 合肥工业大学 一种适用于模态强弱变化的多模态目标检测方法及系统
CN115797788A (zh) * 2023-02-17 2023-03-14 武汉大学 基于深度学习的多模态铁路设计要素遥感特征提取方法
CN115880222A (zh) * 2022-11-07 2023-03-31 浙江大学 一种基于深度学习的多模态影像处理方法和系统
CN115984655A (zh) * 2022-12-19 2023-04-18 中国科学院空天信息创新研究院 一种基于跨域共享的多模态遥感数据融合方法
US11669990B2 (en) 2021-01-21 2023-06-06 Beijing Baidu Netcom Science And Technology Co., Ltd. Object area measurement method, electronic device and storage medium
WO2023109714A1 (zh) * 2021-12-15 2023-06-22 深圳先进技术研究院 用于蛋白质表征学习的多模态信息融合方法、系统、终端及存储介质
CN116933046A (zh) * 2023-09-19 2023-10-24 山东大学 基于深度学习的多模态健康管理方案生成方法和系统

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104217226A (zh) * 2014-09-09 2014-12-17 天津大学 基于深度神经网络与条件随机场的对话行为识别方法
CN105512661A (zh) * 2015-11-25 2016-04-20 中国人民解放军信息工程大学 一种基于多模态特征融合的遥感影像分类方法
CN106778810A (zh) * 2016-11-23 2017-05-31 北京联合大学 基于rgb特征与深度特征的原始图像层融合方法及系统
US20170235996A1 (en) * 2015-07-28 2017-08-17 Chiman KWAN Method and system for collaborative multi-satellite remote sensing

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104217226A (zh) * 2014-09-09 2014-12-17 天津大学 基于深度神经网络与条件随机场的对话行为识别方法
US20170235996A1 (en) * 2015-07-28 2017-08-17 Chiman KWAN Method and system for collaborative multi-satellite remote sensing
CN105512661A (zh) * 2015-11-25 2016-04-20 中国人民解放军信息工程大学 一种基于多模态特征融合的遥感影像分类方法
CN106778810A (zh) * 2016-11-23 2017-05-31 北京联合大学 基于rgb特征与深度特征的原始图像层融合方法及系统

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
ANRAN WANG ET AL: "Large-Margin Multi-Modal Deep Learning for RGB-D Object Recognition", 《IEEE TRANSACTIONS ON MULTIMEDLA》 *
WANG W ET AL: "Effective Deep Learning Based Multi-Modal Retrieval", 《THE VLDB JOURNAL》 *
赵磊: "基于深度学习的多模态数据特征提取与选择方法研究", 《中国优秀硕士学位论文全文数据库信息科技辑》 *

Cited By (32)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108805259A (zh) * 2018-05-23 2018-11-13 北京达佳互联信息技术有限公司 神经网络模型训练方法、装置、存储介质及终端设备
CN108830308A (zh) * 2018-05-31 2018-11-16 西安电子科技大学 一种基于信号的传统特征与深度特征融合的调制识别方法
CN108959075A (zh) * 2018-06-15 2018-12-07 Oppo（重庆）智能科技有限公司 算法库的测试方法、装置、存储介质及电子设备
CN109063766A (zh) * 2018-07-31 2018-12-21 湘潭大学 一种基于判别性预测稀疏分解模型的图像分类方法
CN112655001A (zh) * 2018-09-07 2021-04-13 爱贝欧汽车系统有限公司 分类对象的方法和装置
CN109543630B (zh) * 2018-11-28 2023-06-16 苏州中科天启遥感科技有限公司 基于深度学习的遥感影像林地提取方法及系统、存储介质、电子设备
CN109543630A (zh) * 2018-11-28 2019-03-29 苏州中科天启遥感科技有限公司 基于深度学习的遥感影像林地提取方法及系统、存储介质、电子设备
CN109754006A (zh) * 2018-12-26 2019-05-14 清华大学 一种视图及点云融合的立体视觉内容分类方法与系统
CN109815880A (zh) * 2019-01-20 2019-05-28 景遥（上海）信息技术有限公司 基于低空遥感影像和深度学习的水葫芦识别系统及方法
CN109726772A (zh) * 2019-03-14 2019-05-07 西安交通大学 基于多流融合模型的行星齿轮箱智能诊断方法
CN109978882A (zh) * 2019-04-09 2019-07-05 中康龙马(北京)医疗健康科技有限公司 一种基于多模态融合的医疗影像目标检测方法
CN110334724A (zh) * 2019-04-16 2019-10-15 武汉理工大学 基于lstm的遥感对象自然语言描述及多尺度矫正方法
CN110334724B (zh) * 2019-04-16 2022-06-17 武汉理工大学 基于lstm的遥感对象自然语言描述及多尺度矫正方法
CN110852227A (zh) * 2019-11-04 2020-02-28 中国科学院遥感与数字地球研究所 高光谱图像深度学习分类方法、装置、设备及存储介质
WO2021098323A1 (zh) * 2019-11-19 2021-05-27 清华大学 一种基于多模态融合深度学习的布匹缺陷检测方法
CN111461176A (zh) * 2020-03-09 2020-07-28 华南理工大学 基于归一化互信息的多模态融合方法、装置、介质及设备
CN111461176B (zh) * 2020-03-09 2023-03-21 华南理工大学 基于归一化互信息的多模态融合方法、装置、介质及设备
CN111914777A (zh) * 2020-08-07 2020-11-10 广东工业大学 一种跨模态识别机器人指令的方法及系统
CN112183669B (zh) * 2020-11-04 2024-02-13 航天科工(北京)空间信息应用股份有限公司 图像分类方法和装置、设备及存储介质
CN112183669A (zh) * 2020-11-04 2021-01-05 北京航天泰坦科技股份有限公司 图像分类方法和装置、设备及存储介质
CN112070070A (zh) * 2020-11-10 2020-12-11 南京信息工程大学 一种用于城市遥感场景识别的lw-cnn方法和系统
US11669990B2 (en) 2021-01-21 2023-06-06 Beijing Baidu Netcom Science And Technology Co., Ltd. Object area measurement method, electronic device and storage medium
WO2023109714A1 (zh) * 2021-12-15 2023-06-22 深圳先进技术研究院 用于蛋白质表征学习的多模态信息融合方法、系统、终端及存储介质
CN114359660A (zh) * 2021-12-20 2022-04-15 合肥工业大学 一种适用于模态强弱变化的多模态目标检测方法及系统
CN115880222A (zh) * 2022-11-07 2023-03-31 浙江大学 一种基于深度学习的多模态影像处理方法和系统
CN115880222B (zh) * 2022-11-07 2023-06-13 浙江大学 一种基于深度学习的多模态影像处理方法和系统
CN115984655A (zh) * 2022-12-19 2023-04-18 中国科学院空天信息创新研究院 一种基于跨域共享的多模态遥感数据融合方法
CN115984655B (zh) * 2022-12-19 2023-06-13 中国科学院空天信息创新研究院 一种基于跨域共享的多模态遥感数据融合方法
CN115797788B (zh) * 2023-02-17 2023-04-14 武汉大学 基于深度学习的多模态铁路设计要素遥感特征提取方法
CN115797788A (zh) * 2023-02-17 2023-03-14 武汉大学 基于深度学习的多模态铁路设计要素遥感特征提取方法
CN116933046A (zh) * 2023-09-19 2023-10-24 山东大学 基于深度学习的多模态健康管理方案生成方法和系统
CN116933046B (zh) * 2023-09-19 2023-11-24 山东大学 基于深度学习的多模态健康管理方案生成方法和系统

Also Published As

Publication number Publication date
CN108052911B (zh) 2021-12-07

Similar Documents

Publication Publication Date Title
CN108052911B (zh) 基于深度学习的多模态遥感影像高层特征融合分类方法
CN111368896B (zh) 基于密集残差三维卷积神经网络的高光谱遥感图像分类方法
CN110866140B (zh) 图像特征提取模型训练方法、图像搜索方法及计算机设备
CN106909924B (zh) 一种基于深度显著性的遥感影像快速检索方法
CN108108657B (zh) 基于多任务深度学习的修正局部敏感哈希车辆检索方法
CN111652321B (zh) 一种基于改进yolov3算法的海上船舶检测方法
CN113221641B (zh) 基于生成对抗网络和注意力机制的视频行人重识别方法
WO2017113232A1 (zh) 一种基于深度学习的产品分类方法及装置
CN113657450B (zh) 基于注意机制的陆战场图像-文本跨模态检索方法及其系统
CN107480261A (zh) 一种基于深度学习细粒度人脸图像快速检索方法
CN109029363A (zh) 一种基于深度学习的目标测距方法
CN110503161B (zh) 一种基于弱监督yolo模型的矿石泥团目标检测方法和系统
CN114398491A (zh) 一种基于知识图谱的语义分割图像实体关系推理方法
CN114821164A (zh) 基于孪生网络的高光谱图像分类方法
CN102385592B (zh) 图像概念的检测方法和装置
CN110929080A (zh) 基于注意力和生成对抗网络的光学遥感图像检索方法
CN113971764B (zh) 一种基于改进YOLOv3的遥感图像小目标检测方法
CN113408340B (zh) 基于增强型特征金字塔的双极化sar小型船只检测方法
Bai et al. Multimodal information fusion for weather systems and clouds identification from satellite images
CN113435253A (zh) 一种多源影像联合城区地表覆盖分类方法
CN112163114B (zh) 一种基于特征融合的图像检索方法
Li et al. EMFNet: Enhanced multisource fusion network for land cover classification
CN111652273A (zh) 一种基于深度学习的rgb-d图像分类方法
CN114036326B (zh) 一种图像检索与分类方法、系统、终端及存储介质
Sjahputera et al. Clustering of detected changes in high-resolution satellite imagery using a stabilized competitive agglomeration algorithm

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant