CN105930877B - 一种基于多模态深度学习的遥感影像分类方法 - Google Patents

一种基于多模态深度学习的遥感影像分类方法 Download PDF

Info

Publication number
CN105930877B
CN105930877B CN201610374807.0A CN201610374807A CN105930877B CN 105930877 B CN105930877 B CN 105930877B CN 201610374807 A CN201610374807 A CN 201610374807A CN 105930877 B CN105930877 B CN 105930877B
Authority
CN
China
Prior art keywords
remote sensing
modal
modes
association
different
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201610374807.0A
Other languages
English (en)
Other versions
CN105930877A (zh
Inventor
黄冬梅
杜艳玲
贺琪
宋巍
石少华
苏诚
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Ocean University
Original Assignee
Shanghai Ocean University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Ocean University filed Critical Shanghai Ocean University
Priority to CN201610374807.0A priority Critical patent/CN105930877B/zh
Publication of CN105930877A publication Critical patent/CN105930877A/zh
Application granted granted Critical
Publication of CN105930877B publication Critical patent/CN105930877B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2413—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns

Abstract

本发明公开了一种基于多模态深度学习的遥感影像分类方法，该方法包括以下步骤：首先构建多模态遥感影像数据样本集，包括不同成像原理的多模态遥感影像；基于不同的数据模态，构建数据模态敏感的特征学习深度网络，采用不同模态数据分别训练相应的特征学习深度网络；建立模态间特征关联模型生成关联共享特征并训练；采用测试样本集输入训练微调后的多模态深度网络，实现遥感影像精准分类。其优点表现在：有效利用多源遥感影像，挖掘模态间互补、合作信息，整个过程自动进行，减少了人工投入与主观人为因素导致的分类精度低，提高了分类精度。

Description

一种基于多模态深度学习的遥感影像分类方法
技术领域
本发明涉及图像处理技术领域，具体地说，是一种基于多模态深度学习的遥感影像分类方法。
背景技术
分类是遥感影像分析应用的重要基础。“星机地”立体观测网基于多平台、多谱段、多通道对海洋的连续观测，催生了多尺度、多时相、多方位和多层次海洋遥感影像，为精确描述地物提供了更加丰富的数据信息。多源遥感影像间存在信息的互补与合作，利用两种或两种以上遥感数据源提取信息，能够获得比单独使用其中任意一种遥感数据源更高的提取精度。因此，丰富可用的多源遥感影像为影像高精度分类提供了可能。
传统方法分类精度不高主要由两方面原因：一方面主要针对特定的遥感影像，通过人工特征设计，选择合适的分类算法实现地物分类，人工提取底层特征无法精确表达地面对象；另一方面，现有多源遥感影像分类方法多采用前期融合(像素级融合和特征级融合)或后期融合(决策级融合)，缺乏对多源遥感影像间的潜在互补、合作信息的挖掘。
因此，如何通过特征学习逐级抽取获得遥感影像的高层特征，并对多源遥感影像间的互补、合作与冗余信息进行有效关联，进而获得高层关联共享特征，是实现遥感影像精准分类的核心。
发明内容
本发明的目的是针对现有技术中的不足，提供一种基于多模态深度学习的遥感影像分类方法，解决人工提取低层特征和单模态数据蕴含信息局限导致分类精度低的问题，通过特征学习逐级抽取获得遥感影像的高层特征，并对多源遥感影像间的互补、合作与冗余信息进行有效关联，进而获得高层关联共享特征，实现遥感影像精准分类。
为实现上述目的，本发明采取的技术方案是：
一种基于多模态深度学习的遥感影像分类方法所述方法包括如下步骤：
步骤1：构建多模态样本集，根据不同数据模态，分别设计不同数据模态下遥感影像的大小；
步骤2：基于不同数据模态，建立模态内特征学习深度网络模型，采用多模态样本集进行训练；
步骤3：构建遥感影像模态间特征分级关联模型，采用多模态样本集进行训练；
步骤4：将测试样本集输入训练微调后的多模态深度网络，实现遥感影像精准分类。
进一步地，该方法包括特征学习与特征关联两部分，其中，特征学习中针对不同模态数据，其深度网络模型均采用卷积神经网络，样本大小依据不同成像原理设计。
进一步地，所述方法步骤1中的样本集包括不同数据模态，且每个数据模态的样本大小依据其空间、光谱分辨率成像原理的不同，设计不同的大小。
进一步地，所述方法步骤2中的模态内特征学习深度网络包括：
(1)遥感影像模态内特征学习网络模型构建，不同成像原理的遥感影像蕴含信息具有显著差异，针对不同模态遥感影像，其特征学习网络不同；
(2)依据不同数据模态，构建相应的深度学习网络，采用适合于数据模态的参数初始化方法，基于多模态样本集训练模态敏感的参数组合。
进一步地，所述方法步骤3中的模态间特征关联模型对模态间特征进行分级关联，主要包括：
(1)不同数据模态间进行模态内特征学习时的复杂性具有显著差异，且仅依据高层特征对不同模态间特征进行关联会丢失模态内部特有的性质或在较低层表现出来的共享特征，设计模态间特征分级关联共享优化策略；
(2)针对多模态深度学习中手工标记训练样本的低效性，采用非监督方法对模态间共享关联特征进行学习，基于高斯-伯努利受限玻尔兹曼机对多模态特征进行关联；
(3)基于最小信息距离对多模态复杂网络模型的模态缺失生成方法进行研究，增强模型的泛化能力与扩展性。
进一步地，所述方法步骤3中的模态间分级关联策略为：
(1)依据模态内特征学习速度，将模态内特征学习深度较浅的相近数据模态进行优先关联，从而提高模态间特征关联表达速度；
(2)从模态内的中级特征开始关联，逐层向上贪婪学习，将多数据模态关联转化为双模态关联，简化模态间特征关联的复杂性。
本发明优点在于：
1、本发明一种基于多模态深度学习的遥感影像分类方法，不仅构建了单模态下遥感影像特征逐级抽象表达模型，同时提出了多模态间的分级特征关联模型，为有效利用多源遥感影像，挖掘模态间互补、合作信息，整个过程自动进行，减少了人工投入与主观人为因素导致的分类精度低，提高了分类精度。
2、基于多模态深度学习理论构建多源遥感影像分类模型，通过逐层抽象单模态遥感影像高层特征，并采用特征关联获取表达更全面、更准确的高层联合特征，进而实现遥感影像的精准分类；
3、具有较强可扩展，适用于遥感影像分类
附图说明
附图1本发明所设计的分类流程图。
附图2本发明的分类模型框架图。
附图3为模态内特征学习网络示意图。
具体实施方式
下面结合附图对本发明提供的具体实施方式作详细说明。
本发明一种基于多模态深度学习的遥感影像分类方法，如图1所示，包括以下步骤：
步骤1：构建多模态样本集，根据不同数据模态，分别设计不同数据模态下遥感影像的大小；
样本集包括不同数据模态，且每个数据模态的样本大小依据其空间、光谱分辨率等成像原理的不同，设计不同的大小。
具体地，针对同一待分类的地表对象，以两种数据模态为例，两种遥感影像的空间分辨率分别为h，h’，设置分辨率h的遥感影像样本大小为N×N，则分辨率h’的样本大小应为
Figure BDA0001005399990000031
步骤2：基于不同数据模态，建立模态内特征学习深度网络模型，采用多模态样本集进行训练；
其中，模态内特征学习深度网络包括：
(1)遥感影像模态内特征学习网络模型构建，不同成像原理的遥感影像蕴含信息具有显著差异，因此，针对不同模态遥感影像，其特征学习网络不同；
(2)依据不同数据模态，构建相应的深度学习网络，采用适合于数据模态的参数初始化方法，基于多模态样本集训练模态敏感的参数组合；
具体地，依据遥感影像提供信息量的大小，构建不同结构的特征学习深度网络模型。遥感影像中地面对象分布具有空间相关性，采用局部连接的模型结构，并考虑降低模型计算的复杂度，构建深度卷积神经网络模型(Convolutional Neural Network,CNN)进行模态内特征学习，样本大小依据不同成像原理设计，其详细结构如图3所示。
在模态内特征学习过程中，依据数据模态与特征学习网络对激活函数的敏感度选取激活函数，其中，常用的激活函数有：
Figure BDA0001005399990000041
ReLu＝max(0,x) (3)
步骤3：构建遥感影像模态间特征分级关联模型，采用多模态样本集进行训练；
模态间特征关联模型对模态间特征进行分级关联，主要包括：
(1)不同数据模态间进行模态内特征学习时的复杂性具有显著差异，且仅依据高层特征对不同模态间特征进行关联会丢失模态内部特有的性质或在较低层表现出来的共享特征，因此设计模态间特征分级关联共享优化策略；
(2)针对多模态深度学习中手工标记训练样本的低效性，本发明采用非监督方法对模态间共享关联特征进行学习，基于高斯-伯努利受限玻尔兹曼机对多模态特征进行关联；
(3)为增强模型的泛化能力与扩展性，基于最小信息距离(Minimum Variation ofInformation,MinVI)对多模态复杂网络模型的模态缺失生成方法进行研究；
具体地，模态间分级关联策略为：
(1)依据模态内特征学习速度，将模态内特征学习深度较浅的相近数据模态进行优先关联，从而提高模态间特征关联表达速度；
(2)从模态内的中级特征开始关联，逐层向上贪婪学习，将多数据模态关联转化为双模态关联，简化模态间特征关联的复杂性；
具体地，模态间特征关联模型采用高斯-伯努利分布的受限玻尔兹曼机(Gaussian-Bernoulli Restricted Boltzmann Machine,GBRBM)实现模态间关联信息的挖掘。高斯-伯努利分布将二进制节点转换为具有高斯分布的节点。在多模态GBRBM中，可见层与隐含层的联合概率为：
Figure BDA0001005399990000051
其能量函数为：
Figure BDA0001005399990000052
其中是归一化项，
Figure BDA0001005399990000053
为两个可见层输入特征变量，h∈{0,1}k，是隐含层变量，
Figure BDA0001005399990000054
定义了x与h，y与h的权值，
Figure BDA0001005399990000055
为偏差矢量。如图2所示，在分级关联时可见层有三个输入变量(例如，
Figure BDA0001005399990000056
)，此时的能量函数E需要增加对应于第三个输入变量的相应项。
具体地，为增强模型的扩展性和鲁棒性，基于最新信息距离(Minimum Variationof Information,MinVI)对多模态复杂网络模型的模态缺失生成方法进行研究，其中，信息距离由VI表示，模态间最小信息距离如公式(5)所示。
Figure BDA0001005399990000057
其中，X,Y表示两个模态随机变量，PD(X,Y)为由数据生成的联合分布，Pθ(X|Y)表示参数为的条件概率分布，ΓVI(θ)表示在PD上的期望。当logPθ(X|Y)和logPθ(Y|X)最大值时，信息距离VI最小，此时X在Y条件下的信息熵最小，Y在X条件下的信息熵也最小。对于多个数据模态，如三个数据模态的变量X,Y,Z，同时使VI(X,Y),VI(X,Z),VI(Y,Z)的值最小。
以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员，在不脱离本发明方法的前提下，还可以做出若干改进和补充，这些改进和补充也应视为本发明的保护范围。

Claims (1)

1.一种基于多模态深度学习的遥感影像分类方法，其特征在于，所述方法包括如下步骤：
步骤1：构建多模态样本集，根据不同数据模态，分别设计不同数据模态下遥感影像的大小；
所述方法步骤1中的样本集包括不同数据模态，且每个数据模态的样本大小依据其空间、光谱分辨率成像原理的不同，设计不同的大小；
步骤2：基于不同数据模态，建立模态内特征学习深度网络模型，采用多模态样本集进行训练；
所述方法步骤2中的模态内特征学习深度网络模型包括：
(1)遥感影像模态内特征学习网络模型构建，不同成像原理的遥感影像蕴含信息具有显著差异，针对不同模态遥感影像，其特征学习网络不同；
(2)依据不同数据模态，构建相应的深度学习网络，采用适合于数据模态的参数初始化方法，基于多模态样本集训练模态敏感的参数组合；
具体地，依据遥感影像提供信息量的大小，构建不同结构的特征学习深度网络模型，遥感影像中地面对象分布具有空间相关性，采用局部连接的模型结构，并考虑降低模型计算的复杂度，构建深度卷积神经网络模型进行模态内特征学习，样本大小依据不同成像原理设计；
在模态内特征学习过程中，依据数据模态与特征学习网络对激活函数的敏感度选取常用的激活函数：
Figure FDA0002458006970000011
ReLu＝max(0,x) (3)
步骤3：构建遥感影像模态间特征分级关联模型，采用多模态样本集进行训练；
所述方法步骤3中的模态间特征分级关联模型对模态间特征进行分级关联，包括：
(1)不同数据模态间进行模态内特征学习时的复杂性具有显著差异，且仅依据高层特征对不同模态间特征进行关联会丢失模态内部特有的性质或在较低层表现出来的共享特征，设计模态间特征分级关联共享优化策略；
(2)针对多模态深度学习中手工标记训练样本的低效性，采用非监督方法对模态间共享关联特征进行学习，基于高斯-伯努利受限玻尔兹曼机对多模态特征进行关联；
(3)基于最小信息距离对多模态复杂网络模型的模态缺失生成方法进行研究，增强模型的泛化能力与扩展性；
步骤4：将测试样本集输入训练微调后的多模态深度网络，实现遥感影像精准分类；
具体地，模态间特征分级关联模型为：
(1)依据模态内特征学习速度，将模态内特征学习深度较浅的相近数据模态进行优先关联，从而提高模态间特征关联表达速度；
(2)从模态内的中级特征开始关联，逐层向上贪婪学习，将多数据模态关联转化为双模态关联，简化模态间特征关联的复杂性；
具体地，模态间特征分级关联模型采用高斯-伯努利分布的受限玻尔兹曼机实现模态间关联信息的挖掘；高斯-伯努利分布将二进制节点转换为具有高斯分布的节点；在多模态GBRBM中，可见层与隐含层的联合概率为：
Figure FDA0002458006970000021
其能量函数为：
Figure FDA0002458006970000022
其中是归一化项，
Figure FDA0002458006970000023
为两个可见层输入特征变量，h∈{0,1}k，是隐含层变量，
Figure FDA0002458006970000024
定义了x与h，y与h的权值，
Figure FDA0002458006970000025
b∈RK为偏差矢量；在分级关联时可见层有三个输入变量，
Figure FDA0002458006970000026
U'(2),
Figure FDA0002458006970000027
此时的能量函数E需要增加对应于第三个输入变量的相应项；
具体地，为增强模型的扩展性和鲁棒性，基于最新信息距离对多模态复杂网络模型的模态缺失生成方法进行研究，其中，信息距离由VI表示，模态间最新信息距离如公式所示；
Figure FDA0002458006970000028
其中，X,Y表示两个模态随机变量，PD(X,Y)为由数据生成的联合分布，Pθ(X|Y)表示参数为θ的条件概率分布，ΓVI(θ)表示在PD上的期望；当logPθ(X|Y)和logPθ(Y|X)最大值时，信息距离VI最小，此时X在Y条件下的信息熵最小，Y在X条件下的信息熵也最小；对于三个数据模态的变量X,Y,Z，同时使VI(X,Y),VI(X,Z),VI(Y,Z)的值最小。
CN201610374807.0A 2016-05-31 2016-05-31 一种基于多模态深度学习的遥感影像分类方法 Active CN105930877B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201610374807.0A CN105930877B (zh) 2016-05-31 2016-05-31 一种基于多模态深度学习的遥感影像分类方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201610374807.0A CN105930877B (zh) 2016-05-31 2016-05-31 一种基于多模态深度学习的遥感影像分类方法

Publications (2)

Publication Number Publication Date
CN105930877A CN105930877A (zh) 2016-09-07
CN105930877B true CN105930877B (zh) 2020-07-10

Family

ID=56832182

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610374807.0A Active CN105930877B (zh) 2016-05-31 2016-05-31 一种基于多模态深度学习的遥感影像分类方法

Country Status (1)

Country Link
CN (1) CN105930877B (zh)

Families Citing this family (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106598917B (zh) * 2016-12-07 2019-08-06 国家海洋局第二海洋研究所 一种基于深度信念网络的上层海洋热结构预测方法
CN106951886B (zh) * 2017-04-18 2019-09-10 青岛大学 一种提取空间邻接关系特征的方法及装置
CN107194373A (zh) * 2017-06-16 2017-09-22 河海大学 一种高光谱遥感影像特征提取与分类方法
CN107688780A (zh) * 2017-08-22 2018-02-13 河海大学 一种高光谱遥感影像分类方法
WO2019090023A1 (en) * 2017-11-03 2019-05-09 General Electric Company System and method for interactive representation learning transfer through deep learning of feature ontologies
CN108230329B (zh) * 2017-12-18 2021-09-21 孙颖 基于多尺度卷积神经网络的语义分割方法
CN108399423B (zh) * 2018-02-01 2019-09-20 南京大学 一种遥感影像分类的多时相-多分类器融合方法
CN109242014B (zh) * 2018-08-29 2021-10-22 沈阳康泰电子科技股份有限公司 一种基于多源微特征的深度神经网络心理语义标注方法
CN109544517A (zh) * 2018-11-06 2019-03-29 中山大学附属第医院 基于深度学习的多模态超声组学分析方法及系统
CN109636838A (zh) * 2018-12-11 2019-04-16 北京市燃气集团有限责任公司 一种基于遥感影像变化检测的燃气隐患分析方法及装置
CN109815880A (zh) * 2019-01-20 2019-05-28 景遥（上海）信息技术有限公司 基于低空遥感影像和深度学习的水葫芦识别系统及方法
CN110728187B (zh) * 2019-09-09 2022-03-04 武汉大学 一种基于容错性深度学习的遥感影像场景分类方法
CN110930367B (zh) * 2019-10-31 2022-12-20 上海交通大学 多模态超声影像分类方法以及乳腺癌诊断装置
CN112905561B (zh) * 2021-02-03 2021-09-07 中国科学院地理科学与资源研究所 一种基于深度双模态的气象参数精细尺度转化方法
CN113033714B (zh) * 2021-05-24 2021-08-03 华中师范大学 多模态多粒度遥感影像面向对象全自动机器学习方法及系统
CN115880222B (zh) * 2022-11-07 2023-06-13 浙江大学 一种基于深度学习的多模态影像处理方法和系统

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105184303A (zh) * 2015-04-23 2015-12-23 南京邮电大学 一种基于多模态深度学习的图像标注方法
CN105512661A (zh) * 2015-11-25 2016-04-20 中国人民解放军信息工程大学 一种基于多模态特征融合的遥感影像分类方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105184303A (zh) * 2015-04-23 2015-12-23 南京邮电大学 一种基于多模态深度学习的图像标注方法
CN105512661A (zh) * 2015-11-25 2016-04-20 中国人民解放军信息工程大学 一种基于多模态特征融合的遥感影像分类方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
一种基于深度学习的异构多模态目标识别方法;文孟飞等;《中南大学学报（自然科学版）》;20160526;第47卷(第5期);第1580-1587页 *

Also Published As

Publication number Publication date
CN105930877A (zh) 2016-09-07

Similar Documents

Publication Publication Date Title
CN105930877B (zh) 一种基于多模态深度学习的遥感影像分类方法
JP6858650B2 (ja) 画像レジストレーションの方法及びシステム
US20160055237A1 (en) Method for Semantically Labeling an Image of a Scene using Recursive Context Propagation
US9380224B2 (en) Depth sensing using an infrared camera
WO2017209307A1 (en) Method and system for generating multimodal digital image
CN111368896A (zh) 基于密集残差三维卷积神经网络的高光谱遥感图像分类方法
CN106096542B (zh) 基于距离预测信息的图像视频场景识别方法
AU2016201908A1 (en) Joint depth estimation and semantic labeling of a single image
CN113963262B (zh) 一种矿区土地覆盖分类方法、设备、装置及存储介质
Alidoost et al. Knowledge based 3D building model recognition using convolutional neural networks from LiDAR and aerial imageries
CN111160111B (zh) 一种基于深度学习的人体关键点检测方法
CN104392456A (zh) 基于深度自编码器和区域图的sar图像分割方法
CN111062441A (zh) 基于自监督机制和区域建议网络的场景分类方法及装置
CN112215847B (zh) 基于对抗学习多尺度特征的重叠染色体自动分割方法
CN117157678A (zh) 用于基于图的全景分割的方法和系统
CN113838064B (zh) 一种基于分支gan使用多时相遥感数据的云去除方法
JP2023533907A (ja) 自己注意ベースのニューラルネットワークを使用した画像処理
JP2019185787A (ja) 地理的地域内のコンテナのリモート決定
Chen et al. Mars3DNet: CNN-based high-resolution 3D reconstruction of the Martian surface from single images
Park et al. Active-passive data fusion algorithms for seafloor imaging and classification from CZMIL data
CN116933141B (zh) 一种基于多核图学习的多光谱激光雷达点云分类方法
KR102562387B1 (ko) 이미지의 특징 추출 및 합성 시스템의 학습 방법
KR102659290B1 (ko) 모자이크 생성 장치 및 방법
CN110136226B (zh) 一种基于图像组协同描述生成的新闻自动配图方法
CN116433904A (zh) 一种基于形状感知和像素卷积的跨模态rgb-d语义分割方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant