CN113657472B - 一种基于子空间学习的多源遥感数据融合方法 - Google Patents

一种基于子空间学习的多源遥感数据融合方法 Download PDF

Info

Publication number
CN113657472B
CN113657472B CN202110881438.5A CN202110881438A CN113657472B CN 113657472 B CN113657472 B CN 113657472B CN 202110881438 A CN202110881438 A CN 202110881438A CN 113657472 B CN113657472 B CN 113657472B
Authority
CN
China
Prior art keywords
remote sensing
branch
pair
sample pair
double
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110881438.5A
Other languages
English (en)
Other versions
CN113657472A (zh
Inventor
向雪霜
徐遥
黄美玉
师伟丽
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
China Academy of Space Technology CAST
Original Assignee
China Academy of Space Technology CAST
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by China Academy of Space Technology CAST filed Critical China Academy of Space Technology CAST
Priority to CN202110881438.5A priority Critical patent/CN113657472B/zh
Publication of CN113657472A publication Critical patent/CN113657472A/zh
Application granted granted Critical
Publication of CN113657472B publication Critical patent/CN113657472B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/213—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods
    • G06F18/2132—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods based on discrimination criteria, e.g. discriminant analysis
    • G06F18/21322—Rendering the within-class scatter matrix non-singular
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/243—Classification techniques relating to the number of classes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/213—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods
    • G06F18/2132—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods based on discrimination criteria, e.g. discriminant analysis
    • G06F18/21322—Rendering the within-class scatter matrix non-singular
    • G06F18/21328—Rendering the within-class scatter matrix non-singular involving subspace restrictions, e.g. nullspace techniques

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Mathematical Physics (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明涉及一种基于子空间学习的多源遥感数据融合方法，包括：S1、收集同区域多源遥感数据，根据任务需求建立正样本对和负样本对数据库，其中正样本对相关多源遥感数据图像对，负样本对为不相关多源遥感图像对；S2、构建双分支深度卷积网络模型，提取遥感图像特征；S3、构造基于正样本对和负样本对的欧氏距离损失函数，将特征线性相关性最大化问题渐进等效为二分类问题；S4、基于步骤S1中建立的正样本对和负样本对以及步骤S3中建立的损失函数来训练双分支深度卷积网络模型，获取应用模型。本发明的方法能够针对不同任务，利用多源数据间的互补性，发掘不同复杂度的多源数据公共子空间特征，实现多源遥感数据区域匹配以及公共特征自动提取。

Description

一种基于子空间学习的多源遥感数据融合方法
技术领域
本发明属于深度学习技术领域，具体涉及一种基于子空间学习的多源遥感数据融合方法。
背景技术
多源数据学习方法是利用多个数据源协同完成一个学习任务的工作。按照融合阶段划分，可以大致分为数据级融合、决策级融合和特征级融合三种。目前多数的遥感数据融合方法是基于数据级融合或者决策级融合完成的。这两种方法存在明显的缺陷，数据级融合精度高，但是忽略了原始数据之间的相关性，使得计算效率下降。决策级融合效率高，但忽略了原始数据间的互补性，精度较低。特征级融合结合了两者的有点，分别提取多源数据的低维特征，将其投影到共同特征子空间中，再通过子空间内的融合特征完成后续智能任务，综合提升融合效率和效果。
但是目前的子空间学习方法通常是针对各种不同任务构建一个通用的模型来提取多源数据之间的公共子空间特征。例如中国CN201610703682.1专利一种基于深度学习的多源遥感图像融合方法，其技术方案为基于深度卷积网络算法提出，构建一个通用模型来提取多源数据之间的公共子空间特征。然而，解决不同任务所需的子空间特征复杂程度不尽相同，单纯从数据本身提取特征容易造成复杂度杂糅，在解决后续问题时无法抓取数据间的主要矛盾，造成融合效果变差。
发明内容
本发明的目的在于提供一种基于子空间学习的多源遥感数据融合方法，解决现有技术中通过构建通用模型针对不同任务提取多源数据之间的公共子空间特征，导致融合效果差的问题。
为实现上述目的，本发明提供一种基于子空间学习的多源遥感数据融合方法，包括：
S1、收集同区域多源遥感数据，根据任务需求建立正样本对和负样本对数据库，其中正样本对相关多源遥感数据图像对，负样本对为不相关多源遥感图像对；
S2、构建双分支深度卷积网络模型，提取遥感图像特征；
S3、构造基于正样本对和负样本对的欧氏距离损失函数，将特征线性相关性最大化问题渐进等效为二分类问题；
S4、基于所述步骤S1中建立的正样本对和负样本对以及步骤S3中建立的损失函数来训练所述双分支深度卷积网络模型，获取应用模型。
根据本发明的一个方面，在步骤S1中，收集同区域多源遥感图像样本对组，记作其中各组第i个元素/>互相匹配，而/>i≠j不匹配，定义/>为正样本对，而为负样本对。
根据本发明的一个方面，步骤S2包括：
构建双分支深度卷积神经网络模型，双分支分别采用卷积神经网络作为基础网络，并在各分支网络的最后一层添加全连接层，且输出特征维度为N维；对于光学SAR遥感数据对(x1，x2)，双分支网络定义为：f1(x1；θ1)，f2(x2；θ2)；其中，θ1，θ2分别为双分支网络的网络参数；
将双分支卷积神经网络输出的特征求欧式距离，定义为：
以此将多源数据映射到公共子空间中。
根据本发明的一个方面，所述步骤S3包括：
对双分支卷积神经网络输出结果f(x1，x2；θ1，θ2)，算法预先定义阈值γ∈(0，1)，用于判断输入数据(x1，x2)的潜在关联是否成立；
将正样本对Sp判断为相关，即对于输入(x1，x2)∈Sp，双分支卷积神经网络的输出f(x1，x2；θ1，θ2)趋近于0，其损失函数为：
将负样本对Sn判断为无关，即对于输入(x1，x2)∈Sn，双分支卷积神经网络的输出f(x1，x2；θ1，θ2)趋近于1，其损失函数为：
对于输入Sp、Sn，其整体损失函数为：
其中α为平衡系数，初始设定为1，可根据正负样本难易程度调整。
根据本发明的一个方面，所述步骤S4包括：
对于输入Sp、Sn，最终优化目标为：
利用梯度下降优化方法寻找最优参数，针对上述优化目标，交替训练步骤2中双分支神经网络；在每次迭代过程中，固定其中一条分支网络，优化另一条分支，而后交替往复，直至模型收敛；
测试并评估训练后算法模型性能并开展应用。
本发明的基于子空间学习的多源遥感数据融合方法，能够针对不同任务，利用多源数据间的互补性，发掘不同复杂度的多源数据公共子空间特征，实现多源遥感数据的区域匹配以及公共特征的自动提取。
附图说明
图1是本发明训练流程示意图；
图2是本发明双分支深度学习模型的示意图。
具体实施方式
为了更清楚地说明本发明实施方式或现有技术中的技术方案，下面将对实施方式中所需要使用的附图作简单地介绍。显而易见地，下面描述中的附图仅仅是本发明的一些实施方式，对于本领域普通技术人员而言，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
下面结合附图和具体实施方式对本发明作详细地描述，实施方式不能在此一一赘述，但本发明的实施方式并不因此限定于以下实施方式。
如图1、图2所示，本发明提供一种基于子空间学习的多源遥感数据融合方法，包括S1、收集同区域多源遥感数据，根据任务需求建立正样本对和负样本对数据库，其中正样本对相关多源遥感数据图像对，负样本对为不相关多源遥感图像对；S2、构建双分支深度卷积网络模型，提取遥感图像特征；S3、构造基于正样本对和负样本对的欧氏距离损失函数，将特征线性相关性最大化问题渐进等效为二分类问题；S4、基于所述步骤S1中建立的正样本对和负样本对以及步骤S3中建立的损失函数来需要所述双分支深度卷积网络模型，获取应用模型。
本发明的基于子空间学习的多源遥感数据融合方法，能够针对不同任务，利用多源数据间的互补性，发掘不同复杂度的多源数据公共子空间特征，实现多源遥感数据的区域匹配以及公共特征的自动提取。
具体来说，本发明的基于子空间学习的多源遥感数据融合方法，在步骤S1中，收集同区域光学SAR遥感图像样本对组，记作其中，光学样本组为为RGB三通道图像数据，单张图像尺寸为256×256；SAR样本组为为单通道灰度图像数据，单张图像尺寸为256×256，并对两组数据做归一化处理。各组第i个遥感图像样本/> 来自统一区域或包含同样的地物目标，互相匹配，定义/>为正样本对组，而/>与/>i≠j则不匹配，随机挑选N对样本/> 组成负样本对组。通常采用在Sn中随机挑选的方法实现，以保证正负样本的大致平衡。
然后进入步骤S2：构建双分支深度卷积神经网络模型，双分支分别采用ResNet-50卷积神经网络作为基础网络，并在各分支网络的最后一层添加全连接层，且输出特征维度N＝50；对于光学SAR遥感数据对(x1，x2)，双分支网络定义为：f1(x1；θ1)，f2(x2；θ2)；其中，θ1，θ2分别为双分支网络的网络参数。
接着将双分支卷积神经网络输出的特征求欧式距离，定义为：
以此将多源数据映射到公共子空间中。
之后在步骤S3中对双分支卷积神经网络输出结果f(x1，x2；θ1，θ2)，算法预先定义阈值γ∈(0，1)，用于判断输入数据(x1，x2)的潜在关联是否成立。将正样本对Sp判断为相关，即对于输入(x1，x2)∈Sp，双分支卷积神经网络的输出f(x1，x2；θ1，θ2)趋近于0，其损失函数为：将负样本对Sn判断为无关，即对于输入(x1，x2)∈Sn，双分支卷积神经网络的输出f(x1，x2；θ1，θ2)趋近于1，其损失函数为：/>对于输入Sp、Sn，其整体损失函数为：
其中α为平衡系数，设定为1。
最终在步骤S4中，对于输入Sp、Sn，最终优化目标为： 利用梯度下降优化方法寻找最优参数，针对上述优化目标，交替训练步骤2中双分支神经网络；在每次迭代过程中，固定其中一条分支网络，优化另一条分支，而后交替往复，直至模型收敛。例如模型进行100次全局迭代后达到收敛后，对该模型进行测试及评估，当该模型性能符合要求时，即可开展实际应用。
按照本发明方法获得的应用模型，在测试集中区域级匹配结果准确率达到92.74％，召回率达到98.36％；提取特征对比原始图像，光学数据压缩比达到3932.16倍，SAR图像达到1310.72倍，满足应用效果。

Claims (1)

1.一种基于子空间学习的多源遥感数据融合方法，包括：
S1、收集同区域多源遥感数据，根据任务需求建立正样本对和负样本对数据库，其中正样本对相关多源遥感数据图像对，负样本对为不相关多源遥感图像对；
S2、构建双分支深度卷积网络模型，提取遥感图像特征；
S3、构造基于正样本对和负样本对的欧氏距离损失函数，将特征线性相关性最大化问题渐进等效为二分类问题；
S4、基于所述步骤S1中建立的正样本对和负样本对以及步骤S3中建立的损失函数来训练所述双分支深度卷积网络模型，获取应用模型；
在步骤S1中，收集同区域多源遥感图像样本对组，记作其中各组第i个元素/>互相匹配，而/>与/>i≠j则不匹配，定义/>为正样本对，而i≠j为负样本对；
步骤S2包括：
构建双分支深度卷积神经网络模型，双分支分别采用卷积神经网络作为基础网络，并在各分支网络的最后一层添加全连接层，且输出特征维度为N维；对于光学SAR遥感数据对(x1,x2)，双分支网络定义为：f1(x1；θ1)，f2(x2；θ2)；其中，θ1,θ2分别为双分支网络的网络参数；
将双分支卷积神经网络输出的特征求欧式距离，定义为：
以此将多源数据映射到公共子空间中；
所述步骤S3包括：
对双分支卷积神经网络输出结果f(x1,x2；θ1,θ2)，算法预先定义阈值γ∈(0,1)，用于判断输入数据(x1,x2)的潜在关联是否成立；
将正样本对Sp判断为相关，即对于输入(x1,x2)∈Sp，双分支卷积神经网络的输出f(x1,x2；θ1,θ2)趋近于0，其损失函数为：
将负样本对Sn判断为无关，即对于输入(x1,x2)∈Sn，双分支卷积神经网络的输出f(x1,x2；θ1,θ2)趋近于1，其损失函数为：
对于输入Sp、Sn，其整体损失函数为：
其中α为平衡系数，初始设定为1，可根据正负样本难易程度调整；
所述步骤S4包括：
对于输入Sp、Sn，最终优化目标为：
利用梯度下降优化方法寻找最优参数，针对上述优化目标，交替训练步骤S2中双分支神经网络；在每次迭代过程中，固定其中一条分支网络，优化另一条分支，而后交替往复，直至模型收敛；
测试并评估训练后算法模型性能并开展应用。
CN202110881438.5A 2021-08-02 2021-08-02 一种基于子空间学习的多源遥感数据融合方法 Active CN113657472B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110881438.5A CN113657472B (zh) 2021-08-02 2021-08-02 一种基于子空间学习的多源遥感数据融合方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110881438.5A CN113657472B (zh) 2021-08-02 2021-08-02 一种基于子空间学习的多源遥感数据融合方法

Publications (2)

Publication Number Publication Date
CN113657472A CN113657472A (zh) 2021-11-16
CN113657472B true CN113657472B (zh) 2024-05-28

Family

ID=78478278

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110881438.5A Active CN113657472B (zh) 2021-08-02 2021-08-02 一种基于子空间学习的多源遥感数据融合方法

Country Status (1)

Country Link
CN (1) CN113657472B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114970743B (zh) * 2022-06-17 2022-11-08 中国科学院地理科学与资源研究所 一种基于多模态深度学习的多源遥感降雨数据融合方法
CN115984635B (zh) * 2023-03-21 2023-07-07 自然资源部第一海洋研究所 多源遥感数据分类模型训练方法、分类方法和电子设备

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106295714A (zh) * 2016-08-22 2017-01-04 中国科学院电子学研究所 一种基于深度学习的多源遥感图像融合方法
CN108304873A (zh) * 2018-01-30 2018-07-20 深圳市国脉畅行科技股份有限公司 基于高分辨率光学卫星遥感影像的目标检测方法及其系统
CN111898663A (zh) * 2020-07-20 2020-11-06 武汉大学 一种基于迁移学习的跨模态遥感图像的匹配方法
CN112560826A (zh) * 2021-02-24 2021-03-26 航天宏图信息技术股份有限公司 图像分类模型的训练方法、图像分类方法及装置

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106295714A (zh) * 2016-08-22 2017-01-04 中国科学院电子学研究所 一种基于深度学习的多源遥感图像融合方法
CN108304873A (zh) * 2018-01-30 2018-07-20 深圳市国脉畅行科技股份有限公司 基于高分辨率光学卫星遥感影像的目标检测方法及其系统
CN111898663A (zh) * 2020-07-20 2020-11-06 武汉大学 一种基于迁移学习的跨模态遥感图像的匹配方法
CN112560826A (zh) * 2021-02-24 2021-03-26 航天宏图信息技术股份有限公司 图像分类模型的训练方法、图像分类方法及装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
结合深度学习的高光谱与多源遥感数据融合分类;赵伍迪 等;遥感学报;全文 *

Also Published As

Publication number Publication date
CN113657472A (zh) 2021-11-16

Similar Documents

Publication Publication Date Title
CN112308158B (zh) 一种基于部分特征对齐的多源领域自适应模型及方法
CN110263705B (zh) 面向遥感技术领域两期高分辨率遥感影像变化检测系统
WO2022160771A1 (zh) 基于自适应多尺度特征提取模型的高光谱图像分类方法
CN110516596B (zh) 基于Octave卷积的空谱注意力高光谱图像分类方法
CN110084159B (zh) 基于联合多级空谱信息cnn的高光谱图像分类方法
CN111695467B (zh) 基于超像素样本扩充的空谱全卷积高光谱图像分类方法
CN108734208B (zh) 基于多模态深度迁移学习机制的多源异构数据融合系统
CN114092832B (zh) 一种基于并联混合卷积网络的高分辨率遥感影像分类方法
CN113657472B (zh) 一种基于子空间学习的多源遥感数据融合方法
CN111079847B (zh) 一种基于深度学习的遥感影像自动标注方法
CN111179216A (zh) 一种基于图像处理与卷积神经网络的作物病害识别方法
CN113378971B (zh) 近红外光谱的分类模型训练方法、系统及分类方法、系统
CN114255403A (zh) 基于深度学习的光学遥感图像数据处理方法及系统
CN113887517A (zh) 基于并行注意力机制的农作物遥感图像语义分割方法
CN114676769A (zh) 一种基于视觉Transformer的小样本昆虫图像识别方法
CN112487938A (zh) 一种利用深度学习算法实现垃圾分类的方法
CN111242028A (zh) 基于U-Net的遥感图像地物分割方法
CN116486251A (zh) 一种基于多模态融合的高光谱图像分类方法
CN114926826A (zh) 场景文本检测系统
CN116630700A (zh) 基于引入通道-空间注意力机制的遥感图像分类方法
CN117173595A (zh) 基于改进YOLOv7的无人机航拍图像目标检测方法
CN116030304A (zh) 基于加权判别与多分类器的跨域遥感影像对抗迁移方法
WO2021017736A1 (zh) 一种图像分析装置
CN114282585A (zh) 基于天文光谱数据的离群天体分类方法
CN112257662A (zh) 一种基于深度学习的压力足迹图像检索系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant