CN113657472A - 一种基于子空间学习的多源遥感数据融合方法 - Google Patents
一种基于子空间学习的多源遥感数据融合方法 Download PDFInfo
- Publication number
- CN113657472A CN113657472A CN202110881438.5A CN202110881438A CN113657472A CN 113657472 A CN113657472 A CN 113657472A CN 202110881438 A CN202110881438 A CN 202110881438A CN 113657472 A CN113657472 A CN 113657472A
- Authority
- CN
- China
- Prior art keywords
- remote sensing
- branch
- sensing data
- source remote
- sample pair
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000007500 overflow downdraw method Methods 0.000 title claims abstract description 17
- 230000006870 function Effects 0.000 claims abstract description 17
- 238000000034 method Methods 0.000 claims abstract description 14
- 238000013527 convolutional neural network Methods 0.000 claims description 16
- 238000005457 optimization Methods 0.000 claims description 9
- 230000003287 optical effect Effects 0.000 claims description 7
- 238000013528 artificial neural network Methods 0.000 claims description 5
- 230000009977 dual effect Effects 0.000 claims description 4
- 238000013507 mapping Methods 0.000 claims description 3
- 238000012360 testing method Methods 0.000 claims description 3
- 238000000605 extraction Methods 0.000 abstract description 3
- 230000004927 fusion Effects 0.000 description 15
- 230000000694 effects Effects 0.000 description 4
- 238000013135 deep learning Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 1
- 238000013144 data compression Methods 0.000 description 1
- 238000013136 deep learning model Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 238000010187 selection method Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/213—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods
- G06F18/2132—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods based on discrimination criteria, e.g. discriminant analysis
- G06F18/21322—Rendering the within-class scatter matrix non-singular
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/243—Classification techniques relating to the number of classes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/25—Fusion techniques
- G06F18/253—Fusion techniques of extracted features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/213—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods
- G06F18/2132—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods based on discrimination criteria, e.g. discriminant analysis
- G06F18/21322—Rendering the within-class scatter matrix non-singular
- G06F18/21328—Rendering the within-class scatter matrix non-singular involving subspace restrictions, e.g. nullspace techniques
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Physics & Mathematics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Evolutionary Computation (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Biology (AREA)
- Bioinformatics & Computational Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Mathematical Physics (AREA)
- Computational Linguistics (AREA)
- Biophysics (AREA)
- Biomedical Technology (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Health & Medical Sciences (AREA)
- Software Systems (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
本发明涉及一种基于子空间学习的多源遥感数据融合方法,包括:S1、收集同区域多源遥感数据,根据任务需求建立正样本对和负样本对数据库,其中正样本对相关多源遥感数据图像对,负样本对为不相关多源遥感图像对;S2、构建双分支深度卷积网络模型,提取遥感图像特征;S3、构造基于正样本对和负样本对的欧氏距离损失函数,将特征线性相关性最大化问题渐进等效为二分类问题;S4、基于步骤S1中建立的正样本对和负样本对以及步骤S3中建立的损失函数来训练双分支深度卷积网络模型,获取应用模型。本发明的方法能够针对不同任务,利用多源数据间的互补性,发掘不同复杂度的多源数据公共子空间特征,实现多源遥感数据区域匹配以及公共特征自动提取。
Description
技术领域
本发明属于深度学习技术领域,具体涉及一种基于子空间学习的多源遥感数据融合方法。
背景技术
多源数据学习方法是利用多个数据源协同完成一个学习任务的工作。按照融合阶段划分,可以大致分为数据级融合、决策级融合和特征级融合三种。目前多数的遥感数据融合方法是基于数据级融合或者决策级融合完成的。这两种方法存在明显的缺陷,数据级融合精度高,但是忽略了原始数据之间的相关性,使得计算效率下降。决策级融合效率高,但忽略了原始数据间的互补性,精度较低。特征级融合结合了两者的有点,分别提取多源数据的低维特征,将其投影到共同特征子空间中,再通过子空间内的融合特征完成后续智能任务,综合提升融合效率和效果。
但是目前的子空间学习方法通常是针对各种不同任务构建一个通用的模型来提取多源数据之间的公共子空间特征。例如中国CN201610703682.1专利一种基于深度学习的多源遥感图像融合方法,其技术方案为基于深度卷积网络算法提出,构建一个通用模型来提取多源数据之间的公共子空间特征。然而,解决不同任务所需的子空间特征复杂程度不尽相同,单纯从数据本身提取特征容易造成复杂度杂糅,在解决后续问题时无法抓取数据间的主要矛盾,造成融合效果变差。
发明内容
本发明的目的在于提供一种基于子空间学习的多源遥感数据融合方法,解决现有技术中通过构建通用模型针对不同任务提取多源数据之间的公共子空间特征,导致融合效果差的问题。
为实现上述目的,本发明提供一种基于子空间学习的多源遥感数据融合方法,包括:
S1、收集同区域多源遥感数据,根据任务需求建立正样本对和负样本对数据库,其中正样本对相关多源遥感数据图像对,负样本对为不相关多源遥感图像对;
S2、构建双分支深度卷积网络模型,提取遥感图像特征;
S3、构造基于正样本对和负样本对的欧氏距离损失函数,将特征线性相关性最大化问题渐进等效为二分类问题;
S4、基于所述步骤S1中建立的正样本对和负样本对以及步骤S3中建立的损失函数来训练所述双分支深度卷积网络模型,获取应用模型。
根据本发明的一个方面,步骤S2包括:
构建双分支深度卷积神经网络模型,双分支分别采用卷积神经网络作为基础网络,并在各分支网络的最后一层添加全连接层,且输出特征维度为N维;对于光学SAR遥感数据对(x1,x2),双分支网络定义为:f1(x1;θ1),f2(x2;θ2);其中,θ1,θ2分别为双分支网络的网络参数;
将双分支卷积神经网络输出的特征求欧式距离,定义为:
以此将多源数据映射到公共子空间中。
根据本发明的一个方面,所述步骤S3包括:
对双分支卷积神经网络输出结果f(x1,x2;θ1,θ2),算法预先定义阈值γ∈(0,1),用于判断输入数据(x1,x2)的潜在关联是否成立;
将正样本对Sp判断为相关,即对于输入(x1,x2)∈Sp,双分支卷积神经网络的输出f(x1,x2;θ1,θ2)趋近于0,其损失函数为:
将负样本对Sn判断为无关,即对于输入(x1,x2)∈Sn,双分支卷积神经网络的输出f(x1,x2;θ1,θ2)趋近于1,其损失函数为:
对于输入Sp、Sn,其整体损失函数为:
其中α为平衡系数,初始设定为1,可根据正负样本难易程度调整。
根据本发明的一个方面,所述步骤S4包括:
对于输入Sp、Sn,最终优化目标为:
利用梯度下降优化方法寻找最优参数,针对上述优化目标,交替训练步骤2中双分支神经网络;在每次迭代过程中,固定其中一条分支网络,优化另一条分支,而后交替往复,直至模型收敛;
测试并评估训练后算法模型性能并开展应用。
本发明的基于子空间学习的多源遥感数据融合方法,能够针对不同任务,利用多源数据间的互补性,发掘不同复杂度的多源数据公共子空间特征,实现多源遥感数据的区域匹配以及公共特征的自动提取。
附图说明
图1是本发明训练流程示意图;
图2是本发明双分支深度学习模型的示意图。
具体实施方式
为了更清楚地说明本发明实施方式或现有技术中的技术方案,下面将对实施方式中所需要使用的附图作简单地介绍。显而易见地,下面描述中的附图仅仅是本发明的一些实施方式,对于本领域普通技术人员而言,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
下面结合附图和具体实施方式对本发明作详细地描述,实施方式不能在此一一赘述,但本发明的实施方式并不因此限定于以下实施方式。
如图1、图2所示,本发明提供一种基于子空间学习的多源遥感数据融合方法,包括S1、收集同区域多源遥感数据,根据任务需求建立正样本对和负样本对数据库,其中正样本对相关多源遥感数据图像对,负样本对为不相关多源遥感图像对;S2、构建双分支深度卷积网络模型,提取遥感图像特征;S3、构造基于正样本对和负样本对的欧氏距离损失函数,将特征线性相关性最大化问题渐进等效为二分类问题;S4、基于所述步骤S1中建立的正样本对和负样本对以及步骤S3中建立的损失函数来需要所述双分支深度卷积网络模型,获取应用模型。
本发明的基于子空间学习的多源遥感数据融合方法,能够针对不同任务,利用多源数据间的互补性,发掘不同复杂度的多源数据公共子空间特征,实现多源遥感数据的区域匹配以及公共特征的自动提取。
具体来说,本发明的基于子空间学习的多源遥感数据融合方法,在步骤S1中,收集同区域光学SAR遥感图像样本对组,记作其中,光学样本组为为RGB三通道图像数据,单张图像尺寸为256×256;SAR样本组为为单通道灰度图像数据,单张图像尺寸为256×256,并对两组数据做归一化处理。各组第i个遥感图像样本 来自统一区域或包含同样的地物目标,互相匹配,定义为正样本对组,而与i≠j则不匹配,随机挑选N对样本 组成负样本对组。通常采用在Sn中随机挑选的方法实现,以保证正负样本的大致平衡。
然后进入步骤S2:构建双分支深度卷积神经网络模型,双分支分别采用ResNet-50卷积神经网络作为基础网络,并在各分支网络的最后一层添加全连接层,且输出特征维度N=50;对于光学SAR遥感数据对(x1,x2),双分支网络定义为:f1(x1;θ1),f2(x2;θ2);其中,θ1,θ2分别为双分支网络的网络参数。
接着将双分支卷积神经网络输出的特征求欧式距离,定义为:
以此将多源数据映射到公共子空间中。
之后在步骤S3中对双分支卷积神经网络输出结果f(x1,x2;θ1,θ2),算法预先定义阈值γ∈(0,1),用于判断输入数据(x1,x2)的潜在关联是否成立。将正样本对Sp判断为相关,即对于输入(x1,x2)∈Sp,双分支卷积神经网络的输出f(x1,x2;θ1,θ2)趋近于0,其损失函数为:将负样本对Sn判断为无关,即对于输入(x1,x2)∈Sn,双分支卷积神经网络的输出f(x1,x2;θ1,θ2)趋近于1,其损失函数为:对于输入Sp、Sn,其整体损失函数为:
其中α为平衡系数,设定为1。
最终在步骤S4中,对于输入Sp、Sn,最终优化目标为: 利用梯度下降优化方法寻找最优参数,针对上述优化目标,交替训练步骤2中双分支神经网络;在每次迭代过程中,固定其中一条分支网络,优化另一条分支,而后交替往复,直至模型收敛。例如模型进行100次全局迭代后达到收敛后,对该模型进行测试及评估,当该模型性能符合要求时,即可开展实际应用。
按照本发明方法获得的应用模型,在测试集中区域级匹配结果准确率达到92.74%,召回率达到98.36%;提取特征对比原始图像,光学数据压缩比达到3932.16倍,SAR图像达到1310.72倍,满足应用效果。
Claims (5)
1.一种基于子空间学习的多源遥感数据融合方法,包括:
S1、收集同区域多源遥感数据,根据任务需求建立正样本对和负样本对数据库,其中正样本对相关多源遥感数据图像对,负样本对为不相关多源遥感图像对;
S2、构建双分支深度卷积网络模型,提取遥感图像特征;
S3、构造基于正样本对和负样本对的欧氏距离损失函数,将特征线性相关性最大化问题渐进等效为二分类问题;
S4、基于所述步骤S1中建立的正样本对和负样本对以及步骤S3中建立的损失函数来训练所述双分支深度卷积网络模型,获取应用模型。
4.根据权利要求3所述的基于子空间学习的多源遥感数据融合方法,其特征在于,所述步骤S3包括:
对双分支卷积神经网络输出结果f(x1,x2;θ1,θ2),算法预先定义阈值γ∈(0,1),用于判断输入数据(x1,x2)的潜在关联是否成立;
将正样本对Sp判断为相关,即对于输入(x1,x2)∈Sp,双分支卷积神经网络的输出f(x1,x2;θ1,θ2)趋近于0,其损失函数为:
将负样本对Sn判断为无关,即对于输入(x1,x2)∈Sn,双分支卷积神经网络的输出f(x1,x2;θ1,θ2)趋近于1,其损失函数为:
对于输入Sp、Sn,其整体损失函数为:
其中α为平衡系数,初始设定为1,可根据正负样本难易程度调整。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110881438.5A CN113657472B (zh) | 2021-08-02 | 2021-08-02 | 一种基于子空间学习的多源遥感数据融合方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110881438.5A CN113657472B (zh) | 2021-08-02 | 2021-08-02 | 一种基于子空间学习的多源遥感数据融合方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN113657472A true CN113657472A (zh) | 2021-11-16 |
CN113657472B CN113657472B (zh) | 2024-05-28 |
Family
ID=78478278
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202110881438.5A Active CN113657472B (zh) | 2021-08-02 | 2021-08-02 | 一种基于子空间学习的多源遥感数据融合方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN113657472B (zh) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114970743A (zh) * | 2022-06-17 | 2022-08-30 | 中国科学院地理科学与资源研究所 | 一种基于多模态深度学习的多源遥感降雨数据融合方法 |
CN115984635A (zh) * | 2023-03-21 | 2023-04-18 | 自然资源部第一海洋研究所 | 多源遥感数据分类模型训练方法、分类方法和电子设备 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106295714A (zh) * | 2016-08-22 | 2017-01-04 | 中国科学院电子学研究所 | 一种基于深度学习的多源遥感图像融合方法 |
CN108304873A (zh) * | 2018-01-30 | 2018-07-20 | 深圳市国脉畅行科技股份有限公司 | 基于高分辨率光学卫星遥感影像的目标检测方法及其系统 |
CN111898663A (zh) * | 2020-07-20 | 2020-11-06 | 武汉大学 | 一种基于迁移学习的跨模态遥感图像的匹配方法 |
CN112560826A (zh) * | 2021-02-24 | 2021-03-26 | 航天宏图信息技术股份有限公司 | 图像分类模型的训练方法、图像分类方法及装置 |
-
2021
- 2021-08-02 CN CN202110881438.5A patent/CN113657472B/zh active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106295714A (zh) * | 2016-08-22 | 2017-01-04 | 中国科学院电子学研究所 | 一种基于深度学习的多源遥感图像融合方法 |
CN108304873A (zh) * | 2018-01-30 | 2018-07-20 | 深圳市国脉畅行科技股份有限公司 | 基于高分辨率光学卫星遥感影像的目标检测方法及其系统 |
CN111898663A (zh) * | 2020-07-20 | 2020-11-06 | 武汉大学 | 一种基于迁移学习的跨模态遥感图像的匹配方法 |
CN112560826A (zh) * | 2021-02-24 | 2021-03-26 | 航天宏图信息技术股份有限公司 | 图像分类模型的训练方法、图像分类方法及装置 |
Non-Patent Citations (1)
Title |
---|
赵伍迪 等: "结合深度学习的高光谱与多源遥感数据融合分类", 遥感学报 * |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114970743A (zh) * | 2022-06-17 | 2022-08-30 | 中国科学院地理科学与资源研究所 | 一种基于多模态深度学习的多源遥感降雨数据融合方法 |
CN114970743B (zh) * | 2022-06-17 | 2022-11-08 | 中国科学院地理科学与资源研究所 | 一种基于多模态深度学习的多源遥感降雨数据融合方法 |
CN115984635A (zh) * | 2023-03-21 | 2023-04-18 | 自然资源部第一海洋研究所 | 多源遥感数据分类模型训练方法、分类方法和电子设备 |
Also Published As
Publication number | Publication date |
---|---|
CN113657472B (zh) | 2024-05-28 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN112308158B (zh) | 一种基于部分特征对齐的多源领域自适应模型及方法 | |
CN110263705B (zh) | 面向遥感技术领域两期高分辨率遥感影像变化检测系统 | |
CN108256482B (zh) | 一种基于卷积神经网络进行分布学习的人脸年龄估计方法 | |
CN110045015B (zh) | 一种基于深度学习的混凝土结构内部缺陷检测方法 | |
CN111079847B (zh) | 一种基于深度学习的遥感影像自动标注方法 | |
CN111460936A (zh) | 基于U-Net网络的遥感影像建筑物提取方法、系统、电子设备 | |
CN109800795A (zh) | 一种果蔬识别方法及系统 | |
CN112750129B (zh) | 一种基于特征增强位置注意力机制的图像语义分割模型 | |
CN113657472A (zh) | 一种基于子空间学习的多源遥感数据融合方法 | |
CN113705641A (zh) | 基于富上下文网络的高光谱图像分类方法 | |
CN112749663B (zh) | 基于物联网和ccnn模型的农业果实成熟度检测系统 | |
CN113378971B (zh) | 近红外光谱的分类模型训练方法、系统及分类方法、系统 | |
CN115331104A (zh) | 一种基于卷积神经网络的农作物种植信息提取方法 | |
CN116703932A (zh) | 一种基于卷积注意力机制的CBAM-HRNet模型小麦穗粒分割与计数方法 | |
CN117830788A (zh) | 一种多源信息融合的图像目标检测方法 | |
CN116563205A (zh) | 基于小目标检测和改进YOLOv5的麦穗计数检测方法 | |
CN112365511A (zh) | 基于重叠区域检索与对齐的点云分割方法 | |
CN112365139A (zh) | 一种图卷积神经网络下的人群危险程度分析方法 | |
CN111242028A (zh) | 基于U-Net的遥感图像地物分割方法 | |
CN110414338B (zh) | 基于稀疏注意力网络的行人再辨识方法 | |
CN114463340B (zh) | 一种边缘信息引导的敏捷型遥感图像语义分割方法 | |
CN116310466A (zh) | 基于局部无关区域筛选图神经网络的小样本图像分类方法 | |
CN115422968A (zh) | 基于多通道卷积神经网络的红外目标识别方法 | |
CN116310871A (zh) | 融合空洞空间金字塔池化的内陆水体提取方法 | |
CN115147727A (zh) | 一种遥感影像不透水面提取方法及系统 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |