CN113610045A - 深度特征集成学习的遥感图像目标识别泛化性方法 - Google Patents

深度特征集成学习的遥感图像目标识别泛化性方法 Download PDF

Info

Publication number
CN113610045A
CN113610045A CN202110961137.3A CN202110961137A CN113610045A CN 113610045 A CN113610045 A CN 113610045A CN 202110961137 A CN202110961137 A CN 202110961137A CN 113610045 A CN113610045 A CN 113610045A
Authority
CN
China
Prior art keywords
network
remote sensing
diversity
information
sensing image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110961137.3A
Other languages
English (en)
Other versions
CN113610045B (zh
Inventor
赵文达
王明月
徐从安
姚力波
刘瑜
何友
卢湖川
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Dalian University of Technology
Original Assignee
Dalian University of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Dalian University of Technology filed Critical Dalian University of Technology
Priority to CN202110961137.3A priority Critical patent/CN113610045B/zh
Publication of CN113610045A publication Critical patent/CN113610045A/zh
Application granted granted Critical
Publication of CN113610045B publication Critical patent/CN113610045B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Image Analysis (AREA)

Abstract

本发明属于图像信息处理技术领域，提供了一种深度特征集成学习的遥感图像目标识别泛化性方法。该方法适用于不同种类的输入源图像，均可以得到较好的预测结果。它在网络结构中使用多个子分支预测得到多个输出特征，并使用余弦相似度控制这些输出特征的多样性，实现模型的多样性；为了能够从所得的集成特征中进一步选择所需的特征，它使用一个自适应选择网络对特征进行筛选。本发明的方法充分利用遥感图像深度特征的不同表达，如色调，对比度，饱和度，图像质量/分辨率等，设计基于门控的自适应集成架构得到用于遥感图像目标识别的具有泛化性的网络模型。

Description

深度特征集成学习的遥感图像目标识别泛化性方法
技术领域
本发明属于图像信息处理技术领域，涉及遥感图像目标识别的方法，特别是一种深度特征集成学习的遥感图像目标识别泛化性方法。
背景技术
目前，与本专利相关的方法包括两方面：第一是基于深度特征的集成学习方法；第二是基于深度学习的泛化性方法。
基于深度特征的集成学习方法主要分为两类：一类是从损失上进行设计，首先构建神经网络的多个子分支，然后使用损失函数控制这些子分支所产生结果的多样性，实现模型的多样性。Dvornik等人在文献《Diversity with cooperation:Ensemble methodsfor few-shot classification》中提出使用余弦相似度损失控制子分支的输出，使得各个子分支的输出趋于不同，以鼓励多样性；一类是从训练数据上提升各个分支的多样性，Meshgi等人在文献《Efficient Diverse Ensemble for Discriminative Co-Tracking》中使用不同的训练数据训练不同的子分支，由于使用不同训练数据进行训练会使得各个子分支的输出不同，所以可以实现多样性，从而达到集成学习的目的。
基于深度学习的域泛化性方法的目标是通过利用一个或多个可见的源域数据集来学习一个对未知目标域表现良好的广义模型。Jin等人在文献《Style normalizationand restitution for generalizable person re-identification》中提出了一种泛化性方法，即使用实例正则化滤除掉特征里和图像内容无关的风格信息，为了避免相关的内容信息丢失，设计了一个恢复策略，最终可以提取图像的内容特征。由于影响泛化性的主要因素就是各个图像域的风格特征不一致，所以在滤除图像的风格信息之后，网络的泛化性得到很大提升。
针对于遥感图像的目标识别，解决该问题的一种常见的方法是使用多个图像域的训练数据对网络进行训练，来获取针对不同域的适用的网络模型。但是由于遥感图像的训练数据集的图像域较少，所以无法通过这种方式提升模型的泛化性。本专利提出深度特征集成学习的遥感图像目标识别泛化性方法来解决上述问题。
发明内容
针对难以获得多个域对网络进行训练的问题，提出了一种基于集成学习的泛化的遥感图像目标识别方法。它可以适用于不同种类的输入源图像，均可以得到较好的预测结果。它在网络结构中使用多个子分支预测得到多个输出特征，并使用余弦相似度控制这些输出特征的多样性，实现模型的多样性；为了能够从所得的集成特征中进一步选择所需的特征，它使用一个自适应选择网络对特征进行筛选。
本发明的技术方案：
一种深度特征集成学习的遥感图像目标识别泛化性方法，步骤如下：
首先构建一个基础的网络模型：VGG16的前13层作为编码器，一个7层的卷积网络作为解码器，然后使用训练数据训练好该基础网络；为了提升该网络的泛化性，提出两个策略：
策略一是在该网络模型中添加一个能去除风格信息的集成模块，该集成模块中包含实例标准化层、批标准化层和多个集成分支；实例标准化层能学习到和外观(光照，色调，对比度，饱和度，图像质量/分辨率等)无关的特征，批标准化层对于保存与内容相关的信息是必不可少的，所以结合使用实例标准化和批标准化能够提高泛化和学习性能；对于不同源的遥感图像来说，色调、对比度、饱和度、图像质量/分辨率等都会对模型产生影响，加入了实例标准化层和批标准化层则减少了这些影响，也就提升了遥感图像目标识别的泛化能力和准确性。
然而，在使用实例标准化层和批标准化层的过程中不可避免地丢弃了一些内容信息，从而影响算法的性能。所以从原始特征经过提取特征之后剩余的风格信息中进一步提取内容相关的信息，作为之前正则化得到信息的补充，则能较为完整地从输入图像中挖掘出与风格无关的内容信息。我们的做法是使用注意力图从剩余的风格信息中提取待挖掘的补充信息，则每个位置都能自适应地提取到补充的内容信息。
如果仅使用一个注意力图去提取补充信息，可能只能聚焦于某些区域，忽视了一些潜在的重要区域，所以我们提出使用集成模型即使用多个注意力图从剩余的风格信息中提取补充信息，这些注意力图关注剩余的风格信息中不同的区域，从而挖掘出不同区域的内容信息。为了达到这个目的，我们引入了多样性学习，即利用余弦相似度去控制注意力图之间的多样性，对注意力图的聚焦位置进行引导，从而能够从剩余的风格信息中提取出具有多样性的内容信息。
策略二是提出使用一个自适应选择网络从集成的特征信息中二值化地选取重要信息。网络的自适应选择通过一个门控子网络来实现，输出得到二值化的门控选择结果。由于一个全局的门控能做出更全面的决定，所以门控网络的输入是原始输入图像，经过一系列卷积输出二值化的门控选择。由于直接对集成某个分支输出的整个特征进行二值化选择过于粗糙，所以我们基于特征的每个通道进行二值化选择。如果门控没有和主网络之间的交互，那么门控的选择就会有些盲目，因为对于要选择的东西一无所知，所以将主网络中集成的输出特征作为先验信息输入到门控网络中，来提升门控的选择能力。
在网络训练阶段，我们采用端到端的方式对网络进行训练。为了控制集成模型的各个子模型输出的多样性，我们使用余弦相似度损失函数对各个子模型对应的注意力图进行控制：
Figure BDA0003222368900000041
其中，N是各个子模型输出的多样性特征的数量，i和j表示特征的索引，cos()表示余弦相似度函数，M代表注意力图，∑()表示求和。
对于目标分类的训练，我们使用交叉熵损失函数进行训练，交叉熵损失定义如下：
Lc＝-∑xp(x)logq(x)(1-2)
其中，x是输入图像，p(x)代表遥感图像的真值，q(x)是网络对输入的遥感图像输出的预测值，log()表示对数运算。
本发明的有益效果：本发明的深度特征集成学习的遥感图像目标识别泛化性方法利用了集成的方式，目前常见的泛化性的算法需要使用多个域的图像训练网络结构，而这一需求一般难以满足。而本发明的方法不存在这个问题，充分利用遥感图像深度特征的不同表达，如色调，对比度，饱和度，图像质量/分辨率等，设计基于门控的自适应集成架构得到用于遥感图像目标识别的具有泛化性的网络模型。
附图说明
图1为网络的训练方法流程图。
图2为网络整体结构示意图。
图3为集成网络示意图。
具体实施方式
以下结合附图和技术方案，进一步说明本发明的具体实施方式。
图一为网络的训练流程图，我们首先使用训练数据训练网络结构中的编码器和解码器，损失函数使用公式(1-2)来对预测值和真值进行约束，得到一个基础的目标识别网络模型。然后我们在网络中添加集成网络，输入图像经过编码器和集成网络之后，集成网络中的多个分支产生了多个特征图，为了使特征图具有多样性，我们使用公式(1-1)来对集成网络中每个分支上得到的注意力图进行多样性约束，同时也需要对网络的预测分类值和真值进行约束，所以我们结合使用公式(1-1)和(1-2)对网络进行训练，直至损失函数收敛。最后我们在网络中添加门控网络，此时我们固定编码器和集成网络的参数，只训练网络中门控网络以及其他部分的参数，此时依然使用公式(1-1)和(1-2)对网络的训练进行约束。待损失在遥感图像上收敛时，训练过程结束，我们就可以得到一个具有泛化性的模型。
总的来说，本方法设计了一种深度特征集成学习的遥感图像目标识别泛化性方法，可以有效的针对不同源的遥感图像进行目标识别。

Claims (1)

1.一种深度特征集成学习的遥感图像目标识别泛化性方法，其特征在于，步骤如下：
步骤一、首先构建一个基础的网络模型：VGG16的前13层作为编码器，一个7层的卷积网络作为解码器，然后使用训练数据训练好该基础网络；
步骤二、为了提升该基础网络的泛化性，提出两个策略：
策略一是在该网络模型中添加一个能去除风格信息的集成模块，该集成模块中包含实例标准化层、批标准化层和多个集成分支；实例标准化层能学习到和外观无关的特征，批标准化层用于保存与内容相关的信息；
使用集成模型即使用多个注意力图从剩余的风格信息中提取补充信息，这些注意力图关注剩余的风格信息中不同的区域，从而挖掘出不同区域的内容信息；为了达到这个目的，引入多样性学习，即利用余弦相似度去控制注意力图之间的多样性，对注意力图的聚焦位置进行引导，从而从剩余的风格信息中提取出具有多样性的内容信息；
策略二是提出使用一个自适应选择网络从集成的特征信息中二值化地选取信息；网络的自适应选择通过一个门控子网络来实现，输出得到二值化的门控选择结果；由于一个全局的门控能做出更全面的决定，所以门控网络的输入是原始输入图像，经过一系列卷积输出二值化的门控选择；由于直接对集成某个分支输出的整个特征进行二值化选择过于粗糙，所以基于特征的每个通道进行二值化选择；如果门控没有和主网络之间的交互，那么门控的选择就会有些盲目，因为对于要选择的东西一无所知，所以将主网络中集成的输出特征作为先验信息输入到门控网络中，来提升门控的选择能力；
步骤三、在网络训练阶段，采用端到端的方式对网络进行训练；为了控制集成模型的各个子模型输出的多样性，使用余弦相似度损失函数对各个子模型对应的注意力图进行控制：
Figure FDA0003222368890000021
其中，N是各个子模型输出的多样性特征的数量，i和j表示特征的索引，cos()表示余弦相似度函数，M代表注意力图，∑()表示求和；
对于目标分类的训练，使用交叉熵损失函数进行训练，交叉熵损失定义如下：
Lc＝-∑xp(x)logq(x)(1-2)
其中，x是输入图像，p(x)代表遥感图像的真值，q(x)是网络对输入的遥感图像输出的预测值，log()表示对数运算。
CN202110961137.3A 2021-08-20 2021-08-20 深度特征集成学习的遥感图像目标识别泛化性方法 Active CN113610045B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110961137.3A CN113610045B (zh) 2021-08-20 2021-08-20 深度特征集成学习的遥感图像目标识别泛化性方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110961137.3A CN113610045B (zh) 2021-08-20 2021-08-20 深度特征集成学习的遥感图像目标识别泛化性方法

Publications (2)

Publication Number Publication Date
CN113610045A true CN113610045A (zh) 2021-11-05
CN113610045B CN113610045B (zh) 2023-01-06

Family

ID=78309017

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110961137.3A Active CN113610045B (zh) 2021-08-20 2021-08-20 深度特征集成学习的遥感图像目标识别泛化性方法

Country Status (1)

Country Link
CN (1) CN113610045B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115272880A (zh) * 2022-07-29 2022-11-01 大连理工大学 基于度量学习的多模态遥感目标识别方法

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110689544A (zh) * 2019-09-06 2020-01-14 哈尔滨工程大学 一种遥感图像细弱目标分割方法
CN111666836A (zh) * 2020-05-22 2020-09-15 北京工业大学 M-f-y型轻量化卷积神经网络的高分辨率遥感影像目标检测方法
CN111832511A (zh) * 2020-07-21 2020-10-27 中国石油大学(华东) 一种增强样本数据的无监督行人重识别方法
CN112132093A (zh) * 2020-09-30 2020-12-25 湖南省气象科学研究所 高分辨率遥感图像目标检测方法、装置和计算机设备
CN112464730A (zh) * 2020-11-03 2021-03-09 南京理工大学 一种基于域无关前景特征学习的行人再识别方法
WO2021115159A1 (zh) * 2019-12-09 2021-06-17 中兴通讯股份有限公司 文字识别网络模型训练方法、文字识别方法、装置、终端及其计算机存储介质
CN113095249A (zh) * 2021-04-19 2021-07-09 大连理工大学 鲁棒的多模态遥感图像目标检测方法
WO2021139069A1 (zh) * 2020-01-09 2021-07-15 南京信息工程大学 自适应注意力指导机制的一般性目标检测方法

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110689544A (zh) * 2019-09-06 2020-01-14 哈尔滨工程大学 一种遥感图像细弱目标分割方法
WO2021115159A1 (zh) * 2019-12-09 2021-06-17 中兴通讯股份有限公司 文字识别网络模型训练方法、文字识别方法、装置、终端及其计算机存储介质
CN113033249A (zh) * 2019-12-09 2021-06-25 中兴通讯股份有限公司 文字识别方法、装置、终端及其计算机存储介质
WO2021139069A1 (zh) * 2020-01-09 2021-07-15 南京信息工程大学 自适应注意力指导机制的一般性目标检测方法
CN111666836A (zh) * 2020-05-22 2020-09-15 北京工业大学 M-f-y型轻量化卷积神经网络的高分辨率遥感影像目标检测方法
CN111832511A (zh) * 2020-07-21 2020-10-27 中国石油大学(华东) 一种增强样本数据的无监督行人重识别方法
CN112132093A (zh) * 2020-09-30 2020-12-25 湖南省气象科学研究所 高分辨率遥感图像目标检测方法、装置和计算机设备
CN112464730A (zh) * 2020-11-03 2021-03-09 南京理工大学 一种基于域无关前景特征学习的行人再识别方法
CN113095249A (zh) * 2021-04-19 2021-07-09 大连理工大学 鲁棒的多模态遥感图像目标检测方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
WENDA ZHAO ET.AL: "Defocus Blur Detection via Boosting Diversity of Deep Ensemble Networks", <IEEE TRANSACTIONS ON IMAGE PROCESSING> *
李成蹊: "基于集成优化的多时相遥感图像山区积雪识别", 《中国优秀硕士学位论文全文数据库 基础科学辑》 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115272880A (zh) * 2022-07-29 2022-11-01 大连理工大学 基于度量学习的多模态遥感目标识别方法

Also Published As

Publication number Publication date
CN113610045B (zh) 2023-01-06

Similar Documents

Publication Publication Date Title
Voynov et al. Sketch-guided text-to-image diffusion models
Paliwal et al. Tablenet: Deep learning model for end-to-end table detection and tabular data extraction from scanned document images
CN111462126B (zh) 一种基于边缘增强的语义图像分割方法及系统
CN110458844B (zh) 一种低光照场景的语义分割方法
Hao et al. Two-stream deep architecture for hyperspectral image classification
Hui et al. Effective building extraction from high-resolution remote sensing images with multitask driven deep neural network
Suganthi et al. Deep learning model for deep fake face recognition and detection
CN111259724A (zh) 从图像中提取相关信息的方法和系统及计算机程序产品
CN110443864B (zh) 一种基于单阶段少量样本学习的艺术字体自动生成方法
CN107665261B (zh) 视频查重的方法及装置
CN115205730A (zh) 一种结合特征增强与模板更新的目标跟踪方法
CN111259987A (zh) 一种基于bert的多模型融合提取事件主体的方法
CN112633431B (zh) 一种基于crnn和ctc的藏汉双语场景文字识别方法
CN113610045B (zh) 深度特征集成学习的遥感图像目标识别泛化性方法
CN107563406B (zh) 一种自主学习的图像精细分类方法
Sun et al. Cloud-aware generative network: Removing cloud from optical remote sensing images
CN115983274B (zh) 一种基于两阶段标签校正的噪声事件抽取方法
Benzenati et al. Generalized Laplacian pyramid pan-sharpening gain injection prediction based on CNN
CN114708455A (zh) 高光谱影像和LiDAR数据协同分类方法
CN115512357A (zh) 一种基于部件拆分的零样本汉字识别方法
Rao et al. Srcd: Semantic reasoning with compound domains for single-domain generalized object detection
Wang et al. Semantic segmentation method of underwater images based on encoder-decoder architecture
CN114359626A (zh) 基于条件生成对抗网络的可见光-热红外显著目标检测方法
Shi et al. Self-guided autoencoders for unsupervised change detection in heterogeneous remote sensing images
CN113220936A (zh) 基于随机矩阵编码和简化卷积网络的视频智能推荐方法、装置及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant