CN117994506A - 一种动态知识集成的遥感图像显著性目标检测方法 - Google Patents

一种动态知识集成的遥感图像显著性目标检测方法 Download PDF

Info

Publication number
CN117994506A
CN117994506A CN202410404651.0A CN202410404651A CN117994506A CN 117994506 A CN117994506 A CN 117994506A CN 202410404651 A CN202410404651 A CN 202410404651A CN 117994506 A CN117994506 A CN 117994506A
Authority
CN
China
Prior art keywords
feature
remote sensing
sensing image
features
calibration
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202410404651.0A
Other languages
English (en)
Inventor
纪荣嵘
孙晓帅
谷雨斌
陈思亭
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xiamen University
Original Assignee
Xiamen University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xiamen University filed Critical Xiamen University
Priority to CN202410404651.0A priority Critical patent/CN117994506A/zh
Publication of CN117994506A publication Critical patent/CN117994506A/zh
Pending legal-status Critical Current

Links

Landscapes

  • Image Analysis (AREA)

Abstract

本发明提供了遥感图像检测技术领域的一种动态知识集成的遥感图像显著性目标检测方法,包括:步骤S1、创建特征提取器;步骤S2、通过特征提取器从遥感图像中提取多尺度特征并进行通道归一化;步骤S3、对多尺度特征进行通道注意力计算得到通道注意力值,基于通道注意力值筛选高贡献的特征通道并进行通道增强操作;步骤S4、从高到低逐层将相邻的各多尺度特征输入动态知识集成模块,输出增强特征;步骤S5、将各增强特征输入特征校准模块,输出校准特征,直至完成所有尺度的特征校准;步骤S6、将各校准特征的特征维度压缩为1后映射至RGB空间,以输出遥感图像的显著性目标。本发明的优点在于:极大的提升了遥感图像显著性目标检测精度。

Description

一种动态知识集成的遥感图像显著性目标检测方法
技术领域
本发明涉及遥感图像检测技术领域,特别指一种动态知识集成的遥感图像显著性目标检测方法。
背景技术
显著性目标检测(Salient Object Detection,简称SOD)通过模拟人类视觉系统的方式,在图像中识别和突出显示最关键的区域,广泛应用于地理空间实体检测、云检测、地理空间变化检测等多个领域。在显著性目标检测的众多应用中,与遥感图像的结合尤为重要,它的实用性可以扩展到环境监测和城市发展等关键领域。
随着深度学习的兴起改变了传统的显著性目标检测方法,并引入许多基于卷积神经网络(Convolutional Neural Network,CNN)的模型,这些CNN模型显著推动了显著性目标检测领域的发展。然而,CNN模型被应用于遥感图像的显著性目标检测(ORSI-SOD)时,由于遥感图像存在范围广泛、背景复杂和多样的噪声干扰,导致检测精度不尽如人意。尽管CNN模型试图适应遥感图像的复杂性,但由于有限的感受野而存在明显的局限性,特别是在理解远距离依赖关系方面;一些CNN模型尝试通过使用更大的卷积核、堆叠层或更深的架构来规避这些限制,但会增加计算需求。
相反,Transformer通过自注意机制建模长距离依赖关系(长程依赖信息)的能力,在计算机视觉领域展现出了潜力;然而,纯粹基于Transformer的架构仍然在遥感图像显著性目标检测中,也面临着复杂背景和多样噪声干扰的困扰。具体而言,传统Transformer通常在单一尺度上操作特征,难以解决遥感图像显著性目标检测中普遍存在的多尺度问题;此外,Transformer的自注意机制中对所有图像区域的等同处理并不能充分减轻复杂背景的干扰,使得检测精度还是不尽如人意。
因此,如何提供一种动态知识集成的遥感图像显著性目标检测方法,实现提升遥感图像显著性目标检测精度,成为一个亟待解决的技术问题。
发明内容
本发明要解决的技术问题,在于提供一种动态知识集成的遥感图像显著性目标检测方法,实现提升遥感图像显著性目标检测精度。
本发明是这样实现的:一种动态知识集成的遥感图像显著性目标检测方法,包括如下步骤:
步骤S1、通过四个Transformer层创建一用于提取多尺度特征的特征提取器,对所述特征提取器进行预训练;
步骤S2、获取待检测的遥感图像,通过所述特征提取器从遥感图像中提取多尺度特征,对所述多尺度特征进行通道归一化,将特征维度转换为32;
步骤S3、对通道归一化后的所述多尺度特征进行通道注意力计算,得到各特征通道的通道注意力值,基于所述通道注意力值筛选高贡献的特征通道并进行通道增强操作;
步骤S4、基于神经网络创建一用于逐层递增自适应组合语义和细节特征的动态知识集成模块,从高到低逐层将相邻的各所述多尺度特征输入动态知识集成模块,输出增强特征;
步骤S5、基于神经网络创建一用于改进特征通道和空间维度的特征相关性的特征校准模块,将各所述增强特征输入特征校准模块,输出校准特征,直至完成所有尺度的特征校准;
步骤S6、将各所述校准特征的特征维度压缩为1后,将各所述校准特征映射至RGB空间,以输出所述遥感图像的显著性目标。
进一步的,所述步骤S1中,各所述Transformer层的特征通道的特征维度分别为64、128、320、512;
各所述Transformer层分别用于提取不同尺度的长距离依赖特征,基于各所述长距离依赖特征构建多尺度特征。
进一步的,所述步骤S2中,所述多尺度特征携带不同粒度的长程依赖信息。
进一步的,所述步骤S4中,所述动态知识集成模块以多尺度特征中的高层特征作为知识引导,计算所述高层特征与多尺度特征中相邻的低层特征的相似度矩阵,将所述相似度矩阵与多尺度特征分别进行相乘和相加操作后,输出增强特征。
进一步的,所述步骤S6具体为:
将各所述校准特征的特征维度压缩为1后,通过sigmoid激活函数将各所述校准特征的像素值映射至RGB空间的[0,255],以输出所述遥感图像的显著性目标。
本发明的优点在于:
通过四个Transformer层创建用于提取多尺度特征的特征提取器并进行预训练;接着获取待检测的遥感图像,通过特征提取器从遥感图像中提取多尺度特征,对多尺度特征进行通道归一化后再进行通道注意力计算,得到各特征通道的通道注意力值,基于通道注意力值筛选高贡献的特征通道并进行通道增强操作;接着基于神经网络创建用于逐层递增自适应组合语义和细节特征的动态知识集成模块,从高到低逐层将相邻的各多尺度特征输入动态知识集成模块,输出增强特征,基于神经网络创建用于改进特征通道和空间维度的特征相关性的特征校准模块,将各增强特征输入特征校准模块,输出校准特征,直至完成所有尺度的特征校准,最后将各校准特征的特征维度压缩为1后,将各校准特征映射至RGB空间,以输出遥感图像的显著性目标;即利用Transformer层产生多尺度特征(多层级特征嵌入),有效地克服了传统CNN模型中忽视长程依赖信息的问题;通过动态知识集成模块逐层递增自适应组合语义和细节特征,以多尺度特征中的高层特征作为知识引导,在捕捉复杂细节方面表现出色,有效应对建模不同尺度的挑战;通过特征校准模块改进特征通道和空间维度的特征相关性,从而提高整体特征表示,有效减少背景的干扰,最终极大的提升了遥感图像显著性目标检测精度。
附图说明
下面参照附图结合实施例对本发明作进一步的说明。
图1是本发明一种动态知识集成的遥感图像显著性目标检测方法的流程图。
图2是本发明的架构图。
图3是本发明动态知识集成模块的结构示意图。
具体实施方式
本申请实施例中的技术方案,总体思路如下:利用Transformer层产生多尺度特征(多层级特征嵌入),有效地克服了传统CNN模型中忽视长程依赖信息的问题;通过动态知识集成模块逐层递增自适应组合语义和细节特征,以多尺度特征中的高层特征作为知识引导,在捕捉复杂细节方面表现出色,有效应对建模不同尺度的挑战;通过特征校准模块改进特征通道和空间维度的特征相关性,从而提高整体特征表示,有效减少背景的干扰,进而提升遥感图像显著性目标检测精度。
请参照图1至图3所示,本发明一种动态知识集成的遥感图像显著性目标检测方法的较佳实施例,包括如下步骤:
步骤S1、通过四个Transformer层创建一用于提取多尺度特征的特征提取器(PVT),对所述特征提取器进行预训练;
步骤S2、获取待检测的遥感图像,通过所述特征提取器从遥感图像中提取多尺度特征,对所述多尺度特征进行通道归一化,将特征维度转换为32,以提升计算效率;
所示多尺度特征表示为;其中,/>表示特征空间;/>表示第i阶段编码器输出特征空间维度上的长度;/>表示特征空间维度上的宽度;/>表示输出特征的通道数量,/>,/>,i表示编码器特征提取阶段的编号;
步骤S3、对通道归一化后的所述多尺度特征进行通道注意力计算,得到各特征通道的通道注意力值,基于所述通道注意力值筛选高贡献的特征通道并进行通道增强操作;具体实施时,通过Squeeze and Excitation进行通道增强操作;
步骤S4、基于神经网络创建一用于逐层递增自适应组合语义和细节特征的动态知识集成模块(DKIM),从高到低逐层将相邻的各所述多尺度特征输入动态知识集成模块,输出增强特征;即逐层计算交叉注意力来进行动态融合;
步骤S5、基于神经网络创建一用于改进特征通道和空间维度的特征相关性的特征校准模块(RFRB),将各所述增强特征输入特征校准模块,输出校准特征,直至完成所有尺度的特征校准,即进行通道级别和空间级别的注意力计算,旨在强化通道交互同时增强有效的空间信息;所述增强特征以及校准特征均为特征图;
步骤S6、将各所述校准特征的特征维度压缩为1后,将各所述校准特征映射至RGB空间,以输出所述遥感图像的显著性目标。
所述步骤S1中,各所述Transformer层的特征通道的特征维度分别为64、128、320、512;
各所述Transformer层分别用于提取不同尺度的长距离依赖特征,基于各所述长距离依赖特征构建多尺度特征。
所述步骤S2中,所述多尺度特征携带不同粒度的长程依赖信息。
所述步骤S4中,所述动态知识集成模块以多尺度特征中的高层特征作为知识引导,计算所述高层特征与多尺度特征中相邻的低层特征的相似度矩阵,将所述相似度矩阵与多尺度特征分别进行相乘和相加操作后,输出增强特征。
所述动态知识集成模块对高层特征和低层特征进行动态融合,利用高层特征(高层语义信息)作为引导,建立语义和相关细节特征的联系,可获得更为精确的目标定位结果。
所述高层特征表示为,所述低层特征表示为/>,H表示输入图像空间维度上的长度,W表示输入图像空间维度上的宽度,C表示输入图像的通道数;所述高层特征以及低层特征均由Overlapping Patch Embedding编码,使得相邻窗口的重叠面积为一半,从而有助于捕捉局部连续信息;
通过双线性插值将所述高层特征上采样到与低层特征具有相同的空间分辨率得到特征,对所述特征/>进行归一化得到特征/>和特征/>,基于所述特征/>和特征计算相似度矩阵A:
其中,表示归一化指数函数;/>和/>均表示投影权重矩阵,且,/>;T表示转置;
基于所述相似度矩阵A计算初始增强特征
基于所述初始增强特征计算增强特征/>
其中,表示范数函数;/>表示前馈神经网络。
类似于自注意力机制,本发明将具有残差连接的前馈神经网络与特征相结合,随后增强特征/>与特征/>进行连接,将结果输入特征校准模块以产生一个集成的特征图FR(校准特征)。通过这种方式迭代,三个动态知识集成模块逐渐自适应整合所有特征;本发明从特征到执行DKIM计算,构建多级特征的相关性,逐步捕捉细粒度的细节信息,同时保留位置信息。
所述步骤S6具体为:
将各所述校准特征的特征维度压缩为1后,通过sigmoid激活函数将各所述校准特征的像素值映射至RGB空间的[0,255],恢复原有尺寸后,以输出所述遥感图像的显著性目标。
综上所述,本发明的优点在于:
通过四个Transformer层创建用于提取多尺度特征的特征提取器并进行预训练;接着获取待检测的遥感图像,通过特征提取器从遥感图像中提取多尺度特征,对多尺度特征进行通道归一化后再进行通道注意力计算,得到各特征通道的通道注意力值,基于通道注意力值筛选高贡献的特征通道并进行通道增强操作;接着基于神经网络创建用于逐层递增自适应组合语义和细节特征的动态知识集成模块,从高到低逐层将相邻的各多尺度特征输入动态知识集成模块,输出增强特征,基于神经网络创建用于改进特征通道和空间维度的特征相关性的特征校准模块,将各增强特征输入特征校准模块,输出校准特征,直至完成所有尺度的特征校准,最后将各校准特征的特征维度压缩为1后,将各校准特征映射至RGB空间,以输出遥感图像的显著性目标;即利用Transformer层产生多尺度特征(多层级特征嵌入),有效地克服了传统CNN模型中忽视长程依赖信息的问题;通过动态知识集成模块逐层递增自适应组合语义和细节特征,以多尺度特征中的高层特征作为知识引导,在捕捉复杂细节方面表现出色,有效应对建模不同尺度的挑战;通过特征校准模块改进特征通道和空间维度的特征相关性,从而提高整体特征表示,有效减少背景的干扰,最终极大的提升了遥感图像显著性目标检测精度。
虽然以上描述了本发明的具体实施方式,但是熟悉本技术领域的技术人员应当理解,我们所描述的具体的实施例只是说明性的,而不是用于对本发明的范围的限定,熟悉本领域的技术人员在依照本发明的精神所作的等效的修饰以及变化,都应当涵盖在本发明的权利要求所保护的范围内。

Claims (5)

1.一种动态知识集成的遥感图像显著性目标检测方法,其特征在于:包括如下步骤:
步骤S1、通过四个Transformer层创建一用于提取多尺度特征的特征提取器,对所述特征提取器进行预训练;
步骤S2、获取待检测的遥感图像,通过所述特征提取器从遥感图像中提取多尺度特征,对所述多尺度特征进行通道归一化,将特征维度转换为32;
步骤S3、对通道归一化后的所述多尺度特征进行通道注意力计算,得到各特征通道的通道注意力值,基于所述通道注意力值筛选高贡献的特征通道并进行通道增强操作;
步骤S4、基于神经网络创建一用于逐层递增自适应组合语义和细节特征的动态知识集成模块,从高到低逐层将相邻的各所述多尺度特征输入动态知识集成模块,输出增强特征;
步骤S5、基于神经网络创建一用于改进特征通道和空间维度的特征相关性的特征校准模块,将各所述增强特征输入特征校准模块,输出校准特征,直至完成所有尺度的特征校准;
步骤S6、将各所述校准特征的特征维度压缩为1后,将各所述校准特征映射至RGB空间,以输出所述遥感图像的显著性目标。
2.如权利要求1所述的一种动态知识集成的遥感图像显著性目标检测方法,其特征在于:所述步骤S1中,各所述Transformer层的特征通道的特征维度分别为64、128、320、512;
各所述Transformer层分别用于提取不同尺度的长距离依赖特征,基于各所述长距离依赖特征构建多尺度特征。
3.如权利要求1所述的一种动态知识集成的遥感图像显著性目标检测方法,其特征在于:所述步骤S2中,所述多尺度特征携带不同粒度的长程依赖信息。
4.如权利要求1所述的一种动态知识集成的遥感图像显著性目标检测方法,其特征在于:所述步骤S4中,所述动态知识集成模块以多尺度特征中的高层特征作为知识引导,计算所述高层特征与多尺度特征中相邻的低层特征的相似度矩阵,将所述相似度矩阵与多尺度特征分别进行相乘和相加操作后,输出增强特征。
5.如权利要求1所述的一种动态知识集成的遥感图像显著性目标检测方法,其特征在于:所述步骤S6具体为:
将各所述校准特征的特征维度压缩为1后,通过sigmoid激活函数将各所述校准特征的像素值映射至RGB空间的[0,255],以输出所述遥感图像的显著性目标。
CN202410404651.0A 2024-04-07 2024-04-07 一种动态知识集成的遥感图像显著性目标检测方法 Pending CN117994506A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202410404651.0A CN117994506A (zh) 2024-04-07 2024-04-07 一种动态知识集成的遥感图像显著性目标检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202410404651.0A CN117994506A (zh) 2024-04-07 2024-04-07 一种动态知识集成的遥感图像显著性目标检测方法

Publications (1)

Publication Number Publication Date
CN117994506A true CN117994506A (zh) 2024-05-07

Family

ID=90893744

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202410404651.0A Pending CN117994506A (zh) 2024-04-07 2024-04-07 一种动态知识集成的遥感图像显著性目标检测方法

Country Status (1)

Country Link
CN (1) CN117994506A (zh)

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2015042772A1 (zh) * 2013-09-24 2015-04-02 中国科学院自动化研究所 一种遥感图像显著目标变化检测方法
US20170076438A1 (en) * 2015-08-31 2017-03-16 Cape Analytics, Inc. Systems and methods for analyzing remote sensing imagery
CN115049921A (zh) * 2022-04-27 2022-09-13 安徽大学 基于Transformer边界感知的光学遥感图像显著目标检测方法
CN115641507A (zh) * 2022-11-07 2023-01-24 哈尔滨工业大学 基于自适应多层级融合的遥感图像小尺度面目标检测方法
CN116977872A (zh) * 2023-07-19 2023-10-31 电子科技大学 一种CNN+Transformer遥感图像检测方法
CN117237188A (zh) * 2023-09-14 2023-12-15 河北师范大学 基于遥感图像的多尺度注意网络的显著性目标检测方法
CN117274608A (zh) * 2023-11-23 2023-12-22 太原科技大学 基于空间细节感知和注意力引导的遥感图像语义分割方法
US20230419639A1 (en) * 2022-05-05 2023-12-28 Zhejiang Lab Target detection method and device for high-resolution remote sensing image
CN117351374A (zh) * 2023-12-05 2024-01-05 山东大学 一种遥感图像显著性目标检测方法、系统、设备及介质
CN117809198A (zh) * 2024-01-08 2024-04-02 杭州电子科技大学 基于多尺度特征聚合网络的遥感图像显著性检测方法

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2015042772A1 (zh) * 2013-09-24 2015-04-02 中国科学院自动化研究所 一种遥感图像显著目标变化检测方法
US20170076438A1 (en) * 2015-08-31 2017-03-16 Cape Analytics, Inc. Systems and methods for analyzing remote sensing imagery
CN115049921A (zh) * 2022-04-27 2022-09-13 安徽大学 基于Transformer边界感知的光学遥感图像显著目标检测方法
US20230419639A1 (en) * 2022-05-05 2023-12-28 Zhejiang Lab Target detection method and device for high-resolution remote sensing image
CN115641507A (zh) * 2022-11-07 2023-01-24 哈尔滨工业大学 基于自适应多层级融合的遥感图像小尺度面目标检测方法
CN116977872A (zh) * 2023-07-19 2023-10-31 电子科技大学 一种CNN+Transformer遥感图像检测方法
CN117237188A (zh) * 2023-09-14 2023-12-15 河北师范大学 基于遥感图像的多尺度注意网络的显著性目标检测方法
CN117274608A (zh) * 2023-11-23 2023-12-22 太原科技大学 基于空间细节感知和注意力引导的遥感图像语义分割方法
CN117351374A (zh) * 2023-12-05 2024-01-05 山东大学 一种遥感图像显著性目标检测方法、系统、设备及介质
CN117809198A (zh) * 2024-01-08 2024-04-02 杭州电子科技大学 基于多尺度特征聚合网络的遥感图像显著性检测方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
刘思远;程良伦;: "基于深度卷积神经网络的遥感图像目标检测方法", 工业控制计算机, no. 05, 25 May 2020 (2020-05-25) *

Similar Documents

Publication Publication Date Title
CN111462126B (zh) 一种基于边缘增强的语义图像分割方法及系统
CN110287849B (zh) 一种适用于树莓派的轻量化深度网络图像目标检测方法
CN111274892B (zh) 一种鲁棒的遥感影像变化检测方法及系统
CN111582141B (zh) 人脸识别模型训练方法、人脸识别方法及装置
CN111582483A (zh) 基于空间和通道联合注意力机制的无监督学习光流估计方法
CN113920538B (zh) 目标检测方法、装置、设备、存储介质及计算机程序产品
CN116308754B (zh) 一种银行信贷风险预警系统及其方法
CN112418351A (zh) 基于全局与局部上下文感知的零样本学习图像分类方法
CN111899203A (zh) 基于标注图在无监督训练下的真实图像生成方法及存储介质
CN107301643A (zh) 基于鲁棒稀疏表示与拉普拉斯正则项的显著目标检测方法
CN115951883B (zh) 分布式微服务架构的服务组件管理系统及其方法
JP2019153092A (ja) 位置特定装置、位置特定方法及びコンピュータプログラム
CN114926734B (zh) 基于特征聚合和注意融合的固体废弃物检测装置及方法
CN112634174B (zh) 一种图像表示学习方法及系统
CN117788296A (zh) 基于异构组合深度网络的红外遥感图像超分辨率重建方法
CN117809198A (zh) 基于多尺度特征聚合网络的遥感图像显著性检测方法
CN113313162A (zh) 一种多尺度特征融合目标检测的方法及系统
CN112668662A (zh) 基于改进YOLOv3网络的野外山林环境目标检测方法
CN117994506A (zh) 一种动态知识集成的遥感图像显著性目标检测方法
US11823043B2 (en) Machine learning with input data domain transformation
CN112016571A (zh) 一种基于注意力机制的特征提取方法、装置及电子设备
CN117612017B (zh) 一种环境自适应的遥感影像变化检测方法
WO2015086076A1 (en) Method for determining a similarity value between a first image and a second image
CN117237858B (zh) 一种回环检测方法
CN115082295B (zh) 一种基于自注意力机制的图像编辑方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination