CN115049921A - 基于Transformer边界感知的光学遥感图像显著目标检测方法 - Google Patents

基于Transformer边界感知的光学遥感图像显著目标检测方法 Download PDF

Info

Publication number
CN115049921A
CN115049921A CN202210458900.5A CN202210458900A CN115049921A CN 115049921 A CN115049921 A CN 115049921A CN 202210458900 A CN202210458900 A CN 202210458900A CN 115049921 A CN115049921 A CN 115049921A
Authority
CN
China
Prior art keywords
boundary
feature
transformer
loss function
salient
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210458900.5A
Other languages
English (en)
Inventor
涂铮铮
陈燕雯
韩寒
王越
郑海军
谢星晨
伏傈豪
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Anhui University
Original Assignee
Anhui University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Anhui University filed Critical Anhui University
Priority to CN202210458900.5A priority Critical patent/CN115049921A/zh
Publication of CN115049921A publication Critical patent/CN115049921A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02DCLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Image Analysis (AREA)
  • Aiming, Guidance, Guns With A Light Source, Armor, Camouflage, And Targets (AREA)

Abstract

本发明公开一种基于Transformer边界感知光学遥感图像显著性目标检测方法,本发明通过注意力机制引导浅层特征挖掘更多细节信息;通过基于Transformer全局上下文信息模块来建模全局上下文信息,从全局角度推断不同显著目标以及显著目标内部的关系,有利于生成更加完整的显著性图;此外通过边界感知解码器,将各层特征和边界特征进行交互融合,在强调显著区域的同时关注边界信息,从而得到比其他先进方法更高置信度的显著图。

Description

基于Transformer边界感知的光学遥感图像显著目标检测 方法
技术领域
本发明涉及计算机视觉处理技术,具体涉及一种基于Transformer边界感知的光学遥感图像显著目标检测方法。
背景技术
显著目标检测是计算机视觉领域中的一个重要课题,该任务旨在从给定图像中检测出视觉上最独特的目标。近年来,自然场景图像下的显著目标检测已经比较成熟,但光学遥感图像下的显著目标检测仍有待探索。光学遥感图像显著目标检测有很强的实用价值,该任务可以应用于计算机视觉各个领域起到预处理的作用,如目标分割、视觉跟踪、图像检索、裁剪、图像质量评估等。
光学遥感图像是由卫星和航空传感器拍摄的,而自然场景图像通常是通过手持相机进行拍摄,因此获取图像上巨大的差异使得光学遥感图像显著目标检测在尺度变化、成像条件、噪声干扰、成像方向等方面具有更大的挑战。光学遥感图像是在户外以很高的角度进行俯拍,因此它包含的目标尺度变化非常大,既有例如建筑物、岛屿等大目标,也存在飞机、船只等小目标,并且由于俯视的视角会使显著目标存在各种方向,而自然场景图像都是竖直方向。同时光学遥感图像背景复杂,噪声干扰多样,很容易受到光照强度、拍摄时间、拍摄高度等成像条件影响。因此直接使用最先进的自然场景图像显著目标检测方法处理光学遥感图像时,难以获得满意的结果。
在现有的研究中,大多使用卷积神经网络在光学遥感图像显著目标检测方面取得了很大进展。但是卷积神经网络存在从邻域像素中提取特征的固有局限性,因此以往的方法很难利用关键的全局线索。最近,Swin Transformer被提出,它通过多头自注意实现局部窗口内的实体对交互,并且通过滑动窗口方案建立跨窗口的长距离依赖关系。从Transformer中提取的特征比从卷积神经网络中提取的特征具有更多的全局信息,而全局上下文信息被证明是显著性检测的关键。
目前,光学遥感图像显著目标检测仍存在一些待解决且影响其性能的挑战:
一方面,会存在大目标检测不完全以及小目标的漏检的情况。光学遥感图像中存在一些狭长或占据整张图像范围很大的目标,很容易造成检测的不完整。而卷积神经网络无法建立起良好的长距离语义依赖关系来解决远距离特征不一致性的问题。同时,由于数据集中有较多小目标,前景占的比例较小,因此前景背景存在类别不均衡的问题。该问题会导致检测的准确率下降从而小目标会出现漏检。
另一方面,很多针对可见光图像显著检测的深度学习方法利用显著目标的边缘信息可以更准确地预测显著图的边界,但是由于光学遥感图像前景及背景的复杂性,简单直接地融合多层显著目标的边界信息对光学遥感图像显著检测效果不够理想。
发明内容
发明目的:本发明的目的在于解决现有技术中存在的不足,提供一种基于Transformer边界感知的光学遥感图像显著目标检测方法。
技术方案:本发明一种基于Transformer边界感知的光学遥感图像显著目标检测方法,其特征在于:包括以下步骤:
步骤S1、使用特征编码器编码获得遥感图像的多级特征,并将遥感图像特征标记为f1~f4
步骤S2、通过空间注意力机制引导浅层特征f1和f2进行交互优化,并融合提取共有区域特征信息,得到新的浅层特征F1和F2
步骤S3、将高层特征f3和f4经过基于Transformer全局上下文模块对全局信息处理,分别得到含有充分全局上下文信息的特征F3和F4
步骤S4、在边界感知解码器中,将特征F1~F3中的边界信息进一步增强,并通过边界真值监督得到边界特征F′1~F′3,然后通过三个重复边界模块渐进地将每一层边界特征和强调显著区域的特征融合,得到完整且边界清晰的显著图;
步骤S5、通过联合损失函数Lfinal监督训练网络得到最终预测图。
进一步地,所述步骤S1中特征编码器采用Swin-Transformer部分结构,包括3个stage;每个stage中均包括多层重复的类似transformer模块,每个transformer模块中均包括核心的window attention和shift window attention;并且每个stage均可缩小所输入的特征图的分辨率;例如:未经过stage输出的通道数为128,通过三个stage之后的通道数分别为256、512和1024。
进一步地,所述步骤S2中先将浅层特征f1和f2通过空间注意力以自适应调制的操作对细节信息进行优化,突出显著目标区域;
首先得到浅层特征的空间注意力图As
As=SpatialAttn(fi)
SpatialAttn(fi)=σ(Conv(Cat(AvgPool(fi),Maxpool(fi))))
其中,i是指第i层层级,此处i=1,2,σ(*)表示sigmoid激活函数,Conv表示卷积层,Cat表示特征按通道维度级联,AvgPooling表示平均池化,Maxpooling表示最大池化;
将空间注意力图As与对应的特征图fi相乘,得到的新的特征图f′i
f′i=As×fi
然后,将浅层特征相乘并通过3*3的卷积处理得到浅层融合特征ffuse
ffuse=Conv(f1×f2)
将浅层融合特征ffuse分别与f′1和f′2通过元素级加法进行融合实现共有区域特征的提取,进而得到新浅层特征F1,F2
Fi=f′i+ffuse
其中,F1=f′1+ffuse,F2=f′2+ffuse
进一步地,所述步骤S3中基于Transformer全局上下文模块具体方法为:
步骤S3.1、将较高层特征f3下采样至f4相同的分辨率并将其相加得到高层融合特征
Figure BDA0003619791280000031
步骤S3.2、使高层融合特征
Figure BDA0003619791280000032
通过双分支的结构获取全局上下文信息;
分支一通过Transformer层得到具有全局感受野的全局特征G1
Figure BDA0003619791280000033
其中,T代表一组Transformer层,Conv1代表1*1卷积操作,BN代表批量归一化层,ρ(*)代表ReLU函数;
分支二通过平均池化得到
Figure BDA0003619791280000034
的全局特征G2对分支一进行补充和增强目标区域:
Figure BDA0003619791280000035
步骤S3.3、将两分支通过元素级相加进行融合,再利用一个Sigmoid激活函数生成一个权重φ分别作用于高层特征f3、f4得到含有充分全局上下文信息的特征F3、F4
φ=Sigmoid(G1+G2)
F3=f3×φ
F4=f4×φ。
进一步地,所述步骤S4的具体过程为:
S4.1、将新浅层特征F1,F2以及特征F3经过通道注意力以及残差连接对边界信息进一步挖掘,得到F′1,F′2,F′3,并用边界真值监督得到边界特征:
Ac=ChannelAtt n(Fi)
ChannelAtt n(Fi)=σ(Maxpool(Fi))
F′i=Fi+Ac×Fi,i=1,2,3
例如,i是指第i层层级,此处
Figure BDA0003619791280000041
S4.2、在边界感知解码器中,输入通过编码器得到的各层级特征F1~F4以及边界特征F′1~F′3,先将最高层特征F4上采样至F3相同尺寸并融合,接着通过三个重复的边界模块使边界特征F′1~F′3和F1~F4进行交互融合,逐渐细化生成更加完整且边缘较清晰的显著性图:
此处以其中一个边界模块为例描述其处理内容:
解码器中的边界模块包括两个分支,一个分支将边界特征二倍上采样至下一层特征相同分辨率,两者像素级相乘得到边缘区域E1
E1=Up(F′3)×F2
用1减去边界特征得到除去边界的区域
Figure BDA0003619791280000042
Figure BDA0003619791280000043
另一个分支将特征F3上采样与
Figure BDA0003619791280000044
相同大小,然后将除去边界的区域
Figure BDA0003619791280000045
和特征F3相乘强调较明确的显著区域E2
Figure BDA0003619791280000046
S4.3、将显著区域E2和互补的边缘区域E1进行融合得到F″2,并将新的特征图F″2和下一层特征融合再重复送入边界模块:
F″2=E1+E2
F2=F″2+F2
进一步地,所述步骤S5中联合损失函数Lfinal为:
Lfinal=Ls+Le
其中,Ls为显著损失函数,Le为边界损失函数;
显著损失函数具体为:
Ls=Lbce+Ldice+Lsmooth
其中,Lbce为二元交叉熵BCE损失函数,Ldice为Dice损失函数,Lsmooth为平滑度损失函数;
给定显著图S={S(j)|j=1,...,T}和真值标签Y={Y(j)|j=1,...,T},其中j表示第j个像素,T是该显著图的总像素数;
二元交叉熵BCE损失函数为:
Figure BDA0003619791280000051
Dice损失函数能处理由于数据集中包含很多小目标引起的前景和背景区域之间像素不平衡的问题:
Figure BDA0003619791280000052
平滑度损失函数能使显著目标边界更为平滑产生更精细的分割图,具体为:
Figure BDA0003619791280000053
Figure BDA0003619791280000054
此处的平滑度损失函数中i和j分别代表横轴和竖轴上每个像素点的位置。
给定边界图E={E(k)|k=1,...,K}和边界真值标签G={G(k)|k=1,...,K},其中k表第k个像素,K是边界图的总像素数;
将关注边界的特征图
Figure BDA0003619791280000055
上采样到边界真值图的分辨率大小,再通过二元交叉熵BCE损失函数进行监督,边界损失函数Le具体为:
Le=α*L1+β*L2+γ*L3
Figure BDA0003619791280000056
Figure BDA0003619791280000061
Figure BDA0003619791280000062
其中,α,β,γ是控制不同损失的权重参数分别为0.5、0.8和1。
有益效果:与现有技术相比,本发明具有以下优点:
(1)本发明首次将Transformer引入遥感显著性的任务,并且设计了基于Transformer全局上下文模块来解决远距离特征不一致性的问题,从而检测到完整的显著目标。
(2)本发明的边界感知解码器能够有效地利用边界信息,在关注显著区域的同时也能得到较清晰的边界。
(3)本发明采用一个新的联合损失函数来缓解前景背景之间地类别不均衡问题,达到更优的检测性能。
附图说明
图1为本发明的整体流程示意图;
图2为本发明的网络模型示意图;
图3为本发明一实施例的P-R曲线示意图。
具体实施方式
下面对本发明技术方案进行详细说明,但是本发明的保护范围不局限于所述实施例。
如图1所示,本实施例的基于Transformer边界感知的光学遥感图像显著目标检测方法,包括以下步骤:
步骤S1、使用特征编码器编码获得遥感图像的多级特征,并将遥感图像特征标记为f1~f4;此处特征编码器采用Swin-Transformer部分结构,包括3个stage;每个stage中均包括多层重复的transformer模块,每个transformer模块中均包括window attention和shift window attention;并且每个stage均可缩小所输入的特征图的分辨率;
步骤S2、通过空间注意力机制引导浅层特征f1和f2进行交互优化,并融合提取共有区域特征信息,得到新的浅层特征F1和F2
先将浅层特征f1和f2通过空间注意力以自适应调制的操作对细节信息进行优化,突出显著目标区域;
首先得到浅层特征的空间注意力图:
As=SpatialAtt n(fi)
SpatialAtt n(fi)=σ(Conv(Cat(AvgPool(fi),Maxpool(fi))))
其中,i=1,2,σ(*)表示sigmoid激活函数,Conv表示卷积层,Cat表示特征按通道维度级联,AvgPooling表示平均池化,Maxpooling表示最大池化;
将空间注意力图与对应的特征图fi相乘,得到的新的特征图f′i
f′i=As×fi
然后,将浅层特征相乘并通过3*3的卷积处理得到浅层融合特征ffuse
ffuse=Conv(f1×f2)
将浅层融合特征ffuse分别与f′1和f′2通过元素级加法进行融合实现共有区域特征的提取,进而得到新浅层特征F1,F2
Fi=f′i+ffuse
其中,F1=f′1+ffuse,F2=f′2+ffuse
步骤S3、将高层特征f3和f4经过基于Transformer全局上下文模块对全局信息处理,分别得到含有充分全局上下文信息的特征F3和F4
所述步骤S3中基于Transformer全局上下文模块具体方法为:
步骤S3.1、将较高层特征f3下采样至f4相同的分辨率并将其相加得到
Figure BDA0003619791280000071
步骤S3.2、使高层融合特征
Figure BDA0003619791280000072
通过双分支的结构获取全局上下文信息;
分支一通过Transformer层得到具有全局感受野的全局特征G1
Figure BDA0003619791280000073
其中,T代表一组Transformer层,Conv1代表1*1卷积操作,BN代表批量归一化层,ρ(*)代表ReLU函数;
分支二通过平均池化得到
Figure BDA0003619791280000075
的全局特征G2对分支一进行补充和增强目标区域:
Figure BDA0003619791280000074
步骤S3.3、将两分支通过元素级相加进行融合,再利用一个Sigmoid激活函数生成一个权重φ分别作用于高层特征f3、f4得到含有充分全局上下文信息的特征F3、F4
φ=Sigmoid(G1+G2)
F3=f3×φ
F4=f4×φ;
步骤S4、在边界感知解码器中,分别将特征F1~F3中的边界信息增强,并通过边界真值监督得到边界特征F′1~F′3,通过三个边界模块渐进地将每一层边界特征和强调显著区域的特征融合,得到完整且边界清晰的显著图;
S4.1、将新浅层特征F1,F2以及特征F3经过通道注意力以及残差连接对边界信息进一步挖掘,得到F′1,F′2,F′3,并用边界真值监督得到边界特征:
Ac=ChannelAttn(Fi)
ChannelAttn(Fi)=σ(Maxpool(Fi))
F′i=Fi+Ac×Fi,i=1,2,3
S4.2、在边界感知解码器中,输入编码器得到的各层级特征F1~F4以及边界特征F′1~F′3,先将最高层特征F4上采样至F3相同尺寸并融合,接着通过三个重复的边界模块使边界特征F′1~F′3和F1~F4进行交互融合,逐渐细化生成更加完整且边缘较清晰的显著性图;
解码器中的每个边界模块均包括两个分支,一个分支将边界特征二倍上采样至下一层特征相同分辨率,两者像素级相乘得到边缘区域E1
E1=Up(F′3)×F2
用1减去边界特征得到除去边界的区域:
Figure BDA0003619791280000081
另一个分支将特征F3上采样与
Figure BDA0003619791280000082
相同大小,然后将除去边界的区域和特征F3相乘强调较明确的显著区域E2
Figure BDA0003619791280000083
S4.3、将显著区域E2和互补的边缘区域E1进行融合得到F″2,并将新的特征图F″2和下一层特征融合再重复送入边界模块:
F″2=E1+E2
F2=F″2+F2
步骤S5、通过联合损失函数Lfinal监督训练网络得到最终预测图;
联合损失函数Lfinal为:
Lfinal=Ls+Le
其中,Ls为显著损失函数,Le为边界损失函数;
显著损失函数具体为:
Ls=Lbce+Ldice+Lsmooth
其中,Lbce为二元交叉熵BCE损失函数,Ldice为Dice损失函数,Lsmooth为平滑度损失函数;
给定显著图S={S(j)|j=1,...,T}和真值标签Y={Y(j)|j=1,...,T},其中j表示第j个像素,T是该显著图的总像素数;
二元交叉熵BCE损失函数为:
Figure BDA0003619791280000091
Dice损失函数Ldice为:
Figure BDA0003619791280000092
平滑度损失函数Ls具体为:
Figure BDA0003619791280000093
Figure BDA0003619791280000094
给定边界图E={E(k)|k=1,...,K}和边界真值标签G={G(k)|k=1,...,K},其中k表第k个像素,K是边界图的总像素数;
将关注边界的特征图
Figure BDA0003619791280000095
上采样到边界真值图的分辨率大小,再通过二元交叉熵BCE损失函数进行监督,边界损失函数Le具体为:
Le=α*L1+β*L2+γ*L3
Figure BDA0003619791280000101
Figure BDA0003619791280000102
Figure BDA0003619791280000103
其中,α,β,γ是控制不同损失的权重参数分别为0.5、0.8和1。
实施例:
本实施例使用公开的数据集,例如ORSSD、EORSSD。其中,ORSSD数据集包含600幅图像及其相应的真值标签,其中有400幅训练图像和200幅测试图像。EORSSD数据集是ORSSD数据集的扩展版本,包括1400幅训练图像和600幅测试图像。
本实施例先对EORSSD训练集进行数据增强包括随机翻转、旋转、裁剪和仿射变换。为使本发明的光学遥感图像显著目标检测网络收敛,本实施例的目标检测网络在NVIDIATITAN Xp GPU上以8的批量大小训练了55次。网络的骨干参数采用Swin-B的参数,使用Adams优化器优化网络参数,学习率为5e-5,输入图像尺寸大小为384×384。
为便于定量评估,本实施例采用5种广泛使用的指标。
(1)、平均绝对误差(MAE),表示预测值和观测值之间绝对误差的平均值,MAE定义为:
Figure BDA0003619791280000104
其中T为总像素数量和S为预测显著图,Y是真值图。
(2)、F-measure(Fm),是指精确率和召回率的加权调和平均值。F-measure公式为:
Figure BDA0003619791280000105
其中β2=0.3,表示更关注精确率。
(3)、S-measure(Sm)。Sm计算预测图和真值标签之间的目标感知结构相似度(S0)和区域感知结构相似度(Sr)。Sm如下所示:
Sm=α·S0+(1-α)·Sr
其中α设置为0.5。
(4)、E-measure(Em)度量,是一种增强的对齐度量,可同时测量全局像素误差和局部像素误差。
(5)、P-R曲线,利用真值标签和预测图计算精确率和召回率,通过精确率和召回率来绘制P-R曲线。
P-R曲线越接近坐标(1,1),网络性能越好。
将本发明技术方案与其他现有技术比较。
本实施例将本发明技术方案的网络与其他13种方法进行比较。
比较方法不仅包括自然场景图像方法,还包括光学遥感图像方法。具体包括DAFNet、MCCNet、EMFINet、LV-Net、MINet、RRNet、MJRBM、PA-KRN、GCPANet、GateNet、SUCA、ITSD和EGNet,所有结果均由作者提供的代码生成。
比较:
本实施例的具体对比试验结果如表1所示,本实施例在三个数据集上使用Em、Sm、Fm、MAE和wFm来评估对应的显著图。
在ORSSD数据集上,与次优的MCCNet方法进行比较,在五个评估指标上分别有0.6%、0.3%、0.9%、0.3%和1.2%的提升。在EORSSD数据集上,本发明在五个评估指标上比次优的MCCNet方法提升了2.1%、0.7%、4.6%、0.3%和1.7%。
表1测指标对比示意图
Figure BDA0003619791280000111
如图3所示,3(a)和3(b)分别在orssd数据集和eorssd数据集上的预测图的P-R曲线;并于其他技术方案的结果进行的对比。可以观察到,本发明在ORSSD和EORSSD两个数据集上取得了不错的性能,并相较于其他技术方案取得了明显的提升。这也同样说明了本发明技术方案的优势结果。

Claims (6)

1.一种基于Transformer边界感知的光学遥感图像显著目标检测方法,其特征在于:包括以下步骤:
步骤S1、使用特征编码器编码获得遥感图像的多级特征,并将遥感图像特征标记为f1~f4
步骤S2、通过空间注意力机制引导浅层特征f1和f2进行交互优化,并融合提取共有区域特征信息,得到新的浅层特征F1和F2
步骤S3、将高层特征f3和f4经过基于Transformer全局上下文模块对全局信息处理,分别得到含有充分全局上下文信息的特征F3和F4
步骤S4、在边界感知解码器中,分别将特征F1~F3中的边界信息增强,并通过边界真值监督得到边界特征F1′~F3′,通过三个边界模块渐进地将每一层边界特征和强调显著区域的特征融合,得到完整且边界清晰的显著图;
步骤S5、通过联合损失函数Lfinal监督训练网络得到最终预测图。
2.根据权利要求1所述的基于Transformer边界感知的光学遥感图像显著目标检测方法,其特征在于:所述步骤S1中特征编码器采用Swin-Transformer部分结构,包括3个stage;每个stage中均包括多层重复的transformer模块,每个transformer模块中均包括window attention和shift window attention;并且每个stage均可缩小所输入的特征图的分辨率。
3.根据权利要求1所述的基于Transformer边界感知的光学遥感图像显著目标检测方法,其特征在于:所述步骤S2的具体方法为;
首先,计算浅层特征的空间注意力图As
As=SpatialAttn(fi)
SpatialAttn(fi)=σ(Conv(Cat(AvgPool(fi),Maxpool(fi))))
其中,i=1,2,σ(*)表示sigmoid激活函数,Conv表示卷积层,Cat表示特征按通道维度级联,AvgPooling表示平均池化,Maxpooling表示最大池化;
将空间注意力图As与对应的特征图fi相乘,得到的新的特征图fi′:
fi′=As×fi
然后,将两个浅层特征相乘并通过3*3的卷积处理得到浅层融合特征ffuse
ffuse=Conv(f1×f2)
将浅层融合特征ffuse分别与f1′和f′2通过元素级加法进行融合实现共有区域特征的提取,进而得到新浅层特征F1,F2
其中,F1=f1′+ffuse,F2=f′2+ffuse
4.根据权利要求1所述的基于Transformer边界感知的光学遥感图像显著目标检测方法,其特征在于:所述步骤S3中基于Transformer全局上下文模块具体方法为:
步骤S3.1、将高层特征f3下采样至f4相同的分辨率并将其相加得到高层融合特征
Figure FDA0003619791270000021
步骤S3.2、使高层融合特征
Figure FDA0003619791270000022
通过双分支的结构获取全局上下文信息;
分支一通过Transformer层得到具有全局感受野的全局特征G1
Figure FDA0003619791270000023
其中,T代表一组Transformer层,Conv1代表1*1卷积操作,BN代表批量归一化层,ρ(*)代表ReLU函数;
分支二通过平均池化得到
Figure FDA0003619791270000024
的全局特征G2对分支一进行补充和增强目标区域:
Figure FDA0003619791270000025
步骤S3.3、将两分支通过元素级相加进行融合,再利用一个Sigmoid激活函数生成一个权重φ分别作用于高层特征f3、f4得到含有充分全局上下文信息的特征F3、F4
φ=Sigmoid(G1+G2)
F3=f3×φ
F4=f4×φ。
5.根据权利要求1所述的基于Transformer边界感知的光学遥感图像显著目标检测方法,其特征在于:所述步骤S4的具体过程为:
S4.1、将新浅层特征F1,F2以及特征F3经过通道注意力以及残差连接对边界信息进一步挖掘,得到F1′,F′2,F3′,并用边界真值监督得到边界特征:
Ac=ChannelAttn(Fi)
ChannelAttn(Fi)=σ(Maxpool(Fi))
Fi′=Fi+Ac×Fi,i=1,2,3
S4.2、在边界感知解码器中,输入通过编码器得到的各层级特征F1~F4以及边界特征F1′~F3′,先将最高层特征F4上采样至F3相同尺寸并融合,接着通过三个重复的边界模块使边界特征F1′~F3′和F1~F4进行交互融合,逐渐细化生成更加完整且边缘较清晰的显著性图;
解码器中的每个边界模块均包括两个分支,一个分支将边界特征二倍上采样至下一层特征相同分辨率,两者像素级相乘得到边缘区域E1
E1=Up(F3′)×F2
用1减去边界特征得到除去边界的区域
Figure FDA0003619791270000031
Figure FDA0003619791270000032
另一个分支将特征F3上采样与
Figure FDA0003619791270000033
相同大小,然后将除去边界的区域
Figure FDA0003619791270000034
和F3相乘强调较明确的显著区域E2
Figure FDA0003619791270000035
S4.3、将显著区域E2和互补的边缘区域E1进行融合得到F2″,并将新的特征图F2″和下一层特征融合再重复送入边界模块:
F2″=E1+E2
F2=F2″+F2
6.根据权利要求1所述的基于Transformer边界感知的光学遥感图像显著目标检测方法,其特征在于:所述步骤S5中联合损失函数Lfinal为:
Lfinal=Ls+Le
其中,Ls为显著损失函数,Le为边界损失函数;
显著损失函数具体为:
Ls=Lbce+Ldice+Lsmooth
其中,Lbce为二元交叉熵BCE损失函数,Ldice为Dice损失函数,Lsmooth为平滑度损失函数;
给定显著图S={S(j)|j=1,...,T}和真值标签Y={Y(j)|j=1,...,T},其中j表示第j个像素,T是该显著图的总像素数;
二元交叉熵BCE损失函数为:
Figure FDA0003619791270000041
Dice损失函数Ldice为:
Figure FDA0003619791270000042
平滑度损失函数Ls具体为:
Figure FDA0003619791270000043
Figure FDA0003619791270000044
给定边界图E={E(k)|k=1,...,K}和边界真值标签G={G(k)|k=1,...,K},其中k表第k个像素,K是边界图的总像素数;
将关注边界的特征图
Figure FDA0003619791270000045
上采样到边界真值图的分辨率大小,再通过二元交叉熵BCE损失函数进行监督,边界损失函数Le具体为:
Le=α*L1+β*L2+γ*L3
Figure FDA0003619791270000046
Figure FDA0003619791270000047
Figure FDA0003619791270000048
其中,α,β,γ是控制不同损失的权重参数分别为0.5、0.8和1。
CN202210458900.5A 2022-04-27 2022-04-27 基于Transformer边界感知的光学遥感图像显著目标检测方法 Pending CN115049921A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210458900.5A CN115049921A (zh) 2022-04-27 2022-04-27 基于Transformer边界感知的光学遥感图像显著目标检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210458900.5A CN115049921A (zh) 2022-04-27 2022-04-27 基于Transformer边界感知的光学遥感图像显著目标检测方法

Publications (1)

Publication Number Publication Date
CN115049921A true CN115049921A (zh) 2022-09-13

Family

ID=83157858

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210458900.5A Pending CN115049921A (zh) 2022-04-27 2022-04-27 基于Transformer边界感知的光学遥感图像显著目标检测方法

Country Status (1)

Country Link
CN (1) CN115049921A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20220364934A1 (en) * 2020-03-27 2022-11-17 Ecb Consulting Llc Systems and approaches for improving accuracy of temperature measurements using thermal imaging
CN116109966A (zh) * 2022-12-19 2023-05-12 中国科学院空天信息创新研究院 一种面向遥感场景的视频大模型构建方法

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20220364934A1 (en) * 2020-03-27 2022-11-17 Ecb Consulting Llc Systems and approaches for improving accuracy of temperature measurements using thermal imaging
US11635331B2 (en) * 2020-03-27 2023-04-25 Ecb Consulting Llc Systems and approaches for improving accuracy of temperature measurements using thermal imaging
CN116109966A (zh) * 2022-12-19 2023-05-12 中国科学院空天信息创新研究院 一种面向遥感场景的视频大模型构建方法
CN116109966B (zh) * 2022-12-19 2023-06-27 中国科学院空天信息创新研究院 一种面向遥感场景的视频大模型构建方法

Similar Documents

Publication Publication Date Title
CN109299274B (zh) 一种基于全卷积神经网络的自然场景文本检测方法
Golts et al. Unsupervised single image dehazing using dark channel prior loss
CN115049936B (zh) 一种面向高分遥感影像的边界增强型语义分割方法
CN115049921A (zh) 基于Transformer边界感知的光学遥感图像显著目标检测方法
CN111626993A (zh) 一种基于嵌入式FEFnet网络的图像自动检测计数方法及系统
CN113591968A (zh) 一种基于非对称注意力特征融合的红外弱小目标检测方法
CN110675421B (zh) 基于少量标注框的深度图像协同分割方法
CN109977834B (zh) 从深度图像中分割人手与交互物体的方法和装置
CN112149526B (zh) 一种基于长距离信息融合的车道线检测方法及系统
CN114724155A (zh) 基于深度卷积神经网络的场景文本检测方法、系统及设备
CN113076947A (zh) 一种交叉引导融合的rgb-t图像显著性检测系统
CN114663371A (zh) 基于模态独有和共有特征提取的图像显著目标检测方法
CN112700476A (zh) 一种基于卷积神经网络的红外船视频跟踪方法
CN112819837A (zh) 一种基于多源异构遥感影像的语义分割方法
CN112800932B (zh) 海上背景下显著船舶目标的检测方法及电子设备
Zhang et al. Dense haze removal based on dynamic collaborative inference learning for remote sensing images
CN114359626A (zh) 基于条件生成对抗网络的可见光-热红外显著目标检测方法
Sun et al. TSINIT: a two-stage Inpainting network for incomplete text
CN115661482B (zh) 一种基于联合注意力的rgb-t显著目标检测方法
CN113298094B (zh) 一种基于模态关联与双感知解码器的rgb-t的显著性目标检测方法
CN113012158B (zh) 基于深度稠密网络与边缘距离图加权的图像协同分割方法
CN113313668B (zh) 一种地铁隧道表面病害特征提取方法
CN114241288A (zh) 一种选择性边缘信息引导的遥感目标显著性检测方法
CN115410089A (zh) 自适应局部上下文嵌入的光学遥感小尺度目标检测方法
Di et al. FDNet: An end-to-end fusion decomposition network for infrared and visible images

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination