CN116310837A - 一种sar舰船目标旋转检测方法及系统 - Google Patents

一种sar舰船目标旋转检测方法及系统 Download PDF

Info

Publication number
CN116310837A
CN116310837A CN202310377271.8A CN202310377271A CN116310837A CN 116310837 A CN116310837 A CN 116310837A CN 202310377271 A CN202310377271 A CN 202310377271A CN 116310837 A CN116310837 A CN 116310837A
Authority
CN
China
Prior art keywords
features
feature
target
sar
shallow
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202310377271.8A
Other languages
English (en)
Other versions
CN116310837B (zh
Inventor
陈杰
万辉耀
黄志祥
杜文天
杨延睿
于敬仟
邓英剑
张朝琛
赵坡
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Anhui University
Original Assignee
Anhui University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Anhui University filed Critical Anhui University
Priority to CN202310377271.8A priority Critical patent/CN116310837B/zh
Publication of CN116310837A publication Critical patent/CN116310837A/zh
Application granted granted Critical
Publication of CN116310837B publication Critical patent/CN116310837B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/10Terrestrial scenes
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/40Extraction of image or video features
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07Target detection

Abstract

本发明公开了一种SAR舰船目标旋转检测方法及系统,涉及SAR图像技术领域,包括以下步骤:提取SAR图像中的待检测目标的浅层特征、深层特征;构建FAM模块并利用其将所提取的浅层特征、深层特征通过语义流的方式进行特征对准相加,构建特征图;利用高斯分布法将特征图中的锚框匹配给SAR图像中的真值框,得到旋转目标;构建的自适应边界增强模块获取旋转目标中的边界增强特征;对边界增强特征进行解耦处理后,利用全连接层预测分类目标,并利用卷积层预测SAR图像中的目标的中心点坐标、长度、角度,实现对SAR图像中的目标进行回归检测。本发明解决了SAR船舶目标检测中小目标、多尺度,以及任意方向造成检测性能较差的问题。

Description

一种SAR舰船目标旋转检测方法及系统
技术领域
本发明涉及SAR图像技术领域,具体为一种SAR舰船目标旋转检测方法及系统。
背景技术
合成孔径雷达SAR作为一种主动成像系统,具有全天时、全天候的成像能力,能观测被遮挡物遮挡的目标,因此被广泛应用于民用和军用领域。SAR舰船检测是SAR图像智能解译的一个重要方向,对于海上商业船只监管和军事活动监测具有重要意义。SAR图像目标检测存在以下问题:
(1)目标尺寸较小。由于SAR从空中发射电磁波进行成像,SAR的俯视高度较高,目标距离成像传感器较远,因此图像中目标分辨率较小,小目标检测是SAR舰船检测最具挑战的任务之一。
(2)近岸SAR舰船目标密集排列。舰船分布在港口时,排列较密集。近岸目标由于建筑物的干扰,目标和背景存在视觉难分性的问题,近岸舰船的目标也是舰船检测的难点之一。
(3)目标分布方向杂乱。舰船目标通常以任意方向出现,并且舰船目标的宽长比较大,进一步增加了检测难度。
目前的研究大多侧重SAR水平框目标检测,这些方法在检测具有大宽长比的船舰目标时往往包含大量的背景,容易导致分类和回归错误,如图2左所示。因此需要提出一种旋转框目标检测算法,减少检测框中的背景,增加算法定位和分类精度,如图2右所示。
通过详细的调研发现,一些研究员基于光学遥感图像开发了各种基于旋转框的检测算法。但基于光学图像开发的算法没有充分考虑SAR图像的特征,光学目标边缘特征明显,目标和背景视觉可分性高。直接迁移光学目标检测算法无法解决SAR图像特征提取时边缘信息丢失,背景干扰的问题。
发明内容
本发明提出了一种SAR舰船目标旋转检测方法及系统,用于解决了SAR船舶目标检测中小目标、多尺度,以及任意方向造成检测性能较差的问题,并通过扩展目标的边界信息,提高目标的位置性能。
本发明提供一种SAR舰船目标旋转检测方法,包括以下步骤:
获取待检测的SAR图像,并利用ResNet50网络作为骨干网络提取SAR图像中的待检测目标的浅层特征、深层特征;
构建FAM模块,其为改进后的FPN网络模块,其将所提取的浅层特征、深层特征进行通道压缩后,再利用双线性插值采样调节特征大小,实现将所提取的浅层特征、深层特征通过语义流的方式进行特征对准相加,并构建特征图;
在SAR图像中标注待检测目标的真值框,并以特征图上的每个点映射到图片的中心点为中心生成多尺度水平锚框;
将真值框以及各个锚框分别模拟生成高斯分布,分别计算各个锚框的高斯分布与真值框的高斯分布之间的库尔勒贝克莱布勒距离并进行排序,将排名靠前的多个锚框作为正样本匹配给真值框;
采用中点平移表示法将多个作为正样本的锚框回归,生成旋转目标Proposal;
构建自适应边界增强模块,其包括自适应平均池化、两个卷积层、tanh非线性激活函数、注意力机制;将旋转目标Proposal输入到自适应边界增强模块后得到边界增强特征;
对边界增强特征进行解耦处理后,利用全连接层预测分类目标,并利用卷积层预测SAR图像中的目标的中心点坐标、长度、角度,实现对SAR图像中的目标进行回归检测。
进一步地,利用所述FAM模块将所提取的浅层特征、深层特征进行通道压缩后,再利用双线性插值采样调节特征大小,实现将所提取的浅层特征、深层特征通过语义流的方式进行特征对准相加,并构建特征图,包括以下步骤:
利用两个1×1的卷积,将浅层特征、深层特征压缩至相同的通道数,并利用双线性插值采样调节深层特征的大小,使深层特征与浅层特征大小相同,再利用concate操作将浅层特征、深层特征拼接,通过一个3*3的卷积将拼接后的特征映射到通道数为2的特征,该过程通过下述公式描述:
Δl-1=convl(cat(Fl,Fl-1)) (1)
其中,Fl-1表示骨干网络输出的前级特征;
Fl表示骨干输出的前级特征的后一级特征;
Δl-1表示浅层特征,
Figure BDA0004170783220000031
cat(·)表示拼接操作;convl(·)表示第l级的卷积操作;
利用两个linspace函数生成和Δl-1浅层特征分辨率大小相同的变形网格warpedgrid,Δl-1浅层特征每个空间位置上的点pl-1和变形网格warped grid通过加法操作被映射到深层特征上的一个点pl
其中warped grid和深层特征的偏移量的关系为:
Figure BDA0004170783220000032
其中,Pl-1表示代表浅层特征上的一个点;
Pl表示深层特征上的一个点;
根据浅层特征及变形网格warped grid,采用可微双线性采样机制确定特征图的大小,当输入的浅层特征的特征大小为(N,C,H,W),变形网格warped grid的大小为(N,H,W,2),则所输出的特征图的大小为(N,C,H,W),输出特征图上每一个单元格上的值由变形网格warped grid的最后一维(x,y)确定;
利用(x,y)找到输入特征图上的采样位置,x、y取值范围为[-1,1],通过(w-1)*(x+1)/2、(h-1)*(y+1)/2将x、y映射为输入特征图的具体坐标位置;
将x、y映射到特征图实际坐标后,取该坐标附近四个角点特征值,通过四个特征值坐标与采样点坐标相对关系进行双线性插值,得到采样点的值,其利用数学公式描述为:
Figure BDA0004170783220000041
其中,N(pl)表示Fl中的warped点pl的临近点;
wp表示变形网格warpedgrid距离估计的双线性核权值。
进一步地,所述将真值框以及各个锚框分别模拟生成高斯分布,分别计算各个锚框的高斯分布与真值框的高斯分布之间的库尔勒贝克莱布勒距离,包括:
设锚框的水平边界框为(xa,ya,wa,ha),将其模拟生成的二维高斯分布为na=Ν(μa,∑a),真值框的水平边界框为(xg,yg,wg,hg),将其模拟成的二维高斯分布为ng=Ν(μg,∑g);
其中(xa,ya)表示锚框的中心坐标,wa,ha分别锚框的宽、高;
(xg,yg)表示真值框的中心坐标,wg,hg分别真值框的宽、高;
其中,
Figure BDA0004170783220000051
Figure BDA0004170783220000052
计算na和ng之间的库尔勒贝克莱布勒距离KLD如下:
Figure BDA0004170783220000053
将公式(6)进一步简化,得到:
Figure BDA0004170783220000054
其中tr(·)表示行列式中的求迹操作。
进一步地,所述将旋转目标Proposal输入到自适应边界增强模块后得到边界增强特征,包括以下步骤:
通过旋转滚动RotatedROIAlign将旋转目标Proposal映射到7*7大小,再采用自适应平均池化将旋转目标Proposal中的目标特征映射成1*1大小,再使用两个1*1大小的卷积层和tanh非线性激活函数获取旋转目标Proposal中的目标的显著性特征,使用softmax函数将显著性特征表示映射成大小在[0,1]之间的自适应权值,该过程表示为:
Figure BDA0004170783220000055
其中,F(·)表示自适应平均池化操作;
conv1×1(·)表示卷积操作;tanh(·)表示非线性激活函数;
softmax(·)表示非线性激活函数;
将所述两个1*1大小的卷积层的注意力扩展到7*7大小;
利用扩展后的卷积层获取扩展的注意力增强边界特征BA(att),并将注意力增强边界特征BA(att)与旋转目标Proposal的原始特征相乘;
将提取的特征中间的多个像素值置为0,只保留边界信息;
将旋转目标Proposal的原始特征与注意力增强边界特征BA(att)进行加权,得到边界增强特征,如下:
xreg=BA(att)*xi+xi (9)
其中,xi为原始区域特征;
相加获得空间感知的自适应表示,用于目标精确的回归预测。
本发明还提供一种SAR舰船目标旋转检测系统,包括:
特征提取模块,用于获取待检测的SAR图像,并利用ResNet50网络作为骨干网络提取SAR图像中的待检测目标的浅层特征、深层特征;
FAM模块,其为改进后的FPN网络模块,其用于将所提取的浅层特征、深层特征进行通道压缩后,再利用双线性插值采样调节特征大小,实现将所提取的浅层特征、深层特征通过语义流的方式进行特征对准相加,并构建特征图;
正标签分配模块,其在SAR图像中标注待检测目标的真值框,并以特征图上的每个点映射到图片的中心点为中心生成多尺度水平锚框;将真值框以及各个锚框分别模拟生成高斯分布,分别计算各个锚框的高斯分布与真值框的高斯分布之间的库尔勒贝克莱布勒距离并进行排序,将排名靠前的多个锚框作为正样本匹配给真值框;
正样本回归处理模块,其采用中点平移表示法将多个作为正样本的锚框回归,生成旋转目标Proposal;
自适应边界增强模块,其包括自适应平均池化、两个卷积层、tanh非线性激活函数、注意力机制;将旋转目标Proposal输入到自适应边界增强模块后得到边界增强特征;
检测结果预测模块,用于对边界增强特征进行解耦处理后,利用全连接层预测分类目标,并利用卷积层预测SAR图像中的目标的中心点坐标、长度、角度,实现对SAR图像中的目标进行回归检测。
与现有技术相比,本发明的有益效果:
本发明设计了一个基于语义流的对齐模块,即FAM模块。其中语义流结合了光流的思想,使用不同层次的特征映射作为输入,评估两个特征映射之间的差异,并通过流对齐两个特征映射之间的特征映射。避免了因CNN中的ResNet50网络在降采样和残差连接操作过程中所产生的深、浅层特征的位错,而影响最终检测性能;同时为了更好地将语义信息从浅层特征传输到深层特征。
本发明提出了一种基于卷积的自适应边界增强模块,用以扩展目标的边界信息,加强目标特征,提高目标的位置性能,利用其解决了在随着卷积的降采样操作后,目标在特征图上的分辨率逐渐降低的问题,以及目标的边界信息逐渐丢失的问题。
本发明提出了一种基于高斯分布的标签分配策略,以解决基于IOU匹配策略的小目标难以与正样本的匹配问题,容易导致小目标缺失检测的问题;实现了当两个边界框不重叠时,使用基于高斯分布的标签匹配仍然可以提供学习信息。
附图说明
附图用来提供对本发明的进一步理解,并且构成说明书的一部分,与本发明的实施例一起用于解释本发明,并不构成对本发明的限制。在附图中:
图1为本发明提出的一种SAR舰船目标旋转检测方法的流程示意图;
图2为本发明背景技术中提出的水平框检测、旋转框检测所得到的图像示意图;
图3为本发明提出的一种SAR舰船目标旋转检测方法的模型整体结构示意图;
图4为本发明中的FAM模块的结构示意图;
图5为本发明中GT框和锚框的示意图以及将GT框和锚框转换成高斯分布的示意图;
图6为本发明中的实施例中的六种方法的检测图像示意图。
具体实施方式
下面结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整的描述,但应当理解本发明的保护范围并不受具体实施方式的限制。
本发明针对现有基于SAR目标检测架构所存在的问题,提出一种一种SAR舰船目标旋转检测方法,利用该方法可构建基于语义流特征对齐和高斯标签匹配的SAR船舶目标旋转检测器,简称为FADet。FADet网络模型总体架构如图3所示,下面对本发明的技术方案进行说明。
实施例1
如图1所示,本发明提供了一种SAR舰船目标旋转检测方法,包括以下步骤:
步骤S1:获取待检测的SAR图像,并利用ResNet50网络作为骨干网络提取SAR图像中的待检测目标的浅层特征、深层特征;
步骤S2:构建FAM模块,其为改进后的FPN网络模块,其将所提取的浅层特征、深层特征进行通道压缩后,再利用双线性插值采样调节特征大小,实现将所提取的浅层特征、深层特征通过语义流的方式进行特征对准相加,并构建特征图;
步骤S3:在SAR图像中标注待检测目标的真值框,并以特征图上的每个点映射到图片的中心点为中心生成多尺度水平锚框;
步骤S4:将真值框以及各个锚框分别模拟生成高斯分布,分别计算各个锚框的高斯分布与真值框的高斯分布之间的库尔勒贝克莱布勒距离并进行排序,将排名靠前的多个锚框作为正样本匹配给真值框;
步骤S5:采用中点平移表示法将多个作为正样本的锚框回归,生成旋转目标Proposal;
步骤S6:构建自适应边界增强模块,其包括自适应平均池化、两个卷积层、tanh非线性激活函数、注意力机制;将旋转目标Proposal输入到自适应边界增强模块后得到边界增强特征;
步骤S7:对边界增强特征进行解耦处理后,利用全连接层预测分类目标,并利用卷积层预测SAR图像中的目标的中心点坐标、长度、角度,实现对SAR图像中的目标进行回归检测。
在步骤S2中,语义流对齐的思想源于光流,基本思想是将一个特征图到另一个特征图的每个像素抽象为流的方式来表示,视频解译和语义分割领域使用语意流思想获得了巨大成功。基于深度学习的检测方法在提取目标特征时,随着下采样和残差连接会导致浅层和深层目标在特征图上的位置不同,即特征产生了错位。
结合FPN我们首次尝试将语义流的思想应用到SAR图像目标检测领域,经典的FPN两层特征融合时采用的策略是先通过一个1×1的卷积将浅层特征的通道数压缩到和深层特征相同的通道数,深层特征通过2倍上采样操作将特征分辨率扩展到和浅层特征相同的大小,最后通过相加操作实现深层和浅层特征的融合操作。经典的FPN无法解决特征错位的问题,为此,本发明设计了一种FAM模块解决直接相加导致的特征错位。
利用FAM模块将所提取的浅层特征、深层特征进行通道压缩后,再利用双线性插值采样调节特征大小,实现将所提取的浅层特征、深层特征通过语义流的方式进行特征对准相加,并构建特征图,包括以下步骤:
利用两个1×1的卷积,将浅层特征、深层特征压缩至相同的通道数,并利用双线性插值采样调节深层特征的大小,使深层特征与浅层特征大小相同,再利用concate操作将浅层特征、深层特征拼接;通过一个3*3的卷积将拼接后的特征映射到通道数为2的特征,该过程可通过下述公式描述:
Δl-1=convl(cat(Fl,Fl-1)) (1)
其中,Fl-1表示骨干网络输出的前级特征;
Fl表示骨干输出的前级特征的后一级特征;
Δl-1表示浅层特征,
Figure BDA0004170783220000101
cat(·)表示拼接操作;convl(·)表示第l级的卷积操作;
利用两个linspace函数生成和Δl-1浅层特征分辨率大小相同的变形网格warpedgrid,Δl-1浅层特征每个空间位置上的点pl-1和变形网格warped grid通过加法操作被映射到深层特征上的一个点pl
其中warped grid和深层特征的偏移量的关系为:
Figure BDA0004170783220000111
其中,Pl-1表示代表浅层特征上的一个点;
Pl表示深层特征上的一个点;
根据浅层特征及变形网格warped grid,采用可微双线性采样机制确定特征图的大小,当输入的浅层特征的特征大小为(N,C,H,W),变形网格warped grid的大小为(N,H,W,2),则所输出的特征图的大小为(N,C,H,W),输出特征图上每一个单元格上的值由变形网格warped grid的最后一维(x,y)确定;
利用(x,y)找到输入特征图上的采样位置,x、y取值范围为[-1,1],通过(w-1)*(x+1)/2、(h-1)*(y+1)/2将x、y映射为输入特征图的具体坐标位置;
将x、y映射到特征图实际坐标后,取该坐标附近四个角点特征值,通过四个特征值坐标与采样点坐标相对关系进行双线性插值,得到采样点的值,其利用数学公式描述为:
Figure BDA0004170783220000112
其中,N(pl)表示Fl中的warped点pl的临近点;
wp表示变形网格warped grid距离估计的双线性核权值。
在步骤S3中,基于锚框的检测器通过IoU阈值确定正样本和负样本,对于小目标而言,很多真值框(GT框)和大多数锚框交叠程度较低,在目标回归时很容易造成小目标的漏检,因此本发明将高斯分布度量两个框之间相似度的方式引入目标检测器中,高斯分布在两个框没有重叠的时候,仍然可以提供学习信息,因此在基于IoU方式度量时没有匹配到正样本的小目标在基于高斯分布度量时可以匹配到正样本,增加小目标的检测精度。
我们开发的FAGSar旋转目标检测器在第一阶段以特征图的特征点为中心预设多个尺度的水平锚框,对于真值框(GT框)首先将其转换成外接最小正框,然后将真值框(GT框)和锚框转换成高斯分布。
在步骤S4中,将真值框以及各个锚框分别模拟生成高斯分布,分别计算各个锚框的高斯分布与真值框的高斯分布之间的库尔勒贝克莱布勒距离,包括:
设锚框的水平边界框为(xa,ya,wa,ha),将其模拟生成的二维高斯分布为na=Ν(μa,∑a),真值框的水平边界框为(xg,yg,wg,hg),将其模拟成的二维高斯分布为ng=Ν(μg,∑g);
其中(xa,ya)表示锚框的中心坐标,wa,ha分别锚框的宽、高;
(xg,yg)表示真值框的中心坐标,wg,hg分别真值框的宽、高;
其中,
Figure BDA0004170783220000121
Figure BDA0004170783220000122
具体来说,对于GT框的最小外接水平边界框R=(cx,cy,w,h),其中cx、cy、w和h分别表示中心坐标、宽和高。
其内接椭圆的方程可以表示为:
Figure BDA0004170783220000123
式中(μxy)为椭圆的中心坐标,(σxy)为沿x轴和y轴的半轴的长度;
因此,μx=cx,μy=cy,
Figure BDA0004170783220000131
等式(6)中的椭圆代表一个框的二维高斯分布的密度轮廓函数。
因此,水平边界框R=(cx,cy,w,h)可以被建模为一个二维高斯分布为:
Figure BDA0004170783220000132
此外,锚框A和GT框之间的相似性可以转换为两个高斯分布之间的分布距离。我们利用Kullback-Leibler距离来计算分布距离,Kullback-Leibler是一种经典的计算分布距离,它测量了一个概率分布的不同程度。
计算na和ng之间的库尔勒贝克莱布勒距离KLD如下:
Figure BDA0004170783220000133
将公式(4)进一步简化,得到:
Figure BDA0004170783220000134
其中tr(·)表示行列式中的求迹操作。
在分配前,基于上述方法计算真值框(GT框)和锚框之间的匹配得分,并对分数进行排序。然后,将3个正标签匹配给相应的真值框(GT框)。为了提高小目标的召回率,我们将所有锚框缩放到原来的0.9倍大小,然后重复上述排序策略,为每个真值框(GT框)补充一个正样本,则共向真值框(GT框)分配4个正样本。
在步骤S5中,如图4所示,提取目标的特征之后,目标中心点的特征相对较突出有利于目标的分类,目标边界周围的特征更利于目标回归。随着不断的下采样操作,目标的边界特征存在一定的丢失。因此本发明提出了一种自适应边界增强模块,增强目标边界的显著性信息,以增加定位精度。
将旋转目标Proposal输入到自适应边界增强模块后得到边界增强特征,包括以下步骤:
通过旋转滚动RotatedROIAlign将旋转目标Proposal映射到7*7大小,再采用自适应平均池化将旋转目标Proposal中的目标特征映射成1*1大小,再使用两个1*1大小的卷积层和tanh非线性激活函数获取旋转目标Proposal中的目标的显著性特征,使用softmax函数将显著性特征表示映射成大小在[0,1]之间的自适应权值,该过程可表示为:
Figure BDA0004170783220000141
其中,F(·)表示自适应平均池化操作;
conv1×1(·)表示卷积操作;tanh(·)表示非线性激活函数;
softmax(·)表示非线性激活函数;
将两个1*1大小的卷积层的注意力扩展到7*7大小;
利用扩展后的卷积层获取扩展的注意力增强边界特征BA(att),并将注意力增强边界特征BA(att)与旋转目标Proposal的原始特征相乘;
将提取的特征中间的多个像素值置为0,只保留边界信息;
将旋转目标Proposal的原始特征与注意力增强边界特征BA(att)进行加权,得到边界增强特征,如下:
xreg=BA(att)*xi+xi (11)
其中,xi为原始区域特征。
最后,相加获得空间感知的自适应表示,用于目标精确的回归预测。
实施例2
本发明还提供一种SAR舰船目标旋转检测系统,包括:
特征提取模块,用于获取待检测的SAR图像,并利用ResNet50网络作为骨干网络提取SAR图像中的待检测目标的浅层特征、深层特征;
FAM模块,其为改进后的FPN网络模块,其用于将所提取的浅层特征、深层特征进行通道压缩后,再利用双线性插值采样调节特征大小,实现将所提取的浅层特征、深层特征通过语义流的方式进行特征对准相加,并构建特征图;
正标签分配模块,其在SAR图像中标注待检测目标的真值框,并以特征图上的每个点映射到图片的中心点为中心生成多尺度水平锚框;将真值框以及各个锚框分别模拟生成高斯分布,分别计算各个锚框的高斯分布与真值框的高斯分布之间的库尔勒贝克莱布勒距离并进行排序,将排名靠前的多个锚框作为正样本匹配给真值框;
正样本回归处理模块,其采用中点平移表示法将多个作为正样本的锚框回归,生成旋转目标Proposal;
自适应边界增强模块,其包括自适应平均池化、两个卷积层、tanh非线性激活函数、注意力机制;将旋转目标Proposal输入到自适应边界增强模块后得到边界增强特征;
检测结果预测模块,用于对边界增强特征进行解耦处理后,利用全连接层预测分类目标,并利用卷积层预测SAR图像中的目标的中心点坐标、长度、角度,实现对SAR图像中的目标进行回归检测。
本发明所提出的一种SAR舰船目标旋转检测方法,在大规模SAR舰船检测数据集上验证了其有效性。在光学遥感图像Oriented RCNN模型的基础上结合SAR图像的特有特征做出了结构化调整,将基于语义流对齐模块FAM引入FPN中以对齐两个特征映射之间的特征映射,将边界感知自适应(BA)模块引入网络中,以扩展目标的边界信息,提高目标的位置性能。此外,我们提出了一种基于高斯分布的标签分配策略,以解决基于IOU匹配策略的小目标难以与正样本的匹配问题,容易导致小目标缺失检测。当两个边界框不重叠时,基于高斯分布的标签匹配仍然可以提供学习信息。
下面结合具体的实施例对本发明中的技术方案做具体实施方式的说明。
1、为了实验的客观性,我们使用SSDD+和RSDD-SAR数据集来验证我们的实验。其中,SSDD+包含1160张图像,RSDD-SAR包含7000张图像。两个数据集的数据量差异很大,因此我们可以更好地评价本发明所提出的SAR舰船目标旋转检测方法的泛化性能。
SSDD+为在SSDD的基础上,将水平框标记为定向框。SSDD+作为最早的开源SAR图像数据集,对定向探测器的发展做出了突出的贡献。SSDD+包含2456个船舶目标,每个图像中的平均船舶数量为2.12。SSDD+中的图像由RadarSat-2、TerraSAR-X和Sendin-1传感器获得。图像采用HH、HV、VV、VV四种偏振模式。图像大小为500到600,分辨率为1到15米。
RSDD-SAR是在2022年创建的一个数据集,用于解决SAR定向数据集数量较少的问题。RSDD-SAR包含了由高分3号和火星-X卫星获得的7000张图像。这些图像的大小是512*512。有两种偏化模式,HH和高压,分辨率是2到20米。数据包括10,263个船舶实例目标和6146个小目标(该区域小于625像素),占59.88%。因此,这是一个非常具有挑战性的数据集。本发明中的所有实验都是在使用Ubuntu 18.04系统和GeForce GTX2080Ti的工作站上进行的。为了便于比较实验,我们将SSDD+数据集随机划分为一个8:2的训练集和一个测试集。对于RSDD-SAR,我们以5000张图像作为训练集,以2000张图像作为测试集。输入图像的大小被均匀地缩放到512*512。仅使用RRandomFlip在线增强策略进行训练,批量大小设置为2。优化器使用SGD。初始学习速率设置为0.005,动量为0.9,权重衰减为0.0001。总共训练了100个时代。
2、消融实验
为了验证本发明所提出的SAR舰船目标旋转检测方法中的各个模块的有效性,我们在SSDD+和RSDD-SAR数据集上进行了4次消融实验,该实验充分验证了各实验的准确性、召回率、平均精度、模型参数和FPS指标,综合评价各模块的有效性。
(1)特征提取模块:
如表1所示,SSDD+上的Oriented RCNN的mAP为89.58,RSDD-SAR上的mAP为88.72。在4个消融实验中,Oriented RCNN的检测精度最低,但Oriented RCNN的画面每秒传输帧数FPS为26.60,推理速度最快,模型参数最低。
表1数据集经过四个消融实验后的准确性P、召回率R、平均精度mAP、模型参数Params(M)和FPS指标
Figure BDA0004170783220000171
(2)FAM模块:
FAM在SSDD+和RSDD-SAR上的平均精度mAP分别为90.08和89.15。这分别比面向基准的RCNN高出0.5和0.43。每秒传输帧数FPS减少了3.42,而参数的数量仅增加了0.37。其原因可能是FAM中的扭曲映射消耗了一定的时间。
(3)自适应边界增强模块:
根据实验结果,在SSDD+上添加的BA模块的精度最高,为94.11。SSDD+和RSDD-SAR的mAP分别为90.34和89.46。并与基准测试算法pl进行了比较SSDD+数据集。RSDD-SAR数据集的精度、查全率和平均精度mAP值最高,分别为94.11、93.28和90.01。FPS相对较低,为20.01。
根据消融实验,我们的FADet在两个数据集上的检测性能都比基准模型高出1%以上。此外,我们还可以看到,模型的速度下降了6.59。我们假设,原因可能是语义流对齐过程消耗了一定的时间。
综上所述,所提出的SAR舰船目标旋转检测方法在显著提高精度的前提下降低了速度。
3、为了进一步验证本发明所提出的SAR舰船目标旋转检测方法的有效性,我们使用9种基于CNN的方法进行了性能比较实验,并对多个图像进行了可视化,以直观地观察预测结果。
此外,我们还在RSDD-SAR上打印了各算法的PR曲线。ResNet50作为骨干,具有很强的特征提取能力。大多数算法使用ResNet50作为特征提取网络,以确保速度和准确性的平衡。为了突出整体算法对性能的影响,有必要确保主干网络的计算复杂度在相同的水平上。在表2中,除了使用ReResNet50的ReDet外,我们都统一选择ResNet50作为特征提取网络。在单阶段算法中,我们比较了五种算法:R-retina网络、R3Det、S2ANet、KLD和KFIou。KFIou的性能最高。SSDD+和RSDD-SAR上的mAP分别为90.25和88.41。但推理速度相对较慢,FPS为20.38。然后,我们比较了四种两阶段的算法:RFaster RCNN、RoITransformer、GlidingVertex和ReDet。在SSDD+上最好的性能是RoITransformer,平均精度mAP为89.0。在RSDD-SAR数据集上的最佳性能是ReDet,mAP为88.40。最快的推理速度是GlidingVertex,FPS为16.82。与SSDD+和RSDD-SAR上的KFIou相比,我们的FADet的平均精度mAP分别增加了0.38和1.60。与在SSDD+上性能最好的RoI变压器相比,平均精度mAP增加了1.59。对于RSDD-SAR和ReDet的最佳性能,平均精度mAP增加了1.61。表明,本发明所提出的SAR舰船目标旋转检测方法具有在两阶段算法中最快的推理速度,这显示了我们的算法在准确性和速度方面的有效性。
表2四种算法的两阶段性能比较
Figure BDA0004170783220000191
此外,我们还可视化了每个算法的检测结果。每个算法的前两行从SSDD+中选择图像,最后三行从RSDD-SAR中选择图像。如图6所示,我们选择了几个具有代表性的近海和近海目标来测试算法的性能。图像中的绿色框表示检测框,橙色框表示未被检测到的目标,黄色框表示虚警。从图6中每个算法的第三行可以看出,大多数算法都不检测到目标,或者只检测到一个目标,这说明了小目标检测的难度。我们提出的FADet算法检测两个目标,表明了基于高斯分布的标签分配的有效性。此外,根据复杂背景下图像的可视化结果,大多数算法都遗漏了检测和误报,说明该算法突出目标信息和抑制背景信息的能力有限,导致检测错误。FADet在复杂背景下只有一个误警检测,反映了算法的鲁棒性。
4、与SAR目标检测算法的比较
为了进一步验证FADet的性能,我们与最先进的方法进行了进一步的比较实验基于SAR图像的定向检测算法。我们比较了六种方法:DRBox-v2、R2FA-Det、OFF-Net、SKGNet、MSR2N和FBR-Net。使用了三个指标:精度、查全率和mAP。这六种方法利用PR曲线包围的面积来计算平均精度mAP。如表3所示,FADet在SSDD+数据集上的精确度、查全率和平均精度mAP分别为94.91、95.70和95.22。精度P比最高OFF-Net的93.93高0.98,召回率R比最高FBR-Net的94.01高1.69,平均精度mAP比最高OFF-Net的95.02高0.20。
表3六种方法在SSDD+数据集上的精确度P、查全率R和mAP
Figure BDA0004170783220000201
比较六种方法在SSDD+数据集上的精确度P、查全率R和mAP,FADet有最高的性能,反映了本发明所提出的SAR舰船目标旋转检测方法的有效性。
最后说明的是:以上公开的仅为本发明的一个具体实施例,但是,本发明实施例并非局限于此,任何本领域的技术人员能思之的变化都应落入本发明的保护范围。

Claims (5)

1.一种SAR舰船目标旋转检测方法,其特征在于,包括以下步骤:
获取待检测的SAR图像,并利用ResNet50网络作为骨干网络提取SAR图像中的待检测目标的浅层特征、深层特征;
构建FAM模块,其为改进后的FPN网络模块,其将所提取的浅层特征、深层特征进行通道压缩后,再利用双线性插值采样调节特征大小,实现将所提取的浅层特征、深层特征通过语义流的方式进行特征对准相加,并构建特征图;
在SAR图像中标注待检测目标的真值框,并以特征图上的每个点映射到图片的中心点为中心生成多尺度水平锚框;
将真值框以及各个锚框分别模拟生成高斯分布,分别计算各个锚框的高斯分布与真值框的高斯分布之间的库尔勒贝克莱布勒距离并进行排序,将排名靠前的多个锚框作为正样本匹配给真值框;
采用中点平移表示法将多个作为正样本的锚框回归,生成旋转目标Proposal;
构建自适应边界增强模块,其包括自适应平均池化、两个卷积层、tanh非线性激活函数、注意力机制;将旋转目标Proposal输入到自适应边界增强模块后得到边界增强特征;
对边界增强特征进行解耦处理后,利用全连接层预测分类目标,并利用卷积层预测SAR图像中的目标的中心点坐标、长度、角度,实现对SAR图像中的目标进行回归检测。
2.根据权利要求1所述的一种SAR舰船目标旋转检测方法,其特征在于:利用所述FAM模块将所提取的浅层特征、深层特征进行通道压缩后,再利用双线性插值采样调节特征大小,实现将所提取的浅层特征、深层特征通过语义流的方式进行特征对准相加,并构建特征图,包括以下步骤:
利用两个1×1的卷积,将浅层特征、深层特征压缩至相同的通道数,并利用双线性插值采样调节深层特征的大小,使深层特征与浅层特征大小相同,再利用concate操作将浅层特征、深层特征拼接,通过一个3*3的卷积将拼接后的特征映射到通道数为2的特征,该过程通过下述公式描述:
Δl-1=convl(cat(Fl,Fl-1)) (1)
其中,Fl-1表示骨干网络输出的前级特征;
Fl表示骨干输出的前级特征的后一级特征;
Δl-1表示浅层特征,
Figure FDA0004170783210000021
cat(·)表示拼接操作;convl(·)表示第l级的卷积操作;
利用两个linspace函数生成和Δl-1浅层特征分辨率大小相同的变形网格warpedgrid,Δl-1浅层特征每个空间位置上的点pl-1和变形网格warped grid通过加法操作被映射到深层特征上的一个点pl
其中warped grid和深层特征的偏移量的关系为:
Figure FDA0004170783210000022
其中,Pl-1表示代表浅层特征上的一个点;
Pl表示深层特征上的一个点;
根据浅层特征及变形网格warped grid,采用可微双线性采样机制确定特征图的大小,当输入的浅层特征的特征大小为(N,C,H,W),变形网格warped grid的大小为(N,H,W,2),则所输出的特征图的大小为(N,C,H,W),输出特征图上每一个单元格上的值由变形网格warped grid的最后一维(x,y)确定;
利用(x,y)找到输入特征图上的采样位置,x、y取值范围为[-1,1],通过(w-1)*(x+1)/2、(h-1)*(y+1)/2将x、y映射为输入特征图的具体坐标位置;
将x、y映射到特征图实际坐标后,取该坐标附近四个角点特征值,通过四个特征值坐标与采样点坐标相对关系进行双线性插值,得到采样点的值,其利用数学公式描述为:
Figure FDA0004170783210000031
其中,N(pl)表示Fl中的warped点pl的临近点;
wp表示变形网格warped grid距离估计的双线性核权值。
3.根据权利要求1所述的一种SAR舰船目标旋转检测方法,其特征在于:所述将真值框以及各个锚框分别模拟生成高斯分布,分别计算各个锚框的高斯分布与真值框的高斯分布之间的库尔勒贝克莱布勒距离,包括:
设锚框的水平边界框为(xa,ya,wa,ha),将其模拟生成的二维高斯分布为na=Ν(μa,∑a),真值框的水平边界框为(xg,yg,wg,hg),将其模拟成的二维高斯分布为ng=Ν(μg,∑g);
其中(xa,ya)表示锚框的中心坐标,wa,ha分别锚框的宽、高;
(xg,yg)表示真值框的中心坐标,wg,hg分别真值框的宽、高;
其中,
Figure FDA0004170783210000032
Figure FDA0004170783210000041
计算na和ng之间的库尔勒贝克莱布勒距离KLD如下:
Figure FDA0004170783210000042
将公式(6)进一步简化,得到:
Figure FDA0004170783210000043
其中tr(·)表示行列式中的求迹操作。
4.根据权利要求1所述的一种SAR舰船目标旋转检测方法,其特征在于:所述将旋转目标Proposal输入到自适应边界增强模块后得到边界增强特征,包括以下步骤:
通过旋转滚动RotatedROIAlign将旋转目标Proposal映射到7*7大小,再采用自适应平均池化将旋转目标Proposal中的目标特征映射成1*1大小,再使用两个1*1大小的卷积层和tanh非线性激活函数获取旋转目标Proposal中的目标的显著性特征,使用softmax函数将显著性特征表示映射成大小在[0,1]之间的自适应权值,该过程表示为:
Figure FDA0004170783210000044
其中,F(·)表示自适应平均池化操作;
conv1×1(·)表示卷积操作;tanh(·)表示非线性激活函数;
softmax(·)表示非线性激活函数;
将所述两个1*1大小的卷积层的注意力扩展到7*7大小;
利用扩展后的卷积层获取扩展的注意力增强边界特征BA(att),并将注意力增强边界特征BA(att)与旋转目标Proposal的原始特征相乘;
将提取的特征中间的多个像素值置为0,只保留边界信息;
将旋转目标Proposal的原始特征与注意力增强边界特征BA(att)进行加权,得到边界增强特征,如下:
xreg=BA(att)*xi+xi(9)
其中,xi为原始区域特征;
相加获得空间感知的自适应表示,用于目标精确的回归预测。
5.一种SAR舰船目标旋转检测系统,其特征在于:包括:
特征提取模块,用于获取待检测的SAR图像,并利用ResNet50网络作为骨干网络提取SAR图像中的待检测目标的浅层特征、深层特征;
FAM模块,其为改进后的FPN网络模块,其用于将所提取的浅层特征、深层特征进行通道压缩后,再利用双线性插值采样调节特征大小,实现将所提取的浅层特征、深层特征通过语义流的方式进行特征对准相加,并构建特征图;
正标签分配模块,其在SAR图像中标注待检测目标的真值框,并以特征图上的每个点映射到图片的中心点为中心生成多尺度水平锚框;将真值框以及各个锚框分别模拟生成高斯分布,分别计算各个锚框的高斯分布与真值框的高斯分布之间的库尔勒贝克莱布勒距离并进行排序,将排名靠前的多个锚框作为正样本匹配给真值框;
正样本回归处理模块,其采用中点平移表示法将多个作为正样本的锚框回归,生成旋转目标Proposal;
自适应边界增强模块,其包括自适应平均池化、两个卷积层、tanh非线性激活函数、注意力机制;将旋转目标Proposal输入到自适应边界增强模块后得到边界增强特征;
检测结果预测模块,用于对边界增强特征进行解耦处理后,利用全连接层预测分类目标,并利用卷积层预测SAR图像中的目标的中心点坐标、长度、角度,实现对SAR图像中的目标进行回归检测。
CN202310377271.8A 2023-04-11 2023-04-11 一种sar舰船目标旋转检测方法及系统 Active CN116310837B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310377271.8A CN116310837B (zh) 2023-04-11 2023-04-11 一种sar舰船目标旋转检测方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310377271.8A CN116310837B (zh) 2023-04-11 2023-04-11 一种sar舰船目标旋转检测方法及系统

Publications (2)

Publication Number Publication Date
CN116310837A true CN116310837A (zh) 2023-06-23
CN116310837B CN116310837B (zh) 2024-04-23

Family

ID=86827132

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310377271.8A Active CN116310837B (zh) 2023-04-11 2023-04-11 一种sar舰船目标旋转检测方法及系统

Country Status (1)

Country Link
CN (1) CN116310837B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116823838A (zh) * 2023-08-31 2023-09-29 武汉理工大学三亚科教创新园 高斯先验标签分配与特征解耦的海洋船舶检测方法与系统

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111881918A (zh) * 2020-06-11 2020-11-03 中国人民解放军战略支援部队信息工程大学 一种多尺度旋转船舶目标检测算法
US20210003697A1 (en) * 2019-07-02 2021-01-07 Wuyi University Method and apparatus for end-to-end sar image recognition, and storage medium
CN114119582A (zh) * 2021-12-01 2022-03-01 安徽大学 一种合成孔径雷达图像目标检测方法
CN114565860A (zh) * 2022-03-01 2022-05-31 安徽大学 一种多维度增强学习合成孔径雷达图像目标检测方法
CN115115601A (zh) * 2022-07-04 2022-09-27 中国矿业大学 一种基于形变注意金字塔的遥感舰船目标检测方法
CN115294452A (zh) * 2022-08-08 2022-11-04 中国人民解放军火箭军工程大学 基于双向特征金字塔网络的旋转sar舰船目标检测方法
CN115546555A (zh) * 2022-10-18 2022-12-30 安徽大学 一种基于混合表征学习增强的轻量化sar目标检测方法
CN115661038A (zh) * 2022-09-28 2023-01-31 中国电子科技集团公司第五十四研究所 一种基于双边滤波特征增强的遥感图像目标检测方法及装置
WO2023050746A1 (zh) * 2021-09-30 2023-04-06 西南电子技术研究所(中国电子科技集团公司第十研究所) 增强舰船目标检测sar图像数据的方法

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20210003697A1 (en) * 2019-07-02 2021-01-07 Wuyi University Method and apparatus for end-to-end sar image recognition, and storage medium
CN111881918A (zh) * 2020-06-11 2020-11-03 中国人民解放军战略支援部队信息工程大学 一种多尺度旋转船舶目标检测算法
WO2023050746A1 (zh) * 2021-09-30 2023-04-06 西南电子技术研究所(中国电子科技集团公司第十研究所) 增强舰船目标检测sar图像数据的方法
CN114119582A (zh) * 2021-12-01 2022-03-01 安徽大学 一种合成孔径雷达图像目标检测方法
CN114565860A (zh) * 2022-03-01 2022-05-31 安徽大学 一种多维度增强学习合成孔径雷达图像目标检测方法
CN115115601A (zh) * 2022-07-04 2022-09-27 中国矿业大学 一种基于形变注意金字塔的遥感舰船目标检测方法
CN115294452A (zh) * 2022-08-08 2022-11-04 中国人民解放军火箭军工程大学 基于双向特征金字塔网络的旋转sar舰船目标检测方法
CN115661038A (zh) * 2022-09-28 2023-01-31 中国电子科技集团公司第五十四研究所 一种基于双边滤波特征增强的遥感图像目标检测方法及装置
CN115546555A (zh) * 2022-10-18 2022-12-30 安徽大学 一种基于混合表征学习增强的轻量化sar目标检测方法

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116823838A (zh) * 2023-08-31 2023-09-29 武汉理工大学三亚科教创新园 高斯先验标签分配与特征解耦的海洋船舶检测方法与系统
CN116823838B (zh) * 2023-08-31 2023-11-14 武汉理工大学三亚科教创新园 高斯先验标签分配与特征解耦的海洋船舶检测方法与系统

Also Published As

Publication number Publication date
CN116310837B (zh) 2024-04-23

Similar Documents

Publication Publication Date Title
CN108961235B (zh) 一种基于YOLOv3网络和粒子滤波算法的缺陷绝缘子识别方法
CN109902677B (zh) 一种基于深度学习的车辆检测方法
CN111368769B (zh) 基于改进锚点框生成模型的船舶多目标检测方法
CN111079739B (zh) 一种多尺度注意力特征检测方法
CN111476159A (zh) 一种基于双角回归的检测模型训练、检测方法及装置
CN111461113B (zh) 一种基于变形平面物体检测网络的大角度车牌检测方法
CN106600613B (zh) 基于嵌入式gpu的改进lbp红外目标检测方法
CN116310837B (zh) 一种sar舰船目标旋转检测方法及系统
CN112149664A (zh) 一种优化分类与定位任务的目标检测方法
CN115019201A (zh) 一种基于特征精细化深度网络的弱小目标检测方法
Dai et al. GCD-YOLOv5: An armored target recognition algorithm in complex environments based on array lidar
CN112613565B (zh) 基于多特征融合与自适应学习率更新的抗遮挡跟踪方法
Shi et al. Obstacle type recognition in visual images via dilated convolutional neural network for unmanned surface vehicles
CN116953702A (zh) 基于演绎范式的旋转目标检测方法及装置
CN115937520A (zh) 基于语义信息引导的点云运动目标分割方法
CN114255385B (zh) 基于感知向量的光学遥感图像舰船检测方法及系统
WO2023273337A1 (zh) 一种基于代表特征的遥感图像中的密集目标检测方法
Zhang et al. Bridging the gap between cumbersome and light detectors via layer-calibration and task-disentangle distillation in remote sensing imagery
CN114863132A (zh) 图像空域信息的建模与捕捉方法、系统、设备及存储介质
CN116758363A (zh) 一种权重自适应与任务解耦的旋转目标检测器
CN112712062A (zh) 基于解耦截断物体的单目三维物体检测方法和装置
CN112215873A (zh) 用于对变电站内多目标跟踪定位的方法
Wu et al. Object-Enhanced YOLO Networks for Synthetic Aperture Radar Ship Detection
CN112053384A (zh) 基于边界框回归模型的目标跟踪方法
Wan et al. Orientation Detector for Small Ship Targets in SAR Images Based on Semantic Flow Feature Alignment and Gaussian Label Matching

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant