CN113239953B - 基于有向高斯函数的sar图像旋转舰船检测方法 - Google Patents
基于有向高斯函数的sar图像旋转舰船检测方法 Download PDFInfo
- Publication number
- CN113239953B CN113239953B CN202110342344.0A CN202110342344A CN113239953B CN 113239953 B CN113239953 B CN 113239953B CN 202110342344 A CN202110342344 A CN 202110342344A CN 113239953 B CN113239953 B CN 113239953B
- Authority
- CN
- China
- Prior art keywords
- network
- ship
- directed
- representing
- sar image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 81
- 230000006870 function Effects 0.000 claims abstract description 70
- 238000000034 method Methods 0.000 claims abstract description 34
- 238000012549 training Methods 0.000 claims abstract description 24
- 238000000605 extraction Methods 0.000 claims abstract description 7
- 238000010586 diagram Methods 0.000 claims description 46
- 239000013598 vector Substances 0.000 claims description 28
- 230000008447 perception Effects 0.000 claims description 10
- 238000007499 fusion processing Methods 0.000 claims description 3
- 238000004891 communication Methods 0.000 claims description 2
- 239000000523 sample Substances 0.000 description 17
- 230000000007 visual effect Effects 0.000 description 4
- 230000000694 effects Effects 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 238000013459 approach Methods 0.000 description 2
- 238000013135 deep learning Methods 0.000 description 2
- 238000011156 evaluation Methods 0.000 description 2
- 238000002474 experimental method Methods 0.000 description 2
- 238000003384 imaging method Methods 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 238000004088 simulation Methods 0.000 description 2
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 description 1
- 238000012935 Averaging Methods 0.000 description 1
- 206010039203 Road traffic accident Diseases 0.000 description 1
- RTAQQCXQSZGOHL-UHFFFAOYSA-N Titanium Chemical compound [Ti] RTAQQCXQSZGOHL-UHFFFAOYSA-N 0.000 description 1
- 230000002411 adverse Effects 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004422 calculation algorithm Methods 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 230000000052 comparative effect Effects 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 230000002401 inhibitory effect Effects 0.000 description 1
- 230000001788 irregular Effects 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 238000011176 pooling Methods 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 230000035945 sensitivity Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/25—Fusion techniques
- G06F18/253—Fusion techniques of extracted features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/60—Analysis of geometric attributes
- G06T7/66—Analysis of geometric attributes of image moments or centre of gravity
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10032—Satellite or aerial image; Remote sensing
- G06T2207/10044—Radar image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V2201/00—Indexing scheme relating to image or video recognition or understanding
- G06V2201/07—Target detection
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Computation (AREA)
- General Engineering & Computer Science (AREA)
- Artificial Intelligence (AREA)
- Life Sciences & Earth Sciences (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Geometry (AREA)
- Radar Systems Or Details Thereof (AREA)
- Image Analysis (AREA)
Abstract
本发明涉及一种基于有向高斯函数的SAR图像旋转舰船检测方法,包括:S1:获取待测SAR图像;S2:将SAR图像输入有向舰船检测网络模型,以实现对不同尺度的有向舰船目标进行检测;其中,有向舰船检测网络模型,通过构建有向舰船检测网络并进行网络训练得到,有向舰船检测网络包括特征提取网络和头部网络,首先ResNet‑50与FPN网络,获取输入SAR图像的若干组多级特征图。在头部网络中,分类子网络将特征图中的每个像素确定为舰船对象的中心像素,而回归子网络则将每个对象的定向边界框回归,通过对三组特征图所分别对应的头部网络损失函数进行加权计算得到总损失函数,以此训练网络。本发明的方法与其他舰船检测方法相比,识别准确率明显提升。
Description
技术领域
本发明属于图像检测技术领域,具体涉及一种基于有向高斯函数的SAR图像旋转舰船检测方法。
背景技术
船舶检测技术可以有效提高海上运输效率,减少海上交通事故,因此一直是遥感领域最热门的研究之一。作为一种重要的遥感技术,合成孔径雷达(SAR)具有全天候,全天候和长距离操作的优势,提供了丰富且高分辨率的地标信息。舰船目标由许多复杂的金属成分组成,通常具有较高的雷达横截面(RCS),这意味着它们的反射能量高于SAR图像中其他目标或背景的反射能量。这些显著的优势使SAR船舶检测成为海上监视的有力手段。
尽管使用SAR系统实现舰船目标检测具有明显的优势,但是仍然存在很多限制舰船检测性能的困难。由船舶自运动如滚动和偏航引起的多普勒参数导致SAR成像模型与匹配滤波器模型之间的不匹配,进而导致目标像素扩展到很大的宽度。同时,根据SAR系统平台的角度,SAR图像中的舰船目标通常以任意方向出现。因此,有向舰的精确定位是一项亟待解决的问题。另外,不同类型的船舶目标通常具有不同的长宽比,并且SAR系统通常可以获得以不同模式工作的多分辨率SAR图像,这意味着SAR图像中存在不同比例的船舶。因此,如何在多分辨率SAR图像中检测多尺度船舶目标是一个至关重要的问题。
发明内容
为了解决现有技术中存在的上述问题,本发明提供了一种基于有向高斯函数的SAR图像旋转舰船检测方法。本发明要解决的技术问题通过以下技术方案实现:
本发明提供了一种基于有向高斯函数的SAR图像旋转舰船检测方法,包括:
S1:获取待测SAR图像;
S2:将所述SAR图像输入有向舰船检测网络模型,以实现对不同尺度的有向舰船目标进行检测;
其中,所述有向舰船检测网络模型,通过构建有向舰船检测网络并进行网络训练得到,所述有向舰船检测网络包括特征提取网络和头部网络,其中,
所述特征提取网络包括ResNet-50网络和FPN网络,用于获取输入SAR图像的若干组多级特征图;
所述头部网络包括分类子网络和回归子网络,所述分类子网络采用有向非标准化高斯函数确定舰船目标的中心点位置,所述回归子网络用于对有向边界框进行回归,利用边界框感知向量描述所述有向边界框;
所述有向舰船检测网络的损失函数通过对若干组所述多级特征图对应的头部网络损失函数进行非均匀加权得到。
在本发明的一个实施例中,所述ResNet-50网络用于将所述输入SAR图像进行降采样处理,得到4张不同分辨率的特征图;
所述FPN网络用于对4张所述不同分辨率的特征图进行融合处理,得到3组所述多级特征图。
在本发明的一个实施例中,所述分类子网络根据输入的3组所述多级特征图,输出其对应的热力图,并利用有向非标准化高斯函数确定所述舰船目标的中心点位置,所述有向非标准化高斯函数为:
其中,cx,cy表示舰船目标在SAR图像上的中心点,σx和σy表示连通区域的x与y方向的延伸,px,py表示舰船目标在热力图上的位置,ρ表示在{-1,0,1}中选取的方向控制系数。
在本发明的一个实施例中,利用边界框感知向量描述所述有向边界框,则所述有向边界框的参数定义如下:
d=[tx,ty,rx,ry,bx,by,we,wh],
其中,t,b,r,l分别表示边界框感知向量中的上,下,右,左四个向量,tx,ty表示向量t的坐标,rx,ry表示向量r的坐标,bx,by表示向量b的坐标,we,wh表示有向边界框的外部水平框尺寸。
在本发明的一个实施例中,每组所述多级特征图对应的头部网络损失函数为:
其中,
N表示训练集的数量,pi表示分类子网络热力图部分对样本i标签的输出,表示分类子网络热力图部分对样本i预测的输出,α表示权重向量,β表示平衡因子;
ok表示回归子网络偏置部分对舰船目标k标签的输出,表示回归子网络偏置部分对舰船目标k预测的输出,/>表示平滑L1损失函数;
dk表示回归子网络框参数部分对舰船目标k标签的输出,表示回归子网络框参数部分对舰船目标k预测的输出;
αi表示分类子网络旋转判定部分对样本i标签的输出,表示分类子网络旋转判定部分对样本i预测的输出。
在本发明的一个实施例中,所述有向舰船检测网络的损失函数为:
其中α1,α2和α3分别对应多级特征图的权重,P2,P3和P4分别表示3组多级特征图。
与现有技术相比,本发明的有益效果在于:
1.本发明的基于有向高斯函数的SAR图像旋转舰船检测方法,采用有向舰船检测网络训练得到的模型对不同尺度的有向舰船目标进行检测,在模型训练过程中,该有向舰船检测网络首先采用ResNet-50和FPN网络得到多级特征图,使用改进的有向高斯函数以及加权损失函数进行有向目标框检测以及回归,克服了有向舰船目标的虚警率高的问题,以及不同尺度正负样本不均衡带来的训练问题。
2.本发明的基于有向高斯函数的SAR图像旋转舰船检测方法,与其他舰船检测方法相比,识别准确率提升明显,可以很好地应用于海岸不同尺度混合的密集舰船目标的检测。
上述说明仅是本发明技术方案的概述,为了能够更清楚了解本发明的技术手段,而可依照说明书的内容予以实施,并且为了让本发明的上述和其他目的、特征和优点能够更明显易懂,以下特举较佳实施例,并配合附图,详细说明如下。
附图说明
图1是本发明实施例提供的一种基于有向高斯函数的SAR图像旋转舰船检测方法的流程图;
图2a是本发明实施例提供的800×800像素的输入SAR图像;
图2b是本发明实施例提供的200×200像素的C2特征图;
图2c是本发明实施例提供的100×100像素的C3特征图;
图2d是本发明实施例提供的50×50像素的C4特征图;
图2e是本发明实施例提供的25×25像素的C5特征图;
图3是本发明实施例提供的一种FPN网络的结构示意图;
图4是本发明实施例提供的有向舰船检测网络的网络架构;
图5是本发明实施例提供的通过有向非标准化高斯函数得到的针对不同指向角度舰船目标的边界框示意图;
图6是本发明实施例提供的通过BBAV得到的舰船目标OBB描述的示意图;
图7a是本发明实施例提供的一种对于密集海岸分布目标的不同方法的可视化比较;
图7b是本发明实施例提供的一种对于不同尺度大小舰船检测结果的不同方法的可视化比较。
具体实施方式
为了进一步阐述本发明为达成预定发明目的所采取的技术手段及功效,以下结合附图及具体实施方式,对依据本发明提出的一种基于有向高斯函数的SAR图像旋转舰船检测方法进行详细说明。
有关本发明的前述及其他技术内容、特点及功效,在以下配合附图的具体实施方式详细说明中即可清楚地呈现。通过具体实施方式的说明,可对本发明为达成预定目的所采取的技术手段及功效进行更加深入且具体地了解,然而所附附图仅是提供参考与说明之用,并非用来对本发明的技术方案加以限制。
实施例一
请参见图1,图1是本发明实施例提供的一种基于有向高斯函数的SAR图像旋转舰船检测方法的流程图。如图所示,本实施例的基于有向高斯函数的SAR图像旋转舰船检测方法,包括:
S1:获取待测SAR图像;
S2:将SAR图像输入有向舰船检测网络模型,以实现对不同尺度的有向舰船目标进行检测。
其中,有向舰船检测网络模型,通过构建有向舰船检测网络并进行网络训练得到,有向舰船检测网络包括特征提取网络和头部网络。
具体地,特征提取网络包括ResNet-50网络和FPN网络,用于获取输入SAR图像的若干组多级特征图。
在本实施例中,ResNet-50网络用于将输入SAR图像进行降采样处理,得到4张不同分辨率的特征图。请结合参见图2a-图2e,图2a是本发明实施例提供的800×800像素的输入SAR图像;图2b是本发明实施例提供的200×200像素的C2特征图;图2c是本发明实施例提供的100×100像素的C3特征图;图2d是本发明实施例提供的50×50像素的C4特征图;图2e是本发明实施例提供的25×25像素的C5特征图。如图所示,在本实施例中,使用ResNet-50池化层将输入SAR图像降采样得到不同分辨率的特征图,在步长为4、8、16、32时得到的特征图分别以C2,C3,C4和C5表示。
在本实施例中,FPN网络用于对4张不同分辨率的特征图进行融合处理,得到3组多级特征图。请参见图3,图3是本发明实施例提供的一种FPN网络的结构示意图,如图所示,由于C5低分辨率对于舰船目标定位准确率的限制,根据4张特征图采用FPN架构得到3组多级特征图,分别以P4,P3和P2表示。
进一步地,头部网络包括分类子网络和回归子网络,分类子网络采用有向非标准化高斯函数确定舰船目标的中心点位置,回归子网络用于对有向边界框进行回归,利用边界框感知向量描述有向边界框。
具体地,请结合参见图4对本实施例的有向舰船检测网络的头部网络进行具体介绍,图4是本发明实施例提供的有向舰船检测网络的网络架构。如图所示,在本实施例中,分类子网络包括两部分输出,分别为热力图部分和旋转判定部分,其中,热力图部分用于根据输入的多级特征图,输出热力图并确定舰船目标的中心点位置;旋转判定部分用于根据输入的多级特征图,判定舰船目标的边界框是否旋转。回归子网络包括两部分输出,分别为偏置部分和框参数部分,其中,偏置部分用于根据输入的多级特征图,确定特征图与输入SAR图像中舰船目标中心点的坐标偏置矩阵,将热力图中确定的舰船目标的中心点位置回归到实际SAR图像对应坐标点;框参数部分用于根据输入的多级特征图,表述舰船目标的有向边界框的边界感知向量。
需要说明的是,在本实施例中,考虑到确定有向舰船目标的边界问题,将边界框分为水平边界框(HBB)和有向边界框(OBB)。如图4所示,头部网络中的回归子网络和分类子网络都使用四个级联的3×3卷积层来转换提取的特征。分类网络将多级特征图上的每个位置分类为是否是舰船对象,并将每个边界框分类为OBB(即判定舰船目标的边界框旋转)或HBB(即判定舰船目标的边界框没有旋转),而回归网络则将每个对象的中心偏移量进行回归,并对框参数进行回归。
在本实施例中,对于每组w×h大小的多级特征图(即P4,P3和P2),热力图具有k个通道,由于在舰船检测任务中仅设置了一个目标分类,k为1并且这个该通道通过一个Sigmoid函数进行计算。
假设c=(cx,cy)为舰船目标在SAR图像上的中心点,传统有向目标检测方法采用如下以c为中心点的2D非标准化高斯函数f(cx,cy,σ)代表热力图
其中p=(px,py)表示舰船目标在热力图上的位置,σ表示由热力图与实际目标框IOU决定的标准偏差。可以看出,通过公式(1)的高斯函数,如果检测得到的中心点接近其实际目标框的位置,则这些位置可以建立能有效帮助定位目标框的关键点,可以降低对关键点位置偏移的敏感度,并提高HBB检测的性能,但在OBB检测时会忽略舰船目标的定向角度。
而在本实施例中,分类子网络根据输入的3组多级特征图,输出其对应的热力图,并利用有向非标准化高斯函数确定舰船目标的中心点位置,有向非标准化高斯函数为:
其中,cx,cy表示舰船目标在SAR图像上的中心点,σx和σy表示连通区域的x与y方向的延伸,px,py表示舰船目标在热力图上的位置,ρ表示在{-1,0,1}中选取的方向控制系数。
在本实施例中,有向边界框表示为(x,y,w,h,θ),x,y表示有向边界框中心点的坐标,w表示有向边界框的宽度,h表示有向边界框的高度,θ表示有向边界框相对于水平方向的旋转角度。σx和σy分别为:
在本实施例中,通过有向非标准化高斯函数g(·)得到的舰船目标的边界框如图5所示,图5是本发明实施例提供的通过有向非标准化高斯函数得到的针对不同指向角度舰船目标的边界框示意图。从图可以看出,本实施例的有向非标准化高斯函数可以生成一个集中于每个对象中心点的宽度。通过该函数,生成的舰船目标的边界框与船上物体的比例和方向有关。在该网络训练过程中,降低了高斯凸点内部点的惩罚值,并使用了焦点损失来抑制正样本和负样本之间的不平衡,从而实现对热力图的训练。
进一步地,在检测到舰船目标的中心点后,采用边界框感知向量(BBAV)来描述舰船目标的有向边界框,请参见图6,图6是本发明实施例提供的通过BBAV得到的舰船目标OBB描述的示意图,如图6所示,BBAV中的t,b,r,l四个向量分别表示上,下,右,左四个向量,利用其可以捕获不规则舰船目标的共有的显著的信息。
那么,在本实施例中,利用BBAV描述舰船目标的有向边界框则有向边界框的参数定义如下:
d=[tx,ty,rx,ry,bx,by,we,wh] (4),
其中,t,b,r,l分别表示边界框感知向量中的上,下,右,左四个向量,tx,ty表示向量t的坐标,rx,ry表示向量r的坐标,bx,by表示向量b的坐标,we,wh表示有向边界框的外部水平框尺寸。
进一步地,有向舰船检测网络的损失函数通过对若干组多级特征图对应的头部网络损失函数进行非均匀加权得到。
具体地,每组多级特征图对应的头部网络损失函数为:
其中,
N表示训练集的数量,训练集由若干训练样本i组成,训练样本上设置有标签,pi表示分类子网络热力图部分对样本i标签的输出,表示分类子网络热力图部分对样本i预测的输出,α表示权重向量,用于将损失函数侧重难样本,β表示平衡因子,用于抑制正样本和负样本之间的不平衡。
ok表示回归子网络偏置部分对舰船目标k标签的输出,表示回归子网络偏置部分对舰船目标k预测的输出,/>表示平滑L1损失函数;
需要说明的是,回归子网络偏置部分对舰船目标k输出偏置图预测为:其中,(x,y)是SAR图像中的位置,si为热力图i的总步长,为了提升将舰船目标位置从热力图重新映射到输入SAR图像时的表现,在本实施例中,使用公式(7)的平滑L1损失函数对该偏置图O进行训练。
dk表示回归子网络框参数部分对舰船目标k标签的输出,表示回归子网络框参数部分对舰船目标k预测的输出;
在本实施例中,公式(8)的平滑L1损失函数对回归框参数进行训练。
αi表示分类子网络旋转判定部分对样本i标签的输出,表示分类子网络旋转判定部分对样本i预测的输出。
需要说明的是,当舰船接近垂直或水平时,边界问题仍然发生,导致训练过程不稳定。因此,使用判别因子将OBB分为旋转边界框(RBB)和HBB,同时,使用公式(9)的二进制交叉熵损失来优化方向图,其中,
进一步地,在本实施例中,有向舰船检测网络的损失函数为:
其中α1,α2和α3分别对应多级特征图P2,P3和P4的权重。
在本实施例中,采用非均匀加权可以抑制各尺寸样本不均衡带来的影响。在网络训练过程中,通过该有向舰船检测网络的损失函数计算得到权重参数的梯度更新值,以此对该有向舰船检测网络进行训练,从而得到有向舰船检测网络模型。
值得说明的是,对于SAR图像舰船检测,舰船目标的物理尺寸互不相同,而SAR系统的成像模式会导致不同的分辨率。这些因素导致相应的SAR图像中有许多具有不同像素比例的舰船目标。根据SAR图像中的像素区域,舰船目标可分为三类:最小目标矩形区域的最小边界矩形(MBR)小于1024;中间目标区域的MBR区域小于4096并且大于1024;以及面积大于4096的大型目标。不同规模的目标通常在FPN的每个子网中表达不同的功能。而且,不同比例的目标舰船样本分布不平衡也会降低探测性能。
为解决以上问题,在本实施例中,不同尺寸的舰船目标使用不同层级的特征图进行检测,更具体地说,首先在每个特征图层级上对于每个位置计算回归目标we和he,如果位置符合max(we,he)>mi-1和max(we,he)≤mi,那么,该样本为使用i层特征图进行回归的正样本,mi是特征层级i需要回归的最大距离。在本实施例中,将m1,m2,m3和m4用于多级特征图,P2,P3和P4分别设置为0,64,128,∞,通过此设置,具有不同大小的舰船目标将通过不同的特征图来响应。
本实施例的基于有向高斯函数的SAR图像旋转舰船检测方法,采用有向舰船检测网络训练得到的模型对不同尺度的有向舰船目标进行检测,在模型训练过程中,该有向舰船检测网络首先采用ResNet-50和FPN网络得到多级特征图,使用改进的有向高斯函数以及加权损失函数进行有向目标框检测以及回归,克服了有向舰船目标的虚警率高的问题,以及不同尺度正负样本不均衡带来的训练问题。
实施例二
本实施例是对实施例一的基于有向高斯函数的SAR图像旋转舰船检测方法通过仿真实验进一步说明。在本实施例的仿真实验过程中,使用PyTorch框架来实现构建有向舰船检测网络并进行网络训练得到有向舰船检测网络模型。输入SAR图像的尺寸设置为800×800像素。ResNet50主干的权重使用ImageNet数据集上的预训练模型初始化,而其他权重则在默认设置下初始化。通过在比例范围[0.9,1.1]中进行随机翻转和随机裁剪来增强训练集HRSID中的训练ya样本图像。使用初始学习率为0.000125的Adam算法来优化损失函数ltotal。在2个NVIDIA TITAN XP上设置训练样本数量为8进行80期训练。
为验证所提方法的性能,采用类似于COCO数据集AP评估,AP50和AP75分别对应交并比IOU为0.5和0.75,同时,通过平均超过6个IOU阈值(从0.5到0.75)获得AP,这往往会使模型善于获取精确的位置。同样地,实验也对小、中、大模型进行了AP的计算,分别命名为APS,APM和APL。
与原始的BBAV方法相比,本实施例的有向舰船检测网络模型有三个关键模块:FPN和多重预测相结合,用于检测多尺度船舶;有向非标准化高斯函数,用于定位船舶目标的中心;以及不同层次损失函数的非均匀加权,用于抑制不同比例目标之间的不平衡样本分布。为了验证这些模块的有效性,将对其进行研究分析。以BBAV为基准,逐步添加以上三个结构并对比结果列于表1。
表1实验对比结果
从表1中可以看出,具有多级预测的FPN将AP从59.45%提高到60.07%,尤其是AP50和AP75分别提升至78.22%和36.40%,这表明本实施例的方法可以比基础架构更加准确地定位舰船目标。同时,在将APM从67.66%降低至63.57%的情况下,将APS与APL提升了近3%,因此,FPN中的P4,P3和P2有效地提取了高维和高分辨率特征图。而且,FPN和多级预测的结合有助于区分不同的规模目标,并通过不同的头部网络定位这些目标。为了克服二维高斯函数在有向舰船检测中对位置的不利影响,提出了有向非归一化高斯函数。如表1所示,所提出的有向高斯函数将AP从60.07%提高到60.43%。特别是,AP50和AP75分别提高到78.55%和36.92%。因此,有向高斯函数的引入有助于以较高的查全率来定位船舶对象的中心点,并增加了中心点对特征图的鲁棒性。同时可以看到提出的非加权策略将AP从60.43%提高到最高值60.71%,AP50和AP75通过结合所提方法达到了最高值,这充分证明了本实施例的方法的有效性。
请参见图7a-图7b,图7a是本发明实施例提供的一种对于密集海岸分布目标的不同方法的可视化比较;图7b是本发明实施例提供的一种对于不同尺度大小舰船检测结果的不同方法的可视化比较。为了本实施例方法的有效性,选择了几种典型且功能强大的基于深度学习的面向对象检测器作为比较方法。具体来说,这些方法可以归结为:1)传统的深度学习方法,例如Faster RCNN,用于水平物体检测的RetinaNet(RetinaNet-H);2)场景文本检测方法,如R2CNN;3)最近发布的融合水平物体检测器和有向物体检测器的方法,包括基于有向的RetinaNet(RetinaNet-O),基于有向的Faster RCNN(Faster RCNN-O)和ROITransformer;4)具有新颖网络结构和优化损耗功能的有向探测器,包括R3det,小,杂乱和旋转物体的探测器(SCRDet),圆形光滑标签(CSL)和BBAV。
在这些方法中,RetinaNet-H,R2CNN,SCRDet,R3det和CSL由已发布的基于TensorFlow的旋转检测基准UranusDet执行。除了类别号和数据设置外,针对这些方法的有向舰船检测的所有网络设置和参数设置均与UranusDet中的设置相同。RetinaNet-O,Faster RCNN-O,ROI转换由基于Pytorch的AerialDetection框架执行。它们的参数和网络结构也与AerialDetection中的相同。而且,所有这些检测器均以ResNet-50为基础架构。这些方法的检测结果示于表2。从表2可以看出本申请的方法在AP50、APS、APL这三个评价指标上与其他方法相比,都达到了较好的结果。
表2不同方法的实验结果(%)
方法 | AP | AP50 | AP75 | APS | APM | APL |
RetinaNet-H | 45.05 | 61.26 | 15.75 | 30.02 | 53.69 | 8.35 |
R2CNN | 50.17 | 69.72 | 22.59 | 26.68 | 47.71 | 9.96 |
R3det | 37.22 | 57.29 | 14.57 | 17.90 | 25.80 | 8.50 |
SCRDet | 46.08 | 60.81 | 25.19 | 30.70 | 57.57 | 7.75 |
CSL | 31.25 | 55.26 | 6.56 | 17.41 | 30.78 | 6.21 |
RetinaNet-O | 52.71 | 68.96 | 28.33 | 9.09 | 32.77 | 11.51 |
Faster RCNN-O | 62.06 | 77.39 | 34.87 | 32.32 | 42.76 | 10.58 |
ROI Transformer | 60.65 | 76.82 | 37.68 | 37.04 | 48.94 | 17.14 |
BBAV | 59.45 | 77.29 | 35.76 | 51.34 | 67.66 | 30.09 |
Proposed Method | 60.71 | 78.60 | 37.22 | 56.86 | 67.63 | 31.32 |
本实施例的基于有向高斯函数的SAR图像旋转舰船检测方法,与其他舰船检测方法相比,识别准确率提升明显,可以很好地应用于海岸不同尺度混合的密集舰船目标的检测。
应当说明的是,在本文中,术语“包括”、“包含”或者任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的物品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括所述要素的物品或者设备中还存在另外的相同要素。
以上内容是结合具体的优选实施方式对本发明所作的进一步详细说明,不能认定本发明的具体实施只局限于这些说明。对于本发明所属技术领域的普通技术人员来说,在不脱离本发明构思的前提下,还可以做出若干简单推演或替换,都应当视为属于本发明的保护范围。
Claims (4)
1.一种基于有向高斯函数的SAR图像旋转舰船检测方法,其特征在于,包括:
S1:获取待测SAR图像;
S2:将所述SAR图像输入有向舰船检测网络模型,以实现对不同尺度的有向舰船目标进行检测;
其中,所述有向舰船检测网络模型,通过构建有向舰船检测网络并进行网络训练得到,所述有向舰船检测网络包括特征提取网络和头部网络,其中,
所述特征提取网络包括ResNet-50网络和FPN网络,用于获取输入SAR图像的若干组多级特征图;
所述头部网络包括分类子网络和回归子网络,所述分类子网络采用有向非标准化高斯函数确定舰船目标的中心点位置,所述回归子网络用于对有向边界框进行回归,利用边界框感知向量描述所述有向边界框;
所述有向舰船检测网络的损失函数通过对若干组所述多级特征图对应的头部网络损失函数进行非均匀加权得到;
其中,所述分类子网络根据输入的3组所述多级特征图,输出其对应的热力图,并利用有向非标准化高斯函数确定所述舰船目标的中心点位置,所述有向非标准化高斯函数为:
其中,cx,cy表示舰船目标在SAR图像上的中心点,σx和σy表示连通区域的x与y方向的延伸,px,py表示舰船目标在热力图上的位置,ρ表示在{-1,0,1}中选取的方向控制系数;
利用边界框感知向量描述所述有向边界框,则所述有向边界框的参数定义如下:
d=[tx,ty,rx,ry,bx,by,we,wh],
其中,t,b,r,l分别表示边界框感知向量中的上,下,右,左四个向量,tx,ty表示向量t的坐标,rx,ry表示向量r的坐标,bx,by表示向量b的坐标,we,wh表示有向边界框的外部水平框尺寸。
2.根据权利要求1所述的基于有向高斯函数的SAR图像旋转舰船检测方法,其特征在于,所述ResNet-50网络用于将所述输入SAR图像进行降采样处理,得到4张不同分辨率的特征图;
所述FPN网络用于对4张所述不同分辨率的特征图进行融合处理,得到3组所述多级特征图。
3.根据权利要求1所述的基于有向高斯函数的SAR图像旋转舰船检测方法,其特征在于,每组所述多级特征图对应的头部网络损失函数为:
其中,
N表示训练集的数量,pi表示分类子网络热力图部分对样本i标签的输出,表示分类子网络热力图部分对样本i预测的输出,α表示权重向量,β表示平衡因子;
ok表示回归子网络偏置部分对舰船目标k标签的输出,表示回归子网络偏置部分对舰船目标k预测的输出,/>表示平滑L1损失函数;
dk表示回归子网络框参数部分对舰船目标k标签的输出,表示回归子网络框参数部分对舰船目标k预测的输出;
αi表示分类子网络旋转判定部分对样本i标签的输出,表示分类子网络旋转判定部分对样本i预测的输出。
4.根据权利要求3所述的基于有向高斯函数的SAR图像旋转舰船检测方法,其特征在于,所述有向舰船检测网络的损失函数为:
其中α1,α2和α3分别对应多级特征图的权重,P2,P3和P4分别表示3组多级特征图。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110342344.0A CN113239953B (zh) | 2021-03-30 | 2021-03-30 | 基于有向高斯函数的sar图像旋转舰船检测方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110342344.0A CN113239953B (zh) | 2021-03-30 | 2021-03-30 | 基于有向高斯函数的sar图像旋转舰船检测方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN113239953A CN113239953A (zh) | 2021-08-10 |
CN113239953B true CN113239953B (zh) | 2024-02-09 |
Family
ID=77130812
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202110342344.0A Active CN113239953B (zh) | 2021-03-30 | 2021-03-30 | 基于有向高斯函数的sar图像旋转舰船检测方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN113239953B (zh) |
Families Citing this family (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114332653A (zh) * | 2021-12-07 | 2022-04-12 | 重庆邮电大学 | 一种无人机视角的车辆旋转检测方法及系统 |
CN114255385B (zh) * | 2021-12-17 | 2022-10-04 | 中国人民解放军战略支援部队信息工程大学 | 基于感知向量的光学遥感图像舰船检测方法及系统 |
CN114581755A (zh) * | 2022-02-28 | 2022-06-03 | 复旦大学 | 一种端到端的sar船舶检测方法和系统 |
CN114708257B (zh) * | 2022-05-18 | 2022-08-16 | 中国科学院空天信息创新研究院 | Sar运动舰船目标检测方法及装置 |
CN114881763B (zh) * | 2022-05-18 | 2023-05-26 | 中国工商银行股份有限公司 | 养殖业贷后监管方法、装置、设备和介质 |
CN115272856B (zh) * | 2022-07-28 | 2023-04-04 | 北京卫星信息工程研究所 | 舰船目标细粒度识别方法及设备 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6911933B1 (en) * | 2004-05-14 | 2005-06-28 | The United States Of America As Represented By The Secretary Of The Air Force | Dynamic logic algorithm used for detecting slow-moving or concealed targets in synthetic aperture radar (SAR) images |
CN108898065A (zh) * | 2018-05-31 | 2018-11-27 | 北京航空航天大学 | 候选区快速筛选与尺度自适应的深度网络舰船目标检测方法 |
WO2020102988A1 (zh) * | 2018-11-20 | 2020-05-28 | 西安电子科技大学 | 基于特征融合和稠密连接的红外面目标检测方法 |
CN112507777A (zh) * | 2020-10-10 | 2021-03-16 | 厦门大学 | 一种基于深度学习的光学遥感图像舰船检测与分割方法 |
-
2021
- 2021-03-30 CN CN202110342344.0A patent/CN113239953B/zh active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6911933B1 (en) * | 2004-05-14 | 2005-06-28 | The United States Of America As Represented By The Secretary Of The Air Force | Dynamic logic algorithm used for detecting slow-moving or concealed targets in synthetic aperture radar (SAR) images |
CN108898065A (zh) * | 2018-05-31 | 2018-11-27 | 北京航空航天大学 | 候选区快速筛选与尺度自适应的深度网络舰船目标检测方法 |
WO2020102988A1 (zh) * | 2018-11-20 | 2020-05-28 | 西安电子科技大学 | 基于特征融合和稠密连接的红外面目标检测方法 |
CN112507777A (zh) * | 2020-10-10 | 2021-03-16 | 厦门大学 | 一种基于深度学习的光学遥感图像舰船检测与分割方法 |
Non-Patent Citations (2)
Title |
---|
刘洁瑜 ; 赵彤 ; 刘敏 ; .基于RetinaNet的SAR图像舰船目标检测.湖南大学学报(自然科学版).2020,(第02期),全文. * |
熊伟 ; 徐永力 ; 崔亚奇 ; 李岳峰 ; .高分辨率合成孔径雷达图像舰船目标几何特征提取方法.光子学报.2018,(第01期),全文. * |
Also Published As
Publication number | Publication date |
---|---|
CN113239953A (zh) | 2021-08-10 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN113239953B (zh) | 基于有向高斯函数的sar图像旋转舰船检测方法 | |
CN111738112B (zh) | 基于深度神经网络和自注意力机制的遥感船舶图像目标检测方法 | |
CN108596055B (zh) | 一种复杂背景下高分辨遥感图像的机场目标检测方法 | |
CN109871902B (zh) | 一种基于超分辨率对抗生成级联网络的sar小样本识别方法 | |
CN110223302A (zh) | 一种基于旋转区域提取的舰船多目标检测方法 | |
CN112766184B (zh) | 基于多层级特征选择卷积神经网络的遥感目标检测方法 | |
CN104851097B (zh) | 基于目标形状与阴影辅助的多通道sar‑gmti方法 | |
CN107341488A (zh) | 一种sar图像目标检测识别一体化方法 | |
CN109712071B (zh) | 基于航迹约束的无人机图像拼接与定位方法 | |
WO2018000252A1 (zh) | 高分辨遥感海洋图像的海背景建模与抑制的方法及系统 | |
CN113468968A (zh) | 一种基于无锚框的遥感图像旋转目标检测方法 | |
CN108845300A (zh) | 一种场面监视雷达恒虚警处理方法 | |
CN106600613B (zh) | 基于嵌入式gpu的改进lbp红外目标检测方法 | |
CN113095316B (zh) | 基于多级融合和角点偏移的图像旋转目标检测方法 | |
CN104680151B (zh) | 一种顾及雪覆盖影响的高分辨全色遥感影像变化检测方法 | |
CN116563726A (zh) | 一种基于卷积神经网络的遥感图像舰船目标检测方法 | |
CN113177593A (zh) | 一种水上交通环境中雷达点云与影像数据的融合方法 | |
CN116310837B (zh) | 一种sar舰船目标旋转检测方法及系统 | |
CN112580542A (zh) | 一种基于目标检测的钢筋计数方法 | |
Li et al. | Ship target detection and recognition method on sea surface based on multi-level hybrid network | |
Chen et al. | Oriented object detection by searching corner points in remote sensing imagery | |
Zou et al. | Sonar Image Target Detection for Underwater Communication System Based on Deep Neural Network. | |
CN104463896B (zh) | 基于核相似区分布特性的图像角点检测方法及系统 | |
Wan et al. | Orientation Detector for Small Ship Targets in SAR Images Based on Semantic Flow Feature Alignment and Gaussian Label Matching | |
Sun et al. | A Wave Texture Difference Method for Rainfall Detection Using X‐Band Marine Radar |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |