CN112766221A - 基于船舶方向和位置多任务的sar图像船舶目标检测方法 - Google Patents

基于船舶方向和位置多任务的sar图像船舶目标检测方法 Download PDF

Info

Publication number
CN112766221A
CN112766221A CN202110134342.2A CN202110134342A CN112766221A CN 112766221 A CN112766221 A CN 112766221A CN 202110134342 A CN202110134342 A CN 202110134342A CN 112766221 A CN112766221 A CN 112766221A
Authority
CN
China
Prior art keywords
ship
image
target detection
target
network
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110134342.2A
Other languages
English (en)
Other versions
CN112766221B (zh
Inventor
牛玉贞
黄江艺
甘伟泽
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fuzhou University
Original Assignee
Fuzhou University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fuzhou University filed Critical Fuzhou University
Priority to CN202110134342.2A priority Critical patent/CN112766221B/zh
Publication of CN112766221A publication Critical patent/CN112766221A/zh
Application granted granted Critical
Publication of CN112766221B publication Critical patent/CN112766221B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/10Terrestrial scenes
    • G06V20/13Satellite images
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/21Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/24Classification techniques
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07Target detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Astronomy & Astrophysics (AREA)
  • Remote Sensing (AREA)
  • Multimedia (AREA)
  • Radar Systems Or Details Thereof (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及一种基于船舶方向和位置多任务的SAR图像船舶目标检测方法。包括:步骤A:划分数据集,进行数据增强,将图像和标签数据转化成用于SAR图像船舶目标检测的数据;步骤B:设计基于SAR图像船舶特征的目标检测网络的多尺度特征提取模块、船舶方向分类模块和用于多任务检测的双分支检测头;步骤C:设计目标检测网络的损失函数,指导网络梯度计算和参数优化;步骤D:使用步骤C设计的损失函数对步骤B设计的目标检测网络进行训练,优化网络参数;步骤E:将待测试的图像输入训练好的网络预测船舶目标,使用非极大值抑制过滤冗余的船舶目标,得到最终检测结果。本发明方法能有效减少预测结果与真实船舶目标之间的差异。

Description

基于船舶方向和位置多任务的SAR图像船舶目标检测方法
技术领域
本发明涉及图像和视频处理以及计算机视觉领域,具体涉及一种基于船舶方向和位置多任务的SAR图像船舶目标检测方法。
背景技术
合成孔径雷达(Synthetic Aperture Radar,SAR)是一种不受天气、光线等外部条件限制,发射电磁波并接收回波信号进行主动成像的有源微波传感器,通过SAR微波成像,能够全天时全天候获得大量海洋区域图像,是目前对海洋观测的重要数据来源。如今海洋资源和领海权益越来越重要,海上船舶目标检测是海洋遥感监测和研究的重要课题。因此被广泛应用于军事和民用领域,如SAR图像船舶检测有利于对偷渡、非法捕鱼等船只进行检测,提高海域安全和维护发展的管理。基于SAR图像的舰船目标检测已成为研究热点之一。
SAR成像主要是通过散射机制实现的。雷达微波传到海面上主要以单次散射为主,而船舶目标拥有复杂的结构,可以产生二次散射、体散射、螺旋体散射等。因此雷达接收到船舶目标的回波信号与海面杂波之间信息差异明显,可以由此区分不同的目标。但是由于陆地、小岛以及海浪等也有较为显著的结构特征,返回的信号强度高,在SAR图像船舶目标检测中容易影响船舶检测效果。
在过去几年里,一些船舶检测方法被提出。其中基于恒定虚警率(CFAR)的船舶检测方法得到广泛研究和应用。恒定虚警率算法基于对比度信息的统计模型,保持一定的虚警概率,对接收的信号和噪声进行鉴别,能够自动调整阈值以适应不同的海洋背景。此外还有小波分解、陆海分割等方法,但这些方法由于难以设计适合各种条件的手工特征以及需要大量先验参数,方法的泛化能力比较弱,尤其是在复杂场景下,如近岸环境下的船舶目标,陆地与船舶通常具有相似的纹理特征和散射强度,导致检测精度低。
随着SAR技术不断发展,高分辨率的SAR图像数据获取方便,基于海量数据的深度学习方法在SAR图像目标检测领域也得到快速发展,越来越多高效的检测算法被提出,目前SAR图像目标检测方法研究主要都是基于深度学习的,卷积神经网络强大的特征提取能力让SAR图像目标检测取得显著的效果,能够适应复杂的环境。但是这些方法主要都是针对光学图像而设计的,缺乏对SAR图像的特性进行考虑,限制了目标检测网络的性能。
考虑到SAR图像的特点,SAR图像是由电磁波信号成像的,电磁波在传播和反射过程中容易受到干涉影响,产生如散斑、十字旁瓣效应、临近目标干扰等噪声,使得目标检测网络预测目标时易受到噪声的影响,产生质量差的检测框,甚至发生虚警和漏检。为了克服噪声对网络的影响,本发明提出了一种针对SAR船舶不同方向的像素分布特性的目标检测方法,由于在真实框标签中通常包含大量背景像素,因此该方法利用船舶目标真实框在不同方向和背景下像素分布差异较大的特点,提取船舶目标不同方向的像素特征,将船舶目标分为多个方向类别,用于指导目标检测网络的训练。该方法能有效减少噪声对网络的影响,使网络检测出更符合真实船舶形状的检测框。
发明内容
本发明的目的在于提供一种基于船舶方向和位置多任务的SAR图像船舶目标检测方法,该方法通过提取不同方向的SAR船舶像素分布的特征,指导船舶检测网络的检测框回归,该方法能显著提高SAR图像船舶检测性能。
为实现上述目的,本发明的技术方案是:一种基于船舶方向和位置多任务的SAR图像船舶目标检测方法,包括如下步骤:
步骤A、划分数据集,进行数据增强,将图像和标签数据转化成用于SAR图像船舶目标检测的数据;
步骤B、设计基于SAR图像船舶特征的目标检测网络的多尺度特征提取模块、船舶方向分类模块和用于多任务检测的双分支检测头;
步骤C、设计用于训练目标检测网络的损失函数,指导网络梯度计算和参数优化;
步骤D、使用步骤C设计的损失函数对步骤B设计的目标检测网络进行训练,优化网络参数;
步骤E、将待测试的图像输入训练好的目标检测网络预测船舶目标,使用非极大值抑制过滤冗余的船舶目标,得到最终检测结果。
在本发明一实施例中,所述步骤A具体包括以下步骤:
步骤A1、将数据集按照预定比例划分为训练集和测试集;
步骤A2、对数据集中合成孔径雷达SAR图像进行数据增强,包括翻转、旋转、缩放,以及将多张图像随机裁剪拼接,增加训练集的数据数量;
步骤A3、对于增强后的图像进行预处理,先等比例缩放到长边为固定输入尺寸,短边小于等于固定输入尺寸,然后使用像素值114填充图像周围使图像长宽相等,最后将图像像素除以255将图像像素归一化到范围[0,1];每张图像有对应标签,标签内容是图像中的船舶边界框的坐标位置,在数据增强和预处理图像的同时也对图像标签进行同步处理,保证图像上的船舶目标位置与标签相符合。
在本发明一实施例中,所述步骤B具体包括以下步骤:
步骤B1、构建SAR图像船舶特征的目标检测网络的多尺度特征提取模块,采用YOLOV5骨干网络作为特征提取模块,用于提取预处理后的输入图像的信息特征,浅层到深层顺序记为F0、F1、…、Fk;将F0、F1、…、Fk输入到一个路径聚合网络,获取不同尺度的特征,公式如下所示:
F_1k=Fk
F_1i=Fi+deconv(F_1i+1),i=0,1,…,k-1
F_20=F_10
F_2i=F_1i+conu(F_1i-1),i=1,2,...,k
其中,deconv和conv分别代表反卷积和卷积操作,路径聚合网络即在生成的特征金字塔F_10、F_11、…、F_1k后面添加一个自底向上的路径增强,将底层的定位特征传递到高层,得到待检测的特征金字塔F_20、F_21、…、F_2k
步骤B2、设计一个船舶方向分类模块,针对SAR图像中船舶目标不同方向的像素空间分布的差异,设计一个分类器,将船舶目标分为多个方向类别,用于指导目标检测网络的训练;
步骤B3、设计一个双分支检测头,将检测头分为两个分支,分别对步骤B1产生的特征金字塔F_20、F_21、…、F_2k进行卷积操作;对于每一个特征层,第一个分支预测船舶目标边界框的位置P1_box、船舶目标的置信度P1_obj和步骤B2定义的船舶方向类别的预测分数P1_t,第二个分支预测船舶目标的置信度P2_obj和船舶方向类别的预测分数F2_t;边界框的预测结果为P1_box,置信度和船舶分类的预测结果分别由P1_obj、P1_obj和P1_t、P2_t融合而成,融合公式如下所示:
Pobj=P2_obj+P1_obj(1-P2_obj)
Pt=P2_t+P1_t(1-P2_t)。
在本发明一实施例中,所述步骤B2具体包括以下步骤:
步骤B21、提取船舶像素的特征:根据数据集中船舶图像的标签,将每一个船舶区域的所有像素从整幅图像提取出来,然后线性插值缩放到长宽相等的船舶区域图像P,接着设计两个对称的、宽高与P相等的掩码矩阵M和N,表达式如下所示:
Figure BDA0002926266530000031
Figure BDA0002926266530000032
其中,n为掩码矩阵M和N的宽度,Mi,j和Ni,j分别表示掩码矩阵M和N中位置(i,j)处的值,i、j取值范围均为{0,1,…,n-1};
接着将P与M和N分别点乘,计算P在不同对角区域的像素分布特征S1和S2,公式如下所示:
Figure BDA0002926266530000041
Figure BDA0002926266530000042
其中,Pi,j表示船舶区域图像P中位置(i,j)处的像素值;
步骤B22、将S1和S2相除得到两者之间的比例关系R,再通过阈值θ1和θ2将船舶区域图像P划分到相应类别,具体公式如下所示:
Figure BDA0002926266530000043
Figure BDA0002926266530000044
在本发明一实施例中,所述步骤C具体包括以下步骤:
步骤C1、对标签数据进行处理,标签内容是输入图像中的船舶边界框的坐标位置,将标签边界框缩放映射到各个特征层上,记为B;构建各个特征层置信度标签Y,边界框B的中心点落在特征层上的位置(i,j),则Yi,j=1表示该位置有目标,剩余位置无目标则Yi,j=0;
步骤C2、对于边界框回归损失,采用GIOU损失函数,公式如下所示:
Figure BDA0002926266530000045
其中,Lbox表示边界框回归损失,A是预测的边界框P1_box,B是标签边界框映射到相应特征层尺寸的边界框,C是能完全覆盖A与B的最小矩形,|·|表示所包含的形状的面积;
步骤C3、对于船舶目标置信度损失和船舶方向分数损失,采用的都是交叉熵损失,公式如下所示:
Figure BDA0002926266530000046
Figure BDA0002926266530000047
其中,Lobj和Ltype分别表示船舶目标置信度损失和船舶类别分数损失;f表示特征图的尺寸,(Pobj)i,j表示特征图中每个位置的预测置信度;m表示特征图中真实船舶目标的个数,Tk表示步骤B2中的分类器产生的k个真实框的船舶方向类别,(Pt)k表示第k个真实框对应的特征图上的相对位置预测的船舶方向类别;
步骤C4、训练目标检测网络的总损失函数公式如下:
L=λ1Lbox2Lobj3Ltype
其中,λ1、λ2和λ3分别表示边界框损失、置信度损失和船舶分类损失的权重参数。
在本发明一实施例中,所述步骤D具体包括以下步骤:
步骤D1、训练时学习率设置为随着每轮迭代cosine动态衰减,公式如下所示:
Figure BDA0002926266530000051
其中,lrbase表示初始学习率,lrf表示学习率所能衰减到的最低值相对初始学习率的倍数,x表示训练过程中当前迭代轮数,N表示总迭代轮数;
步骤D2、将步骤A处理后的图像输入到步骤B定义的目标检测网络中,输出检测结果为特征图每个位置的船舶存在的置信度、船舶方向分类以及边界框,再将检测结果与真实标签对比,根据步骤C计算损失函数,最后通过反向传播优化目标检测网络,保存训练好的目标检测网络模型。
在本发明一实施例中,所述步骤E具体过程为:将测试集中每一幅SAR船舶图像,输入到使用步骤D训练好的目标检测网络得到预测的船舶检测框,再使用非极大值抑制将冗余和质量差的检测框过滤掉,得到最终检测结果。
相较于现有技术,本发明具有以下有益效果:本发明提出了一个SAR图像船舶方向分类方法,该方法利用SAR图像中船舶在不同方向和场景下目标框内像素分布的多样性将船舶目标进行分类,用于指导目标检测网络的训练;此外还提出一个双分支检测头,将分类任务和回归任务进行解耦,有助于目标框的回归和置信度及船舶类别的分类。本发明能有效减少边界框预测时受到噪声的影响,回归出更准确的边界框,显著提高SAR图像船舶目标检测的性能。
附图说明
图1为本发明方法的流程示意图。
图2是本发明方法的目标检测网络结构图。
图3是本发明方法的船舶像素分布特征分类模块。
图4是本发明方法的双分支检测头。
具体实施方式
下面结合附图,对本发明的技术方案进行具体说明。
本发明提供了一种基于船舶方向和位置多任务的SAR图像船舶目标检测方法,包括如下步骤:
步骤A、划分数据集,进行数据增强,将图像和标签数据转化成用于SAR图像船舶目标检测的数据;
步骤B、设计基于SAR图像船舶特征的目标检测网络的多尺度特征提取模块、船舶方向分类模块和用于多任务检测的双分支检测头;
步骤C、设计用于训练目标检测网络的损失函数,指导网络梯度计算和参数优化;
步骤D、使用步骤C设计的损失函数对步骤B设计的目标检测网络进行训练,优化网络参数;
步骤E、将待测试的图像输入训练好的目标检测网络预测船舶目标,使用非极大值抑制过滤冗余的船舶目标,得到最终检测结果。
以下为本发明的具体实现过程。
如图1所示,本发明一种基于船舶方向和位置多任务的SAR图像船舶目标检测方法,包括以下步骤:
步骤A、划分数据集,进行数据增强,将图像和标签数据转化成用于SAR图像船舶目标检测的数据;
步骤B、设计基于SAR图像船舶特征的目标检测网络的多尺度特征提取模块、船舶方向分类模块和用于多任务检测的双分支检测头;
步骤C、设计目标检测网络的损失函数,指导网络梯度计算和参数优化;
步骤D、使用步骤C设计的损失函数对步骤B设计的目标检测进行训练,优化网络参数;
步骤E、将待测试的图像输入训练好的网络预测船舶目标,使用非极大值抑制过滤冗余的船舶目标,得到最终检测结果。
在本实施例中,所述步骤A具体包括以下步骤:
步骤A1、数据集采用SAR-Ship-Dataset数据集,包含43819张图像,将数据集按照一定比例划分为训练集和测试集。
步骤A2、对数据集中合成孔径雷达(Synthetic aperture radar,SAR)图像进行数据增强,包括按照一定概率进行翻转、旋转、缩放,以及将四张图像随机裁剪拼接,增加训练集的数据数量。
步骤A3、对于增强后的图像进行预处理,先等比例缩放到长边为256,短边小于等于256,然后使用像素值114填充图像周围使图像尺寸为256×256,最后将图像像素除以255将图像像素归一化到范围[0,1]。在数据增强和预处理图像的同时也对图像标签进行同步处理,保证图片上的船舶目标位置与标签相符合。
如图2所示,在本实施例中,所述步骤B具体包括以下步骤:
步骤B1、构建SAR图像船舶目标检测网络的多尺度特征提取模块,采用YOLOV5骨干网络作为特征提取模块,用于提取预处理后的输入图像的信息特征,浅层到深层顺序记为F0、F1、F2;将F0、F1、F2输入到一个路径聚合网络获取不同尺度的特征,公式如下所示:
F_1k=Fk
F_1i=Fi+deconv(F_1i+1),i=0,1
F_20=F_10
F_2i=F_1i+conv(F_1i-1),i=1,2
其中deconv和conv分别代表反卷积和卷积操作,路径聚合网络即在生成的特征金字塔F_10、F_11、F_12后面添加一个自底向上的路径增强,将底层的定位特征传递到高层,得到待检测的特征金字塔F_20、F_21、F_22
步骤B2、设计一个船舶方向分类模块,针对SAR图像中不同方向的船舶目标的像素空间分布的差异,设计一个分类器,将船舶目标分为多个类别,用于指导目标检测网络的训练。
步骤B3、设计一个双分支检测头,如图4所示,将检测头分为两个分支,分别对步骤B1产生的多尺度特征F_20、F_21、F_22进行卷积操作。对于每一个特征层,第一个分支预测船舶目标边界框的位置P1_box、船舶目标的置信度P1_obj和步骤B2定义的船舶类别的预测分数P1_t,第二个分支预测船舶目标的置信度P2_obj和船舶类别的预测分数F2_t。边界框的预测结果为P1_box,置信度和船舶分类的预测结果分别由P1_obj、P1_obj和P1_t、P2_t融合而成,融合公式如下所示:
Pobj=P2_obj+P1_obj(1-P2_obj)
Pt=P2_t+P1_t(1-P2_t)
在本实施例中,所述步骤B2具体包括以下步骤:
步骤B21、提取船舶像素的特征。具体来说,船舶方向分类模块如图3所示,根据数据集中船舶图像的标签,将每一个船舶区域的所有像素从整幅图像提取出来,然后线性插值缩放到长宽相等的船舶区域图像P,接着设计两个对称的、宽高与P相等的掩码矩阵M和N,表达式如下所示:
Figure BDA0002926266530000081
Figure BDA0002926266530000082
其中,n为掩码矩阵M和N的宽度,Mi,j和Ni,j分别表示掩码矩阵M和N中位置(i,j)处的值,i、j取值范围均为{0,1,…,n-1}。
接着将P与M和N分别点乘,计算P在不同对角区域的像素分布特征S1和S2,公式如下所示:
Figure BDA0002926266530000083
Figure BDA0002926266530000084
其中,Pi,j表示船舶区域图像P中位置(i,j)处的像素值;
步骤B22、将S1和S2相除得到两者之间的比例关系R,再通过阈值θ1和θ2将船舶区域图像P划分到相应类别,具体公式如下所示:
Figure BDA0002926266530000085
Figure BDA0002926266530000086
在本实施例中,所述步骤C具体包括以下步骤:
步骤C1、对标签数据进行处理,标签内容是输入图像中的船舶边界框的坐标位置,将标签边界框缩放映射到各个特征层上,记为B。构建各个特征层置信度标签Y,边界框B的中心点落在特征层上的位置(i,j),则Yi,,j=1表示该位置有目标,剩余位置无目标则Yi,j=0。
步骤C2、对于边界框回归损失,采用GIOU损失函数,公式如下所示:
Figure BDA0002926266530000087
其中,Lbox表示边界框回归损失,A是预测的边界框P1_box,B是标签边界框映射到相应特征层尺寸的边界框,C是能完全覆盖A与B的最小矩形,|·|表示所包含的形状的面积。
步骤C3、对于船舶目标置信度损失和船舶方向类别分数损失,采用的都是交叉熵损失,公式如下所示:
Figure BDA0002926266530000091
Figure BDA0002926266530000092
其中,Lobj和Ltype分别表示船舶目标置信度损失和船舶方向类别分数损失。f表示特征图的尺寸,(Pobj)i,j表示特征图中每个位置的预测置信度。m表示特征图中真实船舶目标的个数,Tk表示步骤B2中的分类器产生的k个真实框的船舶方向类别,(Pt)k表示第k个真实框对应的特征图上的相对位置预测的船舶方向类别。
步骤C4、训练目标检测网络的总损失函数公式如下:
L=λ1Lbox2Lobj3Ltype
其中,λ1、λ2和λ3分别表示边界框损失、置信度损失和船舶分类损失的权重参数。
在本实施例中,所述步骤D具体包括以下步骤:
步骤D1、训练时学习率设置为随着每轮迭代cosine动态衰减,公式如下所示:
Figure BDA0002926266530000093
其中,lrbase表示初始学习率,lrf表示学习率所能衰减到的最低值相对初始学习率的倍数,x表示训练过程中当前迭代轮数,N表示总迭代轮数。
步骤D2、将步骤A处理后的图像输入到步骤B定义的目标检测网络中,输出检测结果为特征图每个位置的船舶存在的置信度、船舶方向分类以及边界框,再将检测结果与真实标签对比,根据步骤C计算损失函数,最后通过反向传播优化目标检测网络,保存训练好的目标检测网络模型。
在本实施例中,所述步骤E具体过程为:将测试集中每一幅SAR船舶图像预处理后,输入到使用步骤D训练好的目标检测网络模型得到预测的船舶检测框,再使用非极大值抑制将冗余的和质量差的检测框过滤掉,得到最终检测结果。
以上是本发明的较佳实施例,凡依本发明技术方案所作的改变,所产生的功能作用未超出本发明技术方案的范围时,均属于本发明的保护范围。

Claims (7)

1.一种基于船舶方向和位置多任务的SAR图像船舶目标检测方法,其特征在于,包括如下步骤:
步骤A、划分数据集,进行数据增强,将图像和标签数据转化成用于SAR图像船舶目标检测的数据;
步骤B、设计基于SAR图像船舶特征的目标检测网络的多尺度特征提取模块、船舶方向分类模块和用于多任务检测的双分支检测头;
步骤C、设计用于训练目标检测网络的损失函数,指导网络梯度计算和参数优化;
步骤D、使用步骤C设计的损失函数对步骤B设计的目标检测网络进行训练,优化网络参数;
步骤E、将待测试的图像输入训练好的目标检测网络预测船舶目标,使用非极大值抑制过滤冗余的船舶目标,得到最终检测结果。
2.根据权利要求1所述的基于船舶方向和位置多任务的SAR图像船舶目标检测方法,其特征在于,所述步骤A具体包括以下步骤:
步骤A1、将数据集按照预定比例划分为训练集和测试集;
步骤A2、对数据集中合成孔径雷达SAR图像进行数据增强,包括翻转、旋转、缩放,以及将多张图像随机裁剪拼接,增加训练集的数据数量;
步骤A3、对于增强后的图像进行预处理,先等比例缩放到长边为固定输入尺寸,短边小于等于固定输入尺寸,然后使用像素值114填充图像周围使图像长宽相等,最后将图像像素除以255将图像像素归一化到范围[0,1];每张图像有对应标签,标签内容是图像中的船舶边界框的坐标位置,在数据增强和预处理图像的同时也对图像标签进行同步处理,保证图像上的船舶目标位置与标签相符合。
3.根据权利要求1所述的基于船舶方向和位置多任务的SAR图像船舶目标检测方法,其特征在于,所述步骤B具体包括以下步骤:
步骤B1、构建SAR图像船舶特征的目标检测网络的多尺度特征提取模块,采用YOLOV5骨干网络作为特征提取模块,用于提取预处理后的输入图像的信息特征,浅层到深层顺序记为F0、F1、...、Fk;将F0、F1、...、Fk输入到一个路径聚合网络,获取不同尺度的特征,公式如下所示:
F_1k=Fk
F_1i=Fi+deconv(F_1i+1),i=0,1,...,k-1
F_20=F_10
F_2i=F_1i+conv(F_1i-1),i=1,2,...,k
其中,deconv和conv分别代表反卷积和卷积操作,路径聚合网络即在生成的特征金字塔F_10、F_11、...、F_1k后面添加一个自底向上的路径增强,将底层的定位特征传递到高层,得到待检测的特征金字塔F_20、F_21、...、F_2k
步骤B2、设计一个船舶方向分类模块,针对SAR图像中船舶目标不同方向的像素空间分布的差异,设计一个分类器,将船舶目标分为多个方向类别,用于指导目标检测网络的训练;
步骤B3、设计一个双分支检测头,将检测头分为两个分支,分别对步骤B1产生的特征金字塔F_20、F_21、...、F_2k进行卷积操作;对于每一个特征层,第一个分支预测船舶目标边界框的位置P1_box、船舶目标的置信度P1_obj和步骤B2定义的船舶方向类别的预测分数P1_t,第二个分支预测船舶目标的置信度P2_obj和船舶方向类别的预测分数F2_t;边界框的预测结果为P1_box,置信度和船舶分类的预测结果分别由P1_obj、P1_obj和P1_t、P2_t融合而成,融合公式如下所示:
Pobj=P2_obj+P1_obj(1-P2_obj)
Pt=P2_t+P1_t(1-P2_t)。
4.根据权利要求3所述的基于船舶方向和位置多任务的SAR图像船舶目标检测方法,其特征在于,所述步骤B2具体包括以下步骤:
步骤B21、提取船舶像素的特征:根据数据集中船舶图像的标签,将每一个船舶区域的所有像素从整幅图像提取出来,然后线性插值缩放到长宽相等的船舶区域图像P,接着设计两个对称的、宽高与P相等的掩码矩阵M和N,表达式如下所示:
Figure FDA0002926266520000021
Figure FDA0002926266520000022
其中,n为掩码矩阵M和N的宽度,Mi,j和Ni,j分别表示掩码矩阵M和N中位置(i,j)处的值,i、j取值范围均为{0,1,...,n-1};
接着将P与M和N分别点乘,计算P在不同对角区域的像素分布特征S1和S2,公式如下所示:
Figure FDA0002926266520000023
Figure FDA0002926266520000031
其中,Pi,j表示船舶区域图像P中位置(i,j)处的像素值;
步骤B22、将S1和S2相除得到两者之间的比例关系R,再通过阈值θ1和θ2将船舶区域图像P划分到相应类别,具体公式如下所示:
Figure FDA0002926266520000032
Figure FDA0002926266520000033
5.根据权利要求3所述的基于船舶方向和位置多任务的SAR图像船舶目标检测方法,其特征在于,所述步骤C具体包括以下步骤:
步骤C1、对标签数据进行处理,标签内容是输入图像中的船舶边界框的坐标位置,将标签边界框缩放映射到各个特征层上,记为B;构建各个特征层置信度标签Y,边界框B的中心点落在特征层上的位置(i,j),则Yi,j=1表示该位置有目标,剩余位置无目标则Yi,j=0;
步骤C2、对于边界框回归损失,采用GIOU损失函数,公式如下所示:
Figure FDA0002926266520000034
其中,Lbox表示边界框回归损失,A是预测的边界框P1_box,B是标签边界框映射到相应特征层尺寸的边界框,C是能完全覆盖A与B的最小矩形,|·|表示所包含的形状的面积;
步骤C3、对于船舶目标置信度损失和船舶方向分数损失,采用的都是交叉熵损失,公式如下所示:
Figure FDA0002926266520000035
Figure FDA0002926266520000036
其中,Lobj和Ltype分别表示船舶目标置信度损失和船舶类别分数损失;f表示特征图的尺寸,(Pobj)i,j表示特征图中每个位置的预测置信度;m表示特征图中真实船舶目标的个数,Tk表示步骤B2中的分类器产生的k个真实框的船舶方向类别,(Pt)k表示第k个真实框对应的特征图上的相对位置预测的船舶方向类别;
步骤C4、训练目标检测网络的总损失函数公式如下:
L=λ1Lbox2Lobj3Ltype
其中,λ1、λ2和λ3分别表示边界框损失、置信度损失和船舶分类损失的权重参数。
6.根据权利要求1所述的基于船舶方向和位置多任务的SAR图像船舶目标检测方法,其特征在于,所述步骤D具体包括以下步骤:
步骤D1、训练时学习率设置为随着每轮迭代cosine动态衰减,公式如下所示:
Figure FDA0002926266520000041
其中,lrbase表示初始学习率,lrf表示学习率所能衰减到的最低值相对初始学习率的倍数,x表示训练过程中当前迭代轮数,N表示总迭代轮数;
步骤D2、将步骤A处理后的图像输入到步骤B定义的目标检测网络中,输出检测结果为特征图每个位置的船舶存在的置信度、船舶方向分类以及边界框,再将检测结果与真实标签对比,根据步骤C计算损失函数,最后通过反向传播优化目标检测网络,保存训练好的目标检测网络模型。
7.根据权利要求1所述的基于船舶方向和位置多任务的SAR图像船舶目标检测方法,其特征在于,所述步骤E具体过程为:将测试集中每一幅SAR船舶图像,输入到使用步骤D训练好的目标检测网络得到预测的船舶检测框,再使用非极大值抑制将冗余和质量差的检测框过滤掉,得到最终检测结果。
CN202110134342.2A 2021-02-01 2021-02-01 基于船舶方向和位置多任务的sar图像船舶目标检测方法 Active CN112766221B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110134342.2A CN112766221B (zh) 2021-02-01 2021-02-01 基于船舶方向和位置多任务的sar图像船舶目标检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110134342.2A CN112766221B (zh) 2021-02-01 2021-02-01 基于船舶方向和位置多任务的sar图像船舶目标检测方法

Publications (2)

Publication Number Publication Date
CN112766221A true CN112766221A (zh) 2021-05-07
CN112766221B CN112766221B (zh) 2022-06-14

Family

ID=75704381

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110134342.2A Active CN112766221B (zh) 2021-02-01 2021-02-01 基于船舶方向和位置多任务的sar图像船舶目标检测方法

Country Status (1)

Country Link
CN (1) CN112766221B (zh)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113222874A (zh) * 2021-06-01 2021-08-06 平安科技(深圳)有限公司 应用于目标检测的数据增强方法、装置、设备及存储介质
CN113627310A (zh) * 2021-08-04 2021-11-09 中国电子科技集团公司第十四研究所 一种背景与尺度感知的sar舰船目标检测方法
CN114022558A (zh) * 2022-01-05 2022-02-08 深圳思谋信息科技有限公司 图像定位方法、装置、计算机设备和存储介质
CN114300099A (zh) * 2021-11-24 2022-04-08 大连工业大学 一种基于YOLOv5和显微高光谱图像的异型淋巴细胞分型方法
CN115641510A (zh) * 2022-11-18 2023-01-24 中国人民解放军战略支援部队航天工程大学士官学校 一种遥感影像舰船检测识别方法
CN116823838A (zh) * 2023-08-31 2023-09-29 武汉理工大学三亚科教创新园 高斯先验标签分配与特征解耦的海洋船舶检测方法与系统
CN117351440A (zh) * 2023-12-06 2024-01-05 浙江华是科技股份有限公司 基于开放式文本检测的半监督船舶检测方法及系统

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108171193A (zh) * 2018-01-08 2018-06-15 西安电子科技大学 基于超像素局部信息度量的极化sar舰船目标检测方法
US20180260688A1 (en) * 2014-07-16 2018-09-13 Deep Learning Analytics, LLC Systems and Methods for Recognizing Objects in Radar Imagery
CN109657541A (zh) * 2018-11-09 2019-04-19 南京航空航天大学 一种基于深度学习的无人机航拍图像中的船舶检测方法
CN110070142A (zh) * 2019-04-29 2019-07-30 上海大学 一种基于yolo神经网络的海上船只目标检测方法
KR20190133442A (ko) * 2018-05-23 2019-12-03 한국해양과학기술원 인공위성 sar 영상기반 인공신경망을 이용한 오일 유출 탐지 방법
CN111881918A (zh) * 2020-06-11 2020-11-03 中国人民解放军战略支援部队信息工程大学 一种多尺度旋转船舶目标检测算法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20180260688A1 (en) * 2014-07-16 2018-09-13 Deep Learning Analytics, LLC Systems and Methods for Recognizing Objects in Radar Imagery
CN108171193A (zh) * 2018-01-08 2018-06-15 西安电子科技大学 基于超像素局部信息度量的极化sar舰船目标检测方法
KR20190133442A (ko) * 2018-05-23 2019-12-03 한국해양과학기술원 인공위성 sar 영상기반 인공신경망을 이용한 오일 유출 탐지 방법
CN109657541A (zh) * 2018-11-09 2019-04-19 南京航空航天大学 一种基于深度学习的无人机航拍图像中的船舶检测方法
CN110070142A (zh) * 2019-04-29 2019-07-30 上海大学 一种基于yolo神经网络的海上船只目标检测方法
CN111881918A (zh) * 2020-06-11 2020-11-03 中国人民解放军战略支援部队信息工程大学 一种多尺度旋转船舶目标检测算法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
JIANGYI HUANG ET AL.: "Ship Detection based on SAR Imaging Supervised by Noisy Ship Direction", 《2021 4TH INTERNATIONAL CONFERENCE ON PATTERN RECOGNITION AND ARTIFICIAL INTELLIGENCE (PRAI)》 *
SHAOBIN JIANG ET AL.: "Ship Detection with Sar Based on Yolo", 《IGARSS 2020 - 2020 IEEE INTERNATIONAL GEOSCIENCE AND REMOTE SENSING SYMPOSIUM》 *
梁怿清: "基于深度学习卷积神经网络的高分辨率SAR图像目标检测研究", 《中国优秀博硕士学位论文全文数据库(硕士)信息科技辑》 *

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113222874A (zh) * 2021-06-01 2021-08-06 平安科技(深圳)有限公司 应用于目标检测的数据增强方法、装置、设备及存储介质
CN113222874B (zh) * 2021-06-01 2024-02-02 平安科技(深圳)有限公司 应用于目标检测的数据增强方法、装置、设备及存储介质
CN113627310A (zh) * 2021-08-04 2021-11-09 中国电子科技集团公司第十四研究所 一种背景与尺度感知的sar舰船目标检测方法
CN113627310B (zh) * 2021-08-04 2023-11-24 中国电子科技集团公司第十四研究所 一种背景与尺度感知的sar舰船目标检测方法
CN114300099A (zh) * 2021-11-24 2022-04-08 大连工业大学 一种基于YOLOv5和显微高光谱图像的异型淋巴细胞分型方法
CN114022558A (zh) * 2022-01-05 2022-02-08 深圳思谋信息科技有限公司 图像定位方法、装置、计算机设备和存储介质
CN115641510A (zh) * 2022-11-18 2023-01-24 中国人民解放军战略支援部队航天工程大学士官学校 一种遥感影像舰船检测识别方法
CN115641510B (zh) * 2022-11-18 2023-08-08 中国人民解放军战略支援部队航天工程大学士官学校 一种遥感影像舰船检测识别方法
CN116823838A (zh) * 2023-08-31 2023-09-29 武汉理工大学三亚科教创新园 高斯先验标签分配与特征解耦的海洋船舶检测方法与系统
CN116823838B (zh) * 2023-08-31 2023-11-14 武汉理工大学三亚科教创新园 高斯先验标签分配与特征解耦的海洋船舶检测方法与系统
CN117351440A (zh) * 2023-12-06 2024-01-05 浙江华是科技股份有限公司 基于开放式文本检测的半监督船舶检测方法及系统
CN117351440B (zh) * 2023-12-06 2024-02-20 浙江华是科技股份有限公司 基于开放式文本检测的半监督船舶检测方法及系统

Also Published As

Publication number Publication date
CN112766221B (zh) 2022-06-14

Similar Documents

Publication Publication Date Title
CN112766221B (zh) 基于船舶方向和位置多任务的sar图像船舶目标检测方法
Wei et al. HRSID: A high-resolution SAR images dataset for ship detection and instance segmentation
CN110472627B (zh) 一种端到端的sar图像识别方法、装置及存储介质
Zhao et al. A coupled convolutional neural network for small and densely clustered ship detection in SAR images
CN107341488B (zh) 一种sar图像目标检测识别一体化方法
CN109871902B (zh) 一种基于超分辨率对抗生成级联网络的sar小样本识别方法
CN108444447B (zh) 一种用于水下避障系统中的渔网实时自主检测方法
Miao et al. An improved lightweight RetinaNet for ship detection in SAR images
US8422738B1 (en) Adaptive automated synthetic aperture radar vessel detection method with false alarm mitigation
CN112149591B (zh) 用于sar图像的ssd-aeff自动桥梁检测方法及系统
CN111666854B (zh) 融合统计显著性的高分辨率sar影像车辆目标检测方法
CN111476159A (zh) 一种基于双角回归的检测模型训练、检测方法及装置
CN108133468B (zh) 自适应参数增强和尾迹辅助检测的恒虚警率舰船检测方法
Zhao et al. SAR ship detection based on end-to-end morphological feature pyramid network
Gao et al. Improved YOLOv4 based on attention mechanism for ship detection in SAR images
Zhang et al. Frequency-adaptive learning for SAR ship detection in clutter scenes
CN113657252A (zh) 基于编码解码器的高效sar图像船舶目标检测方法
Zhang et al. Nearshore vessel detection based on Scene-mask R-CNN in remote sensing image
CN117075112A (zh) 一种方位角航迹匹配的无人艇雷达光电融合方法
Zhou et al. Small vessel detection based on adaptive dual-polarimetric feature fusion and sea–land segmentation in SAR images
Kong et al. Lightweight algorithm for multi-scale ship detection based on high-resolution SAR images
Hu et al. FINet: A feature interaction network for SAR ship object-level and pixel-level detection
Zhang et al. Light-SDNet: a lightweight CNN architecture for ship detection
Huang et al. A novel method for real-time ATR system of AUV based on Attention-MobileNetV3 network and pixel correction algorithm
Zhang et al. A review of recent advance of ship detection in single-channel SAR images

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant