CN111091095A - 一种遥感图像中船只目标的检测方法 - Google Patents

一种遥感图像中船只目标的检测方法 Download PDF

Info

Publication number
CN111091095A
CN111091095A CN201911314414.0A CN201911314414A CN111091095A CN 111091095 A CN111091095 A CN 111091095A CN 201911314414 A CN201911314414 A CN 201911314414A CN 111091095 A CN111091095 A CN 111091095A
Authority
CN
China
Prior art keywords
prediction
remote sensing
sensing image
ship target
frames
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201911314414.0A
Other languages
English (en)
Other versions
CN111091095B (zh
Inventor
陈忠
暨凯祥
杨健
臧文乾
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Huazhong University of Science and Technology
Original Assignee
Huazhong University of Science and Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Huazhong University of Science and Technology filed Critical Huazhong University of Science and Technology
Priority to CN201911314414.0A priority Critical patent/CN111091095B/zh
Publication of CN111091095A publication Critical patent/CN111091095A/zh
Application granted granted Critical
Publication of CN111091095B publication Critical patent/CN111091095B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/10Terrestrial scenes
    • G06V20/13Satellite images
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/21Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/24Classification techniques
    • G06F18/241Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/045Combinations of networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods
    • G06N3/084Backpropagation, e.g. using gradient descent
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07Target detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Computing Systems (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Molecular Biology (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Astronomy & Astrophysics (AREA)
  • Remote Sensing (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种遥感图像中船只目标的检测方法,将待检测遥感图像输入到预训练好的主干网络中,得到遥感图像的特征图,通过由多层卷积层和池化层堆积形成的主干网络提取遥感图像中的具有高级语义特征的特征图,卷积网络具有平移、缩放不变性,能够提取较好的特征,一定程度上保证了特征的鲁棒性,另外,在主干网络的训练过程中,本发明采用交并比作为约束条件,同时针对具有相同交并比,但是相对位置不同的情况,提出了归一化交并比,更好地表达了预测框和目标之间的关系,此损失函数具有尺度变化不变性,同时满足非负性,使得检测框更贴合目标,同时降低大目标的影响,提高尺寸较小的目标的检出率,准确率较高。

Description

一种遥感图像中船只目标的检测方法
技术领域
本发明属于计算机智能图像处理技术领域,更具体地,涉及一种遥感图像中船只目标的检测方法。
背景技术
遥感卫星图像的船只目标检测识别广泛应用于水上交通安全监管、海洋渔业管理以及军事侦察等方面,是遥感卫星图像应用的研究热点之一。在民用船只上,由于现代海洋运输业的发展,运行在海面的船舶数量和体积都成指数级增长,如何有效的对这些船舶的航行轨道进行规划及调度事关整个运输的安全,对船舶的目标检测及跟踪是整个海洋运输系统重要组成部分之一。在军事船只上,具有战略侦察和海洋监测等重要意义。现阶段很多船舶检测相关的研究,在海况较好的海面,船只检测效果较好,但是在复杂背景下尤其是近岸的船只检测则面临着性能瓶颈。很多已有的研究主要基于手工设计的多步骤检测方法,但是采用这些方法从复杂背景中提取出船只目标通常很不鲁棒。
近年来,随着深度学习技术的飞速发展,目标检测方法也从基于手工特征的传统算法转向了基于深度神经网络的检测技术。从最初2013年提出的OverFeat、R-CNN,到后来的Fast R-CNN、Faster R-CNN、SSD、YOLO系列。短短几年时间,基于深度学习的目标检测技术发展迅猛。深度学习的目标检测方法主要分为两个流派:一个是基于候选区域regionproposal的,也称为two-stage,如R-CNN,SPP-net,Fast R-CNN,Faster R-CNN,R-FCN等;另外一个是端到端的,也称为one-stage,如YOLO,SSD等。基于regionproposal的方法在检测的精度上占有优势,缺点是速度慢。端到端的方法在速度和精度上做了一个权衡,在实际应用中受到很多人喜爱。但是现有的这些目标检测方法主要针对自然场景下的目标进行检测,而遥感图像的船只目标检测具有背景复杂、目标占图像比例小的特点,现有的目标检测方法并未考虑该因素,故采用现有的目标检测方法检测遥感图像中的船只目标会造成较小船只的漏检率较高等问题,检测精确度较低。
发明内容
针对现有技术的以上缺陷或改进需求,本发明提供了一种遥感图像中船只目标的检测方法,其目的解决现有技术由于未考虑到遥感图像中船只目标较小且背景复杂的情况而导致的检测精确度较低的问题。
为实现上述目的,第一方面,本发明提出了一种遥感图像中船只目标的检测方法,包括以下步骤:
S1、将待检测遥感图像输入到预训练好的主干网络中,得到遥感图像的特征图;
S2、在特征图上的各像素点位置处设置多个先验框,并得到特征图中每个先验框相对于待检测遥感图像的位置偏移量、宽高缩放比例以及各先验框的置信度;
S3、基于所得各先验框相对于遥感图像的位置偏移量、宽高缩放比以及各先验框的置信度,进行非极大值抑制后,得到遥感图像中各船只目标的预测框及其预测类别;
其中,主干网络由卷积层和池化层堆积形成,并且主干网络的训练过程中,基于归一化的交并比计算位置坐标误差,对预测框的位置进行了相应的约束,以提高小目标的检出率。
进一步优选地,主干网络由12个卷积层和4个池化层组成,其中,每个卷积层的卷积核大小都是3x3,卷积的步长为1,每三个卷积层构成一组,每组卷积后面连接着一个池化层,每个池化层的过滤器大小为2x2,步长为2。
进一步优选地,训练主干网络的方法,包括以下步骤:
S01、将预收集好的训练集输入到主干网络中;其中,训练集包括携带船只目标的遥感图像、图像中各船只目标的真实边界框及其真实类别;
S02、对于训练集中的第一幅遥感图像,通过主干网络得到遥感图像的特征图;
S03、在特征图上的各像素点位置处设置多个先验框,并得到每个先验框相对于遥感图像的位置偏移量、宽高缩放比例以及各先验框的置信度;
S04、基于所得各先验框相对于遥感图像的位置偏移量、宽高缩放比以及各先验框的置信度,进行非极大值抑制后,得到遥感图像中各船只目标的预测框及其预测类别;
S05、根据所得遥感图像中各船只目标的预测框及其预测类别,结合图像中各船只目标的真实边界框和真实类别,计算遥感图像中各船只目标的位置和类别的损失值之和,累积所得各船只目标的损失值,并基于该损失值进行反向传播更新主干网络中的参数,完成了一次训练;
S06、对训练集中的每一幅遥感图像,按照步骤S02-S05所述的方法依此进行训练,得到预训练好的主干网络。
进一步优选地,在特征图上的每个像素点位置处设置的先验框的个数均相同,各先验框具有不同尺寸。
进一步优选地,步骤S3所述的方法,包括以下步骤:
S31、根据所得各先验框相对于遥感图像的位置偏移量对各先验框进行修正,并基于所得各先验框相对于遥感图像的宽高缩放比以及各先验框的置信度,结合特征图上各先验框的位置和宽、高信息,得到遥感图像上相应位置处的预测框,及其预测类别和置信度;
S32、基于所得遥感图像上各预测框的预测类别和置信度,对同一类别的预测框进行非极大值抑制,得到遥感图像中各船只目标的预测框及其预测类别。
进一步优选地,步骤S3所述的方法,包括以下步骤:
S31、根据所得各先验框相对于遥感图像的位置偏移量对各先验框进行修正,得到特征图上各像素点位置处的预测框,并基于特征图上各像素点位置处预测框的置信度,对特征图上同一类别的预测框进行非极大值抑制;其中,特征图上的各像素点位置处的预测框与其对应像素点位置处的先验框的置信度、宽、高信息以及相对于遥感图像的宽高缩放比分别相等;
S32、根据特征图上经非极大值抑制后的各预测框相对于遥感图像的宽高缩放比,结合特征图上各预测框的位置和宽、高信息,得到遥感图像中相应位置处的预测框,进而得到各船只目标的预测框及其预测类别。
进一步优选地,对同一类别的预测框进行非极大值抑制的方法,包括以下步骤:
1)选取置信度最高的预测框b;
2)分别计算预测框集中除预测框b以外的其余预测框与预测框b之间的交并比,排除其余预测框中交并比结果高于预设阈值的预测框;
对剩余的预测框,按照步骤1)-2)的方法进行筛选,直至剩余的预测框个数为零。
进一步优选地,遥感图像中各船只目标的位置损失函数Losspos和类别损失函数Lossclassification分别为:
Figure BDA0002325441550000041
Figure BDA0002325441550000042
其中,n是预测框的数量,交并比
Figure BDA0002325441550000043
为第i个船只目标预测框与对应真实边界框的重合程度,
Figure BDA0002325441550000044
为第i个船只目标预测框与对应真实边界框的重合程度的归一化结果,
Figure BDA0002325441550000045
为第i个船只目标预测框与对应真实边界框的最小外接矩形面积,
Figure BDA0002325441550000051
为第i个船只目标预测框与对应真实边界框交叉部分的面积,
Figure BDA0002325441550000052
为第i个船只目标预测框的面积,
Figure BDA0002325441550000053
为与第i个船只目标预测框相对应的真实边界框的面积,yi为第i个船只目标预测框的预测类别,
Figure BDA0002325441550000054
为与第i个船只目标预测框相对应的真实类别。
第二方面,本发明提供了一种存储介质,所述存储介质中存储有指令,当计算机读取所述指令时,使所述计算机执行本发明第一方面所提出的遥感图像中船只目标的检测方法。
总体而言,通过本发明所构思的以上技术方案与现有技术相比,能够取得下列有益效果:
1、本发明提出了一种遥感图像中船只目标的检测方法,通过由多层卷积层和池化层堆积形成的主干网络提取遥感图像中的具有高级语义特征的特征图,卷积网络具有平移、缩放不变性,能够提取较好的特征,一定程度上保证了特征的鲁棒性,另外,在主干网络的训练过程中,由于目前主流的检测方法多采用位置坐标误差,这会导致大目标产生的误差大于小目标,从而导致对小目标的检测效果差,因此本发明采用交并比作为约束条件,同时针对具有相同交并比,但是相对位置不同的情况,提出了归一化交并比,更好地表达了预测框和目标之间的关系,此损失函数具有尺度变化不变性,同时满足非负性,使得检测框更贴合目标,同时降低大目标的影响,提高尺寸较小的目标的检出率,准确率较高。
2、本发明提出的一种遥感图像中船只目标的检测方法,能够快速、自动地提取特征,针对光学图像在海面环境受海浪、云等干扰导致船只检测精度低的问题,采用卷积神经网络自动提取特征代替人工设计特征,充分利用图像的高级语义特征,有效地避免复杂背景的干扰,对遥感图像的船只目标进行准确定位。同时通过设置冗余先验框,根据置信度对冗余检测框进行筛选的方法,保证了较高的检出率;通过优化后的位置损失的约束,保证了较高的准确率。
3、本发明提出了轻量级的检测网络,该网络参数量远小于现有的大多数方法,因此训练过程收敛快,在没有预训练模型的情况下也能快速收敛,同时不容易过拟合。
附图说明
图1是本发明所提出的一种遥感图像中船只目标的检测方法流程图;
图2是本发明实施例所提供的主干网络结构示意图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白,以下结合附图及实施例,对本发明进行进一步详细说明。应当理解,此处所描述的具体实施例仅仅用以解释本发明,并不用于限定本发明。此外,下面所描述的本发明各个实施方式中所涉及到的技术特征只要彼此之间未构成冲突就可以相互组合。
为实现上述目的,第一方面,本发明提出了一种遥感图像中船只目标的检测方法,如图1所示,包括以下步骤:
S1、将待检测遥感图像输入到预训练好的主干网络中,得到遥感图像的特征图;
其中,主干网络由卷积层和池化层堆积形成,并且主干网络的训练过程中,基于归一化的交并比计算位置坐标误差,对预测框的位置进行了相应的约束,以提高小目标的检出率。具体的,随着主干网络网络深度的加深,所生成的特征图包含的语义信息也更加丰富,同时随着池化层的增加,特征图的分辨率也越来越低。在经过一定深度的主干网络之后,得到与原始图像对应的特征图。优选地,主干网络由12个卷积层和4个池化层组成,其中,每个卷积层的卷积核大小都是3x3,卷积的步长为1,每三个卷积层构成一组,每组卷积后面连接着一个池化层,每个池化层的过滤器大小为2x2,步长为2。
在一个可选的实施例1中,如图2所示,待检测遥感图像大小为WxHx3,W表示图像的宽,H表示图像的高,图像的通道数是3,将该遥感图像输入到主干网络中提取特征图。主干网络由12个卷积层和4个池化层组成,其中每个卷积层的卷积核大小都是3x3,卷积的步长为1,每三个卷积层构成一组,每组卷积后面接着一个池化层,每个池化层的过滤器大小为2x2,步长为2。图像依次经过每个层,在经过第一组卷积的第一个卷积层后,通道数变为64,后续两层卷积层保持64的通道数;在经过第二组卷积的第一个卷积层后,通道数变为128,后续两层卷积层保持128的通道数;在经过第三组卷积的第一个卷积层后,通道数变为256,后续两层卷积层保持256的通道数;在经过第四组卷积的第一个卷积层后,通道数变为512,后续两层卷积层保持512的通道数。在经过四组卷积,四层池化层之后,最终得到具有高级语义信息的特征图,特征图分辨率为
Figure BDA0002325441550000071
卷积网络具有平移、缩放不变性,同时能够提取较好的特征,避免了复杂的特征提取过程,一定程度上保证了特征的鲁棒性。
S2、在特征图上的各像素点位置处设置多个先验框,并得到特征图中每个先验框相对于待检测遥感图像的位置偏移量、宽高缩放比例以及各先验框的置信度;
S3、基于所得各先验框相对于遥感图像的位置偏移量、宽高缩放比以及各先验框的置信度,进行非极大值抑制后,得到遥感图像中各船只目标的预测框及其预测类别。
具体的,在第一个可选的实施例2中,步骤S3所述的方法,包括以下步骤:
S31、根据所得各先验框相对于遥感图像的位置偏移量对各先验框进行修正,并基于所得各先验框相对于遥感图像的宽高缩放比以及各先验框的置信度,结合特征图上各先验框的位置和宽、高信息,得到遥感图像上相应位置处的预测框,及其预测类别和置信度;
具体的,本实施例中,所得特征图大小为
Figure BDA0002325441550000081
在特征图上的每个像素点位置处预先设置5个具有不同长宽比的先验框
Figure BDA0002325441550000082
其中,
Figure BDA0002325441550000083
i∈[1,N],
Figure BDA0002325441550000084
为第i个先验框左上角的坐标值,
Figure BDA0002325441550000085
为第i个先验框右下角的坐标值,则
Figure BDA0002325441550000086
为第i个先验框的宽、高,
Figure BDA0002325441550000087
为先验框的总个数。为了适应不同形状的目标,各像素点位置处的先验框均具有不同的长宽比,分别为1:1、1:2、2:1、1:3和3:1,共5种。使用3x3大小的卷积核在特征图上做卷积操作,在每个像素点位置上都可以得到5个先验框相对于待检测遥感图像的位置偏移量D={d1,d2,…,dN}、宽高缩放比S={s1,s2,…,sN},以及每个先验框的置信度C={c1,c2,…,cN},其中,di={Δxi,Δyi},si={Δwi,Δhi},i∈[1,N]。根据每个先验框的初始位置
Figure BDA0002325441550000088
以及其对于待检测遥感图像的位置偏移量di、对各先验框进行修正,得到特征图各像素点位置处的预测框
Figure BDA0002325441550000089
i∈[1,N];其中,特征图上的各像素点位置处的预测框与其对应像素点位置处的先验框的置信度、宽、高信息以及相对于遥感图像的宽高缩放比分别相等。基于所得各先验框相对于遥感图像的宽高缩放比si以及各先验框的置信度,结合特征图上各先验框的位置和宽、高信息,得到遥感图像上相应位置处的预测框,及其预测类别和置信度。与特征图相对应,遥感图像上相应位置处的预测框也有5个,同样总共有N个预测框,且各预测框的置信度与特征图上对应预测框的置信度相等。
S32、基于所得遥感图像上各预测框的预测类别和置信度,对同一类别的预测框进行非极大值抑制,得到遥感图像中各船只目标的预测框及其预测类别。
优选地,对同一类别的预测框进行非极大值抑制的方法,包括以下步骤:
1)选取置信度最高的预测框b;
2)分别计算预测框集中除预测框b以外的其余预测框与预测框b之间的交并比,排除其余预测框中交并比结果高于预设阈值的预测框;
对剩余的预测框,按照步骤1)-2)的方法进行筛选,直至剩余的预测框个数为零。
在一个可选的实施例3中,遍历所有的预测框,当其置信度小于预设阈值0.5时,剔除对应的预测框。对所有预测框按照置信度从高到低进行排序,得到B={b1,b2,…,bM},其中,
Figure BDA0002325441550000091
i∈[1,N],
Figure BDA0002325441550000092
为第i个预测框左上角的坐标值,
Figure BDA0002325441550000093
为第i个预测框右下角的坐标值,N为预测框的个数,选取置信度最高的预测框b1,分别计算b1与剩余检测框{b2,…,bM}的交并比,排除其余预测框中交并比结果高于预设阈值0.5的预测框,保留交并比结果低于阈值的检测框。具体的,
Figure BDA0002325441550000094
其中,
Figure BDA0002325441550000095
为预测框b1与第i个预测框交叉部分的面积,A1为预测框b1的面积,Ai为第i个预测框的面积。进一步的,
Figure BDA0002325441550000096
Figure BDA0002325441550000097
其中,
Figure BDA0002325441550000098
Figure BDA0002325441550000099
Figure BDA00023254415500000910
Figure BDA00023254415500000911
时,
Figure BDA00023254415500000912
对剩余的预测框,重复上述过程,直至剩余的预测框个数为零。
具体的,在一个可选的实施例3中,步骤S3所述的方法,包括以下步骤:
S31、根据所得各先验框相对于遥感图像的位置偏移量对各先验框进行修正,得到特征图上各像素点位置处的预测框,并基于特征图上各像素点位置处预测框的置信度,对特征图上同一类别的预测框进行非极大值抑制;其中,特征图上的各像素点位置处的预测框与其对应像素点位置处的先验框的置信度、宽、高信息以及相对于遥感图像的宽高缩放比分别相等;
S32、根据特征图上经非极大值抑制后的各预测框相对于遥感图像的宽高缩放比,结合特征图上各预测框的位置和宽、高信息,得到遥感图像中相应位置处的预测框,进而得到各船只目标的预测框及其预测类别。
与上述可选的实施例2相比,仅是执行顺序发生了变化,每一步中的具体过程与第一种可选实施例的过程相似。
优选地,训练主干网络的方法,包括以下步骤:
S01、将预收集好的训练集输入到主干网络中;其中,训练集包括携带船只目标的遥感图像、图像中各船只目标的真实边界框及其真实类别;
S02、对于训练集中的第一幅遥感图像,通过主干网络得到遥感图像的特征图;
S03、在特征图上的各像素点位置处设置多个先验框,并得到每个先验框相对于遥感图像的位置偏移量、宽高缩放比例以及各先验框的置信度;
S04、基于所得各先验框相对于遥感图像的位置偏移量、宽高缩放比以及各先验框的置信度,进行非极大值抑制后,得到遥感图像中各船只目标的预测框及其预测类别;
具体的,可以采用上述实施例2或实施例3所述的方法实现。
S05、根据所得遥感图像中各船只目标的预测框及其预测类别,结合图像中各船只目标的真实边界框和真实类别,计算遥感图像中各船只目标的位置和类别的损失值之和,累积所得各船只目标的损失值,并基于该损失值进行反向传播更新主干网络中的参数,完成了一次训练;
优选地,遥感图像中各船只目标的位置损失函数Losspos和类别损失函数Lossclassification分别为:
Figure BDA0002325441550000101
Figure BDA0002325441550000111
其中,n是预测框的数量,交并比
Figure BDA0002325441550000112
为第i个船只目标预测框与对应真实边界框的重合程度,
Figure BDA0002325441550000113
为第i个船只目标预测框与对应真实边界框的重合程度的归一化结果,
Figure BDA0002325441550000114
为第i个船只目标预测框与对应真实边界框的最小外接矩形面积,
Figure BDA0002325441550000115
为第i个船只目标预测框与对应真实边界框交叉部分的面积,
Figure BDA0002325441550000116
为第i个船只目标预测框的面积,
Figure BDA0002325441550000117
为与第i个船只目标预测框相对应的真实边界框的面积,yi为第i个船只目标预测框的预测类别,
Figure BDA0002325441550000118
为与第i个船只目标预测框相对应的真实类别。具体的,对于第i个船只目标预测框
Figure BDA0002325441550000119
以及对应真实边界框
Figure BDA00023254415500001110
第i个船只目标预测框与对应真实边界框的最小外接矩形面积
Figure BDA00023254415500001111
第i个船只目标预测框与对应真实边界框交叉部分的面积
Figure BDA00023254415500001112
第i个船只目标预测框的面积
Figure BDA00023254415500001113
与第i个船只目标预测框相对应的真实边界框的面积
Figure BDA00023254415500001114
其中,
Figure BDA00023254415500001115
Figure BDA00023254415500001116
Figure BDA00023254415500001117
通过对检测框位置进行约束,使得检测框更贴合目标,另外针对具有相同交并比,但是相对位置不同的情况,通过对船只目标预测框与对应真实边界框的重合程度进行归一化,更好地表达了预测框和目标之间的关系,此损失函数具有尺度变化不变性,同时满足非负性,使得检测框更贴合目标,同时降低大目标的影响,提高尺寸较小的目标的检出率,准确率较高。
S06、对训练集中的每一幅遥感图像,按照步骤S02-S05所述的方法依此进行训练,得到预训练好的主干网络。
在由高分2号卫星采集的遥感图像上采用本发明所提供的船只目标检测方法进行检测。采集图像数据集中一共有928张遥感图像,其中700张图像用于训练,包含1278个船只目标,228张图像用于测试,包含415个船只目标。评价指标是平均准确率mAP,本发明的方法的mAP达到了85.3%,同样地,对于现有的方法在相同的图像数据集上进行检测,其中,SSD算法的mAP为83.6%,Faster RCNN算法的mAP为80.5%。同时,在不改变SSD和Faster RCNN网络结构的前提下,用本发明中的所提出的损失函数替换上述两种算法的损失函数,上述两种算法的准确率分别提升了1.1%和2.4%,因此更进一步说明本发明中的定位损失函数能更好地引导网络训练,具有更高的准确性。
第二方面,本发明提供了一种存储介质,所述存储介质中存储有指令,当计算机读取所述指令时,使所述计算机执行本发明第一方面所提出的遥感图像中船只目标的检测方法。
本领域的技术人员容易理解,以上所述仅为本发明的较佳实施例而已,并不用以限制本发明,凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等,均应包含在本发明的保护范围之内。

Claims (9)

1.一种遥感图像中船只目标的检测方法,其特征在于,包括以下步骤:
S1、将待检测遥感图像输入到预训练好的主干网络中,得到遥感图像的特征图;
S2、在特征图上的各像素点位置处设置多个先验框,并得到特征图中每个先验框相对于待检测遥感图像的位置偏移量、宽高缩放比例以及各先验框的置信度;
S3、基于所得各先验框相对于遥感图像的位置偏移量、宽高缩放比以及各先验框的置信度,进行非极大值抑制后,得到遥感图像中各船只目标的预测框及其预测类别;
其中,主干网络由卷积层和池化层堆积形成,并且主干网络的训练过程中,基于归一化的交并比计算位置坐标误差,对预测框的位置进行了相应的约束。
2.根据权利要求1所述的遥感图像中船只目标的检测方法,其特征在于,所述主干网络由12个卷积层和4个池化层组成,其中,每个卷积层的卷积核大小都是3x3,卷积的步长为1,每三个卷积层构成一组,每组卷积后面连接着一个池化层,每个池化层的过滤器大小为2x2,步长为2。
3.根据权利要求1所述的遥感图像中船只目标的检测方法,其特征在于,训练所述主干网络的方法,包括以下步骤:
S01、将预收集好的训练集输入到主干网络中;其中,训练集包括携带船只目标的遥感图像、图像中各船只目标的真实边界框及其真实类别;
S02、对于训练集中的第一幅遥感图像,通过主干网络得到遥感图像的特征图;
S03、在特征图上的各像素点位置处设置多个先验框,并得到每个先验框相对于遥感图像的位置偏移量、宽高缩放比例以及各先验框的置信度;
S04、基于所得各先验框相对于遥感图像的位置偏移量、宽高缩放比以及各先验框的置信度,进行非极大值抑制后,得到遥感图像中各船只目标的预测框及其预测类别;
S05、根据所得遥感图像中各船只目标的预测框及其预测类别,结合图像中各船只目标的真实边界框和真实类别,计算遥感图像中各船只目标的位置和类别的损失值之和,累积所得各船只目标的损失值,并基于该损失值进行反向传播更新主干网络中的参数,完成了一次训练;
S06、对训练集中的每一幅遥感图像,按照步骤S02-S05所述的方法依此进行训练,得到预训练好的主干网络。
4.根据权利要求1或3所述的遥感图像中船只目标的检测方法,其特征在于,在特征图上的每个像素点位置处设置的先验框的个数均相同,各先验框具有不同尺寸。
5.根据权利要求1所述的遥感图像中船只目标的检测方法,其特征在于,步骤S3所述的方法,包括以下步骤:
S31、根据所得各先验框相对于遥感图像的位置偏移量对各先验框进行修正,并基于所得各先验框相对于遥感图像的宽高缩放比以及各先验框的置信度,结合特征图上各先验框的位置和宽、高信息,得到遥感图像上相应位置处的预测框,及其预测类别和置信度;
S32、基于所得遥感图像上各预测框的预测类别和置信度,对同一类别的预测框进行非极大值抑制,得到遥感图像中各船只目标的预测框及其预测类别。
6.根据权利要求1所述的遥感图像中船只目标的检测方法,其特征在于,步骤S3所述的方法,包括以下步骤:
S31、根据所得各先验框相对于遥感图像的位置偏移量对各先验框进行修正,得到特征图上各像素点位置处的预测框,并基于特征图上各像素点位置处预测框的置信度,对特征图上的同一类别的预测框进行非极大值抑制;其中,特征图上的各像素点位置处的预测框与其对应像素点位置处的先验框的置信度、宽、高信息以及相对于遥感图像的宽高缩放比分别相等;
S32、根据特征图上经非极大值抑制后的各预测框相对于遥感图像的宽高缩放比,结合特征图上各预测框的位置和宽、高信息,得到遥感图像中相应位置处的预测框,进而得到各船只目标的预测框及其预测类别。
7.根据权利要求5或6所述的遥感图像中船只目标的检测方法,其特征在于,对同一类别的预测框进行非极大值抑制的方法,包括以下步骤:
1)选取置信度最高的预测框b;
2)分别计算预测框集中除预测框b以外的其余预测框与预测框b之间的交并比,排除其余预测框中交并比结果高于预设阈值的预测框;
3)对剩余的预测框,按照步骤1)-2)的方法进行筛选,直至剩余的预测框个数为零。
8.根据权利要求3所述的遥感图像中船只目标的检测方法,其特征在于,遥感图像中各船只目标的位置损失函数Losspos和类别损失函数Lossclassification分别为:
Figure FDA0002325441540000031
Figure FDA0002325441540000032
其中,n是预测框的数量,交并比
Figure FDA0002325441540000033
为第i个船只目标预测框与对应真实边界框的重合程度,
Figure FDA0002325441540000034
为第i个船只目标预测框与对应真实边界框的重合程度的归一化结果,
Figure FDA0002325441540000035
为第i个船只目标预测框与对应真实边界框的最小外接矩形面积,
Figure FDA0002325441540000036
为第i个船只目标预测框与对应真实边界框交叉部分的面积,
Figure FDA0002325441540000037
为第i个船只目标预测框的面积,
Figure FDA0002325441540000041
为与第i个船只目标预测框相对应的真实边界框的面积,yi为第i个船只目标预测框的预测类别,
Figure FDA0002325441540000042
为与第i个船只目标预测框相对应的真实类别。
9.一种存储介质,所述存储介质中存储有指令,当计算机读取所述指令时,使所述计算机执行权利要求1-8任意一项所提出的遥感图像中船只目标的检测方法。
CN201911314414.0A 2019-12-19 2019-12-19 一种遥感图像中船只目标的检测方法 Active CN111091095B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911314414.0A CN111091095B (zh) 2019-12-19 2019-12-19 一种遥感图像中船只目标的检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911314414.0A CN111091095B (zh) 2019-12-19 2019-12-19 一种遥感图像中船只目标的检测方法

Publications (2)

Publication Number Publication Date
CN111091095A true CN111091095A (zh) 2020-05-01
CN111091095B CN111091095B (zh) 2022-03-29

Family

ID=70396506

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911314414.0A Active CN111091095B (zh) 2019-12-19 2019-12-19 一种遥感图像中船只目标的检测方法

Country Status (1)

Country Link
CN (1) CN111091095B (zh)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111798417A (zh) * 2020-06-19 2020-10-20 中国资源卫星应用中心 一种基于ssd遥感图像目标检测的方法及装置
CN111860336A (zh) * 2020-07-21 2020-10-30 西北工业大学 基于位置感知的高分辨遥感图像倾斜船舶目标检测方法
CN112164077A (zh) * 2020-09-25 2021-01-01 陕西师范大学 基于自下而上路径增强的细胞实例分割方法
CN112396002A (zh) * 2020-11-20 2021-02-23 重庆邮电大学 一种基于SE-YOLOv3的轻量级遥感目标检测方法
CN112446300A (zh) * 2020-11-05 2021-03-05 五邑大学 车流密度分析的方法、系统及计算机存储介质
CN113159453A (zh) * 2021-05-17 2021-07-23 北京字跳网络技术有限公司 资源数据预测方法、装置、设备及存储介质
CN113326763A (zh) * 2021-05-25 2021-08-31 河南大学 一种基于边界框一致性的遥感目标检测方法
CN116337087A (zh) * 2023-05-30 2023-06-27 广州健新科技有限责任公司 一种基于ais与摄像头的船只定位方法及系统

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004077401A (ja) * 2002-08-22 2004-03-11 Hitachi Ltd マルチスタティックセンサ運用方法
CN108596101A (zh) * 2018-04-25 2018-09-28 上海交通大学 一种基于卷积神经网络的遥感图像多目标检测方法
CN109492561A (zh) * 2018-10-29 2019-03-19 北京遥感设备研究所 一种基于改进的yolo v2模型的光学遥感图像舰船检测方法
CN109800716A (zh) * 2019-01-22 2019-05-24 华中科技大学 一种基于特征金字塔的海面遥感图像船舶检测方法
CN110223302A (zh) * 2019-05-08 2019-09-10 华中科技大学 一种基于旋转区域提取的舰船多目标检测方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004077401A (ja) * 2002-08-22 2004-03-11 Hitachi Ltd マルチスタティックセンサ運用方法
CN108596101A (zh) * 2018-04-25 2018-09-28 上海交通大学 一种基于卷积神经网络的遥感图像多目标检测方法
CN109492561A (zh) * 2018-10-29 2019-03-19 北京遥感设备研究所 一种基于改进的yolo v2模型的光学遥感图像舰船检测方法
CN109800716A (zh) * 2019-01-22 2019-05-24 华中科技大学 一种基于特征金字塔的海面遥感图像船舶检测方法
CN110223302A (zh) * 2019-05-08 2019-09-10 华中科技大学 一种基于旋转区域提取的舰船多目标检测方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
WENCHAO LIU ET AL.: "Arbitrary-Oriented Ship Detection Framework in Optical Remote-Sensing Images", 《IEEE GEOSCIENCE AND REMOTE SENSING LETTERS 》 *
杨淼: "光学遥感图像的港口内舰船检测算法研究", 《中国优秀硕士学位论文全文数据库 (工程科技Ⅱ辑)》 *

Cited By (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111798417A (zh) * 2020-06-19 2020-10-20 中国资源卫星应用中心 一种基于ssd遥感图像目标检测的方法及装置
CN111860336B (zh) * 2020-07-21 2022-02-11 西北工业大学 基于位置感知的高分辨遥感图像倾斜船舶目标检测方法
CN111860336A (zh) * 2020-07-21 2020-10-30 西北工业大学 基于位置感知的高分辨遥感图像倾斜船舶目标检测方法
CN112164077A (zh) * 2020-09-25 2021-01-01 陕西师范大学 基于自下而上路径增强的细胞实例分割方法
CN112164077B (zh) * 2020-09-25 2023-12-29 陕西师范大学 基于自下而上路径增强的细胞实例分割方法
CN112446300B (zh) * 2020-11-05 2024-01-12 五邑大学 车流密度分析的方法、系统及计算机存储介质
CN112446300A (zh) * 2020-11-05 2021-03-05 五邑大学 车流密度分析的方法、系统及计算机存储介质
CN112396002B (zh) * 2020-11-20 2023-05-30 重庆邮电大学 一种基于SE-YOLOv3的轻量级遥感目标检测方法
CN112396002A (zh) * 2020-11-20 2021-02-23 重庆邮电大学 一种基于SE-YOLOv3的轻量级遥感目标检测方法
CN113159453A (zh) * 2021-05-17 2021-07-23 北京字跳网络技术有限公司 资源数据预测方法、装置、设备及存储介质
CN113159453B (zh) * 2021-05-17 2024-04-30 北京字跳网络技术有限公司 资源数据预测方法、装置、设备及存储介质
CN113326763B (zh) * 2021-05-25 2023-04-18 河南大学 一种基于边界框一致性的遥感目标检测方法
CN113326763A (zh) * 2021-05-25 2021-08-31 河南大学 一种基于边界框一致性的遥感目标检测方法
CN116337087A (zh) * 2023-05-30 2023-06-27 广州健新科技有限责任公司 一种基于ais与摄像头的船只定位方法及系统

Also Published As

Publication number Publication date
CN111091095B (zh) 2022-03-29

Similar Documents

Publication Publication Date Title
CN111091095B (zh) 一种遥感图像中船只目标的检测方法
CN109740460B (zh) 基于深度残差密集网络的光学遥感图像舰船检测方法
CN110796048B (zh) 一种基于深度神经网络的船舰目标实时检测方法
CN111738112B (zh) 基于深度神经网络和自注意力机制的遥感船舶图像目标检测方法
CN113569667B (zh) 基于轻量级神经网络模型的内河船舶目标识别方法及系统
CN111027511B (zh) 基于感兴趣区块提取的遥感图像舰船检测方法
WO2018000252A1 (zh) 高分辨遥感海洋图像的海背景建模与抑制的方法及系统
CN113076871A (zh) 一种基于目标遮挡补偿的鱼群自动检测方法
CN112001411B (zh) 一种基于fpn结构的大坝裂缝检测算法
CN109726717A (zh) 一种车辆综合信息检测系统
CN113807188B (zh) 基于锚框匹配和Siamese网络的无人机目标跟踪方法
CN111753682B (zh) 一种基于目标检测算法的吊装区域动态监控方法
CN110991257B (zh) 基于特征融合与svm的极化sar溢油检测方法
CN113920400A (zh) 一种基于改进YOLOv3的金属表面缺陷检测方法
CN110969121A (zh) 一种基于深度学习的高分辨率雷达目标识别算法
CN113159215A (zh) 一种基于Faster Rcnn的小目标检测识别方法
Zhang et al. Nearshore vessel detection based on Scene-mask R-CNN in remote sensing image
CN115272876A (zh) 一种基于深度学习的遥感图像船舶目标检测方法
CN114565824A (zh) 基于全卷积网络的单阶段旋转舰船检测方法
CN113344148A (zh) 一种基于深度学习的海上舰船目标识别方法
Zou et al. Maritime target detection of intelligent ship based on faster R-CNN
CN113505712A (zh) 基于新型损失函数的卷积神经网络的海面溢油检测方法
CN116665095B (zh) 一种运动舰船检测方法、系统、存储介质和电子设备
Albalooshi et al. Deep belief active contours (DBAC) with its application to oil spill segmentation from remotely sensed sea surface imagery
CN110889418A (zh) 一种气体轮廓识别方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant