CN110796048B - 一种基于深度神经网络的船舰目标实时检测方法 - Google Patents

一种基于深度神经网络的船舰目标实时检测方法 Download PDF

Info

Publication number
CN110796048B
CN110796048B CN201910994505.7A CN201910994505A CN110796048B CN 110796048 B CN110796048 B CN 110796048B CN 201910994505 A CN201910994505 A CN 201910994505A CN 110796048 B CN110796048 B CN 110796048B
Authority
CN
China
Prior art keywords
target
neural network
deep neural
frame
training
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN201910994505.7A
Other languages
English (en)
Other versions
CN110796048A (zh
Inventor
汪鼎文
陈曦
王泉德
孙世磊
瞿涛
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Wuhan University WHU
Original Assignee
Wuhan University WHU
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Wuhan University WHU filed Critical Wuhan University WHU
Priority to CN201910994505.7A priority Critical patent/CN110796048B/zh
Publication of CN110796048A publication Critical patent/CN110796048A/zh
Application granted granted Critical
Publication of CN110796048B publication Critical patent/CN110796048B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G06V20/13—Satellite images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/23—Clustering techniques
    • G06F18/232—Non-hierarchical techniques
    • G06F18/2321—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions
    • G06F18/23213—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions with fixed number of clusters, e.g. K-means clustering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Computing Systems (AREA)
  • Evolutionary Biology (AREA)
  • Molecular Biology (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Probability & Statistics with Applications (AREA)
  • Astronomy & Astrophysics (AREA)
  • Remote Sensing (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于深度神经网络的船舰目标实时检测方法。首先，建立针对小目标检测的实时深度神经网络模型；然后根据预设初始训练样本集构建小目标训练样本集，并进行目标最优尺寸范围测定；接着进行ROO训练，获得初始深度神经网络模型；再进行OHEM训练：利用初始深度神经网络模型对预设初始训练样本集进行舰船目标检测，并将检测中出现的困难负样本加入到困难负样本集，然后利用困难负样本集中的样本对初始深度神经网络模型进行训练，得到优化后的深度神经网络模型；最后，建立遥感影像金字塔模型，并利用优化后的深度神经网络从金字塔底层开始，逐层进行舰船目标检测。本发明的方法可以大大提高检测的速度和精度。

Description

一种基于深度神经网络的船舰目标实时检测方法
技术领域
本发明涉及遥感图像目标检测领域，具体涉及一种基于深度神经网络的船舰目标实时检测方法。
背景技术
舰船是海上的重要监测目标，遥感图像处理是获取舰船目标信息最丰富，使用最广泛的舰船监测技术。在民用领域，舰船检测的结果信息可以用作其他系统的输入，帮助其实现和优化程序及功能。通过把检测到的舰船进行船只分类和匹配、地理坐标映射和定位，就可以得到目标船只位置信息，实现海面搜救；通过把检测到的舰船进行功能和大小归类、统计密集度信息和生成地理分布图，可以实现渔情检测；通过对船只进行搜索匹配、实时定位和导航，并根据船只密集度进行拥塞控制和路径规划，可以实现对航运系统的优化配置；通过获取船只的分布信息，并对海面使用、鱼类捕捞和船只排污倾倒情况进行分析，可以实现海面自然资源的管理和把控。在国防上，舰船检测的结果信息可以用来进行态势分析，为国防军事决策服务。所以利用遥感图像对舰船进行实时目标检测具有很重要的现实意义。
现有技术中，传统的遥感图像舰船检测方法通过从遥感图像中提取人工设计的特征，并用机器学习方法训练的舰船检测模型进行舰船检测。传统遥感图像舰船检测方法还通过海陆分割、场景分类、近岸目标提取和离岸目标提取等手段剔除掉陆地背景的干扰，获取图像的位置、天气和海面状态，简化后续的海面目标识别，提高舰船检测模型的精度和适用范围。
基于深度学习的舰船检测方法采用深度学习方法从大量的遥感图像中自动学习舰船目标特征提取和检测的深度神经网络模型。基于深度学习的舰船检测方法可以利用传统的图像增强方法来去除背景噪声的干扰，通过融合多层特征来检测不同尺寸的舰船目标，利用网络压缩方法来减少参数、裁剪通道数和层数来优化检测速度，或者通过替换主干网络来增加舰船检测精度等。
本申请发明人在实施本发明的过程中，发现现有技术的方法，至少存在如下技术问题：
传统遥感图像舰船检测方法由于参数量少、特征单一、对环境变化很敏感，导致传统方法难以适应目标的多样性，难以处理复杂环境和各种干扰。此外，目标特征提取时所需的滑窗操作，导致舰船检测的时间复杂度很高，存在冗余计算，从而导致传统遥感图像舰船检测方法的检测效果难以和基于深度学习的舰船检测方法相比。基于深度学习的舰船检测方法也存在精度和速度的问题。精度方面，基于one stage方法的深度神经网络，对于小目标的检测效果不好；同时对于多尺度的目标的适应性不强；通过回归得到的目标框位置精度不高。速度方面，基于深度学习的舰船检测方法是一种耗时的计算方式，但随着近年来卷积神经网络和相关硬件设备的不断发展，速度已经有了很大的提升。最高处理速度可以达到50fps，甚至100fps以上，但这需要计算能力较强的工作站和专业级显卡的硬件支撑，并且只能处理尺寸较小的遥感图像。在嵌入式设备上，难以达到同样的处理速度，并且遥感图像的原始分辨率往往可以达到20kx20k以上，想要在原始遥感图像上实现这样的处理速度较为困难。
由此可知，现有技术中的方法存在方法模型复杂、检测速度较慢的的技术问题。
发明内容
有鉴于此，本发明提供了一种基于深度神经网络的船舰目标实时检测方法，用以解决或者至少部分解决现有技术中的方法存在的方法模型复杂、检测速度较慢的的技术问题。
为了解决上述技术问题，本发明提供了一种基于深度神经网络的船舰目标实时检测方法，包括：
步骤S1：建立针对小目标检测的实时深度神经网络模型；
步骤S2：根据预设初始训练样本集构建小目标训练样本集，并进行目标最优尺寸范围测定，获得OSIT范围；
步骤S3：基于OSIT范围利用小目标训练样本集对S1中针对小目标检测的实时深度神经网络模型进行训练，获得初始深度神经网络模型；
步骤S4：利用S3训练得到的初始深度神经网络模型对预设初始训练样本集进行舰船目标检测，得到检测结果，然后将检测中出现的困难负样本加入到困难负样本集，然后利用困难负样本集中的样本对S3训练得到的初始深度神经网络模型进行训练，得到优化后的深度神经网络模型，其中，检测结果为检测到的船舰目标框中置信度大于置信度阈值CT的输出结果中的元素，困难负样本为与当前图像中所有真实目标Gj的IOU小于IOU阈值IT对应的元素；
步骤S5：建立遥感影像金字塔模型，并利用S4中获得的优化后的深度神经网络从金字塔底层开始，逐层进行舰船目标检测。
在一种实施方式中，步骤S1具体包括：
步骤S1.1：基于深度学习知识建立层数和参数数量符合预设条件的精简深度神经网络，其中，精简深度神经网络包括多个卷积层模块和残差模块，残差模块包括一个下采样卷积层和一个残差块；
步骤S1.2：对建立的精简深度神经网络进行通道数裁剪；
步骤S1.3：对残差块内部结构进行调整，采用两层卷积构建的逆残差块替换原有的残差块，得到调整后的深度神经网络结构；
步骤S1.4：设计用于深度神经网络训练的损失函数；
步骤S1.5：初始化网络参数，然后逐轮进行训练，其中，每轮训练中，根据当前深度神经网络输出的目标框和真实目标框，通过损失函数计算误差损失，并将误差损失沿深度神经网络反向传播更新网络参数，当误差损失降低到预先定义的阈值时，停止深度神经网络训练，得到针对小目标检测的实时深度神经网络模型。
在一种实施方式中，步骤S2中根据预设初始训练样本集构建小目标训练样本集，包括：
将预设初始训练样本集中包含的大舰船目标图像块下采样到小目标尺寸范围，形成小目标训练样本集。
在一种实施方式中，步骤S2中进行目标最优尺寸范围测定，得到OSIT范围，具体包括：
步骤S2.1：设置目标尺寸范围集合为R，其中，R的范围总和包含当前数据集中所有真实目标框的尺寸；
步骤S2.2：设置真实目标框集合为G，对真实目标框进行R尺寸划分，划分后的每个子集为Gj，其中，0≤j＜ng，
Figure BDA0002239324820000031
ng表示子集数量，对应的尺度范围为Rj，进行R尺寸划分后，每个真实目标框属于且仅属于R的一个子集Rj，0≤j＜ng；
步骤S2.3：设置置信度阈值CT，采用针对小目标检测的实时深度神经网络模型对测试集进行舰船目标检测，得到预测框集合P；
步骤S2.4：设置IOU阈值IT，遍历集合P，如果存在pi(pi∈P)与Gj的IOU大于IT，则将pi加入到子集Pj中，并将pi标记为已划分，pi∈P，0≤j＜ng；
步骤S2.5：对集合P中的剩余未划分元素p′i(p′i∈P)，p′i基于像素的长宽分别为w′i、h′i，根据预设OSIT方法计算p′i所属的划分Rj，将p′i加入到子集Pj中，并将p′i标记为已划分；
步骤S2.6：将Gj作为真实目标框集合，Pj作为预测框集合，计算划分子集Pj的平均精度APj，
步骤S2.7：设置AP阈值APT，如果APj≥APT，则将该划分对应的尺度Rj加入OSIT范围中。
在一种实施方式中，当前深度神经网络的OSIT范围为(Cmin,Cmax]，步骤S3具体包括：
步骤S3.1：从训练集中读取所有的真实目标框，所有的真实目标框构成集合
Figure BDA0002239324820000041
步骤S3.2：获取目标图像大小
Figure BDA00022393248200000411
用以表示
Figure BDA0002239324820000044
及其周围一定区域剪切并缩放后输出图像的大小，其中，
Figure BDA0002239324820000045
表示当前真实目标框，在网络进行训练时，输入图像的大小即
Figure BDA0002239324820000046
并且So＞Cmax，输出的目标图像为
Figure BDA0002239324820000047
步骤S3.3：计算目标尺寸C，目标尺寸用以指定剪裁并缩放后，目标在
Figure BDA0002239324820000048
中的长边的长度，目标尺寸C的计算公式如下：
C＝random(Cmin,Cmax) (1)
步骤S3.4：计算偏移量Ex和Ey，偏移量Ex和Ey用以指定剪裁并缩放后，目标在Ti中相对于图像中心的x方向和y方向上的偏移量，计算方式如下：
Figure BDA0002239324820000049
式中，S为训练时输入图像的大小；
步骤S3.5：计算剪裁框
Figure BDA00022393248200000410
在原图中的四个坐标：
Figure BDA0002239324820000051
其中，
Figure BDA0002239324820000052
的四个坐标值为
Figure BDA0002239324820000053
是
Figure BDA0002239324820000054
的中心点坐标，
Figure BDA0002239324820000055
是
Figure BDA0002239324820000056
的长和宽，
Figure BDA0002239324820000057
的坐标
Figure BDA0002239324820000058
其中，
Figure BDA0002239324820000059
是剪裁框的中心点坐标，
Figure BDA00022393248200000510
Figure BDA00022393248200000511
是剪裁框的长宽；
步骤S3.6：对剪裁框进行剪裁，并缩放至S2大小，得到输出图像T，加入小目标训练样本集；
步骤S3.7：计算真实目标在T中的坐标位置，将得到的坐标位置作为真实目标框，加入到小目标训练样本集的标签文件中，坐标位置的计算公式为：
Figure BDA00022393248200000512
其中，T中的坐标位置为xl，yl，wl，hl，xl，yl是中心点坐标；
步骤S3.8：遍历当前图像中其余的真实目标框，如果目标框被包含在剪裁框内，则计算目标框在T中的坐标位置，如果wj∈(Cmin,Cmax]且hj∈(Cmin,Cmax]，则将该坐标位置作为真实目标框，加入到小目标训练样本集的标签文件中，目标框在T中的坐标位置计算公式为：
Figure BDA00022393248200000513
其中，T中的坐标位置为xj，yj，wj，hj；
步骤S3.9：利用标记好的小目标训练样本集对深度神经网络模型进行训练，得到初始深度神经网络模型。
在一种实施方式中，步骤S4具体包括：
步骤S4.1：设置置信度阈值CT、IOU阈值IT和负样本数量上限Pmax；
步骤S4.2：采用初始深度神经网络模型，对预设初始训练集进行金字塔检测，将检测到的船舰目标框中置信度大于阈值CT的输出，构建目标队列P；
步骤S4.3：针对队列P中的每个元素Pi，计算Pi与当前图像中所有真实目标Gj的IOU，即Iij，如果存在Iij≥IT，则将Pi标记为正样本，否则标记为困难负样本；
步骤S4.4:将P中的所有正样本从队列中删除；
步骤S4.5：将P中的所有元素Pi按照置信度Ci的从大到小顺序排序；
步骤S4.6：保留队列P中的前Pmax个元素，删除其余元素，如果队列P中的元素总个数少于Pmax，则保留全部元素；
步骤S4.7：针对当前队列P中的每个元素Pi，计算剪裁框
Figure BDA0002239324820000061
的坐标，将剪裁框
Figure BDA0002239324820000062
从原金字塔图像中剪裁下来，加入到困难负样本训练集中，其中，剪裁框
Figure BDA0002239324820000063
的坐标计算公式如下：
Figure BDA0002239324820000064
其中，Pi的中心点坐标位置为xi，yi，剪裁框
Figure BDA0002239324820000065
的坐标为
Figure BDA0002239324820000066
Ex，Ey分别表示剪裁并缩放后，目标在Ti中相对于图像中心的x方向和y方向上的偏移量，S为训练时输入图像的大小；
步骤S4.8：采用困难负样本集进行迭代训练，得到优化后的深度神经网络。
在一种实施方式中，步骤S5具体包括：
步骤S5.1：采用S4中优化后的深度神经网络模型对长、宽均为S的遥感图像T进行目标检测，得到预测框集合P；
步骤S5.2：将原遥感图像进行预设次数步长为2的下采样，直到图像尺寸小于舰船目标的最小尺寸，构造图像金字塔；
步骤S5.3：对图
Figure BDA0002239324820000067
进行目标检测，得到预测框集合
Figure BDA0002239324820000068
步骤S5.4：针对集合
Figure BDA0002239324820000069
中任意目标预测框
Figure BDA00022393248200000610
通过公式(7)计算Pi的坐标，将计算得到的预测框Pi加入到预测框集合P中：
Figure BDA0002239324820000071
其中，
Figure BDA0002239324820000072
中目标预测框
Figure BDA0002239324820000073
的位置为
Figure BDA0002239324820000074
宽度、高度分别为
Figure BDA0002239324820000075
n-m表示原始遥感图像进行缩放的次数，S＝2n表示原始遥感图像的尺寸，必然存在m使得
Figure BDA0002239324820000076
Pi的坐标为px，py，pw，ph；
步骤S5.5：采用非极大值抑制NMS方法，去除P中的重复坐标框，得到多尺寸的预测框集合P，并将P作为最终检测结果输出。
本申请实施例中的上述一个或多个技术方案，至少具有如下一种或多种技术效果：
由于本发明提供的方法，构建的是针对小目标检测的实时深度神经网络模型，对小目标检测的实时深度神经网络模型进行目标区域(ROO：Regions ofobject)训练可以得到初始深度神经网络模型，在进行目标区域训练前进行目标最优尺寸范围测定，再采用采用在线困难样本挖掘(OHEM：Online hard example mining)训练方法，用初始深度神经网络模型对初始训练样本集进行舰船目标检测，将检测中出现的困难负样本加入到困难负样本集，并用所有的困难负样本集中的样本对初始深度神经网络模型进行训练，可以得到性能进一步提升的神经网络模型，最后，建立遥感影像金字塔模型，并利用优化后的深度神经网络从金字塔底层开始，逐层进行舰船目标检测。本发明提供的方法不仅可以降低模型的复杂度，并且可以提高检测速度，实现对船舰目标的实时检测，解决了基于深度学习的舰船检测方法方法模型复杂、检测速度较慢的问题。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明提供的一种基于深度神经网络的船舰目标实时检测方法的流程示意图；
图2为本发明实施例中构建的精简深度神经网络的结构示意图；
图3为本发明实施例中进行通道剪裁后的网络结构示意图；
图4为本发明实施例中逆残差快的结构示意图；
图5为本发明实施例中小目标深度神经网络模型的结构示意图；
图6为本发明实施例中PR曲线的示意图；
图7为本发明实施例中对同一个目标进行两次数据增广的示意图；
图8为本发明实施例中对图像进行下采样的示意图。
具体实施方式
本发明的目的在于针对现有技术中的方法存在的方法模型复杂、检测速度较慢的的技术问题，提出一种适用于嵌入式系统，并可实现准实时遥感图像处理的舰船检测深度神经网络模型。
为达到上述目的，本发明的主要构思如下：
首先，建立针对小目标检测的实时深度神经网络模型；然后根据预设初始训练样本集构建小目标训练样本集，并进行目标最优尺寸范围测定，获得OSIT范围；接着进行ROO训练：基于OSIT范围利用小目标训练样本集对S1中针对小目标检测的实时深度神经网络模型进行训练，获得初始深度神经网络模型；再进行在线困难样本挖掘(OHEM：Online hardexample mining)训练：利用S3训练得到的初始深度神经网络模型对预设初始训练样本集进行舰船目标检测，得到检测结果，然后将检测中出现的困难负样本加入到困难负样本集，然后利用困难负样本集中的样本对S3训练得到的初始深度神经网络模型进行训练，得到优化后的深度神经网络模型；最后，建立遥感影像金字塔模型，并利用S4中获得的优化后的深度神经网络从金字塔底层开始，逐层进行舰船目标检测。
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本实施例提供了一种基于深度神经网络的船舰目标实时检测方法，请参见图1，该方法包括：
步骤S1：建立针对小目标检测的实时深度神经网络模型。
在一种实施方式中，步骤S1具体包括：
步骤S1.1：基于深度学习知识建立层数和参数数量符合预设条件的精简深度神经网络，其中，精简深度神经网络包括多个卷积层模块和残差模块，残差模块包括一个下采样卷积层和一个残差块；
步骤S1.2：对建立的精简深度神经网络进行通道数裁剪；
步骤S1.3：对残差块内部结构进行调整，采用两层卷积构建的逆残差块替换原有的残差块，得到调整后的深度神经网络结构；
步骤S1.4：设计用于深度神经网络训练的损失函数；
步骤S1.5：初始化网络参数，然后逐轮进行训练，其中，每轮训练中，根据当前深度神经网络输出的目标框和真实目标框，通过损失函数计算误差损失，并将误差损失沿深度神经网络反向传播更新网络参数，当误差损失降低到预先定义的阈值时，停止深度神经网络训练，得到针对小目标检测的实时深度神经网络模型。
具体来说，步骤S1.1中符合预设条件的精简深度神经网络是指层数精简、参数数量较少的神经网络，通过精简深度神经网络可以提高深度神经网络训练中误差反向传播时参数的更新速度，使得网络的单次检测和训练速度也得到较大提升。同时由于感受野的下降，减少了特征抽象，增加了细节信息，使得小目标的检测精度也得到提升。其中，精简深度神经网络如图2所示，图2包括(a)、(b)、(c)三部分。
图中(a)部分表示精简深度神经网络模型，其包括4个卷积层模块(conv2D)和4个残差模块(Residual Unit)，每个conv2D模块标明了滤波器尺寸和数量；(b)为精简深度神经网络模型中的Residual Unit模块构成，该模块由一个下采样卷积层和一个(c)中描述的Residual Block模块构成；(c)为(b)中Residual Block模块的构成，该模块通过添加跨越两个卷积层的旁路(shortcut)实现残差学习。图中箭头上的标注为输出数据的维度，W、H和N分别表示图像块的宽、高和通道数。
步骤S1.2：对建立的精简深度神经网络进行通道数裁剪，具体实现为：对S1.1中建立的深度神经网络进行通道数裁剪：对网络中每层的卷积核的数量进行调整，在对舰船检测精度影响不大的前提下，将卷积核数量降低为原来的1/4。通道数裁剪后的网络结构如图3所示。
通道数裁剪后的深度神经网络最后一层的特征图大小为32x32，对于其中每一个单元格，设置5种不同长宽的锚点框，每种锚点框的长宽可以利用K-means聚类自动生成，也就是通过将数据集中每个目标的长宽输入到K-means聚类器，得到长宽的最佳5个划分。每个锚点框预测一类舰船，所以最后一层特征图的通道数为5×(4+2)＝30，其中4为预测目标的四个坐标参数，2为置信度和类别概率。
步骤S1.3是对残差块内部结构进行调整，具体实施过程中，采用如图4所示的两层卷积构建的逆残差块(InvertedResidual)替换原有的残差块。
InvertedResidual残差块第一层为1x1卷积层，用于瓶颈压缩；第二层是3x3的可分离卷积层。可分离卷积层存在通道扩张，输入通道数和输出通道数是不同的，因此分组数应该和输入通道数设置成一致的，并设置扩张因子R(R默认为4)。
此外，为了减少Relu激活函数造成的信息损失，在第一层卷积进行瓶颈压缩时将Relu激活函数替换为线性函数；此外，第二层卷积进行的通道扩张也可减小Relu激活函数造成的信息损失。通过步骤1.3处理后的深度神经网络结果如图5所示。图5中的深度神经网络的FLOPs(floating-point operations per second每秒浮点运算次数)为1.603B，相比于目前计算性能最好的YOLOv3的65.287B，减小了近40倍。
再通过步骤S1.4设计用于深度神经网络训练的损失函数。具体过程如下：
每个舰船目标的锚点框都有6个输出，分别为4个目标框坐标参数tx、ty、tw、th，一个置信度c，和一个舰船类别概率p。需要说明的是，其中的坐标参数并不是坐标框的偏移，需要经过以下换算才能得到预测框位置：
Figure BDA0002239324820000101
式中ax，ay是以分类回归器中左上角的单元格为原点，当前锚点框偏移的单元格的数量。aw，ah分别为锚点框的长宽相对于单元格的长宽的比值。σ是logistic函数，用于将tx和ty的值归一化到0～1，防止预测框偏移出单元格范围，造成锚点框的线性回归输出不稳定。所以px，py为预测框中心相对于原点的偏移量，pw，ph是预测框的长宽相对于单元格长宽的比值。
然后计算预测框和目标框之间的损失。损失分为三个部分，分别为坐标框误差、置信度误差和分类误差。
坐标框误差loss1定义如下：
Figure BDA0002239324820000111
其中，S2为深度神经网络模型最后一层特征图的大小，B为每个单元格对应的锚点框的数量。xij，yij，wij，hij对应之前的tx，ty，tw，th。
Figure BDA0002239324820000112
是真实目标框的
Figure BDA0002239324820000113
为经过公式(8)换算后的值。λcoord为坐标损失的权重，通过公式(10)进行计算：
Figure BDA0002239324820000114
由公式(10)可知λcoord随
Figure BDA0002239324820000115
的增大而减小，从而增大小目标的损失权重，以提高小目标的检测精度。
Figure BDA0002239324820000116
的值为0或1，用于表示当前的锚点框是否预测了一个真实的目标框：当前锚点框与真实目标框的IOU是所有锚点框中最大的，并且大于预设的阈值(默认为0.3)，则
Figure BDA0002239324820000117
为0，否则为1。如果锚点框对应真实的目标框，则loss1＝0。
置信度误差loss2定义如下：
Figure BDA0002239324820000118
其中Cij是预测输出的置信度，
Figure BDA0002239324820000119
是真实目标置信度。
Figure BDA00022393248200001110
的值可以取0或1，取决于当前的锚点框是否为真实目标框，即
Figure BDA00022393248200001111
分类误差loss3定义如下：
Figure BDA00022393248200001112
其中σ(Pijk)是当前锚点框预测输出中属于第k类别的概率值，σ是logistic函数，用于将分类回归层的直接输出值Pijk归一化到实数区间[0,1]。classes为预测的类别数量，舰船目标检测只有舰船目标和非舰船目标两个类别，因此classes＝1。
总的误差损失loss为三者之和，即：
loss＝loss1+loss2+loss3 (13)
建立3)中深度神经网络结构后，先初始化网络参数，然后逐轮进行训练：每轮训练中，根据当前深度神经网络输出的目标框和真实目标框，按照(4.6)计算误差损失，通过将误差损失沿深度神经网络反向传播来更新网络参数。在误差损失降低到预先定义的阈值时，停止深度神经网络训练。
在构建深度神经网络结构后，在步骤S1.5中，初始化网络参数，然后逐轮进行训练，其中，每轮训练中，根据当前深度神经网络输出的目标框和真实目标框，通过损失函数计算(式13)误差损失，并将误差损失沿深度神经网络反向传播更新网络参数，当误差损失降低到预先定义的阈值时，停止深度神经网络训练，得到针对小目标检测的实时深度神经网络模型。
步骤S2：根据预设初始训练样本集构建小目标训练样本集，并进行目标最优尺寸范围测定，获得OSIT范围。
具体来说，OSIT的定义如下：
OSIT(Optimum scale interval of target)的输入是深度神经网络模型对一个数据集的预测框集合P、真实目标框的集合G、一个目标尺寸范围的集合R和一个检测精度AP(Average Precision)阈值，输出是R的子集，包括所有AP大于阈值的尺寸范围，即OSIT尺寸范围。尺寸范围是指基于像素的尺寸大小，对于任意的尺寸范围
Figure BDA0002239324820000121
其最小值记为Rjmin，最大值记为Rjmax。对于任意矩形目标框，其基于像素的长和宽分别记为h和w，令r＝max(w,h)，如果Rjmin＜r≤Rjmax，则该目标框属于Rj。检测精度AP的计算方法如下：
图像中的区域分为目标区域和非目标区域，预测框也可以分为正确预测框和错误预测框，对整个数据集统计4个数值：
TP(True Positive)：目标被正确预测且有正确预测框的数量；
FP(False Positive)：非目标被错误预测且有错误预测框的数量；
TN(True Negative)：目标被正确预测但没有正确预测框的数量；
FN(False Negative)：非目标被错误预测且没有正确预测框的数量；
按下式计算精确率Precision(Precision衡量所有的预测框中，有多少是正确的，对应着真实目标，即查准率)：
Figure BDA0002239324820000122
按下式计算召回率Recall(Recall衡量所有的真实目标中，有多少被预测出来了，存在对应的预测框，即查全率)：
Figure BDA0002239324820000131
以Precision为Y轴，Recall为X轴，绘制与图6类似的PR曲线。
PR曲线绘制步骤如下：
步骤一：假设真实目标框集合为G，G的元素个数为NG，初始化TP＝0，FP＝0，FN＝NG，同时设置IOU阈值IT。
步骤二：假设预测框的集合为P，对其中的元素按照置信度从大到小的顺序进行排序，并输出到队列S中。
步骤三：判断S是否为空：如果S为空，则PR曲线绘制完成，退出；如果S不空，从S取出队首元素Si；
步骤四：判断集合G中是否存在元素Gi和Si的IOU大于阈值IT：如果存在，则TP++(即TP递增)，同时如果Gi没有被标记，则FN--(FN递减)，并标记Gi；如果不存在，则FP++(FP递增)。重新计算Precision和Recall，并在PR曲线对应的位置上画点。转步骤三。
对绘制完成的PR曲线图，曲线与坐标轴之间形成的封闭区域(图中阴影区域)的面积即为检测精度AP。
在一种实施方式中，步骤S2中根据预设初始训练样本集构建小目标训练样本集，包括：
将预设初始训练样本集中包含的大舰船目标图像块下采样到小目标尺寸范围，形成小目标训练样本集。
在一种实施方式中，步骤S2中进行目标最优尺寸范围测定，得到OSIT范围，具体包括：
步骤S2.1：设置目标尺寸范围集合为R，其中，R的范围总和包含当前数据集中所有真实目标框的尺寸；
步骤S2.2：设置真实目标框集合为G，对真实目标框进行R尺寸划分，划分后的每个子集为Gj，其中，0≤j＜ng，
Figure BDA0002239324820000132
ng表示子集数量，对应的尺度范围为Rj，进行R尺寸划分后，每个真实目标框属于且仅属于R的一个子集Rj，0≤j＜ng；
步骤S2.3：设置置信度阈值CT，采用针对小目标检测的实时深度神经网络模型对测试集进行舰船目标检测，得到预测框集合P；
步骤S2.4：设置IOU阈值IT，遍历集合P，如果存在pi(pi∈P)与Gj的IOU大于IT，则将pi加入到子集Pj中，并将pi标记为已划分，pi∈P，0≤j＜ng；
步骤S2.5：对集合P中的剩余未划分元素p′i(p′i∈P)，p′i基于像素的长宽分别为w′i、h′i，根据预设OSIT方法计算p′i所属的划分Rj，将p′i加入到子集Pj中，并将p′i标记为已划分；
步骤S2.6：将Gj作为真实目标框集合，Pj作为预测框集合，计算划分子集Pj的平均精度APj，
步骤S2.7：设置AP阈值APT，如果APj≥APT，则将该划分对应的尺度Rj加入OSIT范围中。
具体地，预设OSIT方法即为上文步骤S2中介绍的方法。
步骤S3：基于OSIT范围利用小目标训练样本集对S1中针对小目标检测的实时深度神经网络模型进行训练，获得初始深度神经网络模型。
在一种实施方式中，当前深度神经网络的OSIT范围为(Cmin,Cmax]，步骤S3具体包括：
步骤S3.1：从训练集中读取所有的真实目标框，所有的真实目标框构成集合
Figure BDA0002239324820000141
步骤S3.2：获取目标图像大小
Figure BDA0002239324820000142
用以表示
Figure BDA0002239324820000143
及其周围一定区域剪切并缩放后输出图像的大小，其中，
Figure BDA0002239324820000144
表示当前真实目标框，在网络进行训练时，输入图像的大小即
Figure BDA0002239324820000145
并且So＞Cmax，输出的目标图像为
Figure BDA0002239324820000146
步骤S3.3：计算目标尺寸C，目标尺寸用以指定剪裁并缩放后，目标在
Figure BDA0002239324820000147
中的长边的长度，目标尺寸C的计算公式如下：
C＝random(Cmin,Cmax) (1)
步骤S3.4：计算偏移量Ex和Ey，偏移量Ex和Ey用以指定剪裁并缩放后，目标在Ti中相对于图像中心的x方向和y方向上的偏移量，计算方式如下：
Figure BDA0002239324820000148
式中，S为训练时输入图像的大小；
步骤S3.5：计算剪裁框
Figure BDA0002239324820000149
在原图中的四个坐标：
Figure BDA0002239324820000151
其中，
Figure BDA0002239324820000152
的四个坐标值为
Figure BDA0002239324820000153
是
Figure BDA0002239324820000154
的中心点坐标，
Figure BDA0002239324820000155
是
Figure BDA0002239324820000156
的长和宽，
Figure BDA0002239324820000157
的坐标
Figure BDA0002239324820000158
其中，
Figure BDA0002239324820000159
是剪裁框的中心点坐标，
Figure BDA00022393248200001510
Figure BDA00022393248200001511
是剪裁框的长宽；
步骤S3.6：对剪裁框进行剪裁，并缩放至S2大小，得到输出图像T，加入小目标训练样本集；
步骤S3.7：计算真实目标在T中的坐标位置，将得到的坐标位置作为真实目标框，加入到小目标训练样本集的标签文件中，坐标位置的计算公式为：
Figure BDA00022393248200001512
其中，T中的坐标位置为xl，yl，wl，hl，xl，yl是中心点坐标；
步骤S3.8：遍历当前图像中其余的真实目标框，如果目标框被包含在剪裁框内，则计算目标框在T中的坐标位置，如果wj∈(Cmin,Cmax]且hj∈(Cmin,Cmax]，则将该坐标位置作为真实目标框，加入到小目标训练样本集的标签文件中，目标框在T中的坐标位置计算公式为：
Figure BDA00022393248200001513
其中，T中的坐标位置为xj，yj，wj，hj；
步骤S3.9：利用标记好的小目标训练样本集对深度神经网络模型进行训练，得到初始深度神经网络模型。
具体来说，采用小目标训练样本集对S1中的小目标检测深度神经网络进行训练的方法称为ROO训练，可以使得采用小目标训练的深度神经网络在遥感图像金字塔中进行目标检测就可以实现不同尺寸的舰船目标检测。
目标尺寸C、偏移量Ex和Ey为增广属性值，这三个增广属性，用于对目标进行随机偏移和放大缩小，以增加样本数量，丰富训练集里的目标状态，增强网络的泛化性能。其中，对同一个目标进行2次数据增广如图7所示，其中目标的相对大小，偏移都不同。
步骤S4：利用S3训练得到的初始深度神经网络模型对预设初始训练样本集进行舰船目标检测，得到检测结果，然后将检测中出现的困难负样本加入到困难负样本集，然后利用困难负样本集中的样本对S3训练得到的初始深度神经网络模型进行训练，得到优化后的深度神经网络模型，其中，检测结果为检测到的船舰目标框中置信度大于置信度阈值CT的输出结果中的元素，困难负样本为与当前图像中所有真实目标Gj的IOU小于IOU阈值IT对应的元素。
具体来说，(OHEM：Online hard example mining)为在线困难样本挖掘，通过挖掘出困难负样本，对神经网络模型进行进一步训练。
在一种实施方式中，步骤S4具体包括：
步骤S4.1：设置置信度阈值CT、IOU阈值IT和负样本数量上限Pmax；
步骤S4.2：采用初始深度神经网络模型，对预设初始训练集进行金字塔检测，将检测到的船舰目标框中置信度大于阈值CT的输出，构建目标队列P；
步骤S4.3：针对队列P中的每个元素Pi，计算Pi与当前图像中所有真实目标Gj的IOU，即Iij，如果存在Iij≥IT，则将Pi标记为正样本，否则标记为困难负样本；
步骤S4.4:将P中的所有正样本从队列中删除；
步骤S4.5：将P中的所有元素Pi按照置信度Ci的从大到小顺序排序；
步骤S4.6：保留队列P中的前Pmax个元素，删除其余元素，如果队列P中的元素总个数少于Pmax，则保留全部元素；
步骤S4.7：针对当前队列P中的每个元素Pi，计算剪裁框
Figure BDA0002239324820000161
的坐标，将剪裁框
Figure BDA0002239324820000162
从原金字塔图像中剪裁下来，加入到困难负样本训练集中，其中，剪裁框
Figure BDA0002239324820000163
的坐标计算公式如下：
Figure BDA0002239324820000171
其中，Pi的中心点坐标位置为xi，yi，剪裁框
Figure BDA0002239324820000172
的坐标为
Figure BDA0002239324820000173
Ex，Ey分别表示剪裁并缩放后，目标在Ti中相对于图像中心的x方向和y方向上的偏移量，S为训练时输入图像的大小；
步骤S4.8：采用困难负样本集进行迭代训练，得到优化后的深度神经网络。
具体来说，采用困难负样本集进行下一次OHEM后的ROO迭代训练，从而可以得到性能进一步提升后的深度神经网络。
步骤S5：建立遥感影像金字塔模型，并利用S4中获得的优化后的深度神经网络从金字塔底层开始，逐层进行舰船目标检测。
在一种实施方式中，步骤S5具体包括：
步骤S5.1：采用S4中优化后的深度神经网络模型对长、宽均为S的遥感图像T进行目标检测，得到预测框集合P；
步骤S5.2：将原遥感图像进行预设次数步长为2的下采样，直到图像尺寸小于舰船目标的最小尺寸，构造图像金字塔；
步骤S5.3：对图
Figure BDA0002239324820000174
进行目标检测，得到预测框集合
Figure BDA0002239324820000175
步骤S5.4：针对集合
Figure BDA0002239324820000176
中任意目标预测框
Figure BDA0002239324820000177
通过公式(7)计算Pi的坐标，将计算得到的预测框Pi加入到预测框集合P中：
Figure BDA0002239324820000178
其中，
Figure BDA0002239324820000179
中目标预测框
Figure BDA00022393248200001710
的位置为
Figure BDA00022393248200001711
宽度、高度分别为
Figure BDA00022393248200001712
n-m表示原始遥感图像进行缩放的次数，S＝2n表示原始遥感图像的尺寸，必然存在m使得
Figure BDA00022393248200001713
Pi的坐标为px，py，pw，ph；
步骤S5.5：采用非极大值抑制NMS方法，去除P中的重复坐标框，得到多尺寸的预测框集合P，并将P作为最终检测结果输出。
具体来说，步骤S5.2中第i次下采样得到的图像金字塔第i层图像记为Ti，按照图8所示的方式，将图像金字塔各层图像拼接在和原图尺寸相同的图像
Figure BDA00022393248200001714
上，图中标号为1、2和3的阴影区域分别是第1、2和3次下采样后的遥感图像。这样一来，构造的图像
Figure BDA0002239324820000181
中，各个Ti之间不存在图像区域的邻接或重叠，因此不需要对Ti的图像边缘做特殊处理。
尽管已描述了本发明的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例做出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本发明范围的所有变更和修改。
显然，本领域的技术人员可以对本发明实施例进行各种改动和变型而不脱离本发明实施例的精神和范围。这样，倘若本发明实施例的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。

Claims (5)

1.一种基于深度神经网络的船舰目标实时检测方法，其特征在于，包括：
步骤S1：建立针对小目标检测的实时深度神经网络模型；
步骤S2：根据预设初始训练样本集构建小目标训练样本集，并进行目标最优尺寸范围测定，获得OSIT范围；
步骤S3：基于测定的OSIT范围，利用小目标训练样本集对S1中针对小目标检测的实时深度神经网络模型进行训练，获得初始深度神经网络模型；
步骤S4：利用S3训练得到的初始深度神经网络模型对预设初始训练样本集进行舰船目标检测，得到检测结果，然后将检测中出现的困难负样本加入到困难负样本集，然后利用困难负样本集中的样本对S3训练得到的初始深度神经网络模型进行训练，得到优化后的深度神经网络模型，其中，检测结果为检测到的舰船目标框中置信度大于置信度阈值CT的输出结果中的元素，困难负样本为与当前图像中所有真实目标框的IOU小于IOU阈值IT对应的元素；
步骤S5：建立遥感影像金字塔模型，并利用S4中获得的优化后的深度神经网络从金字塔底层开始，逐层进行舰船目标检测；
其中，步骤S2中进行目标最优尺寸范围测定，得到OSIT范围，具体包括：
步骤S2.1：设置目标尺寸范围集合为R，其中，R的范围总和包含当前数据集中所有真实目标框的尺寸；
步骤S2.2：设置真实目标框集合为G，对真实目标框进行R尺寸划分，划分后的每个子集为Gj，其中，0≤j＜ng，
Figure FDA0003778629140000011
ng表示子集数量，对应的尺度范围为Rj，进行R尺寸划分后，每个真实目标框属于且仅属于R的一个子集Rj，0≤j＜ng；
步骤S2.3：设置置信度阈值CT，采用针对小目标检测的实时深度神经网络模型对测试集进行舰船目标检测，得到预测框集合P；
步骤S2.4：设置IOU阈值IT，遍历集合P，如果存在pi与Gj的IOU大于IT，则将pi加入到子集Pj中，并将pi标记为已划分，pi∈P，0≤j＜ng；
步骤S2.5：对集合P中的剩余未划分元素p′i，p′i∈P，p′i基于像素的长宽分别为w′i、h′i，根据预设OSIT方法计算p′i所属的划分Rj，将p′i加入到子集Pj中，并将p′i标记为已划分；
步骤S2.6：将Gj作为真实目标框集合的子集，Pj作为预测框集合的子集，计算划分子集Pj的平均精度APj，
步骤S2.7：设置AP阈值APT，如果APj≥APT，则将该划分对应的尺度Rj加入OSIT范围中；
当前深度神经网络的OSIT范围为(Cmin，Cmax]，步骤S3具体包括：
步骤S3.1：从训练集中读取所有的真实目标框，所有的真实目标框构成集合
Figure FDA0003778629140000021
步骤S3.2：获取目标图像大小S2，S2用以表示
Figure FDA0003778629140000022
及其周围一定区域剪切并缩放后输出图像的大小，其中，
Figure FDA0003778629140000023
表示当前真实目标框，在网络进行训练时，输入图像的大小即S2，并且S＞Cmax，输出的目标图像为Tl；
步骤S3.3：计算目标尺寸C，目标尺寸用以指定剪裁并缩放后，目标在Tl中的长边的长度，目标尺寸C的计算公式如下：
C＝random(Cmin，Cmax) (1)
步骤S3.4：计算偏移量Ex和Ey，偏移量Ex和Ey用以指定剪裁并缩放后，目标在Tl中相对于图像中心的x方向和y方向上的偏移量，计算方式如下：
Figure FDA0003778629140000024
步骤S3.5：计算第一剪裁框
Figure FDA0003778629140000025
在原图中的四个坐标：
Figure FDA0003778629140000026
其中，
Figure FDA0003778629140000027
的四个坐标值为
Figure FDA0003778629140000028
是
Figure FDA0003778629140000029
的中心点坐标，
Figure FDA00037786291400000210
是
Figure FDA00037786291400000211
的长和宽，
Figure FDA00037786291400000212
的坐标
Figure FDA00037786291400000213
其中，
Figure FDA00037786291400000214
是第一剪裁框
Figure FDA00037786291400000215
的中心点坐标，
Figure FDA00037786291400000216
是第一剪裁框
Figure FDA00037786291400000217
的长宽；
步骤S3.6：根据第一剪裁框进行剪裁，并缩放至S2大小，得到输出图像Tl，加入小目标训练样本集；
步骤S3.7：计算真实目标在Tl中的坐标位置，将得到的坐标位置作为真实目标框，加入到小目标训练样本集的标签文件中，坐标位置的计算公式为：
Figure FDA00037786291400000218
其中，Tl中的坐标位置为xl，yl，wl，hl，xl，yl是中心点坐标；
步骤S3.8：遍历当前图像中其余的真实目标框，如果目标框被包含在剪裁框内，则计算目标框在Tl 中的坐标位置，如果wJ∈(Cmin，Cmax]且hJ∈(Cmin，Cmax]，则将该坐标位置作为真实目标框，加入到小目标训练样本集的标签文件中，目标框在Tl 中的坐标位置计算公式为：
Figure FDA0003778629140000031
其中，Tl 中的坐标位置为xJ，yJ，wJ，hJ；
步骤S3.9：利用标记好的小目标训练样本集对深度神经网络模型进行训练，得到初始深度神经网络模型。
2.如权利要求1所述的方法，其特征在于，步骤S1具体包括：
步骤S1.1：基于深度学习知识建立层数和参数数量符合预设条件的精简深度神经网络，其中，精简深度神经网络包括多个卷积层模块和残差模块，残差模块包括一个下采样卷积层和一个残差块；
步骤S1.2：对建立的精简深度神经网络进行通道数裁剪；
步骤S1.3：对残差块内部结构进行调整，采用两层卷积构建的逆残差块替换原有的残差块，得到调整后的深度神经网络结构；
步骤S1.4：设计用于深度神经网络训练的损失函数；
步骤S1.5：初始化网络参数，然后逐轮进行训练，其中，每轮训练中，根据当前深度神经网络输出的目标框和真实目标框，通过损失函数计算误差损失，并将误差损失沿深度神经网络反向传播更新网络参数，当误差损失降低到预先定义的阈值时，停止深度神经网络训练，得到针对小目标检测的实时深度神经网络模型。
3.如权利要求1所述的方法，其特征在于，步骤S2中根据预设初始训练样本集构建小目标训练样本集，包括：
将预设初始训练样本集中包含的大舰船目标图像块下采样到小目标尺寸范围，形成小目标训练样本集。
4.如权利要求1所述的方法，其特征在于，步骤S4具体包括：
步骤S4.1：设置置信度阈值CT、IOU阈值IT和负样本数量上限Pmax；
步骤S4.2：采用初始深度神经网络模型，对预设初始训练集进行金字塔检测，将检测到的船舰目标框中置信度大于阈值CT的输出，构建目标队列P’；
步骤S4.3：针对队列P’中的每个元素p′s，计算p′s与当前图像中所有真实目标Gw的IOU，即Isw，如果存在Isw≥IT，则将p′s标记为正样本，否则标记为困难负样本；
步骤S4.4：将P’中的所有正样本从队列中删除；
步骤S4.5：将P’中的所有元素p′s按照置信度Cs的从大到小顺序排序；
步骤S4.6：保留队列P’中的前Pmax个元素，删除其余元素，如果队列P’中的元素总个数少于Pmax，则保留全部元素；
步骤S4.7：针对当前队列P’中的每个元素p′s，计算第二剪裁框
Figure FDA0003778629140000041
的坐标，将第二剪裁框从原金字塔图像中剪裁下来，加入到困难负样本训练集中，其中，第二剪裁框的坐标计算公式如下：
Figure FDA0003778629140000042
其中，p′s的中心点坐标位置为xs，ys，第二剪裁框
Figure FDA0003778629140000043
的坐标为
Figure FDA0003778629140000044
和
Figure FDA0003778629140000045
Ex，Ey分别表示剪裁并缩放后，目标在Ts中相对于图像中心的x方向和y方向上的偏移量，S为训练时输入图像的大小；
步骤S4.8：采用困难负样本集进行迭代训练，得到优化后的深度神经网络。
5.如权利要求1所述的方法，其特征在于，步骤S5具体包括：
步骤S5.1：采用S4中优化后的深度神经网络模型对长、宽均为S的遥感图像T进行目标检测，得到预测框集合P；
步骤S5.2：将原遥感图像进行预设次数步长为2的下采样，直到图像尺寸小于舰船目标的最小尺寸，构造图像金字塔；
步骤S5.3：对图
Figure FDA0003778629140000046
进行目标检测，得到与图
Figure FDA0003778629140000047
对应的预测框集合
Figure FDA0003778629140000048
步骤S5.4：针对集合
Figure FDA0003778629140000049
中任意目标预测框
Figure FDA00037786291400000410
通过公式(7)计算Pk的坐标，将计算得到的预测框Pk加入到预测框集合P中：
Figure FDA00037786291400000411
其中，
Figure FDA00037786291400000412
中目标预测框
Figure FDA00037786291400000413
的位置为
Figure FDA00037786291400000414
宽度、高度分别为
Figure FDA00037786291400000415
n-m表示原始遥感图像进行缩放的次数，S＝2n表示原始遥感图像的尺寸，必然存在m使得
Figure FDA00037786291400000416
Pk的坐标为px，py，pw，ph；
步骤S5.5：采用非极大值抑制NMS方法，去除P中的重复坐标框，得到多尺寸的预测框集合P，并将P作为最终检测结果输出。
CN201910994505.7A 2019-10-18 2019-10-18 一种基于深度神经网络的船舰目标实时检测方法 Expired - Fee Related CN110796048B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910994505.7A CN110796048B (zh) 2019-10-18 2019-10-18 一种基于深度神经网络的船舰目标实时检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910994505.7A CN110796048B (zh) 2019-10-18 2019-10-18 一种基于深度神经网络的船舰目标实时检测方法

Publications (2)

Publication Number Publication Date
CN110796048A CN110796048A (zh) 2020-02-14
CN110796048B true CN110796048B (zh) 2022-11-04

Family

ID=69439376

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910994505.7A Expired - Fee Related CN110796048B (zh) 2019-10-18 2019-10-18 一种基于深度神经网络的船舰目标实时检测方法

Country Status (1)

Country Link
CN (1) CN110796048B (zh)

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111723657B (zh) * 2020-05-12 2023-04-07 中国电子系统技术有限公司 一种基于YOLOv3与自优化的河道异物检测方法及装置
CN112115009B (zh) * 2020-08-13 2022-02-18 中国科学院计算技术研究所 一种用于神经网络处理器的故障检测方法
CN112395969B (zh) * 2020-11-13 2023-06-30 中国人民解放军空军工程大学 一种基于特征金字塔的遥感图像旋转舰船检测方法
CN112700454B (zh) * 2020-12-28 2024-05-14 北京达佳互联信息技术有限公司 图像裁剪方法、装置、电子设备及存储介质
CN112863187B (zh) * 2021-01-18 2022-04-15 阿波罗智联(北京)科技有限公司 感知模型的检测方法、电子设备、路侧设备和云控平台
CN113361588B (zh) * 2021-06-03 2024-06-25 北京文安智能技术股份有限公司 基于图像数据增强的图像训练集生成方法和模型训练方法
CN113377991B (zh) * 2021-06-10 2022-04-15 电子科技大学 一种基于最难正负样本的图像检索方法
CN113553985A (zh) * 2021-08-02 2021-10-26 中再云图技术有限公司 一种基于人工智能高空烟雾检测识别方法，存储装置及服务器
CN113627310B (zh) * 2021-08-04 2023-11-24 中国电子科技集团公司第十四研究所 一种背景与尺度感知的sar舰船目标检测方法
CN113673596B (zh) * 2021-08-20 2022-06-03 自然资源部国土卫星遥感应用中心 一种基于历遍源目标的遥感影像目标检测样本生成方法
CN116052096B (zh) * 2023-03-31 2023-06-13 浙江华是科技股份有限公司 一种压缩数据船舶检测方法、系统及计算机存储介质
CN118171049B (zh) * 2024-05-13 2024-07-16 西南交通大学 一种基于大数据的边缘计算的电池管理方法及系统

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106599827A (zh) * 2016-12-09 2017-04-26 浙江工商大学 一种基于深度卷积神经网络的小目标快速检测方法
CN107169421A (zh) * 2017-04-20 2017-09-15 华南理工大学 一种基于深度卷积神经网络的汽车驾驶场景目标检测方法
CN108460382A (zh) * 2018-03-26 2018-08-28 西安电子科技大学 基于深度学习单步检测器的光学遥感图像舰船检测方法
CN108734219A (zh) * 2018-05-23 2018-11-02 北京航空航天大学 一种基于全卷积神经网络结构的端到端撞击坑检测与识别方法
CN109492561A (zh) * 2018-10-29 2019-03-19 北京遥感设备研究所 一种基于改进的yolo v2模型的光学遥感图像舰船检测方法
CN110223302A (zh) * 2019-05-08 2019-09-10 华中科技大学 一种基于旋转区域提取的舰船多目标检测方法
KR20190107984A (ko) * 2018-03-13 2019-09-23 재단법인대구경북과학기술원 샘플링 및 적응적으로 변경되는 임계치에 기초하여 뉴럴 네트워크를 학습하는데 이용되는 하드 네거티브 샘플을 추출하는 영상 학습 장치 및 상기 장치가 수행하는 방법

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106599827A (zh) * 2016-12-09 2017-04-26 浙江工商大学 一种基于深度卷积神经网络的小目标快速检测方法
CN107169421A (zh) * 2017-04-20 2017-09-15 华南理工大学 一种基于深度卷积神经网络的汽车驾驶场景目标检测方法
KR20190107984A (ko) * 2018-03-13 2019-09-23 재단법인대구경북과학기술원 샘플링 및 적응적으로 변경되는 임계치에 기초하여 뉴럴 네트워크를 학습하는데 이용되는 하드 네거티브 샘플을 추출하는 영상 학습 장치 및 상기 장치가 수행하는 방법
CN108460382A (zh) * 2018-03-26 2018-08-28 西安电子科技大学 基于深度学习单步检测器的光学遥感图像舰船检测方法
CN108734219A (zh) * 2018-05-23 2018-11-02 北京航空航天大学 一种基于全卷积神经网络结构的端到端撞击坑检测与识别方法
CN109492561A (zh) * 2018-10-29 2019-03-19 北京遥感设备研究所 一种基于改进的yolo v2模型的光学遥感图像舰船检测方法
CN110223302A (zh) * 2019-05-08 2019-09-10 华中科技大学 一种基于旋转区域提取的舰船多目标检测方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
Incorporating Negative SampDetection Based on Deep Learningle Training for Ship;Lianru Gao et al.;《sensorS》;20190228;第1-20页 *
Vehicle detection from high-resolution aerial images using spatial pyramid pooling-based deep convolutional neural networks;Tao Qu et al.;《Multimed Tools Appl》;20161107;第21651-21663页 *
残差网络下基于困难样本挖掘的目标检测;张超，陈莹;《激光与光电子学进展》;20181231;第101003-1—101003-7页 *

Also Published As

Publication number Publication date
CN110796048A (zh) 2020-02-14

Similar Documents

Publication Publication Date Title
CN110796048B (zh) 一种基于深度神经网络的船舰目标实时检测方法
CN110472627B (zh) 一种端到端的sar图像识别方法、装置及存储介质
CN109583369B (zh) 一种基于目标区域分割网络的目标识别方法及装置
CN113569667B (zh) 基于轻量级神经网络模型的内河船舶目标识别方法及系统
CN111738112B (zh) 基于深度神经网络和自注意力机制的遥感船舶图像目标检测方法
CN109101897A (zh) 水下机器人的目标检测方法、系统及相关设备
CN110765865B (zh) 基于改进的yolo算法的水下目标检测方法
CN111091095B (zh) 一种遥感图像中船只目标的检测方法
CN111079739B (zh) 一种多尺度注意力特征检测方法
CN111753682B (zh) 一种基于目标检测算法的吊装区域动态监控方法
CN110163207B (zh) 一种基于Mask-RCNN船舶目标定位方法及存储设备
CN113076871A (zh) 一种基于目标遮挡补偿的鱼群自动检测方法
WO2018000252A1 (zh) 高分辨遥感海洋图像的海背景建模与抑制的方法及系统
CN113487610B (zh) 疱疹图像识别方法、装置、计算机设备和存储介质
CN109165603B (zh) 一种舰船检测方法及装置
CN115019187B (zh) 针对sar图像船舶目标的检测方法、装置、设备及介质
CN116563726A (zh) 一种基于卷积神经网络的遥感图像舰船目标检测方法
CN111626295A (zh) 车牌检测模型的训练方法和装置
CN111368599A (zh) 遥感图像海面舰船检测方法、装置、可读存储介质及设备
CN113850783A (zh) 一种海面船舶检测方法及系统
CN116168240A (zh) 基于注意力增强的任意方向密集舰船目标检测方法
CN116645608A (zh) 一种基于YOLOX-Tiny有偏特征融合网络的遥感目标检测
CN114565824A (zh) 基于全卷积网络的单阶段旋转舰船检测方法
CN113610178A (zh) 一种基于视频监控图像的内河船舶目标检测方法和装置
CN113205139A (zh) 一种基于密度聚类的无人艇水上球体检测方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20221104