CN110070142A - 一种基于yolo神经网络的海上船只目标检测方法 - Google Patents

一种基于yolo神经网络的海上船只目标检测方法 Download PDF

Info

Publication number
CN110070142A
CN110070142A CN201910355661.9A CN201910355661A CN110070142A CN 110070142 A CN110070142 A CN 110070142A CN 201910355661 A CN201910355661 A CN 201910355661A CN 110070142 A CN110070142 A CN 110070142A
Authority
CN
China
Prior art keywords
neural network
convolution
yolo neural
characteristic pattern
yolo
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201910355661.9A
Other languages
English (en)
Inventor
谢少荣
徐海彬
李小毛
罗均
彭艳
蒲华燕
杨毅
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
University of Shanghai for Science and Technology
Original Assignee
University of Shanghai for Science and Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by University of Shanghai for Science and Technology filed Critical University of Shanghai for Science and Technology
Priority to CN201910355661.9A priority Critical patent/CN110070142A/zh
Publication of CN110070142A publication Critical patent/CN110070142A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07—Target detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Image Analysis (AREA)

Abstract

本发明属于计算机视觉技术领域，具体涉及一种基于YOLO神经网络的海上船只目标检测方法，包括以下步骤：（1）采集包含船只目标的图像数据；将采集到的图像数据按照3:1:1的比例随机划分为训练集、验证集和测试集；（2）利用训练集和验证集对YOLO神经网络进行训练，获取基于YOLO神经网络的检测模型；（3）利用步骤（2）获取的基于YOLO神经网络的检测模型对测试集中的图片进行检测；（4）对测试集的检测结果进行检测精度和实时性评价。本发明提出的基于YOLO神经网络的海上船只目标检测方法的具有较高的检测精度和良好的实时性。

Description

一种基于YOLO神经网络的海上船只目标检测方法
技术领域
本发明属于计算机视觉技术领域，具体涉及一种基于YOLO神经网络的海上船只目标检测方法。
背景技术
我国海洋资源丰富，海域辽阔，海洋资源势必将成为利用的重点，针对海上船只的目标检测将具有十分重要的研究意义。
目标检测技术是计算机视觉领域的三大任务之一，该任务旨在识别图片中目标的种类和位置。而海上船只目标检测是在目标检测的基础上进一步限定范围，首先场景选择在海上，其次针对的目标是海上的货船、浮标、小型船只等等。海上船只目标检测需要在获取的图像中找出所有船只，对其实现定位和分类。传统的海上船只目标检测方法中，SAR影像数据法利用船只与海面的反差特性，对船只的提取效果较好，但缺点在于无法得到船只的类别信息，其次SAR数据成本高昂；阈值分割法是通过对图像进行纹理滤波分析加上阈值分割，将船只候选区域与背景分割开，实现对海洋船只的提取，但缺点在于同样无法得到船只的类别信息，同时阈值选取随海面场景变化会改变，人为的调整阈值耗时耗力。
发明内容
为解决背景技术中存在的问题，本发明的目的在于提供一种能够获取过往船只类别的基于YOLO神经网络的海上船只目标检测方法。
基于上述目的，本发明采用的技术方案为：一种基于YOLO神经网络的海上船只目标检测方法，包括以下步骤：(1)采集包含船只目标的图像数据；将采集到的图像数据按照3:1:1的比例随机划分为训练集、验证集和测试集；(2)利用训练集和验证集对YOLO神经网络进行训练，获取基于YOLO神经网络的检测模型；(3)利用步骤(2)获取的基于YOLO神经网络的检测模型对测试集中的图片进行检测；(4)对测试集的检测结果进行检测精度和实时性评价。
进一步地，步骤(1)中所述的训练集、验证集和测试集彼此之间相互独立。
进一步地，步骤(2)中利用训练集和验证集对YOLO神经网络进行训练获取基于YOLO神经网络的检测模型的过程为：将训练集中的图像进行归一化处理，并将归一化后的图像输入至YOLO神经网络的backbone部分，得到感受野最小而尺度最大、感受野中等且尺度中等和感受野最大而尺度最小的三种不同尺度的特征图，分别对三种不同尺度的特征图输入至YOLO神经网络的head部分，进行上采样和特征融合后分别得到最大尺度下的张量数据、中等尺度下的张量数据和最小尺度下的张量数据，通过损失函数对张量数据相对于真实值进行计算，并经过反向传播求取梯度，进行权重更新，同时利用验证集进行验证，得到最终基于YOLO神经网络的检测模型。
进一步地，YOLO神经网络的backbone部分包括以下步骤：
A.归一化处理后的图像经过两个3×3的卷积后尺度缩小一半，随后依次经过一个残差模块、一个3×3卷积、两个残差模块、一个3×3卷积和八个残差模块后得到感受野最小而尺度最大的特征图；
B.所述感受野最小而尺度最大的特征图依次经过一个3×3卷积和八个残差模块后得到感受野中等且尺度中等的特征图；
C.所述感受野中等和尺度中等的特征图经过一个3×3卷积和八个残差模块后得到感受野最大而尺度最小的特征图。
进一步地，残差模块为依次经过一个1×1的卷积、一个3×3的卷积和残差操作的运算过程。
进一步地，所述YOLO神经网络的head部分包括：
a.在感受野最大而尺度最小的特征图上初始生成三种不同尺度的锚点框，随后依次经过一个3×3卷积、一个CONV模块、一个3×3卷积和一个1×1卷积得到最小尺度下的张量数据；
b.对感受野最大而尺度最小的特征图依次经过一个3×3卷积、一个CONV模块和一个1×1卷积后进行上采样，将上采样得到的特征图与YOLO网络的backbone部分得到的感受野中等和尺度中等的特征图通过concatenate方法进行特征融合，在特征融合后得到的特征图上初始生成三种不同尺度的锚点框，随后依次经过一个CONV模块、一个3×3卷积和1×1卷积后得到中等尺度下的张量数据；
c.对中等尺度的特征图进行特征融合后得到的特征图经过一个CONV模块和1×1卷积后进行上采样，将上采样得到的特征图与YOLO网络的backbone部分得到的感受野最小尺度最大的特征图通过concatenate方法进行特征融合，在特征融合后得到的特征图上初始生成三种不同尺度的锚点框，随后依次经过一个CONV模块、一个3×3卷积和1×1卷积后得到最大尺度下的张量数据。
进一步地，CONV模块是指依次经过一个1×1卷积、一个3×3卷积、一个1×1卷积、一个3×3卷积和一个1×1卷积的运算过程。
进一步地，步骤(3)中利用检测模型对测试集中的图片进行检测经过YOLO神经网络的backbone部分和head部分处理后，还经过置信度阈值过滤和非极大值抑制过滤后，输出检测结果。
进一步地，步骤(4)中以mAP作为评价检测精度的指标，评价指标mAP的计算过程如下：
①.计算IOU，即通过YOLO神经网络预测的框与实际的框的面积的交并比，IOU越大代表预测的框与实际的框更贴合，IOU大于阈值0.5代表正确预测，具体公式如下，
其中，Area of Overlap代表预测的框与实际的框的交集区域面积，Area ofUnion代表检测的框与实际的框的并集区域面积；
②.计算某一张图像类C的精度，具体公式如下，
其中，N(TruePositions)C代表某一张图像中正确预测的类别C的数量，N(TotalObjects)C代表某一张图像中属于类别C的目标实际数量，PrecesionC代表某一张图像中类别C的精度；
③.计算测试集所有图像类C的平均精度，具体公式如下，
其中，ΣPrecesionC代表测试集所有图像的类别C的精度之和，N(Total images)C代表测试集中含有类别C的图像数目，Average PrecesionC代表类别C的平均精度；
④.计算mAP，具体公式如下，
其中，ΣAverage Precesion代表测试集所有类别的平均精度之和，N(classes)代表测试集类别总数，MeanAverage Precesion代表mAP，即均值平均精度。
进一步地，步骤(4)中以FPS作为评价实时性的指标，所述FPS由程序统计检测每张图片所需时间而得，FPS表示图片检测的速率。
与现有技术相比，本发明的有益效果为：
本发明提出的基于YOLO神经网络的海上船只目标检测方法对大货船、小船和浮标的检测精度分别为70.2％、72.4％和73.1％，检测速度为0.02s/张，本发明所述的检测方法具有较高的检测精度和良好的实时性。
本发明通过对采集到的海上船只图像数据经过YOLO算法处理，即可获取所采集的图像数据中船只的类别信息，相对于现有的无法获取船只类别信息或者需要人为不断地调整阈值来获取船只类别信息的方式，本发明所述的检测方法更加便捷高效。
附图说明
图1为本发明基于YOLO神经网络对海上船只目标进行检测的整体流程图；
图2为本发明基于YOLO神经网络对海上船只目标进行检测的详细流程图；
图3为图2中的输入图像；
图4为图2中的输出图像；
图5为本发明的实际测试效果图；
图6为本发明的实际测试效果图；
图7为本发明的实际测试效果图；
图8为本发明的实际测试效果图。
具体实施方式
结合附图1-6和表1对本发明作进一步的说明。
一种基于YOLO神经网络的海上船只目标检测方法，包括以下步骤：
(1)图像数据的采集：通过搭载在无人艇艇体上的摄像头从广东、青岛等地的不同港口海域采集包含船只目标的图像数据，得到以下子数据集crossover01、crossover02、crossships、leftright、leftrightback、rightleft、smallships01、smallships02、threeships、threesmallships和twoships，其中每个子数据集包含100-300张左右的图片，如表1所示。
表1各个子数据集的训练集、验证集和测试集详细划分表
数据集 训练集 测试集 验证集
crossover01 194 82 69
crossover02 150 64 53
crossships 89 37 31
leftright 63 26 22
leftrightback 116 49 41
rightleft 70 29 24
smallships01 162 69 57
smallships02 115 48 40
threeships 126 53 44
threesmallships 108 46 38
twoships 51 21 18
总数 1244 524 437
(2)图像数据集的划分：对每个子数据集按照3∶1∶1的比例随机划分为训练集、验证集和测试集，最终训练集共计1244张图片，验证集共计437张图片，测试集共计524张图片，训练集、验证集和测试集之间相互独立，数据集的具体划分如表1所示；并对所有采集到的图片中的船只进行标注，鉴于采集到的海上船只目标稀少，故仅标注了三个类别，即cargoship(大货船)、buoy(浮标)和vessel(小船)。
(3)设置最初训练过程中神经网络的超参数和预训练权重参数，通过YOLO神经网络对训练集图像和验证集图像进行训练，获取最终的基于YOLO神经网络的检测模型。
其中，初始设置的超参数中初始学习率为0.1，初始迭代次数为50000次，batch_size设为64，采用随机梯度下降，动量参数momentum设为0.9，权重衰减设为0.0005；预训练权重参数中预训练基础神经网络采用darknet53神经网络，数据集基于Imagenet数据集，训练160轮得到初始化权重。
YOLO神经网络分为backbone部分和head部分，其中的backbone部分为darknet53基础神经网络去除最后的全局平均池化层、全连接层和softmax分类层后darknet53基础神经网络的其余部分。
通过YOLO神经网络对训练集图像和验证集图像进行训练以获取最终的基于YOLO神经网络的检测模型的总体过程如图1所示，具体为：首先将训练集中的图像进行归一化处理，并将归一化后的图像输入至YOLO神经网络的backbone部分，得到三种不同尺度的特征图，分别对三种不同尺度的特征图输入至YOLO神经网络的head部分，进行上采样和特征融合后得到三种不同的张量数据，通过损失函数对张量数据相对于真实值进行计算，并反向传播求取梯度进行权重更新，同时在验证集下进行验证，得到最终基于YOLO神经网络的检测模型。
基于YOLO神经网络对训练集图像和验证集图像进行训练以获取最终的检测模型的具体过程如图2所示，具体如下：
①.将训练集中的图像尺寸进行归一化处理，即将训练集中的所有图像尺寸归一化到416×416×3大小的特征图；
②.将归一化后的图像输入至YOLO神经网络中的backbone部分，得到三种不同尺度的特征图，即将归一化后的416×416×3大小的特征图在经过两个3×3的卷积后尺度缩小一半，得到208×208×64的特征图，随后经过一个残差模块后，特征图的尺寸不变，依旧为208×208×64，随后经过一个3×3卷积后，尺度缩小一半，通道数增大1倍，得到104×104×128的特征图，经过两个残差模块，特征图的尺寸不变，为104×104×128，经过一个3×3卷积后得到52×52×256的特征图，再经过八个残差模块后，得到52×52×256的特征图，该52×52×256的特征图为随后参与YOLO神经网络head部分进行特征融合的最大尺度的特征图，感受野最小，负责检测小目标。
该52×52×256的特征图经过一个3×3卷积和八个残差模块后，得到中等尺度的26×26×512的特征图，该26×26×512的特征图为随后参与YOLO神经网络head部分进行特征融合的中等尺度的特征图，拥有中等大小的感受野，负责检测中等大小的目标。
该26×26×512的特征图经过一个3×3卷积和四个残差模块得到13×13×1024的最小尺度的特征图，拥有最大的感受野，负责检测大目标。
其中，残差模块指的是依次经过一个1×1的卷积、一个3×3的卷积和残差操作的运算过程。
③.将步骤②中指明参与YOLO神经网络head部分的三种不同尺寸的特征图输入至YOLO神经网络的head部分进行上采样和特征融合得到三种不同尺度的张量数据，即在小尺度的13×13×1024的特征图上初始生成三种不同尺度的锚点框，大小为{(116×90)，(156×198)，(373×326)}，每种尺度的锚点框的数目为13×13个，随后依次经过一个3×3卷积、一个CONV模块得到13×13×512的特征图，随后该13×13×512的特征图依次经过一个3×3卷积和一个1×1卷积对锚点框进行位置修正以及对框内所包含的目标进行分类，输出13×13×24的张量数据，张量数据包含了最小尺度下修正框所预测的各个类别得分、置信度得分、修正框的中心坐标、宽度及高度。
将小尺度的13×13×1024的特征图依次经过一个3×3卷积、一个CONV模块得到13×13×512的特征图，该13×13×512的特征图经过一个1×1卷积后得到13×13×256的特征图，对13×13×256的特征图进行上采样得到得到26×26×256的特征图，再将该26×26×256的特征图与YOLO神经网络中backbone部分得到的中等尺度的26×26×512的特征图通过concatenate方法进行特征融合，得到26×26×768大小的特征图。随后在26×26×768的特征图上初始生成三种不同尺度的锚点框，三种不同尺度的锚点框的大小为{(30×61)，(62×45)，(59×119)}，每种尺度的锚点框的数目为26×26个，再依次经过一个CONV模块、一个3×3卷积和1×1卷积对锚点框进行位置修正以及对框内所包含的目标进行分类，输出26×26×24的张量数据，该张量数据包含了中等尺度下修正框所预测的各个类别得分、置信度得分、修正框的中心坐标、宽度及高度。
将26×26×768的特征图经过一个CONV模块，得到26×26×256的特征图，对该26×26×256的特征图经过1×1卷积后得到26×26×128的特征图，对该26×26×128的特征图进行上采样得到52×52×128的特征图，再将该52×52×128的特征图与YOLO神经网络中backbone部分得到的最大尺度的52×52×256的特征图通过concatenate方法进行特征融合，得到52×52×384的特征图，随后在该52×52×384的特征图上三种不同尺度的锚点框，三种锚点框的大小为{(10×13)，(16×30)，(33×23)}，每种尺度的锚点框的数目为52×52个，再依次经过一个CONV模块、一个3×3卷积和1×1卷积对锚点框进行位置修正以及对框内所包含的目标进行分类，输出52×52×24的张量数据，该52×52×24的张量数据包含了最大尺度下修正框对应的各个类别得分、置信度得分、修正框的中心坐标、宽度及宽高。
上述的CONV模块是指依次经过一个1×1卷积、一个3×3卷积、一个1×1卷积、一个3×3卷积和一个1×1卷积的运算过程。
④.通过损失函数计算每个预测的修正框的类别得分、置信度得分、框的中心坐标和宽高相对于真实的标定框类别、中心坐标和宽高的损失，经过反向传播求取梯度进行权重更新，得到更新后的权重参数，按照所述方法，设置学习速率为0.1进行迭代1000轮后得到训练1000轮下的模型，记录的损失曲线损失值震荡剧烈，同时在验证集下进行验证，发现精度低，选择降低学习速率到0.01；继续观察损失曲线并每迭代500轮在验证集上验证一次，根据损失曲线和验证集上的检测效果调整学习率。最终的学习率情况如下：0-1000为0.1，1000-5000为0.01，5000-15000为0.001，15000-20000为0.0001,20000次时模型收敛，训练停止，得到迭代20000次后最终的基于YOLO神经网络的检测模型。
(4)利用经过训练后得到基于YOLO神经网络的海上船只目标检测模型，对测试集中的图片进行海上船只目标检测，即将测试集中的图像尺寸进行归一化处理，将测试集中的所有图像尺寸归一化至416×416×3大小的特征图，对归一化后大小为416×416×3的特征图依次经过上述步骤②和步骤③后得到三种不同尺度下的张量数据，即三种不同尺度下的修正框对应的各个类别、置信度得分和修正框的中心坐标、宽度及高度。
(5)对三种不同尺度下的张量数据中的修正框进行置信度阈值过滤，即对三种不同尺度下的修正框中所对应类别得分的高低来判断检测目标的所述类别，譬如检测到的三种修正框的得分分别为0.8、0.5和0.2，则得分为0.8的为大货船，得分为0.5的为小船，得分为0.2的则为浮标；根据修正框的中心坐标、宽度和高度得到原图上修正框的具体位置，随后，按照置信度得分设定阈值为0.5，排出置信度得分低于0.5的修正框作为第一次过滤。
(6)对经过第一次筛选得到的修正框进行非极大值抑制的第二次过滤，具体过程为如下，针对第一次筛选得到的框，假如一张图中有6个框(A、C、D、F、E、B)的类别都预测的是大货船，按照类别得分由低到高排序依次为A、B、C、D、E、F；从最大概率框F开始，分别判断A-E与F的重叠度IOU是否大于设定的阈值0.45，假如B、D与F的重叠度高于阈值，那么就舍弃B、D，并标记F为保留下的框；在接下来的A、C、E框中，选取最大类别得分的E，判断A、C与E的重叠度IOU是否高于阈值0.45，如果A、C与E的重叠度IOU都高于阈值0.45，就舍弃A、C，得到最终的检测框F、E；如果A、C中仅A与E的重叠度IOU高于阈值0.45，则最终的检测框为F、E、C；如果A、C与E的IOU都低于阈值0.45，则保留F、E，并选取A、C中类别得分更高的C，判断A与C的IOU阈值是否大于阈值0.45，若大于，则最终的检测框为F、E、C，若小于则最终的检测框为F、E、A、C；对其余类别同理进行二次筛选，最终通过非极大值抑制进行第二次过滤后能够得到最终的检测框。
(7)经过上述步骤(4)基于YOLO神经网络对测试集中部分图像进行海上船只目标检测，随后经过步骤(5)对检测修正框进行置信度阈值过滤，再经过步骤(6)对经过置信度阈值过滤的修正框进行非极大值抑制过滤，最终输出的图像结果如图5、图6、图7和图8所示。
(8)利用步骤(7)所述的基于YOLO神经网络的对测试集内所有的图片进行检测后通过计算mAP和FPS进行性能评估；其中mAP用于反映目标检测精度，FPS用于反映目标检测速度。
评价指标mAP的计算过程如下：
1)计算IOU，即通过YOLO神经网络预测的框与实际的框的面积的交并比，IOU越大代表预测的框与实际的框更贴合，IOU大于阈值0.5代表正确预测，具体公式如下：
其中，Area of Overlap代表预测的框与实际的框的交集区域面积，
Area of Union代表检测的框与实际的框的并集区域面积。
2)计算某一张图像类C的精度，具体公式如下：
其中，N(TruePositions)C代表某一张图像中正确预测的类别C的数量，
N(Total Objects)C代表某一张图像中属于类别C的目标实际数量，
PrecesionC代表某一张图像中类别C的精度。
3)计算测试集所有图像类C的平均精度，具体公式如下：
其中，ΣPrecesionC代表测试集所有图像的类别C的精度之和，
N(Total images)C代表测试集中含有类别C的图像数目，
Average PrecesionC代表类别C的平均精度。
4)计算mAP，具体公式如下：
其中，ΣAverage Precesion代表测试集所有类别的平均精度之和，
N(classes)代表测试集类别总数，
MeanAverage Precesion代表mAP，即均值平均精度。
通过上述的mAP评价指标的计算，得出海面船只数据集中的三种类别的精度分别如下：大货船(70.2％)、小船(72.4％)、浮标(73.1％)，综合的mAP为71.9％，表明本发明提出的基于YOLO神经网络的海上船只目标检测方法的检测精度较高。
通过程序统计检测每张图片的时间对FPS进行统计，FPS为0.02s/张，表明本发明提出的基于YOLO神经网络的海上船只目标检测方法完全能够满足实时性的要求。
相比于无人驾驶等领域应用场景的复杂多变，海面上场景单一，干扰物相比于陆地上而言要少得多，适于利用卷积神经网络对海上船只等目标进行检测。同时，本发明所述的检测方法能够运用到无人艇上，无人艇是一种新型的小型智能化船只，可搭载多传感器完成海上搜救、港口巡逻等任务，将本发明所述的方法运用在无人艇上，无人艇在执行港口巡逻任务时，可以对过往船只等目标进行检测，并对其分类，在得到船只信息后发送到后台，提前进行预警，全程不需要人在一线，既安全又节约了成本，还可以实现高度的无人化、智能化。

Claims (10)

1.一种基于YOLO神经网络的海上船只目标检测方法，其特征在于，包括以下步骤：
(1)采集包含船只目标的图像数据；将采集到的图像数据按照3:1:1的比例随机划分为训练集、验证集和测试集；
(2)利用训练集和验证集对YOLO神经网络进行训练，获取基于YOLO神经网络的检测模型；
(3)利用步骤(2)获取的基于YOLO神经网络的检测模型对测试集中的图片进行检测；
(4)对测试集的检测结果进行检测精度和实时性评价。
2.根据权利要求1所述的基于YOLO神经网络的海上船只目标检测方法，其特征在于，步骤(1)中所述的训练集、验证集和测试集彼此之间相互独立。
3.根据权利要求2所述的基于YOLO神经网络的海上船只目标检测方法，其特征在于，所述步骤(2)中利用训练集和验证集对YOLO神经网络进行训练获取基于YOLO神经网络的检测模型的过程为：
将训练集中的图像进行归一化处理，并将归一化后的图像输入至YOLO神经网络的backbone部分，得到感受野最小而尺度最大、感受野中等且尺度中等和感受野最大而尺度最小的三种不同尺度的特征图，分别对三种不同尺度的特征图输入至YOLO神经网络的head部分，进行上采样和特征融合后分别得到最大尺度下的张量数据、中等尺度下的张量数据和最小尺度下的张量数据，通过损失函数对张量数据相对于真实值进行计算，并经过反向传播求取梯度，进行权重更新，同时利用验证集进行验证，最终得到基于YOLO神经网络的检测模型。
4.根据权利要求3所述的基于YOLO神经网络的海上船只目标检测方法，其特征在于，所述YOLO神经网络的backbone部分包括以下步骤：
A.归一化处理后的图像经过两个3×3的卷积后尺度缩小一半，随后依次经过一个残差模块、一个3×3卷积、两个残差模块、一个3×3卷积和八个残差模块后得到感受野最小而尺度最大的特征图；
B.所述感受野最小而尺度最大的特征图依次经过一个3×3卷积和八个残差模块后得到感受野中等且尺度中等的特征图；
C.所述感受野中等和尺度中等的特征图经过一个3×3卷积和八个残差模块后得到感受野最大而尺度最小的特征图。
5.根据权利要求4所述的基于YOLO神经网络的海上船只目标检测方法，其特征在于，所述残差模块为依次经过一个1×1的卷积、一个3×3的卷积和残差操作的运算过程。
6.根据权利要求3-5任一所述的基于YOLO神经网络的海上船只目标检测方法，其特征在于，所述YOLO神经网络的head部分包括：
a.在感受野最大而尺度最小的特征图上初始生成三种不同尺度的锚点框，随后依次经过一个3×3卷积、一个CONV模块、一个3×3卷积和一个1×1卷积得到最小尺度下的张量数据；
b.对感受野最大而尺度最小的特征图依次经过一个3×3卷积、一个CONV模块和一个1×1卷积后进行上采样，将上采样得到的特征图与YOLO网络的backbone部分得到的感受野中等和尺度中等的特征图通过concatenate方法进行特征融合，在特征融合后得到的特征图上初始生成三种不同尺度的锚点框，随后依次经过一个CONV模块、一个3×3卷积和1×1卷积后得到中等尺度下的张量数据；
c.对中等尺度的特征图进行特征融合后得到的特征图经过一个CONV模块和1×1卷积后进行上采样，将上采样得到的特征图与YOLO网络的backbone部分得到的感受野最小尺度最大的特征图通过concatenate方法进行特征融合，在特征融合后得到的特征图上初始生成三种不同尺度的锚点框，随后依次经过一个CONV模块、一个3×3卷积和1×1卷积后得到最大尺度下的张量数据。
7.根据权利要求6所述的基于YOLO神经网络的海上船只目标检测方法，其特征在于，所述CONV模块是指依次经过一个1×1卷积、一个3×3卷积、一个1×1卷积、一个3×3卷积和一个1×1卷积的运算过程。
8.根据权利要求7所述的基于YOLO神经网络的海上船只目标检测方法，其特征在于，所述步骤(3)中利用检测模型对测试集中的图片进行检测经过YOLO神经网络的backbone部分和head部分处理后，还经过置信度阈值过滤和非极大值抑制过滤后，输出检测结果。
9.根据权利要求8所述的基于YOLO神经网络的海上船只目标检测方法，其特征在于，所述步骤(4)中以mAP作为评价检测精度的指标，评价指标mAP的计算过程如下：
1)计算IOU，即通过YOLO神经网络预测的框与实际的框的面积的交并比，IOU越大代表预测的框与实际的框更贴合，IOU大于阈值0.5代表正确预测，具体公式如下，
其中，Area of Overlap代表预测的框与实际的框的交集区域面积，
Area of Union代表检测的框与实际的框的并集区域面积；
2)计算某一张图像类C的精度，具体公式如下，
其中，N(TruePositions)C代表某一张图像中正确预测的类别C的数量，
N(Total Objects)C代表某一张图像中属于类别C的目标实际数量，
PrecesionC代表某一张图像中类别C的精度；
3)计算测试集所有图像类C的平均精度，具体公式如下，
其中，ΣPrecesionC代表测试集所有图像的类别C的精度之和，
N(Total images)C代表测试集中含有类别C的图像数目，
AveragePrecesionC代表类别C的平均精度；
4)计算mAP，具体公式如下，
其中，ΣAveragePrecesion代表测试集所有类别的平均精度之和，
N(classes)代表测试集类别总数，
MeanAveragePrecesion代表mAP，即均值平均精度。
10.根据权利要求9所述的基于YOLO神经网络的海上船只目标检测方法，其特征在于，所述步骤(4)中以FPS为评价实时性的指标，所述FPS由程序统计检测每张图片所需时间而得，FPS表示图片检测的速率。
CN201910355661.9A 2019-04-29 2019-04-29 一种基于yolo神经网络的海上船只目标检测方法 Pending CN110070142A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910355661.9A CN110070142A (zh) 2019-04-29 2019-04-29 一种基于yolo神经网络的海上船只目标检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910355661.9A CN110070142A (zh) 2019-04-29 2019-04-29 一种基于yolo神经网络的海上船只目标检测方法

Publications (1)

Publication Number Publication Date
CN110070142A true CN110070142A (zh) 2019-07-30

Family

ID=67369411

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910355661.9A Pending CN110070142A (zh) 2019-04-29 2019-04-29 一种基于yolo神经网络的海上船只目标检测方法

Country Status (1)

Country Link
CN (1) CN110070142A (zh)

Cited By (33)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110427030A (zh) * 2019-08-08 2019-11-08 上海大学 一种基于Tiny-YOLOship目标检测算法的无人艇自主对接回收方法
CN110807496A (zh) * 2019-11-12 2020-02-18 智慧视通(杭州)科技发展有限公司 一种密集目标检测方法
CN110826428A (zh) * 2019-10-22 2020-02-21 电子科技大学 一种高速的sar图像中船只检测方法
CN110826520A (zh) * 2019-11-14 2020-02-21 燕山大学 一种基于改进YOLOv3-tiny算法的港口抓斗检测方法
CN110852222A (zh) * 2019-10-31 2020-02-28 上海交通大学 一种基于目标检测的校园走廊场景智能监控方法
CN110991359A (zh) * 2019-12-06 2020-04-10 重庆市地理信息和遥感应用中心(重庆市测绘产品质量检验测试中心) 基于多尺度深度卷积神经网络的卫星图像目标检测方法
CN110991385A (zh) * 2019-12-13 2020-04-10 珠海大横琴科技发展有限公司 一种识别船只行驶轨迹的方法、装置及电子设备
CN111027589A (zh) * 2019-11-07 2020-04-17 成都傅立叶电子科技有限公司 一种多分制目标检测算法评价系统及方法
CN111104906A (zh) * 2019-12-19 2020-05-05 南京工程学院 一种基于yolo的输电塔鸟巢故障检测方法
CN111126278A (zh) * 2019-12-24 2020-05-08 北京邮电大学 针对少类别场景的目标检测模型优化与加速的方法
CN111523530A (zh) * 2020-04-13 2020-08-11 南京行者易智能交通科技有限公司 一种目标检测中分数图的映射方法及目标检测方法
CN111523363A (zh) * 2019-12-27 2020-08-11 珠海大横琴科技发展有限公司 基于电子围网的雷达影像船只识别方法、装置及电子设备
CN111553182A (zh) * 2019-12-26 2020-08-18 珠海大横琴科技发展有限公司 一种船只检索方法、装置及电子设备
CN111639651A (zh) * 2019-12-26 2020-09-08 珠海大横琴科技发展有限公司 一种基于全连接层特征提取的船只检索方法及装置
CN111652321A (zh) * 2020-06-10 2020-09-11 江苏科技大学 一种基于改进yolov3算法的海上船舶检测方法
CN111667450A (zh) * 2019-12-23 2020-09-15 珠海大横琴科技发展有限公司 一种船只数量统计方法、装置及电子设备
CN111695398A (zh) * 2019-12-24 2020-09-22 珠海大横琴科技发展有限公司 一种小目标船只识别方法、装置及电子设备
CN111898699A (zh) * 2020-08-11 2020-11-06 海之韵(苏州)科技有限公司 一种船体目标自动检测识别方法
CN112036404A (zh) * 2020-08-31 2020-12-04 上海大学 一种海上船只目标检测方法及系统
CN112115009A (zh) * 2020-08-13 2020-12-22 中国科学院计算技术研究所 一种用于神经网络处理器的故障检测方法
CN112183463A (zh) * 2020-10-23 2021-01-05 珠海大横琴科技发展有限公司 基于雷达图像的船只识别模型的验证方法及装置
CN112285712A (zh) * 2020-10-15 2021-01-29 电子科技大学 一种提高sar图像中靠岸船只检测精度的方法
CN112307853A (zh) * 2019-08-02 2021-02-02 成都天府新区光启未来技术研究院 航拍图像的检测方法、存储介质和电子装置
CN112381560A (zh) * 2020-10-23 2021-02-19 东北石油大学 一种共享设备产品市场预测系统及方法
CN112487915A (zh) * 2020-11-25 2021-03-12 江苏科技大学 一种基于Embedded YOLO算法的行人检测方法
CN112766221A (zh) * 2021-02-01 2021-05-07 福州大学 基于船舶方向和位置多任务的sar图像船舶目标检测方法
CN113051969A (zh) * 2019-12-26 2021-06-29 深圳市超捷通讯有限公司 物件识别模型训练方法及车载装置
CN113313708A (zh) * 2021-06-30 2021-08-27 安徽工程大学 基于深度神经网络的水果检测方法及系统
CN113419075A (zh) * 2021-05-31 2021-09-21 广州忘平信息科技有限公司 基于双目视觉的船舶测速方法、系统、装置和介质
CN113901944A (zh) * 2021-10-25 2022-01-07 大连理工大学 一种基于改进的yolo算法的海洋生物目标检测方法
CN113989693A (zh) * 2021-09-15 2022-01-28 南京邮电大学 基于Yolo Backbone优化的船舶非法卸砂行为识别方法及系统
CN114048800A (zh) * 2021-10-21 2022-02-15 哈尔滨工程大学 一种视觉信息海上目标识别多源混合数据集构建方法
CN115115974A (zh) * 2022-06-08 2022-09-27 中国船舶集团有限公司系统工程研究院 基于神经网络的智能航行态势感知系统

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108921099A (zh) * 2018-07-03 2018-11-30 常州大学 一种基于深度学习的航道内运动船舶目标检测方法
CN109165585A (zh) * 2018-06-15 2019-01-08 沈阳理工大学 一种改进的基于yolo v2的船舶目标检测方法
CN109657541A (zh) * 2018-11-09 2019-04-19 南京航空航天大学 一种基于深度学习的无人机航拍图像中的船舶检测方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109165585A (zh) * 2018-06-15 2019-01-08 沈阳理工大学 一种改进的基于yolo v2的船舶目标检测方法
CN108921099A (zh) * 2018-07-03 2018-11-30 常州大学 一种基于深度学习的航道内运动船舶目标检测方法
CN109657541A (zh) * 2018-11-09 2019-04-19 南京航空航天大学 一种基于深度学习的无人机航拍图像中的船舶检测方法

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
JOSEPH REDOMON 等: "YOLOv3:An Incremental Improvement", 《ARXIV》 *
小绿叶: "一文看懂YOLOv3", 《HTTPS：//ZHUANLAN.ZHIHU.COM/P/60944510》 *
隅子酱: "YOLOv1到v3的进化之路", 《HTTPS：//ZHUANLAN.ZHIHU.COM/P/44092856》 *
雷维卓: "基于 YOLOv2 的实时目标检测研究", 《中国优秀硕士学位论文全文数据库 信息科技辑》 *

Cited By (49)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112307853A (zh) * 2019-08-02 2021-02-02 成都天府新区光启未来技术研究院 航拍图像的检测方法、存储介质和电子装置
CN110427030A (zh) * 2019-08-08 2019-11-08 上海大学 一种基于Tiny-YOLOship目标检测算法的无人艇自主对接回收方法
CN110826428A (zh) * 2019-10-22 2020-02-21 电子科技大学 一种高速的sar图像中船只检测方法
CN110852222A (zh) * 2019-10-31 2020-02-28 上海交通大学 一种基于目标检测的校园走廊场景智能监控方法
CN111027589A (zh) * 2019-11-07 2020-04-17 成都傅立叶电子科技有限公司 一种多分制目标检测算法评价系统及方法
CN111027589B (zh) * 2019-11-07 2023-04-18 成都傅立叶电子科技有限公司 一种多分制目标检测算法评价系统及方法
CN110807496B (zh) * 2019-11-12 2023-06-16 杭州云栖智慧视通科技有限公司 一种密集目标检测方法
CN110807496A (zh) * 2019-11-12 2020-02-18 智慧视通(杭州)科技发展有限公司 一种密集目标检测方法
CN110826520B (zh) * 2019-11-14 2023-05-26 燕山大学 一种基于改进YOLOv3-tiny算法的港口抓斗检测方法
CN110826520A (zh) * 2019-11-14 2020-02-21 燕山大学 一种基于改进YOLOv3-tiny算法的港口抓斗检测方法
CN110991359A (zh) * 2019-12-06 2020-04-10 重庆市地理信息和遥感应用中心(重庆市测绘产品质量检验测试中心) 基于多尺度深度卷积神经网络的卫星图像目标检测方法
CN110991385A (zh) * 2019-12-13 2020-04-10 珠海大横琴科技发展有限公司 一种识别船只行驶轨迹的方法、装置及电子设备
CN111104906A (zh) * 2019-12-19 2020-05-05 南京工程学院 一种基于yolo的输电塔鸟巢故障检测方法
CN111667450A (zh) * 2019-12-23 2020-09-15 珠海大横琴科技发展有限公司 一种船只数量统计方法、装置及电子设备
CN111126278A (zh) * 2019-12-24 2020-05-08 北京邮电大学 针对少类别场景的目标检测模型优化与加速的方法
CN111126278B (zh) * 2019-12-24 2023-06-20 北京邮电大学 针对少类别场景的目标检测模型优化与加速的方法
CN111695398A (zh) * 2019-12-24 2020-09-22 珠海大横琴科技发展有限公司 一种小目标船只识别方法、装置及电子设备
CN113051969A (zh) * 2019-12-26 2021-06-29 深圳市超捷通讯有限公司 物件识别模型训练方法及车载装置
CN111553182A (zh) * 2019-12-26 2020-08-18 珠海大横琴科技发展有限公司 一种船只检索方法、装置及电子设备
CN111639651A (zh) * 2019-12-26 2020-09-08 珠海大横琴科技发展有限公司 一种基于全连接层特征提取的船只检索方法及装置
CN111523363A (zh) * 2019-12-27 2020-08-11 珠海大横琴科技发展有限公司 基于电子围网的雷达影像船只识别方法、装置及电子设备
CN111523530B (zh) * 2020-04-13 2021-04-02 南京行者易智能交通科技有限公司 一种目标检测中分数图的映射方法及目标检测方法
CN111523530A (zh) * 2020-04-13 2020-08-11 南京行者易智能交通科技有限公司 一种目标检测中分数图的映射方法及目标检测方法
CN111652321B (zh) * 2020-06-10 2023-06-02 江苏科技大学 一种基于改进yolov3算法的海上船舶检测方法
CN111652321A (zh) * 2020-06-10 2020-09-11 江苏科技大学 一种基于改进yolov3算法的海上船舶检测方法
CN111898699B (zh) * 2020-08-11 2024-05-10 海之韵(苏州)科技有限公司 一种船体目标自动检测识别方法
CN111898699A (zh) * 2020-08-11 2020-11-06 海之韵(苏州)科技有限公司 一种船体目标自动检测识别方法
CN112115009A (zh) * 2020-08-13 2020-12-22 中国科学院计算技术研究所 一种用于神经网络处理器的故障检测方法
CN112036404A (zh) * 2020-08-31 2020-12-04 上海大学 一种海上船只目标检测方法及系统
CN112036404B (zh) * 2020-08-31 2024-01-02 上海大学 一种海上船只目标检测方法及系统
CN112285712B (zh) * 2020-10-15 2023-09-15 电子科技大学 一种提高sar图像中靠岸船只检测精度的方法
CN112285712A (zh) * 2020-10-15 2021-01-29 电子科技大学 一种提高sar图像中靠岸船只检测精度的方法
CN112381560B (zh) * 2020-10-23 2022-10-21 东北石油大学 一种共享设备产品市场预测系统及方法
CN112183463B (zh) * 2020-10-23 2021-10-15 珠海大横琴科技发展有限公司 基于雷达图像的船只识别模型的验证方法及装置
CN112381560A (zh) * 2020-10-23 2021-02-19 东北石油大学 一种共享设备产品市场预测系统及方法
CN112183463A (zh) * 2020-10-23 2021-01-05 珠海大横琴科技发展有限公司 基于雷达图像的船只识别模型的验证方法及装置
CN112487915A (zh) * 2020-11-25 2021-03-12 江苏科技大学 一种基于Embedded YOLO算法的行人检测方法
CN112487915B (zh) * 2020-11-25 2024-04-23 江苏科技大学 一种基于Embedded YOLO算法的行人检测方法
CN112766221B (zh) * 2021-02-01 2022-06-14 福州大学 基于船舶方向和位置多任务的sar图像船舶目标检测方法
CN112766221A (zh) * 2021-02-01 2021-05-07 福州大学 基于船舶方向和位置多任务的sar图像船舶目标检测方法
CN113419075B (zh) * 2021-05-31 2022-08-16 广州忘平信息科技有限公司 基于双目视觉的船舶测速方法、系统、装置和介质
CN113419075A (zh) * 2021-05-31 2021-09-21 广州忘平信息科技有限公司 基于双目视觉的船舶测速方法、系统、装置和介质
CN113313708A (zh) * 2021-06-30 2021-08-27 安徽工程大学 基于深度神经网络的水果检测方法及系统
CN113989693A (zh) * 2021-09-15 2022-01-28 南京邮电大学 基于Yolo Backbone优化的船舶非法卸砂行为识别方法及系统
CN113989693B (zh) * 2021-09-15 2023-09-15 南京邮电大学 基于Yolo Backbone优化的船舶非法卸砂行为识别方法及系统
CN114048800A (zh) * 2021-10-21 2022-02-15 哈尔滨工程大学 一种视觉信息海上目标识别多源混合数据集构建方法
CN113901944A (zh) * 2021-10-25 2022-01-07 大连理工大学 一种基于改进的yolo算法的海洋生物目标检测方法
CN113901944B (zh) * 2021-10-25 2024-04-09 大连理工大学 一种基于改进的yolo算法的海洋生物目标检测方法
CN115115974A (zh) * 2022-06-08 2022-09-27 中国船舶集团有限公司系统工程研究院 基于神经网络的智能航行态势感知系统

Similar Documents

Publication Publication Date Title
CN110070142A (zh) 一种基于yolo神经网络的海上船只目标检测方法
CN113569667B (zh) 基于轻量级神经网络模型的内河船舶目标识别方法及系统
CN110298298A (zh) 目标检测及目标检测网络的训练方法、装置及设备
CN108985250A (zh) 一种基于多任务网络的交通场景解析方法
CN108509919B (zh) 一种基于深度学习对视频或图片中水线的检测和识别方法
CN107993215A (zh) 一种天气雷达图像处理方法及系统
CN109165585A (zh) 一种改进的基于yolo v2的船舶目标检测方法
CN111091095B (zh) 一种遥感图像中船只目标的检测方法
CN108806334A (zh) 一种基于图像的智能船舶身份识别方法
CN112434672A (zh) 一种基于改进YOLOv3的海上人体目标检测方法
CN110009010A (zh) 基于兴趣区域重检测的宽幅光学遥感目标检测方法
US20050270905A1 (en) System and method for identification and quantification of sonar targets in a liquid medium
CN109740460A (zh) 基于深度残差密集网络的光学遥感图像舰船检测方法
CN113920107A (zh) 一种基于改进yolov5算法的绝缘子破损检测方法
CN108629369A (zh) 一种基于Trimmed SSD的尿沉渣有形成分自动识别方法
CN111723632B (zh) 一种基于孪生网络的船舶跟踪方法及系统
CN113487600B (zh) 一种特征增强尺度自适应感知船舶检测方法
CN115471746A (zh) 一种基于深度学习的船舶目标识别检测方法
CN112418028A (zh) 一种基于深度学习的卫星图像中船舶识别与分割方法
CN114565824A (zh) 基于全卷积网络的单阶段旋转舰船检测方法
CN113469097B (zh) 一种基于ssd网络的水面漂浮物多相机实时检测方法
CN110427030A (zh) 一种基于Tiny-YOLOship目标检测算法的无人艇自主对接回收方法
CN113901945A (zh) 一种基于Faster RCNN的海面溢油检测方法及系统
CN117036656A (zh) 一种复杂场景下的水面漂浮物识别方法
CN110334703A (zh) 一种昼夜图像中的船舶检测和识别方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20190730