CN113496253A - 一种船舶目标检测方法及系统 - Google Patents

一种船舶目标检测方法及系统 Download PDF

Info

Publication number
CN113496253A
CN113496253A CN202110435198.6A CN202110435198A CN113496253A CN 113496253 A CN113496253 A CN 113496253A CN 202110435198 A CN202110435198 A CN 202110435198A CN 113496253 A CN113496253 A CN 113496253A
Authority
CN
China
Prior art keywords
target detection
ship target
ship
network model
scale
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110435198.6A
Other languages
English (en)
Inventor
路红
彭俊
陈桂
花湘
邱春
秦彬鑫
万文明
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanjing Institute of Technology
Original Assignee
Nanjing Institute of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanjing Institute of Technology filed Critical Nanjing Institute of Technology
Priority to CN202110435198.6A priority Critical patent/CN113496253A/zh
Publication of CN113496253A publication Critical patent/CN113496253A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/23—Clustering techniques
    • G06F18/232—Non-hierarchical techniques
    • G06F18/2321—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions
    • G06F18/23213—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions with fixed number of clusters, e.g. K-means clustering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/048—Activation functions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Molecular Biology (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Probability & Statistics with Applications (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种船舶目标检测方法，包括：将船舶目标图像数据标注后制作成训练样本集；构建基于YOLO v3轻量化的特征提取主干网络；根据特征提取主干网络建立基于YOLO v3改进的船舶目标检测网络模型；利用训练样本集对船舶目标检测网络模型进行训练；通过训练好的船舶目标检测网络模型对待检测的船舶图像数据进行检测，本发明提高了目标的检测速度。

Description

一种船舶目标检测方法及系统
技术领域
本发明属于目标检测技术领域，尤其涉及一种船舶目标检测方法及系统。
背景技术
目标检测是计算机视觉领域重要的研究方向之一，其在智能视频监控、医学图像分析、行为理解、视觉导航等方面有着广泛的应用。目前国内外学者主要关注的问题集中在相似目标干扰、目标尺度变化、外观模糊、遮挡以及实际应用中目标检测系统实时性等情况下的检测鲁棒性、准确性提高上。
近年来，基于深度学习的目标检测方法备受关注，由于其卓越的特征描述能力、鲁棒的检测性能，正逐渐成为当前目标检测的主流。Ren S Q等在IEEE Transactions onPattern Analysis and Machine Intelligence(2017,39(6):1137-1149)上发表的文章“Faster R-CNN：towards real-time object detection with region proposalnetworks”中，提出基于Two-stage的目标检测方法，通过RPN(Region proposal networks)模块，筛选出图像中的ROI(Region of interests)，极大提高了目标检测的准确率；然而，该方法耗时较高，难以满足实际检测系统的实时性需求。
发明内容
针对现有技术存在的问题，本发明提供了一种船舶目标检测方法，能够提高船舶目标的检测速度。
本发明提供如下技术方案：
第一方面，提供了一种船舶目标检测方法，包括：
将船舶目标图像数据标注后制作成训练样本集；
构建基于YOLO v3的轻量化的特征提取主干网络；
根据特征提取主干网络建立基于YOLO v3改进的船舶目标检测网络模型；
利用训练样本集对船舶目标检测网络模型进行训练；
通过训练好的船舶目标检测网络模型对待检测的船舶图像数据进行检测。
结合第一方面，进一步的，所述特征提取主干网络包括P个CBLM单元和Q个CBL单元组成；其中CBML单元由一个CBL单元和一个最大池化层构成；CBL单元由二维卷积、批归一化和非线性激活函数构成。
结合第一方面，进一步的，船舶目标检测网络模型的预测结构具体为：
采用特征金字塔结构实现s1×s1和s2×s2两个尺度特征图的预测输出，其中第一个尺度为原图像的N1倍降采样输出，第二个尺度融合了原图像的
Figure BDA0003032912620000021
倍降采样输出与N1倍降采样输出得到。
结合第一方面，进一步的，通过对训练样本集中船舶目标候选框尺度进行聚类分析以确定船舶目标检测网络模型所需的目标候选框先验尺度参数。
结合第一方面，进一步的，聚类分析的目标函数f为：
Figure BDA0003032912620000022
其中，Bv表示第v个样本，Cu表示第u个边界框簇中心宽高尺度；n为样本的总个数；k为簇的总个数；IOU(Bv,Cu)表示样本宽高尺度与边界框簇中心宽高尺度的交并比。
结合第一方面，进一步的，船舶目标检测网络模型的损失函数如下式所示：
Figure BDA0003032912620000023
其中，
Figure BDA0003032912620000024
分别为YOLO v3模型在s1×s1和s2×s2两个尺度上进行船舶目标检测的损失函数，Ltotal为船舶目标检测网络模型的损失函数。
第二方面，提供了一种船舶目标检测系统，包括：
图像标注模块，用于将船舶目标图像数据标注后制作成训练样本集；
模型建立模块：用于构建基于YOLO v3轻量化的特征提取主干网络；
根据特征提取主干网络建立基于YOLO v3改进的船舶目标检测网络模型；
模型训练模块，利用训练样本集对船舶目标检测网络模型进行训练；
目标检测模块，用于通过训练好的船舶目标检测网络模型对待检测的船舶图像数据进行检测。
有益效果：本发明在YOLO v3的目标检测框架上，对原算法进行改进，重新设计轻量化特征提取主干网络，利用IoU K-means聚类算法重新对目标框维度尺度进行聚类分析，提高输入图像尺度，在保证检测精度的前提下进一步提高目标的检测速度：
1)首先获取船舶目标图像数据，通过专家标注得到下一阶段模型所需的训练样本数据，针对船舶目标检测，通过对特征提取骨干网络及多尺度预测结构进行精简设计，以提高目标检测速度；
2)利用IoU K-means聚类算法，对训练样本进行维度聚类分析，得到一组宽高固定的先验边界框尺度，以保证目标检测的准确性；
附图说明
图1为本发明的实施例流程图；
图2为本发明中船舶目标检测网络模型的结构图；
图3为本发明中训练过程中平均检测精度变化图；
图4a1为本发明中拥挤场景中目标互遮挡情况下YOLO v3的检测图；
图4a2为本发明中拥挤场景中目标互遮挡情况下Slight-YOLO v3的检测图；
图4b1为本发明中夜晚低照度条件下YOLO v3的检测图；
图4b2为本发明中夜晚低照度条件下Slight-YOLO v3的检测图；
图4c1为本发明中针对不同尺度目标混杂环境下的小目标YOLO v3的检测图；
图4c2为本发明中针对不同尺度目标混杂环境下的小目标Slight-YOLO v3的检测图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
实施例1
请参阅图1至图4c2，本发明提了一种船舶目标检测方法，本实施例的船舶目标检测方法包括以下步骤：
步骤一、获取船舶目标的图像数据，该图像数据可以为拍摄的图像数据或视频帧数据，使用专业的标注软件，标注出图像中的目标类别和目标的位置，得到船舶目标的标注数据，以此作为后续的训练样本集。
步骤二、针对船舶目标特定检测任务，设计基于深度学习的轻量级特征提取主干网络(Backbone)。该Backbone由P(P＝3,4…,8)个CBLM单元和Q(Q＝1,2…4)个CBL单元组成，本实施例中，P取值6，Q取值2。其中CBML单元由一个CBL单元和一个最大池化层(MaxPooling Layer)构成；CBL单元由二维卷积(Conved_2D)、批归一化BN(Batch Normalize)和非线性激活函数(Leak relu)构成。CBLM单元逐级加深网络的通道数，同时不断细化特征的粒度，使网络可以提取到目标的高维度特征；特征提取主干网络的最后两层由2个CBL单元组成。此种做法降低了模型的参数量，提高了模型的检测速度。
步骤三、建立基于YOLO v3模型改进的深度学习的船舶目标检测网络模型(Slight-YOLO v3)，我们改进了其预测结构，具体为：采用特征金字塔(Feature PyramidNetwork，FPN)结构，实现两个尺度特征图的预测输出：s1×s1和s2×s2(s2＝2*s1,s1＝13,14…40)，本实施例中s1取值20，s2取值40；其中第一个尺度为原图像的N1(N1＝8,16,32)倍降采样输出，第二个尺度融合了原图像的
Figure BDA0003032912620000041
倍降采样输出与N1倍降采样输出得到，本实施例中N1取值32；通过融合浅层与深层特征信息，增强了特征的描述力，提高了小目标检测精度。在模型确定的过程中通过标注数据(训练样本集)重新对目标候选框维度进行聚类分析，找到训练样本集中目标框的宽高分布数据，并将此数据作为训练过程中的先验数据(训练前要设置的参数)；为了获取更多小目标特征信息，在训练过程中将输入图像的尺度由416×416，提高为640×640。聚类的目标函数f可以表示为：
Figure BDA0003032912620000051
其中，Bv表示第v个样本；Cu表示第u个边界框簇中心宽高尺度；n为样本的总个数；k为簇的总个数；IOU(Bv,Cu)表示样本宽高尺度与边界框簇中心宽高尺度的交并比。
模型的损失函数设计为：
s×s尺度下的损失函数Ls×s由边界框定位损失Lx,y、边界框尺度损失Lw,h、目标置信度损失Lconf和类别损失Lcls四部分组成。
Ls×s＝Lx,y+Lw,h+Lconf+Lcls (2)
本文改进的网络在s1×s1和s2×s2两个尺度上进行船舶目标检测，本实施例中，s1取值20，s2取值40，所以最终的损失函数Ltotal为：
Figure BDA0003032912620000052
边界框定位损失Lx,y具体为：
Figure BDA0003032912620000053
其中，s2表示输入图像被划分成的网格数；B表示单个网格预测边界框数，取值为3；
Figure BDA0003032912620000054
表示第i个网格预测得到的第j个边界框是否为目标，若是目标则取值1，反之取值0；xi和yi分别表示预测边界框中心横坐标和纵坐标；
Figure BDA0003032912620000055
和
Figure BDA0003032912620000056
分别表示实际边界框中心横坐标和纵坐标。
边界框尺度损失Lw,h具体为：
Figure BDA0003032912620000061
其中，wi和hi分别表示预测边界框宽度和高度；
Figure BDA0003032912620000062
和
Figure BDA0003032912620000063
分别表示实际边界框宽度和高度。
置信度损失Lconf具体为：
Figure BDA0003032912620000064
其中，λobj表示包含目标的边界框的权重系数，取值为1；λnobj表示不包含目标的边界框的权重系数，取值为100。较大的权重可以使不包含目标的边界框产生较大的损失值，以产生较大的模型误差；
Figure BDA0003032912620000065
和Ci分别表示实际目标和预测目标的置信度。
类别损失Lcls具体为：
Figure BDA0003032912620000066
其中，c表示检测到的目标所属的类别；
Figure BDA0003032912620000067
和pi(c)分别表示第i个网格检测到某个目标时，该目标属于类别c的实际概率和预测概率。
步骤四、利用训练样本集对建立的船舶目标检测模型进行优化与训练。
步骤五、将训练后的模型进行部署，输入待检测船舶的图像数据，实现船舶目标的自动化检测。
实施例2
本发明还提供了一种船舶目标检测系统，包括：
图像标注模块，用于将船舶目标图像数据标注后制作成训练样本集；
模型建立模块：用于构建基于YOLO v3轻量化的特征提取主干网络；
根据特征提取主干网络建立基于YOLO v3改进的船舶目标检测网络模型；
模型训练模块，利用训练样本集对船舶目标检测网络模型进行训练；
目标检测模块，用于通过训练好的船舶目标检测网络模型对待检测的船舶图像数据进行检测。
通过本发明改进后性能对照如表1所示；其中Baseline表示为原YOLO v3模型，训练图像尺度为416×416，未使用IoU K-means聚类；YOLO v3表示为训练图像尺度为640×640，使用IoU K-means聚类；Slight-YOLO v3表示为本发明模型，训练图片尺度为640×640，使用IoU K-means聚类；使用精度(Precision)、召回率(Recall)、F1值、平均精度均值(mAP)评价模型的性能，用每秒帧数(Frame per second,FPS)来衡量模型的检测速度。
表1
Figure BDA0003032912620000071
尽管已经示出和描述了本发明的实施例，对于本领域的普通技术人员而言，可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由所附权利要求及其等同物限定。

Claims (7)

1.一种船舶目标检测方法，其特征在于，包括：
将船舶目标图像数据标注后制作成训练样本集；
构建基于YOLO v3轻量化的特征提取主干网络；
根据特征提取主干网络建立基于YOLO v3改进的船舶目标检测网络模型；
利用训练样本集对船舶目标检测网络模型进行训练；
通过训练好的船舶目标检测网络模型对待检测的船舶图像数据进行检测。
2.根据权利要求1所述的船舶目标检测方法，其特征在于：所述特征提取主干网络包括P个CBLM单元和Q个CBL单元组成；其中CBML单元由一个CBL单元和一个最大池化层构成；CBL单元由二维卷积、批归一化和非线性激活函数构成。
3.根据权利要求1所述的船舶目标检测方法，其特征在于：船舶目标检测网络模型的预测结构具体为：
采用特征金字塔结构实现s1×s1和s2×s2两个尺度特征图的预测输出，其中第一个尺度为原图像的N1倍降采样输出，第二个尺度融合了原图像的
Figure FDA0003032912610000011
倍降采样输出与N1倍降采样输出得到。
4.根据权利要求2所述的船舶目标检测方法，其特征在于：通过对训练样本集中船舶目标候选框尺度进行聚类分析以确定船舶目标检测网络模型所需的目标候选框先验尺度参数。
5.根据权利要求4所述的船舶目标检测方法，其特征在于：聚类分析的目标函数f为：
Figure FDA0003032912610000012
其中，Bv表示第v个样本，Cu表示第u个边界框簇中心宽高尺度；n为样本的总个数；k为簇的总个数；IOU(Bv,Cu)表示样本宽高尺度与边界框簇中心宽高尺度的交并比。
6.根据权利要求4所述的船舶目标检测方法，其特征在于，船舶目标检测网络模型的损失函数如下式所示：
Figure FDA0003032912610000021
其中，
Figure FDA0003032912610000022
分别为YOLO v3模型在s1×s1和s2×s2两个尺度上进行船舶目标检测的损失函数，Ltotal为船舶目标检测网络模型的损失函数。
7.一种船舶目标检测系统，其特征在于，包括：
图像标注模块，用于将船舶目标图像数据标注后制作成训练样本集；
模型建立模块：用于构建基于YOLO v3轻量化的特征提取主干网络；
根据特征提取主干网络建立基于YOLO v3改进的船舶目标检测网络模型；
模型训练模块，利用训练样本集对船舶目标检测网络模型进行训练；
目标检测模块，用于通过训练好的船舶目标检测网络模型对待检测的船舶图像数据进行检测。
CN202110435198.6A 2021-04-22 2021-04-22 一种船舶目标检测方法及系统 Pending CN113496253A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110435198.6A CN113496253A (zh) 2021-04-22 2021-04-22 一种船舶目标检测方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110435198.6A CN113496253A (zh) 2021-04-22 2021-04-22 一种船舶目标检测方法及系统

Publications (1)

Publication Number Publication Date
CN113496253A true CN113496253A (zh) 2021-10-12

Family

ID=77997259

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110435198.6A Pending CN113496253A (zh) 2021-04-22 2021-04-22 一种船舶目标检测方法及系统

Country Status (1)

Country Link
CN (1) CN113496253A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114332784A (zh) * 2021-12-30 2022-04-12 江苏集萃深度感知技术研究所有限公司 基于机器视觉以及雷达的港口船体识别方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019223582A1 (en) * 2018-05-24 2019-11-28 Beijing Didi Infinity Technology And Development Co., Ltd. Target detection method and system
CN111241970A (zh) * 2020-01-06 2020-06-05 电子科技大学 基于yolov3算法与滑动窗口策略的SAR影像海面舰船检测方法
CN112308019A (zh) * 2020-11-19 2021-02-02 中国人民解放军国防科技大学 基于网络剪枝和知识蒸馏的sar舰船目标检测方法
CN112651376A (zh) * 2021-01-05 2021-04-13 珠海大横琴科技发展有限公司 一种船只检测方法和装置

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019223582A1 (en) * 2018-05-24 2019-11-28 Beijing Didi Infinity Technology And Development Co., Ltd. Target detection method and system
CN111241970A (zh) * 2020-01-06 2020-06-05 电子科技大学 基于yolov3算法与滑动窗口策略的SAR影像海面舰船检测方法
CN112308019A (zh) * 2020-11-19 2021-02-02 中国人民解放军国防科技大学 基于网络剪枝和知识蒸馏的sar舰船目标检测方法
CN112651376A (zh) * 2021-01-05 2021-04-13 珠海大横琴科技发展有限公司 一种船只检测方法和装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
梁月翔等: "《基于YOLOv3-tiny的船舶可见光图像细粒度检测》", 《武汉理工大学学报(交通科学与工程版)》 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114332784A (zh) * 2021-12-30 2022-04-12 江苏集萃深度感知技术研究所有限公司 基于机器视觉以及雷达的港口船体识别方法

Similar Documents

Publication Publication Date Title
CN111310861B (zh) 一种基于深度神经网络的车牌识别和定位方法
CN111797716B (zh) 一种基于Siamese网络的单目标跟踪方法
CN110929578B (zh) 一种基于注意力机制的抗遮挡行人检测方法
CN111626128B (zh) 一种基于改进YOLOv3的果园环境下行人检测方法
CN111179217A (zh) 一种基于注意力机制的遥感图像多尺度目标检测方法
CN110781827A (zh) 一种基于激光雷达与扇状空间分割的路沿检测系统及其方法
CN112287788A (zh) 基于改进YOLOv3和改进NMS的行人检测方法
CN103632167B (zh) 类地重力场环境下单目视觉空间识别方法
CN110097091B (zh) 训练与推理数据分布不一致条件下的图像细粒度识别方法
CN105160649A (zh) 基于核函数非监督聚类的多目标跟踪方法及系统
CN112733691A (zh) 一种基于注意力机制的多方向的无人机航拍的车辆检测方法
WO2022062238A1 (zh) 一种足球检测方法、装置、计算机可读存储介质及机器人
CN115049944A (zh) 一种基于多任务优化的小样本遥感图像目标检测方法
CN111860587A (zh) 一种用于图片小目标的检测方法
CN114049572A (zh) 识别小目标的检测方法
CN115359366A (zh) 基于参数优化的遥感图像目标检测方法
CN115032648A (zh) 一种基于激光雷达密集点云的三维目标识别与定位方法
CN113657423A (zh) 适用于小体积零件与堆叠零件的目标检测方法及其应用
CN111709317A (zh) 一种基于显著性模型下多尺度特征的行人重识别方法
CN115100741A (zh) 一种点云行人距离风险检测方法、系统、设备和介质
CN113496253A (zh) 一种船舶目标检测方法及系统
CN114820580A (zh) 基于并行注意力补偿机制的fpn晶圆表面缺陷检测方法
CN117079125A (zh) 一种基于改进型YOLOv5的猕猴桃授粉花朵识别方法
CN111797795A (zh) 一种基于YOLOv3与SSR的行人检测算法
He et al. Visual recognition and location algorithm based on optimized YOLOv3 detector and RGB depth camera

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20211012

RJ01 Rejection of invention patent application after publication