CN113971755B - 基于改进yolov3模型的全天候海面目标检测方法 - Google Patents

基于改进yolov3模型的全天候海面目标检测方法 Download PDF

Info

Publication number
CN113971755B
CN113971755B CN202010708228.1A CN202010708228A CN113971755B CN 113971755 B CN113971755 B CN 113971755B CN 202010708228 A CN202010708228 A CN 202010708228A CN 113971755 B CN113971755 B CN 113971755B
Authority
CN
China
Prior art keywords
target
yolov
model
image
target image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010708228.1A
Other languages
English (en)
Other versions
CN113971755A (zh
Inventor
李岩
郭家宏
郭晓敏
刘开周
李硕
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenyang Institute of Automation of CAS
Original Assignee
Shenyang Institute of Automation of CAS
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenyang Institute of Automation of CAS filed Critical Shenyang Institute of Automation of CAS
Priority to CN202010708228.1A priority Critical patent/CN113971755B/zh
Publication of CN113971755A publication Critical patent/CN113971755A/zh
Application granted granted Critical
Publication of CN113971755B publication Critical patent/CN113971755B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
    • Y02A90/00—Technologies having an indirect contribution to adaptation to climate change
    • Y02A90/10—Information and communication technologies [ICT] supporting adaptation to climate change, e.g. for weather forecasting or climate simulation

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • Computational Linguistics (AREA)
  • Health & Medical Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及计算机视觉和深度学习目标检测领域，具体说是一种基于改进YOLOV3模型的应用于USV的全天候海面目标检测模型，引入具有特征重用特性的DenseNet结构，替换原YOLOV3模型中下采样层，使目标特征在深度神经网络层中传输的同时，减少特征损失，提高特征传播的稳定性。通过在真实海洋环境中获得的数据上开展实验表明，本发明提出的基于改进YOLOV3模型的应用于USV的全天候海面目标检测方法优于现有方法，具体表现在USV实际海洋任务中能适用于各种天气变化情况，以及具有更好的实时性。

Description

基于改进YOLOV3模型的全天候海面目标检测方法
技术领域
本发明涉及计算机视觉和深度学习目标检测领域，具体说是一种基于改进YOLOV3模型的应用于USV的全天候海面目标检测模型。
背景技术
近年来，无人水面艇(USV)作为一种典型的自动无人系统得到了长足的发展。它在环境监测、巡逻、侦察等任务中发挥着重要作用。自主、可靠、无障碍碰撞导航是保证这些任务顺利完成的重要前提之一。为了实现优越的感知性能，USV通常需要使用包含雷达、激光雷达、摄像机和红外传感器的异构传感器。因为视觉传感器在功耗、尺寸、重量、成本和数据可读性方面的优势，USV结合基于视觉的海面目标检测技术受到了广泛的关注。
在USV的长期任务中，周围环境的变化会影响目标检测方法的性能，比如光线的变化、水滴附着在相机镜头上、海浪引起的目标姿态的变化，甚至海雾、水的反射等，由于以往的检测方法没有考虑环境因素，这些环境的变化导致了这些检测方法的不稳定。因此现实外部环境的复杂性给目标检测的性能带来了很大的挑战。
本发明提供了一种基于改进YOLOV3模型的应用于USV的全天候海面目标检测方法，YOLOV3检测目标的准确率和速度都很高，且对小尺寸目标的检测也有很好的效果，保证了USV能够实时探测到远距离目标，此外，引入DenseNet结构对YOLOV3模型进行改进，提高了复杂环境中的检测稳定性，更加适用于USV开展海上作业任务。
发明内容
针对现有方法在实际海上环境应用中的不足，本发明提供一种基于改进YOLOV3模型的应用于USV的全天候海面目标检测模型，采用图像处理和深度学习技术，在提取深层特征的同时减少特征损失，具有较高的识别准确率和较低的误警率。
本发明为实现上述目的所采用的技术方案是：
基于改进YOLOV3模型的全天候海面目标检测模型，包括以下步骤：
获取目标图像并将目标图像随机分成训练集、测试集和验证集；
对目标图像进行预处理；
对预处理后的训练集图像中的目标进行特征提取，使每张目标图像分别得到3个尺度的特征图；
使用YOLOV3模型对训练集中提取的特征图进行训练，得到多个权重模型，使用预处理后的验证集对每一个权重模型进行验证并计算损失值，参考损失值，将计算得到的所有损失值从小到大排列，从最小损失值开始依次选择若干个损失值对应的权重模型用于检测；
将预处理后的测试集作为输入，输入到上一步中选择的权重模型中进行识别，得到识别后的图像；
对识别后的图像进行后处理和非极大值抑制，得到最终识别结果即检测到的图像。
得到最终识别结果后，使用平均精度、F-measure以及误警率作为评价指标，对YOLOV3模型进行评价。
所述获取目标图像并将目标图像随机分成训练集、测试集和验证集具体为：
将目标图像随机分成训练集、测试集和验证集，其中，将训练集中的目标图像经过旋转得到旋转后的目标图像、通过亮度变换得到亮度变换后的目标图像，测试集、验证集中的目标图像以及训练集中的原目标图像、旋转后的目标图像、亮度变换后的目标图像共同构成实验数据集，对实验数据集中的所有目标进行标定，得到包含目标信息的xml文件。
所述对目标图像进行预处理具体为：
对训练集中的目标图像进行随机增强处理和尺寸调整；对验证集和测试集中的目标图像进行尺寸调整。
所述随机增强处理为对目标图像根据设定的随机阈值进行水平翻转、裁剪或平移操作。
训练YOLOV3模型,得到多个权重模型，具体如下：
在YOLOV3模型选择与目标框匹配的先验框用于训练过程中对该目标框进行预测，随着训练步数的增加，YOLOV3模型参数逐渐调整，最终得到多个权重模型。
所述对预处理后的训练集图像中的目标进行特征提取具体为：
使用DenseNet结构替换YOLOV3模型的Darknet-53结构中的下采样层，即：使用1个8层Dense block模块、1个Transition层和1个8层的Dense block模块替换26×26下采样层；使用1个16层的Dense block模块、1个Transition层和1个16层的Dense block模块替换13×13下采样层，得到改进的Darknet-53特征提取网络；
将预处理后的训练集图像输入到改进的Darknet-53特征提取网络中，得到3个尺度特征图。
所述对识别后的图像进行后处理和非极大值抑制具体为：
首先进行后处理，去除可信度低于阈值的预测框，然后进行非极大值抑制，去除重复预测框，得到最终识别结果即含有目标检测框的图像。
本发明具有以下有益效果及优点：
本发明提出将DenseNet结构融入YOLOV3模型的特征提取网络部分，增加了网络层数，能够提取目标更深层次特征；同时，DenseNet结构具有特征重用特性，缓解了因网络层数增加而带来的特征丢失现象，因此该方法能够更好的应用于复杂环境中的目标识别，且具有较高的识别准确率和较低的误警率。此外，网络层数的增加并没有大幅增加检测时间，因此该方法还具备较好的实时性。
附图说明
图1是本发明的使用流程图；
图2是本发明的网络结构图。
具体实施方式
下面结合附图及实施例对本发明做进一步的详细说明。
如图1所示，本发明提供了一种基于改进YOLOV3模型的应用于USV的全天候海面目标检测模型，使用步骤包括：
步骤1：根据需求准备图像数据集。
步骤2：输入图像，并对输入图像进行预处理。训练集图像首先进行随机增强处理，即水平翻转、裁剪和平移操作，随机阈值设置为0.5，增强尺寸随机生成，然后对增强后图像进行尺寸调整；验证集和测试集只进行尺寸调整。最终输入图像尺寸统一为416×416，得到预处理后的图像。
步骤3：对预处理后的训练集进行特征提取。网络结构如图2所示，其中，原YOLOV3模型中26×26和13×13的下采样层被DenseNet结构替换，分别包括两个Dense block模块和1个Transition层。每个Dense block模块包含多层BN-ReLU-1×1Conv-BN-ReLU-3×3Conv操作，增长率k设置为32，层数分别设置为8和16；Transition层操作为BN-ReLU-1×1Conv-AvgPooling，对Dense block输出的特征图进行压缩。特征提取最终得到3个尺度特征图，分别为13×13、26×26、52×52。
其中：Convolutional、Convs：卷积
AvgPooling、Avgpool：平均池化
Connected：全连接
Residual：残差模块
DenseNet：密集连接网络
Dense block：密集连接模块
Transition：转换层
步骤4：首先使用训练集提取的目标特征对本发明提出的YOLOV3-dense模型进行训练，得到一系列权重模型；然后使用预处理后的验证集对每一个权重模型进行验证并计算损失值，参考该损失值，选择一个权重模型用于检测；
计算损失公式，包含三部分，最终损失为三部分之和：
1.坐标预测误差：
其中，λcoord是坐标预测误差权重；如果目标落在网格第i个网格的第j个边界框，则否则/>(xi,yi,wi,hi)是目标边界框的真实值，/>是目标边界框的预测值，4个值分别表示边界框中心坐标、宽和高。
2.IoU误差：
其中，λnoobj是IoU误差权重；Ci是真实置信度，是预测置信度。
3.分类误差：
其中，c表示目标所属类别；pi(c)是属于c类的目标在网格i中的真实概率，是预测概率。
步骤5：使用上一步中选择出的权重模型对预处理后的测试集进行识别检测，得到识别结果。
步骤6：首先对识别结果进行后处理，去除可信度低的预测框，阈值设置为0.3；然后进行非极大值抑制，去除重复预测框，阈值设置为0.45，得到最终的识别结果。
本发明提出的方法以Average Precision(AP)、F-measure、误警率作为评价指标，得到最终检测结果：AP为93.13％，F-measure为0.962，误警率为0.53％。
AP定义：
F-measure定义：
误警率定义：
其中：
其中：AP：平均准确率。
F-measure：Percision和Recall的调和平均数，综合评价系统性能。
误警率：识别结果中非目标数量所占比例。
Percision：准确率，识别结果中目标数量所占比例。
Recall：召回率，正确识别出的目标数量占真实目标数量的比例。
本发明为实现上述目的所采用的技术方案是将DenseNet结构引入原YOLOV3模型中的Darknet-53特征提取网络中，然后从3个尺度进行预测，所述识别过程包括以下步骤：
步骤1：将测试集尺寸调整成416×416的图像；
步骤2：导入选择好的权重模型；
步骤3：将尺寸调整后的图像经过引入DenseNet结构的Darknet-53网络提取特征，得到3个尺度特征图；
步骤4：对3个尺度特征图进行目标预测，并对预测结果进行处理得到最终识别结果。
所述对于数据集的准备，包括：
步骤1.1：在真实的海洋环境中收集各种天气状况下的目标图像，得到3000原始数据集；
步骤1.2：将原始数据集进行划分，得到1000训练集、800测试集和1200验证集；
步骤1.3：将1000训练集通过旋转和亮度变换扩充到4000(1000原始，2000旋转，1000亮度变换)，得到6000实验数据集；
步骤1.4：使用LabelImg软件对6000实验数据集进行标定。
所述对于Darknet-53网络引入DenseNet结构，包括：
将原Darknet-53网络中易导致特征丢失的下采样层替换为DenseNet结构；
对于26×26的下采样层，引入1个8层的Dense block模块、1个Transition层和1个8层的Dense block模块；
对于13×13的下采样层，引入1个16层的Dense block模块、1个Transition层和1个16层的Dense block模块。

Claims (5)

1.基于改进YOLOV3模型的全天候海面目标检测方法，其特征在于，包括以下步骤：
获取目标图像并将目标图像随机分成训练集、测试集和验证集；
对目标图像进行预处理；
对预处理后的训练集图像中的目标进行特征提取，使每张目标图像分别得到3个尺度的特征图；
使用YOLOV3模型对训练集中提取的特征图进行训练，得到多个权重模型，使用预处理后的验证集对每一个权重模型进行验证并计算损失值，参考损失值，将计算得到的所有损失值从小到大排列，从最小损失值开始依次选择若干个损失值对应的权重模型用于检测；
将预处理后的测试集作为输入，输入到上一步中选择的权重模型中进行识别，得到识别后的图像；
对识别后的图像进行后处理和非极大值抑制，得到最终识别结果即检测到的图像；
所述对目标图像进行预处理具体为：
对训练集中的目标图像进行随机增强处理和尺寸调整；对验证集和测试集中的目标图像进行尺寸调整；
所述对预处理后的训练集图像中的目标进行特征提取具体为：
使用DenseNet结构替换YOLOV3模型的Darknet-53结构中的下采样层，即：使用1个8层Dense block模块、1个Transition层和1个8层的Dense block模块替换26×26下采样层；使用1个16层的Dense block模块、1个Transition层和1个16层的Dense block模块替换13×13下采样层，得到改进的Darknet-53特征提取网络；
将预处理后的训练集图像输入到改进的Darknet-53特征提取网络中，得到3个尺度特征图；
所述对识别后的图像进行后处理和非极大值抑制具体为：
首先进行后处理，去除可信度低于阈值的预测框，然后进行非极大值抑制，去除重复预测框，得到最终识别结果即含有目标检测框的图像。
2.根据权利要求1所述的基于改进YOLOV3模型的全天候海面目标检测方法，其特征在于，得到最终识别结果后，使用平均精度、F-measure以及误警率作为评价指标，对YOLOV3模型进行评价。
3.根据权利要求1所述的基于改进YOLOV3模型的全天候海面目标检测方法，其特征在于，所述获取目标图像并将目标图像随机分成训练集、测试集和验证集具体为：
将目标图像随机分成训练集、测试集和验证集，其中，将训练集中的目标图像经过旋转得到旋转后的目标图像、通过亮度变换得到亮度变换后的目标图像，测试集、验证集中的目标图像以及训练集中的原目标图像、旋转后的目标图像、亮度变换后的目标图像共同构成实验数据集，对实验数据集中的所有目标进行标定，得到包含目标信息的xml文件。
4.根据权利要求1所述的基于改进YOLOV3模型的全天候海面目标检测方法，其特征在于，所述随机增强处理为对目标图像根据设定的随机阈值进行水平翻转、裁剪或平移操作。
5.根据权利要求1所述的基于改进YOLOV3模型的全天候海面目标检测方法，其特征在于，训练YOLOV3模型,得到多个权重模型，具体如下：
在YOLOV3模型选择与目标框匹配的先验框用于训练过程中对该目标框进行预测，随着训练步数的增加，YOLOV3模型参数逐渐调整，最终得到多个权重模型。
CN202010708228.1A 2020-07-22 2020-07-22 基于改进yolov3模型的全天候海面目标检测方法 Active CN113971755B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010708228.1A CN113971755B (zh) 2020-07-22 2020-07-22 基于改进yolov3模型的全天候海面目标检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010708228.1A CN113971755B (zh) 2020-07-22 2020-07-22 基于改进yolov3模型的全天候海面目标检测方法

Publications (2)

Publication Number Publication Date
CN113971755A CN113971755A (zh) 2022-01-25
CN113971755B true CN113971755B (zh) 2024-05-03

Family

ID=79584694

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010708228.1A Active CN113971755B (zh) 2020-07-22 2020-07-22 基于改进yolov3模型的全天候海面目标检测方法

Country Status (1)

Country Link
CN (1) CN113971755B (zh)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109685152A (zh) * 2018-12-29 2019-04-26 北京化工大学 一种基于dc-spp-yolo的图像目标检测方法
CN111241970A (zh) * 2020-01-06 2020-06-05 电子科技大学 基于yolov3算法与滑动窗口策略的SAR影像海面舰船检测方法
AU2020100705A4 (en) * 2020-05-05 2020-06-18 Chang, Jiaying Miss A helmet detection method with lightweight backbone based on yolov3 network
CN111353544A (zh) * 2020-03-05 2020-06-30 天津城建大学 一种基于改进的Mixed Pooling-YOLOV3目标检测方法
CN111401148A (zh) * 2020-02-27 2020-07-10 江苏大学 一种基于改进的多级YOLOv3的道路多目标检测方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109685152A (zh) * 2018-12-29 2019-04-26 北京化工大学 一种基于dc-spp-yolo的图像目标检测方法
CN111241970A (zh) * 2020-01-06 2020-06-05 电子科技大学 基于yolov3算法与滑动窗口策略的SAR影像海面舰船检测方法
CN111401148A (zh) * 2020-02-27 2020-07-10 江苏大学 一种基于改进的多级YOLOv3的道路多目标检测方法
CN111353544A (zh) * 2020-03-05 2020-06-30 天津城建大学 一种基于改进的Mixed Pooling-YOLOV3目标检测方法
AU2020100705A4 (en) * 2020-05-05 2020-06-18 Chang, Jiaying Miss A helmet detection method with lightweight backbone based on yolov3 network

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
复杂场景下基于增强YOLOv3的船舶目标检测;聂鑫;刘文;吴巍;;计算机应用(第09期);全文 *

Also Published As

Publication number Publication date
CN113971755A (zh) 2022-01-25

Similar Documents

Publication Publication Date Title
CN111723748B (zh) 一种红外遥感图像舰船检测方法
CN110472627B (zh) 一种端到端的sar图像识别方法、装置及存储介质
CN113705478B (zh) 一种基于改进YOLOv5的红树林单木目标检测方法
CN112395987B (zh) 基于无监督域适应cnn的sar图像目标检测方法
CN112149591B (zh) 用于sar图像的ssd-aeff自动桥梁检测方法及系统
CN113076871A (zh) 一种基于目标遮挡补偿的鱼群自动检测方法
CN112288008A (zh) 一种基于深度学习的马赛克多光谱图像伪装目标检测方法
CN112859011B (zh) 一种单波长机载测深雷达波形信号提取方法
CN111695473B (zh) 基于长短时记忆网络模型的热带气旋强度客观监测方法
CN114266891A (zh) 基于图像与激光数据融合的铁路运行环境异常辨识方法
CN116385958A (zh) 一种用于电网巡检和监控的边缘智能检测方法
CN112613504A (zh) 一种声呐水下目标检测方法
CN110717496A (zh) 基于神经网络的复杂场景树木检测方法
CN115937659A (zh) 基于Mask-RCNN的室内复杂环境下多目标检测方法
CN116206223A (zh) 一种基于无人机边缘计算的火灾检测方法及系统
CN115965862A (zh) 基于掩码网络融合图像特征的sar舰船目标检测方法
Zhang et al. Nearshore vessel detection based on Scene-mask R-CNN in remote sensing image
CN116524189A (zh) 一种基于编解码索引化边缘表征的高分辨率遥感图像语义分割方法
CN115861756A (zh) 基于级联组合网络的大地背景小目标识别方法
CN114842196A (zh) 一种雷达射频图像目标检测方法
CN112906564B (zh) 用于无人机载sar图像自动目标识别的智能决策支持系统设计及实现方法
CN113971775A (zh) 一种基于优化yolov4算法的违章行为识别方法及系统
CN117218545A (zh) 基于LBP特征与改进Yolov5的雷达图像检测方法
CN113971755B (zh) 基于改进yolov3模型的全天候海面目标检测方法
CN116343078A (zh) 基于视频sar的目标跟踪方法、系统及设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant