CN115457258A - 一种基于图像增强算法与改进YOLOv5的雾天船舶检测方法 - Google Patents

一种基于图像增强算法与改进YOLOv5的雾天船舶检测方法 Download PDF

Info

Publication number
CN115457258A
CN115457258A CN202211057676.5A CN202211057676A CN115457258A CN 115457258 A CN115457258 A CN 115457258A CN 202211057676 A CN202211057676 A CN 202211057676A CN 115457258 A CN115457258 A CN 115457258A
Authority
CN
China
Prior art keywords
image
foggy
yolov5
algorithm
method based
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202211057676.5A
Other languages
English (en)
Inventor
李伟
张雪
宁君
单雄飞
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Dalian Maritime University
Original Assignee
Dalian Maritime University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Dalian Maritime University filed Critical Dalian Maritime University
Priority to CN202211057676.5A priority Critical patent/CN115457258A/zh
Publication of CN115457258A publication Critical patent/CN115457258A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/20Image preprocessing
    • G06V10/25Determination of region of interest [ROI] or a volume of interest [VOI]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/762Arrangements for image or video recognition or understanding using pattern recognition or machine learning using clustering, e.g. of similar faces in social networks
    • G06V10/763Non-hierarchical techniques, e.g. based on statistics of modelling distributions
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02ATECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
    • Y02A90/00Technologies having an indirect contribution to adaptation to climate change
    • Y02A90/10Information and communication technologies [ICT] supporting adaptation to climate change, e.g. for weather forecasting or climate simulation

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Computing Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Artificial Intelligence (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Mathematical Physics (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Probability & Statistics with Applications (AREA)
  • Image Processing (AREA)

Abstract

本发明提供一种基于图像增强算法与改进YOLOv5的雾天船舶检测方法,包括:对采集到的雾天船舶图像数据用MSRCP和CLAHE算法进行图像预处理;将预处理的图像进行标注,构建成数据集;对网络进行改进,采用k‑means++聚类方法设计先验框;在网络主体部分,将CA注意力模块嵌入到C3模块中;采用SoftPool池化替换原来的MaxPool池化;利用数据集对改进的YOLOv5网络进行训练,获取基于改进YOLOv5网络的检测模型以及权重文件;利用训练好的网络模型对数据集内的图像进行检测,得到预测结果。本发明能够实现对海上雾天环境下船舶的实时检测,有效解决了雾天环境下对于远处小目标船舶检测时召回率低、检测精度低的问题。

Description

一种基于图像增强算法与改进YOLOv5的雾天船舶检测方法
技术领域
本发明涉及船舶检测技术领域,具体而言,尤其涉及一种基于图像增强算法与改进YOLOv5的雾天船舶检测方法。
背景技术
多变的海洋状况和海水运动,使海面上经常会有海雾产生。渤海海域是海雾的多发地带,受到冷暖气流的影响,海上有雾的天数最长可达约四十天,对船的航行安全造成极大的威胁。由于受到海上云雾环绕的挑战,驾驶员和引航员的瞭望范围受到限制,海上交通的安全性受到了极大的威胁,发生海上事故的概率大大增加。同时,由于海雾的存在改变了空气中的压力、湿度等参数,船用雷达的探测性能也会大幅度降低。在这种情况下,船舶识别系统对可见光图像的自动检测和辨识能力也会降低,漏检率和误检率会随着环境的恶劣程度变高。
现有的基于深度学习的目标算法有两种:一种是two-stage回归算法,通过卷积神经网络生成一系列可能存在潜在目标的候选区域,然后根据候选区域的特征对每一个区域进行分类和边界回归。Two-stage以Faster-RCNN为代表;另一类是one-stage算法,使用单个卷积神经网络直接完成输入图像上所有目标的定位与分类,典型的算法有YOLO网络。基于候选区域的双阶段的目标检测算法虽然精度很高,但是检测速度不高。而one-stage目标检测方法如2020年提出的YOLOv5,虽然在检测精度上稍有逊色,但是检测速度很快,可以满足实时性要求。
雾天复杂的海洋环境,使得拍摄的可见光图像清晰度不高、云雾干扰较强、对比度低、色彩失真强,这将导致目标检测时容易出现漏检率高的情况,尤其是对于海上远处的小目标船舶。因此解决此类问题,不仅要保证实时性的要求,还要降低漏检率。
发明内容
根据上述提出现有雾天海上可见光图像的船舶实时检测所存在的技术问题,提供一种基于图像增强算法与改进YOLOv5的雾天船舶检测方法。本发明采用MSRCP和CLAHE算法对图像进行预处理,用k-means++聚类算法选定锚框,添加CA模块减少残差过程中的信息损失,使用SoftPool对特征图进行池化操作,有效解决了因为雾天图像特征不清晰而导致的远处小目标船检测漏检率高的问题。
本发明采用的技术手段如下:
一种基于图像增强算法与改进YOLOv5的雾天船舶检测方法,包括如下步骤:
S1、采集海上雾天船舶图像数据,并对图像进行MSRCP和CLAHE预处理,得到图片数据集;
S2、对得到的图片数据集进行标注,建立专有数据集;
S3、采用k-means++聚类方法设计先验框;
S4、构建改进YOLOv5网络模型,将CA模块添加到C3模块中,得到CA-YOLOv5;
S5、在SPP模块中采用SoftPool池化替换原来的MaxPool池化;
S6、利用数据集对CA-YOLOv5网络进行训练,获取基于CA-YOLOv5网络的检测模型以及权重文件;
S7、利用训练好的网络模型对获取到的图像进行检测,得到预测结果。
进一步地,所述步骤S1,具体包括:
S11、准备图像,图像数据集来源于新加坡海事数据集;
S12、将带雾图像输入到MSRCP算法当中进行处理,得到处理后的图像;
S13、将得到的图像输入到CLAHE算法中进行进一步处理,得到增强后图像。
进一步地,所述步骤S12,具体包括:
S121、设置参数;
S122、获取图像的MSR效果图,如下:
Figure BDA0003825427470000031
式中,n代表尺度;ωn为每个尺度所对应的权重;
S123、将MSR乘上色彩恢复函数,得到MSRCR的效果图,如下:
Figure BDA0003825427470000032
式中,G和b为经验参数;
S124、将经过MSRCR算法增强后的强度图像进行处理,再将数据根据原始的RGB的比例映射到每个通道,得到基于MSRCP增强算法的图像,强度图像的获取公式为:
Figure BDA0003825427470000033
式中,Int代表强度图像,IR代表原始图像的R通道值,IG代表原始图像的G通道值,IB代表原始图像的B通道值;
S125、将获得的图像进行色彩恢复,如下:
Figure BDA0003825427470000034
Figure BDA0003825427470000035
式中,
Figure BDA0003825427470000036
代表单通道强度图像,i代表像素索引序号;分别对R、G、B 3个通道利用放大因子A进行色彩调整,从而得到增强后的图像,计算公式为:
R(x,y)=AI(R,G,B)(x,y)
式中,B代表色度,I(R,G,B)(x,y)图像代表在坐标(x,y)处的RGB特征图,R(x,y)代表增强后图像;
S126、对获得的增强后的图像进行手动色彩增强,得到效果图。
进一步地,所述步骤S13,具体包括:
S131、将输入图像转化为lab格式;
S132、使用cv2.createCLAHE实例化CLAHE算法;
S133、使用cv2.merge函数将lab图像进行合并;
S134、将lab图像转换为RGB图像。
进一步地,所述步骤S2,具体包括:
对每个船的种类进行区分并用标注框进行打标,得到包含不同种类目标框的图片数据集。
进一步地,所述步骤S3,具体包括:
S31、将标注好的目标边框长宽输入到聚类算法当中;
S32、随机选取一个点作为第一个聚类中心;
S33、计算每个样本与当前已有聚类中心的距离1-IOU,距离值越大,表示被选取作为聚类中心的概率值越大;
S34、采用轮盘赌法依据概率大小进行抽选,选出下一个聚类中心;
S35、重复步骤S33、S34,直到选出9个聚类中心;
S36、计算每个样本距离最近的簇中心,并分配到离它最近的簇中;
S37、采用计算中值,根据每个簇中的样本重新计算簇中心;
S38、重复执行步骤S36到S37,直到每个簇中元素不再发生变化。
进一步地,所述步骤S4,具体包括:
在每个C3模块concat组件之后,插入CA模块。
进一步地,所述步骤S5,具体包括:
将SPP结构块中的MaxPool池化替换为SoftPool池化,SoftPool池化的定义如下:
Figure BDA0003825427470000041
其中,wi表示激活的自然指数与邻域R内所有激活的自然指数之和的比值。
进一步地,所述步骤S6,具体包括:
S61、设置合适的实验参数训练网络;
S62、将处理好的图像输入到输入端,输入端对图像进行mosaic数据增强和图片归一化处理,将训练的图片归一化为640*640大小;
S63、经过Backbone部分,FOCUS结构对输入目标的维度进行切片操作,C3结构对图片进行卷积操作,获得特征图;
S64、经过Neck部分对特征图进行特征信息提取,在Neck部分中图片先进行上采样来提取图像特征,再进行下采样融合不同尺度的特征信息;
S65、预测端对融合特征图的每个网格输出置信度和位置信息,最后通过非极大抑制NMS筛选出最终的预测框;
S66、将训练所得的权值文件都保存到logs文件夹中。
进一步地,所述步骤S7,具体包括:
S71、选取train loss最低的权值文件作为CA-YOLOv5网络的检测权值文件;
S72、运行predict.py文件,将模式参数调至predict;
S73、输入检测图像的路径,获得检测结果,得到检测目标的位置和类别。
较现有技术相比,本发明具有以下优点:
1、本发明提供的基于图像增强算法与改进YOLOv5的雾天船舶检测方法,针对海上雾天环境下获取的可见光图像特征不清晰,采用融合了MSRCP和CLAHE算法的改进YOLOv5网络,在输入模型之前先对图像进行预处理,改善了因为云雾遮挡而导致的图像信息不明显的问题。
2、本发明提供的基于图像增强算法与改进YOLOv5的雾天船舶检测方法,采用k-means++算法对锚框进行聚类,使获得的锚框更贴近样本,加快锚框收敛速度。
3、本发明提供的基于图像增强算法与改进YOLOv5的雾天船舶检测方法,在C3模块中添加了坐标注意力CA模块,有效降低了残差网络中因为采样带来的信息损失。
4、本发明提供的基于图像增强算法与改进YOLOv5的雾天船舶检测方法,采用SoftPool池化替换原来的MaxPool池化,改善了下采样操作中,因为池化操作丢失重要信息的风险,能够较好地保留小目标船只的信息。
基于上述理由本发明可在船舶检测等领域广泛推广。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图做以简单地介绍,显而易见地,下面描述中的附图是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动性的前提下,还可以根据这些附图获得其他的附图。
图1为本发明方法流程图。
图2为本发明实施例提供的数据集中正常天气图片。
图3为本发明实施例提供的数据集中雾天天气图片。
图4本发明实施例提供的经过图像增强算法与原始雾天图像对比图。
图5为发明实施例提供的原始YOLOv5结构框图。
图6为本发明实施例提供的C3模块添加CA模块前后对比图。
图7为本发明实施例提供的SPP模块替换SoftPool前后对比图。
图8为本发明实施例提供的经过SoftPool池化和最大池化的效果对比图。
图9为本发明实施例提供的原始图像检测和基于图像增强算法和改进YOLOv5方法检测效果对比图。
具体实施方式
需要说明的是,在不冲突的情况下,本发明中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本发明。
为使本发明实施例的目的、技术方案和优点更加清楚,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。以下对至少一个示例性实施例的描述实际上仅仅是说明性的,决不作为对本发明及其应用或使用的任何限制。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
需要注意的是,这里所使用的术语仅是为了描述具体实施方式,而非意图限制根据本发明的示例性实施方式。如在这里所使用的,除非上下文另外明确指出,否则单数形式也意图包括复数形式,此外,还应当理解的是,当在本说明书中使用术语“包含”和/或“包括”时,其指明存在特征、步骤、操作、器件、组件和/或它们的组合。
除非另外具体说明,否则在这些实施例中阐述的部件和步骤的相对布置、数字表达式和数值不限制本发明的范围。同时,应当清楚,为了便于描述,附图中所示出的各个部分的尺寸并不是按照实际的比例关系绘制的。对于相关领域普通技术人员己知的技术、方法和设备可能不作详细讨论,但在适当情况下,所述技术、方法和设备应当被视为授权说明书的一部分。在这里示出和讨论的所有示例中,任向具体值应被解释为仅仅是示例性的,而不是作为限制。因此,示例性实施例的其它示例可以具有不同的值。应注意到:相似的标号和字母在下面的附图中表示类似项,因此,一旦某一项在一个附图中被定义,则在随后的附图中不需要对其进行进一步讨论。
在本发明的描述中,需要理解的是,方位词如“前、后、上、下、左、右”、“横向、竖向、垂直、水平”和“顶、底”等所指示的方位或位置关系通常是基于附图所示的方位或位置关系,仅是为了便于描述本发明和简化描述,在未作相反说明的情况下,这些方位词并不指示和暗示所指的装置或元件必须具有特定的方位或者以特定的方位构造和操作,因此不能理解为对本发明保护范围的限制:方位词“内、外”是指相对于各部件本身的轮廓的内外。
为了便于描述,在这里可以使用空间相对术语,如“在……之上”、“在……上方”、“在……上表面”、“上面的”等,用来描述如在图中所示的一个器件或特征与其他器件或特征的空间位置关系。应当理解的是,空间相对术语旨在包含除了器件在图中所描述的方位之外的在使用或操作中的不同方位。例如,如果附图中的器件被倒置,则描述为“在其他器件或构造上方”或“在其他器件或构造之上”的器件之后将被定位为“在其他器件或构造下方”或“在其位器件或构造之下”。因而,示例性术语“在……上方”可以包括“在……上方”和“在……下方”两种方位。该器件也可以其他不同方式定位(旋转90度或处于其他方位),并且对这里所使用的空间相对描述作出相应解释。
此外,需要说明的是,使用“第一”、“第二”等词语来限定零部件,仅仅是为了便于对相应零部件进行区别,如没有另行声明,上述词语并没有特殊含义,因此不能理解为对本发明保护范围的限制。
如图1所示,本发明提供了一种基于图像增强算法与改进YOLOv5的雾天船舶检测方法,包括如下步骤:
S1、采集海上雾天船舶图像数据,并对图像进行MSRCP和CLAHE预处理,得到图片数据集;
S2、对得到的图片数据集进行标注,建立专有数据集;
S3、采用k-means++聚类方法设计先验框;
S4、构建改进YOLOv5网络模型,将CA模块添加到C3模块中,得到CA-YOLOv5;
S5、在SPP模块中采用SoftPool池化替换原来的MaxPool池化;
S6、利用数据集对CA-YOLOv5网络进行训练,获取基于CA-YOLOv5网络的检测模型以及权重文件;
S7、利用训练好的网络模型对获取到的图像进行检测,得到预测结果。
具体实施时,作为本发明优选的实施方式,所述步骤S1中采集海上雾天船舶图像数据,并对图像进行MSRCP和CLAHE预处理,得到图片数据集的具体实现过程如下:
S11、准备图像,图像数据集来源于新加坡海事数据集;在本实施例中,步骤S11的具体实现过程如下:
S111、将新加坡海事数据集中的视频,正常天气下的视频每隔五帧截一下。正常天气下的图像,如图2所示。
S112、将其中带有雾天的视频,每帧保存一下。雾天天气下的图像,如图3所示。
S12、将带雾图像输入到MSRCP算法当中进行处理,得到处理后的图像;
在本实施例中,步骤S12的具体实现过程如下:
S121、设置参数,sigma_list=[15,80,150],G=5.0,b=25.0,alpha=150.0,beta=46.0,low_clip=0.01,high_clip=0.99;
S122、获取图像的MSR效果图,如下:
Figure BDA0003825427470000091
式中,n代表尺度;ωn为每个尺度所对应的权重;
S123、将MSR乘上色彩恢复函数,得到MSRCR的效果图,如下:
Figure BDA0003825427470000092
式中,G和b为经验参数;
S124、将经过MSRCR算法增强后的强度图像进行处理,再将数据根据原始的RGB的比例映射到每个通道,得到基于MSRCP增强算法的图像,强度图像的获取公式为:
Figure BDA0003825427470000093
式中,Int代表强度图像,IR代表原始图像的R通道值,IG代表原始图像的G通道值,IB代表原始图像的B通道值;
S125、将获得的图像进行色彩恢复,如下:
Figure BDA0003825427470000094
Figure BDA0003825427470000095
式中,
Figure BDA0003825427470000096
代表单通道强度图像,i代表像素索引序号;分别对R、G、B 3个通道利用放大因子A进行色彩调整,从而得到增强后的图像,计算公式为:
R(x,y)=AI(R,G,B)(x,y)
式中,B代表色度,I(R,G,B)(x,y)图像代表在坐标(x,y)处的RGB特征图,R(x,y)代表增强后图像;
S126、对获得的增强后的图像进行手动色彩增强,增强参数为:明度=1.25,对比度=1,锐度=3,得到效果图,如图4所示。
S13、将得到的图像输入到CLAHE算法中进行进一步处理,得到增强后图像。在本实施例中,所述步骤S13,具体包括:
S131、将输入图像转化为lab格式;
S132、使用cv2.createCLAHE实例化CLAHE算法,设置tileGridSize=(12,12),clipLimit=1。
S133、使用cv2.merge函数将lab图像进行合并;
S134、将lab图像转换为RGB图像。
具体实施时,作为本发明优选的实施方式,所述步骤S2,具体包括:
对每个船的种类进行区分并用标注框进行打标,得到包含不同种类目标框的图片数据集。在本实施例中,所述步骤S2中对得到的数据集进行标注,建立专有数据集的具体实现过程如下:
S21、用新加坡海事数据集中的load_mat_into_csv_xml文件生成数据集中的XML文件;
S22、创建名为Annotations的文件夹,将生成的XML文件摆放到Annotations文件夹中;
S23、将获得的图像按照Pascal VOC数据集的格式将图片命名,创建名为JPEGImages的文件夹,将整个数据集中的图像放在JPEG Images文件夹中;
S24、将图像分成训练集、验证集和测试集;
S25、创建名为Image Sets的文件夹,在Image Sets文件夹下创建名为train、val、test三个.txt文件,将图像中训练集、验证集、测试集的编号分别写入train、val、test文件中。
具体实施时,作为本发明优选的实施方式,所述步骤S3,具体包括:
S31、将标注好的目标边框长宽输入到聚类算法当中;
S32、随机选取一个点作为第一个聚类中心;
S33、计算每个样本与当前已有聚类中心的距离1-IOU,距离值越大,表示被选取作为聚类中心的概率值越大;
S34、采用轮盘赌法依据概率大小进行抽选,选出下一个聚类中心;
S35、重复步骤S33、S34,直到选出9个聚类中心;
S36、计算每个样本距离最近的簇中心,并分配到离它最近的簇中;
S37、采用计算中值,根据每个簇中的样本重新计算簇中心;
S38、重复执行步骤S36到S37,直到每个簇中元素不再发生变化。在本实施例中,所述步骤S38中,最终变异得到的锚框按照面积进行排序并返回,最终得到的框为(10,15),(20,13),(16,23),(31,33),(60,25),(32,54),(87,37),(49,91),(165,96)。
具体实施时,作为本发明优选的实施方式,所述步骤S4,具体包括:
在每个C3模块concat组件之后,插入CA模块。在本实施例中,将CA模块添加到C3模块中,得到CA-YOLOv5的具体实现过程如下:
S41、改造前的YOLO v5模型,如图5所示。对于给定的输入X,先使用尺寸(H,1)和(1,W)的池化核沿着水平坐标方向和竖直坐标方向对每个通道进行编码;
S42、得到嵌入特定方向信息的特征图表示式如下:
Figure BDA0003825427470000111
Figure BDA0003825427470000112
其中,xc为输入特征向量,
Figure BDA0003825427470000121
为高度h的输出,
Figure BDA0003825427470000122
为在宽度w的输出,下标c为输入特征向量的通道;
S43、将步骤S42得到的两个特征图分别编码为两个注意力图,并将其输入特征图,输出如下:
Figure BDA0003825427470000123
Figure BDA0003825427470000124
其中,Fh和Fw分别代表垂直方向和水平方向的1×1卷积变换,δ是非线性激活函数,σ是sigmoid激活函数,
Figure BDA0003825427470000125
Figure BDA0003825427470000126
分别为垂直方向和水平方向的输出;
S44、CA机制的最终输出如下:
Figure BDA0003825427470000127
S45、CA机制作为即插即用的模块,在本发明中的嵌入位置为C3模块concat组件后面。如图6所示。
具体实施时,作为本发明优选的实施方式,所述步骤S5,具体包括:
将SPP结构块中的MaxPool池化替换为SoftPool池化,SoftPool池化的定义如下:
Figure BDA0003825427470000128
其中,wi表示激活的自然指数与邻域R内所有激活的自然指数之和的比值。替换前后的SPP模块,如图7所示;SoftPool池化效果对比,如图8所示。
具体实施时,作为本发明优选的实施方式,所述步骤S6,具体包括:
S61、设置合适的实验参数训练网络;在本实施例中,设置合适的实验参数训练网络的具体实现过程如下:
S611、骨干网络选择CSPdarknet。实验学习率采用Warmup学习策略训练预热,提高训练稳定性的同时可以缓解模型过拟合。Warmup阶段之后,采用余弦退火算法对学习率进行下降,训练时的优化器optimizer采用随机下降梯度法SGD。
S612、训练分为两个阶段,分别是冻结阶段和解冻阶段。在冻结阶段,模型的主干被冻结了,特征提取网络不会发生改变,占用较小的显存,仅对网络进行微调;解冻阶段训练,模型的主干不被冻结,特征提取网络会发生改变,占用的显存较大,网络的所有参数都会发生改变。
S613、其他参数选择如下:
Figure BDA0003825427470000131
S62、将处理好的图像输入到输入端,输入端对图像进行mosaic数据增强和图片归一化处理,将训练的图片归一化为640*640大小;
S63、经过Backbone部分,FOCUS结构对输入目标的维度进行切片操作,C3结构对图片进行卷积操作,获得特征图;
S64、经过Neck部分对特征图进行特征信息提取,在Neck部分中图片先进行上采样来提取图像特征,再进行下采样融合不同尺度的特征信息;
S65、预测端对融合特征图的每个网格输出置信度和位置信息,最后通过非极大抑制NMS筛选出最终的预测框;
S66、将训练所得的权值文件都保存到logs文件夹中。
具体实施时,作为本发明优选的实施方式,所述步骤S7,具体包括:
S71、选取train loss最低的权值文件作为CA-YOLOv5网络的检测权值文件;
S72、运行predict.py文件,将模式参数调至predict;
S73、输入检测图像的路径,获得检测结果,得到检测目标的位置和类别。部分检测结果和原始YOLOv5结果对比图,如图9所示。
实施例
为了验证本发明方案的有效性,本实施例利用pytorch进行计算机仿真研究,参数设置参见步骤S5。
采用基于图像增强算法与改进YOLOv5的雾天船舶检测方法,模拟船舶在雾天环境、能见度不良的情况下进行目标检测,并进行对比分析。
实验结果如图8所示,从图8可以看出,经过改进后的方法相比原始方法,检测出的船只更多的同时,置信度也有明显提升。因为有大量雾的遮挡,原始YOLOv5算法出现了漏检的情况,图中右侧的船只没有被检测到。表明YOLOv5算法在特征信息不明显时进行检测存在困难,而预处理步骤可以展现更多信息,添加CA注意力模块可以减少信息损失,SoftPool池化操作可以在下采样时保留更多的特征信息。经过改善后,模型有效减少漏检情况的同时,置信度也有提升。
仿真结果表明,采用融合MSRCP算法的改进YOLOv5方法对海上雾天图像进行目标检测,针对雾天海上环境下获取的图像特征不清晰,采用了融合MSRCP和CLAHE预处理步骤的YOLOv5网络,在输入模型之前先对图像进行预处理,改善了因为云雾遮挡而导致的图像信息不明显的问题。采用k-means++算法对锚框进行聚类,使获得的锚框更贴近样本,加快锚框收敛速度。采用CA注意力模块,减少了残差网络过程中的信息损失。采用SoftPool池化替换原来的MaxPool池化,降低了池化操作中特征信息丢失的风险,能够较好地保留小目标船只的信息,进而提高了模型的检测精度,降低了模型的漏检率。
最后应说明的是:以上各实施例仅用以说明本发明的技术方案,而非对其限制;尽管参照前述各实施例对本发明进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分或者全部技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。

Claims (10)

1.一种基于图像增强算法与改进YOLOv5的雾天船舶检测方法,其特征在于,包括如下步骤:
S1、采集海上雾天船舶图像数据,并对图像进行MSRCP和CLAHE预处理,得到图片数据集;
S2、对得到的图片数据集进行标注,建立专有数据集;
S3、采用k-means++聚类方法设计先验框;
S4、构建改进YOLOv5网络模型,将CA模块添加到C3模块中,得到CA-YOLOv5;
S5、在SPP模块中采用SoftPool池化替换原来的MaxPool池化;
S6、利用数据集对CA-YOLOv5网络进行训练,获取基于CA-YOLOv5网络的检测模型以及权重文件;
S7、利用训练好的网络模型对获取到的图像进行检测,得到预测结果。
2.根据权利要求1所述的基于图像增强算法与改进YOLOv5的雾天船舶检测方法,其特征在于,所述步骤S1,具体包括:
S11、准备图像,图像数据集来源于新加坡海事数据集;
S12、将带雾图像输入到MSRCP算法当中进行处理,得到处理后的图像;
S13、将得到的图像输入到CLAHE算法中进行进一步处理,得到增强后图像。
3.根据权利要求2所述的基于图像增强算法与改进YOLOv5的雾天船舶检测方法,其特征在于,所述步骤S12,具体包括:
S121、设置参数;
S122、获取图像的MSR效果图,如下:
Figure FDA0003825427460000011
式中,n代表尺度;ωn为每个尺度所对应的权重;
S123、将MSR乘上色彩恢复函数,得到MSRCR的效果图,如下:
Figure FDA0003825427460000025
式中,G和b为经验参数;
S124、将经过MSRCR算法增强后的强度图像进行处理,再将数据根据原始的RGB的比例映射到每个通道,得到基于MSRCP增强算法的图像,强度图像的获取公式为:
Figure FDA0003825427460000021
式中,Int代表强度图像,IR代表原始图像的R通道值,IG代表原始图像的G通道值,IB代表原始图像的B通道值;
S125、将获得的图像进行色彩恢复,如下:
Figure FDA0003825427460000022
Figure FDA0003825427460000023
式中,
Figure FDA0003825427460000024
代表单通道强度图像,i代表像素索引序号;分别对R、G、B 3个通道利用放大因子A进行色彩调整,从而得到增强后的图像,计算公式为:
R(x,y)=AI(R,G,B)(x,y)
式中,B代表色度,I(R,G,B)(x,y)图像代表在坐标(x,y)处的RGB特征图,R(x,y)代表增强后图像;
S126、对获得的增强后的图像进行手动色彩增强,得到效果图。
4.根据权利要求2所述的基于图像增强算法与改进YOLOv5的雾天船舶检测方法,其特征在于,所述步骤S13,具体包括:
S131、将输入图像转化为lab格式;
S132、使用cv2.createCLAHE实例化CLAHE算法;
S133、使用cv2.merge函数将lab图像进行合并;
S134、将lab图像转换为RGB图像。
5.根据权利要求1所述的基于图像增强算法与改进YOLOv5的雾天船舶检测方法,其特征在于,所述步骤S2,具体包括:
对每个船的种类进行区分并用标注框进行打标,得到包含不同种类目标框的图片数据集。
6.根据权利要求1所述的基于图像增强算法与改进YOLOv5的雾天船舶检测方法,其特征在于,所述步骤S3,具体包括:
S31、将标注好的目标边框长宽输入到聚类算法当中;
S32、随机选取一个点作为第一个聚类中心;
S33、计算每个样本与当前已有聚类中心的距离1-IOU,距离值越大,表示被选取作为聚类中心的概率值越大;
S34、采用轮盘赌法依据概率大小进行抽选,选出下一个聚类中心;
S35、重复步骤S33、S34,直到选出9个聚类中心;
S36、计算每个样本距离最近的簇中心,并分配到离它最近的簇中;
S37、采用计算中值,根据每个簇中的样本重新计算簇中心;
S38、重复执行步骤S36到S37,直到每个簇中元素不再发生变化。
7.根据权利要求1所述的基于图像增强算法与改进YOLOv5的雾天船舶检测方法,其特征在于,所述步骤S4,具体包括:
在每个C3模块concat组件之后,插入CA模块。
8.根据权利要求1所述的基于图像增强算法与改进YOLOv5的雾天船舶检测方法,其特征在于,所述步骤S5,具体包括:
将SPP结构块中的MaxPool池化替换为SoftPool池化,SoftPool池化的定义如下:
Figure FDA0003825427460000031
其中,wi表示激活的自然指数与邻域R内所有激活的自然指数之和的比值。
9.根据权利要求1所述的基于图像增强算法与改进YOLOv5的雾天船舶检测方法,其特征在于,所述步骤S6,具体包括:
S61、设置合适的实验参数训练网络;
S62、将处理好的图像输入到输入端,输入端对图像进行mosaic数据增强和图片归一化处理,将训练的图片归一化为640*640大小;
S63、经过Backbone部分,FOCUS结构对输入目标的维度进行切片操作,C3结构对图片进行卷积操作,获得特征图;
S64、经过Neck部分对特征图进行特征信息提取,在Neck部分中图片先进行上采样来提取图像特征,再进行下采样融合不同尺度的特征信息;
S65、预测端对融合特征图的每个网格输出置信度和位置信息,最后通过非极大抑制NMS筛选出最终的预测框;
S66、将训练所得的权值文件都保存到logs文件夹中。
10.根据权利要求1所述的基于图像增强算法与改进YOLOv5的雾天船舶检测方法,其特征在于,所述步骤S7,具体包括:
S71、选取train loss最低的权值文件作为CA-YOLOv5网络的检测权值文件;
S72、运行predict.py文件,将模式参数调至predict;
S73、输入检测图像的路径,获得检测结果,得到检测目标的位置和类别。
CN202211057676.5A 2022-08-31 2022-08-31 一种基于图像增强算法与改进YOLOv5的雾天船舶检测方法 Pending CN115457258A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211057676.5A CN115457258A (zh) 2022-08-31 2022-08-31 一种基于图像增强算法与改进YOLOv5的雾天船舶检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211057676.5A CN115457258A (zh) 2022-08-31 2022-08-31 一种基于图像增强算法与改进YOLOv5的雾天船舶检测方法

Publications (1)

Publication Number Publication Date
CN115457258A true CN115457258A (zh) 2022-12-09

Family

ID=84301655

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211057676.5A Pending CN115457258A (zh) 2022-08-31 2022-08-31 一种基于图像增强算法与改进YOLOv5的雾天船舶检测方法

Country Status (1)

Country Link
CN (1) CN115457258A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116503865A (zh) * 2023-05-29 2023-07-28 北京石油化工学院 氢气道路运输风险识别方法、装置、电子设备及存储介质
CN116563205A (zh) * 2023-03-10 2023-08-08 兰州理工大学 基于小目标检测和改进YOLOv5的麦穗计数检测方法

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116563205A (zh) * 2023-03-10 2023-08-08 兰州理工大学 基于小目标检测和改进YOLOv5的麦穗计数检测方法
CN116503865A (zh) * 2023-05-29 2023-07-28 北京石油化工学院 氢气道路运输风险识别方法、装置、电子设备及存储介质

Similar Documents

Publication Publication Date Title
CN110796037B (zh) 基于轻量级感受野金字塔的星载光学遥感图像舰船目标检测方法
CN109584248B (zh) 基于特征融合和稠密连接网络的红外面目标实例分割方法
CN107871119B (zh) 一种基于目标空间知识和两阶段预测学习的目标检测方法
CN111461213B (zh) 一种目标检测模型的训练方法、目标快速检测方法
CN115457258A (zh) 一种基于图像增强算法与改进YOLOv5的雾天船舶检测方法
CN110084234B (zh) 一种基于实例分割的声呐图像目标识别方法
CN107563433B (zh) 一种基于卷积神经网络的红外小目标检测方法
CN110796168A (zh) 一种基于改进YOLOv3的车辆检测方法
EP3690741B1 (en) Method for automatically evaluating labeling reliability of training images for use in deep learning network to analyze images, and reliability-evaluating device using the same
CN113780296A (zh) 基于多尺度信息融合的遥感图像语义分割方法及系统
CN108389220A (zh) 遥感视频图像运动目标实时智能感知方法及其装置
CN115471741A (zh) 一种融合MSRCP预处理算法与改进YOLOv5的雾天船舶检测方法
CN113762209A (zh) 一种基于yolo的多尺度并行特征融合路标检测方法
CN110929649B (zh) 一种面向小目标检测的网络和困难样本挖掘方法
CN108428220A (zh) 静止轨道卫星序列遥感影像海岛礁区域自动几何校正方法
CN115147731A (zh) 一种基于全空间编码注意力模块的sar图像目标检测方法
CN112257793A (zh) 一种基于改进YOLO v3算法的远距离交通标志检测方法
CN115393690A (zh) 一种轻量化神经网络的空对地观测多目标识别方法
CN113486819A (zh) 一种基于YOLOv4算法的船舶目标检测方法
CN114973026A (zh) 无人机航拍场景中的目标检测系统、无人机航拍系统
CN112101113B (zh) 一种轻量化的无人机图像小目标检测方法
CN113627481A (zh) 一种面向智慧园林的多模型组合的无人机垃圾分类方法
CN115761552B (zh) 面向无人机机载平台的目标检测方法、设备及介质
CN117542082A (zh) 一种基于YOLOv7的行人检测方法
CN117253217A (zh) 一种充电站车辆识别方法、装置、电子设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination