CN113989613A - 一种应对复杂环境的轻量级高精度船舶目标检测方法 - Google Patents
一种应对复杂环境的轻量级高精度船舶目标检测方法 Download PDFInfo
- Publication number
- CN113989613A CN113989613A CN202111192945.4A CN202111192945A CN113989613A CN 113989613 A CN113989613 A CN 113989613A CN 202111192945 A CN202111192945 A CN 202111192945A CN 113989613 A CN113989613 A CN 113989613A
- Authority
- CN
- China
- Prior art keywords
- image
- light
- fog
- detection
- ship
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 50
- 230000010485 coping Effects 0.000 title description 2
- 238000000034 method Methods 0.000 claims abstract description 30
- 238000012549 training Methods 0.000 claims abstract description 10
- 238000001914 filtration Methods 0.000 claims description 9
- 230000008569 process Effects 0.000 claims description 9
- 238000002834 transmittance Methods 0.000 claims description 9
- 230000004913 activation Effects 0.000 claims description 6
- 230000000694 effects Effects 0.000 claims description 5
- 238000000605 extraction Methods 0.000 claims description 5
- 238000010606 normalization Methods 0.000 claims description 4
- NAWXUBYGYWOOIX-SFHVURJKSA-N (2s)-2-[[4-[2-(2,4-diaminoquinazolin-6-yl)ethyl]benzoyl]amino]-4-methylidenepentanedioic acid Chemical compound C1=CC2=NC(N)=NC(N)=C2C=C1CCC1=CC=C(C(=O)N[C@@H](CC(=C)C(O)=O)C(O)=O)C=C1 NAWXUBYGYWOOIX-SFHVURJKSA-N 0.000 claims description 3
- 230000005540 biological transmission Effects 0.000 claims description 3
- 230000005764 inhibitory process Effects 0.000 claims description 3
- 239000011159 matrix material Substances 0.000 claims description 3
- 238000012795 verification Methods 0.000 claims description 3
- 230000002159 abnormal effect Effects 0.000 claims description 2
- 239000000126 substance Substances 0.000 claims description 2
- 238000011897 real-time detection Methods 0.000 abstract description 5
- 230000009466 transformation Effects 0.000 abstract description 3
- 230000007547 defect Effects 0.000 abstract description 2
- 238000005457 optimization Methods 0.000 abstract 1
- 230000006870 function Effects 0.000 description 13
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 5
- 238000013527 convolutional neural network Methods 0.000 description 4
- 238000013135 deep learning Methods 0.000 description 3
- 238000013461 design Methods 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 230000006399 behavior Effects 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 1
- 238000000137 annealing Methods 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 230000005284 excitation Effects 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G06T5/73—
-
- G06T5/92—
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Health & Medical Sciences (AREA)
- Software Systems (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Biophysics (AREA)
- Biomedical Technology (AREA)
- Mathematical Physics (AREA)
- Computational Linguistics (AREA)
- Health & Medical Sciences (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Biology (AREA)
- Image Processing (AREA)
Abstract
本发明涉及目标检测技术领域,针对现有复杂环境下船舶目标检测存在的缺陷,公开了一种应对复杂环境的轻量级高精度船舶目标检测方法。该方法首先对模型进行轻量化改造和模型优化以减少模型参数量,其次对改进后的模型进行训练以得到用于检测的权重文件,然后构建海雾环境判别和物理模型去雾模块以应对复杂环境,之后将海雾判别模块和去雾模块添加至检测模块中,最后使用检测模块和训练好的模型权重文件对船舶目标进行复杂环境视频流实时检测。该方法能够在复杂环境下实现对船舶的实时、高精度检测。
Description
技术领域
本发明涉及目标检测技术领域,尤其涉及一种应对复杂环境的轻量级高精度船舶目标检测方法。
背景技术
随着水运行业的蓬勃发展,水上交通安全形势面临严峻考验。作为水路运输的重要载体,船舶类型的准确识别和船舶位置的检测对于感知水路交通状况、保证船舶航行安全和水上违法行为的预警具有重要意义。船舶目标的准确、高效检测是后续进行船舶行为识别、轨迹跟踪等高级视觉任务的基础。与道路车辆检测相比,由于通航环境复杂、海雾和水汽等恶劣天气影响,复杂环境下水上船舶目标的实时检测更具挑战性。
现有的目标检测算法主要分为传统方法的目标检测算法和基于深度学习的目标检测算法:传统目标检测算法总体上分为三个步骤,首先输入图像并在图像上生成候选区域,其次对候选区域提取人工特征,最后训练分类器并进行图像分类。基于深度学习的目标检测算法主要分为两类,一类是基于候选区域的目标检测算法,如R-CNN、Fast R-CNN、Faster R-CNN,这类算法首先选择输入图像的候选区域,然后对候选区域进行分类和位置回归以实现目标检测。另一类是基于回归的目标检测算法,如SSD、YOLO,这类算法省略了候选区域生成步骤,直接将特征提取、目标分类、位置回归过程集成到一个卷积神经网络中,将目标检测过程转化成为一种端到端的回归问题。
目前,在水上交通领域,关于复杂环境下船舶目标检测问题的研究仍存在以下缺陷:
(1)适用场景单一,难以解决海雾等复杂环境下的船舶目标检测问题。现有的目标检测算法由于在目标检测之前没有对输入图像进行去雾预处理,在面对海雾等复杂环境时存在检测精度低,模型泛化能力差等问题。
(2)模型权重文件过于庞大,难以部署于微算力、低功耗的平台。在现有的目标检测模型中,YOLOv4的权重文件约244M,YOLOv5系列中最小的YOLOv5s模型的权重文件约15M,这在很大程度上限制了模型在微算力平台的部署。
发明内容
针对上述问题本发明提供了一种基于深度学习的应对复杂环境的轻量级高精度船舶目标检测方法。
为了达到上述目的,本发明采用了下列技术方案:
本发明提供一种应对复杂环境的轻量级高精度船舶目标检测方法,具体包括以下步骤:
步骤1,模型轻量化改造:使用轻量化网络对原有网络进行改造,将YOLOv5s的骨干特征提取网络由参数量较多的CSPDarkNet53网络替换为参数量较少的MobileNetv3-small网络;
步骤2,设计可变卷积模块,并将靠近检测头的两个普通卷积模块替换为可变卷积模块;其中可变卷积网络(DCN)的卷积核具有适应目标形状而发生空间形变的能力,能够根据识别的目标对卷积核进行动态调整,从而捕获不同尺度或形状物体的图像特征。
步骤3,优化损失函数:将指导网络进行优化的损失函数的边框回归损失部分由CIOU-Loss优化为Focal Loss EIOU;Focal Loss EIOU从梯度的角度出发,把高质量的锚框和低质量的锚框分开,进一步优化了边界框回归任务中的样本不平衡问题,使回归过程专注于高质量锚框。
步骤4,模型训练和验证:对经步骤1-3改进后的YOLOv5s模型进行训练,优化网络参数,得到用于检测的权重文件,并进行验证;
步骤5,设计海雾环境判断模块,使用图像的模糊度和图像的结构相似性作为判断环境是否有雾的指标,若两种指标均判断图像有雾则环境有雾;
步骤6,构建图像去雾模块,使用一种基于物理模型的去雾算法对环境光和全局大气光进行估计,从而恢复出无雾图像;
步骤7,进行船舶目标检测:对输入的视频流进行海雾判断,若无雾则直接使用步骤4得到的权重文件进行船舶检测,若有雾则去雾后进行船舶检测,在船舶目标视频流中自动标记船舶目标。
进一步,所述步骤2中可变卷积模块的设计具体为:将可变卷积层、批量归一化层和激活函数层依次连接,构建成可变卷积模块。
进一步,所述步骤3中Focal Loss EIOU的惩罚项公式如下:
LFocl-EIOU=IOUγLEIOU (3)
其中,γ为控制异常值抑制程度的参数,IOU是产生的预测框与锚框的交叠率,
其中,cw和ch是覆盖预测框和锚框的最小外接矩形框的宽度和高度,c表示能够同时包含预测框和锚框的最小外接矩形的对角线距离,LIOU、Ldis、Lasp分别表示重叠损失,中心距离损失和宽高损失,ρ表示为计算两个输入量欧氏距离的函数,b和bgt分别表示预测框和锚框的中心点,w和wgt分别表示预测框和锚框的宽,h和hgt分别表示预测框和锚框的高。
进一步,所述步骤5中图像的模糊度使用拉普拉斯算子来计算,设▽2f为拉普拉斯算子,则对于离散数字图像f(i,j)其二阶偏导数为:
所以拉普拉斯算子表示为:
对应的拉普拉斯算子矩阵为:
将第一帧图像转化为单通道的灰度图像,然后与拉普拉斯算子进行卷积运算,最后计算输出的方差,如果方差小于一定值,则将图像视为有雾。
所述步骤5中图像的结构相似性通过亮度、对比度和结构三个方面来进行评估,对于给定两张图像x、y,二者的结构相似性被定义为:
SSIM(x,y)=[l(x,y)α][c(x,y)β][s(x,y)]γ (7)
l(x,y)比较亮度,c(x,y)比较对比度,s(x,y)比较结构;
α,β,γ>0;μx,μy,σx,σy分别为x和y的平均值和标准差;
σxy为协方差;C1,C2,C3均为常数,
计算两张图像之间的结构相似性值,该值越小则两张图像的差异越大,即输入环境图像质量越差,结构相似性值小于一定值时,则将图像视为有雾。
进一步,所述步骤6中使用基于物理模型的去雾算法对环境光和全局大气光进行估计,从而恢复出无雾图像的具体过程为:
在计算机视觉领域,海雾对图像的影响通常使用以下模型进行模拟:
H(x)=F(x)e-rd(x)+A(1-e-rd(x)) (8)
其中,H(x)为待去雾的原图像,F(x)为无雾图像,x为图像像素的空间坐标,r为大气散射系数,d为场景深度,A为全局大气光,e-rd(x)表示x处的透射率,A(1-e-rd(x))被称为环境光;
用L(x)表示环境光,则式(8)可改写为:
因此,只要从原图像H(x)中计算出环境光L(x)及全局大气光A,就可以恢复出无雾图像F(x);
使用基于物理模型的去雾算法对环境光L(x)和全局大气光A进行估计;
(1)估计环境光L(x):
用t(x)表示透射率,则式(8)可以改写为:
H(x)=F(x)t(x)+A(1-t(x)) (10)
由式(10)可知:
取H(x)三通道中的最小值并记为M(x):
因此式(11)可变换为:
对式(13)的右边进行均值滤波处理:
其中sa表示均值滤波的滑动窗口大小,Ω(x)表示像素x的sa×sa的邻近区域,均值滤波后的结果能反应t(x)的大致趋势,于是得出透射率t(x)的粗略估计值:
为了解决去雾后的图像出现画面整体偏暗的问题,根据图像的均值调整δ,即δ=ρmav,其中,mav是M(x)中所有像素的均值,ρ是调节因子;因此可以得到透射率的计算公式:
可得环境光为:
L(x)=min(1-min(ρmav,0.9)Mave(x),M(x)) (17)
(2)估计全局大气光:
式(14)中等式左侧表达式的取值范围应为[0,1],可以得出A≥max(Mave(x)),又有A≤max(maxc∈r,g,b(Hc(x)));因此可以确定全局大气光的取值范围为max(Mave(x))≤A≤max(maxc∈r,g,b(Hc(x))),即:
A=εmax(maxc∈r,g,b(Hc(x)))+(1-ε)max(Mave(x)) (18)
其中,0≤ε≤1,由于ε的准确值难以获取,为了算法的快速性,取ε为0.5,所以全局大气光:
根据所得的环境光L(x)和全局大气光A,利用物理模型恢复出无雾图像F(x):
与现有技术相比本发明具有以下优点:
1、本发明所提方法在去雾处理后对船舶识别精度达到了94%,平均识别速度为253帧/秒,满足船舶目标实时检测的要求,能够实时在海雾气象条件下高效、准确地进行船舶检测。
2、本发明将YOLOv5s的骨干特征提取网络由参数量较多的CSPDarkNet53网络替换为参数量较少的MobileNetv3-small网络,实现了模型的轻量化改造;将可变卷积层、批量归一化层和激活函数层依次连接,构建了可变卷积模块,并将靠近检测头的两个普通卷积模块替换为可变卷积模块;将指导网络进行优化的损失函数的边框回归损失部分由CIOU-Loss优化为Focal Loss EIOU,把高质量的锚框和低质量的锚框分开,进一步优化了边界框回归任务中的样本不平衡问题,使回归过程专注于高质量锚框。通过对模型进行上述改造,减少模型参数量,使训练后获得的权重文件大小较轻量化该进前较小了40%,容易部署于微算力、低功耗的平台。
3、本发明设计了海雾环境判断模块,建立了海雾环境判断方法,使用图像的模糊度和图像的结构相似度作为海雾判断的指标;此外,本发明还设计了图像去雾模块,使用基于物理模型的去雾算法对环境光和全局大气光进行估计,从而恢复出无雾图像。因此,本发明方法可用于海雾等复杂环境下的船舶目标实时检测,提高了海雾等复杂环境下的检测精度。
附图说明
图1为本发明的流程图;
图2为本发明中改进后的YOLOv5s网络结构图;
图3为本发明在雾天的船舶检测效果图。
具体实施方式
下面结合本发明实施例和附图,对本发明实施例中的技术方案进行具体、详细的说明。应当指出,对于本领域的普通技术人员来说,在不脱离本发明原理的前提下,还可以做出若干变型和改进,这些也应视为属于本发明的保护范围。
应对复杂环境的轻量级高精度船舶目标检测,具体流程如图1所示:
(1)模型轻量化改造:
首先通过参数量分析,将YOLOv5s的骨干特征提取网络由参数量较多的CSPDarkNet53网络替换为参数量较少的MobileNetv3-small网络。MobileNetv3网络综合了以下三种模型的思想:深度可分离卷积、具有线性瓶颈的逆残差结构和基于SE(Squeezeand Excitation)结构的轻量级注意力模型,并使用h-swish激活函数代替了原有的swish激活函数,h-swish激活函数的表达式如下:
然后将基于SE结构的轻量级注意力模型应用到网络的其他部分。SE模型结构考虑通道之间的关系,以此来提升网络性能,能够显式地建立特征通道之间的相互依赖关系,通过学习的方式来获得每个特征通道之间的重要程度,并按照这个重要程度来提升有用特征的权重,以及抑制对当前任务用处不大的特征。
(2)设计可变卷积模块:
将可变卷积层、批量归一化层和激活函数层依次连接,构建了可变卷积(DBH)模块,并将靠近检测头的两个普通卷积模块替换为可变卷积模块。
(3)优化损失函数:将CIOU-Loss替换为Focal Loss EIOU。
原始的YOLOv5采用CIOU-Loss作为边框回归的损失函数,CIOU-Loss虽然考虑了边界框回归的重叠面积、中心点距离和纵横比,但其并非为根据宽高分别与其置信度的真实差反映的纵横比。针对这一问题,EIOU-Loss将纵横比的损失项拆分成预测的宽高分别与最小外接框宽高的差值,加速了收敛,提高了回归精度。EIOU损失函数包含三个部分:重叠损失,中心距离损失,宽高损失,前两部分延用了CIOU中的方法,但是宽高损失直接使预测框与锚框的宽度和高度之差最小,使得收敛速度更快。惩罚项公式如下:
其中,Cw和Ch是覆盖预测框和锚框的最小外接矩形框的宽度和高度,c表示能够同时包含预测框和锚框的最小外接矩形的对角线距离,LIOU、Ldis、Lasp分别表示重叠损失,中心距离损失和宽高损失,ρ表示为计算两个输入量欧氏距离的函数、b和bgt分别表示预测框和锚框的中心点、w和wgt分别表示预测框和锚框的宽、h和hgt分别表示预测框和锚框的高。
而Focal Loss EIOU从梯度的角度出发,把高质量的锚框和低质量的锚框分开,进一步优化了边界框回归任务中的样本不平衡问题,使回归过程专注于高质量锚框。其惩罚项公式如下:
LFocl-EIOU=IOUγLEIOU (3)
其中γ为控制异常值抑制程度的参数,IOU是产生的预测框与锚框的交叠率根据上述公式:IOU越高的损失越大,给越好的回归目标一个越大的损失,有助于提高回归精度。
改进后的YOLOv5s网络结构图如图2所示。
(4)模型训练:
选择使用选用公开的SeaShips船舶数据集。SeaShips数据集是一个大型船舶数据集,涵盖了六种常见的船舶类型(矿石运输船、散货运输船、杂货船、集装箱船、渔船和客船),所有图像均由横琴岛界周围海岸线视频监视系统获取,涵盖了不同船舶大小、不同观测方向、不同光照水平和不同遮挡度的船舶图像。实验使用SeaShips数据集公开部分共7000张船舶图像,其中,划分6000张图像为训练集,600张图像为验证集,400张图像为测试集。
将输入图像的尺寸统一设定为640*640的JPG图像,Batch size设置为48,Epoch设置为200,学习率设置为0.01,模拟余弦退火策略来调整网络的学习率,训练完成后得到权重文件,验证获得权重文件大小相较于轻量化改进前减小了40%。
(5)设计海雾环境判断模块:
由于视频背景环境的相对不变性,为了满足实时检测的要求,首先对于输入视频流的第一帧进行图像清晰度判断,判断图像是否有雾。选用图像的模糊度和图像与参考图像的结构相似度作为图像是否有雾的判断标准,对输入视频的第一帧进行视频环境是否有雾的判断。若两种指标均判断图像有雾则进行下一步的去雾操作。
使用拉普拉斯算子来计算图像的模糊度,拉普拉斯运算是偏导数运算的线性组合。设▽2f为拉普拉斯算子,则对于离散数字图像f(i,j)其二阶偏导数为:
所以拉普拉斯算子表示为:
对应的拉普拉斯算子矩阵为:
首先将第一帧图像转化为单通道的灰度图像,然后与拉普拉斯算子进行卷积运算,最后计算输出的方差。如果方差小于一定值,则将图像视为有雾。
结构相似性(SSIM)反映两张图像的相似度。当两张图像分别为清晰图像和模糊图像时,二者的结构相似性可以作为图像质量的衡量指标。结构相似性的基本思路是通过亮度、对比度和结构三个方面来对两幅图像的相似性进行评估。对于给定两张图像x、y,二者的结构相似性被定义为:
SSIM(x,y)=[l(x,y)α][c(x,y)β][s(x,y)]γ (7)
l(x,y)比较亮度,c(x,y)比较对比度,s(x,y)比较结构;
α,β,γ>0;
μx,μy,σx,σy分别为x和y的平均值和标准差;
σxy为协方差;
C1,C2,C3均为常数。
将数据集中的一张清晰无雾图像固定为参考图像x,将视频流输入的第一帧图像做为y,计算两张图像之间的结构相似性值,该值越小则两张图像的差异越大,即输入环境图像质量越差。结构相似性值小于一定值时则将图像视为有雾。
(6)构建图像去雾模块:
在计算机视觉领域,海雾对图像的影响通常使用以下模型进行模拟:
H(x)=F(x)e-rd(x)+A(1-e-rd(x)) (8)
其中,H(x)为待去雾的原图像,F(x)为无雾图像,x为图像像素的空间坐标,r为大气散射系数,d为场景深度,A为全局大气光,e-rd(x)表示x处的透射率,A(1-e-rd(x))被称为环境光。用L(x)表示环境光,则式(8)可改写为:
因此,只要从原图像H(x)中计算出环境光L(x)及全局大气光A,就可以恢复出无雾图像F(x)。使用基于物理模型的去雾算法对环境光和全局大气光进行估计。
估计环境光:
用t(x)表示透射率,则式(8)可以改写为:
H(x)=F(x)t(x)+A(1-t(x)) (10)
由式(10)可知:
取H(x)三通道中的最小值并记为M(x):
因此式(11)可变换为:
对式(13)的右边进行均值滤波处理:
其中sa表示均值滤波的滑动窗口大小,Ω(x)表示像素x的sa×sa的邻近区域。均值滤波后的结果能反应t(x)的大致趋势,于是得出透射率的粗略估计值:
为了解决去雾后的图像出现画面整体偏暗的问题,根据图像的均值调整δ,即δ=ρmav,其中,mav是M(x)中所有像素的均值,ρ是调节因子。因此可以得到透射率的计算公式:
可得环境光为:
L(x)=min(1-min(ρmav,0.9)Mave(x),M(x)) (17)
估计全局大气光
式(14)中等式左侧表达式的取值范围应为[0,1],可以得出A≥max(Mave(x)),又有A≤max(maxc∈r,g,b(Hc(x)))。因此可以确定全局大气光的取值范围为max(Mave(x))≤A≤max(maxc∈r,g,b(Hc(x))),即:
A=εmax(maxc∈r,g,b(Hc(x)))+(1-ε)max(Mave(x)) (18)
其中0≤ε≤1,由于ε的准确值难以获取,为了算法的快速性,取ε为0.5,所以全局大气光:
根据所得的环境光L(x)和全局大气光A,利用物理模型恢复出无雾图像F(x):
(7)使用步骤(5)中的方法对输入的视频流进行海雾判断,若无雾则直接使用步骤(4)中得到的权重文件进行船舶检测;若有雾则使用步骤(6)中的去雾方法对视频流去雾后再使用步骤(4)中得到的权重文件进行船舶检测,在船舶目标视频流中自动标记船舶目标。
本发明方法在去雾处理后对船舶识别精度达到了94%,平均识别速度为253帧/秒,满足船舶目标实时检测的要求,能够实时在海雾气象条件下高效、准确地进行船舶检测。图3为本发明在雾天的船舶检测效果图。表明了本发明方法的有效性。
Claims (6)
1.一种应对复杂环境的轻量级高精度船舶目标检测方法,其特征在于,具体包括以下步骤:
步骤1,模型轻量化改造:使用轻量化网络对原有网络进行改造,将YOLOv5s的骨干特征提取网络由CSPDarkNet53网络替换为MobileNetv3-small网络;
步骤2,设计可变卷积模块,并将靠近检测头的两个普通卷积模块替换为可变卷积模块;
步骤3,优化损失函数:将指导网络进行优化的损失函数的边框回归损失部分由CIOU-Loss优化为Focal Loss EIOU;
步骤4,模型训练和验证:对经步骤1-3改进后的YOLOv5s模型进行训练,优化网络参数,得到用于检测的权重文件,并进行验证;
步骤5,设计海雾环境判断模块,使用图像的模糊度和图像的结构相似性作为判断环境是否有雾的指标,若两种指标均判断图像有雾则环境有雾;
步骤6,构建图像去雾模块,使用一种基于物理模型的去雾算法对环境光和全局大气光进行估计,从而恢复出无雾图像;
步骤7,进行船舶目标检测:对输入的视频流进行海雾判断,若无雾则直接使用步骤4得到的权重文件进行船舶检测,若有雾则去雾后进行船舶检测,在船舶目标视频流中自动标记船舶目标。
2.根据权利要求1所述的一种应对复杂环境的轻量级高精度船舶目标检测方法,其特征在于,所述步骤2中可变卷积模块的设计具体为:将可变卷积层、批量归一化层和激活函数层依次连接,构建成可变卷积模块。
3.根据权利要求1所述的一种应对复杂环境的轻量级高精度船舶目标检测方法,其特征在于,所述步骤3中Focal Loss EIOU的惩罚项公式如下:
LFocl-EIOU=IOUγLEIOU (3)
其中,γ为控制异常值抑制程度的参数,IOU是产生的预测框与锚框的交叠率,
其中,cw和ch是覆盖预测框和锚框的最小外接矩形框的宽度和高度,c表示能够同时包含预测框和锚框的最小外接矩形的对角线距离,LIOU、Ldis、Lasp分别表示重叠损失,中心距离损失和宽高损失,ρ表示为计算两个输入量欧氏距离的函数,b和bgt分别表示预测框和锚框的中心点,w和wgt分别表示预测框和锚框的宽,h和hgt分别表示预测框和锚框的高。
5.根据权利要求1所述的一种应对复杂环境的轻量级高精度船舶目标检测方法,其特征在于,所述步骤5中图像的结构相似性通过亮度、对比度和结构三个方面来进行评估,对于给定两张图像x、y,二者的结构相似性被定义为:
SSIM(x,y)=[l(x,y)α][c(x,y)β][s(x,y)]γ (7)
l(x,y)比较亮度,c(x,y)比较对比度,s(x,y)比较结构;
α,β,γ>0;μx,μy,σx,σy分别为x和y的平均值和标准差;
σxy为协方差;C1,C2,C3均为常数,
计算两张图像之间的结构相似性值,该值越小则两张图像的差异越大,即输入环境图像质量越差,结构相似性值小于一定值时,则将图像视为有雾。
6.根据权利要求1所述的一种应对复杂环境的轻量级高精度船舶目标检测方法,其特征在于,所述步骤6中使用基于物理模型的去雾算法对环境光和全局大气光进行估计,从而恢复出无雾图像的具体过程为:
在计算机视觉领域,海雾对图像的影响通常使用以下模型进行模拟:
H(x)=F(x)e-rd(x)+A(1-e-rd(x)) (8)
其中,H(x)为待去雾的原图像,F(x)为无雾图像,x为图像像素的空间坐标,r为大气散射系数,d为场景深度,A为全局大气光,e-rd(x)表示x处的透射率,A(1-e-rd(x))被称为环境光;
用L(x)表示环境光,则式(8)可改写为:
因此,只要从原图像H(x)中计算出环境光L(x)及全局大气光A,就可以恢复出无雾图像F(x);
使用基于物理模型的去雾算法对环境光L(x)和全局大气光A进行估计;
(1)估计环境光L(x):
用t(x)表示透射率,则式(8)可以改写为:
H(x)=F(x)t(x)+A(1-t(x)) (10)
由式(10)可知:
取H(x)三通道中的最小值并记为M(x):
因此式(11)可变换为:
对式(13)的右边进行均值滤波处理:
其中sa表示均值滤波的滑动窗口大小,Ω(x)表示像素x的sa×sa的邻近区域,均值滤波后的结果能反应t(x)的大致趋势,于是得出透射率t(x)的粗略估计值:
为了解决去雾后的图像出现画面整体偏暗的问题,根据图像的均值调整δ,即δ=ρmav,其中,mav是M(x)中所有像素的均值,ρ是调节因子;因此可以得到透射率的计算公式:
可得环境光为:
L(x)=min(1-min(ρmav,0.9)Mave(x),M(x)) (17)
(2)估计全局大气光:
式(14)中等式左侧表达式的取值范围应为[0,1],可以得出A≥max(Mave(x)),又有A≤max(maxc∈r,g,b(Hc(x)));因此可以确定全局大气光的取值范围为max(Mave(x))≤A≤max(maxc∈r,g,b(Hc(x))),即:
A=εmax(maxc∈r,g,b(Hc(x)))+(1-ε)max(Mave(x)) (18)
其中,0≤ε≤1,由于ε的准确值难以获取,为了算法的快速性,取ε为0.5,所以全局大气光:
根据所得的环境光L(x)和全局大气光A,利用物理模型恢复出无雾图像F(x):
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111192945.4A CN113989613A (zh) | 2021-10-13 | 2021-10-13 | 一种应对复杂环境的轻量级高精度船舶目标检测方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111192945.4A CN113989613A (zh) | 2021-10-13 | 2021-10-13 | 一种应对复杂环境的轻量级高精度船舶目标检测方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN113989613A true CN113989613A (zh) | 2022-01-28 |
Family
ID=79738499
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202111192945.4A Pending CN113989613A (zh) | 2021-10-13 | 2021-10-13 | 一种应对复杂环境的轻量级高精度船舶目标检测方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN113989613A (zh) |
Cited By (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114399504A (zh) * | 2022-03-25 | 2022-04-26 | 济南大学 | 一种基于工业互联网的智能轮辋检测与跟踪方法及系统 |
CN114596335A (zh) * | 2022-03-01 | 2022-06-07 | 广东工业大学 | 一种无人艇目标检测追踪方法及系统 |
CN115019243A (zh) * | 2022-04-21 | 2022-09-06 | 山东大学 | 基于改进YOLOv3的监控漂浮物轻量化目标检测方法及系统 |
CN115147723A (zh) * | 2022-07-11 | 2022-10-04 | 武汉理工大学 | 一种内河船舶识别与测距方法、系统、介质、设备及终端 |
CN115731533A (zh) * | 2022-11-29 | 2023-03-03 | 淮阴工学院 | 一种基于改进YOLOv5的车载目标检测方法 |
CN117830304A (zh) * | 2024-03-04 | 2024-04-05 | 浙江华是科技股份有限公司 | 一种水雾船舶检测方法、系统及计算机存储介质 |
-
2021
- 2021-10-13 CN CN202111192945.4A patent/CN113989613A/zh active Pending
Cited By (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114596335A (zh) * | 2022-03-01 | 2022-06-07 | 广东工业大学 | 一种无人艇目标检测追踪方法及系统 |
CN114596335B (zh) * | 2022-03-01 | 2023-10-31 | 广东工业大学 | 一种无人艇目标检测追踪方法及系统 |
CN114399504A (zh) * | 2022-03-25 | 2022-04-26 | 济南大学 | 一种基于工业互联网的智能轮辋检测与跟踪方法及系统 |
CN115019243A (zh) * | 2022-04-21 | 2022-09-06 | 山东大学 | 基于改进YOLOv3的监控漂浮物轻量化目标检测方法及系统 |
CN115147723A (zh) * | 2022-07-11 | 2022-10-04 | 武汉理工大学 | 一种内河船舶识别与测距方法、系统、介质、设备及终端 |
US11948344B2 (en) | 2022-07-11 | 2024-04-02 | Wuhan University Of Technology | Method, system, medium, equipment and terminal for inland vessel identification and depth estimation for smart maritime |
CN115731533A (zh) * | 2022-11-29 | 2023-03-03 | 淮阴工学院 | 一种基于改进YOLOv5的车载目标检测方法 |
CN115731533B (zh) * | 2022-11-29 | 2024-04-05 | 淮阴工学院 | 一种基于改进YOLOv5的车载目标检测方法 |
CN117830304A (zh) * | 2024-03-04 | 2024-04-05 | 浙江华是科技股份有限公司 | 一种水雾船舶检测方法、系统及计算机存储介质 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN113989613A (zh) | 一种应对复杂环境的轻量级高精度船舶目标检测方法 | |
CN108304873B (zh) | 基于高分辨率光学卫星遥感影像的目标检测方法及其系统 | |
CN109635685B (zh) | 目标对象3d检测方法、装置、介质及设备 | |
CN109919026B (zh) | 一种水面无人艇局部路径规划方法 | |
CN111161160B (zh) | 一种雾天障碍物检测方法、装置、电子设备和存储介质 | |
CN112215074A (zh) | 基于无人机视觉的实时目标识别与检测追踪系统及方法 | |
CN111489330B (zh) | 基于多源信息融合的弱小目标检测方法 | |
CN110060221B (zh) | 一种基于无人机航拍图像的桥梁车辆检测方法 | |
CN110807384A (zh) | 低能见度下的小目标检测方法和系统 | |
CN112766056B (zh) | 一种基于深度神经网络的弱光环境车道线检测方法、装置 | |
CN113223044A (zh) | 一种结合特征聚合和注意力机制的红外视频目标检测方法 | |
Hu et al. | A video streaming vehicle detection algorithm based on YOLOv4 | |
US20220335572A1 (en) | Semantically accurate super-resolution generative adversarial networks | |
CN109558877B (zh) | 基于kcf的海上目标跟踪算法 | |
Chen et al. | Visual depth guided image rain streaks removal via sparse coding | |
CN115147450B (zh) | 基于运动帧差图像的移动目标检测方法及检测装置 | |
CN116758411A (zh) | 一种基于遥感图像逐像素处理的舰船小目标检测方法 | |
CN115035429A (zh) | 一种基于复合主干网络和多预测头的航拍目标检测方法 | |
CN114898306A (zh) | 一种检测目标朝向的方法、装置及电子设备 | |
Wang et al. | Low-light traffic objects detection for automated vehicles | |
Li et al. | Advanced multiple linear regression based dark channel prior applied on dehazing image and generating synthetic haze | |
CN113888630A (zh) | 一种具备置信度估计的无人机姿态检测方法及系统 | |
CN112907582B (zh) | 面向矿井的图像显著性提取去雾方法、装置及人脸检测 | |
Peng et al. | Recognition and classification of water surface targets based on deep learning | |
Nakhatovich et al. | Applications of classical and deep learning techniques for polar bear detection and recognition from aero photography |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |