CN112836668A - 一种船舶目标检测方法、终端设备及存储介质 - Google Patents

一种船舶目标检测方法、终端设备及存储介质 Download PDF

Info

Publication number
CN112836668A
CN112836668A CN202110196098.2A CN202110196098A CN112836668A CN 112836668 A CN112836668 A CN 112836668A CN 202110196098 A CN202110196098 A CN 202110196098A CN 112836668 A CN112836668 A CN 112836668A
Authority
CN
China
Prior art keywords
picture
loss
ship
target detection
ship target
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110196098.2A
Other languages
English (en)
Inventor
王荣杰
曾广淼
俞万能
林安辉
王亦春
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Jimei University
Original Assignee
Jimei University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Jimei University filed Critical Jimei University
Priority to CN202110196098.2A priority Critical patent/CN112836668A/zh
Publication of CN112836668A publication Critical patent/CN112836668A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformation in the plane of the image
    • G06T3/40—Scaling the whole image or part thereof
    • G06T3/4038—Scaling the whole image or part thereof for image mosaicing, i.e. plane images composed of plane sub-images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G06V10/267—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion by performing operations on regions, e.g. growing, shrinking or watersheds

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Molecular Biology (AREA)
  • Computational Linguistics (AREA)
  • Multimedia (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Mathematical Physics (AREA)
  • General Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及一种船舶目标检测方法、终端设备及存储介质，该方法中包括：S1：采集船舶图片集，并对船舶图片集中的每幅图片中的船舶目标进行标注，提取船舶图片集中任意的九张图片拼接成九合一图片，提取船舶图片集中任意的四张图片拼接成四合一图片；按照预设的数量比例选取单张图片、四合一图片和九合一图片组成训练集；S2：构建基于Yolov4‑tiny网络的船舶目标检测模型，通过训练集对船舶目标检测模型进行训练；S3：将待检测图片输入训练后的船舶目标检测模型内，根据船舶目标检测模型的输出结果确定待检测图片是否包含船舶目标。本发明能够提高重叠目标识别的准确率和识别速度，提升在不同视频分辨率下的识别稳定性，减少算力消耗。

Description

一种船舶目标检测方法、终端设备及存储介质
技术领域
本发明涉及目标检测领域，尤其涉及一种船舶目标检测方法、终端设备及存储介质。
背景技术
船舶目标识别方法主要通过遥感的目标识别。目前的目标检测方法分为一阶段和二阶段，一阶段以Fast-RCNN为代表，二阶段以YOLO、SSD为代表。其中一阶段方法更准确，二阶段方法在牺牲一部分准确率的情况下，大大提高了检测速度。
目前的船舶目标识别面临如下问题：(1)船舶在狭窄水域目标重叠以及开放水域目标过小。(2)目前的检测方法都是利用岸上服务器进行训练与测试的，没有考虑到船载识别设备在海上可能会丢失信号，在一定情况下需要离线检测的问题。(3)目前的大型数据集如COCO、ImageNet等都是使用小尺寸图片进行训练和测试的，而由于摄像设备的逐步法善，高清图片如1080p、2k等已得到了普遍应用，因此网络模型的训练应进行调整，针对性提高其泛化能力以胜任高清图片的识别任务。
发明内容
为了解决上述问题，本发明提出了一种船舶目标检测方法、终端设备及存储介质。
具体方案如下：
一种船舶目标检测方法，包括以下步骤：
S1：采集船舶图片集，并对船舶图片集中的每幅图片中的船舶目标进行标注，提取船舶图片集中任意的九张图片拼接成九合一图片，提取船舶图片集中任意的四张图片拼接成四合一图片；按照预设的数量比例选取单张图片、四合一图片和九合一图片组成训练集；
S2：构建基于Yolov4-tiny网络的船舶目标检测模型，通过训练集对船舶目标检测模型进行训练；
S3：将待检测图片输入训练后的船舶目标检测模型内，根据船舶目标检测模型的输出结果确定待检测图片是否包含船舶目标。
进一步的，九合一图片的拼接过程包括以下步骤：
S101：在图片所在平面内构建直角坐标系，设定直角坐标系的X轴和Y轴分别平行于图片的宽和高，设定九合一图片的宽W和高H；
S102：对九张图片进行缩放，每张图片的宽和高的缩放倍率tX和tY的计算公式为：
tX＝frand(tW,tW+ΔtW)
tY＝frand(tH,tH+ΔtH)
其中，tW和tH分别表示宽和高的缩放倍率的最小值，ΔtW和ΔtH分别表示宽和高的缩放倍率随机区间的长度；frand()表示随机值函数；
S103：分别计算每张图片缩放后的左上角的坐标(ai,bi)和右下角的坐标(ci,di)：
Figure BDA0002946601050000031
Figure BDA0002946601050000032
ci＝ai+W·tW
di＝bi+H·tH
其中，r1、r2、r3和r4均为超参数，r1和r2分别表示九合一图片中第2列和第3列图片的左上角在X轴上的坐标相对于九合一图片的宽度W的比例，r3和r4分别表示九合一图片中第2行和第3行图片的左上角在Y轴上的坐标相对于九合一图片的高度H的比例，i表示图片的序号；
S104：根据计算的每张图片缩放后的坐标，将九张图片进行拼接，并根据下式裁减掉溢出九合一图片的边界框的部分：
Figure BDA0002946601050000033
Figure BDA0002946601050000034
其中，c'i表示第i幅图片裁剪后的X轴坐标，d'i表示第i幅图片裁剪后的X轴坐标，if表示条件满足；
S105：根据a4、a7、b2和b3的值分别构建四条分割线，分别为：x＝a4、x＝a7、y＝b2和y＝b3，设定四条分割线对应的分割线随机区间的长度Δrj，j＝1,2,3,4；
S106：根据四条分割线和分割线随机区间的长度Δrj，对四条分割线分别进行随机平移，平移后得到的四条裁切线坐标为：x＝s1、x＝s2、y＝s3和y＝s4：
s1＝frand(a4,a4+Δr1)
s2＝frand(a7,a7+Δr2)
s3＝frand(b2,b2+Δr3)
s4＝frand(b3,b3+Δr4)
S107：根据四条裁切线对拼接后的各幅图片进行裁减，裁剪后得到最终的九合一图片。
进一步的，模型的损失函数Loss包括目标物的置信度损失Lossconf、分类损失Losscls和位置损失Lossloc，计算公式如下：
Loss＝λconf·Lossconf+λcls·Losscls+λloc·Lossloc
Figure BDA0002946601050000041
Figure BDA0002946601050000042
Figure BDA0002946601050000043
Figure BDA0002946601050000044
其中，λconf、λcls和λloc分别表示目标物的置信度损失、分类损失和位置损失的权重，K×K表示图片划分为K×K个单元格，i表示单元的序号，M表示每个网格产生的锚框总数，j表示锚框序号，
Figure BDA0002946601050000045
和
Figure BDA0002946601050000046
为目标物的中心坐标是否在第i个单元格中的第j个锚框中的标识，Ci表示第i个单元格内真实框的置信度，
Figure BDA0002946601050000047
表示第i个单元格内预测框的置信度，pi(k)表示第i个单元格中的真实框包含第k个类型的目标的条件概率，
Figure BDA0002946601050000048
表示第i个单元格中的预测框包含第k个类型的目标的条件概率，k表示目标的类型，classes表示目标所有类型的集合，lossCIoU表示完全交并比损失。
进一步的，完全交并比损失lossCIoU的计算公式为：
lossCIoU＝1-IoU+RCIoU(B,Bgt)
Figure BDA0002946601050000051
Figure BDA0002946601050000052
Figure BDA0002946601050000053
Figure BDA0002946601050000054
其中，IoU表示交并比，B表示预测框，Bgt表示真实框，RCIoU(B,Bgt)表示预测框B与真实框Bgt的惩罚项，b和bgt分别表示预测框B和真实框Bgt的中心点，ρ(·)表示欧几里得距离，c表示能同时包含预测框与真实框的最小方框的对角线距离，α表示正权衡参数，v表示测量长宽比一致性的参数。
一种船舶目标检测终端设备，包括处理器、存储器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现本发明实施例上述的方法的步骤。
一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现本发明实施例上述的方法的步骤。
本发明采用如上技术方案，能够提高重叠目标识别的准确率和识别速度，提升在不同视频分辨率下的识别稳定性，减少算力消耗。
附图说明
图1所示为本发明实施例一的流程图。
图2所示为该实施例中改进前后的Mosaic算法示意图。
图3所示为该实施例中m9图像的生成流程图。
图4所示为该实施例中m4图像的生成流程图。
图5所示为该实施例中Yolov4-tiny网络的特征结构图。
图6所示为该实施例中网络中残差块结构示意图。
图7所示为该实施例中小型特征金字塔结构示意图。
图8所示为该实施例中Yolov4-tiny算法在不同迭代次数下的识别准确率。
具体实施方式
为进一步说明各实施例，本发明提供有附图。这些附图为本发明揭露内容的一部分，其主要用以说明实施例，并可配合说明书的相关描述来解释实施例的运作原理。配合参考这些内容，本领域普通技术人员应能理解其他可能的实施方式以及本发明的优点。
现结合附图和具体实施方式对本发明进一步说明。
实施例一：
本发明实施例提供了一种船舶目标检测方法，如图1所示，其为本发明实施例所述的船舶目标检测方法的流程图，所述方法包括以下步骤：
S1：采集船舶图片集，并对船舶图片集中的每幅图片中的船舶目标进行标注，提取船舶图片集中任意的九张图片拼接成九合一图片，提取船舶图片集中任意的四张图片拼接成四合一图片；按照预设的数量比例选取单张图片、四合一图片和九合一图片组成训练集。
目前被广泛使用的数据集(如VOC数据集、COCO数据集等)中包含的船舶只被分为了1类，存在图片尺寸随机且分辨率较低(不超过640*360)的特点。该实施例中采集船舶图片集为截取自监控摄像机所拍摄的视频片段中的图片，这些摄像机属于沿海岸线部署的海面监控系统，其包括50个不同位置的156个摄像机，船舶图片集中包含6种不同类型的船舶，其数目与类别如表1所示。
表1
Figure BDA0002946601050000071
由于该实施例中采用的Yolov4-tiny网络的输出图片中包含有两种不同的感受野，而yolov4网络的输出图片中则有三种不同的感受野，因此Yolov4-tiny算法对于多尺度目标的识别能力就会相对弱一些。因此，为了对其进行改进，该实施例中对数据增强方法进行改进，增强网络的泛化能力。
改进前后的对比图如图2所示。传统的mosaic方法是以图2中的上中两条通道进行的特征增强，而改进的mosaic方法在原先的基础上增加了下方的第三条通道，采用三条通道进行特征增强。第三条通道的输出，相较于上面两种，是对每行每列排列的图片数进行了增加而得到的。为了方便说明，将以3*3的规格新生成的九合一图片称之为m9，将以2*2的规格生成的四合一图片称之为m4，将不经过合并以1*1规格生成的图片称之为m1，m1、m4和m9的数量比例为o:p:q。这样的组合方式，一定程度上使得训练数据集的尺度变化特性更加多样，从而进一步减弱了背景对于目标物特征的干扰。
九合一图片m9的生成方式如图3所示，主要分为A,B,C三个阶段。在A阶段，以输入图片(九合一图片)的宽和高(W,H)作为边界值，首先对每张图片进行缩放，每张图片的宽和高的缩放倍率tX和tY的计算公式如式(1)和式(2)所示。
tX＝frand(tW,tW+ΔtW) (1)
tY＝frand(tH,tH+ΔtH) (2)
其中，tW和tH分别表示宽和高的缩放倍率的最小值，ΔtW和ΔtH分别表示宽和高的缩放倍率随机区间的长度，均为超参数，frand()表示随机值函数。
图片缩放后的左上角和右下角的坐标为[(ai,bi),(ci,di)]，由式(3)到式(6)可得。
Figure BDA0002946601050000081
Figure BDA0002946601050000082
ci＝ai+W·tW (5)
di＝bi+H·tH (6)
其中，r1、r2、r3和r4均为超参数，r1和r2分别表示九合一图片中第2列和第3列图片的左上角在X轴上的坐标相对于九合一图片的宽度W的比例，r3和r4分别表示九合一图片中第2行和第3行图片的左上角在Y轴上的坐标相对于九合一图片的高度H的比例，i表示图片的序号。图3中的黑色短划线为比例尺，每一小段代表宽或高的十分之一，通过比例尺可以看出，第2张至第9张的图片和第1张的缩放比例一致，宽和高都是原来的tW和tH倍。
在B阶段，需要将上一阶段裁剪好的9张图片进行拼接，并裁减掉溢出边界框的部分，可以看到合并后的图片存在一定程度的重叠，因此需要对每个小区域进行划分。从A阶段的示意图中可知，当缩放后的图片按照坐标在指定位置进行放置时，会存在溢出边框的情况。此时需对溢出的部分进行裁剪，如式(7)-式(8)所示。
Figure BDA0002946601050000091
Figure BDA0002946601050000092
其中，c'i表示第i幅图片裁剪后的X轴坐标，d'i表示第i幅图片裁剪后的X轴坐标，if表示条件满足。
在边缘裁剪之后，根据a4、a7、b2和b3的值分别构建四条分割线，分别为：x＝a4、x＝a7、y＝b2和y＝b3，设定四条分割线对应的分割线随机区间的长度Δrj，j＝1,2,3,4。如图3中B阶段所示。
在C阶段，将对内部重叠部分进行第二次裁剪，根据四条分割线和分割线随机区间的长度Δrj，对四条分割线分别进行随机平移，平移后得到的四条裁切线坐标为：x＝s1、x＝s2、y＝s3和y＝s4：
Figure BDA0002946601050000093
根据四条裁切线对拼接后的各幅图片进行裁减，经过裁剪以后，得到了拼接完成的m9图片。
由于原图在缩放拼接过程中存在部分缺失，对于处在原图边缘的目标有可能在操作过程中被截取部分或者完全截掉，因此，同样需要对这些目标对应的真实框进行裁剪甚至剔除，以满足目标检测的需要。
生成m4图片的方法与生成m9类似，如图4所示。左上角坐标(a* i,b* i)与分割线坐标s* i由式(10)-(12)所示。
Figure BDA0002946601050000101
Figure BDA0002946601050000102
s* i＝frand(r* i,r* i+Δr* i)i＝1,2 (12)
其中，以*作为m4图片与m9图片的区别符号。缩放倍率t* X和t* Y由Δt* W和Δt* H和右下角坐标(c* i,d* i)与m9图片的计算方式一致，由于没有出现边框外溢出，所以只需要对内部重合部分进行分割裁剪。
m1图片由于不存在多张图片拼接的情况，因此进入网络之前只需要通过翻转、色域变化等常规方法进行特征增强。
S2：构建基于Yolov4-tiny网络的船舶目标检测模型，通过训练集对船舶目标检测模型进行训练。
(1)船舶目标检测模型
该实施例中采用Yolov4-tiny网络来构建船舶目标检测模型。Yolov4-tiny网络是基于Yolov4网络进行简化后的网络，在牺牲一部分识别准确率的情况下，减少了10倍的参数量。从Yolov4网络中约6000万的参数降至Yolov4-tiny中约600万的参数。其网络结构图如图5所示。
其中，骨干网络中的卷积块由卷积层、批归一化层、带泄露线性整流激活函数组成。而残差块是融合了跨阶段局部网络思想(CSPNet)的CSPDarknet53-Tiny，其结构如图6所示。
残差块由稠密层和过渡层组成，首先对上一卷积层的输出xU-1进行卷积操作，生成新的卷积层，将其输出x0＝[x0’,x0”]分成前后两个部分x0’和x0”进行前项计算，在Yolov4-tiny的网络结构中，先取第二部分进行前项传播，再将第一部分与第二部分一起直接连接到阶段的末尾，跳过稠密层(Dense Layer)，等到第二部分的x0”完成前项计算之后在过渡层中与x0进行特征堆叠，得到输出xT，其经过最大池化后产生残差块的输出xU。残差块前向计算与反向传播的过程如式(13)和式(14)所示。
Figure BDA0002946601050000111
Figure BDA0002946601050000112
其中，ωi和ω’i是前向计算与反向传播时的权重，fi表示权重更新的函数，gi表示传播到第i层的梯度，i等于T或U，分别代表着连接层或残差块的输出。
因此，利用跨阶段局部网络的结构在反向传播时，可以将不同通道上的梯度分别进行积分，比如梯度信息经过稠密层时，只会改变x0”通道上的权重却不会影响到x0’。从而在保留不同深度的特征值的同时，减少了过多的重复梯度信息，在不影响网络特征提取效果的情况下，减小了内存的开销，提高了网络的运算速度。
在骨干网络之后，利用特征金字塔(FPN)结构对网络特征进行优化，Yolov4-tiny网络中小型特征金字塔(FPN-tiny)的实现方式如图7所示。
Feat是骨干网络的第三个残差块中第四个卷积层的输出，与网络中第四个CBL层的输出经过上采样(US)后的特征进行堆叠。从图5中可以看出，骨干网络只包含前三个CBL层，因此图7中进行堆叠(Concat)操作生成的输出代表了浅层网络特征和深层网络特征的融合。由于经过了多层卷积自上而下的特征提取，深层网络会保留绝大部分大目标的特征值，小目标的特征值被保存下来的很少甚至为零。因此采用特征金字塔结构提取多个不同层级网络的特征，通过上采样放大之后，将其自下而上的堆叠在一起，实现了多个层级的特征融合，提高了网络对多种分别率下不同大小目标的识别能力。
之后将小型特征金字塔的两部分输出接入头部网络进行计算，生成两组包含不同感受野的图片，分别对自身包含的先验框进行调整，利用非极大值抑制(NMS)的方法，针对原图中大小不同的目标进行识别与检测，提高神经网络对多尺度目标的整体检测能力。
(2)模型损失函数
该实施例中Yolov4-tiny网络的损失函数包含了三个部分：目标物的置信度损失Lossconf、分类损失Losscls和位置损失Lossloc，其计算公式如式(15)-式(19)所示。
Loss＝λconf·Lossconf+λcls·Losscls+λloc·Lossloc (15)
Figure BDA0002946601050000121
Figure BDA0002946601050000122
Figure BDA0002946601050000123
Figure BDA0002946601050000124
其中，λconf、λcls和λloc分别代表目标物的置信度损失、分类损失和位置损失的权重，yolov4-tiny网络将每一个输入图片先分成K×K个单元格，每个网格中产生M个锚框(anchor)，每个锚框(anchor)经过网络进行前项计算后，会得到调整好的边界框(boundingbox)，其总数为K×K×M个。
Figure BDA0002946601050000131
和
Figure BDA0002946601050000132
用来判断目标物的中心坐标是否在第i个单元格中的第j个锚框中，如果是则前者等于1后者等于0，如果否则反之。Ci为第i个单元格内真实框的置信度，
Figure BDA0002946601050000133
为第i个单元格内预测框的置信度。pi(k)表示第i个单元格中的真实框包含第k个类型的目标的条件概率，
Figure BDA0002946601050000134
表示第i个单元格中的预测框包含第k个类型的目标的条件概率。
与Yolov3算法不同的是，yolov4-tiny算法在位置损失函数的计算中采用了完全交并比损失lossCIoU，而不是置信度损失与分类损失中采用的二分类交叉熵(BCE)损失，这能够更准确的对位置信息进行描述。完全交并比损失lossCIoU的计算方式如式(20)-式(24)所示。
lossCIoU＝1-IoU+RCIoU(B,Bgt) (20)
Figure BDA0002946601050000135
Figure BDA0002946601050000136
Figure BDA0002946601050000137
Figure BDA0002946601050000138
其中，IoU表示交并比，预测框B＝(x,y,w,h)，真实框Bgt＝(xgt,ygt,wgt,hgt)，它们由表示中心点位置的x,y坐标与宽高长度的w,h坐标组成。RCIoU(B,Bgt)表示预测框B与真实框Bgt的惩罚项，b和bgt分别表示预测框B和真实框Bgt的中心点，ρ(·)表示欧几里得距离，c表示能同时包含预测框与真实框的最小方框的对角线距离，α表示正权衡参数，v表示测量长宽比一致性的参数，这使在回归计算时，预测框与真实框重叠区域中的因子相对于非重叠部分具有更高的优先级。
(3)网络优化和参数初始化设置
为了更好地结合船舶图片集的特点，Yolov4-tiny算法在开始训练之前，先利用K均值聚类算法将训练集内大小不一的真实框分成m类，并将每一类的真实框中心点所代表的框作为锚框，这样可以得到锚框更适用于检测船舶目标。在本文中m＝6，这些锚框将根据大小被分成2组，每组3个框，去检测不同尺度的目标物体。
在CBL层中，经过卷积层提取后的数据，经批量归一化(Batch Normalization)进行归一化处理后，利用带泄露线性整流激活函数进行激活，其并非像Relu函数一样将所有的负值都设为0，而是设置一个非零的斜率，如式(25)所示。
Figure BDA0002946601050000141
其中，
Figure BDA0002946601050000142
是当输入值小于0时的斜率，为超参数。
在训练的初期，利用大的学习率可以使网络迅速收敛，而在训练的后期，利用小的学习率更也有利于网络收敛到最优值。因此利用学习率指数衰减策略(StepLR)进行训练，学习率γ的计算方式如式(26)所示。
γ＝ετγ0 (26)
其中，γ0表示初始学习率，ε为衰减率，τ为训练网络的迭代次数。
Yolov4-tiny网络是基于卷积神经网络搭建的，因此其在不同深度的层面提取到的特征并不相同。于是先将网络模型在大型数据集中做训练，当其具备提取基础特征及抽象特征的能力时，再利用迁移学习方法进行微调，将训练完的权重和偏差迁移至新训练环境中的网络，由于不同训练集中目标物的种类不同，所以网络模型最后一层的权重与偏差结构不同，除此以外都可以进行迁移。
S3：将待检测图片输入训练后的船舶目标检测模型内，根据船舶目标检测模型的输出结果确定待检测图片是否包含船舶目标。
模拟实验
本实施例在开源的神经网络框架Pytorch(3.8.5)上进行仿真实验。计算工作站配置包含1个GPU(GeForce RTX 3090)，CPU(AMD Ryzen 9 3950x 16Core/3.5GHz/72M)，以及128G RAM。小型移动测试平台是基于NVIDIAJetsonXavier NX开发板进行搭建，由1个1080p摄像头模组，供电模组，显示输出模组及控制模组组成。
在训练开始之前，先将数据集进行分类。选择6000张几乎无遮挡的船舶目标图片作为训练集，1000张发生不同严重程度重叠的船舶图片作为测试集。通过对船舶目标识别算法的优化，使目标船舶在发生不同程度的重叠与遮挡时，能够更加快速且准确地捕捉到目标，减少提高识别准确率。实验中mosaic数据增强方法的参数如表2所示，网络优化方法中的参数如表3所示。
表2
Figure BDA0002946601050000151
表3
Figure BDA0002946601050000161
训练集中用于训练和验证的图片以9比1的比例随机分割，训练开始后，网络经过100次迭代后停止，图8表示Yolov4-tiny算法在不同迭代次数下的识别准确率，图中图例的数值为o:p:q的值，准确率的高低由各类别平均精度的平均值(mean Average Precision,mAP)来表示。
从图8中可以看出，在趋向于平稳的后二十次迭代过程中，1:1:0对应的曲线的值略高于1:0:0对应的曲线的值，进行mosaic数据增强方法之后Yolov4-tiny算法的识别结果略有提升，而2:2:1对应的曲线表示的改进的mosaic数据增强方法则大大提高了识别准确率，甚至高于使用原始mosaic方法的Yolov4算法的识别准确率。所以改进后的mosaic方法不仅提高了Yolov4-tiny算法的识别准确率，相对于Yolov4算法大大提高了船舶识别的检测速度。
通过实验证明，改进的mosaic数据增强方法对船舶重叠目标的识别效果有一定的提升，应用于yolov4-tiny算法可以部署于小型移动设备，可以灵活地装配在各类平台上，从而实现在离线状态下对海面船舶目标的实时监测。
本发明实施例中采用了改进的Mosaic数据增强方法用于船舶目标识别，通过实验证明，相对于原始算法在重叠目标的识别准确率上提高2.5％，识别速度加快了17％，在不同视频分辨率下的识别稳定性上提高了27.01％，在达到与Yolov4算法同样检测效果的情况下，降低了算力的消耗。因此，本实施例方法有利于提高船舶重叠目标的检测问题。
实施例二：
本发明还提供一种船舶目标检测终端设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现本发明实施例一的上述方法实施例中的步骤。
进一步地，作为一个可执行方案，所述船舶目标检测终端设备可以是桌上型计算机、笔记本、掌上电脑及云端服务器等计算设备。所述船舶目标检测终端设备可包括，但不仅限于，处理器、存储器。本领域技术人员可以理解，上述船舶目标检测终端设备的组成结构仅仅是船舶目标检测终端设备的示例，并不构成对船舶目标检测终端设备的限定，可以包括比上述更多或更少的部件，或者组合某些部件，或者不同的部件，例如所述船舶目标检测终端设备还可以包括输入输出设备、网络接入设备、总线等，本发明实施例对此不做限定。
进一步地，作为一个可执行方案，所称处理器可以是中央处理单元(CentralProcessing Unit，CPU)，还可以是其他通用处理器、数字信号处理器(Digital SignalProcessor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现场可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等，所述处理器是所述船舶目标检测终端设备的控制中心，利用各种接口和线路连接整个船舶目标检测终端设备的各个部分。
所述存储器可用于存储所述计算机程序和/或模块，所述处理器通过运行或执行存储在所述存储器内的计算机程序和/或模块，以及调用存储在存储器内的数据，实现所述船舶目标检测终端设备的各种功能。所述存储器可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序；存储数据区可存储根据手机的使用所创建的数据等。此外，存储器可以包括高速随机存取存储器，还可以包括非易失性存储器，例如硬盘、内存、插接式硬盘，智能存储卡(Smart Media Card,SMC)，安全数字(Secure Digital,SD)卡，闪存卡(Flash Card)、至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。
本发明还提供一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现本发明实施例上述方法的步骤。
所述船舶目标检测终端设备集成的模块/单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明实现上述实施例方法中的全部或部分流程，也可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一计算机可读存储介质中，该计算机程序在被处理器执行时，可实现上述各个方法实施例的步骤。其中，所述计算机程序包括计算机程序代码，所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读介质可以包括：能够携带所述计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)以及软件分发介质等。
尽管结合优选实施方案具体展示和介绍了本发明，但所属领域的技术人员应该明白，在不脱离所附权利要求书所限定的本发明的精神和范围内，在形式上和细节上可以对本发明做出各种变化，均为本发明的保护范围。

Claims (6)

1.一种船舶目标检测方法，其特征在于，包括以下步骤：
S1：采集船舶图片集，并对船舶图片集中的每幅图片中的船舶目标进行标注，提取船舶图片集中任意的九张图片拼接成九合一图片，提取船舶图片集中任意的四张图片拼接成四合一图片；按照预设的数量比例选取单张图片、四合一图片和九合一图片组成训练集；
S2：构建基于Yolov4-tiny网络的船舶目标检测模型，通过训练集对船舶目标检测模型进行训练；
S3：将待检测图片输入训练后的船舶目标检测模型内，根据船舶目标检测模型的输出结果确定待检测图片是否包含船舶目标。
2.根据权利要求1所述的船舶目标检测方法，其特征在于：九合一图片的拼接过程包括以下步骤：
S101：在图片所在平面内构建直角坐标系，设定直角坐标系的X轴和Y轴分别平行于图片的宽和高，设定九合一图片的宽W和高H；
S102：对九张图片进行缩放，每张图片的宽和高的缩放倍率tX和tY的计算公式为：
tX＝frand(tW,tW+ΔtW)
tY＝frand(tH,tH+ΔtH)
其中，tW和tH分别表示宽和高的缩放倍率的最小值，ΔtW和ΔtH分别表示宽和高的缩放倍率随机区间的长度；frand()表示随机值函数；
S103：分别计算每张图片缩放后的左上角的坐标(ai,bi)和右下角的坐标(ci,di)：
Figure FDA0002946601040000021
Figure FDA0002946601040000022
ci＝ai+W·tW
di＝bi+H·tH
其中，r1、r2、r3和r4均为超参数，r1和r2分别表示九合一图片中第2列和第3列图片的左上角在X轴上的坐标相对于九合一图片的宽度W的比例，r3和r4分别表示九合一图片中第2行和第3行图片的左上角在Y轴上的坐标相对于九合一图片的高度H的比例，i表示图片的序号；
S104：根据计算的每张图片缩放后的坐标，将九张图片进行拼接，并根据下式裁减掉溢出九合一图片的边界框的部分：
Figure FDA0002946601040000023
Figure FDA0002946601040000024
其中，c'i表示第i幅图片裁剪后的X轴坐标，d'i表示第i幅图片裁剪后的X轴坐标，if表示条件满足；
S105：根据a4、a7、b2和b3的值分别构建四条分割线，分别为：x＝a4、x＝a7、y＝b2和y＝b3，设定四条分割线对应的分割线随机区间的长度Δrj，j＝1,2,3,4；
S106：根据四条分割线和分割线随机区间的长度Δrj，对四条分割线分别进行随机平移，平移后得到的四条裁切线坐标为：x＝s1、x＝s2、y＝s3和y＝s4：
s1＝frand(a4,a4+Δr1)
s2＝frand(a7,a7+Δr2)
s3＝frand(b2,b2+Δr3)
s4＝frand(b3,b3+Δr4)
S107：根据四条裁切线对拼接后的各幅图片进行裁减，裁剪后得到最终的九合一图片。
3.根据权利要求1所述的船舶目标检测方法，其特征在于：模型的损失函数Loss包括目标物的置信度损失Lossconf、分类损失Losscls和位置损失Lossloc，计算公式如下：
Loss＝λconf·Lossconf+λcls·Losscls+λloc·Lossloc
Figure FDA0002946601040000031
Figure FDA0002946601040000032
Figure FDA0002946601040000033
Figure FDA0002946601040000034
其中，λconf、λcls和λloc分别表示目标物的置信度损失、分类损失和位置损失的权重，K×K表示图片划分为K×K个单元格，i表示单元的序号，M表示每个网格产生的锚框总数，j表示锚框序号，
Figure FDA0002946601040000035
和
Figure FDA0002946601040000036
为目标物的中心坐标是否在第i个单元格中的第j个锚框中的标识，Ci表示第i个单元格内真实框的置信度，
Figure FDA0002946601040000037
表示第i个单元格内预测框的置信度，pi(k)表示第i个单元格中的真实框包含第k个类型的目标的条件概率，
Figure FDA0002946601040000038
表示第i个单元格中的预测框包含第k个类型的目标的条件概率，k表示目标的类型，classes表示目标所有类型的集合，lossCIoU表示完全交并比损失。
4.根据权利要求3所述的船舶目标检测方法，其特征在于：完全交并比损失lossCIoU的计算公式为：
lossCIoU＝1-IoU+RCIoU(B,Bgt)
Figure FDA0002946601040000041
Figure FDA0002946601040000042
Figure FDA0002946601040000043
Figure FDA0002946601040000044
其中，IoU表示交并比，B表示预测框，Bgt表示真实框，RCIoU(B,Bgt)表示预测框B与真实框Bgt的惩罚项，b和bgt分别表示预测框B和真实框Bgt的中心点，ρ(·)表示欧几里得距离，c表示能同时包含预测框与真实框的最小方框的对角线距离，α表示正权衡参数，v表示测量长宽比一致性的参数。
5.一种船舶目标检测终端设备，其特征在于：包括处理器、存储器以及存储在所述存储器中并在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如权利要求1～4中任一所述方法的步骤。
6.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于：所述计算机程序被处理器执行时实现如权利要求1～4中任一所述方法的步骤。
CN202110196098.2A 2021-02-22 2021-02-22 一种船舶目标检测方法、终端设备及存储介质 Pending CN112836668A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110196098.2A CN112836668A (zh) 2021-02-22 2021-02-22 一种船舶目标检测方法、终端设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110196098.2A CN112836668A (zh) 2021-02-22 2021-02-22 一种船舶目标检测方法、终端设备及存储介质

Publications (1)

Publication Number Publication Date
CN112836668A true CN112836668A (zh) 2021-05-25

Family

ID=75934218

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110196098.2A Pending CN112836668A (zh) 2021-02-22 2021-02-22 一种船舶目标检测方法、终端设备及存储介质

Country Status (1)

Country Link
CN (1) CN112836668A (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113379603A (zh) * 2021-06-10 2021-09-10 大连海事大学 一种基于深度学习的船舶目标检测方法
CN113486819A (zh) * 2021-07-09 2021-10-08 广西民族大学 一种基于YOLOv4算法的船舶目标检测方法
CN113537119A (zh) * 2021-07-28 2021-10-22 国网河南省电力公司电力科学研究院 基于改进Yolov4-tiny的输电线路连接部件检测方法
CN113591992A (zh) * 2021-08-02 2021-11-02 中国民用航空飞行学院 一种燃气涡轮发动机的孔探智能检测辅助系统及方法
CN115331113A (zh) * 2022-10-12 2022-11-11 浙江华是科技股份有限公司 船舶目标检测模型训练方法、系统及计算机存储介质
CN117315570A (zh) * 2023-09-08 2023-12-29 浪潮智慧科技有限公司 一种基于实时视频分析的野外游泳监测方法、设备及介质

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113379603A (zh) * 2021-06-10 2021-09-10 大连海事大学 一种基于深度学习的船舶目标检测方法
CN113379603B (zh) * 2021-06-10 2024-03-15 大连海事大学 一种基于深度学习的船舶目标检测方法
CN113486819A (zh) * 2021-07-09 2021-10-08 广西民族大学 一种基于YOLOv4算法的船舶目标检测方法
CN113537119A (zh) * 2021-07-28 2021-10-22 国网河南省电力公司电力科学研究院 基于改进Yolov4-tiny的输电线路连接部件检测方法
CN113591992A (zh) * 2021-08-02 2021-11-02 中国民用航空飞行学院 一种燃气涡轮发动机的孔探智能检测辅助系统及方法
CN113591992B (zh) * 2021-08-02 2022-07-01 中国民用航空飞行学院 一种燃气涡轮发动机的孔探智能检测辅助系统及方法
CN115331113A (zh) * 2022-10-12 2022-11-11 浙江华是科技股份有限公司 船舶目标检测模型训练方法、系统及计算机存储介质
CN117315570A (zh) * 2023-09-08 2023-12-29 浪潮智慧科技有限公司 一种基于实时视频分析的野外游泳监测方法、设备及介质

Similar Documents

Publication Publication Date Title
CN112836668A (zh) 一种船舶目标检测方法、终端设备及存储介质
CN109902677B (zh) 一种基于深度学习的车辆检测方法
US11062123B2 (en) Method, terminal, and storage medium for tracking facial critical area
CN112001339B (zh) 一种基于YOLO v4的行人社交距离实时监测方法
CN112396002B (zh) 一种基于SE-YOLOv3的轻量级遥感目标检测方法
CN109816012B (zh) 一种融合上下文信息的多尺度目标检测方法
CN114202672A (zh) 一种基于注意力机制的小目标检测方法
CN112132093B (zh) 高分辨率遥感图像目标检测方法、装置和计算机设备
CN111079739B (zh) 一种多尺度注意力特征检测方法
CN113052834B (zh) 一种基于卷积神经网络多尺度特征的管道缺陷检测方法
CN110428357A (zh) 图像中水印的检测方法、装置、电子设备及存储介质
CN111126140A (zh) 文本识别方法、装置、电子设备以及存储介质
CN111091095A (zh) 一种遥感图像中船只目标的检测方法
CN111126278A (zh) 针对少类别场景的目标检测模型优化与加速的方法
CN112418165A (zh) 基于改进型级联神经网络的小尺寸目标检测方法与装置
CN112131933A (zh) 一种基于改进yolo网络的快速行人检测方法与系统
US11037016B2 (en) Feature determination apparatus and method adapted to multiple object sizes
CN116091823A (zh) 一种基于快速分组残差模块的单特征无锚框目标检测方法
Zeng et al. Research on mosaic image data enhancement for overlapping ship targets
CN111027551B (zh) 图像处理方法、设备和介质
CN116958687A (zh) 一种基于改进detr的面向无人机的小目标检测方法及装置
CN116310899A (zh) 基于YOLOv5改进的目标检测方法及装置、训练方法
CN116091784A (zh) 一种目标跟踪方法、设备及存储介质
CN114332112A (zh) 一种细胞图像分割方法、装置、电子设备及存储介质
CN112396620A (zh) 一种基于多阈值的图像语义分割方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination