CN112800838A - 一种基于深度学习的航道船舶检测与识别方法 - Google Patents
一种基于深度学习的航道船舶检测与识别方法 Download PDFInfo
- Publication number
- CN112800838A CN112800838A CN202011576316.7A CN202011576316A CN112800838A CN 112800838 A CN112800838 A CN 112800838A CN 202011576316 A CN202011576316 A CN 202011576316A CN 112800838 A CN112800838 A CN 112800838A
- Authority
- CN
- China
- Prior art keywords
- ship
- detection
- identification
- network
- network model
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 77
- 238000000034 method Methods 0.000 title claims abstract description 39
- 238000013135 deep learning Methods 0.000 title claims abstract description 19
- 238000000605 extraction Methods 0.000 claims abstract description 20
- 238000012549 training Methods 0.000 claims abstract description 19
- 238000012545 processing Methods 0.000 claims abstract description 12
- 238000012544 monitoring process Methods 0.000 claims abstract description 8
- 238000005286 illumination Methods 0.000 claims abstract description 6
- 230000004913 activation Effects 0.000 claims description 8
- 230000006870 function Effects 0.000 claims description 8
- 238000011068 loading method Methods 0.000 claims description 6
- 230000008569 process Effects 0.000 claims description 6
- 238000013526 transfer learning Methods 0.000 claims description 6
- 238000001914 filtration Methods 0.000 claims description 5
- 230000007246 mechanism Effects 0.000 claims description 4
- 238000009432 framing Methods 0.000 claims description 3
- 238000009499 grossing Methods 0.000 claims description 3
- 239000011159 matrix material Substances 0.000 claims description 3
- 238000005259 measurement Methods 0.000 claims description 3
- 238000012360 testing method Methods 0.000 claims description 3
- 238000013507 mapping Methods 0.000 claims description 2
- 239000000126 substance Substances 0.000 claims description 2
- 230000009466 transformation Effects 0.000 claims description 2
- 238000005457 optimization Methods 0.000 claims 1
- 230000000694 effects Effects 0.000 abstract description 15
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 abstract description 5
- 238000005516 engineering process Methods 0.000 abstract description 2
- 238000011897 real-time detection Methods 0.000 abstract description 2
- 238000010586 diagram Methods 0.000 description 14
- 230000009467 reduction Effects 0.000 description 6
- 238000011176 pooling Methods 0.000 description 4
- 238000000137 annealing Methods 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 230000004927 fusion Effects 0.000 description 2
- 238000002372 labelling Methods 0.000 description 2
- 206010039203 Road traffic accident Diseases 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/23—Clustering techniques
- G06F18/232—Non-hierarchical techniques
- G06F18/2321—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions
- G06F18/23213—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions with fixed number of clusters, e.g. K-means clustering
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/048—Activation functions
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/30—Noise filtering
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/34—Smoothing or thinning of the pattern; Morphological operations; Skeletonisation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/40—Scenes; Scene-specific elements in video content
- G06V20/46—Extracting features or characteristics from the video content, e.g. video fingerprints, representative shots or key frames
Abstract
本发明涉及一种基于深度学习的内河航道船舶检测与识别方法，主要包括：S1：采集不同时间段的船舶视频，通过数据标注建立航道船舶数据集；S2：对船舶数据集重新聚类，设计船舶特征提取网络和船舶分类检测识别网络，使用自制航道船舶数据集训练船舶分类检测识别网络；S3：导入船舶监控视频，对多目标船舶进行实时分类检测识别。将计算机视觉和图像处理等技术应用于水上交通，避免水上安全事故的发生；以及重点水域船舶非法驶入，船舶的类型判断。本发明实现了全天候的内河航道船舶实时检测与识别，针对低照度环境下的图像也能有较好的识别效果，具有较高的准确率和鲁棒性。
Description
技术领域
本发明涉及计算机视觉和数字图像识别技术领域，尤其是涉及一种基于深度学习的内河 航道船舶检测与识别方法。
背景技术
水路运输在现代交通系统中拥有着巨大的优势，是交通运输系统中不可替代的一部分。 随着航运业的蓬勃发展，船舶的种类和数量逐渐增长，水上交通事故频繁发生，传统的信息 化方式很难满足港口之间船舶身份信息的检测与识别，因此有必要对船舶的种类进行检测与 识别以保障水上交通安全。传统的船舶目标检测方法主要包括船舶自动识别系统和船舶特征 识别，这些检测方法普遍存在着识别精度较低，需要人为干预等问题，导致传统的船舶检测 方法难以达到理想的检测效果。
随着人工智能技术的迅速发展，基于深度学习的目标检测算法得到了广泛应用。目前， 通过深度学习来解决目标检测问题的算法主要有两种：二阶段和单阶段检测算法。二阶段算 法使用的是区域建议进行检测，虽然在精确度方面较传统方式要提升很多，但特征提取过程 耗时较长，难以达到实时检测的效果。为了保持精度的同时，提升检测速度，单阶段算法被 提出。单阶段算法整个过程无需区域建议检测，直接输入图片，实现端到端的检测，极大的 提升了检测速度。目前，虽然基于深度学习的船舶目标检测算法已经取得了较好的识别效果， 但在雾天或夜间这种照度较低的复杂场景下船舶的识别准确率较低，夜间或雾天环境下图像 存在模糊、对比度较低以及呈现灰度等现象，这些都会对船舶的分类识别造成干扰，导致误 检和漏检等问题。
发明内容
本发明所要解决的技术问题是提供一种能够降低了目标船舶的误检、漏检情况，并且在 全天候场景下船舶的分类识别准确率高的基于深度学习的内河航道船舶检测与识别方法。
本发明所采用的技术方案是，一种基于深度学习的内河航道船舶检测与识别方法，包括 下列步骤：
S1：采集不同时间段的船舶视频，对采集到的船舶视频进行分帧处理，对视频中存在的 低照度图像进行滤波与灰度增强处理，通过数据标注来建立航道船舶数据集；
S2：对步骤S1中得到的船舶数据集进行维度聚类，设计船舶特征提取网络模型和船舶分 类检测识别网络模型，使用步骤S1中得到的船舶数据集来训练船舶分类检测识别网络模型；
S3：提取船舶监控视频中的关键帧，并将关键帧加载到训练好的船舶分类检测识别网络 模型中来进行测试；
S4：将船舶监控视频导入到优化后的船舶分类检测识别网络模型中，对多目标船舶进行 实时分类检测识别。
本发明的有益效果是：上述一种基于深度学习的内河航道船舶检测与识别方法，通过设 计船舶特征提取网络和船舶分类检测识别网络，利用建立的船舶数据集来训练船舶分类检测 识别网络模型，只需将监控的船舶视频导入到训练后的船舶分类检测识别网络模型中就能对 多目标船舶进行实时分类检测与识别。针对照度范围较低的雾天或夜间船舶图像，也能有良 好的检测与识别效果，并且降低了目标船舶的误检、漏检情况，达到了全天候场景下船舶的 分类识别准确率高的目的，具有较好的鲁棒性。
在步骤S1中，通过数据标注来建立航道船舶数据集的具体方法为：通过标注软件labelImg对视频中的船舶的真实边界框进行标注，并将标注后的船舶分为六种类型，建立航 道船舶数据集。
在步骤S2中，对船舶数据集进行维度聚类，并设计船舶特征提取网络模型和船舶分类检 测识别网络模型的具体方法包括下列步骤：
S21、采用K-means++算法对船舶样本数据进行维度聚类，聚类出9种尺寸的先验框，分 别是(30,14),(61,25),(84,41),(114,27),(133,72),(145,46),(210,97), (240,57),(337,104)；
S22、(1)首先选取CSPDarknet53作为船舶特征提取网络，在YOLOv4算法中将LeakyRelu 激活函数与CSPDarknet53网络进行组合，避免了训练速度急剧下降所导致的梯度饱和，显著 的提升了检测性能。
(2)然后采用残差网络的跳跃连接机制来降低特征冗余，通过添加SPP(空间金字塔池 化)模块，能够有效的避免对图像裁剪、缩放等操作所造成的图像物体裁剪不全、失真等情 况。SPP模块由卷积核大小为5x5，9x9，和13x13的最大池化层以及一个跳跃连接，四个并 行的分支构成，特征图经过SPP模块后重新拼接。在YOLOv4的3个尺度的输出预测层y1、y2、y3之前都加入SPP模块，通过输出预测层来实现大、中、小尺度的船舶目标检测。
(3)SPP模块的引入虽然在一定程度上增强了多尺度特征图的表达能力，降低了过拟合， 但网络的层数也会随之增加，整体网络结构存在一定的冗余。因此需要对网络进行轻量化处 理，对网络中的卷积层进行4次剪枝，每次剪去5层卷积层。网络中卷积层数的减少，能够 有效的降低参数量，使模型具有更好的泛化能力。
S23、通过加载Pascal VOC数据集上预训练的权重来进行迁移学习，然后采用改进的 YOLOv4算法训练船舶分类检测识别网络模型，优化学习得到船舶分类检测识别网络模型。
在步骤S21中，聚类过程中距离的衡量公式为： d(box,center)＝1-IOU(box,center)，其中d(box,center)是聚类后船舶样本标签的目标边界框 与聚类中心之间的距离，IOU(box,center)是样本标签的目标边界框与聚类中心的交并比。
在步骤S22中，船舶特征提取网络模型包括用于提取船舶特征信息的卷积层以及残差网 络，残差网络采用跳跃连接方式，在卷积层中，提取船舶特征信息所应用到的矩阵如下： 
其中，
代表的是在第b层网络中与第a个输出之间的对应关系； f是第b层网络的激活函数；
指代的是第b-1个卷积网络层所对的第t个船体映射；
表示第b层船舶网络中第t个输入与第a个输出之间，用来连接两者的权重；
是指在b 层网络对应的第a个船体特征偏置。
在步骤S23中，改进的YOLOv4算法训练船舶分类检测识别网络模型的步骤如下：
S231、利用迁移学习的模型参数赋初值，训练时采用Mosaic数据增强处理，每次读取四 张图片，丰富检测物体的背景，分别对四张图片进行翻转，缩放以及色域变换，将图片进行 放置，分别对应四张分割图片的位置；
S232、通过标签平滑对分类准确率做出惩罚，减少过拟合现象，使用余弦退火衰减法使 得模型收敛速度变得更快，模型效果更佳；
S233、计算预测框与真实框之间的位置，置信度和类别损失；
S234、对模型参数进行微调优化，进一步提高船舶分类识别的精度。
附图说明
图1为本发明的一种基于深度学习的内河航道船舶检测与识别方法的整体框架图；
图2为本发明的实施例中船舶图像处理前后的对比图；
图3为本发明的实施例中改进的YOLOv4目标检测算法结构图；
图4为本发明中YOLOv4算法的网络结构图；
图5为本发明中使用基于深度学习的内河航道船舶检测与识别方法后的效果图；
图5中(a)为矿砂船的效果图；
图5中(b)为散货船的效果图；
图5中(c)为普通货船的效果图；
图5中(d)为集装箱船的效果图；
图5中(e)为渔船的效果图；
图5中(f)为客船的效果图。
具体实施方式
以下参照附图并结合具体实施方式来进一步描述发明，以令本领域技术人员参照说明书 文字能够据以实施，本发明保护范围并不受限于该具体实施方式。
本领域技术人员应理解的是，在本发明的公开中，术语“纵向”、“横向”、“上”、“下”、 “前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”“内”、“外”等指示的方位或位 置关系是基于附图所示的方位或位置关系，其仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此上述术 语不能理解为对本发明的限制。
本发明可以用于港口管理和海事稽查等领域，通过网络摄像头监控，实现多目标船舶检 测、船舶特征特征提取以及船舶的分类识别。图1为本发明一种基于深度学习的内河航道船 舶检测与识别方法的整体框架图，总体而言，其步骤包括：
S1：采集不同时间段的船舶视频，对采集到的船舶视频进行分帧处理，对视频中存在的 低照度图像进行滤波与灰度增强处理，通过数据标注来建立航道船舶数据集；
S2：对步骤S1中得到的船舶数据集进行维度聚类，设计船舶特征提取网络模型和船舶分 类检测识别网络模型，使用步骤S1中得到的船舶数据集来训练船舶分类检测识别网络模型；
S3：提取船舶监控视频中的关键帧，并将关键帧加载到训练好的船舶分类检测识别网络 模型中进行测试；
S4：将船舶监控视频导入到优化后的船舶分类检测识别网络模型中，对多目标船舶进行 实时分类检测识别。
步骤S1中，低照度图像包括夜间或雾天场景下的船舶图像，这些图像均存在模糊与灰度 不均等现象，将低照度图像导向滤波与灰度增强处理能够在保持船体平滑滤波的同时，对船 体的轮廓特征也进行了保护。有效的解决了雾天和夜间图像产生的模糊，灰度分布不均等难 题，而且在去噪方面表现良好。
在步骤S1中，通过数据标注来建立航道船舶数据集的具体方法为：通过标注软件labelImg对视频中的船舶的真实边界框进行标注，并将标注后的船舶分为六种类型，建立航 道船舶数据集。本实施例需要识别的船舶类型共分为6种：矿砂船、散货船、普通货船、集装箱船、渔船和客船，使用labelImg软件实现船舶的分类标注，构建内河航道船舶数据集。
在步骤S2中，对船舶数据集进行维度聚类，并设计船舶特征提取网络模型和船舶分类检 测识别网络模型的具体方法包括下列步骤：
S21、采用K-means++算法对船舶样本数据进行维度聚类，聚类出9种尺寸的先验框，分 别是(30,14),(61,25),(84,41),(114,27),(133,72),(145,46),(210,97), (240,57),(337,104)；采用K-means++算法对数据集进行先验框维度聚类，可以优化船 舶先验框尺寸参数，加速网络的收敛，有效的提升训练过程中的梯度下降；
S22、(1)首先选取CSPDarknet53作为船舶特征提取网络，在YOLOv4算法中将LeakyRelu 激活函数与CSPDarknet53网络进行组合，避免了训练速度急剧下降所导致的梯度饱和，显著 的提升了检测性能。
(2)然后采用残差网络的跳跃连接机制来降低特征冗余，通过添加SPP(空间金字塔池 化)模块，能够有效的避免对图像裁剪、缩放等操作所造成的图像物体裁剪不全、失真等情 况。在YOLOv4的3个尺度的输出预测层y1、y2、y3之前都加入SPP模块，通过输出预测层来实现大、中、小尺度的船舶目标检测。
(3)SPP模块的引入虽然在一定程度上增强了多尺度特征图的表达能力，降低了过拟合， 但网络的层数也会随之增加，整体网络结构存在一定的冗余。因此需要对网络进行轻量化处 理，对网络中的卷积层进行4次剪枝，每次剪去5层卷积层。网络中卷积层数的减少，能够 有效的降低参数量，使模型具有更好的泛化能力。；
S23、通过加载Pascal VOC数据集上预训练的权重来进行迁移学习，使用改进的YOLOv4 算法训练船舶分类检测识别网络，优化学习得到船舶分类检测识别网络模型。
在步骤S21中，每个尺度的船舶特征图中的每个网格都会预测3个先验框，每一个先验 框包含了(4+1+N)维向量，代表了边界框的中心坐标(x,y)，宽高(w,h)和置信度(confidence)， N代表数据集中的类别数，预测的边界框的坐标和尺寸信息计算公式如下：
bx＝σ(tx)+cx
by＝σ(ty)+cy
pr(object)*IOU(b,object)＝σ(to)
其中的bx，by是指船舶边框中心坐标的检测结果，tx和ty是每个船舶边界框预测的中心 坐标。经过网络中的激活函数后，会得到船舶边界框中心坐标所对应的偏移量σ(tx)和σ(ty)。 bw和bh是进行归一化处理后的船舶边框宽和高的检测结果。pw和ph是预测先验框的宽和高。 
和
指代船舶边界框预测宽度和高度的倍率。σ(to)是指船舶预测得分的偏移量。是由船 舶预测概率与IOU的乘积得到，area(b)是船舶边界框的区域，area(g)是船舶的实际位置。
在步骤S21中，聚类过程中距离的衡量公式为： d(box,center)＝1-IOU(box,center)，其中d(box,center)是聚类后船舶数据样本标签的目标边 界框与聚类中心之间的距离，IOU(box,center)是样本标签的目标边界框与聚类中心的交并 比。
在步骤S22中，(1)LeakyRelu激活函数是一种泄露修正线性单元，当网络中出现负值 输入时，能够产生很小的坡度。允许更好的信息进入神经网络降低了过拟合现象的发生，提 升模型的收敛效果。Darknet53网络是由52个卷积层和一个全连接层组成，网络中使用残差 网络ResNet来实现跳跃连接，通过3x3和1x1的卷积核进行特征提取，实现不同尺度的输出。 CSPDarkNet53将CSPNet与DarkNet53结合，把输入特征图拆成两个部分，一部分进行卷积 操作，另一部分和上一部分卷积操作的结果堆叠实现特征融合。这种网络架构能够有效的增 强CNN的学习能力，在减少计算量的同时，实现更加丰富的梯度组合。选取CSPDarknet53作 为船舶特征提取网络，然后将LeakyRelu激活函数与CSPDarknet53网络进行组合，避免了训 练速度急剧下降所导致的梯度饱和，显著的提升了检测性能。
(2)然后采用残差网络的跳跃连接机制来降低特征冗余，通过添加SPP(空间金字塔池 化)模块，能够有效的避免对图像裁剪、缩放等操作所造成的图像物体裁剪不全、失真等情 况。在YOLOv4的3个尺度的输出预测层y1、y2、y3之前都加入SPP模块，通过输出预测层来实现大、中、小尺度的船舶目标检测。避免连续下采样所导致的船舶目标位置信息的丢失， 实现复杂场景下船舶目标局部特征与全局特征的融合，提升小目标船舶的检测定位能力。
(3)SPP模块的引入虽然在一定程度上增强了多尺度特征图的表达能力，降低了过拟合， 但网络的层数也会随之增加，整体网络结构存在一定的冗余。因此需要对网络进行轻量化处 理，对网络中的卷积层进行4次剪枝，每次剪去5层卷积层。网络中卷积层数的减少，能够 有效的降低参数量，使模型具有更好的泛化能力。利用FPN(特征图金字塔网络)获取不同 尺度大小的船舶特征图，设计船舶分类检测识别网络，采用多尺度特征图进行船舶的分类预 测。
船舶特征提取网络模型包括用于提取船舶特征信息的卷积层以及残差网络，船舶特征提 取网络中的卷积层，能够有效的分析船舶的特征。网络中添加残差网络，多次使用残差的跳 跃连接，解决特征提取过程中梯度难以下降的问题。卷积层中的船舶特征信息提取对应的矩 阵如下：
其中
代表的是在第b层网络中与第a个输出之间的对 应关系。f是第b层网络的激活函数。
指代的是第b-1个卷积网络层所对的第t个船体 映射。
表示第b层船舶网络中第t个输入与第a个输出之间，用来连接两者的权重。
是 指在b层网络对应的第a个船体特征偏置。
在步骤S23中，使用改进的YOLOv4算法训练船舶分类检测识别网络模型的步骤如下：
S231、利用迁移学习的模型参数赋予改进的YOLOv4算法初值，训练时采用Mosaic数据 增强处理，每次读取四张图片，丰富检测物体的背景；
S232、分别对四张图片进行翻转，缩放以及色域变换，将图片进行放置，分别对应四张 分割图片的位置；
S233、通过标签平滑对分类准确率做出惩罚，减少过拟合现象；使用余弦退火衰减法使 得模型收敛速度变得更快，模型效果更佳；
S234、计算预测框与真实框之间的位置，置信度和类别损失；
S235、对模型参数进行微调优化，进一步提高船舶分类识别的精度。对训练过程进行微 调,第一个阶段恢复初始权重，学习率设置为0.0001，只训练最后的分类/回归层。直到损失 降到较低水平。第二个阶段从第一阶段恢复权重，然后学习率设置为0.000001，对所有网络 层进行训练。训练总epoch为126，第一阶段batch_size为8，第二阶段batch_size为4， 优化器为momentum。装箱船、渔船和客船，使用labelImg软件实现船舶的分类标注，构建 内河航道船舶数据集。
Claims (6)
1.一种基于深度学习的内河航道船舶检测与识别方法，其特征在于：包括下列步骤：
S1：采集不同时间段的船舶视频，对采集到的船舶视频进行分帧处理，对视频中存在的低照度图像进行滤波与灰度增强处理，通过数据标注来建立航道船舶数据集；
S2：对步骤S1中得到的船舶数据集进行维度聚类，设计船舶特征提取网络模型和船舶分类检测识别网络模型，使用步骤S1中得到的船舶数据集来训练船舶分类检测识别网络模型；
S3：提取船舶监控视频中的关键帧，并将关键帧加载到训练好的船舶分类检测识别网络模型中来进行测试；
S4：将船舶监控视频导入到优化后的船舶分类检测识别网络模型中，对多目标船舶进行实时分类检测识别。
2.根据权利要求1所述的一种基于深度学习的内河航道船舶检测与识别方法，其特征在于：在步骤S1中，通过数据标注来建立航道船舶数据集的具体方法为：通过标注软件labelImg对视频中的船舶的真实边界框进行标注，并将标注后的船舶分为六种类型，建立航道船舶数据集。
3.根据权利要求2所述的一种基于深度学习的内河航道船舶检测与识别方法，其特征在于：在步骤S2中，对船舶数据集进行维度聚类，并设计船舶特征提取网络模型和船舶分类检测识别网络模型的具体方法包括下列步骤：
S21、采用K-means++算法对船舶样本数据进行维度聚类，聚类出9种尺寸的先验框，分别是(30,14),(61,25),(84,41),(114,27),(133,72),(145,46),(210,97),(240,57),(337,104)；
S22、选取CSPDarknet53作为船舶特征提取网络模型，并采用残差网络的跳跃连接机制来降低特征冗余；
S23、通过加载PascalVOC数据集上预训练的权重来进行迁移学习，使用YOLOv4算法训练船舶分类检测识别网络模型，优化学习得到船舶分类检测识别网络模型。
4.根据权利要求3所述的一种基于深度学习的内河航道船舶检测与识别方法，其特征在于：在步骤S21中，聚类过程中距离的衡量公式为：d(box,center)＝1-IOU(box,center)，其中d(box,center)是聚类后船舶样本标签的目标边界框与聚类中心之间的距离，IOU(box,center)是样本标签的目标边界框与聚类中心的交并比。
5.根据权利要求4所述的一种基于深度学习的内河航道船舶检测与识别方法，其特征在于：在步骤S22中，船舶特征提取网络模型包括用于提取船舶特征信息的卷积层以及残差网络，残差网络采用跳跃连接方式，在卷积层中，提取船舶特征信息所应用到的矩阵如下：
其中，
代表的是在第b层网络中与第a个输出之间的对应关系；f是第b层网络的激活函数；
指代的是第b-1个卷积网络层所对的第t个船体映射；
表示第b层船舶网络中第t个输入与第a个输出之间，用来连接两者的权重；
是指在b层网络对应的第a个船体特征偏置。
6.根据权利要求5所述的一种基于深度学习的内河航道船舶检测与识别方法，其特征在于：在步骤S23中，使用YOLOv4算法训练船舶分类检测识别网络模型的步骤如下：
S231、利用迁移学习的模型参数赋予YOLOv4算法初值，训练时采用Mosaic数据增强处理，每次读取四张图片，丰富检测物体的背景，分别对四张图片进行翻转，缩放以及色域变换，将图片进行放置，分别对应四张分割图片的位置；
S232、通过标签平滑对分类准确率做出惩罚；
S233、计算预测框与真实框之间的位置、置信度以及类别损失；
S234、对模型参数进行微调优化，进一步提高船舶分类识别的精度。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011576316.7A CN112800838A (zh) | 2020-12-28 | 2020-12-28 | 一种基于深度学习的航道船舶检测与识别方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011576316.7A CN112800838A (zh) | 2020-12-28 | 2020-12-28 | 一种基于深度学习的航道船舶检测与识别方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN112800838A true CN112800838A (zh) | 2021-05-14 |
Family
ID=75806005
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202011576316.7A Pending CN112800838A (zh) | 2020-12-28 | 2020-12-28 | 一种基于深度学习的航道船舶检测与识别方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112800838A (zh) |
Cited By (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113239854A (zh) * | 2021-05-27 | 2021-08-10 | 北京环境特性研究所 | 一种基于深度学习的船舶身份识别方法及系统 |
| CN113408624A (zh) * | 2021-06-22 | 2021-09-17 | 福州大学 | 基于迁移学习的任务导向的图像质量测评方法 |
| CN113420607A (zh) * | 2021-05-31 | 2021-09-21 | 西南电子技术研究所（中国电子科技集团公司第十研究所） | 无人机多尺度目标检测识别方法 |
| CN113486819A (zh) * | 2021-07-09 | 2021-10-08 | 广西民族大学 | 一种基于YOLOv4算法的船舶目标检测方法 |
| CN113569667A (zh) * | 2021-07-09 | 2021-10-29 | 武汉理工大学 | 基于轻量级神经网络模型的内河船舶目标识别方法及系统 |
| CN113658244A (zh) * | 2021-07-01 | 2021-11-16 | 哈尔滨工业大学 | 桥梁区域通航船舶三维几何尺寸辨识方法 |
| CN114241189A (zh) * | 2021-11-30 | 2022-03-25 | 东南大学 | 一种基于深度学习的船舶黑烟识别方法 |
| CN115147723A (zh) * | 2022-07-11 | 2022-10-04 | 武汉理工大学 | 一种内河船舶识别与测距方法、系统、介质、设备及终端 |
| CN115272701A (zh) * | 2022-08-11 | 2022-11-01 | 电子科技大学 | 基于自适应特征提取与解耦预测头的船舶目标检测方法 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108921099A (zh) * | 2018-07-03 | 2018-11-30 | 常州大学 | 一种基于深度学习的航道内运动船舶目标检测方法 |
| KR102155724B1 (ko) * | 2020-04-21 | 2020-09-14 | 호서대학교 산학협력단 | 심층신경망을 이용한 선박 내 객체의 위험 검출 방법 및 시스템 |
| CN111814696A (zh) * | 2020-07-13 | 2020-10-23 | 苏州新传品智能科技有限公司 | 一种基于改进YOLOv3的视频船舶目标检测方法 |
-
2020
- 2020-12-28 CN CN202011576316.7A patent/CN112800838A/zh active Pending
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108921099A (zh) * | 2018-07-03 | 2018-11-30 | 常州大学 | 一种基于深度学习的航道内运动船舶目标检测方法 |
| KR102155724B1 (ko) * | 2020-04-21 | 2020-09-14 | 호서대학교 산학협력단 | 심층신경망을 이용한 선박 내 객체의 위험 검출 방법 및 시스템 |
| CN111814696A (zh) * | 2020-07-13 | 2020-10-23 | 苏州新传品智能科技有限公司 | 一种基于改进YOLOv3的视频船舶目标检测方法 |
Non-Patent Citations (2)
| Title |
|---|
| HONG HUANG ET.AL: "Ship Target Detection Based on Improved YOLO Network", HINDAWI-MATHEMATICAL PROBLEMS IN ENGINEERING, 17 August 2020 (2020-08-17), pages 3 - 5 * |
| 王冰: "基于深度学习的舰船目标检测研究", 中国优秀硕士学位论文全文数据库, 15 July 2019 (2019-07-15) * |
Cited By (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113239854B (zh) * | 2021-05-27 | 2023-12-19 | 北京环境特性研究所 | 一种基于深度学习的船舶身份识别方法及系统 |
| CN113239854A (zh) * | 2021-05-27 | 2021-08-10 | 北京环境特性研究所 | 一种基于深度学习的船舶身份识别方法及系统 |
| CN113420607A (zh) * | 2021-05-31 | 2021-09-21 | 西南电子技术研究所（中国电子科技集团公司第十研究所） | 无人机多尺度目标检测识别方法 |
| CN113408624A (zh) * | 2021-06-22 | 2021-09-17 | 福州大学 | 基于迁移学习的任务导向的图像质量测评方法 |
| CN113658244A (zh) * | 2021-07-01 | 2021-11-16 | 哈尔滨工业大学 | 桥梁区域通航船舶三维几何尺寸辨识方法 |
| CN113486819A (zh) * | 2021-07-09 | 2021-10-08 | 广西民族大学 | 一种基于YOLOv4算法的船舶目标检测方法 |
| CN113569667A (zh) * | 2021-07-09 | 2021-10-29 | 武汉理工大学 | 基于轻量级神经网络模型的内河船舶目标识别方法及系统 |
| CN113569667B (zh) * | 2021-07-09 | 2024-03-08 | 武汉理工大学 | 基于轻量级神经网络模型的内河船舶目标识别方法及系统 |
| CN114241189A (zh) * | 2021-11-30 | 2022-03-25 | 东南大学 | 一种基于深度学习的船舶黑烟识别方法 |
| CN115147723B (zh) * | 2022-07-11 | 2023-05-09 | 武汉理工大学 | 一种内河船舶识别与测距方法、系统、介质、设备及终端 |
| CN115147723A (zh) * | 2022-07-11 | 2022-10-04 | 武汉理工大学 | 一种内河船舶识别与测距方法、系统、介质、设备及终端 |
| CN115272701B (zh) * | 2022-08-11 | 2023-08-22 | 电子科技大学 | 基于自适应特征提取与解耦预测头的船舶目标检测方法 |
| CN115272701A (zh) * | 2022-08-11 | 2022-11-01 | 电子科技大学 | 基于自适应特征提取与解耦预测头的船舶目标检测方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN112800838A (zh) | 一种基于深度学习的航道船舶检测与识别方法 | |
| Zhang et al. | Vehicle-damage-detection segmentation algorithm based on improved mask RCNN | |
| CN110188705B (zh) | 一种适用于车载系统的远距离交通标志检测识别方法 | |
| CN111967480A (zh) | 基于权重共享的多尺度自注意力目标检测方法 | |
| CN109145747A (zh) | 一种水面全景图像语义分割方法 | |
| CN113723377B (zh) | 一种基于ld-ssd网络的交通标志检测方法 | |
| CN107731011B (zh) | 一种港口泊船监测方法、系统及电子设备 | |
| CN113076871A (zh) | 一种基于目标遮挡补偿的鱼群自动检测方法 | |
| CN113569667A (zh) | 基于轻量级神经网络模型的内河船舶目标识别方法及系统 | |
| CN117253154B (zh) | 一种基于深度学习的集装箱弱小序列号目标检测识别方法 | |
| CN116188999B (zh) | 一种基于可见光和红外图像数据融合的小目标检测方法 | |
| Zheng et al. | A lightweight ship target detection model based on improved YOLOv5s algorithm | |
| Xiang et al. | Lightweight fully convolutional network for license plate detection | |
| CN113743505A (zh) | 基于自注意力和特征融合的改进ssd目标检测方法 | |
| CN111008632A (zh) | 一种基于深度学习的车牌字符分割方法 | |
| CN112926486A (zh) | 一种舰船小目标的改进RFBnet目标检测算法 | |
| Chen et al. | Ship target detection algorithm based on improved YOLOv3 for maritime image | |
| Soloviev et al. | Comparing cnn-based object detectors on two novel maritime datasets | |
| CN113096085A (zh) | 基于两阶段卷积神经网络的集装箱表面损伤检测方法 | |
| CN115471746A (zh) | 一种基于深度学习的船舶目标识别检测方法 | |
| CN116994135A (zh) | 一种基于视觉与雷达融合的船舶目标检测方法 | |
| Chang et al. | Yolov3 based ship detection in visible and infrared images | |
| CN113963333B (zh) | 一种基于改进yolof模型的交通标志牌检测方法 | |
| CN114596480A (zh) | 一种基于yolov5优化的海底生物目标检测方法和系统 | |
| Yi et al. | Research on Underwater small target Detection Algorithm based on improved YOLOv7 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |