CN116824570A - 一种基于深度学习的吃水检测方法 - Google Patents

一种基于深度学习的吃水检测方法 Download PDF

Info

Publication number
CN116824570A
CN116824570A CN202311102351.9A CN202311102351A CN116824570A CN 116824570 A CN116824570 A CN 116824570A CN 202311102351 A CN202311102351 A CN 202311102351A CN 116824570 A CN116824570 A CN 116824570A
Authority
CN
China
Prior art keywords
detection
scale
draft
waterline
model
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202311102351.9A
Other languages
English (en)
Other versions
CN116824570B (zh
Inventor
张明
陈志宏
翁庆龙
杜晓啸
何平
张坤
廖月
谢瑞敏
唐隽
张天琪
许晨杨
朱增伟
韩昊铭
林盛梅
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanjing Changmiao Technology Co ltd
Taizhou Yinjiang Canal Administration Of Jiangsu Province
Original Assignee
Nanjing Changmiao Technology Co ltd
Taizhou Yinjiang Canal Administration Of Jiangsu Province
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanjing Changmiao Technology Co ltd, Taizhou Yinjiang Canal Administration Of Jiangsu Province filed Critical Nanjing Changmiao Technology Co ltd
Priority to CN202311102351.9A priority Critical patent/CN116824570B/zh
Publication of CN116824570A publication Critical patent/CN116824570A/zh
Application granted granted Critical
Publication of CN116824570B publication Critical patent/CN116824570B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/62—Text, e.g. of license plates, overlay texts or captions on TV images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/771—Feature selection, e.g. selecting representative features from a multi-dimensional feature space
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Multimedia (AREA)
  • General Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开一种基于深度学习的吃水检测方法，涉及船舶吃水检测领域，包括以下步骤：在监测航道的两侧设置高清摄像头，对过往船舶进行拍照；利用预训练的吃水线检测模型对所拍摄图像进行吃水线检测，所述模型为基于注意力机制的卷积神经网络检测模型，其中卷积神经网络中引入了可形变卷积层和基于注意力机制的特征选择模块；定位吃水线位置，测量所检测到的吃水线位置，计算吃水深度；根据测量得到的吃水深度，结合水位信息判断船舶吃水状况，根据计算得到的吃水深度判断是否超过安全吃水线。本发明采用基于CBAM+yolov5的吃水线检测模型，构建基于注意力机制的可形变卷积检测网络模型，充分利用注意力机制和可形变卷积等技术,提高吃水检测的准确性和效率。

Description

一种基于深度学习的吃水检测方法
技术领域
本发明涉及船舶吃水检测领域，具体涉及到了一种基于深度学习的吃水检测方法。
背景技术
超吃水状态是指船舶的吃水线超过了规定的吃水线标识，该状态下船舶稳定性和浮力将受到影响，会导致船舶在航行中变得不稳定，增加翻沉或倾覆以及搁浅的风险。
目前船舶吃水丈量需船舶专门停泊到指定区域进行量船，且无法做到每船必量，为确保船舶能安全过闸，需对每一艘进闸船舶人工丈量，每次丈量需要船舶停靠在指定地点，2~3名工作人员登船丈量，记录下相应的读数，将测得的吃水线读数与船舶申报的吃水量进行对比，以判断船舶当前的吃水状态。需要耗费大量人力，这种方式耗时耗力，且效率低下。亟需一种高效且精确的吃水自动丈量系统对船舶吃水“不停船”测量。
然而，人工测量吃水线的方法存在一些问题。首先，该方法投入了大量的人力资源，无法满足高效率的要求。其次，由于水尺的老化等原因，测量的精确性也无法得到保证。针对这些人工测量的弊端和局限性，出现了多种新型的自动吃水检测方法，并在技术上取得了重大突破。这些新方法利用先进的技术设备和传感器，能够实时监测和记录船舶的吃水情况，从而提高测量的效率和准确性。
通过自动化的吃水检测，可以减少人工操作的需求，提高工作效率，同时也增加了吃水数据的准确性和可靠性。这些新技术的引入为船舶吃水管理带来了便利和进步，有助于确保船舶在规定吃水线内进行安全和合规的操作。
船舶吃水检测方法研究现状如表所示：
1)压力传感法
在船舶的底部或船体侧面的适当位置安装压力传感器。这些传感器通常会以一定的间隔沿船舶底部或侧面布置，以覆盖整个船长的范围。处于水下的物体，其表面的压强与其所处的深度成正比例关系。在使用该方法测吃水深度时，只需在船舶的底部安装一个压力传感器，该传感器能够测量水的静压力，并将其转换为电信号输出。 压力传感器的输出信号连接到一个数据采集器，该采集器能够记录和显示压力值。并用该数据与该水域之中水体密度的经验值实时计算出吃水深度，并显示在屏幕上。 但是，压力传感器需要定期校准，以保证其准确性和稳定性。同时，该方法要求每艘船都安装该设备，总成本大大增加。另外在船体外侧加装设备，无法保证在船体行驶过程之中设备的安全性，可能会面临压力传感器频繁损坏，再次增加成本的问题。
2) 激光水位计法
激光具有发射匀速光束、光束高度汇聚于单方向上等特点。在使用时将激光水位计安装在船舶的甲板上，使其能够向水面发射激光脉冲，并接收反射回来的信号。运用发射和接收的时间戳计算出激光脉冲从发射到接收的时间差。再根据时间差和激光的传播速度，计算出水面的高度。最后用该船体的型深减去水面高度即可得到吃水深度。与压力传感法相比，该方法所用到的传感器不用部署在水下，因此安装比较方便且相对不容易损坏。但是该方法比较容易受激光水体散射的影响，往往效果与理想状态之间存在一定误差。
3)水下单波束阵列检测法
单波束阵列检测法需要在水下设置数个单波束的超声波传感器。其检测原理与激光水位计的原理相同，只是把激光换做了超声波。在检测时，水下设备向水面上发射超声波，当没有船经过时其通过回波时间所出来的距离较大，且较为恒定；当有船体经过时，所测出来的距离下降，距离的变化值即为吃水深度。而横向设置多个超声波传感器，即可保证检测范围覆盖整个河道。而该方法的主要问题仍是复杂水环境带来的维护困难。
4)电子水尺法
电子水尺是一种数字式传感器，利用水的微弱导电性原理，采用高质的处理器芯片作为控制器，通过测量电极间的阻抗信息反算出吃水深度。在使用时，需将电子水尺置于船体外，并保证其与水面垂直并调整电极的间距，使其适应船体的曲率。安装时须保证电子水尺与船底之间没有空气间隙，否则会影响测量的精度。除此以外，电子水尺对水质等环境因素的要求较高，如果环境不稳定，会大大影响测量精度。
5)基于图像的水尺识别法
基于图像的水尺识别法需要在监测航道的两侧设置不同角度的高清监控摄像机对船舶的多个位置进行多次拍照。对得到的图像进行图像处理等多种操作，通过水尺浸没程度计算船舶吃水。这种方法可以实时进行计算而无需人为操作。该方法面临多个问题，首先是不断变化的环境因素可能会使得抓拍的图片不够清晰，以至于传统图像算法无法识别刻度。
发明内容
本发明要解决的问题是采用基于CBAM+yolov5的吃水线检测模型，构建基于注意力机制的可形变卷积检测网络模型，充分利用注意力机制和可形变卷积等技术,提高吃水检测的准确性和效率的深度学习的吃水检测方法。
为了解决上述问题，本发明提供了一种基于深度学习的吃水检测方法，包括以下步骤：
（1）在监测航道的两侧设置高清摄像头，对过往船舶进行拍照；
（2）利用预训练的吃水线检测模型对所拍摄图像进行吃水线检测，所述模型为基于注意力机制的卷积神经网络检测模型，其中卷积神经网络中引入了可形变卷积层和基于注意力机制的特征选择模块；
（3）定位吃水线位置，测量所检测到的吃水线位置，计算吃水深度；
（4）根据测量得到的吃水深度，结合水位信息判断船舶吃水状况，根据计算得到的吃水深度判断是否超过安全吃水线，如果超过则发出超吃水预警。
作为优选地，所述的卷积神经网络为CSPDarknet结构，所述CSPDarknet的卷积神经网络，包含:
特征提取层，包括残差连接的CSP模块，用于提取吃水线的特征；
可形变卷积层，所述的可形变卷积层为根据目标形状和尺度进行灵活调整的卷积层，用于检测不同尺寸的吃水线；
基于注意力机制的特征选择模块，包括CBAM注意力模块，采用CBAM融合特征通道和特征空间两个维度的注意力，通过学习各个特征通道的重要性和各个特征区域的重要性来聚焦识别关键特征，用于聚焦吃水线区域的特征。
作为优选地，还包括以下步骤：
(5)在检测到吃水线的图像区域中使用水尺刻度识别检测模块，所述水尺刻度识别检测模块包括水尺刻度检测模型和水尺刻度识别模型，预训练的水尺刻度检测模型进行刻度检测，所述刻度检测模型为不同的可行二进制化文字检测模型；
(6)在检测到的刻度区域使用预训练的水尺刻度识别模型进行刻度识别，所述刻度识别模型为基于卷积神经网络和循环神经网络的序列识别相结合的模型。
作为优选地，所述刻度检测模型包括:
主干网络，用于图像特征提取；
FPN模块，用于特征增强；
Head网络，用于获得刻度区域概率图。
作为优选地，所述刻度识别模型包括:
卷积层，用于从水尺刻度之中提取特征序列；
循环层，循环层在卷积网络的基础上构建循环网络，将图像特征转换为序列特征，并预测每帧的标签分布，用于学习上下文信息；
转录层通过全连接网络和softmax激活函数，将每一帧的预测转化为最终的标签序列。最后，利用CTC Loss完成CNN和RNN的联合训练，无需序列对齐，用于序列到文本转换。
作为优选地，水尺刻度识别检测模块的损失函数如下：
，
其中，Loss代表总损失；分别代表中心坐标损失，宽高损失，类别损失和置信度损失；/>代表某一区域是否真实存在目标，用1和0表示；是区域内不存在目标时的惩罚因子；/>代表了在第/>个区域内真实目标的中心点坐标以及宽高对输入图像的比值；
所有带顶标“^”的变量代表网络模型的预测值；S代表把最终特征图划分成的区域块送入Detect模块；B为输出预测值的个数；/>= {0，1}，代表第/>个区域的预测框是否存在目标，当预测值与真实值重合范围大于0.5时，/>置为1；/>代表第/>个区域输出的类别。
作为优选地，水尺刻度识别检测模块采用PP-OCR框架，在定位到水尺的基础上，PP-OCR系统主题分为两个阶段，包括水尺刻度检测模型和水尺刻度识别模型，刻度检测采用DB算法，刻度值识别采用CRNN算法。
采用上述结构，其有益效果在于：1、本发明仅需要在岸边安装高清抓拍相机，相比于其他技术方法，设备成本低，可维护性高。
2、本发明可通过实时抓拍和深度学习技术，实现实时吃水检测，识别船舶吃水后，结合当前水位，确定是否需要发出预警，发出预警时，朝船舶自动喊话， 以及将报警信息及时推送给工作人员。
3、本发明采用基于CBAM+yolov5的吃水线检测模型，增强感兴趣区域的检测能力：CBAM模块引入注意力机制，通过学习图像中的通道和空间关系，将注意力集中在感兴趣的区域上，这对于吃水线检测非常重要，因为吃水线通常是水中的一个细长区域，与周围环境相比较显著。CBAM模块能够帮助模型更好地抓住吃水线的特征，提高检测的准确性。并且，基于CBAM和yolov5的吃水线检测模型是可扩展的，并且在一定程度上具有泛化能力。它可以适应不同场景下的吃水线检测任务，并能够处理各种吃水线的形状、颜色和尺寸变化。这使得模型具有较好的适应性和通用性，可以应用于不同的实际应用中。
4、本发明采用PP-OCR框架进行水尺刻度识别，DB算法可以快速准确地定位图像中的文本区域，包括水尺刻度的数字或文字。CRNN算法模块基于深度学习技术，能够准确地识别水尺刻度区域中的数字或文字内容。通过训练和优化这些文字识别模块，PP-OCR框架能够实现高精度的水尺刻度识别。此外，PP-OCR框架提供了易于使用和部署的接口和工具，使得水尺刻度识别技术更加易于应用和集成到实际系统中。它支持多种编程语言和平台，可以方便地与其他系统进行集成，以满足实际应用的需求。
附图说明
图1 为本发明基于深度学习的吃水检测方法具体实施流程图。
图2为本发明基于注意力机制的特征选择模块的结构图。
图3为水尺定位预测图。
图4为水尺刻度检测模型采用DB算法模型图。
图5为水尺刻度识别模型采用CRNN算法模型图。
图6为水尺刻度识别预测图。
具体实施方式
下面结合附图和实施例对本发明作进一步的解释说明。
本发明提供了一种基于深度学习的水尺检测方法， 针对基于图像的水尺识别法进行了细节优化，仅需在岸边安装高清抓怕摄像头，在保证检测与识别结果精度高的同时，减少了设备投入，降低了后期维护成本。
水尺定位技术，采用基于CBAM+yolov5的吃水线检测模型，构建基于注意力机制的可形变卷积检测网络模型，其中卷积神经网络中引入了可形变卷积层和基于注意力机制的特征选择模块；主要包括：
一、特征提取层：使用修改的卷积神经网络进行水尺的特征提取， CSPDarknet是在Darknet网络基础上进行改进的，用于提取图像特征。将宽、高、通道数分别为W、H、C的船舶图像进行缩放、归一化等预处理操作，以适应网络的输入要求。CSPDarknet的核心组成部分是CSP结构。在CSP结构中，输入特征图被分成两个路径，每个路径都包含一个CSP模块和一个残差块：
a. CSP模块：CSP模块将输入特征图进行通道分割，一部分特征经过一系列卷积操作，另一部分特征直接绕过卷积步骤。然后，分割的特征图进行通道合并，将经过卷积的特征图与绕过卷积的特征图进行融合。对于水尺检测任务，CSP结构有助于提取水尺的细节特征、边缘特征和刻度特征等。同时，CSP结构在设计上考虑了网络的计算效率。它在高维特征图的处理中采用了降维和上采样的技术，减少了计算量和内存消耗。这对于水尺检测任务尤为重要，因为水尺通常需要在实时场景中进行检测，而且水尺的形状和大小各异。CSP结构的高效性能使得yolov5能够在计算资源受限的情况下实现快速而准确的水尺检测。
b. 残差块：每个CSP模块后面跟随一个残差块，用于进一步优化特征图的表示。残差块通过跳跃连接，将输入特征图与CSP模块的输出相加，以便在信息传递过程中保留更多的细节信息。
二、可形变卷积层：在传统的卷积操作基础上，引入可形变卷积操作。水尺通常包含细小的刻度和数字，这对于传统的固定卷积操作来说会存在困难。可形变卷积层可以根据目标的具体形状和尺度进行灵活的调整，从而更好地捕捉细小目标的特征，提高水尺刻度的检测精度。
三、基于注意力机制的特征选择模块：基于可形变卷积得到的特征图，使用注意力机制来选择关键特征或加权特征。采用CBAM（Convolutional Block Attention Module）融合特征通道和特征空间两个维度的注意力，通过学习注意力权重，并且可以根据得到的重要程度来提升并抑制对当前任务不重要的特征，使得模型可以自动关注对目标分类和定位更重要的特征区域，提高检测性能。
水尺检测任务中，水尺的刻度和数字往往是关键的识别目标。CBAM模块通过引入注意力机制，可以自适应地对不同位置的特征进行加权，使得网络更加集中地关注水尺的刻度和数字区域，并增强这些区域的特征表达能力，有助于提高水尺刻度和数字的检测准确性和鲁棒性。
四、在检测到吃水线的图像区域中使用水尺刻度识别检测模块，所述水尺刻度识别检测模块包括水尺刻度检测模型和水尺刻度识别模型，
水尺刻度识别检测模块的损失函数如下：
，
其中，Loss代表总损失；分别代表中心坐标损失，宽高损失，类别损失和置信度损失；/>代表某一区域是否真实存在目标，用1和0表示；是区域内不存在目标时的惩罚因子；/>代表了在第/>个区域内真实目标的中心点坐标以及宽高对输入图像的比值；
所有带顶标“^”的变量代表网络模型的预测值；S代表把最终特征图划分成的区域块送入Detect模块；B为输出预测值的个数；/>= {0，1}，代表第/>个区域的预测框是否存在目标，当预测值与真实值重合范围大于0.5时，/>置为1；/>代表第/>个区域输出的类别。
水尺刻度识别检测模块采用PP-OCR框架，在定位到水尺的基础上，PP-OCR系统主题分为两个阶段，分别是水尺刻度检测和刻度识别。刻度检测采用DB（DifferentiableBinarization）算法，刻度值识别采用CRNN（Convolutional Recurrent Neural Network）算法。
DB算法基于分割的文本检测，使用可微分阈值可微分二值化， DB模块通过动态阈值将水尺刻度区域与背景区分开。通过主干网络和FPN提取输入水尺的特征，并将它们级联在一起得到大小为原始图像四分之一的特征。然后利用卷积层得到推理概率图和阈值图，再通过DB后处理得到轮廓曲线。
本发明采用的DB文本检测模型由三部分组成：
1、用于提取图像特征的主干网络
2、用于特征增强的FPN（Featured Pyramid Network）
3、用于计算文本区域概率图的Head network
对于主干网络，选取 ResNet作为特征提取器。这一层的主要作用即提取图像的多尺度特征。若输入的水尺的形状为[160, 160]，骨干网络的输出便有4 个特征，形状分别为：[1, 4, 80, 80]、[1, 16,40, 40]、[1, 64, 20, 20]和[1,256,10,10]。这些特征将被输入到FPN网络以进一步增强。
FPN的输入是主干的输出，输出特征图像的高度和宽度是原始图像大小的四分之一。输入图像的水尺形状为[1, 3, 160, 160]，则FPN中输出特征的高度和宽度分别为[40,40]。
最后即是Head Network，该部分通过计算得到文本区域的概率图、文本区域阈值图和二值图。同时，该网络将在FPN的基础之上进行上采样，并将特征的大小从1/4映射到与原始图像相同的大小。如此一来，该模型便完成了文本检测的工作。
CRNN是一种基于CTC（Connectionist Temporal Classification）的算法，CRNN结合了卷积神经网络（CNN）和循环神经网络（RNN）的特点，在水尺刻度识别中展示出良好的效果。在水尺刻度识别中，刻度数字通常以从左到右的顺序排列，因此可以将水尺刻度视为一个序列，并使用CRNN算法学习序列中的上下文信息。
一个重要的特点是，CRNN可以处理变长的输入序列，并且不需要固定长度的输入。这对于水尺刻度识别非常有用，因为不同尺寸的水尺可能具有不同数量的刻度。CRNN的灵活性使其能够适应不同尺寸水尺上刻度数量的变化，并实现准确的识别。
另外，CRNN通过共享卷积层的特征学习能力，能够有效提取图像中的共享视觉特征。水尺刻度通常具有类似的视觉特征，如直线形状和数字形状。通过共享特征学习，CRNN能够准确地捕捉和利用这些共享特征，从而提高水尺刻度识别的准确性。
需要指出的是，在应用CRNN算法进行水尺刻度识别时，需要进行适当的数据预处理和模型调优，以获得最佳性能。
CRNN的网络结构体系从下到上有三个部分，卷积层、循环层和转录层。作为底层的主干网络，卷积层从水尺刻度之中提取特征序列。由于conv, max-pooling, elementwise和 activation functions 都作用于局部区域，具有平移不变性。因此，特征图的每一列对应于原始图像的一个矩形区域(称为接受域)，这些矩形区域与特征图上对应的列从左到右的顺序相同。因为在CNN中需要对输入图像进行缩放以满足其固定的输入维数，所以对于长度变化较大的序列并不适用。为了更好地支持可变长度的序列，CRNN将最后一层主干输出的特征向量发送到RNN层，并将其转换为序列特征。
循环层在卷积网络的基础上构建循环网络，将图像特征转换为序列特征，并预测每帧的标签分布。RNN非常擅长捕获序列的上下文信息。当涉及到基于图像的序列识别时，上下文线索比每个像素的单独处理更有用。
转录层通过全连接网络和softmax激活函数，将每一帧的预测转化为最终的标签序列。最后，利用CTC Loss完成CNN和RNN的联合训练，无需序列对齐。
而最后转录层的输出即为合并连续重复的字符，并去掉空白的结果，同时给出该结果的置信度。
以上所述仅是本发明的具体实施方式，使本领域技术人员能够理解或实现本发明。对这些实施例的多种修改对本领域的技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其它实施例中实现。因此，本发明将不会被限制于本文所示的这些实施例，而是要符合与本文所述发明的原理和新颖特点相一致的最宽的范围。

Claims (7)

1.一种基于深度学习的吃水检测方法，其特征在于，包括以下步骤：
（1）在监测航道的两侧设置高清摄像头，对过往船舶进行拍照；
（2）利用预训练的吃水线检测模型对所拍摄图像进行吃水线检测，所述模型为基于注意力机制的卷积神经网络检测模型，其中卷积神经网络中引入了可形变卷积层和基于注意力机制的特征选择模块；
（3）定位吃水线位置，测量所检测到的吃水线位置，计算吃水深度；
（4）根据测量得到的吃水深度，结合水位信息判断船舶吃水状况，根据计算得到的吃水深度判断是否超过安全吃水线，如果超过则发出超吃水预警。
2.根据权利要求1所述的基于深度学习的吃水检测方法，其特征在于，所述的卷积神经网络为CSPDarknet结构，所述CSPDarknet的卷积神经网络，包含:
特征提取层，包括残差连接的CSP模块，用于提取吃水线的特征；
可形变卷积层，所述的可形变卷积层为根据目标形状和尺度进行灵活调整的卷积层，用于检测不同尺寸的吃水线；
基于注意力机制的特征选择模块，包括CBAM注意力模块，采用CBAM融合特征通道和特征空间两个维度的注意力，通过学习各个特征通道的重要性和各个特征区域的重要性来聚焦识别关键特征，用于聚焦吃水线区域的特征。
3.根据权利要求1所述的基于深度学习的吃水检测方法，其特征在于，还包括以下步骤：
(5)在检测到吃水线的图像区域中使用水尺刻度识别检测模块，所述水尺刻度识别检测模块包括水尺刻度检测模型和水尺刻度识别模型，预训练的水尺刻度检测模型进行刻度检测，所述刻度检测模型为不同的可行二进制化文字检测模型；
(6)在检测到的刻度区域使用预训练的水尺刻度识别模型进行刻度识别，所述刻度识别模型为基于卷积神经网络和循环神经网络的序列识别相结合的模型。
4.根据权利要求3所述的基于深度学习的吃水检测方法，其特征在于，所述刻度检测模型包括:
主干网络，用于图像特征提取；
FPN模块，用于特征增强；
Head网络，用于获得刻度区域概率图。
5.根据权利要求3所述的基于深度学习的吃水检测方法，其特征在于，所述刻度识别模型包括:
卷积层，用于从水尺刻度之中提取特征序列；
循环层，循环层在卷积网络的基础上构建循环网络，将图像特征转换为序列特征，并预测每帧的标签分布，用于学习上下文信息；
转录层通过全连接网络和softmax激活函数，将每一帧的预测转化为最终的标签序列。最后，利用CTC Loss完成CNN和RNN的联合训练，无需序列对齐，用于序列到文本转换。
6.根据权利要求3所述的基于深度学习的吃水检测方法，其特征在于，水尺刻度识别检测模块的损失函数如下：
，
其中，Loss代表总损失；分别代表中心坐标损失，宽高损失，类别损失和置信度损失；/>代表某一区域是否真实存在目标，用1和0表示；是区域内不存在目标时的惩罚因子；/>代表了在第/>个区域内真实目标的中心点坐标以及宽高对输入图像的比值；
所有带顶标“^”的变量代表网络模型的预测值；S代表把最终特征图划分成的区域块送入Detect模块；B为输出预测值的个数；/>= {0，1}，代表第/>个区域的预测框是否存在目标，当预测值与真实值重合范围大于0.5时，/>置为1；/>代表第/>个区域输出的类别。
7.如权利要求6所述的基于深度学习的吃水检测方法，其特征在于，水尺刻度识别检测模块采用PP-OCR框架，在定位到水尺的基础上，PP-OCR系统主题分为两个阶段，包括水尺刻度检测模型和水尺刻度识别模型，刻度检测采用DB算法，刻度值识别采用CRNN算法。
CN202311102351.9A 2023-08-30 2023-08-30 一种基于深度学习的吃水检测方法 Active CN116824570B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202311102351.9A CN116824570B (zh) 2023-08-30 2023-08-30 一种基于深度学习的吃水检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202311102351.9A CN116824570B (zh) 2023-08-30 2023-08-30 一种基于深度学习的吃水检测方法

Publications (2)

Publication Number Publication Date
CN116824570A true CN116824570A (zh) 2023-09-29
CN116824570B CN116824570B (zh) 2023-11-24

Family

ID=88139537

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202311102351.9A Active CN116824570B (zh) 2023-08-30 2023-08-30 一种基于深度学习的吃水检测方法

Country Status (1)

Country Link
CN (1) CN116824570B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117671510A (zh) * 2024-02-02 2024-03-08 西安热工研究院有限公司 一种基于目标检测和语义分割算法的船舶载重量计算方法
CN117788463A (zh) * 2024-02-26 2024-03-29 中邮建技术有限公司 基于视频ai与多模态数据融合的船舶吃水深度检测方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110619328A (zh) * 2019-08-28 2019-12-27 南京理工大学 基于图像处理和深度学习的船舶水尺读数智能识别方法
CN112598001A (zh) * 2021-03-08 2021-04-02 中航金城无人系统有限公司 一种基于多模型融合的船舶水尺读数自动识别方法
CN115690542A (zh) * 2022-11-03 2023-02-03 国网甘肃省电力公司 一种基于改进yolov5的航拍绝缘子定向识别方法
CN116363477A (zh) * 2023-03-13 2023-06-30 南京理工大学 基于改进的残差轻量网络的sar图像舰船尾迹参数估计方法
CN116385984A (zh) * 2023-06-05 2023-07-04 武汉理工大学 船舶吃水深度的自动检测方法和装置

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110619328A (zh) * 2019-08-28 2019-12-27 南京理工大学 基于图像处理和深度学习的船舶水尺读数智能识别方法
CN112598001A (zh) * 2021-03-08 2021-04-02 中航金城无人系统有限公司 一种基于多模型融合的船舶水尺读数自动识别方法
CN115690542A (zh) * 2022-11-03 2023-02-03 国网甘肃省电力公司 一种基于改进yolov5的航拍绝缘子定向识别方法
CN116363477A (zh) * 2023-03-13 2023-06-30 南京理工大学 基于改进的残差轻量网络的sar图像舰船尾迹参数估计方法
CN116385984A (zh) * 2023-06-05 2023-07-04 武汉理工大学 船舶吃水深度的自动检测方法和装置

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117671510A (zh) * 2024-02-02 2024-03-08 西安热工研究院有限公司 一种基于目标检测和语义分割算法的船舶载重量计算方法
CN117788463A (zh) * 2024-02-26 2024-03-29 中邮建技术有限公司 基于视频ai与多模态数据融合的船舶吃水深度检测方法
CN117788463B (zh) * 2024-02-26 2024-05-10 中邮建技术有限公司 基于视频ai与多模态数据融合的船舶吃水深度检测方法

Also Published As

Publication number Publication date
CN116824570B (zh) 2023-11-24

Similar Documents

Publication Publication Date Title
CN116824570B (zh) 一种基于深度学习的吃水检测方法
Schöller et al. Assessing deep-learning methods for object detection at sea from LWIR images
KR102345873B1 (ko) 해양관측 부이용 영상촬영 카메라를 이용한 파랑관측 방법 및 시스템
CN112766221B (zh) 基于船舶方向和位置多任务的sar图像船舶目标检测方法
CN111476120B (zh) 一种无人机智能船舶水尺识别方法及装置
CN110619328A (zh) 基于图像处理和深度学习的船舶水尺读数智能识别方法
CN113591592B (zh) 水上目标识别方法、装置、终端设备及存储介质
CN109063669B (zh) 一种基于图像识别的桥区船舶航行态势分析方法及装置
CN111814696A (zh) 一种基于改进YOLOv3的视频船舶目标检测方法
CN117037132A (zh) 一种基于机器视觉的船舶水尺读数检测和识别方法
CN117036993A (zh) 一种基于无人机的船舶水尺远程测量方法
CN116597447A (zh) 一种基于无人机图像识别的船泊吃水深度检测预警方法
CN116823838B (zh) 高斯先验标签分配与特征解耦的海洋船舶检测方法与系统
CN117197048B (zh) 一种船舶水尺读数检测方法、装置及设备
Liu et al. An approach to ship target detection based on combined optimization model of dehazing and detection
CN112347827A (zh) 一种船舶水尺自动检测方法及系统
CN116682286A (zh) 一种基于海上目标检测的船舶预警方法及系统
Qu et al. Multi-Task Learning-Enabled Automatic Vessel Draft Reading for Intelligent Maritime Surveillance
EP4430837A1 (en) Systems and methods for draft calculation
CN114463430A (zh) 一种基于图像处理的海洋搜救系统和方法
Yu et al. A lightweight ship detection method in optical remote sensing image under cloud interference
Li et al. LWS-YOLOv7: A Lightweight Water-Surface Object-Detection Model
CN118172769B (zh) 一种基于双域扩散方式的不稳定水线读数方法和系统
Ivanovskii The Concept of Automated Draught Survey System for Marine Ships
CN118314331B (zh) 一种面向海面场景的目标检测方法及其系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant