CN116935369A - 基于计算机视觉的船舶水尺读数方法及系统 - Google Patents
基于计算机视觉的船舶水尺读数方法及系统 Download PDFInfo
- Publication number
- CN116935369A CN116935369A CN202310810736.4A CN202310810736A CN116935369A CN 116935369 A CN116935369 A CN 116935369A CN 202310810736 A CN202310810736 A CN 202310810736A CN 116935369 A CN116935369 A CN 116935369A
- Authority
- CN
- China
- Prior art keywords
- water gauge
- ship
- ship water
- image
- network
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 title claims abstract description 252
- 238000000034 method Methods 0.000 title claims abstract description 45
- 238000004422 calculation algorithm Methods 0.000 claims abstract description 63
- 238000001514 detection method Methods 0.000 claims abstract description 54
- 238000007781 pre-processing Methods 0.000 claims abstract description 17
- 238000012549 training Methods 0.000 claims description 35
- 230000008569 process Effects 0.000 claims description 16
- 230000011218 segmentation Effects 0.000 claims description 16
- 238000001914 filtration Methods 0.000 claims description 9
- 238000004364 calculation method Methods 0.000 claims description 6
- 238000000605 extraction Methods 0.000 claims description 6
- 238000012545 processing Methods 0.000 claims description 6
- 238000003860 storage Methods 0.000 claims description 6
- 238000004590 computer program Methods 0.000 claims description 5
- 238000005286 illumination Methods 0.000 claims description 4
- 230000000877 morphologic effect Effects 0.000 claims description 4
- 238000005070 sampling Methods 0.000 claims description 4
- 230000009466 transformation Effects 0.000 claims description 4
- 238000003702 image correction Methods 0.000 claims description 3
- 238000005516 engineering process Methods 0.000 abstract description 5
- 238000013527 convolutional neural network Methods 0.000 description 26
- 238000010586 diagram Methods 0.000 description 6
- 238000005303 weighing Methods 0.000 description 6
- 238000013135 deep learning Methods 0.000 description 5
- 230000004927 fusion Effects 0.000 description 4
- 230000006872 improvement Effects 0.000 description 4
- 230000006870 function Effects 0.000 description 3
- 238000010276 construction Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000010801 machine learning Methods 0.000 description 2
- 238000004519 manufacturing process Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012935 Averaging Methods 0.000 description 1
- 239000000654 additive Substances 0.000 description 1
- 230000000996 additive effect Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 238000012423 maintenance Methods 0.000 description 1
- 238000000691 measurement method Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000002360 preparation method Methods 0.000 description 1
- 238000007639 printing Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000012216 screening Methods 0.000 description 1
- 230000035945 sensitivity Effects 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/60—Type of objects
- G06V20/62—Text, e.g. of license plates, overlay texts or captions on TV images
- G06V20/63—Scene text, e.g. street names
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/0464—Convolutional networks [CNN, ConvNet]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
- G06V30/10—Character recognition
- G06V30/14—Image acquisition
- G06V30/148—Segmentation of character regions
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
- G06V30/10—Character recognition
- G06V30/16—Image preprocessing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
- G06V30/10—Character recognition
- G06V30/19—Recognition using electronic means
- G06V30/191—Design or setup of recognition systems or techniques; Extraction of features in feature space; Clustering techniques; Blind source separation
- G06V30/19147—Obtaining sets of training patterns; Bootstrap methods, e.g. bagging or boosting
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
- Y02A90/00—Technologies having an indirect contribution to adaptation to climate change
- Y02A90/30—Assessment of water resources
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Biophysics (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Biomedical Technology (AREA)
- Health & Medical Sciences (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Life Sciences & Earth Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种基于计算机视觉的船舶水尺读数方法，包括以下步骤：S1、获取拍摄的船舶水尺图像；S2、对船舶水尺图像做预处理，去除图像干扰；S3、识别预处理后船舶水尺图像中的船舶吃水线；S4、利用训练好的目标检测模型识别预处理后船舶水尺图像中的船舶水尺字符；其中，目标检测算法为改进的Faster R‑CNN模型；S5、根据识别到的船舶吃水线和船舶水尺字符计算船舶水尺数值。本发明利用计算机视觉技术获取船舶水尺数值，具有较高的读数准确率和鲁棒性，并且能够满足端到端的需求。
Description
技术领域
本发明涉及船舶水尺计重技术领域，具体涉及一种基于计算机视觉技术的船舶水尺读数方法及系统。
背景技术
船舶水尺计重是一种科学的计重方式，在国际上已经得到广泛的应用，尤其是计量一些价值相对较低的散装固态商品。如果船舶水尺印刷精度能够达到1‰，那么船舶水尺计重的精度可以达到5‰，船舶水尺计重的结果可作为商品在交易过程中计算运费、交接结算、理赔和索赔的重要依据。
目前船舶水尺读数大多采用人工读数，不仅容易造成视觉误差，且存在安全隐患，受人为主观因素影响，难以保证水尺读数的公正和准确，贸易双方容易产生纠纷；此外一些新型智能化船舶水尺读数技术，例如基于辅助设备的测量方法，包括压力传感器、激光传感器、超声波传感器和声呐传感器等，普遍存在受环境因素影响大，后期维护不方便等问题；基于传统图像处理的测量方法的优势在于利用较底层的图像特征获取所需要的信息，检测精度高，可以达到像素级，不足之处在于根据不同的船体背景和外界环境，特征的敏感程度不同，从而导致该方法泛化能力不强；现有基于深度学习的测量方法在船舶吃水线和船舶水尺字符检测精度上需要进一步提高。
综上，目前关于新型智能化船舶水尺读数技术的研究成果难以应用到实际工程当中。
发明内容
本发明主要目的在于提供一种可以提高船舶水尺读数精度的基于计算机视觉的船舶水尺读数方法及系统。
本发明所采用的技术方案是：
提供一种基于计算机视觉的船舶水尺读数方法，包括以下步骤：
S1、获取拍摄的船舶水尺图像；
S2、对船舶水尺图像做预处理，去除图像干扰；
S3、识别预处理后船舶水尺图像中的船舶吃水线；
S4、利用训练好的目标检测模型识别预处理后船舶水尺图像中的船舶水尺字符；其中，目标检测算法为改进的Faster R-CNN模型，将该Faster R-CNN模型中原有的主干网络替换为EfficientNet-B0网络和FPN网络融合的主干网络，且将Faster R-CNN模型的RPN网络中加入MSER算法以改进候选框生成策略，具体将MSER算法检测的船舶水尺字符外边界框信息添加到Anchor生成器中，以增加RPN网络生成的优质候选框数量；
S5、根据识别到的船舶吃水线和船舶水尺字符计算船舶水尺数值。
接上述技术方案，步骤S2中，图像预处理包括图像滤波、图像矫正和目标区域提取。
接上述技术方案，滤波处理采用Mean-Shift滤波算法，矫正处理采用透视变换算法，目标区域提取采用图像形态学处理算法。
接上述技术方案，参与目标检测模型训练的数据集包含各类场景下的船舶水尺图像，其中各类场景包括是否存在水波纹、不同时段下不同的光照强度、不同拍摄角度、各类船舶类型。
接上述技术方案，船舶水尺图像作为样本数据之前，预先通过亮度调整、对比度调整以及添加噪点的方式进行数据增强。
接上述技术方案，步骤S3具体为：
构建船舶吃水线语义分割网络并进行训练，具体采用U2-Net语义分割网络；
将预处理后的船舶水尺图像传入到训练好的船舶吃水线语义分割网络，输出船舶水尺图像中水体区域的边界信息；
检测水体区域的上边界作为船舶吃水线位置；
取船舶水尺标志附近区域吃水线，采用随机采样一致性算法拟合船舶吃水线方程。
接上述技术方案，步骤S4中目标检测模型输出检测到的船舶水尺字符的外边界框坐标和所属类别信息。
接上述技术方案，步骤S5具体为：
根据船舶吃水线得到的船舶吃水线方程，将船舶吃水线方程和船舶水尺字符边界框顶点坐标及所属类别信息传入到船舶水尺读数算法中；
通过船舶水尺读数算法计算船舶水尺字符高度方向所占的像素个数，得到图像中每个像素所代表的实际距离；
计算出船舶水尺字符到吃水线之间的像素个数，得到船舶水尺数值。
本发明还提供一种基于计算机视觉的船舶水尺读数系统，包括：
图像获取模块，用于获取拍摄的船舶水尺图像；
预处理模块，用于对船舶水尺图像做预处理，去除图像干扰；
船舶吃水线识别模块，用于识别预处理后船舶水尺图像中的船舶吃水线；
船舶水尺字符识别模块，用于利用训练好的目标检测模型识别预处理后船舶水尺图像中的船舶水尺字符；其中，目标检测算法为改进的Faster R-CNN模型，将该Faster R-CNN模型中原有的主干网络替换为EfficientNet-B0网络和FPN网络融合的主干网络，且将Faster R-CNN模型的RPN网络中加入MSER算法以改进候选框生成策略，具体将MSER算法检测的船舶水尺字符外边界框信息添加到Anchor生成器中，以增加RPN网络生成的优质候选框数量；
船舶水尺数值计算模块，用于根据识别到的船舶吃水线和船舶水尺字符计算船舶水尺数值。
本发明还提供一种计算机存储介质，该计算机存储介质内存储有可被处理器执行的计算机程序，该计算机程序执行上述技术方案所述的基于计算机视觉的船舶水尺读数方法。
本发明产生的有益效果是：本发明提供了一套完整的基于计算机视觉的船舶水尺读数解决方案。为了避免过深的主干网络无法利用底层的图像信息，本发明对现有的Faster R-CNN模型进行了改进，将原有的VGG16主干网络替换为轻量级的EfficientNet-B0网络；
此外，将EfficientNet-B0网络与FPN网络进行融合，在融合之后的特征图上进行目标预测，这样可以充分利用船舶水尺图像中的底层信息，不仅提高了检测网络的识别准确率，也提高了检测网络对于船舶水尺字符的定位精度。
进一步地，本发明通过加入MSER算法以改进Faster R-CNN中的候选框生成策略。在网络训练过程中，RPN网络虽然提供了大量的船舶水尺字符候选框，但其中优质的候选框较少，这样会造成网络训练过程中正负样本比例不均衡，负样本的数量远大于正样本的数量，网络不仅难以达到理想效果，还会导致船舶水尺字符边界框回归不准确等问题。本发明根据船舶水尺字符特性，在RPN网络中加入MSER算法，MSER算法可以精确的检测出船舶水尺字符的外边界框，将检测的外边界框以Anchor的形式加入到Anchor生成器中，以增加RPN网络生成的优质候选框数量，这样不仅可以均衡网络训练时正负样本比例，还可以使网络预测的水尺字符边界框更加准确。
进一步地，通过对船舶水尺图像进行预处理，预先消除了诸多因素的干扰，包括水波纹、光照强度、拍摄角度、字符受损等，提高了后续算法的检测准确率和精度。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例基于计算机视觉的船舶水尺读数方法的流程图；
图2为本发明实施例改进Faster R-CNN的主干网络结构图；
图3为本发明实施例改进的RPN网络结构图；
图4为本发明实施例通过加入MSER算法检测的船舶水尺字符外边界框示意图；
图5为本发明实施例船舶吃水线和船舶水尺字符检测结果示意图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。
实施例1
如图1所示，该实施例基于计算机视觉的船舶水尺读数方法包括以下步骤：
S1、获取拍摄的船舶水尺图像；
S2、对船舶水尺图像做预处理，去除图像干扰；
S3、识别预处理后船舶水尺图像中的船舶吃水线；
S4、利用训练好的目标检测模型识别预处理后船舶水尺图像中的船舶水尺字符；其中，目标检测算法为改进的Faster R-CNN模型，将该Faster R-CNN模型中原有的主干网络替换为EfficientNet-B0网络和FPN网络融合的主干网络，且将Faster R-CNN模型的RPN网络中加入MSER算法以改进候选框生成策略，具体将MSER算法检测的船舶水尺字符外边界框信息添加到Anchor生成器中，以增加RPN网络生成的优质候选框数量；
S5、根据识别到的船舶吃水线和船舶水尺字符计算船舶水尺数值。
步骤S2可通过计算机设备对传入的船舶水尺图像做预处理，图像预处理包括图像滤波、图像矫正和目标区域提取。具体可采用Mean-Shift滤波算法在不丢失边界信息的前提下，将船舶水尺图像聚类分为船体区域、船舶水尺标志区域和水体区域，采用透视变换算法将船舶水尺图像投影到正视平面，避免图像倾斜造成距离失真，采用形态学膨胀处理提取船舶水尺图像中目标水尺区域。
该实施例的船舶水尺字符目标检测网络采用Faster R-CNN网络为主体框架，Faster R-CNN作为两阶段目标检测算法，检测速度稍慢，但目标识别准确率高，并且目标位置检测精度高。由于船舶水尺字符属于小目标检测，而检测网络对于小目标检测能力较差，为了提高检测网络对船舶水尺字符这类小目标检测的识别准确率和定位精度，本发明主要对网络模型做出如下两点改进：
改进1：重新设计Faster R-CNN网络的主干网络。为了避免过深的主干网络无法利用底层的图像信息，本发明将原有的VGG16主干网络替换为轻量级的EfficientNet-B0网络，选择EfficientNet系列网络有以下原因：1)EfficientNet在准确率和参数量上都优于其它网络；2)EfficientNet属于轻量级特征提取网络，可直接将船舶水尺图像传输至移动设备。此外，将EfficientNet-B0网络与FPN网络进行融合，在融合之后的特征图上进行目标预测，这样可以充分利用船舶水尺图像中的底层信息，不仅提高了检测网络的识别准确率，也提高了检测网络对于船舶水尺字符的定位精度。
改进2：改进Faster R-CNN网络的候选框生成策略。在网络训练过程中，RPN网络虽然提供了大量的船舶水尺字符候选框，但其中优质的候选框较少，这样会造成网络训练过程中正负样本比例不均衡，负样本的数量远大于正样本的数量，网络不仅难以达到理想效果，还会导致船舶水尺字符边界框回归不准确等问题。本发明根据船舶水尺字符特性，在RPN网络中加入MSER算法，MSER算法可以精确的检测出船舶水尺字符的外边界框，将检测的外边界框以Anchor的形式加入到Anchor生成器中，以增加RPN网络生成的优质候选框数量，这样不仅可以均衡网络训练时正负样本比例，还可以使网络预测的水尺字符边界框更加准确。
改进后的Faster R-CNN网络使得检测算法准确率高、精度高、泛化能力强以及鲁棒性强，能够满足实际应用需求。
实施例2
该实施例2与实施例1的区别之处主要在于，通过无人机拍摄船舶水尺图像，无人机悬停处距离船体和水面约3m，船舶水尺图像中应包含水体区域和船舶水尺标志区域，船舶水尺标志应位居图像中部且包含至少两个M字符。无人机再将拍摄的船舶水尺图像传输至计算机设备。
计算机设备对传入的船舶水尺图像做预处理，采用Mean-Shift滤波算法在不丢失边界信息的前提下，将船舶水尺图像聚类分为船体区域、船舶水尺标志区域和水体区域，采用透视变换算法将船舶水尺图像投影到正视平面，避免图像倾斜造成距离失真，采用形态学膨胀处理提取船舶水尺图像中目标水尺区域。该实施例的船舶水尺图像预处理方法提高了后续算法的检测准确率和精度。
该实施例2与实施例1的区别还在于船舶吃水线的识别过程。计算机设备将预处理后的船舶水尺图像传入到语义分割网络检测船舶吃水线，具体包括下述步骤：
(1)制作船舶吃水线语义分割数据集。数据集中将水体区域标记为前景，其余区域标记为背景；
(2)基于Python编程语言，利用Pytorch机器学习库搭建船舶吃水线语义分割网络。网络采用U2-Net语义分割网络；
(3)将搭建的网络模型在船舶吃水线语义分割数据集上进行训练获得网络训练权重，其中网络训练过程中的主要参数为：1)训练Epoch数：500；2)优化器：AdamW；3)BatchSize：16；4)预训练数据集：DUTS数据集。第一次训练完成后，若数据集不发生改变则后续无需重复训练；
(4)将船舶水尺图像传入到训练好的船舶吃水线检测网络，网络将输出船舶水尺图像中水体区域的边界信息；
(5)检测所得水体区域的上边界即为船舶吃水线位置；
(6)取船舶水尺标志附近区域吃水线，采用随机采样一致性算法拟合船舶吃水线方程。
实施例3
该实施例3与上述实施例的区别主要在于船舶水尺字符的识别。该实施例中计算机设备将预处理后的船舶水尺图像传入到目标检测网络检测船舶水尺字符，具体包括下述步骤：
(1)制作船舶水尺字符目标检测数据集，数据集中标记了每个船舶水尺字符的外边界框位置和所属类别；
(2)基于Python编程语言，利用OpenCV和PyTorch等机器学习库对本发明的图像处理算法和深度学习算法进行编程实现。其中深度学习算法主要包括语义分割网络和目标检测网络的搭建，具体分为网络搭建、网络训练与验证、网络预测等代码。语义分割网络根据U2-Net网络模型进行搭建用于识别船舶吃水线，目标检测网络根据Faster R-CNN网络模型进行搭建用于识别船舶水尺字符。
本发明根据船舶水尺字符本身特征对Faster R-CNN网络进行改进，改进分为两个方面：1)改进网络中主干网络结构。原网络模型的主干网络为VGG16卷积神经网络，本发明替换为检测精度更高、速度更快的EfficientNet-B0卷积神经网络，并且针对船舶水尺字符小目标检测，将EfficientNet-B0网络与FPN(Feature Pyramid Networks)网络进行融合，将EfficientNet-B0网络中不同的两个特征图以相加的方式进行融合，最后在融合之后的特征图上进行目标预测，可以更好的利用卷积神经网络的低层特征层以提升目标检测网络对于小目标物体检测的性能。
在网络训练过程中，EfficientNet-B0网络的输入是带有标注信息(船舶水尺字符位置和所属类别)的船舶水尺图像；在网络预测过程中EfficientNet-B0网络的输入是原始的船舶水尺图像。
具体的,将EfficientNet-B0网络中分别经过Stage4、5、7、9之后的特征层进行特征融合，最终的主干网络结构如图2所示。原网络在最后一层7×7大小的特征层上预测目标，FPN网络通过两倍上采样融合不容特征图，所需特征图的大小分别为14×14、28×28和56×56，因此选择EfficientNet-B0网络中4、5、7、9层的特征图。
2)改进网络中RPN网络的候选框生成策略。在Faster R-CNN的RPN网络中加入MSER算法，MSER算法可以检测出船舶水尺图像中船舶水尺字符的位置，并且生成船舶水尺字符的外边界框，将外边界框以Anchor的形式加入到RPN网络的Anchor生成器中，从而改善RPN网络生成的候选框质量，不仅可以均衡网络训练时正负样本比例，还可以使网络预测的船舶水尺字符边界框更加准确。可见，将MSER算法的所检测到的船舶水尺字符边界框作为Anchor(Anchor即为网络输入的船舶水尺图像上的矩形框)，RPN网络中AnchorsGenerator的作用是在原始的船舶水尺图像上生成大量的Anchor，经过后续筛选保留可能存在目标的Anchor作为候选框进行目标预测。本质上MSER算法和AnchorsGenerator的作用是一样的，MSER算法提供的边界框更贴近于真实目标。MSER算法的输入是船舶水尺图像，输出是矩形框坐标信息。
将搭建的语义分割网络和目标检测网络分别在自制的船舶水尺图像数据集上进行训练，语义分割网络学习船舶水尺图像中的水域特征，目标检测网络学习船舶水尺图像中的船舶水尺字符特征，训练完成后将得到各自网络的权重，将训练权重载入到预测网络，以船舶水尺图像作为输入，输出船舶水尺图像中吃水线位置，船舶水尺字符位置及对应的类别。
将MSER算法检测的船舶水尺字符外边界框信息添加到Anchor生成器中，改进网络的候选框生成策略，改进前后的RPN网络结构如图3所示，MSER算法所检测的船舶水尺字符外边框如图4所示；
(3)将搭建的网络模型在船舶水尺字符目标检测数据集上进行训练获得网络训练权重，其中网络训练过程中的主要参数为：1)训练Epoch数：500，即学习算法在整个训练数据集中的工作次数；2)优化器：SGD；3)Batch Size：16，即表示单次传递给程序用以训练的数据(样本)个数；4)预训练数据集：ImageNet数据集。第一次训练完成后，若数据集不发生改变则后续无需重复训练；
(4)将船舶水尺图像传入到训练好的船舶水尺字符检测网络，网络将输出检测到的船舶水尺字符的外边界框坐标和所属类别信息，如图4所示。船舶吃水线和船舶水尺字符检测结果如图5所示；
图4为MSER算法所检测到的船舶水尺字符边界框，以船舶水尺图像作为输入，输出边界框坐标信息。图5为语义分割网络和目标检测网络所预测的船舶吃水线位置信息、船舶水尺字符边界框信息及所对应的类别。通过船舶吃水线位置坐标、船舶水尺字符位置坐标和所属类别换算船舶水尺图像所对应的船舶水尺数值。
计算机设备将得到的船舶吃水线方程和船舶水尺字符边界框顶点坐标及所属类别传入到船舶水尺读数算法中，计算船舶水尺图像所对应的水尺数值，首先计算船舶水尺字符高度方向所占的像素个数，得到图像中每个像素所代表的实际距离，再计算出船舶水尺字符到吃水线之间的像素个数得到船舶水尺数值。最后计算机设备输出计算得到的船舶水尺数值。
为了更精确第获得船舶水尺读数，可采用两次取均值法。第一次取均值计算水尺图像中像素点对应的真实距离，第二次取均值以所有字符为基准计算水尺数值后取均值。
具体船舶水尺数值计算方法为：
船舶水尺读数采用两次取均值法。第一次取均值利用水尺字符在高度方向所占的像素个数与水尺字符真实高度的比例，计算像素点所对应的真实距离。
计算步骤如下：
1)计算每个字符所占的像素点个数的均值字符在图像中占的像素个数根据字符外边界框4个角点坐标计算(左上方角点顺时针依次编号)，一个字符所占像素点个数n＝y4-y1，m个字符所占像素个数均值/>
2)计算每个像素点所代表的真实距离H1，
第二次取均值是对每个小数字符都计算一次水尺数值然后取均值，对每个小数字符都计算一次水尺数值，然后剔除离群值，是为了避免水尺字符识别错误所导致的读数错误。计算步骤如下：
1)找出整数刻度Hi，字符M之前的数字就代表了字符下边界刻度所对应的水尺数值，以这些整数刻度为基准再读取小数刻度；
2)计算小数字符所对应的水尺数值，记小数字符下边界y4d到整数字符下边界y4i的距离y＝y4d-y4i，则小数字符所对应的水尺数值为Hd＝Hi-y；
3)计算小数字符到水线的距离，记小数字符下边界框中点坐标(xdm,ydm)，参考线与吃水线交点坐标(xw,yw)，则小数字符到水线的距离
4)计算最终的水尺数值，第k个水尺字符计算得到的水尺数值Hk＝Hdk-H2k,(k＝1,2,…,m)，剔除Hk中的离群值，则最终的水尺数值为H＝∑Hk/m′，m′为剔除离群值之后的水尺数值个数。
实施例4
该实施例4与上述实施例的区别主要在于更注重每个模型的训练。
本发明采用深度学习技术检测船舶吃水线和船舶水尺字符，深度学习算法在复杂场景下也能拥有很强的泛化能力，训练样本数据越丰富，算法泛化能力越强。本发明根据船舶水尺计重实际应用场景，充分考虑各类干扰因素，在制作网络训练所需的数据集时，保证数据集中样本的多样性，此外，为了提高算法的检测准确率和精度，根据船舶水尺特性，针对性的对检测网络模型做出改进。
数据集的制作：数据集的样本需要足够丰富，需要包含各类场景下的船舶水尺图像，例如水面是否存在水波纹、不同时段下不同的光照强度、不同拍摄角度、各类船舶类型等。此外本发明还将船舶水尺图像进行亮度调整、对比度调整以及添加噪点的方式对数据集进行数据增强。
实施例5
为了实现上述方法实施例，本发明还提供一种基于计算机视觉的船舶水尺读数系统，包括：
图像获取模块，用于获取拍摄的船舶水尺图像；
预处理模块，用于对船舶水尺图像做预处理，去除图像干扰；
船舶吃水线识别模块，用于识别预处理后船舶水尺图像中的船舶吃水线；
船舶水尺字符识别模块，用于利用训练好的目标检测模型识别预处理后船舶水尺图像中的船舶水尺字符；其中，目标检测算法为改进的Faster R-CNN模型，将该Faster R-CNN模型中原有的主干网络替换为EfficientNet-B0网络和FPN网络融合的主干网络，且将Faster R-CNN模型的RPN网络中加入MSER算法以改进候选框生成策略，具体将MSER算法检测的船舶水尺字符外边界框信息添加到Anchor生成器中，以增加RPN网络生成的优质候选框数量；
船舶水尺数值计算模块，用于根据识别到的船舶吃水线和船舶水尺字符计算船舶水尺数值。
各个模块主要对应上述方法实施例的各个步骤的实现，在此不赘述。
实施例6
本申请还提供一种计算机可读存储介质，如闪存、硬盘、多媒体卡、卡型存储器(例如，SD或DX存储器等)、随机访问存储器(RAM)、静态随机访问存储器(SRAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、可编程只读存储器(PROM)、磁性存储器、磁盘、光盘、服务器、App应用商城等等，其上存储有计算机程序，程序被处理器执行时实现相应功能。本实施例的计算机可读存储介质被处理器执行时实现方法实施例的基于计算机视觉的船舶水尺读数方法。
需要指出，根据实施的需要，可将本申请中描述的各个步骤/部件拆分为更多步骤/部件，也可将两个或多个步骤/部件或者步骤/部件的部分操作组合成新的步骤/部件，以实现本发明的目的。
上述实施例中各步骤的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本申请实施例的实施过程构成任何限定。
应当理解的是，对本领域普通技术人员来说，可以根据上述说明加以改进或变换，而所有这些改进和变换都应属于本发明所附权利要求的保护范围。
Claims (10)
1.一种基于计算机视觉的船舶水尺读数方法，其特征在于，包括以下步骤：
S1、获取拍摄的船舶水尺图像；
S2、对船舶水尺图像做预处理，去除图像干扰；
S3、识别预处理后船舶水尺图像中的船舶吃水线；
S4、利用训练好的目标检测模型识别预处理后船舶水尺图像中的船舶水尺字符；其中，目标检测算法为改进的Faster R-CNN模型，将该Faster R-CNN模型中原有的主干网络替换为EfficientNet-B0网络和FPN网络融合的主干网络，且将Faster R-CNN模型的RPN网络中加入MSER算法以改进候选框生成策略，具体将MSER算法检测的船舶水尺字符外边界框信息添加到Anchor生成器中，以增加RPN网络生成的优质候选框数量；
S5、根据识别到的船舶吃水线和船舶水尺字符计算船舶水尺数值。
2.根据权利要求1所述的基于计算机视觉的船舶水尺读数方法，其特征在于，步骤S2中，图像预处理包括图像滤波、图像矫正和目标区域提取。
3.根据权利要求2所述的基于计算机视觉的船舶水尺读数方法，其特征在于，滤波处理采用Mean-Shift滤波算法，矫正处理采用透视变换算法，目标区域提取采用图像形态学处理算法。
4.根据权利要求1所述的基于计算机视觉的船舶水尺读数方法，其特征在于，参与目标检测模型训练的数据集包含各类场景下的船舶水尺图像，其中各类场景包括是否存在水波纹、不同时段下不同的光照强度、不同拍摄角度、各类船舶类型。
5.根据权利要求4所述的基于计算机视觉的船舶水尺读数方法，其特征在于，船舶水尺图像作为样本数据之前，预先通过亮度调整、对比度调整以及添加噪点的方式进行数据增强。
6.根据权利要求1所述的基于计算机视觉的船舶水尺读数方法，其特征在于，步骤S3具体为：
构建船舶吃水线语义分割网络并进行训练，具体采用U2-Net语义分割网络；
将预处理后的船舶水尺图像传入到训练好的船舶吃水线语义分割网络，输出船舶水尺图像中水体区域的边界信息；
检测水体区域的上边界作为船舶吃水线位置；
取船舶水尺标志附近区域吃水线，采用随机采样一致性算法拟合船舶吃水线方程。
7.根据权利要求1所述的基于计算机视觉的船舶水尺读数方法，其特征在于，步骤S4中目标检测模型输出检测到的船舶水尺字符的外边界框坐标和所属类别信息。
8.根据权利要求7所述的基于计算机视觉的船舶水尺读数方法，其特征在于，步骤S5具体为：
根据船舶吃水线得到的船舶吃水线方程，将船舶吃水线方程和船舶水尺字符边界框顶点坐标及所属类别信息传入到船舶水尺读数算法中；
通过船舶水尺读数算法计算船舶水尺字符高度方向所占的像素个数，得到图像中每个像素所代表的实际距离；
计算出船舶水尺字符到吃水线之间的像素个数，得到船舶水尺数值。
9.一种基于计算机视觉的船舶水尺读数系统，其特征在于，包括：
图像获取模块，用于获取拍摄的船舶水尺图像；
预处理模块，用于对船舶水尺图像做预处理，去除图像干扰；
船舶吃水线识别模块，用于识别预处理后船舶水尺图像中的船舶吃水线；
船舶水尺字符识别模块，用于利用训练好的目标检测模型识别预处理后船舶水尺图像中的船舶水尺字符；其中，目标检测算法为改进的Faster R-CNN模型，将该Faster R-CNN模型中原有的主干网络替换为EfficientNet-B0网络和FPN网络融合的主干网络，且将FasterR-CNN模型的RPN网络中加入MSER算法以改进候选框生成策略，具体将MSER算法检测的船舶水尺字符外边界框信息添加到Anchor生成器中，以增加RPN网络生成的优质候选框数量；
船舶水尺数值计算模块，用于根据识别到的船舶吃水线和船舶水尺字符计算船舶水尺数值。
10.一种计算机存储介质，其特征在于，该计算机存储介质内存储有可被处理器执行的计算机程序，该计算机程序执行权利要求1-8中任一项所述的基于计算机视觉的船舶水尺读数方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310810736.4A CN116935369A (zh) | 2023-07-03 | 2023-07-03 | 基于计算机视觉的船舶水尺读数方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310810736.4A CN116935369A (zh) | 2023-07-03 | 2023-07-03 | 基于计算机视觉的船舶水尺读数方法及系统 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN116935369A true CN116935369A (zh) | 2023-10-24 |
Family
ID=88391737
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310810736.4A Pending CN116935369A (zh) | 2023-07-03 | 2023-07-03 | 基于计算机视觉的船舶水尺读数方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116935369A (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117788463A (zh) * | 2024-02-26 | 2024-03-29 | 中邮建技术有限公司 | 基于视频ai与多模态数据融合的船舶吃水深度检测方法 |
| CN117788463B (zh) * | 2024-02-26 | 2024-05-10 | 中邮建技术有限公司 | 基于视频ai与多模态数据融合的船舶吃水深度检测方法 |
-
2023
- 2023-07-03 CN CN202310810736.4A patent/CN116935369A/zh active Pending
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117788463A (zh) * | 2024-02-26 | 2024-03-29 | 中邮建技术有限公司 | 基于视频ai与多模态数据融合的船舶吃水深度检测方法 |
| CN117788463B (zh) * | 2024-02-26 | 2024-05-10 | 中邮建技术有限公司 | 基于视频ai与多模态数据融合的船舶吃水深度检测方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110598743A (zh) | 一种目标对象的标注方法和装置 | |
| CN111985376A (zh) | 一种基于深度学习的遥感影像舰船轮廓提取方法 | |
| CN108921057B (zh) | 基于卷积神经网络的对虾形态测量方法、介质、终端设备及装置 | |
| CN111932511B (zh) | 一种基于深度学习的电子元器件质量检测方法与系统 | |
| CN115147723B (zh) | 一种内河船舶识别与测距方法、系统、介质、设备及终端 | |
| CN112700489B (zh) | 基于深度学习的船基视频图像海冰厚度测量方法及系统 | |
| CN113033315A (zh) | 一种稀土开采高分影像识别与定位方法 | |
| CN114399675A (zh) | 一种基于机器视觉与激光雷达融合的目标检测方法和装置 | |
| CN112529827A (zh) | 遥感图像融合模型的训练方法及装置 | |
| CN111027538A (zh) | 一种基于实例分割模型的集装箱检测方法 | |
| CN116740758A (zh) | 一种防止误判的鸟类图像识别方法及系统 | |
| CN113743385A (zh) | 一种无人船水面目标检测方法、装置及无人船 | |
| CN116279592A (zh) | 一种用于无人物流车的可行驶区域划分方法 | |
| CN117037132A (zh) | 一种基于机器视觉的船舶水尺读数检测和识别方法 | |
| CN110458019B (zh) | 稀缺认知样本条件下的排除倒影干扰的水面目标检测方法 | |
| CN116486287A (zh) | 基于环境自适应机器人视觉系统的目标检测方法及系统 | |
| CN111738988A (zh) | 人脸深度图像生成方法、装置、电子设备和存储介质 | |
| CN113095316B (zh) | 基于多级融合和角点偏移的图像旋转目标检测方法 | |
| CN113902792A (zh) | 基于改进RetinaNet网络的建筑物高度检测方法、系统和电子设备 | |
| CN113989604A (zh) | 基于端到端深度学习的轮胎dot信息识别方法 | |
| CN112924037A (zh) | 基于图像配准的红外体温检测系统及检测方法 | |
| CN116503760A (zh) | 基于自适应边缘特征语义分割的无人机巡航检测方法 | |
| CN116935369A (zh) | 基于计算机视觉的船舶水尺读数方法及系统 | |
| CN116125489A (zh) | 一种室内物体三维检测方法、计算机设备及存储介质 | |
| CN114463628A (zh) | 一种基于阈值约束的深度学习遥感影像船舰目标识别方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |