CN111652213A - 一种基于深度学习的船舶水尺读数识别方法 - Google Patents

一种基于深度学习的船舶水尺读数识别方法 Download PDF

Info

Publication number
CN111652213A
CN111652213A CN202010445348.7A CN202010445348A CN111652213A CN 111652213 A CN111652213 A CN 111652213A CN 202010445348 A CN202010445348 A CN 202010445348A CN 111652213 A CN111652213 A CN 111652213A
Authority
CN
China
Prior art keywords
water gauge
image
waterline
ship
network
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
CN202010445348.7A
Other languages
English (en)
Inventor
李俊峰
张钢强
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang University of Technology ZJUT
Original Assignee
Zhejiang University of Technology ZJUT
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang University of Technology ZJUT filed Critical Zhejiang University of Technology ZJUT
Priority to CN202010445348.7A priority Critical patent/CN111652213A/zh
Publication of CN111652213A publication Critical patent/CN111652213A/zh
Withdrawn legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/24—Aligning, centring, orientation detection or correction of the image
    • G06V10/245—Aligning, centring, orientation detection or correction of the image by locating a pattern; Special marks for positioning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G06V10/267—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion by performing operations on regions, e.g. growing, shrinking or watersheds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/62—Text, e.g. of license plates, overlay texts or captions on TV images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Abstract

本发明公开了一种基于深度学习的船舶水尺读数识别方法，包括以下步骤：输入采集的至少2000万像素的船舶水尺图像；吃水线分割；吃水线处的水尺标志候选区域图像的获取；非吃水线处水尺标志识别；吃水线处水尺标志识别；水尺标志实际读数计算：根据相邻水尺标志连通区域重心的连线计算出单位像素表示的实际读数，然后基于离吃水线处最近字符区域上边缘交点与吃水线交点计算出船舶水尺的实际读数。本发明用于对在船舶水尺规格不同、复杂的自然场景导致的采集图像质量较差以及船舶表面弯曲造成的水尺标志处图像失焦等获取的船舶水尺图像进行识别和水尺读数的获取。

Description

一种基于深度学习的船舶水尺读数识别方法
技术领域
本发明属于深度学习的图像识别领域，具体涉及一种基于深度学习的船舶水尺读数识别方法。
背景技术
水尺计重又称固体公估，是船舶载重量的统计的一种方式，这种计重方式具有一定的科学性和准确性，同时，又因其便利性和快捷性，所以在国际上被广泛使用。水尺读数的准确性直接影响到船舶载重量的准确性，而科学的水尺观测方法可以保证水尺读数的准确性。
目前，测量船舶水尺读数的方法主要是人工目测。近些年来，数字图像处理技术蓬勃发展，在船舶水尺读数识别方向，已有这方面的研究。彭将辉等提出的一种采用数学、形态学与Canny算子相结合的方法识别水线，该方法对图像质量要求较高，边缘提取时阈值的选取对于识别的准确率有很大的影响；江帆等提出采用投影法对水尺标志进行分割，然后通过BP神经网络对水尺字符进行识别，这种方法在船舶表面平整且分割的字符完整的情况下可以保证识别准确率；施朝健等通过Canny算子、几何矫正和霍夫直线检测提取水面线，该方法同样受环境影响很大，不能保证提取水面线的准确；林王峰利用K-Means聚类的方法分割出船体区域和水面区域，从而提取出吃水线，然后，通过阈值得到水尺标志的二值图像，最后基于BP网络对水尺标志进行识别，该方法无法适应多变的自然环境，需要人工手动的调整阈值；吴禹辰采用深度学习目标检测模型Faster-RCNN检测吃水线位置，然后通过三次样条插值法拟合出吃水线，再根据同样的模型识别出水尺标志，三次样条插值拟合吃水线的方法在复杂环境下拟合过程容易存在较大的偏差，检测效果不理想；郭秀艳基于色彩空间变化对船舶进行吃水线检测，然后自定义阈值提取水尺标志，再把水尺标志候选区域进行矫正识别，这种方法在检测吃水线时易受船体颜色和水迹线影响。
水尺数字由数字、小数点和单位组成。水尺标志吃水值以1m倍数进行标注，在数字的后面加注单位M或m。水尺标志的船身周围一般没有其它标志，水尺标志与船身的颜色有显著的差异，水尺标志一般为白色，船身一般为红色、蓝色或者黑色。水尺标志分为带水尺刻度线和不带水尺刻度线两种。
在船舶水尺读数识别过程中的难点可以分为外部因素和内部因素。外部因素包括天气因素、取景设备以及取景角度导致的光照不均(图像过暗)、高光、水尺倾斜和取景过程中晃动模糊和失焦模糊导致的水尺标志粘连；内部因素包括船体表面划痕、水尺标志损坏、水尺标志形变以及水迹线。这些因素的影响使传统的数字图像处理算法识别率不高，因此需要一种算法能够提高水尺读数识别的准确率，且排除掉环境变换对读数识别的影响。
发明内容
本发明所要解决的问题是提供一种基于深度学习的船舶水尺读数识别方法，用于在船舶水尺规格不同、复杂的自然场景导致的采集图像质量较差以及船舶表面弯曲造成的水尺标志处图像失焦等获取的船舶水尺图像识别和水尺读数获取。
为解决上述问题，本发明提供一种基于深度学习的船舶水尺读数识别方法，包括以下步骤：
步骤1，输入采集的至少2000万像素的船舶水尺图像；
步骤2，吃水线分割：利用训练好的改进后的UNet网络模型，对船舶水尺图像进行吃水线分割，从图像中分离船舶区域和水面区域，从而获得已分割的船舶水尺图像；
步骤3，吃水线处的水尺标志候选区域图像的获取：从已分割的船舶水尺图像中分离出只包含船舶部分的吃水线图像，然后分别在灰度图和CIELab色彩空间的L通道图像上进行最大稳定极值区域MSER的提取，并合并获得水尺标志候选区域图像；
步骤4，非吃水线处水尺标志识别：根据水尺标志候选区域的blob特征过滤掉一部分伪字符区域，采用连通区域宽高比和连通区域外接矩形占比特征筛选水尺标志候选区域，然后使用训练好的卷积神经网络对字符候选区进行分类和识别，得到已识别的水尺标志图像；
步骤5，吃水线水尺标志识别：吃水线处半残字符识别和基于像素距离的读数计算，根据连通区域宽高比和连通外接矩形占比对吃水线处的水尺标志连通区域进行筛选，筛选处半缺的水尺标志，通过最下端连通区域重心和水尺标志倾斜角度确定离吃水线处最近字符区域上边缘交点与吃水线交点；
步骤6，水尺标志实际读数计算：根据相邻水尺标志连通区域重心的连线计算出单位像素表示的实际读数，然后基于离吃水线处最近字符区域上边缘交点与吃水线交点计算出船舶水尺的实际读数。
作为对本发明一种基于深度学习的船舶水尺读数识别方法的改进，所述步骤2包括：
步骤2-1改进Unet网络
基于MnasNet网络结构，采用同时优化精度Accuracy以及计算量FLOPS的方法，生成EfficientNet-B0，然后在EfficientNet-B0基础上采用混合维度放大法，变动网络深度、网络宽度和图像分辨率得到EfficientNet-B1～EfficientNet-B7网络系列；选用EfficientNet-B1网络模型为改进后的Unet网络的encode部分；
步骤2-2、分割船舶水尺图像：
对改进后的Unet网络进行训练，确定改进后的Unet网络参数，然后将步骤1获取的船舶水尺图像输入到训练好的改进后的Unet网络，先经过encoder进行图片特征提取，再把获得的特征图送入到decoder进行解码，经过d_conv和上采样模块最终获得已分割的船舶水尺图像。
进一步的，作为对本发明一种基于深度学习的船舶水尺读数识别方法的改进，所述步骤3包括：
步骤3-1、分离船舶水尺图像：
从步骤2获得的已分割的船舶水尺图像中分离出只包含船舶部分的吃水线图像，计算公式为：
part_img＝bin_img and src_img
其中part_img是只包含船舶部分的吃水线图像，bin_img是步骤2中得到已分割的船舶水尺图像，and是图像之间的交运算，src_img是对应于bin_img未处理的原图像；
步骤3-2、对步骤3-1part_img在灰度图和CIELab色彩空间的L通道图像上进行最大稳定极值区域的提取，然后进行进行合并操作，获得水尺标志候选区域图像，计算公式为：
candidata_regions＝gray_MSER(gray)or L_MSER(L)
其中，gray_MSER是对灰度图MSER操作，L_MSER是对L通道图像进行MSER操作，or是二值图像并操作，candidata_regions是提取的水尺标志候选区域。
再进一步的，作为对本发明一种基于深度学习的船舶水尺读数识别方法的改进，所述步骤4包括：
步骤4-1、非吃水线处候选区域和吃水线处候选区域分离：
先提取出步骤2-2获得的已分割的船舶水尺图像的二值图像的轮廓，将轮廓进行结构元素大小为3*3的膨胀操作，然后在步骤3-2获得的水尺标志候选区域图像中，去除掉与轮廓膨胀之后有交集的连通区域，获得非吃水线处候选区域，公式如下：
Figure BDA0002505655190000031
其中，non_wl_regions是非吃水线处候选连通区域图像，candidata_regions是步骤3-2获得的水尺标志候选区域图像，contour_region步骤2-2获得的已分割的船舶水尺图像的二值图像轮廓的膨胀操作后的图像，and是图像连通区域的交运算；
步骤4-2、候选连通区域初步筛选：
对步骤4-1获得的non_wl_regions选择字符区域的面积、宽高比和外接矩形面积占比三个特征进行Blob分析，外接矩形面积占比计算如式：
Figure BDA0002505655190000041
其中，ratio_extent表示外接矩形面积占比，hi，wi分别为连通域外接矩形的高度和宽度，Si为连通域面积；
步骤4-3、合并邻近连通区域：
将步骤4-2Blob分析获得的结果中相邻的连通区域合并成单个连通区域：
Figure BDA0002505655190000042
其中，runion合并后的单个连通区域，
Figure BDA0002505655190000043
和
Figure BDA0002505655190000044
是两个相近的连通区域，
Figure BDA0002505655190000045
D、h2、w1和h1分别为连通域2和1重心欧式距离和外接矩形高度、宽度；
步骤4-4、卷积神经网络分类标识：
先基于AlexNet网络建立卷积神经网络，并进行训练，然后将步骤4-3输出的合并后的单个连通区域的图像调整成大小为32*32的图片，送入到训练好的卷积神经网络中，最终获得已识别的水尺标志图像。
再进一步，作为对本发明一种基于深度学习的船舶水尺读数识别方法的改进，所述步骤5包括：
步骤5-1、对于步骤4-4获取的已识别的水尺标志图像来判断最下端字符“m”是否与其左侧数字的连通区域粘连，若粘连，则根据最下端字符“m”区域的上端字符区域外接矩形的宽高，分离粘连的“m”区域；若字符“m”区域没有粘连，则选取“m”连通区域的最右侧连通区域；
步骤5-2、根据最下端水尺标志候选区域的外接矩形宽高，确定吃水线处水尺标志候选区域roi，roi区域为矩形，高为roi_H＝2*hlast，宽为roi_W＝4*wlast，其中，hlast和wlast是最下端水尺标志区域外接矩形的高宽；
步骤5-3、根据步骤5-2中的吃水线处水尺标志候选区域roi，筛选出步骤3-2中获取的水尺标志候选区域图像中的同个位置的连通区域，再对这些筛选出的连通区域进行如下处理：
regions＝{region|hlast*0.5＜h＜hlast*1.2,wlast*0.6＜w＜wlast*1.2}
其中，hlast和wlast是最下端已识别连通区域的外接矩形高宽，h和w是roi位置区域内region连通区域的高宽，regions是符合宽高阈值吃水线处水尺标志连通区域的集合；
步骤5-4、基于步骤5-1最下端的两个连通区域重心的连线，计算(近似的计算)吃水线处字符的倾斜角度，计算公式如下：
Figure BDA0002505655190000051
其中，a是字符倾斜角度，(x1，y1)是水尺标志连通区域1的重心，(x2，y2)是水尺标志连通区域2的重心；
步骤5-5、计算离吃水线最近的字符区域上端边缘的交点与吃水线的交点：
根据字符倾斜角度a绘制出一条经过离吃水线最近的连通区域重心的直线，求出这条直线与吃水线的交点和连通区域上端边缘的交点，第一种是最下端“m”字符连通区域以下的连通区域个数小于4个，第二种是最下端“m”字符连通区域以下的连通区域个数为4；具体流程如下
Figure BDA0002505655190000052
其中，regions是上文符合宽高阈值吃水线处水尺标志连通区域的集合，m_number是最下端“m”字符连通区域以下的连通区域个数，region_number是regions集合的个数。
再进一步的，作为对本发明一种基于深度学习的船舶水尺读数识别方法的改进，所述步骤6包括：
步骤6-1、根据步骤5-4中两连通区域重心的距离计算单位像素表示的实际读数；单位像素的实际读数计算公式如下：
Figure BDA0002505655190000061
其中，(x1,y1)和(x2,y2)是连通区域C1和C2的重心坐标；
步骤6-2、根据步骤5-5中获得的离吃水线最近的字符区域上端边缘的交点与吃水线的交点，计算最终的水尺读数，水尺读数计算公式如下：
Figure BDA0002505655190000062
其中，Num是水尺标志的最终读数，m是最下端“m”字符处识别的水尺读数，m_number是最下端“m”字符处以下的水尺标志连通区域的个数，regions为吃水线处水尺标志连通域的集合，dis_P1_P2＝pix*P1_P2,dis_C1_P2＝pix*C1_P2,P1_P2和C1_P2分别是P1到P2点和C1到P2点的欧式距离。
再进一步的，作为对本发明一种基于深度学习的船舶水尺读数识别方法的改进，其特征在于：包括对所述改进的Unet网络的训练和所述卷积神经网络的训练：
所述改进的Unet网络的训练，包括：收集船舶水尺图像1500张，其中1200张图片作为训练集，另外300张图片作为验证集；1200张训练集图片先进行标注，在输入到网络模型时，进行图像增强，包括随机亮度变化、随机对比度变化、图像翻转及切变仿射变换；然后将原图像与标注图像作为训练数据输入到改进的UNet网络中进行网络训练；训练前使用ImageNet预训练模型对Unet网络进行初始化；
对改进的Unet网络训练过程如下：
1、对改进的Unet网络的输出进行损失计算，建立优化使用的损失函数：
Loss＝0.5*BCEWithLogitsLoss+0.5*DiceLoss
其中，
Figure BDA0002505655190000063
Figure BDA0002505655190000071
s_xi是步骤2-1中改进的UNet网络单个输出值，n是网络输出值的个数，yi＝0或1，是s_xi对应位置的标签值；
2、改进的UNet网络优化方法：
1)、Adam，参数lr＝0.01
2)、ReduceLROnPlateau，参数：mode＝"min",patience＝3,verbose＝True,min_lr＝1e-4，当验证集损失值连续patience次还没有改进时,降低学习率；
3、建立改进的UNet网络训练评价函数对训练的结果评价，公式如下：
Figure BDA0002505655190000072
其中，k是类别总数，pij是真实像素类别为i的像素被预测为类别j的总数量，pii真实像素类别为i的像素被预测为类别i的总数量；
所述卷积神经网络训练，将通过改进的Unet网络训练获得的1500张已分割的船舶水尺图像进行裁剪，作为卷积神经网络的训练集，然后把裁剪后水尺标志切片的80％作为训练数据集，剩下的20％作为测试数据集；
所述卷积神经网络的测试包括以下步骤：
1、建立优化使用的损失函数为：选用交叉熵损失函数来衡量标签和输出值之间的差异，交叉熵损失函数如式：
Figure BDA0002505655190000073
其中，M为类别的数量，yc为实际标签的类别，pc为神经网络输出的预测值。
2、优化方法：
1)、SGD随机梯度下降法，参数lr＝0.01，momentum＝0.9
2)、StepLR,参数step_size＝10,gamma＝0.1
3、建立评价函数，并对结果进行评价，公式如下：
Figure BDA0002505655190000074
其中，将TP正类预测为正类数，将TN负类预测为负类数，将FP负类预测为正类数,将FN正类预测为负类数。
本发明的技术优势为：
1本发明识别算法程序将深度学习和传统图像处理算法结合使用，通过深度学习网络模型定位和分离，然后基于传统数字图像处理算法计算出水尺实际读数，提高了算法识别的准确性，增强了算法对环境的适应能力。实验结果表明：本发明设计的算法能够实现较为精准的船舶水尺读数识别；
2本发明算法能够通过改进后的Unet网络对船舶图像的吃水线检测，可以很好解决图像中光照不均、水面高光及水迹线清晰的影响，成功检测出多种类型的船舶图像的吃水线位置，提高了算法的实用性；
3本发明算法通过非吃水线处的邻近连通区域的合并、卷积神经网络的分类识别以及吃水线处的连通区域识别算法计算出准确的水尺读数，能够适应因外部因素(如天气因素、取景设备以及拍摄问题)导致的光照不均(图像过暗)、高光、水尺标志倾斜形变和粘连情况，提高了算法的适用性。
附图说明
下面结合附图对本发明的具体实施方式作进一步详细说明。
图1为一种基于深度学习的船舶水尺读数识别方法的算法流程图；
图2为图1中非吃水线水尺标志识别流程图；
图3为图1中的UNet网络结构图；
图4为图1中吃水线水尺标志识别流程图；
图5为图1中的卷积神经网络结构图；
图6为改进后的Unet网络训练后的损失值的变化图；
图7为改进后的Unet网络训练后的MioU的变化图；
图8为卷积神经网络训练后的损失值的变化图；
图9为卷积神经网络训练后的准确度ACC值的变化图。
具体实施方式
下面结合具体实施例对本发明进行进一步描述，但本发明的保护范围并不仅限于此。
实施例1、一种基于深度学习的船舶水尺读数识别方法，如图1-图5所述，包括以下步骤：
S01、输入图片
周围场景对水尺识别影响很大，采用至少2000万像素对船舶水尺取景，尽量排除外界场景的干扰，仅拍摄吃水线处的水尺区域，获得的船舶水尺图像作为本算法的输入。
S02、吃水线分割
船舶吃水线是船体表面和水面的交界处，利用深度学习的语义分割模型将S01获取的船舶水尺图像中的船体和水体分割开来获得吃水线位置的图像，即，通过改进UNet网络，并对改进后的Unet网络进行训练，然后使用训练后的改进的Unet网络对船舶水尺图像进行船体和水面语义分割，从图像中分离船舶区域和水面区域，从而获得已分割的船舶水尺图像，所使用的网络如图3所示；
S0201改进Unet网络
UNet网络分为encoder部分和decoder部分，encoder部分是对图像进行图片特征提取，decoder是特征解码部分；首先借鉴MnasNet网络结构(即encoder输出部分是一个全连接层FC)改进Unet网络的encode部分，采用同时优化精度Accuracy以及计算量FLOPS的方法，生成了EfficientNet-B0，然后在EfficientNet-B0基础上采用混合维度放大法，即变动网络深度、网络宽度和图像分辨率得到EfficientNet-B1～EfficientNet-B7网络系列，如图3，将MnasNet网络结构称为N，它的第i个卷积层可以看作是下面的函数映射：
Yi＝F(Xi) (公式1)
其中，Yi为输出张量，Xi为输入张量，设其维度为<Hi，Wi，Ci>(这里为了方便叙述省略了Batch维度)，那么整个网络N，由k个卷积层组成，可以表示为：
N＝Fk⊙...⊙F2⊙F1(X1)＝⊙j＝1...kFj(X1) (公式2)。
其中，N为MnasNet网络结构，Fk为第k个卷积层的映射，X1为最开始的输入张量；然后，以stage为单位将N表示为：
Figure BDA0002505655190000091
其中，stage是多个结构相同的卷积层，下标i(从1到s)表示stage的序号，
Figure BDA0002505655190000092
表示第i个stage，它由卷积层Fi重复Li次构成(即图3中MBConv后的数字)，<Hi，Wi，Ci>表示该stage输入tensor的维度；
为了减小搜索空间，固定N整个网络的基本结构，变动MBConv Block网络深度(Li)，网络宽度(Ci)和输入分辨率大小(Hi，Wi)，搜索得到EfficientNet-B0，抽象的数学模型公式如下：
Figure BDA0002505655190000101
Memory(N)≤target_memory
FL OPS(N)≤target_flops
其中，w、d、r分别是网络宽度，网络高度，分辨率的倍率，Accuracy()是求整个网络识别的准确率，N()是w、d、r三个维度不同时的整个网络，Memory(N)是整个网络运行时占用gpu的大小，FLOP(N)是整个网络运行时卷积操作的计算量，target_memory和target_flops分别是限定的GPU大小和卷积操作的计算量；
然后，使用一种混合维度放大法减少搜索空间，该方法使用一个混合系数φ来决定三个维度的放大倍率，公式如下：
depth：d＝αΦ (公式5)
width：w＝βΦ
resolution：r＝γΦ
s.t.α·β2·γ2≈2
α≥1，β≥1，γ≥1
其中，α，β，γ均为常数，可通过网格搜索获得；网络放大过程如下：
a.先固定φ＝1，在初代网络EfficientNet-B0做网格搜索得到最佳系数α＝1.2，β＝1.1，γ＝1.15；
固定α＝1.2，β＝1.1，γ＝1.15，使用不同混合系数φ放大初代网络EfficientNet-B0就可以得到EfficientNet-B1～B7系列网络，此处选用EfficientNet-B1网络模型作为改进后的Unet网络的encoder部分；
S0202、分割船舶水尺图像
对S0201改进后的Unet网络的进行训练，从而得到训练优化后的Unet网络参数；
然后将S01获取的船舶水尺图像输入到训练好的改进后的Unet网络，先经过encoder进行图片特征提取，再把获得的特征图送入到decoder进行解码，经过d_conv和上采样模块最终获得已分割的船舶水尺图像；decoder部分的d_conv操作过程包括一个掩膜大小3*3的卷积、归一化batch normalization及激活函数relu，上采样模块包括一个掩膜大小3*3的卷积、归一化batch normalization、激活函数relu及UpSample上采样操作；decoder的输出是已分割的船舶水尺图像，即包含船体部分的二值图像，二值图像的最下端边缘就是检测的吃水线；
S03、吃水线处的水尺标志候选区域图像的获取
从S0202获得的已分割的船舶水尺图像中分离出只包含船舶部分的吃水线图像，然后分别在灰度图和CIELab色彩空间的L通道图像上进行最大稳定极值区域MSER的提取，然后将提取的结果合并获得水尺标志候选区域图像；
S0301、分离船舶水尺图像：
从S0202获得的已分割的船舶水尺图像中分离出只包含船舶部分的吃水线图像，计算公式为：
part_img＝bin_img and src_img (公式6)
其中part_img是只包含船舶部分的吃水线图像，bin_img是S0202中得到已分割的船舶水尺图像，and是图像之间的交运算，src_img是对应于bin_img未处理的原图像；
S0302，对上步获得的part_img在灰度图和CIELab色彩空间的L通道图像上进行最大稳定极值区域的提取，然后进行进行合并操作，获得水尺标志候选区域图像，计算公式为：
candidata_regions＝gray_MSER(gray)or L_MSER(L) (公式7)
其中，gray_MSER是对灰度图MSER操作，L_MSER是对L通道图像进行MSER操作，or是二值图像并操作，candidata_regions是提取的水尺标志候选区域。
S04、非吃水线处水尺标志识别
根据水尺标志候选区域图像中的blob特征过滤掉一部分伪字符区域，采用连通区域宽高比和连通区域外接矩形占比特征筛选水尺标志候选区域，然后使用训练好的卷积神经网络对字符候选区进行分类和识别，得到已识别的水尺标志图像；非吃水线水尺标志识别的流程如图2所述；
S0401、非吃水线处候选区域和吃水线处候选区域分离：
先提取出S0202获得的已分割的船舶水尺图像的二值图像的轮廓，将轮廓进行结构元素大小为3*3的膨胀操作，然后在S0302获得的水尺标志候选区域图像中，去除掉与轮廓膨胀之后有交集的连通区域，获得非吃水线处候选区域，公式如下：
Figure BDA0002505655190000111
其中，non_wl_regions是非吃水线处候选连通区域图像，candidata_regions是S0302获得的水尺标志候选区域图像，contour_regionS0202获得的已分割的船舶水尺图像的二值图像轮廓的膨胀操作后的图像，and是图像连通区域的交运算；
S0402、候选连通区域初步筛选
对S0401获得的非吃水线处候选连通区域进行Blob分析，为基于阈值筛选连通区域去除一部分伪字符，以增加后续候选区域识别的准确率；Blob的特征选择包括字符连通区域的面积、宽高比和外接矩形面积占比，外接矩形面积占比计算如式：
Figure BDA0002505655190000121
其中，ratio_extent表示外接矩形面积占比，hi，wi分别为连通域外接矩形的高度和宽度，Si为连通域面积；经过Blob分析后获得初次筛选的非吃水线处候选连通区域图像；
S0403、合并邻近连通区域
船舶水尺标志图像附近在取景过程中常常会发生失焦模糊，失焦模糊不仅使字符图像不清晰，而且也使字符间发生粘连，给识别过程增加难度，需要将S0402获得的相邻的初次筛选的非吃水线处候选连通区域合并成单个连通区域；
相近连通区域合并公式：
Figure BDA0002505655190000122
其中，runion表示合并后的单个连通区域，
Figure BDA0002505655190000123
和
Figure BDA0002505655190000124
是两个相近的连通区域，
Figure BDA0002505655190000125
D、h2、w1和h1分别为连通区域2和1重心欧式距离和外接矩形高度、宽度；
S0404、卷积神经网络分类标识
卷积神经网路是将从S0403输出的合并后的单个连通区域所在的ROI图像进行分类识别，得到已识别的水尺标志图像，其流程如图4所述；
基于AlexNet网络建立卷积神经网络，并进行训练；
卷积神经网络是一个多层前馈网络，每一层由多个卷积特征图组成，每个特征图又由多个神经元组成；将将S0403输出的合并后的单个连通区域的图像调整成大小为32*32的图片，送入到训练好的卷积神经网络的卷积层1，再将32个3*3的卷积核与输入图像进行卷积，步长为1，得到32个32*32的特征图；然后，将特征图进行Batch Normalization归一化，使卷积核可训练权重参数w和偏置b的分布保证在同一尺度上，再通过激活函数relu和最大池化层MaxPool完成一系列下采样的操作；以此往下，直到全连接层；将256个4*4大小的特征图平铺成一个1*1024大小的向量，然后将1*1024的向量与全连接层1的1024个神经元点乘，再通过激活函数relu增加网络非线性，以此往下，全连接层3有15个神经元，即15个输出值表示输出15个类别，最终获得已识别的水尺标志图像；
S05、吃水线水尺标志识别
对于S0404所获取的已识别的水尺标志图像，根据连通区域宽高比和连通外接矩形占比对吃水线处的水尺标志连通区域进行筛选，筛选处半缺的水尺标志，然后通过最下端连通区域重心和水尺标志倾斜角度确定离吃水线处最近字符区域上边缘交点与吃水线交点，流程如图4所述：
S0501、对于S0404所获取的已识别的水尺标志图像，判断最下端字符“m”是否与其左侧数字的连通区域粘连，若粘连，则根据最下端字符“m”区域的上端字符区域外接矩形的宽高，分离粘连的“m”区域；若字符“m”区域没有粘连，则选取“m”连通区域的最右侧连通区域；
S0502、根据最下端水尺标志候选区域的外接矩形宽高，确定吃水线处水尺标志候选区域roi，roi区域为矩形，高为roi_H＝2*hlast，宽为roi_W＝4*wlast，其中，hlast和wlast是最下端水尺标志区域外接矩形的高宽；
S0503、根据S0502中确定的吃水线处水尺标志候选区域roi筛选出对应于S0302中获取的水尺标志候选区域图像中的同个位置的连通区域，再对这些筛选出的连通区域进行如下处理：
regions＝{region|hlast*0.5＜h＜hlast*1.2,wlast*0.6＜w＜wlast*1.2} (公式11)
其中，hlast和wlast是最下端已识别连通区域的外接矩形高宽，h和w是roi位置区域内region连通区域的高宽，regions是符合宽高阈值吃水线处水尺标志连通区域的集合；
S0504、基于S0501获得的最下端的两个连通区域重心的连线，近似地计算吃水线处字符的倾斜角度，计算公式如下：
Figure BDA0002505655190000131
其中，a是字符倾斜角度，(x1，y1)是水尺标志连通区域1的重心，(x2，y2)是水尺标志连通区域2的重心；
S0505、计算离吃水线最近的字符区域上端边缘的交点与吃水线的交点：
根据字符倾斜角度a绘制出一条经过离吃水线最近的连通区域重心的直线，求出这条直线与吃水线的交点和连通区域上端边缘的交点；在计算交点的过程中，分成两种情况，第一种是最下端“m”字符连通区域以下的连通区域个数小于4个，第二种是最下端“m”字符连通区域以下的连通区域个数为4；具体流程如下：
Figure BDA0002505655190000141
其中，regions是上文符合宽高阈值吃水线处水尺标志连通区域的集合，m_number是最下端“m”字符连通区域以下的连通区域个数，region_number是regions集合的个数；
S06水尺标志实际读数计算
S0601、根据S0504中两连通区域重心的距离计算单位像素表示的实际读数；单位像素的实际读数计算公式如下：
Figure BDA0002505655190000142
其中，(x1，y1)和(x2，y2)是连通区域C1和C2的重心坐标；
S0602、根据S0505中获得的离吃水线最近的字符区域上端边缘的交点与吃水线的交点，计算最终的水尺读数，水尺读数计算公式如下：
Figure BDA0002505655190000151
其中，Num是水尺标志的实际读数，m是最下端“m”字符处识别的水尺读数，m_number是最下端“m”字符处以下的水尺标志连通区域的个数，regions为吃水线处水尺标志连通域的集合，dis_P1_P2＝pix*P1_P2,dis_C1_P2＝pix*C1_P2,P1_P2和C1_P2分别是P1到P2点和C1到P2点的欧式距离。
S07、网络的训练和测试
S0701、改进的UNet网络的训练：
收集船舶水尺图像1500张，其中1200张图片作为训练集，用于改进的UNet网络的训练，另外300张图片作为验证集，作用是监测1200张图像的训练过程，得到更为精确的Unet网络参数；1200张训练集图片需先进行标注，且输入到网络模型时，进行图像增强，以增加数据集的数量，提高模型的泛化能力，图像增强包括随机亮度变化、随机对比度变化、图像翻转及切变仿射变换；然后将原图像(包括1200张图像增强的和300张没有增强的)与标注图像作为训练数据输入到改进的UNet网络中进行网络训练；
训练前使用ImageNet预训练模型对Unet网络进行初始化，训练参数如下表1：
表1改进的Unet网络训练的参数
Batch Size 8 scheduler ReduceLROnPlateau
optimizer adam patience 3
lr 0.001 min_lr 0.0001
Loss Function BCEWithLogitsLoss+DiceLoss 评价指标 MIou
对改进的Unet网络训练过程如下：
1、对改进的Unet网络的输出进行损失计算，建立优化使用的损失函数：
Loss＝0.5*BCEWithLogitsLoss+0.5*DiceLoss (公式15)
其中，
Figure BDA0002505655190000152
Figure BDA0002505655190000161
s_xi是S0201中改进的UNet网络单个输出值，n是网络输出值的个数，yi是s_xi对应位置的标签值(0或者1)；
2、改进的UNet网络优化方法：
1)、Adam，参数lr＝0.01
2)、.ReduceLROnPlateau，参数：mode＝"min",patience＝3,verbose＝True,min_lr＝1e-4，当验证集损失值连续patience次还没有改进时,降低学习率；
3、建立训练评价函数如下：
Figure BDA0002505655190000162
其中，k是类别总数，pij是真实像素类别为i的像素被预测为类别j的总数量，pii真实像素类别为i的像素被预测为类别i的总数量；
1200张训练集图片和300张验证集分别通过公式15获得的损失值的变化如图6，1200张训练集图片和300张验证集分别通过公式16获得的MioU的变化如图7，从图6和图7的结果可以获知经过训练后的改进的UNet网络完全具有将船舶水尺图像进行吃水线分割的能力。
S0702、卷积神经网络的训练
将上述S0701中通过改进的Unet网络训练获取的1500张已分割的船舶水尺图像进行裁剪，作为卷积神经网络的训练集，然后把裁剪后水尺标志切片的80％作为训练数据集，剩下的20％作为验证集，卷积神经网络训练的参数设置如下表2：
表2卷积神经网络训练的参数
Figure BDA0002505655190000163
卷积神经网络的训练过程如下：
1、建立优化使用的损失函数为：
Figure BDA0002505655190000171
其中，L为损失函数，M为类别的数量，yc为实际标签的类别，pc为神经网络输出的预测值。
2、优化方法：
1)、SGD随机梯度下降法，参数lr＝0.01，momentum＝0.9
2)、StepLR,参数step_size＝10,gamma＝0.1
3、建立评价函数如下：
Figure BDA0002505655190000172
其中，将TP正类预测为正类数，将TN负类预测为负类数，将FP负类预测为正类数,将FN正类预测为负类数；
1200张训练集图片和300张验证集通过分别通过公式17获得的损失值的变化如图8，300张验证集通过通过公式18获得的准确度ACC值的变化如图9，因此，经过训练后的卷积神经网络的准确度完全达到实际应用的能力。
实验1、使用实施例1中的步骤S02中训练后的改进UNet网络进行吃水线分割：
实验算法的测试环境为pycharm，编程语言使用python，图像处理库使用skimage和opencv，深度学习训练框架使用pytorch，语义分割库使用segmentation_models；收集另外的300张船舶水尺图像(上述步骤S07中训练和测试未曾使用过的图像)，用S07训练好的改进后的Unet网络进行吃水线图像分割；
本实验的评价方法：对获得的300图像结果进行人工主观评价，并对边缘连续性、船体和水面分割清晰的图片人工计数统计。
对比例1、与实验1同样的，对比使用边缘算子Sobel和Canny检测算法、k-means聚类的检测算法获取船舶吃水线图像，实验算法的测试环境为pycharm，编程语言使用python，图像处理库使用skimage和opencv；将实验1中所使用的300张图像分别使用边缘算子Sobel和Canny检测算法、k-means聚类的检测算法进行吃水线图像检测，分别获得300张经过各个算法的优化图像；
本实验的评价方法：对获得的600图像结果进行人工主观评价，并对边缘连续性、船体和水面分割清晰的图片人工计数统计；
将上述实验1和对比例1所有测试所得的计数统计结果最终汇总如表3：
表3三种吃水线检测方法结果对比
Figure BDA0002505655190000181
综上表可以看出，4种算法检测正常质量较好图片的边缘效果都较好，但是，使用Sobel和Canny算子时，需要针对不同环境调整阈值，固定的阈值无法满足复杂环境；K-means算法比边缘检测算法效果较好，同时也不用调整阈值，但是，同样易受到船面水迹线、图像亮度不均和水面反光的影响，而改进后的Unet网络可以很好解决图像中光照不均、水面高光及水迹线清晰的影响，吃水线检测成功率为98％，说明本发明具有明显的改善效果。
实验2、水尺标志实际读数识别
收集300张船舶水尺图像(上述S07中训练和测试未曾使用过的图像)，按影响水尺标志识别准确率的因素进行分成7组，分别为：完好的图像组、水尺标志倾斜图像组、模糊或者字符粘连图像组、高光图像组、光照不均图像组、船体划痕图像组和水尺标志损坏图像组。实验算法的测试环境为pycharm，编程语言使用python，图像处理库使用skimage和opencv，深度学习训练框架使用pytorch，语义分割库使用segmentation_models；将上述300张船舶水尺图像按分组分别用实施例1中的船舶水尺读数识别方法，送入实验环境中进行水尺标志图像识别获得300个水尺读数；
本实验的评价方法：对实验2的300张船舶水尺图像进行人工识别，然后以操作人员人眼读数为基准读数，对比算法识别的水尺读数与基准读数，如果误差在±0.1米内皆视为算法读数准确并记录读数准确的次数；
统计结果如下表4：
表4三百张水尺标志图像识别结果
Figure BDA0002505655190000182
Figure BDA0002505655190000191
本发明对质量完好的图像均可识别，对因采集图像质量因素影响的图像识别效果较好,识别的准确率为94％，而总体识别的准确率为90％，达到本发明所需效果。
最后，还需要注意的是，以上列举的仅是本发明的若干个具体实施例。显然，本发明不限于以上实施例，还可以有许多变形。本领域的普通技术人员能从本发明公开的内容直接导出或联想到的所有变形，均应认为是本发明的保护范围。

Claims (7)

1.一种基于深度学习的船舶水尺读数识别方法，包括以下步骤：
步骤1，输入采集的至少2000万像素的船舶水尺图像；
步骤2，吃水线分割：利用训练好的改进后的UNet网络模型，对船舶水尺图像进行吃水线分割，从图像中分离船舶区域和水面区域，从而获得已分割的船舶水尺图像；
步骤3，吃水线处的水尺标志候选区域图像的获取：从已分割的船舶水尺图像中分离出只包含船舶部分的吃水线图像，然后分别在灰度图和CIELab色彩空间的L通道图像上进行最大稳定极值区域MSER的提取且合并获得水尺标志候选区域图像；
步骤4，非吃水线处水尺标志识别：根据水尺标志候选区域图像中的blob特征过滤掉一部分伪字符区域，采用连通区域宽高比和连通区域外接矩形占比特征筛选水尺标志候选区域，然后使用训练好的卷积神经网络对字符候选区进行分类和识别，得到已识别的水尺标志图像；
步骤5，吃水线处水尺标志识别：吃水线处半残字符识别和基于像素距离的读数计算，根据连通区域宽高比和连通外接矩形占比对吃水线处的水尺标志连通区域进行筛选，筛选处半缺的水尺标志，然后通过最下端连通区域重心和水尺标志倾斜角度确定离吃水线处最近字符区域上边缘交点与吃水线交点；
步骤6，水尺标志实际读数计算：根据相邻水尺标志连通区域重心的连线计算出单位像素表示的实际读数，然后基于离吃水线处最近字符区域上边缘交点与吃水线交点计算出船舶水尺的实际读数。
2.根据权利要求1所述的一种基于深度学习的船舶水尺读数识别方法，其特征在于，步骤2包括：
步骤2-1改进Unet网络：
基于MnasNet网络结构，采用同时优化精度Accuracy以及计算量FLOPS的方法，生成EfficientNet-B0，然后在EfficientNet-B0基础上采用混合维度放大法，变动网络深度、网络宽度和图像分辨率得到EfficientNet-B1～EfficientNet-B7网络系列；选用EfficientNet-B1网络模型为改进后的Unet网络的encode部分；
步骤2-2、分割船舶水尺图像：
对改进后的Unet网络进行训练，确定改进后的Unet网络参数，然后将步骤1获取的船舶水尺图像输入到训练好的改进后的Unet网络，先经过encoder进行图片特征提取，再把获得的特征图送入到decoder进行解码，经过d_conv和上采样模块最终获得已分割的船舶水尺图像。
3.根据权利要求2所述的一种基于深度学习的船舶水尺读数识别方法，其特征在于，步骤3包括：
步骤3-1、分离船舶水尺图像：
从步骤2获得的已分割的船舶水尺图像中分离出只包含船舶部分的吃水线图像，计算公式为：
part_img＝bin_img and src_img
其中part_img是只包含船舶部分的吃水线图像，bin_img是步骤2中得到已分割的船舶水尺图像，and是图像之间的交运算，src_img是对应于bin_img未处理的原图像；
步骤3-2、对步骤3-1获得的part_img在灰度图和CIELab色彩空间的L通道图像上进行最大稳定极值区域的提取，然后进行进行合并操作，获得水尺标志候选区域图像，计算公式为：
candidata_regions＝gray_MSER(gray)or L_MSER(L)
其中，gray_MSER是对灰度图MSER操作，L_MSER是对L通道图像进行MSER操作，or是二值图像并操作，candidata_regions是提取的水尺标志候选区域。
4.根据权利要求3所述的一种基于深度学习的船舶水尺读数识别方法，其特征在于，步骤4包括：
步骤4-1、非吃水线处候选区域和吃水线处候选区域分离：
先提取出步骤2-2获得的已分割的船舶水尺图像的二值图像的轮廓，将轮廓进行结构元素大小为3*3的膨胀操作，然后在步骤3-2获得的水尺标志候选区域图像中，去除掉与轮廓膨胀之后有交集的连通区域，获得非吃水线处候选区域，公式如下：
Figure FDA0002505655180000022
其中，non_wl_regions是非吃水线处候选连通区域图像，candidata_regions是步骤3-2获得的水尺标志候选区域图像，contour_region步骤2-2获得的已分割的船舶水尺图像的二值图像轮廓的膨胀操作后的图像，and是图像连通区域的交运算；
步骤4-2、候选连通区域初步筛选：
对步骤4-1获得的non_wl_regions选择字符区域的面积、宽高比和外接矩形面积占比三个特征进行Blob分析，外接矩形面积占比计算如式：
Figure FDA0002505655180000021
其中，ratio_extent表示外接矩形面积占比，hi，wi分别为连通域外接矩形的高度和宽度，Si为连通域面积；
步骤4-3、合并邻近连通区域：
将步骤4-2Blob分析获得的结果中相邻的连通区域合并成单个连通区域：
Figure FDA0002505655180000031
其中，runion合并后的单个连通区域，
Figure FDA0002505655180000032
和
Figure FDA0002505655180000033
是两个相近的连通区域，
Figure FDA0002505655180000034
D、h2、w1和h1分别为连通域2和1重心欧式距离和外接矩形高度、宽度；
步骤4-4、卷积神经网络分类标识：
先基于AlexNet网络建立卷积神经网络，并进行训练，然后将步骤4-3输出的合并后的单个连通区域的图像调整成大小为32*32的图片，送入到训练好的卷积神经网络中，最终获得已识别的水尺标志图像。
5.根据权利要求4所述的一种基于深度学习的船舶水尺读数识别方法，其特征在于，步骤5包括：
步骤5-1、对于步骤4-4获取的已识别的水尺标志图像来判断最下端字符“m”是否与左侧数字的连通区域粘连，若粘连，则根据最下端字符“m”区域的上端字符区域外接矩形的宽高，分离粘连的“m”区域；若字符“m”区域没有粘连，则选取“m”连通区域的最右侧连通区域；
步骤5-2、根据最下端水尺标志候选区域的外接矩形宽高，确定吃水线处水尺标志候选区域roi，roi区域为矩形，高为roi_H＝2*hlast，宽为roi_W＝4*wlast，其中，hlast和wlast是最下端水尺标志区域外接矩形的高宽；
步骤5-3、根据步骤5-2中的吃水线处水尺标志候选区域roi，筛选出步骤3-2中获取的水尺标志候选区域图像中的同个位置的连通区域，再对这些筛选出的连通区域进行如下处理：
regions＝{region|hlast*0.5＜h＜hlast*1.2,wlast*0.6＜w＜wlast*1.2}
其中，hlast和wlast是最下端已识别连通区域的外接矩形高宽，h和w是roi位置区域内region连通区域的高宽，regions是符合宽高阈值吃水线处水尺标志连通区域的集合；
步骤5-4、基于步骤5-1最下端的两个连通区域重心的连线，计算吃水线处字符的倾斜角度，计算公式如下：
Figure FDA0002505655180000035
其中，a是字符倾斜角度，(x1，y1)是水尺标志连通区域1的重心，(x2，y2)是水尺标志连通区域2的重心；
步骤5-5、计算离吃水线最近的字符区域上端边缘的交点与吃水线的交点：
根据字符倾斜角度a绘制出一条经过离吃水线最近的连通区域重心的直线，求出这条直线与吃水线的交点和连通区域上端边缘的交点，第一种是最下端“m”字符连通区域以下的连通区域个数小于4个，第二种是最下端“m”字符连通区域以下的连通区域个数为4；具体流程如下：
Figure FDA0002505655180000041
其中，regions是上文符合宽高阈值吃水线处水尺标志连通区域的集合，m_number是最下端“m”字符连通区域以下的连通区域个数，region_number是regions集合的个数。
6.根据权利要求5所述的一种基于深度学习的船舶水尺读数识别方法，其特征在于，步骤6包括：
步骤6-1、根据步骤5-4中两连通区域重心的距离计算单位像素表示的实际读数；单位像素的实际读数计算公式如下：
Figure FDA0002505655180000051
其中，(x1,y1)和(x2,y2)是连通区域C1和C2的重心坐标；
步骤6-2、根据步骤5-5中获得的离吃水线最近的字符区域上端边缘的交点与吃水线的交点，计算最终的水尺读数，水尺读数计算公式如下：
Figure FDA0002505655180000052
其中，Num是水尺标志的最终实际读数，m是最下端“m”字符处识别的水尺读数，m_number是最下端“m”字符处以下的水尺标志连通区域的个数，regions为吃水线处水尺标志连通域的集合，dis_P1_P2＝pix*P1_P2,dis_C1_P2＝pix*C1_P2,P1_P2和C1_P2分别是P1到P2点和C1到P2点的欧式距离。
7.根据权利要求6所述的一种基于深度学习的船舶水尺读数识别方法，其特征在于：包括对所述改进的Unet网络的训练和所述卷积神经网络的训练：
所述改进的Unet网络的训练，包括：收集船舶水尺图像1500张，其中1200张图片作为训练集，另外300张图片作为验证集；1200张训练集图片先进行标注，在输入到网络模型时，进行图像增强，包括随机亮度变化、随机对比度变化、图像翻转及切变仿射变换；然后将原图像与标注图像作为训练数据输入到改进的UNet网络中进行网络训练；训练前使用ImageNet预训练模型对Unet网络进行初始化；
对改进的Unet网络训练过程如下：
1、对改进的Unet网络的输出进行损失计算，建立优化使用的损失函数：
Loss＝0.5*BCEWithLogitsLoss+0.5*DiceLoss
其中，
Figure FDA0002505655180000053
Figure FDA0002505655180000054
s_xi是步骤2-1中改进的UNet网络单个输出值，n是网络输出值的个数，yi＝0或1，是s_xi对应位置的标签值；
2、改进的UNet网络优化方法：
1)、Adam，参数lr＝0.01
2)、ReduceLROnPlateau，参数：mode＝"min",patience＝3,verbose＝True,min_lr＝1e-4，当验证集损失值连续patience次还没有改进时,降低学习率；
3、建立改进的UNet网络训练评价函数对训练的结果评价，公式如下：
Figure FDA0002505655180000061
其中，k是类别总数，pij是真实像素类别为i的像素被预测为类别j的总数量，pii真实像素类别为i的像素被预测为类别i的总数量；
所述卷积神经网络训练，将通过改进的Unet网络训练获得的1500张已分割的船舶水尺图像进行裁剪，作为卷积神经网络的训练集，然后把裁剪后水尺标志切片的80％作为训练数据集，剩下的20％作为测试数据集；
所述卷积神经网络的测试包括以下步骤：
1、建立优化使用的损失函数为：选用交叉熵损失函数来衡量标签和输出值之间的差异，交叉熵损失函数如式：
Figure FDA0002505655180000062
其中，M为类别的数量，yc为实际标签的类别，pc为神经网络输出的预测值；
2、优化方法：
1)、SGD随机梯度下降法，参数lr＝0.01，momentum＝0.9
2)、StepLR,参数step_size＝10,gamma＝0.1
3、建立评价函数，并对结果进行评价，公式如下：
Figure FDA0002505655180000063
其中，将TP正类预测为正类数，将TN负类预测为负类数，将FP负类预测为正类数,将FN正类预测为负类数。
CN202010445348.7A 2020-05-24 2020-05-24 一种基于深度学习的船舶水尺读数识别方法 Withdrawn CN111652213A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010445348.7A CN111652213A (zh) 2020-05-24 2020-05-24 一种基于深度学习的船舶水尺读数识别方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010445348.7A CN111652213A (zh) 2020-05-24 2020-05-24 一种基于深度学习的船舶水尺读数识别方法

Publications (1)

Publication Number Publication Date
CN111652213A true CN111652213A (zh) 2020-09-11

Family

ID=72346686

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010445348.7A Withdrawn CN111652213A (zh) 2020-05-24 2020-05-24 一种基于深度学习的船舶水尺读数识别方法

Country Status (1)

Country Link
CN (1) CN111652213A (zh)

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112435237A (zh) * 2020-11-24 2021-03-02 山西三友和智慧信息技术股份有限公司 一种基于数据增强与深度网络的皮肤病变分割方法
CN112598001A (zh) * 2021-03-08 2021-04-02 中航金城无人系统有限公司 一种基于多模型融合的船舶水尺读数自动识别方法
CN112633086A (zh) * 2020-12-09 2021-04-09 西安电子科技大学 基于多任务EfficientDet的近红外行人监测方法、系统、介质、设备
CN113158844A (zh) * 2021-04-02 2021-07-23 上海城市地理信息系统发展有限公司 一种船只监管方法、装置和电子设备
CN113256582A (zh) * 2021-05-21 2021-08-13 兰州兰石检测技术有限公司 一种基于U-net网络马氏体金相中原奥氏体晶界识别方法
CN113298765A (zh) * 2021-05-19 2021-08-24 广东工业大学 基于图像处理及深度学习的玻璃面板表面缺陷检测方法
CN113971779A (zh) * 2021-10-29 2022-01-25 中国水利水电科学研究院 一种基于深度学习的水尺自动读数方法
CN116385984A (zh) * 2023-06-05 2023-07-04 武汉理工大学 船舶吃水深度的自动检测方法和装置
CN117197048A (zh) * 2023-08-15 2023-12-08 力鸿检验集团有限公司 一种船舶水尺读数检测方法、装置及设备

Cited By (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112435237A (zh) * 2020-11-24 2021-03-02 山西三友和智慧信息技术股份有限公司 一种基于数据增强与深度网络的皮肤病变分割方法
CN112633086A (zh) * 2020-12-09 2021-04-09 西安电子科技大学 基于多任务EfficientDet的近红外行人监测方法、系统、介质、设备
CN112633086B (zh) * 2020-12-09 2024-01-26 西安电子科技大学 基于多任务EfficientDet的近红外行人监测方法、系统、介质、设备
CN112598001A (zh) * 2021-03-08 2021-04-02 中航金城无人系统有限公司 一种基于多模型融合的船舶水尺读数自动识别方法
CN112598001B (zh) * 2021-03-08 2021-06-25 中航金城无人系统有限公司 一种基于多模型融合的船舶水尺读数自动识别方法
CN113158844A (zh) * 2021-04-02 2021-07-23 上海城市地理信息系统发展有限公司 一种船只监管方法、装置和电子设备
CN113298765A (zh) * 2021-05-19 2021-08-24 广东工业大学 基于图像处理及深度学习的玻璃面板表面缺陷检测方法
CN113298765B (zh) * 2021-05-19 2023-11-07 广东工业大学 基于图像处理及深度学习的玻璃面板表面缺陷检测方法
CN113256582A (zh) * 2021-05-21 2021-08-13 兰州兰石检测技术有限公司 一种基于U-net网络马氏体金相中原奥氏体晶界识别方法
CN113971779A (zh) * 2021-10-29 2022-01-25 中国水利水电科学研究院 一种基于深度学习的水尺自动读数方法
CN113971779B (zh) * 2021-10-29 2022-07-01 中国水利水电科学研究院 一种基于深度学习的水尺自动读数方法
CN116385984A (zh) * 2023-06-05 2023-07-04 武汉理工大学 船舶吃水深度的自动检测方法和装置
CN116385984B (zh) * 2023-06-05 2023-09-01 武汉理工大学 船舶吃水深度的自动检测方法和装置
CN117197048A (zh) * 2023-08-15 2023-12-08 力鸿检验集团有限公司 一种船舶水尺读数检测方法、装置及设备
CN117197048B (zh) * 2023-08-15 2024-03-08 力鸿检验集团有限公司 一种船舶水尺读数检测方法、装置及设备

Similar Documents

Publication Publication Date Title
CN111652213A (zh) 一种基于深度学习的船舶水尺读数识别方法
CN111626190B (zh) 基于聚类分区进行刻度识别的水位监测方法
CN108596166B (zh) 一种基于卷积神经网络分类的集装箱箱号识别方法
CN113160192B (zh) 复杂背景下基于视觉的压雪车外观缺陷检测方法及装置
CN109583425B (zh) 一种基于深度学习的遥感图像船只集成识别方法
CN111325203B (zh) 一种基于图像校正的美式车牌识别方法及系统
CN110276285B (zh) 一种非受控场景视频中的船舶水尺智能识别方法
CN107169953B (zh) 基于hog特征的桥梁混凝土表面裂缝检测方法
CN114494259B (zh) 一种基于人工智能的布匹缺陷检测方法
CN111401372A (zh) 一种扫描文档图文信息提取与鉴别的方法
CN108564085B (zh) 一种自动读取指针式仪表读数的方法
CN109840483B (zh) 一种滑坡裂缝检测与识别的方法及装置
CN114663346A (zh) 一种基于改进YOLOv5网络的带钢表面缺陷检测方法
CN111626993A (zh) 一种基于嵌入式FEFnet网络的图像自动检测计数方法及系统
CN114820625B (zh) 一种汽车顶块缺陷检测方法
CN111539330B (zh) 一种基于双svm多分类器的变电站数显仪表识别方法
CN116883408B (zh) 基于人工智能的积算仪壳体缺陷检测方法
CN115147418B (zh) 缺陷检测模型的压缩训练方法和装置
CN113870202A (zh) 一种基于深度学习技术的远端芯片缺陷检测系统
CN113160185A (zh) 一种利用生成边界位置指导宫颈细胞分割的方法
CN112734729A (zh) 适用于夜间补光条件的水尺水位线图像检测方法、装置及存储介质
CN113657377B (zh) 一种机打票据图像结构化识别方法
CN113052215A (zh) 基于神经网络可视化的声呐图像自动目标识别方法
CN115830514B (zh) 一种适用于带弯曲河道的全河段表面流速计算方法及系统
CN116934761A (zh) 一种乳胶手套缺陷自适应检测方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WW01 Invention patent application withdrawn after publication
WW01 Invention patent application withdrawn after publication

Application publication date: 20200911