CN114972793B - 一种轻量级神经网络船舶水尺读数识别方法 - Google Patents
一种轻量级神经网络船舶水尺读数识别方法 Download PDFInfo
- Publication number
- CN114972793B CN114972793B CN202210653483.XA CN202210653483A CN114972793B CN 114972793 B CN114972793 B CN 114972793B CN 202210653483 A CN202210653483 A CN 202210653483A CN 114972793 B CN114972793 B CN 114972793B
- Authority
- CN
- China
- Prior art keywords
- water gauge
- scale
- waterline
- channel
- layer
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 title claims abstract description 92
- 238000013528 artificial neural network Methods 0.000 title claims abstract description 34
- 238000000034 method Methods 0.000 title claims abstract description 34
- 238000001514 detection method Methods 0.000 claims abstract description 51
- 230000005284 excitation Effects 0.000 claims abstract description 23
- 238000000605 extraction Methods 0.000 claims abstract description 20
- 230000006870 function Effects 0.000 claims description 47
- 238000010586 diagram Methods 0.000 claims description 20
- 238000005457 optimization Methods 0.000 claims description 19
- 238000012545 processing Methods 0.000 claims description 8
- 238000012549 training Methods 0.000 claims description 7
- 230000006835 compression Effects 0.000 claims description 6
- 238000007906 compression Methods 0.000 claims description 6
- 238000012360 testing method Methods 0.000 claims description 6
- 238000005520 cutting process Methods 0.000 claims description 4
- 238000005070 sampling Methods 0.000 claims description 4
- 101150115304 cls-2 gene Proteins 0.000 claims description 3
- 101150053100 cls1 gene Proteins 0.000 claims description 3
- 238000011176 pooling Methods 0.000 claims description 3
- 230000004913 activation Effects 0.000 claims 2
- 239000000284 extract Substances 0.000 abstract description 6
- 238000013135 deep learning Methods 0.000 description 8
- 238000005259 measurement Methods 0.000 description 7
- 238000012935 Averaging Methods 0.000 description 2
- 238000013459 approach Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 230000011218 segmentation Effects 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 238000005303 weighing Methods 0.000 description 2
- 101100001673 Emericella variicolor andH gene Proteins 0.000 description 1
- 238000013136 deep learning model Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 238000003708 edge detection Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000002349 favourable effect Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000012805 post-processing Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 239000002352 surface water Substances 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/048—Activation functions
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
- Y02A90/00—Technologies having an indirect contribution to adaptation to climate change
- Y02A90/30—Assessment of water resources
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Evolutionary Computation (AREA)
- General Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Artificial Intelligence (AREA)
- Computing Systems (AREA)
- Software Systems (AREA)
- Biophysics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Life Sciences & Earth Sciences (AREA)
- Biomedical Technology (AREA)
- Multimedia (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Molecular Biology (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Medical Informatics (AREA)
- Databases & Information Systems (AREA)
- Image Analysis (AREA)
Abstract
一种轻量级神经网络船舶水尺读数识别方法，属于船舶水尺刻度检测领域及轻量级神经网络领域。1)利用轻量级神经网络结构结合特征通道激励模块作为底层特征提取单元提取拍摄的水尺图像特征；2)将步骤1)的输出特征分别输入水线分类单元和刻度检测单元；水线分类单元将特征输入降采模块，得到单通道特征输出，将得到的特征图按列划分，利用多个分类器结合结构损失学习每一列的水线位置信息；刻度检测单元将特征输入三个卷积分支，实现水尺上刻度的检测；3)水尺深度估计单元结合多任务学习的网络结果，估计水尺吃水深度。模型轻量，简单有效，能自适应提取水尺图片特征，识别准确率高，在带噪图片上有更强鲁棒性。
Description
技术领域
本发明属于船舶水尺刻度检测领域及轻量级神经网络领域，尤其是涉及一种轻量级神经网络船舶水尺读数识别方法。
背景技术
随着船舶运输业的发展，船舶吃水读数是船舶计重计量的关键因素。吃水读数就是参照船舶六面水尺估计吃水深度值的过程，是国际上普遍采用的船舶重量鉴定的计重措施。吃水深度直接作为商品的交接结算、索赔处理、港口使用费和通关计税等的依据，对海运业的大宗货物运输十分重要。在实际中，吃水读数大多仍依赖人工观测。其劳动成本高、受人的主观因素影响大，而且视觉观测的精度也容易受能见度、天气等因素的干扰。并且测量过程需要有安全风险。因此实现水尺读数的自动化是需要的。
近年来，深度学习凭借其良好的表现在许多领域都已取得成功(J.Wang,L.Luo,W.Ye,and S.Zhu,“A defect-detection method of split pins in the catenaryfastening devices of high-speed railway based on deep learning,”IEEETransactions on Instrumentation and Measurement,vol.69,no.12,pp.9517–9525,2020)，尤其是其在图像特征提取方面有着显著的作用(L.Xiao,B.Wu,andY.Hu,“Missingsmall fastener detection using deep learning,”IEEE Transactions onInstrumentation and Measurement,vol.70,pp.1–9,2020)，为很多复杂条件下的视觉问题提供了新的解决思路。
基于深度学习的方法可以在手机和无人机上应用(W.Zhan,S.Hong,Y.Sun,andC.Zhu,“The system research and implementation for autorecognition of the shipdraft via the uav,”International Journal of Antennas and Propagation,vol.2021,2021)。利用这些技术可以有效减小测量过程的安全风险。传统基于边缘检测的方法测量水线效果无法达到稳定及准确，且不具备鲁棒性，依赖于计算复杂的图像算法(J.L.H.Ferreira,M.R.Fernandes,C.C.dos Santos,and R.F.Vassallo,“Characterrecognition for automatic draught survey,”in 2018 13th IEEE InternationalConference on Industry Applications(INDUSCON).IEEE,2018,pp.332–338)。基于深度学习的方法可以从图像中获取更好的图像特征，并且具有良好的泛化能力，有利于水线的特征提取、刻度检测和最终的读数估计。目前基于深度学习的主流做法是将水线检测视作整个图像的语义分割任务，在图像中找到海以及船的位置，再提取语义边缘得到水线。对于刻度检测，现有方法通常为此另外设计一个单独的网络来识别刻度。Bingping Wang等人(B.Wang,Z.Liu,andH.Wang,“Computer vision with deep learning for ship draftreading,”Optical Engineering,vol.60,no.2,p.024105,2021)首先利用MaskRCNN从背景中分割出水面和刻度所在的区域，再分别利用Unet和Resnet在区域中提取水线和识别刻度，最后通过位置拟合的方式读取吃水深度。这种方法通常需要一些后处理方法才可以得到水线，并且多网络的结构导致网络模型的参数量过高以及计算资源的冗余，使得神经网络边缘部署变得更为困难。
发明内容
本发明的目的在于针对现有技术中存在的上述问题，提供避免模型复杂问题、方便落地应用，也为船舶测重提供有效的指标，水线与刻度齐检测得到最终读数，简化人力操作的一种轻量级神经网络船舶水尺读数识别系统。
本发明的另一目的在于提供一种轻量级神经网络船舶水尺读数识别方法，简化人工观测船舶测重的流程并提供客观测重标准，针对船舶吃水图片中蕴含的水线特征及刻度特征，提供一种可以应用于嵌入式设备上的轻量级神经网络船舶吃水深度检测；本发明加入了有效、简单的特征通道激励模块来对深度学习模型提取特征进行加权，在底层特征提取单元提取到了更好的加权特征，辅助后续任务；共享底层特征提取单元，连接水线分类单元和刻度检测单元来完成水线及刻度检测任务；
一种轻量级神经网络船舶水尺读数识别系统，包括底层特征提取单元、水线分类单元、刻度检测单元和水尺深度估计单元；所述底层特征提取单元的输出端分别接水线分类单元、刻度检测单元的输入端，水线分类单元、刻度检测单元的输出端分别接水尺深度估计单元的输入端；
所述底层特征提取单元用于利用轻量级神经网络并结合特征通道激励模块提取经过数据增强后的图像特征；
所述水线分类单元用于将底层提取特征输入降采模块，得到单通道特征图输出，将输出的单通道特征图与水线真实值做列的分类损失，加入结构损失以得到每一列水线的位置信息；
所述刻度检测单元用于将底层征输入3个卷积分支，实现水尺上刻度位置的检测和识别；所述3个分支包括目标分支、分类分支、回归分支；
所述水尺深度估计单元用于结合水线分类单元及刻度检测单元的结果，估计水尺吃水深度。
进一步的，所述底层特征提取单元包括1个数据处理模块和1个结合特征通道激励模块的轻量级神经网络；所述数据处理模块用于在将图片进行数据增强后，对图像中的区域进行裁剪，作为网络的输入，网络采用轻量级神经网络；所述轻量级神经网络包括结合4个特征通道激励模块的2个卷积处理层。
所述降采模块用于对底层提取特征图降采样，得到单通道特征图。
一种轻量级神经网络船舶水尺读数识别方法，包括以下步骤：
1)将拍摄的水尺图像进行数据增强，底层特征提取单元利用轻量级神经网络并结合特征通道激励模块提取增强后的图像特征；
2)将步骤1)提取的特征分别输入水线分类单元和刻度检测单元，水线分类单元将特征输入降采模块进行降采，得到单通道特征图输出，将得到的特征图按列划分，利用多个分类器结合结构损失学习每一列的水线位置信息；刻度检测单元将步骤1)输出的特征进行三个分支卷积，预测刻度位置，实现水尺上刻度的检测；
3)水尺深度估计单元结合步骤2)中水线分类单元与刻度检测单元的结果，估计水尺吃水深度。
在步骤1)中，所述将拍摄的水尺图像进行数据增强，先在手机上拍摄船舶吃水水尺图，通过人工对水尺以及水线制作标签；在训练阶段，对采集的水尺图像采用由随机采样、模糊、对比度调整和旋转组成的数据增强方法进行数据增强，再将图片进行裁剪；将处理后的图像输入由两个卷积模块、两个特征通道激励模块组成的第一层卷积层，得到第一层加权特征；第一层加权特征输入由两个卷积模块、两个特征通道激励模块组成的第二层卷积层，得到第二层加权特征；第二层加权特征作为共享特征。
在步骤2)中，所述水线分类单元将步骤1)中所得特征图输入2个卷积层(下采样)和一次压缩通道得到单通道特征图，依据特征图在每个预定义列上的位置信息选择正确的水线位置，将水线表示为一系列预定义列上的垂直位置；首先将输出的特征图按列划分，然后在每一列上细分出多个单元，这样水线的检测就可描述为在预定义列上选择某些单元格，单元格的中心位置视作水线的位置，进而得到该图上列中的分类结果；
所述水线分类单元将单通道特征图预测为Pi，并用交叉熵代价函数作为目标Ti的优化公式，交叉熵代价函数的表达形式为：
式中，Pi，：是一个h维的向量，表示特征图中第i列中的h个单元格各自的概率；Ti，：是列上的one-hot标签；
所述水线分类单元在交叉熵基础上加入结构损失，采用softmax函数得到单元格中不同位置的概率，并乘以单元格位置表示带有空间约束的预测Loci，进而以L1损失函数作为优化公式，L1损失函数优化公式的表达形式为：
所述刻度检测单元将步骤1)输出的特征进行三个分支卷积，包括目标分支、分类分支、回归分支：
所述目标分支将特征图进行3次卷积操作，并得到代表目标类的向量，其中整数刻度为带有“M”的刻度，小数刻度为不带有“M”的刻度；模型将背景记为0，整数刻度记为1，小数刻度记为2；以加权交叉熵损失函数作为优化公式，表示为Lcls1；
所述分类分支将特征图进行3次卷积操作，并得到代表N个整数刻度类别得分的结果；由上述目标中得到整数刻度的目标再进行分类，对整数刻度目标进行交叉熵损失函数优化，表示为Lcls2；
所述回归分支将特征图进行3次卷积操作，并得到每个点的四维回归向量，代表每个点与边界框的上、左、下和右的距离；对整数刻度以及小数刻度边框进行回归，以交并比损失函数作为优化公式，表示为Lreg；
上述三个分支的损失函数表示为：
Ldm＝Lcls1(P1(x，y)，tx，y)+I1(x，y)·Lcls2(P2(x，y)，cx，y)+I2(x，y)·Lreg(P3(x，y)，dx，y)
每个位置的目标类别标签为t，整数标记的类别标签为c，位置的回归目标为4D向量d，P1(x，y)表示当前(x，y)的预测目标类别得分，P2(x，y)表示当前(x，y)被预测的整数标记类别得分，P3(x，y)表示当前(x，y)的预测回归距离，I(x，y)是定义当前(x，y)是否满足需要计算损失的特征位置的符号函数，只有满足时为1，不满足为0；
所述水线分类单元和刻度检测单元共享底层特征抽取部分，再让两个单元各自学习高级语义信息，并进行联合优化，最终损失函数表示为：
Lwl＝Lwl_cls+λLwl_str+Ldm
式中，λ的值为0.05。
在步骤3)中，所述水尺深度估计单元结合步骤2)中水线分类单元与刻度检测单元多任务学习的网络结果，估计水尺吃水深度的具体步骤可为：训练时，令损失函数取得最小值时保存为测试模型；测试阶段，将整幅图像作为输入，预测结果经过低通滤波器和插值法后得到一条平滑的线，通过对刻度在垂直方向上的位置(实际距离)与刻度到水面的距离(像素距离)进行建模，得到水线处的实际吃水深度，计算出实际距离在像素上的相对距离，估计吃水深度。
与现有技术相比，本发明具有以下有益效果：
1、本发明采用轻量级神经网络，并结合特征通道激励模块，提取有效的加权特征。
2、本发明将水线的位置选择视作在图像每一列上的分类问题，避免对于像素级的分割，并引入结构损失来弥补使用分类损失时的不足，且更注意水线边界信息而非水与船体、充分利用水线的先验信息。进而得到更好的水线检测结果。
3、为了方便水尺读数任务应用，本发明加入一种简单有效的刻度检测结构单元来完成刻度检测任务。使用多任务学习方式得到更轻量化模型，可以更好在边缘设备上落地应用。
4、模型轻量，简单有效，能够自适应提取水尺图片特征，且识别船舶吃水深度准确率高，在较差环境下的采样图片也具备一定的鲁棒性，在带噪图片上相较于传统方法也有更强的鲁棒性和普适性。
附图说明
图1为模拟船舶水尺图片。
图2为本发明实施例的系统框图。
图3为本发明实施例的水线分类单元进行分类检测结果图。
图4为本发明实施例拟合实际刻度与像素方法图。
图5为本发明在一种实施方式下的网络结构图。
具体实施方式
为了使本发明所要解决的技术问题、技术方案及有益效果更为清晰，以下结合附图和实施例，对本发明进行进一步详细说明。图1所示为模拟船舶水尺图片，图2为本发明系统框图。对输入图片进行特征提取，如图3对该特征分别进行水线列分类检测及对水尺做读数检测，最终如图4对两个结构单元结果进行实际位置与像素拟合得到水尺读数。图5表示本发明在一种实施方式下的网络结构图。其中ResNet18轻量级网络可以由其他神经网络进行替换以得到更精确的结果。
本发明实施例包括以下步骤：
步骤1、将拍摄的水尺图像进行数据增强，底层特征提取单元将拍摄并做数据增强的水尺图像裁剪后输入两层深度卷积神经网络提取特征，并且每一层卷积网络结合特征通道激励模块，以得到加权特征图；在手机上拍摄的船舶吃水水尺图，通过人工对水尺以及水线制作标签；在训练阶段，对于采集图像采用由随机采样、模糊、对比度调整和旋转组成的数据增强方法。将图像输入结合特征通道激励模块的第一层卷积层，第一次提取的特征再输入结合特征通道激励模块的第二层卷积层卷积提取得到第二层特征；
本实施例中，所述数据处理模块在将图片进行数据增强后，对图像中的区域进行裁剪，得到320×320的方形作为网络的输入，骨干网络采用轻量级神经网络ResNet18；如图5所示。骨干网络包括两层卷积层，第一层卷积层包括conv1、basicblock1、basicblock2，可以得到80×80×64的特征。值得注意的是，在basicblock1后，加入一个全局平均池化，得到1×1×64的特征，再连接全连接层-ReLU层-全连接层-sigmoid层，将通道特征压缩并激励，得到1×1×64的0到1之间的标量，作为通道的权重，然后经过扩展特征尺寸为80×80×64，并与原来的卷积输出通道的每个通道进行加权，得到160×160×64的特征图。同理，在basicblock2后，输入特征通道激励模块，得到80×80×64的特征图。第二层卷积层包括basicblock3和basicblock4，可以卷积提取得到40×40×128的特征。值得注意的是，在basicblock3后，加入一个全局平均池化，得到1×1×128的特征，再连接全连接层-ReLU层-全连接层-sigmoid层，将通道特征压缩并激励，得到1×1×128的0到1之间的标量，作为通道的权重，然后经过扩展特征尺寸为40×40×128，并与原来的卷积输出通道的每个通道进行加权，得到40×40×128的特征图。图5中，basicblock1、basicblock4、basicblock6、basicblock8没有下采样，basicblock2、basicblock3对于特征图的宽和高都有下采样，而basicblock5、basicblock7对于特征图的宽有下采样。其中，1个basicblock中有2次卷积，2个特征通道激励模块，并且，下采样由basicblock中第一次卷积实现。图5给出basicblock1模块示意图，其中每次卷积后连接特征通道激励模块，每个模块组成可类推。图5给出特征通道激励模块示意图，由全连接层-ReLU层-全连接层-sigmoid层组成，将输入该模块的特征图进行通道特征压缩并激励，再经过扩展特征尺寸后与原输入相乘，实现通道加权。
步骤2、将步骤1)提取的特征分别输入水线分类单元和刻度检测单元，水线分类单元将步骤1中的特征输入2个卷积层(下采样)和一次压缩通道再次进行降采，得到单通道特征图输出，将得到的特征图按列划分，并将每个列分为多个单元，以多个分类器结合结构损失学习每一列上的水线所处单元信息；刻度检测单元将步骤1中特征输入3个卷积分支，对特征图上每个点进行预测，并区分背景、整数刻度、小数刻度3个类别，并预测满足为整数刻度的点为何整数刻度，且将满足为证书刻度类点与小数刻度类点进行目标边界框回归，实现水尺上刻度的目标检测；
所述水线分类单元将步骤1)中所得特征图再次输入2个卷积层(下采样)和一次压缩通道得到单通道特征图，依据特征图在每个预定义列上的位置信息选择正确的水线位置，将水线表示为一系列预定义列上的垂直位置；首先将输出的特征图按列划分，然后在每一列上细分出多个单元，这样水线的检测就可描述为在预定义列上选择某些单元格，单元格的中心位置视作水线的位置，进而得到该图上列中的分类结果；
实施例中，将步骤1底层特征提取单元得到的40×40×128的特征图再次输入2个卷积层(下采样)，一次通道压缩，依次得到20×40×184的多通道特征图、10×40×312的多通道特征图和10×40的单通道特征图，依据特征图依据特征图对水线的空间位置进行约束，具体的，在每个预定义列上的位置信息选择正确的水线位置，将水线表示为一系列预定义列上的垂直位置。将输出的特征图按列划分，然后在每一列上细分出多个单元，这样水线的检测即在预定义列上选择某些单元格。单元格的中心位置视作水线的位置,进而得到该图上列上的分类结果。
训练时，水线分类单元将10×40单通道特征图的预测结果记为Pi，用交叉熵代价函数作为目标Ti的优化公式，交叉熵代价函数的表达形式为：
式中，Pi，：是一个h维的向量，表示特征图中第i列中的h个单元格各自的概率。Ti，：是列上的one-hot标签，表示第i列真实水线位置所在的单元格。
所述水线分类单元在交叉熵基础上加入结构损失，由于交叉熵进行的分类损失没有对水线的空间位置进行约束，本实施例应用结构损失，采用softmax函数得到单元格中不同位置的概率，并乘以单元格位置表示带有空间约束的预测Loci，进而以L1损失函数作为优化公式，L1损失函数优化公式的表达形式为：
所述刻度检测单元将步骤1)输出的特征进行3个分支卷积，3个分支包括背景及整数刻度、小数刻度的目标分支，整数刻度的分类分支，刻度边框的回归分支，每个分支都有3个3×3卷积层，卷积计算过程特征尺寸和通道数保持不变，最终输出通道依据3个分支任务改变；
步骤2.1、目标分支将特征图进行3次3×3卷积操作，并得到40×40×3的代表目标类的结果，其中整数刻度为带有“M”的刻度，小数刻度为不带有“M”的刻度。模型将背景记为0，整数刻度记为1，小数刻度记为2。以加权交叉熵损失函数作为优化公式，表示为Lcls1。本实施例中，加权交叉熵损失，背景类、小数刻度、米级刻度的权重分别设置为0.2、0.4、0.4。
步骤2.2、分类分支将特征图进行3次3×3卷积操作，并得到40×40×N的代表N个整数刻度类别得分的结果。由上述目标中得到整数刻度的目标再进行分类，本实施例中分类分支只对整数刻度目标进行交叉熵损失函数优化，表示为Lcls2。
步骤2.3、回归分支将特征图进行3次3×3卷积操作，并得到40×40×4的四维回归向量，代表每个点与边界框的上、左、下和右的距离。本实施例中只对整数刻度以及小数刻度边框进行回归，以交并比损失函数作为优化公式，表示为Lreg。
上述三个分支损失函数表示为：
Ldm＝Lcls1(P1(x，y)，tx，y)+I1(x，y)·Lcls2(P2(x，y)，cx，y)+I2(x，y)·Lreg(P3(x，y)，dx，y)
每个位置的目标类别标签为t，整数标记的类别标签为c，位置的回归目标为4D向量d，P1(x，y)表示当前(x，y)的预测目标类别得分，P2(x，y)表示当前(x，y)被预测的整数标记类别得分，P3(x，y)表示当前(x，y)的预测回归距离，I(x，y)是定义当前(x，y)是否满足需要计算损失的特征位置的符号函数，只有满足时为1，不满足为0。
所述水线分类单元及刻度检测单元共享底层特征抽取部分，再让两个单元各自学习高级语义信息，并进行联合优化，最终损失函数表示为：
Lwl＝Lwl_cls+λLwl_str+Ldm
式中，λ的值为0.05。
步骤3、水尺深度估计单元结合步骤2中水线分类单元和刻度检测单元网络结果，估计水尺吃水深度。轻量级神经网络训练时，令最终损失函数取得最小值时保存为测试模型；在测试阶段，首先将整幅544×960图像作为输入，由水线分类单元得到预测结果经过低通滤波器和插值法后得到一条平滑的水线。由步骤2中刻度检测单元得到整数结果通过对刻度在垂直方向上的位置(实际距离)与刻度到水面的距离(像素距离)进行建模，得到水线处的实际吃水深度。
本实施例将每个所检测到的刻度框的像素距离表示为d＝{d1，d2，...dn}，n表示所检测到的刻度的数量。每个刻度的实际高度为20cm并且每两个刻度间的实际距离为20cm，因此以整数刻度为起点，20cm为间隔，对像素距离与实际距离进行最小二乘法拟合。根据距离水面最近的整数刻度和水面的位置，可以计算出在实际距离在像素上的相对距离，然后估计吃水深度。如图4所示，根据距离水面最近的整数刻度和水面的位置，首先可以计算出在实际距离在像素上的相对距离，然后估计吃水深度。图4中，方框为检测到的刻度位置，相邻两个刻度的实际距离为20cm。图中实例预测到的整数刻度为13M，其与预测的水线间没有检测到小数刻度，将框之间的像素距离与实际距离通过最小二乘法拟合后，可以得到1的实际距离为17cm，进一步得到最终读数为12.83m。
上述系统实施例中，所包含各个步骤各个单元只是按照功能逻辑进行划分且不局限于上述划分，只要能够实现相应功能即可；另外，各个单元命名也只是为了便于区分，并不用于限制本发明的保护范围。本发明创造并不限于实施例，熟悉本领域的技术人员在不违背本发明精神的前提下还可做出种种的等同形变或替换，均包含在本申请权利要求所限定的范围内。
Claims (9)
1.一种轻量级神经网络船舶水尺读数识别系统，其特征在于包括底层特征提取单元、水线分类单元、刻度检测单元和水尺深度估计单元；所述底层特征提取单元的输出端分别接水线分类单元、刻度检测单元的输入端，水线分类单元、刻度检测单元的输出端分别接水尺深度估计单元的输入端；
所述底层特征提取单元用于利用轻量级神经网络结合特征通道激励模块提取经过数据增强后的图像特征；
所述水线分类单元用于将底层提取特征输入降采模块，得到单通道特征图输出，将输出的单通道特征图与水线真实值做列的分类损失，加入结构损失以得到每一列水线的位置信息；
所述刻度检测单元用于将底层提取特征输入3个卷积分支，实现水尺上刻度位置的检测和识别；3个分支包括目标分支、分类分支、回归分支；
所述水尺深度估计单元用于结合水线分类单元及刻度检测单元的结果，估计水尺吃水深度。
2.如权利要求1所述一种轻量级神经网络船舶水尺读数识别系统，其特征在于所述底层特征提取单元包括1个数据处理模块、2个包含4个特征通道激励模块的卷积层；所述数据处理模块用于在将图片进行数据增强后，对图像中的区域进行裁剪，作为网络的输入。
3.一种轻量级神经网络船舶水尺读数识别方法，其特征在于包括以下步骤：
1)将拍摄的水尺图像进行数据增强，底层特征提取单元利用轻量级神经网络及特征通道激励模块提取增强后的图像特征；
所述将拍摄的水尺图像进行数据增强，先在手机上拍摄船舶吃水水尺图，通过人工对水尺以及水线制作标签；在训练阶段，对采集的水尺图像采用由随机采样、模糊、对比度调整和旋转组成的数据增强方法进行数据增强；将图像输入结合特征通道激励模块的第一层卷积层，第一次提取的特征再输入结合特征通道激励模块的第二层卷积层卷积提取得到第二层特征；每个卷积层包括两个基础卷积模块，每个基础卷积模块后连接特征通道激励模块；在第一层卷积层的每个基础卷积模块后，加入一个全局平均池化，再连接全连接层-ReLU激活函数层-全连接层-sigmoid函数层，将通道特征压缩并激励，各个通道得到0到1之间的标量，作为通道的权重，然后经过扩展特征尺寸为特征图大小，并与原来的卷积输出通道的每个通道进行加权，最终第一层卷积层得到第一层特征；在第二层卷积层的每个基础卷积模块后，加入一个全局平均池化，再连接全连接层-ReLU激活函数层-全连接层-sigmoid函数层，将通道特征压缩并激励，各个通道得到的0到1之间的标量，作为通道的权重，然后经过扩展特征尺寸为特征图大小，并与原来的卷积输出通道的每个通道进行加权，最终卷积层得到40×40×128的特征；
2)将步骤1)提取的特征分别输入水线分类单元和刻度检测单元，水线分类单元将特征输入降采模块进行降采，得到单通道特征图输出，将得到的特征图按列划分，利用多个分类器结合结构损失学习每一列的水线位置信息；刻度检测单元将步骤1)输出的特征进行三个分支卷积，预测刻度位置，实现水尺上刻度的检测；
3)水尺深度估计单元结合步骤2)中水线分类单元与刻度检测单元的结果，估计水尺吃水深度。
4.如权利要求3所述一种轻量级神经网络船舶水尺读数识别方法，其特征在于在步骤2)中，所述水线分类单元将步骤1)中所得特征图输入2个卷积层和一次压缩通道得到单通道特征图，依据特征图在每个预定义列上的位置信息选择正确的水线位置，将水线表示为一系列预定义列上的垂直位置；首先将输出的特征图按列划分，然后在每一列上细分出多个单元，水线的检测描述为在预定义列上选择某些单元格，单元格的中心位置视作水线的位置，进而得到该图上列中的分类结果。
5.如权利要求3所述一种轻量级神经网络船舶水尺读数识别方法，其特征在于在步骤2)中，所述水线分类单元将单通道特征图预测为Pi，并用交叉熵代价函数作为目标Ti的优化公式，交叉熵代价函数的表达形式为：
式中，Pi，：是一个h维的向量，表示特征图中第i列中的h个单元格各自的概率；Ti，：是列上的one-hot标签，表示第i列真实水线位置所在的单元格。
6.如权利要求3所述一种轻量级神经网络船舶水尺读数识别方法，其特征在于在步骤2)中，所述水线分类单元在交叉熵基础上加入结构损失，采用softmax函数得到单元格中不同位置的概率，乘以单元格位置表示带有空间约束的预测Loci，以L1损失函数作为优化公式，L1损失函数优化公式的表达形式为：
7.如权利要求3所述一种轻量级神经网络船舶水尺读数识别方法，其特征在于在步骤2)中，所述刻度检测单元将步骤1)输出的特征进行三个分支卷积，包括目标分支、分类分支、回归分支：
所述目标分支将特征图进行3次卷积操作，并得到代表目标类的向量，其中整数刻度为带有“M”的刻度，小数刻度为不带有“M”的刻度；模型将背景记为0，整数刻度记为1，小数刻度记为2；以加权交叉熵损失函数作为优化公式，表示为Lcls1；
所述分类分支将特征图进行3次卷积操作，并得到代表N个整数刻度类别得分的结果；由上述目标中得到整数刻度的目标再进行分类，对整数刻度目标进行交叉熵损失函数优化，表示为Lcls2；
所述回归分支将特征图进行3次卷积操作，并得到每个点的四维回归向量，代表每个点与边界框的上、左、下和右的距离；对整数刻度以及小数刻度边框进行回归，以交并比损失函数作为优化公式，表示为Lreg。
8.如权利要求3所述一种轻量级神经网络船舶水尺读数识别方法，其特征在于在步骤2)中，所述三个分支的损失函数表示为：
Ldm＝Lcls1(P1(x，y)，tx，y)+I1(x，y)·Lcls2(P2(x，y)，cx，y)+I2(x，y)·Lreg(P3(x，y)，dx，y)
每个位置的目标类别标签为t，整数标记的类别标签为c，位置的回归目标为4D向量d，P1(x,y)表示当前(x,y)的预测目标类别得分，P2(x，y)表示当前(x，y)被预测的整数标记类别得分，P3(x，y)表示当前(x，y)的预测回归距离，I(x,y)是定义当前(x,y)是否满足需要计算损失的特征位置的符号函数，满足时为1，不满足为0；
所述水线分类单元和刻度检测单元共享底层特征抽取部分，再让两个单元各自学习高级语义信息，并进行联合优化，最终损失函数表示为：
Lwl＝Lwl_cls+λLwl_str+Ldm
式中，λ的值为0.05。
9.如权利要求3所述一种轻量级神经网络船舶水尺读数识别方法，其特征在于在步骤3)中，所述水尺深度估计单元结合步骤2)中水线分类单元与刻度检测单元的结果，估计水尺吃水深度的具体步骤为：训练时，令损失函数取得最小值时保存为测试模型；测试阶段，将整幅图像作为输入，预测结果经过低通滤波器和插值法后得到一条平滑的线，通过对刻度在垂直方向上的位置与刻度到水面的距离进行建模，得到水线处的实际吃水深度，计算出实际距离在像素上的相对距离，估计吃水深度。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210653483.XA CN114972793B (zh) | 2022-06-09 | 2022-06-09 | 一种轻量级神经网络船舶水尺读数识别方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210653483.XA CN114972793B (zh) | 2022-06-09 | 2022-06-09 | 一种轻量级神经网络船舶水尺读数识别方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN114972793A CN114972793A (zh) | 2022-08-30 |
| CN114972793B true CN114972793B (zh) | 2024-05-31 |
Family
ID=82962489
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210653483.XA Active CN114972793B (zh) | 2022-06-09 | 2022-06-09 | 一种轻量级神经网络船舶水尺读数识别方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114972793B (zh) |
Families Citing this family (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115909298A (zh) * | 2022-09-26 | 2023-04-04 | 杭州数聚链科技有限公司 | 一种基于机器视觉的货船水尺标度读取方法 |
| CN116385984B (zh) * | 2023-06-05 | 2023-09-01 | 武汉理工大学 | 船舶吃水深度的自动检测方法和装置 |
| CN117197048B (zh) * | 2023-08-15 | 2024-03-08 | 力鸿检验集团有限公司 | 一种船舶水尺读数检测方法、装置及设备 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110147807A (zh) * | 2019-01-04 | 2019-08-20 | 上海海事大学 | 一种船舶智能识别跟踪方法 |
| CN110276285A (zh) * | 2019-06-13 | 2019-09-24 | 浙江工业大学 | 一种非受控场景视频中的船舶水尺智能识别方法 |
| CN112347827A (zh) * | 2019-08-06 | 2021-02-09 | 东北大学秦皇岛分校 | 一种船舶水尺自动检测方法及系统 |
| CN112766274A (zh) * | 2021-02-01 | 2021-05-07 | 长沙市盛唐科技有限公司 | 一种基于Mask RCNN算法的水尺图像水位自动读数方法及系统 |
| CN112884731A (zh) * | 2021-02-05 | 2021-06-01 | 慧目(重庆)科技有限公司 | 一种基于机器视觉的水位检测方法及河道监测方法 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111488475A (zh) * | 2019-01-29 | 2020-08-04 | 北京三星通信技术研究有限公司 | 图像检索方法、装置、电子设备及计算机可读存储介质 |
-
2022
- 2022-06-09 CN CN202210653483.XA patent/CN114972793B/zh active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110147807A (zh) * | 2019-01-04 | 2019-08-20 | 上海海事大学 | 一种船舶智能识别跟踪方法 |
| CN110276285A (zh) * | 2019-06-13 | 2019-09-24 | 浙江工业大学 | 一种非受控场景视频中的船舶水尺智能识别方法 |
| CN112347827A (zh) * | 2019-08-06 | 2021-02-09 | 东北大学秦皇岛分校 | 一种船舶水尺自动检测方法及系统 |
| CN112766274A (zh) * | 2021-02-01 | 2021-05-07 | 长沙市盛唐科技有限公司 | 一种基于Mask RCNN算法的水尺图像水位自动读数方法及系统 |
| CN112884731A (zh) * | 2021-02-05 | 2021-06-01 | 慧目(重庆)科技有限公司 | 一种基于机器视觉的水位检测方法及河道监测方法 |
Non-Patent Citations (2)
| Title |
|---|
| 基于图像处理与深度学习算法的船舶水尺智能读数分析与研究;朱学海;罗陨飞;;检验检疫学刊;20200620(03);全文 * |
| 基于机器视觉与深度学习的船舶水尺智能识别技术研究与应用;朱学海;张帅;张东星;张阿平;罗陨飞;;检验检疫学刊;20190420(02);全文 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN114972793A (zh) | 2022-08-30 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN114972793B (zh) | 一种轻量级神经网络船舶水尺读数识别方法 | |
| CN107871119B (zh) | 一种基于目标空间知识和两阶段预测学习的目标检测方法 | |
| CN111797697B (zh) | 基于改进CenterNet的有角度高分遥感图像目标检测方法 | |
| CN111738112B (zh) | 基于深度神经网络和自注意力机制的遥感船舶图像目标检测方法 | |
| CN112308019A (zh) | 基于网络剪枝和知识蒸馏的sar舰船目标检测方法 | |
| CN110796009A (zh) | 基于多尺度卷积神经网络模型的海上船只检测方法及系统 | |
| CN111368712A (zh) | 一种基于深度学习的高光谱图像伪装目标检测方法 | |
| CN111967480A (zh) | 基于权重共享的多尺度自注意力目标检测方法 | |
| CN110009010A (zh) | 基于兴趣区域重检测的宽幅光学遥感目标检测方法 | |
| CN113780296A (zh) | 基于多尺度信息融合的遥感图像语义分割方法及系统 | |
| CN112149547A (zh) | 基于图像金字塔引导和像素对匹配的遥感影像水体识别 | |
| CN107731011B (zh) | 一种港口泊船监测方法、系统及电子设备 | |
| CN111008664B (zh) | 一种基于空谱联合特征的高光谱海冰检测方法 | |
| CN110163207A (zh) | 一种基于Mask-RCNN船舶目标定位方法及存储设备 | |
| CN113408398B (zh) | 基于通道注意力及概率上采样的遥感图像云检测方法 | |
| CN113610070A (zh) | 一种基于多源数据融合的滑坡灾害识别方法 | |
| CN115937552A (zh) | 一种基于融合手工特征与深度特征的图像匹配方法 | |
| CN117409244A (zh) | 一种SCKConv多尺度特征融合增强的低照度小目标检测方法 | |
| CN116740572A (zh) | 一种基于改进yolox的海上船舰目标检测方法和系统 | |
| CN116052149A (zh) | 一种基于CS-ABCNet的电力塔牌检测识别方法 | |
| CN115035429A (zh) | 一种基于复合主干网络和多预测头的航拍目标检测方法 | |
| CN112115891B (zh) | 一种基于一维多向抽取的sar图像港口检测方法 | |
| CN113947723A (zh) | 基于尺寸平衡fcos的高分辨率遥感场景目标检测方法 | |
| Liu et al. | Infrared dim small target detection based on regional refinement network | |
| CN117789039B (zh) | 基于上下文信息区分利用的遥感图像目标检测方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |