CN116434230A - 一种复杂环境下的船舶水尺读数方法 - Google Patents
一种复杂环境下的船舶水尺读数方法 Download PDFInfo
- Publication number
- CN116434230A CN116434230A CN202211564549.4A CN202211564549A CN116434230A CN 116434230 A CN116434230 A CN 116434230A CN 202211564549 A CN202211564549 A CN 202211564549A CN 116434230 A CN116434230 A CN 116434230A
- Authority
- CN
- China
- Prior art keywords
- water gauge
- waterline
- ship
- image
- character
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 title claims abstract description 183
- 238000000034 method Methods 0.000 title claims abstract description 47
- 230000011218 segmentation Effects 0.000 claims abstract description 39
- 238000000605 extraction Methods 0.000 claims abstract description 27
- 238000004364 calculation method Methods 0.000 claims abstract description 23
- 230000007246 mechanism Effects 0.000 claims abstract description 19
- 230000009466 transformation Effects 0.000 claims description 26
- 238000012549 training Methods 0.000 claims description 25
- 238000013528 artificial neural network Methods 0.000 claims description 21
- 230000000694 effects Effects 0.000 claims description 17
- 238000012216 screening Methods 0.000 claims description 12
- 238000012360 testing method Methods 0.000 claims description 11
- 238000001514 detection method Methods 0.000 claims description 8
- 230000008569 process Effects 0.000 claims description 8
- 238000012795 verification Methods 0.000 claims description 8
- 238000004422 calculation algorithm Methods 0.000 claims description 7
- 238000012417 linear regression Methods 0.000 claims description 7
- 230000008859 change Effects 0.000 claims description 5
- 238000003709 image segmentation Methods 0.000 claims description 5
- 238000012886 linear function Methods 0.000 claims description 5
- 238000003708 edge detection Methods 0.000 claims description 4
- 230000007613 environmental effect Effects 0.000 claims description 4
- 238000002372 labelling Methods 0.000 claims description 4
- 239000011159 matrix material Substances 0.000 claims description 4
- 230000008447 perception Effects 0.000 claims description 4
- 238000007781 pre-processing Methods 0.000 claims description 4
- 238000010200 validation analysis Methods 0.000 claims description 4
- 238000006424 Flood reaction Methods 0.000 claims description 3
- 238000002790 cross-validation Methods 0.000 claims description 3
- 238000007667 floating Methods 0.000 claims description 3
- 230000000007 visual effect Effects 0.000 claims description 3
- 238000013459 approach Methods 0.000 claims description 2
- 230000003416 augmentation Effects 0.000 claims description 2
- 238000005452 bending Methods 0.000 claims description 2
- 238000006243 chemical reaction Methods 0.000 claims description 2
- 238000012937 correction Methods 0.000 claims description 2
- 238000009795 derivation Methods 0.000 claims description 2
- 238000013461 design Methods 0.000 claims description 2
- 238000010586 diagram Methods 0.000 claims description 2
- 230000002708 enhancing effect Effects 0.000 claims description 2
- 238000013507 mapping Methods 0.000 claims description 2
- 238000004091 panning Methods 0.000 claims description 2
- 238000011160 research Methods 0.000 claims description 2
- 230000000717 retained effect Effects 0.000 claims description 2
- 238000005070 sampling Methods 0.000 claims description 2
- 230000001131 transforming effect Effects 0.000 claims description 2
- 239000013585 weight reducing agent Substances 0.000 claims description 2
- 230000006870 function Effects 0.000 claims 2
- 240000007594 Oryza sativa Species 0.000 claims 1
- 235000007164 Oryza sativa Nutrition 0.000 claims 1
- 230000004888 barrier function Effects 0.000 claims 1
- 235000009566 rice Nutrition 0.000 claims 1
- 238000005516 engineering process Methods 0.000 abstract description 5
- 238000013135 deep learning Methods 0.000 description 2
- 238000011176 pooling Methods 0.000 description 2
- 238000005303 weighing Methods 0.000 description 2
- 230000004075 alteration Effects 0.000 description 1
- 238000012512 characterization method Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 230000001537 neural effect Effects 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 238000011426 transformation method Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
- G06V30/10—Character recognition
- G06V30/14—Image acquisition
- G06V30/1444—Selective acquisition, locating or processing of specific regions, e.g. highlighted text, fiducial marks or predetermined fields
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
- G06V30/10—Character recognition
- G06V30/14—Image acquisition
- G06V30/148—Segmentation of character regions
- G06V30/153—Segmentation of character regions using recognition of characters or words
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
- G06V30/10—Character recognition
- G06V30/19—Recognition using electronic means
- G06V30/191—Design or setup of recognition systems or techniques; Extraction of features in feature space; Clustering techniques; Blind source separation
- G06V30/19147—Obtaining sets of training patterns; Bootstrap methods, e.g. bagging or boosting
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
- Y02A90/00—Technologies having an indirect contribution to adaptation to climate change
- Y02A90/30—Assessment of water resources
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Multimedia (AREA)
- Biophysics (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Biomedical Technology (AREA)
- Health & Medical Sciences (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Life Sciences & Earth Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Image Analysis (AREA)
Abstract
本发明涉及一种复杂环境下的船舶水尺读数方法，属于船舶水尺读数方法技术领域。该复杂环境下船舶水尺的读数方法融合了CA注意力机制的U2‑NetP网络，在保证其推理轻量化的同时，使其更关注类别边缘的空间位置信息，与原始网络相比，其mIou指标可以提高约5个百分点，克服了多种复杂环境下的分割难题，提高了下一步水线提取的准确性与鲁棒性；水线提取计算方法在分割图像的基础上，解决了在水面上存在障碍物甚至其他干扰时水线提取不准确和失败的情况，这是其他现有分割技术无法解决的问题，特别适合船舶水尺读数的使用需求。
Description
技术领域
本发明涉及一种复杂环境下的船舶水尺读数方法，属于船舶水尺读数方法技术领域。
背景技术
船舶水尺读数是水尺计重方法中的重要环节，而水尺计重广泛用于船舶货物载重计量和进出口商品重量鉴定，在船舶装卸前后两次测定船舶吃水的深度，即可测算出货物的重量，因其具有省时、省力、省费用的优点，被国际贸易和运输部门所采用。目前，主要依赖人工观测来确定船舶的吃水，通常需要观测员驾驶交通艇绕船观察。然而，人工观测易受到水面波浪、水面障碍物、船舶水迹线、倾斜以及锈蚀的水尺字符等复杂环境影响，这些环境因素不仅影响人工观测的准确性和可靠性，而且给观测员的人身安全带来了一定的威胁。
申请号为CN202010222648.9、CN201810310518.3的发明专利公开了一种船舶水尺识别方法，这两种方法利用船体与水面之间的色差,采用色域分割法分离原始图像中的船体和水面,得到水线位置，这种方法难以适应各种复杂环境下的分割任务，例如水面波浪、水面障碍物等，导致水线提取不准确或失败，进而对后续的船舶吃水计算产生负面影响，泛化性较差；申请号为CN202011168530.9的发明专利公开了一种基于深度学习技术的船舶水尺识别方法，该方法将水线视为一类目标，使用目标检测网络检测多个水线识别框，取筛选后识别框的中心点纵坐标平均值作为水线的平均高度，这种方法不能保证水线识别框的中心点处于水线上，其平均高度会与实际平均高度存在误差，同时，在船舶侧身存在水迹线的复杂情形下，极易在水迹线的位置错检出水线识别框，进而对后续船舶吃水的计算造成较大误差。
因此，有必要研发一种新的船舶水尺读数方法，以解决现有船舶水尺识别方法存有的以上问题。
发明内容
本发明的目的在于：提供一种复杂环境下的船舶水尺读数方法，以解决现有船舶水尺读数方法存有的计算误差大和泛化性差的问题。
本发明的技术方案是：
该复杂环境下船舶水尺的读数方法，其特征在于：该船舶水尺读数方法，包括如下步骤：
1、图像预处理模块；
首先通过搭载高清相机的无人机获取船舶图像数据，然后输入到Yolov5n神经网络中，定位识别船舶侧身的水尺字符，并通过水尺字符特征筛选出水尺字符；其次使用线性回归方法拟合得到水尺字符的线性模型；最后对船舶图像进行透视变换，矫正倾斜的水尺字符。
2、水线提取计算模块；
使用融合CA注意力机制后的U2-NetP神经网络分割船舶图像的背景区域、船舶区域和水域得到船舶分割图像；然后使用水线提取算法提取船舶分割图像的水线；最后使用牛顿-莱布尼茨公式计算水线的像素平均高度。
3、水尺计算模块
船舶吃水计算需要水线的平均高度和水尺字符的精确位置信息。经过上述步骤之后，我们可以得到水尺的整数位字符、分米位字符和水线均高信息。此外，还需要动态计算水尺字符每像素代表的实际高度
、当前可视水尺的实际最低刻度/>
和其对应的最大的像素高度/>
。
首先根据水尺分米位字符的高度信息计算出
，字符实际高度为10cm，为了保证/>
的准确性，取所有分米位水尺字符的平均scale_norm；然后筛选出水尺整数位字符与分米位字符的最大像素高度，计算出当前图像中可视的最高像素高度 />
并将其转化为实际的水尺高度 />
。最后，遵循船舶水尺读数标准，计算船舶吃水刻度。船舶水尺读数标准如下：
（1）水尺读数的精度精确到厘米即可；
（2）水线达到某数字的下边缘，则表示该处的实际读数为该数字所表示的数值；
（3）水线刚好淹没该数字，则表示该处的实际读数为该数字所表示的数值加上相应的字高；
（4）水线位于字高的一半处时，则表示该处的实际吃水为该数字所表示的数值加上相应字高的一半；
（5）当水面有波动时，应连续观察水线的变化，取所有水线高度的平均值作为水线位置，进而计算船舶的水尺刻度。
本发明的优点在于：
该复杂环境下船舶水尺的读数方法融合了CA注意力机制的U2-NetP网络，在保证其推理轻量化的同时，使其更关注类别边缘的空间位置信息，与原始网络相比，其mIou指标可以提高约5个百分点，克服了多种复杂环境下的分割难题，提高了下一步水线提取的准确性与鲁棒性；水线提取计算方法在分割图像的基础上，解决了在水面上存在障碍物甚至其他干扰时水线提取不准确和失败的情况，这是其他现有分割技术无法解决的问题，特别适合船舶水尺读数的使用需求。
附图说明：
图1为本发明的流程图；
图2为水尺字符规格图；
图3为Yolov5n模型训练损失曲线；
图4为Yolov5n模型训练的mAP曲线；
图5为水尺字符筛选范围；
图6为透视变换操作；
附图7为一些U-Net分割结果样本；
图8为CA-Block模块和RSU-CA-L模块（L=5）；
图9为改进的U2-NetP网络架构；
图10为船舶水线提取的示例；
图11为计算船舶水线平均高度的示例；
图12为船舶水尺读数说明；
图13为船舶水尺读数的完整示例。
具体实施方式：
该复杂环境下船舶水尺的读数方法，该船舶水尺读数方法，包括如下步骤（参见说明书附图1）：
1、图像预处理模块
首先通过搭载高清相机的无人机获取船舶图像数据，然后输入到Yolov5n（Youonly look once version 5 nano）神经网络中，定位识别船舶侧身的水尺字符，并通过水尺字符特征筛选出水尺字符；其次使用线性回归方法拟合得到水尺字符的线性模型；最后对船舶图像进行透视变换，矫正倾斜的水尺字符。
(1)．水尺字符检测；
船舶侧身上的水尺字符由数字“0-9”和“M”字符组成，线条宽度为2CM，水尺字体高度、两字之间的垂直距离为10CM（参见说明书附图2）；对于水尺字符的定位识别任务，应该保证船舶侧身上的水尺字符完全检测出来，不遗漏任何一个，同时检测框应尽量贴合水尺字符，这样可以为后面水尺读数提供先验条件；在保证网络识别准确率的前提下，还应确保网络的轻量化和推理速度，为之后在边缘设备上部署的研究提供支持；因此，本发明提出使用Yolov5n轻量化神经网络对水尺字符识别定位；
Yolov5n是Yolov5神经网络中的轻量化版本，Yolov5n作出了以下改进：depthmultiple参数减少到0.25，因此减少了75%的参数，从 7.5M 到 1.9M，具体使用Conv（k=6,s=2, p=2）代替Focus层，方便模型导出；使用SPPF（Cascaded Spatial Pyramid Pooling）代替SPP层（Spatial Pyramid Pooling）；减少P3（The third feature map of thebackbone）主干层C3（Cross Stage Partial Bottleneck with 3 convolutions）；将SPPF放在主干的后面；在最后一个C3主干层中重新引入捷径，以损失一定mAP的代价，在参数量、推理速度方面有提升，非常适合检测简单的任务，且部署在算力不强的设备上；
使用Labelme标注工具标注船舶图像上的水尺字符，得到水尺字符检测数据集；按照7:2:1的比例将水尺字符检测数据集划分为训练集、验证集和测试集，输入到Yolov5n网络中，得到训练结果（参加说明书附图3、4），网络训练参数见表1；
表1Yolov5n网络训练参数
(2).水尺字符筛选
对于Yolov5n神经网络检测出的“0-9”和“M”水尺字符，将字符分为整数位字符和分米位字符；在图像坐标系中，M字符与左边的整数字符处于一致高度，根据M字符中心点和回归框位置信息，确定整数位区域范围，筛选出M字符左边的整数位字符，剩下的即为分米位字符（参见说明书附图5）；筛选范围可由公式（1）表示。
其中x，y代表整数位字符的中心点横纵坐标，
代表当前M字符的像素高度，
代表当前M字符的中心点横坐标；
通过公式（1）即可将水尺字符分类为整数位字符和分米位字符筛选出来，为下一步字符矫正和水尺刻度计算提供先验知识。
说明书附图5中左边为整数位与分米位字符等高；右边为整数位是分米位字符的2倍高度；
(3).透视变换
在获取船舶图像数据时，由于拍摄角度或者环境状况，会导致船舶图像中的水尺字符倾斜；本发明提出使用透视变换操作将倾斜水尺字符矫正为竖直状态；透视变换的具体流程如下：
1）对于步骤（2）筛选出的分米位水尺字符，将每个字符中心点坐标作为线性回归的自变量，拟合出水尺字符的线性函数；线性回归模型如下：
2）将步骤1）中得到的线性函数左右平移直到与水尺字符倾斜的船舶图像顶点相交构成平行四边形，取平行四边形的四个顶点作为透视变换的原目标点。
3）透视变换是通过一个投影矩阵把一个图像投影到一个新的视平面（ViewingPlane）的过程，也称为投影映射。该过程包括：将二维空间中的图像转换到三维空间中，再将图像从三维空间投影到新的二维平面上。
其通用的变换方程见公式（3）：
其中
为原图中的坐标点，写成增广向量形式/>
为变换后在三维空间中的坐标点，/>
为变换矩阵，其中/>
表示线性变换，主要负责图像的旋转操作，/>
负责图像的平移操作，/>
表示透视变换，/>
参数为1；
对目标点除以
，得到转化到二维图像上的点为/>
，其投影到新平面上的最终坐标点公式如下：
方程总共有8个参数，需要4对
与/>
变换前后的坐标点，才可解出方程参数。本发明给出了透视变换示例（参见说明书附图6）。
说明书图6中(a)为原图；(b)为拟合水尺字符中心点；（c）为获取线性函数与图像顶点的交点；（d）为透视变换结果。
2、水线提取计算模块
首先使用融合CA注意力机制后的U2-NetP神经网络分割船舶图像的背景区域、船舶区域和水域得到船舶分割图像；然后使用水线提取算法提取船舶分割图像的水线；最后使用牛顿-莱布尼茨公式计算水线的像素平均高度。
(1).分割船舶图像
首先使用EISeg标注工具标记船舶区域和水域，其余区域标记为背景，得到船舶图像分割数据集；然后按照7:2:1的比例划分为训练集、验证集和测试集，输入到语义分割神经网络中训练，得到船舶分割图像，为下一步提取水线提供先验知识，船舶图像分割的越准确，特别是水线附近区域，对于下一步水线的提取结果就会有更大的帮助。
在平静水面的情形下，经典的U-Net（U-structure network）神经网络分割的效果具有一定的参考意义，但在水面波浪较大、含有障碍物和船舶残留水迹线的复杂环境下，分割的效果并不理想，船舶与水域之间的轮廓分割不准确（参见说明书附图7）。因此，为了使网络更加关注目标的轮廓边缘信息，且保证网络的轻量化，本发明使用U2-NetP轻量化语义分割网络，并在U2-NetP设计融合了CA注意力机制。
CA注意力机制全称Coordinate Attention，是一种将图像的位置信息嵌入到通道注意力机制中的全新的移动网络注意力机制。CA注意力机制将通道注意力分解为两个1维特征编码过程，分别沿2个空间方向聚合特征；这样，可以沿一个空间方向捕获远程依赖关系，同时可以沿另一空间方向保留精确的位置信息；然后将生成的特征图分别编码为一对方向感知和位置敏感的Attention Map，可以将其互补地应用于输入特征图，以增强关注对象的表示；一个CA块可以被看作是一个计算单元，旨在增强网络中特征的表达能力；它可以将任何中间特征张量作为输入并通过转换输出与张量具有相同大小同时具有增强表征的Attention Map（参见说明书附图8）。
改进U2-NetP网络的具体步骤如下：在U2-NetP神经网络主体架构中和RSU-CA-L模块（Residual-CA-U-blocks-Layer）中的上采样之后添加CA-Block，然后再接Concate操作（参见说明书附图8、图9）。同样，在U-Net神经网络中也设计融合了CA注意力机制；并在相同实验参数条件下对比了U-Net、U-Net+CA、U2-NetP、U2-NetP+CA四种语义分割神经网络的结果；
最后，对实验结果做了分层10折交叉验证，将船舶图像分割数据集的训练集和验证集划分为10折，每一折轮流做验证集，其他折做训练集，总共训练10次，得到在测试集上的平均mIoU指标。本发明从Parameters、Flops（Floating point operations）、Model size和mIoU四个个方面来评价网络的效果；Parameters是参数量，体现了模型的空间复杂度；Flops是浮点运算数，体现了模型的计算量，用来衡量模型推理的速度；Model size体现了整个模型占用的存储空间，以及是否便于部署；mIoU是每个类别预测区域和实际区域的交并比（交集与并集的比值）的平均值，见公式（5），其反映出所有类别的预测结果和真实结果之间的重合度，用来衡量模型推理的表现效果；
其中TP：正类预测为正类的数量；TN：负类预测为负类的数量；FP：负类预测为正类的数量；FN：正类预测为负类的数量。语义分割网络训练参数和对比结果见表2、表3。
表2 语义分割网络训练参数
表3 U-Net、U2-NetP、U-Net+CA、U2-NetP+CA分割对比
从表3中可以看出，相较于原来的U-Net和U2-NetP网络，融合CA注意力机制后的U-Net和U2-NetP网络的mIoU都有一定的提升，其中，U2-NetP网络提升最大，相较于最初的网络提升了近5个百分点，同时，经过10折交叉验证，显然，改进后的U2-NetP网络具有更好的鲁棒性，证明了改进的有效性。此外，U2-NetP在Parameters、Model size以及Flops指标上比U-Net具有更强的优势；
(2).水线提取算法
水线提取算法的具体步骤如下：
1）对于步骤（1）得到的船舶分割图像，如果不含障碍物，则使用一次Canny边缘检测即可获取到完整的水线信息；
2）针对存在障碍物的复杂情况（参见说明书附附图7），分别对步骤（1）得到的船舶分割图像及其对应的灰度图进行Canny边缘检测，得到包含水线和障碍物轮廓的图像（d），以及仅包含障碍物轮廓的图像（e）；（参见说明书附图10中的（d）和（e））
说明书附图7中(a)、(b)为正常情况下分割效果；(c)、(d)为存在水迹线以及具有障碍物情况下分割效果；
3）将步骤2）中得到的两张水线图像（d）和（e）相减即可得到不含障碍物的实际水线（参见说明书附图10）；因此，提取水线的效果取决于船舶与水域的分割效果；分割网络的效果越好，提取的水线越精细；
说明书附图10中（a）为船舶水尺原图；（b）为语义分割结果图；（c）为（b）的灰度图；（d）为包含水线与障碍物轮廓的水线图像；（e）为障碍物轮廓的水线图像；（f）为（d）与（e）相减操作之后的实际水线结果。
（3）.计算水线平均高度
在提取水线过程中，不可避免地存在因环境等因素造成水线波动较大的复杂情形，导致实际的水线通常是弯曲的；因此，不能简单使用水尺字符与水面的接触位置作为基准；因此，在得到图像的水线后，本发明综合水线在空间维度上的整体变化，使用牛顿-莱布尼茨公式计算水线的平均高度。见公式（6）：
其原理是通过将曲线划分成一个个小的区间，当区间数量趋近于无穷时，
即可近似代表当前区间中曲线的高度，这样即可得到连续曲线上所有点的平均高度；
本发明将此公式应用在图像领域中，图像的最小单位为像素，因此公式（6）转变为公式（7）的形式：
其中n为逐列扫描图像之后水线像素的列数量，
为水线每一个像素点在图像坐标系中的高度。通常一列上会出现多个相邻像素点代表水线的弯曲趋势，则取多个相邻像素点的平均高度作为当前列的高度，进而计算水线的平均高度（参见说明书附图11）。
说明书图11中左边为原图，右边为水线平均高度在分割图像上的标记。
3、水尺计算模块
船舶吃水计算需要水线的平均高度和水尺字符的精确位置信息。经过上述步骤之后，我们可以得到水尺的整数位字符、分米位字符和水线均高信息。此外，还需要动态计算水尺字符每像素代表的实际高度
、当前可视水尺的实际最低刻度/>
和其对应的最大的像素高/>
（参见说明书附图12）。
首先根据水尺分米位字符的高度信息计算出
，字符实际高度为10cm，为了保证/>
的准确性，取所有分米位水尺字符的平均scale_norm；然后筛选出水尺整数位字符与分米位字符的最大像素高度，计算出当前图像中可视的最高像素高度/>
并将其转化为实际的水尺高度/>
。最后，遵循船舶水尺读数标准，计算船舶吃水刻度。船舶水尺读数标准如下：
（1）水尺读数的精度精确到厘米即可；
（2）水线达到某数字的下边缘，则表示该处的实际读数为该数字所表示的数值；
（3）水线刚好淹没该数字，则表示该处的实际读数为该数字所表示的数值加上相应的字高；
（4）水线位于字高的一半处时，则表示该处的实际吃水为该数字所表示的数值加上相应字高的一半；
（5）当水面有波动时，应连续观察水线的变化，取所有水线高度的平均值作为水线位置，进而计算船舶的水尺刻度；
根据该水尺读数标准，将水线平均高度
作为计算水尺的基准线；比较
与/>
值的大小，得出实际的水尺刻度/>
，其计算公式见公式（8）。
其中
的单位为米。本发明给出了完整的船舶水尺读数示意图（参见说明书附图13）。
说明书附图13中（a）为原图；（b）为语义分割图像；（c）为字符检测结果；（d）为水线提取结果；（e）为水线平均高度标记；（f）为读数结果展示。
本发明对比了在不同复杂情形下与人工读数的结果，其中人工结果是由多位专业人士观察平均连续30秒的关键视频帧得到的平均值，视频帧持续时间越长，其结果越精准；而本发明读数的结果同样是视频所有帧读数结果的平均值，并提供部分试验视频的误差（人工读数
本发明读数）统计表，见表4。
表4 不同复杂情形下读数误差
经验证，在各种复杂环境下，本发明的方法可以精确到平均
误差内，尤其是在水面波浪较大、存在障碍物等复杂环境下，仍能达到较好的性能，具有较强的鲁棒性和泛化性。本发明技术弥补了现有发明技术分割效果差、提取水线不准确或失败以及泛化性能差等不足，为人工观测提供非常重要的参考价值，节省人力、物力资源，进而逐步应用在该领域中。
本发明提出一种结合图像处理和深度学习的水尺读数方法，涉及一种新的轻量型语义分割网络架构和水线提取计算方法，该网络架构是融合了CA（Coordinate Attention）注意力机制的U2-NetP（small two-level nested U-structure network）网络，在保证其推理轻量化的同时，使其更关注类别边缘的空间位置信息，与原始网络相比，其mIou指标可以提高约5个百分点，克服了多种复杂环境下的分割难题，提高了下一步水线提取的准确性与鲁棒性；水线提取计算方法在分割图像的基础上，解决了在水面上存在障碍物甚至其他干扰时水线提取不准确和失败的情况，这是其他现有分割技术无法解决的问题，同时，引入牛顿-莱布尼茨公式计算水线的平均高度，比申请号为CN202011168530.9的发明方法取点数量更多、更精准，其结果更接近实际的平均高度。此外，还提出使用透视变换方法校正倾斜的水尺字符，适应了在倾斜的水尺字符情形下的吃水计算，增强了整个方法的鲁棒性。
Claims (3)
1.一种复杂环境下的船舶水尺读数方法，其特征在于：该船舶水尺读数方法，包括如下步骤：
1、图像预处理模块
首先通过搭载高清相机的无人机获取船舶图像数据，然后输入到Yolov5n神经网络中，定位识别船舶侧身的水尺字符，并通过水尺字符特征筛选出水尺字符；其次使用线性回归方法拟合得到水尺字符的线性模型；最后对船舶图像进行透视变换，矫正倾斜的水尺字符；
2、水线提取计算模块；
使用融合CA注意力机制后的U2-NetP神经网络分割船舶图像的背景区域、船舶区域和水域得到船舶分割图像；然后使用水线提取算法提取船舶分割图像的水线；最后使用牛顿-莱布尼茨公式计算水线的像素平均高度；
3、水尺计算模块；
船舶吃水计算需要水线的平均高度和水尺字符的精确位置信息；经过上述步骤之后，我们可以得到水尺的整数位字符、分米位字符和水线均高信息；此外，还需要动态计算水尺字符每像素代表的实际高度
、当前可视水尺的实际最低刻度/>
和其对应的最大的像素高度/>
；
首先根据水尺分米位字符的高度信息计算出
，字符实际高度为10cm，为了保证/>
的准确性，取所有分米位水尺字符的平均scale_norm；然后筛选出水尺整数位字符与分米位字符的最大像素高度，计算出当前图像中可视的最高像素高度/>
并将其转化为实际的水尺高度/>
；最后，遵循船舶水尺读数标准，计算船舶吃水刻度；船舶水尺读数标准如下：
（1）水尺读数的精度精确到厘米即可；
（2）水线达到某数字的下边缘，则表示该处的实际读数为该数字所表示的数值；
（3）水线刚好淹没该数字，则表示该处的实际读数为该数字所表示的数值加上相应的字高；
（4）水线位于字高的一半处时，则表示该处的实际吃水为该数字所表示的数值加上相应字高的一半；
（5）当水面有波动时，应连续观察水线的变化，取所有水线高度的平均值作为水线位置，进而计算船舶的水尺刻度；
根据该水尺读数标准，将水线平均高度
作为计算水尺的基准线；比较/>
与/>
值的大小，得出实际的水尺刻度/>
，其计算公式见公式（8）：
其中
的单位为米；本发明给出了完整的船舶水尺读数示意图。
2.根据权利要求1所述的一种复杂环境下的船舶水尺读数方法，其特征在于：所述的步骤1中图像预处理模块，包括如下步骤：
(1)、水尺字符检测；
船舶侧身上的水尺字符由数字“0-9”和“M”字符组成，线条宽度为2CM，水尺字体高度、两字之间的垂直距离为10CM；对于水尺字符的定位识别任务，应该保证船舶侧身上的水尺字符完全检测出来，不遗漏任何一个，同时检测框应尽量贴合水尺字符，这样可以为后面水尺读数提供先验条件；在保证网络识别准确率的前提下，还应确保网络的轻量化和推理速度，为之后在边缘设备上部署的研究提供支持；因此，本发明提出使用Yolov5n轻量化神经网络对水尺字符识别定位；
Yolov5n是Yolov5神经网络中的轻量化版本，Yolov5n作出了以下改进：depthmultiple参数减少到0.25，因此减少了75%的参数，从 7.5M 到 1.9M，具体使用Conv（k=6,s=2, p=2）代替Focus层，方便模型导出；使用SPPF代替SPP层；减少P3主干层C3；将SPPF放在主干的后面；在最后一个C3主干层中重新引入捷径，以损失一定mAP的代价，在参数量、推理速度方面有提升，非常适合检测简单的任务，且部署在算力不强的设备上；
使用Labelme标注工具标注船舶图像上的水尺字符，得到水尺字符检测数据集；按照7:2:1的比例将水尺字符检测数据集划分为训练集、验证集和测试集，输入到Yolov5n网络中训练，得到训练结果；训练参数如下：图像输入大小为640×640，Epoch为2000，BatchSize为16，学习率为0.001，损失函数为BECLogits+BCEcls+GIOU损失，Optimizer为Momentum；
(2)、水尺字符筛选；
对于Yolov5n神经网络检测出的“0-9”和“M”水尺字符，将字符分为整数位字符和分米位字符；在图像坐标系中，M字符与左边的整数字符处于一致高度，根据M字符中心点和回归框位置信息，确定整数位区域范围，筛选出M字符左边的整数位字符，剩下的即为分米位字符；筛选范围可由公式（1）表示：
其中x，y代表整数位字符的中心点横纵坐标，
代表当前M字符的像素高度，/>
代表当前M字符的中心点横坐标；
通过公式（1）即可将水尺字符分类为整数位字符和分米位字符筛选出来，为下一步字符矫正和水尺刻度计算提供先验知识；
(3)、透视变换；
在获取船舶图像数据时，由于拍摄角度或者环境状况，会导致船舶图像中的水尺字符倾斜；本发明提出使用透视变换操作将倾斜水尺字符矫正为竖直状态；透视变换的具体流程如下：
1）对于步骤（2）筛选出的分米位水尺字符，将每个字符中心点坐标作为线性回归的自变量，拟合出水尺字符的线性函数；线性回归模型如下：
2）将步骤1）中得到的线性函数左右平移直到与水尺字符倾斜的船舶图像顶点相交构成平行四边形，取平行四边形的四个顶点作为透视变换的原目标点；
3）透视变换是通过一个投影矩阵把一个图像投影到一个新的视平面的过程，也称为投影映射；该过程包括：将二维空间中的图像转换到三维空间中，再将图像从三维空间投影到新的二维平面上；
其通用的变换方程见公式（3）：
其中
为原图中的坐标点，写成增广向量形式/>
为变换后在三维空间中的坐标点，/>
为变换矩阵，其中/>
表示线性变换，主要负责图像的旋转操作，/>
负责图像的平移操作，/>
表示透视变换，/>
参数为1；
对目标点除以
，得到转化到二维图像上的点为/>
，其投影到新平面上的最终坐标点公式如下：
方程总共有8个参数，需要4对
与/>
变换前后的坐标点，才可解出方程参数。
3.根据权利要求1所述的一种复杂环境下的船舶水尺读数方法，其特征在于：所述的步骤2中水线提取计算模块，包括如下步骤：
(1)、分割船舶图像；
首先使用EISeg标注工具标记船舶区域和水域，其余区域标记为背景，得到船舶图像分割数据集；然后按照7:2:1的比例划分为训练集、验证集和测试集，然后输入到语义分割神经网络中训练，得到船舶分割图像，为下一步提取水线提供先验知识，船舶图像分割的越准确，特别是水线附近区域，对于下一步水线的提取结果就会有更大的帮助；
在平静水面的情形下，经典的U-Net神经网络分割的效果具有一定的参考意义，但在水面波浪较大、含有障碍物和船舶残留水迹线的复杂环境下，分割的效果并不理想，船舶与水域之间的轮廓分割不准确；因此，为了使网络更加关注目标的轮廓边缘信息，且保证网络的轻量化，本发明使用U2-NetP轻量化语义分割网络，并在U2-NetP设计融合了CA注意力机制；
CA注意力机制全称Coordinate Attention，是一种将图像的位置信息嵌入到通道注意力机制中的全新的移动网络注意力机制；CA注意力机制将通道注意力分解为两个1维特征编码过程，分别沿2个空间方向聚合特征；这样，可以沿一个空间方向捕获远程依赖关系，同时可以沿另一空间方向保留精确的位置信息；然后将生成的特征图分别编码为一对方向感知和位置敏感的Attention Map，可以将其互补地应用于输入特征图，以增强关注对象的表示；一个CA块可以被看作是一个计算单元，旨在增强网络中特征的表达能力；它可以将任何中间特征张量作为输入并通过转换输出与张量具有相同大小同时具有增强表征的Attention Map；
改进U2-NetP网络的具体步骤如下：在U2-NetP神经网络主体架构中和RSU-CA-L模块中的上采样之后添加CA-Block，然后再接Concate操作；同样，在U-Net神经网络中也设计融合了CA注意力机制；并在相同实验参数条件下对比了U-Net、U-Net+CA、U2-NetP、U2-NetP+CA四种语义分割神经网络的结果；实验参数条件如下：图像输入大小为320×320，迭代次数为5000次，BatchSize为16，学习率为0.001，Scheduler为CosineAnnealingDecay，损失函数为CrossEntropyLoss，Optimizer为Momentum；
最后，对实验结果做了分层10折交叉验证，将船舶图像分割数据集的训练集和验证集划分为10折，每一折轮流做验证集，其他折做训练集，总共训练10次，得到在测试集上的平均mIoU指标；本发明从Parameters、Flops、Model size和mIoU四个个方面来评价网络的效果；Parameters是参数量，体现了模型的空间复杂度；Flops是浮点运算数，体现了模型的计算量，用来衡量模型推理的速度；Model size体现了整个模型占用的存储空间，以及是否便于部署；mIoU是每个类别预测区域和实际区域的交并比的平均值，见公式（5），其反映出所有类别的预测结果和真实结果之间的重合度，用来衡量模型推理的表现效果；
其中TP：正类预测为正类的数量；TN：负类预测为负类的数量；FP：负类预测为正类的数量；FN：正类预测为负类的数量；
(2)、水线提取算法；
水线提取算法的具体步骤如下：
1）、对于步骤（1）得到的船舶分割图像，如果不含障碍物，则使用一次Canny边缘检测即可获取到完整的水线信息；
2）、针对存在障碍物的复杂情况，分别对步骤（1）得到的船舶分割图像及其对应的灰度图进行Canny边缘检测，得到包含水线和障碍物轮廓的图像（d），以及仅包含障碍物轮廓的图像（e）；
3）、将步骤2）中得到的两张水线图像（d）和（e）相减即可得到不含障碍物的实际水线；因此，提取水线的效果取决于船舶与水域的分割效果；分割网络的效果越好，提取的水线越精细；
（3）、计算水线平均高度；
在提取水线过程中，不可避免地存在因环境等因素造成水线波动较大的复杂情形，导致实际的水线通常是弯曲的；因此，不能简单使用水尺字符与水面的接触位置作为基准；因此，在得到图像的水线后，本发明综合水线在空间维度上的整体变化，使用牛顿-莱布尼茨公式计算水线的平均高度；见公式（6）：
其原理是通过将曲线划分成一个个小的区间，当区间数量趋近于无穷时，
即可近似代表当前区间中曲线的高度，这样即可得到连续曲线上所有点的平均高度；
本发明将此公式应用在图像领域中，图像的最小单位为像素，因此公式（6）转变为公式（7）的形式：
其中n为逐列扫描图像之后水线像素的列数量，
为水线每一个像素点在图像坐标系中的高度；通常一列上会出现多个相邻像素点代表水线的弯曲趋势，则取多个相邻像素点的平均高度作为当前列的高度，进而计算水线的平均高度。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211564549.4A CN116434230A (zh) | 2022-12-07 | 2022-12-07 | 一种复杂环境下的船舶水尺读数方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211564549.4A CN116434230A (zh) | 2022-12-07 | 2022-12-07 | 一种复杂环境下的船舶水尺读数方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN116434230A true CN116434230A (zh) | 2023-07-14 |
Family
ID=87093150
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202211564549.4A Pending CN116434230A (zh) | 2022-12-07 | 2022-12-07 | 一种复杂环境下的船舶水尺读数方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116434230A (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117197048A (zh) * | 2023-08-15 | 2023-12-08 | 力鸿检验集团有限公司 | 一种船舶水尺读数检测方法、装置及设备 |
| CN118037610A (zh) * | 2024-04-12 | 2024-05-14 | 煤炭科学技术研究院有限公司 | 一种针对复杂环境的水尺图像畸变校正方法和系统 |
-
2022
- 2022-12-07 CN CN202211564549.4A patent/CN116434230A/zh active Pending
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117197048A (zh) * | 2023-08-15 | 2023-12-08 | 力鸿检验集团有限公司 | 一种船舶水尺读数检测方法、装置及设备 |
| CN117197048B (zh) * | 2023-08-15 | 2024-03-08 | 力鸿检验集团有限公司 | 一种船舶水尺读数检测方法、装置及设备 |
| CN118037610A (zh) * | 2024-04-12 | 2024-05-14 | 煤炭科学技术研究院有限公司 | 一种针对复杂环境的水尺图像畸变校正方法和系统 |
| CN118037610B (zh) * | 2024-04-12 | 2024-06-07 | 煤炭科学技术研究院有限公司 | 一种针对复杂环境的水尺图像畸变校正方法和系统 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110738697B (zh) | 基于深度学习的单目深度估计方法 | |
| CN113469177B (zh) | 基于深度学习的排水管道缺陷检测方法及系统 | |
| CN111985376A (zh) | 一种基于深度学习的遥感影像舰船轮廓提取方法 | |
| CN116434230A (zh) | 一种复杂环境下的船舶水尺读数方法 | |
| CN113920107A (zh) | 一种基于改进yolov5算法的绝缘子破损检测方法 | |
| CN112434586B (zh) | 一种基于域自适应学习的多复杂场景目标检测方法 | |
| CN111476159A (zh) | 一种基于双角回归的检测模型训练、检测方法及装置 | |
| CN114841972A (zh) | 基于显著性图和语义嵌入特征金字塔的输电线路缺陷识别方法 | |
| CN116579616B (zh) | 一种基于深度学习的风险识别方法 | |
| CN114742799B (zh) | 基于自监督异构网络的工业场景未知类型缺陷分割方法 | |
| CN113033315A (zh) | 一种稀土开采高分影像识别与定位方法 | |
| CN115830004A (zh) | 表面缺陷检测方法、装置、计算机设备和存储介质 | |
| CN115527103A (zh) | 无人艇感知实验平台系统 | |
| CN113496480A (zh) | 一种焊缝图像缺陷的检测方法 | |
| Sun et al. | IRDCLNet: Instance segmentation of ship images based on interference reduction and dynamic contour learning in foggy scenes | |
| CN117788471B (zh) | 一种基于YOLOv5检测飞机蒙皮缺陷和分类的方法 | |
| CN117557565B (zh) | 一种锂电池极片的检测方法及其装置 | |
| Li et al. | Vision-based target detection and positioning approach for underwater robots | |
| CN116740572A (zh) | 一种基于改进yolox的海上船舰目标检测方法和系统 | |
| CN110889418A (zh) | 一种气体轮廓识别方法 | |
| CN114463628A (zh) | 一种基于阈值约束的深度学习遥感影像船舰目标识别方法 | |
| CN115035429A (zh) | 一种基于复合主干网络和多预测头的航拍目标检测方法 | |
| CN115719368B (zh) | 一种多目标船舶跟踪方法及系统 | |
| CN116503737B (zh) | 基于空间光学图像的船舶检测方法和装置 | |
| CN116958998B (zh) | 一种基于深度学习的数字仪表读数的识别方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |