CN114782905A - 一种基于视频监控的船舶吃水深度检测方法 - Google Patents
一种基于视频监控的船舶吃水深度检测方法 Download PDFInfo
- Publication number
- CN114782905A CN114782905A CN202210683010.4A CN202210683010A CN114782905A CN 114782905 A CN114782905 A CN 114782905A CN 202210683010 A CN202210683010 A CN 202210683010A CN 114782905 A CN114782905 A CN 114782905A
- Authority
- CN
- China
- Prior art keywords
- ship
- picture
- draft
- model
- monitoring
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000012544 monitoring process Methods 0.000 title claims abstract description 101
- 238000001514 detection method Methods 0.000 title claims abstract description 30
- 238000000034 method Methods 0.000 claims abstract description 47
- 238000012549 training Methods 0.000 claims abstract description 37
- 230000009466 transformation Effects 0.000 claims abstract description 36
- PXFBZOLANLWPMH-UHFFFAOYSA-N 16-Epiaffinine Natural products C1C(C2=CC=CC=C2N2)=C2C(=O)CC2C(=CC)CN(C)C1C2CO PXFBZOLANLWPMH-UHFFFAOYSA-N 0.000 claims abstract description 12
- 230000001131 transforming effect Effects 0.000 claims abstract description 7
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 claims description 38
- 238000013135 deep learning Methods 0.000 claims description 29
- 238000003709 image segmentation Methods 0.000 claims description 14
- 239000011159 matrix material Substances 0.000 claims description 13
- 125000004432 carbon atom Chemical group C* 0.000 claims description 8
- 238000013528 artificial neural network Methods 0.000 claims description 6
- 238000004364 calculation method Methods 0.000 claims description 6
- 230000008569 process Effects 0.000 claims description 6
- 238000012795 verification Methods 0.000 claims description 6
- 230000006870 function Effects 0.000 claims description 5
- 230000008859 change Effects 0.000 claims description 3
- 238000006243 chemical reaction Methods 0.000 claims description 3
- 230000011218 segmentation Effects 0.000 claims description 3
- 238000013519 translation Methods 0.000 claims description 2
- 238000005259 measurement Methods 0.000 description 17
- 238000012423 maintenance Methods 0.000 description 10
- 238000012545 processing Methods 0.000 description 9
- 238000005516 engineering process Methods 0.000 description 6
- 239000000284 extract Substances 0.000 description 4
- 238000010586 diagram Methods 0.000 description 3
- 238000012360 testing method Methods 0.000 description 3
- 238000013136 deep learning model Methods 0.000 description 2
- 230000007547 defect Effects 0.000 description 2
- 230000005611 electricity Effects 0.000 description 2
- 238000011835 investigation Methods 0.000 description 2
- 241000196324 Embryophyta Species 0.000 description 1
- 230000002411 adverse Effects 0.000 description 1
- 230000000052 comparative effect Effects 0.000 description 1
- 150000001875 compounds Chemical class 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 238000002372 labelling Methods 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 238000000691 measurement method Methods 0.000 description 1
- 230000006855 networking Effects 0.000 description 1
- 238000003062 neural network model Methods 0.000 description 1
- 239000004576 sand Substances 0.000 description 1
- 238000004804 winding Methods 0.000 description 1
Images
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B63—SHIPS OR OTHER WATERBORNE VESSELS; RELATED EQUIPMENT
- B63B—SHIPS OR OTHER WATERBORNE VESSELS; EQUIPMENT FOR SHIPPING
- B63B39/00—Equipment to decrease pitch, roll, or like unwanted vessel movements; Apparatus for indicating vessel attitude
- B63B39/12—Equipment to decrease pitch, roll, or like unwanted vessel movements; Apparatus for indicating vessel attitude for indicating draught or load
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/02—Affine transformations
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- General Engineering & Computer Science (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Biomedical Technology (AREA)
- Life Sciences & Earth Sciences (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Chemical & Material Sciences (AREA)
- Combustion & Propulsion (AREA)
- Mechanical Engineering (AREA)
- Ocean & Marine Engineering (AREA)
- Image Processing (AREA)
Abstract
本发明公开了一种基于视频监控的船舶吃水深度检测方法。它包括如下步骤，步骤一：构建船舶样本库；收集船舶监控图像、船舶完整结构的外形轮廓图以及船舶型号，构建船舶样本训练库和比对样本库；步骤二：训练船舶检测模型；训练船舶检测模型，识别出实际航行中船舶的外形轮廓及型号；步骤三：变换船舶投影平面；对监控图像进行仿射变换，将其投影到对应型号的比对样本图片的平面，获得变换图片；步骤四：计算单张图片吃水深度；等比例缩放图片至比对样本图片相同长度，计算单张图片吃水深度；步骤五：计算船舶平均吃水深度。本发明具有测量速度快、适用场景广、使用便捷、成本低的优点。
Description
技术领域
本发明涉及航道监测技术领域，特别涉及一种基于视频监控的船舶吃水深度检测方法。
背景技术
近些年来，受流域经济发展、传播运营成本及传播配载管理等因素影响，内核船舶运输超载、超吃水现象有大幅反弹的趋势，给水上运输安全带来了严重危害。船舶超吃水是指船舶实际吃水超过航道实际维护水深和规定富余水深之和。这些超吃水深度的船舶犹如一颗随时可能发生爆炸的“水雷”，在靠、离码头、调整航向、掉头或是与其他船舶、水上设施等相遇时，驾驶员操作稍有不慎，就容易发生搁浅事故，对船员的人身安全和财产安全造成严重威胁。而船舶一旦发生搁浅，很容易就会造成航道阻塞甚至断航状况，给航道畅通和安全带来严重不利影响；
目前治理超载、超吃水的主要措施有两类，人工勘察和自动监测。人工勘察是靠海事人员驾驶海巡艇到违章船舶上进行现场勘察，核对船舶干舷高度、吃水深度，对停泊的船舶比较容易勘验，若船舶正在航行途中，虽然有违章，但对缠脖进行拦截检查仍会带来较大安全风险。船舶必须要停靠下来，海事人员再上船进行人工勘验，这样不仅效率低下，而且十分不便，无形中大大增加了人力、物力、财力的管理成本；
自动监测方法主要有两种，一种是通过在船舶上安装特定的传感器进行监测，该方法缺陷明显，船主为了超载牟利会想方设法破坏或影响安装在各自船舶上的传感器的工作状态，从而使得测量数据的准确性无法得到保障。另一种方法是基于声纳、超声波阵列等技术的水下测量方法，该方法虽然测量速度快，但设备成本高、安装位置受限，无法广泛普及，而且在设备安装在水下容易受到水底沙石、水草等杂物影响，需要定期清理，维护成本高；
因此，开发一种测量速度快、适用场景广、设备成本低、维护成本低的船舶吃水深度监测方法很有必要。
发明内容
本发明的目的是为了提供一种基于视频监控的船舶吃水深度检测方法，利用视频监控技术、图像处理，并充分结合深度学习技术，从监控视频中发现、提取、比对船舶轮廓特征，计算船舶吃水深度；本发明仅从视频监控角度出发，无需安装其他硬件设备，具有测量速度快、适用场景广、使用便捷、设备成本低、维护成本低等优点。
为了实现上述目的，本发明的技术方案为：一种基于视频监控的船舶吃水深度检测方法，其特征在于：包括如下步骤，
步骤一：构建船舶样本库；
船舶样本包括船舶视频监控图像和船舶完整结构的样本；
收集船舶监控图像、船舶完整结构的外形轮廓图以及船舶型号，构建船舶训练样本库和比对样本库；
步骤二：训练船舶检测模型；
对船舶监控图像的水上部分船舶的外形轮廓和水面区域进行标注，标签为船舶对应的型号，训练船舶分割模型，识别出实际航行中船舶的外形轮廓及型号；
步骤三：变换船舶投影平面；
对监控图像进行仿射变换，将其投影到对应型号的比对样本图片的平面，获得变换图片；
步骤四：计算单张图片吃水深度；
等比例缩放图片至比对样本图片相同长度，计算单张图片中船舶水下部分轮廓的吃水深度；
步骤五：计算船舶平均吃水深度；
基于视频连续帧检测，计算一段时间内船舶水下部分轮廓的吃水深度，获取船舶平均吃水深度，减少由于水面波动带来的随机误差。
在上述技术方案中，船舶视频监控图像包括视频监控中水面以上的船体部分，采集通航中不同型号的船舶在各种行驶方向上的监控图片，标注水上部分船舶的外形轮廓、水面区域，并以船舶的型号作为船舶的标签，构船舶建深度学习训练样本库；
船舶完整结构的样本指包含水上及水下部分船舶完整的结构图片，并注明船舶的外形尺寸，每种型号的船舶收集一张完整结构图片，构建比对样本库。
在上述技术方案中，在步骤二中，训练船舶检测模型的具体方法为：
构建以图像分割神经网络为核心的船舶检测模型，在步骤一中构建的船舶深度学习训练样本库上每种型号的船舶随机抽取80%作为训练集，剩余20%作为验证集，以模型（即图像分割网络，网络结构构建好之后，通过已标注的数据进行训练，获得网络中各个参数的值，最终得到的网络结构和参数，合并后即为模型）在验证集上的性能反复调节网络参数到最佳值，然后以该最佳值参数对步骤一中构建的船舶深度学习训练样本库的所有图片进行充分训练，最终获得能识别出实际航行中船舶型号和外形轮廓的深度学习图像分割模型。
在上述技术方案中，在步骤三中，变换船舶投影平面的具体方法为：
船舶在航行过程中方向各异，通过深度学习图像分割模型检测到船舶水上部分的外形轮廓后，采用仿射变换，将步骤二中提取的船舶外形轮廓投影到同型号的对比样本所在平面（即步骤一中的比对样本库中同型号的对比样本所在平面）；
监控图像中的船舶（即获取的待测实际航行中船舶的监控图像）通过缩放、旋转和平移，转换为比对样本库中船舶图片，假设监控图像M1中任意一点的坐标为(x,y)，变换后图像M2中任意一点的坐标为（u,v）,
构建齐次变换矩阵F：
监控图像的变换方程为：
从外形轮廓中，提取实际航行中船舶头部最靠前的顶点、船尾最靠后的顶点，以及船身最高处的顶点，作为3个关键特征点；同时，根据从深度学习神经网络检测模型（即步骤二中的深度学习图像分割模型）识别出的船舶型号，从步骤一构建的比对样本库中提取同型号的船舶样本图片，同样选择船舶头部顶点、尾部顶点、最高处顶点作为3个关键特征点；3组对应坐标点即可求解出上述变换矩阵中的6个未知参数，获得变换矩阵F；
对步骤二获取的监控图像中船舶水上部分所有像素点逐个进行放射变换，投影到比对图片所在平面，得到变换图片M2。本发明对获取的待测实际航行中的船舶的监控图像使用步骤二中训练好的模型，进行识别和分割，得到的船舶水上部分。
在上述技术方案中，在步骤四中，计算单张图片吃水深度的具体方法为：
S41：等比例缩放变换图片；
监控画面中船舶的尺寸大小与船舶到监控摄像头的距离有关，距离越近，尺寸越
大，因此，将步骤三中获得的变换图片M2，缩放到比对样本库中的比对样本图片M0相同比
例；假设变换图片M2中船舶的长度为L2，样本图片中船舶的长度为L 0 ，则缩放比例
为：
对变化图片按照比例
进行等比例缩放，得到待比对图片M3；
S42：建立坐标系；
以船首甲板最前端为原点O，沿甲板方向经过船尾甲板最尾端为X方向，竖直向下
为Y方向，建立船舶坐标系F，比对样本图片M0中船舶甲板下方轮廓线为
，待比对图片M3
中船舶甲板下方轮廓线为
；
S43：计算船舶吃水深度；
对齐M3和M0中船首甲板最前端和船尾甲板最末端，从船首向船尾方向逐点比对M3
和M0中甲板以下的轮廓，垂直方向上的距离差即为吃水深度，进而获取甲板下方轮廓所有
位置的吃水深度
：
上式中，L 0 为比对样本库中的比对样本图片；
为比对样本图片M0中船舶甲板
下方轮廓线；
为待比对图片M3中船舶甲板下方轮廓线；
取最大吃水深度为当前时刻t下船舶的吃水深度
：
在上述技术方案中，在步骤五中，计算船舶平均吃水深度的具体方法为：
由于船舶航行时水面波动、拍摄相机的随机晃动等可能的误差，单张图片中的船
舶吃水深度具有一定的随机性，选取时间段T内的N张监控图片（即时间段T内的N张连续
帧），重复步骤三至步骤四，计算每张图片的吃水深度，采用加权求和的吃水深度作为最终
吃水深度
，为：
上式中，
表示船舶最终吃水深度（也即对每张船舶图片的吃水深度采用加权求
和的平均吃水深度）；
为当前时刻t下船舶的吃水深度；t0、tN分别为选取的时段T的开始
时刻和结束时刻；
为权重函数；
其中权重函数
为：
因此最终船舶吃水深度计算公式为：
上式中，
表示船舶最终吃水深度；
为当前时刻t下船舶的吃水深度；t0、tN分别
为选取的时段T的开始时刻和结束时刻。
本发明具有如下优点：
（1）本发明利用视频监控技术、图像处理技术，并充分结合深度学习技术，从监控视频中发现、提取、比对船舶轮廓特征，计算船舶吃水深度；本发明仅从视频监控角度出发，无需安装其他硬件设备，具有测量速度快、适用场景广、使用便捷、设备成本低、维护成本低等优点；
（2）本发明仅需一次性收集各种类型船舶样本进行深度学习的模型训练，在实际测量时只需要使用岸线布置的常规摄像头获取实际航行中船舶任一时间段的多张连续帧即可实现实际航行中船舶吃水深度的实时测量，操作简单、识别速度快、适应性广、设备维护成本低。
附图说明
图1为本发明流程图；
图2为本发明中变换投影平面示意图；
图3为本发明中单张图片船舶吃水深度计算示意图。
在图2中，位于左侧的图为监控图像M1，位于右侧的图为变换图片M2；
在图3中，左图表示建立的船舶坐标系F；右图表示比样本图片M0，待比对图片M3的
比对图；O表示比对样本库中样本图片的原点（原点位于船首甲板最前端）；M3表示获取的实
际航行中船舶的待比对图片（即）；M0表示对样本库中的样本图片；
表示样本图片M0中
船舶甲板下方轮廓线；
表示待比对图片M3中船舶甲板下方轮廓线；
表示甲板下方轮
廓所有位置的吃水深度。
具体实施方式
下面结合附图详细说明本发明的实施情况，但它们并不构成对本发明的限定，仅作举例而已。同时通过说明使本发明的优点更加清楚和容易理解。
本发明为一种将视频监控、图像处理、深度学习有机结合，并结合建立的样本库计算船舶吃水深度的方法，其测量速度快、适用场景广、设备成本低、维护成本低；本发明通过岸线布置的常规摄像头实时测量船舶吃水深度，全程自动监测，无需人工参与，测量结果客观准确，满足监测要求。
参阅附图可知：一种基于视频监控的船舶吃水深度检测方法，包括如下步骤，
步骤一：构建船舶样本库；
船舶样本包括船舶视频监控图像和船舶完整结构的样本；
收集船舶监控图像、船舶完整结构的外形轮廓图以及船舶型号，构建船舶训练样本库和比对样本库；
步骤二：训练船舶检测模型；
对船舶监控图像的外形轮廓（即水上部分船舶的外形轮廓）、水面区域进行标注，标签为对应的型号，训练船舶分割模型，识别出实际航行中船舶的外形轮廓及型号；
步骤三：变换船舶投影平面；
对监控图像进行仿射变换，将其投影到对应型号的比对样本图片的平面，获得变换图片；
由于船只行驶方向各异，直接按照对比样本库中的尺寸缩放会有较大误差，因此本发明将监控画面中的船只矫正到对比样本图片中的投影平面上来；
步骤四：计算单张图片吃水深度；
等比例缩放图片至比对样本图片相同长度，计算单张图片中船舶水下部分轮廓的吃水深度；
计算视频监控单帧画面中船舶的吃水深度，作为S5计算连续帧平均吃水深度的基础；
步骤五：计算船舶平均吃水深度；
基于视频连续帧检测，计算一段时间内船舶水下部分轮廓的吃水深度，获取船舶平均吃水深度，减少由于水面波动带来的随机误差（如图1所示）。
进一步地，船舶视频监控图像包括视频监控中水面以上的船体部分，采集通航中不同型号的船舶在各种行驶方向上的监控图片，标注水上部分船舶的外形轮廓、水面区域，并以船舶的型号作为船舶的标签，构船舶建深度学习训练样本库；标注收集到的监控图片，标注船舶外形轮廓和型号，训练船舶识别模型，用于在监控画面中实时识别船舶型号和水上部分的外形轮廓；
船舶完整结构的样本包含水上及水下部分船舶完整的结构图片，并注明船舶的外形尺寸（如，长、宽、高），每种型号的船舶收集一张完整结构图片，构建比对样本库。
在步骤一中，构建的船舶样本库包括两部分内容，训练样本库和对比样本库：
（1）训练样本库包括船舶监控图片和船舶型号，目的是训练深度学习模型，实现对监控视频中船只型号的识别和船舶水上部分的外形轮廓的识别；
（2）对比样本库包括船舶的完整结构外形轮廓图、型号以及外形尺寸（长、宽、高），其中型号是为了根据深度学习模型识别出型号后，在对比样本库中查找对应的对比样本；轮廓图及外形尺寸作为后面图像处理中仿射变换的目标，和计算吃水深度。
进一步地，在步骤二中，训练船舶检测模型的具体方法为：
构建以图像分割神经网络为核心的船舶检测模型，在步骤一中构建的船舶深度学习训练样本库上每种型号的船舶随机抽取80%作为训练集，剩余20%作为验证集，以模型在验证集上的性能反复调节网络参数到最佳值，然后以该最佳值参数对步骤一中构建的船舶深度学习训练样本库的所有图片进行充分训练，最终获得能识别出实际航行中船舶型号和外形轮廓的深度学习图像分割模型。深度学习通过收集监控图片，标注，训练神经网络实现；其作用是实时识别视频监控中船舶型号和水上部分的外形轮廓，其中型号用于在样本库中查找对应的样本图片及船只尺寸数据，识别出的外形轮廓用于与样本图片比对，计算吃水深度。
进一步地，在步骤三中，变换船舶投影平面的具体方法为：
船舶在航行过程中方向各异，通过深度学习神经网络模型（即步骤二中的深度学习图像分割模型）检测到船舶上水部分的外形轮廓后，采用仿射变换，将步骤二中提取的船舶外形轮廓投影到同型号的对比样本所在平面（即步骤一的比对样本库中同型号的对比样本所在平面）；
监控图像中的船舶（即即获取的待测实际航行中的船舶的监控图像）通过图像处理（如缩放、旋转和平移，等）（该图像处理的作用是调整监控画面中船舶的角度，使其与样本库中对应的船只图片保持相同的投影平面，为下一步的计算吃水深度打基础；克服了不调整投影平面的情况下，当船只倾斜时，计算的吃水深度误差大的缺陷），转换为比对样本库中船舶图片，假设监控图像中任意一点的坐标为(u,v)，比对图像中任意一点的坐标为（x,y）,仿射变换可以由一个矩阵A和一个向量B构成：
因此，构建仿射变换的计算矩阵：
仿射变换为二维变换是一种二维坐标（u,v）到二维坐标(x,y)的线性变换，其数学表达式为：
统一为一个变换矩阵M：
通过计算关系可知，M为2×3的矩阵，经过F的变换，视频监控图片会发生尺寸改变，因此为F添加一维：
构建齐次坐标矩阵，最终得到变换方程为：
从外形轮廓中，提取实际航行中船舶头部最靠前的顶点、船尾最靠后的顶点，以及船身最高处的顶点，作为3个关键特征点；同时，根据从深度学习神经网络检测模型（即步骤二中的深度学习图像分割模型）识别出的船舶型号，从步骤S1构建的比对样本库中，提取同型号的船舶样本图片，同样选择船舶头部顶点、尾部顶点、最高处顶点作为3个关键特征点；3组对应坐标点即可求解出上述变换矩阵中的6个未知参数，获得变换矩阵F；对步骤二获取的监控图像中船舶水上部分所有像素点逐个进行放射变换，投影到比对图片所在平面，得到变换图片M2（如图2所示）。
进一步地，在步骤四中，如图３所示，计算单张图片吃水深度的具体方法为：
S41：等比例缩放变换图片；
监控画面中船舶的尺寸大小与船舶到监控摄像头的距离有关，距离越近，尺寸越
大，因此相同型号船舶不同拍摄角度的监控图片对应的变化图片大小不同，因此，将步骤三
中获得的变换图片M2，缩放到比对样本库中的比对样本图片M0相同比例；假设变换图片M2
中船舶的长度为L2，样本图片中船舶的长度为L 0 ，则缩放比例
为：
对变化图片按照比例
进行等比例缩放，得到待比对图片M3；
S42：建立坐标系；
以船首甲板最前端为原点O，沿甲板方向经过船尾甲板最尾端为X方向，竖直向下
为Y方向，建立船舶坐标系F，比对样本图片M0中船舶甲板下方轮廓线为
，待比对图片
M3中船舶甲板下方轮廓线为
；
S43：计算船舶吃水深度；
对齐M3和M0中船首甲板最前端和船尾甲板最末端，从船首向船尾方向逐点比对M3
和M0中甲板以下的轮廓，垂直方向上的距离差即为吃水深度，进而获取甲板下方轮廓所有
位置的吃水深度
：
上式中，L 0 为比对样本库中的比对样本图片；
为比对样本图片M0中船舶甲板
下方轮廓线；
为待比对图片M3中船舶甲板下方轮廓线；
取最大吃水深度为当前时刻t下船舶的吃水深度
：
进一步地，在步骤五中，计算船舶平均吃水深度的具体方法为：
由于船舶航行时水面波动、拍摄相机的随机晃动等可能的误差，单张图片中的船
舶吃水深度具有一定的随机性，选取时间段T内的N张监控图片（即时间段T内的N张连续
帧），重复步骤三至步骤四，计算每张图片的吃水深度，采用加权求和的吃水深度作为最终
吃水深度
，为：
上式中，
为当前时刻t下船舶的吃水深度；t0、tN分别为选取的时段T的开始时刻
和结束时刻；
为权重函数；
其中权重函数
为：
因此最终船舶吃水深度计算公式为：
上式中，
表示船舶最终吃水深度；
为当前时刻t下船舶的吃水深度；t0、tN分别
为选取的时段T的开始时刻和结束时刻。
实施例
现以本发明试用于某航道船舶吃水深度的监测为实施例对本发明进行详细说明，对本发明应用于其它流域航道船舶吃水深度监测同样具有指导作用。
本实施例中的航道长约2000m；宽约1100m；深约25m；
本实施例中的航道根据船舶吃水深度的监测要求，先后采用的监测方法有：在船舶上安装吃水深度监测传感器、采用超声波阵列进行水下测量、采用海事雷达、遥控水上机器人靠近船舶拍摄、遥控无人机靠近船舶拍摄。但上述船舶监测方法成本高、操作复杂；
本实施例采用本发明方法，在监测前一次性收集各种类型船舶样本进行深度学习的模型训练，在实际测量时使用岸线布置的常规摄像头实现实时测量，获取任一时刻的船舶吃水深度，监测精度为约为20cm，满足船舶吃水深度的监测要求；可见本发明仅依赖视频监控就能实现吃水深度的高精度实时测量，操作简便，设备成本及使用成本低；
为了能够更加清楚的说明本发明的船舶吃水深度监测方法与现有的船舶吃水深度的监测方法相比所具有的优点，工作人员将这两种技术方案进行了对比，其对比结果如下表1：
表1 对比结果
从上表1可以看出，相对于现有技术，本发明所述基于视频监控的船舶吃水深度检测方法测量速度快、适用场景广，设备成本低（设备成本1万元以内，设备包括：监控球机、计算服务器，以及配套的取电、组网费用）、维护成本低（维护成本约1000元/年，包含电费、设备日常维护），显著地节约了成本，通过岸线布置的常规摄像头实时测量船舶吃水深度，全程自动监测，无需人工参与，测量结果客观准确，满足监测要求。
验证试验
现以上述实施例依次执行本发明方法中的各步骤实现船舶吃水深度监测为实验组，以上述实施例缺失图像处理的同时依次执行本发明方法中的各步骤为对照组对本发明进行验证。
实验组先采用深度学习识别船只型号和提取船只轮廓，再采用图像处理进行矫正，实现舶吃水深度高精度实时监测；试验结果显示，实验组在实际测量时使用岸线布置的常规摄像头实现实时测量，获取任一时刻的船舶吃水深度，监测精度为约为20cm，满足船舶吃水深度的监测要求；
对照组仅采用深度学习识别船只型号和提取船只轮廓，未采用图像处理进行矫正；试验结果显示，对照组在实际测量时使用岸线布置的常规摄像头实现实时测量，获取任一时刻的船舶吃水深度，监测精度为约为50cm~1m，不满足船舶吃水深度的监测要求。
其它未说明的部分均属于现有技术。
Claims (6)
1.一种基于视频监控的船舶吃水深度检测方法，其特征在于：包括如下步骤，
步骤一：构建船舶样本库；
船舶样本包括船舶视频监控图像和船舶完整结构的样本；
收集船舶监控图像、船舶完整结构的外形轮廓图以及船舶型号，构建船舶训练样本库和比对样本库；
步骤二：训练船舶检测模型；
对船舶视频监控图像的外形轮廓进行标注，标签为对应的船舶型号，训练船舶分割模型，识别出实际航行中船舶的外形轮廓及型号；
步骤三：变换船舶投影平面；
对船舶视频监控图像进行仿射变换，将其投影到对应型号的比对样本图片的平面，获得变换图片；
步骤四：计算单张图片吃水深度；
等比例缩放图片至比对样本图片相同长度，计算单张图片中船舶水下部分轮廓的吃水深度；
步骤五：计算船舶平均吃水深度；
基于视频连续帧检测，计算一段时间内船舶水下部分轮廓的吃水深度，获取船舶平均吃水深度，减少由于水面波动带来的随机误差。
2.根据权利要求1所述的基于视频监控的船舶吃水深度检测方法，其特征在于：船舶视频监控图像包括视频监控中水面以上的船体部分，采集通航中不同型号的船舶在各种行驶方向上的监控图片，标注水上部分船舶的外形轮廓、水面区域，并以船舶的型号作为船舶的标签，构船舶建深度学习训练样本库；
船舶完整结构的样本指包含水上及水下部分船舶完整的结构图片，并注明船舶的外形尺寸，每种型号的船舶收集一张完整结构图片，构建比对样本库。
3.根据权利要求2所述的基于视频监控的船舶吃水深度检测方法，其特征在于：在步骤二中，训练船舶检测模型的具体方法为：
构建以图像分割神经网络为核心的船舶检测模型，在步骤一中构建的船舶深度学习训练样本库上每种型号的船舶随机抽取80%作为训练集，剩余20%作为验证集，以模型在验证集上的性能反复调节网络参数到最佳值，然后以该最佳值参数对步骤一中构建的船舶深度学习训练样本库的所有图片进行充分训练，最终获得能识别出实际航行中船舶型号和外形轮廓的深度学习图像分割模型。
4.根据权利要求3所述的基于视频监控的船舶吃水深度检测方法，其特征在于：在步骤三中，变换船舶投影平面的具体方法为：
船舶在航行过程中方向各异，通过深度学习图像分割模型检测到船舶水上部分的外形轮廓后，采用仿射变换，将步骤二中提取的船舶外形轮廓投影到同型号的对比样本所在平面；
获取的待测实际航行中船舶的监控图像通过缩放、旋转和平移，转换为比对样本库中船舶图片，假设监控图像M1中任意一点的坐标为(x,y)，变换后图像M2中任意一点的坐标为（u,v）,
构建齐次变换矩阵F：
监控图像的变换方程为：
从外形轮廓中，提取实际航行中船舶头部最靠前的顶点、船尾最靠后的顶点，以及船身最高处的顶点，作为3个关键特征点；同时，根据从深度学习图像分割模型识别出的船舶型号，从步骤一构建的比对样本库中提取同型号的船舶样本图片，同样选择船舶头部顶点、尾部顶点、最高处顶点作为3个关键特征点；3组对应坐标点即可求解出上述变换矩阵中的6个未知参数，获得变换矩阵F；
对步骤二获取的监控图像中船舶水上部分所有像素点逐个进行放射变换，投影到比对图片所在平面，得到变换图片M2。
5.根据权利要求4所述的基于视频监控的船舶吃水深度检测方法，其特征在于：在步骤四中，计算单张图片吃水深度的具体方法为：
S41：等比例缩放变换图片；
监控画面中船舶的尺寸大小与船舶到监控摄像头的距离有关，距离越近，尺寸越大，因
此，将步骤三中获得的变换图片M2，缩放到比对样本库中的比对样本图片M0相同比例；假设
变换图片M2中船舶的长度为L2，样本图片中船舶的长度为L 0 ，则缩放比例
为：
对变化图片按照比例
进行等比例缩放，得到待比对图片M3；
S42：建立坐标系；
以船首甲板最前端为原点O，沿甲板方向经过船尾甲板最尾端为X方向，竖直向下为Y方
向，建立船舶坐标系F，比对样本图片M0中船舶甲板下方轮廓线为
，待比对图片M3中船
舶甲板下方轮廓线为
；
S43：计算船舶吃水深度；
对齐M3和M0中船首甲板最前端和船尾甲板最末端，从船首向船尾方向逐点比对M3和M0
中甲板以下的轮廓，垂直方向上的距离差即为吃水深度，进而获取甲板下方轮廓所有位置
的吃水深度
：
上式中，L 0 为比对样本库中的比对样本图片；
为比对样本图片M0中船舶甲板下方轮
廓线；
为待比对图片M3中船舶甲板下方轮廓线；
取最大吃水深度为当前时刻t下船舶的吃水深度
：
6.根据权利要求5所述的基于视频监控的船舶吃水深度检测方法，其特征在于：在步骤五中，计算船舶平均吃水深度的具体方法为：
由于船舶航行时水面波动、拍摄相机的随机晃动的误差，单张图片中的船舶吃水深度
具有一定的随机性，选取时间段T内的N张监控图片，重复步骤三至步骤四，计算每张图片的
吃水深度，采用加权求和的吃水深度作为最终吃水深度
，为：
上式中，
为当前时刻t下船舶的吃水深度；t0、tN分别为选取的时段T的开始时刻和结
束时刻；
为权重函数；
其中权重函数
为：
因此最终船舶吃水深度计算公式为：
上式中，
为当前时刻t下船舶的吃水深度；t0、tN分别为选取的时段T的开始时刻和结
束时刻。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210683010.4A CN114782905B (zh) | 2022-06-17 | 2022-06-17 | 一种基于视频监控的船舶吃水深度检测方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210683010.4A CN114782905B (zh) | 2022-06-17 | 2022-06-17 | 一种基于视频监控的船舶吃水深度检测方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN114782905A true CN114782905A (zh) | 2022-07-22 |
| CN114782905B CN114782905B (zh) | 2022-09-27 |
Family
ID=82420600
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210683010.4A Active CN114782905B (zh) | 2022-06-17 | 2022-06-17 | 一种基于视频监控的船舶吃水深度检测方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114782905B (zh) |
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115165027A (zh) * | 2022-09-07 | 2022-10-11 | 广东广宇科技发展有限公司 | 基于无人机的水位尺监测方法、系统、电子设备、介质 |
| CN115424475A (zh) * | 2022-11-07 | 2022-12-02 | 亚太卫星宽带通信（深圳）有限公司 | 一种应用于智慧航运数据采集的装置与系统 |
| CN115571290A (zh) * | 2022-11-09 | 2023-01-06 | 传仁信息科技(南京)有限公司 | 一种船舶吃水自动检测系统及其方法 |
| CN115675780A (zh) * | 2022-12-30 | 2023-02-03 | 武汉理工大学 | 船舶吃水预测方法、系统、电子设备及可读存储介质 |
| CN116303523A (zh) * | 2022-11-30 | 2023-06-23 | 杭州数聚链科技有限公司 | 一种货船自动识别采样方法及系统 |
| CN116385984A (zh) * | 2023-06-05 | 2023-07-04 | 武汉理工大学 | 船舶吃水深度的自动检测方法和装置 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20090112510A1 (en) * | 2007-10-31 | 2009-04-30 | Crane John C | Method and system for continuously determining vessel draft and amount of cargo in a vessel undergoing loading |
| CN102730166A (zh) * | 2012-06-13 | 2012-10-17 | 深圳丰泽合创光电科技有限公司 | 内河船舶吃水自动监测系统及方法 |
| CN108509919A (zh) * | 2018-04-03 | 2018-09-07 | 哈尔滨哈船智控科技有限责任公司 | 一种基于深度学习对视频或图片中水线的检测和识别方法 |
| CN109903303A (zh) * | 2019-02-25 | 2019-06-18 | 秦皇岛燕大滨沅科技发展有限公司 | 一种基于卷积神经网络的船舶吃水线提取方法 |
| CN111212232A (zh) * | 2020-01-17 | 2020-05-29 | 南京畅淼科技有限责任公司 | 一种船舶信息分析用视频分析检测方法 |
| CN114037375A (zh) * | 2021-11-04 | 2022-02-11 | 广州港发石油化工码头有限公司 | 码头船舶吃水深度监测方法、装置、设备以及存储介质 |
-
2022
- 2022-06-17 CN CN202210683010.4A patent/CN114782905B/zh active Active
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20090112510A1 (en) * | 2007-10-31 | 2009-04-30 | Crane John C | Method and system for continuously determining vessel draft and amount of cargo in a vessel undergoing loading |
| CN102730166A (zh) * | 2012-06-13 | 2012-10-17 | 深圳丰泽合创光电科技有限公司 | 内河船舶吃水自动监测系统及方法 |
| CN108509919A (zh) * | 2018-04-03 | 2018-09-07 | 哈尔滨哈船智控科技有限责任公司 | 一种基于深度学习对视频或图片中水线的检测和识别方法 |
| CN109903303A (zh) * | 2019-02-25 | 2019-06-18 | 秦皇岛燕大滨沅科技发展有限公司 | 一种基于卷积神经网络的船舶吃水线提取方法 |
| CN111212232A (zh) * | 2020-01-17 | 2020-05-29 | 南京畅淼科技有限责任公司 | 一种船舶信息分析用视频分析检测方法 |
| CN114037375A (zh) * | 2021-11-04 | 2022-02-11 | 广州港发石油化工码头有限公司 | 码头船舶吃水深度监测方法、装置、设备以及存储介质 |
Non-Patent Citations (2)
| Title |
|---|
| WEI ZHAN ET AL.: "The system research and implementation for autorecognition of the ship draft via the UAV", 《INTERNATIONAL JOURNAL OF ANTENNAS AND PROPAGATION》 * |
| 马吉顺 等: "基于YOLO算法的船舶识别定位系统", 《新型工业化》 * |
Cited By (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115165027A (zh) * | 2022-09-07 | 2022-10-11 | 广东广宇科技发展有限公司 | 基于无人机的水位尺监测方法、系统、电子设备、介质 |
| CN115165027B (zh) * | 2022-09-07 | 2022-11-29 | 广东广宇科技发展有限公司 | 基于无人机的水位尺监测方法、系统、电子设备、介质 |
| CN115424475A (zh) * | 2022-11-07 | 2022-12-02 | 亚太卫星宽带通信（深圳）有限公司 | 一种应用于智慧航运数据采集的装置与系统 |
| CN115571290A (zh) * | 2022-11-09 | 2023-01-06 | 传仁信息科技(南京)有限公司 | 一种船舶吃水自动检测系统及其方法 |
| CN116303523A (zh) * | 2022-11-30 | 2023-06-23 | 杭州数聚链科技有限公司 | 一种货船自动识别采样方法及系统 |
| CN116303523B (zh) * | 2022-11-30 | 2023-10-17 | 杭州数聚链科技有限公司 | 一种货船自动识别采样方法及系统 |
| CN115675780A (zh) * | 2022-12-30 | 2023-02-03 | 武汉理工大学 | 船舶吃水预测方法、系统、电子设备及可读存储介质 |
| CN116385984A (zh) * | 2023-06-05 | 2023-07-04 | 武汉理工大学 | 船舶吃水深度的自动检测方法和装置 |
| CN116385984B (zh) * | 2023-06-05 | 2023-09-01 | 武汉理工大学 | 船舶吃水深度的自动检测方法和装置 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN114782905B (zh) | 2022-09-27 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN114782905B (zh) | 一种基于视频监控的船舶吃水深度检测方法 | |
| CN112884760B (zh) | 近水桥梁多类型病害智能检测方法与无人船设备 | |
| Kim et al. | Real-time visual SLAM for autonomous underwater hull inspection using visual saliency | |
| CN100538723C (zh) | 多视觉传感器信息融合的内河船舶自动识别系统 | |
| US11948344B2 (en) | Method, system, medium, equipment and terminal for inland vessel identification and depth estimation for smart maritime | |
| US20220024549A1 (en) | System and method for measuring the distance to an object in water | |
| KR20210007767A (ko) | 딥러닝-영상인식 기반 해상폐기물 제거용 자율운항 선박 시스템 | |
| CN104535066A (zh) | 一种船载红外视频图像中的海上目标与电子海图的叠加方法及系统 | |
| CN104463877A (zh) | 一种基于雷达影像与电子海图信息的岸线配准方法 | |
| CN110619328A (zh) | 基于图像处理和深度学习的船舶水尺读数智能识别方法 | |
| CN110751077A (zh) | 一种基于部件匹配与距离约束的光学遥感图片船舶检测方法 | |
| CN113987251A (zh) | 船脸特征数据库的建立方法、系统、设备及存储介质 | |
| CN108547272B (zh) | 一种无人驾驶的溢油自动回收系统的工作方法 | |
| Naus et al. | Precision in determining ship position using the method of comparing an omnidirectional map to a visual shoreline image | |
| CN111105390B (zh) | 一种改进的海天线检测和评估方法 | |
| CN113822217A (zh) | 基于ais和视频图像分析的船舶尾气监测方法 | |
| CN110427030B (zh) | 一种基于Tiny-YOLOship目标检测算法的无人艇自主对接回收方法 | |
| KR20230164518A (ko) | 해양 정보 추정 시스템 및 이를 포함하는 선박 | |
| CN110667783A (zh) | 一种无人艇辅助驾驶系统及其方法 | |
| Heyn et al. | A system for automated vision-based sea-ice concentration detection and floe-size distribution indication from an icebreaker | |
| CN113723371A (zh) | 无人船清洁路线规划方法、装置、计算机设备及存储介质 | |
| CN113837924A (zh) | 一种基于无人艇感知系统的水岸线检测方法 | |
| CN112950481B (zh) | 一种基于图像拼接网络的水花遮挡图像数据集采集方法 | |
| CN113077488B (zh) | 一种河流表面流速检测方法和装置 | |
| Mu et al. | Research on optical detection technology for underwater archaeology |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |