CN117333860A - 一种基于深度学习的船舶水尺读数方法及装置 - Google Patents

一种基于深度学习的船舶水尺读数方法及装置 Download PDF

Info

Publication number
CN117333860A
CN117333860A CN202311401303.XA CN202311401303A CN117333860A CN 117333860 A CN117333860 A CN 117333860A CN 202311401303 A CN202311401303 A CN 202311401303A CN 117333860 A CN117333860 A CN 117333860A
Authority
CN
China
Prior art keywords
character
water gauge
rectangular
ship water
image frame
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202311401303.XA
Other languages
English (en)
Inventor
徐瑞东
吴昊
陆科
安浩
王怀德
马文达
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Antobot Robotics Shanghai Co ltd
Original Assignee
Antobot Robotics Shanghai Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Antobot Robotics Shanghai Co ltd filed Critical Antobot Robotics Shanghai Co ltd
Priority to CN202311401303.XA priority Critical patent/CN117333860A/zh
Publication of CN117333860A publication Critical patent/CN117333860A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/62—Text, e.g. of license plates, overlay texts or captions on TV images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0499—Feedforward networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10—Character recognition
    • G06V30/14—Image acquisition
    • G06V30/1444—Selective acquisition, locating or processing of specific regions, e.g. highlighted text, fiducial marks or predetermined fields
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10—Character recognition
    • G06V30/18—Extraction of features or characteristics of the image
    • G06V30/1801—Detecting partial patterns, e.g. edges or contours, or configurations, e.g. loops, corners, strokes or intersections

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Biophysics (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Image Analysis (AREA)

Abstract

本发明实施例公开了一种基于深度学习的船舶水尺读数方法及装置，该方法包括获取关于船舶水尺的目标图像帧；在目标图像帧中确定矩形关注区，矩形关注区用以表示船舶水尺在目标图像帧中的位置；利用深度学习技术确定目标图像帧中水面与船体之间的边界线；获取位于矩形关注区内的边界线的多个坐标值，并计算多个坐标值中的纵坐标值的平均值，根据平均值确定船体在矩形关注区的吃水线；对矩形关注区的图像进行字符检测，得到多个字符矩形框以及各字符矩形框对应的置信度，根据吃水线、多个字符矩形框以及各字符矩形框对应的置信度计算出船舶水尺读数，由此可以实现智能读取船舶水尺读数。

Description

一种基于深度学习的船舶水尺读数方法及装置
技术领域
本发明涉及船舶水尺识别技术领域，尤其涉及一种基于深度学习的船舶水尺读数方法及装置。
背景技术
船舶水尺线是在船舶的首、尾及船舶中间两舷的位置上绘制的刻度，用于估量船舶吃水深度，是进行船舶计重和船舶积载安全评估的重要依据，是船方与港方交接货物重量的重要手段。
传统的船舶水尺刻度监测主要依靠人工测量，人工测量需要目测来获取船舶的实际吃水深度。通常为了获得比较准确的吃水深度，可以让多组人员来目测，记录并处理相关数据，取其平均值来获得一个相对比较客观的数据。但是这种依靠人工目测的方法由于取决于人的视角、经验等主观因素，存在一定局限性，不同人员测出的数据存在浮动。此外，这种方法需要人员在探身越过船舷去观测数据，存在安全隐患。对于较大尺寸的船舶往往还需要观测人员搭乘小型船只到达待检测船舶的吃水线处进行观测，观测人员所乘船只在接近待检船舶时，波浪的起伏也在一定程度上影响了人工观测的精度。这种观测方式不仅不符合现代化智慧绿色港的发展方向，还存在一定风险及成本。
发明内容
本发明实施例提供一种基于深度学习的船舶水尺读数方法及装置，无需人工读数，能够解决现有人工方法中的主观因素高和具有安全隐患的问题。
为了达到上述目的，第一方面，本发明实施例提供一种基于深度学习的船舶水尺读数方法，包括以下步骤：
步骤a：获取关于船舶水尺的目标图像帧；
步骤b：在所述目标图像帧中确定矩形关注区，所述矩形关注区用以表示船舶水尺在所述目标图像帧中的位置；
步骤c：利用深度学习技术对所述目标图像帧进行边界识别，确定水面与船体之间的边界线；
步骤d：获取位于所述矩形关注区内的所述边界线的多个坐标值，并计算所述多个坐标值中的纵坐标值的平均值，根据所述平均值确定船体在矩形关注区的吃水线；
步骤e：对所述矩形关注区的图像进行字符检测，得到多个字符矩形框以及各字符矩形框对应的置信度，每个所述字符矩形框内含有一个字符，所述字符为字母、文字和数字中的一种；
步骤f：根据所述吃水线、多个字符矩形框以及各字符矩形框对应的置信度计算出船舶水尺读数。
进一步地，所述根据所述吃水线、多个字符矩形框以及各字符矩形框对应的置信度计算出船舶水尺读数，包括：
将低于所述吃水线的字符矩形框删除，得到剩余字符矩形框；
从剩余字符矩形框中识别出包含 “M”的字母矩形框；
将置信度最高的“M”字母矩形框的左下角点作为关键点，从所述剩余字符矩形框中获取位于所述关键点左侧的所有连续数字矩形框；
获取所述所有连续数字矩形框中的数字，并将所述所有连续的数字矩形框中的数字所构成的新数字作为船舶水尺读数的整数数值m；
分别获取以下参数：t、s1、s2、L和r，其中参数t为所述剩余字符矩形框中位于所述关键点下方的所有字符矩形框的个数t，s1为所述关键点与吃水线之间的距离，s2为所述关键点与所述剩余字符矩形框中最靠近所述吃水线的字符矩形框的底框线之间的距离，L为所述剩余字符矩形框之间的平均间隔，r为预设的船舶水尺的最小刻度；
根据以下公式一获取船舶水尺读数的小数数值d：
d=floor(s1,L)×r+mod(s1,L)/L×r （一）
计算m-d的差值，得到船舶水尺读数。
进一步地，所述步骤a：获取关于船舶水尺的目标图像帧，包括：
获取采集到的关于船舶水尺的预设时长的原始视频；
依次获取所述原始视频的n个原始图像帧，其中每当前获取的原始图像帧作为一个目标图像帧；
所述方法还包括：
每获取一个所述目标图像帧，则执行步骤b-步骤f，由此得到n个船舶水尺读数；
删除所述n个船舶水尺读数中的离群点数值，得到剩余船舶水尺读数；
计算所述剩余船舶水尺读数的平均值，得到最终的船舶水尺读数。
进一步地，所述依次获取所述原始视频的n个原始图像帧，其中每当前获取的原始图像帧作为一个目标图像帧，包括：
依次获取原始视频的n个原始图像帧，每当前获取一个原始图像帧，则对当前获取的原始图像帧进行缩放，从而得到具有预设固定分辨率的目标图像帧。
进一步地，所述在所述目标图像帧中确定矩形关注区，包括：
将所述目标图像帧转换为二值化图像；
确定所述二值化图像在每列像素上所有像素值为1的像素点，计算所述像素点的像素值之和；
根据每列像素的所述像素点的像素值之和，得到字符像素在横坐标轴上的分布曲线F；
获取所述分布曲线F的最高点纵坐标值h1、次高点的纵坐标值h2、以及所述最高点和次高点连线的中点的纵坐标值c1；
根据以下公式二计算左边界B1和右边界B2：
B1=c1-k1(|h1-h2|)
B2=c1+k2(|h1-h2|) （二）
其中k1和k2为扩大系数；
根据所述左边界B1和右边界B2，确定目标图像帧中的矩形关注区。
第二方面，本发明实施例还提供一种基于深度学习的船舶水尺读数装置，包括：
第一获取模块，用于获取关于船舶水尺的目标图像帧；
第一确定模块，用于在所述目标图像帧中确定矩形关注区，所述矩形关注区用以表示船舶水尺在所述目标图像帧中的位置；
第二确定模块，用于利用深度学习技术对所述目标图像帧进行边界识别，确定水面与船体之间的边界线；
第二获取模块，用于获取位于所述矩形关注区内的所述边界线的多个坐标值，并计算所述多个坐标值中的纵坐标值的平均值，根据所述平均值确定船体在矩形关注区的吃水线；
检测模块，用于对所述矩形关注区的图像进行字符检测，得到多个字符矩形框以及各字符矩形框对应的置信度，每个所述字符矩形框内含有一个字符，所述字符为字母、文字和数字中的一种；
第一计算模块，用于根据所述吃水线、多个字符矩形框以及各字符矩形框对应的置信度计算出船舶水尺读数。
进一步地，所述第一计算模块具体用于：
将低于所述吃水线的字符矩形框删除，得到剩余字符矩形框；
从剩余字符矩形框中识别出包含 “M”的字母矩形框；
将置信度最高的“M”字母矩形框的左下角点作为关键点，从所述剩余字符矩形框中获取位于所述关键点左侧的所有连续数字矩形框；
获取所述所有连续数字矩形框中的数字，并将所述所有连续的数字矩形框中的数字所构成的新数字作为船舶水尺读数的整数数值m；
分别获取以下参数：t、s1、s2、L和r，其中参数t为所述剩余字符矩形框中位于所述关键点下方的所有字符矩形框的个数t，s1为所述关键点与吃水线之间的距离，s2为所述关键点与所述剩余字符矩形框中最靠近所述吃水线的字符矩形框的底框线之间的距离，L为所述剩余字符矩形框之间的平均间隔，r为预设的船舶水尺的最小刻度；
根据以下公式一获取船舶水尺读数的小数数值d：
d=floor(s1,L)×r+mod(s1,L)/L×r （一）
计算m-d的差值，得到船舶水尺读数。
进一步地，所述第一获取模块具体用于：
获取采集到的关于船舶水尺的预设时长的原始视频；
依次获取所述原始视频的n个原始图像帧，其中每当前获取的原始图像帧作为一个目标图像帧；
所述装置还包括：
重复模块，所述重复模块用于在第一获取模块每获取一个所述目标图像帧时，使所述第一确定模块、第二确定模块、第二获取模块、检测模块以及计算模块执行相应的操作；
第二计算模块，所述第二计算模块用于删除所述n个船舶水尺读数中的离群点数值，得到剩余船舶水尺读数；计算所述剩余船舶水尺读数的平均值，得到最终的船舶水尺读数。
进一步地，所述第一确定模块具体用于：
将所述目标图像帧转换为二值化图像；
确定所述二值化图像在每列像素上所有像素值为1的像素点，计算所述像素点的像素值之和；
根据每列像素的所述像素点的像素值之和，得到字符像素在横坐标轴上的分布曲线F；
获取所述分布曲线F的最高点纵坐标值h1、次高点的纵坐标值h2、以及所述最高点和次高点连线的中点的纵坐标值c1；
根据以下公式二计算左边界B1和右边界B2：
B1=c1-k1(|h1-h2|)
B2=c1+k2(|h1-h2|) （二）
其中k1和k2为扩大系数；
根据所述左边界B1和右边界B2，确定目标图像帧中的矩形关注区。
第三方面，本发明实施例还提供一种可读存储介质，所述可读存储介质中存储有计算机程序，所述计算机程序被处理器执行时用于实现上述任一所述的方法。
有益效果：本发明的基于深度学习的船舶水尺读数方法及装置，通过获取关于船舶水尺的目标图像帧；在所述目标图像帧中确定矩形关注区，所述矩形关注区用以表示船舶水尺在所述目标图像帧中的位置；利用深度学习技术对所述目标图像帧进行边界识别，确定水面与船体之间的边界线；获取位于所述矩形关注区内的所述边界线的多个坐标值，并计算所述多个坐标值中的纵坐标值的平均值，根据所述平均值确定船体在矩形关注区的吃水线；对所述矩形关注区的图像进行字符检测，得到多个字符矩形框以及各字符矩形框对应的置信度，每个所述字符矩形框内含有一个字符，所述字符为字母、文字和数字中的一种；根据所述吃水线、多个字符矩形框以及各字符矩形框对应的置信度计算出船舶水尺读数，由此，通过上述方式可实现智能读数，无需人工目测，能够解决现有人工方法中的主观因素高和具有安全隐患的问题。
附图说明
下面结合附图，通过对本发明的具体实施方式详细描述，将使本发明的技术方案及其有益效果显而易见。
图1是本发明提供的基于深度学习的船舶水尺读数方法的流程图；
图2是本发明提供的矩形关注区、字符矩形框及分布曲线的示意图；
图3是本发明提供的根据吃水线、多个字符矩形框以及各字符矩形框对应的置信度计算出船舶水尺读数的流程图；
图4是本发明提供的在目标图像帧中确定矩形关注区的流程图；
图5是本发明提供的基于深度学习的船舶水尺读数装置的一结构示意图；
图6是本发明提供的基于深度学习的船舶水尺读数装置的另一结构示意图。
具体实施方式
请参照图式，其中相同的组件符号代表相同的组件，本发明的原理是以实施在一适当的运算环境中来举例说明。以下的说明是基于所例示的本发明具体实施例，其不应被视为限制本发明未在此详述的其它具体实施例。
参阅图1，本发明实施例提供的基于深度学习的船舶水尺读数方法，包括以下步骤：
步骤a：获取关于船舶水尺的目标图像帧。
其中，可以通过终端设备拍摄船舶水尺图像，拍摄过程保持水面呈水平位置，由此通过终端设备得到关于船舶水尺的目标图像帧。
步骤b：在所述目标图像帧中确定矩形关注区，所述矩形关注区用以表示船舶水尺在所述目标图像帧中的位置。
其中，可以通过对目标图像帧进行图像检测，以检测出船舶水尺，从而确定船舶水尺在目标图像帧中的位置，并采用矩形关注区对船舶水尺在目标图像帧中的位置进行标注。如图2所示，在目标图像帧201中确定了矩形关注区202。
步骤c：利用深度学习技术对所述目标图像帧进行边界识别，确定水面与船体之间的边界线。
其中，可以预先采用深度学习技术搭建一水线语义分割模型，然后输入目标图像帧至该水线语义分割模型中，通过该水线语义分割模型确定水面与船体之间的边界线。
步骤d：获取位于所述矩形关注区内的所述边界线的多个坐标值，并计算所述多个坐标值中的纵坐标值的平均值，根据所述平均值确定船体在矩形关注区的吃水线。
在确定边界线后，可以确定位于矩形关注区内的边界线，之后获取该矩形关注区内的边界线的多个坐标值，并取该多个坐标值的纵坐标值以计算平均值，该平均值作为目标图像帧中的船体的吃水线高度，由此该平均值所在的水平线即为船体的吃水线，即根据平均值确定船体在矩形关注区的吃水线具体为，将该平均值所在的水平线作为船体的吃水线，如图2所示的例子，船体在矩形关注区202的吃水线为203。
步骤e：对所述矩形关注区的图像进行字符检测，得到多个字符矩形框以及各字符矩形框对应的置信度，每个所述字符矩形框内含有一个字符，所述字符为字母、字符和数字中的一种。
通过字符检测网络对矩形关注区的图像进行字符检测，包括检测字母、数字和文字，字符检测网络为深度学习模型。其中，每检测到一个字符则采用一个字符矩形框标注，由此得到表示字符的字符矩形框204，如图2所示，检测到2、4、6、8、14、M等字符，每个字符采用矩形框框住。其中，置信度代表预测结果的可信程度，利用字符检测网络对矩形关注区的图像进行处理，可以输出图像中每个字符对应的矩形框和置信度。
步骤f：根据所述吃水线、多个字符矩形框以及各字符矩形框对应的置信度计算出船舶水尺读数。
通过上述方式，本发明只需拍摄船舶水尺的图像即可计算出船舶水尺读数，无需人工目测，由此可以解决现有人工方法中的主观因素高和具有安全隐患的问题。
进一步地，本发明实施例中，如图3所示，根据所述吃水线、多个字符矩形框以及各字符矩形框对应的置信度计算出船舶水尺读数，具体包括以下子步骤：
步骤f11：将低于所述吃水线的字符矩形框删除，得到剩余字符矩形框。
低于吃水线的字符极大可能为船体上的字符在水面中的倒影，因此为无效字符，将该部分字符去除。
步骤f12：从剩余字符矩形框中识别出包含 “M”的字母矩形框。
在船体上的水尺，通常会在某个数字旁标注“M”单位，也即“米”的单位，如图2所示，通过文字识别技术识别出“M”字符，由此得到该字母矩形框。其中，若未检测到“M”的字母矩形框，则输出错误提示，表示当前的目标图像帧无效，需重新获得目标图像帧。
步骤f13：将置信度最高的“M”字母矩形框的左下角点作为关键点，从所述剩余字符矩形框中获取位于所述关键点左侧的所有连续数字矩形框。
利用置信度可以获取最可信的“M”字符，因此本实施例将置信度最高的“M”字母矩形框的左下角点作为关键点，以提高读数结果的准确性。
步骤f14：获取所述所有连续数字矩形框中的数字，并将所述所有连续的数字矩形框中的数字所构成的新数字作为船舶水尺读数的整数数值m。
如图2所示，在“M”字母矩形框的左下角具有一个圆点，将该圆点作为关键点205，位于该关键点205左侧的所有连续数字矩形框为“1”和“4”两个数字矩形框，将“1”和“4”所构成的新数字“14”作为船舶水尺读数的整数数值，即船舶水尺读数的整数数值m=14。
步骤f15：分别获取以下参数：t、s1、s2、L和r，其中参数t为所述剩余字符矩形框中位于所述关键点下方的所有字符矩形框的个数t，s1为所述关键点与吃水线之间的距离，s2为所述关键点与所述剩余字符矩形框中最靠近所述吃水线的字符矩形框的底框线之间的距离，L为所述剩余字符矩形框之间的平均间隔，r为预设的船舶水尺的最小刻度。
其中，可以预先存储船舶水尺的最小刻度，例如如图2所示的船舶水尺中14.8、14.6、14.4、14.2，相邻两个水尺之间的差值为0.2M（米），因此，船舶水尺的最小刻度r为0.2M。
步骤f16：根据以下公式一获取船舶水尺读数的小数数值d：
d=floor(s1,L)×r+mod(s1,L)/L×r （一）
其中，floor也即floor函数，表示向下取整，mod也即mod函数，表示求余。
步骤f17：计算m-d的差值，得到船舶水尺读数。
如图2所示，在关键点205下方有t=4个字符矩形框，分别为表示2、4、6、8数字的矩形框。在关键点205左侧的数字为“14”，由此可以得到读数的整数部分m=14。假设关键点205与吃水线203之间的距离s1=170像素，关键点205与最靠近字符矩形框的底框线之间的距离s2=160像素，剩余字符矩形框之间的平均间隔为L=s2/t=40像素，用于表示每个刻度之间的距离，图中船舶水尺的最小刻度r=0.2米，说明图上每40像素代表实际中的0.02米。根据上述参数信息，则可以计算读数的小数数字d：
d=floor(170,40)×0.2+mod(170,40)/40×0.2
d=0.8+0.05=0.85
由此，可以得到船舶水尺读数为m-d=14-0.85=13.15。
进一步地，本发明实施例中，所述步骤a：获取关于船舶水尺的目标图像帧，具体包括：
获取采集到的关于船舶水尺的预设时长的原始视频；
依次获取所述原始视频的n个原始图像帧，其中每当前获取的原始图像帧作为一个目标图像帧。
更具体地，可以通过终端设备（手机、平板或无人机等）拍摄一段时长的船舶水尺视频，以得到原始视频。之后，依次获取原始视频的n个原始图像帧，其中每当前获取一个原始图像帧，则对当前获取的原始图像帧进行缩放，从而得到具有预设固定分辨率（例如u×v）的目标图像帧。
本发明实施例的方法还包括：
每获取一个所述目标图像帧，则执行步骤b-步骤f，由此得到n个船舶水尺读数。
之后，删除所述n个船舶水尺读数中的离群点数值，得到剩余船舶水尺读数。其中离群点是指远离序列的一般水平的极端大值和极端小值，本实施例的离群点例如可以是n个船舶水尺读数中的最大值和最小值，将该最大值和最小值去除，从而得到剩余船舶水尺读数。然后，计算所述剩余船舶水尺读数的平均值，得到最终的船舶水尺读数。通过上述方式，可以提高读数的准确性。
本发明实施例中，如图4所示，在所述目标图像帧中确定矩形关注区，具体可以包括：
b11：将所述目标图像帧转换为二值化图像。
其中，构成字符的像素点的像素值为1，其他像素点的像素值为0，例如图2所示，构成字符的像素点为白色像素，在转换过程中，白色像素的像素值为1，其他像素点的像素值则为0。
b12：确定所述二值化图像在每列像素上所有像素值为1的像素点，计算所述像素点的像素值之和。
b13：根据每列像素的所述像素点的像素值之和，得到字符像素在横坐标轴上的分布曲线F。
如图2所示，通过统计白色像素的像素值之和，从而得到白色像素在横坐标轴上的分布曲线F。
b14：获取所述分布曲线F的最高点纵坐标值h1、次高点的纵坐标值h2、以及所述最高点和次高点连线的中点的纵坐标值c1；
b15：根据以下公式二计算左边界B1和右边界B2：
B1=c1-k1(|h1-h2|)
B2=c1+k2(|h1-h2|) （二）
其中k1和k2为扩大系数。
其中，纵坐标值h1和h2的坐标可能会略有误差，通过设置k1和k2两个扩大系数是为了增加矩形关注区两边的余量。
B16：根据所述左边界B1和右边界B2，确定目标图像帧中的矩形关注区。具体为，将目标图像帧中左边界B1和右边界B2之间的矩形区设置为矩形关注区。
参阅图5，本发明实施例还提供一种基于深度学习的船舶水尺读数装置，该装置可以集成在终端设备或者服务器中，例如，本发明的船舶水尺读数装置集成在服务器中，该服务器与终端设备无线通信。其中，该船舶水尺读数装置包括：
第一获取模块501，用于获取关于船舶水尺的目标图像帧；
第一确定模块502，用于在所述目标图像帧中确定矩形关注区，所述矩形关注区用以表示船舶水尺在所述目标图像帧中的位置；
第二确定模块503，用于利用深度学习技术对所述目标图像帧进行边界识别，确定水面与船体之间的边界线；
第二获取模块504，用于获取位于所述矩形关注区内的所述边界线的多个坐标值，并计算所述多个坐标值中的纵坐标值的平均值，根据所述平均值确定船体在矩形关注区的吃水线；
检测模块505，用于对所述矩形关注区的图像进行字符检测，得到多个字符矩形框以及各字符矩形框对应的置信度，每个所述字符矩形框内含有一个字符，所述字符为字母、文字和数字中的一种；
第一计算模块506，用于根据所述吃水线、多个字符矩形框以及各字符矩形框对应的置信度计算出船舶水尺读数。
其中，所述第一计算模块506具体用于：
将低于所述吃水线的字符矩形框删除，得到剩余字符矩形框；
从剩余字符矩形框中识别出包含 “M”的字母矩形框；
将置信度最高的“M”字母矩形框的左下角点作为关键点，从所述剩余字符矩形框中获取位于所述关键点左侧的所有连续数字矩形框；
获取所述所有连续数字矩形框中的数字，并将所述所有连续的数字矩形框中的数字所构成的新数字作为船舶水尺读数的整数数值m；
分别获取以下参数：t、s1、s2、L和r，其中参数t为所述剩余字符矩形框中位于所述关键点下方的所有字符矩形框的个数t，s1为所述关键点与吃水线之间的距离，s2为所述关键点与所述剩余字符矩形框中最靠近所述吃水线的字符矩形框的底框线之间的距离，L为所述剩余字符矩形框之间的平均间隔，r为预设的船舶水尺的最小刻度；
根据以下公式一获取船舶水尺读数的小数数值d：
d=floor(s1,L)×r+mod(s1,L)/L×r （一）
计算m-d的差值，得到船舶水尺读数。
进一步地，所述第一获取模块501具体用于：
获取采集到的关于船舶水尺的预设时长的原始视频；
依次获取所述原始视频的n个原始图像帧，其中每当前获取的原始图像帧作为一个目标图像帧。
如图6所示，所述装置还包括：
重复模块507，所述重复模块507用于在第一获取模块501每获取一个所述目标图像帧时，使所述第一确定模块502、第二确定模块503、第二获取模块504、检测模块505以及计算模块506执行相应的操作；
第二计算模块508，所述第二计算模块508用于删除所述n个船舶水尺读数中的离群点数值，得到剩余船舶水尺读数；计算所述剩余船舶水尺读数的平均值，得到最终的船舶水尺读数。
在获得最终的船舶水尺读数后，服务器将最终的船舶水尺读数发送给终端设备进行显示。
其中，所述第一确定模块501具体用于：
将所述目标图像帧转换为二值化图像；
确定所述二值化图像在每列像素上所有像素值为1的像素点，计算所述像素点的像素值之和；
根据每列像素的所述像素点的像素值之和，得到字符像素在横坐标轴上的分布曲线F；
获取所述分布曲线F的最高点纵坐标值h1、次高点的纵坐标值h2、以及所述最高点和次高点连线的中点的纵坐标值c1；
根据以下公式二计算左边界B1和右边界B2：
B1=c1-k1(|h1-h2|)
B2=c1+k2(|h1-h2|) （二）
其中k1和k2为扩大系数；
根据所述左边界B1和右边界B2，确定目标图像帧中的矩形关注区。
本发明实施例还提供一种计算机可存储介质，其上存储有计算机程序，该程序被处理器执行时实现上述基于深度学习的船舶水尺读数方法的步骤。
本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本发明是参照根据本发明的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
本发明的基于深度学习的船舶水尺读数方法及装置，通过获取关于船舶水尺的目标图像帧；在所述目标图像帧中确定矩形关注区，所述矩形关注区用以表示船舶水尺在所述目标图像帧中的位置；利用深度学习技术对所述目标图像帧进行边界识别，确定水面与船体之间的边界线；获取位于所述矩形关注区内的所述边界线的多个坐标值，并计算所述多个坐标值中的纵坐标值的平均值，根据所述平均值确定船体在矩形关注区的吃水线；对所述矩形关注区的图像进行字符检测，得到多个字符矩形框以及各字符矩形框对应的置信度，每个所述字符矩形框内含有一个字符，所述字符为字母、文字和数字中的一种；根据所述吃水线、多个字符矩形框以及各字符矩形框对应的置信度计算出船舶水尺读数，由此，通过上述方式可实现智能读数，无需人工目测，能够解决现有人工方法中的主观因素高和具有安全隐患的问题。
本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。

Claims (10)

1.一种基于深度学习的船舶水尺读数方法，其特征在于，包括以下步骤：
步骤a：获取关于船舶水尺的目标图像帧；
步骤b：在所述目标图像帧中确定矩形关注区，所述矩形关注区用以表示船舶水尺在所述目标图像帧中的位置；
步骤c：利用深度学习技术对所述目标图像帧进行边界识别，确定水面与船体之间的边界线；
步骤d：获取位于所述矩形关注区内的所述边界线的多个坐标值，并计算所述多个坐标值中的纵坐标值的平均值，根据所述平均值确定船体在矩形关注区的吃水线；
步骤e：对所述矩形关注区的图像进行字符检测，得到多个字符矩形框以及各字符矩形框对应的置信度，每个所述字符矩形框内含有一个字符，所述字符为字母、文字和数字中的一种；
步骤f：根据所述吃水线、多个字符矩形框以及各字符矩形框对应的置信度计算出船舶水尺读数。
2.根据权利要求1所述的方法，其特征在于，所述根据所述吃水线、多个字符矩形框以及各字符矩形框对应的置信度计算出船舶水尺读数，包括：
将低于所述吃水线的字符矩形框删除，得到剩余字符矩形框；
从剩余字符矩形框中识别出包含 “M”的字母矩形框；
将置信度最高的“M”字母矩形框的左下角点作为关键点，从所述剩余字符矩形框中获取位于所述关键点左侧的所有连续数字矩形框；
获取所述所有连续数字矩形框中的数字，并将所述所有连续的数字矩形框中的数字所构成的新数字作为船舶水尺读数的整数数值m；
分别获取以下参数：t、s1、s2、L和r，其中参数t为所述剩余字符矩形框中位于所述关键点下方的所有字符矩形框的个数t，s1为所述关键点与吃水线之间的距离，s2为所述关键点与所述剩余字符矩形框中最靠近所述吃水线的字符矩形框的底框线之间的距离，L为所述剩余字符矩形框之间的平均间隔，r为预设的船舶水尺的最小刻度；
根据以下公式一获取船舶水尺读数的小数数值d：
d=floor(s1,L)×r+mod(s1,L)/L×r （一）
计算m-d的差值，得到船舶水尺读数。
3.根据权利要求2所述的方法，其特征在于，所述步骤a：获取关于船舶水尺的目标图像帧，包括：
获取采集到的关于船舶水尺的预设时长的原始视频；
依次获取所述原始视频的n个原始图像帧，其中每当前获取的原始图像帧作为一个目标图像帧；
所述方法还包括：
每获取一个所述目标图像帧，则执行步骤b-步骤f，由此得到n个船舶水尺读数；
删除所述n个船舶水尺读数中的离群点数值，得到剩余船舶水尺读数；
计算所述剩余船舶水尺读数的平均值，得到最终的船舶水尺读数。
4.根据权利要求3所述的方法，其特征在于，所述依次获取所述原始视频的n个原始图像帧，其中每当前获取的原始图像帧作为一个目标图像帧，包括：
依次获取原始视频的n个原始图像帧，每当前获取一个原始图像帧，则对当前获取的原始图像帧进行缩放，从而得到具有预设固定分辨率的目标图像帧。
5.根据权利要求1所述的方法，其特征在于，所述在所述目标图像帧中确定矩形关注区，包括：
将所述目标图像帧转换为二值化图像；
确定所述二值化图像在每列像素上所有像素值为1的像素点，计算所述像素点的像素值之和；
根据每列像素的所述像素点的像素值之和，得到字符像素在横坐标轴上的分布曲线F；
获取所述分布曲线F的最高点纵坐标值h1、次高点的纵坐标值h2、以及所述最高点和次高点连线的中点的纵坐标值c1；
根据以下公式二计算左边界B1和右边界B2：
B1=c1-k1(|h1-h2|)
B2=c1+k2(|h1-h2|) （二）
其中k1和k2为扩大系数；
根据所述左边界B1和右边界B2，确定目标图像帧中的矩形关注区。
6.一种基于深度学习的船舶水尺读数装置，其特征在于，包括：
第一获取模块，用于获取关于船舶水尺的目标图像帧；
第一确定模块，用于在所述目标图像帧中确定矩形关注区，所述矩形关注区用以表示船舶水尺在所述目标图像帧中的位置；
第二确定模块，用于利用深度学习技术对所述目标图像帧进行边界识别，确定水面与船体之间的边界线；
第二获取模块，用于获取位于所述矩形关注区内的所述边界线的多个坐标值，并计算所述多个坐标值中的纵坐标值的平均值，根据所述平均值确定船体在矩形关注区的吃水线；
检测模块，用于对所述矩形关注区的图像进行字符检测，得到多个字符矩形框以及各字符矩形框对应的置信度，每个所述字符矩形框内含有一个字符，所述字符为字母、文字和数字中的一种；
第一计算模块，用于根据所述吃水线、多个字符矩形框以及各字符矩形框对应的置信度计算出船舶水尺读数。
7.根据权利要求6所述的装置，其特征在于，所述第一计算模块具体用于：
将低于所述吃水线的字符矩形框删除，得到剩余字符矩形框；
从剩余字符矩形框中识别出包含 “M”的字母矩形框；
将置信度最高的“M”字母矩形框的左下角点作为关键点，从所述剩余字符矩形框中获取位于所述关键点左侧的所有连续数字矩形框；
获取所述所有连续数字矩形框中的数字，并将所述所有连续数字矩形框中的数字所构成的新数字作为船舶水尺读数的整数数值m；
分别获取以下参数：t、s1、s2、L和r，其中参数t为所述剩余字符矩形框中位于所述关键点下方的所有字符矩形框的个数t，s1为所述关键点与吃水线之间的距离，s2为所述关键点与所述剩余字符矩形框中最靠近所述吃水线的字符矩形框的底框线之间的距离，L为所述剩余字符矩形框之间的平均间隔，r为所预设的船舶水尺的最小刻度；
根据以下公式一获取船舶水尺读数的小数数值d：
d=floor(s1,L)×r+mod(s1,L)/L×r （一）
计算m-d的差值，得到船舶水尺读数。
8.根据权利要求7所述的装置，其特征在于，所述第一获取模块具体用于：
获取采集到的关于船舶水尺的预设时长的原始视频；
依次获取所述原始视频的n个原始图像帧，其中每当前获取的原始图像帧作为一个目标图像帧；
所述装置还包括：
重复模块，所述重复模块用于在第一获取模块每获取一个所述目标图像帧时，使所述第一确定模块、第二确定模块、第二获取模块、检测模块以及计算模块执行相应的操作；
第二计算模块，所述第二计算模块用于删除所述n个船舶水尺读数中的离群点数值，得到剩余船舶水尺读数；计算所述剩余船舶水尺读数的平均值，得到最终的船舶水尺读数。
9.根据权利要求8所述的装置，其特征在于，所述第一确定模块具体用于：
将所述目标图像帧转换为二值化图像；
确定所述二值化图像在每列像素上所有像素值为1的像素点，计算所述像素点的像素值之和；
根据每列像素的所述像素点的像素值之和，得到字符像素在横坐标轴上的分布曲线F；
获取所述分布曲线F的最高点纵坐标值h1、次高点的纵坐标值h2、以及所述最高点和次高点连线的中点的纵坐标值c1；
根据以下公式二计算左边界B1和右边界B2：
B1=c1-k1(|h1-h2|)
B2=c1+k2(|h1-h2|) （二）
其中k1和k2为扩大系数；
根据所述左边界B1和右边界B2，确定目标图像帧中的矩形关注区。
10.一种可读存储介质，其特征在于，所述可读存储介质中存储有计算机程序，所述计算机程序被处理器执行时用于实现权利要求1至5任一所述的方法。
CN202311401303.XA 2023-10-26 2023-10-26 一种基于深度学习的船舶水尺读数方法及装置 Pending CN117333860A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202311401303.XA CN117333860A (zh) 2023-10-26 2023-10-26 一种基于深度学习的船舶水尺读数方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202311401303.XA CN117333860A (zh) 2023-10-26 2023-10-26 一种基于深度学习的船舶水尺读数方法及装置

Publications (1)

Publication Number Publication Date
CN117333860A true CN117333860A (zh) 2024-01-02

Family

ID=89291648

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202311401303.XA Pending CN117333860A (zh) 2023-10-26 2023-10-26 一种基于深度学习的船舶水尺读数方法及装置

Country Status (1)

Country Link
CN (1) CN117333860A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117671510A (zh) * 2024-02-02 2024-03-08 西安热工研究院有限公司 一种基于目标检测和语义分割算法的船舶载重量计算方法

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117671510A (zh) * 2024-02-02 2024-03-08 西安热工研究院有限公司 一种基于目标检测和语义分割算法的船舶载重量计算方法

Similar Documents

Publication Publication Date Title
CN109443196B (zh) 一种体积测量方法及系统
CN102165288B (zh) 使用影像在时间上的像素的浓度分布变化的液体边界面识别方法和使用该方法的液体高度识别装置
CN110276285B (zh) 一种非受控场景视频中的船舶水尺智能识别方法
CN117333860A (zh) 一种基于深度学习的船舶水尺读数方法及装置
WO2022088096A1 (zh) 缺陷实际面积的检测方法、显示面板的检测方法及装置
CN112967249B (zh) 一种基于深度学习的预制桥墩钢筋孔制造误差智能识别方法
Shi et al. Circular grid pattern based surface strain measurement system for sheet metal forming
CN113435442B (zh) 水位测量方法、装置、水尺及电子设备
CN112434582A (zh) 一种车道线颜色识别方法、系统、电子设备及存储介质
CN114037993B (zh) 变电站指针仪表读数方法、装置、存储介质以及电子设备
CA3237725A1 (en) Systems and methods for draft calculation
CN111189826B (zh) 用于pH试纸测量待测溶液pH值的智能评分实验设备及方法
CN116125489A (zh) 一种室内物体三维检测方法、计算机设备及存储介质
CN116071692A (zh) 一种基于形态学图像处理的水尺水位识别方法及系统
CN115115889A (zh) 一种仪表图像分析方法及装置
CN114140518A (zh) 一种水位高度监测方法、装置、电子设备及存储介质
CN114255458A (zh) 一种巡检场景下指针仪表读数的识别方法与系统
Ivanovskii The Concept of Automated Draught Survey System for Marine Ships
CN201927054U (zh) 一种基于动态模板的校正图形搜索装置
CN111144412B (zh) 视觉定位参考信息的生成方法、视觉定位信息的显示方法
CN113532265B (zh) 基于三维视觉的箱体积测量装置
CN118154524A (zh) 一种图像缺陷检测方法、装置、介质和电子设备
CN118037724A (zh) 一种基于图像处理的多孔陶瓷表面粗糙度检测方法及系统
CN114066837A (zh) 一种船舶舱室动态水位识别方法和系统
CN118049972A (zh) 一种用于波浪水槽模型实验的视频测波方法和系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination