CN112528982A - 一种用于检测船舶水尺线的方法、装置及系统 - Google Patents

一种用于检测船舶水尺线的方法、装置及系统 Download PDF

Info

Publication number
CN112528982A
CN112528982A CN202011292875.5A CN202011292875A CN112528982A CN 112528982 A CN112528982 A CN 112528982A CN 202011292875 A CN202011292875 A CN 202011292875A CN 112528982 A CN112528982 A CN 112528982A
Authority
CN
China
Prior art keywords
image
water gauge
ship
character
waterline
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202011292875.5A
Other languages
English (en)
Inventor
张文明
杜雨杭
李海滨
李雅倩
肖存军
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Qinhuangdao Yanda Binyuan Technology Development Co ltd
Yanshan University
Original Assignee
Qinhuangdao Yanda Binyuan Technology Development Co ltd
Yanshan University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Qinhuangdao Yanda Binyuan Technology Development Co ltd, Yanshan University filed Critical Qinhuangdao Yanda Binyuan Technology Development Co ltd
Priority to CN202011292875.5A priority Critical patent/CN112528982A/zh
Publication of CN112528982A publication Critical patent/CN112528982A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/22—Image preprocessing by selection of a specific region containing or referencing a pattern; Locating or processing of specific regions to guide the detection or recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G06V10/267—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion by performing operations on regions, e.g. growing, shrinking or watersheds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/28—Quantising the image, e.g. histogram thresholding for discrimination between background and foreground patterns
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07—Target detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10—Character recognition
    • G06V30/28—Character recognition specially adapted to the type of the alphabet, e.g. Latin alphabet
    • G06V30/293—Character recognition specially adapted to the type of the alphabet, e.g. Latin alphabet of characters other than Kanji, Hiragana or Katakana

Abstract

本发明公开了一种用于检测船舶水尺线的方法，包括：通过移动终端获取含有船舶水尺标记信息的原始图像；将原始图像分别输入至预先基于深度可分离卷积模块构建而成的水平线识别模型和水尺标记识别模型中，得到标记有船体水体交界线的第一图像和标记有水尺字符及其内容的第二图像；根据第一图像和第二图像中标记的信息，检测船舶水线的实际高度。本发明使用轻量型深度学习网络，同时保障了检测精度和检测速度，使得采集到的图像在移动终端实现处理。

Description

一种用于检测船舶水尺线的方法、装置及系统
技术领域
本发明涉及船舶检测技术领域，尤其是涉及一种用于检测船舶水尺线的方法、装置及系统。
背景技术
船舶水尺计重是港口装卸过程的主要计重检测方法，传统的水尺计重技术由公估人员主观计量，受客观环境上的影响较大，如风浪、光照、水质等影响，得到的计量结果经常引起货主、收货人和港方之间的争执。
为了解决传统的水尺计重技术的问题，各散货港口常采用图像识别的方法进行检测。图像处理的方法有两种形式：一种是使用传统机器视觉的图像处理算法研究，但这种传统图像处理算法采用Canny算子边缘检测、霍夫直线检测、颜色通道匹配、LSD检测算法等算法，此种方法对于光照变化较大，水尺线在满载线区域附近等情况检测不准，无法获取精确的水尺线位置，对于字符受损、锈蚀、焊缝干扰情况等现实情况下效果较差；另一种方法是通过深度学习的目标检测算法，使用Faster R-CNN算法检测船舶水尺字符框，对于不同船型的不同颜色检测效果会产生影响，并且由于使用深度学习网络结构具有深度大的特点，在线检测处理速度较慢，有时，对于搜索候选框也会非常耗时，不能达到实时检测的要求，适用于PC端，不利于在线实时检测水线。
另外，在水尺计重技术的图像采集中，多采用爬壁机器人与四旋翼录像，爬壁机器人需要到船上向下放，由于是磁吸附式，行走速度较慢，耗费时间长。进一步，四旋翼需要专业操作人员去使用，并且在现场风力较大的情况无法使用，采集方式不便。
因此，现有技术需要提供一种既能够在不同环境条件下准确识别水尺线，又能适应实时性检测需求(例如：视频中多帧图像的实时性检测需求)的技术方案。
发明内容
为了解决上述技术问题，本发明实施例提供了一种用于检测船舶水尺线的方法，包括：原始图像采集步骤、通过移动终端获取含有船舶水尺标记信息的原始图像；图像特征识别步骤、将所述原始图像分别输入至预先基于深度可分离卷积模块构建而成的水平线识别模型和水尺标记识别模型中，得到标记有船体水体交界线的第一图像和标记有水尺字符及其内容的第二图像；水线高度计算步骤、根据所述第一图像和所述第二图像中标记的信息，检测船舶水线的实际高度。
优选地，在所述水线高度计算步骤中，包括：根据所述第一图像，确定当前水线在所述第一图像中的相对位置；根据每个水尺字符在所述第二图像中的相对尺寸，由字符实际尺寸，得到像素点相对于船体的实际尺寸，基于此，结合每个水尺字符的内容，计算每个字符及其内部各像素点的实际高度；将含有当前水线相对位置信息的第一图像、与含有每个字符及其内部各像素点的实际高度信息的第二图像进行融合，匹配出船舶水线的绝对高度。
优选地，在所述原始图像采集步骤中，所述移动终端安装于三轴机械云台处，由所述三轴机械云台通过对自身姿态的实时补偿控制来调节所述原始图像的视野。
优选地，基于用于语义分割的编码器-解码器对称网络结构，构建所述水平线识别模型；基于ssd_mobilent网络结构，构建所述水尺标记识别模型。
优选地，所述水平线识别模型的编码部分采用若干个深度可分离卷积构成，先对输入图像进行减小图像尺寸且增加维度处理，后结合skip-connection技术进行局部语义特征提取处理；所述水平线识别模型的解码部分基于减小图像特征且增加维度处理的结果，采用Conv2DTranspose操作和add融合技术相结合，得到与所述输入图像的尺寸相同的输出图像。
优选地，所述水平线识别模型和所述水尺标记识别模型的训练图像集包括不同光照、不同船型、以及其他影响水线识别结果的组合状态下的图像。
另一方面，本发明实施例还提供了一种用于检测船舶水尺线的装置，包括：原始图像采集模块、其用于通过移动终端获取含有船舶水尺标记信息的原始图像；图像特征识别模块、其用于将所述原始图像分别输入至预先基于深度可分离卷积模块构建而成的水平线识别模型和水尺标记识别模型中，得到标记有船体水体交界线的第一图像和标记有水尺字符及其内容的第二图像；水线高度计算模块、其用于根据所述第一图像和所述第二图像中标记的信息，检测船舶水线的实际高度。
优选地，所述水线高度计算模块，包括：第一图像分析单元，其用于根据所述第一图像，确定当前水线在所述第一图像中的相对位置；第二图像分析单元，其用于根据每个水尺字符在所述第二图像中的相对尺寸，由字符实际尺寸，得到像素点相对于船体的实际尺寸，基于此，结合每个水尺字符的内容，计算每个字符及其内部各像素点的实际高度；检测结果生成单元，其用于将含有当前水线相对位置信息的第一图像、与含有每个字符及其内部各像素点的实际高度信息的第二图像进行融合，匹配出船舶水线的绝对高度。
另外，本发明实施例提供了一种用于检测船舶水尺线的系统，所述系统包括：图像采集装置，其用于采集含有船舶水尺标记信息的原始图像；如上述所述的用于检测船舶水尺线的装置，所述装置集成于移动终端。
优选地，所述系统还包括：三轴机械云台，所述三轴机械云台，其用于通过对自身姿态的实时补偿控制来调节所述原始图像的视野范围。
与现有技术相比，上述方案中的一个或多个实施例可以具有如下优点或有益效果：
本发明提出了一种本发明用于检测船舶水尺线的方法、装置和系统。具体地，将基于语义分割与目标检测的网络模型部署到移动终端来在线检测船舶水尺线，从而使用移动终端设备拍摄视频或图像，通过加载模型处理后直接输出水线刻度的高度位置。本发明使用轻量型深度学习网络，同时保障了检测精度和检测速度，使采集到的图像在移动终端实现处理。另外，本发明利用移动终端内置的摄像系统，采用手持云平台固定移动端设备，根据三轴机械云台的姿态进行实时补偿，消除由于检测船的晃动与人的晃动产生的抖动。
本发明的其它特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本发明而了解。本发明的目的和其他优点可通过在说明书、权利要求书以及附图中所特别指出的结构来实现和获得。
附图说明
附图用来提供对本发明的进一步理解，并且构成说明书的一部分，与本发明的实施例共同用于解释本发明，并不构成对本发明的限制。在附图中：
图1为本申请实施例的用于检测船舶水尺线的方法的步骤图。
图2为本申请实施例的用于检测船舶水尺线的方法的具体流程图。
图3为本申请实施例的用于检测船舶水尺线的方法中的水平线识别模型的训练数据集制作过程示意图。
图4为本申请实施例的用于检测船舶水尺线的方法中水平线识别模型的结构示意图。
图5为本申请实施例的用于检测船舶水尺线的方法中的水尺标记识别模型的训练数据集制作过程示意图。
图6为本申请实施例的用于检测船舶水尺线的方法在移动终端实现的效果展示图。
图7为本申请实施例的用于检测船舶水尺线的装置的结构框图。
图8为本申请实施例的用于检测船舶水尺线的系统的结构示意图。
具体实施方式
以下将结合附图及实施例来详细说明本发明的实施方式，借此对本发明如何应用技术手段来解决技术问题，并达成技术效果的实现过程能充分理解并据以实施。需要说明的是，只要不构成冲突，本发明中的各个实施例以及各实施例中的各个特征可以相互结合，所形成的技术方案均在本发明的保护范围之内。
另外，附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行。并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。
为了解决上述技术问题，本发明提出了一种用于检测船舶水尺线的方法。本发明通过轻量型语义分割网络与轻量型目标检测网络，在移动终端上部署训练完成的深度学习模型网络，从而在获得含有船舶水尺标记信息的图像后，对船舶水尺线进行准确且实时的快速检测。这样，本发明基于深度学习的轻量型语义分割网络，既能够解决传统方法中识别不准确问题，又能够快速实时检测出视频或图像中的水线位置。另外，本发明能够直接利用移动终端(例如：手机端、平板电脑等便携式终端)实现准确且快速的船舶水线检测功能，大大提高了水尺计重技术的便捷性，并且能够适用于多种复杂环境。
图1为本申请实施例的用于检测船舶水尺线的方法的步骤图。图2为本申请实施例的用于检测船舶水尺线的方法的具体流程图。下面结合图1和图2对本发明所述的用于检测船舶水尺线的方法(以下简称“船舶水线检测方法”)的具体实施过程进行说明。需要说明的是，本发明实施例所述的船舶水线检测方法是使用移动终端即可实现的技术方案，从而大大提高了传统船舶水尺线检测方法的便捷性、高效性和场景适应性。
如图1所示，在本发明实施例中，步骤S110通过移动终端获取含有船舶水尺标记信息的原始图像。在步骤S110中，可以先通过移动终端内置的图像采集系统和/或视频采集系统，获得含有船舶水尺标记信息的(采集)图像或(采集)视频。然后，由移动终端利用具有预设图像初始规格的矩形框，从采集图像或采集视频中，截取出含有船舶水尺标记信息的(彩色)原始图像，从而便于对船舶水尺标记进行实时检测。其中，原始图像的规格与上述预设图像初始规格相一致。
在本发明实施例中，上述预设图像初始规格优选为672*672*3。由于本发明中作为在线检测依据的原始图像的分辨率较大，因此，比较适合对原始图像进行语义分割和/或目标识别操作。
需要说明的是，当使用移动终端内置的图像采集系统采集到相应的采集图像，并截取出满足预设图像初始规格条件的原始图像时，会利用下述步骤S120和步骤S130对当前图像中的船舶水线进行识别。当使用移动终端内置的视频采集系统采集到相应的采集视频，并从其中截取出一帧满足预设图像初始规格条件的图像时，会利用下述步骤S120和步骤S130对当前帧图像中的船舶水线进行识别，以继续利用步骤S120～步骤S130对当前采集视频中的每一帧原始图像的水线进行识别，从而实现对视频中的船舶水线进行实时性的在线识别功能，以满足视频中的实时性检测需求。
进一步，为了能够获取到稳定清晰的原始图像，在本发明实施例中，需要对移动终端内置的视频或图像采集系统对应的视野范围进行动态调节。其中，移动终端安装于三轴机械云台上。具体地，移动终端会利用三轴机械云台对自身姿态的实时补偿控制来动态调节内置视频或图像采集系统的视野，进一步实时调节原始图像的视野，以使得移动终端获得含有清晰且完整的水尺字符标记信息的采集图像或采集视频，从而获得含有清晰水尺字符标记信息的原始图像。由于手持云台较小易携带，无论在岸上还是船上测量均较便捷。
更进一步地说，本发明会利用移动终端支持的图像或视频采集系统采集含有船舶水尺标记的图像或视频，由装载高精度无刷电机的三轴机械云台进行实时姿态调整，使得内置图像或视频采集系统适应在岸上或(船舶附近的)小船上检测到的采集视频或采集图像为稳定清晰的图像，从而截取到清晰的原始图像，以将该原始图像作为实时在线检测的依据。
继续参考图1和图2，在获得原始图像后，进入到步骤S120中。步骤S120移动终端会将步骤S110获取到的原始图像分别输入至预先基于深度可分离卷积模块构建而成的水平线识别模型和水尺标记识别模型中，得到标记有船体水体交界线的第一图像和标记有水尺字符及其内容的第二图像，从而进入到步骤S130中。也就是说，在步骤S120中，移动终端会并行(同时)进行两类处理，第一类处理是船体与水体的分界线识别处理，具体将步骤S110获取到的原始图像输入至预先构建而成的水平线识别模型中，从而直接得到标记有船体水体交界线的第一图像。另外，第二类处理是船体与水体的分界线识别处理，具体将步骤S110获取到的原始图像输入至预先构建而成的水尺标记识别模型中，从而直接得到标记有水尺字符及其内容的第二图像。
需要说明的是，在本发明实施例中，第一图像的规格大小与第二图像的规格大小相一致，以便准确测量船舶水线高度。
下面针对这两类处理方式分别进行说明。
水平线识别模型是用来将具有指定大小的(像素化)图像作为输入端信息，对原始图像中的水体与船体分界线进行船体与水体的语义识别并标记分界线的处理方式，从而将完成语义分割的原始图像作为输出端信息，以输出第一图像。其中，第一图像为二值化图像，代表了船体部分与水体部分的二值化分割结果，并在其中标记有船体与水体之间的交界线。由于水平线识别模型是一种语义分割模型，因此，水平线识别模型会按照语义分割原理，将原始图像进行前景与背景的分割识别处理，按照图像中船体与水体的交接的近似一条连续的曲线部分作为交界线进行标注，将水线(交界线)之上的部分标记为船体，水线(交界线)之下的部分标记为水体。其中，第一图像是只包含0和1像素点的二维矩阵图像，在船体部分内的各个像素点用“1”表示时水体部分内的各像素点用“0”来表示；或者，在船体部分内的各个像素点用“0”表示时水体部分内的各像素点用“1”来表示。
进一步，在本发明实施例中，水平线识别模型是基于用于语义分割的编码器-解码器对称网络结构构建而成的。更进一步地说，水平线识别模型是一种基于深度可分离卷积与Skip connection技术相结合的轻量型语义分割网络。具体地，水平线识别模型的编码部分采用若干个深度可分离卷积构成，先对输入图像进行减小图像尺寸且增加维度处理，后结合skip-connection技术进行局部语义特征提取处理。另外，水平线识别模型的解码部分基于减小图像特征且增加维度处理的结果，采用Conv2DTranspose操作和add融合技术相结合，得到与输入图像的尺寸相同的输出图像。
图4为本申请实施例的用于检测船舶水尺线的方法中水平线识别模型的结构示意图。如图4所示，对于语义分割网络模型，整体网络结构采用编码器-解码器结构，属于端到端的网络结构，能够实现端到端的像素级别图像分割处理。
网络中编码部分分为9个block块(参见图4中的B～J)，首先输入图像经过32通道的3*3卷积核(A)进行一次卷积操作，然后经过block1～3(B、C、D)进行减小图像尺寸增加维度，具体操作为使用与上一层通道数相等的卷积核3*3，strides为1的深度可分离卷积；再经过卷积核3*3，strides为2的深度可分离卷积，图像尺寸减少一半，维度增加一倍，这样，经过3个block后图像大小为21*21*256。Block4(参见图4中的E)为一个卷积操作，卷积核维度为512，操作后图像大小为21*21*512。然后，利用F～J进行连续5个block操作，这5个block先使用深度可分离卷积，与之前不同的是使用256维度的点卷积，得到21*21*256大小的图像，得到的图像分别与进行Lambda操作的图像(L1～L5)进行concatenate操作，经过Lambda操作的图像大小为21*21*256，合并后大小为21*21*512。此过程进行5次，至此编码部分的9个block结束。解码部分通过编码得到的21*21*512图像，首先，利用con2v(1*1)(参见图4中的K)进行一次Conv2DTranspose操作，得到42*42*32的图像，然后将block3模块得到的42*42*256的图像进行deconv3操作(反卷积)，卷积核为1*1*32，得到42*42*32的图像与Conv2DTranspose操作后的图像进行add融合，得到具有局部语义信息的42*42*32特征图。后面先将block2得到的84*84*128图像进行deconv3操作(反卷积)，卷积核为1*1*16，得到84*84*16的图像、以及将block1得到的168*168*64的图像进行deconv3操作(反卷积)，卷积核为1*1*8，得到168*168*8的图像；而后将add融合后得到的42*42*32特征图，利用con2v(1*1)(参见图4中的L)进行一次Conv2DTranspose操作，得到84*84*16的图像，并将反卷积得到的84*84*16的图像与Conv2DTranspose操作后的图像84*84*16的图像进行add融合，得到84*84*16的融合图像；接着，将84*84*16的融合图像，利用con2v(1*1)(参见图4中的M)进行一次Conv2DTranspose操作，得到168*168*8的图像，并将反卷积得到的168*168*8的图像与当前Conv2DTranspose操作后的图像168*168*8的图像进行add融合，得到168*168*8的融合图像。最后，再经过2次Conv2DTranspose操作便得到672*672*3的原尺寸输出图像。
其中，Skip connection技术是水平线识别模型网络中的编辑器部分，由于在模型特征提取部分的后端部分(卷积层较深的部分)中已经把特征图的分辨率降得非常小，这一点不利于精确的分割mask的生成，通过skip-connection技术可以把较浅的卷积层特征引过来，那些特征分辨率较高，且层数浅，会含有比较丰富的low-level信息(即局部细节信息，如：边缘、角、颜色、像素、梯度等)，更利于生成分割mask(分割mask即为concatenate模块)。
水尺标记识别模型是用来将具有指定大小的(像素化)图像作为输入端信息，对原始图像中的水尺字符和/或单位标记进行目标识别并标记的处理方式，从而将完成目标检测的原始图像作为输出端信息，以输出像素化的第二图像。其中，第二图像为利用矩形框将原始图像内每个水尺字符和/或水尺字符单位进行框选并识别其内容的图像，代表了水尺标记识别结果。
进一步，在本发明实施例中，水尺标记识别模型是基于ssd_mobilent网络结构构建而成的。更进一步地说，水平线识别模型是一种图像字符识别网络，是采用tensorflow框架搭建的ssd_mobilenet网络结构，同样属于一种轻量型深度学习网络。
具体地，目标检测网络模型是使用mobilenet网络代替VGG模型作为基础的网络结构。mobilenet是适用于嵌入式视觉应用的高效模型，主要特点是用深度可分离卷积替代传统网络结构的标准卷积来解决网络的计算效率低和参数量巨大的问题。这样组合而成的轻量级、低延迟的网络模型能够有校地提高目标检测的实时性。
在本发明实施例中，由于水平线识别模型和水尺标记识别模型为两个轻量级深度学习模型网络，需要在训练阶段和模型精度与速度测试阶段结束后，转换为在移动终端操作系统环境下可支持的模型文件，并将满足操作系统格式条件的两个识别模型载入相应的操作系统后，搭载移动终端操作系统，从而投入到实时检测船舶水尺线的使用过程中。
下面对上述水平线识别模型和水尺标记识别模型的生成过程进行相应说明。
在配置水平线识别模型和水尺标记识别模型的深度学习环境过程中，基于linux系统的语义分割和目标检测深度学习环境，分别训练水平线识别模型、和水尺标记识别模型。其中，训练模型参考环境为：Ubuntu16.04系统，GTX1080显卡，Python编程语言，使用Tensorflow的Keras深度学习框架。将两类模型的数据集分别通过训练网络模型中进行训练，从而得到“.h5”参数文件。
需要说明的是，在本发明实施例中，水平线识别模型的训练图像集包含有不同组合条件下的第一类训练输入图像、和与每幅训练输入图像对应的(针对当前训练输入图像标记有船体水体交界线的)第一类训练输出图像。另外，水尺标记识别模型的训练图像集包含有不同组合条件下的第二类训练输入图像、和与每幅第二类训练输入图像对应的(针对当前第二类训练输入图像标记有水尺字符及其内容的)第二类训练输出图像。其中，前述不同组合条件为不同光照、不同船型(包括：船体颜色、船体轮廓等)、以及其他影响水线识别结果的组合。
图3为本申请实施例的用于检测船舶水尺线的方法中的水平线识别模型的训练数据集制作过程示意图。如图3所示，图3左侧图展示了从一张采集图像或一帧采集视频内的训练输入图像中，利用矩形框截取出相应的原始尺寸图像作为训练输入数据集；右侧为数据集制作标记分割结果，右图内的左半部分为使用鼠标从左到右将训练输入图像进行水平线标记后的二值化图像，直至鼠标从左到右完全标记结束，点击鼠标右键保存，得到当前数据集的标签，即训练输出图像(参见右图内的右半部分)。右图内的右半部分展示出了原始图像同尺寸的训练输入图像，右图内的左半部分展示出了水平线识别处理对应的处理结果，即经过语义分割二值化处理后的图像，即为训练输出图像(在测试阶段为第一图像)。其中，水平线识别模型的训练输出图像为二值化图像，上半部分为分割后的船体，下半部分为分割后的水体。另外，右图内的右半部分展示出了与当前训练输入图像对应的训练输出图像。
图5为本申请实施例的用于检测船舶水尺线的方法中的水尺标记识别模型的训练数据集制作过程示意图。如图5所示，图5左侧图像中展示出了对水尺标记识别模型的训练输入图像内的每个水尺字符和/或水尺标记进行标记的效果，从而得到水尺标记识别模型的训练输出图像。在图5中，在经过水尺标记识别模型的在线目标检测处理后，标记出了训练输入图像中每个表示船舶高度特征的水尺字符、以及字符单位；并且在图5右上角区域展示出了每个已标记出字符的内容及相应的字符单位。
在得到水平线识别模型文件、以及水尺标记识别模型后，搭载Windows环境进行测试。例如：在PC端搭建tensorflow源码编译环境，以将得到的两类“.h5”模型文件转换为“.pb”模型文件；而后，在Windows环境下，使用“.pb”文件保存的水平线识别模型及其参数来预测网络精度与速度，并且使用“.pb”文件保存的水尺标记识别模型及参数来预测网络精度与速度。
在本发明实施例中，无论是水尺标记识别模型还是水平线识别模型，其预测网络精度与速度的方法都是一致的。下面以水平线识别模型为例，对预测模型网络的精度与速度的过程进行说明。
由于目前相比其他算法均在Windows环境下运行，水平线识别模型需要载入至Windows环境下进行测试精确度与速度。由于语义分割中的MIoU为语义分割的标准度量，其为计算两个集合的交并比，在语义分割的问题中这两个集合为真实值和预测值，所遵循的计算公式如下：
Figure BDA0002784336710000101
假设如下：共有k+1个类(从L0到Lk，其中，包含一个空类或背景)，Pij表示本属于类i但被预测为类j的像素数量，Pii表示真正的数量，而Pij、Pji则分别表示假正和假负，两者都是假正与假负之和。进一步，在本发明实施例中，所得预测MIoU的值为98.042，在网络中训练的精确度为99.4％，处理速度平均为0.021s。预测的训练输入图像通过模型文件后，输出二值化图像，经换算得到水线位置。计算水线精度为0.001米，符合水尺检测标准误差。
在本发明实施例中，为了提高在线检测的准确性，需要在上述两种模型的精确度均达到99％的情况下，才可投入到对船舶水尺线检测方法的在线检测过程中，使其在移动终端实现在线检测处理。
由此，在得到完成经过精度和速度预测操作的水平线识别模型和水尺标记识别模型后，搭建识别模型的移动终端环境。进一步，将测试环境下的水平线识别“.pb”模型文件、和水尺标记识别“.pb”模型文件分别转换为移动终端操作系统所能支持的终端可支持模型文件。例如，如果移动终端为搭载有Android操作系统的移动终端，将前述两类“.pb”模型文件分别转换为移动终端可使用的“.tflite”模型文件，而后，将前述两类“.tflite”模型文件通过移动终端开发环境载入至Android移动终端。这样，搭建Android开发环境，安装JDK8与Android Studio对Android进行开发，从而得到可在Android操作系统环境下进行实时性检测运行的水平线识别模型和水尺标记识别模型。
再次参考图1和图2，步骤S130由移动终端根据步骤S120得到的第一图像中所标记的信息、以及步骤S120得到的第二图像中所标记的信息，检测船舶水线的实际高度。
第一步，根据步骤S120得到的第一图像，确定当前水线在第一图像中的相对位置。由于第一图像为二值化图像，其中，标记有水体区域、船体区域、以及水体与船体之间的交界线。由此，在本发明实施例中，移动终端会先按照预设宽度，截取第一图像的中间区域；而后，根据中间区域内每一列像素列内的像素数据，确定每列像素列的分界点位置(即分界点所在第一图像的行号)；最后，根据中间区域内每列像素列的分界点位置，计算平均值，将当前平均值结果作为当前水线在第一图像中的相对位置。
例如：通过语义分割模型的输出得到处理后的分为二值化图像(第一图像)代表分割后的船体与水体，需检测船体与水体之间的交界即为当前像素列的水线。二值化图像为只包含0和1的二维矩阵，取图像的一列像素，由于分割后的图像是连续的一片区域，所以1和0的交界处只有一个，即一列像素上半部分为1，下半部分为0。计算一列像素中最下面的1所占的行号，即为当前像素列的交界点处，得到当前行号，即分界点位置。进一步，通过计算第一图像中间100像素宽区域内的每一列的交界点行号的平均值，由此代表当前水线位置，所得的位置为相对位置。
第二步，根据每个水尺字符在所述第二图像中的相对尺寸，由字符实际尺寸，得到像素点相对于船体的实际高度，基于此，结合每个水尺字符的内容，计算每个字符及其内部各像素点的实际高度。一方面，由于第二图像是像素化的图像，并且第二图像已经利用矩形框标记出每个水尺字符和/或字符单位、以及对应的内容，因此，第二图像在标记出水尺字符和/或字符单位后，会由移动终端立即确定出每个水尺字符的相对尺寸(即像素尺寸，也就是水尺字符中长、宽所包含的像素点的数量情况)和/或字符单位的相对尺寸(即像素尺寸，也就是水尺单位中长、宽所包含的像素点的数量情况)。
在实际应用过程中，第一图像和第二图像分别是基于移动终端视频或图像采集系统进行拍摄并截取出的原始图像经过在线识别处理得到的，故第二图像中标记出的水尺字符的相对高度(即包含像素点的数量)与水尺字符在船体上的实际高度是具有一定比例关系的，这一比例高度即为上述绝对距离比例。由此，在本发明实施例中，需要先根据每个水尺字符在第二图像中的相对尺寸，利用字符在船体上的实际尺寸，计算出第二图像内一个像素点相对于船体的实际尺寸；根据像素点相对于船体的实际尺寸数据，结合每个水尺字符的内容信息，计算出每个字符及其内部各像素点相对于船体的实际高度位置，从而进入到第三步中。
例如：通过目标检测模型的输出得到每个字符所代表的标尺大小(字符内容)，同时得到字符的尺寸(字符的相对尺寸)。通常一个字符为实际高度0.1米，这样，换算出当前字符代表的像素实际高度，进一步得到字符绝对位置以及每个像素点大小代表的绝对距离。
由此，本发明将水尺标记识别模型应用至图像船舶水尺字符的检测，检测出字符所在的高度位置以及每个字符框的高度代表的0.1米实际高度，从而得到实际高度与像素之间的比例，为水尺线换算计算提供条件。这样，在不同的环境条件下，基于船体与测量位置的不同，使得检测出的水尺线实际高度标准的影响较小。
第三步，将含有当前水线相对位置信息的第一图像、与每个字符及其内部各像素点的实际高度信息的第二图像进行融合，得到下述融合图像，从而匹配出船舶水线的绝对高度。由于第一图像和第二图像的大小、像素点数据是一致的，因此，在将完成水线相对位置计算的第一图像、与第二图像融合后，移动终端能够迅速确定出当前水线位置相对于船体的实际高度位置，即针对当前原始图像的船舶水尺线检测结果。
图6为本申请实施例的用于检测船舶水尺线的方法在移动终端实现的效果展示图。图6展示了本发明上述船舶水尺线检测方法在应用到移动终端后的实现界面，即上述第一图像和第二图像融合后的得到的新的(融合)图像。在融合图像中，需要在含有水尺标记信息的原始图像中，至少标记出每个字符和/或字符单位的内容、水尺线、以及水尺线相对于船舶的实际高度位置值。
需要说明的是，本发明对上述第一步和第二步的先后顺序不作具体限定，可以按照第一步、第二步的顺序依次执行，也可以按照第二步、第一步的顺序依次执行，还可以同步执行。
更进一步地说，本发明通过上述船舶水尺线检测方法的步骤S110～步骤S130通过图形的匹配结合水线的相对位置，得到水线的绝对高度位置。在采集到一段视频时，会进一步处理一系列图像后，求每张原始图像对应的船舶水尺线检测结果的平均值，从而得到该船舶的水线，以完成当前船舶水线的在线检测过程。
基于上述船舶水线检测方法，本发明还提出了一种用于检测船舶水尺线的装置(以下简称“船舶水线检测装置”)。在本发明实施例中，船舶水线检测装置集成于移动终端内，以使用移动终端即可实现船舶水尺线的在线检测功能。
图7为本申请实施例的用于检测船舶水尺线的装置的结构框图。如图7所示，上述船舶水线检测装置包括：原始图像采集模块71、图像特征识别模块72和水线高度计算模块73。
原始图像采集模块71按照步骤S110所述的方法实施，配置为通过移动终端获取含有船舶水尺标记信息的原始图像。图像特征识别模块72按照步骤S120所述的方法实施，配置为用于将原始图像采集模块71输出的原始图像分别输入至预先基于深度可分离卷积模块构建而成的水平线识别模型和水尺标记识别模型中，得到标记有船体水体交界线的第一图像和标记有水尺字符及其内容的第二图像。水线高度计算模块73按照步骤S130所述的方法实施，配置为根据图像特征识别模块72内的水平线识别模型输出的第一图像中标记的信息、以及图像特征识别模块72内的水尺标记识别模型输出的第二图像中标记的信息，检测船舶水线的实际高度。
进一步，水线高度计算模块73包括：第一图像分析单元731、第二图像分析单元732和检测结果生成单元733。第一图像分析单元731配置为根据第一图像，确定当前水线在第一图像中的相对位置。第二图像分析单元732配置为根据每个水尺字符在第二图像中的相对尺寸，由字符实际尺寸，得到像素点相对于船体的实际尺寸，基于此，结合每个水尺字符的内容，计算每个字符及其内部各像素点的实际高度。检测结果生成单元733配置为将含有当前水线相对位置信息的第一图像、与含有每个字符及其内部各像素点的实际高度信息的第二图像进行融合，匹配出船舶水线的绝对高度。
另外，基于上述船舶水线检测方法和船舶水线检测装置，本发明还提出了一种用于检测船舶水尺线的系统(以下简称“船舶水线检测系统”)。图8为本申请实施例的用于检测船舶水尺线的系统的结构示意图。如图8所示，本发明所述的船舶水线检测系统，至少包括：图像采集装置801和船舶水线检测装置(上述用于检测船舶水尺线的装置)802。其中，图像采集装置801用于采集含有船舶水尺标记信息的原始图像。图像采集装置801优选为移动终端内置的图像采集系统或视频采集系统。更进一步地说，图像采集装置801采用移动终端的内置摄像头。
另外，上述船舶水线检测系统，还包括：三轴机械云台803。三轴机械云台803用于通过对自身姿态的实时补偿控制来调节原始图像的视野范围，使得移动终端内置的图像采集系统或视频采集系统所采集到的采集图像或采集视频中含有清晰(且完整)的水尺标记信息。
本发明实施例提出了一种用于检测船舶水尺线的方法、装置和系统。本发明将基于语义分割与目标检测的网络模型部署到移动终端来在线检测船舶水尺线，从而使用移动终端设备拍摄视频或图像，通过加载模型处理后直接输出水线刻度的高度位置。本发明使用轻量型深度学习网络，在检测精度不低于99％的情况下提高检测速度，使采集到的图像在移动终端实现处理。另外，本发明利用移动终端内置的摄像系统，采用手持云平台固定移动端设备，根据三轴机械云台的姿态进行实时补偿，消除由于检测船的晃动与人的晃动产生的抖动。
以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉该技术的人员在本发明所揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应该以权利要求的保护范围为准。
应该理解的是，本发明所公开的实施例不限于这里所公开的特定结构、处理步骤或材料，而应当延伸到相关领域的普通技术人员所理解的这些特征的等同替代。还应当理解的是，在此使用的术语仅用于描述特定实施例的目的，而并不意味着限制。
说明书中提到的“一个实施例”或“实施例”意指结合实施例描述的特定特征、结构或特性包括在本发明的至少一个实施例中。因此，说明书通篇各个地方出现的短语“一个实施例”或“实施例”并不一定均指同一个实施例。
虽然本发明所披露的实施方式如上，但所述的内容只是为了便于理解本发明而采用的实施方式，并非用以限定本发明。任何本发明所属技术领域内的技术人员，在不脱离本发明所揭露的精神和范围的前提下，可以在实施的形式上及细节上作任何的修改与变化，但本发明的专利保护范围，仍须以所附的权利要求书所界定的范围为准。

Claims (10)

1.一种用于检测船舶水尺线的方法，包括：
原始图像采集步骤、通过移动终端获取含有船舶水尺标记信息的原始图像；
图像特征识别步骤、将所述原始图像分别输入至预先基于深度可分离卷积模块构建而成的水平线识别模型和水尺标记识别模型中，得到标记有船体水体交界线的第一图像和标记有水尺字符及其内容的第二图像；
水线高度计算步骤、根据所述第一图像和所述第二图像中标记的信息，检测船舶水线的实际高度。
2.根据权利要求1所述的方法，其特征在于，在所述水线高度计算步骤中，包括：
根据所述第一图像，确定当前水线在所述第一图像中的相对位置；
根据每个水尺字符在所述第二图像中的相对尺寸，由字符实际尺寸，得到像素点相对于船体的实际尺寸，基于此，结合每个水尺字符的内容，计算每个字符及其内部各像素点的实际高度；
将含有当前水线相对位置信息的第一图像、与含有每个字符及其内部各像素点的实际高度信息的第二图像进行融合，匹配出船舶水线的绝对高度。
3.根据权利要求1或2所述的方法，其特征在于，在所述原始图像采集步骤中，所述移动终端安装于三轴机械云台处，由所述三轴机械云台通过对自身姿态的实时补偿控制来调节所述原始图像的视野。
4.根据权利要求1～3中任一项所述的方法，其特征在于，
基于用于语义分割的编码器-解码器对称网络结构，构建所述水平线识别模型；
基于ssd_mobilent网络结构，构建所述水尺标记识别模型。
5.根据权利要求4所述的方法，其特征在于，
所述水平线识别模型的编码部分采用若干个深度可分离卷积构成，先对输入图像进行减小图像尺寸且增加维度处理，后结合skip-connection技术进行局部语义特征提取处理；
所述水平线识别模型的解码部分基于减小图像特征且增加维度处理的结果，采用Conv2DTranspose操作和add融合技术相结合，得到与所述输入图像的尺寸相同的输出图像。
6.根据权利要求1～5中任一项所述的方法，其特征在于，所述水平线识别模型和所述水尺标记识别模型的训练图像集包括不同光照、不同船型、以及其他影响水线识别结果的组合状态下的图像。
7.一种用于检测船舶水尺线的装置，包括：
原始图像采集模块、其用于通过移动终端获取含有船舶水尺标记信息的原始图像；
图像特征识别模块、其用于将所述原始图像分别输入至预先基于深度可分离卷积模块构建而成的水平线识别模型和水尺标记识别模型中，得到标记有船体水体交界线的第一图像和标记有水尺字符及其内容的第二图像；
水线高度计算模块、其用于根据所述第一图像和所述第二图像中标记的信息，检测船舶水线的实际高度。
8.根据权利要求7所述的装置，其特征在于，所述水线高度计算模块，包括：
第一图像分析单元，其用于根据所述第一图像，确定当前水线在所述第一图像中的相对位置；
第二图像分析单元，其用于根据每个水尺字符在所述第二图像中的相对尺寸，由字符实际尺寸，得到像素点相对于船体的实际尺寸，基于此，结合每个水尺字符的内容，计算每个字符及其内部各像素点的实际高度；
检测结果生成单元，其用于将含有当前水线相对位置信息的第一图像、与含有每个字符及其内部各像素点的实际高度信息的第二图像进行融合，匹配出船舶水线的绝对高度。
9.一种用于检测船舶水尺线的系统，其特征在于，所述系统包括：
图像采集装置，其用于采集含有船舶水尺标记信息的原始图像；
如权利要求7或8所述的用于检测船舶水尺线的装置，所述装置集成于移动终端。
10.根据权利要求9所述的系统，其特征在于，所述系统还包括：三轴机械云台，
所述三轴机械云台，其用于通过对自身姿态的实时补偿控制来调节所述原始图像的视野范围。
CN202011292875.5A 2020-11-18 2020-11-18 一种用于检测船舶水尺线的方法、装置及系统 Pending CN112528982A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011292875.5A CN112528982A (zh) 2020-11-18 2020-11-18 一种用于检测船舶水尺线的方法、装置及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011292875.5A CN112528982A (zh) 2020-11-18 2020-11-18 一种用于检测船舶水尺线的方法、装置及系统

Publications (1)

Publication Number Publication Date
CN112528982A true CN112528982A (zh) 2021-03-19

Family

ID=74981898

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011292875.5A Pending CN112528982A (zh) 2020-11-18 2020-11-18 一种用于检测船舶水尺线的方法、装置及系统

Country Status (1)

Country Link
CN (1) CN112528982A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112990162A (zh) * 2021-05-18 2021-06-18 所托(杭州)汽车智能设备有限公司 目标检测方法、装置、终端设备及存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102975826A (zh) * 2012-12-03 2013-03-20 上海海事大学 基于机器视觉的便携式船舶水尺自动检测和识别方法
CN110276285A (zh) * 2019-06-13 2019-09-24 浙江工业大学 一种非受控场景视频中的船舶水尺智能识别方法
CN110941995A (zh) * 2019-11-01 2020-03-31 中山大学 基于轻量级网络的实时目标检测与语义分割的多任务学习方法
CN111680739A (zh) * 2020-06-04 2020-09-18 通号通信信息集团有限公司 一种目标检测和语义分割的多任务并行方法及系统

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102975826A (zh) * 2012-12-03 2013-03-20 上海海事大学 基于机器视觉的便携式船舶水尺自动检测和识别方法
CN110276285A (zh) * 2019-06-13 2019-09-24 浙江工业大学 一种非受控场景视频中的船舶水尺智能识别方法
CN110941995A (zh) * 2019-11-01 2020-03-31 中山大学 基于轻量级网络的实时目标检测与语义分割的多任务学习方法
CN111680739A (zh) * 2020-06-04 2020-09-18 通号通信信息集团有限公司 一种目标检测和语义分割的多任务并行方法及系统

Non-Patent Citations (6)

* Cited by examiner, † Cited by third party
Title
戚研: "《直播带货淘宝天猫直播从新手到高手》", 民主与建设出版社, pages: 93 - 94 *
曾科: "基于深度学习中SSDMobilenet的目标检测", 《中国优秀博硕士学位论文全文数据库(硕士) 信息科技辑》 *
曾科: "基于深度学习中SSDMobilenet的目标检测", 《中国优秀博硕士学位论文全文数据库(硕士) 信息科技辑》, no. 12, 15 December 2019 (2019-12-15), pages 3 *
薛银涛: "基于卷积神经网络的船舶吃水线检测算法", 《中国优秀博硕士学位论文全文数据库(硕士) 工程科技Ⅱ辑》 *
薛银涛: "基于卷积神经网络的船舶吃水线检测算法", 《中国优秀博硕士学位论文全文数据库(硕士) 工程科技Ⅱ辑》, no. 03, 15 March 2020 (2020-03-15), pages 4 *
郭方: "基于视频的船舶吃水线检测方法的研究", 《中国优秀博硕士学位论文全文数据库(硕士) 信息科技辑》, no. 09, 15 September 2010 (2010-09-15), pages 4 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112990162A (zh) * 2021-05-18 2021-06-18 所托(杭州)汽车智能设备有限公司 目标检测方法、装置、终端设备及存储介质
CN112990162B (zh) * 2021-05-18 2021-08-06 所托(杭州)汽车智能设备有限公司 目标检测方法、装置、终端设备及存储介质

Similar Documents

Publication Publication Date Title
CN111612763B (zh) 手机屏幕缺陷检测方法、装置及系统、计算机设备及介质
KR102166458B1 (ko) 인공신경망 기반의 영상 분할을 이용한 불량 검출 방법 및 불량 검출 장치
CN111507976B (zh) 基于多角度成像的缺陷检测方法及系统
CN110826549A (zh) 基于计算机视觉的巡检机器人仪表图像识别方法及系统
CN111291629A (zh) 图像中文本的识别方法、装置、计算机设备及计算机存储介质
CN111768388A (zh) 一种基于正样本参考的产品表面缺陷检测方法及系统
CN107766864B (zh) 提取特征的方法和装置、物体识别的方法和装置
CN115311618A (zh) 一种基于深度学习和对象匹配的装配质量检查方法
US8873839B2 (en) Apparatus of learning recognition dictionary, and method of learning recognition dictionary
CN114549390A (zh) 电路板检测方法、电子装置及存储介质
CN115147644A (zh) 图像描述模型的训练和描述方法、系统、设备及存储介质
CN103295238B (zh) 安卓平台上基于roi运动检测的视频实时定位方法
CN112528982A (zh) 一种用于检测船舶水尺线的方法、装置及系统
CN117173580B (zh) 水质参数的获取方法及装置、图像处理方法、介质
CN110516527B (zh) 一种基于实例分割的视觉slam回环检测改进方法
CN117218633A (zh) 一种物品检测方法、装置、设备及存储介质
CN114862866B (zh) 标定板的检测方法、装置、计算机设备和存储介质
KR100825504B1 (ko) 카메라를 이용한 인터페이스 장치 및 방법
CN115330705A (zh) 一种基于自适应加权模板ncc的蒙皮漆面缺陷检测方法
CN112700489B (zh) 基于深度学习的船基视频图像海冰厚度测量方法及系统
CN111583341B (zh) 云台像机移位检测方法
CN115035429A (zh) 一种基于复合主干网络和多预测头的航拍目标检测方法
CN114078127A (zh) 物件的缺陷检测及计数方法、装置、设备和存储介质
CN113963230A (zh) 一种基于深度学习的车位检测方法
CN115019055A (zh) 一种图像匹配方法、装置、智能设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20210319