CN113450597A - 基于深度学习的船舶辅助航行方法及系统 - Google Patents

基于深度学习的船舶辅助航行方法及系统 Download PDF

Info

Publication number
CN113450597A
CN113450597A CN202110645199.3A CN202110645199A CN113450597A CN 113450597 A CN113450597 A CN 113450597A CN 202110645199 A CN202110645199 A CN 202110645199A CN 113450597 A CN113450597 A CN 113450597A
Authority
CN
China
Prior art keywords
ship
target
coordinate
coordinate system
deep learning
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110645199.3A
Other languages
English (en)
Other versions
CN113450597B (zh
Inventor
傅兴海
安翔
杨娥
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang Sun Creative Technologies Inc
Original Assignee
Zhejiang Sun Creative Technologies Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang Sun Creative Technologies Inc filed Critical Zhejiang Sun Creative Technologies Inc
Priority to CN202110645199.3A priority Critical patent/CN113450597B/zh
Publication of CN113450597A publication Critical patent/CN113450597A/zh
Application granted granted Critical
Publication of CN113450597B publication Critical patent/CN113450597B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G3/00—Traffic control systems for marine craft
    • G08G3/02—Anti-collision systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/60—Rotation of whole images or parts thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Molecular Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • Evolutionary Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Ocean & Marine Engineering (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Traffic Control Systems (AREA)

Abstract

本发明涉及一种基于深度学习的船舶辅助航行方法及系统，通过对本船航道水平视角进行视频成像，利用深度学习模型对获取视频图像内容的智能分析，识别出船只、浮标等水上目标，通过建立顶视图坐标系、坐标变换，计算获得船只航行信息以及本船和周围船只碰撞风险，以可视化图形界面的形式叠加在视频图像。本发明技术方案，直观地呈现出船只行驶过程中的风险点，尤其在在缺乏AIS信息的条件下，辅助船员在实际场景中直接作出航行决策。

Description

基于深度学习的船舶辅助航行方法及系统
技术领域
本发明涉及一种船舶辅助航行方法及系统，尤其涉及一种基于深度学习的船舶辅助航行方法及系统。
背景技术
随着水上交通运输的不断发展，水上船舶密度也不断增加，增加了水上交通事故发生的风险。为了增加船舶航行的安全性，一般在船舶上安装有AIS系统(AutomaticIdentification System，船舶自动识别系统)，能够将周围船只的航行信息通过基站，以无线传输的方式告知行驶的船舶，并通过一定的数学运算后判断周围船只与本船的碰撞风险。AIS系统做为电子设备，有一定的失效概率，许多船舶碰撞的事故的发生是缘于事故双方中有一方未安装AIS系统或AIS系统故障，无法判断周围船只的风险。因此在缺少AIS系统信息的条件下，如何保障船舶的安全行驶也成为关系水上交通安全的重要研究内容。
发明内容
本发明解决的技术问题是：构建一种基于深度学习的船舶辅助航行方法及系统，克服现有技术在缺少AIS系统信息的条件下如何保障船舶安全行驶的技术问题。
本发明的技术方案是：提供一种基于深度学习的船舶辅助航行方法，其特征在于，包括如下步骤：
视频成像：获取本船航道水平视频图像，获取视频图像的水平视角；
目标识别和标记：通过深度学习模型检测视频中的目标，获得目标的分类、回归框和轮廓中的一种或多种，并进行标记；
建立坐标系：在摄像机的观测范围内建立顶视图视角的直角坐标系，坐标系的x轴和y轴方向相对大地固定，按照等距离间隔绘制坐标网格；
坐标变换：获得平视图视角和顶视图视角的坐标映射关系，按平视图视角进行对坐标系中坐标轴及坐标网格进行坐标变换，按顶视图视角对周围船只位置进行坐标变换。
获取船只航行信息：在顶视图视角坐标系中，获取船只目标的航速和航向并对船只目标进行标记；
图像融合：将坐标网格、顶视图坐标系、目标标识与视频进行融合。
本发明的进一步技术方案是：在建立坐标系步骤中，根据摄像机的视场角、摄像机视轴方向和摄像机离水面的位置，确定摄像机的观测范围，以相对大地固定的坐标轴方向建立直角坐标系。
本发明的进一步技术方案是：图像融合过程中，设置一个距离阈值，将顶视图坐标系限制在以距离阈值为半径的圆内，顶视图坐标系以一定的缩小比例呈现在画面上。
本发明的进一步技术方案是：被识别的目标在平视图坐标系中的坐标位置，由回归框坐标计算获得。
本发明的进一步技术方案是：使用深度学习模型对本船航道水平视频图像中的目标进行检测，采用实例分割的方法获得目标的轮廓。
本发明的进一步技术方案是：对目标的标记包括以文字或图形方式指明类别、画出回归框、轮廓高亮、轮廓填充等方法中的一种或多种。
本发明的进一步技术方案是：通过周围船只在顶视图坐标系中的坐标位置信息计算周围船只与本船的距离，通过固定时间间隔内周围船只在顶视图坐标系中的坐标变化，计算周围船只的相对行驶速度。
本发明的技术方案是：构建一种基于深度学习的船舶辅助航行系统，包括视频成像设备、视角获取模块、目标识别模块、目标标记模块、坐标系构建模块、坐标变换模块、船只航行信息获取模块、图像融合模块，所述视频成像设备获取本船航道水平视频图像，所述视角获取模块获取视频图像的水平视角；所述目标识别模块通过深度学习模型检测视频中的目标，获得目标的分类、回归框和轮廓中的一种或多种，所述目标标记模块对视频图像中的目标进行标记；所述坐标系构建模块在摄像机的观测范围内建立顶视图视角的直角坐标系，坐标系的x轴和y轴方向相对大地固定，按照等距离间隔绘制坐标网格；所述坐标变换模块获得平视图视角和顶视图视角的坐标映射关系，按平视图视角进行对坐标系中坐标轴及坐标网格进行坐标变换，按顶视图视角对周围船只位置进行坐标变换；所述船只航行信息获取模块在顶视图视角坐标系中，计算船只目标的航速和航向并对船只目标进行标记；所述图像融合模块将坐标网格、顶视图坐标系、目标标识与视频进行融合。
本发明的进一步技术方案是：还包括目标测距模块，所述目标测距模块对周围场景中的目标进行测距。
本发明的进一步技术方案是：还包括标识模块，所述标识模块对周围场景中的目标及航道区域进行标识。
本发明的进一步技术方案是：还包括目标信息处理模块，所述目标信息处理模块对周围场景中目标信息进行显示或隐藏。
本发明的进一步技术方案是：还包括目标船只信息输出模块，所述目标船只信息输出模块输出目标船只的相关信息，包括目标船只的距离信息、最近会遇距离信息、最近会遇时间信息中的一种或多种。
本发明的进一步技术方案是：还包括桥梁穿越评估模块，所述桥梁穿越评估模块对船只在穿越桥梁过程中的风险进行评估。
本发明的技术效果是：提供一种基于深度学习的船舶辅助航行方法及系统，包括如下步骤：视频成像：获取本船航道水平视频图像，获取视频图像的水平视角；目标识别和标记：通过深度学习模型检测视频中的目标，获得目标的分类、回归框和轮廓中的一种或多种，并进行标记；建立坐标系：在摄像机的观测范围内建立顶视图视角的直角坐标系，坐标系的x轴和y轴方向相对大地固定，按照等距离间隔绘制坐标网格；坐标变换：获得平视图视角和顶视图视角的坐标映射关系，按平视图视角进行对坐标系中坐标轴及坐标网格进行坐标变换，按顶视图视角对周围船只位置进行坐标变换。获取船只航行信息：在顶视图视角坐标系中，获取船只目标的航速和航向并对船只目标进行标记；图像融合：将坐标网格、顶视图坐标系、目标标识与视频进行融合。本发明一种基于深度学习的船舶辅助航行方法，通过对获取视频图像内容的智能分析，识别出船只、浮标等水上目标，通过建立顶视图坐标系、坐标变换，计算获得船只航行信息以及本船和周围船只碰撞风险，以可视化图形界面的形式叠加在视频图像。本发明技术方案，直观地呈现出船只行驶过程中的风险点，尤其在在缺乏AIS信息的条件下，辅助船员在实际场景中直接作出航行决策。
附图说明
图1为本发明的结构示意图。
图2为本发明的由顶视图坐标系变换至平视图坐标系示意图。
图3为本发明的平视图坐标系与顶视图坐标系对应关系示意图。
图4为本发明的周围船只信息显示方式示意图。
图5为本发明的系统组成框图
图6为本发明的航道区域划分示意图。
图7为本发明的穿越桥梁风险评估示意图。
图8为本发明的穿越桥梁边界距离测量示意图。
具体实施方式
下面结合具体实施例，对本发明技术方案进一步说明。
如图1所示，本发明的具体实施方式是：提供一种基于深度学习的船舶辅助航行方法，包括如下步骤：
视频成像：获取本船航道水平视频图像，获取视频图像的水平视角。
具体实施过程是：对本船航道水平视角进行视频成像，可以输出稳定的视频图像。获取水平视角视频图像包括以下方式：使用三轴陀螺仪、三轴加速度计等惯性器件感知摄像机的视轴变化。陀螺仪是角速度传感器，设t0时刻摄像机视轴俯仰角速率为ωx，滚转方向ωy，视频帧率为f，摄像机焦距为F，探测器像元尺寸为a，为了维持视频的稳定，需要将图像在俯仰方向平移px个像素，并以原始图像中心像素为中心旋转θy角度，其中px、θy满足以下公式：
Figure BDA0003107834540000041
Figure BDA0003107834540000042
本发明的优选实施方式是：为了避免电子稳像过程中频繁出现黑边现象，在全画幅视频图像中，截取中间一个窗口区域输出，例如在1920×1080的全画幅窗口中，截取中心1792×1008区域输出，即左右各包含64个像素、上下各包含36个像素的过渡区域。
目标识别和标记：通过深度学习模型检测视频中的目标，获得目标的分类、回归框和轮廓中的一种或多种，并进行标记。
具体实施过程是：通过采集包含船只、摩托艇、浮标、桥梁、礁石等水上常见物体的图像，对图像中目标的类别和回归框进行人工标注，以此作为监督学习的标签样本，从而构建图像目标的深度学习模型，采用深度学习模型对图像进行检测分析，深度学习模型是一个全卷积神经网络，通过监督学习、半监督学习或无监督学习，确定深度学习模型参数；优选的，在采用监督学习的过程中，对目标对象进行丰富的多种类型的图像采集，对图像中目标的类别和回归框进行人工标注，以此作为监督学习的标签样本；优选的，采用MASK R-CNN学习模型对标签样本进行监督学习，使用该学习模型中的mask分支对不同的目标进行实例分割。完成训练的深度学习模型，能够对图片中的前景目标区域和背景区域得到不同的响应，从而区分出目标区域，能够对图片中的不同的目标类别得到不同的响应，从而区分出目标类别，mask分支能够对回归框中像素得到不同的响应，从而区分目标的轮廓。本发明中，对图像中目标的类别进行标注，对采集的图像通过全卷积神经网络的深度学习模型进行监督学习，通过图像目标的深度学习模型在全幅面图像中区分出目标区域、目标类别、目标轮廓。深度学习模型获取到成像目标后对目标进行标记，标记的方法包括以文字、图形、类别序号等方式指明类别，用矩形框绘制出目标回归框，对获得的目标轮廓高亮显示，对目标轮廓包含的区域进行填充等；标记过程采用以上方法中的一种或者多种。
建立坐标系：在摄像机的观测范围内建立顶视图视角的直角坐标系，坐标系的x轴和y轴方向相对大地固定，按照等距离间隔绘制坐标网格。
如图2所示，具体实施过程是：根据摄像机的视场角、摄像机视轴方向和摄像机离水面的位置，计算能够被观测到的区域。设摄像机为水平前视安装，视轴为正北方向，水平视场角为α，垂直视场角为β，则只有以正北为中心，角度为α的三角区域可以被观察到，并且根据船舶的吃水深度和摄像机的安装高度，获得摄像机离水面的高度为H，在摄像机前方L＝H·ctan(β/2)距离范围内的景物也无法被观测到，因此，能够被观测到的范围为一个缺角三角区域。以本船所在位置为原点，以正北方向y轴，正东方向为横轴x轴，建立直角坐标系，以固定距离间隔a，绘制坐标网格。具体实施例中，坐标原点的位置也可以不以本船为参考，而选择相对大地固定的位置做为坐标原点。
坐标变换：获得平视图视角和顶视图视角的坐标映射关系，按平视图视角进行对坐标系中坐标轴及坐标网格进行坐标变换，按顶视图视角对周围船只位置进行坐标变换。
如图2所示，具体实施过程是：图2(a)为顶视平面图，而视频图像为平视的平面图，平视图具有透视效果；平视图视角的坐标系即为摄像机的像素坐标系，一般以成像传感器左上角为坐标原点，水平向右为横轴正方向，竖直向下为纵轴正方向，以1920×1080的传感器为例，在该像素坐标系(同平视图坐标系)中，左上角像素的坐标为(1，1)，左下角像素的坐标为(1，1080)，右上角像素的坐标为(1920，1)，右下角像素的坐标为(1920，1080)；顶视图的坐标需要经过仿射变换转换到平视图的像素坐标中，坐标转换关系的获得可以通过在图2(a)坐标中选择特殊的点，例如观测区域边界的点或区域的顶点等，分别获得特殊的点在视频图像中的像素坐标中的像素坐标值，通过数值计算获得坐标映射关系。当镜头存在畸变时，需要对获得的像素坐标进行畸变映射，即理想成像位置至实际成像位置的映射关系，该映射关系可以通过对红外摄像机标定获得。
获取船只航行信息：在顶视图视角坐标系中，获取船只目标的航速和航向并对船只目标进行标记。
如图3所示，具体实施过程是：通过坐标映射关系将图3(b)中目标的坐标位置A，转换至图3(b)顶视图直角坐标系中的A点。通过在不同时刻下，船只在顶视图直角坐标系下的位置变化，计算获得船只的航速和航向，以图3(b)中船只目标为例，t0时刻A点坐标位置为(x0，y0)，t1时刻A点坐标位置为(x1，y1)，则该船只的相对本船的行驶速度v0满足：
Figure BDA0003107834540000061
该船只的相对本船的行驶方向即由(x0，y0)指向(x1，y1)的向量方向；作为本方案的优选，在计算船只相对行驶速度过程中，可采用多次计算取均值或进行带权重的均值运算，也可采用Kalman滤波等数值滤波算法获得船只的相对行驶速度。本船的航行速度可通过船舶两次或多次定位信息计算获得，因此将本船的航行速度向量与船只的相对本船的航行速度向量相加，即为该船只的对地航行速度向量；周围船只和本船的距离可直接由船只的直角坐标系坐标运用勾股定理计算获得；两船最近会遇距离DCPA(Distance of ClosestPoint of Approach)和最近会遇时间TCPA(Time to Closest Point of Approach)可通过两船行驶速度和行驶方向计算得到，该计算方法为成熟算法，此处不再赘述。使用等腰三角形或船舶图形等图案在顶视图坐标系中标记出船只所在的位置，等腰三角形的顶角或船舶图形的船艏方向与船只行驶方向一致；目标在图3(b)像素坐标系中的坐标是通过以下方式获得：深度学习模型获得场景中的目标回归框，取目标回归框的下边框中点坐标作为目标在像素坐标系中的坐标。
图像融合：将坐标网格、顶视图坐标系、目标标识与视频进行融合。
如图4所示，具体实施过程是：设置一个距离阈值S，将顶视图坐标系限制在以S为半径的圆内，当且仅当周围船只与本船的距离小于等于S时，该船的标记才被显示在顶视图坐标系中；绘制出圆周，在圆周上以文字、字母、图形方式中的一种或多种标记出方向，例如图中以E、W、S、N分别表示东、西、南、北方向；顶视图坐标系中目标显示区域处于圆周上半区，并关于竖直方向对称；顶视图坐标系以合适的缩小比例呈现在画面的边缘，例如在1920×1080像素的画面中，将顶视图坐标系图案圆周直径设置为180像素，置于画面的左上角。将坐标网格、目标标识、顶视图坐标系分别设置成一定透明度，例如将坐标网格、目标标识、顶视图坐标系透明度分别设置为70％、0％、50％，将坐标网格、目标标识、顶视图坐标系和视频图像进行图像叠加。
如图5所示，本发明的具体实施方式是：构建一种基于深度学习的船舶辅助航行系统，包括视频成像设备1、视角获取模块2、目标识别模块3、目标标记模块4、坐标系构建模块5、坐标变换模块6、船只航行信息获取模块7、图像融合模块8，所述视频成像设备1获取本船航道水平视频图像，所述视角获取模块2获取视频图像的水平视角；所述目标识别模块3通过深度学习模型检测视频中的目标，获得目标的分类、回归框和轮廓中的一种或多种，所述目标标记模块4对视频图像中的目标进行标记；所述坐标系构建模块5在摄像机的观测范围内建立顶视图视角的直角坐标系，坐标系的x轴和y轴方向相对大地固定，按照等距离间隔绘制坐标网格；所述坐标变换模块6获得平视图视角和顶视图视角的坐标映射关系，按平视图视角进行对坐标系中坐标轴及坐标网格进行坐标变换，按顶视图视角对周围船只位置进行坐标变换；所述船只航行信息获取模块7在顶视图视角坐标系中，计算船只目标的航速和航向并对船只目标进行标记；所述图像融合模块8将顶视图坐标系、坐标网格、目标标识与视频讲行融合。
如图5所示，本发明的具体实施过程是：视频成像设备1对本船航道水平视角进行视频成像，可以输出稳定的视频图像。视角获取模块2获取水平视角视频图像包括以下方式：使用三轴陀螺仪、三轴加速度计等惯性器件感知摄像机的视轴变化。陀螺仪是角速度传感器，设t0时刻摄像机视轴俯仰角速率为ωx，滚转方向ωy，视频帧率为f，摄像机焦距为F，探测器像元尺寸为a，为了维持视频的稳定，需要将图像在俯仰方向平移px个像素，并以原始图像中心像素为中心旋转θy角度，其中px、θy满足以下公式：
Figure BDA0003107834540000081
Figure BDA0003107834540000082
通过采集包含船只、摩托艇、浮标、桥梁、礁石等水上常见物体的图像，对图像中目标的类别和回归框进行人工标注，以此作为监督学习的标签样本，从而构建图像目标的深度学习模型，采用深度学习模型对图像进行检测分析，深度学习模型是一个全卷积神经网络，通过监督学习、半监督学习或无监督学习，确定深度学习模型参数；优选的，在采用监督学习的过程中，对目标对象进行丰富的多种类型的图像采集，对图像中目标的类别和回归框进行人工标注，以此作为监督学习的标签样本；优选的，采用MASK R-CNN学习模型对标签样本进行监督学习，使用该学习模型中的mask分支对不同的目标进行实例分割。完成训练的深度学习模型，能够对图片中的前景目标区域和背景区域得到不同的响应，从而区分出目标区域，能够对图片中的不同的目标类别得到不同的响应，从而区分出目标类别，mask分支能够对回归框中像素得到不同的响应，从而区分目标的轮廓。本发明中，对图像中目标的类别进行标注，对采集的图像通过全卷积神经网络的深度学习模型进行监督学习，通过图像目标的深度学习模型在全幅面图像中区分出目标区域、目标类别、目标轮廓。深度学习模型获取到成像目标后对目标进行标记，标记的方法包括以文字、图形、类别序号等方式指明类别，用矩形框绘制出目标回归框，对获得的目标轮廓高亮显示，对目标轮廓包含的区域进行填充等；标记过程采用以上方法中的一种或者多种。
根据摄像机的视场角、摄像机视轴方向和摄像机离水面的位置，计算能够被观测到的区域。设摄像机为水平前视安装，视轴为正北方向，水平视场角为α，垂直视场角为β，则只有以正北为中心，角度为α的三角区域可以被观察到，并且根据船舶的吃水深度和摄像机的安装高度，获得摄像机离水面的高度为H，在摄像机前方上＝H·ctan(β/2)距离范围内的景物也无法被观测到，因此，能够被观测到的范围为一个缺角三角区域。以本船所在位置为原点，以正北方向y轴，正东方向为横轴x轴，建立直角坐标系，以固定距离间隔a，绘制坐标网格。
图2(a)为顶视平面图，而视频图像为平视的平面图，平视图具有透视效果；平视图视角的坐标系即为摄像机的像素坐标系，一般以成像传感器左上角为坐标原点，水平向右为横轴正方向，竖直向下为纵轴正方向，以1920×1080的传感器为例，在该像素坐标系(同平视图坐标系)中，左上角像素的坐标为(1，1)，左下角像素的坐标为(1，1080)，右上角像素的坐标为(1920，1)，右下角像素的坐标为(1920，1080)；顶视图的坐标需要经过仿射变换转换到平视图的像素坐标中，坐标转换关系的获得可以通过在图2(a)坐标中选择特殊的点，例如观测区域边界的点或区域的顶点等，分别获得特殊的点在视频图像中的像素坐标中的像素坐标值，通过数值计算获得坐标映射关系。当镜头存在畸变时，需要对获得的像素坐标进行畸变映射，即理想成像位置至实际成像位置的映射关系，该映射关系可以通过对红外摄像机标定获得。
通过坐标映射关系将图3(b)中目标的坐标位置A，转换至图3(b)顶视图直角坐标系中的A点。通过在不同时刻下，船只在顶视图直角坐标系下的位置变化，计算获得船只的航速和航向，以图3(b)中船只目标为例，t0时刻A点坐标位置为(x0，y0)，t1时刻A点坐标位置为(x1，y1)，则该船只的相对本船的行驶速度v0满足：
Figure BDA0003107834540000091
该船只的相对本船的行驶方向即由(x0，y0)指向(x1，y1)的向量方向；本船的航行速度可通过船舶两次或多次定位信息计算获得，因此将本船的航行速度向量与船只的相对本船的航行速度向量相加，即为该船只的对地航行速度向量；两船最近会遇距离DCPA(Distance of Closest Point of Approach)和最近会遇时间TCPA(Time to ClosestPoint of Approach)可通过两船行驶速度和行驶方向计算得到，该计算方法为成熟算法，此处不再赘述。使用等腰三角形或船舶图形等图案在顶视图坐标系中标记出船只所在的位置，等腰三角形的顶角或船舶图形的船艏方向与船只行驶方向一致；目标在图3(b)像素坐标系中的坐标是通过以下方式获得：深度学习模型获得场景中的目标回归框，取目标回归框的下边框中点坐标做为目标在像素坐标系中的坐标。
设置一个距离阈值S，将顶视图坐标系限制在以S为半径的圆内，当且仅当周围船只与本船的距离小于等于S时，该船的标记才被显示在顶视图坐标系中；绘制出圆周，在圆周上以文字、字母、图形方式中的一种或多种标记出方向，例如图中以E、W、S、N分别表示东、西、南、北方向；顶视图坐标系中目标显示区域处于圆周上半区，并关于竖直方向对称；顶视图坐标系以合适的缩小比例呈现在画面的边缘，例如在1920×1080像素的画面中，将顶视图坐标系图案圆周直径设置为180像素，置于画面的左上角。将坐标网格、目标标识、顶视图坐标系分别设置成一定透明度，例如将坐标网格、目标标识、顶视图坐标系透明度分别设置为70％、0％、50％，将坐标网格、目标标识、顶视图坐标系和视频图像进行图像叠加。
如图3、图5所示，本发明的优选实施方式是：还包括目标测距模块9，所述目标测距模块对周围场景中的船只目标进行测距。具体实施过程是：通过坐标映射关系将图3(b)中目标的坐标位置A，转换至图3(b)顶视图直角坐标系中的A点。t0时刻A点坐标位置为(x0，y0)，本船的坐标位置为(xb，yb)，则t0时刻该目标船只与本船的距离LA为：
Figure BDA0003107834540000101
如图4、图5、图6所示，本发明的优选实施方式是：还包括标识模块10，所述标识模块对周围场景中的目标及航道区域进行标识。具体实施过程是：使用等腰三角形或船舶图形等图案在顶视图坐标系中标记出船只所在的位置，等腰三角形的顶角或船舶图形的船艏方向与船只行驶方向一致。根据本船的宽度、船艏方向和航行方向确定船舶在按行驶方向在航道中所占宽度，将航道分为直线行驶区、危险区、其他区域，区域之间使用曲线区分。直线行驶区为船舶所占宽度沿行驶方向的预测轨迹，危险区是直线行驶区两侧固定宽度的区域，例如设置该区域宽度左右各为20米，其他区域为除直线行驶区和危险区以外的航道区域。
如图3、图5所示，本发明的优选实施方式是：还包括目标信息处理模块11，所述目标信息处理模块对周围场景中目标信息进行显示或隐藏。还包括周围船只信息显示，通过选择指定的周围船只标识，可以显示或消隐该船只的信息，船只的信息包括本船和指定船只的当前距离、最近会遇距离、最近会遇时间等。具体实施过程是：深度学习模块检测到船只目标，通过回归框位置获得船只在像素坐标中的位置A，通过坐标映射关系将图3(a)像素坐标中位置A转换至图3(b)顶视图直角坐标系中的A点。通过在不同时刻下，船只在顶视图直角坐标系下的位置变化，计算获得船只的航速和航向，以图3(b)中船只目标为例，t0时刻A点坐标位置为(x0，y0)，t1时刻A点坐标位置为(x1，y1)，则该船只的相对本船的行驶速度v0满足：
Figure BDA0003107834540000111
该船只的相对本船的行驶方向即由(x0，y0)指向(x1，y1)的向量方向；本船的航行速度可通过船舶两次或多次定位信息计算获得，因此将本船的航行速度向量与船只的相对本船的航行速度向量相加，即为该船只的对地航行速度向量；两船最近会遇距离DCPA(Distance of Closest Point of Approach)和最近会遇时间TCPA(Time to ClosestPoint of Approach)可通过两船行驶速度和行驶方向计算得到，该计算方法为成熟算法，此处不再赘述。指定船只的船只距离、最近会遇距离、最近会遇时间等信息会集中在一个对话框中，通过人工选择指定的周围船只标识，该船只标识可以通过颜色填充、高亮等方式突出显示，同时在界面上显示上述对话框；通过再次选择该船只标识可以将对话框消隐。
如图5、图7、图8所示，本发明的优选实施方式是：还包括桥梁穿越评估模块12，所述桥梁穿越评估模块对船只在穿越桥梁过程中的风险进行评估。具体实施过程是：在桥梁穿越评估模块中预存本船在水面以上横截面的图形，根据船只吃水深度、船艏方向和航行方向调整图像长宽比例。深度学习模型检测到桥梁目标后，直线行驶区与桥梁回归框相交于P1、P2两点，将预存的横截面的图形按其长宽比例投影至桥梁位置，横截面的底边与P1、P2组成的线段重合，直观展示本船在穿越桥梁时与桥梁的相对位置。深度学习模块的mask分支对桥梁目标进行实例分割，区分桥梁所占的像素，当桥梁所占的像素和投影面像素有重叠，则代表船只有碰撞桥梁的危险，可通过对投影面标红、高亮等方式做出警告；当桥梁所占的像素和投影面像素无重叠，设置预存横截面的最左点B、最高点C、最右点D，分别计算三个点距离桥梁的像素距离L1、L2、L3；将P1点或P2点的像素坐标变换到顶视图的直角坐标，计算投影位置与本船的距离M，根据摄像机焦距F，探测器像元尺寸a，预估L1、L2、L3对应的实际距离：
Figure BDA0003107834540000121
Figure BDA0003107834540000122
Figure BDA0003107834540000123
设置警告阈值Lalarm，当L1real、L2real、L3real中任意一个距离小于等于警告阈值Lalarm时，可通过对投影面标黄、危险一侧边缘高亮等方式做出警告。
如图5所示，本发明的优选实施方式是：还包括周围船只碰撞警示，当周围船只具有与本船碰撞的风险时，会做出警示。警示方式可以采用但不限于对不同碰撞风险的船只标识使用不同的颜色加以区分。还包括触礁、触岸警示，当本船行驶靠近危险区域，如浮标、礁石等，会做出警示；警示方式可以采用但不限于对危险区域或危险物体进行边缘高亮。
本发明的技术效果是：提供一种基于深度学习的船舶辅助航行方法及系统，包括如下步骤：视频成像：获取本船航道水平视频图像，获取视频图像的水平视角；目标识别和标记：通过深度学习模型检测视频中的目标，获得目标的分类、回归框和轮廓中的一种或多种，并进行标记；建立坐标系：在摄像机的观测范围内建立顶视图视角的直角坐标系，坐标系的x轴和y轴方向相对大地固定，按照等距离间隔绘制坐标网格；坐标变换：获得平视图视角和顶视图视角的坐标映射关系，按平视图视角进行对坐标系中坐标轴及坐标网格进行坐标变换，按顶视图视角对周围船只位置进行坐标变换。获取船只航行信息：在顶视图视角坐标系中，获取船只目标的航速和航向并对船只目标进行标记；图像融合：将顶视图坐标系、坐标网格、目标标识与视频进行融合。本发明一种基于深度学习的船舶辅助航行方法，通过对获取视频图像内容的智能分析，识别出船只、浮标等水上目标，通过建立顶视图坐标系、坐标变换，计算获得船只航行信息以及本船和周围船只碰撞风险，以可视化图形界面的形式叠加在视频图像。本发明技术方案，直观地呈现出船只行驶过程中的风险点，尤其在在缺乏AIS信息的条件下，辅助船员在实际场景中直接作出航行决策。
以上内容是结合具体的优选实施方式对本发明所作的进一步详细说明，不能认定本发明的具体实施只局限于这些说明。对于本发明所属技术领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干简单推演或替换，都应当视为属于本发明的保护范围。

Claims (13)

1.一种基于深度学习的船舶辅助航行方法,其特征在于，包括如下步骤：
视频成像：获取本船航道水平视频图像，获取视频图像的水平视角；
目标识别和标记：通过深度学习模型检测视频中的目标，获得目标的分类、回归框和轮廓中的一种或多种，并进行标记；
建立坐标系：在摄像机的观测范围内建立顶视图视角的直角坐标系，坐标系的x轴和y轴方向相对大地固定，按照等距离间隔绘制坐标网格；
坐标变换：获得平视图视角和顶视图视角的坐标映射关系，按平视图视角进行对坐标系中坐标轴及坐标网格进行坐标变换，按顶视图视角对周围船只位置进行坐标变换。
获取船只航行信息：在顶视图视角坐标系中，获取船只目标的航速和航向并对船只目标进行标记；
图像融合：将坐标网格、顶视图坐标系、目标标识与视频进行融合。
2.根据权利要求1所述基于深度学习的船舶辅助航行方法，其特征在于，在建立坐标系步骤中，根据摄像机的视场角、摄像机视轴方向和摄像机离水面的位置，确定摄像机的观测范围，以相对大地固定的坐标轴方向建立直角坐标系。
3.根据权利要求1所述基于深度学习的船舶辅助航行方法，其特征在于，图像融合过程中，设置一个距离阈值，将顶视图坐标系限制在以距离阈值为半径的圆内，顶视图坐标系以一定的缩小比例呈现在画面上。
4.根据权利要求1所述基于深度学习的船舶辅助航行方法，其特征在于，被识别的目标在平视图坐标系中的坐标位置，由回归框坐标计算获得。
5.根据权利要求1所述基于深度学习的船舶辅助航行方法，其特征在于，使用深度学习模型对本船航道水平视频图像中的目标进行检测，采用实例分割的方法获得目标的轮廓。
6.根据权利要求1所述基于深度学习的船舶辅助航行方法，其特征在于，对目标的标记包括以文字或图形方式指明类别、画出回归框、轮廓高亮、轮廓填充等方法中的一种或多种。
7.根据权利要求1所述基于深度学习的船舶辅助航行方法，其特征在于，通过周围船只在顶视图坐标系中的坐标位置信息计算周围船只与本船的距离，通过固定时间间隔内周围船只在顶视图坐标系中的坐标变化，计算周围船只的相对行驶速度。
8.一种基于深度学习的船舶辅助航行系统,其特征在于，包括视频成像设备、视角获取模块、目标识别模块、目标标记模块、坐标系构建模块、坐标变换模块、船只航行信息获取模块、图像融合模块，所述视频成像设备获取本船航道水平视频图像，所述视角获取模块获取视频图像的水平视角；所述目标识别模块通过深度学习模型检测视频中的目标，获得目标的分类、回归框和轮廓中的一种或多种，所述目标标记模块对视频图像中的目标进行标记；所述坐标系构建模块在摄像机的观测范围内建立顶视图视角的直角坐标系，坐标系的x轴和y轴方向相对大地固定，按照等距离间隔绘制坐标网格；所述坐标变换模块获得平视图视角和顶视图视角的坐标映射关系，按平视图视角进行对坐标系中坐标轴及坐标网格进行坐标变换，按顶视图视角对周围船只位置进行坐标变换；所述船只航行信息获取模块在顶视图视角坐标系中，计算船只目标的航速和航向并对船只目标进行标记；所述图像融合模块将坐标网格、顶视图坐标系、目标标识与视频进行融合。
9.根据权利要求8所述基于深度学习的船舶辅助航行系统,其特征在于，还包括目标测距模块，所述目标测距模块对周围场景中的目标进行测距。
10.根据权利要求8所述基于深度学习的船舶辅助航行系统,其特征在于，还包括标识模块，所述标识模块对周围场景中的目标及航道区域进行标识。
11.根据权利要求8所述基于深度学习的船舶辅助航行系统,其特征在于，还包括目标信息处理模块，所述目标信息处理模块对周围场景中目标信息进行显示或隐藏。
12.根据权利要求8所述基于深度学习的船舶辅助航行系统,其特征在于，还包括目标船只信息输出模块，所述目标船只信息输出模块输出目标船只的相关信息，包括目标船只的距离信息、最近会遇距离信息、最近会遇时间信息中的一种或多种。
13.根据权利要求8所述基于深度学习的船舶辅助航行系统,其特征在于，还包括桥梁穿越评估模块，所述桥梁穿越评估模块对船只在穿越桥梁过程中的风险进行评估。
CN202110645199.3A 2021-06-09 2021-06-09 基于深度学习的船舶辅助航行方法及系统 Active CN113450597B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110645199.3A CN113450597B (zh) 2021-06-09 2021-06-09 基于深度学习的船舶辅助航行方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110645199.3A CN113450597B (zh) 2021-06-09 2021-06-09 基于深度学习的船舶辅助航行方法及系统

Publications (2)

Publication Number Publication Date
CN113450597A true CN113450597A (zh) 2021-09-28
CN113450597B CN113450597B (zh) 2022-11-29

Family

ID=77811163

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110645199.3A Active CN113450597B (zh) 2021-06-09 2021-06-09 基于深度学习的船舶辅助航行方法及系统

Country Status (1)

Country Link
CN (1) CN113450597B (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114092372A (zh) * 2022-01-18 2022-02-25 北京海兰信数据科技股份有限公司 一种船舶电子航道图和全景视频图像叠加的方法及系统
CN114924477A (zh) * 2022-05-26 2022-08-19 西南大学 基于图像识别及pid智能控制的电拦鱼过船装置
CN115331486A (zh) * 2022-08-12 2022-11-11 河海大学 一种船舶碰撞风险评估与预测方法及装置
CN116205369A (zh) * 2023-03-20 2023-06-02 中国人民解放军军事科学院战略评估咨询中心 海上伏击预测系统及方法
CN116740103A (zh) * 2023-06-27 2023-09-12 浪潮智慧科技有限公司 基于单目摄像头的水面漂浮物碰撞预测方法、设备及介质

Citations (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2441660A1 (en) * 2010-09-24 2012-04-18 EVS Embedded Vision Systems s.r.l. Assisting visual apparatus for mooring a ship
US20120320211A1 (en) * 2010-06-15 2012-12-20 Tatsuya Mitsugi Vihicle surroundings monitoring device
KR101470230B1 (ko) * 2013-10-30 2014-12-08 현대자동차주식회사 주차 영역 추적 장치 및 그 방법
CN105141887A (zh) * 2015-07-06 2015-12-09 国家电网公司 一种基于热成像的海缆区域视频告警方法
CN109059863A (zh) * 2018-06-29 2018-12-21 大连民族大学 将平视行人轨迹点向量映射至二维世界坐标系的方法
CN110060508A (zh) * 2019-04-08 2019-07-26 武汉理工大学 一种用于内河桥区的船舶自动检测方法
JP2020027325A (ja) * 2018-08-09 2020-02-20 東亜建設工業株式会社 船舶または車両のナビゲーションシステム
US20200057488A1 (en) * 2017-04-28 2020-02-20 FLIR Belgium BVBA Video and image chart fusion systems and methods
WO2020133172A1 (zh) * 2018-12-28 2020-07-02 深圳市大疆创新科技有限公司 图像处理方法、设备及计算机可读存储介质
CN111862214A (zh) * 2020-07-29 2020-10-30 上海高仙自动化科技发展有限公司 计算机设备定位方法、装置、计算机设备和存储介质
CN111968046A (zh) * 2020-07-21 2020-11-20 南京莱斯网信技术研究院有限公司 一种基于拓扑结构的雷达光电传感器目标关联融合方法
US20210073573A1 (en) * 2018-11-15 2021-03-11 Shanghai Advanced Avionics Co., Ltd. Ship identity recognition method based on fusion of ais data and video data
US20210110514A1 (en) * 2019-10-11 2021-04-15 Kayrros Method, device and non-transitory computer-readable storage medium for increasing the resolution and dynamic range of a sequence of respective top view images of a same terrestrial location
CN112665588A (zh) * 2020-12-10 2021-04-16 中船航海科技有限责任公司 一种基于增强现实的船舶航行态势感知方法
WO2021075319A1 (ja) * 2019-10-17 2021-04-22 川崎重工業株式会社 操船支援システム及び方法

Patent Citations (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120320211A1 (en) * 2010-06-15 2012-12-20 Tatsuya Mitsugi Vihicle surroundings monitoring device
EP2441660A1 (en) * 2010-09-24 2012-04-18 EVS Embedded Vision Systems s.r.l. Assisting visual apparatus for mooring a ship
KR101470230B1 (ko) * 2013-10-30 2014-12-08 현대자동차주식회사 주차 영역 추적 장치 및 그 방법
CN105141887A (zh) * 2015-07-06 2015-12-09 国家电网公司 一种基于热成像的海缆区域视频告警方法
US20200057488A1 (en) * 2017-04-28 2020-02-20 FLIR Belgium BVBA Video and image chart fusion systems and methods
CN109059863A (zh) * 2018-06-29 2018-12-21 大连民族大学 将平视行人轨迹点向量映射至二维世界坐标系的方法
JP2020027325A (ja) * 2018-08-09 2020-02-20 東亜建設工業株式会社 船舶または車両のナビゲーションシステム
US20210073573A1 (en) * 2018-11-15 2021-03-11 Shanghai Advanced Avionics Co., Ltd. Ship identity recognition method based on fusion of ais data and video data
WO2020133172A1 (zh) * 2018-12-28 2020-07-02 深圳市大疆创新科技有限公司 图像处理方法、设备及计算机可读存储介质
CN110060508A (zh) * 2019-04-08 2019-07-26 武汉理工大学 一种用于内河桥区的船舶自动检测方法
US20210110514A1 (en) * 2019-10-11 2021-04-15 Kayrros Method, device and non-transitory computer-readable storage medium for increasing the resolution and dynamic range of a sequence of respective top view images of a same terrestrial location
WO2021075319A1 (ja) * 2019-10-17 2021-04-22 川崎重工業株式会社 操船支援システム及び方法
CN111968046A (zh) * 2020-07-21 2020-11-20 南京莱斯网信技术研究院有限公司 一种基于拓扑结构的雷达光电传感器目标关联融合方法
CN111862214A (zh) * 2020-07-29 2020-10-30 上海高仙自动化科技发展有限公司 计算机设备定位方法、装置、计算机设备和存储介质
CN112665588A (zh) * 2020-12-10 2021-04-16 中船航海科技有限责任公司 一种基于增强现实的船舶航行态势感知方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
张云飞等: "一种基于孪生网络的高鲁棒性实时单目标船舶跟踪方法", 《舰船科学技术》 *
申晓宁等: "智能水产养殖无人船系统的设计与实现", 《计算机工程与设计》 *

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114092372A (zh) * 2022-01-18 2022-02-25 北京海兰信数据科技股份有限公司 一种船舶电子航道图和全景视频图像叠加的方法及系统
CN114092372B (zh) * 2022-01-18 2022-05-13 北京海兰信数据科技股份有限公司 一种船舶电子航道图和全景视频图像叠加的方法及系统
CN114924477A (zh) * 2022-05-26 2022-08-19 西南大学 基于图像识别及pid智能控制的电拦鱼过船装置
CN115331486A (zh) * 2022-08-12 2022-11-11 河海大学 一种船舶碰撞风险评估与预测方法及装置
CN115331486B (zh) * 2022-08-12 2023-06-13 河海大学 一种船舶碰撞风险评估与预测方法及装置
CN116205369A (zh) * 2023-03-20 2023-06-02 中国人民解放军军事科学院战略评估咨询中心 海上伏击预测系统及方法
CN116205369B (zh) * 2023-03-20 2023-11-21 中国人民解放军军事科学院战略评估咨询中心 海上伏击预测系统及方法
CN116740103A (zh) * 2023-06-27 2023-09-12 浪潮智慧科技有限公司 基于单目摄像头的水面漂浮物碰撞预测方法、设备及介质
CN116740103B (zh) * 2023-06-27 2024-04-26 浪潮智慧科技有限公司 基于单目摄像头的水面漂浮物碰撞预测方法、设备及介质

Also Published As

Publication number Publication date
CN113450597B (zh) 2022-11-29

Similar Documents

Publication Publication Date Title
CN113450597B (zh) 基于深度学习的船舶辅助航行方法及系统
CN106919915B (zh) 基于adas系统的地图道路标记及道路质量采集装置及方法
JP4327000B2 (ja) 相手船動静監視装置
US10378905B2 (en) Auxiliary berthing method and system for vessel
US9401049B2 (en) Augmented reality system using moving ceiling transparent display for ship and method for enabling same
CN101214851B (zh) 船舶行驶智能型全天候主动安全预警系统及其预警方法
CN107843267A (zh) 施工路段无人驾驶车辆的路径生成方法及装置
KR20200050808A (ko) 선내항법센서와 영상정보 융합을 통한 충돌위험도예측 및 안전운항가이드 시스템
KR20080024776A (ko) 호프 변환을 이용한 주차구획 인식 방법, 장치 및 그를이용한 주차 보조 시스템
CN115774444B (zh) 一种基于稀疏导航地图的路径规划优化方法
CN115620559A (zh) 一种基于智能感知的船舶安全管理方法、系统及设备
CN113570656A (zh) 一种面向桥区水域船舶高度测量及超高预警系统及其方法
CN115723919A (zh) 一种船舶偏航的辅助航行方法及装置
CN112017213B (zh) 一种目标对象的位置更新方法及系统
CN113450598B (zh) 基于红外视频的船舶辅助航行方法及系统
JP4823753B2 (ja) 車両の周辺監視装置
CN110633492A (zh) 一种仿真机器人Android平台的车道偏离预警方法
EP3905223A1 (en) Aircraft display systems and methods for identifying target traffic
KR20230123504A (ko) 항로 표지 식별 장치, 자율 항행 시스템, 항로 표지식별 방법, 및 프로그램
JP4694441B2 (ja) 車両周辺監視システム
KR102249156B1 (ko) 증강현실 이미지를 이용한 항해 보조장치
CN113051987A (zh) 信号识别系统及其方法
CN117710923B (zh) 一种不良视线下汽渡辅助航行方法
EP4296968A1 (en) Method for labelling a water surface within an image, method for providing a training dataset for training, validating, and/or testing a machine learning algorithm, machine learning algorithm for detecting a water surface in an image, and water surface detection system
EP4383215A1 (en) Method and system for determining a region of water clearance of a water surface

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant