CN117710923B - 一种不良视线下汽渡辅助航行方法 - Google Patents

Abstract

本发明涉及汽渡智能航行技术领域，尤其是一种不良视线下汽渡辅助航行方法，具体：将热成像仪和激光雷达在渡船上安装到位，且进行参数标定；分别借助激光雷达、热成像仪以采集渡船周围目标物的雷达点云图像、热图像；借助于数据处理终端对热图像帧和点云图像帧进行二进制阈值化处理，且执行同时性核准处理；借助于数据处理终端求解出雷达点云图像和热图像联合标定的外参，经坐标表换后的热图像帧与点云图像帧相融合，兼具有方位信息和色彩信息的融合图像得以实时地展现于显示终端上，如此，精准地定位出江面上船舶、码头或障碍物，有效解决了不良视线下特别是突发团雾时汽渡的安全航行问题，给船舶驾驶员以直观的感受。

Description

一种不良视线下汽渡辅助航行方法

技术领域

本发明涉及汽渡智能航行技术领域，尤其是一种不良视线下汽渡辅助航行方法。

背景技术

汽渡专门用于渡运汽车、旅客、列车越过河流、港湾、海峡，其特点为首尾两端均有推进器和舵设备，且两端均可靠泊码头。渡口有一系列设施供渡船停靠，主要包括临水岸壁、泊船码头、供车辆和客货上下渡船用的引道、引桥、渡船停泊的水域等。

作为渡运行业而言，安全是一切工作的基础，航行安全更是重中之重，特别是航行中突发团雾的情况，一直未能有行之有效的解决办法，存在较大的安全风险。为了应对此问题，船岸协同预警避碰系统应用而生。虽说在一定程度上解决了航行安全问题，然而，其无线传输信号不稳定、预警水域受限等问题。再者，在不良视线下，特别团雾出现时，驾驶无法看清外部目标和岸线，无法判断自身所在位置和航向指示。而驾驶员仅凭显示终端以明确渡船在江中位置以及与其他船舶之间的相对距离，绝大部分驾驶无法稳定航向并按照拟定的航向航行，容易在航行中发生“迷航”，且有发生碰撞受损的风险。因而，亟待技术人员解决上述问题。

发明内容

故，本发明课题组鉴于上述现有的问题以及缺陷，乃搜集相关资料，经由多方的评估及考量，并经过课题组人员不断实验以及修改，最终导致该不良视线下汽渡辅助航行方法的出现。

为了解决上述技术问题，本发明涉及了一种不良视线下汽渡辅助航行方法，借助于辅助航行系统来实现。辅助航行系统包括一热成像仪、多个激光雷达、一数据终端以及一显示终端。

不良视线下汽渡辅助航行方法包括以下步骤：

S1、将热成像仪和激光雷达均安装于渡船的顶部，且激光雷达环绕热成像仪进行周向均布。数据终端用来接收热成像仪和激光雷达所采集到的实时数据，经数据处理、运算，且借由显示终端以呈现实时画面；

S2、对热成像仪和激光雷达进行参数标定，并将两者时钟源调至统一，且时间戳一致；

S3、借助于激光雷达对渡船周围目标物进行扫描，并将采集到的雷达点云图像实时传输至数据处理终端。数据处理终端对雷达点云图像执行运算处理，并即时向着热成像仪发出转动动作指令，目标物得以被捕捉、定位，且将其实时热图像数据传回至数据处理终端；

S4、热图像由多个按时顺序播放的热图像帧组成，而雷达点云图像由多个按时顺序播放的点云图像帧组成。借助于数据处理终端对所采集到的热图像帧和点云图像帧进行二进制阈值化处理；

S5、借助于数据处理终端对热图像帧和点云图像帧执行同时性核准处理；

S6、借助于数据处理终端求解出雷达点云图像和热图像联合标定的外参，经坐标表换后的热图像帧与点云图像帧相融合，兼具有方位信息和色彩信息的融合图像得以实时地展现于显示终端上。

作为本发明所公开技术方案的进一步改进，在步骤S1中，渡船借助于智能导向模块行进。在行驶进程中，智能导向模块实时地拟合出渡船的前行轨迹，与此同时，热成像仪和激光雷达分别获取渡船周围目标物的方位信息和热成像信息。

作为本发明所公开技术方案的更进一步改进，智能导向模块包括有电子海图。将码头区域数据化处理以生成电子围栏警示区，且标记于显示终端。渡船正常行驶时，电子海图采用在线网络模式，而当其接近电子围栏警示区时，电子海图切换至离线模式。

作为本发明所公开技术方案的进一步改进，在步骤S2中，假定热图像采取二维坐标系[u，v]T进行标定，而雷达点云图像采取三维坐标系P[X′，Y′,Z′]进行标定。

作为本发明所公开技术方案的进一步改进，在步骤S2中，设定热图像的分辨率为A，则A＝L×Q，其中，L为高度方向像素点的数量，Q为水平方向像素点的数量。热图像的生成过程包括以下阶段：热成像仪所采集的图像依序经过形态学滤波处理、阈值分割处理后得到二值图像；以热成像仪的中心作为坐标原点，建立图像坐标系，且将二值图像置于图像坐标系中；遍历二值图像，确定出渡船周围目标物所在的区域，且标定其中心。

作为本发明所公开技术方案的更进一步改进，二值图像的遍历方法为：以图像坐标系为参照，分别沿着第一象限沿Y轴正方向、负方向对二值图像进行遍历，并记录其在Y轴方向的所有边界点，并分别在第一象限沿X轴正方向、负方向对二值图像进行遍历，并记录其在X轴方向的所有边界点。

作为本发明所公开技术方案的进一步改进，在步骤S4中，数据处理终端执行二进制阈值化处理过程中，针对于热图像帧而言，当两相邻像素点之间的距离小于设定的阈值A1时，则合并为簇，且簇设有点大下限值。

作为本发明所公开技术方案的进一步改进，在步骤S6中，根据热图像中各像素点温度值以及各像素点的坐标值进行聚类分析，且借助于数据处理终端以区分出目标物聚类和水域聚类；且对比热图像中各像素点与相邻像素点的聚类类别，获取目标物的边缘轮廓；将边缘轮廓的曲率与预设值进行对比，结合对应热图像中各像素点的温度值及其坐标值，提取目标物的边界框，且结合雷达点云图像以得出目标物的方位信息。

在实际应用中，本发明所公开的不良视线下汽渡辅助航行方法至少取得了以下几方面有益技术效果，具体为：

1)分别借助于热成像仪、激光雷达等设备采集到渡船周围目标物图像信息、雷达点云图像，借进行数据融合计算，以实时地在显示终端注明渡船周围目标物与渡船相对位置(方位和距离)、岸线及目的地(拟到达的码头)的位置，进而精准定位出江面上船舶、码头或障碍物，有效解决了不良视线下特别是突发团雾时汽渡的安全航行问题，给船舶驾驶员以直观的感受，从而利于实现不良视线下的有效避让和安全返航；

2)激光雷达可实现浓雾天气下1～2公里内的目标物进行测距和定位。当激光雷达扫描到渡船周围目标物时，根据返回的距离和位置信息，换算成角度信息，热成像仪得以适应性地转动相应角度，利于实现对渡船周围目标物的精准捕捉和定位；

3)因显示终端可根据热图像帧与点云图像帧融合结果进行智能成像，从而在不良视线的条件下，可自动预警并呈现江面上的其他船舶，并辅助驾驶人员停泊靠岸，从技术范畴为安全渡运增添一道“防护墙”；

4)实现了辅助航行系统由“人防”向“技防”的上技术转变，即便在突发团雾情形下，驾驶人员仍难以出现江中迷航情况，在显示终端的可视化指引下，不但提升汽渡航行过程的安全性，而且还利于实现快捷返航，以尽可能地减少不必要的燃油消耗。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本发明中不良视线下汽渡辅助航行方法的人机交互界面。

具体实施方式

下面结合具体实施例，对本发明所公开的内容做进一步的详细说明。不良视线下汽渡辅助航行方法，借助于辅助航行系统来实现。辅助航行系统包括一热成像仪、多个激光雷达、一数据终端以及一显示终端。数据终端用来接收借助于热成像仪、激光雷达所采集到的渡船周围目标物图像信息、雷达点云图像，经数据处理、运算后，且借由显示终端以呈现实时画面。

不良视线下汽渡辅助航行方法包括以下步骤：

S1、将热成像仪和激光雷达均安装于渡船的顶部，且激光雷达环绕热成像仪进行周向均布；

S2、对热成像仪和激光雷达进行参数标定，并将两者时钟源调至统一，且时间戳一致；

S3、借助于激光雷达对渡船周围目标物进行扫描，并将采集到的雷达点云图像实时传输至数据处理终端。数据处理终端对雷达点云图像执行运算处理，并即时向着热成像仪发出转动动作指令，目标物得以被捕捉、定位，且将其实时热图像数据传回至数据处理终端；

S4、热图像由多个按时顺序播放的热图像帧组成，而雷达点云图像由多个按时顺序播放的点云图像帧组成。借助于数据处理终端对所采集到的热图像帧和点云图像帧进行二进制阈值化处理；

S5、借助于数据处理终端对热图像帧和点云图像帧执行同时性核准处理；

S6、借助于数据处理终端求解出雷达点云图像和热图像联合标定的外参，经坐标表换后的热图像帧与点云图像帧相融合，兼具有方位信息和色彩信息的融合图像得以实时地展现于显示终端上。

根据热图像中各像素点温度值以及各像素点的坐标值进行聚类分析，且借助于数据处理终端以区分出目标物聚类和水域聚类；且对比热图像中各像素点与相邻像素点的聚类类别，获取目标物的边缘轮廓；将边缘轮廓的曲率与预设值进行对比，结合对应热图像中各像素点的温度值及其坐标值，提取目标物的边界框，且结合雷达点云图像以得出目标物的方位信息。

在实际应用中，本发明所公开的不良视线下汽渡辅助航行方法至少取得了以下几方面有益技术效果，具体为：

1)分别借助于热成像仪、激光雷达等设备采集到江面上的目标物图像信息、雷达点云图像，借进行数据融合计算，以实时地在显示终端注明渡船周围目标物与渡船相对位置(方位和距离)、岸线及目的地(拟到达的码头)的位置，进而精准定位出江面上船舶、码头或障碍物，有效解决了不良视线下特别是突发团雾时汽渡的安全航行问题，给船舶驾驶员以直观的感受，从而利于实现不良视线下的有效避让和安全返航；

2)激光雷达可实现浓雾天气下1～2公里内的目标物进行测距和定位。当激光雷达扫描到渡船周围目标物时，根据返回的距离和位置信息，换算成角度信息，热成像仪得以适应性地转动相应角度，利于实现对渡船周围目标物的精准捕捉和定位；

3)因显示终端可根据热图像帧与点云图像帧融合结果进行智能成像，从而在不良视线的条件下，可自动预警并呈现江面上的其他船舶，并辅助驾驶人员停泊靠岸，从技术范畴为安全渡运增添一道“防护墙”；

4)实现了辅助航行系统由“人防”向“技防”的上技术转变，即便在突发团雾情形下，驾驶人员仍难以出现江中迷航情况，在显示终端的可视化指引下，不但提升汽渡航行过程的安全性，而且还利于实现快捷返航，以尽可能地减少不必要的燃油消耗。

在确保汽渡具有可视化避让功能的前提下，出于减轻驾驶员的工作强度，汽渡亦可引入智能导向模块。且在行驶进程中，智能导向模块实时地拟合出渡船的前行轨迹，在航行进程中，热成像仪和激光雷达分别实时地获取渡船周围目标物的方位信息和热成像信息。

智能导向模块包括有电子海图。将码头区域数据化处理以生成电子围栏警示区，且标记于显示终端。渡船正常行驶时，电子海图采用在线网络模式，而当其接近电子围栏警示区时，电子海图切换至离线模式。

在执行步骤S2时，已知，根据公知常识，可以采取多种方式、方法以实现对热成像仪和激光雷达的参数标定，不过，在此推荐一种数据运算总量小，成像质量高，且噪点极少的实施方案，具体为：假定热图像采取二维坐标系[u，v]T进行标定，而雷达点云图像采取三维坐标系P[X′，Y′,Z′]进行标定；设定热图像的分辨率为A，则A＝L×Q，其中，L为高度方向像素点的数量，Q为水平方向像素点的数量。热图像的生成过程包括以下阶段：热成像仪所采集的图像依序经过形态学滤波处理、阈值分割处理后得到二值图像；以热成像仪的中心作为坐标原点，建立图像坐标系，且将二值图像置于图像坐标系中；遍历二值图像，确定出渡船周围目标物所在的区域，且标定其中心。

二值图像的遍历方法为：以图像坐标系为参照，分别沿着第一象限沿Y轴正方向、负方向对二值图像进行遍历，并记录其在Y轴方向的所有边界点，并分别在第一象限沿X轴正方向、负方向对二值图像进行遍历，并记录其在X轴方向的所有边界点。

在确保热图像和雷达点云图像成像质量、精度的前提下，出于尽可能地降低数据预算量，进而以缩短数据处理终端的运算时长方面考虑，作为上述技术方案的进一步优化，在步骤S4中，数据处理终端执行二进制阈值化处理过程中，相邻像素点在设定规则下进行合并。针对于热图像帧而言，当两相邻像素点之间的距离小于设定的阈值A1时，则合并为簇，且该簇设有点大下限值。针对于点云图像帧而言，当两相邻像素点之间的距离小于设定的阈值A2时，则合并为簇，且该簇设有点大下限值。

对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其它实施例中实现。因此，本发明将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。

Claims (8)

1.一种不良视线下汽渡辅助航行方法，借助于辅助航行系统来实现，其特征在于，所述辅助航行系统包括一热成像仪、多个激光雷达、一数据终端以及一显示终端；

所述不良视线下汽渡辅助航行方法包括以下步骤：

S1、将所述热成像仪和所述激光雷达均安装于渡船的顶部，且所述激光雷达环绕所述热成像仪进行周向均布；所述数据终端用来接收所述热成像仪和所述激光雷达所采集到的实时数据，经数据处理、运算，且借由所述显示终端以呈现实时画面；

S2、对所述热成像仪和所述激光雷达进行参数标定，并将两者时钟源调至统一，且时间戳一致；

S3、借助于所述激光雷达对渡船周围目标物进行扫描，并将采集到的雷达点云图像实时传输至所述数据处理终端；所述数据处理终端对所述雷达点云图像执行运算处理，并即时向着所述热成像仪发出转动动作指令，目标物得以被捕捉、定位，且将其实时热图像数据传回至所述数据处理终端；

S4、所述热图像由多个按时顺序播放的热图像帧组成，而所述雷达点云图像由多个按时顺序播放的点云图像帧组成；借助于所述数据处理终端对所采集到的所述热图像帧和所述点云图像帧进行二进制阈值化处理；

S5、借助于所述数据处理终端对所述热图像帧和所述点云图像帧执行同时性核准处理；

S6、借助于所述数据处理终端求解出所述雷达点云图像和所述热图像联合标定的外参，经坐标表换后的所述热图像帧与所述点云图像帧相融合，兼具有方位信息和色彩信息的融合图像得以实时地展现于所述显示终端上。

2.根据权利要求1所述的不良视线下汽渡辅助航行方法，其特征在于，在步骤S1中，渡船借助于智能导向模块行进；在行驶进程中，所述智能导向模块实时地拟合出渡船的前行轨迹，与此同时，所述热成像仪和所述激光雷达分别获取渡船周围目标物的方位信息和热成像信息。

3.根据权利要求2所述的不良视线下汽渡辅助航行方法，其特征在于，所述智能导向模块包括有电子海图；将码头区域数据化处理以生成电子围栏警示区，且标记于所述显示终端；渡船正常行驶时，所述电子海图采用在线网络模式，而当其接近所述电子围栏警示区时，所述电子海图切换至离线模式。

4.根据权利要求1所述的不良视线下汽渡辅助航行方法，其特征在于，在步骤S2中，假定所述热图像采取二维坐标系[u，v]^T进行标定，而所述雷达点云图像采取三维坐标系P[X′，Y′,Z′]进行标定。

5.根据权利要求1所述的不良视线下汽渡辅助航行方法，其特征在于，在步骤S2中，设定所述热图像的分辨率为A，则A＝L×Q，其中，L为高度方向像素点的数量，Q为水平方向像素点的数量；所述热图像的生成过程包括以下阶段：所述热成像仪所采集的图像依序经过形态学滤波处理、阈值分割处理后得到二值图像；以所述热成像仪的中心作为坐标原点，建立图像坐标系，且将所述二值图像置于所述图像坐标系中；遍历所述二值图像，确定出渡船周围目标物所在的区域，且标定其中心。

6.根据权利要求5所述的不良视线下汽渡辅助航行方法，其特征在于，所述二值图像的遍历方法为：以所述图像坐标系为参照，分别沿着第一象限沿Y轴正方向、负方向对所述二值图像进行遍历，并记录其在Y轴方向的所有边界点，并分别在第一象限沿X轴正方向、负方向对所述二值图像进行遍历，并记录其在X轴方向的所有边界点。

7.根据权利要求1所述的不良视线下汽渡辅助航行方法，其特征在于，在步骤S4中，所述数据处理终端执行二进制阈值化处理过程中，针对于所述热图像帧而言，当两相邻像素点之间的距离小于设定的阈值A1时，则合并为簇，且簇设有点大下限值。

8.根据权利要求2所述的不良视线下汽渡辅助航行方法，其特征在于，在步骤S6中，根据所述热图像中各像素点温度值以及各像素点的坐标值进行聚类分析，且借助于所述数据处理终端以区分出目标物聚类和水域聚类；且对比所述热图像中各像素点与相邻像素点的聚类类别，获取目标物的边缘轮廓；将所述边缘轮廓的曲率与预设值进行对比，结合对应所述热图像中各像素点的温度值及其坐标值，提取目标物的边界框，且结合所述雷达点云图像以得出目标物的方位信息。