CN110667783A - 一种无人艇辅助驾驶系统及其方法 - Google Patents

Abstract

本发明提供一种无人艇辅助驾驶系统及其方法，系统包括监测模块、导航单元和障碍物测距单元。方法包括采集无人艇周围环境画面以及获取无人艇周围障碍物相对于雷达的位置信息；导航单元获取无人艇位置信息后上传至障碍物测距单元；障碍物测距单元根据无人艇周围障碍物相对于雷达的位置信息、无人艇的位置信息计算出障碍物相对于无人艇的位置信息；对障碍物信息、监测模块的信息以及监测模块采集到的信息进行处理并显示。该系统辅助人工远程驾驶更加直观、安全，对水域中的障碍物信息进行获取以及避障，可以航行在更加复杂的水域；融合了全景图像，提供直观可靠的第一视角信息。

Description

一种无人艇辅助驾驶系统及其方法

技术领域

本发明涉及无人艇辅助驾驶技术领域，具体涉及一种无人艇辅助驾驶系统及其方法。

背景技术

当前环境检测、水质采样、水上测绘（海洋、湖泊、河流、港口）等对无人艇的需求越来越大。当前的无人艇自动驾驶很不成熟，环境感知和避障水平都有待提升，不能满足复杂环境下的航行精度需求。比如，测绘作业时，要求无人艇尽可能靠近航标、码头、岸边、桥墩等，而当前的无人艇避障精度无法满足需求。

发明内容

本发明提供一种无人艇辅助驾驶系统及其方法。

为解决上述技术问题，本发明采用如下技术方案：

一种无人艇辅助驾驶系统，包括：

监测模块，用于采集无人艇周围环境画面以及获取无人艇周围障碍物相对于监测模块的位置信息，并标定监测模块的坐标；

导航单元，用于获取无人艇位置信息并上传至障碍物测距单元；以及

障碍物测距单元，用于根据无人艇周围障碍物相对于监测模块的位置信息、无人艇的位置信息计算出障碍物相对于无人艇的位置信息。

进一步地，所述监测模块包括：

摄像头，用于监控和采集无人艇周围环境画面；

雷达，用于获取无人艇周围障碍物相对于雷达的位置信息；以及

标定单元，用于对摄像头和雷达的位置坐标进行标定。

进一步地，还包括用于确定无人艇周围环境画面中障碍物位置信息的融合单元，以及用于对无人艇周围环境画面中的障碍物类型进行识别的障碍物识别单元。

进一步地，还包括显示模块，所述显示模块包括：

图像处理单元，用于获取无人艇周围环境画面并处理成全景画面，上传至显示机构。

显示机构，用于显示全景画面，并将无人艇周围环境画面中障碍物位置信息和障碍物类型在全景画面进行显示。

一种无人艇辅助驾驶方法，包括如下步骤：

采集无人艇周围环境画面以及获取无人艇周围障碍物相对于雷达的位置信息；

导航单元获取无人艇位置信息后上传至障碍物测距单元；

障碍物测距单元根据无人艇周围障碍物相对于雷达的位置信息、无人艇的位置信息计算出障碍物相对于无人艇的位置信息；

对障碍物信息、监测模块的信息以及监测模块采集到的信息进行处理并显示。

进一步地，所述无人艇位置信息的具体包括坐标信息和姿态信息，所述姿态信息包括偏航角、俯仰角和横滚角。

进一步地，所述障碍物测距单元根据无人艇周围障碍物相对于雷达的位置信息、无人艇的位置信息计算出障碍物相对于无人艇的位置信息的具体方法为：获取无人艇上监测模块识别到无人艇周围障碍物相对于该雷达安装位置的距离、方位，根据当前无人艇的姿态和坐标信息计算出障碍物相对于无人艇的距离、方位。

进一步地，所述根据当前无人艇的姿态和定位信息计算障碍物相对于无人艇的距离、方位的具体计算方法为：若无人艇偏航角为a，雷达相对于无人艇船艏方向水平角度为b，障碍物相对于雷达的角度为c，距离为d，则障碍物相对于无人艇的方位为a+b+c度，与无人艇的距离为d。

进一步地，所述对障碍物信息、监测模块的信息以及监测模块采集到的信息进行处理的具体方法为：

障碍物识别单元对无人艇周围环境画面中的障碍物进行识别，获取障碍物类型；

确定无人艇周围环境画面中障碍物位置信息；

将采集到的无人艇周围环境画面进行处理整合成全景画面，然后将无人艇周围环境画面中障碍物位置以及障碍物类别叠加在全景画面。

进一步地，所述障碍物识别单元对无人艇周围环境画面中的障碍物进行识别，获取障碍物类型的具体方法为：

S1、获取无人艇周围环境画面信息；

S2、对无人艇周围环境画面信息中的水上物体进行标识后训练，获取水上物体的识别模型；

S3、将水上物体的识别模型以及预先设定的识别阈值进行对比，判断识别到的水上物体的类型。

与现有技术相比，本发明的有益效果：

该系统辅助人工远程驾驶更加直观、安全，对水域中的障碍物信息进行获取以及避障，可以航行在更加复杂的水域；融合了全景图像，提供直观可靠的第一视角信息。

附图说明

图1为本发明系统流程结构图；

图2为本发明无人艇结构图。

具体实施方式

下面结合附图对本发明的一种优选实施方式作详细的说明。

如图1-2所示，一种无人艇辅助驾驶系统，包括监测模块1、导航单元2、障碍物测距单元3、融合单元4、障碍物识别单元5和显示模块6，监测模块1包括摄像头、雷达和标定单元，摄像头用于监控和采集无人艇周围环境画面，雷达获取无人艇周围障碍物相对于雷达的位置信息，标定单元使用张正友标定法对摄像头和雷达的位置坐标进行标定，在对雷达进行位置坐标进行标定时，要确保水平角、俯仰角和横滚角满足安装要求，雷达为毫米波雷达，摄像头为广角摄像头，摄像头和雷达为一组，共设置有四组，分别安装在无人艇的前后左右四个位置；

导航单元具体为惯性导航，导航单元获取无人艇位置、偏航角、俯仰角、横滚角信息并上传至障碍物测距单元；障碍物测距单元根据无人艇前后左右四个方向每个雷达识别到的水上物体（即障碍物）相对于该雷达安装位置的距离、方位，根据当前无人艇的姿态和坐标信息计算障碍物相对于无人艇的距离、方位；

融合单元在时间上通过多个线程同时获取摄像头识别结果和雷达的测试数据，在空间上通过坐标转换，获取视频帧中障碍物和毫米波雷达检测到的障碍物的对应关系，最终获取视频帧中每个障碍物对应距离、方位；

障碍物识别单元对采集到的水上视频数据集打标签，标签主要包含船只、航标、小岛、礁石、桥墩、岸边等，采用SSD进行训练，训练后获取水上物体的识别模型Data model，根据训练好的模型以及预先设置的识别率阈值P分别以16*16、32*32、48*48、64*64 大小的滑动窗口识别无人艇四周船只、航标、小岛、礁石、桥墩、岸边等，若某一类型障碍物识别率大于该阈值P，则判定识别到该类型障碍物，否则未识别到该类型障碍物；

显示模块包括图像处理单元和显示机构，图像处理单元将前后左右四个摄像头的视频帧数据俯视处理，然后采用基于特征的算法surf算法进行拼接，拼接成360°全景数据帧，上传至显示机构；显示机构用于显示全景画面，并将无人艇周围环境画面中障碍物位置信息和障碍物类型叠加在全景画面进行显示。

一种无人艇辅助驾驶方法，包括如下步骤：

通过摄像头采集无人艇周围环境画面以及通过雷达获取无人艇周围障碍物相对于雷达的位置信息；

导航单元获取无人艇的坐标信息、偏航角、俯仰角和横滚角信息后上传至障碍物测距单元；

障碍物测距单元获取无人艇上监测模块识别到无人艇周围障碍物相对于该雷达安装位置的距离、方位，根据当前无人艇的姿态和定位信息计算出障碍物相对于无人艇的距离、方位，若无人艇偏航角为a，雷达相对于无人艇船艏方向水平角度为b，障碍物相对于雷达的角度为c，距离为d，a、b、c的取值范围为-180°~180°，顺时针增加，逆时针减小，则障碍物相对于无人艇的方位为a+b+c度，与无人艇的距离为d；

获取无人艇周围环境画面信息；

对无人艇周围环境画面信息中的水上物体进行标识后训练，获取水上物体的识别模型，其中标签主要包含船只、航标、小岛、礁石、桥墩、岸边等；

将水上物体的识别模型以及预先设定的识别阈值进行对比，判断识别到的水上物体的类型；

在时间上通过多个线程同时获取摄像头识别结果和雷达的测试数据，在空间上通过坐标转换，获取视频帧中障碍物和毫米波雷达检测到的障碍物的对应关系，最终获取视频帧中每个障碍物对应距离、方位，确定无人艇周围环境画面中障碍物位置信息；

将采集到的无人艇周围环境画面通过基于特征的surf算法处理整合成360°全景画面，然后将无人艇周围环境画面中障碍物位置以及障碍物类别叠加在全景画面，通过专用通信设备比如LTE发送给岸端上位机显示机构显示。

以上所述实施方式仅仅是对本发明的优选实施方式进行描述，并非对本发明的范围进行限定，在不脱离本发明设计精神的前提下，本领域普通技术人员对本发明的技术方案作出的各种变形和改进，均应落入本发明的权利要求书确定的保护范围内。

Claims (10)

1.一种无人艇辅助驾驶系统，其特征在于，包括：

监测模块（1），用于采集无人艇周围环境画面以及获取无人艇周围障碍物相对于监测模块的位置信息，并标定监测模块的坐标；

导航单元（2），用于获取无人艇位置信息并上传至障碍物测距单元；以及

障碍物测距单元（3），用于根据无人艇周围障碍物相对于监测模块的位置信息、无人艇的位置信息计算出障碍物相对于无人艇的位置信息。

2.根据权利要求1所述的无人艇辅助驾驶系统，其特征在于，所述监测模块包括：

摄像头，用于监控和采集无人艇周围环境画面；

雷达，用于获取无人艇周围障碍物相对于雷达的位置信息；以及

标定单元，用于对摄像头和雷达的位置坐标进行标定。

3.根据权利要求2所述的无人艇辅助驾驶系统，其特征在于，还包括用于确定无人艇周围环境画面中障碍物位置信息的融合单元（4），以及用于对无人艇周围环境画面中的障碍物类型进行识别的障碍物识别单元（5）。

4.根据权利要求3所述的无人艇辅助驾驶系统，其特征在于，还包括显示模块（6），所述显示模块包括：

图像处理单元，用于获取无人艇周围环境画面并处理成全景画面，上传至显示机构；

显示机构，用于显示全景画面，并将无人艇周围环境画面中障碍物位置信息和障碍物类型在全景画面进行显示。

5.一种如权利要求1-4任一项所述系统的无人艇辅助驾驶方法，包括如下步骤：

采集无人艇周围环境画面以及获取无人艇周围障碍物相对于雷达的位置信息；

导航单元获取无人艇位置信息后上传至障碍物测距单元；

障碍物测距单元根据无人艇周围障碍物相对于雷达的位置信息、无人艇的位置信息计算出障碍物相对于无人艇的位置信息；

对障碍物信息、监测模块的信息以及监测模块采集到的信息进行处理并显示。

6.根据权利要求5所述的无人艇辅助驾驶方法，其特征在于，所述无人艇位置信息的具体包括坐标信息和姿态信息，所述姿态信息包括偏航角、俯仰角和横滚角。

7.根据权利要求5所述的无人艇辅助驾驶方法，其特征在于，所述障碍物测距单元根据无人艇周围障碍物相对于雷达的位置信息、无人艇的位置信息计算出障碍物相对于无人艇的位置信息的具体方法为：获取无人艇上监测模块识别到无人艇周围障碍物相对于该雷达安装位置的距离、方位，根据当前无人艇的姿态和坐标信息计算出障碍物相对于无人艇的距离、方位。

8.根据权利要求7所述的无人艇辅助驾驶方法，其特征在于，所述根据当前无人艇的姿态和定位信息计算障碍物相对于无人艇的距离、方位的具体计算方法为：若无人艇偏航角为a，雷达相对于无人艇船艏方向水平角度为b，障碍物相对于雷达的角度为c，距离为d，则障碍物相对于无人艇的方位为a+b+c度，与无人艇的距离为d。

9.根据权利要求5所述的无人艇辅助驾驶方法，其特征在于，所述对障碍物信息、监测模块的信息以及监测模块采集到的信息进行处理的具体方法为：

障碍物识别单元对无人艇周围环境画面中的障碍物进行识别，获取障碍物类型；

确定无人艇周围环境画面中障碍物位置信息；

将采集到的无人艇周围环境画面进行处理整合成全景画面，然后将无人艇周围环境画面中障碍物位置以及障碍物类别叠加在全景画面上。

10.根据权利要求5所述的无人艇辅助驾驶方法，其特征在于，所述障碍物识别单元对无人艇周围环境画面中的障碍物进行识别，获取障碍物类型的具体方法为：

S1、获取无人艇周围环境画面信息；

S2、对无人艇周围环境画面信息中的水上物体进行标识后训练，获取水上物体的识别模型；

S3、将水上物体的识别模型以及预先设定的识别阈值进行对比，判断识别到的水上物体的类型。

Images