CN111324126B - 一种视觉无人船 - Google Patents

Abstract

本发明涉及一种视觉无人船及其视觉导航方法。所述视觉无人船，包括：船载GPS_北斗导航模块，姿态检测模块，双目摄像头模块，用于检测船艏和船艉的障碍物，激光雷达模块，用于辅助双目摄像头，从而实现自动避障；卫星通讯模块，用于实现无人船与岸基系统的通信；核心处理器模块实时采集和处理GPS_北斗导航模块、姿态检测模块、双目摄像头模块、激光雷达模块数据信息，并根据控制指令控制船动力驱动模块实时跟踪设定航线行驶。本发明可以实现快速高精度目标检测及测距、追踪目标或规避目标，且无人船系统没有上层建筑，节约了建造的成本，减少了航行过程中的阻力，降低了再大风浪天气时摇晃的幅度和倾覆的危险，增加了装载货物的空间。

Description

一种视觉无人船

技术领域

本发明属于船舶视觉系统领域，具体涉及一种视觉无人船及其视觉导航方法。

背景技术

伴随着人类社会活动日益频繁，全球海上运输业快速发展，商船是海上运输的主要运载工具。目前商船朝着大型化方向发展，但船舶的操纵仍然由位于驾驶室中的驾驶员实现，且船舶上层建筑仍占据很大一部分空间。本发明提出的视觉无人船不仅不需驾驶员，且船体结构优于传统船舶，具有制造成本低、抗环境干扰能力强、载货空间大等特点。在视觉无人船的关键技术中，实现视觉导航是其重要技术之一，与其智能度息息相关。现有的视觉导航方法大多是应用于陆地的移动机器人和汽车，针对无人船作业应用场景的视觉导航方法很少。由于视觉无人船工作环境的特殊性和控制系统的复杂性，视觉无人船需要在工作过程中根据搭载的视觉系统感知到的环境信息实时改变路线。

现有专利申请(CN 108646741A)一种基于视觉反馈的无人船目标跟踪方法提供了一种基于视觉反馈的无人船目标跟踪方法，其用了核相关滤波算法(Kernel CorrelationFilter,KCF)目标跟踪算法，然而该算法检测目标具有局限性，对于多尺度的目标检测效果不理想，无法识别检测大小不同的物体，难以处理高速运动的目标，部署在无人船上时，表现出计算时间长、检测不出目标、工作效率低下等问题，无法达到船舶智能化的目标。

因此，针对无人船需要在工作过程中根据搭载的视觉系统感知到的环境信息实时改变路线，以及现有技术存在不足，本申请提出了一种适用于此类情形下的视觉无人船及其视觉导航方法。

发明内容

本发明的目的在于提供一种视觉无人船及其视觉导航方法，应用于大型商用无人船，可以节约建造成本，减少航行阻力，实现快速高精度目标检测及测距、追踪目标或规避目标，提高无人船视觉导航性能。

为实现上述目的，本发明的技术方案是：一种视觉无人船，包括：

船载GPS_北斗导航模块、姿态检测模块、双目摄像头模块、激光雷达模块、卫星通讯模块、核心处理器模块、船动力驱动模块；

姿态检测模块，设于无人船的船艏，用于检测无人船姿态信息；

双目摄像头模块包括两组双目摄像头，分别设于无人船的船艏和船艉，用于检测船艏和船艉的障碍物；

激光雷达模块包括两组激光雷达，分别位于无人船的船艏和船艉，用于辅助双目摄像头检测船艏和船艉与障碍物的距离，从而实现自动避障；

卫星通讯模块，设于无人船的船艏，用于实现无人船与岸基系统的通信，接收岸基系统的控制指令传输给核心处理器模块；

船载GPS_北斗导航模块，设于无人船的船艉，用于获取无人船定位信息；

动力驱动模块，提供无人船航行动力；

核心处理器模块实时采集和处理GPS_北斗导航模块、姿态检测模块、双目摄像头模块、激光雷达模块数据信息，并根据控制指令控制船动力驱动模块实时跟踪设定航线行驶。

本发明一种视觉无人船体结构设计，去除了传统船舶中海员生活工作的上层建筑，用于降低制造成本、减少航行阻力、增加载货空间。

在本发明一实施例中，所述双目摄像头模块拍摄图像后，需进行修正，具体实现如下：

通过双目摄像头拍摄国际象棋棋盘，并将拍摄的国际象棋棋盘照片与国际象棋棋盘格实际大小导入Matlab摄像头标定工具箱，进行双目摄像头标定，得到双目摄像头畸变参数，包括：焦距、焦点、径向畸变、切向畸变、偏度、旋转矩阵和偏移矩阵；通过双目摄像头畸变参数即可对拍摄图像进行修正。

本发明还提供了一种基于上述所述的视觉无人船的视觉导航方法，包括如下步骤：

步骤S1、核心处理器模块接收双目摄像头模块传输的图像数据，并对图像数据进行目标检测，得到物体在图像中位置坐标和类别名称；

步骤S2、核心处理器模块根据物体在左右目中位置坐标的差异，计算出物体距离摄像头的距离和角度，并绘制航行地图；

步骤S3、核心处理器模块根据无人船和物体的距离及航行地图，判断是否要规避并控制船动力驱动模块动作。

在本发明一实施例中，所述步骤S1的具体实现方式如下：

步骤S11、在核心处理器模块中导入多尺度多框目标检测算法，所述多尺度多框目标检测算法以MXNet深度学习框架模型为基础实现，MXNet深度学习框架模型由四个基本块进行堆叠组成，其中，主体网络块由一个卷积层一个批标准化层一个激活函数层叠加两次后叠加一个最大池化层组成，下采样减半块由一个卷积层一个批标准化层一个激活函数层叠加两次后叠加一个最大池化层组成，类别预测块由一个卷积层组成，位置预测块由一个卷积层组成；

步骤S12、通过多尺度多框目标检测算法对双目摄像头模块传输的图像数据进行目标检测，得到物体在图像中位置坐标和类别名称；其中，物体类别检测通过类别预测块实现，即：在图像的每个像素点，以该像素点为中心生成5个大小不同先验框，假设图片检测c个类别物体，则多尺度多框目标检测算法预测c+1个类别置信度值，分别给出每个先验框中c+1个类别得分，每个类别得分最高的先验框就是边界框所属类别，即可得物体所属类别；物体位置检测通过位置预测块实现；

步骤S13、多尺度多框目标检测算法通过步骤S22输出物体类别和物体在图像中的坐标信息，输出结果格式为(classname,x_min,y_min,x_max,y_max)，其中，classname为物体类别，x_min,y_min为物体左下角坐标，x_max,y_max为物体右上角坐标。

在本发明一实施例中，所述步骤S2的具体实现方式如下：

步骤S21、根据双目摄像头左、右目分别检测出的信息，每个摄像头都输出包含两组坐标点的信息，根据：

得出左目物体中心点(X_left,Y_left)和右目物体中心点(X_right,Y_right)；

步骤S22、根据双目摄像头物理参数和畸变参数，设焦距为f，左右目摄像头基线距离为b，目标与无人船间距离z，物体坐标(x,y,z)，左目摄像头成像点(X_left,Y_left)，右目成像点 (X_right,Y_right)，根据三角形相似定律：

解上述方程可得：

由此可以算出目标与无人船间距离x，z，已知x，z可以根据下式三角函数算出目标和无人船艏向的夹角θ：

而后，以无人船初始位置为原点建立地图，根据z和θ将检测出的物体绘制在地图上，随着无人船运动实时更新地图；

步骤S23、设船舶领域半径为r，无人船长度l、航速v、避让时间t，

r＝l+v*t

根据上式，以无人船为中心计算出无人船圆形船舶领域半径r并绘制在地图中实时更新；

步骤S24，若无人船执行的是目标跟踪任务，根据船舶领域半径r和无人船艏向与目标夹角θ，根据姿态检测模块数据实时调整船舶艏向和速度，保持目标与无人船之间的距离z≥r；若无人船在执行导航任务，根据船舶领域半径r和航线，计算无人船当前航线安全范围并用虚线绘制在地图中，如果检测出的物体在安全范围中，则执行规避动作，如果检测出的物体在安全范围外，则保持继续航行。

在本发明一实施例中，所述步骤S3的具体实现方式如下：根据步骤S2所得航行地图，参考船载GPS_北斗导航模块测量的经纬度坐标与姿态检测模块反映的无人船姿态信息，控制动力系统的推进器转速与舵机角度，使无人船能够按照预定路线航行并自动躲避其他物体或跟踪目标。

相较于现有技术，本发明具有以下有益效果：本发明可以实现快速高精度目标检测及测距、追踪目标或规避目标，提高无人船视觉导航性能，且无人船系统没有上层建筑，节约了建造的成本，减少了航行过程中的阻力，降低了再大风浪天气时摇晃的幅度和倾覆的危险，增加了装载货物的空间。

附图说明

图1为本发明双目视觉无人船结构。

图2为本发明方法实现流程。

图3为本发明一避障样例。

图4为本发明算法模型结构。

图中：1：姿态检测模块、2：双目摄像头模块、3：激光雷达模块、4：卫星通讯模块、5：核心处理器模块、6：船载GPS_北斗导航模块、7：船动力驱动模块。

具体实施方式

下面结合附图，对本发明的技术方案进行具体说明。

如图1所示，本发明提供了一种视觉无人船，包括：

船载GPS_北斗导航模块、姿态检测模块、双目摄像头模块、激光雷达模块、卫星通讯模块、核心处理器模块、船动力驱动模块；

姿态检测模块1，设于无人船的船艏，用于检测无人船姿态信息；

双目摄像头模块2包括两组双目摄像头，分别设于无人船的船艏和船艉，用于检测船艏和船艉的障碍物；

激光雷达模块3包括两组激光雷达，分别位于无人船的船艏和船艉，用于辅助双目摄像头检测船艏和船艉与障碍物的距离，从而实现自动避障；

卫星通讯模块4，设于无人船的船艏，用于实现无人船与岸基系统的通信，接收岸基系统的控制指令传输给核心处理器模块；

船载GPS_北斗导航模块6，设于无人船的船艉，用于获取无人船定位信息；

动力驱动模块7，提供无人船航行动力；

核心处理器模块5实时采集和处理GPS_北斗导航模块、姿态检测模块、双目摄像头模块、激光雷达模块数据信息，并根据控制指令控制船动力驱动模块实时跟踪设定航线行驶。

本发明一种视觉无人船体结构设计，去除了传统船舶中海员生活工作的上层建筑，用于降低制造成本、减少航行阻力、增加载货空间。

所述双目摄像头模块拍摄图像后，需进行修正，具体实现如下：

通过双目摄像头拍摄国际象棋棋盘，并将拍摄的国际象棋棋盘照片与国际象棋棋盘格实际大小导入Matlab摄像头标定工具箱，进行双目摄像头标定，得到双目摄像头畸变参数，包括：焦距、焦点、径向畸变、切向畸变、偏度、旋转矩阵和偏移矩阵；通过双目摄像头畸变参数即可对拍摄图像进行修正。

如图2所示，本发明还提供了一种基于上述所述的视觉无人船的视觉导航方法，包括如下步骤：

步骤S1、核心处理器模块接收双目摄像头模块传输的图像数据，并对图像数据进行目标检测，得到物体在图像中位置坐标和类别名称；

步骤S2、核心处理器模块根据物体在左右目中位置坐标的差异，计算出物体距离摄像头的距离和角度，并绘制航行地图；

步骤S3、核心处理器模块根据无人船和物体的距离及航行地图，判断是否要规避并控制船动力驱动模块动作。

在本发明中，所述步骤S1的具体实现方式如下：

步骤S11、在核心处理器模块中导入多尺度多框目标检测算法(如图4所示)，所述多尺度多框目标检测算法以MXNet深度学习框架模型为基础实现，MXNet深度学习框架模型由四个基本块进行堆叠组成，其中，主体网络块由一个卷积层一个批标准化层一个激活函数层叠加两次后叠加一个最大池化层组成，下采样减半块由一个卷积层一个批标准化层一个激活函数层叠加两次后叠加一个最大池化层组成，类别预测块由一个卷积层组成，位置预测块由一个卷积层组成；

步骤S12、通过多尺度多框目标检测算法对双目摄像头模块传输的图像数据进行目标检测，得到物体在图像中位置坐标和类别名称；其中，物体类别检测通过类别预测块实现，即：在图像的每个像素点，以该像素点为中心生成5个大小不同先验框，假设图片检测c个类别物体，则多尺度多框目标检测算法预测c+1个类别置信度值，分别给出每个先验框中c+1个类别得分，每个类别得分最高的先验框就是边界框所属类别，即可得物体所属类别；物体位置检测通过位置预测块实现；

步骤S13、多尺度多框目标检测算法通过步骤S22输出物体类别和物体在图像中的坐标信息，输出结果格式为(classname,x_min,y_min,x_max,y_max)，其中，classname为物体类别，x_min,y_min为物体左下角坐标，x_max,y_max为物体右上角坐标。

在本发明中，所述步骤S2的具体实现方式如下：

步骤S21、根据双目摄像头左、右目分别检测出的信息，每个摄像头都输出包含两组坐标点的信息，根据：

得出左目物体中心点(X_left,Y_left)和右目物体中心点(X_right,Y_right)；

步骤S22、根据双目摄像头物理参数和畸变参数，设焦距为f，左右目摄像头基线距离为b，目标与无人船间距离z，物体坐标(x,y,z)，左目摄像头成像点(X_left,Y_left)，右目成像点 (X_right,Y_right)，根据三角形相似定律：

解上述方程可得：

由此可以算出目标与无人船间距离x，z，已知x，z可以根据下式三角函数算出目标和无人船艏向的夹角θ：

而后，以无人船初始位置为原点建立地图，根据z和θ将检测出的物体绘制在地图上，随着无人船运动实时更新地图；

步骤S23、设船舶领域半径为r，无人船长度l、航速v、避让时间t，

r＝l+v*t

根据上式，以无人船为中心计算出无人船圆形船舶领域半径r并绘制在地图中实时更新；

步骤S24，如图3所示，若无人船执行的是目标跟踪任务，根据船舶领域半径r和无人船艏向与目标夹角θ，根据姿态检测模块数据实时调整船舶艏向和速度，保持目标与无人船之间的距离z≥r；若无人船在执行导航任务，根据船舶领域半径r和航线，计算无人船当前航线安全范围并用虚线绘制在地图中，如果检测出的物体在安全范围中，则执行规避动作，如果检测出的物体在安全范围外，则保持继续航行。

在本发明中，所述步骤S3的具体实现方式如下：根据步骤S2所得航行地图，参考船载GPS_ 北斗导航模块测量的经纬度坐标与姿态检测模块反映的无人船姿态信息，控制动力系统的推进器转速与舵机角度，使无人船能够按照预定路线航行并自动躲避其他物体或跟踪目标。

本发明可以实现快速高精度目标检测及测距、追踪目标或规避目标，提高无人船视觉导航性能，且无人船系统没有上层建筑，节约了建造的成本，减少了航行过程中的阻力，降低了再大风浪天气时摇晃的幅度和倾覆的危险，增加了装载货物的空间。

以上是本发明的较佳实施例，凡依本发明技术方案所作的改变，所产生的功能作用未超出本发明技术方案的范围时，均属于本发明的保护范围。

Claims (2)

1.一种视觉无人船，其特征在于，包括：

船载GPS_北斗导航模块、姿态检测模块、双目摄像头模块、激光雷达模块、卫星通讯模块、核心处理器模块、船动力驱动模块；

姿态检测模块，设于无人船的船艏，用于检测无人船姿态信息；

双目摄像头模块包括两组双目摄像头，分别设于无人船的船艏和船艉，用于检测船艏和船艉的障碍物；

激光雷达模块包括两组激光雷达，分别位于无人船的船艏和船艉，用于辅助双目摄像头检测船艏和船艉与障碍物的距离，从而实现自动避障；

卫星通讯模块，设于无人船的船艏，用于实现无人船与岸基系统的通信，接收岸基系统的控制指令传输给核心处理器模块；

船载GPS_北斗导航模块，设于无人船的船艉，用于获取无人船定位信息；

动力驱动模块，提供无人船航行动力；

核心处理器模块实时采集和处理GPS_北斗导航模块、姿态检测模块、双目摄像头模块、激光雷达模块数据信息，并根据控制指令控制船动力驱动模块实时跟踪设定航线行驶；

所述的视觉无人船的视觉导航方法，包括如下步骤：

步骤S1、核心处理器模块接收双目摄像头模块传输的图像数据，并对图像数据进行目标检测，得到物体在图像中位置坐标和类别名称；

步骤S2、核心处理器模块根据物体在左右目中位置坐标的差异，计算出物体距离摄像头的距离和角度，并绘制航行地图；

步骤S3、核心处理器模块根据无人船和物体的距离及航行地图，判断是否要规避并控制船动力驱动模块动作；

所述步骤S1的具体实现方式如下：

步骤S11、在核心处理器模块中导入多尺度多框目标检测算法，所述多尺度多框目标检测算法以MXNet深度学习框架模型为基础实现，MXNet深度学习框架模型由四个基本块进行堆叠组成，其中，主体网络块由一个卷积层一个批标准化层一个激活函数层叠加两次后叠加一个最大池化层组成，下采样减半块由一个卷积层一个批标准化层一个激活函数层叠加两次后叠加一个最大池化层组成，类别预测块由一个卷积层组成，位置预测块由一个卷积层组成；

步骤S12、通过多尺度多框目标检测算法对双目摄像头模块传输的图像数据进行目标检测，得到物体在图像中位置坐标和类别名称；其中，物体类别检测通过类别预测块实现，即：在图像的每个像素点，以该像素点为中心生成5个大小不同先验框，假设图片检测c个类别物体，则多尺度多框目标检测算法预测c+1个类别置信度值，分别给出每个先验框中c+1个类别得分，每个类别得分最高的先验框就是边界框所属类别，即可得物体所属类别；物体位置检测通过位置预测块实现；

步骤S13、多尺度多框目标检测算法通过步骤S12输出物体类别和物体在图像中的坐标信息，输出结果格式为(classname,x_min,y_min,x_max,y_max)，其中，classname为物体类别，x_min,y_min为物体左下角坐标，x_max,y_max为物体右上角坐标；

所述步骤S2的具体实现方式如下：

步骤S21、根据双目摄像头左、右目分别检测出的信息，每个摄像头都输出包含两组坐标点的信息，根据：

得出左目物体中心点(X_left,Y_left)和右目物体中心点(X_right,Y_right)；

步骤S22、根据双目摄像头物理参数和畸变参数，设焦距为f，左右目摄像头基线距离为b，目标与无人船间距离z，物体坐标(x,y,z)，左目摄像头成像点(X_left,Y_left)，右目成像点(X_right,Y_right)，根据三角形相似定律：

解上述方程可得：

由此可以算出目标与无人船间距离x，z，已知x，z可以根据下式三角函数算出目标和无人船艏向的夹角θ：

而后，以无人船初始位置为原点建立地图，根据z和θ将检测出的物体绘制在地图上，随着无人船运动实时更新地图；

步骤S23、设船舶领域半径为r，无人船长度l、航速v、避让时间t，

r＝l+v*t

根据上式，以无人船为中心计算出无人船圆形船舶领域半径r并绘制在地图中实时更新；

步骤S24，若无人船执行的是目标跟踪任务，根据船舶领域半径r和无人船艏向与目标夹角θ，根据姿态检测模块数据实时调整船舶艏向和速度，保持目标与无人船之间的距离z≥r；若无人船在执行导航任务，根据船舶领域半径r和航线，计算无人船当前航线安全范围并用虚线绘制在地图中，如果检测出的物体在安全范围中，则执行规避动作，如果检测出的物体在安全范围外，则保持继续航行；

所述步骤S3的具体实现方式如下：根据步骤S2所得航行地图，参考船载GPS_北斗导航模块测量的经纬度坐标与姿态检测模块反映的无人船姿态信息，控制动力系统的推进器转速与舵机角度，使无人船能够按照预定路线航行并自动躲避其他物体或跟踪目标。

2.根据权利要求1所述的视觉无人船，其特征在于，所述双目摄像头模块拍摄图像后，需进行修正，具体实现如下：

通过双目摄像头拍摄国际象棋棋盘，并将拍摄的国际象棋棋盘照片与国际象棋棋盘格实际大小导入Matlab摄像头标定工具箱，进行双目摄像头标定，得到双目摄像头畸变参数，包括：焦距、焦点、径向畸变、切向畸变、偏度、旋转矩阵和偏移矩阵；通过双目摄像头畸变参数即可对拍摄图像进行修正。

Images