CN113589314A - 一种基于激光视觉的水面目标检测增稳系统及增稳方法 - Google Patents

Abstract

本发明涉及水面无人系统技术领域中的一种基于激光视觉的水面目标检测增稳系统及增稳方法，增稳系统包括增稳平台、水面目标检测系统和运算单元，增稳平台和水面目标检测系统均与运算单元电连接；增稳平台，为水面目标检测系统提供一个稳定的平台，用于提升检测的稳定性和精度；水面目标检测系统，由激光雷达和相机组成，一个无刷电机设置于增稳平台上，对激光雷达点云数据聚类得到目标相对位置距离，对相机图片检测分类重识别得到目标属性信息；运算单元用于处理数据发出指令。激光雷达与相机组合的方式感知载体周围目标的完备信息；增稳系统适应恶劣海况保证检测系统稳定的姿态，提升检测精度；通过不同的工作模式适应不同的工作环境及需求。

Description

一种基于激光视觉的水面目标检测增稳系统及增稳方法

技术领域

本发明涉及水面无人系统技术领域，具体涉及的是一种基于激光视觉的水面目标检测增稳系统及增稳方法。

背景技术

随着自动驾驶等无人系统及机器人感知技术的飞速发展，激光雷达、相机等作为重要的感知传感器被应用到移动机器人上，无人系统也从陆地上的机器人、汽车逐渐向水面上的船舶扩展。同时，由于水/海域存在不稳定风浪，稳定的感知系统对水面无人设备的航控决策变得至关重要。

激光雷达，一般是指LiDAR，是激光探测与测距的系统的简称。

单线激光雷达主要应用于服务机器人领域，可帮助其建立二维局部地图、规避障碍物等，但其只能平面式扫描，不能测量物体高度，且作用距离有限，不适合在大水/海域使用。

相比之下，多线激光雷达可以识别物体的高度信息并获取周围环境的3D扫描图，在无人驾驶领域有着广泛的应用，主要用来进行3D建模、环境感知及SLAM定位建图等。通过对激光雷达点云进行聚类分割可以提取有用的物体信息，但在水/海面上，目标一般距离较远，得到的点云数量较少，点与点之间的距离也比较大，这类稀疏点云很难进行分割聚类。

Livox 激光雷达采用独特的非重复扫描方式，视场覆盖率将随时间推移而显著提高,可减小视场内物体被漏检的概率，在某一角度保持时间越长，得到的点云密度就越高，此外，其作用距离可以达到几百米到1公里。局限于其特殊的扫描方式，视场角有限，故探测范围有限。

近年来，基于相机图像目标识别算法日趋成熟，如YOLO系列等，给定目标图像经过一定时间训练后，其精度可达到90%以上，但其只能提供目标的属性信息，无法提供位置距离信息，而RGBD相机等价格又比较昂贵。

综上，基于目前的现状，针对水面无人设备的运行环境，需设计稳定可靠的感知系统或目标检测方法。

发明内容

本发明的目的在于提供一种基于激光视觉的水面目标检测增稳系统，同时提供基于该系统相应的增稳方法。

本发明解决其技术问题所采用的技术方案是：

一种基于激光视觉的水面目标检测增稳系统，所述增稳系统包括增稳平台、水面目标检测系统和运算单元，增稳平台和水面目标检测系统均与运算单元电连接；具体的：

增稳平台，为水面目标检测系统提供一个稳定的平台，用于提升检测的稳定性和精度；包括用于与水面安装载体安装的安装架、两个增稳支架、三个无刷电机、一个或两个IMU；第一增稳支架通过第一无刷电机安装于安装架底部，第二增稳支架通过第二无刷电机与第一增稳支架连接，水面目标检测系统通过第三无刷电机安装于第二增稳支架上；第一无刷电机和第二无刷电机的安装面相垂直，第三无刷电机和第二无刷电机的安装面相垂直；包括一个IMU时，该IMU安装于水面目标检测系统上，包括第二个IMU时，第二个IMU安装于第一无刷电机或第二无刷电机上；

水面目标检测系统，由激光雷达和相机组成，通过一个无刷电机设置于增稳平台上，对激光雷达点云数据聚类得到目标相对位置距离，对相机图片检测分类重识别得到目标属性信息；

运算单元，设置于安装架上，对增稳平台和水面目标检测系统的相关数据进行分析处理并分发控制，处理外部指令数据以及向外发布该增稳系统所感知到的目标和环境数据。

本发明的增稳系统，通过激光雷达和相机实现了基于激光视觉的增稳系统，激光视觉体现在水面目标检测系统上，是基于激光雷达（激光）和相机（视觉）这两种目标检测方法的结合

优选的，所述增稳支架为L形。

优选的，所述增稳平台还包括一个或多个编码器；

当编码器为只支持模拟型的常规版编码器时，编码器安装于第一无刷电机上；

当编码器为扩展版编码器时，编码器分别装在三个无刷电机上并进行校准。

优选的，所述增稳平台还包括磁力计，磁力计和水面目标检测系统上所负载IMU的安装方向平行。

优选的，所述增稳平台的相关数据包括IMU、磁力计、编码器的数据，水面目标检测系统的相关数据包括激光雷达和相机采集的数据。

一种基于上述增稳系统的增稳方法，该增稳方法包括在监测模式、跟踪模式和目指模式三种工作模式下的三种工作方法；具体的：

监测模式下，水面目标检测系统在增稳平台的第一无刷电机的全周反复旋转下，对水面安装载体附近水域进行目标识别警戒；具体是，第一无刷电机进行360°全周反复旋转或正前/后方180°反复旋转，对水面安装载体的所处水域进行警戒监测，发现目标即刻将其上报至无人载体的上层控制决策系统；（由于水面目标检测算法可以达到实时性能，增稳系统最上边电机及其驱动型号可根据需求进行合理选择，其旋转速率也可根据实际情况进行设定）；

跟踪模式下，在监测模式的基础上对运动目标进行持续跟踪定位；具体是，在监测模式的基础上增加跟踪算法模块，当相机识别出可以移动的目标时，对其进行一定时间的跟踪定位，若目标保持静止，则增稳平台上的第一无刷电机继续旋转；若目标持续运动，增稳平台上的第一无刷电机则根据目标相对方位及其在图像中的位置，进行动态跟踪，直至目标消失于工作区域外或接到其他工作模式指令；

目指模式下，接收外部目标航向指令，增稳平台上的第一无刷电机旋转至相应方位，水面目标监测系统对目标进行精确的定位识别；具体的，当收到外部目指指令序列，增稳平台上的第一无刷电机按照目指指令中的目标方位进行动作，旋转至相应方位对目标进行更加精确的定位识别；若同一指令中有多个目标方位，系统则根据目标的相对距离由近及远依次进行识别定位。

第二无刷电机在水面安装载体有俯仰晃动时，进行俯仰角度调节，使水面目标检测系统的俯仰角为0度；第三无刷电机在水面安装载体有横滚晃动时，进行横滚角度调节，使水面目标检测系统的横滚角为0度。

优选的，运算单元中上述几种工作模式下关于目标的距离方位、图片及视频信息进行存储备份。

优选的，激光雷达点云首先经过滤波处理，根据需要过滤掉近距离的尾浪噪点，然后通过欧式聚类得到目标聚类中心的相对距离方位作为目标相对无人载体的距离方位。

优选的，对于相机视频流使用包括YOLOv4系列算法的图像识别算法进行识别，得到目标属性信息，如船只及型号、浮标、礁石等；此信息上传至无人载体的上层控制决策系统供其进行航路规划或制定针对性任务。

优选的，增稳平台的增稳包括单IMU增稳和双IMU增稳，具体的：

单IMU进行增稳时，该IMU与水面目标检测系统固连，用于实时表征调节其姿态；

若用双IMU进行增稳，在一个IMU的基础上安装第二个IMU配合调节相应的电机PID值来达到更稳定更精确的效果。

本发明的有益效果是：

本发明的水面目标检测系统，相比于纯激光雷达或纯相机水面感知系统，本发明提供的增稳系统，可以同时提供目标的完备信息，包括距离方位信息和属性信息；

相比于无增稳的感知系统，本发明提供的增稳平台，能够适应恶劣海况，保证检测系统的稳定性，进而提升检测精度；

相比于其他工作模式的感知系统，本发明提供的增稳系统，提供的几种工作模式，可以适应不同的工作环境及需求，适应性更强；

本发明提出的基于激光视觉的水面目标检测增稳方法，通过激光雷达与相机组合的方式，感知载体周围目标的完备信息；通过设计的增稳系统，来适应恶劣海况，保证检测系统稳定的姿态，提升检测精度；通过不同的工作模式，来适应不同的工作环境及需求。

附图说明

图1是本发明的一种基于激光视觉的水面目标检测增稳系统的结构示意图。

图2是本发明的增稳平台的结构示意图。

图3是本发明的水面目标检测系统的结构示意图。

图4是本发明实际运行效果图。

图中：1增稳平台，2水面目标检测系统，3运算单元，4安装架，5增稳支架，6无刷电机，7相机，8激光雷达。

具体实施方式

下面结合附图，对本发明的实施例作进一步详细的描述，但本发明并不局限于具体实施方式。

本发明提供了一种基于激光视觉的水面目标检测增稳系统，如图1-图3，所述增稳系统包括增稳平台、水面目标检测系统和运算单元，增稳平台和水面目标检测系统均与运算单元电连接。

增稳平台、水面目标检测系统和运算单元具体如下。

增稳平台，为水面目标检测系统提供一个稳定的平台，用于提升检测的稳定性和精度；包括用于与水面安装载体安装的安装架、两个增稳支架、三个无刷电机、一个或两个IMU；同时，还包括一个或多个编码器及磁力计；

增稳支架为L形，形成90度的角度；第一增稳支架通过第一无刷电机安装于安装架底部，第二增稳支架通过第二无刷电机与第一增稳支架连接，水面目标检测系统通过第三无刷电机安装于第二增稳支架上；第一无刷电机和第二无刷电机的安装面相垂直，第三无刷电机和第二无刷电机的安装面相垂直；

三个无刷电机中每个无刷电机负责校正一个方向的姿态角度（如俯仰/横摇/偏航）。

第一增稳支架与最上方的负责校正偏航角的第一无刷电机固连，随着第一无刷电机的转动调整目标检测系统的偏航角；第二无刷电机是负责调整目标检测系统俯仰角的，通过与其连接的第二增稳支架传递校正的角度，第三无刷电机负责调整横摇角，直接与水面目标检测系统固连。

包括一个IMU时，该IMU安装于水面目标检测系统上，包括第二个IMU时，第二个IMU安装于第一无刷电机或第二无刷电机上。增稳平台的增稳包括单IMU增稳和双IMU增稳，具体的：单IMU进行增稳时，该IMU与水面目标检测系统固连，用于实时表征调节其姿态；

若用双IMU进行增稳，在一个IMU的基础上安装第二个IMU配合调节相应的电机PID值来达到更稳定更精确的效果。

当编码器为只支持模拟型的常规版编码器时，编码器安装于第一无刷电机上；当编码器为扩展版编码器时，编码器分别装在三个无刷电机上并进行校准。磁力计和水面目标检测系统上所负载IMU的安装方向平行。

水面目标检测系统，由激光雷达和相机组成，通过一个无刷电机设置于增稳平台上，对激光雷达点云数据聚类得到目标相对位置距离，对相机图片检测分类重识别得到目标属性信息。

运算单元，设置于安装架上，对增稳平台和水面目标检测系统的相关数据进行分析处理并分发控制，处理外部指令数据以及向外发布该增稳系统所感知到的目标和环境数据。增稳平台的相关数据包括IMU、磁力计、编码器的数据，水面目标检测系统的相关数据包括激光雷达和相机采集的数据。

由于一些控制信号无法长距离传输，因此，最好将运算单元放置在水面安装载体的内部（如船舱内），在此，将运算单元置于增稳平台的上部，不仅便于控制信号的传输，同时还美观。

一种基于上述增稳系统的增稳方法，该增稳系统具有三种工作模式，因此基于该增稳系统的增稳方法包括在监测模式、跟踪模式和目指模式三种工作模式下的三种工作方法；具体的：

监测模式下，水面目标检测系统在增稳平台的第一无刷电机的全周反复旋转下，对水面安装载体附近水域进行目标识别警戒；具体是，第一无刷电机进行360°全周反复旋转或正前/后方180°反复旋转，对水面安装载体的所处水域进行警戒监测，发现目标即刻将其上报至无人载体的上层控制决策系统；（由于水面目标检测算法可以达到实时性能，增稳系统最上边电机及其驱动型号可根据需求进行合理选择，其旋转速率也可根据实际情况进行设定）；

跟踪模式下，在监测模式的基础上对运动目标进行持续跟踪定位；具体是，在监测模式的基础上增加跟踪算法模块，当相机识别出可以移动的目标时，对其进行一定时间的跟踪定位，若目标保持静止，则增稳平台上的第一无刷电机继续旋转；若目标持续运动，增稳平台上的第一无刷电机则根据目标相对方位及其在图像中的位置，进行动态跟踪，直至目标消失于工作区域外或接到其他工作模式指令；

目指模式下，接收外部目标航向指令，增稳平台上的第一无刷电机旋转至相应方位，水面目标监测系统对目标进行精确的定位识别；具体的，当收到外部目指指令序列，增稳平台上的第一无刷电机按照目指指令中的目标方位进行动作，旋转至相应方位对目标进行更加精确的定位识别；若同一指令中有多个目标方位，系统则根据目标的相对距离由近及远依次进行识别定位。

运算单元中上述几种工作模式下关于目标的距离方位、图片及视频信息进行存储备份。激光雷达点云首先经过滤波处理，根据需要过滤掉近距离的尾浪噪点，然后通过欧式聚类得到目标聚类中心的相对距离方位作为目标相对无人载体的距离方位。对于相机视频流使用包括YOLOv4系列算法的图像识别算法进行识别，得到目标属性信息，如船只及型号、浮标、礁石等；此信息上传至无人载体的上层控制决策系统供其进行航路规划或制定针对性任务。

如图上1所示，按照图1搭建一种基于激光视觉的水面目标检测增稳系统，搭建完毕后，将该增稳系统安装于水面安装载体上，然后上电开始工作。

如图1所示，一种基于激光视觉的水面目标检测增稳系统结构示意图，包括稳定系统、水面目标检测系统、运算单元。

首先按照图2搭建增稳系统，按照图3搭建水面目标检测系统。稳定系统搭建完毕后，将水面目标检测系统安装于稳定系统框架内，再将运算单元安装于增稳系统上方，连接好各部分线缆，最后将整个系统安装于水面无人载体，上电开始工作。

本具体实施方式使用的无刷电机、无刷电机的控制板及调试软件为Basecam出品，激光雷达为Livox，相机为Point Grey（注意，方法所涉及到的传感器不局限于具体实施方式中的传感器，其他型号传感器也可实现方法的功能），在该系统进行单独运行之前，需要与水面膜安装载体（如船舶等）上的高精度光电跟踪仪（用于对目标实施捕获、跟踪和瞄准）进行标定，补偿安装误差，减小系统误差。相关参数设定如下：点云滤波设置为50-600m有效；聚类距离最大2m，最小点云数量5，最大点云数量5000；yolo相关参数为训练模型文件，此处不列。

表1

类别ID	类别名称	AP	TP	FP
					0	船	98.14%	1635	31
1	浮标	99.62%	265	1

实际运行可视化结果如图4，表1为实际运行统计表，AP：平均准确率，TP：正确识别的样本数量，FP：识别错误的样本数量，AP的结果源于TP和FP，AP=TP/(TP+FP)。

表1中的数据是对船和浮标反复识别得到的统计结果。4和表1可以看到，本方法的水面目标检测能力极强。

对船只和浮标的属性识别平均准确率达到98%以上。对于距离位置信息，当船与目标均静止情况下，以高精度光电跟踪仪作为基准，探测300m外小目标（浮标），误差在2m；当船靠近静止目标情况下，以高精度光电跟踪仪作为基准，探测40-450m外的同一浮标，距离平均偏差0.88m，标准差0.76m，最大偏差4.94m；方位平均偏差1.48°，标准差0.14°，最大偏差2.2°。

上述实施例用来解释说明本发明，而不是对本发明的限制，在本发明的精神和权利要求的保护范围内，对本发明的任何修改和改变，都落入本发明的保护范围。

Claims (10)

1.一种基于激光视觉的水面目标检测增稳系统，其特征在于：所述增稳系统包括增稳平台、水面目标检测系统和运算单元，增稳平台和水面目标检测系统均与运算单元电连接；具体的：

增稳平台，为水面目标检测系统提供一个稳定的平台，用于提升检测的稳定性和精度；包括用于与水面安装载体安装的安装架、两个增稳支架、三个无刷电机、一个或两个IMU；第一增稳支架通过第一无刷电机安装于安装架底部，第二增稳支架通过第二无刷电机与第一增稳支架连接，水面目标检测系统通过第三无刷电机安装于第二增稳支架上；第一无刷电机和第二无刷电机的安装面相垂直，第三无刷电机和第二无刷电机的安装面相垂直；包括一个IMU时，该IMU安装于水面目标检测系统上，包括第二个IMU时，第二个IMU安装于第一无刷电机或第二无刷电机上；

水面目标检测系统，由激光雷达和相机组成，通过一个无刷电机设置于增稳平台上，对激光雷达点云数据聚类得到目标相对位置距离，对相机图片检测分类重识别得到目标属性信息；

运算单元，设置于安装架上，对增稳平台和水面目标检测系统的相关数据进行分析处理并分发控制，处理外部指令数据以及向外发布该增稳系统所感知到的目标和环境数据。

2.根据权利要求1所述增稳系统，其特征在于：所述增稳支架为L形。

3.根据权利要求1或2所述增稳系统，其特征在于：所述增稳平台还包括一个或多个编码器；

当编码器为只支持模拟型的常规版编码器时，编码器安装于第一无刷电机上；

当编码器为扩展版编码器时，编码器分别装在三个无刷电机上并进行校准。

4.根据权利要求3所述增稳系统，其特征在于：所述增稳平台还包括磁力计，磁力计和水面目标检测系统上所负载IMU的安装方向平行。

5.根据权利要求1所述增稳系统，其特征在于：所述增稳平台的相关数据包括IMU、磁力计、编码器的数据，水面目标检测系统的相关数据包括激光雷达和相机采集的数据。

6.一种基于上述任一项权利要求所述增稳系统的增稳方法，其特征在于：该增稳方法包括在监测模式、跟踪模式和目指模式三种工作模式下的三种工作方法；具体的：

监测模式下，水面目标检测系统在增稳平台的第一无刷电机的全周反复旋转下，对水面安装载体附近水域进行目标识别警戒；具体是，第一无刷电机进行360°全周反复旋转或正前/后方180°反复旋转，对水面安装载体的所处水域进行警戒监测，发现目标即刻将其上报至水面安装载体的上层控制决策系统；

跟踪模式下，在监测模式的基础上对运动目标进行持续跟踪定位；具体是，在监测模式的基础上增加跟踪算法模块，当相机识别出可以移动的目标时，对其进行一定时间的跟踪定位，若目标保持静止，则增稳平台上的第一无刷电机继续旋转；若目标持续运动，增稳平台上的第一无刷电机则根据目标相对方位及其在图像中的位置，进行动态跟踪，直至目标消失于工作区域外或接到其他工作模式指令；

目指模式下，接收外部目标航向指令，增稳平台上的第一无刷电机旋转至相应方位，水面目标监测系统对目标进行精确的定位识别；具体的，当收到外部目指指令序列，增稳平台上的第一无刷电机按照目指指令中的目标方位进行动作，旋转至相应方位对目标进行更加精确的定位识别；若同一指令中有多个目标方位，系统则根据目标的相对距离由近及远依次进行识别定位。

7.根据权利要求6所述增稳系统的增稳方法，其特征在于：运算单元中上述几种工作模式下关于目标的距离方位、图片及视频信息进行存储备份。

8.根据权利要求6所述增稳系统的增稳方法，其特征在于：激光雷达点云首先经过滤波处理，根据需要过滤掉近距离的尾浪噪点，然后通过欧式聚类得到目标聚类中心的相对距离方位作为目标相对水面安装载体的距离方位。

9.根据权利要求6所述增稳系统的增稳方法，其特征在于：对于相机视频流使用包括YOLOv4系列算法的图像识别算法进行识别，得到目标属性信息，如船只及型号、浮标、礁石等；此信息上传水面安装载体的上层控制决策系统供其进行航路规划或制定针对性任务。

10.根据权利要求6所述增稳系统的增稳方法，其特征在于：增稳平台的增稳包括单IMU增稳和双IMU增稳，具体的：

单IMU进行增稳时，该IMU与水面目标检测系统固连，用于实时表征调节其姿态；

若用双IMU进行增稳，在一个IMU的基础上安装第二个IMU配合调节相应的电机PID值来达到更稳定更精确的效果。

Images