CN112083437A - 一种船用激光雷达与视频联合目标捕捉系统及方法 - Google Patents

Abstract

本发明公开了一种船用激光雷达与视频联合目标捕捉系统及方法，通过激光雷达配合摄像机视频信息，做到对船舶周围水上目标的自动识别和定位。首先在船桥布设激光雷达和视频设备，激光雷达记录目标船舶在水面以上的点云数据，视频设备记录目标船舶的视频信息。通过数据处理中心，由视频信息可以得到目标船舶的类型、载货类型等细节信息，由激光雷达可以得到目标船舶精准的空间位置信息。最后将激光雷达信息与视频信息进行时空上的融合，形成实时显示的融合了激光雷达信息的视频信息来服务于水上交通导航和管理。本发明提高了船舶识别效率和准确度，对于雾航、夜航等不良航行环境有视觉增强辅助作用，可以确保水上交通运输的通航安全和航运效率。

Description

一种船用激光雷达与视频联合目标捕捉系统及方法

技术领域

本发明涉及目标识别领域，具体涉及一种服务于船舶导航或管理的，以激光雷达配合视频设备视频信息的水上目标识别系统及方法。

背景技术

随着水路运输迅速发展，船舶目标识别已成为水上交通部门的一项挑战性工作。目前的主要监测手段是船舶自动识别系统(Automatic Identification System，AIS)与岸基雷达，但是AIS存在主观错误信息，而雷达目标存在信息缺失等，给管理和导航带来困难。因此，海事主管部门在船上和岸基都布置了大量的摄像头对现有的AIS和雷达进行信息补充，但是视频监控利用率普遍比较低，主要原因是需要人工进行观察，耗费大量人力。如果摄像头具备船舶目标的捕获与跟踪能力，将极大改善上述问题。视觉监控方面的专项技术，经历了由传统到现代、由人工识别到机器自主识别的转变。然而这些常见视觉识别技术直接应用于船舶领域，仍有一些问题。首先，这些方法都基于人为设计的目标特征，这样工作量大而且识别效果不好。然后，受摄像头安装距离、位置、方位等的限制，现有摄像头采集的船舶视频质量往往清晰度不足、分辨率不够，传统方法难以提高识别的成功率。此外，由于船舶目标具有形状细长、多个目标排列紧凑等特点，应用传统的目标检测框架也易出现漏检、误检等问题。最后，传统的图像检测受光线变化影响大，在夜晚或者恶劣天气条件下会失去识别效果。

近几年来，随着深度学习在计算机视觉、图像处理以及遥感信息处理领域的应用，目标检测识别、图像语义分割等应用取得了巨大突破，另一方面，激光感知技术也得到了突破性的进步，激光雷达采集到的三维信息不需要接触到被测物体就能快速获取信息，不受时间限制，扫描速度快、实时性强、精度高并且全数字化。视频本质上是二维点阵信息，其中包含了船舶丰富的细节信息，包括载货类型、形态等，基于深度视觉可以获得精准的类型信息；激光雷达则是三维坐标信息，尽管丢失了大量的颜色细节，但其中又包含了精确的空间位置信息、轮廓信息。如果将两类信息进行有效融合，将会对导航、管理提供重要的支撑。

发明内容

针对现有技术中存在的问题，本发明提供了一种可以用于智能船作为其环境感知系统，为后续自主航行的认知和决策提供环境信息，也可用于船闸，实现对待通过船舶和引航道上的船舶的智能识别和监管，提高通航效率，通过深度视觉技术和激光感知技术的融合实现对船舶目标实时识别和定位，从而提高航运安全性的船用激光雷达与视频联合目标捕捉系统及方法。

本发明的目的通过以下技术方案实现。

一种船用激光雷达与视频联合目标捕捉系统，包括传感器系统、数据处理中心、数据融合中心和终端控制模块，所述传感器系统用于采集数据并传递至数据处理中心，所述数据处理中心将处理后的数据传递至数据融合中心，所述数据融合中心发送控制指令至终端控制模块。

所述传感器系统包括视频设备和激光雷达，所述数据处理中心包括视频信息处理模块和激光雷达数据处理模块，所述数据融合中心用于将视觉目标和激光雷达目标进行空间和时间上的融合。

所述传感器系统集成在船尾上，定点安装于船桥上。

所述视频信息处理模块用Mask R_CNN算法识别由船载视频设备的光学信号转变的图像模拟电信号，提取船舶的特征和类型；所述激光雷达数据处理模块同时对激光图像预处理并提取激光雷达采集空间位置信息。

所述终端控制模块包括显示屏、三色指示灯、功能按键组和VHF甚高频对讲机；所述显示屏用来显示实时视频信息，所述三色指示灯用来指示船舶检测系统的工作状态，所述功能按键组用来接收监管人员对视频设备的控制指令，所述VHF甚高频对讲机用来发出语音指令。

所述传感器系统、数据处理中心、数据融合中心和终端控制模块通过光纤对数据进行传输；所述视频设备和激光雷达作为整个系统正常工作的信息源，为视频分析、距离测量、数据融合提供元数据，当有船舶进入该监控区域时，所述激光雷达采集三维点云图，所述视频设备采集视频信息。

所述激光雷达是利用激光雷达发射激光束并接受反射光的方式测量周围环境是否有物体阻挡。

所述视频设备利用摄像头和数传天线实时传输图像到终端控制部分，从而将真实可靠的视觉信息完整提取给驾驶人员或者监管人员。

所述激光雷达信息处理模块包用于对激光雷达数据进行感兴趣区域选取，选择出激光雷达在船舶周围5m-70m的数据作为有效输入数据，之后利用帧间差分法对获得的激光雷达点云数据进行去噪。

所述视频信息处理模块通过迁移学习训练一个适合船用的深度视觉模型，并将视频信息传递给已经训练好的Mask R-CNN深度神经网络进行端到端的船舶目标识别，其输出包括目标类别，形状掩码，再由质心计算方法计算目标船舶中心。

所述数据融合模块的信息融合处理是将多传感器采集到的多源异构的航行信息及时汇总，通过激光雷达-相机联合标定和证据理论完成空间上和时间上的数据融合，实现多源异构信息归一化和船舶识别、定位的集成，并得到融合了激光雷达信息后的视频目标捕捉信息。

所述传感器系统、数据处理中心、数据融合中心之间由RS485控制连接线连接，所述数据融合中心通过无线网络与终端控制模块连接。

一种船用激光雷达与视频联合目标捕捉方法，步骤包括：

1)将传感器系统集成在船尾，定点安装于船桥上，所述传感器系统包括视频设备，激光雷达，所述视频设备利用摄像头和数传天线实时传输图像到终端控制模块，将真实可靠的视觉信息完整提取给驾驶人员，所述激光雷达是利用激光雷达发射激光束并接受反射光的方式测量周围环境是否有物体阻挡，获得目标的三维坐标并形成三维点云；

2)数据处理中心包括视频信息处理模块和激光雷达数据处理模块，所述视频信息处理模块用于将船载摄像机的光学信号转变为图像模拟电信号，提取船舶的特征和类型；所述激光雷达数据处理模块同时提取激光雷达采集的空间位置信息；

3)数据融合中心将视觉目标和激光雷达目标进行空间和时间上的融合；

4)终端控制模块包括显示屏、三色指示灯、功能按键组和VHF甚高频对讲机；所述显示屏显示实时视频信息，所述三色指示灯指示该系统的工作状态，所述功能按键组接收监管人员对摄像机的控制指令，所述VHF甚高频对讲机进行实时交通指挥。

相比于现有技术，本发明的优点在于：

1、使用深度视觉技术，海事主管部门可以直接获取目标船舶的船型、载货类型、距离等信息，提高了海事部门在船上和岸基布设的视频设备的监管效率。

2、智能化的识别任务保证了驾驶人员或者监管者在长时间重复作业中的安全性，也为船舶驾驶员提供了便捷性。

3、利用数据处理，获取了船舶及其周围环境的信息，只需调用数据库即可查找到船舶近期的航行情况，为研究船舶航行历史数据做出了贡献。

4、通过对多源异构传感器的数据融合，提高了船舶环境感知的准确度和效率，大大增强了雨雾等不良天气下的航行的安全性，也为雾航、夜航提供了新的解决方案。

附图说明

图1为本发明的Mask R_CNN算法流程图。

图2为本发明的Mask R_CNN的Anchor修正过程示意图。

图3为FCN分割网络示意图。

图4为本发明的结构图。

图5为本发明流程图。

具体实施方式

下面结合说明书附图和具体的实施例，对本发明作详细描述。

一种船用激光雷达与视频联合目标捕捉系统，包括传感器系统、数据处理中心、数据融合中心和终端控制模块，所述传感器系统用于采集数据并传递至数据处理中心，所述数据处理中心将处理后的数据传递至数据融合中心，所述数据融合中心发送控制指令至终端控制模块。

所述传感器系统包括视频设备和激光雷达，所述数据处理中心包括视频信息处理模块和激光雷达数据处理模块，所述数据融合中心用于将视觉目标和激光雷达目标进行空间和时间上的融合。

所述传感器系统集成在船尾上，定点安装于船桥上。

所述视频信息处理模块用Mask R_CNN算法识别由船载视频设备的光学信号转变的图像模拟电信号，提取船舶的特征和类型；所述激光雷达数据处理模块同时对激光图像预处理并提取激光雷达采集空间位置信息。

所述终端控制模块包括显示屏、三色指示灯、功能按键组和VHF甚高频对讲机；所述显示屏用来显示实时视频信息，所述三色指示灯用来指示船舶检测系统的工作状态，所述功能按键组用来接收监管人员对视频设备的控制指令，所述VHF甚高频对讲机用来发出语音指令。

所述传感器系统、数据处理中心、数据融合中心和终端控制模块通过光纤对数据进行传输；所述视频设备和激光雷达作为整个系统正常工作的信息源，为视频分析、距离测量、数据融合提供元数据，当有船舶进入该监控区域时，所述激光雷达采集三维点云图，所述视频设备采集视频信息。

所述激光雷达是利用激光雷达发射激光束并接受反射光的方式测量周围环境是否有物体阻挡。激光雷达采集到的三维信息因其不需要接触到被测物体就能快速获取信息，并且不受时间限制，因其扫描速度快、实时性强、精度高并且全数字化，非常适合船舶近距离的航行测量。

所述视频设备利用摄像头和数传天线实时传输图像到终端控制部分，从而将真实可靠的视觉信息完整提取给驾驶人员或者监管人员。

视频设备利用摄像头和数传天线实时传输图像到终端控制模块，从而将真实可靠的视觉信息完整提取给驾驶人员或者监管人员。

所述激光雷达信息处理模块包用于对激光雷达数据进行感兴趣区域选取，选择出激光雷达在船舶周围5m-70m的数据作为有效输入数据，之后利用帧间差分法对获得的激光雷达点云数据进行去噪。

所述视频信息处理模块通过迁移学习训练一个适合船用的深度视觉模型，并将视频信息传递给已经训练好的Mask R-CNN深度神经网络进行端到端的船舶目标识别，其输出包括目标类别，形状掩码，再由质心计算方法计算目标船舶中心。

数据融合中心实时的将由数据处理中心传输进来的视频信息和激光雷达信息进行融合。

所述数据融合模块的信息融合处理是将多传感器采集到的多源异构的航行信息及时汇总，通过激光雷达-相机联合标定和证据理论完成空间上和时间上的数据融合，实现多源异构信息归一化和船舶识别、定位的集成，并得到融合了激光雷达信息后的视频目标捕捉信息。

终端控制模块通过线路与显示屏连接，显示了融合了激光雷达信息后的视频目标捕捉图像，并通过功能按键组键入操作指令实现摄像头控制和视频回放，VHF甚高频对讲机发出语音指令。

所述传感器系统、数据处理中心、数据融合中心之间由RS485控制连接线连接，所述数据融合中心通过无线网络与终端控制模块连接。

一种船用激光雷达与视频联合目标捕捉方法，步骤包括：

1)将传感器系统集成在船尾，定点安装于船桥上，所述传感器系统包括视频设备，激光雷达，所述视频设备利用摄像头和数传天线实时传输图像到终端控制模块，将真实可靠的视觉信息完整提取给驾驶人员，所述激光雷达是利用激光雷达发射激光束并接受反射光的方式测量周围环境是否有物体阻挡，获得目标的三维坐标并形成三维点云；

2)数据处理中心包括视频信息处理模块和激光雷达数据处理模块，所述视频信息处理模块用于将船载摄像机的光学信号转变为图像模拟电信号，提取船舶的特征和类型；所述激光雷达数据处理模块同时提取激光雷达采集的空间位置信息；

3)数据融合中心将视觉目标和激光雷达目标进行空间和时间上的融合；

4)终端控制模块包括显示屏、三色指示灯、功能按键组和VHF甚高频对讲机；所述显示屏显示实时视频信息，所述三色指示灯指示该系统的工作状态，所述功能按键组接收监管人员对摄像机的控制指令，所述VHF甚高频对讲机进行实时交通指挥。

通常，上述传感器系统、数据处理中心、数据融合中心、通过光纤传输各个子设备之间的数据；视频设备，激光雷达作为整个系统正常工作的信息源，为视频分析、距离测量、数据融合提供源数据。有船舶进入该监控区域时，激光雷达采集三维点云图，视频设备采集视频信息。

按上述方法，步骤2)的具体包括：

激光雷达和相机的联合标定：在数据处理和数据融合之前需要做一些标定工作。本系统的数据融合是为了解决单一传感器的局限性，为了提高系统稳健性，融合包含不同传感器的时间同步和空间同步。本系统采取激光雷达和相机的联合标定来完成空间同步。基本原理是用激光雷达扫描棋盘图，再用相机拍摄相应图像，找到相机形成的二维RGB图像像素与相应激光点的映射关系，再用标定好的激光雷达和视频设备采集数据。

视频信息的数据处理：1、深度视觉模型训练

本系统通过在船载摄像机采集的彩色图像中识别并分割出目标船舶，从而间接达到间接分割激光点云的目的。系统采用Mask RCNN分割算法，Mask RCNN模型是通过大量数据学习得到目标物体特征，而不是手工设计的特征，这样的特征更能适应在船舶识别过程中可能出现的光线、遮挡等环境因素的变化。算法流程结构如图1所示，其输出包含三个分支，分别是目标船舶的具体类型、目标船舶的包围框的像素坐标、目标船舶的形状掩码。

首先，准备预训练Mask RCNN模型，通过Unity3D渲染和数据增强，得到给深度视觉模型进行迁移训练的船舶RGB图像。像素为1080*1080，并用VIA标注工具标注。

进一步的，把输入的图像数据到深度卷积神经网络Resnet101中进行特征提取。

进一步的，得到船舶特征后，采用目标估计网络RPN修正船舶可能在图像中可能存在的区域Anchor。修正过程如图2。

进一步的，ROI Align层会给出目标船舶出现每个区域的概率，然后将其映射为固定位数的特征向量，并分为三个分支，最后对三个分支进行训练。

进一步的，其中两个分支通过全连接层可以得到船舶分类与包围框位置的回归。另外一个分支通过全卷积FCN并采取0.5作为置信度阈值得到从图像中分割出的船舶的形状掩码。FCN流程如图3。

进一步的，模型保存与测试。

2、目标船舶识别与分割

保存深度视觉模型后，可以直接输入摄像机采集的RGB图像进行端到端的目标识别，完成目标船舶的分类、回归并分割出目标形状掩码。

3、中心计算

本系统采用质心计算的方法，对目标船舶的中心进行计算。船舶识别模块得到船舶位置的二值掩码，将边框的中心作为船舶的中心，将输出图像的任意一个像素点定义为(x,y)，将掩码的像素点定义为(x_n,y_n),定位船舶的像素坐标为

根据公式(1)(2)得到船舶中心坐标：

激光雷达的数据处理：

1、扫描区域选取

激光雷达安装在船舶的前部或者后部，因此读取近端数据时要留出一点的间隔，此外考虑到天气或者精度原因对雷达的影响，读取远端数据也要略小于极限量程，因此本系统选择在船舶周围5-70米的数据作为有效输入数据。

2、去除图像噪声

本系统采用帧间差分法去除点云图的噪声，其原理是分析背景与当前帧之间的差异。激光图像的二值图像也可以表示成一个矩阵，矩阵中的每一个元素叫一个像素点，再运用形态学的腐蚀和膨胀等方法，达到去噪的效果。

步骤3)的具体包括：

激光雷达图像与RGB图像的单帧空间融合：

通过S3中激光雷达与相机的联合标定获得同一对象的激光点云与RGB图像信息。

进一步的，在同时同场景的图像与激光点云中，通过S3中的目标船舶识别与形状分割可以确定目标船舶中心，进而找到目标船舶中心对应的激光点云像素点。

进一步的，根据激光雷达信息获得目标船舶至本船的距离。

基于证据理论的多帧融合：

所述的感知系统主要包含摄像机、激光雷达。

进一步地，所述摄像机传回的图像信息可以获取目标船舶的类型。进一步地，所述激光雷达传回的信息可以获取目标船舶到本船的距离。

进一步地，所述数据融合中心会依次对发送回的视频信息和激光信息进行预处理，使实时传输回来的数据符合监管人员的观感需要。

进一步地，所述数据融合中心在视频和多帧激光图像中，选取数据样本中的位移和方向两个特征值作为相对独立的证据，使用证据理论得出合理的判断准则，最终以此标准对得到的信息进行准确性检验，得到融合有激光雷达信息的视频信息。

进一步地，所述数据融合中心采用双线性插值做到对同一时刻的多源数据格式的统一。

所述终端控制模块接收由数据融合中心传输进来的激光雷达与视频信息联合目标捕捉结果，监管者可以在显示屏上看到融合了激光雷达信息的视频信息。并可以操作功能按键组来调节摄像头的方向和回放视频，VHF甚高频对讲机发出语音指令。

所述传感器系统、数据处理中心、数据融合中心经由抗干扰性强且支持多点传输的RS485控制线连接，经过无线网络与终端控制模块连接，实现数据传输。所述视频设备以视频信息记录水上目标并经由迁移改进型深度神经网络Mask RCNN模型识别和目标捕捉，所述激光雷达通过线扫描获得目标船舶到本船的距离，再经由激光雷达-相机联合标定和基于信度理论的多帧融合，得到融合激光雷达信息后的视频信息。

实施例

地点：武汉市汤逊湖

航道宽度：约260米

激光雷达：Velodnye 16线扫描式雷达

视频设备：海康威视MV-CE013-50GM摄像机

进行激光雷达-相机联合标定，采用Autoware标定工具，得到RGB图像像素坐标与激光雷达图像像素坐标的映射关系。

传感器系统：定点安装在船桥上，由光纤对各项子设备之间的数据进行传输；激光雷达，视频设备作为整个系统正常工作的信息源，为视频分析、距离测量、数据融合提供元数据。摄像机感知到有船舶进入该监控区域时，激光雷达采集三维点云图，摄像机采集视频信息。

数据处理中心：集成在该系统内部，其包含两个模块。第一是视频信息处理模块，首先通过迁移学习，训练一个船舶识别的深度视觉模型，视频信息传递给已经训练好的Mask R_CNN深度神经网络模型进行端到端的船舶目标识别和形状分割，其输出包含目标类别，包围框位置，形状掩码，进而计算目标船舶中心坐标。第二是激光雷达信息处理模块，其步骤是首先是激光雷达数据处理模块选择出激光雷达在船舶周围5m-70m的数据作为有效输入数据；然后是利用帧间差分法对获得的激光雷达点云数据进行去噪。

数据融合中心：所述数据融合模块的信息融合处理是将多传感器采集到的多源异构的视频信息和激光雷达信息及时汇总，通过激光雷达-相机联合标定完成空间上的目标融合，通过证据理论完成时间上的多帧信息融合，实现多源异构信息归一化和目标识别、定位的集成，并得到融合了激光雷达信息后的视频目标捕捉图像。

终端控制中心：所包括显示屏、功能按键组、VHF甚高频对讲机。显示屏接收由数据融合中心传输进来的船型，距离，位置等结果，显示屏接收并显示融合了激光雷达信息的视频捕捉图像。三色指示灯指示系统工作状态，功能按键组用来调节摄像头的方向和回放视频，VHF甚高频对讲机发出语音指令。

本次测试步骤如下：

一、将视频设备和激光雷达固定在船桥顶端，对摄像机和激光雷达进行联合标定。

二、调节激光雷达的检测量程，使湖面的船舶目标运动状态能清晰显示在计算机屏幕上，界面中的光斑区域为检测区内出现的船舶轮廓信息，光斑形状与航道中船舶轮廓和位置能够重合。

三、海康威视MV-CE013-50GM摄像机实时获取摄像头视频信息，采集频率为50Hz，具备自动降噪功能。视频信息经过预处理后传输Mask R-CNN深度神经网络模型进行端到端的目标识别，获取目标船舶的类型和特征，再经由质心计算方法得到目标船舶中心

四、Velodyne16线激光雷达的数据采集频率设置为10Hz，对来往不同形态、尺寸的船舶进行感测，获取目标船舶的位置和外形特征。具体包括：

1)感兴趣区域选取。本系统采取激光雷达在船舶周围5m-70m的数据作为有效输入数据。

2)本系统采用帧间差分法去除点云图的噪声。此方法在OpenCV有较为通用的模型。其原理是分析背景与当前帧之间的差异。激光图像的二值图像也可以表示成一个矩阵，矩阵中的每一个元素叫一个像素点，再运用形态学的腐蚀和膨胀等方法，达到去噪的效果

五、激光雷达数据和视频信息传输到数据融合中心，通过联合标定来完成空间上的融合，定位目标船舶并得到目标船舶到本船的距离，通过证据理论和双线性插值完成时间上的多帧融合，进而达到目标识别与定位的集成显示，得到融合有激光雷达信息的视频目标捕捉信息，并传输给终端控制部分。

六、终端控制部分接收由数据融合中心传输进来的船型，距离等结果，监管者可以在显示屏上看到融合了激光雷达信息的视频捕捉信息。三色指示灯用来显示系统的工作状态，并可以操作功能按键组来调节摄像头的方向和回放视频，VHF甚高频对讲机发出语音指令。

Claims (13)

1.一种船用激光雷达与视频联合目标捕捉系统，其特征在于包括传感器系统、数据处理中心、数据融合中心和终端控制模块，所述传感器系统用于采集数据并传递至数据处理中心，所述数据处理中心将处理后的数据传递至数据融合中心，所述数据融合中心发送控制指令至终端控制模块。

2.根据权利要求1所述的一种船用激光雷达与视频联合目标捕捉系统，其特征在于所述传感器系统包括视频设备和激光雷达，所述数据处理中心包括视频信息处理模块和激光雷达数据处理模块，所述数据融合中心用于将视觉目标和激光雷达目标进行空间和时间上的融合。

3.根据权利要求1或2所述的一种船用激光雷达与视频联合目标捕捉系统，其特征在于所述传感器系统集成在船尾上，定点安装于船桥上。

4.根据权利要求2所述的一种船用激光雷达与视频联合目标捕捉系统，其特征在于所述视频信息处理模块用Mask R_CNN算法识别由船载视频设备的光学信号转变的图像模拟电信号，提取船舶的特征和类型；所述激光雷达数据处理模块同时对激光图像预处理并提取激光雷达采集空间位置信息。

5.根据权利要求1所述的一种船用激光雷达与视频联合目标捕捉系统，其特征在于所述终端控制模块包括显示屏、三色指示灯、功能按键组和VHF甚高频对讲机；所述显示屏用来显示实时视频信息，所述三色指示灯用来指示船舶检测系统的工作状态，所述功能按键组用来接收监管人员对视频设备的控制指令，所述VHF甚高频对讲机用来发出语音指令。

6.根据权利要求2所述的一种船用激光雷达与视频联合目标捕捉系统，其特征在于所述传感器系统、数据处理中心、数据融合中心和终端控制模块通过光纤对数据进行传输；所述视频设备和激光雷达作为整个系统正常工作的信息源，为视频分析、距离测量、数据融合提供元数据，当有船舶进入该监控区域时，所述激光雷达采集三维点云图，所述视频设备采集视频信息。

7.根据权利要求2所述的一种船用激光雷达与视频联合目标捕捉系统，其特征在于所述激光雷达是利用激光雷达发射激光束并接受反射光的方式测量周围环境是否有物体阻挡。

8.根据权利要求2所述的一种船用激光雷达与视频联合目标捕捉系统，其特征在于所述视频设备利用摄像头和数传天线实时传输图像到终端控制部分，从而将真实可靠的视觉信息完整提取给驾驶人员或者监管人员。

9.根据权利要求2所述的一种船用激光雷达与视频联合目标捕捉系统，其特征在于所述激光雷达信息处理模块包用于对激光雷达数据进行感兴趣区域选取，选择出激光雷达在船舶周围5m-70m的数据作为有效输入数据，之后利用帧间差分法对获得的激光雷达点云数据进行去噪。

10.根据权利要求2所述的一种船用激光雷达与视频联合目标捕捉系统，其特征在于所述视频信息处理模块通过迁移学习训练一个适合船用的深度视觉模型，并将视频信息传递给已经训练好的Mask R-CNN深度神经网络进行端到端的船舶目标识别，其输出包括目标类别，形状掩码，再由质心计算方法计算目标船舶中心。

11.根据权利要求1所述的一种船用激光雷达与视频联合目标捕捉系统，其特征在于所述数据融合模块的信息融合处理是将多传感器采集到的多源异构的航行信息及时汇总，通过激光雷达-相机联合标定和证据理论完成空间上和时间上的数据融合，实现多源异构信息归一化和船舶识别、定位的集成，并得到融合了激光雷达信息后的视频目标捕捉信息。

12.根据权利要求1所述的一种船用激光雷达与视频联合目标捕捉系统。其特征在于所述传感器系统、数据处理中心、数据融合中心之间由RS485控制连接线连接，所述数据融合中心通过无线网络与终端控制模块连接。

13.一种船用激光雷达与视频联合目标捕捉方法，其特征在于步骤包括：

1)将传感器系统集成在船尾，定点安装于船桥上，所述传感器系统包括视频设备，激光雷达，所述视频设备利用摄像头和数传天线实时传输图像到终端控制模块，将真实可靠的视觉信息完整提取给驾驶人员，所述激光雷达是利用激光雷达发射激光束并接受反射光的方式测量周围环境是否有物体阻挡，获得目标的三维坐标并形成三维点云；

2)数据处理中心包括视频信息处理模块和激光雷达数据处理模块，所述视频信息处理模块用于将船载摄像机的光学信号转变为图像模拟电信号，提取船舶的特征和类型；所述激光雷达数据处理模块同时提取激光雷达采集的空间位置信息；

3)数据融合中心将视觉目标和激光雷达目标进行空间和时间上的融合；

4)终端控制模块包括显示屏、三色指示灯、功能按键组和VHF甚高频对讲机；所述显示屏显示实时视频信息，所述三色指示灯指示该系统的工作状态，所述功能按键组接收监管人员对摄像机的控制指令，所述VHF甚高频对讲机进行实时交通指挥。

Images