CN112927233A - 一种船用激光雷达与视频联合目标捕捉方法 - Google Patents

Abstract

本发明公开了一种船用激光雷达与视频联合目标捕捉方法，通过激光雷达配合摄像机视频信息，做到对船舶周围水上目标的自动识别和定位。本方法具体为：激光雷达记录目标船舶在水面以上的点云数据，视频设备记录目标船舶的视频信息。然后，通过数据处理中心，由视频信息可以得到目标船舶的类型、载货类型等细节信息，由激光雷达可以得到目标船舶精准的空间位置信息。最后将激光雷达信息与视频信息进行时空上的融合，形成实时显示的融合了激光雷达信息的视频信息来服务于水上交通导航和管理。本发明提高了船舶识别效率和准确度，可以确保水上交通运输的通航安全和航运效率。

Description

一种船用激光雷达与视频联合目标捕捉方法

技术领域

本发明涉及目标识别领域，具体涉及一种服务于船舶导航或管理的，以激光雷达配合摄像机视频信息对水上目标进行识别的船用激光雷达与视频联合目标捕捉方法。

背景技术

随着水路运输迅速发展，船舶目标识别已成为水上交通部门的一项挑战性工作。目前的主要监测手段是船舶自动识别系统(Automatic Identification System，AIS)与岸基雷达，但是AIS存在主观错误信息，而雷达目标存在信息缺失等，给管理和导航带来困难。因此，海事主管部门在船上和岸基都布置了大量的摄像头对现有的AIS和雷达进行信息补充，但是视频监控利用率普遍比较低，主要原因是需要人工进行观察，耗费大量人力。如果摄像头具备船舶目标的捕获与跟踪能力，将极大改善上述问题。视觉监控方面的专项技术，经历了由传统到现代、由人工识别到机器自主识别的转变。然而这些常见视觉识别技术直接应用于船舶领域，仍有一些问题。首先，这些方法都基于人为设计的目标特征，这样工作量大而且识别效果不好。然后，受摄像头安装距离、位置、方位等的限制，现有摄像头采集的船舶视频质量往往清晰度不足、分辨率不够，传统方法难以提高识别的成功率。此外，由于船舶目标具有形状细长、多个目标排列紧凑等特点，应用传统的目标检测框架也易出现漏检、误检等问题。最后，传统的图像检测受光线变化影响大，在夜晚或者恶劣天气条件下会失去识别效果。

近几年来，随着深度学习在计算机视觉、图像处理以及遥感信息处理领域的应用，目标检测识别、图像语义分割等应用取得了巨大突破，另一方面，激光感知技术也得到了突破性的进步，激光雷达采集到的三维信息不需要接触到被测物体就能快速获取信息，不受时间限制，扫描速度快、实时性强、精度高并且全数字化。视频本质上是二维点阵信息，其中包含了船舶丰富的细节信息，包括载货类型、形态等，基于深度视觉可以获得精准的类型信息；激光雷达则是三维坐标信息，尽管丢失了大量的颜色细节，但其中又包含了精确的空间位置信息、轮廓信息。如果将两类信息进行有效融合，将会对导航、管理提供重要的支撑。

发明内容

本发明主要是解决现有技术所存在的受光线影响大、信息不全、容易发生误识别等的技术问题，提供一种精度高、信息全面、识别速度快的船用激光雷达与视频联合目标捕捉方法。

本发明针对上述技术问题主要是通过下述技术方案得以解决的：一种船用激光雷达与视频联合目标捕捉方法，包括以下步骤：

S1、对激光雷达和摄像头进行联合标定；

S2、基于摄像头采集的RGB图像对目标船舶进行识别与分割；

S3、计算目标船舶的中心(x1,y1)；

S4、去除激光雷达采集到的点云图的噪声；

S5、将点云图与RGB图像进行融合，具体包括单帧空间融合和多帧融合，单帧空间融合为：

S501、基于步骤S2的结果通过联合标定获得目标船舶这个同一对象的激光点云信息；

S502、找到目标船舶中心对应的激光点云像素点空间位置记为M(x2,y2,z2)；确定M时可以使用激光点云处理算法库PCL的segmentation子集中的欧式空间分割法或其他方法；

S503、根据激光雷达信息获得目标船舶至本船的距离；

多帧融合为：

S504、计算M点的视频横向估算坐标M’(x’,y’)，计算公式如下：

x’＝(arctan((y2-y1)/(x2-x1))-α)/β×wid/2+(wid/2)

y’＝logb(((y2-y1)×(y2-y1)+(x2-x1)×(x2-x1))^(1/2)/k)

式中，wid为视频分辨率，α为摄像头中心指向位，β为摄像头横向视域范围，摄像头横向摆置，b和k为常数，由现场数值标定获得；

数据融合中心会依次对发送回的视频信息和激光信息进行预处理，使实时传输回来的数据符合监管人员的观感需要，数据融合中心在视频和多帧激光图像中，选取数据样本中的位移和方向两个特征值作为相对独立的证据；

S505、将M’和距离信息融合到视频中，获得目标船舶的位置信息。

数据融合中心采用双线性插值做到对同一时刻的多源数据格式的统一。

本方案基于一种船用激光雷达与视频联合目标捕捉系统，所述系统包括传感器系统、数据处理中心、数据融合中心和终端控制部分。

传感器系统集成在船尾，定点安装于船桥上，其包括视频设备和激光雷达。视频设备可以利用摄像头和数传天线实时传输图像到终端控制部分，从而将真实可靠的视觉信息完整提取给驾驶人员。激光雷达是利用激光雷达发射激光束并接受反射光的方式测量周围环境是否有物体阻挡，可以快速、准确的获得目标的三维坐标并形成三维点云。

数据处理中心包括两个模块：视频信息处理模块和激光雷达数据处理模块。前者用于将船载摄像机的光学信号转变为图像模拟电信号，提取船舶的特征和类型；后者同时提取激光雷达采集的空间位置信息。

数据融合中心是将视觉目标和激光雷达目标进行空间和时间上的融合。

终端控制部分包括显示屏、三色指示灯、功能按键组和VHF甚高频对讲机；显示屏用来显示实时视频信息，三色指示灯用来指示该系统的工作状态，功能按键组用来接收监管人员对摄像机的控制指令，VHF甚高频对讲机用来进行实时交通指挥。

通常，上述传感器系统、数据处理中心和数据融合中心，通过光纤传输各个子设备之间的数据；视频设备和激光雷达作为整个系统正常工作的信息源，为视频分析、距离测量、数据融合提供源数据。有船舶进入该监控区域时，激光雷达采集三维点云图，视频设备采集视频信息。

在数据处理和数据融合之前需要做一些标定工作。本系统的数据融合是为了解决单一传感器的局限性，为了提高系统稳健性，融合包含不同传感器的时间同步和空间同步。本系统采取激光雷达和摄像头的联合标定来完成空间同步。基本原理是用激光雷达扫描棋盘图，再用摄像头拍摄相应图像，找到摄像头形成的二维RGB图像像素与相应激光点的映射关系，再用标定好的激光雷达和视频设备采集数据。

作为优选，所述步骤S2中，在对目标船舶进行识别与分割之前，先对深度视觉模型进行训练，深度视觉模型为Mask RCNN模型，模型输出包括三个分支，分别是目标船舶的具体类型、目标船舶的包围框的像素坐标和目标船舶的形状掩码，训练过程如下：

A1、通过通过Unity3D渲染和数据增强，得到给深度视觉模型进行迁移训练的船舶RGB图像，像素为1080*1080，并用VIA标注工具标注；

A2、把船舶RGB图像数据输入到深度卷积神经网络Resnet101中进行特征提取；

A3、采用目标估计网络RPN修正船舶在图像中可能存在的区域Anchor；

A4、模型的ROI Align层给出目标船舶出现在每个区域的概率，然后将其映射为固定位数的特征向量，并分为三个分支，最后对三个分支进行训练；其中两个分支通过全连接层可以得到船舶分类与包围框位置的回归，另外一个分支通过全卷积FCN并采取0.5作为置信度阈值得到从图像中分割出的船舶的形状掩码；

A5、对模型进行保存。

保存深度视觉模型后，可以直接输入摄像机采集的RGB图像进行端到端的目标识别，完成目标船舶的分类、回归并分割出目标形状掩码。

本系统通过在船载摄像机采集的彩色图像中识别并分割出目标船舶，从而间接达到间接分割激光点云的目的。系统采用Mask RCNN分割算法，Mask RCNN模型是通过大量数据学习得到目标物体特征，而不是手工设计的特征，这样的特征更能适应在船舶识别过程中可能出现的光线、遮挡等环境因素的变化。

作为优选，本系统采用质心计算的方法，对目标船舶的中心进行计算，步骤S3具体为：

得到船舶位置的二值掩码后，将边框的中心作为船舶的中心。将输出图像的任意一个像素点定义为(x,y)，将掩码的像素点定义为(x_n,y_n)，船舶中心的像素坐标为(x1,y1)，根据以下公式得到船舶中心坐标：

作为优选，激光雷达的有效扫描区域为5-70米。激光雷达安装在船舶的前部或者后部，因此读取近端数据时要留出一点的间隔，此外考虑到天气或者精度原因对雷达的影响，读取远端数据也要略小于极限量程，因此本系统选择在船舶周围5-70米的数据作为有效输入数据。

本系统采用帧间差分法去除点云图的噪声，其原理是分析背景与当前帧之间的差异。激光图像的二值图像也可以表示成一个矩阵，矩阵中的每一个元素叫一个像素点，再运用形态学的腐蚀和膨胀等方法，达到去噪的效果。

作为优选，步骤S504中，计算完M点的视频横向估算坐标M’(x’,y’)后，通过以下公式计算视觉识别结果和激光点云目标的匹配程度Confidence：

Confidence＝(Bx×By)/(1-(1-Bx)×By-(1-By)×Bx)

Bx＝1-Δx/X_max

By＝1-Δy/Y_max

Bx为x轴上的信度，By为y轴上的信度,Δx为x’和x1的差值的绝对值，Δy为y’和y1的差值的绝对值，X_max为x轴向最大误差，Y_max为y轴向最大误差；当Bx或By小于等于0时，直接认定视觉识别结果和激光点云目标不是同一个目标，不进行后续的融合。

本发明带来的实质性效果是：1、使用深度视觉技术，海事主管部门可以直接获取目标船舶的船型、距离等信息，提高了海事部门在船上和岸基布设的摄像机的监管效率；2、智能化的识别任务保证了驾驶人员或者监管者在长时间重复作业中的安全性，也为船舶驾驶员提供了便捷性；3、利用数据处理，获取了船舶及其周围环境的信息，只需调用数据库即可查找到船舶近期的航行情况，为研究船舶航行历史数据做出了贡献；4、通过对多源异构传感器的数据融合，提高了船舶环境感知的准确度和效率，大大增强了雨雾等不良天气下的航行的安全性，也为雾航、夜航提供了新的解决方案。

附图说明

图1是本发明的一种流程图；

图2是本发明的一种Mask RCNN算法流程图；

图3是本发明的一种FCN分割网络示意图。

具体实施方式

下面通过实施例，并结合附图，对本发明的技术方案作进一步具体的说明。

实施例：一种船用激光雷达与视频联合目标捕捉方法，如图1所示，包括以下步骤：

S1、对激光雷达和摄像头进行联合标定；

S2、基于摄像头采集的RGB图像对目标船舶进行识别与分割；

S3、计算目标船舶的中心(x1,y1)；

S4、去除激光雷达采集到的点云图的噪声；

S5、将点云图与RGB图像进行融合，具体包括单帧空间融合和多帧融合，单帧空间融合为：

S501、基于步骤S2的结果通过联合标定获得目标船舶这个同一对象的激光点云信息；

S502、找到目标船舶中心对应的激光点云像素点空间位置记为M(x2,y2,z2)；确定M时可以使用激光点云处理算法库PCL的segmentation子集中的欧式空间分割法或其他方法；

S503、根据激光雷达信息获得目标船舶至本船的距离；

多帧融合为：

S504、计算M点的视频横向估算坐标M’(x’,y’)，计算公式如下：

x’＝(arctan((y2-y1)/(x2-x1))-α)/β×wid/2+(wid/2)

y’＝logb(((y2-y1)×(y2-y1)+(x2-x1)×(x2-x1))^(1/2)/k)

式中，wid为视频分辨率，α为摄像头中心指向位，β为摄像头横向视域范围，摄像头横向摆置，b和k为常数，由现场数值标定获得；

数据融合中心会依次对发送回的视频信息和激光信息进行预处理，使实时传输回来的数据符合监管人员的观感需要，数据融合中心在视频和多帧激光图像中，选取数据样本中的位移和方向两个特征值作为相对独立的证据；

S505、将M’和距离信息融合到视频中，获得目标船舶的位置信息。

数据融合中心采用双线性插值做到对同一时刻的多源数据格式的统一。

本方案基于一种船用激光雷达与视频联合目标捕捉系统，所述系统包括传感器系统、数据处理中心、数据融合中心和终端控制部分。

传感器系统集成在船尾，定点安装于船桥上，其包括视频设备和激光雷达。视频设备可以利用摄像头和数传天线实时传输图像到终端控制部分，从而将真实可靠的视觉信息完整提取给驾驶人员。激光雷达是利用激光雷达发射激光束并接受反射光的方式测量周围环境是否有物体阻挡，可以快速、准确的获得目标的三维坐标并形成三维点云。

数据处理中心包括两个模块：视频信息处理模块和激光雷达数据处理模块。前者用于将船载摄像机的光学信号转变为图像模拟电信号，提取船舶的特征和类型；后者同时提取激光雷达采集的空间位置信息。

数据融合中心是将视觉目标和激光雷达目标进行空间和时间上的融合。

终端控制部分包括显示屏、三色指示灯、功能按键组和VHF甚高频对讲机；显示屏用来显示实时视频信息，三色指示灯用来指示该系统的工作状态，功能按键组用来接收监管人员对摄像机的控制指令，VHF甚高频对讲机用来进行实时交通指挥。

通常，上述传感器系统、数据处理中心和数据融合中心，通过光纤传输各个子设备之间的数据；视频设备和激光雷达作为整个系统正常工作的信息源，为视频分析、距离测量、数据融合提供源数据。有船舶进入该监控区域时，激光雷达采集三维点云图，视频设备采集视频信息。

在数据处理和数据融合之前需要做一些标定工作。本系统的数据融合是为了解决单一传感器的局限性，为了提高系统稳健性，融合包含不同传感器的时间同步和空间同步。本系统采取激光雷达和摄像头的联合标定来完成空间同步。基本原理是用激光雷达扫描棋盘图，再用摄像头拍摄相应图像，找到摄像头形成的二维RGB图像像素与相应激光点的映射关系，再用标定好的激光雷达和视频设备采集数据。

所述步骤S2中，在对目标船舶进行识别与分割之前，先对深度视觉模型进行训练，深度视觉模型为图2所示的Mask RCNN模型，模型输出包括三个分支，分别是目标船舶的具体类型、目标船舶的包围框的像素坐标和目标船舶的形状掩码，训练过程如下：

A1、通过通过Unity3D渲染和数据增强，得到给深度视觉模型进行迁移训练的船舶RGB图像，像素为1080*1080，并用VIA标注工具标注；

A2、把船舶RGB图像数据输入到深度卷积神经网络Resnet101中进行特征提取；

A3、采用目标估计网络RPN修正船舶在图像中可能存在的区域Anchor；

A4、模型的ROI Align层给出目标船舶出现在每个区域的概率，然后将其映射为固定位数的特征向量，并分为三个分支，最后对三个分支进行训练；其中两个分支通过全连接层可以得到船舶分类与包围框位置的回归，另外一个分支通过全卷积FCN并采取0.5作为置信度阈值得到从图像中分割出的船舶的形状掩码，具体如图3所示；

A5、对模型进行保存。

保存深度视觉模型后，可以直接输入摄像机采集的RGB图像进行端到端的目标识别，完成目标船舶的分类、回归并分割出目标形状掩码。

本系统通过在船载摄像机采集的彩色图像中识别并分割出目标船舶，从而间接达到间接分割激光点云的目的。系统采用Mask RCNN分割算法，Mask RCNN模型是通过大量数据学习得到目标物体特征，而不是手工设计的特征，这样的特征更能适应在船舶识别过程中可能出现的光线、遮挡等环境因素的变化。

本系统采用质心计算的方法，对目标船舶的中心进行计算，步骤S3具体为：

得到船舶位置的二值掩码后，将边框的中心作为船舶的中心。将输出图像的任意一个像素点定义为(x,y)，将掩码的像素点定义为(x_n,y_n)，船舶中心的像素坐标为(x1,y1)，根据以下公式得到船舶中心坐标：

激光雷达的有效扫描区域为5-70米。激光雷达安装在船舶的前部或者后部，因此读取近端数据时要留出一点的间隔，此外考虑到天气或者精度原因对雷达的影响，读取远端数据也要略小于极限量程，因此本系统选择在船舶周围5-70米的数据作为有效输入数据。

本系统采用帧间差分法去除点云图的噪声，其原理是分析背景与当前帧之间的差异。激光图像的二值图像也可以表示成一个矩阵，矩阵中的每一个元素叫一个像素点，再运用形态学的腐蚀和膨胀等方法，达到去噪的效果。

步骤S504中，计算完M点的视频横向估算坐标M’(x’,y’)后，通过以下公式计算视觉识别结果和激光点云目标的匹配程度Confidence：

Confidence＝(Bx×By)/(1-(1-Bx)×By-(1-By)×Bx)

Bx＝1-Δx/X_max

By＝1-Δy/Y_max

Bx为x轴上的信度，By为y轴上的信度,Δx为x’和x1的差值，Δy为y’和y1的差值，X_max为x轴向最大误差，Y_max为y轴向最大误差；当Bx或By小于等于0时，直接认定视觉识别结果和激光点云目标不是同一个目标，不进行后续的融合。

下面结合具体实例，对本发明实例中的技术方案进行清楚完整的描述。

地点：武汉市汤逊湖

航道宽度：约260米

激光雷达：Velodnye 16线扫描式雷达

视频设备：海康威视MV-CE013-50GM摄像机

进行激光雷达-摄像头联合标定，采用Autoware标定工具，得到RGB图像像素坐标与激光雷达图像像素坐标的映射关系。

传感器系统：定点安装在船桥上，由光纤对各项子设备之间的数据进行传输；激光雷达，视频设备作为整个系统正常工作的信息源，为视频分析、距离测量、数据融合提供元数据。摄像机感知到有船舶进入该监控区域时，激光雷达采集三维点云图，摄像机采集视频信息。

数据处理中心：集成在该系统内部，其包含两个模块。第一是视频信息处理模块，首先通过迁移学习，训练一个船舶识别的深度视觉模型，视频信息传递给已经训练好的Mask R_CNN深度神经网络模型进行端到端的船舶目标识别和形状分割，其输出包含目标类别，包围框位置，形状掩码，进而计算目标船舶中心坐标。第二是激光雷达信息处理模块，其步骤是首先是激光雷达数据处理模块选择出激光雷达在船舶周围5m-70m的数据作为有效输入数据；然后是利用帧间差分法对获得的激光雷达点云数据进行去噪。

数据融合中心：所述数据融合模块的信息融合处理是将多传感器采集到的多源异构的视频信息和激光雷达信息及时汇总，通过激光雷达-摄像头联合标定完成空间上的目标融合，通过证据理论完成时间上的多帧信息融合，实现多源异构信息归一化和目标识别、定位的集成，并得到融合了激光雷达信息后的视频目标捕捉图像。

终端控制中心：所包括显示屏、功能按键组、VHF甚高频对讲机。显示屏接收由数据融合中心传输进来的船型，距离，位置等结果，显示屏接收并显示融合了激光雷达信息的视频捕捉图像。三色指示灯指示系统工作状态，功能按键组用来调节摄像头的方向和回放视频，VHF甚高频对讲机发出语音指令。

本次测试步骤如下：

一、将视频设备和激光雷达固定在船桥顶端，对摄像机和激光雷达进行联合标定。

二、调节激光雷达的检测量程，使湖面的船舶目标运动状态能清晰显示在计算机屏幕上，界面中的光斑区域为检测区内出现的船舶轮廓信息，光斑形状与航道中船舶轮廓和位置能够重合。

三、海康威视MV-CE013-50GM摄像机实时获取摄像头视频信息，采集频率为50Hz，具备自动降噪功能。视频信息经过预处理后传输Mask R-CNN深度神经网络模型进行端到端的目标识别，获取目标船舶的类型和特征，再经由质心计算方法得到目标船舶中心

四、Velodyne16线激光雷达的数据采集频率设置为10Hz，对来往不同形态、尺寸的船舶进行感测，获取目标船舶的位置和外形特征。具体包括：

1)感兴趣区域选取。本系统采取激光雷达在船舶周围5m-70m的数据作为有效输入数据。

2)本系统采用帧间差分法去除点云图的噪声。此方法在OpenCV有较为通用的模型。其原理是分析背景与当前帧之间的差异。激光图像的二值图像也可以表示成一个矩阵，矩阵中的每一个元素叫一个像素点，再运用形态学的腐蚀和膨胀等方法，达到去噪的效果

五、激光雷达数据和视频信息传输到数据融合中心，通过联合标定来完成空间上的融合，定位目标船舶并得到目标船舶到本船的距离，通过证据理论和双线性插值完成时间上的多帧融合，进而达到目标识别与定位的集成显示，得到融合有激光雷达信息的视频目标捕捉信息，并传输给终端控制部分。

六、终端控制部分接收由数据融合中心传输进来的船型，距离等结果，监管者可以在显示屏上看到融合了激光雷达信息的视频捕捉信息。三色指示灯用来显示系统的工作状态，并可以操作功能按键组来调节摄像头的方向和回放视频，VHF甚高频对讲机发出语音指令。

经测试可以在视频中准确标注出目标船舶的位置。

本文中所描述的具体实施例仅仅是对本发明精神作举例说明。本发明所属技术领域的技术人员可以对所描述的具体实施例做各种各样的修改或补充或采用类似的方式替代，但并不会偏离本发明的精神或者超越所附权利要求书所定义的范围。

尽管本文较多地使用了激光雷达、RGB图像等术语，但并不排除使用其它术语的可能性。使用这些术语仅仅是为了更方便地描述和解释本发明的本质；把它们解释成任何一种附加的限制都是与本发明精神相违背的。

Claims (5)

1.一种船用激光雷达与视频联合目标捕捉方法，其特征在于，包括以下步骤：

S1、对激光雷达和摄像头进行联合标定；

S2、基于摄像头采集的RGB图像对目标船舶进行识别与分割；

S3、计算目标船舶的中心(x1,y1)；

S4、去除激光雷达采集到的点云图的噪声；

S5、将点云图与RGB图像进行融合，具体包括单帧空间融合和多帧融合，单帧空间融合为：

S501、基于步骤S2的结果通过联合标定获得目标船舶这个同一对象的激光点云信息；

S502、找到目标船舶中心对应的激光点云像素点空间位置记为M(x2,y2，z2)；

S503、根据激光雷达信息获得目标船舶至本船的距离；

多帧融合为：

S504、计算M点的视频横向估算坐标M’(x’,y’)，计算公式如下：

x’＝(arctan((y2-y1)/(x2-x1))-α)/β×wid/2+(wid/2)

y’＝logb(((y2-y1)×(y2-y1)+(x2-x1)×(x2-x1))^(1/2)/k)

式中，wid为视频分辨率，α为摄像头中心指向位，β为摄像头横向视域范围，摄像头横向摆置，b和k为常数，由现场数值标定获得；

S505、将M’和距离信息融合到视频中，获得目标船舶的位置信息。

2.根据权利要求1所述的一种船用激光雷达与视频联合目标捕捉方法，其特征在于，所述步骤S2中，在对目标船舶进行识别与分割之前，先对深度视觉模型进行训练，深度视觉模型为Mask RCNN模型，模型输出包括三个分支，分别是目标船舶的具体类型、目标船舶的包围框的像素坐标和目标船舶的形状掩码，训练过程如下：

A1、通过通过Unity3D渲染和数据增强，得到给深度视觉模型进行迁移训练的船舶RGB图像，像素为1080*1080，并用VIA标注工具标注；

A2、把船舶RGB图像数据输入到深度卷积神经网络Resnet101中进行特征提取；

A3、采用目标估计网络RPN修正船舶在图像中可能存在的区域Anchor；

A4、模型的ROI Align层给出目标船舶出现在每个区域的概率，然后将其映射为固定位数的特征向量，并分为三个分支，最后对三个分支进行训练；其中两个分支通过全连接层可以得到船舶分类与包围框位置的回归，另外一个分支通过全卷积FCN并采取0.5作为置信度阈值得到从图像中分割出的船舶的形状掩码；

A5、对模型进行保存。

3.根据权利要求1所述的一种船用激光雷达与视频联合目标捕捉方法，其特征在于，步骤S3具体为：

得到船舶位置的二值掩码后，将边框的中心作为船舶的中心。

4.根据权利要求1所述的一种船用激光雷达与视频联合目标捕捉方法，其特征在于，激光雷达的有效扫描区域为5-70米。

5.根据权利要求1-4中任意一项所述的一种船用激光雷达与视频联合目标捕捉方法，其特征在于，步骤S504中，计算完M点的视频横向估算坐标M’(x’,y’)后，通过以下公式计算视觉识别结果和激光点云目标的匹配程度Confidence：

Confidence＝(Bx×By)/(1-(1-Bx)×By-(1-By)×Bx)

Bx＝1-Δx/X_max

By＝1-Δy/Y_max

Bx为x轴上的信度，By为y轴上的信度,Δx为x’和x1的差值的绝对值，Δy为y’和y1的差值的绝对值，X_max为x轴向最大误差，Y_max为y轴向最大误差；当Bx或By小于等于0时，直接认定视觉识别结果和激光点云目标不是同一个目标，不进行后续的融合。

Images