CN113436258B - 基于视觉与激光雷达融合的海上浮码头检测方法及系统 - Google Patents

Abstract

本发明公开了一种基于视觉与激光雷达融合的海上浮码头检测方法及系统，首先通过标定相机内参和相机‑激光雷达外参，建立各坐标系之间的空间转换关系，其次，获取海上图像数据，利用相机内参对图像数据进行去畸变和数据标注预处理，获得预处理图片，然后，将预处理图片输入到基础神经网络中提取体图片特征，经过卷积层的非线性变化后，得到检测结果；最后利用标定的参数融合激光雷达采集的数据，获得检测结果中目标的空间信息。

Description

基于视觉与激光雷达融合的海上浮码头检测方法及系统

技术领域

本发明涉及目标检测技术领域，更具体的说是涉及一种基于视觉与激光雷达融合的海上浮码头检测方法及系统。

背景技术

目前，伴随着各领域内高科技的交叉融合应用，智能设备的研究得到了快速迅猛的发展，在智慧交通领域，自动驾驶伴随着技术的发展应运而生。智能化技术不仅在陆地、空天领域应用广泛，在航海领域的应用也越来越重要和普遍，如船舶的水上智能航行，未知海域的探索等，智能化技术具有巨大的民用、军用价值。码头检测作为船舶智能化中的重要一环，目的是给船舶提供码头信息，为船舶自主靠泊提供信息支撑，其自主性、鲁棒性、精确性还有待提高。

近年来的海上目标检测领域，针对的目标主要是海上的船只、浮标等物体，但对浮码头的检测缺乏研究，特别是仅用图像信息进行检测是无法得到目标的空间位置的，而在自动靠泊过程中，获取码头的空间位置至关重要，因此，基于视觉与其他测距传感器如激光雷达的融合检测算法至关重要。近年来基于深度学习的目标检测方法被提出，通过训练深度神经网络来获得精度较高的目标检测结果，但其在实用时通常因为运算量大，在嵌入式设备上运行时存在实时性问题，难以满足实际需求。

因此，如何满足浮码头的空间信息实时性检测是本领域技术人员亟需解决的问题。

发明内容

有鉴于此，本发明提供了一种基于视觉与激光雷达融合的浮码头检测方法及系统，具有实时性强、精度高、鲁棒性高、泛化能力强等特点，能结合激光雷达获取浮码头空间信息，有效地解决浮码头检测问题，为船舶自动靠泊提供信息支撑。

为了实现上述目的，本发明采用如下技术方案：

一种基于视觉与激光雷达融合的海上浮码头检测方法，包括以下具体步骤：

步骤1：标定相机内参和相机-激光雷达外参，建立激光雷达坐标系与像素坐标系之间的空间关系；

步骤2：获取海上图像数据，根据标定后的相机内参对所述海上图像数据进行图像去畸变和数据标注预处理，获得预处理图片及对应的标注文件；

步骤3：将预处理图片输入改进基础神经网络模型中，改进基础神经网络模型中的基础神经网络提取图片特征，将提取的图片特征经过所述改进基础神经网络模型的YOLO卷积层进行非线性变化后，输出目标检测结果；

步骤4：利用所述步骤1获得的相机内参和相机-激光雷达外参，将激光雷达在激光雷达坐标系下测得的距离和方位信息，分别转换为像素坐标系下的距离和方位信息，结合所述步骤3输出的目标检测结果，获得目标空间信息。

优选的，所述步骤1中获取相机内参是为了图像去畸变处理，将激光雷达在激光雷达坐标系下获得的激光雷达点云投影至像素平面；获取相机-激光雷达外参是为了建立激光雷达坐标系与像素坐标系之间的空间关系，以进行数据融合；

标定相机内参过程：打印80cm×80cmAprilGrid标定板，将AprilGrid标定板正对相机前方，移动标定板到适当距离，使得相机图像能包含整个标定板获取一系列角点，使用Kalibr标定软件获取相机图像上的角点，对角点进行标定，获得相机内参K和镜头畸变参数；

标定相机-激光雷达外参矩阵过程：打印50cm×50cm棋盘格标定板，将棋盘格标定板正对激光雷达与相机，保持不动；在ROS框架下，利用RVIZ可视化激光雷达点云，在激光雷达点云和相机输出的相机图像上选取9对棋盘格角点，选取的激光雷达点云上的点为3D点，相机图像上的点为2D点，对提取出的9对3D-2D点数据，结合相机内参K，通过OpenCV库中的EPNP算法求解相机-激光雷达之间的位姿变换矩阵/>

优选的，建立激光雷达坐标系与像素坐标系之间的空间关系的过程为，在实船进行相机-激光雷达外参标定时，由于相机一般是指向海上的，此时初始位姿为C₀，利用二轴云台实现标定，将相机设置在二轴云台上；

步骤11：将相机偏转至朝向船内的方向，记录此刻相机位姿为C₁；

步骤12：放置棋盘格标定板，保持棋盘格标定板相对于相机静止，进行相机外参标定，获得相机-激光雷达之间的位姿变换矩阵此时由云台传感器获得相机在C₁位姿相对于初始位姿C₀的姿态/>相机启动时默认朝海上，二轴云台通过传感器可获得相机在C₁位姿时相对C₀位姿转动了多少度，并通过网络发送，通过罗德里格斯公式换算可得到/>

步骤13：根据空间关系，由下式获取相机方向朝向海上的初始时刻相对激光雷达的外参

其中，/>为姿态/>的转置。获得的外参/>用于相机和激光雷达之间的数据融合，获取图像目标对应的位置和方位角。

优选的，浮码头外观与普通的小型船只较为相似，为了提高算法的鲁棒性，所述步骤2中所述海上图像数据包括船只、浮码头的图像数据，获取的所述海上图像数据的图像原始尺寸为1920×1080，数量不少于3000张；

所述图像去畸变过程为：

步骤21：将所述海上图像数据的像素点投影到归一化图像平面，预设归一化坐标为[x,y]^T；

步骤22：对归一化图像平面上的像素点进行径向畸变纠正和切向畸变纠正，获得纠正后的像素点坐标(x_correct、y_correct)，公式为：

其中，k₁,k₂,k₃,p₁,p₂均表示镜头畸变参数；

步骤23：将纠正后的像素点通过相机内参K投影到像素平面，得到在所述海上图像数据的图像上的正确位置，获得去畸变后图像；

实际应用中，可以灵活选择纠正后的像素点坐标公式，本发明只选择k₁、k₂这两项，将k₃项在公式中舍去。

优选的，对所述去畸变后图像采用开源目标检测数据标注软件DarkLabel进行标注，获得所述预处理图片和对应的存储图像对应真实检测框数据的所述标注文件以用于网络模型的离线训练，对船只和浮码头两类目标同时进行训练，以提高算法对它们的区分力。标注即为借助标注工具，对图像、文本、语音、视频等数据进行拉框、描点、转写等操作，生成满足AI机器学习的标注文件；对去畸变、标注后的图像直接送入深度神经网络进行有监督训练。

优选的，所述改进基础神经网络模型的网络层包括卷积层、随机舍弃层和残差层；卷积层是卷积神经网络的主要组成部分，且大量使用1x1卷积核来实现深度分离卷积；随机舍弃层防止模型过拟合；残差层跨通道连接低层特征，学习低层特性。若干卷积层堆积成的深度分离卷积和残差层是该网络最重要的两个特点，减少计算量的同时能学习低层特征，提高检测正确率，相对于YOLOV3网络，用更小的卷积核进行特征提取，检测速度得到了提高。

优选的，所述改进基础神经网络模型的训练过程为：

步骤31：所述预处理图片和对应的所述标注文件构成训练数据集，所述训练数据集划分为训练集和验证集；选取不少于3000对分辨率为320*320的所述预处理图片和所述标注文件作为所述训练数据集，选取其中80％作为训练集，20％作为验证集；

步骤32：将所述训练集输入基础神经网络用于训练，验证集用于测试网络输出泛化能力和调整网络超参数，训练和测试平台为Darknet，训练不少于20epoch，待网络损失函数不再下降时，停止训练，获得并保存网络模型，将验证集输入训练后的网络模型，获取检测结果；将验证集输入所述网络模型获得所述检测结果，根据所述检测结果计算mAP评价指标，评估所述网络模型的泛化能力，以调整所述网络模型的网络超参数，训练所用损失函数如下所示；mAP为所有类别的平均精度(Average Precision,AP)求和除以所有类别，即数据集中所有类的平均精度的平均值；

其中，S代表预处理图像的大小；B代表所有预测出来的检测框的集合，由改进基础神经网络模型的解析网络输出获得；C代表所有要检测分类的类别集合；x_i、y_i为预测目标中心位置的横纵坐标；ω_i与h_i分别为检测框的目标框线的宽与高；p_i(c)为当前区域内目标属于不同类别的概率；上标^表示对应预测的真实值；1^obj代表若该处检测框有物体，则等于1，若该处检测框内没有物体则等于0；1^noobj代表若该处检测框没有物体，则等于1，若该处检测框内有物体则等于0；λ_coord，λ_noobj均为权重值，用来调整网络的不同偏好；

步骤33：将调整网络超参数后的网络模型作为新的基础神经网络进行训练，预设重复步骤32的循环次数，重复步骤32获得循环次数组网络模型，根据mAP评价指标选取获得的若干组网络模型中泛化效果最好的网络模型为最优模型，再将训练数据集输入最优模型进行训练，得到最终的改进基础神经网络模型。

优选的，步骤4中，相机的成像过程是真实环境中的三维场景到二维平面的投影变换，与空间物体的相对方位和相机的内部结构有关，而相机的内部结构是由相机内参K决定的，涉及到激光雷达数据，还与外参有关；

所述相机镜头属于针孔成像模型，其坐标转换涉及4个坐标系，分别是像素坐标系(u，v)、图像坐标系(x，y，z)、相机坐标系(x_c，y_c，z_c)和激光雷达坐标系(x_L，y_L，z_L)，转化关系为：

式中是云台传感器获取的相机当前时刻位姿相对于初始位置的姿态变换矩阵。

根据坐标转化关系，将激光雷达获取的空间信息投影至像素平面，找到像素点的对应激光雷达三维点，所述检测结果中每个检测框框出图像目标，每个检测框包含多个像素点，获得每个像素点对应的相机坐标系数值，则获得图像目标的目标空间信息，包括图像目标对应在三维空间中相对于相机的距离和方位角。

一种基于视觉与激光雷达融合的海上浮码头检测系统，包括标题模块、光电视频与激光雷达显示模块、目标识别信息模块和光电控制模块；

标题模块显示标题和时间，标志系统是否正常运行；

显示模块包括一个两页选项卡，分别为光电视频显示和激光雷达显示，一个选项卡为默认页面，为信息叠加后的光电视频显示，叠加信息由处理软件包完成；第二个选项卡为页面二，是激光雷达点云数据显示；

目标识别信息模块为一个浮码头、船只的识别信息的文本显示框，实时提示码头目标检测结果，包括码头距离和方位等，并提供靠泊算法相关接口，若接入本船惯导数据，则可输出目标的经度、纬度信息；

光电控制模块提供手动操作相机云台方位控制、俯仰控制和开关控制的按钮。

优选的，用于检测海上浮码头的系统利用QT和ROS实现。

经由上述的技术方案可知，与现有技术相比，本发明公开提供了一种基于视觉与激光雷达融合的海上浮码头检测方法及系统，首先通过标定相机内参和相机-激光雷达外参，建立各坐标系之间的空间转换关系，其次，获取海上图像数据，利用相机内参对图像数据进行去畸变和数据标注预处理，获得预处理图片，然后，将预处理图片输入到基础神经网络中提取体图片特征，经过卷积层的非线性变化后，得到检测结果；最后利用标定的参数融合激光雷达采集的数据，获得检测结果中目标的空间信息。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。

图1附图为本发明提供的方法流程示意图；

图2附图为本发明提供的改进基础神经网络模型结构示意图；

图3附图为本发明提供的目标空间信息重构流程图；

图4附图为本发明提供的用于检测海上浮码头系统主界面图；

图5附图为本发明提供的激光雷达点云和相机图像角点选取对应示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本发明实施例公开了一种基于视觉与激光雷达融合的海上浮码头检测方法，包括以下具体步骤：

S1：标定相机内参和相机-激光雷达外参，建立激光雷达坐标系与像素坐标系之间的空间关系；

获取相机内参是为了图像去畸变处理，将激光雷达在激光雷达坐标系下获得的激光雷达点云投影至像素平面；获取相机-激光雷达外参是为了建立激光雷达坐标系与像素坐标系之间的空间关系，以进行数据融合；

标定相机内参过程：打印80cm×80cm AprilGrid标定板，正对相机前方，移动标定板到适当距离，使得相机图像能包含整个标定板获取一系列角点，使用Kalibr标定软件获取相机图像上的角点，对角点进行标定，获得相机内参K和镜头畸变参数；

标定相机-激光雷达外参矩阵过程：打印50cm×50cm棋盘格标定板，将棋盘格标定板正对激光雷达与相机，保持不动；在ROS框架下，利用RVIZ可视化激光雷达点云，在激光雷达点云和相机输出的相机图像上用鼠标选取9对棋盘格角点，选取的激光雷达点云上的点为3D点，图像上的点为2D点，对提取出的9对3D-2D点数据，结合相机内参K，通过OpenCV库中的EPNP算法求解相机-激光雷达之间的位姿变换矩阵/>如图5所示，为角点对应点选取示意图，左侧为相机输出相机图像，右侧为激光雷达点云；

在实船进行相机-激光雷达外参标定时，由于相机一般是指向海上的，此时初始位姿为C₀，而在海上无法固定标定板，因此借助二轴云台，将相机设置在二轴云台上，

S11：将相机偏转至朝向船内的方向，记录此刻相机位姿为C₁；

S12：放置棋盘格标定板，保持棋盘格标定板相对于相机静止，进行相机外参标定，获得相机-激光雷达之间的位姿变换矩阵此时由云台传感器获得相机在C₁位姿相对于初始位姿C₀的姿态/>相机启动时默认朝海上，二轴云台通过传感器可获得相机在C₁位姿时相对C₀位姿转动了多少度，并通过网络发送，通过罗德里格斯公式换算可得到/>

S13：根据空间关系，由下式获取相机方向朝向海上的初始时刻相对激光雷达的外参

其中，/>为姿态/>的转置；获得的外参/>用于相机和激光雷达之间的数据融合，获取图像目标对应的位置和方位角；

S2：获取海上图像数据，根据标定后的相机内参对海上图像数据进行图像去畸变和数据标注预处理，获得预处理图片及对应的标注文件；

浮码头外观与普通的小型船只较为相似，为了提高算法的鲁棒性，海上图像数据包括船只、浮码头的图像数据，海上图像数据的图像原始尺寸为1920×1080，数量不少于3000张，(选取其中80％作为训练集，20％作为验证集，网络训练迭代40个epoch以上)；

图像去畸变过程为：

S21：将海上图像数据的像素点投影到归一化图像平面，预设归一化坐标为[x,y]^T；

S22：对归一化图像平面上的像素点进行径向畸变纠正和切向畸变纠正，获得纠正后的像素坐标x_correct、y_correct，公式为：

其中，k₁,k₂,k₃,p₁,p₂均表示镜头畸变参数，已通过相机标定算法获得；

S23：将纠正后的像素点通过相机内参K投影到像素平面，得到在海上图像数据的图像上的正确位置，获得去畸变后图像；

实际应用中，可以灵活选择纠正公式，本发明只选择k₁、k₂这两项，将k₃项在公式中舍去；

对去畸变后图像采用开源目标检测数据标注软件DarkLabel进行标注，获得预处理图片和对应的存储图像对应真实检测框数据的标注文件以用于网络模型的离线训练，对两类目标同时进行训练，以提高算法对它们的区分力；标注即为借助标注工具，对图像、文本、语音、视频等数据进行拉框、描点、转写等操作，生成满足AI机器学习的标注数据集；对去畸变、标注后的图像直接送入深度神经网络进行有监督训练；

S3：将预处理图片输入改进基础神经网络模型中，改进基础神经网络中的基础神经网络提取图片特征，如纹理、大小、颜色等，将提取的图片特征经过改进基础神经网络模型中的YOLO卷积层进行非线性变化后，输出目标检测结果，即检测框在图像中的位置和大小；整体网络模型结构如图2所示；

所设计网络主要用的网络层(layer)类别有：

1)卷积层(conv)，卷积神经网络的主要组成部分，且大量使用1x1卷积核来实现深度分离卷积；

2)随机舍弃层(dropout)，防止模型过拟合；

3)残差层(shortcut)，跨通道连接低层特征，学习低层特性；

若干卷积层堆积成的深度分离卷积和残差层是该网络最重要的两个特点，减少计算量的同时能学习低层特征，提高检测正确率，相对于YOLOV3网络，该网络用更小的卷积核进行特征提取，检测速度得到了提高；

改进基础神经网络模型的训练过程为：将预处理后的图片和相应的标注文件输入网络，用一个损失函数监督网络输出与期望输出之间的差值，进行循环训练，直至损失函数下降到某个小的阈值后，停止训练并保存模型文件；

损失函数监督网络中损失函数的设计原则就是让坐标(x,y,w,h)，置信度(confidence)，分类预测率(classification)这个三个方面达到很好的平衡；考虑4维的定位误差和C维(要检测分类的类别有C类)的分类误差同等重要显然是不合理，并且如果一张图片中一些栅格中没有物体(一幅图中这种栅格很多)，那么就会将这些栅格中的包围框的置信度置为0，相比于较少的有物体的栅格，这些不包含物体的栅格对损失函数梯度更新的贡献会远大于包含物体的栅格对梯度更新的贡献，这会导致网络不稳定甚至发散，设计的损失函数定义如下式所示：

其中，S代表图像的大小；B代表所有预测出来的检测框的集合；C代表所有要检测分类的类别集合；x_i、y_i为预测目标中心位置的横纵坐标；ω_i与h_i分别为目标框线的宽与高；p_i(c)为当前区域内目标属于不同类别的概率；上标^表示对应预测的真实值；1^obj代表若该处检测框有物体，则等于1，反之等于0；1^noobj代表若该处检测框没有物体，则等于1，反之等于0；λ_coord，λ_noobj均为权重值，用来调整网络的不同偏好；

重复上述训练过程，得到得到泛化效果较好的模型后，再将全部数据集送入网络进行训练，得到改进基础神经网络模型；

S4：利用相机内参和相机-激光雷达外参，将激光雷达在激光雷达坐标系下测得的距离和方位信息，分别转换为像素坐标系下的距离和方位信息，结合S3输出的目标检测结果，获得目标空间信息；

相机的成像过程是真实环境中的三维场景到二维平面的投影变换，这一过程不仅与空间物体的相对方位有关还和相机的内部结构有关，而相机的内部结构是由相机内参K决定的，涉及到激光雷达数据，还与外参有关，内参、外参已经由之前的标定算法获得；

相机镜头属于针孔成像模型，其坐标转换涉及4个坐标系，分别是像素坐标系(数字化图像坐标系uv)、图像坐标系(归一化平面xyz)、相机坐标系(x_cy_cz_c)和激光雷达坐标系(x_Ly_Lz_L)，它们之间的转化关系为：

式中是相机云台获取的当前时刻位姿相对于原始位姿的姿态变换矩阵。

根据坐标转化关系，将激光雷达获取的空间信息投影至像素平面，找到像素点的对应激光雷达三维点，由于激光雷达的特性，不能获取场景中所有可见点的对应三维点信息，因此该单目+激光雷达的重构算法不能保证每个像素点都能获得三维信息，即构建的关系为稀疏的；检测结果中每个检测框框出图像目标，每个检测框包含多个像素点，保证了重构的成功，每个像素点若对应上在相机坐标系下某个像素点对应的空间点与相机的距离，即深度信息z_c，也能对应上x_c，则方位角θ＝atan(x_c/z_c)，即获得目标图像对应三维空间中相对于相机的距离和方位角。

一种基于视觉与激光雷达融合的海上浮码头检测系统，包括标题模块、光电视频与激光雷达显示模块、目标识别信息模块和光电控制模块；

标题模块显示标题和时间，标志系统是否正常运行；

显示模块包括一个两页选项卡，分别为光电视频显示和激光雷达显示，一个选项卡为默认页面，为信息叠加后的光电视频显示，叠加信息由处理软件包完成；第二个选项卡为页面二，是激光雷达点云数据显示；

目标识别信息模块为一个浮码头、船只的识别信息的文本显示框，实时提示码头目标检测结果，包括码头距离和方位等，并提供靠泊算法相关接口，若接入本船惯导数据，则可输出目标的经度、纬度信息；

光电控制模块提供手动操作相机云台方位控制、俯仰控制和开关控制的按钮。

本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的装置而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。

对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其它实施例中实现。因此，本发明将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。

Claims (8)

1.一种基于视觉与激光雷达融合的海上浮码头检测方法，其特征在于，包括以下具体步骤：

步骤1：标定相机内参和相机-激光雷达外参，建立激光雷达坐标系与像素坐标系之间的空间关系；

步骤2：获取海上图像数据，根据标定后的相机内参对所述海上图像数据进行图像去畸变和数据标注预处理，获得预处理图片及对应的标注文件；

步骤3：将预处理图片输入改进基础神经网络模型中，所述改进基础神经网络模型的基础神经网络提取图片特征，将提取的图片特征经过所述改进基础神经网络模型的YOLO卷积层进行非线性变化后，输出目标检测结果；

所述改进基础神经网络模型的训练过程为：

步骤31：所述预处理图片和对应的所述标注文件构成训练数据集，所述训练数据集划分为训练集和验证集；

步骤32：将所述训练集输入基础神经网络用于训练，训练和测试平台为Darknet，训练不少于20epoch，待网络损失函数不再下降时，停止训练，获得并保存网络模型；所述验证集用于测试网络输出泛化能力和调整网络超参数，将验证集输入训练后的网络模型，获取检测结果，根据所述验证集计算mAP评价指标评估所述网络模型的泛化能力，以调整所述网络模型的网络超参数，训练所用损失函数如下所示：

其中，S代表预处理图片的大小；B代表所有预测出来的检测框的集合，由解析网络输出获得；C代表所有要检测分类的类别集合；x_i，y_i为预测目标中心位置的横纵坐标；ω_i与h_i分别为检测框的目标框线的宽与高；p_i(c)为当前区域内目标属于不同类别的概率；上标^表示对应预测的真实值；代表若该处检测框有物体，则等于1，反之等于0；/>代表若该处检测框没有物体，则等于1，反之等于0；λ_coord，λ_noobj均为权重值；

步骤33：将调整网络超参数后的网络模型作为新的基础神经网络进行训练，重复步骤32直至预设的循环次数，获得若干网络模型，根据mAP评价指标选取泛化效果最好的所述网络模型为最优模型，再将训练数据集输入最优模型进行训练，得到最终的改进基础神经网络模型；

步骤4：利用所述步骤1获得的相机内参和相机-激光雷达外参，将激光雷达在激光雷达坐标系下测得的距离和方位信息，分别转换为像素坐标系下的距离和方位信息，结合所述步骤3输出的目标检测结果，获得目标空间信息。

2.根据权利要求1所述的基于视觉与激光雷达融合的海上浮码头检测方法，其特征在于，所述步骤1中获取相机内参是为了图像去畸变处理，将激光雷达在激光雷达坐标系下获得的激光雷达点云投影至像素平面；获取相机-激光雷达外参是为了建立激光雷达坐标系与像素坐标系之间的空间关系，以进行数据融合；

标定相机内参过程：打印AprilGrid标定板，将AprilGrid标定板正对相机前方，移动标定板到设定距离，使得相机图像能包含整个标定板，使用Kalibr标定软件获取相机图像上的角点，对角点进行标定，获得相机内参K和镜头畸变参数；

标定相机-激光雷达外参过程：打印棋盘格标定板，将棋盘格标定板正对激光雷达与相机，保持不动；在ROS框架下，利用RVIZ可视化激光雷达点云，在激光雷达点云和相机图像上选取9对棋盘格角点，对提取出的9对角点结合相机内参K，通过OpenCV库中的EPNP算法求解相机-激光雷达之间的位姿变换矩阵

3.根据权利要求2所述的基于视觉与激光雷达融合的海上浮码头检测方法，其特征在于，建立激光雷达坐标系与像素坐标系之间的空间关系的过程为：在实船进行相机-激光雷达外参标定时，相机朝向指向海上，此时初始位姿为C₀，利用二轴云台实现标定，将相机设置在二轴云台上；

步骤11：将相机偏转至朝向船内的方向，记录此刻相机位姿为C₁；

步骤12：放置棋盘格标定板，保持棋盘格标定板相对于相机静止，进行相机外参标定，获得相机-激光雷达之间的位姿变换矩阵此时由云台传感器获得相机在C₁位姿相对于初始位姿C₀的姿态/>

步骤13：根据空间关系，由下式获取相机方向朝向海上的初始时刻相对激光雷达的外参

其中，/>为姿态/>的转置。

4.根据权利要求1所述的基于视觉与激光雷达融合的海上浮码头检测方法，其特征在于，所述步骤2中所述海上图像数据包括船只、浮码头的图像数据，获取的所述海上图像数据的图像原始尺寸为1920×1080，数量不少于3000张；

所述图像去畸变过程为：

步骤21：将所述海上图像数据的像素点投影到归一化图像平面，预设归一化坐标为[x,y]^T；

步骤22：对归一化图像平面上的像素点归一化坐标[x,y]^T进行径向畸变纠正和切向畸变纠正，获得纠正后的像素点坐标[x_correct，y_correct]^T，公式为：

其中，k₁,k₂,k₃,p₁,p₂均表示镜头畸变参数；

步骤23：将纠正后的像素点通过相机内参K投影到像素平面，得到在所述海上图像数据的图像上的正确位置，获得去畸变后图像。

5.根据权利要求4所述的基于视觉与激光雷达融合的海上浮码头检测方法，其特征在于，对所述去畸变后图像采用开源目标检测数据标注软件DarkLabel进行标注，获得所述预处理图片和对应的存储图像对应真实检测框数据的所述标注文件，所述标注文件用于网络模型的离线训练，对船只和浮码头两类目标同时进行训练。

6.根据权利要求1所述的基于视觉与激光雷达融合的海上浮码头检测方法，其特征在于，所述改进基础神经网络模型的网络层包括卷积层、随机舍弃层和残差层。

7.根据权利要求3所述的基于视觉与激光雷达融合的海上浮码头检测方法，其特征在于，步骤4中，相机的成像过程是真实环境中的三维场景到二维平面的投影变换，与空间物体的相对方位和相机的内部结构有关，而相机的内部结构是由相机内参K决定的，涉及到激光雷达数据，还与外参有关；

相机镜头属于针孔成像模型，其坐标转换涉及4个坐标系，分别是像素坐标系(u，v)、图像坐标系(x，y，z)、相机坐标系(x_c，y_c，z_c)和激光雷达坐标系(x_L，y_L，z_L)，转化关系为：

式中是云台传感器获取的相机当前时刻位姿相对于初始位置的姿态变换矩阵；

根据坐标转化关系，将激光雷达获取的空间信息投影至像素平面，找到像素点的对应激光雷达三维点，所述检测结果中每个检测框框出图像目标，每个检测框包含多个像素点，获得每个像素点对应的相机坐标系数值，则获得图像目标的目标空间信息，包括图像目标对应在三维空间中相对于相机的距离和方位角。

8.根据权利要求1-7任一项所述的基于视觉与激光雷达融合的海上浮码头检测方法的检测系统，其特征在于，包括标题模块、光电视频与激光雷达显示模块、目标识别信息模块和光电控制模块；

标题模块显示标题和时间，标志系统是否正常运行；

显示模块包括一个两页选项卡，分别为光电视频显示和激光雷达显示，一个选项卡为默认页面，为信息叠加后的光电视频显示，叠加信息由处理软件包完成；第二个选项卡为页面二，是激光雷达点云数据显示；

目标识别信息模块为一个浮码头、船只的识别信息的文本显示框，实时提示码头目标检测结果，包括码头距离和方位，并提供靠泊算法相关接口，若接入本船惯导数据，则可输出目标的经度、纬度信息；

光电控制模块提供手动操作相机云台方位控制、俯仰控制和开关控制的按钮。