CN115761550A - 一种基于激光雷达点云和相机图像融合的水面目标检测方法 - Google Patents

Abstract

本发明公开了一种基于激光雷达点云和相机图像融合的水面目标检测方法。该方法包括：将相机和激光雷达进行联合标定，得到点云与图像之间坐标转换矩阵，实现信息融合；结合水面成像特性和成像效果，对雷达点云进行水面杂波滤除，对相机图像进行增强预处理；利用3D点云二阶段聚类算法，结合点云属性信息，得到水面目标3D边界框；利用聚类结果投影到相机采集到的图像上的感兴趣区域作为后续检测输入；使用2D显著性目标检测算法，得到每一个感兴趣区域中目标的精确位置。本发明提出一种二阶段点云聚类算法，该方法首先通过欧氏距离聚类粗略定位边界，进而根据点云分布和强度值等属性差异确定水面目标精准边界。

Description

一种基于激光雷达点云和相机图像融合的水面目标检测方法

技术领域

本发明属于水面目标探测识别领域，具体涉及一种基于激光雷达点云和相机图像融合的水面目标检测方法。

背景技术

水面目标探测识别是无人船自主航行的必要功能之一，可用于水上搜救、水面地形测绘、海上安防巡逻等。面对复杂多变的海面环境，无人船必须立即发现目标并做出决策，需要实时、准确、鲁棒的检测算法。因而本发明的重心在于提出一种快速、抗干扰能力强的水面目标检测算法。

光学相机和激光雷达是无人船上常用的感知设备。图像特征丰富，适合于区分水面上的目标类别，但过曝或反射等干扰会影响图像质量，致使降低检测精度。此外，无人船航行过程中需要获取目标的位置，相机也无法获取目标的距离信息。激光雷达发射激光光束，接收被目标反射的回波光束，通过测量光束的运行时间并产生3D点云来估计与目标的距离。这个过程几乎不受光线或天气的影响。激光雷达缺点在于空间中点云稀疏，难于准确描述目标形状。多传感器融合方法可以弥补单一传感器不足，提高检测精度，扩大使用场景。而基于深度学习方法，需要大量数据集，而水面上训练数据集匮乏；而且海面目标种类未知，伴随海浪遮挡，很难在不同海况下收集大量合格数据集。

发明内容

针对上述存在的技术问题，本发明公开了一种基于激光雷达点云和相机图像融合的水面目标检测方法。

本发明目的在于一种基于激光雷达点云和相机图像融合的水面目标检测方法，该方法步骤如下：

S1:将相机和激光雷达进行联合标定，得到点云与图像之间坐标转换矩阵。

S2:结合水面成像特性和成像效果，对雷达点云进行水面杂波滤除，对相机图像进行增强预处理。

S3:利用3D点云二阶段聚类算法，结合点云属性信息，得到水面目标3D边界框。

S4:根据坐标转换关系，将聚类结果投影到相机采集到的图像上，得到感兴趣区域，作为后续检测输入。

S5:使用2D显著性目标检测算法，得到每一个感兴趣区域中目标的具体位置。

进一步，所述步骤S1包括以下步骤：

S11:联合标定实验设计：

激光雷达和相机在无人船感知系统中的坐标系相互独立，为实现多传感器融合，需确定雷达和相机之间的外部转换矩阵参数，转换矩阵可通过获取不同传感器坐标系下标定物中心点和法向量求解。

S12:3D点云中求解参考物坐标和法向量：

利用RANSAC算法对该空间内的点云进行拟合，生成与标定板相匹配的平面。平面的四个顶点一定是极值点，选取平面上极值点以及其邻域形成顶点点云簇，通过连接两个相邻点云簇中的两个点得到拟合平面的边。随后计算拟合边方差，对顶点簇中的每一个点进行迭代，直到选择出误差最小的边，同时得到平面的四个顶点。对于一个已知平面，连接对角线可以得到中心点坐标

也可以得到该平面的法向量

S13:2D图像中求解参考物的坐标和法向量：

计算采集图像中特征点的分布，结合标定板的物理参数和相机内参矩阵，构成PnP(Perspective-n-Point)问题。随后求出每个特征点到相机的距离，可求出点在相机坐标系下的坐标。已知每个角点的坐标，结合标定板的长度和宽度，得到标定板的四个顶点坐标和中心点坐标

垂直于两条对角线且经过中心点的，即为标定板的法向量

S14:根据采集到的数据样本，求解激光雷达和相机坐标转换矩阵：

重复进行多次样本采集，可分别获得雷达和相机坐标系下的中心点集合O_L,O_C，以及法向量集合N_L,N_C，进而求得激光雷达到相机的转换矩阵。从点云到像素的旋转矩阵R_LC可以由以下关系得到：

同样地，可求得平移矩阵T_LC＝mean(O_C-O_L)。

进一步，所述步骤S2包括以下步骤：

S21:去除由水面反射形成的点云：

根据水上目标成像特性，所有待检测目标一定是漂浮在水面上，因此由水面形成的点云是整个场景中高度最低点。选择点云中高度最低10个点来获得平均高度，并将该高度上一定范围内的点作为水平面候选点；

水面形成的点云可以由平面模型ax+by+cz＝d表示。从候选点中随机选取四个点构建平面，得到平面模型参数。随后所有候选点代入平面模型，得到点到平面的距离，将距离小于阈值T_sur的点记为内点，并统计内点数量。如果当前模型的内部点数量大于最优模型内点数量，则更新模型参数，将当前模型作为最优模型。重复上述过程，直到获得具有最大内点个数的模型参数，或达到终止迭代次数。完成水平面拟合后，点云中与水平面距离小于ε的点被认为是水面点，从原始点云中删除；

S22:光学图像增强：

针对水面图像特性，使用基于暗通道先验图像去雾算法实现对光学图像增强。在计算机视觉和计算机图形学中，将存在雾的图像模型如下表示：

I(x)＝J(x)t(x)+A(1-t(x)) (2)

其中，I(x)是获取到的图像，J(x)是恢复好后期望的图像，A是全局大气光强度，t(x)是传播介质折射率。求得全局的大气光强度A和传播介质的折射率t(x)后，可以得到去雾后增强后的图像J(x)。

进一步的，所述步骤S3包括以下步骤：

S31：根据欧式聚类获得3D目标框作为下一阶段聚类输入：

基于欧氏距离点云聚类方法是一种基于密度的算法，具有快速响应性和鲁棒性，此算法通过计算空间中两点之间的距离，并与阈值比较判断它们是否属于同一个目标。算法输入为：聚类半径R、单个聚类中最小点数量η、过滤水面后点云集合P_sur，算法输出为：检测到的水面目标的3D边界框和对应点云，同样也是二阶段检测输入；

(1)对于非水面数据集P_sur中的每一个点按索引编号，聚类过程中不考虑高度信息，将所有点投影至XdY平面上，即忽略Z轴信息，以降低点云稀疏程度。(2)选择一个初始点p_i∈P_sur，构成以该点为中心，聚类半径r的非空邻域

如果邻域为空集，则删除该点的索引，重新进行这一步骤。(3)如果邻域非空，则创建簇C_i，将p_i和邻域内所有点都归为这个簇中。(4)随后对选择邻域中的每一个点，以r为半径进行搜索，得到新的点云集并将索引记到簇C_i中，重复这一过程，直至不再有新点出现。(5)如果簇C_i中点的数量N＜η，认为检测的目标包含的点数量过少，可能为误检，删除簇C_i。N＞η，则成功完成检测，根据索引得到C_i内(x,y,z)坐标上的最大值和最小值，作为检测到目标的3D边界框。(6)最后将C_i内索引从P_sur中删除，重新进行步骤2，直至索引中不包含一个点为止。算法输出为检测到的水面上目标的3D边界框和对应点云，同样也是二阶段检测输入；

S32：根据二阶段聚类，对上一个阶段结果进行细化：

在第二阶段聚类中，首先将3D点云转为哈希表，类似于2D图像中像素。哈希表中行数为row，列数为col的元素可以表示为ind＝row*W+col，其中W为激光雷达扫描线的数量。此外，采用了自适应聚类半径，如图4所示，p_i为当前中心点，p_i+1作为临近点随机分布在空间中，他们与原点的连线夹角Δθ是激光雷达的水平分辨率。p_i+1的坐标是不确定的，我们通过设置一个参数λ，得到自适应的聚类半径R：

点云转为哈希表，开始第二阶段聚类，以表中的一个元素为中心，进行邻域搜索，直至遍历全部点。本发明使用了一种考虑点云分布的聚类半径，表达式如下：

其中(Δx,Δy,Δz)为两点坐标差，a,b,c为调节参数。对于表中水平维度上的相邻点，由于角度分辨率关系，在X轴上总是有一个固定偏移量。此时减少参数a，增加参数b和c，忽略X轴上偏移影响，认为间断主要是其他轴变化造成的。对于垂直维度相邻点，是沿Z轴以固定角度分辨率分布，应减少c，增加a和b。对于在水平和垂直维度上都有偏差的相邻点，分别计算它们在单个维度上的阈值，然后计算向量的点积作为最终阈值。用两点之间的相互距离与阈值进行比较，如果小于阈值，则认为点属于同一对象。在聚类过程中，会有不属于任何类别的点，或者属于多个类别的点。对于这些点，将其强度与每个簇的平均强度值进行比较，并分类到强度值最接近的簇。最终获取每一个点云簇的最小外界框，作为输出。

进一步的，所述步骤S4包括以下步骤：

S41：根据转换矩阵，将点云检测结果投影到图像

通过联合标定，求得平移向量和旋转矩阵，可以实现将雷达坐标下的点(x_L,y_L,z_L)转换到相机坐标系下的点(x_C,y_C,z_C)，存在的变换关系如下：

其中T_LC为传感器间的平移向量，而旋转矩阵R_LC可由欧拉角θ_LC＝(α,β,γ)表示，其中三个参数分别为俯仰角、偏航角和翻滚角，可以表示为：

对于检测到的3D边框，将其对角线上的点进行公式(8)的坐标转换，随后结合相机的内参矩阵，根据z_C[u,v,1]^T＝K[x_C,y_C,z_C]^T，可以得到图像中目标对角的像素坐标。其中K为已知的相机内参矩阵。为保证感兴趣区域包含目标完整性，保持投影区域中心点不变，面积等比例扩大20％。

进一步的，所述步骤S5包括以下步骤：

S51:利用显著性目标检测算法分割候选区域中目标：

本发明使用了全局对比度显著性检测算法。图像中水面等场景大部分区域为低频域，少部分为夹杂由噪声和倒影产生的高频域；目标相对于背景是高频部分，过滤掉高频噪声和低频背景，找到连通面积最大的显著性区域，即为待检测物体。单个带通滤波器可以表示为：

＝G(x,y,σ₁)-G(x,y,σ₂)

其中，σ₁,σ₂是标准差，并且σ₁＞σ₂，带通滤波器其带通宽度由σ₁:σ₂决定，令σ₁＝ρσ,σ₂＝σ。图像每进行一次高斯带通滤波，就完成一次对图像中高频噪声和低频背景的过滤。完整的带通滤波器可以表示为：

上式中进行了N次不同尺度上高斯差分求和，实现对图像中不同频率噪声和背景过滤。随后将原图和高斯滤波后图像进行Lab空间变化，计算与高斯滤波后图像欧氏距离，具体表达式为：

S(x,y)＝PI_ave-I_Gau(x,y)P (12)

其中I_ave表示图像在Lab空间的像素算术平均值，I_Gau(x,y)是在Lab空间中高斯滤波后结果，S(x,y)是显著性分数图。完成对图像上最大显著性目标提取后，进行二值化操作，大于阈值区域即为水面目标。

本发明所具有的有益效果为：

(1)本发明所提出的一种基于激光雷达点云和相机图像融合的水面目标检测方法，由于相机无法获取深度信息，激光雷达分辨率低，本发明结合两种传感器数据，弥补了目标检测中单一传感器不足，拓宽了无人船使用场景。通过同步时间戳和解决外部标定，建立点云到像素对应关系，实现了激光雷达与相机融合。

(2)本发明将三维聚类算法与二维显著性目标检测相结合。由于水面上物体的种类是不可预测的，这限制了基于深度学习的方法的实现。而本发明提出了由点云聚类算法获得目标3D边界框，通过转换矩阵投影到图像上得到候选区域，并以这些候选区域为输入，进行显著性检测，得到最终目标精确位置。

(3)本发明提出了一种新的两阶段聚类方法，利用点云分布和属性信息提高检测性能。本发明借鉴基于深度图的点云聚类概念，设计了一种两阶段点云目标检测方法。该方法首先通过欧氏距离聚类粗略定位边界，然后根据点云的分布和强度值等属性的差异确定准确的边界。

附图说明

图1为本发明的流程框图；

图2为本发明的标定板在不同传感器中的图像；

图3为本发明的过滤水面点云前后的对比图；

图4为本发明的自适应阈值计算方式；

图5为本发明对水面不同目标的检测效果图；

图6为本发明在光线不足时对水面不同目标的检测效果图；

图7为本发明对距离极为接近水面目标的检测效果图；

图8为本发明提出的二阶段聚类方法与其他聚类算法的PR曲线对比；

图9为本发明提出的二阶段聚类方法与其他聚类算法的ROC曲线对比；

图10为本发明提出的检测方法面对水面具有挑战的环境时的检测精度；

图11为本发明提出的检测方法面对不同水面常见目标的检测精度。

具体实施方式

下面结合附图对本发明实施方式作详细说明。

参考图1，为本发明提供的一种基于激光雷达点云和相机图像融合的水面目标检测方法流程图，包括以下步骤：

S1:将相机和激光雷达进行联合标定，得到点云与图像之间的坐标转换矩阵。

S2:结合水面成像特性和成像效果，对雷达点云进行水面杂波滤除，对相机图像进行增强预处理。

S3:利用3D点云二阶段聚类算法，结合点云属性信息，得到水面目标3D边界框。

S4:根据坐标转换关系，将聚类结果投影到相机采集到的图像上，得到感兴趣区域，作为后续检测输入。

S5:使用2D显著性目标检测算法，得到每一个感兴趣区域中目标具体位置。

进一步，所述步骤S1包括以下步骤：

S11:联合标定实验设计：

激光雷达和相机在无人船感知系统中的坐标系相互独立，为实现多传感器融合，需确定雷达和相机之间的外部转换矩阵参数，转换矩阵可通过获取不同传感器坐标系下标定物中心点和法向量求解。由于特征明显，便于识别，本发明中使用棋盘格标定板作为参考物。

S12:3D点云中求解参考物的坐标和法向量：

进行联合标定，需要尽可能准确地拟合出空间中的标定板平面，因此手动选择了一个三维空间，使标定板是这个范围内唯一目标，排除其他干扰，标定板在空间中的点云图像如图2a所示。利用RANSAC算法对该空间内的点云进行拟合，生成与标定板相匹配的平面。平面的四个顶点一定是极值点，选取平面上极值点以及其邻域形成顶点点云簇，通过连接两个相邻点云簇中的两个点得到拟合平面的边。随后计算拟合边方差，对顶点簇中的每一个点进行迭代，直到选择出误差最小的边，同时得到平面的四个顶点。对于一个已知平面，连接对角线可以得到中心点坐标

也可以得到该平面的法向量

S13:2D图像中求解参考物的坐标和法向量：

标定板的图像如图2a所示，在求得标定板坐标之前，将其长度和宽度、标定板内棋盘格的角点数量、棋盘格角点间距以及相机内参矩阵等参数作为输入。使用OpenCV自带函数findChessboardCorners确定获取图像样本中棋盘格角点分布，结合棋盘格角点间距以及相机内参矩阵，构成一个PnP(Perspective-n-Point)问题。利用使用OpenCV提供的solvePnP函数，可求出每个棋盘格角点的深度信息，即求出点在相机坐标系下的坐标。已知角点坐标，结合标定板长度和宽度，得到四个顶点坐标和中心点坐标

垂直于两条对角线且经过中心点的，即为标定板的法向量

S14:根据采集到的数据样本，求解激光雷达和相机坐标转换矩阵：

重复进行多次样本采集，可分别获得雷达和相机坐标系下的中心点集合O_L,O_C，以及法向量集合N_L,N_C，进而求得激光雷达到相机的转换矩阵。从点云到像素的旋转矩阵R_LC可以由以下关系得到：

同样地，可求得平移矩阵T_LC＝mean(O_C-O_L)。

进一步，所述步骤S2包括以下步骤：

S21:去除由水面反射形成的点云：

激光雷达发射激光，接收物体回波生成点云。在距无人船较远的水面上，反射强度较小；而在较近的水面，水面回波强度增大，形成的点云可能会造成误检。根据水上目标成像特性，所有待检测目标一定漂浮在水面上，因此由水面形成的点云是整个场景中高度最低点。选择点云中高度最低10个点来获得平均高度，并将该高度上一定范围内的点作为水平面候选点。

水面形成的点云可以由平面模型ax+by+cz＝d表示。从候选点中随机选取四个点构建平面，得到平面模型参数。随后所有候选点代入平面模型，得到点到平面的距离，将距离小于阈值T_sur的点记为内点，并统计内点数量。如果当前模型的内点数量大于最优模型内点数量，则更新模型参数，将当前模型作为最优模型。重复上述过程，直到获得具有最大内点个数的模型参数，或达到终止迭代次数。完成水平面拟合后，点云中与水平面距离小于ε的点被认为是水面点，从原始点云中删除。在本发明中，与拟合平面的距离阈值T_sur＝0.05，ε＝0.05。图3(a)原始水面点云图像，图3(b)为过滤水面后的水面目标点云图像，经对比可发现，由水面反射形成的点云基本被过滤，而目标形成的点云基本没有被破坏。

S22:光学图像增强：

由于水面环境复杂多变，例如雾，过曝和水面反射等不可控的环境因素均会降低图像质量，而模糊目标图像也会降低检测精度。针对水面图像特性，本发明中使用基于暗通道先验图像去雾算法实现对光学图像增强。在计算机视觉和计算机图形学中，将存在雾的图像模型如下表示：

I(x)＝J(x)t(x)+A(1-t(x)) (2)

其中，I(x)是获取到的图像，J(x)是期望图像，A是全局大气光强度，t(x)是传播介质的折射率。此处引入暗通道概念，用于后续值计算，暗通道的定义为对原图像RGB三个通道上进行两次滤波操作，滤波器模板Ω(x)的大小为n*n，本发明中，n＝15。暗通道的具体计算方法如下：

求得全局的大气光强度A和传播介质的折射率t(x)后，可以得到去雾后增强后的图像J(x)。

1.求大气光强度A：在I(x)的暗通道图中选取最亮的0.1％的像素点，即选取最模糊部分，再将这些点对应到原图像I(x)的相同位置像素点，在原图像I(x)的这些点中分别选取3个通道中最大的值作为大气光值A。

2.求折射率t(x)：同时对公式(2)进行暗通道变换后，有：

根据当图像越接近期望图像时，暗通道值越接近于0，即

带入后可以求解得到：

w是常用调整参数，在本发明中，w＝0.98。最终求出去雾增强后图像

其中t₀是为防止介质的折射率t(x)过小，产生过曝而设置的调整参数，在本发明中，t₀＝0.1。

进一步的，所述步骤S3包括以下步骤：

S31：根据欧式聚类获得3D目标框作为下一阶段聚类输入：

经过预处理后，利用激光雷达点云数据确定水面障碍物位置，基于聚类的方法可以很好地满足实时检测要求。基于欧氏距离点云聚类方法是一种基于密度的算法，具有快速响应性和鲁棒性。

算法的输入为聚类半径R、单个聚类中的最小点数量η、过滤水面后的点云集合P_sur，算法的输出为检测到的水面目标3D边界框。本发明中，聚类算法的主要流程如下：

(1)对于非水面数据集P_sur中的每一个点按索引编号，聚类过程中不考虑高度信息，将所有点投影至XdY平面上，即忽略Z轴信息，以降低点云稀疏程度。

(2)选择一个初始点p_i∈P_sur，构成以该点为中心，聚类半径r的非空邻域

如果邻域为空集，则删除该点的索引，重新进行这一步骤。

(3)如果邻域非空，则创建簇C_i，将p_i和邻域内所有点都归为这个簇中。

(4)随后对选择邻域中的每一个点，以r为半径进行搜索，得到新的点云集并将索引记到簇C_i中，重复这一过程，直至不再有新点出现。

(5)如果簇C_i中点的数量N＜η，认为检测的目标包含的点数量过少，可能为误检，删除簇C_i。N＞η，则成功完成检测，根据索引得到C_i内(x,y,z)坐标上的最大值和最小值，作为检测到目标的3D边界框。

(6)最后将C_i内索引从P_sur中删除，重新进行步骤2，直至索引中不包含一个点为止。算法输出为检测到的水面上目标的3D边界框和对应点云，同样也是二阶段检测输入。

S32：根据二阶段聚类，对上一个阶段的结果进行细化：

在第二阶段聚类中，首先将3D点云转为哈希表，类似于2D图像中像素。哈希表中行数为row，列数为col的元素可以表示为ind＝row*W+col，其中W为激光雷达扫描线的数量。此外，采用了自适应聚类半径，如图4所示，p_i为当前中心点，p_i+1作为临近点随机分布在空间中，他们与原点的连线夹角Δθ是激光雷达的水平分辨率。p_i+1的坐标是不确定的，我们通过设置一个参数λ，得到自适应的聚类半径R：

点云转为哈希表，开始第二阶段聚类，以表中的一个元素为中心，进行邻域搜索，直至遍历全部点。本发明使用了一种考虑点云分布的聚类半径，表达式如下：

其中(Δx,Δy,Δz)为两点坐标差，a,b,c为调节参数。对于表中水平维度上的相邻点，由于角度分辨率的关系，在X轴上总是有一个固定的偏移量。此时减少参数a，增加参数b和c，忽略X轴上偏移的影响，认为间断主要是其他轴的变化造成的。对于垂直维度相邻点，是沿Z轴以固定角度分辨率分布，应减少c，增加a和b。对于在水平和垂直维度上都有偏差的相邻点，分别计算它们在单个维度上的阈值，然后计算向量的点积作为最终阈值。用两点之间的相互距离与阈值进行比较，如果小于阈值，则认为点属于同一对象。在聚类过程中，会有不属于任何类别的点，或者属于多个类别的点。对于这些点，将其强度与每个簇的平均强度值进行比较，并分类到强度值最接近的簇。最终获取每一个点云簇的最小外界框，作为输出。本发明中，所采用的参数如下：

进一步的，所述步骤S4包括以下步骤：

S41：根据转换矩阵，将点云检测结果投影到图像

通过联合标定，求得平移向量和旋转矩阵，可以实现将雷达坐标下的点(x_L,y_L,z_L)转换到相机坐标系下的点(x_C,y_C,z_C)，存在的变换关系如下：

其中T_LC为传感器间的平移向量，而旋转矩阵R_LC可由欧拉角θ_LC＝(α,β,γ)表示，其中三个参数分别为俯仰角、偏航角和翻滚角，可以表示为：

对于检测到的3D边框，将其对角线上的点进行公式(8)的坐标转换，随后结合相机的内参矩阵，根据z_C[u,v,1]^T＝K[x_C,y_C,z_C]^T，可以得到图像中目标对角的像素坐标。其中K为已知相机内参矩阵。考虑存在误差，为防止投影得到的感兴趣区域包含目标不完整，影响后续检测。保持投影区域中心点不变，面积等比例扩大20％。

进一步的，所述步骤S5包括以下步骤：

S51:利用显著性目标检测算法分割候选区域中目标：

图像场景中具有独特性的区域在视觉角度更能引起注意，基于此原理，显著性检测算法引入前景与背景的对比，通过显著性值不同加以区别图像中的前景与背景。在得到候选区域后，目标与背景的颜色对比尤为突出，本发明中使用了全局对比度的显著性检测算法。图像中水面等场景大部分区域为低频部分，少部分为夹杂由噪声和倒影产生的高频部分；目标相对于背景是高频部分，通过过滤掉高频噪声和低频背景，找到连通面积最大的显著性区域，即为待检测的物体。单个带通滤波器可以表示为：

其中，σ₁,σ₂是标准差，并且σ₁＞σ₂，带通滤波器其带通宽度由σ₁:σ₂决定，令σ₁＝ρσ,σ₂＝σ。图像每进行一次高斯带通滤波，就完成一次对图像中高频噪声和低频背景的过滤。完整带通滤波器可以表示为：

上式中进行了N次不同尺度上高斯差分求和，实现对图像中不同频率的噪声和背景的过滤。随后将原图和高斯滤波后的图像进行Lab空间的变化，计算与高斯滤波后图像的欧氏距离，具体表达式为：

S(x,y)＝PI_ave-I_Gau(x,y)P (12)

其中I_ave表示图像在Lab空间的像素算术平均值，I_Gau(x,y)是在Lab空间中高斯滤波后的结果，S(x,y)是最终得到的显著性分数图。完成对图像上最大的显著性目标的提取后，进行二值化操作，大于阈值的区域即为水面目标，本发明中，使用OpenCV中最大类间方差法，自动将图像分为前景和背景，通过计算像素方差自动生成一个合适的灰度阈值。根据得到的最大连通区域，得到精确的目标边框位置，完成对水面目标的检测。

以上对本发明的优选实施例及原理进行了详细说明，对本领域的普通技术人员而言，依据本发明提供的思想，在具体实施方式上会有改变之处，而这些改变也应视为本发明的保护范围。

Claims (6)

1.一种基于激光雷达点云和相机图像融合的水面目标检测方法，其特征在于，包括以下步骤：

S1:将相机和激光雷达进行联合标定，得到点云与图像之间坐标转换矩阵；

S2:结合水面成像特性和成像效果，对雷达点云进行杂波滤除，对相机图像进行增强预处理；

S3:利用3D点云二阶段聚类算法，结合点云属性信息，得到水面目标3D边界框；

S4:根据坐标转换关系，将聚类结果投影到相机采集到的图像上，得到感兴趣区域，作为后续检测输入；

S5:使用2D显著性目标检测算法，得到每一个感兴趣区域中目标的具体位置。

2.根据权利要求1所述的一种基于激光雷达点云和相机图像融合水面目标检测方法，其特征在于，所述步骤S1包括以下步骤：

S11：联合标定实验设计：

激光雷达和相机在无人船感知系统中的坐标系相互独立，为实现多传感器融合，需确定雷达和相机之间的外部转换矩阵参数，转换矩阵可通过获取不同传感器坐标系下标定物中心点和法向量求解；

S12:3D点云中求解参考物的坐标和法向量：

通过基于点云的平面拟合算法，得到空间中标定板平面，对于一个已知平面，连接对角线可得中心点坐标

同样可得平面法向量

S13:2D图像中求解参考物坐标和法向量：

计算采集图像中特征点分布，结合标定板物理参数和相机内参矩阵，构成PnP问题；求出每个特征点到相机距离，即可得到点在相机坐标系下坐标；已知每个角点坐标，结合标定板长度和宽度，得到标定板四个顶点坐标和中心点坐标

垂直于两条对角线且经过中心点的，即为标定板的法向量

S14:根据采集到的数据样本，求解激光雷达和相机坐标转换矩阵：

重复进行多次样本采集，可分别获得雷达和相机坐标系下的中心点集合O_L,O_C，以及法向量集合N_L,N_C，进而求得激光雷达到相机的转换矩阵。

3.根据权利要求1所述的一种基于激光雷达点云和相机图像融合水面目标检测方法，其特征在于，所述步骤S2包括以下步骤：

S21:去除由水面反射形成的点云：

水面形成的点云可以由平面模型ax+by+cz＝d表示；从候选点中随机选取四个点构建平面，得到平面模型参数；随后所有候选点代入平面模型，得到点到平面的距离，将距离小于阈值T_sur的点记为内点，并统计内点数量；如果当前模型内部点数量大于最优模型内点数量，则更新模型参数，将当前模型作为最优模型；重复上述过程，直到获得具有最大内点个数的模型参数，或达到终止迭代次数；完成水平面拟合后，将水面点从原始点云中删除；

S22:光学图像增强：

针对水面图像特性，使用基于暗通道先验图像去雾算法实现对光学图像增强，在计算机视觉和计算机图形学中，将存在雾的图像模型如下表示：

I(x)＝J(x)t(x)+A(1-t(x)) (2)

其中，I(x)是获取到的图像，J(x)是恢复好后期望的图像，A是全局的大气光强度，t(x)是传播介质的折射率；求得全局的大气光强度A和传播介质的折射率t(x)后，可以得到去雾后增强后的图像J(x)。

4.根据权利要求1所述的一种基于激光雷达点云和相机图像融合的水面目标检测方法，其特征在于，所述步骤S3包括以下步骤：

S31：根据欧式聚类获得3D目标框，粗略定位，将检测结果作为下一阶段聚类的输入：

基于欧氏距离点云聚类方法是一种基于密度的算法，具有快速响应性和鲁棒性，此算法通过计算空间中两点间距离，并与阈值比较判断它们是否属于同一个目标；

算法输入为：聚类半径R、单个聚类中最小点数量η、过滤水面后点云集合P_sur，算法输出为：检测到的水面目标的3D边界框和对应点云，同样也是二阶段检测输入；

S32：根据二阶段聚类，对上一个阶段的结果进行细化：

在第二阶段聚类中，首先将3D点云转为哈希表，此外，采用了自适应聚类半径，以表中的一个元素为中心，进行邻域搜索，直至遍历全部点，本发明使用了一种考虑点云分布聚类半径，在聚类过程中，会有不属于任何类别的点，或者属于多个类别的点，对于这些点，将其强度与每个簇的平均强度值进行比较，并分类到强度值最接近的簇，最终获取每一个点云簇的最小外界框，作为输出。

5.根据权利要求1所述的一种基于激光雷达点云和相机图像融合的水面目标检测方法，其特征在于，所述步骤S4包括以下步骤：

S41：根据转换矩阵，将点云检测结果投影到图像：

通过联合标定，求得平移向量和旋转矩阵，实现将雷达坐标下点(x_L,y_L,z_L)转换到相机坐标系下点(x_C,y_C,z_C)，变换关系如下：

其中T_LC为传感器间平移向量，而旋转矩阵R_LC可由欧拉角θ_LC＝(α,β,γ)表示，对于检测到的3D边框，将其对角线上的点进行公式(4)的坐标转换，并结合相机内参矩阵K，得到图像中目标对角像素坐标。

6.根据权利要求1所述的一种基于激光雷达点云和相机图像融合水面目标检测方法，其特征在于，所述步骤S5包括以下步骤：

S51:利用显著性目标检测算法分割候选区域中目标：

确定目标候选区域后，目标与背景颜色对比尤为突出，本发明中使用了全局对比显著性检测算法，图像中水面等场景大部分区域为低频部分，少部分为夹杂由噪声和倒影产生的高频部分；目标相对于背景是高频部分，通过过滤掉高频噪声和低频背景，找到连通面积最大的显著性区域，即为待检测物体，随后将原图和高斯滤波后的图像进行Lab空间变化，计算与高斯滤波后图像的欧氏距离，具体表达式为：

S(x,y)＝PI_ave-I_Gau(x,y)P (5)

其中I_ave表示图像在Lab空间的像素算术平均值，I_Gau(x,y)是在Lab空间中高斯波后的结果，S(x,y)是最终得到的显著性分数图，完成对图像上最大的显著性目标的提取后，进行二值化操作，大于阈值的区域即为水面目标。

Images