CN109283538A - 一种基于视觉和激光传感器数据融合的海上目标大小检测方法 - Google Patents

Abstract

本发明涉及一种基于视觉和激光传感器数据融合的海上目标大小检测方法。首先对激光雷达和摄像头进行联合标定。随后采用视觉SSD检测算法对海上目标进行识别训练，使摄像机能够精确地框选出海上的障碍物。将激光检测得到的激光点云数据投影到二维的栅格地图中，并对栅格地图中的点云进行聚类处理得出海面上由激光检测得到的障碍物总个数n。对于距离小于80米的障碍物，以激光雷达检测到的障碍物信息为准；对于距离大于80米的障碍物，采用激光和视觉融合检测的信息作为检测的最终结果。本发明方法能够得到二百米范围内的障碍物大致尺寸信息以及和无人艇的距离，很好地弥补了单一传感器的缺陷，提高了目标检测的稳定性和精确度。

Description

一种基于视觉和激光传感器数据融合的海上目标大小检测 方法

技术领域

本发明涉及一种基于视觉和激光传感器数据融合的海上目标大小检测方法，属于无人艇应用技术领域。

背景技术

世界各国对水面无人艇的应用研究也越来越广泛，对水面无人艇智能化水平的要求也在不断提高，要求水面无人艇在运动过程中具有与周围环境交互的能力，即要求水面无人艇具有从周围环境中收集有用信息，构造符号化的环境模型，并利用模型来规划执行上层任务的能力，其中海上环境感知就是核心问题之一。

海上环境感知是指通过现有的一些传感器，如摄像头、激光雷达、海事雷达等，来获得无人艇周围几百米甚至几公里之内的水面情况，得出水面障碍物的种类、大小及速度等信息，从而为无人艇的避障、追踪、拦截等作业提供保障。可以说，环境感知模块就如同无人艇的眼睛，使无人艇得以正常航行。

现有的环境感知的传感器单独使用时，都存在着一些不足，难以满足无人艇航行的实际要求。对于单目视觉，它能通过摄像头很好的识别海上的各种障碍物，但是却无法准确地得出具体某一障碍物与无人艇之间的距离以及障碍物本身的大小；对于雷达，它能得出海上目标的距离以及速度信息，但得不到障碍物的具体大小，也无法从障碍物的形状上判别出类别；而对于激光雷达，虽然能得出周围障碍物的大致形状及大小，也能知道目标与船只的距离，可是由于激光传感器本身的探测距离限制，当检测距离大于一百五十米时，它的点云变得很稀疏，无法准确地得出我们想要的障碍物信息。因此我们需要对这些感知传感器进行取长补短，采用融合算法来得出更加可靠的障碍物信息。

发明内容

针对现有技术存在的缺陷，本发明的目的是提出一种基于视觉和激光传感器数据融合的海上目标大小检测方法。对于近距离(80米之内)，采用激光雷达检测得到的障碍物大小和距离信息作为主要检测结果，以视觉检测结果作为验证信息，得出海上障碍物的尺寸和距离值。对于远距离(80-200米)，采用激光点云平均化处理得出目标的大致距离值，结合视觉检测出的目标矩形框图信息，计算得出所框障碍物的尺寸大小。

本发明解决其技术问题所采用的技术方案是：

一种基于视觉和激光传感器数据融合的海上目标大小检测方法，操作步骤如下：

1)对置于无人艇上的激光雷达和摄像头进行联合标定；

2)通过SSD算法对海上障碍物进行视觉目标识别训练，生成一个海上障碍物识别的训练集；

3)开启激光雷达和摄像头，对无人艇周围环境进行360°扫描检测；激光雷达得到360°三维激光点云数据信息，将激光点云投影到二维栅格地图中，对栅格里面的点云进行圆形障碍物聚类；摄像头得到360°障碍物视觉信息，并对障碍物进行识别和框选；

4)根据激光雷达检测得到的障碍物距离值，将激光聚类得到的障碍物分成两类；对于距离值小于80米的障碍物，以激光雷达检测的障碍物信息为准，摄像头检测的障碍物信息进行校验；对于距离值大于80米的障碍物，以激光雷达检测的激光点云的距离平均值，得出障碍物大致的距离信息，并且结合摄像头所框选出的矩形框图得出障碍物的大致尺寸信息。

所述步骤1)中对摄像头进行内参和外参的标定；所述外参标定指通过旋转矩阵R和平移矩阵T，使摄像机的坐标系与世界坐标系相统一；内参标定指根据摄像机的焦距f、投影平面中心在像素坐标系下的坐标x和y、像素坐标系里x和y方向每毫米的像素数量S_x和S_y这五个参数，实现世界坐标系到像素坐标的之间的转换，具体公式如下：

其中，S_x表示Xpix方向上单位毫米的像素数，单位是pix/mm；S_y表示Ypix方向上单位毫米的像素数，单位是pix/mm；x₀、y₀表示投影平面中心在{pixel}中的坐标。

所述步骤3)中，将三维激光点云投影到8m*8m的二维栅格地图中，采用8*8连通域检测算法，对栅格中的激光点云进行圆形障碍物聚类处理，将栅格里面点云数大于5的栅格置 1，作为障碍物栅格，点云数少于5的栅格置0，作为非障碍物栅格，得到的聚类数目n即为此时海面中障碍物的总个数。

所述步骤4)中，当无人艇与障碍物距离大于80米时，则需要采用视觉和激光雷达融合后的信息作为障碍物信息，具体为：

将聚类成的同一块的点云从左到右按角度分成10块等角度的扇形区域，计算每一个区域的点云距离平均值l₁～l₁₀，计算矩形框左下角点到无人艇的距离M和矩形框右下角到无人艇的距离N分别为：

M＝0.1*(1*l₁+0.9*l₂+0.8*l₃+0.7*l₄+0.6*l₅+0.5*l₆+0.4*l₇+0.3*l₈+0.2*l₉+0.1*l₁₀)

N＝0.1*(0.1*l₁+0.2*l₂+0.3*l₃+0.4*l₄+0.5*l₅+0.6*l₆+0.7*l₇+0.8*l₈+0.9*l₉+1*l₁₀)

计算矩形框边长P的长度：

其中，a、b分别为距离M、距离N与竖直方向的夹角，最终得出矩形障碍物的尺寸信息、角度以及与无人艇的距离大小。

与现有技术相比，本发明具有如下的优点：

本发明方法融合了视觉和激光雷达数据，既能克服单目视觉无法得出障碍物距离的缺陷，又能很好的解决百米之外激光点云稀疏而导致的目标大小检测不准确问题，能够得到二百米范围内的障碍物大致尺寸信息以及和无人艇的距离，很好地弥补了单一传感器的缺陷，提高了目标检测的稳定性和精确度。

附图说明

图1为本发明方法实现的流程图。

图2为本发明中激光雷达检测得到的障碍物聚类信息。

图3为本发明中视觉检测得到的障碍物框图信息。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚，下面结合附图对本发明实施方式作进一步的详细描述。显然，所描述的实施例仅是本发明的一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有创造性劳动前提下所获得的所有其他实施例，都属于本发明保护范围。

如图1所示，一种基于视觉和激光传感器数据融合的海上目标大小检测方法，操作步骤如下：

1)对置于无人艇上的激光雷达和摄像头进行联合标定；

2)通过SSD算法对海上障碍物进行视觉目标识别训练，生成一个海上障碍物识别的训练集；

3)开启激光雷达和摄像头，对无人艇周围环境进行360°扫描检测；激光雷达得到360°三维激光点云数据信息，将激光点云投影到二维栅格地图中，对栅格里面的点云进行圆形障碍物聚类；摄像头得到360°障碍物视觉信息，并对障碍物进行识别和框选；

4)根据激光雷达检测得到的障碍物距离值，将激光聚类得到的障碍物分成两类；对于距离值小于80米的障碍物，以激光雷达检测的障碍物信息为准，摄像头检测的障碍物信息进行校验；对于距离值大于80米的障碍物，以激光雷达检测的激光点云的距离平均值，得出障碍物大致的距离信息，并且结合摄像头所框选出的矩形框图得出障碍物的大致尺寸信息。

所述步骤1)中对摄像头进行内参和外参的标定；所述外参标定指通过旋转矩阵R和平移矩阵T，使摄像机的坐标系与世界坐标系相统一，其中R和T内部一共有6个独立的参数，叫做外部参数，外部参数是描述世界坐标系和摄相头坐标系的参数，所以只要世界坐标系和摄相头坐标系的相对位姿发生了变化，R和T就会改变；内参标定指根据摄像机的焦距f、投影平面中心在像素坐标系下的坐标x和y、像素坐标系里x和y方向每毫米的像素数量S_x和 S_y这五个参数，实现世界坐标系到像素坐标的之间的转换，具体公式如下：

其中，S_x表示Xpix方向上单位毫米的像素数，单位是pix/mm；S_y表示Ypix方向上单位毫米的像素数，单位是pix/mm；x₀、y₀表示投影平面中心在{pixel}中的坐标，其中f_x、f_y、x₀、 y₀叫做摄像头的内部参数，因为这些参数只和摄像机有关系，和具体的摄像场景以及世界坐标系无关。

所述步骤2)中，开启摄像头后，训练网络会对视屏的相应帧图片进行一系列的卷积操作，然后在Conv4_3、Conv7、Conv8_2、Conv9_2、Conv10_2和Conv11_2的feature map上进行prior boxes的位置回归和分类。然后将所有的边界框及其对应的score全部整合在一起，使用NMS(设定阈值为0.01)去除多余的边界框，最后剩下的就是检测的结果。

所述步骤3)中，开启40线激光雷达，对无人艇整周环境进行扫描，得到40*1800的点云数据。此时无人艇本身以及尾部喷射的浪花会反射一部分激光点数据，这些点云需要在预处理中作为噪声点去除。在世界坐标下，将x坐标正负5米，y坐标正负8米以内的点云距离值当成无人艇自身反射点置零；同时把强度低于20的点云当作反射的浪花，将其距离值置零。经过点云的预处理之后，将所有的点云投影到二维的栅格中去，将栅格里面点云数大于5的栅格置1，作为障碍物栅格，点云数少于5的栅格置0，作为非障碍物栅格。采用8*8的8邻域判别算法对障碍物栅格进行聚类处理，得到的聚类数目n即为此时海面中障碍物的总个数。对于所有聚类出来的点云集合，采用最小包围圆算法进行处理，最终将每一个聚类得到的点云集聚类成为一个圆形障碍物，圆的半径R即为障碍物的半径大小，圆的中心到激光雷达的距离L为此障碍物距离无人艇的距离，圆的中心与无人艇的连线与船艏方向的夹角θ即为方向角。如图2所示，红色的点云为海上某一物体的投影到栅格后的点云表示，采用最小包围圆算法即能得到障碍物的信息R、L、θ。

所述步骤4)中，当L<80m时，则激光雷达数据能准确地描述障碍物的基本信息，此时采用激光雷达数据为准。当L>80m时，则需要采用视觉和激光雷达融合后的信息。将聚类成的同一块的点云从左到右按角度分成10块等角度的扇形区域，计算每一个区域的点云距离平均值l₁～l₁₀。如图3所示，计算矩形框左下角点到无人艇的距离M和矩形框右下角到无人艇的距离N分别为：

M＝0.1*(1*l₁+0.9*l₂+0.8*l₃+0.7*l₄+0.6*l₅+0.5*l₆+0.4*l₇+0.3*l₈+0.2*l₉+0.1*l₁₀)

N＝0.1*(0.1*l₁+0.2*l₂+0.3*l₃+0.4*l₄+0.5*l₅+0.6*l₆+0.7*l₇+0.8*l₈+0.9*l₉+1*l₁₀)

计算矩形框边长P的长度：

其中，a、b分别为距离M、距离N与竖直方向的夹角，同理可计算矩形框边长Q的长度，最终得出矩形障碍物的尺寸信息、角度以及与无人艇的距离大小。

Claims (4)

1.一种基于视觉和激光传感器数据融合的海上目标大小检测方法，其特征在于，操作步骤如下：

1)对置于无人艇上的激光雷达和摄像头进行联合标定；

2)通过SSD算法对海上障碍物进行视觉目标识别训练，生成一个海上障碍物识别的训练集；

3)开启激光雷达和摄像头，对无人艇周围环境进行360°扫描检测；激光雷达得到360°三维激光点云数据信息，将激光点云投影到二维栅格地图中，对栅格里面的点云进行圆形障碍物聚类；摄像头得到360°障碍物视觉信息，并对障碍物进行识别和框选；

4)根据激光雷达检测得到的障碍物距离值，将激光聚类得到的障碍物分成两类；对于距离值小于80米的障碍物，以激光雷达检测的障碍物信息为准，摄像头检测的障碍物信息进行校验；对于距离值大于80米的障碍物，以激光雷达检测的激光点云的距离平均值，得出障碍物大致的距离信息，并且结合摄像头所框选出的矩形框图得出障碍物的大致尺寸信息。

2.根据权利要求1所述的基于视觉和激光传感器数据融合的海上目标大小检测方法，其特征在于，所述步骤1)中对摄像头进行内参和外参的标定；所述外参标定指通过旋转矩阵R和平移矩阵T，使摄像机的坐标系与世界坐标系相统一；内参标定指根据摄像机的焦距f、投影平面中心在像素坐标系下的坐标x和y、像素坐标系里x和y方向每毫米的像素数量S_x和S_y这五个参数，实现世界坐标系到像素坐标的之间的转换，具体公式如下：

其中，S_x表示Xpix方向上单位毫米的像素数，单位是pix/mm；S_y表示Ypix方向上单位毫米的像素数，单位是pix/mm；x₀、y₀表示投影平面中心在{pixel}中的坐标。

3.根据权利要求1所述的基于视觉和激光传感器数据融合的海上目标大小检测方法，其特征在于，所述步骤3)中，将三维激光点云投影到8m*8m的二维栅格地图中，采用8*8连通域检测算法，对栅格中的激光点云进行圆形障碍物聚类处理，将栅格里面点云数大于5的栅格置1，作为障碍物栅格，点云数少于5的栅格置0，作为非障碍物栅格，得到的聚类数目n即为此时海面中障碍物的总个数。

4.根据权利要求1所述的基于视觉和激光传感器数据融合的海上目标大小检测方法，其特征在于，所述步骤4)中，当无人艇与障碍物距离大于80米时，则需要采用视觉和激光雷达融合后的信息作为障碍物信息，具体为：

将聚类成的同一块的点云从左到右按角度分成10块等角度的扇形区域，计算每一个区域的点云距离平均值l₁～l₁₀，计算矩形框左下角点到无人艇的距离M和矩形框右下角到无人艇的距离N分别为：

M＝0.1*(1*l₁+0.9*l₂+0.8*l₃+0.7*l₄+0.6*l₅+0.5*l₆+0.4*l₇+0.3*l₈+0.2*l₉+0.1*l₁₀)

N＝0.1*(0.1*l₁+0.2*l₂+0.3*l₃+0.4*l₄+0.5*l₅+0.6*l₆+0.7*l₇+0.8*l₈+0.9*l₉+1*l₁₀)

计算矩形框边长P的长度：

其中，a、b分别为距离M、距离N与竖直方向的夹角，最终得出矩形障碍物的尺寸信息、角度以及与无人艇的距离大小。