CN113192091B - 一种基于激光雷达与相机融合的远距离目标感知方法 - Google Patents

Abstract

本发明公开了一种基于激光雷达与相机融合的远距离目标感知方法，该方法包括：步骤1，采集激光雷达点云数据，确定光学图像感兴趣区域，并获取目标在所述光学图像感兴趣区域中隶属于n种类型障碍物的概率合集；步骤2，获取目标在所述激光雷达点云数据中隶属于n种类型障碍物的概率合集；步骤3，融合目标在所述光学图像感兴趣区域和激光雷达点云数据中隶属于n种类型障碍物的概率合集，获得目标隶属于n种类型障碍物的概率。本发明能够提升相机对小目标的感知能力，最大限度剔除图像非RoI，降低检测方法整体时间消耗。

Description

一种基于激光雷达与相机融合的远距离目标感知方法

技术领域

本发明涉及自动驾驶技术领域，特别是关于一种基于激光雷达与相机融合的远距离目标感知方法。

背景技术

环境感知是自动驾驶发展的基础。随着传感器技术的发展，鲁棒而有效的环境感知算法研究受到了广泛的关注。适用于自动驾驶的传感器种类繁多，且各有优缺点。激光雷达能获取环境三维空间信息，得到目标的轮廓特征，但通常点云数据量大，这将给实时感知带来挑战。照相机的感知数据与人眼获取的直观信息最接近，能够得到目标的颜色、纹理等信息，但该传感器受光照影响大，且造成环境空间信息缺失。为弥补两种类型传感器的感知缺陷，提高自动驾驶传感器系统感知能力，多源信息融合成为了更优的解决方案。

现有技术可通过融合激光雷达点云和相机视觉图像完成实时的道路目标检测，但目前仍难以覆盖远距离障碍物的准确检测。由于距离自动驾驶车辆距离较远的目标返回的点云稀少，且图像中占据的数量较小，往往难以获得准确的感知结果。而远距离目标检测对于扩展自动驾驶车辆鲁棒感知范围具有重要意义。

发明内容

本发明的目的在于提供一种基于激光雷达与相机融合的远距离目标感知方法来克服或至少减轻现有技术的上述缺陷中的至少一个。

为实现上述目的，本发明提供一种基于激光雷达与相机融合的远距离目标感知方法，该方法包括：

步骤1，采集激光雷达点云数据，确定光学图像感兴趣区域，并获取目标在所述光学图像感兴趣区域中隶属于n种类型障碍物的概率合集

f_i ^c表示目标在所述光学图像感兴趣区域中隶属于第i种类型障碍物的概率；

步骤2，获取目标在所述激光雷达点云数据中隶属于n种类型障碍物的概率合集

f_i ^L表示目标在所述激光雷达点云数据中隶属于第i种类型障碍物的概率；

步骤3，融合所述F^C和F^L，获得由式(3)表示的目标隶属于n种类型障碍物的概率：

其中，ω₁和ω₂为权重系数。

进一步地，所述步骤1中的所述f_i ^c的获取方法具体包括：

步骤11，点云地面分割，获得地上点云；

步骤12，将所述地上点云中特征相似的点云设置成一个点云聚类；

步骤13，利用尺度预设值对所述点云聚类进行滤波；

步骤14，将滤波后的点云聚类转换成点云聚类图像投影；

步骤15，根据每一个所述点云聚类图像投影中的横坐标最大值u_max、横坐标最小值u_min、纵坐标最大值v_max和纵坐标最小值v_min，确定每个所述点云聚类对应的矩形框，并放大各所述矩形框、以及合并具有重合区域的所述矩形框，获得光学图像感兴趣区域；

步骤16，利用SINet网络对所述光学图像感兴趣区域进行目标检测，输出f_i ^c。

进一步地，所述步骤11具体包括：

步骤111，在所述采集激光雷达点云数据中选取激光雷达坐标系中x>0的点云作为第一点云；

步骤112，在所述第一点云中选取与所述光学图像感兴趣区域的可视范围相重合区域内的点云作为第二点云；

步骤113，滤除所述第二点云中隶属于地面的点云，留下的所述第二点云作为地上点云。

进一步地，所述步骤15中的“合并具有重合区域的所述矩形框”的过程具体包括：

步骤151，在像素坐标系中，将放大后的所述矩形框的选定顶点的坐标中u值大小进行排序；

步骤152，按照所述步骤151的排序，遍历所有所述矩形框，依次以每一个所述矩形框作为参照框，判断所述参照框与其相邻的所述矩形框在所述光学图像感兴趣区域中是否彼此分隔，若是，则进行新的光学图像感兴趣区域合并；反之，则将两个所述矩形框进行合并。

进一步地，所述步骤151中的所述矩形框的选定顶点设置在该矩形框的左上角点p′_l，p′_l的左边界、右边界，上边界和下边界分别为u′_min、u′_max、v′_max、v'_min，则有式(2)，α表示安全边界参数；

进一步地，所述步骤152将第i所述矩形框和第i+1所述矩形框合并为新矩形框s时，所述新矩形框s的右边界

和上边界

分别取第i和i+1所述矩形框中更大的右边界和上边界，所述新矩形框的下边界

取第i和i+1所述矩形框中更小的下边界。

进一步地，所述步骤14利用式(1)提供的图像投影变换关系，将所述点云聚类转换成所述点云聚类图像投影：

其中，p_t＝[x,y,z]^T为某所述点云聚类中的某点在雷达坐标系中的三维坐标，A_C为摄像头内参矩阵，p_i＝[u,v]^T为p_t＝[x,y,z]^T在所述像素坐标系中对应的位置，R∈R^3×3、t∈R^3×1分别为激光雷达坐标系与像素坐标系之间的旋转矩阵与平移向量。

进一步地，所述步骤16还输出目标的矩形框；

所述步骤2中的所述f_i ^L的获取方法具体包括：

步骤21,检测所述矩形框中对应的点云聚类，并对检测出的点云聚类进行点云积累及分类运算；

步骤22,在步骤21得到的上一时刻的点云聚类中寻找关联目标，将当前时刻包含点云数量小于数量预设值的点云聚类进行目标关联及点云配准积累，获得积累点云；

步骤23,利用深度神经网络，对所述积累点云进行点云分类，并输出所述f_i ^L。

进一步地，所述步骤22中的目标关联的方法具体包括：

以当前时刻自动驾驶车辆坐标为基准，将上一时刻所述点云聚类转换到当前时刻坐标系中，以目标b中心为圆心，半径r＝δt·v_L/3.6范围内，搜索上一时刻所述点云聚类，其中，δt为激光雷达扫描时间间隔，v_L为自动驾驶车辆所处环境最高限速；若覆盖到新的点云聚类，利用点云配准算法得到当前时刻所述点云聚类与搜索到的上一时刻所述点云聚类之间的旋转矩阵R_r(θ)及平移向量t_r，若旋转角度θ较小，或平移向量t_r未超过半径覆盖范围，则该聚类为关联目标，否则视为非关联目标。

本发明通过基于SINet网络的图像检测和结合点云时间积累的点云分类，利用多源信息融合综合两种算法在远距离缺失数据下的感知优势，对目标尺度变化不敏感的SINet网络进行光学图像感兴趣区域感知，以提升相机对小目标的感知能力，最大限度剔除图像非RoI，降低检测方法整体时间消耗。本发明还将点云历史数据引入检测框架中进行积累，以增强点云数据对远距离稀疏点云情况下目标感知性能。另外，本发明提供结合点云积累的点云分类方法，增加远距离目标返回的点云数据量，进而提升点云分类准确性。

附图说明

图1为本发明实施例提供的融合感知流程示意图。

图2为本发明实施例提供的合并矩形框的示意图。

图3为本发明实施例提供的图像检测SINet网络的结构示意图。

图4为本发明实施例提供的点云分类网络的结构示意图。

图5为本发明实施例提供的合并具有重合区域的所述矩形框的一种实现方式示意图。

图6为本发明实施例提供的进行新的光学图像感兴趣区域合并的示例。

具体实施方式

下面结合附图和实施例对本发明进行详细的描述。

如图1所示，本发明实施例所提供的远距离目标感知方法主要包括：

步骤1，采集激光雷达点云数据，确定光学图像感兴趣区域以及利用深度神经网络检测图像中的交通障碍物，并获取目标在所述光学图像感兴趣区域中隶属于n种类型障碍物的概率合集

f_i ^c表示目标在所述光学图像感兴趣区域光学图像感兴趣区域(Region of Interest,RoI)中隶属于第i种类型障碍物的概率。

步骤2，获取目标在所述激光雷达点云数据中隶属于n种类型障碍物的概率合集

f_i ^L表示目标在所述激光雷达点云数据中隶属于第i种类型障碍物的概率。

步骤3，步骤1和步骤2分别从图像处理和点云处理角度得到同一目标分属不同类型障碍物的概率，本步骤利用加权平均和对两种数据中的检测概率融合F^c和F^L，获得由式(3)表示的目标隶属于n种类型障碍物的概率：

其中，ω₁和ω₂为权重系数，取值可根据实测实验结果进行调试。选取概率最大的类型作为融合感知后的目标所属类型。

本实施例提出的基于激光雷达与相机融合的远距离目标检测方法综合利用光学图像感兴趣区域和点云数据下远距离目标检测的能力进行融合，以解决远距离图像模糊、点云稀疏造成目标感知能力差的问题。利用光学图像感兴趣区域与激光雷达数据特点相互补足，增强远距离目标感知能力。

在一个实施例中，步骤1中的所述f_i ^c的获取方法具体包括：

步骤11，点云地面分割，获得地上点云。

优选地，步骤11具体包括：

步骤111，在所述采集激光雷达点云数据中选取激光雷达坐标系中x>0的点云作为第一点云。其中，激光雷达坐标系定义为：原点为激光雷达中心，x轴的正方向为车辆车身纵向前进的方向，y轴的正方向为车辆车身横向且位于x轴正方向的左侧，z轴的正方向为车辆车身的高度方向且垂直地面向上。

步骤112，在所述第一点云中选取与所述光学图像感兴趣区域的可视范围相重合区域内的点云作为第二点云。

步骤113，滤除所述第二点云中隶属于地面的点云，留下的所述第二点云作为地上点云。其中，可以使用扩展卡尔曼滤波平面状态跟踪、随机抽样一致性地面拟合、高斯过程回归地面建模等方式建立地面高程模型等地面建模方式，滤除所述第二点云中隶属于地面的点云。点云地面分割方法可以使用基于RANSAC(随机抽样一致性)的地面平面拟合，基于最小二乘拟合的地面分割方法等。

通过步骤11，可以滤除点云中的地面返回值，降低后续点云处理的计算量。

步骤12，将所述地上点云中特征相似的点云设置成一个点云聚类。例如：可以使用k-means聚类、基于密度的算法等，利用点云空间和属性等特征相似性，将地上点云中特征相似的点云聚为一个类别，完成障碍物的空间分割。

步骤13，利用尺度预设值对所述点云聚类进行滤波。其中，尺度预设值包括长度阈值T_L、宽度阈值T_W和高阈值T_H，这些阈值的具体数值根据通常交通环境中的障碍物(如行人、骑车人和车辆等)的长、宽、高尺度范围确定。

步骤14，将滤波后的点云聚类转换成点云聚类图像投影。

比如：可以利用式(1)提供的图像投影变换关系，将每个点云聚类转换成光学图像感兴趣区域上的投影，文中简称为点云聚类图像投影：

其中，p_t＝[x,y,z]^T为某所述点云聚类中的某点在雷达坐标系中的三维坐标，A_C为摄像头内参矩阵，p_i＝[u,v]^T为p_t＝[x,y,z]^T在所述像素坐标系中对应的位置，R∈R^3×3、t∈R^3×1分别为激光雷达坐标系与像素坐标系之间的旋转矩阵与平移向量。像素坐标系包括u轴和v轴，u轴的正方向为图像向右，v轴的正方向为图像向下。也可以采用本领域公知的其它方式将点云聚类转换成点云聚类图像投影。

步骤15，根据每一个所述点云聚类图像投影中的横坐标最大值u_max、横坐标最小值u_min、纵坐标最大值v_max和纵坐标最小值v_min，确定每个点云聚类的矩形包围框，也可以简称为矩形框。于是，矩形框的左上角坐标可表示为p_l＝[u_min,v_min]，宽度可表示为w＝v_max-v_min，长度可表示为l＝u_max-u_min。

由于环境中障碍物间可能存在遮挡，为更好地检测环境中的障碍物，放大各所述矩形框、以及合并具有重合区域的所述矩形框，获得光学图像感兴趣区域。

作为“合并具有重合区域的所述矩形框”的一种实现方式，其包括：

步骤151，在像素坐标系中，将放大后的所述矩形框的选定顶点的坐标中u值大小进行排序。需要说明的是，实际环境中目标返回的点云数据可能受到遮挡等因素影响，无法反映出完整的目标轮廓，直接变换时往往矩形框中的目标显示不全，所以本实施例通过对矩形框进行放大，尽量能将一个目标完整地框入到矩形框中。

步骤151中的所述矩形框的选定顶点设置在该矩形框的左上角点p′_l，p′_l的左边界、右边界，上边界和下边界分别为u′_min、u′_max、v′_max、v'_min，则有式(2)，通过式(2)，可以扩大边界框过程。有时因为遮挡等情况存在，矩形框中可能没有包含完整的目标，本实施例通过设置安全边界参数α，可以将区域进行一定程度的扩展，以便更多的目标信息能够被包括进来，因此，α的具体数值可以根据被遮挡区域部分的尺寸确定：

当然，在选定顶点的位置设置在矩形框的其它位置时，公式将在式(2)的基础上做出相应修改即可。

例如图5，图中的1、2为场景中的目标，1的部分被2遮挡(虚线显示)，假设通过前述步骤15获得的矩形框为3，可以看出因为存在遮挡，3无法包含1全部信息，因此设置安全边界α，横坐标最大值u_max、横坐标最小值u_min、纵坐标最大值v_max和纵坐标最小值v_min及扩展后的u′_min、u′_max、v′_max、v′_min各边界值如图所示。

步骤152，按照步骤151的排序，遍历所有所述矩形框，依次以每一个所述矩形框作为参照框，判断所述参照框与其相邻的所述矩形框在所述光学图像感兴趣区域中是否彼此分隔，若是，则进行新的光学图像感兴趣区域合并；反之，则将两个所述矩形框进行合并。

例如：如图2所示，步骤152将第i所述矩形框和第i+1所述矩形框合并为新矩形框s时，可以采用：

根据各个矩形框的左上角点p′_l在像素坐标系中u从小到大的顺序排序，依序对放大后的第i和i+1所述矩形框进行比较，若第i个矩形框的右边界

在第i+1个矩形框左边界

的左边，即两框在图像中相互分隔，则以第i+1矩形框左上顶点为新合并矩形框s+1的选定顶点，进行新的光学图像感兴趣区域合并；若第i个矩形框的右边界

在第i+1个矩形框左边界

的右边，则两框存在重合，将第i+1框并入合并矩形框s中，右边界

和上边界

取第i和i+1所述矩形框中更大的右边界和上边界，下边界

取第i和i+1所述矩形框中更小的下边界。在合并完第i和i+1所述矩形框后，利用上述合并过程依序比较第i+1和i+2所述矩形框，直至遍历所有矩形框，完成光学图像感兴趣区域合并。

也可以采用：

新矩形框s的左边界取第i和i+1矩形框中的最左侧边界，新矩形框s的右边界取第i和i+1矩形框中的最右侧边界，取第i和i+1矩形框中的下方边界为下边界，新矩形框s的上边界取第i和i+1矩形框中的最上方边界，由此确定新矩形框s的四个边界。

在一个实施例中，步骤152中的“进行新的光学图像感兴趣区域合并”的方法具体包括：

例如：如图6所示，从左至右有6个矩形框，包含了可能存在目标的感兴趣区域，感兴趣区域合并的过程可以理解为，在原第1和2矩形框(图6的左侧两个矩形框)有重合的情形下，将原第1和2矩形框包围的新第1矩形框；在原第1和2矩形框没有重合，则将原第3矩形框作为新的起始位置，进行同样地搜索。当原第3和4矩形框(图6的中间两个矩形框)有重合的情形下，将原第3和4矩形框包围的新第2矩形框；按照上述相同的方法，依次遍历6个原矩形框，最后得到了3个合并区域的矩形框。

步骤16，利用SINet网络对所述光学图像感兴趣区域进行目标检测，检测结果为场景中目标类型(如车辆、行人等)及在图片中的包围框(表示位置)，输出f_i ^c和目标的矩形框。

SINet网络构成如图3所示，如图3所示，将步骤15得到的一个或多个光学图像感兴趣区域分别输入SINet检测网络中，其具体包括：

首先，经过RPN(Region Proposal Networks)层，获得卷积特征图及一组proposal，每个proposal表示大量可能包含物体的区域及其预测矩形框。再利用CARoI池化提取每个proposal中的特征，采用双线性核的反卷积操作，避免较小的proposal中利用RoI池化带来的物体表征错误。不同卷积层中的池化特征进行合并，依据proposal尺寸通过多分支决策网络，每个决策网络包含一个卷积层和一个全连接层，随后分别连接两个分类器，一个用来得到目标分类结果，一个用来回归目标包围框位置。该网络对大尺寸proposal和小尺寸proposal分层处理，通过大尺度proposa检测得到近处目标，通过小尺度proposal检测得到远处目标，从而完成场景中远、近处目标检测，得到proposal属于每一类型目标的概率。根据图像成像特点，图片中距离比较近的目标，一般尺寸较大，同样目标如果距离较远，则尺寸变小。

在一个实施例中，根据步骤1中得到的光学图像感兴趣区域感知结果，利用图像-点云对应关系将检出的目标投影到三维点云数据中，利用相邻帧点云中聚类积累，并对积累后的点云进行点云分类，以滤除图像检测中的虚警，予以剔除。所述步骤2中的所述f_i ^L的获取方法具体包括：

步骤21,检测所述矩形框中对应的点云聚类，并对检测出的点云聚类进行点云积累及分类运算。

步骤22,在步骤21得到的上一时刻的点云聚类中寻找关联目标，将当前时刻包含点云数量小于数量预设值的点云聚类进行目标关联及点云配准积累，获得积累点云。

步骤22中的目标关联的方法可以一种方式实现：

以当前时刻自动驾驶车辆坐标为基准，将上一时刻所述点云聚类转换到当前时刻坐标系中，以目标b中心为圆心，半径r＝δt·v_L/3.6范围内，搜索上一时刻所述点云聚类，其中，δt为激光雷达扫描时间间隔，v_L为自动驾驶车辆所处环境最高限速；若覆盖到新的点云聚类，利用ICP、CPD等现有的点云配准算法得到点云聚类旋转矩阵R_r(θ)及平移向量t_r，若旋转角度θ较小，或平移向量t_r未超过半径覆盖范围，则该聚类为关联目标，否则视为非关联目标。

步骤22中的目标关联的方法可以另一种方式实现：以当前时刻自动驾驶车辆坐标为基准，将上一时刻点云转换到当前时刻坐标系中，以目标b中心为基准，[-v_r,+v_r]范围内随机采样速度值，并以该速度运行扫描间隔时长为预测位置点b_p，b_p范围附近搜索，若存在点云，则为候选关联点云，利用点云配准算法得到该聚类旋转矩阵R_r(θ)及平移向量t_r，若旋转角度θ较小，或平移向量t_r未超过半径覆盖范围，则该聚类为关联目标，否则为非关联目标。

目标关联的方式还有较多，本实施例将不再一一列举。

其中的“较小”可以理解为，比如设定一个阈值，如是车辆目标时，可以考虑车辆在0.1秒时间内偏航角不会发生大范围变化，可将该角度阈值设置为但不限于20度，若旋转角度小于20度则可以认为“较小”，判断为关联目标。

步骤23,利用深度神经网络，对所述积累点云进行点云分类，并输出所述f_i ^L。

步骤2,点云目标分类：

步骤21,图像-点云变换：对于步骤16输出的图像检测结果，依据步骤14中的图像投影变换关系找到图像中检测出目标的矩形框中对应的点云聚类，对这些点云聚类进行后续点云积累及分类运算。

步骤22,目标关联：在步骤21得到的上一时刻的点云中寻找关联目标，对于当前时刻包含点云数量小于阈值T_C的点云聚类进行目标关联及点云配准积累。

其中，目标关联方法具体包括如下过程：

以当前时刻自动驾驶车辆坐标为基准，将上一时刻点云转换到当前时刻坐标系中，以目标b中心为圆心，半径r＝δt·v_L/3.6范围内对上一时刻点云数据进行搜索，其中δt为激光雷达扫描时间间隔，v_L为自动驾驶车辆所处环境最高限速。范围中若覆盖到新的点云聚类，利用ICP、CPD等点云配准算法得到该聚类旋转矩阵R_r(θ)及平移向量t_r，若旋转角度θ较小，或平移向量t_r未超过半径覆盖范围，则该聚类为关联目标，否则视为非关联目标。

点云配准积累方法具体包括：

对于关联目标，将上一时刻点云转换到当前时刻坐标系中，并与当前时刻点云进行融合，完成稀疏点云目标的点云积累。

步骤23,点云分类：利用深度神经网络，对步骤22输出的积累点云进行点云分类。

深度神经网络结构如图4所示，如图4所示，假设目标b＝(x_i,y_i,z_i,I_i)∈R^n×4，n为聚类b包含的点云数量，若n<T_C，则与上一时刻进行目标关联搜索，并利用配准完成时域积累，完成点云积累，输入后续点云分类网络。当聚类的点云数量较大时认为目标轮廓信息比较完整，为降低运算并不进行时域数据积累，则直接输入后续点云分类网络。

后续点云分类网络包括5层卷积网络，参数分别为(32,1,4)、(64,1,1)、(128,1,1)、(512,1,1)、(512,1,1)，参数的格式为(卷积核数量，高度，宽度)，各卷积层中卷积步长为1*1。随后，进入最大池化层，得到1×512的向量。接着，输入后面的全连接层，最后，经输出层输出目标b属于每一类型障碍物的概率。

上述实施例中所涉及的“地面点云分割”和“地上点云聚类”可包含多种替代方案，如地面点云分割可采用网格法、地面建模法、平面拟合法等，点云聚类可包括k-means聚类、基于密度的聚类、基于网格的聚类方法等。

最后需要指出的是：以上实施例仅用以说明本发明的技术方案，而非对其限制。本领域的普通技术人员应当理解：可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (8)

1.一种基于激光雷达与相机融合的远距离目标感知方法，其特征在于，包括：

步骤1，采集激光雷达点云数据，确定光学图像感兴趣区域，并获取目标在所述光学图像感兴趣区域中隶属于n种类型障碍物的概率合集

f_i ^c表示目标在所述光学图像感兴趣区域中隶属于第i种类型障碍物的概率；

步骤2，获取目标在所述激光雷达点云数据中隶属于n种类型障碍物的概率合集

f_i ^L表示目标在所述激光雷达点云数据中隶属于第i种类型障碍物的概率；

步骤3，融合所述F^C和F^L，获得由式(3)表示的目标隶属于n种类型障碍物的概率：

其中，ω₁和ω₂为权重系数；

所述步骤1中，利用SINet网络对所述光学图像感兴趣区域进行目标检测，输出目标的矩形框；

所述步骤2中的所述f_i ^L的获取方法具体包括：

步骤21，检测所述矩形框中对应的点云聚类，并对检测出的点云聚类进行点云积累及分类运算；

步骤22，在步骤21得到的上一时刻的点云聚类中寻找关联目标，将当前时刻包含点云数量小于数量预设值的点云聚类进行目标关联及点云配准积累，获得积累点云；

步骤23，利用深度神经网络，对所述积累点云进行点云分类，并输出所述f_i ^L。

2.如权利要求1所述的基于激光雷达与相机融合的远距离目标感知方法，其特征在于，所述步骤1中的所述f_i ^c的获取方法具体包括：

步骤11，点云地面分割，获得地上点云；

步骤12，将所述地上点云中特征相似的点云设置成一个点云聚类；

步骤13，利用尺度预设值对所述点云聚类进行滤波；

步骤14，将滤波后的点云聚类转换成点云聚类图像投影；

步骤15，根据每一个所述点云聚类图像投影中的横坐标最大值u_max、横坐标最小值u_min、纵坐标最大值v_max和纵坐标最小值v_min，确定每个所述点云聚类对应的矩形框，并放大各所述矩形框、以及合并具有重合区域的所述矩形框，获得光学图像感兴趣区域；

步骤16，利用SINet网络对所述光学图像感兴趣区域进行目标检测，输出f_i ^c。

3.如权利要求2所述的基于激光雷达与相机融合的远距离目标感知方法，其特征在于，所述步骤11具体包括：

步骤111，在所述采集激光雷达点云数据中选取激光雷达坐标系中x>0的点云作为第一点云；

步骤112，在所述第一点云中选取与所述光学图像感兴趣区域的可视范围相重合区域内的点云作为第二点云；

步骤113，滤除所述第二点云中隶属于地面的点云，留下的所述第二点云作为地上点云。

4.如权利要求3所述的基于激光雷达与相机融合的远距离目标感知方法，其特征在于，所述步骤15中的“合并具有重合区域的所述矩形框”的过程具体包括：

步骤151，在像素坐标系中，将放大后的所述矩形框的选定顶点的坐标中u值大小进行排序；

步骤152，按照所述步骤151的排序，遍历所有所述矩形框，依次以每一个所述矩形框作为参照框，判断所述参照框与其相邻的所述矩形框在所述光学图像感兴趣区域中是否彼此分隔，若是，则进行新的光学图像感兴趣区域合并；反之，则将两个所述矩形框进行合并。

5.如权利要求4所述的基于激光雷达与相机融合的远距离目标感知方法，其特征在于，所述步骤151中的所述矩形框的选定顶点设置在该矩形框的左上角点p′_l，p′_l的左边界、右边界，上边界和下边界分别为u′_min、u′_max、v′_max、v′_min，则有式(2)，α表示安全边界参数；

6.如权利要求5所述的基于激光雷达与相机融合的远距离目标感知方法，其特征在于，所述步骤152将第i所述矩形框和第i+1所述矩形框合并为新矩形框s时，所述新矩形框s的右边界

和上边界

分别取第i和i+1所述矩形框中更大的右边界和上边界，所述新矩形框的下边界

取第i和i+1所述矩形框中更小的下边界。

7.如权利要求2-6中任一项所述的基于激光雷达与相机融合的远距离目标感知方法，其特征在于，所述步骤14利用式(1)提供的图像投影变换关系，将所述点云聚类转换成所述点云聚类图像投影：

其中，p_t＝[x，y，z]^T为某所述点云聚类中的某点在雷达坐标系中的三维坐标，A_C为摄像头内参矩阵，p_i＝[u，v]^T为p_t＝[x，y，z]^T在所述像素坐标系中对应的位置，R∈R^3×3、t∈R^3×1分别为激光雷达坐标系与像素坐标系之间的旋转矩阵与平移向量。

8.如权利要求1所述的基于激光雷达与相机融合的远距离目标感知方法，其特征在于，所述步骤22中的目标关联的方法具体包括：

以当前时刻自动驾驶车辆坐标为基准，将上一时刻所述点云聚类转换到当前时刻坐标系中，以目标b中心为圆心，半径r＝δt·v_L/3.6范围内，搜索上一时刻所述点云聚类，其中，δt为激光雷达扫描时间间隔，v_L为自动驾驶车辆所处环境最高限速；若覆盖到新的点云聚类，利用点云配准算法得到当前时刻所述点云聚类与搜索到的上一时刻所述点云聚类之间的旋转矩阵R_r(θ)及平移向量t_r，若旋转角度θ较小，或平移向量t_r未超过半径覆盖范围，则该聚类为关联目标，否则视为非关联目标。

Images