CN114488181A - 一种相机和激光雷达的多源异构传感器融合方法及设备 - Google Patents

Abstract

本申请公开了一种相机和激光雷达的多源异构传感器融合方法及设备，用于解决现有的传感器融合策略无法满足智能汽车在全天候、全工时的工况下，对于复杂交通场景的感知需求的技术问题。其中，确定相机对应的图像目标检测序列，及激光雷达对应的点云三维目标检测序列；分别确定与图像目标匹配成功的第一点云目标，以及与图像目标匹配不成功的第二点云目标；确定第一点云目标及与其相匹配的图像目标为融合目标，构建由多个融合目标组成的融合目标序列；将第二点云目标作为融合目标添加至融合目标序列中；从相机和激光雷达中确定出主传感器；确定融合目标序列中的各融合目标为最终检测到的道路目标，并根据主传感器，确定各道路目标对应的目标类别。

Description

一种相机和激光雷达的多源异构传感器融合方法及设备

技术领域

本申请涉及传感器融合技术领域，尤其涉及一种相机和激光雷达的多源异构传感器融合方法及设备。

背景技术

随着智能驾驶汽车的快速发展，仅靠任意单一传感器已不能满足车辆在复杂交通场景下的检测需求。例如，相机能够采集物体的形状、纹理、颜色等信息，对于行人和骑行者具备较优越的检测性能，但其受光照、气候的影响比较大，在较暗的环境中检测效果差。激光雷达可以轻松获取点云的三维位置信息，并通过检测算法检测出目标的位置、种类、航向信息，但激光雷达会因为遮挡问题或者近邻问题而产生漏检，并且其对于行人和骑行者等小目标的检测和分类效果较差。

由于现有的单一传感器检测方法对于道路目标的检测准确率较低，智能驾驶汽车环境感知能力较差，基于激光雷达和相机的传感器融合策略在智能驾驶汽车感知领域已有较为广泛的应用。但是，现有技术中多采用原始融合策略，只有在激光雷达识别出的目标和相机识别出的目标相匹配时才认定融合成功，将激光雷达和相机的检测结果进行融合，自适应性较低。并且，原始融合策略会设定信任传感器，由于单一信任传感器的不同，分别存在有以激光雷达为主的融合策略和以相机为主的融合策略，但受限于单一传感器的使用限制，无法满足智能驾驶汽车在全天候、全天时工况下的检测需求。

发明内容

本申请公开了一种相机和激光雷达的多源异构传感器融合方法及设备，用于解决现有传感器融合策略无法满足智能驾驶汽车在全天候、全工时的工况下，对于复杂交通场景的感知需求的技术问题。

一方面，本申请实施例提供了一种相机和激光雷达的多源异构传感器融合方法，方法包括：根据相机采集到的道路图像信息和激光雷达采集到的道路点云信息，确定所述相机对应的图像目标检测序列，及所述激光雷达对应的点云三维目标检测序列；其中，所述图像目标检测序列中包括若干图像目标，所述点云三维目标检测序列中包括若干点云目标；计算各所述图像目标与各所述点云目标之间的最优匹配结果，并根据所述最优匹配结果，分别确定与所述图像目标匹配成功的第一点云目标，以及与所述图像目标匹配不成功的第二点云目标；确定所述第一点云目标及与其相匹配的图像目标为融合目标，构建由多个融合目标组成的融合目标序列；针对各所述第二点云目标，判断所述第二点云目标对应的置信度是否大于预设置信度阈值，若大于所述预设置信度阈值，则将所述第二点云目标作为融合目标添加至所述融合目标序列中；针对各所述第一点云目标，根据各所述第一点云目标及与其相匹配的图像目标分别对应的目标类别、置信度，从所述相机和所述激光雷达中确定出主传感器；确定所述融合目标序列中的各融合目标为最终检测到的道路目标，并根据所述主传感器，确定各所述道路目标对应的目标类别。

在本申请的一种实现方式中，根据各所述第一点云目标及与其相匹配的图像目标分别对应的目标类别、置信度，从所述相机和所述激光雷达中确定出主传感器，具体包括：分别确定各所述图像目标对应的第一目标类别和第一置信度，以及各所述第一点云目标对应的第二目标类别和第二置信度，并确定所述第一目标类别和所述第二目标类别是否一致；在所述第一目标类别和所述第二目标类别一致的情况下，确定所述相机和所述激光雷达均为主传感器；在所述第一目标类别和所述第二目标类别不一致的情况下，将所述第一置信度与所述第二置信度进行比较，以确定所述第一置信度和所述第二置信度中置信度更高的传感器为主传感器。

在本申请的一种实现方式中，确定所述融合目标序列中的各融合目标为最终检测到的道路目标，并根据所述主传感器，确定各所述道路目标对应的目标类别，具体包括：所述融合目标包括第一点云目标及与其相匹配的图像目标，以及置信度大于预设置信度阈值的第二点云目标；针对各所述第一点云目标及与其相匹配的图像目标，确定所述主传感器对应的目标类别，为各所述道路目标对应的目标类别；针对所述融合目标序列中的第二点云目标，确定所述第二点云目标对应的目标类别，为各所述道路目标对应的目标类别。

在本申请的一种实现方式中，计算各所述图像目标与各所述点云目标之间的最优匹配结果之前，所述方法还包括：基于预先确定的联合标定矩阵，将所述点云三维目标检测序列投影至图像平面中，得到点云二维目标检测序列；其中，所述联合标定矩阵是基于预设的标定工具，对相机和激光雷达进行联合标定得到的。

在本申请的一种实现方式中，计算各所述图像目标与各所述点云目标之间的最优匹配结果，具体包括：确定各所述图像目标对应的图像检测框，及所述点云二维目标检测序列中的各点云目标对应的点云检测框；针对所述图像目标检测序列中的各图像目标，根据所述图像检测框和所述点云检测框，计算各所述图像目标与各所述点云目标之间的交并比值，以得到所述图像目标与所述点云目标之间的关联矩阵；其中，所述关联矩阵包括各所述图像目标与各所述点云目标之间的交并比值；基于所述关联矩阵，计算各所述图像目标与各所述点云目标之间的最优匹配结果。

在本申请的一种实现方式中，确定所述相机对应的图像目标检测序列，及所述激光雷达对应的点云三维目标检测序列之后，所述方法还包括：通过智能车辆上设置的车载工控机，对所述图像目标检测序列和所述点云三维目标检测序列设置相应的时间戳；以所述点云三维目标检测序列的时间戳为基准，从所述图像目标检测序列中，确定与所述点云三维目标检测序列的时间戳差值最小的图像目标，以对相应的道路图像信息和道路点云信息进行时间同步。

在本申请的一种实现方式中，所述融合目标包括目标类别、二维平面信息、空间位置信息、航向信息以及距离信息；在确定各所述道路目标对应的目标类别之后，所述方法还包括：将所述融合目标序列中的各融合目标投影至当前智能车辆对应的世界坐标系中，确定各所述融合目标相对于所述智能车辆的位置、距离、航向信息；根据各融合目标对应的目标类别，以及所述相对于所述智能车辆的位置、距离、航向信息，确定所述智能车辆在当前时刻的行动决策。

在本申请的一种实现方式中，根据相机采集到的道路图像信息和激光雷达采集到的道路点云信息，确定所述相机对应的图像目标检测序列，及所述激光雷达对应的点云三维目标检测序列，具体包括：将所述道路图像信息和所述道路点云信息分别输入至对应的预先训练好的道路目标检测模型中；根据各所述预先训练好的道路目标检测模型，分别确定各图像目标、各所述图像目标对应的目标检测信息，以及各点云目标、各所述点云目标对应的目标检测信息；其中，所述图像目标的目标检测信息包括图像目标的类别、中心点像素坐标及长宽尺寸，所述点云目标的目标检测信息包括点云目标的类别、中心点空间坐标及长宽高尺寸。

在本申请的一种实现方式中，将所述第二点云目标作为融合目标添加至所述融合目标序列中之前，所述方法还包括：将置信度大于预设置信度阈值的各第二点云目标投影至图像平面中，以获取各所述第二点云目标的外观信息。

另一方面，本申请实施例还提供了一种相机和激光雷达的多源异构传感器融合设备，设备包括：处理器；及存储器，其上存储有可执行代码，当可执行代码被执行时，使得处理器执行如上述的一种相机和激光雷达的多源异构传感器融合方法。

本申请实施例提供的一种相机和激光雷达的多源异构传感器融合方法及系统，至少具备以下有益效果：

道路图像信息和道路点云信息都能检测到道路目标的目标类别和置信度，在天气、路况等条件不同时，传感器对应的置信度也不同，这样根据置信度便能自适应的确定出相应的主传感器，从而根据主传感器对应的目标类别，确定出目标类别，实现了复杂环境场景下对于道路目标的检测和识别，可靠性较高，且能满足多种全天候、全天时工况下的检测需求。并且，对于未能与图像目标匹配成功的点云目标，当其置信度达到一定程度时，也能将其作为最终检测到的目标，在一定程度上减少了目标漏检的现象。

附图说明

此处所说明的附图用来提供对本申请的进一步理解，构成本申请的一部分，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。在附图中：

图1为本申请实施例提供的相机和激光雷达的多源异构传感器融合方法流程图；

图2为本申请实施例提供的将点云信息编码成伪图像的流程图；

图3为本申请实施例提供的相机和激光雷达进行时间同步的示意图；

图4为本申请实施例提供的目标融合策略流程图；

图5为本申请实施例提供的主传感器选择流程图；

图6为本申请实施例提供的图像目标检测结果示意图；

图7为本申请实施例提供的点云目标检测结果示意图；

图8为本申请实施例提供的融合目标检测结果示意图；

图9为本申请实施例提供的相机和激光雷达的多源异构传感器融合设备结构示意图。

具体实施方式

为使本申请的目的、技术方案和优点更加清楚，下面将结合本申请具体实施例及相应的附图对本申请技术方案进行清楚、完整地描述。显然，所描述的实施例仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

智能驾驶汽车上一般设有多个传感器，在行驶过程中通过多种传感器采集环境数据，实现对复杂交通场景的感知和识别，据此决定出车辆在当前场景下的行动策略。

现有技术多采用原始融合策略，即将激光雷达点云数据其投射到图像上，采用融合方法将激光雷达和相机的检测结果进行融合，当图像目标检测序列和点云目标检测序列中的目标能够两两匹配上时才会将该目标认定为融合目标。并且依据信任传感器的不同，分为以激光雷达为主的融合策略和以相机为主的融合策略，然而单一传感器的使用场景和识别准确度均存在不足，原始融合策略无法满足多种全天候、全天时工况下的检测需求。此外，传统的相机和激光雷达融合算法一般是取图像的类别和置信度信息加上点云的三维位置信息加以“组合”而并非真正意义上的融合。在本申请实施例汇总，图像信息和点云信息都能够检测出目标的类别和置信度，因此，在目标的类别维度上能够实现真正的融合。

本申请公开了一种相机和激光雷达的多源异构传感器融合方法及设备，用于解决现有传感器融合策略无法满足智能驾驶汽车在全天候、全工时的工况下，对于复杂交通场景的感知需求的技术问题。

下面通过附图对本申请实施例提出的技术方案进行详细的说明。

图1为本申请实施例提供的一种相机和激光雷达的多源异构传感器融合方法流程图。如图1所示，本申请实施例提供的一种相机和激光雷达的多源异构传感器融合方法方法主要包括以下步骤：

S101、服务器根据相机采集到的道路图像信息和激光雷达采集到的道路点云信息，确定所述相机对应的图像目标检测序列，及所述激光雷达对应的点云三维目标检测序列。

车载传感器例如相机、激光雷达，在车辆行驶过程中会采集车辆周围的道路信息。服务器可通过预先训练好的道路目标检测模型，对道路进行目标检测，从而识别出周围道路上不同目标的位置、类别等信息，为车辆的行为决策提供参考。其中，目标包括行人、车辆、骑行者。

为实现相机检测出的图像目标和激光雷达检测出的点云目标的融合，服务器在获取道路图像信息和道路点云信息之前，需先针对图像目标和点云目标预先训练相应的道路目标检测模型，以据其获取对应的目标检测序列。设图像目标检测序列为I＝{I₀，I₁，I₂，...，I_i}，点云目标检测序列为L＝{L₀，L₁，L₂，...，L_j}，上述序列中分别为相机检测到的各图像目标和激光雷达检测到的各点云目标。

在一个实施例中，本申请实施例为实现基于相机的多目标检测，可通过预设的车辆道路测试数据集KITTI作为训练集，对预置的针对道路图像信息的目标检测模型，进行再训练，以使其适应道路目标检测需求。

例如，本申请实施例可通过YOLOV4训练得到目标检测模型，而YOLOV4训练的是MSCOCO数据集，是包含80个分类的网络，其网络特征输出维度为255，其网络输出维度计算公式为3×(5+80)，其中，3代表每个网格包含3个尺度的Anchor，5代表预测框的中心坐标x、y，宽高w、h以及置信度值c，80代表80个分类。但本申请实施例只进行三分类即行人、骑行者和车辆，因此，改进后的针对道路图像信息的道路目标检测模型网络输出维度应该改成3×(5+20)＝75个维度。

将相机采集到的道路图像信息输入到上述针对道路图像信息的道路目标检测模型中后，就可确定出车辆周围的道路图像目标，以及道路目标对应的目标检测信息。其中，图像目标的目标检测信息包括图像目标的类别、中心点像素坐标及长宽尺寸。

在一个实施例中，服务器可预先训练好的道路目标检测模型，对道路上的目标进行识别，以获取目标的3D信息。具体通过以下方式实现：

首先，服务器将道路点云信息(x，y，z，i)作为道路目标检测模型的初始输入，将其编码成伪图像。图2为本申请实施例提供的将点云信息编码成伪图像的流程图。如图2所示，输入道路目标检测模型的点云在XY平面上均匀划分成柱体，P为不为空的柱体数，N为每个柱体中保留的点数，如果原始柱体中的点数大于N，则降采样到N个点，如果小于N，则进行零填充。先将点云生成一个密集输入向量(D×P×N)经过一个线性层进行特征提取，得到高维度的特征向量C×P×N。在通道维度上，进行最大池化操作得到向量C×P，将P还原到XY平面上的H×W维度，得到C×H×W向量，该向量为伪图像向量。

其次，服务器对伪图像进行多尺度特征提取，并将不同尺度下的特征进行拼接，得到相应的特征图。

具体地，道路目标检测模型可对特征进行两次二倍下采样，得到分辨率越来越小的特征图。这样能够加强目标在不同尺度下的特征，有利于提升算法应对目标尺寸变化的鲁棒性。同时，还有助于对于不同大小目标的检测，分辨率高，感受野小，有利于对于行人等小目标物体的检测。然后，对特征进行上采样，在进行上采样后，能够将三个尺度的特征采样到同一个分辨率下，并将这些特征拼接在一起，从而得到特征图。

最后，道路目标检测模型可根据特征图，识别得到各点云目标以及各点云目标对应的目标检测信息。其中，点云目标的目标检测信息包括点云目标的类别、中心点空间坐标及长宽高尺寸。

需要说明的是，图像目标和点云目标均以检测框的形式进行展现，相机检测到的图像目标可反映目标的外观信息，激光雷达检测到的点云目标可反映目标的空间信息、航向信息等三维信息。

服务器通过将道路图像信息和道路点云信息输入至分别对应的道路目标检测模型中后，可识别出道路目标，从而得到对应的图像目标检测序列和点云三维目标检测序列；其中，图像目标检测序列中包括若干图像目标，点云三维目标检测序列中包括若干点云目标。在本申请实施例中，目标分为三类：行人、骑行者和车辆。图像目标即为相机识别到的车辆周围存在的目标，点云目标即为激光雷达识别到的车辆周围存在的目标。

在一个实施例中，在得到图像目标检测序列和点云三维目标检测序列之后，若想实现二者的融合，首先需对相机和激光雷达进行时间同步。本申请实施例采用软时间同步的方式。

具体地，智能车辆上设置的车载工控机，对图像目标检测序列和点云三维目标检测序列设置相应的时间戳。由于激光雷达的采集频率低于相机的采集频率，因此服务器以点云三维目标检测序列的时间戳为基准，从图像目标检测序列中，确定与点云三维目标检测序列的时间戳差值最小的图像目标，然后将该图像目标之前的未融合的数据进行融合，从而实现对道路图像信息和道路点云信息进行时间同步。对相机和激光雷达进行时间同步是二者进行融合的先决条件，只有处于同一时间下的多源异构传感器才具备融合的可能性。

图3为本申请实施例提供的相机和激光雷达进行时间同步的示意图。如图3所示，工控机赋予时间戳后，道路图像信息和道路点云信息均为数据队列的形式，队列中各个数据均具有相应的时间戳。假设激光雷达的采集频率为10HZ，相机的图像采集频率为25HZ，与点云数据队列的时间戳差值最小的图像数据一次为C2、C4、C6和C9，因此在进行时间同步时，{C1，C2}与P1保持同步，{C3，C4}与P2保持同步，{C5，C6}与P3保持同步，{C7，C8，C9}与P4保持同步。

S102、服务器计算各图像目标与各点云目标之间的最优匹配结果，并根据最优匹配结果，分别确定与图像目标匹配成功的第一点云目标，以及与图像目标匹配不成功的第二点云目标。

对相机和激光雷达进行融合，本质上就是获取融合目标的过程。若图像目标与点云目标匹配成功，那么该目标则被视为融合目标。融合目标同时具有图像目标携带的外观信息以及点云目标携带的三维信息，而获取融合目标的过程，其实就是对图像目标和点云目标进行匹配的过程。

对于图像目标序列和点云目标序列的匹配可归类于二分图匹配的问题。匹配是指集合X中的点与集合Y中的点两两配对形成边的集合，且满足集合中每条边的两个顶点与其他边的两个顶点均不相同。因此，本申请实施例可通过匈牙利算法求得图像目标序列和点云目标序列之间的匹配关系，匹配关系相当于将图像目标和点云目标进行连线。而寻求图像目标和点云目标之间的匹配关系，其实就是寻求二者之间的最优匹配结果。即相匹配的图像目标与点云目标之间的连线被赋予权重后，从中选取能够使连线的权重之和最大的匹配关系，此时，点云目标与图像目标可得到的融合目标数量最多，对于目标的识别也更为准确。

但是，激光雷达采集到的点云信息是三维信息，通过道路检测模型得到的点云目标检测序列中的各目标也为三维目标。要想对相机和激光雷达进行异构融合，首先要进行的便是将点云三维目标检测序列中的三维目标投影至图像平面上去，只有图像目标检测序列和点云目标检测序列位于同一坐标系下时，才能对其进行关联匹配。

在一个实施例中，若要对点云三维目标检测序列进行投影，服务器需先对相机和激光雷达进行联合标定，从而获取到将点云三维目标检测序列投影到图像平面中的联合标定矩阵。

具体地，激光雷达和相机为刚性连接，因此，在同一空间中，在激光雷达坐标系下每个点都在相机坐标系下存在唯一一个点与之对应。同时，相机坐标系下的每个点唯一的对应像素坐标系下的像素点，可以得出激光雷达坐标系下的每个点云都有像素坐标系下的唯一一个像素点与之对应。利用相机图像与激光雷达点云之间的空间约束关系，可以对应求解像素坐标系和激光雷达坐标系之间的坐标转换关系，得到联合标定矩阵。本申请实施例中联合标定矩阵通过公式(7)确定：

其中，R表示空间坐标旋转，T表示空间坐标平移，u表示水平像素坐标系，v表示竖直像素坐标系，u₀表示水平像素坐标系u轴原点，v₀表示竖直像素坐标系v轴原点，f表示相机焦距，X_L表示激光雷达的X轴坐标系，Y_L表示激光雷达的Y轴坐标系，Z_L表示激光雷达的Z轴坐标系。

需要说明的是，通过联合标定矩阵求解坐标转换关系时，可以利用线性最小二乘法获得最优解。

在一种可能实现的方式中，本申请实施例可通过Autoware中预设的标定工具对相机和激光雷达进行标定。标定可通过以下方式进行：

(1)选取场地足够大的空旷区域，分别在距离智能驾驶汽车远、近和不同方位共计30个位姿放置棋盘格，同时录制棋盘格在相机和激光雷达坐标系下的位姿。需要说明的是，本申请实施例对应位姿的放置不进行限定。

(2)暂停获取数据包，对相机和激光雷达进行标定。在相机平面下的角点，标定工具自动提取棋盘格平面。在激光雷达坐标系下，手动提取棋盘格平面和法向量。

(3)重复步骤(1)，对30个位姿的棋盘格的图像角点和点云中棋盘格的平面和法向量进行提取。

(4)自动进行目标优化并获得优化后的旋转矩阵和平移矩阵，确定用于坐标系转换的联合标定矩阵。

在获取到将点云三维目标检测序列投影至像素坐标系的联合标定矩阵后，服务器会基于该联合标定矩阵，将点云三维目标检测序列投影到图像平面中，得到点云二维目标检测序列。

在一个实施例中，服务器在得到点云二维目标检测序列后，会确定各图像目标对应的图像检测框，及点云二维目标检测序列中的各点云目标对应的点云检测框。针对图像目标检测序列I＝{I₀，I₁，I₂，...，I_i}和点云二维目标检测序列L＝{L₀，L₁，L₂，...，L_j}中的各目标，两两计算图像目标对应的图像检测框和点云目标对应的点云检测框之间的IOU值，即交并比值。然后根据各IOU值，构建图像目标与点云目标之间的关联矩阵，该关联矩阵中的各元素为各图像目标和各点云目标之间的交并比值。之后，服务器会基于上述关联矩阵和匈牙利算法，计算出图像目标与点云目标之间的最优匹配结果。具体地，对序列I和L里的每个目标两两计算IOU值，得到的关联矩阵如公式(8)所示：

其中，I^ij表示图像目标检测序列I中第i个图像检测框，与点云二维目标检测序列L中第j个点云检测框之间的交并比值。

关联矩阵会作为图像目标和点云目标之间的权重值输入至匈牙利算法中，而最终输出的结果为I和L之间的最优匹配结果。假设最优匹配结果为集合{(I₂，L₃)，(I₃，L₅)......(I_i，L_j)}，当得到最优匹配结果时，图像目标与点云目标成功匹配的数量最多，且匹配成功的各图像目标与各点云目标之间的权重和最大。此时，检测到的图像目标与点云目标重合度最高。

至此，服务器便可得到各图像目标与各点云目标之间的匹配关系。若是点云目标与图像目标相匹配，则将该点云目标作为第一点云目标；若是未匹配成功，则将该点云目标作为第二点云目标。

S103、服务器确定第一点云目标及与其相匹配的图像目标为融合目标，并构建由多个融合目标组成的融合目标序列。

通过对图像目标与点云目标进行单帧匹配后，将会获得三类目标，第一类是图像和点云均检测出的目标并且匹配成功的目标，第二类是图像检测出目标但是未能与点云目标序列中的任一目标匹配，第三类是点云检测出目标但是未与任一图像目标匹配。服务器将匹配成功的第一点云目标和图像目标视为融合目标，这是因为当二者成功匹配后，车辆所能检测出的目标会同时具有图像目标的外观信息，以及点云目标的三维信息。多个融合目标可构成融合目标序列。

本申请实施例提供的融合策略需要确保目标在相机和激光雷达中均被检测出来，这样能够有效减少误检现象的发生，提高检测准确率。

S104、服务器针对各第二点云目标，判断第二点云目标对应的置信度是否大于预设置信度阈值，若大于预设置信度阈值，则将第二点云目标作为融合目标添加至所述融合目标序列中。

相机和激光雷达对于目标的检测都存在较高的要求，因此也会存在个别的漏检现象。激光雷达相较于相机来说，具有很高的可信度，但是激光雷达只有遇到实体物体才会发生反射，加之检测出的目标物体需要具备一定的体积，因此，为降低漏检的可能性，服务器对于点云目标检测序列中未与图像目标匹配上的点云目标，如果其置信度大于设定的置信度阈值，则认为该目标存在，并将该目标添加至融合序列中去。

在一个实施例中，由于融合目标序列中的融合目标均具有2D和3D信息，对于未匹配成功且置信度大于预设置信度预置的第二点云目标来说，在将其添加至融合目标序列之前，需将其投影至图像平面中，以获取目标的外观信息即2D信息。这样，添加至融合序列中的第二点云目标便同时具备了点云的三维信息(3D信息)和图像的外观信息(2D信息)。

图4为本申请实施例提供的目标融合策略流程图。如图4所示，点云检测目标携带有点云的3D信息，图像检测目标携带有图像的2D信息，若二者成功匹配，则匹配成功的目标中融合有上述2D和3D信息，该目标可直接做为融合目标。对应未匹配的第二点云目标来说，首先需将其投影至图像平面中，这样第二点云目标在携带原有3D信息的基础上，通过坐标转换也获得了2D信息，那么融合有2D和3D信息的第二点云目标，可作为融合目标添加至融合目标序列中去。也就是说，融合目标序列中存在的不只是匹配成功的图像目标和点云目标，还存在置信度大于预设置信度预置的点云目标，这样在保证了检测准确度的同时，也降低了漏检的可能性。

S105、服务器针对各第一点云目标，根据各第一点云目标及与其相匹配的图像目标分别对应的目标类别、置信度，从相机和所述激光雷达中确定出主传感器。

传统的传感器融合方法通常会设置有信任传感器，当图像目标与点云目标相匹配时，信任传感器所检测到的类别信息就会被认为是最终检测到的目标类别。然而，信任传感器往往是单一传感器，其检测能力存在限制，无法满足多工况下的检测需求。因此，服务器对于匹配成功的第一点云目标和图像目标，不再采用预先设置的信任传感器去确定目标的类别，而是根据不同传感器识别出的目标的置信度，从相机和激光雷达中选出主传感器。主传感器所检测到的目标类别即为最终的融合目标所对应的类别。

具体地，服务器将道路点云信息和道路图像信息输入至分别对应的道路目标检测模型之后，便可得到图像目标和点云目标分别对应的目标类别、置信度。首先，确定各图像目标对应的第一目标类别和第一置信度，以及各第一点云目标对应的第二目标类别和第二置信度，并确定第一目标类别和第二目标类别是否一致。若一致，说明相机和激光雷达检测到的目标类别是一致的，则相机和激光雷达均可作为主传感器。若不一致，服务器会将第一置信度与第二置信度进行比较，并从中选出置信度较大的传感器为主传感器。

通过上述主传感器选择策略，能够实现灵活的融合策略，当遇到强光或者光线较暗时，相机的可靠性下降，此时可以依赖于激光雷达点云对目标的分类。当遇到比如骑行者和行人等体积近似、且特征略有重合的情况时，激光雷达对这两类的识别效果略差于相机，此时可以依赖于相机的检测结果。通过该种策略，能够针对不同场景在线的对主传感器进行选择，改变了原始融合算法中需要预先对主传感器进行离线选择的方式，可以有效的提高融合算法的分类准确率和环境自适应性。

如图5所示的主传感器选择流程图。图像目标检测到的类别为A，置信度为C，点云目标检测到的类别为B，置信度为D。首先对类别A和B进行比较，若A＝B，那么该目标即为A＝B类别。若类别不同，则需要对各传感器的置信度进行比较，当图像检测出的目标置信度C大于等于点云检测出目标的置信度D时，则认为该目标为A类，反之则为B类。

S106、服务器确定融合目标序列中的各融合目标为最终检测到的道路目标，并根据主传感器，确定各道路目标对应的目标类别。

相机对激光雷达对道路进行目标检测，最终的目的就在于通过传感器识别出车辆周围的目标。而最终能够识别到的融合目标分为两类：一类是互相匹配的图像目标和第一点云目标，一类是置信度大于预设置信度阈值的第二点云目标。服务器针对各第一点云目标及与其相匹配的图像目标，确定主传感器对应的目标类别，为各道路目标对应的目标类别。以及，针对融合目标序列中的第二点云目标，确定第二点云目标对应的目标类别，为各道路目标对应的目标类别。也就是说，对于匹配成功的融合目标来说，主传感器对应的类别为最终检测到的道路目标类别；对于未匹配成功的融合目标来说，其对应的目标类别即为最终检测到的道路目标类别。需要说明的是，主传感器和第二点云目标对应的目标类别均包括行人、骑行者和车辆。

在一个实施例中，服务器在确定完道路目标类别后，会将融合目标序列中的各融合目标投影至当前智能车辆对应的世界坐标系中，从而根据融合目标中包含的信息，确定出各融合目标的目标类别，以及各融合目标相对于智能车辆的位置、距离、航向信息，这样，智能车辆便能根据道路目标确定出相应的行动决策。

本申请实施例采用了目标融合策略和主传感器选择策略两种方法对道路目标进行检测。原始融合策略为当图像目标序列和点云目标序列中的目标能够两两匹配上时的目标为融合目标，将该算法称为未改进的融合算法。并且依据信任传感器的不同，分为以激光雷达为主的融合策略和以相机为主的融合策略。为了提高算法的自适应性，本申请实施例不再预先设定最信任传感器，而是采用主传感器选择策略，此时的算法称为改进的融合算法。此外，由于未改进的融合算法，认为目标融合成功的充分条件是相机和激光雷达均能检测出此目标，但在本申请实施例中认为，激光雷达具备很高的可信度，因此激光雷达检测出的目标也是融合的目标，可以将该目标投影到2D图像平面获得目标的外观信息，此时的算法称为改进的融合算法Plus，该四种融合策略的效果对比如下表所示。

表1、四种融合策略的对比结果

加入主传感器选择策略的改进的融合算法相对于以相机为主的未改进融合算法基本没有太大的提升，而相对于以激光雷达为主的未改进融合算法有较大的提升。这是因为在KITTI数据集的测试场景中，大部分是光照充足的环境，在对目标进行检测和分类时，相机具备较高的可信任度，所以在本文加入主传感器融合策略对可信任的传感器进行自适应选择时，对于相机为主的为融合算法没有太大提升，而对以激光雷达为主的融合算法有较大的修正。但当激光雷达的可信度高于相机时，比如夜晚环境时，相机在大多数情况下失效，改进的融合算法能够自适应的选择激光雷达的检测结果，此时，检测效果会有较大的提升。由此可见，改进的融合算法能够有效的自适应不同环境和气候条件下的目标检测，自主的对可信任的传感器进行调整，保障目标检测效果大于或者等于图像和点云检测效果中较高的水平。

改进的融合算法Plus相比于改进的融合算法在Car上检测准确率的提升有约2％，在Pedestrian上有约0.5％的提升，总体上有0.9％的提升，改进的融合算法Plus在Car类上准确率的提升还是比较显著的，说明改进的融合算法Plus在一定的程度上能够减少漏检问题的发生。

综合上述分析，可以认为增加了自适应传感器选择的主传感器选择策略有利于提高融合算法的环境自适应性和鲁棒性。目标融合策略能够有效提高算法对于车辆的检测准确率，有效减少漏检问题的发生，如果要进一步提高行人和骑行者的融合算法检测准确率，需要提高点云检测算法对于该两个分类的检测准确率。

下面根据改进的融合算法Plus在KITTI数据集上随机选取其中一个场景，测试相机和激光雷达的融合效果。图6为图像目标检测结果示意图，图7为点云目标检测结果示意图，图8为融合目标检测结果示意图。如图6、7、8所示，由于遮挡问题和光照问题，图像目标检测结果漏检了三辆汽车，点云目标检测结果将行人误识别为骑行者，融合目标检测结果对二个检测结果进行了修正，能够将目标物体比较完全的检测出来，且分类正确。

图9为本申请实施例提供的一种相机和激光雷达的多源异构传感器融合方法及设备设备结构示意图。如图9所示，设备储有计算机可执行指令，其特征在于，计算机可执行指令设置为：如上所述的一种相机和激光雷达的多源异构传感器融合方法。

本申请中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于设备实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。

还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、商品或者设备中还存在另外的相同要素。

以上所述仅为本申请的实施例而已，并不用于限制本申请。对于本领域技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原理之内所作的任何修改、等同替换、改进等，均应包含在本申请的权利要求范围之内。

Claims (10)

1.一种相机和激光雷达的多源异构传感器融合方法，其特征在于，所述方法包括：

根据相机采集到的道路图像信息和激光雷达采集到的道路点云信息，确定所述相机对应的图像目标检测序列，及所述激光雷达对应的点云三维目标检测序列；其中，所述图像目标检测序列中包括若干图像目标，所述点云三维目标检测序列中包括若干点云目标；

计算各所述图像目标与各所述点云目标之间的最优匹配结果，并根据所述最优匹配结果，分别确定与所述图像目标匹配成功的第一点云目标，以及与所述图像目标匹配不成功的第二点云目标；

确定所述第一点云目标及与其相匹配的图像目标为融合目标，构建由多个融合目标组成的融合目标序列；

针对各所述第二点云目标，判断所述第二点云目标对应的置信度是否大于预设置信度阈值，若大于所述预设置信度阈值，则将所述第二点云目标作为融合目标添加至所述融合目标序列中；

针对各所述第一点云目标，根据各所述第一点云目标及与其相匹配的图像目标分别对应的目标类别、置信度，从所述相机和所述激光雷达中确定出主传感器；

确定所述融合目标序列中的各融合目标为最终检测到的道路目标，并根据所述主传感器，确定各所述道路目标对应的目标类别。

2.根据权利要求1所述的一种相机和激光雷达的多源异构传感器融合方法，其特征在于，根据各所述第一点云目标及与其相匹配的图像目标分别对应的目标类别、置信度，从所述相机和所述激光雷达中确定出主传感器，具体包括：

分别确定各所述图像目标对应的第一目标类别和第一置信度，以及各所述第一点云目标对应的第二目标类别和第二置信度，并确定所述第一目标类别和所述第二目标类别是否一致；

在所述第一目标类别和所述第二目标类别一致的情况下，确定所述相机和所述激光雷达均为主传感器；

在所述第一目标类别和所述第二目标类别不一致的情况下，将所述第一置信度与所述第二置信度进行比较，以确定所述第一置信度和所述第二置信度中置信度更高的传感器为主传感器。

3.根据权利要求2所述的一种相机和激光雷达的多源异构传感器融合方法，其特征在于，确定所述融合目标序列中的各融合目标为最终检测到的道路目标，并根据所述主传感器，确定各所述道路目标对应的目标类别，具体包括：

所述融合目标包括第一点云目标及与其相匹配的图像目标，以及置信度大于预设置信度阈值的第二点云目标；

针对各所述第一点云目标及与其相匹配的图像目标，确定所述主传感器对应的目标类别，为各所述道路目标对应的目标类别；

针对所述融合目标序列中的第二点云目标，确定所述第二点云目标对应的目标类别，为各所述道路目标对应的目标类别。

4.根据权利要求1所述的一种相机和激光雷达的多源异构传感器融合方法，其特征在于，计算各所述图像目标与各所述点云目标之间的最优匹配结果之前，所述方法还包括：

基于预先确定的联合标定矩阵，将所述点云三维目标检测序列投影至图像平面中，得到点云二维目标检测序列；其中，所述联合标定矩阵是基于预设的标定工具，对相机和激光雷达进行联合标定得到的。

5.根据权利要求4所述的一种相机和激光雷达的多源异构传感器融合方法，其特征在于，计算各所述图像目标与各所述点云目标之间的最优匹配结果，具体包括：

确定各所述图像目标对应的图像检测框，及所述点云二维目标检测序列中的各点云目标对应的点云检测框；

针对所述图像目标检测序列中的各图像目标，根据所述图像检测框和所述点云检测框，计算各所述图像目标与各所述点云目标之间的交并比值，以得到所述图像目标与所述点云目标之间的关联矩阵；其中，所述关联矩阵包括各所述图像目标与各所述点云目标之间的交并比值；

基于所述关联矩阵，计算各所述图像目标与各所述点云目标之间的最优匹配结果。

6.根据权利要求1所述的一种相机和激光雷达的多源异构传感器融合方法，其特征在于，确定所述相机对应的图像目标检测序列，及所述激光雷达对应的点云三维目标检测序列之后，所述方法还包括：

通过智能车辆上设置的车载工控机，对所述图像目标检测序列和所述点云三维目标检测序列设置相应的时间戳；

以所述点云三维目标检测序列的时间戳为基准，从所述图像目标检测序列中，确定与所述点云三维目标检测序列的时间戳差值最小的图像目标，以对相应的道路图像信息和道路点云信息进行时间同步。

7.根据权利要求1所述的一种相机和激光雷达的多源异构传感器融合方法，其特征在于，所述融合目标包括目标类别、二维平面信息、空间位置信息、航向信息以及距离信息；

在确定各所述道路目标对应的目标类别之后，所述方法还包括：

将所述融合目标序列中的各融合目标投影至当前智能车辆对应的世界坐标系中，确定各所述融合目标相对于所述智能车辆的位置、距离、航向信息；

根据各融合目标对应的目标类别，以及所述相对于所述智能车辆的位置、距离、航向信息，确定所述智能车辆在当前时刻的行动决策。

8.根据权利要求1所述的一种相机和激光雷达的多源异构传感器融合方法，其特征在于，根据相机采集到的道路图像信息和激光雷达采集到的道路点云信息，确定所述相机对应的图像目标检测序列，及所述激光雷达对应的点云三维目标检测序列，具体包括：

将所述道路图像信息和所述道路点云信息分别输入至对应的预先训练好的道路目标检测模型中；

根据各所述预先训练好的道路目标检测模型，分别确定各图像目标、各所述图像目标对应的目标检测信息，以及各点云目标、各所述点云目标对应的目标检测信息；其中，所述图像目标的目标检测信息包括图像目标的类别、中心点像素坐标及长宽尺寸，所述点云目标的目标检测信息包括点云目标的类别、中心点空间坐标及长宽高尺寸。

9.根据权利要求1所述的一种相机和激光雷达的多源异构传感器融合方法，其特征在于，将所述第二点云目标作为融合目标添加至所述融合目标序列中之前，所述方法还包括：

将置信度大于预设置信度阈值的各第二点云目标投影至图像平面中，以获取各所述第二点云目标的外观信息。

10.一种相机和激光雷达的多源异构传感器融合设备，储有计算机可执行指令，其特征在于，所述计算机可执行指令设置为：

如权利要求1-9中任一项所述的一种相机和激光雷达的多源异构传感器融合方法。

Images