CN113239726A - 基于着色点云的目标检测方法、装置和电子设备 - Google Patents

Abstract

本申请实施例提供了一种基于着色点云的目标检测方法、装置和电子设备，基于着色点云的目标检测方法包括：首先对雷达及相机采集到的运行场景数据进行融合运算，获得能够感知场景的目标着色点云数据；然后将目标着色点云数据输入至训练好的目标检测模型进行运算，输出运行场景的检测结果。本申请实施例首先基于前融合策略将相机和雷达采集到的运行场景数据进行融合获得目标着色点云数据，目标着色点云数据同时保留了纹理信息和空间位置信息，然后再通过训练好的目标检测模型对目标着色点云数据进行基于神经网络的推算，获得每个目标的位置和类别，从而能够高效且准确地对车辆运行场景进行目标检测，获得检测结果。

Description

基于着色点云的目标检测方法、装置和电子设备

技术领域

本申请涉及人工智能技术，具体地，涉及一种基于着色点云的目标检测方法、装置和电子设备。

背景技术

随着传感器、大数据和人工智能领域的快速发展，在此基础上发展的无人驾驶技术也成为近年来学术界和工业界的研究热点之一。

当前的无人驾驶技术主要采用“感知—决策—控制”的传统控制闭环实现的。其中，无人驾驶感知技术为控制闭环的第一步，是无人驾驶智能化控制的关键步骤之一，用于对车辆运行场景中的目标(如行人、车辆、骑行者等)进行识别和检测，也对后续的决策和车辆控制起决定性作用。

由于单一传感器感知性能较弱，无法保证极端情况下的目标检测结果的准确性，因此为了提高无人驾驶的安全性，目前大多采用多传感器数据融合的方式来进行目标检测等环境感知任务。

但目前的多传感器融合方式需要在各个传感器独立采集数据后再将采集到的数据投影到相同坐标系中，计算量较大，并且还需要解决各个传感器的采集结果频率不统一、数据量差异、感知歧义消除等问题，导致系统复杂性高。

因此，如何高效地对车辆运行场景进行数据融合增强，进而完成目标检测是本领域目前需要解决的问题。

发明内容

本申请实施例中提供了一种基于着色点云的目标检测方法、装置和电子设备，用于解决目前的目标检测方法的计算量大、实现方式复杂的问题。

根据本申请实施例的第一个方面，提供了一种基于着色点云的目标检测方法，所述方法包括：

对雷达及相机采集到的运行场景数据进行前融合运算，获得目标着色点云数据；

将所述目标着色点云数据输入至训练好的目标检测模型进行运算，输出所述运行场景的检测结果。

根据本申请实施例的第二个方面，提供了一种基于着色点云的目标检测装置，所述装置包括：

融合模块，用于对雷达及相机采集到的运行场景数据进行前融合运算，获得目标着色点云数据；

目标检测模块，用于将所述目标着色点云数据输入至训练好的目标检测模型进行运算，输出所述运行场景的检测结果。

根据本申请实施例的第三个方面，提供了一种电子设备，包括：处理器、存储器和总线，所述存储器存储有所述处理器可执行的机器可读指令，当所述电子设备运行时，所述处理器与所述存储器之间通过所述总线通信，所述机器可读指令被所述处理器执行时执行上述的基于着色点云的目标检测方法。

根据本申请实施例的第四个方面，提供了一种存储介质，所述存储介质上存储有计算机程序，所述计算机程序被处理器运行时执行上述的基于着色点云的目标检测方法。

本申请实施例提供了一种基于着色点云的目标检测方法、装置和电子设备，基于着色点云的目标检测方法包括：首先对雷达及相机采集到的运行场景数据进行融合投影运算，获得目标着色点云数据；然后将目标着色点云数据输入至训练好的目标检测模型进行运算，输出运行场景的检测结果。本申请实施例首先基于前融合策略将相机和雷达采集到的车辆运行场景数据进行融合，获得感知环境的目标着色点云数据，然后再通过训练好的目标检测模型对目标着色点云数据进行运算，从而能够高效准确地对车辆运行场景进行目标检测，获得检测结果。

附图说明

此处所说明的附图用来提供对本申请的进一步理解，构成本申请的一部分，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。在附图中：

图1为本申请实施例提供的电子设备的结构示意图；

图2为本申请实施例提供的基于着色点云的目标检测方法的流程图之一；

图3为本申请实施例提供的步骤S11的子步骤流程图；

图4为本申请实施例提供的雷达相机融合系统硬件示意图；

图5为本申请实施例提供的地面过滤和投影的示意图；

图6为本申请实施例提供的步骤S113的子步骤流程图；

图7为本申请实施例提供的步骤S12的子步骤流程图；

图8为本申请实施例提供的P-LocST逐点编码模块的示意图；

图9为本申请实施例提供的基于着色点云的目标检测方法的流程图之二；

图10为本申请实施例提供的基于着色点云的目标检测方法与其他算法的检测速度(FPS)对比图；

图11为本申请实施例提供的基于着色点云的目标检测装置的功能模块图。

图标：10-电子设备；11-处理器；12-存储器；13-总线；110-基于着色点云的目标检测装置；1101-融合模块；1102-目标检测模块。

具体实施方式

在实现本申请的过程中，发明人发现由于单一传感器感知性能较弱，因此为了提高无人驾驶的安全性，目前大多采用的是融合多个传感器的数据的方式来进行目标检测等环境感知任务。目前的多传感器融合策略主要分为前融合策略和后融合策略。

在后融合策略中各个传感器独立采集数据后再将采集到的数据投影到相同坐标系中，这种融合策略不但计算量大，还需要解决各个传感器的采集结果频率不统一、数据量差异、感知歧义消除等问题。

因此，发明人发现在进行目标检测任务之前通过前融合策略将不同传感器数据进行同步和统一映射比后融合策略的效率更高，减轻后期融合开销。

但不同车载传感器的感知功能、数据特征和结构、采样频率都各不相同，现有技术的前融合策略主要是将数据统一到近似人眼感知的图像二维空间，便于模拟类人视觉感知模式设计算法。这种投影方式一方面会丢失非相机成像区域的数据，另一方面是二维图像而丧失了关键的空间分布信息。因此，基于这种前融合策略的感知结果还需要额外的反投影技术进行三维还原，也会在不同程度上丢失关键感知信息，且实现起来较为复杂。

针对上述问题，本申请实施例提供了一种基于着色点云的目标检测方法、装置和电子设备，基于着色点云的目标检测方法包括：首先对雷达及相机采集到的数据进行融合运算，获得目标着色点云数据；然后将目标着色点云数据输入至训练好的目标检测模型进行运算，输出所述目标着色点云数据的检测结果。本申请实施例首先基于前融合策略将相机和雷达采集到的车辆运行场景数据进行融合获得目标着色点云数据，然后再通过训练好的目标检测模型对目标着色点云数据进行深度学习，从而能够高效准确地对车辆运行场景进行目标检测，获得检测结果。

为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。通常在此处附图中描述和展示的本申请实施例的组件可以以各种不同的配置来布置和设计。

因此，以下对在附图中提供的本申请的实施例的详细描述并非旨在限制要求保护的本申请的范围，而是仅仅表示本申请的选定实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

请参照图1，图1为本申请实施例提供的电子设备10的结构示意图。本申请实施例提供的基于着色点云的目标检测方法应用于图1中的电子设备10，该电子设备10可以通过以太网接口或USB接口等连接方式与车载传感器连接，用于获取车载传感器采集到的数据，其中车载传感器包括至少一个相机和环视激光雷达，相机用于采集车辆四周的图像数据，雷达则用于获取车辆四周的激光点云数据，电子设备10根据雷达和相机采集到的数据进行目标检测，获得车辆运行场景中的各个检测结果，例如行人、车辆和骑行者等。

在图1中，电子设备10包括：处理器11、存储器12和总线13，存储器 12存储有处理器11可执行的机器可读指令，当电子设备10运行时，11处理器与存储器12之间通过总线13通信，机器可读指令被处理器11执行时执行本申请实施例提供的基于着色点云的目标检测方法，以检测道路上的汽车、行人、骑行者等目标。

下面结合附图对本申请实施例提供的基于着色点云的目标检测方法进行进一步说明。

请参照图2，图2为本申请实施例提供的基于着色点云的目标检测方法的流程图之一。该方法应用于图1中的电子设备10，包括以下步骤：

步骤S11，对雷达及相机采集到的运行场景数据进行前融合运算，获得目标着色点云数据。

步骤S12，将目标着色点云数据输入至训练好的目标检测模型进行运算，输出运行场景的检测结果。

在上述步骤中，当无人驾驶汽车启动后，雷达、相机及电子设备10通电自启，雷达及相机将采集到的道路场景的数据发送至电子设备10，电子设备 10根据接收到的数据进行处理。其中，电子设备10中设置有预先训练好的目标检测模型。

本申请实施例在进行目标检测时，首先将雷达采集到的数据和相机采集到的运行场景数据进行前融合运算，获得目标着色点云数据，并将目标着色点云数据输入至训练好的目标检测模型中进行运算，从而获得检测结果，能够高效地对车辆运行场景进行目标检测，获得检测结果。

可选地，请参照图3，图3为本申请实施例提供的步骤S11的子步骤流程图。在本实施例中，步骤S11包括：

步骤S111，基于多传感器数据前融合标定算法对雷达采集到的激光点云数据及相机采集到的图像数据进行标定，获得外参矩阵。

步骤S112，通过地面过滤算法对激光点云数据进行过滤。

步骤S113，基于外参矩阵将相机采集到的图像数据投影到过滤后的激光点云数据所在的三维空间坐标系中，获得目标着色点云数据。

在上述步骤中，如图4所示，图4为本申请实施例提供的雷达相机融合系统硬件示意图。在图4中，雷达相机融合系统可以包括一个环视激光雷达以及至少一个相机。

请结合参照图5，图5为本申请实施例提供的地面过滤和投影的示意图。电子设备10首先获取相机采集到的图像数据及环视激光雷达采集到的激光点云数据，并基于多传感器数据前融合标定算法对图像数据和激光点云数据进行标定和投影，获得外参矩阵E(R,T)，其中，R为旋转矩阵，T为三维空间平移向量。值得说明的是，当环视激光雷达和多个相机组成融合系统时，需要获取每一个相机与环视激光雷达之间的外参矩阵。然后基于地面过滤算法对激光点云点云数据进行过滤，以筛除属于地面的无效的激光点云数据。在过滤点云数据之后，基于标定结果(即外参矩阵)对时间同步(即相同时间戳)的采样数据进行投影，即将相机采集到的二维图像数据投影到雷达采集到的激光点云数据所在的三维空间坐标系中，从而获得目标着色点云数据。

具体地，在本实施例中，步骤S112，通过地面过滤算法对激光点云数据进行过滤的步骤包括：随机获取一个初始平面，针对激光点云数据中的每一个点，计算该点到平面的正交投影距离；判断正交投影距离是否小于预设阈值；若是，则判定该点在平面上；若否，在判定该点不在平面上。

重复上述步骤，计算各个平面上的点的数量；将包括有点最多的平面设置为地面；过滤点云中被判定为地面的点，以获得目标着色点云数据。

在上述步骤中，地面过滤算法首先随机选择激光点云数据中的一组高度较低的点云，然后基于随机选择的激光点云构成初始平面，然后计算激光点云数据中的每一个点到该初始平面的正交投影距离，根据正交投影距离的阈值判断该点是否位于平面上。基于同样的步骤，获取多个不同的平面，并计算每个平面上包括的点的数量，将包括有点数量最多的平面设置为地面，并对点云中被判定为地面的点进行过滤，以筛除属于地面的激光点云数据。

进一步地，请参照图6，图6为本申请实施例提供的步骤S113的子步骤流程图。在本实施例中，步骤S113具体包括：

步骤S1131，将图像数据包括的每一个像素投影到激光点云数据所在的三维空间坐标系中。

步骤S1132，针对图像数据包括的每一个像素，判断是否存在与该像素匹配的激光点云数据。

步骤S1133，若存在，将该像素与激光点云数据的坐标信息合并，获得三维着色点云数据。

步骤S1134，若不存在，丢弃该像素。

在上述步骤中，每一帧图像数据包括多个像素，在进行标定投影时，需要将图像数据包括的每一个像素都投影到激光点云数据所在的三维空间坐标系中，针对每一个像素点，都需要判断激光点云数据中是否存在与该像素匹配的激光点云，如果存在，则将该像素的信息与匹配的激光点云的信息进行合并，从而获得三维着色点云数据，如果不存在，则直接将该像素点丢弃。由于图像像素可采用不同色彩空间表征，可利用色彩空间转换将常用的RGB色彩转化为其它色彩空间结果进行点云着色。

上述实施例通过地面过滤算法能够消除对检测结果贡献不大的地面激光点云数据，大大降低了后续目标检测模型的计算量，降低后续对融合特征的计算负载，提高了目标检测效率。

可选地，请参照图7，图7为本申请实施例提供的步骤S12的子步骤流程图。在本实施例中，目标检测模型包括逐点编码模块、混合体素编码模块及多任务检测模块，步骤S12包括：

步骤S121，通过逐点编码模块对输入的目标着色点云数据进行逐点编码，获得目标着色点云数据的高维点云特征。

步骤S122，通过混合体素编码模块对高维点云特征进行空间压缩编码，获得目标着色点云数据的高维稠密全局特征。

步骤S123，通过多任务检测模块根据高维稠密全局特征计算目标着色点云数据中的目标信息，输出运行场景的检测结果。

在上述步骤中，请结合参照图7，图7为本申请实施例提供的目标检测模型的处理流程示意图。在本实施例中，目标检测模型的输入为目标着色点云数据，目标检测模型对输入的目标着色点云进行逐点编码，该编码过程不会改变点云的数量和顺序，仅通过邻居点云的信息进行点云编码增强。

可选地，在本实施例中，逐点编码模块可以是P-LocST逐点编码模块，该模块包括近邻背景点搜索模块、局部空间纹理编码模块和注意力池化模块。请结合参照图8，图8为本申请实施例提供的P-LocST逐点编码模块的示意图。

具体地，在本实施例中，步骤S121，对输入的目标着色点云数据进行逐点编码的步骤包括：针对目标着色点云数据中的每一个点，获取该点的多个邻居点云；对多个邻居点云的空间信息和纹理信息进行编码，获得该点与各个邻居点云的空间特征和纹理特征；通过注意力池化层对空间特征和纹理特征进行加权优化，获得目标着色点云数据的高维点云特征，其中，高维点云特征包含邻居点云的空间特征和纹理特征。

具体地，在上述步骤中，针对目标着色点云数据中的每一个点，在该点的附近搜索当前点周围的K个邻居点云，其中，为了避免地面过滤算法可能将部分有效点云(如车辆的轮胎、行人的脚和腿)错误过滤，因此，搜索的点云可以为未进行地面过滤的原始点云数据，近邻背景点搜索模块通过在原始点云进行背景搜索可以弥补地面过滤算法误删的部分点。然后基于当前搜索点云的K 个邻居点云进行空间信息和纹理信息的双重编码，编码公式为：

其中，S_i(x_i，y_i，z_i)为当前点云i的空间信息，

为邻居点云k的空间信息，

表示点云i到邻居点云k的空间坐标的距离，

表示点云到邻居点云k的空间几何距离；T_i(L_i，a_i，b_i)表示当前点云i的纹理信息，

表示邻居点云k的纹理信息，

表示点云i与邻居点云k的色彩纹理信息，ΔE表示点云i与邻居点云k的色彩差异。通过特征向量拼接运算

将上述特征拼接，作为对当前点云的空间纹理特征编码，即

和

最后，通过注意力池化(Attentive Pooling，A-Pooling)层对空间特征和纹理特征进行加权优化，获得目标着色点云数据的高维点云特征，其中，注意力池化层为一个基于softmax函数和激活函数的网络层，通过叠加多个多层感知机(MLP)增强拟合能力，并基于深度学习对特征进行加权优化，利用神经网络参数学习最优权重，获得新的加权特征编码

可选地，在本实施例中，目标检测模型可以叠加多个注意力池化层加深网络，来增强目标检测模型的特征拟合能力，但需要同时考虑计算时间复杂度。在输出最终的检测结果前，最后一层注意力池化层的输出与来自目标检测模型早期的特征进行残差求解(Residual)，通过残差计算代替直接求解可以降低拟合难度，防止梯度消失；此外，通过多层池化叠加也可以扩展单个点云的搜索邻域空间，增加编码空间范围(若叠加一层注意力池化层时，邻域空间编码范围为点云i的K个邻居点云；若叠加两层注意力池化层，则邻域空间编码范围为K²，以此类推)。

在步骤S121对目标着色点云数据进行逐点编码之后，增加了点云数据的总体特征，然后基于体素化(Voxelization)得到空间体素表征，进一步利用体素编码压缩特征空间，增加网络深度，提升网络拟合表达能力。

在上述步骤中，P-LocST逐点编码模块通过近邻背景点搜索，对过滤后的点云在原始点云进行近邻搜索，来弥补地面过滤错误消除的有效点，但不会显著增加计算资源。同时，通过空间信息和纹理信息的双重编码也增强了点云的表征能力。另外，通过调整多层注意力池化叠加扩展编码搜索范围，结合多层 MLP叠加模式还可以降低计算量。

可选地，在本实施例中，混合体素编码模块包括基于稀疏子流的三维体素编码模块和基于鸟瞰图的普通二维卷积模块。首先，基于稀疏子流的三维体素编码模块通过子流空洞扩张和稀疏卷积对体素进行特征图压缩，扩张通道。当体素的高度维度仅包含2个单位时将总体特征投影到鸟瞰图，利用普通二维卷积模块对鸟瞰图进行卷积和逆卷积的特征编码，输出合并的两次逆卷积特征拼接结果，如表1所示：

表1混合体素编码网络架构

其中，X_b,X_w,X_h为任意常数，具体数值与体素编码的空间分辨率有关；同时，网络架构的通道数和步长仅为一种示例性说明，在本申请实施例的其他实施方式中，其值可以根据需要进行适应性调整，在此不对网络架构的通道数和步长的值进行具体限定。

进一步地，在本实施例中，多任务检测回归模块包括拟合目标类别的分类任务、拟合目标位置、大小与朝向的回归任务和拟合目标方向的分类任务。

拟合目标类别的分类任务用于获得目标的类别，拟合目标位置大小与朝向的任务用于获得目标的三维标定框中心点坐标[x，y，z]、框大小[w，h，l]以及朝向θ。

在本实施例的拟合目标朝向任务中，将朝向值θ设置于在0到π之间，这使得朝向值为θ与2π-θ的两个检测框在本实施例中会被预测为同一检测框，但实际这两个检测框并不相同，故本实施例还增加了拟合目标方向的分类任务，目标方向的真值d∈[-1,1]，当朝向真实值为θ∈[0,π]时，目标方向为1，否则为-1。

在上述步骤中，混合体素编码模块首先通过传统体素编码，结合稀疏子流卷积和三维稀疏卷积能够在更大的空间尺度对着色点云数据进行深度编码，增强特征的表征能力，最后结合检测层，能够高效地完成三维目标检测任务。

可选地，请参照图9，图9为本申请实施例提供的基于着色点云的目标检测方法的流程图之二。在本实施例中，基于着色点云的目标检测方法还包括：步骤S13，对目标检测模型进行训练。

可选地，在本实施例中，步骤S13具体包括：

获取训练样本集，其中，训练样本集包括多个被标记的目标；将训练样本集输入到模型中进行迭代训练，计算Loss函数的值；当Loss函数收敛时结束迭代训练，获得训练好的目标检测模型。

在本实施例提供的模型训练的过程中，首先需要构建具有人工标定结果的训练样本集，每个训练样本集上都被标记了检测结果的位置和类别，例如行人、车辆等，然后将训练样本集输入到初始的模型中开始模型训练，使得模型基于 Loss函数完成收敛，当Loss函数收敛后，即可获得训练好的目标检测模型。

具体地，在模型训练过程中，基于上述步骤输出的目标着色点云数据的高维点云特征，以及人工标定的当前帧中包含的目标标签(目标类别C、目标的三维标定框中心点坐标[x，y，z]以及标定框大小[w，h，l]，朝向θ∈[0,π],和目标方向d∈[-1,1])，对上述三个任务进行Loss求解，并通过反向传播和随机梯度下降调整目标检测模型中的MLP和各卷积模块的模型参数，使得三个任务的总Loss函数不断下降，直至Loss函数收敛，获得最终的模型参数。

在通过目标检测模型实时检测时，同步获取对应时间戳下的雷达点云和图像数据，基于上述操作对雷达点云和图像数据进行预处理之后，获取目标着色点云数据，将目标着色点云数据输入给嵌入了训练得到的参数的目标检测模型 PV-EncoNet进行运算，目标检测模型输出当前数据帧中每个目标(车辆、行人和骑行者等)的检测结果(目标类别及检测框)，若当前数据帧不存在动态目标则输出的检测结果为空。

具体地，在进行目标检测时，将目标着色点云数据输入至目标检测模型，目标检测模型直接通过训练好的参数，对上述三个任务进行运算，获得运算结果，即当前帧包含的检测结果，其中，检测结果具体包括每个目标的类别、其三维标定框中心点坐标[x，y，z]、框大小[w，h，l]、朝向θ和目标方向d。其中，多任务检测回归模块的损失函数L为拟合目标类别的损失函数L_cls、拟合目标位置和大小的损失函数L_reg2LD、目标朝向的损失函数L_reg-θ和拟合目标方向(向前/向后)的分类任务的损失函数L_dir的加权和，计算如下：

L＝L_cls+α_r*(L_reg-θ+L_reg-LD)+β_rL_dir；

L_reg-θ＝SmoothL1(sin(p_t-q_t))

L_reg-LD＝SBoothL1((p_t-q_t))

L_dir＝p_tlog(q_t)+(1-p_t)log((1-q_t))

其中，α_r＝2，β_r＝0.2，α_c＝0.25，β_c＝2，

p_t为目标检 测模型对训练样本集的预测结果，q_t为训练样本集的人工标定标签， 具体地，在L_cls中p_t为目标预测为某类别的概率；L_reg-θ中p_t为目标检 测模型的预测朝向结果，q_t为目标的人工标定朝向标签；L_reg-LD中p_t为 目标检测模型的预测三维检测框的中心点位置或框大小结果，q_t为目 标的人工标定三维检测框的中心点位置或框大小标签；L_dir中p_t为目标 检测模型的预测方向结果，q_t为目标的人工标定方向标签。

值得说明的是，以上所述的α_r、β_r、α_c、β_c及β的值仅为一种示例性说明，在本申请实施例的其他实施方式中，α_r、β_r、α_c、β_c及β的值可以根据需要进行适应性调整，在此不对α_r、β_r、α_c、β_c及β的值进行具体限定。

综上所述，本申请实施例提供了一种基于着色点云的目标检测方法，基于着色点云的目标检测方法包括：首先对雷达及相机采集到的数据进行融合运算，获得目标着色点云数据；然后将目标着色点云数据输入至训练好的目标检测模型进行运算，输出所述目标着色点云数据的检测结果。本申请实施例通过训练好的目标检测模型直接对相机和雷达采集到的数据融合获得的目标着色点云数据进行深度学习，从而能够高效地对车辆运行场景进行目标检测，获得检测结果。如图10所示，图10为本申请实施例提供的基于着色点云的目标检测方法与其他算法的目标检测速度对比图。

除此之外，通过地面过滤算法进一步消除对检测贡献不大的点云，能够消除约40-50％的总体数据规模。另外，逐点编码模块通过近邻背景点搜索，对过滤后的点云在原始点云进行近邻搜索，来弥补地面过滤错误消除的有效点，但不会显著增加计算资源。同时，通过空间信息和纹理信息的双重编码也增强了点云的表征能力。另外，通过调整多层注意力池化叠加扩展编码搜索范围，结合多层MLP叠加模式还可以降低计算量。

混合体素编码模块通过传统体素编码，结合稀疏子流卷积和三维稀疏卷积能够在更大的空间尺度对着色点云数据进行深度编码，增强特征的表征能力，最后结合检测层，能够高效地完成三维目标检测任务。

请参照图11，图11为本申请实施例提供的基于着色点云的目标检测装置 110的功能模块图。在本实施例中，基于着色点云的目标检测装置110包括：

融合模块1101，用于对雷达及相机采集到的运行场景数据进行前融合运算，获得目标着色点云数据。

目标检测模块1102，用于将目标着色点云数据输入至训练好的目标检测模型进行运算，输出运行场景的检测结果。

可选地，在本实施例中，所述融合模块1101具体用于：

基于多传感器数据前融合标定算法对所述雷达采集到的激光点云数据及所述相机采集到的图像数据进行标定，获得外参矩阵；通过地面过滤算法对所述激光点云数据进行过滤；基于所述外参矩阵将所述相机采集到的图像数据投影到过滤后的激光点云数据所在的三维空间坐标系中，获得目标着色点云数据。

可选地，在本实施例中，所述目标检测模块1102具体用于：

对输入的所述目标着色点云数据进行逐点编码，获得所述目标着色点云数据的高维点云特征；对所述高维点云特征进行空间压缩编码，获得所述目标着色点云数据的高维稠密全局特征；根据所述高维稠密全局特征计算所述目标着色点云数据中的目标信息，获得所述运行场景的检测结果。

值得说明的是，基于着色点云的目标检测装置110中各个模块的工作原理及流程可参照前述提供的基于着色点云的目标检测方法，在此不再赘述。

可选地，本申请实施例还提供了一种存储介质，存储介质上存储有计算机程序，所述计算机程序被处理器运行时执行上述的目标检测方法。

本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、 CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本申请是参照本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和 /或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

尽管已描述了本申请的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例作出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本申请范围的所有变更和修改。

显然，本领域的技术人员可以对本申请进行各种改动和变型而不脱离本申请的精神和范围。这样，倘若本申请的这些修改和变型属于本申请权利要求及其等同技术的范围之内，则本申请也意图包含这些改动和变型在内。

Claims (11)

1.一种基于着色点云的目标检测方法，其特征在于，所述方法包括：

对雷达及相机采集到的运行场景数据进行前融合运算，获得目标着色点云数据；

将所述目标着色点云数据输入至训练好的目标检测模型进行运算，输出所述运行场景的检测结果。

2.根据权利要求1所述的方法，其特征在于，所述对雷达及相机采集到的运行场景数据进行前融合运算，获得目标着色点云数据，包括：

基于多传感器数据前融合标定算法对所述雷达采集到的激光点云数据及所述相机采集到的图像数据进行标定，获得外参矩阵；

通过地面过滤算法对所述激光点云数据进行过滤；

基于所述外参矩阵将所述相机采集到的图像数据投影到过滤后的激光点云数据所在的三维空间坐标系中，获得目标着色点云数据。

3.根据权利要求2所述的方法，其特征在于，所述通过地面过滤算法对激光点云数据进行过滤，包括：

随机获取一个初始平面，针对所述激光点云数据中的每一个点，计算所述点到所述平面的正交投影距离；

当所述正交投影距离小于预设阈值时，判定所述点在所述平面上；

当所述正交投影距离大于或等于预设阈值时，判定所述点不在所述平面上；

重复上述步骤，计算各个平面上的点数量；

将包括有点最多的平面设置为地面；

过滤所述地面包括的点，以获得过滤后的激光点云数据。

4.根据权利要求2所述的方法，其特征在于，所述基于所述外参矩阵将所述相机采集到的图像数据投影到过滤后的激光点云数据所在的三维空间坐标系中，获得目标着色点云数据，包括：

将所述图像数据包括的每一个像素投影到所述激光点云数据所在的三维空间坐标系中；

针对所述图像数据包括的每一个像素，判断是否存在与所述像素匹配的激光点云数据；

若存在，将所述像素与所述激光点云数据的坐标信息合并，获得三维着色点云数据；

若不存在，丢弃所述像素。

5.根据权利要求1所述的方法，其特征在于，所述目标检测模型包括逐点编码模块、混合体素编码模块及多任务检测模块，所述将所述目标着色点云数据输入至训练好的目标检测模型进行运算，输出所述运行场景的检测结果，包括：

通过所述逐点编码模块对输入的所述目标着色点云数据进行逐点编码，获得所述目标着色点云数据的高维点云特征；

通过所述混合体素编码模块对所述高维点云特征进行空间压缩编码，获得所述目标着色点云数据的高维稠密全局特征；

通过所述多任务检测模块根据所述高维稠密全局特征计算所述目标着色点云数据中的目标信息，获得所述运行场景的检测结果。

6.根据权利要求5所述的方法，其特征在于，所述对输入的所述目标着色点云数据进行逐点编码，获得所述目标着色点云数据的高维点云特征，包括：

针对所述目标着色点云数据中的每一个点，获取所述点的多个邻居点云；

对多个所述邻居点云的空间信息和纹理信息进行编码，获得所述点云与各个邻居点云的空间特征和纹理特征；

通过注意力池化层对所述空间特征和所述纹理特征进行加权优化，获得所述目标着色点云数据的高维点云特征，其中，所述高维点云特征包含邻居点云的空间特征和纹理特征。

7.一种基于着色点云的目标检测装置，其特征在于，所述装置包括：

融合模块，用于对雷达及相机采集到的运行场景数据进行前融合运算，获得目标着色点云数据；

目标检测模块，用于将所述目标着色点云数据输入至训练好的目标检测模型进行运算，输出所述运行场景的检测结果。

8.根据权利要求7所述的装置，其特征在于，所述融合模块具体用于：

基于多传感器数据前融合标定算法对所述雷达采集到的激光点云数据及所述相机采集到的图像数据进行标定，获得外参矩阵；

通过地面过滤算法对所述激光点云数据进行过滤；

基于所述外参矩阵将所述相机采集到的图像数据投影到过滤后的激光点云数据所在的三维空间坐标系中，获得目标着色点云数据。

9.根据权利要求7所述的装置，其特征在于，所述目标检测模块具体用于：

对输入的所述目标着色点云数据进行逐点编码，获得所述目标着色点云数据的高维点云特征；

对所述高维点云特征进行空间压缩编码，获得所述目标着色点云数据的高维稠密全局特征；

根据所述高维稠密全局特征计算所述目标着色点云数据中的目标信息，获得所述运行场景的检测结果。

10.一种电子设备，其特征在于，包括：处理器、存储器和总线，所述存储器存储有所述处理器可执行的机器可读指令，当所述电子设备运行时，所述处理器与所述存储器之间通过所述总线通信，所述机器可读指令被所述处理器执行时执行如权利要求1-6任一项所述的基于着色点云的目标检测方法。

11.一种存储介质，其特征在于，所述存储介质上存储有计算机程序，所述计算机程序被处理器运行时执行如权利要求1-6任一项所述的基于着色点云的目标检测方法。

Images