CN115909269A

CN115909269A - 一种三维目标检测方法、装置及计算机存储介质

Info

Publication number: CN115909269A
Application number: CN202211388910.2A
Authority: CN
Inventors: 王鑫琛; 徐高伟; 王逸平; 陈大宇; 于诗梦; 吴建康; 董树才; 邢少杰
Original assignee: Smart Motor Shanghai Robot Technology Co ltd; Zhejiang Zhima Intelligent Technology Co Ltd
Current assignee: Smart Motor Shanghai Robot Technology Co ltd; Zhejiang Zhima Intelligent Technology Co Ltd
Priority date: 2022-11-08
Filing date: 2022-11-08
Publication date: 2023-04-04

Abstract

本发明公开了一种三维目标检测方法、装置及计算机存储介质，所述三维目标检测方法包括：对基于车载摄像头采集的图像数据进行语义分割预测；将语义分割结果与基于车载激光雷达采集的点云数据进行融合；将融合所述语义分割结果后的点云数据作为三维目标检测算法的输入，输出三维边界框的位置信息和类别信息。本发明提供的一种三维目标检测方法、装置及计算机存储介质，首先对图像进行基于语义分割的目标检测，识别出目标的前景和背景像素区域，然后将识别的图像语义信息投影到点云中，进一步转换为鸟瞰图后，进行后续的三维目标检测，采用串行方式的融合，解决了相机图像转换成鸟瞰图的困难，提升了点云针对行人等小目标的检测性能。

Description

一种三维目标检测方法、装置及计算机存储介质

技术领域

本发明涉及计算机图像处理技术领域，特别是涉及一种三维目标检测方法、装置及计算机存储介质。

背景技术

三维目标检测是自动驾驶感知系统的核心，通常带有相应三维点云的立体/单目图像的传感器已经是三维目标检测的标准配置，能够提供准确的深度信息。点云的使用越来越普遍，尽管已有很多进展，但由于点云本质上的高度稀疏性和不规则性，以及相机视图和激光雷达鸟瞰视图之间的不对齐，导致模态协同、遮挡和远距离尺度变化等原因，使得在点云上的三维目标检测仍处于初级阶段。

目前，用于自动驾驶的三维目标检测在很大程度上依赖于激光雷达提供信息丰富的周围信息，但由于固有的安全风险(如破坏、不利条件和盲点等)，过度依赖单个传感器是不够明智的。此外，远距离点云的低分辨率和较差的纹理信息也带来了巨大的挑战，当距离较远时，在激光雷达模式中更难区分行人和路标，显然，每种传感器类型都有其缺陷。因此，有必要提出一种三维目标检测方法，以解决上述问题。

发明内容

本发明的目的在于提供一种三维目标检测方法、装置及计算机存储介质，解决了相机图像转换成鸟瞰图的困难，提升了点云针对行人等小目标的检测性能。

为达到上述目的，本发明的技术方案是这样实现的：

第一方面，本发明实施例提供了一种三维目标检测方法，所述三维目标检测方法包括：

对基于车载摄像头采集的图像数据进行语义分割预测；

将语义分割结果与基于车载激光雷达采集的点云数据进行融合；

将融合所述语义分割结果后的点云数据作为三维目标检测算法的输入，输出三维边界框的位置信息和类别信息。

作为其中一种实施方式，所述对基于车载摄像头采集的图像数据进行语义分割预测，包括：

将所述图像数据输入卷积神经网络PSPNet中进行所述语义分割预测；

输出语义分割预测的特征图；

对所述语义分割预测的特征图进行最小区域连通面积过滤和噪点去除；

输出所述语义分割结果。

作为其中一种实施方式，所述将所述图像数据输入卷积神经网络PSPNet中进行所述语义分割预测，包括：

对所述图像数据的目标区域进行手动标记；

将所述图像数据转换为数字信号并读取到内存中；

对所述图像数据进行尺寸归一化；

构建卷积神经网络PSPNet，将进行手动标记后的图像数据作为所述卷积神经网络PSPNet的输入；

对所述卷积神经网络PSPNet按照第一预设迭代次数进行训练；

输出所述卷积神经网络PSPNet最佳的权重参数。

作为其中一种实施方式，所述将语义分割结果与基于车载激光雷达采集的点云数据进行融合，包括：

基于相机内外参数，将所述点云数据投影到图像坐标中；

将所述语义分割结果添加到投影后的点云数据中。

作为其中一种实施方式，所述将融合所述语义分割结果后的点云数据作为三维目标检测算法的输入，输出三维边界框的位置信息和类别信息，包括：

将所述融合所述语义分割结果后的点云数据进行体素化处理；

将进行体素化处理后的所述融合所述语义分割结果后的点云数据输入卷积神经网络PointPillars中进行三维目标检测；

计算候选三维边界框之间的交并比；

基于3D-NMS，从所述候选三维边界框中筛选出目标三维边界框；

输出所述目标三维边界框的位置信息和类别信息。

作为其中一种实施方式，所述将融合所述语义分割结果后的点云数据作为三维目标检测算法的输入，输出三维边界框的位置信息和类别信息之前，包括：

对所述点云数据的目标区域进行手动标记，并标注三维边界框在点云空间中的位置坐标。

作为其中一种实施方式，所述将进行体素化处理后的所述融合所述语义分割结果后的点云数据输入卷积神经网络PointPillars中进行三维目标检测，包括：

将所述进行体素化处理后的所述融合所述语义分割结果后的点云数据输入3D编码网络，得到鸟瞰图视角下的点云的融合特征，并将所述点云的融合特征转化为稀疏伪图像；

将所述稀疏伪图像输入多尺度的2D骨干网络中进行特征提取，得到所述稀疏伪图像的卷积特征图；

将所述稀疏伪图像的卷积特征图输入检测头网络中，得到点云数据中检测目标的预测边界框坐标以及预测边界框中存在目标的概率。

作为其中一种实施方式，所述将进行体素化处理后的所述融合所述语义分割结果后的点云数据输入卷积神经网络PointPillars中进行三维目标检测，还包括：

以所述预测边界框坐标为预测结果，以所述三维边界框在点云空间中的位置坐标为真值，计算损失函数；

基于随机梯度下降算法对所述卷积神经网络PointPillars进行训练优化，降低所述损失函数的数值；

对所述卷积神经网络PointPillars按照第二预设迭代次数进行训练；

输出所述卷积神经网络PointPillars最佳的权重参数。

第二方面，本发明实施例提供了一种三维目标检测装置，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如第一方面所述三维目标检测方法的步骤。

第三方面，本发明实施例提供了一种计算机存储介质，所述计算机存储介质中存储有计算机程序，所述计算机程序被处理器执行时实现如第一方面所述三维目标检测方法的步骤。

本发明实施例提供的一种三维目标检测方法、装置及计算机存储介质，所述三维目标检测方法包括：对基于车载摄像头采集的图像数据进行语义分割预测；将语义分割结果与基于车载激光雷达采集的点云数据进行融合；将融合所述语义分割结果后的点云数据作为三维目标检测算法的输入，输出三维边界框的位置信息和类别信息。如此，使用的图像语义分割模型和基于点云的三维目标检测模型为两个独立的模块，首先对图像进行基于语义分割的目标检测，识别出目标的前景和背景像素区域，然后将识别的图像语义信息投影到点云中，进一步转换为鸟瞰图后，进行后续的三维目标检测，采用串行方式的融合，解决了相机图像转换成鸟瞰图的困难，提升了点云针对行人等小目标的检测性能。

附图说明

图1为本发明实施例提供的一种三维目标检测方法的流程示意图；

图2为本发明实施例提供的一种三维目标检测方法的图像语义分割流程图；

图3为本发明实施例提供的一种三维目标检测方法的基于激光点云的目标检测流程图；

图4为本发明实施例提供的一种三维目标检测装置的结构示意图。

具体实施方式

需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者装置中还存在另外的相同要素，此外，本发明不同实施例中具有同样命名的部件、特征、要素可能具有相同含义，也可能具有不同含义，其具体含义需以其在该具体实施例中的解释或者进一步结合该具体实施例中上下文进行确定。

应当理解，尽管在本文可能采用术语第一、第二、第三等来描述各种信息，但这些信息不应限于这些术语。这些术语仅用来将同一类型的信息彼此区分开。例如，在不脱离本文范围的情况下，第一信息也可以被称为第二信息，类似地，第二信息也可以被称为第一信息。取决于语境，如在此所使用的词语“如果”可以被解释成为“在……时”或“当……时”或“响应于确定”。再者，如同在本文中所使用的，单数形式“一”、“一个”和“该”旨在也包括复数形式，除非上下文中有相反的指示。应当进一步理解，术语“包含”、“包括”表明存在所述的特征、步骤、操作、元件、组件、项目、种类、和/或组，但不排除一个或多个其他特征、步骤、操作、元件、组件、项目、种类、和/或组的存在、出现或添加。此处使用的术语“或”和“和/或”被解释为包括性的，或意味着任一个或任何组合。因此，“A、B或C”或者“A、B和/或C”意味着“以下任一个：A；B；C；A和B；A和C；B和C；A、B和C”。仅当元件、功能、步骤或操作的组合在某些方式下内在地互相排斥时，才会出现该定义的例外。

应该理解的是，虽然本发明实施例中的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，其可以以其他的顺序执行。而且，图中的至少一部分步骤可以包括多个子步骤或者多个阶段，这些子步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，其执行顺序也不必然是依次进行，而是可以与其他步骤或者其他步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。

需要说明的是，在本文中，采用了诸如S101、S102等步骤代号，其目的是为了更清楚简要地表述相应内容，不构成顺序上的实质性限制，本领域技术人员在具体实施时，可能会先执行S102后执行S101等，但这些均应在本发明的保护范围之内。

应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

参见图1，为本发明实施例提供的一种三维目标检测方法，该三维目标检测方法可以由本发明实施例提供的一种三维目标检测装置来执行，该三维目标检测装置可以采用软件和/或硬件的方式来实现，所述三维目标检测方法包括以下步骤：

步骤S101：对基于车载摄像头采集的图像数据进行语义分割预测；

在一实施方式中，所述将所述图像数据输入卷积神经网络PSPNet中进行所述语义分割预测，包括：

对所述图像数据的目标区域进行手动标记；

将所述图像数据转换为数字信号并读取到内存中；

对所述图像数据进行尺寸归一化；

对所述卷积神经网络PSPNet按照第一预设迭代次数进行训练；

输出所述卷积神经网络PSPNet最佳的权重参数。

具体地，参见图2a，为语义分割模型训练阶段，具体步骤如下：

步骤S201a：构建人工标注的目标语义分割图像数据集；

具体地，将图像中的目标区域(人，车，障碍物等)以多边形的方式标注出来，作为卷积神经网络PSPNet(Pyramid Scene Parsing Network，金字塔场景解析网络)训练的输入数据。

步骤S202a：图像数据转换为数字信号；

具体地，将图像数据转换为数字信号并读取到内存中。

步骤S203a：图像数据预处理；

具体地，将图像数据先进行尺寸归一化，将所有输入语义分割模型的图像尺寸统一变换到512*512像素大小，输入到卷积神经网络PSPNet中进行训练，其中，以32张图片为一个批次输入。

步骤S204a：构建卷积神经网络PSPNet模型；

这里，卷积神经网络PSPNet是一种通过引入更多的上下文信息和多尺度信息的语义分割的网络模型，将每一批次前向传播的输出结果和目标真值进行损失函数的计算，通过随机梯度下降算法优化深度学习模型的网络参数，降低损失函数数值，不断迭代此过程，优化网络模型参数。

步骤S205a：判断是否完成训练迭代次数，若是，则执行步骤S206a，否则执行步骤S207a；

这里，指定迭代次数为80个epoch，1个epoch指代所有的训练数据完成一轮输入语义分割模型中。

步骤S206a：输出最佳的语义分割模型权重参数；

具体地，模型停止训练后，会根据每个epoch的识别准确率的计算结果筛选出最佳的权重参数，并且将权重参数保存到文件中。

步骤S207a：调整模型参数，继续训练。

在一实施方式中，所述对基于车载摄像头采集的图像数据进行语义分割预测，包括：

输出语义分割预测的特征图；

输出所述语义分割结果。

具体地，参见图2b，为语义分割模型推理阶段，具体步骤如下：

步骤S201b：获取待识别的图像数据；

步骤S202b：图像数据转换为数字信号；

具体地，将图像数据转换为数字信号并读取到内存中。

步骤S203b：图像数据预处理；

具体地，将图像数据先进行尺寸归一化，将所有输入语义分割模型的图像尺寸统一变换到512*512像素大小。

步骤S204b：加载语义分割模型；

具体地，将预处理后的图像数据输入到卷积神经网络PSPNet中进行语义分割预测，该步骤采用的是和语义分割模型训练阶段相同的网络模型，模型的权重参数不需要再次通过训练调整，而是将步骤S206a输出的最佳权重参数加载到模型中。

步骤S205b：输出语义分割预测的特征图；

这里，卷积神经网络PSPNet的输出结果是一张单通道的特征图，特征图上每个像素点分别表示预测的类别。

步骤S206b：特征图后处理；

具体地，将特征图预测结果进行最小区域连通面积过滤和噪点去除，再进行逆处理到原图分辨率。

步骤S207b：输出语义分割结果。

具体地，输出目标的图像语义信息分割预测结果。

步骤S102：将语义分割结果与基于车载激光雷达采集的点云数据进行融合；

步骤S103：将融合所述语义分割结果后的点云数据作为三维目标检测算法的输入，输出三维边界框的位置信息和类别信息。

在一实施方式中，所述将融合所述语义分割结果后的点云数据作为三维目标检测算法的输入，输出三维边界框的位置信息和类别信息之前，包括：

在一实施方式中，所述将语义分割结果与基于车载激光雷达采集的点云数据进行融合，包括：

基于相机内外参数，将所述点云数据投影到图像坐标中；

将所述语义分割结果添加到投影后的点云数据中。

在一实施方式中，所述将进行体素化处理后的所述融合所述语义分割结果后的点云数据输入卷积神经网络PointPillars中进行三维目标检测，包括：

在一实施方式中，所述将进行体素化处理后的所述融合所述语义分割结果后的点云数据输入卷积神经网络PointPillars中进行三维目标检测，还包括：

输出所述卷积神经网络PointPillars最佳的权重参数。

具体地，参见图3a，为激光点云目标检测模型训练阶段，具体步骤如下：

步骤S301a：构建人工标注的目标检测激光点云数据集；

具体地，将图像中的目标区域(人，车，障碍物等)以三维边界框的方式标注出来，标注出每个三维边界框在点云空间中的位置坐标(x，y，z，w，l，h，θ)和每个边界框中检测目标的分类标签，然后将标注后的点云数据作为激光点云目标检测模型的训练样本；其中，x为边界框中心的x轴坐标，y为边界框中心的y轴坐标，z为边界框中心的z轴坐标，w为边界框的宽，l为边界框的长，h为边界框的高，θ为边界框投影到x-y平面的角度。

步骤S302a：读取点云标注数据；

这里，点云数据格式为三维坐标和反射强度(x，y，z，intensity)。

步骤S303a：语义分割结果投影到点云；

具体地，基于相机内外参数，将每个点云数据投影到图像坐标中，再将点云数据对应的图像数据的语义分割结果添加到投影后的该点云数据中。

步骤S304a：点云数据预处理；

具体地，将点云数据进行体素化处理：将所有的点云切割成一个个网格称为体素(Voxel)，网格大小设置为0.2*0.2，但在z轴方向不进行切割，可以看成z轴上的Voxel合成了一个支柱(Pillar)，在一个Pillar中单个点云可以表示成：x，y，z，r，s，x_c，y_c，z_c，x_p，y_p，扩充后的点云特征维度D＝10；其中，x，y，z表示点云的初始坐标值；r表示点云反射率；s表示点云对应的图像语义特征值；x_c，y_c，z_c表示该支柱中所有点云坐标求算术平均值得到的坐标值；x_p，y_p表示在当前平面的坐标系下支柱中所有点云相对于坐标中心位置的偏差。

步骤S305a：构建卷积神经网络PointPillars模型；

具体步骤如下：

①将步骤S304a处理后的训练样本输入3D编码网络，得到鸟瞰图(BEV)视角下的点云的融合特征，并将点云的融合特征转化为稀疏伪图像；

②将稀疏伪图像输入多尺度的2D骨干网络中进行特征提取，得到稀疏伪图像的卷积特征图；

③将稀疏伪图像的卷积特征图输入检测头网络中，得到点云数据中检测目标的预测边界框坐标以及预测边界框中存在目标的概率；

④以步骤③中得到的预测边界框坐标为预测结果，以训练样本中标注的三维边界框在点云空间中的位置坐标为真值，计算损失函数，损失函数采用的是平方差损失函数，通过随机梯度下降算法优化卷积神经网络PointPillars(一种基于体素的三维目标检测算法)模型的权重参数，降低损失函数数值，不断迭代此过程优化模型的权重参数。

步骤S306a：判断是否完成训练迭代次数，若是，则执行步骤S307a，否则执行步骤S308a；

这里，指定迭代次数为60个epoch。

步骤S307a：输出最佳的激光点云目标检测模型权重参数；

步骤S308a：调整模型参数，继续训练。

在一实施方式中，所述将融合所述语义分割结果后的点云数据作为三维目标检测算法的输入，输出三维边界框的位置信息和类别信息，包括：

计算候选三维边界框之间的交并比；

输出所述目标三维边界框的位置信息和类别信息。

具体地，参见图3b，为激光点云目标检测模型推理阶段，具体步骤如下：

步骤S301b：获取待识别的激光点云数据；

步骤S303b：语义分割结果投影到点云；

具体操作流程与步骤S303a相同，此处不再进行赘述。

步骤S303b：点云数据预处理；

具体地，将点云数据进行体素化处理，具体操作流程与步骤S304a相同，此处不再进行赘述。

步骤S304b：加载激光点云目标检测模型；

具体地，将融合语义特征并预处理后的点云数据输入到卷积神经网络PointPillars中进行三维目标检测，该步骤采用的是和激光点云目标检测模型训练阶段相同的网络模型，模型的权重参数不需要再次通过训练调整，而是将步骤S307a输出的最佳权重参数加载到模型中。

步骤S305b：输出三维目标检测的结果；

步骤S306b：三维目标检测结果后处理；

具体地，分别计算得到的候选三维边界框之间的交并比(IoU)，使用3D-NMS进行候选框筛选，从候选三维边界框中筛选出目标三维边界框。

步骤S307b：输出目标三维边界框的位置信息和类别信息。

综上，上述实施例提供的三维目标检测方法中，使用的图像语义分割模型和基于点云的三维目标检测模型为两个独立的模块，首先对图像进行基于语义分割的目标检测，识别出目标的前景和背景像素区域，然后将识别的图像语义信息投影到点云中，进一步转换为鸟瞰图后，进行后续的三维目标检测，采用串行方式的融合，解决了相机图像转换成鸟瞰图的困难，提升了点云针对行人等小目标的检测性能。

基于前述实施例相同的发明构思，本发明实施例提供了一种三维目标检测装置，如图4所示，该三维目标检测装置包括：处理器110和用于存储能够在处理器110上运行的计算机程序的存储器111；其中，图4中示意的处理器110并非用于指代处理器110的个数为一个，而是仅用于指代处理器110相对其他器件的位置关系，在实际应用中，处理器110的个数可以为一个或多个；同样，图4中示意的存储器111也是同样的含义，即仅用于指代存储器111相对其他器件的位置关系，在实际应用中，存储器111的个数可以为一个或多个。所述处理器110用于运行所述计算机程序时，实现所述三维目标检测方法。

该三维目标检测装置还可包括：至少一个网络接口112。该三维目标检测装置中的各个组件通过总线系统113耦合在一起。可理解，总线系统113用于实现这些组件之间的连接通信。总线系统113除包括数据总线之外，还包括电源总线、控制总线和状态信号总线。但是为了清楚说明起见，在图4中将各种总线都标为总线系统113。

其中，存储器111可以是易失性存储器或非易失性存储器，也可包括易失性和非易失性存储器两者。其中，非易失性存储器可以是只读存储器(ROM，Read Only Memory)、可编程只读存储器(PROM，Programmable Read-Only Memory)、可擦除可编程只读存储器(EPROM，Erasable Programmable Read-Only Memory)、电可擦除可编程只读存储器(EEPROM，Electrically Erasable Programmable Read-Only Memory)、磁性随机存取存储器(FRAM，ferromagnetic random access memory)、快闪存储器(Flash Memory)、磁表面存储器、光盘、或只读光盘(CD-ROM，Compact Disc Read-Only Memory)；磁表面存储器可以是磁盘存储器或磁带存储器。易失性存储器可以是随机存取存储器(RAM，Random AccessMemory)，其用作外部高速缓存。通过示例性但不是限制性说明，许多形式的RAM可用，例如静态随机存取存储器(SRAM，Static Random Access Memory)、同步静态随机存取存储器(SSRAM，Synchronous Static Random Access Memory)、动态随机存取存储器(DRAM，Dynamic Random Access Memory)、同步动态随机存取存储器(SDRAM，SynchronousDynamic Random Access Memory)、双倍数据速率同步动态随机存取存储器(DDRSDRAM，Double Data Rate Synchronous Dynamic Random Access Memory)、增强型同步动态随机存取存储器(ESDRAM，Enhanced Synchronous Dynamic Random Access Memory)、同步连接动态随机存取存储器(SLDRAM，SyncLink Dynamic Random Access Memory)、直接内存总线随机存取存储器(DRRAM，Direct Rambus Random Access Memory)。本发明实施例描述的存储器111旨在包括但不限于这些和任意其它适合类型的存储器。

本发明实施例中的存储器111用于存储各种类型的数据以支持该三维目标检测装置的操作。这些数据的示例包括：用于在该三维目标检测装置上操作的任何计算机程序，如操作系统和应用程序；联系人数据；电话簿数据；消息；图片；视频等。其中，操作系统包含各种系统程序，例如框架层、核心库层、驱动层等，用于实现各种基础业务以及处理基于硬件的任务。应用程序可以包含各种应用程序，例如媒体播放器(Media Player)、浏览器(Browser)等，用于实现各种应用业务。这里，实现本发明实施例方法的程序可以包含在应用程序中。

基于前述实施例相同的发明构思，本实施例还提供了一种计算机存储介质，所述计算机存储介质中存储有计算机程序，计算机存储介质可以是磁性随机存取存储器(FRAM，ferromagnetic random access memory)、只读存储器(ROM，Read Only Memory)、可编程只读存储器(PROM，Programmable Read-Only Memory)、可擦除可编程只读存储器(EPROM，Erasable Programmable Read-Only Memory)、电可擦除可编程只读存储器(EEPROM，Electrically Erasable Programmable Read-Only Memory)、快闪存储器(FlashMemory)、磁表面存储器、光盘、或只读光盘(CD-ROM，Compact Disc Read-Only Memory)等存储器；也可以是包括上述存储器之一或任意组合的各种设备，如移动电话、计算机、平板设备、个人数字助理等。所述计算机存储介质中存储的计算机程序被处理器运行时，实现上述所述的三维目标检测方法。所述计算机程序被处理器执行时实现的具体步骤流程请参考图1所示实施例的描述，在此不再赘述。

以上所述实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。

在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，除了包含所列的那些要素，而且还可包含没有明确列出的其他要素。

以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以所述权利要求的保护范围为准。

Claims

1.一种三维目标检测方法，其特征在于，所述三维目标检测方法包括：

对基于车载摄像头采集的图像数据进行语义分割预测；

2.根据权利要求1所述的三维目标检测方法，其特征在于，所述对基于车载摄像头采集的图像数据进行语义分割预测，包括：

输出语义分割预测的特征图；

输出所述语义分割结果。

3.根据权利要求2所述的三维目标检测方法，其特征在于，所述将所述图像数据输入卷积神经网络PSPNet中进行所述语义分割预测，包括：

对所述图像数据的目标区域进行手动标记；

将所述图像数据转换为数字信号并读取到内存中；

对所述图像数据进行尺寸归一化；

对所述卷积神经网络PSPNet按照第一预设迭代次数进行训练；

输出所述卷积神经网络PSPNet最佳的权重参数。

4.根据权利要求1所述的三维目标检测方法，其特征在于，所述将语义分割结果与基于车载激光雷达采集的点云数据进行融合，包括：

基于相机内外参数，将所述点云数据投影到图像坐标中；

将所述语义分割结果添加到投影后的点云数据中。

5.根据权利要求1所述的三维目标检测方法，其特征在于，所述将融合所述语义分割结果后的点云数据作为三维目标检测算法的输入，输出三维边界框的位置信息和类别信息，包括：

计算候选三维边界框之间的交并比；

输出所述目标三维边界框的位置信息和类别信息。

6.根据权利要求1所述的三维目标检测方法，其特征在于，所述将融合所述语义分割结果后的点云数据作为三维目标检测算法的输入，输出三维边界框的位置信息和类别信息之前，包括：

7.根据权利要求5或6所述的三维目标检测方法，其特征在于，所述将进行体素化处理后的所述融合所述语义分割结果后的点云数据输入卷积神经网络PointPillars中进行三维目标检测，包括：

8.根据权利要求7所述的三维目标检测方法，其特征在于，所述将进行体素化处理后的所述融合所述语义分割结果后的点云数据输入卷积神经网络PointPillars中进行三维目标检测，还包括：

输出所述卷积神经网络PointPillars最佳的权重参数。

9.一种三维目标检测装置，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1至8任一项所述三维目标检测方法的步骤。

10.一种计算机存储介质，所述计算机存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至8任一项所述三维目标检测方法的步骤。