CN114463713A - 一种车辆在3d空间的信息检测方法、装置及电子设备 - Google Patents

一种车辆在3d空间的信息检测方法、装置及电子设备 Download PDF

Info

Publication number
CN114463713A
CN114463713A CN202210118232.1A CN202210118232A CN114463713A CN 114463713 A CN114463713 A CN 114463713A CN 202210118232 A CN202210118232 A CN 202210118232A CN 114463713 A CN114463713 A CN 114463713A
Authority
CN
China
Prior art keywords
information
target
vehicle
detection
loss
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210118232.1A
Other languages
English (en)
Inventor
石雄
胥洪利
彭欣亮
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tianjin Tiantong Weishi Electronic Technology Co ltd
Original Assignee
Tianjin Tiantong Weishi Electronic Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tianjin Tiantong Weishi Electronic Technology Co ltd filed Critical Tianjin Tiantong Weishi Electronic Technology Co ltd
Priority to CN202210118232.1A priority Critical patent/CN114463713A/zh
Publication of CN114463713A publication Critical patent/CN114463713A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Molecular Biology (AREA)
  • Computational Linguistics (AREA)
  • Software Systems (AREA)
  • Mathematical Physics (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computing Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)
  • Traffic Control Systems (AREA)

Abstract

本发明公开了一种车辆在3D空间的信息检测方法、装置及电子设备，包括：获取目标车辆的待检测图像；对所述待检测图像进行特征提取，得到目标特征图；将所述目标特征图输入至目标检测模型，获得目标检测结果。本发明中的目标检测模型包括2D信息检测分支和3D信息检测分支，使得能够基于目标检测模型实现对目标车辆的2D信息和3D信息检测，获得了全面的检测信息，为后续的决策和规控阶段提供更加丰富的场景信息，提升智能驾驶系统的高效性和安全性。

Description

一种车辆在3D空间的信息检测方法、装置及电子设备
技术领域
本发明涉及信息处理技术领域，特别是涉及一种车辆在3D空间的信息检测方法、装置及电子设备。
背景技术
在智能驾驶领域，对车辆的准确定位及检测是较为重要的部分。通常是通过识别相机采集图像中的车辆目标并提取其运动轨迹，实现对周围环境的感知。但是，现有车辆检测方法通常局限在图像空间中，这对于实际场景中普遍存在的目标遮挡、目标截断或视角变化等情况，并不能做出更准确高效的判断，限制了其应用场景。
发明内容
针对于上述问题，本发明提供一种车辆在3D空间的信息检测方法、装置及电子设备，实现了提升智能驾驶系统的高效性和安全性。
为了实现上述目的，本发明提供了如下技术方案：
一种车辆在3D空间的信息检测方法，包括：
获取目标车辆的待检测图像；
对所述待检测图像进行特征提取，得到目标特征图；
将所述目标特征图输入至目标检测模型，获得目标检测结果，其中，所述目标检测模型包括2D信息检测分支和3D信息检测分支，所述目标检测模型是基于损失函数、目标训练样本和初始神经网络结构进行神经网络模型训练得到的模型，所述损失函数包括车辆分类损失、图像2D目标框定位损失、三维回归损失、车辆位置回归损失和车辆航向角损失；车辆分类损失是基于车辆的类别标签确定的；图像2D目标框定位损失是基于车辆对应的目标框的坐标信息确定的；车辆三维回归损失是基于各类别车辆的平均尺寸信息，确定三维尺寸的回归向量，根据所述三维尺寸的回归向量确定的；车辆航向角损失是基于车辆航向角信息确定的。
可选地，所述对所述待检测图像进行特征提取，得到目标特征图，包括：
对所述待检测图像进行图像增强处理，得到处理后图像；
对处理后的图像进行特征提取，得到目标特征图。
可选地，还包括：
获取初始数据集，所述初始数据集包括相机以及激光雷达捕获到的目标图像信息和点云信息；
对所述初始数据集进行标签标注，获得2D标签和3D标签；
基于所述初始数据集、所述2D标签和所述3D标签，确定目标训练样本；
根据所述目标训练样本和初始神经网络结构进行神经网络模型训练，得到目标检测模型。
可选地，所述2D标签包括目标框和类别信息；所述3D标签包括目标位置信息、尺寸信息和姿态信息。
可选地，所述初始神经网络结构包括基础网络模块、特征融合模块、候选区域提取模块和候选区域池化模块。
可选地，所述目标检测结果包括第一检测信息和第二检测信息，所述第一检测信息为所述2D信息检测分支对应的检测结果，所述第二检测信息为所述3D信息检测分支对应的检测结果；
所述第一检测信息包括目标车辆的类别信息和目标框信息；
所述第二检测信息包括目标位置信息、尺寸信息和姿态信息，所述目标位置信息包括目标对象距离目标车辆的横向距离和纵向距离，所述尺寸信息包括目标车辆的实际三维尺寸，所述姿态信息包括当前时刻目标车辆的航向角、翻滚角和俯仰角。
一种车辆在3D空间的信息检测装置，包括：
获取单元，用于获取目标车辆的待检测图像；
提取单元，用于对所述待检测图像进行特征提取，得到目标特征图；
检测单元，用于将所述目标特征图输入至目标检测模型，获得目标检测结果，其中，所述目标检测模型包括2D信息检测分支和3D信息检测分支，所述目标检测模型是基于损失函数、目标训练样本和初始神经网络结构进行神经网络模型训练得到的模型，所述损失函数包括车辆分类损失、图像2D目标框定位损失、三维回归损失、车辆位置回归损失和车辆航向角损失；车辆分类损失是基于车辆的类别标签确定的；图像2D目标框定位损失是基于车辆对应的目标框的坐标信息确定的；车辆三维回归损失是基于各类别车辆的平均尺寸信息，确定三维尺寸的回归向量，根据所述三维尺寸的回归向量确定的；车辆航向角损失是基于车辆航向角信息确定的。。
一种存储介质，所述存储介质存储有可执行指令，所述指令被处理器执行时实现上述中任意一项所述的车辆在3D空间的信息检测方法。
一种电子设备，包括：
存储器，用于存储程序；
处理器，用于执行所述程序，所述程序具体用于实现如上述中任意一项所述的车辆在3D空间的信息检测方法。
相较于现有技术，本发明提供了一种车辆在3D空间的信息检测方法、装置及电子设备，包括：获取目标车辆的待检测图像；对所述待检测图像进行特征提取，得到目标特征图；将所述目标特征图输入至目标检测模型，获得目标检测结果。本发明中的目标检测模型包括2D信息检测分支和3D信息检测分支，使得能够基于目标检测模型实现对目标车辆的2D信息和3D信息检测，获得了全面的检测信息，为后续的决策和规控阶段提供更加丰富的场景信息，提升智能驾驶系统的高效性和安全性。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。
图1为本发明实施例提供的一种车辆在3D空间的信息检测方法的流程示意图；
图2为本发明实施例提供的一种车辆3D信息示意图；
图3为本发明实施例提供的一种车辆在3D空间的信息检测装置的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本发明的说明书和权利要求书及上述附图中的术语“第一”和“第二”等是用于区别不同的对象，而不是用于描述特定的顺序。此外术语“包括”和“具有”以及他们任何变形，意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、系统、产品或设备没有设定于已列出的步骤或单元，而是可包括没有列出的步骤或单元。
在本发明实施例中提供了一种车辆在3D空间的信息检测方法，参见图1，该方法可以包括以下步骤：
S101、获取目标车辆的待检测图像。
目标车辆为待检测的车辆，例如，为待获取运动轨迹的车辆。待检测图像为基于相机采集的图像，主要是单目相机采集的图像，可以是多张图像，也可以是视频流。
S102、对所述待检测图像进行特征提取，得到目标特征图。
在进行图像特征提取之前，为了能够提高对图像进行检测的精度，可以对所述待检测图像进行图像增强处理，得到处理后图像；对处理后的图像进行特征提取，得到目标特征图。其中，图像增强处理主要可以包括随机多尺度缩放、翻转、伽马变换、色彩转换等。
S103、将所述目标特征图输入至目标检测模型，获得目标检测结果。
在本发明实施例中，目标检测模型包括2D信息检测分支和3D信息检测分支。具体的，在本发明实施例在FasterRCNN(目标检测网络)的基础上进行了优化，得到了目标检测模型，并且，可以分别实现获得2D检测信息和3D检测信息。即第一检测信息为2D检测信息，包括目标车辆的类别信息和目标框信息。第二检测信息为3D检测信息，包括目标位置信息、尺寸信息和姿态信息，所述目标位置信息包括目标对象距离目标车辆的横向距离和纵向距离，所述尺寸信息包括目标车辆的实际三维尺寸，所述姿态信息包括当前时刻目标车辆的航向角、翻滚角和俯仰角。将第一检测信息和第二检测信息确定为最终的目标检测结果。其中，目标对象是指目标车辆周围的参考对象，如建筑物、其他车辆或者进行拍摄的相机等。
车辆对应的姿态角包括航向角、翻滚角和俯仰角。车辆的航向角是指地面坐标系下，车辆质心速度与横轴的夹角。翻滚角也称为侧翻角是指车辆绕空间坐标系y轴产生的夹角。俯仰角是指车辆质心的原行驶方向与减震器阻尼垂直改变的方向形成的夹角。在本发明实施例中可以根据目标车辆的各种角度信息确定其姿态。
具体的，所述目标检测模型是基于损失函数、目标训练样本和初始神经网络结构进行神经网络模型训练得到的模型，所述损失函数包括车辆分类损失、图像2D目标框定位损失、三维回归损失、车辆位置回归损失和车辆航向角损失；车辆分类损失是基于车辆的类别标签确定的；图像2D目标框定位损失是基于车辆对应的目标框的坐标信息确定的；车辆三维回归损失是基于各类别车辆的平均尺寸信息，确定三维尺寸的回归向量，根据所述三维尺寸的回归向量确定的；车辆航向角损失是基于车辆航向角信息确定的。
本发明实施例提供了一种车辆在3D空间的信息检测方法，包括：获取目标车辆的待检测图像；对所述待检测图像进行特征提取，得到目标特征图；将所述目标特征图输入至目标检测模型，获得目标检测结果。本发明中的目标检测模型包括2D信息检测分支和3D信息检测分支，使得能够基于目标检测模型实现对目标车辆的2D信息和3D信息检测，获得了全面的检测信息，为后续的决策和规控阶段提供更加丰富的场景信息，提升智能驾驶系统的高效性和安全性。
下面对本发明实施例中的目标检测模型的创建和应用过程进行详细说明。
在建立检测模型时先要生成对应的训练样本集，然后基于对应的神经网络结构进行神经网络模型训练，获得最终的检测模型。具体的，可以包括：
获取初始数据集，所述初始数据集包括相机以及激光雷达捕获到的目标图像信息和点云信息；
对所述初始数据集进行标签标注，获得2D标签和3D标签；
基于所述初始数据集、所述2D标签和所述3D标签，确定目标训练样本；
根据所述目标训练样本和初始神经网络结构进行神经网络模型训练，得到目标检测模型。
其中，初始数据集包括相机以及激光雷达捕获到的目标图像信息和点云信息。车辆的标签数据包括目标框信息和类别信息在内的2D标签和包括目标位置信息、尺寸信息和姿态信息在内的3D标签；数据采集车部署了包括相机和激光雷达等在内的多个传感器，通过相机和激光雷达的联合标定，传感器之间的时间戳匹配，在采集图片数据的同时能够获得对应的点云数据。借助相应的标注工具完成2D框和3D信息的标注以及标签之间的投影整合。
在训练模型的时候，为了提高模型实际部署中的泛化能力，在训练阶段，对输入到神经网络前的图像经过一系列数据增强操作，具体包括：随机多尺度缩放，翻转，伽马变换，色彩转换等。
在本发明实施例中初始神经网络结构包括基础网络模块(Backbone)、特征融合模块(neck)、候选区域提取模块(RPN)和候选区域池化模块(Roi Align)。在本发明实施例提供的一种神经网络结构的示例中，3D检测模型与检测模块共享特征提取网络，通过多head(head是获取神经网络输出内容的网络，即利用神经网络模型中提取的特征，做出预测)设计，完成车辆3D信息的回归。截取目标在检测分支上对应的区域特征图，经过进一步的特征处理后输入到各3D检测模块，完成对应分支的推理和训练。
具体的，对应模型训练，将原始图像信息和标签输送到搭建完成的神经网络模型中，通过Loss(损失函数)的设计和梯度回传，完成网络参数的更新和训练；对于模型推理，将实际捕获的道路场景图片输入到训练完成的神经网络中，完成前向推理即可输出周围目标车辆的3D信息。
参见图2，为本发明实施例提供的一种车辆3D信息示意图。车辆的3D信息包括位置信息、姿态信息和尺寸信息。位置信息描述的是目标车辆在实际三维空间下的坐标，其中，重点是目标距离本车的横向距离和纵向距离，通过距离的变化进一步计算出目标的速度；姿态信息描述的是当前时刻目标车辆的航向角、翻滚角和俯仰角，图2示出了车辆的航向角、纵向速度、横向速度等信息。具体的，车辆的尺寸信息描述的是目标车辆实际的三维尺寸，即长度、宽度和高度。
在本申请实施例的一种可能的实施方式中，通过与实际情况相符合的损失函数，在训练过程中对模型参数进行调整。具体的，所述根据所述目标训练样本和初始神经网络结构进行神经网络模型训练，得到目标检测模型，包括：基于车辆的类别标签，确定车辆分类损失；基于车辆的坐标标签，确定图像2D目标框定位损失；基于各类别车辆的平均尺寸信息，确定三维尺寸的回归向量；根据所述三维尺寸的回归向量，确定车辆三维回归损失；根据预设的各维度的回归距离向量，确定车辆位置回归损失；基于车辆航向角信息，确定车辆航向角损失，并确定目标检测模型的损失函数，所述损失函数包括车辆分类损失、图像2D目标框定位损失、三维回归损失、车辆位置回归损失和车辆航向角损失；基于所述损失函数、目标训练样本和初始神经网络结构进行神经网络模型训练，得到目标检测模型。
需要说明的是，由于本发明实施例的目标检测模型包括2D信息检测分支和3D信息检测分支，因此在对模型进行训练和调整的过程中，对应的损失函数包括2D信息损失函数和3D信息损失函数，其中，2D信息损失函数主要是针对车辆类别损失和目标框定位损失确定的。3D信息损失函数主要是根据三维回归损失、车辆位置损失、车辆航向角损失，进一步还可以根据相关的姿态信息损失来确定的。
下面对本申请实施例的一种车辆在3D空间的信息检测进行详细说明。
在本发明实施例中，完成相关数据标定时是通过相机和激光雷达的联合标定。相机无法获得目标车辆的3D信息，因此引入激光雷达，通过相机和雷达的联合标定，时间戳匹配后，可以准确的捕获周围场景的图像信息和3D点云信息，弥补单一传感器的不足。
例如，基于多传感器完成数据的采集和整理。采集了多个城市不同光照以及不同天气场景下的交通道路数据，并筛选和整理出100000张图像数据和对应的点云数据。在数据的标注和映射的过程中，通过图像数据完成车辆2D标签的标注，通过点云数据完成车辆3D标签的标注，并通过映射投影完成统一目标标签的合并。
网络模型的搭建：本发明实施例中以Faster-RCNN的基础，并根据实际场景进行优化和拓展。Faster-RCNN通常将ResNet50作为基础网络进行特征提取，但ResNet50的计算量很大，难以在设备端实现实时处理。引入深度可分离卷积和残差连接搭建特征提取基础单元，整个基础网络包含两个由3×3卷积组成的基础模块，以及3个特征提取模块，其中每个特征提取模块包含多个特征提取单元，整体进行一次下采样操作，整个网络一共进行5次下采样，下采样倍率为32。神经网络的深层特征通常具有丰富的语义信息，浅层特征具有更多的空间信息，因此选择将浅层和深层特征融合的方式作为RPN的输入。例如，可以定义多个并行输出head(head是获取神经网络输出内容的网络)，其中，在2D检测信息中将目标框和类别的预测为常规检测输出；车辆的位置、尺寸和航向角为实际场景下的3D信息检测，结合各个模块下的输出信息，最终实现周围环境的精准感知。
车辆3D检测模型的训练过程包括：车辆2D信息的检测包括目标框和类别信息，该分支的设计和实现参考Faster-RCNN；车辆3D信息的检测包括目标的三维尺寸、位置和航向角，每一个任务对应一个单独的Head(head是获取神经网络输出内容的网络)进行预测输出。其中，所述车辆的三维尺寸估计，对数据集中所有车辆的尺寸按类别进行统计，得到各类别车辆的平均尺寸向量
Figure BDA0003497355220000091
定义三维尺寸的回归向量Δi＝[δw,δh,δl]，其中：
Figure BDA0003497355220000092
Figure BDA0003497355220000093
Figure BDA0003497355220000094
车辆三维尺寸的回归损失：
Figure BDA0003497355220000095
其中，w为车辆的宽度，h为车辆的高度，l为车辆的长度；
Figure BDA0003497355220000096
为对应类别下车辆的平均宽度，例如，在小客车类别下对应的各个车辆的平均宽度；
Figure BDA0003497355220000097
为对应类别下车辆的平均高度，
Figure BDA0003497355220000098
为对应类别下的车辆的平均长度；δw表示车辆的实际宽度与平均宽度的偏差，δh表示车辆的实际高度与平均高度的偏差，δl表示车辆的实际长度与平均长度的偏差；λs为对应尺寸回归分支的权重因子；Ci为目标过滤因子，如果目标为车辆类别，Ci则为1，否则Ci为0；S为SmoothL1损失函数，Δi为尺寸回归向量。
在进行车辆的位置估计时，设定各维度的回归距离向量Ri＝[δx,δy,δz]，其中：
δx＝(x-ɑx)/βx
δy＝(y-ɑy)/βy
δz＝(z-ɑz)/βz
其中，回归距离向量中的元素δx、δy、δz分别对应不同维度下的距离与平移向量和缩放向量的对应关系，具体的，ɑ＝[ɑx，ɑy，ɑz]为平移向量矩阵，β＝[βx,βy，βz]为缩放向量矩阵。(x，y，z)表示车辆位置信，其中，x表示车辆在三维坐标系下X轴方向的坐标值，对应的y表示车辆在三维坐标系下Y轴方向的坐标值，z表示车辆在三维坐标系下Z轴方向的坐标值。因此，将车辆位置回归损失定义为：
Figure BDA0003497355220000101
其中，λp为对应位置回归分支的权重因子；Ci为目标过滤因子，如果目标为车辆类别，Ci则为1，否则Ci为0；S为SmoothL1损失函数，Ri为回归距离向量，
Figure BDA0003497355220000102
平均距离向量。
所述车辆航向角估计，采用分类加回归的方式进行计算。首先，将所有航向角范围划分为四个象限，采用分类的形式进行角度的粗定位；其次，对应到每一个象限内的各个角度，计算出其与该象限中心的偏移量，采用回归的方式进行角度的精准定位。
Ly(i)＝λyCi(Lcls(i)+Lreg(i))
其中，Ly(i)为车辆角度损失，λy为对应角度回归分支的权重因子；Ci为目标过滤因子，如果目标为车辆类别，Ci则为1，否则Ci为0；Lcls为分类损失函数，Lreg为回归损失函数。
最后，将实际场景下捕获到的视频帧图像输入到训练好的模型，通过各模型的推理计算，完成实际场景中车辆的3D目标检测。
在本发明实施例提供的一种车辆在3D空间的信息检测方法是基于单目视觉的车辆3D检测方法，通过激光雷达获得高精度3D标签，以用于完成3D信息检测模型的创建。可以基于单目相机即可完成周围车辆的3D检测，为后续的规划及控制提供更加丰富的感知信息。并且，本发明实施例中部署简单、推理速度更快，各模块共享特征提取部分，相对于2D检测，增加少量计算就可以完成车辆的3D推理。
在本发明的另一实施例中还提供了一种车辆在3D空间的信息检测装置，参见图3，包括：
获取单元10，用于获取目标车辆的待检测图像；
提取单元20，用于对所述待检测图像进行特征提取，得到目标特征图；
检测单元30，用于将所述目标特征图输入至目标检测模型，获得目标检测结果，其中，所述目标检测模型包括2D信息检测分支和3D信息检测分支，所述目标检测模型是基于损失函数、目标训练样本和初始神经网络结构进行神经网络模型训练得到的模型，所述损失函数包括车辆分类损失、图像2D目标框定位损失、三维回归损失、车辆位置回归损失和车辆航向角损失；车辆分类损失是基于车辆的类别标签确定的；图像2D目标框定位损失是基于车辆对应的目标框的坐标信息确定的；车辆三维回归损失是基于各类别车辆的平均尺寸信息，确定三维尺寸的回归向量，根据所述三维尺寸的回归向量确定的；车辆航向角损失是基于车辆航向角信息确定的。
进一步地，所述提取单元包括：
增强处理子单元，用于对所述待检测图像进行图像增强处理，得到处理后图像；
提取子单元，用于对处理后的图像进行特征提取，得到目标特征图。
进一步地，所述装置还包括：
数据集获取单元，用于获取初始数据集，所述初始数据集包括相机以及激光雷达捕获到的目标图像信息和点云信息；
标注单元，用于对所述初始数据集进行标签标注，获得2D标签和3D标签；
确定单元，用于基于所述初始数据集、所述2D标签和所述3D标签，确定目标训练样本；
训练单元，用于根据所述目标训练样本和初始神经网络结构进行神经网络模型训练，得到目标检测模型。
进一步地，所述2D标签包括目标框和类别信息；所述3D标签包括目标位置信息、尺寸信息和姿态信息。
可选地，所述初始神经网络结构包括基础网络模块、特征融合模块、候选区域提取模块和候选区域池化模块。
进一步地，所述目标检测结果包括第一检测信息和第二检测信息，所述第一检测信息为所述2D信息检测分支对应的检测结果，所述第二检测信息为所述3D信息检测分支对应的检测结果；
所述第一检测信息包括目标车辆的类别信息和目标框信息；
所述第二检测信息包括目标位置信息、尺寸信息和姿态信息，所述目标位置信息包括目标对象距离目标车辆的横向距离和纵向距离，所述尺寸信息包括目标车辆的实际三维尺寸，所述姿态信息包括当前时刻目标车辆的航向角、翻滚角和俯仰角。
本发明提供了一种车辆在3D空间的信息检测装置，包括：获取单元获取目标车辆的待检测图像；提取单元对所述待检测图像进行特征提取，得到目标特征图；检测单元将所述目标特征图输入至目标检测模型，获得目标检测结果。本发明中的目标检测模型包括2D信息检测分支和3D信息检测分支，使得能够基于目标检测模型实现对目标车辆的2D信息和3D信息检测，获得了全面的检测信息，为后续的决策和规控阶段提供更加丰富的场景信息，提升智能驾驶系统的高效性和安全性。
基于前述实施例，本发明实施例还提供了一种存储介质，所述存储介质存储有可执行指令，所述指令被处理器执行时实现上述中任意一项所述的车辆在3D空间的信息检测方法。
本发明实施例还提供了一种电子设备，该电子设备包括：
存储器，用于存储程序；
处理器，用于执行所述程序，所述程序具体用于实现如上述中任意一项所述的车辆在3D空间的信息检测方法。
需要说明的是，上述处理器或CPU可以为特定用途集成电路(ApplicationSpecific Integrated Circuit，ASIC)、数字信号处理器(Digital Signal Processor，DSP)、数字信号处理装置(Digital Signal Processing Device，DSPD)、可编程逻辑装置(Programmable Logic Device，PLD)、现场可编程门阵列(Field Programmable GateArray，FPGA)、中央处理器(Central Processing Unit，CPU)、控制器、微控制器、微处理器中的至少一种。可以理解地，实现上述处理器功能的电子器件还可以为其它，本申请实施例不作具体限定。
需要说明的是，上述计算机存储介质/存储器可以是只读存储器(ReadOnlyMemory，ROM)、可编程只读存储器(Programmable Read-OnlyMemory，PROM)、可擦除可编程只读存储器(Erasable Programmable Read-Only Memory，EPROM)、电可擦除可编程只读存储器(Electrically Erasable Programmable Read-Only Memory，EEPROM)、磁性随机存取存储器(Ferromagnetic Random Access Memory，FRAM)、快闪存储器(FlashMemory)、磁表面存储器、光盘、或只读光盘(Compact Disc Read-OnlyMemory，CD-ROM)等存储器；也可以是包括上述存储器之一或任意组合的各种终端，如移动电话、计算机、平板设备、个人数字助理等。
在本申请所提供的几个实施例中，应该理解到，所揭露的设备和方法，可以通过其它的方式实现。以上所描述的设备实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，如：多个单元或组件可以结合，或可以集成到另一个系统，或一些特征可以忽略，或不执行。另外，所显示或讨论的各组成部分相互之间的耦合、或直接耦合、或通信连接可以是通过一些接口，设备或单元的间接耦合或通信连接，可以是电性的、机械的或其它形式的。
上述作为分离部件说明的单元可以是、或也可以不是物理上分开的，作为单元显示的部件可以是、或也可以不是物理单元，即可以位于一个地方，也可以分布到多个网络单元上；可以根据实际的需要选择其中的部分或全部单元来实现本实施例方案的目的。
另外，在本申请各实施例中的各功能单元可以全部集成在一个处理模块中，也可以是各单元分别单独作为一个单元，也可以两个或两个以上单元集成在一个单元中；上述集成的单元既可以采用硬件的形式实现，也可以采用硬件加软件功能单元的形式实现。本领域普通技术人员可以理解：实现上述方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成，前述的程序可以存储于一计算机可读取存储介质中，该程序在执行时，执行包括上述方法实施例的步骤；而前述的存储介质包括：移动存储设备、只读存储器(Read-Only Memory，ROM)、随机存取存储器(Random Access Memory，RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
本申请所提供的几个方法实施例中所揭露的方法，在不冲突的情况下可以任意组合，得到新的方法实施例。
本申请所提供的几个产品实施例中所揭露的特征，在不冲突的情况下可以任意组合，得到新的产品实施例。
本申请所提供的几个方法或设备实施例中所揭露的特征，在不冲突的情况下可以任意组合，得到新的方法实施例或设备实施例。
以上所述，仅为本申请的具体实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应以所述权利要求的保护范围为准。
本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的装置而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。
对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其它实施例中实现。因此，本发明将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。

Claims (9)

1.一种车辆在3D空间的信息检测方法，其特征在于，包括：
获取目标车辆的待检测图像；
对所述待检测图像进行特征提取，得到目标特征图；
将所述目标特征图输入至目标检测模型，获得目标检测结果，其中，所述目标检测模型包括2D信息检测分支和3D信息检测分支，所述目标检测模型是基于损失函数、目标训练样本和初始神经网络结构进行神经网络模型训练得到的模型，所述损失函数包括车辆分类损失、图像2D目标框定位损失、三维回归损失、车辆位置回归损失和车辆航向角损失；车辆分类损失是基于车辆的类别标签确定的；图像2D目标框定位损失是基于车辆对应的目标框的坐标信息确定的；车辆三维回归损失是基于各类别车辆的平均尺寸信息，确定三维尺寸的回归向量，根据所述三维尺寸的回归向量确定的；车辆航向角损失是基于车辆航向角信息确定的。
2.根据权利要求1所述的方法，其特征在于，所述对所述待检测图像进行特征提取，得到目标特征图，包括：
对所述待检测图像进行图像增强处理，得到处理后图像；
对处理后的图像进行特征提取，得到目标特征图。
3.根据权利要求1所述的方法，其特征在于，还包括：
获取初始数据集，所述初始数据集包括相机以及激光雷达捕获到的目标图像信息和点云信息；
对所述初始数据集进行标签标注，获得2D标签和3D标签；
基于所述初始数据集、所述2D标签和所述3D标签，确定目标训练样本；
根据所述目标训练样本和初始神经网络结构进行神经网络模型训练，得到目标检测模型。
4.根据权利要求3所述的方法，其特征在于，所述2D标签包括目标框和类别信息；所述3D标签包括目标位置信息、尺寸信息和姿态信息。
5.根据权利要求3所述的方法，其特征在于，所述初始神经网络结构包括基础网络模块、特征融合模块、候选区域提取模块和候选区域池化模块。
6.根据权利要求1所述的方法，其特征在于，所述目标检测结果包括第一检测信息和第二检测信息，所述第一检测信息为所述2D信息检测分支对应的检测结果，所述第二检测信息为所述3D信息检测分支对应的检测结果；
所述第一检测信息包括目标车辆的类别信息和目标框信息；
所述第二检测信息包括目标位置信息、尺寸信息和姿态信息，所述目标位置信息包括目标对象距离目标车辆的横向距离和纵向距离，所述尺寸信息包括目标车辆的实际三维尺寸，所述姿态信息包括当前时刻目标车辆的航向角、翻滚角和俯仰角。
7.一种车辆在3D空间的信息检测装置，其特征在于，包括：
获取单元，用于获取目标车辆的待检测图像；
提取单元，用于对所述待检测图像进行特征提取，得到目标特征图；
检测单元，用于将所述目标特征图输入至目标检测模型，获得目标检测结果，其中，所述目标检测模型包括2D信息检测分支和3D信息检测分支，所述目标检测模型是基于损失函数、目标训练样本和初始神经网络结构进行神经网络模型训练得到的模型，所述损失函数包括车辆分类损失、图像2D目标框定位损失、三维回归损失、车辆位置回归损失和车辆航向角损失；车辆分类损失是基于车辆的类别标签确定的；图像2D目标框定位损失是基于车辆对应的目标框的坐标信息确定的；车辆三维回归损失是基于各类别车辆的平均尺寸信息，确定三维尺寸的回归向量，根据所述三维尺寸的回归向量确定的；车辆航向角损失是基于车辆航向角信息确定的。
8.一种存储介质，其特征在于，所述存储介质存储有可执行指令，所述指令被处理器执行时实现如权利要求1-6中任意一项所述的车辆在3D空间的信息检测方法。
9.一种电子设备，其特征在于，包括：
存储器，用于存储程序；
处理器，用于执行所述程序，所述程序具体用于实现如权利要求1-6中任意一项所述的车辆在3D空间的信息检测方法。
CN202210118232.1A 2022-02-08 2022-02-08 一种车辆在3d空间的信息检测方法、装置及电子设备 Pending CN114463713A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210118232.1A CN114463713A (zh) 2022-02-08 2022-02-08 一种车辆在3d空间的信息检测方法、装置及电子设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210118232.1A CN114463713A (zh) 2022-02-08 2022-02-08 一种车辆在3d空间的信息检测方法、装置及电子设备

Publications (1)

Publication Number Publication Date
CN114463713A true CN114463713A (zh) 2022-05-10

Family

ID=81414310

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210118232.1A Pending CN114463713A (zh) 2022-02-08 2022-02-08 一种车辆在3d空间的信息检测方法、装置及电子设备

Country Status (1)

Country Link
CN (1) CN114463713A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112766206A (zh) * 2021-01-28 2021-05-07 深圳市捷顺科技实业股份有限公司 一种高位视频车辆检测方法、装置、电子设备和存储介质
CN115171072A (zh) * 2022-06-18 2022-10-11 感知信息科技(浙江)有限责任公司 基于fpga车辆检测跟踪算法实现的车辆3d检测方法

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112766206A (zh) * 2021-01-28 2021-05-07 深圳市捷顺科技实业股份有限公司 一种高位视频车辆检测方法、装置、电子设备和存储介质
CN115171072A (zh) * 2022-06-18 2022-10-11 感知信息科技(浙江)有限责任公司 基于fpga车辆检测跟踪算法实现的车辆3d检测方法

Similar Documents

Publication Publication Date Title
CN110059608B (zh) 一种物体检测方法、装置、电子设备和存储介质
CN110988912B (zh) 自动驾驶车辆的道路目标与距离检测方法、系统、装置
CN113128348B (zh) 一种融合语义信息的激光雷达目标检测方法及系统
Gurghian et al. Deeplanes: End-to-end lane position estimation using deep neural networksa
WO2018229549A2 (en) System and method for digital environment reconstruction
CN110163904A (zh) 对象标注方法、移动控制方法、装置、设备及存储介质
CN111797657A (zh) 车辆周边障碍检测方法、装置、存储介质及电子设备
CN112613378B (zh) 3d目标检测方法、系统、介质及终端
US20180137628A1 (en) Image data extraction apparatus and image data extraction method
CN112825192B (zh) 基于机器学习的对象辨识系统及其方法
CN114413881B (zh) 高精矢量地图的构建方法、装置及存储介质
CN117058646B (zh) 基于多模态融合鸟瞰图的复杂道路目标检测方法
CN113989744A (zh) 一种基于超大尺寸高分辨图像的行人目标检测方法及系统
CN110909656B (zh) 一种雷达与摄像机融合的行人检测方法和系统
CN114792416A (zh) 一种目标检测方法及装置
CN117576652B (zh) 道路对象的识别方法、装置和存储介质及电子设备
CN104700384B (zh) 基于增强现实技术的展示系统及展示方法
CN114118247A (zh) 一种基于多传感器融合的无锚框3d目标检测方法
CN114463713A (zh) 一种车辆在3d空间的信息检测方法、装置及电子设备
CN116643291A (zh) 一种视觉与激光雷达联合剔除动态目标的slam方法
CN108256444B (zh) 一种用于车载视觉系统的目标检测方法
CN116664851A (zh) 一种基于人工智能的自动驾驶数据提取方法
García-García et al. 3D visual odometry for road vehicles
US20240151855A1 (en) Lidar-based object tracking
CN114898306A (zh) 一种检测目标朝向的方法、装置及电子设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination