CN112001226A - 一种无人驾驶3d目标检测方法、装置及存储介质 - Google Patents

一种无人驾驶3d目标检测方法、装置及存储介质 Download PDF

Info

Publication number
CN112001226A
CN112001226A CN202010645311.9A CN202010645311A CN112001226A CN 112001226 A CN112001226 A CN 112001226A CN 202010645311 A CN202010645311 A CN 202010645311A CN 112001226 A CN112001226 A CN 112001226A
Authority
CN
China
Prior art keywords
target
unmanned
layer
resolution
point cloud
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010645311.9A
Other languages
English (en)
Other versions
CN112001226B (zh
Inventor
左洪年
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhongke Shuguang Nanjing Computing Technology Co ltd
Original Assignee
Zhongke Shuguang Nanjing Computing Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhongke Shuguang Nanjing Computing Technology Co ltd filed Critical Zhongke Shuguang Nanjing Computing Technology Co ltd
Priority to CN202010645311.9A priority Critical patent/CN112001226B/zh
Publication of CN112001226A publication Critical patent/CN112001226A/zh
Application granted granted Critical
Publication of CN112001226B publication Critical patent/CN112001226B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/64—Three-dimensional objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07—Target detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Molecular Biology (AREA)
  • Computational Linguistics (AREA)
  • Multimedia (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Mathematical Physics (AREA)
  • General Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种无人驾驶3D目标检测方法、装置及存储介质，该方法包括步骤：首先根据传感器数据生成点云鸟瞰图；再构建目标检测网络，将卷积层分为高分辨率与低分辨率，分别生成高分辨率纹理层与低分辨率语义层，进而得到融合目标特征，生成目标特征图；使用所述点云数据生成3D目标框，将所述3D目标框映射在所述融合目标特征上；最后通过损失函数对标注好的3D目标数据集进行模型训练，通过构建好的目标检测网络进行目标框的回归，得到当前所有目标的3D目标框。所述无人驾驶3D目标检测装置及存储介质基于上述无人驾驶3D目标检测方法。本发明提升了对3D目标的检测精度，避免漏检所导致的目标碰撞问题，保证无人驾驶系统的安全性。

Description

一种无人驾驶3D目标检测方法、装置及存储介质
技术领域
本发明涉及一种目标检测方法，尤其涉及一种无人驾驶3D目标检测方法、装置及计算机存储介质。
背景技术
随着基于卷积网络的识别算法出现，传统2D目标检测在精度与速率上均达到较高的水平，但其已无法满足无人驾驶场景下对目标物体三维大小与旋转角的需求，因此3D 目标检测算法的研究在无人驾驶领域具有重要意义。
根据数据来源的不同，无人驾驶中3D目标检测算法可分为：(1)纯视觉算法，利 用Faster-RCNN、SSD、Yolo等成熟算法从RGB图像中模拟出3D目标框的位置与方向。 (2)纯激光雷达算法，主要从点云信息中获取目标特征，利用点云信息二维化、3D卷 积与点云体素处理等方案对点云信息进行特征提取，并实现3D目标框位置与方向的回 归。(3)传感器融合方案，利用点云数据提供目标方位、距离等目标空间信息，RGB图 像提供目标轮廓、纹理等目标详细信息，进而通过异构数据特征融合获取3D目标框。 由于，不同类型的传感器均存在优势与缺陷，单传感器无法完成对无人驾驶功能性与安 全性的全面覆盖。如：激光雷达与摄像头相比，激光雷达分辨率较差，但其测距能力与 环境适应性更强，摄像头受恶劣天气影响较大，但在目标识别方面优于激光雷达。
发明内容
发明目的：本发明提出一种无人驾驶场景下兼顾分辨率、测距能力和环境适应性的 3D目标检测方法。本发明的另一目的在于提供基于该方法的无人驾驶3D目标检测系统及计算机存储介质。
技术方案：本发明所述的无人驾驶3D目标检测方法，包括步骤：
(1)通过激光雷达获取点云数据，通过摄像头传感器获取对检测目标拍摄的RGB图像数据，生成点云鸟瞰图；
(2)构建目标检测网络，将卷积层分为高分辨率与低分辨率，分别生成高分辨率纹理层与低分辨率语义层，进而得到融合目标特征，生成目标特征图；
(3)使用所述点云数据生成3D目标框，将所述3D目标框映射在所述融合目标特 征上；
(4)通过损失函数对标注好的3D目标数据集进行模型训练，通过步骤(2)中构 建好的目标检测网络进行目标框的回归，得到当前所有目标的3D目标框。
进一步地，所述步骤(1)包括：
(11)以车辆为中心建立空间直角坐标系，选取点云范围；
(12)对范围内的点云信息进行二维化处理；
(13)对点云的密度信息进行可视化处理；
(14)对步骤(12)和(13)的结果进行鸟瞰处理，得到点云鸟瞰图。
进一步地，所述步骤(2)包括：
(21)构建目标检测网络，将卷积层分为高分辨率与低分辨率，所述高分辨率卷积层用于生成纹理特征，所述低分辨率卷积层用于生成语义特征，控制高低分辨率卷积层 层数的比例以平衡目标检测的精度与速度；利用语义纹理特征可较好地解决现有技术中 忽略小目标存在的问题。
(22)将所述RGB图像数据与激光点云数据设定关联，并将点云鸟瞰图与RGB图 像输入目标检测网络；
(23)通过骨干网络生成不同分辨率的特征图，组合多尺度特征，生成目标特征图。
进一步地，所述步骤(23)包括：
(231)将点云鸟瞰图分为厚度为16的高分辨率卷积层
Figure BDA0002572905130000021
与厚度为16的低分辨率卷积层
Figure BDA0002572905130000022
接着分别在
Figure BDA0002572905130000023
与
Figure BDA0002572905130000024
上使用3x 3卷积核进行三次卷积插值操作；对
Figure BDA0002572905130000025
执 行池化操作，同时对
Figure BDA0002572905130000026
执行上采样操作；
(232)将池化后的
Figure BDA0002572905130000027
与三次卷积操作后的
Figure BDA0002572905130000028
进行连接操作，得到目标的特征融合结果高分辨率卷积层
Figure BDA0002572905130000029
将上采样后的
Figure BDA00025729051300000210
与三次卷积操作后的
Figure BDA00025729051300000211
进行连接操作， 得到目标的特征融合结果低分辨率卷积层
Figure BDA00025729051300000212
重复上述操作，直到得到厚度为128的 高分辨率卷积层
Figure BDA00025729051300000213
和厚度为128的低分辨率卷积层
Figure BDA00025729051300000214
(233)建立特征金字塔层，包括高分辨率层Pi H、低分辨率层Pi L，对Pi H与
Figure BDA00025729051300000215
进 行连接操作，对Pi L与
Figure BDA00025729051300000216
进行连接操作，分别得到对应的高低分别率融合特征层，其中， i表示对应的卷积层序号；
(234)在特征提取网络末端，对低分辨率卷积层进行上采样操作，进而与高分辨率卷积层进行连接操作，得到融合目标特征图。
进一步地，所述步骤(2)还包括：对生成的目标特征图进行降维处理。
进一步地，所述步骤(4)包括：
(41)将3D目标框的坐标定义为(
Figure BDA00025729051300000217
)，其中
Figure BDA00025729051300000218
分别表示目标框相对于地面的预测坐标，
Figure BDA00025729051300000219
分别表示目标框上下面与地面的预测距离；
(42)按照如下公式计算3D目标框
Figure BDA00025729051300000220
的实际体积
Figure BDA00025729051300000221
Figure BDA00025729051300000222
其中，
Figure BDA0002572905130000031
分别表示目标框
Figure BDA0002572905130000032
的实 际坐标，其中
Figure BDA0002572905130000033
分别代表目标框相对于地面的真实坐标，
Figure BDA0002572905130000034
分别代 表目标框上下面与地面的真实距离；
按照如下公式计算3D预测目标框
Figure BDA0002572905130000035
的体积预测值
Figure BDA0002572905130000036
Figure BDA0002572905130000037
其中，
Figure BDA0002572905130000038
分别表示预测目标框
Figure BDA0002572905130000039
的预测坐标；其中，
Figure BDA00025729051300000310
分别表示目标框相对于地面的预测坐标，
Figure BDA00025729051300000311
分别表示目标框上下面与地面的预测距离；
(43)计算
Figure BDA00025729051300000312
的重叠体积：
Figure BDA00025729051300000313
Figure BDA00025729051300000314
Figure BDA00025729051300000315
其中，
Figure BDA00025729051300000316
与
Figure BDA00025729051300000317
分别代表预测目标框坐标，
Figure BDA00025729051300000318
与
Figure BDA00025729051300000319
代表重叠框坐标， I代表计算出
Figure BDA00025729051300000320
的重叠体积；
(44)计算包含
Figure BDA00025729051300000321
的最小目标框
Figure BDA00025729051300000322
的体积
Figure BDA00025729051300000323
Figure BDA00025729051300000324
Figure BDA00025729051300000325
Figure BDA00025729051300000326
其中，
Figure BDA00025729051300000327
代表预测目标框与实际目标框重合部分的坐标；
(45)计算基于传感器融合的3D目标框检测算法的损失，损失函数为：
Figure RE-GDA00027082060700000330
将所述损失函数引入目标检测网络，并根据网络预测的目标框坐标与实际目标框坐 标更新检测框架权重，最终得到最优目标检测框架；
(46)通过步骤(2)中构建好的目标检测网络对最优目标检测框架进行目标框的回归，得到当前所有目标的3D目标框。
进一步地，步骤(41)中的3D目标框为采用非极大抑制算法筛选后的目标框。
本发明所述的无人驾驶3D目标检测装置包括：存储器、处理器及在所述存储器上存储并可运行的无人驾驶3D目标检测的程序，所述无人驾驶3D目标检测的程序被处 理器执行时实现所述无人驾驶3D目标检测方法的部分或全部步骤。
本发明还公开了一种计算机可读存储介质，其上存储有无人驾驶3D目标检测的程序，所述无人驾驶3D目标检测的程序被处理器执行时实现所述无人驾驶3D目标检测 方法的部分或全部步骤。
有益效果：本发明提升了对3D目标的检测精度，避免漏检所导致的目标碰撞问题，保证无人驾驶系统的安全性。
附图说明
图1是本发明流程示意图；
图2是本发明所述目标检测网络结构示意图。
具体实施方式
下面结合附图和实施例对本发明的技术方案作进一步的说明。
如图1所示，本发明所述的无人驾驶3d目标检测方法，包括步骤：
(1)通过激光雷达获取点云数据，通过摄像头传感器获取对检测目标拍摄的RGB图像数据，生成点云鸟瞰图。
在(x,y,z)的坐标系内将点云的范围控制在[-40,40]×[0,70]×[0,2.5]米之内，并将 范围内的点云信息进行鸟瞰处理，在点云竖直方向上将0至2.5m高度范围内的点云信息平分为五段，得到分辨率为700x800x5的黑白图像，同时将点云的密度信息可视化为700x800分辨率图像，构成尺寸为700x800x6的点云鸟瞰图信息。
(2)构建目标检测网络，将卷积层分为高分辨率与低分辨率，分别生成高分辨率纹理层与低分辨率语义层，进而得到融合目标特征，生成目标特征图；
在无人驾驶车辆行驶在道路过程中，实时检测车辆周围的目标位置。将激光雷达与 摄像头传感器采集到的激光点云进行鸟瞰化处理，将RGB图像数据与激光点云数据设定关联，并将点云鸟瞰图与RGB图像输入两个架构相同的特征提取模块框架。在网络 特征提取的过程中，将卷积层分为高分辨率与低分辨率，其中高分辨率卷积层主要用于 生成纹理特征，而低分辨率用于生成语义特征，并通过参数控制高低分辨率卷积层层数 的比例，平衡目标检测的精度与速度。骨干网络包含4个卷积模块，可相应生成厚度为 32、64、128、256的特征图，利用上采样方案的同时组合多尺度特征。
如图2所示，首先采用3x 3x 16的卷积核与Maxpooling操作，将LIDAR点云生 成鸟瞰图BEV分为704x800x16的
Figure BDA0002572905130000041
与352x400x16的
Figure BDA0002572905130000042
接着分别在
Figure BDA0002572905130000043
与
Figure BDA0002572905130000044
上使 用3x 3卷积核进行三次卷积操作，并且在此过程中，分别对
Figure BDA0002572905130000051
与
Figure BDA0002572905130000052
执行池化(Pooling) 与上采样(Upsample)操作，将操作结果与已卷积结果进行连接(contact)操作，最终 得到目标的特征融合结果
Figure BDA0002572905130000053
与
Figure BDA0002572905130000054
重复上述操作，直到
Figure BDA0002572905130000055
变为88x100x128，
Figure BDA0002572905130000056
变 为44x50x128。此时借鉴FPN思想建立特征金字塔层，包括高分辨率层Pi H、低分辨率 层Pi L，对Pi H与
Figure BDA0002572905130000057
进行连接操作，对Pi L与
Figure BDA0002572905130000058
进行连接操作，分别得到对应的高低分别 率融合特征层，其中，i表示对应的卷积层序号。此时需将P3 H与P3 L融合，得到融合目 标特征。最终，对
Figure BDA0002572905130000059
P3 H、CP1 H、
Figure BDA00025729051300000510
P3 L、CP1 L进行contact与1x1卷积操作(即 进行降维处理)，从而得到目标特征图。
(3)使用所述点云数据生成3D目标框，将所述3D目标框映射在所述融合目标特 征上；
(4)通过损失函数对标注好的3D目标数据集进行模型训练，通过步骤(2)中构 建好的目标检测网络进行目标框的回归，得到当前所有目标的3D目标框，可以弥补3D 目标漏检。
根据基于语义纹理特征的多传感器融合感知算法的特性，损失可由分类损失、回归 损失、IOU损失构成：
Ltotal＝Lcls+Lreg+Liou
其中IOU损失Liou可作为针对3D目标检测的主要提升点。
(41)将3D目标框的坐标定义为(
Figure BDA00025729051300000511
)，其中
Figure BDA00025729051300000512
分别表示目标框相对于地面的预测坐标，
Figure BDA00025729051300000513
分别表示目标框上下面与地面的预测距离；
(42)按照如下公式计算3D目标框
Figure BDA00025729051300000514
的实际体积
Figure BDA00025729051300000515
Figure BDA00025729051300000516
其中，
Figure BDA00025729051300000517
分别表示目标框
Figure BDA00025729051300000518
的实 际坐标，其中
Figure BDA00025729051300000519
分别代表目标框相对于地面的真实坐标，
Figure BDA00025729051300000520
分别代 表目标框上下面与地面的真实距离；
按照如下公式计算3D预测目标框
Figure BDA00025729051300000521
的体积预测值
Figure BDA00025729051300000522
Figure BDA00025729051300000523
其中，
Figure BDA00025729051300000524
分别表示预测目标框
Figure BDA00025729051300000525
的预测坐标；其中，
Figure BDA00025729051300000526
分别表示目标框相对于地面的预测坐标，
Figure BDA00025729051300000527
分别表示目标框上下面与地面的预测距离；
(43)计算
Figure BDA0002572905130000061
的重叠体积：
Figure BDA0002572905130000062
Figure BDA0002572905130000063
Figure BDA0002572905130000064
其中，
Figure BDA0002572905130000065
与
Figure BDA0002572905130000066
分别代表预测目标框坐标，
Figure BDA0002572905130000067
与
Figure BDA0002572905130000068
代表重叠框坐标， I代表计算出
Figure BDA0002572905130000069
的重叠体积；
(44)计算包含
Figure BDA00025729051300000610
的最小目标框
Figure BDA00025729051300000611
的体积
Figure BDA00025729051300000612
Figure BDA00025729051300000613
Figure BDA00025729051300000614
Figure BDA00025729051300000615
其中，
Figure BDA00025729051300000616
代表预测目标框与实际目标框重合部分的坐标；
(45)计算基于传感器融合的3D目标框检测算法的损失，损失函数为：
Figure BDA00025729051300000617
将所述损失函数引入目标检测网络，并根据网络预测的目标框坐标与实际目标框坐 标更新检测框架权重，最终得到最优目标检测框架；
(46)利用非极大抑制算法(non maximum suppression,NMS)进行目标框的筛选。通过局部的两个可变参数，搜寻到局部最优解。类比目标检测中目标框筛选，滑动的窗 口提取特征，并对经分类识别后的窗口赋值，由于多数的窗口存在交叉的情况，这时便 可通过非极大抑制筛选分数较高的窗口，抑制分数较低的窗口，其流程如下所示：
Figure BDA00025729051300000618
Figure BDA0002572905130000071
其中，B表示最初的识别框集合，S表示识别框对应置信度，Nt表示NMS阀值。 具体而言，假设存在6个目标框，根据分类概率可以从小到大排列成A、B、C、D、E、 F。首先从最大检测概率的目标框F开始，依次筛选目标框，判断其重叠度IOU是否超 过设定的阀值；再次，假设目标框C、D与F的重叠度超过设定阀值，则在标记并保留 目标框F的同时，删除目标框C、D；再次，从剩下的目标框A、B、E中选取最大检测 概率E，判断目标框E与A、B的重叠度，当其大于设定的阀值，则在标记并保留E的 同时，删除目标框A、B；类似的流程一直循环往复，直到检测出得所有的目标框。
本发明公开了一种无人驾驶3D目标检测装置，该装置包括：存储器、处理器及在所述存储器上存储并可运行的无人驾驶3D目标检测的程序，所述无人驾驶3D目标检 测的程序被处理器执行时实现上述无人驾驶3D目标检测方法的部分或全部步骤。
本发明还公开了一种计算机可读存储介质，其上存储有无人驾驶3D目标检测的程序，所述无人驾驶3D目标检测的程序被处理器执行时实现上述无人驾驶3D目标检测 方法的部分或全部步骤。

Claims (9)

1.一种无人驾驶3D目标检测方法，其特征在于，包括步骤：
(1)通过激光雷达获取点云数据，通过摄像头传感器获取对检测目标拍摄的RGB图像数据，生成点云鸟瞰图；
(2)构建目标检测网络，将卷积层分为高分辨率与低分辨率，分别生成高分辨率纹理层与低分辨率语义层，进而得到融合目标特征，生成目标特征图；
(3)使用所述点云数据生成3D目标框，将所述3D目标框映射在所述融合目标特征上；
(4)通过损失函数对标注好的3D目标数据集进行模型训练，通过步骤(2)中构建好的目标检测网络进行目标框的回归，得到当前所有目标的3D目标框。
2.根据权利要求1所述的无人驾驶3D目标检测方法，其特征在于，所述步骤(1)包括：
(11)以车辆为中心建立空间直角坐标系，选取点云范围；
(12)对范围内的点云信息进行二维化处理；
(13)对点云的密度信息进行可视化处理；
(14)对步骤(12)和(13)的结果进行鸟瞰处理，得到点云鸟瞰图。
3.根据权利要求1所述的无人驾驶3D目标检测方法，其特征在于，所述步骤(2)包括：
(21)构建目标检测网络，将卷积层分为高分辨率与低分辨率，所述高分辨率卷积层用于生成纹理特征，所述低分辨率卷积层用于生成语义特征，控制高低分辨率卷积层层数的比例以平衡目标检测的精度与速度；
(22)将所述RGB图像数据与激光点云数据设定关联，并将点云鸟瞰图与RGB图像输入目标检测网络；
(23)通过骨干网络生成不同分辨率的特征图，组合多尺度特征，生成目标特征图。
4.根据权利要求3所述的无人驾驶3D目标检测方法，其特征在于，所述步骤(23)包括：
(231)将点云鸟瞰图分为厚度为16的高分辨率卷积层
Figure RE-FDA0002708206060000011
与厚度为16的低分辨率卷积层
Figure RE-FDA0002708206060000012
接着分别在
Figure RE-FDA0002708206060000013
与
Figure RE-FDA0002708206060000014
上使用3x3卷积核进行三次卷积插值操作；对
Figure RE-FDA0002708206060000015
执行池化操作，同时对
Figure RE-FDA0002708206060000016
执行上采样操作；
(232)将池化后的
Figure RE-FDA0002708206060000017
与三次卷积操作后的
Figure RE-FDA0002708206060000018
进行连接操作，得到目标的特征融合结果高分辨率卷积层
Figure RE-FDA0002708206060000019
将上采样后的
Figure RE-FDA00027082060600000110
与三次卷积操作后的
Figure RE-FDA00027082060600000111
进行连接操作，得到目标的特征融合结果低分辨率卷积层
Figure RE-FDA00027082060600000112
重复上述操作，直到得到厚度为128的高分辨率卷积层
Figure RE-FDA00027082060600000113
和厚度为128的低分辨率卷积层
Figure RE-FDA00027082060600000114
(233)建立特征金字塔层，包括高分辨率层Pi H、低分辨率层Pi L，对Pi H与
Figure RE-FDA00027082060600000115
进行连接操作，对Pi L与
Figure RE-FDA0002708206060000021
进行连接操作，分别得到对应的高低分别率融合特征层，其中，i表示对应的卷积层序号；
(234)在特征提取网络末端，对低分辨率卷积层进行上采样操作，进而与高分辨率卷积层进行连接操作，得到融合目标特征图。
5.根据权利要求1所述的无人驾驶3D目标检测方法，其特征在于，所述步骤(2)还包括：对生成的目标特征图进行降维处理。
6.根据权利要求1所述的无人驾驶3D目标检测方法，其特征在于，所述步骤(4)包括：
(41)将3D目标框的坐标定义为
Figure RE-FDA0002708206060000022
其中
Figure RE-FDA0002708206060000023
分别表示目标框相对于地面的预测坐标，
Figure RE-FDA0002708206060000024
分别表示目标框上下面与地面的预测距离；
(42)按照如下公式计算3D目标框
Figure RE-FDA0002708206060000025
的实际体积
Figure RE-FDA0002708206060000026
Figure RE-FDA0002708206060000027
其中，
Figure RE-FDA0002708206060000028
Figure RE-FDA0002708206060000029
分别表示目标框
Figure RE-FDA00027082060600000210
的实际坐标，其中
Figure RE-FDA00027082060600000211
分别代表目标框相对于地面的真实坐标，
Figure RE-FDA00027082060600000212
分别代表目标框上下面与地面的真实距离；
按照如下公式计算3D预测目标框
Figure RE-FDA00027082060600000213
的体积预测值
Figure RE-FDA00027082060600000214
Figure RE-FDA00027082060600000215
其中，
Figure RE-FDA00027082060600000216
Figure RE-FDA00027082060600000217
分别表示预测目标框
Figure RE-FDA00027082060600000218
的预测坐标；其中，
Figure RE-FDA00027082060600000219
分别表示目标框相对于地面的预测坐标，
Figure RE-FDA00027082060600000220
分别表示目标框上下面与地面的预测距离；
(43)计算
Figure RE-FDA00027082060600000221
的重叠体积：
Figure RE-FDA00027082060600000222
Figure RE-FDA00027082060600000223
Figure RE-FDA00027082060600000224
其中，
Figure RE-FDA00027082060600000225
与
Figure RE-FDA00027082060600000226
分别代表预测目标框坐标，
Figure RE-FDA00027082060600000227
与
Figure RE-FDA00027082060600000228
代表重叠框坐标，I代表计算出
Figure RE-FDA00027082060600000229
的重叠体积；
(44)计算包含
Figure RE-FDA0002708206060000031
的最小目标框
Figure RE-FDA0002708206060000032
的体积
Figure RE-FDA0002708206060000033
Figure RE-FDA0002708206060000034
Figure RE-FDA0002708206060000035
Figure RE-FDA0002708206060000036
其中，
Figure RE-FDA0002708206060000037
代表预测目标框与实际目标框重合部分的坐标；
(45)计算基于传感器融合的3D目标框检测算法的损失，损失函数为：
Figure RE-FDA0002708206060000038
将所述损失函数引入目标检测网络，并根据网络预测的目标框坐标与实际目标框坐标更新检测框架权重，最终得到最优目标检测框架；
(46)通过步骤(2)中构建好的目标检测网络对最优目标检测框架进行目标框的回归，得到当前所有目标的3D目标框。
7.根据权利要求6所述的无人驾驶3D目标检测方法，其特征在于，步骤(41)中的3D目标框为采用非极大抑制算法筛选后的目标框。
8.一种无人驾驶3D目标检测装置，其特征在于，该装置包括：存储器、处理器及在所述存储器上存储并可运行的无人驾驶3D目标检测的程序，所述无人驾驶3D目标检测的程序被处理器执行时实现如权利要求1至7中任一项所述无人驾驶3D目标检测方法的步骤。
9.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有无人驾驶3D目标检测的程序，所述无人驾驶3D目标检测的程序被处理器执行时实现如权利要求1至7中任一项所述无人驾驶3D目标检测方法的步骤。
CN202010645311.9A 2020-07-07 2020-07-07 一种无人驾驶3d目标检测方法、装置及存储介质 Active CN112001226B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010645311.9A CN112001226B (zh) 2020-07-07 2020-07-07 一种无人驾驶3d目标检测方法、装置及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010645311.9A CN112001226B (zh) 2020-07-07 2020-07-07 一种无人驾驶3d目标检测方法、装置及存储介质

Publications (2)

Publication Number Publication Date
CN112001226A true CN112001226A (zh) 2020-11-27
CN112001226B CN112001226B (zh) 2024-05-28

Family

ID=73466738

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010645311.9A Active CN112001226B (zh) 2020-07-07 2020-07-07 一种无人驾驶3d目标检测方法、装置及存储介质

Country Status (1)

Country Link
CN (1) CN112001226B (zh)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112989997A (zh) * 2021-03-11 2021-06-18 中国科学技术大学 一种基于多信息融合的3d目标检测方法及系统
CN113011317A (zh) * 2021-03-16 2021-06-22 青岛科技大学 三维目标检测方法及检测装置
CN114445310A (zh) * 2021-12-23 2022-05-06 苏州浪潮智能科技有限公司 一种3d目标检测方法、装置、电子设备和介质
CN114863375A (zh) * 2022-06-10 2022-08-05 无锡雪浪数制科技有限公司 一种基于3d视觉识别的加油站车辆多视角定位方法
WO2023036228A1 (en) * 2021-09-08 2023-03-16 Huawei Technologies Co., Ltd. System and method for proposal-free and cluster-free panoptic segmentation system of point clouds
WO2023173545A1 (zh) * 2022-03-15 2023-09-21 平安科技（深圳）有限公司 超声图像的基准图像的生成方法、装置、设备及存储介质
WO2024015019A1 (en) * 2022-07-12 2024-01-18 Nanyang Technological University Driver attention modelling system

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109948661A (zh) * 2019-02-27 2019-06-28 江苏大学 一种基于多传感器融合的3d车辆检测方法
CN110689562A (zh) * 2019-09-26 2020-01-14 深圳市唯特视科技有限公司 一种基于生成对抗网络的轨迹回环检测优化方法
US20200025935A1 (en) * 2018-03-14 2020-01-23 Uber Technologies, Inc. Three-Dimensional Object Detection
CN110929692A (zh) * 2019-12-11 2020-03-27 中国科学院长春光学精密机械与物理研究所 一种基于多传感器信息融合的三维目标检测方法及装置
CN111027581A (zh) * 2019-08-23 2020-04-17 中国地质大学（武汉） 一种基于可学习编码的3d目标检测方法及系统
CN111079685A (zh) * 2019-12-25 2020-04-28 电子科技大学 一种3d目标检测方法
CN111209825A (zh) * 2019-12-31 2020-05-29 武汉中海庭数据技术有限公司 一种用于动态目标3d检测的方法和装置
WO2020119661A1 (zh) * 2018-12-14 2020-06-18 中国科学院深圳先进技术研究院 一种目标检测方法、装置以及行人检测方法、系统

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20200025935A1 (en) * 2018-03-14 2020-01-23 Uber Technologies, Inc. Three-Dimensional Object Detection
WO2020119661A1 (zh) * 2018-12-14 2020-06-18 中国科学院深圳先进技术研究院 一种目标检测方法、装置以及行人检测方法、系统
CN109948661A (zh) * 2019-02-27 2019-06-28 江苏大学 一种基于多传感器融合的3d车辆检测方法
CN111027581A (zh) * 2019-08-23 2020-04-17 中国地质大学（武汉） 一种基于可学习编码的3d目标检测方法及系统
CN110689562A (zh) * 2019-09-26 2020-01-14 深圳市唯特视科技有限公司 一种基于生成对抗网络的轨迹回环检测优化方法
CN110929692A (zh) * 2019-12-11 2020-03-27 中国科学院长春光学精密机械与物理研究所 一种基于多传感器信息融合的三维目标检测方法及装置
CN111079685A (zh) * 2019-12-25 2020-04-28 电子科技大学 一种3d目标检测方法
CN111209825A (zh) * 2019-12-31 2020-05-29 武汉中海庭数据技术有限公司 一种用于动态目标3d检测的方法和装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
郑少武;李巍华;胡坚耀;: "基于激光点云与图像信息融合的交通环境车辆检测", 仪器仪表学报, no. 12, 15 December 2019 (2019-12-15) *

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112989997A (zh) * 2021-03-11 2021-06-18 中国科学技术大学 一种基于多信息融合的3d目标检测方法及系统
CN113011317A (zh) * 2021-03-16 2021-06-22 青岛科技大学 三维目标检测方法及检测装置
WO2023036228A1 (en) * 2021-09-08 2023-03-16 Huawei Technologies Co., Ltd. System and method for proposal-free and cluster-free panoptic segmentation system of point clouds
CN114445310A (zh) * 2021-12-23 2022-05-06 苏州浪潮智能科技有限公司 一种3d目标检测方法、装置、电子设备和介质
CN114445310B (zh) * 2021-12-23 2024-01-26 苏州浪潮智能科技有限公司 一种3d目标检测方法、装置、电子设备和介质
WO2023173545A1 (zh) * 2022-03-15 2023-09-21 平安科技（深圳）有限公司 超声图像的基准图像的生成方法、装置、设备及存储介质
CN114863375A (zh) * 2022-06-10 2022-08-05 无锡雪浪数制科技有限公司 一种基于3d视觉识别的加油站车辆多视角定位方法
WO2024015019A1 (en) * 2022-07-12 2024-01-18 Nanyang Technological University Driver attention modelling system

Also Published As

Publication number Publication date
CN112001226B (zh) 2024-05-28

Similar Documents

Publication Publication Date Title
CN112001226B (zh) 一种无人驾驶3d目标检测方法、装置及存储介质
CN110059608B (zh) 一种物体检测方法、装置、电子设备和存储介质
CN109948661B (zh) 一种基于多传感器融合的3d车辆检测方法
CN113359810B (zh) 一种基于多传感器的无人机着陆区域识别方法
CN114842438B (zh) 用于自动驾驶汽车的地形检测方法、系统及可读存储介质
CN104484668B (zh) 一种无人机多重叠遥感影像的建筑物轮廓线提取方法
CN110163930A (zh) 车道线生成方法、装置、设备、系统及可读存储介质
CN109683699B (zh) 基于深度学习实现增强现实的方法、装置及移动终端
CN113192091B (zh) 一种基于激光雷达与相机融合的远距离目标感知方法
CN113359782B (zh) 一种融合lidar点云与图像数据的无人机自主选址降落方法
CN111998862B (zh) 一种基于bnn的稠密双目slam方法
CN112666963A (zh) 基于四轴无人机的公路路面裂缝检测系统及其检测方法
CN112288667A (zh) 一种基于激光雷达与摄像头融合的三维目标检测方法
CN111247564A (zh) 一种数字地表模型的构建方法及处理设备、系统
CN112154448A (zh) 目标检测方法、设备及可移动平台
CN116740669B (zh) 多目图像检测方法、装置、计算机设备和存储介质
CN115100741B (zh) 一种点云行人距离风险检测方法、系统、设备和介质
CN116381713A (zh) 一种多传感器点云融合的动态场景自主定位与建图方法
CN116912786A (zh) 一种基于车路协同的智能网联汽车多模态融合检测方法
CN117726880A (zh) 一种基于单目摄像头的交通锥桶3d实时检测方法、系统、设备及介质
CN116778262B (zh) 一种基于虚拟点云的三维目标检测方法和系统
CN114170499A (zh) 目标检测方法、跟踪方法、装置、视觉传感器和介质
CN114092771A (zh) 多传感数据融合方法、目标检测方法、装置和计算机设备
CN116071730A (zh) 背景对象的检测方法、装置、设备以及自动驾驶车辆
CN116188587A (zh) 定位方法、装置及车辆

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant