CN114495038B - 一种自动驾驶检测标注数据的后处理方法 - Google Patents

一种自动驾驶检测标注数据的后处理方法 Download PDF

Info

Publication number
CN114495038B
CN114495038B CN202210030157.3A CN202210030157A CN114495038B CN 114495038 B CN114495038 B CN 114495038B CN 202210030157 A CN202210030157 A CN 202210030157A CN 114495038 B CN114495038 B CN 114495038B
Authority
CN
China
Prior art keywords
dimensional
frame
detection
height
marking
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202210030157.3A
Other languages
English (en)
Other versions
CN114495038A (zh
Inventor
吴双
林金表
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Jiuzhi Suzhou Intelligent Technology Co ltd
Original Assignee
Jiuzhi Suzhou Intelligent Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Jiuzhi Suzhou Intelligent Technology Co ltd filed Critical Jiuzhi Suzhou Intelligent Technology Co ltd
Priority to CN202210030157.3A priority Critical patent/CN114495038B/zh
Publication of CN114495038A publication Critical patent/CN114495038A/zh
Application granted granted Critical
Publication of CN114495038B publication Critical patent/CN114495038B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Molecular Biology (AREA)
  • Computational Linguistics (AREA)
  • Software Systems (AREA)
  • Mathematical Physics (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computing Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Traffic Control Systems (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Optical Radar Systems And Details Thereof (AREA)

Abstract

本发明公开了一种自动驾驶检测标注数据的后处理方法，其方法为：使用图像检测神经网络在图像中检测目标物体，得到准确的二维检测框U1；设定检测的距离阈值，如果目标物体与激光雷达的距离大于距离阈值，则标注该目标物体的三维框，根据物体类别，调整标注的三维框V1的高度h等于预设高度值h0，根据激光雷达与相机的标定关系，把雷达坐标系中的三维框V1投影到相机的图像坐标系中，得到投影后的二维标注框B1，在二维检测框U1中，找出与B1最匹配的检测框B2，垂直方向的偏差为∆b=b2‑b1；把V1的中心点坐标的z坐标调整为:z1=z0+∆b/d1×h0。本发明能够降低神经网络对远处目标物品标注的三维框在高度上的噪声，提高对远处目标物品高度检测的准确性。

Description

一种自动驾驶检测标注数据的后处理方法
技术领域
本发明涉及自动驾驶车辆技术领域，特别是涉及一种自动驾驶检测标注数据的后处理方法。
背景技术
随着深度神经网络的技术发展及计算单元的版本迭代，深度神经网络在无人车发挥着越来越重要的作用。无人车往往配置多种传感器，比如激光雷达和摄像头，以感知环境信息进行作业。深度学习在无人车中的常见应用场景是利用这些传感器的信息来检测周围的障碍物。根据使用的传感器数据不同，自动驾驶场景中的检测算法可分为以下三类：使用纯雷达点云的点云检测方法、使用纯图像的视觉检测方法、同时使用点云和图像数据的前融合检测方法。
在深度神经网络模型的训练中，标注数据起到重要的作用。以检测任务为例，需要海量的人工标注数据：通过人工标注周围的物体的大小、位置、种类，再把这些标注的数据作为真值输入到神经网络中，指导神经网络的参数学习。
在自动驾驶的检测任务中，无论是视觉检测方法还是前融合检测方法，都需要在点云中进行标注三维检测框。在纯视觉检测方法中，需要利用激光雷达与相机的标定关系，把雷达点云中标注出的三维检测框投影到图像中，得到图像中的对应的三维检测框，激光雷达的点云在近处比较稠密，在远处比较稀疏，在水平方向比较稠密，在垂直方向比较稀疏。现有的检测数据标注方法，由人工直接在点云里面标注三维检测框，对近处的物体标注会比较准确，但是对于远处的物体，由于激光雷达的点云较为稀疏，在高度上标注得不准确。如图1和图2所示，图1中的小车距离激光雷达较近，雷达有五条点云线打在车上，标注人员可以容易地标注出准确的三维框；图2中的小车距离激光雷达较远，仅有一条点云线打在车上，此时标注人员仅能凭想象标注车的高度，标注的三维框的高度信息不准确。此外，出于成本考虑，部分无人车会使用点云线较少的16线激光雷达，由于点云稀疏导致远处目标在进行三维检测时，检测的准确性进一步降低。
不准确的三维框标注信息将会影响深度神经网络的性能。特别是使用图像数据的检测方法，由于标注的三维检测框与图像信息不一致，会影响神经网络对图像特征的提取，影响算法性能。
发明内容
本发明的目的在于针对背景技术中所述的激光雷达的点云在远距离和高度方向稀疏导致远处三维物体标注框不准确的问题，提供一种自动驾驶检测标注数据的后处理方法，减少标注的三维框在高度上的噪声。
为实现以上目的，本发明通过以下技术方案予以实现：一种自动驾驶检测标注数据的后处理方法，其包括以下处理步骤：
S1、使用图像检测神经网络在图像中检测目标物体，得到准确的二维检测框，记为U1；
S2、根据使用的激光雷达的线束数量设定检测的距离阈值，如果目标物体与激光雷达的距离大于距离阈值，则标注该目标物体的三维框V1，并通过该三维框投影到相机的图像坐标系中，得到对应的二维标注框B1，用步骤S1得到的二维检测框U1与B1在高度上的偏差对三维框V1的中心点进行高度方向的矫正，得到准确的三维标注框V1。
作为上述的自动驾驶检测标注数据的后处理方法的进一步改进，步骤S2中标注目标物体的三维框V1后，并执行如下操作：
A1、根据物体类别，调整标注的三维框的高度h等于预设高度值h0，将调整高度后的三维框定义为V1，V1的变量为：中心点为[x0，y0，z0], 长度l0，宽度w0，高度h0，朝向α0；
A2、根据激光雷达与相机的标定关系，把雷达坐标系中的三维框V1投影到相机的图像坐标系中，得到投影后的二维标注框，记为B1，B1的变量为：中心点[a1，b1]、宽度c1和高度d1；
A3、在步骤S1得到的二维检测框U1中，找出与B1最匹配的检测框，记为B2；
A4、令B2的中心点[a2 ，b2]的垂直方向的坐标b2减去B1的中心点[a1 ，b1]垂直方向的坐标b1，垂直方向的偏差为∆b= b2- b1；
A5、根据∆b调整三维标注框V1的中心点坐标，把V1的中心点坐标的z坐标调整为:z1=z0 + ∆b / d1 × h0，调整后三维标注框V1的变量为：中心点为[x0，y0，z1], 长度l0，宽度w0，高度h0，朝向α0。
作为上述的自动驾驶检测标注数据的后处理方法的进一步改进，步骤A3中，B2的寻找策略如下：
a．找出所有与B1相交的二维检测框，记为集合S；
b. 如果集合S为空，则找不到B2，放弃对三维标注框V1的调整；否则在S中选择中心点在水平方向最接近B1的二维检测框作为B2，即在S中选择选择a坐标与a1最接近的二维检测框作为B2，B2的中心点记为[a2 ，b2]；
作为上述的自动驾驶检测标注数据的后处理方法的进一步改进，步骤S1中，所述的图像检测神经网络为YOLO、SSD、DETR、FasterRCNN或FCOS中的一种。需要说明的是，图像检测神经网络并不限于上述列举的几种，任意能得到准确的二维检测框的图像检测神经网络都可以用于本发明。
作为上述的自动驾驶检测标注数据的后处理方法的进一步改进，步骤S2中，距离阈值的设定是根据使用的激光雷达来设定。例如，对于16线束的激光雷达，探测距离在20米以上时，点云分布比较稀疏，能打到20米处的车辆上的点云线只有一到两条，所以标注出来的三维标注框的准确性很差，所以对于16线束的激光雷达，距离阈值可以设定为20米，对于探测距离大于20米的目标物体，标注出来的三维标注框都可以采用本发明的数据处理方法来提高三维标注框的准确性。
本发明具有积极的效果：本发明的自动驾驶检测标注数据的后处理方法，能够解决激光雷达在探测距离较远时点云稀疏，且在高度方向点云稀疏导致的神经网络对远处目标标注的三维框准确性较低的问题，能够降低神经网络对远处目标物品标注的三维框在高度上的噪声，提高对远处目标物品高度检测的准确性，进而提高自动驾驶车的深度神经网络的性能，提高自动驾驶车的安全性能。
说明书附图
图1为激光雷达对近处目标物品的点云及标注框的示意图。
图2为激光雷达对远处目标物品的点云及标注框的示意图。
具体实施方式
下面通过实施例对本发明的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本发明的一种自动驾驶检测标注数据的后处理方法，其包括以下处理步骤：
S1、使用图像检测神经网络在图像中检测目标物体，图像检测神经网络可以选择YOLO、SSD、DETR、FasterRCNN或FCOS中的一种，采用这些二维图像检测神经网络都能得到准确的二维检测框，将检测得到的二维检测框记为U1；
S2、根据使用的激光雷达的线束数量设定检测的距离阈值，例如对于16线束的激光雷达，距离阈值可以设定为20米，对于32线束的激光雷达，距离阈值可以设定为35米，对于64线束的激光雷达，距离阈值可以设定为50米，对于128线束的激光雷达，距离阈值设定为65米，如果目标物体与激光雷达的距离大于距离阈值，则标注该目标物体的三维框，并执行如下操作：
A1、根据物体类别，调整标注的三维框的高度h等于预设高度值h0，例如，如果检测的目标物体为轿车，那么标注的三维框的高度h0为1.5米，如果检测的目标为行人，那么标注的三维框的高度h0为1.65米，如果检测的物体为公交车，那么标注的三维框的高度h0为3米，如果检测的物体为货车，那么标注的三维框的高度h0为5.2米，将调整高度后的三维框记为V1，V1的变量为：中心点为[x0，y0，z0], 长度l0，宽度w0，高度h0，朝向α0；
A2、根据激光雷达与相机的标定关系，把雷达坐标系中的三维框V1投影到相机的图像坐标系中，得到投影后的二维标注框，记为B1，B1的变量为：中心点[a1，b1]、宽度c1和高度d1；
A3、在步骤S1得到的二维检测框U1中，找出与B1最匹配的检测框，记为B2，B2的寻找策略如下：
a．找出二维检测框U1中所有与B1相交的二维检测框，记为集合S；
b. 如果集合S为空，则找不到B2，放弃对三维标注框V1的调整；否则在S中选择中心点在水平方向最接近B1的二维检测框作为B2，即在S中选择选择a坐标与a1最接近的二维检测框作为B2，B2的中心点记为[a2 ，b2]；
A4、令B2的中心点[a2 ，b2]的垂直方向的坐标b2减去B1的中心点[a1 ，b1]垂直方向的坐标b1，垂直方向的偏差为∆b= b2- b1；
A5、根据∆b调整三维标注框V1的中心点坐标，把V1的中心点坐标的z坐标调整为:z1=z0 + ∆b / d1 × h0，调整后三维标注框V1的变量为：中心点为[x0，y0，z1], 长度l0，宽度w0，高度h0，朝向α0。
本发明的自动驾驶检测标注数据的后处理方法，利用了现有的图像检测神经网络，生成准确的二维检测框U1，然后人工通过激光雷达的点云标注出目标物体的三维标注框，然后根据该物品的类别，对该物品的高度进行赋值，使该物品的高度值准确，然后再利用激光雷达与相机的坐标系的标定关系，将三维标注框投影到相机图像坐标系中，得到二维标注框B1，再将二维标注框B1的中心点与图像检测神经网络生成的准确的二维检测框U1进行比对，然后再在三维标注框中对中心点的z坐标进行校正，通过高度值h0和z坐标的校正，能有效消除因为激光雷达在较远距离时点云稀疏，且在高度方向点云稀疏导致的高度上的噪声，提高三维标注框的准确性，进而提高自动驾驶车的深度神经网络的性能，提高自动驾驶车的安全性能。
尽管已经示出和描述了本发明的实施例，对于本领域的普通技术人员而言，可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由所附权利要求及其等同物限定。

Claims (4)

1.一种自动驾驶检测标注数据的后处理方法，其特征在于：其包括以下处理步骤：
S1、使用图像检测神经网络在图像中检测目标物体，得到准确的二维检测框，记为U1；
S2、根据使用的激光雷达的线束数量设定检测的距离阈值，如果目标物体与激光雷达的距离大于距离阈值，则标注该目标物体的三维框V1，并通过该三维框投影到相机的图像坐标系中，得到对应的二维标注框B1，用步骤S1得到的二维检测框U1与B1在高度上的偏差对三维框V1的中心点进行高度方向的矫正，得到准确的三维标注框V1；如果目标物体与激光雷达的距离小于等于距离阈值，则标注该目标物体的三维框V1，并通过该三维框投影到相机的图像坐标系中，得到对应的三维标注框V1；
步骤S2中标注目标物体的三维框V1后，并执行如下操作：
A1、根据物体类别，调整标注的三维框的高度h等于预设高度值h0，将调整高度后的三维框定义为V1，V1的变量为：中心点为[x0，y0，z0] , 长度l0，宽度w0，高度h0，朝向α0；
A2、根据激光雷达与相机的标定关系，把雷达坐标系中的三维框V1投影到相机的图像坐标系中，得到投影后的二维标注框，记为B1，B1的变量为：中心点[a1，b1]、宽度c1和高度d1；
A3、在步骤S1得到的二维检测框U1中，找出与B1最匹配的检测框，记为B2；
A4、令B2的中心点[a2 ，b2]的垂直方向的坐标b2减去B1的中心点[a1 ，b1]垂直方向的坐标b1，垂直方向的偏差为Δb= b2- b1；
A5、根据Δb调整三维标注框V1的中心点坐标，把V1的中心点坐标的z坐标调整为:z1=z0+Δb/d1×h0，调整后三维标注框V1的变量为：中心点为[x0，y0，z1] , 长度l0，宽度w0，高度h0，朝向α0。
2.根据权利要求1所述的自动驾驶检测标注数据的后处理方法，其特征在于：步骤A3中，B2的寻找策略如下：
a．找出二维检测框U1中所有与B1相交的二维检测框，记为集合S；
b．如果集合S为空，则找不到B2，放弃对三维标注框V1的调整；否则在S中选择中心点在水平方向最接近B1的二维检测框作为B2，即在S中选择a坐标与a1最接近的二维检测框作为B2，B2的中心点记为[a2 ，b2]。
3.根据权利要求1所述的自动驾驶检测标注数据的后处理方法，其特征在于：步骤S1中，所述的图像检测神经网络为YOLO、SSD、DETR、FasterRCNN或FCOS中的一种。
4.根据权利要求1所述的自动驾驶检测标注数据的后处理方法，其特征在于：步骤S2中，距离阈值的设定是根据使用的激光雷达来设定。
CN202210030157.3A 2022-01-12 2022-01-12 一种自动驾驶检测标注数据的后处理方法 Active CN114495038B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210030157.3A CN114495038B (zh) 2022-01-12 2022-01-12 一种自动驾驶检测标注数据的后处理方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210030157.3A CN114495038B (zh) 2022-01-12 2022-01-12 一种自动驾驶检测标注数据的后处理方法

Publications (2)

Publication Number Publication Date
CN114495038A CN114495038A (zh) 2022-05-13
CN114495038B true CN114495038B (zh) 2023-04-07

Family

ID=81511891

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210030157.3A Active CN114495038B (zh) 2022-01-12 2022-01-12 一种自动驾驶检测标注数据的后处理方法

Country Status (1)

Country Link
CN (1) CN114495038B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115098606B (zh) * 2022-05-30 2023-06-16 九识智行(北京)科技有限公司 无人驾驶车辆的红绿灯查询方法、装置、存储介质及设备

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109978955A (zh) * 2019-03-11 2019-07-05 武汉环宇智行科技有限公司 一种联合激光点云与图像的高效标注方法
CN111179271A (zh) * 2019-11-22 2020-05-19 浙江众合科技股份有限公司 一种基于检索匹配的物体角度信息标注方法及电子设备
CN111964606A (zh) * 2020-08-18 2020-11-20 广州小鹏汽车科技有限公司 一种三维信息的处理方法和装置
CN112950785A (zh) * 2019-12-11 2021-06-11 杭州海康威视数字技术股份有限公司 点云标注方法、装置及系统

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110135453A (zh) * 2019-03-29 2019-08-16 初速度（苏州）科技有限公司 一种激光点云数据标注方法及装置
CN110390258A (zh) * 2019-06-05 2019-10-29 东南大学 图像目标三维信息标注方法
CN111046743B (zh) * 2019-11-21 2023-05-05 新奇点智能科技集团有限公司 一种障碍物信息标注方法、装置、电子设备和存储介质
CN113869215A (zh) * 2021-09-28 2021-12-31 重庆中科云从科技有限公司 一种标注车辆关键点的方法、系统、设备及介质

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109978955A (zh) * 2019-03-11 2019-07-05 武汉环宇智行科技有限公司 一种联合激光点云与图像的高效标注方法
CN111179271A (zh) * 2019-11-22 2020-05-19 浙江众合科技股份有限公司 一种基于检索匹配的物体角度信息标注方法及电子设备
CN112950785A (zh) * 2019-12-11 2021-06-11 杭州海康威视数字技术股份有限公司 点云标注方法、装置及系统
CN111964606A (zh) * 2020-08-18 2020-11-20 广州小鹏汽车科技有限公司 一种三维信息的处理方法和装置

Also Published As

Publication number Publication date
CN114495038A (zh) 2022-05-13

Similar Documents

Publication Publication Date Title
CN110163904B (zh) 对象标注方法、移动控制方法、装置、设备及存储介质
US10552982B2 (en) Method for automatically establishing extrinsic parameters of a camera of a vehicle
US9292750B2 (en) Method and apparatus for detecting traffic monitoring video
CN111797734B (zh) 车辆点云数据处理方法、装置、设备和存储介质
CN107305632B (zh) 基于单目计算机视觉技术的目标对象距离测量方法与系统
KR102195164B1 (ko) 다중 라이다를 이용한 다중 물체 인식 시스템 및 방법
CN110794406B (zh) 多源传感器数据融合系统和方法
US20120116662A1 (en) System and Method for Tracking Objects
CN111381248B (zh) 一种考虑车辆颠簸的障碍物检测方法及系统
CN113327296B (zh) 基于深度加权的激光雷达与相机在线联合标定方法
CN110850394B (zh) 一种自动驾驶激光雷达强度标定方法
CN114049382A (zh) 一种智能网联环境下目标融合跟踪方法、系统和介质
CN114705121B (zh) 车辆位姿测量方法、装置及电子设备、存储介质
CN114758504B (zh) 一种基于滤波校正的网联车超速预警方法及系统
CN114495038B (zh) 一种自动驾驶检测标注数据的后处理方法
CN113706633B (zh) 一种目标对象的三维信息确定方法和装置
EP4094046A1 (en) Method and apparatus for evaluating maps for autonomous driving and vehicle
CN111091077B (zh) 一种基于图像相关性和模板匹配的车速检测方法
CN116373910A (zh) 一种自动驾驶辅助方法及系统
CN114648639B (zh) 一种目标车辆的检测方法、系统及装置
CN112070839A (zh) 一种对后方车辆横纵向定位测距方法及设备
CN116052121B (zh) 一种基于距离预估的多传感目标检测融合方法及装置
CN112183358B (zh) 一种目标检测模型的训练方法及装置
Yoon et al. Object Recognition and Distance Extraction System Using Camera
US20230419522A1 (en) Method for obtaining depth images, electronic device, and storage medium

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant