CN117197775A - 对象标注方法、对象标注装置及计算机可读存储介质 - Google Patents
对象标注方法、对象标注装置及计算机可读存储介质 Download PDFInfo
- Publication number
- CN117197775A CN117197775A CN202310996377.6A CN202310996377A CN117197775A CN 117197775 A CN117197775 A CN 117197775A CN 202310996377 A CN202310996377 A CN 202310996377A CN 117197775 A CN117197775 A CN 117197775A
- Authority
- CN
- China
- Prior art keywords
- dimensional
- point cloud
- detection frame
- frame
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000002372 labelling Methods 0.000 title claims abstract description 121
- 238000001514 detection method Methods 0.000 claims abstract description 192
- 238000000034 method Methods 0.000 claims abstract description 46
- 230000001502 supplementing effect Effects 0.000 claims abstract description 15
- 230000000295 complement effect Effects 0.000 claims description 26
- 238000010586 diagram Methods 0.000 description 14
- 238000004422 calculation algorithm Methods 0.000 description 7
- 230000003287 optical effect Effects 0.000 description 4
- 238000004364 calculation method Methods 0.000 description 3
- 230000001360 synchronised effect Effects 0.000 description 3
- 230000004888 barrier function Effects 0.000 description 2
- 238000004590 computer program Methods 0.000 description 2
- 238000013135 deep learning Methods 0.000 description 2
- 238000013136 deep learning model Methods 0.000 description 2
- 239000000284 extract Substances 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 230000001133 acceleration Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000004438 eyesight Effects 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 238000002360 preparation method Methods 0.000 description 1
- 230000016776 visual perception Effects 0.000 description 1
Landscapes
- Length Measuring Devices By Optical Means (AREA)
Abstract
本申请提供一种对象标注方法、对象标注装置及计算机可读存储介质，对象标注方法包括基于激光雷达的第一时间戳获取图像点云对，其中，每一图像点云对包括二维图像和三维点云；提取二维图像中目标对象的二维检测框，以及提取三维点云中目标对象的三维检测框；获得投影检测框；匹配每一图像点云对的二维检测框和投影检测框，获取匹配失败的待补帧图像点云对；利用待补帧图像点云对的相邻图像点云对中的三维检测框生成待补帧图像点云对的补帧三维检测框，其中，相邻图像点云对为匹配成功的图像点云对；利用补帧三维检测框在待补帧图像点云对的二维图像中标注目标对象。通过上述方式能有效提升对象标注方法的准确性及完整性。
Description
技术领域
本申请涉及自动驾驶视觉感知领域，特别涉及一种对象标注方法、对象标注装置及计算可读存储介质。
背景技术
在自动驾驶视觉感知领域，给定一张车载摄像头拍摄的图片也即二维图像，我们需要知道图片里目标对象，例如障碍物(车辆、行人等)相对于自车的三维(3D)坐标，为后续的路径规划和控制等提供信息。利用深度学习端到端地、直接从图片获取障碍物的3D坐标是目前的热门技术，因此就有了对图片进行3D标注的需求。
图片的3D标注需要满足几个基本条件：“标注的完整性”：尽可能多地将图片中的3D障碍物标注出来；“标注的准确性”：3D障碍物的标注要准；用于深度学习训练的3D标注必须涵盖大量场景。因此如何提升3D标注的完整性及准确性是提升自动驾驶的安全性的必要解决的技术问题。
发明内容
本申请提供一种对象标注方法、对象标注装置及计算可读存储介质，用以提升对象标注方法的准确性及完整性，从而有效的提升自动驾驶的安全性。
为了解决上述技术问题，本申请采用的技术方案是：提供一种1.一种对象标注方法，对象标注方法包括：基于激光雷达的第一时间戳获取图像点云对，其中，每一图像点云对包括二维图像和三维点云；提取二维图像中目标对象的二维检测框，以及提取三维点云中目标对象的三维检测框；将每一图像点云对的三维检测框投影到二维图像中，获得投影检测框；匹配每一图像点云对的二维检测框和投影检测框，获取匹配失败的待补帧图像点云对；利用待补帧图像点云对的相邻图像点云对中的三维检测框生成待补帧图像点云对的补帧三维检测框，其中，相邻图像点云对为匹配成功的图像点云对；利用补帧三维检测框在待补帧图像点云对的二维图像中标注目标对象。
为了解决上述技术问题，本申请采用的技术方案是：提供一种对象标注装置，对象标注装置包括存储器以及与存储器耦接的处理器；其中，存储器用于存储程序数据，处理器用于执行程序数据以实现上述任一实施例的对象标注方法。
为了解决上述技术问题，本申请采用的技术方案是：提供一种计算机可读存储介质，计算机可读存储介质用于存储程序指令，程序指令在被处理器执行时，用以实现上述任一实施例的的对象标注方法。
本申请实施例的有益效果是：本申请的对象标注方法，包括基于激光雷达的第一时间戳获取图像点云对，其中，每一图像点云对包括二维图像和三维点云；提取二维图像中目标对象的二维检测框，以及提取三维点云中目标对象的三维检测框；将每一图像点云对的三维检测框投影到二维图像中，获得投影检测框；匹配每一图像点云对的二维检测框和投影检测框，获取匹配失败的待补帧图像点云对；利用待补帧图像点云对的相邻图像点云对中的三维检测框生成待补帧图像点云对的补帧三维检测框，其中，相邻图像点云对为匹配成功的图像点云对；利用补帧三维检测框在待补帧图像点云对的二维图像中标注目标对象。其中，基于激光雷达的第一时间戳获取图像点云对以确保二维图像和三维点云的时间戳尽可能的接近的同时，从而有效的提升对目标对象标注的准确性的同时，还能有效的减小对象标注装置的计算量。进一步地，本申请的对象标注方法通过将每个图像点云对中三维检测框和二维检测框进行匹配，以确定待补帧图像点云对，并通过匹配成功的图像点云对获取补帧三维检测框在待补帧图像点云对的二维图像中标注目标对象，从而补全目标对象在各个时刻的三维标注信息，进而有效的提升对目标对象标注的完整性。
附图说明
图1是本申请的对象标注方法第一实施例的方法步骤示意图；
图2是本申请的对象标注方法的步骤S100的方法步骤示意图；
图3是本申请的对象标注方法的步骤S200中提取三维点云中目标对象的三维检测框的方法步骤示意图；
图4是本申请的二维检测框与三维检测框匹配一实施例的示意图；
图5是本申请的对象标注方法的步骤S500一实施例的方法步骤示意图；
图6是本申请的对象标注方法第二实施例的方法步骤示意图；
图7是本申请的计算机可读存储介质一实施例的结构示意图。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，均属于本申请保护的范围。
本申请中的术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。本申请的描述中，“多个”的含义是至少两个，例如两个，三个等，除非另有明确具体的限定。此外，术语“包括”和“具有”以及它们任何变形，意图在于覆盖排他的包含。例如包含了一系列步骤或单元的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元，而是可选地还包括没有列出的步骤或单元，或可选地还包括对于这些过程、方法、产品或设备固有的其它步骤或单元。
本申请提供一种对象标注方法，其中，在本申请的实施例中，对象标注方法主要应用于自动驾驶领域，与此同时本申请的对象标注方法也适用于其它对应的技术领域，本申请主要以对象标注方法在自动驾驶领域中的应用对对象标注方法进行详细的阐述，其中，本申请的对象标注方法的执行主体为设置在车辆或者其它设备上的对象标注装置。
其中，如图1所示，图1是本申请的对象标注方法第一实施例的方法步骤示意图。其中，对象标注方法可参见图1所示的方法步骤实现，具体包括步骤S100至步骤S600，具体如下：
步骤S100：基于激光雷达的第一时间戳获取图像点云对，其中，每一图像点云对包括二维图像和三维点云。
具体地，在获取图像点云对之前，需要准备标注系统的输入数据，例如准备车辆进行数据采集，并且保证各个传感器的时间基准是一致的，例如保证激光雷达、摄像头及IMU(Inertial Measurement Unit，惯性测量单元)的时间基准一致，以确保激光雷达数据、摄像头数据及IMU数据的时间基准一致。其中，激光雷达数据包括激光雷达采集的三维点云，摄像头数据包括摄像头采集的二维图像，IMU数据包括车辆运动的角速度和线加速度数据。进一步地，还需要对传感器的进行内外参数标定，例如对摄像头内参标定、激光雷达与摄像头之间的外参标定，其中，摄像头内参标定指的是，标定摄像头的固有参数，例如摄像头内部光学元件的焦距、像素间距等参数，激光雷达与摄像头之间的外参数标定指的是，激光雷达与摄像头之间的位置关系及朝向、以及激光雷达和摄像头在三维环境中的位置关系。其中，在本实施例中，为了保证摄像头和激光雷达的视野能有较大的重叠范围，摄像头采用视场角较大的摄像头，并且摄像头的内参模型是Scaramuzza，在其它实施例中，也可采用针孔模型及OpenCV自带的鱼眼相机模型。其中，采用常用的标定板方法对激光雷达及摄像头之间的外参进行标定。
对象标注装置基于上述方式完成前期准备，进一步地，对象标注装置基于激光雷达的第一时间戳获取包含二维图像和三维点云的图像点云对，在本实施例中，其中，第一时间戳是激光雷达获取的每一帧三维点云对应的时刻，也即每个一帧三维点云对应的时刻称为第一时间戳，其中，图像点云对是基于激光雷达的第一时间戳获取的，以提升三维确保图像点云对中的三维点云的时间戳与二维图像的时间戳尽可能的接近，进而有效的提升对象标注方法的准确性。
如图2所示，图2是本申请的对象标注方法的步骤S100的方法步骤示意图；其中，基于激光雷达的第一时间戳获取图像点云对可具体通过图2所示的方法步骤实现，具体包括步骤S110至步骤S120。
步骤S110：利用激光雷达采集若干帧三维点云。
步骤S120：遍历所有三维点云的第一时间戳，将第二时间戳与第一时间戳最接近的二维图像与三维点云组成图像点云对。
统一对步骤S110和步骤S120进行参数。
在本实施例中，对象标注装置利用激光雷达采集不同时刻的若干帧三维点云，以及利用摄像头采集不同时刻的若干帧二维图像，其中，每帧二维图像对应的时刻称为第二时间戳，进一步地，对象标注装置遍历所有三维点云的第一时间戳，并将第二时间戳与第一时间戳最接近的二维图像与三维点云组成图像点云对，从而有效的确保图像点云对中的三维点云和二维图像分别是激光雷达和摄像头采集的数据尽可能的同步。
例如，在实际应用中，激光雷达的频率一般是10Hz，摄像头的采集频率一般是30Hz，因此一般来说二者数据量由一比三的关系，所以对象标注装置基于激光雷达的第一时间戳获取图像点云对，能有效的减小计算量，也即对象标注装置在选取二维图像时，仅仅选取第二时间戳与每一帧三维点云的第一时间戳最接近的二维图像即可。
步骤S200：提取二维图像中目标对象的二维检测框，以及提取三维点云中目标对象的三维检测框。
对象标注装置基于上述步骤S100的方式获取图像点云对，进一步地，对象标注装置提取二维图像中目标对象的二维检测框，以及提取三维点云中目标对象的三维检测框，其中，对象标注装置采用深度学习模型识别二维图像中的目标对象，获取目标对象的二维检测框，并采用算法对目标对象进行二维跟踪，其中，深度学习模型包括You Only LookOnce(yolo，对象检测算法模型)，其中对目标对象进行二维跟踪的算法包括多目标跟踪算法(DeepSORT)。对象标注装置根据上述方式算法获取目标图像在二维图像中的二维检测框，并基于上述跟踪算法对二维检测框进行跟踪，以赋予每个目标对象的二位检测框对应的ID，从而将不同的目标对象进行区别。
进一步地，如图3所示，图3是本申请的对象标注方法的步骤S200中提取三维点云中目标对象的三维检测框的方法步骤示意图。其中，提取三维点云中目标对象的三维检测框可通过图3所示的方法步骤实现，具体包括步骤S210至步骤S230。
步骤S210：获取每一三维点云对应的激光雷达位姿，提取每一三维点云的三维检测框。
步骤S220：按照所有三维点云对应点的激光雷达位姿将三维检测框转换到全局坐标系。
步骤S230：对全局坐标系中目标对象的三维检测框进行跟踪，获取目标对象的运动轨迹。
统一对步骤S210至步骤S230进行阐述。
对象标注装置获取目标对象在每一三维点云中的三维检测框，并且对象标注装置获取每一三维点云对应的激光雷达位姿，具体地，对象标注装置基于IMU获取的IMU数据及激光雷达获取三维点云，并通过SLAM算法如Fast-LIO得到激光雷达在获取每一帧三维点云时的位姿，也即获取激光雷达位姿。进一步地，对象标注装置按照所有三维点云对应点的激光雷达位姿将三维检测框转换到全局坐标系，以在全局坐标中对三维检测框进行跟踪，并获取目标对象的运动轨迹，基于上述方式，对象标注装置基于激光雷达位姿将三维检测框转换到全局坐标中，能更加准确的对三维检测框进行跟踪及获取目标对象的运动轨迹，从而有效的提升对象标注方法的准确性。具体地，将三维检测框转换到全局坐标系后，对象标注装置利用卡尔曼滤波器对目标对象进行三维跟踪，从而获得目标对象运动轨迹、运动速度等属性。
步骤S300：将每一图像点云对的三维检测框投影到二维图像中，获得投影检测框。
步骤S400：匹配每一图像点云对的二维检测框和投影检测框，获取匹配失败的待补帧图像点云对。
统一对步骤S300至S400进行阐述。
在本实施例中，基于步骤S200获取三维检测框和二维检测框后，对象标注装置采用匈牙利匹配对三维检测框和二维检测框进行匹配，具体地，将每一图像点云对的三维检测框投影到二维图像中，以获得投影检测框。其中，投影检测框位三维检测框投影至二维图像中后形成的二维的投影检测框。进一步地，将每一图像点云对的二维检测框通过交并比(IOU,Intersetion Over Union)与投影检测框进行匈牙利匹配。其中，二维检测框与投影检测框匹配成功的图像点云对，则采用对应的三维检测框对匹配成功的二维图像中的目标对象进行标注，从而实现对匹配成功的图像点云对中的目标对象的三维标注。进一步地，匹配每一图像点云对的二维检测框和投影检测框，基于此能获取待补帧图像点云对，也即二维检测框与投影检测框匹配失败的图像点云对，例如，在某一时刻激光雷达未采集到目标对象的三维点云数据、或者采集到的目标对象的三维点云数据出现了偏差等，从而导致在该时刻的三维点云中无法获取与该时刻的二维检测框对应的三维检测框，进而导致二维检测框与投影检测框匹配失败，从而导致对目标对象的三维标注不完整。
步骤S500：利用待补帧图像点云对的相邻图像点云对中的三维检测框生成待补帧图像点云对的补帧三维检测框，其中，相邻图像点云对为匹配成功的图像点云对。
步骤S600：利用补帧三维检测框在待补帧图像点云对的二维图像中标注目标对象。
统一对步骤S500至步骤S600进行阐述。
例如图4所示，图4是本申请的二维检测框与三维检测框匹配一实施例的示意图。对象标注装置通过步骤S100至步骤S200在沿时间轴t0至t4时刻的不同时刻的图像点云对中获取二维检测框和三维检测框，其中，t0时刻、t2时刻及t4时刻的图像点云对为待补帧图像点云对，t1时刻和t3时刻的图像点云对为匹配成功的图像点云对。其中，对象标注装置通过利用待补帧图像点云对的相邻图像点云对中三维检测框生成对补帧图像点云对对应的补帧三维检测框，从而对利用补帧三维检测框在待补帧图像点云对的二维图像中标注目标对象，从而补全目标对象在各个时刻的三维标注信息，进而有效的提高对目标对象标注的完整性。其中，相邻图像点云对即为与对应的待补帧图像点云对相邻的且匹配成功的图像点云对，例如，图4中t1时刻和t3时刻的图像点云对。
可选地，参见图5所示，图5是本申请的对象标注方法的步骤S500一实施例的方法步骤示意图。其中，步骤S500可通过图5所示的方式实现，具体包括步骤S510至步骤S520。
步骤S510：利用相邻图像点云对中三维检测框获取目标对象的运动学性质，及获取相邻图像点云对的相邻朝向角；其中，运动学性质包括位置和速度。
步骤S520：利用运动学性质生成补帧三维检测框，及利用相邻朝向角生成补帧朝向角。
步骤S530：利用运动学性质和补帧朝向角生成补帧三维检测框。
统一对步骤S510和步骤S530进行阐述。
具体地，三维检测框是激光雷达在对应的时刻实际采集到的目标对象在全局坐标系中的三维数据，而相邻图像点云对中的三维检测框是激光雷达实际检测到的三维数据，所以对象标注装置利用相邻图像点云对中三维检测框获取对应时刻目标对象的对应运动学性质及朝向角，进而利用该运动学性质及朝向角计算出补帧三维检测框。其中，相邻朝向角又称为相邻图像点云对中的目标对象的朝向角，补帧朝向角又称为待补帧点云对中的目标对象的朝向角。
例如，参见图4，设t时刻目标对象在三维空间内的位置为Pt、t时刻目标对象在三维空间内的速度为Vt及t时刻目标对象在三维空间内的朝向角为θt，其中，t0、t2及t4时刻的图像点云对为待补帧图像点云对，t1和t3时刻的图像点云对位待补帧图像点云对的相邻图像点云对，也即匹配成功的图像点云对，其中，可基于以下计算公式①至公式⑥计算t0、t2及t4时刻的待补帧图像点云对的三维数据，从而基于三维数据生成对应的补帧三维检测框，其中，计算公式①至公式⑥具体如下：
P0＝P1+(t0-t1)*V1 ①；
θ0＝θ1 ②；
P4＝P3+(t4-t3)*V3 ③；
θ4＝θ3 ④；
P2＝P1+(t2-t1)*V1 ⑤；
θ2＝(θ3-θ1)/(t3-t1)*(t2-t1)+θ1 ⑥。
区别于现有技术，本申请的对象标注方法，包括基于激光雷达的第一时间戳获取图像点云对，其中，每一图像点云对包括二维图像和三维点云；提取二维图像中目标对象的二维检测框，以及提取三维点云中目标对象的三维检测框；将每一图像点云对的三维检测框投影到二维图像中，获得投影检测框；匹配每一图像点云对的二维检测框和投影检测框，获取匹配失败的待补帧图像点云对；利用待补帧图像点云对的相邻图像点云对中的三维检测框生成待补帧图像点云对的补帧三维检测框，其中，相邻图像点云对为匹配成功的图像点云对；利用补帧三维检测框在待补帧图像点云对的二维图像中标注目标对象。其中，基于激光雷达的第一时间戳获取图像点云对以确保二维图像和三维点云的时间戳尽可能的接近的同时，从而有效的提升对目标对象标注的准确性的同时，还能有效的减小对象标注装置的计算量。进一步地，本申请的对象标注方法通过将每个图像点云对中三维检测框和二维检测框进行匹配，以确定待补帧图像点云对，并通过匹配成功的图像点云对获取补帧三维检测框在待补帧图像点云对的二维图像中标注目标对象，从而补全目标对象在各个时刻的三维标注信息，进而有效的提升对目标对象标注的完整性，从而有效的提升自动驾驶的安全性。
本申请还提出了对象标注方法的第二实施例，如图6所示，图6是本申请对象标注方法第二实施例的方法步骤示意图。其中，对象标注方法还可通过图6所示的方法步骤实现，具体如下：
步骤S700：利用激光雷达采集若干帧三维点云，及利用摄像头采集若干帧二维图像。
步骤S800：遍历所有三维点云的第一时间戳，将第二时间戳与第一时间戳最接近的二维图像与三维点云组成图像点云对。
步骤S700至步骤S800的具体实施方式可参见对象标注方法的第一实施例的步骤S110至步骤S120所阐述的，这里本文不再赘述。
步骤S900：提取二维图像中目标对象的二维检测框。
步骤S900的具体实施方式可参见对象标注方法的第一实施例的步骤S200所阐述的，这里本文不再赘述。
步骤S1000：获取每一三维点云对应的激光雷达位姿，提取每一三维点云的三维检测框。
步骤S1100：按照所有三维点云对应点的激光雷达位姿将三维检测框转换到全局坐标系。
步骤S1200：对全局坐标系中目标对象的三维检测框进行跟踪，获取目标对象的运动轨迹。
步骤S1000至步骤S1200的实施方式可参见步骤S210至步骤S230所阐述的，这里本文不再详细赘述。
步骤S1300：获取每一图像点云对的第一时间戳和第二时间戳。
步骤S1400：按照第一时间戳和第二时间戳的差值，以及目标对象的运动轨迹，计算每一图像点云对中三维检测框在第二时间戳的补偿三维检测框。
统一对步骤S1300及步骤S1400进行参数。
区别于本申请对象标注方法的第一实施例，在本实施例中，对象标注装置在执行步骤S1500之前，还通过步骤S1300及步骤S1400对三维检测框进行补偿，以使二维检测框与三维检测框的在时间上更加同步，从而进一步提升对象标注方法的准确性，具体地，在通过步骤S1200获取目标对象的运动轨迹后，对象标注装置进一步获取每一图像点云对中的三维点云的第一时间戳以及二维图像的第二时间戳，并根据第一时间戳与第二时间的戳的差值确定，三维点云与二维图像的同步程度，并进一步根据目标对象的运动轨迹计算出与第二时间戳更接近的补偿三维检测框，其中，补偿三维检测框的时间戳与第二时间戳的差值的绝对值小于第一时间戳与第二时间戳的差值的绝对值，基于此采用与二维检测框在时间上更加同步的补偿三维检测框与二维检测框进行匹配，能进一步地提升对象标注方法的准确性。
步骤S1500：将每一图像点云对的三维检测框投影到二维图像中，获得投影检测框。
步骤S1600：匹配每一图像点云对的二维检测框和投影检测框，获取匹配失败的待补帧图像点云对。
步骤S1500至步骤S1600的实施方式可参见步骤S300至步骤S400所阐述的，这里本文不再详细赘述。
步骤S1700：利用待补帧图像点云对的相邻图像点云对中的三维检测框生成待补帧图像点云对的补帧三维检测框，其中，相邻图像点云对为匹配成功的图像点云对。
步骤S1700的具体实施方式可参见对象标注方法的第一实施例的步骤S500所阐述的，这里本文不再详细赘述。
步骤S1800：优化补帧三维检测框。
区别于对象标注方法的第一实施例，在本实施例中，对象标注装置在执行步骤S1900之前，还通过步骤S1800优化补帧三维检测框，具体地，将补帧三维检测框投影到二维图像中，获取投影中心。换而言之，首先将对应的补帧三维检测框投影至二维图像中，其中，补帧三维检测框在二维图像中的投影检测框的中心即为补帧三维检测框的投影中心。其中，投影中心与二维图像中的二维检测框的中心的偏差定义为补帧三维检测框与对应的二维检测框的投影误差。进一步地，基于补帧三维检测框的投影中心在三维空间进行搜索，遍历搜索到的三维检测框与二维检测框的投影误差，换而言之，对象标注装置以补帧三维检测框的投影中心为搜索中心，在三维空间内搜索三维检测框，并获取搜索到的三维检测框与二维检测框的投影误差，从而将投影误差最小的三维检测框作为矫正后的补帧三维检测框，也即优化后的补帧三维检测框。
进一步地，对象标注装置基于补帧三维检测框的投影中心在三维空间进行搜索时，还会获取补帧三维检测框的补帧朝向角(即补帧三维检测框的朝向角)，以将补帧朝向角加入搜索空间中，以使获得的优化后的补帧三维检测框与二维检测框的投影误差更小，进而进一步提升对象标注方法的准确性。
例如，对象标注装置以补帧三维检测框的投影中心为搜索中心，在三维空间内以20米为边长，以0.1米为步长，并基于补帧朝向角在三维空间内搜索。
步骤S1900：利用优化后的补帧三维检测框在待补帧图像点云对的二维图像中标注目标对象。
区别于对象标注方法的第一实施例，在本实施例中，对象标注装置采用优化后的补帧三维检测框在待补帧图像点云对的二维图像中标注目标对象，基于此能有效的提升对象标注方法的准确性及完整性。
对象标注方法的第二实施例具有对象标注方法的第一实施例的优点的同时，在对象标注方法的第二实施例中，对象标注装置在执行步骤S1500之前，还通过步骤S1300及步骤S1400对三维检测框进行补偿，基于此能使得二维检测框和三维检测框的更加同步，进一步地提升对象标注方法的准确性。进一步地，对象标注装置在执行步骤S1900之前，还通过步骤S1800优化补帧三维检测框，从而基于优化后的补帧三维检测框对目标对象进行标注，进而有效的提升对象标注方法的准确性及完整性。
本申请还提出一种对象标注装置，其中，对象标注装置包括存储器以及与存储器耦接的处理器；其中，存储器用于存储程序数据，处理器用于执行程序数据以实现上述任一实施例的对象标注方法。
本申请一种计算机可读存储介质，请参阅图7，图7是本申请计算机可读存储介质一实施例的结构示意图。计算机可读存储介质用于存储程序指令，程序指令在被处理器执行时，用以实现上述任一实施例的对象标注方法。
本申请实施例的计算机可读存储介质30内部存储有程序指令31，程序指令31被执行以实现上述对象标注方法。
其中，程序指令31可以形成程序文件以软件产品的形式存储在上述存储介质中，以使得一台电子设备(可以是个人计算机，服务器，或者网络设备等)或处理器(processor)执行本申请各个实施方式方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质，或者是计算机、服务器、手机、平板等终端设备。
本实施例计算机可读存储介质30可以是但不局限于U盘、SD卡、PD光驱、移动硬盘、大容量软驱、闪存、多媒体记忆卡、服务器等。
在一个实施例中，提供了一种计算机程序产品或计算机程序，该计算机程序产品或计算机程序包括计算机指令，该计算机指令存储在计算机可读存储介质中。电子设备的处理器从计算机可读存储介质读取该计算机指令，处理器执行该计算机指令，使得该电子设备执行上述对象标注方法实施例中的步骤。
另外，上述功能如果以软件功能的形式实现并作为独立产品销售或使用时，可存储在一个移动终端可读取存储介质中，即，本申请还提供一种存储有程序指令的存储装置，所述程序指令能够被执行以实现上述实施例的方法，该存储装置可以为如U盘、光盘、服务器等。也就是说，本申请可以以软件产品的形式体现出来，其包括若干指令用以使得一台智能终端执行各个实施例所述方法的全部或部分步骤。
综上，本申请的对象标注方法，包括基于激光雷达的第一时间戳获取图像点云对，其中，每一图像点云对包括二维图像和三维点云；提取二维图像中目标对象的二维检测框，以及提取三维点云中目标对象的三维检测框；将每一图像点云对的三维检测框投影到二维图像中，获得投影检测框；匹配每一图像点云对的二维检测框和投影检测框，获取匹配失败的待补帧图像点云对；利用待补帧图像点云对的相邻图像点云对中的三维检测框生成待补帧图像点云对的补帧三维检测框，其中，相邻图像点云对为匹配成功的图像点云对；利用补帧三维检测框在待补帧图像点云对的二维图像中标注目标对象。其中，基于激光雷达的第一时间戳获取图像点云对以确保二维图像和三维点云的时间戳尽可能的接近的同时，从而有效的提升对目标对象标注的准确性的同时，还能有效的减小对象标注装置的计算量。进一步地，本申请的对象标注方法通过将每个图像点云对中三维检测框和二维检测框进行匹配，以确定待补帧图像点云对，并通过匹配成功的图像点云对获取补帧三维检测框在待补帧图像点云对的二维图像中标注目标对象，从而补全目标对象在各个时刻的三维标注信息，进而有效的提升对目标对象标注的完整性，从而有效的提升自动驾驶的安全性。
值得注意的是，在本文附图仅是为了展示本申请发明产品的结构关系以及连接关系，并不因此限定本申请发明产品的具体结构尺寸。
以上所述仅为本发明的实施方式，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。
Claims (10)
1.一种对象标注方法，其特征在于，所述对象标注方法包括：
基于激光雷达的第一时间戳获取图像点云对，其中，每一图像点云对包括二维图像和三维点云；
提取所述二维图像中目标对象的二维检测框，以及提取所述三维点云中目标对象的三维检测框；
将所述每一图像点云对的三维检测框投影到所述二维图像中，获得投影检测框；
匹配所述每一图像点云对的二维检测框和投影检测框，获取匹配失败的待补帧图像点云对；
利用所述待补帧图像点云对的相邻图像点云对中的三维检测框生成所述待补帧图像点云对的补帧三维检测框，其中，所述相邻图像点云对为匹配成功的图像点云对；
利用所述补帧三维检测框在所述待补帧图像点云对的二维图像中标注所述目标对象。
2.根据权利要求1所述的对象标注方法，其特征在于，
所述基于激光雷达的第一时间戳获取图像点云对，包括：
利用所述激光雷达采集若干帧三维点云；
遍历所有三维点云的第一时间戳，将第二时间戳与所述第一时间戳最接近的二维图像与三维点云组成所述图像点云对。
3.根据权利要求1所述的对象标注方法，其特征在于，
所述提取所述三维点云中目标对象的三维检测框，包括：
获取每一三维点云对应的激光雷达位姿，提取所述每一三维点云的三维检测框；
按照所有三维点云对应点的激光雷达位姿将所述三维检测框转换到全局坐标系；
对所述全局坐标系中目标对象的三维检测框进行跟踪，获取所述目标对象的运动轨迹。
4.根据权利要求3所述的对象标注方法，其特征在于，
所述将所述每一图像点云对的三维检测框投影到所述二维图像中，获得投影检测框之前，所述对象标注方法还包括：
获取所述每一图像点云对的第一时间戳和第二时间戳；
按照所述第一时间戳和所述第二时间戳的差值，以及所述目标对象的运动轨迹，计算所述每一图像点云对中三维检测框在所述第二时间戳的补偿三维检测框。
5.根据权利要求1所述的对象标注方法，其特征在于，
所述利用所述待补帧图像点云对的相邻图像点云对中的三维检测框生成所述待补帧图像点云对的补帧三维检测框，包括：
利用所述相邻图像点云对中三维检测框获取所述目标对象的运动学性质；
利用所述运动学性质生成所述补帧三维检测框；
其中，所述运动学性质包括位置和速度。
6.根据权利要求5所述的对象标注方法，其特征在于，
所述利用所述运动学性质生成所述补帧三维检测框，包括：
获取所述相邻图像点云对的相邻朝向角；
利用所述相邻朝向角生成补帧朝向角；
利用所述运动学性质和所述补帧朝向角生成所述补帧三维检测框。
7.根据权利要求1所述的对象标注方法，其特征在于，
所述利用所述补帧三维检测框在所述待补帧图像点云对的二维图像中标注所述目标对象之前，所述对象标注方法还包括：
将所述补帧三维检测框投影到所述二维图像中，获取投影中心；
基于所述投影中心在三维空间进行搜索，遍历搜索到的三维检测框与所述二维检测框的投影误差；
将所述投影误差最小的三维检测框作为矫正后的补帧三维检测框。
8.根据权利要求7所述的对象标注方法，其特征在于，
所述基于所述投影中心在三维空间进行搜索，包括：
获取所述补帧三维检测框的补帧朝向角；
按照所述补帧朝向角以及所述投影中心在所述三维空间进行搜索。
9.一种对象标注装置，其特征在于，所述对象标注装置包括存储器以及与所述存储器耦接的处理器；
其中，所述存储器用于存储程序数据，所述处理器用于执行所述程序数据以实现如权利要求1至8任一项所述的对象标注方法。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质用于存储程序指令，所述程序指令在被处理器执行时，用以实现如权利要求1至8任一项所述的对象标注方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310996377.6A CN117197775A (zh) | 2023-08-08 | 2023-08-08 | 对象标注方法、对象标注装置及计算机可读存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310996377.6A CN117197775A (zh) | 2023-08-08 | 2023-08-08 | 对象标注方法、对象标注装置及计算机可读存储介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN117197775A true CN117197775A (zh) | 2023-12-08 |
Family
ID=88991483
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310996377.6A Pending CN117197775A (zh) | 2023-08-08 | 2023-08-08 | 对象标注方法、对象标注装置及计算机可读存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117197775A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117475397A (zh) * | 2023-12-26 | 2024-01-30 | 安徽蔚来智驾科技有限公司 | 基于多模态传感器的目标标注数据获取方法、介质及设备 |
-
2023
- 2023-08-08 CN CN202310996377.6A patent/CN117197775A/zh active Pending
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117475397A (zh) * | 2023-12-26 | 2024-01-30 | 安徽蔚来智驾科技有限公司 | 基于多模态传感器的目标标注数据获取方法、介质及设备 |
| CN117475397B (zh) * | 2023-12-26 | 2024-03-22 | 安徽蔚来智驾科技有限公司 | 基于多模态传感器的目标标注数据获取方法、介质及设备 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111462135B (zh) | 基于视觉slam与二维语义分割的语义建图方法 | |
| CN111199564B (zh) | 智能移动终端的室内定位方法、装置与电子设备 | |
| CN112734852B (zh) | 一种机器人建图方法、装置及计算设备 | |
| CN109931939B (zh) | 车辆的定位方法、装置、设备及计算机可读存储介质 | |
| WO2020253842A1 (zh) | 一种车辆位姿确定方法、装置及电子设备 | |
| CN110617821B (zh) | 定位方法、装置及存储介质 | |
| Lategahn et al. | Vision-only localization | |
| US9990726B2 (en) | Method of determining a position and orientation of a device associated with a capturing device for capturing at least one image | |
| JP2020067439A (ja) | 移動体位置推定システムおよび移動体位置推定方法 | |
| CN107741234A (zh) | 一种基于视觉的离线地图构建及定位方法 | |
| JP7275280B2 (ja) | 教師あり機械学習のための画像の自動ラベリングのためのシステムおよび方法 | |
| KR102016636B1 (ko) | 카메라와 레이더의 캘리브레이션 장치 및 방법 | |
| Ding et al. | Vehicle pose and shape estimation through multiple monocular vision | |
| CN110033489A (zh) | 一种车辆定位准确性的评估方法、装置及设备 | |
| EP4124829A1 (en) | Map construction method, apparatus, device and storage medium | |
| CN112631288B (zh) | 泊车定位方法、装置、车辆及存储介质 | |
| CN111046743A (zh) | 一种障碍物信息标注方法、装置、电子设备和存储介质 | |
| CN114898314B (zh) | 驾驶场景的目标检测方法、装置、设备及存储介质 | |
| CN114037762B (zh) | 基于图像与高精度地图配准的实时高精度定位方法 | |
| WO2022037403A1 (zh) | 一种数据处理的方法和装置 | |
| CN115376109B (zh) | 障碍物检测方法、障碍物检测装置以及存储介质 | |
| CN117197775A (zh) | 对象标注方法、对象标注装置及计算机可读存储介质 | |
| CN112529957A (zh) | 确定摄像设备位姿的方法和装置、存储介质、电子设备 | |
| CN114758504A (zh) | 一种基于滤波校正的网联车超速预警方法及系统 | |
| CN114503044B (zh) | 用于在3d点云中自动标记对象的系统和方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |