CN114972490A - 一种数据自动标注方法、装置、设备及存储介质 - Google Patents

一种数据自动标注方法、装置、设备及存储介质 Download PDF

Info

Publication number
CN114972490A
CN114972490A CN202210902948.0A CN202210902948A CN114972490A CN 114972490 A CN114972490 A CN 114972490A CN 202210902948 A CN202210902948 A CN 202210902948A CN 114972490 A CN114972490 A CN 114972490A
Authority
CN
China
Prior art keywords
target
frame
radar
data
bounding box
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202210902948.0A
Other languages
English (en)
Other versions
CN114972490B (zh
Inventor
谢子锐
胡兰
王一夫
张如高
虞正华
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Suzhou Moshi Intelligent Technology Co ltd
Original Assignee
Suzhou Moshi Intelligent Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Suzhou Moshi Intelligent Technology Co ltd filed Critical Suzhou Moshi Intelligent Technology Co ltd
Priority to CN202210902948.0A priority Critical patent/CN114972490B/zh
Publication of CN114972490A publication Critical patent/CN114972490A/zh
Application granted granted Critical
Publication of CN114972490B publication Critical patent/CN114972490B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/93—Lidar systems specially adapted for specific applications for anti-collision purposes
    • G01S17/931—Lidar systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10032—Satellite or aerial image; Remote sensing
    • G06T2207/10044—Radar image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30244—Camera pose

Abstract

本申请是关于一种数据自动标注方法、装置、设备及存储介质，具体涉及计算机视觉技术领域。所述方法包括：获取激光雷达采集到的各帧雷达数据；对所述各帧雷达数据进行目标检测，分别获得各帧雷达数据的包围框；针对激光雷达位于雷达位姿，且在目标时刻采集到的目标雷达数据，根据所述目标雷达数据的包围框分别与所述各帧雷达数据的包围框的重合度，筛选出目标包围框；获取目标图像；基于所述相机位姿以及所述雷达位姿，将所述目标包围框投影至相机坐标系下获得图像包围框。上述方案不需要人工参数标注，在极大的降低真值数据的标注时间的前提下，保证了标注的准确性。

Description

一种数据自动标注方法、装置、设备及存储介质
技术领域
本发明涉及计算机视觉技术领域，具体涉及一种数据自动标注方法、装置、设备及存储介质。
背景技术
在智能驾驶场景中，前端感知是主要功能模块之一，用于收集环境中的信息并输出给后续定位、决策等功能。
现如今大部分自动驾驶的感知模块都会使用基于深度学习的检测、分割等方法，这些基于深度学习的方法的通常需要大量且精确的真值数据与训练数据。自动驾驶技术的应用场景中，单目深度估计，即从二维图像恢复三维信息是一项重要的技术。因此，在作为真值数据或训练数据时，需要从单张二维图像中标注出三维信息，通常以三维包围框（bounding box）的形式表示。现有的二维图像数据采集过程严重依赖于人工数据标注，真实数据采集后需要在二维图像对应的三维数据中，人工标注出感兴趣的数据，再根据三维传感器与二维传感器的外参将三维信息投影至二维图像上。
但通过上述方案，人工与时间成本高，且标注精度取决于标注人员的技术，因此准确率不确定。
发明内容
本申请提供了一种数据自动标注方法、装置、计算机设备及存储介质，在极大的降低真值数据的标注时间的前提下，保证了标注的准确性，该技术方案如下。
一方面，提供了一种数据自动标注方法，所述方法包括：
获取激光雷达采集到的各帧雷达数据；
对所述各帧雷达数据进行目标检测，分别获得各帧雷达数据的包围框；
针对激光雷达位于雷达位姿，且在目标时刻采集到的目标雷达数据，根据所述目标雷达数据的包围框分别与所述各帧雷达数据的包围框的重合度，筛选出目标包围框；
获取目标图像；所述目标图像为处于相机位姿下的目标相机，在目标时刻采集到的；
基于所述相机位姿以及所述雷达位姿，将所述目标包围框投影至相机坐标系下获得图像包围框，以在所述目标图像上通过所述图像包围框标注出目标物体。
又一方面，提供了一种数据自动标注装置，所述装置包括：
雷达数据获取模块，用于获取激光雷达采集到的各帧雷达数据；
目标检测模块，用于对所述各帧雷达数据进行目标检测，分别获得各帧雷达数据的包围框；
包围框筛选模块，用于针对激光雷达位于雷达位姿，且在目标时刻采集到的目标雷达数据，根据所述目标雷达数据的包围框分别与所述各帧雷达数据的包围框的重合度，筛选出目标包围框；
目标图像获取模块，用于获取目标图像；所述目标图像为处于相机位姿下的目标相机，在目标时刻采集到的；
包围框投影模块，用于基于所述相机位姿以及所述雷达位姿，将所述目标包围框投影至相机坐标系下获得图像包围框，以在所述目标图像上通过所述图像包围框标注出目标物体。
在一种可能的实现方式中，所述包围框筛选模块，还用于，
基于所述雷达位姿，确定各个所述目标包围框的目标距离，并基于所述相机位姿以及所述雷达位姿，将目标距离小于距离阈值的目标包围框投影至相机坐标系下获得所述图像包围框。
在一种可能的实现方式中，所述相机位姿用于指示所述相机坐标系与世界坐标系之间的映射关系；所述雷达位姿用于指示雷达坐标系与所述世界坐标系下的映射关系；
所述包围框投影模块，还用于，
基于所述雷达位姿，将所述目标包围框投影至世界坐标系下，获得实际包围框；
基于所述相机位姿，将所述实际包围框投影至所述相机坐标系下，获得所述图像包围框。
在一种可能的实现方式中，所述装置还包括：
点云数量判断模块，用于基于所述雷达位姿，将所述雷达数据中的稀疏点云投影至世界坐标系下，判断实际包围框中的点云数量；
在一种可能的实现方式中，所述包围框投影模块，还用于当所述实际包围框中的点云数量大于点云阈值时，将所述实际包围框投影至所述相机坐标系下，获得所述图像包围框。
在一种可能的实现方式中，所述目标检测模块，还用于，
针对每帧雷达数据进行目标检测，获得候选包围框；
将所述候选包围框与各个活跃包围框计算交并比，且当交并比大于第一阈值时，将所述候选包围框确定为活跃包围框，且将所述候选包围框确定为所述雷达数据的包围框。
在一种可能的实现方式中，所述目标雷达数据的包围框包括第一包围框；
所述包围框筛选模块，还用于，
当所述各帧雷达数据中，存在第一包围框对应的第一数据的帧数大于帧数阈值，则将所述第一包围框确定为目标包围框。
在一种可能的实现方式中，所述包围框筛选模块，还用于，
当所述各帧雷达数据中，存在第一包围框对应的第一数据的候选雷达数据的帧数大于帧数阈值时，针对每个候选雷达数据，获取所述第一数据所在的包围框，与所述各帧雷达数据的包围框的目标交并比；
当各个候选雷达数据的目标交并比之和大于第二阈值，则将所述第一包围框确定为目标包围框。
再一方面，提供了一种计算机设备，所述计算机设备包括处理器和存储器，所述存储器中存储有至少一条指令，所述至少一条指令由所述处理器加载并执行以实现上述的数据自动标注方法。
又一方面，提供了一种计算机可读存储介质，所述存储介质中存储有至少一条指令，所述至少一条指令由处理器加载并执行以实现上述的数据自动标注方法。
再一方面，提供了一种计算机程序产品或计算机程序，所述计算机程序产品或计算机程序包括计算机指令，所述计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质中读取所述计算机指令，处理器执行所述计算机指令，使得所述计算机设备执行上述数据自动标注方法。
本申请提供的技术方案可以包括以下有益效果：
在对图像中进行标注时，可以先通过激光雷达对周围环境进行采集，得到各帧雷达数据，计算机设备根据激光雷达采集到的雷达数据进行目标检测，从而得到各帧雷达数据中的包围框，此时计算机设备再根据各帧雷达数据之间的包围框的重合度，筛选掉异常的包围框，保留下目标包围框；此时当需要对目标时刻采集到的目标图像进行标注时，可以直接根据目标时刻的雷达数据中的包围框，通过雷达位姿以及相机姿态进行坐标系转换，从而将雷达数据中的包围框，转换至相机坐标系，也就是在目标图像上生成对应的图像包围框，从而实现数据的自动标注。上述方案不需要人工参数标注，在极大的降低真值数据的标注时间的前提下，保证了标注的准确性。
附图说明
为了更清楚地说明本申请具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本申请的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是根据一示例性实施例示出的一种数据自动标注系统的结构示意图。
图2是根据一示例性实施例示出的一种数据自动标注方法的流程图。
图3是根据一示例性实施例示出的一种数据自动标注方法的流程图。
图4是根据一示例性实施例示出的一种数据自动标注装置的结构方框图。
图5示出了本申请一示例性实施例示出的计算机设备的结构框图。
具体实施方式
下面将结合附图对本申请的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
应理解，在本申请的实施例中提到的“指示”可以是直接指示，也可以是间接指示，还可以是表示具有关联关系。举例说明，A指示B，可以表示A直接指示B，例如B可以通过A获取；也可以表示A间接指示B，例如A指示C，B可以通过C获取；还可以表示A和B之间具有关联关系。
在本申请实施例的描述中，术语“对应”可表示两者之间具有直接对应或间接对应的关系，也可以表示两者之间具有关联关系，也可以是指示与被指示、配置与被配置等关系。
本申请实施例中，“预定义”可以通过在设备（例如，包括终端设备和网络设备）中预先保存相应的代码、表格或其他可用于指示相关信息的方式来实现，本申请对于其具体的实现方式不做限定。
图1是根据一示例性实施例示出的一种数据自动标注系统的结构示意图。该数据自动标注统中包含服务器110以及目标车辆120。其中，该目标车辆120中可以包括数据处理设备、图像采集设备以及数据存储模块等模块。
可选的，该目标车辆120中还包括激光雷达，该激光雷达可以在目标车辆的运行过程中，对目标车辆的周围的环境进行数据采集，以获得雷达数据。
可选的，该目标车辆120中包括图像采集设备以及数据存储模块，该图像采集设备可以在目标车辆的运行过程中，对目标车辆周围的环境进行图像采集，并将采集到的图像保存在目标车辆中的数据存储模块中。
可选的，该目标车辆120通过传输网络（如无线通信网络）与服务器110实现通信连接，该目标车辆120可以通过无线通信网络，将数据存储模块中存储的各个数据（如采集到的图像以及雷达数据）上传至服务器110，以便服务器110通过采集到的雷达数据，对采集到的图像进行数据标注。
可选的，该目标车辆120中还包含有数据处理设备，该数据处理设备可以在目标车辆120的图像采集设备采集到图像时，通过激光雷达采集到的雷达数据，对图像进行数据标注。
可选的，上述服务器可以是由多个物理服务器构成的服务器集群或者是分布式系统，还可以是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、CDN、以及大数据和人工智能平台等技术运计算服务的云服务器。
可选的，该系统还可以包括管理设备，该管理设备用于对该系统进行管理（如管理各个模块与服务器之间的连接状态等），该管理设备与服务器之间通过通信网络相连。可选的，该通信网络是有线网络或无线网络。
可选的，上述的无线网络或有线网络使用标准通信技术和/或协议。网络通常为因特网，但也可以是其他任何网络，包括但不限于局域网、城域网、广域网、移动、有限或无线网络、专用网络或者虚拟专用网络的任何组合。在一些实施例中，使用包括超文本标记语言、可扩展标记语言等的技术和/或格式来代表通过网络交换的数据。此外还可以使用诸如安全套接字层、传输层安全、虚拟专用网络、网际协议安全等常规加密技术来加密所有或者一些链路。在另一些实施例中，还可以使用定制和/或专用数据通信技术取代或者补充上述数据通信技术。
图2是根据一示例性实施例示出的一种数据自动标注方法的流程图。该方法由计算机设备执行，该计算机设备可以是如图1中所示的目标车辆中的数据处理设备。如图2所示，该数据自动标注方法可以包括如下步骤：
步骤201，获取激光雷达采集到的各帧雷达数据。
在本申请实施例的一种可能的实现方式中，该激光雷达可以是目标车辆上的激光雷达设备，该激光雷达可以按照时间，对周围环境进行探测，从而得到按照时间排序的各帧雷达数据。
进一步的，在获取到激光雷达采集到的各帧雷达数据后，该目标车辆中的数据处理设备，可以基于激光雷达采集到的各帧雷达数据，通过SLAM算法，实现全局稀疏建图（即构建目标车辆周围的地图信息），并基于周围的地图信息实现目标车辆的定位。也就是说，在通过激光雷达获取各帧雷达数据的同时，目标车辆还可以基于雷达数据实现周围地图的构建以及目标车辆的定位。
步骤202，对该各帧雷达数据进行目标检测，分别获得各帧雷达数据的包围框。
计算机设备在获取到雷达数据后，则可以对各帧雷达数据分别进行目标检测，从而在各帧雷达数据中确定出需要检测的目标物体。
以人体图像检测为例，当计算机设备需要进行人体图像检测时，可以选取任一帧雷达数据，对雷达数据通过人体检测算法（例如通过机器学习模型实现）进行处理，从而获得雷达数据中的特征点，以及该特征点的检测框（即包围框）。
步骤203，针对激光雷达位于雷达位姿，且在目标时刻采集到的目标雷达数据，根据该目标雷达数据的包围框分别与该各帧雷达数据的包围框的重合度，筛选出目标包围框。
在本申请实施例的一种可能的实现方式中，该激光雷达采集到各帧雷达数据可能是在不同时刻，位于不同雷达位姿时所采集到的，因此激光雷达在保存每一帧雷达数据时，还可以同时保存采集到该帧雷达数据时激光雷达的雷达位姿，以及采集到该帧雷达数据的时间。
而对于其中任一帧雷达数据（即目标雷达数据）来说，为了尽可能避免误识别对后续图像标注的影响，此时需要尽量去除误检数据，因此计算机设备可以将目标雷达数据中的包围框，与各帧雷达数据的包围框进行对比，计算其中的重合度，当重合度小于阈值时，说明该包围框中的数据出现的次数较小，可能是无关数据，将其筛除，从而保留重合度较高的包围框。
步骤204，获取目标图像。
该目标图像为处于相机位姿下的目标相机，在目标时刻采集到的。
步骤205，基于该相机位姿以及该雷达位姿，将该目标包围框投影至相机坐标系下获得图像包围框，以在该目标图像上通过该图像包围框标注出目标物体。
当计算机设备需要对目标图像进行标注时，可以选取到目标时刻采集到的目标雷达数据，并将在该目标雷达数据中通过目标检测处理，并筛选得到的目标包围框，通过相机位姿（也就是相机坐标系到世界坐标系的旋转矩阵以及平移矩阵）以及雷达位姿（也就是雷达坐标系到世界坐标系的旋转矩阵以及平移矩阵），将目标包围框从雷达坐标系转换至相机坐标系，从而在目标图像中生成图像包围框，从而在目标图像中标注出目标物体。
综上所述，在对图像中进行标注时，可以先通过激光雷达对周围环境进行采集，得到各帧雷达数据，计算机设备根据激光雷达采集到的雷达数据进行目标检测，从而得到各帧雷达数据中的包围框，此时计算机设备再根据各帧雷达数据之间的包围框的重合度，筛选掉异常的包围框，保留下目标包围框；此时当需要对目标时刻采集到的目标图像进行标注时，可以直接根据目标时刻的雷达数据中的包围框，通过雷达位姿以及相机姿态进行坐标系转换，从而将雷达数据中的包围框，转换至相机坐标系，也就是在目标图像上生成对应的图像包围框，从而实现数据的自动标注。上述方案不需要人工参数标注，在极大的降低真值数据的标注时间的前提下，保证了标注的准确性。
图3是根据一示例性实施例示出的一种数据自动标注方法的流程图。该方法由计算机设备执行，该计算机设备可以是如图1中所示的目标车辆中的数据处理设备。如图3所示，该数据自动标注方法可以包括如下步骤：
步骤301，获取激光雷达采集到的各帧雷达数据。
在本申请实施例中，利用激光雷达数据，并通过现有的激光雷达SLAM对计算出激光雷达在数据采集过程中的一系列位姿。
由于激光雷达SLAM获取的位姿与图像在时间上可能存在不一致，计算机设备需对位姿估计结果按图像时间戳进行插值获取到图像对应时刻的位姿。
步骤302，针对每帧雷达数据进行目标检测，获得候选包围框。
计算机设备可以对每一帧激光雷达检测进行目标检测，获取到其位姿及包围框尺寸，并将目标位姿通过对应时刻的雷达位姿转换至世界坐标系。
步骤303，将该候选包围框与各个活跃包围框计算交并比，且当交并比大于第一阈值时，将该候选包围框确定为活跃包围框，且将该候选包围框确定为该雷达数据的包围框。
可选的，计算机设备可以通过活跃跟踪器，筛选出各帧雷达数据中的活跃包围框。
首先，计算机设备将跟踪器初始化，将第一帧检测结果D1全部加入活跃跟踪器
Figure 788006DEST_PATH_IMAGE001
；计算机设备再遍历当前帧雷达数据的检测结果，并逐一与活跃跟踪器中的所有 检测目标计算交并比，若交并比大于第一阈值
Figure 236305DEST_PATH_IMAGE002
，则将跟踪目标
Figure 422567DEST_PATH_IMAGE003
的检测信息加入 相对应的活跃检测器
Figure 83355DEST_PATH_IMAGE004
，记录其位姿、包围框信息、交并比及其对应时间，此时活跃 检测器中的包围框即为活跃包围框。
步骤304，针对激光雷达位于雷达位姿，且在目标时刻采集到的目标雷达数据，根据该目标雷达数据的包围框分别与该各帧雷达数据的包围框的重合度，筛选出目标包围框。
在一种可能的实现方式中，该目标雷达数据的包围框包括第一包围框，根据该目标雷达数据的包围框分别与该各帧雷达数据的包围框的重合度，筛选出目标包围框，包括：
当该各帧雷达数据中，存在第一包围框对应的第一数据的帧数大于帧数阈值，则将该第一包围框确定为目标包围框。
也就是说，在目标雷达数据中检测出第一包围框（也就是存在第一包围框中的第一物体）后，可以检测第一包围框在各帧雷达数据中是否存在，当有大于帧数阈值的雷达数据中都存在第一包围框所对应的数据（也就是存在第一包围框中的第一物体的数据）时，则可以判定第一包围框中的第一物体为较重要的物体，直接将该第一包围框确定为目标包围框。
在一种可能的实现方式中，当该各帧雷达数据中，存在第一包围框对应的第一数据的候选雷达数据的帧数大于帧数阈值时，针对每个候选雷达数据，获取该第一数据所在的包围框，与该各帧雷达数据的包围框的目标交并比；
当各个候选雷达数据的目标交并比之和大于第二阈值，则将该第一包围框确定为目标包围框。
而当各帧雷达数据中的任一帧雷达数据，存在第一包围框对应的第一数据时，则将该雷达数据确定为候选雷达数据，此时对于每个候选雷达数据，计算机设备都将候选雷达数据中的第一数据所在的包围框，与所有帧雷达数据的各个包围框计算交并比，当各个候选雷达数据中，第一数据所在的包围框，与所有帧雷达数据的各个包围框的目标交并比之和大于第二阈值时，则第一包围框被确定为较为重要的目标包围框。
可选的，计算机设备可以检查活跃跟踪器
Figure 428886DEST_PATH_IMAGE005
，若某一活跃检测器
Figure 641561DEST_PATH_IMAGE006
对应的跟踪目标丢失帧数大于阈值，检查其跟踪帧数是否大于阈值以及历史交 并比是否大于第二阈值
Figure 174174DEST_PATH_IMAGE007
，若满足则将活跃检测器中记录的信息加入不活跃跟踪器
Figure 904233DEST_PATH_IMAGE008
（也就是作为目标包围框），若不满足则直接删除。
计算机设备对于每一帧雷达数据都可以重复上述步骤303与步骤304所示出的操作，最后得到的不活跃跟踪器中的目标包围框即为跟踪结果，从而在该跟踪结果中筛除异常物体的包围框，提高了目标检测的准确性。
进一步的，计算机设备还可以对上述得到的各个目标包围框进行进一步的数据检测。
可选的，计算机设备对于每一跟踪目标（例如第一数据所指示的物体），可以遍历该第一数据在各帧雷达数据中的包围框，当该第一数据在各帧雷达数据中的包围框的平均交并比大于阈值，且第一数据的位姿的平方差小于阈值，将该第一数据对应的目标确认为静态目标，否则将其确认为动态目标，从而进一步增加的数据标注的标注类别。
可选的，计算机设备在进行目标检测时，还可以对第一数据进行滑动窗口的中值滤波优化，以降低误检概率。
可选的，计算机设备对于每一跟踪目标（例如第一数据所指示的物体），可以获取该第一数据在各帧雷达数据中的包围框尺寸，并取各帧雷达数据中的第一数据的包围框尺寸的中值或平均值更新为各帧雷达数据中的第一数据的包围框尺寸。
步骤305，获取目标图像。
该目标图像为处于相机位姿下的目标相机，在目标时刻采集到的。
步骤306，基于该相机位姿以及该雷达位姿，将该目标包围框投影至相机坐标系下获得图像包围框，以在该目标图像上通过该图像包围框标注出目标物体。
在一种可能的实现方式中，基于该雷达位姿，确定各个该目标包围框的目标距离，并基于该相机位姿以及该雷达位姿，将目标距离小于距离阈值的目标包围框投影至相机坐标系下获得该图像包围框。
即计算机设备可以依照图像时间戳获得当前时刻世界坐标系下的雷达位姿，并在 跟踪结果
Figure 714057DEST_PATH_IMAGE009
中查找距离阈值范围内的目标并记录。
在一种可能的实现方式中，该基于该相机位姿以及该雷达位姿，将该目标包围框投影至相机坐标系下获得图像包围框，包括：
基于该雷达位姿，将该目标包围框投影至世界坐标系下，获得实际包围框；
基于该相机位姿，将该实际包围框投影至该相机坐标系下，获得该图像包围框。
可选的，计算机设备还可以根据雷达位姿以及相机位姿直接计算出雷达到相机的 外参
Figure 973000DEST_PATH_IMAGE010
，以将目标包围框投影相机坐标系下，至此标定完成。
在一种可能的实现方式中，当该实际包围框中的点云数量大于点云阈值时，将该实际包围框投影至该相机坐标系下，获得该图像包围框。
即计算机设备还可以对目标图像中的被遮挡图像进行筛选，计算机设备可以将当前帧雷达检测的稀疏点云（也就是目标雷达数据）投影至世界坐标系，统计落在目标包围框中的点云数量，若点云数量低于阈值，则认为此目标在图像中被遮挡，删除此目标。
综上所述，在对图像中进行标注时，可以先通过激光雷达对周围环境进行采集，得到各帧雷达数据，计算机设备根据激光雷达采集到的雷达数据进行目标检测，从而得到各帧雷达数据中的包围框，此时计算机设备再根据各帧雷达数据之间的包围框的重合度，筛选掉异常的包围框，保留下目标包围框；此时当需要对目标时刻采集到的目标图像进行标注时，可以直接根据目标时刻的雷达数据中的包围框，通过雷达位姿以及相机姿态进行坐标系转换，从而将雷达数据中的包围框，转换至相机坐标系，也就是在目标图像上生成对应的图像包围框，从而实现数据的自动标注。上述方案不需要人工参数标注，在极大的降低真值数据的标注时间的前提下，保证了标注的准确性。
图4是根据一示例性实施例示出的一种数据自动标注装置的结构方框图。该数据自动标注装置包括：
雷达数据获取模块401，用于获取激光雷达采集到的各帧雷达数据；
目标检测模块402，用于对所述各帧雷达数据进行目标检测，分别获得各帧雷达数据的包围框；
包围框筛选模块403，用于针对激光雷达位于雷达位姿，且在目标时刻采集到的目标雷达数据，根据所述目标雷达数据的包围框分别与所述各帧雷达数据的包围框的重合度，筛选出目标包围框；
目标图像获取模块404，用于获取目标图像；所述目标图像为处于相机位姿下的目标相机，在目标时刻采集到的；
包围框投影模块405，用于基于所述相机位姿以及所述雷达位姿，将所述目标包围框投影至相机坐标系下获得图像包围框，以在所述目标图像上通过所述图像包围框标注出目标物体。
在一种可能的实现方式中，所述包围框筛选模块，还用于，
基于所述雷达位姿，确定各个所述目标包围框的目标距离，并基于所述相机位姿以及所述雷达位姿，将目标距离小于距离阈值的目标包围框投影至相机坐标系下获得所述图像包围框。
在一种可能的实现方式中，所述相机位姿用于指示所述相机坐标系与世界坐标系之间的映射关系；所述雷达位姿用于指示雷达坐标系与所述世界坐标系下的映射关系；
所述包围框投影模块，还用于，
基于所述雷达位姿，将所述目标包围框投影至世界坐标系下，获得实际包围框；
基于所述相机位姿，将所述实际包围框投影至所述相机坐标系下，获得所述图像包围框。
在一种可能的实现方式中，所述装置还包括：
点云数量判断模块，用于基于所述雷达位姿，将所述雷达数据中的稀疏点云投影至世界坐标系下，判断实际包围框中的点云数量；
在一种可能的实现方式中，所述包围框投影模块，还用于当所述实际包围框中的点云数量大于点云阈值时，将所述实际包围框投影至所述相机坐标系下，获得所述图像包围框。
在一种可能的实现方式中，所述目标检测模块，还用于，
针对每帧雷达数据进行目标检测，获得候选包围框；
将所述候选包围框与各个活跃包围框计算交并比，且当交并比大于第一阈值时，将所述候选包围框确定为活跃包围框，且将所述候选包围框确定为所述雷达数据的包围框。
在一种可能的实现方式中，所述目标雷达数据的包围框包括第一包围框；
所述包围框筛选模块，还用于，
当所述各帧雷达数据中，存在第一包围框对应的第一数据的帧数大于帧数阈值，则将所述第一包围框确定为目标包围框。
在一种可能的实现方式中，所述包围框筛选模块，还用于，
当所述各帧雷达数据中，存在第一包围框对应的第一数据的候选雷达数据的帧数大于帧数阈值时，针对每个候选雷达数据，获取所述第一数据所在的包围框，与所述各帧雷达数据的包围框的目标交并比；
当各个候选雷达数据的目标交并比之和大于第二阈值，则将所述第一包围框确定为目标包围框。
综上所述，在对图像中进行标注时，可以先通过激光雷达对周围环境进行采集，得到各帧雷达数据，计算机设备根据激光雷达采集到的雷达数据进行目标检测，从而得到各帧雷达数据中的包围框，此时计算机设备再根据各帧雷达数据之间的包围框的重合度，筛选掉异常的包围框，保留下目标包围框；此时当需要对目标时刻采集到的目标图像进行标注时，可以直接根据目标时刻的雷达数据中的包围框，通过雷达位姿以及相机姿态进行坐标系转换，从而将雷达数据中的包围框，转换至相机坐标系，也就是在目标图像上生成对应的图像包围框，从而实现数据的自动标注。上述方案不需要人工参数标注，在极大的降低真值数据的标注时间的前提下，保证了标注的准确性。
图5示出了本申请一示例性实施例示出的计算机设备500的结构框图。该计算机设备可以实现为本申请上述方案中的服务器。所述计算机设备500包括中央处理单元（Central Processing Unit，CPU）501、包括随机存取存储器（Random Access Memory，RAM）502和只读存储器（Read-Only Memory，ROM）503的系统存储器504，以及连接系统存储器504和中央处理单元501的系统总线505。所述计算机设备500还包括用于存储操作系统509、应用程序510和其他程序模块511的大容量存储设备506。
所述大容量存储设备506通过连接到系统总线505的大容量存储控制器（未示出）连接到中央处理单元501。所述大容量存储设备506及其相关联的计算机可读介质为计算机设备500提供非易失性存储。也就是说，所述大容量存储设备506可以包括诸如硬盘或者只读光盘（Compact Disc Read-Only Memory，CD-ROM）驱动器之类的计算机可读介质（未示出）。
不失一般性，所述计算机可读介质可以包括计算机存储介质和通信介质。计算机存储介质包括以用于存储诸如计算机可读指令、数据结构、程序模块或其他数据等信息的任何方法或技术实现的易失性和非易失性、可移动和不可移动介质。计算机存储介质包括RAM、ROM、可擦除可编程只读寄存器（Erasable Programmable Read Only Memory，EPROM）、电子抹除式可复写只读存储器（Electrically-Erasable Programmable Read-OnlyMemory，EEPROM）闪存或其他固态存储其技术，CD-ROM、数字多功能光盘（DigitalVersatile Disc，DVD）或其他光学存储、磁带盒、磁带、磁盘存储或其他磁性存储设备。当然，本领域技术人员可知所述计算机存储介质不局限于上述几种。上述的系统存储器504和大容量存储设备506可以统称为存储器。
根据本公开的各种实施例，所述计算机设备500还可以通过诸如因特网等网络连接到网络上的远程计算机运行。也即计算机设备500可以通过连接在所述系统总线505上的网络接口单元507连接到网络508，或者说，也可以使用网络接口单元507来连接到其他类型的网络或远程计算机系统（未示出）。
所述存储器还包括至少一条计算机程序，所述至少一条计算机程序存储于存储器中，中央处理单元501通过执行该至少一条计算机程序来实现上述各个实施例所示的方法中的全部或部分步骤。
在一示例性实施例中，还提供了一种计算机可读存储介质，用于存储有至少一条计算机程序，所述至少一条计算机程序由处理器加载并执行以实现上述方法中的全部或部分步骤。例如，该计算机可读存储介质可以是只读存储器（Read-Only Memory，ROM）、随机存取存储器（Random Access Memory，RAM）、只读光盘（Compact Disc Read-Only Memory，CD-ROM）、磁带、软盘和光数据存储设备等。
在一示例性实施例中，还提供了一种计算机程序产品或计算机程序，该计算机程序产品或计算机程序包括计算机指令，该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令，处理器执行该计算机指令，使得该计算机设备执行上述图2或图3任一实施例所示方法的全部或部分步骤。
本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本申请的其它实施方案。本申请旨在涵盖本申请的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本申请的一般性原理并包括本申请未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本申请的真正范围和精神由下面的权利要求指出。
应当理解的是，本申请并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本申请的范围仅由所附的权利要求来限制。

Claims (10)

1.一种数据自动标注方法，其特征在于，所述方法包括：
获取激光雷达采集到的各帧雷达数据；
对所述各帧雷达数据进行目标检测，分别获得各帧雷达数据的包围框；
针对激光雷达位于雷达位姿，且在目标时刻采集到的目标雷达数据，根据所述目标雷达数据的包围框分别与所述各帧雷达数据的包围框的重合度，筛选出目标包围框；
获取目标图像；所述目标图像为处于相机位姿下的目标相机，在目标时刻采集到的；
基于所述相机位姿以及所述雷达位姿，将所述目标包围框投影至相机坐标系下获得图像包围框，以在所述目标图像上通过所述图像包围框标注出目标物体。
2.根据权利要求1所述的方法，其特征在于，所述基于所述相机位姿以及所述雷达位姿，将所述目标包围框投影至相机坐标系下获得图像包围框，包括：
基于所述雷达位姿，确定各个所述目标包围框的目标距离，并基于所述相机位姿以及所述雷达位姿，将目标距离小于距离阈值的目标包围框投影至相机坐标系下获得所述图像包围框。
3.根据权利要求1所述的方法，其特征在于，所述相机位姿用于指示所述相机坐标系与世界坐标系之间的映射关系；所述雷达位姿用于指示雷达坐标系与所述世界坐标系下的映射关系；
所述基于所述相机位姿以及所述雷达位姿，将所述目标包围框投影至相机坐标系下获得图像包围框，包括：
基于所述雷达位姿，将所述目标包围框投影至世界坐标系下，获得实际包围框；
基于所述相机位姿，将所述实际包围框投影至所述相机坐标系下，获得所述图像包围框。
4.根据权利要求3所述的方法，其特征在于，在基于所述相机位姿，将所述实际包围框坐标投影至所述相机坐标系下，获得所述图像包围框之前，还包括：
基于所述雷达位姿，将所述雷达数据中的稀疏点云投影至世界坐标系下，判断实际包围框中的点云数量；
所述基于所述相机位姿，将所述实际包围框投影至所述相机坐标系下，获得所述图像包围框，包括：
当所述实际包围框中的点云数量大于点云阈值时，将所述实际包围框投影至所述相机坐标系下，获得所述图像包围框。
5.根据权利要求1至4任一所述的方法，其特征在于，所述对所述各帧雷达数据进行目标检测，分别获得各帧雷达数据的包围框，包括：
针对每帧雷达数据进行目标检测，获得候选包围框；
将所述候选包围框与各个活跃包围框计算交并比，且当交并比大于第一阈值时，将所述候选包围框确定为活跃包围框，且将所述候选包围框确定为所述雷达数据的包围框。
6.根据权利要求5所述的方法，其特征在于，所述目标雷达数据的包围框包括第一包围框；
根据所述目标雷达数据的包围框分别与所述各帧雷达数据的包围框的重合度，筛选出目标包围框，包括：
当所述各帧雷达数据中，存在第一包围框对应的第一数据的帧数大于帧数阈值，则将所述第一包围框确定为目标包围框。
7.根据权利要求6所述的方法，其特征在于，所述当所述各帧雷达数据中，存在第一包围框对应的第一数据的雷达数据的帧数大于帧数阈值，则将所述第一包围框确定为目标包围框，包括：
当所述各帧雷达数据中，存在第一包围框对应的第一数据的候选雷达数据的帧数大于帧数阈值时，针对每个候选雷达数据，获取所述第一数据所在的包围框，与所述各帧雷达数据的包围框的目标交并比；
当各个候选雷达数据的目标交并比之和大于第二阈值，则将所述第一包围框确定为目标包围框。
8.一种数据自动标注装置，其特征在于，所述装置包括：
雷达数据获取模块，用于获取激光雷达采集到的各帧雷达数据；
目标检测模块，用于对所述各帧雷达数据进行目标检测，分别获得各帧雷达数据的包围框；
包围框筛选模块，用于针对激光雷达位于雷达位姿，且在目标时刻采集到的目标雷达数据，根据所述目标雷达数据的包围框分别与所述各帧雷达数据的包围框的重合度，筛选出目标包围框；
目标图像获取模块，用于获取目标图像；所述目标图像为处于相机位姿下的目标相机，在目标时刻采集到的；
包围框投影模块，用于基于所述相机位姿以及所述雷达位姿，将所述目标包围框投影至相机坐标系下获得图像包围框，以在所述目标图像上通过所述图像包围框标注出目标物体。
9.一种计算机设备，其特征在于，所述计算机设备包括处理器和存储器，所述存储器中存储有至少一条指令，所述至少一条指令由所述处理器加载并执行以实现如权利要求1至7任一所述的数据自动标注方法。
10.一种计算机可读存储介质，其特征在于，所述存储介质中存储有至少一条指令，所述至少一条指令由处理器加载并执行以实现如权利要求1至7任一所述的数据自动标注方法。
CN202210902948.0A 2022-07-29 2022-07-29 一种数据自动标注方法、装置、设备及存储介质 Active CN114972490B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210902948.0A CN114972490B (zh) 2022-07-29 2022-07-29 一种数据自动标注方法、装置、设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210902948.0A CN114972490B (zh) 2022-07-29 2022-07-29 一种数据自动标注方法、装置、设备及存储介质

Publications (2)

Publication Number Publication Date
CN114972490A true CN114972490A (zh) 2022-08-30
CN114972490B CN114972490B (zh) 2022-12-20

Family

ID=82970456

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210902948.0A Active CN114972490B (zh) 2022-07-29 2022-07-29 一种数据自动标注方法、装置、设备及存储介质

Country Status (1)

Country Link
CN (1) CN114972490B (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117372632A (zh) * 2023-12-08 2024-01-09 魔视智能科技(武汉)有限公司 二维图像的标注方法、装置、计算机设备及存储介质
CN117784162A (zh) * 2024-02-26 2024-03-29 安徽蔚来智驾科技有限公司 目标标注数据获取方法、目标跟踪方法、智能设备及介质
CN117784162B (zh) * 2024-02-26 2024-05-14 安徽蔚来智驾科技有限公司 目标标注数据获取方法、目标跟踪方法、智能设备及介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107145816A (zh) * 2017-02-24 2017-09-08 北京悉见科技有限公司 对象识别跟踪方法及装置
EP3716137A1 (en) * 2019-03-27 2020-09-30 Visteon Global Technologies, Inc. Systems and methods for estimating the position of a target vehicle
CN111814755A (zh) * 2020-08-18 2020-10-23 深延科技(北京)有限公司 面向夜间运动场景的多帧图像行人检测方法和装置
CN113447923A (zh) * 2021-06-29 2021-09-28 上海高德威智能交通系统有限公司 目标检测方法、装置、系统、电子设备及存储介质
CN114581523A (zh) * 2022-03-04 2022-06-03 京东鲲鹏(江苏)科技有限公司 一种用于单目3d目标检测的标注数据确定方法和装置

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107145816A (zh) * 2017-02-24 2017-09-08 北京悉见科技有限公司 对象识别跟踪方法及装置
EP3716137A1 (en) * 2019-03-27 2020-09-30 Visteon Global Technologies, Inc. Systems and methods for estimating the position of a target vehicle
CN111814755A (zh) * 2020-08-18 2020-10-23 深延科技(北京)有限公司 面向夜间运动场景的多帧图像行人检测方法和装置
CN113447923A (zh) * 2021-06-29 2021-09-28 上海高德威智能交通系统有限公司 目标检测方法、装置、系统、电子设备及存储介质
CN114581523A (zh) * 2022-03-04 2022-06-03 京东鲲鹏(江苏)科技有限公司 一种用于单目3d目标检测的标注数据确定方法和装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
张耀威等: "基于图像与点云的三维障碍物检测", 《计算机工程与设计》 *

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117372632A (zh) * 2023-12-08 2024-01-09 魔视智能科技(武汉)有限公司 二维图像的标注方法、装置、计算机设备及存储介质
CN117372632B (zh) * 2023-12-08 2024-04-19 魔视智能科技(武汉)有限公司 二维图像的标注方法、装置、计算机设备及存储介质
CN117784162A (zh) * 2024-02-26 2024-03-29 安徽蔚来智驾科技有限公司 目标标注数据获取方法、目标跟踪方法、智能设备及介质
CN117784162B (zh) * 2024-02-26 2024-05-14 安徽蔚来智驾科技有限公司 目标标注数据获取方法、目标跟踪方法、智能设备及介质

Also Published As

Publication number Publication date
CN114972490B (zh) 2022-12-20

Similar Documents

Publication Publication Date Title
US10964054B2 (en) Method and device for positioning
CN110084165B (zh) 基于边缘计算的电力领域开放场景下异常事件的智能识别与预警方法
CN111735446B (zh) 一种激光、视觉定位融合的方法及设备
US20230005176A1 (en) Throwing position acquisition method and apparatus, computer device and storage medium
CN111611853A (zh) 一种传感信息融合方法、装置及存储介质
CN111163285A (zh) 高空抛坠物监测方法及其系统、计算机可读存储介质
CN115376109B (zh) 障碍物检测方法、障碍物检测装置以及存储介质
CN105809658A (zh) 关心区域设定方法及装置
CN114972490B (zh) 一种数据自动标注方法、装置、设备及存储介质
CN111932545A (zh) 图像处理方法、目标计数方法及其相关装置
CN106803937B (zh) 一种具有文本日志的双摄像头视频监控方法、系统和监控装置
CN113673288B (zh) 空闲车位检测方法、装置、计算机设备及存储介质
CN111428626A (zh) 一种移动物体的识别方法、装置、及存储介质
WO2020237501A1 (zh) 一种多源协同道路车辆监控系统
CN115797310A (zh) 一种光伏电站组串倾角的确定方法及电子设备
CN112541403B (zh) 一种利用红外摄像头的室内人员跌倒检测方法
CN112558091B (zh) 一种输电线对树空间距离的实时检测方法、装置及终端设备
CN114299458A (zh) 数据处理方法、导航方法、及计算机程序产品
WO2022220692A1 (en) Bird detection and species determination
CN111738085A (zh) 实现自动驾驶同时定位与建图的系统构建方法及装置
CN114820955B (zh) 一种对称面补全方法、装置、设备及存储介质
CN117474983B (zh) 一种基于光视联动的预警方法以及相关装置
CN113223079A (zh) 视觉定位方法、装置及电子设备
JP2024064223A (ja) 伐採計画立案支援装置、及び伐採計画立案支援方法
CN113538487A (zh) 一种基于多摄像机三维重建的虚拟三维周界管控算法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant