CN116258687A - 数据标注方法、系统、装置及电子设备、存储介质 - Google Patents
数据标注方法、系统、装置及电子设备、存储介质 Download PDFInfo
- Publication number
- CN116258687A CN116258687A CN202310096103.1A CN202310096103A CN116258687A CN 116258687 A CN116258687 A CN 116258687A CN 202310096103 A CN202310096103 A CN 202310096103A CN 116258687 A CN116258687 A CN 116258687A
- Authority
- CN
- China
- Prior art keywords
- different
- groups
- focal lengths
- binocular cameras
- labeling
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/97—Determining parameters from multiple pictures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10028—Range image; Depth image; 3D point clouds
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30248—Vehicle exterior or interior
- G06T2207/30252—Vehicle exterior; Vicinity of vehicle
Landscapes
- Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Studio Devices (AREA)
Abstract
本申请公开了一种数据标注方法、系统、装置及电子设备、存储介质，所述方法包括部署多组双目相机，得到多焦距不同视角的相机组合，所述多焦距不同视角的相机组合用于采集同一个目标，多组所述双目相机之间具有不同焦距；通过所述多焦距不同视角的相机组合，采集得到所述同一个目标的多组图像信息；对所述多组图像信息进行真值标注，得到数据标注结果。通过本申请中的多焦距不同视角的相机组合优化数据采集过程，提高真值标注的准确性。
Description
技术领域
本申请涉及自动驾驶技术领域，尤其涉及一种数据标注方法、系统、装置及电子设备、存储介质。
背景技术
3D目标检测，通常采用基于激光雷达和单目相机的数据采集标注系统，采集原始的图像和点云数据，利用激光雷达提供的精确的深度信息和图像的细节信息，通过在激光点云上人工标注3D检测目标，再利用相机和激光雷达的几何约束关系，完成图像和点云的物体的标注。
相关技术中的数据采集标注系统，首先高度依赖于激光雷达系统，采集数据是非单一模态，在标注中存在数据对齐的问题，在自动驾驶的运动场景两者偏差过大，现实场景中难以很好的解决该问题。其次采集系统受制于单一传感器的视场角的影响，单一传感器无法很好的覆盖整体的场景，需要多传感器做视角补偿。并且提供深度信息的激光雷达受制于自身设计时存在盲区且探测距离有限，此外对于不同物体存在的反射能量差异，这些特性使得远距离，小尺寸物体存在无法探测的问题。最后采用激光雷达相机联合标注系统整体方案传感器成本较高，大规模应用中，成本高昂。
发明内容
本申请实施例提供了数据标注方法、系统、装置及电子设备、存储介质，以减少数据采集误差、提高标注精准度。
本申请实施例采用下述技术方案：
第一方面，本申请实施例提供一种数据标注方法，其中，所述方法包括：
部署多组双目相机，得到多焦距不同视角的相机组合，所述多焦距不同视角的相机组合用于采集同一个目标，多组所述双目相机之间具有不同焦距；
通过所述多焦距不同视角的相机组合，采集得到所述同一个目标的多组图像信息；
对所述多组图像信息进行真值标注，得到数据标注结果。
在一些实施例中，所述通过所述多焦距不同视角的相机组合，采集得到所述同一个目标的多组图像信息之后，还包括：
在同一个场景下，根据采集所述同一个目标的每组图像信息对应的相机标定参数，生成多个不同焦距的所述双目相机对应的3D点云信息；
根据多个不同焦距的所述双目相机对应的3D点云信息以及所述双目相机的预设视角，得到不同的预设视角下针对所述同一个目标在真实场景中对应的点云数据。
在一些实施例中，所述对所述多组图像信息进行真值标注，得到数据标注结果，包括：
检测所述同一个目标在真实场景中对应的点云数据是否为遮挡和/或截断的物体；
当所述同一个目标在真实场景中对应的点云数据不存在遮挡和/或截断的物体时，利用深度学习构建的半监督或监督真值系统，进行数据的自动或者半自动标注。
在一些实施例中，所述对所述多组图像信息进行真值标注，得到数据标注结果，包括：
检测所述同一个目标在真实场景中对应的点云数据是否为遮挡和/或截断的物体；
当所述同一个目标在真实场景中对应的点云数据存在遮挡和/或截断的物体时，则根据真实世界的数据做细粒度的检测和分类并根据预先训练的3D目标检测模型中进行匹配，
或者，进行工人真值标注并将标注结果迭代至预先训练的3D目标检测模型中进行训练。
在一些实施例中，所述部署多组双目相机，得到多焦距不同视角的相机组合，所述多焦距不同视角的相机组合用于采集同一个目标，多组所述双目相机之间具有不同焦距包括：
针对同一个目标且采用具有不同焦距的多组所述双目相机，部署至少三组双目相机，得到多焦距的相机组合，所述不同焦距包括近景、中景、远景的焦距距离；
根据所述多焦距的相机组合，再按照不同角度部署至少六组双目相机得到至少包括九组双目相机的多焦距不同视角的相机组合，所述不同角度包括0至180的视场角范围。
在一些实施例中，所述通过所述多焦距不同视角的相机组合，采集得到所述同一个目标的多组图像信息，包括：
通过所述至少包括九组双目相机的多焦距不同视角的相机组合，采集得到所述同一个目标的在不同视角、不同焦距下的多组图像信息。
第二方面，本申请实施例还提供一种数据标注系统，其中，系统包括：
相机标定系统，用于单独标定每组双目相机；
多视角多尺度相机采集系统，用于部署多组双目相机，得到多焦距不同视角的相机组合，所述多焦距不同视角的相机组合用于采集同一个目标，多组所述双目相机之间具有不同焦距；以及通过所述多焦距不同视角的相机组合，采集得到所述同一个目标的多组图像信息；
数据结算系统，用于根据所述同一个目标的多组图像信息，匹配真实场景中的物体；
真值系统，用于对所述多组图像信息中匹配物体，进行真值标注。
第三方面，本申请实施例还提供一种数据标注装置，其中，所述装置包括：
部署模块，用于部署多组双目相机，得到多焦距不同视角的相机组合，所述多焦距不同视角的相机组合用于采集同一个目标，多组所述双目相机之间具有不同焦距；
采集模块，用于通过所述多焦距不同视角的相机组合，采集得到所述同一个目标的多组图像信息；
标注模块，用于对所述多组图像信息进行真值标注，得到数据标注结果。
第四方面，本申请实施例还提供一种电子设备，包括：处理器；以及被安排成存储计算机可执行指令的存储器，所述可执行指令在被执行时使所述处理器执行上述方法。
第五方面，本申请实施例还提供一种计算机可读存储介质，所述计算机可读存储介质存储一个或多个程序，所述一个或多个程序当被包括多个应用程序的电子设备执行时，使得所述电子设备执行上述方法。
本申请实施例采用的上述至少一个技术方案能够达到以下有益效果：部署多组双目相机，得到多焦距不同视角的相机组合，并通过所述多焦距不同视角的相机组合，采集得到所述同一个目标的多组图像信息。采用多焦距(尺度)多视角的采集方式，可以更加完整获取目标的3D图像信息，从而便于之后的真值标注得到数据标注结果。
附图说明
此处所说明的附图用来提供对本申请的进一步理解，构成本申请的一部分，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。在附图中：
图1为本申请实施例中数据标注方法的流程示意图；
图2为本申请实施例中数据标注方法中多视角相机配置方案示意图；
图3为本申请实施例中数据标注方法中多焦距多视角的多目相机组合方案示意图；
图4为本申请实施例中数据标注系统结构示意图；
图5为本申请实施例中数据标注装置结构示意图；
图6为本申请实施例中一种电子设备的结构示意图。
具体实施方式
为使本申请的目的、技术方案和优点更加清楚，下面将结合本申请具体实施例及相应的附图对本申请技术方案进行清楚、完整地描述。显然，所描述的实施例仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
以下结合附图，详细说明本申请各实施例提供的技术方案。
本申请实施例提供了一种数据标注方法，如图1所示，提供了本申请实施例中数据标注方法流程示意图，所述方法至少包括如下的步骤S110至步骤S130：
步骤S110，部署多组双目相机，得到多焦距不同视角的相机组合，所述多焦距不同视角的相机组合用于采集同一个目标，多组所述双目相机之间具有不同焦距。
部署之后的多组双目相机可以按照预设的角度以及焦距进行组合，从而得到焦距不同视角的相机组合。
示例性地，每个单一视角下的设备具有多个不同焦距的多组双目相机，从而确保在不同尺度下的目标具有近似的(距离)精度，三个不同视角的设备保证了生成的目标3D(点云)信息的完整性。
这里区别于相关技术中使用一个双目相机采集目标的情况，采用多组双目相机在不同的角度下可以获取更多丰富的目标3D信息。
步骤S120，通过所述多焦距不同视角的相机组合，采集得到所述同一个目标的多组图像信息。
所述多焦距不同视角的相机组合可以安装在采集车或者其他车辆上，针对同一个场景下的同一个目标(可以包括含多个)进行采集，采集之后得到所述同一个目标的多组图像信息。也就是说，得到了同一个所述目标在不同焦距以及观测角度下的图像信息。采用多视角、多组双目相机的立体融合可以有效解决相关技术中单个双目相机采集时容易出现的部分遮挡问题以及单一视角观察目标不完整的缺陷。
步骤S130，对所述多组图像信息进行真值标注，得到数据标注结果。
对所述多组图像信息进行真值标注时，由于采用多视角融合匹配的方法，可以使目标的尺寸更准确，便于提供更为精确的真值标注。
需要注意的是，这里的匹配是指将多组图像信息对应的3D点云信息与真实世界中的目标进行匹配，并不涉及激光雷达。
基于上述方法，由于在每组双目相机均具有三个不同焦距的双目相机组成，故可以实现不同焦距实现对不同尺度的目标的精确测距，比如主要包括目标的距离和3D尺寸，从而避免在单一双目相机存在的随着观测距离增加引起的测距误差的缺点，经过实际验证可使相机组合整体的测量精度为<2％。
同时通过增加相机组合的视角，特别是针对从不同的视角观察当前的场景的情况，避免出现在单一视角下目标存在的遮挡问题以及单一视角对目标的观察不够完整。
可以理解，如果是遮挡问题则大多是因为信息融合的时候没有对应的扫描信息和对应的点云信息，故影响真值标注结果。
当然也并非包含更多组的双目相机可以克服遮挡、提高标注的成功率，具体使用多少组，以及每组之间的视角不仅与成本相关，还与图像采集的效果相关。同样地，还应当考量每组双目相机之间的焦距应该如何组合。这些都是使用单一个双目相机进行采集时无需考量或者明确的。在上述方法中对于多焦距不同视角的相机组合用于采集同一个目标，这里的同一个目标可以包括同一个场景中的多个目标。对于多个目标都需要通过多焦距不同视角的相机组合进行采集。这样可以避免单个相机所带来的误差随着距离的增加而增加的问题。
在本申请的一个实施例中，所述通过所述多焦距不同视角的相机组合，采集得到所述同一个目标的多组图像信息之后，还包括：在同一个场景下，根据采集所述同一个目标的每组图像信息对应的相机标定参数，生成多个不同焦距的所述双目相机对应的3D点云信息；根据多个不同焦距的所述双目相机对应的3D点云信息以及所述双目相机的预设视角，得到不同的预设视角下针对所述同一个目标在真实场景中对应的点云数据。
经过采集得到所述同一个目标的多组图像信息之后，还需要针对多组相机进行数据的融合处理。在同一个场景下，利用不同焦距的相机采集到同一目标不同的尺度下(此时视角默认相同)的图像信息。然后再利用双目相机本身的标定参数，通过信息融合，可以生成更为精确的稠密的3D点云信息。这样通过利用不同焦距的信息融合可以解决不同尺度下目标标注的精度问题，解决单一焦距下目标的精度会随着距离的增加而降低。
经过上述处理之后，得到同一个视角下的同一组双目相机采集得到的3D点云信息，主要在于双目相机具有深度信息。多个焦距的相机信息融合后，即可得到高精度的真实世界点云信息。
根据多个不同焦距的所述双目相机对应的3D点云信息以及所述双目相机的预设视角即对于不同视角的多组相机的数据处理流程，首先利用多组组合设备的双目相机采集的对应的目标图片信息并结合多视角下、多焦距得到的物体进行匹配和融合，得到一个统一的数据表达，即生成基于多视角下面的统一结算后的真实世界的点云数据。
经过上述点云融合处理之后，可以与真实场景中的目标进行匹配。
优选地，对于同一组中的双目相机，需要计算视差之后再进行点云融合计算，并且对于不同组中的双目相机进行分开计算之后再点云融合。
在本申请的一个实施例中，所述对所述多组图像信息进行真值标注，得到数据标注结果，包括：检测所述同一个目标在真实场景中对应的点云数据是否为遮挡和/或截断的物体；当所述同一个目标在真实场景中对应的点云数据不存在遮挡和/或截断的物体时，利用深度学习构建的半监督或监督真值系统，进行数据的自动或者半自动标注；当所述同一个目标在真实场景中对应的点云数据存在遮挡和/或截断的物体时，则根据真实世界的数据做细粒度的检测和分类并根据预先训练的3D目标检测模型中进行匹配，或者，进行工人真值标注并将标注结果迭代至预先训练的3D目标检测模型中进行训练。
对于采集时较为完整且没有遮挡或缺失的物体(目标)，根据生成的所述同一个目标在真实场景中对应的点云数据，利用深度学习构建的半监督或监督真值系统，进行数据的自动或者半自动标注。
可以理解，利用基于真值模型可以实现半自动化的标注。所述真值模型中可以包括多种类型物体的模型库、3D模型数据。所以对于难以进行真值标注的点云数据可以通过模型库中不同模型之间的匹配。
此外，对于难以确定的物体类型，则可以进行人工标注，并且将标注结果迭代到真值标注系统中，以提高真值标注的匹配性。
对于存在遮挡或者截断的物体(目标)，根据真实世界的数据，做细粒度的检测和分类。从已有的3D世界模型做精准匹配。从而补偿原有的信息差异，完成对存在信息误差的物体的精准标注。
需要注意的是，真实世界的数据做细粒度的检测和分类对于本领域技术人员是公知且场景的，在本申请的实施例中并不进行具体限定，可以根据实际场景进行选择。
在本申请的一个实施例中，所述部署多组双目相机，得到多焦距不同视角的相机组合，所述多焦距不同视角的相机组合用于采集同一个目标，多组所述双目相机之间具有不同焦距包括：针对同一个目标且采用具有不同焦距的多组所述双目相机，部署至少三组双目相机，得到多焦距的相机组合，所述不同焦距包括近景、中景、远景的焦距距离；根据所述多焦距的相机组合，再按照不同角度部署至少六组双目相机得到至少包括九组双目相机的多焦距不同视角的相机组合，所述不同角度包括0至180的视场角范围。
两个相同焦距的相机为单个双目相机，针对每个预设视角，需要具有多个不同焦距的双目相机，确保不同尺度下的目标具有近似的精度，也就是可以在不同距离下确保都可以采集得到目标的图像信息。所以三个不同视角的设备保证了生成的目标3D(点云)信息的完整性。并且由于是同时采集得到多组图像信息，可以简化时间戳同步的过程。
所述不同焦距包括近景、中景、远景的焦距距离，如图3所示，每组相机具有三个不同焦距的双目相机组成，目的在于针对不同焦距实现对不同尺度的目标的精确测距，也就是得到目标的距离和3D尺寸，从而避免在单一双目相机存在的随着观测距离增加引起的测距误差的缺点。
可以理解，不同的焦距下可以在近景远景距离内对同一个目标进行采集，从而消除由于距离而造成的误差。
如图2所示，根据所述多焦距的相机组合，再按照不同角度部署至少六组双目相机得到至少包括九组双目相机的多焦距不同视角的相机组合，这样增加了视角也就是可以从不同的视角观察当前的场景，避免在单一视角下目标存在的遮挡问题以及单一视角对目标的观察不够完整的不足。不同角度(决定了相机视角)包括0至180的视场角范围可以基本满足目标采集的要求，包括尺度，深度变化，降低了使用单个的双目相机时单一焦距下存在的较大的误差。
如图4所示，本申请实施例还提供了一种数据标注系统，其中，系统包括：相机标定系统420，用于单独标定每组双目相机；多视角多尺度相机采集系统410，用于部署多组双目相机，得到多焦距不同视角的相机组合，所述多焦距不同视角的相机组合用于采集同一个目标，多组所述双目相机之间具有不同焦距；以及通过所述多焦距不同视角的相机组合，采集得到所述同一个目标的多组图像信息；数据结算系统430，用于根据所述同一个目标的多组图像信息，匹配真实场景中的物体；真值系统440，用于对所述多组图像信息中匹配物体，进行真值标注。
所述相机标定系统420可以预先对于每组双目相机进行标定或者根据情况进行联合标定，经过标定之后得到相机的内外参数，可以用于之后的3D点云融合。
所述多视角多尺度相机采集系统410部署多组双目相机，得到多焦距不同视角的相机组合，所述多焦距不同视角的相机组合用于采集同一个目标，多组所述双目相机之间具有不同焦距；以及通过所述多焦距不同视角的相机组合，采集得到所述同一个目标的多组图像信息。
所述多视角多尺度相机采集系统410通过利用多焦距不同视角的相机组合提高采集目标的精度，包括尺度，深度变化，降低了采用双目相机单一焦距下存在的较大的误差。
所述数据结算系统430对多视角多组相机的立体融合可以有效解决部分遮挡问题以及单一视角观察目标不完整。多视角融合匹配的方法可以使目标的尺寸更准确，方便提供更为精确的真值标注。并且通过基于融合伪3D数据的数据生成方式，提高了数据采集和标注的精准度。
所述真值系统440对所述多组图像信息中匹配物体，进行真值标注，得到标注结果450。
本申请实施例还提供了数据标注装置500，如图5所示，提供了本申请实施例中数据标注装置的结构示意图，所述数据标注装置500至少包括：部署模块510、采集模块520以及标注模块530，其中：
在本申请的一个实施例中，所述部署模块510具体用于：部署多组双目相机，得到多焦距不同视角的相机组合，所述多焦距不同视角的相机组合用于采集同一个目标，多组所述双目相机之间具有不同焦距。
部署之后的多组双目相机可以按照预设的角度以及焦距进行组合，从而得到焦距不同视角的相机组合。
示例性地，每个单一视角下的设备具有多个不同焦距的多组双目相机，从而确保在不同尺度下的目标具有近似的(距离)精度，三个不同视角的设备保证了生成的目标3D(点云)信息的完整性。
这里区别于相关技术中使用一个双目相机采集目标的情况，采用多组双目相机在不同的角度下可以获取更多丰富的目标3D信息。
在本申请的一个实施例中，所述采集模块520具体用于：通过所述多焦距不同视角的相机组合，采集得到所述同一个目标的多组图像信息。
所述多焦距不同视角的相机组合可以安装在采集车或者其他车辆上，针对同一个场景下的同一个目标(可以包括含多个)进行采集，采集之后得到所述同一个目标的多组图像信息。也就是说，得到了同一个所述目标在不同焦距以及观测角度下的图像信息。采用多视角、多组双目相机的立体融合可以有效解决相关技术中单个双目相机采集时容易出现的部分遮挡问题以及单一视角观察目标不完整的缺陷。
在本申请的一个实施例中，所述标注模块530具体用于：对所述多组图像信息进行真值标注，得到数据标注结果。
对所述多组图像信息进行真值标注时，由于采用多视角融合匹配的方法，可以使目标的尺寸更准确，便于提供更为精确的真值标注。
需要注意的是，这里的匹配是指将多组图像信息对应的3D点云信息与真实世界中的目标进行匹配，并不涉及激光雷达。
能够理解，上述数据标注装置，能够实现前述实施例中提供的数据标注方法的各个步骤，关于数据标注方法的相关阐释均适用于数据标注装置，此处不再赘述。
图6是本申请的一个实施例电子设备的结构示意图。请参考图6，在硬件层面，该电子设备包括处理器，可选地还包括内部总线、网络接口、存储器。其中，存储器可能包含内存，例如高速随机存取存储器(Random-Access Memory，RAM)，也可能还包括非易失性存储器(non-volatile memory)，例如至少1个磁盘存储器等。当然，该电子设备还可能包括其他业务所需要的硬件。
处理器、网络接口和存储器可以通过内部总线相互连接，该内部总线可以是ISA(Industry Standard Architecture，工业标准体系结构)总线、PCI(PeripheralComponent Interconnect，外设部件互连标准)总线或EISA(Extended Industry StandardArchitecture，扩展工业标准结构)总线等。所述总线可以分为地址总线、数据总线、控制总线等。为便于表示，图6中仅用一个双向箭头表示，但并不表示仅有一根总线或一种类型的总线。
存储器，用于存放程序。具体地，程序可以包括程序代码，所述程序代码包括计算机操作指令。存储器可以包括内存和非易失性存储器，并向处理器提供指令和数据。
处理器从非易失性存储器中读取对应的计算机程序到内存中然后运行，在逻辑层面上形成数据标注装置。处理器，执行存储器所存放的程序，并具体用于执行以下操作：
部署多组双目相机，得到多焦距不同视角的相机组合，所述多焦距不同视角的相机组合用于采集同一个目标，多组所述双目相机之间具有不同焦距；
通过所述多焦距不同视角的相机组合，采集得到所述同一个目标的多组图像信息；
对所述多组图像信息进行真值标注，得到数据标注结果。
上述如本申请图1所示实施例揭示的数据标注装置执行的方法可以应用于处理器中，或者由处理器实现。处理器可能是一种集成电路芯片，具有信号的处理能力。在实现过程中，上述方法的各步骤可以通过处理器中的硬件的集成逻辑电路或者软件形式的指令完成。上述的处理器可以是通用处理器，包括中央处理器(Central Processing Unit，CPU)、网络处理器(Network Processor，NP)等；还可以是数字信号处理器(Digital SignalProcessor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现场可编程门阵列(Field－Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。可以实现或者执行本申请实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合本申请实施例所公开的方法的步骤可以直接体现为硬件译码处理器执行完成，或者用译码处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器，闪存、只读存储器，可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该存储介质位于存储器，处理器读取存储器中的信息，结合其硬件完成上述方法的步骤。
该电子设备还可执行图1中数据标注装置执行的方法，并实现数据标注装置在图1所示实施例的功能，本申请实施例在此不再赘述。
本申请实施例还提出了一种计算机可读存储介质，该计算机可读存储介质存储一个或多个程序，该一个或多个程序包括指令，该指令当被包括多个应用程序的电子设备执行时，能够使该电子设备执行图1所示实施例中数据标注装置执行的方法，并具体用于执行：
部署多组双目相机，得到多焦距不同视角的相机组合，所述多焦距不同视角的相机组合用于采集同一个目标，多组所述双目相机之间具有不同焦距；
通过所述多焦距不同视角的相机组合，采集得到所述同一个目标的多组图像信息；
对所述多组图像信息进行真值标注，得到数据标注结果。
本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
在一个典型的配置中，计算设备包括一个或多个处理器(CPU)、输入/输出接口、网络接口和内存。
内存可能包括计算机可读介质中的非永久性存储器，随机存取存储器(RAM)和/或非易失性内存等形式，如只读存储器(ROM)或闪存(flash RAM)。内存是计算机可读介质的示例。
计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带，磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。按照本文中的界定，计算机可读介质不包括暂存电脑可读媒体(transitory media)，如调制的数据信号和载波。
还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、商品或者设备中还存在另外的相同要素。
本领域技术人员应明白，本申请的实施例可提供为方法、系统或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
以上所述仅为本申请的实施例而已，并不用于限制本申请。对于本领域技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原理之内所作的任何修改、等同替换、改进等，均应包含在本申请的权利要求范围之内。
Claims (10)
1.一种数据标注方法，其中，所述方法包括：
部署多组双目相机，得到多焦距不同视角的相机组合，所述多焦距不同视角的相机组合用于采集同一个目标，多组所述双目相机之间具有不同焦距；
通过所述多焦距不同视角的相机组合，采集得到所述同一个目标的多组图像信息；
对所述多组图像信息进行真值标注，得到数据标注结果。
2.如权利要求1所述方法，其中，所述通过所述多焦距不同视角的相机组合，采集得到所述同一个目标的多组图像信息之后，还包括：
在同一个场景下，根据采集所述同一个目标的每组图像信息对应的相机标定参数，生成多个不同焦距的所述双目相机对应的3D点云信息；
根据多个不同焦距的所述双目相机对应的3D点云信息以及所述双目相机的预设视角，得到不同的预设视角下针对所述同一个目标在真实场景中对应的点云数据。
3.如权利要求2所述方法，其中，所述对所述多组图像信息进行真值标注，得到数据标注结果，包括：
检测所述同一个目标在真实场景中对应的点云数据是否为遮挡和/或截断的物体；
当所述同一个目标在真实场景中对应的点云数据不存在遮挡和/或截断的物体时，利用深度学习构建的半监督或监督真值系统，进行数据的自动或者半自动标注。
4.如权利要求2所述方法，其中，所述对所述多组图像信息进行真值标注，得到数据标注结果，包括：
检测所述同一个目标在真实场景中对应的点云数据是否为遮挡和/或截断的物体；
当所述同一个目标在真实场景中对应的点云数据存在遮挡和/或截断的物体时，则根据真实世界的数据做细粒度的检测和分类并根据预先训练的3D目标检测模型中进行匹配，
或者，进行工人真值标注并将标注结果迭代至预先训练的3D目标检测模型中进行训练。
5.如权利要求1所述方法，其中，所述部署多组双目相机，得到多焦距不同视角的相机组合，所述多焦距不同视角的相机组合用于采集同一个目标，多组所述双目相机之间具有不同焦距包括：
针对同一个目标且采用具有不同焦距的多组所述双目相机，部署至少三组双目相机，得到多焦距的相机组合，所述不同焦距包括近景、中景、远景的焦距距离；
根据所述多焦距的相机组合，再按照不同角度部署至少六组双目相机得到至少包括九组双目相机的多焦距不同视角的相机组合，所述不同角度包括0至180的视场角范围。
6.如权利要求5所述方法，其中，所述通过所述多焦距不同视角的相机组合，采集得到所述同一个目标的多组图像信息，包括：
通过所述至少包括九组双目相机的多焦距不同视角的相机组合，采集得到所述同一个目标的在不同视角、不同焦距下的多组图像信息。
7.一种数据标注系统，其中，系统包括：
相机标定系统，用于单独标定每组双目相机；
多视角多尺度相机采集系统，用于部署多组双目相机，得到多焦距不同视角的相机组合，所述多焦距不同视角的相机组合用于采集同一个目标，多组所述双目相机之间具有不同焦距；以及通过所述多焦距不同视角的相机组合，采集得到所述同一个目标的多组图像信息；
数据结算系统，用于根据所述同一个目标的多组图像信息，匹配真实场景中的物体；
真值系统，用于对所述多组图像信息中匹配物体，进行真值标注。
8.一种数据标注装置，其中，所述装置包括：
部署模块，用于部署多组双目相机，得到多焦距不同视角的相机组合，所述多焦距不同视角的相机组合用于采集同一个目标，多组所述双目相机之间具有不同焦距；
采集模块，用于通过所述多焦距不同视角的相机组合，采集得到所述同一个目标的多组图像信息；
标注模块，用于对所述多组图像信息进行真值标注，得到数据标注结果。
9.一种电子设备，包括：
处理器；以及
被安排成存储计算机可执行指令的存储器，所述可执行指令在被执行时使所述处理器执行所述权利要求1～6之任一所述方法。
10.一种计算机可读存储介质，所述计算机可读存储介质存储一个或多个程序，所述一个或多个程序当被包括多个应用程序的电子设备执行时，使得所述电子设备执行所述权利要求1～6之任一所述方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310096103.1A CN116258687A (zh) | 2023-01-18 | 2023-01-18 | 数据标注方法、系统、装置及电子设备、存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310096103.1A CN116258687A (zh) | 2023-01-18 | 2023-01-18 | 数据标注方法、系统、装置及电子设备、存储介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN116258687A true CN116258687A (zh) | 2023-06-13 |
Family
ID=86680383
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310096103.1A Pending CN116258687A (zh) | 2023-01-18 | 2023-01-18 | 数据标注方法、系统、装置及电子设备、存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116258687A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117784162A (zh) * | 2024-02-26 | 2024-03-29 | 安徽蔚来智驾科技有限公司 | 目标标注数据获取方法、目标跟踪方法、智能设备及介质 |
-
2023
- 2023-01-18 CN CN202310096103.1A patent/CN116258687A/zh active Pending
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117784162A (zh) * | 2024-02-26 | 2024-03-29 | 安徽蔚来智驾科技有限公司 | 目标标注数据获取方法、目标跟踪方法、智能设备及介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US8743349B2 (en) | Apparatus and method to correct image | |
| US8718326B2 (en) | System and method for extracting three-dimensional coordinates | |
| CN111522026B (zh) | 一种数据融合的方法及装置 | |
| CN111179329B (zh) | 三维目标检测方法、装置及电子设备 | |
| CN105627932A (zh) | 一种基于双目视觉的测距方法及装置 | |
| WO2022183685A1 (zh) | 目标检测方法、电子介质和计算机存储介质 | |
| WO2023035301A1 (en) | A camera calibration method | |
| JPH1047955A (ja) | 映像による距離検出方法 | |
| CN116258687A (zh) | 数据标注方法、系统、装置及电子设备、存储介质 | |
| CN110825079A (zh) | 一种地图构建方法及装置 | |
| CN113963254A (zh) | 一种融合目标识别的车载式智能巡检方法及系统 | |
| CN116012428A (zh) | 一种雷视联合定位方法、装置及存储介质 | |
| CN111105465B (zh) | 一种摄像装置校准方法、装置、系统电子设备及存储介质 | |
| US20220138971A1 (en) | Three-dimensional displacement measuring method and three-dimensional displacement measuring device | |
| CN115661014A (zh) | 一种点云数据处理方法、装置和电子设备、存储介质 | |
| CN115841519A (zh) | 一种图像采集设备的标定精度检测方法、装置及设备 | |
| CN115209000A (zh) | 用于遥感成像动态相差估计方法及系统 | |
| CN115208999A (zh) | 基于光场相机阵列的成像方法及系统 | |
| CN114627174A (zh) | 一种深度图生成系统、方法及自主移动设备 | |
| CN113014899B (zh) | 一种双目图像的视差确定方法、装置及系统 | |
| US11195305B2 (en) | Method and device for identifying stereoscopic object, and vehicle and storage medium | |
| JPH11223516A (ja) | ３次元画像撮像装置 | |
| CN116612059B (zh) | 图像处理方法及装置、电子设备、存储介质 | |
| CN114170126B (zh) | 一种点云稠密化方法、装置和电子设备 | |
| CN118037802A (zh) | 目标深度估计方法、装置及电子设备 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |