CN112419233B - 一种数据标注方法、装置、设备以及计算机可读存储介质 - Google Patents

一种数据标注方法、装置、设备以及计算机可读存储介质 Download PDF

Info

Publication number
CN112419233B
CN112419233B CN202011123312.3A CN202011123312A CN112419233B CN 112419233 B CN112419233 B CN 112419233B CN 202011123312 A CN202011123312 A CN 202011123312A CN 112419233 B CN112419233 B CN 112419233B
Authority
CN
China
Prior art keywords
frame
point cloud
cloud data
target object
detection
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202011123312.3A
Other languages
English (en)
Other versions
CN112419233A (zh
Inventor
曾一鸣
董远强
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tencent Technology Shenzhen Co Ltd
Original Assignee
Tencent Technology Shenzhen Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tencent Technology Shenzhen Co Ltd filed Critical Tencent Technology Shenzhen Co Ltd
Priority to CN202011123312.3A priority Critical patent/CN112419233B/zh
Publication of CN112419233A publication Critical patent/CN112419233A/zh
Application granted granted Critical
Publication of CN112419233B publication Critical patent/CN112419233B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Multimedia (AREA)
  • Quality & Reliability (AREA)
  • Image Analysis (AREA)

Abstract

本申请公开了一种数据标注方法、装置、设备以及计算机可读存储介质，该方法包括：当在包含目标对象的第一图像帧中，未检测到目标对象所在的第一平面检测框时，获取目标对象在第二图像帧对应的第二点云数据帧中所在的第二立体检测框；根据第二立体检测框，预测目标对象在第一点云数据帧中的第一立体检测框，第一点云数据帧与第一图像帧相对应；将第一立体检测框投影至平面空间，得到目标对象在第一图像帧中的目标平面检测框；将标注有第一立体检测框的第一点云数据帧、标注有目标平面检测框的第一图像帧，确定为目标对象的关联标注信息。采用本申请，可提高目标对象的关联标注信息的完备性。

Description

一种数据标注方法、装置、设备以及计算机可读存储介质
技术领域
本申请涉及数据标注的技术领域，尤其涉及一种数据标注方法、装置、设备以及计算机可读存储介质。
背景技术
随着计算机网络的不断发展，人工智能相关技术在日常生活中越发普遍。例如，在很多生活场景中，都涉及到人工智能中的机器学习，该机器学习可以理解为是对模型进行训练，而对模型进行训练就需要先获取到对模型进行训练的样本数据。
其中，可以采用二维-三维关联标注的样本数据，对位置检测模型进行训练，训练完成的位置检测模型可以用于识别无人驾驶汽车行驶道路中障碍物体的空间位置。其中，二维-三维关联标注的样本数据，即为标注有检测对象在二维图像中所在的位置框、且同时标注有该检测对象在三维图像中所在的位置框的样本数据。
现有技术中，在获取多个二维-三维关联标注的样本数据时，通过识别检测对象在对每个样本数据中的位置，进而可以根据检测出的检测对象在每个样本数据中的对象位置，对每个样本数据中的检测对象进行二维-三维关联标注。此种标注方式下，当对某个样本数据中的检测对象的位置识别失败，导致对该样本数据中的检测对象的二维-三维关联标注失败时，则该个样本数据中检测对象的二维-三维关联标注信息就会缺失。
发明内容
本申请提供了一种数据标注方法、装置、设备以及计算机可读存储介质，可提高目标对象的关联标注信息的完备性。
本申请一方面提供了一种数据标注方法，包括：
当在包含目标对象的第一图像帧中，未检测到目标对象所在的第一平面检测框时，获取目标对象在第二图像帧对应的第二点云数据帧中所在的第二立体检测框；
根据第二立体检测框，预测目标对象在第一点云数据帧中的第一立体检测框，第一点云数据帧与第一图像帧相对应；
将第一立体检测框投影至平面空间，得到目标对象在第一图像帧中的目标平面检测框；
将标注有第一立体检测框的第一点云数据帧、标注有目标平面检测框的第一图像帧，确定为目标对象的关联标注信息。
本申请一方面提供了一种数据标注装置，包括：
第一历史框获取模块，用于当在包含目标对象的第一图像帧中，未检测到目标对象所在的第一平面检测框时，获取目标对象在第二图像帧对应的第二点云数据帧中所在的第二立体检测框；
立体框预测模块，用于根据第二立体检测框，预测目标对象在第一点云数据帧中的第一立体检测框，第一点云数据帧与第一图像帧相对应；
平面框预测模块，用于将第一立体检测框投影至平面空间，得到目标对象在第一图像帧中的目标平面检测框；
标注信息确定模块，用于将标注有第一立体检测框的第一点云数据帧、标注有目标平面检测框的第一图像帧，确定为目标对象的关联标注信息。
其中，第一图像帧与第二图像帧构成连续图像帧；
立体框预测模块，包括：
先后关系确定单元，用于根据至少两个第二点云数据帧之间的先后关系，确定至少两个第二点云数据帧所对应的至少两个第二立体检测框之间的先后关系；每个第二点云数据帧均分别对应有一个第二立体检测框；
规律确定单元，用于根据至少两个第二立体检测框之间的先后关系，确定至少两个第二立体检测框的框中心位置之间的位置变化规律、以及至少两个第二立体检测框的框尺寸之间的尺寸变化规律；
立体框预测单元，用于根据位置变化规律和尺寸变化规律，确定第一立体检测框的框中心位置和第一立体检测框的框尺寸。
其中，平面框预测模块，包括：
坐标变换单元，用于将第一立体检测框处于立体空间中的框立体坐标信息，变换至处于平面空间中的框平面坐标信息；
平面框生成单元，用于根据框平面坐标信息，在第一图像帧中，生成目标平面检测框，目标对象位于目标平面检测框内。
其中，上述装置还包括：
向量获取模块，用于获取第二图像帧的图像特征向量；
历史框检测模块，用于基于图像特征向量，在第二图像帧中检测目标对象所在的第二平面检测框；
第二历史框获取模块，用于基于第二平面检测框，获取目标对象在第二点云数据帧中的第二立体检测框。
其中，第二历史框获取模块，包括：
对象视锥获取单元，用于将第二平面检测框投影至立体空间，得到目标对象在立体空间中的对象视锥；对象视锥为目标对象在立体空间中的虚拟立体视野；
第二框确定单元，用于根据对象视锥，确定第二立体检测框。
其中，对象视锥获取单元，包括：
视锥获取子单元，用于将第二平面检测框投影至立体空间，得到初始视锥；
距离获取子单元，用于获取立体空间中的第一视野距离和第二视野距离；第二视野距离大于第一视野距离；
平面确定子单元，用于根据第一视野距离确定针对初始视锥的第一切割平面，根据第二视频距离确定针对初始视锥的第二切割平面；
切割子单元，用于根据第一切割平面和第二切割平面，对初始视锥进行切割，得到对象视锥。
其中，第二框确定单元，包括：
点云数据确定子单元，用于将第二点云数据帧中对象视锥所包含的点云数据，确定为待分割点云数据；
点云数据分类子单元，用于对待分割点云数据进行点云分类，根据分类结果，从待分割点云数据中，分割出目标对象所对应的点云数据；
立体框生成子单元，用于根据目标对象所对应的点云数据，生成第二立体检测框，目标对象位于第二立体检测框内。
其中，立体框生成子单元，包括：
质心获取子单元，用于获取目标对象所对应的点云数据的数据质心；
空间位置获取子单元，用于获取目标对象所对应的点云数据在目标坐标系中的空间位置信息；目标坐标系为坐标原点为数据质心的空间坐标系；
外接框生成子单元，用于根据空间位置信息，生成第二立体检测框。
其中，上述装置还包括：
样本数据确定模块，用于将关联标注信息、标注有第二立体检测框的第二点云数据帧以及标注有第二平面检测框的第二图像帧，确定为初始位置检测模型的模型样本数据；
模型训练模块，用于基于模型样本数据，训练初始位置检测模型，得到位置检测模型；位置检测模型用于为无人驾驶车辆识别行驶道路中的障碍物的空间位置。
本申请一方面提供了一种计算机设备，包括存储器和处理器，存储器存储有计算机程序，计算机程序被处理器执行时，使得处理器执行本申请中一方面中的方法。
本申请一方面提供了一种计算机可读存储介质，该计算机可读存储介质存储有计算机程序，该计算机程序包括程序指令，该程序指令被处理器执行时使该处理器执行上述一方面中的方法。
根据本申请的一个方面，提供了一种计算机程序产品或计算机程序，该计算机程序产品或计算机程序包括计算机指令，该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令，处理器执行该计算机指令，使得该计算机设备执行上述一方面等各种可选方式中提供的方法。
本申请当在包含目标对象的第一图像帧中，未检测到目标对象所在的第一平面检测框时，获取目标对象在第二图像帧对应的第二点云数据帧中所在的第二立体检测框；根据第二立体检测框，预测目标对象在第一点云数据帧中的第一立体检测框，第一点云数据帧与第一图像帧相对应；将第一立体检测框投影至平面空间，得到目标对象在第一图像帧中的目标平面检测框；将标注有第一立体检测框的第一点云数据帧、标注有目标平面检测框的第一图像帧，确定为目标对象的关联标注信息。由此可见，本申请提出的方法，当未获取到第一平面检测框，可以根据第二立体检测框，来预测得到第一立体检测框和目标平面检测框。进而可以将标注有第一立体检测框的第一点云数据帧、以及标注有目标平面检测框的第一图像帧，作为目标对象的关联标注信息，因此提高了目标对象的关联标注信息的完备性。
附图说明
为了更清楚地说明本申请或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本申请实施例提供的一种网络架构的结构示意图；
图2是本申请提供的一种数据标注方法的场景示意图；
图3是本申请提供的一种数据标注方法的流程示意图；
图4是本申请提供的一种获取第一立体检测框的场景示意图；
图5是本申请提供的一种关联标注的场景示意图；
图6是本申请提供的一种坐标变换的场景示意图；
图7是本申请提供的一种数据标注的场景示意图；
图8是本申请提供的一种模型应用的场景示意图；
图9是本申请提供的一种数据标注装置的结构示意图；
图10是本申请提供的一种计算机设备的结构示意图。
具体实施方式
下面将结合本申请中的附图，对本申请中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
本申请涉及到人工智能(Artificial Intelligence,AI)相关技术。其中，人工智能是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能，感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用系统。换句话说，人工智能是计算机科学的一个综合技术，它企图了解智能的实质，并生产出一种新的能以人类智能相似的方式做出反应的智能机器。人工智能也就是研究各种智能机器的设计原理与实现方法，使机器具有感知、推理与决策的功能。
人工智能技术是一门综合学科，涉及领域广泛，既有硬件层面的技术也有软件层面的技术。人工智能基础技术一般包括如传感器、专用人工智能芯片、云计算、分布式存储、大数据处理技术、操作/交互系统、机电一体化等技术。人工智能软件技术主要包括计算机视觉技术、语音处理技术、自然语言处理技术以及机器学习/深度学习等几大方向。
其中，本申请具体涉及到人工智能技术中的计算机视觉技术(Computer Vision,CV)。计算机视觉是一门研究如何使机器“看”的科学，更进一步的说，就是指用摄影机和电脑代替人眼对目标进行识别、跟踪和测量等机器视觉，并进一步做图形处理，使电脑处理成为更适合人眼观察或传送给仪器检测的图像。作为一个科学学科，计算机视觉研究相关的理论和技术，试图建立能够从图像或者多维数据中获取信息的人工智能系统。计算机视觉技术通常包括图像处理、图像识别、图像语义理解、图像检索、OCR、视频处理、视频语义理解、视频内容/行为识别、三维物体重建、3D技术、虚拟现实、增强现实、同步定位与地图构建等技术，还包括常见的人脸识别、指纹识别等生物特征识别技术。
而本申请主要涉及到了通过计算机视觉技术，识别出目标对象在二维的图像帧中所在的位置、以及目标对象在三维的点云数据帧中所在的位置，具体可以参见下述图3对应的实施例中的描述。
请参见图1，图1是本申请实施例提供的一种网络架构的结构示意图。如图1所示，网络架构可以包括服务器200和摄像设备集群，摄像设备集群可以包括一个或者多个摄像设备，这里将不对摄像设备的数量进行限制。如图1所示，多个摄像设备具体可以包括摄像设备100a、摄像设备101a、摄像设备102a、…、摄像设备103a；如图1所示，摄像设备100a、摄像设备101a、摄像设备102a、…、摄像设备103a均可以与服务器200进行网络连接，以便于每个摄像设备可以通过网络连接与服务器200之间进行数据交互。
如图1所示的服务器200可以是独立的物理服务器，也可以是多个物理服务器构成的服务器集群或者分布式系统，还可以是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、CDN、以及大数据和人工智能平台等基础云计算服务的云服务器。终端设备可以是：智能手机、平板电脑、笔记本电脑、桌上型电脑、智能电视等智能终端。下面以摄像设备100a与服务器200之间的通信为例，进行本申请实施例的具体描述。
请一并参见图2，图2是本申请提供的一种数据标注方法的场景示意图。其中，上述摄像设备100a可以是行驶的车辆中所搭载的车载设备，在车辆行驶过程中，摄像设备100a可以对行驶道路中的场景进行连续拍摄，即可得到连续的多个图像帧。并且，摄像设备100a中还配置有激光雷达，摄像设备100a在拍摄得到多个连续的图像帧的同时，还可以通过激光雷达，对每个图像帧对应的视野中的场景进行激光扫描，得到每个图像帧对应的点云数据帧。其中，图像帧为平面的图像，点云数据帧为立体的图像，对图像帧以及图像帧对应的点云数据帧的具体解释，还可以参见下述步骤S101。
因此，摄像设备100a在获取到多个连续的图像帧以及该多个图像帧对应的点云数据帧之后，可以将该多个连续的图像帧以及该多个图像帧对应的点云数据帧发送给服务器200。服务器200在获取到该多个连续的图像帧以及该多个图像帧对应的点云数据帧之后，可以对该多个连续的图像帧以及该多个图像帧对应的点云数据帧进行二维(2d)-三维(3d)关联标注。
其中，图像帧和点云数据帧中都可以包括目标对象，该目标对象指图像帧和点云数据帧中需要检测的对象。因此，对图像帧以及该图像帧对应的点云数据帧进行2d-3d关联标注是指，在图像帧中标注出目标对象所在的2d平面外接框，在点云数据帧中标注出目标对象所在的3d立体外接框。
其中，可以将一个图像帧以及该图像帧对应的一个点云数据帧，统称为一个数据帧。因此，服务器200获取到的多个连续的图像帧以及该多个图像帧对应的点云数据帧，即可以称之为服务器200获取到的多个连续的数据帧。服务器200可以根据该多个连续的数据帧的先后顺序，依次对该多个数据帧进行2d-3d关联标注。
可以将服务器200当前正在标注的数据帧，称之为当前数据帧，可以将服务器200标注完成的该当前数据帧之前的数据帧，称之为当前数据帧的历史数据帧。
因此，当服务器200对当前数据帧中的目标对象(包括当前数据帧的图像帧中的目标对象以及当前数据帧的点云数据帧中的目标对象)检测失败，导致对当前数据帧进行2d-3d关联标注失败时，服务器200可以通过历史数据帧来对当前数据帧进行预测标注。换句话说，当服务器200对当前数据帧进行2d-3d关联标注失败时，服务器200可以通过历史数据帧，来对当前数据帧进行2d-3d关联标注，请参见下述。
如图2所示，假设对各个历史数据帧标注得到的目标对象所在的立体外接框，包括立体外接框101b、立体外接框103b、……以及立体外接框105b。
因此，服务器200可以获取到立体外接框101b的框中心位置102b、立体外接框103b的框中心位置104b、……以及立体外接框105b的框中心位置106b之间的位置变化规律100b，进而服务器200就可以通过该位置变化规律100b，预测得到一个框中心位置108b。服务器200还可以获取到立体外接框101b的框尺寸、立体外接框103b的框尺寸、……以及立体外接框105b的框尺寸之间的尺寸变化规律115b，进而服务器200通过该尺寸变化规律115b可以预测得到一个框尺寸。
因此，服务器200可以通过预测得到的框中心位置108b以及预测得到的框尺寸，得到预测的立体外接框107b。其中，预测得到框中心位置108b以及预测得到框尺寸的原理，可以参见下述图3对应的实施例中的描述。预测得到的立体外接框107b，即为服务器200通过上述立体外接框101b、立体外接框103b、……以及立体外接框105b，预测得到的目标对象在当前数据帧的点云数据帧中所在的立体外接框。
服务器200在得到立体框外接框107b之后，可以将该预测立体框108b投影至平面空间，即可得到预测的目标对象在当前数据帧的图像帧中所在的平面外接框109b。
因此，服务器200可以通过预测得到的立体外接框108b，对当前数据帧中的点云数据帧110b进行标注，并可以通过预测得到的平面外接框109b，对当前数据帧中的图像帧112b进行标注。从而，服务器200即可得到当前数据帧的关联标注信息114b。该关联标注信息114b包括标注有立体外接框108b的点云数据帧110b、以及标注有平面外接框109b的图像帧112b。
通过本申请所提供的方法，即使服务器200对当前数据帧进行2d-3d关联标注失败，服务器200也可以通过对当前数据帧的历史数据帧进行2d-3d关联标注的标注结果，来对当前数据帧进行标注，因此，提高了对数据帧进行标注所得到的关联标注信息的完备性。
请参见图3，图3是本申请提供的一种数据标注方法的流程示意图，如图3所示，该方法可以包括：
步骤S101，当在包含目标对象的第一图像帧中，未检测到目标对象所在的第一平面检测框时，获取目标对象在第二图像帧对应的第二点云数据帧中所在的第二立体检测框；
具体的，本申请实施例中的执行主体可以是任意一个计算机设备或者多个计算机设备构成的计算机集群。其中，该计算机设备可以是终端设备，也可以是服务器，具体可以根据实际应用场景决定。此处，以本申请实施例中的执行主体为服务器为例进行说明。
首先，服务器可以获取到多个(至少两个)连续的图像帧，并且，服务器在获取该多个图像帧的同时，还可以获取到该多个图像帧中每个图像帧分别对应的点云数据帧。其中，一个图像帧为一个二维(2d)的平面图像，一个图像帧可以对应有一个点云数据帧，一个点云数据帧可以理解为是一个三维(3d)的立体图像。可以理解的是，由于该多个图像帧之间的连续的，因此该多个图像帧对应的多个点云数据帧也是相互连续的。其中，多个图像帧之间是相互连续的，即为该多个图像帧是根据时间轴的先后次序依次采集到的。
其中，由于图像帧为平面的图像，点云数据帧为立体的图像，因此，可以理解为图像帧中包含了若干个2d的像素点，点云数据帧中包括了若干个3d的像素点。实际上，一个点云数据帧是由若干个点云数据所构成的，点云数据帧中的一个点云数据就可以理解为是点云数据帧中的一个3d的像素点。
更多的，由于图像帧是平面的图像，因此，一个图像帧只能看到一个视野下的图像画面。而由于点云数据帧是立体的图像，因此，对于一个点云数据帧而言，可以从各个不同的视野看到该点云数据帧不同的图像画面。
其中，服务器获取到的多个连续的图像帧以及该多个连续的图像帧对应的点云数据帧，可以是任意的摄像设备同步给服务器的。该摄像设备中可以存在摄像头(例如相机)以及激光雷达。摄像设备可以对摄像视野下的场景进行拍摄，即可得到该摄像视野对应的图像帧。其中，摄像设备可以是在运动状态中的，因此，随着摄像设备的运动，摄像设备的摄像视野也会发生变化。因此，摄像设备可以在运动过程中，持续地对每个时刻的摄像视野下的场景进行拍摄，即可得到多个连续的图像帧。其中，每隔0.1秒(也可以是其他间隔时间)可以为一个时刻。
其中，摄像设备在对每个时刻的摄像视野下的场景进行拍摄得到多个图像帧的同时，还可以使用激光雷达对每个时刻的摄像视野下的场景进行激光扫描，即可得到该多个图像帧对应的多个点云数据帧。换句话说，摄像设备在拍摄得到一个图像帧的同时，也会通过激光雷达扫描得到该图像帧对应的点云数据帧。图像帧中包括了对应摄像视野下的场景的平面画面信息，而点云数据帧中包括了对应摄像视野下的场景的空间画面信息。
例如，该摄像设备可以是车辆，车辆中可以搭载有摄像头和激光雷达。车辆在行驶过程中，所搭载的摄像头的摄像视野也会不断变化，因此，车辆在行驶过程中，可以对摄像头每个时刻的摄像视野下的场景进行拍摄、以及通过激光雷达进行扫描，即可同步得到多个图像帧、以及每个图像帧分别对应的点云数据帧。进而，车辆可以将在行驶过程中所获取到的多个图像帧、以及每个图像帧对应的点云数据帧发送给服务器。
其中，可以将一个图像帧以及该图像帧对应的点云数据帧，统称为一个数据帧。服务器在获取到多个数据帧(包括多个图像帧以及该多个图像帧对应的多个点云数据帧)之后，可以对每个数据帧进行2d-3d联合标注。其中，对每个数据帧进行2d-3d联合标注是指，可以对数据帧中2d的图像帧以及3d的点云数据帧同步进行标注，请参见下述。
由于服务器获取到的多个数据帧是连续的，因此，服务器可以根据每个数据帧的位置先后顺序，依次对该多个数据帧进行2d-3d联合标注，可以在对前一帧的数据帧标注完成后，在继续对后一帧的数据帧进行标注。下面，描述服务器对该多个数据帧进行2d-3d联合标注的过程。
其中，可以将服务器正在标注的数据帧称之为当前数据帧。可以将该当前数据帧所包含的图像帧，称之为第一图像帧，可以将该当前数据帧所包含的点云数据帧，称之为第一点云数据帧。可以将对当前数据帧进行标注之前，服务器标注完成的该当前数据帧之前的数据帧，称之为历史数据帧。可以将历史数据帧所包含的图像帧，称之为第二图像帧，可以将历史数据帧所包含的点云数据帧，称之为第二点云数据帧。可以理解的是，第二图像帧与第一图像帧之间可以为连续的图像帧(例如第二图像帧可以包括第1个图像帧、第2个图像帧和第3个图像帧，第一图像帧就可以为第4个图像帧)，第二点云数据帧与第一点云数据帧之间也可以是相互连续的点云数据帧。实际上，第二图像帧和第一图像帧之间还可以是间隔连续的图像帧，例如，第二图像帧可以包括采集到的第1个图像帧、第3个图像帧和第5个图像帧，第一图像帧就可以为采集到的第7个图像帧。
其中，服务器获取到的多个数据帧中的每个图像帧以及每个点云数据帧中，均可以包括目标对象，因此，可以理解为的是，对数据帧进行2d-3d联合标注，也就是在该数据帧所包含的2d图像帧中标注目标价检测对象所在的平面外接框，并在该数据帧所包含的3d点云数据帧中标注目标对象所在的立体外接框。
例如，若图像帧是对车辆行驶过程中的行驶道路进行拍摄得到，那么该图像帧以及该图像帧对应的点云数据帧中的目标对象，可以是该行驶道路中被拍摄到以及被激光扫描到的其他车辆。
其中，服务器可以对第一图像帧中的目标对象的位置进行识别检测。例如，服务器可以通过一个训练好的图像识别模型，对第一图像帧中的目标对象的位置进行检测识别，以得到目标对象在第一图像帧中所在的平面外接框。
其中，可以将服务器通过对第一图像帧中的目标对象进行位置识别检测，以得到的目标对象在第一图像帧所在的平面外接框，称之为第一平面检测框，若服务器未在第一图像帧中检测到目标对象，即未在第一图像帧中获取到目标对象所在的第一平面检测框时，服务器就需要根据当前数据帧的历史数据帧，来预测目标对象在当前数据帧中所在的平面外接框和立体外接框。
其中，由于若服务器在第一图像帧中获取到了目标对象所在的第一平面检测框，则服务器就可以通过所获取到的目标对象在第一图像帧中所在的第一平面检测框，进一步结合上第一点云数据帧，得到目标对象在第一点云数据帧中所在的立体外接框。因此，若服务器没有获取到目标对象在第一图像帧中的第一平面检测框，那么可以理解的是，服务器也获取不到目标对象在第一点云数据帧中的立体外接框。其中，服务器结合第一平面检测框和第一点云数据帧，以得到目标对象在第一点云数据帧所在的立体外接框的过程，与下述服务器通过第二平面检测框以及第二点云数据帧，获取目标对象在第二点云数据帧中所在的立体外接框的过程相同，请参见下述。
其中，可以将通过结合第一平面检测框和第一点云数据帧，得到的目标对象在第一点云数据帧中所在的立体外接框，称之为当前立体检测框。其中，若第一平面检测框和当前立体检测框中任意一者丢失漏检，那么另一者也是丢失漏检的。其中，服务器没有在第一图像帧中检测到目标对象所在的第一平面检测框时，则表明该第一平面检测框是丢失漏检的。同样，服务器没有在第一点云数据帧中检测到目标对象所在的当前立体检测框时，则表明该当前立体检测框也是漏检的。换句话说，第一平面检测框和当前立体检测框肯定是同时漏检或者同时存在的。
其中，服务器对当前立体检测框以及第一平面检测框漏检的情况可以是：当目标对象是行驶道路中正在行驶的车辆，那么，当目标对象行驶到离摄像设备较远的位置时，此时获取到的第一图像帧以及第一点云数据帧中，目标对象就很小，因此，此种情况下，服务器就很有可能在此时获取到的第一图像帧中检测不到目标对象所在的第一平面检测框，从而服务器在此时获取到的第一点云数据帧中也检测不到目标对象所在的当前立体检测框。换句话说，当目标对象驶离摄像设备太远时，服务器在当前获取到的图像帧和点云数据帧中就很大可能检测不到目标对象。
其中，可以将服务器在第二点云数据帧中所标注的目标对象所在的立体外接框，称之为第二立体检测框。可以将服务器在第二图像帧中所标注的目标对象所在的平面外接框，称之为第二平面检测框。其中，服务器如何获第二立体检测框以及第二平面检测框的具体过程，可以参见下述。
因此，若服务器没有在第一图像帧中获取到目标对象所在的第一平面检测框、并且没有在第一点云数据帧中获取到目标对象所在的当前立体检测框时，服务器就可以通过第二点云数据帧中所标注的目标对象所在的第二立体检测框，来预测得到目标对象在第一点云数据帧中所在的立体外接框，进而通过该立体外接框可以进一步地预测得到目标对象在第一图像帧中所在的平面外接框。
其中，可以将通过第二立体检测框，来预测得到的目标对象在第一点云数据帧中所在的立体外接框，称之为第一立体检测框，可以将通过第一立体检测框所预测得到的目标对象在第一图像帧中所在的平面外接框，称之为目标平面检测框。进而可以将该第一立体检测框充当填补为目标对象的当前立体检测框，将该目标平面检测框充当填补为目标对象的当前平面立体检测框。
因此，若服务器没有在第一图像帧中获取到第一平面检测框、并且没有在第一点云数据帧中获取到当前立体检测框，则首先服务器可以获取目标对象在第二点云数据帧中的第二立体检测框。
此处，具体说明服务器如何获取第二立体检测框以及第二平面检测框的过程：
首先，服务器可以通过图像识别模型识别目标对象在第二图像帧中所在的平面外接框，该平面外接框也就是目标对象在第二图像帧中所在的第二平面检测框。该第二平面检测框可以是矩形的检测框，因此，该第二平面检测框可以是在第二图像帧中包括目标对象的最小的矩形外接框。其中，该图像识别模型可以是预先训练好的，可以用于识别图像帧中的目标对象所在位置的模型。其中，图像识别模型可以是基于Yolo v1-v3算法(一种基于深度神经网络的对象识别和定位算法)的网络、RetinaNet网络(一种目标检测网络)、CenterNet网络(一种目标检测网络)或者EfficientNet网络(一种图像分类模型)等。
其中，服务器通过图像识别模型识别目标对象在第二图像帧中所在的第二平面检测框的过程可以是：服务器可以通过图像识别模型提取第二图像帧的图像特征，服务器提取得到的第二图像帧的图像特征可以是一个图像特征向量。进而服务器可以通过图像识别模型中的分类器对该图像特征向量进行特征分类，即可识别出第二图像帧中的目标对象，并可以分割出目标对象在第二图像帧中所在的第二平面检测框。
服务器在获取到目标对象在第二图像帧中所在的第二平面检测框之后，就可以将该第二平面检测框从二维空间投影至三维空间。其中，二维空间也可以称之为2d空间或者平面空间，三维空间也可以称之为3d空间或者立体空间。
其中，由于第二平面检测框中包括了第二图像帧中多个像素点，该多个像素点也就是第二图像帧中，被第二平面检测框所框住的图像所包含的像素点。因此，服务器将第二平面检测框投影至立体空间，也就是将第二平面检测框中所包括的每个像素点，从平面空间投影至立体空间。而将每个像素点从平面空间投影至立体空间，也就是指将每个像素点的像素点坐标从二维坐标系，变换为三维坐标系。其中，二维坐标系也可以称之为平面坐标系，三维坐标系也可以称之为空间坐标系。
其中，将第二平面检测框从平面空间投影至立体空间的原理可以参见下述公式(1)：
Figure BDA0002732774360000141
其中，(u,v)可以为第二平面检测框所包含的任意一个像素点在平面坐标系下的坐标，(u0,v0)为在该平面坐标系中的原点坐标。(x,y,z)为将(u,v)投影至立体空间后在空间坐标系下的坐标。fx为摄像设备在拍摄得到第二图像帧时，摄像设备中的相机在平面坐标系的x轴方向的焦距。fy为摄像设备在拍摄得到第二图像帧时，摄像设备中的相机在平面坐标系的y轴方向的焦距。Rc2l为平面坐标系到空间坐标系的旋转变换，Tc2l为平面坐标系到空间坐标系的平移变换。其中，由于立体空间的点云数据是通过激光雷达扫描得到，因此也可以将该空间坐标系称之为激光坐标系。其中，旋转变换Rc2l和平移变换Tc2l，可以通过摄像设备中相机的内参(即相机被设置的基础参数，如焦距等)以及相机到激光雷达的外参(即相机到激光雷达的基础参数)得到。
由上述公式(1)可知，在将第二平面检测框投影至立体空间的过程中，投影得到的坐标(x,y,z)中，坐标z(深度)是未知的。因为，在将第二平面检测框投影至立体空间后，第二平面检测框所包含的每个像素点的坐标z都是未知的。换句话说，在将第二平面检测框投影至立体空间后，第二平面检测框所包含的每个像素点的坐标z可以是任意的值，因此，在立体空间中，第二平面检测框所包含的每个像素点都对应于一条射线。因此，第二平面检测框的4个框顶点在立体空间中，也分别对应于一条射线。
其中，可以将第二平面检测框的4个框顶点在立体空间中的4条射线所构成的视锥，称之为初始视锥。其中，视锥也称视景体和平截头体，视锥是在立体空间中虚拟摄像机的视野，因此，可以将视锥理解为是立体空间中的虚拟立体视野。
服务器可以获取在立体空间中的第一视野距离，以及第二视野距离。该第一视野距离和第二视野距离不相等，该第二视野距离可以大于第一视野距离。该第一视野距离和第二视野距离可以自行设定，或者该第一视野距离可以等于摄像设备的相机最小的视野距离，第二视野距离可以等于摄像设备的相机最大的视野距离。
因此，服务器可以根据第一视野距离，得到针对初始视锥的一个视锥平面，可以将该视锥平面称之为第一切割平面。服务器可以根据第二视野距离，得到针对初始视锥的另一个视锥平面，可以将该视锥平面称之为第二切割平面。
服务器可以通过该第一切割平面(近平面)和第二切割平面(远平面)，对初始视锥进行切割，得到一个切割后的视锥，可以将该切割后的视锥称之为目标对象在立体空间中的对象视锥。该对象视锥可以理解为是目标对象在立体空间中的虚拟立体视野。
上述第二点云数据帧和对象视锥均处于立体空间，该对象视锥可以是在历史点云数据中的视锥，可以将历史点云数据中对象视锥所包含的点云数据，称之为待分割点云数据。服务器可以通过点云数据分类模型对所有待分割点云数据进行分类，以从待分割点云数据中分类出目标对象所包含的点云数据。
其中，该点云数据分类模型可以是预先通过各种对象的点云数据进行训练，因此能够识别出各种对象所包含的点云数据的模型。其中，可以通过深度学习的方法来训练得到点云数据分类模型。该点云数据分类模型可以是PointNet网络(一种点云网络)、PointNet++网络(一种点云网络)、PointConv网络(一种点云数据)、PointCNN网络(一种点云网络)或者PointSIFT网络(一种点云网络)等。
服务器在得到第二点云数据帧中目标对象所属的点云数据之后，可以根据该目标对象所属的点云数据，来生成目标对象在第二点云数据帧中所在的立体外接框，该立体外接框也就是第二立体检测框。
其中，服务器根据目标对象所属的点云数据，来生成目标对象在第二点云数据帧中所在的第二立体检测框的过程可以是：首先，服务器可以对目标对象所属的点云数据进行归一化，进而得到目标对象所属的点云数据的质心(物质的质量中心)，可以将该质心称之为数据质心。其中，可以通过T-Net网络(一种回归网络)对目标对象所属的点云数据进行回归，以得到目标对象所属的点云数据对应的质心。
进而服务器可以将数据质心作为原点的空间坐标系，作为目标坐标系，服务器可以将目标对象所属的点云数据在当前的激光坐标系下的空间坐标，变换至目标坐标系下的空间坐标。可以将目标对象所属的点云数据在目标坐标系下的空间坐标，称之为目标对象所属的点云数据在目标坐标系中的空间位置信息。服务器可以通过该空间位置信息，即可生成目标对象在第二点云数据帧中所在的立体外接框，可以将该立体外接框称之为对象立体外接框，该对象立体外接框也就是目标对象在历史点云数据中所在的第二立体检测框。该对象立体外接框可以是第二点云数据帧中，包括目标对象所属的全部点云数据的最小外接长方体。
请参见图4，图4是本申请提供的一种获取第一立体检测框的场景示意图。如图4所示，假设将上述第二平面检测框投影至立体空间，所得到的初始视锥为初始视锥100c。服务器可以通过第一视野距离101c得到针对初始视锥100c的第一切割平面103c，并通过第二视野距离102c得到针对初始视锥100c的第二切割平面104c。
进而，服务器可以通过第一切割平面103c和第二切割平面104c，对初始视锥100c进行切割，即可得到对象视锥104c。由于对象视锥104c中包括了若干待分割点云数据108c，因此，服务器可以通过点云数据分类模型，对待分割点云数据108c进行分割，即可得到目标对象所属的点云数据105c、以及背景所属的点云数据106c，该背景所属的点云数据106c也就是待分割点云数据108c中不属于目标对象的点云数据。
因此，服务器可以将点云数据106c丢弃，而通过点云数据105c来生成目标对象的第二立体检测框107c。
请参见图5，图5是本申请提供的一种关联标注的场景示意图。图像帧100d为一个第二图像帧，点云数据帧103d为第二图像帧100d对应的第二点云数据帧。第二图像帧100d包括若干个2d的像素点，第二点云数据帧103d中包括若干个3d的点云数据(3d像素点)。
首先，服务器可以通过图像识别模型，检测出目标对象106d所在的第二平面检测框101d、以及目标对象107d所在的第二平面检测框102d。
服务器可以将上述第二平面检测框101d投影至立体空间，即可得到目标对象106d所在的第二立体检测框104d。同理，服务器将上述第二平面检测框102d投影至立体空间，即可得到目标对象107d所在的第二立体检测框105d。
通过上述过程，即获取到了目标对象在第二点云数据帧中所在的第二立体检测框，进而服务器可以通过该第二立体检测框，来得到目标对象在第一点云数据帧中的第一立体检测框、以及在第一图像帧中的目标平面检测框。
其中，可以理解的是，若服务器从第一图像帧中获取到了目标对象所在的第一平面检测框、并从第一点云数据帧中获取到了目标对象所在的当前立体检测框，则服务器从第一图像帧中获取目标对象所在的第一平面检测框的原理，与服务器从第二图像帧中获取获取目标对象所在的第二平面检测框的原理相同，服务器从第一点云数据帧中获取目标对象所在的当前立体检测框的原理，也与服务器从第二点云数据帧中获取目标对象所在的第二立体检测框的原理相同。
而若服务器未从第一图像帧中获取到目标对象所在的第一平面检测框、并未从第一点云数据帧中获取到目标对象所在的当前立体检测框，则服务器就需要通过目标对象在第二点云数据帧中所在的第二立体检测框，来预测得到目标对象在第一点云数据帧中所在的第一立体检测框、以及目标对象在第一图像帧中所在的目标平面检测框。
更多的，服务器可以通过目标跟踪器，来对包括目标对象的多个连续的数据帧进行跟踪，该目标跟踪器可以基于概率推断的方式实现，也可以基于确定性优化的方式实现。通过使用该目标跟踪器对包括目标对象的多个连续的数据帧进行跟踪，可以得到数据帧轨迹，该数据帧轨迹中就包括目标对象的多个连续的数据帧。
因此，当服务器未在第一图像帧中获取到目标对象所在的第一平面检测框、并且未在第一点云数据帧中获取到目标对象所在的当前立体检测框时，服务器就可以检测目标跟踪器跟踪到的数据帧轨迹，并从该数据帧轨迹中获取到第二点云数据帧，进而服务器就可以获取到该第二点云数据帧中的第二立体检测框。
步骤S102，根据第二立体检测框，预测目标对象在第一点云数据帧中的第一立体检测框，第一点云数据帧与第一图像帧相对应；
具体的，该第二立体检测框可以有多个(至少两个)，每个第二立体检测框均可以包括一个框中心位置以及框尺寸。该框中心位置信息，可以是所属的第二立体检测框所属的质心的位置。该框尺寸信息，可以指所属的第二立体检测框的长、宽、高等尺寸信息。
服务器可以根据各个第二立体检测框的框中心位置，预测得到一个框中心位置。服务器还可以根据各个第二立体检测框的框尺寸，预测得到一个框尺寸。进而服务器就可以根据预测得到的框尺寸以及预测得到的框中心位置，得到第一立体检测框。
其中，服务器根据各个第二立体检测框的框中心位置，预测得到一个框中心位置的过程可以是：由于各个第二点云数据帧之前也是相互连续的，一个第二点云数据帧具有一个第二立体检测框。因此，服务器可以根据各个第二点云数据帧的位置先后关系，来得到各个第二立体检测框之间的位置先后关系。
实际上，各个第二点云数据帧的先后关系，也就是各个第二立体检测框之间的先后关系。各个第二点云数据帧的先后关系，即为各个第二点云数据帧的获取时间的时间先后关系。
服务器可以根据各个第二立体检测框之间的先后关系，得到多个第二立体检测框分别所属的框中心位置之间的位置变化规律，进而服务器可以根据该位置变化规律，来预测得到一个框中心位置。
例如，若存在第二立体检测框1、第二立体检测框2和第二立体检测框3，该第二立体检测框1、第二立体检测框2和第二立体检测框3之间的先后关系，也依次为第二立体检测框1、第二立体检测框2和第二立体检测框3。第二立体检测框1的框中心位置为第二立体检测框1所属的质心的坐标(1，2，3)，第二立体检测框2的框中心位置为第二立体检测框2所属的质心的坐标(2，3，4)，第二立体检测框3的框中心位置为第二立体检测框3所属的质心的坐标(3，4，5)。
则第二立体检测框1、第二立体检测框2和第二立体检测框3所属的各个框中心位置之间的位置变化规律可以包括，第二立体检测框1对应的坐标(1，2，3)到第二立体检测框2对应的坐标(2，3，4)到第二立体检测框3对应的坐标(3，4，5)，第一个坐标值(包括(1，2，3)中的1、(2，3，4)中的2以及(3，4，5)中的3)之间的差值都为1(可以理解为是等差为1的递增等差的变化规律)，第二个坐标值(包括(1，2，3)中的2、(2，3，4)中的3以及(3，4，5)中的4)之间的差值也都为1(也可以理解为是等差为1的递增等差的变化规律)，第三个坐标值(包括(1，2，3)中的3、(2，3，4)中的4以及(3，4，5)中的5)之间的差值也都为1(也可以理解为是等差为1的递增等差的变化规律)。因此，预测的框中心位置可以为，将第二立体检测框3对应的坐标(3，4，5)中的各个坐标值加1后，所得到的坐标(4，5，6)。
同理，服务器还可以根据各个第二立体检测框之间的先后关系，得到多个第二立体检测框分别所属的框尺寸之间的尺寸变化规律。进而服务器可以根据该尺寸变化规律，来预测得到一个框尺寸。
例如，可以将一个第二立体检测框的框尺寸，记为(长，宽，高)。若存在第二立体检测框1、第二立体检测框2和第二立体检测框3。第二立体检测框1的框尺寸为(1，2，3)，表明第二立体检测框1的长为1，宽为2，高为3。第二立体检测框2的框尺寸为(2，3，4)，表明第二立体检测框2的长为2，宽为3，高为4。第二立体检测框3的框尺寸为(3，4，5)，表明第二立体检测框3的长为3，宽为4，高为5。
则第二立体检测框1、第二立体检测框2和第二立体检测框3所属的各个框尺寸之间的尺寸变化规律可以包括，第二立体检测框1对应的框尺寸(1，2，3)到第二立体检测框2对应的框尺寸(2，3，4)到第二立体检测框3对应的框尺寸(3，4，5)，框的长(包括(1，2，3)中的1、(2，3，4)中的2以及(3，4，5)中的3)之间的差值都为1(可以理解为是等差为1的递增等差的变化规律)，框的宽(包括(1，2，3)中的2、(2，3，4)中的3以及(3，4，5)中的4)之间的差值也都为1(也可以理解为是等差为1的递增等差的变化规律)，框的高(包括(1，2，3)中的3、(2，3，4)中的4以及(3，4，5)中的5)之间的差值也都为1(也可以理解为是等差为1的递增等差的变化规律)。因此，预测的框尺寸可以为，将第二立体检测框3对应的框中心位置信息(3，4，5)中的各个值加1后，所得到的框尺寸(4，5，6)，表明第一立体检测框的长为4，宽为5，高为6。
需要进行说明的是，上述位置变化规律信息以及尺寸变化规律信息的获取方式仅为举例，实际上，位置变化规律信息以及尺寸变化规律信息的获取方式可以有很多种，具体可以根据实际应用场景决定位置变化规律信息以及尺寸变化规律信息的具体获取方式。例如，还可以通过滤波器来获取上述位置变化规律信息以及尺寸变化规律信息。
因此，通过上述过程，服务器即可获取到第二立体检测框的框中心位置之间的位置变化规律、以及第二立体检测框的框尺寸之间的尺寸变化规律，并可以根据该位置变化规律以及该尺寸变化规律，预测得到目标对象在第一点云数据帧中的框中心位置和框尺寸，预测得到目标对象在第一点云数据帧中的框中心位置和框尺寸即为预测得到第一立体检测框。
步骤S103，将第一立体检测框投影至平面空间，得到目标对象在第一图像帧中的目标平面检测框；
具体的，在得到上述第一立体检测框之后，服务器可以将该第一立体检测框反投影到平面空间中。其中，由于第一立体检测框包含了第一点云数据帧中多个点云数据。因此，将第一立体检测框从立体空间投影至平面空间，也就是将第一立体检测框所包含的每个点云数据的空间坐标，变换至平面空间中的平面坐标。
其中，可以将第一立体检测框所包含的每个点云数据在立体空间中的空间坐标，称之为第一立体检测框的框立体坐标信息。可以将第一立体检测框投影至平面空间后，各个点云数据对应的平面坐标，称之为第一立体检测框的框平面坐标信息。其中，将第一立体检测框中各个点云数据的空间坐标，变为平面坐标的原理，可以参见上述公式(1)，将第一立体检测框中各个点云数据的空间坐标，变为平面坐标的过程，也就是公式(1)所描述的过程的反过程。
其中，服务器在得到第一立体检测框的框平面坐标信息之后，即可根据该框平面坐标信息，在第一图像帧中，生成目标对象的平面外接框(可以称之为对象平面外接框)。该对象平面外接框，可以是包括第一图像帧中框平面坐标信息所指示的位置处的像素点的最小的矩形框，该对象平面外接框也就是在第一图像帧中获取到的目标对象所在的目标平面检测框。
请参见图6，图6是本申请提供的一种坐标变换的场景示意图。如区域100e所示，第一立体检测框103e处于立体空间的空间坐标系101e中，即第一立体检测框103e所包含的多个点云数据的坐标为空间坐标系101e下的空间坐标。
可以将第一立体检测框103e中各个点云数据的空间坐标，从空间坐标系101e中，变换至平面空间的平面坐标系102e中，即可得到目标平面检测框104e。目标平面检测框104e中，包括由第一立体检测框103e中各个点云数据投影过来的像素点。因此，即可得到目标对象在第一图像帧105e中的目标平面检测框104e。
因此通过上述过程，服务器即可获取到目标对象在第一图像帧中所在的目标平面检测框、以及目标对象在第一点云数据帧中所在的第一立体检测框。
例如，上述图2对应的实施例中的立体外接框108b，即可为一个第一立体检测框，平面外接框109b，即可为一个目标平面检测框。
步骤S104，将标注有第一立体检测框的第一点云数据帧、标注有目标平面检测框的第一图像帧，确定为目标对象的关联标注信息；
具体的，服务器可以根据上述所获取到的第一立体检测框，对第一点云数据帧进行标注，也就是在第一点云数据帧中标注出该第一立体检测框。服务器还可以根据上述获取到的目标平面检测框，对第一图像帧进行标注，也就是在第一图像帧中标注出该目标平面检测框。
可选的，在得到上述目标对象所在的目标平面检测框和第一立体检测框之后，还可以对该目标平面检测框和第一立体检测框进行人为微调，以得到最终的目标平面检测框和最终的第一立体检测框。
因此，可以将标注有第一立体检测框的第一点云数据帧、以及标注有目标平面检测框的第一图像帧，作为目标对象在当前数据帧中的关联标注信息。
实际上，服务器可以对获取到的多个连续的数据帧均进行2d-3d联合标注，即可得到每个数据帧对应的关联标注信息。
请参见图7，图7是本申请提供的一种数据标注的场景示意图。假设第3个数据帧为服务器当前正要标注的当前数据帧。当前数据帧的历史数据帧包括第1个数据帧和第2个数据帧。
服务器对第1个数据帧进行标注，得到了第1个数据帧对应的关联标注信息101f，该关联标注信息101f包括第二平面检测框101g和第二立体检测框102g。服务器对第2个数据帧进行标注，得到了第2个数据帧对应的关联标注信息102f，该关联标注信息102f包括第二平面检测框103g和第二立体检测框104g。
当服务器对当前数据帧(即第3个数据帧)漏检时，服务器可以通过上述第二立体检测框102g以及第二立体检测框104g，预测得到目标对象所在的第一立体检测框106g。
服务器可以将该第一立体检测框106g投影至平面空间，即可得到目标对象所在的目标平面检测框105g。因此，最终即可获取到当前数据帧对应的关联标注信息103f，该关联标注信息103f中即包括了目标平面检测框105g和第一立体检测框106g。
服务器在对获取到的多个连续的数据帧标注成功，得到各个数据帧对应的关联标注信息之后，可以将被标注有关联标注信息的多个数据帧，作为用于训练初始位置检测模型的模型样本数据。该模型样本数据包括上述当前数据帧对应的关联标注信息、以及历史数据帧对应的关联标注信息。该历史数据帧对应的关联标注信息，包括标注有目标对象所在的第二平面检测框的第二图像帧，还包括标注有目标对象所在的第二立体检测框的第二点云数据帧。
其中，服务器可以通过上述模型样本数据对初始位置检测模型进行训练，可以将训练完成的初始位置检测模型，称之为位置检测模型。该位置检测模型可以用于为无人驾驶车辆，识别行驶道路中的障碍物的空间位置，该障碍物可以指无人驾驶车辆在行驶路途中遇到的其他车辆、石头或者树木之类的障碍物。
例如，可以将该位置检测模型部署在无人驾驶车辆中，在无人驾驶车辆在行驶过程中，该位置检测模型可以为无人驾驶车辆检测出周围行驶的车辆的空间位置，进而无人驾驶车辆就可以根据位置检测模型检测得到的周围行驶的车辆的空间位置，调整自己的行驶路线，以避开周围行驶的车辆。此时，无人驾驶车辆的行驶道路中的目标对象，就为无人驾驶车辆周围行驶的车辆。
请参见图8，图8是本申请提供的一种模型应用的场景示意图。服务器可以将当前数据帧(包括第一图像帧和第一点云数据帧)对应的关联标注信息100h和历史数据帧(包括第二图像帧和第二点云数据帧)对应的关联标注信息101h，作为模型样本数据102h。
服务器可以通过该模型样本数据102h，对初始位置检测模型103h进行训练，即可得到位置检测模型104h。进而，可以将位置检测模型104h部署在无人驾驶汽车105h中，使得无人驾驶汽车105h可以通过所部署的位置检测模型104h，对行驶道路中的目标对象106h的空间位置107h进行检测，进而无人驾驶汽车可以根据检测到的目标对象106h的空间位置107h，来得到最新的行驶路线108h。通过该行驶路线108h即可在行驶过程中避开目标对象106h。
由此可见，本申请提出的方法，当未获取到第一平面检测框和当前立体检测框时，可以根据第二立体检测框，来预测得到第一立体检测框和目标平面检测框。进而可以将标注有第一立体检测框的第一点云数据帧、以及标注有目标平面检测框的第一图像帧，作为目标对象的关联标注信息，因此提高了目标对象的关联标注信息的完备性。
请参见图9，图9是本申请提供的一种数据标注装置的结构示意图。如图9所示，该数据标注装置1可以包括：第一历史框获取模块11、立体框预测模块12、平面框预测模块13和标注信息确定模块14；
第一历史框获取模块11，用于当在包含目标对象的第一图像帧中，未检测到目标对象所在的第一平面检测框时，获取目标对象在第二图像帧对应的第二点云数据帧中所在的第二立体检测框；
立体框预测模块12，用于根据第二立体检测框，预测目标对象在第一点云数据帧中的第一立体检测框，第一点云数据帧与第一图像帧相对应；
平面框预测模块13，用于将第一立体检测框投影至平面空间，得到目标对象在第一图像帧中的目标平面检测框；
标注信息确定模块14，用于将标注有第一立体检测框的第一点云数据帧、标注有目标平面检测框的第一图像帧，确定为目标对象的关联标注信息。
其中，第一历史框获取模块11、立体框预测模块12、平面框预测模块13和标注信息确定模块14的具体功能实现方式请参见图3对应的实施例中的步骤S101-步骤S104，这里不再进行赘述。
其中，第一图像帧与第二图像帧构成连续图像帧；
立体框预测模块12，包括：先后关系确定单元121、规律确定单元122和立体框预测单元123；
先后关系确定单元121，用于根据至少两个第二点云数据帧之间的先后关系，确定至少两个第二点云数据帧所对应的至少两个第二立体检测框之间的先后关系；每个第二点云数据帧均分别对应有一个第二立体检测框；
规律确定单元122，用于根据至少两个第二立体检测框之间的先后关系，确定至少两个第二立体检测框的框中心位置之间的位置变化规律、以及至少两个第二立体检测框的框尺寸之间的尺寸变化规律；
立体框预测单元123，用于根据位置变化规律和尺寸变化规律，确定第一立体检测框的框中心位置和第一立体检测框的框尺寸。
其中，先后关系确定单元121、规律确定单元122和立体框预测单元123的具体功能实现方式请参见图3对应的实施例中的步骤S102，这里不再进行赘述。
其中，平面框预测模块13，包括：坐标变换单元131和平面框生成单元132；
坐标变换单元131，用于将第一立体检测框处于立体空间中的框立体坐标信息，变换至处于平面空间中的框平面坐标信息；
平面框生成单元132，用于根据框平面坐标信息，在第一图像帧中，生成目标平面检测框，目标对象位于目标平面检测框内。
其中，坐标变换单元131和平面框生成单元132的具体功能实现方式请参见图3对应的实施例中的步骤S103，这里不再进行赘述。
其中，上述装置1还包括：向量获取模块15、历史框检测模块16和第二历史框获取模块17；
向量获取模块15，用于获取第二图像帧的图像特征向量；
历史框检测模块16，用于基于图像特征向量，在第二图像帧中检测目标对象所在的第二平面检测框；
第二历史框获取模块17，用于基于第二平面检测框，获取目标对象在第二点云数据帧中的第二立体检测框。
其中，向量获取模块15、历史框检测模块16和第二历史框获取模块17的具体功能实现方式请参见图3对应的实施例中的步骤S101，这里不再进行赘述。
其中，第二历史框获取模块17，包括：对象视锥获取单元171和第二框确定单元172；
对象视锥获取单元171，用于将第二平面检测框投影至立体空间，得到目标对象在立体空间中的对象视锥；对象视锥为目标对象在立体空间中的虚拟立体视野；
第二框确定单元172，用于根据对象视锥，确定第二立体检测框。
其中，对象视锥获取单元171和第二框确定单元172的具体功能实现方式请参见图3对应的实施例中的步骤S101，这里不再进行赘述。
其中，对象视锥获取单元171，包括：视锥获取子单元1711、距离获取子单元1712、平面确定子单元1713和切割子单元1714；
视锥获取子单元1711，用于将第二平面检测框投影至立体空间，得到初始视锥；
距离获取子单元1712，用于获取立体空间中的第一视野距离和第二视野距离；第二视野距离大于第一视野距离；
平面确定子单元1713，用于根据第一视野距离确定针对初始视锥的第一切割平面，根据第二视频距离确定针对初始视锥的第二切割平面；
切割子单元1714，用于根据第一切割平面和第二切割平面，对初始视锥进行切割，得到对象视锥。
其中，视锥获取子单元1711、距离获取子单元1712、平面确定子单元1713和切割子单元1714的具体功能实现方式请参见图3对应的实施例中的步骤S101，这里不再进行赘述。
其中，第二框确定单元172，包括：点云数据确定子单元1721、点云数据分类子单元1722和立体框生成子单元1723；
点云数据确定子单元1721，用于将第二点云数据帧中对象视锥所包含的点云数据，确定为待分割点云数据；
点云数据分类子单元1722，用于对待分割点云数据进行点云分类，根据分类结果，从待分割点云数据中，分割出目标对象所对应的点云数据；
立体框生成子单元1723，用于根据目标对象所对应的点云数据，生成第二立体检测框，目标对象位于第二立体检测框内。
其中，点云数据确定子单元1721、点云数据分类子单元1722和立体框生成子单元1723的具体功能实现方式请参见图3对应的实施例中的步骤S101，这里不再进行赘述。
其中，立体框生成子单元1723，包括：质心获取子单元17231、空间位置获取子单元17232和外接框生成子单元17233；
质心获取子单元17231，用于获取目标对象所对应的点云数据的数据质心；
空间位置获取子单元17232，用于获取目标对象所对应的点云数据在目标坐标系中的空间位置信息；目标坐标系为坐标原点为数据质心的空间坐标系；
外接框生成子单元17233，用于根据空间位置信息，生成第二立体外接框。
其中，质心获取子单元17231、空间位置获取子单元17232和外接框生成子单元17233的具体功能实现方式请参见图3对应的实施例中的步骤S101，这里不再进行赘述。
其中，上述装置1还包括：样本数据确定模块18和模型训练模块19；
样本数据确定模块18，用于将关联标注信息、具有第二立体检测框的第二点云数据帧、以及具有第二平面检测框的第二图像帧，确定为初始位置检测模型的模型样本数据；
模型训练模块19，用于基于模型样本数据，训练初始位置检测模型，得到位置检测模型；位置检测模型用于为无人驾驶车辆识别行驶道路中的目标对象的空间位置。
其中，样本数据确定模块18和模型训练模块19的具体功能实现方式请参见图3对应的实施例中的步骤S104，这里不再进行赘述。
由此可见，本申请提出的装置，当未获取到第一平面检测框和当前立体检测框时，可以根据第二立体检测框，来预测得到第一立体检测框和目标平面检测框。进而可以将标注有第一立体检测框的第一点云数据帧、以及标注有目标平面检测框的第一图像帧，作为目标对象的关联标注信息，因此提高了目标对象的关联标注信息的完备性。
请参见图10，图10是本申请提供的一种计算机设备的结构示意图。如图10所示，计算机设备1000可以包括：处理器1001，网络接口1004和存储器1005，此外，计算机设备1000还可以包括：用户接口1003，和至少一个通信总线1002。其中，通信总线1002用于实现这些组件之间的连接通信。其中，用户接口1003可以包括显示屏(Display)、键盘(Keyboard)，可选用户接口1003还可以包括标准的有线接口、无线接口。网络接口1004可选的可以包括标准的有线接口、无线接口(如WI-FI接口)。存储器1005可以是高速RAM存储器，也可以是非不稳定的存储器(non-volatile memory)，例如至少一个磁盘存储器。存储器1005可选的还可以是至少一个位于远离前述处理器1001的存储装置。如图10所示，作为一种计算机存储介质的存储器1005中可以包括操作系统、网络通信模块、用户接口模块以及设备控制应用程序。
在图10所示的计算机设备1000中，网络接口1004可提供网络通讯功能；而用户接口1003主要用于为用户提供输入的接口；而处理器1001可以用于调用存储器1005中存储的设备控制应用程序，以实现前文图3对应实施例中对数据标注方法的描述。应当理解，本申请中所描述的计算机设备1000也可执行前文图9所对应实施例中对数据标注装置1的描述，在此不再赘述。另外，对采用相同方法的有益效果描述，也不再进行赘述。
此外，这里需要指出的是：本申请还提供了一种计算机可读存储介质，且计算机可读存储介质中存储有前文提及的数据标注装置1所执行的计算机程序，且计算机程序包括程序指令，当处理器执行程序指令时，能够执行前文图3对应实施例中对数据标注方法的描述，因此，这里将不再进行赘述。另外，对采用相同方法的有益效果描述，也不再进行赘述。对于本申请所涉及的计算机存储介质实施例中未披露的技术细节，请参照本申请方法实施例的描述。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，上述的程序可存储于一计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，上述的存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory，ROM)或随机存储记忆体(Random AccessMemory，RAM)等。
以上所揭露的仅为本申请较佳实施例而已，当然不能以此来限定本申请之权利范围，因此依本申请权利要求所作的等同变化，仍属本申请所涵盖范围。

Claims (13)

1.一种数据标注方法，其特征在于，包括：
当在包含目标对象的第一图像帧中，未检测到所述目标对象所在的第一平面检测框时，获取所述目标对象在第二图像帧对应的第二点云数据帧中所在的第二立体检测框；
根据至少两个所述第二点云数据帧之间的先后关系，确定至少两个所述第二点云数据帧所对应的至少两个所述第二立体检测框之间的先后关系；每个所述第二点云数据帧均分别对应有一个所述第二立体检测框；
根据至少两个所述第二立体检测框之间的先后关系，确定至少两个所述第二立体检测框的框中心位置之间的位置变化规律、以及至少两个所述第二立体检测框的框尺寸之间的尺寸变化规律；
根据所述位置变化规律和所述尺寸变化规律，确定第一点云数据帧中第一立体检测框的框中心位置和所述第一立体检测框的框尺寸；所述第一点云数据帧与所述第一图像帧相对应；
将所述第一立体检测框投影至平面空间，得到所述目标对象在所述第一图像帧中的目标平面检测框；
将标注有所述第一立体检测框的所述第一点云数据帧、标注有所述目标平面检测框的所述第一图像帧，确定为所述目标对象的关联标注信息。
2.根据权利要求1所述的方法，其特征在于，所述第一图像帧与所述第二图像帧构成连续图像帧。
3.根据权利要求1所述的方法，其特征在于，所述将所述第一立体检测框投影至平面空间，得到所述目标对象在所述第一图像帧中的目标平面检测框，包括：
将所述第一立体检测框处于立体空间中的立体坐标信息，变换至处于所述平面空间中的平面坐标信息；
根据所述平面坐标信息，在所述第一图像帧中，生成所述目标平面检测框，所述目标对象位于所述目标平面检测框内。
4.根据权利要求1所述的方法，其特征在于，所述方法还包括：
获取所述第二图像帧的图像特征向量；
基于所述图像特征向量，在所述第二图像帧中检测所述目标对象所在的第二平面检测框；
基于所述第二平面检测框，获取所述目标对象在所述第二点云数据帧中的所述第二立体检测框。
5.根据权利要求4所述的方法，其特征在于，所述基于所述第二平面检测框，获取所述目标对象在所述第二点云数据帧中的所述第二立体检测框，包括：
将所述第二平面检测框投影至立体空间，得到所述目标对象在所述立体空间中的对象视锥；所述对象视锥为所述目标对象在所述立体空间中的虚拟立体视野；
根据所述对象视锥，确定所述第二立体检测框。
6.根据权利要求5所述的方法，其特征在于，所述将所述第二平面检测框投影至立体空间，得到所述目标对象在所述立体空间中的对象视锥，包括：
将所述第二平面检测框投影至所述立体空间，得到初始视锥；
获取所述立体空间中的第一视野距离和第二视野距离；所述第二视野距离大于所述第一视野距离；
根据所述第一视野距离确定针对所述初始视锥的第一切割平面，根据所述第二视野距离确定针对所述初始视锥的第二切割平面；
根据所述第一切割平面和所述第二切割平面，对所述初始视锥进行切割，得到所述对象视锥。
7.根据权利要求5所述的方法，其特征在于，所述根据所述对象视锥，确定所述第二立体检测框，包括：
将所述第二点云数据帧中所述对象视锥所包含的点云数据，确定为待分割点云数据；
对所述待分割点云数据进行点云分类，根据分类结果，从所述待分割点云数据中，分割出所述目标对象所对应的点云数据；
根据所述目标对象所对应的点云数据，生成所述第二立体检测框，所述目标对象位于所述第二立体检测框内。
8.根据权利要求7所述的方法，其特征在于，所述根据所述目标对象所对应的点云数据，生成所述第二立体检测框，包括：
获取所述目标对象所对应的点云数据的数据质心；
获取所述目标对象所对应的点云数据在目标坐标系中的空间位置信息；所述目标坐标系为坐标原点为所述数据质心的空间坐标系；
根据所述空间位置信息，生成所述第二立体检测框。
9.根据权利要求1所述的方法，其特征在于，所述方法还包括：
将所述关联标注信息、标注有所述第二立体检测框的所述第二点云数据帧以及标注有第二平面检测框的所述第二图像帧，确定为初始位置检测模型的模型样本数据；
基于所述模型样本数据，训练所述初始位置检测模型，得到位置检测模型；所述位置检测模型用于为无人驾驶车辆识别行驶道路中的障碍物的空间位置。
10.一种数据标注装置，其特征在于，包括：
第一历史框获取模块，用于当在包含目标对象的第一图像帧中，未检测到所述目标对象所在的第一平面检测框时，获取所述目标对象在第二图像帧对应的第二点云数据帧中所在的第二立体检测框；
立体框预测模块，用于根据至少两个所述第二点云数据帧之间的先后关系，确定至少两个所述第二点云数据帧所对应的至少两个所述第二立体检测框之间的先后关系；每个所述第二点云数据帧均分别对应有一个所述第二立体检测框；根据至少两个所述第二立体检测框之间的先后关系，确定至少两个所述第二立体检测框的框中心位置之间的位置变化规律、以及至少两个所述第二立体检测框的框尺寸之间的尺寸变化规律；根据所述位置变化规律和所述尺寸变化规律，确定第一点云数据帧中第一立体检测框的框中心位置和所述第一立体检测框的框尺寸；所述第一点云数据帧与所述第一图像帧相对应；
平面框预测模块，用于将所述第一立体检测框投影至平面空间，得到所述目标对象在所述第一图像帧中的目标平面检测框；
标注信息确定模块，用于将标注有所述第一立体检测框的所述第一点云数据帧、以及标注有所述目标平面检测框的所述第一图像帧，确定为所述目标对象的关联标注信息。
11.根据权利要求10所述的装置，其特征在于，所述第一图像帧与所述第二图像帧构成连续图像帧。
12.一种计算机设备，其特征在于，包括存储器和处理器，所述存储器存储有计算机程序，所述计算机程序被所述处理器执行时，使得所述处理器执行权利要求1-9中任一项所述方法的步骤。
13.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机程序，所述计算机程序包括程序指令，所述程序指令被处理器执行时，执行权利要求1-9任一项所述的方法。
CN202011123312.3A 2020-10-20 2020-10-20 一种数据标注方法、装置、设备以及计算机可读存储介质 Active CN112419233B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011123312.3A CN112419233B (zh) 2020-10-20 2020-10-20 一种数据标注方法、装置、设备以及计算机可读存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011123312.3A CN112419233B (zh) 2020-10-20 2020-10-20 一种数据标注方法、装置、设备以及计算机可读存储介质

Publications (2)

Publication Number Publication Date
CN112419233A CN112419233A (zh) 2021-02-26
CN112419233B true CN112419233B (zh) 2022-02-22

Family

ID=74841432

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011123312.3A Active CN112419233B (zh) 2020-10-20 2020-10-20 一种数据标注方法、装置、设备以及计算机可读存储介质

Country Status (1)

Country Link
CN (1) CN112419233B (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113342914B (zh) * 2021-06-17 2023-04-25 重庆大学 一种用于地球仪区域检测的数据集获取及自动标注的方法
CN113436258B (zh) * 2021-06-17 2023-09-12 中国船舶重工集团公司第七0七研究所九江分部 基于视觉与激光雷达融合的海上浮码头检测方法及系统
CN116052155A (zh) * 2021-10-27 2023-05-02 华为技术有限公司 一种点云数据处理方法及系统
CN114185476A (zh) * 2021-11-18 2022-03-15 路米科技(江苏)有限公司 一种立体框交互方法及系统
CN117612069B (zh) * 2024-01-19 2024-04-26 福思(杭州)智能科技有限公司 真值数据的构建方法和装置、存储介质

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108280886A (zh) * 2018-01-25 2018-07-13 北京小马智行科技有限公司 激光点云标注方法、装置及可读存储介质
CN109978955A (zh) * 2019-03-11 2019-07-05 武汉环宇智行科技有限公司 一种联合激光点云与图像的高效标注方法
CN110084895A (zh) * 2019-04-30 2019-08-02 上海禾赛光电科技有限公司 对点云数据进行标注的方法和设备
CN110135453A (zh) * 2019-03-29 2019-08-16 初速度（苏州）科技有限公司 一种激光点云数据标注方法及装置
CN110197148A (zh) * 2019-05-23 2019-09-03 北京三快在线科技有限公司 目标物体的标注方法、装置、电子设备和存储介质
CN110210328A (zh) * 2019-05-13 2019-09-06 北京三快在线科技有限公司 在图像序列中标注物体的方法、装置及电子设备
CN110264468A (zh) * 2019-08-14 2019-09-20 长沙智能驾驶研究院有限公司 点云数据标注、分割模型确定、目标检测方法及相关设备
CN110598743A (zh) * 2019-08-12 2019-12-20 北京三快在线科技有限公司 一种目标对象的标注方法和装置
CN110942449A (zh) * 2019-10-30 2020-03-31 华南理工大学 一种基于激光与视觉融合的车辆检测方法
CN111080805A (zh) * 2019-11-26 2020-04-28 北京云聚智慧科技有限公司 标注对象立体框图生成方法、装置、电子设备及存储介质
CN111257864A (zh) * 2020-01-17 2020-06-09 河北德冠隆电子科技有限公司 一种主动式探测车辆持续跟踪断点补偿装置、系统及方法

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20180136332A1 (en) * 2016-11-15 2018-05-17 Wheego Electric Cars, Inc. Method and system to annotate objects and determine distances to objects in an image
CN109188457B (zh) * 2018-09-07 2021-06-11 百度在线网络技术（北京）有限公司 物体检测框的生成方法、装置、设备、存储介质及车辆
CN109727312B (zh) * 2018-12-10 2023-07-04 广州景骐科技有限公司 点云标注方法、装置、计算机设备和存储介质

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108280886A (zh) * 2018-01-25 2018-07-13 北京小马智行科技有限公司 激光点云标注方法、装置及可读存储介质
CN109978955A (zh) * 2019-03-11 2019-07-05 武汉环宇智行科技有限公司 一种联合激光点云与图像的高效标注方法
CN110135453A (zh) * 2019-03-29 2019-08-16 初速度（苏州）科技有限公司 一种激光点云数据标注方法及装置
CN110084895A (zh) * 2019-04-30 2019-08-02 上海禾赛光电科技有限公司 对点云数据进行标注的方法和设备
CN110210328A (zh) * 2019-05-13 2019-09-06 北京三快在线科技有限公司 在图像序列中标注物体的方法、装置及电子设备
CN110197148A (zh) * 2019-05-23 2019-09-03 北京三快在线科技有限公司 目标物体的标注方法、装置、电子设备和存储介质
CN110598743A (zh) * 2019-08-12 2019-12-20 北京三快在线科技有限公司 一种目标对象的标注方法和装置
CN110264468A (zh) * 2019-08-14 2019-09-20 长沙智能驾驶研究院有限公司 点云数据标注、分割模型确定、目标检测方法及相关设备
CN110942449A (zh) * 2019-10-30 2020-03-31 华南理工大学 一种基于激光与视觉融合的车辆检测方法
CN111080805A (zh) * 2019-11-26 2020-04-28 北京云聚智慧科技有限公司 标注对象立体框图生成方法、装置、电子设备及存储介质
CN111257864A (zh) * 2020-01-17 2020-06-09 河北德冠隆电子科技有限公司 一种主动式探测车辆持续跟踪断点补偿装置、系统及方法

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
nuScenes: A multimodal dataset for autonomous driving;Holger Caesar et al.;《arXiv》;20200505;第1-16页 *
Point Cloud Annotation Methods for 3D Deep Learning;Niall O’ Mahony et al.;《ICST2019》;20200326;第1-6页 *
SAnE: Smart Annotation and Evaluation Tools for Point Cloud Data;HASAN ASY’ARI ARIEF et al.;《IEEE Access》;20200729;第131848-131858页 *
基于模态转换的典型无人驾驶场景下三维目标识别算法研究;陈瑷玥;《中国优秀硕士学位论文全文数据库 工程科技II辑》;20200115;第2020年卷(第2期);第C035-357页 *

Also Published As

Publication number Publication date
CN112419233A (zh) 2021-02-26

Similar Documents

Publication Publication Date Title
CN112419233B (zh) 一种数据标注方法、装置、设备以及计算机可读存储介质
CN110163904B (zh) 对象标注方法、移动控制方法、装置、设备及存储介质
CN108230437B (zh) 场景重建方法和装置、电子设备、程序和介质
EP3499414B1 (en) Lightweight 3d vision camera with intelligent segmentation engine for machine vision and auto identification
US8442307B1 (en) Appearance augmented 3-D point clouds for trajectory and camera localization
WO2020228766A1 (zh) 基于实景建模与智能识别的目标跟踪方法、系统及介质
US8855369B2 (en) Self learning face recognition using depth based tracking for database generation and update
CN112419494A (zh) 用于自动驾驶的障碍物检测、标记方法、设备及存储介质
US10679369B2 (en) System and method for object recognition using depth mapping
CN112912890A (zh) 用于使用生成模型生成合成点云数据的方法和系统
KR101839827B1 (ko) 원거리 동적 객체에 대한 얼굴 특징정보(연령, 성별, 착용된 도구, 얼굴안면식별)의 인식 기법이 적용된 지능형 감시시스템
CN112950785A (zh) 点云标注方法、装置及系统
KR100560464B1 (ko) 관찰자의 시점에 적응적인 다시점 영상 디스플레이 시스템을 구성하는 방법
CN112207821B (zh) 视觉机器人的目标搜寻方法及机器人
US11430199B2 (en) Feature recognition assisted super-resolution method
CN113793382A (zh) 视频图像的拼缝搜索方法、视频图像的拼接方法和装置
CN114708583A (zh) 目标物的检测方法、装置、设备及存储介质
KR101906560B1 (ko) 증강 현실에서 객체 간의 상호 연관성 데이터에 기초하여 군용 장비의 정비를 지원하는 서버, 방법 및 웨어러블 디바이스
CN112257638A (zh) 一种图像比对方法、系统、设备及计算机可读存储介质
CN116580054A (zh) 视频数据处理方法、装置、设备以及介质
CN112465688A (zh) 一种专用于计算机识别的孪生相机
Alzugaray Event-driven Feature Detection and Tracking for Visual SLAM
CN117975276A (zh) 一种基于双目视觉的实时战场三维场景与目标感知方法及系统
CN110546677A (zh) 在应用相互关联规则挖掘的增强现实技术中支持军用装备维修的服务器、方法及可穿戴设备
CN113424524B (zh) 使用半球形或球形可见光深度图像的三维建模

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
REG Reference to a national code

Ref country code: HK

Ref legal event code: DE

Ref document number: 40037984

Country of ref document: HK

GR01 Patent grant
GR01 Patent grant