CN112346074A - 点云数据标注方法、点云数据标注装置及存储介质 - Google Patents

点云数据标注方法、点云数据标注装置及存储介质 Download PDF

Info

Publication number
CN112346074A
CN112346074A CN202110018470.0A CN202110018470A CN112346074A CN 112346074 A CN112346074 A CN 112346074A CN 202110018470 A CN202110018470 A CN 202110018470A CN 112346074 A CN112346074 A CN 112346074A
Authority
CN
China
Prior art keywords
point cloud
cloud data
rectangular frame
frame
determining
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110018470.0A
Other languages
English (en)
Other versions
CN112346074B (zh
Inventor
陈佃文
黄宇凯
郝玉峰
李科
曹琼
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Speechocean Technology Co ltd
Original Assignee
Beijing Speechocean Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Speechocean Technology Co ltd filed Critical Beijing Speechocean Technology Co ltd
Priority to CN202110018470.0A priority Critical patent/CN112346074B/zh
Publication of CN112346074A publication Critical patent/CN112346074A/zh
Application granted granted Critical
Publication of CN112346074B publication Critical patent/CN112346074B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/93—Lidar systems specially adapted for specific applications for anti-collision purposes
    • G01S17/931—Lidar systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/4802—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00 using analysis of echo signal for target characterisation; Target signature; Target cross-section
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Electromagnetism (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Processing Or Creating Images (AREA)

Abstract

本公开是关于一种点云数据标注方法、点云数据标注装置及存储介质。点云数据标注方法包括：在连续的多帧点云数据中，确定多个包括目标物体的关键帧点云数据，并标注目标物体在各关键帧点云数据中的3D矩形框，得到多个基准3D矩形框。基于所述基准3D矩形框，在多帧点云数据的其他帧点云数据中，确定目标物体预标注的初始3D矩形框。基于一个或者多个基准3D矩形框，调整初始3D矩形框的标注结果。通过本公开提供的点云数据标注方法，能够节省人工标注成本，提高标注速率。且在标注的过程中，基于基准3D矩形框，可以将预先标注的初始3D矩形框进行调整，从而有助于提高目标物体标注的准确度，使在标注的过程中，能够保证标注质量的同时，节省标注成本。

Description

点云数据标注方法、点云数据标注装置及存储介质
技术领域
本公开涉及数据处理技术领域，尤其涉及一种点云数据标注方法、点云数据标注装置及存储介质。
背景技术
激光雷达（Light Detection and Ranging，LiDAR），是一种以发射激光束探测目标的位置、速度等特征量的雷达系统。激光雷达设备中采用激光器作为发射光源，通过激光器向外发出激光光束，若向外发出激光光束遇到前方的物体或者障碍物，可以反弹回来并被激光雷达接收器接收，进而通过计算激光光束的发出时间与被接收时间之间的时间差，可以精确地判断物体和激光雷达之间的距离。
在自动驾驶中，基于车载激光雷达根据多线（16线，32线或者64线）激光光束旋转一周采集到的数据，即采集到3D点云数据，可以对车辆所处环境进行准确的3D建模，也可以知道某个3D目标物体在激光雷达坐标系中的准确位置，大小及姿态。
相关技术中，基于车载激光雷达发射的激光光束，能够得到连续的多帧点云数据。用户在连续的多帧点云数据，对目标物体进行3D标注时，采用的人工标注方式。采用该方法虽然可以使标注结果准确，但是标注效率极低，需要消耗大量的人工标注时间，导致人工成本增加。
发明内容
为克服相关技术中存在的问题，本公开提供一种点云数据标注方法、点云数据标注装置及存储介质。
根据本公开实施例的第一方面，提供一种点云数据标注方法，包括：在连续的多帧点云数据中，确定多个包括目标物体的关键帧点云数据，并标注所述目标物体在各所述关键帧点云数据中的3D矩形框，得到多个基准3D矩形框。基于多个所述基准3D矩形框，在所述多帧点云数据的其他帧点云数据中，确定所述目标物体预标注的初始3D矩形框。基于一个或者多个所述基准3D矩形框，调整所述初始3D矩形框的位姿，确定预测3D矩形框。
在一实施例中，所述基于一个或者多个所述基准3D矩形框，调整所述初始3D矩形框的位姿，包括：确定各所述基准3D矩形框的基准投影特征，所述基准投影特征为所述基准3D矩形框中各点数据投影在所述基准3D矩形框的多个平面上的投影特征集合。基于所述基准投影特征，通过动态调整所述初始3D矩形框的位姿，确定所述预测3D矩形框。
在另一实施例中，所述基于所述基准投影特征，通过动态调整所述初始3D矩形框的位姿，确定所述预测3D矩形框，包括：基于目标投影特征和一个或者多个所述基准投影特征，确定匹配结果，其中，所述目标投影特征为动态调整后的所述初始3D矩形框中各点数据投影在动态调整后的所述初始3D矩形框的多个平面上的投影特征集合，所述匹配结果与所述目标投影特征和一个或多个所述基准投影特征之间的相似度正相关。基于所述匹配结果及对应的目标投影特征，确定所述预测3D矩形框。
在又一实施例中，基于所述目标投影特征和一个所述基准投影特征，确定匹配结果，包括：将所述目标投影特征和指定的基准投影特征进行匹配，确定匹配结果。
在又一实施例中，所述点云数据标注方法，还包括：在所述多帧点云数据中，确定与所述初始3D矩形框对应的帧点云数据位置最近的关键帧点云数据。将与所述初始3D矩形框对应的帧点云数据位置最近的关键帧点云数据对应的基准投影特征，作为指定的基准投影特征。
在又一实施例中，基于所述目标投影特征和多个所述基准投影特征，确定匹配结果，包括：基于所述目标投影特征与各所述基准投影特征之间的欧氏距离，分别确定所述目标投影特征与各所述基准投影特征之间的匹配关系，得到多个子匹配结果。基于多个子匹配结果，确定所述目标投影特征和多个所述基准投影特征的匹配结果。
在又一实施例中，所述基于所述匹配结果及对应的目标投影特征，确定所述预测3D矩形框，包括：基于所述匹配结果，采用最优化算法，动态调整所述初始3D矩形框的位姿，确定动态调整后所述目标投影特征。将与多个所述基准投影特征的相似度最高的目标投影特征对应的动态调整后的初始3D矩形框，确定为所述预测3D矩形框。
在又一实施例中，所述基准3D矩形框的多个平面包括：所述基准3D矩形框的左面、前面和底面。动态调整后的所述初始3D矩形框的多个平面包括：动态调整后的所述初始3D矩形框的左面、前面和底面。
在又一实施例中，所述在连续的多帧点云数据中，确定多个包括目标物体的关键帧点云数据，包括：根据所述目标物体在所述多帧点云数据中的运动状态，确定多个包括目标物体的关键帧点云数据。
在又一实施例中，所述根据所述目标物体在所述多帧点云数据中的运动状态，确定多个包括目标物体的关键帧点云数据，包括：若所述目标物体在所述多帧点云数据中的运动状态发生变化，则确定发生变化的帧点云数据为目标物体的关键帧点云数据。
根据本公开实施例的第二方面，提供一种点云数据标注装置，包括：确定单元，用于在连续的多帧点云数据中，确定多个包括目标物体的关键帧点云数据，并标注所述目标物体在各所述关键帧点云数据中的3D矩形框，得到多个基准3D矩形框。预测单元，用于基于多个所述基准3D矩形框，在所述多帧点云数据的其他帧点云数据中，确定所述目标物体预标注的初始3D矩形框。调整单元，用于基于一个或者多个所述基准3D矩形框，调整所述初始3D矩形框的位姿，确定预测3D矩形框。
在一实施例中，所述调整单元采用下述方式基于一个或者多个所述基准3D矩形框，调整所述初始3D矩形框的位姿：确定各所述基准3D矩形框的基准投影特征，所述基准投影特征为所述基准3D矩形框中各点数据投影在所述基准3D矩形框的多个平面上的投影特征集合。基于所述基准投影特征，通过动态调整所述初始3D矩形框的位姿，确定所述预测3D矩形框。
在另一实施例中，所述调整单元采用下述方式基于所述基准投影特征，通过动态调整所述初始3D矩形框的位姿，确定所述预测3D矩形框：基于目标投影特征和一个或者多个所述基准投影特征，确定匹配结果，其中，所述目标投影特征为动态调整后的所述初始3D矩形框中各点数据投影在动态调整后的所述初始3D矩形框的多个平面上的投影特征集合，所述匹配结果与所述目标投影特征和一个或多个所述基准投影特征之间的相似度正相关。基于所述匹配结果及对应的目标投影特征，确定所述预测3D矩形框。
在又一实施例中，所述调整单元采用下述方式基于所述目标投影特征和一个所述基准投影特征，确定匹配结果：将所述目标投影特征和指定的基准投影特征进行匹配，确定匹配结果。
在又一实施例中，所述确定单元，还用于：在所述多帧点云数据中，确定与所述初始3D矩形框对应的帧点云数据位置最近的关键帧点云数据。将与所述初始3D矩形框对应的帧点云数据位置最近的关键帧点云数据对应的基准投影特征，作为指定的基准投影特征。
在又一实施例中，所述调整单元采用下述方式基于所述目标投影特征和多个所述基准投影特征，确定匹配结果：基于所述目标投影特征与各所述基准投影特征之间的欧氏距离，分别确定所述目标投影特征与各所述基准投影特征之间的匹配关系，得到多个子匹配结果。基于多个子匹配结果，确定所述目标投影特征和多个所述基准投影特征的匹配结果。
在又一实施例中，所述调整单元采用下述方式基于所述匹配结果及对应的目标投影特征，确定所述预测3D矩形框：基于所述匹配结果，采用最优化算法，动态调整所述初始3D矩形框的位姿，确定动态调整后所述目标投影特征。将与多个所述基准投影特征的相似度最高的目标投影特征对应的动态调整后的初始3D矩形框，确定为所述预测3D矩形框。
在又一实施例中，所述基准3D矩形框的多个平面包括：所述基准3D矩形框的左面、前面和底面。动态调整后的所述初始3D矩形框的多个平面包括：动态调整后的所述初始3D矩形框的左面、前面和底面。
在又一实施例中，所述确定单元采用下述方式在连续的多帧点云数据中，确定多个包括目标物体的关键帧点云数据：根据所述目标物体在所述多帧点云数据中的运动状态，确定多个包括目标物体的关键帧点云数据。
在又一实施例中，所述确定单元采用下述方式根据所述目标物体在所述多帧点云数据中的运动状态，确定多个包括目标物体的关键帧点云数据：若所述目标物体在所述多帧点云数据中的运动状态发生变化，则确定发生变化的帧点云数据为目标物体的关键帧点云数据。
根据本公开实施例的第三方面，提供一种点云数据标注装置，包括：存储器，用于存储指令；以及处理器，用于调用所述存储器存储的指令执行上述任意一种所述的点云数据标注方法。
根据本公开实施例的第四方面，提供一种计算机可读存储介质，其中存储有指令，所述指令被处理器执行时，执行上述任意一种所述的点云数据标注方法。
本公开的实施例提供的技术方案可以包括以下有益效果：通过本公开提供的点云数据标注方法，能够基于包括目标物体的关键帧点云数据中标注的基准3D矩形框，预先标注目标物体在连续的多帧点云数据中的其他帧点云数据中标注的初始3D矩形框，进而有助于节省人工标注成本，提高标注速率。且在标注的过程中，基于基准3D矩形框，可以将预先标注的初始3D矩形框的位姿进行调整，确定预测3D矩形框，从而有助于提高目标物体标注的准确度，使在标注的过程中，能够保证质量的同时，节省标注成本。
应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本公开。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本公开的实施例，并与说明书一起用于解释本公开的原理。
图1是根据一示例性实施例示出的一种点云数据标注示意图。
图2是根据一示例性实施例示出的一种点云数据标注方法的流程图。
图3是根据一示例性实施例示出的一种3D矩形框的前视图。
图4是根据一示例性实施例示出的一种3D矩形框的侧视图。
图5是根据一示例性实施例示出的另一种点云数据标注方法的流程图。
图6是根据一示例性实施例示出的一种点云数据标注装置的框图。
具体实施方式
这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本公开相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本公开的一些方面相一致的装置和方法的例子。
相关技术中，在连续的多帧点云数据中，对目标物体进行标注时，预先经过人工判断，在各帧点云数据中，将确定属于目标物体的点云数据的所在区域上画矩形框。通过算法，在包括目标物体的帧点云数据中，自动标注目标物体的3D矩形框。最后在基于人工，对自动标注目标物体的3D矩形框的位置、大小以及方向进行调整，完成对目标物体的标注。标注完成后的帧点云数据示意图如图1所示。图1是根据一示例性实施例示出的一种点云数据标注示意图。但在实际应用中，激光光束的有效距离范围属于百米级别的距离。因此，在大范围内涉及到的目标物体较多。采用上述方式进行标注，需要消耗大量的时间和过多的人力，导致标注成本较高。
鉴于此，本公开提供一种点云数据标注方法，能够在连续的多帧点云数据中，确定多个包括目标物体的关键帧点云数据，并在关键帧点云数据中将目标物体进行标注，得到基准3D矩形框。基于已标注的多个基准3D矩形框，得到目标物体在其他帧点云数据中预标注的初始3D矩形框，有助于节省人工标注时间，节约人工成本，加快标注速率。且为提高标注的准确度，在标注的过程中，基于一个或多个基准3D矩形框，将初始3D矩形框进行调整，有助于提升标注质量，从而达到保证标注质量的同时，节省人工标注时间，节约人工成本，加快标注速率的目的。
图2是根据一示例性实施例示出的一种点云数据标注方法的流程图，如图2所示，点云数据标注方法，包括以下步骤S11至步骤S13。
在步骤S11中，在连续的多帧点云数据中，确定多个包括目标物体的关键帧点云数据，并标注目标物体在各关键帧点云数据中的3D矩形框，得到多个基准3D矩形框。
在本公开实施例中，连续的多帧点云数据可以是根据激光雷达设备在一段时间内实时采集得到的，或者是根据存储设备中存储的点云视频中得到的，点云视频为激光雷达设备预先采集的连续的多帧点云数据。为便于在连续的多帧点云数据中，针对目标物体完成快速标注，在进行标注时，先选取多帧点云数据中的部分帧点云数据对目标物体进行标注。即先确定多个包括目标物体的关键帧点云数据，并在每个关键帧点云数据上对目标物体进行标注，得到多个基准3D矩形框，并将得到的多个基准3D矩形框作为在多帧点云数据中，采用3D矩形框标注目标物体的标注标准。其中，关键帧点云数据的数量少于多帧点云数据的总数。多个关键帧点云数据可以分布在多帧点云数据的任意位置。针对同一目标物体，标注的多个基准3D矩形框的刚体一致，即多个基准3D矩形框的长、宽、高均相同。
在一例中，为便于快速确定关键帧点云数据，可以通过播放点云视频的方式，选取合适的帧点云数据作为关键帧点云数据。在另一例中，目标物体可以为任意物体，例如：车辆、行人、路障等任意一种物体。
在一示例中，基准3D矩形框可以为最贴合目标物体的、且最为准确的3D矩形框。由于在各帧点云数据中，是基于点云数据的聚合情况，确定多个点云数据是否为同一物体，进而可以采用人工标注的形式在关键帧点云数据中对目标物体进行标注，使得到的基准3D矩形框为最贴合目标物体的3D矩形框。
在步骤S12中，基于多个基准3D矩形框，在多帧点云数据的其他帧点云数据中，确定目标物体预标注的初始3D矩形框。
在本公开实施例中，为减少人工标注的时间以及标注成本，加快标注进行，在标注多帧点云数据的其他帧点云数据中的目标物体时，可以将已经确定的多个基准3D矩形框为基准，采用预测的形式对多帧点云数据的其他帧点云数据进行预标注，进而确定目标物体在其他帧点云数据中的初始3D矩形框。例如，可以采用神经网络模型进行快速预测。
在一实施场景中，为便于提高预测的准确度，且减少后续调整，在选取多个关键帧点云数据时，各个关键帧点云数据之间具有一定间隔，进而基于插值算法，便可以将其他帧点云数据中的目标物体快速进行预标注。在一例中，为保证预标注的完整性，且避免预标注时的误差过大，在选取多个关键帧点云数据时，将目标物体在连续的多帧点云数据中第一次出现的帧点云数据以及最后一次出现的帧点云数据作为必选的关键帧点云数据。例如：连续的多帧点云数据为10帧点云数据时，则第1帧点云数据和第10帧点云数据为必选的关键帧点云数据。
在步骤S13中，基于一个或者多个基准3D矩形框，调整初始3D矩形框的位姿，确定预测3D矩形框。
在本公开实施例中，针对同一目标物体，在多帧点云数据中不同的帧点云数据中进行3D矩形框标注时，标注的3D矩形框的刚体一致，位姿可能存在不同。即各基准3D矩形框与各初始3D矩形框的长、宽、高均相同，各基准3D矩形框或者各初始3D矩形框在对应的帧点云数据中的位置以及方向偏转角度均可能存在不同。因此，通过预测得到的初始3D矩形框在标注目标物体时，可能存在标注准确度不高的情况。为提高标注准确度，将预测得到的初始3D矩形框的位姿基于已标注的一个或者多个基准3D矩形框进行调整，进而提高标注质量，使调整后的初始3D矩形框更准确，更贴合其他帧点云数据中的目标物体。
通过上述实施例，在对连续的多帧点云数据针对目标物体进行标注时，可以将选取的多个关键帧点云数据中的基准3D矩形框，作为预测其他帧点云数据的基准。基于已标注的多个基准3D矩形框，快速预标注其他帧点云数据中目标物体的初始3D矩形框，进而节省人工标注的时间，提高标注速率。且为提高标注的准确度，在标注的过程中，基于已标注的基准3D矩形框，针对预标注的初始3D矩形框的位姿进行调整，从而有助于避免预标注的误差过大，影响多帧点云数据的标注质量。
在一实施例中，关键帧点云数据可以根据目标物体的运动状态进行确定，进而在预测其他帧点云数据中目标物体的初始3D矩形框时，能够贴合目标物体在当前帧点云数据中的运动状态。在一例中，为提高预测的准确度，在选取关键帧点云数据时，可以选择物体运动状态发生改变时的帧点云数据作为关键帧点云数据，例如：目标物体从静止状态变为行驶状态时，则将变成行驶状态的帧点云数据作为关键帧点云数据。或者目标物体的运动轨迹发生变化时，则将运动轨迹发生变化的帧点云数据作为关键帧点云数据。例如：目标物体的运动轨迹由直行状态变为转弯状态时，将变为转弯状态的帧点云数据作为关键帧点云数据。使在连续的多帧点云数据中，基于先后位置顺序，目标物体在两个关键帧点云数据中的其他帧点云数据处于相同的运动状态，进而在进行预测时，表征目标物体的点云数据分布方式存在差异小，有利于提高预标注的准确度。
在另一实施例中，在标注目标物体的3D矩形框时，即标注基准3D矩形框和初始3D矩形框时，会基于目标物体的位姿和刚体大小进行标注，即对目标物体在帧点云数据中的大小、位置以及方向进行标注。在标注3D矩形框时，会确定该3D矩形框的坐标参数信息以及属性信息。其中，坐标参数信息为
Figure 413492DEST_PATH_IMAGE001
，
Figure 517714DEST_PATH_IMAGE002
为该3D矩形框的中心坐标，即该3D矩形框的中心在雷达点云坐标系中的坐标。
Figure 657577DEST_PATH_IMAGE003
为3D矩形框的长、宽、高。
Figure 189053DEST_PATH_IMAGE004
为该3D矩形框绕X、Y、Z轴的旋转角度。在实际的标注过程中，由于物体位于地面上方，通常只会发生绕垂直于地面的Z轴的旋转，所以，将
Figure 532310DEST_PATH_IMAGE005
、
Figure 174644DEST_PATH_IMAGE006
设为常数0。因此，为便于快速完成标注，在标注3D矩形框时，3D矩形框的坐标参数信息考虑
Figure 919746DEST_PATH_IMAGE007
即可，即考虑标注3D矩形框的中心坐标、刚体大小以及绕垂直于地面的Z轴的旋转角度。属性信息可以包括，该物体属于车辆、行人或者是否被其他物体遮挡等信息。
在又一实施例中，每一帧点云数据中的各个点数据的3D坐标均可以直接获取。针对同一目标物体，基准3D矩形框与初始3D矩形框的刚体一致，但由于目标物体在不同帧点云数据中出现的大小，位置和方向可能不同，可能导致在不同帧点云数据中代表目标物体的点云数据分布方式也不同。为便于调整初始3D矩形框的位姿，可以基于各关键帧点云数据中代表目标物体的多个点数据在基准3D矩形框上的基准投影特征进行调整。其中，基准投影特征为基准3D矩形框中各点数据投影在基准3D矩形框的多个平面上的投影特征集合。以基准投影特征为基准，将初始3D矩形框的位姿进行动态调整，以使初始3D矩形框经过动态调整后得到的预测3D矩形框更贴合目标物体在其他帧点云数据中的位置，从而提高3D矩形框标注的准确度。
以下实施例将具体说明确定预测3D矩形框过程。
在一实施例中，基于目标投影特征与一个或者多个基准投影特征的匹配结果，确定预测3D矩形框。其中，目标投影特征为动态调整后的初始3D矩形框中各点数据投影在动态调整后的初始3D矩形框的多个平面上的投影特征集合。匹配结果与所述目标投影特征和一个或多个所述基准投影特征之间的相似度正相关，即目标投影特征与一个或多个所述基准投影特征之间的相似度越大，则表征动态调整后的初始3D矩形框与一个或多个基准3D矩形框的位姿越接近。在预标注的过程中，初始3D矩形框是基于多个基准3D矩形框预测得到的3D矩形框。然而在预标注的过程中，各基准3D矩形框的位姿可能不统一，导致在预标注初始3D矩形框时，可能存在标注误差的情况发生。例如：由于预测的初始3D矩形框的位姿不准确，导致得到的初始3D矩形框中仅包括代表目标物体的部分点数据，产生标注误差的情况。为降低在预标注过程中的误差，在确定预测3D矩形框的位置时，以初始3D矩形框为基准，采用动态调整的方式，将初始3D矩形框的位姿进行调整。根据调整后的初始3D矩形框确定目标投影特征，以便根据目标投影特征与一个或多个所述基准投影特征之间的匹配结果，确定初始3D矩形框的最佳调整位置，从而使基于初始3D矩形框调整后得到的预测3D矩形框更贴合当前帧点云数据中的目标物体。将目标投影特征与一个或多个所述基准投影特征进行匹配，可以确定目标投影特征与一个或多个所述基准投影特征之间的位姿差距，进而在确定预测3D矩形框时，便可以进行具有目的性的调整。
在一例中，为便于调整初始3D矩形框，可以预先以初始3D矩形框的位姿为基准，构建调整函数，进而根据该调整函数确定目标投影特征。调整函数的表达式可以为如下公式：
Figure 622122DEST_PATH_IMAGE008
，
其中，
Figure 452675DEST_PATH_IMAGE009
，为第i帧点云数据中初始3D矩形框的中心坐标参数；
Figure 898700DEST_PATH_IMAGE010
为第i帧点云数据中的目标物体的初始3D矩形框的调整参数；
Figure 763888DEST_PATH_IMAGE011
为第i帧点云数据中初始3D矩形框经过调整后的中心坐标参数；
Figure 886433DEST_PATH_IMAGE012
为第i帧点云数据中初始3D矩形框的关于Z轴旋转的旋转角度参数；
Figure 204282DEST_PATH_IMAGE013
为关于Z轴旋转的旋转角度调整参数；
Figure 453998DEST_PATH_IMAGE014
为第i帧点云数据中初始3D矩形框经过调整后的旋转角度参数。
在一实施场景中，基准3D矩形框的基准投影特征的确定过程如下：根据已标注的基准3D矩形框，可以确定该基准3D矩形框的基准坐标参数信息为
Figure 908113DEST_PATH_IMAGE015
，其中，
Figure 217872DEST_PATH_IMAGE016
表征基准3D矩形框的基准参数；
Figure 23017DEST_PATH_IMAGE017
表征基准3D矩形框的中心坐标，
Figure 810844DEST_PATH_IMAGE018
表征基准3D矩形框的刚体大小，即基准3D矩形框的长、宽、高，θ表征基准3D矩形框基于Z轴的旋转角度，k表征关键帧点云数据的位置信息，即，k表征当前关键帧点云数据在多帧点云数据中的位置。计算单个点数据在基准3D矩形框的多个平面上的投影特征可以采用下述公式进行计算：
Figure 385045DEST_PATH_IMAGE019
，其中，
Figure 865705DEST_PATH_IMAGE020
表示为基准3D矩形框的基准投影特征，可以表示为：
Figure 158146DEST_PATH_IMAGE021
。
Figure 733353DEST_PATH_IMAGE022
、
Figure 162060DEST_PATH_IMAGE023
、
Figure 813621DEST_PATH_IMAGE024
为
Figure 593358DEST_PATH_IMAGE018
的缩写，分别表示为基准3D矩形框的长、宽、高。表示为投影到基准3D矩形框的旋转角度矩阵，旋转角度矩阵中的数值取决于基准3D矩形框绕Z轴的旋转角。
Figure 722988DEST_PATH_IMAGE025
为单个点数据在雷达点云坐标系中的坐标，即，
Figure 271781DEST_PATH_IMAGE026
。
Figure 828665DEST_PATH_IMAGE027
即为基准3D矩形框的中心坐标，即
Figure 830119DEST_PATH_IMAGE028
。
目标投影特征的确定过程如下：根据预标注的初始3D矩形框，可以确定该初始3D矩形框的基准坐标参数信息为
Figure 763440DEST_PATH_IMAGE029
，且
Figure 416007DEST_PATH_IMAGE030
。其中，
Figure 409371DEST_PATH_IMAGE031
表征初始3D矩形框的基准参数；
Figure 898121DEST_PATH_IMAGE032
为其他帧点云数据中每一帧点云数据的位置信息，即，
Figure 369553DEST_PATH_IMAGE032
表征当前其他帧点云数据在多帧点云数据中的位置。确定目标投影特征的计算方式与确定基准投影特征的计算方式相同，基于上述预构建的调整函数，可以采用如下公式进行计算：
Figure 627359DEST_PATH_IMAGE033
，其中，
Figure 791624DEST_PATH_IMAGE034
用于表示目标投影特征，
Figure 767671DEST_PATH_IMAGE022
、
Figure 42794DEST_PATH_IMAGE023
、
Figure 420686DEST_PATH_IMAGE024
，分别表示为调整后的初始3D矩形框的长、宽、高，与基准3D矩形框的长、宽、高的数值大小相同。
Figure 490273DEST_PATH_IMAGE035
为表示为投影到经过动态调整后的初始3D矩形框的旋转角度矩阵，
Figure 202883DEST_PATH_IMAGE036
表示为经过动态调整后的初始3D矩形框中的点数据在雷达点云坐标系中的坐标，
Figure 16118DEST_PATH_IMAGE011
表示为经过调整后的初始3D矩形框的中心坐标参数。
在一示例中，为便于确定目标投影特征与一个或多个基准投影参数的匹配结果，在确定基准3D矩形框和动态调整后的初始3D矩形框的投影特征时，将基准3D矩形框和动态调整后的初始3D矩形框基于相同的投影平面确定+Z轴方向上的旋转角度。例如：基准3D矩形框的多个平面包括：基准3D矩形框的左面、前面和底面。基准3D矩形框基于基准3D矩形框的左面、前面和底面确定的旋转角度矩阵，则目标投影特征也基于动态调整后的初始3D矩形框的左面、前面和底面确定的旋转角度矩阵，得到旋转角度矩阵为
Figure 514096DEST_PATH_IMAGE037
。计算基准投影特征的完整表达式可以如下述公式所示：
Figure 20163DEST_PATH_IMAGE038
；计算目标投影特征的完整表达式可以如下述公式所示：
Figure 705223DEST_PATH_IMAGE039
。
在一实施场景中，图3示出的是一种3D矩形框的前视图。单个点数据的在3D矩形框1中的投影特征，可以理解为单个点数据到达3D矩形框在+X、+Y、+Z轴三个平面方向上的投影距离。以点数据A为例，
Figure 322149DEST_PATH_IMAGE040
为A投影至基准3D矩形框1左面的投影距离。
Figure 409054DEST_PATH_IMAGE041
为A投影至基准3D矩形框1底面的投影距离。w表示该基准3D矩形框1的宽，h表示该基准3D矩形框1的高。图4示出的是一种3D矩形框的侧视图。
Figure 86022DEST_PATH_IMAGE042
为点数据A投影至基准3D矩形框1前面的投影距离。l表示该基准3D矩形框1的长。
以下实施例将具体说明匹配结果基于目标投影特征和一个基准投影特征的确定过程。
在一实施例中，为便于快速确定预测3D矩形框，确定初始3D矩形框的最佳调整位置时，可以基于指定的基准3D矩形框进行调整。指定的基准3D矩形框可以是多个基准3D矩形框中任意一个基准3D矩形框或者可以是与该初始3D矩形框对应的帧点云数据位置最近的关键帧点云数据中的基准3D矩形框。
在一示例中，调整初始3D矩形框的位姿的过程可以如图5所示。图5是根据一示例性实施例示出的另一种点云数据标注方法的流程图。
在步骤S21中，在连续的多帧点云数据中，确定多个包括目标物体的关键帧点云数据，并标注目标物体在各关键帧点云数据中的3D矩形框，得到多个基准3D矩形框。
在步骤S22中，基于多个基准3D矩形框，在多帧点云数据的其他帧点云数据中，确定目标物体预标注的初始3D矩形框。
在步骤S23中，确定各基准3D矩形框的基准投影特征。
在步骤S24中，在多帧点云数据中，确定与初始3D矩形框对应的帧点云数据位置最近的关键帧点云数据。
在本公开实施例中，在连续的多帧点云数据中，两个帧点云数据的位置越接近，在二者帧点云数据中的目标物体的点云数据分布状态越接近。为便于快速确定调整初始3D矩形框的调整参数，根据初始3D矩形框对应的帧点云数据位置，确定多个关键帧点云数据中与初始3D矩形框对应的帧点云数据位置最为接近的关键帧点云数据，进而在基于基准投影特征调整初始3D矩形框时，能够节省确定调整参数的计算量，有助于加快调整进程。例如：在连续的10帧点云数据中，初始3D矩形框对应的帧点云数据位置为第6帧点云数据。确定的关键帧点云数据为第1帧点云数据、第5帧点云数据和第10帧点云数据。基于位置对比可知，关键帧点云数据为第5帧点云数据是与初始3D矩形框对应的第6帧点云数据最近的关键帧点云数据。
在步骤S25中，将与初始3D矩形框对应的帧点云数据位置最近的关键帧点云数据对应的基准投影特征，作为指定的基准投影特征。
在步骤S26中，将目标投影特征和指定的基准投影特征进行匹配，确定匹配结果。
在步骤S27中，基于匹配结果及对应的目标投影特征，确定预测3D矩形框。
在又一实施例中，匹配结果可以基于目标投影特征与各基准投影特征之间的欧氏距离进行确定。通过相似函数，分别确定目标投影特征与各基准投影特征之间的相似度，得到多个子匹配结果，即，通过相似函数，确定目标投影特征与单个基准投影特征之间的相似度，得到一个子匹配结果。例如：通过相似函数，确定目标投影特征与各基准投影特征之间的相似情况，可以采用如下公式进行确定：
Figure 523957DEST_PATH_IMAGE043
。其中，
Figure 678995DEST_PATH_IMAGE044
为子匹配结果。
Figure 135253DEST_PATH_IMAGE034
为目标投影特征。
Figure 983123DEST_PATH_IMAGE045
为调整后的初始3D矩形框中点云数据的数量。
Figure 642775DEST_PATH_IMAGE020
为基准投影特征。相似函数E（x）定义为：
Figure 867083DEST_PATH_IMAGE046
，
Figure 663000DEST_PATH_IMAGE047
为用于限定目标投影特征与基准投影特征之间的相似度阈值，可以是指定的阈值，例如：0.02；也可以是通过经验值获取。进而将多个子匹配结果结合，得到目标投影特征和多个基准投影特征的匹配结果。例如：采用累积和的方式，将多个子匹配结果相加，得到目标投影特征和多个基准投影特征的匹配结果。根据多个子匹配结果结合，得到目标投影特征和多个基准投影特征的匹配结果的公式可以如下：
Figure 681772DEST_PATH_IMAGE048
，M用于表征匹配结果。匹配结果
Figure 828719DEST_PATH_IMAGE049
的数值越大，则表征目标投影特征与各基准投影特征之间匹配度越高。在调整初始3D矩形框的位姿时，便可以根据目标投影特征与各基准投影特征之间的匹配结果进行调整，使调整后的预测3D矩形框更贴合初始3D矩形框对应帧点云数据的目标物体。
在一实施场景中，基准投影特征的表达式为
Figure 591139DEST_PATH_IMAGE021
，目标投影特征的表达式为
Figure 772722DEST_PATH_IMAGE050
，则子匹配结果的完整表达式为：
Figure 696815DEST_PATH_IMAGE051
。
以下实施例将具体说明预测3D矩形框基于匹配结果及对应的目标投影特征进行确定的过程。
在一实施例中，基于匹配结果，采用最优化算法，动态调整初始3D矩形框的位姿，确定动态调整后目标投影特征。将与多个基准投影特征的相似度最高的目标投影特征对应的动态调整后的初始3D矩形框，确定为预测3D矩形框。
基于匹配结果，能够确定目标投影特征与多个基准投影特征的相似度，进而为便于快速确定调整初始3D矩形框的位姿的最佳调整参数，使得到的预测3D矩形框为最贴合当前帧点云数据中目标物体的3D矩形框，可以采用最优化算法进行确定。最优化算法是一种数学方法，是研究在给定约束之下如何寻求某些因素(的量)，以使某一(或某些)指标达到最优的一些学科的总称。最优化算法可以包括：最速下降法（梯度法）、共轭梯度法、精确算法（绝对最优解）、启发式算法（近似算法）或者个体启发（寻找相对最优），在本公开中不进行限定。通过最优化算法，创建以目标投影特征和多个基准投影特征的匹配结果作为目标函数，将基准投影特征作为约束条件，确定最优调整参数的函数公式。在确定预测3D矩形框的过程中，基于初始3D矩形框的位姿的每次调整，调整后的初始3D矩形框的中心坐标参数和+Z轴方向上的旋转角度均发生改变，进而导致对应的目标投影特征发生改变，从而目标投影特征与多个基准投影特征的匹配结果也随之发生改变。通过不断调整初始3D矩形框的位姿，调整目标投影特征，能够得到多个匹配结果。通过匹配结果，能够确定在调整初始3D矩形框的位姿的过程中，调整是否合理，是否发生过度调整的情况。例如：根据匹配结果，若目标投影特征与多个所述基准投影特征的相似度变低，则表征本次调整初始3D矩形框的位姿属于不合理的调整，调整后的初始3D矩形框与目标物体实际在当前帧点云数据中的位姿不相符。若目标投影特征与多个所述基准投影特征的相似度变高，则表征本次调整初始3D矩形框的位姿属于合理的调整，调整后的初始3D矩形框与目标物体实际在当前帧点云数据中的位姿更接近。基于匹配结果，不断的动态调整初始3D矩形框，若出现与多个所述基准投影特征的匹配结果为相似度最高的目标投影特征时，则表征与多个所述基准投影特征的匹配结果为相似度最高的目标投影特征对应的动态调整后的初始3D矩形框的位姿为最佳的预测3D矩形框的位姿，则将与多个基准投影特征的相似度最高的目标投影特征对应的动态调整后的初始3D矩形框，确定为预测3D矩形框。在一例中，为提高调整参数的准确度，使初始3D矩形框根据该调整参数进行调整后得到标注结果的质量更优质，最优化算法可以优选最速下降法（梯度法）或者共轭梯度法。
在一实施场景中，动态调整所述初始3D矩形框的位姿的过程可以如下：最优调整参数的函数公式的表达式可以如下：
Figure 580327DEST_PATH_IMAGE052
，其中，
Figure 880858DEST_PATH_IMAGE053
为最终确定的调整参数
Figure 916947DEST_PATH_IMAGE054
通过不断调整
Figure 277521DEST_PATH_IMAGE055
，改变初始3D矩形框的位姿，确定调整后的初始3D矩形框对应的目标投影特征与各基准投影特征之间的匹配结果，得到与多个所述基准投影特征的匹配结果为相似度最高的目标投影特征。将与多个所述基准投影特征的匹配结果为相似度最高的目标投影特征的
Figure 399061DEST_PATH_IMAGE055
作为初始3D矩形框最佳调整的调整参数，进而使初始3D矩形根据确定的
Figure 503283DEST_PATH_IMAGE053
进行调整，得到预测3D矩形框。
在另一实施场景中，标注人员在连续的多帧点云数据中，对目标车辆进行标注时，可以采用如下过程进行标注：
通过点云视频播放的方式，在连续的多帧点云数据中，确定多个包括目标车辆的关键帧点云数据。其中，关键帧点云数据为目标车辆的运动状态发生改变的帧点云数据，例如：将该目标车辆由静止状态变为行驶状态时的帧点云数据确定为关键帧点云数据。或者将该目标车辆由直行状态变为转弯状态时的帧点云数据确定为关键帧点云数据。
由标注人员对各关键帧点云数据中的目标车辆进行标注，得到目标车辆在各关键帧点云数据中的基准3D矩形框，并将各基准3D矩形框的坐标参数信息进行记录，记为：
Figure 128300DEST_PATH_IMAGE015
，其中
Figure 659775DEST_PATH_IMAGE017
为基准3D矩形框的中心坐标，
Figure 3032DEST_PATH_IMAGE018
为基准3D矩形框的长、宽、高，θ为基准3D矩形框基于Z轴的旋转角度，k为关键帧点云数据的位置信息，即，k表征当前关键帧点云数据在多帧点云数据中的位置。
基于已标注的多个基准3D矩形框，采用插值算法，对目标车辆在多帧点云数据的其他帧点云数据中的位置进行预测，确定并预标注目标车辆在其他帧点云数据中的初始3D矩形框。将各初始3D矩形框的坐标参数信息进行记录，记为：
Figure 176524DEST_PATH_IMAGE056
，且
Figure 170894DEST_PATH_IMAGE030
。其中，
Figure 873271DEST_PATH_IMAGE032
为其他帧点云数据中每一帧点云数据的位置信息，即，
Figure 703823DEST_PATH_IMAGE032
表征当前其他帧点云数据在多帧点云数据中的位置。
基于人工标注的基准3D矩形框，对各预标注的初始3D矩形框进行调整，以提高目标车辆的标注准确度。针对同一目标车辆进行标注时，基于刚体的需求，需将各基准3D矩形框与各初始3D矩形框的长、宽、高保持一致。进而在调整初始3D矩形框时，仅需调整初始3D矩形框的中心坐标以及在Z轴方向上的旋转角度即可。
为确定需要调整的调整参数，即，需要调整的初始3D矩形框的中心坐标以及在Z轴方向上的旋转角度，先确定各关键帧点云数据中代表目标物体的多个点云数据到达对应基准3D矩形框的左面，前面和底面之间的距离，确定各基准3D矩形框基准投影特征。计算单个点云数据在基准3D矩形框的左面，前面和底面上的投影特征可以采用下述公式进行计算：
Figure 149848DEST_PATH_IMAGE019
，其中，
Figure 15036DEST_PATH_IMAGE020
表示基准3D矩形框的基准投影特征，即，
Figure 888314DEST_PATH_IMAGE021
。
Figure 206163DEST_PATH_IMAGE022
、
Figure 190300DEST_PATH_IMAGE023
、
Figure 909994DEST_PATH_IMAGE024
为
Figure 203441DEST_PATH_IMAGE018
的缩写，分别表示为基准3D矩形框的长、宽、高。
Figure 8586DEST_PATH_IMAGE057
表示为基于基准3D矩形框左面，前面和底面在Z轴方向上的投影的旋转角度矩阵参数，
Figure 61992DEST_PATH_IMAGE058
。
Figure 636193DEST_PATH_IMAGE025
为单个点数据在雷达点云坐标系中的坐标，即，
Figure 851274DEST_PATH_IMAGE026
。
Figure 878136DEST_PATH_IMAGE027
即为基准3D矩形框的中心坐标参数，即
Figure 735233DEST_PATH_IMAGE028
。计算单个点云数据在基准3D矩形框的多个平面上的投影特征的完整表达式如下：
Figure 163941DEST_PATH_IMAGE038
。
为得到调整后的初始3D矩形框的坐标参数信息，可以预先构建调整函数：
Figure 549923DEST_PATH_IMAGE008
，其中，
Figure 329660DEST_PATH_IMAGE010
为第i帧点云数据中初始3D矩形框的中心坐标参数；
Figure 708557DEST_PATH_IMAGE010
为第i帧点云数据中的目标物体的初始3D矩形框的调整参数；
Figure 991771DEST_PATH_IMAGE011
为第i帧点云数据中初始3D矩形框经过调整后的中心坐标参数；
Figure 79813DEST_PATH_IMAGE012
为第i帧点云数据中初始3D矩形框的关于Z轴旋转的旋转角度参数；
Figure 81267DEST_PATH_IMAGE013
为关于Z轴旋转的旋转角度调整参数；
Figure 14588DEST_PATH_IMAGE014
为第i帧点云数据中初始3D矩形框经过调整后的旋转角度参数。进而基于目标投影特征与各基准投影特征之间的匹配度，确定
Figure 152308DEST_PATH_IMAGE010
。
确定目标投影特征，可以采用如下公式进行计算：
Figure 145672DEST_PATH_IMAGE033
，
Figure 634422DEST_PATH_IMAGE034
用于表示目标投影特征，
Figure 371434DEST_PATH_IMAGE022
、
Figure 629240DEST_PATH_IMAGE023
、
Figure 42773DEST_PATH_IMAGE024
，分别表示为调整后的初始3D矩形框的长、宽、高，与基准3D矩形框的长、宽、高的数值大小相同。
Figure 753240DEST_PATH_IMAGE035
为表示为投影到经过动态调整后的初始3D矩形框基于动态调整后的初始3D矩形框的左面、前面和底面确定的旋转角度矩阵，
Figure 28363DEST_PATH_IMAGE059
表示为经过动态调整后的初始3D矩形框中的点数据在雷达点云坐标系中的坐标，
Figure 406255DEST_PATH_IMAGE011
表示为经过调整后的初始3D矩形框的中心坐标参数。确定目标投影特征的完整表达式如下：
Figure 475842DEST_PATH_IMAGE039
。
通过相似函数，确定目标投影特征与各基准投影特征之间的相似情况，可以采用如下公式进行确定：
Figure 204764DEST_PATH_IMAGE043
。其中，
Figure 17999DEST_PATH_IMAGE044
为子匹配结果。
Figure 250397DEST_PATH_IMAGE034
为目标投影特征。
Figure 490886DEST_PATH_IMAGE045
为调整后的初始3D矩形框中点云数据的数量。
Figure 690792DEST_PATH_IMAGE020
为基准投影特征。相似函数E （x）定义为：
Figure 307718DEST_PATH_IMAGE046
，
Figure 394623DEST_PATH_IMAGE047
为用于限定目标投影特征与基准投影特征之间的相似度阈值进而根据多个子匹配结果结合，得到目标投影特征和多个基准投影特征的匹配结果的公式可以如下：
Figure 337171DEST_PATH_IMAGE048
，M用于表征匹配结果。
为提高调整参数的准确度，使调整后的标注结果质量更优质，基于目标投影特征和多个所述基准投影特征的匹配结果，采用最优化算法，确定调整初始3D矩形框的最佳调整参数。最优调整参数的函数公式的表达式可以如下：
Figure 509526DEST_PATH_IMAGE052
，其中，
Figure 664564DEST_PATH_IMAGE053
为最终确定的调整参数。通过不断调整
Figure 871554DEST_PATH_IMAGE055
，改变初始3D矩形框的位姿，确定调整后的初始3D矩形框对应的目标投影特征与各基准投影特征之间的匹配结果，得到与多个所述基准投影特征的匹配结果为相似度最高的目标投影特征。将与多个所述基准投影特征的匹配结果为相似度最高的目标投影特征的
Figure 453845DEST_PATH_IMAGE055
作为初始3D矩形框最佳调整的调整参数，进而使初始3D矩形根据确定的
Figure 379076DEST_PATH_IMAGE053
进行调整，得到预测3D矩形框。预测3D矩形框的坐标参数信息可以为：
Figure 337805DEST_PATH_IMAGE060
。
进一步的，相关标注场景中，针对同一组待标注的多帧点云数据，可能是由多名标注人员共同进行标注。由于标注人员不同，进而在标注目标物体的3D矩形框时可能存在标注差异，影响标注质量。通过本公开提供的点云数据标注方法，由于减少了人工标注量，加快了目标物体的标准速率，进而在进行标注时，便可以由单人负责，从而减少不同标注人员标注差异性带来的数据质量问题。
基于相同的构思，本公开实施例还提供一种点云数据标注装置。
可以理解的是，本公开实施例提供的点云数据标注装置为了实现上述功能，其包含了执行各个功能相应的硬件结构和/或软件模块。结合本公开实施例中所公开的各示例的单元及算法步骤，本公开实施例能够以硬件或硬件和计算机软件的结合形式来实现。某个功能究竟以硬件还是计算机软件驱动硬件的方式来执行，取决于技术方案的特定应用和设计约束条件。本领域技术人员可以对每个特定的应用来使用不同的方法来实现所描述的功能，但是这种实现不应认为超出本公开实施例的技术方案的范围。
图6是根据一示例性实施例示出的一种点云数据标注装置框图。参照图6，该点云数据标注装置100包括确定单元101，预测单元102和调整单元103。
确定单元101，用于在连续的多帧点云数据中，确定多个包括目标物体的关键帧点云数据，并标注目标物体在各关键帧点云数据中的3D矩形框，得到多个基准3D矩形框。
预测单元102，用于基于基准3D矩形框，在多帧点云数据的其他帧点云数据中，确定目标物体预标注的初始3D矩形框。
调整单元103，用于基于一个或者多个基准3D矩形框，调整初始3D矩形框的位姿，确定预测3D矩形框。
在一实施例中，调整单元103采用下述方式基于一个或者多个基准3D矩形框，调整初始3D矩形框的位姿：确定各基准3D矩形框的基准投影特征，基准投影特征为基准3D矩形框中各点数据投影在基准3D矩形框的多个平面上的投影特征集合。基于基准投影特征，通过动态调整初始3D矩形框的位姿，确定预测3D矩形框。
在另一实施例中，调整单元103采用下述方式基于基准投影特征，通过动态调整初始3D矩形框的位姿，确定预测3D矩形框：基于目标投影特征和一个或者多个基准投影特征，确定匹配结果，其中，目标投影特征为动态调整后的初始3D矩形框中各点数据投影在动态调整后的初始3D矩形框的多个平面上的投影特征集合，匹配结果与目标投影特征和一个或多个基准投影特征之间的相似度正相关。基于匹配结果及对应的目标投影特征，确定预测3D矩形框。
在又一实施例中，调整单元103采用下述方式基于目标投影特征和一个基准投影特征，确定匹配结果：将目标投影特征和指定的基准投影特征进行匹配，确定匹配结果。
在又一实施例中，确定单元101，还用于：在多帧点云数据中，确定与初始3D矩形框对应的帧点云数据位置最近的关键帧点云数据。将与初始3D矩形框对应的帧点云数据位置最近的关键帧点云数据对应的基准投影特征，作为指定的基准投影特征。
在又一实施例中，调整单元103采用下述方式基于目标投影特征和多个基准投影特征，确定匹配结果：基于目标投影特征与各基准投影特征之间的欧氏距离，分别确定目标投影特征与各基准投影特征之间的匹配关系，得到多个子匹配结果。基于多个子匹配结果，确定目标投影特征和多个基准投影特征的匹配结果。
在又一实施例中，调整单元103调整单元采用下述方式基于匹配结果及对应的目标投影特征，确定预测3D矩形框：基于匹配结果，采用最优化算法，动态调整初始3D矩形框的位姿，确定动态调整后目标投影特征。将与多个基准投影特征的相似度最高的目标投影特征对应的动态调整后的初始3D矩形框，确定为预测3D矩形框。
在又一实施例中，基准3D矩形框的多个平面包括：基准3D矩形框的左面、前面和底面。动态调整后的初始3D矩形框的多个平面包括：动态调整后的初始3D矩形框的左面、前面和底面。
在又一实施例中，确定单元101采用下述方式在连续的多帧点云数据中，确定多个包括目标物体的关键帧点云数据：根据目标物体在多帧点云数据中的运动状态，确定多个包括目标物体的关键帧点云数据。
在又一实施例中，确定单元101采用下述方式根据目标物体在多帧点云数据中的运动状态，确定多个包括目标物体的关键帧点云数据：若目标物体在多帧点云数据中的运动状态发生变化，则确定发生变化的帧点云数据为目标物体的关键帧点云数据。
关于上述实施例中的装置，其中各个模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述，此处将不做详细阐述说明。
进一步的，在示例性实施例中，点云数据标注装置可以被一个或多个应用专用集成电路（ASIC）、数字信号处理器（DSP）、数字信号处理设备（DSPD）、可编程逻辑器件（PLD）、现场可编程门阵列（FPGA）、控制器、微控制器、微处理器或其他电子元件实现，用于执行上述方法。例如，点云数据标注装置包括：存储器，用于存储指令；以及处理器，用于调用所述存储器存储的指令执行上述任意一种实施例提供的点云数据标注方法。
在示例性实施例中，还提供了一种包括指令的非临时性计算机可读存储介质，例如包括指令的存储器，上述指令可由卷点云数据标注装置的处理器执行以完成上述方法。例如，所述非临时性计算机可读存储介质可以是ROM、随机存取存储器（RAM）、CD-ROM、磁带、软盘和光数据存储设备等。
进一步可以理解的是，本公开中“多个”是指两个或两个以上，其它量词与之类似。“和/或”，描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。字符“/”一般表示前后关联对象是一种“或”的关系。单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义。
进一步可以理解的是，术语“第一”、“第二”等用于描述各种信息，但这些信息不应限于这些术语。这些术语仅用来将同一类型的信息彼此区分开，并不表示特定的顺序或者重要程度。实际上，“第一”、“第二”等表述完全可以互换使用。例如，在不脱离本公开范围的情况下，第一信息也可以被称为第二信息，类似地，第二信息也可以被称为第一信息。
进一步可以理解的是，除非有特殊说明，“连接”包括两者之间不存在其他构件的直接连接，也包括两者之间存在其他元件的间接连接。
进一步可以理解的是，本公开实施例中尽管在附图中以特定的顺序描述操作，但是不应将其理解为要求按照所示的特定顺序或是串行顺序来执行这些操作，或是要求执行全部所示的操作以得到期望的结果。在特定环境中，多任务和并行处理可能是有利的。
本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本公开的其它实施方案。本申请旨在涵盖本公开的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本公开的真正范围和精神由下面的权利要求指出。
应当理解的是，本公开并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本公开的范围仅由所附的权利要求来限制。

Claims (22)

1.一种点云数据标注方法，其特征在于，所述点云数据标注方法包括：
在连续的多帧点云数据中，确定多个包括目标物体的关键帧点云数据，并标注所述目标物体在各所述关键帧点云数据中的3D矩形框，得到多个基准3D矩形框；
基于多个所述基准3D矩形框，在所述多帧点云数据的其他帧点云数据中，确定所述目标物体预标注的初始3D矩形框；
基于一个或者多个所述基准3D矩形框，调整所述初始3D矩形框的位姿，确定预测3D矩形框。
2.根据权利要求1所述的点云数据标注方法，其特征在于，所述基于一个或者多个所述基准3D矩形框，调整所述初始3D矩形框的位姿，确定预测3D矩形框，包括：
确定各所述基准3D矩形框的基准投影特征，所述基准投影特征为所述基准3D矩形框中各点数据投影在所述基准3D矩形框的多个平面上的投影特征集合；
基于所述基准投影特征，通过动态调整所述初始3D矩形框的位姿，确定所述预测3D矩形框。
3.根据权利要求2所述的点云数据标注方法，其特征在于，所述基于所述基准投影特征，通过动态调整所述初始3D矩形框的位姿，确定所述预测3D矩形框，包括：
基于目标投影特征和一个或者多个所述基准投影特征，确定匹配结果，其中，所述目标投影特征为动态调整后的所述初始3D矩形框中各点数据投影在动态调整后的所述初始3D矩形框的多个平面上的投影特征集合，所述匹配结果与所述目标投影特征和一个或多个所述基准投影特征之间的相似度正相关；
基于所述匹配结果及对应的目标投影特征，确定所述预测3D矩形框。
4.根据权利要求3所述的点云数据标注方法，其特征在于，基于所述目标投影特征和一个所述基准投影特征，确定匹配结果，包括：
将所述目标投影特征和指定的基准投影特征进行匹配，确定匹配结果。
5.根据权利要求4所述的点云数据标注方法，其特征在于，所述点云数据标注方法，还包括：
在所述多帧点云数据中，确定与所述初始3D矩形框对应的帧点云数据位置最近的关键帧点云数据；
将与所述初始3D矩形框对应的帧点云数据位置最近的关键帧点云数据对应的基准投影特征，作为指定的基准投影特征。
6.根据权利要求3所述的点云数据标注方法，其特征在于，基于所述目标投影特征和多个所述基准投影特征，确定匹配结果，包括：
基于所述目标投影特征与各所述基准投影特征之间的欧氏距离，分别确定所述目标投影特征与各所述基准投影特征之间的匹配关系，得到多个子匹配结果；
基于多个子匹配结果，确定所述目标投影特征和多个所述基准投影特征的匹配结果。
7.根据权利要求3至6中任意一种所述的点云数据标注方法，其特征在于，所述基于所述匹配结果及对应的目标投影特征，确定所述预测3D矩形框，包括：
基于所述匹配结果，采用最优化算法，动态调整所述初始3D矩形框的位姿，确定动态调整后所述目标投影特征；
将与多个所述基准投影特征的相似度最高的目标投影特征对应的动态调整后的初始3D矩形框，确定为所述预测3D矩形框。
8.根据权利要求7所述的点云数据标注方法，其特征在于，
所述基准3D矩形框的多个平面包括：所述基准3D矩形框的左面、前面和底面；
动态调整后的所述初始3D矩形框的多个平面包括：动态调整后的所述初始3D矩形框的左面、前面和底面。
9.根据权利要求1所述的点云数据标注方法，其特征在于，所述在连续的多帧点云数据中，确定多个包括目标物体的关键帧点云数据，包括：
根据所述目标物体在所述多帧点云数据中的运动状态，确定多个包括目标物体的关键帧点云数据。
10.根据权利要求9所述的点云数据标注方法，其特征在于，所述根据所述目标物体在所述多帧点云数据中的运动状态，确定多个包括目标物体的关键帧点云数据，包括：
若所述目标物体在所述多帧点云数据中的运动状态发生变化，则确定发生变化的帧点云数据为目标物体的关键帧点云数据。
11.一种点云数据标注装置，其特征在于，所述点云数据标注装置包括：
确定单元，用于在连续的多帧点云数据中，确定多个包括目标物体的关键帧点云数据，并标注所述目标物体在各所述关键帧点云数据中的3D矩形框，得到多个基准3D矩形框；
预测单元，用于基于多个所述基准3D矩形框，在所述多帧点云数据的其他帧点云数据中，确定所述目标物体预标注的初始3D矩形框；
调整单元，用于基于一个或者多个所述基准3D矩形框，调整所述初始3D矩形框的位姿，确定预测3D矩形框。
12.根据权利要求11所述的点云数据标注装置，其特征在于，所述调整单元采用下述方式基于一个或者多个所述基准3D矩形框，调整所述初始3D矩形框的位姿：
确定各所述基准3D矩形框的基准投影特征，所述基准投影特征为所述基准3D矩形框中各点数据投影在所述基准3D矩形框的多个平面上的投影特征集合；
基于所述基准投影特征，通过动态调整所述初始3D矩形框的位姿，确定所述预测3D矩形框。
13.根据权利要求12所述的点云数据标注装置，其特征在于，所述调整单元采用下述方式基于所述基准投影特征，通过动态调整所述初始3D矩形框的位姿，确定所述预测3D矩形框：
基于目标投影特征和一个或者多个所述基准投影特征，确定匹配结果，其中，所述目标投影特征为动态调整后的所述初始3D矩形框中各点数据投影在动态调整后的所述初始3D矩形框的多个平面上的投影特征集合，所述匹配结果与所述目标投影特征和一个或多个所述基准投影特征之间的相似度正相关；
基于所述匹配结果及对应的目标投影特征，确定所述预测3D矩形框。
14.根据权利要求13所述的点云数据标注装置，其特征在于，所述调整单元采用下述方式基于所述目标投影特征和一个所述基准投影特征，确定匹配结果：
将所述目标投影特征和指定的基准投影特征进行匹配，确定匹配结果。
15.根据权利要求14所述的点云数据标注装置，其特征在于，所述确定单元，还用于：
在所述多帧点云数据中，确定与所述初始3D矩形框对应的帧点云数据位置最近的关键帧点云数据；
将与所述初始3D矩形框对应的帧点云数据位置最近的关键帧点云数据对应的基准投影特征，作为指定的基准投影特征。
16.根据权利要求13所述的点云数据标注装置，其特征在于，所述调整单元采用下述方式基于所述目标投影特征和多个所述基准投影特征，确定匹配结果：
基于所述目标投影特征与各所述基准投影特征之间的欧氏距离，分别确定所述目标投影特征与各所述基准投影特征之间的匹配关系，得到多个子匹配结果；
基于多个子匹配结果，确定所述目标投影特征和多个所述基准投影特征的匹配结果。
17.根据权利要求13至16中任意一种所述的点云数据标注装置，其特征在于，所述调整单元采用下述方式基于所述匹配结果及对应的目标投影特征，确定所述预测3D矩形框：
基于所述匹配结果，采用最优化算法，动态调整所述初始3D矩形框的位姿，确定动态调整后所述目标投影特征；
将与多个所述基准投影特征的相似度最高的目标投影特征对应的动态调整后的初始3D矩形框，确定为所述预测3D矩形框。
18.根据权利要求17中所述的点云数据标注装置，其特征在于，
所述基准3D矩形框的多个平面包括：所述基准3D矩形框的左面、前面和底面；
动态调整后的所述初始3D矩形框的多个平面包括：动态调整后的所述初始3D矩形框的左面、前面和底面。
19.根据权利要求11所述的点云数据标注装置，其特征在于，所述确定单元采用下述方式在连续的多帧点云数据中，确定多个包括目标物体的关键帧点云数据：
根据所述目标物体在所述多帧点云数据中的运动状态，确定多个包括目标物体的关键帧点云数据。
20.根据权利要求19所述的点云数据标注装置，其特征在于，所述确定单元采用下述方式根据所述目标物体在所述多帧点云数据中的运动状态，确定多个包括目标物体的关键帧点云数据：
若所述目标物体在所述多帧点云数据中的运动状态发生变化，则确定发生变化的帧点云数据为目标物体的关键帧点云数据。
21. 一种点云数据标注装置，其特征在于，所述点云数据标注装置包括：
存储器，用于存储指令；以及
处理器，用于调用所述存储器存储的指令执行如权利要求1-10中任意一项所述的点云数据标注方法。
22.一种计算机可读存储介质，其中存储有指令，所述指令被处理器执行时，执行如权利要求1-10中任意一项所述的点云数据标注方法。
CN202110018470.0A 2021-01-07 2021-01-07 点云数据标注方法、点云数据标注装置及存储介质 Active CN112346074B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110018470.0A CN112346074B (zh) 2021-01-07 2021-01-07 点云数据标注方法、点云数据标注装置及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110018470.0A CN112346074B (zh) 2021-01-07 2021-01-07 点云数据标注方法、点云数据标注装置及存储介质

Publications (2)

Publication Number Publication Date
CN112346074A true CN112346074A (zh) 2021-02-09
CN112346074B CN112346074B (zh) 2021-04-20

Family

ID=74427931

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110018470.0A Active CN112346074B (zh) 2021-01-07 2021-01-07 点云数据标注方法、点云数据标注装置及存储介质

Country Status (1)

Country Link
CN (1) CN112346074B (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113763573A (zh) * 2021-09-17 2021-12-07 北京京航计算通讯研究所 一种三维物体数字化标注方法及装置
CN114582140A (zh) * 2022-01-17 2022-06-03 浙江银江智慧交通工程技术研究院有限公司 城市道路交叉口交通流量的识别方法、系统、装置和介质
WO2024065143A1 (zh) * 2022-09-27 2024-04-04 华为技术有限公司 点云数据的标注方法和装置

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110651276A (zh) * 2017-03-17 2020-01-03 纽拉拉股份有限公司 标注和标记用于深度神经网络和神经网络应用的数据流的在线增量实时学习
CN110660101A (zh) * 2019-08-19 2020-01-07 浙江理工大学 基于rgb图像和坐标系变换的物体6d姿势预测方法
CN111046743A (zh) * 2019-11-21 2020-04-21 新奇点企业管理集团有限公司 一种障碍物信息标注方法、装置、电子设备和存储介质
CN111325796A (zh) * 2020-02-28 2020-06-23 北京百度网讯科技有限公司 用于确定视觉设备的位姿的方法和装置
US20200306587A1 (en) * 2019-03-25 2020-10-01 FitLens, Inc. Systems and methods for real-time feedback and athletic training
CN111798475A (zh) * 2020-05-29 2020-10-20 浙江工业大学 一种基于点云深度学习的室内环境3d语义地图构建方法
CN112017202A (zh) * 2019-05-28 2020-12-01 杭州海康威视数字技术股份有限公司 点云标注方法、装置及系统
CN112119427A (zh) * 2019-06-28 2020-12-22 深圳市大疆创新科技有限公司 目标跟随的方法、系统、可读存储介质和可移动平台

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110651276A (zh) * 2017-03-17 2020-01-03 纽拉拉股份有限公司 标注和标记用于深度神经网络和神经网络应用的数据流的在线增量实时学习
US20200306587A1 (en) * 2019-03-25 2020-10-01 FitLens, Inc. Systems and methods for real-time feedback and athletic training
CN112017202A (zh) * 2019-05-28 2020-12-01 杭州海康威视数字技术股份有限公司 点云标注方法、装置及系统
CN112119427A (zh) * 2019-06-28 2020-12-22 深圳市大疆创新科技有限公司 目标跟随的方法、系统、可读存储介质和可移动平台
CN110660101A (zh) * 2019-08-19 2020-01-07 浙江理工大学 基于rgb图像和坐标系变换的物体6d姿势预测方法
CN111046743A (zh) * 2019-11-21 2020-04-21 新奇点企业管理集团有限公司 一种障碍物信息标注方法、装置、电子设备和存储介质
CN111325796A (zh) * 2020-02-28 2020-06-23 北京百度网讯科技有限公司 用于确定视觉设备的位姿的方法和装置
CN111798475A (zh) * 2020-05-29 2020-10-20 浙江工业大学 一种基于点云深度学习的室内环境3d语义地图构建方法

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113763573A (zh) * 2021-09-17 2021-12-07 北京京航计算通讯研究所 一种三维物体数字化标注方法及装置
CN114582140A (zh) * 2022-01-17 2022-06-03 浙江银江智慧交通工程技术研究院有限公司 城市道路交叉口交通流量的识别方法、系统、装置和介质
WO2024065143A1 (zh) * 2022-09-27 2024-04-04 华为技术有限公司 点云数据的标注方法和装置

Also Published As

Publication number Publication date
CN112346074B (zh) 2021-04-20

Similar Documents

Publication Publication Date Title
CN112346074B (zh) 点云数据标注方法、点云数据标注装置及存储介质
US9990736B2 (en) Robust anytime tracking combining 3D shape, color, and motion with annealed dynamic histograms
Krull et al. 6-dof model based tracking via object coordinate regression
US11667036B2 (en) Workpiece picking device and workpiece picking method
JP7330276B2 (ja) トレーラ挟角の測定方法、装置及び車両
CN105956997A (zh) 图像形变处理的方法和装置
US9189689B2 (en) Robust scale estimation in real-time monocular SFM for autonomous driving
CN112967344B (zh) 相机外参标定的方法、设备、存储介质及程序产品
CN113409459A (zh) 高精地图的生产方法、装置、设备和计算机存储介质
CN108072385A (zh) 移动目标的空间坐标定位方法、装置及电子设备
CN104915969A (zh) 一种基于粒子群优化的模版匹配跟踪方法
CN109934851A (zh) 一种标注方法、装置及机器可读存储介质
US11972578B2 (en) Method and system for object tracking using online training
CN109840463A (zh) 一种车道线识别方法和装置
WO2022048493A1 (zh) 摄像头外参标定的方法与装置
US20220414917A1 (en) Method and apparatus for obtaining 3d information of vehicle
CN108492315A (zh) 一种动态人脸跟踪方法
CN110207702A (zh) 目标定位的方法及装置
WO2022188460A1 (zh) 光照渲染方法、装置、电子设备及存储介质
KR20110032366A (ko) 영상 처리 장치 및 방법
CN118244281A (zh) 一种视觉与雷达融合的目标定位方法及装置
Fanani et al. Keypoint trajectory estimation using propagation based tracking
CN107274477B (zh) 一种基于三维空间表层的背景建模方法
WO2021189420A1 (zh) 一种数据处理方法及装置
CN109389633B (zh) 基于lsd-slam和激光雷达的深度信息估计方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant