CN115861733A - 点云数据标注方法、模型训练方法、电子设备及存储介质 - Google Patents

Abstract

本申请公开了一种点云数据标注方法、模型训练方法、电子设备及存储介质，点云数据标注方法包括通过对当前帧点云数据进行栅格化处理，以得到当前帧点云数据的主干特征，获取对相邻两帧点云数据进行标注得到的至少一个真值框，对至少一个真值框进行处理，以得到已标注的相邻两帧点云数据的真值特征，将当前帧点云数据的主干特征与已标注的相邻两帧点云数据的真值特征进行拼接融合处理，得到融合特征，从而依据融合特征得到当前帧点云数据的检测框，实现标注。本申请的方案通过在待标注的点云数据的主干特征中融入已标注的相邻两帧点云数据的真值特征，以较少的资源，输出更好的结果，节省人力物力。

Description

点云数据标注方法、模型训练方法、电子设备及存储介质

技术领域

本申请涉及机器学习技术领域，特别是涉及一种点云数据标注方法、模型训练方法、电子设备及存储介质。

背景技术

在训练高精度的点云3D目标检测模型的过程中，需要大量的点云标注数据，一些现有方法中，完全由人工对全部待标注数据进行标注，以得到点云标注数据，耗费大量人力物力。

发明内容

本申请至少提供一种点云数据标注方法、模型训练方法、电子设备及存储介质，以解决上述问题。

本申请第一方面提供了一种点云数据标注方法，所述方法包括：获取待标注的当前帧点云数据，其中所述当前帧点云数据位于连续的多帧点云数据中已标注的相邻两帧点云数据之间；

对所述当前帧点云数据进行栅格化处理，以得到所述当前帧点云数据的主干特征；

获取对所述相邻两帧点云数据中每一帧进行标注所得到的至少一个真值框，并对所述至少一个真值框进行处理，以得到已标注的所述相邻两帧点云数据中每一帧的真值特征；

将所述当前帧点云数据的主干特征和已标注的所述相邻两帧点云数据的真值特征进行拼接融合处理，以得到融合特征，从而依据所述融合特征得到所述当前帧点云数据的检测框，实现标注。

其中，所述连续的多帧点云数据中已标注的每两个相邻帧点云数据间隔相同帧数的点云数据。

其中，所述主干特征通过第一三维张量表征，所述真值特征通过第二三维张量表征，所述第二三维张量的二维张量的大小与所述第一三维张量的二维张量的大小相等；

将所述当前帧点云数据的主干特征和所述相邻两帧点云数据的真值特征进行拼接融合处理，包括：沿着大小相等的所述二维张量，对所述当前帧点云数据的主干特征和已标注的所述相邻两帧点云数据的真值特征进行拼接融合。

其中，所述至少一个真值框对应于至少一个检测类别；对所述至少一个真值框进行处理，以得到已标注的所述相邻两帧点云数据的真值特征，包括：获取所述至少一个真值框所在的三维空间中的预设兴趣区域与所述第二三维张量的二维张量之间的尺寸比例关系；

依据所述尺寸比例关系、所述至少一个真值框中的每一个的中心点在所述预设兴趣区域中的初始坐标以及所述至少一个真值框中每一个对应的检测类别，确定所述至少一个真值框中每一个的中心点在所述第二三维张量内的映射坐标，以得到至少一个所述映射坐标；

给至少一个所述映射坐标中的每一个赋值，从而得到所述真值特征。

其中，所述初始坐标包括中心点x轴坐标、中心点y轴坐标以及中心点z轴坐标；给至少一个所述映射坐标中的每一个赋值，包括：赋值所述真值框的真值框长度、真值框宽度、真值框高度、真值框朝向、中心点z轴坐标以及所述真值框对应的已标注的相邻帧点云数据距离所述当前帧点云数据的时间间隔。

其中，对所述相邻两帧点云数据中每一帧进行标注，包括：将所述相邻两帧点云数据中每一帧输入到预标注模型中，以输出至少一个标注框；

对所述至少一个标注框进行修正，以得到所述至少一个真值框。

其中，依据所述融合特征得到所述当前帧点云数据的检测框，进一步包括：对所述检测框进行修正。

本申请第二方面提供了一种模型训练方法，包括：

获取点云数据标注的检测框；其中，所述点云数据标注的检测框是利用上述第一方面中的点云数据标注方法而得到的；

通过所述点云数据标注的检测框对模型进行训练操作处理，以得到训练后的目标模型。

本申请第三方面提供了一种电子设备，包括相互耦接的存储器和处理器，所述处理器用于执行所述存储器中存储的程序指令，以实现上述第一方面中的点云数据标注方法或上述第二方面中的模型训练方法。

本申请第四方面提供了一种非易失性计算机可读存储介质，所述计算机可读存储介质用于存储程序指令，所述程序指令在被处理器执行时，用于实现上述第一方面中的点云数据标注方法或上述第二方面中的模型训练方法。

上述方案，待标注的当前帧点云数据位于连续的多帧点云数据中已标注的相邻两帧点云数据之间，通过对当前帧点云数据进行栅格化处理，以得到当前帧点云数据的主干特征，获取对相邻两帧点云数据进行标注得到的至少一个真值框，对至少一个真值框进行处理，以得到已标注的相邻两帧点云数据的真值特征，将当前帧点云数据的主干特征与已标注的相邻两帧点云数据的真值特征进行拼接融合处理，得到融合特征，从而依据融合特征得到当前帧点云数据的检测框，实现标注。本申请的方案通过在待标注的点云数据的主干特征中融入已标注的相邻两帧点云数据的真值特征，以较少的资源，输出更好的结果，节省人力物力。

应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，而非限制本申请。

附图说明

此处的附图被并入说明书中并构成本说明书的一部分，这些附图示出了符合本申请的实施例，并与说明书一起用于说明本申请的技术方案。

图1是本申请实施例中点云数据标注方法的流程示意图；

图2是本申请实施例中点云数据的第一分布示意图；

图3是本申请实施例中点云数据标注方法的工作流程示意图；

图4是本申请实施例中点云数据的第二分布示意图；

图5(a)是本申请实施例中主干特征的形状示意图；

图5(b)是本申请实施例中真值特征的形状示意图；

图5(c)是本申请实施例中融合特征的形状示意图；

图6是本申请实施例中映射关系的场景示意图；

图7是本申请实施例中赋值的场景示意图；

图8是本申请实施例中模型训练方法的流程示意图；

图9是本申请实施例中电子设备的结构示意图；

图10是本申请实施例中非易失性计算机可读存储介质的结构示意图。

具体实施方式

下面结合附图和实施例，对本申请作进一步的详细描述。特别指出的是，以下实施例仅用于说明本申请，但不对本申请的范围进行限定。同样的，以下实施例仅为本申请的部分实施例而非全部实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本申请保护的范围。

在本申请中提及“实施例”意味着，结合实施例描述的特定特征、结构或特性可以包含在本申请的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例，也不是与其它实施例互斥的独立的或备选的实施例。本领域技术人员显式地和隐式地理解的是，本文所描述的实施例可以与其它实施例相结合。

本文中术语“和/或”，仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。另外，本文中字符“/”，一般表示前后关联对象是一种“或”的关系。此外，本文中的“多”表示两个或者多于两个。另外，本文中术语“至少一种”表示多种中的任意一种或多种中的至少两种的任意组合，例如，包括A、B、C中的至少一种，可以表示包括从A、B和C构成的集合中选择的任意一个或多个元素。另外，本申请中的术语“第一”、“第二”、“第三”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。

如上述，一些现有方法中，完全由人工对全部待标注数据进行标注，以得到点云标注数据，耗费大量人力物力。

为此，本申请提供一种点云数据标注方法、模型训练方法、电子设备及存储介质，以解决上述问题。

请参阅图1，图1是本申请实施例中点云数据标注方法的流程示意图。需注意的是，若有实质上相同的结果，本申请的方法并不以图1所示的流程顺序为限。本方法可以应用于具有计算等功能的电子设备，电子设备可通过接收传感器设备采集的信息，执行本方法，传感器设备可以是模型训练车辆装备的毫米波雷达、激光雷达或摄像头，传感器设备在模型训练车辆行驶过程中感知车辆周边真实物理世界动态场景，场景中包括道路上的车辆、行人、建筑物等。如图1所示，点云数据标注方法包括如下步骤：

S11、获取待标注的当前帧点云数据，其中当前帧点云数据位于连续的多帧点云数据中已标注的相邻两帧点云数据之间。

可以利用雷达传感器对点云数据进行采集，例如，将雷达传感器安装于一可移动的设备上。其中，该可移动的设备可以是自动移动设备，如机器人、模型训练车辆等。

在一些实施例中，雷达传感器可以激光雷达传感器，如机械式激光雷达、半固态激光雷达或固态激光雷达。在一个实施例中，雷达传感器可以是应用于模型训练并满足感知精度要求的，可提供点云数据的任何雷达设备。

在一应用场景中，自动驾驶车辆在道路上行驶，通过设置于该自动驾驶车辆上的雷达传感器获取自动驾驶车辆周围的点云数据，以得到预设时间段内每一帧的点云数据。

获取待标注的当前帧点云数据，当前帧点云数据位于连续的多帧点云数据中已标注的相邻两帧点云数据之间。可以理解的，图2是本申请实施例中点云数据的第一分布示意图，如图2所示，预设时间段内包括多帧点云数据，其中，实线框表示的是已标注的点云数据(a1、a2、a3、a4、a5)，虚线框表示的是待标注的点云数据(b1、b2、b3、b4、b5、b6、b7、b8)；已标注的点云数据(a1)、待标注的点云数据(b1、b2)、已标注的点云数据(a2)、待标注的点云数据(b3、b4、b5)、已标注的点云数据(a3)、待标注的点云数据(b6、b7)、已标注的点云数据(a4)、待标注的点云数据(b8)、已标注的点云数据(a5)构成连续的多帧点云数据；需要对待标注的点云数据中任一帧进行标注时，则该帧点云数据为待标注的当前帧点云数据。

例如，当需要对待标注的点云数据(b1)进行标注时，则可以确定的是待标注的当前帧点云数据(b1)位于已标注的相邻两帧点云数据(a1、a2)之间，也即，当前帧点云数据(b1)位于已标注的相邻帧点云数据(a1)与已标注的相邻帧点云数据(a2)之间；又如，当需要对待标注的点云数据(b6)进行标注时，则可以确定的是待标注的当前帧点云数据(b6)位于已标注的相邻两帧点云数据(a3、a4)之间，也即，当前帧点云数据(b6)位于已标注的相邻帧点云数据(a3)与已标注的相邻帧点云数据(a4)之间。

S12、对当前帧点云数据进行栅格化处理，以得到当前帧点云数据的主干特征。

对当前帧点云数据进行栅格化处理，如，对当前帧点云数据通过网格进行处理，再经过SparseConv3d backbone，即可得到当前帧点云数据的主干特征，其中，具体的栅格化处理的方式根据实际使用需求设置即可，不作具体限定。可以理解的，继续以上述图2为例进行说明，对当前帧点云数据(b3)进行栅格化处理，得到当前帧点云数据(b3)的主干特征。

S13、获取对相邻两帧点云数据中每一帧进行标注所得到的至少一个真值框，并对至少一个真值框进行处理，以得到已标注的相邻两帧点云数据中每一帧的真值特征。

获取对相邻两帧点云数据中每一帧进行标注所得到的至少一个真值框，可以理解的，对连续的多帧点云数据中的任一帧点云数据进行标注，可以对应得到至少一个真值框，使得每一帧已标注的点云数据均对应有至少一个真值框。对至少一个真值框进行处理，能够得到相应的该帧已标注的点云数据的真值特征，从而得到已标注的相邻两帧点云数据中每一帧的真值特征。

例如，继续以上述图2为例进行说明，当需要对当前帧点云数据(b3)进行标注时，相邻两帧点云数据则分别可以是点云数据(a2)和点云数据(a3)。对点云数据(a2)进行标注得到至少一个真值框，对至少一个真值框进行处理，能够得到点云数据(a2)的真值特征；对点云数据(a3)进行标注得到至少一个真值框，对至少一个真值框进行处理，能够得到点云数据(a3)的真值特征；也即，得到已标注的相邻两帧点云数据(a2、a3)中每一帧的真值特征。

S14、将当前帧点云数据的主干特征和已标注的相邻两帧点云数据的真值特征进行拼接融合处理，以得到融合特征，从而依据融合特征得到当前帧点云数据的检测框，实现标注。

可以理解的，将得到的当前帧点云数据的主干特征与已标注的相邻两帧点云数据的真值特征进行拼接融合处理，能够得到相应的融合特征，其中，具体的融合方式可以根据实际使用需求进行设置，不作具体限定。依据得到的融合特征，能够得到当前帧点云数据的检测框，实现标注。如，将融合特征依次经过深度学习网络的Neck部分和Head部分，以输出得到相应的检测框，其中，输出的检测框可以是3D检测框。

例如，继续以上述图2为例进行说明，图3是本申请实施例中点云数据标注方法的工作流程示意图，如图3所示，当需要对当前帧点云数据(b3)进行标注时，对当前帧点云数据(b3)精细栅格化处理，以得到当前帧点云数据(b3)的主干特征。已标注的相邻两帧点云数据则分别为点云数据(a2)和点云数据(a3)，对相邻两帧点云数据(a2、a3)中每一帧进行标注得到至少一个真值框，获取每一帧对应的至少一个真值框，并对至少一个真值框进行处理，能够得到已标注的相邻两帧点云数据(a2、a3)中每一帧的真值特征。将主干特征与相应的两个真值特征进行拼接融合处理，以得到当前帧点云数据(b3)对应的融合特征，进而依据融合特征，能够得到当前帧点云数据(b3)的检测框，从而实现标注。

上述方案，待标注的当前帧点云数据位于连续的多帧点云数据中已标注的相邻两帧点云数据之间，通过对当前帧点云数据进行栅格化处理，以得到当前帧点云数据的主干特征，获取对相邻两帧点云数据进行标注得到的至少一个真值框，对至少一个真值框进行处理，以得到已标注的相邻两帧点云数据的真值特征，将当前帧点云数据的主干特征与已标注的相邻两帧点云数据的真值特征进行拼接融合处理，得到融合特征，从而依据融合特征得到当前帧点云数据的检测框，实现标注。本申请的方案通过在待标注的点云数据的主干特征中融入已标注的相邻两帧点云数据的真值特征，以较少的资源，输出更好的结果，节省人力物力。

如上述，当前帧点云数据位于连续的多帧点云数据中已标注的相邻两帧点云数据之间。在本申请一实施例中，连续的多帧点云数据中已标注的每两个相邻帧点云数据间隔相同帧数的点云数据。

连续的多帧点云数据中已标注的每两个相邻帧点云数据间隔相同帧数的点云数据，可以理解的，连续的多帧点云数据中包括已标注的点云数据和待标注的点云数据，待标注的点云数据位于已标注的相邻两帧点云数据之间，已标注的每两个相邻帧点云数据之间均间隔相同帧数的待标注的点云数据。其中，已标注的相邻帧点云数据之间间隔的帧数可以根据实际使用需求进行设置，例如，3帧、5帧、10帧，或其它能够实现的数值均可，不作具体限定；即，对连续的多帧点云数据中的点云数据，按照相同间隔进行标注，以得到已标注的点云数据，从而使得已标注的每两个相邻帧点云数据的间隔相同。

例如，图4是本申请实施例中点云数据的第二分布示意图，如图4所示，连续的多帧点云数据中包括点云数据(a1、b1、b2、b3、a2、b4、b5、b6、a3、b7、b8、b9、a4)，按照间隔为3帧点云数据对连续的多帧点云数据进行标注，得到已标注的点云数据(a1、a2、a3、a4)和待标注的点云数据(b1、b2、b3、b4、b5、b6、b7、b8、b9)，从而使得已标注的相邻两帧点云数据(a1、a2)、已标注的相邻两帧点云数据(a2、a3)、已标注的相邻两帧点云数据(a3、a4)之间的间隔均相同，均为3帧点云数据。

如上述，对当前帧点云数据进行栅格化处理得到当前帧点云数据的主干特征，对至少一个真值框进行处理得到已标注的点云数据的真值特征。在本申请一实施例中，主干特征通过第一三维张量表征，真值特征通过第二三维张量表征，第二三维张量的二维张量的大小与第一三维张量的二维张量的大小相等。

主干特征通过第一三维张量表征，可以理解的，主干特征的形状为一个三维矩阵。真值特征通过第二三维张量表征，可以理解的，真值特征的形状也是一个三维矩阵。其中，第二三维张量的二维张量的大小与第一三维张量的二维张量的大小相等，可以理解的，将第一三维张量视为第一长方体，将第二三维张量视为第二长方体，则第一长方体的一个表面的大小与第二长方体的一个表面的大小相等。

例如，图5(a)是本申请实施例中主干特征的形状示意图，图5(b)是本申请实施例中真值特征的形状示意图，如图5(a)和图5(b)所示，主干特征通过第一三维张量表征，第一三维张量的大小为C×W×H，真值特征通过第二三维张量表征，第二三维张量的大小为D×W×H，其中，第一三维张量中的二维张量(W×H)的大小与第二三维张量中的二维张量(W×H)的大小相等。

将当前帧点云数据的主干特征和相邻两帧点云数据的真值特征进行拼接融合处理，包括：沿着大小相等的二维张量，对当前帧点云数据的主干特征和已标注的相邻两帧点云数据的真值特征进行拼接融合。

沿着大小相等的二维张量，对当前帧点云数据的主干特征和已标注的相邻两帧点云数据的真值特征进行拼接融合，可以理解的，继续以上述图5(a)和图5(b)中示出的主干特征和真值特征为例进行说明，已标注的相邻两帧点云数据能够得到相应的两个真值特征，主干特征通过第一三维张量(C×W×H)表征，两个真值特征均通过第二三维张量(D×W×H)表征。图5(c)是本申请实施例中融合特征的形状示意图，如图5(c)所示，沿着大小相等的二维张量(W×H)，将主干特征与两个真值特征进行拼接融合，也即，将第一三维张量(C×W×H)与两个第二三维张量(D×W×H)进行拼接融合，从而得到融合特征[(C+D+D)×W×H]。

如上述，对连续的多帧点云数据中的任一帧进行标注能够得到至少一个真值框。在本申请一实施例中，至少一个真值框对应于至少一个检测类别。

可以理解的，自动驾驶车辆在行驶过程中，通过设置于自动驾驶车辆上的传感器实时感知车辆周围环境，能够得到连续的多帧点云数据，其中任一帧点云数据中包括至少一个检测类别的点云，检测类别可以是车辆、行人等，根据实际使用需求设置即可，不作具体限定。对任一帧点云数据进行标注能够得到至少一个真值框，进而至少一个真值框对应于至少一个检测类别。

对至少一个真值框进行处理，以得到已标注的相邻两帧点云数据的真值特征，包括：获取至少一个真值框所在的三维空间中的预设兴趣区域与第二三维张量的二维张量之间的尺寸比例关系；依据尺寸比例关系、至少一个真值框中的每一个的中心点在预设兴趣区域中的初始坐标以及至少一个真值框中每一个对应的检测类别，确定至少一个真值框中每一个的中心点在第二三维张量内的映射坐标，以得到至少一个映射坐标；给至少一个映射坐标中的每一个赋值，从而得到真值特征。

获取至少一个真值框所在的三维空间中的预设兴趣区域与第二三维张量的二维张量之间的尺寸比例关系，可以理解的，对连续的多帧点云数据中任一帧进行标注时，能够得到三维空间中的至少一个真值框，其中，至少一个真值框对应于至少一个检测类别。预设兴趣区域可以根据实际使用需求进行设置，具体的尺寸大小不作具体限定，如，可以以自动驾驶车辆为的位置为中心，以车辆前后各100米、左右各50米，确定预设兴趣区域为长H’＝200米、宽W’＝100米的长方形区域。第二三维张量(D×W×H)的二维张量(W×H)为例，其中，二维张量(W×H)的长(H)和宽(W)的具体数值根据实际使用需求进行设置即可，不做具体限定。从而当预设兴趣区域的大小(W’×H’)和二维张量(W×H)的大小确定后，即可进一步确定预设兴趣区域(W’×H’)与二维张量(W×H)之间的尺寸比例关系。

依据尺寸比例关系、至少一个真值框中的每一个的中心点在预设兴趣区域中的初始坐标以及至少一个真值框中每一个对应的检测类别，确定至少一个真值框中每一个的中心点在第二三维张量内的映射坐标，以得到至少一个映射坐标。可以理解的，预设兴趣区域的长和宽设定后，以预设兴趣区域的任一顶点为原点，以相交于该顶点的两条边分别为横轴和纵轴，从而得到一个预设兴趣区域坐标系，进而能够得到真值框在预设兴趣区域坐标系中的坐标，也即真值框在预设兴趣区域中的初始坐标。检测类别是根据实际使用需求进行设置的，从而使得到的每一帧点云数据包括至少一个检测类别的点云，进而对任一帧点云数据标注得到的至少一个真值框对应于至少一个检测类别。确定至少一个真值框中每一个的中心点在第二三维张量内的映射坐标，从而得到至少一个映射坐标，给至少一个映射坐标中的每一个赋值，从而得到真值特征。

例如，图6是本申请实施例中映射关系的场景示意图，如图6所示，对任一帧点云数据进行标注得到多个真值框，假设预设兴趣区域的长H’＝200、宽W’＝100，预设兴趣区域中有四个真值框(d11、d21、d31、d32)。其中，四个真值框(d11、d21、d31、d32)对应于三个检测类别(D1、D2、D3)；具体的，真值框(d11)的中心点的初始坐标为(20，80，0.5)，对应于检测类别(D1)；真值框(d21)的中心点的初始坐标为(80，30，1)，对应于检测类别(D2)；真值框(d31)的中心点的初始坐标为(120，20，0.6)，真值框(d32)的中心点的初始坐标为(122，20，0.65)，且真值框(d31、d32)均对应于检测类别(D3)。

第二三维张量(D×W×H)的长H＝100、宽W＝50，进而能够确定预设兴趣区域(W’×H’)与二维张量(W×H)之间的尺寸比例关系为2:1，三个检测类别(D1、D2、D3)叠加构成第二三维张量中的张量(D)。依据尺寸比例关系、四个真值框的中心点的初始坐标、相应的检测类别，确定每一个真值框的映射坐标。具体的，真值框(d11)对应于检测类别(D1)，则将真值框(d11)的中心点映射至检测类别(D1)内，真值框(d11)映射至检测类别(D1)内得到映射点(d11’)的映射坐标为(10，40)；真值框(d21)对应于检测类别(D2)，则将真值框(d21)的中心点映射至检测类别(D2)内，真值框(d21)映射至检测类别(D2)内得到映射点(d21’)的映射坐标为(40，15)；真值框(d31)对应于检测类别(D3)，则将真值框(d31)的中心点映射至检测类别(D3)内，真值框(d31)映射至检测类别(D3)内得到映射点(d31’)的映射坐标为(60，10)；真值框(d32)对应于检测类别(D3)，则将真值框(d32)的中心点映射至检测类别(D3)内，真值框(d32)映射至检测类别(D3)内得到映射点(d32’)的映射坐标为(61，10)。分别对得到的映射坐标(10，40)、(40，15)、(60，10)、(61，10)进行赋值，从而得到该帧点云数据的真值特征。

如上述，对至少一个映射坐标中的每一个进行赋值，得到真值特征。在本申请一实施例中，初始坐标包括中心点x轴坐标、中心点y轴坐标以及中心点z轴坐标。

可以理解的，位于三维空间中的真值框的中心点具有三维坐标，也即中心点的初始坐标包括中心点x轴坐标、中心点y轴坐标以及中心点z轴坐标。

给至少一个映射坐标中的每一个赋值，包括：赋值真值框的真值框长度、真值框宽度、真值框高度、真值框朝向、中心点z轴坐标以及真值框对应的已标注的相邻帧点云数据距离当前帧点云数据的时间间隔。

可以理解的，对任一帧点云数据进行标注后，能够得到至少一个真值框，同时能够得到至少一个真值框中的每一个真值框的真值框长度、真值框宽度、真值框高度以及真值框朝向。

例如，图7是本申请实施例中赋值的场景示意图，如图7所示，每一个检测类别(D1、D2、D3)均对应有6个元素，分别是真值框长度、真值框宽度、真值框高度、真值框朝向、中心点z轴坐标、时间间隔。并继续结合上述图4和图6对应的实施例为例进行说明，假设需要对当前帧点云数据(b1)进行标注，当前帧点云数据(b1)位于已标注的相邻帧点云数据(a1)和已标注相邻帧点云数据(a2)之间，已标注的相邻帧点云数据(a1)与当前帧点云数据(b1)之间的时间间隔为1，已标注的相邻帧点云数据(a2)与当前帧点云数据(b1)之间的时间间隔为-3。

则对已标注的相邻帧点云数据(a1)对应的四个真值框(d11、d21、d31、d32)进行映射，分别得到检测类别(D1)内的映射坐标(10，40)、检测类别(D2)内的映射坐标(40，15)、检测类别(D3)内的映射坐标(60，10)、检测类别(D3)内的映射坐标(61，10)。相应的，将真值框(d11)的真值框长度2、真值框宽度1、真值框高度1、真值框朝向0.1、中心点z轴坐标0.5、时间间隔1赋值给检测类别(D1)内的映射坐标(10，40)；同理，将其余三个真值框(d21、d31、d32)的真值框长度、真值框宽度、真值框高度、真值框朝向、中心点z轴坐标、时间间隔1赋值给相应的映射坐标，从而能够得到已标注的相邻帧点云数据(a1)的真值特征。同理，能够得到已标注的相邻帧点云数据(a2)的真值特征。

在本申请一实施例中，对相邻两帧点云数据中每一帧进行标注，包括：将相邻两帧点云数据中每一帧输入到预标注模型中，以输出至少一个标注框；对至少一个标注框进行修正，以得到至少一个真值框。

可以理解的，将任一帧点云数据输入到预标注模型中，通过预标注模型对点云数据进行标注，以输出至少一个标注框。其中，预标注模型根据实际使用需求设置即可，不做具体限定。对至少一个标注框进行修正，以得到至少一个真值框，例如，可以通过人工进行修正，确保输出的真值框的精度，或其它能够实现的修正方式均可，不作具体限定。

在本申请一实施例中，依据融合特征得到当前帧点云数据的检测框，进一步包括：对检测框进行修正。

可以理解的，得到当前帧点云数据的检测框后，还可以对检测框进行修正，例如，可以通过人工进行修正，确保输出的真值框的精度，或其它能够实现的修正方式均可，不作具体限定。

请参阅图8，图8是本申请实施例中模型训练方法的流程示意图。模型训练方法包括如下步骤：

S21、获取点云数据标注的检测框；其中，点云数据标注的检测框是利用上述实施例中的点云数据标注方法而得到的。

获取点云数据标注的检测框，点云数据标注的检测框是通过上述实施例中的点云数据标注方法得到的。例如，获取待标注的当前帧点云数据，其中当前帧点云数据位于连续的多帧点云数据中已标注的相邻两帧点云数据之间；对当前帧点云数据进行栅格化处理，以得到当前帧点云数据的主干特征；获取对相邻两帧点云数据中每一帧进行标注所得到的至少一个真值框，并对至少一个真值框进行处理，以得到已标注的相邻两帧点云数据中每一帧的真值特征；将当前帧点云数据的主干特征和已标注的相邻两帧点云数据的真值特征进行拼接融合处理，以得到融合特征，从而依据融合特征得到当前帧点云数据的检测框。

S22、通过点云数据标注的检测框对模型进行训练操作处理，以得到训练后的目标模型。

利用得到的点云数据标注的检测框，对模型进行训练，从而得到训练后的目标模型。

本领域技术人员可以理解，在具体实施方式的上述方法中，各步骤的撰写顺序并不意味着严格的执行顺序而对实施过程构成任何限定，各步骤的具体执行顺序应当以其功能和可能的内在逻辑确定。

请参阅图9，图9是本申请实施例中电子设备的结构示意图。电子设备900包括相互耦接的存储器901和处理器902，处理器902用于执行存储器901中存储的程序指令，以实现上述的点云数据标注方法实施例中的步骤或上述的模型训练方法实施例中的步骤。在一个具体的实施场景中，电子设备900可以包括但不限于：微型计算机、服务器，在此不做限定。

具体而言，处理器902用于控制其自身以及存储器901以实现上述的点云数据标注方法实施例中的步骤或上述的模型训练方法实施例中的步骤。处理器902还可以称为CPU(Central Processing Unit，中央处理单元)，处理器902可能是一种集成电路芯片，具有信号的处理能力。处理器902还可以是通用处理器、数字信号处理器(Digital SignalProcessor,DSP)、专用集成电路(Application Specific Integrated Circuit,ASIC)、现场可编程门阵列(Field-Programmable Gate Array,FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。另外，处理器902可以由集成电路芯片共同实现。

请参阅图10，图10是本申请实施例中非易失性计算机可读存储介质的结构示意图。计算机可读存储介质1000用于存储程序指令1001，程序指令1001在被处理器902执行时，用于实现上述的点云数据标注方法实施例中的步骤或上述的模型训练方法实施例中的步骤。

上文对各个实施例的描述倾向于强调各个实施例之间的不同之处，其相同或相似之处可以互相参考，为了简洁，本文不再赘述。

在本申请所提供的几个实施例中，应该理解到，所揭露的方法和相关设备，可以通过其它的方式实现。例如，以上所描述的相关设备实施方式仅仅是示意性的，例如，模块或单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信断开连接可以是通过一些接口，装置或单元的间接耦合或通信断开连接，可以是电性、机械或其它的形式。

另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。

集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)或处理器(processor)执行本申请各个实施方式方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。

Claims (10)

1.一种点云数据标注方法，其特征在于，包括：

获取待标注的当前帧点云数据，其中所述当前帧点云数据位于连续的多帧点云数据中已标注的相邻两帧点云数据之间；

对所述当前帧点云数据进行栅格化处理，以得到所述当前帧点云数据的主干特征；

获取对所述相邻两帧点云数据中每一帧进行标注所得到的至少一个真值框，并对所述至少一个真值框进行处理，以得到已标注的所述相邻两帧点云数据中每一帧的真值特征；

将所述当前帧点云数据的主干特征和已标注的所述相邻两帧点云数据的真值特征进行拼接融合处理，以得到融合特征，从而依据所述融合特征得到所述当前帧点云数据的检测框，实现标注。

2.根据权利要求1所述的方法，其特征在于，所述连续的多帧点云数据中已标注的每两个相邻帧点云数据间隔相同帧数的点云数据。

3.根据权利要求2所述的方法，其特征在于，所述主干特征通过第一三维张量表征，所述真值特征通过第二三维张量表征，所述第二三维张量的二维张量的大小与所述第一三维张量的二维张量的大小相等；

将所述当前帧点云数据的主干特征和所述相邻两帧点云数据的真值特征进行拼接融合处理，包括：

沿着大小相等的所述二维张量，对所述当前帧点云数据的主干特征和已标注的所述相邻两帧点云数据的真值特征进行拼接融合。

4.根据权利要求3所述的方法，其特征在于，所述至少一个真值框对应于至少一个检测类别；

对所述至少一个真值框进行处理，以得到已标注的所述相邻两帧点云数据的真值特征，包括：

获取所述至少一个真值框所在的三维空间中的预设兴趣区域与所述第二三维张量的二维张量之间的尺寸比例关系；

依据所述尺寸比例关系、所述至少一个真值框中的每一个的中心点在所述预设兴趣区域中的初始坐标以及所述至少一个真值框中每一个对应的检测类别，确定所述至少一个真值框中每一个的中心点在所述第二三维张量内的映射坐标，以得到至少一个所述映射坐标；

给至少一个所述映射坐标中的每一个赋值，从而得到所述真值特征。

5.根据权利要求4所述的方法，其特征在于，所述初始坐标包括中心点x轴坐标、中心点y轴坐标以及中心点z轴坐标；

给至少一个所述映射坐标中的每一个赋值，包括：

赋值所述真值框的真值框长度、真值框宽度、真值框高度、真值框朝向、中心点z轴坐标以及所述真值框对应的已标注的相邻帧点云数据距离所述当前帧点云数据的时间间隔。

6.根据权利要求2所述的方法，其特征在于，对所述相邻两帧点云数据中每一帧进行标注，包括：

将所述相邻两帧点云数据中每一帧输入到预标注模型中，以输出至少一个标注框；

对所述至少一个标注框进行修正，以得到所述至少一个真值框。

7.根据权利要求1所述的方法，其特征在于，依据所述融合特征得到所述当前帧点云数据的检测框，进一步包括：

对所述检测框进行修正。

8.一种模型训练方法，其特征在于，包括：

获取点云数据标注的检测框，其中，所述数据标注的检测框是利用权利要求1-7中任一项所述的点云数据标注方法而得到的；

通过所述点云数据标注的检测框对模型进行训练操作处理，以得到训练后的目标模型。

9.一种电子设备，其特征在于，包括相互耦接的存储器和处理器，所述处理器用于执行所述存储器中存储的程序指令，以实现如权利要求1-7中任一项所述的点云数据标注方法或如权利要求8所述的模型训练方法。

10.一种非易失性计算机可读存储介质，其特征在于，所述计算机可读存储介质用于存储程序指令，所述程序指令在被处理器执行时，用于实现如权利要求1-7中任一项所述的点云数据标注方法或如权利要求8所述的模型训练方法。

Images