CN115965925A - 点云目标检测方法、计算机设备、存储介质及车辆 - Google Patents

Abstract

本发明涉及自动驾驶技术领域，具体提供一种点云目标检测方法、计算机设备、存储介质及车辆，旨在解决提高点云目标检测准确性的问题。为此目的，本发明提供的方法包括获取雷达采集到的三维点云帧，对三维点云帧进行目标检测，以获取由检测框角点的三维坐标表示而成的三维目标检测框，根据三维目标检测框获取目标检测结果。通过上述方法，即使目标存在遮挡的情况，也可以根据三维目标检测框中检测框角点的三维坐标准确得到目标未被遮挡端点的坐标，从而可以有效提高目标检测的准确性，同时也为目标跟踪提高了有效的跟踪角点，保证了目标跟踪的准确性和可靠性。

Description

点云目标检测方法、计算机设备、存储介质及车辆

技术领域

本发明涉及自动驾驶技术领域，具体涉及一种点云目标检测方法、计算机设备、存储介质及车辆。

背景技术

在对车辆进行自动驾驶控制时通常会利用雷达采集周围环境的三维点云，再对三维点云进行目标检测得到目标的三维检测框，进而根据目标的三维检测框进一步检测目标的类型、位置和尺寸等信息。目前，常规的点云目标检测方法主要是采用CSA模式获取目标的三维检测框，即利用三维中心点坐标（Center）、三维尺寸（Size）和目标角度（Angle）来表示三维检测框。但是，在实际应用中目标可能存在被遮挡的情况，这就导致对目标采集的三维点云存在缺失，在此情况下将很难得到准确的三维中心点坐标，进而影响三维检测框的准确性，最终也就降低了目标检测的准确性。

相应地，本领域需要一种新的技术方案来解决上述问题。

发明内容

为了克服上述缺陷，提出了本发明，以提供解决或至少部分地解决如何提高点云目标检测准确性的技术问题的点云目标检测方法、计算机设备及计算机可读存储介质。

在第一方面，提供一种点云目标检测方法，所述方法包括：

获取雷达采集到的三维点云帧；

对三维点云帧进行目标检测，以获取由检测框角点的三维坐标表示而成的三维目标检测框；

根据所述三维目标检测框，获取目标检测结果。

在上述点云目标检测方法的一个技术方案中，“获取由检测框角点的三维坐标表示而成的三维目标检测框”的步骤具体包括：

检测三维点云帧中目标在Z轴的最小值和最大值，并分别获取与Z轴相交于所述最小值与所述最大值的第一XY平面和第二XY平面；

检测目标在第一XY平面上对应的二维检测框的第一检测框角点的二维坐标，根据二维坐标与所述最小值获取第一检测框角点的三维坐标；

检测目标在第二XY平面上对应的二维检测框的第二检测框角点的二维坐标，根据二维坐标与所述最大值获取第二检测框角点的三维坐标；

根据所述第一检测框角点与所述第二检测框角点的三维坐标，获取三维目标检测框。

在上述点云目标检测方法的一个技术方案中，所述方法还包括：采用预设的点云目标检测模型分别检测所述第一检测框角点与所述第二检测框角点的二维坐标；

其中，预设的点云目标检测模型通过下列方式训练得到：

采用点云目标检测模型检测在三维点云帧的样本中目标在Z轴的特定值，并获取与Z轴相交于特定值的第三XY平面，特定值是目标在Z轴的最小值或最大值，以及

获取目标在第三XY平面上对应的二维检测框的第三检测框角点的二维坐标预测值和预测排列顺序，根据所述样本获取第三检测框角点的二维坐标真实值和真实排列顺序；

根据第三检测框角点的预测排列顺序和真实排列顺序，分别将对应于同一排列位次的二维坐标预测值与二维坐标真实值形成一个坐标组；

采用回归损失函数分别获取每个坐标组中二维坐标预测值与二维坐标真实值之间的损失值，并根据所述损失值获取模型损失值；

根据所述模型损失值，更新点云目标检测模型的模型参数。

在上述点云目标检测方法的一个技术方案中，在“根据所述损失值获取模型损失值”的步骤之前，所述方法还包括：

分别对每个第三检测框角点在第三XY平面上的可见性进行分析；

根据可见性的分析结果，分别调整每个第三检测框角点的二维坐标预测值所对应损失值的损失权重；

根据所述损失值与调整后的损失权重，获取模型损失值。

在上述点云目标检测方法的一个技术方案中，“根据可见性的分析结果，分别调整每个第三检测框角点的二维坐标预测值所对应损失值的损失权重”的步骤具体包括：

根据可见性的分析结果，判断第三检测框角点是否可见；

若可见，则增大相应的损失权重；

若不可见，则减小相应的损失权重。

在上述点云目标检测方法的一个技术方案中，“分别对每个第三检测框角点在第三XY平面上的可见性进行分析”的步骤具体包括：分别对第三检测框角点在第三XY平面的X轴和Y轴上的可见性进行分析；

“根据可见性的分析结果，分别调整每个第三检测框角点的二维坐标预测值所对应损失值的损失权重”的步骤具体包括：

根据第三检测框角点在X轴上可见性的分析结果，调整二维坐标预测值中X轴坐标所对应损失值的损失权重；

根据第三检测框角点在Y轴上可见性的分析结果，调整二维坐标预测值中Y轴坐标所对应损失值的损失权重。

在上述点云目标检测方法的一个技术方案中，在“根据第三检测框角点的预测排列顺序和真实排列顺序，分别将对应于同一排列位次的二维坐标预测值与二维坐标真实值形成一个坐标组”的步骤之前，所述方法还包括：

对所述样本进行目标朝向预测，以获取目标的预测朝向，所述预测排列顺序中首个排列位次的第三检测框角点位于预测朝向的左上方且每个第三检测框角点按照预设的顺序依次排列；

判断目标的预测朝向与预设的真实朝向是否相反，所述真实排列顺序中首个排列位次的第三检测框角点位于所述真实朝向的左上方且每个第三检测框角点也按照所述预设的顺序依次排列；

若相反，则调整第三检测框角点的预测排列顺序，以使目标的预测朝向与真实朝向相同且预测排列顺序中首个排列位次的第三检测框角点始终位于预测朝向的左上方；

若不相反，则不调整第三检测框角点的预测排列顺序。

在上述点云目标检测方法的一个技术方案中，“调整第三检测框角点的预测排列顺序”的步骤具体包括：

分别计算每两个相邻第三检测框角点连接形成的边与预测朝向的夹角；

以最小夹角对应的边作为二维检测框的长边并按照所述预设的顺序，分别调整每个第三检测框角点的排列位次，直至目标的预测朝向与预设的真实朝向相同。

在上述点云目标检测方法的一个技术方案中，“获取第三检测框角点的预测排列顺序”的步骤具体包括：分别获取目标在每个不同朝向时第三检测框角点的预测排列顺序，每组预测排列顺序与每个朝向一一对应；

“根据第三检测框角点的预测排列顺序和真实排列顺序，分别将对应于同一排列位次的二维坐标预测值与二维坐标真实值形成一个坐标组”的步骤具体包括：针对每组预测排列顺序，根据当前一组预测排列顺序和真实排列顺序，分别将对应于同一排列位次的二维坐标预测值与二维坐标真实值形成一个坐标组；

“获取模型损失值”的步骤具体包括：针对每组预测排列顺序，采用回归损失函数分别获取当前一组预测排列顺序对应的每个坐标组中二维坐标预测值与二维坐标真实值之间的损失值，并根据所述损失值获取模型损失值；

“根据所述模型损失值，更新点云目标检测模型的模型参数”的步骤具体包括：从每组预测排列顺序对应的模型损失值中选取最小的模型损失值，根据最小的模型损失值更新模型参数。

在第二方面，提供一种计算机设备，该计算机设备包括处理器和存储装置，所述存储装置适于存储多条程序代码，所述程序代码适于由所述处理器加载并运行以执行上述点云目标检测方法的技术方案中任一项技术方案所述的方法。

在第三方面，提供一种计算机可读存储介质，该计算机可读存储介质其中存储有多条程序代码，所述程序代码适于由处理器加载并运行以执行上述点云目标检测方法的技术方案中任一项技术方案所述的方法。

在第四方面，提供一种车辆，该车辆包括上述计算机设备的技术方案所述的计算机设备。

本发明上述一个或多个技术方案，至少具有如下一种或多种有益效果：

在实施本发明提供的点云目标检测方法的技术方案中，可以获取雷达采集到的三维点云帧，对三维点云帧进行目标检测，以获取由检测框角点的三维坐标表示而成的三维目标检测框，根据三维目标检测框获取目标检测结果。通过上述方式，即使由于目标存在被遮挡的情况，导致雷达对目标采集的三维点云存在缺失，也可以根据三维目标检测框中检测框角点的三维坐标准确得到目标未被遮挡端点的坐标，有效提高了目标检测的准确性，同时也为目标跟踪提高了有效的跟踪角点（或跟踪端点），保证了目标跟踪的准确性和可靠性。

附图说明

参照附图，本发明的公开内容将变得更易理解。本领域技术人员容易理解的是：这些附图仅仅用于说明的目的，而并非意在对本发明的保护范围组成限制。其中：

图1是根据本发明的一个实施例的点云目标检测方法的主要步骤流程示意图；

图2是根据本发明的一个实施例的获取三维目标检测框的方法的主要步骤流程示意图；

图3是根据本发明的一个实施例的点云目标检测模型的训练方法的主要步骤流程示意图；

图4是根据本发明的一个实施例的检测框角点示意图；

图5是现有技术中采用CSA模式获取三维检测框的示意图；

图6是根据本发明的一个实施例的反转目标预测朝向的示意图；

图7是根据本发明的一个实施例的调整不同目标朝向的示意图；

图8是根据本发明的一个实施例的计算机设备的主要结构示意图。

具体实施方式

下面参照附图来描述本发明的一些实施方式。本领域技术人员应当理解的是，这些实施方式仅仅用于解释本发明的技术原理，并非旨在限制本发明的保护范围。

在本发明的描述中，“处理器”可以包括硬件、软件或者两者的组合。处理器可以是中央处理器、微处理器、图像处理器、数字信号处理器或者其他任何合适的处理器。处理器具有数据和/或信号处理功能。处理器可以以软件方式实现、硬件方式实现或者二者结合方式实现。计算机可读存储介质包括任何合适的可存储程序代码的介质，比如磁碟、硬盘、光碟、闪存、只读存储器、随机存取存储器等等。

下面对本发明提供的点云目标检测方法的实施例进行说明。

参阅附图1，图1是根据本发明的一个实施例的点云目标检测方法的主要步骤流程示意图。如图1所示，本发明实施例中的点云目标检测方法主要包括下列步骤S101至步骤S103。

步骤S101：获取雷达采集到的三维点云帧。

三维点云帧可以是通过车辆上的雷达（比如激光雷达）对周围环境采集得到的点云帧，点云帧上的点云是根据环境中的环境点在接收到雷达向其发射的电磁波之后反射回去的回波信号确定出来的，每个点云与每个环境点一一对应，点云包含了环境点在三维坐标系的坐标，该三维坐标系可以是点云坐标系。需要说明的是，本发明所提及的通过车辆上的雷达采集点云帧等涉及车辆的操作均是经过包括用户或各方充分授权后执行的。也就是说，本发明中的车辆是授权车辆。在一些实施方式中，可以通过车机或后台服务器来检测是否接收到授权信息，若接收到授权信息则表明当前车辆是授权车辆，否则当前车辆是未授权车辆。其中，授权信息可以通过包括但不限于手机、平板电脑和智能手表等的终端设备发出。

步骤S102：对三维点云帧进行目标检测，以获取由检测框角点的三维坐标表示而成的三维目标检测框。

一个目标的三维目标检测框是指包含了这个目标全部或大部分的三维点云的检测框，一个三维目标检测框就代表当前环境的一个目标。在一些实施方式中，目标至少包括机动车和道路中的交通标志牌等。

由于三维目标检测框是一个长方体，因此其具有8个检测框角点，在发明实施例中可以对三维点云帧进行目标检测分别获取每个检测框角点的三维坐标（x，y，z），然后利用8个检测框角点三维坐标（x，y，z）来表示三维目标检测框。例如，三维目标检测框可以表示成[x1,y1,z1, x2,y2,z2, x3,y3,z3, x4,y4,z4, x5,y5,z5, x6,y6,z6, x7,y7,z7, x8,y8,z8]，其中，“x1,y1,z1”表示第1个检测框角点在X轴、Y轴和Z轴的坐标，其他参数的含义类似，不再赘述。

步骤S103：根据三维目标检测框，获取目标检测结果。

根据三维目标检测框的每个检测框角点的三维坐标，可以得到三维目标检测框的尺寸、位置和相对于指定方向的角度等信息，这些信息也就是不同类型的目标检测结果，即三维目标检测框的尺寸、位置和角度等信息也就是三维目标检测框所表示目标的尺寸、位置和角度等信息。本领域技术人员可以根据实际需求灵活地采用检测框角点的三维坐标，获取不同类型的目标检测结果，本发明实施例对此不进行具体限定，只要能够采用检测框角点的三维坐标得到所需类型的目标检测结果即可。

例如，假设目标是机动车，根据机动车的三维目标检测框可以得到机动车的尺寸和位置。

基于上述步骤S101至步骤S103所述的方法，即使由于目标存在被遮挡的情况，导致雷达对目标采集的三维点云存在缺失，也可以根据三维目标检测框中检测框角点的三维坐标准确得到目标未被遮挡端点的坐标，有效提高了目标检测的准确性，同时也为目标跟踪提高了有效的跟踪角点，保证了目标跟踪的准确性和可靠性、

下面对上述步骤S102作进一步说明。

参阅附图2，为了便捷且准确地获取每个检测框角点的三维坐标，可以通过下列步骤S1021至步骤S1024，获取三维目标检测框中每个检测框角点的三维坐标。

步骤S1021：检测三维点云帧中目标在Z轴的最小值和最大值，并分别获取与Z轴相交于最小值与最大值的第一XY平面和第二XY平面。

在本发明实施例中可以采用三维点云技术领域中常规的位置检测方法检测目标在Z轴的最小值和最大值，本发明实施例对此不作具体限定。例如，在一些实施方式中，在确定出目标对应的所有点云之后，可以根据每个点云的三维坐标，选取这些三维坐标中Z轴的最小值和最大值，将点云在Z轴的最小值和最大值作为目标在Z轴的最小值和最大值。此外，在一些实施方式中也可以采用预先训练好的具备检测目标在Z轴的最小值和最大值能力的检测模型，对三维点云帧进行检测，得到目标在Z轴的最小值和最大值。例如，可以采用标注了目标在Z轴的最小值和最大值的三维点云帧的样本，并使用回归损失函数训练检测模型，使其具备检测目标在Z轴的最小值和最大值的能力，再使用训练好的检测模型对三维点云帧进行检测。

XY平面是指同时平行于三维坐标系中X轴和Y轴的二维平面，第一XY平面与Z轴垂直且交点为目标在Z轴的最小值，第二XY平面与Z轴垂直且交点为目标在Z轴的最大值。

步骤S1022：检测目标在第一XY平面上对应的二维检测框的第一检测框角点的二维坐标，根据二维坐标与最小值获取第一检测框角点的三维坐标。

由于第一XY平面与目标在Z轴的最小值相交，因此第一XY平面可以理解成是目标底部的二维截面，目标在第一XY平面上对应的二维检测框可以理解成由目标底部的四个检测框角点形成的二维检测框，此外也可以理解成是三维目标检测框在第一XY平面上的投影。

第一检测框角点的二维坐标是指第一检测框角点在X轴和Y轴的坐标，在得到上述二维坐标之后将目标在Z轴的最小值作为第一检测框角点在Z轴的坐标，就可以得到第一检测框角点的三维坐标。

步骤S1023：检测目标在第二XY平面上对应的二维检测框的第二检测框角点的二维坐标，根据二维坐标与最大值获取第二检测框角点的三维坐标。

由于第二XY平面与目标在Z轴的最大值相交，因此第二XY平面可以理解成是目标顶部的二维截面，目标在第二XY平面上对应的二维检测框可以理解成由目标顶部的四个检测框角点形成的二维检测框，此外也可以理解成是三维目标检测框在第二XY平面上的投影。

第二检测框角点的二维坐标是指第二检测框角点在X轴和Y轴的坐标，在得到上述二维坐标之后将目标在Z轴的最大值作为第二检测框角点在Z轴的坐标，就可以得到第二检测框角点的三维坐标。

步骤S1024：根据第一检测框角点与第二检测框角点的三维坐标，获取三维目标检测框。

在得到四个第一检测框角点的三维坐标，四个第二检测框角点的三维坐标之后，可以利用这些三维坐标表示三维目标检测框。

基于上述步骤S1021至步骤S1024所述的方法，可以将三维目标检测框拆分成两个二维检测框，通过获取二维检测框的检测框角点坐标来获取三维目标检测框的检测框角点坐标，从而可以显著提高获取三维目标检测框的检测框角点坐标的便捷性和准确性。

进一步，在一些实施方式中，在上述步骤S1022和步骤S1023中，可以采用预设的点云目标检测模型分别检测第一检测框角点与第二检测框角点的二维坐标，该点云目标检测模型是预先训练好的且具备检测上述二维坐标能力的模型，在执行步骤S1022和步骤S1023时只需要调用该点云目标检测模型即可，不需要在每次检测二维坐标时都先训练点云目标检测模型，再使用训练好的点云目标检测模型检测二维坐标。

下面对该点云目标检测模型的训练方法进行说明。

参阅附图3，在本发明实施例中可以采用回归损失函数并通过下列步骤S201至步骤S205，训练得到点云目标检测模型。

步骤S201：采用点云目标检测模型检测在三维点云帧的样本中目标在Z轴的特定值，并获取与Z轴相交于特定值的第三XY平面，特定值是目标在Z轴的最小值或最大值。

步骤S202：获取目标在第三XY平面上对应的二维检测框的第三检测框角点的二维坐标预测值和预测排列顺序，根据样本获取第三检测框角点的二维坐标真实值和真实排列顺序。

当特定值为目标在Z轴的最小值时，第三XY平面与前述实施例中第一XY平面的含义相同；当特定值为目标在Z轴的最大值时，第三XY平面与前述实施例中第二XY平面的含义相同。

一个二维检测框包括四个检测框角点，这四个检测框角点的位置是不变的，但是可以按照预设的排序规则给这四个检测框角点进行排序。本领域技术人员可以根据实际需求灵活地设定排序规则的具体内容，只有保证预测排列顺序和真实排列顺序都是基于相同的排序规则得到的即可。在一些优选实施方式中，可以根据目标朝向来设定排序规则。具体地，可以将位于目标朝向左上方的第三检测框角点作为首个排列位次的角点，然后按照预设的顺序依次对其他第三检测框角点进行排列。如图4所示，图4中的矩形框表示一个二维检测框，矩形框中的黑色原点表示点云，这个二维检测框所表示目标的朝向是向上。首先将位于目标朝向左上方的第三检测框角点作为首个排列位次的角点并设置其编号为0，然后按照顺时针的方向依次对位于目标朝向右上方、右下方和左下方的第三检测框角点进行排列并分别设置编号为1、2、3。

二维坐标预测值和预测排列顺序可以通过点云目标检测模型预测得到，三维点云帧的样本中会提前标注好第三检测框角点的二维坐标真实值和真实排列顺序，从样本的标注信息中可以获取上述信息。对点云目标检测模型的训练，除了训练该模型预测上述二维坐标预测值的能力以外，也在训练其获取预测排列顺序的能力。

步骤S203：根据第三检测框角点的预测排列顺序和真实排列顺序，分别将对应于同一排列位次的二维坐标预测值与二维坐标真实值形成一个坐标组。

继续参阅附图4，假设图4中位于左上方、右上方、右下方和左下方的第三检测框角点分别是ABCD，预测排列顺序是BCDA且BCDA的二维坐标预测值分别是（x12,y12）、（x13,y13）、（x14,y14）、（x11,y11），真实排列顺序是ABCD且ABCD的二维坐标真实值分别是（x21,y21）、（x22,y22）、（x23,y23）、（x24,y24），此时x12、y12、x13、y13、x14、y14、x11、y11，与x21、y21、x22、y22、x23、y23、x24、y24分别一一对应，可以形成八个坐标组。

步骤S204：采用回归损失函数分别获取每个坐标组中二维坐标预测值与二维坐标真实值之间的损失值并根据损失值获取模型损失值。

在本发明实施例中可以采用模型训练技术领域中常规的回归损失函数，获取上述损失值和模型损失值，本发明实施例对此不进行具体限定。例如，在一些实施方式中可以采用smooth损失函数，此时得到的模型损失值可以如下式（1）所示。

（1）

公式（1）中各参数含义分别如下：

表示第i个二维坐标预测值，表示第i个二维坐标预测值对应的二维坐标真实值分，表示通过smooth损失函数得到的第i个二维坐标预测值对应的损失值，表示该损失值的损失权重，L表示根据各个二维坐标预测值对应的损失值得到的模型损失值。

在本发明实施例中由于每个检测框角点的二维坐标预测值对检测框准确性的贡献程度都是相同的，因此，每个检测框角点的二维坐标预测值对应的损失权重可以设置成相同的数值，比如都可以设置成1。

步骤S205：根据模型损失值，更新点云目标检测模型的模型参数。具体地，可以根据模型损失值计算点云目标检测模型的模型参数梯度，根据模型参数梯度反向传播更新模型参数。

本领域技术人员可以采用模型训练技术领域中常规的模型训练方法，根据上述模型损失值更新模型参数，本发明实施例对此不进行具体限定。此外，需要说明的是，上述步骤S201至步骤S205所述的训练过程是对点云目标检测模型的一次迭代训练过程，为了保证点云目标检测模型的检测准确性可以重复执行多次上述训练过程，即对点云目标检测模型进行多次迭代训练，直至满足预设的检测准确性的要求或者迭代训练的次数达到预设的次数阈值，再停止训练。

参阅附图5，图5示例性示出了现有技术中采用CSA模式获取三维检测框的结果。在图5中，检测框1表示真实的检测框，检测框2和3分别表示采用CSA模式预测的检测框。其中，检测框2与检测框1的长度损失值是0.5，检测框3与检测框1的角度损失值也是0.5，虽然检测框2和3的损失值都是0.5，但是检测框3的准确性远小于检测框2的准确性，也就是说，在这个例子中角度对检测框准确性的影响程度要大于长度。在实际应用中，目标的姿态、类型多种多样，被遮挡的情况也多种多样，CSA模式中的三维中心点坐标（Center）、三维尺寸（Size）和目标角度（Angle）对检测框准确性的贡献程度并不是固定的且也无法准确地分析出在每一种情况下Center、Size和Angle的贡献程度，这样在采用回归损失函数训练点云目标检测模型时将无法准确地确定出Center、Size和Angle各自对应的损失权重，从而既无法保证检测框的准确性，还会增加模型的训练难度。

而在上述步骤S201至步骤S205所述的方法中，由于每个检测框角点的二维坐标预测值对检测框准确性的贡献程度都是相同的，即使个别检测框角点的二维坐标预测值的不准确，也不会降低检测框的准确性，使得检测框的准确性得到了有效保证。同时，将每个检测框角点的二维坐标预测值对应的损失权重可以设置成相同的数值，还可以显著降低模型训练的训练难度，从而可以提高模型的检测能力，进一步保证了检测框的准确性。

下面对上述步骤S204作进一步说明。

根据前述实施例的描述可知，每个检测框角点的二维坐标预测值对检测框准确性的贡献程度都是相同的，因此，可以将每个检测框角点的二维坐标预测值对应的损失权重可以设置成相同的数值。然而，在实际应用中，目标可能存在被遮挡的情况，此时可以根据每个检测框角点是否可见，来分别调整每个检测框角点的损失权重，使得模型训练时更加关注未被遮挡的检测框角点。具体而言，在上述步骤S204的一些实施方式中，在得到每个坐标组中二维坐标预测值与二维坐标真实值之间的损失值之后，可以通过下列步骤11至步骤13，获取模型损失值。

步骤11：分别对每个第三检测框角点在第三XY平面上的可见性进行分析。

可见性分析是指分析第三检测框角点在第三XY平面上是可见的，还是不可见的。若是可见的，则表明当前第三检测框角点未被遮挡；否则表明当前第三检测框角点被遮挡。

需要说明的是，在本发明实施例中可以采用点云技术领域中常规的端点可见性分析方法，分析第三检测框角点在第三XY平面上是否可见，其中，第三检测框角点就是指端点可见性分析方法中的端点。本发明实施例不对上述端点可见性分析方法作具体限定。例如，可以采用预印本系统arXiv.org上2020年公布的名称为《Labels Are Not Perfect:Improving Probabilistic Object Detection via Label Uncertainty》的论文公开的端点可见性分析方法。

步骤12：根据可见性的分析结果，分别调整每个第三检测框角点的二维坐标预测值所对应损失值的损失权重。

具体地，对于可见的第三检测框角点，可以通过调整其二维坐标预测值所对应损失值的损失权重，使得模型训练时更加关注该第三检测框角点的二维坐标预测值；对于不可见的第三检测框角点，可以通过调整其二维坐标预测值所对应损失值的损失权重，使得模型训练时减小对该第三检测框角点的二维坐标预测值的关注。

在一些实施方式中，若第三检测框角点可见，则增大相应的损失权重；若第三检测框角点不可见，则减小相应的损失权重。本领域技术人员可以根据实际需求灵活地设定损失权重的增大量和减小量，本发明实施例对此不作具体限定。

步骤13：根据损失值与调整后的损失权重，获取模型损失值。

具体地，可以根据调整后的损失权重对损失值进行加权和计算，将加权和计算的结果作为模型损失值。

基于上述步骤11至步骤13所述的方法，可以根据第三检测框角点的可见性灵活地调整其二维坐标预测值所对应损失值的损失权重，使得模型训练时更加关注未被遮挡的第三检测框角点，从而可以进一步提高模型的训练效果，提高模型的检测能力，保证了检测框的准确性。

下面对上述步骤11至步骤12作进一步说明。

在上述步骤11中，由于第三检测框角点的二维坐标预测值包括X轴和Y轴的两个坐标，因此，为了进一步提高可见性分析的准确性，在对第三检测框角点在第三XY平面上的可见性进行分析时可以分别对第三检测框角点在第三XY平面的X轴和Y轴上的可见性进行分析。

此时，在执行步骤12时，可以根据第三检测框角点在X轴上可见性的分析结果，调整二维坐标预测值中X轴坐标所对应损失值的损失权重，同时根据第三检测框角点在Y轴上可见性的分析结果，调整二维坐标预测值中Y轴坐标所对应损失值的损失权重。以公式（1）所示的模式损失函数的计算公式为例，可以分别调整第1个三检测框角点的二维坐标预测值中X轴坐标x1的损失权重w1和Y轴坐标y1的损失权重w2。第1至3个三检测框角点的调整方法类似，不再赘述。

在执行步骤13时，可以对每个第三检测框角点的二维坐标预测值中X轴坐标和Y轴坐标的损失值和损失权重进行加权和计算，得到模型损失值。以smooth损失函数为例，此时模型损失值的计算公式可以如公式（1）所示。

下面对点云目标检测模型的训练方法作进一步说明。

根据前述方法实施例可知，在训练点云目标检测模型时要根据第三检测框角点的预测排列顺序和真实排列顺序，分别将对应于同一排列位次的二维坐标预测值与二维坐标真实值形成一个坐标组，并采用回归损失函数分别获取每个坐标组中二维坐标预测值与二维坐标真实值之间的损失值，并根据损失值获取模型损失值。如果预测排列顺序和真实排列顺序的偏差比较大，那么最后得到的模型损失值也会比较大，就会增加模型的训练难度。对此，在本发明实施例中针对不同类型的目标，可以采用不同的方法来调整预测排列顺序，以获取较为准确的模型损失值，降低模型训练的难度并提高模型的训练效果。在本发明实施例中可以根据目标的预测朝向与预测排列顺序的关联程度的高低将目标划分成两类，一类是预测朝向与预测排列顺序的关联程度较高，需要同时保证预测朝向与预测排列顺序的准确性，比如该类目标可以是车辆。另一类是预测朝向与预测排列顺序的关联程度较低，不需要同时保证预测朝向与预测排列顺序的准确性，比如该类目标可以是行人、自行车骑行者、电动自行车及摩托车骑行者等弱势道路参与者（Vulnerable Road Users，VRU）。下面分别对这两类目标的进行说明。需要说明的是，本领域技术人员可以根据实际需求灵活地设定不同目标对于预测朝向与预测排列顺序的关联程度的大小要求，只要能够对不同目标进行区分即可，本发明实施例不对上述关联程度的设定方法作具体限定。

一、预测朝向与预测排列顺序的关联程度较高的目标

在本发明实施例中，在执行完步骤S201和步骤S202，且在执行步骤S203之前可以通过下列步骤21至步骤24对预测排列顺序进行调整。

步骤21：对三维点云帧的样本进行目标朝向预测，以获取目标的预测朝向，预测排列顺序中首个排列位次的第三检测框角点位于预测朝向的左上方且每个第三检测框角点按照预设的顺序依次排列。

在本发明实施例中可以采用点云技术领域中常规目标朝向预测方法，对三维点云帧的样本进行目标朝向预测，本发明实施例不对上述目标朝向预测方法作具体限定。此外，本领域技术人员可以根据实际需求灵活地设定预设的顺序的具体规则，只要保证预测排列顺序与真实排列顺序所采用的预设的顺序相同即可。

例如，如图4所示，在将位于目标朝向左上方的第三检测框角点作为首个排列位次的角点并设置其编号为0之后，以设定预设顺序为顺时针，然后按照顺时针的方向依次对位于目标朝向右上方、右下方和左下方的第三检测框角点进行排列并分别设置编号为1、2、3。

步骤22：判断目标的预测朝向与预设的真实朝向是否相反，真实排列顺序中首个排列位次的第三检测框角点位于真实朝向的左上方且每个第三检测框角点也按照预设的顺序依次排列。

若相反则转至步骤23；若不相反则转至步骤24。

步骤23：调整第三检测框角点的预测排列顺序，以使目标的预测朝向与真实朝向相同且预测排列顺序中首个排列位次的第三检测框角点始终位于预测朝向的左上方。

如图6所示，图6中箭头表示的方向是目标的真实朝向，按照从左至右的顺序，图6中第1个检测框的预测朝向是与真实朝向相反的，此时需要对其进行朝向反转。同时，假设第1个检测框中位于左上方、右上方、右下方和左下方的第三检测框角点分别是ABCD。在反转之前，预测排列顺序是ABCD，其中首个排列位次的第三检测框角点A的编号是0且位于预测朝向的左上方。在反转之后此时预测朝向与真实朝向相同，预测排列顺序是CDAB，其中首个排列位次的第三检测框角点C编号仍然为0且仍然位于预测朝向的左上方。

在一些优选实施方式中可以通过下列步骤231至步骤232，来调整第三检测框角点的预测排列顺序。

步骤231：分别计算每两个相邻第三检测框角点连接形成的边与预测朝向的夹角。步骤232：以最小夹角对应的边作为二维检测框的长边，分别调整每个第三检测框角点的排列位次，直至目标的预测朝向与预设的真实朝向相同。

继续参阅附图6所示的例子，在图6中按照从左至右的顺序，图6中第1个检测框的预测朝向是与真实朝向相反的。编号1、2的两个第三检测框角点相邻，二者形成的边可以表示成12边，类似的其他相邻的第三检测框角点形成的边可以分别表示成23边、30边和01边。12边、23边、30边和01边与真实朝向的夹角分别是0°、90°、180°、270°，由于12边的夹角最小，以12边作为长边，按照顺时针的方向调整各个第三检测框角点的排列顺序，重新给各个第三检测框角点编号。

步骤24：不调整第三检测框角点的预测排列顺序。

在执行完上述步骤之后，继续执行步骤S203至步骤S205。其中，若调整了第三检测框角点的预测排列顺序，则根据调整后的预测排列顺序执行步骤S203；若未调整第三检测框角点的预测排列顺序，则根据未调整的预测排列顺序执行步骤S203。

基于上述步骤21至步骤24所述的方法，进行预测排列顺序调整，可以同时提高目标的预测朝向和预测排列顺序的准确性，进而可以有效保证检测框的准确性。

二、预测朝向与预测排列顺序的关联程度较低的目标

在本发明实施例中，除了步骤S201以外，步骤S202至步骤S205均作了调整，下面分别对调整后的步骤S202至步骤S205进行说明。

在步骤S202中，分别获取目标在每个不同朝向时第三检测框角点的预测排列顺序，每组预测排列顺序与每个朝向一一对应，每组预测排列顺序中首个排列位次的第三检测框角点位于对应朝向的左上方。

一个二维检测框包括四条边，因此其存在四个预测朝向，在本实施例中针对每个预测朝向，都获取一组预测排列顺序。

在步骤S203中，针对每组预测排列顺序，根据当前一组预测排列顺序和真实排列顺序，分别将对应于同一排列位次的二维坐标预测值与二维坐标真实值形成一个坐标组。

在步骤S204中，针对每组预测排列顺序，采用回归损失函数分别获取当前一组预测排列顺序对应的每个坐标组中二维坐标预测值与二维坐标真实值之间的损失值，并根据损失值获取模型损失值。

在步骤S205中，从每组预测排列顺序对应的模型损失值中选取最小的模型损失值，根据最小的模型损失值更新模型参数。

参阅附图7，箭头表示目标的真实朝向，假设位于检测框的左上方、右上方、右下方和左下方的第三检测框角点分别是ABCD，检测框存在四个预测朝向，根据这四个预测朝向可以得到四组预测排列顺序，这四组预测排列顺序分别是ABCD、BCDA、CDAB、DABC。在ABCD这组预测排列顺序中ABCD的编号分别是0123，在BCDA这组预测排列顺序中BCDA的编号分别是0123，CDAB、DABC的编号情况类似，不再赘述。可见，编号为0的第三检测框角点始终位于预测朝向的左上方。根据每组预测排列顺分别可以得到一个模型损失值，从这些模型损失值中选取最小的一个作为最终的模型损失值，使用该最终的模型损失值更新模型参数。

上述步骤S203至步骤S204中涉及的相关方法，与前述方法实施例中提及的方法相同，在此步骤赘述。比如根据预测排列顺序和真实排列顺序，分别将对应于同一排列位次的二维坐标预测值与二维坐标真实值形成一个坐标组的方法，与前述方法实施例中提及的方法相同。

通过上述方法进行预测排列顺序调整，可以提高预测排列顺序的准确性，进而可以有效保证检测框的准确性。

需要指出的是，尽管上述实施例中将各个步骤按照特定的先后顺序进行了描述，但是本领域技术人员可以理解，为了实现本发明的效果，不同的步骤之间并非必须按照这样的顺序执行，其可以同时（并行）执行或以其他顺序执行，这些调整之后的方案与本发明中描述的技术方案属于等同技术方案，因此也将落入本发明的保护范围之内。

本领域技术人员能够理解的是，本发明实现上述一实施例的方法中的全部或部分流程，也可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一计算机可读存储介质中，该计算机程序在被处理器执行时，可实现上述各个方法实施例的步骤。其中，所述计算机程序包括计算机程序代码，所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读存储介质可以包括：能够携带所述计算机程序代码的任何实体或装置、介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器、随机存取存储器、电载波信号、电信信号以及软件分发介质等。需要说明的是，所述计算机可读存储介质包含的内容可以根据司法管辖区内立法和专利实践的要求进行适当的增减，例如在某些司法管辖区，根据立法和专利实践，计算机可读存储介质不包括电载波信号和电信信号。

进一步，本发明还提供了一种计算机设备。

参阅附图8，图8是根据本发明的一个计算机设备实施例的主要结构示意图。如图8所示，本发明实施例中的计算机设备主要包括存储装置和处理器，存储装置可以被配置成存储执行上述方法实施例的点云目标检测方法的程序，处理器可以被配置成用于执行存储装置中的程序，该程序包括但不限于执行上述方法实施例的点云目标检测方法的程序。为了便于说明，仅示出了与本发明实施例相关的部分，具体技术细节未揭示的，请参照本发明实施例方法部分。

在本发明实施例中计算机设备可以是包括各种电子设备形成的控制装置设备。在一些可能的实施方式中，计算机设备可以包括多个存储装置和多个处理器。而执行上述方法实施例的点云目标检测方法的程序可以被分割成多段子程序，每段子程序分别可以由处理器加载并运行以执行上述方法实施例的点云目标检测方法的不同步骤。具体地，每段子程序可以分别存储在不同的存储装置中，每个处理器可以被配置成用于执行一个或多个存储装置中的程序，以共同实现上述方法实施例的点云目标检测方法，即每个处理器分别执行上述方法实施例的点云目标检测方法的不同步骤，来共同实现上述方法实施例的点云目标检测方法。

上述多个处理器可以是部署于同一个设备上的处理器，例如上述计算机设备可以是由多个处理器组成的高性能设备，上述多个处理器可以是该高性能设备上配置的处理器。此外，上述多个处理器也可以是部署于不同设备上的处理器，例如上述计算机设备可以是服务器集群，上述多个处理器可以是服务器集群中不同服务器上的处理器。

进一步，本发明还提供了一种计算机可读存储介质。

在根据本发明的一个计算机可读存储介质的实施例中，计算机可读存储介质可以被配置成存储执行上述方法实施例的点云目标检测方法的程序，该程序可以由处理器加载并运行以实现上述点云目标检测方法。为了便于说明，仅示出了与本发明实施例相关的部分，具体技术细节未揭示的，请参照本发明实施例方法部分。该计算机可读存储介质可以是包括各种电子设备形成的存储装置设备，可选的，本发明实施例中计算机可读存储介质是非暂时性的计算机可读存储介质。

进一步，本发明还提供了一种车辆。

在根据本发明的一个车辆的实施例中，车辆可以包括上述计算机设备实施例所述的计算机设备。在本实施例中车辆可以是自动驾驶车辆、无人车等车辆。此外，按照动力源类型划分，本实施例中车辆可以是燃油车、电动车、电能与燃油混合的混动车或使用其他新能源的车辆等。

至此，已经结合附图所示的一个实施方式描述了本发明的技术方案，但是，本领域技术人员容易理解的是，本发明的保护范围显然不局限于这些具体实施方式。在不偏离本发明的原理的前提下，本领域技术人员可以对相关技术特征作出等同的更改或替换，这些更改或替换之后的技术方案都将落入本发明的保护范围之内。

Claims (12)

1.一种点云目标检测方法，其特征在于，所述方法包括：

获取雷达采集到的三维点云帧；

对三维点云帧进行目标检测，以获取由检测框角点的三维坐标表示而成的三维目标检测框；

根据所述三维目标检测框，获取目标检测结果。

2.根据权利要求1所述的点云目标检测方法，其特征在于，“获取由检测框角点的三维坐标表示而成的三维目标检测框”的步骤具体包括：

检测三维点云帧中目标在Z轴的最小值和最大值，并分别获取与Z轴相交于所述最小值与所述最大值的第一XY平面和第二XY平面；

检测目标在第一XY平面上对应的二维检测框的第一检测框角点的二维坐标，根据二维坐标与所述最小值获取第一检测框角点的三维坐标；

检测目标在第二XY平面上对应的二维检测框的第二检测框角点的二维坐标，根据二维坐标与所述最大值获取第二检测框角点的三维坐标；

根据所述第一检测框角点与所述第二检测框角点的三维坐标，获取三维目标检测框。

3.根据权利要求2所述的点云目标检测方法，其特征在于，所述方法还包括：采用预设的点云目标检测模型分别检测所述第一检测框角点与所述第二检测框角点的二维坐标；

其中，预设的点云目标检测模型通过下列方式训练得到：

采用点云目标检测模型检测在三维点云帧的样本中目标在Z轴的特定值，并获取与Z轴相交于特定值的第三XY平面，特定值是目标在Z轴的最小值或最大值，以及

获取目标在第三XY平面上对应的二维检测框的第三检测框角点的二维坐标预测值和预测排列顺序，根据所述样本获取第三检测框角点的二维坐标真实值和真实排列顺序；

根据第三检测框角点的预测排列顺序和真实排列顺序，分别将对应于同一排列位次的二维坐标预测值与二维坐标真实值形成一个坐标组；

采用回归损失函数分别获取每个坐标组中二维坐标预测值与二维坐标真实值之间的损失值，并根据所述损失值获取模型损失值；

根据所述模型损失值，更新点云目标检测模型的模型参数。

4.根据权利要求3所述的点云目标检测方法，其特征在于，在“根据所述损失值获取模型损失值”的步骤之前，所述方法还包括：

分别对每个第三检测框角点在第三XY平面上的可见性进行分析；

根据可见性的分析结果，分别调整每个第三检测框角点的二维坐标预测值所对应损失值的损失权重；

根据所述损失值与调整后的损失权重，获取模型损失值。

5.根据权利要求4所述的点云目标检测方法，其特征在于，“根据可见性的分析结果，分别调整每个第三检测框角点的二维坐标预测值所对应损失值的损失权重”的步骤具体包括：

根据可见性的分析结果，判断第三检测框角点是否可见；

若可见，则增大相应的损失权重；

若不可见，则减小相应的损失权重。

6.根据权利要求4所述的点云目标检测方法，其特征在于，

“分别对每个第三检测框角点在第三XY平面上的可见性进行分析”的步骤具体包括：分别对第三检测框角点在第三XY平面的X轴和Y轴上的可见性进行分析；

“根据可见性的分析结果，分别调整每个第三检测框角点的二维坐标预测值所对应损失值的损失权重”的步骤具体包括：

根据第三检测框角点在X轴上可见性的分析结果，调整二维坐标预测值中X轴坐标所对应损失值的损失权重；

根据第三检测框角点在Y轴上可见性的分析结果，调整二维坐标预测值中Y轴坐标所对应损失值的损失权重。

7.根据权利要求3所述的点云目标检测方法，其特征在于，在“根据第三检测框角点的预测排列顺序和真实排列顺序，分别将对应于同一排列位次的二维坐标预测值与二维坐标真实值形成一个坐标组”的步骤之前，所述方法还包括：

对所述样本进行目标朝向预测，以获取目标的预测朝向，所述预测排列顺序中首个排列位次的第三检测框角点位于预测朝向的左上方且每个第三检测框角点按照预设的顺序依次排列；

判断目标的预测朝向与预设的真实朝向是否相反，所述真实排列顺序中首个排列位次的第三检测框角点位于所述真实朝向的左上方且每个第三检测框角点也按照所述预设的顺序依次排列；

若相反，则调整第三检测框角点的预测排列顺序，以使目标的预测朝向与真实朝向相同且预测排列顺序中首个排列位次的第三检测框角点始终位于预测朝向的左上方；

若不相反，则不调整第三检测框角点的预测排列顺序。

8.根据权利要求7所述的点云目标检测方法，其特征在于，“调整第三检测框角点的预测排列顺序”的步骤具体包括：

分别计算每两个相邻第三检测框角点连接形成的边与预测朝向的夹角；

以最小夹角对应的边作为二维检测框的长边并按照所述预设的顺序，分别调整每个第三检测框角点的排列位次，直至目标的预测朝向与预设的真实朝向相同。

9.根据权利要求3所述的点云目标检测方法，其特征在于，

“获取第三检测框角点的预测排列顺序”的步骤具体包括：分别获取目标在每个不同朝向时第三检测框角点的预测排列顺序，每组预测排列顺序与每个朝向一一对应；

“根据第三检测框角点的预测排列顺序和真实排列顺序，分别将对应于同一排列位次的二维坐标预测值与二维坐标真实值形成一个坐标组”的步骤具体包括：针对每组预测排列顺序，根据当前一组预测排列顺序和真实排列顺序，分别将对应于同一排列位次的二维坐标预测值与二维坐标真实值形成一个坐标组；

“获取模型损失值”的步骤具体包括：针对每组预测排列顺序，采用回归损失函数分别获取当前一组预测排列顺序对应的每个坐标组中二维坐标预测值与二维坐标真实值之间的损失值，并根据所述损失值获取模型损失值；

“根据所述模型损失值，更新点云目标检测模型的模型参数”的步骤具体包括：从每组预测排列顺序对应的模型损失值中选取最小的模型损失值，根据最小的模型损失值更新模型参数。

10.一种计算机设备，包括处理器和存储装置，所述存储装置适于存储多条程序代码，其特征在于，所述程序代码适于由所述处理器加载并运行以执行权利要求1至9中任一项所述的点云目标检测方法。

11.一种计算机可读存储介质，其中存储有多条程序代码，其特征在于，所述程序代码适于由处理器加载并运行以执行权利要求1至9中任一项所述的点云目标检测方法。

12.一种车辆，其特征在于，所述车辆包括权利要求10所述的计算机设备。

Images