CN115830571A - 一种检测框的确定方法、装置、设备及存储介质 - Google Patents

Abstract

本发明公开了一种检测框的确定方法、装置、设备及存储介质。该方法包括：确定第一目标点特征和语义特征；将第一目标点特征输入至第一预设卷积网络中，确定卷积点云特征属于前景点特征的置信度；确定初始关键点，并基于置信度，以及初始关键点和目标点云中除初始关键点外每个点的距离，确定目标关键点特征；融合语义特征、目标关键点特征以及第一目标点特征，得到第二目标点特征；基于第二预设卷积网络对第二目标点特征进行处理，得到候选检测框，并根据候选检测框的尺寸与预设框的尺寸间的差距，确定目标检测框。本发明实施例的技术方案，保留了点云的三维空间信息，解决前景点数量较少的问题，增强了前景点点云的质量，提高了检测框的准确度。

Description

一种检测框的确定方法、装置、设备及存储介质

技术领域

本发明涉及目标物体检测技术领域，尤其涉及一种检测框的确定方法、装置、设备及存储介质。

背景技术

随着无人驾驶技术的不断发展，在可自动驾驶的车辆上一般安装有激光雷达，通过对激光雷达采集到的点云数据进行处理，可以实现对三维的目标物体的检测和追踪。

目前，现有的对三维目标物体的检测可以大致分为两类，一类是基于体素的特征提取算法，另一类是基于原始点云的特征提取算法。其中，基于体素的特征提取算法，一般将非结构化的点云数据转化为三维体素或转化到二维俯视图网格中，基于原始点云的特征提取算法，利用点云网络直接从原始点云中提取特征，未对点云进行体素化及卷积下采样，保留了原始点云的高精度三维空间位置信息。

然而，基于原始点云的特征提取算法在下采样的过程中，会损失原始点云的三维空间信息，导致生成的检测框的准确度不高，而且基于原始点云的特征提取算法提取的前景点的数量较少，导致生成的检测框的准确度也不高。

发明内容

本发明提供了一种检测框的确定方法、装置、设备及存储介质，以解决根据点云生成的检测框的准确度不高的问题。

第一方面，本发明实施例提供了一种检测框的确定方法，包括：

确定目标点云的第一目标点特征和语义特征；

将所述第一目标点特征输入至第一预设卷积网络中，根据所述第一预设卷积网络的输出确定卷积点云特征中每个特征属于前景点特征的置信度，其中，所述第一预设卷积网络中至少包括稀疏卷积层、稀疏反卷积层以及流行稀疏卷积层；

从所述目标点云中确定初始关键点，并基于所述置信度，以及所述初始关键点和所述目标点云中除所述初始关键点外的每个点的距离，确定目标关键点特征；

融合所述语义特征、所述目标关键点特征以及所述第一目标点特征，得到第二目标点特征；

基于第二预设卷积网络对所述第二目标点特征进行处理，得到候选检测框，并根据所述候选检测框的尺寸与预设框的尺寸间的差距，确定是否将所述候选检测框确定为目标检测框，其中，所述第二目标点特征为三维特征。

第二方面，本发明实施例提供了一种检测框的确定装置，包括：

第一特征确定模块，用于确定目标点云的第一目标点特征和语义特征；

置信度确定模块，用于将所述第一目标点特征输入至第一预设卷积网络中，根据所述第一预设卷积网络的输出确定卷积点云特征中每个特征属于前景点特征的置信度，其中，所述第一预设卷积网络中至少包括稀疏卷积层、稀疏反卷积层以及流行稀疏卷积层；

第二特征确定模块，用于从所述目标点云中确定初始关键点，并基于所述置信度，以及所述初始关键点和所述目标点云中除所述初始关键点外的每个点的距离，确定目标关键点特征；

第三特征确定模块，用于融合所述语义特征、所述目标关键点特征以及所述第一目标点特征，得到第二目标点特征

检测框确定模块，用于基于第二预设卷积网络对所述第二目标点特征进行处理，得到候选检测框，并根据所述候选检测框的尺寸与预设框的尺寸间的差距，确定是否将所述候选检测框确定为目标检测框，其中，所述第二目标点特征为三维特征。

第三方面，本发明实施例提供了一种电子设备，该电子设备包括：

至少一个处理器；

以及与至少一个处理器通信连接的存储器；

其中，存储器存储有可被至少一个处理器执行的计算机程序，该计算机程序被至少一个处理器执行，以使至少一个处理器能够执行上述第一方面的检测框的确定方法。

第四方面，本发明实施例提供了一种计算机可读存储介质，该计算机可读存储介质存储有计算机指令，计算机指令用于使处理器执行时实现上述第一方面的检测框的确定方法。

本发明实施例提供的检测框的确定方案，确定目标点云的第一目标点特征和语义特征，将所述第一目标点特征输入至第一预设卷积网络中，根据所述第一预设卷积网络的输出确定卷积点云特征中每个特征属于前景点特征的置信度，其中，所述第一预设卷积网络中至少包括稀疏卷积层、稀疏反卷积层以及流行稀疏卷积层，从所述目标点云中确定初始关键点，并基于所述置信度，以及所述初始关键点和所述目标点云中除所述初始关键点外的每个点的距离，确定目标关键点特征，融合所述语义特征、所述目标关键点特征以及所述第一目标点特征，得到第二目标点特征，基于第二预设卷积网络对所述第二目标点特征进行处理，得到候选检测框，并根据所述候选检测框的尺寸与预设框的尺寸间的差距，确定是否将所述候选检测框确定为目标检测框，其中，所述第二目标点特征为三维特征。通过采用上述技术方案，将目标点云的第一目标点特征输入第一预设卷积网络，得到卷积点云特征中每个特征属于前景点特征的置信度，然后根据该置信度，以及目标点云中的初始关键点与目标点云中其他点的距离，确定目标关键点特征，然后融合目标点云的语义特征、目标关键点特征以及第一目标点特征，得到第二目标点特征，最后利用第二预设卷积网络对第二目标点特征进行处理，得到候选检测框，并根据候选检测框的尺寸与预设框的尺寸间的差距，确定目标检测框，与传统的检测框确定方法相比，保留了点云的三维空间信息，利用预设卷积网络确定出的置信度，可以解决目标关键点中前景点数量较少的问题，增强了前景点点云的质量，为后续生成检测框提供了充分的特征信息，提高了检测框的准确度。

应当理解，本部分所描述的内容并非旨在标识本发明的实施例的关键或重要特征，也不用于限制本发明的范围。本发明的其它特征将通过以下的说明书而变得容易理解。

附图说明

为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是根据本发明实施例一提供的一种检测框的确定方法的流程图；

图2是根据本发明实施例二提供的一种检测框的确定方法的流程图；

图3是根据本发明实施例二提供的一种训练框架图；

图4是根据本发明实施例二提供的一种KITTI数据集中的训练过程可视化图；

图5是根据本发明实施例三提供的一种检测框的确定装置的结构示意图；

图6是根据本发明实施例四提供的一种电子设备的结构示意图。

具体实施方式

为了使本技术领域的人员更好地理解本发明方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分的实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护的范围。

需要说明的是，本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。在本发明的描述中，除非另有说明，“多个”是指两个或两个以上。“和/或”，描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。字符“/”一般表示前后关联对象是一种“或”的关系。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。

实施例一

图1为本发明实施例一提供了一种检测框的确定方法的流程图，本实施例可适用于基于点云数据生成检测框的情况，该方法可以由检测框的确定装置来执行，该检测框的确定装置可以采用硬件和/或软件的形式实现，该检测框的确定装置可配置于电子设备中，该电子设备可以是两个或多个物理实体构成，也可以是一个物理实体构成。

如图1所示，该本发明实施例一提供的一种检测框的确定方法，具体包括如下步骤：

S101、确定目标点云的第一目标点特征和语义特征。

在本实施例中，可以先雷达设备，如激光雷达等，获取点云数据，该点云数据即为初始点云，然后可以利用第一预设方法对初始点云进行处理，如按照一定比例选取初始点云中的点作为目标点，从而得到目标点云，目标点云中每个点的三维坐标为目标点特征，即第一目标点特征，并提取目标点云的语义特征。其中，由于存在多种语义特征的提取方式，在此并不做限制，点云可以理解为点数据的集合，点云中的点通常以三维坐标的形式体现，即点云中包含多个三维坐标，该三维坐标即为点特征。

S102、将所述第一目标点特征输入至第一预设卷积网络中，根据所述第一预设卷积网络的输出确定卷积点云特征中每个特征属于前景点特征的置信度，其中，所述第一预设卷积网络中至少包括稀疏卷积层、稀疏反卷积层以及流行稀疏卷积层。

在本实施例中，可以先构建第一预设卷积网络来计算置信度，该第一预设卷积网络中可以包含稀疏卷积层、稀疏反卷积层以及流行稀疏卷积层等，第一目标点特征经过稀疏卷积层处理后，会提取到第一目标点特征中细粒度的特征信息，然后再经过稀疏反卷积层的处理，可以将该细粒度的特征信息还原到接近初始特征信息，即还原到接近第一目标点特征，再将该反卷积处理后的特征信息输入流行稀疏卷积层中，得到卷积点云特征以及该卷积点云特征属于前景点特征的置信度，其中，卷积点云特征与第一目标点特征通常可以一一对应，若存在对应不上的情况，可将其视为误差数据，并忽略不计。

S103、从所述目标点云中确定初始关键点，并基于所述置信度，以及所述初始关键点和所述目标点云中除所述初始关键点外的每个点的距离，确定目标关键点特征。

在本实施例中，可以利用第二预设方法从目标点云中确定初始关键点，如从目标点云中任选至少两点作为初始关键点，计算初始关键点和目标点云中除初始关键点外的每个点的距离，然后在多个距离中确定满足预设要求的点，满足预设要求的点即为目标关键点，该点的特征即为目标关键点特征。其中，预设要求包含对置信度的要求和对距离的要求，如置信度超过预设置信度值且距离超过预设距离值。

S104、融合所述语义特征、所述目标关键点特征以及所述第一目标点特征，得到第二目标点特征。

在本实施例中，融合方式可以为拼接等，即可以拼接语义特征、目标关键点特征以及第一目标点特征，从而得到第二目标点特征。

S105、基于第二预设卷积网络对所述第二目标点特征进行处理，得到候选检测框，并根据所述候选检测框的尺寸与预设框的尺寸间的差距，确定是否将所述候选检测框确定为目标检测框，其中，所述第二目标点特征为三维特征。

在本实施例中，可以利用第二预设卷积网络，提取第二目标点特征中的多个关键特征，并根据该多个关键特征的相似度和/或关联度等生成候选框，如将相似度高的关键特征确定为同一候选框内的特征，然后对比候选检测框的尺寸与预设框的尺寸间的差距，若差距满足设定要求，如候选检测框的长宽高与预设框的长宽高之间的差值均小于预设差距值，则可将该候选检测框确定为目标检测框。其中，检测框一般用于框定待检测的物体，如人物、车辆以及植物等，以便后续对检测框内的物体进行物体检测和/或物体跟踪等，预设框的种类可以为多种，如可以为车辆框和人物框等，预设框的尺寸可以根据实际情况设定，如根据常规车辆的大小设定车辆框的尺寸。

本发明实施例提供的检测框的确定方法，确定目标点云的第一目标点特征和语义特征，将所述第一目标点特征输入至第一预设卷积网络中，根据所述第一预设卷积网络的输出确定卷积点云特征中每个特征属于前景点特征的置信度，其中，所述第一预设卷积网络中至少包括稀疏卷积层、稀疏反卷积层以及流行稀疏卷积层，从所述目标点云中确定初始关键点，并基于所述置信度，以及所述初始关键点和所述目标点云中除所述初始关键点外的每个点的距离，确定目标关键点特征，融合所述语义特征、所述目标关键点特征以及所述第一目标点特征，得到第二目标点特征，基于第二预设卷积网络对所述第二目标点特征进行处理，得到候选检测框，并根据所述候选检测框的尺寸与预设框的尺寸间的差距，确定是否将所述候选检测框确定为目标检测框，其中，所述第二目标点特征为三维特征。本发明实施例技术方案，将目标点云的第一目标点特征输入第一预设卷积网络，得到卷积点云特征中每个特征属于前景点特征的置信度，然后根据该置信度，以及初始关键点与目标点云中除初始关键点外的其他点的距离，确定目标关键点特征，然后融合目标点云的语义特征、目标关键点特征以及第一目标点特征，得到第二目标点特征，最后利用第二预设卷积网络对第二目标点特征进行处理，得到候选检测框，并根据候选检测框的尺寸与预设框的尺寸间的差距，确定目标检测框，与传统的检测框确定方法相比，保留了点云的三维空间信息，利用预设卷积网络确定出的置信度，可以解决目标关键点中前景点数量较少的问题，增强了前景点点云的质量，为后续生成检测框提供了充分的特征信息，提高了检测框的准确度。

实施例二

图2为本发明实施例二提供的一种检测框的确定方法的流程图，本发明实施例的技术方案在上述各可选技术方案的基础上进一步优化，给出了生成检测框的具体方式。

可选的，所述将所述第一目标点特征输入至第一预设卷积网络中，根据所述第一预设卷积网络的输出确定卷积点云特征中每个特征属于前景点特征的置信度，包括：利用第一预设卷积网络的稀疏卷积层，对所述第一目标点特征进行下采样处理，得到第一特征；利用第一预设卷积网络的稀疏反卷积层，对所述第一特征进行上采样处理，得到第二特征；将所述第二特征输入至所述第一预设卷积网络的流行稀疏卷积层中，根据所述流行稀疏卷积层中非线性分类器的输出，确定卷积点云特征中每个特征属于前景点特征的置信度。这样设置的好处在于，经过上采样和下采样后得到的特征数据中含有更多的细粒度特征，使置信度的计算更为准确，从而提高了后续生成的检测框的精度。

可选的，所述从所述目标点云中确定初始关键点，并基于所述置信度，以及所述初始关键点和所述目标点云中除所述初始关键点外的每个点的距离，确定目标关键点特征，包括：从所述目标点云中确定第一初始关键点和第二初始关键点；将所述目标点云中除初始关键点外的每个点，与所述初始关键点的欧式距离的最小值，确定为第一欧式距离，得到第一欧式距离集，其中，所述初始关键点包括所述第一初始关键点和所述第二初始关键点；根据所述置信度的大小确定所述第一欧式距离集中每个第一欧式距离的权重系数，并计算所述第一欧式距离与所述权重系数的乘积，得到第二欧式距离集，其中，所述权重系数与所述置信度正相关；在已确定的目标关键点特征的数量未达到预设数量之前，将所述第二欧式距离集中最大的第二欧式距离对应的第一目标点特征，确定为新增的目标关键点特征；其中，所述目标关键点特征的数量的初始值为零，每确定一个新增的所述目标关键点特征则调整一次所述权重系数，所述第二欧式距离集根据权重系数的调整进行更新。这样设置的好处在于，根据置信度的大小正相关的调整第一欧式距离的权重系数，前景点的欧式距离将大于背景点的欧式距离，从而可以将更多的前景点确定为目标关键点，即提取更多的前景点，解决了前景点提取不准的问题。

可选的，所述融合所述语义特征、所述目标关键点特征以及所述第一目标点特征，得到第二目标点特征，包括：拼接所述目标关键点特征以及所述第一目标点特征，得到第三特征；利用第三预设卷积网络，将所述第三特征下采样为与所述语义特征维度匹配的第四特征，并拼接所述第四特征和所述语义特征，得到第二目标点特征。这样设置的好处在于，先将目标关键点特征和第一目标点特征进行拼接，再将拼接后的结果进行下采样处理，使其与语义特征的维度相匹配后，再进行拼接，从而使三维空间特征与语义特征更好的融合，得到的融合结果，即第二目标点特征，包含较为完整的三维空间特征。

如图2所示，本发明实施例二提供的一种检测框的确定方法，具体包括如下步骤：

S201、确定目标点云的第一目标点特征和语义特征。

可选的，所述第一目标点特征的确定方式包括：将预设雷达坐标系中的初始点云体素化，得到体素网格，其中，所述体素网格中包含多个体素小格；计算非空体素小格中点的坐标的均值，将所述均值确定为目标点坐标，并根据所述目标点坐标生成多个目标点，其中，所述体素小格包括空体素小格和所述非空体素小格，每个所述非空体素小格中包含至少一个所述初始点云中的点；根据多个所述目标点确定目标点云，并将所述目标点坐标确定为所述目标点云的第一目标点特征。这样设置的好处在于，使目标点云与初始点云的近似等价，降低了后续卷积处理的工作量。

具体的，可以先以体素为单位，将初始点云划分为多个体素小格，从而得到体素网格，每个体素小格为一体素，从多个体素小格中筛选出非空体素小格，然后计算每个非空体素小格中包含的点的坐标的均值，如非空体素小格中包含两个点且坐标为(1,2,3)和(4,5,6)，则均值为(2.5,3.5,4.5)，该均值即为目标点坐标，也是第一目标点特征，该目标点坐标对应的点即为目标点，多个目标点可以组成目标点云。其中，体素是体积元素的简称，其可以理解为三维空间的像素，每个非空体素小格内，可以包含多个初始点云中的点，即多个三维点坐标，体素网格的分辨率可以预设，如预设为70*30*2。

S202、利用第一预设卷积网络的稀疏卷积层，对所述第一目标点特征进行下采样处理，得到第一特征。

具体的，可以将第一目标点特征输入至第一预设卷积网络的稀疏卷积层中，得到第一特征。其中，稀疏卷积层处理第一目标点特征的过程，即为下采样的过程，稀疏卷积层的相关参数可以预设，如可以将稀疏卷积层的卷积核大小设置为3*3*3、步幅设置为2、下采样因子设置为8以及输出的第一特征的维度设置为16、32、64和64等。

S203、利用第一预设卷积网络的稀疏反卷积层，对所述第一特征进行上采样处理，得到第二特征。

具体的，可以将第一特征输入至第一预设卷积网络的稀疏反卷积层中，得到第二特征。其中，稀疏反卷积层处理第一特征的过程，即为上采样的过程，稀疏反卷积层的处理可以近似理解为稀疏卷积的逆处理，第二特征与第一目标点特征存在对应关系，但第二特征中包含的细粒度特征比第一目标点特征更多。

S204、将所述第二特征输入至所述第一预设卷积网络的流行稀疏卷积层中，根据所述流行稀疏卷积层中非线性分类器的输出，确定卷积点云特征中每个特征属于前景点特征的置信度。

具体的，可以将第二特征输入至第一预设卷积网络的流行稀疏卷积层中，经过流行稀疏卷积层中的非线性分类器的处理，可以得到卷积点云特征、卷积点云及每个卷积点云特征属于前景点的置信度。其中，由于卷积点云中的每个点和目标点云中的每个点存在对应关系，故卷积点云特征的置信度与目标点云中的每个点也存在对应关系，非线性分类器的种类在此不作限制，如可以为sigmoid函数，其输出的置信度通常为0至1之间的数值，置信度越大，卷积点云特征属于前景点的概率就越大。

可选的，在前期训练阶段，第一预设卷积网络的非线性分类器的损失函数L₁可以为焦点损失函数，其中：

s表示第i个特征属于前景点特征的置信度，α＝0.15，γ＝2，N表示卷积点云中点的个数，n表示置信度大于预设置信度阈值的特征的个数，如置信度大于0.5的特征的个数。

S205、从所述目标点云中确定第一初始关键点和第二初始关键点。

具体的，可以将目标点云中满足预设关键点要求，如预设关键点要求可以为相距距离超过2米，的两个点确定为初始关键点，即第一初始关键点和第二初始关键点。

可选的，所述从所述目标点云中确定第一初始关键点和第二初始关键点，包括：从所述目标点云中确定第一初始关键点，并将所述第一初始关键点在所述目标点云中对应的第一目标点特征，确定为第一初始关键点特征；根据所述第一初始关键点特征和所述目标点云中除所述第一初始关键点外每个点对应的第一目标点特征，确定所述第一初始关键点与所述目标点云中除所述第一初始关键点外每个点的第三欧式距离，以得到第三欧式距离集；将所述第三欧式距离集中最大的第三欧式距离对应的第一目标点特征，确定为第二初始关键点特征，并根据所述第二初始关键点特征确定第二初始关键点。这样设置的好处在于，与只确定一个关键点相比，先确定一个关键点，再将与该关键点相距欧式距离最远的点确定为另一个关键点，提高了前景点被选中的几率。

具体的，可以先从目标点云中任选一点作为第一初始关键点，并将该目标点云中的点的特征，即第一目标点特征，确定为第一初始关键点特征，然后根据第一初始关键点特征与第一目标点特征，计算第一初始关键点与目标点云中其他的点的欧式距离，即第一初始关键点与目标点云中除第一初始关键点外每个点的第三欧式距离，根据确定的多个欧式距离可以生成对应的欧式距离集，从该欧式距离集中筛选出最大的欧式距离，该最大的欧式距离对应的第一目标点特征即为第二初始关键点特征，该第二初始关键点特征对应的点即为第二初始关键点，其中，第一目标点特征和第一初始关键点特征均为三维点坐标，故通过计算可以得到第一初始关键点与目标点云中的点之间的欧式距离。

可选的，也可以在目标点云的预设范围内选取第一初始关键点和确定第二初始关键点，如可以在目标点云中选取第一初始关键点，再以该第一初始关键点为圆心，以预设数值为半径的圆内，确定第二初始关键点。

S206、将所述目标点云中除初始关键点外的每个点，与所述初始关键点的欧式距离的最小值，确定为第一欧式距离，得到第一欧式距离集。

其中，所述初始关键点包括所述第一初始关键点和所述第二初始关键点。

具体的，可以计算目标点云中除初始关键点外的每个点和两个初始关键点，即第一初始关键点和第二初始关键点，的最小欧式距离，从而得到由该最小欧式距离组成的第一欧式距离集。

S207、根据所述置信度的大小确定所述第一欧式距离集中每个第一欧式距离的权重系数，并计算所述第一欧式距离与所述权重系数的乘积，得到第二欧式距离集。

其中，所述权重系数与所述置信度正相关。

具体的，可以根据目标点云中的点对应的置信度的大小来设置权重系数，置信度越大，则权重系数越大，然后计算第一欧式距离集中每个第一欧式距离与该权重系数的乘积，即对第一欧式距离进行加权计算，从而得到由该乘积组成的第二欧式距离集，其中，卷积点云特征的置信度与目标点云中的每个点存在对应关系，对第一欧式距离进行加权计算的作用可以理解为，相对增大前景点的欧式距离，相对减小背景点的欧式距离。

S208、在已确定的目标关键点特征的数量未达到预设数量之前，将所述第二欧式距离集中最大的第二欧式距离对应的第一目标点特征，确定为新增的目标关键点特征。

其中，所述目标关键点特征的数量的初始值为零，每确定一个新增的所述目标关键点特征则调整一次所述权重系数，所述第二欧式距离集根据权重系数的调整进行更新。

具体的，可以设定目标关键点特征的数量，即预设数量，如5个，当目标关键点特征的数量小于5个时，可以将第二欧式距离集中最大的第二欧式距离对应的第一目标点特征确定为目标关键点特征，当目标关键点特征的数量等于5个时，则不再确定新的目标关键点特征，其中，在每确定一个新的目标关键点特征后，均可调整一次权重系数，并同步更新权重系数与第一欧式距离的乘积，即同步更新第二欧式距离集，调整后的权重系数依然遵循置信度越大，权重系数越大的原则。

S209、拼接所述目标关键点特征以及所述第一目标点特征，得到第三特征。

具体的，可以先对目标关键点特征和第一目标点特征进行拼接，从而得到第三特征。

S210、利用第三预设卷积网络，将所述第三特征下采样为与所述语义特征维度匹配的第四特征，并拼接所述第四特征和所述语义特征，得到第二目标点特征。

具体的，在得到第三特征后，可以先利用第三预设卷积网络对该第三特征下采样，得到第四特征，再拼接该第四特征和目标点云的语义特征，得到第二目标点特征。其中，第三预设卷积网络中包括三维稀疏卷积层。

S211、基于第二预设卷积网络对所述第二目标点特征进行处理，得到候选检测框，并根据所述候选检测框的尺寸与预设框的尺寸间的差距，确定是否将所述候选检测框确定为目标检测框。

可选的，所述基于第二预设卷积网络对所述第二目标点特征进行处理，得到候选检测框，并根据所述候选检测框的尺寸与预设框的尺寸间的差距，确定是否将所述候选检测框确定为目标检测框，包括：将所述第二目标点特征进行压缩处理，得到二维俯视图压缩特征；利用第二预设卷积网络对所述二维俯视图压缩特征进行聚类处理，得到候选检测框；确定所述候选检测框的尺寸与预设框的尺寸的交并比是否大于设定阈值，若大于，则将所述候选检测框确定为目标检测框。这样设置的好处在于，通过计算候选检测框的尺寸与预设框的尺寸的交并比，可以准确的确定出二者之间尺寸的差距，从而使生成的目标检测框更为准确。

具体的，可以先对三维的第二目标点特征进行压缩处理，将其压缩为二维俯视图特征，即二维俯视图压缩特征，然后可以利用第二预设卷积网络，提取二维俯视图压缩特征中的细粒度特征，再对该细粒度特征进行聚类处理，从而可以生成候选检测框，最后计算候选检测框的尺寸与预设框的尺寸的交并比，若该交并比大于设定阈值，则表明候选检测框的尺寸与预设框的尺寸较为接近，则可将该候选检测框确定为目标检测框。其中，在生成候选检测框之后可以先利用预设模型或算法识别候选检测框的类型，然后确定与候选检测框的类型一致的预设框，再计算候选检测框的尺寸与预设框的尺寸的交并比，预设框的类型通常包含多种，对应的不同类型的预设框的尺寸不同，如汽车框尺寸为长3.9米、宽1.6米以及高1.56米，以及行人框的尺寸为长0.8米、宽0.6米以及高1.7米等，不同类别的预设框对应的设定阈值可以不同，如汽车框对应的设定阈值可以为0.6，行人框对应的设定阈值可以为0.5。

可选的，图3为一种训练框架图，在前期训练阶段可以基于自监督学习机制来训练目标检测框的确定模型，使目标检测框的精度足够准确，目标检测框的确定模型生成目标检测框的过程和本文的检测框的确定方法对应，训练过程如图3所示，训练该目标检测框的确定模型时，需在先由人工在样本点云中标注标准框，也可称为锚框，然后再将该标注后的点云输入至点云分割模块，即第一预设卷积网络中，根据其输出的置信度确定关键点特征，即目标关键点特征，再将语义特征、关键点特征以及空间特征，即第一目标点特征，进行特征拼接得到拼接特征，即第二目标点特征，将该拼接特征输入至融合模块，即根据标注框对第二目标点特征进行回归处理得到候选框，并对候选框的类型进行分类，再通过同一类型的候选框的尺寸与锚框尺寸的交并比，来确定是否将候选框确定为目标检测框。可以将训练期间生成的目标检测框视为真实框，将训练期间生成的候选检测框视为候选框，并计算区域生成网络损失函数L₂以及回归损失函数L₃，其中：

L_cls表示类别损失值，即候选检测框的类别损失值，其根据类别损失函数确定，类别损失函数可以为Focal loss函数，β为系数，

表示候选框与锚框的残差，Δr^a表示真实框与锚框的残差，L_con表示候选框与真实框之间的损失值，其可以通过交叉熵计算确定，候选框与真实框越相似，L_con越小，

表示候选框与真实框的残差，Δr^b表示候选框与锚框之间的残差，候选框、真实框以及锚框可以表示为{x,y,z,l,h,w,θ}的形式，(x,y,z)表示候选框、真实框以及锚框在二维俯视图的雷达坐标系中的中心坐标，l、h以及w表示候选框、真实框以及锚框的长宽高尺寸，θ表示候选框以及真实框在相机坐标系中物体前进方向和水平轴的夹角。总损失函数L为,L＝L₁+L₂+L₃，当总损失函数的值满足设定损失要求时，如小于0.2，即可表示训练完成，即真实框的精度足够精准。其中，图4为一种KITTI数据集中的训练过程可视化图，训练期间的相关样本数据和训练数据可以存储至预设存储区内，如KITTI数据集中，可视化的训练的过程如图4所示。

本发明实施例提供的检测框的确定方法，利用第一预设卷积网络确定卷积点云特征属于前景点特征的置信度，然后在目标点云中确定初始关键点，再根据置信度的大小设置第一目标点特征的权重系数，根据该权重系数与初始关键点和目标点云中其他点的距离的乘积，确定目标关键点特征，然后拼接目标点云的语义特征、目标关键点特征以及第一目标点特征，得到第二目标点特征，最后利用第二预设卷积网络对第二目标点特征进行处理，得到候选检测框，并根据候选检测框的尺寸与预设框的尺寸间的交并比，确定目标检测框，经过卷积处理后的点特征具备了更多的细粒度特征，根据该点特征确定的置信度准确度更高，从而可以使更多的前景点被确定为目标关键点，解决了由于混入较多的背景点，从而造成生成的检测框精度不高的问题。

实施例三

图5为本发明实施例三提供的一种检测框的确定装置的结构示意图。如图5所示，该装置包括：第一特征确定模块301、置信度确定模块302、第二特征确定模块303、第三特征确定模块304以及检测框确定模块305，其中：

第一特征确定模块，用于确定目标点云的第一目标点特征和语义特征；

置信度确定模块，用于将所述第一目标点特征输入至第一预设卷积网络中，根据所述第一预设卷积网络的输出确定卷积点云特征中每个特征属于前景点特征的置信度，其中，所述第一预设卷积网络中至少包括稀疏卷积层、稀疏反卷积层以及流行稀疏卷积层；

第二特征确定模块，用于从所述目标点云中确定初始关键点，并基于所述置信度，以及所述初始关键点和所述目标点云中除所述初始关键点外的每个点的距离，确定目标关键点特征；

第三特征确定模块，用于融合所述语义特征、所述目标关键点特征以及所述第一目标点特征，得到第二目标点特征

检测框确定模块，用于基于第二预设卷积网络对所述第二目标点特征进行处理，得到候选检测框，并根据所述候选检测框的尺寸与预设框的尺寸间的差距，确定是否将所述候选检测框确定为目标检测框。

本发明实施例提供的检测框的确定装置，将目标点云的第一目标点特征输入第一预设卷积网络，得到卷积点云特征中每个特征属于前景点特征的置信度，然后根据该置信度，以及初始关键点与目标点云中除初始关键点外的其他点的距离，确定目标关键点特征，然后融合目标点云的语义特征、目标关键点特征以及第一目标点特征，得到第二目标点特征，最后利用第二预设卷积网络对第二目标点特征进行处理，得到候选检测框，并根据候选检测框的尺寸与预设框的尺寸间的差距，确定目标检测框，与传统的检测框确定方法相比，保留了点云的三维空间信息，利用预设卷积网络确定出的置信度，可以解决目标关键点中前景点数量较少的问题，增强了前景点点云的质量，为后续生成检测框提供了充分的特征信息，提高了检测框的准确度。

可选的，所述第一目标点特征的确定方式包括：将预设雷达坐标系中的初始点云体素化，得到体素网格，其中，所述体素网格中包含多个体素小格；计算非空体素小格中点的坐标的均值，将所述均值确定为目标点坐标，并根据所述目标点坐标生成多个目标点，其中，所述体素小格包括空体素小格和所述非空体素小格，每个所述非空体素小格中包含至少一个所述初始点云中的点；根据多个所述目标点确定目标点云，并将所述目标点坐标确定为所述目标点云的第一目标点特征。

可选的，置信度确定模块包括：

第一特征确定单元，用于利用第一预设卷积网络的稀疏卷积层，对所述第一目标点特征进行下采样处理，得到第一特征；

第二特征确定单元，用于利用第一预设卷积网络的稀疏反卷积层，对所述第一特征进行上采样处理，得到第二特征；

置信度确定单元，用于将所述第二特征输入至所述第一预设卷积网络的流行稀疏卷积层中，根据所述流行稀疏卷积层中非线性分类器的输出，确定卷积点云特征中每个特征属于前景点特征的置信度。

可选的，第二特征确定模块包括：

初始关键点确定单元，用于从所述目标点云中确定第一初始关键点和第二初始关键点；

第一距离集确定单元，用于将所述目标点云中除初始关键点外的每个点，与所述初始关键点的欧式距离的最小值，确定为第一欧式距离，得到第一欧式距离集，其中，所述初始关键点包括所述第一初始关键点和所述第二初始关键点；

第二距离集确定单元，用于根据所述置信度的大小确定所述第一欧式距离集中每个第一欧式距离的权重系数，并计算所述第一欧式距离与所述权重系数的乘积，得到第二欧式距离集，其中，所述权重系数与所述置信度正相关；

关键点特征确定单元，用于在已确定的目标关键点特征的数量未达到预设数量之前，将所述第二欧式距离集中最大的第二欧式距离对应的第一目标点特征，确定为新增的目标关键点特征；

其中，所述目标关键点特征的数量的初始值为零，每确定一个新增的所述目标关键点特征则调整一次所述权重系数，所述第二欧式距离集根据权重系数的调整进行更新。

可选的，所述从所述目标点云中确定第一初始关键点和第二初始关键点，包括：从所述目标点云中确定第一初始关键点，并将所述第一初始关键点在所述目标点云中对应的第一目标点特征，确定为第一初始关键点特征；根据所述第一初始关键点特征和所述目标点云中除所述第一初始关键点外每个点对应的第一目标点特征，确定所述第一初始关键点与所述目标点云中除所述第一初始关键点外每个点的第三欧式距离，以得到第三欧式距离集；将所述第三欧式距离集中最大的第三欧式距离对应的第一目标点特征，确定为第二初始关键点特征，并根据所述第二初始关键点特征确定第二初始关键点。

可选的，第三特征确定模块包括：

第三特征确定单元，用于拼接所述目标关键点特征以及所述第一目标点特征，得到第三特征；

目标点特征确定单元，用于利用第三预设卷积网络，将所述第三特征下采样为与所述语义特征维度匹配的第四特征，并拼接所述第四特征和所述语义特征，得到第二目标点特征。

可选的，检测框确定模块包括：

压缩特征确定单元，用于将所述第二目标点特征进行压缩处理，得到二维俯视图压缩特征；

候选检测框确定单元，用于利用第二预设卷积网络对所述二维俯视图压缩特征进行聚类处理，得到候选检测框；

目标检测框确定单元，用于确定所述候选检测框的尺寸与预设框的尺寸的交并比是否大于设定阈值，若大于，则将所述候选检测框确定为目标检测框。

本发明实施例所提供的检测框的确定装置可执行本发明任意实施例所提供的检测框的确定方法，具备执行方法相应的功能模块和有益效果。

实施例四

图6示出了可以用来实施本发明的实施例的电子设备40的结构示意图。电子设备旨在表示各种形式的数字计算机，诸如，膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例，并且不意在限制本文中描述的和/或者要求的本发明的实现。

如图6所示，电子设备40包括至少一个处理器41，以及与至少一个处理器41通信连接的存储器，如只读存储器(ROM)42、随机访问存储器(RAM)43等，其中，存储器存储有可被至少一个处理器执行的计算机程序，处理器41可以根据存储在只读存储器(ROM)42中的计算机程序或者从存储单元48加载到随机访问存储器(RAM)43中的计算机程序，来执行各种适当的动作和处理。在RAM 43中，还可存储电子设备40操作所需的各种程序和数据。处理器41、ROM 42以及RAM 43通过总线44彼此相连。输入/输出(I/O)接口45也连接至总线44。

电子设备40中的多个部件连接至I/O接口45，包括：输入单元46，例如键盘、鼠标等；输出单元47，例如各种类型的显示器、扬声器等；存储单元48，例如磁盘、光盘等；以及通信单元49，例如网卡、调制解调器、无线通信收发机等。通信单元49允许电子设备40通过诸如因特网的计算机网络和/或各种电信网络与其他设备交换信息/数据。

处理器41可以是各种具有处理和计算能力的通用和/或专用处理组件。处理器41的一些示例包括但不限于中央处理单元(CPU)、图形处理单元(GPU)、各种专用的人工智能(AI)计算芯片、各种运行机器学习模型算法的处理器、数字信号处理器(DSP)、以及任何适当的处理器、控制器、微控制器等。处理器41执行上文所描述的各个方法和处理，例如检测框的确定方法。

在一些实施例中，检测框的确定方法可被实现为计算机程序，其被有形地包含于计算机可读存储介质，例如存储单元48。在一些实施例中，计算机程序的部分或者全部可以经由ROM 42和/或通信单元49而被载入和/或安装到电子设备40上。当计算机程序加载到RAM 43并由处理器41执行时，可以执行上文描述的检测框的确定方法的一个或多个步骤。备选地，在其他实施例中，处理器41可以通过其他任何适当的方式(例如，借助于固件)而被配置为执行检测框的确定方法。

本文中以上描述的系统和技术的各种实施方式可以在数字电子电路系统、集成电路系统、场可编程门阵列(FPGA)、专用集成电路(ASIC)、专用标准产品(ASSP)、芯片上系统的系统(SOC)、负载可编程逻辑设备(CPLD)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括：实施在一个或者多个计算机程序中，该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程系统上执行和/或解释，该可编程处理器可以是专用或者通用可编程处理器，可以从存储系统、至少一个输入装置、和至少一个输出装置接收数据和指令，并且将数据和指令传输至该存储系统、该至少一个输入装置、和该至少一个输出装置。

用于实施本发明的方法的计算机程序可以采用一个或多个编程语言的任何组合来编写。这些计算机程序可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器，使得计算机程序当由处理器执行时使流程图和/或框图中所规定的功能/操作被实施。计算机程序可以完全在机器上执行、部分地在机器上执行，作为独立软件包部分地在机器上执行且部分地在远程机器上执行或完全在远程机器或服务器上执行。

上述提供的计算机设备可用于执行上述任意实施例提供的检测框的确定方法，具备相应的功能和有益效果。

实施例五

在本发明的上下文中，计算机可读存储介质可以是有形的介质，所述计算机可执行指令在由计算机处理器执行时用于执行检测框的确定方法，该方法包括：

确定目标点云的第一目标点特征和语义特征；

将所述第一目标点特征输入至第一预设卷积网络中，根据所述第一预设卷积网络的输出确定卷积点云特征中每个特征属于前景点特征的置信度，其中，所述第一预设卷积网络中至少包括稀疏卷积层、稀疏反卷积层以及流行稀疏卷积层；

从所述目标点云中确定初始关键点，并基于所述置信度，以及所述初始关键点和所述目标点云中除所述初始关键点外的每个点的距离，确定目标关键点特征；

融合所述语义特征、所述目标关键点特征以及所述第一目标点特征，得到第二目标点特征；

基于第二预设卷积网络对所述第二目标点特征进行处理，得到候选检测框，并根据所述候选检测框的尺寸与预设框的尺寸间的差距，确定是否将所述候选检测框确定为目标检测框，其中，所述第二目标点特征为三维特征。

在本发明的上下文中，计算机可读存储介质可以是有形的介质，其可以包含或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的计算机程序。计算机可读存储介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备，或者上述内容的任何合适组合。备选地，计算机可读存储介质可以是机器可读信号介质。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM或快闪存储器)、光纤、便捷式紧凑盘只读存储器(CD-ROM)、光学储存设备、磁储存设备、或上述内容的任何合适组合。

上述提供的计算机设备可用于执行上述任意实施例提供的检测框的确定方法，具备相应的功能和有益效果。

值得注意的是，上述检测框的确定装置的实施例中，所包括的各个单元和模块只是按照功能逻辑进行划分的，但并不局限于上述的划分，只要能够实现相应的功能即可；另外，各功能单元的具体名称也只是为了便于相互区分，并不用于限制本发明的保护范围。

注意，上述仅为本发明的较佳实施例及所运用技术原理。本领域技术人员会理解，本发明不限于这里所述的特定实施例，对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本发明的保护范围。因此，虽然通过以上实施例对本发明进行了较为详细的说明，但是本发明不仅仅限于以上实施例，在不脱离本发明构思的情况下，还可以包括更多其他等效实施例，而本发明的范围由所附的权利要求范围决定。

Claims (10)

1.一种检测框的确定方法，其特征在于，包括：

确定目标点云的第一目标点特征和语义特征；

将所述第一目标点特征输入至第一预设卷积网络中，根据所述第一预设卷积网络的输出确定卷积点云特征中每个特征属于前景点特征的置信度，其中，所述第一预设卷积网络中至少包括稀疏卷积层、稀疏反卷积层以及流行稀疏卷积层；

从所述目标点云中确定初始关键点，并基于所述置信度，以及所述初始关键点和所述目标点云中除所述初始关键点外的每个点的距离，确定目标关键点特征；

融合所述语义特征、所述目标关键点特征以及所述第一目标点特征，得到第二目标点特征；

基于第二预设卷积网络对所述第二目标点特征进行处理，得到候选检测框，并根据所述候选检测框的尺寸与预设框的尺寸间的差距，确定是否将所述候选检测框确定为目标检测框，其中，所述第二目标点特征为三维特征。

2.根据权利要求1所述的方法，其特征在于，所述第一目标点特征的确定方式包括：

将预设雷达坐标系中的初始点云体素化，得到体素网格，其中，所述体素网格中包含多个体素小格；

计算非空体素小格中点的坐标的均值，将所述均值确定为目标点坐标，并根据所述目标点坐标生成多个目标点，其中，所述体素小格包括空体素小格和所述非空体素小格，每个所述非空体素小格中包含至少一个所述初始点云中的点；

根据多个所述目标点确定目标点云，并将所述目标点坐标确定为所述目标点云的第一目标点特征。

3.根据权利要求1或2所述的方法，其特征在于，所述将所述第一目标点特征输入至第一预设卷积网络中，根据所述第一预设卷积网络的输出确定卷积点云特征中每个特征属于前景点特征的置信度，包括：

利用第一预设卷积网络的稀疏卷积层，对所述第一目标点特征进行下采样处理，得到第一特征；

利用第一预设卷积网络的稀疏反卷积层，对所述第一特征进行上采样处理，得到第二特征；

将所述第二特征输入至所述第一预设卷积网络的流行稀疏卷积层中，根据所述流行稀疏卷积层中非线性分类器的输出，确定卷积点云特征中每个特征属于前景点特征的置信度。

4.根据权利要求1所述的方法，其特征在于，所述从所述目标点云中确定初始关键点，并基于所述置信度，以及所述初始关键点和所述目标点云中除所述初始关键点外的每个点的距离，确定目标关键点特征，包括：

从所述目标点云中确定第一初始关键点和第二初始关键点；

将所述目标点云中除初始关键点外的每个点，与所述初始关键点的欧式距离的最小值，确定为第一欧式距离，得到第一欧式距离集，其中，所述初始关键点包括所述第一初始关键点和所述第二初始关键点；

根据所述置信度的大小确定所述第一欧式距离集中每个第一欧式距离的权重系数，并计算所述第一欧式距离与所述权重系数的乘积，得到第二欧式距离集，其中，所述权重系数与所述置信度正相关；

在已确定的目标关键点特征的数量未达到预设数量之前，将所述第二欧式距离集中最大的第二欧式距离对应的第一目标点特征，确定为新增的目标关键点特征；

其中，所述目标关键点特征的数量的初始值为零，每确定一个新增的所述目标关键点特征则调整一次所述权重系数，所述第二欧式距离集根据权重系数的调整进行更新。

5.根据权利要求4所述的方法，其特征在于，所述从所述目标点云中确定第一初始关键点和第二初始关键点，包括：

从所述目标点云中确定第一初始关键点，并将所述第一初始关键点在所述目标点云中对应的第一目标点特征，确定为第一初始关键点特征；

根据所述第一初始关键点特征和所述目标点云中除所述第一初始关键点外每个点对应的第一目标点特征，确定所述第一初始关键点与所述目标点云中除所述第一初始关键点外每个点的第三欧式距离，以得到第三欧式距离集；

将所述第三欧式距离集中最大的第三欧式距离对应的第一目标点特征，确定为第二初始关键点特征，并根据所述第二初始关键点特征确定第二初始关键点。

6.根据权利要求1所述的方法，其特征在于，所述融合所述语义特征、所述目标关键点特征以及所述第一目标点特征，得到第二目标点特征，包括：

拼接所述目标关键点特征以及所述第一目标点特征，得到第三特征；

利用第三预设卷积网络，将所述第三特征下采样为与所述语义特征维度匹配的第四特征，并拼接所述第四特征和所述语义特征，得到第二目标点特征。

7.根据权利要求1所述的方法，其特征在于，所述基于第二预设卷积网络对所述第二目标点特征进行处理，得到候选检测框，并根据所述候选检测框的尺寸与预设框的尺寸间的差距，确定是否将所述候选检测框确定为目标检测框，包括：

将所述第二目标点特征进行压缩处理，得到二维俯视图压缩特征；

利用第二预设卷积网络对所述二维俯视图压缩特征进行聚类处理，得到候选检测框；

确定所述候选检测框的尺寸与预设框的尺寸的交并比是否大于设定阈值，若大于，则将所述候选检测框确定为目标检测框。

8.一种检测框的确定装置，其特征在于，包括：

第一特征确定模块，用于确定目标点云的第一目标点特征和语义特征；

置信度确定模块，用于将所述第一目标点特征输入至第一预设卷积网络中，根据所述第一预设卷积网络的输出确定卷积点云特征中每个特征属于前景点特征的置信度，其中，所述第一预设卷积网络中至少包括稀疏卷积层、稀疏反卷积层以及流行稀疏卷积层；

第二特征确定模块，用于从所述目标点云中确定初始关键点，并基于所述置信度，以及所述初始关键点和所述目标点云中除所述初始关键点外的每个点的距离，确定目标关键点特征；

第三特征确定模块，用于融合所述语义特征、所述目标关键点特征以及所述第一目标点特征，得到第二目标点特征

检测框确定模块，用于基于第二预设卷积网络对所述第二目标点特征进行处理，得到候选检测框，并根据所述候选检测框的尺寸与预设框的尺寸间的差距，确定是否将所述候选检测框确定为目标检测框，其中，所述第二目标点特征为三维特征。

9.一种电子设备，其特征在于，所述电子设备包括：

至少一个处理器；以及

与所述至少一个处理器通信连接的存储器；其中，

所述存储器存储有可被所述至少一个处理器执行的计算机程序，所述计算机程序被所述至少一个处理器执行，以使所述至少一个处理器能够执行权利要求1-7中任一项所述的检测框的确定方法。

10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机指令，所述计算机指令用于使处理器执行时实现权利要求1-7中任一项所述的检测框的确定方法。

Images