CN117173692B - 3d目标检测方法、电子设备、介质以及驾驶设备 - Google Patents

Abstract

本申请涉及自动驾驶领域，具体提供一种3D目标检测方法、电子设备、介质以及驾驶设备，旨在解决现有的目标检测方案检测精度低、易出现误报和漏报的问题。所述方法其中的目标检测模型获得步骤包括：获取待训练的初始目标检测模型和辅助训练网络，所述初始目标检测模型包括融合目标检测网络，所述辅助训练网络为单模态目标检测网络；获取训练样本集，所述训练样本集为多模态样本集；基于所述单模态目标检测网络和所述训练样本集对所述融合目标检测网络进行训练，得到训练好的所述目标检测模型。增强了易错区域的学习提升性能，提高了融合目标检测网络的参数获取效率以及精确度，提高3D目标检测的精度，减少误报和漏报。

Description

3D目标检测方法、电子设备、介质以及驾驶设备

技术领域

本申请涉及自动驾驶领域，具体提供一种3D目标检测方法、电子设备、介质以及驾驶设备。

背景技术

目前，目标检测模型在自动驾驶领域越来越受到大家的关注，在实际业务中发挥着越来越重要的作用，精准的目标检测模型对于下游的规划和控制模块至关重要。

由于目前的目标检测模型大多是基于单一模态，由于信息不完备总会出现各种各样的漏检和误检。即使采用多个模态进行目标检测，如果该融合目标检测网络只是简单地将多个模态比如点云和图像进行融合训练，仍然难以获得满意的效果。其原因是：点云和图像的特点不一样，导致他们擅长的方向不一样，点云有位置信息善于测距，图像有纹理信息善于识别分类，如果只是简单的融合起来进行训练，网络难以学习到在什么区域要重点使用点云特征，在什么区域需要重点使用图像特征。因此现有技术中融合目标检测网络的参数获取效率低，精确度较差，导致现有的目标检测方案检测精度低、易出现误报和漏报的问题。

相应地，本领域需要一种新的3D目标检测方案来解决上述问题。

发明内容

为了克服上述缺陷，提出了本申请，提供一种3D目标检测方法、电子设备、介质以及驾驶设备，以解决或至少部分地解决现有的目标检测方案检测精度低、易出现误报和漏报的技术问题。

在第一方面，本申请提供一种3D目标检测方法，包括：

获取待测目标的目标信息，所述目标信息包括点云信息和图像信息；

基于所述待测目标的目标信息以及训练好的目标检测模型对所述待测目标进行检测；

其中所述目标检测模型至少基于以下步骤获得：

获取待训练的初始目标检测模型和辅助训练网络，所述初始目标检测模型包括融合目标检测网络，所述辅助训练网络为单模态目标检测网络，其中所述融合目标检测网络用于处理点云信息和图像信息，所述单模态目标检测网络用于处理点云信息或图像信息中的一种；

获取训练样本集，所述训练样本集为多模态样本集，其中每个训练样本均包括点云数据和图像数据；

基于所述单模态目标检测网络和所述训练样本集对所述融合目标检测网络进行训练，得到训练好的所述目标检测模型。

在上述3D目标检测方法的一个技术方案中，基于所述单模态目标检测网络和所述训练样本集对所述融合目标检测网络进行训练，包括：

将所述训练样本的点云数据和图像数据输入所述融合目标检测网络，得到融合分类损失，其中所述融合分类损失包括每个特征点的融合分类损失值；

将所述训练样本中至少一个模态的数据输入所述单模态目标检测网络，得到单模态分类损失，其中所述单模态分类损失包括对应模态每个特征点的单模态分类损失值；

基于所述单模态分类损失和所述融合分类损失对所述融合目标检测网络进行训练。

在上述3D目标检测方法的一个技术方案中，基于所述单模态分类损失和所述融合分类损失对所述融合目标检测网络进行训练，包括：

基于所述单模态分类损失对所述融合分类损失进行加权处理，获取加权融合分类损失；

基于所述加权融合分类损失对所述初始目标检测模型进行训练。

在上述3D目标检测方法的一个技术方案中，将所述训练样本的点云数据和图像数据输入所述融合目标检测网络，得到融合分类损失，包括：

对所述训练样本进行特征提取，获取点云特征和图像特征；

基于所述点云特征和图像特征进行特征融合，获取点云图像融合特征；

基于所述点云图像融合特征以及所述融合目标检测网络，获得融合分类预测输出；

基于所述融合分类预测输出以及所述训练样本的分类真值，获取融合分类损失。

在上述3D目标检测方法的一个技术方案中，所述单模态目标检测网络包括点云目标检测网络和/或图像目标检测网络，将所述训练样本中至少一个模态的数据输入所述单模态目标检测网络，得到单模态分类损失，包括：

对所述训练样本的点云数据和/或图像数据进行特征提取，获取点云特征和/或图像特征；

基于所述点云特征和/或图像特征，以及对应的所述点云目标检测网络和/或图像目标检测网络，获得点云分类预测输出和/或图像分类预测输出；

基于所述点云分类预测输出和/或图像分类预测输出，以及所述训练样本的分类真值，获取点云分类损失和/或图像分类损失。

在上述3D目标检测方法的一个技术方案中，基于所述单模态分类损失对所述融合分类损失进行加权处理，获取加权融合分类损失，包括：

基于所述单模态分类损失，获取对应的单模态易错区域；

为所述单模态易错区域匹配预设的权重系数；

基于所述权重系数对所述融合分类损失进行加权处理。

在上述3D目标检测方法的一个技术方案中，基于所述单模态分类损失，获取对应的单模态易错区域，包括：

基于至少一个预设阈值和所述单模态分类损失，获取单模态分类损失值大于所述预设阈值的特征点；

基于所述特征点获得至少一个所述单模态易错区域。

在上述3D目标检测方法的一个技术方案中，为所述单模态易错区域中的特征点匹配预设的权重系数，包括：

基于每个单模态易错区域中特征点的单模态分类损失值的平均值，为所述单模态易错区域匹配预设的权重系数，所述权重系数对应所述单模态易错区域中的所有特征点。

在上述3D目标检测方法的一个技术方案中，基于所述权重系数对所述融合分类损失进行加权处理，包括：

获取每个特征点对应的全部权重系数；

将所述全部权重系数进行加和获取融合权重系数，基于所述融合权重系数对每个特征点的融合分类损失值进行加权处理；

其中，不在所述单模态易错区域中特征点不设置权重系数。

在第二方面，提供一种电子设备，该电子设备包括处理器和存储器，所述存储器适于存储多条程序代码，所述程序代码适于由所述处理器加载并运行以执行上述3D目标检测方法的技术方案中任一项技术方案所述的3D目标检测方法。

在第三方面，提供一种计算机可读存储介质，该计算机可读存储介质其中存储有多条程序代码，所述程序代码适于由处理器加载并运行以执行上述3D目标检测方法的技术方案中任一项技术方案所述的3D目标检测方法。

在第四方面，提供一种驾驶设备，所述驾驶设备包括驾驶设备本体以及上述的电子设备。

本申请上述一个或多个技术方案，至少具有如下一种或多种有益效果：

在实施本申请的技术方案中，基于单模态目标检测网络和训练样本集对融合目标检测网络进行训练，以得到训练好的所述目标检测模型，增强了易错区域的学习提升性能，提高了融合目标检测网络的参数获取效率，提高3D目标检测的精度，减少误报和漏报。

附图说明

参照附图，本申请的公开内容将变得更易理解。本领域技术人员容易理解的是：这些附图仅仅用于说明的目的，而并非意在对本申请的保护范围组成限制。此外，图中类似的数字用以表示类似的部件，其中：

图1是本申请中一个实施例的3D目标检测方法的主要步骤流程图；

图2是本申请中一个实施例的3D目标检测方法对应于获取目标检测模型的主要步骤流程图；

图3是本申请中一个实施例的3D目标检测方法对应于获取目标检测模型的详细步骤流程图；

图4是本申请一个实施例中基于单模态目标检测网络和训练样本集对融合目标检测网络进行训练的主要步骤流程图；

图5是用于执行本申请的3D目标检测方法的电子设备的主要结构框图；

图6是本申请一个实施例的目标检测模型输出3D目标检测结果示意图；

图7是本申请另一实施例的目标检测模型输出3D目标检测结果的示意图。

具体实施方式

下面参照附图来描述本申请的一些实施方式。本领域技术人员应当理解的是，这些实施方式仅仅用于解释本申请的技术原理，并非旨在限制本申请的保护范围。

在本申请的描述中，“模块”、“处理器”可以包括硬件、软件或者两者的组合。一个模块可以包括硬件电路，各种合适的感应器，通信端口，存储器，也可以包括软件部分，比如程序代码，也可以是软件和硬件的组合。处理器可以是中央处理器、微处理器、图像处理器、数字信号处理器或者其他任何合适的处理器。处理器具有数据和/或信号处理功能。处理器可以以软件方式实现、硬件方式实现或者二者结合方式实现。非暂时性的计算机可读存储介质包括任何合适的可存储程序代码的介质，比如磁碟、硬盘、光碟、闪存、只读存储器、随机存取存储器等等。术语“A和/或B”表示所有可能的A与B的组合，比如只是A、只是B或者A和B。术语“至少一个A或B”或者“A和B中的至少一个”含义与“A和/或B”类似，可以包括只是A、只是B或者A和B。单数形式的术语“一个”、“这个”也可以包含复数形式。

本申请提供一种3D目标检测方法。

请参阅附图1，图1是本申请中一个实施例的3D目标检测方法的主要步骤流程图。如图1所示，本申请实施例中的3D目标检测方法主要包括下列步骤S11-步骤S12。

步骤S11，获取待测目标的目标信息，所述目标信息包括点云信息和图像信息。其中，所述点云信息可以由大量包含三维坐标信息的点构成，通常基于激光雷达、立体视觉系统等设备获取；所述图像信息可以为像素组成的二维数据，通常基于相机、摄像头等设备获取。上述点云信息以及图像信息的获取方式仅为示例，并不构成对本申请涉及的点云信息以及图像信息获取来源的限制。

步骤S12，基于所述待测目标的目标信息以及训练好的目标检测模型对所述待测目标进行检测。

进一步地，请参阅附图2，图2是本申请中一个实施例的3D目标检测方法对应于获取目标检测模型的主要步骤流程图。

其中所述目标检测模型至少基于以下步骤S21-步骤S23获得：

步骤S21，获取待训练的初始目标检测模型和辅助训练网络，所述初始目标检测模型包括融合目标检测网络，所述辅助训练网络为单模态目标检测网络，其中所述融合目标检测网络用于处理点云信息和图像信息，所述单模态目标检测网络用于处理点云信息或图像信息中的一种。

在一个实施例中，所述融合目标检测网络为基于多模态融合特征进行目标检测的深度学习网络；所述单模态目标检测网络为基于单一模态特征进行目标检测的深度学习网络，包括点云目标检测网络和/或图像目标检测网络。本申请的其他实施例中，所述融合目标检测网络以及单模态目标检测网络也可以采用强化学习网络、自监督学习网络等网络模型。

步骤S22，获取训练样本集，所述训练样本集为多模态样本集，其中每个训练样本均包括点云数据和图像数据。

具体地，所述训练样本集中的训练样本均为已进行数据标注的样本，其标注信息至少包括分类真值。

步骤S23，基于所述单模态目标检测网络和所述训练样本集对所述融合目标检测网络进行训练，得到训练好的所述目标检测模型。

进一步地，请参阅附图3。图3是本申请中一个实施例的3D目标检测方法对应于获取目标检测模型的详细步骤流程图，如图3所示，本申请实施例中获取目标检测模型主要包括下列步骤S301-步骤S312。

以下各实施例将结合图3中涉及的部分或全部步骤进行说明。

请参阅附图4，图4是本申请一个实施例中基于单模态目标检测网络和训练样本集对融合目标检测网络进行训练的主要步骤流程图。如图4所示，基于所述单模态目标检测网络和所述训练样本集对所述融合目标检测网络进行训练，主要包括下列步骤S41-步骤S43。

步骤S41，将所述训练样本的点云数据和图像数据输入所述融合目标检测网络，得到融合分类损失，其中所述融合分类损失包括每个特征点的融合分类损失值。

在一个实施例中，将所述训练样本的点云数据和图像数据输入所述融合目标检测网络，得到融合分类损失，包括：

步骤S411，对所述训练样本进行特征提取，获取点云特征和图像特征。此步骤可一并参阅图3中步骤S301-S302。

示例性地，可以使用3D稀疏卷积、PointNet、投影法等操作从所述训练样本的点云数据中提取点云俯视图（BEV）特征，使用2D卷积、SIFT、HOG等操作从所述训练样本的图像数据中提取图像俯视图（BEV）特征。

步骤S412，基于所述点云特征和图像特征进行特征融合，获取点云图像融合特征。此步骤可一并参阅图3中步骤S303。

步骤S413，基于所述点云图像融合特征以及所述融合目标检测网络，获得融合分类预测输出。此步骤可一并参阅图3中步骤S304。

通过结合点云数据和图像数据，所述融合目标检测网络能够更准确地进行分类。

步骤S414，基于所述融合分类预测输出以及所述训练样本的分类真值，获取融合分类损失。

所述融合分类损失用于表示所述融合分类预测输出与分类真值之间的偏差。具体地，可以通过对不同的分类标签进行赋值，以将此偏差数值化。此步骤可一并参阅图3中步骤S305。

上述步骤完成后，得到融合分类损失，继续执行以下步骤S42。

步骤S42，将所述训练样本中至少一个模态的数据输入所述单模态目标检测网络，得到单模态分类损失，其中所述单模态分类损失包括对应模态每个特征点的单模态分类损失值。

在一个实施例中，所述单模态目标检测网络包括点云目标检测网络和/或图像目标检测网络，将所述训练样本中至少一个模态的数据输入所述单模态目标检测网络，得到单模态分类损失，包括：

对所述训练样本的点云数据和/或图像数据进行特征提取，获取点云特征和/或图像特征；具体地，所述点云特征和/或图像特征也可以直接采用上述实施例中步骤S411已获取的点云特征和/或图像特征。

基于所述点云特征和/或图像特征，以及对应的所述点云目标检测网络和/或图像目标检测网络，获得点云分类预测输出和/或图像分类预测输出；此步骤可参阅图3中步骤S306和/或步骤S309。

基于所述点云分类预测输出和/或图像分类预测输出，以及所述训练样本的分类真值，获取点云分类损失和/或图像分类损失；此步骤可参阅图3中步骤S307和/或步骤S310。

上述步骤完成后，得到单模态分类损失，继续执行以下步骤S43。

步骤S43，基于所述单模态分类损失和所述融合分类损失对所述融合目标检测网络进行训练。

在一个实施例中，基于所述单模态分类损失和所述融合分类损失对所述融合目标检测网络进行训练，包括：

基于所述单模态分类损失对所述融合分类损失进行加权处理，获取加权融合分类损失；

基于所述加权融合分类损失对所述初始目标检测模型进行训练。

进一步地，基于所述单模态分类损失对所述融合分类损失进行加权处理，获取加权融合分类损失，包括：

基于所述单模态分类损失，获取对应的单模态易错区域；此步骤可一并参阅图3中步骤S308和/或步骤S311。

为所述单模态易错区域匹配预设的权重系数；

基于所述权重系数对所述融合分类损失进行加权处理；此步骤可一并参阅图3中步骤S312。

在一个实施方式中，基于所述单模态分类损失，获取对应的单模态易错区域，包括：

基于至少一个预设阈值和所述单模态分类损失，获取单模态分类损失值大于所述预设阈值的特征点；

基于所述特征点获得至少一个所述单模态易错区域。

在一个实施例中，为所述单模态易错区域中的特征点匹配预设的权重系数，包括：

基于每个单模态易错区域中特征点的单模态分类损失值的平均值，为所述单模态易错区域匹配预设的权重系数，所述权重系数对应所述单模态易错区域中的所有特征点。

其中，所述权重系数为一个或多个预设值。当设置一个单模态易错区域时，仅需匹配一个预设的权重系数，使所述单模态易错区域与非易错区域形成区分即可；若设置多个单模态易错区域，需要根据其中特征点的单模态分类损失值的平均值匹配预设的不同权重系数，通常该平均值越高匹配的权重系数越大。所述权重系数具体的预设值，可以由本领域技术人员基于实际情况设定。

具体地，基于所述权重系数对所述融合分类损失进行加权处理，包括：

获取每个特征点对应的全部权重系数；

将所述全部权重系数进行加和获取融合权重系数，基于所述融合权重系数对每个特征点的融合分类损失值进行加权处理；

其中，不在所述单模态易错区域中特征点不设置权重系数。

示例性地，在一个实施例中，基于点云分类损失获取一个点云分类易错区域；基于图像分类损失获取一个图像分类易错区域。

基于预设阈值N1和所述点云分类损失，获取点云分类损失值大于N1的特征点；所述点云分类损失值大于N1的特征点所在区域即为所述点云分类易错区域，并标记为掩码M1区域；基于预设阈值N2和所述图像分类损失，获取图像分类损失值大于N2的特征点；所述图像分类损失值大于N2的特征点所在区域即为所述图像分类易错区域，并标记为掩码M2区域。设置掩码M1区域的权重系数为K1，掩码M2区域的权重系数为K2。

示例性的，权重系数K1和K2的值可以基于处理数据时对点云数据和图像数据的偏重进行预设。当对点云数据和图像数据进行均衡加权时，可以设置K1与K2相同，如K1=1.1，K2=1.1；当需要重点处理点云数据时，可以设置K1大于K2，如K1=1.2，K2=1.1；当需要重点处理图像数据时，可以设置K1小于K2，如K1=1.1，K2=1.2。本实施例仅为示例作用，不构成对权重系数K1、K2的具体预设值的限制。

若一个特征点既处于掩码M1区域，又处于掩码M2区域，则将权重系数K1、K2进行加和获取融合权重系数K1+K2，该特征点的融合分类损失值经过加权处理后放大K1+K2倍；若一个特征点只处于掩码M1区域或掩码M2区域，则该特征点的融合分类损失值经过加权处理后放大K1或K2倍；若一个特征点既不处于掩码M1区域，又不处于掩码M2区域，则该特征点的融合分类损失值经过加权处理后不放大，仍为原融合分类损失值。所有特征点完成加权处理后，即获得加权融合分类损失。

在本申请的另一个实施例中，基于点云分类损失和/或图像分类损失获取多个点云分类易错区域和/或图像分类易错区域。

基于预设阈值N11、N12……、N1m和所述点云分类损失，获取点云分类损失值大于N11小于N12、大于N12小于N13、……、以及大于N1m的特征点；分别标记其所在区域为第一点云分类易错区域P11、第二点云分类易错区域P12、……、第m点云分类易错区域P1m。

和/或，基于预设阈值N21、N22……、N2m和所述图像分类损失，获取图像分类损失值大于N21小于等于N22、大于N22小于等于N23、……、以及大于N2m的特征点；分别标记其所在区域为第一图像分类易错区域P21、第二图像分类易错区域P22、……、第m图像分类易错区域P2m。

分别设置点云分类易错区域P11、P12、……、P1m的权重系数分别为K11、K12、……、K1m；和/或分别设置图像分类易错区域P21、P22、……、P2m的权重系数分别为K21、K22、……、K2m。

具体地，基于每个单模态易错区域中特征点的单模态分类损失值的平均值，为所述单模态易错区域匹配预设的权重系数，所述权重系数对应所述单模态易错区域中的所有特征点。即当所述单模态易错区域中特征点的单模态分类损失值的平均值越大时，匹配到的权重系数越大。

基于特征点对应的所述权重系数获取融合权重系数，基于所述融合权重系数对其融合分类损失值进行加权处理；所有特征点完成加权处理后，即获得加权融合分类损失。具体加权处理方法可以参照上一实施例。

进一步地，基于所述单模态目标检测网络和所述训练样本集对所述融合目标检测网络进行训练，可以通过对获得的所述加权融合分类损失进行网络梯度反传学习，使用反向传播算法来更新所述融合目标检测网络的参数，以使所述融合目标检测网络参数配置得以优化，从而更好地拟合训练数据和进行泛化，得到训练好的所述目标检测模型。

基于上述步骤S11-步骤S12，基于单模态目标检测网络和训练样本集对融合目标检测网络进行训练，以得到训练好的所述目标检测模型，增强了易错区域的学习提升性能，提高了融合目标检测网络的参数获取效率以及精确度，提高3D目标检测的精度，减少误报和漏报。

需要指出的是，尽管上述实施例中将各个步骤按照特定的先后顺序进行了描述，但是本领域技术人员可以理解，为了实现本申请的效果，不同的步骤之间并非必须按照这样的顺序执行，其可以同时（并行）执行或以其他顺序执行，这些变化都在本申请的保护范围之内。

上述所有可选技术方案，可以采用任意结合形成本申请的可选实施例，在此不再一一赘述。

进一步地，本申请还提供了一种电子设备。请参阅附图5，图5是用于执行本申请的3D目标检测方法的电子设备的主要结构框图。

如图5所示，在根据本申请的一个电子设备实施例中，电子设备500包括处理器501和存储器502，存储器502可以被配置成存储执行上述方法实施例的3D目标检测方法的程序代码503，处理器501可以被配置成用于执行存储器502中的程序代码503，该程序代码503包括但不限于执行上述方法实施例的3D目标检测方法的程序代码503。为了便于说明，仅示出了与本申请实施例相关的部分，具体技术细节未揭示的，请参照本申请实施例方法部分。

示例性地，处理器501可以是中央处理单元（Central Processing Unit，CPU），也可以是其它通用处理器、数字信号处理器（Digital Signal Processor，DSP）、专用集成电路（Application Specific Integrated Circuit，ASIC）、现场可编程门阵列（Field-Programmable Gate Array，FPGA）或者其它可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。

存储器502可以是电子设备500的内部存储单元，例如，是电子设备500的硬盘或内存；存储器502也可以是电子设备500的外部存储设备，例如，在电子设备500上配备的插接式硬盘，智能存储卡（Smart Media Card，SMC），安全数字（Secure Digital，SD）卡，闪存卡（Flash Card）等。进一步地，存储器502还可以既包括电子设备500的内部存储单元也包括外部存储设备。存储器502用于存储计算机程序以及电子设备500所需的其它程序和数据，存储器502还可以用于暂时地存储已经输出或者将要输出的数据。

在一些可能的实施方式中，电子设备500可以包括多个处理器501和存储器502。而执行上述方法实施例的3D目标检测方法的程序代码503可以被分割成多段子程序，每段子程序分别可以由处理器501加载并运行以执行上述方法实施例的3D目标检测方法的不同步骤。具体地，每段子程序可以分别存储在不同的存储器502中，每个处理器501可以被配置成用于执行一个或多个存储器502中的程序，以共同实现上述方法实施例的3D目标检测方法，即每个处理器501分别执行上述方法实施例的3D目标检测方法的不同步骤，来共同实现上述方法实施例的3D目标检测方法。

上述多个处理器501可以是部署于同一个设备上的处理器，例如上述电子设备可以是由多个处理器组成的高性能设备，上述多个处理器501可以是该高性能设备上配置的处理器。此外，上述多个处理器501也可以是部署于不同设备上的处理器，例如上述电子设备可以是服务器集群，上述多个处理器501可以是服务器集群中不同服务器上的处理器。

电子设备500可以是桌上型计算机、笔记本、掌上电脑及云端服务器等电子设备。电子设备500可以包括但不仅限于处理器501和存储器502。本领域技术人员可以理解，图5仅仅是电子设备500的示例，并不构成对电子设备500的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件，例如，电子设备还可以包括输入输出设备、网络接入设备、总线等。

进一步地，本申请还提供了一种计算机可读存储介质。在根据本申请的一个计算机可读存储介质实施例中，计算机可读存储介质可以被配置成存储执行上述方法实施例的3D目标检测方法的程序，该程序可以由处理器加载并运行以实现上述3D目标检测方法。为了便于说明，仅示出了与本申请实施例相关的部分，具体技术细节未揭示的，请参照本申请实施例方法部分。该计算机可读存储介质可以是包括各种电子设备形成的存储装置设备，可选的，本申请实施例中计算机可读存储介质是非暂时性的计算机可读存储介质。

进一步地，本申请还提供了一种驾驶设备，所述驾驶设备包括驾驶设备本体以及上述的电子设备。

进一步地，本申请提供两个实施例，以示意上述3D目标检测方法的输出性能。

示例性的，请参阅附图6。图6是本申请一个实施例的目标检测模型输出3D目标检测结果的示意图。

其中，图6A表示所述目标检测模型输出的3D目标检测结果，图6B、图6C分别为表示近距离和远距离下待测目标的图片信息。其中，603、604为同一交通牌区域，该交通牌区域为点云数据容易出错的地方，但通过训练所述目标检测模型，采用点云信息和图片信息结合，能够对其进行准确的识别和标记，获得点云分类易错区域602；其中，用于执行所述3D目标检测方法的电子设备，设置在驾驶设备601上。

示例性的，请参阅附图7。图7是本申请另一实施例的目标检测模型输出3D目标检测结果的示意图。

其中701、702区域为夜间行驶的前方车辆，在图片信息上难以识别，容易出现漏检，在训练所述目标检测模型时，该区域可以被标记为图像分类易错区域，以获得预设的权重系数，进行重点学习，因此训练好的目标检测模型能够更精准的识别所述前方车辆。

在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述或记载的部分，可以参见其它实施例的相关描述。

本领域技术人员可以意识到，结合本申请中实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。

在本申请所提供的实施例中，应该理解到，所揭露的电子设备和方法，可以通过其它的方式实现。例如，以上所描述的电子设备实施例仅仅是示意性的，例如，模块或单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通讯连接可以是通过一些接口，装置或单元的间接耦合或通讯连接，可以是电性，机械或其它的形式。

作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。

集成的模块/单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读存储介质中。基于这样的理解，本申请实现上述实施例方法中的全部或部分流程，也可以通过计算机程序来指令相关的硬件来完成，计算机程序可以存储在计算机可读存储介质中，该计算机程序在被处理器执行时，可以实现上述各个方法实施例的步骤。计算机程序可以包括计算机程序代码，计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。计算机可读介质可以包括：能够携带计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器（Read-Only Memory，ROM）、随机存取存储器（Random Access Memory，RAM）、电载波信号、电信信号以及软件分发介质等。需要说明的是，计算机可读介质包含的内容可以根据司法管辖区内立法和专利实践的要求进行适当的增减，例如，在某些司法管辖区，根据立法和专利实践，计算机可读介质不包括电载波信号和电信信号。

本申请各实施例中可能涉及的相关用户个人信息，均为严格按照法律法规的要求，遵循合法、正当、必要的原则，基于业务场景的合理目的，处理用户在使用产品/服务过程中主动提供或因使用产品/服务而产生的，以及经用户授权获取的个人信息。

本申请处理的用户个人信息会因具体产品/服务场景而有所不同，需以用户使用产品/服务的具体场景为准，可能会涉及用户的账号信息、设备信息、驾驶信息、车辆信息或其他相关信息。 本申请会以高度的勤勉义务对待用户的个人信息及其处理。

本申请非常重视用户个人信息的安全，已采取符合业界标准、合理可行的安全防护措施保护用户的信息，防止个人信息遭到未经授权访问、公开披露、使用、修改、损坏或丢失。

至此，已经结合附图所示的优选实施方式描述了本申请的技术方案，但是，本领域技术人员容易理解的是，本申请的保护范围显然不局限于这些具体实施方式。在不偏离本申请的原理的前提下，本领域技术人员可以对相关技术特征作出等同的更改或替换，这些更改或替换之后的技术方案都将落入本申请的保护范围之内。

Claims (11)

1.一种3D目标检测方法，其特征在于，包括：

获取待测目标的目标信息，所述目标信息包括点云信息和图像信息；

基于所述待测目标的目标信息以及训练好的目标检测模型对所述待测目标进行检测；

其中所述目标检测模型至少基于以下步骤获得：

获取待训练的初始目标检测模型和辅助训练网络，所述初始目标检测模型包括融合目标检测网络，所述辅助训练网络为单模态目标检测网络，其中所述融合目标检测网络用于处理点云信息和图像信息，所述单模态目标检测网络用于处理点云信息或图像信息中的一种；

获取训练样本集，所述训练样本集为多模态样本集，其中每个训练样本均包括点云数据和图像数据；

基于所述单模态目标检测网络和所述训练样本集对所述融合目标检测网络进行训练，得到训练好的所述目标检测模型；其中，将所述训练样本的点云数据和图像数据输入所述融合目标检测网络，得到融合分类损失，其中所述融合分类损失包括每个特征点的融合分类损失值；将所述训练样本中至少一个模态的数据输入所述单模态目标检测网络，得到单模态分类损失，其中所述单模态分类损失包括对应模态每个特征点的单模态分类损失值；基于所述单模态分类损失和所述融合分类损失对所述融合目标检测网络进行训练。

2.根据权利要求1所述的方法，其特征在于，基于所述单模态分类损失和所述融合分类损失对所述融合目标检测网络进行训练，包括：

基于所述单模态分类损失对所述融合分类损失进行加权处理，获取加权融合分类损失；

基于所述加权融合分类损失对所述初始目标检测模型进行训练。

3.根据权利要求1所述的方法，其特征在于，将所述训练样本的点云数据和图像数据输入所述融合目标检测网络，得到融合分类损失，包括：

对所述训练样本进行特征提取，获取点云特征和图像特征；

基于所述点云特征和图像特征进行特征融合，获取点云图像融合特征；

基于所述点云图像融合特征以及所述融合目标检测网络，获得融合分类预测输出；

基于所述融合分类预测输出以及所述训练样本的分类真值，获取融合分类损失。

4.根据权利要求1所述的方法，其特征在于，所述单模态目标检测网络包括点云目标检测网络和/或图像目标检测网络，将所述训练样本中至少一个模态的数据输入所述单模态目标检测网络，得到单模态分类损失，包括：

对所述训练样本的点云数据和/或图像数据进行特征提取，获取点云特征和/或图像特征；

基于所述点云特征和/或图像特征，以及对应的所述点云目标检测网络和/或图像目标检测网络，获得点云分类预测输出和/或图像分类预测输出；

基于所述点云分类预测输出和/或图像分类预测输出，以及所述训练样本的分类真值，获取点云分类损失和/或图像分类损失。

5.根据权利要求2所述的方法，其特征在于，基于所述单模态分类损失对所述融合分类损失进行加权处理，获取加权融合分类损失，包括：

基于所述单模态分类损失，获取对应的单模态易错区域；

为所述单模态易错区域匹配预设的权重系数；

基于所述权重系数对所述融合分类损失进行加权处理。

6.根据权利要求5所述的方法，其特征在于，基于所述单模态分类损失，获取对应的单模态易错区域，包括：

基于至少一个预设阈值和所述单模态分类损失，获取单模态分类损失值大于所述预设阈值的特征点；

基于所述特征点获得至少一个所述单模态易错区域。

7.根据权利要求5所述的方法，其特征在于，为所述单模态易错区域中的特征点匹配预设的权重系数，包括：

基于每个单模态易错区域中特征点的单模态分类损失值的平均值，为所述单模态易错区域匹配预设的权重系数，所述权重系数对应所述单模态易错区域中的所有特征点。

8.根据权利要求5所述的方法，其特征在于，基于所述权重系数对所述融合分类损失进行加权处理，包括：

获取每个特征点对应的全部权重系数；

将所述全部权重系数进行加和获取融合权重系数，基于所述融合权重系数对每个特征点的融合分类损失值进行加权处理；

其中，不在所述单模态易错区域中特征点不设置权重系数。

9.一种电子设备，包括处理器和存储器，所述存储器适于存储多条程序代码，其特征在于，所述程序代码适于由所述处理器加载并运行以执行权利要求1至8中任一项3D目标检测方法。

10.一种计算机可读存储介质，其中存储有多条程序代码，其特征在于，所述程序代码适于由处理器加载并运行以执行权利要求1至8中任一项3D目标检测方法。

11.一种驾驶设备，其特征在于，所述驾驶设备包括驾驶设备本体以及权利要求9所述的电子设备。