CN114565916A - 目标检测模型训练方法、目标检测方法以及电子设备 - Google Patents
目标检测模型训练方法、目标检测方法以及电子设备 Download PDFInfo
- Publication number
- CN114565916A CN114565916A CN202210111173.5A CN202210111173A CN114565916A CN 114565916 A CN114565916 A CN 114565916A CN 202210111173 A CN202210111173 A CN 202210111173A CN 114565916 A CN114565916 A CN 114565916A
- Authority
- CN
- China
- Prior art keywords
- dimensional
- frame
- real
- detection
- detection model
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 404
- 238000000034 method Methods 0.000 title claims abstract description 74
- 238000012549 training Methods 0.000 title claims abstract description 68
- 238000002372 labelling Methods 0.000 claims abstract description 24
- 230000015654 memory Effects 0.000 claims description 29
- 239000011159 matrix material Substances 0.000 claims description 17
- 238000012545 processing Methods 0.000 claims description 7
- 238000003860 storage Methods 0.000 claims description 7
- 230000008569 process Effects 0.000 abstract description 8
- 238000011156 evaluation Methods 0.000 abstract description 7
- 238000005457 optimization Methods 0.000 abstract description 4
- 230000006872 improvement Effects 0.000 abstract description 2
- 238000004891 communication Methods 0.000 description 8
- 238000000605 extraction Methods 0.000 description 8
- 241000196324 Embryophyta Species 0.000 description 7
- 238000010586 diagram Methods 0.000 description 7
- 230000006870 function Effects 0.000 description 7
- 238000005516 engineering process Methods 0.000 description 6
- JHJOOSLFWRRSGU-UHFFFAOYSA-N Fenchlorphos Chemical compound COP(=S)(OC)OC1=CC(Cl)=C(Cl)C=C1Cl JHJOOSLFWRRSGU-UHFFFAOYSA-N 0.000 description 4
- 238000012360 testing method Methods 0.000 description 4
- 238000004364 calculation method Methods 0.000 description 3
- 238000011161 development Methods 0.000 description 3
- 239000000284 extract Substances 0.000 description 3
- 238000011160 research Methods 0.000 description 3
- 238000005070 sampling Methods 0.000 description 3
- 239000007787 solid Substances 0.000 description 3
- 241001465382 Physalis alkekengi Species 0.000 description 2
- 238000013473 artificial intelligence Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- YCKRFDGAMUMZLT-UHFFFAOYSA-N Fluorine atom Chemical compound [F] YCKRFDGAMUMZLT-UHFFFAOYSA-N 0.000 description 1
- 230000003190 augmentative effect Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000012512 characterization method Methods 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 239000013078 crystal Substances 0.000 description 1
- 238000013480 data collection Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 229910052731 fluorine Inorganic materials 0.000 description 1
- 239000011737 fluorine Substances 0.000 description 1
- 230000001788 irregular Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
Abstract
本发明揭示了一种目标检测模型训练方法、目标检测方法以及电子设备，涉及目标检测领域。该方法包括：获取带有标注信息的三维点云数据；标注信息包括至少一个检测对象对应的三维真实边界框信息；将三维点云数据输入至初始检测模型，确定各检测对象对应的三维预测边界框信息；基于各检测对象对应的三维预测边界框信息以及三维真实边界框信息，计算回归损失；基于回归损失，更新初始检测模型的参数，以得到目标检测模型。使用该方法解决了三维目标检测模型训练过程中，损失函数与评估指标不匹配的问题，从而保证了目标检测模型优化方向与目标检测准确率提升的最终目标达成完全一致，提高了目标检测模型的性能。
Description
技术领域
本发明涉及目标检测领域，具体涉及一种目标检测模型训练方法、装置、电子设备及计算机可读存储介质。
背景技术
目标检测作为人工智能领域、计算机视觉方向长期以来最经典的问题，相关技术被广泛应用于安全、军事、交通、医疗等各个领域。相比于二维目标检测技术，目前基于深度相机、激光点云数据、双目视觉等技术的三维目标检测才刚起步。一方面，深度学习算法的发展主要是由数据驱动的，三维数据采集成本高、难度大，严重阻碍相关领域的研究。另一方面，受传感器的限制，采集所得的三维数据一般具有不规则的特征，使得基于二维数据研发的算法难以进行直接迁移。而现实环境中，所有物体都处于三维空间，对深度信息检测的缺失会极大限制AI技术的实际应用。人工智能时代的到来，“元宇宙”概念的实现，虚拟现实、增强现实技术的发展，泛机器人领域(包括自动驾驶、人形机器人、狗形机器人)的研究，智能制造技术的进步等，都依赖于三维目标检测技术的突破性发展。
在现阶段三维目标检测算法实现过程中，为了利用二维目标检测相关研究成果，常常将三维物体投影至二维平面，计算2D-IoU并应用于三维目标检测算法的各个环节。该过程造成的几何信息丢失，也会对三维目标检测模型的预测准确率造成一定影响。
相关模型训练中，存在损失函数定义和评估指标不匹配的问题，模型优化方向无法与目标检测准确率提升的最终目标达成完全一致，极大限制了现阶段相关算法的性能进一步提升。
发明内容
有鉴于此，本发明实施例提供了一种目标检测模型训练方法、目标检测方法以及电子设备，旨在解决损失函数定义和评估指标不匹配，导致相关算法的性能无法提升的问题。
根据第一方面，本发明实施例提供了一种目标检测模型训练方法，该方法包括：
获取带有标注信息的三维点云数据；标注信息包括至少一个检测对象对应的三维真实边界框信息；
将三维点云数据输入至初始检测模型，确定各检测对象对应的三维预测边界框信息；
基于各检测对象对应的三维预测边界框信息以及三维真实边界框信息，计算回归损失；
基于回归损失，更新初始检测模型的参数，以得到目标检测模型。
本发明实施例提供的目标检测模型训练方法，获取带有标注信息的三维点云数据，将三维点云数据输入至初始检测模型，确定各检测对象对应的三维预测边界框信息。然后基于各检测对象对应的三维预测边界框信息以及三维真实边界框信息，计算回归损失，从而可以保证计算得到的回归损失的准确性。然后，基于回归损失，更新初始检测模型的参数，以得到目标检测模型，从而保证了训练得到的目标检测模型的准确性。解决了在目标检测模型训练过程中，损失函数与评估指标不匹配的问题，从而保证了目标检测模型优化方向与目标检测准确率提升的最终目标达成完全一致，提高了目标检测模型的性能。
结合第一方面，在第一方面第一实施方式中，基于各检测对象对应的三维预测边界框信息以及三维真实边界框信息，计算回归损失，包括：
根据各检测对象对应的三维预测边界框信息，确定各检测对象对应的预测框；
基于各检测对象对应的三维真实边界框信息，确定真实框；
计算各预测框与各真实框之间的三维交并比；
根据各预测框与各真实框之间的三维交并比，计算回归损失。
本发明实施例提供的目标检测模型训练方法，根据各检测对象对应的三维预测边界框信息，确定各检测对象对应的预测框，从而保证了确定的各检测对象对应的预测框的准确性。然后，基于各检测对象对应的三维真实边界框信息，确定真实框，保证了真实框的准确性。然后，计算各预测框与各真实框之间的三维交并比，保证了计算得到的三维交并比的准确性。根据各预测框与各真实框之间的三维交并比，计算回归损失，保证了计算得到的回归损失的准确性。
结合第一方面第一实施方式，在第一方面第二实施方式中，根据各预测框与各真实框之间的三维交并比，计算回归损失，包括：
获取各检测对象的权重信息；
根据各检测对象的权重信息以及各预测框与各真实框之间的三维交并比，计算回归损失。
本发明实施例提供的目标检测模型训练方法，获取各检测对象的权重信息，根据各检测对象的权重信息以及各预测框与各真实框之间的三维交并比，计算回归损失。通过在回归损失中引入了检测对象的权重信息，从而可以有效缓解检测对象漏检的问题，进一步保证了回归损失的准确性。
结合第一方面，在第一方面第三实施方式中，标注信息还包括至少一个检测对象对应的真实类别，方法还包括：
将三维点云数据输入至初始检测模型，确定各检测对象对应的预测类别；
根据各检测对象对应的预测类别以及真实类别，计算分类损失；
基于分类损失以及回归损失，确定总目标损失；
基于总目标损失，更新初始检测模型的参数，以得到目标检测模型。
本发明实施例提供的目标检测模型训练方法，将三维点云数据输入至初始检测模型，确定各检测对象对应的预测类别；根据各检测对象对应的预测类别以及真实类别，计算分类损失，从而保证了计算得到的分类损失的准确性。然后，基于分类损失以及回归损失，确定总目标损失，保证了确定的总目标损失的准确性。然后，基于总目标损失，更新初始检测模型的参数，以得到目标检测模型，使得目标检测模型既可以准确识别检测对象的位置、尺寸，也可以准确识别检测对象的类别，且保证了目标检测模型准确性。
结合第一方面第三实施方式，在第一方面第四实施方式中，根据各检测对象对应的预测类别以及真实类别，计算分类损失，包括：
获取各检测对象的权重信息；
根据各检测对象的权重信息、预测类别以及真实类别，计算分类损失。
本发明实施例提供的目标检测模型训练方法，获取各检测对象的权重信息；根据各检测对象的权重信息、预测类别以及真实类别，计算分类损失。从而使得分类损失引入了检测对象的权重信息，从而可以有效缓解检测对象漏检的问题，进一步保证了分类损失的准确性。
结合第一方面，在第一方面第五实施方式中，将三维点云数据输入至初始检测模型，确定各检测对象对应的三维预测边界框信息，包括：
对三维点云数据进行体素化处理，生成多个包括三维点云数据的体素网格；
基于体素网格的中心位置，生成多个尺寸可变的初始锚框；
基于各检测对象对应的三维真实边界框信息，确定真实框；
计算各初始锚框与各真实框之间的三维交并比，并生成三维交并比矩阵；
根据三维交并比矩阵，从各初始锚框中确定各候选锚框，并确定各所述候选锚框对应的真实框；
将候选锚框以及三维点云数据输入至初始检测模型，确定各检测对象对应的三维预测边界框信息。
本发明实施例提供的目标检测模型训练方法，对三维点云数据进行体素化处理，生成多个包括三维点云数据的体素网格，从而便于对三维点云数据进行识别。然后，基于体素网格的中心位置，生成多个尺寸可变的初始锚框；基于各检测对象对应的三维真实边界框信息，确定真实框；计算各初始锚框与各真实框之间的三维交并比，并生成三维交并比矩阵；保证了生成的三维交并比矩阵的准确性。根据三维交并比矩阵，从各初始锚框中确定各候选锚框，并确定各候选锚框对应的真实框，保证了确定的候选锚框与各检测对象的对应的真实框更加接近。然后，将候选锚框以及三维点云数据输入至初始检测模型，确定各检测对象对应的三维预测边界框信息，保证了确定的各检测对象对应的三维预测边界框信息的准确性。
结合第一方面第五实施方式，在第一方面第六实施方式中，将候选锚框以及三维点云数据输入至初始检测模型，确定各检测对象对应的三维预测边界框信息，包括：
将候选锚框以及三维点云数据输入至初始检测模型，确定各候选锚框与各真实框之间的位置、尺寸差别；
根据各候选锚框与各真实框之间的位置、尺寸差别，确定各检测对象对应的三维预测边界框信息。
本发明实施例提供的目标检测模型训练方法，将候选锚框以及三维点云数据输入至初始检测模型，确定各候选锚框与各真实框之间的位置、尺寸差别；然后，根据各候选锚框与各真实框之间的位置、尺寸差别，确定各检测对象对应的三维预测边界框信息，从而保证了确定的各检测对象对应的三维预测边界框信息的准确性。
根据第二方面，本发明实施例还提供了一种目标检测方法，该方法包括：
获取待检测三维点云数据；
将待检测三维点云数据输入至目标检测模型，确定待检测三维点云数据中至少一个目标对象对应的类别以及三维边界框信息，其中，目标检测模型根据第一方面或者第一方面的任意一种实施方式中的目标检测模型训练方法训练得到。
本发明实施例提供的目标检测方法，获取待检测三维点云数据；将待检测三维点云数据输入至目标检测模型，确定待检测三维点云数据中至少一个目标对象对应的类别以及三维边界框信息，从而保证了确定的各目标对象对应的类别以及三维边界框信息的准确性。
根据第三方面，本发明实施例提供了一种电子设备，包括存储器和处理器，存储器和处理器之间互相通信连接，存储器中存储有计算机指令，处理器通过执行计算机指令，从而执行第一方面或者第一方面的任意一种实施方式中的目标检测模型训练方法。
根据第四方面，本发明实施例提供了一种计算机可读存储介质，计算机可读存储介质存储计算机指令，计算机指令用于使计算机执行第一方面或者第一方面的任意一种实施方式中的目标检测模型训练方法。
附图说明
为了更清楚地说明本发明具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是应用本发明实施例提供的目标检测模型训练方法的流程图；
图2是应用本发明实施例提供的三维点云数据的采集示意图；
图3是应用本发明实施例提供的目标检测模型训练方法的流程图；
图4是应用本发明实施例提供的预测框和真实框之间三维交并比的示意图；
图5是应用本发明实施例提供的目标检测模型训练方法的流程图；
图6是应用本发明实施例提供的目标检测模型训练方法的流程图；
图7是应用本发明实施例提供的目标检测方法的流程图；
图8是应用本发明实施例提供的目标检测模型训练装置的功能模块图；
图9是应用本发明实施例提供的目标检测装置的功能模块图；
图10是应用本发明实施例提供的电子设备的硬件结构示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
需要说明的是，本申请实施例提供的目标检测模型训练的方法，其执行主体可以是目标检测模型训练的装置，该目标检测模型训练的装置可以通过软件、硬件或者软硬件结合的方式实现成为计算机设备的部分或者全部，其中，该计算机设备可以是服务器或者终端，其中，本申请实施例中的服务器可以为一台服务器，也可以为由多台服务器组成的服务器集群，本申请实施例中的终端可以是智能手机、个人电脑、平板电脑、可穿戴设备以及智能机器人等其他智能硬件设备。下述方法实施例中，均以执行主体是电子设备为例来进行说明。
在本申请一个实施例中，如图1所示，提供了一种目标检测模型训练方法，以该方法应用于电子设备为例进行说明，包括以下步骤：
S11、获取带有标注信息的三维点云数据。
其中，标注信息包括至少一个检测对象对应的三维真实边界框信息。
在一种可选的实施方式中，电子设备可以接收用户输入的三维点云数据，也可以接收其他设备发送的三维点云数据。
在另一种可选的实施方式中，电子设备可以基于雷达设备采集三维点云数据。其中，雷达设备可以是64线机械旋转式激光雷达，也可以是其他雷达。
示例性的，在采集三维点云数据之前，电子设备可以基于64线机械旋转式激光雷达定义的三维坐标系，示例性的，三维点云数据的采集示意图可以如图2所示。采集三维点云数据的过程中，将雷达沿x轴、y轴、z轴分别间隔2m、10m、0.5m进行平移，从8：00～20：00每隔2hour采集一组同一场景的数据。其中，该场景可以是办公室场景、也可是交通场景、还可以是其他场景，本申请实施例对场景不做具体限定，重复以上操作数天，共采集预设数量的三维点云数据。其中，预设数量可以是100000帧，也可以是200000帧，本申请实施例对预设数量的三维点云数据不做具体限定。
然后，电子设备可以对获取到的三维点云数据进行筛选，排除由于雷达故障(如激光发射器故障、接收器故障、机械旋转轴故障等)引起的三维点云数据错误。统计所有三维点云数据中，单帧点云数据点x，y，z坐标范围。
在本申请一种可选的实施方式中，电子设备可以将采集到的三维点云数据输出给用户，使得用户可以对三维点云数据进行标注。用户将带有标注信息的三维点云数据输入至电子设备，从而使得电子设备可以获取带有标注信息的三维点云数据。
在本申请另一种可选的实施方式中，电子设备还可以接收用户输入的标注指令，然后电子设备根据用户输入的标注指令对三维点云数据进行标注。
具体地，电子设备可以根据用户输入的标注指令定义需检测的检测对象。示例性的，假设三维点云数据的采集场景为办公室场景，则检测对象可以是：电脑、桌椅、灯具、植物、人，忽略其余类别的物体。
然后，电子设备根据标注指令，基于雷达坐标系，对检测对象对应的三维真实边界框信息进行标注，从而使得电子设备获取到带有标注信息的三维点云数据。
在一种可选的实施方式中，电子设备根据标注指令，可以基于雷达坐标系使用检测对象中心点坐标(x,y,z)对检测对象的位置进行标注。然后，使用最小的可以包含检测对象的长方体的长(l)、宽(w)、高(h)三个参数对检测对象的尺寸进行标注。
在一种可选的实施方式中，电子设备根据标注指令，可以基于雷达坐标系可以之间利用最小的可以包含检测对象的长方体对检测对象的位置以及尺寸进行标注。
电子设备还可以使用随机抽样的方式，从三维点云数据中抽取预设数量的三维点云数据作为训练数据，结合与之对应的标注文件构建用于模型训练的训练数据集，剩余的三维点云数据作为测试数据，结合与之对应的标注文件构建用于模型评估的测试数据集。
示例性的，假设原始三维点云数据为从100000多帧，那么电子设备可以使用随机抽样的方式，从100000多帧原始三维点云数据中抽取70000帧三维点云数据作为训练数据，结合与之对应的标注文件构建用于模型训练的训练数据集，剩余30000多帧三维点云作为测试数据，结合与之对应的标注文件构建用于模型评估的测试数据集。
S12、将三维点云数据输入至初始检测模型，确定各检测对象对应的三维预测边界框信息。
在本申请一个可选的实施方式中，电子设备可以带有标注信息的三维点云数据输入至始检测模型，然后初始检测模型中的特征提取网络对三维点云数据进行特征提取，初始检测模型中的中间卷积层进一步对提取的特征进行特征表达，最后，初始检测模型输出网络输出各检测对象对应的三维预测边界框信息。
可选的，各检测对象对应的三维预测边界框信息可以是各检测对象对应的中心点的预测位置信息以及检测对象对应的预测长、宽、高信息。
可选的，各检测对象对应的三维预测边界框信息还可以是各检测对象对应的中心点的预测位置信息以及检测对象对应的预测长、宽、高信息与检测对象对应的中心点的真实位置信息以及检测对象对应的真实长、宽、高信息之间的差别，即(Δx,Δy,Δz,Δl,Δw,Δh)。
在本申请一个可选的实施方式中，电子设备可以带有标注信息的三维点云数据输入至始检测模型，然后初始检测模型中的特征提取网络对三维点云数据进行特征提取，初始检测模型中的中间卷积层进一步对提取的特征进行特征表达，并确定各检测对象对应的初始检测框，然后初始检测模型中的三维目标检测结果输出网络输出各检测对象对应的初始检测框。
关于该步骤将在下文进行详细介绍。
S13、基于各检测对象对应的三维预测边界框信息以及三维真实边界框信息，计算回归损失。
具体地，电子设备可以计算各检测对象对应的三维预测边界框信息与三维真实边界框信息之间的差值，然后基于三维预测边界框信息与三维真实边界框信息之间的差值，计算回归损失。
关于该步骤将在下文进行详细介绍。
S14、基于回归损失，更新初始检测模型的参数，以得到目标检测模型。
具体地，在计算得到的回归损失之后，电子设备可以基于回归损失更新初始检测模型的参数，从而得到目标检测模型。
本发明实施例提供的目标检测模型训练方法，获取带有标注信息的三维点云数据，将三维点云数据输入至初始检测模型，确定各检测对象对应的三维预测边界框信息。然后基于各检测对象对应的三维预测边界框的信息以及三维真实边界框的信息，计算回归损失，从而可以保证计算得到的回归损失的准确性。然后，基于回归损失，更新初始检测模型的参数，以得到目标检测模型，从而保证了训练得到的目标检测模型的准确性。解决了在目标检测模型训练过程中，损失函数与评估指标不匹配的问题，从而保证了目标检测模型优化方向与目标检测准确率提升的最终目标达成完全一致，提高了目标检测模型的性能。
在本申请一个实施例中，如图3所示，提供了一种目标检测模型训练方法，以该方法应用于电子设备为例进行说明，包括以下步骤：
S21、获取带有标注信息的三维点云数据。
其中，标注信息包括至少一个检测对象对应的三维真实边界框信息。
关于该步骤请参见图1中对S11的介绍，在此不咱进行赘述。
S22、将三维点云数据输入至初始检测模型，确定各检测对象对应的三维预测边界框信息。
关于该步骤请参见图1中对S12的介绍，在此不咱进行赘述。
S23、基于各检测对象对应的三维预测边界框信息以及三维真实边界框信息，计算回归损失。
在本申请一个可选的实施方式中，上述步骤S23“基于各检测对象对应的三维预测边界框信息以及三维真实边界框信息，计算回归损失”可以包括如下步骤：
S231、根据各检测对象对应的三维预测边界框信息，确定各检测对象对应的预测框。
由上述内容可知，在本申请一种可选的实施方式中，各检测对象对应的三维预测边界框信息可以为各检测对象对应的中心点的预测位置信息以及检测对象对应的长、宽、高尺寸信息。然后，电子设备根据各检测对象对应的中心点的预测位置信息以及尺寸信息，生成检测对象对应的预测框。
在另一种可选的实施方式中，各检测对象对应的三维预测边界框信息还可以是各检测对象对应的中心点的预测位置信息以及检测对象对应的预测尺寸信息与检测对象对应的中心点的真实位置信息以及检测对象对应的真实尺寸信息之间的差别，即(Δx,Δy,Δz,Δl,Δw,Δh)。然后，电子设备根据各检测对象对应的中心点的预测位置信息以及检测对象对应的预测尺寸信息与检测对象对应的中心点的真实位置信息以及检测对象对应的真实尺寸信息之间的差别生成预测框。
其中，预测框可以使用(xpred,ypred,zpred,lpred,wpred,hpred)进行描述。其中，xpred为各检测对象对应的中心点的预测X坐标，ypred为各检测对象对应的中心点的预测Y坐标，zpred为各检测对象对应的中心点的预测Z坐标，lpred为预测框的长，lpred为预测框的宽，hpred为预测框的高。电子设备还可以根据上述(xpred,ypred,zpred,lpred,wpred,hpred)生成一个长方体表征预测框。
S232、基于各检测对象对应的三维真实边界框信息，确定真实边界框。
在一种可选的实施方式中，三维真实边界框信息可以是检测对象中心点坐标(x,y,z)以及可以包含检测对象的长方体的长(l)、宽(w)、高(h)三个参数，也就是说三维真实边界框信息可以使用(x,y,z,l,w,h)表示。
在一种可选的实施方式中，三维真实边界框信息可以是最小的可以包含检测对象的长方体。
具体地，电子设备可以根据各检测对象对应的三维真实边界框信息，确定真实框。
S233、计算各预测框与各真实框之间的三维交并比。
具体地，电子设备可以计算各预测框体积以及各真实框的体积，并且根据各预测框与各真实框之间的位置、尺寸关系，确定各预测框和各真实框之间的交叉体积。然后，电子设备可以根据各预测框体积、各真实框的体积以及各预测框和各真实框之间的交叉体积，计算各预测框与各真实框之间的三维交并比。
示例性的，如图4所示，假设Box1为预测框，Box2为真实框，且Box1、Box2相交部分Box3为预测框和各真实框之间的交叉体积，定义三维交并比IoU3D为：
IoU3D的取值范围为0～1，当Box1和Box2完全重合时，IoU3D＝1，当Box1和Box2完全分离时，IoU3D＝0。
S234、根据各预测框与各真实框之间的三维交并比，计算回归损失。
在本申请一个可选的实施方式中，在计算得到各预测框与各真实框之间的三维交并比之后，电子设备可以将计算得到的各预测框与各真实框之间的三维交并比的相反数进行相加，得到回归损失。
在本申请另一个可选的实施方式中，上述S233“根据各预测框与各真实框之间的三维交并比，计算回归损失”，还可以包括如下步骤：
(1)获取各检测对象的权重信息。
(2)根据各检测对象的权重信息以及各预测框与各真实框之间的三维交并比，计算回归损失。
具体地，电子设备根据各检测对象的尺寸、属性、类型中的至少一项确定各检测对象的权重信息。
示例性的，假设在办公室场景下，电子设备可以根据各检测对象的尺寸确定各检测对象的权重信息，其中，尺寸越小的检测对象对应的权重信息越大，从而可以有效缓解尺寸较小的检测对象的遗漏。
在获取到各检测对象的权重信息之后，电子设备可以根据各检测对象的权重信息以及各预测框与各真实框之间的三维交并比，计算回归损失。其中，回归损失函数的公式可以如下：
其中，
表示预测框Predi与真实框
之间的三维交并比，
表示预测框对应的真实类别为第
类时，检测对象的权重信息对应的权重信息。
S24、基于回归损失，更新初始检测模型的参数，以得到目标检测模型。
关于该步骤请参见图1中对S14的介绍，在此不再进行赘述。
本发明实施例提供的目标检测模型训练方法，根据各检测对象对应的三维预测边界框信息，确定各检测对象对应的预测框，从而保证了确定的各检测对象对应的预测框的准确性。然后，基于各检测对象对应的三维真实边界框信息，确定真实框，保证了真实框的准确性。然后，计算各预测框与各真实框之间的三维交并比，保证了计算得到的三维交并比的准确性。根据各预测框与各真实框之间的三维交并比，计算回归损失，保证了计算得到的回归损失的准确性。
此外，本发明实施例提供的目标检测模型训练方法，获取各检测对象的权重信息，根据各检测对象的权重信息以及各预测框与各真实框之间的三维交并比，计算回归损失。通过在回归损失引入了检测对象的权重信息，从而可以有效缓解检测对象漏检的问题，进一步保证了回归损失的准确性。
在本申请一个实施例中，如图5所示，提供了一种目标检测模型训练方法，以该方法应用于电子设备为例进行说明，包括以下步骤：
S31、获取带有标注信息的三维点云数据。
其中，标注信息包括至少一个检测对象对应的三维真实边界框信息以及真实类别。
具体地，电子设备在对三维点云数据中检测对象对应的三维真实边界框信息进行标注之后，还可以根据用户输入的标注指令对检测对象对应的真实类别进行标注。本申请实施例对电子设备对对检测对象的三维真实边界框信息以及真实类别进行标注的顺序不做具体限定。
S32、将三维点云数据输入至初始检测模型，确定各检测对象对应的三维预测边界框信息以及预测类别。
具体地，电子设备可以将带有标注信息的三维点云数据输入至始检测模型，然后初始检测模型中的特征提取网络对三维点云数据进行特征提取，初始检测模型中的中间卷积层进一步对提取的特征进行特征表达，最后，输出各检测对象对应的三维预测边界框信息以及预测类别。
在一种可选的实施方式中，电子设备可以根据检测对象的数量输出与各检测对象对应的预测数值，用于表征当前检测对象为其中任一一种的概率。然后，最大概率表征当前检测对象对应的预测类别。
示例性的，假设检测对象分别为电脑、桌椅、灯具、植物、人。且对应的顺序为电脑、桌椅、灯具、植物、人，那么电子设备可以输出(0.7，0.1，0.04，0.06，0.1)的预测数字，表征当前检测对象为电脑的概率为0.7；当前检测对象为桌椅的概率为0.1；当前检测对象为灯具的概率为0.04；当前检测对象为植物的概率为0.06；当前检测对象为人的概率为0.1，因此，确定当前检测对象对应的预测类别为电脑。
S33、根据各检测对象对应的预测类别以及真实类别，计算分类损失。
具体地，电子设备可以判断各检测对象对应的预测类别与真实类别是否一致，根据检测结果，计算分类损失。
在本申请一个可选的实施方式中，上述步骤S33“根据各检测对象对应的预测类别以及真实类别，计算分类损失”，还可以包括如下步骤：
S331、获取各检测对象的权重信息。
S332、根据各检测对象的权重信息、预测类别以及真实类别，计算分类损失。
具体地，电子设备根据各检测对象的尺寸、属性、类型中的至少一项确定各检测对象的权重信息。
示例性的，假设在办公室场景下，电子设备可以根据各检测对象的尺寸确定各检测对象的权重信息，其中，尺寸越小的检测对象对应的权重信息越大，从而可以有效缓解尺寸较小的检测对象容易被遗漏的问题。
在获取到各检测对象的权重信息之后，电子设备可以根据各检测对象的权重信息、预测类别以及真实类别，计算分类损失。
示例性的，电子设备可以设定第k类目标物体的权重值为αk，物体尺寸越小，αk越大。设初始检测模型输出的检测对象的预测类别为第k类的概率为
当检测对象的真实类别为第
类，则对应检测对象的权重信息应为
其中，分类损失函数的公式可以如下：
当
时，
否则
示例性的，假设检测对象分别为电脑、桌椅、灯具、植物、人。且对应的顺序为电脑、桌椅、灯具、植物、人。假设当前检测对象这真实类别为电脑。那么电子设备可以输出(0.7，0.1，0.04，0.06，0.1)预测数字，表征当前检测对象为电脑的概率为0.7；当前检测对象为桌椅的概率为0.1；当前检测对象为灯具的概率为0.04；当前检测对象为植物的概率为0.06；当前检测对象为人的概率为0.1，因此，确定当前检测对象对应的预测类别为电脑。也就是说电脑类别对应的
其他类别对应的
S34、基于各检测对象对应的三维预测边界框信息以及三维真实边界框信息，计算回归损失。
关于该步骤请参见图3中对S23的介绍，在此不再进行赘述。
S35、基于分类损失以及回归损失，确定总目标损失。
在一种可选的实施方式中，电子设备可以将分类损失和回归损失进行相加，确定最终的总目标损失。
示例性的，Ltotal＝Lclass+Lreg
在一种可选的实施方式中，电子设备还可以分别将分类损失和回归损失乘以相应的权重之后，再进行相加，确定总目标损失。
S36、基于总目标损失，更新初始检测模型的参数，以得到目标检测模型。
具体地，在计算得到的总目标损失之后，电子设备可以，以最小化目标损失函数为目标(即最大化类别预测准确率、最大化预测框与真实框的IoU3D)，基于训练数据集，进行算法训练，迭代更新初始检测模型的参数的模型参数。当模型参数迭代更新次数到达某一阈值，结束模型训练，得到目标检测模型
本发明实施例提供的目标检测模型训练方法，将三维点云数据输入至初始检测模型，确定各检测对象对应的预测类别；根据各检测对象对应的预测类别以及真实类别，计算分类损失，从而保证了计算得到的分类损失的准确性。然后，基于分类损失以及回归损失，确定总目标损失，保证了确定的目标损失的准确性。然后，基于目标损失，更新初始检测模型的参数，以得到目标检测模型，使得目标检测模型既可以准确识别检测对象的位置、尺寸，也可以准确识别检测对象的类别，且保证了目标检测模型准确性。
此外，本发明实施例提供的目标检测模型训练方法，获取各检测对象的权重信息；根据各检测对象的权重信息、预测类别以及真实类别，计算分类损失。从而使得分类损失引入了检测对象的权重信息，从而可以避免检测对象漏检的问题，进一步保证了分类损失的准确性。
在本申请一个实施例中，如图6所示，提供了一种目标检测模型训练方法，以该方法应用于电子设备为例进行说明，包括以下步骤：
S41、获取带有标注信息的三维点云数据。
其中，标注信息包括至少一个检测对象对应的三维真实边界框信息。
关于该步骤请参见图5中对S31的介绍，在此不再进行赘述。
S42、将三维点云数据输入至初始检测模型，确定各检测对象对应的三维预测边界框信息。
在本申请一个可选的实施方式中，上述步骤S42“将三维点云数据输入至初始检测模型，确定各检测对象对应的三维预测边界框信息”，可以包括如下步骤：
S421、对三维点云数据进行体素化处理，生成多个包括三维点云数据的体素网格。
具体地，电子设备可以设三维点云数据在x,y,z轴方向上的坐标范围为：xmin→xmax，ymin→ymax，zmin→zmax，定义单个体素网格的尺寸为vx,vy,vz，将三维点云数据所处的整个三维空间按体素网格进行划分，宽、长、高三个方向上分别生成nx,ny,nz个网格：
nx×ny×nz个体素网格中的所有数据点形成一个数据集Di,j,k，其中i∈[0,nx),j∈[0,ny),k∈[0,nz)分别代表x轴、y轴、z轴方向上的体素网格索引。
在一种可选的实施方式中，电子设备还可以使用随机采样的方式在每个体素网格中选择T个三维点云数据点输入初始检测模型进行模型训练。
S422、基于体素网格的中心位置，生成多个尺寸可变的初始锚框。
具体地，电子设备可以根据针对每个体素网格生成nanchor个尺寸可变的初始锚框。基于上述公式(3)中划分出的nx×ny×nz个体素网格，共生成Nanchor＝nx×ny×nz×nanchor个尺寸可变的初始锚框，构成初始锚框集合A＝{Ai|i∈[0,Nanchor)}，假设初始锚框设置缩放尺寸共nscale种，长宽高比例共nratio种，则单个体素网格对应的锚框个数nanchor为：
nanchor＝nscale×nratio (5)
每个初始锚框的位置和尺寸可以用(xanchor,yanchor,zanchor,lanchor,wanchor,hanchor)六个参数进行描述。
S423、基于各检测对象对应的三维真实边界框信息，确定真实框。
关于该步骤可以参考上述图3中对S232的介绍，在此不再进行赘述。
S424、计算各初始锚框与各真实框之间的三维交并比，并生成三维交并比矩阵。
具体地，电子设备可以计算各初始锚框体积以及各真实框的体积，并且根据各初始锚框与各真实框之间的位置、尺寸关系，确定各初始锚框和各真实框之间的交叉体积。然后，电子设备可以根据各初始锚框体积、各真实框的体积以及各初始锚框和各真实框之间的交叉体积，计算各初始锚框与各真实框之间的三维交并比。
示例性的，如图4所示，假设Box1为初始锚框，Box2为真实框，且Box1、Box2相交部分Box3为初始锚框和各真实框之间的交叉体积，定义三维交并比IoU3D为：
IoU3D的取值范围为0～1，当Box1和Box2完全重合时，IoU3D＝1，当Box1和Box2完全分离时，IoU3D＝0。
然后，电子设备根据计算得到的各初始锚框与各真实框之间的三维交并比生成三维交并比矩阵M＝{Mij|i∈[0,Nanchor),j∈[0,Ntrue)}，
该矩阵的第i行第j列Mij为：
Mij＝IoU3D(Ai,Gj) (7)
其中，Ai和Gj代表第i个初始锚框和第j个真实框，Ntrue为真实框的数量。
S425、根据三维交并比矩阵，从各初始锚框中确定各候选锚框，并确定各候选锚框对应的真实框。
具体地，电子设备根据三维交并比矩阵M，找到与每个初始锚框IoU3D最大的真实框保留，并根据三维交并比阈值从各初始锚框中确定其余候选锚框，从而从各初始锚框中确定各候选锚框。然后，根据各候选锚框与各真实锚框的三维交并比确定各候选锚框对应的真实框。
具体地，当此时的IoU3D大于等于设定的三维交并比阈值时，保留该锚框。
当此时的IoU3D小于设定的三维交并比阈值时，将该初始锚框视为需被忽略的初始锚框。最终用于模型训练的候选锚框数量
然后，根据各候选锚框与各真实锚框的三维交并比确定各候选锚框对应的真实框，基于真实框，确定候选锚框的标签数据，包括类别(ktrue)、位置(xtrue,ytrue,ztrue)、尺寸(wtrue,ltrue,htrue)。
S426、将候选锚框以及三维点云数据输入至初始检测模型，确定各检测对象对应的三维预测边界框信息。
具体地，电子设备将候选锚框以及三维点云数据输入至初始检测模型，初始检测模型对三维点云数据进行特征提取，并基于各候选锚框，确定各检测对象对应的三维预测边界框信息。
在本申请一个可选的实施方式，上述步骤S426“将候选锚框以及三维点云数据输入至初始检测模型，基于各真实框确定各检测对象对应的三维预测边界框信息”，可以包括如下步骤：
(1)将候选锚框以及三维点云数据输入至初始检测模型，确定各候选锚框与各真实框之间的位置、尺寸差别。
(2)根据各候选锚框与各真实框之间的位置、尺寸差别，确定各检测对象对应的三维预测边界框信息。
具体地，电子设备将候选锚框以及三维点云数据输入至初始检测模型，初始检测中的体素网格特征提取网络，从单个体素网格中的三维点云数据点中提取一个局部特征。将该局部特征输入中间卷积神经网络，对该数据的进行进一步抽象，最后输入目标检测结果输出网络，结合候选锚框的位置、尺寸信息，输出检测对象对应的三维预测边界框信息。
在一种可选的实施方式中，电子设备可以根据检测对象的位置、尺寸预测，对于每个初始锚框Ai，输出初始锚框与真实框之间的差别(Δx,Δy,Δz,Δl,Δw,Δh)。
S43、基于各检测对象对应的三维预测边界框信息以及三维真实边界信息，计算回归损失。
关于该步骤请参见图3中对S23的具体介绍，在此不再进行赘述。
S44、基于回归损失，更新初始检测模型的参数，以得到目标检测模型。
关于该步骤请参见图3中对S24的具体介绍，在此不再进行赘述。
本发明实施例提供的目标检测模型训练方法，对三维点云数据进行体素化处理，生成多个包括三维点云数据的体素网格，从而便于对三维点云数据进行识别。然后，根据体素网格的位置，生成多个尺寸可变的初始锚框；基于各检测对象对应的三维真实边界框信息，确定真实框；计算各初始锚框与各真实框之间的三维交并比，并生成三维交并比矩阵；保证了生成的三维交并比矩阵的准确性。根据三维交并比矩阵，从各初始锚框中确定各候选锚框，并确定各候选锚框对应的真实框，保证了确定的候选锚框与各检测对象的对应的真实框更加接近。然后，将候选锚框以及三维点云数据输入至初始检测模型，确定各检测对象对应的三维预测边界框信息，保证了确定的各检测对象对应的三维预测边界框信息的准确性。
此外，本发明实施例提供的目标检测模型训练方法，将候选锚框以及三维点云数据输入至初始检测模型，确定各候选锚框与各真实框之间的位置、尺寸差别；然后，根据各候选锚框与各真实框之间的位置、尺寸差别，确定各检测对象对应的三维预测边界框信息，从而保证了确定的各检测对象对应的三维预测边界框信息的准确性。
在本申请一个实施例中，如图7所示，提供了一种目标检测方法，以该方法应用于电子设备为例进行说明，包括以下步骤：
S51、获取待检测三维点云数据。
在一种可选的实施方式中，电子设备可以接收用户输入的待检测三维点云数据，也可以接收其他设备发送的待检测三维点云数据。
在另一种可选的实施方式中，电子设备可以基于雷达设备采集待检测三维点云数据。其中，雷达设备可以是64线机械旋转式激光雷达，也可以是其他雷达。
S52、将待检测三维点云数据输入至目标检测模型，确定待检测三维点云数据中至少一个目标对象对应的类别以及三维边界框信息。
其中，目标检测模型根据上述实施方式中的目标检测模型训练方法训练得到。
具体地，电子设备可以将待检测三维点云数据输入至目标检测模型，目标检测模型对待检测三维点云数据进行特征提取，根据提取的特征确定待检测三维点云数据中至少一个目标对象对应的类别以及三维边界框信息。
本发明实施例提供的目标检测方法，获取待检测三维点云数据；将待检测三维点云数据输入至目标检测模型，确定待检测三维点云数据中至少一个目标对象对应的类别以及三维边界框信息，从而保证了确定的各目标对象对应的类别以及三维边界框信息的准确性。
应该理解的是，虽然图1、图3以及图5-7的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，图1、图3以及图5-7中的至少一部分步骤可以包括多个步骤或者多个阶段，这些步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤中的步骤或者阶段的至少一部分轮流或者交替地执行。
如图8所示，本实施例提供一种目标检测模型训练装置，包括：
第一获取模块61，用于获取带有标注信息的三维点云数据；标注信息包括至少一个检测对象对应的三维真实边界框信息。
第一确定模块62，用于将三维点云数据输入至初始检测模型，确定各检测对象对应的三维预测边界框信息。
第一计算模块63，用于基于各检测对象对应的三维预测边界框信息以及三维真实边界框信息，计算回归损失。
第一更新模块64，用于基于回归损失，更新初始检测模型的参数，以得到目标检测模型。
在本申请一个实施例中，上述第一计算模块63，具体用于根据各检测对象对应的三维预测边界框信息，确定各检测对象对应的预测框；基于各检测对象对应的三维真实边界框信息，确定真实框；计算各预测框与各真实框之间的三维交并比；根据各预测框与各真实框之间的三维交并比，计算回归损失。
在本申请一个实施例中，上述第一计算模块63，具体用于获取各检测对象的权重信息；根据各检测对象的权重信息以及各预测框与各真实框之间的三维交并比，计算回归损失。
在本申请一个实施例中，标注信息还包括至少一个检测对象对应的真实类别，上述目标检测模型训练装置，还包括：
第二确定模块65，用于将三维点云数据输入至初始检测模型，确定各检测对象对应的预测类别。
第二计算模块66，用于根据各检测对象对应的预测类别以及真实类别，计算分类损失。
第三计算模块67，用于基于分类损失以及回归损失，确定总目标损失。
第二更新模块68，用于基于总目标损失，更新初始检测模型的参数，以得到目标检测模型。
在本申请一个实施例中，上述第二计算模块66，具体用于获取各检测对象的权重信息；根据各检测对象的权重信息、预测类别以及真实类别，计算分类损失。
在本申请一个实施例中，上述第一确定模块62，具体用于对三维点云数据进行体素化处理，生成多个包括三维点云数据的体素网格；基于体素网格的中心位置，生成多个尺寸可变的初始锚框；基于各检测对象对应的三维真实边界框信息，确定真实框；计算各初始锚框与各真实框之间的三维交并比，并生成三维交并比矩阵；根据三维交并比矩阵，从各初始锚框中确定各候选锚框，并确定各候选锚框对应的真实框；将候选锚框以及三维点云数据输入至初始检测模型，确定各检测对象对应的三维预测边界框信息。
在本申请一个实施例中，上述第一确定模块62，具体用于将候选锚框以及三维点云数据输入至初始检测模型，确定各候选锚框与各真实框之间的位置、尺寸差别；根据各候选锚框与各真实框之间的位置、尺寸差别，确定各检测对象对应的三维预测边界框信息。
如图9所示，本实施例提供一种目标检测装置，包括：
第二获取模块71，用于获取待检测三维点云数据；
第三确定模块72，用于将待检测三维点云数据输入至目标检测模型，确定待检测三维点云数据中至少一个目标对象对应的类别以及三维边界框信息，其中，目标检测模型根据上述实施方式中任一项的目标检测模型训练方法训练得到。
关于目标检测模型训练装置以及目标检测装置的具体限定以及有益效果可以参见上文中对于目标检测模型训练方法以及目标检测方法的限定，在此不再赘述。上述目标检测模型训练装置以及目标检测装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于电子设备中的处理器中，也可以以软件形式存储于电子设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。
本发明实施例还提供一种电子设备，具有上述图8所示的目标检测模型训练装置以及图9所示的目标检测装置。
如图10所示，图10是本发明可选实施例提供的一种电子设备的结构示意图，如图10所示，该电子设备可以包括：至少一个处理器81，例如CPU(Central Processing Unit，中央处理器)，至少一个通信接口83，存储器84，至少一个通信总线82。其中，通信总线82用于实现这些组件之间的连接通信。其中，通信接口83可以包括显示屏(Display)、键盘(Keyboard)，可选通信接口83还可以包括标准的有线接口、无线接口。存储器84可以是高速RAM存储器(Random Access Memory，易挥发性随机存取存储器)，也可以是非不稳定的存储器(non-volatile memory)，例如至少一个磁盘存储器。存储器84可选的还可以是至少一个位于远离前述处理器81的存储装置。其中处理器81可以结合图8或图9所描述的装置，存储器84中存储应用程序，且处理器81调用存储器84中存储的程序代码，以用于执行上述任一方法步骤。
其中，通信总线82可以是外设部件互连标准(peripheral componentinterconnect，简称PCI)总线或扩展工业标准结构(extended industry standardarchitecture，简称EISA)总线等。通信总线82可以分为地址总线、数据总线、控制总线等。为便于表示，图10中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。
其中，存储器84可以包括易失性存储器(英文：volatile memory)，例如随机存取存储器(英文：random-access memory，缩写：RAM)；存储器也可以包括非易失性存储器(英文：non-volatile memory)，例如快闪存储器(英文：flash memory)，硬盘(英文：hard diskdrive，缩写：HDD)或固态硬盘(英文：solid-state drive，缩写：SSD)；存储器84还可以包括上述种类的存储器的组合。
其中，处理器81可以是中央处理器(英文：central processing unit，缩写：CPU)，网络处理器(英文：network processor，缩写：NP)或者CPU和NP的组合。
其中，处理器81还可以进一步包括硬件芯片。上述硬件芯片可以是专用集成电路(英文：application-specific integrated circuit，缩写：ASIC)，可编程逻辑器件(英文：programmable logic device，缩写：PLD)或其组合。上述PLD可以是复杂可编程逻辑器件(英文：complex programmable logic device，缩写：CPLD)，现场可编程逻辑门阵列(英文：field-programmable gate array，缩写：FPGA)，通用阵列逻辑(英文：generic arraylogic,缩写：GAL)或其任意组合。
可选地，存储器84还用于存储程序指令。处理器81可以调用程序指令，实现如本申请图1、图3以及图5-7实施例中所示的目标检测模型训练方法以及目标检测方法。
本发明实施例还提供了一种非暂态计算机存储介质，所述计算机存储介质存储有计算机可执行指令，该计算机可执行指令可执行上述任意方法实施例中的目标检测模型训练方法以及目标检测方法。其中，所述存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory，ROM)、随机存储记忆体(Random Access Memory，RAM)、快闪存储器(FlashMemory)、硬盘(Hard Disk Drive，缩写：HDD)或固态硬盘(Solid-State Drive，SSD)等；所述存储介质还可以包括上述种类的存储器的组合。
虽然结合附图描述了本发明的实施例，但是本领域技术人员可以在不脱离本发明的精神和范围的情况下做出各种修改和变型，这样的修改和变型均落入由所附权利要求所限定的范围之内。
Claims (10)
1.一种目标检测模型训练方法，其特征在于，所述方法包括：
获取带有标注信息的三维点云数据；所述标注信息包括至少一个检测对象对应的三维真实边界框信息；
将所述三维点云数据输入至初始检测模型，确定各所述检测对象对应的三维预测边界框信息；
基于各所述检测对象对应的三维预测边界框信息以及所述三维真实边界框信息，计算回归损失；
基于所述回归损失，更新所述初始检测模型的参数，以得到目标检测模型。
2.根据权利要求1所述的方法，其特征在于，所述基于各所述检测对象对应的三维预测边界框信息以及所述三维真实边界框信息，计算回归损失，包括：
根据各所述检测对象对应的三维预测边界框信息，确定各所述检测对象对应的预测框；
基于各所述检测对象对应的三维真实边界框信息，确定真实框；
计算各所述预测框与各所述真实框之间的三维交并比；
根据各所述预测框与各所述真实框之间的三维交并比，计算所述回归损失。
3.根据权利要求2所述的方法，其特征在于，所述根据各所述预测框与各所述真实框之间的三维交并比，计算所述回归损失，包括：
获取各所述检测对象的权重信息；
根据各所述检测对象的权重信息以及各所述预测框与各所述真实框之间的三维交并比，计算所述回归损失。
4.根据权利要求1所述的方法，其特征在于，所述标注信息还包括至少一个检测对象对应的真实类别，所述方法还包括：
将所述三维点云数据输入至所述初始检测模型，确定各所述检测对象对应的预测类别；
根据各所述检测对象对应的预测类别以及所述真实类别，计算分类损失；
基于所述分类损失以及所述回归损失，确定总目标损失；
基于所述总目标损失，更新所述初始检测模型的参数，以得到目标检测模型。
5.根据权利要求4所述的方法，其特征在于，所述根据各所述检测对象对应的预测类别以及所述真实类别，计算分类损失，包括：
获取各所述检测对象的权重信息；
根据各所述检测对象的权重信息、所述预测类别以及所述真实类别，计算所述分类损失。
6.根据权利要求1所述的方法，其特征在于，所述将所述三维点云数据输入至初始检测模型，确定各所述检测对象对应的三维预测边界框信息，包括：
对所述三维点云数据进行体素化处理，生成多个包括三维点云数据的体素网格；
基于所述体素网格的中心位置，生成多个尺寸可变的初始锚框；
基于各所述检测对象对应的三维真实边界框信息，确定真实框；
计算各所述初始锚框与各所述真实框之间的三维交并比，并生成三维交并比矩阵；
根据所述三维交并比矩阵，从各所述初始锚框中确定各候选锚框，并确定各所述候选锚框对应的所述真实框；
将所述候选锚框以及所述三维点云数据输入至所述初始检测模型，确定各所述检测对象对应的三维预测边界框信息。
7.根据权利要求6所述的方法，其特征在于，所述将所述候选锚框以及所述三维点云数据输入至所述初始检测模型，确定各所述检测对象对应的三维预测边界框信息，包括：
将所述候选锚框以及所述三维点云数据输入至所述初始检测模型，确定各所述候选锚框与各所述真实框之间的位置、尺寸差别；
根据各所述候选锚框与各所述真实框之间的位置、尺寸差别，确定各所述检测对象对应的三维预测边界框信息。
8.一种目标检测方法，其特征在于，所述方法包括：
获取待检测三维点云数据；
将所述待检测三维点云数据输入至目标检测模型，确定所述待检测三维点云数据中至少一个目标对象对应的类别以及三维边界框信息，其中，所述目标检测模型根据权利要求1-7任一项所述的目标检测模型训练方法训练得到。
9.一种电子设备，其特征在于，包括存储器和处理器，所述存储器中存储有计算机指令，所述处理器通过执行所述计算机指令，从而执行权利要求1-7中任一项所述的目标检测模型训练方法以及权利要求8中所述的目标检测方法。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机指令，所述计算机指令用于使计算机执行权利要求1-7中任一项所述的目标检测模型训练方法以及权利要求8中所述的目标检测方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210111173.5A CN114565916A (zh) | 2022-02-07 | 2022-02-07 | 目标检测模型训练方法、目标检测方法以及电子设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210111173.5A CN114565916A (zh) | 2022-02-07 | 2022-02-07 | 目标检测模型训练方法、目标检测方法以及电子设备 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN114565916A true CN114565916A (zh) | 2022-05-31 |
Family
ID=81713173
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210111173.5A Pending CN114565916A (zh) | 2022-02-07 | 2022-02-07 | 目标检测模型训练方法、目标检测方法以及电子设备 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114565916A (zh) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115457036A (zh) * | 2022-11-10 | 2022-12-09 | 中国平安财产保险股份有限公司 | 检测模型训练方法、智能点数方法和相关设备 |
| CN115908498A (zh) * | 2022-12-27 | 2023-04-04 | 清华大学 | 一种基于类别最优匹配的多目标跟踪方法及装置 |
| WO2024012138A1 (zh) * | 2022-07-15 | 2024-01-18 | 马上消费金融股份有限公司 | 目标检测模型训练方法、目标检测方法及装置 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112329873A (zh) * | 2020-11-12 | 2021-02-05 | 苏州挚途科技有限公司 | 目标检测模型的训练方法、目标检测方法及装置 |
| CN112505652A (zh) * | 2021-02-04 | 2021-03-16 | 知行汽车科技（苏州）有限公司 | 目标检测方法、装置及存储介质 |
| CN112613378A (zh) * | 2020-12-17 | 2021-04-06 | 上海交通大学 | 3d目标检测方法、系统、介质及终端 |
| CN113011364A (zh) * | 2021-03-30 | 2021-06-22 | 北京市商汤科技开发有限公司 | 神经网络训练、目标对象检测、行驶控制方法及装置 |
| CN113469025A (zh) * | 2021-06-29 | 2021-10-01 | 阿波罗智联(北京)科技有限公司 | 应用于车路协同的目标检测方法、装置、路侧设备和车辆 |
| CN113807350A (zh) * | 2021-09-13 | 2021-12-17 | 上海芯物科技有限公司 | 一种目标检测方法、装置、设备及存储介质 |
-
2022
- 2022-02-07 CN CN202210111173.5A patent/CN114565916A/zh active Pending
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112329873A (zh) * | 2020-11-12 | 2021-02-05 | 苏州挚途科技有限公司 | 目标检测模型的训练方法、目标检测方法及装置 |
| CN112613378A (zh) * | 2020-12-17 | 2021-04-06 | 上海交通大学 | 3d目标检测方法、系统、介质及终端 |
| CN112505652A (zh) * | 2021-02-04 | 2021-03-16 | 知行汽车科技（苏州）有限公司 | 目标检测方法、装置及存储介质 |
| CN113011364A (zh) * | 2021-03-30 | 2021-06-22 | 北京市商汤科技开发有限公司 | 神经网络训练、目标对象检测、行驶控制方法及装置 |
| CN113469025A (zh) * | 2021-06-29 | 2021-10-01 | 阿波罗智联(北京)科技有限公司 | 应用于车路协同的目标检测方法、装置、路侧设备和车辆 |
| CN113807350A (zh) * | 2021-09-13 | 2021-12-17 | 上海芯物科技有限公司 | 一种目标检测方法、装置、设备及存储介质 |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2024012138A1 (zh) * | 2022-07-15 | 2024-01-18 | 马上消费金融股份有限公司 | 目标检测模型训练方法、目标检测方法及装置 |
| CN115457036A (zh) * | 2022-11-10 | 2022-12-09 | 中国平安财产保险股份有限公司 | 检测模型训练方法、智能点数方法和相关设备 |
| CN115908498A (zh) * | 2022-12-27 | 2023-04-04 | 清华大学 | 一种基于类别最优匹配的多目标跟踪方法及装置 |
| CN115908498B (zh) * | 2022-12-27 | 2024-01-02 | 清华大学 | 一种基于类别最优匹配的多目标跟踪方法及装置 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP6745328B2 (ja) | 点群データを復旧するための方法及び装置 | |
| CN109508681B (zh) | 生成人体关键点检测模型的方法和装置 | |
| US20220414911A1 (en) | Three-dimensional reconstruction method and three-dimensional reconstruction apparatus | |
| KR102096673B1 (ko) | 포인트 클라우드에서의 포인트 백필링 | |
| CN109960742B (zh) | 局部信息的搜索方法及装置 | |
| CN111340864A (zh) | 基于单目估计的三维场景融合方法及装置 | |
| CN114565916A (zh) | 目标检测模型训练方法、目标检测方法以及电子设备 | |
| CN112862874B (zh) | 点云数据匹配方法、装置、电子设备及计算机存储介质 | |
| CN110276829A (zh) | 通过多尺度体素哈希处理的三维表示 | |
| WO2021027692A1 (zh) | 视觉特征库的构建方法、视觉定位方法、装置和存储介质 | |
| CN111739005A (zh) | 图像检测方法、装置、电子设备及存储介质 | |
| CN114758337B (zh) | 一种语义实例重建方法、装置、设备及介质 | |
| CN114219855A (zh) | 点云法向量的估计方法、装置、计算机设备和存储介质 | |
| CN114186007A (zh) | 高精地图生成方法、装置、电子设备和存储介质 | |
| CN117132649A (zh) | 人工智能融合北斗卫星导航的船舶视频定位方法及装置 | |
| CN114674328B (zh) | 地图生成方法、装置、电子设备、存储介质、及车辆 | |
| CN110717405A (zh) | 人脸特征点定位方法、装置、介质及电子设备 | |
| CN113610856B (zh) | 训练图像分割模型和图像分割的方法和装置 | |
| CN115937546A (zh) | 图像匹配、三维图像重建方法、装置、电子设备以及介质 | |
| Cao et al. | Stable image matching for 3D reconstruction in outdoor | |
| CN111652831B (zh) | 对象融合方法、装置、计算机可读存储介质及电子设备 | |
| CN113781653A (zh) | 对象模型生成方法、装置、电子设备及存储介质 | |
| CN114494857A (zh) | 一种基于机器视觉的室内目标物识别和测距方法 | |
| CN113643328A (zh) | 标定物的重建方法、装置、电子设备及计算机可读介质 | |
| CN114625984B (zh) | 兴趣点验证方法、装置、电子设备及存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |