CN115731451A - 模型训练方法、装置、电子设备及存储介质 - Google Patents

模型训练方法、装置、电子设备及存储介质 Download PDF

Info

Publication number
CN115731451A
CN115731451A CN202211514428.9A CN202211514428A CN115731451A CN 115731451 A CN115731451 A CN 115731451A CN 202211514428 A CN202211514428 A CN 202211514428A CN 115731451 A CN115731451 A CN 115731451A
Authority
CN
China
Prior art keywords
point cloud
network
training
model
cloud data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202211514428.9A
Other languages
English (en)
Inventor
李�昊
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Goldway Intelligent Transportation System Co Ltd
Original Assignee
Shanghai Goldway Intelligent Transportation System Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Goldway Intelligent Transportation System Co Ltd filed Critical Shanghai Goldway Intelligent Transportation System Co Ltd
Priority to CN202211514428.9A priority Critical patent/CN115731451A/zh
Publication of CN115731451A publication Critical patent/CN115731451A/zh
Pending legal-status Critical Current

Links

Images

Landscapes

  • Image Analysis (AREA)

Abstract

本申请公开了一种模型训练方法、装置、电子设备及存储介质，属于计算机技术领域。该方法包括：获取雷达采集的第一点云数据；基于所述第一点云数据对初始模型进行训练，得到目标模型；其中，所述初始模型中的特征提取网络是在自监督网络中训练所得到的，不同增强样本基于所述特征提取网络得到的特征是一致的，在向所述目标模型中输入待处理点云数据后，所述目标模型的输出结果用于确定所述待处理点云数据对应的目标任务结果。本申请旨在提高模型的准确性，解决现有模型训练方法训练得到的模型的准确性较低的技术问题。

Description

模型训练方法、装置、电子设备及存储介质
技术领域
本申请涉及计算机技术领域，尤其涉及一种模型训练方法、装置、电子设备及存储介质。
背景技术
自动驾驶车辆自主行驶在道路上时，通过3D(三维)目标检测获取物体在三维空间中的位置和类别信息，通过3D(三维)语义分割获取物体所在场景的深度，以此实现对周围三维场景的感知。
在现有技术中，通常采用3D目标检测模型来获取物体在三维空间中的位置和类别信息，通常采用3D语义分割模型来获取物体所在场景的深度。其中，3D目标检测模型或者3D语义分割模型都是基于标注数据对初始模型进行训练得到的。但是，模型的输入数据是多样化的，且数据标注的成本也是有限制的，因此用于初始模型训练的标注数据是有限的，进而导致基于有限的标注数据训练得到的3D目标检测模型或者3D语义分割模型的准确性较低。
发明内容
有鉴于此，本申请提供一种模型训练方法、装置、电子设备及存储介质，旨在提高模型的准确性，解决现有模型训练方法训练得到的模型的准确性较低的技术问题。
本申请提供一种模型训练方法，包括以下步骤：
获取雷达采集的第一点云数据；
基于所述第一点云数据对初始模型进行训练，得到目标模型；
其中，所述初始模型中的特征提取网络是在自监督网络中训练所得到的，不同增强样本基于所述特征提取网络得到的特征是一致的，在向所述目标模型中输入待处理点云数据后，所述目标模型的输出结果用于确定所述待处理点云数据对应的目标任务结果。
在本申请的一种可能的实施方式中，所述获取雷达采集的第一点云数据的步骤之前，还包括：
获取雷达采集的第二点云数据，对所述第二点云数据进行处理，得到不同视角下的第一预训练点云数据和第二预训练点云数据；
将所述第一预训练点云数据输入至所述自监督网络的第一子网络中，输出第一特征向量；
将所述第二预训练点云数据输入至所述自监督网络的第二子网络中，输出第二特征向量；
根据所述第一特征向量和所述第二特征向量，计算对比学习损失；
根据所述对比学习损失，训练所述第一子网络和所述第二子网络，直至所述第一子网络和所述第二子网络收敛；
提取收敛后的第一子网络中的特征提取网络，作为所述初始模型中的特征提取网络。
在本申请的一种可能的实施方式中，所述对所述第二点云数据进行处理，得到不同视角下的第一预训练点云数据和第二预训练点云数据的步骤，包括：
对所述第二点云数据分别进行两次数据增强处理，得到不同视角下的第一预训练点云数据和第二预训练点云数据；
其中，所述数据增强处理包括场景数据增强处理和目标数据增强处理，所述场景数据增强处理包括场景点云旋转、场景点云缩放、场景点云稀疏化以及在场景中黏贴点云，所述目标数据增强处理包括目标点云旋转、目标点云缩放、目标点云稀疏化以及目标框内点云平移。
在本申请的一种可能的实施方式中，所述第一子网络包括第一特征提取网络、第一感兴趣区域池化模块、第一映射模块和第二映射模块，所述第二子网络包括第二特征提取网、第二感兴趣区域池化模块和第三映射模块，所述第一特征提取网络的网络结构和网络参数初始值与所述第二特征提取网络的相同，所述第一感兴趣区域池化模块和所述第二感兴趣区域池化模块的模块结构相同，所述第一映射模块、第二映射模块和第三映射模块的模块结构均相同；
所述将所述第一预训练点云数据输入至所述自监督网络的第一子网络中，输出第一特征向量的步骤，包括：
将所述第一预训练点云数据输入至所述第一特征提取网络，输出第一点云特征；
将所述第一点云特征投影到鸟瞰图上，生成第一鸟瞰特征图；
利用所述第一感兴趣区域池化模块对所述第一鸟瞰特征图进行感兴趣区域池化操作，得到预设大小的第一点云特征向量；
利用所述第一映射模块和所述第二映射模块，对所述第一点云特征向量依次进行映射，得到第一特征向量；
将所述第二预训练点云数据输入至所述自监督网络的第二子网络中，输出第二特征向量的步骤，包括：
将所述第二预训练点云数据输入至所述第二特征提取网络，输出第二点云特征；
将所述第二点云特征投影到鸟瞰图上，生成第二鸟瞰特征图；
利用所述第二感兴趣区域池化模块对所述第二鸟瞰特征图进行感兴趣区域池化操作，得到预设大小的第二点云特征向量；
利用所述第三映射模块，对所述第二点云特征向量进行映射，得到第二特征向量。
在本申请的一种可能的实施方式中，所述根据所述第一特征向量和所述第二特征向量，计算对比学习损失的步骤，包括：
通过预设损失函数对所述第一特征向量和所述第二特征向量进行计算，得到对比学习损失；
其中，所述预设损失函数如下所示：
Figure BDA0003970153730000031
其中，qθ(zθ)表征第一特征向量，z′ξ表征第二特征向量，
Figure BDA0003970153730000032
表征对比学习损失。
在本申请的一种可能的实施方式中，所述根据所述对比学习损失，训练所述第一子网络和所述第二子网络，直至所述第一子网络和所述第二子网络收敛的步骤，包括：
根据所述对比学习损失，以梯度下降的方式更新所述第一子网络中的特征提取网络的网络参数，以指数移动平均值EMA的方式更新所述第二子网络中的特征提取网络的网络参数，直至所述第一子网络和所述第二子网络收敛。
在本申请的一种可能的实施方式中，所述目标模型包括3D目标检测模型或者3D语义分割模型。
本申请还提供一种模型训练装置，所述模型训练装置包括：
获取模块，用于获取雷达采集的第一点云数据；
训练模块，用于基于所述第一点云数据对初始模型进行训练，得到目标模型；
其中，所述初始模型中的特征提取网络是在自监督网络中训练所得到的，不同增强样本基于所述特征提取网络得到的特征是一致的，在向所述目标模型中输入待处理点云数据后，所述目标模型的输出结果用于确定所述待处理点云数据的目标任务结果。
在本申请的一种可能的实施方式中，所述模型训练装置还包括预训练模块，所述预训练模块包括：
获取单元，用于获取雷达采集的第二点云数据，对所述第二点云数据进行处理，得到不同视角下的第一预训练点云数据和第二预训练点云数据；
第一输出单元，用于将所述第一预训练点云数据输入至所述自监督网络的第一子网络中，输出第一特征向量；
第二输出单元，用于将所述第二预训练点云数据输入至所述自监督网络的第二子网络中，输出第二特征向量；
损失计算单元，用于根据所述第一特征向量和所述第二特征向量，计算对比学习损失；
训练单元，用于根据所述对比学习损失，训练所述第一子网络和所述第二子网络，直至所述第一子网络和所述第二子网络收敛；
提取单元，用于提取收敛后的第一子网络中的特征提取网络，作为所述初始模型中的特征提取网络；
和/或者所述获取单元，具体用于：
对所述第二点云数据分别进行两次数据增强处理，得到不同视角下的第一预训练点云数据和第二预训练点云数据；
其中，所述数据增强处理包括场景数据增强处理和目标数据增强处理，所述场景数据增强处理包括场景点云旋转、场景点云缩放、场景点云稀疏化以及在场景中黏贴点云，所述目标数据增强处理包括目标点云旋转、目标点云缩放、目标点云稀疏化以及目标框内点云平移；
和/或者所述第一子网络包括第一特征提取网络、第一感兴趣区域池化模块、第一映射模块和第二映射模块，所述第二子网络包括第二特征提取网、第二感兴趣区域池化模块和第三映射模块，所述第一特征提取网络的网络结构和网络参数初始值与所述第二特征提取网络的相同，所述第一感兴趣区域池化模块和所述第二感兴趣区域池化模块的模块结构相同，所述第一映射模块、第二映射模块和第三映射模块的模块结构均相同；
所述第一输出单元，具体用于：
将所述第一预训练点云数据输入至所述第一特征提取网络，输出第一点云特征；
将所述第一点云特征投影到鸟瞰图上，生成第一鸟瞰特征图；
利用所述第一感兴趣区域池化模块对所述第一鸟瞰特征图进行感兴趣区域池化操作，得到预设大小的第一点云特征向量；
利用所述第一映射模块和所述第二映射模块，对所述第一点云特征向量依次进行映射，得到第一特征向量；
所述第二输出单元，具体用于：
将所述第二预训练点云数据输入至所述第二特征提取网络，输出第二点云特征；
将所述第二点云特征投影到鸟瞰图上，生成第二鸟瞰特征图；
利用所述第二感兴趣区域池化模块对所述第二鸟瞰特征图进行感兴趣区域池化操作，得到预设大小的第二点云特征向量；
利用所述第三映射模块，对所述第二点云特征向量进行映射，得到第二特征向量；
和/或者所述损失计算单元，具体用于：
通过预设损失函数对所述第一特征向量和所述第二特征向量进行计算，得到对比学习损失；
其中，所述预设损失函数如下所示：
Figure BDA0003970153730000061
其中，qθ(zθ)表征第一特征向量，z′ξ表征第二特征向量，
Figure BDA0003970153730000062
表征对比学习损失；
和/或者所述训练单元，具体用于：
根据所述对比学习损失，以梯度下降的方式更新所述第一子网络中的特征提取网络的网络参数，以指数移动平均值EMA的方式更新所述第二子网络中的特征提取网络的网络参数，直至所述第一子网络和所述第二子网络收敛；
和/或者所述目标模型包括3D目标检测模型或者3D语义分割模型。
本申请还提供一种电子设备，所述设备包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的模型训练程序，所述模型训练程序配置为实现如上所述的模型训练方法的步骤。
本申请还提供一种存储介质，所述存储介质上存储有模型训练程序，所述模型训练程序被处理器执行时实现如上所述的模型训练方法的步骤。
本申请提供一种模型训练方法、装置、电子设备及存储介质，与现有技术中，用于训练的标注数据有限，导致训练得到模型的准确性较低相比，在本申请中，获取雷达采集的第一点云数据；基于所述第一点云数据对初始模型进行训练，得到目标模型；其中，所述初始模型中的特征提取网络是在自监督网络中训练所得到的，不同增强样本基于所述特征提取网络得到的特征是一致的，在向所述目标模型中输入待处理点云数据后，所述目标模型的输出结果用于确定所述待处理点云数据对应的目标任务结果。所以，在本申请中，初始模型中的特征提取网络是在自监督网络中训练所得到的，且该特征提取网络对不同增强样本进行特征提取后得到的特征是一致的，这增加了用于初始模型训练的训练数据量(第一点云数据的数量)，即用于初始模型训练的训练数据中包括不同增强样本，进而提高了训练得到目标模型的准确性。
附图说明
图1为本申请模型训练方法的第一实施例的流程示意图；
图2为本申请模型训练方法的第二实施例的流程示意图；
图3为本申请自监督学习网络的一种结构示意图；
图4是本申请实施例方案涉及的硬件运行环境的电子设备结构示意图。
本申请目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。
具体实施方式
应当理解，此处所描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。
本申请实施例提供一种模型训练方法，如图1所示，在本申请模型训练方法的一实施例中，所述方法包括以下步骤：
步骤S10、获取雷达采集的第一点云数据；
步骤S20、基于所述第一点云数据对初始模型进行训练，得到目标模型；
其中，所述初始模型中的特征提取网络是在自监督网络中训练所得到的，不同增强样本基于所述特征提取网络得到的特征是一致的，在向所述目标模型中输入待处理点云数据后，所述目标模型的输出结果用于确定所述待处理点云数据对应的目标任务结果。
本实施例旨在：提高模型的准确性。
具体地，在本申请中，初始模型中的特征提取网络是在自监督网络中训练所得到的，且该特征提取网络对不同增强样本进行特征提取后得到的特征是一致的，这增加了用于初始模型训练的训练数据量(第一点云数据的数量)，即用于初始模型训练的训练数据中包括不同增强样本，进而提高了训练得到目标模型的准确性。
具体地，在本申请中，对输入自监督网络的第一子网络和第二子网络中的第二点云数据进行场景数据增强处理和目标数据增强处理，可以扩大第二点云数据在不同视角下的多样性，来训练特征提取网络得到同一样本(第二点云数据)不同视角下的特征一致性，进而可以在用于初始模型(包含该训练特征提取网络)训练的训练数据中加入不同增强样本，提高了训练得到目标模型的准确性。
具体地，在本申请中，第一子网络中存在两个映射模块，第二子网络中存在一个映射模块，降低第一子网络输出的第一特征向量与第二子网络输出的第二特征向量出现同质化的概率，防止平凡解的出现，进而提高了训练得到目标模型的准确性。
具体地，在本申请中，第一特征提取网络后连接有第一感兴趣区域池化模块，第二特征提取网络后连接有第二感兴趣区域池化模块，用来生成预设大小的特征向量，提升了自监督网络的训练速度。
在本实施例中，针对的具体应用场景是：
自动驾驶领域中，所使用的3D目标检测模型或者3D语义分割模型的训练。
在本实施例中，以目标模型为3D目标检测模型为例进行具体说明。
具体步骤如下：
步骤S10、获取雷达采集的第一点云数据。
作为一种示例，第一点云数据为激光雷达所采集的点云数据，激光雷达装载在车辆上。
步骤S20、基于所述第一点云数据对初始模型进行训练，得到目标模型；其中，所述初始模型中的特征提取网络是在自监督网络中训练所得到的，不同增强样本基于所述特征提取网络得到的特征是一致的，在向所述目标模型中输入待处理点云数据后，所述目标模型的输出结果用于确定所述待处理点云数据对应的目标任务结果。
作为一种示例，不同增强样本指的是一样本进行数据增强后所得到的样本。
作为一种示例，当目标模型为3D目标检测模型时，则该目标模型对应的初始模型为初始3D目标检测模型。在此基础上，基于所述第一点云数据对初始模型进行训练，得到目标模型的步骤，包括：
步骤S21、对所述第一点云数据进行数据增强处理，得到训练样本；
步骤S22、将所述训练样本依次输入至初始3D目标检测模型，得到所述初始3D目标检测模型输出的目标检测结果；
步骤S23、响应于所述初始3D目标检测模型满足训练完成条件，得到3D目标检测模型。
其中，初始3D目标检测模型的训练完成条件包括：初始3D目标检测模型的训练迭代次数达到设定次数或者初始3D目标检测模型的损失达到损失阈值。其中，初始3D目标检测模型的损失是针对3D目标检测模型预先设置的损失函数得到的。
其中，在向3D目标检测模型输入待处理点云数据后，3D目标检测模型输出目标检测结果，基于该目标检测结果可以确定输入的待处理点云数据中存在的物体的位置、类型以及数量。其中，当3D目标检测模型是应用于自动驾驶领域的3D目标检测模型时，前述物体可以为机动车、非机动车、行人、标识牌等。
作为一种示例，目标模型还可以为3D语义分割模型时，则该目标模型对应的初始模型为初始3D语义分割模型。3D语义分割模型的模型训练过程与3D目标检测模型的训练过程相同，在此不再赘述。
本申请提供一种模型训练方法、装置、电子设备及存储介质，与现有技术中，用于训练的标注数据有限，导致训练得到模型的准确性较低相比，在本申请中，获取雷达采集的第一点云数据；基于所述第一点云数据对初始模型进行训练，得到目标模型；其中，所述初始模型中的特征提取网络是在自监督网络中训练所得到的，不同增强样本基于所述特征提取网络得到的特征是一致的，在向所述目标模型中输入待处理点云数据后，所述目标模型的输出结果用于确定所述待处理点云数据对应的目标任务结果。所以，在本申请中，初始模型中的特征提取网络是在自监督网络中训练所得到的，且该特征提取网络对不同增强样本进行特征提取后得到的特征是一致的，这增加了用于初始模型训练的训练数据量(第一点云数据的数量)，即用于初始模型训练的训练数据中包括不同增强样本，进而提高了训练得到目标模型的准确性。目标模型的准确性提高了，进而会使得目标模型的输出结果的准确率提高。
进一步地，基于本申请第一实施例，提供本申请的另一实施例，在该实施例中，如图2所示，所述获取雷达采集的第一点云数据的步骤之前，还包括：
步骤S01、获取雷达采集的第二点云数据，对所述第二点云数据进行处理，得到不同视角下的第一预训练点云数据和第二预训练点云数据；
步骤S02、将所述第一预训练点云数据输入至所述自监督网络的第一子网络中，输出第一特征向量；
步骤S03、将所述第二预训练点云数据输入至所述自监督网络的第二子网络中，输出第二特征向量；
步骤S04、根据所述第一特征向量和所述第二特征向量，计算对比学习损失；
步骤S05、根据所述对比学习损失，训练所述第一子网络和所述第二子网络，直至所述第一子网络和所述第二子网络收敛；
步骤S06、提取收敛后的第一子网络中的特征提取网络，作为所述初始模型中的特征提取网络。
具体步骤如下：
步骤S01、获取雷达采集的第二点云数据，对所述第二点云数据进行处理，得到不同视角下的第一预训练点云数据和第二预训练点云数据。
作为一种示例，第二点云数据为激光雷达所采集的点云数据，激光雷达装载在车辆上。
作为一种示例，对所述第二点云数据进行处理，得到不同视角下的第一预训练点云数据和第二预训练点云数据的步骤，包括：
对所述第二点云数据分别进行两次数据增强处理，得到不同视角下的第一预训练点云数据和第二预训练点云数据；
其中，所述数据增强处理包括场景数据增强处理和目标数据增强处理，所述场景数据增强处理包括场景点云旋转、场景点云缩放、场景点云稀疏化以及在场景中黏贴点云，所述目标数据增强处理包括目标点云旋转、目标点云缩放、目标点云稀疏化以及目标框内点云平移。
如图3所示，图3中的T(～,σ′)即为数据增强处理模块，用于对第二点云数据进行数据增强处理的，第一子网络和第二子网络对应的数据增强处理模块的数据增强处理流程不同，且数据增强处理对应的参数也不同。
例如，对所述第二点云数据依次进行场景点云旋转、场景点云缩放、场景点云稀疏化以及在场景中黏贴点云的场景数据增强处理，在此基础上，再依次进行目标点云旋转、目标点云缩放、目标点云稀疏化以及目标框内点云平移的目标数据增强处理，进而得到第一预训练点云数据；对所述第二点云数据依次进行目标点云旋转、目标点云缩放、目标点云稀疏化以及目标框内点云平移的目标数据增强处理，在此基础上，再依次进行场景点云旋转、场景点云缩放、场景点云稀疏化以及在场景中黏贴点云的场景数据增强处理，进而得到第二预训练点云数据。
在本实施例中，对第二点云数据进行场景数据增强处理和目标数据增强处理，可以扩大第二点云数据在不同视角下的多样性，来训练特征提取网络得到同一样本(第二点云数据)不同视角下的特征一致性，进而可以在用于初始模型(包含该训练特征提取网络)训练的训练数据中加入不同增强样本，提高了训练得到目标模型的准确性。
步骤S02、将所述第一预训练点云数据输入至所述自监督网络的第一子网络中，输出第一特征向量。
作为一种示例，如图3所示，第一子网络包括第一特征提取网络、第一感兴趣池化模块、第一映射模块和第二映射模块。第一特征提取网络、第一感兴趣池化模块、第一映射模块和第二映射模块依次连接。在此基础上，将所述第一预训练点云数据输入至所述自监督网络的第一子网络中，输出第一特征向量的步骤，包括：
步骤A1、将所述第一预训练点云数据输入至所述第一特征提取网络，输出第一点云特征。
作为一种示例，第一特征提取网络为Second算法中的3D稀疏卷积网络或者PointPillars中的金字塔特征网络和2D卷积网络。其中，图3中的第一特征提取网络为3D稀疏卷积网络(3D Encoder)。
其中，使用Second算法中的3D稀疏卷积网络或者PointPillars中的金字塔特征网络和2D卷积网络对点云数据进行特征提取的过程是已知的，在本实施例中不再进行赘述。
步骤A2、将所述第一点云特征投影到鸟瞰图上，生成第一鸟瞰特征图。
作为一种示例，根据第一点云特征所对应的点云的X坐标和Y坐标，确定第一点云特征在鸟瞰图中的位置坐标(X，Y)，将点第一点云特征根据上述位置坐标对应放置在鸟瞰图中，生成第一鸟瞰特征图。
步骤A3、利用所述第一感兴趣区域池化模块对所述第一鸟瞰特征图进行感兴趣区域池化操作，得到预设大小的第一点云特征向量。
作为一种示例，第一点云特征向量的预设大小，即第一点云特征向量的维度可以为8的倍数，例如128或者256，本实施例不作具体限制。
在本实施例中，在第一特征提取网络后连接第一感兴趣区域池化模块，用来生成预设大小的特征向量，提升了自监督网络的训练速度。
步骤A4、利用所述第一映射模块和所述第二映射模块，对所述第一点云特征向量依次进行映射，得到第一特征向量。
作为一种示例，第一映射模块(图3中的Projector)和第二映射模块(图3中的Predictor)均为由两个中间层和一个BN层组成的多层感知器。
其中，第一映射模块对第一点云特征向量进行映射的流程如下所示：
Figure BDA0003970153730000121
其中，zθ表征第一映射模块输出的特征向量，yθ表征第一点云特征向量，
Figure BDA0003970153730000122
表征第一映射模块中的第一中间层的连接权重，
Figure BDA0003970153730000123
表征第一映射模块中的第一中间层的偏置，
Figure BDA0003970153730000124
表征第一映射模块中的第二中间层的连接权重，
Figure BDA0003970153730000125
表征第一映射模块中的第二中间层的偏置，BN为批归一化层，σ表征ReLU激活函数。
其中，第一映射模块对第一点云特征向量进行映射的流程如下所示：
Figure BDA0003970153730000126
其中，zθ表征第一映射模块输出的特征向量，qθ(zθ)表征第一特征向量，
Figure BDA0003970153730000127
表征第二映射模块中的第一中间层的连接权重，
Figure BDA0003970153730000128
表征第二映射模块中的第一中间层的偏置，
Figure BDA0003970153730000129
表征第二映射模块中的第二中间层的连接权重，
Figure BDA00039701537300001210
表征第二映射模块中的第二中间层的偏置，BN为批归一化层，σ表征ReLU激活函数。
步骤S03、将所述第二预训练点云数据输入至所述自监督网络的第二子网络中，输出第二特征向量。
作为一种示例，如图3所示，第二子网络包括第二特征提取网络、第二感兴趣池化模块和第三映射模块。第二特征提取网络、第二感兴趣池化模块和第三映射模块依次连接。其中，第一特征提取网络的网络结构和网络参数初始值与第二特征提取网络的相同，第一感兴趣区域池化模块和所述第二感兴趣区域池化模块的模块结构相同，且第一映射模块、第二映射模块和第三映射模块的模块结构均相同。在此基础上，将所述第二预训练点云数据输入至所述自监督网络的第二子网络中，输出第二特征向量的步骤，包括：
步骤B1、将所述第二预训练点云数据输入至所述第二特征提取网络，输出第二点云特征。
作为一种示例，第二特征提取网络为Second算法中的3D稀疏卷积网络或者PointPillars中的金字塔特征网络和2D卷积网络。其中，图3中的第二特征提取网络为3D稀疏卷积网络(3D Encoder)。
其中，使用Second算法中的3D稀疏卷积网络或者PointPillars中的金字塔特征网络和2D卷积网络对点云数据进行特征提取的过程是已知的，在本实施例中不再进行赘述。
步骤B2、将所述第二点云特征投影到鸟瞰图上，生成第二鸟瞰特征图。
作为一种示例，根据第二点云特征所对应的点云的X坐标和Y坐标，确定第二点云特征在鸟瞰图中的位置坐标(X，Y)，将点第二点云特征根据上述位置坐标对应放置在鸟瞰图中，生成第二鸟瞰特征图。
步骤B3、利用所述第二感兴趣区域池化模块对所述第二鸟瞰特征图进行感兴趣区域池化操作，得到预设大小的第二点云特征向量。
作为一种示例，第二点云特征向量的预设大小预第一点云特征向量的预设大小相同。例如，第一点云特征向量的维度为128，则第二点云特征向量的维度也为128。
在本实施例中，在第二特征提取网络后连接第二感兴趣区域池化模块，用来生成预设大小的特征向量，提升了自监督网络的训练速度。
步骤B4、利用所述第三映射模块，对所述第二点云特征向量进行映射，得到第二特征向量。
作为一种示例，第三映射模块(图3中的Projector)为由两个中间层和一个BN层组成的多层感知器。
其中，第三映射模块对第二点云特征向量进行映射的流程如下所示：
Figure BDA0003970153730000131
其中，z′ξ表征第二点云特征向量，yξ表征第二点云特征向量，
Figure BDA0003970153730000143
表征第三映射模块中的第一中间层的连接权重，
Figure BDA0003970153730000144
表征第三映射模块中的第一中间层的偏置，
Figure BDA0003970153730000145
表征第三映射模块中的第二中间层的连接权重，
Figure BDA0003970153730000146
表征第三映射模块中的第二中间层的偏置，BN为批归一化层，σ表征ReLU激活函数。
在本实施例中，第一子网络中存在两个映射模块，第二子网络中存在一个映射模块，降低第一子网络输出的第一特征向量与第二子网络输出的第二特征向量出现同质化的概率，防止平凡解的出现，进而提高了训练得到目标模型的准确性。
步骤S04、根据所述第一特征向量和所述第二特征向量，计算对比学习损失。
作为一种示例，通过预设损失函数对所述第一特征向量和所述第二特征向量进行计算，得到对比学习损失；
其中，所述预设损失函数如下所示：
Figure BDA0003970153730000141
其中，qθ(zθ)表征第一特征向量，z′ξ表征第二特征向量，
Figure BDA0003970153730000142
表征对比学习损失。
步骤S05、根据所述对比学习损失，训练所述第一子网络和所述第二子网络，直至所述第一子网络和所述第二子网络收敛。
作为一种示例，根据所述对比学习损失，训练所述第一子网络和所述第二子网络，直至所述第一子网络和所述第二子网络收敛的步骤，包括：
根据所述对比学习损失，以梯度下降的方式更新所述第一子网络中的特征提取网络的网络参数，以指数移动平均值EMA的方式更新所述第二子网络中的特征提取网络的网络参数，直至所述第一子网络和所述第二子网络收敛。
作为一种示例，当对比学习损失达到损失阈值时，第一子网络和第二子网络收敛。
在本实施例中，指数移动平均值EMA的方式更新所述第二子网络中的特征提取网络的网络参数，可以有效保持第一子网络和第二子网络的网络参数是不同的。
步骤S06、提取收敛后的第一子网络中的特征提取网络，作为所述初始模型中的特征提取网络。
在本实施例中，初始模型中的特征提取网络是在自监督网络中训练所得到的，且该特征提取网络对不同增强样本进行特征提取后得到的特征是一致的，这增加了用于初始模型训练的训练数据量(第一点云数据的数量)，即用于初始模型训练的训练数据中包括不同增强样本，进而提高了训练得到目标模型的准确性。
参照图4，图4是本申请实施例方案涉及的硬件运行环境的电子设备结构示意图。
如图4所示，该电子设备可以包括：处理器1001，例如中央处理器(CentralProcessing Unit，CPU)，通信总线1002、用户接口1003，网络接口1004，存储器1005。其中，通信总线1002用于实现这些组件之间的连接通信。用户接口1003可以包括显示屏(Display)、输入单元比如键盘(Keyboard)，可选用户接口1003还可以包括标准的有线接口、无线接口。网络接口1004可选的可以包括标准的有线接口、无线接口(如无线保真(WIreless-FIdelity，WI-FI)接口)。存储器1005可以是高速的随机存取存储器(RandomAccess Memory，RAM)存储器，也可以是稳定的非易失性存储器(Non-Volatile Memory，NVM)，例如磁盘存储器。存储器1005可选的还可以是独立于前述处理器1001的存储装置。
本领域技术人员可以理解，图4中示出的结构并不构成对电子设备的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。
如图4所示，作为一种存储介质的存储器1005中可以包括操作系统、数据存储模块、网络通信模块、用户接口模块以及模型训练程序。
在图4所示的电子设备中，网络接口1004主要用于与其他设备进行数据通信；用户接口1003主要用于与用户进行数据交互；本申请电子设备中的处理器1001、存储器1005可以设置在电子设备中，所述电子设备通过处理器1001调用存储器1005中存储的模型训练程序，实现上述任一项所述的模型训练方法的步骤。
本申请电子设备具体实施方式与上述模型训练方法各实施例基本相同，在此不再赘述。
本申请实施例还提供一种模型训练装置，所述模型训练装置包括：
获取模块，用于获取雷达采集的第一点云数据；
训练模块，用于基于所述第一点云数据对初始模型进行训练，得到目标模型；
其中，所述初始模型中的特征提取网络是在自监督网络中训练所得到的，不同增强样本基于所述特征提取网络得到的特征是一致的，在向所述目标模型中输入待处理点云数据后，所述目标模型的输出结果用于确定所述待处理点云数据的目标任务结果。
在本申请的一种可能的实施方式中，所述模型训练装置还包括预训练模块，所述预训练模块包括：
获取单元，用于获取雷达采集的第二点云数据，对所述第二点云数据进行处理，得到不同视角下的第一预训练点云数据和第二预训练点云数据；
第一输出单元，用于将所述第一预训练点云数据输入至所述自监督网络的第一子网络中，输出第一特征向量；
第二输出单元，用于将所述第二预训练点云数据输入至所述自监督网络的第二子网络中，输出第二特征向量；
损失计算单元，用于根据所述第一特征向量和所述第二特征向量，计算对比学习损失；
训练单元，用于根据所述对比学习损失，训练所述第一子网络和所述第二子网络，直至所述第一子网络和所述第二子网络收敛；
提取单元，用于提取收敛后的第一子网络中的特征提取网络，作为所述初始模型中的特征提取网络；
和/或者所述获取单元，具体用于：
对所述第二点云数据分别进行两次数据增强处理，得到不同视角下的第一预训练点云数据和第二预训练点云数据；
其中，所述数据增强处理包括场景数据增强处理和目标数据增强处理，所述场景数据增强处理包括场景点云旋转、场景点云缩放、场景点云稀疏化以及在场景中黏贴点云，所述目标数据增强处理包括目标点云旋转、目标点云缩放、目标点云稀疏化以及目标框内点云平移；
和/或者所述第一子网络包括第一特征提取网络、第一感兴趣区域池化模块、第一映射模块和第二映射模块，所述第二子网络包括第二特征提取网、第二感兴趣区域池化模块和第三映射模块，所述第一特征提取网络的网络结构和网络参数初始值与所述第二特征提取网络的相同，所述第一感兴趣区域池化模块和所述第二感兴趣区域池化模块的模块结构相同，所述第一映射模块、第二映射模块和第三映射模块的模块结构均相同；
所述第一输出单元，具体用于：
将所述第一预训练点云数据输入至所述第一特征提取网络，输出第一点云特征；
将所述第一点云特征投影到鸟瞰图上，生成第一鸟瞰特征图；
利用所述第一感兴趣区域池化模块对所述第一鸟瞰特征图进行感兴趣区域池化操作，得到预设大小的第一点云特征向量；
利用所述第一映射模块和所述第二映射模块，对所述第一点云特征向量依次进行映射，得到第一特征向量；
所述第二输出单元，具体用于：
将所述第二预训练点云数据输入至所述第二特征提取网络，输出第二点云特征；
将所述第二点云特征投影到鸟瞰图上，生成第二鸟瞰特征图；
利用所述第二感兴趣区域池化模块对所述第二鸟瞰特征图进行感兴趣区域池化操作，得到预设大小的第二点云特征向量；
利用所述第三映射模块，对所述第二点云特征向量进行映射，得到第二特征向量；
和/或者所述损失计算单元，具体用于：
通过预设损失函数对所述第一特征向量和所述第二特征向量进行计算，得到对比学习损失；
其中，所述预设损失函数如下所示：
Figure BDA0003970153730000171
其中，qθ(zθ)表征第一特征向量，z′ξ表征第二特征向量，
Figure BDA0003970153730000172
表征对比学习损失；
和/或者所述训练单元，具体用于：
根据所述对比学习损失，以梯度下降的方式更新所述第一子网络中的特征提取网络的网络参数，以指数移动平均值EMA的方式更新所述第二子网络中的特征提取网络的网络参数，直至所述第一子网络和所述第二子网络收敛；
和/或者所述目标模型包括3D目标检测模型或者3D语义分割模型。
本申请模型训练装置具体实施方式与上述模型训练方法各实施例基本相同，在此不再赘述。
本申请实施例提供了一种存储介质，且所述存储介质存储有一个或者一个以上程序，所述一个或者一个以上程序还可被一个或者一个以上的处理器执行以用于实现上述任一项所述的模型训练方法的步骤。
本申请存储介质具体实施方式与上述模型训练方法各实施例基本相同，在此不再赘述。
本申请实施例还提供一种计算机程序产品、包括计算机程序，该计算机程序被处理器执行时实现上述的模型训练方法的步骤。
本申请计算机程序产品的具体实施方式与上述模型训练方法各实施例基本相同，在此不再赘述。
需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者系统不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者系统所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者系统中还存在另外的相同要素。
上述本申请实施例序号仅仅为了描述，不代表实施例的优劣。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在如上所述的一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端设备(可以是手机，计算机，服务器，或者网络设备等)执行本申请各个实施例所述的方法。
以上仅为本申请的优选实施例，并非因此限制本申请的专利范围，凡是利用本申请说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本申请的专利保护范围内。

Claims (11)

1.一种模型训练方法，其特征在于，所述模型训练方法包括以下步骤：
获取雷达采集的第一点云数据；
基于所述第一点云数据对初始模型进行训练，得到目标模型；
其中，所述初始模型中的特征提取网络是在自监督网络中训练所得到的，不同增强样本基于所述特征提取网络得到的特征是一致的，在向所述目标模型中输入待处理点云数据后，所述目标模型的输出结果用于确定所述待处理点云数据对应的目标任务结果。
2.如权利要求1所述的模型训练方法，其特征在于，所述获取雷达采集的第一点云数据的步骤之前，还包括：
获取雷达采集的第二点云数据，对所述第二点云数据进行处理，得到不同视角下的第一预训练点云数据和第二预训练点云数据；
将所述第一预训练点云数据输入至所述自监督网络的第一子网络中，输出第一特征向量；
将所述第二预训练点云数据输入至所述自监督网络的第二子网络中，输出第二特征向量；
根据所述第一特征向量和所述第二特征向量，计算对比学习损失；
根据所述对比学习损失，训练所述第一子网络和所述第二子网络，直至所述第一子网络和所述第二子网络收敛；
提取收敛后的第一子网络中的特征提取网络，作为所述初始模型中的特征提取网络。
3.如权利要求2所述的模型训练方法，其特征在于，所述对所述第二点云数据进行处理，得到不同视角下的第一预训练点云数据和第二预训练点云数据的步骤，包括：
对所述第二点云数据分别进行两次数据增强处理，得到不同视角下的第一预训练点云数据和第二预训练点云数据；
其中，所述数据增强处理包括场景数据增强处理和目标数据增强处理，所述场景数据增强处理包括场景点云旋转、场景点云缩放、场景点云稀疏化以及在场景中黏贴点云，所述目标数据增强处理包括目标点云旋转、目标点云缩放、目标点云稀疏化以及目标框内点云平移。
4.如权利要求2所述的模型训练方法，其特征在于，所述第一子网络包括第一特征提取网络、第一感兴趣区域池化模块、第一映射模块和第二映射模块，所述第二子网络包括第二特征提取网、第二感兴趣区域池化模块和第三映射模块，所述第一特征提取网络的网络结构和网络参数初始值与所述第二特征提取网络的相同，所述第一感兴趣区域池化模块和所述第二感兴趣区域池化模块的模块结构相同，所述第一映射模块、第二映射模块和第三映射模块的模块结构均相同；
所述将所述第一预训练点云数据输入至所述自监督网络的第一子网络中，输出第一特征向量的步骤，包括：
将所述第一预训练点云数据输入至所述第一特征提取网络，输出第一点云特征；
将所述第一点云特征投影到鸟瞰图上，生成第一鸟瞰特征图；
利用所述第一感兴趣区域池化模块对所述第一鸟瞰特征图进行感兴趣区域池化操作，得到预设大小的第一点云特征向量；
利用所述第一映射模块和所述第二映射模块，对所述第一点云特征向量依次进行映射，得到第一特征向量；
将所述第二预训练点云数据输入至所述自监督网络的第二子网络中，输出第二特征向量的步骤，包括：
将所述第二预训练点云数据输入至所述第二特征提取网络，输出第二点云特征；
将所述第二点云特征投影到鸟瞰图上，生成第二鸟瞰特征图；
利用所述第二感兴趣区域池化模块对所述第二鸟瞰特征图进行感兴趣区域池化操作，得到预设大小的第二点云特征向量；
利用所述第三映射模块，对所述第二点云特征向量进行映射，得到第二特征向量。
5.如权利要求2所述的模型训练方法，其特征在于，所述根据所述第一特征向量和所述第二特征向量，计算对比学习损失的步骤，包括：
通过预设损失函数对所述第一特征向量和所述第二特征向量进行计算，得到对比学习损失；
其中，所述预设损失函数如下所示：
Figure FDA0003970153720000031
其中，qθ(zθ)表征第一特征向量，z′ξ表征第二特征向量，
Figure FDA0003970153720000032
表征对比学习损失。
6.如权利要求2所述的模型训练方法，其特征在于，所述根据所述对比学习损失，训练所述第一子网络和所述第二子网络，直至所述第一子网络和所述第二子网络收敛的步骤，包括：
根据所述对比学习损失，以梯度下降的方式更新所述第一子网络中的特征提取网络的网络参数，以指数移动平均值EMA的方式更新所述第二子网络中的特征提取网络的网络参数，直至所述第一子网络和所述第二子网络收敛。
7.如权利要求1所述的模型训练方法，其特征在于，所述目标模型包括3D目标检测模型或者3D语义分割模型。
8.一种模型训练装置，其特征在于，所述模型训练装置包括：
获取模块，用于获取雷达采集的第一点云数据；
训练模块，用于基于所述第一点云数据对初始模型进行训练，得到目标模型；
其中，所述初始模型中的特征提取网络是在自监督网络中训练所得到的，不同增强样本基于所述特征提取网络得到的特征是一致的，在向所述目标模型中输入待处理点云数据后，所述目标模型的输出结果用于确定所述待处理点云数据的目标任务结果。
9.如权利要求8所述的模型训练装置，其特征在于，所述模型训练装置还包括预训练模块，所述预训练模块包括：
获取单元，用于获取雷达采集的第二点云数据，对所述第二点云数据进行处理，得到不同视角下的第一预训练点云数据和第二预训练点云数据；
第一输出单元，用于将所述第一预训练点云数据输入至所述自监督网络的第一子网络中，输出第一特征向量；
第二输出单元，用于将所述第二预训练点云数据输入至所述自监督网络的第二子网络中，输出第二特征向量；
损失计算单元，用于根据所述第一特征向量和所述第二特征向量，计算对比学习损失；
训练单元，用于根据所述对比学习损失，训练所述第一子网络和所述第二子网络，直至所述第一子网络和所述第二子网络收敛；
提取单元，用于提取收敛后的第一子网络中的特征提取网络，作为所述初始模型中的特征提取网络；
和/或者所述获取单元，具体用于：
对所述第二点云数据分别进行两次数据增强处理，得到不同视角下的第一预训练点云数据和第二预训练点云数据；
其中，所述数据增强处理包括场景数据增强处理和目标数据增强处理，所述场景数据增强处理包括场景点云旋转、场景点云缩放、场景点云稀疏化以及在场景中黏贴点云，所述目标数据增强处理包括目标点云旋转、目标点云缩放、目标点云稀疏化以及目标框内点云平移；
和/或者所述第一子网络包括第一特征提取网络、第一感兴趣区域池化模块、第一映射模块和第二映射模块，所述第二子网络包括第二特征提取网、第二感兴趣区域池化模块和第三映射模块，所述第一特征提取网络的网络结构和网络参数初始值与所述第二特征提取网络的相同，所述第一感兴趣区域池化模块和所述第二感兴趣区域池化模块的模块结构相同，所述第一映射模块、第二映射模块和第三映射模块的模块结构均相同；
所述第一输出单元，具体用于：
将所述第一预训练点云数据输入至所述第一特征提取网络，输出第一点云特征；
将所述第一点云特征投影到鸟瞰图上，生成第一鸟瞰特征图；
利用所述第一感兴趣区域池化模块对所述第一鸟瞰特征图进行感兴趣区域池化操作，得到预设大小的第一点云特征向量；
利用所述第一映射模块和所述第二映射模块，对所述第一点云特征向量依次进行映射，得到第一特征向量；
所述第二输出单元，具体用于：
将所述第二预训练点云数据输入至所述第二特征提取网络，输出第二点云特征；
将所述第二点云特征投影到鸟瞰图上，生成第二鸟瞰特征图；
利用所述第二感兴趣区域池化模块对所述第二鸟瞰特征图进行感兴趣区域池化操作，得到预设大小的第二点云特征向量；
利用所述第三映射模块，对所述第二点云特征向量进行映射，得到第二特征向量；
和/或者所述损失计算单元，具体用于：
通过预设损失函数对所述第一特征向量和所述第二特征向量进行计算，得到对比学习损失；
其中，所述预设损失函数如下所示：
Figure FDA0003970153720000051
其中，qθ(zθ)表征第一特征向量，z′ξ表征第二特征向量，
Figure FDA0003970153720000052
表征对比学习损失；
和/或者所述训练单元，具体用于：
根据所述对比学习损失，以梯度下降的方式更新所述第一子网络中的特征提取网络的网络参数，以指数移动平均值EMA的方式更新所述第二子网络中的特征提取网络的网络参数，直至所述第一子网络和所述第二子网络收敛；
和/或者所述目标模型包括3D目标检测模型或者3D语义分割模型。
10.一种电子设备，其特征在于，所述设备包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的模型训练程序，所述模型训练程序配置为实现如权利要求1至7中任一项所述的模型训练方法的步骤。
11.一种存储介质，其特征在于，所述存储介质上存储有模型训练程序，所述模型训练程序被处理器执行时实现如权利要求1至7任一项所述的模型训练方法的步骤。
CN202211514428.9A 2022-11-29 2022-11-29 模型训练方法、装置、电子设备及存储介质 Pending CN115731451A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211514428.9A CN115731451A (zh) 2022-11-29 2022-11-29 模型训练方法、装置、电子设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211514428.9A CN115731451A (zh) 2022-11-29 2022-11-29 模型训练方法、装置、电子设备及存储介质

Publications (1)

Publication Number Publication Date
CN115731451A true CN115731451A (zh) 2023-03-03

Family

ID=85299126

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211514428.9A Pending CN115731451A (zh) 2022-11-29 2022-11-29 模型训练方法、装置、电子设备及存储介质

Country Status (1)

Country Link
CN (1) CN115731451A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117541810A (zh) * 2023-11-17 2024-02-09 粤港澳大湾区(广东)国创中心 三维特征提取方法、装置、电子设备以及可读存储介质

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117541810A (zh) * 2023-11-17 2024-02-09 粤港澳大湾区(广东)国创中心 三维特征提取方法、装置、电子设备以及可读存储介质

Similar Documents

Publication Publication Date Title
US11232318B2 (en) Methods and apparatuses for vehicle appearance feature recognition, methods and apparatuses for vehicle retrieval, storage medium, and electronic devices
CN111652217B (zh) 文本检测方法、装置、电子设备及计算机存储介质
CN111401516B (zh) 一种神经网络通道参数的搜索方法及相关设备
CN108229531B (zh) 对象特征提取方法、装置、存储介质和电子设备
CN107944450B (zh) 一种车牌识别方法及装置
CN110632608B (zh) 一种基于激光点云的目标检测方法和装置
CN111797821B (zh) 文本检测方法、装置、电子设备及计算机存储介质
CN111652218A (zh) 文本检测方法、电子设备及计算机可读介质
CN114419570B (zh) 一种点云数据识别方法、装置、电子设备及存储介质
CN113408570A (zh) 一种基于模型蒸馏的图像类别识别方法、装置、存储介质及终端
CN114861842B (zh) 少样本目标检测方法、装置和电子设备
CN115019273A (zh) 一种目标检测方法、装置、汽车及存储介质
CN110969641A (zh) 图像处理方法和装置
CN115731451A (zh) 模型训练方法、装置、电子设备及存储介质
CN116030206A (zh) 地图生成方法、训练方法、装置、电子设备以及存储介质
CN112184700B (zh) 基于单目相机的农业无人车障碍物感知方法及装置
CN113569600A (zh) 物体重识别的方法、装置、电子设备及存储介质
CN116258906A (zh) 一种对象识别方法、特征提取模型的训练方法及装置
CN115761425A (zh) 目标检测方法、装置、终端设备及计算机可读存储介质
CN112215840B (zh) 图像检测、行驶控制方法、装置、电子设备及存储介质
CN115527187A (zh) 一种障碍物的分类方法以及装置
CN115063759A (zh) 一种三维车道线检测方法、装置、交通工具及存储介质
CN114078204A (zh) 目标检测方法、装置、电子设备及存储介质
CN113139617A (zh) 一种输电线路自主定位方法、装置及终端设备
CN112597825A (zh) 驾驶场景分割方法、装置、电子设备和存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination