CN117745944A - 预训练模型确定方法、装置、设备以及存储介质 - Google Patents
预训练模型确定方法、装置、设备以及存储介质 Download PDFInfo
- Publication number
- CN117745944A CN117745944A CN202311768143.2A CN202311768143A CN117745944A CN 117745944 A CN117745944 A CN 117745944A CN 202311768143 A CN202311768143 A CN 202311768143A CN 117745944 A CN117745944 A CN 117745944A
- Authority
- CN
- China
- Prior art keywords
- point cloud
- cloud data
- features
- masked
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 78
- 238000012549 training Methods 0.000 title claims abstract description 73
- 230000000873 masking effect Effects 0.000 claims abstract description 23
- 238000012545 processing Methods 0.000 claims description 41
- 238000000605 extraction Methods 0.000 claims description 31
- 239000011159 matrix material Substances 0.000 claims description 18
- 238000004590 computer program Methods 0.000 claims description 16
- 230000006870 function Effects 0.000 claims description 12
- 238000004422 calculation algorithm Methods 0.000 claims description 10
- 238000004364 calculation method Methods 0.000 claims description 3
- 238000013473 artificial intelligence Methods 0.000 abstract description 4
- 230000004438 eyesight Effects 0.000 abstract description 4
- 238000013135 deep learning Methods 0.000 abstract description 3
- 238000004891 communication Methods 0.000 description 8
- 238000010586 diagram Methods 0.000 description 6
- 230000011218 segmentation Effects 0.000 description 6
- 230000004927 fusion Effects 0.000 description 4
- 230000008447 perception Effects 0.000 description 4
- 230000008569 process Effects 0.000 description 4
- 238000001514 detection method Methods 0.000 description 3
- 230000005012 migration Effects 0.000 description 3
- 238000013508 migration Methods 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 238000012512 characterization method Methods 0.000 description 2
- 238000013527 convolutional neural network Methods 0.000 description 2
- 230000003993 interaction Effects 0.000 description 2
- 230000007246 mechanism Effects 0.000 description 2
- 239000013598 vector Substances 0.000 description 2
- 230000009471 action Effects 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000013434 data augmentation Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000004821 distillation Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000003058 natural language processing Methods 0.000 description 1
- 238000003062 neural network model Methods 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 238000009877 rendering Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000001953 sensory effect Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
- 230000016776 visual perception Effects 0.000 description 1
Landscapes
- Image Analysis (AREA)
Abstract
本公开提供了预训练模型确定方法、装置、设备以及存储介质，涉及人工智能技术领域，具体涉及计算机视觉、深度学习、大模型等技术领域。具体实现方案为：获取多帧时序图像，以及多帧时序图像对应的多帧原始点云数据；对多帧原始点云数据进行随机掩码运算，得到掩码后点云数据；提取多帧时序图像的图像语义特征，得到特征图；将掩码后点云数据中的点云投影到特征图上，得到点云对应的图像坐标；根据图像坐标对应的图像语义特征和掩码后点云数据，确定掩码后点云数据的掩码区域的点云重建目标；根据点云重建目标和掩码后点云数据上的未掩码区域的未掩码特征，对掩码区域的图像语义特征和几何属性特征进行重建，以生成点云预训练模型。
Description
技术领域
本公开涉及人工智能技术领域，具体涉及计算机视觉、深度学习、大模型等技术领域，尤其涉及一种预训练模型确定方法、装置、设备以及存储介质。
背景技术
目前，点云是一种常用的三维数据表示形式，可以从各种传感器(如激光雷达、深度相机等)获取，广泛应用于计算机视觉、机器人、自动驾驶等领域。然而，点云数据具有高维、稀疏、无序、异构等特点，给点云的分析和处理带来了很大的挑战。
Transformer是一种基于自注意力机制的深度神经网络结构，在自然语言处理领域取得了巨大的成功，也被逐渐引入到点云领域，展现了强大的潜力。然而，由于点云领域缺乏大规模的标注数据集，以及Transformer缺乏对点云的归纳偏置，导致直接应用Transformer在点云上的效果并不理想。
发明内容
本公开提供了一种预训练模型确定方法、装置、设备以及存储介质。
根据本公开的第一方面，提供了一种预训练模型确定方法，所述方法包括：
获取多帧时序图像，以及多帧时序图像对应的多帧原始点云数据；
对多帧所述原始点云数据进行随机掩码运算，得到掩码后点云数据；
提取多帧所述时序图像的图像语义特征，得到特征图；
将所述掩码后点云数据中的点云投影到所述特征图上，得到所述点云对应的图像坐标；
根据所述图像坐标对应的图像语义特征和所述掩码后点云数据，确定所述掩码后点云数据的掩码区域的点云重建目标，其中，所述点云重建目标包括：语义级别点云重建目标、几何级别点云重建目标；
根据所述点云重建目标和所述掩码后点云数据上的未掩码区域的未掩码特征，对所述掩码区域的图像语义特征和几何属性特征进行重建，以生成点云预训练模型。
进一步地，所述对多帧所述原始点云数据进行随机掩码运算，得到掩码后点云数据，包括：
对原始点云数据进行体素特征编码处理，得到处理后点云数据；
对所述处理后点云数据进行随机掩码运算，得到掩码后点云数据。
进一步地，所述将所述掩码后点云数据中的点云投影到所述特征图上，得到所述点云对应的图像坐标，包括：
基于预先确定的内外参矩阵，确定所述掩码后点云数据中的点云和所述图像语义特征之间的对应关系；
根据所述对应关系，将所述掩码后点云数据中的点云投影到所述特征图上，得到对应的图像坐标。
进一步地，基于预先确定的内外参矩阵，确定所述掩码后点云数据中的点云和所述图像语义特征之间的对应关系，包括：
对所述掩码后点云数据中体素内的三维点云坐标进行平均值计算，得到三维点云坐标平均值；
基于所述内外参矩阵，确定所述三维点云坐标平均值和所述图像语义特征之间的对应关系。
进一步地，所述根据所述图像坐标对应的图像语义特征，确定所述掩码后点云数据的掩码区域的点云重建目标，包括：
确定所述图像坐标对应的图像语义特征的位置编码信息；
基于所述位置编码信息，确定所述掩码后点云数据的掩码区域的点云重建目标。
进一步地，所述方法还包括：
采用语义损失函数，将所述未掩码区域的未掩码特征与图像语义特征进行语义对齐。
进一步地，多帧所述时序图像是采用图像传感器采集到的，多帧所述原始点云数据是采用激光雷达采集到的，其中，所述图像传感器和所述激光雷达已预先经过标定和时间戳对齐。
进一步地，所述方法还包括：
采用点云特征提取算法，对所述掩码后点云数据中的未掩码区域进行特征提取，得到所述未掩码区域的未掩码特征。
进一步地，根据所述点云重建目标和所述掩码后点云数据上的未掩码区域的未掩码特征，对所述掩码区域的图像语义特征和几何属性特征进行重建，得到所述点云预训练模型，包括：
根据所述点云重建目标和所述掩码后点云数据上的未掩码区域的未掩码特征，对所述掩码区域的图像语义特征和几何属性特征进行重建，得到所述掩码区域的掩码特征；
根据所述图像语义特征、所述掩码特征和所述未掩码特征，生成所述点云预训练模型。
根据本公开的第二方面，提供了一种预训练模型确定装置，所述装置包括：
获取单元，用于获取多帧时序图像，以及多帧时序图像对应的多帧原始点云数据；
掩码处理单元，用于对多帧所述原始点云数据进行随机掩码运算，得到掩码后点云数据；
提取单元，用于提取多帧所述时序图像的图像语义特征，得到特征图；
投影处理单元，用于将所述掩码后点云数据中的点云投影到所述特征图上，得到所述点云对应的图像坐标；
确定单元，用于根据所述图像坐标对应的图像语义特征，确定所述掩码后点云数据的掩码区域的点云重建目标；
生成单元，用于根据所述点云重建目标和所述掩码后点云数据上的未掩码区域的未掩码特征，对所述掩码区域的图像语义特征和几何属性特征进行重建，以生成点云预训练模型。
进一步地，所述掩码处理单元，包括：
第一处理子单元，用于对所述原始点云数据进行体素特征编码处理，得到处理后点云数据；
第二处理子单元，用于对所述处理后点云数据进行随机掩码运算，得到掩码后点云数据。
进一步地，所述投影处理单元，包括：
第一确定子单元，用于基于预先确定的内外参矩阵，确定所述掩码后点云数据中的点云和所述图像语义特征之间的对应关系；
投影处理子单元，用于根据所述对应关系，将所述掩码后点云数据中的点云投影到所述特征图上，得到对应的图像坐标。
进一步地，所述第一确定子单元，包括：
计算模块，用于对所述掩码后点云数据中体素内的三维点云坐标进行平均值计算，得到三维点云坐标平均值；
确定模块，用于基于所述内外参矩阵，确定所述三维点云坐标平均值和所述图像语义特征之间的对应关系。
进一步地，所述确定单元，包括：
第二确定子单元，用于确定所述图像坐标对应的图像语义特征的位置编码信息；
第三确定子单元，用于基于所述位置编码信息，确定所述掩码后点云数据的掩码区域的点云重建目标。
进一步地，所述装置还包括：
对齐处理单元，用于采用语义损失函数，将所述未掩码区域的未掩码特征与图像语义特征进行语义对齐。
进一步地，多帧所述时序图像是采用图像传感器采集到的，多帧所述原始点云数据是采用激光雷达采集到的，其中，所述图像传感器和所述激光雷达已预先经过标定和时间戳对齐。
进一步地，所述装置还包括：
特征提取单元，用于采用点云特征提取算法，对所述掩码后点云数据中的未掩码区域进行特征提取，得到所述未掩码区域的未掩码特征。
进一步地，所述生成单元，包括：
重建子单元，用于根据所述点云重建目标和所述掩码后点云数据上的未掩码区域的未掩码特征，对所述掩码区域的图像语义特征和几何属性特征进行重建，得到所述掩码区域的掩码特征；
生成子单元，用于根据所述图像语义特征、所述掩码特征和所述未掩码特征，生成所述点云预训练模型。
根据本公开的第三方面，提供了一种电子设备，包括：
至少一个处理器；以及
与所述至少一个处理器通信连接的存储器；其中，
所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行任一项所述的方法。
根据本公开的第四方面，提供了一种存储有计算机指令的非瞬时计算机可读存储介质，其中，所述计算机指令用于使所述计算机执行根据中任一项所述的方法。
根据本公开的第五方面，提供了一种计算机程序产品，所述计算机程序产品包括：计算机程序，所述计算机程序存储在可读存储介质中，电子设备的至少一个处理器可以从所述可读存储介质读取所述计算机程序，所述至少一个处理器执行所述计算机程序使得电子设备执行第一方面所述的方法。
应当理解，本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征，也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。
附图说明
附图用于更好地理解本方案，不构成对本公开的限定。其中：
图1是根据本公开实施例所提供的一种预训练模型确定方法的流程图；
图2是可以实现本公开实施例的一种预训练模型确定方法的实现场景示意图；
图3是根据本公开实施例所提供的一种预训练模型确定方法的流程图；
图4是根据本公开实施例所提供的一种预训练模型确定方法的流程图；
图5是根据本公开实施例所提供的一种预训练模型确定方法的流程图；
图6是根据本公开实施例所提供的一种预训练模型确定装置的框架示意图；
图7是根据本公开实施例所提供的一种可选的预训练模型确定装置的框架示意图；
图8是用来实现本公开实施例的一种预训练模型确定方法的电子设备的框图。
具体实施方式
以下结合附图对本公开的示范性实施例做出说明，其中包括本公开实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本公开的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。
首先对本申请所涉及的名词进行解释：
CLIP(Contrastive Language-Image Pre-Training，以下简称CLIP)模型是OpenAI发布的用于匹配图像和文本的预训练神经网络模型，可以说是近年来在多模态研究领域的经典之作。
体素化(Voxelization)是将物体的几何形式表示转换成最接近该物体的体素表示形式，产生体数据，包含模型的表面信息和内部属性。
现有的基于掩码重建的点云自监督预训练方案主要是从几何属性的角度出发，然而，点云分布是稀疏的、不均匀的，不同体素内的点分布也可能是存在差异的，因此点云内部的几何关系也可能是不稳定的，在此基础上进行几何重建同样也可能是不鲁棒的。
目前对于点云-图像多模态信息的利用，主要是采用对比学习、联合重建或者渲染的方式。然而，在小规模数据集下，训练图像分支得到的图像特征的泛化性很难保证。同时，直接使用颜色信息也存在鲁棒性问题。
为解决上述问题，本公开提供了一种预训练模型确定方法、装置、设备以及存储介质，应用于人工智能技术领域，具体涉及计算机视觉、深度学习、大模型等技术领域，可应用于自动驾驶等场景，以达到通过多帧时序图像及其对应的多帧原始点云数据生成点云预训练模型，可以为下游的点云相关任务提供一个强大的特征提取器，提高模型的迁移学习能力的目的。
图1是根据本公开的实施例所提供的一种预训练模型确定方法的流程图，如图1所示，本公开提供的一种预训练模型确定方法，包括如下方法步骤：
S101，获取多帧时序图像，以及多帧时序图像对应的多帧原始点云数据；
S102，对多帧上述原始点云数据进行随机掩码运算，得到掩码后点云数据；
S103，提取多帧上述时序图像的图像语义特征，得到特征图；
S104，将上述掩码后点云数据中的点云投影到上述特征图上，得到上述点云对应的图像坐标；
S105，根据上述图像坐标对应的图像语义特征和上述掩码后点云数据，确定上述掩码后点云数据的掩码区域的点云重建目标，其中，上述点云重建目标包括：语义级别点云重建目标、几何级别点云重建目标；
S106，根据上述点云重建目标和上述掩码后点云数据上的未掩码区域的未掩码特征，对上述掩码区域的图像语义特征和几何属性特征进行重建，以生成点云预训练模型。
本公开示例提供的预训练模型确定方法，具体可以是一种基于掩码建模的点云自注意力模型预训练方法，通过对原始点云数据进行随机掩码运算，可以增强点云的数据增广能力，提高模型的泛化性能；再提取时序图像的图像语义特征，可以利用图像与点云之间的互补信息，提高模型的语义理解能力；通过将掩码后点云数据投影到特征图上，可以建立点云与图像之间的对应关系，提高模型的几何对齐能力；之后，根据图像语义特征确定点云重建目标，可以引导模型学习不同局部结构之间的关系，提高模型的结构感知能力；根据点云重建目标和未掩码特征对掩码区域进行重建，可以训练模型从可见的点云局部结构预测被掩盖的点云结构，提高模型的重建能力；最后生成的点云预训练模型可以为下游的点云相关任务提供一个强大的特征提取器，提高模型的迁移学习能力。
可选的，本公开实施例所提供的方法示例，均可以但不限于用于城市交通场景、自动驾驶场景中，对周围的车辆、行人、交通障碍物等目标进行快速、准确和稳定的检测，以保证安全和高效的行驶。这种方法可以利用车载的相机和激光雷达采集的多帧时序图像和点云数据，生成点云预训练模型。但不局限于此，也可以来自于卫星或无人机的遥感图像和点云数据。这些数据可以提供目标的外观和几何信息，以及目标(3D物体等)的运动轨迹和状态变化。
一种可选的示例中，如下将对本公开示例提供的基于检测框的标签生成方法的方法步骤进行更详细的解释，并给出一些应用场景的示例。
如图2所示，获取到的多帧时序图像，以及多帧时序图像对应的多帧原始点云数据，可以来自于车载的图像传感器(相机)和激光雷达，也可以来自于卫星或无人机的遥感图像和点云数据。
一种示例中，车辆采用图像传感器采集到多帧上述时序图像，采用激光雷达采集多帧上述原始点云数据，其中，上述图像传感器和上述激光雷达已预先经过标定和时间戳对齐。
可选的，上述多帧时序图像可以为连续帧的RGB图像，多帧时序图像对应的多帧原始点云数据可以为激光雷达对应点云数据，包括点云坐标、对应点反射强度信息和时间戳信息。RGB图像可以由单相机采集得到，也可以由多相机采集得到。
通过采用图像传感器采集到多帧时序图像，可以利用图像的高分辨率和丰富的颜色信息，提高模型的视觉感知能力；通过采用激光雷达采集多帧原始点云数据，可以利用点云的高精度和稀疏性，提高模型的空间感知能力；通过预先经过标定和时间戳对齐，可以实现图像传感器和激光雷达之间的准确对应和同步，提高模型的跨模态融合能力。
本公开示例中，针对自动驾驶场景采集到大量已经配对好的无标注的图像点云多模态数据提出了一种新的融合语义和空间特征的图像点云多模态自监督预训练方法。利用图像点云配对数据，结合CLIP模型在实现图像-文本语义对齐的特性，通过点云与图像CLIP特征对齐来实现点云语义对齐，以此来有效挖掘重点的多模态点对信息，有效的改善模型自监督预训练学习的质量。同时，为了保证点云数据原有的空间几何关系特性，进一步定义了几何属性重建目标，来与语义属性对齐和重建目标进行联合训练，进而提取更加有效的特征表示，为下游任务提供更好的初始化网络参数，提升下游任务的性能指标。
本公开示例，针对自动驾驶场景采集到大量已经配对好的无标注的图像点云多模态数据提出了一种新的融合语义和空间特征的图像点云多模态自监督预训练方案。该方案旨在利用图像和点云的对应关系，通过CLIP模型提取富含语义的图像特征，以此作为点云特征进行掩码区域语义重建和语义对齐的自监督预训练目标，同时结合几何属性的重建自监督信号，来确保点云特征保留空间几何关系描述的特性，最终达到更好的泛化性。使用该方法预训练得到的点云模型，在下游任务(如：点云3D物体检测、点云3D物体分割等)场景中，使用少量数据进行微调以后，能够得到更好的性能收益。因此，该方法将会被广泛的应用于智能交通和自动驾驶等多个应用场景中。
一种可选的示例中，图3是根据本公开的实施例所提供的一种可选的预训练模型确定方法的流程图，如图3所示，上述对多帧上述原始点云数据进行随机掩码运算，得到掩码后点云数据，包括：
S301，对原始点云数据进行体素特征编码处理，得到处理后点云数据；
S302，对上述处理后点云数据进行随机掩码运算，得到掩码后点云数据。
可选的，本公开示例中，可以采用城市交通场景下(智能交通和自动驾驶)获取到的已经标定且进行过时钟同步的图像数据和点云数据作为输入，对于输入的离散点云数据，本公开示例中，仍如图2所示，首先对其进行体素化，将其转换成体素voxel的形式或者pillar的形式定义为处理后点云数据∈RN×C×D×H×W，其中，非零元素的个数为N。
考虑到网络结构会进行降采样，本公开针对每一个降采样之后的体素voxel，计算相应的几何属性：中心点、是否非零以及表面法线、法向量等，这些属性将作为几何属性重建的目标。
之后，本公开对处理后点云数据P进行随机掩码运算，掩码比例为70％，进而得到处理后点云数据Pm∈RN×C×D×H×W，其中，非零元素的个数为Nv，掩码过滤掉的元素个数为Nm＝N-Nv。
作为一种可选示例，图4是根据本公开的实施例所提供的一种可选的预训练模型确定方法的流程图，如图4所示，上述将上述掩码后点云数据中的点云投影到上述特征图上，得到上述点云对应的图像坐标，包括：
S401，基于预先确定的内外参矩阵，确定上述掩码后点云数据中的点云和上述图像语义特征之间的对应关系；
S402，根据上述对应关系，将上述掩码后点云数据中的点云投影到上述特征图上，得到对应的图像坐标。
本公开使用预训练好的CLIP模型中的图像分支进行特征提取，得到的特征图Himg×Wimg×Cimg，然后，经过内外参矩阵，将点云上的点投影到图像上，得到对应的图像坐标，之后通过差值的方式得到对应的图像特征，以此作为语义层面的点云重建目标。然后，对于掩码处理后数据Pm，本公开使用常见的3D特征提取的网络作为特征提取器，用来提取3D特征。
本公开示例，通过基于预先确定的内外参矩阵，确定上述掩码后点云数据中的点云和上述图像语义特征之间的对应关系，可以将掩码后点云数据中的点云投影到特征图上，得到对应的图像坐标，可以使点云与图像共享同一坐标空间，从而方便后续的特征融合和重建，提高模型的特征表示能力。
一种可选的示例中，图5是根据本公开的实施例所提供的一种预训练模型确定方法的流程图，如图5所示，基于预先确定的内外参矩阵，确定上述掩码后点云数据中的点云和上述图像语义特征之间的对应关系，包括：
S501，对上述掩码后点云数据中体素内的三维点云坐标进行平均值计算，得到三维点云坐标平均值。
S502，基于上述内外参矩阵，确定上述三维点云坐标平均值和上述图像语义特征之间的对应关系。
一种示例中，对于点云原始数据，首先进行体素化或者提取pillar编码特征，得到编码之后的点云特征描述为HxWxDxC，如果为pillar特征，则D＝1，相应的点云特征描述为HxWxC。也就是，可以得到N＝HxWxD个体素或者Pillar，特征为C维。对于N个特征，按照一定比例随机进行掩码操作，得到N1个掩码特征和N2个未掩码特征。
对于掩码之后的特征，本公开重新排列成HxWxDxC或者HxWxC的结构，直接通过一个3D卷积神经网络或者2D卷积神经网络来对voxel或者pillar进行特征提取，得到重新编码之后的3D点云特征。注意，这里本公开同样可以只针对N2个未掩码特征进行后续操作。
一种可选的示例，点云特征提取网络主要负责根据输入的点云信息来提取点云特征，对于点云特征提取器，同样可以有多种不同的选择。
一种可选的实施例，图6是根据本公开的实施例所提供的一种预训练模型确定方法的流程图，如图6所示，上述根据上述图像坐标对应的图像语义特征和上述掩码后点云数据，确定上述掩码后点云数据的掩码区域的点云重建目标，包括：
S601，确定上述图像坐标对应的图像语义特征的位置编码信息；
S602，基于上述位置编码信息，确定上述掩码后点云数据的掩码区域的语义级别点云重建目标；
S603，确定点云预训练模型的网络结构对应的下采样倍率；
S604，根据下采样倍率定义的最小掩码单元内的点云，确定掩码后点云数据的几何级别点云重建目标。
通过确定图像坐标对应的图像语义特征的位置编码信息，可以利用图像的空间结构和语义信息来辅助点云的重建，提高模型的跨模态融合能力；通过基于位置编码信息，可以确定掩码后点云数据的掩码区域的语义级别点云重建目标；此外，另外，考虑到点云特征提取网络在进行特征提取时，会进行降采样处理。因此，本公开在计算掩码后点云数据时，考虑块级别的掩码策略，例如：如果点云预训练模型的网络结构对应的下采样倍率(K1，K2，K3)，则将K1xK2xK3的范围作为最小掩码单元。
根据最小掩码单元(例如：4x4x4大小的体素块等)内的点云，确定上述掩码后点云数据的几何级别点云重建目标。根据语义级别点云重建目标和几何级别点云重建目标，可以训练模型从可见的点云局部结构预测被掩盖的点云结构。
对于点云配对的图像数据，本公开使用已经训练的好CLIP模型的图像分支作为编码器来提取图像特征，输入图像的尺寸为224x224，输出特征的维度为14x14x512。图像特征将作为点云特征对齐的目标，也就是掩码重建的目标。对于语义特征重建目标，则首先需要对体素(voxel/pillar)内的3D点坐标计算平均值得到平均坐标，在利用内外参将齐投影到图像上，在通过对CLIP图像特征进行差值后得到最终点云对应的重建目标。其中，CLIP图像特征由图像-文本对预训练，能够有效对齐语义特征，而点云特征通过对齐图像特征，同样实现语义对齐的目标。
本公开示例中，将提取到的未掩码特征以及位置编码信息，作为一个基于Transformer结构的解码器的输入，来对掩码区域的图像语义特征和几何属性特征进行重建，并将未掩码区域的3D特征与图像语义特征进行语义空间的对齐，以此来实现预训练的过程，得到的预训练参数则会作为下游任务，包括：3D检测、分割等的骨干网络的初始化参数。
本公开示例中，通过对原始点云数据进行随机掩码运算，可以模拟点云的遮挡和噪声，增强模型的鲁棒性和泛化能力；对处理后点云数据进行随机掩码运算，可以使模型从不同尺度的体素特征中学习，提高模型的多尺度感知能力；对掩码后点云数据进行重建，可以训练模型从可见的点云局部结构预测被掩盖的点云结构，提高模型的重建能力和自注意力能力。
本公开使用2D/3D特征提取网络(点云特征提取器)实现特征提取，特征提取的同时会同步进行降采样操作，因此，本公开在进行几何属性提取时，根据降采样比例将voxel或者pillar对应的范围扩大，例如：如果降采样4倍，则需要将之前4x4x4范围内的voxel重新组合成新的voxel，利用其中的点云来计算几何属性，作为几何属性重建目标。例如：对于中心点几何属性，本公开将voxel内的全部点进行平均得到平均中心点。
作为一种可选的实施例，根据上述点云重建目标和上述掩码后点云数据上的未掩码区域的未掩码特征，对上述掩码区域的图像语义特征和几何属性特征进行重建，得到上述点云预训练模型，包括：
S701，根据上述点云重建目标和上述掩码后点云数据上的未掩码区域的未掩码特征，对上述掩码区域的图像语义特征和几何属性特征进行重建，得到上述掩码区域的掩码特征；
S702，根据上述图像语义特征、上述掩码特征和上述未掩码特征，生成上述点云预训练模型。
可选的，点云自注意力模型预训练方法是一种利用无标签数据进行自监督学习的方法，可以提高点云处理模型的泛化能力和迁移能力。这种方法的应用场景主要包括：
3D物体识别场景：基于点云数据对3D物体进行分类或检测的任务，点云自注意力模型预训练方法可以提高模型对3D物体的语义理解和几何对齐能力，从而提高分类或检测的准确率。
3D物体分割场景：基于点云数据对3D物体进行语义分割或实例分割的任务，点云自注意力模型预训练方法可以提高模型对3D物体的结构感知和重建能力，从而提高分割的精度和鲁棒性。
3D物体重建场景：基于点云数据对3D物体进行完整或部分重建的任务，点云自注意力模型预训练方法可以提高模型对3D物体的多尺度感知和生成能力，从而提高重建的质量和自然度。
通过根据点云重建目标和掩码后点云数据上的未掩码区域的未掩码特征，对掩码区域的图像语义特征和几何属性特征进行重建，可以利用图像丰富的语义信息，以及点云的局部几何关系，来恢复被掩盖的点云结构，提高模型的表征能力；通过得到掩码区域的掩码特征，可以与图像语义特征和未掩码特征进行融合和对齐，从而实现跨模态的特征表示，提高模型的语义理解能力和几何一致性能力；通过根据图像语义特征、掩码特征和未掩码特征，并结合大量无标注数据，生成点云预训练模型，可以进一步提升模型的泛化能力。
本公开示例，采用掩码特征重建解码器计算交叉注意力机制来进行解码重建，其中，输入的查询query为掩码特征(掩码Token)，可以由初始化得到，也可以3D特征提取网络得到。Key和Value则由未掩码特征Zv来定义。即：通过未掩码特征Zv来重建掩码特征Zm，得到的特征再通过线性层1调整向量长度，与CLIP重建特征的维度对齐得到Ym和Yv。对于几何属性和语义属性，可以通过定义两个独立的解码器1和编码器2来完成，并将重建后的掩码特征分别定义为Zm和Z‘ m。
采用本公开示例，通过对掩码后点云数据中体素内的三维点云坐标进行平均值计算，可以降低点云的密度，减少计算量和内存消耗，同时保留点云的主要结构信息；通过基于预先确定的内外参矩阵，可以利用已知的相机和激光雷达之间的几何变换，实现点云和图像之间的精确对齐，提高模型的几何一致性能力；通过确定三维点云坐标平均值和图像语义特征之间的对应关系，可以使点云和图像共享同一特征空间，从而方便后续的特征融合和重建，提高模型的特征表示能力。
作为一种可选的示例，上述方法还包括：
采用语义损失函数，将上述未掩码区域的未掩码特征与图像语义特征进行语义对齐。
一种示例中，对于重建后的语义掩码特征Ym与语义未掩码的特征Yv进行组合，均与图像语义特征(Tm,Tv)进行对齐，也就是在特征空间上，进行语义对齐。两个对齐损失，分别定义为重建损失和特征蒸馏损失，具体描述如下：
‖Ym-Tm‖2+‖Yv-Tv‖2
一种示例，几何属性损失函数，是由重建后的掩码几何特征和未掩码几何特征，在经过一个MLP层处理之后得到维度为3的预测几何中心点，并由线性层2预测几何中心点与真实中心点计算损失函数L2-loss。具体描述为：
‖Cpred-Ctarget‖2
其中，Cpred表示预测体素中心点属性，Ctarget表示为真实标签。
本公开示例，通过采用语义损失函数，可以使模型在训练过程中更加关注点云和图像之间的语义信息，而不仅仅是外观信息，提高模型的语义理解能力，提高模型的跨域语义一致性，进而提高模型的泛化能力。
一种可选的示例，上述方法还包括：
采用点云特征提取算法，对上述掩码后点云数据中的未掩码区域进行特征提取，得到上述未掩码区域的未掩码特征。
可选的，点云特征提取算法是指一类用于从点云数据中提取有用信息的算法，通常包括对点云的预处理、特征描述、特征匹配等步骤。
通过采用点云特征提取算法，可以对掩码后点云数据中的未掩码区域进行特征提取，得到未掩码特征，从而增强模型对点云的表征能力和区分能力；通过对未掩码区域进行特征提取，可以保留点云的原始信息，同时减少噪声和冗余的影响，提高模型的鲁棒性和效率；通过得到未掩码特征，可以与图像语义特征进行融合和对齐，从而实现跨模态的特征表示，提高模型的语义理解能力和重建能力。
本公开实施例，提出了一种新的基于语义对齐和几何属性联合训练的点云、图像多模态的自监督预训练方法；通过已经实现图像-文本语义对齐的CLIP预训练模型，对图像分支进行特征提取，提取语义对齐的图像特征，并以此作为从语义角度出发的点云特征重建目标，来驱动点云特征提取特征实现语义一致性的目标。点云和图像的特征对应关系则通过对内外参构建，其中对于pillar/voxel内的多个点，采用平均的方式，计算中心点，并将其投影到图像上，并利用差值的方式得到目标图像特征。通过对每一个降采样之后voxel进行几何属性提取，包括：中心点、表面属性、是否被占据等，并结合语义属性重建和语义对齐作为预训练的学习目标。
本公开的技术方案中，所涉及的用户个人信息的收集、存储、使用、加工、传输、提供和公开等处理，均符合相关法律法规的规定，且不违背公序良俗。
根据本公开的实施例，图7是根据本公开实施例所提供的一种预训练模型确定装置的框架示意图，如图7所示，本公开还提供了一种预训练模型确定装置，该预训练模型确定装置700，包括：
获取单元701，用于获取多帧时序图像，以及多帧时序图像对应的多帧原始点云数据；
掩码处理单元702，用于对多帧上述原始点云数据进行随机掩码运算，得到掩码后点云数据；
提取单元703，用于提取多帧上述时序图像的图像语义特征，得到特征图；
投影处理单元704，用于将上述掩码后点云数据中的点云投影到上述特征图上，得到上述点云对应的图像坐标；
确定单元705，用于根据上述图像坐标对应的图像语义特征和上述掩码后点云数据，确定上述掩码后点云数据的掩码区域的点云重建目标，其中，上述点云重建目标包括：语义级别点云重建目标、几何级别点云重建目标；
生成单元706，用于根据上述点云重建目标和上述掩码后点云数据上的未掩码区域的未掩码特征，对上述掩码区域的图像语义特征和几何属性特征进行重建，以生成点云预训练模型。
根据本公开的一个或多个示例，上述掩码处理单元，包括：
第一处理子单元，用于对上述原始点云数据进行体素特征编码处理，得到处理后点云数据；
第二处理子单元，用于对上述处理后点云数据进行随机掩码运算，得到掩码后点云数据。
根据本公开的一个或多个示例，上述投影处理单元，包括：
第一确定子单元，用于基于预先确定的内外参矩阵，确定上述掩码后点云数据中的点云和上述图像语义特征之间的对应关系；
投影处理子单元，用于根据上述对应关系，将上述掩码后点云数据中的点云投影到上述特征图上，得到对应的图像坐标。
根据本公开的一个或多个示例，上述第一确定子单元，包括：
计算模块，用于对上述掩码后点云数据中体素内的三维点云坐标进行平均值计算，得到三维点云坐标平均值；
确定模块，用于基于上述内外参矩阵，确定上述三维点云坐标平均值和上述图像语义特征之间的对应关系。
根据本公开的一个或多个示例，上述确定单元，包括：
第二确定子单元，用于确定上述图像坐标对应的图像语义特征的位置编码信息；
第三确定子单元，用于基于上述位置编码信息，确定上述掩码后点云数据的掩码区域的语义级别点云重建目标；
第四确定子单元，用于确定点云预训练模型的网络结构对应的下采样倍率；
第五确定子单元，用于根据上述下采样倍率定义的最小掩码单元内的点云，确定上述掩码后点云数据的几何级别点云重建目标。
根据本公开的一个或多个示例，上述装置还包括：
对齐处理单元，用于采用语义损失函数，将上述未掩码区域的未掩码特征与图像语义特征进行语义对齐。
根据本公开的一个或多个示例，多帧上述时序图像是采用图像传感器采集到的，多帧上述原始点云数据是采用激光雷达采集到的，其中，上述图像传感器和上述激光雷达已预先经过标定和时间戳对齐。
根据本公开的一个或多个示例，上述装置还包括：
特征提取单元，用于采用点云特征提取算法，对上述掩码后点云数据中的未掩码区域进行特征提取，得到上述未掩码区域的未掩码特征。
根据本公开的一个或多个示例，上述生成单元，包括：
重建子单元，用于根据上述点云重建目标和上述掩码后点云数据上的未掩码区域的未掩码特征，对上述掩码区域的图像语义特征和几何属性特征进行重建，得到上述掩码区域的掩码特征；
生成子单元，用于根据上述图像语义特征、上述掩码特征和上述未掩码特征，生成上述点云预训练模型。
根据本公开的实施例，本公开还提供了一种电子设备、一种可读存储介质和一种计算机程序产品。
根据本公开的实施例，本公开提供了一种存储有计算机指令的非瞬时计算机可读存储介质，其中，上述计算机指令用于使上述计算机执行根据中任一项上述的方法。
根据本公开的实施例，本公开提供了一种计算机程序产品，计算机程序产品包括：计算机程序，计算机程序存储在可读存储介质中，电子设备的至少一个处理器可以从可读存储介质读取计算机程序，至少一个处理器执行计算机程序使得电子设备执行上述任一实施例提供的方案。
根据本公开的实施例，本公开还提供了一种电子设备，图8示出了可以用来实施本公开的实施例的示例电子设备800的示意性框图。电子设备旨在表示各种形式的数字计算机，诸如，膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置，诸如，个人数字处理、蜂窝电话、智能电话、可穿戴设备和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例，并且不意在限制本文中描述的和/或者要求的本公开的实现。
如图8所示，设备800包括计算单元801，其可以根据存储在只读存储器(ROM)802中的计算机程序或者从存储单元808加载到随机访问存储器(RAM)803中的计算机程序，来执行各种适当的动作和处理。在RAM 803中，还可存储设备800操作所需的各种程序和数据。计算单元801、ROM 802以及RAM 803通过总线804彼此相连。输入/输出(I/O)接口805也连接至总线804。
设备800中的多个部件连接至I/O接口805，包括：输入单元806，例如键盘、鼠标等；输出单元807，例如各种类型的显示器、扬声器等；存储单元808，例如磁盘、光盘等；以及通信单元809，例如网卡、调制解调器、无线通信收发机等。通信单元809允许设备800通过诸如因特网的计算机网络和/或各种电信网络与其他设备交换信息/数据。
计算单元801可以是各种具有处理和计算能力的通用和/或专用处理组件。计算单元801的一些示例包括但不限于中央处理单元(CPU)、图形处理单元(GPU)、各种专用的人工智能(AI)计算芯片、各种运行机器学习模型算法的计算单元、数字信号处理器(DSP)、以及任何适当的处理器、控制器、微控制器等。计算单元801执行上文所描述的各个方法和处理，例如预训练模型确定方法。例如，在一些实施例中，预训练模型确定方法可被实现为计算机软件程序，其被有形地包含于机器可读介质，例如存储单元808。在一些实施例中，计算机程序的部分或者全部可以经由ROM 802和/或通信单元809而被载入和/或安装到设备800上。当计算机程序加载到RAM 803并由计算单元801执行时，可以执行上文描述的预训练模型确定方法的一个或多个步骤。备选地，在其他实施例中，计算单元801可以通过其他任何适当的方式(例如，借助于固件)而被配置为执行预训练模型确定方法。
本文中以上描述的系统和技术的各种实施方式可以在数字电子电路系统、集成电路系统、场可编程门阵列(FPGA)、专用集成电路(ASIC)、专用标准产品(ASSP)、芯片上系统的系统(SOC)、复杂可编程逻辑设备(CPLD)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括：实施在一个或者多个计算机程序中，该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程系统上执行和/或解释，该可编程处理器可以是专用或者通用可编程处理器，可以从存储系统、至少一个输入装置、和至少一个输出装置接收数据和指令，并且将数据和指令传输至该存储系统、该至少一个输入装置、和该至少一个输出装置。
用于实施本公开的方法的程序代码可以采用一个或多个编程语言的任何组合来编写。这些程序代码可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器或控制器，使得程序代码当由处理器或控制器执行时使流程图和/或框图中所规定的功能/操作被实施。程序代码可以完全在机器上执行、部分地在机器上执行，作为独立软件包部分地在机器上执行且部分地在远程机器上执行或完全在远程机器或服务器上执行。
在本公开的上下文中，机器可读介质可以是有形的介质，其可以包含或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的程序。机器可读介质可以是机器可读信号介质或机器可读储存介质。机器可读介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备，或者上述内容的任何合适组合。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM或快闪存储器)、光纤、便捷式紧凑盘只读存储器(CD-ROM)、光学储存设备、磁储存设备、或上述内容的任何合适组合。
为了提供与用户的交互，可以在计算机上实施此处描述的系统和技术，该计算机具有：用于向用户显示信息的显示装置(例如，CRT(阴极射线管)或者LCD(液晶显示器)监视器)；以及键盘和指向装置(例如，鼠标或者轨迹球)，用户可以通过该键盘和该指向装置来将输入提供给计算机。其它种类的装置还可以用于提供与用户的交互；例如，提供给用户的反馈可以是任何形式的传感反馈(例如，视觉反馈、听觉反馈、或者触觉反馈)；并且可以用任何形式(包括声输入、语音输入或者、触觉输入)来接收来自用户的输入。
可以将此处描述的系统和技术实施在包括后台部件的计算系统(例如，作为数据服务器)、或者包括中间件部件的计算系统(例如，应用服务器)、或者包括前端部件的计算系统(例如，具有图形用户界面或者网络浏览器的用户计算机，用户可以通过该图形用户界面或者该网络浏览器来与此处描述的系统和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算系统中。可以通过任何形式或者介质的数字数据通信(例如，通信网络)来将系统的部件相互连接。通信网络的示例包括：局域网(LAN)、广域网(WAN)和互联网。
计算机系统可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。服务器可以是云服务器，又称为云计算服务器或云主机，是云计算服务体系中的一项主机产品，以解决了传统物理主机与VPS服务("Virtual Private Server"，或简称"VPS")中，存在的管理难度大，业务扩展性弱的缺陷。服务器也可以为分布式系统的服务器，或者是结合了区块链的服务器。
应该理解，可以使用上面所示的各种形式的流程，重新排序、增加或删除步骤。例如，本发公开中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行，只要能够实现本公开公开的技术方案所期望的结果，本文在此不进行限制。
上述具体实施方式，并不构成对本公开保护范围的限制。本领域技术人员应该明白的是，根据设计要求和其他因素，可以进行各种修改、组合、子组合和替代。任何在本公开的精神和原则之内所作的修改、等同替换和改进等，均应包含在本公开保护范围之内。
Claims (21)
1.一种预训练模型确定方法，所述方法包括：
获取多帧时序图像，以及多帧时序图像对应的多帧原始点云数据；
对多帧所述原始点云数据进行随机掩码运算，得到掩码后点云数据；
提取多帧所述时序图像的图像语义特征，得到特征图；
将所述掩码后点云数据中的点云投影到所述特征图上，得到所述点云对应的图像坐标；
根据所述图像坐标对应的图像语义特征和所述掩码后点云数据，确定所述掩码后点云数据的掩码区域的点云重建目标，其中，所述点云重建目标包括：语义级别点云重建目标、几何级别点云重建目标；
根据所述点云重建目标和所述掩码后点云数据上的未掩码区域的未掩码特征，对所述掩码区域的图像语义特征和几何属性特征进行重建，以生成点云预训练模型。
2.根据权利要求1所述的方法，其中，所述对多帧所述原始点云数据进行随机掩码运算，得到掩码后点云数据，包括：
对所述原始点云数据进行体素特征编码处理，得到处理后点云数据；
对所述处理后点云数据进行随机掩码运算，得到掩码后点云数据。
3.根据权利要求1所述的方法，其中，所述将所述掩码后点云数据中的点云投影到所述特征图上，得到所述点云对应的图像坐标，包括：
基于预先确定的内外参矩阵，确定所述掩码后点云数据中的点云和所述图像语义特征之间的对应关系；
根据所述对应关系，将所述掩码后点云数据中的点云投影到所述特征图上，得到对应的图像坐标。
4.根据权利要求3所述的方法，其中，基于预先确定的内外参矩阵，确定所述掩码后点云数据中的点云和所述图像语义特征之间的对应关系，包括：
对所述掩码后点云数据中体素内的三维点云坐标进行平均值计算，得到三维点云坐标平均值；
基于所述内外参矩阵，确定所述三维点云坐标平均值和所述图像语义特征之间的对应关系。
5.根据权利要求1所述的方法，其中，所述根据所述图像坐标对应的图像语义特征和所述掩码后点云数据，确定所述掩码后点云数据的掩码区域的点云重建目标，包括：
确定所述图像坐标对应的图像语义特征的位置编码信息；
基于所述位置编码信息，确定所述掩码后点云数据的掩码区域的语义级别点云重建目标；
确定所述点云预训练模型的网络结构对应的下采样倍率；
根据所述下采样倍率定义的最小掩码单元内的点云，确定所述掩码后点云数据的几何级别点云重建目标。
6.根据权利要求1至5中任意一项所述的方法，其中，所述方法还包括：
采用语义损失函数，将所述未掩码区域的未掩码特征与图像语义特征进行语义对齐。
7.根据权利要求1至5中任意一项所述的方法，其中，
多帧所述时序图像是采用图像传感器采集到的，多帧所述原始点云数据是采用激光雷达采集到的，其中，所述图像传感器和所述激光雷达已预先经过标定和时间戳对齐。
8.根据权利要求1至5中任意一项所述的方法，其中，所述方法还包括：
采用点云特征提取算法，对所述掩码后点云数据中的未掩码区域进行特征提取，得到所述未掩码区域的未掩码特征。
9.根据权利要求1至5中任意一项所述的方法，其中，根据所述点云重建目标和所述掩码后点云数据上的未掩码区域的未掩码特征，对所述掩码区域的图像语义特征和几何属性特征进行重建，得到所述点云预训练模型，包括：
根据所述点云重建目标和所述掩码后点云数据上的未掩码区域的未掩码特征，对所述掩码区域的图像语义特征和几何属性特征进行重建，得到所述掩码区域的掩码特征；
根据所述图像语义特征、所述掩码特征和所述未掩码特征，生成所述点云预训练模型。
10.一种预训练模型确定装置，所述装置包括：
获取单元，用于获取多帧时序图像，以及多帧时序图像对应的多帧原始点云数据；
掩码处理单元，用于对多帧所述原始点云数据进行随机掩码运算，得到掩码后点云数据；
提取单元，用于提取多帧所述时序图像的图像语义特征，得到特征图；
投影处理单元，用于将所述掩码后点云数据中的点云投影到所述特征图上，得到所述点云对应的图像坐标；
确定单元，用于根据所述图像坐标对应的图像语义特征，确定所述掩码后点云数据的掩码区域的点云重建目标；
生成单元，用于根据所述点云重建目标和所述掩码后点云数据上的未掩码区域的未掩码特征，对所述掩码区域的图像语义特征和几何属性特征进行重建，以生成点云预训练模型。
11.根据权利要求10所述的装置，其中，所述掩码处理单元，包括：
第一处理子单元，用于对所述原始点云数据进行体素特征编码处理，得到处理后点云数据；
第二处理子单元，用于对所述处理后点云数据进行随机掩码运算，得到掩码后点云数据。
12.根据权利要求10所述的装置，其中，所述投影处理单元，包括：
第一确定子单元，用于基于预先确定的内外参矩阵，确定所述掩码后点云数据中的点云和所述图像语义特征之间的对应关系；
投影处理子单元，用于根据所述对应关系，将所述掩码后点云数据中的点云投影到所述特征图上，得到对应的图像坐标。
13.根据权利要求12所述的装置，其中，所述第一确定子单元，包括：
计算模块，用于对所述掩码后点云数据中体素内的三维点云坐标进行平均值计算，得到三维点云坐标平均值；
确定模块，用于基于所述内外参矩阵，确定所述三维点云坐标平均值和所述图像语义特征之间的对应关系。
14.根据权利要求10所述的装置，其中，所述确定单元，包括：
第二确定子单元，用于确定所述图像坐标对应的图像语义特征的位置编码信息；
第三确定子单元，用于基于所述位置编码信息，确定所述掩码后点云数据的掩码区域的点云重建目标。
15.根据权利要求10至14中任意一项所述的装置，其中，所述装置还包括：
对齐处理单元，用于采用语义损失函数，将所述未掩码区域的未掩码特征与图像语义特征进行语义对齐。
16.根据权利要求10至14中任意一项所述的装置，其中，多帧所述时序图像是采用图像传感器采集到的，多帧所述原始点云数据是采用激光雷达采集到的，其中，所述图像传感器和所述激光雷达已预先经过标定和时间戳对齐。
17.根据权利要求10至14中任意一项所述的装置，其中，所述装置还包括：
特征提取单元，用于采用点云特征提取算法，对所述掩码后点云数据中的未掩码区域进行特征提取，得到所述未掩码区域的未掩码特征。
18.根据权利要求10至14中任意一项所述的装置，其中，所述生成单元，包括：
重建子单元，用于根据所述点云重建目标和所述掩码后点云数据上的未掩码区域的未掩码特征，对所述掩码区域的图像语义特征和几何属性特征进行重建，得到所述掩码区域的掩码特征；
生成子单元，用于根据所述图像语义特征、所述掩码特征和所述未掩码特征，生成所述点云预训练模型。
19.一种电子设备，包括：
至少一个处理器；以及
与所述至少一个处理器通信连接的存储器；其中，
所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行权利要求1-9中任一项所述的方法。
20.一种存储有计算机指令的非瞬时计算机可读存储介质，其中，所述计算机指令用于使所述计算机执行根据权利要求1-9中任一项所述的方法。
21.一种计算机程序产品，包括计算机程序，该计算机程序被处理器执行时实现权利要求1-9中任一项所述方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311768143.2A CN117745944A (zh) | 2023-12-20 | 2023-12-20 | 预训练模型确定方法、装置、设备以及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311768143.2A CN117745944A (zh) | 2023-12-20 | 2023-12-20 | 预训练模型确定方法、装置、设备以及存储介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN117745944A true CN117745944A (zh) | 2024-03-22 |
Family
ID=90257303
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202311768143.2A Pending CN117745944A (zh) | 2023-12-20 | 2023-12-20 | 预训练模型确定方法、装置、设备以及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117745944A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117953224A (zh) * | 2024-03-27 | 2024-04-30 | 暗物智能科技(广州)有限公司 | 一种开放词汇3d全景分割方法及系统 |
-
2023
- 2023-12-20 CN CN202311768143.2A patent/CN117745944A/zh active Pending
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117953224A (zh) * | 2024-03-27 | 2024-04-30 | 暗物智能科技(广州)有限公司 | 一种开放词汇3d全景分割方法及系统 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Shivakumar et al. | Dfusenet: Deep fusion of rgb and sparse depth information for image guided dense depth completion | |
| Ming et al. | Deep learning for monocular depth estimation: A review | |
| EP3510561B1 (en) | Predicting depth from image data using a statistical model | |
| JP7166388B2 (ja) | ナンバープレート認識方法、ナンバープレート認識モデルの訓練方法及び装置 | |
| de Queiroz Mendes et al. | On deep learning techniques to boost monocular depth estimation for autonomous navigation | |
| CN111739005B (zh) | 图像检测方法、装置、电子设备及存储介质 | |
| CN115861601B (zh) | 一种多传感器融合感知方法及装置 | |
| Maslov et al. | Online supervised attention-based recurrent depth estimation from monocular video | |
| CN117745944A (zh) | 预训练模型确定方法、装置、设备以及存储介质 | |
| CN116612468A (zh) | 基于多模态融合与深度注意力机制的三维目标检测方法 | |
| Hwang et al. | Lidar depth completion using color-embedded information via knowledge distillation | |
| Lu et al. | Pyramid frequency network with spatial attention residual refinement module for monocular depth estimation | |
| Chen et al. | Multitarget vehicle tracking and motion state estimation using a novel driving environment perception system of intelligent vehicles | |
| Yang et al. | Mixed-scale UNet based on dense atrous pyramid for monocular depth estimation | |
| CN113409340A (zh) | 语义分割模型训练方法、语义分割方法、装置及电子设备 | |
| Dao et al. | FastMDE: A fast CNN architecture for monocular depth estimation at high resolution | |
| Liu et al. | Depth estimation of traffic scenes from image sequence using deep learning | |
| Tang et al. | Encoder-decoder structure with the feature pyramid for depth estimation from a single image | |
| Tan et al. | 3D detection transformer: Set prediction of objects using point clouds | |
| Chen et al. | Monocular image depth prediction without depth sensors: An unsupervised learning method | |
| JP2023095806A (ja) | 三次元データ強化、モデルトレーニング検出方法、機器および自動運転車両 | |
| Lee et al. | LiDAR translation based on empirical approach between sunny and foggy for driving simulation | |
| CN113505834A (zh) | 训练检测模型、确定图像更新信息和更新高精地图的方法 | |
| CN113514053A (zh) | 生成样本图像对的方法、装置和更新高精地图的方法 | |
| Long et al. | Radar fusion monocular depth estimation based on dual attention |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |