CN114494609A - 一种3d目标检测模型的构建方法、装置和电子设备 - Google Patents

一种3d目标检测模型的构建方法、装置和电子设备 Download PDF

Info

Publication number
CN114494609A
CN114494609A CN202210340988.0A CN202210340988A CN114494609A CN 114494609 A CN114494609 A CN 114494609A CN 202210340988 A CN202210340988 A CN 202210340988A CN 114494609 A CN114494609 A CN 114494609A
Authority
CN
China
Prior art keywords
point cloud
detection model
scene
key points
cloud scene
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202210340988.0A
Other languages
English (en)
Other versions
CN114494609B (zh
Inventor
张天柱
张哲�
邓嘉诚
王楚鑫
张勇东
吴枫
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
University of Science and Technology of China USTC
Original Assignee
University of Science and Technology of China USTC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by University of Science and Technology of China USTC filed Critical University of Science and Technology of China USTC
Priority to CN202210340988.0A priority Critical patent/CN114494609B/zh
Publication of CN114494609A publication Critical patent/CN114494609A/zh
Application granted granted Critical
Publication of CN114494609B publication Critical patent/CN114494609B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Biophysics (AREA)
  • Mathematical Physics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Graphics (AREA)
  • Geometry (AREA)
  • Image Analysis (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

本申请公开了一种3D目标检测模型的构建方法、装置和电子设备，该方法和装置具体为对输入的点云场景进行处理，得到点云场景的多个点云特征；对多个点云特征进行采样处理，得到点云场景的多个关键点；基于多个关键点进行模型构建，得到3D目标检测模型。本方案根据具体点云场景中特定的信息自适应地进行关键点的采样，从而实现对前景物体更完整的覆盖和更准确且鲁棒的定位和识别。

Description

一种3D目标检测模型的构建方法、装置和电子设备
技术领域
本申请涉及计算机视觉技术领域，更具体地说，涉及一种3D目标检测模型的构建方法、装置和电子设备。
背景技术
3D目标检测用于在3D场景中进行定位和目标物体的识别，是3D场景感知的必要技术，同时在机器人抓取、增强现实和自动驾驶等领域有着广泛的实际应用。
3D目标检测技术根据输入数据的不同，分为单目3D目标检测方法和点云3D目标检测方法。单目3D目标检测方法利用有3D建议框标注的单目图像数据来训练模型，然后进行3D场景中物体的定位和识别。然而在现实场景中物体布局复杂、光线变化大，基于单目图像进行3D目标检测很难稳定地预测出物体的准确位置，这限制了单目3D目标检测的拓展性和实用性。点云3D目标检测方法利用点云数据实现3D目标检测，相比于单目图像，点云数据具有稀疏、无序、不规则的特点，它提供了精确的几何信息，不受光线变化的影响。
目前点云3D目标检测方法可以归为两类，分别为基于手工体素化的方法和利用点云数据的方法。点云3D目标检测方法目的是定位和识别前景物体，然而由于没有动态地适应不同点云场景和缺乏对物体语义信息的考虑，这些方法在关键点采样过程中很容易引入大量对前景物体检测没有意义的背景点或者只能关注到部分物体，从而对前景物体的完整定位和准确识别造成影响。
发明内容
有鉴于此，本申请提供一种3D目标检测模型的构建方法、装置和电子设备，用于构建3D目标检测模型，以实现对前景物体更完整的覆盖和更准确且鲁棒的定位和识别。
为了实现上述目的，现提出的方案如下：
一种3D目标检测模型的构建方法，应用于电子设备，所述构建方法包括步骤：
对输入的点云场景进行处理，得到所述点云场景的多个点云特征；
对所述多个点云特征进行采样处理，得到所述点云场景的多个关键点；
基于所述多个关键点进行模型构建，得到3D目标检测模型。
可选的，所述对输入的点云场景进行处理，得到所述点云场景的多个点云特征，包括步骤：
捕获所述点云场景的远距离语义信息；
捕获所述点云场景的局部结构信息；
将所述远距离语义信息和所述局部结构信息沿通道维度进行拼接处理，得到所述多个点云特征。
可选的，所述3D目标检测模型的损失函数包括建议框的第一约束损失函数、点云前背景点的第二约束损失函数和每个所述关键点的初始预测框的第三约束损失函数。
一种3D目标检测模型的构建装置，应用于电子设备，所述构建装置包括：
Transformer编码器模块，被配置为对输入的点云场景进行处理，得到所述点云场景的多个点云特征；
关键点动态采样模块，被配置为对所述多个点云特征进行采样处理，得到所述点云场景的多个关键点；
动态Transformer解码器模块，被配置为基于所述多个关键点进行模型构建，得到3D目标检测模型。
可选的，所述Transformer编码器模块包括：
第一捕获单元，被配置为捕获所述点云场景的远距离语义信息；
第二捕获单元，被配置为捕获所述点云场景的局部结构信息；
拼接处理单元，被配置为将所述远距离语义信息和所述局部结构信息沿通道维度进行拼接处理，得到所述多个点云特征。
可选的，所述3D目标检测模型的损失函数包括建议框的第一约束损失函数、点云前背景点的第二约束损失函数和每个所述关键点的初始预测框的第三约束损失函数。
一种电子设备，其特征在于，设置有如上所述的3D目标检测模型的构建装置。
一种电子设备，包括至少一个处理器和与所述处理器连接的存储器，其中：
所述存储器用于存储计算机程序或指令；
所述处理器用于执行所述计算机程序或指令，以使所述电子设备实现如上所述的3D目标检测方法。
从上述的技术方案可以看出，本申请公开了一种3D目标检测模型的构建方法、装置和电子设备，该方法和装置具体为对输入的点云场景进行处理，得到点云场景的多个点云特征；对多个点云特征进行采样处理，得到点云场景的多个关键点；基于多个关键点进行模型构建，得到3D目标检测模型。本方案根据具体点云场景中特定的信息自适应地进行关键点的采样，从而实现对前景物体更完整的覆盖和更准确且鲁棒的定位和识别。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本申请实施例的一种3D目标检测模型的构建方法的流程图；
图2为本身亲实施例的对点云场景的处理的流程图；
图3为本申请实施例的一种3D目标检测模型的构建装置的框图；
图4为本申请实施例的一种3D目标检测模型的构建装置的框图；
图5为本申请实施例的一种电子设备的框图。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
实施例一
图1为本申请实施例的一种3D目标检测模型的构建方法的流程图。
如图1所示，本实施例提供的构建方法应用于电子设备，用于基于电子设备构建能够检测3D物体的3D目标检测模型，该电子设备可以理解为具有数据计算和信息处理能力的计算机或服务器，该构建方法具体包括如下步骤：
S1、对输入的点云场景进行处理，得到点云场景的多个点云特征。
具体来说，对于输入的点云场景，通过PointNet++网络下采样点云到2048个点并提取特征。 PointNet++网络是点云场景3D目标检测任务中常用的点云下采样方法，它的主要目的是减少网络需要处理的点云数量，提高网络的推理速度。此外，它也会保持点云的大致结构，提取出较为粗糙的点云局部结构特征。
本申请中具体采用如下方案实现点云场景的处理，如图2所示。
S11、捕获点云场景的远距离语义信息。
具体实施时，本申请的方案使用多头自注意力机制，使得每个点都能捕获场景远距离语义信息：
Figure DEST_PATH_IMAGE001
其中，F是多头自注意力机制的输入特征，
Figure 646904DEST_PATH_IMAGE002
分别是查询、键和值的变换矩阵，C是输入特征通道维度，Softmax是神经网络输出层的激励函数，同时我们将多头自注意力机制的输出记为
Figure DEST_PATH_IMAGE003
。
S12、捕获点云场景的局部结构信息。
在具体实施时，本申请的技术方案使用点云核心点卷积：
Figure 873617DEST_PATH_IMAGE004
其中，K是设置的核心点个数，
Figure DEST_PATH_IMAGE005
是核心点，
Figure 304729DEST_PATH_IMAGE006
是相关权重矩阵，
Figure DEST_PATH_IMAGE007
表示线性相关函数，
Figure 309594DEST_PATH_IMAGE008
,其中r是手动设置的核半径，f i 是x i 所对应的特征，g是核函数，
Figure DEST_PATH_IMAGE009
表示核心点卷积。
S13、将远距离语义信息和局部结构信息进行拼接。
在得到上述远距离语义信息和备结构特征的基础上，将两者沿特征通道维度直接拼接在一起，从而得到点云场景的点云特征。
S2、对多个点云特征进行采样处理，得到多个关键点。
为了让最终得到的关键点可以均匀覆盖到场景中每一个前景物体，且能够根据不同场景动态地更新原型以关注到前景物体上更具代表性的部位，本申请引入了可学习的关键点采样原型
Figure 91737DEST_PATH_IMAGE012
，并根据具体场景进行自适应的更新：
Figure DEST_PATH_IMAGE013
其中，
Figure 777933DEST_PATH_IMAGE014
是可学习的关键点采样原型，
Figure DEST_PATH_IMAGE015
是输入的点云特征，WQ、WK、WV分别是查询、键和值的变换矩阵，C是输入特征通道维度，Softmax是神经网络输出层的激励函数，
Figure 60622DEST_PATH_IMAGE016
是场景自适应更新后的关键点采样原型。
另外，本申请选用一个关键点采样层，利用这些更新后的原型通过余弦相似性来动态捕获和自己相似的关键点：
Figure DEST_PATH_IMAGE017
其中，
Figure 236389DEST_PATH_IMAGE018
为预测的质量分数，
Figure DEST_PATH_IMAGE019
表示余弦相似度计算函数，Max表示最大值函数，
Figure 240248DEST_PATH_IMAGE016
是采样原型，
Figure 995714DEST_PATH_IMAGE020
是场景点云中的第i个点。我们选取质量分数最高的K个点作为我们的关键点，在我们的方法中K的值设为256。
S3、基于多个关键点进行模型构建，得到3D目标检测模型。
本申请的方案中引入了一个动态的高斯权重图：
Figure DEST_PATH_IMAGE021
其中
Figure 119528DEST_PATH_IMAGE022
是关键点的空间3D坐标，
Figure DEST_PATH_IMAGE023
是聚集强度的超参数，（
Figure 216928DEST_PATH_IMAGE024
，
Figure DEST_PATH_IMAGE025
，
Figure 691772DEST_PATH_IMAGE026
）和（
Figure DEST_PATH_IMAGE027
，
Figure 736082DEST_PATH_IMAGE028
，
Figure DEST_PATH_IMAGE029
）分别是关键点预测得到的3D建议框中心点的3D坐标和3D建议框的长宽高尺寸。动态的高斯权重图会帮助关键点在交叉注意力机制中更加关注预测区域附近的点云特征，最终动态的交叉注意力机制可被形式化为:
Figure 979982DEST_PATH_IMAGE030
其中，
Figure DEST_PATH_IMAGE031
是关键点的特征，
Figure 979774DEST_PATH_IMAGE015
是点云的特征，
Figure 676335DEST_PATH_IMAGE032
、
Figure DEST_PATH_IMAGE033
、
Figure 304762DEST_PATH_IMAGE034
分别是查询、键和值的变换矩阵，C是输入特征通道维度，G是动态的高斯权重图，Softmax是神经网络输出层的激励函数，将关键点特征经过交叉注意力机制的输出值记为O。通过上述具体方案最终得到3D目标检测模型。
本申请中3D目标检测模型的损失函数由三部分组成，分别为：
1）建议框预测的第一约束损失
Figure DEST_PATH_IMAGE035
：
Figure 419480DEST_PATH_IMAGE036
其中，θ i 为权重参数，
Figure DEST_PATH_IMAGE037
为该模型预测的建议框中心、尺寸、方向和类别，
Figure 45633DEST_PATH_IMAGE038
表示Huber损失函数；
2）点云前背景点的第二约束损失
Figure DEST_PATH_IMAGE039
：为了让网络学习到更多能区分前背景的特征从而帮助网络更高质量地采样前景点，我们为每个点设置了交叉熵损失来约束；
3）每个关键点初始预测框的第三约束损失
Figure 511381DEST_PATH_IMAGE040
：我们对每个关键点的初始预测框也设置了与
Figure DEST_PATH_IMAGE041
类似的损失约束网络更好地动态采样关键点。
最终模型的损失函数定义为：
Figure 943499DEST_PATH_IMAGE042
从上述技术方案可以看出，本申请提供了一种3D目标检测模型的构建方法，该方法应用于电子设备，具体为对输入的点云场景进行处理，得到点云场景的多个点云特征；对多个点云特征进行采样处理，得到点云场景的多个关键点；基于多个关键点进行模型构建，得到3D目标检测模型。本方案根据具体点云场景中特定的信息自适应地进行关键点的采样，从而实现对前景物体更完整的覆盖和更准确且鲁棒的定位和识别。
实施例二
图3为本申请实施例的一种3D目标检测模型的构建装置的框图。
如图3所示，本实施例提供的构建装置应用于电子设备，用于基于电子设备构建能够检测3D物体的3D目标检测模型，该电子设备可以理解为具有数据计算和信息处理能力的计算机或服务器，该构建装置具体包括Transformer编码器10、关键点动态采样模块20和动态Transformer解码器30。
Transformer编码器用于对输入的点云场景进行处理，得到点云场景的多个点云特征。
具体来说，对于输入的点云场景，通过PointNet++网络下采样点云到2048个点并提取特征。 PointNet++网络是点云场景3D目标检测任务中常用的点云下采样方法，它的主要目的是减少网络需要处理的点云数量，提高网络的推理速度。此外，它也会保持点云的大致结构，提取出较为粗糙的点云局部结构特征。该模块包括第一捕获单元11、第二捕获单元12和拼接处理单元13，如图4所示。
第一捕获单元用于捕获点云场景的远距离语义信息。
具体实施时，本申请的方案使用多头自注意力机制，使得每个点都能捕获场景远距离语义信息：
Figure DEST_PATH_IMAGE043
其中，F是多头自注意力机制的输入特征，
Figure 99674DEST_PATH_IMAGE032
、
Figure 178620DEST_PATH_IMAGE033
、
Figure 318614DEST_PATH_IMAGE034
分别是查询、键和值的变换矩阵，C是输入特征通道维度，Softmax是神经网络输出层的激励函数，同时我们将多头自注意力机制的输出记为
Figure 288844DEST_PATH_IMAGE003
。
第二捕获单元用于捕获点云场景的局部结构信息。
在具体实施时，本申请的技术方案使用点云核心点卷积：
Figure 830684DEST_PATH_IMAGE044
其中，K是设置的核心点个数
Figure DEST_PATH_IMAGE045
是核心点，
Figure 632197DEST_PATH_IMAGE046
是相关权重矩阵,
Figure DEST_PATH_IMAGE047
表示线性相关函数，
Figure 993908DEST_PATH_IMAGE048
其中
Figure DEST_PATH_IMAGE049
是手动设置的核半径，fi是xi所对应的特征，g是核函数，
Figure 784141DEST_PATH_IMAGE050
表示核心点卷积。
拼接处理单元用于将远距离语义信息和局部结构信息进行拼接。
在得到上述远距离语义信息和具备结构特征的基础上，将两者沿特征通道维度直接拼接在一起，从而得到点云场景的点云特征。
关键点动态采样模块用于对多个点云特征进行采样处理，得到多个关键点。
为了让最终得到的关键点可以均匀覆盖到场景中每一个前景物体，且能够根据不同场景动态地更新原型以关注到前景物体上更具代表性的部位，本申请引入了可学习的关键点采样原型
Figure DEST_PATH_IMAGE051
，并根据具体场景进行自适应的更新：
Figure 711646DEST_PATH_IMAGE013
其中，
Figure 584924DEST_PATH_IMAGE052
是可学习的关键点采样原型，F是输入的点云特征，
Figure 699510DEST_PATH_IMAGE032
、
Figure 231117DEST_PATH_IMAGE033
、
Figure 13128DEST_PATH_IMAGE034
分别是查询、键和值的变换矩阵，
Figure DEST_PATH_IMAGE053
是输入特征通道维度，Softmax是神经网络输出层的激励函数，
Figure 385203DEST_PATH_IMAGE016
是场景自适应更新后的关键点采样原型。
动态Transformer解码器用于基于多个关键点进行模型构建，得到3D目标检测模型。
本申请的方案中引入了一个动态的高斯权重图：
Figure 190348DEST_PATH_IMAGE021
其中
Figure 525646DEST_PATH_IMAGE022
是关键点的空间3D坐标，
Figure 896584DEST_PATH_IMAGE023
是聚集强度的超参数，（
Figure 173982DEST_PATH_IMAGE024
，
Figure 997582DEST_PATH_IMAGE025
，
Figure 133640DEST_PATH_IMAGE026
）和（
Figure 359085DEST_PATH_IMAGE027
，
Figure 745067DEST_PATH_IMAGE028
，
Figure 321542DEST_PATH_IMAGE029
）分别是关键点预测得到的3D建议框中心点的3D坐标和3D建议框的长宽高尺寸。动态的高斯权重图会帮助关键点在交叉注意力机制中更加关注预测区域附近的点云特征，最终动态的交叉注意力机制可被形式化为:
Figure 247910DEST_PATH_IMAGE030
其中，
Figure 344173DEST_PATH_IMAGE054
是关键点的特征，
Figure DEST_PATH_IMAGE055
是点云的特征，
Figure 494532DEST_PATH_IMAGE056
、
Figure DEST_PATH_IMAGE057
、
Figure 27144DEST_PATH_IMAGE058
分别是查询、键和值的变换矩阵，
Figure 507935DEST_PATH_IMAGE053
是输入特征通道维度，
Figure DEST_PATH_IMAGE059
是动态的高斯权重图，Softmax是神经网络输出层的激励函数，将关键点特征经过交叉注意力机制的输出值记为
Figure 239131DEST_PATH_IMAGE060
。通过上述具体方案最终得到3D目标检测模型。
从上述技术方案可以看出，本申请提供了一种3D目标检测模型的构建装置，该装置应用于电子设备，具体用于对输入的点云场景进行处理，得到点云场景的多个点云特征；对多个点云特征进行采样处理，得到点云场景的多个关键点；基于多个关键点进行模型构建，得到3D目标检测模型。本方案根据具体点云场景中特定的信息自适应地进行关键点的采样，从而实现对前景物体更完整的覆盖和更准确且鲁棒的定位和识别。
实施例三
本实施例提供了一种电子设备，该电子设备可以理解为具有数据计算和信息处理能力的计算机或服务器，该电子设备设置有上一实施例提供的3D目标检测模型的构建装置。该装置用于对输入的点云场景进行处理，得到点云场景的多个点云特征；对多个点云特征进行采样处理，得到点云场景的多个关键点；基于多个关键点进行模型构建，得到3D目标检测模型。本方案根据具体点云场景中特定的信息自适应地进行关键点的采样，从而实现对前景物体更完整的覆盖和更准确且鲁棒的定位和识别。
实施例四
图5为本申请实施例的一种电子设备的框图。
如图5所示，本实施例提供的电子设备可以理解为具有数据计算和信息处理能力的计算机或服务器，该电子设备包括至少一个处理器101和存储器102，两者通过数据总线103连接。该存储器用于存储计算机程序或指令，该处理器用于执行相应计算机程序或指令，以使该电子设备能够实现实施例一中的3D目标检测模型的构建方法。
该构建方法具体为对输入的点云场景进行处理，得到点云场景的多个点云特征；对多个点云特征进行采样处理，得到点云场景的多个关键点；基于多个关键点进行模型构建，得到3D目标检测模型。本方案根据具体点云场景中特定的信息自适应地进行关键点的采样，从而实现对前景物体更完整的覆盖和更准确且鲁棒的定位和识别。
本说明书中的各个实施例均采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似的部分互相参见即可。
本领域内的技术人员应明白，本发明实施例的实施例可提供为方法、装置、或计算机程序产品。因此，本发明实施例可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明实施例可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本发明实施例是参照根据本发明实施例的方法、终端设备(系统)、和计算机程序产品的流程图和／或方框图来描述的。应理解可由计算机程序指令实现流程图和／或方框图中的每一流程和／或方框、以及流程图和／或方框图中的流程和／或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理终端设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理终端设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理终端设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理终端设备上，使得在计算机或其他可编程终端设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程终端设备上执行的指令提供用于实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能的步骤。
尽管已描述了本发明实施例的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例做出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本发明实施例范围的所有变更和修改。
最后，还需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者终端设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者终端设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者终端设备中还存在另外的相同要素。
以上对本发明所提供的技术方案进行了详细介绍，本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。

Claims (6)

1.一种3D目标检测模型的构建方法，应用于电子设备，其特征在于，所述构建方法包括步骤：
对输入的点云场景进行处理，得到所述点云场景的多个点云特征，包括：捕获所述点云场景的远距离语义信息，捕获所述点云场景的局部结构信息，将所述远距离语义信息和所述局部结构信息沿通道维度进行拼接处理，得到所述多个点云特征；
对所述多个点云特征进行采样处理，得到所述点云场景的多个关键点；
基于所述多个关键点进行模型构建，得到3D目标检测模型。
2.如权利要求1所述的构建方法，其特征在于，所述3D目标检测模型的损失函数包括建议框的第一约束损失函数、点云前背景点的第二约束损失函数和每个所述关键点的初始预测框的第三约束损失函数。
3.一种3D目标检测模型的构建装置，应用于电子设备，其特征在于，所述构建装置包括：
Transformer编码器模块，被配置为对输入的点云场景进行处理，得到所述点云场景的多个点云特征，所述Transformer编码器模块包括第一捕获单元、第二捕获单元和拼接处理单元，第一捕获单元被配置为捕获所述点云场景的远距离语义信息，所述第二捕获单元被配置为捕获所述点云场景的局部结构信息，所述拼接处理单元被配置为将所述远距离语义信息和所述局部结构信息沿通道维度进行拼接处理，得到所述多个点云特征；
关键点动态采样模块，被配置为对所述多个点云特征进行采样处理，得到所述点云场景的多个关键点；
动态Transformer解码器模块，被配置为基于所述多个关键点进行模型构建，得到3D目标检测模型。
4.如权利要求3所述的构建装置，其特征在于，所述3D目标检测模型的损失函数包括建议框的第一约束损失函数、点云前背景点的第二约束损失函数和每个所述关键点的初始预测框的第三约束损失函数。
5.一种电子设备，其特征在于，设置有如权利要求3或4所述的3D目标检测模型的构建装置。
6.一种电子设备，其特征在于，包括至少一个处理器和与所述处理器连接的存储器，其中：
所述存储器用于存储计算机程序或指令；
所述处理器用于执行所述计算机程序或指令，以使所述电子设备实现如权利要求1或2所述的3D目标检测模型的构建方法。
CN202210340988.0A 2022-04-02 2022-04-02 一种3d目标检测模型的构建方法、装置和电子设备 Active CN114494609B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210340988.0A CN114494609B (zh) 2022-04-02 2022-04-02 一种3d目标检测模型的构建方法、装置和电子设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210340988.0A CN114494609B (zh) 2022-04-02 2022-04-02 一种3d目标检测模型的构建方法、装置和电子设备

Publications (2)

Publication Number Publication Date
CN114494609A true CN114494609A (zh) 2022-05-13
CN114494609B CN114494609B (zh) 2022-09-06

Family

ID=81488913

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210340988.0A Active CN114494609B (zh) 2022-04-02 2022-04-02 一种3d目标检测模型的构建方法、装置和电子设备

Country Status (1)

Country Link
CN (1) CN114494609B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116258809A (zh) * 2022-12-13 2023-06-13 江苏重华数字科技有限公司 一种轻量化3d模型存储结构工作方法

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120256916A1 (en) * 2009-12-11 2012-10-11 Kazuo Kitamura Point cloud data processing device, point cloud data processing method, and point cloud data processing program
US20180225515A1 (en) * 2015-08-04 2018-08-09 Baidu Online Network Technology (Beijing) Co. Ltd. Method and apparatus for urban road recognition based on laser point cloud, storage medium, and device
CN111144304A (zh) * 2019-12-26 2020-05-12 上海眼控科技股份有限公司 车辆目标检测模型的生成方法、车辆目标检测方法及装置
US20210033712A1 (en) * 2018-02-09 2021-02-04 Sony Corporation Calibration apparatus, calibration method, and program
EP3816655A1 (en) * 2019-10-31 2021-05-05 Aptiv Technologies Limited Multi-domain neighborhood embedding and weighting of point cloud data
CN112861691A (zh) * 2021-01-29 2021-05-28 中国科学技术大学 基于部位感知建模的遮挡场景下的行人重识别方法
CN113159151A (zh) * 2021-04-12 2021-07-23 中国科学技术大学 面向自动驾驶的多传感器深度融合3d目标检测方法
CN113657246A (zh) * 2021-08-13 2021-11-16 哈尔滨工程大学 一种基于自监督学习的三维点云二阶段目标检测方法
CN113706480A (zh) * 2021-08-13 2021-11-26 重庆邮电大学 一种基于关键点多尺度特征融合的点云3d目标检测方法

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120256916A1 (en) * 2009-12-11 2012-10-11 Kazuo Kitamura Point cloud data processing device, point cloud data processing method, and point cloud data processing program
US20180225515A1 (en) * 2015-08-04 2018-08-09 Baidu Online Network Technology (Beijing) Co. Ltd. Method and apparatus for urban road recognition based on laser point cloud, storage medium, and device
US20210033712A1 (en) * 2018-02-09 2021-02-04 Sony Corporation Calibration apparatus, calibration method, and program
EP3816655A1 (en) * 2019-10-31 2021-05-05 Aptiv Technologies Limited Multi-domain neighborhood embedding and weighting of point cloud data
CN111144304A (zh) * 2019-12-26 2020-05-12 上海眼控科技股份有限公司 车辆目标检测模型的生成方法、车辆目标检测方法及装置
CN112861691A (zh) * 2021-01-29 2021-05-28 中国科学技术大学 基于部位感知建模的遮挡场景下的行人重识别方法
CN113159151A (zh) * 2021-04-12 2021-07-23 中国科学技术大学 面向自动驾驶的多传感器深度融合3d目标检测方法
CN113657246A (zh) * 2021-08-13 2021-11-16 哈尔滨工程大学 一种基于自监督学习的三维点云二阶段目标检测方法
CN113706480A (zh) * 2021-08-13 2021-11-26 重庆邮电大学 一种基于关键点多尺度特征融合的点云3d目标检测方法

Non-Patent Citations (6)

* Cited by examiner, † Cited by third party
Title
LI CHEN; WEIYE CHEN,ETC: "DAPnet: A Double Self-Attention Convolutional Network for Point Cloud Semantic Labeling", 《IEEE JOURNAL OF SELECTED TOPICS IN APPLIED EARTH OBSERVATIONS AND REMOTE SENSING》 *
QIAN XIE, YU-KUN LAI，ETC: "MLCVNet: Multi-Level Context VoteNet for 3D Object Detection", 《PROCEEDINGS OF THE IEEE/CVF CONFERENCE ON COMPUTER VISION AND PATTERN RECOGNITION (CVPR)》 *
SHI QIU; YUNFAN WU,ETC: "Investigating Attention Mechanism in 3D Point Cloud Object Detection", 《2021 INTERNATIONAL CONFERENCE ON 3D VISION (3DV)》 *
XINHAI LIU，ZHIZHONG HAN，ETC: "L2G Auto-encoder: Understanding Point Clouds by Local-to-Global Reconstruction with Hierarchical Self-Attention", 《PROCEEDINGS OF THE 27TH ACM INTERNATIONAL CONFERENCE ON MULTIMEDIA》 *
兰天蔚: "面向交通场景的3D目标检测研究", 《中国优秀博硕士学位论文全文数据库(硕士)基础科学辑》 *
张杰: "基于激光雷达点云的船舶目标检测方法研究", 《中国优秀博硕士学位论文全文数据库(硕士)工程科技Ⅱ辑》 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116258809A (zh) * 2022-12-13 2023-06-13 江苏重华数字科技有限公司 一种轻量化3d模型存储结构工作方法
CN116258809B (zh) * 2022-12-13 2024-04-12 江苏重华数字科技有限公司 一种轻量化3d模型存储结构工作方法

Also Published As

Publication number Publication date
CN114494609B (zh) 2022-09-06

Similar Documents

Publication Publication Date Title
CN112435215B (zh) 一种基于图像的车辆定损方法、移动终端、服务器
CN110378222B (zh) 一种输电线路防震锤目标检测与缺陷识别方法及装置
CN111046980A (zh) 一种图像检测方法、装置、设备及计算机可读存储介质
CN114170516B (zh) 一种基于路侧感知的车辆重识别方法、装置及电子设备
Cepni et al. Vehicle detection using different deep learning algorithms from image sequence
CN115171165A (zh) 全局特征与阶梯型局部特征融合的行人重识别方法及装置
CN110490915B (zh) 一种基于卷积受限玻尔兹曼机的点云配准方法
CN111310770A (zh) 目标检测方法和装置
CN110059765B (zh) 一种矿物智能识别分类系统与方法
CN114494609B (zh) 一种3d目标检测模型的构建方法、装置和电子设备
CN114387512A (zh) 基于多尺度特征融合与增强的遥感影像建筑物提取方法
CN111563398A (zh) 用于确定目标物的信息的方法和装置
CN113449741A (zh) 一种基于语义推断和图像理解的遥感影像定位方法及系统
Pandey et al. KUMBH MELA: a case study for dense crowd counting and modeling
CN112084895A (zh) 一种基于深度学习的行人重识别方法
CN114792430A (zh) 基于极化自注意力的行人重识别方法、系统及相关设备
CN107368514A (zh) 自适应资源管理系统中的对象识别
CN116861262B (zh) 一种感知模型训练方法、装置及电子设备和存储介质
CN110619280B (zh) 一种基于深度联合判别学习的车辆重识别方法及装置
CN117079139A (zh) 一种基于多尺度语义特征的遥感图像目标检测方法及系统
Nguyen et al. Smart solution to detect images in limited visibility conditions based convolutional neural networks
CN116958809A (zh) 一种特征库迁移的遥感小样本目标检测方法
CN116524261A (zh) 一种基于多模态小样本持续学习的图像分类方法及产品
CN116258190A (zh) 一种量化方法、装置及相关设备
CN115049991A (zh) 共享设备位姿整齐度判断方法、装置、终端及介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant