CN115375731B - 一种关联点和体素的3d点云单目标跟踪方法及相关装置 - Google Patents

一种关联点和体素的3d点云单目标跟踪方法及相关装置 Download PDF

Info

Publication number
CN115375731B
CN115375731B CN202210905343.7A CN202210905343A CN115375731B CN 115375731 B CN115375731 B CN 115375731B CN 202210905343 A CN202210905343 A CN 202210905343A CN 115375731 B CN115375731 B CN 115375731B
Authority
CN
China
Prior art keywords
search area
point cloud
point
seed
template
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202210905343.7A
Other languages
English (en)
Other versions
CN115375731A (zh
Inventor
杨磊刚
王浩
王鹏程
张灵
丁绍志
薛继英
白絮
赵宪通
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Dalian Zongyi Technology Development Co ltd
Original Assignee
Dalian Zongyi Technology Development Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Dalian Zongyi Technology Development Co ltd filed Critical Dalian Zongyi Technology Development Co ltd
Priority to CN202210905343.7A priority Critical patent/CN115375731B/zh
Publication of CN115375731A publication Critical patent/CN115375731A/zh
Application granted granted Critical
Publication of CN115375731B publication Critical patent/CN115375731B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/762—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using clustering, e.g. of similar faces in social networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及一种关联点和体素的3D点云单目标跟踪方法及相关装置，包括S1：读取点云数据，确定跟踪对象为模板点云，确定搜索区域；S2：分别对模板点云和搜索区域点云进行体素量化，得到各自体素化索引和体素化特征；S3：对模板点云和搜索区域点云进行点云下采样以及特征提取，得到种子点的三维坐标以及种子点的特征向量；S4：对模板种子点和搜索区域种子点进行特征融合，将模板信息嵌入到搜索区域种子点特征，更新搜索区域种子点特征；S5：将更新后的搜索区域种子点特征和坐标送入霍夫投票，寻找聚类中心并进行投票，确定目标中心位置和包围框的偏转角。本发明通过改变特征提取主干网络和融合形状和语义的方式提升跟踪质量。

Description

一种关联点和体素的3D点云单目标跟踪方法及相关装置
技术领域
本发明属于三维点云单目标跟踪技术领域，具体涉及一种关联点和体素的3D点云单目标跟踪方法及相关装置。
背景技术
三维点云的单目标跟踪是计算机视觉领域的重要任务，三维点云单目标跟踪输入激光雷达扫描的跟踪对象点云和跟踪对象的搜索点云序列，目的在于在搜索点云序列每一帧点云中检测出目标的位置和大小。该任务广泛应用于智能机器人交互系统、无人驾驶系统，还可以用在航空、军事等方面。
随着深度模型的快速发展，基于深度学习构建的目标跟踪方法在跟踪任务上有着显著的提升和良好的性能表现。这些目标跟踪方法通常实现的是基于目标外形的匹配，将模板信息嵌入到搜索区域中，进而更好的对搜索区域进行判断。但在考虑外形匹配时，当前的跟踪算法更多考虑形状特征上的融合，即每个搜索区域中的点学习模板中点的形状特征，缺少语义特征的直接嵌入。并且在稀疏点云场景下，使用基于点集的特征提取主干造成计算的浪费。
发明内容
本发明针对上述三维点云目标跟踪方法的不足，提出了一种关联点和体素的3D点云单目标跟踪方法及相关装置。本发明采用的技术方案如下：
为了实现上述目的，本发明采用如下技术方案：
第一个方面，本发明提供一种关联点和体素的3D点云单目标跟踪方法，该方法包括以下步骤：
步骤S1：读取点云数据，确定跟踪对象为模板点云，并确定搜索区域，搜索区域内的点为搜索区域点云；
步骤S2：分别对模板点云和搜索区域点云进行体素量化，得到各自体素化索引和体素化特征；
步骤S3：对模板点云和搜索区域点云进行点云下采样以及特征提取，得到种子点的三维坐标以及种子点的特征向量；
步骤S4：对模板种子点和搜索区域种子点进行特征融合，将模板信息嵌入到搜索区域种子点特征，更新搜索区域种子点特征；
步骤S5：将更新后的搜索区域种子点特征和坐标送入霍夫投票，寻找聚类中心并进行投票，确定目标中心位置和包围框的偏转角。
进一步的，所述步骤S1包括以下步骤：
步骤S11：指定点云跟踪对象，其目标框大小作为目标的尺寸，目标框内的点为模板点云；
步骤S12：根据上一帧点云跟踪对象的目标框在世界坐标系下的位置，对当前帧进行搜索区域的选取，将跟踪对象在上一帧的目标框进行膨胀，作为搜索区域。
进一步的，所述步骤S2包括以下步骤：
步骤S21：将模板点云送入ME.utils.sparse_quantize函数，进行体素量化，使用ME.utils.sparse_collate函数进行体素特征提取，生成模板点云的体素化坐标、体素化特征及体素化索引；
步骤S22：将搜索区域点云送入ME.utils.sparse_quantize函数，进行体素量化，使用ME.utils.sparse_collate函数进行体素特征提取，生成搜索区域点云的体素化坐标、体素化特征及体素化索引。
进一步的，所述步骤S3包括以下步骤：
步骤S31：将模板点云和搜索区域点云输入到稀疏卷积网络中进行稀疏卷积，并进行点云下采样，采样方式为最远点采样，分别得到模板点云和搜索区域点云的种子点
Figure GDA0004232041130000031
并进行特征学习；最终得到种子点的位置/>
Figure GDA0004232041130000032
和种子点的特征/>
Figure GDA0004232041130000033
其中，i＝t，s分别表示模板区域点云和搜索区域点云，Ni表示种子点的数量，N表示种子点特征的维度。
进一步的，所述步骤S4包括以下步骤：
步骤S41：计算模板种子点与模板目标框的八个顶点及中心点的九个距离
Figure GDA0004232041130000034
将搜索区域种子点的特征/>
Figure GDA0004232041130000035
送入预测网络MLP，预测每个搜索区域种子点到搜索区域目标框八个顶点及中心点的距离
Figure GDA0004232041130000036
计算dt和ds之间逐点的欧氏距离，作为模板种子点和搜索区域种子点的相似度距离度量；
步骤S42：进行点级特征融合，对每个搜索区域种子点依据步骤S41得到的相似度距离度量寻找k近邻，每个搜索区域种子点与k个模板区域种子点配对，将搜索区域种子点特征分别和k个对应匹配模板种子点坐标和特征以及九个距离进行连接，形成尺寸为(s，N+N+3+9，k，Ns)的张量，并使用Mini-PointNet进行特征聚合得到(B，N，Ns)的张量；
步骤S43：执行体素级特征融合模块，以每个搜索区域种子点为中心生成体素网格，找出体素网格内的模板点的点集，将各搜索区域种子点对应的点集中每个模板点的由步骤S41得到相似度距离度量进行聚合，使搜索区域点云更具模板语义；
步骤S44：将搜索区域种子点，点级特征和体素级特征进行连接，得到最终融合后的特征。
进一步的，所述步骤S5包括以下步骤：
步骤S51：将得到的嵌入全局和局部模板信息的搜索区域种子点特征以及三维坐标送入霍夫投票；
步骤S52：对搜索区域种子点应用MLP回归分类得分Score＝sc1，sc2...scj，用以判断种子点为目标点或非目标点；其中，j表示搜索区域种子点的索引；
步骤S53：投票网络使用MLP回归每个种子点到潜在目标中心的坐标偏移
Figure GDA0004232041130000041
每个种子点ps，j对应一个潜在目标中心Cj；同时，预测种子点特征到潜在目标中心特征的残差
Figure GDA0004232041130000042
潜在目标中心的位置和特征分别表示为：/>
Figure GDA0004232041130000043
步骤S54：对所有潜在目标中心使用球聚类，得到K个聚类中心，聚类簇为球邻域内潜在目标中心的集合，潜在目标中心特征为
Figure GDA0004232041130000044
其中，j表示种子点的索引，sj、/>
Figure GDA0004232041130000045
分别表示第j个种子点对应的潜在目标中心的分类得分、三维坐标以及特征向量；
步骤S55：对K个聚类簇应用MLP-Maxpool-MLP得到目标提案、潜在目标中心到目标中心的偏移量、目标包围盒的旋转偏移量以及目标的置信度得分；
步骤S56：选择置信度得分最高的结果，得到目标跟踪对象中心在当前帧的位置，将模板点云跟踪对象的包围框对照中心点应用到当前帧，并使用预测到的目标包围盒的旋转偏移量对包围框进行偏移，得到当前帧跟踪目标的位置和包围框。
第二个方面，本发明提供一种关联点和体素的3D点云单目标跟踪装置，包括：
第一确定模块100，用于读取点云数据，确定点云跟踪对象为模板点云，并确定搜索区域，搜索区域内的点为搜索区域点云；
处理模块200，用于分别对模板点云和搜索区域点云进行体素化，得到各自体素化索引和体素化特征；
提取模块300，用于对模板点云和搜索区域点云进行点云下采样以及特征提取，得到种子点的三维坐标以及种子点的特征向量；
融合模块400，用于对模板种子点和搜索区域种子点进行特征融合，将模板信息嵌入到搜索区域种子点特征，更新搜索区域种子点特征；
第二确定模块500，用于将更新后的搜索区域种子点特征和坐标送入霍夫投票，寻找聚类中心并进行投票，确定目标中心位置和包围框的偏转角。
第三个方面，本发明提供一种终端设备，所述终端设备包括：
处理器以及存储器；
所述存储器，用于存储程序代码，并将程序代码传输给所述处理器；
所述处理器，用于调用存储器中的指令执行上述任一种所述的一种关联点和体素的3D点云单目标跟踪方法。
本发明所具有的优点和有益效果是：
本发明提供一种关联点和体素的3D点云单目标跟踪方法及相关装置，针对模板点云和搜索区域点云如何进行特征提取，以及模板点云和搜索区域点云之间的特征融合方式，使用稀疏卷积作为特征提取的主干网络，并改进模板和点云的特征融合模块，构建了点体素联合的特征融合模块，提升当前跟踪器的性能表现，提高目标跟踪的性能。本发明通过改变特征提取主干网络和融合形状和语义的方式提升跟踪质量；本发明利用真实的点云数据集进行评估，并观察在先进的基线上的改进。
附图说明
图1是本发明实施例提供的一种关联点和体素的3D点云单目标跟踪方法的流程示意图；
图2是本发明实施例提供的一种关联点和体素的3D点云单目标跟踪方法的原理示意图；
图3是本发明的相似度计算方法的原理示意图；
图4是本发明的点级融合方法的原理示意图；
图5是本发明的体素级融合模块的原理示意图；
图6本发明实施例提供的一种关联点和体素的3D点云单目标跟踪装置的结构示意图；
图7本发明实施例提供的一种关联点和体素的3D点云单目标跟踪装置的原理示意图。
具体实施方式
为使本申请的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施例对本申请作进一步详细的说明。
飞机泊位引导系统，一次只引导一架飞机的停靠，属于单目标跟踪类型，基于小型AI边缘计算平台，要求具有识别精度高、位姿准确、响应速度快等特点。
本发明一种关联点和体素的3D点云单目标跟踪方法、装置和系统，应用于飞机泊位引导系统，采用固态激光雷达传感器实时扫描整个机坪，飞机进入机坪范围后，确定跟踪目标，并持续跟踪目标的位置及姿态，精确识别飞机的型号，判断机型是否相符，生成飞机引导指示信息并输出至飞行员引导大屏，实现飞机的准确入位引导。
如图1、2所示，本发明实施例提供的一种关联点和体素的3D点云单目标跟踪方法，应用于飞机泊位引导系统，包括以下步骤：
步骤S1：读取点云数据，确定跟踪对象为模板点云，并确定搜索区域，搜索区域内的点为搜索区域点云。
具体过程为：
步骤S11：固态激光雷达提前开机，实时采集整个机坪三维空间点云数据。飞机进入扫描范围后，前若干帧采用Detection方式确定飞机目标作为点云跟踪对象，其目标框大小作为目标的尺寸，目标框内的点作为跟踪对象模板，即为模板点云；
步骤S12：根据上一帧点云跟踪对象的目标框在世界坐标系下的位置，对当前帧进行搜索区域的选取，将跟踪对象在上一帧的目标框进行膨胀，作为搜索区域，搜索区域内的点即为搜索区域点云。
步骤S2：分别对模板点云和搜索区域点云进行体素量化，得到各自体素化索引和体素化特征。
具体过程为：
步骤S21：将模板点云送入ME.utils.sparse_quantize函数，进行体素量化，使用ME.utils.sparse_collate函数进行体素特征提取，为后续稀疏卷积的特征主干做数据准备。此步骤生成模板点云的体素化坐标，体素化特征，及体素化索引。
步骤S22：将搜索区域点云送入ME.utils.sparse_quantize函数，进行体素量化，使用ME.utils.sparse_collate函数进行体素特征提取，为后续稀疏卷积的特征主干做数据准备。此步骤生成搜索区域点云的体素化坐标，体素化特征，及体素化索引。
步骤S3：对模板点云和搜索区域点云进行点云下采样以及特征提取，得到种子点的三维坐标以及种子点的特征向量。
具体过程为：
步骤S31：将模板点云和搜索区域点云输入到稀疏卷积网络中进行稀疏卷积，并进行点云下采样，采样方式为最远点采样，分别得到模板点云和搜索区域点云的种子点
Figure GDA0004232041130000071
并进行特征学习；最终得到种子点的位置/>
Figure GDA0004232041130000072
和种子点的特征/>
Figure GDA0004232041130000073
其中，i＝t，s分别表示模板区域点云和搜索区域点云，Ni表示种子点的数量，N表示种子点特征的维度。
步骤S4：对模板种子点和搜索区域种子点进行特征融合，将模板信息嵌入到搜索区域种子点特征，更新搜索区域种子点特征。
具体过程为：
步骤S41：如图3所示，计算模板种子点与模板目标框的八个顶点及中心点的九个距离
Figure GDA0004232041130000081
将搜索区域种子点的特征/>
Figure GDA0004232041130000082
送入预测网络MLP，预测每个搜索区域种子点到搜索区域目标框八个顶点及中心点的距离
Figure GDA0004232041130000083
计算dt和ds之间逐点的欧氏距离，作为模板种子点和搜索区域种子点的相似度距离度量。
步骤S42：进行点级特征融合，如图4所示，对每个搜索区域种子点依据S41得到的相似度度量寻找k近邻，每个搜索区域种子点与k个模板区域种子点配对，将搜索区域种子点特征分别和k个对应匹配模板种子点坐标和特征以及九个距离进行连接，形成尺寸为(B，N+N+3+9，k，Ns)的张量，其中B指batch size，N指搜索区域或模板种子点的特征向量维度，3指模板种子点三维坐标，k指每个搜索区域种子点对应的k个最近的模板种子点，9指每个搜索区域种子点配对的k个模板种子点到模板目标框的九个距离，Ns指搜索区域种子点的数量，并使用Mini-PointNet进行特征聚合得到(B，N，Ns)的张量。
步骤S43：执行体素级特征融合模块，如图5所示，以每个搜索区域种子点为中心生成体素网格，找出体素网格内的模板点的点集，将各搜索区域种子点对应的点集中每个模板点的由步骤S41得到相似度距离度量进行聚合，使搜索区域点云更具模板语义。
步骤S44：将搜索区域种子点，点级特征和体素级特征进行连接。得到最终融合后的特征。
步骤S5：将搜索区域种子点特征和种子点坐标送入霍夫投票，寻找聚类中心并进行投票，确定目标中心位置和目标框。
具体过程为：
步骤S51：将得到的嵌入全局和局部模板信息的搜索区域种子点特征以及三维坐标送入霍夫投票。
步骤S52：对搜索区域种子点应用MLP回归分类得分Score＝sc1，sc2...scj，用以判断种子点为目标点或非目标点；其中，j表示搜索区域种子点的索引。
步骤S53：投票网络使用MLP回归每个种子点到潜在目标中心的坐标偏移
Figure GDA0004232041130000091
每个种子点ps，j对应一个潜在目标中心cj；同时，预测种子点特征到潜在目标中心特征的残差
Figure GDA0004232041130000092
潜在目标中心的位置和特征分别表示为：/>
Figure GDA0004232041130000093
其中/>
Figure GDA0004232041130000094
表示搜索区域第j个种子点ps，j的三维坐标，/>
Figure GDA0004232041130000095
表示搜索区域第j个种子点ps，j的特征。
步骤S54：对所有潜在目标中心使用球聚类，得到K个聚类中心，聚类簇为球邻域内潜在目标中心的集合，潜在目标中心特征为
Figure GDA0004232041130000096
其中，j表示种子点的索引，sj、/>
Figure GDA0004232041130000097
分别表示第j个种子点对应的潜在目标中心的分类得分、三维坐标以及特征向量。
步骤S55：对K个聚类簇应用MLP-Maxpool-MLP得到目标提案、潜在目标中心到目标中心的偏移量、目标包围盒的旋转偏移量以及目标的置信度得分。
步骤S56：选择置信度得分最高的结果作为目标飞机，得到目标飞机中心在当前帧的位置，将模板点云跟踪对象的包围框对照中心点应用到当前帧，并使用预测到的目标包围盒的旋转偏移量对包围框进行偏移，得到当前帧跟踪飞机的位置和包围框。
本实施例提供的一种关联点和体素的3D点云单目标跟踪方法，通过读取点云数据，确定点云跟踪对象为模板点云，并确定搜索区域，搜索区域内的点为搜索区域点云；分别对模板点云和搜索区域点云进行体素化，得到各自体素化索引和体素化特征，此为稀疏卷积的特征主干做数据准备；对模板点云和搜索区域点云进行点云下采样以及特征提取，得到种子点的三维坐标以及种子点的特征向量，此步骤为模板点云和搜索区域点云提取关键点和特征，起到用少数关键点就可以描述整个点云的作用，降低计算量；对模板种子点和搜索区域种子点进行点体素联合融合，将模板信息嵌入到搜索区域种子点特征，更新搜索区域种子点特征，使搜索区域种子点具有模板信息，更好的判断目标；将更新后的搜索区域种子点特征和坐标送入霍夫投票，寻找聚类中心并进行投票，确定目标中心位置和包围框的偏转角，此步骤用以推断目标位置和大小，完成目标跟踪的任务。可以提升当前跟踪器的性能表现。
以上为本申请实施例提供的一种关联点和体素的3D点云单目标跟踪方法的具体实现方式，基于此，本申请实施例还提供了一种关联点和体素的3D点云单目标跟踪装置。
图6为本申请实施例提供的一种关联点和体素的3D点云单目标跟踪装置的结构图，图7是本申请实施例提供的一种关联点和体素的3D点云单目标跟踪系统的结构示意图，参照图6、7，该装置包括：第一确定模块100、处理模块200、提取模块300、融合模块400和第二确定模块500，其中，
第一确定模块100，用于读取点云数据，确定点云跟踪对象为模板点云，并确定搜索区域，搜索区域内的点为搜索区域点云；
处理模块200，用于分别对模板点云和搜索区域点云进行体素化，得到各自体素化索引和体素化特征；
提取模块300，用于对模板点云和搜索区域点云进行点云下采样以及特征提取，得到种子点的三维坐标以及种子点的特征向量；
融合模块400，用于对模板种子点和搜索区域种子点进行特征融合，将模板信息嵌入到搜索区域种子点特征，更新搜索区域种子点特征；
第二确定模块500，用于将更新后的搜索区域种子点特征和坐标送入霍夫投票，寻找聚类中心并进行投票，确定目标中心位置和包围框的偏转角。
本实施例提供的一种关联点和体素的3D点云单目标跟踪装置，通过读取点云数据，确定点云跟踪对象为模板点云，并确定搜索区域，搜索区域内的点为搜索区域点云；分别对模板点云和搜索区域点云进行体素化，得到各自体素化索引和体素化特征；对模板点云和搜索区域点云进行点云下采样以及特征提取，得到种子点的三维坐标以及种子点的特征向量；对模板种子点和搜索区域种子点进行特征融合，将模板信息嵌入到搜索区域种子点特征，更新搜索区域种子点特征；将更新后的搜索区域种子点特征和坐标送入霍夫投票，寻找聚类中心并进行投票，确定目标中心位置和包围框的偏转角。可以提升当前跟踪器的性能表现。
进一步的，本实施例中的第一确定模块100，具体用于：
指定点云跟踪对象，其目标框大小作为目标的尺寸，目标框内的点为模板点云；
根据上一帧点云跟踪对象的目标框在世界坐标系下的位置，对当前帧进行搜索区域的选取，将跟踪对象在上一帧的目标框进行膨胀，作为搜索区域。
进一步的，本实施例中的处理模块200，具体用于：
将模板点云送入ME.utils.sparse_quantize函数，进行体素量化，使用ME.utils.sparse_collate函数进行体素特征提取，生成模板点云的体素化坐标、体素化特征及体素化索引；
将搜索区域点云送入ME.utils.sparse_quantize函数，进行体素量化，使用ME.utils.sparse_collate函数进行体素特征提取，生成搜索区域点云的体素化坐标、体素化特征及体素化索引。
进一步的，本实施例中的提取模块300，具体用于：
将模板点云和搜索区域点云输入到稀疏卷积网络中进行稀疏卷积，并进行点云下采样，采样方式为最远点采样，分别得到模板点云和搜索区域点云的种子点
Figure GDA0004232041130000121
并进行特征学习；最终得到种子点的位置/>
Figure GDA0004232041130000122
和种子点的特征/>
Figure GDA0004232041130000123
其中，i＝t，s分别表示模板区域点云和搜索区域点云，Ni表示种子点的数量，N表示种子点特征的维度。
进一步的，本实施例中的融合模块400，具体用于：
计算模板种子点与模板目标框的八个顶点及中心点的九个距离
Figure GDA0004232041130000124
将搜索区域种子点的特征/>
Figure GDA0004232041130000125
送入预测网络MLP，预测每个搜索区域种子点到搜索区域目标框八个顶点及中心点的距离
Figure GDA0004232041130000126
计算dt和ds之间逐点的欧氏距离，作为模板种子点和搜索区域种子点的相似度距离度量；
进行点级特征融合，对每个搜索区域种子点依据步骤S41得到的相似度距离度量寻找k近邻，每个搜索区域种子点与K个模板区域种子点配对，将搜索区域种子点特征分别和k个对应匹配模板种子点坐标和特征以及九个距离进行连接，形成尺寸为(B，N+N+3+9，k，Ns)的张量，其中B指batch size，N指搜索区域或模板种子点的特征向量维度，3指模板种子点三维坐标，k指每个搜索区域种子点对应的k个最近的模板种子点，9指每个搜索区域种子点配对的k个模板种子点到模板目标框的九个距离，Ns指搜索区域种子点的数量，并使用Mini-PointNet进行特征聚合得到(B，N，Ns)的张量；
执行体素级特征融合模块，以每个搜索区域种子点为中心生成体素网格，找出体素网格内的模板点的点集，将各搜索区域种子点对应的点集中每个模板点的由步骤S41得到相似度距离度量进行聚合，使搜索区域点云更具模板语义；
将搜索区域种子点，点级特征和体素级特征进行连接，得到最终融合后的特征。
进一步的，本实施例中的第二确定模块500，具体用于：
将得到的嵌入全局和局部模板信息的搜索区域种子点特征以及三维坐标送入霍夫投票；
对搜索区域种子点应用MLP回归分类得分Score＝sc1，sc2...scj，用以判断种子点为目标点或非目标点；其中，j表示种子点的索引；
投票网络使用MLP回归每个种子点到潜在目标中心坐标的偏移
Figure GDA0004232041130000131
每个种子点ps，j对应一个潜在目标中心Cj；同时，预测种子点特征到潜在目标中心特征的残差/>
Figure GDA0004232041130000132
潜在目标中心的位置和特征分别表示为：/>
Figure GDA0004232041130000133
其中/>
Figure GDA0004232041130000134
表示搜索区域第j个种子点ps，j的三维坐标，/>
Figure GDA0004232041130000135
表示搜索区域第j个种子点ps，j的特征；
对所有潜在目标中心使用球聚类，得到K个聚类中心，聚类簇为球邻域内潜在目标中心的集合，潜在目标中心特征为
Figure GDA0004232041130000136
其中，j表示种子点的索引，sj、/>
Figure GDA0004232041130000137
分别表示第j个种子点对应的潜在目标中心的分类得分、三维坐标以及特征向量；
对K个聚类簇应用MLP-Maxpool-MLP得到目标提案、潜在目标中心到目标中心的偏移量、目标包围盒的旋转偏移量以及目标的置信度得分；
选择置信度得分最高的结果，得到目标跟踪对象中心在当前帧的位置，将模板点云跟踪对象的包围框对照中心点应用到当前帧，并使用预测到的目标包围盒的旋转偏移量对包围框进行偏移，得到当前帧跟踪目标的位置和包围框。
另外，本申请实施例还提供了一种终端设备，包括处理器以及存储器；其中存储器，用于存储程序代码，并将程序代码传输给所述处理器；处理器，用于调用存储器中的指令执行本申请实施例提供的一种关联点和体素的3D点云单目标跟踪方法。
虽然在功能性模块的背景下描述了本发明,但应当理解的是,除非另有相反说明,所述的功能和/或特征中的一个或多个可以被集成在单个物理装置和/或软件模块中,或者一个或多个功能和/或特征可以在单独的物理装置或软件模块中被实现。还可以理解的是,有关每个模块的实际实现的详细讨论对于理解本发明是不必要的。更确切地说,考虑到在本文中公开的装置中各种功能模块的属性、功能和内部关系的情况下,在工程师的常规技术内将会了解该模块的实际实现。因此,本领域技术人员运用普通技术就能够在无需过度试验的情况下实现在权利要求书中所阐明的本发明。
所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器,或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(ROM,Read-OnlyMemory)、随机存取存储器(RAM,RandomAccessMemory)、磁碟或者光盘等各种可以存储程序代码的介质。以上所述实施例仅表达了本发明的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。因此，本发明专利的保护范围应以所附权利要求为准。

Claims (7)

1.一种关联点和体素的3D点云单目标跟踪方法，其特征在于，该方法包括以下步骤：
步骤S1：读取点云数据，确定跟踪对象为模板点云，并确定搜索区域，搜索区域内的点为搜索区域点云；
步骤S2：分别对模板点云和搜索区域点云进行体素量化，得到各自体素化索引和体素化特征；
步骤S3：对模板点云和搜索区域点云进行点云下采样以及特征提取，得到种子点的三维坐标以及种子点的特征向量；
步骤S4：对模板种子点和搜索区域种子点进行特征融合，将模板信息嵌入到搜索区域种子点特征，更新搜索区域种子点特征；
步骤S5：将更新后的搜索区域种子点特征和坐标送入霍夫投票，寻找聚类中心并进行投票，确定目标中心位置和包围框的偏转角；
所述步骤S4包括以下步骤：
步骤S41：计算模板种子点与模板目标框的八个顶点及中心点的九个距离
Figure FDA0004225903070000011
将搜索区域种子点的特征/>
Figure FDA0004225903070000012
送入预测网络MLP,预测每个搜索区域种子点到搜索区域目标框八个顶点及中心点的距离
Figure FDA0004225903070000013
计算dt和ds之间逐点的欧氏距离，作为模板种子点和搜索区域种子点的相似度距离度量；
步骤S42：进行点级特征融合，对每个搜索区域种子点依据步骤S41得到的相似度距离度量寻找k近邻，每个搜索区域种子点与k个模板区域种子点配对，将搜索区域种子点特征分别和k个对应匹配模板种子点坐标和特征以及九个距离进行连接，形成尺寸为(B，N+N+3+9，k，Ns)的张量，并使用Mini-PointNet进行特征聚合得到(B，N，Ns)的张量；
步骤S43：执行体素级特征融合模块，以每个搜索区域种子点为中心生成体素网格，找出体素网格内的模板点的点集，将各搜索区域种子点对应的点集中每个模板点的由步骤S41得到相似度距离度量进行聚合，使搜索区域点云更具模板语义；
步骤S44：将搜索区域种子点，点级特征和体素级特征进行连接，得到最终融合后的特征。
2.根据权利要求1所述的一种关联点和体素的3D点云单目标跟踪方法，其特征在于，所述步骤S1包括以下步骤：
步骤S11：指定点云跟踪对象，其目标框大小作为目标的尺寸，目标框内的点为模板点云；
步骤S12：根据上一帧点云跟踪对象的目标框在世界坐标系下的位置，对当前帧进行搜索区域的选取，将跟踪对象在上一帧的目标框进行膨胀，作为搜索区域。
3.根据权利要求1或2所述的一种关联点和体素的3D点云单目标跟踪方法，其特征在于，所述步骤S2包括以下步骤：
步骤S21：将模板点云送入Me.utils.s[arse_quantize函数，进行体素量化，使用ME.utils.sparse_collate函数进行体素特征提取，生成模板点云的体素化坐标、体素化特征及体素化索引；
步骤S22：将搜索区域点云送入ME.utils.sparse_quantize函数，进行体素量化，使用ME.utils.sparse_collate函数进行体素特征提取，生成搜索区域点云的体素化坐标、体素化特征及体素化索引。
4.根据权利要求1或2所述的一种关联点和体素的3D点云单目标跟踪方法，其特征在于，所述步骤S3包括以下步骤：
步骤S31：将模板点云和搜索区域点云输入到稀疏卷积网络中进行稀疏卷积，并进行点云下采样，采样方式为最远点采样，分别得到模板点云和搜索区域点云的种子点
Figure FDA0004225903070000031
并进行特征学习；最终得到种子点的位置/>
Figure FDA0004225903070000032
和种子点的特征/>
Figure FDA0004225903070000033
其中，i＝t，s分别表示模板区域点云和搜索区域点云，Ni表示种子点的数量，N表示种子点特征的维度。
5.根据权利要求1或2所述的一种关联点和体素的3D点云单目标跟踪方法，其特征在于，所述步骤S5包括以下步骤：
步骤S51：将得到的嵌入全局和局部模板信息的搜索区域种子点特征以及三维坐标送入霍夫投票；
步骤S52：对搜索区域种子点应用MLP回归分类得分Score＝sc1，sc2...scj，用以判断种子点为目标点或非目标点；其中，j表示搜索区域种子点的索引；
步骤S53：投票网络使用MLP回归每个种子点到潜在目标中心的坐标偏移
Figure FDA0004225903070000034
每个种子点ps，j对应一个潜在目标中心Cj；同时，预测种子点特征到潜在目标中心特征的残差/>
Figure FDA0004225903070000035
潜在目标中心的位置和特征分别表示为：/>
Figure FDA0004225903070000036
步骤S54：对所有潜在目标中心使用球聚类，得到K个聚类中心，聚类簇为球邻域内潜在目标中心的集合，潜在目标中心特征为
Figure FDA0004225903070000037
其中，j表示种子点的索引，sj、/>
Figure FDA0004225903070000038
分别表示第j个种子点对应的潜在目标中心的分类得分、三维坐标以及特征向量；
步骤S55：对K个聚类簇应用MLP-Maxpool-MLP得到目标提案、潜在目标中心到目标中心的偏移量、目标包围盒的旋转偏移量以及目标的置信度得分；
步骤S56：选择置信度得分最高的结果，得到目标跟踪对象中心在当前帧的位置，将模板点云跟踪对象的包围框对照中心点应用到当前帧，并使用预测到的目标包围盒的旋转偏移量对包围框进行偏移，得到当前帧跟踪目标的位置和包围框。
6.一种关联点和体素的3D点云单目标跟踪装置，其特征在于，包括：
第一确定模块(100)，用于读取点云数据，确定点云跟踪对象为模板点云，并确定搜索区域，搜索区域内的点为搜索区域点云；
处理模块(200)，用于分别对模板点云和搜索区域点云进行体素化，得到各自体素化索引和体素化特征；
提取模块(300)，用于对模板点云和搜索区域点云进行点云下采样以及特征提取，得到种子点的三维坐标以及种子点的特征向量；
融合模块(400)，用于对模板种子点和搜索区域种子点进行特征融合，将模板信息嵌入到搜索区域种子点特征，更新搜索区域种子点特征；
第二确定模块(500)，用于将更新后的搜索区域种子点特征和坐标送入霍夫投票，寻找聚类中心并进行投票，确定目标中心位置和包围框的偏转角。
7.一种终端设备，所述终端设备包括：
处理器以及存储器；
所述存储器，用于存储程序代码，并将程序代码传输给所述处理器；
所述处理器，用于调用存储器中的指令执行权利要求1-5任意一项所述的一种关联点和体素的3D点云单目标跟踪方法。
CN202210905343.7A 2022-07-29 2022-07-29 一种关联点和体素的3d点云单目标跟踪方法及相关装置 Active CN115375731B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210905343.7A CN115375731B (zh) 2022-07-29 2022-07-29 一种关联点和体素的3d点云单目标跟踪方法及相关装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210905343.7A CN115375731B (zh) 2022-07-29 2022-07-29 一种关联点和体素的3d点云单目标跟踪方法及相关装置

Publications (2)

Publication Number Publication Date
CN115375731A CN115375731A (zh) 2022-11-22
CN115375731B true CN115375731B (zh) 2023-07-04

Family

ID=84062822

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210905343.7A Active CN115375731B (zh) 2022-07-29 2022-07-29 一种关联点和体素的3d点云单目标跟踪方法及相关装置

Country Status (1)

Country Link
CN (1) CN115375731B (zh)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1780672A1 (en) * 2005-10-25 2007-05-02 Bracco Imaging, S.P.A. Method of registering images, algorithm for carrying out the method of registering images, a program for registering images using the said algorithm and a method of treating biomedical images to reduce imaging artefacts caused by object movement
CN110969648A (zh) * 2019-12-11 2020-04-07 华中科技大学 一种基于点云序列数据的3d目标跟踪方法及系统
CN111968121A (zh) * 2020-08-03 2020-11-20 电子科技大学 一种基于实例嵌入与语义融合的三维点云场景分割方法
CN113706480A (zh) * 2021-08-13 2021-11-26 重庆邮电大学 一种基于关键点多尺度特征融合的点云3d目标检测方法
CN114140497A (zh) * 2021-11-15 2022-03-04 中国科学院自动化研究所 目标车辆3d实时追踪方法及系统

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111951368B (zh) * 2020-08-31 2023-08-08 广州大学 一种点云、体素和多视图融合的深度学习方法
CN112767447A (zh) * 2021-01-25 2021-05-07 电子科技大学 基于深度霍夫优化投票的时敏单目标跟踪方法、存储介质和终端
CN113378854A (zh) * 2021-06-11 2021-09-10 武汉大学 一种融合原始点云和体素划分的点云目标检测方法
CN113902920A (zh) * 2021-09-27 2022-01-07 中国地质大学（武汉） 基于图卷积神经网络的点云特征提取方法及装置

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1780672A1 (en) * 2005-10-25 2007-05-02 Bracco Imaging, S.P.A. Method of registering images, algorithm for carrying out the method of registering images, a program for registering images using the said algorithm and a method of treating biomedical images to reduce imaging artefacts caused by object movement
CN110969648A (zh) * 2019-12-11 2020-04-07 华中科技大学 一种基于点云序列数据的3d目标跟踪方法及系统
CN111968121A (zh) * 2020-08-03 2020-11-20 电子科技大学 一种基于实例嵌入与语义融合的三维点云场景分割方法
CN113706480A (zh) * 2021-08-13 2021-11-26 重庆邮电大学 一种基于关键点多尺度特征融合的点云3d目标检测方法
CN114140497A (zh) * 2021-11-15 2022-03-04 中国科学院自动化研究所 目标车辆3d实时追踪方法及系统

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
基于模板匹配及区域信息融合提取的快速目标跟踪算法;刘李漫;张治国;满征瑞;;计算机工程与科学(第03期);全文 *

Also Published As

Publication number Publication date
CN115375731A (zh) 2022-11-22

Similar Documents

Publication Publication Date Title
Zhong Intrinsic shape signatures: A shape descriptor for 3D object recognition
US20140010407A1 (en) Image-based localization
CN113012212A (zh) 一种基于深度信息融合的室内场景三维点云重建方法和系统
CN111340862B (zh) 一种基于多特征融合的点云配准方法、装置及存储介质
CN110930456A (zh) 基于pcl点云库的钣金零件的三维立体识别及定位方法
Huang et al. A coarse-to-fine algorithm for registration in 3D street-view cross-source point clouds
Liu et al. A novel rock-mass point cloud registration method based on feature line extraction and feature point matching
CN112801945A (zh) 基于双重注意力机制特征提取的深度高斯混合模型颅骨配准方法
Yao et al. Hunter: Exploring high-order consistency for point cloud registration with severe outliers
Zheng et al. I2P-Rec: Recognizing Images on Large-Scale Point Cloud Maps Through Bird's Eye View Projections
CN111597367B (zh) 基于视图和哈希算法的三维模型检索方法
CN115661218B (zh) 一种基于虚拟超点的激光点云配准方法和系统
CN115375731B (zh) 一种关联点和体素的3d点云单目标跟踪方法及相关装置
CN115239776B (zh) 点云的配准方法、装置、设备和介质
CN116246119A (zh) 3d目标检测方法、电子设备及存储介质
Qiao et al. G3reg: Pyramid graph-based global registration using gaussian ellipsoid model
CN110895684B (zh) 一种基于Kinect的手势动作识别方法
Ruan et al. Combining scene coordinate regression and absolute pose regression for visual relocalization
Wang et al. Recognition and 3D pose estimation for underwater objects using deep convolutional neural network and point cloud registration
Chen et al. Image-based airborne LiDAR point cloud encoding for 3D building model retrieval
CN117523548B (zh) 基于神经网络的三维模型对象提取和识别方法
CN117576665B (zh) 一种面向自动驾驶的单摄像头三维目标检测方法及系统
Mahmood et al. Surface Patch Detection of 3D Point Cloud Using Local Shape Descriptor
Zhang et al. Direct Depth Learning Network for Stereo Matching
CN111797268B (zh) Rgb-d图像检索方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant