CN110969648B - 一种基于点云序列数据的3d目标跟踪方法及系统 - Google Patents

一种基于点云序列数据的3d目标跟踪方法及系统 Download PDF

Info

Publication number
CN110969648B
CN110969648B CN201911264705.3A CN201911264705A CN110969648B CN 110969648 B CN110969648 B CN 110969648B CN 201911264705 A CN201911264705 A CN 201911264705A CN 110969648 B CN110969648 B CN 110969648B
Authority
CN
China
Prior art keywords
point cloud
target
point
frame
feature
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201911264705.3A
Other languages
English (en)
Other versions
CN110969648A (zh
Inventor
曹治国
綦浩喆
肖阳
于泰东
刘承鑫
张博深
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Huazhong University of Science and Technology
Original Assignee
Huazhong University of Science and Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Huazhong University of Science and Technology filed Critical Huazhong University of Science and Technology
Priority to CN201911264705.3A priority Critical patent/CN110969648B/zh
Publication of CN110969648A publication Critical patent/CN110969648A/zh
Application granted granted Critical
Publication of CN110969648B publication Critical patent/CN110969648B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G06T7/251—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments involving models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于点云序列数据的3D目标跟踪方法及系统，属于数字图像识别领域，包括：在当前帧和上一帧中分别提取包含目标框的搜索点云和模板点云并标准化，利用3D目标跟踪模型预测目标框在当前帧中的位置和姿态，以确定3D目标在当前帧中的位置；3D目标跟踪模型中，特征提取网络用于提取模板点云特征和搜索点云特征，相关性预测网络用于预测搜索点云中各特征点的目标性得分，集成回归网络用于对两个特征进行融合后，逐点回归，位置预测网络用于根据搜索点云各特征点的目标性得分，对融合特征中各特征点距离目标框中心的距离和姿态进行加权相乘。本发明能够充分利用物体的立体属性，同时提高3D目标跟踪的计算效率和稳定性。

Description

一种基于点云序列数据的3D目标跟踪方法及系统
技术领域
本发明属于数字图像识别领域，更具体地，涉及一种基于点云序列数据的3D目标跟踪方法及系统。
背景技术
在自动驾驶、机器人运功轨迹规划等领域中，通常需要对周围环境进行感知理解，探知周围目标物体的运动轨迹，进而规划自身运动方向，其中，探知目标运动轨迹便需要用到目标跟踪技术。传统的2D目标跟踪技术已经取得了显著的成果，但其只能跟踪目标在相机平面上的运动，因而不能满足自动驾驶和机器人运动轨迹规划等需要获得目标立体运动信息的要求。
相比于2D目标跟踪技术，3D目标跟踪技术能够在目标跟踪的过程中很好地利用目标的立体运动信息。现有的3D目标跟踪技术主要分为三种：基于RGBD视频序列的3D目标跟踪方法、基于鸟瞰图视频序列的3D目标跟踪方法和基于3D点云序列数据的3D目标跟踪方法。其中，基于RGBD视频序列的3D目标跟踪方法非常依赖2D目标跟踪技术，是在2D目标跟踪结果的基础上利用深度图信息进行进一步的处理，没有充分利用3D物体结构信息；基于鸟瞰图视频序列的3D目标跟踪方法将3D点云数据进行了俯视投影，进而采用2D目标跟踪的方法进行跟踪，其损失了高度方向的目标信息，对于在高度方向有较大变化的目标无法进行有效的跟踪。
与基于RGBD视频序列的3D目标跟踪方法以及基于鸟瞰图视频序列的3D目标跟踪方法相比，基于点云序列数据的3D目标跟踪方法能够充分利用物体的立体属性，但是，受点云数据具有无序性、稀疏性等特性的影响，现有的基于点云序列数据的3D目标跟踪方法在根据上一帧点云数据的跟踪结果预测当前帧点云数据中目标框的位置时，其搜索空间极其庞大，因此计算效率低下，并且不能对预测模型进行端到端训练，跟踪结果的稳定性得不到保证。
发明内容
针对现有技术的缺陷和改进需求，本发明提供了一种基于点云序列数据的3D目标跟踪方法及系统，其目的在于，充分利用物体的立体属性，同时提高3D目标跟踪的计算效率和稳定性。
为实现上述目的，按照本发明的第一方面，提供了一种基于点云序列数据的3D目标跟踪方法，包括：
根据上一帧的预测结果在当前帧中截取包含目标框的搜索点云，并在上一帧中截取包含目标框的模板点云；
对模板点云和搜索点云分别进行标准化之后作为输入，利用已训练好的3D目标跟踪模型预测目标框中心在当前帧中的位置以及目标框在当前帧中的姿态，以确定3D目标在当前帧中的位置，从而在当前帧中完成对3D目标的跟踪；
其中，3D目标跟踪模型包括特征提取网络、相关性预测网络、集成回归网络以及位置预测网络；特征提取网络用于对模板点云和搜索点云进行特征提取，从而分别得到模板点云特征和搜索点云特征；相关性预测网络用于预测搜索点云特征中各特征点的目标性得分；集成回归网络用于对模板点云特征和搜索点云特征进行特征融合后，逐点回归，以得到融合特征中各特征点距离目标框中心的距离和姿态；位置预测网络用于根据搜索点云特征中各特征点的目标性得分，对融合特征中各特征点距离目标框中心的距离和姿态进行加权相乘，从而预测得到目标框中心在当前帧中的位置以及目标框在当前帧中的姿态；
其中，搜索点云特征中各特征点的目标性得分，由搜索点云特征中各特征点与目标点云特征之间的相关性系数经过归一化操作之后得到。
本发明利用点云数据进行3D目标跟踪，能够充分利用物体的立体属性；在上一帧和当前帧中分别截取到模板点云和搜索点云后，采用逐点相关的方式预测相关性系数、进行特征融合以及加权相乘，能够充分结合点云数据的无序性、稀疏性等特性，缩小搜索空间，从而能够提高计算效率，并利用端到端训练方式进行模型训练，提高3D目标跟踪的稳定性。总的来说，本发明能够充分利用物体的立体属性，同时提高3D目标跟踪的计算效率和稳定性。
进一步地，特征提取网络为不包含用于回归分类结果的全连接层的PointNet++网络。
进一步地，相关性预测网络包括第一矩阵运算层、池化层和归一化层；
第一矩阵运算层，用于通过矩阵运算预测搜索点云特征中各特征点与目标点云特征之间的相关性，从而得到搜索点云和目标点云的逐点相关性；
池化层，用于对通过池化操作将第一矩阵运算层输出的搜索点云和目标点云的逐点相关性转化为搜索点云各特征点和目标点云之间的相关性系数；
归一化层，用于对池化层输出的结果进行归一化操作，得到搜索点云特征中各特征点的目标性得分。
本发明将相关性预测的计算简化为矩阵运算，并通过逐点相关的方式进行计算，能够提高相关性计算的效率。
进一步地，集成回归网络包括第二矩阵运算层和多层感知机；
第二矩阵运算层，用于通过矩阵运算对模板点云特征和搜索点云特征进行特征融合，以得到融合特征；
多层感知机，用于对第二矩阵运算层输出的融合特征进行逐点回归，从而得到融合特征中各特征点距离目标框中心的距离和姿态。
本发明将特征融合及回归简化为矩阵运算，并通过逐点相关的方式进行计算，能够提高特征融合及回归的计算效率。
进一步地，第二矩阵运算层，根据F＝(BATA|B)对模板点云特征和搜索点云特征进行特征融合；
其中，A和B分别表示模板点云特征和搜索点云特征，F表示由模板点云特征和搜索点云特征融合得到的融合特征，|表示在特征维度将两个向量进行串接。
本发明根据F＝(BATA|B)进行特征融合，将特征融合转换为了矩阵运算，从而能够直接利用相关的神经网络模型完成相关的计算，进一步提高计算效率。
进一步地，根据上一帧的预测结果在当前帧中截取包含目标框的搜索点云，并在上一帧中截取包含目标框的模板点云，包括：
根据上一帧的预测结果获得目标框在上一帧中的位置P和姿态G，并根据位置P和姿态G建立参考坐标系；
根据位置P在上一帧中截取尺寸为r1*sizeP的模板框，对模板框进行旋转、平移，使模板框中心与参考坐标系的零点重合，并对模板框内的点云数量进行标准化后，将模板框内的点云数据作为模板点云；
根据位置P在当前帧中截取尺寸为r2*sizeP的搜索框，对搜索框进行旋转、平移，使搜索框中心与参考坐标系的零点重合，并对搜索框内的点云数量进行标准化后，将搜索框内的点云数据作为搜索点云；
其中，sizeP表示目标框的尺寸，r1和r2均为预设的扩大倍数，且1＜r1＜r2。
本发明在截取目标点云时，在目标框尺寸的基础上扩大了一定的倍数(r1倍)，能够保证所截取的点云数据充分包含目标物体，在截取搜索点云时，在目标框尺寸的基础上扩大了一定的倍数(r2倍)，能够保证所截取的点云数据充分包含目标物体可能的运动位置，因此，本发明能够保证3D目标跟踪的准确性。
进一步地，3D目标跟踪模型的训练方法包括：
在各帧中目标框的位置和姿态已知的点云序列中，在任意连续两帧中根据上一帧中目标框的位置和姿态，在两帧中分别截取包含目标框的模板点云和搜索点云，由截取得到的模板点云和搜索点云以及当前帧中目标框的位置和姿态构成一个训练样本；
构造多个训练样本，并由所有训练样本构成训练集；
建立3D目标跟踪模型，并利用训练集对所建立的3D目标跟踪模型进行端到端训练。
本发明利用端到端训练的方式完成模型训练，能够使模型有目的性地进行整体优化，从而提高3D目标跟踪的稳定性。
按照本发明的第二方面，提供了一种基于点云序列数据的3D目标跟踪系统，包括计算机可读存储介质和处理器；
计算机可读存储介质用于存储可执行程序；
处理器用于读取计算机可读存储介质中存储的可执行程序，执行本发明第一方面提供的基于点云序列数据的3D目标跟踪方法。
总体而言，通过本发明所构思的以上技术方案，能够取得以下有益效果：
(1)本发明所提供的基于点云序列数据的3D目标跟踪方法及系统，利用点云数据进行3D目标跟踪，能够充分利用物体的立体属性；在上一帧和当前帧中分别截取到模板点云和搜索点云后，采用逐点相关的方式预测相关性系数、进行特征融合以及加权相乘，能够充分结合点云数据的无序性、稀疏性等特性，缩小搜索空间，从而能够提高计算效率，并利用端到端训练方式进行模型训练，提高3D目标跟踪的稳定性。总的来说，本发明能够充分利用物体的立体属性，同时提高3D目标跟踪的计算效率和稳定性。
(2)本发明所提供的基于点云序列数据的3D目标跟踪方法及系统，将相关性预测、特征融合及回归简化为矩阵运算，并通过逐点相关的方式进行计算，能够提高计算效率。
(3)本发明所提供的基于点云序列数据的3D目标跟踪方法及系统，在其优选方案中，根据F＝(BATA|B)进行特征融合，将特征融合转换为了矩阵运算，从而能够直接利用相关的神经网络模型完成相关的计算，进一步提高计算效率。
(4)本发明所提供的基于点云序列数据的3D目标跟踪方法及系统，在截取目标点云时，在目标框尺寸的基础上扩大了一定的倍数(r1倍)，能够保证所截取的点云数据充分包含目标物体，在截取搜索点云时，在目标框尺寸的基础上扩大了一定的倍数(r2倍)，能够保证所截取的点云数据充分包含目标物体可能的运动位置，因此，本发明能够保证3D目标跟踪的准确性。
(5)本发明所提供的基于点云序列数据的3D目标跟踪方法及系统，利用端到端训练的方式完成模型训练，能够使模型有目的性地进行整体优化，从而提高3D目标跟踪的稳定性。
附图说明
图1为本发明实施例提供的基于点云序列数据的3D目标跟踪方法流程图；
图2为本发明实施例提供的室内场景的点云图像；
图3为本发明实施例提供的3D目标跟踪模型示意图；
图4为本发明实施例提供的模板点云标准化前、后的图像；其中，(a)为模板点云标准化之前的图像，(b)为模板点云标准化之后的图像；
图5为本发明实施例提供的搜索点云标准化前、后的图像；其中，(a)为搜索点云标准化之前的图像，(b)为搜索点云标准化之后的图像；
图6为本发明实施例提供的当前帧中3D目标跟踪结果示意图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。此外，下面所描述的本发明各个实施方式中所涉及到的技术特征只要彼此之间未构成冲突就可以相互组合。
在本发明中，本发明及附图中的术语“第一”、“第二”等(如果存在)是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。
为在3D目标跟踪的过程中，充分利用物体的立体属性，同时提高3D目标跟踪的计算效率和稳定性，本发明提供的基于点云序列数据的3D目标跟踪方法，如图1所示，包括：
根据上一帧的预测结果在当前帧中截取包含目标框的搜索点云，并在上一帧中截取包含目标框的模板点云；点云序列数据表示的是物体表面的几何信息，具有无序性、稀疏性等性质，同时也可以很好的表征物体的立体结构信息；点云序列数据可由雷达采集，也可以由深度图像转化得到，如图2所示为NTU RGB-D数据集中使用Kinect在室内场景中采集深度图转化成的点云数据；
对模板点云和搜索点云分别进行标准化之后作为输入，利用已训练好的3D目标跟踪模型预测目标框中心在当前帧中的位置以及目标框在当前帧中的姿态，以确定3D目标在当前帧中的位置，从而在当前帧中完成对3D目标的跟踪；
其中，3D目标跟踪模型的结构如图3所示，包括特征提取网络、相关性预测网络、集成回归网络以及位置预测网络；特征提取网络用于对模板点云和搜索点云进行特征提取，从而分别得到模板点云特征和搜索点云特征；相关性预测网络用于预测搜索点云特征中各特征点的目标性得分；集成回归网络用于对模板点云特征和搜索点云特征进行特征融合后，逐点回归，以得到融合特征中各特征点距离目标框中心的距离和姿态；位置预测网络用于根据搜索点云特征中各特征点的目标性得分，对融合特征中各特征点距离目标框中心的距离和姿态进行加权相乘，从而预测得到目标框中心在当前帧中的位置以及目标框在当前帧中的姿态；
其中，搜索点云特征中各特征点的目标性得分，由搜索点云特征中各特征点与目标点云特征之间的相关性系数经过归一化操作之后得到。
上述基于点云序列数据的3D目标跟踪方法，利用点云数据进行3D目标跟踪，能够充分利用物体的立体属性；在上一帧和当前帧中分别截取到模板点云和搜索点云后，采用逐点相关的方式预测相关性系数、进行特征融合以及加权相乘，能够充分结合点云数据的无序性、稀疏性等特性，缩小搜索空间，从而能够提高计算效率，并利用端到端训练方式进行模型训练，提高3D目标跟踪的稳定性。总的来说，上述基于点云序列数据的3D目标跟踪方法，能够充分利用物体的立体属性，同时提高3D目标跟踪的计算效率和稳定性。
在本实施例中，特征提取网络为不包含用于回归分类结果的全连接层的PointNet++网络；特征提取网络被分为三层，各层中每个点的感受野依次为g1、g2、g3(可分别取0.05、0.1、0.2)，网络的特征维度依次为t1、t2、t3(可分别取128、256、512)，模板点云中点的个数依次降采样到pm1、pm2、pm3(可分别取256、128、64)，搜索点云中点的个数依次降采样到ps1、ps2、ps3(可分别取512、256、128)，采用最远点采样的方式对点云进行降采样，最终，得到的模板点云特征的大小为pm3*t3(如实例即为64*512)，得到的搜索点云特征的大小为ps3*t3(如实例即为128*512)；
相关性预测网络包括第一矩阵运算层、池化层归一化层；
第一矩阵运算层，用于通过矩阵运算计算预测搜索点云特征中各特征点与目标点云特征之间的相关性，从而得到搜素点云和目标点云的逐点相关性；可选地，可根据X＝B×AT进行相关性预测，其中，A和B分别表示模板点云特征和搜索点云特征，X表示相关性矩阵，相关性矩阵X的维度为ps3*pm3(如实例即为128*64)；在此，实际上是根据特征向量之间的特征之间的余弦相似性完成相关性预测，应当理解的是，此处仅为示例性描述，不应理解为对本发明的唯一限定，其他可用于预测特征之间相关性的方法，如欧氏距离等，也可用于本发明；
池化层，用于对通过池化操作将第一矩阵运算层输出的搜索点云和目标点云的逐点相关性转化为搜索点云各特征点和目标的相关性系数；可选地，可使用Maxpool函数对相关性矩阵的第二维度求取最大值，得到的矩阵维度为ps3*1(如实例即为128*1)；
归一化层，用于对池化层输出的结果进行归一化操作，得到搜索点云特征中各特征点的目标性得分；可选地，可使用sigmoid函数对相关性系数进行归一化操作，具体计算公式为
Figure GDA0003525038360000091
计算得到的相关性系数S的维度为ps3*1(如实例即为128*1)，同样地，除了sigmoid函数以外，其他可用于归一化操作的方式也可用于本发明；
集成回归网络包括第二矩阵运算层和多层感知机；
第二矩阵运算层，用于通过矩阵运算对模板点云特征和搜索点云特征进行特征融合，以得到融合特征；作为一种优选的实施方式，第二矩阵运算层具体可根据F＝(BATA|B)对模板点云特征和搜索点云特征进行特征融合；其中，F表示由模板点云特征和搜索点云特征融合得到的融合特征，|表示在特征维度将两个向量进行串接，最终得到的融合特征F的维度为ps3*t3+t3)(如实例即为128*1024)；根据F＝(BATA|B)进行特征融合，将特征融合转换为了矩阵运算，从而能够直接利用相关的神经网络模型完成相关的计算，进一步提高计算效率，但应当说明的是，此处描述不应理解为对本发明的唯一限定，其他可用于进行特征融合的方法也可以用于本发明；
多层感知机，用于对第二矩阵运算层输出的融合特征进行逐点回归，从而得到融合特征中各特征点距离目标框中心的距离和姿态；其中，特征点距离目标框中心的距离和姿态分别包含3个参数，因此，用R表示融合特征中各特征点距离目标框中心的距离和姿态所构成的预测矩阵，则预测矩阵R的维度为ps3*6(如实例即为128*6)；
用Y表示目标框中心在当前帧中的位置以及目标框在当前帧中的姿态所构成的结果矩阵，则位置预测网络根据的相关性预测网络得到相关性系数S，以及集成回归网络得到的预测矩阵R，对融合特征中各特征点距离目标框中心的距离和姿态进行加权相乘，具体计算式为：Y＝STR，结果矩阵Y的维度为1*6；
由于目标框的尺寸已知，在利用3D目标跟踪模型预测得到结果矩阵Y之后，即可确定3D目标在当前帧中的位置，从而在当前帧中完成对3D目标的跟踪；
本实施例将相关性预测、特征融合及回归简化为矩阵运算，并通过逐点相关的方式进行计算，能够提高计算效率。
在一个可选的实施方式中，根据上一帧的预测结果在当前帧中截取包含目标框的搜索点云，并在上一帧中截取包含目标框的模板点云，包括：
根据上一帧的预测结果获得目标框在上一帧中的位置P和姿态G，并根据位置P和姿态G建立参考坐标系；
根据位置P在上一帧中截取尺寸为r1*sizeP的模板框，对模板框进行旋转、平移，使模板框中心与参考坐标系的零点重合，并对模板框内的点云数量进行标准化后，将模板框内的点云数据作为模板点云；其中，r1为预设的扩大倍数且r1＞1，r1的具体取值可根据实际所跟踪的3D目标物体的运动特性确定，以保证模板点云充分包含目标物体，例如，在本实施例中，具体设定r1＝1.15，模板点云标准化前、后的图像分别如图4中的(a)和图4中的(b)所示；
根据位置P在当前帧中截取尺寸为r2*sizeP的搜索框，对搜索框进行旋转、平移，使搜索框中心与参考坐标系的零点重合，并对搜索框内的点云数量进行标准化后，将搜索框内的点云数据作为搜索点云；其中，r2为预设的扩大倍数，且r2＞r1，r2的具体取值可根据实际所跟踪的3D目标物体的运动特性确定，以保证搜索点云充分包含目标物体可能的运动位置，例如，在本实施例中，具体设定r2＝2.5，搜索点云标准化前、后的图像分别如图5中的(a)和图5中的(b)所示；
其中，sizeP表示目标框的尺寸，r1和r2均为预设的扩大倍数，且1＜r1＜r2；
在截取目标点云时，在目标框尺寸的基础上扩大了一定的倍数(r1倍)，能够保证所截取的点云数据充分包含目标物体，在截取搜索点云时，在目标框尺寸的基础上扩大了一定的倍数(r2倍)，能够保证所截取的点云数据充分包含目标物体可能的运动位置，因此，能够保证3D目标跟踪的准确性。
在本实施例中，具体利用NTU RGB-D数据库进行模型训练，3D目标跟踪模型的训练方法具体包括：
在各帧中目标框的位置和姿态已知的点云序列(即NTU RGB-D数据集)中，在任意连续两帧中根据上一帧中目标框的位置和姿态，在两帧中分别截取包含目标框的模板点云和搜索点云，由截取得到的模板点云和搜索点云以及当前帧中目标框的位置和姿态构成一个训练样本；
构造多个训练样本，并由所有训练样本构成训练集；
建立3D目标跟踪模型，并利用训练集对所建立的3D目标跟踪模型进行端到端训练；
本实施例利用端到端训练的方式完成模型训练，能够使模型有目的性地进行整体优化，从而提高3D目标跟踪的稳定性。
采用上述基于点云序列数据的3D目标跟踪方法，最终得到的目标框在当前帧中跟踪结果如图6所示。
本发明还提供了一种基于点云序列数据的3D目标跟踪系统，包括计算机可读存储介质和处理器；
计算机可读存储介质用于存储可执行程序；
处理器用于读取计算机可读存储介质中存储的可执行程序，执行上述基于点云序列数据的3D目标跟踪方法。
本领域的技术人员容易理解，以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (8)

1.一种基于点云序列数据的3D目标跟踪方法，其特征在于，包括：
根据上一帧的预测结果在当前帧中截取包含目标框的搜索点云，并在上一帧中截取包含目标框的模板点云；
对所述模板点云和搜索点云分别进行标准化之后作为输入，利用已训练好的3D目标跟踪模型预测目标框中心在当前帧中的位置以及目标框在当前帧中的姿态，以确定3D目标在当前帧中的位置，从而在当前帧中完成对3D目标的跟踪；
其中，所述3D目标跟踪模型包括特征提取网络、相关性预测网络、集成回归网络以及位置预测网络；所述特征提取网络用于对所述模板点云和所述搜索点云进行特征提取，从而分别得到模板点云特征和搜索点云特征；所述相关性预测网络用于预测所述搜索点云特征中各特征点的目标性得分；所述集成回归网络用于对所述模板点云特征和所述搜索点云特征进行特征融合后，逐点回归，以得到融合特征中各特征点距离目标框中心的距离和姿态；所述位置预测网络用于根据所述搜索点云特征中各特征点的目标性得分，对所述融合特征中各特征点距离目标框中心的距离和姿态进行加权相乘，从而预测得到目标框中心在当前帧中的位置以及目标框在当前帧中的姿态；
其中，所述搜索点云特征中各特征点的目标性得分，由所述搜索点云特征中各特征点与目标点云特征之间的相关性系数经过归一化操作之后得到。
2.如权利要求1所述的基于点云序列数据的3D目标跟踪方法，其特征在于，所述特征提取网络为不包含用于回归分类结果的全连接层的PointNet++网络。
3.如权利要求1所述的基于点云序列数据的3D目标跟踪方法，其特征在于，所述相关性预测网络包括第一矩阵运算层、池化层和归一化层；
所述第一矩阵运算层，用于通过矩阵运算预测所述搜索点云特征中各特征点与所述目标点云特征之间的相关性，从而得到所述搜索点云和所述目标点云的逐点相关性；
所述池化层，用于通过池化操作将所述第一矩阵运算层输出的搜索点云和目标点云的逐点相关性转化为搜索点云各特征点和目标点云之间的相关性系数；
所述归一化层，用于对所述池化层输出的结果进行归一化操作，得到所述搜索点云特征中各特征点的目标性得分。
4.如权利要求1所述的基于点云序列数据的3D目标跟踪方法，其特征在于，所述集成回归网络包括第二矩阵运算层和多层感知机；
所述第二矩阵运算层，用于通过矩阵运算对所述模板点云特征和所述搜索点云特征进行特征融合，以得到融合特征；
所述多层感知机，用于对所述第二矩阵运算层输出的融合特征进行逐点回归，从而得到融合特征中各特征点距离目标框中心的距离和姿态。
5.如权利要求4所述的基于点云序列数据的3D目标跟踪方法，其特征在于，所述第二矩阵运算层，根据F＝((BATA)|B)对所述模板点云特征和所述搜索点云特征进行特征融合；
其中，A和B分别表示所述模板点云特征和所述搜索点云特征，F表示由所述模板点云特征和所述搜索点云特征融合得到的融合特征，|表示在特征维度将两个向量进行串接。
6.如权利要求1-5任一项所述的基于点云序列数据的3D目标跟踪方法，其特征在于，根据上一帧的预测结果在当前帧中截取包含目标框的搜索点云，并在上一帧中截取包含目标框的模板点云，包括：
根据上一帧的预测结果获得目标框在上一帧中的位置P和姿态G，并根据位置P和姿态G建立参考坐标系；
根据位置P在上一帧中截取尺寸为r1*sizeP的模板框，对模板框进行旋转、平移，使模板框中心与所述参考坐标系的零点重合，并对模板框内的点云数量进行标准化后，将模板框内的点云数据作为所述模板点云；
根据位置P在当前帧中截取尺寸为r2*sizeP的搜索框，对搜索框进行旋转、平移，使搜索框中心与所述参考坐标系的零点重合，并对搜索框内的点云数量进行标准化后，将搜索框内的点云数据作为所述搜索点云；
其中，sizeP表示目标框的尺寸，r1和r2均为预设的扩大倍数，且1＜r1＜r2。
7.如权利要求6所述的基于点云序列数据的3D目标跟踪方法，其特征在于，所述3D目标跟踪模型的训练方法包括：
在各帧中目标框的位置和姿态已知的点云序列中，在任意连续两帧中根据上一帧中目标框的位置和姿态，在两帧中分别截取包含目标框的模板点云和搜索点云，由截取得到的模板点云和搜索点云以及当前帧中目标框的位置和姿态构成一个训练样本；
构造多个训练样本，并由所有训练样本构成训练集；
建立所述3D目标跟踪模型，并利用所述训练集对所建立的3D目标跟踪模型进行端到端训练。
8.一种基于点云序列数据的3D目标跟踪系统，其特征在于，包括计算机可读存储介质和处理器；
所述计算机可读存储介质用于存储可执行程序；
所述处理器用于读取所述计算机可读存储介质中存储的可执行程序，执行权利要求1-7任一项所述的基于点云序列数据的3D目标跟踪方法。
CN201911264705.3A 2019-12-11 2019-12-11 一种基于点云序列数据的3d目标跟踪方法及系统 Active CN110969648B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911264705.3A CN110969648B (zh) 2019-12-11 2019-12-11 一种基于点云序列数据的3d目标跟踪方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911264705.3A CN110969648B (zh) 2019-12-11 2019-12-11 一种基于点云序列数据的3d目标跟踪方法及系统

Publications (2)

Publication Number Publication Date
CN110969648A CN110969648A (zh) 2020-04-07
CN110969648B true CN110969648B (zh) 2022-05-20

Family

ID=70033686

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911264705.3A Active CN110969648B (zh) 2019-12-11 2019-12-11 一种基于点云序列数据的3d目标跟踪方法及系统

Country Status (1)

Country Link
CN (1) CN110969648B (zh)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112270365A (zh) * 2020-11-02 2021-01-26 德鲁动力科技(成都)有限公司 目标跟踪方法
CN116671099A (zh) * 2021-03-17 2023-08-29 华为技术有限公司 视频帧处理方法和装置
CN113177969B (zh) * 2021-04-29 2022-07-15 哈尔滨工程大学 一种基于运动方向变化的候选种子的点云单目标跟踪方法
WO2024020824A1 (zh) * 2022-07-27 2024-02-01 香港中文大学(深圳)未来智联网络研究院 目标跟踪方法、装置、设备及存储介质
CN115375731B (zh) * 2022-07-29 2023-07-04 大连宗益科技发展有限公司 一种关联点和体素的3d点云单目标跟踪方法及相关装置
CN117152040B (zh) * 2023-10-26 2024-02-23 埃洛克航空科技（北京）有限公司 一种基于深度图的点云融合方法及装置

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106250881A (zh) * 2016-08-25 2016-12-21 深圳大学 一种基于三维点云数据的目标识别方法及系统
CN109636829A (zh) * 2018-11-24 2019-04-16 华中科技大学 一种基于语义信息和场景信息的多目标跟踪方法
CN110175576A (zh) * 2019-05-29 2019-08-27 电子科技大学 一种结合激光点云数据的行驶车辆视觉检测方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10269147B2 (en) * 2017-05-01 2019-04-23 Lockheed Martin Corporation Real-time camera position estimation with drift mitigation in incremental structure from motion

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106250881A (zh) * 2016-08-25 2016-12-21 深圳大学 一种基于三维点云数据的目标识别方法及系统
CN109636829A (zh) * 2018-11-24 2019-04-16 华中科技大学 一种基于语义信息和场景信息的多目标跟踪方法
CN110175576A (zh) * 2019-05-29 2019-08-27 电子科技大学 一种结合激光点云数据的行驶车辆视觉检测方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
3D点云环境下的快速目标跟踪算法研究;周炳南;《中国优秀硕士学位论文全文数据库 (信息科技辑)》;20181015;I138-712 *
Bioinspired point cloud representation: 3D object tracking;Sergio Orts-Escolano et al.;《Neural Computing and Applications》;20160916;663-672 *

Also Published As

Publication number Publication date
CN110969648A (zh) 2020-04-07

Similar Documents

Publication Publication Date Title
CN110969648B (zh) 一种基于点云序列数据的3d目标跟踪方法及系统
CN111060115B (zh) 一种基于图像边缘特征的视觉slam方法及系统
WO2020186678A1 (zh) 无人机三维地图构建方法、装置、计算机设备及存储介质
Wang et al. Pointloc: Deep pose regressor for lidar point cloud localization
CN110781262B (zh) 基于视觉slam的语义地图的构建方法
CN109063549B (zh) 基于深度神经网络的高分辨率航拍视频运动目标检测方法
CN112307940A (zh) 模型训练方法、人体姿态检测方法、装置、设备及介质
CN103712617A (zh) 一种基于视觉内容的多层语义地图的创建方法
CN111368733B (zh) 一种基于标签分布学习的三维手部姿态估计方法、存储介质及终端
Zhu et al. A review of 6d object pose estimation
Zhao et al. Extracting vessel speed based on machine learning and drone images during ship traffic flow prediction
CN117213470B (zh) 一种多机碎片地图聚合更新方法及系统
Fischer et al. StickyLocalization: robust end-to-end relocalization on point clouds using graph neural networks
Tsintotas et al. The revisiting problem in simultaneous localization and mapping
WO2022126529A1 (zh) 定位的方法、设备、无人机和存储介质
Tsintotas et al. Visual place recognition for simultaneous localization and mapping
CN112699713B (zh) 一种语义线段信息的检测方法及装置
Tsintotas et al. Online Appearance-Based Place Recognition and Mapping: Their Role in Autonomous Navigation
CN112069997B (zh) 一种基于DenseHR-Net的无人机自主着陆目标提取方法及装置
CN115375742A (zh) 生成深度图像的方法及系统
Steenbeek CNN based dense monocular visual SLAM for indoor mapping and autonomous exploration
Hilali et al. Tourist Mobility Patterns: Faster R-CNN Versus YOLOv7 for Places of Interest Detection
Chen et al. Towards bio-inspired place recognition over multiple spatial scales
CN114120095A (zh) 一种基于空中三维模型的移动机器人自主定位系统及方法
Miao et al. A Survey on Monocular Re-Localization: From the Perspective of Scene Map Representation

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant