CN113177969A - 一种基于运动方向变化的候选种子的点云单目标跟踪方法 - Google Patents

Abstract

本发明公开了一种基于运动方向变化的候选种子的点云单目标跟踪方法，包括训练模块和测试模块，训练模块首先对点云预处理得到模板点云，其次使用高斯采样得到候选点云，再次将模板点云和候选点云输入编码器进行编码，得到对应的特征向量，最后分别计算距离损失函数与方向损失函数并且训练整个模型。测试模块首先使用预先训练的PointRcnn模型进行目标检测，其次进行候选区域采样，再次将采样的候选点云与上一帧跟踪目标点云输入到训练好的模型进行编码，最后对编码后的特征向量使用余弦相似性对比进行目标跟踪。本发明方法能够提高单目标跟踪精度，有效防止错跟踪现象出现。

Description

一种基于运动方向变化的候选种子的点云单目标跟踪方法

技术领域

本发明涉及一种点云单目标跟踪方法，特别是一种基于运动方向变化的候选种子的点云单目标跟踪方法，属于3D点云目标跟踪领域。

背景技术

目前国内外对目标跟踪主要集中在计算机视觉和激光雷达的方向上，计算机视觉主要是指在图像和视频中获取信息，由于获取的信息易受到天气、光线和目标刚性变化的影响，如遇到极端天气状或者跟踪目标点云遭到遮挡截断等情况下，单靠计算机视觉方法难以全面的得到目标信息，因而出现错跟、漏跟等现象，使目标跟踪效果不佳。激光雷达获取的3D点云信息具有多角度、更立体、高精度、具有景深信息等优点，对于目标跟踪更有潜力。

现有的3D目标跟踪技术主要分为：2D图像与3D点云交互跟踪方法与仅使用3D点云跟踪方法。2D图像与3D点云交互跟踪方法是利用目标的2D颜色、纹理等信息与3D点云景深姿态描述等相互结合进而跟踪；而仅使用3D点云跟踪利用点云自身所获得的信息进行跟踪，具体包括位置、方向角、截断、遮挡等点云信息。除此外，3D点云跟踪还分为传统跟踪方法与基于深度学习框架跟踪方法，传统方法进行3D目标跟踪如AB3DMOT，它基于3D卡尔曼滤波进行目标跟踪，方法简单但是跟踪精度较低。近年来随着深度学习的发展，越来越多的基于深度学习的神经网络框架逐渐的应用到的3D点云领域，但是更集中于3D目标的检测，如PointNet、pointRCNN、3D ShapeNets、YOLO等网络框架提出，这些网络框架能够有效的检测3D物体，有些学者在有效的检测基础上进一步研究，Complexer-YOLO3DDT将视觉语义与三D目标检测相结合进行目标跟踪。2D-3DSiamese在BEV视角进行3D交互进而跟踪。SC3D在卡尔曼滤波的搜索策略下进行Siamese匹配进而跟踪。

当下多数算法致力于点云多目标跟踪而少有算法进行点目标跟踪，现有的单目标跟踪算法有两个方面的问题：1、跟踪训练过程中仅关心目标距离与而忽略目标的运动方向，导致单目标跟踪精度低；2、在实现过程中，目标点云与全局候选点云做匹配对比，经常出现在较远位置的候选点云与跟踪目标点云的相似度高于实际目标点云与跟踪目标点云的相似度，故易出现错跟踪的现象。

发明内容

针对上述现有技术，本发明要解决的技术问题是提供一种基于运动方向变化的候选种子的点云单目标跟踪方法，可以提高单目标跟踪精度，防止错跟踪现象。

为解决上述技术问题，本发明的一种基于运动方向变化的候选种子的点云单目标跟踪方法，包括训练部分和测试部分，训练部分包括以下步骤：

步骤1.1：对激光雷达上获取的点云数据预处理：对所有片段的目标点云中心点进行居中对齐，并且裁剪成为一个模板点云，并保证所裁剪的目标点云点数N固定，得到该目标的模板点云X；

步骤1.2：对每一帧跟踪目标点云进行高斯采样，高斯采样以目标点云的中心为原点，得到m个关于位置的偏置(Δx,Δy,Δz)，将位置的偏置附加到该帧跟踪目标点云中心坐标(x，y，z)上，得到候选点云的中心坐标

目标点云的长宽高作为候选点云的长宽高，将当前帧的目标点云的所有点添加给候选点云，并保持点数与模板点云点数N一致，若少于模板点云点数则随机增加点云点数，若多于模板点云点数随机抛弃模板点数，得到m组候选点云

步骤1.3：分别将模板点云和候选点云依次输入到编码器，得到1个模板点云的模板特征向量F_m和m个候选点云的候选特征向量F_C,编码器包括三个顺序连接的相同的子结构，每个子结构包括1D cov层、ReLU层和BN层，最后一个子结构连接最大池化层；

步骤1.4：计算余弦相似性，模板特征向量F_m分别与候选特征向量F_c做相似度表达，具体为：

步骤1.5：计算距离损失函数，高斯采样得到m个关于位置的偏置，偏置是模板点云X中心与候选点云

中心的空间距离，使用d＝L2范数表示空间距离，并且使用三维高斯函数ρ(d)将空间距离范数归一化成0到1之间，采用均方损失函数作为回归函数，距离损失函数具体为：

其中，n为一次训练时的样本数量；

步骤1.6：计算方向损失函数，采用均方损失函数作为回归函数，距离损失函数具体为：

其中，BC_m为当前帧的跟踪点云目标的3维框，BC_c为当前帧的候选点云的3维框，BC_m∩BC_c表示当前帧的跟踪点云目标与候选点云的交集，BC_m∪BC_c表示当前帧的跟踪点云目标与候选点云并集，

认为是当前帧的跟踪点云目标与候选点云的运动方向差，其数值范围为(0，1)，n为一次训练时的样本数量；

步骤1.7：训练，训练的损失函数具体为：

L_tr＝λL_d+(1-λ)L_o+λ_coL_co

其中，参数λ_co与λ均为设定常数，循环步骤1.1到步骤1.7进行训练；

测试部分包括以下步骤：

步骤2.1：检测当前帧点云目标：对当前帧的点云使用PointRcnn模型进行目标检测；

步骤2.2：候选区域采样：对于上一帧的跟踪结果，根据以其中心坐标(x，y，z)和长宽高(l,w,h)为尺度计算候选区域CR，

然后判断所有检测到的前帧点云目标的中心坐标是否在候选区域CR内，若存在候选区域CR内的检测目标，则这些目标即为候选点云；若无检测目标的坐标在候选区域CR内，则以上一帧跟踪目标的中心坐标为原点，进行高斯采样，得到n个关于位置的偏置(Δx,Δy,Δz)，将位置的偏置附加到上一帧跟踪目标的中心坐标(x，y，z)上，得到候选点云的中心坐标

目标的长宽高作为候选点云的长宽高，将上一帧跟踪目标点云添加给每一个候选点云；

步骤2.3：编码：使用训练部分训练后的模型对将上一帧跟踪目标点云和候选点云进行编码，得到1个上一帧跟踪目标点云特征向量和m个候选点云特征向量；

步骤2.4：余弦相似性判断：将1个上一帧跟踪目标点云特征向量分别与m个候选点云特征向量进行余弦相似性对比，其中余弦相似性最大值对应的点云即跟踪目标；

步骤2.5：重复步骤2.1到步骤2.4，目标所出现的所有帧全部跟踪结束为止。

本发明还包括：

1.步骤1.6中3维框具体为：

其中(l,w,h)表示长宽高，(x，y，z)表示中心坐标。

2.步骤2.2中候选区域CR，具体为：

其中，

为空间尺度。

本发明的有益效果：本发明和现有技术相比：1、损失函数回归不仅回归目标的距离，而且回归目标的运动方向；2、局限候选点云范围，在跟踪目标点云的3维候选区域选择候选点云与目标点云匹配，而不是全局候选点云与目标点云匹配。

本发明使用成功率(实际目标点云与跟踪结果点云重叠度)与精确度(实际目标点云与跟踪结果点云质心距离)作为评价指标，与现有技术相比，评价指标提高了17.4％/16.3％，跟踪精度可达到58.7％/74.2％，同时本发明使用候选点云跟踪而不是所有检测目标进行匹配，能够有效的防止错误跟踪与漏跟踪现象出现。

附图说明

图1为训练模块整体流程图。

图2为编码器结构。

图3为测试模块整体流程图。

图4为候选区域采样。

具体实施方式

下面结合附图和具体实施方式对本发明做进一步说明。

本发明的是这样实现的：本方法是针对于3D点云进行单目标跟踪，包括训练模块和测试模块，训练模块首先对点云预处理得到模板点云，其次使用高斯采样得到候选点云，再次将模板点云和候选点云输入编码器进行编码，得到对应的特征向量，最后分别计算距离损失函数与方向损失函数并且训练整个模型。测试模块首先使用预先训练的PointRcnn模型进行目标检测，其次进行候选区域采样，再次将采样的候选点云与上一帧跟踪目标点云输入到训练好的模型进行编码，最后对编码后的特征向量使用余弦相似性对比进行目标跟踪。该方法包括训练模块和测试模块。

训练模块流程图如图1所示，包括点云预处理、高斯采样、计算损失函数与训练模型。

具体内容如下：

步骤1：预处理，对所需要跟踪目标点云所存在的所有片段都进行预处理，对每一帧的目标点云，依据将所有片段的目标点云中心点都进行居中对齐，并且裁剪成为一个模板点云，并保证所裁剪的目标点云点数N固定，经过预处理后即得到该目标的模板点云X(1组)。

步骤2：高斯采样，对每一帧以跟踪目标点云的都进行高斯采样，高斯采样以目标点云的中心为原点，得到m个关于位置的偏置(Δx,Δy,Δz)，将位置的偏置附加到该帧跟踪目标点云中心坐标(x，y，z)上，得到候选点云的中心坐标

目标点云的长宽高作为候选点云的长宽高，将当前帧的目标点云的所有点添加给候选点云，并保持点数与模板点云点数N一致，若少于模板点云点数则随机增加点云点数，若多余模板点云点数随机抛弃模板点数，这样得到m组候选点云

m为设定的自然数。

步骤3：编码，点云输入到编码器进行编码，得到表征特征的特征向量，如图2所示，编码器为1D cov层、ReLU层和BN层，循环三次，最后是最大池化层。分别将模板点云和候选点云依次输入到编码器，得模板点云的模板特征向量F_m(1个)和候选点云的候选特征向量F_c(m个)。

步骤4：计算余弦相似性，使用余弦相似函数表征两个特征向量是否相似两个向量的夹角表示特征向量的相似程度，向量越相似则余弦相似度函数越大，余弦相似度最大值为1，最小值为0。模板特征向量F_m分别与候选特征向量F_c做相似度表达，如公式(1)所示。

步骤5：计算距离损失函数，高斯采样得到m个关于位置的偏置，偏置是模板点云X中心与候选点云

中心的空间距离，使用d＝L2范数表示空间距离，并且使用三维高斯函数ρ(d)将空间距离范数归一化成0到1之间，采用均方损失函数(MSE Loss)作为回归函数。距离损失函数如公式(2)所示，其中n为一次训练时的样本数量，一般设置为32。

步骤6：计算方向损失函数，3D跟踪点云目标的3维框BC如公式(3)所示，其中(l,w,h)表示长宽高，(x，y，z)表示中心坐标，BC_m为当前帧的跟踪点云目标的3维框，BC_c为当前帧的候选点云的3维框，BC_m∩BC_c表示当前帧的跟踪点云目标与候选点云的交集，BC_m∪BC_c表示当前帧的跟踪点云目标与候选点云并集，

认为是当前帧的跟踪点云目标与候选点云的运动方向差，其数值范围为(0，1)。采用均方损失函数(MSE Loss)作为回归函数。距离损失函数如公式(4)所示，其中n为一次训练时的样本数量，一般设置为32。

步骤7：训练：最后训练整个模型，训练整体损失函数如公式(5)所示，其中参数λ_co与λ均为常数，其中λ_co＝1e-2，λ＝0.4。循环步骤1到步骤8进行训练。

L_tr＝λL_d+(1-λ)L_o+λ_coL_co (5)

测试模块流程图如图3所示。具体内容如下：

步骤一：检测当前帧点云目标：对当前帧的点云使用预先训练的PointRcnn模型进行目标检测。

步骤二：候选区域采样检测：候选区域采样具体实现流程图如图4所示，对于上一帧的跟踪结果，根据以其中心坐标(x，y，z)和长宽高(l,w,h)为尺度计算候选区域CR，

为空间尺度，如公式(6)所示，然后判断所有检测到的前帧点云目标的中心坐标是否在候选区域CR内，若存在候选区域CR内的检测目标，则这些目标即为候选点云；若无检测目标的坐标在候选区域CR内，则以上一帧跟踪目标的中心坐标为原点，进行高斯采样，得到n个关于位置的偏置(Δx,Δy,Δz)，将位置的偏置附加到上一帧跟踪目标的中心坐标(x，y，z)上，得到候选点云的中心坐标

目标的长宽高作为候选点云的长宽高，将上一帧跟踪目标点云添加给每一个候选点云。

步骤三：编码：使用训练好的模型对将上一帧跟踪目标点云(1组)和候选点云(m组)进行编码，得到上一帧跟踪目标点云特征向量(1个)和候选点云特征向量(m个)。

步骤四：余弦相似性判断：将上一帧跟踪目标点云特征向量(1个)分别与候选点云特征向量(m个)进行余弦相似性对比，其中余弦相似性最大值对应的点云即跟踪目标。

步骤五：重复步骤一到步骤四，目标所出现的所有帧全部跟踪结束为止。

下面结合具体参数给出实施例：

结合图1，本发明基于运动方向与候选点云的点云单目标跟踪方法，包括以下步骤：

步骤1：点云预处理：加载Kitti数据集，对所需要跟踪目标点云的所存在所有片段都进行预处理，对所有帧的目标点云，依据目标点云的中心点进行居中对齐，并且裁剪，保证所裁剪的目标点云点数N固定，其中设置N＝500，经过预处理后即得到该目标的模板点云X(1组)。

步骤2：高斯采样：对每一帧以跟踪目标点云的都进行高斯采样，高斯采样以目标的中心为原点，协方差矩阵为cov＝[[1,0,0],[0,1,0][0,0,1]],得到n个关于位置的偏置(Δx,Δy,Δz)，将位置的偏置附加到该帧跟踪目标点云位置(x，y，z)上，得到候选点云的中心位置

目标的长宽高作为候选点云的长宽高，将当前帧的目标点云的所有点添加给候选点云，并保持点数与模板点云点数一致，其中点数N＝500，若少于模板点云点数则随机增加点云点数，若多余模板点云点数随机抛弃模板点数，这样得到m组候选点云

其中设置m＝128。

步骤3：编码：点云输入到编码器进行编码，得到表征特征的特征向量，如图2所示，编码器为1D cov层、ReLU层和BN层，循环三次，最后是最大池化层。将一组点云送入编码器，500*3个点云(其中500表示点的个数，3表示维度)先经过1D cov层再次经过ReLU层再次经过BN层，得到500*64，维度为64，再经过1D cov层再次经过ReLU层再次经过BN层，得到500*128，维度为128，再经过1D cov层再次经过ReLU层再次经过BN层，得到N＝500*128，维度为128，最后经过最大池化层得到编码后的特征向量。我们选择的训练样本数batch_size为32。依次将模板点云和候选点云送入编码器，得到模板特征向量F_m(1个)和候选点云的候选特征向量F_c(m个)。

步骤4：计算余弦相似性：如公式(1)所示，分别计算模板特征向量F_m与每一个的候选特征向量F_c(m个)的余弦相似性值。

步骤5：如公式(2)与公式(4)计算损失函数。

步骤6：重复步骤1到5进行训练，迭代次数为80，使用Adam优化器，并用随机梯度下降优化算法训练迭代网络模型。

一种基于运动方向与候选点云的点云单目标跟踪方法，测试模块整体流程如图3所示，训练内容具体实施如下：

步骤1：目标出现的第一帧的点云为跟踪目标点云，以后每一帧都以前一帧的跟踪结果为跟踪目标点云。

步骤2：当前帧的点云使用预先训练的PointRcnn模型进行目标检测。

步骤3：候选区域采样过程如图4所示，以上一帧跟踪目标的中心坐标(x，y，z)为中心，以长宽高(l,w,h)为尺度计算候选区域，如公式(7)所示，其中尺度参数

选择候选区域。判断候选区域内是否存在3D检测目标，若存在则检测目标为候选点云。若不存在，以上一帧跟踪目标中心坐标(x，y，z)为中心，协方差矩阵cov＝[[1,0,0],[0,1,0],[0,0,1]]，n＝80,进行随机高斯采样采样，再次判断检测而目标是否再候选区域，将质心在候选区域的目标作为候选点云。

步骤4：使用训练后模型对模上一帧跟踪目标点云与候选点云的分别进行编码，得到上一帧跟踪目标点云特征向量和候选点云特征向量。

步骤5：将上一帧跟踪目标点云特征向量分别与每一个候选点云特征向量进行余弦相似性比对，如公式(1)对比，对比结果是在[0,1]之间，选择最大值对应的候选点云即为跟踪目标点云。以此重复步骤1到步骤5，如此进行单目标跟踪。

我们使用成功率(实际目标点云与跟踪结果点云重叠度)与精确度(实际目标点云与跟踪结果点云质心距离)作为评价标准，本方法在搭载三维激光扫描仪的自动驾驶汽车KITTI点云数据集测试，实验证明我们的方法使用候选点云匹配而非对所有检测目标进行匹配，能够有效的防止错误跟踪与漏跟踪现象出现，跟踪精度可达到58.7％/74.2％。

Claims (3)

1.一种基于运动方向变化的候选种子的点云单目标跟踪方法，其特征在于，包括训练部分和测试部分，训练部分包括以下步骤：

步骤1.1：对激光雷达上获取的点云数据预处理：对所有片段的目标点云中心点进行居中对齐，并且裁剪成为一个模板点云，并保证所裁剪的目标点云点数N固定，得到该目标的模板点云X；

步骤1.2：对每一帧跟踪目标点云进行高斯采样，高斯采样以目标点云的中心为原点，得到m个关于位置的偏置(Δx,Δy,Δz)，将位置的偏置附加到该帧跟踪目标点云中心坐标(x，y，z)上，得到候选点云的中心坐标

目标点云的长宽高作为候选点云的长宽高，将当前帧的目标点云的所有点添加给候选点云，并保持点数与模板点云点数N一致，若少于模板点云点数则随机增加点云点数，若多于模板点云点数随机抛弃模板点数，得到m组候选点云

步骤1.3：分别将模板点云和候选点云依次输入到编码器，得到1个模板点云的模板特征向量F_m和m个候选点云的候选特征向量F_C,编码器包括三个顺序连接的相同的子结构，每个子结构包括1D cov层、ReLU层和BN层，最后一个子结构连接最大池化层；

步骤1.4：计算余弦相似性，模板特征向量F_m分别与候选特征向量F_c做相似度表达，具体为：

步骤1.5：计算距离损失函数，高斯采样得到m个关于位置的偏置，偏置是模板点云X中心与候选点云

中心的空间距离，使用d＝L2范数表示空间距离，并且使用三维高斯函数ρ(d)将空间距离范数归一化成0到1之间，采用均方损失函数作为回归函数，距离损失函数具体为：

其中，n为一次训练时的样本数量；

步骤1.6：计算方向损失函数，采用均方损失函数作为回归函数，距离损失函数具体为：

其中，BC_m为当前帧的跟踪点云目标的3维框，BC_c为当前帧的候选点云的3维框，BC_m∩BC_c表示当前帧的跟踪点云目标与候选点云的交集，BC_m∪BC_c表示当前帧的跟踪点云目标与候选点云并集，

认为是当前帧的跟踪点云目标与候选点云的运动方向差，其数值范围为(0，1)，n为一次训练时的样本数量；

步骤1.7：训练，训练的损失函数具体为：

L_tr＝λL_d+(1-λ)L_o+λ_coL_co

其中，参数λ_co与λ均为设定常数，循环步骤1.1到步骤1.7进行训练；

测试部分包括以下步骤：

步骤2.1：检测当前帧点云目标：对当前帧的点云使用PointRcnn模型进行目标检测；

步骤2.2：候选区域采样：对于上一帧的跟踪结果，根据以其中心坐标(x，y，z)和长宽高(l,w,h)为尺度计算候选区域CR，

然后判断所有检测到的前帧点云目标的中心坐标是否在候选区域CR内，若存在候选区域CR内的检测目标，则这些目标即为候选点云；若无检测目标的坐标在候选区域CR内，则以上一帧跟踪目标的中心坐标为原点，进行高斯采样，得到n个关于位置的偏置(Δx,Δy,Δz)，将位置的偏置附加到上一帧跟踪目标的中心坐标(x，y，z)上，得到候选点云的中心坐标

目标的长宽高作为候选点云的长宽高，将上一帧跟踪目标点云添加给每一个候选点云；

步骤2.3：编码：使用训练部分训练后的模型对将上一帧跟踪目标点云和候选点云进行编码，得到1个上一帧跟踪目标点云特征向量和m个候选点云特征向量；

步骤2.4：余弦相似性判断：将1个上一帧跟踪目标点云特征向量分别与m个候选点云特征向量进行余弦相似性对比，其中余弦相似性最大值对应的点云即跟踪目标；

步骤2.5：重复步骤2.1到步骤2.4，目标所出现的所有帧全部跟踪结束为止。

2.根据权利要求1所述的一种基于运动方向变化的候选种子的点云单目标跟踪方法，其特征在于：步骤1.6所述3维框具体为：

其中(l,w,h)表示长宽高，(x，y，z)表示中心坐标。

3.根据权利要求1或2所述的一种基于运动方向变化的候选种子的点云单目标跟踪方法，其特征在于：步骤2.2所述候选区域CR，具体为：

其中，

为空间尺度。

Images