CN112767447A - 基于深度霍夫优化投票的时敏单目标跟踪方法、存储介质和终端 - Google Patents

Abstract

本发明公开了基于深度霍夫优化投票的时敏单目标跟踪方法、存储介质和终端，方法包括：提取模板点云P_temp和搜索点云P_sea的几何特征，并生成模板种子点集Q和搜索种子点集R；通过计算Q和R的相似度矩阵T将目标信息编码到搜索空间中，生成搜索种子点集D；编码后的搜索种子点d_j通过投票产生对应的潜在目标中心点c_j，并基于置信度得分B从潜在目标中心C中筛选出具有高置信度的潜在目标中心E；采样和聚集高可信度的潜在目标中心E，产生K个提议，具有最高得分的提议作为最终的预测结果Φ；基于前一帧目标的预测结果更新模板点云P_temp。本发明可以高效稳定地对场景中的时敏单目标进行持续跟踪，得到单目标连续的运动轨迹。

Description

基于深度霍夫优化投票的时敏单目标跟踪方法、存储介质和 终端

技术领域

本发明涉及目标跟踪领域，尤其涉及基于深度霍夫优化投票的时敏单目标跟踪方法、存储介质和终端。

背景技术

基于点云数据的三维时敏单目标跟踪是自动驾驶和机器人视觉等相关领域应用的基础。现有的三维目标跟踪方法大都继承二维目标跟踪中的经验，对于RGB信息有很强的依赖性。但是当环境因素变化导致RGB信息退化时，这些方法的性能会变得很差甚至失效。三维点云数据描述场景的几何信息，其采集过程不受光照变化的影响，相较于RGB信息更适用于目标跟踪任务。然而，三维点云数据的不规则性、无序性和稀疏性导致传统二维目标跟踪的方法(如基于孪生神经网络的算法)无法直接应用，为三维时敏单目标跟踪带来巨大的挑战。

发明内容

本发明的目的在于克服现有技术的不足，提供一种基于深度霍夫优化投票的时敏单目标跟踪方法、存储介质和终端。

本发明的目的是通过以下技术方案来实现的：

本发明的第一方面，提供基于深度霍夫优化投票的时敏单目标跟踪方法，包括以下步骤：

使用PointNet++网络提取模板点云P_temp和搜索点云P_sea的几何特征，并生成模板种子点集Q和搜索种子点集R；通过计算Q和R的相似度矩阵T将目标信息编码到搜索空间中，生成编码了目标信息的搜索种子点集D；

编码后的搜索种子点d_j通过投票产生对应的潜在目标中心点c_j，并基于置信度得分B从潜在目标中心C中筛选出具有高置信度的潜在目标中心E；

采样和聚集高可信度的潜在目标中心E，产生K个提议，具有最高得分的提议作为最终的预测结果Φ；

采用模板点云更新策略γ，基于前一帧目标的预测结果更新模板点云P_temp。

进一步地，所述使用PointNet++网络提取模板点云P_temp和搜索点云P_sea的几何特征，并生成模板种子点集Q和搜索种子点集R，包括：

向PointNet++网络输入模板点云

和搜索点云

得到模板种子点集

和搜索种子点集

其中M₁代表模板种子点集Q中种子点的数量，M₂代表搜索种子点集R中种子点的数量，q_i和r_j分别代表模板种子点和搜索种子点，由三维坐标

和特征

构成；

所述通过计算Q和R的相似度矩阵T将目标信息编码到搜索空间中，生成编码了目标信息的搜索种子点集D，包括：

使用余弦距离计算Q和R之间的相似度，生成相似度矩阵T＝(M₂，M₁)，计算公式如下所示：

其中，T_j，i是T中的第j行，表示了r_j与Q中所有种子点的相似度；

使用Q的空间坐标和特征增强，每个T_j，i得到一个大小为M₁×(1+3+d₁)的张量；通过包括多层感知机络和最大池化的操作ψ得到r_j的特定目标特征

最后，通过合并的三维坐标

和特定目标特征

生成编码目标信息的搜索种子点集

进一步地，所述编码后的搜索种子点d_j通过投票产生对应的潜在目标中心点c_j，并基于置信度得分B从潜在目标中心C中筛选出具有高置信度的潜在目标中心E，包括：

每个d_j通过多层感知机预测出

和

以生成

其中

是指通过预测出的当前搜索种子点到目标中心的三维坐标偏移量，

是指通过预测出的当前搜索种子点到目标中心的特征偏移量；

每个d_j通过多层感知机预测出一个置信度得分

在真实目标表面的种子点被认为是高置信度的，其余的被认为是低置信度的，总置信度得分为

根据置信度得分从潜在目标中心

中挑选出具有高置信度的潜在目标中心

其中，e_k表示得分排名在前50％的种子点。

进一步地，采样和聚集高可信度的潜在目标中心E，产生K个提议，具有最高得分的提议作为最终的预测结果Φ，包括：

每个e_k可以以R半径使用球查询来聚集生成一个簇G_k，其中G_k＝{e_l|||e_l-e_k||₂＜R}；

采用最远点采样从E中计算出大小为K的子集，作为簇中心生成K个簇；

最后，每个簇

通过包括多层感知机络和最大池化的操作ω得到提议得分S_t和提议P_t，选取具有最高得分的P_t来生成最后的预测结果Φ；

其中，

表示簇中心点到预测中心点的偏移，

表示X-Y平面的旋转角度；

其中

表示簇

中心点的三维坐标。

进一步地，所述采用模板点云更新策略γ，基于前一帧目标的预测结果更新模板点云P_temp，包括：

在生成了当前帧的预测结果Φ后，基于模板点云更新策略γ，生成下一帧的模板点云，以适应目标外观的变化；即指定目标在第一帧的位置为模板点云，之后每一帧的模板点云通过融合第一帧的模板点云和前一帧预测的目标点云生成。

进一步地，所述方法还包括：

通过XXX损失函数L_reg来训练

通过交叉熵损失函数L_cla来训练置信度得分

通过交叉熵损失函数L_pro训练S_t；采用smooth-L1损失函数L_box训练正样本提议中的P_t；

总损失函数为：

L＝L_reg+γ₁L_cla+γ₂L_pro+γ₃L_box。

进一步地，smooth-L1损失函数L_reg的定义为：

式中，Δgt_j表示dj到目标中心的真实偏移量；

为指示函数，表示只训练在真实目标表面的种子点；M_ts表示被训练点的数量；

交叉熵损失函数L_cla的定义为：

式中，y_j表示第j个搜索种子点是否在目标上的标签，在目标上为1，不在目标上为0；b_j表示第j个搜索种子点预测在目标上的概率；M₂表示搜索种子点的数量；

交叉熵损失函数L_pro的定义为：

式中，

表示第t个簇中心点与目标中心的距离标签，当距离小于0.3m时为1，当距离大于0.6m时为0；S_t表示第t个簇预测的得分；K表示簇的数量；

smooth-L1损失函数L_box的定义为：

式中，

表示

的簇中心到目标中心的真实偏移量；

表示目标在X-Y平面的真实旋转角度；

为指示函数，表示只训练簇中心与目标中心距离小于0.3m或者大于0.6m的簇；M_tg表示被训练簇的数量。

进一步地，损失函数的权重取值为：γ₁＝0.18，γ₂＝1.47，γ₃＝0.18。

本发明的第二方面，提供一种存储介质，其上存储有计算机指令，所述计算机指令运行时执行所述的基于深度霍夫优化投票的时敏单目标跟踪方法的步骤。

本发明的第三方面，提供一种终端，包括存储器和处理器，所述存储器上存储有可在所述处理器上运行的计算机指令，所述处理器运行所述计算机指令时执行所述的基于深度霍夫优化投票的时敏单目标跟踪方法的步骤。

本发明的有益效果是：

(1)在本发明一示例性实施例中，首先充分挖掘模板和搜索空间中目标的相似性，将目标模板中的信息有效地编码到搜索空间中，为目标跟踪提供高鉴别力的特征信息，同时该方法对点云的无序性和不规则性保持鲁棒；其次，把目标表面的每一个点回归到物体中心，再聚集目标的候选中心点生成提议，可以获取目标更多的全局信息，从而得到更加准确的检测结果；最后，以帧为单位，通过输入在一个时间序列下连续多帧的搜索空间点云和融合第一帧目标点云与前一帧预测目标点云的模板点云进行持续跟踪，从而可以高效稳定地对场景中的时敏单目标进行持续跟踪，得到单目标连续的运动轨迹(该方法既包含了目标在第一帧中的真实值，又结合了每一帧的预测结果。在目标物体外观发生改变时，通过融合改变过程中的每一帧中的预测目标点云，可以很好地适应目标形状的改变)。

(2)在本发明一示例性实施例中，公开了各个方法的具体实现方式。

附图说明

图1为本发明一示例性实施例提供的发明流程图。

具体实施方式

下面结合附图对本发明的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

在本申请使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本申请。在本申请和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义。还应当理解，本文中使用的术语“和/或”是指并包含一个或多个相关联的列出项目的任何或所有可能组合。

应当理解，尽管在本申请可能采用术语第一、第二、第三等来描述各种信息，但这些信息不应限于这些术语。这些术语仅用来将同一类型的信息彼此区分开。例如，在不脱离本申请范围的情况下，第一信息也可以被称为第二信息，类似地，第二信息也可以被称为第一信息。取决于语境，如在此所使用的词语“如果”可以被解释成为“在……时”或“当……时”或“响应于确定”。

给定目标模板点云

和搜索点云

目标跟踪方法预测目标在搜索空间中的位置信息Φ。其中，N₁代表模板点云中点的数量，N₂代表搜索点云中点的数量，Φ由目标中心的坐标以及X-Y平面的旋转角度构成。

其中，搜索点云的定义可以是：在某一帧中，通过三维雷达扫描仪得到的待搜索空间中所有点构成的集合。(每个点由在空间中的三维坐标构成)

参见图1，图1示出了本发明的一示例性实施例提供的基于深度霍夫优化投票的时敏单目标跟踪方法，包括以下步骤：

使用PointNet++网络提取模板点云P_temp和搜索点云P_sea的几何特征，并生成模板种子点集Q和搜索种子点集R；通过计算Q和R的相似度矩阵T将目标信息编码到搜索空间中，生成编码了目标信息的搜索种子点集D；

编码后的搜索种子点d_j通过投票产生对应的潜在目标中心点c_j，并基于置信度得分B从潜在目标中心C中筛选出具有高置信度的潜在目标中心E；

采样和聚集高可信度的潜在目标中心E，产生K个提议，具有最高得分的提议作为最终的预测结果Φ；

采用模板点云更新策略γ，基于前一帧目标的预测结果更新模板点云P_temp。

具体地，在现有技术中，单个目标表面的点可以直接生成目标提议，但是由于单个目标表面的点只捕获了目标的局部信息，无法有效地描述目标的全局信息，所以无法得到目标在三维空间中精确的位置。

而在本示例性实施例中提出的基于优化的深度霍夫投票的跟踪方法，首先充分挖掘模板和搜索空间中目标的相似性，将目标模板中的信息有效地编码到搜索空间中，为目标跟踪提供高鉴别力的特征信息，同时该方法对点云的无序性和不规则性保持鲁棒；其次，把目标表面的每一个点回归到物体中心，再聚集目标的候选中心点生成提议，可以获取目标更多的全局信息，从而得到更加准确的检测结果；最后，以帧为单位，通过输入在一个时间序列下连续多帧的搜索空间点云和融合第一帧目标点云与前一帧预测目标点云的模板点云进行持续跟踪，从而可以高效稳定地对场景中的时敏单目标进行持续跟踪，得到单目标连续的运动轨迹(该方法既包含了目标在第一帧中的真实值，又结合了每一帧的预测结果。在目标物体外观发生改变时，通过融合改变过程中的每一帧中的预测目标点云，可以很好地适应目标形状的改变)。

该示例性实施例的方法充分挖掘模板和搜索空间中目标的相似性，有效应对点云的无序性和不规则性以及目标外观变化，能够高效稳定地对场景中的时敏单目标进行持续跟踪。能够筛选并编码目标局部信息，有效应对点云的稀疏性和目标运动过程中外观变化。

另外，需要说明的是，在一示例性实施例中，目标信息指的是在目标模板点云中对目标三维外观的描述。

具体地，从模板点云和搜索点云中提取种子点，采用面向目标的特征提取方法编码目标信息；然后，通过投票和筛选生成高置信度的潜在目标中心；之后，执行联合提议和验证生成预测结果；最后进行模板更新。

下述示例性实施例分别对上述四个步骤进行详细展开：

其中，面向目标的特征提取将模板中的目标信息编码到搜索空间中，充分挖掘搜索空间和模板中目标的几何相似性，为后续目标的跟踪提供高鉴别力的特征表示。首先通过PointNet++网络从目标模板点云和搜索空间点云中获取种子点集，然后利用模板中蕴含的目标信息，将搜索区域种子与目标特定特征结合。同时，该方法能够对模板点云的无序性和不规则性保持稳定。

更优地，在一示例性实施例中，如图1中的(a)部分可知，所述使用PointNet++网络提取模板点云P_temp和搜索点云P_sea的几何特征，并生成模板种子点集Q和搜索种子点集R，包括：

向PointNet++网络输入模板点云

和搜索点云

得到模板种子点集

(即图1中的(a)部分的M₁×(3+d₁)，其中3+d1表示模板种子点的三维坐标

和特征

下同，不进行赘述)和搜索种子点集

(即图1中的(a)部分的M₂×(3+d₁))，其中M₁代表模板种子点集Q中种子点的数量，M₂代表搜索种子点集R中种子点的数量，q_i和r_i分别代表模板种子点和搜索种子点，由三维坐标

和特征

构成；

所述通过计算Q和R的相似度矩阵T将目标信息编码到搜索空间中，生成编码了目标信息的搜索种子点集D，包括：

为了把Q中的目标信息编码到R中，使用余弦距离计算Q和R之间的相似度，生成相似度矩阵T＝(M₂，M₁)((即图1中的(a)部分M₁×M2))，计算公式如下所示：

其中，T_j，i是T中的第j行，表示了r_j与Q中所有种子点的相似度。

考虑到Q的无序性导致特征表示T_j，i不稳定，采用最大池化操作保证特征的唯一性。使用Q的空间坐标和特征增强，每个T_j，i得到一个大小为M₁×(1+3+d₁)的张量(即图中1中的(a)部分的特征融合)；通过包括多层感知机络和最大池化的操作ψ得到r_j的特定目标特征

(即图中1中的(a)部分的M₂×d₂)；最后，通过合并的三维坐标

和特定目标特征

生成编码目标信息的搜索种子点集

(即图中1中的(a)部分的M₂×(3+d₂)，3+d₂指r_j的三维坐标

和生成的特定目标特征

)。

对于通过投票和筛选生成高置信度的潜在目标中心的步骤，个编码了目标信息的搜索种子点d_j可以直接生成一个目标提议，但是单个搜索种子点只捕获了有限的局部信息，无法得到准确的目标位置预测。因此，通过投票回归到潜在目标中心，再进行联合的提议和验证生成最终结果。每个d_j生成一个置信度得分，根据得分排序取用前50％的d_j进行联合提议和验证，以提高目标跟踪的精确度。

更优地，在一示例性实施例中，如图1中的(b)部分可知，所述编码后的搜索种子点d_j通过投票产生对应的潜在目标中心点c_j，并基于置信度得分B从潜在目标中心C中筛选出具有高置信度的潜在目标中心E，包括：

每个d_j通过多层感知机预测出

和

以生成

(即图中1中的(b)部分的M₂×(3+d₂))，其中

是指通过预测出的当前搜索种子点到目标中心的三维坐标偏移量，

是指通过预测出的当前搜索种子点到目标中心的特征偏移量；

每个d_j通过多层感知机预测出一个置信度得分

在真实目标表面的种子点被认为是高置信度的，其余的被认为是低置信度的，总置信度得分为

(即图中1中的(b)部分的M₂×1)；

根据置信度得分从潜在目标中心

中挑选出具有高置信度的潜在目标中心

(即图中1中的(b)部分的M₂/2×(3+d₂))，其中，e_k表示得分排名在前50％的种子点。

需要说明的是，这里多层感知机是指在特征维度上共享卷积核的卷积操作。

更优地，在一示例性实施例中，如图1中的(c)部分可知，采样和聚集高可信度的潜在目标中心E，产生K个提议，具有最高得分的提议作为最终的预测结果Φ，包括：

每个e_k可以以R半径使用球查询来聚集生成一个簇G_k，其中G_k＝{e_l|||e_l-e_k||2＜R}(即即图中1中的(c)部分的N₁×(3+d₂)等)；

采用最远点采样从E中计算出大小为K的子集，作为簇中心生成K个簇；

最后，每个簇

通过包括多层感知机络和最大池化的操作ω得到提议得分S_t和提议P_t，选取具有最高得分的P_t来生成最后的预测结果Φ；

其中，

表示簇中心点到预测中心点的偏移，

表示X-Y平面的旋转角度；

其中

表示簇

中心点的三维坐标。

其中，为了学习该网络，定义簇中心点和目标中心点小于0.3m的提议作为正样本，簇中心点和目标中心点大于0.6m的提议作为负样本，其他提议不做处理。

更优地，在一示例性实施例中，如图1中的(d)部分可知，所述采用模板点云更新策略γ，基于前一帧目标的预测结果更新模板点云P_temp，包括：

在生成了当前帧的预测结果Φ后，基于模板点云更新策略γ，生成下一帧的模板点云，以适应目标外观的变化；即指定目标在第一帧的位置为模板点云，之后每一帧的模板点云通过融合第一帧的模板点云和前一帧预测的目标点云生成。

具体来说，该方法通过拼接在第一帧和前一帧中目标三维框内的点云生成下一帧输入的模板点云。该方法既包含了目标在第一帧中的真实值，又结合了每一帧的预测结果。在目标物体外观发生改变时，通过融合改变过程中的每一帧中的预测目标点云，可以很好地适应目标形状的改变。

更优地，在一示例性实施例中，所述方法还包括：

通过smooth-L1损失函数L_reg来训练

通过交叉熵损失函数L_cla来训练置信度得分

通过交叉熵损失函数L_pro训练S_t；采用smooth-L1损失函数L_box训练正样本提议中的P_t；

总损失函数为：

L＝L_reg+γ₁L_cla+γ₂L_pro+γ₃L_box。

更优地，在一示例性实施例中，smooth-L1损失函数L_reg的定义为：

式中，Δgt_j表示d_j到目标中心的真实偏移量；

为指示函数，表示只训练在真实目标表面的种子点；M_ts表示被训练点的数量；

交叉熵损失函数L_cla的定义为：

式中，y_j表示第j个搜索种子点是否在目标上的标签，在目标上为1，不在目标上为0；b_j表示第j个搜索种子点预测在目标上的概率；M₂表示搜索种子点的数量；

交叉熵损失函数L_pro的定义为：

式中，

表示第t个簇中心点与目标中心的距离标签，当距离小于0.3m时为1，当距离大于0.6m时为0；S_t表示第t个簇预测的得分；K表示簇的数量；

smooth-L1损失函数L_box的定义为：

式中，

表示

的簇中心到目标中心的真实偏移量；

表示目标在X-Y平面的真实旋转角度；

为指示函数，表示只训练簇中心与目标中心距离小于0.3m或者大于0.6m的簇；M_tg表示被训练簇的数量。

更优地，在一示例性实施例中，损失函数的权重取值为：γ₁＝0.18，γ₂＝1.47，γ₃＝0.18，可以较好地平衡各个损失函数之间的影响。

通过在KITTI跟踪数据集上进行实验，本示例性实施例提出的方法在成功率和精准度上都显著优于当前最先进的方法，并且可以在单个NVIDIA2080S图形处理器上以43.5FPS运行。同时具有较低的计算复杂度。

基于上述任意一示例性实施例，本发明的一示例性实施例提供一种存储介质，其上存储有计算机指令，所述计算机指令运行时执行所述的基于深度霍夫优化投票的时敏单目标跟踪方法的步骤。

基于上述任意一示例性实施例，本发明的一示例性实施例提供一种终端，包括存储器和处理器，所述存储器上存储有可在所述处理器上运行的计算机指令，所述处理器运行所述计算机指令时执行所述的基于深度霍夫优化投票的时敏单目标跟踪方法的步骤。

基于这样的理解，本实施例的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该软件产品存储在一个存储介质中，包括若干指令用以使得装置执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(Read-OnlyMemory，ROM)、随机存取存储器(RandomAccessMemory，RAM)、磁碟或者光盘等各种可以存储程序代码的介质。

显然，上述实施例仅仅是为清楚地说明所作的举例，而并非对实施方式的限定，对于所属领域的普通技术人员来说，在上述说明的基础上还可以做出其他不同形式的变化或变动。这里无需也无法对所有的实施方式予以穷举。而由此所引申出的显而易见的变化或变动仍处于本发明创造的保护范围之中。

Claims (10)

1.基于深度霍夫优化投票的时敏单目标跟踪方法，其特征在于：包括以下步骤：

使用PointNet++网络提取模板点云P_temp和搜索点云P_sea的几何特征，并生成模板种子点集Q和搜索种子点集R；通过计算Q和R的相似度矩阵T将目标信息编码到搜索空间中，生成编码了目标信息的搜索种子点集D；

编码后的搜索种子点d_j通过投票产生对应的潜在目标中心点c_j，并基于置信度得分B从潜在目标中心C中筛选出具有高置信度的潜在目标中心E；

采样和聚集高可信度的潜在目标中心E，产生K个提议，具有最高得分的提议作为最终的预测结果Φ；

采用模板点云更新策略γ，基于前一帧目标的预测结果更新模板点云P_temp。

2.根据权利要求1所述的基于深度霍夫优化投票的时敏单目标跟踪方法，其特征在于：所述使用PointNet++网络提取模板点云P_temp和搜索点云P_sea的几何特征，并生成模板种子点集Q和搜索种子点集R，包括：

向PointNet++网络输入模板点云

和搜索点云

得到模板种子点集

和搜索种子点集

其中M₁代表模板种子点集Q中种子点的数量，M₂代表搜索种子点集R中种子点的数量，q_i和r_j分别代表模板种子点和搜索种子点，由三维坐标

和特征

构成；

所述通过计算Q和R的相似度矩阵T将目标信息编码到搜索空间中，生成编码了目标信息的搜索种子点集D，包括：

使用余弦距离计算Q和R之间的相似度，生成相似度矩阵T＝(M₂，M₁)，计算公式如下所示：

其中，T_j，i是T中的第j行，表示了r_j与Q中所有种子点的相似度；

使用Q的空间坐标和特征增强，每个T_j，i得到一个大小为M₁×(1+3+d₁)的张量；通过包括多层感知机络和最大池化的操作ψ得到r_j的特定目标特征

最后，通过合并的三维坐标

和特定目标特征

生成编码目标信息的搜索种子点集

3.根据权利要求2所述的基于深度霍夫优化投票的时敏单目标跟踪方法，其特征在于：所述编码后的搜索种子点d_j通过投票产生对应的潜在目标中心点c_j，并基于置信度得分B从潜在目标中心C中筛选出具有高置信度的潜在目标中心E，包括：

每个d_j通过多层感知机预测出

和

以生成

其中

是指通过预测出的当前搜索种子点到目标中心的三维坐标偏移量，

是指通过预测出的当前搜索种子点到目标中心的特征偏移量；

每个d_j通过多层感知机预测出一个置信度得分

在真实目标表面的种子点被认为是高置信度的，其余的被认为是低置信度的，总置信度得分为

根据置信度得分从潜在目标中心

中挑选出具有高置信度的潜在目标中心

其中，e_k表示得分排名在前50％的种子点。

4.根据权利要求3所述的基于深度霍夫优化投票的时敏单目标跟踪方法，其特征在于：采样和聚集高可信度的潜在目标中心E，产生K个提议，具有最高得分的提议作为最终的预测结果Φ，包括：

每个e_k可以以R半径使用球查询来聚集生成一个簇G_k，其中G_k＝{e_l|||e_l-e_k||₂＜R}；

采用最远点采样从E中计算出大小为K的子集，作为簇中心生成K个簇；

最后，每个簇

通过包括多层感知机络和最大池化的操作ω得到提议得分S_t和提议P_t，选取具有最高得分的P_t来生成最后的预测结果Φ；

其中，

表示簇中心点到预测中心点的偏移，

表示X-Y平面的旋转角度；

其中

表示簇

中心点的三维坐标。

5.根据权利要求1所述的基于深度霍夫优化投票的时敏单目标跟踪方法，其特征在于：所述采用模板点云更新策略γ，基于前一帧目标的预测结果更新模板点云P_temp，包括：

在生成了当前帧的预测结果Φ后，基于模板点云更新策略γ，生成下一帧的模板点云，以适应目标外观的变化；即指定目标在第一帧的位置为模板点云，之后每一帧的模板点云通过融合第一帧的模板点云和前一帧预测的目标点云生成。

6.根据权利要求4所述的基于深度霍夫优化投票的时敏单目标跟踪方法，其特征在于：所述方法还包括：

通过smooth-L1损失函数L_reg来训练

通过交叉熵损失函数L_cla来训练置信度得分

通过交叉熵损失函数L_pro训练S_t；采用smooth-L1损失函数L_box训练正样本提议中的P_t；

总损失函数为：

L＝L_reg+γ₁L_cla+γ₂L_pro+γ₃L_box。

7.根据权利要求6所述的基于深度霍夫优化投票的时敏单目标跟踪方法，其特征在于：smooth-L1损失函数L_reg的定义为：

式中，Δgt_j表示dj到目标中心的真实偏移量；

为指示函数，表示只训练在真实目标表面的种子点；M_ts表示被训练点的数量；

交叉熵损失函数L_cla的定义为：

式中，y_j表示第j个搜索种子点是否在目标上的标签，在目标上为1，不在目标上为0；b_j表示第j个搜索种子点预测在目标上的概率；M₂表示搜索种子点的数量；

交叉熵损失函数L_pro的定义为：

式中，

表示第t个簇中心点与目标中心的距离标签，当距离小于0.3m时为1，当距离大于0.6m时为0；S_t表示第t个簇预测的得分；K表示簇的数量；

smooth-L1损失函数L_box的定义为：

式中，

表示

的簇中心到目标中心的真实偏移量；

表示目标在X-Y平面的真实旋转角度；

为指示函数，表示只训练簇中心与目标中心距离小于0.3m或者大于0.6m的簇；

表示被训练簇的数量。

8.根据权利要求6所述的基于深度霍夫优化投票的时敏单目标跟踪方法，其特征在于：损失函数的权重取值为：γ₁＝0.18，γ₂＝1.47，γ₃＝0.18。

9.一种存储介质，其上存储有计算机指令，其特征在于：所述计算机指令运行时执行权利要求1-8中任意一项所述的基于深度霍夫优化投票的时敏单目标跟踪方法的步骤。

10.一种终端，包括存储器和处理器，所述存储器上存储有可在所述处理器上运行的计算机指令，其特征在于，所述处理器运行所述计算机指令时执行权利要求1-8中任意一项所述的基于深度霍夫优化投票的时敏单目标跟踪方法的步骤。

Images