CN112614163B - 一种融合贝叶斯轨迹推理的目标跟踪方法及系统 - Google Patents

Abstract

本发明涉及一种融合贝叶斯轨迹推理的目标跟踪方法及系统，该方法依次将相邻的前后两帧作为端到端卷积神经网络的输入，进行持续目标跟踪；根据前后两帧的跟踪结果，计算前后两帧各自跟踪框内图像区域的灰度直方图之间的Hausdorff距离，若Hausdorff距离与预设阈值T的大小关系判断目标是否丢失，若目标丢失则利用贝叶斯轨迹推理方法预测丢失目标的所在位置。本发明采用把目标的深度特征与相关滤波过程相结合的轻量化网络，基于快速高效的跟踪置信度参数T，来判断跟踪的目标是否被遮挡。如果出现遮挡则利用贝叶斯轨迹推理不断预测物体运动轨迹，并不断纠正。本发明准确性更高，泛化能力更强，鲁棒性更好。

Description

一种融合贝叶斯轨迹推理的目标跟踪方法及系统

技术领域

本发明涉及目标跟踪技术领域，具体涉及一种融合贝叶斯轨迹推理的端到端卷积神经网络目标跟踪方法及系统。

背景技术

视觉跟踪任务在诸如无人驾驶，场景感知探测，智能交通等领域有重要的应用。而随着硬件的不断升级换代，基于海量数据的深度学习方法被越来越的研究以及应用。依赖于复杂的模型设计以及大数据训练，基于卷积神经网络的目标跟踪算法在跟踪精度上相比传统的跟踪算法有较大优势，但是由于庞大的计算量，使其在边缘端设备部署上还存在难度。同样，目标遮挡以及相似目标的干扰，都极容易造成目标的丢失。

发明内容

本发明针对现有技术中存在的技术问题，提供一种端到端的卷积神经网络目标跟踪方法及系统，融合了贝叶斯轨迹推断，相比传统的方法准确性更高，泛化能力更强，鲁棒性更好。

本发明解决上述技术问题的技术方案如下：

第一方面，本发明提供一种融合贝叶斯轨迹推理的目标跟踪方法，包括以下步骤：

S100，依次将相邻的前后两帧作为端到端卷积神经网络的输入，进行持续目标跟踪；

S200，根据前后两帧的跟踪结果，计算前后两帧各自跟踪框内图像区域的灰度直方图之间的Hausdorff距离，若Hausdorff距离大于预设阈值T则所述端到端卷积神经网络的输出结果即为跟踪结果，否则判断目标丢失并执行步骤S300；

S300，定义目标状态空间模型，利用贝叶斯轨迹推理方法预测丢失目标的所在位置。

进一步的，所述端到端卷积神经网络为一全卷积非对称孪生网络，其中一路分支作为模板分支，其输入为前一帧图像，该分支的网络结构中增加可微分层，另一路分支作为检测分支，其输入为当前帧图像。

进一步的，步骤S100包括：

S101、依据手动标记或者人工选定，确定需要跟踪的目标，得到初始跟踪框；

S102、选定目标后，选择前后相邻两帧作为全卷积非对称孪生网络的输入；

S103、对非对称神经网络的两个分支的输出，进行互相关运算，判断其相似程度；

S104、基于前向模型进行计算，并乘以同样尺寸的余弦窗去除边界影响，位置映射图中最大值，映射回输入图像中，得到目标中心位置。

进一步的，所述全卷积非对称孪生网络的卷积核权重w^l通过在频域中求解岭回归问题获得：

给标准的回归误差函数加入一个正则项，则岭回归误差ε

其中

表示特征图送入神经网络的计算结果，y为二维的高斯分布图，*操作代表循环相关计算，λ为正则化参数；则卷积核权重w^l为：

其中，

表示y的离散傅里叶变换，

代表

的共轭复数，D为通道数，⊙代表点乘；

通过训练，当岭回归误差ε函数最小时，得到最优的神经网络卷积权重w^l。

进一步的，根据前后两帧的跟踪结果，计算前后两帧各自跟踪框内图像区域的灰度直方图之间的Hausdorff距离：

假设前一帧跟踪框内像素作为集合A＝{a₁,a₂,...,a_m}，当前帧跟踪框内像素作为集合B＝{b₁,b₂,...,b_n}，两个点集Hausdorff距离表示如下：

D_N(A,B)＝max(d_AB,d_BA)

其中d_AB表示集合A到集合B的距离，d_BA表示集合B到集合A的距离；

进一步的，将帧图像网格化，并利用贝叶斯推理方法判断丢失目标在相邻网格间的转移概率，返回转移概率最大的位置作为丢失目标的所在位置，包括：

定义目标状态空间模型为：

其中f(x_k-1,w_k)和h(x_k,v_k)分别为系统状态方程与观测方程，x_k、z_k分别是系统k时刻的状态向量与测量向量，w_k、v_k分别是系统k时刻的状态噪声与测量噪声；

已知从0到k时刻的量测值z_0:k和k-1时刻以前状态的后验概率p(x_0:k-1|z_1:k-1)，通过预测与更新递归计算得到贝叶斯轨迹预测，预测与更新过程为：

预测过程：

p(x_0:k|z_0:k-1)＝∫p(x_0:k,x_0:k-1|z_0:k-1)dx_0:k-1

＝∫p(x_0:k|x_0:k-1)p(x_0:k-1|z_0:k-1)dx_0:k-1

概率更新：

而k时刻的后验概率递归过程为：

预测过程：

p(x_k|z_0:k-1)＝∫p(x_k|x_k-1)p(x_k-1|z_0:k-1)dx_k-1

概率更新：

k时刻的后验概率递归过程两个步骤递归计算构成最优的贝叶斯估计，即可实现目标的轨迹预测。

第二方面，本发明提供一种融合贝叶斯轨迹推理的目标跟踪系统，包括：

目标跟踪模块，依次将相邻的前后两帧作为端到端卷积神经网络的输入，进行持续目标跟踪；

丢失判断模块，根据前后两帧的跟踪结果，计算前后两帧各自跟踪框内图像区域的灰度直方图之间的Hausdorff距离，根据Hausdorff距离与预设阈值T的比较结果，判断目标是否丢失；

轨迹预测模块，用于在目标丢失时，利用贝叶斯推理方法判断丢失目标在相邻网格间的转移概率，返回转移概率最大的位置作为丢失目标的所在位置。

进一步的，所述端到端卷积神经网络为一全卷积非对称孪生网络，其中一路分支作为模板分支，其输入为前一帧图像，该分支的网络结构中增加可微分层，另一路分支作为检测分支，其输入为当前帧图像。

进一步的，所述丢失判断模块具体用于：

假设前一帧跟踪框内像素作为集合A＝{a₁,a₂,...,a_m}，当前帧跟踪框内像素作为集合B＝{b₁,b₂,...,b_n}，两个点集Hausdorff距离表示如下：

D_N(A,B)＝max(d_AB,d_BA)

其中d_AB表示集合A到集合B的距离，d_BA表示集合B到集合A的距离；

进一步的，所述轨迹预测模块具体用于：

定义目标状态空间模型为：

其中f(x_k-1,w_k)和h(x_k,v_k)分别为系统状态方程与观测方程，x_k、z_k分别是系统k时刻的状态向量与测量向量，w_k、v_k分别是系统k时刻的状态噪声与测量噪声；

已知从0到k时刻的量测值z_0:k和k-1时刻以前状态的后验概率p(x_0:k-1|z_1:k-1)，通过预测与更新递归计算得到贝叶斯轨迹预测，预测与更新过程为：

预测过程：

p(x_0:k|z_0:k-1)＝∫p(x_0:k,x_0:k-1|z_0:k-1)dx_0:k-1

＝∫p(x_0:k|x_0:k-1)p(x_0:k-1|z_0:k-1)dx_0:k-1

概率更新：

而k时刻的后验概率递归过程为：

预测过程：

p(x_k|z_0:k-1)＝∫p(x_k|x_k-1)p(x_k-1|z_0:k-1)dx_k-1

概率更新：

k时刻的后验概率递归过程两个步骤递归计算构成最优的贝叶斯估计，即可实现目标的轨迹预测。

本发明的有益效果是：现在卷积神经网络的应用，使得训练好的网络可以自学习得到目标的多维度的特征。相比传统的方法准确性更高，泛化能力更强，鲁棒性更好。据此，我们设计了端到端神经网络目标跟踪器，是把目标的深度特征与相关滤波过程相结合的轻量化网络。具体来说，该跟踪器是将相关滤波视为在孪生网络中添加的特殊相关滤波器层，并通过将网络输出定义为对象位置的响应热图，并且通过推导向后传播实现。分析封闭形式解，发现很容易得到一个最适应跟踪的学习特征的网络，并且是用端到端的方式，不需要手工干预。基于快速高效的跟踪置信度参数T，来判断跟踪的目标是否被遮挡。如果出现遮挡则不断预测物体运动轨迹，并不断纠正。

附图说明

图1为本发明实施例提供的非对称孪生网络结构示意图；

图2为本发明实施例提供的跟踪方法流程示意图。

具体实施方式

以下结合附图对本发明的原理和特征进行描述，所举实例只用于解释本发明，并非用于限定本发明的范围。

视觉跟踪任务在诸如无人驾驶，场景感知探测，智能交通等领域有重要的应用。而随着硬件的不断升级换代，基于海量数据的深度学习方法被越来越的研究以及应用。依赖于复杂的模型设计以及大数据训练，基于卷积神经网络的目标跟踪算法在跟踪精度上相比传统的跟踪算法有较大优势，但是由于庞大的计算量，使其在边缘端设备部署上还存在难度。同样，目标遮挡以及相似目标的干扰，都极容易造成目标的丢失。基于以上分析，本文设计了一种端到端的卷积神经网络目标跟踪算法，并融合了贝叶斯轨迹推断，有效解决上述问题。

该算法主要包括以下步骤：

一、端到端神经网络目标跟踪

现在卷积神经网络的应用，使得训练好的网络可以自学习得到目标的多维度的特征。相比传统的方法准确性更高，泛化能力更强，鲁棒性更好。据此，我们设计了端到端神经网络目标跟踪器，是把目标的深度特征与相关滤波过程相结合的轻量化网络。具体来说，该跟踪器是将相关滤波视为在孪生网络中添加的特殊相关滤波器层，并通过将网络输出定义为对象位置的响应热图，并且通过推导向后传播实现。分析封闭形式解，发现很容易得到一个最适应跟踪的学习特征的网络，并且是用端到端的方式，不需要手工干预。基于快速高效的跟踪置信度参数T，来判断跟踪的目标是否被遮挡。如果出现遮挡则不断预测物体运动轨迹，并不断纠正。

进行持续跟踪的具体步骤如下：

S1、依据手动标记或者人工选定，确定需要跟踪的目标，得到初始跟踪框；

S2、选定目标后，选择前后相邻两帧作为全卷积非对称孪生网络的输入，其中前一帧x'为模板图片，作为神经网络模板支路的输入。当前帧z'为测试图片，作为神经网络检测支路的输入，对应目标物搜索图像，用于在矩形区域内利用滑动窗口进行搜索，从而确定目标物的真正位置。端到端目标跟踪器是将对称的孪生网络在检测分支增加了可微分层，构成了非对称孪生网络结构。该可微分层功能用于构建相关滤波器，并且由于卷积过程没有填充，因此可以实现特征图输出大小的裁剪。

S3、常见典型的卷积神经网络中池化层的操作会将特征图中的弱小目标的尺寸进一步缩小，因此端到端神经网络目标跟踪器中需要去除该层。前后两帧图像共享孪生卷积神经网络的参数。

S4、非对称神经网络的两个分支(模板分支的输出与检测输出的分支)的输出，需要进行互相关运算，来判断其相似程度。给标准的回归误差函数加入一个正则项，则为岭回归误差ε：

其中w^l为通过训练得到的卷积核权，

表示特征图送入神经网络进行计算，y为二维的高斯分布图，*操作代表循环相关计算，λ为正则化参数。通过在频域中求解岭回归问题，可以得到神经网络卷积核权重w^l：

其中

表示y的离散傅里叶变换，

代表

的共轭复数，D为通道数，⊙代表点乘。

S5、后续训练过程，使得S4中岭回归误差ε函数最小，最终不断训练得到最优的神经网络卷积权重w^l。在训练的时候，每个ReLU层前都使用了batchnormalization，用于降低过拟合的风险。

S6、训练好网络，做卷积神经网络前向推断也就是目标跟踪时，只需要基于前向模型进行计算。并乘以同样尺寸的余弦窗去除边界影响。最终位置映射图中最大值，映射回输入图像中，可以得到目标中心位置。最值附近不为0的区域，映射回输入图像中，可以得到目标的跟踪框。

虽然经过以上候选区域选择策略对候选区域进行排序，但是在实际跟踪中，当背景中包含多个相似目标，或者发生交叉或遮挡后，容易跟踪失败。因此，在端到端目标跟踪算法的基础上，结合目标运动特性，增加轨迹预测策略。

二、置信度判断

灰度直方图就是统计不同灰度的分布概率。比如对于一个像素bit位为8的图像，那么其灰度范围就是从0～255。灰度直方图就是统计每个灰度级拥有的像素比例。通过直方图可以直观的反映出图像的明暗程度，比如0如果概率大，就说明图像偏暗，255概率大，就说明图像偏亮。

对前后两帧的跟踪框中图像区域，分别统计灰度直方图，计算两个灰度直方图之间的Hausdorff距离度量，可以很好的反映目标相似性情况，作为一个有效的跟踪置信度判据。前一帧跟踪框内像素作为集合A＝{a₁,a₂,...,a_m}，当前帧跟踪框内像素作为集合B＝{b₁,b₂,...,b_n}，两个点集Hausdorff距离表示如下：

D_N(A,B)＝max(d_AB,d_BA)

其中dAB表示集合A到集合B的距离，daiB表示ai到集合B的距离：

d_AB表示集合A中的所有点a_i到集合B的最小距离d_aiB中的最大值。同样,d_BA表示集合B中的所有点b_j到集合A的最小距离d_bjA中的最大值。d_AB与d_BA两个中的较大值就是Hausdorff距离。

依据不同场景，测定各自场景下Hausdorff距离的值域范围，如果低于设定阈值T，则认为目标跟踪出现了丢失。

三、轨迹预测

被跟踪的目标大多数符合一定的运动规律，也就是也可以对其运动的轨迹进行建模。

利用朴素贝叶斯推理方法对目标轨迹进行预测，主要分为训练阶段和预测阶段。训练阶段为离线训练，主要基于海量数据对目标运动的轨迹进行学习和挖掘，构建模型。而预测阶段在目标跟踪算法判别目标跟踪丢失之后，基于已训练的模型进行查询和预测。

贝叶斯轨迹预测的实质是先用目标丢失前每一帧输出跟踪坐标结果构建的模型其预测状态的先验概率密度函数，再使用最新的观测信息对其进行更新，得到后验概率密度函数。为描述跟踪问题，定义目标状态空间模型为：

其中f(x_k-1,w_k)和h(x_k,v_k)分别为系统状态方程与观测方程，x_k、z_k分别是系统k时刻的状态向量与测量向量，w_k、v_k分别是系统k时刻的状态噪声与测量噪声。

贝叶斯轨迹预测一般可由预测和更新递归计算得到。预测是利用系统模型预测从一个量测时刻到下一个时刻的后验概率密度函数；而更新是利用最新的量测值对这个后验概率密度函数进行修正。已知从0到k时刻的量测值z_0:k和k-1时刻以前状态的后验概率p(x_0:k-1|z_1:k-1)，则预测与更新过程为：

预测过程：

p(x_0:k|z_0:k-1)＝∫p(x_0:k,x_0:k-1|z_0:k-1)dx_0:k-1

＝∫p(x_0:k|x_0:k-1)p(x_0:k-1|z_0:k-1)dx_0:k-1

概率更新：

而k时刻的后验概率递归过程为：

预测过程：

p(x_k|z_0:k-1)＝∫p(x_k|x_k-1)p(x_k-1|z_0:k-1)dx_k-1

概率更新：

k时刻的后验概率递归过程两个步骤递归计算就构成了最优的贝叶斯估计，即可实现目标的轨迹预测。最后为用户返回概率最大的位置，即为预测的位置。

以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (8)

1.一种融合贝叶斯轨迹推理的目标跟踪方法，其特征在于，包括以下步骤：

S100，依次将相邻的前后两帧作为端到端卷积神经网络的输入，进行持续目标跟踪；

S200，根据前后两帧的跟踪结果，计算前后两帧各自跟踪框内图像区域的灰度直方图之间的Hausdorff距离，若Hausdorff距离大于预设阈值T则所述端到端卷积神经网络的输出结果即为跟踪结果，否则判断目标丢失并执行步骤S300；

S300，定义目标状态空间模型，利用贝叶斯轨迹推理方法预测丢失目标的所在位置；

其中，定义目标状态空间模型，利用贝叶斯轨迹推理方法预测丢失目标的所在位置，包括：

定义目标状态空间模型为：

其中f(x_k-1,w_k)和h(x_k,v_k)分别为系统状态方程与观测方程，x_k、z_k分别是系统k时刻的状态向量与测量向量，w_k、v_k分别是系统k时刻的状态噪声与测量噪声；

已知从0到k时刻的量测值z_0:k和k-1时刻以前状态的后验概率p(x_0:k-1|z_1:k-1)，通过预测与更新递归计算得到贝叶斯轨迹预测，预测与更新过程为：

预测过程：

p(x_0:k|z_0:k-1)＝∫p(x_0:k,x_0:k-1|z_0:k-1)dx_0:k-1

＝∫p(x_0:k|x_0:k-1)p(x_0:k-1|z_0:k-1)dx_0:k-1

概率更新：

而k时刻的后验概率递归过程为：

预测过程：

p(x_k|z_0:k-1)＝∫p(x_k|x_k-1)p(x_k-1|z_0:k-1)dx_k-1

概率更新：

k时刻的后验概率递归过程两个步骤递归计算构成最优的贝叶斯估计，即可实现目标的轨迹预测。

2.根据权利要求1所述的方法，其特征在于，所述端到端卷积神经网络为一全卷积非对称孪生网络，其中一路分支作为模板分支，其输入为前一帧图像，该分支的网络结构中增加可微分层，另一路分支作为检测分支，其输入为当前帧图像。

3.根据权利要求2所述的方法，其特征在于，步骤S100包括：

S101、依据手动标记或者人工选定，确定需要跟踪的目标，得到初始跟踪框；

S102、选定目标后，选择前后相邻两帧作为全卷积非对称孪生网络的输入；

S103、对非对称孪生网络的两个分支的输出，进行互相关运算，判断其相似程度；

S104、基于前向模型进行计算，并乘以同样尺寸的余弦窗去除边界影响，位置映射图中最大值，映射回输入图像中，得到目标中心位置。

4.根据权利要求3所述的方法，其特征在于，所述全卷积非对称孪生网络的卷积核权重w^l通过在频域中求解岭回归问题获得：

给标准的回归误差函数加入一个正则项，则岭回归误差ε

其中

表示特征图送入神经网络的计算结果，y为二维的高斯分布图，*操作代表循环相关计算，λ为正则化参数；则卷积核权重w^l为：

其中，

表示y的离散傅里叶变换，

代表

的共轭复数，D为通道数，⊙代表点乘；

通过训练，当岭回归误差ε函数最小时，得到最优的神经网络卷积权重w^l。

5.根据权利要求1所述的方法，其特征在于，根据前后两帧的跟踪结果，计算前后两帧各自跟踪框内图像区域的灰度直方图之间的Hausdorff距离：

假设前一帧跟踪框内像素作为集合A＝{a₁,a₂,...,a_m}，当前帧跟踪框内像素作为集合B＝{b₁,b₂,...,b_n}，两个点集Hausdorff距离表示如下：

D_N(A,B)＝max(d_AB,d_BA)

其中d_AB表示集合A到集合B的距离，d_BA表示集合B到集合A的距离；

6.一种融合贝叶斯轨迹推理的目标跟踪系统，其特征在于，包括：

目标跟踪模块，依次将相邻的前后两帧作为端到端卷积神经网络的输入，进行持续目标跟踪；

丢失判断模块，根据前后两帧的跟踪结果，计算前后两帧各自跟踪框内图像区域的灰度直方图之间的Hausdorff距离，根据Hausdorff距离与预设阈值T的比较结果，判断目标是否丢失；

轨迹预测模块，用于定义目标状态空间模型，在目标丢失时，利用贝叶斯轨迹推理方法预测丢失目标的所在位置；

其中，定义目标状态空间模型，利用贝叶斯轨迹推理方法预测丢失目标的所在位置，包括：

定义目标状态空间模型为：

其中f(x_k-1,w_k)和h(x_k,v_k)分别为系统状态方程与观测方程，x_k、z_k分别是系统k时刻的状态向量与测量向量，w_k、v_k分别是系统k时刻的状态噪声与测量噪声；

已知从0到k时刻的量测值z_0:k和k-1时刻以前状态的后验概率p(x_0:k-1|z_1:k-1)，通过预测与更新递归计算得到贝叶斯轨迹预测，预测与更新过程为：

预测过程：

p(x_0:k|z_0:k-1)＝∫p(x_0:k,x_0:k-1|z_0:k-1)dx_0:k-1

＝∫p(x_0:k|x_0:k-1)p(x_0:k-1|z_0:k-1)dx_0:k-1

概率更新：

而k时刻的后验概率递归过程为：

预测过程：

p(x_k|z_0:k-1)＝∫p(x_k|x_k-1)p(x_k-1|z_0:k-1)dx_k-1

概率更新：

k时刻的后验概率递归过程两个步骤递归计算构成最优的贝叶斯估计，即可实现目标的轨迹预测。

7.根据权利要求6所述的系统，其特征在于，所述端到端卷积神经网络为一全卷积非对称孪生网络，其中一路分支作为模板分支，其输入为前一帧图像，该分支的网络结构中增加可微分层，另一路分支作为检测分支，其输入为当前帧图像。

8.根据权利要求6所述的系统，其特征在于，所述丢失判断模块具体用于：

假设前一帧跟踪框内像素作为集合A＝{a₁,a₂,...,a_m}，当前帧跟踪框内像素作为集合B＝{b₁,b₂,...,b_n}，两个点集Hausdorff距离表示如下：

D_N(A,B)＝max(d_AB,d_BA)

其中d_AB表示集合A到集合B的距离，d_BA表示集合B到集合A的距离；

Images