CN110532921B - 基于ssd检测广义标签多伯努利视频多目标跟踪方法 - Google Patents

Abstract

本发明公开了一种基于SSD检测广义标签多伯努利视频多目标跟踪方法，属于计算机视觉、图像处理领域。所述方法通过利用一种无需离线学习且鲁棒性好的卷积特征表述目标外观，并采用广义标签多伯努利(GLMB)滤波实现视频多目标跟踪。考虑到多目标跟踪中，未知新生目标的不确定性导致目标跟踪结果不精确的问题，在GLMB滤波框架中引入SSD检测器对未知的新生目标进行初步识别，并采用一种权值求和的融合方法，将检测结果和跟踪结果进行融合得到最终的跟踪结果，并对目标模板进行自适应更新，不仅解决了滤波算法中跟踪偏移的问题，同时解决了检测技术中漏检、误检的问题，大大提高多目标跟踪状态的精度。

Description

基于SSD检测广义标签多伯努利视频多目标跟踪方法

技术领域

本发明涉及基于SSD检测广义标签多伯努利视频多目标跟踪方法，属于计算机视觉、图像处理领域。

背景技术

视频目标跟踪可以定义为在初始帧给定跟踪目标的初始状态，并在后续视频帧中实时获得该目标的状态。但由于目标运动的多样性、受遮挡、光照变化、目标形变及复杂环境等影响，使得目标跟踪问题一直是计算机视觉领域的难点问题。相对于单目标跟踪，视频多目标跟踪还存在着目标紧邻或相互交叉运动，尤其是存在未知的新生目标和目标消失等问题，更加增大了跟踪的难度。

针对上述多目标跟踪问题，早期主要通过数据关联的方法实现量测与目标的匹配跟踪，如概率数据关联(Probability Data Association Filter，PDA)、最近邻算法(K-Nearest Neighbor，KNN)、联合概率数据关联(Joint Probability Data AssociationFiIter，JPDA)和多假设跟踪(Multiple Hypothesis Tracking)等。虽然上述数据关联方法能够完成对多目标的跟踪，但目标数目过多将大大增加算法的执行时间，而且当干扰杂波密集的时候，难以完成对多个目标的正确关联，导致跟踪失败。

近年来，随机有限集理论被应用到多目标跟踪问题中，并取得了一定的优势。该理论通过随机有限集的形式近似多目标联合概率密度分布和量测概率分布，然后通过多目标最优贝叶斯滤波模型，递推实现多目标跟踪，从而避免复杂的数据关联运算。基于该理论，Mahler提出了概率假设密度(Probability hypothesis density，PHD)和多伯努利滤波(Multi-Bernouli，MB)跟踪算法，随后在MB的算法基础上，学者提出了更加优化的广义标签多伯努利滤波算法(Generalizes label MB，GLMB)及标签多伯努利滤波算法(LMB)，但在实际过程中，并未给出如何建立索引空间，所以学者提出了GLMB特殊条件下的δ-GLMB滤波方法。GLMB算法相比MB算法在对目标状态估计精度和航迹标识方面具有较好的性能，并被推广应用到视频多目标跟踪领域，取得了一定的效果，但由于算法中缺少对新生目标的识别能力，且对复杂环境下的视频多目标跟踪性能下降，甚至出现目标被漏跟的问题，如目标被遮挡、复杂背景干扰、交叉运动等。针对该问题，本发明提出基于SSD检测广义标签多伯努利视频多目标跟踪方法。

发明内容

为了解决多目标跟踪中由于新生目标的不确定性及复杂环境干扰等导致目标跟踪结果不精确，甚至漏检、误检等问题，本发明提供了一种基于SSD检测(Single ShotMultiBox Detector，SSD)广义标签多伯努利视频多目标跟踪方法，所述方法包括：

步骤一：利用SSD检测技术检测当前帧的多目标状态，计算检测结果与存活目标的距离；

步骤二：通过最邻近算法匹配，选择未匹配到的检测目标作为新生目标，使用标签伯努利集的形式近似，并带入广义标签多伯努利滤波中迭代跟踪；

步骤三：在跟踪过程中，计算检测结果和滤波结果的距离置信度和与跟踪目标的相似程度，并通过权值求和的方式将检测结果与跟踪结果进行融合得到最终的目标跟踪结果。

可选的，所述方法包括：

S1：在初始时k＝0，初始化存在目标，提取目标卷积特征，并对其进行粒子采样，近似多目标后验概率密度；

S2：多目标预测：(1)采用SSD检测算法检测当前帧多目标状态，并与跟踪结果匹配得到预测的目标新生状态；(2)对存活目标根据先验信息进行预测，得到预测后的存活目标状态；

S3：多目标更新：通过目标卷积特征建立目标似然模型，使用广义标签多伯努利滤波算法更新多目标状态；

S4：对多目标状态进行重采样，去除存活概率低的目标状态；

S5：提取多目标状态，并使用自适应更新机制更新目标模板；

S6：使用特征融合机制，融合检测结果和跟踪结果，获得最终的多目标状态；

S7：递归步骤S2-S6，直至跟踪结束。

可选的，所述S2：多目标预测中，(1)采用SSD检测算法检测当前帧多目标状态，并与跟踪结果匹配得到预测的目标新生状态，包括：

采用SSD检测器检测第k帧图像，得到多目标检测结果

和目标数目

；通过中心点距离计算存活目标与检测结果的距离矩阵D_k＝[d_i，j]，即：

其中，d_ij矩阵表示第i个存活目标与第j个检测结果的中心距离，然后采用最邻近距离算法匹配存活目标和检测的目标；若存在N_B，k个匹配剩余后的检测结果，则将剩余的检测结果作为新生目标，对新生目标进行采样

，若未存在匹配剩余的检测结果，则当前帧不做目标新生操作N_B，k＝0。

可选的，所述S2：多目标预测中，(2)对存活目标根据先验信息进行预测，得到预测后的存活目标状态，包括：

假设在k-1帧，目标后验概率表示为参数集

形式，那么预测后的概率密度可以表示为

其中

I₊ ^(i，b)＝I⁽ⁱ⁾∪L^(b)

I⁽ⁱ⁾表示第i个存活目标的标签集，L^(b)表示第b个新生目标的标签集；参数p⁽ⁱ⁾是由一组加权粒子构成

那么，目标对应的权重w₊ ^(i，b)可以表示为：

其中，p_S(·)为目标存活概率，

为目标新生概率；然后归一化权值w₊ ^(i，b)；参数p₊ ^(i，b)由存活目标粒子集和新生目标粒子集联合表示，即：

可选的，所述S3多目标更新中，通过目标卷积特征建立目标似然模型过程中，目标模板与候选模板的量测似然计算公式为：

其中，c_h表示候选目标卷积特征，c为目标的卷积特征。

可选的，所述S3多目标更新中，使用广义标签多伯努利滤波算法更新多目标状态，包括：

计算所有标签伯努利集中候选目标x_y，z的卷积特征c_y，z，根据标签ζ^(r)确定自己的候选模板，并计算候选目标的似然g(x^(y，z))；

令I＝(N_k-1+N_B，k)×N_B，k，那么预测后的多目标概率分布可以表示为：

根据计算得到的量测似然模型g(·)，更新目标参数，则更新后的多目标联合概率分布可以表示为：

其中参数I^(a)＝I₊ ^(a)，ζ^(a)＝ζ₊ ^(a)。由预测步骤可知p₊ ^(a)的粒子集表示为：

那么更新后的目标所占权重w^(a)和粒子权重计算w_+，a为：

其中，μ_a＝∑w_+，ag(x^(y，z))。

可选的，所述S4对多目标状态进行重采样，去除存活概率低的目标状态，包括：

在δ-GLMB滤波中，由于在滤波过程中会划分所有的标签伯努利集，并产生相应的子集，导致产生大量的标签伯努利分量，但真正有用的标签伯努利分量却很少，因此，将权重w⁽ⁱ⁾较小的分量去除，留下权重大的标签伯努利分量。此外，因为采用的是粒子滤波的方法实现δ-GLMB，为了避免粒子退化问题，对留下的标签伯努利集做重采样处理。

可选的，所述S5提取多目标状态，包括：

根据δ-GLMB的参数形式，提取目标的势分布和目标状态；

势分布估计公式为：

其中，

目标数目估计为

目标状态估计公式为：

估计的目标状态集为

可选的，所述S6中，当多目标发生交叉运动或紧邻运动时，计算目标相交(干扰)程度θ来确定是否需要更新模板；两个目标的相交程度计算公式为：

其中，S₁为k帧目标i的跟踪框内区域，S₂为k帧目标j的跟踪框内区域，S₃为目标i和目标j跟踪框相交的区域，即，S₃＝S₁∩S₂；当目标相交程度θ大于设定阈值时，则目标模板不更新，否则进行自适应更新。

本发明还提供上述多目标跟踪方法在计算机视觉、图像处理领域内的应用。

本发明有益效果是：

(1)在广义标签多伯努利滤波的框架下，引入SSD检测算法检测视频序列，利用最邻近距离算法匹配检测目标和跟踪目标，并获得新生目标初始状态，有效解决未知新生目标导致跟踪不准确的问题，提高跟踪方法对真实场景的适应能力。

(2)采用无需离线学习且鲁邦性好的卷积特征，融合目标信息与背景信息，能够有效分离目标和背景，解决目标干扰的问题。

(3)利用权值求和的融合方法融合滤波结果和检测结果，得到最终的跟踪结果，解决了目标跟踪中的跟踪偏移现象和检测算法中的漏检误检问题，提高算法的跟踪精度。

附图说明

为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本发明方法的整体流程图。

图2是SSD网络结构图。

图3是目标紧邻与遮挡实验结果。

图4是目标紧邻与遮挡实验目标数目估计对比图。

图5是目标紧邻与遮挡实验OSPA距离估计对比图。

图6是目标交叉运动与遮挡实验结果。

图7是目标交叉运动与遮挡实验目标数目估计对比图。

图8是目标交叉运动与遮挡实验OSPA距离估计对比图。

图9是目标新生和消失实验结果。

图10是目标新生和消失实验目标数目估计对比图。

图11是目标新生和消失实验OSPA距离估计对比图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明实施方式作进一步地详细描述。

首先对本发明所涉及的基础理论进行介绍如下：

1、广义标签多伯努利滤波原理

广义标签多伯努利集由若干不同权重的标签伯努利随机集构成，其概率分布表示为：

其中，

∫p^(c)(x，l)dx＝1，C是标签的离散索引空间，w^(c)是关联假设的权重函数，p^(c)是被标记目标的概率密度分布，而L(X)是目标的标签。

由GLMB随机集的概率密度分布可得GLMB的势分布和强度函数为：

其中，F_n(L)是标签空间L上的有限子集。

根据上面描述的GLMB随机机分布，可以通过多目标贝叶斯递归估计实现多目标状态和航迹的跟踪，具体如下：

GLMB预测：假设当前的多目标概率密度分布符合GLMB随机集形式，那么得到预测分布也符合GLMB随机集的形式，可以表示为：

其中，

其中，权重

由新生目标权重和存活目标权重的乘积获得，而概率分布p₊ ^(c)(x，l)由新生目标概率分布p_B(x，l)和存活目标的概率分布

组合得到，其中1_L(l)是一个集合包含函数(如果标签l包含在空间L中，则为1，否则为0)；假设新生目标的概率分布已知，存活目标的概率分布可通过转移函数f(x|g，l)获得。

GLMB更新：假设预测后的多目标概率分布符合GLMB随机集形式，那么更新后的多目标概率密度分布也符合GLMB随机集形式，可以具体表示为：

其中：

其中θ是目标与量测的映射，g(z_θ(l)|x，l)是量测似然函数。

δ-GLMB是在GLMB特殊条件下的滤波算法，主要作了以下处理：

C＝F(L)×Ξ

w^(c)(L)＝w^(I，ζ)(L)＝w^(I，ζ)δ_I(L)

p^(c)＝p^(I，ζ)＝p^(ζ)

其中Ξ为离散的联合映射空间，ζ是目标状态与标签的联合映射。δ-GLMB的概率分布表示为：

δ-GLMB滤波是GLMB特殊条件下的处理方法，其递归根据GLMB过程得到。

2、目标卷积特征

2.1目标卷积特征提取。

规范化目标图像的尺寸为n×n，将其转换为灰度图像。

首先，采用w×w大小的滑动窗口，以1为步长滑动得到目标小块的集合，y＝{Y₁，Y₂，...，Y_l}，其中，Y_i∈R^w×w，l＝(n-w+1)×(n-w+1)。

然后，对每个小块Y_i中的像素进行去均值操作，以消除亮度的影响，保留其梯度信息，并做2范数归一化处理。采用k-means算法训练出d个小块的集合

并将其作为卷积核，然后将每一个小块与目标图像做卷积操作，其中第i个小块

在图像I上做卷积操作后得到对应的一个目标特征图

在目标附近采集m个背景样本，背景样本通过将第一帧的目标框做上下平移运动得到，平移的值随机产生，但向左或者向右平移值的绝对值需大于宽和高的1/4。对采集的背景样本进行去均值和2范数归一化操作。对每一个背景样本采用k-means算法训练得到d个特征小块，其中，第i个背景样本的特征小块集合为

。将m个背景样本获得的特征小块进行平均池化操作以生成背景的平均特征小块集合，即

将得到的背景特征小块F^b与目标图像I做卷积操作，得到背景在图像上的特征图

将目标特征图

与背景特征图

相减得到能区分目标与背景的特征图集，具体表示为：

将d个特征图按行展开，成为d个一维向量，并按顺序拼接，最终得到目标的卷积特征c，

2.2稀疏表示特征图。

将特征图集S看作三维的张量C∈R^{(n-w+1)×(n-w+1)×d}，对张量进行稀疏化表示以凸显目标的特征。利用稀疏向量c去逼近vec(C)，使下式的目标函数最小化：

其中，vec(C)是串联C中所有元素的列向量，

为了计算简单，可以通过soft-shrinking方法求得稀疏表示的唯一解，即

其中，λ是张量C的中位数，sign(g)表示符号函数，abs(g)表示取绝对值运算。

2.3计算量测似然。

目标模板与候选模板的量测似然计算公式为：

其中，c_h表示候选目标卷积特征，c为目标的卷积特征。

3、SSD目标检测

SSD网络主要分为两个部分：基础网络层和额外卷积层，如图2所示。

基础网络层：该部分是一个深度卷积网络，通过该网络层，可以得到目标的完整卷积特征，从而区分不同的目标。SSD检测算法中，该层使用的是VGG16分类网络的改进，通过将VGG16网络的最后两个全连接层改为卷积层，得到目标的卷积特征。

额外卷积层：在该层中，将尺寸逐渐减小的卷积层添加到基础网络层的末端，实现对目标的多尺度预测。在SSD算法中，每一层卷积层都会通过步长为2的池化层实现下一层卷积大小减小一半，直到卷积层变成一维。当卷积层减小为上一层的一半时，卷积特征的感受野会扩大一倍，从而实现对目标不同尺寸的精确跟踪。

如图2所示，在SSD网络架构中，每个额外的特征层可以使用一系列的卷积核产生一组预测集合，所有集合组合起来就是得到的分类器。对于具有p通道，大小为m×n的特征层，预测的基本元素是3×3×p的核，通过该卷积核可以得到某个物体类别的分数，或者是和默认框的相对距离，使用同一个核，对该特征层所有位置全部卷积，得到的值即为不同默认框对应同一分类的预测集合。

在SSD网络中，每一个边框在对应特征图网格中的位置是固定的，因此，为了固定每个默认框在分类器中对应的位置，默认框以卷积的方式平铺。在特征图中的每个位置，都会预测相对于默认框的偏移量和每个类别的分数。具体来说，对于特征图中的每个位置，假设有k个边界框，每个边界框会计算c个类别分数和相对于默认边界框的偏移量，因此，在m×n的特征图上，需要使用(c+4)×k×m×n个核，并产生(c+4)×k×m×n个预测值。

基于上述基础理论，本发明提出的基于SSD检测广义标签多伯努利视频多目标跟踪方法，利用SSD检测技术检测当前帧的多目标状态，计算检测结果与存活目标的距离，并通过最邻近算法匹配，选择未匹配到的检测目标作为新生目标，使用标签伯努利集的形式近似，并带入广义标签多伯努利滤波中迭代跟踪。在跟踪过程中，计算检测结果和滤波结果的距离置信度和与跟踪目标的相似程度，并通过权值求和的方式融合得到最终的目标跟踪结果，有效解决滤波跟踪中存在的跟踪漂移现象，提高跟踪的精度；下面结合具体实施例对本发明方法具体实施步骤介绍如下：

实施例一：

本实施例提供一种基于SSD检测广义标签多伯努利视频多目标跟踪方法，参见图1，所述方法包括：

步骤一、初始化：在初始帧k＝0，初始化存在目标i，并进行采样

N(l)为粒子数目，设多目标先验概率密度为：

其中I是初始帧的标签集合，

是目标权重。设置目标的存在概率P_s为0.99，提取目标i的卷积特征

步骤二、广义标签多伯努利滤波预测：

2.1新生目标预测：采用SSD检测器检测第k图像，得到多目标检测结果

和目标数目

通过中心点距离计算存活目标与检测结果的距离矩阵D_k＝[d_i，j]，即：

其中，d_ij矩阵表示第i个存活目标与第j个检测结果的中心距离，然后采用最邻近距离算法匹配存活目标和检测的匹配。若存在N_B，k个匹配剩余后的检测结果，则将剩余的检测结果作为新生目标，对新生目标进行采样

若未存在匹配剩余的检测结果，则当前帧不做目标新生操作N_B，k＝0。

2.2存活目标预测：假设在k-1帧，目标后验概率表示为参数集

形式，那么预测后的概率密度可以表示为

其中

I₊ ^(i，b)＝I⁽ⁱ⁾∪L^(b)

I⁽ⁱ⁾表示第i个存活目标的标签集，L^(b)表示第b个新生目标的标签集。参数p⁽ⁱ⁾是由一组加权粒子构成

那么，目标对应的权重w₊ ^(i，b)可以表示为：

其中，p_S(□)为目标存活概率，

为目标新生概率。然后归一化权值w₊ ^(i，b)。参数p₊ ^(i，b)可以由存活目标粒子集和新生目标粒子集联合表示，即

步骤三、构建量测似然模型：

3.1目标卷积特征提取：规范化目标图像的尺寸为n×n，并转换为灰度图像。采用w×w大小的滑动窗口，以1为步长滑动得到目标小块的集合，y＝{Y₁，Y₂，...，Y_l}，其中，Y_i∈R^{w ×w}，l＝(n-w+1)×(n-w+1)。然后，对每个小块Y_i中的像素进行去均值操作，以消除亮度的影响，保留其梯度信息，并做2范数归一化处理。采用k-means算法训练出d个小块的集合

并将其作为卷积核，然后将每一个小块与目标图像做卷积操作，其中第i个小块

在图像I上做卷积操作后得到对应的一个目标特征图

在目标附近采集m个背景样本，背景样本通过将第一帧的目标框做上下平移运动得到，平移的值随机产生，但向左或者向右平移值的绝对值需大于宽和高的1/4。对采集的背景样本进行去均值和2范数归一化操作。对每一个背景样本采用k-means算法训练得到d个特征小块，其中，第i个背景样本的特征小块集合为

将m个背景样本获得的特征小块进行平均池化操作以生成背景的平均特征小块集合，即

将得到的背景特征小块F^b与目标图像I做卷积操作，得到背景在图像上的特征图

将目标特征图

与背景特征图

相减得到能区分目标与背景的特征图集，具体表示为：

将d个特征图按行展开，成为d个一维向量，并按顺序拼接，最终得到目标的卷积特征c，

3.2稀疏表示特征图：将特征图集S看作三维的张量C∈R^{(n-w+1)×(n-w+1)×d}，对张量进行稀疏化表示凸显目标的特征。利用稀疏向量c去逼近vec(C)，使下式的目标函数最小化：

其中，vec(C)是串联C中所有元素的列向量，

为了计算简单，可以通过soft-shrinking方法求得稀疏表示的唯一解，即

其中，λ是张量C的中位数。

3.3计算量测似然：目标模板与候选模板的量测似然计算公式为：

其中，c_h表示候选目标卷积特征，c为目标的卷积特征。

步骤四、广义标签多伯努利滤波更新

4.1计算所有标签伯努利集中候选目标x_i，j的卷积特征c_i，j，根据标签ζ⁽ⁱ⁾确定自己的候选模板，并计算候选目标的似然g(x^(i，j))。

4.2参数更新：令I＝(N_k-1+N_B，k)×N_B，k，那么预测后的多目标概率分布可以表示为：

根据计算得到的量测似然模型g(g)，更新目标参数，则更新后的多目标联合概率分布可以表示为：

其中参数I⁽ⁱ⁾＝I₊ ⁽ⁱ⁾，ζ⁽ⁱ⁾＝ζ₊ ⁽ⁱ⁾。由预测步骤可知p₊ ⁽ⁱ⁾的粒子集表示为：

那么更新后的目标所占权重w⁽ⁱ⁾和粒子权重计算w_+，i为：

其中，μ_i＝∑w_+，ig(x^(i，j))。

步骤五、重采样和分量删减

在δ-GLMB滤波中，由于在滤波过程中会划分所有的标签伯努利集，并产生相应的子集，导致产生大量的标签伯努利分量，但真正有用的标签伯努利分量却很少，因此，将权重w⁽ⁱ⁾较小的分量去除，而留下权重大的标签伯努利分量。此外，因为采用的是粒子滤波的方法实现δ-GLMB，为了避免粒子退化问题，对留下的标签伯努利集做重采样处理。

步骤六、目标状态提取

根据δ-GLMB的参数形式，提取目标的势分布和目标状态。

势分布估计公式为：

其中，

目标数目估计为

目标状态估计公式为：

估计的目标状态集为

步骤七、多特征融合及模板更新

7.1通过检测结果和跟踪结果，按权重求和得到最终的目标跟踪结果，即

x＝αx_det+(1-α)x_rec

其中，α∈[0，1)，权重α表示检测结果占最终结果的比重，权重(1-α)表示跟踪结果占最终结果的比重。当检测算法未检测到该目标时，α为0。检测结果所占权重α通过跟踪结果的位置置信度和特征相似程度确定，即：

其中，E_rec，E_det分别表示检测结果和跟踪结果的位置置信度，ω_rec，ω_det表示检测结果和跟踪结果与目标模板的相似程度。

位置置信度通过高斯核函数求得，即：

其中y′_k为预测的目标位置，x_k为跟踪的结果，方差α由上一帧的跟踪框大小决定。

跟踪结果与真实目标结果的相似程度，由特征模板近似得出，同时，为了防止模板的损坏，选择多个目标模板作对比，并去掉相似度最差的模板，综合得出相似程度，即：

其中，c为目标状态得到的卷积特征，n为对比模板数量，ρ(·)为跟踪结果与模板的相似程度。

7.2模板更新：目标在运动过程中，因复杂背景干扰、目标自身扭曲或其他形状变化等，导致目标跟踪不准确。因此本发明融合当前估计模板和原模板进行自适应更新模板，即：

其中，ρ为自适应学习速率，c_k，c_k-1分别为k，k-1帧的目标模板，

为k-1帧对目标跟踪结果的卷积特征的稀疏表示。

学习率计算公式为：

其中，S₁为k-1帧目标的跟踪框区域，S₂为k帧目标的跟踪框区域，S_1，2为跟踪框的不相交区域(差异性)为S_1，2，即S_1，2＝S₁∪S₂-S₁∩S₂。

当多目标发生交叉运动或紧邻运动时，计算目标相交(干扰)程度θ来确定是否需要更新模板。两个目标的相交(干扰)程度计算公式为：

其中，S₁为k帧目标i的跟踪框内区域，S₂为k帧目标j的跟踪框内区域，S₃为目标i和目标j跟踪框相交的区域，即，S₃＝S₁∩S₂。当目标相交程度θ大于设定阈值时，则目标模板不更新，否则进行自适应更新。

为进一步证明本发明提出的多目标跟踪方法对于多目标的跟踪效果，以下通过实验进行进一步说明：

1实验条件及参数：本发明使用CAVUAR数据集中序列EnterExitCrossingPaths1corVisual和Tracker Benchmark数据集中的序列Subway，Huamn4来验证本发明的跟踪性能。

这三组数据涉及到复杂场景下的目标形变、目标遮挡、目标紧邻和交叉运动、目标新生和消失等情况。实验采用的指标为最优次模式分配(Optimal SubpatternAssignment，OSPA)距离和目标数目估计，平均误差

和失跟率

作为评价指标。

1)OSPA距离的计算公式为：

其中，P_OS为距离敏感性参数，C_OS水平调节参数。

OSPA是计算集合距离之间的度量。在目标跟踪中，本发明专利中，多目标状态使用集合进行表示，使用OSPA能够较好地比对跟踪结果和真实结果，反映多目标跟踪性能。

2)平均误差的计算公式为：

平均误差

表示跟踪结果和真实结果的平均中心距离误差，通过该指标，可以反映跟踪结果的精准度。

3)失跟率的计算公式为：

其中，L是视频序列中目标总数，K为视频序列帧数，C为实验进行的蒙特卡洛次数，

表示第c次实验的第k帧中第l个目标的状态估计，V是实验中丢失目标的总次数。

失跟率

可以反映跟踪算法的稳定性，失跟率越小说明跟踪算法稳定性越好。

2实验及结果分析：本发明方法在处理器为Intel Core i7-8700、3.2GHz，12核，内存为16GB，显卡为NVIDIA Geforce GTX 1080Ti的服务器上，采用Matlab2016a进行仿真实验。并与卷积特征多伯努利滤波(卷积MB)方法和SSD检测技术进行性能比较与分析。

具体实验从三个方面对发明方法进行性能评估，即：目标紧邻与遮挡、目标交叉运动、目标新生和消失等，具体实验过程及结果如下：

实验一 目标紧邻与遮挡

本实验采用的视频序列为CAVUAR数据集中EnterExitCrossingPathslcor序列，该序列共有383帧图像。涉及到目标紧邻和遮挡现象，容易导致跟踪出现偏移，甚至漏跟现象。本发明利用一种无需离线学习且鲁棒性好的卷积特征对目标建立模型，在跟踪过程中融合SSD检测结果，修正滤波跟踪结果，并使用自适应更新策略更新目标模板。

图3给出了目标紧邻与遮挡序列实验结果，其中，图3(a)为卷积MB方法跟踪结果，图3(b)为SSD检测算法检测结果，图3(c)为本发明方法的跟踪结果。可以看出，当目标遮挡时，SSD检测算法出现漏检现象，如图3(b)中，出现目标漏检；而卷积MB方法因连续递归跟踪，出现跟踪偏移的问题，如图3(a)中，行人的跟踪框开始偏移。本发明方法，通过自适应模板更新，能够很好地处理目标紧邻的问题，且本发明方法融合检测结果，修正跟踪结果，解决跟踪偏移问题，提高跟踪的精度。

图4为目标紧邻与遮挡实验目标数目估计图，图5为目标紧邻与遮挡实验OSPA距离估计对比图。从图中可以看出，SSD算法容易出现误跟和漏跟现象，导致其OSPA波动较大，十分不稳定；而卷积MB方法，算法稳定，但由于其需要连续递归求解，跟踪精度随着时间的增加而下降；本发明方法引入多特征融合机制，既能够避免检测算法的漏检现象，也能避免递归算法中的跟踪漂移现象，能有效处理长时间的视频目标跟踪。

表1为实验的仿真结果，可以看出，SSD检测算法的

的值最高，这是因为该方法容易出现漏检误检现象，导致失跟率增大，当出现漏检时，会急剧增大误差和OSPA，因而导致平均误差和平均OSPA的增加。卷积MB方法因为是通过连续递归方法获得目标状态，因此会出现跟踪偏移现象，导致跟踪精度降低。而本发明方法能够有效地对目标进行跟踪，且通过检测的结果不断调整滤波结果，有效地提高跟踪的精度。

表1目标紧邻与遮挡实验跟踪性能评价

实验二 目标交叉运动和遮挡

采用视频序列为Visual Tracker Benchmark数据集中的Subway序列。该场景是在室外道路上，主要涉及多对目标之间存在交叉运动，同时还存在着目标新生和目标消失的问题。

目标交叉运动和遮挡的实验结果如图6所示，其中6(a)为卷积MB方法跟踪结果，，图6(b)为SSD检测算法检测结果，图6(c)为本发明方法的跟踪结果。可以看出，当出现目标交叉运动，且遮挡较大时，SSD检测算法出现漏检现象，导致跟踪不准确。而卷积MB方法虽能够解决紧邻问题，但当遮挡十分严重时，会出现漏跟现象，且在后续帧中，无法准确跟踪。而本发明方法，通过融合检测结果，修正跟踪结果，解决了连续递归中存在的跟踪偏移问题，且避免了交叉运动后目标丢失的情况，提高了跟踪的精度。

图7给出目标交叉运动和遮挡实验的目标数目估计对比图，图8给出了目标交叉运动和遮挡实验的OSPA距离估计对比图。可以看出，由于SSD检测器存在着误检和漏检现象，且在目标交叉运动时漏检现象更为明显，所以SSD检测器的目标数目估计和OSPA值波动变化大，而卷积MB方法，在遮挡严重的交叉运动后会出现跟踪错误的问题，且因为采用的是递归方法，因此在后续帧中，不会被更正，导致目标OSPA持续增大。而本发明方法能够较好地处理目标交叉运动问题，当目标跟踪错误后，会通过多特征融合机制，更正滤波结果，从而避免错跟问题，提高跟踪精度。

目标交叉运动与遮挡实验跟踪性能评价如表2所示，该实验中，多个目标长期处于互相遮挡、紧邻状态，本发明方法在平均误差

失跟率

平均OSPA值

上都明显优于卷积MB方法和SSD检测算法。

表2目标交叉运动与遮挡实验跟踪性能评价

实验三 目标新生和消失

该组实验采用视频序列Visual TrackerBenchmark数据集中的Human4序列，该序列共包含667帧图像。涉及的问题有背景移动、目标数目多、目标新生问题、目标消失等。其中，主要问题是目标从不同的地方出现，且出现频率高，数目多，导致跟踪误差大。

图9为目标新生和消失的实验结果，其中9(a)为卷积MB方法跟踪结果，图9(b)为SSD检测算法的检测结果，图9(c)为本发明方法的跟踪结果。可以看出，卷积MB方法，在复杂的目标新生和消失的情况下，对新生的目标跟踪不准确，且容易丢失目标；而SSD检测算法出现漏跟和误检现象，跟踪结果十分不稳定。而本发明通过检测结果和滤波结果匹配，得到目标新生状态，提高对新生目标的跟踪精度，且采用检测结果和滤波结果的融合方法，避免了跟踪中的跟踪偏移和失跟现象，具有较高的跟踪精度。

图10给出目标新生和消失实验的目标数目估计对比图，图11给出了目标新生和消失实验的OSPA距离估计对比图。可以看到，当目标新生数目增多且复杂时，卷积MB方法容易出现漏跟现象，导致跟踪的OSPA精度增大，而SSD检测算法在该场景中也易出现误检漏检问题。而本发明方法能够较好处理复杂的目标新生和消失问题，且跟踪性能精度高。

目标新生和消失实验的跟踪性能评价如表3所示。可以看出，卷积MB算法在复杂的目标新生和消失的情况下，容易漏跟目标，导致

和

的增大。而SSD检测算法也易出现误检漏检问题。而本发明方法能较好地处理目标新生和消失的问题，且跟踪精度较高。

表3目标新生和消失跟踪性能评价

通过上述三个实验，可以看出本发明提出的基于SSD检测广义标签多伯努利视频多目标跟踪方法，在多目标跟踪场景下能够有效应对目标紧邻与遮挡、目标交叉运动、目标新生和消失等情况，当发生目标新生时，SSD检测算法会检测到新生目标，并通过广义标签多伯努利多目标跟踪算法实现后续的准确跟踪，相较于传统方法，通过设定的值确定新生目标，SSD检测算法得到的新生状态更加准确，能够有效提高跟踪的精度。

当发生目标紧邻与遮挡、目标交叉运动时，基于自适应模板更新的机制能够有效遏制模板错误更新的问题，提高模板的准确度，进而提高目标的精准度。

另外，本发明提出了一种特征融合机制，通过SSD检测结果与广义标签伯努利跟踪结果进行特征融合，实现检测结果辅助跟踪结果，得到更加准确的跟踪结果，提高跟踪精度。

本发明实施例中的部分步骤，可以利用软件实现，相应的软件程序可以存储在可读取的存储介质中，如光盘或硬盘等。

以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种多目标跟踪方法，其特征在于，所述方法包括：

步骤一：利用SSD检测技术检测当前帧的多目标状态，计算检测结果与存活目标的距离；

步骤二：通过最邻近算法匹配，选择未匹配到的检测目标作为新生目标，使用标签伯努利集近似表示，并带入广义标签多伯努利滤波中迭代跟踪；

步骤三：在跟踪过程中，计算检测结果和滤波结果的距离置信度和与跟踪目标的相似程度，并通过权值求和的方式将检测结果与跟踪结果进行融合得到最终的目标跟踪结果。

2.根据权利要求1所述的方法，其特征在于，所述方法包括：

S1：在初始时k＝0，初始化存在目标，提取目标卷积特征，并对其进行粒子采样，近似多目标后验概率密度；

S2：多目标预测：(1)采用SSD检测算法检测当前帧多目标状态，并与跟踪结果匹配得到预测的目标新生状态；(2)对存活目标根据先验信息进行预测，得到预测后的存活目标状态；

S3：多目标更新：通过目标卷积特征建立目标似然模型，使用广义标签多伯努利滤波算法更新多目标状态；

S4：对多目标状态进行重采样，去除存活概率低的目标状态；

S5：提取多目标状态，并使用自适应更新机制更新目标模板；

S6：使用特征融合机制，融合检测结果和跟踪结果，获得最终的多目标状态；

S7：递归步骤S2-S6，直至跟踪结束。

3.根据权利要求2所述的方法，其特征在于，所述S2：多目标预测中，(1)采用SSD检测算法检测当前帧多目标状态，并与跟踪结果匹配得到预测的目标新生状态，包括：

采用SSD检测器检测第k帧图像，得到多目标检测结果

和目标数目

通过中心点距离计算存活目标与检测结果的距离矩阵D_k＝[d_i，j]，即：

其中，d_ij矩阵表示第i个存活目标与第j个检测结果的中心距离，然后采用最邻近距离算法匹配存活目标和检测结果；若存在N_B，k个匹配剩余后的检测结果，则将剩余的检测结果作为新生目标，对新生目标进行采样

若未存在匹配剩余的检测结果，则当前帧不做目标新生操作N_B，k＝0。

4.根据权利要求3所述的方法，其特征在于，所述S2：多目标预测中，(2)对存活目标根据先验信息进行预测，得到预测后的存活目标状态，包括：

假设在k-1帧，目标后验概率表示为参数集

形式，那么预测后的概率密度可以表示为

其中

I₊ ^(i，b)＝I⁽ⁱ⁾∪L^(b)

I⁽ⁱ⁾表示第i个存活目标的标签集，L^(b)表示第b个新生目标的标签集；参数p⁽ⁱ⁾是由一组加权粒子构成

那么，目标对应的权重w₊ ^(i，b)可以表示为：

其中，p_S(·)为目标存活概率，

为目标新生概率；然后归一化权值w₊ ^(i，b)；参数p₊ ^(i，b)由存活目标粒子集和新生目标粒子集联合表示，即：

5.根据权利要求4所述的方法，其特征在于，所述S3多目标更新中，通过目标卷积特征建立目标似然模型过程中，目标模板与候选模板的量测似然计算公式为：

其中，c_h表示候选目标卷积特征，c为目标的卷积特征。

6.根据权利要求5所述的方法，其特征在于，所述S3多目标更新中，使用广义标签多伯努利滤波算法更新多目标状态，包括：

计算所有标签伯努利集中候选目标x_y，z的卷积特征c_y，z，根据标签ζ^(r)确定自己的候选模板，并计算候选目标的似然g(x^(y，z))；

令I＝(N_k-1+N_B，k)×N_B，k，那么预测后的多目标概率分布可以表示为：

根据计算得到的量测似然模型g(·)，更新目标参数，则更新后的多目标联合概率分布可以表示为：

其中参数I^(a)＝I₊ ^(a)，ζ^(a)＝ζ₊ ^(a)，由预测步骤可知p₊ ^(a)的粒子集表示为：

那么更新后的目标所占权重w^(a)和粒子权重计算w_+，a为：

其中，μ_a＝∑w_+，ag(x^(y，z))。

7.根据权利要求6所述的方法，其特征在于，所述S4对多目标状态进行重采样，去除存活概率低的目标状态，包括：

在δ-GLMB滤波中，由于在滤波过程中会划分所有的标签伯努利集，并产生相应的子集，导致产生大量的标签伯努利分量，但真正有用的标签伯努利分量却很少，因此，将权重w^(a)较小的分量去除，而留下权重大的标签伯努利分量，此外，因为采用的是粒子滤波的方法实现δ-GLMB，为了避免粒子退化问题，对留下的标签伯努利集做重采样处理。

8.根据权利要求7所述的方法，其特征在于，所述S5提取多目标状态，包括：

根据δ-GLMB的参数形式，提取目标的势分布和目标状态；

势分布估计公式为：

其中，

目标数目估计为

目标状态估计公式为：

估计的目标状态集为

9.根据权利要求8所述的方法，其特征在于，所述S6中，当多目标发生交叉运动或紧邻运动时，计算目标相交程度θ来确定是否需要更新模板；两个目标的相交程度计算公式为：

其中，S₁为k帧目标i的跟踪框内区域，S₂为k帧目标j的跟踪框内区域，S₃为目标i和目标j跟踪框相交的区域，即，S₃＝S₁∩S₂；当目标相交程度θ大于设定阈值时，则目标模板不更新，否则进行自适应更新。

10.权利要求1-9任一所述的多目标跟踪方法在计算机视觉、图像处理领域内的应用。

Images