CN112348847A - 一种目标尺度自适应跟踪方法 - Google Patents

Abstract

本发明提供了一种目标尺度自适应跟踪方法，属于计算机视觉技术领域，该方法基于条件数对目标框进行分块，然后提取每个分块的VGGNet‑19网络模型第一、第四卷积层特征，应用到核相关滤波器中，得到不同分块目标中心位置，并通过巴氏系数对不同块的可靠性进行度量，以可靠性度量作为权重，最终得到整体目标响应图和整体目标位置中心，再利用仿射矩阵实现目标尺度自适应，以估算的一系列仿射变换矩阵得到一系列目标框集，并以前五帧跟踪结果平均值作为基线样本，以最接近基线样本的候选框作为最优候选框，实现目标尺度自适应跟踪,有助于实现目标尺度自适应跟踪。

Description

一种目标尺度自适应跟踪方法

技术领域

本发明涉及计算机视觉技术领域，尤其涉及一种目标尺度自适应跟踪方法。

背景技术

目标跟踪技术被广泛地应用在智能监控，医疗卫生，军事制导，无人驾驶， 人机交互和航空航天领域。除了上述应用外，它还应用在增强现实、智能机器 人、虚拟现实、可穿戴设备等方方面面。

目标跟踪技术的研究是一项具有重要意义的研究课题，国内外大量学者和 专业的比赛都在为研究跟踪技术做各种各样的努力。迄今为止，目标跟踪技术 发展历程大致经历了三个阶段：

第一阶段，大量目标跟踪的经典算法衍生出来；

第二阶段，是以相关滤波器为代表的目标跟踪；

第三阶段，卷积神经网络CNN被成功运用于目标跟踪。

然而，影响跟踪性能的因素有很多，在提升跟踪性能和提高跟踪系统的鲁 棒性方面仍然面临严峻的挑战。

发明内容

本发明的目的在于克服现有技术中的不足，提供一种目标尺度自适应跟踪 方法，能够有效提取目标对象特征，有效减少目标跟踪过程中被部分遮挡和尺 度变换因素带来的影响。

为达到上述目的，本发明是采用下述技术方案实现的：

本发明提供了一种目标尺度自适应跟踪方法，该方法包括如下步骤：

基于初始目标框内像素点条件数，对初始目标框进行分块；

利用训练好的VGGNet-19网络模型，提取各所述分块的第一层卷积层和第 四层卷积层的输出卷积层特征；

将提取的各所述卷积层特征经核相关滤波器估算以获得各所述分块目标中 心位置；

基于各所述分块的可靠性度量和目标中心位置获取整体目标中心位置；

根据整体目标中心位置获得当前帧目标候选框集，并从所述目标候选框集中 确定跟踪目标尺度；

判断当前帧是否为最后一帧：若是，则结束，否则响应于提取下一帧各分块 的第一层卷积层和第四层卷积层的输出卷积层特征，并对核相关滤波器进行更 新。

进一步的，分块数量为4，各分块的大小为目标框的四分之一，进行分块的 具体操作步骤如下：

以最小条件数值对应的像素点确定为第一个分块的目标中心；

依次选取剩余条件数最小的点，若选取的点已在确定好的分块内，则舍弃； 否则，以选取的点作为新确定的分块的目标中心。

进一步的，VGGNet-19网络模型的训练方法为利用小批量梯度下降法，使 用等批量大小样本来对参数进行更新。

进一步的，将提取的各所述卷积层特征经核相关滤波器估算以获得各所述 分块目标中心位置的方法包括如下步骤：

通过求解最小化问题来训练相关滤波器；

将各所述卷积层特征融入训练好的核相关滤波器，并计算各所述卷积层特 征在各个通道上的相关滤波器；

根据各个通道上的相关滤波器求得各所述分块的卷积层响应得分；

根据所述卷积层相应得分估算得到各所述分块目标中心位置。

进一步的，各所述分块目标中心位置的函数表达式如下：

其中，

(m,n)表示目标框内位置坐标， (m,n)∈{0,1,....,M-1}×{0,1,...,N-1}，其中M、N分别表示卷积层第l层特征向量的宽 度、高度，

表示卷积层第l层最大值所在的位置；f_l(m,n)表示第l层卷积 层响应得分，f_l-1(m,n)表示第l-1层卷积层响应得分，l∈[2,5]，λ是正则化参数， 约束条件为在第(l-1)相关响应图中仅搜索以

为中心，r为半径的区域。

进一步的，获取整体目标中心位置的方法包括如下步骤：

利用巴氏系数进行各所述分块的可靠性度量以实现块权重分配，其中，可靠 性度量C的公式如下：

其中，g(·)表示巴氏系数，

表示核相关滤波器在当前帧目标的分布概率，p 表示理想的检测响应的概率分布；

根据权重分配结果计算图像块整体目标中心位置，其计算公式如下：

其中，

为从第t-1帧到第t帧第i个分块目标中心位置的位移向量，w_i是利用 巴氏系数得到的分块可靠性度量对应的权重，l^t是第t帧整体目标位置中心，其 中i∈[1,4]，t为正整数。

进一步的，获取当前帧目标候选框集的方法包括如下步骤：

根据第一帧和第t帧各所述分块目标中心位置的坐标估算仿射矩阵；

以第一帧图像块乘以仿射矩阵，得到一系列目标框的目标框尺度B：

其中，k为分块个数。

以估算的第t帧整体目标中心位置l^t为中心，以

为尺度， 获取一系列第t帧目标候选框集。

进一步的，确定跟踪目标尺度的方法为：

以前五帧跟踪目标尺度的结果平均值作为基线样本L；

将目标候选框集中的第1,2,…,2^k-1个候选框与基线样本L利用公式

计算重叠率OS；

根据计算所得重叠率OS选出重叠率最大的候选框，以所述候选框为最接近基 线样本的最优候选框，并将所述最优候选框的大小确定为跟踪目标尺度的大小。 进一步的，当进入下一图像帧时，根据当前帧跟踪目标的位置，对相关滤波器 进行更新，更新策略为：

其中，β∈(0,1)是学习率，α是分类器系数，U是输入的图像。

进一步的，估算仿射矩阵的方法包括如下步骤：

构建k个分块第一帧和第t帧目标中心位置的坐标所对应的矩阵A和矩阵E；

根据构建的矩阵A和矩阵E估计仿射矩阵G，如下式所示：

其中，

表示k分块第一帧目标中心位置的坐标，

表示k分块第t帧 目标中心位置的坐标；

通过线性方程求解系统

进而求解仿射变换矩阵如下所示：

G＝EA^T(AA^T)^-1。

与现有技术相比，本发明所达到的有益效果：

本发明利用训练好的VGGNet-19网络模型，通过对目标框按照一定的分块 策略进行分块操作，以最小条件数值为条件的分块操作，当目标被部分遮挡时， 剩余块仍可以精准跟踪，有效避免了目标跟踪中由于部分遮挡而产生的跟踪精 度下降问题，利用基于仿射变换的自适应跟踪方法可实现目标尺度自适应，跟 踪效果更加稳定、准确性更高；

提取各分块的第一层卷积层和第四层卷积层的输出卷积层特征，不仅减少 了所需提取的卷积层特征，减少了相关计算量和降低了复杂程度，且其跟踪效 果比传统跟踪算法可靠性更高。

附图说明

图1是本发明实施例提供的一种目标尺度自适应跟踪方法的流程图；

图2是本发明实施例提供的一种目标尺度自适应跟踪方法中各卷积层特征 跟踪性能对比图；

图3是本发明实施例提供的一种在低分辨率视频序列中目标尺度自适应跟 踪方法中各卷积层特征跟踪性能对比图；

图4是本发明实施例提供的一种目标尺度自适应跟踪方法中各卷积层特征 跟踪效果对比图；

图5是本发明实施例提供的一种目标尺度自适应跟踪方法中各卷积层特征 跟踪效果对比图。

具体实施方式

下面结合附图对本发明作进一步描述。以下实施例仅用于更加清楚地说明 本发明的技术方案，而不能以此来限制本发明的保护范围。

在本发明的描述中，需要理解的是，术语“中心”、“纵向”、“横向”、“上”、 “下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”、“内”、“外” 等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描 述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方 位、以特定的方位构造和操作，因此不能理解为对本发明的限制。此外，术语 “第一”、“第二”等仅用于描述目的，而不能理解为指示或暗示相对重要性或 者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”等的特征可以明示或者隐含地包括一个或者更多个该特征。在本发明的描述中，除非 另有说明，“多个”的含义是两个或两个以上。

在本发明的描述中，需要说明的是，除非另有明确的规定和限定，术语“安 装”、“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆 卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连， 也可以通过中间媒介间接相连，可以是两个元件内部的连通。对于本领域的普 通技术人员而言，可以通过具体情况理解上述术语在本发明中的具体含义。

如图1所示，本发明提出了一种基于融合核相关滤波器和深度学习的目标 尺度自适应跟踪方法。针对目标跟踪过程中在目标发生部分遮挡以及尺度变换 情况下引起的跟踪准确性降低甚至跟踪失败的问题。

本发明提供的目标尺度自适应跟踪方法具体实施方式如下：

步骤(a)：基于初始目标框内像素点条件数，对初始目标框进行分块。

假定目标对象的目标框区域的像素点个数为N，根据式(1)计算图像的目 标框区域内像素点条件数：

其中，K_j表示第j个条件数，j∈[1,N]，N为正整数，σ_max(H_j)和σ_min(H_j)分别 是海森矩阵H的最小奇异值和最大奇异值。

由上式可知，K值越小表示矩阵越稳定，将K_i依据条件数从小到大排序。

通过对多个视频序列的实验验证来选择分块的大小和个数，发现当分块对 象的大小是目标的四分之一到六分之一之间时，结果不会有太大的改变，但是 当分块的大小过大或过小时，结果可能会更糟糕；当分块数大于五时，分块的 数目不会对结果产生太大的影响，因此分块数为四，大小为目标搜索区域的四 分之一。

因此，进行分块操作的方法为：首先，以最小条件数值对应的像素点作为 第一个分块目标中心，分块的大小为初始目标框的四分之一尺寸；然后依次选 取剩余条件数最小的点，若该点已在第一个分块内，则舍弃，否则以该点作为 第二个目标块的中心，大小仍是初始目标框的四分之一,……；以此类推，直至 完成四个分块。

步骤(b)：利用训练好的VGGNet-19网络模型，提取各所述分块的第一层 卷积层和第四层卷积层的输出卷积层特征。

1)、网络模型训练方法是：利用小批量梯度下降法，使用等批量大小样本 来对参数进行更新。

具体地，对于参数设置如下，批量大小设置为256，动量即衰减系数设置为 0.9，训练通过权重衰减L2损失函数惩罚乘数设置为5×10^-4，以及前两个完全连 接的层的丢包规则化进行调整，丢包率设置为0.5，将学习率设置为10^-2。

2)、特征提取：用训练好的VGGNet-19网络模型分别提取每个分块的各层 特征并用于相关滤波目标跟踪中，C1、C2、C3、C4、C5为VGGNet网络提取 的1至5层单层特征用于KCF的跟踪方法，将这些方法在OTB Benchmark 2013 中与其他流行算法进行比较，得到平均OPE(One-Pass Evaluation)精度图，以 及在低分辨率的视频序列中的OPE精度图，如图2和图3所示。比较分析后， 选取第一层和第四层卷积特征。

用训练好的VGGNet-19模型，提取各分块VGGNet卷积层第一层和第四层 卷输出的卷积层特征，提取的卷积层特征为X,表示为大小M×N×D的第l层特征 向量，其中M、N、D分别表示宽度、高度和通道数。

步骤(c)：将提取的各所述卷积层特征经核相关滤波器估算以获得各所述 分块目标中心位置。

各分块每层响应得分：核相关滤波器W^*通过求解最小化问题来学习相关滤 波器W，如公式(2)所示，其中，λ是正则化参数，y表示样本的回归结果。

将各分块多卷积层特征融入核相关滤波器W^*，通过式(3)计算第d个通道 上的相关滤波器W^d，相关滤波器的求解可以使用快速傅里叶变换(FFT)在每 个个体特征通道中求解，Y则为相应的傅里叶变换信号。

给定一个图像Z的分块，并通过式(4)求得各分块每层响应得分f(z)，其 中运算符F^-1表示FFT逆变换。

各分块目标中心位置估计：估算精度由粗到精的位置估计，得到三组相关 响应图，分层地推断每一层的目标位置，即后一层中最大值的位置用作正则化 来搜索较前层的最大值。

设

表示第l层上最大值的位置，则第(l-1)层中目标的最佳位置表示为：

其中，

(m,n)表示目标框内位置坐标， (m,n)∈{0,1,....,M-1}×{0,1,...,N-1}，其中M、N分别表示卷积层第l层特征向量的宽 度、高度，

表示卷积层第l层最大值所在的位置；f_l(m,n)表示第l层卷积 层响应得分，f_l-1(m,n)表示第l-1层卷积层响应得分，l∈[2,5]，λ是正则化参数， 约束条件为在第(l-1)相关响应图中仅搜索以

为中心，r为半径的区域。

来自后一层的响应值加权作为正则化项，然后反向传播到前一层的响应图 中。以这种方式逐层传递，直到最后一层的响应图中的最大值处就是目标的预 测位置。在实验中，观察到跟踪结果对邻域搜索约束的参数r不敏感，这相当于 计算来自多个层的响应图的加权平均值，以推断目标位置，融合后最大得分所 在位置便是目标预测位置最大响应得分f_p。

步骤(d)：基于各所述分块的可靠性度量和目标中心位置获取整体目标中 心位置。

块可靠性度量：在数学上用巴氏系数表示对两个统计样本的重叠量的近似 计算，可用来对两组概率分布的相似性进行度量。其原理是：分别求出两张图 在直方图上的概率分布，然后进行相应数学上的计算。这里用C表示这两种分布 的相似性度量，计算公式为式(6)：

其中，P和Q分别表示人工标注目标位置框和候选目标框的直方图的值，计 算所得相似度值，范围是0到1之间。

将巴氏系数这种度量方式引入基于多卷积层特征与相关滤波的分块目标定 位方法中，用巴氏系数度量各分块可靠性，实现各分块权重分配，如公式(7) 所示：

式中，g(·)表示巴氏系数，用

表示核相关滤波器在当前帧目标的分布概率， p表示理想的检测响应的概率分布。

整体目标中心位置：通过下式(8)计算图像块整体目标中心位置：

其中，

为从第t-1帧到第t帧第i个子分块目标中心位置的位移向量，w_i是用 巴氏系数得到的分块可靠性对应的权重，l^t是第t帧整体目标位置中心。

步骤(e)：根据整体目标中心位置获得当前帧目标候选框集，并从所述目 标候选框集中确定跟踪目标尺度。

获取第t帧目标框尺度集：根据第一帧和第t帧各分块目标中心位置坐标 估算仿射矩阵。

假设根据步骤(c)得到不同分块在第一帧的目标中心位置为

第t帧各分块目标中心位置点为

仿射矩阵G∈R^3×3被用来描述第一帧和第t帧相对应 中心点的变换，具体可表示为：

其中，k个分块第一帧和第t帧中心位置坐标分别表示为矩阵A以及E，用 它们来估计仿射矩阵G，将这四个参数相匹配的矩阵估计问题转化成线性方程 求解系统

最终通过下式(10)求解仿射变换矩阵：

G＝EA^T(AA^T)^-1 (10)

求解得到仿射变换矩阵后，以第一帧图像块乘以仿射矩阵，得到一系列目 标框，记这些目标框尺度B为

以估算的目标中心位置l^t为中心， 以

为尺度，获取一系列第t帧候选框集。

判断是否最接近基线样本候选框：以前五帧跟踪目标尺度的结果平均值作 为基线样本L；将目标候选框集中的第1,2,…,2^k-1个候选框与基线样本计算 重叠率OS，用公式

计算，重叠率最大的候选框即为最接近样本候选 框。

若否，则继续在候选框集中选择候选框，计算重叠率。

若是，则获取最优候选框，以最优候选框的大小确定为跟踪目标尺度的大 小。

步骤(f)：判断当前帧是否为最后一帧：

若是，则结束；

若否，则响应于提取下一帧各分块的第一层卷积层和第四层卷积层的输出 卷积层特征，并对核相关滤波器进行更新。

其中，当进入下一图像帧时，根据当前帧跟踪目标的位置，对相关滤波器 进行更新，如下式所示，第t帧时第i个分块的更新策略为：

其中，β∈(0,1)是学习率，α是分类器系数，U是输入的图像。

为验证本发明提出的目标自适应跟踪方法的有效性，我们使用OTB2013数据 集，在标准跟踪库平台进行实验，选取了4组包含发生遮挡或尺度变化的视频 序列进行测试(序列的详细信息见下表1)。并将跟踪结果与传统相关滤波算法 KCF算法、基于相关滤波跟踪算法进行尺度问题改进的DSST算法、采用分块方 式RPT算法以及相关滤波和卷积神经网络相结合得HCFT算法进行比较，各方法 跟踪效果的对比图，如图4和图5所示。

由图可知，本发明提出的算法的平均精度达到82.5％，而HCFT为81.5％， RPT为73.5％，DSST为62.3％，KCF为52.6％，本发明提供的算法与以上四个算 法相比，分别提高1.2％、12.2％、32.4％、56.8％；并且本发明提出算法的成功率 达到68.1％，HCFT为66.5％，RPT为59.7％，DSST为55.6％，KCF为40.5％，与这 四个算法相比，分别提高了2.4％、14.1％、22.5％、68.1％。

由此可得，本发明的改进算法对于跟踪中的遮挡、尺度变化挑战因素有明 显改善。

表1测试序列的相关信息

序列名称	帧数	分辨率	存在的挑战
				Basketball	725	576*432	遮挡
Bolt	350	640*360	遮挡
				BlurBody	334	640*480	尺度变换
ClifBar	472	320*240	遮挡，尺度变换

综上，本发明利用训练好的VGGNet-19网络模型，通过对目标框按照一定 策略进行分块操作，当目标被部分遮挡时，剩余块仍可以精准跟踪，有效避免 了目标跟踪中由于部分遮挡而产生的跟踪精度下降问题，利用基于仿射变换的 自适应跟踪方法可实现目标尺度自适应；提取各分块的第一层卷积层和第四层 卷积层的输出卷积层特征，不仅减少了提取卷积层特征，其跟踪效果比传统跟 踪算法可靠性更高。

以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通 技术人员来说，在不脱离本发明技术原理的前提下，还可以做出若干改进和变 形，这些改进和变形也应视为本发明的保护范围。

Claims (10)

1.一种目标尺度自适应跟踪方法，其特征在于，该方法包括如下步骤：

基于初始目标框内像素点条件数，对初始目标框进行分块；

利用训练好的VGGNet-19网络模型，提取各分块的第一层卷积层和第四层卷积层的输出卷积层特征；

将提取的各所述卷积层特征经核相关滤波器估算以获得各分块目标中心位置；

基于各分块的可靠性度量和目标中心位置获取整体目标中心位置；

根据所述整体目标中心位置获得目标候选框集，并从所述目标候选框集中确定跟踪目标尺度；

判断当前帧是否为最后一帧：若是，则结束，否则响应于提取下一帧的各分块的第一层卷积层和第四层卷积层的输出卷积层特征，并对核相关滤波器进行更新。

2.根据权利要求1所述的目标尺度自适应跟踪方法，其特征在于，分块数量为4，各分块的大小为目标框的四分之一，进行分块的具体操作步骤如下：

以最小条件数值对应的像素点确定为第一个分块的目标中心；

依次选取剩余条件数最小的点，若选取的点已在确定好的分块内，则舍弃；否则，以选取的点作为新确定的分块的目标中心。

3.根据权利要求1所述的目标尺度自适应跟踪方法，其特征在于，VGGNet-19网络模型的训练方法为利用小批量梯度下降法，使用等批量大小样本来对参数进行更新。

4.根据权利要求1所述的目标尺度自适应跟踪方法，其特征在于，将提取的各所述卷积层特征经核相关滤波器估算以获得各所述分块目标中心位置的方法包括如下步骤：

通过求解最小化问题来训练相关滤波器；

将各所述卷积层特征融入训练好的核相关滤波器，并计算各所述卷积层特征在各个通道上的相关滤波器；

根据各个通道上的相关滤波器求得各所述分块的卷积层响应得分；

根据所述卷积层相应得分估算得到各所述分块目标中心位置。

5.根据权利要求4所述的目标尺度自适应跟踪方法，其特征在于，各所述分块目标中心位置的函数表达式如下：

其中，

(m,n)表示目标框内位置坐标，(m,n)∈{0,1,....,M-1}×{0,1,...,N-1}，其中M、N分别表示卷积层第l层特征向量的宽度、高度，

表示卷积层第l层最大值所在的位置；f_l(m,n)表示第l层卷积层响应得分，f_l-1(m,n)表示第l-1层卷积层响应得分，其中l∈[2,5]，λ是正则化参数，约束条件为在第(l-1)相关响应图中仅搜索以

为中心，r为半径的区域。

6.根据权利要求5所述的目标尺度自适应跟踪方法，其特征在于，获取整体目标中心位置的方法包括如下步骤：

利用巴氏系数进行各所述分块的可靠性度量以实现块权重分配，其中，可靠性度量C的公式如下：

其中，g(·)表示巴氏系数，

表示核相关滤波器在当前帧目标的分布概率，p表示理想的检测响应的概率分布；

根据权重分配结果计算图像块整体目标中心位置，其计算公式如下：

其中，

为从第t-1帧到第t帧第i个分块目标中心位置的位移向量，w_i是利用巴氏系数得到的分块可靠性度量对应的权重，l^t是第t帧整体目标位置中心，其中i∈[1,4]，t为正整数。

7.根据权利要求6所述的目标尺度自适应跟踪方法，其特征在于，获取当前帧目标候选框集的方法包括如下步骤：

根据第一帧和第t帧各所述分块目标中心位置的坐标估算仿射矩阵；

以第一帧图像块乘以仿射矩阵，得到一系列目标框的目标框尺度B：

其中，k为分块个数。

以估算的第t帧整体目标中心位置l^t为中心，以

为尺度，获取一系列第t帧目标候选框集。

8.根据权利要求7所述的目标尺度自适应跟踪方法，其特征在于，确定跟踪目标尺度的方法为：

以前五帧跟踪目标尺度的结果平均值作为基线样本L；

将目标候选框集中的第1,2,…,2^k-1个候选框与基线样本L利用公式

计算重叠率OS；

根据计算所得重叠率OS选出重叠率最大的候选框，以所述候选框为最接近基线样本的最优候选框，并将所述最优候选框的大小确定为跟踪目标尺度的大小。

9.根据权利要求7所述的目标尺度自适应跟踪方法，其特征在于，当进入下一图像帧时，根据当前帧跟踪目标的位置，对相关滤波器进行更新，更新策略为：

其中，β∈(0,1)是学习率，α是分类器系数，U是输入的图像。

10.根据权利要求7所述的目标尺度自适应跟踪方法，其特征在于，估算仿射矩阵的方法包括如下步骤：

构建k个分块第一帧和第t帧目标中心位置的坐标所对应的矩阵A和矩阵E；

根据构建的矩阵A和矩阵E估计仿射矩阵G，如下式所示：

其中，

表示k分块第一帧目标中心位置的坐标，

表示k分块第t帧目标中心位置的坐标；

通过线性方程求解系统

进而求解仿射变换矩阵：

G＝EA^T(AA^T)^-1。

Images