CN105678338B - 基于局部特征学习的目标跟踪方法 - Google Patents

Abstract

本发明公开了一种基于局部特征学习的目标跟踪方法，将目标物体和背景分解成大量的具有尺度和形状不变性的局部单元，将其作为目标和背景分类模型的训练样本，采用深度学习的方式，从训练样本中学习出目标物体以及背景的局部表达。再判断出图像中每个特定区域属于目标物体的置信度，实现目标物体的准确定位。因这种由大量样本学习得出的局部表达具有高度的目标识别能力，该跟踪方法对目标形变、目标遮挡等情况具有较高的适应能力。更新物体表观模型时，抽取出目标置信度较高的局部区域作为模型的训练样本，并对模型进行更新。本方法在目标跟踪的过程中，不断更新表观模型，学习目标物体的关键特征，在外观变化较大的情景下能够取得更好的跟踪效果。

Description

基于局部特征学习的目标跟踪方法

技术领域

本发明涉及计算机视觉领域，更具体地，涉及到一种基于局部特征学习的目标跟踪方法。

背景技术

目标跟踪作为计算机视觉领域的一个重要研究方向，目前已受到了广泛的关注。该技术在安全监控、无人驾驶和军事防御等领域具有宽广的应用前景。尽管目前已经存在着相当数量的目标跟踪方法,但这些方法往往在光照变化、物体形变和严重遮挡等情况下不稳定甚至失效。因此,提出一种有效的目标跟踪算法具有重要的应用价值和现实意义。

当前，已有不少目标跟踪算法投入使用，完整的目标跟踪算法可分成四个主要部分：特征提取的方法、表观模型的建立、目标的定位方法、模型更新机制的设计。其中，特征提取和模型的更新机制最为重要，同时也是当前已有跟踪算法中最为薄弱的环节。一方面，有效的特征提取方法能够捕捉目标相关的特征，是实现准确跟踪的关键所在；另一方面，设计良好的模型更新机制可以保证表观模型具备动态适应目标物体形态变化的能力，是决定目标跟踪算法适应能力的重要因素。然而，现有的目标跟踪算法在这两方面仍然十分欠缺，因此，开发一种同时具备两方面性质的目标跟踪算法是很有必要的。

现有的目标跟踪方法采用过于简单的或传统的手工特征，其对目标物体的表达能力受到限制，难以适应目标的复杂形态变化，往往无法得到理想的跟踪结果。同时，在模型的更新机制的设计方面相当局限，当跟踪过程中存在光照变化及目标遮挡，尤其是相似物体的遮挡等情况时，表观模型常被错误地更新，导致其将背景区域误判为目标区域。

发明内容

为了克服现有技术的不足，即针对目标跟踪方法所提取的特征表达能力较弱，模型的更新机制适应能力差等问题，本发明提出一种基于局部特征学习的跟踪方法，首先将目标物体和背景分解成大量的具有尺度和形状不变性的局部单元，即图像的局部区域，并将其作为目标和背景分类模型的训练样本，采用深度学习的方式，从训练样本中学习出目标物体以及背景的局部表达。在此基础上，进一步判断出图像中每个特定区域属于目标物体的置信度，从而实现目标物体的准确定位。由于这种由大量样本学习得出的局部表达具有高度的目标识别能力，该跟踪方法对目标形变、目标遮挡等情况具有较高的适应能力。更新物体表观模型时，抽取出目标置信度较高的局部区域作为模型的训练样本，并对模型进行更新。本方法在目标跟踪的过程中，不断更新表观模型，学习目标物体的关键特征，在诸如遮挡、变形等外观变化较大的情景下能够取得更好的跟踪效果。

为了克服现有技术的不足，本发明的技术方案为：

一种基于局部特征学习的目标跟踪方法，包括以下步骤：

S1.在视频的第一帧中，将目标区域和背景区域分解成大量的局部单元，以分解后的大量局部单元作为训练样本，采用深度学习的方式训练、构建表观模型，学习出目标的局部表达；

S2.获取视频的下一帧，计算图像中每个局部区域属于目标的置信度，得到用于目标定位的置信度图；

S3.根据置信度图确定目标所在的位置和大小，并令k＝1；

S4.从该帧的整幅图像中选取第k个局部区域，当该局部区域的目标置信度大于设定的阈值T_pos，则转入步骤S5，否则转入步骤S6；

S5.将该局部区域加入到目标样本训练集，转入步骤S7；

S6.当该局部区域的目标置信度小于设定的阈值T_neg，将该局部区域加入到背景样本集；

S7.当第k个局部区域所指向的局部区域是最后一个局部区域，则利用目标样本训练集和背景样本训练集更新表观模型，同时跳转至步骤S8；否则将k+1赋值给k，转入步骤S4；

S8.判断当前帧是否为视频的最后一帧，若是则结束；否则转入步骤S2。

更进一步地，所述步骤S1中所建立的表观模型是通过对大量局部区域进行学习而得到的，具体的表观模型构造方法为：

给定第一帧图像I及其对应的目标区域，抽取目标区域内的所有像素：

P＝{(x,y)|x₁≤x≤x₁+w₁,y₁≤y≤y₁+h₁}

其中，x₁和y₁表示目标区域所在的最小横纵坐标，w₁和h₁分别表示目标区域的宽和高，P为目标区域内的所有像素点集；

同时，提取背景区域内的所有像素：

N＝{(x,y)|x＜x₁}∪{(x,y)|x＞x₁+w₁}∪{(x,y)|y＜y₁}∪{(x,y)|y＞y₁+h₁}这里，N表示非目标区域，即背景区域内的所有像素点集；

然后，分别提取所有目标相关的局部块U_pos和所有背景相关的局部块U_neg：

U_pos＝{I_r,x,y|(x,y)∈P}

U_neg＝{I_r,x,y|(x,y)∈N}

其中，r为预先设定的局部块半径；

定义三层稀疏，其中自动编码机作为待训练的表观模型，该自动编码机是一个三层神经网络，其中输入层有(2r+1)²个节点，用于接收输入的局部块；隐含层的节点个数是输入层的1/4，用于获取针对目标和背景的判别特征；输出层有1个节点，输出结果为输入局部块属于目标的置信度；

表观模型的训练和构建过程最终通过下式实现：

其中，ω是网络的权值，

是输入的第i个局部块，

表示网络输出，即局部块

所对应的目标置信度。

更进一步地，所述步骤S2中对于新一帧的图像，根据所构建的表观模型，计算出其对应的目标置信度图；具体实现如下：

设U为包含新一帧图像中所有像素点的集合，则对于集合U中的每一个元素，即图像中的每一个像素点(x,y)，均可找到一个以该像素点为中心，且大小为r的局部块I_r,x,y；利用步骤S1中所构造的表观模型，即稀疏自动编码机，得到局部块I_r,x,y所对应的目标置信度φ(ω,I_r,x,y)；在此基础上，计算出与一幅图像大小相同的置信度图C，其中C(x,y)＝φ(ω,I_r,x,y)，该置信度图反映了目标物体出现位置的大致分布情况，对进一步估计目标所在位置及其大小具有重要的指导作用。

更进一步地，所述步骤S3中计算目标所在位置和大小的方法，具体方法如下：

生成大量的用于描述目标位置和大小的候选矩形框{c₁,c₂,…,c_n}，计算每个候选矩形框的得分S^ci，并选取得分最高的候选矩形框以最终确定目标所在位置和大小；其中，得分S^ci由以下两个因素决定：1)候选矩形框中所有局部块的目标置信度总和M^ci；2)候选矩形框中高置信度局部块所占的比例R^ci；M^ci可由下式计算得到：

要计算R^ci，先找出候选矩形框中置信度较高的局部块：

其中T_high为预先设定的阈值，置信度高于此阈值的局部块可以认为其置信度较高，即属于目标的一部分；则R^ci的计算方式如下：

上式中，

表示为候选矩形框所包含的局部块总个数；最后，可以通过式子

找出最佳的描述目标所在位置和大小的矩形框。

更进一步地，所述步骤S4到步骤S7所采用的表观模型更新机制；具体方法如下：

设在第t帧中已计算出目标置信度图C_t，且已计算出描述目标所在位置和大小的最佳矩形框；则分别选出目标置信度较高和较低的局部块：

P^t＝{I_r,x,y|C(x,y)＞T_pos},N^t＝{I_r,x,y|C(x,y)＜T_neg},

其中，T_pos和T_neg均为预先设定的阈值，P^t和N^t分别表示置信度较高和较低的局部块集合；在此基础上，通过求解下式实现表观模型的更新：

ω是权重，I_r,x,y是一个以(x,y)为圆心，半径为r∈[0,min(w₁,h₁)]的局部图块，在t帧I_r,x,y∈N^t。

与现有技术相比，本发明具有以下有益效果：

1)能够通过样本学习，获得目标相关的局部特征表达，这种特征表达具有相当强的判别能力，对目标和背景的分类起到关键作用，大幅度提高了目标跟踪能力，尤其是当跟踪过程中出现遮挡、目标形变等情况时，本发明的方法具有明显的优越性。

2)表观模型的更新机制以大量局部单元为基础，这些局部单元在目标物体发生形变或出现遮挡时，依然能够保持自身的稳定性。这种更新机制保证了在长时间的跟踪过程中，表观模型不易受遮挡和形变的影响，具有较好的场景适应能力。

附图说明

图1为本发明的方法中所涉及的稀疏自动编码机结构示意图。

图2为本发明的方法执行步骤示意图。

图3为本发明方法为跟踪具有剧烈形变挑战的视频序列“trans”时，计算所得的置信度图，以及描述目标所在位置和大小的矩形框。

图4为本发明方法为跟踪具有尺度变化的视频序列“carScale”时，计算所得的置信度图，以及描述目标所在位置和大小的矩形框。

具体实施方式

下面结合附图对本发明做进一步的描述，但本发明的实施方式并不限于此。

本发明的方法执行步骤示意图如附图1所示，具体包括如下步骤：

S1.给定第一帧图像I及其对应的目标区域，抽取目标区域内的所有像素：

P＝{(x,y)|x₁≤x≤x₁+w₁,y₁≤y≤y₁+h₁}

其中，x₁和y₁表示目标区域所在的最小横纵坐标，w₁和h₁分别表示目标区域的宽和高，P为目标区域内的所有像素点集；

同时，提取背景区域内的所有像素：

N＝{(x,y)|x＜x₁}∪{(x,y)|x＞x₁+w₁}∪{(x,y)|y＜y₁}∪{(x,y)|y＞y₁+h₁}这里，N表示非目标区域，即背景区域内的所有像素点集。然后，分别提取所有目标相关的局部块U_pos和所有背景相关的局部块U_neg：

U_pos＝{I_r,x,y|(x,y)∈P},U_neg＝{I_r,x,y|(x,y)∈N}

其中，r＝7为预先设定的局部块半径。在此基础上，定义如图1所示的三层稀疏自动编码机作为待训练的表观模型，该自动编码机是一个三层神经网络，其中输入层有(2r+1)²个节点，用于接收输入的局部块；隐含层的节点个数是输入层的1/4，用于获取针对目标和背景的判别特征；输出层有1个节点，输出结果为输入局部块属于目标的置信度。表观模型的训练和构建过程最终通过下式实现：

其中，ω是网络的权值，

是输入的第i个局部块，

表示网络输出，即局部块

所对应的目标置信度。

S2.获取视频序列的下一帧图像，设U为包含新一帧图像中所有像素点的集合，则对于集合U中的每一个元素，即图像中的每一个像素点(x,y)，均可找到一个以该像素点为中心，且大小为r＝7的局部块I_r,x,y。利用步骤S1中所构造的表观模型，即稀疏自动编码机，可得到局部块I_r,x,y所对应的目标置信度φ(ω,I_r,x,y)。在此基础上，可以计算出与一幅与图像大小相同的置信度图C，其中C(x,y)＝φ(ω,I_r,x,y)，该置信度图反映了目标物体出现位置的大致分布情况，对进一步估计目标所在位置及其大小具有重要的指导作用。

S3.生成大量的用于描述目标位置和大小的候选矩形框{c₁,c₂,…,c_n}，计算每个候选矩形框的得分S^ci，并选取得分最高的候选矩形框以最终确定目标所在位置和大小。其中，得分S^ci由以下两个因素决定：1)候选矩形框中所有局部块的目标置信度总和M^ci；2)候选矩形框中高置信度局部块所占的比例R^ci。M^ci可由下式计算得到：

要计算R^ci，先找出候选矩形框中置信度较高的局部块：

其中T_high为预先设定的阈值，置信度高于此阈值的局部块可以认为其置信度较高，即属于目标的一部分。则R^ci的计算方式如下：

上式中，

表示为候选矩形框所包含的局部块总个数。最后，可以通过式子

找出最佳的描述目标所在位置和大小的矩形框。

S4.设当前帧为视频序列中的第t帧，且已计算出目标置信度图C_t，同时已找出描述目标所在位置和大小的最佳矩形框。则分别选出目标置信度较高和较低的局部块：

P^t＝{I_r,x,y|C(x,y)＞T_pos},N^t＝{I_r,x,y|C(x,y)＜T_neg},

其中，T_pos和T_neg均为预先设定的阈值，P^t和N^t分别表示置信度较高和较低的局部块集合。在此基础上，通过求解下式实现表观模型的更新：

ω是权重，I_r,x,y是一个以(x,y)为圆心，半径为r∈[0,min(w₁,h₁)]的局部图块，在t帧I_r,x,y∈N^t。

S5.判断当前帧是否为视频的最后一帧，若是则结束；否则转入S2。

图3是跟踪具有剧烈形变挑战的视频序列“trans”时，计算所得的目标置信度图，以及描述目标所在位置和大小的矩形框。图3(a)和图3(b)分别为计算所得的置信度图和跟踪结果。该图表现出本发明的目标跟踪方法对目标剧烈形变的较强适应能力；图4是跟踪具有尺度变化的视频序列“carScale”时，计算所得的目标置信度图，以及描述目标所在位置和大小的矩形框。图4(a)和图4(b)分别为计算所得的置信度图和跟踪结果，该图表现出本发明的目标跟踪方法对目标尺寸大小的较强适应能力。

以上所述的本发明的实施方式，并不构成对本发明保护范围的限定。任何在本发明的精神原则之内所作出的修改、等同替换和改进等，均应包含在本发明的权利要求保护范围之内。

Claims (3)

1.一种基于局部特征学习的目标跟踪方法，其特征在于，包括以下步骤：

S1.在视频的第一帧中，将目标区域和背景区域分解成大量的局部单元，以分解后的大量局部单元作为训练样本，采用深度学习的方式训练、构建表观模型，学习出目标的局部表达；

S2.获取视频的下一帧，计算图像中每个局部区域属于目标的置信度，得到用于目标定位的置信度图；

S3.根据置信度图确定目标所在的位置和大小，并令k＝1；

S4.从该帧的整幅图像中选取第k个局部区域，当该局部区域的目标置信度大于设定的阈值T_pos，则转入步骤S5，否则转入步骤S6；

S5.将该局部区域加入到目标样本训练集，转入步骤S7；

S6.当该局部区域的目标置信度小于设定的阈值T_neg，将该局部区域加入到背景样本集；

S7.当第k个局部区域所指向的局部区域是最后一个局部区域，则利用目标样本训练集和背景样本训练集更新表观模型，同时跳转至步骤S8；否则将k+1赋值给k，转入步骤S4；

S8.判断当前帧是否为视频的最后一帧，若是则结束；否则转入步骤S2；

所述步骤S1中所建立的表观模型是通过对大量局部区域进行学习而得到的，具体的表观模型构造方法为：

给定第一帧图像I及其对应的目标区域，抽取目标区域内的所有像素：

P＝{(x,y)|x₁≤x≤x₁+w₁,y₁≤y≤y₁+h₁}

其中，x₁和y₁表示目标区域所在的最小横纵坐标，w₁和h₁分别表示目标区域的宽和高，P为目标区域内的所有像素点集；

同时，提取背景区域内的所有像素：

N＝{(x,y)|x＜x₁}∪{(x,y)|x＞x₁+w₁}∪{(x,y)|y＜y₁}∪{(x,y)|y＞y₁+h₁}

这里，N表示非目标区域，即背景区域内的所有像素点集；

然后，分别提取所有目标相关的局部块U_pos和所有背景相关的局部块U_neg：

U_pos＝{I_r,x,y|(x,y)∈P}

U_neg＝{I_r,x,y|(x,y)∈N}

其中，r为预先设定的局部块半径；

定义三层稀疏，其中自动编码机作为待训练的表观模型，该自动编码机是一个三层神经网络，其中输入层有(2r+1)²个节点，用于接收输入的局部块；隐含层的节点个数是输入层的1/4，用于获取针对目标和背景的判别特征；输出层有1个节点，输出结果为输入局部块属于目标的置信度；

表观模型的训练和构建过程最终通过下式实现：

其中，ω是网络的权值，

是输入的第i个局部块，

表示网络输出，即局部块

所对应的目标置信度。

2.根据权利要求1所述的基于局部特征学习的目标跟踪方法，其特征在于，所述步骤S2中对于新一帧的图像，根据所构建的表观模型，计算出其对应的目标置信度图；具体实现如下：

设U为包含新一帧图像中所有像素点的集合，则对于集合U中的每一个元素，即图像中的每一个像素点(x,y)，均能够找到一个以该像素点为中心，且大小为r的局部块I_r,x,y；利用步骤S1中所构造的表观模型，即稀疏自动编码机，得到局部块I_r,x,y所对应的目标置信度φ(ω,I_r,x,y)；在此基础上，计算出与一幅图像大小相同的置信度图C，其中C(x,y)＝φ(ω,I_r,x,y)，该置信度图反映了目标物体出现位置的大致分布情况，对进一步估计目标所在位置及其大小具有重要的指导作用。

3.根据权利要求2所述的基于局部特征学习 的目标跟踪方法，其特征在于，所述步骤S3中计算目标所在位置和大小的方法，具体方法如下：

生成大量的用于描述目标位置和大小的候选矩形框{c₁,c₂,…,c_n}，计算每个候选矩形框的得分S^ci，并选取得分最高的候选矩形框以最终确定目标所在位置和大小；其中，得分S^ci由以下两个因素决定：1)候选矩形框中所有局部块的目标置信度总和M^ci；2)候选矩形框中高置信度局部块所占的比例R^ci；M^ci由下式计算得到：

要计算R^ci，先找出候选矩形框中置信度较高的局部块：

其中T_high为预先设定的阈值，置信度高于此阈值的局部块认为其置信度较高，即属于目标的一部分；则R^ci的计算方式如下：

上式中，

表示为候选矩形框所包含的局部块总个数；最后，通过式子

找出最佳的描述目标所在位置和大小的矩形框。

Images