CN110569793B - 一种无监督相似性判别学习的目标跟踪方法 - Google Patents

Abstract

本发明公开了一种无监督相似性判别学习的目标跟踪方法，涉及计算机视觉目标跟踪技术领域。采用t‑SNE将特征进行降维和聚类，得到图像类别伪标签及类别总数，然后将该伪标签作为图像真实标签，并将图像特征输入全连接层并进行分类，网络进行反向传播训练。训练完成后，网络具备了图像相似性判别能力。跟踪过程中，首先根据第一帧图像的目标位置，在当前输入帧对应的目标周围交并比IOU>0.8得到待搜索区域，并使用粒子滤波获取目标候选块，再通过无监督相似性特征提取层获取目标候选块的特征，最后分类层将输出每一个目标候选块的置信度，然后将具有最大置信度的目标候选块作为目标图像块完成目标定位，从而实现对目标对象的跟踪。

Description

一种无监督相似性判别学习的目标跟踪方法

技术领域

本发明涉及计算机视觉，机器学习，目标跟踪技术领域。

背景技术

目标跟踪作为计算机视觉领域的一个重要研究方向，目前已受到了广泛的关注。该技术在安全监控、无人驾驶和军事防御等领域具有宽广的应用前景。2013年以来，深度学习方法开始在目标跟踪领域展露头脚，并逐渐在性能上超越传统方法，取得巨大的突破，由于其强大的特征表达能力和强大的数据集和软硬件支持，深度学习已在许多方面取得了惊人的成功，例如语音识别、图像识别、目标检测、视频分类等。2012年Alex Krizhevsky等提出了基于Alexnet网络的大型图像库分类识别的方法，证明了深度卷积神经网络对图像的强大表征能力，2014年Karen Simonyan等提出了基于VGGNet网络的大型图像分类识别方法，更进一步的降低了图像分类识别误差。

传统的深度模型有效性来自于海量的有标注训练数据集，而现实情况下这种海量的有标注的视频图像数据集十分匮乏，所以无监督学习逐渐成为机器学习领域的一个热点。无监督学习也是机器学习和人工智能领域的一个重要分支，其在机器学习、数据挖掘、生物医学大数据分析、数据科学等领域有着重要地位。无监督学习的作用是在设计分类器时候，用于处理未被分类标记的样本集，其可以大大减少人工标注带来的人力、物力的耗费。近年来的基于深度学习方法的目标跟踪研究中，无论是基于深度学习分类、回归还是模板匹配方法，都需要使用大量的人工标注图片用于训练模型。然而，实际跟踪场景并没有大量的真实标注图片，所以将无监督学习用于目标跟踪可极大降低人工标注成本，提高目标跟踪在实际场景中的易用性。无监督学习的最大特点是无需使用真实标签进行训练，自动提取数据的共性特征并进行聚类或分类，可运用在目标跟踪、行为识别和3D重建等计算机视觉领域。常用的无监督学习算法主要有等距映射方法、局部线性嵌入方法、t分布邻域嵌入(t-SNE)、C-均值算法等，其中t-SNE是2008年Geoffrey Hinton提出的一种可用于非降维的机器学习算法，其可以构建一种高维对象之间的概率分布，使得相似的对象有更高的概率被选择，而不相似的对象有较低的概率被选择，从而实现数据的无监督聚类。

鉴于此，网络在线学习过程中，通过跟踪收集到的样本微调网络模型，从而使网络模型能够更加适应实际的图像序列。

发明内容

本发明的目的是提供一种无监督相似性判别学习的目标跟踪方法，它能有效地解决在无真实数据标签场景下，对目标进行快速、鲁棒跟踪的技术问题。

本发明的目的是通过以下技术方案来实现的：

步骤一、目标选取

从初始图像中选择并确定要跟踪的目标对象，目标选取过程通过运动目标检测方法自动提取或者人机交互方法手动指定；

步骤二、训练数据集生成

训练数据集生成分为两个步骤，首先是数据集的选取，然后是数据集的制作；选取目标跟踪数据集OTB 2015作为训练数据集，并从中选取其中一类进行数据集的制作，具体为，在每一个图像帧中按行和列进行图像块的循环移动，移动步长为10个像素，图像块尺寸大小为127×127像素，每一帧图像生成500个循环移动的图像块，若训练数据集共有M张图像帧，则最终则生成500×M个图像块；

步骤三、无监督相似性判别网络的构建与训练

该网络由特征提取层、聚类层和分类层三部分构成，采用在大型分类识别数据集ImageNet上预训练的VGG-16前16层作为特征提取层，并将得到的特征输入无监督聚类层，利用t-SNE降维得到数据的低维分布，将数据间欧式距离转化为相互间的条件概率，从而表示相互之间的相似度；具体为，给定L个高维特征X^T＝x₁,…,x_L，这里x₁,...,x_L为特征提取层提取的L张图像的卷积特征，其中以x_i为中心，按高斯分布选择x_j作为近邻点的条件概率为

其中σ_i为方差；需要根据困惑度

大小来调节σ_i，其中

表示P_i的熵，困惑度大小与σ_i大小呈正相关关系，这里设定困惑度为50；对于低维度下的y_i，设定高斯分布的方差为

则低维度数据之间的相似度为

需要迭代优化高维和低维数据分布之间的KL散度，使低维数据分布拟合高维数据分布，目标函数为

迭代初始令

并用高斯分布N(0,10-⁴I)随机初始化低维数据分布Y^T＝y₁,...,y_L，这里y₁,...,y_n为聚类后的数据特征，从t＝1迭代至t＝T，这里设定T＝1000，迭代步骤分为3步，分别是计算低维数据的联合概率

计算梯度值

并更新低维的数据分布

其中q_ij表示y_i和y_j之间的相似度，Y^(t)表示迭代t次的解，λ表示学习速率，m(t)表示迭代t次的动量，这里设置

迭代聚类完成后，最终得到的数据分布Y^T＝y₁,...,y_L，即表示数据之间的相似度；相似度较高的数据将聚为一类数据，称之为簇，簇的个数则是类别总数K，该簇内图像的伪标签即为簇的类别，将每张图像伪标签的簇作为数据的真实标签，再将提取的图像特征输入全连接层并进行分类，其中全连接层神经元节点数Z＝K，该网络损失函数设置为交叉熵损失；无监督相似性判别网络构建完成后，则使用步骤二中生成的数据集进行网络训练，训练时反向传播采用经典的随机梯度下降法，最终该网络将输出每张图像的类别和相似度，获得对图像相似性判别的初始能力；

步骤四、图像输入

在实时处理情况下，提取通过摄像头采集并保存在存储区的视频图像，作为要进行跟踪的输入图像；在离线处理情况下，将已釆集的视频文件分解为多个帧组成的图像序列，按照时间顺序，逐个提取帧图像作为输入图像，如果输入图像为空，则整个流程中止；

步骤五、目标定位

以上一帧确定的目标图像块为中心，在当前输入帧目标中心周围确定待搜索区域，待搜索区域与目标块的IOU>0.8，在待搜索区域里按高斯分布初始化1200个与当前帧目标图像相同的粒子，其中每一个粒子代表一个目标候选块，采用粒子滤波的方法获取目标候选块，将粒子滤波输出的预测目标图像块经过无监督相似性判别网络的全连接层进行分类识别，计算得到该目标候选块与目标图像块的相似度，同时将其相似度得分c和阈值c’进行比较，如果该得分c小于预先设置的阈值c’＝0.8，则认为目标跟踪失败，表示目标不可信，跳转到步骤四，否则，则认为目标跟踪正确，并将该目标候选块的位置作为目标所在的位置，从而得到跟踪结果，目标定位完成，跳转到步骤六；

步骤六、网络在线更新

成功确定跟踪的结果之后，在目标图像块周围并且IOU>0.8的区域内提取100个相同大小图像块作为网络更新样本，将这些网络更新样本依次输入网络中进行微调训练，训练时，固定网络模型的卷积层参数不动，只对网络的聚类层与全连接层的参数进行微调，目的是使该网络模型能够适应当前跟踪的视频序列，即能够更加准确进行图像块的分类识别，进行准确的目标定位；然后跳转到步骤四，跟踪结束。

本发明方法的技术流程图如图2所示。在初始网络训练过程中，使用训练数据集和随机梯度下降法对无监督相似性判别网络进行训练，训练完成后网络即可获得对图像进行相似性判别的初始能力。跟踪过程中，首先根据第一帧图像的目标位置，在当前输入帧对应的目标周围交并比IOU>0.8得到待搜索区域，并使用粒子滤波获取目标候选块，再通过无监督相似性特征提取层获取目标候选块的特征，同时无监督聚类层对目标候选块的特征进行降维和聚类，最后分类层将输出每一个目标候选块的置信度，然后将具有最大置信度的目标候选块作为目标图像块，从而实现对目标的定位，其中置信度大小决定网络是否进行在线学习。

本发明的优点和积极效果：提出一种无监督相似性判别学习的目标跟踪方法。该方法首先构建了一个无监督相似性判别学习网络，包含特征提取层、无监督聚类层和分类层，其中采用VGGNet用于图像的特征提取，采用t-SNE将特征进行降维和聚类，得到图像类别伪标签及类别总数，然后将该伪标签作为图像真实标签，并将图像特征输入全连接层并进行分类，网络进行反向传播训练。训练完成后，网络具备了图像相似性判别能力。跟踪过程中，首先根据第一帧图像的目标位置，在当前输入帧对应的目标周围交并比IOU>0.8得到待搜索区域，并使用粒子滤波获取目标候选块，再通过无监督相似性特征提取层获取目标候选块的特征，同时无监督聚类层对目标候选块的特征进行降维和聚类，最后分类层将输出每一个目标候选块的置信度，然后将具有最大置信度的目标候选块作为目标图像块，完成目标定位，从而实现对目标对象的跟踪，其中置信度决定网络是否进行在线学习。网络在线学习过程中，通过跟踪收集到的样本微调网络模型，从而使网络模型能够更好的适应当前跟踪的图像序列，有效提高了目标跟踪的速度和准确度。本发明方法不需要数据的真实标签即可训练，解决了目标跟踪过程缺乏标记的训练数据问题，并且实现较高的目标定位准确性，更符合实际目标跟踪应用。此外，本发明方法不仅可以用于单目标跟踪，通过对网络进行相应的改进(如输出端)，还可以扩展用于多目标的跟踪。

附图说明

图1为本发明无监督相似性判别网络结构示意图

图2为本发明无监督相似性判别学习的目标跟踪方法流程图

具体实施方式

本发明的方法可用于视觉目标跟踪的各种场合，包括军事和民用等领域，军事领域如无人飞行器、准确制导、空中预警等，民用领域如移动机器人、牵引变电所智能视频监控、智能交通系统、智能安防等。以牵引变电所智能视频监控为例：牵引变电所智能视频监控包含许多重要的自动分析任务，如入侵检测、行为分析，异常报警等，而这些工作的基础都要能够实现实时稳定的目标跟踪。可以采用本发明提出的跟踪方法实现，具体为，首先需要构建无监督相似性判别学习网络模型，该网络结构由VGGNet特征提取层、t-SNE无监督聚类层、分类层构成，如图1所示。然后对牵引变电所内监控视频进行制作，得到相应的训练数据集，采用该训练数据集与随机梯度下降法对无监督相似性判别网络进行训练，训练完毕后网络具备了图像相似性判别能力。跟踪过程中，首先根据第一帧图像的目标位置，在当前输入帧对应的目标周围交并比IOU>0.8得到待搜索区域，并使用粒子滤波获取目标候选块，再通过无监督相似性特征提取层获取目标候选块的特征，同时无监督聚类层对目标候选块的特征进行降维和聚类，最后分类层将输出每一个目标候选块的置信度，然后将具有最大置信度的目标候选块作为目标图像块，完成目标定位，从而实现对目标对象的跟踪，其中置信度决定网络是否进行在线学习。网络在线学习过程中，通过跟踪收集到的样本微调网络模型，从而使网络模型能够更好的适应牵引变电所内实际的图像序列，有效提高了目标跟踪的速度和准确度。本发明方法不需要数据的真实标签即可训练，解决了实际目标跟踪过程中缺乏标记的训练数据问题，并且实现较高的目标定位准确性，更加贴近实际目标跟踪应用。此外，本发明方法不仅可以用于单目标跟踪，还可以用于复杂场景下的多目标跟踪。

本发明方法可通过任何计算机程序设计语言(如C语言)编程实现，基于本方法的跟踪系统软件可在任何PC或者嵌入式系统中实现实时目标跟踪应用。

Claims (1)

1.一种无监督相似性判别学习的目标跟踪方法，包括如下步骤：

步骤一、目标选取

从初始图像中选择并确定要跟踪的目标对象，目标选取过程通过运动目标检测方法自动提取或者人机交互方法手动指定；

步骤二、训练数据集生成

训练数据集生成分为两个步骤，首先是数据集的选取，然后是数据集的制作；选取目标跟踪数据集OTB 2015作为训练数据集，并从中选取其中一类进行数据集的制作，具体为，在每一个图像帧中按行和列进行图像块的循环移动，移动步长为10个像素，图像块尺寸大小为127×127像素，每一帧图像生成500个循环移动的图像块，若训练数据集共有M张图像帧，则最终则生成500×M个图像块；

步骤三、无监督相似性判别网络的构建与训练

该网络由特征提取层、聚类层和分类层三部分构成，采用在大型分类识别数据集ImageNet上预训练的VGG-16前16层作为特征提取层，并将得到的特征输入无监督聚类层，利用t-SNE降维得到数据的低维分布，将数据间欧式距离转化为相互间的条件概率，从而表示相互之间的相似度；具体为，给定L个高维特征X^T＝x₁,K,x_L，这里x₁,K,x_L为特征提取层提取的L张图像的卷积特征，其中以x_i为中心，按高斯分布选择x_j作为近邻点的条件概率为

其中σ_i为方差；需要根据困惑度

大小来调节σ_i，其中

表示P_i的熵，困惑度大小与σ_i大小呈正相关关系，这里设定困惑度为50；对于低维度下的y_i，设定高斯分布的方差为

则低维度数据之间的相似度为

需要迭代优化高维和低维数据分布之间的KL散度，使低维数据分布拟合高维数据分布，目标函数为

迭代初始令

并用高斯分布N(0,10^-4I)随机初始化低维数据分布Y^T＝y₁,K,y_L，这里y₁,K,y_L为聚类后的数据特征，从t＝1迭代至t＝T，这里设定T＝1000，迭代步骤分为3步，分别是计算低维数据的联合概率

计算梯度值

并更新低维的数据分布

其中q_ij表示y_i和y_j之间的相似度，Y^(t)表示迭代t次的解，λ表示学习速率，m(t)表示迭代t次的动量，这里设置

λ＝50；迭代聚类完成后，最终得到的数据分布Y^T＝y₁,K,y_L，即表示数据之间的相似度；相似度较高的数据将聚为一类数据，称之为簇，簇的个数则是类别总数K，该簇内图像的伪标签即为簇的类别，将每张图像伪标签的簇作为数据的真实标签，再将提取的图像特征输入全连接层并进行分类，其中全连接层神经元节点数Z＝K，该网络损失函数设置为交叉熵损失；无监督相似性判别网络构建完成后，则使用步骤二中生成的数据集进行网络训练，训练时反向传播采用经典的随机梯度下降法，最终该网络将输出每张图像的类别和相似度，获得对图像相似性判别的初始能力；

步骤四、图像输入

在实时处理情况下，提取通过摄像头采集并保存在存储区的视频图像，作为要进行跟踪的输入图像；在离线处理情况下，将已釆集的视频文件分解为多个帧组成的图像序列，按照时间顺序，逐个提取帧图像作为输入图像，如果输入图像为空，则整个流程中止；

步骤五、目标定位

以上一帧确定的目标图像块为中心，在当前输入帧目标中心周围确定待搜索区域，待搜索区域与目标块的IOU>0.8，在待搜索区域里按高斯分布初始化1200个与当前帧目标图像相同的粒子，其中每一个粒子代表一个目标候选块，采用粒子滤波的方法获取目标候选块，将粒子滤波输出的预测目标图像块经过无监督相似性判别网络的全连接层进行分类识别，计算得到该目标候选块与目标图像块的相似度，同时将其相似度得分c和阈值c’进行比较，如果该得分c小于预先设置的阈值c’＝0.8，则认为目标跟踪失败，表示目标不可信，跳转到步骤四，否则，则认为目标跟踪正确，并将该目标候选块的位置作为目标所在的位置，从而得到跟踪结果，目标定位完成，跳转到步骤六；

步骤六、网络在线更新

成功确定跟踪的结果之后，在目标图像块周围并且IOU>0.8的区域内提取100个相同大小图像块作为网络更新样本，将这些网络更新样本依次输入网络中进行微调训练，训练时，固定网络模型的卷积层参数不动，只对网络的聚类层与全连接层的参数进行微调，目的是使该网络模型能够适应当前跟踪的视频序列，即能够更加准确进行图像块的分类识别，进行准确的目标定位；然后跳转到步骤四，跟踪结束。

Images