CN109272036B - 一种基于深度残差网络的随机蕨目标跟踪方法 - Google Patents

Abstract

本发明公开了一种基于深度残差网络的随机蕨目标跟踪方法，涉及计算机视觉及模式识别技术领域。从初始图像中选择并确定要跟踪的目标对象，检测器构建与初始化；组成的图像序列并按照时间顺序，逐个提取帧图像作为输入图像；跟踪过程中短时跟踪器在以上次确定的目标位置为中心的搜索区域与目标图像块做比较；提取目标图像块作为正样例，并在其周围选取背景图像块作为负样例，生成在线训练集并输入到检测器；检测器对整个图像区域执行目标检测，比较所有测试图像块的目标概率，将具有最大目标概率的测试图像块所对应的位置作为目标所在的位置，目标定位完成。

Description

一种基于深度残差网络的随机蕨目标跟踪方法

技术领域

本发明涉及计算机视觉及模式识别技术领域。

背景技术

视觉目标跟踪是计算机视觉领域的重要研究课题，其主要任务是获取目标连续的位置、外观和运动等信息，进而为进一步的语义层分析(如行为识别、场景理解等)提供基础。目标跟踪研究被广泛应用于智能监控、人机交互、自动控制系统等领域，具有很强的实用价值。目前，目标跟踪方法主要包括经典目标跟踪方法和深度学习目标跟踪方法。

经典的目标跟踪方法主要分为生成式方法(Generative Methods)和判别式方法(Discriminative Methods)两类。生成式方法假设目标可以通过某种生成过程或者模型进行表达，如主成分分析(PCA)，稀疏编码(Sparse Coding)等，然后将跟踪问题视为在感兴趣的区域中寻找最可能的候选项。这些方法旨在设计一种利于鲁棒目标跟踪的图像表示方法。不同于生成式方法，判别式方法将跟踪视为一个分类或者一种连续的对象检测问题，其任务是将目标从图像背景中分辨出来。这类方法同时利用目标和背景信息，是目前主要研究的一类方法。判别式方法通常包含两个主要的步骤，第一步是通过选择能够辨别目标和背景的视觉特征训练得到一个分类器及其决策规则，第二步是在跟踪过程中将该分类器用于对视场内的每一个位置进行评价并确定最有可能的目标位置。随后将目标框移动到该位置并重复这样的过程，进而实现跟踪，该框架被用于设计出各种形式的跟踪算法。总体来看，经典跟踪方法的主要优势在于运行速度和对辅助数据较少的依赖，同时它们也需要在跟踪的准确性与实时性之间做出权衡。Breiman提出了随机森林算法，它是由结合Bagging技术的多个随机化的决策树组成。Shotton等人将其用于语义分割，Lepetit等人将随机森林用于实时关键点识别，他们都取得了很好的效果。Leistner等人为了有效降低半监督学习的复杂度，利用随机森林的计算效率，分别提出了半监督随机森林算法，多实例学习随机森林算法，以及在线多视图随机森林算法，并成功应用在机器学习的各项问题。Geurts等人提出极度随机森林，即随机森林中的测试阈值也是随机生成。随后，Saffari等人在此基础上结合在线Bagging提出了在线随机森林，促进了随机森林的实时应用。为了进一步提高分类速率，Ozuysal提出了随机蕨算法，并用于关键点识别和匹配。随机蕨是简化的随机森林，不同于随机森林的逐层生长和节点测试，随机蕨由许多的叶节点组成，每个叶节点对应一个完整的特征值编码，它的后验概率由该叶节点所包含的样例数量及其类型决定。Kalal等人将随机蕨用于在线对象检测和跟踪，进一步验证了随机蕨的快速分类能力。

深度学习(Deep Learning)是近年来机器学习研究的热点，由于其强大的特征表达能力和不断发展的数据集和硬件支持，深度学习已在许多方面取得了惊人的成功，例如语音识别、图像识别、目标检测、视频分类等。深度学习目标跟踪研究发展也十分迅速，但由于目标跟踪中先验知识的缺乏和实时性的要求，使得需要大量训练数据和参数计算为基础的深度学习技术在这方面难以得到充分的施展，具有很大的探索空间。从目前的研究成果来看，深度学习跟踪方法主要应用了自编码器网络和卷积神经网络，其研究主要有两种思路，一种是对网络进行迁移学习再进行在线微调，另一种是改造深度网络的结构以适应跟踪的要求。自编码器网络(AE)是典型的非监督深度学习网络,因其特征学习能力和抗噪声性能被首先应用到目标跟踪中。综合来看,自编码器网络比较直观且体量适中，是一种优秀的非监督深度学习模型，在跟踪中最先得以应用并取得了较好的效果。与自编码器网络不同，卷积神经网络(CNN)是一种监督型的前馈神经网络，它包含多个循环交替进行的卷积、非线性变换和降采样操作，在模式识别特别是计算机视觉任务中体现出非常强大的性能。总体来看，深度学习相比于经典方法具有更强大的特征表达能力，其跟踪方法中有关训练集的选取，网络的选择与结构的改进，算法的实时性，以及应用递归神经网络等方面仍需要进一步的研究。

因此，鉴于随机蕨快速的分类能力和深度神经网络强大的特征表达能力，本发明提出一种基于深度残差网络的随机蕨目标跟踪方法。该方法采用深度残差网络ResNet-50的174层对输入图像进行特征表达，然后在该层的节点中随机选取两点比较特征作为随机蕨的特征，通过随机蕨对网络特征进行编码，所有训练样例经过深度残差网络的正向处理和随机蕨编码后，分布于随机蕨的各个叶节点中。测试图像同样经过深度残差网络的正向处理和随机蕨编码后，其属于目标的概率则通过计算其对应的叶节点中正样例所占的比例来确定。由于采用已经在大规模数据集上训练好的深度残差网络，且网络特征提取只需要正向处理，同时随机蕨对网络特征的编码过程是基于两点比较特征，因此检测器的目标分类能力强，运行速度快，能够实现对目标进行快速准确的定位和跟踪。此外，本发明方法不仅可以用于单目标跟踪，通过增加和调整样例标记，还可以扩展用于多目标的跟踪。

发明内容

本发明的目的是提供一种基于深度残差网络的随机蕨目标跟踪方法，它能有效地解决

在无约束环境下对一般性目标对象进行长时间快速稳定的跟踪技术问题。

本发明的目的是通过以下技术方案来实现的：

步骤一、目标选取：

从初始图像中选择并确定要跟踪的目标对象，目标选取过程通过运动目标检测自动提取，或者通过人机交互方法人工指定；

步骤二、检测器构建与初始化：

这里检测器包含深度残差网络和随机蕨两个部分，其中深度残差网络用于特征表达，而随机蕨用于计算目标概率，进而实现对目标的检测与定位；

对于随机蕨，这里采用两点比较特征作为随机蕨的特征，该两点比较特征为比较两个值的大小，若第一个值大于第二个值，则第一个值的特征值为1，否则特征值为0；根据随机蕨的结构特性，如果一个蕨采用N个两点比较特征，则该蕨包含2^N个叶节点，每个叶节点对应一个N位的二进制编码值；对于深度残差网络，这里采用预训练网络ResNet-50对图像进行特征表达，输入图像经过224×224像素大小的尺度归一化后作为ResNet-50网络的输入数据；这里将ResNet-50的174层作为特征表达层，它有2048个值输出，在这2048个值中随机选择两个不同的值构成两点比较特征，并选择8个不同的两点比较特征为一组，一共选择128组，相应地，根据每一组的8个两点比较特征构成一个蕨，一共产生128个蕨，每个蕨有2⁸＝256个叶节点，每个叶节点对应一个8位的二进制编码值，叶节点对应的编码值范围为00000000～11111111，叶节点的编码值代表了对应的8个两点比较特征的取值；

通过以步骤一中确定的目标图像块为正样例，以及在其周围选取的背景图像块为负样例生成初始训练集，选取的正、负样例均与目标具有相同的大小；将这些样例逐个输入到检测器，首先，每个样例通过ResNet-50网络正向处理后输出获得2048个值，然后按照随机蕨的构成，计算每个蕨的8个两点比较特征值进而得到与其对应的二进制编码值，接着将该二进制编码值对应的叶节点中的正样例累加器变量N⁺或者负样例累加变量N^-加1，即如果此次输入到检测器训练的样例是正样例，则N⁺加1，如果此次输入到检测器训练的样例是负样例，则N^-加1；初始时，所有蕨的叶节点的正样例累加器变量N⁺和负样例累加变量N^-均初始化为0；

步骤三、图像输入：

在实时处理情况下，提取通过摄像头采集并保存在存储区的视频图像，作为要进行跟踪的输入图像；在离线处理情况下，将已采集的视频文件分解为多个帧，组成的图像序列并按照时间顺序，逐个提取帧图像作为输入图像；如果输入图像为空，则整个流程中止；

步骤四、短时跟踪：

这里短时跟踪采用规则化交叉互相关的方法，设测试图像块z与NCC短时跟踪的目标图像块z_o的规则化交叉互相关值为v_NCC(z,z_o)，跟踪过程中短时跟踪器在以上次确定的目标位置为中心的搜索区域与目标图像块做比较，搜索使v_NCC值最大的位置作为当前预测的目标位置，如果此最大的v_NCC>0.85，则表示目标可信，目标定位完成，跳转到步骤五，否则表示目标不可信，跳转到步骤六；

步骤五、检测器训练：

提取目标图像块作为正样例，并在其周围选取背景图像块作为负样例，生成在线训练集并输入到检测器，选取的正、负样例均与目标具有相同的大小；将这些样例逐个输入到检测器，首先，每个样例通过ResNet-50网络正向处理后输出获得2048个值，然后，按照随机蕨的构成，计算每个蕨的8个两点比较特征值进而得到其对应的二进制编码值，接着将该二进制编码值对应的叶节点中的正样例累加器变量N⁺或者负样例累加变量N^-加1，即如果此次输入到检测器训练的样例是正样例，则N⁺加1，如果此次输入到检测器训练的样例是负样例则N^-加1；跳转到步骤三；

步骤六、目标定位与更新：

检测器对整个图像区域执行目标检测，这里采用滑动窗的方式在图像中提取测试图像块，每个测试图像块对应一个图像位置；将测试图像块输入到检测器中，首先，该图像块通过ResNet-50网络正向处理后输出获得2048个值，然后，按照随机蕨的构成，计算每个蕨的8个两点比较特征值进而得到其对应的二进制编码值，并根据该二进制编码值找到对应的叶节点，然后计算该叶节点中正样例所占的比例，并将其作为该蕨评估该测试图像块属于目标的概率P，即

最后对所有蕨评估得到的概率计算平均值，并将其作为该测试图像块最终属于目标的概率；

比较所有测试图像块的目标概率，将具有最大目标概率的测试图像块所对应的位置作为目标所在的位置，目标定位完成；如果该最大目标概率>0.85，则根据新确定的目标位置更新NCC短时跟踪的目标图像块；跳转到步骤三。

在跟踪过程中，当短时跟踪输出的目标结果可信时，短时跟踪可以快速的跟踪目标，同时对检测器进行进一步的训练，而当其输出的目标结果不可信时，则由检测器对目标进行检测定位，同时根据检测器确定的目标概率来更新NCC的目标图像块。由于采用已经在大规模数据集上训练好的深度残差网络，且网络特征提取只需要正向处理，同时随机蕨对网络特征的编码过程是基于两点比较特征，因此检测器的目标分类能力强，运行速度快，能够实现对目标进行快速准确的定位和跟踪。此外，检测器的在线训练与NCC目标图像块的更新，提高了对场景变化的适应能力。

与现有技术相比的优点和积极效果：该方法采用深度残差网络ResNet-50的174层对输入图像进行特征表达，然后在该层的节点中随机选取两点比较特征作为随机蕨的特征，通过随机蕨对网络特征进行编码，所有训练样例经过深度残差网络的正向处理和随机蕨编码后，分布于随机蕨的各个叶节点中。测试图像同样经过深度残差网络的正向处理和随机蕨编码后，其属于目标的概率则通过计算其对应的叶节点中正样例所占的比例来确定。由于采用已经在大规模数据集上训练好的深度残差网络，且网络特征提取只需要正向处理，同时随机蕨对网络特征的编码过程是基于两点比较特征，因此检测器的目标分类能力强，运行速度快，能够实现对目标进行快速准确的定位和跟踪。此外，本发明方法不仅可以用于单目标跟踪，通过增加和调整样例标记，还可以扩展用于多目标的跟踪。

附图说明

图1为本发明检测器组成结构示意图

图2为本发明流程图

具体实施方式

实施例：

本发明的方法可用于对象跟踪的各种场合，如智能视频分析，自动人机交互，交通视频监控，无人车辆驾驶，生物群体分析，以及流体表面测速等。

以智能视频分析为例：智能视频分析包含许多重要的自动分析任务，如对象行为分析，视频压缩等，而这些工作的基础则是能够进行长时间稳定的目标跟踪。可以采用本发明提出的跟踪方法实现，具体来说，首先根据目标选择所在图像构建检测器并完成初始化训练，如图1的检测器组成结构所示；然后在跟踪过程中采用规则化交叉互相关方法NCC进行短时跟踪，当NCC确定的目标可信时，按照NCC短时跟踪所确定的目标位置，在目标区域提取正样例，在背景区域提取负样例，构成在线训练集并训练检测器，而当NCC确定的目标不可信时，则由检测器对目标进行检测定位，同时根据检测器确定的目标概率来更新NCC的目标图像块。由于采用已经在大规模数据集上训练好的深度残差网络，且网络特征提取只需要正向处理，同时随机蕨对网络特征的编码过程是基于两点比较特征，因此检测器的目标分类能力强，运行速度快，能够实现对目标进行快速准确的定位和跟踪。此外，检测器的在线训练与NCC目标图像块的更新，提高了对场景变化的适应能力。

本发明方法可通过任何计算机程序设计语言(如C语言)编程实现，基于本方法的跟踪系统软件可在任何PC或者嵌入式系统中实现实时目标跟踪应用。

Claims (1)

1.一种基于深度残差网络的随机蕨目标跟踪方法，包括如下步骤：

步骤一、目标选取：

从初始图像中选择并确定要跟踪的目标对象，目标选取过程通过运动目标检测自动提取，或者通过人机交互方法人工指定；

步骤二、检测器构建与初始化：

这里检测器包含深度残差网络和随机蕨两个部分，其中深度残差网络用于特征表达，而随机蕨用于计算目标概率，进而实现对目标的检测与定位；

对于随机蕨，这里采用两点比较特征作为随机蕨的特征，该两点比较特征为比较两个值的大小，若第一个值大于第二个值，则第一个值的特征值为1，否则特征值为0；根据随机蕨的结构特性，如果一个蕨采用N个两点比较特征，则该蕨包含2^N个叶节点，每个叶节点对应一个N位的二进制编码值；对于深度残差网络，这里采用预训练网络ResNet-50对图像进行特征表达，输入图像经过224×224像素大小的尺度归一化后作为ResNet-50网络的输入数据；这里将ResNet-50的174层作为特征表达层，它有2048个值输出，在这2048个值中随机选择两个不同的值构成两点比较特征，并选择8个不同的两点比较特征为一组，一共选择128组，相应地，根据每一组的8个两点比较特征构成一个蕨，一共产生128个蕨，每个蕨有2⁸＝256个叶节点，每个叶节点对应一个8位的二进制编码值，叶节点对应的编码值范围为00000000～11111111，叶节点的编码值代表了对应的8个两点比较特征的取值；

通过以步骤一中确定的目标图像块为正样例，以及在其周围选取的背景图像块为负样例生成初始训练集，选取的正、负样例均与目标具有相同的大小；将这些样例逐个输入到检测器，首先，每个样例通过ResNet-50网络正向处理后输出获得2048个值，然后按照随机蕨的构成，计算每个蕨的8个两点比较特征值进而得到与其对应的二进制编码值，接着将该二进制编码值对应的叶节点中的正样例累加器变量N⁺或者负样例累加变量N^-加1，即如果此次输入到检测器训练的样例是正样例，则N⁺加1，如果此次输入到检测器训练的样例是负样例，则N^-加1；初始时，所有蕨的叶节点的正样例累加器变量N⁺和负样例累加变量N^-均初始化为0；

步骤三、图像输入：

在实时处理情况下，提取通过摄像头采集并保存在存储区的视频图像，作为要进行跟踪的输入图像；在离线处理情况下，将已采集的视频文件分解为多个帧，组成的图像序列并按照时间顺序，逐个提取帧图像作为输入图像；如果输入图像为空，则整个流程中止；

步骤四、短时跟踪：

这里短时跟踪采用规则化交叉互相关的方法，设测试图像块z与NCC短时跟踪的目标图像块z_o的规则化交叉互相关值为v_NCC(z,z_o)，跟踪过程中短时跟踪器在以上次确定的目标位置为中心的搜索区域与目标图像块做比较，搜索使v_NCC值最大的位置作为当前预测的目标位置，如果此最大的v_NCC>0.85，则表示目标可信，目标定位完成，跳转到步骤五，否则表示目标不可信，跳转到步骤六；

步骤五、检测器训练：

提取目标图像块作为正样例，并在其周围选取背景图像块作为负样例，生成在线训练集并输入到检测器，选取的正、负样例均与目标具有相同的大小；将这些样例逐个输入到检测器，首先，每个样例通过ResNet-50网络正向处理后输出获得2048个值，然后，按照随机蕨的构成，计算每个蕨的8个两点比较特征值进而得到其对应的二进制编码值，接着将该二进制编码值对应的叶节点中的正样例累加器变量N⁺或者负样例累加变量N^-加1，即如果此次输入到检测器训练的样例是正样例，则N⁺加1，如果此次输入到检测器训练的样例是负样例则N^-加1；跳转到步骤三；

步骤六、目标定位与更新：

检测器对整个图像区域执行目标检测，这里采用滑动窗的方式在图像中提取测试图像块，每个测试图像块对应一个图像位置；将测试图像块输入到检测器中，首先，该图像块通过ResNet-50网络正向处理后输出获得2048个值，然后，按照随机蕨的构成，计算每个蕨的8个两点比较特征值进而得到其对应的二进制编码值，并根据该二进制编码值找到对应的叶节点，然后计算该叶节点中正样例所占的比例，并将其作为该蕨评估该测试图像块属于目标的概率P，即

最后对所有蕨评估得到的概率计算平均值，并将其作为该测试图像块最终属于目标的概率；

比较所有测试图像块的目标概率，将具有最大目标概率的测试图像块所对应的位置作为目标所在的位置，目标定位完成；如果该最大目标概率>0.85，则根据新确定的目标位置更新NCC短时跟踪的目标图像块；跳转到步骤三。

Images