CN108765464A - 基于残差补偿的低秩重检测上下文长时跟踪方法及系统 - Google Patents

Abstract

本发明公开了一种基于残差补偿的低秩重检测上下文长时跟踪方法及系统。其中，该方法用于对视频中出现的目标物体进行跟踪，包括：根据视频中每一帧图像中的目标物体位置来确定其所属目标区域，并提取目标区域内至少两种图像特征，构建出上下文特征集；将上下文特征集与其内特征的相应位置关系由似然分布函数进行关联，进而得到目标物体跟踪模型；在目标物体进行跟踪的过程中，以目标物体所在的第一帧图像为基准图像，逐一计算随后帧图像与基准图像的跟踪残差，补偿至目标物体跟踪模型中来预测目标物体的位置并存储。该方法提高了跟踪的准确性以及稳定性。

Description

基于残差补偿的低秩重检测上下文长时跟踪方法及系统

技术领域

本发明属于上下文长时跟踪领域，尤其涉及一种基于残差补偿的低秩重检测上下文长时跟踪方法及系统。

背景技术

在计算机视觉领域中，目标跟踪技术被广泛的应用到视觉监控、赛事直播、无人驾驶、军事导航等多个领域。在过去的十几年里，涌现了大量优秀的视觉跟踪方法，但是受到运动模糊、光照变化、嘈杂背景、遮挡和尺度变化等因素的影响，研究一个在复杂场景下能够对目标进行鲁棒性跟踪的方法依然是一个开放性问题。

最近，基于相关滤波的判别性的跟踪方法取得了重大成就，自从Bolme将提出的最小平方和(MOSSE)滤波器用于目标跟踪之后，由于其计算效率和鲁棒性，基于相关滤波的跟踪器成为一种流行方法，并得到了相应研究人员的关注。相关滤波是通过学习一个模板或者滤波器与测试图像的卷积运算来计算两者的相似度，相似度的峰值会出现在目标的区域，那么跟踪问题就变成找到一个合适的滤波器使其与目标的输出响应最大的问题。

其中，时空上下文(Spatio-temporal context，STC)跟踪是采用贝叶斯概率密度包装的一种有效的相关滤波方法，由于跟踪物体周围关键点的一致性是极为有效信息，该算法抓住了目标周围稠密信息，提高了相关滤波算法的有效性。

虽然，STC算法利用上下文信息在跟踪上获得了不错的效果，但是还有一些其它重要的缺陷使其难以实现长时跟踪：

(1)STC采用单一的灰度信息特征，没有合理的利用所有颜色通道里视觉关注度的不同，特征的判别性不强；

(2)在跟踪中捕获随着跟踪过程的进行而导致的误差累积，影响长时跟踪算法的鲁棒性以及精度，最终影响目标跟踪的准确性；

(3)缺乏稳定的捕捉跟踪误差的补偿机制，使得跟踪无法满足长时跟踪；

(4)简单的模板更新策略以及缺乏重检测机制，使得算法在遮挡等导致的跟踪失败发生时无法重新初始化。

发明内容

为了解决现有技术的不足，本发明的第一目的是提供一种基于残差补偿的低秩重检测上下文长时跟踪方法，其能够提高目标物体跟踪的准确性及稳定性。

本发明的一种基于残差补偿的低秩重检测上下文长时跟踪方法，用于对视频中出现的目标物体进行跟踪，该方法具体包括：

根据视频中每一帧图像中的目标物体位置来确定其所属目标区域，并提取目标区域内至少两种图像特征，构建出上下文特征集；

将上下文特征集与其内特征的相应位置关系由似然分布函数进行关联，进而得到目标物体跟踪模型；

在目标物体进行跟踪的过程中，以目标物体所在的第一帧图像为基准图像，逐一计算随后帧图像与基准图像的跟踪残差，补偿至目标物体跟踪模型中来预测目标物体的位置并存储。

进一步的，该方法还包括：利用CUR矩阵低秩表达的方式来拟合预存的目标物体位置历史信息，构建出在线重检测器；

当发生跟踪失败时，利用在线重检测器对目标物体位置进行在线重检测。

本发明采用了快速有效的CUR矩阵低秩分解方式利用跟踪到的历史信息构建在线重检测器，使得目标物体跟踪模型在跟踪过程中具有保持结构一致的稳定性，解决了跟踪方法在跟踪失败时的恢复问题。

进一步的，提取的目标区域内的图像特征包括深度CNN特征、梯度直方图、颜色、局部二值模式和Haar特征。

进一步的，该方法还包括对目标物体跟踪模型进行更新，其中包括对提取的目标区域内的图像特征数量以及相应特征值和特征的相应位置进行更新。

在现有目标物体跟踪的过程中，通常根据历史数据来学习及构建出目标物体跟踪模型，但是通过上述学习过程得到的目标物体跟踪模型并不能进行预期时间更新，当目标物体的特征发生变化时，就不能准确跟踪目标物体。故，为了解决上述问题，本申请对模型在预设时间内进行更新，其中包括对提取的目标区域内的图像特征数量以及相应特征值和特征的相应位置进行更新，最终提高目标物体跟踪的准确性。

本发明的第二目的是提供一种基于残差补偿的低秩重检测上下文长时跟踪系统，其能够提高目标物体跟踪的准确性及稳定性。

本发明的一种基于残差补偿的低秩重检测上下文长时跟踪系统，用于对视频中出现的目标物体进行跟踪，该系统具体包括跟踪处理器，所述跟踪处理器包括：

上下文特征集构建模块，其配置为根据视频中每一帧图像中的目标物体位置来确定其所属目标区域，并提取目标区域内至少两种图像特征，构建出上下文特征集；

目标物体跟踪模型构建模块，其配置为将上下文特征集与其内特征的相应位置关系由似然分布函数进行关联，进而得到目标物体跟踪模型；

残差补偿模块，其配置为在目标物体进行跟踪的过程中，以目标物体所在的第一帧图像为基准图像，逐一计算随后帧图像与基准图像的跟踪残差，补偿至目标物体跟踪模型中来预测目标物体的位置并存储。

进一步的，所述跟踪处理器还包括在线重检测器模块，其配置为：

利用CUR矩阵低秩表达的方式来拟合预存的目标物体位置历史信息，构建出在线重检测器；

当发生跟踪失败时，利用在线重检测器对目标物体位置进行在线重检测。

本发明采用了快速有效的CUR矩阵低秩矩阵分解方式利用跟踪到的历史信息构建在线重检测器，使得目标物体跟踪模型在跟踪过程中具有保持结构一致的稳定性，解决了跟踪方法在跟踪失败时的恢复问题。

进一步的，在所述上下文特征集构建模块中，提取的目标区域内的图像特征包括深度CNN特征、梯度直方图、颜色、局部二值模式和Haar特征。

进一步的，所述跟踪处理器还包括模型更新模块，其被配置为：

对目标物体跟踪模型进行更新，其中包括对提取的目标区域内的图像特征数量以及相应特征值和特征的相应位置进行更新。

在现有目标物体跟踪的过程中，通常根据历史数据来学习及构建出目标物体跟踪模型，但是通过上述学习过程得到的目标物体跟踪模型并不能进行预期时间更新，当目标物体的特征发生变化时，就不能准确跟踪目标物体。故，为了解决上述问题，本申请对模型在预设时间内进行更新，其中包括对提取的目标区域内的图像特征数量以及相应特征值和特征的相应位置进行更新，最终提高目标物体跟踪的准确性。

与现有技术相比，本发明的有益效果是：

首先，本发明融合了多通道特征构建有效的复合信息的时空上下文，这样充分利用目标周围的特征信息，增强了目标表观表达的判别性；

其次，在跟踪中捕获随着跟踪过程的进行而导致的误差累积，并以残差补偿的方式补充于随后帧的预测中，帮助生成更优的响应，提高长时跟踪算法的鲁棒性；

而且当目标物体的特征发生变化时，就不能准确跟踪目标物体，为了解决上述问题，本申请对模型在预设时间内进行更新，其中包括对提取的目标区域内的图像特征数量以及相应特征值和特征的相应位置进行更新，最终提高目标物体跟踪的准确性；

最后，采用了快速有效的低秩矩阵分解方式利用跟踪到的历史信息构建在线重检测器，使得跟踪算法具有保持结构一致的内在稳定性，解决跟踪方法在跟踪失败后的恢复问题。

附图说明

构成本申请的一部分的说明书附图用来提供对本申请的进一步理解，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。

图1是本发明的一种基于残差补偿的低秩重检测上下文长时跟踪方法流程图。

图2是本发明的一种基于残差补偿的低秩重检测上下文长时跟踪方法实施例示意图。

图3是本发明的一种基于残差补偿的低秩重检测上下文长时跟踪系统结构示意图。

具体实施方式

应该指出，以下详细说明都是例示性的，旨在对本申请提供进一步的说明。除非另有指明，本文使用的所有技术和科学术语具有与本申请所属技术领域的普通技术人员通常理解的相同含义。

需要注意的是，这里所使用的术语仅是为了描述具体实施方式，而非意图限制根据本申请的示例性实施方式。如在这里所使用的，除非上下文另外明确指出，否则单数形式也意图包括复数形式，此外，还应当理解的是，当在本说明书中使用术语“包含”和/或“包括”时，其指明存在特征、步骤、操作、器件、组件和/或它们的组合。

如图1和图2所示，本发明的一种基于残差补偿的低秩重检测上下文长时跟踪方法，用于对视频中出现的目标物体进行跟踪，该方法具体包括：

步骤S1：根据视频中每一帧图像中的目标物体位置来确定其所属目标区域，并提取目标区域内至少两种图像特征，构建出上下文特征集。

其中，提取的目标区域内的图像特征包括深度CNN特征、梯度直方图、颜色、局部二值模式和Haar特征。

需要说明的是，除了上述特征之外，还可以提取其它的图像特征。

步骤S2：将上下文特征集与其内特征的相应位置关系由似然分布函数进行关联，进而得到目标物体跟踪模型。

具体地，令x_c为跟踪物体的中心位置坐标，Ω_c(x)表示其周围的上下文信息，O表示目标x_o处所在的位置区域，那么上下文特征集合可以定义为P^c＝{c(x')＝(I(x'),x'|x'∈Ω_c(x_o)}，I(x')表示图像x'位置处的密度，从多特征融合的思路出发将空间信息与位置关系的似然分布函数l(x)定义为：

其中：这里x、x'均是位置坐标，x、x'的下标k表示第k类特征所表示的位置，P(c(x')|o)表示跟踪物体的表观先验模型，空间上下文P(x|c(x'),o)则可以有效的描述空间纹理信息与跟踪物体的位置关系。

其中，跟踪物体的表观先验模型P(c(x')|o)，可表示为：

P(c(x')|o)＝I(x')ω_σ(x'-x_o) (1-2)

其中ω_σ表示一个加权高斯函数，即为：

ω_σ(x'-x_o)＝a·exp(-||x-x'||²/σ²) (1-3)

其中，a是归一化常数，σ则是可以调节高斯函数平滑度的常数，通过高斯函数可以给跟踪物体的中心更大的权重，这非常利于跟踪方法对物体的中心辅以极大的关注。

用了衡量不同位置差别的运算子h(x-x')来定义空间上下文P(x|c(x'),o)：

P(x|c(x'),o)＝h(x-x') (1-4)

上述函数是非径向对称函数，能够解释目标相似区域由于干扰造成的不确定，它是利用一个现成的似然分布函数来表达这个h(x-x')，在跟踪问题里，可以通过初始化得到目标跟踪区域的中心，那么可以假设此时这个似然度分布函数服从高斯分布：

这里b是归一化常数，α可以调节高斯函数平滑，β可以控制密度函数形状。有了这个相应的似然分布函数，对公式(1-1)进行相关的傅里叶变换，并经过运算可以得到此时的多特征融合的空间上下文表达的计算公式：

步骤S3：在目标物体进行跟踪的过程中，以目标物体所在的第一帧图像为基准图像，逐一计算随后帧图像与基准图像的跟踪残差，补偿至目标物体跟踪模型中来预测目标物体的位置并存储。

为了能够使跟踪实现可靠长时间的有效跟踪，必须使得跟踪系统稳定有效的捕捉每一帧的跟踪偏差并且加以补偿，这里残差定义为：

γ^t(x)＝l(x^t)-l(x¹) (1-7)

γ^t(x)记录的是第t帧跟踪的图像与第一帧基准图像的跟踪残差。

那么下一帧整体的总体似然分布函数估计可以表示为多特征融合的似然函数分布函数加上前一帧的跟踪残差。这种残差补偿于随后帧的预测可以帮助生成更加优化的响应，这样得到总体的似然分布函数估计不但能够利用到多特征上下文信息，而且能够记录跟踪过程的跟踪残差，因而能够提高算法长时跟踪的鲁棒性。

如果假设第t帧的多特征空间上下文信息已经到，那么第t+1帧的跟踪物体的中心坐标就就是求取一个坐标值使得第t+1帧总体似然分布函数估计取得最大值，即为：

其中，代表各个特征在形成的总体似然分布函数中的权重，这个值的大小显示了特征贡献的大小，它的选取可以选为固定的先验，例如如果特征选择颜色三通道R、G、B，那么可以选为1/3，l^t+1(x_k)表示第t+1时刻的第k的特征产生的似然分布函数，它的计算采用如下的方式：

其中，F(·)与F^-1(·)分别表示进行傅里叶变换和傅里叶逆变换，表示Hadamard乘积运算。此处H^t+1(x_k)表示第t+1时刻的第k的特征的时空上下文信息表达，由历史信息的空间信息上下文的线性插值来在线更新的：

H^t+1(x_k)＝(1-ρ)H^t(x_k)+ρh^t(x_k) (1-10)

这里ρ表示模型的更新率参数。

在具体实施中，该方法还包括：

步骤S4：利用CUR矩阵低秩表达的方式来拟合预存的目标物体位置历史信息，构建出在线重检测器；

当发生跟踪失败时，利用在线重检测器对目标物体位置进行在线重检测。

为了能够使跟踪实现可靠长时间的有效跟踪，必须有一个重检测机制使得跟踪方法在发生遮挡或者长时间的视角外跟踪导致失败后能够得以恢复，这种策略在很多的已有的跟踪方法得到了运用由于需要足够多的训练样本检测器才能完成，因而设计非常有效的在线检测器。

如果在线的有标签的样本的信息无法得到保障的话，就更无法完成这个工作，但是若能够合理的利用已经跟踪到历史信息，充分利用得到的正样本的时空结构信息就可以得到一个不错的重建测器。与以前采用大量的信息进行训练不同的是，为了保证跟踪到的正确样本的整体结构信息的稳定性，利用CUR矩阵低秩表达的方式来拟合已经得到历史信息,并且快速的学习一个有效的重检测器，以进一步的提高多特征目标物体的跟踪的效果。

处理大量的视频序列数据矩阵，由于计算资源所限，精确的进行矩阵逆变换或者分解很难完成，因此找一个快速次优的矩阵分解算法成为上上之选。常规的主成分分析(PCA)、奇异值分解(SVD)等方法计算复杂度大，这里采用CUR矩阵分解的矩阵低秩近似方法的最大好处在于可以快速简单的进行计算，并且能够保证有足够误差精度。

CUR矩阵分解是利用数据K矩阵，K∈R^m×n的所有列阵的c个子列构成一个C矩阵，C∈R^m×c，所有行阵的r个子行构成一个R矩阵以及一个交互U矩阵U∈R^c×r使其满足||K-CUR||的某种范数误差最小，K≈CUR被称为矩阵的CUR分解。在本节采用了随机采样的方式选择列矩阵，只利用到少量的采样数就能够合理的拟合历史信息，确保重检测的准确性，这种简单的处理能够满足预设的需求，给定一个矩阵秩ρ的矩阵K，K∈R^m×n，以相同次优行、列选择的方式：选择数据矩阵C，C∈R^m×c和数据矩阵R，R∈R^r×n，k为期望秩，2≤k≤ρ，ε误差控制参数，ε∈(0,1)，那么下面的不等式可以满足

这里E(·)表示期望误差。假设在t帧得到的跟踪目标的外观表达矩阵为K_t，将该矩阵按照列堆砌成列向量k_t，作为目标历史表观表达信息存储到历史信息记录池矩阵K中，作为历史记录池矩阵的一列，然后按照公式(1-11)对矩阵K进行CUR分解进行低秩表达，随后随机的采样产生CUR分解的C矩阵，在得到矩阵C后，将其进行按照列的求和平均处理：

然后矩阵化操作得到的列向量o_t，也就是将表观表达矩阵K_t堆砌成列向量k_t的逆运算过程，可以得到一个目标模板空间表达的矩阵O_t，这个矩阵作为历史信息记录池矩阵K的一个低秩矩阵分解，称其为低秩CUR滤波器。随后采用同样的STC的计算，使用低秩的CUR滤波器对跟踪图像区域进行稠密的卷积采样运算，这个过程也可以视为利用可靠的历史信息记录池对跟踪的过程进行正反馈调节。虽然这个过程也是相关运算，但两者不同点在于，STC在于保证上下文信息在时空上的一致性，而CUR滤波器可以保证整个跟踪过程跟踪物体表观的内在稳定性。

把本发明的该方法获得可能的最佳跟踪中心坐标标记为粗定位状态，令其表观表达矩阵为S_t，此时调用在线的CUR低秩滤波对得到的区域进行相关检测，可以得到排序为前N个最大可能的矩阵，并归一化为与目标模板尺度一致的矩阵D_t，如果此时粗定位状态的表观表达矩阵S_t与检测到N个最大可能的矩阵的相似度大于阈值θ，则不更新跟踪结果。否则将CUR滤波器的表观表达作为此时的初始模板反馈给多特征融合的STC跟踪器进行重新定位。这种历史表观的CUR矩阵中的交互矩阵U的更新需要采用增量学习的更新方法，但这会极大的增加跟踪的计算损耗。从跟踪实时性的需求出发，根据指出随机投影在有历史信息的大尺度矩阵处理中有重大意义，本专利是随机均匀采样，这个采样过程看成随机投影矩阵R。

其中本发明的参数设置为先验似然函数参数α＝2.25，β＝1,更新率参数ρ＝0.075，常规的数字参数设置为k＝2、ε＝0.2，则根据公式(1-11)可以得到采样参数c＝20，CUR重检测相似度参数θ＝0.05。

本发明采用了快速有效的CUR矩阵低秩矩阵分解方式利用跟踪到的历史信息构建在线重检测器，使得目标物体跟踪模型在跟踪过程中具有保持结构一致的内在稳定性，解决了跟踪方法在跟踪失败时的恢复问题。

另外，在具体实施中，该方法还包括对目标物体跟踪模型进行更新，其中包括对提取的目标区域内的图像特征数量以及相应特征值和特征的相应位置进行更新。

图3是本发明的一种基于残差补偿的低秩重检测上下文长时跟踪系统结构示意图。

本发明的第基于残差补偿的低秩重检测上下文长时跟踪系统，其能够提高目标物体跟踪的准确性及稳定性。

如图2所示，本发明的一种基于残差补偿的低秩重检测上下文长时跟踪系统，用于对视频中出现的目标物体进行跟踪，该系统具体包括跟踪处理器，所述跟踪处理器包括：

(1)上下文特征集构建模块，其配置为根据视频中每一帧图像中的目标物体位置来确定其所属目标区域，并提取目标区域内至少两种图像特征，构建出上下文特征集；

在所述上下文特征集构建模块中，提取的目标区域内的图像特征包括深度CNN特征、梯度直方图、颜色、局部二值模式和Haar特征。

需要说明的是，除了上述特征之外，还可以提取其它的图像特征。

(2)目标物体跟踪模型构建模块，其配置为将上下文特征集与其内特征的相应位置关系由似然分布函数进行关联，进而得到目标物体跟踪模型。

(3)残差补偿模块，其配置为在目标物体进行跟踪的过程中，以目标物体所在的第一帧图像为基准图像，逐一计算随后帧图像与基准图像的跟踪残差，补偿至目标物体跟踪模型中来预测目标物体的位置并存储。

在具体实施中，所述跟踪处理器还包括在线重检测器模块，其配置为：

利用CUR矩阵低秩表达的方式来拟合预存的目标物体位置历史信息，构建出在线重检测器；

当发生跟踪失败时，利用在线重检测器对目标物体位置进行在线重检测。

本发明采用了快速有效的CUR矩阵低秩矩阵分解方式利用跟踪到的历史信息构建在线重检测器，使得目标物体跟踪模型在跟踪过程中具有保持结构一致的稳定性，解决了跟踪方法在跟踪失败时的恢复问题。

在具体实施中，所述跟踪处理器还包括模型更新模块，其被配置为：

对目标物体跟踪模型进行更新，其中包括对提取的目标区域内的图像特征数量以及相应特征值和特征的相应位置进行更新。

本发明在跟踪中捕获随着跟踪过程的进行而导致的误差累积，并以残差补偿的方式补充于随后帧的预测中，帮助生成更优的响应，提高长时跟踪算法的鲁棒性。

本发明提出的多特征时空上下文来更加精确的确定位置的似然分布函数，并且设计合理的残差补偿机制及时的补偿跟踪产生的残差并补偿到后续的似然分布函数预测中，提高了算法长时跟踪的鲁棒性。

同时采用低秩CUR滤波的方法构建一个在跟踪失败发生时的重检测模块，反馈到跟踪器中实现基于残差补偿的低秩重检测的多特征时空上下文跟踪方法。

本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用硬件实施例、软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器和光学存储器等)上实施的计算机程序产品的形式。

本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于一计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，所述的存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory，ROM)或随机存储记忆体(RandomAccessMemory，RAM)等。

上述虽然结合附图对本发明的具体实施方式进行了描述，但并非对本发明保护范围的限制，所属领域技术人员应该明白，在本发明的技术方案的基础上，本领域技术人员不需要付出创造性劳动即可做出的各种修改或变形仍在本发明的保护范围以内。

Claims (8)

1.一种基于残差补偿的低秩重检测上下文长时跟踪方法，其特征在于，用于对视频中出现的目标物体进行跟踪，该方法具体包括：

根据视频中每一帧图像中的目标物体位置来确定其所属目标区域，并提取目标区域内至少两种图像特征，构建出上下文特征集；

将上下文特征集与其内特征的相应位置关系由似然分布函数进行关联，进而得到目标物体跟踪模型；

在目标物体进行跟踪的过程中，以目标物体所在的第一帧图像为基准图像，逐一计算随后帧图像与基准图像的跟踪残差，补偿至目标物体跟踪模型中来预测目标物体的位置并存储。

2.如权利要求1所述的一种基于残差补偿的低秩重检测上下文长时跟踪方法，其特征在于，该方法还包括：利用CUR矩阵低秩表达的方式来拟合预存的目标物体位置历史信息，构建出在线重检测器；

当发生跟踪失败时，利用在线重检测器对目标物体位置进行在线重检测。

3.如权利要求1所述的一种基于残差补偿的低秩重检测上下文长时跟踪方法，其特征在于，提取的目标区域内的图像特征包括深度CNN特征、梯度直方图、颜色、局部二值模式和Haar特征。

4.如权利要求1所述的一种基于残差补偿的低秩重检测上下文长时跟踪方法，其特征在于，该方法还包括对目标物体跟踪模型进行更新，其中包括对提取的目标区域内的图像特征数量以及相应特征值和特征的相应位置进行更新。

5.一种基于残差补偿的低秩重检测上下文长时跟踪系统，其特征在于，用于对视频中出现的目标物体进行跟踪，该系统具体包括跟踪处理器，所述跟踪处理器包括：

上下文特征集构建模块，其配置为根据视频中每一帧图像中的目标物体位置来确定其所属目标区域，并提取目标区域内至少两种图像特征，构建出上下文特征集；

目标物体跟踪模型构建模块，其配置为将上下文特征集与其内特征的相应位置关系由似然分布函数进行关联，进而得到目标物体跟踪模型；

残差补偿模块，其配置为在目标物体进行跟踪的过程中，以目标物体所在的第一帧图像为基准图像，逐一计算随后帧图像与基准图像的跟踪残差，补偿至目标物体跟踪模型中来预测目标物体的位置并存储。

6.如权利要求5所述的一种基于残差补偿的低秩重检测上下文长时跟踪系统，其特征在于，所述跟踪处理器还包括在线重检测器模块，其配置为：

利用CUR矩阵低秩表达的方式来拟合预存的目标物体位置历史信息，构建出在线重检测器；

当发生跟踪失败时，利用在线重检测器对目标物体位置进行在线重检测。

7.如权利要求5所述的一种基于残差补偿的低秩重检测上下文长时跟踪系统，其特征在于，在所述上下文特征集构建模块中，提取的目标区域内的图像特征包括深度CNN特征、梯度直方图、颜色、局部二值模式和Haar特征。

8.如权利要求5所述的一种基于残差补偿的低秩重检测上下文长时跟踪系统，其特征在于，所述跟踪处理器还包括模型更新模块，其被配置为：

对目标物体跟踪模型进行更新，其中包括对提取的目标区域内的图像特征数量以及相应特征值和特征的相应位置进行更新。