CN111476821B - 基于在线学习的目标跟踪方法 - Google Patents

Abstract

本发明公开了一种上述基于在线学习的目标跟踪方法，可以确定当前帧的候选区域，获取所需深度图，识别目标深度，确定深度图的目标层，将在深度图中属于目标层的像素提取出来并灰度化，得到融合图像，若当前帧无遮挡，获取最大响应值，若当前帧发生遮挡，将当前帧的下一帧确定为当前帧，返回执行当前帧的候选区域的过程，若响应值小于设定值，则将下一帧确定为当前帧，返回执行当前帧的候选区域的过程，直至最大响应值大于或等于设定值，判定当前帧的候选区域出现目标，确定目标候选区域，采用循环矩阵获得多个候选样本，计算各个候选样本的响应值，将响应值最大的候选样本确定为目标样本，以确定最终目标位置，提高目标跟踪的稳定性。

Description

基于在线学习的目标跟踪方法

技术领域

本发明涉及单目标跟踪技术领域，尤其涉及一种基于在线学习的目标跟踪方法。

背景技术

判别式目标跟踪方法把跟踪问题变成一个分类问题，通过训练分类器区分目标和背景。当前帧以目标区域为正样本，背景区域为负样本，通过机器学习方法在线训练分类器判别目标和背景，下一帧用训练好的分类器寻找最优区域。算法使用样本图像训练滤波器建立目标外观模型，在第一帧中初选目标窗口进行随机仿射变换，得到的一组样本图像用来训练滤波器。在后续帧中，将滤波器与搜索窗口进行相关操作，相关输出的最大值位置表示目标的当前位置，以此实现跟踪，同时基于新位置图像更新滤波器。滤波器只有不断更新，才能实时地捕捉到目标外观变化。当目标被遮挡时，目标外观剧烈变动，滤波器会继续学习遮挡物的信息，导致模型的漂移。

模态融合技术负责联合多个模态的信息进行信息增强，是目前应用最广的方向。按照融合的层次，模态融合可以分为三个方面：对原始数据进行融合、对抽象的特征进行融合和对决策结果进行融合。最主要的是利用模态之间的互补信息，获得更全面的特征，提高模型鲁棒性，同时保证模型在某些模态缺失时仍能有效地工作。

在相关图像中的人或物等目标跟踪过程中，目标被遮挡时，传统的滤波器会继续学习遮挡物的信息，导致滤波器被污染，容易导致目标跟踪的稳定性差。

发明内容

针对以上问题，本发明提出一种基于在线学习的目标跟踪方法。

为实现本发明的目的，提供一种基于在线学习的目标跟踪方法，包括如下步骤：

S10，根据图片的上一帧目标位置估计当前帧目标区域，根据当前帧目标区域确定当前帧的候选区域；

S20，获取上一帧目标区域的深度图，识别深度图的目标深度，根据目标深度确定深度图的目标层，在当前帧的彩色图中将在深度图中属于目标层的像素提取出来并灰度化，得到当前帧的融合图像；

S30，根据上一帧目标区域的深度图像对当前帧进行遮挡检测，若当前帧无遮挡，执行步骤S40，若当前帧发生遮挡，将当前帧的下一帧确定为当前帧，在更新当前帧后返回执行步骤S10；

S40，对于融合图像，采用循环矩阵对目标候选区域进行多次采样，得到多个候选样本，计算滤波模板分别与各个候选样本的响应值，获取最大响应值；

S50，若最大响应值小于设定值，确定当前帧的目标区域与上一帧目标区域相同，并将当前帧的下一帧重新确定为当前帧，在更新当前帧后返回执行步骤S10，直至最大响应值大于或等于设定值，判定当前帧的候选区域出现目标，将响应值最大的候选样本确定为目标样本，根据目标样本确定最终目标位置并更新滤波模板。

在一个实施例中，上述基于在线学习的目标跟踪方法，还包括：

S60，获取针对多个目标进行跟踪得到的最终目标位置，生产各个最终目标位置对应的响应图，对各个响应图进行融合得到散度衡量跟踪结果，根据散度衡量跟踪结果确定目标跟踪的可靠性。

在一个实施例中，根据目标样本确定最终目标位置包括：

确定目标样本与相应候选区域的相对位置关系，根据目标样本与相应候选区域的相对位置关系确定最终目标位置与当前帧目标位置之间的相对位置关系，根据当前帧目标位置和相对位置关系确定最终目标位置。

在一个实施例中，更新滤波模板包括：

获取目标候选区域的目标响应图，将目标响应图代入系数更新公式计算滤波系数，根据滤波系数更新滤波模板。

作为一个实施例，所述系数更新公式包括：

式中，α表示滤波系数，Y表示目标响应图，k表示循环矩阵K的基向量，λ表示学习因子，F^-1表示傅里叶逆变换。

上述基于在线学习的目标跟踪方法，可以根据图片的上一帧目标位置估计当前帧目标区域，根据当前帧目标区域确定当前帧的候选区域，获取上一帧目标区域的深度图D_t，识别深度图D_t的目标深度，根据目标深度确定深度图D_t的目标层，在当前帧的彩色图R_t中将在深度图D_t中属于目标层的像素提取出来并灰度化，得到当前帧的融合图像，根据上一帧目标区域的深度图像对当前帧进行遮挡检测，若当前帧无遮挡，对于融合图像，采用循环矩阵对目标候选区域进行多次采样，得到多个候选样本，计算滤波模板分别与各个候选样本的响应值，获取最大响应值，若当前帧发生遮挡，将当前帧的下一帧确定为当前帧，在更新当前帧后返回执行根据图片的上一帧目标位置估计当前帧目标区域的过程，若最大响应值小于设定值，确定当前帧的目标区域与上一帧目标区域相同，并将当前帧的下一帧重新确定为当前帧，在更新当前帧后返回执行根据图片的上一帧目标位置估计当前帧目标区域的过程，直至最大响应值大于或等于设定值，判定当前帧的候选区域出现目标，将响应值最大的候选样本确定为目标样本，根据目标样本确定最终目标位置，以实现相应图片中目标位置的准确跟踪，提高目标跟踪过程的稳定性。

附图说明

图1是一个实施例的基于在线学习的目标跟踪方法流程示意图；

图2是另一个实施例的基于在线学习的目标跟踪方法流程示意图。

具体实施方式

为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。

在本文中提及“实施例”意味着，结合实施例描述的特定特征、结构或特性可以包含在本申请的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例，也不是与其它实施例互斥的独立的或备选的实施例。本领域技术人员显式地和隐式地理解的是，本文所描述的实施例可以与其它实施例相结合。

参考图1所示，图1为一个实施例的基于在线学习的目标跟踪方法流程示意图，包括如下步骤：

S10，根据图片的上一帧目标位置估计当前帧目标区域，根据当前帧目标区域确定当前帧的候选区域。

具体地，可以根据上一帧目标位置来获取当前帧目标可能位置(当前帧目标区域)，假设上一帧目标位置为p_t-1，第一帧目标大小为w*h，则当前帧可以以p_t-1作为当前帧候选区域的候选区中心，当前帧候选区域的候选区大小一般为2.5w*2.5h。

S20，获取上一帧目标区域的深度图D_t，识别深度图D_t的目标深度，根据目标深度确定深度图D_t的目标层，在当前帧的彩色图R_t中将在深度图D_t中属于目标层的像素提取出来并灰度化，得到当前帧的融合图像。

具体地，可以对当前帧的深度图D_t的候选区域计算目标深度depth_t来衡量目标在三维场景中的大致活动范围。还可以将深度图D_t进行分层，分为前景层

目标层

背景层

在一个示例中，可以假定目标在两帧之间不会进行快速运动，因而设定目标层

即目标活动的深度范围为1m。最后我们在当前帧的彩色图R_t中将在D_t中属于目标层的像素提取出来并灰度化，若属于其他层，则该像素点赋值为0，最终得到融合图像Fusion_t。

S30，根据上一帧目标区域的深度图像对当前帧进行遮挡检测，若当前帧无遮挡，执行步骤S40，若当前帧发生遮挡，将当前帧的下一帧确定为当前帧，在更新当前帧后返回执行步骤S10。

S40，对于融合图像，采用循环矩阵对目标候选区域进行多次采样，得到多个候选样本，计算滤波模板分别与各个候选样本的响应值，获取最大响应值。

在对步骤S20融合到的图像进行跟踪之前需要对当前帧进行遮挡检测。对D_t候选区域构建深度直方图，去除离散点后，若是无遮挡，得到的为单峰直方图；若发生遮挡，得到双峰直方图。具体地，可以计算相关方差，通过阈值的方法判断是否遮挡。若发生遮挡，可以将当前帧的下一帧确定为当前帧，在更新当前帧后返回执行步骤S10，如将候选区域变为3.5w*3.5h，并且不更新滤波模板，但是依然计算滤波模板与候选区域之间的相关性，从而得到响应值，直到最大响应值超过0.4。实际应用中，若候选区域中出现目标，那么遮挡状态取消，滤波模板进行更新，这样，滤波模板不会因为遮挡而学到遮挡物的特征，同时保证在目标出现的那一帧，模板能够找到。

进一步地，可以对目标候选区域的目标候选位置进行特征提取。该过程所提取特征为手工特征fhog。fhog特征x_t∈R^M×N×31，其中M×N表示候选区域的尺寸。

S50，若最大响应值小于设定值，确定当前帧的目标区域与上一帧目标区域相同，并将当前帧的下一帧重新确定为当前帧，在更新当前帧后返回执行步骤S10，直至最大响应值大于或等于设定值，判定当前帧的候选区域出现目标，将响应值最大的候选样本确定为目标样本，根据目标样本确定最终目标位置并更新滤波模板。

上述设定值可以设为0.4等值。

上述步骤可以使用循环矩阵对候选区域提取出来的不同候选样本的响应值，具体可以通过卷积的方式计算响应，也可以类似KCF模型，通过回归函数计算循环样本的得分，确定相应响应值。判定响应值最大的候选样本为目标样本，通过目标样本与候选区域的关系得到目标最终位置，相应地，可以通过最大响应点的位置关系来确定当前帧帧目标的位置，也可以类似KCF算法，找到得分最高的循环样本，将样本对齐后(即放入候选区域的中心)，通过计算循环样本与原样候选区域的相对位移，对目标进行同样的位移之后，就能得到目标的最终位置。

上述基于在线学习的目标跟踪方法，可以根据图片的上一帧目标位置估计当前帧目标区域，根据当前帧目标区域确定当前帧的候选区域，获取上一帧目标区域的深度图D_t，识别深度图D_t的目标深度，根据目标深度确定深度图D_t的目标层，在当前帧的彩色图R_t中将在深度图D_t中属于目标层的像素提取出来并灰度化，得到当前帧的融合图像，根据上一帧目标区域的深度图像对当前帧进行遮挡检测，若当前帧无遮挡，对于融合图像，采用循环矩阵对目标候选区域进行多次采样，得到多个候选样本，计算滤波模板分别与各个候选样本的响应值，获取最大响应值，若当前帧发生遮挡，将当前帧的下一帧确定为当前帧，在更新当前帧后返回执行根据图片的上一帧目标位置估计当前帧目标区域的过程，若最大响应值小于设定值，确定当前帧的目标区域与上一帧目标区域相同，并将当前帧的下一帧重新确定为当前帧，在更新当前帧后返回执行根据图片的上一帧目标位置估计当前帧目标区域的过程，直至最大响应值大于或等于设定值，判定当前帧的候选区域出现目标，将响应值最大的候选样本确定为目标样本，根据目标样本确定最终目标位置，以实现相应图片中目标位置的准确跟踪，提高目标跟踪过程的稳定性。

在一个实施例中，上述基于在线学习的目标跟踪方法，还包括：

S60，获取针对多个目标进行跟踪得到的最终目标位置，生产各个最终目标位置对应的响应图，对各个响应图进行融合得到散度衡量跟踪结果，根据散度衡量跟踪结果确定目标跟踪的可靠性。

具体地，可以对于不同模态相同模型或者同一模态不同模型得到的跟踪结果(最终目标位置)进行响应图的融合，使用f散度衡量跟踪结果的可靠性，公式如下：

其中，P或P(x)指一个响应图对应的二维矩阵，Q或Q(x)指另一个响应图对应的二维矩阵，x表示响应图(P(x)或Q(x))中的每个点，D_f(P||Q)表示P和Q之间的散度值。

在一个实施例中，根据目标样本确定最终目标位置包括：

确定目标样本与相应候选区域的相对位置关系，根据目标样本与相应候选区域的相对位置关系确定最终目标位置与当前帧目标位置之间的相对位置关系，根据当前帧目标位置和相对位置关系确定最终目标位置。

进一步地，由于图片在时域中存在计算量较大的矩阵求逆的计算，所以对滤波器和特征进行傅里叶变换，将时域相关操作转变成频域点积操作，这样能够提高算法运算速度。具体地，对滤波器和特征进行傅里叶变换的过程可以包括：

其中

response∈R^M×N，

分别表示滤波模板与候选区域之间元素的点乘，response表示最终响应值，D表示不同的维度个数。

在一个实施例中，更新滤波模板包括：

获取目标候选区域的目标响应图，将目标响应图代入系数更新公式计算滤波系数，根据滤波系数更新滤波模板。

作为一个实施例，所述系数更新公式包括：

式中，α表示滤波系数，Y表示目标响应图，k表示循环矩阵K的基向量，λ表示学习因子，F^-1表示傅里叶逆变换。

具体地，根据在线学习思想，对滤波模板进行更新，在KCF算法中，通过计算上一帧图像二次采样后样本的核相关系数K^xx，根据公式：

求得新滤波模板，通过设定一个学习因子λ来更新滤波模板，防止模板一次更新过大。从而不断学习目标特征。

本实施例的技术效果可以包括：

用不同模态的数据进行跟踪，使得不同模态信息能够互补，使用深度信息，遮挡所带来的直接影响就是深度的变化，所以利用深度信息能够更好地处理遮挡问题。

使用深度图进行遮挡检测，一旦发生检测，模板就会停止学习遮挡物的信息，并且在扩大的候选区域附近继续计算响应值，直到出现响应值超过阈值的图像帧，遮挡处理结束。这种方法简洁高效，保持了滤波模板对目标的专一性，在跟踪中不容易漂移。

使用f散度度量跟踪结果的可靠性，是一种高阶形式的差异。这种高阶形式的差异，可以在一定程度上区分跟踪模型的好坏，为后面自适应分配融合权重提供依据。

在一个实施例中，参考图2所示，图2给出了本发明实施例的算法流程，包括以下步骤：

101、初始化目标位置，并对目标位置进行特征提取。

102、图像融合：对当前帧的深度图D_t的目标区域计算目标深度depth_t来衡量目标在三维场景中的大致活动范围，以此实现图像融合，步骤如下：

1)因为目标框为矩形，边缘部分存在背景深度，而背景深度在求均值时会使目标活动范围向后移动，所以取目标框中心位置的部分像素求均值，这样能最大程度上减少背景深度的影响。

2)模型假定目标不会进行快速移动，对D_t进行分层，分为前景层

目标层

背景层

目标层

即目标活动的深度范围为1m。

3)得到了目标层的所有像素之后，我们在当前帧的彩色图R_t中将这些像素提取出来并灰度化，若属于其他层，该像素点赋值为0，最终得到融合图像Fusion_t。

这种方法能对复杂的背景进行第一轮的筛选，减少跟踪漂移的可能。

103、遮挡检测：通过深度直方图的方法来判定是否发生遮挡，其步骤如下：

1)101中我们得到这一帧的候选区域，对此帧的深度图D_t中的候选区域构建深度直方图。

2)因为候选框中存在背景，背景深度远大于目标深度，所以我们要对深度值进行筛选，去除离群点，计算出候选框深度的均值μ以及标准差σ，设定depth∈(μ-σ,μ+σ)。

3)最后，对于一般跟踪目标而言，表面的深度分布大致相同，我们对剩下的深度求标准差，当遮挡发生时，直方图是双峰，标准差较大；没有遮挡时，直方图为单峰，标准差较小。所以我们使用阈值的方法，来判定遮挡是否发生。

104、遮挡处理：当目标发生遮挡时，一般认为，目标会在遮挡附近重新出现。所以，检测到有遮挡，停止更新模板，避免模型学习到遮挡物的信息导致漂移。此外，扩大候选区域，这样当目标重新出现时，模型可以立刻检测出来。我们还规定，当107计算响应时，如果最大响应值超过0.4，即目标大概率出现时，我们也判定为遮挡结束，这样避免了目标信息更新不及时和不全面导致的问题。

105、候选区域：根据上一帧目标位置来获取当前帧目标可能位置，假设上一帧目标位置为p_t-1，则在p_t-1附近建立目标候选区域，实际过程中算法选取的候选目标点为以上一帧目标为中心，候选区域长宽为目标区域的2.5倍。

106、特征提取：该过程所提取特征为手工特征fhog。fhog特征x_t∈R^M×N×31，其中M×N表示候选区域的尺寸。特征提取的步骤如下：

1)我们对Fusion_t进行特征提取，Fusion_t本身为灰度图。

2)采用gamma校正法对输入图像进行颜色空间的标准化，降低光照变化以及局部图像阴影的影响，公式如下：

I(x,y)＝I(x,y)^gamma

式中，其中gamma＝1/2，表示通过Gamma压缩处理，可以降低光照变化以及局部图像阴影的影响。I(x,y)^gamma表示Gamma处理之后的图，I(x,y)表示原图。

3)计算每个像素点的梯度幅值与梯度方向。首先获取每个像素点的横纵梯度值，方法是对图像进行横纵方向的卷积：

G_x＝[-1,0,1],G_y＝[1,0,-1]^T

G_x表示水平方向梯度幅值，G_y表示垂直方向梯度幅值。

卷积后得到像素点I(x,y)水平方向梯度幅值和垂直方向梯度幅值分别为G_x(x,y),G_y(x,y)，则每个像素点的梯度大小和梯度方向分别为：

其中，G(x,y)表示梯度大小，α(x,y)表示梯度方向。

4)计算每个像素点的敏感方向：

B(x,y)表示像素点I(x,y)的敏感方向，round()表示四舍五入的函数，mod表示取余操作，p一般取值为9。

则(x,y)处的特征向量为：

5)每16个像素点组成一个cell，将原图像从像素特征空间聚合成基于cell的特征映射C，记为：

C(i,j),{0≤i≤[(M-1)/4],0≤j≤[(N-1)/4]}

对cell级别的特征进行归一化，其中N_δ,γ(i,j)为4种不同的归一化因子：

在归一化后，每个cell存在有方向的特征向量维度为18*4。在计算像素点敏感方向时p取值为9时，得到每个cell存在无方向的特征向量维度为9*4。将特征进行投影得到27维在不同归一化因子方向的累加和以及4维在不同方向上的累加和。

107、目标定位：使用模型计算与从候选区域提取出来的不同候选样本的相关性，判定相关性最大的候选样本为目标样本，通过目标样本与候选区域的关系得到目标最终位置。对滤波器和特征进行傅里叶变换，将时域相关操作转变成频域点积操作：

108、响应图融合：不同模型，或不同模态会得到不同的响应图，在此阶段对响应图进行融合，其步骤如下：

1)对于不同跟踪响应图

要进行可靠性度量，从而实现融合权重的自适应分配，用同一来源相邻两帧响应图之间f散度来度量可靠性，计算公式如下：

2)设响应图

的融合权重为

计算融合权重的公式如下：

其中，D_f()表示可靠性度量的值，

表示上一帧的响应图。

3)最终融合的响应图，公式如下：

其中，r_t表示最终融合的响应图。

109、模型更新：根据在线学习思想，对滤波模板进行更新，不断学习目标特征。

本实施例在传统研究的基础上，提出了一种彩色图、深度图的融合方法并设计了一种更加简单高效的遮挡检测判定模式，可以有效地减少模型漂移，增加跟踪的稳定性以及鲁棒性。具体地，本实施例可以用于RGBD(颜色深度数据集)的目标跟踪，在对RGBD数据研究中，使用显著性检测网络对数据进行融合，但是该融合时间长，仅对显著目标的跟踪有较好效果。本实施例提出的融合办法简单高效，可以用最短的时间减少前景以及背景对跟踪的影响。此外，使用深度图直方图双峰峰值的比值进行遮挡检测，对于噪声点异常敏感，且获取双峰峰值繁琐。遮挡发生带来了深度变化，最明显的改变就是深度分布情况，本发明提出的基于标准差的遮挡检测方法，更加高效稳定。

以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。

需要说明的是，本申请实施例所涉及的术语“第一\第二\第三”仅仅是区别类似的对象，不代表针对对象的特定排序，可以理解地，“第一\第二\第三”在允许的情况下可以互换特定的顺序或先后次序。应该理解“第一\第二\第三”区分的对象在适当情况下可以互换，以使这里描述的本申请的实施例能够以除了在这里图示或描述的那些以外的顺序实施。

本申请实施例的术语“包括”和“具有”以及它们任何变形，意图在于覆盖不排他的包含。例如包含了一系列步骤或模块的过程、方法、装置、产品或设备没有限定于已列出的步骤或模块，而是可选地还包括没有列出的步骤或模块，或可选地还包括对于这些过程、方法、产品或设备固有的其它步骤或模块。

以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。

Claims (5)

1.一种基于在线学习的目标跟踪方法，其特征在于，包括如下步骤：

S10，根据图片的上一帧目标位置估计当前帧目标区域，根据当前帧目标区域确定当前帧的候选区域；

S20，获取上一帧目标区域的深度图D_t，识别深度图D_t的目标深度，根据目标深度确定深度图D_t的目标层，在当前帧的彩色图R_t中将在深度图D_t中属于目标层的像素提取出来并灰度化，得到当前帧的融合图像；

S30，根据上一帧目标区域的深度图像对当前帧进行遮挡检测，若当前帧无遮挡，执行步骤S40，若当前帧发生遮挡，将当前帧的下一帧确定为当前帧，在更新当前帧后返回执行步骤S10；

S40，对于融合图像，采用循环矩阵对目标候选区域进行多次采样，得到多个候选样本，计算滤波模板分别与各个候选样本的响应值，获取最大响应值；

S50，若最大响应值小于设定值，确定当前帧的目标区域与上一帧目标区域相同，并将当前帧的下一帧重新确定为当前帧，在更新当前帧后返回执行步骤S10，直至最大响应值大于或等于设定值，判定当前帧的候选区域出现目标，将响应值最大的候选样本确定为目标样本，根据目标样本确定最终目标位置并更新滤波模板。

2.根据权利要求1所述的基于在线学习的目标跟踪方法，其特征在于，还包括：

S60，获取针对多个目标进行跟踪得到的最终目标位置，生产各个最终目标位置对应的响应图，对各个响应图进行融合得到散度衡量跟踪结果，根据散度衡量跟踪结果确定目标跟踪的可靠性。

3.根据权利要求1所述的基于在线学习的目标跟踪方法，其特征在于，根据目标样本确定最终目标位置包括：

确定目标样本与相应候选区域的相对位置关系，根据目标样本与相应候选区域的相对位置关系确定最终目标位置与当前帧目标位置之间的相对位置关系，根据当前帧目标位置和相对位置关系确定最终目标位置。

4.根据权利要求1所述的基于在线学习的目标跟踪方法，其特征在于，更新滤波模板包括：

获取目标候选区域的目标响应图，将目标响应图代入系数更新公式计算滤波系数，根据滤波系数更新滤波模板。

5.根据权利要求4所述的基于在线学习的目标跟踪方法，其特征在于，所述系数更新公式包括：

式中，α表示滤波系数，Y表示目标响应图，k表示循环矩阵K的基向量，λ表示学习因子，F^-1表示傅里叶逆变换。

Images