CN110136171B - 一种目标跟踪过程中判断遮挡的方法 - Google Patents

Abstract

本发明公开了一种目标跟踪过程中判断遮挡的方法，包括以下步骤：步骤1，读取跟踪目标图像序列，并提取图像序列中的第一帧图像，在第一帧图像上选定要跟踪的目标框，提取所述目标框的LBP特征向量LBP₁，第一帧图像为选取的处于完全未遮挡状态的跟踪目标图像；步骤2，读取下一帧图像，对于该帧图像进行粗遮挡判断；步骤3，如果步骤2判断为遮挡，则利用巴氏距离进行准确遮挡判断；步骤4：判断是否为跟踪目标图像序列的最后一帧，如果是，则结束；如果不是则返回到步骤2。本发明设计了一种更鲁棒的遮挡粗判断方法，结合巴氏距离的概念，剔除目标形变对遮挡判断的干扰，能更加准确地判断目标是否发生了遮挡。

Description

一种目标跟踪过程中判断遮挡的方法

技术领域

本发明涉及一种判断遮挡的方法，属于目标检测跟踪领域，适用于无人机追踪、视频监控等目标跟踪方面的目标遮挡问题。

背景技术

目标跟踪技术是近些年才发展并投入应用的一项技术，也是当前一个重要的课题和研究热点，目标跟踪通过在连续的视频图像序列中估计跟踪目标的位置、形状所占区域，确定目标的运动速度、方向及轨迹等运动信息，实现对运动目标行为的分析和理解，以便完成更高级的任务，像导弹制导、军用无人机侦察、道路交通监控、智能监控等技术都离不开目标跟踪。

基于可见光图像的目标跟踪技术，其面临的一项主要挑战就来自目标遮挡。为了解决遮挡问题，需要能准确判断出目标产生了遮挡，就这个问题目前国内外对目标遮挡判断问题有过大量的研究，从最初的相关滤波算法出现，人们发现遮挡发生时，滤波响应会出现下降趋势，即置信度下降，通过置信度变化可以判断目标产生遮挡，这种遮挡判断方法原理简单，但是判断效果不佳，会受到很多其他因素的影响。而文章《基于遮挡检测的尺度自适应相关滤波跟踪》里改进遮挡检测方法，将跟踪目标以中心为原点分成四块矩形块,通过计算分析四块的峰值响应(Peak-to-Sidelobe Ratio,PSR)来判断目标受遮挡情况，当某一分块的PSR小于一定阈值时说明出现了严重遮挡，该方法一定程度上提高了遮挡判断的准确度，但依旧没有排除目标其他变化对峰值响应的影响，而带来的遮挡误判。

目前对遮挡判断的方法，大多都单一的从置信度变化出发，没有考虑目标自身变化对置信度的影响，更多研究侧重于对发生遮挡后问题的解决。要解决遮挡产生的影响，首先要准确判断是否发生了遮挡，本发明在置信度判断遮挡方法的基础上进行了改进，设计了一种更加鲁棒的判别方法，并加入了遮挡细检测，排除目标自身变化对遮挡判断的干扰，减少遮挡误判的情况，能更加准确地判断目标是否发生了遮挡。

发明内容

针对上述现有技术，本发明要解决的技术问题是提供一种具有更佳鲁棒性、排除目标自身变化对遮挡判断的干扰，更加准确地判断目标是否发生了遮挡的目标跟踪过程中准确判断遮挡的方法。

为解决上述技术问题，本发明提供一种目标跟踪过程中判断遮挡的方法，包括以下步骤：

步骤1：读取跟踪目标图像序列，并提取图像序列中的第一帧图像，在第一帧图像上选定要跟踪的目标框，提取所述目标框的LBP特征向量LBP₁，第一帧图像为选取的处于完全未遮挡状态的跟踪目标图像；

步骤2：读取下一帧图像，对于该帧图像进行粗遮挡判断，包括：

根据前一帧图像采用跟踪算法确定该帧图像的预测框，定义置信度变化率Δφ，表达式为：

其中φ是置信度函数，φ_max是该帧图像的预测框中置信度最大值，

是跟踪过程中从第一帧图像到该帧图像的置信度平均值：

t为从第一帧图像到该帧图像的总帧数；

当Δφ小于预先设定的判断阈值β，则判断目标框出现了遮挡，执行步骤3；否则，执行步骤4；

步骤3：利用巴氏距离进行准确遮挡判断，包括：

提取该预测框的LBP特征向量LBP₂，求取第一帧图像的LBP特征向量和该预测框的LBP特征向量的巴氏系数BC(LBP₁,LBP₂)和巴氏距离D_B(LBP₁,LBP₂)

对于同一个域中的两个特征向量，巴氏距离为：

D_B(LBP₁,LBP₂)＝-ln(BC(LBP₁,LBP₂))

巴氏系数为：

设置阈值常数γ，当巴氏距离D_B(LBP₁,LBP₂).大于γ时，则目标框受到了遮挡；否则，目标未受到遮挡；

步骤4：判断是否为跟踪目标图像序列的最后一帧，如果是，则结束；如果不是则返回到步骤2。

本发明有益效果：本发明设计了一种更鲁棒的遮挡粗判断方法，结合巴氏距离的概念，剔除目标形变对遮挡判断的干扰，能更加准确地判断目标是否发生了遮挡。

附图说明

图1为本发明方法流程图；

图2为遮挡粗判断置信度变化率在目标遮挡时的变化曲线。

具体实施方式

下面结合附图对本发明的具体实施方式做进一步说明。

本发明是为了解决目标跟踪过程中，如何准确判别目标是否发生遮挡的问题，在目标跟踪任一帧视频序列的过程中，都会计算出候选框目标与目标模型的匹配程度，即置信度，通过置信度的变化可以粗略判断目标是否产生遮挡。在此基础上，本文设计了一种更加鲁棒的粗遮挡判断方法，令目标跟踪过程中的置信度变化率Δφ为：

其中φ是置信度函数，φ_max(t)是在t帧预测的目标候选框中置信度最大的值，

是跟踪过程中目标的置信度平均值：

在此条件下，设置一个常数β，当Δφ<β时，我们粗略判断为发生了遮挡。

在初步判定产生了遮挡的前提下，再计算候选框圈选目标的LBP特征与原目标LBP特征的巴氏距离，利用巴氏距离的大小来衡量二者的相似性，可以判断出是遮挡引起的置信度变化，还是目标形变引起的，起到遮挡细判断的作用。

在初步判定产生了遮挡的前提下，目标自身的形变会改变其特征，导致跟踪过程中置信度降低，与遮挡问题产生混淆。利用LBP特征旋转不变性的特点，利用巴氏距离来衡量跟踪目标的LBP特征与预选框LBP特征的相似性，对于同一个域中的两个向量p和q，巴氏距离被定义为：D_B(p,q)＝-ln(BC(p,q))，其中BC(p,q)是巴氏系数：

将两个LBP特征看作两个向量，计算其巴氏距离，并根据其值的大小来判断物体是否发生形变。综合以上可以准确判断目标是否产生了遮挡。

如图1所示，本发明具体实施步骤为：

步骤1：读取跟踪目标图像序列，并提取图像序列中的第一帧图像，在第一帧图像上选定要跟踪的目标框，提取所述目标框的LBP特征向量LBP₁，第一帧图像为选取的处于完全未遮挡状态的跟踪目标图像；

步骤2：读取下一帧图像，对于该帧图像进行粗遮挡判断，包括：

根据前一帧图像采用跟踪算法确定该帧图像的预测框，定义置信度变化率Δφ，表达式为：

其中φ是置信度函数，φ_max是该帧图像的预测框中置信度最大值，

是跟踪过程中从第一帧图像到该帧图像的置信度最大值的平均值：

t为从第一帧图像到该帧图像的总帧数,φ_max(i)为第i帧置信度最大值；

当Δφ小于预先设定的判断阈值β，则判断目标框出现了遮挡，执行步骤3；否则，执行步骤4；

步骤3：利用巴氏距离进行准确遮挡判断，包括：

提取该预测框的LBP特征向量LBP₂，求取第一帧图像的LBP特征向量和该预测框的LBP特征向量的巴氏系数BC(LBP₁,LBP₂)和巴氏距离D_B(LBP₁,LBP₂)

对于同一个域中的两个特征向量，巴氏距离为：

D_B(LBP₁,LBP₂)＝-ln(BC(LBP₁,LBP₂))

巴氏系数为：

设置阈值常数γ，当巴氏距离D_B(LBP₁,LBP₂).大于γ时，则目标框受到了遮挡；否则，目标未受到遮挡；

步骤4：判断是否为跟踪目标图像序列的最后一帧，如果是，则结束；如果不是则返回到步骤2。

本发明具体实施方式还包括：

步骤1：首先读取图像序列，并提取第一帧图像的目标的LBP特征，这里第一帧图像为选取所要跟踪目标的图像，此时目标处在完全未遮挡状态。第一帧图像的目标LBP特征用于后续计算与候选框(目标跟踪算法根据前一帧目标位置预测下一帧目标最有可能出现的位置)目标的LBP特征的巴氏距离。

步骤2：对于跟踪过程中的图像，要先进行粗遮挡判断，判断方法为，我们定义一个跟踪目标的置信度变化率Δφ，其表达式为：

其中φ是置信度函数，φ_max(t)是在t帧预测的目标候选框中置信度最大的值，

是跟踪过程中选择目标的置信度平均值：

确定了置信度变化率之后，什么条件下出现了粗遮挡是当前的问题，参见图2，可以看到当Δφ小于一定值的时候出现了遮挡，于是可以定义一个常数β，当Δφ<β时，可以粗略判断目标出现了遮挡。

步骤3：如果目标出现了遮挡，我们利用巴氏距离的概念来判断其是否是由目标自身形变造成的，以此来准确判断遮挡。对于同一个域中的两个特征向量p和q，其巴氏距离为：

D_B(p,q)＝-ln(BC(p,q))

其中BC(p,q)为巴氏系数：

首先提取候选框目标LBP特征，我们利用第一帧提取的LBP特征，与候选框目标的LBP特征，求取它们的巴氏系数和巴氏距离，巴氏系数能够衡量两个向量间的相似性。当物体自身发生形变时，由于LBP特征的旋转不变特性，候选框区域的LBP特征与目标最初的LBP特征应该是相似的，其巴氏距离的值也应当较小，即若求取的目标LBP特征与预选框区域的LBP特征的巴氏距离的值较小，说明是目标自身形变引起了置信度的下降，而不是遮挡引起的。反之，如果巴氏距离的值较大，说明目标特征差异很大，不是自身形变引起的就可以确定是遮挡引起的，此时就可以准确判断出目标是否产生了遮挡。

当两个特征的巴氏距离达到了一定的阈值，我们称之为目标受到了遮挡，同样我们可以定义一个阈值常数γ，当两个LBP特征的巴氏距离D_B(p,q).>γ时，此时可以认定目标受到了遮挡。

步骤4：对于当不满足Δφ<β以及巴氏距离没有超过阈值γ的情况，判定为目标未受到遮挡，是其他因素导致置信度降低。

步骤5：判断是否到达最后一帧，如果没有，则返回到步骤2继续下一帧图像的遮挡判断；如果已经处理完所有图像，则结束流程。

Claims (1)

1.一种目标跟踪过程中判断遮挡的方法，其特征在于，包括以下步骤：

步骤1：读取跟踪目标图像序列，并提取图像序列中的第一帧图像，在第一帧图像上选定要跟踪的目标框，提取所述目标框的LBP特征向量LBP₁，所述第一帧图像为选取的处于完全未遮挡状态的跟踪目标图像；

步骤2：读取下一帧图像，对于该帧图像进行粗遮挡判断，包括：

根据前一帧图像采用跟踪算法确定该帧图像的预测框，定义置信度变化率Δφ，表达式为：

其中φ是置信度函数，φ_max是该帧图像的预测框中置信度最大值，

是跟踪过程中从第一帧图像到该帧图像的置信度平均值：

t为从第一帧图像到该帧图像的总帧数；

当Δφ小于预先设定的判断阈值β，则判断目标框出现了遮挡，执行步骤3；否则，执行步骤4；

步骤3：利用巴氏距离进行准确遮挡判断，包括：

提取该预测框的LBP特征向量LBP₂，求取第一帧图像的LBP特征向量和该预测框的LBP特征向量的巴氏系数BC(LBP₁,LBP₂)和巴氏距离D_B(LBP₁,LBP₂)

对于同一个域中的两个特征向量，巴氏距离为：

D_B(LBP₁,LBP₂)＝-ln(BC(LBP₁,LBP₂))

巴氏系数为：

设置阈值常数γ，当巴氏距离D_B(LBP₁,LBP₂)大于γ时，则目标框受到了遮挡；否则，目标未受到遮挡；

步骤4：判断是否为跟踪目标图像序列的最后一帧，如果是，则结束；如果不是则返回到步骤2。

Images