CN105469397A - 一种基于系数矩阵分析的目标遮挡检测方法 - Google Patents

Abstract

本发明公开了一种基于系数矩阵分析的目标遮挡检测方法，属于视频图像分析领域，该方法在对稀疏系数矩阵进行分析之前，先将目标模板和候选区域都按相同的方式分成若干个局部块，每一个局部块都包含了目标物体不同位置的特征信息；然后按照稀疏编码原理求得稀疏系数矩阵，使得系数矩阵的行和列分别对应目标模板和候选区域的每一个局部块；在对矩阵进行分析时，并不是对矩阵整体进行分析，而是以一列为一个独立的单元，分别判断每一列对应的候选区域上的局部块是否发生了遮挡。本发明所提出的基于系数矩阵分析的目标遮挡检测方法能够很好的检测出目标跟踪过程中遮挡的发生，为后续的目标跟踪算法提供了良好的基础。

Description

一种基于系数矩阵分析的目标遮挡检测方法

技术领域

本发明属于视频图像分析领域，具体涉及一种基于系数矩阵分析的目标遮挡检测方法。

背景技术

随着计算机视觉技术的发展，目标跟踪在现实生活中的应用越来越广泛。同时目标跟踪作为计算机视觉领域中的热点研究课题，一直得到研究学者的普遍关注和积极投入。目标跟踪一般是指基于视频序列的目标跟踪，目的是在一系列的图像中对目标物体进行检测、提取、识别和跟踪，从而获得目标物体的相关参数，如位置、速度、尺度、轨迹等；进而根据跟踪结果进行进一步的处理和分析，实现对目标物体的行为理解，或者完成更高一级的任务。

尽管目标跟踪技术有着广阔的应用价值和研究前景，研究人员也已经对相关课题研究了多年，并且取得了一定的成果，但是目标跟踪技术在实际应用过程中仍然会遇到很多技术难点。要克服目标跟踪中经常出现的难点问题,设计一个鲁棒性高的跟踪算法依然是一个很有挑战性的问题。而这些技术难点问题主要包括：

(1)光照变化：跟踪场景中的光照发生变化时，会使图像中的像素变化，致使目标的外观特征发生变化，从而影响目标跟踪的准确性。光照变化又可分为均匀光照、局部光照等等。

(2)目标尺度变化：当目标距离摄像头较近或较远时，会导致真实的目标在尺度上发生变化，影响初始框定的目标区域内特征的提取。

(3)目标旋转：目标旋转分为面内旋转和面外旋转。会增加建立运动模型的难度，甚至会丢失部分信息，增加了跟踪的难度。

(4)背景复杂：背景复杂问题一般体现在复杂凌乱的背景，尤其存在与目标相似的物体时的背景，给目标物体的辨认带来了很大的不可靠性。

(5)目标遮挡问题：遮挡是目标跟踪中做常见的现象。按着遮挡程度划分，目标遮挡分为局部遮挡和完全遮挡。

在上面提到的所有难点问题中，目标遮挡是最具有挑战性的问题。其难点在于遮挡发生的时间节点、遮挡物的大小、遮挡持续的时间、遮挡物出现的位置等参数都是不可预知的。

在当前现有的目标跟踪算法中，虽然已经有许多针对于目标遮挡的解决方案，但鲁棒性并不够强。比如基于边缘特征的遮挡检测和追踪方法，此类算法通过检测边缘特征，即遮挡时必定有大量的边缘特征点被覆盖，由此达到检测遮挡的效果。但此方法极容易发生误检，尤其是当目标物体发生形变时，检测效果并不好。因此，设计一个鲁棒性的目标遮挡检测方法，依然是当前的一个难点问题。

发明内容

针对现有技术中存在的上述技术问题，本发明提出了一种基于系数矩阵分析的目标遮挡检测方法，设计合理，能够很好的对跟踪过程中目标发生的遮挡做出检测，同时大大提高了跟踪算法的鲁棒性。

为了实现上述目的，本发明采用如下技术方案：

一种基于系数矩阵分析的目标遮挡检测方法，按照如下步骤进行：

步骤1：导入要进行目标跟踪的视频序列，选取视频序列的前N帧，对选取的前N帧视频序列进行处理，得到初始的目标模板序列T，同时将目标模板分成n个大小相同的局部块；

步骤2：输入下一视频帧，利用粒子滤波提取候选区域Y，将候选区域也分成n个大小相同的局部块，在每一帧图像中设置S个粒子，得到S个候选区域Y；

步骤3：利用稀疏编码原理设定Y＝TX，求取每一个候选区域对应的系数矩阵X，对系数矩阵X进行降维处理转化为n×n维的矩阵，使系数矩阵的行和列分别与目标模板和候选区域的局部块相对应，然后通过最优化方法选择最优的候选区域作为目标区域，并将此区域对应的系数矩阵X保存；

步骤4：对步骤3中保存的系数矩阵进行分析，判断当前帧内的目标物体是否发生了遮挡；

若：判断结果是当前帧内的目标物体没有发生遮挡，则对目标模板序列进行更新，然后执行步骤5；

或当前帧内的目标物体发生遮挡，则直接执行步骤5；

判断当前帧内的目标物体是否发生遮挡的步骤，具体包括：

步骤4.1：对步骤3中保存的系数矩阵的第1列进行分析，首先获取第1列包含的对角线元素a，然后求取除去对角线元素a后剩余元素中最大的元素b；

步骤4.2：计算第1列中所有元素之和，记为s；

步骤4.3：设定两个阈值α和β，若满足下列条件：

$\left\{\begin{array}{c}a/s\≤\mathrm{\α}\\ b/s\≥\mathrm{\β}\end{array}\right.$

则认为当前列所对应的目标局部块发生了遮挡；

步骤4.4：重复步骤4.1-4.3，对系数矩阵余下的n-1列依次进行判断；

步骤4.5：对系数矩阵的所有列判断结束之后，统计候选区域中被认定为发生了遮挡的局部块的数目，若发生遮挡的数目小于局部块总数的一半，则认为目标物体当前发生了局部遮挡，否则认为目标物体当前发生了全局遮挡；

步骤5：判断当前帧是否该视频序列的最后一帧；

若：判断结果是当前帧不是该视频序列的最后一帧，则执行步骤2；

或当前帧是该视频序列的最后一帧，则检测结束。

优选地，在步骤1中，具体包括

步骤1.1：对视频序列的第1帧进行手动标记，提取出第1帧内包含的目标区域；

步骤1.2：对提取的目标区域进行分割，分成n个局部块，每个局部块内都包含有目标区域的不同位置的特征信息；

步骤1.3：将得到的n个局部块进行标准化，都转化为相同的尺寸；

步骤1.4：对视频序列的第2到第N帧，重复步骤1.1-步骤1.3，最终得到N×n个局部块，然后通过字典学习，获得初始的目标模板序列T。

优选地，在步骤3中，具体包括

步骤3.1：根据步骤1中对目标区域的分块方式，将S个候选区域Y也分成n个大小相同的局部块，同样转化成相同的尺寸；

步骤3.2：利用稀疏编码原理设定Y＝TX，求得每一个候选区域对应的系数矩阵X；

步骤3.3：将系数矩阵X进行降维处理，转化为n×n维的矩阵，使得此系数矩阵的行数对应目标模板的n个局部块，列数对应候选区域的n个局部块；

步骤3.4：对S个n×n维的矩阵的对角线上的元素相加求和，选取和最大的矩阵所对应的目标区域为真实目标区域；

步骤3.5：将选取的真实目标区域对应的系数矩阵进行存储。

本发明所带来的有益技术效果：

本发明提出了一种基于系数矩阵分析的目标遮挡检测方法，与现有技术相比，一种基于系数矩阵分析的目标遮挡检测方法，从稀疏编码中的稀疏系数的角度出发，将系数矩阵的每一列分别进行分析，利用列向量中的元素在当前列所有元素之和中所占的比例，判断出当前列对应的目标区域的局部块是否发生了遮挡；本发明根据判断出的每一个局部块的结果，进一步判断目标物体在这一帧内是发生了局部遮挡还是完全遮挡，能够很好的检测出目标跟踪过程中遮挡的发生，为后续的目标跟踪算法提供了良好的基础。

附图说明

图1为本发明基于系数矩阵分析的目标遮挡检测方法的流程框图。

图2为本发明中目标模板和候选区域局部块的划分方式示意图。

图3为本发明通过对稀疏系数矩阵分析来判断是否遮挡的流程框图。

具体实施方式

下面结合附图以及具体实施方式对本发明作进一步详细说明：

为了解决目标跟踪过程中遮挡场景对跟踪结果的影响，提高目标跟踪算法的鲁棒性，本发明提出了一种基于系数矩阵分析的目标遮挡检测方法(如图1所示)，按照如下步骤进行：

步骤1：导入要进行目标跟踪的视频序列，选取视频序列的前N帧，对选取的前N帧视频序列进行处理，得到初始的目标模板序列T，同时将目标模板分成n个大小相同的局部块；

步骤2：输入下一视频帧，利用粒子滤波提取候选区域Y，将候选区域也分成n个大小相同的局部块，在每一帧图像中设置S个粒子，得到S个候选区域Y；

步骤3：利用稀疏编码原理设定Y＝TX，求取每一个候选区域对应的系数矩阵X，对系数矩阵X进行降维处理转化为n×n维的矩阵，使系数矩阵的行和列分别与目标模板和候选区域的局部块相对应，然后通过最优化方法选择最优的候选区域作为目标区域，并将此区域对应的系数矩阵X保存；

步骤4：对步骤3中保存的系数矩阵进行分析，判断当前帧内的目标物体是否发生了遮挡；

若：判断结果是当前帧内的目标物体没有发生遮挡，则对目标模板序列进行更新，然后执行步骤5；

或当前帧内的目标物体发生遮挡，则直接执行步骤5；

步骤5：判断当前帧是否该视频序列的最后一帧；

若：判断结果是当前帧不是该视频序列的最后一帧，则执行步骤2；

或当前帧是该视频序列的最后一帧，则检测结束。

下面展开具体说明。

本方法在对稀疏系数矩阵进行分析之前，先将目标模板和候选区域都按相同的方式分成若干个局部块(如图2所示)。每一个局部块都包含了目标物体不同位置的特征信息，这样就保留了目标物体的局部特征，同时每一个局部块在目标物体上的空间位置和排列方式是固定的，又很好的体现出了目标物体的空间特征和全局特征。所以在进行了分块操作之后，目标模板可以表示为T＝(T₁,T₂,…T_n)，候选区域可以表示为Y＝(Y₁,Y₂,…Y_n)。

首先根据稀疏编码Y＝TX，在已知T和Y的前提下，可以求得稀疏系数矩阵X。当我们把系数矩阵X转化为n×n维的矩阵时，如(1)式所示，由矩阵乘法的特点可以很清楚的看出，行数n对应着目标模板的n个局部块，分别由T₁到T_n表示；列数n对应着候选区域的n个局部块；分别由Y₁到Y_n表示。同时我们还可以将Y＝TX展开为如(2)式所示方程组的形式：

$(Y_1,Y_2,...Y_m,...Y_n)=(T_1,T_2,...T_m,...T_n)\left(\begin{array}{ccc}{x}_{11}& x_{12}...x_{1m}...& x_{1n}\\ .& .& .\\ .& .& .\\ .& .& .\\ x_{m1}& x_{m2}...x_{mm}& x_{mn}\\ x_{n1}& x_{n2}...x_{nm}...& x_{nn}\end{array}\right)---\left(1\right)$

$\left\{\begin{array}{c}{Y}_1=T_1{x}_{11}+T_2{x}_{21}+......+T_n{x}_{n1}\\ Y_2=T_1{x}_{12}+T_2{x}_{22}+......+T_n{x}_{n2}\\ .\\ .\\ .\\ Y_m=T_1{x}_{1m}+T_2{x}_{2m}+......+T_n{x}_{nm}\\ .\\ .\\ .\\ Y_n=T_1{x}_{1n}+T_2{x}_{2n}+......T_n{x}_{nn}\end{array}\right.---\left(2\right)$

由此可以看出，在候选区域中，每一个局部块都可以单独作为方程组中的一个方程式进行求解，即候选区域的第m个局部块可以表示为目标模板矩阵T中元素和系数矩阵X的第m列中元素的线性组合。如此一来，便将候选区域的每一个局部块独立开来。

对于候选区域的单个局部块对应的方程式，第m个系数表示目标模版的第m个局部块在重构此候选区域的局部块时所占的比例。接下来将在候选区域单个局部块的层次上进行分析。

结合图3所示，通过对稀疏系数矩阵分析来判断是否遮挡的。

对系数矩阵的第m列进行分析，首先获取当前列包含的对角线元素a(如(3)式所示)，然后求得除去a后剩余元素中最大的元素b(如(4)式所示)，最后计算当前列所有元素之和，记为s(如(5)式所示)。若系数矩阵当前列对应的候选区域的局部块与目标模板相同位置上的局部块完全相同时，很显然有a＝s＝1。同时对角线元素占整列元素之和的比例越大，说明候选区域的当前局部块与目标模板相同位置上的局部块越相近。这一原理将作为本方法进行遮挡检测的理论基础。

a＝x_mmm∈{1,2,…,n}(3)

b＝max{x_im,ifi≠m}i,m∈{1,2,…,n}(4)

$s=\underset{i=1}{\overset{n}{\Σ}}{x}_{im},i,m\∈\{1,2...,n\}---\left(5\right)$

在实际的跟踪过程中，由于实际场景中的一些外界因素的干扰，几乎不会出现a＝s＝1，即候选区域和目标模板对应的相同位置上的局部块完全匹配的情况，所以只要a/s的值超过一定的阈值范围，我们都可以认定候选局部块与相同位置上模板局部块的匹配度足够高。所以，当a/s的值低于一定的阈值时(如(6)式所示)，就表明在当前情况下候选局部块与模板局部块的匹配度很低，极有可能发生了遮挡。

$\frac{a}{s}=\frac{x_{mm}}{\underset{i=1}{\overset{m}{\Σ}}{x}_{im}}\≤\mathrm{\α},i,m\∈\{1,2...,n\}---\left(6\right)$

但是如果仅仅以这一个条件作为遮挡发生的判断标准，则很可能会出现误检的情况。因为在光照发生变化时，会使图像中的像素变化，目标物体的外观特征也会发生变化，导致候选局部块与模板局部块的匹配度同样很低。为了不至于将光照变化等其他因素错误的检测为发生了遮挡，这里我们引入了判断遮挡发生的第二个条件。

前面已经提到，当候选区域的第m个局部块发生遮挡时，其对应的系数矩阵第m列中的第m个元素，即对角线上的元素，与列元素之和的比值应该比较小。当此局部块无法与目标模板对应位置上的局部块很好的匹配时，必须要拿目标模板其他位置上的局部块来重构未匹配的成分。所以对系数矩阵当前列进行分析时，不能只比较对角线上的元素，还应关注当前列中除对角线元素外剩余最大的元素b，即如果b/s的值大于一定的阈值范围时(如(7)式所示)，我们就可以认为候选区域当前的局部块与目标模板对应的其他位置上的局部块匹配度更高，即元素b对应的目标局部块更多的参与了当前候选局部块的重构。如此便能很好地排除掉光照变化等其他外界条件变化的影响。

$\frac{b}{s}=\frac{max\{x_{1m},x_{2m},...,x_{m-1m},x_{m+1m},...x_{mm}\}}{\underset{i=1}{\overset{m}{\Σ}}{x}_{im}}\≥\mathrm{\β},i,m\∈\{1,2...,n\}---\left(7\right)$

根据上述一系列分析，我们可以得出结论：判断候选区域的第m个局部块是否发生了遮挡，就需要分析其对应的系数矩阵X的第m列是否满足如下条件：

$\left\{\begin{array}{c}\frac{x_{mm}}{\underset{i=1}{\overset{m}{\Σ}}{x}_{im}}\≤\mathrm{\α}\\ \frac{\max \left\{x_{1m,}{x}_{2m,...,}{x}_{m-1m,}{x}_{m+1m,...}{x}_{mm}\right\}}{\underset{i=1}{\overset{m}{\Σ}}{x}_{im}}\≥\mathrm{\β}\end{array}\right.,i,m\∈\{1,2...,n\}---\left(8\right)$

最后对系数矩阵的每一列都按照(8)式进行判断，依次判断出目标区域的每一个局部块是否发生了遮挡。

在实际的目标跟踪过程中，同样是遮挡问题，也会有不同的情形。在有的情况下，目标区域中发生遮挡的局部块在一定时间内都是固定的，并且遮挡局部块的数量较少；而在有的情况下，目标区域中发生遮挡的局部块数量是不断增多的，因此被遮挡覆盖的区域也越来越大。这两种情况在实际的目标跟踪算法中的处理方法也是不相同的，因此我们在对每一个局部块依次判断结束之后，又对目标区域内所有被认定为发生了遮挡的局部块的数量Num进行了统计。

(1)若发生遮挡的局部块数目不大于目标区域的局部块总数的一半，即Num≤n/2，则认为目标在当前帧发生了局部遮挡；

(2)若发生遮挡的局部块数目大于目标区域的局部块总数的一半，即Num＞n/2，则认为目标在当前帧发生了全部遮挡。

本发明一种基于系数矩阵分析的目标遮挡检测方法，从系数编码中的稀疏系数的角度出发，将系数矩阵的每一列分别进行分析，利用列向量中的元素在所有元素之和中所占的比例，判断出当前列对应的目标区域的局部块是否发生了遮挡；本发明根据判断出的每一个局部块的结果，进一步判断目标物体在这一帧内是发生了局部遮挡还是完全遮挡，能够很好的检测出目标跟踪过程中遮挡的发生，为后续的目标跟踪算法提供了良好的基础。

当然，上述说明并非是对本发明的限制，本发明也并不仅限于上述举例，本技术领域的技术人员在本发明的实质范围内所做出的变化、改型、添加或替换，也应属于本发明的保护范围。

Claims (3)

1.一种基于系数矩阵分析的目标遮挡检测方法，其特征在于：按照如下步骤进行：

步骤1：导入要进行目标跟踪的视频序列，选取视频序列的前N帧，对选取的前N帧视频序列进行处理，得到初始的目标模板序列T，同时将目标模板分成n个大小相同的局部块；

步骤2：输入下一视频帧，利用粒子滤波提取候选区域Y，将候选区域也分成n个大小相同的局部块，在每一帧图像中设置S个粒子，得到S个候选区域Y；

步骤3：利用稀疏编码原理设定Y＝TX，求取每一个候选区域对应的系数矩阵X，通过对系数矩阵X进行降维处理，选择目标区域，并将此目标区域对应的系数矩阵进行保存；

步骤4：对步骤3中保存的系数矩阵进行分析，判断当前帧内的目标物体是否发生了遮挡；

若：判断结果是当前帧内的目标物体没有发生遮挡，则对目标模板序列进行更新，然后执行步骤5；

或当前帧内的目标物体发生遮挡，则直接执行步骤5；

判断当前帧内的目标物体是否发生遮挡的步骤，具体包括：

步骤4.1：对步骤3中保存的系数矩阵的第1列进行分析，首先获取第1列包含的对角线元素a，然后求取除去对角线元素a后剩余元素中最大的元素b；

步骤4.2：计算第1列中所有元素之和，记为s；

步骤4.3：设定两个阈值α和β，若满足下列条件：

$\left\{\begin{array}{c}a/s\≤\mathrm{\α}\\ b/s\≥\mathrm{\β}\end{array}\right.$

则认为当前列所对应的目标局部块发生了遮挡；

步骤4.4：重复步骤4.1-4.3，对系数矩阵余下的n-1列依次进行判断；

步骤4.5：对系数矩阵的所有列判断结束之后，统计候选区域中被认定为发生了遮挡的局部块的数目，若发生遮挡的数目小于局部块总数的一半，则认为目标物体当前发生了局部遮挡，否则认为目标物体当前发生了全局遮挡；

步骤5：判断当前帧是否该视频序列的最后一帧；

若：判断结果是当前帧不是该视频序列的最后一帧，则执行步骤2；

或当前帧是该视频序列的最后一帧，则检测结束。

2.根据权利要求1所述的基于系数矩阵分析的目标遮挡检测方法，其特征在于：在步骤1中，具体包括

步骤1.1：对视频序列的第1帧进行手动标记，提取出第1帧内包含的目标区域；

步骤1.2：对提取的目标区域进行分割，分成n个局部块，每个局部块内都包含有目标区域的不同位置的特征信息；

步骤1.3：将得到的n个局部块进行标准化，都转化为相同的尺寸；

步骤1.4：对视频序列的第2到第N帧，重复步骤1.1-步骤1.3，最终得到N×n个局部块，然后通过字典学习，获得初始的目标模板序列T。

3.根据权利要求1所述的基于系数矩阵分析的目标遮挡检测方法，其特征在于：在步骤3中，具体包括

步骤3.1：根据步骤1中对目标区域的分块方式，将S个候选区域Y也分成n个大小相同的局部块，同样转化成相同的尺寸；

步骤3.2：利用稀疏编码原理设定Y＝TX，求得每一个候选区域对应的系数矩阵X；

步骤3.3：将系数矩阵X进行降维处理，转化为n×n维的矩阵，使得此系数矩阵的行数对应目标模板的n个局部块，列数对应候选区域的n个局部块；

步骤3.4：对S个n×n维的矩阵的对角线上的元素相加求和，选取和最大的矩阵所对应的目标区域为真实目标区域；

步骤3.5：将选取的真实目标区域对应的系数矩阵进行存储。