CN109087332B - 一种基于分块相关的遮挡检测方法 - Google Patents

Abstract

本发明公开了一种基于分块相关的遮挡检测方法，选取目标区域，在第一方向上将所述目标区域依次划分为第一数量的第一目标分块，在第二方向上将所述目标区域依次划分为第二数量的第二目标分块；所述方法包括：计算预定位置的第一目标分块、第二目标分块与预定模板对应位置分块的归一化互相关值；根据所述归一化互相关值判断所述目标区域的遮挡度和遮挡方向；其中，相邻的两个第一目标分块具有第一重叠部分，相邻的两个第二目标分块具有第二重叠部分。本发明实施例通过对目标区域划分不同方向的分块，继而进行遮挡度和遮挡方向的判断，能够快速有效地判断出目标由进入遮挡到完全遮挡再到出遮挡的过程，并进行相应处理。

Description

一种基于分块相关的遮挡检测方法

技术领域

本发明属于目标跟踪领域，具体涉及一种基于分块相关的遮挡检测方法。

背景技术

在计算机视觉运动目标跟踪领域，被跟踪的目标在运动过程中可能会被其他物体部分遮挡或全部遮挡，如何解决遮挡问题，一直是视频跟踪领域的研究的热点之一。传统的目标跟踪方法如帧间差分法、背景差分法以及光流法在涉及目标遮挡时都得不到有效信息，导致跟踪失败，近几年流行的tracking-by-detection类方法，也很难检测出遮挡目标，大火的CF类方法由于其算法本质和框架限制，也不能解决遮挡问题。

例如，现有技术提供一种基于Mean Shift的多块跟踪算法，该算法的遮挡处理方法对每一个分块进行Mean Shift迭代，计算量大，实时性差，同时仅利用外部块信息做遮挡判断，不排除外围分块包含大量背景信息的情况，容易由于背景的改变误判为遮挡，不能精确判定目标的详细遮挡情况；该方法仅考虑了目标部分遮挡的情况，对于如何判断目标完全遮挡和再次出现后的准确定位没有做考虑，容易导致目标的丢失；现有技术还提供了一种基于时空上下文视觉跟踪算法(STC)的多块跟踪算法，针对遮挡问题，采用分块跟踪策略对目标框内多个跟踪点进行STC算法跟踪，首先在目标上均匀取多个跟踪点，使用STC算法对单个跟踪点进行跟踪，得到每个跟踪点在当前帧中的位置。当目标被局部遮挡时，跟踪点会出现位置异常，此时取大多数趋势相近的点作为可靠点，通过跟踪点对应的未被遮挡区域和有效背景区域，依然可以找到目标，跟踪效果良好，从而使算法具有较强的抗局部遮挡能力，然而，上述跟踪算法对目标进行均匀采点，用STC算法对多个跟踪点进行跟踪，耗时较长，且这些跟踪点不具有很强的特征性，很可能由于目标形变、旋转等造成跟踪点的异常，进而误判为遮挡，同时在目标完全遮挡后无法找到有效跟踪点，导致跟踪失败。

综上所述，现有方案均不能对遮挡情况进行有效判断，在目标遇到遮挡时容易导致目标丢失，造成跟踪失败，且计算过程复杂。

发明内容

为了解决现有技术中存在的上述问题，本发明提供了一种基于分块相关的遮挡检测方法，选取目标区域，在第一方向上将所述目标区域依次划分为第一数量的第一目标分块，在第二方向上将所述目标区域依次划分为第二数量的第二目标分块；

所述方法包括：

计算预定位置的第一目标分块、第二目标分块与预定模板对应位置分块的归一化互相关值；

根据所述归一化互相关值判断所述目标区域的遮挡度和遮挡方向；

其中，相邻的两个第一目标分块具有第一重叠部分，相邻的两个第二目标分块具有第二重叠部分。

在一个具体实施方式中，计算预定位置的第一目标分块与第二目标分块的归一化互相关值，包括：

计算当前位置分块连续若干帧的归一化互相关值；

判断每个所述归一化互相关值是否均小于第一预定阈值，若是，则判定当前位置分块发生遮挡，并根据所述当前位置分块判定发生遮挡的遮挡方向；若否，则判定为不遮挡。

在一个具体实施方式中，判断所述当前位置分块为边缘位置分块时，若判断该边缘位置分块发生遮挡，则依次计算该边缘位置遮挡方向上的目标分块是否发生遮挡。

在一个具体实施方式中，若判定当前位置分块发生遮挡，则将未发生遮挡的分块的归一化互相关值分别与第二阈值进行比较，若每个未发生遮挡的分块的归一化互相关值均大于所述第二阈值，则对所述预定模板对应位置的分块进行更新。

在一个具体实施方式中，判断所述当前位置分块为边缘位置分块时，若判断该边缘位置分块发生遮挡，则依次计算该边缘位置遮挡方向上的目标分块是否发生遮挡。

在一个具体实施方式中，计算所述目标区域的遮挡度，包括：

依次计算所述遮挡方向上的目标分块发生遮挡的数目，根据所述遮挡的数目和该遮挡方向上的目标分块的总数目计算所述目标区域的遮挡度，

其中，所述遮挡度fs∈[0,1]。

在一个具体实施方式中，若所述遮挡度为1，则判断目标区域被完全遮挡；

若判断所述遮挡度为0，则判断目标区域没有遮挡。

在一个具体实施方式中，计算当前位置分块连续若干帧的归一化互相关值，包括计算当前位置分块连续三帧的归一化互相关值。

与现有技术相比，本发明的有益效果：

本发明实施例通过对目标区域划分不同方向的分块，继而进行遮挡度和遮挡方向的判断，能够快速有效地判断出目标由进入遮挡到完全遮挡再到出遮挡的过程，并进行相应处理。

附图说明

图1为本发明实施例提供的一种基于分块相关的遮挡检测方法流程图；

图2a为本发明实施例提供的一种分块方式中左右划分示意图；

图2b为本发明实施例提供的一种分块方式中上下划分示意图；

图3为本发明实施例提供的一种分块开始进入遮挡示意图；

图4为本发明实施例提供的一种分块出遮挡示意图。

具体实施方式

下面结合具体实施例对本发明做进一步详细的描述，但本发明的实施方式不限于此。

实施例一

请参见图1，图1为本发明实施例提供的一种基于分块相关的遮挡检测方法流程，选取目标区域，在第一方向上将所述目标区域依次划分为第一数量的第一目标分块，在第二方向上将所述目标区域依次划分为第二数量的第二目标分块；

所述方法包括：

计算预定位置的第一目标分块、第二目标分块与预定模板对应位置分块的归一化互相关值；

根据所述归一化互相关值判断所述目标区域的遮挡度和遮挡方向，并最终得到目标的实时遮挡情况；

其中，相邻的两个第一目标分块具有第一重叠部分，相邻的两个第二目标分块具有第二重叠部分。

本实施例采用归一化互相关(Normalized Cross Correlation，简称NCC)算法，使用归一化互相关系数(即两幅图像各相应像素的灰度值乘积的平均值)来衡量两幅图像的相似程度，归一化互相关系数的值越大表示两幅图像越相似，反之，其值越小说明两幅图像的相似程度越低。计算归一化互相关系数的公式如下：

NCC算法计算方式简单，无需对图像进行分割和特征提取处理，而只在原始图像数据上进行运算，从而保留了图像的全部信息，能适应结构复杂的目标和背景，有较强的抗局部干扰能力。

本实施例中的目标区域即为待跟踪目标的轮廓区域，可以是方形区域也可以是其他形状区域。

首先，对目标区域而言，往往在目标区域框边缘部分包含了一部分背景信息，这对于边缘分块NCC的计算结果有很大的影响，容易造成错误的遮挡判断。为了提升判断精度，本实施例将目标框90％的中心区域作为目标区域的匹配区域，进行合理分块，有效避免了边缘处背景信息的干扰。

其次，在第一方向上将所述目标区域依次划分为第一数量的第一目标分块，在第二方向上将所述目标区域依次划分为第二数量的第二目标分块。

在进行分块时，由于分块太少会增加跟踪结果的偶然性，分块太多又会使每个分块所含区域有较多的重叠，在计算量增加的同时，算法的跟踪精度也得不到明显提升。因此当目标区域较大或较小时，应根据实际情况对分块数量进行加减。其中第一方向可以指图像的左右方向，第二方向可以指图像的上下方向，下面以90*90大小的目标为例进行说明，请参见图2，图2为本发明实施例提供的一种分块方式示意图，将目标从左向右分成5块，从上向下以同样的方式也分成5块，并保证相邻的两个第一目标分块具有第一重叠部分，相邻的两个第二目标分块具有第二重叠部分，块与块之间设置重叠部分来增强后续的遮挡判断的可信度，即图中的12/23/34/45所代表的区域为第一重叠部分，预定位置指的是10个分块中的任一个位置，由于遮挡都是从边缘位置向中间位置进行过渡，因此，首次计算时的预定位置指的是边缘位置，如果边缘位置被遮挡，则计算该方向上的中间位置分块的遮挡情况。

在一个具体实施方式中，计算预定位置的第一目标分块与第二目标分块的归一化互相关值，包括：

计算当前位置分块连续若干帧的归一化互相关值；

判断每个所述归一化互相关值是否均小于第一预定阈值，若是，则判定当前位置分块发生遮挡，并根据所述当前位置分块判定发生遮挡的遮挡方向；若否，则判定为不遮挡。

只进行一次判断可能会有检测误差，因此通过连续多帧进行判断，能够有效的消除误差，保证本实施判断结果的准确度。预定阈值表示的是每个分块被遮挡的严重程度，如果预定阈值设置很小，表示当分块遮挡严重时，才认为发生了遮挡，如果阈值设置为1，表示任何分块都被判定为遮挡，即，该值取得越大，对遮挡越敏感。因此，预定阈值的设置根据实际应用的需要预先进行设定。

若判定当前位置分块发生遮挡，则将未发生遮挡的分块的归一化互相关值分别与第二阈值进行比较，若每个未发生遮挡的分块的归一化互相关值均大于所述第二阈值，则对所述预定模板对应位置的分块进行更新。

在一个具体实施方式中，判断所述当前位置分块为边缘位置分块时，若判断该边缘位置分块发生遮挡，则依次计算该边缘位置遮挡方向上的目标分块是否发生遮挡。

在一个具体实施方式中，计算所述目标区域的遮挡度，包括：

依次计算所述遮挡方向上的目标分块发生遮挡的数目，根据所述遮挡的数目和该遮挡方向上的目标分块的总数目计算所述目标区域的遮挡度，

其中，所述遮挡度fs∈[0,1]。

在一个具体实施方式中，若所述遮挡度为1，则判断目标区域被完全遮挡；

若判断所述遮挡度为0，则判断目标区域没有遮挡。

例如遮挡方向上的目标分块共有5个，其中判断2个分块发生了遮挡，因此fs＝2/5。

在一个具体实施方式中，计算当前位置分块连续若干帧的归一化互相关值，包括计算当前位置分块连续三帧的归一化互相关值，从而有效提高了计算值的有效性。

本发明实施例通过对目标区域划分不同方向的分块，继而进行遮挡度和遮挡方向的判断，能够快速有效地判断出目标由进入遮挡到完全遮挡再到出遮挡的过程，并进行相应处理。

实施例二

请继续参见图2a、图2b，在实际跟踪场景中，遮挡一般是从目标的一侧开始进入遮挡，可大致分为左、右、上、下四个方向，因此结合边缘分块(1,5,6,10)的连续三帧信息，由对应NCC值的变化趋势可以快速判定目标是否发生遮挡以及遮挡的方向。

本方案首先对于连续三帧(t,t+1,t+2)预测的目标区域，采用上述方式进行合理分块，然后计算边缘分块(1,5,6,10)与给定模板的相关值来检测遮挡的发生；若连续三帧的NCC值r_1j,r_2j,r_3j(分别对应第t,t+1,t+2帧的第j个分块与模板第j个分块的相关值，j只取1,5,6,10)同时满足小于第一预定阈值thr1(在[0,1]范围内变化，thr1越大，对遮挡越敏感)，则判定从分块j的方向开始发生遮挡，进入下一步遮挡程度的判断；否则判定为未发生遮挡，进入正常跟踪模块。

上述检测方法可以快速检测到遮挡情况的发生，同时利用连续三帧的信息，保证了遮挡判断的有效性。

判断出从分块j的方向开始发生遮挡的基础上依次判断该方向其余分块的NCC值在连续三帧内的变化趋势，若r_1q、r_2q、r_3q(q表示j方向其余分块)同时小于预定阈值thr1，判定分块q发生遮挡，考虑到发生遮挡的分块理论上是连续的，为保证遮挡判断的准确性，本方案采用发生遮挡的连续分块的个数和同方向分块的总个数的比值fs来衡量遮挡的严重程度，fs在[0,1]范围内，值越大遮挡越严重；然后将当前帧未遮挡分块的NCC值与第二预定阈值thr2比较，其中大于thr2的分块以一定的系数比例更新到给定模板的相应分块中，进入下一帧的判断。其中，第二预定阈值大于第一预定阈值，如果当前帧未遮挡分块的NCC值均大于第二预定阈值thr2，则判断该分块可信度较高，可以作为模板的相应部分进行更新，在一种实施方式中，在进行更新时，可以认为新模板相应分块＝旧模板分块×α+当前帧更新分块×β，且保证α+β＝1，具体的α和β根据实际情况而定，例如可以是α＝0.9，β＝0.1。此时对将初始设定的预定模板的相应分块进行替换，采用更新的模板继续进行计算，以提高计算准确度。

对于下一帧，利用遮挡的连续性，仅需要在上一帧的基础上以同样的方式判断未发生遮挡的分块此时的遮挡情况即可，不需要对所有分块做计算，大大缩短了进入遮挡后后续帧的遮挡判断时间，加强了算法的实时性。

以从左侧开始遮挡为例，如图3所示，判断出从分块1的方向开始发生遮挡后，第t帧判定分块1,2发生遮挡，分块4,5的NCC值均大于thr2，则更新模板分块4,5；第t+1帧只需要对应判断分块3,4,5的遮挡情况即可。

当fs等于1的时候，表明目标已经被完全遮挡，此时，在当前帧目标位置附近进行搜索，等待目标再次出现，进入下一步出遮挡的判断。

实际场景中，遮挡的发生方向与消失方向往往是一样的，所以在目标逐步出遮挡过程中，不需要再判断方向。还是以左侧开始发生遮挡为例，对应出遮挡也应该从左侧开始。这样只需要判断分块1的连续三帧NCC值即可。

当r₁₁,r₂₁,r₃₁均大于阈值thr2时，表明分块1已经出遮挡，目标再次出现。

接着判断从左向右其余分块的NCC值在连续三帧的变化趋势，若r_1p、r_2p、r_3p(p表示其余分块)均大于阈值thr2，判定分块p已经出遮挡(同样出遮挡的分块也应该是连续的)，将出遮挡的连续分块更新到模板相应的分块中；将未出遮挡的分块在当前帧的NCC值与thr1比较，小于thr1则判定为仍处于遮挡状态(仍遮挡的分块也必须取连续的分块)，更新fs为

进入下一帧的判断。

同样的，对于下一帧，仅需要按照上一帧的方式判断其中未出遮挡的分块此时的遮挡情况即可。

请参见图4，判定分块1出遮挡后，若分块3,4,5的NCC值均小于thr1，则分块3,4,5仍处于遮挡状态，更新模板分块1,

下一帧只需要判断分块2,3,4,5的出遮挡情况,此处不再赘述。监测每一帧的fs，当fs等于0，即没有分块发生遮挡，则表明目标遮挡结束，恢复到正常跟踪模块即可。

当遮挡是从右向左发生时，同理可做目标由发生遮挡到完全遮挡再到出遮挡的判断。此外，除了将左右方向将目标分成五个分块外，本方案也从上下方向以同样的方法将目标分成了五个分块，同理来判断和处理遮挡是自上而下还是自下而上发生的情况，此处不再赘述。

本发明实施例通过对目标区域划分不同方向的分块，继而进行遮挡度和遮挡方向的判断，能够快速有效地判断出目标由进入遮挡到完全遮挡再到出遮挡的过程，并进行相应处理。

以上内容是结合具体的优选实施方式对本发明所作的进一步详细说明，不能认定本发明的具体实施只局限于这些说明。对于本发明所属技术领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干简单推演或替换，都应当视为属于本发明的保护范围。

Claims (6)

1.一种基于分块相关的遮挡检测方法，其特征在于，选取目标区域，在第一方向上将所述目标区域依次划分为第一数量的第一目标分块，在第二方向上将所述目标区域依次划分为第二数量的第二目标分块；

所述方法包括：

计算预定位置的第一目标分块、第二目标分块与预定模板对应位置分块的归一化互相关值；

根据所述归一化互相关值判断所述目标区域的遮挡度和遮挡方向；

其中，相邻的两个第一目标分块具有第一重叠部分，相邻的两个第二目标分块具有第二重叠部分；

所述计算预定位置的第一目标分块、第二目标分块与预定模板对应位置分块的归一化互相关值的步骤，包括：

计算当前位置分块连续若干帧的归一化互相关值；

判断每个所述归一化互相关值是否均小于第一预定阈值，若是，则判定当前位置分块发生遮挡，并根据所述当前位置分块判定发生遮挡的遮挡方向；若否，则判定为不遮挡；其中，首次计算时，所述预定位置为目标区域的边缘位置。

2.根据权利要求1所述的基于分块相关的遮挡检测方法，其特征在于，

判断所述当前位置分块为边缘位置分块时，若判断该边缘位置分块发生遮挡，则依次计算该边缘位置遮挡方向上的目标分块是否发生遮挡。

3.根据权利要求1所述的基于分块相关的遮挡检测方法，其特征在于，若判定当前位置分块发生遮挡，则将未发生遮挡的分块的归一化互相关值分别与第二阈值进行比较，若每个未发生遮挡的分块的归一化互相关值均大于所述第二阈值，则对所述预定模板对应位置的分块进行更新。

4.根据权利要求1所述的基于分块相关的遮挡检测方法，其特征在于，计算所述目标区域的遮挡度，包括：

依次计算所述遮挡方向上的目标分块发生遮挡的数目，根据所述遮挡的数目和该遮挡方向上的目标分块的总数目计算所述目标区域的遮挡度，

其中，所述遮挡度fs∈[0,1]。

5.根据权利要求4所述的基于分块相关的遮挡检测方法，其特征在于，

若所述遮挡度为1，则判断目标区域被完全遮挡；

若判断所述遮挡度为0，则判断目标区域没有遮挡。

6.根据权利要求1所述的基于分块相关的遮挡检测方法，其特征在于，计算当前位置分块连续若干帧的归一化互相关值，包括计算当前位置分块连续三帧的归一化互相关值。

Images