CN107452020B - 一种自适应模板匹配的抗遮挡跟踪方法 - Google Patents

Abstract

本发明公开了一种自适应模板匹配的抗遮挡跟踪方法，在出现严重、复杂的遮挡的情况下仍能稳定地跟踪目标，而且能够避免子模板过于敏感的问题。该方案将跟踪模板分割成若干个子模板，以子模板为组成单元，从跟踪模板内部划分出两个相互嵌套的内层子区域，称为内层1模板和内层2模板；跟踪首先从无遮挡跟踪状态开始，随着遮挡的加深依次经历内层1无遮挡跟踪状态A、内层1有遮挡预测状态；当遮挡逐渐解除，从内层1有遮挡预测状态退出后依次进入内层2无遮挡跟踪状态、内层1无遮挡跟踪状态B，最后回到无遮挡跟踪状态。在每种状态下，均根据三个模板被遮挡情况进行状态跳转判断，以及跳转方向是前进还是后退；根据所处状态进行相应模板的更新。

Description

一种自适应模板匹配的抗遮挡跟踪方法

技术领域

本发明涉及目标自动跟踪技术领域，具体涉及一种自适应模板匹配的抗遮挡跟踪方法。

背景技术

在目标跟踪过程中，会遇到各种各样的情况，如光照改变、背景扰动、遮挡、目标姿态变化等，其中如何有效地处理遮挡、特别是严重的遮挡，一直是目标跟踪问题中的一个难点。遮挡的发生就是在原来被跟踪的目标图像区域内，在某一个方向上出现连续稳定的、有一定尺寸的新的灰度区域，使原来被跟踪的目标图像区域面积缩小，这个过程一般是渐进的。遮挡的发生会影响跟踪算法继续稳定地跟踪，可能导致跟踪不准确甚至丢失目标。研究解决在运动目标跟踪过程中的遮挡问题具有重要的理论和实际意义。

当跟踪的目标中一部分被遮挡后，从图像中无法获得目标的全部信息，这就对定位跟踪算法提出了两点要求：首先，算法本身必须具备良好的鲁棒性，能够抑制图像信息损失带来的影响，继续稳定地跟踪目标；其次，算法必须对遮挡提出某种处理策略，因为遮挡情况可能是多种多样的，而算法本身的鲁棒性是有限的，如果算法中没有包括专门的遮挡处理策略，那么总会在某些情况下无法得到满意的结果。

在现有的跟踪算法中，有些算法对遮挡进行了特别的处理。不过大多数算法要么不考虑遮挡，要么用部分遮挡下的结果来证明算法本身的鲁棒性。算法的鲁棒性当然也可以看作是某种层次上的遮挡处理，但是仅有这个层次的处理还是不够的。当遮挡不是很严重的时候，某些算法确实能够得到较好的结果，但是一个跟踪算法要达到实用性，必须面对真实世界中各种各样复杂情况的考验。就遮挡而言，可能出现的情况就千变万化，如目标被背景遮挡、目标与其他运动物体之间的相对运动导致遮挡等；遮挡的程度也不一而足。所以除了提高算法本身的鲁棒性，设计专门的遮挡处理策略也必不可少。唯有如此，才有可能在出现严重、复杂的遮挡的情况下还能稳定地跟踪目标。

现有的抗遮挡的目标跟踪步骤通常如下：

参见图1，当遮挡发生时，算法需要能够检测到遮挡，同时停止模板更新、利用算法本身的鲁棒性继续跟踪目标；随着遮挡程度的加深，定位算法本身已不再能够跟住目标或者目标已经被全部遮挡，需要依据预测的目标运动轨迹，推测目标将要出现的位置以及再次出现时的形态，并在该区域周围适当扩大范围搜索，等待目标出现；当目标重新出现时，算法需要尽快检测到，同时调整目标的运动参数及模板形态，转入正常跟踪步骤。

目前各种类型的跟踪算法层出不穷，然而，各类算法各有优劣，经典的相关跟踪算法以其独特的优势应用较为广泛。

经典的互相关跟踪原理如下：

设模板由M(u,v)表示，当前帧图像中要搜索的区域由S(x,y)表示，见图2。模板与图像中对应区域的相关系数由下式决定：

其中，0≤x<X-U+1，0≤y<Y-V+1。U，V分别为模板的长、宽，X和Y分别为搜索区域的长、宽。

模板在搜索区域内逐像素点求相关系数，得到相关系数最大值的位置就是目标在搜索区内的位置。

在运动目标跟踪过程中，目标形态不可避免的发生着变化，如果不进行模板更新，势必不能适应目标的变化形式。如果序列图像信噪比较高，可以采用当前最佳匹配位置作为新的模板图像。但是该方法存在的问题是，如果有突发的噪声干扰，或是匹配存在一定的误差，那么很容易将噪声点引入新的模板图像和积累匹配误差，这对于持续稳定的跟踪造成隐患。一般采用将初始模板与当前最佳匹配位置依相似性度量值按一定比例加权得到新的模板图像。该方法可以用下面的方程表示：

0M(x,y)＝α·M(x,y)+(1-α)·S(x,y)

其中，0M(x,y)表示初始模板，S(x,y)表示当前最佳匹配位置，M(x,y)表示更新后的模板，α表示依相似性度量值确定的加权系数。

相关跟踪的优点在于：

1)算法原理相对简单，易于实现；

2)算法不需要先验知识，对各种类型的目标跟踪均适用；

3)算法跟踪精度较高，一旦跟踪成功后，跟踪点非常稳健，几乎没有跳动。

但是经典的相关跟踪有一定的弱点，表现在以下几个方面：

1)对局部的扰动不敏感，容易造成误差累积；

2)算法的计算量偏大，需要进行改进。

由于单模板的相关系数考虑了模板和图像对应区域中每一个像素点的值，所以当一部分像素发生较大变化时，不易直接从相关系数做出相应的判断。虽然对映射函数的改进，一定程度上解决了这个问题，但是该方法还是不能具体判断图像中发生的变化。为了更好地解决这个问题，有人提出采用将模板划分为若干个区(子模板)的方法。

假设模板是N×N维的，而实时图是M×M维的，M>N。首先，把模板图分为n个维数为

的子模板，然后分别将每一个子模板与实时图进行相关比较。由于子模板的像素少，所以当部分像素发生变化时，主要影响的是相应的子模板，而对其它的子模板影响较小，用这些子模板匹配结果建立综合的匹配结果，据此对跟踪中出现的问题做出判断。

但是该方法仍然存在一定的缺陷，就是子模板的敏感度太高，很小的扰动量都会对相关系数造成较大的影响，从而影响对模板是否发生遮挡的正确判断，也不利于模板的正确更新。因此，该方法在实际使用中很容易造成跟踪失败。

但是，对子模板求取相关系数，然后进行加权求取目标位置时，在目标无遮挡的情况下具备较好的效果，而且计算量相较于对整幅图像进行模板匹配要小。

因此，本发明充分利用子模板匹配的敏感性以及无遮挡时多子模板匹配的精确性和快速性，提出了新的抗遮挡的目标跟踪算法。

发明内容

有鉴于此，本发明提供了一种自适应模板匹配的抗遮挡跟踪方法，在出现严重、复杂的遮挡的情况下仍能稳定地跟踪目标，而且能够避免子模板过于敏感的问题。

为解决上述技术问题，本发明具体方法如下：

一种自适应模板匹配的抗遮挡跟踪方法，包括如下步骤：

将跟踪模板分割成若干个n×n的子模板，n为正整数；以子模板为组成单元，从跟踪模板内部划分出两个相互嵌套的内层子区域，称为内层1模板和内层2模板；当位于外层的模板更新时，其内层模板随之更新；

跟踪首先从无遮挡跟踪状态开始，随着遮挡的加深依次经历内层1无遮挡跟踪状态A、内层1有遮挡预测状态；当遮挡逐渐解除，从内层1有遮挡预测状态退出后依次进入内层2无遮挡跟踪状态、内层1无遮挡跟踪状态B，最后回到无遮挡跟踪状态；

在每种状态下，均根据三个模板被遮挡情况进行状态跳转判断，以及跳转方向是前进还是后退；根据所处状态进行模板更新，其中：

在无遮挡跟踪状态下以及内层1无遮挡跟踪状态B下，当需要更新跟踪模板时，更新跟踪模板；

在内层1无遮挡跟踪状态A下以及内层2无遮挡跟踪状态下，当需要更新跟踪模板时，更新内层1模板；

在内层1有遮挡预测状态下，停止更新模板，进行轨迹预测。

其中，各状态之间的跳转条件为：

在无遮挡跟踪状态下，当跟踪模板与内层1模板匹配的目标位置相同，则认为没有发生遮挡，不进行状态跳转；当跟踪模板与内层1模板匹配的目标位置不同，则跳转到内层1无遮挡跟踪状态A；

在内层1无遮挡跟踪状态A下，如果跟踪模板与内层1模板匹配的目标位置不同，且内层1模板与内层2模板匹配的目标位置也不同，则跳转到内层1有遮挡预测状态；如果连续多帧跟踪模板与内层1模板匹配的目标位置相同，则跳转回无遮挡跟踪状态；

在内层1有遮挡预测状态下，如果连续多帧内层2模板的匹配系数超过阈值，则跳转到内层2无遮挡跟踪状态；

在内层2无遮挡跟踪状态下，如果连续多帧内层1模板与内层2模板匹配的目标位置相同，则跳转到内层1无遮挡跟踪状态B；如果内层1模板与内层2模板匹配的目标位置不同，则跳转回内层1有遮挡预测状态；

在内层1无遮挡跟踪状态B下，如果连续多帧跟踪模板与内层1模板匹配的目标位置相同，且内层1模板与内层2模板匹配的目标位置也相同，则跳转到无遮挡跟踪状态；如果跟踪模板与内层1模板匹配的目标位置不同，则跳转回内层2无遮挡跟踪状态。

优选地，判断两个模板匹配的目标位置是否相同为：计算两个模板匹配的目标位置的X分量之差的绝对值以及Y分量之差的绝对值，并两个绝对值之和，若和值小于设定数值m，则认为两个模板匹配的目标位置相同，否则，认为不同。

优选地，m＝3。

优选地，各模板中目标位置的获取方式为：

计算每个子模板与目标图像的互相关系数，分别在跟踪模板、内层1模板、内层2模板区域内计算各子模板互相关系数平均值，得到外层目标的模板匹配系数、内层1模板匹配系数和内层2模板匹配系数；

搜索匹配后，以匹配系数取得最大时的点位作为目标位置。

优选地，需要更换跟踪模板的判断方式为：判断目标位置的模板匹配系数是否小于设定阈值，如果是，则需要更换，否则不需要更换。

优选地，各跟踪状态下，跟踪目标的位置确定方式为：

当处于无遮挡跟踪状态时，以三个模板匹配目标位置的平均值作为跟踪目标位置；

当处于内层1无遮挡跟踪状态A时，以内层1模板和内层2模板匹配目标位置的平均值作为跟踪目标位置；

当处于内层1有遮挡预测状态时，以内层2模板匹配目标位置作为轨迹预测的初始值；

当处于内层2无遮挡跟踪状态时，以内层2模板匹配的目标位置作为跟踪目标位置；

当处于内层1无遮挡跟踪状态B时，以内层1模板和内层2模板匹配的目标位置的平均值作为跟踪目标位置。

有益效果：

(1)本发明采用三层嵌套的模板，在不同情况下运用不同大小的目标进行跟踪，避免了单一子模板过于敏感的问题。

(2)本发明利用相关系数进行目标位置的确定，计算量相较于对整幅图像进行模板匹配要小，具有无遮挡时多子模板匹配的精确性和快速性的效果。

附图说明

图1为抗遮挡的常规目标跟踪步骤的示意图。

图2为经典的互相关跟踪原理所用模板的示意图。

图3为本发明所用的三层嵌套模板的示意图。

图4为本发明状态转换图。

图5为本发明抗遮挡跟踪效果的示意图。

具体实施方式

本发明提出了一种自适应模板匹配的抗遮挡跟踪方法，其基本思想是，采用相互嵌套的三层跟踪模板，根据三个跟踪模板被遮挡的情况进行相应模板的更新；遮挡越严重，则更新越大的跟踪模板，如果遮挡非常严重则停止更新跟踪模板，开启轨迹预测。并在轨迹预测过程中，不断检测和判别有无遮挡，并在认为遮挡正在消除时，及时恢复模板的更新，从而保证跟踪的正常进行。

本发明方法的实现依赖于相互嵌套的三层跟踪模板的构建，具体构建方式为：将跟踪模板进行分割，分割成若干个n×n(n≥5)的子模板，即图3中的小方格，子模板的数量为N_w×N_h。然后以子模板为单元，从跟踪模板中划分出两个相互嵌套的内层子区域，称为内层1模板和内层2模板。图3中最外层的框表示跟踪模板，中间大小的框表示内层1模板，最中间最小的框表示内层2模板。

需要说明的是，本发明在说明更新跟踪模板时，内层1模板和内层2模板一并被更新；当更新内层1模板时，内层2模板一并被更新。

本发明之所以划分出两个内层模板，是因为在目标发生遮挡的情况下，基本上都是从模板边缘到模板中心渐进式遮挡。在遮挡发生的初期，外层发生遮挡时，内层其实并没有遮挡。

那么如何判断外层发生遮挡了呢？当对目标进行跟踪时，如果目标没有遮挡，则用跟踪模板、内层1模板、内层2模板作为3个不同的目标模板进行目标搜索和匹配，最后所得出的目标位置应该是一致的。鉴于子模板的敏感性，当目标存在遮挡时，首先是跟踪模板和内层1模板匹配后的目标位置会有偏差，如果遮挡严重，则内层1模板和内层2模板匹配后的目标位置也会发生偏差。这样，当2个不同大小的模板匹配位置不一致时，就有可能发生遮挡，根据该方法可以有效的判别目标是否发生遮挡。同时，根据相关跟踪的稳定性和可靠性，又可以对无遮挡的目标进行稳定跟踪。

为了实现整个抗遮挡跟踪，如图4所示，本发明设定了5个工作状态，分别为无遮挡跟踪状态、内层1无遮挡跟踪状态A、内层1有遮挡预测状态、内层2无遮挡跟踪状态和内层1无遮挡跟踪状态B。进入跟踪工作后，根据三个模板被遮挡情况进入相应状态；跟踪首先从无遮挡跟踪状态开始，随着遮挡的加深依次经历内层1无遮挡跟踪状态A、内层1有遮挡预测状态；当遮挡逐渐解除，从内层1有遮挡预测状态退出后依次进入内层2无遮挡跟踪状态、内层1无遮挡跟踪状态B，最后回到无遮挡跟踪状态；在每种状态下，均根据三个模板被遮挡情况进行状态跳转判断，以及跳转方向是前进还是后退；根据所处状态进行相应模板的更新；其中：

(1)在无遮挡跟踪状态下，当需要更新跟踪模板时，更新跟踪模板；

(2)在内层1无遮挡跟踪状态A下，当需要更新跟踪模板时，更新内层1模板；

(3)在内层1有遮挡预测状态下，停止更新模板，进行轨迹预测。

(4)在内层2无遮挡跟踪状态下，当需要更新跟踪模板时，更新内层1模板；

(5)在内层1无遮挡跟踪状态B下，当需要更新跟踪模板时，更新跟踪模板。

上述状态(1)(2)(3)是遮挡逐步深入状态，(4)(5)(1)是遮挡逐步解除状态。除状态(3)、(1)外，其它每个状态都要判断是否需要进入下一个状态，或者是回到前一个状态，亦或是保持当前状态。状态(5)到状态(1)是单向的，状态(2)到状态(3)也是单向的。

除状态(3)外，每一种状态下都需要实时判断互相关系数(匹配系数)，并在条件具备的情况下更新模板。

状态(3)也需要实时判断互相关系数，只是在具备一定条件时转移状态，而不是更新模板。

除状态(3)到状态(4)，即遮挡解除开始时的转移是依靠判断互相关系数(匹配系数)外，其它状态转移均是通过各个层级的定位差(diff1、diff2)来判断。

diff1＝|X1-X2|+|Y1-Y2|

diff2＝|X2-X3|+|Y2-Y3|

其中，(X1、Y1、Z1)为最大的跟踪模板匹配的目标位置，(X2、Y2、Z2)为内层1模板匹配的目标位置，(X3、Y3、Z3)为内层2模板匹配的目标位置。

各模板匹配系数以及匹配目标位置的方式为：

假定跟踪模板一共由K1×P1个子模板组成，内层1模板由K2×P2个子模板组成，内层2模板由K3×P3个子模板组成。其中，K1>K2>K3，P1>P2>P3。在进行图像的搜索匹配时，先求取K1×P1个子模板与目标图像对应子模板区域的互相关系数ε(i,j)(i＝1…K1，j＝1…P1)，然后分别计算外层跟踪模板、内层1模板、内层2模板的相关系数平均值ε_外层、ε_内层1、ε_内层2：

其中，S1和S2分别表示两个内层模板的区域。

搜索匹配后，以ε_外层、ε_内层1、ε_内层2取得最大时的点位作为目标点位，分别为(X1，Y1)、(X2，Y2)、(X3、Y3)，此时的匹配系数为目标位置的模板匹配系数，用作进行是否更新模板的判断：当模板的匹配系数小于设定阈值时，说明当前模板已经需要进行更新，以获得理想的跟踪效果。图4以及下文用于更新模板判断的ε_外层、ε_内层1、ε_内层2均指的是目标位置的模板匹配系数。

通过以下步骤来进行遮挡的判别和模板的更新。

步骤一、跟踪首先进入状态(1)的无遮挡跟踪状态。

此状态下，需要实时判断是否存在遮挡，同时还需要实时监测模板的匹配系数，判断是否需要更新模板，包括如下几种情况：

1.1 当diff1<3，即跟踪模板与内层1模板匹配的目标位置相同，则认为没有发生遮挡，不进行状态跳转，此时目标位置取三个模板的目标位置均值，即

X＝(X1+X2+X3)/3，Y＝(Y1+Y2+Y3)

在跟踪过程中，若发现相关系数ε_外层小于阈值Th，需要更换模板，则整个外层跟踪模板全部更新，此时内层1模板和内层2模板也随之更新。

1.2 当diff1≥3时，即跟踪模板与内层1模板匹配的目标位置不同，则认为内层1模板以外发生遮挡，内层1模板以内部分无遮挡的状态，则跳转到状态(2)的内层1无遮挡跟踪状态A，进入步骤二。

步骤二、内层1无遮挡跟踪状态A的处理。

此状态下需要实时判断外层跟踪模板和内层1目标是否还存在遮挡，包括如下几种情况：

2.1 当diff1≥3且diff2≥3，即跟踪模板与内层1模板匹配的目标位置不同，且内层1模板与内层2模板匹配的目标位置也不同，则跳转到状态(3)的内层1有遮挡预测状态，进入步骤三。

2.2 当连续5帧diff1<3，即连续多帧跟踪模板与内层1模板匹配的目标位置相同，则认为遮挡解除，跳转回状态(1)的无遮挡跟踪状态，返回步骤一。

2.3 如果一直维持在diff1≥3且diff2<3的状态，则不进行状态跳转，此时目标位置取内层1模板与内层2模板匹配的目标位置均值，即

X＝(X2+X3)/2，Y＝(Y2+Y3)/2

在这种情况下，也需要实时监测模板匹配系数，判断是否需要更换模板。若发现ε_内1小于阈值Th，需要更换模板，则只能更新内层1模板，此时内层2模板也随之更新。

步骤三、内层1有遮挡预测状态的处理。

状态(3)表示遮挡已经侵入了内层1，遮挡比较严重，此状态下需要立即停止更新模板，并进行轨迹预测，预测目标点位，预测初始值为X＝X3,Y＝Y3。轨迹预测的方式较多，通常有最小二乘法和卡尔曼滤波法等，这里不作介绍。

同时，在该状态下还需实时监测内层2模板的匹配系数，若连续5帧ε_内层2≥Th(Th通常取为0.85以上)，则表明内层2模板不受遮挡，内层2的遮挡“警报”解除，停止轨迹预测，转入下一个状态(4)的内层2无遮挡跟踪状态，进入步骤四。如果一直不满足ε_内层2≥Th，则继续轨迹预测。

步骤四、内层2无遮挡跟踪状态的处理。

状态(4)表明内层2模板已经不受遮挡，此时需要实时判断内层2和内层1之间是否存在遮挡，有如下几种情况：

4.1 当diff2≥3，即内层1模板与内层2模板匹配的目标位置不同，判定存在遮挡，则回到上一状态(3)，返回步骤三，停止更新模板，开启轨迹预测。

4.2 当连续5帧diff2<3，即连续多帧内层1模板与内层2模板匹配的目标位置相同，判定不存在遮挡，则转入下一状态(5)的内层1无遮挡跟踪状态B，进入步骤五。

4.3 如果没有满足4.1或4.2，则维持在本状态，此时目标位置取内层2模板匹配的目标位置，即

X＝X3，Y＝Y3

同时需要实时判断内层1和内层2的模板匹配系数，任一个小于阈值Th均需要更换内层1模板，此时内层2模板也随之更新。

步骤五、内层1无遮挡跟踪状态B的处理。

状态(5)表明内层1已经不受遮挡，此时需要实时判断内层1和外层之间是否存在遮挡，有如下几种情况：

5.1 若diff1≥3，即跟踪模板与内层1模板匹配的目标位置不同，判定存在遮挡，则回到上一状态(4)，返回步骤四。

5.2 若连续5帧diff1<3且diff2<3，即连续多帧跟踪模板与内层1模板匹配的目标位置相同，判定外层和内层1以及内层1和内层2均不存在遮挡，则转入无遮挡跟踪状态，返回步骤一。

5.3 如果没有满足5.1或5.2，则维持在本状态，此时目标位置取内层1模板和内层2模板匹配的目标位置的均值，即

X＝(X2+X3)/3，Y＝(Y2+Y3)

同时，还需实时判断外层、内层1、内层2的模板匹配系数，任一个小于阈值Th均需要更换模板，则整个外层跟踪模板全部更新，此时内层1模板和内层2模板也随之更新。

至此，整个抗遮挡跟踪过程完成。

通过对该方案的实际应用，取得了较好的效果，效果图如图5所示。目标未被遮挡时采用最大的跟踪模板，当目标被遮挡且比较严重时，采用最小的跟踪模板，当目标逐渐解除遮挡时，采用中等大小的跟踪模板，当目标离开遮挡区域时，恢复为最大的跟踪目标模板。

综上所述，以上仅为本发明的较佳实施例而已，并非用于限定本发明的保护范围。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (2)

1.一种自适应模板匹配的抗遮挡跟踪方法，其特征在于，包括如下步骤：

将跟踪模板分割成若干个n×n的子模板，n为正整数；以子模板为组成单元，从跟踪模板内部划分出两个相互嵌套的内层子区域，称为内层1模板和内层2模板；当位于外层的模板更新时，其内层模板随之更新；

跟踪首先从无遮挡跟踪状态开始，随着遮挡的加深依次经历内层1无遮挡跟踪状态A、内层1有遮挡预测状态；当遮挡逐渐解除，从内层1有遮挡预测状态退出后依次进入内层2无遮挡跟踪状态、内层1无遮挡跟踪状态B，最后回到无遮挡跟踪状态；

假定跟踪模板一共由K1×P1个子模板组成，内层1模板由K2×P2个子模板组成，内层2模板由K3×P3个子模板组成；其中，K1>K2>K3，P1>P2>P3；在进行图像的搜索匹配时，先求取K1×P1个子模板与目标图像对应子模板区域的互相关系数ε(i,j)，i＝1…K1，j＝1…P1，然后分别计算外层跟踪模板、内层1模板、内层2模板的相关系数平均值ε_外层、ε_内层1、ε_内层2：

其中，S1和S2分别表示两个内层模板的区域；

搜索匹配后，以ε_外层、ε_内层1、ε_内层2取得最大时的点位作为目标点位，分别为(X1，Y1)、(X2，Y2)、(X3、Y3)，此时的匹配系数为目标位置的模板匹配系数，用作进行是否更新模板的判断：当模板的匹配系数小于设定阈值时，说明当前模板已经需要进行更新；

计算定位差：

diff1＝|X1-X2|+|Y1-Y2|

diff2＝|X2-X3|+|Y2-Y3|

各状态的跳转和处理为：

(1)处于无遮挡跟踪状态时

跟踪首先进入无遮挡跟踪状态，此状态下，需要实时判断是否存在遮挡，同时还需要实时监测模板的匹配系数，判断是否需要更新模板，包括如下几种情况：

1.1当diff1<m，m为设定数值，即跟踪模板与内层1模板匹配的目标位置相同，则认为没有发生遮挡，不进行状态跳转，此时目标位置取三个模板的目标位置均值，即

X＝(X1+X2+X3)/3，Y＝(Y1+Y2+Y3)

在跟踪过程中，若发现相关系数ε_外层小于阈值Th，需要更换模板，则整个外层跟踪模板全部更新，此时内层1模板和内层2模板也随之更新；

1.2当diff1≥m时，即跟踪模板与内层1模板匹配的目标位置不同，则认为内层1模板以外发生遮挡，内层1模板以内部分无遮挡的状态，则跳转到内层1无遮挡跟踪状态A；

(2)内层1无遮挡跟踪状态A的处理：

此状态下需要实时判断外层跟踪模板和内层1目标是否还存在遮挡，包括如下几种情况：

2.1当diff1≥m且diff2≥m，即跟踪模板与内层1模板匹配的目标位置不同，且内层1模板与内层2模板匹配的目标位置也不同，则跳转到内层1有遮挡预测状态；

2.2当连续多帧diff1<m，即连续多帧跟踪模板与内层1模板匹配的目标位置相同，则认为遮挡解除，跳转回无遮挡跟踪状态；

2.3如果一直维持在diff1≥m且diff2<m的状态，则不进行状态跳转，此时目标位置取内层1模板与内层2模板匹配的目标位置均值，即

X＝(X2+X3)/2，Y＝(Y2+Y3)/2

在这种情况下，也需要实时监测模板匹配系数，判断是否需要更换模板；若发现ε_内1小于阈值Th，需要更换模板，则只更新内层1模板，此时内层2模板也随之更新；

(3)内层1有遮挡预测状态的处理：

内层1有遮挡预测状态表示遮挡已经侵入了内层1，遮挡比较严重，此状态下需要立即停止更新模板，并进行轨迹预测，预测目标点位，预测初始值为X＝X3,Y＝Y3；

同时，在该状态下还需实时监测内层2模板的匹配系数，若连续多帧ε_内层2≥Th，则表明内层2模板不受遮挡，停止轨迹预测，转入内层2无遮挡跟踪状态；如果一直不满足ε_内层2≥Th，则继续轨迹预测；

(4)内层2无遮挡跟踪状态的处理：

内层2无遮挡跟踪状态表明内层2模板已经不受遮挡，此时需要实时判断内层2和内层1之间是否存在遮挡，有如下几种情况：

4.1当diff2≥m，即内层1模板与内层2模板匹配的目标位置不同，判定存在遮挡，则回到内层1有遮挡预测状态；

4.2当连续多帧diff2<m，即连续多帧内层1模板与内层2模板匹配的目标位置相同，判定不存在遮挡，则转入内层1无遮挡跟踪状态B；

4.3如果没有满足4.1或4.2，则维持在本状态，此时目标位置取内层2模板匹配的目标位置，即

X＝X3，Y＝Y3

同时需要实时判断内层1和内层2的模板匹配系数，任一个小于阈值Th均需要更换内层1模板，此时内层2模板也随之更新；

(5)内层1无遮挡跟踪状态B的处理：

内层1无遮挡跟踪状态B表明内层1已经不受遮挡，此时需要实时判断内层1和外层之间是否存在遮挡，有如下几种情况：

5.1若diff1≥m，即跟踪模板与内层1模板匹配的目标位置不同，判定存在遮挡，则回到内层2无遮挡跟踪状态，返回步骤四；

5.2若连续多帧diff1<m且diff2<m，即连续多帧跟踪模板与内层1模板匹配的目标位置相同，判定外层和内层1以及内层1和内层2均不存在遮挡，则转入无遮挡跟踪状态；

5.3如果没有满足5.1或5.2，则维持在本状态，此时目标位置取内层1模板和内层2模板匹配的目标位置的均值，即

X＝(X2+X3)/3，Y＝(Y2+Y3)

同时，还需实时判断外层、内层1、内层2的模板匹配系数，任一个小于阈值Th均需要更换模板，则整个外层跟踪模板全部更新，此时内层1模板和内层2模板也随之更新。

2.如权利要求1所述的自适应模板匹配的抗遮挡跟踪方法，其特征在于，m＝3。

Images