CN105374049A - 一种基于稀疏光流法的多角点跟踪方法及装置 - Google Patents

Abstract

本发明公开了一种基于稀疏光流法的多角点跟踪方法及装置，该方法在待跟踪视频图像的当前跟踪窗口中基于稀疏光流法计算待跟踪K个角点在待跟踪视频图像中的偏移信息和位置，判断待跟踪视频图像中的K个角点是否可信，如果全部角点不可信，则以历史偏移信息计算当前目标位置，进行角点更新，否则利用可信角点计算当前目标位置并更新待跟踪视频图像中不可信角点。本发明同时公开的实现上述方法的装置包括多角点跟踪模块、目标位置计算模块和角点更新模块。本发明的方法及装置在同一个跟踪窗口内进行角点的跟踪，性能开销增加有限，满足了目标跟踪的实时性要求，同时提高了目标跟踪的准确率和鲁棒性。

Description

一种基于稀疏光流法的多角点跟踪方法及装置

技术领域

本发明属于图像处理技术领域，尤其涉及一种基于稀疏光流法的多角点跟踪方法及装置。

背景技术

目标跟踪是一门融合图像处理，模式识别，概率论等众多学科的复杂课题，在国防建设，航空领域，医药行业，智能交通等领域都得到了广泛的应用。

在当前的目标跟踪算法中，依照目标定位的方法首先可以将跟踪方法分为概率跟踪方法和确定性跟踪算法。概率跟踪算法采用的是贝叶斯滤波理论解决状态估计问题，通过对目标参数的预测和修正过程采用一种递推方式实现时变状态的估计，表征目标的状态量通常由坐标，速度等构成，状态量通过状态转移模型向前推进实现状态预测；除去利用概率论知识的跟踪方式，剩下的目标跟踪方式被认为是确定性跟踪方式，依照目标建模所用的视觉特征不同，确定性目标跟踪算法又可以分为基于颜色特征的MeanShift跟踪算法，基于光流特征的光流跟踪算法以及基于特征描述子的目标跟踪算法等等类型。

智能交通管理系统中的电子警察在进行车辆跟踪时，目标背景往往是位于十字路口，画面场景往往比较复杂，对算法在复杂场景下的跟踪效果有一定要求，同时由于图像在户外取景，需要考虑光照变化和天气变化等各种不同的场景变化，要求跟踪算法有较强的鲁棒性；同时电子警察要求实时判罚，所以对于算法的性能开销也有一定的要求。

对于电子警察的应用，现有的Kalman滤波法是一种基于贝叶斯滤波理论的跟踪算法，Kalman滤波模型建立在线性高斯模型基础上，只能对平稳运动目标进行有效预测。若应用在电子警察的十字路口场景中，跟踪车辆会出现不规则的启停和加减速状态，Kalman滤波不能得到一个有效的跟踪准确率。同时由于Kalman滤波包含预测和修正两个过程，在利用当前状态模型完成轨迹预测后，Kalman滤波需要通过修正流程更新当前状态模型，而更新流程需要一组目标位置的测量值作为输入，在电子警察的应用场景中，很难通过其它手段得到这样一组测量值，以致算法很难整体实现。

而Lucas-Kanade稀疏光流跟踪算法具有较强的抗干扰性，适合在十字路口这种场景复杂的环境中实现跟踪算法，但是Lucas-Kanade算法仍然存在一定的不足之处，较大的运动或者噪声的干扰可能导致跟踪点移出跟踪窗口，虽然采用金字塔算法后，较大运动导致的算法失败得到改善，由于噪声或者目标形变的影响，但仍存在一定算法失败的概率。

发明内容

本发明的目的是提供一种基于稀疏光流法的多角点跟踪方法及装置，适用于复杂场景目标跟踪，克服了现有技术在复杂场景跟踪效果差，无法应对目标的不规则加减速、跟踪鲁棒性差，或者不能应用于实时系统的问题。

为了实现上述目的，本发明技术方案如下：

一种基于稀疏光流法的多角点跟踪方法，用于对待处理视频图像序列进行目标跟踪，该方法包括：

结合参考视频图像中K个角点的邻域窗口所有像素点的像素值，水平方向导数值以及垂直方向导数值，在当前待跟踪视频图像的当前跟踪窗口中基于稀疏光流法得到所述K个角点在待跟踪视频图像中的偏移信息和当前位置；

判断所述K个角点的偏移信息是否可信，如果全部角点的偏移信息都不可信，则以历史偏移信息计算当前目标位置，否则，利用可信角点的偏移信息计算当前目标位置；

更新待跟踪视频图像中需要更新的角点，保存待跟踪视频图像中更新后K个角点的邻域窗口中所有像素点的像素值，水平方向导数值以及垂直方向导数值，将当前待跟踪视频图像作为参考视频图像，转入下一个待跟踪视频图像进行目标跟踪。

其中，所述当前待跟踪视频图像的当前跟踪窗口通过如下步骤获得：

如果当前待跟踪视频图像是第一帧视频图像，则获取目标位置，基于目标位置作矩形框作为当前跟踪窗口；如果当前待跟踪视频图像不是第一帧视频图像，则当前跟踪窗口与参考视频图像的跟踪窗口大小一致，当前跟踪窗口的中心位置通过参考视频图像计算获得的目标位置得到，如果没有参考视频图像计算获得的目标位置，则采用参考视频图像的跟踪窗口位置作为当前跟踪窗口位置；

所述K个角点通过如下方法获得：

如果当前待跟踪视频图像是第一帧视频图像，则在当前跟踪窗口内以目标位置为中心获得角点搜索窗口，在角点搜索窗口内使用Harris方法计算角点搜索窗口内每个像素点的最小特征值，并按照最小特征值排列，从大到小选取K个像素点作为待跟踪的角点；如果当前待跟踪视频图像不是第一帧视频图像，则以参考视频图像中的K个角点为待跟踪的角点。

本技术方案所述判断所述K个角点的偏移信息是否可信，包括步骤：

根据如下公式为K个角点设置偏移置信度T：

T＝MinEig/PixelDiff

MinEig＝A₂₂+A₁₁-sqrt((A₁₁-A₂₂)×(A₁₁-A₂₂)+4×A₁₂×A₁₂)

PixelDiff＝ΣΣabs(I_cur-I_pre)

$\begin{array}{cc}{A}_{11}=\mathrm{\Σ\Σ}{I}_x^2& A_{22}=\mathrm{\Σ\Σ}{I}_y^2\end{array}$ A₁₂＝ΣΣI_x·I_y

其中MinEig表示该角点的最小特征值，PixelDiff表示待跟踪视频图像与前一帧视频图像角点邻域窗口内像素点像素值差值的和，I_cur为待跟踪视频图像中角点邻域窗口内像素点的像素值，I_pre为前一帧视频图像内角点邻域窗内像素点的像素值，I_x表示待跟踪视频图像角点的邻域窗口中像素值在X方向的导数，I_y表示待跟踪视频图像角点的邻域窗口中像素值在Y方向的导数；

判断角点的偏移置信度是否小于指定阈值，如果小于指定阈值，则认为该角点的偏移信息不可信，否则认为该角点的偏移信息可信。

本发明为角点设置偏移置信度，并与指定阈值进行比较，判断待跟踪视频图像中的角点的偏移信息是否可信，可以避免由于跟踪算法准确率限制造成的位置偏离、或者跟踪目标形变、遮挡等造成的特征减弱以至于不利于跟踪的影响。

本技术方案所述利用可信角点的偏移信息计算当前目标位置，包括步骤：

首先根据偏移置信度按照如下公式计算角点的偏移权重值：

w_i＝T_i/ΣT_i

然后按照如下公式进行加权求和得到当前目标偏移：

D_x＝Σw_i·x_iD_y＝Σw_i·y_i

其中，D_x，D_y分别为跟踪目标的最终X方向偏移和Y方向偏移；w_i为偏移置信度大于等于指定阈值的角点的偏移权重值，T_i为偏移置信度大于等于指定阈值的角点的偏移置信度，x_i和y_i分别为偏移置信度大于等于指定阈值的角点的水平和垂直方向偏移值；

根据当前目标偏移D_x，D_y，以及参考视频图像中的目标位置计算得到当前目标位置。

本技术方案所述更新待跟踪视频图像中需要更新角点，为更新待跟踪视频图像中不可信角点，具体包括步骤：

对于待跟踪视频图像中的不可信角点，根据当前目标位置设置角点搜索窗口，计算角点搜索窗口内所有像素邻域窗口的自相关矩阵，并对每个像素计算自相关矩阵的最小特征值；

对角点搜索窗口内所有像素点依照最小特征值排序，输出最小特征值最大的像素点作为当前更新后的角点；

其中，所述像素邻域窗口的自相关矩阵计算公式如下：

$A=\left[\begin{array}{cc}{A}_{11}& A_{12}\\ A_{21}& A_{22}\end{array}\right]=\mathrm{\Σ\Σ}\left[\begin{array}{cc}{I}_x^2& I_x{I}_y\\ I_x{I}_y& I_y^2\end{array}\right]$

其中A为邻域窗口自相关矩阵，I_x为邻域窗口内像素水平方向导数，I_y为邻域窗口内像素垂直方向导数；

所述自相关矩阵的最小特征值计算公式如下：

E＝A₂₂+A₁₁-sqrt((A₁₁-A₂₂)×(A₁₁-A₂₂)+A₁₂×A₁₂)

其中，E为像素自相关矩阵的最小特征值，A₁₁,A₁₂,A₂₁,A₂₂为自相关矩阵的矩阵元素值。

本发明还基于偏移置信度提出了角点更新策略，利用角点搜索算法重新在目标附近寻找角点进行替换，以提高跟踪算法的可靠性和准确率。

本发明同时还提出了一种基于稀疏光流法的多角点跟踪装置，用于对待处理视频图像序列进行目标跟踪，该装置包括多角点跟踪模块、目标位置计算模块和角点更新模块，其中：

多角点跟踪模块，用于结合参考视频图像中K个角点的邻域窗口所有像素点的像素值，水平方向导数值以及垂直方向导数值，在当前待跟踪视频图像的当前跟踪窗口中基于稀疏光流法得到所述K个角点在待跟踪视频图像中的偏移信息和当前位置；

目标位置计算模块，用于判断所述K个角点的偏移信息是否可信，如果全部角点的偏移信息都不可信，则以历史偏移信息计算当前目标位置，否则，利用可信角点的偏移信息计算当前目标位置；

角点更新模块，用于更新待跟踪视频图像中需要更新的角点，保存待跟踪视频图像中更新后K个角点的邻域窗口中所有像素点的像素值，水平方向导数值以及垂直方向导数值，将当前待跟踪视频图像作为参考视频图像，转入下一个待跟踪视频图像进行目标跟踪。

本发明提出的一种基于稀疏光流法的多角点跟踪方法及装置，从跟踪目标附近提取多个角点，分别利用Lucas-Kanade跟踪算法进行迭代计算，完成角点跟踪，在获得角点偏移后，提出一种角点偏移的置信度度量方法，构建一种合理利用角点偏移和置信度参数的目标偏移计算策略，最后，通过一种角点更新方法在每帧目标跟踪完成后对不适用于后续跟踪的角点进行更新。本发明多个角点基于同一个跟踪窗口，性能开销增加有限，满足了目标跟踪的实时性要求，同时提高了目标跟踪的准确率和鲁棒性。

由于跟踪算法准确率限制造成的位置偏离，或者跟踪目标形变，遮挡影响，角点在经过算法偏移后可能会偏离跟踪目标，或者特征减弱以至于不利于跟踪。本发明还基于置信度提出了角点更新策略，利用角点搜索算法重新在目标附近寻找角点进行替换，以提高跟踪算法的可靠性和准确率。本发明方法能够在复杂的场景和多变的光亮天气条件下，有效地完成目标跟踪。

附图说明

图1为本发明基于稀疏光流法的多角点跟踪方法流程图；

图2为本发明多角点跟踪方法中角点更新流程图。

具体实施方式

下面结合附图和实施例对本发明技术方案做进一步详细说明，以下实施例不构成对本发明的限定。

本实施例以计算机对待处理视频图像序列进行目标跟踪的流程为例，从第一帧视频图像开始，逐帧进行目标的跟踪。如图1所示，本实施例一种基于稀疏光流法的多角点跟踪方法，包括如下步骤：

步骤101、以待处理视频图像序列的第一帧视频图像为参考图像，获取参考图像中的目标位置，基于目标位置作矩形框作为当前跟踪窗口，在当前跟踪窗口内以目标位置为中心获得角点搜索窗口，在角点搜索窗口内提取K个角点。

目标跟踪是通过对相邻的两帧视频图像进行处理，从而在待处理的视频图像序列中提取目标并识别跟踪。在本实施例中，将相邻的两帧视频图像按照视频图像序列的顺序分别称为参考图像和待跟踪视频图像，即参考图像是待跟踪视频图像的前一帧视频图像。需要说明的是，当前后两帧之间的拍摄时间越短时，两帧图像的变化越小，因此在目标跟踪中也可以间隔几帧来进行目标跟踪。无论哪种情况下，待跟踪视频图像的参考图像是上一个计算的待跟踪视频图像，这里不再赘述。

由于角点是图像的一个重要局部特征，它集中了图像上很多重要形状信息，且具有旋转不变性，几乎不受光照条件的影响，在没有丢失图像数据信息的条件下，角点是最小化的要处理的数据量，加快了目标检测的速度。角点检测尤其适用于实时目标跟踪，常见的基于模板的角点检测算法有Kitchen-Rosenfeld角点检测算法，Harris角点检测算法、KLT角点检测算法及SUSAN角点检测算法，在本实施例中，使用Harris方法提取角点，并以提取的角点为特征点采用稀疏光流法进行目标跟踪。

因此，本实施例对于待处理的视频图像序列，首先选取第一帧视频图像作为参考图像，获取参考图像中的跟踪目标的目标位置，基于目标位置作矩形框作为当前跟踪窗口，在当前跟踪窗口内以目标位置为中心获得角点搜索窗口，在角点搜索窗口内使用Harris方法提取角点。Harris方法计算角点搜索窗口内每个像素点的最小特征值，按照最小特征值排列，从大到小选取K个像素点作为待跟踪的角点。

值得注意的是，本实施例从提取到的角点中选择K个角点用于后续的稀疏光流法计算。本实施例在跟踪窗口内维护K个角点，K值选取以不影响算法实时性要求的前提下，提高目标跟踪的准确性和鲁棒性，在实际的工程实践中，选择K为3能够在保障算法实时性的前提下获得一个较好的算法准确性和鲁棒性。基于此，本实施例在跟踪窗口内维护3个角点。

步骤102、以参考图像的下一帧视频图像作为待跟踪视频图像，获取待跟踪视频图像的当前跟踪窗口，在当前跟踪窗口中采用稀疏光流法计算K个角点在待跟踪视频图像中的偏移信息和位置。

在本实施例中，由于主要关心的是跟踪目标的偏移，因此首先需要获取用于稀疏光流法计算的跟踪窗口，在跟踪窗口内进行角点的跟踪，采用跟踪窗口的方法比计算整幅视频图像所需的计算量要小的多。

跟踪窗口的获取，跟目标位置有关。初始时，在第一帧视频图像上基于目标位置作矩形框作为当前跟踪窗口，该跟踪窗口的范围包括整个跟踪目标，并适当大于跟踪目标，以满足跟踪目标在相邻两帧视频图像中产生的偏移也包括在跟踪窗口内，从而准确地进行目标跟踪。对后续视频图像的跟踪窗口，跟踪窗口大小与第一帧视频图像的跟踪窗口大小保持一致，跟踪窗口中心位置通过前一帧视频图像计算获得的目标位置得到。例如，对于第二帧视频图像，其当前跟踪窗口的位置与第一帧获取的当前跟踪窗口位置相同，第三帧视频图像的跟踪窗口中心位置是第二帧视频图像计算获得的目标位置。

本实施例通过上述方法在待跟踪视频图像中确定一个当前跟踪窗口，从而在当前跟踪窗口内采用稀疏光流法得到K个角点的偏移信息，及角点在待跟踪视频图象中的位置。由于稀疏光流法需要在当前跟踪窗口内对每个像素点进行计算，需要较大性能开销。因此本实施例在同一个跟踪窗口内维护三个角点信息，由于三个角点采用相同的跟踪窗口，对于跟踪窗口内的像素点只需计算一次，因此性能开销较小，不影响算法实时性要求。同时采用了三个角点来进行目标跟踪，即使有角点偏移出了跟踪窗口，还有其他角点可以用来跟踪目标，提高了目标跟踪的准确率和鲁棒性。

Lucas-Kanade稀疏光流法基于多层图像金字塔进行角点的偏移信息计算。在每层图像金字塔上，算法通过迭代计算获得角点在当前金字塔图像上的偏移，进而求得角点在当前金字塔图像的位置；随后将角点在当前金字塔图像的位置映射到下一层金字塔图像，继续进行迭代处理，最终求得在跟踪窗口内角点在下一帧图像上的偏移信息和当前位置。Lucas-Kanade稀疏光流法是常用的一种角点跟踪算法，这里不再赘述。角点的偏移信息包括角点在水平和垂直方向的偏移值。

步骤103、判断待跟踪视频图像中的K个角点是否可信，如果全部角点不可信，则以历史偏移信息计算当前目标位置，转入步骤105，否则进入步骤104。

判断待跟踪视频图像中的K个角点是否可信，可以在完成角点偏移计算后，确定所有角点的当前运动状态，如有超过一定(例如三分之二)的角点处于某一运动状态，则将该运动状态认为是目标运动状态，并将其他运动状态的角点认为是不可信的角点。

本实施例还提出了以下优选的判断待跟踪视频图像中的K个角点是否可信的方法：

1)、计算待跟踪视频图像中K个角点的偏移置信度。

为每个角点设置偏移置信度是为了判断该角点是否可信，本实施例中对于每一个角点，其偏移置信度T通过如下公式计算：

T＝MinEig/PixelDiff

MinEig＝A₂₂+A₁₁-sqrt((A₁₁-A₂₂)×(A₁₁-A₂₂)+4×A₁₂×A₁₂)

PixelDiff＝ΣΣabs(I_cur-I_pre)

$\begin{array}{cc}{A}_{11}=\mathrm{\Σ\Σ}{I}_x^2& A_{22}=\mathrm{\Σ\Σ}{I}_y^2\end{array}$ A₁₂＝ΣΣI_x·I_y

其中MinEig表示该角点的最小特征值，该值越大，表示该角点越易于跟踪；PixelDiff表示参考图像与待跟踪视频图像角点邻域窗口内像素点像素值差值的和，该值越小，表示该角点得到的当前位置越准确；I_cur为待跟踪视频图像中角点邻域窗口内像素点的像素值，I_pre为参考图像中角点邻域窗口内像素点的像素值，I_x表示待跟踪视频图像角点的邻域窗口中像素值在X方向的导数，I_y表示待跟踪视频图像角点的邻域窗口中像素值在Y方向的导数。邻域窗口指的是以当前角点像素为中心的矩形窗口，算法中一般取5*5，7*7，9*9或11*11。

2)、判断是否所有K个角点的偏移置信度都小于指定阈值，如果是，则认为全部角点不可信，以历史偏移信息计算当前目标位置，转入步骤105，否则进入步骤104。

由于稀疏光流法本身的精确度以及角点目标所在位置由于形变和遮挡等造成的影响，角点的当前位置可能和角点初始化时所设定的目标附近的相对位置有所偏离。这样可能导致当前角点脱离了目标区域而导致后续无法利用该角点跟踪目标，或者是当前角点位置可能特征值并不十分丰富而导致后续无法准确跟踪。

本实施例为角点设置偏移置信度，并与指定阈值进行比较，判断待跟踪视频图像中的角点是否可信，也即判断角点的偏移信息是否可信。如果全部角点都不可信，则认为本次稀疏光流法得到的角点位置导致后续无法准确跟踪，需要使用历史偏移信息计算当前目标位置，即可以把参考视频图像的目标位置直接作为当前目标位置，也可利用参考视频图像确定的K个可信角点的偏移信息利用步骤104方法，以参考视频图像的目标位置为基础，计算当前目标位置，在此不进行限制。

步骤104、利用可信角点计算当前目标位置。

根据可信角点计算当前目标偏移可以将可信角点的平均偏移直接作为目标偏移，并根据参考视频图像的目标位置来计算当前目标位置。

优选地，本实施例根据角点的偏移信息及其对应的偏移置信度采用加权求和的方法获得当前目标位置：

首先根据偏移置信度为角点设置偏移权重值，按照如下公式计算角点的偏移权重值：

w_i＝T_i/ΣT_i

然后按照如下公式进行加权求和得到当前目标偏移：

D_x＝Σw_i·x_iD_y＝Σw_i·y_i

其中，D_x，D_y分别为跟踪目标的最终X方向偏移和Y方向偏移；w_i为偏移置信度大于等于指定阈值的角点的偏移权重值，T_i为偏移置信度大于等于指定阈值的角点的偏移置信度，x_i和y_i分别为偏移置信度大于等于指定阈值的角点的水平和垂直方向偏移值。根据置信度为角点设置偏移权重值，增加置信度高的角点的权重，将使目标偏移更加准确。

最后在得到当前目标偏移后，利用参考视频图像的目标位置进行简单的相加即可求得当前目标位置。

步骤105、更新待跟踪视频图像中不可信角点，保存待跟踪视频图像中角点邻域窗口中所有像素点的像素值，水平方向导数值以及垂直方向导数值。

在完成当前目标的偏移值计算后，算法需要对当前的角点进行更新。通过Lucas-Kanade跟踪算法，所有角点都得到了其在当前帧跟踪窗口中的位置。基于角点存在不可信的情况，算法需要在完成目标位置计算后进行角点更新，以便后续进行更为有效的跟踪。

图2示出了角点更新的具体步骤：

步骤201：对于待跟踪视频图像中的不可信角点，根据当前目标位置设置角点搜索窗口，计算角点搜索窗口内所有像素邻域窗口的自相关矩阵，并对每个像素计算自相关矩阵的最小特征值。

在角点搜索窗口内，建立每个像素的邻域，通过如下公式计算其自相关矩阵：

$A=\left[\begin{array}{cc}{A}_{11}& A_{12}\\ A_{21}& A_{22}\end{array}\right]=\mathrm{\Σ\Σ}\left[\begin{array}{cc}{I}_x^2& I_x{I}_y\\ I_x{I}_y& I_y^2\end{array}\right]$

A为邻域窗口自相关矩阵，I_x为邻域窗口内像素水平方向导数，I_y为邻域窗口内像素垂直方向导数。

具体地，角点搜索窗口内所有像素计算水平方向和垂直方向的导数计算公式如下：

I_x(x,y)＝I(x-1,y)-I(x+1,y)

I_y(x,y)＝I(x,y-1)-I(x,y+1)

I(x,y)为角点搜索窗口内(x,y)坐标位置的像素灰度值，I_x为像素水平方向导数，I_y为像素垂直方向导数。

则角点搜索窗口内各像素对应的自相关矩阵的最小特征值计算公式如下：

E＝A₂₂+A₁₁-sqrt((A₁₁-A₂₂)×(A₁₁-A₂₂)+A₁₂×A₁₂)

E为像素自相关矩阵的最小特征值，A₁₁,A₁₂,A₂₁,A₂₂为自相关矩阵的矩阵元素值。

步骤202：对角点搜索窗口内所有像素点依照最小特征值排序，输出最小特征值最大的像素点作为当前更新后的角点。

在更新角点后，由于稀疏光流法需要利用参考视频图像的角点邻域窗口内的数据进行角点偏移信息的计算，因此在角点更新完成之后，清空前一帧计算数据，并将当前帧的计算数据进行保存，用于后一帧算法。

步骤106、判断待处理视频图像序列是否已完成目标跟踪，如果未完成，则以当前待跟踪视频图像为参考图像，返回步骤102，进行下一帧视频图像的目标跟踪，否则目标跟踪结束。

通过本实施例的多角点跟踪方法，能够在待处理视频图像序列中实现实时的目标跟踪，同时提高了目标跟踪的准确率和鲁棒性。

本实施例还提出了实现上述方法的装置，一种基于稀疏光流法的多角点跟踪装置，用于对待处理视频图像序列进行目标跟踪，该装置包括多角点跟踪模块、目标位置计算模块和角点更新模块，其中：

多角点跟踪模块，用于结合参考视频图像中K个角点的邻域窗口所有像素点的像素值，水平方向导数值以及垂直方向导数值，在当前待跟踪视频图像的当前跟踪窗口中基于稀疏光流法得到所述K个角点在待跟踪视频图像中的偏移信息和当前位置；

目标位置计算模块，用于判断所述K个角点的偏移信息是否可信，如果全部角点的偏移信息都不可信，则以历史偏移信息计算当前目标位置，否则，利用可信角点的偏移信息计算当前目标位置；

角点更新模块，用于更新待跟踪视频图像中需要更新的角点，保存待跟踪视频图像中更新后K个角点的邻域窗口中所有像素点的像素值，水平方向导数值以及垂直方向导数值，将当前待跟踪视频图像作为参考视频图像，转入下一个待跟踪视频图像进行目标跟踪。

以上实施例仅用以说明本发明的技术方案而非对其进行限制，在不背离本发明精神及其实质的情况下，熟悉本领域的技术人员当可根据本发明作出各种相应的改变和变形，但这些相应的改变和变形都应属于本发明所附的权利要求的保护范围。

Claims (10)

1.一种基于稀疏光流法的多角点跟踪方法，用于对待处理视频图像序列进行目标跟踪，其特征在于，该方法包括：

结合参考视频图像中K个角点的邻域窗口所有像素点的像素值，水平方向导数值以及垂直方向导数值，在当前待跟踪视频图像的当前跟踪窗口中基于稀疏光流法得到所述K个角点在待跟踪视频图像中的偏移信息和当前位置；

判断所述K个角点的偏移信息是否可信，如果全部角点的偏移信息都不可信，则以历史偏移信息计算当前目标位置，否则，利用可信角点的偏移信息计算当前目标位置；

更新待跟踪视频图像中需要更新的角点，保存待跟踪视频图像中更新后K个角点的邻域窗口中所有像素点的像素值，水平方向导数值以及垂直方向导数值，将当前待跟踪视频图像作为参考视频图像，转入下一个待跟踪视频图像进行目标跟踪。

2.根据权利要求1所述的多角点跟踪方法，其特征在于，所述当前待跟踪视频图像的当前跟踪窗口通过如下步骤获得：

如果当前待跟踪视频图像是第一帧视频图像，则获取目标位置，基于目标位置作矩形框作为当前跟踪窗口；如果当前待跟踪视频图像不是第一帧视频图像，则当前跟踪窗口与参考视频图像的跟踪窗口大小一致，当前跟踪窗口的中心位置通过参考视频图像计算获得的目标位置得到，如果没有参考视频图像计算获得的目标位置，则采用参考视频图像的跟踪窗口位置作为当前跟踪窗口位置；

所述K个角点通过如下方法获得：如果当前待跟踪视频图像是第一帧视频图像，则在当前跟踪窗口内以目标位置为中心获得角点搜索窗口，在角点搜索窗口内使用Harris方法计算角点搜索窗口内每个像素点的最小特征值，并按照最小特征值排列，从大到小选取K个像素点作为待跟踪的角点；如果当前待跟踪视频图像不是第一帧视频图像，则以参考视频图像中的K个角点为待跟踪的角点。

3.根据权利要求1所述的多角点跟踪方法，其特征在于，所述判断所述K个角点的偏移信息是否可信，包括步骤：

根据如下公式为K个角点设置偏移置信度T：

T＝MinEig/PixelDiff

MinEig＝A₂₂+A₁₁-sqrt((A₁₁-A₂₂)×(A₁₁-A₂₂)+4×A₁₂×A₁₂)

PixelDiff＝ΣΣabs(I_cur-I_pre)

$\begin{array}{cc}{A}_{11}=\mathrm{\Σ\Σ}{I}_x^2& A_{22}=\mathrm{\Σ\Σ}{I}_y^2\end{array}$ A₁₂＝ΣΣI_x·I_y

其中MinEig表示该角点的最小特征值，PixelDiff表示待跟踪视频图像与前一帧视频图像角点邻域窗口内像素点像素值差值的和，I_cur为待跟踪视频图像中角点邻域窗口内像素点的像素值，I_pre为前一帧视频图像内角点邻域窗口内像素点的像素值，I_x表示待跟踪视频图像角点的邻域窗口中像素值在X方向的导数，I_y表示待跟踪视频图像角点的邻域窗口中像素值在Y方向的导数；

判断角点的偏移置信度是否小于指定阈值，如果小于指定阈值，则认为该角点的偏移信息不可信，否则认为该角点的偏移信息可信。

4.根据权利要求3所述的多角点跟踪方法，其特征在于，所述利用可信角点的偏移信息计算当前目标位置，包括步骤：

首先根据偏移置信度按照如下公式计算角点的偏移权重值：

w_i＝T_i/ΣT_i

然后按照如下公式进行加权求和得到当前目标偏移：

D_x＝Σw_i·x_iD_y＝Σw_i·y_i

其中，D_x，D_y分别为跟踪目标的最终X方向偏移和Y方向偏移；w_i为偏移置信度大于等于指定阈值的角点的偏移权重值，T_i为偏移置信度大于等于指定阈值的角点的偏移置信度，x_i和y_i分别为偏移置信度大于等于指定阈值的角点的水平和垂直方向偏移值；

根据当前目标偏移D_x，D_y，以及参考视频图像中的目标位置计算得到当前目标位置。

5.根据权利要求1所述的多角点跟踪方法，其特征在于，所述更新待跟踪视频图像中需要更新角点，为更新待跟踪视频图像中不可信角点，具体包括步骤：

对于待跟踪视频图像中的不可信角点，根据当前目标位置设置角点搜索窗口，计算角点搜索窗口内所有像素邻域窗口的自相关矩阵，并对每个像素计算自相关矩阵的最小特征值；

对角点搜索窗口内所有像素点依照最小特征值排序，输出最小特征值最大的像素点作为当前更新后的角点；

其中，所述像素邻域窗口的自相关矩阵计算公式如下：

$A=\left[\begin{array}{cc}{A}_{11}& A_{12}\\ A_{21}& A_{22}\end{array}\right]=\mathrm{\Σ\Σ}\left[\begin{array}{cc}{I}_x^2& I_x{I}_y\\ I_x{I}_y& I_y^2\end{array}\right]$

其中A为邻域窗口自相关矩阵，I_x为邻域窗口内像素水平方向导数，I_y为邻域窗口内像素垂直方向导数；

所述自相关矩阵的最小特征值计算公式如下：

E＝A₂₂+A₁₁-sqrt((A₁₁-A₂₂)×(A₁₁-A₂₂)+A₁₂×A₁₂)

其中，E为像素自相关矩阵的最小特征值，A₁₁,A₁₂,A₂₁,A₂₂为自相关矩阵的矩阵元素值。

6.一种基于稀疏光流法的多角点跟踪装置，用于对待处理视频图像序列进行目标跟踪，其特征在于，该装置包括多角点跟踪模块、目标位置计算模块和角点更新模块，其中：

多角点跟踪模块，用于结合参考视频图像中K个角点的邻域窗口所有像素点的像素值，水平方向导数值以及垂直方向导数值，在当前待跟踪视频图像的当前跟踪窗口中基于稀疏光流法得到所述K个角点在待跟踪视频图像中的偏移信息和当前位置；

目标位置计算模块，用于判断所述K个角点的偏移信息是否可信，如果全部角点的偏移信息都不可信，则以历史偏移信息计算当前目标位置，否则，利用可信角点的偏移信息计算当前目标位置；

角点更新模块，用于更新待跟踪视频图像中需要更新的角点，保存待跟踪视频图像中更新后K个角点的邻域窗口中所有像素点的像素值，水平方向导数值以及垂直方向导数值，将当前待跟踪视频图像作为参考视频图像，转入下一个待跟踪视频图像进行目标跟踪。

7.根据权利要求6所述的多角点跟踪装置，其特征在于，所述当前待跟踪视频图像的当前跟踪窗口由所述多角点跟踪模块执行如下操作获得：如果当前待跟踪视频图像是第一帧视频图像，则获取目标位置，基于目标位置作矩形框作为当前跟踪窗口；如果当前待跟踪视频图像不是第一帧视频图像，则当前跟踪窗口与参考视频图像的跟踪窗口大小一致，当前跟踪窗口的中心位置通过参考视频图像计算获得的目标位置得到，如果没有参考视频图像计算获得的目标位置，则采用参考视频图像的跟踪窗口位置作为当前跟踪窗口位置；

所述K个角点由所述多角点跟踪模块执行如下操作获得：如果当前待跟踪视频图像是第一帧视频图像，则在当前跟踪窗口内以目标位置为中心获得角点搜索窗口，在角点搜索窗口内使用Harris方法计算角点搜索窗口内每个像素点的最小特征值，并按照最小特征值排列，从大到小选取K个像素点作为待跟踪的角点；如果当前待跟踪视频图像不是第一帧视频图像，则以参考视频图像中的K个角点为待跟踪的角点。

8.根据权利要求6所述的多角点跟踪装置，其特征在于，所述目标位置计算模块在判断所述K个角点的偏移信息是否可信时，执行如下操作：

根据如下公式为K个角点设置偏移置信度T：

T＝MinEig/PixelDiff

MinEig＝A₂₂+A₁₁-sqrt((A₁₁-A₂₂)×(A₁₁-A₂₂)+4×A₁₂×A₁₂)

PixelDiff＝ΣΣabs(I_cur-I_pre)

$\begin{array}{cc}{A}_{11}=\mathrm{\Σ\Σ}{I}_x^2& A_{22}=\mathrm{\Σ\Σ}{I}_y^2\end{array}$ A₁₂＝ΣΣI_x·I_y

其中MinEig表示该角点的最小特征值，PixelDiff表示待跟踪视频图像与前一帧视频图像角点邻域窗口内像素点像素值差值的和，I_cur为待跟踪视频图像中角点邻域窗口内像素点的像素值，I_pre为前一帧视频图像内角点邻域窗内像素点的像素值，I_x表示待跟踪视频图像角点的邻域窗口中像素值在X方向的导数，I_y表示待跟踪视频图像角点的邻域窗口中像素值在Y方向的导数；

判断角点的偏移置信度是否小于指定阈值，如果小于指定阈值，则认为该角点的偏移信息不可信，否则认为该角点的偏移信息可信。

9.根据权利要求8所述的多角点跟踪装置，其特征在于，所述目标位置计算模块在利用可信角点的偏移信息计算当前目标位置时，执行如下操作：

首先根据偏移置信度按照如下公式计算角点的偏移权重值：

w_i＝T_i/ΣT_i

然后按照如下公式进行加权求和得到当前目标偏移：

D_x＝Σw_i·x_iD_y＝Σw_i·y_i

其中，D_x，D_y分别为跟踪目标的最终X方向偏移和Y方向偏移；w_i为偏移置信度大于等于指定阈值的角点的偏移权重值，T_i为偏移置信度大于等于指定阈值的角点的偏移置信度，x_i和y_i分别为偏移置信度大于等于指定阈值的角点的水平和垂直方向偏移值；

根据当前目标偏移D_x，D_y，以及参考视频图像中的目标位置计算得到当前目标位置。

10.根据权利要求6所述的多角点跟踪装置，其特征在于，所述角点更新模块更新待跟踪视频图像中需要更新角点，为更新待跟踪视频图像中不可信角点，执行如下操作：

对于待跟踪视频图像中的不可信角点，根据当前目标位置设置角点搜索窗口，计算角点搜索窗口内所有像素邻域窗口的自相关矩阵，并对每个像素计算自相关矩阵的最小特征值；

对角点搜索窗口内所有像素点依照最小特征值排序，输出最小特征值最大的像素点作为当前更新后的角点；

其中，所述像素邻域窗口的自相关矩阵计算公式如下：

$A=\left[\begin{array}{cc}{A}_{11}& A_{12}\\ A_{21}& A_{22}\end{array}\right]=\mathrm{\Σ\Σ}\left[\begin{array}{cc}{I}_x^2& I_x{I}_y\\ I_x{I}_y& I_y^2\end{array}\right]$

其中A为邻域窗口自相关矩阵，I_x为邻域窗口内像素水平方向导数，I_y为邻域窗口内像素垂直方向导数；

所述自相关矩阵的最小特征值计算公式如下：

E＝A₂₂+A₁₁-sqrt((A₁₁-A₂₂)×(A₁₁-A₂₂)+A₁₂×A₁₂)

其中，E为像素自相关矩阵的最小特征值，A₁₁,A₁₂,A₂₁,A₂₂为自相关矩阵的矩阵元素值。