CN104599288A - 一种基于肤色模板的特征跟踪方法及装置 - Google Patents

Abstract

一种基于肤色模板的特征跟踪方法及装置，所述方法包括：建立肤色模板；通过核函数对所述肤色模板进行加权处理，以获得联合模板；获取图像的跟踪窗口所含有的特征点；基于稀疏光流算法对所述特征点进行跟踪；基于所述联合模板对跟踪后跟踪窗口所含有的特征点进行筛选和补充中的至少一种操作。在对特征点跟踪的过程中，可以基于联合模板所获取的颜色特征信息，以及光流算法所得到的运动信息，对跟踪窗口所含有的特征点进行筛选、补充的操作，可以实时对跟踪窗口所含有的特征点进行调整，提高特征点的准确性，提高跟踪结果的准确性。可以处理复杂场景、光照变化、运动目标姿态变化等复杂条件的对跟踪结果的影响，具有很好的鲁棒性。

Description

一种基于肤色模板的特征跟踪方法及装置

技术领域

本发明涉及图像处理技术，尤其涉及一种基于肤色模板的特征跟踪方法及装置。

背景技术

随着运动目标检测技术的快速发展，相应的产生了多种用于对运动目标进行检测的方法，例如现有技术中基于运动目标的颜色特征、运动信息、运动模型等建立相应的检测方法，而其中运动目标的特征检测与跟踪是研究的重要基础和关键技术，例如可以对处于运动状态人的手部、脸部所拍摄的图像序列的特征进行检测和跟踪，可以实现对于人的手势、人的脸部等的识别。

基于运动目标的颜色特征的检测方法有均值漂移、连续的自适应均值漂移等方法，此类方法在一些简单场景下可以实现较好的人的手势等的跟踪。基于运动目标的运动信息的检测方法有光流法、卡尔曼滤波（Kalman Filter）、粒子滤波（Particle Filter）等方法。其中，光流法可以利用含有运动目标的图像序列中像素的强度在时域、空域的变化，进而推算出所述运动目标的运动场（Motion Field），最终实现对于运动目标的跟踪，所述光流根据计算所需的像素点的多少，光流可以分为稠密光流和稀疏光流。此外，也有基于运动模型的检测方法，此类方法中首先建立运动目标的2D或3D模型，例如建立人手的2D或3D模型，在对目标跟踪的过程中，根据实际情况对建立的模型的参数进行迭代、优化，从而使其不断的适应手势的变化，实现对于手势的跟踪。

在上述对运动目标进行检测的方法中，基于颜色特征的方法通常难以适应复杂场景、光照变化剧烈等情况，当存在较多与运动目标相似颜色的背景像素时，基于颜色信息的检测方法中容易发生跟踪窗口漂移、发散等问题。基于运动信息的方法中通常是利用运动目标的纹理信息来选择特征点进行跟踪，但在一些复杂场景时跟踪效果较差，而且对于运动目标的任意姿态变化、运动目标的遮挡等情况难以有效进行处理。基于运动模型的方法通常都计算量非常大。

相关技术可参考公开号为US2013259317A1的美国专利申请。

发明内容

本发明解决的问题由于复杂场景、光照变化、运动目标姿态变化等复杂条件的影响，而导致的运动目标的跟踪结果不准确的问题。

为解决上述问题，本发明技术方案提供一种基于肤色模板的特征跟踪方法，所述方法包括：

建立肤色模板；

通过核函数对所述肤色模板进行加权处理，以获得联合模板；

获取图像的跟踪窗口所含有的特征点；

基于稀疏光流算法对所述特征点进行跟踪；

基于所述联合模板对跟踪后跟踪窗口所含有的特征点进行筛选和补充中的至少一种操作。

可选的，所述方法还包括：在建立肤色模板之前，对用于建立肤色模板的图像进行校正。

可选的，所述对用于建立肤色模板的图像进行校正的过程包括：

通过公式获取校正参数M(top)，其中，m为像素点的灰度值，L为灰度阈值，f(m)为图像中灰度值为m的像素点的个数，所述灰度阈值是由图像中亮度值大于亮度阈值的像素点的个数占图像总像素点个数的比例确定的；

对图像中的每一个像素点，通过公式获取校正后的该像素点的颜色值Y(new)，其中，Y(old)是校正前的该像素点的颜色值。

可选的，所述建立肤色模板包括基于椭圆肤色模型或者高斯肤色模型中的任意一种模型建立肤色模板。

可选的，所述核函数包括Epanechnikov核函数和高斯核函数中的任意一种。

可选的，所述通过核函数对所述肤色模板进行加权处理，以获得联合模板的过程包括：

通过公式 $\mathrm{KM}(i,j)=1\frac{{(i-\frac{a}{2})}^2+{(j-\frac{b}{2})}^2}{{\left(\frac{a}{2}\right)}^2+{\left(\frac{b}{2}\right)}^2}$ 获得加权模板KM，其中，i，j分别为加权模板内像素点在X方向上、Y方向上的索引值，a，b分别为核函数在X方向、Y方向上的窗宽；

通过公式对肤色模板进行加权，以获得联合模板，其中JM为联合模板，SM为肤色模板，KM为加权模板，表示对SM和KM中相同位置的值进行乘积运算。

可选的，所述获取跟踪窗口所含有的特征点的过程包括：

通过下述公式获取图像的跟踪窗口内的所有像素点的自相关矩阵：

$M(x,y)=\left[\begin{array}{cc}\underset{-K\≤i,j\≤K}{\mathrm{\Σ}}{w}_{i,j}{I}_x^2& \underset{-K\≤i,j\≤K}{\mathrm{\Σ}}{w}_{i,j}{I}_x{I}_y\\ \underset{-K\≤i,j\≤K}{\mathrm{\Σ}}{w}_{i,j}{I}_x{I}_y& \underset{-K\≤i,j\≤K}{\mathrm{\Σ}}{w}_{i,j}{I}_y^2\end{array}\right],$ 其中，M(x,y)表示坐标为(x,y)的像素点的自相关矩阵，i，j为跟踪窗口内的像素点分别在X方向和Y方向上的索引值，w(i,j)为在X方向上的索引值为i、在Y方向上的索引值为j处的像素点的权重值，K为所述跟踪窗口的二分之一宽度值，I_x和I_y分别是X方向索引值为i、在Y方向上的索引值为j处的像素点在X方向上偏导数值和在Y方向上的偏导数值；

基于所述像素点的自相关矩阵，获取所述像素点的自相关矩阵的最大特征值和最小特征值；

当λ(min)>A×λ(max)时，确定所述像素点为跟踪窗口所含有的特征点；或者，当λ(min)>A×λ(max)时，且所述像素点距离其它已确定的特征点的距离大于距离阈值时，确定所述像素点为跟踪窗口所含有的特征点；其中λ(max)为所述像素点的自相关矩阵的最大特征值，λ(min)为所述像素点的自相关矩阵的最小特征值，A为特征阈值，基于联合模板的大小确定所述距离阈值。

可选的，所述特征阈值的取值为0.001～0.01。

可选的，所述方法还包括：在获取图像的跟踪窗口所含有的特征点之后，基于稀疏光流算法对所述特征点进行跟踪之前，基于所述联合模板对跟踪前所述跟踪窗口所含有的特征点进行筛选和补充中的至少一种操作。

可选的，对所述跟踪窗口所含有的特征点进行筛选的过程包括：

从跟踪窗口所含有的特征点中选择一个特征点，如果所选择的特征点对应在联合模板的数值大于模板阈值，则保留当前所选择的特征点，基于联合模板的数值确定所述模板阈值。

可选的，对所述跟踪窗口所含有的特征点进行补充的过程包括：

从跟踪窗口中选择一个像素点，如果所述像素点距离跟踪窗口内的特征点的距离大于距离阈值且所述像素点对应在联合模板上的数值大于模板阈值时，则将所述像素点补充为跟踪窗口所含有的特征点，基于联合模板的大小确定所述距离阈值，基于联合模板的数值确定所述模板阈值。

可选的，所述方法还包括：在获取图像的跟踪窗口所含有的特征点之后，基于稀疏光流算法对所述特征点进行跟踪之前，对所述特征点进行光照补偿。

可选的，所述方法还包括：在基于所述联合模板对跟踪前所述跟踪窗口所含有的特征点进行筛选和补充中的至少一种操作之后，基于稀疏光流算法对所述特征点进行跟踪之前，对所述特征点进行光照补偿。

可选的，所述对所述特征点进行光照补偿包括：

基于公式J_n=λ×J+δ对所述跟踪窗口所含有的特征点进行光照补偿，其中，λ是所述特征点的亮度的增益系数，δ是所述特征点的亮度的偏置系数，J为所述特征点补偿前的亮度值，J_n为所述特征点补偿后的亮度值。

可选的，所述方法还包括：在基于稀疏光流算法对所述特征点进行跟踪之后，基于所述联合模板对跟踪后跟踪窗口所含有的特征点进行筛选和补充中的至少一种操作之前，当跟踪后跟踪窗口所含有的特征点位于预设区域之外时，对所述跟踪后跟踪窗口所含有的特征点重新定位，所述预设区域为以中值特征点为中心的区域，所述中值特征点为所述跟踪后跟踪窗口所含有的特征点中与其它所有跟踪后跟踪窗口所含有的特征点的距离的和为最小的特征点。

可选的，所述对所述跟踪后跟踪窗口所含有的特征点重新定位的过程包括：

通过公式N=R×M+（1－R）×N对所述跟踪后跟踪窗口所含有的特征点重新定位，其中，N为所述跟踪后跟踪窗口所含有的特征点的坐标值，R为更新系数，R的取值范围为0～1之间的数值，M为所述中值特征点的坐标值。

可选的，所述预设区域为以中值特征点为中心、以跟踪窗口的边长值的二分之一长度为半径的圆形区域。

可选的，所述稀疏光流算法为图像金字塔光流算法。

可选的，所述方法还包括：在基于所述联合模板对跟踪后跟踪窗口所含有的特征点进行筛选和补充中的至少一种操作后，基于所述跟踪窗口内的特征点的跟踪结果对用户的手势进行识别。

本发明技术方案还提供一种基于肤色模板的特征跟踪装置，所述装置包括：

建立单元，适于建立肤色模板；

加权单元，适于通过核函数对所述肤色模板进行加权处理，以获得联合模板；

获取单元，适于获取图像的跟踪窗口所含有的特征点；

跟踪单元，适于基于稀疏光流算法对所述特征点进行跟踪；

第一筛选和补充单元，适于基于所述联合模板对跟踪后跟踪窗口所含有的特征点进行筛选和补充中的至少一种操作。

可选的，所述装置还包括：校正单元，适于在建立肤色模板之前，对用于建立肤色模板的图像进行校正。

可选的，所述装置还包括：第二筛选和补充单元，适于在获取图像的跟踪窗口所含有的特征点之后，基于稀疏光流算法对所述特征点进行跟踪之前，基于所述联合模板对跟踪前所述跟踪窗口所含有的特征点进行筛选和补充中的至少一种操作。

可选的，所述装置还包括：第一补偿单元，适于在获取图像的跟踪窗口所含有的特征点之后，基于稀疏光流算法对所述特征点进行跟踪之前，对所述特征点进行光照补偿。

可选的，所述装置还包括：第二补偿单元，适于在基于所述联合模板对跟踪前所述跟踪窗口所含有的特征点进行筛选和补充中的至少一种操作之后，基于稀疏光流算法对所述特征点进行跟踪之前，对所述特征点进行光照补偿。

可选的，所述装置还包括：重定位单元，适于在基于稀疏光流算法对所述特征点进行跟踪之后，基于所述联合模板对跟踪后跟踪窗口所含有的特征点进行筛选和补充中的至少一种操作之前，当跟踪后跟踪窗口所含有的特征点位于预设区域之外时，对所述跟踪后跟踪窗口所含有的特征点重新定位，所述预设区域为以中值特征点为中心的区域，所述中值特征点为所述跟踪后跟踪窗口所含有的特征点中与其它所有跟踪后跟踪窗口所含有的特征点的距离的和为最小的特征点。

可选的，所述装置还包括：识别单元，适于在基于所述联合模板对跟踪后跟踪窗口所含有的特征点进行筛选和补充中的至少一种操作后，基于所述跟踪窗口内的特征点的跟踪结果对用户的手势进行识别。

与现有技术相比，本发明的技术方案具有以下优点：

在对运动目标跟踪过程中，基于通过核函数进行加权处理后所得到的联合模板信息，以及通过稀疏光流算法对跟踪窗口所含有的特征点进行跟踪的结果信息，对跟踪后跟踪窗口所含有的特征点进行筛选和补充中的至少一种操作。在对特征点跟踪的过程中，可以基于联合模板所获取的颜色特征信息，以及光流算法所得到的运动信息，对跟踪窗口所含有的特征点进行筛选、补充的操作，可以实时对跟踪窗口所含有的特征点进行调整，有效提高特征点的准确性，提高跟踪结果的准确性。此方法是一种结合运动目标的颜色特征信息、纹理特征信息和运动信息的跟踪方法，可以处理复杂场景、光照变化、运动目标姿态变化等复杂条件的对跟踪结果的影响，具有很好的鲁棒性。

进一步，在获取跟踪窗口所含有的特征点后，在基于稀疏光流算法对所述特征点进行跟踪之后，基于所述联合模板对跟踪后跟踪窗口所含有的特征点进行筛选和/或补充的操作之前，当跟踪后跟踪窗口所含有的特征点位于预设区域之外时，对所述跟踪后跟踪窗口所含有的特征点重新定位，即对跟踪后跟踪窗口所含有的特征点中可能不符合要求的跟踪点重新定位，可以提高特征点的准确性，从而提高跟踪结果的准确性。

在获取图像的跟踪窗口所含有的特征点之后，基于稀疏光流算法对所述特征点进行跟踪之前，通过对跟踪窗口所含有的特征点进行筛选和/或补充的操作，可以使得参与光流计算的特征点，在满足跟踪条件的前提下，特征点的数量可以得到有效控制，在提高特征点的准确性以及提高跟踪结果的准确性的同时，还可以使得光流迭代计算过程中，计算量有效减少，提高跟踪检测速度。

在建立肤色模板之前，对图像进行校正，在校正的过程中将图像中比较亮的部分像素的亮度值作为参考色，将整个图像的亮度值均按着参考色的标准进行调整，可以有效消除色度空间中亮度因素对图像的影响，使得图像有效应对光照变化，减少光照变化对跟踪结果的影响。

在基于光流算法对特征点进行跟踪之前，通过光照补偿的方法，可以有效地对不同光照条件下的图像进行调整，提高不同光照条件下特征点跟踪的准确性和稳定性。

附图说明

图1是本发明技术方案提供的基于肤色模板的特征跟踪方法的流程示意图；

图2是本发明实施例一提供的基于肤色模板的特征跟踪方法的流程示意图；

图3是本发明实施例二提供的基于肤色模板的特征跟踪方法的流程示意图；

图4是本发明实施例三提供的基于肤色模板的特征跟踪方法的流程示意图；

图5是本发明实施例四提供的基于肤色模板的特征跟踪方法的流程示意图；

图6是本发明实施例五提供的基于肤色模板的特征跟踪方法的流程示意图；

图7是本发明实施例六提供的基于肤色模板的特征跟踪方法的流程示意图。

具体实施方式

为了解决上述问题，本发明技术方案提供一种基于肤色模板的特征跟踪方法，通过建立肤色模板可以对运动目标的颜色信息进行确定，而使用光流算法则可以对运动物体的特征点进行跟踪，在对特征点跟踪的过程中，将上述两种方法结合使用。

图1是本发明技术方案提供的基于肤色模板的特征跟踪方法的流程示意图，如图1所示，首先执行步骤S101，建立肤色模板。

在对肤色进行检测时，可以通过一些肤色模型建立相应的肤色模板。现有技术中，用于肤色检测的模型有单高斯模型法、混合高斯模型法、椭圆肤色模型法等，基于这些肤色检测的模型可以建立相应的肤色模板。

执行步骤S102，通过核函数对所述肤色模板进行加权处理，以获得联合模板。

通过核函数对所述肤色模板中的肤色信息进行加权，所述核函数可以为高斯核函数、叶帕涅奇尼科夫核函数（Epanechnikov Kernel）等，通过核加权获得用于肤色检测的联合模板。

执行步骤S103，获取图像的跟踪窗口所含有的特征点。

在对运动目标进行跟踪的时候，需要首先确定跟踪窗口，通常可以根据所采集的图像的尺寸，确定相应的跟踪窗口的大小，所述跟踪窗口可以通过本领域技术人员所知晓的运动检测、背景移除、基于训练模型的肤色检测等多种方法获得，所述跟踪窗口内含有所述运动目标，例如，所述跟踪窗口内可以含有手部图像、脸部图像等。

光流法可以通过对图像序列中的若干以特征点为中心的像元计算光流，即以特征点所在像元计算光流，进而可以基于计算结果对运动目标进行跟踪。所述像元在本申请文件中定义为以特征点为中心的含有若干像素点的区域。所以在基于光流法对特征点进行跟踪时，需要首先获取跟踪窗口内的特征点，跟踪窗口内的特征点的获取方法可以采用现有技术中的多种方法进行获取，例如通过Shi-Tomasi角点算法、Harris算法等获取，在此不作具体限定。

执行步骤S104，基于稀疏光流算法对所述特征点进行跟踪。

在获取跟踪窗口所含有的特征点之后，则可以通过光流算法对所述特征点进行跟踪，所述稀疏光流算法可以为基于图像金字塔的稀疏光流算法。

可以在图像序列的前一帧图像上提取特征点，对下一帧图像利用所述基于图像金字塔的稀疏光流算法对特征点进行跟踪。

执行步骤S105，基于所述联合模板对跟踪后跟踪窗口所含有的特征点进行筛选和补充中的至少一种操作。

在对跟踪窗口所含有的特征点进行筛选时，从跟踪窗口所含有的跟踪后跟踪窗口所含有的特征点中选择一个特征点，如果所选择的特征点对应在联合模板的数值大于模板阈值时，则保留当前所选择的特征点，即如果所选择的特征点对应在联合模板上的数值小于模板阈值时，则丢弃所选择的特征点，不再对其进行跟踪。

在上述筛选的过程中，为了更精确的得到特征点，也可以将跟踪后跟踪窗口所含有的特征点对应在联合模板的数值大于模板阈值且距离跟踪窗口所含有的特征点的距离大于距离阈值的特征点进行保留。所述距离阈值可以基于联合模板的大小确定，所述模板阈值可以基于联合模板的数值确定。

在对跟踪窗口所含有的特征点进行补充时，从跟踪窗口中选择一个像素点，如果所述像素点距离图像的特征点的距离大于距离阈值且所述像素点对应在联合模板上的数值大于模板阈值时，则将所述像素点补充为跟踪窗口所含有的特征点。

可以对跟踪后跟踪窗口所含有的特征点进行上述筛选或者补充中的任意一种操作，也可以根据实际需求，对跟踪后跟踪窗口所含有的特征点先进行筛选，将不符合条件的特征点滤除，之后再基于上述特征点补充的方法，对特征点进行补充。通常，所补充的特征点的数量和筛选过程中丢弃的特征点的数量是相同的。

通过本发明技术方案提供的方法，在对特征点跟踪的过程中，可以基于联合模板所获取的颜色特征信息，以及光流算法所得到的运动信息，对跟踪窗口所含有的特征点进行筛选、补充的操作，可以实时对跟踪窗口所含有的特征点进行调整，有效提高特征点的准确性，提高跟踪结果的准确性。此方法是一种结合运动目标的颜色特征信息、纹理特征信息和运动信息的跟踪方法，可以处理复杂场景、光照变化、运动目标姿态变化等复杂条件的对跟踪结果的影响，具有很好的鲁棒性。

为使本发明的上述目的、特征和优点能够更为明显易懂，下面结合附图对本发明的具体实施例做详细的说明。

实施例一

在本实施例中，在对特征点跟踪的过程中，基于联合模板所获取的颜色特征信息，以及光流算法所得到的运动信息，对跟踪后跟踪窗口所含有的特征点进行筛选、补充操作。

图2是本实施例提供的基于肤色模板的特征跟踪方法的流程示意图，如图2所示，首先执行步骤S201，基于椭圆肤色模型建立肤色模板。

首先针对所采集的图像的尺寸，确定相应的跟踪窗口。在确定跟踪窗口后，基于所述跟踪窗口的尺寸，通过所述椭圆肤色模型可以建立相应的肤色模板，所述椭圆肤色模型是本领域技术人员常用的一种肤色模型，例如有基于训练得到的椭圆模型、自适应的椭圆模型等等。

执行步骤S202,通过Epanechnikov Kernel核函数对所述肤色模板进行加权获得联合模板。

在通过步骤S201创建相应的肤色模板之后，则可以通过EpanechnikovKernel核函数对跟踪窗口范围内的所述述肤色模板进行加权。通常，所述跟踪窗口的大小和所述肤色模板的大小是相同的，所跟踪的肤色目标，例如人手应该位于所述跟踪窗口的中心位置，通过对所述肤色模板的加权，可以使得位于模板中心的肤色信息的权值更大，则基于所述肤色模板进行跟踪的时候，可以保证跟踪窗口的中心位置处具有更大的权值。

在通过Epanechnikov Kernel核函数对所述肤色模板进行加权处理的过程中，首先基于Epanechnikov Kernel核函数获得加权模板，所述加权模板的大小和所述肤色模板的大小相同。所述加权模板可以通过公式（1）获得。

$\mathrm{KM}(i,j)=1\frac{{(i-\frac{a}{2})}^2+{(j-\frac{b}{2})}^2}{{\left(\frac{a}{2}\right)}^2+{\left(\frac{b}{2}\right)}^2}---\left(1\right)$

其中，i，j分别为加权模板内像素点在X方向上、Y方向上的索引值，a，b分别为核函数在X方向、Y方向上的窗宽，在此处，所述a，b也可以理解为肤色模板在X方向、Y方向上的长度值。

在由公式（1）获得和肤色模板大小相同的加权模板KM之后，就可以通过公式（2）对所述肤色模板中的每个像素的值进行加权，所述每个像素的值为根据椭圆肤色模型所得到的该像素为肤色的概率分布值，即该像素对应在跟踪窗口内的像素为肤色的概率值。

$\mathrm{JM}=\mathrm{SM}\⊗\mathrm{KM}---\left(2\right)$

其中SM为肤色模板，KM为加权模板，JM为通过KM对所述肤色模板SM进行加权处理后得到的联合模板，表示对SM和KM中相同位置的值进行乘积运算，所述相同位置是指对应在SM和KM的在X方向上、Y方向上具有相同的索引值的像素点，将相同位置的SM和KM中的像素点的值进行相乘运算，将运算结果作为联合模板中对应在此位置处的像素的值。

结合公式（1）和公式（2）可以得到所述肤色模板经过加权处理后的联合模板。

由于椭圆肤色模型可以在CbCr坐标系下确定一个椭圆区域，肤色模板中每个像素的值为根据椭圆肤色模型所得到的该像素为肤色的概率分布值，而联合模板是对肤色模板进行加权而得到的，所以通过判断跟踪窗口内的像素点对应在联合模板上的数值的大小即可以判断该像素为肤色的可能性大小，进而可以确定当前像素点是否属于肤色点。

执行步骤S203，获取图像的跟踪窗口内的特征点。

在本实施例中，以Shi-Tomasi角点算法获取特征点的方法为例进行说明。

在Shi-Tomasi角点算法中，首先通过公式（3）获取图像的跟踪窗口内的所有像素点的自相关矩阵。

$M(x,y)=\left[\begin{array}{cc}\underset{-K\≤i,j\≤K}{\mathrm{\Σ}}{w}_{i,j}{I}_x^2& \underset{-K\≤i,j\≤K}{\mathrm{\Σ}}{w}_{i,j}{I}_x{I}_y\\ \underset{-K\≤i,j\≤K}{\mathrm{\Σ}}{w}_{i,j}{I}_x{I}_y& \underset{-K\≤i,j\≤K}{\mathrm{\Σ}}{w}_{i,j}{I}_y^2\end{array}\right]---\left(3\right)$

其中，M(x,y)表示坐标为(x,y)的像素点的自相关矩阵，i，j为跟踪窗口内的像素点分别在X方向和Y方向上的索引值，w(i,j)为在X方向上的索引值为i、在Y方向上的索引值为j处的像素点的权重值，K为所述跟踪窗口的二分之一宽度值，I_x和I_y分别是X方向索引值为i、在Y方向上的索引值为j处的像素点在X方向上偏导数值和在Y方向上的偏导数值。

基于公式（3）计算得到的所有像素点的自相关矩阵，获取所述像素点的自相关矩阵的最大特征值λ(max)和最小特征值λ(min)。所述获取自相关矩阵的最大特征值和最小特征值的方法为本领域技术人员所熟知，在此不再赘述。

通过公式（4）确定所述像素点是否图像的特征点。

λ(min)>A×λ(max)               （4）

其中A为特征阈值，A的取值为0.001～0.01之间的数值。

通常当跟踪窗口内的像素点满足公式（4）时，即可确定所述像素点为图像的特征点。

但在具体实施时，如果仅仅靠上述判断条件确定图像的特征点，则可能会导致图像的特征点分布不均匀，例如可能出现在某一个很小的区域内出现多个特征点的现象，使得跟踪检测的结果偏向与特征点很多的地方，而忽略掉同样是肤色区域但特征点比较稀疏的区域，因此，为了避免特征点分布的不均匀性造成检测结果的位置的偏移，此处可以先对特征点进行均匀化处理，所述均匀化处理可以为当λ(min)>A×λ(max)时，需要再判断所述像素点距离其它已确定的特征点的距离是否大于距离阈值，如果大于距离阈值则确定所述像素点为图像的特征点。

所述距离阈值可以由上述步骤所确定的联合模板的大小所确定。当联合模板比较大时，相应的所述距离阈值的值可以设置的稍大一些，当所述联合模板比较小的时候，则相应的可以设置的适当小一些。

需要说明的是，如果所述距离阈值的值设置的比较小，则获得的特征点相对来说就会比较多，在对肤色进行检测的过程中，数据的计算量就会比较大，而如果所述距离阈值的值设置的比较大，则获得的特征点相对来说就会比较少，但如果特征点过少，可能会导致肤色检测结果不准确或者检测失败，所述距离阈值可以根据联合模板的大小、实际跟踪检测的情况相应的进行调整。

执行步骤S204，基于图像金字塔的稀疏光流算法对所述跟踪窗口内的特征点进行跟踪。

由于稀疏光流可以理解为相邻帧的图像之间若干以特征点为中心的像元的图像配准，即可以基于特征点所在像元计算光流，进而基于计算结果对用户的手势进行跟踪。

基于图像金字塔的稀疏光流算法中，通常是基于梯度的方法来迭代计算光流的，采用金字塔的方式来实现由粗到精的运动估计，在该算法中，原始图像位于金字塔的最底层，图像的金字塔中较高的层是下层的下采样形式，在实际计算时，由金字塔的高层到底层进行，当某一层的光流计算出来后，基于这一层的光流的计算结果可以计算相邻的下面一层的光流，这个过程不断迭代进行，直至算出最底层的原始图像的光流。

在基于图像金字塔的稀疏光流算法对所述跟踪窗口内的特征点进行跟踪的过程中，对于给定的两帧连续图像，特征点跟踪的目标是找到其中一帧图像上的一个像元I在相邻的另外一帧图像上对应具有相似图像强度的对应的另一个像元J。

在计算像元的光流的时候，需要使用公式（5）所示的残差函数ξ(d)。在本实施例中，以像元I作为跟踪像元。

$\mathrm{\ξ}\left(d\right)=\mathrm{\ξ}(d_x,d_y)={\mathrm{\Σ}}_{x=u_x-w_x}^{u_x+w_x}{\mathrm{\Σ}}_{y=u_y-w_y}^{u_y+w_y}{(I(x,y)-J(x+d_x,y+d_y))}^2---\left(5\right)$

其中，I，J是相邻帧图像之间对应的像元，d表示需要计算的光流，d_x和d_y分别为需要计算的光流在x，y方向上的分量；u_x和u _y 分别为特征点在像元I中在x方向和y方向上的位置；w_x和w_y分别为像元I在x，y方向上的半个窗宽，I(x，y)为像元I在x，y处的图像强度，J(x+d_x，y+d_y)为像元J在(x+d_x，y+d_y)处的图像强度。

在通过公式（5）得到被跟踪像元I的跟踪残差ξ(d)后，通常可以采用梯度下降的方法迭代计算光流。

理想情况下，残差函数ξ(d)相对于待计算的光流d的一阶微分应该为零，如公式（6）所示。

$\frac{\text{\∂\ξ}\left(d\right)}{\∂d}=\begin{array}{c}\left[\begin{array}{cc}0& 0\end{array}\right]\end{array}---\left(6\right)$

在具体计算时，可以通过公式（7）计算的值。

$\frac{\mathrm{d\ξ}\left(d\right)}{\∂d}=-2{\mathrm{\Σ}}_{x=u_x-w_x}^{u_x+w_x}{\mathrm{\Σ}}_{y=u_y-w_y}^{u_y+w_y}(I(x,y)-J(x+d_x,y+d_y))\·\left[\begin{array}{cc}\frac{\∂J}{\∂x}& \frac{\∂J}{\∂y}\end{array}\right]---\left(7\right)$

对J(x+d_x，y+d_y)采用一阶泰勒展开，结果如公式（8）所示。

$\frac{\∂\mathrm{\ξ}\left(d\right)}{\∂d}\≈-2{\mathrm{\Σ}}_{x=u_x-w_x}^{u_x+w_x}{\mathrm{\Σ}}_{y=u_y-w_y}^{u_y+w_y}\left(\begin{array}{c}I(x,y)-J(x,y)-\left[\begin{array}{cc}\frac{\∂J}{\∂x}& \frac{\∂J}{\∂y}\end{array}\right]\end{array},d\right)\·\left[\begin{array}{cc}\frac{\∂J}{\∂x}& \frac{\∂J}{\∂y}\end{array}\right]---\left(8\right)$

矩阵代表图像梯度矢量，可以通过如公式（9）中所示的公式表示。

$\▿I=\left[\begin{array}{c}{I}_x\\ I_y\end{array}\right]={\left[\begin{array}{cc}\frac{\∂J}{\∂x}& \frac{\∂J}{\∂y}\end{array}\right]}^T---\left(9\right)$

其中， $\∀(x,y)\∈[u_x-w_x,u_x+w_x]\×[u_y-w_y,u_y+w_y].$

令δI(x，y)=I(x，y)-J(x，y)代表图像时域微分，

令分别代表图像在x，y方向上的空域微分。

为了减少在光流的迭代过程中的运算量，当图像分解到一定层后，相邻层间图像运动量将变得的足够小，此时可以使用和替代和这一替代是满足光流的假设条件。

基于上述分析，则公式（8）可以重写为公式（10）。

$\frac{1}{2}\frac{\∂\mathrm{\ξ}\left(d\right)}{\∂d}\≈{\mathrm{\Σ}}_{x=u_x-w_x}^{u_x+w_x}{\mathrm{\Σ}}_{y=u_y-w_y}^{u_y+w_y}({\▿I}^{T}d-\mathrm{\δI}){\▿I}^T---\left(10\right)$

基于公式（10），则可以得到公式（11）。

$\frac{1}{2}{\left[\frac{\∂\mathrm{\ξ}\left(d\right)}{\∂d}\right]}^T\≈{\mathrm{\Σ}}_{x=u_x-w_x}^{u_x+w_x}{\mathrm{\Σ}}_{y=u_y-w_y}^{u_y+w_y}\left(\begin{array}{c}\left[\begin{array}{cc}{I}_x^2& {I_{x}I}_y\\ I_x{I}_y& I_y^2\end{array}\right]d-\left[\begin{array}{c}{I}_x\mathrm{\δI}\\ I_y\mathrm{\δI}\end{array}\right]\end{array}\right)---\left(11\right)$

然后，令 $G={\mathrm{\Σ}}_{x=u_x-w_x}^{u_x+w_x}{\mathrm{\Σ}}_{y=u_y-w_y}^{u_y+w_y}\left[\begin{array}{cc}{I}_x^2& I_x{I}_y\\ I_x{I}_y& I_y^2\end{array}\right],$

$b={\mathrm{\Σ}}_{x=u_x-w_x}^{u_x+w_x}{\mathrm{\Σ}}_{y=u_y-w_y}^{u_y+w_y}\left[\begin{array}{c}{I}_x\mathrm{\δI}\\ I_y\mathrm{\δI}\end{array}\right],$

则公式（11）可以重写为如公式（12）。

$\frac{1}{2}{\left[\frac{\∂\mathrm{\ξ}\left(d\right)}{\∂d}\right]}^T\≈\mathrm{Gd}-b---\left(12\right)$

则基于公式（12）可以得到理想的光流矢量d_opt如公式（13）所示。

d_opt=G^-1b                 （13）

在实际计算时，如果想获取光流的精确解，则需要进行迭代计算，即采用公式（14）进行迭代计算。

η^k=G^-1b_k                （14）

其中，G是海森矩阵（Hessian Matrix），b_k是第k次迭代时的梯度加权残差矢量（Gradient-weighted Residual Vector），η^k是第k次迭代时的残差光流。

在获得第k次迭代时的残差光流η^k后，则可以通过公式（15）获取第k次迭代时的估计光流。

v^k=v^k-1+η^k                   （15）

其中，v^k是第k次迭代时的估计光流，v^k-1是第k-1迭代后的估计光流，η^k是第k次迭代时的残差光流。

经过多次迭代后，直到达到符合的收敛条件或迭代次数后，得到光流d如公式（16）所示。

$d={\stackrel{\‾}{v}}^k---\left(16\right)$

其中k表示预设的迭代次数或者达到符合收敛条件的迭代次数，表示迭代次数达到k时计算得到的光流值。

基于公式（16）可以得到在单一尺度的图像上经过多次迭代计算得到的光流，为了实现复杂场景下大幅度运动目标的跟踪，采用图像金字塔的方式实现由粗到精的运动估计，基于上述在单一尺度的图像获取光流的方法，先在粗略尺度的图像上进行迭代计算，将在粗略尺度的图像上计算的结果带入更精细尺度的图像上进行迭代计算，依次类推，最终通过公式（17）获得最终的光流计算结果d_last。

$d_{\mathrm{last}}={\mathrm{\Σ}}_{L=0}^{L_m}{2}^L{d}^L---\left(17\right)$

其中，L是图像金字塔的层级，L∈[0，L_m]，L_m是图像金字塔的最高层数，L=0是表示的是原始图像，d^L是L层计算得到的光流结果。

在通过公式（17）得到当前跟踪像元的光流后，即可以获得其跟踪后的像元的位置，也就是说可以确定跟踪后跟踪窗口所含有的特征点的位置。

步骤S204之后执行步骤S205，判断是否对跟踪窗口内的所有特征点都已进行跟踪。如果是，则执行步骤S207；否则执行步骤S206，选取下一个特征点进行跟踪。

在步骤S206中，从跟踪窗口所含有的特征点中，选取一个未被跟踪过的特征点。当在跟踪窗口内选取一个特征点进行跟踪的时候，可以对其进行标示，用于表示其已被跟踪过。则在执行步骤S206时，可以在跟踪窗口所含有的特征点中选取一个未被标示的特征点用于跟踪。在跟踪窗口内选取特征点的方法可以采用多种方法进行选取，例如，可以采用随机选取的方式进行选取。

步骤S206之后返回执行步骤S204，继续对选取的特征点进行跟踪。

直到跟踪窗口内的所有特征点都已经被跟踪过后，即步骤S205的判断结果为是的时候，则执行步骤S207。

步骤S207，基于所述联合模板对跟踪后跟踪窗口所含有的特征点进行筛选和补充。

为了取得准确的特征点，可以基于由上述步骤所确定的联合模板的信息，对跟踪后跟踪窗口所含有的特征点进行筛选和补充中的至少一种操作。

所述筛选过程可以为从跟踪后跟踪窗口所含有特征点中选择一个特征点，如果所选择的特征点对应在联合模板的数值大于模板阈值，则保留当前所选择的特征点，如果小于所述模板阈值，则将此特征点丢弃。基于此方法，对跟踪后所有的特征点均进行相应的筛选操作。

可以基于联合模板的数值确定所述模板阈值，例如可以在联合模板中数值从高到低的顺序中选择最能代表肤色信息的一定比例的像素点，以所述一定比例中的像素点中的最低的数值作为模板阈值，也即低于所述模板阈值则像素点可能就不能确定为肤色目标。所述模板阈值也可以通过多次实验得到的经验值获得，在此不做限定。

所述补充过程可以为从跟踪窗口中任意选择一个不是特征点的像素点，如果所述像素点距离跟踪窗口内的特征点的距离大于距离阈值，且所述像素点对应在联合模板上的数值大于模板阈值时，则将所述像素点补充为跟踪窗口所含有的特征点。对于补充的特征点的数量可以根据实际跟踪情况、跟踪需求等进行相应的设定，通常，在对特征点进行筛选、补充操作的时候，所筛选和补充的特征点的数量是相同的。

所述距离阈值可以由上述步骤所确定的联合模板的大小所确定。当联合模板比较大时，相应的所述距离阈值的值可以设置的稍大一些，当所述联合模板比较小的时候，则相应的可以设置的适当小一些。

需要说明的是，如果所述距离阈值的值设置的比较小，则获得的特征点相对来说就会比较多，在对进行跟踪的过程中，数据的计算量就会比较大，而如果所述距离阈值的值设置的比较大，则获得的特征点相对来说就会比较少，但如果特征点过少，可能会导致跟踪结果不准确或者跟踪失败，所述距离阈值可以根据联合模板的大小、实际跟踪检测的情况相应的进行调整。在本实施例中，将被补充的特征点和距离阈值进行比较，是为了使得跟踪窗口内的特征点可以均匀分布，为了避免特征点分布的不均匀性造成检测结果的位置的偏移。

在本实施例中，在对跟踪窗口所含有的特征点进行补充时，从跟踪窗口中选择一个像素点，如果所述像素点距离图像的特征点的距离大于距离阈值且所述像素点对应在联合模板上的数值大于模板阈值时，则将所述像素点补充为跟踪窗口所含有的特征点。

在其他实施例中，也可以将距离图像的特征点的距离大于距离阈值的像素点作为补充的特征点，或者将对应在联合模板上的数值大于模板阈值的像素点作为补充的特征点。

在具体实施时，也可以结合实际跟踪检测情况，将所述对跟踪后跟踪窗口所含有的特征点的筛选和补充的方法结合使用，以便得到较好的跟踪检测结果。

执行步骤S208，基于所述跟踪窗口内的特征点的位置对用户的手势进行识别。

在对所述跟踪窗口内的所有的跟踪后跟踪窗口所含有的特征点均进行筛选、补充之后，基于这些特征点的跟踪后的位置信息和跟踪前的位置信息，可以获得特征点跟踪前后的位置变化信息、运动方向变化信息等，基于这些信息可以实现对于用户的手势变化信息，进而可以采用现有技术中的手势识别技术对用户的手势进行识别。

实施例二

在本实施例中，在基于稀疏光流算法对所述特征点进行跟踪之后，基于所述联合模板对跟踪后跟踪窗口所含有的特征点进行筛选和补充中的至少一种操作之前，当跟踪后跟踪窗口所含有的特征点位于预设区域之外时，对所述跟踪后跟踪窗口所含有的特征点重新定位，即对跟踪后跟踪窗口所含有的特征点中可能不符合要求的跟踪点重新定位。在本申请文件中，将跟踪后跟踪窗口所含有的特征点中位于预设区域之外的特征点称为指定特征点。

图3是本实施例提供的基于肤色模板的特征跟踪方法的流程示意图，如图3所示，首先执行步骤S301，基于椭圆肤色模型建立肤色模板。

执行步骤S302，通过Epanechnikov Kernel核函数对所述肤色模板进行加权获得联合模板。

执行步骤S303，获取图像的跟踪窗口内的特征点。

可以基于Shi-Tomasi角点算法获取所述跟踪窗口内的所有特征点。

执行步骤S304，基于图像金字塔的稀疏光流算法对所述跟踪窗口内的特征点进行跟踪。

步骤S301至步骤S304请参考实施例一步骤S201至步骤S204。

步骤S304之后执行步骤S305，判断是否对跟踪窗口内的所有特征点都已进行跟踪。如果是，则执行步骤S307；否则执行步骤S306，选取下一个特征点进行跟踪。

步骤S306之后返回执行步骤S304，继续对选取的特征点进行跟踪。

直到跟踪窗口内的所有特征点都已经被跟踪过后，即步骤S305的判断结果为是的时候，则执行步骤S307。

步骤S307，计算中值特征点。

在对跟踪窗口内所含有的特征点进行跟踪后，对跟踪窗口内的任意一个跟踪后的特征点，分别计算该特征点到其他所有跟踪后跟踪窗口所含有的特征点的距离，并计算该跟踪后的特征点到其他所有跟踪后跟踪窗口所含有的特征点的距离之和，对于每一个跟踪后的特征点都可以得到一个其到其他跟踪后的特征点的距离之和，将到其他跟踪后的特征点的距离之和为最小的特征点作为中值特征点。

执行步骤S308，基于所述中值特征点确定预设区域。

在本实施例中，以跟踪窗口为正方形区域、预设区域为圆形区域为例进行说明，所述预设区域可以是以所述中值特征点为中心的圆形区域，所述圆形区域的半径可以为跟踪窗口的边长值的二分之一长度。

基于在步骤S304中得到的跟踪后的每一个特征点的跟踪结果和在步骤S308中确定的预设区域的范围，在对跟踪窗口内的所有特征点均进行跟踪后，选取一个跟踪后的特征点，执行步骤S309，判断跟踪后的特征点是否处于所述预设区域范围之外。

如果是，则执行步骤S310，否则执行步骤S312。

步骤S310，确定当前特征点为指定特征点，对所述指定特征点重新定位。

在本实施例中，可以通过公式（18）对所述指定特征点重新定位。

N=R×M+（1－R）×N               （18）

在公式（18）中，等号右边的N表示指定特征点在更新（即重新定位）之前的坐标值，等号左边的N表示对所述指定特征点通过公式（16）更新后得到的坐标值，R为更新系数，R的取值范围为0～1之间的数值，M为所述中值特征点的坐标值。

通过步骤S304可以确定指定特征点的位置，即可以确定指定特征点的坐标值，在步骤S307计算中值特征点的过程中，可以确定所述中值特征点的位置，即可以确定所述中值特征点的坐标值。

通过步骤S310可以对当前跟踪后的特征点进行重新定位，之后执行步骤S311，判断是否对跟踪窗口内的所有跟踪后的特征点均已确定，即是否对跟踪窗口内的所有跟踪后的特征点均已判断是否处于预设区域范围之外。如果是，则执行步骤S313；否则执行步骤S312，选取下一个跟踪后跟踪窗口所含有的特征点。

步骤S312，选取下一个跟踪后的特征点。

在步骤S312中，从跟踪窗口所含有跟踪后的特征点中，选取一个未判断过其是否处于预设区域外的特征点。当在跟踪窗口内选取一个跟踪后特征点进行判断的时候，可以对其进行标示，用于表示其已被判断过。则当在执行步骤S312时，可以在跟踪窗口所含有的跟踪后的特征点中选取一个未被标示的特征点用于进行判断其是否处于预设区域外。在跟踪窗口内选取跟踪后的特征点的方法可以采用多种方法进行选取，例如，可以采用随机选取的方式进行选取。

步骤S312之后返回执行步骤S309，判断选取的特征点是否处于所述预设区域范围之外。

直到跟踪窗口内的所有跟踪后的特征点均已被判断是否处于预设区域之外，即步骤S311的判断结果为是的时候，则执行步骤S313。

步骤S313，基于所述联合模板对跟踪后跟踪窗口所含有的特征点进行筛选和补充。

在上述步骤中，可以对跟踪后跟踪窗口所含有的特征点中处于预设区域之外的特征点进行重新定位，之后再执行步骤S313，对跟踪后跟踪窗口所含有的特征点进行筛选和补充。具体筛选和补充的过程请参考实施例一步骤S207。

执行步骤S314，基于所述跟踪窗口内的特征点的位置对用户的手势进行识别。请参考实施例一步骤S208。

需要说明的是，在本实施例中，所述重新定位的过程为：当确定跟踪后跟踪窗口所含有的特征点为指定特征点，对所述指定特征点重新定位，之后再选取下一个跟踪后跟踪窗口所含有的特征点，判断其是否处于预设区域之外，即判断其是否是指定特征点，如果是，则再对该指定特征定进行重新定位，依次类推，直到对所有的跟踪后跟踪窗口所含有的特征点均进行相应的操作。在其他实施例中，也可以对跟踪后跟踪窗口所含有的所有特征点依次判断其是否为指定特征点，在确定了所有的指定特征点后，再依次对所有的指定特征点进行重新定位，具体方式在此不作限定。

另外，在本实施例中，在对当前帧图像的跟踪窗口的特征点进行重定位的过程中，采用的方法是在当前帧图像的跟踪窗口内依次选取特征点进行跟踪，直到所有的特征点均进行跟踪后，再基于所有特征点的跟踪结果确定中值特征点和预设区域，进而判断所有跟踪后跟踪窗口所含有的特征点中是否有处于预设区域之外的特征点，对跟踪后跟踪窗口所含有的特征点中处于预设区域外的特征点重新定位，之后再基于跟踪后跟踪窗口所含有的特征点对用户的手势进行识别。在其他实施例中，中值特征点和预设区域也可以基于上一帧图像的特征点的跟踪结果确定，在对当前帧图像的进行特征跟踪时，也可以选取当前帧图像的跟踪窗口内的一个特征点进行跟踪，并判断当前帧中该跟踪后的特征点是否位于基于上一帧图像特征点跟踪结果所确定的预设区域之外，如果是，则对其进行重新定位，否则再选取当前帧跟踪窗口内其它特征点进行跟踪，基于该特征点的跟踪结果和基于上一帧图像的特征点跟踪结果所确定的预设区域，判断其是否需要重新定位，依次类推，直到对所有的特征点均进行相应的操作。

在本实施例中，对跟踪后跟踪窗口所含有的特征点处于预设区域之外的特征点进行重定位，可以提高特征点的准确性，提高跟踪结果的准确性，进而再对跟踪后跟踪窗口所含有的特征点进行筛选和补充的操作，使得特征点的准确性可以进一步提高，而且可以实时对跟踪窗口所含有的特征点进行调整，使得用于跟踪的特征点，在满足跟踪条件的前提下，特征点的数量可以得到有效控制，在提高特征点的准确性以及提高跟踪结果的准确性的同时，还可以使得光流迭代计算过程中的计算量有效减少，提高跟踪检测速度。

实施例三

在本实施例中，在获取图像的跟踪窗口所含有的特征点之后，基于稀疏光流算法对所述特征点进行跟踪之前，基于本发明技术方案所提供的联合模板，对光流法计算中所需要使用的跟踪窗口内所含有的特征点先进行筛选、补充等操作，之后再对跟踪之后的特征点中处于预设区域之外的特征点进行重定位，之后再次基于所述联合模板对跟踪后跟踪窗口所含有的特征点进行筛选、补充操作。

图4是本实施例提供的基于肤色模板的特征跟踪方法的流程示意图，如图4所示，首先执行步骤S401，基于椭圆肤色模型建立肤色模板。

执行步骤S402，通过Epanechnikov Kernel核函数对所述肤色模板进行加权获得联合模板。

执行步骤S403，获取图像的跟踪窗口内的特征点。

可以基于Shi-Tomasi角点算法获取所述跟踪窗口内的所有特征点。

步骤S401至步骤S403，请参考实施例一步骤S201至步骤S203。

执行步骤S404，基于所述联合模板对所述特征点进行筛选和补充。

为了取得准确的跟踪效果，可以基于由上述步骤所确定的联合模板的信息，对步骤S403中所得到的跟踪窗口内的特征点进行筛选和补充中的至少一种操作。

所述筛选过程包括从跟踪窗口所确定的特征点中选择一个特征点，如果所选择的特征点对应在联合模板的数值大于模板阈值，则保留当前所选择的特征点，如果小于所述模板阈值，则将此特征点丢弃。

所述补充过程包括从跟踪窗口中任意选择一个不是特征点的像素点，如果所述像素点距离图像的特征点的距离大于距离阈值，且所述像素点对应在联合模板上的数值大于模板阈值时，则将所述像素点补充为跟踪窗口所含有的特征点。

上述对特征点进行筛选、补充的过程可以参考实施例一步骤S207。

在基于联合模板确定了用于光流算法中的特征点后，则可以执行步骤S405，基于图像金字塔的稀疏光流算法对所述跟踪窗口内的特征点进行跟踪。

步骤S405之后执行步骤S406，判断是否对跟踪窗口内的所有特征点都已进行跟踪。如果是，则执行步骤S408；否则执行步骤S407，选取下一个特征点进行跟踪。

步骤S407之后返回执行步骤S405，继续对选取的特征点进行跟踪。

直到跟踪窗口内的所有特征点都已经被跟踪过后，即步骤S406的判断结果为是的时候，则执行步骤S408。

步骤S405至步骤S407请参考实施例一步骤S204至步骤S206。

步骤S408，计算中值特征点。

对跟踪窗口内的任意一个跟踪后的特征点，计算该跟踪后的特征点到其他所有跟踪后的特征点的距离之和，将到其他跟踪后的特征点的距离之和为最小的特征点作为中值特征点。

执行步骤S409，基于所述中值特征点确定预设区域。

在本实施例中，以跟踪窗口为正方形区域、预设区域为圆形区域为例进行说明，所述预设区域可以是以所述中值特征点为中心的圆形区域，所述圆形区域的半径可以为跟踪窗口的边长值的二分之一长度

基于在步骤S405中得到的跟踪后的每一个特征点的跟踪结果和在步骤S409中确定的预设区域的范围，在对跟踪窗口内的所有特征点均进行跟踪后，选取一个跟踪后跟踪窗口所含有的特征点，执行步骤S410，判断跟踪后跟踪窗口所含有的特征点是否处于所述预设区域范围之外。通过此步骤判断当前跟踪后跟踪窗口所含有的特征点是否在所述预设区域的范围之外。

如果是，则执行步骤S411，否则执行步骤S413。

步骤S411，确定当前特征点为指定特征点，对所述指定特征点重新定位。

可以基于公式（18）对所述指定特征点重新定位。

通过步骤S411可以对当前跟踪后跟踪窗口所含有的特征点进行重新定位，之后执行步骤S412，判断是否对跟踪窗口内的所有跟踪后的特征点均已确定，即是否对跟踪窗口内的所有跟踪后的特征点均已判断是否处于预设区域范围之外。如果是，则执行步骤S414；否则执行步骤S413，选取下一个跟踪后跟踪窗口所含有的特征点。

步骤S413，选取下一个跟踪后的特征点。

步骤S413之后返回执行步骤S410，判断选取的特征点是否处于所述预设区域范围之外。

直到跟踪窗口内的所有跟踪后的特征点均已被判断是否处于预设区域之外，即步骤S412的判断结果为是的时候，则执行步骤S414。

步骤S414，基于所述联合模板对跟踪后跟踪窗口所含有的特征点进行筛选和补充。

执行步骤S415，基于所述跟踪窗口内的特征点的位置对用户的手势进行识别。

步骤S408至步骤S415请参考实施例二步骤S307至步骤S314。

需要说明的是，在本实施例中，在跟踪窗口内的所有特征点都已经被跟踪过后，即步骤S406的判断结果为是的时候，通过步骤S408至步骤S413，对跟踪之后的特征点中处于预设区域之外的特征点进行重定位，之后再基于步骤S414和步骤S415对跟踪窗口所含有的特征点再次基于所述联合模板进行筛选、补充操作。在其他实施例中，也可以在跟踪窗口内的所有特征点都已经被跟踪过后，即步骤S406的判断结果为是的时候，直接执行步骤S414和步骤S415对跟踪窗口所含有的特征点再次基于所述联合模板进行筛选、补充操作，而不对跟踪后跟踪窗口所含有的特征点进行重定位的操作，对于跟踪后跟踪窗口所含有的特征点可以进行重定位的操作，也可以不进行重定位的操作，在此不作限定。

在本实施例中，在基于稀疏光流算法对所述特征点进行跟踪之前，通过对跟踪窗口所含有的特征点进行筛选、补充的操作，可以实时对跟踪窗口所含有的特征点进行调整，使得参与光流计算的特征点，在满足跟踪条件的前提下，特征点的数量可以得到有效控制，在提高特征点的准确性以及提高跟踪结果的准确性的同时，还可以使得光流迭代计算过程中，计算量有效减少，提高跟踪检测速度。

实施例四

在本实施例中，在采集到图像，建立肤色模板之前，先对所采集的图像进行校正，之后再采用如实施例三所述的基于肤色模板的特征跟踪方法对特征点进行跟踪。

在对运动目标进行跟踪时，采集的图像的色彩空间可以为RGB空间、HSV空间以及YCrCb空间等，这些空间之间是可以相互转换的，采集的图像的色彩信息受到光照、图像采集设备的性能等的影响，可能会出现色彩偏离实际色彩的情况，比如拍摄的图像太暗、色彩偏向于某一种色彩等情况出现，因此在基于采集的图像进行肤色建模前，通常会对用于建立肤色模板的图像的进行校正。在本实施例中，在校正的过程中将图像中比较亮的部分像素的亮度值作为参考色，将整个图像的亮度值均按着参考色的标准进行调整。

图5是本实施例提供的基于肤色模板的特征跟踪方法的流程示意图，如图5所示，首先执行步骤S501，对所采集的图像进行校正。

在校正的过程中，通常可以从图像中选取亮度值相对比较大的一部分像素点，比如从图像的像素点中，按照亮度值从高到低的顺序，从中选择一定比例的像素点，例如选取5%～15%的像素点用于图像的校正，其中所选取出的像素点的数目应该足够多，以便用于后续的肤色检测。举例来说，在本实施例中，可以按照从高到低的顺序选取所述所有像素点中的前5%的像素点用于图像校正，即可以将所述5%的像素点的亮度的均值作为“参考白色”，如果所采集的图像是RGB空间的图像，可以既将5%的像素点的R、G、B分量均调整为255，按照5%的像素点的R、G、B的变化尺度对图像的其它像素点的R、G、B值进行相应的调整。

可以通过公式（19）获取参考白色的灰度值。

$M\left(\mathrm{top}\right)=\frac{\underset{m=L}{\overset{255}{\mathrm{\Σ}}}m\×f\left(m\right)}{\underset{m=L}{\overset{255}{\mathrm{\Σ}}}f\left(m\right)}---\left(19\right)$

其中，M(top)为校正参数，m为像素点的灰度值，m的取值范围为[L，255]，L为灰度阈值，f(m)为图像中灰度值为m的像素点的个数。

所述灰度阈值是由图像中亮度值大于亮度阈值的像素点的个数占图像总像素点个数的比例确定的。

如上所述，当按照从高到低的顺序选取所述所有像素点中的前5%的像素点时，即可确定这5%的像素点所对应亮度值中的最低值，以所述亮度值的最低值作为亮度阈值，由于图像的亮度级别即可以对应图像灰度值，所以由此亮度阈值可以相应确定所述灰度阈值。

基于公式（19）计算得到的校正参数M（top），通过公式（20）对图像中的每一个像素点，获取校正后的该像素点的颜色值Y(new)，其中，Y(old)是校正前的该像素点的颜色值。

$Y\left(\mathrm{new}\right)=\left(\frac{Y\left(\mathrm{old}\right)}{M\left(\mathrm{top}\right)}\right)\×255---\left(20\right)$

在对所采集的图像通过公式（19）和公式（20）进行校正之后，执行步骤S502，将校正后的图像转换到YCbCr空间。

由于在YCbCr空间中，Y表示亮度，Cb和Cr是颜色差别信号，代表色度，而在不同的光照条件下，虽然物体的颜色的亮度会产生很大的差异，但是色度在很大范围内具有稳定性，基本保持不变，而且，现有技术中，也有相关的研究结果表明，人类的肤色在YCbCr空间中的分布相对比较集中，即肤色的聚类特性，不同种族之间的颜色的差异主要是由亮度引起，而与颜色属性无关，所以利用此特性，可以将图像像素分为肤色和非肤色像素，所以在本实施例中，为了可以提高人力检测的准确性，将图像从普遍采用的RGB空间转换到YCbCr空间中。

图像从RGB空间转换到YCbCr空间可以采用现有技术中的多种方法进行转换，在此不作限定。

在对所采集的图像通过步骤S501和步骤S502图像进行校正处理后，则执行步骤S503，在步骤S503中，执行如实施例三所描述的步骤S401至步骤S415。

在步骤S503中，基于步骤S501和步骤S502对用于建立模板的图像的校正结果，建立相应的联合模板，在对特征点跟踪的过程中，在获取图像的跟踪窗口所含有的特征点之后，基于稀疏光流算法对所述特征点进行跟踪之前，基于本发明技术方案所提供的联合模板，对光流法计算中所需要使用的跟踪窗口内所含有的特征点先进行筛选、删除等操作，之后再对跟踪之后的特征点中处于预设区域之外的特征点进行重定位，并对跟踪后跟踪窗口所含有的特征点再次基于所述联合模板进行筛选、补充操作。

需要说明的是，在本实施例中，在对所采集的图像通过步骤S501和步骤S502图像进行校正处理后，执行如实施例三所描述的步骤S401至步骤S415。可以理解，在其他实施例中，也可以在建立肤色模板之前对所采集的图像进行校正。例如，对于实施例一，在步骤S501和步骤S502之后，再执行如实施例一所描述的步骤S201至步骤S208；对于实施例二，在步骤S501和步骤S502之后，再执行如实施例二所描述的步骤S301至步骤S314。

在本实施例中，在建立肤色模板之前，对图像进行校正，在校正的过程3将图像中比较亮的部分像素的亮度值作为参考色，将整个图像的亮度值均按着参考色的标准进行调整，可以有效消除色度空间中亮度因素对图像的影响，可以使得图像有效应对光照变化，减少光照变化对跟踪结果的影响。

实施例五

在本实施例中，在基于所述联合模板对跟踪前所述跟踪窗口所含有的特征点进行筛选、补充操作之后，基于稀疏光流算法对所述特征点进行跟踪之前，对所述特征点进行光照补偿。

图6是本发明实施例五提供的基于肤色模板的特征跟踪方法的流程示意图，如图6所示，首先执行步骤S601，对所采集的图像进行校正。

执行步骤S602，将校正后的图像转换到YCbCr空间。

步骤S601和步骤S602请参考实施例四步骤S501和步骤S502。在其他实施例中，也可以不执行步骤S601和步骤S602。

执行步骤S603，基于椭圆肤色模型建立肤色模板。

执行步骤S604，通过Epanechnikov Kernel核函数对所述肤色模板进行加权获得联合模板。

执行步骤S605，获取图像的跟踪窗口内的特征点。

可以基于Shi-Tomasi角点算法获取所述跟踪窗口内的所有特征点。

步骤S603至步骤S605，请参考实施例一步骤S201至步骤S203。

执行步骤S606，基于所述联合模板对所述特征点进行筛选和补充。

步骤S606请参考实施例三步骤S404。

执行步骤S607，对跟踪窗口内所含有的特征点所在像元进行光照补偿。

在本实施例中，可以采用与偏置、增益相关的线性变化进行光照补偿，在确定了增益系数和偏置系数后，就可以通过公式（21）对跟踪窗口内所含有的特征点所在像元进行光照补偿。

J_n=λ×J+δ                 （21）

其中，λ是所述特征点的亮度的增益系数，δ是所述特征点的亮度的偏置系数，J为所述特征点补偿前的亮度值，J_n为所述特征点补偿后的亮度值。在本实施例中，以特征点所在像元计算光流，所以上述公式中相应的各参数的意义可以理解为：λ是所述特征点所在像元的亮度的增益系数，δ是所述特征点所在像元的亮度的偏置系数，J为所述特征点所在像元补偿前的亮度值，J_n为所述特征点所在像元补偿后的亮度值。

所述增益就是对亮度放大的值，偏置就是对亮度值要增加或者减少的值，所述特征点所在像元的亮度的增益系数、亮度的偏置系数的获取，在保证J和J_n具有相同的均值、方差的条件下，可以采用本领域技术人员所知晓的多种方法获得。

在对跟踪窗口内所含有的特征点所在像元进行光照补偿后，则执行步骤S608，在步骤S608中，执行如实施例三所描述的步骤S405至步骤S415。

在步骤S608中，对跟踪窗口内所含有的特征点进行跟踪，在跟踪的过程中，基于稀疏光流算法对所述特征点进行跟踪之前，基于本发明技术方案所提供的联合模板，对光流法计算中所需要使用的跟踪窗口内所含有的特征点先进行筛选、删除等操作，之后再对跟踪之后的特征点中处于预设区域之外的特征点进行重定位，之后对跟踪后跟踪窗口所含有的再次基于所述联合模板进行筛选、补充操作。

在本实施例中，在光流的迭代计算之前，对任一特征点所在的像元进行光照补偿，可以有效地对不同光照条件下的图像进行调整，提高不同光照条件下特征点跟踪的准确性和稳定性。

实施例六

在本实施例中，在获取图像的跟踪窗口所含有的特征点之后，基于稀疏光流算法对所述特征点进行跟踪之前，对所述特征点进行光照补偿。

图7是本发明实施例六提供的基于肤色模板的特征跟踪方法的流程示意图，如图7所示，首先执行步骤S701，基于椭圆肤色模型建立肤色模板。

执行步骤S702，通过Epanechnikov Kernel核函数对所述肤色模板进行加权获得联合模板。

执行步骤S703，获取图像的跟踪窗口内的特征点。

步骤S701和步骤S703请参考实施例一步骤S201和步骤S203。

执行步骤S704，对跟踪窗口内所含有的特征点所在像元进行光照补偿。

步骤S704请参考实施例五步骤S607。

执行步骤S705，基于图像金字塔的稀疏光流算法对所述跟踪窗口内的特征点进行跟踪。

步骤S705之后执行步骤S706，判断是否对跟踪窗口内的所有特征点都已进行跟踪。如果是，则执行步骤S708；否则执行步骤S707，选取下一个特征点进行跟踪。

步骤S707之后返回执行步骤S705，继续对选取的特征点进行跟踪。

直到跟踪窗口内的所有特征点都已经被跟踪过后，即步骤S706的判断结果为是的时候，则执行步骤S708。

步骤S708，基于所述联合模板对跟踪后跟踪窗口所含有的特征点进行筛选和补充。

执行步骤S709，基于所述跟踪窗口内的特征点的位置对用户的手势进行识别。

步骤S705和步骤S709请参考实施例一步骤S204和步骤S208。

在本实施例中，在获取图像的跟踪窗口所含有的特征点之后，对所述特征点进行光照补偿，之后再基于稀疏光流算法对所述特征点进行跟踪，可以有效地对不同光照条件下的图像进行调整，提高不同光照条件下特征点跟踪的准确性和稳定性。

综上所述，本发明技术方案在对运动目标跟踪过程中，基于通过核函数进行加权处理后所得到的联合模板信息，以及通过稀疏光流算法对跟踪窗口所含有的特征点进行跟踪的结果信息，对跟踪后跟踪窗口所含有的特征点进行筛选和补充中的至少一种操作。在对特征点跟踪的过程中，可以基于联合模板所获取的颜色特征信息，以及光流算法所得到的运动信息，对跟踪窗口所含有的特征点进行筛选、补充的操作，可以实时对跟踪窗口所含有的特征点进行调整，有效提高特征点的准确性，提高跟踪结果的准确性。此方法是一种结合运动目标的颜色特征信息、纹理特征信息和运动信息的跟踪方法，可以处理复杂场景、光照变化、运动目标姿态变化等复杂条件的对跟踪结果的影响，具有很好的鲁棒性。

虽然本发明披露如上，但本发明并非限定于此。任何本领域技术人员，在不脱离本发明的精神和范围内，均可作各种更动与修改，因此本发明的保护范围应当以权利要求所限定的范围为准。

Claims (26)

1.一种基于肤色模板的特征跟踪方法，其特征在于，包括：

建立肤色模板；

通过核函数对所述肤色模板进行加权处理，以获得联合模板；

获取图像的跟踪窗口所含有的特征点；

基于稀疏光流算法对所述特征点进行跟踪；

基于所述联合模板对跟踪后跟踪窗口所含有的特征点进行筛选和补充中的至少一种操作。

2.如权利要求1所述的基于肤色模板的特征跟踪方法，其特征在于，还包括：在建立肤色模板之前，对用于建立肤色模板的图像进行校正。

3.如权利要求2所述的基于肤色模板的特征跟踪方法，其特征在于，所述对用于建立肤色模板的图像进行校正的过程包括：

通过公式获取校正参数M(top)，其中，m为像素点的灰度值，L为灰度阈值，f(m)为图像中灰度值为m的像素点的个数，所述灰度阈值是由图像中亮度值大于亮度阈值的像素点的个数占图像总像素点个数的比例确定的；

对图像中的每一个像素点，通过公式获取校正后的该像素点的颜色值Y(new)，其中，Y(old)是校正前的该像素点的颜色值。

4.如权利要求1所述的基于肤色模板的特征跟踪方法，其特征在于，所述建立肤色模板包括基于椭圆肤色模型或者高斯肤色模型中的任意一种模型建立肤色模板。

5.如权利要求1所述的基于肤色模板的特征跟踪方法，其特征在于，所述核函数包括Epanechnikov核函数和高斯核函数中的任意一种。

6.如权利要求1所述的基于肤色模板的特征跟踪方法，其特征在于，所述通过核函数对所述肤色模板进行加权处理，以获得联合模板的过程包括：

通过公式 $\mathrm{KM}(i,j)=1\frac{{(i-\frac{a}{2})}^2+{(j-\frac{b}{2})}^2}{{\left(\frac{a}{2}\right)}^2+{\left(\frac{b}{2}\right)}^2}$ 获得加权模板KM，其中，i，j分别为加权模板内像素点在X方向上、Y方向上的索引值，a，b分别为核函数在X方向、Y方向上的窗宽；

通过公式对肤色模板进行加权，以获得联合模板，其中JM为联合模板，SM为肤色模板，KM为加权模板，表示对SM和KM中相同位置的值进行乘积运算。

7.如权利要求1所述的基于肤色模板的特征跟踪方法，其特征在于，所述获取跟踪窗口所含有的特征点的过程包括：

通过下述公式获取图像的跟踪窗口内的所有像素点的自相关矩阵：

$M(x,y)=\left[\begin{array}{cc}\underset{-K\≤i,j\≤K}{\mathrm{\Σ}}{w}_{i,j}{I}_x^2& \underset{-K\≤i,j\≤K}{\mathrm{\Σ}}{w}_{i,j}{I}_x{I}_y\\ \underset{-K\≤i,j\≤K}{\mathrm{\Σ}}{w}_{i,j}{I}_x{I}_y& \underset{-K\≤i,j\≤K}{\mathrm{\Σ}}{w}_{i,j}{I}_y^2\end{array}\right],$ 其中，M(x,y)表示坐标为(x,y)的像素点的自相关矩阵，i，j为跟踪窗口内的像素点分别在X方向和Y方向上的索引值，w(i,j)为在X方向上的索引值为i、在Y方向上的索引值为j处的像素点的权重值，K为所述跟踪窗口的二分之一宽度值，I_x和I_y分别是X方向索引值为i、在Y方向上的索引值为j处的像素点在X方向上偏导数值和在Y方向上的偏导数值；

基于所述像素点的自相关矩阵，获取所述像素点的自相关矩阵的最大特征值和最小特征值；

当λ(min)>A×λ(max)时，确定所述像素点为跟踪窗口所含有的特征点；或者，当λ(min)>A×λ(max)时，且所述像素点距离其它已确定的特征点的距离大于距离阈值时，确定所述像素点为跟踪窗口所含有的特征点；其中λ(max)为所述像素点的自相关矩阵的最大特征值，λ(min)为所述像素点的自相关矩阵的最小特征值，A为特征阈值，基于联合模板的大小确定所述距离阈值。

8.如权利要求7所述的基于肤色模板的特征跟踪方法，其特征在于，所述特征阈值的取值为0.001～0.01。

9.如权利要求1所述的基于肤色模板的特征跟踪方法，其特征在于，还包括：在获取图像的跟踪窗口所含有的特征点之后，基于稀疏光流算法对所述特征点进行跟踪之前，基于所述联合模板对跟踪前所述跟踪窗口所含有的特征点进行筛选和补充中的至少一种操作。

10.如权利要求1或9所述的基于肤色模板的特征跟踪方法，其特征在于，对所述跟踪窗口所含有的特征点进行筛选的过程包括：

从跟踪窗口所含有的特征点中选择一个特征点，如果所选择的特征点对应在联合模板的数值大于模板阈值，则保留当前所选择的特征点，基于联合模板的数值确定所述模板阈值。

11.如权利要求1或9所述的基于肤色模板的特征跟踪方法，其特征在于，对所述跟踪窗口所含有的特征点进行补充的过程包括：

从跟踪窗口中选择一个像素点，如果所述像素点距离跟踪窗口内的特征点的距离大于距离阈值且所述像素点对应在联合模板上的数值大于模板阈值时，则将所述像素点补充为跟踪窗口所含有的特征点，基于联合模板的大小确定所述距离阈值，基于联合模板的数值确定所述模板阈值。

12.如权利要求1所述的基于肤色模板的特征跟踪方法，其特征在于，还包括：在获取图像的跟踪窗口所含有的特征点之后，基于稀疏光流算法对所述特征点进行跟踪之前，对所述特征点进行光照补偿。

13.如权利要求9所述的基于肤色模板的特征跟踪方法，其特征在于，还包括：在基于所述联合模板对跟踪前所述跟踪窗口所含有的特征点进行筛选和补充中的至少一种操作之后，基于稀疏光流算法对所述特征点进行跟踪之前，对所述特征点进行光照补偿。

14.如权利要求12或13所述的基于肤色模板的特征跟踪方法，所述对所述特征点进行光照补偿包括：

基于公式J_n=λ×J+δ对所述跟踪窗口所含有的特征点进行光照补偿，其中，λ是所述特征点的亮度的增益系数，δ是所述特征点的亮度的偏置系数，J为所述特征点补偿前的亮度值，J_n为所述特征点补偿后的亮度值。

15.如权利要求1所述的基于肤色模板的特征跟踪方法，其特征在于，还包括：在基于稀疏光流算法对所述特征点进行跟踪之后，基于所述联合模板对跟踪后跟踪窗口所含有的特征点进行筛选和补充中的至少一种操作之前，当跟踪后跟踪窗口所含有的特征点位于预设区域之外时，对所述跟踪后跟踪窗口所含有的特征点重新定位，所述预设区域为以中值特征点为中心的区域，所述中值特征点为所述跟踪后跟踪窗口所含有的特征点中与其它所有跟踪后跟踪窗口所含有的特征点的距离的和为最小的特征点。

16.如权利要求15所述的基于肤色模板的特征跟踪方法，其特征在于，所述对所述跟踪后跟踪窗口所含有的特征点重新定位的过程包括：

通过公式N=R×M+（1－R）×N对所述跟踪后跟踪窗口所含有的特征点重新定位，其中，N为所述跟踪后跟踪窗口所含有的特征点的坐标值，R为更新系数，R的取值范围为0～1之间的数值，M为所述中值特征点的坐标值。

17.如权利要求15所述的基于肤色模板的特征跟踪方法，其特征在于，所述预设区域为以中值特征点为中心、以跟踪窗口的边长值的二分之一长度为半径的圆形区域。

18.如权利要求1所述的基于肤色模板的特征跟踪方法，其特征在于，所述稀疏光流算法为图像金字塔光流算法。

19.如权利要求1所述的基于肤色模板的特征跟踪方法，其特征在于，还包括：在基于所述联合模板对跟踪后跟踪窗口所含有的特征点进行筛选和补充中的至少一种操作后，基于所述跟踪窗口内的特征点的跟踪结果对用户的手势进行识别。

20.一种基于肤色模板的特征跟踪装置，其特征在于，包括：

建立单元，适于建立肤色模板；

加权单元，适于通过核函数对所述肤色模板进行加权处理，以获得联合模板；

获取单元，适于获取图像的跟踪窗口所含有的特征点；

跟踪单元，适于基于稀疏光流算法对所述特征点进行跟踪；

第一筛选和补充单元，适于基于所述联合模板对跟踪后跟踪窗口所含有的特征点进行筛选和补充中的至少一种操作。

21.如权利要求20所述的基于肤色模板的特征跟踪装置，其特征在于，还包括：校正单元，适于在建立肤色模板之前，对用于建立肤色模板的图像进行校正。

22.如权利要求20所述的基于肤色模板的特征跟踪装置，其特征在于，还包括：第二筛选和补充单元，适于在获取图像的跟踪窗口所含有的特征点之后，基于稀疏光流算法对所述特征点进行跟踪之前，基于所述联合模板对跟踪前所述跟踪窗口所含有的特征点进行筛选和补充中的至少一种操作。

23.如权利要求20所述的基于肤色模板的特征跟踪装置，其特征在于，还包括：第一补偿单元，适于在获取图像的跟踪窗口所含有的特征点之后，基于稀疏光流算法对所述特征点进行跟踪之前，对所述特征点进行光照补偿。

24.如权利要求22所述的基于肤色模板的特征跟踪装置，其特征在于，还包括：第二补偿单元，适于在基于所述联合模板对跟踪前所述跟踪窗口所含有的特征点进行筛选和补充中的至少一种操作之后，基于稀疏光流算法对所述特征点进行跟踪之前，对所述特征点进行光照补偿。

25.如权利要求20所述的基于肤色模板的特征跟踪装置，其特征在于，还包括：重定位单元，适于在基于稀疏光流算法对所述特征点进行跟踪之后，基于所述联合模板对跟踪后跟踪窗口所含有的特征点进行筛选和补充中的至少一种操作之前，当跟踪后跟踪窗口所含有的特征点位于预设区域之外时，对所述跟踪后跟踪窗口所含有的特征点重新定位，所述预设区域为以中值特征点为中心的区域，所述中值特征点为所述跟踪后跟踪窗口所含有的特征点中与其它所有跟踪后跟踪窗口所含有的特征点的距离的和为最小的特征点。

26.如权利要求20所述的基于肤色模板的特征跟踪装置，其特征在于，还包括：识别单元，适于在基于所述联合模板对跟踪后跟踪窗口所含有的特征点进行筛选和补充中的至少一种操作后，基于所述跟踪窗口内的特征点的跟踪结果对用户的手势进行识别。