CN103389799A - 一种对手指尖运动轨迹进行跟踪的方法 - Google Patents

Abstract

本发明公开了一种对手指尖运动轨迹进行跟踪的方法，包括检测各帧图像中的指尖的位置的步骤以及将当前帧中的指尖与前一帧中的指尖进行关联的步骤，在关联进行跟踪时，利用前一帧中的指尖的检测位置以及计算得到的指尖的速度和加速度，从而预测得到当前帧中的相应指尖的位置，作为预测位置；通过预测位置，使当前帧中的指尖与距离其最近的预测位置处指尖关联，进而关联至上一帧中相应的指尖，实现运动轨迹的跟踪。由于通过前一帧的信息预测得到预测位置，使得预测位置与当前帧中检测到的相对应的指尖的位置非常接近，这样通过预测位置作为中间过渡量实现关联，可使当前帧中的指尖较准确地关联至前一帧中相应的指尖，提高了指尖跟踪的准确性。

Description

一种对手指尖运动轨迹进行跟踪的方法

【技术领域】

本发明涉及图像处理与分析技术，特别是涉及一种对手指尖运动轨迹进行跟踪的方法。

【背景技术】

随着人机交互技术的发展和智能电视、智能手机等智能终端设备的普及，简单、自然、直观的人机交互方式越来越受到人们的欢迎。基于视觉的人机交互方式直接通过视频采集用户信息（比如人脸、步态、手势等），具有简单自然的优点，从而成为当前的一个热点研究方向。

在传统的人机交互过程中，人们通过鼠标、键盘、触摸屏等物理设备实现与设备之间的交互，但无法满足人们对简单、自然、直观的要求。例如，在强调自动化、智能化和网络化的家居环境中，使用鼠标、键盘、遥控器乃至触摸屏对家电设备进行控制都将给用户带来诸多不便。

基于指尖的人机交互通过识别用户指尖的位置或轨迹来实现人机交互，为用户提供了一种更便捷的交互模式，不仅能显著提升用户体验，而且还降低了用户对硬件设备的依赖程度，在机器人控制、虚拟现实、消费类电子产品、医疗卫生、视频游戏以及智能家居等诸多领域得到越来越广泛的应用。

指尖运动轨迹的跟踪主要分为基于数据手套的指尖跟踪和基于视频的指尖跟踪。基于数据手套的指尖跟踪需要用户在识别的过程中始终佩戴一种类似于手套的特殊设备，设备昂贵而且使用起来非常不方便，只能适用于某些特定的场合。基于视频的指尖跟踪可以分为基于特殊摄像头的指尖跟踪和基于普通摄像头的指尖跟踪。基于特殊摄像头的指尖跟踪采用红外摄像头、立体摄像头等特殊摄像头，由于特殊摄像头价格比较昂贵，因此无法实现广泛应用。基于普通摄像头的指尖跟踪分为基于标记的指尖跟踪和基于裸手的指尖跟踪。基于标记的指尖跟踪需要在手指或指尖上做特定的标记，以便于分割提取。虽然基于标记的指尖跟踪通过辅助设备提高了指尖跟踪的精度，但是影响了人机之间交互的自然直观。基于裸手的指尖跟踪具有直观便捷的优点，是目前国内外的研究趋势。

当前，基于裸手的指尖轨迹跟踪通常假设用户的手臂被衣服等遮盖，没有充分考虑手臂裸露时对指尖跟踪的干扰。而对于多目标的指尖跟踪，目前常用的方法为将当前帧中检测的指尖位置与上一帧中距离其最近的指尖相关联。这种方法虽然简单，但是当指尖运动幅度较大时，将会导致关联错误。

【发明内容】

本发明所要解决的技术问题是：弥补上述现有技术的不足，提出一种对手指尖运动轨迹进行跟踪的方法，可以避免指尖运动幅度过大时导致指尖的关联失误。

本发明的技术问题通过以下的技术方案予以解决：

一种对手指尖运动轨迹进行跟踪的方法，包括以下步骤：1）利用摄像装置获取手指运动时的连续多帧图像，检测得到各帧图像中的指尖的位置，作为检测位置X_i=((x₁,y₁),(x₂,y₂)B(x_j,y_j))，其中i表示帧数，j表示指尖的数目，（x_j，y_j）表示第j个指尖的检测位置；2）针对各帧图像中的指尖，将其与前一帧图像中相应的指尖进行关联；具体为：以当前帧为第i帧图像说明：21）使用前三帧图像得到的指尖的检测位置，计算得到指尖的加速度和各帧图像中指尖的速度；22）根据步骤21）得到的所述加速度和第i-1帧图像中指尖的速度，以及第i-1帧图像中指尖的检测位置，预测第i帧图像中指尖的位置，得到第i帧图像中指尖的预测位置X_i′=((x₁′,y₁′),(x₂′,y₂′)B(x′_j,y_j′))；23）针对各个指尖，检测得到与其欧式距离最小的预测位置相应的指尖，进而得到第i帧图像中各个指尖在第i-1帧图像中的相应指尖；24）针对各个指尖，将第i帧图像中各个指尖与第i-1帧图像中的相应指尖进行关联，得到各个指尖的运动轨迹。

本发明与现有技术对比的有益效果是：

本发明的对手指尖运动轨迹进行跟踪的方法，在指尖跟踪的过程中，先利用前三帧图像中指尖的检测位置预测得到当前帧中指尖的预测位置，则跟踪时，通过检测位置与预测位置的欧式距离最小的判断方法从而关联预测位置处相应的指尖，进而关联到前一帧中相应的指尖。由于通过前一帧的信息预测得到预测位置，使得预测位置与当前帧中检测到的相对应的指尖的位置非常接近，这样借助预测位置关联，相对于现有技术中直接由当前帧关联前一帧，可以避免指尖运动幅度过大时导致的关联失误，提高了指尖跟踪的准确性，增强了系统的鲁棒性。

【附图说明】

图1是本发明具体实施方式的对手指尖运动轨迹进行跟踪的方法的流程图；

图2是本发明具体实施方式的步骤1）中检测图像中指尖的检测位置的方法流程图；

图3是本发明具体实施方式的步骤13）中通过计算曲率检测指尖点的坐标位置时的方法流程图；

图4是本发明具体实施方式的步骤13）中通过计算曲率检测指尖点的坐标位置时的一种优选方法流程图；

图5是本发明具体实施方式的步骤13）中通过计算曲率检测指尖点的坐标位置时的另一种优选方法流程图。

【具体实施方式】

下面结合具体实施方式并对照附图对本发明做进一步详细说明。

如图1所示，为本具体实施方式中的对手指尖运动轨迹进行跟踪的方法的流程图，方法包括以下步骤：

1）利用摄像装置获取手指运动时的连续多帧图像，检测得到各帧图像中的指尖的位置。用X_i=((x₁,y₁),(x₂,y₂)B(x_j,y_j))表示各指尖的检测位置，其中i表示帧数，j表示指尖的数目，（x_j，y_j）表示第j个指尖的检测位置。

具体地，如图2所示，为步骤1）中检测图像中指尖的检测位置的方法流程图，包括以下步骤：

11）针对获取的各帧图像，提取图像中运动信息和肤色信息，得到各帧图像对应的包含运动信息的二值图像和包含肤色信息的二值图像。

在本具体实施方式中，摄像装置获取的视频图像为基于RGB颜色空间的彩色图像。获取包含运动信息的二值图像时，通过对视频图像中的连续三帧进行三帧差分来检测当前帧中运动目标本身的变化区域，得到运动目标的运动信息。具体为按照如下公式（1），公式（2）和公式（3）计算得到三帧差分图F_k(x,y)。其中I_k(x,y)是获取的第k帧图像中像素点（x，y）处的像素值，T_o为二值化时设定的阈值，D_k(x,y)是二帧差分图。

$D_k(x,y)=\left\{\begin{array}{c}0,\mathrm{if}|I_k(x,y)-I_{k-1}(x,y)|\≤T_o\\ 255,\mathrm{if}|I_k(x,y)-I_{k-1}(x,y)|>T_o\end{array}\right.---\left(1\right)$

$D_{k+1}(x,y)=\left\{\begin{array}{c}0,\mathrm{if}|I_{k+1}(x,y)-I_k(x,y)|\≤T_o\\ 255,\mathrm{if}|I_{k+1}(x,y)-I_k(x,y)|>T_o\end{array}\right.---\left(2\right)$

F_k(x,y)=D_k(x,y)&D_k+1(x,y)   （3）

根据上述公式可得，二帧差分图D_k(x,y)为二值图像，其中较明亮的目标区域反映的是当前帧中像素值相对于上一帧中像素值变化较大，运动的像素点；同样，二帧差分图D_k+1(x,y)也为二值图像，其中较明亮的目标区域反映的是下一帧中像素值相对于当前帧中像素值变化较大，运动的像素点。通过两个二帧差分图“与”运算后得到三帧差分图，其也为二值图像，明亮的目标区域即为两次差分过程中均有运动的像素点。通过前后两次差分后与运算得到的运动信息的二值图像，更能精确地反应当前帧图像中的运动信息，得到的包含运动信息的二值图像更精确。

获取包含肤色信息的二值图像时，首先根据转换公式（4）将视频图像从RGB颜色空转换为YCrCb颜色空间：

$\left[\begin{array}{c}Y\\ \mathrm{Cb}\\ \mathrm{Cr}\end{array}\right]=\left[\begin{array}{c}16\\ 128\\ 128\end{array}\right]+\left[\begin{array}{ccc}65.418& 128.553& 24.966\\ -37.797& -74.203& 112.000\\ 112.000& -93.786& -18.214\end{array}\right]\left[\begin{array}{c}R\\ G\\ B\end{array}\right]---\left(4\right)$

在YCrCb颜色空间，Y代表光照分量，Cr和Cb表示色调信息，即是要获取的肤色信息。由于各种族的肤色对应的参数Cr和Cb的取值的范围不同，因此需要根据图像中肤色设置二值化阈值范围，将满足阈值范围的像素点作为目标点，将其余点作为背景点，得到二值化图像。例如，如摄取的图像中的手指肤色为黄色人种的手指，则Cr值的范围通常为[133,173]，Cb值的范围通常为[77,127]，因此上述转换后，将Cr值在[133,173]范围，Cb值在[77,127]范围内的像素点的灰度值取255，其余不满足该范围条件的像素点的灰度值取0，从而得到包含肤色信息的二值图像。

12）针对各帧图像，对包含运动信息的二值图像和包含肤色信息的二值图像进行与操作，得到各帧图像对应的包含手部区域的二值图像。

此步骤，即是根据运动信息和肤色信息进行前景分割，获得包含手部区域的二值图像。优选地，该步骤中还包括对得到的二值图像进行形态学处理去除噪音的过程。如，利用形态学中的腐蚀来消除二值图像中的孤立的小区域，利用形态学中的膨胀来消除二值图像中的孤立的小空洞。通过形态学处理去除噪音，从而得到比较光滑的包含手部区域的二值图像，提高后续跟踪处理的准确性。

13）针对各帧图像，对获得的包含手部区域的二值图像进行轮廓提取，通过计算曲率的方法检测得到各帧图像中的指尖的检测位置。指尖的检测位置使用标记X_i=((x₁,y₁),(x₂,y₂)B(x_j,y_j))表示，其中i表示帧数，j表示指尖的数目，（x_j，y_j）表示第j个指尖的检测位置，即图像中包括j个指尖，需要分别得到这j个指尖的位置坐标（x，y）。

具体地，步骤13）进行轮廓提取时，采用如下方法：寻找步骤12）中得到的二值图像中周长最大的轮廓，若该轮廓的周长值大于设定的阈值，则以该轮廓为提取的轮廓，继续进行后续的处理过程；若该轮廓的周长值小于设定的阈值，则认为前景分割出错，重新进行步骤11）至12）。

步骤13）提取到轮廓后，计算曲率检测指尖点的坐标位置时，优选地，按照如图3所示的方法进行：

131）计算轮廓上各个点的曲率，将曲率大于设定阈值的点作为指尖候选点。

具体地，以点Q为例说明，对于点Q处的两个向量，第一个向量为

第二个向量为

其中，Q1点为候选点Q沿轮廓向前的第N个点，Q2点为候选点Q沿轮廓向后的第N个点，其中N的取值范围为5～20，则点Q的曲率为向量

和向量

的夹角θ的余弦值，如公式（5）所示：

$\cos \mathrm{\θ}=\frac{\stackrel{\→}{{\mathrm{QQ}}_1}\·\stackrel{\→}{{\mathrm{QQ}}_2}}{\left|\stackrel{\→}{{\mathrm{QQ}}_1}\right|\left|\stackrel{\→}{{\mathrm{QQ}}_2}\right|}---\left(5\right)$

计算出轮廓上所有点的曲率后，设定一个阈值范围，将曲率满足阈值要求的点构成一个集合，作为指尖的候选点。由于指尖出相邻两个向量的夹角较小，因此其余弦值较大，例如设定阈值为0.8，当某点的曲率大于0.8时，即将该点作为指尖候选点。当然，此处阈值的具体取值，需要根据N值的大小以及多次测试后根据用户经验设置，上述仅距离说明，并不是唯一的阈值设定值。

由于除了指尖附近的轮廓点曲率较大之外，位于两指之间的凹槽处，手掌与手臂的连接处，以及手臂与衣服等背景的分割处等的轮廓点也有较大的曲率，但其为干扰点。也即，通过曲率计算，判断的方法，会将指尖处的点，两指间凹槽处，手背与手臂的连接处，手臂与衣服等背景的分割处的点作为候选点保留。为了避免误判，应配合后续的去除干扰点的步骤将除指尖外的干扰点排除掉。

132）距离变换法去除干扰点：

a）对步骤12）中得到的包含手部区域的二值图像进行距离变换，得到距离变换后的距离图像。其中，距离变换是针对二值图像的一种变换。在二维空间中，一幅二值图像可以认为仅含目标和背景两种像素，目标像素值为1，背景像素值为0。距离变换的结果不是另一幅二值图像，而是一幅灰度级图像，即距离图像，图像中每个像素的灰度值为该像素与距其最近的背景像素间的距离。通常，距离越近，灰度值越小；距离越远，灰度值越大。

b）将距离图像转换为二值图像，并提取该二值图像的轮廓。转换时，设置转换阈值，例如[80,255]，则将灰度值在[80,255]范围内的像素作为明亮的目标点，将灰度值不在上述范围内的像素作为较暗的背景点，从而得到距离变换后的二值图像。

通过距离变换后，即可将步骤12）中包含手部区域的二值图像中手指细长区域去除掉，留下手背区域。如果图像中有手臂裸露区域以及衣服颜色和肤色很接近的区域，也会被留下。

c）计算步骤131）中得到的指尖候选点到步骤b）中得到的二值图像的轮廓的最小距离，若最小距离大于设定的阈值，则保留该指尖候选点；若最小距离小于设定的阈值，则去除该指尖候选点。

具体地，如果步骤131）中确定的指尖候选点为A1，A2，A3，A4，B1，B2，B3，B4，B5，C1，C2，C3，C4。则分别计算上述各点到步骤b）中二值图像的轮廓的最小距离，如候选点为指尖上的点，则其距离步骤b）中二值图像（手背区域，手臂裸露区域）的轮廓的最小距离会较大；如候选点为手背与手臂的连接处，以及手臂与衣服等背景的分割处等的凸出处的干扰点，则其距离步骤b）中二值图像的轮廓的最小距离会较小。因此设置阈值，对于最小距离大于阈值的点，则保留作为候选点；对于最小距离小于阈值的点，则作为干扰点排除掉。

通过上述距离转换方法的处理，即可以排除掉手背与手臂的连接处，以及手臂与衣服等背景的分割处等的凸出处的干扰点。

133）将剩余的指尖候选点进行聚类，得到各个指尖对应的指尖候选点，将各个指尖对应的指尖候选点的坐标位置取平均值作为相应指尖的坐标位置，从而得到各个指尖的坐标位置。

具体地，如果步骤132）距离变换法去除掉干扰点后，剩余的指尖候选点分别为A1，A2，B1，B3，B4，C2，C3和C4，如果指尖候选点对应同一指尖，则指尖候选点的坐标位置相近，因此，根据这一原则，将坐标位置相近的点聚类，得到各个指尖对应的指尖候选点。如食指指尖，对应的候选点为A1，A2；中指指尖，对应的候选点为B1，B3，B4；无名指指尖，对应的候选点为C2，C3和C4。将候选点A1和A2的坐标位置中x坐标取平均值，y坐标取平均值，得到食指指尖的坐标位置（x₁，y₁）。类似地，将候选点B1，B3和B4的坐标位置取平均值，得到中值指尖的坐标位置（x₂，y₂）。将候选点为C2，C3和C4的坐标位置取平均值，得到无名指指尖的坐标位置（x₃，y₃）。综上，即得到各个指尖的检测位置(x₁,y₁),(x₂,y₂)B(x_j,y_j)。

本具体实施方式中，优选地，按照上述步骤131）-133）检测各个指尖的位置，检测过程中，采用曲率的方法来确定候选指尖点，通过距离变换的方法排除干扰指尖点，并对剩余的候选指尖点进行聚类得到指尖的位置，从而对于手臂裸露以及衣服的颜色和肤色很接近的情况下，依然可以排除掉干扰点，增强了系统的鲁棒性。通过上述方法检测指尖位置时，可不再要求必须让手臂被衣服遮盖，及时手臂裸露，也可实现检测跟踪，从而扩大了人机交互系统的应用范围。

在检测过程中进一步优选地，如图4和图5所示，步骤133）之前还包括步骤132’）向量叉乘法去除干扰点：a’）取步骤131）获得指尖候选点处的两个向量，以指尖候选点P为例说明，第一个向量为

第二个向量为

其中，P1点为候选点P沿轮廓向前的第N个点，P2点为候选点P沿轮廓向后的第N个点；其中N的取值范围为5～20；b’）计算各指尖候选点处的两个向量的叉乘，根据叉乘结果选择需要保留的指尖候选点。选择时，按照如下两种情况进行选择：

第一种情况：轮廓的方向为逆时针方向，且取垂直于图像平面（纸面、屏幕等轮廓所在的平面）朝向用户的方向为正方向时，若指尖候选点处的叉乘值大于0，则保留该指尖候选点；若叉乘值小于0，则去除该指尖候选点。这是因为：若轮廓的方向为逆时针方向，则轮廓上凸出处点的向量

和向量的叉乘方向是垂直于平面（纸面、屏幕等轮廓所在的平面）朝向用户；凹槽处点的向量

和向量

的叉乘方向是垂直于平面（纸面、屏幕等轮廓所在的平面）远离用户。取垂直于平面（纸面、屏幕等轮廓所在的平面）朝向用户的方向为正方向，则轮廓上指尖等凸出处点的向量的叉乘大于零，凹槽处点的向量的叉乘小于零。通过计算候选点处两个向量的叉乘，并去除叉乘值小于零的点，即排除掉位于两指之间的凹槽处，手掌与手臂的连接处，以及手臂与衣服等背景的分割处等的凹槽处的干扰点。

第二种情况：轮廓的方向为顺时针方向，且取垂直于图像平面（纸面、屏幕等轮廓所在的平面）朝向用户的方向为正方向时，若指尖候选点处的叉乘值大于0，则去除该指尖候选点；若叉乘值小于0，则保留该指尖候选点。这是因为：若轮廓的方向为顺时针方向，则轮廓上凸出处点的向量

和向量的叉乘方向是垂直于平面（纸面、屏幕等轮廓所在的平面）远离用户；凹槽处点的向量

和向量

的叉乘方向是垂直于平面（纸面、屏幕等轮廓所在的平面）朝向用户。取垂直于平面（纸面、屏幕等轮廓所在的平面）朝向用户的方向为正方向，则轮廓上指尖等凸出处点的向量的叉乘小于零，凹槽处点的向量的叉乘大于零。通过计算候选点处两个向量的叉乘，并除去叉乘值大于零的点，即排除掉位于两指之间的凹槽处，手掌与手臂的连接处，以及手臂与衣服等背景的分割处等的凹槽处的干扰点。

按照上述方式中的指尖候选点的向量叉乘结果去除部分干扰点，即排除掉位于两指之间的凹槽处，手掌与手臂的连接处，以及手臂与衣服等背景的分割处等的凹槽处的干扰点。上述优选方案中，距离变换法和向量叉乘法共同作用，可全面去除干扰点，提高指尖点检测的准确性。

步骤1）检测得到各帧图像中的指尖的检测位置后，进入步骤2）将各帧图像中的指尖，与前一帧图像中相应的指尖进行关联。继续如图1所示，具体为：

21）使用前三帧图像得到的指尖的检测位置，计算得到指尖的加速度和各帧图中指尖的速度。

具体地，根据如下方式计算得到指尖的加速度和各帧图像中指尖的速度：

$\left\{\begin{array}{c}{X}_{i-1}=X_{i-2}+V_{i-2}\×t+\frac{1}{2}a{t}^2\\ X_{i-2}=X_{i-3}+V_{i-3}\×t+\frac{1}{2}a{t}^2\\ V_{i-2}=V_{i-3}+\mathrm{at}\\ V_{i-1}=V_{i-2}+\mathrm{at}\end{array}\right.$

其中，X_i-1、X_i-2和X_i-3分别为第i-1帧、第i-2帧、第i-3帧图像中的指尖的检测位置，Vi-1、Vi-2和Vi-3分别为第i-1帧、第i-2帧、第i-3帧图像中的指尖的速度，t为两帧图像拍摄的间隔时间，a为指尖运动的加速度。上述4个方程式中，参量X_i-1、X_i-2和X_i-3均在步骤1）中检测得到，拍摄间隔时间t是已知的，即可求解得到未知的速度参量Vi-1、Vi-2和Vi-3以及加速度a。

22）根据步骤21）得到的所述加速度和第i-1帧图像中指尖的速度，以及第i-1帧图像中指尖的检测位置，预测第i帧图像中指尖的位置，得到第i帧图像中指尖的预测位置。

具体地，由于步骤21）中已求解得到第i-1帧图像中指尖的速度Vi-1，加速度a，且第i-1帧图像中指尖的检测位置X_i-1和间隔时间t是已知的，因此根据位移计算公式，可预测得到该指尖的预测位置X_i’：

根据该公式，即第1个指尖预测得到第1个预测位置，第2个指尖得到第2个预测位置，……，第j个指尖得到第j个预测位置，即X_i-1中j个元素分别一一对应预测得到X_i’中j个元素，((x₁′,y₁′),(x₂′,y₂′)B(x_j′,y_j′)。

23）针对各个指尖，检测得到与其欧式距离最小的预测位置相应的指尖，进而得到第i帧图像中各个指尖在第i-1帧图像中的相应指尖。

24）针对各个指尖，将第i帧图像中各个指尖与第i-1帧图像中的相应指尖进行关联，得到各个指尖的运动轨迹。

具体为：以当前帧中第j个指尖说明，步骤1）中已检测得到其检测位置（x_j，y_j），步骤22）中预测得到各个指尖的预测位置((x₁′,y₁′),(x₂′,y₂′)B(x_j′,y_j′)，计算该检测位置与各个预测位置之间的欧式距离

得到欧式距离最小值对应的预测位置为第k个指尖的预测位置，如当前为第j个指尖，其距离第k个指尖的预测位置的欧式距离最小，则该第k个指尖即为第j个指尖相应的预测指尖，该第i-1帧图像中的第k个指尖即为当前第j个指尖的相应指尖。相应地，步骤24）中将第i帧图像中的第j个指尖与第i-1帧图像中的第k个指尖相关联，即得到第j个指尖的运动轨迹。对j个指尖分别检测欧式距离最小值，获得对应的预测指尖，进而获得对应的上一帧的相应指尖，将j个指尖与各自相应的上一帧的相应指尖关联起来，从而实现了多个指尖的跟踪。

本具体实施方式通过摄像头得到视频图像，获得视频图像帧中的运动信息和肤色信息，根据获得的运动信息和肤色信息提取包含手部区域的二值图像，然后从包含手部区域的二值图像中检测用户的指尖，并实现指尖的跟踪。上述跟踪过程中，使用预测位置作为中间过渡，将当前帧中的指尖与上一帧中的相应指尖关联，实现运动轨迹的跟踪。

由于利用摄像装置进行视频采集的过程中，帧与帧之间的时间间隔t的值很小，比如若摄像装置的视频采集频率为25帧每秒，帧与帧之间的时间间隔t为40毫秒。在t这一短时间段内，指尖运动的加速度几乎不发生变化或变化很小，因此根据前一帧的信息预测得到的当前帧中指尖的预测位置，与当前帧中检测到的相对应的指尖的位置非常接近。指尖运动过程中，由于指尖运动的速度、加速度的存在，当前帧中检测到的指尖的位置与前一帧中检测到的相对应的指尖的位置存在一定的距离。如果指尖的运动幅度较大时，相应指尖之间的欧式距离不一定是最小的，如果按现有技术中当前帧直接关联前一帧，则会导致关联失误。例如，当前帧的食指错误关联至前一帧的中指，当前帧的中值错误关联至前一帧的无名指等等。但如果按本具体实施方式中借助预测位置关联，由于当前帧中指尖的预测位置与实际的位置较为接近，因此可准确关联出相应的指尖（食指关联预测位置相应的食指，中指关联预测位置相应的中指等等），而各指尖的预测位置均是根据上一帧中的相应指尖的检测位置计算得到，因此借助预测位置，使得当前帧中的指尖能关联至上一帧中相应的指尖（食指关联上一帧中的食指，中指关联上一帧中的中指等等），从而避免了指尖运动幅度过大时直接由当前帧关联前一帧而导致的关联失误，提高了指尖跟踪的准确性，增强了系统的鲁棒性。

以上内容是结合具体的优选实施方式对本发明所作的进一步详细说明，不能认定本发明的具体实施只局限于这些说明。对于本发明所属技术领域的普通技术人员来说，在不脱离本发明构思的前提下做出若干替代或明显变型，而且性能或用途相同，都应当视为属于本发明的保护范围。

Claims (10)

1.一种对手指尖运动轨迹进行跟踪的方法，其特征在于：包括以下步骤：

1）利用摄像装置获取手指运动时的连续多帧图像，检测得到各帧图像中的指尖的位置，作为检测位置X_i=((x₁,y₁),(x₂,y₂)B(x_j,y_j))，其中i表示帧数，j表示指尖的数目，（x_j，y_j）表示第j个指尖的检测位置；

2）针对各帧图像中的指尖，将其与前一帧图像中相应的指尖进行关联；具体为：以当前帧为第i帧图像说明：

21）使用前三帧图像得到的指尖的检测位置，计算得到指尖的加速度和各帧图像中指尖的速度；

22）根据步骤21）得到的所述加速度和第i-1帧图像中指尖的速度，以及第i-1帧图像中指尖的检测位置，预测第i帧图像中指尖的位置，得到第i帧图像中指尖的预测位置X_i′=((x₁′,y₁′),(x₂′,y2_′)B(x′_j,y_j′))；

23）针对各个指尖，检测得到与其欧式距离最小的预测位置处相应的指尖，进而得到第i帧图像中各个指尖在第i-1帧图像中的相应指尖；

24）针对各个指尖，将第i帧图像中各个指尖与第i-1帧图像中的相应指尖进行关联，得到各个指尖的运动轨迹。

2.根据权利要求1所述的对手指尖运动轨迹进行跟踪的方法，其特征在于：所述步骤21）中根据如下方式计算得到指尖的加速度和各帧图像中指尖的速度：

$\left\{\begin{array}{c}{X}_{i-1}=X_{i-2}+V_{i-2}\×t+\frac{1}{2}a{t}^2\\ X_{i-2}=X_{i-3}+V_{i-3}\×t+\frac{1}{2}a{t}^2\\ V_{i-2}=V_{i-3}+\mathrm{at}\\ V_{i-1}=V_{i-2}+\mathrm{at}\end{array}\right.$

其中，X_i-1、X_i-2和X_i-3分别为第i-1帧、第i-2帧、第i-3帧图像中的指尖的检测位置，Vi-1、Vi-2和Vi-3分别为第i-1帧、第i-2帧、第i-3帧图像中的指尖的速度，t为两帧图像拍摄的间隔时间，a为指尖运动的加速度。

3.根据权利要求1所述的对手指尖运动轨迹进行跟踪的方法，其特征在于：所述步骤22）中，根据如下方式计算得到指尖的预测位置X_i’：

其中，a为所述加速度，Vi-1为第i-1帧图像中指尖的速度，X_i-1为第i-1帧图像中指尖的检测位置，t为两帧图像拍摄的间隔时间。

4.根据权利要求1所述的对手指尖运动轨迹进行跟踪的方法，其特征在于：所述步骤23）具体为：以当前指尖为第j个指尖说明，计算步骤1）中得到的第i帧图像第j个指尖的检测位置（x_j，y_j）与步骤22）中得到的第i帧图像各个指尖的预测位置的欧式距离，得到欧式距离最小值对应的预测位置为第k个指尖的预测位置，该第k个指尖即为第j个指尖相应的预测指尖，该第i-1帧图像中的第k个指尖即为当前第j个指尖的相应指尖。

5.根据权利要求4所述的对手指尖运动轨迹进行跟踪的方法，其特征在于：所述步骤24）中将第i帧图像中的第j个指尖与第i-1帧图像中的第k个指尖相关联，得到第j个指尖的运动轨迹。

6.根据权利要求1所述的对手指尖运动轨迹进行跟踪的方法，其特征在于：所述步骤1）包括以下步骤：

11）针对获取的各帧图像，提取图像中运动信息和肤色信息，得到各帧图像对应的包含运动信息的二值图像和包含肤色信息的二值图像；

12）针对各帧图像，对包含运动信息的二值图像和包含肤色信息的二值图像进行与操作，得到各帧图像对应的包含手部区域的二值图像；

13）针对各帧图像，对获得的包含手部区域的二值图像进行轮廓提取，通过计算曲率的方法检测得到各帧图像中的指尖的检测位置X_i=((x₁,y₁),(x₂,y₂)B(x_j,y_j))，其中i表示帧数，j表示指尖的数目，（x_j，y_j）表示第j个指尖的检测位置。

7.根据权利要求6所述的对手指尖运动轨迹进行跟踪的方法，其特征在于：所述步骤13）中计算曲率检测得到检测位置时，具体包括如下步骤：

131）计算轮廓上各个点的曲率，将曲率大于设定阈值的点作为指尖候选点；

132）距离变换法去除干扰点：a）对步骤12）中得到的包含手部区域的二值图像进行距离变换，得到距离变换后的距离图像；b）将距离图像转换为二值图像，并提取该二值图像的轮廓；c）计算步骤131）中得到的指尖候选点到步骤b）中得到的二值图像的轮廓的最小距离，若最小距离大于设定的阈值，则保留该指尖候选点；若最小距离小于设定的阈值，则去除该指尖候选点；

133）将剩余的指尖候选点按照坐标位置进行聚类，得到各个指尖对应的指尖候选点，将各个指尖对应的指尖候选点的坐标位置取平均值作为相应指尖的坐标位置，从而得到各个指尖的坐标位置(x₁,y₁),(x₂,y₂)B(x_j,y_j))。

8.根据权利要求7所述的对手指尖运动轨迹进行跟踪的方法，其特征在于：所述步骤133）之前还包括步骤132’）向量叉乘法去除干扰点：a’）取步骤131）获得指尖候选点处的两个向量，以指尖候选点P为例说明，第一个向量为

第二个向量为

其中，P1点为候选点P沿轮廓向前的第N个点，P2点为候选点P沿轮廓向后的第N个点；其中N的取值范围为5～20；b’）计算各指尖候选点处的两个向量的叉乘，根据向量的叉乘结果选择需要保留的指尖候选点。

9.根据权利要求7所述的对手指尖运动轨迹进行跟踪的方法，其特征在于：所述步骤131）根据如下方法计算得到各个点的曲率：以点Q为例说明，对于点Q处的两个向量，第一个向量为

第二个向量为

其中，Q1点为候选点Q沿轮廓向前的第N个点，Q2点为候选点Q沿轮廓向后的第N个点，则点Q的曲率为向量

和向量

的夹角的余弦值；其中N的取值范围为5～20。

10.根据权利要求6所述的对手指尖运动轨迹进行跟踪的方法，其特征在于：所述步骤13）中进行轮廓提取时，采用如下方法：寻找步骤12）中得到的二值图像中周长最大的轮廓，若该轮廓的周长值大于设定的阈值，则以该轮廓为提取的轮廓；若该轮廓的周长值小于设定的阈值，则认为出错，重新进行步骤11）至12）。

Images