CN103336967B - 一种手部运动轨迹检测方法及装置 - Google Patents

Abstract

本发明公开了一种手部运动轨迹检测方法，用于通过对关键手形的识别进行手部运动轨迹的检测，该方法包括：预先建立关键手形的分类器集合；接收采集到的某一时刻的输入图像；利用分类器集合检测该时刻的输入图像中是否包含关键手形；当输入图像中包含关键手形，获得该时刻的手部位置信息；根据预定时间段内已获得的若干时刻的手部位置信息，通过跟踪获得在预定时间段内其他时刻的手部位置信息；根据预定时间段内每一时刻的手部位置信息，按照时间顺序生成手部运动轨迹。本发明还公开了一种手部运动轨迹检测装置。

Description

一种手部运动轨迹检测方法及装置

技术领域

本发明涉及计算机技术领域，具体涉及一种手部运动轨迹检测方法及装置。

背景技术

随着计算机技术的发展，计算机在人们的日常生活中扮演着越来越重要的角色，人机交互技术的研究热潮逐渐涌现。用手势输入来代替键盘、鼠标或按钮是一种更加直观、高效并且易于掌握的人机交互技术。因为这种交互方式更符合人们的自然习惯，所以基于手势识别的应用也越来越多。手势识别一般分为静态手势识别和动态手势识别。静态手势识别主要是识别静止的手的形状，动态手势识别主要是通过手部的运动轨迹来识别手势命令。

在现有技术中，对手部运动轨迹的检测方法包括要求手部以固定的形状运动进行轨迹检测，例如，手掌张开向上正对着摄像设备运动进行检测；或者进行指尖检测，以指尖的运动轨迹来代替手的运动轨迹。但是，现有技术的手部检测方法对用户的使用手形进行了强制要求，对于人在自然挥动过程中其他丰富变化的手形无法识别，从而给用户的使用带来不便，并且以指尖代替手的运动轨迹检测时也无法区别指尖还是手掌中握着的一只笔的笔尖，从而导致检测出的运动轨迹并不是手的真正运动轨迹。另外，现有技术中只能检测手部被识别到之后的手部运动轨迹，该运动轨迹可能并不是用户输入的完整手部运动轨迹，存在检测到的手部运动轨迹存在误差的问题。

发明内容

有鉴于此，本发明的主要目的是提供一种手部运动轨迹检测方法及装置，以解决现有技术中需要以固定的手形运动进行手部运动轨迹检测的问题。

为解决上述问题，本发明提供的技术方案如下：

一种手部运动轨迹检测方法，包括：

预先建立关键手形的分类器集合；

接收采集到的某一时刻的输入图像；

利用所述分类器集合检测该时刻的输入图像中是否包含关键手形；

当所述输入图像中包含关键手形，获得该时刻的手部位置信息；

根据预定时间段内已获得的若干时刻的手部位置信息，通过跟踪获得在所述预定时间段内其他时刻的手部位置信息；

根据所述预定时间段内每一时刻的手部位置信息，按照时间顺序生成手部运动轨迹。

相应的，所述预先建立关键手形的分类器集合，包括：

选取手势图像序列中特征清晰的手部图像；

对所述手部图像运用聚类算法进行分类，分为多个关键手形，建立关键手形的分类器集合。

相应的，所述根据预定时间段内已获得的若干时刻的手部位置信息，通过跟踪获得在所述预定时间段内其他时刻的手部位置信息，包括：

判断某一时刻是否获得手部位置信息，如果某一时刻获得手部位置信息，则判断该时刻之前的一个时刻是否获得手部位置信息，如果该时刻之前的一个时刻没有获得手部位置信息，则利用跟踪算法倒序跟踪获得该时刻之前的一个时刻的手部位置信息；

如果某一时刻没有获得手部位置信息，则判断该时刻之前的一个时刻是否获得手部位置信息，如果该时刻之前的一个时刻获得手部位置信息，则利用跟踪算法正序跟踪获得该时刻的手部位置信息。

相应的，还包括：

如果某一时刻获得手部位置信息，则判断以该时刻之前的一个时刻为终点的时间段内的手部位置信息是否是利用跟踪算法正序跟踪获得的，如果是，对该时间段内的手部位置信息进行调整。

相应的，所述根据所述预定时间段内每一时刻的手部位置信息，按照时间顺序排列生成手部运动轨迹，包括：

所述手部位置信息为代表手部位置的矩形框的位置信息，选取代表手部位置的矩形框的中心点位置作为该时刻的手部位置参考点，将所述预定时间段内每一时刻的手部位置参考点按照时间顺序排列生成手部运动轨迹。

一种手部运动轨迹检测装置，包括：

建立单元，用于预先建立关键手形的分类器集合；

接收单元，用于接收采集到的某一时刻的输入图像；

检测单元，用于利用所述分类器集合检测该时刻的输入图像中是否包含关键手形；

第一获得单元，用于当所述输入图像中包含关键手形，获得该时刻的手部位置信息；

第二获得单元，用于根据预定时间段内已获得的若干时刻的手部位置信息，通过跟踪获得在所述预定时间段内其他时刻的手部位置信息；

生成单元，用于根据所述预定时间段内每一时刻的手部位置信息，按照时间顺序生成手部运动轨迹。

相应的，所述建立单元包括：

选取子单元，用于选取手势图像序列中特征清晰的手部图像；

分类子单元，用于对所述手部图像运用聚类算法进行分类，分为多个关键手形，建立关键手形的分类器集合。

相应的，所述第二获得单元包括：

第一判断子单元，用于判断某一时刻是否获得手部位置信息，如果某一时刻获得手部位置信息，则判断该时刻之前的一个时刻是否获得手部位置信息，如果该时刻之前的一个时刻没有获得手部位置信息，则利用跟踪算法倒序跟踪获得该时刻之前的一个时刻的手部位置信息；

第二判断子单元，用于如果某一时刻没有获得手部位置信息，则判断该时刻之前的一个时刻是否获得手部位置信息，如果该时刻之前的一个时刻获得手部位置信息，则利用跟踪算法正序跟踪获得该时刻的手部位置信息。

相应的，所述第二获得单元还包括：

第三判断子单元，用于如果某一时刻获得手部位置信息，则判断以该时刻之前的一个时刻为终点的时间段内的手部位置信息是否是利用跟踪算法正序跟踪获得的，如果是，对该时间段内的手部位置信息进行调整。

相应的，所述生成单元具体用于：

所述手部位置信息为代表手部位置的矩形框的位置信息，选取代表手部位置的矩形框的中心点位置作为该时刻的手部位置参考点，将所述预定时间段内每一时刻的手部位置参考点按照时间顺序排列生成手部运动轨迹。

由此可见，本发明具有如下有益效果：

本发明通过预先建立关键手形的分类器集合，可以识别用户手部自然挥动过程中的关键手形，对用户手形并不进行规定，方便用户使用；同时通过跟踪可以获得预定时间段内每一时刻的手部位置信息，从而实现手部运动轨迹的生成，解决了手部运动轨迹检测过程中手形多变的问题。另外，本发明利用倒序跟踪的方法可以获得在预定时间段内手部位置被第一次识别之前的时间段内的手部位置信息，解决了手部运动轨迹记录不完整的问题。

附图说明

图1为本发明手部运动轨迹检测方法的流程图；

图2为本发明手部运动轨迹检测方法实施例的流程图；

图3为本发明实施例对输入图像进行缩放处理的示意图；

图4为本发明实施例获得手部位置信息的示意图；

图5为本发明实施例获得手部候选区域图像的示意图；

图6为本发明实施例对手部候选区域图像进行缩放处理的示意图；

图7为本发明手部运动轨迹检测方法实施例的流程图；

图8为本发明实施例跟踪获得手部位置信息的示意图；

图9为本发明实施例生成手部运动轨迹的示意图；

图10为本发明手部运动轨迹检测装置的示意图。

具体实施方式

为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本发明实施例作进一步详细的说明。

本发明手部运动轨迹检测方法及装置，是针对现有技术中需要以固定的手形运动进行手部运动轨迹检测的问题，提出预先建立关键手形的分类器集合，对输入图像中的关键手形进行识别，利用预定时间段内获得的若干时刻的关键手形的手部位置信息，跟踪获得预定时间段内全部时刻的手部位置信息，以实现对手部运动轨迹的检测。

基于上述思想，参见图1所示，本发明手部运动轨迹检测方法包括以下步骤：

步骤101：预先建立关键手形的分类器集合。

用户在做手势的运动过程中经常会出现一些特定的手的形状，例如手掌向前手指方向向上、伸出一个手指向上或握拳等等，因此可以设定一些关键手形，利用基于Haar-like特征的级联Adaboost分类器的训练算法，训练若干个识别关键手形的分类器组成一个分类器集合，该分类器集合可以为Adaboost分类器集合。同样的，也可以采用SVM算法训练分类器。

步骤102：接收采集到的某一时刻的输入图像。

由摄像机或红外相机进行手部输入图像的采集，采集当前时刻的输入图像。可以每间隔30ms采集一帧输入图像，该输入图像可以为彩色图像。

步骤103：利用分类器集合检测该时刻的输入图像中是否包含关键手形。

步骤104：当输入图像中包含关键手形，获得该时刻的手部位置信息。

步骤105：根据预定时间段内已获得的若干时刻的手部位置信息，通过跟踪获得在预定时间段内其他时刻的手部位置信息。

步骤106：根据预定时间段内每一时刻的手部位置信息，按照时间顺序生成手部运动轨迹。

经过手部运动轨迹生成后，可以将获得的手部运动轨迹进行输出。

本发明通过预先建立关键手形的分类器集合，可以识别用户手部自然挥动过程中的关键手形，对用户手形并不进行规定，方便用户使用；同时通过跟踪可以获得预定时间段内每一时刻的手部位置信息，从而实现手部运动轨迹的生成，解决了手部运动轨迹检测过程中手形多变的问题。

基于上述实施例，预先建立关键手形的分类器集合的过程可以包括：

选取手势图像序列中特征清晰的手部图像；

对所述手部图像运用聚类算法进行分类，分为多个关键手形，建立关键手形的分类器集合。

其中，关键手形的选取方法如下：由于手部在运动过程中由于运动过快并且手离相机的距离很近的原因，会产生图像拖影模糊等现象。因此，需要选取手势图像序列中特征清晰的手部图像来进行识别。

选取手势图像序列中特征清晰的手部图像来进行识别的方法是：同时使用高帧频相机和低帧频的普通相机拍摄同一手势的运动过程；分割出低帧频相机拍摄的视频序列中的手部图像手部矩形框图像。针对每一张手部矩形框图像，在同一时刻的高帧频相机拍摄的图像中利用匹配算法，匹配出与这个手部矩形框图像最像的高帧频相机拍摄的图像上的手部矩形框图像。匹配算法可以使用在高帧频相机拍摄的图像上设置与要搜索的手部矩形框图像相同大小的矩形框，然后将矩形框在高帧频相机拍摄的图像上遍历平移，计算矩形框内的图像与要搜索的手部图像的相同位置的所有像素点的灰度值差值平方和，其中使灰度值差值平方和最小的那个矩形框，就是该手部图像在高帧频相机中拍摄到的同一手部图像。这样得到每一幅手部矩形框图像和对应的它们在高帧频相机中的手部图像。把每一幅低帧频相机中的手部矩形框图像与它对应的高帧频相机中的手部矩形框图像合称为一个图像对。然后，把所有图像缩放到同一大小(例如：40像素x40像素)，计算每一组图像对的灰度值差值平方和，设定一个阈值T，针对每一组图像对，如果他们的灰度值差值平方和小于阈值T，则认为这个图像对中，低帧频相机拍摄的手部矩形框图像即为容易识别的图像。

把所有得到的容易识别的手部矩形框图像进行提取特征，特征可以选用HOG特征，方向梯度直方图(Histogram of Oriented Gradient，HOG)特征在计算机视觉和图像处理中用来进行物体检测的特征描述。然后运用聚类算法，可以选用自适应C均值算法，进行聚类。分成若干类图像，就是这个手势运动过程中有若干个关键手形。聚类算法可以但不限于使用C均值聚类算法。

这样，利用基于Haar-like特征的级联Adaboost分类器的训练算法，可以按照关键手形的个数训练出对应每个关键手形的分类器组成一个分类器集。

具体的，参见图2所示，本发明实施例中利用分类器集合检测该时刻的输入图像中是否包含关键手形，可以包括以下步骤：

步骤201：将某一时刻的输入图像转换为对应的灰度图像。

由于分类器需要在灰度图像上判断是否包括关键手形，因此，需要先将输入的彩色图像转换为灰度图像，若输入图像为灰度图像则不需要进行转换。

步骤202：将灰度图像缩放为一组不同分辨率的灰度图像。

由于分类器可以识别固定大小(例如20像素*20像素)的图像中是否包括关键手形，而通常输入图像中手部的大小有不满足所使用的分类器能够检测关键手形的大小。因此，可以利用金字塔算法将灰度图像缩放为一组不同分辨率的灰度图像，参见图3所示，以使一张原始的输入图像对应的一组不同分辨率的灰度图像中存在手部区域的分辨率满足分类器可以识别的大小(例如20像素x20像素)。

金字塔算法对图像进行缩放的过程可以包括：事先设定每一帧输入图像需要缩放为N个小图像(N值可以设N＝9)。设原图像的宽度为Width₀，高度Height₀，第1张缩小后的小图像的大小与原图像的大小的比值是α，第2-N张图像，每一张图像与上一张图像大小的比值是β，原图像上的任意一点用(x，y)表示(x是当前点的列坐标，y是当前点的行坐标)，其中0≤x≤Width₀，0≤y≤Height₀。再设第i张图像的宽度为Width_i，高度为Height_i(1≤i≤N)，则：

Width_i＝αβ^i-1Width₀

Height_i＝αβ^i-1Heitht₀

设第i张图像上的任意点用(x_i，y_i)表示，其中0≤x_i≤Width_i，0≤y_i≤Height_i。则第i张图像上的任意点(x_i，y_i)在原图像上的坐标为(x_i/(αβ^i-1)，y_i/(αβ^i-1))，其中横纵坐标四舍五入取整。所以如果算第i张图像，只需要把第i张图像上任意点在原图像中的位置算出来，然后从原图像中把这个点取出并放在第i张图像上就可以了。也就是说第i张图像上(x_i，y_i)处像素点颜色值等于原图像上(x_i/(αβ^i-1)，y_i/(αβ^i-1))处像素点颜色值，即可以实现将一张输入图像缩放为对应的不同分辨率的图像。

步骤203：在一组不同分辨率的灰度图像中的一张灰度图像上设置搜索框。

例如设置大小为20像素x20像素的矩形搜索框，初始状态将搜索框放在灰度图像的左上角。

步骤204：提取该搜索框的位置信息。

步骤205：利用Adaboost分类器集合检测搜索框中是否包含关键手形，如果是，进入步骤206，如果否，进入步骤207。

Adaboost分类器主要是在样本中根据共同点进行分类。例如图像左半部分的像素值之和大于右半部分像素值之和为多少，然后把这些共同点记录下来。在分类时只需要看搜索框中的图像的相关信息与这些共同点进行比较，按照满足共同点程度来分类，以检测搜索框中是否包含关键手形。

步骤206：记录该搜索框的位置信息。

位置信息可以包括图像中搜索框左上角的点的起始行和起始列，该搜索框的宽度和高度。

步骤207：判断该搜索框是否为图像上最后一个搜索框，如果是，进入步骤208，如果否，进入步骤209。

步骤208：判断一组不同分辨率的灰度图像是否均被检测，如果是，进入步骤210，如果否，进入步骤211。

通过判断一组不同分辨率的灰度图像是否均被检测，如果否，则执行一组不同分辨率的灰度图像中的一张灰度图像上设置搜索框，直到一组不同分辨率的灰度图像均被检测。

步骤209：在该灰度图像上移动搜索框，返回步骤204。

然后按照从上到下从左到右的规则以一定的步长(例如2个像素)平移，当移动到每一行的尽头后向下平移一定步长的行数(例如2个像素)，然后从该行的最左端重新平移，直到该图像遍历完成。

步骤210：输出记录的全部搜索框的位置信息。

步骤211：选取未被检测的灰度图像，并返回步骤203。

当输入图像中包含关键手形，输出记录的全部搜索框的位置信息，可以获得该时刻的手部位置信息。

可以计算得到每张不同分辨率的灰度图像中记录的搜索框的位置信息在对应的输入图像中的位置信息。

例如如果有在第i张图像上的一个矩形框。设矩形框的左上角点的坐标为(x_r，y_r)，矩形框的宽度为Width_r，高度为Height_r。则这个矩形框在原始输入图像中左上角点坐标为(x_r/(αβ^i-1)，y_r/(αβ^i-1))，宽度为Width_r/(αβ^i-1)，高度为Height_r/(αβ^i-1)。

将全部搜索框的位置信息在对应的输入图像中的位置信息进行合并，获得该时刻的手部位置信息。

具体的合并过程如下，对这些检测成功的搜索框进行两两比较，如果它们之间相交则认为它们是属于同一个手，把它们标为同一个ID。计算相同ID的所有检测成功的搜索框的平均位置，这个平均位置就是检测到的手部位置信息。平均位置计算方法如下：

假设有n个矩形框互相相交，设x_i为第i个矩形框的左上角点的列坐标，y_i为第i个矩形框的左上角点的行坐标，width_i为第i个矩形框的宽度，height_i为第i个矩形框的高度，为所要求取的平均位置矩形框的左上角点的列坐标，为所要求取的平均位置矩形框的左上角点的行坐标，为所要求取的平均位置的宽度，为所要求取的平均位置的高度。则

$\stackrel{\‾}{x}=\underset{i=1}{\overset{n}{\mathrm{\Σ}}}{x}_i$

$\stackrel{\‾}{y}=\underset{i=1}{\overset{n}{\mathrm{\Σ}}}{y}_i$

$\stackrel{\‾}{\mathrm{width}}=\underset{i=1}{\overset{n}{\mathrm{\Σ}}}{\mathrm{width}}_i$

$\stackrel{\‾}{\mathrm{height}}=\underset{i=1}{\overset{n}{\mathrm{\Σ}}}{\mathrm{height}}_i$

参见图4所示，是全部搜索框的位置信息在对应的输入图像中的位置信息进行合并前的示意图，获得该时刻的手部位置信息的示意图。

优选的，可以对输入图像进行手部候选区域的分割，分割出某一时刻的输入图像中的手部候选区域，生成与某一时刻的输入图像对应的手部候选区域图像。

可以利用基于肤色的分割方法，或基于运动差分图的分割对输入图像进行分割。参见图5所示，与输入图像对应的手部候选区域图像为二值图像，其中白色区域就是根据肤色颜色模型分割出的手部候选区域。

将手部候选区域图像利用金字塔算法将手部候选区域图像缩放为一组不同分辨率的手部候选区域图像。参见图6所示，每一张不同分辨率的灰度图像与一张相同分辨率的手部候选区域图像一一对应。

参见图7所示，设已经生成一组不同分辨率的灰度图像以及对应的不同分辨率的手部候选区域图像，本发明实施例中利用分类器集合检测该时刻的输入图像中是否包含关键手形，可以包括以下步骤：

步骤301：在一组不同分辨率的灰度图像中的一张灰度图像上设置搜索框。

步骤302：提取该搜索框的位置信息。

步骤303：提取对应的手部候选区域图像中与该搜索框的位置信息相同的矩形框区域。

步骤304：判断所述矩形框区域是否包含手部候选区域，如果是，进入步骤305，如果否，进入步骤307。

只有在矩形框区域包含手部候选区域时才进行分类器集合检测搜索框中是否包含关键手形，可以加快检测速度。

步骤305：利用Adaboost分类器集合检测搜索框中是否包含关键手形，如果是，进入步骤306，如果否，进入步骤307。

步骤306：记录该搜索框的位置信息。

步骤307：判断该搜索框是否为图像上最后一个搜索框，如果是，进入步骤308，如果否，进入步骤309。

步骤308：判断一组不同分辨率的灰度图像是否均被检测，如果是，进入步骤310，如果否，进入步骤311。

步骤309：在该灰度图像上移动搜索框，返回步骤302。

步骤310：输出记录的全部搜索框的位置信息。

步骤311：选取未被检测的灰度图像，并返回步骤301。

之后同样可以将全部搜索框的位置信息在对应的输入图像中的位置信息进行合并，获得该时刻的手部位置信息。

在本发明实施例中根据预定时间段内已获得的若干时刻的手部位置信息，通过跟踪获得在预定时间段内其他时刻的手部位置信息，可以包括：

判断某一时刻是否获得手部位置信息，如果某一时刻获得手部位置信息，则判断该时刻之前的一个时刻是否获得手部位置信息，如果该时刻之前的一个时刻没有获得手部位置信息，则利用跟踪算法倒序跟踪获得该时刻之前的一个时刻的手部位置信息；

如果某一时刻没有获得手部位置信息，则判断该时刻之前的一个时刻是否获得手部位置信息，如果该时刻之前的一个时刻获得手部位置信息，则利用跟踪算法正序跟踪获得该时刻的手部位置信息。

即可以设预先设定手部运动轨迹的输出时间长度为n，当前时刻为t，则跟踪获得手部位置信息可以分为以下情况：

(1)如果t时刻检测到了手部位置信息，并且t-1时刻这个手部位置信息也已知，则不用运行手部位置跟踪算法。

(2)如果t时刻检测到了手部位置信息，而t-1时刻这个手部位置信息未知。则利用倒序跟踪，根据t时刻手部位置信息跟踪出t-1时刻手部位置信息，然后用同样的方法跟踪出t-2一直到t-n+1时刻的手部位置信息。如果跟踪过程中发现手部跟踪结果离开了图像显示范围，则不用继续跟踪下去。

(3)如果t时刻没有检测到手部位置信息，而t-1时刻检测或跟踪到了手部位置信息，则利用t-1时刻手部位置信息使用正序跟踪方法，跟踪出t时刻手的位置信息。如果跟踪出手部位置信息超出图像显示范围则认为手部已经超出了图像的显示范围不予识别，删除这个手的所有位置信息。

在本发明另一个实施例中根据预定时间段内已获得的若干时刻的手部位置信息，通过跟踪获得在预定时间段内其他时刻的手部位置信息，如果某一时刻获得手部位置信息，则判断以该时刻之前的一个时刻为终点的时间段内的手部位置信息是否是利用跟踪算法正序跟踪获得的，如果是，对该时间段内的手部位置信息进行调整。

即可以设预先设定手部运动轨迹的输出时间长度为n，当前时刻为t，则跟踪获得手部位置信息可以分为以下情况：

(1)如果t时刻检测到了手部位置信息，并且t-1时刻这个手的位置信息是由检测得到的，则不用运行手部位置跟踪算法。

(2)如果t时刻检测到了手部位置信息，而t-1时刻手部位置信息未知，则使用倒序跟踪，根据t时刻手的位置信息跟踪出t-1时刻手部位置信息，然后用同样的方法跟踪出t-2一直到t-n+1时刻的手部位置信息。如果跟踪过程中发现手部跟踪结果离开了图像显示范围，则不用继续跟踪下去。

(3)如果t时刻检测到了手的位置信息。然后判断是否存在某一以t-1时刻为终点的连续时间段，设这个时间段的起点为t-m(1≤m≤n-1)。使得从t-m时刻到t-1时刻这个时间段内每一个时刻的位置信息都是由正序跟踪得到的。则对这个时间段内的手部位置信息进行调整。具体调整方法是：首先根据t时刻检测到的手部位置信息利用倒序跟踪算法跟踪出一个新的t-1时刻手部位置信息，然后计算这个新的t-1时刻手部位置信息和原来t-1时刻手部位置信息的平均位置信息，作为最后的t-1时刻的手部位置信息。然后用同样的方法如果t-2时刻手的位置信息也是由跟踪得到的。根据更新的t-1时刻的手的位置利用倒序跟踪算法跟踪出一个新的t-2时刻手的位置信息，然后计算这个新的t-2时刻手的位置信息和原来t-2时刻手的位置信息的平均位置信息，作为最后的t-2时刻的手的位置信息。如此逐一倒序跟踪并且计算平均手的位置信息直到更新完t-m时刻手的位置信息为止。

设某一时刻原来由正序跟踪得到的手部位置信息中矩形框的左上角点坐标为(x₁，y₁)，矩形框的宽度为width₁，矩形框的高度为height₁。新的倒序跟踪得到的手部位置信息中矩形框的左上角点的坐标为(x₂，y₂)，矩形框的宽度为width₂，矩形框的高度为height₂。则手部平均位置信息计算方法如下：

$\stackrel{\‾}{x}=(x_1+x_2)/2$

$\stackrel{\‾}{y}=(y_1+y_2)/2$

$\stackrel{\‾}{\mathrm{width}}=({\mathrm{width}}_1+{\mathrm{width}}_2)/2$

$\stackrel{\‾}{\mathrm{height}}=({\mathrm{height}}_1+{\mathrm{height}}_2)/2$

其中为手部平均位置信息的矩形框的左上角点的坐标，为手部平均位置信息的矩形框的宽度，为手部平均位置信息的矩形框的高度。

(4)如果t时刻没有检测到手部位置信息，而t-1时刻检测或跟踪到了手部位置信息，则利用t-1时刻手的位置信息使用正序跟踪方法，跟踪出t时刻手部位置信息。如果跟踪出手部位置信息超出图像显示范围则认为手部已经超出了图像的显示范围不予识别，删除这个手部所有位置信息。

上述跟踪算法可以为Camshift跟踪算法，利用Camshift跟踪算法进行正序跟踪或倒序跟踪。

再通过一个具体实例对上述跟踪获得手部位置信息的过程进行说明。参见图8所示，手部按逆时针方向运动从t1时刻运动到t9时刻的手部运动图像，其中只有在t3、t5、t8时刻关键手形被检测出来，获得手部位置信息(图中手的外接矩形框的位置信息)。

则正序跟踪算法就是可以使用跟踪算法如camshift算法，由前一时刻手部位置跟踪出后一时刻手部位置。能够根据t3时刻手部位置跟踪出t4时刻手部位置，能够根据t5时刻手部位置跟踪出t6时刻手部位置，然后在根据t6时刻手部位置跟踪出t7时刻手部位置，根据t8时刻手部位置跟踪出t9时刻手部位置。

所谓倒序跟踪算法就是根据后一时刻手的位置信息使用跟踪算法如Camshift算法等跟踪出前一时刻手部位置。如由t3时刻手部位置能够跟踪出t2时刻手部位置，然后在用得到的t2时刻的手部位置跟踪出t1时刻手部位置。

这样通过使用正序和倒序的跟踪方法，就把原来只能识别出来t3、t5、t8时刻手的位置扩展为能够得出t1-t9任意时刻的位置了。

又例如t8时刻手部位置被检测出来，t6、t7时刻的手部位置是根据t5时刻手部位置正序跟踪获得，则可以根据t8时刻手部位置倒序跟踪t6、t7时刻的手部位置，对t6、t7时刻的手部位置进行调整。

另外，本发明实施例中根据预定时间段内每一时刻的手部位置信息，按照时间顺序排列生成手部运动轨迹，可以包括：

手部位置信息为代表手部位置的矩形框的位置信息，选取代表手部位置的矩形框的中心点位置作为该时刻的手部位置参考点，将预定时间段内每一时刻的手部位置参考点按照时间顺序排列生成手部运动轨迹。

参见图9所示，得到了t1-t9之间任意时刻的手部位置信息。这些位置信息也就是图中矩形框的起始位置和大小等信息。可以在手部位置矩形框中选取一个点作为位置参考点，参考点的选取方法很多，可以选取所得到矩形框的中心点为手部位置参考点，然后把这些手部位置参考点按照时间顺序排列，就是手部从t1-t9时刻的运动轨迹。图中绿色矩形框中的黑点，就是该时刻的手部位置参考点。最终实现生成手部运动轨迹并输出。

这样，本发明通过预先建立关键手形的分类器集合，可以识别用户手部自然挥动过程中的关键手形，对用户手形并不进行规定，方便用户使用；同时通过跟踪可以获得预定时间段内每一时刻的手部位置信息，从而实现手部运动轨迹的生成，解决了手部运动轨迹检测过程中手形多变的问题。另外，本发明利用倒序跟踪的方法可以获得在预定时间段内手部位置被第一次识别之前的时间段内的手部位置信息，解决了手部运动轨迹记录不完整的问题。

相应的，本发明还提供一种手部运动轨迹检测装置，参见图10所示，该装置包括：

建立单元401，用于预先建立关键手形的分类器集合；

接收单元402，用于接收采集到的某一时刻的输入图像；

检测单元403，用于利用分类器集合检测该时刻的输入图像中是否包含关键手形；

第一获得单元404，用于当输入图像中包含关键手形，获得该时刻的手部位置信息；

第二获得单元405，用于根据预定时间段内已获得的若干时刻的手部位置信息，通过跟踪获得在预定时间段内其他时刻的手部位置信息；

生成单元406，用于根据预定时间段内每一时刻的手部位置信息，按照时间顺序生成手部运动轨迹。

其中，建立单元401可以包括：

选取子单元，用于选取手势图像序列中特征清晰的手部图像；

分类子单元，用于对手部图像运用聚类算法进行分类，分为多个关键手形，建立关键手形的分类器集合。

第二获得单元405可以包括：

第一判断子单元，用于判断某一时刻是否获得手部位置信息，如果某一时刻获得手部位置信息，则判断该时刻之前的一个时刻是否获得手部位置信息，如果该时刻之前的一个时刻没有获得手部位置信息，则利用跟踪算法倒序跟踪获得该时刻之前的一个时刻的手部位置信息；

第二判断子单元，用于如果某一时刻没有获得手部位置信息，则判断该时刻之前的一个时刻是否获得手部位置信息，如果该时刻之前的一个时刻获得手部位置信息，则利用跟踪算法正序跟踪获得该时刻的手部位置信息。

第二获得单元还可以包括：

第三判断子单元，用于如果某一时刻获得手部位置信息，则判断以该时刻之前的一个时刻为终点的时间段内的手部位置信息是否是利用跟踪算法正序跟踪获得的，如果是，对该时间段内的手部位置信息进行调整。

生成单元406可以具体用于：

手部位置信息为代表手部位置的矩形框的位置信息，选取代表手部位置的矩形框的中心点位置作为该时刻的手部位置参考点，将预定时间段内每一时刻的手部位置参考点按照时间顺序排列生成手部运动轨迹。

这样，本发明通过预先建立关键手形的分类器集合，可以识别用户手部自然挥动过程中的关键手形，对用户手形并不进行规定，方便用户使用；同时通过跟踪可以获得预定时间段内每一时刻的手部位置信息，从而实现手部运动轨迹的生成，解决了手部运动轨迹检测过程中手形多变的问题。另外，本发明利用倒序跟踪的方法可以获得在预定时间段内手部位置被第一次识别之前的时间段内的手部位置信息，解决了手部运动轨迹记录不完整的问题。

需要说明的是，本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的系统或装置而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。

还需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

结合本文中所公开的实施例描述的方法或算法的步骤可以直接用硬件、处理器执行的软件模块，或者二者的结合来实施。软件模块可以置于随机存储器(RAM)、内存、只读存储器(ROM)、电可编程ROM、电可擦除可编程ROM、寄存器、硬盘、可移动磁盘、CD-ROM、或技术领域内所公知的任意其它形式的存储介质中。

对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其它实施例中实现。因此，本发明将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。

Claims (8)

1.一种手部运动轨迹检测方法，其特征在于，包括：

预先建立关键手形的分类器集合；

接收采集到的某一时刻的输入图像；

利用所述分类器集合检测该时刻的输入图像中是否包含关键手形；

当所述输入图像中包含关键手形，获得该时刻的手部位置信息；

判断某一时刻是否获得手部位置信息，如果某一时刻获得手部位置信息，则判断该时刻之前的一个时刻是否获得手部位置信息，如果该时刻之前的一个时刻没有获得手部位置信息，则利用跟踪算法倒序跟踪获得该时刻之前的一个时刻的手部位置信息；如果某一时刻没有获得手部位置信息，则判断该时刻之前的一个时刻是否获得手部位置信息，如果该时刻之前的一个时刻获得手部位置信息，则利用跟踪算法正序跟踪获得该时刻的手部位置信息；通过跟踪获得预定时间段内每一时刻的手部位置信息；

根据所述预定时间段内每一时刻的手部位置信息，按照时间顺序生成手部运动轨迹。

2.根据权利要求1所述的方法，其特征在于，所述预先建立关键手形的分类器集合，包括：

选取手势图像序列中特征清晰的手部图像；

对所述手部图像运用聚类算法进行分类，分为多个关键手形，建立关键手形的分类器集合。

3.根据权利要求1所述的方法，其特征在于，还包括：

如果某一时刻获得手部位置信息，则判断以该时刻之前的一个时刻为终点的时间段内的手部位置信息是否是利用跟踪算法正序跟踪获得的，如果是，对该时间段内的手部位置信息进行调整。

4.根据权利要求1所述的方法，其特征在于，所述根据所述预定时间段内每一时刻的手部位置信息，按照时间顺序排列生成手部运动轨迹，包括：

所述手部位置信息为代表手部位置的矩形框的位置信息，选取代表手部位置的矩形框的中心点位置作为该时刻的手部位置参考点，将所述预定时间段内每一时刻的手部位置参考点按照时间顺序排列生成手部运动轨迹。

5.一种手部运动轨迹检测装置，其特征在于，包括：

建立单元，用于预先建立关键手形的分类器集合；

接收单元，用于接收采集到的某一时刻的输入图像；

检测单元，用于利用所述分类器集合检测该时刻的输入图像中是否包含关键手形；

第一获得单元，用于当所述输入图像中包含关键手形，获得该时刻的手部位置信息；

第二获得单元，用于根据预定时间段内已获得的若干时刻的手部位置信息，通过跟踪获得在所述预定时间段内其他时刻的手部位置信息，获得预定时间段内每一时刻的手部位置信息；

生成单元，用于根据所述预定时间段内每一时刻的手部位置信息，按照时间顺序生成手部运动轨迹；

所述第二获得单元包括：

第一判断子单元，用于判断某一时刻是否获得手部位置信息，如果某一时刻获得手部位置信息，则判断该时刻之前的一个时刻是否获得手部位置信息，如果该时刻之前的一个时刻没有获得手部位置信息，则利用跟踪算法倒序跟踪获得该时刻之前的一个时刻的手部位置信息；

第二判断子单元，用于如果某一时刻没有获得手部位置信息，则判断该时刻之前的一个时刻是否获得手部位置信息，如果该时刻之前的一个时刻获得手部位置信息，则利用跟踪算法正序跟踪获得该时刻的手部位置信息。

6.根据权利要求5所述的装置，其特征在于，所述建立单元包括：

选取子单元，用于选取手势图像序列中特征清晰的手部图像；

分类子单元，用于对所述手部图像运用聚类算法进行分类，分为多个关键手形，建立关键手形的分类器集合。

7.根据权利要求5所述的装置，其特征在于，所述第二获得单元还包括：

第三判断子单元，用于如果某一时刻获得手部位置信息，则判断以该时刻之前的一个时刻为终点的时间段内的手部位置信息是否是利用跟踪算法正序跟踪获得的，如果是，对该时间段内的手部位置信息进行调整。

8.根据权利要求5所述的装置，其特征在于，所述生成单元具体用于：

所述手部位置信息为代表手部位置的矩形框的位置信息，选取代表手部位置的矩形框的中心点位置作为该时刻的手部位置参考点，将所述预定时间段内每一时刻的手部位置参考点按照时间顺序排列生成手部运动轨迹。