CN105739702A - 用于自然人机交互的多姿态指尖跟踪方法 - Google Patents

Abstract

本发明公开了一种用于自然人机交互的多姿态指尖跟踪方法，包括以下步骤：S1：采用Kinect2获取RGBD数据，包括深度信息和彩色信息；S2：对手部区域进行检测：通过颜色空间的转换，把色彩转换到对亮度反应不明显的空间进而检测肤色区域，然后通过人脸检测算法检测出人脸，从而排除人脸区域得到手部区域，并求出手部的中心点；S3：通过深度信息，并且结合HOG特征与SVM分类器对特定手势进行识别、检测；S4：通过前几帧指尖的位置，再结合手部识别出来的区域进行一个当前跟踪窗口的预测，然后通过基于深度的指尖检测和基于形态的指尖检测两种模式对指尖进行检测、跟踪。本发明主要处理运动下的、各种姿态下的单一指尖的检测与跟踪，并且需要保证较高的精度和较好的实时性。

Description

用于自然人机交互的多姿态指尖跟踪方法

技术领域

本发明涉及一种用于自然人机交互的多姿态指尖跟踪方法。

背景技术

人机交互(Human-ComputerInteraction,HCI)是研究人与计算机之间通过相互理解的交流与通信，在最大程度上为人们完成信息管理、服务和处理等功能，使计算机真正成为人们工作学习的和谐助手的一门技术科学。3D指尖检测、跟踪技术是人机交互技术的一个重要分支，通过对指尖的形态、特征的描述实现检测与跟踪，实现对其它设备、系统的控制。该技术的最大优点是可以通过非常自然的指尖运动实现交互，例如替代电子笔、控制其它外部设备等。在目前的技术基础上，有通过对手部关节骨骼点进行检测与跟踪从而来进行人机交互、控制的方式，但这种大范围的手部运动存在二个重要缺点，一是会使用户很快感觉到疲劳。二是这种交互方式不够自然，对于一些精细的轨迹不能很好的表达。

对于现有的指尖检测、跟踪交互技术，可以分为在2D平面进行检测、跟踪与3D平面进行检测、跟踪。在2D下的检测多是通过对曲率、凹凸点的检测从而筛选出指尖，这种方式只能检测、跟踪在一定的姿态限定下平移的指尖，对于提取轨迹使用来说并不方便。在3D下的检测有基于高斯混合模型等拟合方式来检测、跟踪指尖，但对手部运动具有一定的局限性。

本发明提出一种基于3D信息的多姿态下的指尖跟踪方法来检测、跟踪用户的指尖从而达成一种自然、有效的人机交互方式.本发明的特点是精度高并且可在各种姿态下跟踪指尖、交互自然还可用来控制一些软件、外设或者提取出轨迹作为“电子笔”来使用等。该系统利用3D摄像头获取RGBD信息即彩色和深度图像，再结合图像的信息来检测、跟踪用户的指尖，从而实现一种很自然的人机交互方式。本发明主要处理运动下的、各种姿态下的单一指尖的检测与跟踪，并且需要保证较高的精度和较好的实时性。

申请号为CN201310407231.X的发明专利也提出了基于深度信息的一种指尖检测方法，其主要的步骤包括手部分割及手心定位、指根定位、指尖检测。它的核心思想是利用手部空间点云的深度图转化为一个图模型，用图模型表征了目标在空间上的表面像素分布，然后以手心为源点通过Dijkstra最短路径算法计算出手心到所有轮廓点的最短路径及其距离然后再定位指尖。与本发明相比首先对于手心的定位，它使用的是OpenNI的库函数，而本发明不依赖于库函数，适用范围更广。其次核心的检测算法也是不一样的。从性能上来说，他们提出的算法在指尖、手掌平面不与镜头平面平行时精度不是很高，本发明则没有此问题并且本发明“手掌平面”可变换的范围比他们更广。

申请号为CN201310118060.9的发明专利公开了一种基于Kinect的视频人手指尖定位方法。此发明也提出了一种单指尖跟踪算法，他也分为两种模式“最远模式”和“最前模式”，对于“最远模式”(相似于本文的基于形态的检测模式)它是以手臂点为比较点，找手部区域相对于手臂点最远点作为指尖点，而本发明是使用PCA寻找待选点，再通过上一帧进行指尖点的选取。对于模式的切换，他所采用的是基于掌心与指尖的连线与手臂点与掌心的连线的夹角作为切换条件，这会对手部的运动范围产生限制，并且在很多情况下并不符合这种转换模式的假设。而本发明所使用掌心的深度与极坐标下的长度所拟合出的函数则不会产生此问题。

申请号为CN201310314062.5的发明专利公开了一种对手指尖运动轨迹进行跟踪的方法，此发明使用前几帧的指尖位置的信息，求出速度、加速度等特征对当前帧的指尖位置进行预测，然后使用基于曲率的方式对当前帧的指尖进行检测，得到待选点，然后结合预测的位置选出指尖点进行跟踪。与本发明相比，首先是跟踪、检测的算法上的不同，其次他所提出的方式不能应用于指尖正对摄像头等姿态，仅能用于手掌平面平行于相机平面的情况，而本发明所提出的方法则可以应用于各个不同的角度、姿态。

发明内容

本发明的目的在于克服现有技术的不足，提供一种用于自然人机交互的多姿态指尖跟踪方法。

本发明的目的是通过以下技术方案来实现的：用于自然人机交互的多姿态指尖跟踪方法，它包括以下步骤：

S1：采用Kinect2获取RGBD数据，包括深度信息和彩色信息；

S2：对手部区域进行检测：通过颜色空间的转换，把色彩转换到对亮度反应不明显的空间进而检测肤色区域，然后通过人脸检测算法检测出人脸，从而排除人脸区域得到手部区域，并求出手部的中心点；

S3：通过深度信息，并且结合HOG特征与SVM分类器对特定手势进行识别、检测；

S4：通过前几帧指尖的位置，再结合手部识别出来的区域进行一个当前跟踪窗口的预测，然后通过基于深度的指尖检测和基于形态的指尖检测两种模式对指尖进行检测、跟踪。

所述的步骤S2包括以下子步骤：

S21：将采集的信息从RGB空间转换为YCrCb空间，通过Cr值和Cb值的范围检测出肤色区域；

S22：结合Kinect2提供的人脸检测SDK检测出人脸区域，再滤除掉人脸区域，所述的人脸检测SDK包括Haar特征和Adaboost分类器；

S23：找到最大的距离摄像头较近的肤色区域，然后求出质心即为手部的中心点。

所述的步骤S3包括以下子步骤：

S31：采集大量深度手势数据得到训练集，其中包括具有特定手势的正样本与其他手势的负样本

S32：归一化训练集大小，设置HOG参数，提取出训练集的HOG特征；

S33：设置SVM参数，使用训练集的HOG特征训练SVM模型，所述的SVM参数包括2分类、非线性、径向基核；

S34：得到SVM模型之后，使用时对每一次手部区域进行归一化提取HOG特征，再使用SVM进行判别是否是特定手势。

所述的步骤S4包括以下子步骤：

S41：采用一个N*N的窗口对手部区域进行滤波，即如果窗口中心与窗口周围的N*N个点的深度差值都大于一个阈值，则认为此中心点为噪声点进行排除；

S42：进行基于深度的指尖检测，其中所述的特定手势为手指尖指向3D摄像头，认为手部区域深度最小值的地方为指尖检测点：

I(x_t,y_t)＝min(I(x_i,y_i))；

式中，(x_t,y_t)为指尖点坐标，I(x,y)为坐标(x,y)所对应的深度值，(x_i,y_i)为手部区域的所有坐标遍历；

S43：进行基于形态的指尖检测，包括以下子步骤，把手部区域的坐标点作为特征，设原始数据为 $B=(\stackrel{\→}{X},\stackrel{\→}{Y})=\left(\right(x_1,x_2,x_3\mathrm{...}{x}_i),(y_1,y_2,y_3\mathrm{...}{y}_i\left)\right),$ 的均值为 的均值为

S431：对于2维特征，进行中心化得到矩阵：

S432：对B'采用下式求出协方差矩阵C：

$C=\left(\begin{array}{cc}\mathrm{cov}(x,x)& \mathrm{cov}(x,y)\\ \mathrm{cov}(y,x)& \mathrm{cov}(y,y)\end{array}\right)$

$\mathrm{cov}(X,Y)=\frac{{\mathrm{\Σ}}_{i=1}^n(X_i-\stackrel{\‾}{X})(Y_i-\stackrel{\‾}{Y})}{n-1};$

S433：求得C的特征值与特征向量，并将特征向量按其对应的特征值大小进行降序从而选取主从方向；

S434：设主特征向量为δ₁，从特征向量δ₂，求出对应特征向量的投影矩阵B”：

B”＝B'*δ_i ^T；

S435：分别找出主、从特征向量的投影矩阵B”的两个极值，得到四个待选点，对这四个待选点求出它们分别与预测指尖的距离，其中距离的度量采用基于像素值的欧氏距离，选取最近距离的点作为形态模式下的指尖检测点；其中，对于预测指尖的点的求取采用极坐标的方式：设当前帧为t帧，则轴长l_t与角度θ_t的求取为：

l_t＝l_t-1+l_t-1-l_t-2

θ_t＝θ_t-1±f((x_t-1,y_t-1),(x_t-2,y_t-2))；

式中，f((x_t-1,y_t-1),(x_t-2,y_t-2))为第t-1帧的坐标点与t-2帧的坐标点在直角坐标系下相对于原点的夹角；

S44：根据不同情况，对基于深度的指尖检测与基于形态的指尖检测的切换：当指尖距手部中心距离较近时，采用基于深度的指尖检测；当指尖距手部中心距离较远时，基于深度的指尖检测；所述的切换，如下式：

$I\left(l_{t-1}\right)=\left\{\begin{array}{cc}0& l_{t-1}\≤thershold\\ 1& l_{t-1}>thershold\end{array}\right.;$

即当I(l_t-1)为0时，使用基于深度的指尖检测，当I(l_t-1)为1时，使用基于形态的指尖检测；式中l_t-1为t-1时刻的指尖距手部中心的距离；thershold表示切换长度阈值。

所述的thershold随着用户手部中心距摄像头距离的改变而改变，通过对阈值与手部中心深度数据的仿真，得出可用一次函数进行较好的拟合阈值：

thershold＝kx+b；

式中，x为手部中心点的深度值。

本发明的有益效果是：利用Kinect(一种3D摄像头)得到彩色和深度图像，接着对用户手部区域进行检测，得到手部区域后对一种特定的“起始”手势进行识别。确定识别结果后开始启动指尖检测、跟踪模块，对手指尖进行跟踪，从而进行人机交互。

附图说明

图1为本发明方法流程图；

图2为用户位置与3D摄像头位置示意图；

图3为特定手势示意图；

图4为跟踪之间示意图。

具体实施方式

下面结合附图进一步详细描述本发明的技术方案：

采用RGBD传感器采集深度信息和彩色信息，然后根据这两个信息进行手部区域的检测和特定手势识别，并求在此前提下进行指尖的检测与跟踪。手部区域检测模块通过颜色空间的转换把色彩转换到对亮度反应不明显的空间进而检测肤色区域，然后通过人脸检测算法检测出人脸从而排除人脸区域得到手部区域。特定手势检测模块主要是通过深度信息，结合HOG特征与SVM分类器进行识别、检测。指尖跟踪模块主要通过前几帧指尖的位置再结合手部识别出来的区域进行一个当前跟踪窗口的预测，然后通过基于深度的检测和基于形态的检测两种模式对指尖进行检测、跟踪。

如图1～图4所示，用于自然人机交互的多姿态指尖跟踪方法，它包括以下步骤：

S1：采用Kinect2获取RGBD数据，包括深度信息和彩色信息；

S2：对手部区域进行检测：通过颜色空间的转换，把色彩转换到对亮度反应不明显的空间进而检测肤色区域，然后通过人脸检测算法检测出人脸，从而排除人脸区域得到手部区域，并求出手部的中心点；

所述的步骤S2包括以下子步骤：

S21：由于原始采集出来的图像是基于RGB空间的，在RGB空间里肤色受亮度影响很大，故把RGB空间转换为受亮度影响很小的YCrCb空间，这样肤色就能产生很好的聚类。由于需要忽略Y(亮度)的影响，故CrCb转换公式如下：

C_r＝0.5*R-0.4187*G-0.0813*B+128；

C_b＝-0.16187*R-0.3313*G+0.5*B+128。

根据对大量样本的测试可得肤色所对应的值在140≥C_b≥70和185≥C_r≥129范围内，由此可以检测出肤色区域。

S22：结合Kinect2提供的人脸检测SDK检测出人脸区域，再滤除掉人脸区域，所述的人脸检测SDK包括Haar特征和Adaboost分类器；

S23：找到最大的距离摄像头较近的肤色区域，然后求出质心即为手部的中心点。

S3：通过深度信息，并且结合HOG特征与SVM分类器对特定手势进行识别、检测；

该步骤主要使用HOG(方向梯度直方图)特征再结合SVM(支持矢量机)分类器进行识别。HOG特征是提取出目标图标的方向梯度的特征，再把各个方向归类构成一个直方图作为最终的特征。支持矢量机(SupportVectorMachine，SVM)是一种有监督的学习模型，利用它可用来解决模式识别，分类等问题。它以最大间隔法为学习策略，对于线性不可分数据它的核心思想是把线性不可分的数据映射到高维空间，从而变成线性可分的数据，再巧妙的通过核函数的展开定理避免了高维计算的复杂化。SVM在文本分类，手写字符识别，生物序列分析，图像分类等领域有很多的应用，是一种强大的二分类器。

所述的步骤S3包括以下子步骤：

S31：采集大量深度手势数据得到训练集，其中包括具有特定手势的正样本与其他手势的负样本

S32：归一化训练集大小(64*64)，设置HOG参数(块大小16*16，步长8*8胞元大小8*8)，提取出训练集的HOG特征；

S33：设置SVM参数，使用训练集的HOG特征训练SVM模型，所述的SVM参数包括2分类、非线性、径向基核；

S34：得到SVM模型之后，使用时对每一次手部区域进行归一化提取HOG特征，再使用SVM进行判别是否是特定手势。

S4：通过前几帧指尖的位置，再结合手部识别出来的区域进行一个当前跟踪窗口的预测，然后通过基于深度的指尖检测和基于形态的指尖检测两种模式对指尖进行检测、跟踪。

检测、跟踪指尖分为两种方式，一种是基于深度最小的假设得到的基于深度的指尖检测方式，另一种则是基于手部形态上的基于形态的指尖检测方式。

所述的步骤S4包括以下子步骤：

S41：为了滤除Kinect2数据中的噪音对深度求取指尖的影响，我们采用一个3X3的窗口对手部区域进行滤波，即如果窗口中心与窗口周围的9个点的深度差值都大于一个阈值(本发明取100)则认为此中心点为噪声点进行排除。

S42：进行基于深度的指尖检测，其中所述的特定手势为手指尖指向3D摄像头，认为手部区域深度最小值的地方为指尖检测点：

I(x_t,y_t)＝min(I(x_i,y_i))；

式中，(x_t,y_t)为指尖点坐标，I(x,y)为坐标(x,y)所对应的深度值，(x_i,y_i)为手部区域的所有坐标遍历；

通过此方法检测出来的指尖在指尖以一定角度正对相机的情况下是准确且简单有效的，但是当指尖偏离手部中心较远位置时或者相对于相机倾斜度较大时，最小深度的位置则不一定是指尖位置，此时手上其它位置距相机更近。

在指尖偏离手部中心较远位置时手部区域的形态特征则比较突出，我们可以借助于形态特征来检测指尖。由于快速运动中，运动所带来的重影等问题会导致颜色空间中分割的手部区域效果并不理想，会降低指尖识别的精度，因此可以利用了深度信息重新分割求取手部区域。

S43：进行基于形态的指尖检测，包括以下子步骤，把手部区域的坐标点作为特征，设原始数据为 的均值为 的均值为

S431：对于2维特征，进行中心化得到矩阵：

S432：对B'采用下式求出协方差矩阵C：

$C=\left(\begin{array}{cc}\mathrm{cov}(x,x)& \mathrm{cov}(x,y)\\ \mathrm{cov}(y,x)& \mathrm{cov}(y,y)\end{array}\right)$

$\mathrm{cov}(X,Y)=\frac{{\mathrm{\Σ}}_{i=1}^n(X_i-\stackrel{\‾}{X})(Y_i-\stackrel{\‾}{Y})}{n-1};$

S433：求得C的特征值与特征向量，并将特征向量按其对应的特征值大小进行降序从而选取主从方向；

S434：设主特征向量为δ₁，从特征向量δ₂，求出对应特征向量的投影矩阵B”：

B”＝B'*δ_i ^T；

S435：分别找出主、从特征向量的投影矩阵B”的两个极值，得到四个待选点，对这四个待选点求出它们分别与预测指尖的距离，其中距离的度量采用基于像素值的欧氏距离，选取最近距离的点作为形态模式下的指尖检测点；

由于指尖的运动是结合了手部中心的运动与指尖相对于手部中心运动的复合运动，而且手指长度有限，故极坐标系可以非常高效的描述指尖的位置。设当前帧为t帧，则轴长l_t与角度θ_t的求取为：

l_t＝l_t-1+l_t-1-l_t-2

θ_t＝θ_t-1±f((x_t-1,y_t-1),(x_t-2,y_t-2))；

式中，f((x_t-1,y_t-1),(x_t-2,y_t-2))为第t-1帧的坐标点与t-2帧的坐标点在直角坐标系下相对于原点的夹角；通过上2式即可求出形态模式下的指尖相对于手部中心点的极坐标。

S44：本发明涉及到2种指尖检测方式来应对于手指的不同姿态。在指尖距手部中心距离较近时(也即较小时)使用深度特征明显的深度检测方式，在指尖距手部中心距离较远时(也即较大时)使用基于形态特征明显的基于PCA的指尖检测方式，因此需要一个切换模块来判断何时进行模式的转换，如下示性函数所示：

$I\left(l_{t-1}\right)=\left\{\begin{array}{cc}0& l_{t-1}\≤thershold\\ 1& l_{t-1}>thershold\end{array}\right.;$

即当I(l_t-1)为0时，使用基于深度的指尖检测，当I(l_t-1)为1时，使用基于形态的指尖检测；式中l_t-1为t-1时刻的指尖距手部中心的距离；thershold表示切换长度阈值。

所述的thershold随着用户手部中心距摄像头距离的改变而改变，通过对阈值与手部中心深度数据的仿真，得出可用一次函数进行较好的拟合阈值：

thershold＝kx+b；

本发明中使用的拟合函数为threshold＝-0.0364x+70.9722，其中x为手部中心点的16位原始深度值。

Claims (5)

1.用于自然人机交互的多姿态指尖跟踪方法，其特征在于：它包括以下步骤：

S1：采用Kinect2获取RGBD数据，包括深度信息和彩色信息；

S2：对手部区域进行检测：通过颜色空间的转换，把色彩转换到对亮度反应不明显的空间进而检测肤色区域，然后通过人脸检测算法检测出人脸，从而排除人脸区域得到手部区域，并求出手部的中心点；

S3：通过深度信息，并且结合HOG特征与SVM分类器对特定手势进行识别、检测；

S4：通过前几帧指尖的位置，再结合手部识别出来的区域进行一个当前跟踪窗口的预测，然后通过基于深度的指尖检测和基于形态的指尖检测两种模式对指尖进行检测、跟踪。

2.根据权利要求1所述的用于自然人机交互的多姿态指尖跟踪方法，其特征在于：所述的步骤S2包括以下子步骤：

S21：将采集的信息从RGB空间转换为YCrCb空间，通过Cr值和Cb值的范围检测出肤色区域；

S22：结合Kinect2提供的人脸检测SDK检测出人脸区域，再滤除掉人脸区域，所述的人脸检测SDK包括Haar特征和Adaboost分类器；

S23：找到最大的距离摄像头较近的肤色区域，然后求出质心即为手部的中心点。

3.根据权利要求1所述的用于自然人机交互的多姿态指尖跟踪方法，其特征在于：所述的步骤S3包括以下子步骤：

S31：采集大量深度手势数据得到训练集，其中包括具有特定手势的正样本与其他手势的负样本

S32：归一化训练集大小，设置HOG参数，提取出训练集的HOG特征；

S33：设置SVM参数，使用训练集的HOG特征训练SVM模型，所述的SVM参数包括2分类、非线性、径向基核；

S34：得到SVM模型之后，使用时对每一次手部区域进行归一化提取HOG特征，再使用SVM进行判别是否是特定手势。

4.根据权利要求1所述的用于自然人机交互的多姿态指尖跟踪方法，其特征在于：所述的步骤S4包括以下子步骤：

S41：采用一个N*N的窗口对手部区域进行滤波，即如果窗口中心与窗口周围的N*N个点的深度差值都大于一个阈值，则认为此中心点为噪声点进行排除；

S42：进行基于深度的指尖检测，其中所述的特定手势为手指尖指向3D摄像头，认为手部区域深度最小值的地方为指尖检测点：

I(x_t,y_t)＝min(I(x_i,y_i))；

式中，(x_t,y_t)为指尖点坐标，I(x,y)为坐标(x,y)所对应的深度值，(x_i,y_i)为手部区域的所有坐标遍历；

S43：进行基于形态的指尖检测，包括以下子步骤，把手部区域的坐标点作为特征，设原始数据为 $B=\left(\stackrel{\→}{X},\stackrel{\→}{Y}\right)=\left(\right(x_1,x_2,x_3...x_i),(y_1,y_2,y_3...y_i\left)\right),$ 的均值为 的均值为

S431：对于2维特征，进行中心化得到矩阵：

S432：对B'采用下式求出协方差矩阵C：

$C=\left(\begin{array}{cc}\mathrm{cov}(x,x)& \mathrm{cov}(x,y)\\ \mathrm{cov}(y,x)& \mathrm{cov}(y,y)\end{array}\right)$

$\mathrm{cov}(X,Y)=\frac{{\mathrm{\Σ}}_{i=1}^n(X_i-\stackrel{\‾}{X})(Y_i-\stackrel{\‾}{Y})}{n-1};$

S433：求得C的特征值与特征向量，并将特征向量按其对应的特征值大小进行降序从而选取主从方向；

S434：设主特征向量为δ₁，从特征向量δ₂，求出对应特征向量的投影矩阵B”：

$B^{\′\′}=B^{\′}*{\mathrm{\δ}}_i^T;$

S435：分别找出主、从特征向量的投影矩阵B”的两个极值，得到四个待选点，对这四个待选点求出它们分别与预测指尖的距离，其中距离的度量采用基于像素值的欧氏距离，选取最近距离的点作为形态模式下的指尖检测点；其中，对于预测指尖的点的求取采用极坐标的方式：设当前帧为t帧，则轴长l_t与角度θ_t的求取为：

l_t＝l_t-1+l_t-1-l_t-2

θ_t＝θ_t-1±f((x_t-1,y_t-1),(x_t-2,y_t-2))；

式中，f((x_t-1,y_t-1),(x_t-2,y_t-2))为第t-1帧的坐标点与t-2帧的坐标点在直角坐标系下相对于原点的夹角；

S44：根据不同情况，对基于深度的指尖检测与基于形态的指尖检测的切换：当指尖距手部中心距离较近时，采用基于深度的指尖检测；当指尖距手部中心距离较远时，基于深度的指尖检测；所述的切换，如下式：

$I\left(l_{t-1}\right)=\left\{\begin{array}{cc}0& l_{t-1}\≤thershold\\ 1& l_{t-1}>thershold\end{array}\right.;$

即当I(l_t-1)为0时，使用基于深度的指尖检测，当I(l_t-1)为1时，使用基于形态的指尖检测；式中l_t-1为t-1时刻的指尖距手部中心的距离；thershold表示切换长度阈值。

5.根据权利要求4所述的用于自然人机交互的多姿态指尖跟踪方法，其特征在于：所述的thershold随着用户手部中心距摄像头距离的改变而改变，通过对阈值与手部中心深度数据的仿真，得出可用一次函数进行较好的拟合阈值：

thershold＝kx+b；

式中，x为手部中心点的深度值。