CN103488972B - 基于深度信息的指尖检测方法 - Google Patents

Abstract

基于深度信息的指尖检测方法,指尖是指从手心出发经过指根点的测地路径的终点，检测方法包括如下步骤：1、手部分割及手心定位；2、指根定位：包括初始阶段的指根检测和手掌平面旋转时的指根位置估计；3、指尖检测：包括图模型建立、手指定位和指尖定位；本发明检测方法无论对于静止的手势还是运动的手势都能达到较高的识别率，且能够做到实时检测；同时，当手掌与镜头成一定角度时，也能达到较高的检测精度；通过计算指尖位置达到手势识别的目的，实现了稳定准确的指尖位置检测，并且可通过计算手掌法向量实现多角度指尖检测。

Description

基于深度信息的指尖检测方法

技术领域

本发明属于基于视觉的手势识别技术领域，具体涉及一种基于深度信息的指尖检测方法。

背景技术

目前基于视觉的手势识别方法主要分为三类：基于表面特征的方法，基于动作的方法，基于轮廓分析的方法。然而由于普通视频中背景和光照变化较为复杂，这些方法难以获得精确鲁棒的手势识别结果。

近些年随着深度传感器（以Kinect为主）的流行，也为手势识别提供了另一种可能。深度传感器利用红外线探知场景深度并输出一系列深度图。深度图中不同像素值代表不同的场景深度，因此不存在背景或光照变化等不确定因素。相比普通图像，可更简便地提取有用信息。

利用深度信息识别手势的方法大致可分为两类：基于轮廓信息的方法和基于深度分析的方法。

基于轮廓信息的方法。这类方法首先利用深度差异分割出目标—手。由于在进行人机交互时，人手一般是离镜头最近的目标，并且与背景深度有一个较大的差值。因此可简单设置阈值分割出人手。这类方法的第二步则是抽取手部轮廓，利用轮廓描述方法，如傅里叶描述子或凸包描述等区别不同的手形，从而实现手势识别。这种方法充分利用了深度值稳定可靠的特点，但它往往把深度值完全等同于灰度值，从而没有充分利用深度信息。

基于深度分析的方法。这类方法将深度值看做物体的一个物理属性。目前比较流行的做法有两种。第一种是模型匹配。即制作一系列不同手势的三维手部模型，并搜索与当前手势最匹配的那个模型。这种方法精度非常高，但主要缺点是比较耗时，通常需要GPU加速。第二种是测地距离的方法。这种方法将目标的深度图看做物体表面在三维空间的位置信息。它首先将深度图转化为图模型，然后利用最短路径算法搜索手心到各手部点的最短路径。考虑到指尖点是手指的末端，因此指尖点对应的正是最短路径的极大值。这里的最短路径其实是沿着物体表面的路径，因此即便当手形变化时也十分鲁棒。其主要缺点是容易受噪声干扰。

基于视觉的手势识别的研究已持续多年，但由于手势的灵活多变，加上各种不确定因素的干扰，到目前还没有一种实时、精确、鲁棒的方法。因此该领域的研究还将持续一段时间。

发明内容

为了解决上述现有技术存在的问题，本发明的目的在于提供一种基于深度信息的指尖检测方法，本方法通过计算指尖位置达到手势识别的目的，实现了稳定准确的指尖位置检测，并且可通过计算手掌法向量实现多角度指尖检测。

为达到以上目的，本发明采用如下技术方案：

基于深度信息的指尖检测方法,包括如下步骤：

步骤1：手部分割及手心定位：首先使用OpenNI函数库确定手心大致位置，然后通过手心点深度推算出手部的大致深度范围，再分割出手；将手心点定义为手部区域内最大内接圆的圆心点，利用距离变换原理对手心定位；

步骤2：指根定位：包括初始阶段的指根检测和手掌平面旋转时的指根位置估计；

1）初始阶段的指根检测：在初始阶段，要求用户手掌平面与镜头平面平行，通过深度图分割出手部并使用轮廓分析检测出两个手指间的“凹坑”。相邻两个“凹坑”间连线的中点即是指根；对于大拇指、食指和小拇指来说，首先检测出其中一个“凹坑”的位置，然后以指尖为对称中心，获得对称面的“凹坑”位置，即大拇指、食指和小拇指的指跟；

2）手掌平面旋转时的指根位置估计：假设手掌平面是一个刚体，那么指根坐标在以这个平面为XOY平面建立起来的坐标系内固定不变，通过计算手掌平面法向量再利用坐标变换原理即可得到指根在手掌平面旋转时的坐标；

步骤3：指尖检测：包括图模型建立、手指定位和指尖定位；

1）图模型建立：获得指根位置坐标后，将手部的空间点云的深度图转化为一个图模型，各空间像素点作为其中的一个顶点，当两个顶点互为邻域且三维距离小于1cm时，两个顶点间有边相连；这个图模型表征了目标在空间上的表面像素分布；然后以手心为源点，通过Dijkstra最短路径算法，计算出手心到所有轮廓点的最短路径及其距离；

2）手指定位：将手部的像素点分为六类，每一类的标签为l_h∈{T,I,M,R,P,N}，分别表示大拇指、食指、中指、无名指、小拇指和非手指点，对于五个手指，其对应的指根点为F_B={T_B,I_B,M_B,R_B,P_B}；具体算法如下：

①将手部点v赋值为一个临时参量v_t；

②对于临时参量v_t,根据前驱数组得到其前驱点

③将前驱点赋值为临时参量v_t；

④若临时参量v_t位于某一指根X_B(X_B∈F_B)的邻域内，

则手部点v的类别l_v=X(X∈{T,I,M,R,P})

返回l_v；

⑤若临时参量v_t等于手心C_p,

则手部点v的类别l_v=N

返回l_v；

⑥否则，

返回步骤②；

3）指尖定位：先剔除各候选区域内测地距离较小的点，然后对于剩余点求几何中心，该几何中心即是指尖点。

所述手掌平面旋转的旋转角度限于：

-60°≤θ_x≤60°,-60°≤θ_y≤60°,-10°≤θ_z≤10°

其中：θ_x、θ_y、θ_z分别为手掌平面在X轴、Y轴、Z轴的旋转角度。

本发明和现有技术相比，具有如下优点：

1、本发明检测方法无论对于静止的手势还是运动的手势都能达到较高的识别率，且能够做到实时检测。同时，当手掌与镜头成一定角度时，也能达到较高的检测精度；通过计算指尖位置达到手势识别的目的，实现了稳定准确的指尖位置检测，并且可通过计算手掌法向量实现多角度指尖检测。

2、在实验阶段，使用指尖检出位置与真实位置之间的距离作为误差来衡量检测精度。经过测试统计，当手掌平面与镜头平行时，各手指（大拇指、食指、中指、无名指、小拇指）指尖的平均误差分别为3.25mm、4.70mm、4.95mm、4.43mm、3.94mm。这一实验结果的精度远远超过现有方法。

附图说明

图1为本发明检测方法流程图。

图2为初始阶段指跟检测图，其中，图2a为轮廓点到手心的距离，图2b为图2a对应的时序信号图。

图3为初始阶段指跟检测结果图，其中，图3a为指根位置图，图3b为小拇指指根位置获取图。

图4为手掌三维点云图。

图5为获得手掌平面法向量示意图。

图6为手指定位算法结果图。

图7为指尖定位图，其中：图7a为不同手指指尖的候选区域，图7b为指尖定位图，图7c为指尖和指根定位图。

图8为本发明检测方法部分实验结果图。

具体实施方式

以下结合附图及具体实施例对本发明作进一步的详细描述。

如图1所示，本发明基于深度信息的指尖检测方法,包括如下步骤：

步骤1：手部分割及手心定位：首先使用OpenNI函数库确定手心大致位置，然后通过手心点深度推算出手部的大致深度范围，再分割出手；将手心点定义为手部区域内最大内接圆的圆心点，利用距离变换原理对手心定位；

步骤2：指根定位：包括初始阶段的指根检测和手掌平面旋转时的指根位置估计；

1）初始阶段的指根检测：在初始阶段，要求用户手掌平面与镜头平面平行，通过深度图分割出手部并使用轮廓分析检测出两个手指间的“凹坑”，相邻两个“凹坑”间连线的中点即是指根；对于大拇指、食指和小拇指来说，首先检测出其中一个“凹坑”的位置，然后以指尖为对称中心，获得对称面的“凹坑”位置，即大拇指、食指和小拇指的指跟；

2）手掌平面旋转时的指根位置估计：假设手掌平面是一个刚体，那么指根坐标在以这个平面为XOY平面建立起来的坐标系内固定不变，通过计算手掌平面法向量再利用坐标变换原理即可得到指根在手掌平面旋转时的坐标；

步骤3：指尖检测：包括图模型建立、手指定位和指尖定位；

1）图模型建立：获得指根位置坐标后，将手部的空间点云的深度图转化为一个图模型，各空间像素点作为其中的一个顶点，当两个顶点互为邻域且三维距离小于1cm时，两个顶点间有边相连；这个图模型表征了目标在空间上的表面像素分布；然后以手心为源点，通过Dijkstra最短路径算法，计算出手心到所有轮廓点的最短路径及其距离；

2）手指定位：将手部的像素点分为六类，每一类的标签为l_h∈{T,I,M,R,P,N}，分别表示大拇指、食指、中指、无名指、小拇指和非手指点，对于五个手指，其对应的指根点为F_B={T_B,I_B,M_B,R_B,P_B}；具体算法如下：

①将手部点v赋值为一个临时参量v_t；

②对于临时参量v_t,根据前驱数组得到其前驱点

③将前驱点赋值为临时参量v_t；

④若临时参量v_t位于某一指根X_B(X_B∈F_B)的邻域内，

则手部点v的类别l_v=X(X∈{T,I,M,R,P})

返回l_v；

⑤若临时参量v_t等于手心C_p,

则手部点v的类别l_v=N

返回l_v；

⑥否则，

返回步骤②；

3）指尖定位：先剔除各候选区域内测地距离较小的点，然后对于剩余点求几何中心，该几何中心即是指尖点。

所述手掌平面旋转的旋转角度限于：

-60°≤θ_x≤60°,-60°≤θ_y≤60°,-10°≤θ_z≤10°

其中：θ_x、θ_y、θ_z分别为手掌平面在X轴、Y轴、Z轴的旋转角度。

下面详细说明本发明检测方法各步骤：

步骤1：手部分割及手心定位：

指尖检测的第一步是从场景中分割出手，并计算手心位置，便于后续操作。由于本发明方法着重解决的问题是指尖检测，因此对于手部检测部分我们采用了一个比较简单的方法。首先使用OpenNI函数库确定手心大致位置，然后通过手心点深度推算出手部的大致深度范围，再分割出手。

OpenNI输出的手心点过于粗略，本发明中，我们将手心点定义为手部区域内最大内接圆的圆心点。因此可以利用距离变换原理解决这一问题。

步骤2：指根定位：

指根定位的主要目的是计算指根位置，为后续的指尖检测提供先验信息。这一步骤包括初始阶段的指根检测和手掌平面旋转时的指根位置估计这两方面内容。

1）初始阶段的指根检测：

在初始阶段，要求用户手掌平面与镜头平面平行，然后利用轮廓分析检测指根。这里借鉴傅里叶描述子的思想，以手心C_p为参考点，依次序计算轮廓上各点到C_p的欧氏距离，并将它表示成一列时序信号，如图2a和图2b所示。

由图2b不难看出信号的极大值对应的是指尖，极小值对应的是两手指间的“凹坑”。通过进一步观察发现两相邻“凹坑”连线的中点即是指根，如图3a所示，因此指根位置可由“凹坑”位置估算得到。

但同时对于大拇指、食指和小拇指来说，其中一个“凹坑”无法直接获得。对于这类情况首先检测出其中一个“凹坑”的位置，然后以指尖为对称中心，获得对称面的“凹坑”位置，如图3b所示。

2）手掌平面旋转时的指根位置估计：

本发明的目标在于多角度实现指尖检测。而当手掌旋转时，上述基于轮廓分析的指根检测方法由于轮廓遮挡的原因无法有效工作，因此需要采用其他方法获取指根位置。

本发明针对的手掌旋转角限于：

-60°≤θ_x≤60°,-60°≤θ_y≤60°,-10°≤θ_z≤10°(1)

其中：θ_x、θ_y、θ_z分别为手掌平面在X轴、Y轴、Z轴的旋转角度。

因此一般不允许手掌平面内的旋转。

首先建立手部的三维点云，然后以手心C_p为坐标原点建立一个手掌坐标系，其中手掌平面为XOY平面，如图4所示，其中X_pY_pZ_p指示手掌坐标系，而X_rY_rZ_r指示真实世界坐标系。显然，手掌按照公式(1)旋转时，指根坐标在X_pY_pZ_p坐标系下是固定不变的。因此，通过计算X_pY_pZ_p到X_rY_rZ_r的坐标变换，即可由手掌坐标系中的指根位置推算得到真实世界坐标系下的指根位置。

假设指根在真实世界坐标系下的坐标为而在手掌坐标系下的坐标为这一参数由初始检测阶段得到。则这两个坐标间的推算关系为：

$\left\{\begin{array}{c}{x}_r^b=x_c-x_p^b\frac{z_n}{\sqrt{x_n^2+z_n^2}}-y_p^b\frac{x_n{y}_n}{\sqrt{x_n^2+z_n^2}\sqrt{x_n^2+y_n^2+z_n^2}}\\ y_r^b=y_c+y_p^b\frac{\sqrt{x_n^2+z_n^2}}{\sqrt{x_n^2+y_n^2+z_n^2}}\\ z_r^b=z_c-x_p^b\frac{x_n}{\sqrt{x_n^2+z_n^2}}+y_p^b\frac{y_n{z}_n}{\sqrt{x_n^2+z_n^2}\sqrt{x_n^2+y_n^2+z_n^2}}\end{array}\right.---\left(2\right)$

其中(x_n,y_n,z_n)为手掌平面法向量，(x_c,y_c,z_c)为手心的三维坐标。

为了获得手掌平面法向量(x_n,y_n,z_n)，去除手掌中易形变部分，仅保留手心周围一个扇形区域C_n，如图5所示，这一区域可假设为一个刚体，而手掌平面法向量由这一区域的点云数据计算得到。(x_n,y_n,z_n)的计算公式如公式(3)所示，它是该区域内各点法向量的平均值。

$\left\{\begin{array}{c}{x}_n=\frac{1}{\#(i,j)}{\mathrm{\Σ}}_{(i,j)\∈C_n}\frac{z_r(i+1,j)-z_r(i-1,j)}{x_r(i+1,j)-x_r(i-1,j)}\\ y_n=\frac{1}{\#(i,j)}{\mathrm{\Σ}}_{(i,j)\∈C_n}\frac{z_r(i,j+1)-z_r(i,j-1)}{y_r(i,j+1)-y_r(i,j-1)}\\ z_n=-1\end{array}\right.---\left(3\right)$

其中(i,j)为区域C_n内任意点，(x_r(i,j),y_r(i,j),z_r(i,j))则表示该点的三维坐标，而#(i,j)则是该区域内像素点数目。

步骤3：指尖检测：

指尖检测部分包括手指定位和指尖定位两部分。但在此之前，需要根据手部点云建立一个图模型。

1）图模型建立：

手部的空间点云表示手部在真实世界坐标下的表面，将其表示为一个图模型G=(V,E)。其中每个像素点对应图中的一个顶点。两个顶点v₁和v₂之间边的权值为：

即如果v₁和v₂互为邻域，且它们的三维距离d小于T=1cm，则这两个顶点之间有边相连，权值为d。这样，这个图模型就表征了物体的空间表面网络。接下来我们以手心为源点，利用Dijkstra最短路径算法搜索手心到各点的最短路径。

2）手指定位：

在这一部分中，将手部的像素点分为六类，每一类的标签为l_h∈{T,I,M,R,P,N}，分别表示大拇指、食指、中指、无名指、小拇指和非手指点。对于五个手指，其对应的指根点为F_B={T_B,I_B,M_B,R_B,P_B}。结合提出的手指的定义，提出了如下算法用以确定一个手部点v是否属于手指尖。需要注意的是Dijkstra算法使用一数组记录前驱点的方式来表示路径。

该算法的结果如图6所示。

3）指尖定位：

考虑到指尖往往分布于手部的边缘，因此在定位手指时可以只考虑轮廓点，如图7(a)所示，不同区域代表了不同手指指尖的候选区域。

由于指尖点位于手指的末端，因此指尖对应各候选区域内测地距离的最大值点。在这一步骤中，使用一个由粗到细的定位策略，即先剔除各候选区域内测地距离较小的点，然后对于剩余点求几何中心。该几何中心即是指尖点，如图7b和图7c所示。

上述流程都是对每一帧进行操作的。考虑到深度图噪声会对结果的稳定性造成很大影响，我们设置了一个队列，记录指尖位置的历史数据，并用这些历史数据对当前结果进行平滑，很好地解决了稳定性的问题。

实验结果

1）精度性能

在这一组实验中，我们使用(0°,0°,0°)，(-45°,0°,0°)，(45°,0°,0°)，(0°,-45°,0°)，(0°,45°,0°)五个旋转角进行实验，并使用抓取、并拢、单个手指依次运动和两个手指收拢四个动作进行测试。这里，我们使用指尖检出位置与真实位置之间的距离作为误差来衡量检测精度。表1列出了指尖检测的实验结果。部分实验结果截图见图8所示。

表1指尖检测实验结果

2）时间性能

本发明的时间性能如表2所示。其中最大耗时21.75ms，因此完全可以做到实时检测指尖。

表2时间性能

Claims (2)

1.基于深度信息的指尖检测方法,其特征在于：指尖是指从手心出发经过指根点的测地路径的终点，检测方法包括如下步骤：

步骤1：手部分割及手心定位：首先使用OpenNI函数库确定手心大致位置，然后通过手心点深度推算出手部的大致深度范围，再分割出手；将手心点定义为手部区域内最大内接圆的圆心点，利用距离变换原理对手心定位；

步骤2：指根定位：包括初始阶段的指根检测和手掌平面旋转时的指根位置估计；

1)初始阶段的指根检测：在初始阶段，要求用户手掌平面与镜头平面平行，通过深度图分割出手部并使用轮廓分析检测出两个手指间的“凹坑”，相邻两个“凹坑”间连线的中点即是指根；对于大拇指、食指和小拇指来说，首先检测出其中一个“凹坑”的位置，然后以指尖为对称中心，获得对称面的“凹坑”位置，两个“凹坑”连线的中点即为大拇指、食指和小拇指的指根；

2)手掌平面旋转时的指根位置估计：假设手掌平面是一个刚体，那么指根坐标在以这个平面为XOY平面建立起来的坐标系内固定不变，通过计算手掌平面法向量再利用坐标变换原理即可得到指根在手掌平面旋转时的坐标；

步骤3：指尖检测：包括图模型建立、手指定位和指尖定位；

1)图模型建立：获得指根位置坐标后，将手部的空间点云的深度图转化为一个图模型，各空间像素点作为其中的一个顶点，当两个顶点互为邻域且三维距离小于1cm时，两个顶点间有边相连；这个图模型表征了目标在空间上的表面像素分布；然后以手心为源点，通过Dijkstra最短路径算法，计算出手心到所有轮廓点的最短路径及其距离；

2)手指定位：将手部的像素点分为六类，每一类的标签为l_h∈{T,I,M,R,P,N}，分别表示大拇指、食指、中指、无名指、小拇指和非手指点，对于五个手指，其对应的指根点为F_B＝{T_B,I_B,M_B,R_B,P_B}；具体算法如下：

①将手部点v赋值为一个临时参量v_t；

②对于临时参量v_t,根据前驱数组得到其前驱点

③将前驱点赋值为临时参量v_t；

④若临时参量v_t位于某一指根X_B(X_B∈F_B)的邻域内，

则手部点v的类别l_v＝X(X∈{T,I,M,R,P})

返回l_v；

⑤若临时参量v_t等于手心C_p,

则手部点v的类别l_v＝N

返回l_v；

⑥否则，

返回步骤②；

3)指尖定位：先剔除各候选区域内测地距离较小的点，然后对于剩余点求几何中心，该几何中心即是指尖点。

2.根据权利要求1所述的基于深度信息的指尖检测方法,其特征在于：所述手掌平面旋转的旋转角度限于：

-60°≤θ_x≤60°,-60°≤θ_y≤60°,-10°≤θ_z≤10°

其中：θ_x、θ_y、θ_z分别为手掌平面在X轴、Y轴、Z轴的旋转角度。