CN106055091A - 一种基于深度信息和校正方式的手部姿态估计方法 - Google Patents

Abstract

本发明公开了一种基于深度信息和校正方式的手部姿态估计方法，包括以下步骤：S1.获取手部深度数据，并从手部深度数据中分割出手部区域；S2.根据手部区域检测手掌姿态；S3.结合手掌姿态和手部标准骨骼模型计算出手部各个关节点的位置；S4.计算手部各关节点的投影特征；S5.根据手部各关节点的投影特征进行手指姿态校正。本发明以深度数据为基础，通过分割出手部区域并计算出手掌姿态，然后通过深度图像与姿态校正的方式估计出手指姿态，方法简单实用。

Description

一种基于深度信息和校正方式的手部姿态估计方法

技术领域

本发明涉及机器人视觉技术领域，特别是涉及一种基于深度信息和校正方式的手部姿态估计方法。

背景技术

近几年人机交互技术在生活中起着越来越重要的作用，便利舒适的交互方式能够极大地曾倩人们的交互体验。传统的交互方式诸如键盘鼠标的方式，虽然能够满足日常交互输入，但是在便利性、距离等方面都受到一定的限制。近年来手势技术成为了研究的热点，以手进行交互的方式层出不穷。手作为人体最灵活的器官，具有较高的自由度和灵活度，因此不仅能够完成日常生活中的工作劳动，同时也能够满足未来以手势为代表的交互输入。其中手势技术也经过了一定时间的发展，但是传统的手势基础诸如表观法，利用手在相机前做出特点的动作，然后识别出何种动作，进行相应的指令，受限于背景复杂以及手势外观变化的多样性，实用性并不大。而最近部分手势识别方法采用对手部轨迹进行是被，进而识别出手势动作，这种利用手部轨迹运动的交互方式操作起来还是比较容易产生疲劳感。而最具有潜力的三维手势，即通过识别手部姿态的变化，从而作为交互指令，不仅快捷便利，同时也自然很多，因此三维手势交互技术在未来具有极大的潜力。

三维手势的技术基础就是实现对手部姿态的实时估计，这项技术有着较长时间的研究。其中以判别式为代表的放肆，首先对手部区域的图像提取特征，然后通过分类器来对所有的像素点进行分类得到各个管借鉴的标注，对各关节点像素通过聚类得到关节点的位置。另外部分方法通过深度模型得到部分关节点位置，再通过逆向骨骼算法得到其他关节点。这种得到关节点位置的方式，其实对交互场景而言作用并不大，关节点之间丧失了拓扑结构的约束，大大限制了后续的交互应用。而以产生式为代表的方式，往往首先建立手部模型，然后结合深度图像与手部模型建立能量函数，通过最优化能量函数得到当前手部的姿态估计结果。这种方式在渲染模型时需要GPU加速，比较消耗硬件资源。同时能量函数最优化时会出现局部最优解，使得估计出现误差。而近几年出现的将产生式和判别式相结合的方式，通过判别式得到姿态假设，再通过产生式计算出最优姿态，这种方式虽然得到的结果比前两种方法更准确，但是较为复杂的方法不仅消耗硬件资源，而且对交互系统而言也不是最优的。

现有技术中，与本发明类似的有以下几个：

(1)一种基于关节点变换的手势交互方法，申请号为201510377291.0；该发明主要通过Kinect传感器在不同角度下拍摄手部点云与彩色数据，并进行点云配准与点云三角面化，得到手部模型，对于当前手势下的手部数据提取点云特征和图像特征，并与手部模型进行特征匹配，从手指尖逐步求出各个关节点的参数，并以此完成交互。但是这种方法一来对手部建立的点云模型，而三维手势变化多样，且有遮挡现象，很难建立完成点云模型，因此这种方法复杂度较高。

(2)一种基于深度数据的三维手势姿态估计方法及系统，申请号为201510670919.6；该发明采用Kinect传感器获取手部数据，并在此基础上通过提取特征加判别式模型分别实现手掌姿态和手指姿态的回归，但是该方法过于复杂。

(3)一种手势识别方法与装置，申请号为201410036739.8；该发明获取手部彩色和深度数据，利用彩色图像完成手部深度数据的分析，并在手部轮廓区域内利用自适应加权提取特征，基于分类器完成对当前手势的类型识别，从而识别出姿态；这种方式实质上上表观法，对于交互场景下的复杂图像，不仅难以解决手部区域完整分割的问题，同时也无法表达高维的手姿姿态下的各种手势。

(4)基于Kinect人手运动捕捉的灵巧手遥操作控制方法，申请号为201410697456.8；该发明也是基于Kinect进行手部姿态的估计，获取手部深度数据和彩色数据，并利用彩色数据分割出手部区域后，利用基于模板匹配的粒子滤波姿态检测方法预测人手姿态，进而进行手势识别和交互；这种手部姿态估计方法主要通过跟踪的方式实现对手部姿态的估计，一般算法的实时性不佳，且面对遮挡和角度变化较大等情况不佳。

发明内容

本发明的目的在于克服现有技术的不足，提供一种基于深度信息和校正方式的手部姿态估计方法，以深度数据为基础，通过分割出手部区域并计算出手掌姿态，然后通过深度图像与姿态校正的方式估计出手指姿态，简单、快捷。

本发明的目的是通过以下技术方案来实现的：一种基于深度信息和校正方式的手部姿态估计方法，包括以下步骤：

S1.获取手部深度数据，并从手部深度数据中分割出手部区域；

S2.根据手部区域检测手掌姿态；

S3.结合手掌姿态和手部标准骨骼模型计算出手部各个关节点的位置；

S4.计算手部各关节点的投影特征；

S5.根据手部各关节点的投影特征进行手指姿态校正。

所述步骤S1包括以下子步骤：

S11.获取手部深度数据；

S12.获得包括第一手腕点P_wrist的人体骨骼图像；

S13.将第一手腕点P_wrist变换到图像坐标系下，得到第二手腕点位置且

S14.以第二手腕点位置为中心取领域为t的矩形区域，得到第一矩形区域Rect₁：

Rect₁＝{m,n},m∈[x-t,x+t],n∈[y-t,y+t]；

S15.取第一矩形区域Rect₁中像素值之和的平均值作为第一手腕点P_wrist对应的深度值；

S16.将深度数据的阈值范围保持在[Z_Palm-t，Z_Palm]，其中，Z_P表示第一手腕点P_wrist对应的深度值，通过阈值化处理从手部深度数据分割出手部区域。

所述步骤S2包括以下子步骤：

S21.计算手部区域的第一中心点并将第一中心点转换到三维坐标系下，得到第二中心点P_Cen；

S22.利用第二中心点P_Cen和第一手腕点P_wrist计算出从手掌到手指的第一方向V_y，并进行归一化处理，其中：

V_y＝P_Hand-P_wrist；

S23.在第一中心点发射出与第一方向V_y相垂直的直线，该直线与手部区域轮廓交于第一交点和第二交点

S24.以第一手腕点P_wrist、第一交点和第二交点确定手掌平面，并求出手掌平面的平面法向量V_z；

S25.根据第一方向V_y和平面法向量V_z计算出当前的手掌姿态θ_P。

所述步骤S25包括以下子步骤：

S251.定义初始时手指方向为手掌方向为由手指方向变换到第一方向V_y的旋转操作表示为四元数Q_y，则

S252.利用四元数Q_y将最初的手指方向进行方向更新，即得到从手掌方向变换到平面法向量V_z的旋转四元数Q_z，其中

S253.当前的手掌姿态θ_P包括三维平移R_t和三维旋转R_g，其中，三维平移R_t为第二中心点P_Cen，三维旋转R_g为四元数Q_y和旋转四元数Q_z的复合操作，R_g＝Q_y*Q_z。

所述步骤S3包括以下子步骤：

S31.定义每个关节点为J_i＝{ΔT,ΔR}，ΔT表示此关节点相对于父节点的距离，ΔR表示此关节点相对于父节点的旋转参数；

S32.建立手部关节点模型M：

$M=\{J_{Root},J_{Wrist},J_i^{MCP},J_i^{PIP},J_i^{DIP},J_i^{TIP}\},i\∈\[1,5\];$

其中，J_Root表示整个手部模型的根节点，J_Wrist为手腕骨骼点，和表示每根手指包括的四个关节点；

S33.根据手掌姿态θ_P求出手部的所有关节点，对于任意一个关节点J_i，其位置Pⁱ计算如下：

Pⁱ＝R_g*ΔR*ΔT+P^i-1

其中，R_g表示父节点的旋转参数，P^i-1为关节点J_i的父节点位置；

S34.得到关节点J_i的位置Pⁱ后，更新关节点J_i的旋转参数，即R_G＝R_G*ΔR；

S35.计算所有关节点的第一位置{P_i}，将所有关节点的第一位置{P_i}转换到图像坐标系下：

$\left(\begin{array}{c}x\\ y\end{array}\right)=\left(\begin{array}{c}X*f/Z+cols/2\\ Y*f/Z+rows/2\end{array}\right)$

得到所有关节点的第二位置{P_i ^2D}，其中，f为相机焦距，rows为图像序列，cols为图像行数，{P_i}＝{X,Y,Z}为三维点，{P_i ^2D}＝{x,y}为转换后的图像点。

所述步骤S4包括以下子步骤：

S41.设计关节点的投影特征为Δ：

Δ＝(Z(P_i)-I(P_i ^2D+U_t))/Z(P_i)

U_t＝(m,n),m∈[-t,+t],n∈[-t,+t]

式中，投影特征Δ表示将当前关节点相机坐标系下的深度值与图像中深度值做差后与深度值之比；P_i ^2D+U_t表示P_i ^2D的八个方向上距离为t的点坐标；Z(P_i)为三维点P_i的Z坐标值；U_t即为点的八个方向的偏移量；

S42.单个手指中的所有关节点对应的投影特征为：

$X_f=\left\{{\mathrm{\Δ}}_f^g\right\},f\∈\[1,5\],g\∈\[1,4\]$

式中，f表示手指编号，g表示手指中关节点的编号；

S43.对于手指f的第g个关节点而言，利用其关节点参数和真实标签判断此关节点的参数是否正确：

$Y_f^g=\left\{\begin{array}{cc}0& abs({\stackrel{\&OverBar;}{\mathrm{\&theta;}}}_f^g-{\mathrm{\&theta;}}_f^g)<max\left({\mathrm{\&theta;}}_f^g\right)/2\\ 1& abs({\stackrel{\&OverBar;}{\mathrm{\&theta;}}}_f^g-{\mathrm{\&theta;}}_f^g)>max\left({\mathrm{\&theta;}}_f^g\right)/2\end{array}\right.$

式中，表示第f根手指的g个关节点的最大运动角度；表示当前手指f的第g关节点参数，为手指f的第g关节点的真实参数，abs为绝对值；

若关节点参数和真实标签之间的偏差大于阈值，则认为此关节点的参数不正确，其校正值为此关节点的最大夹角与当前的关节点参数之差；

S44.对于单个手指f，其校正状态为其各个关节点校正状态的并集：

$Y_f=\left\{Y_f^g\right\}f\&Element;\&lsqb;1,5\&rsqb;,g\&Element;\&lsqb;1,4\&rsqb;;$

S45.按照关节点顺序进行二进制编码的方式，则手指f的校正状态为：

$Y_f=2^3*Y_f^4+2^2*Y_f^3+2*Y_f^2+Y_f^1.$

所述步骤S5包括以下子步骤：

S51.获取训练数据和训练样本；

S52.训练分类器，将训练得到的分类器记为C，则：

Y_f＝C(X_f)；

S53.计算各个手指的校正状态并进行校正，得到手指姿态θ_f；

S54.联合手指姿态θ_f和手掌姿态θ_P实现对手部姿态的估计。

所述训练数据为手势图像I与对应的姿态标注θ，训练样本为手指投影偏差特征与校正状态。

所述步骤S52中的分类器为普通多类别分类模型。

本发明的有益效果是：本发明以深度数据为基础，通过分割出手部区域并计算出手掌姿态，然后通过深度图像与姿态校正的方式估计出手指姿态，方法简单实用。

附图说明

图1为本发明一种基于深度信息和校正方式的手部姿态估计方法的流程图；

图2为本发明中检测手掌姿态和计算手部关节点的流程图；

图3为本发明中手部关节点模型的示意图；

图4为本发明中手指姿态校正的流程图。

具体实施方式

下面结合附图进一步详细描述本发明的技术方案，但本发明的保护范围不局限于以下所述。

如图1和图2所示，一种基于深度信息和校正方式的手部姿态估计方法，包括以下步骤：

S1.获取手部深度数据，并从手部深度数据中分割出手部区域。

本实施例主要基于深度数据，其目的是估计出深度数据中手部的姿态状态。本实施采用深度数据作为输入，相比于传统的彩色相机，深度传感器能够获得被拍摄物体的距离信息，很容易进行目标与背景的分割，本实施例中以Kinect2传感器为例。

所述步骤S1包括以下子步骤：

S11.获取手部深度数据。在获取的深度数据中手部所占的比例非常小，同时手部和胳膊部分由于深度值相似而难以区分，因此，背景和胳膊部分都会对手部姿态估计造成影响。为了降低干扰因素，本发明中引入手腕点的位置，假设手腕点位置已知，这样能够更好地分割出手腕和手部部分。

S12.获得包括第一手腕点P_wrist的人体骨骼图像。本实施例中采用基于Kinect2传感器的人体骨骼捕获系统来获得人体骨骼，该人体骨骼中还包含了一个粗略估计的手腕点位置，即第一手腕点P_wrist。

S13.将第一手腕点P_wrist变换到图像坐标系下，得到第二手腕点位置且

S14.以第二手腕点位置为中心取领域为t的矩形区域，得到第一矩形区域Rect₁：

Rect₁＝{m,n},m∈[x-t,x+t],n∈[y-t,y+t]。

S15.取第一矩形区域Rect₁中像素值之和的平均值作为第一手腕点P_wrist的深度值。

S16.将深度数据的阈值范围保持在[Z_Palm-t，Z_Palm]，其中，Z_P表示第一手腕点P_wrist对应的深度值，t的取值可以结合手部区域在相机坐标系下的深度值进行设定，表示从手腕到手指的深度变化值的一半，阈值化处理可以排除手部区域以外的无关内容，只保留手部区域，通过阈值化处理从手部深度数据分割出手部区域。

S2.根据手部区域检测手掌姿态。

所述步骤S2包括以下子步骤：

S21.在得到手部区域的图像后，计算手部区域的第一中心点并将第一中心点转换到三维坐标系下，得到第二中心点P_Cen。

S22.利用第二中心点P_Cen和第一手腕点P_wrist计算出从手掌到手指的大致方向，即第一方向V_y，并进行归一化处理，其中：

V_y＝P_Hand-P_wrist。

S23.在第一中心点发射出与第一方向V_y相垂直的直线，该直线与手部区域轮廓交于第一交点和第二交点这两个点表示手掌边沿上的点。

S24.以第一手腕点P_wrist、第一交点和第二交点确定手掌平面，并求出手掌平面的平面法向量V_z，该平面法向量V_z即为手掌的三维向量。

S25.根据第一方向V_y和平面法向量V_z计算出当前的手掌姿态θ_P。

所述步骤S25包括以下子步骤：

S251.定义初始时手指方向为手掌方向为由手指方向变换到第一方向V_y的旋转操作表示为四元数Q_y，则

S252.利用四元数Q_y将最初的手指方向进行方向更新，即按照上述方式，得到从手掌方向变换到平面法向量V_z的旋转四元数Q_z，其中

S253.当前的手掌姿态θ_P包括三维平移R_t和三维旋转R_g，其中，三维平移R_t为第二中心点P_Cen，三维旋转R_g为四元数Q_y和旋转四元数Q_z的复合操作，R_g＝Q_y*Q_z，通过以上步骤即可计算出当前手掌的三维姿态。

S3.结合手掌姿态和手部标准骨骼模型计算出手部各个关节点的位置。在计算出手掌姿态结果的基础上，结合手部标准骨骼模型，从而计算出手部各个关节点的位置。

所述步骤S3包括以下子步骤：

S31.手部关节点模型就是将关节点按照先后顺序通过树结构连接起来，包括手掌关节点和手指关节点。定义每个关节点为J_i＝{ΔT,ΔR}，ΔT表示此关节点相对于父节点的距离，ΔR表示此关节点相对于父节点的旋转参数，初始状态下无旋转参数。

S32.利用关节点之间的拓扑结构连接关系，建立手部关节点模型M，如图3所述：

$M=\{J_{Root},J_{Wrist},J_i^{MCP},J_i^{PIP},J_i^{DIP}\},i\&Element;\&lsqb;1,5\&rsqb;;$

其中，J_Root表示整个手部模型的根节点，J_Wrist为手腕骨骼点，对于人的每个手指包括4个关节点，从手掌到指尖依次为MCP、PIP、DIP和TIP关节点，对应的模型中关节点为 和且每个手指的关节点依次连接。

S33.根据手掌姿态θ_P求出手部的所有关节点，既可以初步求出整个手部关节点的位置，对于任意一个关节点J_i，关节点位置Pⁱ计算如下：

Pⁱ＝R_g*ΔR*ΔT+P^i-1

其中，R_g表示父节点的旋转参数，P^i-1为关节点J_i的父节点位置。

S34.得到关节点J_i的位置Pⁱ后，更新关节点J_i的旋转参数，即R_G＝R_G*ΔR。

S35.通过上述方法计算所有关节点的第一位置{P_i}，第一位置{P_i}是三维空间点，将所有关节点的第一位置{P_i}转换到图像坐标系下：

$\left(\begin{array}{c}x\\ y\end{array}\right)=\left(\begin{array}{c}X*f/Z+cols/2\\ Y*f/Z+rows/2\end{array}\right)$

得到所有关节点的第二位置{P_i ^2D}，其中，f为相机焦距，rows为图像序列，cols为图像行数，{P_i}＝{X,Y,Z}为三维点，{P_i ^2D}＝{x,y}为转换后的图像点。

至此，利用深度数据，通过手部区域分割，并检测手掌姿态θ_P，接着结合手部骨骼模型，初步计算出各个关节点的第二位置{P_i ^2D}。

前文得到手部各个关节点位置，并投影到图像坐标系下为第二位置{P_i ^2D}，在手部ROI区域(感兴趣区域)I中进行显示，会发现手指姿态仍存在错误，因此，还需要对手指姿态进行校正。

S4.如图4所示，计算手部各关节点的投影特征。

所述步骤S4包括以下子步骤：

S41.将手部各个关节点投影到深度图像中之后，如果手部所处的姿态与实际图像中的手部姿态吻合，则手指关节点的投影位置和图像数据相符合，而此时由于手指姿态为进行估计，手指关节点与深度图像相背离，表现在关节点三维坐标对应的深度值和在图像中对应像素值之间的偏差很大。因此，设计关节点的投影特征为Δ：

Δ＝(Z(P_i)-I(P_i ^2D+U_t))/Z(P_i)

U_t＝(m,n),m∈[-t,+t],n∈[-t,+t]

式中，投影特征Δ表示将当前关节点相机坐标系下的深度值与图像中深度值做差后与深度值之比；P_i ^2D+U_t表示P_i ^2D的八个方向上距离为t的点坐标，Z(P_i)为三维点P_i的Z坐标值；U_t即为点的八个方向的偏移量。

单个关节点的偏差并不鲁棒，则采用关节点P_i邻近周围8个像素的偏差比一起来描述此点的投影特征，如果关节点投影正确，则周围像素的投影特征Δ接近0，一但关节点与深度图像偏差较大，对应的投影特征Δ为1。这种方式能很好的描述单个关节点的投影问题。

S42.单个手指中的所有关节点对应的投影特征为：

$X_f=\left\{{\mathrm{\&Delta;}}_f^g\right\},f\&Element;\&lsqb;1,5\&rsqb;,g\&Element;\&lsqb;1,4\&rsqb;$

式中，f表示手指编号，g表示手指中关节点的编号；由于手指与手指之间的姿态是相互独立的，因此对于每根手指的投影状态需要分开描述。

S43.采用投影特征Δ可以描述第f根手指在当前参数θ_f下的投影情况，对于手指f的第g个关节点而言，利用其关节点参数和真实标签判断此关节点的参数是否正确：

$Y_f^g=\left\{\begin{array}{cc}0& abs({\stackrel{\&OverBar;}{\mathrm{\&theta;}}}_f^g-{\mathrm{\&theta;}}_f^g)<max\left({\mathrm{\&theta;}}_f^g\right)/2\\ 1& abs({\stackrel{\&OverBar;}{\mathrm{\&theta;}}}_f^g-{\mathrm{\&theta;}}_f^g)>max\left({\mathrm{\&theta;}}_f^g\right)/2\end{array}\right.$

式中，表示第f根手指的g个关节点的最大运动角度；表示当前手指f的第g关节点参数，为手指f的第g关节点的真实参数，abs为绝对值。

若关节点参数和真实标签之间的偏差大于阈值，则认为此关节点的参数不正确，其校正值为此关节点的最大夹角与当前的关节点参数之差。

S44.对于单个手指f，其校正状态为各个关节点校正状态的并集：

$Y_f=\left\{Y_f^g\right\}f\&Element;\&lsqb;1,5\&rsqb;,g\&Element;\&lsqb;1,4\&rsqb;.$

S45.为了能更方便的表示手指校正状态，可以按照关节点顺序进行二进制编码的方式，则手指f的校正状态为：

$Y_f=2^3*Y_f^4+2^2*Y_f^3+2*Y_f^2+Y_f^1.$

按照对单个手指提取投影特征X_f，以及手指校正状态Y_f，很容易采用通过训练分类器的方式实现对手指姿态的校正。

S5.根据手部各关节点的投影特征进行手指姿态校正。本实施例将手指姿态的校正问题转化为分类。

所述步骤S5包括以下子步骤：

S51.获取训练数据和训练样本；所述训练数据为手势图像I与对应的姿态标注θ，训练样本为手指投影偏差特征与校正状态。

S52.训练分类器，将训练得到的分类器记为C，则：

Y_f＝C(X_f)；

所述步骤S52中的分类器为普通多类别分类模型，普通多类别分类模型为SVM模型或随机森林模型，且普通多类别分类模型不限于为SVM模型或随机森林模型。

S53.在线阶段，对于手部深度图像，利用手部各个关节点在深度图像下的第二位置{P_i ^2D}、各个手指的关节点的投影特征X_f和训练好的分类器C，计算各个手指的校正状态并进行校正，分别进行校正，从而实现对手指姿态的正确估计，得到手指姿态θ_f。

S54.联合手指姿态θ_f和手掌姿态θ_P实现对手部姿态的快速估计。

以上所述仅是本发明的优选实施方式，应当理解本发明并非局限于本文所披露的形式，不应看作是对其他实施例的排除，而可用于各种其他组合、修改和环境，并能够在本文所述构想范围内，通过上述教导或相关领域的技术或知识进行改动。而本领域人员所进行的改动和变化不脱离本发明的精神和范围，则都应在本发明所附权利要求的保护范围内。

Claims (9)

1.一种基于深度信息和校正方式的手部姿态估计方法，其特征在于：包括以下步骤：

S1.获取手部深度数据，并从手部深度数据中分割出手部区域；

S2.根据手部区域检测手掌姿态；

S3.结合手掌姿态和手部标准骨骼模型计算出手部各个关节点的位置；

S4.计算手部各关节点的投影特征；

S5.根据手部各关节点的投影特征进行手指姿态校正。

2.根据权利要求1所述的一种基于深度信息和校正方式的手部姿态估计方法，其特征在于：所述步骤S1包括以下子步骤：

S11.获取手部深度数据；

S12.获得包括第一手腕点P_wrist的人体骨骼图像；

S13.将第一手腕点P_wrist变换到图像坐标系下，得到第二手腕点位置且

S14.以第二手腕点位置为中心取领域为t的矩形区域，得到第一矩形区域Rect₁：

Rect₁＝{m,n},m∈[x-t,x+t],n∈[y-t,y+t]；

S15.取第一矩形区域Rect₁中像素值之和的平均值作为第一手腕点P_wrist对应的深度值；

S16.将深度数据的阈值范围保持在[Z_Palm-t，Z_Palm]，其中，Z_P表示第一手腕点P_wrist对应的深度值，通过阈值化处理从手部深度数据分割出手部区域。

3.根据权利要求1所述的一种基于深度信息和校正方式的手部姿态估计方法，其特征在于：所述步骤S2包括以下子步骤：

S21.计算手部区域的第一中心点并将第一中心点转换到三维坐标系下，得到第二中心点P_Cen；

S22.利用第二中心点P_Cen和第一手腕点P_wrist计算出从手掌到手指的第一方向V_y，并进行归一化处理，其中：

V_y＝P_Hand-P_wrist；

S23.在第一中心点发射出与第一方向V_y相垂直的直线，该直线与手部区域轮廓交于第一交点和第二交点

S24.以第一手腕点P_wrist、第一交点和第二交点确定手掌平面，并求出手掌平面的平面法向量V_z；

S25.根据第一方向V_y和平面法向量V_z计算出当前的手掌姿态θ_P。

4.根据权利要求3所述的一种基于深度信息和校正方式的手部姿态估计方法，其特征在于：所述步骤S25包括以下子步骤：

S251.定义初始时手指方向为手掌方向为由手指方向变换到第一方向V_y的旋转操作表示为四元数Q_y，则

S252.利用四元数Q_y将最初的手指方向进行方向更新，即得到从手掌方向变换到平面法向量V_z的旋转四元数Q_z，其中

S253.当前的手掌姿态θ_P包括三维平移R_t和三维旋转R_g，其中，三维平移R_t为第二中心点P_Cen，三维旋转R_g为四元数Q_y和旋转四元数Q_z的复合操作，R_g＝Q_y*Q_z。

5.根据权利要求1所述的一种基于深度信息和校正方式的手部姿态估计方法，其特征在于：所述步骤S3包括以下子步骤：

S31.定义每个关节点为J_i＝{ΔT,ΔR}，ΔT表示此关节点相对于父节点的距离，ΔR表示此关节点相对于父节点的旋转参数；

S32.建立手部关节点模型M：

$M=\{J_{Root},J_{Wrist},J_i^{MCP},J_i^{PIP},J_i^{DIP},J_i^{TIP}\},i\&Element;\&lsqb;1,5\&rsqb;;$

其中，J_Root表示整个手部模型的根节点，J_Wrist为手腕骨骼点，和表示每根手指包括的四个关节点；

S33.根据手掌姿态θ_P求出手部的所有关节点，对于任意一个关节点J_i，其位置Pⁱ计算如下：

Pⁱ＝R_g*ΔR*ΔT+P^i-1

其中，R_g表示父节点的旋转参数，P^i-1为关节点J_i的父节点位置；

S34.得到关节点J_i的位置Pⁱ后，更新关节点J_i的旋转参数，即R_G＝R_G*ΔR；

S35.计算所有关节点的第一位置{P_i}，将所有关节点的第一位置{P_i}转换到图像坐标系下：

$\left(\begin{array}{c}x\\ y\end{array}\right)=\left(\begin{array}{c}X*f/Z+cols/2\\ Y*f/Z+rows/2\end{array}\right)$

得到所有关节点的第二位置其中，f为相机焦距，rows为图像序列，cols为图像行数，{P_i}＝{X,Y,Z}为三维点，为转换后的图像点。

6.根据权利要求1所述的一种基于深度信息和校正方式的手部姿态估计方法，其特征在于：所述步骤S4包括以下子步骤：

S41.设计关节点的投影特征为Δ：

Δ＝(Z(P_i)-I(P_i ^2D+U_t))/Z(P_i)

U_t＝(m,n),m∈[-t,+t],n∈[-t,+t]

式中，投影特征Δ表示将当前关节点相机坐标系下的深度值与图像中深度值做差后与深度值之比；P_i ^2D+U_t表示P_i ^2D的八个方向上距离为t的点坐标；Z(P_i)为三维点P_i的Z坐标值；U_t即为点的八个方向的偏移量；

S42.单个手指中的所有关节点对应的投影特征为：

$X_f=\left\{{\mathrm{\&Delta;}}_f^g\right\},f\&Element;\&lsqb;1,5\&rsqb;,g\&Element;\&lsqb;1,4\&rsqb;$

式中，f表示手指编号，g表示手指中关节点的编号；

S43.对于手指f的第g个关节点而言，利用其关节点参数和真实标签判断此关节点的参数是否正确：

$Y_f^g=\left\{\begin{array}{cc}0& abs({\stackrel{\&OverBar;}{\mathrm{\&theta;}}}_f^g-{\mathrm{\&theta;}}_f^g)<max\left({\mathrm{\&theta;}}_f^g\right)/2\\ 1& abs({\stackrel{\&OverBar;}{\mathrm{\&theta;}}}_f^g-{\mathrm{\&theta;}}_f^g)>max\left({\mathrm{\&theta;}}_f^g\right)/2\end{array}\right.$

式中，表示第f根手指的g个关节点的最大运动角度；表示当前手指f的第g关节点参数，为手指f的第g关节点的真实参数，abs为绝对值；

若关节点参数和真实标签之间的偏差大于阈值，则认为此关节点的参数不正确，其校正值为此关节点的最大夹角与当前的关节点参数之差；

S44.对于单个手指f，其校正状态为其各个关节点校正状态的并集：

$Y_f=\left\{Y_f^g\right\},f\&Element;\&lsqb;1,5\&rsqb;,g\&Element;\&lsqb;1,4\&rsqb;;$

S45.按照关节点顺序进行二进制编码的方式，则手指f的校正状态为：

$Y_f=2^3*Y_f^4+2^2*Y_f^3+2*Y_f^2+Y_f^1.$

7.根据权利要求1所述的一种基于深度信息和校正方式的手部姿态估计方法，其特征在于：所述步骤S5包括以下子步骤：

S51.获取训练数据和训练样本；

S52.训练分类器，将训练得到的分类器记为C，则：

Y_f＝C(X_f)；

S53.计算各个手指的校正状态并进行校正，得到手指姿态θ_f；

S54.联合手指姿态θ_f和手掌姿态θ_P实现对手部姿态的估计。

8.根据权利要求7所述的一种基于深度信息和校正方式的手部姿态估计方法，其特征在于：所述训练数据为手势图像I与对应的姿态标注θ，训练样本为手指投影偏差特征与校正状态。

9.根据权利要求7所述的一种基于深度信息和校正方式的手部姿态估计方法，其特征在于：所述步骤S52中的分类器为普通多类别分类模型。