CN101567093B - 一种三维手势模型的初始化方法 - Google Patents

Abstract

本发明公开了一种三维手势模型的初始化方法，包括如下步骤：(1)建立三维手势数据库；(2)利用摄像机采集手势图像，并从视频流中获取一个帧图像，计算观测特征值；(3)在三维手势数据库中搜寻与当前手势图像最相近的三维手势模型；(4)从视频流获取新的观测特征值，并进行可视化显示；(5)操作者调整手势状态；(6)如果操作者不认可当前手势状态，转向步骤(4)；(7)如果操作者认可当前手势状态，则停止调整，对当前的手势状态及三维手势模型进行评价，得出评价结果，如果评价结果达到精度要求，则绘制、输出三维手势模型，初始化成功，如果评价结果没有达到精度要求，转向步骤(4)。

Description

一种三维手势模型的初始化方法

技术领域

本发明涉及三维手势模型的初始化领域，具体地讲，涉及一种三维手势模型的初始化方法及系统。

背景技术

基于计算机视觉的三维自然人手跟踪将为现实或虚拟环境里的HCI提供新的模式，从而实现更直接、更自然、更和谐的人机交互，目前已经引起了国际上的高度重视。

粒子滤波方法已经成为处理非高斯、非线性问题的有力工具而在关节式物体的跟踪领域得到了广泛的关注。但是，采用粒子滤波需要对人手模型状态进行初始化。研究表明，无论传统的数值优化方法还是一些现代优化方法，跟踪算法收敛的速度都非常依赖于初始值的选取。如果初始值与最终的最优解或某个可行解比较接近，优化算法搜索到最优解或者可行解的速度就会大大增加。因此通过目标函数优化来求解姿态估计问题的关键是需要得到一定精度的初始值。大部分系统采用手工方法进行初始化。

手工初始化方法的流程为：(1)将摄像机进行定标，求出摄像机的内参数；(2)设计三维人手模型；(3)将当前的人手图像显示在显示器上；(4)调整三维人手模型参数，使得模型与人手图像更接近；(5)将模型向像平面进行投影；(6)判断该投影与显示器上的人手图像是否吻合？若是，则手工初始化成功，保存模型参数；若不是，转步骤(4)。这里的吻合是指用眼睛看起来令人满意或计算机求得的误差达到用户指定精度范围。该初始化方法存在精度低、工作量大、耗时长、缺乏灵活性等问题。

《计算机辅助设计与图形学》2006年第18卷第08期的《一种基于UKF的3-D人手跟踪算法》公开了一种人手三维模型的方法，该模型根据人手的生理特 点和运动特点，设计时主要考虑静态约束(关节角度变化范围)和运动约束(关节之间的运动依赖关系)，每个指节用圆柱进行仿真，手指的长度、手指的半径以及手掌的尺寸设置均在初始化阶段完成。此论文的人手三维模型比常规人手三维模型更简单，更粗糙

2008年IEEE计算机协会期刊公开了一篇关于图像中特征提取的方法研究的论文，名称为：提取图像特征的鲁棒性方法研究(Research on FeaturesExtraction From Frame Image Sequences)，此论文提出一种人手帧图像中特征提取的鲁棒性方法，该方法分两个阶段进行：特征粗定位阶段(简称CLP阶段)和特征鲁棒性提取阶段(简称REP阶段)。在CLP阶段，通过近似地用凹凸多边形模型刻画帧图像中的手势多边形，探讨从定位点和定位线出发获取手势多边形的基本方法，给出一种提取手势多边形和感兴趣特征的特征初定位算法(简称CL算法)。在REP阶段，利用多尺度理论和方法对采用CL算法得到的特征进一步进行处理，通过定义不同类型特征点强度概念，构造不同类型特征点的描述形式，得到特征鲁棒性提取算法(简称RE算法)。大量对比实验表明，RE算法具有鲁棒性强、时间开销低等优点。

2008年IEEE计算机协会期刊还公开了一种建立三维模型方法及该模型在人手跟踪中应用的研究，论文名称为：鲁棒性观测似然模型及其在人手跟踪中的应用研究(The Robust Likelihood Model of State Measurement and ItsApplications In Articulated Object Tracking)。此论文以鲁棒性和实时性为目标，对从人手帧图像中获取特征点的方法进行研究。首先，根据人手生理模型和相机投影原理，提出用手势多边形描述的手势图像轮廓的基本思想和基本方法；其次，对手势多边形的顶点局部区域利用Lindeberg方法获取基于多尺度的角点位置；然后，利用Hausdorff距离和Hausdorff矩阵表达不同尺度下的特征信息；在此基础上，提出了状态观测似然模型；最后，把该模型用于三维运动人手跟踪，并进行大量对比实验。

2008年2月《中国图象图形学报》第13卷第2期公开了密度分布特征及其在二值图像检索中的应用。该方法在经过形心定位和子图像区域划分后，可得到2个M维特征向量，其中第1个表示各个子图像区域的目标像素的相对密度，第2个表示各个子图像区域的目标像素在极坐标方向上的相对密度的一阶数值差分。在进行相似性度量时，首先采用Gaussian模型对这2个特征向量计算得到的距离分别进行归一化处理；然后综合两个特征向量的距离计算总的相似度。

本发明在上述论文公开的算法基础上，提出了一种三维手势模型初始化方法及系统。

发明内容

本发明要解决的技术问题是提供一种时间开销少、鲁棒性和精度得到有效改善的初始化方法，该方法把可视化技术和人机交互技术天然地结合在一起，给操作者带来愉悦和方便。

本发明采用如下技术方案来实现发明目的：

一种三维手势模型的初始化方法，其特征在于，包括如下步骤：

(1)建立三维手势数据库；

(2)利用摄像机采集手势图像，并从视频流中获取帧图像，计算观测特征值；

(3)在三维手势数据库中搜寻与当前手势图像最相近的三维手势模型，将搜寻到的三维手势模型显示并按照摄像机投影矩阵进行投影；

(4)从视频流获取新的观测特征值，并进行可视化显示，得到观测特征值图像；

(5)操作者调整手势状态；

(6)如果操作者不认可当前手势状态，转向步骤(4)；

(7)如果操作者认可当前手势状态，则停止调整，对当前的手势状态及三维手势模型进行评价，得出评价结果，如果评价结果达到精度要求，则绘制、输出三维手势模型，初始化成功，如果评价结果没有达到精度要求，则转向步骤(4)；

步骤(7)包括如下操作过程：

D1：计算手势观测图像I(t)与模型投影图像P(t)之间的Hausdorff距离h^k(i，j)＝Hausdorff(I(t)，P(t))，其中，i∈I(t)，j∈P(t)；

D2：如果h^k(i，j)＜δ，则返回人手模型，人手模型达到规定精度，保存输出初始化模型，初始化成功，其中，δ为一常数；

D3：如果h^k(i，j)＞δ，则执行如下步骤：

D3.1：求集合X^j，把三维手势模型中影响特征向量j的所有变量放入集合X^j中，在此j为关键因素；

D3.2：对集合X^j中所有元素进行采样；

D3.3：根据采样值重新计算Hausdorff距离h^k+1(i，j)，如果h^k+1(i，j)＞h^k(i，j)，则舍弃此次采样值，转步骤D3.2；

D3.4：如果h^k+1(i，j)＜h^k(i，j)，则程序根据采样值自动刷新三维手势模型，并进行显示，同时把三维手势模型按照摄像机投影矩阵进行投影；

D3.5：把人手图像中的关键因素以一定的形式凸现出来，操作者根据可视化状态调节手势。

作为对本发明的进一步限定，步骤(1)包括如下步骤：

B1：用定标后的摄像机获取人手图像；

B2：建立三维人手模型，不断调整三维人手模型参数，直到三维人手模型在对应人手图像上的投影与该人手图像吻合为止，其中，投影矩阵由已知摄像机的参数所组成；

B3：获取人手图像的密度分布特征：

B4：用索引方式组织人手图像、三维人手模型以及密度分布特征。

作为对本发明的进一步限定，步骤D3.2对集合X^j中所有元素进行采样包括如下步骤：状态变量x∈X^j是服从高斯分布的随机变量，用上一时刻t-1的状态分布近似地代替时刻t的状态分布，即

为了避免状态值在大范围内震荡，尽快收敛到真实解，引进阈值λ，使其满足条件

λ为一常数。λ可取值3或4或5。

与现有技术相比，本发明的优点和积极效果是：本文给出了一种比较系统性的初始化方法，该方法把可视化技术和人机交互技术天然地结合在一起，不仅使得初始化结果的时间开销、鲁棒性以及精度得到有效改善，而且给操作者带来愉悦和方便。为了突破人手结构的高维性这个难点，本文引入关键因素这个基本概念，指引采样过程沿着“最需要调整”的状态变量进行，达到降低维数、逐步求精的效果。由于特征值提取的时间开销是本文算法时间开销的瓶颈，本文采用速度快、鲁棒性强的特征提取方法，并减少特征点的数目，降低计算Hausdorff距离的时间开销。在整个初始化过程中，操作者不是被动地等待计算机搜索手势模型的真解，而是根据当前的实际状态主动调节手势。将三维模型、图像以及关键因素等比较抽象的数据及其关系在显示器上实时再现出来，使得操作者易于进行人机交互。

附图说明

图1为本发明一优选实施例的系统流程图。

图2为基于亮度的颜色分布模型框图。

图3为本发明另一优选实施例的系统流程图。

具体实施方式

下面结合附图和优选实施例对本发明作更进一步的详细描述。

参见图1，该方法包括如下步骤，步骤S1，建立三维手势数据库，该数据库中存储一组各种形态的三维人手手势，按照以下过程建立数据库：A1：用定标后的摄像机获取人手图像；A2：建立三维人手模型，不断调整三维人手模型参数，直到三维人手模型在对应人手图像上的投影与该人手图像吻合为止，其中，投影矩阵由已知摄像机的参数所组成；A3：按照以下步骤计算人手图像的密度分布特征：

a1：计算人手图像f(x，y)的形心，即重心(x，y)；

a2：计算人手图像f(x，y)中，目标像素点到形心的最大距离D_max；

a3：先计算人手图像f(x，y)中，以形心为圆心，以D_max为半径的目标区域外接圆，然后在外接圆内，使用等距离区域划分法或等面积区域划分法将图像划分为M个子图像区域(M＞0)；

a4：对各子图像区域分别进行统计，即计算每个子图像区域内目标像素的总数S_i(i＝1，…，M)，并找出S_i的最大值

S_max＝max(S_i)，i＝1，…，M

a5：计算密度分布：

r_i＝S_i/S_max  (i＝1，…，M)

a6：计算密度分布特征的第2个特征向量dr的以下各个分量：

${\mathrm{dr}}_i=\left\{\begin{array}{cc}|r_1-r_2|& i=1\\ |{2r}_i-r_{i-1}-r_{i+1}|& 1<i<M\\ |r_M-r_{N-1}|& i=M\end{array}\right.$

a7：按照以下顺序组织密度分布特征：

DDF1＝(r₁，…，r_M；dr₁，…，dr_M)

A4：用索引方式(把人手图像、三维人手模型及密度分布特征放在数组的同一个结构体中，或用指针超链接方式把这三者关联起来)组织人手图像、三维人手模型以及密度分布特征，并进行保存。此步骤中的三维人手模型按照以下方式建立：人手的每个指节用圆柱进行仿真，其半径和长度的设置在初始化阶段完成。手掌用矩形模拟，其主要参数有2个：手掌面的法线向量和手指自然伸直时手指的方向(大拇指除外)。除大拇指外的每个手指上的所有关节点位于同一平面内，该平面与手掌面垂直。除指根有2个自由度外，其余每个关节的自由度为1。大拇指与其它手指的区别在于，关节点所在平面与手掌面不一定垂直。显然，该模型共有20个自由度(DOF)。第f个手指的第s个关节标记为

其中，大拇指为第0个手指，指根关节为第0个关节，指尖作为关节处理。同一手指上相邻指节之间方向变化角度为[-3°，90°]，4个关节所在平面与平面ζ之间的夹角(大拇指除外)变化范围为[-20，20]，这里的平面ζ是指满足下列2个条件的平面：①与手掌面垂直；②与中指自然伸直时所在方向一致。另外，指头之间不得出现交叠。在实验中，允许人手作旋转和平移运动，即可以有26个自由度。手势库中的模型可以自动调整有关几何尺度，例如指节长度、手掌大小等。当然，也可以采用其它已知方法来建立人手三维模型，在此不再赘述。

步骤S2，利用定标过的摄像机采集当前手势图像，并从视频流中获取一个帧图像，计算观测特征值。获取手势图像的观测特征值，包括以下过程：

B1、构造当前手势图像的矩形包围盒P；

首先，沿图像的水平方向进行扫描，得到与人手图像有交点的最高扫描线和最低扫描线；然后，沿图像的垂直方向进行扫描，得到与人手图像有交点的最右扫描线和最左扫描线。最高扫描线、最低扫描线、最右扫描线和最左扫描线这4条扫描线所围成的多变形就是包围盒P。

B2、对包围盒边G_i(i＝1，2，3，4)，计算手势图像在G_i上投影的最大和最小端点所在线段，并将该线段放入栈

中；将手势多边形集ψ置为空集；

B3、如果

不空，从中取出一条边L，然后进行以下处理：

B3.1如果|L|＜γ₁(γ₁一般取值为5)，则将L放入到ψ中，转B3；

B3.2沿与L垂直方向投影，求出L两端点在手势图像边沿上的投影点A，B；如果图像中线段AB在G_i上存在投影边，则验证线段AB是否为手势边沿(首先，建立光照亮度的人手肤色模型，参见图2，在该模型中，首先根据亮度对肤色进行分类，然后建立每类亮度的肤色特征分布高斯模型，对线段AB上的某点s，利用过s点且与AB垂直方向两个分别位于s两侧点的信息，就可以对s点是否为边界点进行有效判断，对线段AB上的所有点采用同样方法进行判断，就可确定线段AB是否为手势边沿)。若是，保存到ψ；若不是，将AB等分成两部分并放入到

中，转B3；

B4、对ψ中的元素依逆时针顺序进行排序；

B5、对于首尾不相连的断点，按照下面方法进行处理：

B5.1以两相邻断点所在线段为直径建立放射状半圆C，半圆方向始终在逆 时针前进方向的左侧；

B5.2将半圆C放入ξ中；将手势边沿集ζ置为空；

B5.3如果ξ不空，从中取出一个元素(圆弧)U，然后进行以下处理：

B5.3.1将U平分为两段圆弧U₁和U₂；

B5.3.2求出U_i(i＝1，2)的两条半径与前景(肤色区域)的两个交点E，F；

D5.3.3若|EF|＜γ₂(γ₂一般取值为5)，则将其保存到手势边沿集ζ，转D5.3；若线段EF是手势轮廓边界，则将其保存到手势边沿集ζ；若这两种情况都不满足，则将U_i放入ξ中，转D5.3；

B6、ψ＝ψ∪ζ；

B7、ψ还存在断点吗？若是，转D5；

B8、根据ψ，计算手势特征。

步骤S3，在三维手势数据库中搜寻与当前手势图像最相近的三维手势模型，该步骤包括以下过程：C1、按照步骤S1的A3过程计算当前人手图像的密度分布特征：DDF2＝(r’₁，…，r’_M；dr’₁，…，dr’_M)；C2、采用Gaussian模型对r’_i归一化，并与三维手势数据库中手势相应的不变量特征进行比较，找到与手势图像最相近的三维手势模型，把此三维手势模型进行可视化显示，同时按照摄像机的内参数矩阵进行投影。

步骤S4，按照步骤S2的方法从视频流获得新的观测特征值，并进行可视化显示，得到观测特征值图像。

步骤S5，操作者调整手势状态。

步骤S6，如果操作者不认可当前手势状态，转向步骤S4。

步骤S7，如果操作者认可当前手势状态，则停止调整，对当前的手势状态及三维手势模型进行评价，计算手势观测图像与模型投影图像的Hausdorff距离。设在时刻t，手势观测图像为I(t)，三维手势模型M(t)在I(t)上的投影图像为P(t)，I(t)和P(t)之间的Hausdorff距离为h^k(i，j)，其中，i∈I(t)是图像观测特征，j∈P(t)是模型在像平面上的投影特征。具体过程如下：

D1：计算模型投影与图像之间的Hausdorff距离h^k(i，j)＝Hausdorff(I(t)，P(t))；

D2：如果h^k(i，j)＜δ(δ一般取值为30)，则返回人手模型，人手模型达到规定精度，保存输出初始化模型，初始化成功；

D3：如果h(i，j)＞δ，则执行如下步骤：

D3.1：求集合X^j，把三维手势模型中影响特征向量j的所有变量放入集合X^j中，在此j为关键因素；

D3.2：对集合X^j中所有元素进行采样，采样过程如下：在任意时刻t，假设状态变量x∈X^j是服从高斯分布的随机变量，但精确获取这种分布具有一定难度，因此，用上一时刻t-1的状态分布近似地代替时刻t的状态分布，即 $({\mathrm{\&mu;}}_t^x,{\mathrm{\&delta;}}_t^x)\&ap;({\mathrm{\&mu;}}_{t-1}^x,{\mathrm{\&delta;}}_{t-1}^x),$ 为了避免状态值在大范围内震荡，尽快收敛到真实解，引进阈值λ，使其满足条件 $u_t^x<u_{t-1}^x+\mathrm{\&lambda;},$ λ可取值3或4或5；

D3.3：根据采样值重新计算Hausdorff距离h^k+1(i，j)，如果h^k+1(i，j)＞h^k(i，j)，则舍弃此次采样值，转步骤D3.2；

D3.4：如果h^k+1(i，j)＜h^k(i，j)，则程序根据采样值自动刷新三维手势模型，并进行显示，同时把三维手势模型按照摄像机投影矩阵进行投影；

D3.5：把人手图像中的关键因素以一定的形式(例如，闪烁、颜色、虚线等)凸现出来，操作者根据可视化状态调节手势。

参见图3，在上述步骤中，也可以不刷新三维手势模型，三维手势模型保持不变，不断调节人手状态，如果操作者认可当前手势状态，则停止调整手势，计算手势观测图像与模型投影图像的Hausdorff距离，如果Hausdorff距离达到要求，则停止调整人手手势，初始化成功，否则，重新调整人手手势，直到手势观测图像与模型投影图像的Hausdorff距离满足要求为止。

当然，上述说明并非对本发明的限制，本发明也不仅限于上述举例，本技术领域的普通技术人员在本发明的实质范围内所做出的变化、改型、添加或替换，也属于本发明的保护范围。

Claims (4)

1.一种三维手势模型的初始化方法，其特征在于，包括如下步骤：

(1)建立三维手势数据库；

(2)利用摄像机采集手势图像，并从视频流中获取帧图像，计算观测特征值；

(3)在三维手势数据库中搜寻与当前手势图像最相近的三维手势模型，将搜寻到的三维手势模型显示并按照摄像机投影矩阵进行投影；

(4)从视频流获取新的观测特征值，并进行可视化显示，得到观测特征值图像；

(5)操作者调整手势状态；

(6)如果操作者不认可当前手势状态，转向步骤(4)；

(7)如果操作者认可当前手势状态，则停止调整，对当前的手势状态及三维手势模型进行评价，得出评价结果，如果评价结果达到精度要求，则绘制、输出三维手势模型，初始化成功，如果评价结果没有达到精度要求，则转向步骤(4)；

步骤(7)包括如下操作过程：

D1：计算手势观测图像I(t)与模型投影图像P(t)之间的Hausdorff距离h^k(i，j)＝Hausdorff(I(t)，P(t))，其中，i∈I(t)，j∈P(t)；

D2：如果h^k(i，j)＜δ，则返回人手模型，人手模型达到规定精度，保存输出初始化模型，初始化成功，其中，δ为一常数；

D3：如果h^k(i，j)＞δ，则执行如下步骤：

D3.1：求集合X^j，把三维手势模型中影响特征向量j的所有变量放入集合X^j中，在此j为关键因素；

D3.2：对集合X^j中所有元素进行采样；

D3.3：根据采样值重新计算Hausdorff距离h^k+1(i，j)，如果h^k+1(i，j)＞h^k(i，j)，则舍弃此次采样值，转步骤D3.2；

D3.4：如果h^k+1(i，j)＜h^k(i，j)，则程序根据采样值自动刷新三维手势模型，并进行显示，同时把三维手势模型按照摄像机投影矩阵进行投影；

D3.5：把人手图像中的关键因素以一定的形式凸现出来，操作者根据可 视化状态调节手势。

2.根据权利要求1所述三维手势模型的初始化方法，其特征是：步骤(1)包括如下步骤：

B1：用定标后的摄像机获取人手图像；

B2：建立三维人手模型，不断调整三维人手模型参数，直到三维人手模型在对应人手图像上的投影与该人手图像吻合为止，其中，投影矩阵由已知摄像机的参数所组成；

B3：获取人手图像的密度分布特征：

B4：用索引方式组织人手图像、三维人手模型以及密度分布特征。

3.根据权利要求1所述三维手势模型的初始化方法，其特征是：步骤D3.2对集合X^j中所有元素进行采样包括如下步骤：状态变量x∈X^j是服从高斯分布的随机变量，用上一时刻t-1的状态分布近似地代替时刻t的状态分布，即为了避免状态值在大范围内震荡，尽快收敛到真实解，引进阈值λ，使其满足条件

λ为一常数。

4.根据权利要求3所述三维手势模型的初始化方法，其特征是：所述λ可取值3或4或5。

Images