CN102567703A - 一种基于分类特征的手部动作识别信息处理方法 - Google Patents

Abstract

本发明涉及一种基于分类特征的手部动作识别信息处理方法，包括以下步骤：1)对手部区域进行检测及分割处理；2)根据步骤1)处理后的数据建立人体上肢关节模型；3)根据步骤2)的人体上肢关节模型，对手部的角度参数和直线参数进行特征提取，组成特征向量并利用HMM模型对其进行训练，利用训练好的HMM模型对新的特征向量进行识别；4)判断识别结果是否正确，若为是，将识别结果输出，若为否，返回步骤1)。与现有技术相比，本发明具有简单、实用，对于动作过程非相似的动作识别率较高等优点。

Description

一种基于分类特征的手部动作识别信息处理方法

技术领域

本发明涉及一种计算机的动作识别信息处理方法，尤其是涉及一种基于分类特征的手部动作识别信息处理方法。

背景技术

人体手部动作识别很有前景的潜在应用之一是高级人机交互。在智能化的环境中，用户不需要键盘和鼠标，就可以进行用户和机器人之间的交互，这就要求机器人能够理解人的意图，达到拟人交流的效果。

手势识别目前有很多方式，大部分方法是基于对手势的建模，主要的建模方式有基于人手表示的三维人手跟踪建模和基于先验模型的三维人手跟踪建模。基于表示的方法要求预先定义一组手势集，从每个手势中提取唯一的手势描述子，通过从图像特征空间到手势空间的映射直接得到手势的估计。而基于模型的方法则根据静止的三维手模型来识别手势，把被投影的3D模型与被观察到的图像特征进行匹配而恢复手的状态，最后得到手的3D形状。

发明内容

本发明的目的就是为了克服上述现有技术存在的缺陷而提供一种简单、实用，对于动作过程非相似的动作识别率较高的基于分类特征的手部动作识别信息处理方法。

本发明的目的可以通过以下技术方案来实现：

一种基于分类特征的手部动作识别信息处理方法，其特征在于，包括以下步骤：

1)对手部区域进行检测及分割处理；

2)根据步骤1)处理后的数据建立人体上肢关节模型；

3)根据步骤2)的人体上肢关节模型，对手部的角度参数和直线参数进行特征提取，组成特征向量并利用HMM模型对其进行训练，利用训练好的HMM模型对新的特征向量进行识别；

4)判断识别结果是否正确，若为是，将识别结果输出，若为否，返回步骤1)。

所述的步骤1)对手部区域进行检测及分割处理的步骤如下：

1)摄像头开启，获取图像；

2)判断是否获取成功，若为是，执行步骤3)，若为否，返回步骤1)；

3)对获取的图像进行预处理；

4)采用基于自适应混合高斯模型来建立背景，并采用背景减除法获得人体手部运动目标，同时对当前帧图像进行肤色分割，提取出手部肤色区域以及人脸区域并对这些区域进行标记；

5)将手部运动目标和手部肤色区域融合后，并通过背景减除法分割出手部运动目标与肤色区的图像。

所述的步骤2)中的建立人体上肢关节模型步骤如下：

对获得的手部运动目标与肤色区的图像进行二值化，然后利用人体肤色模型得到人体的手掌、手臂、脸部区域；

获得的手掌、手臂、脸部区域以后，由于头部区域仅仅是起到辅助的作用，不需要得到非常精确的头部边缘，假设人体的脸部为圆形，计算其质心所在位置，利用人体头部质心位置近似估计人体肩部位置，如果用户脸部朝向摄像头，操作者的肩部位置离头部质心处是一个固定值，假设人体头部半径为R，则R的值近似为：

如果头部的质心位置为：(x，y)，则左肩部位置为：(x-r·φ，y+r)，其中

左肩部的x坐标即为x+r·φ；同理根据对称性可知右肩部坐标位置；使用曲率的峰值来决定手指的位置，而肘部位置则源自于指尖和肩部最大距离的连线，由于人类的骨骼的长度有比较一致的比例关系，所以前臂与后臂的长度的比例关系是恒定的，肘关节在以肩为圆心，以后臂的长度为半径在一定的区域内运动，对应关系如下：

x²+y²+z²＝r²            (1)

z²＝r²-(x²+y²)          (2)

在二维平面坐标系中x²+y²长度即为前臂的长度L，则上式可写成z²＝r²-L²，假定用户正面面向摄像头，在实际的空间坐标系中，空间上的一个点(x，y，z)在图像平面坐标为(x’，y’)，其中：x’＝(f/z)x，y’＝(f/z)y，而f的长度是固定的，利用以上获得的参数以及端点固定的关节模型及其对应的方程组，以估计各个关节点的3D坐标，建立人体上肢关节模型。

所述的步骤3)中的对获取的图像进行预处理过程如下：首先将RGB空间的图像变换到YCbCr空间，利用YCbCr色彩空间亮度和色度分离的性质在一定程度上克服光照干扰，再使用中值滤波和线性平滑滤波对手区域二值图进行去噪，其中YCbCr是DVD、摄像机、数字电视等消费类视频产品中，常用的色彩编码方案，YCbCr其中Y是指亮度分量，Cb指蓝色色度分量，而Cr指红色色度分量。

所述的3)中的利用HMM模型对其进行训练过程如下：

每个手部动作采集N组样本，而每组样本包括M张图像使用HMM模型进行训练，训练过程如下：

首先要对左右结构的离散HMM模型λ＝(A，B，π)初始化，并设定状态i只能返回到本身或转移到i+1状态，状态转移矩阵初始化为：

$\left(\begin{array}{cccccc}{a}_{11}& a_{12}& 0& ...& 0& 0\\ 0& a_{22}& a_{23}& ...& 0& 0\\ ...& ...& .& ...& ...& ...\\ ...& ...& ...& .& ...& ...\\ 0& 0& ...& ...& a_{N-1,N-1}& a_{N-1,1}\\ 0& 0& ...& ...& 0& a_{\mathrm{NN}}\end{array}\right)$

对于初始概率分布，设定：π₁＝1，π_i≠0(i≠1)；即假设HMM是从第一个状态开始的，对于观察概率矩阵B，设

1≤i≤N，1≤k≤M

初始模型确定以后，利用前后向递推法计算观察值序列O在这个模型下的P(O/λ)然后利用Baum-Welch算法对初始HMM模型λ＝(A，B，π)进行重新计算，HMM的各个参数在这一过程得到重新估计，即求得新的HMM模型

所述的角度参数包括关节角度。

所述的直线参数包括骨长度、手掌尺度、臂长。

与现有技术相比，本发明具有简单、实用，对于动作过程非相似的动作识别率较高。

附图说明

图1为本发明的流程图；

图2为本发明的硬件结构示意图；

图3为本发明的手部区域进行检测及分割处理的流程图；

图4为本发明手部关节模型的结构示意图；

图5为本发明的人体上肢关节模型的结构示意图；

图6为本发明手部动作识别的流程图；

图7为本发明的识别结果图。

具体实施方式

下面结合附图和具体实施例对本发明进行详细说明。

实施例

如图1所、图2示，一种基于分类特征的手部动作识别信息处理方法，包括以下步骤：

1)摄像头1采集图像，并将图像传输给处理器2，处理器2对手部区域进行检测及分割处理；

2)处理器2根据步骤1)处理后的数据建立人体上肢关节模型；

3)处理器2根据步骤2)的人体上肢关节模型，对手部的角度参数和直线参数进行特征提取，组成特征向量并利用HMM模型对其进行训练，利用训练好的HMM模型对新的特征向量进行识别；

4)处理器2判断识别结果是否正确，若为是，将识别结果输出给机器人控制器，若为否，返回步骤1)。

一、手部区域进行检测及分割处理的步骤如下：

打开摄像头，待环境稳定后开始获取图像，从获取的第一帧图像开始，使用基于高斯模型的方法来构建背景图像，把每个像素作为混合高斯来建模，使用在线近似来更新。在本发明中用第一幅图像每点的像素值作为该点对应混合高斯分布的均值，并给每个高斯模型赋一个较大的方差和较小的权值。场景变化时，每个像素的混合高斯模型要被不断的学习更新，从每一点的多个高斯分布中选择一个或几个作为背景模型，其他均为前景模型，如果当前值与背景模型匹配，则该点为背景，否则为前景。该方法包括背景模型的选择和更新，详细步骤如下所述：

提高在繁忙的场景下，相对比较大而慢的手部运动目标检测效果，本发明中对均值和方差采用不同的学习率，对于均值采用

而对于方差如果1/t＞0.001时ρ＝1/t，当1/t≤0.001时ρ＝0.001。当第i个高斯成分与x_j匹配时，为1，否则为0；如果x_j与像素j的混合高斯模型中的K个高斯成分都不匹配，则该像素混合告诉模型中排在最后的高斯成分被新的高斯成分取代，新的高斯成分的均值为x_j，初始标准差及权重为0.001和w_min，在更新完成后，各高斯成分的权重归一化。

在采用基于自适应混合高斯模型建立背景，采用背景减除法获得人体手部运动目标，同时对当前帧进行肤色分割，提取出手部肤色区域以及人脸区域并对这些区域进行标示，最后融合利用背景减除法分割出的运动目标与肤色分割出的图像区域，流程图如下图3所示。

二、建立人体上肢关节模型步骤如下：

对获得的手部运动目标与肤色区的图像进行二值化，然后利用人体肤色模型得到人体的手掌、手臂、脸部区域；

获得的手掌、手臂、脸部区域以后，由于头部区域仅仅是起到辅助的作用，不需要得到非常精确的头部边缘，假设人体的脸部为圆形，计算其质心所在位置，利用人体头部质心位置近似估计人体肩部位置，如果用户脸部朝向摄像头，操作者的肩部位置离头部质心处是一个固定值，假设人体头部半径为R，则R的值近似为：

如果头部的质心位置为：(x，y)，则左肩部位置为：(x-r·φ，y+r)，其由

左肩部的x坐标即为x+r·φ；同理根据对称性可知右肩部坐标位置；使用曲率的峰值来决定手指的位置，而肘部位置则源自于指尖和肩部最大距离的连线，由于人类的骨骼的长度有比较一致的比例关系，所以前臂与后臂的长度的比例关系是恒定的，肘关节在以肩为圆心，以后臂的长度为半径在一定的区域内运动，对应关系如下：

x²+y²+z²＝r²              (1)

z²＝r²-(x²+y²)            (2)

在二维平面坐标系中x²+y²长度即为前臂的长度L，则上式可写成z²＝r²-L²，假定用户正面面向摄像头，在实际的空间坐标系中，空间上的一个点(x，y，z)在图像平面坐标为(x’，y’)，其中：x’＝(f/z)x，y’＝(f/z)y，而f的长度是固定的，利用以上获得的参数以及端点固定的关节模型及其对应的方程组，以估计各个关节点的3D坐标，建立人体上肢关节模型，增加约束条件并根据人体结构的特点，恢复出人体手部的3D姿态，如图5所示。

三、动作识别

在上一节建立的上肢关节模型中设肩关节为原点，如图4所示。其中A₀，A₁，A₂，A₃分别表示人体左手肩关节、肘关节、腕关节以及手掌心的坐标，根据对称性得到右手关节坐标系。如图6所示，对每个待识别动作按照某种规则提取出统一的特征，将此特征送入识别器训练，得到最终的动作识别器。这里选取的特征能反映出不同动作间的本质差别，例如人体手部骨架模型前臂与上臂之间的夹角θ能反映出各种不同动作的区别。算法步骤如下：

(1)对训练样本集S(样本大小设为N个)中每个样本Si的M个骨架S(i，m)(m＝1，…，M)计算各图像中L1与L2之间的夹角θ(i，m)_1，2，L₂与L₃之间的夹角θ(i，m)_2，3，L1与垂直方向Y轴的夹角θ(i，m)_1，y，L1与水平方向X轴的夹角θ(i，m)_1，x。则第i个样本Si的夹角特征向量为Ki＝{(θ(i，1)_1，2，θ(i，1)_2，3，θ(i，1)_1，y，θ(i，1)_1，x)，…，(θ(i，m)_1，2，θ(i，m)_2，3，θ(i，M)_1，y，θ(i，M)_1，x)}^T(i＝1，2，…，N)，训练样本集Str＝{S₁，S₂，…，S_n}得到与之对应的夹角特征向量集Ktr＝{K₁，K₂，…，K_n}。

具体计算方法为：θ(i，m)_1，2＝deg(A₂，A₁)+deg(A₁，A₀)，其中：

deg(A₂，A₁)＝arctan(y₂-y₁)/(x₂-x₁)，A₂为(x₂，y₂)，A₁为(x₁，y₁)。

(2)对训练样本集S中每个样本Si的M个骨架S(i，m)(m＝1，…，M)计算各图像中非相邻关节的距离，A₀与A₂的距离d(i，m)_0，2，A₀与A₃的距离d(i，m)_0，3，A₁与A₂的距离d(i，m)_1，3，则第i个样本Si的距离特征向量为Di＝{(d(i，1)_0，2，d(i，1)_0，3，d(i，1)_1，3)，...，(d(i，M)_0，2，d(i，M)_0，3，d(i，M)_1，3)}^T(i＝1，2，…，N)，训练样本集Str＝{S₁，S₂，…，S_n}得到与之对应的距离特征向量集Dtr＝{D₁，D₂，...，D_n}。

(3)将训练样本集Str所对应的特征向量集Ktr和Dtr按动作分类，分别送入隐马尔柯夫模型中进行学习训练，利用Baum-Welch算法得到对应于每种类手部动作的HMM模型

(4)对测试样本集Ste按步骤(1)、(2)中的方法计算其对应的夹角特征向量集Ktr，再HMM的向前-向后算法选取步骤(3)中具有最大概率的HMM模型，得到识别结果。

本发明的6种简单手部动作的识别结果，如图7所示，此识别方法对于动作过程非相似的动作(如：“向上”、“向下”“向左”、“向右”、“举手”)识别率较高，对于较复杂的、动作过程相似的手部动作(如“举手”、“敬礼”)识别率相对较低，误识率较高。同时该算法在背景较单一的环境识别率要比背景复杂的情况下要高。

Claims (7)

1.一种基于分类特征的手部动作识别信息处理方法，其特征在于，包括以下步骤：

1)对手部区域进行检测及分割处理；

2)根据步骤1)处理后的数据建立人体上肢关节模型；

3)根据步骤2)的人体上肢关节模型，对手部的角度参数和直线参数进行特征提取，组成特征向量并利用HMM模型对其进行训练，利用训练好的HMM模型对新的特征向量进行识别；

4)判断识别结果是否正确，若为是，将识别结果输出，若为否，返回步骤1)。

2.根据权利要求1所述的一种基于分类特征的手部动作识别信息处理方法，其特征在于，所述的步骤1)对手部区域进行检测及分割处理的步骤如下：

1)摄像头开启，获取图像；

2)判断是否获取成功，若为是，执行步骤3)，若为否，返回步骤1)；

3)对获取的图像进行预处理；

4)采用基于自适应混合高斯模型来建立背景，并采用背景减除法获得人体手部运动目标，同时对当前帧图像进行肤色分割，提取出手部肤色区域以及人脸区域并对这些区域进行标记；

5)将手部运动目标和手部肤色区域融合后，并通过背景减除法分割出手部运动目标与肤色区的图像。

3.根据权利要求1所述的一种基于分类特征的手部动作识别信息处理方法，其特征在于，所述的步骤2)中的建立人体上肢关节模型步骤如下：

对获得的手部运动目标与肤色区的图像进行二值化，然后利用人体肤色模型得到人体的手掌、手臂、脸部区域；

获得的手掌、手臂、脸部区域以后，由于头部区域仅仅是起到辅助的作用，不需要得到非常精确的头部边缘，假设人体的脸部为圆形，计算其质心所在位置，利用人体头部质心位置近似估计人体肩部位置，如果用户脸部朝向摄像头，操作者的肩部位置离头部质心处是一个固定值，假设人体头部半径为R，则R的值近似为：

如果头部的质心位置为：(x，y)，则左肩部位置为：(x-r·φ，y+r)，其由

左肩部的x坐标即为x+r·φ；同理根据对称性可知右肩部坐标位置；使用曲率的峰值来决定手指的位置，而肘部位置则源自于指尖和肩部最大距离的连线，由于人类的骨骼的长度有比较一致的比例关系，所以前臂与后臂的长度的比例关系是恒定的，肘关节在以肩为圆心，以后臂的长度为半径在一定的区域内运动，对应关系如下：

x²+y²+z²＝r²            (1)

z²＝r²-(x²+y²)          (2)

在二维平面坐标系中x²+y²长度即为前臂的长度L，则上式可写成z²＝r²-L²，假定用户正面面向摄像头，在实际的空间坐标系中，空间上的一个点(x，y，z)在图像平面坐标为(x’，y’)，其中：x’＝(f/z)x，y’＝(f/z)y，而f的长度是固定的，利用以上获得的参数以及端点固定的关节模型及其对应的方程组，以估计各个关节点的3D坐标，建立人体上肢关节模型。

4.根据权利要求2所述的一种基于分类特征的手部动作识别信息处理方法，其特征在于，所述的步骤3)中的对获取的图像进行预处理过程如下：首先将RGB空间的图像变换到YCbCr空间，利用YCbCr色彩空间亮度和色度分离的性质在一定程度上克服光照干扰，再使用中值滤波和线性平滑滤波对手区域二值图进行去噪。

5.根据权利要求1所述的一种基于分类特征的手部动作识别信息处理方法，其特征在于，所述的3)中的利用HMM模型对其进行训练过程如下：

每个手部动作采集N组样本，而每组样本包括M张图像使用HMM模型进行训练，训练过程如下：

首先要对左右结构的离散HMM模型λ＝(A，B，π)初始化，并设定状态i只能返回到本身或转移到i+1状态，状态转移矩阵初始化为：

$\left(\begin{array}{cccccc}{a}_{11}& a_{12}& 0& ...& 0& 0\\ 0& a_{22}& a_{23}& ...& 0& 0\\ ...& ...& .& ...& ...& ...\\ ...& ...& ...& .& ...& ...\\ 0& 0& ...& ...& a_{N-1,N-1}& a_{N-1,1}\\ 0& 0& ...& ...& 0& a_{\mathrm{NN}}\end{array}\right)$

对于初始概率分布，设定：π₁＝1，π_i≠0(i≠1)；

即假设HMM是从第一个状态开始的，对于观察概率矩阵B，设

1≤i≤N，1≤k≤M

初始模型确定以后，利用前后向递推法计算观察值序列O在这个模型下的P(O/λ)然后利用Baum-Welch算法对初始HMM模型λ＝(A，B，π)进行重新计算，HMM的各个参数在这一过程得到重新估计，即求得新的HMM模型

6.根据权利要求1所述的一种基于分类特征的手部动作识别信息处理方法，其特征在于，所述的角度参数包括关节角度。

7.根据权利要求1所述的一种基于分类特征的手部动作识别信息处理方法，其特征在于，所述的直线参数包括骨长度、手掌尺度、臂长。

Images