CN103345626A

CN103345626A - 一种智能轮椅静态手势识别方法

Info

Publication number: CN103345626A
Application number: CN2013103027622A
Authority: CN
Inventors: 张毅; 蔡军; 李晓娟; 罗元
Original assignee: Chongqing University of Post and Telecommunications
Current assignee: Chongqing University of Post and Telecommunications
Priority date: 2013-07-18
Filing date: 2013-07-18
Publication date: 2013-10-09

Abstract

一种智能轮椅静态手势识别方法，1）通过Kinect采集场景深度信息；2）根据深度信息分割出场景深度信息中的手势；3）利用归一化中心矩提取手势的特征向量；4）步骤3）中提取的手势特征向量通过DAGSVM分类器进行手势识别。本发明在生成DAGSVM分类器的过程中，通过计算每个SVM分类器的类间距离和类的标准差，SVM分类器按照类间距离由大到小的顺序排列，选取具有最大类间距离的SVM分类器作为DAGSVM分类器的根节点分类器。同理，其余节点处SVM分类器均选择可选分类器中具有最大类间距离者。能够有效地减少误差累积现象，提高了手势识别结果的正确性，也最大限度地保证了智能轮椅人机交互的系统的安全可靠性。

Description

一种智能轮椅静态手势识别方法

技术领域

本发明涉及一种智能轮椅领域，特别是一种智能轮椅手势识别方法。

背景技术

目前，全球人口年龄结构老龄化情况日益严重。我国60岁及其以上的老年人数量已经达到1.32亿，占全国总人口的10％，并且每年平均以3.32%的速度在持续增长，其中老年病患者中大约有50％需提供护理服务。除此之外，我国还有各类残疾人大约6千万，约占我国总人口数的5％。因此，我国总共需提供护理的人口大约为1亿人。老年人和残疾人生理上和肢体上的缺陷给他们自己以及他们的家人带来很多的不便，同时也严重地阻碍着他们自由充分地融入到社会的工作和活动中去。因此开发助老助残的机器人产品，为老年人和残疾人提供无障碍交互服务已是一个亟待解决的问题。助老助残的机器人产品的主要功能是辅助老年人与残疾人的日常生活，典型的产品有辅助腿脚不便的老年人与残疾人出行的轮椅产品。智能轮椅和使用者之间的无障碍交互需满足两个条件：一是使用者能够自然地控制智能轮椅，二是智能轮椅要能够很好地理解使用者发出的指令。智能轮椅人机交互系统主要是为腿脚不方便的人群设计。手势作为人身体最灵活的部位，很适合用来表达人的意图。

2009年Van den Bergh和Koller-Meier采用改进的肤色分割方法分割手势，并且使用在线学习模式以保持样本的不断地更新，利用基于Haarlet的手势识别算法实现了手势对3D物体的操控。2011年Michael Van den Bergh和Daniel Carton使用最新传感器Kinect采集场景图像，然后采用Haarlet对手势进行识别，最后实现了一个通过手和手臂构成的手势的指向给机器人指路的人机交互系统。Vieriu Radu-Laurentiu通过HMM算法对手势轮廓的序列点进行判断分类，实现了9个不同角度手势的识别。中科院自动化研究所的单彩峰利用手势对智能轮椅RoboChair进行控制，采用粒子滤波算法对动态手势实时跟踪，将跟踪的手势的运动轨迹压缩至一幅图像中，从而得到动态手势的时序模板轨迹，并将这些模板轨迹进行分类，最后将定义的四种手势应用到智能轮椅上，实现手势对智能轮椅的控制。华南理工大学的肖志勇采用人眼和指尖的连线确定用户指向屏幕的位置，将位置信息转换成相应的控制指令，从而达到人机交互的目的。东南大学的钱堃结合人脸和人手的姿态作为输入，根据人脸和人手的相对位置的不同来控制机器人，如两手位于用户头的左边时机器人左转，位于用户头的右边时机器人右转。上述基于手势的人机交互方式虽然有的形式上很自然，但是由于要结合人体不同的部位来实现，对用户来说并不是很方便。

发明内容

本发明的目的就是提供一种智能轮椅静态手势识别方法，它可以准确识别控制手势，实现操控者与智能轮椅的准确交互。

本发明的目的是通过这样的技术方案实现的，其特征在于，具体步骤如下：

1）通过Kinect采集场景深度信息；

2）根据深度信息分割出场景深度信息中的手势；

3）利用归一化中心矩提取手势的特征向量；

4）步骤3）中提取的手势特征向量通过DAGSVM分类器进行手势识别。

进一步，步骤2）中所述手势分割的方法为：Kinect采集到含有智能轮椅用户手部的场景深度信息后，去噪计算该深度图像的灰度直方图，利用灰度真方图法分割出手势。

进一步，步骤4）中所述DAGSVM分类器包括有多个SVM分类器，SVM分类器的生成方法如下：

定义控制轮椅运动的手势，每类手势均采集相同数量的样本，利用归一化中心矩按类批量提取样本特征，对提取到的手势特征进行缩放处理，将其均归一化至[-1,1]之间，每两类手势之间训练一个SVM分类器；

设需要识别的手势类别的数量为N，则需要训练SVM分类器的数量为

设n_i为第i类样本集的样本个数，为第i类样本集中第k个样本，则

第i类样本的均值向量，即类中心为：

m_{i} = \frac{1}{n_{i}} Σ_{k = 1}^{n_{i}} x_{k}^{i}

第i类样本的类半径为：

r_{i} = \frac{1}{n_{i}} Σ_{k = 1}^{n_{i}} {| | x_{k}^{i} - m_{i} | |}^{2}

第i类样本的标准差为：

σ_{i} = \sqrt{\frac{Σ_{k = 1}^{n_{i}} {(x_{k}^{i} - m_{i})}^{2}}{n_{i} - 1}}

第i类和第j类样本组成的SVM分类器的类间距离为：

D_ij=||m_i-m_j||²-r_i-r_j。

进一步，SVM分类器构造DAGSVM分类器的具体方法为：

S1计算每个SVM分类器的类间距离；

S2计算每个类样本的类标准差；

S3按照SVM分类器的类间距离D_ij由大到小排序，将类间距离D_ij最大的两个类训练得到SVM分类器作为DAGSVM分类器的根节点分类器；如果同时存在两个具有最大类间距离的分类器，则选择标准差较小的两个类训练得到的分类器；

假设当前节点分类器为C_ij，根据当前节点分类器的分类结果决定下一层使用哪个SVM分类器，若分类结果为x不属于类i，则待选SVM分类器为C=C\i；若分类结果为x不属于类j，则待选分类器为C=C\j；

每个节点都选择待选分类器中与构成该节点父节点类中其中一类相同的分类器中类间距离最大者，若存在两个具有相等类间距离的分类器则选择标准差较小者，重复该步骤，直至所训练的分类器被选取完；

每次特征向量从拓扑图的根节点处输入，由上到下每经过一个SVM分类器的判断就排除掉一个类，共有k类，因此经过k-1次SVM分类器的判断便可得到最终的分类结果。

由于采用了上述技术方案，本发明具有如下的优点：

本发明在生成DAGSVM分类器的过程中，通过计算每个SVM分类器的类间距离和类的标准差，SVM分类器按照类间距离由大到小的顺序排列，选取具有最大类间距离的SVM分类器作为DAGSVM分类器的根节点分类器。同理，其余节点处SVM分类器均选择可选分类器中具有最大类间距离者。若同时存在两个SVM分类器满足条件，则选择类的标准差较小者。能够有效地减少误差累积现象，显著提高了手势识别结果的正确性，也最大限度地保证了智能轮椅人机交互的系统的安全可靠性。

本发明的其他优点、目标和特征在某种程度上将在随后的说明书中进行阐述，并且在某种程度上，基于对下文的考察研究对本领域技术人员而言将是显而易见的，或者可以从本发明的实践中得到教导。本发明的目标和其他优点可以通过下面的说明书和权利要求书来实现和获得。

附图说明

本发明的附图说明如下。

图1为本发明通过手势控制智能轮椅运动的流程框图；

图2为SVM分类器的训练流程框图；

图3为SVM分类器类半径与类间距离的示意图；

图4为SVM分类器组成DAGSVM分类器的结构示意图。

具体实施方式

下面结合附图和实施例对本发明作进一步说明。

一种智能轮椅静态手势识别方法，首先通过Kinect传感器采集场景的深度图像，去噪后计算深度图像的灰度直方图，使用灰度直方图法分割出手势区域。然后，利用归一化中心矩提取手势的特征，将手势特征进行缩放处理后按照一定的格式输入到DAGSVM分类器中，经过多个SVM分类器的识别判断得到最终的识别结果。其中利用场景的深度信息分割出手势可以很好地分割出手势，且对背景有很好的鲁棒性。利用归一化中心矩提取手势的特征，可以使不同指向的手势代表不同类别的手势，从而在控制轮椅时无需刻意去记哪个手势对应哪个轮椅的控制指令，使系统的形式更为和谐自然。本发明中的DAGSVM分类器是由多个SVM分类器按照一定的拓扑结构构成的。SVM分类器是在采集大量样本的基础上，批量提取其每个类中手势的特征，手势特征缩放处理后按照相同的规则在每两个类之间训练一个SVM分类器。最终以考虑样本分布的类间距离和类的标准差为依据生成DAGSVM分类器。

在生成DAGSVM分类器的过程中，类间距离是由类均值向量间的距离减去各自的类半径计算得到的，以此作为度量类间距离的标准。在类间距离相等的情况下，优先考虑类的标准差较小者。以此为标准生成的DAGSVM分类器大大提高了识别结果的可靠性。

以下针对附图和具体实例对本发明作具体描述：

图1是采用手势控制智能轮椅运动的示意图。首先由Kinect采集含有智能轮椅用户的场景的深度图像，去噪后计算该深度图像的灰度直方图，利用灰度直方图法分割出人手，对分割出的手势图像进行形态学处理。然后提取手势图像的归一化中心矩特征向量，将提取到的特征向量归一化后输入到改进后的DAGSVM分类器中进行分类。SVM分类器是在采集大量样本后，批量提取其特征，并将特征值都归一化到[-1,1]之间，每两类之间训练一个SVM分类器得到的，多个SVM分类器以类间距离作为测度按照一定的拓扑结构排序构成改进的DAGSVM分类器，在类间距离相等的情况下结合类的标准差考虑。将改进后的DAGSVM分类器的识别结果转换为相应的控制指令，然后通过Ad-Hoc网络将控制指令传送给智能轮椅，从而达到控制轮椅运动的目的。归一化中心矩具有平移不变性和比例不变性的同时对方向变化比较敏感，很适合用于提取不同指向的手势的特征向量。而用手势的指向来控制智能轮椅的运动方向是一种自然和谐的交互方式，因此本专利探索性地利用归一化中心矩提取手势的特征向量。

图2是训练SVM分类器的示意图。首先是定义控制轮椅运动的的手势，每类手势均采集相同数量的样本。然后利用归一化中心矩按类批量提取样本的特征，对提取到的手势特征按照相同的规则进行缩放处理，将其均归一化至[-1,1]之间。在每两个类之间训练一个SVM分类器，5个类总共需训练

个SVM分类器。

图3是本发明在生成DAGSVM分类器过程中所采用的类间距离的示意图。本发明所采用的类间距离是考虑了样本分布的。有的SVM分类器的类间距离虽然大，但是其样本分布比较分散，对于两类样本重合部分的样本分类效果不是很好。有的SVM分类器的类间距离虽然小，但是由于类的分布较为集中，两类样本没有重合部分且分类效果较好。因此本发明所采用的类间距离是由类中心间的距离减去各自类半径计算得到，这样就有效地避免了出现上述情况的可能。类中心间的距离其实就是类均值向量之间的距离。仅仅以类间距离作为衡量SVM分类器的标准还是不够的，还需考虑类的标准差。设n_i为第i类样本集的样本个数，

为第i类样本集中第k个样本，计算类间距离和类的标准差公式如下：

第i类样本的均值向量为：

m_{i} = \frac{1}{n_{i}} Σ_{k = 1}^{n_{i}} x_{k}^{i} - - - (1)

第i类样本的类半径为：

r_{i} = \frac{1}{n_{i}} Σ_{k = 1}^{n_{i}} {| | x_{k}^{i} - m_{i} | |}^{2} - - - (2)

第i类和第j类样本的类间距离为：

D_ij=||m_i-m_j||²-r_i-r_j (3)

第i类样本的标准差为：

σ_{i} = \sqrt{\frac{Σ_{k = 1}^{n_{i}} {(x_{k}^{i} - m_{i})}^{2}}{n_{i} - 1}} - - - (4)

以上，类的均值向量代表了类的中心，类的半径表明了类内样本所占空间的大小，半径大则类内样本分布广占用较大空间，半径小则类内样本分布密集占用较小的空间。类的均值向量间距离越大，类的半径越小，则这两个类越容易区分。因此两个类是否容易区分可由各自的均值向量之间的距离减去各自类半径来度量。类的标准差表明了类内样本的离散集中程度。在类间距离相等的情况下应结合类的标准差考虑。

图4是本发明中所采用的改进的DAGSVM分类器的示意图。图中每个节点均代表一个SVM分类器，如1V2代表由类1手势和类2手势构成的SVM分类器。当一个手势特征向量由根节点处输入时，首先由SVM分类器1V2对输入的特征向量进行分类。如果分类器结果不是类别2则接下来用SVM分类器1V4对输入的未知样本的特征向量进行分类；如果分类器结果不是类别1则接下来用SVM分类器2V3对输入的位置样本的特征向量进行分类，以此类推对每个未知样本的识别需要经过DAGSVM每层的判断识别，最终到达结构的最底层便可得到未知样本的所属类别。

以类间距离和类的标准差为测度构造DAGSVM分类器，具体构造过程如下：

第一步：根据公式(3)计算每两类之间的类间距离D_ij；

第二步：根据公式(4)计算每个类的标准差。

第三步：按照SVM分类器的类间距离D_ij由大到小排序，将类间距离D_ij最大的两个类训练得到SVM分类器作为DAGSVM分类器的根节点分类器；如果同时存在两个具有最大类间距离的分类器，则选择标准差较小的两个类训练得到的分类器；

DAGSVM分类器实际上是使用排除法对特征向量进行分类的。每次特征向量从拓扑图的根节点处输入，由上到下每经过一个SVM分类器的判断就排除掉一个类，共有k类，因此经过k-1次SVM分类器的判断便可得到最终的分类结果。

最后说明的是，以上实施例仅用以说明本发明的技术方案而非限制，尽管参照较佳实施例对本发明进行了详细说明，本领域的普通技术人员应当理解，可以对本发明的技术方案进行修改或者等同替换，而不脱离本技术方案的宗旨和范围，其均应涵盖在本发明的权利要求范围当中。

Claims

1.一种智能轮椅静态手势识别方法，其特征在于，具体步骤如下：

1）通过Kinect采集场景深度信息；

2）根据深度信息分割出场景深度信息中的手势；

3）利用归一化中心矩提取手势的特征向量；

2.如权利要求1所述的一种智能轮椅静态手势识别方法，其特征在于，步骤2）中所述手势分割的方法为：Kinect采集到含有智能轮椅用户手部的场景深度信息后，去噪计算该深度图像的灰度直方图，利用灰度真方图法分割出手势。

3.如权利要求1所述的一种智能轮椅静态手势识别方法，其特征在于，步骤4）中所述DAGSVM分类器包括有多个SVM分类器，SVM分类器的生成方法如下：

设n_i为第i类样本集的样本个数，

为第i类样本集中第k个样本，则

第i类样本的均值向量，即类中心为：

m_{i} = \frac{1}{n_{i}} Σ_{k = 1}^{n_{i}} x_{k}^{i}

第i类样本的类半径为：

r_{i} = \frac{1}{n_{i}} Σ_{k = 1}^{n_{i}} {| | x_{k}^{i} - m_{i} | |}^{2}

第i类样本的标准差为：

σ_{i} = \sqrt{\frac{Σ_{k = 1}^{n_{i}} {(x_{k}^{i} - m_{i})}^{2}}{n_{i} - 1}}

第i类和第j类样本组成的SVM分类器的类间距离为：

D_ij=||m_i-m_j||²-r_i-r_j。

4.如权利要求3所述的一种智能轮椅静态手势识别方法，其特征在于，SVM分类器构造DAGSVM分类器的具体方法为：

S1计算每个SVM分类器的类间距离；

S2计算每个类样本的类标准差；