CN106095107A - 一种应用于智能移动轮椅的手势交互控制方法 - Google Patents

Abstract

本发明公开了一种应用于智能移动轮椅的手势交互控制方法，该方法使用Kinect摄像头获取用户手部实时坐标，利用模糊控制算法对虚拟手柄进行坐标置位，从而使用户可通过手部来定量控制智能移动轮椅的行动。其具体实现包括如下步骤：Kinect摄像头获取深度图像信息过滤非用户手部干扰得到用户手部实时坐标；对获得的手部实时坐标进行空间坐标转换和虚拟手柄机制设定及其空间建立；再根据模糊控制算法对虚拟手柄进行坐标置位；最后以虚拟手柄的方式实现定量控制智能移动轮椅。利用本发明的方法，使得老年用户可以利用手部姿势良好地定量控制智能移动轮椅，改善了他们的出行方式。

Description

一种应用于智能移动轮椅的手势交互控制方法

技术领域

本发明涉及计算机视觉控制、人机交互领域，具体涉及一种应用于智能移动轮椅的以Kinect深度图像获得的手部实时坐标为基础，应用模糊控制算法，以虚拟手柄的交互方式定量控制智能移动轮椅的方法。

背景技术

我国是世界上人口最多的国家，同时也是老年人口最多的国家，人口结构老龄化已成为我们不得不面对的问题。截至2012年底，我国60岁以上的老年人口已达1.87亿，超过全国总人口数量的10％。人口结构老龄化是导致老年人数量增幅较大的重要原因之一。针对我国人口老龄化严重、患下肢障碍患者较多、医疗医师缺乏的情况，开发出一种为体弱老年人员提供助行服务的智能移动轮椅具有重要的现实意义，它可以提高老年人和残障人士的独立生活质量并减轻其对社会和家庭的负担。智能移动轮椅是将智能机器人技术应用于电动轮椅，融合多种领域的研究，包括机器视觉、机器人导航和定位、模式识别、多传感器融合及用户接口等，涉及机械、控制、传感器、人工智能等技术。经过近20年的研究发展，智能移动轮椅的研究有了很大的进展，但是也存在一定的问题：人机交互不够自然。虽然已经开发了多种智能移动服务机器人人机交互接口，但是仍处于通过人机接口对移动服务机器人进行简单控制的阶段，对自然交互中使用者的无意识行为与有意识行为的区分还很欠缺，无法达到自然交互的目的。通过开发出从用户使用角度出发控制轮椅更自然的方法(基于用户的手势等)，这样一来智能移动服务机器人系统能够更加充分地与使用者进行交流和沟通，更加准确地理解使用者的操纵意图。

可见提出一种良好的手势识别方法对实现自然的人机交互有着十分重要的意义。

就目前应用在智能移动轮椅上普遍的手势交互控制方式仍是相对单一、简单的固定运动信息的定性控制，而实际应用中操纵手柄是操纵轮椅运动的最佳方式。因此，可以考虑用手部动作来模拟手柄操纵实现定量控制，使得对智能移动轮椅的交互控制更加直观、具备更佳的用户体验。

综上，本发明提出了一种在基于Kinect深度图像信息下应用模糊控制算法并以虚拟手柄的交互方式定量控制智能移动轮椅的手势交互控制方法。

发明内容

基于以上的问题，本发明提出了一种在基于Kinect深度图像信息下应用模糊控制算法并以虚拟手柄这种良好的交互方式对智能移动轮椅进行定量控制的方法。

本发明是通过以下技术方案来实现的：

S1，用户此时只需要位于Kinect摄像头前50厘米的距离，具体距离可调，变化范围经过实际使用测试在45厘米至100厘米均可以，而无需做任何特定的标定动作，Kinect摄像头便可以识别用户是否进入其覆盖区域。

S2，使用Kinect摄像头获取用户的深度图像信息来得到手部实时坐标，在如上步骤下进行用户识别之后，用户举起左手或者右手，Kinect摄像头获取深度图像信息过滤非用户手部干扰得到用户手部实时坐标。

S3，根据S2步骤所获到的手部实时坐标信息，按照智能轮椅驱动控制器对上位机控制信息的要求，即上位机处理器传输的是包含轮椅运动方向和速度信息的坐标，而对Kinect获得的手部实时坐标进行空间坐标转换和虚拟手柄机制设定及其空间建立。

S4，本步骤根据模糊控制算法对虚拟手柄进行坐标置位，最终虚拟手柄的置位坐标就是包含轮椅运动方向和速度信息的坐标。

S5，在由S4步骤实现虚拟手柄坐标置位的同时，为使用户在使用虚拟手柄控制轮椅时有直观、自然的体验，画出并显示出实时的虚拟手柄图像作为智能移动轮椅的用户使用界面。

S6，最后以虚拟手柄的方式实现定量控制智能移动轮椅，在此步骤中PC机根据当前的手势动作发出不同的控制命令给智能移动轮椅，不同的手势动作在虚拟手柄上对应不同的坐标信息，这些坐标信息包含了轮椅运动的方向信息和速度信息。计算机通过识别得到的手势识别结果通过串口发送相应的命令给DS P控制器，DSP则发送相应控制命令给电机驱动从而控制智能轮椅的运动。

附图说明

图1为智能移动轮椅的结构图与Kinect摄像头安装位置结构图。

图2为智能移动轮椅控制系统结构图。

图3为Kinect深度图像手部获取图。

图4为Kinect摄像头覆盖空间坐标图。

图5为虚拟手柄操纵原理坐标信息图。

图6为模糊控制算法的模糊控制器构成图。

图7为智能移动轮椅手势交互控制流程图。

图8为智能轮椅用户操作界面图。

图9为虚拟手柄控制智能轮椅运行时多角度图。

具体实施方式

以下将结合附图对本发明具体的实施过程进行详细的描述。

图1为智能移动轮椅的结构图，图中所示将Kinect摄像头安装在使用者手(左手或是右手可以按照使用者需要定制安装)部的正前方约50cm处，确保可对着手部和Kinect所能覆盖到的用户坐在轮椅上时手部挥动的最大运动空间。另外距离大于50cm能够更好地采集深度图像。

图2为智能移动轮椅控制系统结构图，此控制系统包括图像获取部分，图像处理部分，智能移动轮椅控制部分，智能移动轮椅。其中，图像采集部分即Kin ect摄像头，图像处理则使用PC机，智能移动轮椅控制部分使用DSP模块，通过PC机对图像处理后得到的手势识别信息来对智能移动轮椅进行控制。

图3为Kinect深度图像手部获取图。

图4

为Kinect摄像头覆盖空间坐标图。以此图为基础对手部的坐标继续空间坐标转换和虚拟手柄机制设定及其空间建立。

图5为虚拟手柄操纵原理坐标信息图。反映了虚拟手柄控制轮椅运行的坐标信息。

图6为模糊控制算法的模糊控制器构成图。

图7为智能移动轮椅手势交互控制流程图。具体步骤如下：

S1，通过Kinect摄像头识别用户是否进入其覆盖区域；

S2，Kinect摄像头获取深度图像信息过滤非用户手部干扰得到用户手部实时坐标；

S3，对获得的手部实时坐标进行空间坐标转换和虚拟手柄机制设定及其空间建立；

S4，根据用户手部运动实际坐标运用模糊控制算法对虚拟手柄进行坐标置位；

S5，在智能移动轮椅的用户使用界面画图并显示出实时的虚拟手柄图像和操纵杆位置；

S6，以虚拟手柄的方式实现定量控制智能移动轮椅；

其中S1，Kinect摄像头识别用户是否进入其覆盖区域的具体步骤如下：

S11，用户进入Kinect可覆盖的范围，即在摄像头前方50cm至100cm的范围之内，正坐在智能轮椅上。当用户与Kinect距离小于50cm将导致无法识别用户。

S12，用户坐下后，Kinec识别出用户并按照程序要求在界面中显示其覆盖画面的深度图像。

S2，使用Kinect摄像头获取用户的深度图像信息来得到用户手部实时坐标的具体步骤如下：

S21，经过S1过程识别出用户并显示覆盖画面深度图像之后，用户举起手并进行挥动Kinect便可通过调用第三方的OpenNI库获取到手部坐标信息并在图像中显示出手部运动轨迹，如图3所示。这里为举起右手并进行向右挥动。

S22，由于Kinect支持同时识别出出现在摄像头覆盖范围内的多只手，最多为4只手。在此智能轮椅应用背景下，程序设定当摄像头覆盖范围内出现多只手时，只跟踪和获取最早出现并进行挥动动作的那只手及其坐标，理由在于多次实践发现，最早出现的那只手几乎都是用户的手部，以防止轮椅运动过程中背景出现的非用户手部对轮椅运行产生干扰。

S3，在本步骤中，要根据S2步骤所获到的手部实时坐标信息进行空间坐标转换和虚拟手柄机制设定及其空间建立，具体步骤如下：

S31，获取到的手部实时三维坐标是Kinect相机坐标需对其进行坐标转换为计算机平面坐标，转换原理为使用Kinect捕捉到的用户左手或者右手的空间坐标PST，将PST坐标的XY平面坐标部分映射为屏幕坐标，具体方法为使用Coing4Fun.Kinect工具包中的扩展方法Joint.ScaleTo。步骤为先获取屏幕的高度Height和宽度Width，再将追踪到的手的三维坐标映射成屏幕坐标。

S32，按照虚拟手柄操纵轮椅时手部在真实世界空间运动情况，选取转换后坐标的X，Y轴坐标对应在真实世界平面空间，得到如图4所示的，手部在Kinect摄像头前移动的平面范围为一个矩形，实际空间中手部坐标移动的最大边界为此矩形，无论手部如何移动其坐标皆在这个平面矩形坐标范围内。考虑到用户体验选择矩形的大致中心点作为虚拟手柄的中心坐标点，将手部处于矩形大致中心点时对应的经过坐标转换后的手部屏幕坐标进行坐标平移，使其坐标为原点。并以此点为圆心，使用QT开发工具中DrawElipse函数进行逻辑画圆，此圆处在该矩形的正中心，且只能位于矩形内部，圆的直径为该矩形短边长。为了满足虚拟手柄的特性，坐标转化程序建立如下规则：当手部在真实空间中运动时对应的平面坐标位于矩形内但是在此圆外时，将该坐标点与圆的中心点的连线与圆的边界的交点坐标作为真实空间中该手部运动坐标点映射在这个逻辑圆即虚拟手柄上的坐标点。当手部在真实空间中运动时对应的平面坐标位于矩形内但是在此圆内时，以比较矩形中心点坐标与该点坐标两点之间的距离为条件，以矩形中心点转化为逻辑圆圆心为基础，对这个在圆内的点进行坐标平移，以得到其在虚拟圆内的坐标。

S33，在上一步骤建立了虚拟手柄的逻辑圆之后，由图5中的左图可知，轮椅的运动信息即方向信息和速度信息完全由右图的坐标所决定，在右图上的坐标点对照左图对应了轮椅的运转档位速度、转向角度。右图的坐标圆是以XY坐标系第一象限的(100,100)为圆心，为了让虚拟手柄和右图的坐标相匹配，对虚拟手柄的坐标圆进行坐标平移，使其圆心坐标为(100,100)。至此，手部在真实空间中的坐标就能一直映射到虚拟手柄的坐标圆上。此外，停止指令为坐标为(0,0)，考虑到虚拟手柄在真实使用时当要发出停止指令时，手部很难较快的放置到对应虚拟手柄中的(0,0)点。在此点周围建立停止指令模糊区域，具体以虚拟手柄圆的圆心为圆心，以该坐标体系下10为半径的小圆做为停止指令模糊区域。但凡虚拟手柄运动到此圆范围内，均以(0,0)作为该点在虚拟手柄上的坐标。

S34，用户用手部运动控制虚拟手柄的机制是：第一，用户的手部坐标经过以上S3步骤最终映射到虚拟手柄的坐标圆上；第二，从用户手部坐标进行坐标转换成虚拟手柄坐标根据轮椅的实际运行要求，采取了坐标转换或者说坐标置位上速度的设置。采用这样的机制是为了：第一，防止当用户手势挥动速度过快幅度过大时，因虚拟手柄跳变速度过快位移过大而导致轮椅运行时产生加速过快的情形。因此采用以上规则为虚拟手柄的置位机制。

S4，在本方法中实现该机制采用模糊控制算法，具体算法构建步骤如下：

S41，模糊控制算法中的规则经验为：针对比如每200毫秒(Kinect摄像头采样速度)内坐标点之间距离大于坐标圆内50的距离单位时，手部运动坐标映射到虚拟手柄的坐标在其坐标圆内，要求在控制坐标转换速度使得在Kinect采样周期内两个虚拟手柄坐标点的距离为12坐标圆距离单位。实现虚拟手柄平滑移动，相应轮椅运行加速、减速平滑顺畅。

S42，根据以上信息首先建立模糊控制器结构，如图6所示。模糊控制器的第一个输入为Kinect采样周期内两个虚拟手柄坐标点的距离与坐标圆距离单位12的误差值e，考虑到解决的是轮椅实际运行中出现的跳变的问题，此误差值定为只有正误差。ec为误差变化率作为此模糊控制器的第二个输入。模糊控制器的输出为将手部运动坐标转换到虚拟手柄的坐标的转化速度u。因此，模糊控制器采用两输入单输出的二维结构。

S43，确定各变量的模糊语言取值及相应的隶属函数,进行模糊化。针对两个虚拟手柄坐标点的距离与坐标圆距离单位12的误值e，取其语言变量为E，根据虚拟手柄的机制，论域选择为X＝{0，+1，+2，+3}，论域上模糊子集是Ai(i＝1,2,3,4)，相应语言值为{正大(PB)，正中(PM)，正小(PS)，零(Z)}，分别表示Kinect采样周期内两个虚拟手柄坐标点的距离与坐标圆距离单位12的距离为“正好”、“偏远”、“很远”、“极远”。Kinect采样周期内两个虚拟手柄坐标点的距离与坐标圆距离单位12的距离差的前后两次采样差值变化量是ec，取其语言变量为EC，论域Y＝{-3，-2，-1，0，+1，+2，+3}，论域上的模糊子集是Bj(j＝1,2,3,…,5)，相应语言值为{正大(PB)，正小(PS)，零(Z)，负小(NS)，负大(NB)}。分别表示Kinect采样周期内两个虚拟手柄坐标点的距离与坐标圆距离单位12的距离差：“快速变大”、“变大”、“不变”、“变小”、“快速变小”。手部运动坐标转换到虚拟手柄的坐标的转化速度u，取其语言变量为U，论域Z＝{-3，-2，-1，0}，论域上模糊子集是Ck(k＝1,2,3,4},相应语言值为零(Z)，负小(NS)，负中(NM)，负大(NB)}。分别表示转化速度为：“速度不变”，“速度减小一些”，“速度减小中等”，“速度减小最大”。确定语言值隶属度函数，对上面各语言之给定其模糊化的隶属度函数，这里根据实际问题，隶属度函数选择三角形函数。

S44，建立模糊控制规则。规则的归纳和规则库的建立，从实际控制经验过渡到模糊控制器,模糊控制规则为：If E＝PB and EC＝NB or NS or Z then U＝NB，If E＝PBand EC＝PB or PS then U＝NM，If E＝PM and EC＝NB or NS then U＝NB，If E＝PM andEC＝PB then U＝NS，If E＝PM and EC＝PS or Z then U＝NM，If E＝PS and EC＝NBthen U＝NM，If E＝PS and EC＝NS or Z then U＝NS，If E＝PS and EC＝PB or PS thenU＝Z，If E＝Z and EC＝NB or NS then U＝NS，If E＝Z and EC＝Z then U＝Z，If E＝Zand EC＝PB or PS then U＝NM.确定模糊推理和解模糊化方法。模糊推理方法选择为最大乘积推理。解模糊化方法选择重心法。将模糊量转化为精确量，用以实施最后的控制策略。

S45，模糊控制查询表的生成。在如上步骤基础之上，在matlab上构建模糊控制器加载输入量的论域、隶属度函数、模糊控制规则和解模糊方法，最后生成离线模糊控制查询表，生成了模糊控制查询表之后，将该表导入主程序模糊控制查询程序中的二维数组，即可在程序执行时离线查询模糊控制查询表，设定正确的手部运动坐标转换到虚拟手柄的坐标的转化速度u，使得使得在Kinect采样周期内两个虚拟手柄坐标点的距离为12坐标圆距离单位。这样虚拟手柄的坐标点在转化为轮椅的方向和速度信息时可以实现虚拟手柄平滑移动，相应轮椅运行加速、减速平滑顺畅。

S5，在S4步骤中虚拟手柄的坐标得到了置位，在本步骤中为了让用户更加直观、方便的操纵轮椅，程序显示了轮椅的操作界面，如图8所示。具体构成如下：

S51，在本界面中对应S3步骤建立的虚拟手柄逻辑空间，界面分为蓝色的运行指令区域，红色的停止指令区域，并在虚拟手柄处于不同区域时在界面中打印出相应文本。

S52，在界面中同时显示出了虚拟手柄的图像，并且此虚拟连杆实时动态显示手部操纵情况。

S6，通过识别出的手部姿势定量控制智能移动轮椅的运动，在如图8所示轮椅操纵界面上当虚拟手柄处于不同区域时，发出不同的坐标控制指令。具体步骤如下：

S61，当虚拟手柄处于操纵区域的正前方向并根据虚拟手柄末端与手柄原端的坐标距离差发出不同档位速度的正前进命令。当虚拟手柄处于操纵区域的正后方向并根据虚拟手柄末端与手柄原端的坐标距离差发出不同档位速度的正倒车命令。

S62，当虚拟手柄处于操纵区域的左前或右前方向并根据虚拟手柄末端与手柄原端的坐标距离差发出不同档位速度的左前进或右前进命令。当虚拟手柄处于操纵区域的左后或右后方向并根据虚拟手柄末端与手柄原端的坐标距离差发出不同档位速度的左方向倒车或右方向倒车命令。

S63，当虚拟手柄处于操纵界面的小圆即指令停止区域时，则发出停止命令。

具体操作的过程描述如下：如图9所示，在光照度适中的室内，使用者在智能轮椅上保持正坐姿势，Kinect摄像头放置在手部前方50～100厘米处，开启智能轮椅的手部控制功能，使用者根据虚拟手柄操纵界面挥动手部，使得虚拟手柄处于正前，轮椅则按相应档位向前运动，使用者使得虚拟手柄处于正后，轮椅则按相应档位向后倒车，使用者使得虚拟手柄处于左前或右前，轮椅则按相应档位左前右前前进，使用者使得虚拟手柄处于左后或右后，轮椅则按相应档位左后右后倒车。使用者使得虚拟手柄处于指令停止区域，轮椅则平稳的停车。

Claims (7)

1.一种应用于智能移动轮椅的手势交互控制方法，其特征在于，该方法以由Kinect深度图像获得的手部实时坐标为基础，应用模糊逻辑算法，获取手部姿势并以虚拟手柄的方式定量控制智能移动轮椅，其具体实现包括如下步骤：

步骤1)通过Kinect摄像头识别用户是否进入其覆盖区域；

步骤2)使用Kinect获取深度图像信息过滤非用户手部干扰得到用户手部实时坐标；

步骤3)对获得的手部实时坐标进行空间坐标转换和虚拟手柄机制设定及其空间建立；

步骤4)根据模糊控制算法对虚拟手柄进行坐标置位；

步骤5)在智能移动轮椅的用户使用界面画图并显示出实时的虚拟手柄图像；

步骤6)以虚拟手柄的方式实现定量控制智能移动轮椅。

2.根据权利要求1所述的一种应用于智能移动轮椅的手势交互控制方法，其特征在于，前述步骤1)中，用户此时位于Kinect摄像头前45厘米至100厘米，Kinect摄像头识别用户是否进入其覆盖区域。

3.根据权利要求1所述的一种应用于智能移动轮椅的手势交互控制方法，其特征在于，前述步骤2)中，在如上步骤之后，用户举起左手或者右手，Kinect摄像头获取深度图像信息过滤非用户手部干扰得到用户手部实时坐标。

4.根据权利要求1所述的一种应用于智能移动轮椅的手势交互控制方法，其特征在于，前述步骤3)中，按照智能轮椅驱动控制器对上位机控制信息的要求，即上位机处理器传输的是包含轮椅运动方向和速度信息的坐标，而对Kinect获得的手部实时坐标进行空间坐标转换和虚拟手柄机制设定及其空间建立。

5.根据权利要求1所述的一种应用于智能移动轮椅的手势交互控制方法，其特征在于，前述步骤4)中，根据模糊控制算法对虚拟手柄进行坐标置位，最终虚拟手柄的置位坐标就是包含轮椅运动方向和速度信息的坐标。

6.根据权利要求1所述的一种应用于智能移动轮椅的手势交互控制方法，其特征在于，前述步骤5)中，画出并显示出实时的虚拟手柄图像作为智能移动 轮椅的用户使用界面。

7.根据权利要求1所述的一种应用于智能移动轮椅的手势交互控制方法，其特征在于，前述步骤6)中，以虚拟手柄的方式实现定量控制智能移动轮椅，在此步骤中PC机根据当前的手势动作发出不同的控制命令给智能移动轮椅，不同的手势动作在虚拟手柄上对应不同的坐标信息，计算机通过识别得到的手势识别结果通过串口发送相应的命令给DSP控制器，DSP则发送相应控制命令给电机驱动以控制智能轮椅的运动。