CN107193385A - 一种基于Kinect对键盘行为模拟的方法 - Google Patents

Abstract

一种基于Kinect对键盘行为模拟的方法，由构建的实现的鼠标及键盘行为的模拟系统分别连接Kinect感应器和输出设备，模拟系统包括三个模块组成，由主程序模块分别连接数据捕获模块和键盘行为模拟模块，系统实现过程中各模块遵循高内聚、低耦合的原理进行实现；其中数据捕获模块中彩色图像上对应骨骼点的像素颜色的提取采用OpenCV开发库，彩色图像和骨骼数据的获取分别放入不同的线程中；键盘行为模拟模块负责按键按下和弹起行为的模拟；集中所用动作类型在左手和右手上，且不同动作之间的切换集中在单个骨骼点上，即实现相同功能需求，尽量减少骨骼的数量和增加操作的灵活性。

Description

一种基于Kinect对键盘行为模拟的方法

技术领域

本发明属于人机交互技术领域，为了使模拟键盘行为的系统能够使用更少的动作类型和具有更灵活的操纵性，本发明在现有技术的基础上，提出了一种新的设计思路，通过读取 Kinect感应器彩色图像数据和其自带骨骼跟踪的特性，实现键盘的行为模拟。在动作识别的基础上，加入了抖动消除技术和关节角度计算方式，能够有效的减少要识别的动作类型数量，从而减少动作之间的相互干扰，以此达到提高动作行为识别的准确度和精度目的。

背景技术

人机交互技术作为计算机技术研究领域中一个至关重要的环节，吸引着越来越多的学者在探求更方便、快捷的交互方式^[1]。随着研究的不断深入，人机交互技术发展迅速，出现了批处理作业语言进行人机交互，它的缺点也很明显，需要输入大量命令语句。交互方式取得里程碑的意义，来自于人们熟练使用鼠标和通过可视化用户界面操纵计算机。传统鼠标和键盘的操作模式的缺陷和局限性也越来越凸显，人们不再满足传统的交互方式^[2]，从而促使人们不断寻找其他的更为自然舒适的交互方式。表1是现有人机交互方面对键盘行为模拟的相关研究技术。

表1 键盘行为模拟的相关研究文献

伴随着人机交互技术的不断提升，出现了能够捕捉深度信息的感应器，如Kinect感应器，具有动态捕获人体彩色图像、深度图像和骨骼数据、并通过麦克风输入来进行语音辨识和语音来源方向定位等功能，Kinect V2能够追踪6套完整骨骼以及每人25块关节，并可以捕获每个关节信息，理解人体动作行为，并向计算机发送鼠标和键盘的操作指令，再以计算机作为媒介，来操控依托于计算机的机器设备和游戏等，使得人机交互不再受距离、位置和硬件方面的限制，操作更加自然、方便且更符合人机交互的初衷。但是在kinect系统开发的过程中遇到了各种问题，如动作类型数量过多产生不同动作类型之间相互影响、如何消除抖动、骨骼点抖动引起的光标抖动以及如何识别握拳动作和提高识别精度等。

发明内容

本发明的目的正是为了克服上述现有技术存在的缺陷和不足而提供一种基于Kinect对键盘行为模拟的方法，并最终开发出模拟键盘行为的系统。如上所述，本发明针对Kinect开发过程中遇到的问题，提出了以下解决方案，很大程度上提高键盘行为模拟的准确度。

(1)对骨骼识别中经常遇到的问题，如骨骼点抖动引起的光标抖动进行了探究，并给出了解决方案，如提出了抖动产生的条件和如何消除抖动，且对该技术的可行性进行了实验验证。

(2)键盘行为模拟中涉及到采用关节角度计算来识别手掌握拳和伸展的状态，并给出了握拳的判定公式。

本发明的目的是通过如下技术方案来实现的。

一种基于Kinect对键盘行为模拟的方法，其特征在于，由构建的实现的鼠标及键盘行为的模拟系统分别连接Kinect感应器和输出设备，模拟系统包括三个模块组成，由主程序模块分别连接数据捕获模块和键盘行为模拟模块，系统实现过程中各模块遵循高内聚、低耦合的原理进行实现；其中数据捕获模块中彩色图像上对应骨骼点的像素颜色的提取采用OpenCV开发库，彩色图像和骨骼数据的获取分别放入不同的线程中；键盘行为模拟模块负责按键按下和弹起行为的模拟；为了使动作类型简单化和便于操作，应尽量减少动作类型的数量和动作之间相互切换的复杂度，集中所用动作类型在左手和右手上，且不同动作之间的切换集中在单个骨骼点上，即实现相同功能需求，尽量减少骨骼的数量和增加操作的灵活性；首先由 Kinect感应器捕获彩色图像和骨骼点数据，彩色图像像素颜色数据会以矩阵的形式存储到Mat 变量中，并通过OpenCV图形库动态提取矩阵中对应映射后HandRight骨骼点位置处的像素颜色，同时系统会根据当前模拟行为状态和捕获的骨骼点位置数据判定系统当前执行的功能；系统的数据主要有彩色图像数据和骨骼点三维坐标数据，主要处理过程包括捕获数据、像素提取、状态判定、动作类型判定。

本发明的有益效果是：使模拟键盘行为系统能够使用更少的动作类型和具有更灵活的操纵性，通过抖动消除技术在很大程度上避免抖动的消除，提高鼠标按键的准确度，同时通过握拳程度识别判定手掌握拳和伸展的状态，使得握拳和手掌伸开行为识别成为可能。

表2:键盘行为模拟功能表

附图说明

图1为本发明系统结构示意图；

图2为本发明总体数据流程；

图3为键盘行为模拟算法流程图；

图4为键盘行为模拟类图；

图5为骨骼点位置关系图；

图6为按键响应范围图。

具体实施方式

见图1，图2，一种基于Kinect对键盘行为模拟的方法，其特征在于，由构建的实现的鼠标及键盘行为的模拟系统分别连接Kinect感应器和输出设备，模拟系统包括三个模块组成，由主程序模块分别连接数据捕获模块和键盘行为模拟模块，系统实现过程中各模块遵循高内聚、低耦合的原理进行实现；其中数据捕获模块中彩色图像上对应骨骼点的像素颜色的提取采用OpenCV开发库，彩色图像和骨骼数据的获取分别放入不同的线程中；键盘行为模拟模块负责按键按下和弹起行为的模拟；为了使动作类型简单化和便于操作，应尽量减少动作类型的数量和动作之间相互切换的复杂度，尽可能集中所用动作类型在左手和右手上，且不同动作之间的切换集中在单个骨骼点上，即实现相同功能需求，尽量减少骨骼的数量和增加操作的灵活性；

首先由Kinect感应器捕获彩色图像和骨骼点数据，彩色图像像素颜色数据会以矩阵的形式存储到Mat变量中，并通过OpenCV图形库动态提取矩阵中对应映射后HandRight骨骼点位置处的像素颜色，同时系统会根据当前模拟行为状态和捕获的骨骼点位置数据判定系统当前执行的功能；系统的数据主要有彩色图像数据和骨骼点三维坐标数据，主要处理过程包括捕获数据、像素提取、状态判定、动作类型判定。

本发明实施方式为：

第一部分：

键盘行为模拟模块

如图3所示，键盘行为模拟模块是根据不同的动作类型来模拟键盘行为。由于骨骼点的和屏幕的坐标系维度不同，首先通过坐标映射将骨骼点位置映射到屏幕上，其次根据不同的动作类型来模拟不同的动作行为，其中动作类型包括握拳和手掌的伸开，分别对应按键按下和按键弹起，其中由于人体自身不自主的抖动行为会引起骨骼点的抖动，从而影响按键的准确性，此处提出了抖动消除的方法，解决办法是一旦抖动产生，则在下一帧保持光标的位置和上一帧的位置相同，通过实验表明，能够很好地消除抖动，提高按键得到准确度。

第二部分：

键盘行为模拟模块

(1)键盘行为模拟程序设计

如图4所示，该模块的类图设计为大部分类均继承自BaseKeyAction类，IBodyFrameSource类为KinectV2感应器提供的接口，BaseKeyAction类主要负责把骨骼点的三维坐标映射到屏幕的二维坐标和抖动消除，Execute函数为虚函数，主要负责模拟行为功能的实现，Vector2类描述电脑屏幕上任意一点的坐标点，类PressKey、ReleaseKey用于模拟键盘的按下和弹起示。

(2)算法描述

键盘的行为模拟涉及到按键的按下和弹起，首先打开计算机自带的虚拟键盘，其次通过移动人体的HandRight骨骼点将光标移动到虚拟键盘对应的按键上，其中握拳动作行为模拟按键的按下，手掌伸开模拟按键的弹起，优点在于双手可以同时进行握拳动作和手掌伸开动作，即通过短暂的时间差，实现两个按键的同时按下和弹起，在按键行为模拟中涉及到握拳行为动作和手掌伸开行为动作的识别，本文中采用了关节角度计算的方法来进行握拳和手掌伸开动作行为的判定，并计算出了临界角度值a，即当角度小于a时为握拳动作行为，角度大于a时为手掌伸开动作行为，同时在模拟按键按下和弹起行为过程中，会由于人体不自主的抖动，引起HandRight骨骼点的抖动，从而导致光标的位置发生抖动，当抖动引起的光标的位置超出虚拟键盘按键响应范围时，会产生按键错误，因此为了避免抖动的产生，本文对如何消除抖动进行了探究，并提出了抖动消除的算法，并通过对比试验验证了该算法的可行性，具体算法设计如下。

(3)关节角度计算

在键盘行为的模拟中，要对键盘按键的按下和弹起行为进行模拟，其中双手握拳模拟按键的按下，双手手掌平伸模拟按键的抬起，对握拳和手掌伸开的识别采用空间向量计算关节角度的方法进行识别，具体算法如下。

关节角度计算方法的核心思想是通过计算向量和向量的夹角a来判定当前状态是处于握拳状态，还是手掌平伸状态，ThumbRight、WristRight和HandTipRight骨骼点的分布，由余弦定理可知，夹角a计算公式如4-1式所示。

通过不同的取样点可以得到角度值集合θ＝{a₀,a₁,a₂···a_n}，由于每个角度呈现不同程度的握拳状态，如半握拳和完全握拳等，因此需要划分不同角度握拳状态的权重，握拳状态权重划分公式如4-2所示。

根据公式4-2可以得到权重集合W＝{w₀,w₁···w_n}，角度a_i值越大，权w_i越大，根据角度值和对应的权重值，可以得到判定握拳程度D_i，计算公式如4-3所示。

握拳状态的判断是通过判定握拳程度D_i是否大于阀门值S₀，当D_i≥S₀时，则判定为握拳动作行为，否则认为是手掌伸开的动作行为，公式如4-4所示。

其中S₀为握拳判定阀门值。

(4)抖动消除

在键盘行为模拟过程中，由于人体不自主的轻微抖动，会引起HandRight骨骼点的抖动，从而导致光标随着HandRight骨骼点运动时发生抖动，当光标的抖动范围超出虚拟键盘按键的响应范围时，会产生按键错误。采用算法消除光标的抖动，能够提高按键的准确度，具体消除抖动的算法如下。

当通过HandRight骨骼点将光标移动到虚拟键盘上的按键上，且按键行为未发生时，通过计算当前光标的位置与上一帧光标的位置的位移差的方式，来判断当前光标的位置是否发生抖动，当在较短时间发生了较小的位移或者较大的位移，则认为产生了抖动，一旦抖动发生，可以通过相邻两帧位移差值的累加来判定抖动发生程度大小，假设采用函数D(S_n)来表示前n帧的抖动程度位移差的累加值，且HandRight骨骼点在第i帧的位移为S_i，上一帧的位移为S_i-1,u＞1，则D(S_i)的计算公式为4-5所示。

通过进行多次模拟键盘按下行为的实验来计算静止状态与实际静止状态的D(S)值。静止时，随着帧数的增加，D(S)＝0始终成立，而实际静止时D(S)的值随着帧数的增加，也在不断的增加，即模拟键盘按键行为时，抖动是在持续发生，且D(S)值越大则表示抖动的程度愈大，针对键盘行为模拟中抖动的持续发生，本文中给出了解决方案，具体方法如下。

首先对键盘行为模拟中抖动类型分为两类，分别如下：

①首先确定虚拟键盘上每个按键事件响应范围，一个按键事件响应范围是 (-l_x＜x＜l_x,-l_y＜y＜l_y)，即在按键响应范围内，则认为此次按键行为是正确的，否则认为按键行为是错误的，设第u帧光标位置在(A,B,C,D)区域内，第u+1帧光标的坐标(x,y)满足(-l_x＜x＜l_x,-l_y＜y＜l_y)，且如果在按键模拟行为没有发生时，第u帧光标的位置不等于第u+1帧光标的位置，即在按键响应范围内，光标发生了较小的位移，则产生抖动。

②在较短的时间内，键盘按键模拟行为没有发生时，光标产生较大的位移差D(S)，且光标的位置已经超出了按键的响应范围，即光标的位移差D(S)大于阀门值S₀，则认为产生抖动，即符合公式4-6则认为产生了抖动。

上边对抖动的类型进行了分类，对于第一种抖动类型，由于光标抖动后，位置未超出按键的响应范围，即不会对按键的准确性产生影响，因此可以不用考虑，而第二种抖动类型，光标已经超出了按键的响应范围，即移动到其他按键上，因此会引起错误的按键行为，即对按键的准确度产生影响，因此需要对第二种抖动行为给出解决方案，具体解决方法如下。

假设第u帧的光标在屏幕上的位置为p_u，第u+1帧光标在屏幕上的位置为p_u+1，假设在 u+1帧发生了抖动，则设置p_u+1＝p_u，即发生抖动后，将光标的位置为上一帧光标的位置，当光标的抖动未发生，则不改变该帧光标的位置，公式如4-7所示。

第三部分：

1.未采用和采用抖动消除技术对比实验

由于人体不自主的抖动，引起的HandRight骨骼点的抖动，从而导致光标随着HandRight骨骼点的抖动而发生抖动，当光标的抖动范围超出按键的响应范围，即产生按键错误，本文中提出了抖动消除的方法，并进行了实验验证，具体实验验证的方法如下。

本实验中对比了消除抖动和未消除抖动情况下按键的正确率，假设模拟按键行为次数为 n，其中产生错误的次数为i，则进行n次模拟操作的错误率e_n计算公式如4-8所示。

叠加e_n，得到进行n次键盘行为模拟的错误率之和为公式4-9所示。

本次实验中模拟次数n＝13，此处按键按下和弹起认为一次模拟，采样数据后，记录第j 次模拟键盘按下和弹起行为分别在未使用抖动技术和使用抖动技术的S_j的值，如表4所示。

表3：不同模拟次数采用和未采用抖动消除错误率值

由S_j的计算公式知，其中S_j的值越大，表明光标由于骨骼点的抖动产生的位移差累加值越大，即发生抖动的程度越深，从中可以看出在相同键盘按键行为模拟次数下，采用抖动技术S_j的值要明显小于未使用抖动消除技术S_j的值，且采用抖动消除S_j的变化率明显小于未采用抖动消除技术S_j的变化率，即采用抖动消除技术能够明显降低抖动的发生，提高按键的正确率，从而验证了抖动消除算法能够很大程度上消除由于人体不可控因素产生的抖动。

2.握拳和手掌伸开的识别实验

在键盘行为模拟中，握拳动作行为模拟按键的按下，手掌的伸开动作行为模拟按键的弹起，本文中针对握拳和手掌伸开的动作识别采用关节角度计算的方法，并通过实验找出识别握拳和手掌伸开动作行为的临界角度，具体实验过程如下所示。

根据握拳和手掌伸开动作行为中权重计算公式和握拳程度计算公式，分别计算不同角度 a_i下权重w_i和握拳程度D_i，如表4所示。

表4：不同角度值对应权重和握拳程度值

从实验中可以看出，握拳程度随着角度的增加而减少，即握拳程度D_i与角度a_i成反比，由此知a_i值越小，握拳程度越深，依据手掌实际握拳对应的角度a_i值，可以选择角度a_i＝45 度作为临界点，即小于a_i度则属于握拳行为动作，否则认为属于手掌伸展行为动作。

第四部分：

系统中模拟了键盘行为的按键的按下、弹起，在本阶段，测试了系统中涉及到的模拟行为，具体测试过程如下所示。

进行键盘按键按下和弹起行为功能测试，通过右手掌移动光标并单击系统界面上的打开键盘按钮，然后把光标移动到虚拟键盘的a按键上，并做握拳和手掌伸开动作，观察是否出现按键按下的行为，当左手握拳后，虚拟键盘上的a按键被按下，当左手处于伸展状态，被按下的a键弹起。

经过测试，测试的系统功能都能正常实现。

参考文献：

[1]王彦凯.动态手势识别及应用研究[D].西安电子科技大学,2014.

[2]S.Szilvia,M.Zichar,F.Attila.Gesture-based computer mouse usingKinect sensor[c].In Proceeding ofthe 5th IEEE International Conference onCognitive Infocommunications.IEEE, 2014:419-424.

[3]Michal W F.Orientation Histograms for Hand Gesture Recognition[J].Mitsubishi Electric Research Labs,1999:296--301.

[4]张爱红,张秋菊.游戏杆在机器人虚拟示教系统中的应用编程[J].江南大学学报(自然科学版),2003,2(5):474-477.

[5]A.Michael,Y.Yang,L.Li.Joint Filtering:Enhancing gesture and mousemovement in Microsoft Kinect application[C].In Proceedings ofthe 12thInternational Conference on Fuzzy Systems and Knowledge Discovery.IEEE,2015:2528–2532.

[6]王明东.基于Kinect骨骼跟踪功能实现PC的手势控制[J].漳州职业技术学院学报,2012, 14(2):11-16。

Claims (1)

1.一种基于Kinect对键盘行为模拟的方法，其特征在于，由构建的实现的鼠标及键盘行为的模拟系统分别连接Kinect感应器和输出设备，模拟系统包括三个模块组成，由主程序模块分别连接数据捕获模块和键盘行为模拟模块，系统实现过程中各模块遵循高内聚、低耦合的原理进行实现；其中数据捕获模块中彩色图像上对应骨骼点的像素颜色的提取采用OpenCV开发库，彩色图像和骨骼数据的获取分别放入不同的线程中；键盘行为模拟模块负责按键按下和弹起行为的模拟；集中所用动作类型在左手和右手上，且不同动作之间的切换集中在单个骨骼点上，即实现相同功能需求，尽量减少骨骼的数量和增加操作的灵活性；

首先由Kinect感应器捕获彩色图像和骨骼点数据，彩色图像像素颜色数据会以矩阵的形式存储到Mat变量中，并通过OpenCV图形库动态提取矩阵中对应映射后HandRight骨骼点位置处的像素颜色，同时系统会根据当前模拟行为状态和捕获的骨骼点位置数据判定系统当前执行的功能；系统的数据主要有彩色图像数据和骨骼点三维坐标数据，主要处理过程包括捕获数据、像素提取、状态判定、动作类型判定。