CN104750397B - 一种基于体感的虚拟矿井自然交互方法 - Google Patents

Abstract

本发明请求保护一种基于体感的虚拟矿井自然交互方法，该方法包括：运用Kinect体感器获取用户的手势信号、深度信息以及骨骼点信息；通过图像预处理对手势信号里的图像、深度信息及骨骼信息进行平滑滤波；利用深度直方图分割出手势图像，再运用八邻域轮廓跟踪算法找出手势轮廓，识别静态手势；根据骨骼信息，用改进动态时间规划进行动态手势的特征匹配识别；利用手势识别结果触发相应的Win32指令消息，并将消息发送给虚拟现实引擎，把指令消息分别映射到虚拟矿井交互系统原本的键盘鼠标操作，实现对虚拟矿井的体感交互控制。本发明方法提高了人机交互的自然高效性，增加了虚拟矿井表现的沉浸感、自然感。能有效的普及虚拟现实与体感交互技术在煤矿及其他领域的应用。

Description

一种基于体感的虚拟矿井自然交互方法

技术领域

本发明属于体感技术、虚拟现实、自然人机交互等领域，具体涉及基于体感的虚拟矿井自然交互。

背景技术

近年来，随着语音识别技术、传感器技术、摄像照相技术以及计算机视觉技术的深入发展，尤其是触摸屏技术的广泛应用，人机交互界面已经从早期的命令行、图形用户、鼠标键盘交互等逐渐的转变为当前的研究热点--自然用户界面(Natural User Interface,NUI)。

体感交互技术是自然人机交互(Human-Computer Interface,HCI)的最新技术，可以让人们直接通过身体运动与环境互动，“随心所欲”地操控环境，其核心价值在于，它让计算机有了更精准有效的“眼睛”去观察这个世界，并根据人的动作来完成各种指令,实现与人的实时交互。手势识别是通过计算机设备对人的手势进行精确解释，已成为一种基于体感的自然人机交互的有效手段。2011年，微软公司开发的集图像识别、视频捕捉、语音控制等多种技术于一体的体感器Kinect，实现了用户不需要借助任何手持设备，即可与计算机进行自然交互，大幅降低了操作成本，为实现自然人机交互提供了一种有效方法。

体感技术与虚拟现实(Virtual Reality，VR)技术的有机结合，可以生成一个完全逼真的，集视、听、触、情等多种感知的智能虚拟环境，给予人们自然、真实感受的同时，更能从数字化虚拟空间自由获得丰富、准确的信息与知识。目前，VR技术在煤矿领域的应用研究还比较有限。运用VR技术，以计算机系统为基础，结合图像合成、数据库建立、人工智能和物理环境模拟仿真等就可以模拟矿井常规工作、井下的抢险救灾、典型矿井事故等逼真的三维虚拟矿井环境。然而，目前虚拟矿井中人机交互主要使用传统的键盘、鼠标等图形用户界面(Graphical User Interface,GUI)方式，让用户难以获得VR技术“身临其境”的真实感，严重制约了虚拟矿井的实用价值。尽管一些虚拟矿井中，用户可以佩戴传感头盔、数据手套、操纵杆等专用设备来与系统进行交互，实现对虚拟矿井稳定而精确的控制，但是其缺点也是显而易见的：头盔数据手套等专用设备昂贵、笨重且不方便，也很难让操作人员产生真实、自然的感觉。

发明内容

针对现有技术中现有虚拟矿井人机交互中自然性差、使用成本高、效率低、缺乏真实感等问题的问题，本发明提供了一种提高了人机交互的自然高效性，增加了虚拟矿井表现的沉浸感、自然感的基于体感的虚拟矿井自然交互方法，本发明的技术方案如下：一种基于体感的虚拟矿井自然交互方法，其包括以下步骤：

一种基于体感的虚拟矿井自然交互方法，其特征在于，包括以下步骤：

101、建立手势识别模板库，然后进行数据获取步骤：运用Kinect体感器获取用户的手势信号、深度信息以及骨骼点信息；

102、手势数据预处理步骤：将步骤101所获取的手势信号通过A/D转换处理，将其转换为数字信号，所述手势信号包括单帧静态图像和连续多帧图像，然后通过图像预处理对手势信号里的图像、深度信息及骨骼点信息进行平滑滤波，得到平滑滤波过的单帧静态图像和平滑滤波过的连续多帧图像；

103、静态手势识别步骤：a1、针对通过步骤102平滑滤波处理后的单帧静态图像，利用深度直方图分割出静态手势图像；a2、在静态手势图像分割完成之后，将分割出的手势图片进行二值化处理，转化为二值图；a3、再运用八邻域轮廓跟踪算法找出手势轮廓；a4、最后，利用K曲率算法对手势轮廓的边界点进行判断得出手势轮廓的尖峰点个数即指尖点个数，然后特征匹配识别，判断是否为模板手势；

104、动态手势识别步骤：针对经过步骤102平滑滤波处理过的连续多帧图像，根据骨骼点的信息，将手部、腕部、肘部以及肩部关节点的运动轨迹作为动态手势的特征，然后再用改进动态时间规划算法进行动态手势的特征匹配识别，识别出是否为模板手势；

105、虚拟矿井交互，根据步骤103与步骤104的手势识别结果触发相应的Win32指令消息，并将Win32指令消息发送给虚拟现实引擎，把Win32指令消息分别映射到虚拟矿井交互系统原本的键盘鼠标操作，实现对虚拟矿井的体感交互控制。

进一步的，所述静态手势为单帧图像，动态手势为连续多帧图像，所述深度信息即为人到Kinect体感器的距离，主要为人手的深度信息，所述骨骼点信息为Kinect forWindows SDK开发包所提供的人体20个关节点信息，主要为手部、腕部、肘部、肩部关节点信息。

进一步的，步骤103中a3步骤中八邻域轮廓跟踪算法具体为：以变量dir＝0为初始扫描方向，扫描二值图，按照若dir为奇数取(dir+7)mod 8；若dir为偶数取(dir+6)mod 8的规则搜索当前像素的3*3邻域，如果在此邻域中搜索到的像素点值为1，则记录该像素点，并标记该像素点为轮廓点，继而得到手形轮廓。

进一步的，步骤103中的K曲率算法对轮廓边界点进行处理具体为：判断手势轮廓上的点P(i)和它前k个点P(i-k)之间向量，以及P(i)和它后k个点P(i+k)间向量的夹角β是否在一定角度β范围内，从而判断P(i)是否为尖峰点，若是尖峰点则确定为指尖，所述夹角β的判断范围是0到55度，k的取值为22。

进一步的，步骤104中的动态时间规划算法具体为：

首先，选取模板手势手部关节点运动轨迹在三维空间XYZ三个平面的投影位置，手部、肘部关节点的旋转角度混合组成特征数据向量V；其次，定义模板手势集为：L＝(l₁,l₂,l₃,...,l_n)，待识别手势集为：R＝(r₁,r₂,r₃,...,r_m)，其中m≠n，待识别手势R与模板手势结构相同，表示待识别的手势数据；并定义l_n(i)为第n个模板手势的第i个特征数据，相应的，r_m(j)为第m个待识别手势的第j个特征数据，并用上述特征向量V来表示模板手势的特征数据；最后，输入待识别手势，计算其与所有模板手势对应帧之间的欧几里得距离d[L(i),R(j)]之和，所述对应帧即为关键帧，表示i帧和j帧在两个手部动作序列中所对应的动作是相同的，计算所得欧几里得距离之和最小的待识别手势，即为对应的模板手势。

本发明的优点及有益效果如下：

1、根据虚拟环境中人机交互的技术特点及要求，基于体感交互技术，首次提出了基于体感的虚拟矿井自然交互方法，该方法用Kinect体感器采集用户的手势信息，然后对手势语义进行识别解释，针对识别结果实时发出各种控制指令到虚拟现实引擎，使得用户在贴近自己习惯的交互机制下，即可利用自己的手势动作与虚拟矿井进行交互，完全摆脱了传统的鼠标键盘以及数据手套等复杂的动作捕捉设备。从而降低了用户的认知负荷，提高了人机交互的自然高效性，增加了虚拟矿井表现的沉浸感、自然感。

2、本发明方法基于Kinect开发包提供的20个人体骨架节点信息以及深度信息，分别采用基于Kinect的静态手势识别和基于Kinect的动态手势识别算法进行手势识别，并通过识别出实际操作人员不同的静态手势以及动态手势得到相应的控制指令，具有计算效率高、识别率高、实时性强等优点。

3、本发明方法是一种模块化的即插即用式虚拟矿井自然交互方法，即将基于Kinect的手势识别程序与虚拟现实引擎分离开，使手势识别程序单独运行于后台，不影响虚拟现实引擎的运行，这样只要简单更改系统的交互控制消息定义，即可将其应用于各类虚拟现实交互系统。

4、运用本发明方法，操作人员只需要通过简单的手势动作，即可清晰的了解井下设备的使用方法及注意事项,提高了井下操作的安全性。因此，该方法可以为矿井修建、巷道维修、矿井设备的虚拟设计与制造、设备检修以及矿井人员安全技术培训，井下事故救援演练等一系列课题提供有效技术支持。同时也能有效的普及虚拟现实与体感交互技术在煤矿及其他领域的应用。

附图说明

图1是本发明优选实施例的手势识别的系统流程图；

图2为本发明优选实施例基于体感的虚拟矿井自然交互方法工作流程图。

具体实施方式

以下结合附图，对本发明作进一步说明：

图一所示为基于体感的虚拟矿井自然交互方法系统中手势识别的系统流程图。一种基于体感的虚拟矿井自然交互，其主要任务是通过提取手势特征，如指数、指向、关节点运动轨迹等完成手势识别，并通过识别出的手势向虚拟现实引擎发送指令消息，达到与虚拟环境交互的目的。因此在进行虚拟矿井的交互之前，需要对用户输入的交互手势进行分类识别。手势交互实际上是一个从一种状态转移到另一种状态的过程，所以可将不同的静态手势看作是不同的状态，通过在静止人手间手势的变换实现对虚拟矿工的漫游控制及虚拟场景交互。考虑到个人用手习惯，可用静止的右手手势完成虚拟场景交互，而静止的左手手势则用来控制虚拟矿工的漫游。至于场景中的摄像机视角的转动控制，需要从当前状态变换到另一个静止手势来触发，再通过连续轻微的移动不断带动摄像机视角的小幅转动及缩放，达到平滑顺畅的视觉效果。

对于上述的手势，由Kinect for Windows SDK提供的人体20个骨骼节点中左右手的骨骼点即可判断手势是左手还是右手，至于左右手的静态与动态手势，本发明分别采用基于Kinect的静态手势识别和基于Kinect的动态手势识别两种识别方法进行识别。

对于基于Kinect的静态手势识别，首先，根据Kinect for Windows SDK提供的深度图以及20个骨骼节点的三维位置，根据人的手部和背景同Kinect的距离不同，利用深度直方图来分割出手势区域。其次，在手势分割完成之后，将分割出的手势图片进行二值化处理，转化为二值图，再利用八邻域轮廓跟踪算法以变量dir＝0为初始扫描方向，扫描二值图，按若dir为奇数取(dir+7)mod8；若dir为偶数取(dir+6)mod 8规则搜索当前像素的3*3邻域，如果在此邻域中搜索到的像素点值为1，则记录该像素点，并标记该像素点为轮廓点，继而得到手形轮廓。最后，利用K曲率算法对轮廓边界点进行处理，判断手势轮廓上的点P(i)和它前k个点P(i-k)之间向量，以及P(i)和它后k个点P(i+k)间向量的夹角β是否在一定的角度范围内，从而判断P(i)是否为尖峰点，以确定是否为指尖，从而可以利用指尖个数进行特征匹配识别，判断是否为模板手势。

至于基于Kinect的动态手势识别，首先针对连续多帧图像中的每一帧图像，根据Kinect for Windows SDK提供的函数得到20个人体骨架关节点的三维位置信息，并将手部、腕部、肘部以及肩部关节点的运动轨迹作为动态手势的特征，在获取这些关节点的运动轨迹的过程中，需要找到运动轨迹的起点和终点，然后再用改进动态时间规划进行特征匹配识别，判断是否为模板手势。

动态手势都是一个手势运动轨迹，由于位置不同、骨架差异、时间不同等问题会造成手势运动轨迹有很大差异，因此不能直接将运动序列中手的位置数据作为模板手势，要通过动态时间规划(Dynamic Time Warping,DTW)解决长短不一的模版匹配问题。首先，选取模板手势手部关节点运动轨迹在三维空间XYZ三个平面的投影位置，手部、肘部关节点的旋转角度混合组成特征数据向量V。其次，定义模板手势集为：L＝(l₁,l₂,l₃,...,l_n)，待识别手势集为：R＝(r₁,r₂,r₃,...,r_m)，其中m≠n。需要说明的是，待识别手势R与模板手势结构相同，表示待识别的手势数据。并定义l_n(i)为第n个模板手势的第i个特征数据，相应的，r_m(j)为第m个待识别手势的第j个特征数据，并用上述特征向量V来表示模板手势的特征数据。最后，输入待识别手势，计算其与所有模板手势对应帧之间的欧几里得距离d[L(i),R(j)]之和，所述对应帧即为关键帧，表示i帧和j帧在两个手部动作序列中所对应的动作是相同的。计算所得欧几里得距离之和最小的待识别手势，即为对应的模板手势。

可以看出，上述DTW手势识别的计算量会随着识别模板库的不断增大而增加，并且识别的效率也不高。因此可以通过对DTW算法进行改进，来减小动态手势识别的计算量，从而提供计算效率和识别准确率。首先，我们通过对距离加权的方式来提高计算效率和识别率，即：

其中，T为时间规划函数，T＝{t(1),t(2),...,t(n)}，N为搜索路径长度，即模板手势数，t(n)＝(l_i(n),r_j(n))表示由L中的i(n)帧特征向量与R中的j(n)帧特征向量构成第n个匹配点。d[Li(n),Rj(n)]表示前述的欧式距离，W_n即为权值，其大小和搜索路径的约束有关。因此，对搜索路径进行全局或局部约束，亦可提高计算效率，减小计算量。另外，通过设置图像失真度的阈值，减少手势数据失真量也能提高计算效率和识别率。

上述基于Kinect的静态手势识别和基于Kinect的动态手势识别都要用到模板匹配，因此在识别之前还需要对模板手势进行训练，建立手势模板库。因此，我们首先需要定义所要用到的交互手势并加以训练，按上文所述左手控制虚拟矿工漫游及摄像机视角转动，右手实现场景交互。定义的手势如表1、表2、表3所示：

表1左手交互手势定义表

手势标识	手势定义	手势语义
			001	向前斜伸	虚拟矿工或视角前进
002	向后斜伸	虚拟矿工或视角后退
			003	向上抬起	触发摄像机视角转动
004	抬起后向上慢慢挥动	像机视角向上平滑转动
			005	抬起后向下慢慢挥动	像机视角向下平滑转动
006	抬起后向左慢慢挥动	像机视角向左平滑转动
			007	抬起后向右慢慢挥动	像机视角向右平滑转动

表2右手交互手势定义表

表3双手交互手势定义表

虚拟矿井交互，即为利用手势来与虚拟矿井系统进行体感交互，其中交互的手势包括：

(1)虚拟矿井漫游控制。漫游控制手势主要用于虚拟矿工在虚拟矿井中的巷道漫游。操作人员可以利用自己的手势动作的变换来控制虚拟矿工的行走，前进方向的变换，摄像机视角的转动等。进而可以实时的巡查各种虚拟设备(如采掘机、运输机、升降机、电机、矿车等)的运作情况，煤矿生产流程情况。

(2)虚拟矿井场景交互操作。在虚拟矿井系统中，与虚拟矿井场景交互是一个非常重要的环节。主要是指用户利用自己不同的手势来与虚拟矿井系统内部各种虚拟设备进行操作，包括以下几个方面：①井下虚拟生产设备的操作，包括用户利用自己的手势变换来进行虚拟采煤机、粉碎机、掘进机、刮板输送机、矿车、局部通风机等虚拟机电设备的操纵控制。②井下报警设备的操作，当井下发生瓦斯爆炸、矿井塌方、火灾、突水或透水等事故时，用户需要通过自己的手势来启动报警按钮，从而启动井下报警装置。③井下安全设备的操作，当井下发生瓦斯爆炸、火灾等事故时，为防止毒气迅速扩散，火势蔓延等，用户需要及时的通过自己的手势启动譬如安全门、防火闸等安全设施的开关。

(3)虚拟矿井中业务流程的交互控制。在虚拟矿井中，用户可以通过自己不同的手势来对井下采煤，运煤，安全演练，逃生演练等业务的操作流程发出指令，比如利用手指指向对运煤的方向，逃生演练中逃跑方向等进行相应地指示，从而使井下各类业务可以有序的进行。

同时，本发明还为用户提供一个手势模板接口，用户可以根据自己的用手习惯和需要，参照手势模板接口的具体说明，来定义自己的交互手势，与虚拟环境进行交互。

图二示出了本发明专利中基于体感的虚拟矿井自然交互方法工作流程图。对本发明提出的基于体感的虚拟矿井自然交互系统的具体工作流程原理进行较为详细的说明解释。

本发明所设计的是一种模块化的即插即用式虚拟矿井自然体感交互方法。即在现有的虚拟矿井系统之上，增加一个低成本的前端体感器Kinect，用以获取用户手势数据。在软件设计模块，为了能运用到各类虚拟矿井系统，我们使用Kinect软件开发平台设计运行程序，并将此程序设计为一个Win32托盘应用程序，即该程序可以单独运行于后台，而不影响虚拟现实引擎的正常运行，同时不断从Kinect体感器中读取当前人体手部、腕部、肘部及肩部关节点信息以及深度信息，对手势语义进行识别解释，针对识别结果实时发出各种新的交互消息到虚拟现实引擎，并由虚拟现实引擎产生相应的Win32指令消息，分别与虚拟矿井交互。其中，指令分为左手指令、右手指令以及双手指令，左手指令控制虚拟矿工的漫游和摄像机视角的转动，右手指令实现虚拟场景的交互，双手控制场景视角的缩放及部分虚拟场景交互。这样只要简单更改系统的交互控制消息定义，即可将其应用于各类虚拟现实交互系统。

以上这些实施例应理解为仅用于说明本发明而不用于限制本发明的保护范围。在阅读了本发明的记载的内容之后，技术人员可以对本发明作各种改动或修改，这些等效变化和修饰同样落入本发明权利要求所限定的范围。

Claims (5)

1.一种基于体感的虚拟矿井自然交互方法，其特征在于，包括以下步骤：

101、建立手势识别模板库，然后进行数据获取步骤：运用Kinect体感器获取用户的手势信号、深度信息以及骨骼点信息；

102、手势数据预处理步骤：将步骤101所获取的手势信号通过A/D转换处理，将其转换为数字信号，所述手势信号包括单帧静态图像和连续多帧图像，然后通过图像预处理对手势信号里的图像、深度信息及骨骼点信息进行平滑滤波，得到平滑滤波过的单帧静态图像和平滑滤波过的连续多帧图像；

103、静态手势识别步骤：a1、针对通过步骤102平滑滤波处理后的单帧静态图像，利用深度直方图分割出静态手势图像；a2、在静态手势图像分割完成之后，将分割出的手势图片进行二值化处理，转化为二值图；a3、再运用八邻域轮廓跟踪算法找出手势轮廓；a4、最后，利用K曲率算法对手势轮廓的边界点进行判断得出手势轮廓的尖峰点个数即指尖点个数，然后特征匹配识别，判断是否为模板手势；

104、动态手势识别步骤：针对经过步骤102平滑滤波处理过的连续多帧图像，根据骨骼点的信息，将手部、腕部、肘部以及肩部关节点的运动轨迹作为动态手势的特征，然后再用改进动态时间规划算法进行动态手势的特征匹配识别，识别出是否为模板手势；动态时间规划算法改进在：首先，通过对距离加权的方式来提高计算效率和识别率，即：

其中，T为时间规划函数，T＝{t(1),t(2),...,t(n)}，N为搜索路径长度，即模板手势数，t(n)＝(l_i(n),r_j(n))表示由L中的i(n)帧特征向量与R中的j(n)帧特征向量构成第n个匹配点；d[Li(n),Rj(n)]表示欧氏距离，W_n即为权值，其大小和搜索路径的约束有关；通过设置图像失真度的阈值，减少手势数据失真量；

105、虚拟矿井交互，根据步骤103与步骤104的手势识别结果触发相应的Win32指令消息，并将Win32指令消息发送给虚拟现实引擎，把Win32指令消息分别映射到虚拟矿井交互系统原本的键盘鼠标操作，实现对虚拟矿井的体感交互控制。

2.根据权利要求1所述的一种基于体感的虚拟矿井自然交互方法，其特征在于，所述静态手势为单帧图像，动态手势为连续多帧图像，所述深度信息即为人到Kinect体感器的距离，主要为人手的深度信息，所述骨骼点信息为Kinect for Windows SDK开发包所提供的人体20个关节点信息，主要为手部、腕部、肘部、肩部关节点信息。

3.根据权利要求1所述的一种基于体感的虚拟矿井自然交互方法，其特征在于，步骤103中a3步骤中八邻域轮廓跟踪算法具体为：以变量dir＝0为初始扫描方向，扫描二值图，按照若dir为奇数取(dir+7)mod 8；若dir为偶数取(dir+6)mod 8的规则搜索当前像素的3*3邻域，如果在此邻域中搜索到的像素点值为1，则记录该像素点，并标记该像素点为轮廓点，继而得到手形轮廓。

4.根据权利要求1所述的一种基于体感的虚拟矿井自然交互方法，其特征在于，步骤103中的K曲率算法对轮廓边界点进行处理具体为：判断手势轮廓上的点P(i)和它前k个点P(i-k)之间向量，以及P(i)和它后k个点P(i+k)间向量的夹角β是否在一定角度θ范围内，从而判断P(i)是否为尖峰点，若是尖峰点则确定为指尖，所述夹角θ的判断范围是0到55度，k的取值为22。

5.根据权利要求1所述的一种基于体感的虚拟矿井自然交互方法，其特征在于，步骤104中的动态时间规划算法具体为：

首先，选取模板手势手部关节点运动轨迹在三维空间XYZ三个平面的投影位置，手部、肘部关节点的旋转角度混合组成特征数据向量V；其次，定义模板手势集为：L＝(l₁,l₂,l₃,...,l_n)，待识别手势集为：R＝(r₁,r₂,r₃,...,r_m)，其中m≠n，待识别手势R与模板手势结构相同，表示待识别的手势数据；并定义l_n(i)为第n个模板手势的第i个特征数据，相应的，r_m(j)为第m个待识别手势的第j个特征数据，并用上述特征向量V来表示模板手势的特征数据；最后，输入待识别手势，计算其与所有模板手势对应帧之间的欧几里得距离d[L(i),R(j)]之和，所述对应帧即为关键帧，表示i帧和j帧在两个手部动作序列中所对应的动作是相同的，计算所得欧几里得距离之和最小的待识别手势，即为对应的模板手势。