CN110147754A - 一种基于vr技术的动态手势识别方法 - Google Patents

Abstract

本发明公开一种基于VR技术的动态手势识别方法，属于VR技术的技术领域。动态手势识别方法具体包括以下步骤：S1：读取视频与函数设置；S2：RGB空间与HSV空间转换；S3：去噪和修复空洞；S4：HOG特征提取；S5：三帧提取与填充动画；S6：手势匹配与命令执行。本方案采用的是摄像头动态手势的是识别方式，并在较为常见的方法上做出了手势识别功能和优化其效果，更好的加强了用户体验的感觉，增加了手势识别的精确度和完美性。

Description

一种基于VR技术的动态手势识别方法

技术领域

本发明属于VR技术的技术领域，特别是涉及一种基于VR技术的动态手势识别方法。

背景技术

在中国广阔的大地上，有雄伟的高原、起伏的山岭、广阔的平原、低缓的丘陵，还有四周群山环抱、中间低平的大小盆地。但这些地形地势在《地球的描述》《地理志》《梦溪笔谈》等地理名著上仅仅通过生涩的言语描述出来，使读者难以真正体会中国地理的渊博文化。虽《山海经》存在较多争议，但它对于中国地理学的价值是毋庸置疑的，也正因此我们想把《山海经》更好进行展现。全书可分为山经和海经，再细分则可分为五藏山经、海外经、海内经、大荒经。其中有关山川和河流湖泊的描述，具有较高地理学价值。除这些外它还涵盖丰富的古代地理知识，例如南方岩溶洞六，北方河水季节性变化，以及不同气候带景物与动植物分布等特点。在设计上，本书侧重介绍人文地理的内容的部分，如先民对一些疆域的开发，相对应的河道、丘陵的展示等。

在三个模式即书籍、动漫、游戏的设计中，为更好地加强用户体验的感觉，并且方便用户进行操作，体验者可以根据特定的手势进行书页的翻动或文物的全方位展示，并且书籍、动漫、游戏的设计中动作较快，因此对手势的识别度的要求极高，现有的手势识别已经无法满足该技术的需求。

发明内容

本发明为解决上述背景技术中存在的技术问题，提供一种高识别度的基于VR技术的动态手势识别方法。

本发明通过以下技术方案来实现：一种基于VR技术的动态手势识别方法，具体包括以下步骤：

S1：读取视频与函数设置；

S2：RGB空间与HSV空间转换；

S3：去噪和修复空洞；

S4：HOG特征提取；

S5：三帧提取与填充动画；

S6：手势匹配与命令执行；其中，所述步骤S2中的RGB空间与HSV空间转换采用以下映射：

V＝Max(R,G,B)

当人体肤色色调在红色区域最为稳定，在图像中的表现就是R最大，G其次，B最小，用到以下表达式即：

V＝R。

在进一步的实施例中，所述步骤S1中采用VFW进行视频的拍摄工作，并采用MSVideo函数将视频捕获窗口与驱动设备相连接。

通过采用上述技术方案：是让它实现使用广泛，操作简单，不受地点限制。所以就光线阴影等因素是必须要考虑的，所以我们放弃了差影法，选择利用肤色等几个常见方法来进行手势分割。

在进一步的实施例中，所述步骤S3中的去噪与修复漏洞采用用非线性去除噪声，具体关系如下：

在进一步的实施例中，所述步骤S4中的HOG特征提取具体包括以下步骤：

S401：将图片网格化，形成N*N的像素点网格，并将图像灰度化；

S402：采集每个像素点的梯度的或者边缘方向的直方图，把各直方图在其中的密度计算出来；

S403：将采集每个像素点的梯度的或者边缘方向的直方图，把所形成的之发个图放在区间中进行对比度归一化；

S404：最后进行对比度归一化，将区间内的特征向量进行组合，就得到了整个手势的特征向量。

在进一步的实施例中，所述步骤S5中的三帧提取与填充动画具体包括以下流程：

首先，手部动作刚开始的那一帧，中间的一帧以及最后的一帧进行S5之前的操作，因为手势动作基本上整个手掌是不动的，是依靠手腕的力量进行一定平移，所以可以直接让它们各自填充成动画；利用的是帧间法来检测手部是否运动以及运动结束；如果在做手势动作时，手部动作幅度偏大，帧间法无法检测出手部开始运动和结束，因此一旦它识别不出来，就截取离它最近的一帧，这种情况会出现两次，即截取开始与结束的帧：中间的一帧则通过整个时间段最中间的时间点来判断提取。

在进一步的实施例中，所述步骤S6中的手势匹配与命令执行具体包括以下流程：

建立一个手势匹配库，把我们所指定的手势上传，一共五个动态手势，向左翻，向右翻，点击播放以及将画面放大与缩小的手势；进行完上面修复孔洞之后的操作，将导出的手势视频HOG特征向量与手势库进行匹配，通过HOG特征向量辅助判断，增强准确性，选择相似度最大的动态手势，并执行在这个手势下的指令。

本发明的有益效果：本方案采用的是摄像头动态手势的是识别方式，并在较为常见的方法上做出了手势识别功能和优化其效果，更好的加强了用户体验的感觉，增加了手势识别的精确度和完美性。

附图说明

图1为本发明实现手势识别的流程图。

图2为本发明S3中去噪和修复空洞的效果图。

图3为本发明S6中的数据库中的部分手势图。

具体实施方式

在下文的描述中，给出了大量具体的细节以便提供对本发明更为彻底的理解。然而，对于本领域技术人员而言显而易见的是，本发明可以无需一个或多个这些细节而得以实施。在其他的例子中，为了避免与本发明发生混淆，对于本领域公知的一些技术特征未进行描述。

本发明为了根据特定的手势进行书页的翻动或文物的全方位展示，藉此采用了摄像头动态手势识别的方式，如图1所示，具体包括以下步骤：

S1：读取视频与函数设置；

S2：RGB空间与HSV空间转换；

S3：去噪和修复空洞；

S4：HOG特征提取；

S5：三帧提取与填充动画；

S6：手势匹配与命令执行。

为了更好的了解本方案的识别方式，以下对上述的每一步做详细的阐述。

S1：读取视频与函数设置

①.首先用来读取摄像头拍摄的视频的工具是VFW，它是Microsoft公司开发的一款软件工具包，具有视频捕获、视频单帧捕获、视频编辑、视频播放等通用功能。它的独特之处在于应用灵活，不需要额外设备来播放视频，除此之外还可以利用回调函数来开发其他的视频应用程序。同时利用AVIcap窗口类来实现视频捕获与视频单帧捕捉功能，并可以对采集到的信息实施独立控制。随后用MSVideo函数将视频捕获窗口与驱动设备相连接。这些操作结束之后，需要设置函数来控制捕获速率和显示大小等等。还要对回调函数进行注册，并在其内部对图像进行一定处理，方便识别。

②.在回调函数内部我们设置的是对视频单帧中的手势分割与优化操作。由于所需要设计的3D拟真系统的目标是让它实现使用广泛，操作简单，不受地点限制。所以就光线阴影等因素是必须要考虑的，所以选择利用肤色等几个常见方法来进行手势分割。

S2：RGB空间与HSV空间转换

人体肤色在空间中具有聚类特征，很容易和其他的物体区分开，会在颜色空间中形成小的聚簇。所以正常情况下大家都是利用肤色来进行手势分割。RGB摄像头拍摄的图像是RGB模式的，不利于肤色分割，而在HSV或者HSI空间中，人体肤色特征最明显，因此需要转换到HSI或者HSV模式来进行分割。我们选择HSV空间模式，因为HSV与人体感知色彩一致。

RGB空间与HSV空间转换采用以下映射：

V＝Max(R,G,B)

当人体肤色色调在红色区域最为稳定，在图像中的表现就是R最大，G其次，B最小，用到以下表达式即：

V＝R。

S3：去噪和修复空洞

因为在拍摄过程会有一些比较复杂的背景或者电子噪声出现且分布不均匀，导致捕获的图像背景复杂且有很多孔洞。所以需要进一步进行去噪处理，可以采用非线性去除噪声的方法，具体关系如下：

滤波器等带来的图像细节模糊，而且对滤除脉冲干扰及图像扫描噪声最为有效。除此之外，还可以采用形态学其他方法去修复小面积的孔洞，完善图像，具体完善效果见图2。

步骤S4：HOG特征提取

S401：将图片网格化，形成N*N的像素点网格，并将图像灰度化；

S402：采集每个像素点的梯度的或者边缘方向的直方图，把各直方图在其中的密度计算出来；

S403：将采集每个像素点的梯度的或者边缘方向的直方图，把所形成的之发个图放在区间中进行对比度归一化；

S404：最后进行对比度归一化，将区间内的特征向量进行组合，就得到了整个手势的特征向量。

步骤S5：三帧提取与填充动画

首先，手部动作刚开始的那一帧，中间的一帧以及最后的一帧进行S5之前的操作，因为手势动作基本上整个手掌是不动的，是依靠手腕的力量进行一定平移，所以可以直接让它们各自填充成动画；利用的是帧间法来检测手部是否运动以及运动结束；如果在做手势动作时，手部动作幅度偏大，帧间法无法检测出手部开始运动和结束，因此一旦它识别不出来，就截取离它最近的一帧，这种情况会出现两次，即截取开始与结束的帧：中间的一帧则通过整个时间段最中间的时间点来判断提取。

步骤S6：手势匹配与命令执行

建立一个手势匹配库，部分手势图如图3所示，把我们所指定的手势上传，一共五个动态手势，向左翻，向右翻，点击播放以及将画面放大与缩小的手势；进行完上面修复孔洞之后的操作，将导出的手势视频HOG特征向量与手势库进行匹配，通过HOG特征向量辅助判断，增强准确性，选择相似度最大的动态手势，并执行在这个手势下的指令。

本方案采用的是摄像头动态手势的是识别方式，并在较为常见的方法上做出了手势识别功能和优化其效果，更好的加强了用户体验的感觉，增加了手势识别的精确度和完美性。

另外需要说明的是，在上述具体实施方式中所描述的各个具体技术特征，在不矛盾的情况下，可以通过任何合适的方式进行组合。为了避免不必要的重复，本发明对各种可能的组合方式不再另行说明。

Claims (6)

1.一种基于VR技术的动态手势识别方法，其特征在于，具体包括以下步骤：

S1：读取视频与函数设置；

S2：RGB空间与HSV空间转换；

S3：去噪和修复空洞；

S4：HOG特征提取；

S5：三帧提取与填充动画；

S6：手势匹配与命令执行；其中，所述步骤S2中的RGB空间与HSV空间转换采用以下映射：

V＝Max(R,G,B)

当人体肤色色调在红色区域最为稳定，在图像中的表现就是R最大，G其次，B最小，用到以下表达式即：

V＝R。

2.根据权利要求1所述的一种基于VR技术的动态手势识别方法，其特征在于，所述步骤S1中采用VFW进行视频的拍摄工作，并采用MSVideo函数将视频捕获窗口与驱动设备相连接。

3.根据权利要求1所述的一种基于VR技术的动态手势识别方法，其特征在于，所述步骤S3中的去噪与修复漏洞采用用非线性去除噪声，具体关系如下：

4.根据权利要求1所述的一种基于VR技术的动态手势识别方法，其特征在于，所述步骤S4中的HOG特征提取具体包括以下步骤：

S401：将图片网格化，形成N*N的像素点网格，并将图像灰度化；

S402：采集每个像素点的梯度的或者边缘方向的直方图，把各直方图在其中的密度计算出来；

S403：将采集每个像素点的梯度的或者边缘方向的直方图，把所形成的之发个图放在区间中进行对比度归一化；

S404：最后进行对比度归一化，将区间内的特征向量进行组合，就得到了整个手势的特征向量。

5.根据权利要求1所述的一种基于VR技术的动态手势识别方法，其特征在于，所述步骤S5中的三帧提取与填充动画具体包括以下流程：

首先，手部动作刚开始的那一帧，中间的一帧以及最后的一帧进行S5之前的操作，因为手势动作基本上整个手掌是不动的，是依靠手腕的力量进行一定平移，所以可以直接让它们各自填充成动画；利用的是帧间法来检测手部是否运动以及运动结束；如果在做手势动作时，手部动作幅度偏大，帧间法无法检测出手部开始运动和结束，因此一旦它识别不出来，就截取离它最近的一帧，这种情况会出现两次，即截取开始与结束的帧：中间的一帧则通过整个时间段最中间的时间点来判断提取。

6.根据权利要求1所述的一种基于VR技术的动态手势识别方法，其特征在于，所述步骤S6中的手势匹配与命令执行具体包括以下流程：

建立一个手势匹配库，把我们所指定的手势上传，一共五个动态手势，向左翻，向右翻，点击播放以及将画面放大与缩小的手势；进行完上面修复孔洞之后的操作，将导出的手势视频HOG特征向量与手势库进行匹配，通过HOG特征向量辅助判断，增强准确性，选择相似度最大的动态手势，并执行在这个手势下的指令。