CN115576431B - 一种vr手势编码、识别方法与装置 - Google Patents

Abstract

本发明提出了一种VR手势编码、识别方法与装置，手势编码按照以下规则实现：手势运动数据由左右手类型、关节编号、关节旋转角度三个基本参数组成；对于动态手势，所述手势运动数据还包括路径数据；手势识别方法包括动态手势对比识别步骤及静态手势对比识别步骤；手势识别装置由手势识别模块、手势录入模块、手势存储模块、手势编解码模块组成；借由本发明所提出的方法与装置，可实现快速准确的手势对比，计算资源消耗低；与此同时提供模板手势数据的录入与识别接口，降低手势识别功能的开发成本。

Description

一种VR手势编码、识别方法与装置

技术领域

本发明涉及计算机技术技术领域，具体涉及一种VR手势编码、识别方法与装置。

背景技术

目前在VR领域内，应用最广泛的交互方式是无线手柄，玩家通过无限手柄上的按键来达到特定操作。这种方式准确性和可靠性高、硬件成本低，但由于功能受按钮限制、学习成本高、使用不符合人自然便好，无线手柄的使用体验较差。而其他的交互方式，如动作捕捉、眼球跟踪、语音交互等，由于技术复杂、硬件要求高导致应用并不广泛。

近几年，随着软硬件以及深度学习的不断发展，手势交互逐渐得到了广泛应用，成为了次于手柄的主流交互方式。相对于手柄的方式，手势交互更符合人们的交互习惯，这种交互完全发生在虚拟世界中，不依赖于外在设备，比手柄更加具有沉浸感。

然而，现有的VR设备只提供了有限的系统手势识别操作，比如“打开系统菜单手势”、“点击手势”等，远不满足应用的需求，也没有对开发者提供识别手势的接口，使得每个开发者都要编写一套手势识别方案。另外VR厂商并没有提供统一的手势编码方法，使得手势数据的传输和保存都需要开发者完成。

发明内容

针对上述存在的拘束局限性，本发明提出了一种VR手势编码、识别方法与装置，借助VR手势识别装置实现模板手势数据的收集存储以及实现对静态手势与动态手势的识别。

为实现上述目的，本发明采用了以下技术方案：

一种VR手势识别方法，所述方法包括动态手势对比识别步骤及静态手势对比识别步骤。

所述动态手势对比识别步骤包括：

步骤b1、获取手势运动数据及当前识别状态；

步骤b2、判断所述当前识别状态是否为对比识别中间状态；若所述当前识别状态不为对比识别中间状态，则执行步骤b3；否则执行步骤b4；

步骤b3、将动态模板手势数组中的每一模板手势数据逐一与当前手势运动数据进行手势形态对比；若手势形态对比结果相同，则执行步骤b31；

步骤b31、将所述当前识别状态修改为对比识别中间状态，同时创建手势路径数组并将当前手势运动数据中的腕关节点坐标添加至所述手势路径数组中，返回步骤b1；

步骤b4、判断当前手势是否处于识别开始状态；若处于识别开始状态，则将当前手势运动数据中的腕关节点坐标添加至所述手势路径数组中并执行步骤b41；否则将所述当前识别状态修改为非对比识别中间状态，返回步骤b1;

步骤b41、判断当前手势运动数据与识别开始时的手势运动数据的手势形态数据是否一致；若一致则执行步骤b42，否则将当前识别状态修改为非对比识别中间状态并返回步骤b1；

步骤b42、将所述动态模板手势数组中的每一模板手势数据中的路径数据与当前手势运动数据进行路径对比，得到动态手势对比结果。

所述静态手势对比识别步骤包括：

步骤a1、获取手势运动数据；

步骤a2、将静态模板手势数组中的每一模板手势数据逐一与所述手势运动数据进行静态手势对比，得到静态手势对比结果。

本发明与现有技术相对比，本发明具有以下优点：

（1）借助模板手势数据实现手势对比，识别速度快、识别准确率高、且消耗的计算性能低。

（2）提供模板手势数据的录入与识别接口，降低手势识别功能的开发成本。

上述说明仅是本发明技术方案的概述，为了能够更清楚了解本发明的技术手段，而可依照说明书的内容予以实施，并且为了让本发明的上述和其他目的、特征和优点能够更明显易懂，以下特举较佳实施例，并配合附图，详细说明如下。

附图说明

图1为本发明实施例提供的一种VR手势识别装置的结构图。

图2为本发明实施例提供的一种手部关节编号的示意图。

图3为本发明实施例提供的一种手势运动数据的示意图。

图4为本发明实施例提供的一种动态手势的手势运动数据的示意图。

图5为本发明实施例提供的一种静态手势对比识别的步骤图。

图6为本发明实施例提供的一种动态手势对比识别的步骤图。

具体实施方式

以下由特定的具体实施例说明本发明的实施方式，熟悉此技术的人士可由本说明书所揭露的内容轻易地了解本发明的其他优点及功效，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。为了进一步了解本发明，下面结合最佳实施例对本发明作进一步的详细说明。

如下为本发明实施例中涉及名词术语的解释：

静态手势：手在静止状态下所摆出的姿势（比如握拳、OK手势）；静态手势在进行手势识别时不考虑手的移动。

动态手势：在保持某一静态手势的姿势下，同时整个手部沿着某个路径运动（比如说“再见”的时候手来回挥动）；在进行手势识别时等同于静态手势加上移动路径，即动态手势可视作若干静态手势的有序组合。

下面结合前述名词术语具体介绍本发明的实现方式：

本发明的发明点是提供一种VR手势编码、识别方法与装置；

本发明的一方面在于，提供一种VR手势识别装置；

参考图1，所述装置由手势识别模块、手势录入模块、手势存储模块、手势编解码模块组成。

各模块的具体作用如下：

手势识别模块：用于实时获取手势运动数据，调用手势编解码模块进行手势编码；根据手势编码与手势存储模块中的模版手势数据的相似度进行手势识别；对所述模版手势数据进行手势预览（以动画形式对所述模板手势数据进行展示）；

手势录入模块：用于录入模板手势数据，通过摄像头采集手势运动数据，调用手势编解码模块对所采集的手势数据进行编码，存储至手势存储模块中；

手势存储模块：用于存储模板手势数据的数据库，提供模板手势数据的增加、删除、修改、查询功能；

手势编解码模块：用于将手势运动数据通过编码算法编码成高可用的数据格式，对已编码的模板手势数据解码为手势运动数据。

作为一种实施例，所述手势存储模块按照以下数据字段存储模板手势数据：手势名称、手势运动数据、手势类型标记。

本发明的另一方面在于，提供一种VR手势运动数据编码方法，所述编码方法包括手势运动数据构成及模板手势数据的获取。

所述手势运动数据即为VR设备（具体为手势识别模块）所采集的手部运动数据；

所述手势运动数据包括手势形态数据，所述手势形态数据由左右手类型、关节编号、关节旋转角度三个基本参数组成；所述手势运动数据以字符串形式呈现，并以字符串形式进行保存和网络传输。

例如字符串“T0（+20，-30，+40）”表示编号T0的关节在X、Y、Z三个方向的旋转角度分别为+20度、-30度、+40度。

参考图2，手部关节编号由手指编号及关节序号组合而成。

其中手指编号包括T、I、M、R、P，分别对应拇指、食指、中指、无名指及小拇指；图2中Root编号指腕关节，在手势运动数据中用W表示。

图3给出一种常见的“Good”手势的手势形态图像及对应的手势运动数据字符串。

动态手势的手势运动数据除上述的手势形态数据外，还包括路径数据，所述路径数据由若干腕关节点的坐标拼接而成。

图4给出一种手部保持“Good”手势形态并以字母“L”形状运动时的动态手势的手势运动数据，其中字母P后的数据为路径坐标，每三个数字组成一个点坐标。

所述模板手势数据为进行手势识别时所对比的手势模板，所述模板手势数据的获取方法具体包括：

所述手势识别模块采集若干预设动作下的手势运动数据，经筛选和标注手势名称后得到第一模板手势数据；

所述手势编解码模块对所述第一模板手势数据中的手势运动数据部分按照预设编码算法进行编码，得到第二模板手势数据；

将所述第二模板手势数据存储至所述手势存储模块。

作为一种实施例，所述预设编码算法可采用Hash编码算法或Base64编码算法。

Hash编码算法及Base64编码算法均为成熟技术手段，本领域技术人员根据本发明实施例的描述均可顺利实现，在此不再赘述。

本发明的另一方面在于，提供一种VR手势识别方法；

所述方法包括静态手势对比识别方法与动态手势对比识别方法。

参考图5，所述静态手势对比识别具体包括以下步骤：

步骤a1、所述手势识别模块获取手势运动数据；

步骤a2、将静态模板手势数组中的每一模板手势数据逐一与所述手势运动数据进行静态手势对比，得到静态手势对比结果；

所述静态模板手势数组是用于存储静态手势的模板手势数据的数组；

步骤a3、若所述静态手势对比结果为对比成功，则输出对比成功的静态模板手势数据，所述静态模板手势数据为静态手势的模板手势数据。

参考图6，所述动态手势对比识别具体包括以下步骤：

步骤b1、所述手势识别模块获取手势运动数据及当前识别状态；

步骤b2、判断所述当前识别状态是否为对比识别中间状态；若所述当前识别状态不为对比识别中间状态，则执行步骤b3；若所述当前识别状态为对比识别中间状态，则执行步骤b4；

步骤b3、将动态模板手势数组中的每一模板手势数据逐一与当前手势运动数据进行手势形态对比；若手势形态对比结果相同，则执行步骤b31；若手势形态比结果不同，则执行步骤b32；

所述动态模板手势数组是用于存储动态手势的模板手势数据的数组；

步骤b31、将所述当前识别状态修改为对比识别中间状态，同时创建手势路径数组并将当前手势运动数据中的腕关节点坐标添加至所述手势路径数组中，返回步骤b1；

步骤b32、动态手势对比结果为对比失败；

步骤b4、判断当前手势是否处于识别开始状态；若处于识别开始状态，则将当前手势运动数据中的腕关节点坐标添加至所述手势路径数组中并执行步骤b41；若不处于识别开始状态，则将所述当前识别状态修改为非对比识别中间状态，返回步骤b1;

步骤b41、判断当前手势运动数据与识别开始时的手势运动数据的手势形态数据是否一致；若一致则执行步骤b42，若不一致则将当前识别状态修改为非对比识别中间状态并返回步骤b1；

步骤b42、将所述动态模板手势数组中的每一模板手势数据中的路径数据与当前手势运动数据进行路径对比，得到动态手势对比结果；

步骤b5、若所述动态手势对比结果为对比成功，则输出对比成功的动态模板手势数据，所述动态模板手势数据为动态手势的模板手势数据；若所述动态手势对比结果为对比失败，则退出程序。

所述静态模板手势数组与所述动态模板手势数组的获取方法为：

读取手势存储模块中存储的模板手势数据，并按照手势类型标记分别存储至静态模板手势数组及动态模板手势数组中；

所述手势编解码模块通过预设解码算法对所述静态模板手势数组及所述动态模板手势数组中的数据进行解码，得到解码后的静态模板手势数组及动态模板手势数组。

所述预设解码算法与所述手势编解码模块采用的所述预设编码算法相对应。

作为一种实施例，所述静态手势对比的具体实现方式为：

计算同一关节编号的关节旋转角度的差值，得到关节运动偏差数据；

若所述关节运动偏差数据大于第一对比阈值，则判断所述手势运动数据与所对比的模板手势数据不相同；

若所有关节的关节运动偏差数据的均小于所述第一对比阈值，但所有关节的关节运动偏差数据之和大于第二对比阈值，则判断所述手势运动数据与所对比的模板手势数据不相同；

若所有关节的关节运动偏差数据的均小于所述第一对比阈值，且所有关节的关节运动偏差数据之和小于第二对比阈值，则判断所述手势运动数据与所对比的模板手势数据相同。

作为一种实施例，所述手势形态对比的具体实现方式为：

计算模板手势数据与当前手势运动数据同一关节编号的关节旋转角度的差值，得到关节运动偏差数据；

若某一关节的关节运动偏差数据的值大于第三对比阈值，则当前手势运动数据与所对比的手势的手势形态不同；

若所有关节的关节运动偏差数据的值均小于第三对比阈值，但所有关节的关节运动偏差数据之和大于第四对比阈值，则当前手势运动数据与所对比的手势的手势形态不同；

若所有关节的关节运动偏差数据的值均小于第三对比阈值，且所有关节的关节运动偏差数据之和小于第四对比阈值，则当前手势运动数据与所对比的手势的手势形态相同。

作为一种实施例，所述路径对比的具体实现方式为：

遍历所述动态模板手势数组，逐一判断当前手势运动数据是否和动态模板手势数组中的某个动态手势元素所包含的路径数据相同，具体判断方法为：

（1）设置索引index（表示要与所对比的路径数据中第index个点做对比）；

（2）计算当前手势运动数据中的腕关节点坐标与所对比路径数据中第index个点和第index+N个点的位置偏移量（N为预设路径对比范围）；

当所述位置偏移量小于第一预设偏移范围，则将index增加；

当所述位置偏移量大于第一预设偏移范围，判断为路径不同，识别失败，index重置为0；

当index与所对比的路径数据的总长度差值小于第二预设偏移范围，则判断为路径相同。

作为一种实施例，所述路径数据按照预设采样频率进行坐标采样得到，如采样频率为200/毫秒，则每隔200ms记录一下当前腕关节的坐标，整个运动过程所记录的所有腕关节的坐标组成对应的路径数据。

作为一种实施例，针对所述手势识别模块所采集的任一手势运动数据，采用以下方式实现手势识别：

步骤1、通过手势识别模块获得当前的手势运动数据，并判断当前的手势类型；

所述手势类型包括静态手势及动态手势；

步骤2、若当前的手势类型为动态手势，则将所述手势运动数据与所述动态模板手势数组进行动态手势对比识别，得到动态手势识别结果；

若当前的手势类型为静态手势，则将所述手势运动数据与所述静态模板手势数组进行静态手势对比识别，得到静态手势识别结果。

作为一种实施例，本发明所述方法可在软件和/或软件与硬件的组合体中被实施，例如，可采用专用集成电路(ASIC)、通用计算机或任何其他类似硬件设备来实现。

本发明所述的方法可以软件程序的形式实施，所述软件程序可以通过处理器执行以实现上文所述步骤或功能。同样地，所述软件程序(包括相关的数据结构)可以被存储到计算机可读记录介质中，例如，RAM存储器，磁或光驱动器或软磁盘及类似设备。

另外，本发明所述方法的一些步骤或功能可采用硬件来实现，例如，作为与处理器配合从而执行各个步骤或功能的电路。

另外，本发明所述的方法的一部分可被应用为计算机程序产品，例如计算机程序指令，当其被计算机执行时，通过该计算机的操作，可以调用或提供根据本申请的方法和/或技术方案。而调用本发明所述方法的程序指令，可被存储在固定的或可移动的记录介质中，和/或通过广播或其他信号承载媒体中的数据流而被传输，和/或被存储在根据所述程序指令运行的计算机设备的工作存储器中。

作为一种实施例，本发明还提供一个装置，该装置包括用于存储计算机程序指令的存储器和用于执行程序指令的处理器，其中，当该计算机程序指令被该处理器执行时，触发该装置运行基于前述的多个实施例的方法和/或技术方案。

需要说明的是，对于前述的各方法实施例，为了简单描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本申请并不受所描述的动作顺序的限制，因为依据本申请，某些步骤可以采用其他顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于可选实施例，所涉及的动作和模块并不一定是本申请所必须的。

最后，需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者终端设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者终端设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者终端设备中还存在另外的相同要素。

以上所述，仅是本发明的较佳实施例而已，并非对本发明作任何形式上的限制，虽然本发明已以较佳实施例揭露如上，然而并非用以限定本发明,任何熟悉本专业的技术人员，在不脱离本发明技术方案范围内,当可利用上述揭示的技术内容作出些许更动或修饰为等同变化的等效实施例,但凡是未脱离本发明技术方案的内容，依据本发明的技术实质对以上实施例所作的任何简单修改、等同变化与修饰，均仍属于本发明技术方案的范围内。

Claims (8)

1.一种VR手势识别方法，其特征在于，

所述方法包括动态手势对比识别步骤，所述动态手势对比识别步骤包括：

步骤b1、获取手势运动数据及当前识别状态；

步骤b2、判断所述当前识别状态是否为对比识别中间状态；若所述当前识别状态不为对比识别中间状态，则执行步骤b3；否则执行步骤b4；

步骤b3、将动态模板手势数组中的每一模板手势数据逐一与当前手势运动数据进行手势形态对比；若手势形态对比结果相同，则执行步骤b31；

步骤b31、将所述当前识别状态修改为对比识别中间状态，同时创建手势路径数组并将当前手势运动数据中的腕关节点坐标添加至所述手势路径数组中，返回步骤b1；

步骤b4、判断当前手势是否处于识别开始状态；若处于识别开始状态，则将当前手势运动数据中的腕关节点坐标添加至所述手势路径数组中并执行步骤b41；否则将所述当前识别状态修改为非对比识别中间状态，返回步骤b1;

步骤b41、判断当前手势运动数据与识别开始时的手势运动数据的手势形态数据是否一致；若一致则执行步骤b42，否则将当前识别状态修改为非对比识别中间状态并返回步骤b1；

步骤b42、将所述动态模板手势数组中的每一模板手势数据中的路径数据与当前手势运动数据进行路径对比，得到动态手势对比结果。

2.根据权利要求1所述的方法，其特征在于，

所述手势形态对比的具体实现方式为：

计算模板手势数据与当前手势运动数据同一关节编号的关节旋转角度的差值，得到关节运动偏差数据；

若所有关节的关节运动偏差数据的值均小于第三对比阈值，且所有关节的关节运动偏差数据之和小于第四对比阈值，则当前手势运动数据与所对比的手势的手势形态相同。

3.根据权利要求1所述的方法，其特征在于，

所述路径对比的具体实现方式为：

遍历所述动态模板手势数组，逐一判断当前手势运动数据是否和动态模板手势数组中的某个动态手势元素所包含的路经数据相同，具体判断方法为：

设置索引index；

计算当前手势运动数据中的腕关节点坐标与所对比路径数据中第index个点和第index+N个点的位置偏移量，其中N为预设路径对比范围；

当所述位置偏移量小于第一预设偏移范围，则将index增加；

当所述位置偏移量大于第一预设偏移范围，判断为路径不同，识别失败，index重置为0；

当index与所对比的路经数据的总长度差值小于第二预设偏移范围，则判断为路径相同。

4.根据权利要求1所述的方法，其特征在于，

所述方法还包括静态手势对比识别步骤，所述静态手势对比识别步骤包括：

步骤a1、获取手势运动数据；

步骤a2、将静态模板手势数组中的每一模板手势数据逐一与所述手势运动数据进行静态手势对比，得到静态手势对比结果。

5.根据权利要求4所述的方法，其特征在于，

所述静态手势对比的具体实现方式为：

计算模板手势数据与手势运动数据同一关节编号的关节旋转角度的差值，得到关节运动偏差数据；

若所述关节运动偏差数据大于第一对比阈值，则判断所述手势运动数据与所对比的模板手势数据不相同；

若所有关节的关节运动偏差数据的均小于所述第一对比阈值，但所有关节的关节运动偏差数据之和大于第二对比阈值，则判断所述手势运动数据与所对比的模板手势数据不相同；

若所有关节的关节运动偏差数据的均小于所述第一对比阈值，且所有关节的关节运动偏差数据之和小于第二对比阈值，则判断所述手势运动数据与所对比的模板手势数据相同。

6.根据权利要求1所述的方法，其特征在于，

所述动态手势对比识别步骤还包括：

步骤b5、若所述动态手势对比结果为对比成功，则输出对比成功的动态模板手势数据，所述动态模板手势数据为动态手势的模板手势数据；若所述动态手势对比结果为对比失败，则退出程序。

7.一种VR手势识别装置，其特征在于，

所述装置由手势识别模块、手势录入模块、手势存储模块、手势编解码模块组成；

所述手势识别模块用于实时获取手势运动数据以及进行动态手势对比识别，所述动态手势对比识别采用权利要求1所述的VR手势识别方法；

所述手势录入模块用于录入模板手势数据；

所述手势存储模块为用于存储模板手势数据的数据库；

所述手势编解码模块用于将手势运动数据进行编码，以及对已编码的模板手势数据解码为手势运动数据。

8.根据权利要求7所述的VR手势识别装置，其特征在于，

所述手势识别模块还可调用手势编解码模块对所获取的手势运动数据进行手势编码；

所述手势录入模块将所录入的模板手势数据存储至所述手势存储模块中。

Images