CN105975072A

CN105975072A - 识别手势动作的方法、装置及系统

Info

Publication number: CN105975072A
Application number: CN201610282393.9A
Authority: CN
Inventors: 张运龙; 贾旭
Original assignee: Leshi Zhixin Electronic Technology Tianjin Co Ltd; LeTV Holding Beijing Co Ltd
Current assignee: Leshi Zhixin Electronic Technology Tianjin Co Ltd; LeTV Holding Beijing Co Ltd
Priority date: 2016-04-29
Filing date: 2016-04-29
Publication date: 2016-09-28

Abstract

本发明公开了一种识别手势动作的方法、装置及系统，涉及电通信技术领域，为解决用户沉浸感低的问题而发明。本发明的方法包括：接收手部信息，所述手部信息为手柄发送的手部动作信息；比对所述手部信息与手势动作数据库中的手势动作信息，所述手势动作数据库中记录手部信息对应的手势动作；根据比对结果，识别所述手部信息的手势动作。本发明主要应用于手势识别的过程中。

Description

识别手势动作的方法、装置及系统

技术领域

本发明实施例涉及电通信技术领域，尤其涉及一种识别手势动作的方法、装置及系统。

背景技术

VR(Virtual Reality，虚拟现实)，是综合利用计算机图形系统和各种现实及控制等接口设备，生成地可交互地三维环境，提供沉浸感觉的技术。虚拟现实技术是一种可以创建和体验虚拟世界的仿真系统，它利用多源信息融合的交互式三维动态视景和实体行为的系统仿真使用户沉浸到该环境中。VR游戏，可以通过VR技术使得游戏视角随用户视角的改变而改变，提高了用户的参与度，增加了游戏的真实感，提高了游戏的趣味性。

现有技术中，进行VR游戏的操作时，一般通过按动手柄上的按键或摇杆执行游戏中的操作，例如抓握、开枪等。这种操作方式与用户在真实环境中执行相应操作的动作并不一致，游戏操作的真实性较差。进行VR游戏时，利用虚拟显示设备将人的对外界的视觉、听觉封闭，引导用户产生一种身在虚拟环境中的感觉，用户不易对手柄及手柄按键进行定位，容易造成误操作。所以使用现有的VR手柄，不能使用户完全沉浸在虚拟现实中，降低用户的沉浸感。

发明内容

本发明实施例提供一种识别手势动作的方法、装置及系统，用以解决用户沉浸感低的问题。

为了解决上述技术问题，一方面，本发明实施例提供一种识别手势动作的方法，该方法包括：

接收手部信息，所述手部信息为手柄发送的手部动作信息；

比对所述手部信息与手势动作数据库中的手势动作信息，所述手势动作数据库中记录手部信息对应的手势动作；

根据比对结果，识别所述手部信息的手势动作。

另一方面，本发明实施例提供一种识别手势动作的装置，该装置包括：

接收单元，用于接收手部信息，所述手部信息为手柄发送的手部动作信息；

比对单元，用于比对所述手部信息与手势动作数据库中的手势动作信息，所述手势动作数据库中记录手部信息对应的手势动作；

识别单元，用于根据比对结果，识别所述手部信息的手势动作。

再一方面，本发明实施例提供一种识别手势动作的系统，该系统包括：虚拟现实VR设备和手柄；

所述手柄，用于获取手部信息，并将所述手部信息发送至所述VR设备；

所述VR设备，用于接收所述手部信息；比对所述手部信息与手势动作数据库中的手势动作信息，根据比对结果，识别所述手部信息的手势动作。

本发明实施例提供的识别手势动作的方法、装置及系统，通过接收手部信息，比对手部信息与手势动作数据库中的手势动作信息，根据比对结果识别手部信息的手势动作。与现有技术相比，本发明实施例能够识别手部信息的手势动作，用户控制VR游戏时，不需要在对手柄按键定位，也不需要考虑按键对应的功能，通过用户的手势动作即可实现对游戏的控制，而且用户对VR游戏的控制在虚拟现实中的操作与实际操作相同，用户不需要跳出虚拟现实，考虑实际操作与虚拟现实操作的对应关系，所以能提高用户的沉浸感。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例提供的一种识别手势动作的方法流程图；

图2为本发明实施例提供的另一种识别手势动作的方法流程图；

图3为本发明实施例提供的一种识别手势动作的装置组成框图；

图4为本发明实施例提供的另一种识别手势动作的装置组成框图；

图5为本发明实施例提供的一种识别手势动作的系统组成框图；

图6为本发明实施例提供的一种识别手势动作的装置结构示意图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本发明实施例提供了一种识别手势动作的方法，如图1所示，该方法包括：

101、接收手部信息。

手部信息为手柄发送的手部动作信息，其中手部信息包括实际手势需要动作的手指及手掌信息。通常在手部无操作自然放松时，手指半弯，手掌与手指呈现半握拳状态，以手部自然放松状态为初始状态。以打招呼为例说明手部信息的包含内容，打招呼的手势为五指伸直、手掌伸平，指尖向上，以腕关节为轴左右晃动，从手部自然放松状态到打招呼的状态，手指和手掌均需动作，所以需要接收手指及手掌信息以反映实际手势。

在虚拟现实中，通过识别人的肢体动作，实现佩戴VR设备的用户与虚拟现实的交互。对于肢体动作，可以通过视频动作捕捉技术识别，但是视频动作捕捉技术的实现必须以摄像头和用户之间无遮挡，才实现对肢体动作的识别。而对于手势动作，易被遮挡肢体部分，无法通过视频动作捕捉技术有效识别，所以通过手柄，可以接收全部的手部信息，以便更准确地识别用户的手势动作。

102、比对手部信息与手势动作数据库中的手势动作信息。

手势动作数据库中记录手部信息对应的手势动作。手势动作数据库是预先设置的，根据统计手部信息与实际手势动作的对应关系，记录到手势动作数据库中。通过手势动作数据库，快速地搜索手部信息对应的手势动作信息。

由于手部信息包括手指信息与手掌信息，在比对手部信息与手势动作信息时，可以根据不同手指的使用频率不同，按照顺序比对。使用频率最小的手指信息，减小手指动作信息的搜索范围，以便提高搜索效率。在比对手部信息与手势动作信息时，可以先根据手掌信息进行筛选，减小搜索范围，再根据手指信息进一步比对手势动作信息。在本实施例中，对比对手部信息与手势动作数据库中的手势动作信息的比对方式不做限定。

103、根据比对结果，识别手部信息的手势动作。

识别手部信息的手势动作，是对实际手势的识别。接收通过手柄上传感器获取的手部信息，进而识别手部信息的手势动作，使得虚拟现实与现实中的操作相同，给用户操作提供极大的便利，同时提高用户的沉浸感。

本发明实施例提供的识别手势动作的方法，通过接收手部信息，比对手部信息与手势动作数据库中的手势动作信息，根据比对结果识别手部信息的手势动作。与现有技术相比，本发明实施例能够识别手部信息的手势动作，用户控制VR游戏时，不需要在对手柄按键定位，也不需要考虑按键对应的功能，通过用户的手势动作即可实现对游戏的控制，而且用户对VR游戏的控制在虚拟现实中的操作与实际操作相同，用户不需要跳出虚拟现实，考虑实际操作与虚拟现实操作的对应关系，所以能提高用户的沉浸感。

进一步地，作为图1所示方法的细化，本发明实施例还提供了另一种识别手势动作的方法，如图2所示，该方法包括：

201、接收手部信息。

手部信息为手柄发送的手部动作信息。根据手柄上设置的传感器的不同，接收手部信息，包括：接收所述手部相对于手柄的移动信息；和/或，接收所述手部对手柄的压力信息。接收所述手部的空间位置移动信息。

手部相对于手柄的移动信息，是指手部与手柄的距离。如果用户手部从自然放松状态的手指与手掌成半握拳状态，改变至竖起大拇指其余四指弯曲的赞手势，那么手部相对于手柄的移动信息包括拇指远离原拇指位置，其余四指更加贴近手柄。

手部对手柄的压力信息，是指手部对手柄的施加的压力。在进行VR游戏时，由于有实物手柄的存在，在同一个手势下，根据不同压力值，进一步判断实际手势。示例性的，对于握拳动作，由于存在实物手柄，所以在握拳时无法紧握，所以根据手柄的压力信息的不同，判断握拳动作为紧握与半握拳状态。

手部的空间移动信息，是指手部在现实的三维空间的移动信息。在VR游戏中，虽然通过手握手柄控制游戏操作，但是也存在手臂的动作，所以需要对手部的空间位置进行定位。示例性的，如果VR游戏中，设置与人打招呼，与人打招呼的手部动作，包括五指伸直、手掌伸平，指尖向上，以腕关节为轴左右晃动。但是手部的空间位置，可以是在胸前位置、与头部平行位置，高于头顶位置，根据实际情况的不同，同样是打招呼手部的空间位置不同。所以需要通过手部的空间移动信息，具体的判定手势动作。

202、建立手部动作与手势的对应关系模型。

手部动作与手势，是存在一定对应关系，通过手部信息与手势之间的关系，建立关系模型。对应关系模型，根据不同地区、不同性别、不同年龄段的手势表达方式不同建立得出。在本实施例中，对对应关系模型的建立方式不做限定。

203、根据对应关系模型，生成手势动作数据库。

手势动作数据库，是手部信息与手势动作信息对应的数据库。在手势动作数据库中可以查找到手部信息对应的手势动作信息。

204、比对手部信息与手势动作数据库中的手势动作信息。

本步骤与图1所述步骤102所述的方法相同，这里不在赘述。

205、根据比对结果，识别手部信息的手势动作。

本步骤与图1所述步骤103所述的方法相同，这里不在赘述。

206a、根据手部的空间位置移动信息，识别手势动作的位置。

根据接收到的手部的空间位置移动信息，可以确定手部的位置，随着手部位置的改变，对应的用户的手臂位置也会发生改变，为了使虚拟现实和现实动作无差别，则通过手部位置与用户佩戴VR设备的位置，共同判断手臂姿势。手臂姿势要符合人体生物学的规则，以使得虚拟现实中的人物更加逼真，以增加用户的沉浸感。

本实施例与步骤206a并列的步骤206b、根据手势动作，生成模拟手势动作的图像信息。

将手势动作的数字信息，转换成模拟手势动作的图像信息，使得用户的操作与虚拟现实中显示的操作一致，以增加用户的沉浸感。模拟手势动作的图像信息，在VR设备中显示，用户可以观看到。模拟手势动作的图像信息，可以根据虚拟现实中用户的视觉角度，全部或部分显示模拟手势动作的图像。示例性的，一个射击游戏，在射击时用户将枪举到与眼睛平行的位置，那么在视线范围内，只有拇指、食指和部分手掌，那么在显示时只显示视线范围内能看到的图像信息。

本实施例与步骤206b并列的步骤206c、生成手势动作的控制信息。

以手势动作代替手柄按键的控制信息，那么不同的手势则代表不同的控制信息。在识别手势动作之后，还要生成手势动作的控制信息，以控制信息控制游戏中的操作，以实现代替手柄的功能。不同地区，同一个手势可能会存在不同的含义，所以在通过手势动作生成控制信息时，根据不同的信息做区分，以使得手势动作的控制信息，更符合用户的主观认知，提高用户的沉浸感。

进一步地，作为图1和图2中任意一图所示方法的实现，本发明另一实施例还提供了一种识别手势动作的装置。本装置实施例与前述方法实施例对应，能够实现前述方法实施例中的全部内容。为便于阅读，本装置实施例仅对前述方法实施例中的内容进行概要性描述，不对方法实施例中的细节内容进行逐一赘述。如图3所示该装置包括接收单元31、比对单元32、以及识别单元33。其中，

接收单元31，用于接收手部信息，手部信息为手柄发送的手部动作信息；

比对单元32，用于比对手部信息与手势动作数据库中的手势动作信息，手势动作数据库中记录手部信息对应的手势动作；

识别单元33，用于根据比对结果，识别手部信息的手势动作。

进一步地，如图4所示，接收单元31，包括：

接收模块311，用于接收手部相对于手柄的移动信息；和/或，

接收模块311，还用于接收手部对手柄的压力信息。

进一步地，如图4所示，接收单元，包括：

接收模块311，还用于接收手部的空间位置移动信息；

如图4所示，该装置还包括：

识别位置单元34，用于在识别手部信息的手势动作之后，根据手部的空间位置移动信息，识别手势动作的位置。

进一步地，如图4所示，该装置包括：

建立单元35，用于在比对手部信息与手势动作数据库中的信息之前，建立手部动作与手势的对应关系模型；

第一生成单元36，用于根据对应关系模型，生成手势动作数据库。

进一步地，如图4所示，该装置包括：

第二生成单元37，用于在识别手部信息的手势动作之后，根据手势动作，生成模拟手势动作的图像信息。

进一步地，如图4所示，该装置包括：

第二生成单元37，还用于在识别手部信息的手势动作之后，生成手势动作的控制信息。

进一步地，作为对图1和图2中任意一图所示方法的实现，本发明另一实施例还提供了一种识别手势动作的系统。本系统实施例与前述方法实施例对应，能够实现前述方法实施例中的全部内容。为便于阅读，本系统实施例仅对前述方法实施例中的内容进行概要性描述，不对方法实施例中的细节内容进行逐一赘述。如图5所示，该系统包括：手柄51和VR设备52。具体的：

手柄51，用于获取手部信息，并将手部信息发送至VR设备；

VR设备52，用于接收手部信息；比对手部信息与手势动作数据库中的手势动作信息，根据比对结果，识别手部信息的手势动作。

进一步地，如图5所示，手柄51，还用于通过传感器获取手部信息。

进一步地，通过传感器获取手部信息，包括：

通过距离感应器，获取手部相对于手柄的移动信息；和/或，

通过压力传感器，获取手部对手柄的压力信息；和/或，

通过三维空间跟踪定位器，获取手部的空间位置移动信息。

本发明实施例提供的识别手势动作的装置及系统，通过接收手部信息，比对手部信息与手势动作数据库中的手势动作信息，根据比对结果识别手部信息的手势动作。与现有技术相比，本发明实施例能够识别手部信息的手势动作，用户控制VR游戏时，不需要在对手柄按键定位，也不需要考虑按键对应的功能，通过用户的手势动作即可实现对游戏的控制，而且用户对VR游戏的控制在虚拟现实中的操作与实际操作相同，用户不需要跳出虚拟现实，考虑实际操作与虚拟现实操作的对应关系，所以能提高用户的沉浸感。

需要说明的是，针对上述识别手势动作的装置，凡是本发明实施例中使用到的各个单元模块的功能都可以通过硬件处理器(hardware processor)来实现。

示例性的，如图6所示，图6示出了本发明实施例提供的一种识别手势动作的装置实体结构示意图，该装置可以包括：处理器(processor)61、通信接口(Communications Interface)62、存储器(memory)63和总线64，其中，处理器61、通信接口62、存储器63通过总线64完成相互间的通信。通信接口62可以用于服务器与客户端之间的信息传输。处理器61可以调用存储器63中的逻辑指令，以执行如下方法：接收手部信息，所述手部信息为手柄发送的手部动作信息；比对所述手部信息与手势动作数据库中的手势动作信息，所述手势动作数据库中记录手部信息对应的手势动作；根据比对结果，识别所述手部信息的手势动作。

此外，上述的存储器63中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。

以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。

最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims

1.一种识别手势动作的方法，其特征在于，所述方法包括：

接收手部信息，所述手部信息为手柄发送的手部动作信息；

根据比对结果，识别所述手部信息的手势动作。

2.根据权利要求1所述的方法，其特征在于，所述接收手部信息，包括：

接收所述手部相对于手柄的移动信息；和/或，

接收所述手部对手柄的压力信息。

3.根据权利要求1所述的方法，其特征在于，所述接收手部信息，包括：

接收所述手部的空间位置移动信息；

在所述识别所述手部信息的手势动作之后，所述方法还包括：

根据所述手部的空间位置移动信息，识别所述手势动作的位置。

4.根据权利要求1所述的方法，其特征在于，在所述比对所述手部信息与手势动作数据库中的信息之前，所述方法包括：

建立手部动作与手势的对应关系模型；

根据所述对应关系模型，生成所述手势动作数据库。

5.根据权利要求1所述的方法，其特征在于，在所述识别所述手部信息的手势动作之后，所述方法包括：

根据所述手势动作，生成模拟手势动作的图像信息。

6.根据权利要求1所述的方法，其特征在于，在所述识别所述手部信息的手势动作之后，所述方法包括：

生成所述手势动作的控制信息。

7.一种识别手势动作的装置，其特征在于，所述装置包括：

8.根据权利要求7所述的装置，其特征在于，所述接收单元，包括：

接收模块，用于接收所述手部相对于手柄的移动信息；和/或，

所述接收模块，还用于接收所述手部对手柄的压力信息。

9.根据权利要求7所述的装置，其特征在于，所述接收单元，包括：

所述接收模块，还用于接收所述手部的空间位置移动信息；

所述装置还包括：

识别位置单元，用于在所述识别所述手部信息的手势动作之后，根据所述手部的空间位置移动信息，识别所述手势动作的位置。

10.根据权利要求7所述的装置，其特征在于，所述装置包括：

建立单元，用于在所述比对所述手部信息与手势动作数据库中的信息之前，建立手部动作与手势的对应关系模型；

第一生成单元，用于根据所述对应关系模型，生成所述手势动作数据库。

11.根据权利要求7所述的装置，其特征在于，所述装置包括：

第二生成单元，用于在所述识别所述手部信息的手势动作之后，根据所述手势动作，生成模拟手势动作的图像信息。

12.根据权利要求7所述的装置，其特征在于，所述装置包括：

所述第二生成单元，还用于在所述识别所述手部信息的手势动作之后，生成所述手势动作的控制信息。

13.一种识别手势动作的系统，其特征在于，所述系统包括虚拟现实VR设备和手柄；

14.根据权利要求13所述的系统，其特征在于，所述手柄，还用于通过传感器获取所述手部信息。

15.根据权利要求14所述的系统，其特征在于，所述通过传感器获取所述手部信息，包括：

通过距离感应器，获取所述手部相对于手柄的移动信息；和/或，

通过压力传感器，获取所述手部对手柄的压力信息；和/或，

通过三维空间跟踪定位器，获取所述手部的空间位置移动信息。