CN211979681U - 一种多区域多分类可扩展手势识别控制装置 - Google Patents

Abstract

本实用新型提出一种多区域多分类可扩展手势识别控制装置，所述装置包括中控、图像采集模块、手势识别模块、数据传输模块和用户交互终端模块；所述中控控制图像采集模块调整参数保证图像清晰、亮度合理。采集到的图像输入给手势识别模块，经分析得到手的位置、姿态、运动速度、加速度、角加速度、预定义手势种类、特征向量等信息。根据上述信息，生成手势命令，通过数据传输模块发送至受控设备。用户交互终端提供了一种扩展本实用新型所述控制装置功能的方式。本实用新型提出的手势识别控制装置直接为受控设备提供可以使用的控制信号，扩展性强，检测准确、控制灵敏，集成度高、体积小、功耗低，使用方式灵活，可为用户提供自然，舒适的体验。

Description

一种多区域多分类可扩展手势识别控制装置

技术领域

本实用新型属于手势识别控制技术领域，特别是涉及一种多区域多分类可扩展手势识别控制装置。

背景技术

近年来体感交互越来越流行，手势识别技术得到了大量应用。与传统的按键交互相比，手势控制具有灵活多样的优点，可以定义远超于实体按键的信号，更加方便用户的使用，令交互更加自然。手势识别控制器在辅助驾驶，智能家居，电玩游戏领域已经得到了很多应用，如用手势控制汽车的前进后退，控制家用电器的开关，控制3D游戏等。很多手势控制器都利用摄像头采集手势信息。图像采集方面既有单目摄像头的方案，双目摄像头的方案，还出现了阵列摄像头的方案；有的手势控制器使用RGB摄像头，操作范围广，但容易受背景的影响；有的控制器使用红外摄像头，排除了背景的影响，但操作范围较小。手势控制器识别的内容包括如下几类：定义几种手势，进行分类；检测手部在挥动的动作。控制器的原理包括：利用特征点识别手势；利用HOG及机器学习分类器进行手势分类；利用神经网络检测手部，并判断手势类别等。

现有的手势识别控制器基于手势分类，动作分类等原理。一部分手势控制器，只是手势分类，每种手势对应一个控制信号；还有一些手势控制器则是识别手部的简单动作，如手从右至左平移，从前至后平移等运动，每一种运动对应一个控制信号。不论以上哪种情况，都只能提供很少的几个信号，低估了手势识别的潜力，这也导致目前的手势识别控制器只能应用在简单的交互场景。

实用新型内容

本实用新型目的是为了解决现有技术中的问题，提出了一种多区域多分类可扩展手势识别控制装置。本实用新型所述手势识别控制装置，能够从手势分类，手部位置，手部姿态，运动速度、加速度、角加速度、特征向量等多个方面提取手势信息，并合理地组合应用，使手部动作提供更多的交互信号，从而使手势识别控制装置可以在更为综合，更为复杂的交互场景下得到应用。

本实用新型是通过以下技术方案实现的，本实用新型提出一种多区域多分类可扩展手势识别控制装置，所述装置包括中控、图像采集模块、手势识别模块、数据传输模块和用户交互终端模块；所述中控负责控制图像采集模块、手势识别模块和数据传输模块的工作；

所述图像采集模块用于采集视频图像信息，所述手势识别模块用于识别出视频图像中的目标手势，所述中控对识别出的目标手势进行处理解析，得到手势命令，并将所述手势命令通过数据传输模块发送至受控设备，所述受控设备执行相应的操作并返回设备运行状态结果；预定义10种以上的手势作为目标手势；用户通过所述用户交互终端模块配置自定义的解析方式；

所述中控包括离散解析器和连续解析器，所述离散解析器用于将用户手势操作区进行区域分割，所述手势在不同区域内时会触发不同的功能，从而能够根据同一手势解析得到多个不同的独立的交互信号；所述连续解析器用于从手势信息中提取连续变量并传入连续变量计算函数，计算结果便可以映射到受控设备所需的取值范围，实现用手势来表达连续变量，从而得到连续的交互信号；所述中控将得到的交互信号与受控设备的控制信号进行匹配从而得到手势命令。

进一步地，所述目标手势的手势信息包括手部位置、姿态、运动速度、加速度、角加速度、预定义手势种类和特征向量。

进一步地，所述图像采集模块使用单目摄像头采集视频图像信息。

进一步地，所述目标手势包括握拳、伸出拇指、伸出拇指+食指、伸出拇指+食指+中指、伸出食指、伸出食指+中指、ok手势、伸出拇指+食指+小指、伸出食指+小指、伸出拇指+小指、五指张开和四指张开。

进一步地，所述数据传输模块的通信方式包括WiFi、蓝牙、Zigbee及串口通信。

进一步地，所述用户手势操作区包括左手操作区和右手操作区。

本实用新型带来的有益效果：

1、手势控制装置使交互不必与硬件接触，干净卫生，不会造成公共场所交叉感染；

2、手势的灵活性高，变化丰富，可以为受控设备提供更多的信号；

3、手势控制装置仅需为摄像头留出通光孔即可进行交互，可隐藏于受控设备体内，保持设备整体外观简洁美观，也可作为受控设备外设安装，结构灵活；

4、手势控制装置体积小、功耗低、集成度高；

5、手势控制装置功能扩展性强。

附图说明

图1为本实用新型所述的多区域多分类可扩展手势识别控制装置的总体组成框图；

图2为本实用新型所述的多区域多分类可扩展手势识别控制方法的流程图；

图3为预定义手势示意图；

图4为手势操作区分割方案示意图；

图5为手势操作区参考系示意图。

具体实施方式

下面将结合本实用新型实施例中的附图对本实用新型实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本实用新型一部分实施例，而不是全部的实施例。基于本实用新型中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本实用新型保护的范围。

结合图1，本实用新型提出一种多区域多分类可扩展手势识别控制装置，涉及智能交互领域，所述装置包括中控、图像采集模块、手势识别模块、数据传输模块和用户交互终端模块；所述中控负责控制图像采集模块、手势识别模块和数据传输模块的工作；

所述图像采集模块用于采集视频图像信息，所述手势识别模块用于识别出视频图像中的目标手势，所述中控对识别出的目标手势进行处理解析，得到手势命令，并将所述手势命令通过数据传输模块发送至受控设备，所述受控设备执行相应的操作并返回设备运行状态结果；预定义10种以上的手势作为目标手势；用户通过所述用户交互终端模块配置自定义的解析方式；

所述中控包括离散解析器和连续解析器，所述离散解析器用于将用户手势操作区进行区域分割，所述手势在不同区域内时会触发不同的功能，从而能够根据同一手势解析得到多个不同的独立的交互信号；所述连续解析器用于从手势信息中提取连续变量并传入连续变量计算函数，计算结果便可以映射到受控设备所需的取值范围，实现用手势来表达连续变量，从而得到连续的交互信号；所述中控将得到的交互信号与受控设备的控制信号进行匹配从而得到手势命令。

所述目标手势的手势信息包括手部位置、姿态、运动速度、加速度、角加速度、预定义手势种类和特征向量。

所述图像采集模块使用单目摄像头采集视频图像信息，需要根据环境光线，以及手势采集任务的变化更换采集策略，具备调整帧率，自动曝光等功能。

所述手势识别模块具有很强的扩展性。基本组成包括：

1)检测手的基本信息。从图像数据中识别出手的位置坐标，6自由度姿态，运动速度，加速度，角加速度，特征向量等信息。

2)手势分类。预定义10种以上的手势作为目标手势，图3中给出了推荐手势，图3中以从右手手背方向观察为例，展示了12种预定义手势，本实用新型目标手势包括但不限于这几种手势。如图3所示，所述目标手势包括图3中a握拳、b伸出拇指、c伸出拇指+食指、d伸出拇指+食指+中指、e伸出食指、f伸出食指+中指、gok手势、h伸出拇指+食指+小指、i伸出食指+小指、j伸出拇指+小指、k五指张开和l四指张开。手势识别模块在识别预定义手势时并不限制手势处于与图像采集装置正交的姿态。手势识别模块可以在手以任何角度，任何位姿出现在用户手势操作区时识别出目标手势。所述手势识别模块可以使用机器学习，神经网络等算法识别手势。

所述数据传输模块的通信方式包括WiFi、蓝牙、Zigbee及串口通信。

所述中控控制图像采集模块调整参数保证图像清晰、亮度合理。采集到的图像输入给手势识别模块，经分析得到手的位置、姿态、预定义手势种类、运动速度、加速度等信息。根据上述信息，生成手势命令，通过数据传输模块发送至受控设备。用户交互终端提供了一种扩展本实用新型所述控制装置功能的方式。本实用新型所述控制装置能够识别用户手部位置，姿态，运动速度、加速度、角加速度，特征向量，并识别超过10种预定义手势。将以上信息组合使用，结合用户手势操作区的区域分割方案、视场内参考系，可以提供丰富的交互信号。视场内参考系定义如下：选定摄像头前方一定距离的平面为操作平面，操作平面与摄像头轴线垂直，摄像头轴线与操作平面交点为原点。本实用新型所述控制装置具有很高的扩展性，用户可以根据需要将所述控制装置的交互信号与控制信号进行匹配。该控制装置可以应用在智能交互，工业控制，智能家居，电玩游戏等多种领域。本实用新型提出的手势识别控制装置直接为受控设备提供可以使用的控制信号，扩展性强，检测准确、控制灵敏，集成度高、体积小、功耗低，使用方式灵活，可为用户提供自然，舒适的体验。

结合图2，本实用新型还提出一种多区域多分类可扩展手势识别控制方法，中控负责控制图像采集模块、手势识别模块和数据传输模块的工作；预定义10种以上的手势作为目标手势；用户通过用户交互终端模块配置自定义的解析方式；用户交互终端用于扩展手势识别控制装置的功能，可以为控制装置增删交互信号；

步骤1、图像采集模块采集视频图像信息；

步骤2、手势识别模块识别出视频图像中的目标手势；

步骤3、中控对识别出的目标手势进行处理解析，得到手势命令，并将所述手势命令通过数据传输模块发送至受控设备；

步骤4、所述受控设备执行相应的操作并返回设备运行状态结果；

在步骤3中，所述中控包括离散解析器和连续解析器，所述离散解析器用于将用户手势操作区进行区域分割，所述手势在不同区域内时会触发不同的功能，使手势变化出多种信号，从而能够根据同一手势解析得到多个不同的独立的交互信号；所述连续解析器用于从手势信息中提取连续变量并传入连续变量计算函数，计算结果便可以映射到受控设备所需的取值范围，实现用手势来表达连续变量，从而得到连续的交互信号；所述中控将得到的交互信号与受控设备的控制信号进行匹配从而得到手势命令。

在完成信号匹配后，对交互逻辑进行设计，使整个手势识别控制装置的交互体验更加流畅，更加便于操作。设计多个手势对应同一个控制信号，但是操作难易程度不同，优先级不同，从而满足用户的不同使用需求。

所述手势识别控制装置在出厂时已经有默认的配置，能够将手势信息解析成对应的手势命令；如果默认的解析方式不满足用户的需求，用户能够通过所述用户交互终端模块配置自定义的解析方式，所述自定义的解析方式包括修改区域分割方案、更改信号匹配和改变交互逻辑。所述用户交互终端模块具有强大的扩展性，带来无限可能。

所述手势识别模块能够在手以任何角度，任何位姿出现在用户手势操作区内时识别出目标手势。用户手势操作区是指摄像头视场中能够清晰有效呈现手部姿态的区域。

所述用户手势操作区包括左手操作区和右手操作区。所述左手操作区和右手操作区可交叉重叠，也可以互不交叉，既可独立操控，也可同时操作。

实施例--手势识别控制装置匹配离散量信号的交互(以魂斗罗游戏为例)

结合图4，本实施例中，采用本实用新型提出的多区域多分类可扩展手势识别控制装置对魂斗罗游戏进行控制。

本实施例展示了将区域信息与预定义手势信息的结合在交互方面的应用。左手握拳手势出现在左侧操作区不同区域代表向不同方向的运动信号，即只使用1个手势，就可以得到9个相互独立的信号。手势识别控制装置的机械结构：一个外壳为40mm*30mm*25mm的矩形小盒内，有微型计算机，电池，一个RGB摄像头提供尺寸为320*640尺寸的图像，外壳镶嵌开机按钮，电源线，USB接口，状态指示灯等结构，外壳底部装有吸盘，可以将所述手势识别控制装置吸附于光滑物体表面。使用时，将控制装置放置在茶几上，人手在装置上方进行操作，合理配置装置的高度，使有效的手势操作区尺寸达到400mm*800mm。与电子游戏机相连，打开开机键，用户在操作区内使用各种手势控制游戏。

手势使用的规则以及手势识别控制装置发出的信号如表1所示。为了提高手势交互的便利性，对相同信号设计了优先级不同的交互方式。优先级从0--2依次降低。优先级为0的操作，仅需要通过手势控制即可，匹配为停止运动，停止功能键等重要操作，对用户移动区域准确性的要求降低；优先级为1的操作为快捷操作，大部分靠预定义手势来控制信号，放松了对位置准确性的要求；优先级为2的操作，为基本操作，手势的变化不会很频繁，要求用户通过专心控制手的所在区域来控制信号。

表1手势使用规则

实施例--手势识别控制装置匹配连续变量的交互(以王者荣耀游戏为例)

上个实施例中展示的信号代表的都是离散量，本实施例展示如何用手的位置信息与预定义手势的分类来描述连续量。

本实施例硬件设备与上一实施例基本相同。主要在信号的匹配方面有所不同，如图5所示。将摄像头的视场划分为不同的操作区，然后按照视场内的参考系来解析手势信息。先看图5左手操作区，操作区内绘制了一只左手，手势为伸出食指。通过手势识别控制装置，可以识别出手的位置以及姿态，由此计算出手到操作区原点的距离d，以及手指的倾斜角度α。王者荣耀游戏中左手控制前进方向和前进速度。本实施例中倾角α信号取值范围0--180°，用于控制前进方向；距离d的绝对值匹配运动速度信号，绝对值越大游戏角色移动速度越快；操作手所在的象限决定游戏角色是前进还是后退。在图5的右手操作区内有一只右手，手势为伸出食指，该手势匹配挥砍武器的游戏动作。手势识别控制装置识别出右手运动的运动速度，摆动频率，摆动幅度，并将这些信号匹配给游戏中的出击频率，攻击力强弱等信号。

实施例--一个通用的可扩展手势识别控制装置

本实施例是一个可以扩展的手势识别控制装置，本实施例硬件设备与上述实施例基本相同，由于不同受控设备需要手势识别控制装置输出数量不同的信号，为了使手势识别控制装置兼容更多设备，本实施例为用户提供一个交互软件。故而，本实施例的使用分为两个步骤：1)先通过用户交互软件为受控设备定义交互规则，2)将控制装置与受控设备连接，投入使用。

手势识别模块识别出的原始变量包括：1)操作者手部的像素坐标，6自由度姿态，运动速度，加速度，角加速度。2)12种预定义的手势，如图3所示。双手对称，则相当于24个相互独立的手势。本实施例的用户交互软件，在windows操作系统运行，允许用户自行设计以下交互规则：

1)区域分割方案。对摄像头视场进行区域分割，每一个手势，都会有自己的区域分割方案。例如，如果用户把操作区域划分成9个区域，那么24种预定义手势，就可以对应24x9＝216个相互独立的交互信号。已经可以承担较为复杂的交互任务。

2)添加函数来实现连续变量的表达。最容易表达连续变量的手势信息包括：手掌中心的像素坐标；手掌中心坐标的运动速度；图3e中手势(食指伸出)中食指的角度，角速度等信息。这些变量都可以输入到用户自定义的函数中，用计算结果表达受控设备里的连续变量。

3)信号匹配方案。如果某一受控设备需要100个交互信号，2个连续变量，则从上述提到的交互信号中选出102个进行映射。

4)交互逻辑设计。考虑到用户操作的舒适性，将使用频繁的信号与最舒适的手势进行匹配。

在设置完交互规则后，控制装置才可以与受控设备通信并投入使用。

相关技术术语定义：

摄像头拍摄到的完整的区域称作视场。

将视场选择一块能够清晰完整地看到手的区域定义为用户手势操作区。比如用广角镜头，周边有畸变，所以广角镜头的周边就不会选进用户手势操作区。

用户手势操作区被分割成一个个单元区，每个单元区配合不同的手势，组合成不同的信号。在特殊情况下，如用户将本实用新型所述装置用于模拟手柄操作，会将左手手势相关的单元区集中安排在视场左侧，而右手手势单元区集中安排在视场右侧时，才将视场区分为左手操作区和右手操作区。其他应用场景下，不刻意区分左手操作区和右手操作区。

以上对本实用新型所提出的一种多区域多分类可扩展手势识别控制装置进行了详细介绍，本文中应用了具体个例对本实用新型的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本实用新型的方法及其核心思想；同时，对于本领域的一般技术人员，依据本实用新型的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本实用新型的限制。

Claims (6)

1.一种多区域多分类可扩展手势识别控制装置，其特征在于：所述装置包括中控、图像采集模块、手势识别模块、数据传输模块和用户交互终端模块；所述中控负责控制图像采集模块、手势识别模块和数据传输模块的工作；

所述图像采集模块用于采集视频图像信息，所述手势识别模块用于识别出视频图像中的目标手势，所述中控对识别出的目标手势进行处理解析，得到手势命令，并将所述手势命令通过数据传输模块发送至受控设备，所述受控设备执行相应的操作并返回设备运行状态结果；预定义10种以上的手势作为目标手势；用户通过所述用户交互终端模块配置自定义的解析方式；

所述中控包括离散解析器和连续解析器，所述离散解析器用于将用户手势操作区进行区域分割，所述手势在不同区域内时会触发不同的功能，从而能够根据同一手势解析得到多个不同的独立的交互信号；所述连续解析器用于从手势信息中提取连续变量并传入连续变量计算函数，计算结果便可以映射到受控设备所需的取值范围，实现用手势来表达连续变量，从而得到连续的交互信号；所述中控将得到的交互信号与受控设备的控制信号进行匹配从而得到手势命令。

2.根据权利要求1所述的装置，其特征在于：所述目标手势的手势信息包括手部位置、姿态、运动速度、加速度、角加速度和特征向量。

3.根据权利要求1所述的装置，其特征在于：所述图像采集模块使用单目摄像头采集视频图像信息。

4.根据权利要求1所述的装置，其特征在于：所述目标手势包括握拳、伸出拇指、伸出拇指+食指、伸出拇指+食指+中指、伸出食指、伸出食指+中指、ok手势、伸出拇指+食指+小指、伸出食指+小指、伸出拇指+小指、五指张开和四指张开。

5.根据权利要求1所述的装置，其特征在于：所述数据传输模块的通信方式包括WiFi、蓝牙、Zigbee及串口通信。

6.根据权利要求1所述的装置，其特征在于：所述用户手势操作区包括左手操作区和右手操作区。

Images