CN110347266A - 一种基于机器视觉的空间手势控制装置 - Google Patents

Abstract

本发明提出了一种基于机器视觉的空间手势控制装置，包括主控模块、数据获取模块、数据处理模块和通信模块；四个模块集成一体模块化，所述控制装置基于嵌入式平台搭建，所述主控模块与数据处理模块共用所述控制装置主板上的主控芯片，所述通信模块集成于所述主板上；所述主控模块控制其他各模块的运行，并实时监控其运行状态；数据获取模块通过单目摄像头捕获用户手部图像，并传入数据处理模块；所述数据处理模块分析得到控制命令，并传至通信模块，所述通信模块向受控设备发送控制命令；本发明所述装置，手势识别准确，操作流畅。模块体积小、成本低、集成度高、模块化程度高，既可单独作为硬件系统中控，也可集成于总体平台中，易于搭建及维护。

Description

一种基于机器视觉的空间手势控制装置

技术领域

本发明属于手势控制技术领域，特别是涉及一种基于机器视觉的空间手势控制装置。

背景技术

基于机器视觉的空间手势控制是人机交互方式领域的研究热点之一。目前，基于机器视觉的空间手势控制设备从原理上可分为基于单目成像和基于深度成像两类。其中，基于单目成像的设备通过单目摄像头采集图像，主要利用手部颜色、形状及运动等特征实现空间手势检测及识别。基于深度成像的设备则利用深度摄像头采集图像，可以额外获取手部与摄像头间的距离作为特征，如Kinect控制器等。相比基于单目成像的方法，由于额外引入了深度信息，精度较高，但硬件成本及其对计算平台的要求也较高。此外，部分空间手势识别方案要求使用者穿戴指定设备，如手环、手套等作为辅助。

现阶段，基于机器视觉的空间手势控制设备通常作为附加组件接入控制系统。这些空间手势控制设备大部分将图像采集与数据处理分离，依托于外部计算平台或控制系统主机来处理图像数据。设备整体或因体积过大，或因成本过高，或因对计算平台过于依赖，应用场景普遍受限。市面少有集系统控制、图像采集、数据处理与外部通信四项功能于一体的，集成化、模块化的空间手势控制装置。

目前基于机器视觉的空间手势控制方法中，基于深度成像的方法设备成本普遍偏高，且由于对计算平台有较高要求，设备整体体积偏大。基于单目成像的方法中，多数高精度方法运算量较大，难以流畅运行于嵌入式平台；而适用于嵌入式平台的方法中，大多仅识别简单手部形态及二维移动轨迹，无法提取手部倾斜、旋转等姿态信息。此外，现有空间手势控制设备大多将图像采集与数据处理分离，集成化程度低，在架构上也并未进行模块化设计。

发明内容

本发明目的是为了解决现有技术中的问题，提供了一种基于机器视觉的空间手势控制装置。本发明所述的空间手势控制装置，手势识别准确，操作流畅。模块体积小、成本低、集成度高、模块化程度高，既可单独作为硬件系统中控，也可集成于总体平台中，易于搭建及维护。

本发明是通过以下技术方案实现的，本发明提出一种基于机器视觉的空间手势控制装置，包括主控模块、数据获取模块、数据处理模块和通信模块；所述主控模块、数据获取模块、数据处理模块和通信模块集成一体模块化，所述控制装置基于嵌入式平台搭建，所述主控模块与数据处理模块共用所述控制装置主板上的主控芯片，所述通信模块集成于所述主板上；

所述主控模块控制其他各模块的运行，并实时监控其运行状态；数据获取模块通过单目摄像头捕获用户手部图像，并传入数据处理模块；所述数据处理模块分析得到控制命令，并传至通信模块，所述通信模块向受控设备发送控制命令；

所述数据处理模块用于分析处理捕获到的手部图像并识别对应的空间手势，所述空间手势识别流程具体为：

步骤1、由数据获取模块输入手部图像；

步骤2、在手部图像中检测用户手部；

步骤3、提取手部位姿；

步骤4、根据手部检测结果和位姿提取结果分析得到用户手势控制命令；

步骤5、输出手势控制命令，识别结束。

进一步地，所述数据获取模块直接集成于空间手势控制装置的主板上，或通过USB数据线连接至主板。

进一步地，所述空间手势控制装置能够单独作为设备中控使用或嵌入系统中使用。

进一步地，所述手部检测流程具体为：

步骤2.1、输入手部图像；

步骤2.2、计算手部图像各像素梯度大小及方向，并进行量化，量化值作为新的图像特征；

步骤2.3、将图像梯度量化值与预设模板进行匹配；

步骤2.4、输出检测结果，结束。

进一步地，所述手部位姿提取具体流程为：

步骤3.1、读取检测结果；

步骤3.2、在手部图像中随机选取多组像素对，计算每对像素的差值，所得结果即为新的手部特征；

步骤3.3、将手部像素及步骤3.2所得结果与预设模型进行匹配，与模型相符的像素作为特征点；

步骤3.4、对所得特征点进行分析，获得手掌长度和宽度尺度信息，及手指指向、指间夹角和手掌倾斜角位姿信息；

步骤3.5、输出手部位姿，结束。

进一步地，所述步骤4具体为：

步骤4.1、读取检测及位姿提取结果；

步骤4.2、由检测结果得到手势控制命令类别，由位姿提取结果得到手势控制命令参数；

步骤4.3、得到手势控制命令，结束。

本发明的有益效果：

1、本发明所述的空间手势控制装置采用单目摄像头采集用户手部图像；

2、本发明所述的空间手势控制装置采用嵌入式平台搭建；

3、本发明所述的空间手势控制装置不仅能够检测手部形状，还可以提取手部位姿；

4、手势识别准确，操作流畅；模块体积小，集成度高，模块化程度高；成本低；易于搭建及维护；

5、可单独作为设备中控使用，也可嵌入总体系统，适用范围广。

附图说明

图1为本发明所述基于机器视觉的空间手势控制装置总体框图；

图2为本发明所述基于机器视觉的空间手势控制装置工作流程图；

图3为空间手势识别流程图；

图4为手部检测流程图；

图5为手部位姿提取流程图；

图6为空间手势分析流程图；

图7为空间手势控制装置硬件结构示意图；

图8为摄像头视场划分示意图；

图9为天车控制系统硬件结构示意图；

图10为体感游戏控制器示意图。

具体实施方式

下面将结合本发明实施例中的附图对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

结合图1，本发明提出一种基于机器视觉的空间手势控制装置，所述装置可以检测及识别用户手部形态、运动轨迹以及姿态信息；所述装置包括主控模块、数据获取模块、数据处理模块和通信模块；所述主控模块、数据获取模块、数据处理模块和通信模块集成一体模块化，所述控制装置基于嵌入式平台搭建，所述主控模块与数据处理模块共用所述控制装置主板上的主控芯片，所述通信模块集成于所述主板上；所述装置主板由单片机及其外围电路组成；

所述主控模块控制其他各模块的运行，并实时监控其运行状态；数据获取模块通过单目摄像头捕获用户手部图像，并传入数据处理模块；所述数据处理模块分析得到控制命令，并传至通信模块，所述通信模块向受控设备发送控制命令；所述空间手势控制装置能够单独作为设备中控使用或嵌入系统中使用。

结合图2，所述空间手势控制装置工作流程具体为：

步骤a、装置开启后，进行初始化；

步骤b、初始化与装置相连的受控设备；

步骤c、采集用户的空间手势；

步骤d、识别及分析用户手势；

步骤e、向受控设备发送手势指令；

步骤f、重复执行步骤c至步骤e直至装置关闭。

所述主控模块是空间手势控制装置总体的处理与控制中心。功能上，主控模块初始化其他各个模块以及与主控芯片连接的各个外设，运行过程中控制各个模块正常运行，并实时监控其状态，当出现运行错误时及时发出异常警告。硬件上，主控模块与数据处理模块共用主控芯片。

所述数据获取模块利用单目摄像头捕获用户手部图像。该模块具备常见的成像调节功能，如分辨率、焦距、曝光、对比度、亮度、饱和度、Gamma、增益、清晰度、缩放、旋转等属性的调节。该模块还具备主动补光功能，以提高低照度环境下的适用性。当环境光照明良好时，补光灯关闭；环境光较弱时，补光灯自动开启。硬件上，该模块可直接集成于空间手势控制装置主板上，也可通过USB数据线连接至主板。

结合图3，所述数据处理模块用于分析处理捕获到的手部图像并识别对应的空间手势，所述空间手势识别流程具体为：

步骤1、由数据获取模块输入手部图像；

步骤2、在手部图像中检测用户手部；

步骤3、提取手部位姿；

步骤4、根据手部检测结果和位姿提取结果分析得到用户手势控制命令；

步骤5、输出手势控制命令，识别结束。

结合图4，所述手部检测流程具体为：

步骤2.1、输入手部图像；

步骤2.2、计算手部图像各像素梯度大小及方向，并进行量化，量化值作为新的图像特征；

步骤2.3、将图像梯度量化值与预设模板进行匹配；

步骤2.4、输出检测结果，结束。

结合图5，所述手部位姿提取具体流程为：

步骤3.1、读取检测结果；

步骤3.2、在手部图像中随机选取多组像素对，计算每对像素的差值，所得结果即为新的手部特征；

步骤3.3、将手部像素及步骤3.2所得结果与预设模型进行匹配，与模型相符的像素作为特征点；

步骤3.4、对所得特征点进行分析，获得手掌长度和宽度尺度信息，及手指指向、指间夹角和手掌倾斜角位姿信息；

步骤3.5、输出手部位姿，结束。

结合图6，所述步骤4具体为：

步骤4.1、读取检测及位姿提取结果；

步骤4.2、由检测结果得到手势控制命令类别，由位姿提取结果得到手势控制命令参数；

步骤4.3、得到手势控制命令，结束。

通信模块是空间手势控制装置与被控设备间的接口，将用户空间手势命令传至被控设备。硬件上，该模块可通过UART串口、USB数据线、光纤网口、Wifi或蓝牙连接至被控设备。该模块可通过业界通用通信协议与被控设备通信，如USB-HID、蓝牙5.0等，也可采用自定义协议传输数据。

空间手势控制装置硬件结构如图7所示，所述控制装置主要硬件列表如表1所示，主控芯片、摄像头、补光灯及通信接口、电源接口等主要部件均集成于所述控制装置主板上。

表1空间手势控制装置主要硬件列表

所述控制装置可识别手掌张开和握拳两种手势，同时能够输出手部在摄像头视场中的相对位置。其中，位置定义如图8所示，将视场均分为9个区域，当手部处于某一区域时将输出该区域对应编号。

所述控制装置采用URAT串口通信，通信协议如表2所示。利用该协议可以传输手势类型及位置。其中，“Gesture”的取值为0、1或2，分别对应无手势、手掌张开和握拳；“Region”的取值为1～9，对应于手部在摄像头视场中所处区域。

表2空间手势控制装置通信协议

内容

Head

Len

Gesture

Region

Chk

End

取值

0xAA00

0x5500

长度

2bytes

2bytes

1bytes

2bytes

2bytes

2bytes

天车控制系统

本实施例中，空间手势控制装置组成及工作流程与图7所示硬件结构组成和工作流程基本相同，但在硬件结构及功能上有所区分。控制装置主板集成于天车控制电路中，摄像头单独放置，与控制装置主板通过USB数据线连接，如图9所示。

操作时，手部掌心朝向摄像头。当手部伸平，五指张开并移动时，天车将跟随手部运动方向移动；当手部伸平，手掌向上倾斜时天车上升，向下倾斜时天车下降；当手部握拳时，天车执行抓取动作。系统通信协议如表3所示。其中，“Gesture”取值为0、1或2，分别对应无手势、五指张开和握拳；“X”、“Y”为手部坐标；“Ang”取值为0或1，对应手掌向上及向下倾斜。

表3天车控制通信协议

内容

Head

Len

Gesture

X

Y

Ang

chk

end

取值

0xAA00

0x5500

长度

2bytes

2bytes

1bytes

2bytes

2byts

1bytes

2bytes

2bytes

体感游戏控制器

本实施例中，空间手势控制装置作为体感游戏的控制器使用，装置组成、硬件结构及工作流程与图7所示硬件结构组成和工作流程基本相同，与图7所示结构区别在于，所述控制装置不直接对设备进行控制，而仅将识别手势传至上位机；与天车控制系统实施例区别在于，控制装置主板与摄像头仍然保持一体，不集成于总控电路中，所述控制装置与上位机通过USB数据线连接。实施例如图10所示。

所述控制装置通信协议如表4所示，能够识别的手势及对应的通信数值如表5所示。

表4空间手势控制装置通信协议

内容

Head

Len

Gesture

X

Y

Ang1

Ang2

Chk

End

取值

0xAA00

0x5500

长度

2bytes

2bytes

1bytes

2bytes

2bytes

2bytes

2bytes

2bytes

2bytes

表5手势对应通信数值

以上对本发明所提供的一种基于机器视觉的空间手势控制装置，进行了详细介绍，本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。

Claims (6)

1.一种基于机器视觉的空间手势控制装置，其特征在于：包括主控模块、数据获取模块、数据处理模块和通信模块；所述主控模块、数据获取模块、数据处理模块和通信模块集成一体模块化，所述控制装置基于嵌入式平台搭建，所述主控模块与数据处理模块共用所述控制装置主板上的主控芯片，所述通信模块集成于所述主板上；

所述主控模块控制其他各模块的运行，并实时监控其运行状态；数据获取模块通过单目摄像头捕获用户手部图像，并传入数据处理模块；所述数据处理模块分析得到控制命令，并传至通信模块，所述通信模块向受控设备发送控制命令；

所述数据处理模块用于分析处理捕获到的手部图像并识别对应的空间手势，所述空间手势识别流程具体为：

步骤1、由数据获取模块输入手部图像；

步骤2、在手部图像中检测用户手部；

步骤3、提取手部位姿；

步骤4、根据手部检测结果和位姿提取结果分析得到用户手势控制命令；

步骤5、输出手势控制命令，识别结束。

2.根据权利要求1所述的装置，其特征在于：所述数据获取模块直接集成于空间手势控制装置的主板上，或通过USB数据线连接至主板。

3.根据权利要求1或2所述的装置，其特征在于：所述空间手势控制装置能够单独作为设备中控使用或嵌入系统中使用。

4.根据权利要求1或2所述的装置，其特征在于：所述手部检测流程具体为：

步骤2.1、输入手部图像；

步骤2.2、计算手部图像各像素梯度大小及方向，并进行量化，量化值作为新的图像

特征；

步骤2.3、将图像梯度量化值与预设模板进行匹配；

步骤2.4、输出检测结果，结束。

5.根据权利要求4所述的装置，其特征在于：所述手部位姿提取具体流程为：

步骤3.1、读取检测结果；

步骤3.2、在手部图像中随机选取多组像素对，计算每对像素的差值，所得结果即为

新的手部特征；

步骤3.3、将手部像素及步骤3.2所得结果与预设模型进行匹配，与模型相符的像素

作为特征点；

步骤3.4、对所得特征点进行分析，获得手掌长度和宽度尺度信息，及手指指向、指

间夹角和手掌倾斜角位姿信息；

步骤3.5、输出手部位姿，结束。

6.根据权利要求5所述的装置，其特征在于：所述步骤4具体为：

步骤4.1、读取检测及位姿提取结果；

步骤4.2、由检测结果得到手势控制命令类别，由位姿提取结果得到手势控制命令参数；

步骤4.3、得到手势控制命令，结束。