CN108255303A - 一种基于自制数据手套的手势识别方法 - Google Patents

Abstract

本发明涉及一种基于自制数据手套的手势识别方法，属于人机交互的模式识别技术领域，本发明首先根据弯曲传感器和设计好的数据采集模块制成数据手套，通过数据手套对操作者的手势数据进行采集，再将采集到的数据进行降噪处理，并将数据求均值后简历模板库，然后通过模板匹配和BP神经网络算法进行训练得出识别率，最后将训练好的算法应用到数据手套的手势识别中，实现在上位机上识别出操作者的手势值。本发明克服了原有手势识别算法识别率较低和训练量过大的问题，根据不断调整参数来达到缩短训练时间，加快收敛速度的效果，更好地实现了利用外部设备识别手势数据。

Description

一种基于自制数据手套的手势识别方法

技术领域

本发明属于人机交互的模式识别技术领域，涉及一种基于自制数据手套的手势识别方法。

背景技术

手势语言是人体语言的一个重要组成部分，也是手语的一个分支，是一种重要的交际语言。与自然语言相比，手势语言的使用能让交流更加丰富多彩。对手势识别的研究，一方面，可以作为听障人士的学习、工作和生活工具，特别是可以帮助文化程度相对比较低的听障人士使用手语和正常人进行交流；另一方面，可以提高计算机对人类语言的理解程度和认知水平。

手势识别主要有两种研究方式，一种是以视觉图像为基础，一种以数据手套为载体。以视觉图像为基础的手势识别精度比较高，交互效果好，但是识别设备比较昂贵，使用设备的场景和环境也都有限制，复杂环境下的手势识别会使难度加大。而以数据手套为基础的手势识别技术，其设备简单，成本低；同时不易受环境影响，活动范围大，识别率高。针对数据手套而言，现阶段手势识别算法主要采用模板匹配，人工神经网络,隐马尔可夫模型和朴素贝叶斯分类器等方法。模板匹配实现原理简单，但是模板的可变性会很大程度影响手势的识别率。神经网络方法具有抗干扰性和分类特性，容错能力强，不易受噪声干扰，但容易陷入局部极小、收敛速度慢，网络结构不一等问题。隐马尔可夫模型需要对状态概率密度进行大量的计算，需要估计的参数较多，识别及训练的速度相对较慢，所以以往的手势识别较少使用隐马尔可夫模型。朴素贝叶斯分类器使用较少，在基于视觉和数据手套方面都有各自的缺陷，主要用于手写体数字的识别。

发明内容

有鉴于此，本发明的目的在于提供一种基于自制数据手套的手势识别方法，通过对机械手的控制验证数据手套的功能，优化了采集数据的程序，提高了算法的识别效率，实现了方便用户使用的基于数据手套的自然的手势识别方法。

为达到上述目的，本发明提供如下技术方案：

一种基于自制数据手套的手势识别方法，该方法包含如下步骤：

S1：利用普通手套，将传感器和数据采集模块做成数据手套；

S2：上位机通过数据手套采集手势数据，并将采集到的手势数据进行预处理；

S3：将预处理之后的手势数据输入到模板匹配和BP神经网络算法中进行训练，得出对应的识别模型；

S4：通过训练好的识别模型进行手势识别，在上位机中显示出对应的手势值。

进一步，所述数据采集模块包含多路选择开关，微控制单元，USB-UART桥接器，放大器；

所述多路选择开关连接至所述放大器，所述放大器连接至所述微控制单元，所述微控制单元上连接有所述USB-UART桥接器，所述微控制单元通过所述USB-UART桥接器连接至计算机；

所述放大器包含桥式放大电路和噪声抑制电路，所述桥式放大电路连接至所述噪声抑制电路；

所述噪声抑制电路包含相互串联的工频陷波电路和带通滤波电路，所述带通滤波电路由低通滤波器和高通滤波器串联组成。

进一步，所述低通滤波器和高通滤波器的频率范围我为0.08-44.2Hz。

进一步，步骤S1中所述传感器为弯曲传感器。

进一步，所述弯曲通过杜邦线连接至所述数据采集模块。

进一步，步骤S3中将预处理之后的手势数据输入到模板匹配具体为：

S31：将数据手套采集到的传感器数据与模板库中的手势模板进行匹配，计算其欧氏距离；

S32：将欧氏距离值进行排序，根据行中最小的一行的数据代表的手势识别出用户输入的手势。

本发明的有益效果在于：本发明克服了原有手势识别算法识别率较低和训练量过大的问题，根据不断调整参数来达到缩短训练时间，加快收敛速度的效果，更好地实现了利用外部设备识别手势数据。

附图说明

为了使本发明的目的、技术方案和有益效果更加清楚，本发明提供如下附图进行说明：

图1是本发明的结构框图；

图2是本发明的自制数据手套的外观图；

图3是本发明的自制数据手套数据采集模块信号流通图；

图4是本发明的自制数据手套的桥式放大电路图；

图5是本发明的自制数据手套的放大器电路图；

图6是本发明的自制数据手套的MCU电路图；

图7为本发明的自制数据手套的UART电路图；

图8本发明的自制数据手套控制机械手的应用图；

图9本发明的数据采集流程图；

图10发明的模板匹配和神经网络算法的手势识别流程图；

图11发明的手势在上位机上有效识别的展示图。

具体实施方式

下面将结合附图，对本发明的优选实施例进行详细的描述。

本发明解决技术问题的方案是：提供一种基于自制数据手套的手势识别方法，如图1所示，通过贴在五个手指关节处的弯曲传感器和自制的数据采集模块制成数据手套，利用机械手验证数据手套的弯曲角度和弯曲功能，利用验证好的数据手套采集手势数据，再将采集到的数据进行处理，然后通过模板匹配和神经网络进行训练，最后将识别好的算法应用到上位机编写的识别程序上，实现手势的有效识别。

本发明的自制数据手套的弯曲传感器是Spectrasymbol的flex2.2"弯曲传感器，传感器的初始电阻～25KΩ，初始电压～0.5V，弯曲九十度电阻可变化到50KΩ。当传感器的金属面向外弯曲时，传感器的电阻值会发生变化，串口通过ADC采集到变化的电压值，即是手势样本数据。

本发明的自制数据手套的数据采集模块设计包括多路选择开关(MUX)，微控制单元(MCU)，cp2102(USB-UART桥接器)，AMP，电源部分，LED灯等部分。传感器连接插针，将数据导入多路选择开关，多路选择开关连接至放大器，将信号放大后的模拟信号输入到微控制单元，微控制单元是整个电路的核心，将输出的数字信号输入到USB-UART桥接器，该桥接器是转串口模块，将最终输出的电压数字信号通过串口输送到电脑上位机。

首先通过数据手套的串口功能，将传感器的弯曲数据采集到电脑的上位机上，这部分数据是数据采集程序设定好的，根据串口采集协议，按照拇指到小指的顺序每1秒钟采集一次。设定好几个特定的手势，采集了几个检测者的手势数据，形成了有几千条手势数据的模板库。

本发明的模板匹配将数据手套采集到的传感器数据与模板库中的手势模板进行匹配，计算其欧氏距离。并将欧氏距离值进行排序，找出值最小的这一行的数据代表的手势，并且在可允许的范围内，则识别出此手势即为用户输入的手势。

本发明的神经网络算法是首先得出待输入数据，这部分数据是经过模板匹配和欧氏距离运算后可以被识别出来的数据，这里被认为是精度比较高的数据，然后将识别出的数据经过归一化处理后作为BP算法的输入，经过训练后得出较高的识别率。

对模板库中单个手指的数据求平均值，得出每个手势的平均值模板，作为模板匹配算法的比较模板。将数据手套输入的数据依次和比较模板进行匹配，计算欧氏距离，欧氏距离小的那一行数据对应的手势值就是识别出的手势值，将可以识别的手势数据输出。本实施例在输入手势9000条的状态下，可以识别的数据在8707条左右。

检测者带上数据手套，摆出手势，通过数据手套上的数据采集模块将传感器的弯曲数据传送到上位机；上位机接受数据后，保存数据到指定位置；然后，对采集到的数据进行分析处理，比如噪声处理，进行归一化处理，处理后的数据作为神经网络的输入，输入神经元为5个手指的数据，输出神经元9代表我设定的9个手势值。神经网络训练时，需要通过不断调整隐含层节点数，选择不同的激活函数，设定不同的学习率，得出手势识别率。其中隐含层节点数有几个经验公式，比如m＝log₂n，其中m是隐含层节点数，n是输入层节点数，l是输出层节点数，a是1到10之间的常数，我们通过公式先设置一个初始值，然后在这个值的基础上逐渐调整a值，比较每次网络的预测性能，选择性能最好的对应的节点数作为隐含层神经元节点数。常见的激活函数有对数S形转移函数，线性函数和双曲正切S形函数，我们可以设定不同函数观察识别效果。

图2是本发明的自制数据手套的外观图，数据手套是采集数据的硬件基础，包括弯曲传感器101、杜邦线102、数据采集模块103，杜邦线的连接可以防止串口数据采集弯曲过程中连接线的滑落和断裂。

其信号流通方式如图3示，具体电路如图4、图5、图6、图7所示，实施方式为：传感器连接插针x1，将数据导入多路选择开关MUX，多路选择开关连接至放大器AMP，将信号放大后的模拟信号输入到噪声抑制电路部分，噪声抑制输出的信号输入到微控制单元MCU，微控制单元是整个电路的核心，将输出的数字信号输入到USB-UART桥接器，该桥接器是转串口模块，将最终输出的电压数字信号通过串口输送到电脑上位机。其中：桥式放大电路可以有效地抑制温漂，放大倍数为：

可以把信号放大到适合A/D转换的需求。Noise suppression是噪声抑制电路，左半部分是工频陷波，针对50Hz工频干扰滤波；右半部分是带通滤波，由低通滤波器fl和高通滤波器fh串联组成，放大倍数为10倍，低通滤波和高通滤波频率为0.08-44.2Hz，不会使放大倍数过高而影响数据。上述方法可以在采集数据之前尽可能减小噪声对识别性能产生的影响。

图8是本发明的自制数据手套控制机械手的应用图，为了验证数据手套的功能，我们购买了可控机械手，该机械手通过握手协议和数据手套相配合，数据手套的弯曲带动机械手的弯曲，证明了数据手套的可用性。

图9是本发明的数据采集流程图，本发明的信息采集程序是根据keil5编写的单片机C语言程序，其中串口的数据传输是利用与上位机的相关设置来完成，因为本文的数据采集用于训练算法和简历模板，并没有反馈，所以没有相应的握手机制，具体步骤如下：

1、系统时钟初始化：主要是对串口初始化，ADC初始化，定时器初始化，LED_IO初始化和通道选择初始化；

2、配置串口：设置串口波特率为9600，数据为8位，停止位1位等参数；

3、定时设置：初始化后设置定时器每1秒钟传送一次数据到上位机，保存数据并整理。

采集到的数据经过处理后，开始训练，训练过程如图10所示，经过模板匹配和神经网络两个阶段的算法训练，即首先将数据手套采集到的传感器数据与模板库中的手势模板进行匹配，计算其欧氏距离。并将欧氏距离值进行排序，找出值最小的这一行的数据代表的手势，并且在可允许的范围内，则识别出此手势即为用户输入的手势；然后将模板匹配识别出的数据经过归一化处理后作为BP算法的输入。发现识别率保持在98％左右，且得到如图11所示的识别结果，可以看到算法在实时识别上保持较好的识别效果。

最后说明的是，以上优选实施例仅用以说明发明的技术方案而非限制，尽管通过上述优选实施例已经对本发明进行了详细的描述，但本领域技术人员应当理解，可以在形式上和细节上对其作出各种各样的改变，而不偏离本发明权利要求书所限定的范围。

Claims (6)

1.一种基于自制数据手套的手势识别方法，其特征在于：该方法包含如下步骤：

S1：利用普通手套，将传感器和数据采集模块做成数据手套；

S2：上位机通过数据手套采集手势数据，并将采集到的手势数据进行预处理；

S3：将预处理之后的手势数据输入到模板匹配和BP神经网络算法中进行训练，得出对应的识别模型；

S4：通过训练好的识别模型进行手势识别，在上位机中显示出对应的手势值。

2.根据权利要求1所述的一种基于自制数据手套的手势识别方法，其特征在于：所述数据采集模块包含多路选择开关，微控制单元，USB-UART桥接器，放大器；

所述多路选择开关连接至所述放大器，所述放大器连接至所述微控制单元，所述微控制单元上连接有所述USB-UART桥接器，所述微控制单元通过所述USB-UART桥接器连接至计算机；

所述放大器包含桥式放大电路和噪声抑制电路，所述桥式放大电路连接至所述噪声抑制电路；

所述噪声抑制电路包含相互串联的工频陷波电路和带通滤波电路，所述带通滤波电路由低通滤波器和高通滤波器串联组成。

3.根据权利要求2所述的一种基于自制数据手套的手势识别方法，其特征在于：所述低通滤波器和高通滤波器的频率范围为0.08-44.2Hz。

4.根据权利要求1所述的一种基于自制数据手套的手势识别方法，其特征在于：步骤S1中所述传感器为弯曲传感器。

5.根据权利要求4所述的一种基于自制数据手套的手势识别方法，其特征在于：所述弯曲通过杜邦线连接至所述数据采集模块。

6.根据权利要求5所述的一种基于自制数据手套的手势识别方法，其特征在于：步骤S3中将预处理之后的手势数据输入到模板匹配具体为：

S31：将数据手套采集到的传感器数据与模板库中的手势模板进行匹配，计算其欧氏距离；

S32：将欧氏距离值进行排序，根据行中最小的一行的数据代表的手势识别出用户输入的手势。