CN105404390B - 一种无线数据手套建模及手势动作识别方法 - Google Patents
一种无线数据手套建模及手势动作识别方法 Download PDFInfo
- Publication number
- CN105404390B CN105404390B CN201510716598.9A CN201510716598A CN105404390B CN 105404390 B CN105404390 B CN 105404390B CN 201510716598 A CN201510716598 A CN 201510716598A CN 105404390 B CN105404390 B CN 105404390B
- Authority
- CN
- China
- Prior art keywords
- gloves
- wireless
- gesture
- bending sensor
- data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Landscapes
- Position Input By Displaying (AREA)
Abstract
本发明公开了一种无线数据手套建模及手势动作识别方法，包括：手套、弯曲传感器、微控制器、电池模块、无线传输模块和无线接收模块；所述弯曲传感器根据手指的弯曲程度不同产生阻值的变化信号传送至微处理器处理后发送到无线传输模块，由无线传输模块通过无线接收模块发送到PC设备；所述电池模块为整个电路供电；本发明的一种无线数据手套建模及手势动作识别方法基于弯曲传感器及ZigBee无线传感器的采集、传输特性及物理尺寸，给出了在普通手套上进行多传感器配置的原型设计方法，并开发了与之相适应的电路布线及弯曲传感器标定方法。
Description
技术领域
本发明涉及一种无线数据手套建模及手势动作识别方法，特别涉及一种基于弯曲传感器的无线数据手套建模及手势动作识别方法。
背景技术
随着社会生活的发展和计算机科学和技术水平的不断提高，用户与计算机的人机交互方式日益受到重视，成为科研领域的重要方向。在人机交互中，人们正试图摆脱以计算机为中心的交互模式转向以人为中心的交互方式，从用户去适应计算机的工作方式向计算机去适应用户的自然需求转变。
手势作为一种自然直观的交流方式广泛应用在日常生活中。手势作为人与人交流的重要媒介，包含了生动而富足的信息。因此，手势识别作为人机交互的一个分支，以其具有自然性，简单丰富性，直接性等特点，逐渐成为人们研究的热点。手势识别技术按照采集信息的不同可以分为基于视觉的手势识别技术和基于数据手套的手势识别技术：基于视觉的手势识别技术是指通过摄像头获取手部动作信息经过特定的算法分析达到解析手势信息的目的；基于数据手套的识别技术则是通过加速度传感器，陀螺仪等传感器设备采集手型以及手部的运动信息，经过特定的算法分析来达到分析手势的目的。基于视觉的手势识别技术起步早，理论相对来说也比较成熟，但是该技术对外部环境依赖大，算法复杂，实时性相对来说较差。而基于数据手套手势识别技术则不受外部环境影响，算法相对来说简单，并且实时性较高。然而，目前佩戴型数据手套主要面向高端应用，市场普及率并不高，制约其发展的缺陷可概括为以下几点：
1、价格问题：随着动作捕捉和动画产品需求不断增大，为数据手套的应用带来了良好的市场前景，但一套手势的动作捕捉系统动辄3-5万，使得一些电影制作及爱好者望而却步。目前，佩戴型数据手套主要面向科研及学术研究领域，价格成为制约市场普及的关键因素。
2、佩戴及操作舒适性问题：虽然一些产品采用了无线操作方式，但与计算机的通讯连接仍采用传统的有线传输方式，数据线的缠绕限制了操作者施展动作，而一些价格较高的产品虽然可以采用无线的方式实现操作及通讯，但需要在手臂或腰部配套额外的接收装备，佩戴不方便。另外，多数的手套产品的操作时间为4-6小时，当电池耗尽后需要充电，这也为操作带来一定的不便。
3、系统的集成性和开放性问题：出于技术保护等不同原因，目前几乎所有的数据手套 厂商将软硬件接口都封闭起来，只有采用其专有的SDK开发套件才能完成工作，虽然接口封闭使操作者不用关心接口的细节，简化了操作，但开发者无法深入了解接口背后的的内容，也无法脱离厂商自由定制所需的操作。
发明内容
发明的目的在于克服现有技术之不足，针对低成本数据手套的开发需求，基于弯曲传感器及ZigBee无线传感器的采集、传输特性及物理尺寸，给出了在普通手套上进行多传感器配置的原型设计方法，并开发了与之相适应的电路布线及弯曲传感器标定方法。该发明兼具实用性和经济性，能够填补目前市场对于低成本无线数据手套产品的应用需求。
本发明解决其技术问题所采用的技术方案是：提供一种无线数据手套建模及手势动作识别方法，包括：手套、弯曲传感器、微控制器、电池模块、无线传输模块和无线接收模块；
所述手套为双层结构，所有电路均设置在手套的双层结构之间；在手套的五个指套的背部的分别设有一弯曲传感器，每一弯曲传感器的输出端分别与微控制器相连；所述微控制器固定在手套背部至手套腕部的中心位置；所述无线传输模块与微控制器相连，所述无线传输模块固定于手套手心靠近腕部的中心位置；所述电池模块与微控制器相连；所述无线接收模块与PC设备相连。
所述弯曲传感器根据手指的弯曲程度不同产生阻值的变化信号传送至微处理器处理后发送到无线传输模块，由无线传输模块通过无线接收模块发送到PC设备；所述电池模块为整个电路供电。
优选的，所述微控制器采用Arduino LilyPad控制板；所述无线传输模块采用LilyPad XBee；所述弯曲传感器采用单向弯曲传感器FLX-03A。
优选的，所述Arduino LilyPad控制板的2号和3号引脚分别与LilyPad XBee的tx引脚和rx引脚连接，用于采集弯曲传感器的数据；所述每一指套上的弯曲传感器的输出端与Arduino LilyPad控制板的模拟信号输入引脚相连；所述弯曲传感器的输出端还分别连接有一10kΩ的电阻，所述10kΩ电阻的另一端用可导电的金属缝纫线与Arduino LilyPad控制板的正极及LilyPad XBee的正极相连；所述10kΩ电阻用缝纫线缝制在手套手掌部中间位置，等间距排列。
优选的，所述无线数据手套通过数据信息转换、手势特征提取、手势对比分析三个步骤实施手势的识别。
优选的，所述数据信息转换是通过微处理器对弯曲传感器传输的数据进行处理，转换为弯曲角度、加速度、旋转角度的数据。
优选的，所述手势特征提取是微处理器根据不同手势处理得出的不同弯曲角度、加速度、旋转角度的数据提取特征数据。
优选的，所述手势对比分析是处理器根据提取的特征数据与标准数据进行比对以识别当前手势。
本发明的有益效果是：
(1)在保证基本的手势动作捕捉功能前提下，显著降低系统成本，能够填补目前市场对于低成本无线数据手套产品的应用需求。
(2)手套上集成了接口板和控制板，操作者身上无需佩戴额外的装置，控制指令通过无线通讯的方式，佩戴舒适。
(3)系统软硬件接口开源，开放了用户接口，使开发人员可自由定制特定的应用操作。
(4)与手套对应的手势特征提取及手势识别方法操作简单、方便可行。
以下结合附图及实施例对本发明作进一步详细说明；但本发明的一种无线数据手套建模及手势动作识别方法不局限于实施例。
附图说明
图1是本发明的手套系统框架；
图2是ArduinoLilypad USB实体图(正反面)；
图3是ArduinoLilypad USB电路原理图；
图4是XBee无线通信模块实体大小；
图5是XBee模块无线通信系统原理结构图；
图6是用于识别的手势模板；
图7是成功识别的两个手势；
图8是手套的布线实际操作图；
图9是成功识别的两个手势示意图。
具体实施方式
实施例1
参见图1至图9所示，本发明的一种无线数据手套建模及手势动作识别方法，包括：
手套、弯曲传感器、微控制器、电池模块、无线传输模块和无线接收模块；
所述手套为双层结构，所有电路均设置在手套的双层结构之间；在手套的五个指套的背部的分别设有一弯曲传感器，每一弯曲传感器的输出端分别于微控制器相连；所述微控制器固定在手套背部至手套腕部的中心位置；所述无线传输模块与微控制器相连，所述无线传输模块固定于手套手心靠近腕部的中心位置；所述电池模块与微控制器相连；所述无线接收模块与PC设备相连。
所述弯曲传感器根据手指的弯曲程度不同产生阻值的变化信号传送至微处理器处理后发送到无线传输模块，由无线传输模块通过无线接收模块发送到PC设备；所述电池模块为整个电路供电。
更进一步，所述微控制器采用Arduino LilyPad控制板；所述无线传输模块采用LilyPad XBee；所述弯曲传感器采用单向弯曲传感器FLX-03A。
更进一步，所述Arduino LilyPad控制板的2号和3号引脚分别与LilyPad XBee的tx引脚和rx引脚连接，用于采集弯曲传感器的数据；所述每一指套上的弯曲传感器的输出端与Arduino LilyPad控制板的模拟信号输入引脚相连；所述弯曲传感器的输出端还分别连接有一10kΩ的电阻，所述10kΩ电阻的另一端用可导电的金属缝纫线与ArduinoLilyPad控制板的正极及LilyPad XBee的正极相连；所述10kΩ电阻用缝纫线缝制在手套手掌部中间位置，等间距排列。
更进一步，所述无线数据手套通过数据信息转换、手势特征提取、手势对比分析三个步骤实施手势的识别。
更进一步，所述数据信息转换是通过微处理器对弯曲传感器传输的数据进行处理，转换为弯曲角度、加速度、旋转角度的数据。
更进一步，所述手势特征提取是微处理器根据不同手势处理得出的不同弯曲角度、加速 度、旋转角度的数据提取特征数据。
更进一步，所述手势对比分析是处理器根据提取的特征数据与标准数据进行比对以识别当前手势。
本发明主要面向低成本的无线数据手套应用需求，因此，在构建系统时必须综合考虑部件的成本、性能和可操作性能等因素。无线数据手套概括起来可主要分为三个部分，即无线传感通讯、弯曲传感器测量及系统控制。目前市场上的高端数据手套产品中附加了大量的传感器，如嵌入式加速度计、嵌入式磁力计、嵌入式陀螺仪等。配有精密传感的数据手套，虽然提高了定位精度，但额外的传感设备及配套元件使得器件成本显著上升，同时，与传感器相连接的通讯接口使得控制元件的性能必须相应提高，进一步提高了整个系统的成本。在分析对比了市场目前主要的手套产品后，提出如下的系统建模方案：去除额外的传感器件，只保留必须的弯曲传感器测量手指弯曲角度，这样，为控制元件的选择提供了便利(本发明选择具有可穿戴可缝纫的Lilypad控制板)，只要具有5个手指传感和双通讯通道即可，显著降低了成本。同时，无线通讯采用ZigBee技术的控制方法。据发明者所知，目前市场上尚未有采用结合ZigBee技术与Lilypad的低价无线数据手套产品，因此能够满足低价位市场需求。与其他的无线通讯方式相比，ZigBee的优势在于无线设备持续处于活动状态的时间是有限的，大部分时间无线设备是处于省电模式(也称休眠模式)的。因此，ZigBee设备在电池需要更换以前能够工作数年以上，而目前市场上的许多数据手套产品额定时间范围是4-6小时。
出于不同原因，目前几乎所有的数据手套厂商将软硬件接口都封闭起来，针对这一问题，本发明在软硬件方面均采用开源平台，而通讯采用标准的ZigBee 802.15.4协议。这种控制体系使得用户和开发者可以自由修改操作接口，在已有的平台继续开发定制自己所需的内容。
具体的平台搭建如下：
硬件系统采用ArduinoLilyPadUSB，该款微控制器是基于Arduino平台的可穿戴控制器，整体尺寸非常小，可直接缝纫到手套上。它有9个数字输入/输出引脚，一个8MHz的谐振器，一个微型USB连接，一个为3.7V锂电池JST连接器和一个复位按钮。板上系统已包含了微控制器需要的所有元件，可以利用USB充电或用电池直接供电，由于本发明的ZigBee 方式耗电较少，故选用后者通电。由于开源硬件平台的原理图和布线图都是开源的，全世界所有的硬件爱好者都可以发布自己设计修改的基于该平台的硬件结构，即该硬件平台可根据需要可定制修改，并与别人交流分享。
与硬件平台类似，该发明的软件也延续了开源设计的思想，采用开源的Processing软件来进行传感信息的提取、识别及图形化表示。采用Processing软件的原因主要有两点：其一是它与Arduino具有无缝连接的特性，硬件设计平台Arduino是从Processing软件演化转变而来，因此该软件保留了很多硬件特征，如可直接操控伺服电机及串口通讯等。其二是Processing具有丰富的图形表示能力，由于源代码开放，具有大量的第三方库可以自由添加软件所需的图形显示功能。
无线通信是采用基于ZigBee技术的XBee 1mW TraceAntenna模块。此模块采用802.15.4协议栈，通过串口与单片机等设备间进行通信，支持点对点通信以及点对多点网络。由于802.15.4协议工作在2.4G频带，具有数据传输可靠性高、误码率极低并且跟XBee扩展板以及XbeeAdapter一起使用能够使Arduino控制器快速的与PC建立稳定的数据通讯。
在获取手势特征值后对特征值进行数值比对以识别手势。通过获取弯曲传感器的弯曲信息，对弯曲信息进行判断以识别手势动作。比如当大拇指的弯曲度约为0°，其他手指弯曲度约为180°，并且在允许的误差范围内，这时我们可以判断手势动作是竖起大拇指；比如当所有手指的弯曲度约为0°，并且在允许的误差范围内，这时我们可以判断手势动作是张开手掌。
上述实施例仅用来进一步说明本发明的一种无线数据手套建模及手势动作识别方法，但本发明并不局限于实施例，凡是依据本发明的技术实质对以上实施例所作的任何简单修改、等同变化与修饰，均落入本发明技术方案的保护范围内。
Claims (3)
1.一种无线数据手套建模及手势动作识别方法，其特征在于，包括：手套、弯曲传感器、微控制器、电池模块、无线传输模块和无线接收模块；
所述手套为双层结构，所有电路均设置在手套的双层结构之间；在手套的五个指套的背部的分别设有一弯曲传感器，每一弯曲传感器的输出端分别与微控制器相连；所述微控制器固定在手套背部至手套腕部的中心位置；所述无线传输模块与微控制器相连，所述无线传输模块固定于手套手心靠近腕部的中心位置；所述电池模块与微控制器相连；所述无线接收模块与PC设备相连；
所述弯曲传感器根据手指的弯曲程度不同产生阻值的变化信号传送至微处理器处理后发送到无线传输模块，由无线传输模块通过无线接收模块发送到PC设备；所述电池模块为整个电路供电；
所述无线数据手套通过数据信息转换、手势特征提取、手势对比分析三个步骤实施手势的识别；
所述数据信息转换是通过微处理器对弯曲传感器传输的数据进行处理，转换为弯曲角度、加速度、旋转角度的数据；
所述手势特征提取是微处理器根据不同手势处理得出的不同弯曲角度、加速度、旋转角度的数据提取特征数据；
所述手势对比分析是处理器根据提取的特征数据与标准数据进行比对以识别当前手势。
2.根据权利要求1所述的一种无线数据手套建模及手势动作识别方法，其特征在于：所述微控制器采用Arduino LilyPad控制板；所述无线传输模块采用LilyPad XBee；所述弯曲传感器采用单向弯曲传感器FLX-03A。
3.根据权利要求2所述的一种无线数据手套建模及手势动作识别方法，其特征在于：所述Arduino LilyPad控制板的2号和3号引脚分别与LilyPad XBee的tx引脚和rx引脚连接，用于采集弯曲传感器的数据；所述每一指套上的弯曲传感器的输出端与Arduino LilyPad控制板的模拟信号输入引脚相连；所述弯曲传感器的输出端还分别连接有一10kΩ的电阻，所述10kΩ电阻的另一端用可导电的金属缝纫线与Arduino LilyPad控制板的正极及LilyPad XBee的正极相连；所述10kΩ电阻用缝纫线缝制在手套手掌部中间位置，等间距排列。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201510716598.9A CN105404390B (zh) | 2015-10-29 | 2015-10-29 | 一种无线数据手套建模及手势动作识别方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201510716598.9A CN105404390B (zh) | 2015-10-29 | 2015-10-29 | 一种无线数据手套建模及手势动作识别方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN105404390A CN105404390A (zh) | 2016-03-16 |
| CN105404390B true CN105404390B (zh) | 2018-07-20 |
Family
ID=55469915
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201510716598.9A Active CN105404390B (zh) | 2015-10-29 | 2015-10-29 | 一种无线数据手套建模及手势动作识别方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN105404390B (zh) |
Families Citing this family (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105818129A (zh) * | 2016-04-12 | 2016-08-03 | 华南理工大学 | 一种基于数据手套的仿人机械手控制系统 |
| CN106125939A (zh) * | 2016-07-05 | 2016-11-16 | 青海金联讯电子科技有限公司 | 一种基于智能手套的人机交互方法 |
| CN107261463A (zh) * | 2017-07-10 | 2017-10-20 | 上海电机学院 | 篮球裁判手套及互动展示系统 |
| CN107678550A (zh) * | 2017-10-17 | 2018-02-09 | 哈尔滨理工大学 | 一种基于数据手套的手语手势识别系统 |
| CN108958479B (zh) * | 2018-06-14 | 2021-11-02 | 南京师范大学 | 基于数据手套的通用三维虚拟场景实时交互方法 |
| CN109156917A (zh) * | 2018-08-01 | 2019-01-08 | 江南大学 | 柔性传感手姿的智能手套 |
| CN111399660A (zh) * | 2020-04-29 | 2020-07-10 | 北京智宸天驰科技有限公司 | 一种传感器的手势识别设备及方法 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN201936248U (zh) * | 2010-12-15 | 2011-08-17 | 北京理工大学 | 一种基于数据手套的手语识别装置 |
| CN102323856A (zh) * | 2011-08-09 | 2012-01-18 | 大连民族学院 | 基于加速度传感器和ZigBee的数据手套 |
| CN104778746A (zh) * | 2015-03-16 | 2015-07-15 | 浙江大学 | 一种基于数据手套使用自然手势进行精确三维建模的方法 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20140062895A (ko) * | 2012-11-15 | 2014-05-26 | 삼성전자주식회사 | 외부 장치를 제어하기 위한 웨어러블 디바이스 및 그 방법 |
-
2015
- 2015-10-29 CN CN201510716598.9A patent/CN105404390B/zh active Active
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN201936248U (zh) * | 2010-12-15 | 2011-08-17 | 北京理工大学 | 一种基于数据手套的手语识别装置 |
| CN102323856A (zh) * | 2011-08-09 | 2012-01-18 | 大连民族学院 | 基于加速度传感器和ZigBee的数据手套 |
| CN104778746A (zh) * | 2015-03-16 | 2015-07-15 | 浙江大学 | 一种基于数据手套使用自然手势进行精确三维建模的方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN105404390A (zh) | 2016-03-16 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN105404390B (zh) | 一种无线数据手套建模及手势动作识别方法 | |
| CN107678542B (zh) | 一种指环类可穿戴设备及人机交互方法 | |
| CN103263094B (zh) | 一种智能感应手套系统 | |
| CN103516004B (zh) | 一种信息处理方法和装置 | |
| CN201638148U (zh) | 一种手套式虚拟输入装置 | |
| CN204496431U (zh) | 上肢穿戴式动作捕捉设备 | |
| CN106575160A (zh) | 根据用户视点识别动作的界面提供方法及提供装置 | |
| CN102063183A (zh) | 一种手套式虚拟输入装置 | |
| CN103677289A (zh) | 一种智能交互手套及交互方法 | |
| CN105242788B (zh) | 一种基于弯曲传感器的无线数据手套电路布线及传感器配置方法 | |
| WO2016048690A1 (en) | Wearable input device | |
| CN104503577A (zh) | 一种通过可穿戴式设备控制移动终端的方法及装置 | |
| CN202137764U (zh) | 机器人体感交互手套 | |
| CN109828672A (zh) | 一种用于确定智能设备的人机交互信息的方法与设备 | |
| CN104636017A (zh) | 一种无线式智能终端控制设备及其控制方法 | |
| CN104331159A (zh) | 一种智能手戴式设备及控制系统 | |
| CN110475020A (zh) | 设备控制方法及相关产品 | |
| CN107450672A (zh) | 一种高识别率的腕式智能装置 | |
| CN107077778A (zh) | 用于远程控制的方法和装置 | |
| CN103020616B (zh) | 一种手持设备空间位置的检测方法及其手持设备 | |
| WO2023184758A1 (zh) | 一种手套、手部动作识别方法、装置及设备 | |
| CN104714628B (zh) | 一种信息处理方法及电子设备 | |
| WO2022179279A1 (zh) | 交互方法、电子设备与交互系统 | |
| CN207704451U (zh) | 手势采集系统 | |
| CN204423307U (zh) | 一种无线三维体感操控系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |