CN104656883A - 一种基于多加速度传感器和ZigBee网络的手势采集系统 - Google Patents

一种基于多加速度传感器和ZigBee网络的手势采集系统 Download PDF

Info

Publication number
CN104656883A
CN104656883A CN201310601411.1A CN201310601411A CN104656883A CN 104656883 A CN104656883 A CN 104656883A CN 201310601411 A CN201310601411 A CN 201310601411A CN 104656883 A CN104656883 A CN 104656883A
Authority
CN
China
Prior art keywords
gesture
zigbee
system based
acquisition system
receiving end
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201310601411.1A
Other languages
English (en)
Inventor
李童
吴滨
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Jiangnan University
Original Assignee
Jiangnan University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Jiangnan University filed Critical Jiangnan University
Priority to CN201310601411.1A priority Critical patent/CN104656883A/zh
Publication of CN104656883A publication Critical patent/CN104656883A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

本发明提出了一种基于多加速度传感器和ZigBee网络的手势采集系统。利用位于手指和手背上的六个加速度传感器，将不同方向轴上的信息传送给接收端。接收端通过滤波取整、起始点检测、抖动判定、模型训练与模型匹配对动作者手势信息进行判决。系统利用隐马尔可夫(HMM)模型识别算法，对0-9十个手势进行判断，在20位实验者中得到了98％以上的识别率，同时由于其使用了ZigBee网络，系统移植性也得到了进一步加强，对后续手势识别研究有一定的参考价值。

Description

一种基于多加速度传感器和ZigBee网络的手势采集系统
技术领域
本发明属于人工智能技术领域，特别涉及一种一种基于多加速度传感器和ZigBee网络的手势采集系统。 
背景技术
语言是人们思想交流和感情传递的工具，人们在交流的时候通常除了使用有声语言外还经常借助人体语言(包括手势语言)来辅助交流，手势语的直观形象是有声语言的重要补充。近些年，随着移动计算技术和微机电系统的发展，手势识别技术逐渐成为人机交互领域研究的热点，其自然便捷、形象直观等诸多优点也成为其发展的一个主要因素。目前主流的手势识别方法有两种：一种是基于图像设备获取人的手势动作图像，之后进行图像分析并识别。另一种是基于微传感器获取手部不同部位的动作信息，进而通过与模型的匹配得到动作者的实时手势信息。由于人手是复杂的变形体，同时手势具有多样性、多意性以及空间上的差异性等特点，所以基于图像设备的手势识别技术在一定程度上存在局限性。而基于微传感器的手势识别系统只需获取手部各部位的动作数据，通过算法便可还原动作者的意图。该类系统在任何环境和空间里都能间接获得动作者的手势信息，基本能够克服基于图像设备识别的弊端，故基于微传感器的手势识别研究逐渐得到重视。 
现有的基于微传感器的手势识别研究大概分为两类：一类是基于多类型传感器阵列的数据手套研究。另外一类是基于单传感器的研究。前者研究计算复杂度高并且数据量大，无法应用在现有的移动平台中。后者虽然能够解决数据量大的问题，但是无法准确反应动作者的手指信息，进而无法准确判断细微的手势。本发明给出了一种基于ZigBee和多加速度传感器的手势识别方法。该方案采用ADXL335三轴加速度传感器分别采集五个手指和手背上的加速度信息， 信息通过多路开关依次送到终端节点进行A/D转换，并将处理后的数据整理发送。接收端收到数据后对手势动作依次进行滤波取整、抖动判定以减少因为噪声和抖动带来的差异。同时利用单个动作之间停顿时间的门限阈值检测动作的起始。最后对手势信息特征进行提取，构建离散隐马尔可夫模型以实现对手势的识别。 
发明内容
系统所采用的手势信息采集芯片主要采用TI公司生产的CC2430和三轴加速度传感器ADXL335。整个系统两个部分：发送端模块和接收端模块。发送端模块包括加速度数据的采集、A/D转换以及数据发送。利用位于手指和手背上的六个加速度传感器，通过MAX338多路开关，分别将各传感器的X轴、Y轴、Z轴分量分别送给CC2430。该芯片利用其内部的A/D对模拟量进行转换，并将信息通过射频方式发给接收端。考虑到用户佩戴位置的偏差对识别率的影响，系统对其硬件结构进行了相应的改善。为了保证佩带位置没有太大变化，将各传感器固定于一个软质手套上，并将手指位置用胶带固定牢，使用时以指甲盖为各传感器的参考点，以保证每次佩戴时，各加速度传感器位置基本保持一致。接收端模块采用与发送端相同的核心芯片CC2430，其主要完成包括：数据接收、滤波取整、特征提取、数据量化、抖动判定、模型训练与建立、模型匹配、结果输出与控制等。用户通过串口可以将接收到的加速度信息传输至上位机，便于对数据进行二次处理。 
该方案与其他方案相比，其优势在于：首先，克服了传统的单传感器手势识别系统对手部动作检测的局限性。系统采用多传感器的设计，分别利用放置在五根手指和手背上的6个加速度传感器，实时的感知每根手指和手掌的具体动作，从而更好更全面的获取动作者尽可能多的信息，以便完整的还原用户的意图。其次，由于ZigBee网络的最大传输速度250kb/s，能够保证手势数据的实时传输另外CC2430采用8051F增强型内核，其处理速度能够满足识别算法的基本要求。最后，ZigBee技术的应用可以方便的将该装置进行移植和改进。众所周知，许多手语是通过两只手协同动作，表达一个固定的意思。而目前的手势识别系统大都只考虑的单手的情况，对双手的情况并未作出考虑，利用ZigBee的自组网特性，可以方便的使两只手套组成一个网络，为后续扩展提供了极大的便利条件。 
手势动作的起点、终点检测是手势识别的第一个步骤，也是一个重要的步 骤。在识别过程中，若不能准确判断动作起始点和终点，则不能完整的提取出该动作的一系列加速度特征序列，从而不能完整的还原出动作者的意图，给后续处理带来很多麻烦。经过研究发现人的手势动作即具有连续性也有其分割性。每个手势动作看起来是连续的，实际每个手势都有短暂的停顿时间。在这段时间内，由于没有手势产生，所以各方向的加速度值也相对平稳。当有手势发生时，加速度值则突然变的剧烈，利用这个特点可以把一串连续手势分割成一组单手势组合。 
人手在做每个动作的过程中难免会发生颤抖或偏移，不同的人在做同一手势过程中也会存在细微的差别。如何断定该动作是抖动还是动作者的手势对于动作的完整性来说也是至关重要的一步，因此要在识别过程中加入抖动判定过程，以解决这些抖动带来的干扰。系统在抖动判定方法的设计上，依据大量采集到手势信息得出，从极限情况出发，即由于人与人之间存在差异产生的最大抖动可能，得出的同一手势，最大数据抖动范围在-11-11之间。C(t)为采集到的某个人的手势数据，Y(t)为经过抖动判断后输出的决策信息。 
系统所采用的手势识别算法是基于隐马尔可夫模型(HMM)识别算法，其核心思想是一种基于转移概率和传输概率的随机模型。在进行匹配算法之前，首先为每个手势建立手势模型，通过训练得到状态转移概率矩阵A和输出概率矩阵B。识别时通过最优状态序列Viterbi算法计算未知手势在状态转移过程中的最大概率，根据最大概率对应的模型进行判决。该算法的优势在于不需要时间规整，可节约判决时的计算时间和存储量，但带来的问题是训练时计算量较大。系统利用HMM模型对采集的手势进行判别。 
附图说明
图1为识别原理图。 
具体实施方式
下面结合附图对本发明的实施例作进一步详细阐述： 
系统利用动作停顿时间门限阈值和抖动阈值的方法对抖动和细微动作做出相应的区分，从实验结果来看能够达到准确判断和识别的目的。同时系统采用隐马尔可夫模型对训练样本数据和测试样本数据进行识别，平均训练样本识别率 达到99％。这个结果表明，采用多加速度传感器中每个动作的加速度数据作为特征量，之后利用HMM和Viterbi算法进行训练、识别以及优化的方法，在手势交互过程中，能达到较好的识别效果。 

Claims (4)

1.一种基于多加速度传感器和ZigBee网络的手势采集系统。利用位于手指和手背上的六个加速度传感器，将不同方向轴上的信息传送给接收端。接收端通过滤波取整、起始点检测、抖动判定、模型训练与模型匹配对动作者手势信息进行判决。系统利用隐马尔可夫(HMM)模型识别算法，对0-9十个手势进行判断，在20位实验者中得到了98％以上的识别率，同时由于其使用了ZigBee网络，系统移植性也得到了进一步加强。 
2.根据权利要求1所述的一种基于多加速度传感器和ZigBee网络的手势采集系统，其特征在于将不同方向轴上的信息传送给接收端。 
3.根据权利要求1所述的一种基于多加速度传感器和ZigBee网络的手势采集系统，其特征在于接收端通过滤波取整、起始点检测、抖动判定、模型训练与模型匹配对动作者手势信息进行判决。 
4.根据权利要求1所述的一种基于多加速度传感器和ZigBee网络的手势采集系统，其特征在于利用隐马尔可夫(HMM)模型识别算法。 
CN201310601411.1A 2013-11-20 2013-11-20 一种基于多加速度传感器和ZigBee网络的手势采集系统 Pending CN104656883A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201310601411.1A CN104656883A (zh) 2013-11-20 2013-11-20 一种基于多加速度传感器和ZigBee网络的手势采集系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201310601411.1A CN104656883A (zh) 2013-11-20 2013-11-20 一种基于多加速度传感器和ZigBee网络的手势采集系统

Publications (1)

Publication Number Publication Date
CN104656883A true CN104656883A (zh) 2015-05-27

Family

ID=53248123

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201310601411.1A Pending CN104656883A (zh) 2013-11-20 2013-11-20 一种基于多加速度传感器和ZigBee网络的手势采集系统

Country Status (1)

Country Link
CN (1) CN104656883A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106843482A (zh) * 2017-01-22 2017-06-13 无锡吾成互联科技有限公司 一种基于无线自组网模式的手势姿态检测装置
CN109785722A (zh) * 2019-01-30 2019-05-21 福建中医药大学 一种叩诊训练辅助方法及装置

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102053702A (zh) * 2010-10-26 2011-05-11 南京航空航天大学 动态手势控制系统与方法
JP2013041553A (ja) * 2011-08-19 2013-02-28 Fujitsu Ltd 画像処理装置、画像処理方法及び画像処理プログラム

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102053702A (zh) * 2010-10-26 2011-05-11 南京航空航天大学 动态手势控制系统与方法
JP2013041553A (ja) * 2011-08-19 2013-02-28 Fujitsu Ltd 画像処理装置、画像処理方法及び画像処理プログラム

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
董玉华等: "基于ZigBee和加速度传感器的手势识别研究", 《传感技术学报》 *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106843482A (zh) * 2017-01-22 2017-06-13 无锡吾成互联科技有限公司 一种基于无线自组网模式的手势姿态检测装置
CN109785722A (zh) * 2019-01-30 2019-05-21 福建中医药大学 一种叩诊训练辅助方法及装置
CN109785722B (zh) * 2019-01-30 2024-04-02 福建中医药大学 一种叩诊训练辅助方法及装置

Similar Documents

Publication Publication Date Title
US20220051061A1 (en) Artificial intelligence-based action recognition method and related apparatus
Shukor et al. A new data glove approach for Malaysian sign language detection
Wang et al. Hear sign language: A real-time end-to-end sign language recognition system
CN102024151B (zh) 手势动作识别模型的训练方法和手势动作识别方法
Sadek et al. A new approach for designing a smart glove for Arabic Sign Language Recognition system based on the statistical analysis of the Sign Language
US9619024B2 (en) Virtual input device and virtual input method
CN107678550A (zh) 一种基于数据手套的手语手势识别系统
CN106575150A (zh) 使用运动数据识别手势
CN102985897A (zh) 高效姿势处理
CN210402266U (zh) 一种手语翻译系统和手语翻译手套
CN105446461A (zh) 手势识别方法及使用该方法的手掌虚拟键盘及其输入方法
CN108196668B (zh) 一种便携式手势识别系统及方法
Fang et al. Dynamic gesture recognition using inertial sensors-based data gloves
Su et al. HDL: Hierarchical deep learning model based human activity recognition using smartphone sensors
CN110866468A (zh) 一种基于无源rfid的手势识别系统及方法
Coffen et al. Tinydl: Edge computing and deep learning based real-time hand gesture recognition using wearable sensor
CN108985157A (zh) 一种手势识别方法和装置
Bhardwaj A Review Paper on Smart Glove-Converts Gestures into Speech and Text
CN111695408A (zh) 一种智能手势信息识别系统及方法、信息数据处理终端
Ge et al. A real-time gesture prediction system using neural networks and multimodal fusion based on data glove
CN104656883A (zh) 一种基于多加速度传感器和ZigBee网络的手势采集系统
Iyer et al. Generalized hand gesture recognition for wearable devices in IoT: Application and implementation challenges
CN113268143A (zh) 一种基于强化学习的多模态人机交互方法
Lauss et al. A deep learning based hand gesture recognition on a low-power microcontroller using imu sensors
CN104660646A (zh) 一种基于多加速度传感器和ZigBee网络的牙刷动作采集系统

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20150527