CN110908515A - 基于腕部肌肉压力的手势识别方法和装置 - Google Patents

基于腕部肌肉压力的手势识别方法和装置 Download PDF

Info

Publication number
CN110908515A
CN110908515A CN201911177737.XA CN201911177737A CN110908515A CN 110908515 A CN110908515 A CN 110908515A CN 201911177737 A CN201911177737 A CN 201911177737A CN 110908515 A CN110908515 A CN 110908515A
Authority
CN
China
Prior art keywords
pressure
gesture
gesture recognition
wrist
data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201911177737.XA
Other languages
English (en)
Inventor
刘涛
曹星星
张美艳
宋新宇
董子剑
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beihang University
Original Assignee
Beihang University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beihang University filed Critical Beihang University
Priority to CN201911177737.XA priority Critical patent/CN110908515A/zh
Publication of CN110908515A publication Critical patent/CN110908515A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/015Input arrangements based on nervous system activity detection, e.g. brain waves [EEG] detection, electromyograms [EMG] detection, electrodermal response detection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/24Classification techniques
    • G06F18/241Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2411Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on the proximity to a decision surface, e.g. support vector machines
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/24Classification techniques
    • G06F18/243Classification techniques relating to the number of classes
    • G06F18/24323Tree-organised classifiers
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017Gesture based interaction, e.g. based on a set of recognized hand gestures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/045Combinations of networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods

Abstract

本公开提供了一种基于腕部肌肉压力的手势识别方法,根据预设佩戴要求,将内置有压力传感器的装置佩戴至腕部;通过至少一个压力传感器及装置的前置电路从肌肉处采集压力信号,转为电压值;将电压模拟信号输入至单片机进行处理,并传输至通讯模块;通过通讯模块,将压力数据传输至电子终端完成手势信息的处理与识别控制操作。该方法无需配置繁琐的摄像系统,具有便捷性。同时,该方法具有数据采集方便、处理方便,信噪比高等优点。更进一步,该方法所涉及的物理硬件,使用了FSR柔性压力传感器及低功耗控制器与蓝牙模块,极大地降低了手势识别实现的成本,更具实用性与易用性。本公开还提供了一种基于腕部肌肉压力的手势识别装置。

Description

基于腕部肌肉压力的手势识别方法和装置
技术领域
本公开涉及生物医学电子技术领域,具体而言,涉及一种基于腕部肌肉压力的手势识别方法和装置。
背景技术
计算机的飞速发展使其在我们的生活中扮演着越来越重要的角色,有效的人机交互(Human-Computer Interaction,HCI)可以使人的操作更趋灵活、快捷、方便。随着智能计算机的发展,人机界面对人向计算机传递信息的途径提出了更高的要求,可能涉及触觉、语言、姿势等多方面信息,也意味着人机交互将更加的拟人化、智能化、实体化。传统的鼠标键盘式输入的局限性无法满足更深度的交互需求,更多形式新颖的交互手段是目前正在不断探索研究的课题,而人体动作识别技术作为热点领域正不断被发掘。
作为人体最为灵活同时可进行最多操作的部位,人手可以完成众多复杂而具有技巧性的操作,为信息交流提供了新的思路。手势控制在虚拟现实人机交互、医疗领域的无菌控制等场景下具有极大的发展前景与研究必要性,是一种高效的、高度人性化的控制手段。作为一种人机交互手段,高精度、高响应速度、易用性、可穿戴、非侵入性等,都是手势识别的重要指标。
现有技术方案中,基于运动测量的数据手套,即数据手套是检测手部运动的典型装置,利用位置、方向以及弯曲传感器,可以对手指运动进行较为精确的捕捉,是目前手势识别精度最高的手段,利用数据手套进行手语词汇的采集研究被多次报道。李东洁等提出GA算法和LM算法混合优化的RBF神经网络手势识别方法处理数据手套识别中的实时性与精确性问题,提高了训练质量,降低了数据处理的复杂度,但手套的佩戴导致了其侵入性较强,设备笨重,影响了使用者的手部运动灵活性,另一方面,其造价成本也较为昂贵。
此外,现有技术方案中,基于各种相机的视觉识别,即基于视觉的手势识别技术是目前备受关注、发展最多的手势识别手段,技术已经较为成熟,它主要通过RGB相机、深度相机、双目相机获取的手部RGB图像和深度图像作为输入,利用计算机视觉技术跟踪手部运动轨迹或识别手势动作。目前,基于视觉的手势识别已经能够达到较高的识别精度,PavloMolchanov等提出了一种基于三维卷积神经网络的手势识别算法,该方法对Viva挑战数据集的分类正确率为77.5%;张远来等提出一种基于Intel Realsense技术的深度图像学习方法,增强了可靠性,是进行动态手势识别的一种可展望方式;王攀等利用Kinect传感器获取手势的深度图像,利用多项式时间算法获得了有效的手势识别。但基于图像手势识别的方法但其处理方式复杂,使用场景相当受限,受光照和遮挡影响大,难以实现便携,动作分割是其中的一大技术难点。这些因素大大限制了基于视觉的手势识别方式的易用性。
另外,现有技术方案中,基于肌电的生物识别,即基于肌电的手势识别方案中,Shuo Jiang等测量肌电信号进行动态手势识别分类得到的准确率为75.7%,Shuo Jiang等在测量肌电信号的同时使用惯性传感器进行测量,融合两种方法后得到的准确率为94.6%。另外,基于肌电的手势识别研究中,Mahdi Khezri等提出一种自适应神经模糊推理系统识别手部动作命令,动作识别率可达到92%;魏庆丽等通过采集前臂表面肌电(SEMG)信号,应用概率神经网络(PNN)进行训练识别,对于伸食指、握拳、伸腕、屈腕4种手势的识别正确率可达到97.62%,但以上两个研究较高的准确率只在离线处理时获得,未进行动态识别的实验。目前来看,采集到的表面肌电信号本身信噪比相对低,信号处理复杂,导致基于表面肌电信号的手势识别目前应用较少,且电极对于佩戴位置和佩戴方式有特殊要求,使得易用性和舒适性降低。
进一步地,在外科手术的术中环境,需要严格遵守无菌原则,尽可能避免医生与各种仪器设备的接触,这样的要求使得计算机操作室和手术室通常大多情况下距离很近,但会在物理上将二者隔离开。手术过程中,难免地需要使用一些仪器设备进行辅助操作,或者需要随时查看患者的医学诊断影像以指导手术的进行,尤其是病人的病灶图像包含了很多手术过程需要用到的信息,如患者手术前图像细节、如血管、神经、周围临近器官的空间位置等。结构越复杂的手术,主治医生在查看病灶上花费的时间越多,以乳腺癌肿瘤切除手术为例,目前每台手术在上述环节花费的时间在20分钟到1小时不等,患者手术时间的延长会导致术中失血增多,脏器暴露时间的增加易引起感染,增加手术失败的风险。除此之外,在传统的按键或触摸式的人机交互方式下,医疗人员需要直接接触仪器设备。这在很大程度上限制了医生的活动范围的同时也大大提高了病菌污染的风险。一般在手术室内,医生可以由护士或辅助人员来传达意图,间接操作。但这种非自主操作并不方便,而且传递错误概率较高,而对于医疗领域,发生的错误极易导致严重事故。
基于以上原因,开发出一款能够实时进行手势识别用以医生进行非接触式的仪器控制有着很高的医疗实用价值,对于手术的高效、高质量的进行有着十分重要的意义,也是医疗领域中亟需满足的迫切需求。
发明内容
为了解决现有技术中的技术问题,本公开实施例提供了一种基于腕部肌肉压力的手势识别方法和装置,该方法相较于基于计算机视觉的识别技术,无需配置繁琐的摄像系统,用户只需佩戴腕带即可实现手势识别,腕带的便携性为用户带来极大的方便,且佩戴腕带并不影响正常工作生活。在便携式设备中,相较于该领域研究较多的基于肌电和脑电信号的手势识别技术,本方法无需搭建复杂的数据采集电路,无需进行复杂的预处理操作,且信号不易受到干扰,具有数据采集方便、处理方便,信噪比高等优点。由于采用基于肌肉压力信号的手势识别,采用任一时刻的压力信号均可判断手势,实时性好。本方法所涉及的物理硬件,由于使用了FSR柔性压力传感器及低功耗控制器与蓝牙模块,在硬件选择上,极大地降低了手势识别实现的成本,更具实用性与易用性。
第一方面,本公开实施例提供了一种基于腕部肌肉压力的手势识别方法,包括以下步骤:根据预设佩戴要求,将内置有压力传感器的装置佩戴至腕部;通过至少一个压力传感器及装置的前置电路从肌肉处采集压力信号,转为电压值;将电压模拟信号输入至单片机进行处理,并传输至通讯模块;通过通讯模块,将压力数据传输至电子终端完成手势信息的处理与识别控制操作。
在其中一个实施例中,还包括:将内置有压力传感器的装置与电子终端进行连接,并按照预设训练规则完成训练操作,生成训练模型。
在其中一个实施例中,还包括:内置有压力传感器的装置的至少一个压力传感器实时采集传感器位置处探测到的压力信号;将所述压力信号传输到上位机,并将数据输入SVM分类器、RF分类器进行训练操作。
在其中一个实施例中,还包括:对所述训练模型进行测试,计算并显示所述训练模型在测试集数据上的准确率。
在其中一个实施例中,所述将电压模拟信号输入至单片机进行处理包括:将所述电压模拟信号经过模数转换,由所述单片机将转换后的数据进行打包操作。
在其中一个实施例中,所述通过通讯模块,将压力数据传输至电子终端完成手势信息的处理与识别控制操作包括:所述电子终端通过MATLAB读取接收的压力数据,并将所述压力数据处理为手势信息。
在其中一个实施例中,所述通过通讯模块,将压力数据传输至电子终端完成手势信息的处理与识别控制操作还包括:通过将所述手势信息输入至所述电子终端的图形用户界面,以完成手势的识别与实时控制。
第二方面,本公开实施例提供了一种计算机可读存储介质,其上存储有计算机程序,该程序被处理器执行时实现上述的方法的步骤。
第三方面,本公开实施例提供了一种计算机设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,所述处理器执行所述程序时实现上述的方法的步骤。
第四方面,本公开实施例提供了一种基于腕部肌肉压力的手势识别装置,所述装置包括:设置模块,用于根据预设佩戴要求,将内置有压力传感器的装置佩戴至腕部;采集模块,用于通过至少一个压力传感器及装置的前置电路从肌肉处采集压力信号,转为电压值;处理与传输模块,用于将电压模拟信号输入至单片机进行处理,并传输至通讯模块;识别控制模块,用于通过通讯模块,将压力数据传输至电子终端完成手势信息的处理与识别控制操作。
本发明提供的一种基于腕部肌肉压力的手势识别方法和装置,根据预设佩戴要求,将内置有压力传感器的装置佩戴至腕部;通过至少一个压力传感器及装置的前置电路从肌肉处采集压力信号,转为电压值;将电压模拟信号输入至单片机进行处理,并传输至通讯模块;通过通讯模块,将压力数据传输至电子终端完成手势信息的处理与识别控制操作。该方法相较于基于计算机视觉的识别技术,无需配置繁琐的摄像系统,用户只需佩戴腕带即可实现手势识别,腕带的便携性为用户带来极大的方便,且佩戴腕带并不影响正常工作生活。在便携式设备中,相较于该领域研究较多的基于肌电和脑电信号的手势识别技术,本方法无需搭建复杂的数据采集电路,无需进行复杂的预处理操作,且信号不易受到干扰,具有数据采集方便、处理方便,信噪比高等优点。由于采用基于肌肉压力信号的手势识别,采用任一时刻的压力信号均可判断手势,实时性好。本方法所涉及的物理硬件,由于使用了FSR柔性压力传感器及低功耗控制器与蓝牙模块,在硬件选择上,极大地降低了手势识别实现的成本,更具实用性与易用性。
附图说明
为了更清楚地说明本公开实施例的技术方案,下面对实施例描述中所需要使用的附图作简单地介绍:
图1为本发明一个实施例中的一种基于腕部肌肉压力的手势识别方法的步骤流程示意图;
图2(a)-(g)为本发明一个实施例中的一种基于腕部肌肉压力的手势识别方法的示例示意图;以及
图3为本发明一个实施例中的一种基于腕部肌肉压力的手势识别装置的结构示意图。
具体实施方式
下面结合附图和实施例对本申请进行进一步的详细介绍。
在下述介绍中,术语“第一”、“第二”仅为用于描述的目的,而不能理解为指示或暗示相对重要性。下述介绍提供了本公开的多个实施例,不同实施例之间可以替换或者合并组合,因此本申请也可认为包含所记载的相同和/或不同实施例的所有可能组合。因而,如果一个实施例包含特征A、B、C,另一个实施例包含特征B、D,那么本申请也应视为包括含有A、B、C、D的一个或多个所有其他可能的组合的实施例,尽管该实施例可能并未在以下内容中有明确的文字记载。
为了使本发明的目的、技术方案及优点更加清楚明白,以下通过实施例,并结合附图,对本发明一种基于腕部肌肉压力的手势识别方法和装置的具体实施方式进行进一步详细说明。应当理解,此处所描述的具体实施例仅用以解释本发明,并不用于限定本发明。
首先,需要说明的是,人的一个手势动作,涉及脑电发出信号、肌电传输信号、肌肉运动、以及手势呈现等四个部分。目前基于脑电信号、肌电信号、数据手套以及视觉图像的手势识别研究较为深入,而肌肉运动所产生的压力信号以及皮肤表层的运动位移却被忽视。然而在手部运动时,肌肉形变所产生的力学信号、位移信号,利用压力、光学、电容传感器等是易于捕捉,也易于处理的。本公开涉及的一种基于腕部肌肉压力的手势识别方法和装置,通过在腕部佩戴附着有压力传感器的腕带的方式,进行手势识别与控制。
如图1所示,为一个实施例中的一种基于腕部肌肉压力的手势识别方法的流程示意图,具体包括以下步骤:
步骤102,根据预设佩戴要求,将内置有压力传感器的装置佩戴至腕部。
需要说明的是,本公开涉及的传感器使用,以测量肌肉形变为最终目标,不局限于柔性压力传感器,其它压力传感器、光学距离或形变传感器、电容式位移传感器等均可实现目标。且传感器排布方式不限于简单环绕,安装位置不局限于腕部,安装形式不局限于腕带。排布方式可改变传感器阵列的形式,采用多排或定点的形式。安装位置可置于前臂。安装形式也可对应为臂环、护腕等。
步骤104,通过至少一个压力传感器及装置的前置电路从肌肉处采集压力信号,转为电压值。
步骤106,将电压模拟信号输入至单片机进行处理,并传输至通讯模块。
具体的,将电压模拟信号输入至单片机进行处理包括:将所述电压模拟信号经过模数转换,由所述单片机将转换后的数据进行打包操作。
步骤108,通过通讯模块,将压力数据传输至电子终端完成手势信息的处理与识别控制操作。
需要说明的是,电子终端可理解为上位机,此处的上位机不限于PC接收后进行模型训练与数据处理。可选择由PC训练得到模型后,将模型输入到微处理器进行后续手势识别;或将训练与识别过程均集成至树莓派等高性能小型处理器中。机器学习模型亦不限于支持向量机、随机森林两种。
具体的,通过通讯模块,将压力数据传输至电子终端完成手势信息的处理与识别控制操作包括:所述电子终端通过MATLAB读取接收的压力数据,并将所述压力数据处理为手势信息;以及通过将所述手势信息输入至所述电子终端的图形用户界面,以完成手势的识别与实时控制。
在一个实施例中,本公开涉及的基于腕部肌肉压力的手势识别方法,还包括:将内置有压力传感器的装置与电子终端进行连接,并按照预设训练规则完成训练操作,生成训练模型。具体的,内置有压力传感器的装置的至少一个压力传感器实时采集传感器位置处探测到的压力信号;将所述压力信号传输到上位机,并将数据输入SVM(支持向量机,Support Vector Machine)分类器、RF(随机森林,Random Forest)分类器进行训练操作。
此外,还需要说明的是,本公开涉及的基于腕部肌肉压力的手势识别方法,还包括:对所述训练模型进行测试,计算并显示所述训练模型在测试集数据上的准确率。
为了更加清楚与准确地理解并应用本公开涉及的基于腕部肌肉压力的手势识别方法,本公开进行以下示例。需要说明的是,本公开保护范围不限于以下示例。
结合图2(a)-(g)所示,从内置有压力传感器的装置端一侧,即腕带以及电子终端一侧,即PC端进行详述。
具体的,从内置有压力传感器的装置端一侧可根据如图2(a)所示进行理解,图2(a)为佩戴至腕部的腕带的正反面示意图。具体的,使用弹性较低的尼龙绑带作为腕带材料。通过尼龙钩带通过铁扣后反向折回与尼龙绒带的配合,用于腕带佩戴的松紧调整与固定。
优选地,实际使用FSR400压力传感器共19个。用双面胶将压力传感器单排、相邻地牢固附着于尼龙绑带光滑面。实际佩戴时,传感器位于腕部尺骨桡骨茎突连线处,铁扣调整至掌心面桡骨侧。
进一步地,需要说明的是,如图2(b)所示,为内置有压力传感器的装置的传感器分压电路示意图。具体的,本公开使用10k电阻与压力传感器构成串联分压电路,作为信号采集电路。10k电阻一端接地,另一端与压力传感器连接,构成压力测量节点。该节点电压值包含压力信息,输出到单片机。
本公开所涉及的方法所需的物理硬件采用兼具低功耗、高性能、低成本等优点的信号处理芯片MSP430G2553(德州仪器)进行数据采集与传输。将压力测量节点连接至单片机10位精度的A/D转换通道,转换并包装后的电压数据输出到蓝牙。单片机对压力传感器电压值,进行顺序循环采样,并在每采得一个电压值后,随即将所得数据通过蓝牙发送出去。每个采样传输循环结束后,单片机进入低功耗休眠状态,直至被定时唤醒。单片机采样速率调整至每秒循环采样约10次。
本公开涉及的方法所需的物理硬件采用两片16通道硅栅CMOS高速模拟开关CD74HC4067,将单片机单一模数转换通道拓展为与32路相接。使用六个单片机GPIO脚,产生片选与位选信号,实现单片机单采样通道对多传感器的循环采样。
本公开涉及的方法所需的物理硬件采用低功耗高速率蓝牙5.0BLE数传模块HC-42(汇承科技),完成数据在腕带与上位机PC之间的传输。腕带蓝牙数据传输波特率设为115200,8位数据位,1位停止位,无奇偶校验与流控制,设为从机。PC同样使用一个HC-42模块进行数据接收,设为主机,其它参数与从机相同。其中,硬件电路部分的供电可采用锂聚合物电池,通过稳压电路,为单片机、传感器和蓝牙,提供3.3V稳定电压。如图2(c)所示,为内置有压力传感器的装置,即实际使用场景中为腕带部分的电路原理示意图。
此外,从电子终端一侧可根据如图2(d)所示进行理解,图2(d)为PC端的图形用户界面示意图。具体的,本公开所涉及的方法在PC程序方面,使用Matlab进行编程。PC程序与单片机配合,完成数据接收、数据定标、数据处理、界面显示等功能。本系统的PC编程包括:读取串口数据、数据转换为矩阵格式并存储、对所得数据进行手势定标、利用有标签数据进行手势识别模型的训练、手势识别、压力数据的界面显示、训练方案的指导、吃豆豆游戏的控制。实现的功能为:实时读取压力数据并绘图显示;在训练数据采集完成后,自动给数据打上手势标签,并完成支持向量机(SVM)和随机森林(RF)模型的训练;根据有标签数据划分测试集和验证集,计算模型的手势识别准确率;将训练好的模型导入到吃豆豆游戏,通过手势操作,实时控制游戏进行。
通过以下具体游戏进行理解,即结合图2(e),利用本公开所涉及的方法统进行吃豆豆游戏操作时:PC选择一个USB串口,连接蓝牙数据接收设备。受试按照要求佩戴好腕带,打开腕带电源。打开GUI,选择相应的模式,选择自动连接设备。等待连接成功后,点击开始训练,受试按GUI提示框的要求完成训练过程,压力传感器实时采集传感器位置处探测到的压力信号,并传输到上位机,将数据输入SVM分类器、RF分类器进行训练。点击测试按钮,受试按GUI提示框的要求完成测试过程,根据SVM分类器、RF分类器生成的模型进行测试。点击模型生成,GUI后台自动生成模型,计算并显示模型在测试集数据上的准确率。点击“吃豆豆游戏”开始手势控制吃豆豆游戏。
在该模式下,取“手指方向朝前,手掌侧立,掌心朝内,拇指位于上侧,手部放松微张开”为静息态。在此姿态的基础上,对手掌向‘上’、‘下’、‘左’、‘右’四个方向摆动的手势进行训练与识别。最终效果为,根据手掌上下左右摆动,实时控制吃豆豆人物的上下左右,进行游戏。
此外,需要进一步说明的是,如图2(f)所示,利用本公开所涉及的方法进行吃豆豆游戏操作时:PC选择一个USB串口,连接蓝牙数据接收设备。受试按照要求佩戴好腕带,打开腕带电源。打开GUI,选择相应的模式,选择自动连接设备。等待连接成功后,点击开始训练,受试按GUI提示框的要求完成训练过程。点击测试按钮,受试按GUI提示框的要求完成测试过程。点击模型生成,GUI后台自动生成模型,计算并显示数字手势模型在测试集数据上的准确率。点击“数字手势”开始实时识别当前手势。在该模式下,取“手掌放松稍握拳,掌心向下”为静息态。完成对手势数字的训练与识别。
由此可见,通过图2(g)可知,手势控制分为两条技术路线:其一为手势识别,其二为手部姿态。其中,手部姿态可视为输入数据部分,通过手势识别,最终实现手势控制。这里需要说明的是,手部姿态的数据获取为FSR压力采集模块与模数转换与数据传输模块,两大技术模块进行技术支撑。具体的,FSR压力采集模块包括:FSR压力传感器与前置分压电路;模数转换与数据传输模块包括:模数转换单元与单片机蓝牙传输单元。进一步地,通过PC端内置的Matlab蓝牙串口读取上述两大模块的数据,通过动作定标,完成模型训练、生成操作。该方法相比传统手势识别方法,具有实时性好、准确率高、复杂度低、信号稳定、成本低、不影响手部活动的优点,且同时,可为多通道人机交互技术在多领域的应用提供了新的方法。
本发明提供的一种基于腕部肌肉压力的手势识别方法,根据预设佩戴要求,将内置有压力传感器的装置佩戴至腕部;通过至少一个压力传感器及装置的前置电路从肌肉处采集压力信号,转为电压值;将电压模拟信号输入至单片机进行处理,并传输至通讯模块;通过通讯模块,将压力数据传输至电子终端完成手势信息的处理与识别控制操作。该方法相较于基于计算机视觉的识别技术,无需配置繁琐的摄像系统,用户只需佩戴腕带即可实现手势识别,腕带的便携性为用户带来极大的方便,且佩戴腕带并不影响正常工作生活。在便携式设备中,相较于该领域研究较多的基于肌电和脑电信号的手势识别技术,本方法无需搭建复杂的数据采集电路,无需进行复杂的预处理操作,且信号不易受到干扰,具有数据采集方便、处理方便,信噪比高等优点。由于采用基于肌肉压力信号的手势识别,采用任一时刻的压力信号均可判断手势,实时性好。本方法所涉及的物理硬件,由于使用了FSR柔性压力传感器及低功耗控制器与蓝牙模块,在硬件选择上,极大地降低了手势识别实现的成本,更具实用性与易用性。
基于同一发明构思,还提供了一种基于腕部肌肉压力的手势识别装置。由于此装置解决问题的原理与前述一种基于腕部肌肉压力的手势识别方法相似,因此,该装置的实施可以按照前述方法的具体步骤实现,重复之处不再赘述。
需要说明的是,本发明提供一种基于腕部肌肉压力的手势识别装置通过在腕部佩戴附着有柔性压力传感器的腕带的方式获取腕部压力信号,由前置电路采集转化为可反映压力大小的电压;单片机将电压信号模数转换后打包输送至无线模块;通过无线模块将数据发送到上位机;通过上位机的机器学习算法,实现手势识别与控制,同时在图形用户界面显示。
如图3所示,为一个实施例中的一种基于腕部肌肉压力的手势识别装置的结构示意图。该基于腕部肌肉压力的手势识别装置10包括:设置模块200、采集模块400、处理与传输模块600和识别控制模块800。
其中,设置模块200用于根据预设佩戴要求,将内置有压力传感器的装置佩戴至腕部;采集模块400用于通过至少一个压力传感器及装置的前置电路从肌肉处采集压力信号,转为电压值;处理与传输模块600用于将电压模拟信号输入至单片机进行处理,并传输至通讯模块;识别控制模块800用于通过通讯模块,将压力数据传输至电子终端完成手势信息的处理与识别控制操作。
本发明提供的一种基于腕部肌肉压力的手势识别装置,首先通过设置模块根据预设佩戴要求,将内置有压力传感器的装置佩戴至腕部;再通过采集模块通过至少一个压力传感器及装置的前置电路从肌肉处采集压力信号,转为电压值;处理与传输模块将电压模拟信号输入至单片机进行处理,并传输至通讯模块;最终识别控制模块通过通讯模块,将压力数据传输至电子终端完成手势信息的处理与识别控制操作。该装置相较于基于计算机视觉的识别技术,无需配置繁琐的摄像系统,用户只需佩戴腕带即可实现手势识别,腕带的便携性为用户带来极大的方便,且佩戴腕带并不影响正常工作生活。在便携式设备中,相较于该领域研究较多的基于肌电和脑电信号的手势识别技术,本方法无需搭建复杂的数据采集电路,无需进行复杂的预处理操作,且信号不易受到干扰,具有数据采集方便、处理方便,信噪比高等优点。由于采用基于肌肉压力信号的手势识别,采用任一时刻的压力信号均可判断手势,实时性好。本方法所涉及的物理硬件,由于使用了FSR柔性压力传感器及低功耗控制器与蓝牙模块,在硬件选择上,极大地降低了手势识别实现的成本,更具实用性与易用性。
本发明实施例还提供了一种计算机可读存储介质,该计算机可读存储介质上存储有计算机程序,该程序被图1中处理器执行。
本发明实施例还提供了一种包含指令的计算机程序产品。当该计算机程序产品在计算机上运行时,使得计算机执行上述图1的方法。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程,是可以通过计算机程序来指令相关的硬件来完成,所述的程序可存储于一计算机可读取存储介质中,该程序在执行时,可包括如上述各方法的实施例的流程。其中,所述的存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory,ROM)或随机存储记忆体(Random AccessMemory,RAM)等。
以上所述实施例仅表达了本发明的几种实施方式,其描述较为具体和详细,但并不能因此而理解为对本发明专利范围的限制。应当指出的是,对于本领域的普通技术人员来说,在不脱离本发明构思的前提下,还可以做出若干变形和改进,这些都属于本发明的保护范围。因此,本发明专利的保护范围应以所附权利要求为准。
以上结合具体实施例描述了本公开的基本原理,但是,需要指出的是,在本公开中提及的优点、优势、效果等仅是示例而非限制,不能认为这些优点、优势、效果等是本公开的各个实施例必须具备的。另外,上述公开的具体细节仅是为了示例的作用和便于理解的作用,而非限制,上述细节并不限制本公开为必须采用上述具体的细节来实现。
本公开中涉及的器件、装置、设备、系统的方框图仅作为示例性的例子并且不意图要求或暗示必须按照方框图示出的方式进行连接、布置、配置。如本领域技术人员将认识到的,可以按任意方式连接、布置、配置这些器件、装置、设备、系统。诸如“包括”、“包含”、“具有”等等的词语是开放性词汇,指“包括但不限于”,且可与其互换使用。这里所使用的词汇“或”和“和”指词汇“和/或”,且可与其互换使用,除非上下文明确指示不是如此。这里所使用的词汇“诸如”指词组“诸如但不限于”,且可与其互换使用。
另外,如在此使用的,在以“至少一个”开始的项的列举中使用的“或”指示分离的列举,例如“A、B或C的至少一个”的列举意味着A或B或C,或AB或AC或BC,或ABC(即A和B和C)。此外,措辞“示例的”不意味着描述的例子是优选的或者比其他例子更好。
为了示例和描述的目的已经给出了以上描述。此外,此描述不意图将本公开的实施例限制到在此公开的形式。尽管以上已经讨论了多个示例方面和实施例,但是本领域技术人员将认识到其某些变型、修改、改变、添加和子组合。

Claims (10)

1.一种基于腕部肌肉压力的手势识别方法,其特征在于,包括以下步骤:
根据预设佩戴要求,将内置有压力传感器的装置佩戴至腕部;
通过至少一个压力传感器及装置的前置电路从肌肉处采集压力信号,转为电压值;
将电压模拟信号输入至单片机进行处理,并传输至通讯模块;
通过通讯模块,将压力数据传输至电子终端完成手势信息的处理与识别控制操作。
2.根据权利要求1所述的基于腕部肌肉压力的手势识别方法,其特征在于,还包括:将内置有压力传感器的装置与电子终端进行连接,并按照预设训练规则完成训练操作,生成训练模型。
3.根据权利要求1所述的基于腕部肌肉压力的手势识别方法,其特征在于,还包括:内置有压力传感器的装置的至少一个压力传感器实时采集传感器位置处探测到的压力信号;
将所述压力信号传输到上位机,并将数据输入SVM分类器、RF分类器进行训练操作。
4.根据权利要求2所述的基于腕部肌肉压力的手势识别方法,其特征在于,还包括:对所述训练模型进行测试,计算并显示所述训练模型在测试集数据上的准确率。
5.根据权利要求1所述的基于腕部肌肉压力的手势识别方法,其特征在于,所述将电压模拟信号输入至单片机进行处理包括:将所述电压模拟信号经过模数转换,由所述单片机将转换后的数据进行打包操作。
6.根据权利要求1所述的基于腕部肌肉压力的手势识别方法,其特征在于,所述通过通讯模块,将压力数据传输至电子终端完成手势信息的处理与识别控制操作包括:所述电子终端通过MATLAB读取接收的压力数据,并将所述压力数据处理为手势信息。
7.根据权利要求1所述的基于腕部肌肉压力的手势识别方法,其特征在于,所述通过通讯模块,将压力数据传输至电子终端完成手势信息的处理与识别控制操作还包括:通过将所述手势信息输入至所述电子终端的图形用户界面,以完成手势的识别与实时控制。
8.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,该程序被处理器执行时实现所述权利要求1-7中任一项所述方法的步骤。
9.一种计算机设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,其特征在于,所述处理器执行所述程序时实现所述权利要求1-7中任一项所述方法的步骤。
10.一种基于腕部肌肉压力的手势识别装置,其特征在于,所述装置包括:
设置模块,用于根据预设佩戴要求,将内置有压力传感器的装置佩戴至腕部;
采集模块,用于通过至少一个压力传感器及装置的前置电路从肌肉处采集压力信号,转为电压值;
处理与传输模块,用于将电压模拟信号输入至单片机进行处理,并传输至通讯模块;
识别控制模块,用于通过通讯模块,将压力数据传输至电子终端完成手势信息的处理与识别控制操作。
CN201911177737.XA 2019-11-27 2019-11-27 基于腕部肌肉压力的手势识别方法和装置 Pending CN110908515A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911177737.XA CN110908515A (zh) 2019-11-27 2019-11-27 基于腕部肌肉压力的手势识别方法和装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911177737.XA CN110908515A (zh) 2019-11-27 2019-11-27 基于腕部肌肉压力的手势识别方法和装置

Publications (1)

Publication Number Publication Date
CN110908515A true CN110908515A (zh) 2020-03-24

Family

ID=69820035

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911177737.XA Pending CN110908515A (zh) 2019-11-27 2019-11-27 基于腕部肌肉压力的手势识别方法和装置

Country Status (1)

Country Link
CN (1) CN110908515A (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111476158A (zh) * 2020-04-07 2020-07-31 金陵科技学院 一种基于pso-pca-svm的多通道生理信号体感手势识别方法
CN112099669A (zh) * 2020-09-11 2020-12-18 合肥工业大学 用于腕背部手势识别的驻极体电容式压力传感器单元阵列
CN113342159A (zh) * 2021-05-07 2021-09-03 哈尔滨工业大学 一种通过腕部震动识别的手腕可穿戴系统
CN113687714A (zh) * 2021-07-16 2021-11-23 北京理工大学 一种主动式柔性压力传感器的指尖交互系统及方法
CN114515146A (zh) * 2020-11-17 2022-05-20 北京机械设备研究所 基于电学测量的智能手势识别方法及系统
CN114997227A (zh) * 2022-05-30 2022-09-02 中国科学院长春应用化学研究所 一种基于肌肉应力的手势识别系统

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN202584010U (zh) * 2012-04-06 2012-12-05 寇传阳 一种腕上手势操控系统
CN105022471A (zh) * 2014-04-23 2015-11-04 王建勤 基于压力传感器阵列进行手势识别的装置与方法
CN106383579A (zh) * 2016-09-14 2017-02-08 西安电子科技大学 一种基于emg和fsr的精细手势识别系统及方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN202584010U (zh) * 2012-04-06 2012-12-05 寇传阳 一种腕上手势操控系统
CN105022471A (zh) * 2014-04-23 2015-11-04 王建勤 基于压力传感器阵列进行手势识别的装置与方法
CN106383579A (zh) * 2016-09-14 2017-02-08 西安电子科技大学 一种基于emg和fsr的精细手势识别系统及方法

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111476158A (zh) * 2020-04-07 2020-07-31 金陵科技学院 一种基于pso-pca-svm的多通道生理信号体感手势识别方法
CN111476158B (zh) * 2020-04-07 2020-12-04 金陵科技学院 一种基于pso-pca-svm的多通道生理信号体感手势识别方法
CN112099669A (zh) * 2020-09-11 2020-12-18 合肥工业大学 用于腕背部手势识别的驻极体电容式压力传感器单元阵列
CN112099669B (zh) * 2020-09-11 2023-02-10 合肥工业大学 用于腕背部手势识别的驻极体电容式压力传感器单元阵列
CN114515146A (zh) * 2020-11-17 2022-05-20 北京机械设备研究所 基于电学测量的智能手势识别方法及系统
CN114515146B (zh) * 2020-11-17 2024-03-22 北京机械设备研究所 基于电学测量的智能手势识别方法及系统
CN113342159A (zh) * 2021-05-07 2021-09-03 哈尔滨工业大学 一种通过腕部震动识别的手腕可穿戴系统
CN113687714A (zh) * 2021-07-16 2021-11-23 北京理工大学 一种主动式柔性压力传感器的指尖交互系统及方法
CN114997227A (zh) * 2022-05-30 2022-09-02 中国科学院长春应用化学研究所 一种基于肌肉应力的手势识别系统

Similar Documents

Publication Publication Date Title
CN110908515A (zh) 基于腕部肌肉压力的手势识别方法和装置
Jiang et al. Emerging wearable interfaces and algorithms for hand gesture recognition: A survey
US11707336B2 (en) Method and system for hand tracking in a robotic system
US10970936B2 (en) Use of neuromuscular signals to provide enhanced interactions with physical objects in an augmented reality environment
US10852835B2 (en) Systems, apparatuses and methods for controlling prosthetic devices by gestures and other modalities
CN109804331B (zh) 检测和使用身体组织电信号
US20220269346A1 (en) Methods and apparatuses for low latency body state prediction based on neuromuscular data
US9901402B2 (en) Method and apparatus for hand gesture control in a minimally invasive surgical system
US9389694B2 (en) Systems, articles, and methods for gesture identification in wearable electromyography devices
US20190033974A1 (en) Armband for tracking hand motion using electrical impedance measurement
US8543240B2 (en) Master finger tracking device and method of use in a minimally invasive surgical system
EP4025982A1 (en) Systems, methods, and interfaces for performing inputs based on neuromuscular control
US8682489B2 (en) Method and system for hand control of a teleoperated minimally invasive slave surgical instrument
CN106413529A (zh) 光学压力传感器
CN112057059A (zh) 基于多模态生理数据的心理压力智能采集测试分析系统
Ferrone et al. A fabric-based wearable band for hand gesture recognition based on filament strain sensors: A preliminary investigation
Ling et al. Comparative study of gesture recognition based on accelerometer and photoplethysmography sensor for gesture interactions in wearable devices
CN104856707A (zh) 基于机器视觉的压力传感数据手套及其抓握过程判断方法
Shi et al. I-GSI: A novel grasp switching interface based on eye-tracking and augmented reality for multi-grasp prosthetic hands
US11592901B2 (en) Control device and control method for robot arm
Chegani et al. Pilot study on fine finger movement regression, using FMG
Xiao Detecting upper extremity activity with force myography
CN212032171U (zh) 一种利用传感器进行非接触映射式动作识别设备
Cho Estimation of Upper Limb Motion Based on Skin Deformation Measured with a Distance Sensor Array
Ivaylov et al. Multimodal Motor Imagery BCI Based on EEG and NIRS

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20200324