CN105786189B - 一种基于肌动信号的指部独立动作识别方法及系统 - Google Patents

一种基于肌动信号的指部独立动作识别方法及系统 Download PDF

Info

Publication number
CN105786189B
CN105786189B CN201610274974.8A CN201610274974A CN105786189B CN 105786189 B CN105786189 B CN 105786189B CN 201610274974 A CN201610274974 A CN 201610274974A CN 105786189 B CN105786189 B CN 105786189B
Authority
CN
China
Prior art keywords
mmg
signal
finger portion
intelligent terminal
data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201610274974.8A
Other languages
English (en)
Other versions
CN105786189A (zh
Inventor
但果
何清
丁惠君
陈子豪
董磊
陈思平
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen University
Original Assignee
Shenzhen University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen University filed Critical Shenzhen University
Priority to CN201610274974.8A priority Critical patent/CN105786189B/zh
Publication of CN105786189A publication Critical patent/CN105786189A/zh
Application granted granted Critical
Publication of CN105786189B publication Critical patent/CN105786189B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/015Input arrangements based on nervous system activity detection, e.g. brain waves [EEG] detection, electromyograms [EMG] detection, electrodermal response detection

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Neurosurgery (AREA)
  • General Health & Medical Sciences (AREA)
  • Neurology (AREA)
  • Health & Medical Sciences (AREA)
  • Dermatology (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Biomedical Technology (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)

Abstract

本发明公开一种基于肌动信号的指部独立动作识别方法及系统,其中所述方法包括:设备端通过传感器对MMG信号进行实时采集;采用低功耗蓝牙技术将采集的MMG信号实时传输至智能终端;所述智能终端接收MMG信号后,依次对所述MMG信号进行去噪、信号段提取、特征提取和排序、模式识别处理,得到识别结果并输出。通过本发明可实现基于肌动信号同时对5个手指的单独指部动作进行实时识别并输出识别结果,并且其识别率高达93.1%。

Description

一种基于肌动信号的指部独立动作识别方法及系统
技术领域
本发明涉及生物信号识别技术领域,尤其涉及一种基于肌动信号的指部独立动作识别方法及系统。
背景技术
基于肌动信号(Mechanomyograph,MMG)的手部动作识别技术作为一种可应用于假肢控制、虚拟现实康复训练等领域的新型人机接口技术,近年来在学术界与工业界都得到了广泛的关注和研究,有大量工作涌现。但是现有的相类似原理的手部动作识别技术,大部分都是基于肌电信号(Electromyography,EMG)或者是肌电信号和肌动信号两者结合实现手部动作识别,而仅依靠MMG信号实现手部动作识别研究现状还主要停留在对一些手部大动作的识别上,比如对手腕屈伸、攥拳和压腕的识别,就目前而言,尚未有研究报道提出可以实现仅通过肌动信号对5个手指进行独立动作识别的算法和系统。
因此,现有技术还有待于改进和发展。
发明内容
鉴于上述现有技术的不足,本发明的目的在于提供一种基于肌动信号的指部独立动作识别方法和系统,旨在解决现有技术无法实现基于肌动信号对5个手指进行独立动作识别的问题。
本发明的技术方案如下:
一种基于肌动信号的指部独立动作识别方法,其中,包括步骤:
A、设备端通过传感器对MMG信号进行实时采集;
B、采用低功耗蓝牙技术将采集的MMG信号实时传输至智能终端;
C、所述智能终端接收MMG信号后,依次对所述MMG信号进行去噪、信号段提取、特征提取和排序、模式识别处理,得到识别结果并输出。
优选地,所述的基于肌动信号的指部独立动作识别方法,其中,所述传感器为MPU6050惯性传感器。
优选地,所述的基于肌动信号的指部独立动作识别方法,其中,所述设备端设置有一CC2541主控芯片,用于控制传感器对MMG信号进行实时采集以及控制将采集的MMG信息发送至智能终端。
优选地,所述的基于肌动信号的指部独立动作识别方法,其中,所述步骤B具体包括:
B1、设备端播放广播;
B2、在预定时间内,判断智能终端是否向设备端发出建立连接的请求,若是,则进入B3,若否,则结束工作;
B3、设备端接受智能终端的请求并建立连接,设备端将所采集的MMG数据以数据包的形式实时发送到智能终端;
B4、智能终端接收到数据包后,先检查数据包序列是否正确,若检查到存在数据包丢失,则通过帧序列计算出丢失数据包的数量,再结合丢失数据包前后数据包的序列值,使用二次样条插值法,对丢失的数据包进行补充;
B5、智能终端将MMG数据写入数据缓冲区。
优选地,所述的基于肌动信号的指部独立动作识别方法,其中,所述步骤C具体包括:
C1、智能终端接收到MMG信号后,进行带通滤波处理,以去除高频噪声;
C2、采用指部动作检测算法从MMG信号中提取包含有指部运动信息的MMG信号段;
C3、通过WPT法和TFDH法对含有指部运动信息的MMG信号段进行特征提取,并对提取的特征参数进行排序;
C4、通过分类器对提取的特征参数进行模式识别,从而识别出相应的指部动作,同时输出识别结果。
优选地,所述的基于肌动信号的指部独立动作识别方法,其中,所述步骤C2中采用基于差分模板滤波的指部动作检测算法从MMG信号中提取包含有指部运动信息的MMG信号段,所述检测算法采用公式:,式中的t为时间参量,Zd(t)为本算法的输出结果,当其值为1时,表示检测到指部动作正在进行,当其值为0时,表示未检测到指部动作;为卷积值,其公式为:,其中代表卷积运算,D为差分模板,为经过滤波后的MMG信号;为阈值,其公式为:,其中为阈值调节因子,为肌肉保持静止的时间段。
优选地,所述的基于肌动信号的指部独立动作识别方法,其中,所述步骤C2中采用基于均方根的指部动作检测算法从MMG信号中提取包含有指部运动信息的MMG信号段。
一种基于肌动信号的指部独立动作识别系统,其中,包括设备端和智能终端,所述设备端包括:
信号采集模块,用于通过传感器对MMG信号进行实时采集;
无线数据发送模块,用于采用低功耗蓝牙技术将采集的MMG信号实时传输至智能终端;
所述智能终端包括:
无线数据接收模块,用于实时接收MMG信号;
信息处理模块,用于接收MMG信号后,依次对所述MMG信号进行去噪、信号段提取、特征提取和排序、模式识别处理,得到识别结果并输出。
优选地,所述的基于肌动信号的指部独立动作识别系统,其中,所述无线数据发送模块具体包括:
广播播放单元,用于设备端播放广播;
判断建立连接单元,用于在预定时间内,判断智能终端是否向设备端发出建立连接的请求,若是,则进入B4,若否,则结束工作;
数据发送单元,用于设备端接受智能终端的请求并建立连接后,设备端将所采集的MMG数据以数据包的形式实时发送到智能终端;
数据包丢失处理单元,用于智能终端接收到数据包后,先检查数据包序列是否正确,若检查到存在数据包丢失,则通过帧序列计算出丢失数据包的数量,再结合丢失数据包前后数据包的序列值,使用二次样条插值法,对丢失的数据包进行补充;
数据写入单元,用于智能终端将MMG数据写入数据缓冲区。
优选地,所述的基于肌动信号的指部独立动作识别系统,其中,所述信息处理模块具体包括:
去噪单元,智能终端接收到MMG原始信号后,进行带通滤波去除高频噪声,提高信号的信噪比;
信号段提取单元,采用指部动作检测算法从MMG信号流中提取包含有指部运动信息的MMG信号段;
特征提取及排序单元,通过WPT法和TFDH法对含有指部运动信息的MMG信号段进行特征提取,并对提取的特征参数进行排序;
模式识别及显示单元,通过分类器对提取的特征参数进行模式识别,从而识别出相应的指部动作,同时输出识别结果。
有益效果:本发明设备端通过传感器采集MMG信号并采用低功耗蓝牙技术将采集的MMG信号实时传输至智能终端,所述智能终端对MMG信号进行去噪、信号段提取、特征提取和排序、模式识别处理,得到识别结果并输出。通过本发明可实现基于肌动信号同时对5个手指的单独指部动作进行实时识别并输出识别结果,并且其识别率高达93.1%。
附图说明
图1为本发明一种基于肌动信号到的指部独立动作识别方法较佳实施例的流程图。
图2为图1所示方法中步骤S110的具体流程图。
图3为图1所示方法中步骤S120的具体流程图。
图4为本发明采集的原始MMG信号波形图。
图5为本发明原始MMG信号通过带通滤波处理后的MMG信号波形图。
图6为本发明一种基于肌动信号到的指部独立动作识别系统较佳实施例的流程图。
图7为图6所示系统中无线数据发送模块的具体结构框图。
图8为图6所示系统中信息处理模块的具体结构框图。
具体实施方式
本发明提供一种基于肌动信号的指部独立动作识别方法及系统,为使本发明的目的、技术方案及效果更加清楚、明确,以下对本发明进一步详细说明。应当理解,此处所描述的具体实施例仅仅用以解释本发明,并不用于限定本发明。
请参阅图1,图1为本发明一种基于肌动信号的指部独立动作识别方法较佳实施例的流程图,如图所示,其包括步骤:
S100、设备端通过传感器对MMG信号进行实时采集;
S110、采用低功耗蓝牙技术将采集的MMG信号实时传输至智能终端;
S120、所述智能终端接收MMG信号后,依次对所述MMG信号进行去噪、信号段提取、特征提取和排序、模式识别处理,得到识别结果并输出。
在本发明中,设备端通过传感器采集MMG信号并采用低功耗蓝牙技术将采集的MMG信号实时传输至智能终端,所述智能终端对MMG信号进行去噪、信号段提取、特征提取和排序、模式识别处理,得到识别结果并输出。通过本发明可实现同时对5个手指的单独指部动作进行实时识别并输出,并且其识别率高达93.1%。
所述步骤S100中,设备端通过传感器对MMG信号进行实时采集,就目前而言,对于MMG信号的的采集,常见的有惯性传感器、激光位移传感器以及麦克风传感器。其中激光位移传感器具有较高的灵敏度,可以捕获高精度的MMG信号,但是其相关设备却往往结构复杂,成本高昂,并不符合本发明可穿戴性与低功耗的要求;而对于基于麦克风传感器的MMG采集系统中,一般需要设计一个气腔(airchamber)放置在皮肤与麦克风传感器之间,这一气腔结构使得整个MMG信号采集模块的体积的微型化受到了限制,故而也不能很好地满足本发明可穿戴性的设计需求;随着微电子机械(Micro-Electro-Mechanical System,MEMS)技术的发展,基于MEMS技术的惯性传感器由于其具备体积小、功耗低的特点,目前已被广泛应用于可穿戴式设备中,用于获取使用者的各种运动信息。
本发明优选INVENSENORS公司的MPU6050作为传感器芯片来进行MMG信号采集,所述MPU6050惯性传感器具有以下特点:1)、灵敏度可以达到6×10-5g/LSB,经实验测试,指部动作的MMG信号峰峰值一般>0.3g;2)、最高采样频率为1KHz,而MMG的频率主要分布在10~50HZ,所以1Khz的采样频率足以满足MMG信号采集的需求;3)、芯片体积仅为3mm*3mm*0.9mm,有利于减小整体电路的体积;4)、芯片采用IIC接口,且内部自带低通数字滤波器,节省了外围的模拟电路设计工作,同时也有利于进一步缩小电路体积;5)、具备三通道(X/Y/Z轴)的加速度传感器和三通道(X/Y/Z轴)的陀螺仪,有利于通过多模态对肌肉运动的分析;6)、价格低廉,每颗传感器价格仅为1~2美元。
由于基于MPU6050的MMG信号采集电路设计较为简单,且在官方数据手册中也提供了电路参考设计,在此不做详细叙述。在传感器配置上,结合MMG信号以及MPU6050器件特点,本发明将MPU6050的最大测量范围设置为±2G,灵敏度可以达到6×10-5g/LSB。考虑到了奈圭斯特采样定理,避免信号的混叠失真,本发明将MPU6050的内置低通截止频率设置为200Hz,采样频率设置为1000Hz。而在数据读取方面,由于本系统目前只用到了Z轴方向的加速度数据,进行信号处理及模式识别,所以本发明将仅读取MPU6050中Z轴加速度寄存器的加速度数据。
进一步,本发明设备端还设置有一CC2541主控芯片,用于控制传感器对MMG信号进行实时采集以及控制将采集的MMG信息发送至智能终端。具体地,本发明采用了CC2541作为主控芯片来进行电路设计,CC2541是TI公司设计的一款针对BLE 传输协议的低功耗微控制芯片。该芯片内嵌有2.4G射频收发器,支持BLE无线通信应用开发,同时还内嵌了主频可达72M的80C51内核,足以满足本发明中传感器对MMG信号进行实时采集的控制需求。再结合其自身具备的低功耗,体积小(6mm * 6mm*0.9mm)的特点,有利于进一步降低设备端的硬件尺寸,提高设备的可穿戴性。主控芯片主要完成两部分任务,一个是控制MPU6050传感器,完成对MMG信号的实时采集。该部分任务主要是主控单元通过IIC总线对MPU6050内部的寄存器进行读写来完成的,如配置采样频率、低通滤波器以及对传感数据的实时读取等,在此不做赘述。而另一个任务,则是作为设备端,通过BLE无线技术完成对MMG数据的实时发送。
所述步骤S110中,采用低功耗蓝牙技术将采集的MMG信号实时传输至智能终端,低功耗蓝牙技术(Bluetooth Low Energy,BLE)是一种针对短距离无线监控应用设计的低功耗无线通信技术。BLE属于蓝牙4.0协议中的一部分,该无线传输技术的最大特点在于低功耗特性上,根据相关报道,在使用一个纽扣电池供电的情况,根据具体工作状态不同,该系统理论上可以连续工作长达2.0天~14.1年。而在保证其低功耗的同时,其最小通信延时也达到了<676μs,可以满足大多数应用中对于通信时延的要求。
所述BLE协议栈可分为控制层(Controllayer)、主机层(Host layer)以及应用层(Application Layer)。其中,控制层内又可细分为物理层与数据链路层,这与TCP/IP协议中的物理层与数据链路层功能类似,主要负责完成物理层面以及逻辑层面上的无线数据传输。在BLE协议中,控制层的传输协议使用的是IEEE802.11协议来实现的,该协议是IEEE协会制定的短距离低通量无线通信协议,该协议因为其具备低功耗、低延时的特点而被广泛应用。
主机层则包含了数种通信协议以及一个主机控制接口,主机控制接口主要完成的任务是将其上诸多协议所处理好数据帧传输到控制层,从而完成数据的发送;主机层的另一个任务就是通过各层协议来进行对通信的管理和控制,确保网络通信的安全性(通用访问层、安全管理层)、稳定性(通用属性规范层、属性层)以及低功耗等。
BLE协议栈的最上层为应用层,该层为开放层,协议栈并未对该层进行相应的协议规定,该层的协议将主要由开发者根据所开发的应用需求不同,自行定义,而本发明基于BLE应用层设计的通信流程具体包括以下步骤,如图2所示:
S111、设备端播放广播;
S112、在预定时间内,判断智能终端是否向设备端发出建立连接的请求,若是,则进入B4,若否,则结束工作;较佳地,设备端通过播放广播通知周边的智能终端,所述设备端处于可连接的状态,在预定时间内(1~10分钟),比如1分钟内,如果有智能终端向设备端发送建立连接的请求,则进入S113;如果在1分钟内,没有智能终端向设备端发送建立连接的请求,则结束工作。
S113、设备端接受智能终端的请求并建立连接,设备端将所采集的MMG数据以数据包的形式实时发送到智能终端;
S114、智能终端接收到数据包后,先检查数据包序列是否正确,若检查到存在数据包丢失,则通过帧序列计算出丢失数据包的数量,再结合丢失数据包前后数据包的序列值,使用二次样条插值法,对丢失的数据包进行补充;
S115、智能终端将MMG数据写入数据缓冲区,等待后续的算法处理。
进一步,在上述通信流程中,智能终端对整个通信网络状态进行监听,若发现网络连接断开,则立刻开始对设备端发送连接建立请求,尝试重新建立连接。而智能终端如果在预定时间(例如10分钟)内无法与设备端建立连接,则结束工作。
进一步,所述智能终端包括智能手机、平板电脑、笔记本、台式电脑、智能手表等。
对于本发明的通信流程设计中,主要是基于BLE协议的技术上加入了自动重连机制与数据包丢失处理机制,自动重连机制主要是为了使通信网络在受到干扰破坏后,可以自动恢复,提高通信网络的鲁棒性。而数据包丢失处理机制,则是由于BLE协议在发送间隔较短时,进行快速数据发送时会存在较高的丢包率的现象而设计的。针对这一问题,本发明从两个方面进行处理。首先,由于每次MMG采集的数据长度为2个字节(MPU6050输出的数据长度为16位,需用2个字节的空间进行存储),而在CC2541中BLE协议栈一次可发送的包长为19个字节,所以本系统的MMG数据采集端将会使用每9次采集1次发送的方式进行数据发送,从而提高每次数据发送的间隔时间。其次,对丢失的数据通过二次样条插值法进行拟合补偿,这主要是为了保证数据传输的延时。同时,由于MMG是一个低频率的平缓信号,在丢失数据较少的情况下,通过曲线拟合可以保证MMG信号变化趋势的完整。因此,本发明设计数据包格式如表1所示:
表1 数据包格式定义
数据1(低8位) 数据1(低8位) 数据2(低8位) 数据2(低8位) …… 数据9(低8位) 数据1(低8位)
由于实际实验中,单个数据包丢失现象远远多于连续丢包现象,且连续丢包数目一般不会超过10个。所以,上图中的帧序列将会从0—255递增,当帧序列达到255后将重新置为0,如此循环。这样即可通过前后帧序列的数值,计算所丢失的数据包数目,得到对应的字节数,从而进行插值操作。
在本发明步骤S120中,当所述智能终端接收MMG信号后,依次对所述MMG信号进行去噪、信号段提取、特征提取和排序、模式识别处理,得到识别结果并输出。所述步骤120具体包括以下步骤,如图3所示:
S121、智能终端接收到MMG信号后,进行带通滤波处理,以去除高频噪声;
S122、采用指部动作检测算法从MMG信号中提取包含有指部运动信息的MMG信号段;
S123、通过WPT法和TFDH法对含有指部运动信息的MMG信号段进行特征提取,并对提取的特征参数进行排序;
S124、通过分类器对提取的特征参数进行模式识别,从而识别出相应的指部动作,同时输出识别结果。
所述步骤S121中,当智能终端接收到MMG信号后,首先进行的是信号预处理,对传感器所采集的原始MMG数据进行带通滤波,去除其直流成分及高频噪声,以提高信号的信噪比。由于MMG信号的主要频率成分分布在低频部分,其主要频率分布范围为5~50Hz。所以为确保尽可能地保留MMG信息,去除出直流成分与高频噪声,本发明采用了通频带为0.1~50Hz的4阶巴特沃斯带通滤波来对MMG信号进行实时滤波。图4和图5分别为MMG信号滤波前与滤波后的对比,从对比结果可以明显看出,通过带通数字滤波器后,MMG信号的变化趋势变得更加明显,这有利于后续的模式识别。
所述步骤S122中,当对MMG数据进行去噪处理后,采用指部动作检测算法从MMG信号中提取包含有指部运动信息的MMG信号段,进行手指运动识别的第一个任务是从MMG信号流中准确实时地捕获到包含手指运动的数据信息,为后续的特征提取及分类识别提供准确的样本数据。对于这一任务,本文使用了两套不同的指部动作检测(TED)算法分别进行实现,这两个方法分别为基于均方根(RootMean Square, RMS)法的TED算法和基于差分模板滤波(DifferenceTemplate Filter, DTF)法的TED算法,下面对所述两种方法进行详细说明:
首先基于均方根(RMS)的指部动作检测算法是一种在MMG相关应用中被广泛运用的算法之一,如肌肉功能评估与自动肌肉运动事件检测等应用。本发明所使用的基于RMS的TED算法其公式如下:,式中的t为时间参量,而是本算法的输出结果。当其值为1时,表示检测到指部动作正在进行,而当值为0时,则表示目前未检测到指部运动动作。而RMS值及阈值的计算公式分别如下:;,其中为MMG数据中的均方根值,而W为进行RMS算法处理的窗长。根据研究结果,MMG信号处理的窗长为100ms~400ms时为最适窗长。根据以上结论,并结合实际试验,本发明最终确定使用的处理窗长为400ms,由于本发明的采样频率为1000Hz,所以窗长N的值为400。为测试者肌肉保持静止的时间段,所以阈值即为当肌肉保持静止时的平均RMS值。而为阈值调节因子,根据实验测试,在本发明中,该因子值设置为2.15。
较佳地,本发明优选采用基于差分模板滤波(DifferenceTemplate Filter,DTF)的指部动作检测算法从MMG信号中提取包含有指部运动信息的MMG信号段,在该算法中,将使用向量D(如表2所示)作为模板对MMG信号进行卷积,从而得到卷积值,由于当肌肉运动时,卷积值会急剧变大,而当肌肉保持静止时,MMG信号区域平稳,所以卷积值会稳定在一个较小的水平。故而,结合实验结果,设置相应的阈值判断门限,即可实现对肌肉运动事件的检测。
表2 差分模板
-1 -1 -1 -1 -1 -1 -1 -1 0 1 1 1 1 1 1 1 1
所述DTF算法采用公式:,式中的t为时间参量,Zd(t)为本算法的输出结果,当其值为1时,表示检测到指部动作正在进行,当其值为0时,表示未检测到指部动作;gd[t]为卷积值,其公式为:,其中代表卷积运算,D为差分模板,为经过滤波后的MMG信号;为阈值,其公式为:,其中αd为阈值调节因子,为肌肉保持静止的时间段。
相对于RMS法,从算法的时间复杂度而言,DTF法具备更低的算法复杂度,因此,DTF法在一些要求低功耗运算能力较差的嵌入式平台上,具备较高的应用价值。
所述步骤S123中,本发明分别从小波域、时域、频域三个方面对MMG信号段进行特征提取,实现对MMG信号的多维度多参数分析。其中,在小波域方面,本发明采用了WPT技术以及奇异值分解(SingularValue Decomposition,SVD)来实现特征提取,而对于时域与频域方面,则是采用了一种融合了多种参数提取算法,设计了一个时域与频域混合参数提取算法(Time and Frequency domain hybrid,TFDH)来实现。由于所提取的参数组成的特征空间维数较高,不利于进行模式分类。所以在提取了三个域空间的参数后,本发明还采用了一种基于特征评估算法,来对所提取到的特征进行特征选择。
具体地,对于小波变换域特征集的提取算法分为两大步骤,首先将对MMG信号进行WPT分解,从而得到小波域的WPT系数,作为相应的特征参数,然而,由于WPT系数往往数量庞大,并不适合直接用于模式识别之中。所以,本发明引入了SVD算法,对WPT系数构成的特征空间进行压缩,实现特征空间的降维,本发明通过上述算法最终可得到32个小波域特征参数。所述WPT和SVD算法均为现有计算方法,在此不做详细赘述。
对于时域及频域特征集的提取,在这部分算法中,本发明将结合使用6种不同的时域和频域算法方法进行特征提取,其中包含了4种时域特征参数以及2种频域特征参数。而本发明选用的6种参数,都是目前被广泛运用于MMG肌肉功能等领域,其在MMG肌肉信号分析方面已得到了广泛的认可和使用。本发明选用的6种参数分别为:波形长度、过零次数、幅度的总绝对值、平均差值、平均功率密度、中位频率。
对于一段MMG信号,经过本发明的算法处理后,可以得到38种特征参数(WPT算法中可提取出32种参数,TFDH算法中可提取出6种)来表征该段MMG信号。然而,这些特征并不是全部都是必须的。因为本发明所处理的MMG信号来源于MMG采集系统,其中除了包含了有用的肌肉运动信息外,还不可避免地包含了各种各样的噪声信号,如电子热噪声、运动伪影以及周围环境的振动信号等等。对于这些噪声信息,不但无助于提高指部独立动作的识别率,反而会影响到最终的模式识别的识别效果。因此,本发明还引入了一种特征评估算法,通过算法对38种特征参数对分类识别的有用性进行评估,并根据评估结果,从高到底,对特征值进行重新排列。对于每个特征值,其所排的位置越靠前,就表示该特征值包含有更多有利于分类识别的信息。如此,在后续的模式识别算法中,就可根据排序顺序来对特征参数进行选取。
在本发明中,特征排序是通过一种基于特征空间距离的特征评估算法。通过该算法,每个特征参数都会计算得到一个对应的F值。当F值越大,就意味着这个特征参数包含有更多的有利于识别分类的信息,更适合作为特征参数用于后续的识别。下面对F值的计算过程进行详细描述。
首先,F值是通过对模式识别中的训练分类器的训练样本集进行数据处理得到的。假设本发明总共要识别M种手势动作,那么训练样本集中将包含了M种动作,而每种动作都具有N个训练样本,而每个样本经过所述特征提取算法,分别可以得到38种特征参数。通过训练样本的数据分别计算出38种特征参数的F值:
首先计算每一种特征参数在相同动作样本内的平均距离,其平均距离公式定义如下:
其中N表示的是训练集中同一个手指动作的样本数量,表示的是在第j种手势的训练样本集中的第m个样本所提取出的第i种特征参数的数值。
而对于每一种特征参数在所有动作样本中的平均距离的计算可表述为如下,等式中的表示的是第ai个手指动作的平均距离:
;
计算该种参数特征在相同动作训练样本中的平均值
;
对于每种特征参数,其在不同手势动作的平均距离可以定义为如下公式:
最后计算每种特征的F值,。通过以上步骤,即可得到每种特征参数的F值,然后,根据对应F值得从大到小,将特征参数进行重新排序。
在所述步骤S124、通过分类器对提取的特征参数进行模式识别,从而识别出相应的指部动作,同时输出识别结果。指部动作特征识别是本发明算法中的最后一步,主要是将获取的特征向量输入到分类器中,通过分类器对数据进行识别,最终输出识别结果。而对于分类器的选择,为了使算法更容易移植到一些运算能力较差的嵌入式平台中,在本发明中,并不适合使用时间复杂度以及空间复杂度过关高的算法。因此,本发明优选支持向量机(Support Vector Machine, SVM)分类器、朴素贝叶斯分类器(Naïve Bayes Classifier,NBC)以及K最近邻点法(K-NearestNeighbor Algorithm,KNN)分类器三种分类器中的一种对提取的特征参数进行特征识别。
具体地, NBC是一种基于贝叶斯模型下的分类器。由于其算法简单而且有效,在模式识别领域得到了广泛的应用。甚至,在某些应用场景中,其分类性能可以媲美于其它的一些时间复杂度和空间复杂度较高的分类算法。在朴素贝叶斯分类器的计算模型中,其假设每个特征值之间是相互独立的,且对于每种特征参数的值都是呈现正态分布的。而事实上,在大部分应用中,特征值之间的往往都不可能是完全互相独立的,因此其应用范围受到了一些限制。但另一方面而言,正由于其假设所有特征参数都是互相独立的,大大简化了其分类器的算法模型,从而也大大降低了算法复杂度,所以在一些特征参数间相关性较低的分类应用中被广泛使用。
KNN是一种基于数理统计学分析方法所建立的一种分类器算法。当在小样本的分类应用中,KNN算法运算量较小,容易实现,但是当样本量开始增大时,其算法效率却会逐步下降。而另一方面,由于该算法是基于统计学模型的,所以这就要求训练样本的数量不能过小,否则便不具备统计学分析的意义,从而影响KNN分类算法的分类性能。
支持向量机是一种基于统计学习理论设计机器学习方法。其基本模型定义为特征空间上的间隔最大的最优分类器,借助凸二次优化技术实现间隔最大化。同时该分类器可以借助不同的核函数将部分在特征空间中线性不可分问题变换映射到高维空间中,从而实现对样本的线性可分。该算法在对于小样本量、高维度特征向量的模式识别应用中,具有较大的优势,因此在近几年来受到了在模式识别领域广受青睐。
本发明通过对采集的MMG实时数据进行去噪预处理,提高信号的信噪比。其后,使用TED算法,从MMG信号流中自动提取出包含有肌肉运动信息的MMG信号段。在这部分算法的设计中,发明使用了两种TED算法,分别为均方根法和差分模板滤波法,在使用TED算法提取MMG信号段后,则对该MMG信号进行特征提取。在特征提取方面,本发明分别使用了WPT和SVD法与TFDH法对MMG信号提取出了38种特征值,随后,使用特征评估算法对这38种特征根据算法评估得到F值按从高到低进行排序,而最后,在分类器方面,本发明尝试使用了三种不同的分类器:SVM,KNN,NBC,来进行模式识别,并将识别结果输出。总而言之,本发明通过上述方法实现了基于肌动信号同时对5个手指的单独指部动作进行实时识别并输出识别结果,并且其识别率高达93.1%。
基于上述方法,本发明还提供一种基于肌动信号的指部独立动作识别系统较佳实施例,如图6所示,其包括:
设备端10和智能终端20,所述设备端10包括:
信号采集模块11,用于通过传感器对MMG信号进行实时采集;
无线数据发送模块12,用于采用低功耗蓝牙技术将采集的MMG信号实时传输至智能终端;
所述智能终端20包括:
无线数据接收模块21,用于实时接收MMG信号;
信息处理模块22,用于接收MMG信号后,依次对所述MMG信号进行去噪、信号段提取、特征提取和排序、模式识别处理,得到识别结果并输出。
如图7所示,所述无线数据发送模块12具体包括:
广播播放单元121,用于设备端播放广播;
判断连接单元122,在预定时间内,判断智能终端是否向设备端发出建立连接的请求,若是,则进入123,若否,则结束工作;
数据发送单元123,设备端接受智能终端的请求并建立连接,设备端将所采集的MMG数据以数据包的形式实时发送到智能终端;
数据包丢失处理单元124,用于智能终端接收到数据包后,先检查数据包序列是否正确,若检查到存在数据包丢失,则通过帧序列计算出丢失数据包的数量,再结合丢失数据包前后数据包的序列值,使用二次样条插值法,对丢失的数据包进行补充;
数据写入单元125,智能终端将MMG数据写入数据缓冲区。
如图8所示,所述信息处理模块21具体包括:
去噪单元211,智能终端接收到MMG原始信号后,进行带通滤波去除高频噪声,提高信号的信噪比;
信号段提取单元212,采用指部动作检测算法从MMG信号流中提取包含有指部运动信息的MMG信号段;
特征提取及排序单元213,通过WPT法和TFDH法对含有指部运动信息的MMG信号段进行特征提取,并对提取的特征参数进行排序;
模式识别及显示单元214,通过分类器对提取的特征参数进行模式识别,从而识别出相应的指部动作,同时输出识别结果。
综上所述,本发明设备端通过传感器采集MMG信号并采用低功耗蓝牙技术将采集的MMG信号实时传输至智能终端,所述智能终端对MMG信号进行去噪、信号段提取、特征提取和排序、模式识别处理,得到识别结果并输出。通过本发明可实现基于肌动信号同时对5个手指的单独指部动作进行实时识别并输出识别结果,并且其识别率高达93.1%。
应当理解的是,本发明的应用不限于上述的举例,对本领域普通技术人员来说,可以根据上述说明加以改进或变换,所有这些改进和变换都应属于本发明所附权利要求的保护范围。

Claims (8)

1.一种基于肌动信号的指部独立动作识别方法,其特征在于,包括步骤:
A、设备端通过传感器对MMG信号进行实时采集;
B、采用低功耗蓝牙技术将采集的MMG信号实时传输至智能终端;
C、所述智能终端接收MMG信号后,依次对所述MMG信号进行去噪、信号段提取、特征提取和排序、模式识别处理,得到识别结果并输出;
所述步骤B具体包括:
B1、设备端播放广播;
B2、在预定时间内,判断智能终端是否向设备端发出建立连接的请求,若是,则进入B3,若否,则结束工作;
B3、设备端接受智能终端的请求并建立连接,设备端将所采集的MMG数据以数据包的形式实时发送到智能终端;
B4、智能终端接收到数据包后,先检查数据包序列是否正确,若检查到存在数据包丢失,则通过帧序列计算出丢失数据包的数量,再结合丢失数据包前后数据包的序列值,使用二次样条插值法,对丢失的数据包进行补充;
B5、智能终端将MMG数据写入数据缓冲区。
2.根据权利要求1所述的基于肌动信号的指部独立动作识别方法,其特征在于,所述传感器为MPU6050惯性传感器。
3.根据权利要求2所述的基于肌动信号的指部独立动作识别方法,其特征在于,所述设备端设置有一CC2541主控芯片,用于控制传感器对MMG信号进行实时采集以及控制将采集的MMG信息发送至智能终端。
4.根据权利要求1所述的基于肌动信号的指部独立动作识别方法,其特征在于,所述步骤C具体包括:
C1、智能终端接收到MMG信号后,进行带通滤波处理,以去除高频噪声;
C2、采用指部动作检测算法从MMG信号中提取包含有指部运动信息的MMG信号段;
C3、通过WPT法和TFDH法对含有指部运动信息的MMG信号段进行特征提取,并对提取的特征参数进行排序;
C4、通过分类器对提取的特征参数进行模式识别,从而识别出相应的指部动作,同时输出识别结果。
5.根据权利要求4所述的基于肌动信号的指部独立动作识别方法,其特征在于,所述步骤C2中采用基于差分模板滤波的指部动作检测算法从MMG信号中提取包含有指部运动信息的MMG信号段,所述检测算法采用公式:,式中的t为时间参量,Zd(t)为本算法的输出结果,当其值为1时,表示检测到指部动作正在进行,当其值为0时,表示未检测到指部动作;gd[t]为卷积值,其公式为:,其中代表卷积运算,D为差分模板,为经过滤波后的MMG信号;为阈值,其公式为:,其中αd为阈值调节因子,为肌肉保持静止的时间段。
6.根据权利要求4所述的基于肌动信号的指部独立动作识别方法,其特征在于,所述步骤C2中采用基于均方根的指部动作检测算法从MMG信号中提取包含有指部运动信息的MMG信号段。
7.一种基于肌动信号的指部独立动作识别系统,其特征在于,包括设备端和智能终端,所述设备端包括:
信号采集模块,用于通过传感器对MMG信号进行实时采集;
无线数据发送模块,用于采用低功耗蓝牙技术将采集的MMG信号实时传输至智能终端;
所述智能终端包括:
无线数据接收模块,用于实时接收MMG信号;
信息处理模块,用于接收MMG信号后,依次对所述MMG信号进行去噪、信号段提取、特征提取和排序、模式识别处理,得到识别结果并输出;
所述无线数据发送模块具体包括:
广播播放单元,用于设备端播放广播;
判断建立连接单元,用于在预定时间内,判断智能终端是否向设备端发出建立连接的请求,若是,则进入数据发送单元,若否,则结束工作;
数据发送单元,用于设备端接受智能终端的请求并建立连接后,设备端将所采集的MMG数据以数据包的形式实时发送到智能终端;
数据包丢失处理单元,用于智能终端接收到数据包后,先检查数据包序列是否正确,若检查到存在数据包丢失,则通过帧序列计算出丢失数据包的数量,再结合丢失数据包前后数据包的序列值,使用二次样条插值法,对丢失的数据包进行补充;
数据写入单元,用于智能终端将MMG数据写入数据缓冲区。
8.根据权利要求7所述的基于肌动信号的指部独立动作识别系统,其特征在于,所述信息处理模块具体包括:
去噪单元,智能终端接收到MMG原始信号后,进行带通滤波去除高频噪声,提高信号的信噪比;
信号段提取单元,采用指部动作检测算法从MMG信号流中提取包含有指部运动信息的MMG信号段;
特征提取及排序单元,通过WPT法和TFDH法对含有指部运动信息的MMG信号段进行特征提取,并对提取的特征参数进行排序;
模式识别及显示单元,通过分类器对提取的特征参数进行模式识别,从而识别出相应的指部动作,同时输出识别结果。
CN201610274974.8A 2016-04-28 2016-04-28 一种基于肌动信号的指部独立动作识别方法及系统 Active CN105786189B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201610274974.8A CN105786189B (zh) 2016-04-28 2016-04-28 一种基于肌动信号的指部独立动作识别方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201610274974.8A CN105786189B (zh) 2016-04-28 2016-04-28 一种基于肌动信号的指部独立动作识别方法及系统

Publications (2)

Publication Number Publication Date
CN105786189A CN105786189A (zh) 2016-07-20
CN105786189B true CN105786189B (zh) 2018-07-06

Family

ID=56398918

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610274974.8A Active CN105786189B (zh) 2016-04-28 2016-04-28 一种基于肌动信号的指部独立动作识别方法及系统

Country Status (1)

Country Link
CN (1) CN105786189B (zh)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106446778A (zh) * 2016-08-27 2017-02-22 天津大学 基于加速度传感器的人体运动识别方法
CN108717857A (zh) * 2018-05-14 2018-10-30 深圳大学 一种信号处理方法及装置
CN111317600B (zh) * 2018-12-13 2022-03-15 深圳先进技术研究院 一种假肢控制方法、装置、系统、设备和存储介质
TWI689859B (zh) * 2019-03-19 2020-04-01 國立臺灣科技大學 由手腕偵測肌動訊號識別使用者手勢之系統及方法
CN110751060B (zh) * 2019-09-29 2021-02-19 西安交通大学 一种基于多源信号的便携式运动模式实时识别系统
CN111419225A (zh) * 2020-04-09 2020-07-17 北京品驰医疗设备有限公司 基于蓝牙分离式架构的脑电采集系统
CN111449641B (zh) * 2020-04-20 2021-07-20 浙江大学 一种基于光电信号检测的肌肉功能状态的评估装置和评估方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102013016A (zh) * 2010-11-23 2011-04-13 华东理工大学 可用于假肢手控制的基于肌音信号手部动作模式识别方法
CN104267807A (zh) * 2014-09-16 2015-01-07 华东理工大学 基于手部动作肌音信号的人机交互方法及交互系统
CN104850231A (zh) * 2015-05-25 2015-08-19 上海交通大学 一种基于表面肌电和肌音信号融合的人机接口系统

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102013016A (zh) * 2010-11-23 2011-04-13 华东理工大学 可用于假肢手控制的基于肌音信号手部动作模式识别方法
CN104267807A (zh) * 2014-09-16 2015-01-07 华东理工大学 基于手部动作肌音信号的人机交互方法及交互系统
CN104850231A (zh) * 2015-05-25 2015-08-19 上海交通大学 一种基于表面肌电和肌音信号融合的人机接口系统

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
基于肌音信号的指部动作模式识别研究;宋中建;《中国优秀硕士学位论文全文数据库信息科技辑》;20130615(第6期);第I138-1049页 *

Also Published As

Publication number Publication date
CN105786189A (zh) 2016-07-20

Similar Documents

Publication Publication Date Title
CN105786189B (zh) 一种基于肌动信号的指部独立动作识别方法及系统
CN107968689B (zh) 基于无线通信信号的感知识别方法及装置
CN105807935B (zh) 一种基于WiFi的手势控制人机交互系统
KR101939683B1 (ko) 사용자 행동 실시간 인식장치 및 방법
Zhang et al. Bayesian learning for spatial filtering in an EEG-based brain–computer interface
CN109890043B (zh) 一种基于生成式对抗网络的无线信号降噪方法
CN101980106B (zh) 一种脑机接口的二维光标控制方法及装置
Zhang et al. WiFi-based cross-domain gesture recognition via modified prototypical networks
KR101293446B1 (ko) 움직임을 상상하는 뇌파 분류 방법 및 그 장치
CN109512390B (zh) 基于eeg时域多维度特征及m-wsvm的睡眠分期方法及可穿戴装置
CN107451455A (zh) 解锁控制方法及相关产品
CN111954250B (zh) 一种轻量级Wi-Fi行为感知方法和系统
CN110074779A (zh) 一种脑电信号识别方法及装置
CN110059612A (zh) 一种基于信道状态信息的位置无关的手势识别方法及系统
CN107451444A (zh) 解锁控制方法及相关产品
CN114423034A (zh) 一种室内人员动作识别方法、系统、介质、设备及终端
CN112380903B (zh) 一种基于WiFi-CSI信号增强的人体活动识别方法
WO2024041053A1 (zh) 一种室内被动式人体行为识别方法及装置
CN102890822B (zh) 具有物体位置侦测功能的装置及其侦测方法
Chen et al. WiTT: Modeling and the evaluation of table tennis actions based on WIFI signals
CN106707789A (zh) 一种基于指纹识别的智能家居控制系统
Zhang et al. WiNum: A WiFi finger gesture recognition system based on CSI
CN109214325A (zh) 一种基于空间滤波与模版匹配的运动相关电位检测方法
CN114445954A (zh) 一种带有声音和面部双重识别的门禁装置
Abuhoureyah et al. Addressing Location Dependency in Human Activity Recognition Using Channel State Information via 3D-CWT Approach

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant