CN113342159A - 一种通过腕部震动识别的手腕可穿戴系统 - Google Patents

一种通过腕部震动识别的手腕可穿戴系统 Download PDF

Info

Publication number
CN113342159A
CN113342159A CN202110495765.7A CN202110495765A CN113342159A CN 113342159 A CN113342159 A CN 113342159A CN 202110495765 A CN202110495765 A CN 202110495765A CN 113342159 A CN113342159 A CN 113342159A
Authority
CN
China
Prior art keywords
wrist
classifier
vibration
wearable system
knocking
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110495765.7A
Other languages
English (en)
Inventor
程思瑶
闫嘉亮
贺长江
李峰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Harbin Institute of Technology
Original Assignee
Harbin Institute of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Harbin Institute of Technology filed Critical Harbin Institute of Technology
Priority to CN202110495765.7A priority Critical patent/CN113342159A/zh
Publication of CN113342159A publication Critical patent/CN113342159A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/014Hand-worn input/output arrangements, e.g. data gloves
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F2218/00Aspects of pattern recognition specially adapted for signal processing
    • G06F2218/12Classification; Matching

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

本发明是一种通过腕部震动识别的手腕可穿戴系统。本发明涉及物联网、可穿戴设备、输入设备技术领域,本发明包括手腕键盘、数据采集模块和分类器模块,所述数据采集模块采集手腕键盘数据信息,并对信息进行处理,所述数据采集模块将处理后的信息传输至分类器模块,所述分类器模块对数据信息进行特征提取和分类输出;本发明可以通过在手腕处的压电陶瓷震动传感器识别不同手指在不同位置的敲击,用户无需复杂的学习可以像使用键盘一样进行输入,同时因为其感应的是手指和手的相对位置它摆脱了对桌面位置的依赖可以任意的进行移动适应性和舒适性很强。

Description

一种通过腕部震动识别的手腕可穿戴系统
技术领域
本发明涉及物联网、可穿戴设备、输入设备技术领域,是一种通过腕部震动识别的手腕可穿戴系统。
背景技术
随着越来越多高性能的智能可穿戴设备的出现,可应用的环境和场合在逐渐增多的同时,对人机交互的要求也越来越复杂。但是由于物联网可穿戴设备的要求是轻便方便,如智能手表等设备的交互界面都较为狭小,一方面是成本考虑一方面是方便性和美观性考虑。这导致我们日常工作中常用的输入设备,例如键盘等不能在这些设备上具有良好的体验,在这种需求下有很多的技术被提出来解决物联网背景下的输入问题。
最常见的是基于语音输入的技术,但是会造成严重的隐私泄露,并且该技术非常容易受到背景噪声的干扰,同时也会带来较多噪声;近年来有大量的手势跟踪和手写识别的技术被提出,如和可以达到毫米级的精准跟踪,但是这一类的技术都只能满足用户的手写识别,和键盘等常用的输入手段相比其输入效率很低,并且便捷性也很差,此外该技术还会带来很大的能源消耗,在对重量敏感的可穿戴设备方面这是一个很大的缺点。
因而一些键入的输入方案也有被提出,其中一类典型的工作是通过识别桌面的敲击震动来进行传感,但是这些方案要么需要增加一个设备用于监听桌面的声音或者震动,要么需要集成到手机电脑等设备中,这种情况下,不论是增加的设备还是手机和键盘的相对位置是固定的,不能很方便的移动,这无疑在舒适性和便捷性上大打折扣,并且额外的设备会带来更高的成本这也是一个很大的问题;另一类工作将身体作为输入设备实现键入,通过对皮肤震动的传感来进行识别和输入,但是这种技术显然不适合持久的输入,多次在身体上敲击是很不舒适的行为,不适用于长时间的输入。
本专利可以通过在手腕处的压电陶瓷震动传感器识别不同手指在不同位置的敲击,用户无需复杂的学习可以像使用键盘一样进行输入,同时因为其感应的是手指和手的相对位置它摆脱了对桌面位置的依赖可以任意的进行移动适应性和舒适性很强,可以实现长时间的输入需求,并且由于压电陶瓷是无源器件,没有维持传感器的电量消耗其功耗非常低可以很容易的集成在智能手环和智能手表中。
发明内容
本发明针对多次在身体上敲击是很不舒适的行为,不适用于长时间的输入,本发明通过在手腕处的压电陶瓷震动传感器识别不同手指在不同位置的敲击,用户无需复杂的学习可以像使用键盘一样进行输入。
本发明提供了一种通过腕部震动识别的手腕可穿戴系统,本发明提供了以下技术方案:
一种通过腕部震动识别的手腕可穿戴系统,所述系统包括手腕键盘、数据采集模块和分类器模块,所述数据采集模块采集手腕键盘数据信息,并对信息进行处理,所述数据采集模块将处理后的信息传输至分类器模块,所述分类器模块对数据信息进行特征提取和分类输出;
所述手腕键盘包括:压电陶瓷、固定带和处理器,通过固定带将压电陶瓷固定在手腕处,所述压电陶瓷采集手腕震动信号,并传输至处理器。
优选地,采用各频率分量、功率谱、强度的信息提取为特征值,并代入多种经典的分类器模型中进行训练,采用10折交叉认证的方式验证各个分类器的性能,并用分类器训练结果作为权值,加权各个分类器得到组合分类器,最终手指在任何平面的敲击产生振动信号,经由收集、处理和分析得到分类结果即为按键输出。
优选地,数据采集模块进行数据去噪和敲击事件检测,采用在低通滤波器对信号进行滤波,设置滤波器截止频率在20-300Hz得到理想的信号;之后在处理后的信号上对窗内能量采取双阈值检测,判断出敲击振动信号发生的位置,并用窗口对震动信号进行分割,最终传递到最后的分类器模块进行分类识别。
优选地,分类器模块进行特征值提取和分类器训练,将提取的振动信号事件进行傅里叶变换,通过模运算获取信号的幅频响应作为该振动信号的特征值,将数据的特征值放在经典的随机森林分类器,进行训练,最终分类器训练结果得到最终输出。
优选地,采用的分类器不仅限于随机森林分类器,可采用SVM、决策树或者贝叶斯。
优选地,对去噪后的数据进行提取和分割敲击振动事件,使独立以便于后续的特征识别。
优选地,设L为滑动窗口的大小,i为所考虑的时间窗口的结束时间,b为敲击信号的开始时间,首先计算事件窗内的平均能量,更新记录窗口能量的标志符flag_up和flag_high,过滤能量过高的虚假事件,确定敲击事件末尾位置,得到时间长度相同的只包含一次敲击的信号段,用于特征提取。
本发明具有以下有益效果:
本发明可以通过在手腕处的压电陶瓷震动传感器识别不同手指在不同位置的敲击,用户无需复杂的学习可以像使用键盘一样进行输入,同时因为其感应的是手指和手的相对位置它摆脱了对桌面位置的依赖可以任意的进行移动适应性和舒适性很强,可以实现长时间的输入需求,并且由于压电陶瓷是无源器件,没有维持传感器的电量消耗其功耗非常低可以很容易的集成在智能手环和智能手表中。相比传统键盘,皮肤传感器等设备本发明的成本较低,不需要复杂的附加硬件设备,就可以实现在任何表面敲击的键入输入,便捷性和经济性很高。
相比身体表面的输入设备,本发明的舒适性较高,长期的点击对皮肤和身体是一种负担,本发明的操作方式和使用键盘相同不需要投入更多的学习成本,可以适用于长时间的输入需求。此外和其他复杂的传感器相比,压电陶瓷无需供能,可以很大程度上降低电源压力,可以方便的集成在智能手表、智能手环等设备中。相比手势输入设备,用户无需学习复杂的新动作,并且振动信号更符合键盘的键入习惯,用户可以快速的使用。
附图说明
图1为手腕可穿戴系统硬件示意图;
图2为手腕可穿戴系统概述图;
图3为敲击信号识别算法流程图。
具体实施方式
以下结合具体实施例,对本发明进行了详细说明。
具体实施例一:
根据图1至图3所示,本发明提供一种通过腕部震动识别的手腕可穿戴系统,
一种通过腕部震动识别的手腕可穿戴系统,所述系统包括手腕键盘、数据采集模块和分类器模块,所述数据采集模块采集手腕键盘数据信息,并对信息进行处理,所述数据采集模块将处理后的信息传输至分类器模块,所述分类器模块对数据信息进行特征提取和分类输出;
所述手腕键盘包括:压电陶瓷、固定带和处理器,通过固定带将压电陶瓷固定在手腕处,所述压电陶瓷采集手腕震动信号,并传输至处理器。
结合图1进行说明,振动是自然界的普遍现象,当手指与物体碰撞时,一部分振动将以横向波的形式通过皮肤传播,而另一部分则会以纵波的形式通过骨骼和肌腱传播。不同手指不同姿势的敲击所导致的振动也有自己的特异性。如图1所示,除拇指外,四个手指的肌腱都连接到手腕处。因而,手指的敲击造成的振动通过不同的手指、骨骼和肌肉进行传播,最终在手腕处会收到一个合成的振动信号其中包含了从不同途径传播到手腕的振动,不同种类的敲击都能在手腕处获得振动信号,并且这些振动信号由于产生时的敲击形式、力度、传播经过的身体组织等的不同,在手腕处产生的振动具有不同的特性。为了检测手腕处的振动信号,本发明将压电陶瓷传感器布置在手腕背部中心位置如图1中所示,这样一方面因为这里有手指的肌腱连接手指振动信号比较强烈,另一方面此位置是人们带手表、手环的位置符合人们的佩戴习惯,也方面进一步的集成。
压电陶瓷传感器是基于压电效应的原理,陶瓷片受到压力时,内部分子的极性会发生变化,在陶瓷片两端电极上蓄积正负电荷,形成电压,可知电压和压力存在正相关。如图1所示将两电极和AD转换器相连,就能将这种电压信号转换成数字量,被连接的处理器接受并处理(此处采用的ADC为ADS1115,处理器为树莓派4B)。当陶瓷片受到振动时,变化的压力导致变化的电压,当ADC的采样频率足够快时(这里需要采样频率超过600次/s)可以采样出变化的电压信号,也就是振动信号。由上文知,不同手势和手指敲击的振动信号传播到手腕处时,振动的特性会有差别,具备特异性。本发明中,我们采用各频率分量、功率谱、强度等信息提取为特征值,并将其代入多种经典的分类器模型中进行训练,采用10折交叉认证的方式验证各个分类器的性能,并用分类器训练结果作为权值,加权各个分类器得到组合分类器。最终手指在任何平面的敲击会产生振动信号,经由本发明收集、处理和分析得到分类结果即为按键输出。
采用各频率分量、功率谱、强度的信息提取为特征值,并代入多种经典的分类器模型中进行训练,采用10折交叉认证的方式验证各个分类器的性能,并用分类器训练结果作为权值,加权各个分类器得到组合分类器,最终手指在任何平面的敲击产生振动信号,经由收集、处理和分析得到分类结果即为按键输出。
数据采集模块进行数据去噪和敲击事件检测,首先人体的本身的噪声来源于肢体的运动和衣物的摩擦,来源一肢体振动的声音频率一般不超过10Hz,其他噪声本身会被身体组织大量吸收,无法传播到传感器,因此采用在低通滤波器对信号进行滤波。另外,这种敲击振动信号的高频部分主要有皮肤振动带来,一般不超过300Hz,因而设置滤波器截止频率在20-300Hz就可以得到理想的信号;之后在处理后的信号上采用图3所示算法对窗内能量采取双阈值检测,判断出敲击振动信号发生的位置,并用窗口对震动信号进行分割,最终传递到最后的分类器模块进行分类识别。
分类器模块进行特征值提取和分类器训练,将提取的振动信号事件进行傅里叶变换,通过模运算获取信号的幅频响应作为该振动信号的特征值,将数据的特征值放在经典的随机森林分类器,进行训练,最终分类器训练结果得到最终输出。含特征值提取和分类器训练两步分,首先将第二部分提取的振动信号事件进行傅里叶变换,通过模运算获取信号的幅频响应作为该振动信号的特征值,最后将数据的特征值放在经典的随机森林分类器(也可以是SVM,决策树,贝叶斯等)进行训练,最终分类器训练结果得到最终输出。
对去噪后的数据进行提取和分割敲击振动事件,使独立以便于后续的特征识别。
如图1所示将压电陶瓷用固定带固定到手腕所示位置,此时为了信号的传递应当让传感器紧贴皮肤,并将压电陶瓷和树莓派4B以及ADC(ADS1115)相连接。在手指振动时,其振动信号会由压电陶瓷收集转化为电压信号,并由采集电路和ADC转化为数字信号传递到处理器中处理;之后,采用巴特沃斯低通滤波器进行去噪,截止频率20Hz和300Hz,以消除环境噪声的干扰,并使用图3所示算法,对数据进行进行分割,提取出的振动信号数据传递到分类器模块中;最后,通过对分割好的数据进行傅里叶变换并提取其幅频特性值作为特征,同时将特征放在随机森林等分类器中训练和使用,最终得到分类训练好的分类器。在使用时,振动信号提取的特征经由训练好的分类器输出就是按键输出。
其中数据采集系统中可以采用任意采样率高于600Hz的ADC和处理器组合。
分类器模块中的特征提取和分类器可以替换为任意适合,分类效果好的组合,如采用频域数据和神经网络进行分类训练等。
设L为滑动窗口的大小,i为所考虑的时间窗口的结束时间,b为敲击信号的开始时间,首先计算事件窗内的平均能量,更新记录窗口能量的标志符flag_up和flag_high,过滤能量过高的虚假事件,确定敲击事件末尾位置,得到时间长度相同的只包含一次敲击的信号段,用于特征提取。
以上所述仅是一种通过腕部震动识别的手腕可穿戴系统的优选实施方式,一种通过腕部震动识别的手腕可穿戴系统的保护范围并不仅局限于上述实施例,凡属于该思路下的技术方案均属于本发明的保护范围。应当指出,对于本领域的技术人员来说,在不脱离本发明原理前提下的若干改进和变化,这些改进和变化也应视为本发明的保护范围。

Claims (7)

1.一种通过腕部震动识别的手腕可穿戴系统,其特征是:所述系统包括手腕键盘、数据采集模块和分类器模块,所述数据采集模块采集手腕键盘数据信息,并对信息进行处理,所述数据采集模块将处理后的信息传输至分类器模块,所述分类器模块对数据信息进行特征提取和分类输出;
所述手腕键盘包括:压电陶瓷、固定带和处理器,通过固定带将压电陶瓷固定在手腕处,所述压电陶瓷采集手腕震动信号,并传输至处理器。
2.根据权利要求1所述的一种通过腕部震动识别的手腕可穿戴系统,其特征是:采用各频率分量、功率谱、强度的信息提取为特征值,并代入多种经典的分类器模型中进行训练,采用10折交叉认证的方式验证各个分类器的性能,并用分类器训练结果作为权值,加权各个分类器得到组合分类器,最终手指在任何平面的敲击产生振动信号,经由收集、处理和分析得到分类结果即为按键输出。
3.根据权利要求2所述的一种通过腕部震动识别的手腕可穿戴系统,其特征是:数据采集模块进行数据去噪和敲击事件检测,采用在低通滤波器对信号进行滤波,设置滤波器截止频率在20-300Hz得到理想的信号;之后在处理后的信号上对窗内能量采取双阈值检测,判断出敲击振动信号发生的位置,并用窗口对震动信号进行分割,最终传递到最后的分类器模块进行分类识别。
4.根据权利要求3所述的一种通过腕部震动识别的手腕可穿戴系统,其特征是:分类器模块进行特征值提取和分类器训练,将提取的振动信号事件进行傅里叶变换,通过模运算获取信号的幅频响应作为该振动信号的特征值,将数据的特征值放在经典的随机森林分类器,进行训练,最终分类器训练结果得到最终输出。
5.根据权利要求4所述的一种通过腕部震动识别的手腕可穿戴系统,其特征是:采用的分类器不仅限于随机森林分类器,可采用SVM、决策树或者贝叶斯。
6.根据权利要求3所述的一种通过腕部震动识别的手腕可穿戴系统,其特征是:对去噪后的数据进行提取和分割敲击振动事件,使独立以便于后续的特征识别。
7.根据权利要求6所述的一种通过腕部震动识别的手腕可穿戴系统,其特征是:设L为滑动窗口的大小,i为所考虑的时间窗口的结束时间,b为敲击信号的开始时间,首先计算事件窗内的平均能量,更新记录窗口能量的标志符flag_up和flag_high,过滤能量过高的虚假事件,确定敲击事件末尾位置,得到时间长度相同的只包含一次敲击的信号段,用于特征提取。
CN202110495765.7A 2021-05-07 2021-05-07 一种通过腕部震动识别的手腕可穿戴系统 Pending CN113342159A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110495765.7A CN113342159A (zh) 2021-05-07 2021-05-07 一种通过腕部震动识别的手腕可穿戴系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110495765.7A CN113342159A (zh) 2021-05-07 2021-05-07 一种通过腕部震动识别的手腕可穿戴系统

Publications (1)

Publication Number Publication Date
CN113342159A true CN113342159A (zh) 2021-09-03

Family

ID=77469833

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110495765.7A Pending CN113342159A (zh) 2021-05-07 2021-05-07 一种通过腕部震动识别的手腕可穿戴系统

Country Status (1)

Country Link
CN (1) CN113342159A (zh)

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20090036741A (ko) * 2007-10-10 2009-04-15 한국전자통신연구원 소형 촉각 입출력 모터 및 이를 이용한 촉각 입출력 장치
US20100259472A1 (en) * 2007-11-19 2010-10-14 Nokia Corporation Input device
WO2015033327A1 (en) * 2013-09-09 2015-03-12 Belfiori Alfredo Wearable controller for wrist
WO2015199747A1 (en) * 2014-06-23 2015-12-30 Thalmic Labs Inc. Systems, articles, and methods for wearable human-electronics interface devices
CN107300971A (zh) * 2017-06-09 2017-10-27 深圳大学 基于骨传导振动信号传播的智能输入方法及系统
CN108681709A (zh) * 2018-05-16 2018-10-19 深圳大学 基于骨传导振动与机器学习的智能输入方法及系统
CN110908515A (zh) * 2019-11-27 2020-03-24 北京航空航天大学 基于腕部肌肉压力的手势识别方法和装置

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20090036741A (ko) * 2007-10-10 2009-04-15 한국전자통신연구원 소형 촉각 입출력 모터 및 이를 이용한 촉각 입출력 장치
US20100259472A1 (en) * 2007-11-19 2010-10-14 Nokia Corporation Input device
WO2015033327A1 (en) * 2013-09-09 2015-03-12 Belfiori Alfredo Wearable controller for wrist
WO2015199747A1 (en) * 2014-06-23 2015-12-30 Thalmic Labs Inc. Systems, articles, and methods for wearable human-electronics interface devices
CN107300971A (zh) * 2017-06-09 2017-10-27 深圳大学 基于骨传导振动信号传播的智能输入方法及系统
CN108681709A (zh) * 2018-05-16 2018-10-19 深圳大学 基于骨传导振动与机器学习的智能输入方法及系统
CN110908515A (zh) * 2019-11-27 2020-03-24 北京航空航天大学 基于腕部肌肉压力的手势识别方法和装置

Similar Documents

Publication Publication Date Title
Du et al. Wordrecorder: Accurate acoustic-based handwriting recognition using deep learning
CN107300971B (zh) 基于骨传导振动信号传播的智能输入方法及系统
Qifan et al. Dolphin: Ultrasonic-based gesture recognition on smartphone platform
CN110069199B (zh) 一种基于智能手表的皮肤式手指手势识别方法
CN106919958B (zh) 一种基于智能手表的人体手指动作识别方法
WO2017152531A1 (zh) 一种基于超声波的凌空手势识别方法及系统
Zhao et al. Towards low-cost sign language gesture recognition leveraging wearables
CN108681709B (zh) 基于骨传导振动与机器学习的智能输入方法及系统
Zhang et al. Recognizing hand gestures with pressure-sensor-based motion sensing
Yu et al. Thumbup: Identification and authentication by smartwatch using simple hand gestures
Zou et al. AcouDigits: Enabling users to input digits in the air
WO2011092549A1 (en) Method and apparatus for assigning a feature class value
Ding et al. Energy efficient human activity recognition using wearable sensors
CN111262637B (zh) 一种基于Wi-Fi信道状态信息CSI的人体行为识别方法
Bi et al. SmartGe: identifying pen-holding gesture with smartwatch
CN111475030A (zh) 一种利用近红外传感器的微手势识别方法
Chabot et al. Detection and classification of human-produced nonverbal audio events
Chen et al. WritePad: Consecutive number writing on your hand with smart acoustic sensing
CN113342159A (zh) 一种通过腕部震动识别的手腕可穿戴系统
CN110621038B (zh) 一种基于WiFi信号检测步态实现多用户身份识别的方法及装置
CN112069483A (zh) 一种智能可穿戴设备的用户识别认证方法
Ahmed et al. Wi-fi csi based human sign language recognition using lstm network
Yu et al. Mobile devices based eavesdropping of handwriting
Mendes et al. Subvocal speech recognition based on EMG signal using independent component analysis and neural network MLP
Dinulescu et al. A smart bracelet supporting tactile communication and interaction

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination