CN110784788A - 一种基于麦克风实现的手势识别方法 - Google Patents

一种基于麦克风实现的手势识别方法 Download PDF

Info

Publication number
CN110784788A
CN110784788A CN201910882448.3A CN201910882448A CN110784788A CN 110784788 A CN110784788 A CN 110784788A CN 201910882448 A CN201910882448 A CN 201910882448A CN 110784788 A CN110784788 A CN 110784788A
Authority
CN
China
Prior art keywords
processing module
control processing
gesture
time domain
microphone
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201910882448.3A
Other languages
English (en)
Inventor
陈洪太
吴长凤
闫荣辉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
GUANGZHOU I-SPK ELECTRONIC TECHNOLOGY Co Ltd
Original Assignee
GUANGZHOU I-SPK ELECTRONIC TECHNOLOGY Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by GUANGZHOU I-SPK ELECTRONIC TECHNOLOGY Co Ltd filed Critical GUANGZHOU I-SPK ELECTRONIC TECHNOLOGY Co Ltd
Priority to CN201910882448.3A priority Critical patent/CN110784788A/zh
Publication of CN110784788A publication Critical patent/CN110784788A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R1/00—Details of transducers, loudspeakers or microphones
    • H04R1/08—Mouthpieces; Microphones; Attachments therefor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/02—Feature extraction for speech recognition; Selection of recognition unit
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/08—Speech classification or search

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • Human Computer Interaction (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Theoretical Computer Science (AREA)
  • Computational Linguistics (AREA)
  • Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Signal Processing (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

本发明公开一种基于麦克风实现的手势识别方法，基于智能设备，智能设备包括控制处理模块和至少两个麦克风，智能设备上设置有触控区域，麦克风呈阵列分布设置于触控区域下方，麦克风与控制处理模块电连接，方法包括以下步骤：1）麦克风拾取手势引起的声音，得到音频；2）控制处理模块将音频转化为时域信号；3）控制处理模块对时域信号进行分析，识别手势动作；手势动作包括长按、单击、双击和滑动。本发明通过控制处理模块、麦克风、控制处理模块以及基于麦克风实现的手势识别方法的配合能使智能设备上的麦克风实现手势识别功能，有效降低制作成本，降低生产成本，手势识别成功率高；本发明还能作为手势识别的辅助方法，提高手势识别的成功率。

Description

一种基于麦克风实现的手势识别方法
技术领域
本发明涉及识别技术领域，特别涉及一种基于麦克风实现的手势识别方法。
背景技术
生活中，很多智能设备都配备手势识别功能，尤其是运动类手表、心率降噪耳机、手机等电子产品，已经逐步普及。
现有的智能设备中进行手势识别的传感器主要为如下几种方式：1、红外光电感应传感器；2、电容式触控感应传感器；3、三轴加速度传感器。若单独使用上述几种传感器的一种来进行手势识别，因以上所述的传感器均容易受外界的影响，容易发生误判，导致手势识别的成功率低。若使用上述几种传感器的两种或三种综合一起进行手势识别，固然能很好的解决手势识别成功率低的问题，但随之又会产生制作费用高，提高生产成本的问题；另外，对于通话类电子产品，因本身是带有降噪麦克风的，如何更好的利用该麦克风辅助进行手势识别，提高手势识别的成功率，具有较高的应用价值。
发明内容
本发明要解决的技术问题是，针对上述现有技术中的不足，提供一种基于麦克风实现的手势识别方法，其能利用麦克风进行手势识别，有效提高手势识别的成功率，同时制作成本低，有效降低生产成本。
为解决上述技术问题，本发明的技术方案是：
一种基于麦克风实现的手势识别方法，基于智能设备，所述智能设备包括控制处理模块和至少两个麦克风，所述智能设备上设置有触控区域，所述麦克风呈阵列分布设置于触控区域下方，所述麦克风与控制处理模块电连接，所述方法包括以下步骤：
1）麦克风拾取手势引起的声音，得到音频；
2）控制处理模块将音频转化为时域信号；
3）控制处理模块对时域信号进行分析，识别手势动作；
其中，所述手势动作包括长按、单击、双击和滑动。
作为一种优选方案，所述控制处理模块对时域信号进行分析进而识别手势动作的关键在于时域信号中的时间与幅值的变化关系。
作为一种优选方案，所述手势动作为长按时，所述时域信号中某一时间段的幅值相较其他时间段的幅值小。
作为一种优选方案，所述手势动作为单击时，所述时域信号中出现瞬间高幅值。
作为一种优选方案，所述手势动作为双击时，所述时域信号中在单位时间内出现两次瞬间高幅值。
作为一种优选方案，所述手势动作为滑动时，所述时域信号中在单位时间内的幅值自大向小逐步递减。
作为一种优选方案，所述滑动方向的确定方法，包括以下步骤：
1）控制处理模块使各个麦克风拾音得到的时域信号进行对比；
2）控制处理模块根据各个时域信号中出现在单位时间内的幅值自大向小逐步递减现象的先后顺序来确定滑动方向。
作为一种优选方案，所述智能设备上还包括佩戴检测传感器，所述佩戴检测传感器与控制处理模块电连接。
作为一种优选方案，在麦克风拾取手势引起的声音，得到音频之前，控制处理模块根据佩戴检测传感器的检测信息判断智能设备是否被佩戴，若是，则控制处理模块控制麦克风打开，若否，则控制处理模块控制麦克风处于关闭状态。
作为一种优选方案，所述佩戴检测传感器为红外光电传感器、阻容式触控传感器和三轴加速度传感器中的一种或多种。
本发明的有益效果是：通过控制处理模块、麦克风、控制处理模块以及基于麦克风实现的手势识别方法的配合能使智能设备上的麦克风实现手势识别功能，有效降低制作成本，降低生产成本，且手势识别成功率高；多个麦克风呈阵列分布，这样将麦克风的拾音范围集中到触控区域，从而较好的抑制其他方向的噪声干扰，有效提高手势识别成功率；所述智能设备配置有佩戴检测传感器，在麦克风拾取手势引起的声音，得到音频之前，控制处理模块根据佩戴检测传感器的检测信息判断智能设备是否被佩戴，这样一方面能有效降低智能设备的电能能耗，环保节能，有效提高智能设备的续航性能，另一方面能进一步有效提高手势识别成功率；本方法还能作为手势识别的辅助方法，以此来提高手势识别的成功率。
附图说明
图1为本发明之智能设备的结构示意图；
图2为本发明之基于麦克风实现的手势识别方法的流程框架图；
图3为本发明之长按的时域信号波形图；
图4为本发明之单击的时域信号波形图；
图5为本发明之双击和滑动的时域信号波形图；
图6为本发明之滑动方向的确定方法的流程框架图。
图中：1-控制处理模块，2-麦克风，3-触控区域，4-佩戴检测传感器。
具体实施方式
下面结合附图对本发明的结构原理和工作原理作进一步详细说明。
如图1所示，一种智能设备，包括控制处理模块1和多个麦克风2，所述智能设备上设置有触控区域3，所述麦克风2呈阵列分布设置于触控区域3下方，所述麦克风2与控制处理模块1电连接。
作为一种优选方案，所述智能设备上还包括佩戴检测传感器4，所述佩戴检测传感器4与控制处理模块1电连接。
作为一种优选方案，所述佩戴检测传感器4为红外光电传感器、阻容式触控传感器和三轴加速度传感器中的一种或多种。
作为一种优选方案，多个麦克风2既可以线性阵列分布，也可以呈圆形、方形、三角形等任意形状阵列分布。
多个麦克风2呈阵列分布，根据波束形成，这样将麦克风2的拾音范围集中到触控区域3，从而较好的抑制其他方向的噪声干扰，有效提高手势识别成功率。
如图2所示，一种基于麦克风2实现的手势识别方法，基于以上所述的智能设备，所述方法包括以下步骤：
1）麦克风2拾取手势引起的声音，得到音频；
2）控制处理模块1将音频转化为时域信号；
3）控制处理模块1对时域信号进行分析，识别手势动作；
其中，所述手势动作包括长按、单击、双击和滑动。
作为一种优选方案，所述控制处理模块1对时域信号进行分析进而识别手势动作的关键在于时域信号中的时间与幅值的变化关系。
如图3所示，所述手势动作为长按时，所述时域信号中某一时间段的幅值相较其他时间段的幅值小。
在实际操作中，一般会对多个麦克风2进行编号，控制处理模块1对各个麦克风2拾音得到的时域信号进行分析，只需在多个时域信号中发现一个时域信号内具有如图3中所示的时间-幅值关系曲线即可识别手势动作为长按，且根据该时域信号所对应的麦克风2编号便可知悉发生手势动作的位置。
如图4所示，所述手势动作为单击时，所述时域信号中出现瞬间高幅值。
在实际情况中，由于麦克风2为电器件，输入电流过大也会使时域信号出现瞬间高幅值的情况，若仅以单个麦克风2拾音得到的时域信号作为判断标准，会容易产生误判现象；而单击会引起振动，振动会引起声波，声波需要时间，这样导致各个麦克风2拾音得到的时域信号中均会有如图4所示瞬间高幅值的情况出现，但出现的时间不同。鉴于以上情况，控制处理模块1对各个麦克风2拾音得到的时域信号进行分析，需各个时域信号内均出现瞬间高幅值的现象才可识别手势动作为单击，通过对比分析出最先出现瞬间高幅值的现象的时域信号对应的麦克风2所在位置即可认定为发生手势动作的位置。
如图5所示，所述手势动作为双击时，所述时域信号中在单位时间内出现两次瞬间高幅值。
实际情况中，双击同样会引起振动，振动会引起声波，声波需要时间，这样导致各个麦克风2拾音得到的时域信号中均会有如图5所示在单位时间内出现两次瞬间高幅值的情况出现，但出现的时间不同。鉴于此，控制处理模块1对各个麦克风2拾音得到的时域信号进行分析，需各个时域信号内均出现单位时间内两次瞬间高幅值的现象才可识别手势动作为双击，通过对比分析出最先出现单位时间内两次瞬间高幅值的现象的时域信号对应的麦克风2所在位置即可认定为发生手势动作的位置。
所述手势动作为滑动时，所述时域信号中在单位时间内的幅值自大向小逐步递减。
如图6所示，所述滑动方向的确定方法，包括以下步骤：
1）控制处理模块1使各个麦克风2拾音得到的时域信号进行对比；
2）控制处理模块1根据各个时域信号中出现在单位时间内的幅值自大向小逐步递减现象的先后顺序来确定滑动方向。
在实际情况中，由于单个麦克风2对滑动所引起的声音拾取后得到的时域信号中会出现如图5中单位时间内的幅值自大向小逐步递减的现象，通过对比各个编号后麦克风2拾音得到的时域信号，并根据如图5中所示单位时间内的幅值自大向小逐步递减的现象在各个时域信号中出现的先后顺序便可以知道滑动轨迹，如此滑动轨迹便可以不限于直线，也可以为圆圈、三角形等任意形状。
作为一种优选方案，在麦克风2拾取手势引起的声音，得到音频之前，控制处理模块1根据佩戴检测传感器4的检测信息判断智能设备是否被佩戴，若是，则控制处理模块1控制麦克风2打开，若否，则控制处理模块1控制麦克风2处于关闭状态，这样能有效降低智能设备的电能能耗，环保节能，更有效提高智能设备的续航性能。
本发明的有益效果是：通过控制处理模块1、麦克风2、控制处理模块1以及基于麦克风2实现的手势识别方法的配合能使智能设备上的麦克风2实现手势识别功能，有效降低制作成本，降低生产成本，且手势识别成功率高；多个麦克风2呈阵列分布，这样将麦克风2的拾音范围集中到触控区域3，从而较好的抑制其他方向的噪声干扰，有效提高手势识别成功率；所述智能设备配置有佩戴检测传感器4，在麦克风2拾取手势引起的声音，得到音频之前，控制处理模块1根据佩戴检测传感器4的检测信息判断智能设备是否被佩戴，这样一方面能有效降低智能设备的电能能耗，环保节能，有效提高智能设备的续航性能，另一方面能进一步有效提高手势识别成功率；本方法还能作为手势识别的辅助方法，以此来提高手势识别的成功率。
以上所述，仅是本发明较佳实施方式，凡是依据本发明的技术方案对以上的实施方式所作的任何细微修改、等同变化与修饰，均属于本发明技术方案的范围内。

Claims (10)

1.一种基于麦克风实现的手势识别方法，其特征在于：基于智能设备，所述智能设备包括控制处理模块和至少两个麦克风，所述智能设备上设置有触控区域，所述麦克风呈阵列分布设置于触控区域下方，所述麦克风与控制处理模块电连接，所述方法包括以下步骤：
1）麦克风拾取手势引起的声音，得到音频；
2）控制处理模块将音频转化为时域信号；
3）控制处理模块对时域信号进行分析，识别手势动作；
其中，所述手势动作包括长按、单击、双击和滑动。
2.根据权利要求1所述的一种基于麦克风实现的手势识别方法，其特征在于：所述控制处理模块对时域信号进行分析进而识别手势动作的关键在于时域信号中的时间与幅值的变化关系。
3.根据权利要求2所述的一种基于麦克风实现的手势识别方法，其特征在于：所述手势动作为长按时，所述时域信号中某一时间段的幅值相较其他时间段的幅值小。
4.根据权利要求2所述的一种基于麦克风实现的手势识别方法，其特征在于：所述手势动作为单击时，所述时域信号中出现瞬间高幅值。
5.根据权利要求2所述的一种基于麦克风实现的手势识别方法，其特征在于：所述手势动作为双击时，所述时域信号中在单位时间内出现两次瞬间高幅值。
6.根据权利要求2所述的一种基于麦克风实现的手势识别方法，其特征在于：所述手势动作为滑动时，所述时域信号中在单位时间内的幅值自大向小逐步递减。
7.根据权利要求6所述的一种基于麦克风实现的手势识别方法，其特征在于：所述滑动方向的确定方法，包括以下步骤：
1）控制处理模块使各个麦克风拾音得到的时域信号进行对比；
2）控制处理模块根据各个时域信号中出现在单位时间内的幅值自大向小逐步递减现象的先后顺序来确定滑动方向。
8.根据权利要求1所述的一种基于麦克风实现的手势识别方法，其特征在于：所述智能设备上还包括佩戴检测传感器，所述佩戴检测传感器与控制处理模块电连接。
9.根据权利要求8所述的一种基于麦克风实现的手势识别方法，其特征在于：在麦克风拾取手势引起的声音，得到音频之前，控制处理模块根据佩戴检测传感器的检测信息判断智能设备是否被佩戴，若是，则控制处理模块控制麦克风打开，若否，则控制处理模块控制麦克风处于关闭状态。
10.根据权利要求9所述的一种基于麦克风实现的手势识别方法，其特征在于：所述佩戴检测传感器为红外光电传感器、阻容式触控传感器和三轴加速度传感器中的一种或多种。
CN201910882448.3A 2019-09-18 2019-09-18 一种基于麦克风实现的手势识别方法 Pending CN110784788A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910882448.3A CN110784788A (zh) 2019-09-18 2019-09-18 一种基于麦克风实现的手势识别方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910882448.3A CN110784788A (zh) 2019-09-18 2019-09-18 一种基于麦克风实现的手势识别方法

Publications (1)

Publication Number Publication Date
CN110784788A true CN110784788A (zh) 2020-02-11

Family

ID=69384106

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910882448.3A Pending CN110784788A (zh) 2019-09-18 2019-09-18 一种基于麦克风实现的手势识别方法

Country Status (1)

Country Link
CN (1) CN110784788A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111580660A (zh) * 2020-05-09 2020-08-25 清华大学 一种操作触发方法、装置、设备及可读存储介质

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102890557A (zh) * 2011-07-19 2013-01-23 杜比实验室特许公司 用于响应于麦克风输出的触摸手势检测的方法和系统
CN103680501A (zh) * 2013-12-23 2014-03-26 惠州Tcl移动通信有限公司 根据声音变化规律进行手势识别的方法、系统及手机
CN103885744A (zh) * 2013-05-30 2014-06-25 美声克（成都）科技有限公司 一种基于声音的手势识别方法
WO2018035129A1 (en) * 2016-08-15 2018-02-22 Georgia Tech Research Corporation Electronic device and method of controlling the same
CN208369803U (zh) * 2018-05-02 2019-01-11 歌尔科技有限公司 一种耳机
CN110069199A (zh) * 2019-03-29 2019-07-30 中国科学技术大学 一种基于智能手表的皮肤式手指手势识别方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102890557A (zh) * 2011-07-19 2013-01-23 杜比实验室特许公司 用于响应于麦克风输出的触摸手势检测的方法和系统
CN103885744A (zh) * 2013-05-30 2014-06-25 美声克（成都）科技有限公司 一种基于声音的手势识别方法
CN103680501A (zh) * 2013-12-23 2014-03-26 惠州Tcl移动通信有限公司 根据声音变化规律进行手势识别的方法、系统及手机
WO2018035129A1 (en) * 2016-08-15 2018-02-22 Georgia Tech Research Corporation Electronic device and method of controlling the same
CN208369803U (zh) * 2018-05-02 2019-01-11 歌尔科技有限公司 一种耳机
CN110069199A (zh) * 2019-03-29 2019-07-30 中国科学技术大学 一种基于智能手表的皮肤式手指手势识别方法

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111580660A (zh) * 2020-05-09 2020-08-25 清华大学 一种操作触发方法、装置、设备及可读存储介质

Similar Documents

Publication Publication Date Title
EP3133474B1 (en) Gesture detector using ultrasound
Qifan et al. Dolphin: Ultrasonic-based gesture recognition on smartphone platform
CN101464750B (zh) 通过检测触控板的感应面积进行手势识别的方法
CN101968530B (zh) 按键检测方法及装置
US20130113743A1 (en) Multi-channel contact sensing apparatus
US11249719B2 (en) Audio playback control method of mobile terminal, and wireless earphone
CN102890557A (zh) 用于响应于麦克风输出的触摸手势检测的方法和系统
CN105679329A (zh) 可适应强烈背景噪声的麦克风阵列语音增强装置
CN108371545B (zh) 一种基于多普勒雷达的人体手臂动作感知方法
JPH08501164A (ja) 音響波タッチパネル用コントローラ
CN105261368A (zh) 一种语音唤醒方法及装置
CN103576126A (zh) 基于神经网络的四通道阵列声源定位系统
CN104581480A (zh) 一种触控耳机系统及其触控命令的识别方法
WO2014042128A1 (ja) 静電容量値分布検出装置、タッチパネルシステム、および静電容量値分布検出装置の検出方法
CN103529726A (zh) 一种具有语音识别功能的智能开关
CN110085247A (zh) 一种针对复杂噪声环境的双麦克风降噪方法
CN106356074A (zh) 声音信号处理方法
CN110784788A (zh) 一种基于麦克风实现的手势识别方法
CN108108015A (zh) 一种基于手机陀螺仪和动态时间规整的动作手势识别方法
CN103399634A (zh) 手势识别系统及识别方法
CN103714827B (zh) 基于声音信号检测的来车识别装置
CN111722715A (zh) 一种手势控制系统及电子设备
CN106522763A (zh) 一种自动门控用防夹机构
CN107330462B (zh) 基于时频分析的手势识别方法及其装置
CN209017266U (zh) 一种耳机及其触控装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20200211

RJ01 Rejection of invention patent application after publication