CN106161795A - 基于手机麦克风的键盘输入感知方法 - Google Patents

基于手机麦克风的键盘输入感知方法 Download PDF

Info

Publication number
CN106161795A
CN106161795A CN201610569290.0A CN201610569290A CN106161795A CN 106161795 A CN106161795 A CN 106161795A CN 201610569290 A CN201610569290 A CN 201610569290A CN 106161795 A CN106161795 A CN 106161795A
Authority
CN
China
Prior art keywords
button
word
keyboard
algorithm
matrix
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201610569290.0A
Other languages
English (en)
Other versions
CN106161795B (zh
Inventor
於志文
肖栋
郭斌
王柱
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Northwestern Polytechnical University
Original Assignee
Northwestern Polytechnical University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Northwestern Polytechnical University filed Critical Northwestern Polytechnical University
Priority to CN201610569290.0A priority Critical patent/CN106161795B/zh
Publication of CN106161795A publication Critical patent/CN106161795A/zh
Application granted granted Critical
Publication of CN106161795B publication Critical patent/CN106161795B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04MTELEPHONIC COMMUNICATION
    • H04M1/00Substation equipment, e.g. for use by subscribers
    • H04M1/72Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
    • H04M1/724User interfaces specially adapted for cordless or mobile telephones
    • H04M1/72448User interfaces specially adapted for cordless or mobile telephones with means for adapting the functionality of the device according to specific conditions
    • H04M1/72454User interfaces specially adapted for cordless or mobile telephones with means for adapting the functionality of the device according to specific conditions according to context-related or environment-related conditions
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/02Input arrangements using manually operated switches, e.g. using keyboards or dials
    • G06F3/023Arrangements for converting discrete items of information into a coded form, e.g. arrangements for interpreting keyboard generated codes as alphanumeric codes, operand codes or instruction codes
    • G06F3/0233Character input methods
    • G06F3/0236Character input methods using selection techniques to select from displayed items
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/02Speech enhancement, e.g. noise reduction or echo cancellation
    • G10L21/0208Noise filtering

Landscapes

  • Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Signal Processing (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Quality & Reliability (AREA)
  • Computational Linguistics (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Acoustics & Sound (AREA)
  • Multimedia (AREA)
  • Environmental & Geological Engineering (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Circuit For Audible Band Transducer (AREA)
  • Telephone Function (AREA)

Abstract

本发明公开了一种基于手机麦克风的键盘输入感知方法,用于解决现有基于手机麦克风的键盘输入感知方法实用性差的技术问题。技术方案采用手机麦克风对键盘中的按键音频进行采集,对采集到的音频信号进行滤波处理,利用双门限算法对单个按键以及单个按键的不同阶段进行端点检测。对于单个按键中的push峰进行频域转换,对于单词序列按键则对单词中的两两按键间的push‑release峰中时域短时互相关性进行计算,得到互相关矩阵。对于单键识别,结合短时信号特征,使用支持向量机算法采用线性核,对单个按键进行识别。对于单词序列识别,根据互相关矩阵,结合BestFriendSelection算法得到相邻关系矩阵。实用性强。

Description

基于手机麦克风的键盘输入感知方法
技术领域
本发明属于传感器数据采集与分析领域,特别涉及一种基于手机麦克风的键盘输入感知方法。
背景技术
随着感知技术的高速发展与智能手机的不断改进与普及,基于手机的感知系统层出不穷。一部智能手机上,集成了包括加速度传感器、陀螺仪、重力计、气压计等十几种传感器。这些种类繁多,性能优越的传感器,可以拥有很高的灵敏度和分辨率。这使得智能手机已经不单单可以作为一种沟通工具,其日益强大的计算能力、通信能力、与感知能力使其在日常生活中可以扮演更加重要的角色,因此智能手机外加一些简单的外在设备或工具就能够实现更为强大的功能,在2014年MobiSys中发表的《Ubiquitous keyboard for smallmobile devices:harnessing multipath fading for fine-grained keystrokelocalization》文章利用敲击同一桌面不同位置定义为不同的按键,也就是利用双麦克风定位来对不同位置的敲击进行定位,这将给用户带来极大的便利与用户体验。再根据美兰德最新结果显示:2016年全球智能手机用户达22亿,其中中国智能手机用户达6.24亿。在中国,城市居民每天使用手机的时间约4.5小时,而10.5%的受访者每日使用手机时间更是超过了10小时。手机已经成为了生活必需品,更是每个人出行必备的随身物品之一,手机无时无刻感知着我们的行为,利用键盘感知的结果,可对用户提供更加具有上下文环境的修改化服务,以及对用户当前是的行为进行识别与提供一种新型的人机交互的体验。
发明内容
为了克服现有基于手机麦克风的键盘输入感知方法实用性差的不足,本发明提供一种基于手机麦克风的键盘输入感知方法。该方法使键盘与手机保持一个相对不变的位置,而后打开手机麦克风,对键盘中的按键音频进行录制,并记下相应的真实值。对采集到的音频信号进行滤波处理,减少噪音对端点检测算法的干扰。基于滤波后的音频信号,利用双门限算法,单个按键以及单个按键的不同阶段进行端点检测。对于单个按键中的push峰进行频域转换,便提取频域中的短时信号特征。对于单词序列按键则对单词中的两两按键间的push-release峰中时域短时互相关性进行计算,得到互相关矩阵。对于单键识别,结合短时信号特征,使用支持向量机算法采用线性核,对单个按键进行识别。对于单词序列识别,根据互相关矩阵,结合BestFriendSelection算法得到相邻关系矩阵。基于相邻关系矩阵,随机抽取M组约束条件,每一组约束条件对应一组候选单词,得到排序好的候选单词集,实用性强。
本发明解决其技术问题所采用的技术方案:一种基于手机麦克风的键盘输入感知方法,其特点是包括以下步骤:
步骤一、使键盘与手机保持一个相对不变的位置,而后打开手机麦克风,对键盘中的按键音频进行采集,并记下相应的音频信号。
步骤二、对采集到的音频信号进行滤波处理,减少噪音对端点检测算法的干扰。
假设维纳滤波器的输入信号是s(t),噪声为n(t)。输出信号为x(t),通过滤波器g(t)使用卷积运算得到x(t)=g(t)*(s(t)+n(t)),其中,输出信号x(t)与输入信号s(t)一致,即e2(t)=s2(t)-2s(t)x(t)+x2(t)平方误差均值最小。
步骤三、基于滤波后的音频信号,利用双门限算法,单个按键以及单个按键的不同阶段进行端点检测。双门限端点检测算法使用短时能量和短时过零率为阈值进行两级判决。每个按键信号被划分为push-release两个阶段。
步骤四、对于单个按键中的push峰进行频域转换,并提取频域中的短时信号特征。对于单词序列按键则对单词中的两两按键间的push-release峰中时域短时互相关性进行计算,得到互相关矩阵。提取出按键音片段后利用频域分析法,得知26个字母按键音的频谱都集中分布在0~8Khz的范围内。因此,首先将得到的频谱序列归一化,再按照每5hz划分一个小区间,将每个区间内的点累加起来,得到400个特征值。
步骤五、对于单键识别,结合短时信号特征,使用支持向量机算法采用线性核,对单个按键进行识别。通过支持向量机,取10折交叉验证,即训练用于单个按键的识别模型计算预测的精度来描述模型的效果。
步骤六、对于单词序列识别,根据互相关矩阵,结合BestFriendSelection算法得到相邻关系矩阵。每个按键语音的push段互相做互相关函数计算,形成一个NXN矩阵,每个按键语音的release段取出做互相关函数计算,再生成一个NXN矩阵。然后利用求平均的方式合成两个矩阵为一个矩阵。然后遍历每行,如果i行j列是i行最大值且j行i列是j行最大值,则第i个字母和第j个字母互为最好朋友,即满足EQ(相等)关系,既得到一个单词间的约束矩阵
步骤七、基于相邻关系矩阵,随机抽取M组约束条件,每一组约束条件对应一组候选单词,因此就能得到排序好的候选单词集。一个约束条件组c包含很多个δi约束,它的EVAL(c)=∩mEVAL(δm),也就是单词必须满足条件组里的所有约束。根据多个约束组可找到多组候选单词,排序后得到最终键盘输入的单词。
本发明的有益效果是:该方法使键盘与手机保持一个相对不变的位置,而后打开手机麦克风,对键盘中的按键音频进行录制,并记下相应的真实值。对采集到的音频信号进行滤波处理,减少噪音对端点检测算法的干扰。基于滤波后的音频信号,利用双门限算法,单个按键以及单个按键的不同阶段进行端点检测。对于单个按键中的push峰进行频域转换,便提取频域中的短时信号特征。对于单词序列按键则对单词中的两两按键间的push-release峰中时域短时互相关性进行计算,得到互相关矩阵。对于单键识别,结合短时信号特征,使用支持向量机算法采用线性核,对单个按键进行识别。对于单词序列识别,根据互相关矩阵,结合BestFriendSelection算法得到相邻关系矩阵。基于相邻关系矩阵,随机抽取M组约束条件,每一组约束条件对应一组候选单词,得到排序好的候选单词集,实用性强。
下面结合附图和具体实施方式对本发明作详细说明。
附图说明
图1是本发明基于手机麦克风的键盘输入感知方法的流程图。
图2是本发明方法中所用键盘按键信号被划分为push-release两个阶段的示意图。
具体实施方式
参照图1-2。本发明基于手机麦克风的键盘输入感知方法具体步骤如下:
步骤一、使键盘与手机保持一个相对不变的位置,而后打开手机麦克风,对键盘中的按键音频进行采集,并记下相应的音频信号。
步骤二、对采集到的音频信号进行滤波处理,减少噪音对端点检测算法的干扰。
假设维纳滤波器的输入信号是s(t),噪声为n(t)。输出信号为x(t),通过滤波器g(t)使用下面的卷积运算得到x(t)=g(t)*(s(t)+n(t))其中为使输出信号x(t)与输入信号s(t)最为一致,即e2(t)=s2(t)-2s(t)x(t)+x2(t)平方误差均值最小。
步骤三、基于滤波后的音频信号,利用双门限算法,单个按键以及单个按键的不同阶段进行端点检测。双门限端点检测算法使用短时能量和短时过零率为阈值进行两级判决。每个按键信号被划分为push-release两个阶段。
步骤四、对于单个按键中的push峰进行频域转换,并提取频域中的短时信号特征。对于单词序列按键则对单词中的两两按键间的push-release峰中时域短时互相关性进行计算,得到互相关矩阵。提取出按键音片段后利用频域分析法,可知26个字母按键音的频谱都集中分布在0~8Khz的范围内。因此,我们首先将得到的频谱序列归一化,再按照每5hz划分一个小区间,将每个区间内的点累加起来,这样就得到了400个特征值。
步骤五、对于单键识别,结合短时信号特征,使用支持向量机算法采用线性核,对单个按键进行识别。通过支持向量机,取10折交叉验证,即可训练用于单个按键的识别模型计算预测的精度来描述模型的效果。
步骤六、对于单词序列识别,根据互相关矩阵,结合BestFriendSelection算法得到相邻关系矩阵。每个按键语音的push段互相做互相关函数计算,形成一个NXN矩阵,每个按键语音的release段取出做互相关函数计算,再生成一个NXN矩阵。然后利用求平均的方式合成两个矩阵为一个矩阵。然后遍历每行,如果i行j列是i行最大值且j行i列是j行最大值,则第i个字母和第j个字母互为最好朋友,即满足EQ(相等)关系,既可得到一个单词间的约束矩阵
步骤七、基于相邻关系矩阵,随机抽取M组约束条件,每一组约束条件对应一组候选单词,因此就能得到排序好的候选单词集。一个约束条件组c包含很多个δi约束,它的EVAL(c)=∩mEVAL(δm),也就是单词必须满足条件组里的所有约束。根据多个约束组可找到多组候选单词,排序后既可得到最终键盘输入的单词。

Claims (1)

1.一种基于手机麦克风的键盘输入感知方法,其特征在于包括以下步骤:
步骤一、使键盘与手机保持一个相对不变的位置,而后打开手机麦克风,对键盘中的按键音频进行采集,并记下相应的音频信号;
步骤二、对采集到的音频信号进行滤波处理,减少噪音对端点检测算法的干扰;
假设维纳滤波器的输入信号是s(t),噪声为n(t);输出信号为x(t),通过滤波器g(t)使用卷积运算得到x(t)=g(t)*(s(t)+n(t)),其中,输出信号x(t)与输入信号s(t)一致,即e2(t)=s2(t)-2s(t)x(t)+x2(t)平方误差均值最小;
步骤三、基于滤波后的音频信号,利用双门限算法,单个按键以及单个按键的不同阶段进行端点检测;双门限端点检测算法使用短时能量和短时过零率为阈值进行两级判决;每个按键信号被划分为push-release两个阶段;
步骤四、对于单个按键中的push峰进行频域转换,并提取频域中的短时信号特征;对于单词序列按键则对单词中的两两按键间的push-release峰中时域短时互相关性进行计算,得到互相关矩阵;提取出按键音片段后利用频域分析法,得知26个字母按键音的频谱都集中分布在0~8Khz的范围内;因此,首先将得到的频谱序列归一化,再按照每5hz划分一个小区间,将每个区间内的点累加起来,得到400个特征值;
步骤五、对于单键识别,结合短时信号特征,使用支持向量机算法采用线性核,对单个按键进行识别;通过支持向量机,取10折交叉验证,即训练用于单个按键的识别模型计算预测的精度来描述模型的效果;
步骤六、对于单词序列识别,根据互相关矩阵,结合BestFriendSelection算法得到相邻关系矩阵;每个按键语音的push段互相做互相关函数计算,形成一个NXN矩阵,每个按键语音的release段取出做互相关函数计算,再生成一个NXN矩阵;然后利用求平均的方式合成两个矩阵为一个矩阵;然后遍历每行,如果i行j列是i行最大值且j行i列是j行最大值,则第i个字母和第j个字母互为最好朋友,即满足EQ(相等)关系,既得到一个单词间的约束矩阵
步骤七、基于相邻关系矩阵,随机抽取M组约束条件,每一组约束条件对应一组候选单词,因此就能得到排序好的候选单词集;一个约束条件组c包含很多个δi约束,它的EVAL(c)=∩mEVAL(δm),也就是单词必须满足条件组里的所有约束;根据多个约束组可找到多组候选单词,排序后得到最终键盘输入的单词。
CN201610569290.0A 2016-07-19 2016-07-19 基于手机麦克风的键盘输入感知方法 Active CN106161795B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201610569290.0A CN106161795B (zh) 2016-07-19 2016-07-19 基于手机麦克风的键盘输入感知方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201610569290.0A CN106161795B (zh) 2016-07-19 2016-07-19 基于手机麦克风的键盘输入感知方法

Publications (2)

Publication Number Publication Date
CN106161795A true CN106161795A (zh) 2016-11-23
CN106161795B CN106161795B (zh) 2019-03-29

Family

ID=58059741

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610569290.0A Active CN106161795B (zh) 2016-07-19 2016-07-19 基于手机麦克风的键盘输入感知方法

Country Status (1)

Country Link
CN (1) CN106161795B (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106875937A (zh) * 2017-01-13 2017-06-20 西北工业大学 基于键盘输入感知的活动识别方法
CN107133135A (zh) * 2017-05-02 2017-09-05 电子科技大学 一种基于统计学与声音定位的键盘按键检测方法
CN110111812A (zh) * 2019-04-15 2019-08-09 深圳大学 一种键盘击键内容的自适应识别方法和系统

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101030369A (zh) * 2007-03-30 2007-09-05 清华大学 基于子词隐含马尔可夫模型的嵌入式语音识别方法
US20140207447A1 (en) * 2013-01-24 2014-07-24 Huawei Device Co., Ltd. Voice identification method and apparatus
CN105529034A (zh) * 2015-12-23 2016-04-27 北京奇虎科技有限公司 一种基于混响的语音识别方法和装置

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101030369A (zh) * 2007-03-30 2007-09-05 清华大学 基于子词隐含马尔可夫模型的嵌入式语音识别方法
US20140207447A1 (en) * 2013-01-24 2014-07-24 Huawei Device Co., Ltd. Voice identification method and apparatus
CN105529034A (zh) * 2015-12-23 2016-04-27 北京奇虎科技有限公司 一种基于混响的语音识别方法和装置

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106875937A (zh) * 2017-01-13 2017-06-20 西北工业大学 基于键盘输入感知的活动识别方法
CN106875937B (zh) * 2017-01-13 2019-09-24 西北工业大学 基于键盘输入感知的活动识别方法
CN107133135A (zh) * 2017-05-02 2017-09-05 电子科技大学 一种基于统计学与声音定位的键盘按键检测方法
CN107133135B (zh) * 2017-05-02 2021-02-09 电子科技大学 一种基于统计学与声音定位的键盘按键检测方法
CN110111812A (zh) * 2019-04-15 2019-08-09 深圳大学 一种键盘击键内容的自适应识别方法和系统

Also Published As

Publication number Publication date
CN106161795B (zh) 2019-03-29

Similar Documents

Publication Publication Date Title
Liu et al. Wavoice: A noise-resistant multi-modal speech recognition system fusing mmwave and audio signals
CN103310789B (zh) 一种基于改进的并行模型组合的声音事件识别方法
Jung et al. Human activity classification based on sound recognition and residual convolutional neural network
CN108735202A (zh) 用于小占用资源关键词检索的卷积递归神经网络
CN100349206C (zh) 文字语音互转装置
CN105744434A (zh) 一种基于手势识别的智能音箱控制方法及系统
CN109410976A (zh) 双耳助听器中基于双耳声源定位和深度学习的语音增强方法
CN105938399B (zh) 基于声学的智能设备的文本输入识别方法
CN106161795A (zh) 基于手机麦克风的键盘输入感知方法
CN106024010A (zh) 一种基于共振峰曲线的语音信号动态特征提取方法
CN103021405A (zh) 基于music和调制谱滤波的语音信号动态特征提取方法
Malkin et al. Classifying user environment for mobile applications using linear autoencoding of ambient audio
CN108810838A (zh) 基于智能手机室内背景声感知的房间级定位方法
Ziaei et al. Prof-Life-Log: Personal interaction analysis for naturalistic audio streams
CN105244042A (zh) 一种基于有限状态自动机的语音情感交互装置与方法
CN105225672A (zh) 融合基频信息的双麦克风定向噪音抑制的系统及方法
CN111341319A (zh) 一种基于局部纹理特征的音频场景识别方法及系统
CN109657739A (zh) 一种基于高频声波短时傅里叶变换的手写字母识别方法
CN102509548B (zh) 一种基于多距离声传感器的音频索引方法
CN106875937B (zh) 基于键盘输入感知的活动识别方法
CN107103913A (zh) 一种基于功率谱Gabor特征序列递归模型的语音识别方法
Lee et al. Identifying multiuser activity with overlapping acoustic data for mobile decision making in smart home environments
CN112420079B (zh) 语音端点检测方法和装置、存储介质及电子设备
CN105609099A (zh) 基于人耳听觉特性的语音识别预处理方法
CN110136741B (zh) 一种基于多尺度上下文的单通道语音增强方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant