CN107133135B - 一种基于统计学与声音定位的键盘按键检测方法 - Google Patents

一种基于统计学与声音定位的键盘按键检测方法 Download PDF

Info

Publication number
CN107133135B
CN107133135B CN201710301406.7A CN201710301406A CN107133135B CN 107133135 B CN107133135 B CN 107133135B CN 201710301406 A CN201710301406 A CN 201710301406A CN 107133135 B CN107133135 B CN 107133135B
Authority
CN
China
Prior art keywords
key
keys
keyboard
letter
coordinate system
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN201710301406.7A
Other languages
English (en)
Other versions
CN107133135A (zh
Inventor
赵志为
闵革勇
方予懿
王梓
李维旺
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
University of Electronic Science and Technology of China
Original Assignee
University of Electronic Science and Technology of China
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by University of Electronic Science and Technology of China filed Critical University of Electronic Science and Technology of China
Priority to CN201710301406.7A priority Critical patent/CN107133135B/zh
Publication of CN107133135A publication Critical patent/CN107133135A/zh
Application granted granted Critical
Publication of CN107133135B publication Critical patent/CN107133135B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/22—Detection or location of defective computer hardware by testing during standby operation or during idle time, e.g. start-up testing
    • G06F11/2205—Detection or location of defective computer hardware by testing during standby operation or during idle time, e.g. start-up testing using arrangements specific to the hardware being tested
    • G06F11/2221—Detection or location of defective computer hardware by testing during standby operation or during idle time, e.g. start-up testing using arrangements specific to the hardware being tested to test input/output devices or peripheral units
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/03—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the type of extracted parameters
    • G10L25/24—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the type of extracted parameters the extracted parameters being the cepstrum
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/27—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the analysis technique
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/48—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use
    • G10L25/51—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Signal Processing (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Computational Linguistics (AREA)
  • Acoustics & Sound (AREA)
  • Multimedia (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Hardware Design (AREA)
  • Quality & Reliability (AREA)
  • General Physics & Mathematics (AREA)
  • Telephone Function (AREA)

Abstract

本发明公开了一种基于统计学与声音定位的键盘按键检测方法，所述方法包括：步骤1：调用麦克风获得装置的键盘敲击声音并进行录音；步骤2：基于步骤1获得的音频文件，识别出该音频中所有按键数；步骤3：检测键盘之间的相对位置，步骤4：利用步骤3计算出来的装置键盘布局以及获得的音频按键信号，获得装置键盘信息与按键信息，实现了测量系统设计合理，几何参数检测测量结果准确的技术效果。

Description

一种基于统计学与声音定位的键盘按键检测方法
技术领域
本发明涉及信息安全研究领域，具体地，涉及一种基于统计学与声音定位的键盘按键检测方法。
背景技术
智能手机在给大众生活带来便利的同时，也带来了一定的安全隐患。在日常生活中，键盘敲击产生的声音很容易被我们的手机麦克风所捕捉到。随着手机硬件的不断发展以及在我们日常生活中的普及，手机录音所得的击键音频所包含的有用信息远超最初,显著地改进了音频定位结果。现存在许多基于录音音频分析按键定位的方法，虽然这些方法能够成功识别键盘按键发生，但是由于定位识别的诸多限制因素，无法成功运用到攻击环境下。但是随着科技的不断发展，手机硬件也在不断的更新发展中，比如手机麦克风的音频采样率也得到了非常巨大的提升，另外一个明显的改变就是手机由当初的单个麦克风录音发展到如今的两个乃至更多的麦克风录音，一种基于单个手机的双麦克风定位方式，相比于已有的工作，实现的意义在于更贴近真实的攻击环境。但是这种窥探方式在真实的攻击环境下，仍然有较为明显的缺点：手机与被监测键盘的相对位置必须固定已知，这样才能通过分析按键音频信号来识别出每一个按键。
发明内容
本发明提供了一种基于统计学与声音定位的键盘按键检测方法，解决了现有的方法装置与被监测键盘的相对位置必须固定已知才能识别出每一个按键的技术问题，实现了在不知道装置与键盘的相对位置也能够获知键盘按键信息的技术效果。
为了在手机与键盘相对位置不清楚的情况下，键盘按键检测的方法仍然能够正确识别所有按键，发明人对键盘按键窥探系统进行了专门的设计所采取的技术方案具体如下：
本发明的基于统计学与声音定位的键盘按键检测的方法的主要步骤依次为：录音，按键区分，手机键盘相对位置检测，最终识别；
所述录音阶段：
1)手机通过调用两个麦克风监听键盘敲击，开始录音；
所述按键区分阶段：
1)由于每次按键发生时，音频波形会有较大的波动，所以对于这样一段若干个键的音频文件，我们从最初的采样点开始计算短时能量；
2)当短时能量达到我们给定的阈值τ时，我们便判断第一次按键已经发生了，由于一次按键的时间为100ms左右，所以下一次按键开始检测的时间点为上一按键发生的采样点偏移100ms，由这个标准，我们可以识别出一段音频中所有按键数；
所述手机键盘相对位置检测阶段：
1)提取所有按键数的MFCC(梅尔倒谱系数)作为音频特征参数，以提取的按键的MFCC为数据输入，利用K-means方法对按键进行聚类；例如实验驶入为26个字母键，聚类数K取26，将提取的按键的MFCC分成26类；
2)计算出聚类后的不同组的组内按键的TDoA平均值以及组内按键数占总按键数的百分比。
3)由先验信息可知在不同的文本输入情况下，比如在英文的输入情况下，我们可以知道键盘各键的使用的频率序列，与各组按键频率对比，我们便可得知各组按键对应的具体为哪个键以及该键的TDoA值；
4)经过权衡选取三个键作为候选键，利用这三个键在键盘内相互的距离差以及它们的TDoA值，就可以识别出手机与键盘的相对位置。
所述最终识别阶段：
1)利用已经计算出来的手机键盘布局以及监听得到的音频按键信号，可以窥探出所有按键。
进一步的，调用2个麦克风获得装置的键盘敲击声音并进行录音。因为通过对两个麦克风录音所得的音频波形进行相关性分析可以得出按键位置到达两个麦克风的距离差。
进一步的，选取e、t、l三个使用频率最高的键作为候选键，以装置的两个麦克风的连线为横坐标；以两个麦克风的连线中点为原点，垂直于横坐标作纵坐标，由此构建出基本坐标系；按键的TDoA在坐标系中为一条双曲线，可得6个方程：
Figure BDA0001284166480000021
Figure BDA0001284166480000022
Figure BDA0001284166480000023
Figure BDA0001284166480000024
Figure BDA0001284166480000025
Figure BDA0001284166480000026
其中，dm:装置上两个麦克风的距离差；
Figure BDA0001284166480000027
:字母e键到麦克风M1的距离；
Figure BDA0001284166480000028
:字母e键到麦克风M2的距离；
Figure BDA0001284166480000031
:字母e键到达两个麦克风距离的差值；xe:字母e键在坐标系中的横坐标值；ye:字母e键在坐标系中的纵坐标值；set:字母e键与字母t键在坐标系中的距离差；TDoA:声音到达手机的两个麦克风的时间差。
由上述6个方程可解得三个候选键在坐标系的具体坐标，由已知的键盘布局可得键盘所有键在坐标系的具体坐标。
进一步的，步骤4具体包括：
基于获得的键盘上所有键的具体坐标，计算出所有键的TDoA值，由所求得的所有TDoA值对按键进行初始分类，然后利用按键的MFCC特征值作为k-means聚类方法的输入，进行组内聚类，识别出具体的按键。
本申请提供的一个或多个技术方案，至少具有如下技术效果或优点：
1)本发明是目前第一个即使不知道手机与键盘相对位置的情况下仍然能够正确的识别键盘按键；
2)利用按键的TDoA值以及语言学模型，计算出手机与键盘的相对位置；
3)本发明仅使用运算花销很低的操作(例如计算按键TDoA值、k-means聚类等)来达到识别所有按键的目的。
附图说明
此处所说明的附图用来提供对本发明实施例的进一步理解，构成本申请的一部分，并不构成对本发明实施例的限定；
图1是本申请中基于统计学与声音定位的键盘按键检测方法的流程示意图。
具体实施方式
本发明提供了一种基于统计学与声音定位的键盘按键检测方法，解决了现有的方法装置与被监测键盘的相对位置必须固定已知才能识别出每一个按键的技术问题，实现了在不知道装置与键盘的相对位置也能够获知键盘按键信息的技术效果。
为了能够更清楚地理解本发明的上述目的、特征和优点，下面结合附图和具体实施方式对本发明进行进一步的详细描述。需要说明的是，在相互不冲突的情况下，本申请的实施例及实施例中的特征可以相互组合。
在下面的描述中阐述了很多具体细节以便于充分理解本发明，但是，本发明还可以采用其他不同于在此描述范围内的其他方式来实施，因此，本发明的保护范围并不受下面公开的具体实施例的限制。
请参考图1，本申请提供了本发明的键盘按键检测方法主要步骤依次为录音，按键区分，手机键盘相对位置检测，最终识别。其中，
A.录音过程包括以下步骤：
1)打开手机录音功能，调用麦克风M1与M2对键盘按键进行录音；
B.按键区分过程包括以下步骤：
1)由单次按键的音频波形图可知，按键发生具体时间点与按键短时能量相关，当短时能量达到0.05时，我们就判断已经开始有键盘按键被敲击，此时的时刻为ps，而我们以[ps-5ms，ps+100ms]时间段作为一次单独的按键所一共经历的时间。
2)所以对于一段包含若干个键的音频文件，我们从最初的采样点开始计算短时能量，当能量到达0.05时，我们便判断第一次按键已经发生了，由于一次按键的时间为105ms，所以下一次按键开始检测的时间点为上一按键发生的采样点偏移100ms，由这个标准，我们可以识别出一段音频中所有按键数。
C.手机键盘相对位置检测过程包括以下步骤：
1)提取出音频中所有按键数的音频特征参数MFCC与TDoA值，比如敲击的按键为26个字母键，利用k-means聚类为26组，k-means方法的输入为所有按键的音频特征参数MFCC，每一组内的按键音频均代表同一字母的按键。
2)计算组内按键的TDoA的平均值作为该按键的TDoA值，这样可以有效的减小误差。计算组内按键数占总按键数的百分比，得到一列由大到小的频率序列。
3)由先验信息可知在不同的文本输入情况下，比如输入文本为英文的输入情况下，我们可以知道键盘各键的使用的频率序列，与上一步计算而得的各组按键频率对比，我们便可得知各组按键对应的具体为哪个键以及该键的TDoA值；
4)选取三个使用频率最高的键作为候选键，例如：选取e,t与l这三个字母键，以手机两个麦克风的连线为横坐标；以两个距离中点为原点，垂直于横坐标作纵坐标，由此构建出基本坐标系。利用这三个键在键盘内相互的距离差以及它们的TDoA值，由数学几何知识可知，按键的TDoA在坐标系中为一条双曲线，所以可得6个方程：
Figure BDA0001284166480000041
Figure BDA0001284166480000042
Figure BDA0001284166480000043
Figure BDA0001284166480000044
Figure BDA0001284166480000051
Figure BDA0001284166480000052
由此可解得三个候选键在坐标系的具体坐标，由已知的键盘布局可得键盘所有键在坐标系的具体坐标。
D.按键最终识别阶段包括以下步骤：
1)键盘上所有键的具体坐标均已获得，可以计算出所有键的TDoA值，由所求得的所有TDoA值对按键进行初始分类，然后利用按键的MFCC特征值作为k-means聚类方法的输入，进行组内聚类，识别出具体的按键，有助于提高按键识别的精度。
上述本申请实施例中的技术方案，至少具有如下的技术效果或优点：
1)本发明是目前第一个即使不知道手机与键盘相对位置的情况下仍然能够正确的识别键盘按键；
2)利用按键的TDoA值以及语言学模型，计算出手机与键盘的相对位置；
3)本发明仅使用运算花销很低的操作(例如计算按键TDoA值、k-means聚类等)来达到识别所有按键的目的。
尽管已描述了本发明的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例作出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本发明范围的所有变更和修改。
显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。

Claims (4)

1.一种基于统计学与声音定位的键盘按键检测方法，其特征在于，所述方法包括：
步骤1：调用麦克风获得装置的键盘敲击声音并进行录音；
步骤2：基于步骤1获得的音频文件，识别出该音频中所有按键数；
步骤3：检测键盘之间的相对位置，包括：
1)提取所有按键数的MFCC作为音频特征参数，以提取的按键的MFCC为数据输入，利用K-means方法对按键进行聚类；
2)计算出聚类后的不同组的组内按键的TDoA平均值以及组内按键数占总按键数的百分比；
3)由先验信息获得在不同的文本输入情况下，得知各组按键对应的具体为哪个键以及该键的TDoA值；
4)经过权衡选取三个键作为候选键，利用这三个键在键盘内相互的距离差以及它们的TDoA值，识别出装置与键盘的相对位置；
步骤4：利用步骤3计算出来的装置键盘布局以及获得的音频按键信号，获得装置键盘信息与按键信息；
调用2个麦克风获得装置的键盘敲击声音并进行录音；
选取e、t、l三个使用频率最高的键作为候选键，以装置的两个麦克风的连线为横坐标；以两个麦克风的连线中点为原点，垂直于横坐标作纵坐标，由此构建出基本坐标系；按键的TDoA在坐标系中为一条双曲线，可得6个方程：
Figure FDA0002774537100000011
Figure FDA0002774537100000012
Figure FDA0002774537100000013
Figure FDA0002774537100000014
Figure FDA0002774537100000015
Figure FDA0002774537100000016
其中，dm:装置上两个麦克风的距离差；
Figure FDA0002774537100000017
字母e键到达两个麦克风距离的差值；
Figure FDA0002774537100000018
字母t键到达两个麦克风距离的差值；
Figure FDA0002774537100000019
字母l键到达两个麦克风距离的差值；xe:字母e键在坐标系中的横坐标值；xt：字母t键在坐标系中的横坐标值；xl：字母l键在坐标系中的横坐标值；ye:字母e键在坐标系中的纵坐标值；yt：字母t键在坐标系中的纵坐标值；yl：字母l键在坐标系中的纵坐标值；set:字母e键与字母t键在坐标系中的距离差；slt字母l键与字母t键在坐标系中的距离差；sel字母e键与字母l键在坐标系中的距离差；
由上述6个方程可解得三个候选键在坐标系的具体坐标，由已知的键盘布局可得键盘所有键在坐标系的具体坐标。
2.根据权利要求1所述的基于统计学与声音定位的键盘按键检测方法，其特征在于，对步骤1获得的音频文件，从最初的采样点开始计算短时能量；基于短时能量与给定的阈值τ的对应关系，识别出该音频中所有按键数。
3.根据权利要求2所述的基于统计学与声音定位的键盘按键检测方法，其特征在于，当短时能量达到给定的阈值τ时，则判断第一次按键已经发生了，由于一次按键的时间为100ms左右，所以下一次按键开始检测的时间点为上一按键发生的采样点偏移100ms，基于上述短时能量与给定的阈值τ的对应关系，识别出该音频中所有按键数。
4.根据权利要求1所述的基于统计学与声音定位的键盘按键检测方法，其特征在于，步骤4具体包括：
基于获得的键盘上所有键的具体坐标，计算出所有键的TDoA值，由所求得的所有TDoA值对按键进行初始分类，然后利用按键的MFCC特征值作为k-means聚类方法的输入，进行组内聚类，识别出具体的按键。
CN201710301406.7A 2017-05-02 2017-05-02 一种基于统计学与声音定位的键盘按键检测方法 Expired - Fee Related CN107133135B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710301406.7A CN107133135B (zh) 2017-05-02 2017-05-02 一种基于统计学与声音定位的键盘按键检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710301406.7A CN107133135B (zh) 2017-05-02 2017-05-02 一种基于统计学与声音定位的键盘按键检测方法

Publications (2)

Publication Number Publication Date
CN107133135A CN107133135A (zh) 2017-09-05
CN107133135B true CN107133135B (zh) 2021-02-09

Family

ID=59715720

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710301406.7A Expired - Fee Related CN107133135B (zh) 2017-05-02 2017-05-02 一种基于统计学与声音定位的键盘按键检测方法

Country Status (1)

Country Link
CN (1) CN107133135B (zh)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108182418B (zh) * 2017-12-30 2022-02-01 儒安科技有限公司 一种基于多维声波特征的键击识别方法
CN108732571B (zh) * 2018-03-28 2021-06-15 南京航空航天大学 一种基于超声波定位与击键声结合的键盘监听方法
CN110111812B (zh) * 2019-04-15 2020-11-03 深圳大学 一种键盘击键内容的自适应识别方法和系统
CN110688048B (zh) * 2019-05-23 2023-09-01 南京理工大学 一种解析智能手机按键信息的方法
CN110245477B (zh) * 2019-05-31 2021-06-15 联想(北京)有限公司 一种信息验证方法、装置、设备及存储介质
CN111090337B (zh) * 2019-11-21 2023-04-07 辽宁工程技术大学 一种基于cfcc空间梯度的键盘单键击键内容识别方法
CN116737510B (zh) * 2023-08-08 2023-11-28 深圳阿比特科技有限公司 一种基于数据分析的键盘智能监测方法及系统

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104199864A (zh) * 2014-08-15 2014-12-10 北京搜狗科技发展有限公司 一种输入过程中按键音提示的方法和装置
CN106128452A (zh) * 2016-07-05 2016-11-16 深圳大学 利用声音信号检测键盘敲击内容的系统及方法
CN106161795A (zh) * 2016-07-19 2016-11-23 西北工业大学 基于手机麦克风的键盘输入感知方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104199864A (zh) * 2014-08-15 2014-12-10 北京搜狗科技发展有限公司 一种输入过程中按键音提示的方法和装置
CN106128452A (zh) * 2016-07-05 2016-11-16 深圳大学 利用声音信号检测键盘敲击内容的系统及方法
CN106161795A (zh) * 2016-07-19 2016-11-23 西北工业大学 基于手机麦克风的键盘输入感知方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
Snooping Keystrokes with mm-level Audio Ranging on a Single Phone;Jian Liu.etc;《ACM》;20151231;第142-153页 *

Also Published As

Publication number Publication date
CN107133135A (zh) 2017-09-05

Similar Documents

Publication Publication Date Title
CN107133135B (zh) 一种基于统计学与声音定位的键盘按键检测方法
EP3614377B1 (en) Object recognition method, computer device and computer readable storage medium
CN107767869B (zh) 用于提供语音服务的方法和装置
Tarzia et al. Indoor localization without infrastructure using the acoustic background spectrum
WO2020211354A1 (zh) 基于说话内容的说话者身份识别方法、装置及存储介质
US20060111904A1 (en) Method and apparatus for speaker spotting
CN108182418B (zh) 一种基于多维声波特征的键击识别方法
CN104810025A (zh) 音频相似度检测方法及装置
Guo et al. Localising speech, footsteps and other sounds using resource-constrained devices
KR101496876B1 (ko) 휴대 단말기의 소리 인식 방법 및 장치
CN101901096A (zh) 用于电子装置触摸屏的用户接口设备和方法
CN106683333B (zh) 设备安全检测方法及装置
CN108831506A (zh) 基于gmm-bic的数字音频篡改点检测方法及系统
CN102655002A (zh) 音频处理方法和音频处理设备
CN110111812B (zh) 一种键盘击键内容的自适应识别方法和系统
Wang et al. A histogram density modeling approach to music emotion recognition
CN108600559B (zh) 静音模式的控制方法、装置、存储介质及电子设备
Lopatka et al. Acceleration of decision making in sound event recognition employing supercomputing cluster
Bai et al. I know your keyboard input: A robust keystroke eavesdropper based-on acoustic signals
CN111128134A (zh) 声学模型训练方法和语音唤醒方法、装置及电子设备
CN105608114A (zh) 一种音乐检索方法及装置
CN112037772B (zh) 基于多模态的响应义务检测方法、系统及装置
CN115102789A (zh) 一种反通信网络诈骗研判预警拦截综合平台
CN109036390B (zh) 一种基于集成梯度提升机的广播关键字识别方法
CN112131541A (zh) 一种基于振动信号的身份验证方法和系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20210209