CN110111812B - 一种键盘击键内容的自适应识别方法和系统 - Google Patents
一种键盘击键内容的自适应识别方法和系统 Download PDFInfo
- Publication number
- CN110111812B CN110111812B CN201910300204.XA CN201910300204A CN110111812B CN 110111812 B CN110111812 B CN 110111812B CN 201910300204 A CN201910300204 A CN 201910300204A CN 110111812 B CN110111812 B CN 110111812B
- Authority
- CN
- China
- Prior art keywords
- keystroke
- signal
- event
- module
- classification
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 28
- 230000005236 sound signal Effects 0.000 claims abstract description 41
- 238000012545 processing Methods 0.000 claims abstract description 28
- 230000009467 reduction Effects 0.000 claims abstract description 21
- 238000005520 cutting process Methods 0.000 claims abstract description 18
- 238000000605 extraction Methods 0.000 claims abstract description 16
- 238000009432 framing Methods 0.000 claims abstract description 7
- 238000004422 calculation algorithm Methods 0.000 claims description 34
- 238000000926 separation method Methods 0.000 claims description 25
- 238000001514 detection method Methods 0.000 claims description 7
- 238000010801 machine learning Methods 0.000 claims description 7
- 230000003044 adaptive effect Effects 0.000 claims description 6
- 238000007781 pre-processing Methods 0.000 claims description 6
- 238000007635 classification algorithm Methods 0.000 claims description 5
- 238000012937 correction Methods 0.000 claims description 5
- 238000003860 storage Methods 0.000 claims description 3
- 230000004069 differentiation Effects 0.000 claims 1
- 238000005315 distribution function Methods 0.000 description 4
- 238000009826 distribution Methods 0.000 description 3
- 230000008569 process Effects 0.000 description 3
- 230000009471 action Effects 0.000 description 2
- 230000006399 behavior Effects 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 230000007613 environmental effect Effects 0.000 description 2
- 238000011161 development Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 230000010365 information processing Effects 0.000 description 1
- 230000002401 inhibitory effect Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 230000000737 periodic effect Effects 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
- 238000001228 spectrum Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
- G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
- G10L21/0208—Noise filtering
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
- G10L25/03—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the type of extracted parameters
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
- G10L25/48—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use
- G10L25/51—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination
Landscapes
- Engineering & Computer Science (AREA)
- Computational Linguistics (AREA)
- Signal Processing (AREA)
- Health & Medical Sciences (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- Acoustics & Sound (AREA)
- Multimedia (AREA)
- Quality & Reliability (AREA)
- Input From Keyboards Or The Like (AREA)
- Circuit For Audible Band Transducer (AREA)
Abstract
本发明公开了一种键盘击键内容的自适应识别方法和系统，其中所述方法包括：对智能终端内置麦克风采集到的击键声音信号进行降噪处理；对经过降噪处理的击键声音信号进行切割分帧，提取击键事件的有效信号片段；根据有效信号片段计算各击键事件的信号偏度、峭度和短时信号能量特征，以区分出单键敲击事件和组合键敲击事件；对单键敲击事件和组合键敲击事件分别进行特征提取和分类，得到分类结果；对分类结果进行校验，得到键盘击键内容识别结果。通过智能终端内置麦克风采集击键声音信号，对击键声音信号进行分析，实现对击键内容的识别，无需借助额外的硬件设备，且识别精度较高。
Description
技术领域
本发明涉及无线识别技术领域，更具体的说是涉及一种键盘击键内容的自适应识别方法和系统。
背景技术
如今，随着信息技术的不断发展，信息安全问题也日益重要，人们对信息保密的要求越来越高，用户的安全防范意识正逐渐增强。在工作生活当中，键盘作为人与计算机的主要交互工具，用户使用它的行为数据，容易被不法分子窃取分析，成为导致信息泄露的漏洞。正因为如此，借助于信息处理技术和无线识别技术，对用户使用键盘的行为数据进行采集分析识别，能够对保护用户信息安全提供有力支持，有助于更好地实施人机交互过程中的反监测反窃听。
目前，对键盘击键内容进行识别的方案主要有以下几个方面：其一，基于声音信号的击键识别，通过不同按键发射的不同信号识别击键，根据击键信号到达麦克风阵列(额外的声音采集装置)的不同时间对按键在键盘上的具体位置做定位，但此种方案需要硬件设备较多且精度不高；其二，基于电磁波信号的击键识别，通过检测不同按键位置的电路板发射的不同的电磁信号，或者用户在敲击不同按键时对空中电磁信号产生的不同影响来识别击键，然而这类方案极易受到外部电磁波的干扰，导致识别精度不高，且需要额外设备支持；其三，基于计算机视觉的击键识别，通过摄像头等图像采集装置捕捉用户敲击键盘的动作，利用图像处理算法识别击键位置，不过此类方案除了硬件设备开销大和耗能较高，还易受环境光强的制约，弱光或黑暗环境下将不再适用。
因此，如何提供一种无需额外硬件设备的击键内容识别方法是本领域技术人员亟需解决的问题。
发明内容
有鉴于此，本发明提供了一种键盘击键内容的自适应识别方法和系统，通过智能终端内置麦克风采集击键声音信号，对击键声音信号进行分析，实现对击键内容的识别，无需借助额外的硬件设备，且识别精度较高。
为了实现上述目的，本发明采用如下技术方案：
一种键盘击键内容的自适应识别方法，包括：
S1：对智能终端内置麦克风采集到的击键声音信号进行降噪处理；
S2：对经过降噪处理的击键声音信号进行切割分帧，提取击键事件的有效信号片段；
S3：根据有效信号片段计算各击键事件的信号偏度、峭度和短时信号能量特征，以区分出单键敲击事件和组合键敲击事件；
S4：对单键敲击事件和组合键敲击事件分别进行特征提取和分类，得到分类结果；
S5：对分类结果进行校验，得到键盘击键内容识别结果。
优选的，步骤S1具体包括：
基于智能终端内置麦克风采集到的击键声音信号，利用巴特沃斯带通滤波器去除带外噪声；
利用CMN原理抑制去除带外噪声后的击键声音信号的带内噪声。
优选的，步骤S2具体包括：
利用峰值检测算法对经过降噪处理的击键声音信号进行切割，得到切割后的信号；
在时变的噪声环境下，利用CFAR算法根据外部干扰噪声水平自适应的调整阈值，从切割后的信号中识别出击键事件的起点和终点，得到击键事件的有效信号片段。
优选的，步骤S4具体包括：
对单键敲击事件进行信号处理，提取ASD、MFCC特征，并利用机器学习分类算法进行分类；
对组合键敲击事件产生的混叠信号，通过击键波峰间隔和信号持续时间确定击键时间差，采用卷积盲源分离算法进行分离，得到组合键敲击事件的分离信号；
基于组合键敲击事件的分离信号，提取ASD、MFCC特征，与对应单键的特征进行匹配分类，得到分类结果。
优选的，步骤S5具体包括：
采用DTW算法计算击键信号距离，对分类结果进行校验，得到键盘击键内容识别结果。
优选的，还包括：S6：对键盘击键内容识别结果进行存储，形成击键模板数据库，并对击键识别提供支持。
一种键盘击键内容的自适应识别系统，包括：
信号预处理模块，用于对智能终端内置麦克风采集到的击键声音信号进行降噪处理；
信号提取模块，用于对经过降噪处理的击键声音信号进行切割分帧，提取击键事件的有效信号片段；
事件区分模块，用于根据有效信号片段计算各击键事件的信号偏度、峭度和短时信号能量特征，以区分出单键敲击事件和组合键敲击事件；
击键分类模块，用于对单键敲击事件和组合键敲击事件分别进行特征提取和分类，得到分类结果；
校正模块，用于对分类结果进行校验，得到键盘击键内容识别结果。
优选的，所述信号预处理模块包括：带外噪声去除模块和带内噪声去除模块；
所述带外噪声去除模块基于智能终端内置麦克风采集到的击键声音信号，利用巴特沃斯带通滤波器去除带外噪声；
所述带内噪声去除模块利用CMN原理抑制去除带外噪声后的击键声音信号的带内噪声。
优选的，所述信号提取模块包括：切割模块和提取模块；
所述切割模块用于利用峰值检测算法对经过降噪处理的击键声音信号进行切割，得到切割后的信号；
所述提取模块用于在时变的噪声环境下，利用CFAR算法根据外部干扰噪声水平自适应的调整阈值，从切割后的信号中识别出击键事件的起点和终点，得到击键事件的有效信号片段。
优选的，所述事件区分模块包括：单键分类模块、分离模块和组合键分类模块；
所述单键分类模块用于对单键敲击事件进行信号处理，提取ASD、MFCC特征，并利用机器学习分类算法进行分类；
所述分离模块用于对组合键敲击事件产生的混叠信号，通过击键波峰间隔和信号持续时间确定击键时间差，采用卷积盲源分离算法进行分离，得到组合键敲击事件的分离信号；
所述组合键分类模块用于基于组合键敲击事件的分离信号，提取ASD、MFCC特征，与对应单键的特征进行匹配分类，得到分类结果。
优选的，所述校正模用于采用DTW算法计算击键信号距离，对分类结果进行校验，得到键盘击键内容识别结果。
优选的，还包括：存储模块，用于对键盘击键内容识别结果进行存储，形成击键模板数据库，并对击键分类模块提供支持。
经由上述的技术方案可知，与现有技术相比，本发明公开提供了一种键盘击键内容的自适应识别方法和系统，通过智能终端内置麦克风采集击键声音信号，操作易于实现，而且硬件开销小。此外，本发明利用CFAR算法在时变的环境噪声下动态地调整阈值，从而自适应地提取击键事件的有效信号片段；利用卷积盲源分离算法对组合键敲击产生的混叠信号进行分离，达到识别组合键击键内容的目的；采用DTW算法对分类结果进行校验，从而进一步提高了击键内容识别的精度。
相比现有技术，本发明提供的击键识别方法及系统的设备开销小，操作简便易行，抗干扰能力强，识别精度较高。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。
图1为本发明提供的键盘击键内容的自适应识别方法的流程图一；
图2为本发明提供的键盘击键内容的自适应识别方法的流程图二；
图3为本发明提供的键盘击键内容的自适应识别系统的结构框图一；
图4为本发明提供的键盘击键内容的自适应识别系统的结构框图二。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
在对键盘击键内容进行识别之前，需要采集键盘击键声音信号，用户双手以正常速度敲击键盘，产生击键声音信号。用户在敲击键盘与设备(例如：计算机或手机)进行交互时，每一次敲击动作都会击键声音信号。其中，敲击单个键位时，产生的是该键位的单键击键声音信号；同时敲击多个键位时，即组合键敲击，产生的是若干个键位的击键声音信号混合在一起的混叠声音信号。
附图1示出了本发明提供的键盘击键内容的自适应识别方法的流程图，具体步骤如下：
步骤S1：对智能终端内置麦克风采集到的击键声音信号进行降噪处理；
利用Butterworth方法去除带外噪声，采用CMN原理抑制带内噪声。利用智能终端内置的麦克风接收击键声音信号，保持与键盘的相对位置及周边环境布局固定不变。在对击键信号进行进一步处理之前，需要进行降噪处理。通常环境噪声分布在整个频带，而击键声音信号的能量大多分布在2KHz到16.8KHz之间，设计相应要求的Butterworth带通滤波器可以去除频带外的噪声。去除带外噪声后，在有效频带内仍存在着周期性的噪声，采用CMN原理在频域上对信号进行处理，能够进一步抑制带内噪声，得到较为纯净的击键声音信号。
S2：对经过降噪处理的击键声音信号进行切割分帧，提取击键事件的有效信号片段；
利用峰值检测算法，结合CFAR原理，对击键声音信号进行切割，提取各击键事件的有效信号片段。一次击键事件产生的声音信号，包括接触波峰、击键波峰以及复位波峰三个峰值，利用峰值检测算法对降噪处理后的声音信号进行切割，得到切割后的信号；外部的噪声是动态变化的，在时变的噪声环境下，利用CFAR算法，能够根据外部干扰噪声水平而自适应地调整阈值，从切割后的信号中识别出击键事件的起点和终点，从而能够提取击键事件的有效信号片段。
S3：根据有效信号片段计算各击键事件的信号偏度、峭度和短时信号能量特征，以区分出单键敲击事件和组合键敲击事件；
计算各击键事件的信号偏度、峭度和短时信号能量，其中偏度是表征信号的概率分布函数的非对称程度的一个量度，其绝对值越大，说明信号的概率分布函数越不对称，其绝对值越小，说明信号的概率分布函数越对称；峭度是衡量信号的概率分布函数的形状是高耸还是低平的一个量度，峭度值越大，说明信号的概率密度函数形状越高耸，峭度值越小，说明信号的概率密度函数形状越低平。具有高斯分布的信号，其偏度值和峭度值均为零。
利用偏度、峭度、短时信号能量三个特征来分离单键敲击事件和组合键敲击事件。根据统计学中的中心极限定理，当多个独立且具有同分布的随机变量相叠加时，其和的概率分布趋于高斯分布，也即其偏度值和峭度值趋于零。因此，任何一个接收到的组合键敲击产生的混叠声音信号，其偏度和峭度的绝对值要小于其任何一个分量(即单键敲击)的偏度和峭度的绝对值。再者，单键敲击事件的短时信号能量要小于组合键敲击事件的短时信号能量。结合上述三种特征，能够识别出单键敲击事件和组合键敲击事件。
S4：对单键敲击事件和组合键敲击事件分别进行特征提取和分类，得到分类结果；
提取各单键信号的ASD、MFCC特征。对每一个具体位置的键位进行敲击，由于位置不同以及与麦克风的距离不等，麦克风接收到的击键声音信号表现出不同的特征，因此提取单键信号的ASD(振幅谱密度)和MFCC特征，能够作为分类特征对击键内容进行识别。
根据击键事件的信号持续时间和峰值间隔来获取组合键击键时间差。组合键敲击产生的声音信号不同于单键敲击产生的声音信号，它是若干个单键击键信号混合在一起的混叠声音信号，混合方式未知。由于用户敲击键盘的方式不稳定，导致每次敲击组合键时，其中任意一个单键的击键时间先后间隔会发生变化。因此，根据麦克风接收到的组合键混叠声音信号的时长及峰值间隔等特征，能够获取击键时间差，为后续的卷积盲源分离提供支持。
利用卷积盲源分离算法对各组合键信号进行分离，提取分离信号的ASD、MFCC特征。对组合键敲击事件产生的混叠信号，通过击键波峰间隔和信号持续时间确定击键时间差，采用卷积盲源分离算法进行分离，对分离后的分离信号，提取ASD、MFCC等特征，与对应单键的特征进行匹配分类。
利用机器学习算法对各击键事件进行分类，输出击键识别结果。计算各击键事件的信号特征的距离和相似程度，利用机器学习算法基于上述信号特征进行分类，特征距离较小、特征相似程度较高的为一类，从而能够识别各击键事件的击键内容。
S5：对分类结果进行校验，得到键盘击键内容识别结果。
利用DTW算法对分类结果进行校验。由于用户每次敲击键盘时，对键位的敲击力度不同、持续时长不等，为提高识别精度，避免击键信号片段长短不一带来的误差影响，采用DTW算法计算击键信号距离，对分类结果进行校验，从而达到精准识别击键内容的目的。
参见附图2，在上述技术方案的基础上，进一步还包括：S6：对键盘击键内容识别结果进行存储，形成击键模板数据库，并对击键识别提供支持。
参见附图3，本发明实施例还公开了一种键盘击键内容的自适应识别系统，包括：
信号预处理模块，用于对智能终端内置麦克风采集到的击键声音信号进行降噪处理；
信号提取模块，用于对经过降噪处理的击键声音信号进行切割分帧，提取击键事件的有效信号片段；
事件区分模块，用于根据有效信号片段计算各击键事件的信号偏度、峭度和短时信号能量特征，以区分出单键敲击事件和组合键敲击事件；
击键分类模块，用于对单键敲击事件和组合键敲击事件分别进行特征提取和分类，得到分类结果；
校正模块，用于对分类结果进行校验，得到键盘击键内容识别结果。
为了进一步优化上述技术方案，信号预处理模块包括：带外噪声去除模块和带内噪声去除模块；
带外噪声去除模块基于智能终端内置麦克风采集到的击键声音信号，利用巴特沃斯带通滤波器去除带外噪声；
带内噪声去除模块利用CMN原理抑制去除带外噪声后的击键声音信号的带内噪声。
为了进一步优化上述技术方案，信号提取模块包括：切割模块和提取模块；
切割模块用于利用峰值检测算法对经过降噪处理的击键声音信号进行切割，得到切割后的信号；
提取模块用于在时变的噪声环境下，利用CFAR算法根据外部干扰噪声水平自适应的调整阈值，从切割后的信号中识别出击键事件的起点和终点，得到击键事件的有效信号片段。
为了进一步优化上述技术方案，事件区分模块包括：单键分类模块、分离模块和组合键分类模块；
单键分类模块用于对单键敲击事件进行信号处理，提取ASD、MFCC特征，并利用机器学习分类算法进行分类；
分离模块用于对组合键敲击事件产生的混叠信号，通过击键波峰间隔和信号持续时间确定击键时间差，采用卷积盲源分离算法进行分离，得到组合键敲击事件的分离信号；
组合键分类模块用于基于组合键敲击事件的分离信号，提取ASD、MFCC特征，与对应单键的特征进行匹配分类，得到分类结果。
为了进一步优化上述技术方案，校正模用于采用DTW算法计算击键信号距离，对分类结果进行校验，得到键盘击键内容识别结果。
为提高识别精度，避免击键信号片段长短不一带来的误差影响，采用DTW算法计算击键信号距离，对分类结果进行校验，达到精准识别击键内容的目的。
参见附图4，在上述技术方案的基础上，进一步的还包括：存储模块，用于对键盘击键内容识别结果进行存储，形成击键模板数据库，并对击键分类模块提供支持。
本发明通过建立数据库，对击键识别的信号特征进行存储，形成击键识别模板数据库，对击键识别模块提供后续支持，当用户敲击键盘产生新的击键声音信号时，提取相关特征后，可与数据库中的击键识别模板进行匹配分类，同时，在持续击键内容识别过程中，不断更新迭代优化数据库中击键识别的信号特征集。
此外，还需要说明的是，采集击键声音信号的含有内置麦克风的智能终端，包括但不限于计算机、智能手机、平板电脑、数据采集器和其他拥有多麦克风的数字媒体终端。
本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的装置而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。
对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其它实施例中实现。因此，本发明将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。
Claims (8)
1.一种键盘击键内容的自适应识别方法，其特征在于，包括：
S1：对智能终端内置麦克风采集到的击键声音信号进行降噪处理；
S2：对经过降噪处理的击键声音信号进行切割分帧，提取击键事件的有效信号片段；具体包括：
利用峰值检测算法对经过降噪处理的击键声音信号进行切割，得到切割后的信号；
在时变的噪声环境下，利用CFAR算法根据外部干扰噪声水平自适应的调整阈值，从切割后的信号中识别出击键事件的起点和终点，得到击键事件的有效信号片段；
S3：根据有效信号片段计算各击键事件的信号偏度、峭度和短时信号能量特征，以区分出单键敲击事件和组合键敲击事件；
S4：对单键敲击事件和组合键敲击事件分别进行特征提取和分类，得到分类结果；具体包括：
对单键敲击事件进行信号处理，提取ASD、MFCC特征，并利用机器学习分类算法进行分类；
对组合键敲击事件产生的混叠信号，通过击键波峰间隔和信号持续时间确定击键时间差，采用卷积盲源分离算法进行分离，得到组合键敲击事件的分离信号；
基于组合键敲击事件的分离信号，提取ASD、MFCC特征，与对应单键的特征进行匹配分类，得到分类结果；
S5：对分类结果进行校验，得到键盘击键内容识别结果。
2.根据权利要求1所述的一种键盘击键内容的自适应识别方法，其特征在于，步骤S1具体包括：
基于智能终端内置麦克风采集到的击键声音信号，利用巴特沃斯带通滤波器去除带外噪声；
利用CMN原理抑制去除带外噪声后的击键声音信号的带内噪声。
3.根据权利要求1所述的一种键盘击键内容的自适应识别方法，其特征在于，步骤S5具体包括：
采用DTW算法计算击键信号距离，对分类结果进行校验，得到键盘击键内容识别结果。
4.根据权利要求1～3任意一项所述的一种键盘击键内容的自适应识别方法，其特征在于，还包括：S6：对键盘击键内容识别结果进行存储，形成击键模板数据库，并对击键识别提供支持。
5.一种键盘击键内容的自适应识别系统，其特征在于，包括：
信号预处理模块，用于对智能终端内置麦克风采集到的击键声音信号进行降噪处理；
信号提取模块，用于对经过降噪处理的击键声音信号进行切割分帧，提取击键事件的有效信号片段；所述信号提取模块包括：切割模块和提取模块；
所述切割模块用于利用峰值检测算法对经过降噪处理的击键声音信号进行切割，得到切割后的信号；
所述提取模块用于在时变的噪声环境下，利用CFAR算法根据外部干扰噪声水平自适应的调整阈值，从切割后的信号中识别出击键事件的起点和终点，得到击键事件的有效信号片段；
事件区分模块，用于根据有效信号片段计算各击键事件的信号偏度、峭度和短时信号能量特征，以区分出单键敲击事件和组合键敲击事件；所述事件区分模块包括：单键分类模块、分离模块和组合键分类模块；
所述单键分类模块用于对单键敲击事件进行信号处理，提取ASD、MFCC特征，并利用机器学习分类算法进行分类；
所述分离模块用于对组合键敲击事件产生的混叠信号，通过击键波峰间隔和信号持续时间确定击键时间差，采用卷积盲源分离算法进行分离，得到组合键敲击事件的分离信号；
所述组合键分类模块用于基于组合键敲击事件的分离信号，提取ASD、MFCC特征，与对应单键的特征进行匹配分类，得到分类结果；
击键分类模块，用于对单键敲击事件和组合键敲击事件分别进行特征提取和分类，得到分类结果；
校正模块，用于对分类结果进行校验，得到键盘击键内容识别结果。
6.根据权利要求5所述的一种键盘击键内容的自适应识别系统，其特征在于，所述信号预处理模块包括：带外噪声去除模块和带内噪声去除模块；
所述带外噪声去除模块基于智能终端内置麦克风采集到的击键声音信号，利用巴特沃斯带通滤波器去除带外噪声；
所述带内噪声去除模块利用CMN原理抑制去除带外噪声后的击键声音信号的带内噪声。
7.根据权利要求5所述的一种键盘击键内容的自适应识别系统，其特征在于，所述校正模用于采用DTW算法计算击键信号距离，对分类结果进行校验，得到键盘击键内容识别结果。
8.根据权利要求5～7任意一项所述的一种键盘击键内容的自适应识别系统，其特征在于，还包括：存储模块，用于对键盘击键内容识别结果进行存储，形成击键模板数据库，并对击键分类模块提供支持。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910300204.XA CN110111812B (zh) | 2019-04-15 | 2019-04-15 | 一种键盘击键内容的自适应识别方法和系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910300204.XA CN110111812B (zh) | 2019-04-15 | 2019-04-15 | 一种键盘击键内容的自适应识别方法和系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN110111812A CN110111812A (zh) | 2019-08-09 |
| CN110111812B true CN110111812B (zh) | 2020-11-03 |
Family
ID=67483885
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910300204.XA Active CN110111812B (zh) | 2019-04-15 | 2019-04-15 | 一种键盘击键内容的自适应识别方法和系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110111812B (zh) |
Families Citing this family (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111090337B (zh) * | 2019-11-21 | 2023-04-07 | 辽宁工程技术大学 | 一种基于cfcc空间梯度的键盘单键击键内容识别方法 |
| CN111857642B (zh) * | 2020-07-20 | 2024-06-04 | 歌尔科技有限公司 | 电子设备的控制方法、电子设备及可读存储介质 |
| US20230093741A1 (en) * | 2021-09-17 | 2023-03-23 | Triad National Security, Llc | Signal processing methods and apparatus |
| CN116415166A (zh) * | 2021-12-28 | 2023-07-11 | 深圳大学 | 多键盘混合按键声音的识别方法、装置、设备及存储介质 |
| CN115171665A (zh) * | 2022-07-15 | 2022-10-11 | 重庆大学 | 一种基于声波特性的键盘指纹身份信息安全认证方法 |
| CN116070174A (zh) * | 2023-03-23 | 2023-05-05 | 长沙融创智胜电子科技有限公司 | 一种多类别目标识别方法及系统 |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102087547A (zh) * | 2011-01-26 | 2011-06-08 | 杭州慈源科技有限公司 | 家用多功能电脑键盘 |
| JP4800513B2 (ja) * | 2000-07-13 | 2011-10-26 | コンピュータ・モーション・インコーポレーテッド | ネットワークを介して医療データにアクセスするための方法および装置 |
| CN102422264A (zh) * | 2009-03-16 | 2012-04-18 | 苹果公司 | 事件识别 |
| CN103186232A (zh) * | 2011-12-30 | 2013-07-03 | 上海博泰悦臻电子设备制造有限公司 | 语音键盘装置 |
| US8497786B2 (en) * | 2009-03-26 | 2013-07-30 | Freescale Semiconductor, Inc. | Capacitive keyboard with enhanced electrode areas |
| CN104750257A (zh) * | 2013-12-30 | 2015-07-01 | 鸿富锦精密工业(武汉)有限公司 | 键盘组合及语音识别方法 |
| CN108777823A (zh) * | 2018-06-29 | 2018-11-09 | 杭州叙简科技股份有限公司 | 一种支持ptt硬件检测功能的桌面麦克风 |
Family Cites Families (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20140181650A1 (en) * | 2012-10-11 | 2014-06-26 | Victoria Isabella Polubinska | Self-configuring user interface |
| CN105183177A (zh) * | 2015-08-26 | 2015-12-23 | 无锡伊佩克科技有限公司 | 一种用于计算机键盘的语音输入控制装置 |
| CN106128452A (zh) * | 2016-07-05 | 2016-11-16 | 深圳大学 | 利用声音信号检测键盘敲击内容的系统及方法 |
| CN106161795B (zh) * | 2016-07-19 | 2019-03-29 | 西北工业大学 | 基于手机麦克风的键盘输入感知方法 |
| CN106875937B (zh) * | 2017-01-13 | 2019-09-24 | 西北工业大学 | 基于键盘输入感知的活动识别方法 |
| CN107133135B (zh) * | 2017-05-02 | 2021-02-09 | 电子科技大学 | 一种基于统计学与声音定位的键盘按键检测方法 |
| CN108182418B (zh) * | 2017-12-30 | 2022-02-01 | 儒安科技有限公司 | 一种基于多维声波特征的键击识别方法 |
-
2019
- 2019-04-15 CN CN201910300204.XA patent/CN110111812B/zh active Active
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP4800513B2 (ja) * | 2000-07-13 | 2011-10-26 | コンピュータ・モーション・インコーポレーテッド | ネットワークを介して医療データにアクセスするための方法および装置 |
| CN102422264A (zh) * | 2009-03-16 | 2012-04-18 | 苹果公司 | 事件识别 |
| US8497786B2 (en) * | 2009-03-26 | 2013-07-30 | Freescale Semiconductor, Inc. | Capacitive keyboard with enhanced electrode areas |
| CN102087547A (zh) * | 2011-01-26 | 2011-06-08 | 杭州慈源科技有限公司 | 家用多功能电脑键盘 |
| CN103186232A (zh) * | 2011-12-30 | 2013-07-03 | 上海博泰悦臻电子设备制造有限公司 | 语音键盘装置 |
| CN104750257A (zh) * | 2013-12-30 | 2015-07-01 | 鸿富锦精密工业(武汉)有限公司 | 键盘组合及语音识别方法 |
| CN108777823A (zh) * | 2018-06-29 | 2018-11-09 | 杭州叙简科技股份有限公司 | 一种支持ptt硬件检测功能的桌面麦克风 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN110111812A (zh) | 2019-08-09 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110111812B (zh) | 一种键盘击键内容的自适应识别方法和系统 | |
| CN109599124B (zh) | 一种音频数据处理方法、装置及存储介质 | |
| Compagno et al. | Don't skype & type! acoustic eavesdropping in voice-over-ip | |
| US9042571B2 (en) | Method and system for touch gesture detection in response to microphone output | |
| CN108182418B (zh) | 一种基于多维声波特征的键击识别方法 | |
| WO2018006797A1 (zh) | 利用声音信号检测键盘敲击内容的系统及方法 | |
| CN105338148B (zh) | 一种根据频域能量对音频信号进行检测的方法和装置 | |
| KR101220633B1 (ko) | 소리를 이용한 터치세기 검출방법, 이를 위한 입력장치 및 사용자 단말 | |
| WO2020088153A1 (zh) | 语音处理方法、装置、存储介质和电子设备 | |
| CN103903612B (zh) | 一种实时语音识别数字的方法 | |
| CN105989836B (zh) | 一种语音采集方法、装置及终端设备 | |
| US20090177466A1 (en) | Detection of speech spectral peaks and speech recognition method and system | |
| CN107133135B (zh) | 一种基于统计学与声音定位的键盘按键检测方法 | |
| Yin et al. | Ubiquitous writer: Robust text input for small mobile devices via acoustic sensing | |
| KR101496876B1 (ko) | 휴대 단말기의 소리 인식 방법 및 장치 | |
| CN113074967A (zh) | 一种异音检测的方法、装置、存储介质及电子设备 | |
| Zou et al. | AcouDigits: Enabling users to input digits in the air | |
| Xiao et al. | Mobile phones know your keystrokes through the sounds from finger’s tapping on the screen | |
| CN108111538A (zh) | 基于声纹识别技术的智能投影仪语音控制系统及其方法 | |
| Ibrahim et al. | Over-the-air tv detection using mobile devices | |
| CN110276328B (zh) | 指纹识别方法及相关产品 | |
| US10283129B1 (en) | Audio matching using time-frequency onsets | |
| KR20170010978A (ko) | 통화 내용 패턴 분석을 통한 보이스 피싱 방지 방법 및 장치 | |
| TWI659410B (zh) | Audio recognition method and device | |
| CN110992983B (zh) | 识别音频指纹的方法、装置、终端及存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |