CN114594865A - 一种基于数据分类匹配的手机按键检测方法及系统 - Google Patents

一种基于数据分类匹配的手机按键检测方法及系统 Download PDF

Info

Publication number
CN114594865A
CN114594865A CN202210169245.1A CN202210169245A CN114594865A CN 114594865 A CN114594865 A CN 114594865A CN 202210169245 A CN202210169245 A CN 202210169245A CN 114594865 A CN114594865 A CN 114594865A
Authority
CN
China
Prior art keywords
data
key
csi
point
receiving end
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202210169245.1A
Other languages
English (en)
Other versions
CN114594865B (zh
Inventor
林乐新
张康
龙翠
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Shanhui Technology Co ltd
Original Assignee
Shenzhen Shanhui Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Shanhui Technology Co ltd filed Critical Shenzhen Shanhui Technology Co ltd
Priority to CN202210169245.1A priority Critical patent/CN114594865B/zh
Priority claimed from CN202210169245.1A external-priority patent/CN114594865B/zh
Publication of CN114594865A publication Critical patent/CN114594865A/zh
Application granted granted Critical
Publication of CN114594865B publication Critical patent/CN114594865B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/02—Input arrangements using manually operated switches, e.g. using keyboards or dials
    • G06F3/023—Arrangements for converting discrete items of information into a coded form, e.g. arrangements for interpreting keyboard generated codes as alphanumeric codes, operand codes or instruction codes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2413—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
    • G06F18/24147—Distances to closest patterns, e.g. nearest neighbour classification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2218/00—Aspects of pattern recognition specially adapted for signal processing
    • G06F2218/02—Preprocessing
    • G06F2218/04—Denoising
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D30/00—Reducing energy consumption in communication networks
    • Y02D30/70—Reducing energy consumption in communication networks in wireless communication networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Mobile Radio Communication Systems (AREA)

Abstract

本发明公开了基于数据分类匹配的手机按键检测方法，通过获取发送端持续不断发送WIFI信号，接收端进行CSI数据收集，当用户在发送端和接收端之间进行按键支付操作时，将CSI变化的数据在接收端存储并进行波形展示，对接收端的原始CSI数据进行去噪和降维处理，去噪处理和降维处理包括异常点判别、低通滤波和PCA处理，检测并提取按键波形的起止点，采用动态时间规整继续对提取的按键CSI数据进行压缩处理，对按键的CSI数据进行分类处理，以识别每个按键波形的数字类别，推测按键的开始时间和结束时间，使用K最近邻算法进行分类器训练，得出用户匹配率和按键识别率，也提高了手机按键检测的精确度。

Description

一种基于数据分类匹配的手机按键检测方法及系统
技术领域
本发明属于手机按键检测技术领域，尤其涉及一种基于数据分类匹配的手机按键检测方法及系统。
背景技术
随着万物互联时代的到来和移动通信的逐步发展，4G通信成为主流，5G时代也将拉开序幕，WIFI基础设施在全球大范围普及。在我们日常生活中，商场、公园、车站、居民楼等公共活动场所大都部署了WIFI设备，随处可见的WIFI信号可能来自无线路由器、手机、平板电脑等，不仅为我们的生活带来便利，同时非法入侵者也能利用公共场合部署的WIFI信号窃取他人的隐私，如在非视距的情况下受害者防范意识不高，暴露数字按键信息如手机开机密码或支付密码，容易存在安全漏洞和个人隐私泄露的危险。
目前，通过击键的声音特性恢复击键内容提取FFT值作为击键的特征，并使用监督式学习训练带标签的数据，这些数据来自每个按键敲击100次的数据集合，最后的测试结果显示有80％的识别准确率，但监督式学习的缺点是它只适用于带标记的数据，而对未标记的数据就不适用，即来自某个键盘的训练模型并不适用于其他的键盘，导致不同键盘产生的击键数据不能保证是相同的或者具有类似的频域分布，使得检测精度不高。
发明内容
有鉴于此，本发明提供了一种基于数据分类匹配的手机按键检测方法及系统，通过接收端获取的CSI，可以及时衡量当前的通信环境，并将其反馈到发送端进行调整，从而提高通信的传输效率和链路可靠性，同时数字按键的特征之间具有相关性，采用主成分分析进行简化降维处理，降低了子载波挑选的时间复杂度和提高了分类的准确率，具体采用以下技术方案来实现。
第一方面，本发明提供了一种基于数据分类匹配的手机按键检测方法，包括以下步骤：
获取发送端持续不断发送WIFI信号，接收端进行CSI数据收集，当用户在发送端和接收端之间进行按键支付操作时，将CSI变化的数据在接收端存储并进行波形展示，其中，当用户在部署环境的区域内进行按键操作时，接收端的显示器上出现CSI数据波形，通过捕获案件操作对应的波形波动来识别用户的按键情况；
对接收端的原始CSI数据进行去噪和降维处理，去噪处理和降维处理包括异常点判别、低通滤波和PCA处理，其中，使用中位值和绝对中位差找到数据集中的异常数据点，并使用滑动窗口中数据的中值替换异常值；
检测并提取按键波形的起止点，采用动态时间规整继续对提取的按键CSI数据进行压缩处理；
对按键的CSI数据进行分类处理，以识别每个按键波形的数字类别。
作为上述技术方案的进一步改进，对接收端的原始CSI数据进行去噪和降维处理，包括：若数据集X＝{x1,x2...,xn}和窗口长度l，则有m1＝median(xi-l,i-l+1,xi-l+2...,xi...,xi+l-2,xi+l-1,xi+l),，μi＝k×median(|xi-l-mi|,...,|xi+l-mi|),其中
Figure BDA0003516801910000021
mi、μi和median分别为滑动窗口中数据的中值、标准差估计和绝对中位差，k为比例因子常量，它的值取决于数据集分布，对于正态分布的数据，取值为1.4826，对于给定的阈值nμ，若有|xi-mi|＞nμμi，则Hampel判别将xi视为异常点，并用中位值mi来代替异常点数据。
作为上述技术方案的进一步改进，低通滤波包括：若n阶巴特沃斯低通滤波器的增益为G(λ)，则有
Figure BDA0003516801910000031
其中H(jλ)为传递函数，G0为直流增益或零频率增益，λ为信号的角频率，λc为截止频率，随着n趋近于无穷时，巴特沃斯低通滤波器的增益G(λ)会变成一个矩形函数，频率低于λc的会以G0的直流增益通过，频率高于λc的部分就会被抑制。
作为上述技术方案的进一步改进，PCA处理包括：选择PCA对CSI数据进行处理，保留CSI数据中最具代表性的部分，去除冗余部分，从发送端发出的无线信号以多径的形式到达接收端，若无线信号从发送端到接收端有N条路径，则
Figure BDA0003516801910000032
其中f为子载波频率，t为时间，αk(f,t)、和
Figure BDA0003516801910000033
和βk(t)表示第k条路径的幅度衰减、相位改变以及传播时延，e-j2πΔft由发送端和接收端之间载波频差Δf造成的相位偏移；
若用户在0～t的时间内进行手指按键操作，则第k条路径的长度从dk(0)变成dk(t)，无线信号传播速度近似为光速c，则第k条路径的时延βk(t)的表达式为，βk(t)＝dk(t)/χf，其中χ为子载波波长，在第k条路径上的相位便宜表示为
Figure BDA0003516801910000034
无线信号传播路径长度改变一个波长时，接收端在对应的子载波上将经历2π的相位偏移。
作为上述技术方案的进一步改进，采用DWT继续对提取的按键CSI数据进行压缩处理，包括：
将采集到的声音信号减去其均值，使用一个滑动的窗口依次以预设的移动单位从待处理数据的起点移向终点，该短时能量的表达式为
Figure BDA0003516801910000035
W＝50，滑动窗口为依次移动且每一次移动后计算对应的短时能量，当窗口滑动到合数据的最后一个点时，每一个窗口对应的短时能量组成一个短时能量序列。
作为上述技术方案的进一步改进，检测并提取按键波形的起止点，包括：
计算在无用户按键时CSI幅度的平均值Ts和有用户按键时的CSI幅度的平均值Td，将两者的平均值T作为环境阈值，则T＝(Ts+Td)/2，当有CSI幅度超过T时，视为用户的按键区域，当CSI幅度低于T时，视为非用户按键区域；
将采集到的CSI数据依次通过Hampel异常点处理、巴特沃斯低通滤波和PCA处理，得到去噪和降维后六对天线的CSI数据，经过归一化处理，将CSI幅度映射到[0,1]内；
将环境阈值T应用到CSI时间序列上，找到阈值T与波形的交点，CSI时间序列以FS＝2500sample/s的频率采样的离散序列，阈值T的直线与波形曲线不一定存在交点，上升点ascending points和下降点descending points作为阈值T与波形曲线的交点，xi≤T＜xi+1,xi∈ascending points，xi＞T≥xi+1,xi+1∈descending points，将得到的上身点和下降点分别保存到序列ap和dp中，并在波形中标注为第一次判决点；
经过第一次判决后，进行第二次判决找到完整的那件波形起止点，从上升点和下降点向右分别找到第一个极小值点，将上升点向左的开始点和下降点向右的结束点分别保存的序列afp和dfp中，完成第二次判决；
将所有样本的CSI时间序列全部输入并输出六个起始点序列afp和六个终止点序列dfp，对六个起始点序列和六个终止点序列的每个店对应求平均数，得到最终的起止点集合sp和ep，以完成有效按键波形起止点提取。
作为上述技术方案的进一步改进，经过归一化处理，将CSI幅度映射到[0,1]内，包括：
获取一段敲击信号的第一个尖峰的位置；
从该尖峰位置往前一个固定偏移的位置触发，找到一个初始设定的threshold的点，该点位置作为初始敲击产生的振动到达麦克风的初始时刻；
从这个初始时刻开始，往后0.001s的范围内为所求的数据。
作为上述技术方案的进一步改进，对按键的CSI数据进行分类处理，以识别每个按键波形的数字类别，包括：
给定两个时间序列，对其进行局部拉伸或压缩，以其中一个时间序列与另一个相似，通过对拉伸后各个对齐元素的距离求和计算两个时间序列之间的距离；
选择波形特征形状作为区分按键数字类型的特征后，继续使用DWT算法将CSI数据进行压缩，并保留原始按键波形特征，采用DTW算法作为衡量两个按键波形之间的相似性度量。
作为上述技术方案的进一步改进，建立一个3×MT×MR分类器，使用从所有天线对的CSI时间序列中提取的相应特征训练每个分类器以识别击键；
将击键的形状特征输入到相应的kNN分类器中，从集合中的每个分类器中获得一个决策，每个kNN分类器使用DTW距离度量，搜索与k最近相邻的k个最近邻的大多数类标签，通过对所有kNN分类器进行多数投票的决策来计算最终结果。
第二方面，本发明还提供了一种基于数据分类匹配的手机按键检测系统，包括：
获取模块，用于获取发送端持续不断发送WIFI信号，接收端进行CSI数据收集，当用户在发送端和接收端之间进行按键支付操作时，将CSI变化的数据在接收端存储并进行波形展示，其中，当用户在部署环境的区域内进行按键操作时，接收端的显示器上出现CSI数据波形，通过捕获案件操作对应的波形波动来识别用户的按键情况；
处理模块，用于对接收端的原始CSI数据进行去噪和降维处理，去噪处理和降维处理包括异常点判别、低通滤波和PCA处理，其中，使用中位值和绝对中位差找到数据集中的异常数据点，并使用滑动窗口中数据的中值替换异常值；
检测模块，用于检测并提取按键波形的起止点，采用动态时间规整继续对提取的按键CSI数据进行压缩处理；
识别模块，用于对按键的CSI数据进行分类处理，以识别每个按键波形的数字类别。
本发明提供了一种基于数据分类匹配的手机按键检测方法及系统，相对于现有技术，具有以下有益效果：
通过获取发送端持续不断发送WIFI信号，接收端进行CSI数据收集，当用户在发送端和接收端之间进行按键支付操作时，将CSI变化的数据在接收端存储并进行波形展示，对接收端的原始CSI数据进行去噪和降维处理，去噪处理和降维处理包括异常点判别、低通滤波和PCA处理，检测并提取按键波形的起止点，采用动态时间规整继续对提取的按键CSI数据进行压缩处理，对按键的CSI数据进行分类处理，以识别每个按键波形的数字类别。在测试环境中移动的对象如按键与分析按键的持续时间即使用原始CSI频率相关联，不同数字按键的持续时间可能相同，但每个按键的频率可能不同，提取不同数字按键在不同时长下的频率和时间分量，可以得到每个数字识别的模式。利用小波分析和离散小波变换，压缩波形减少计算量，采用短时能量窗口推测按键的持续时间，推测按键的开始时间和结束时间，使用K最近邻算法进行分类器训练，得出用户匹配率和按键识别率。
附图说明
为了更清楚地说明本发明实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本发明的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。
图1为本发明提供的基于数据分类匹配的手机按键检测方法的六合彩呢改图；
图2为本发明提供的提取按键波形的流程图；
图3为本发明提供的归一化处理的流程图；
图4为本发明提供的分类处理的流程图；
图5为本发明提供的基于数据分类匹配的手机按键检测系统的结构框图。
具体实施方式
下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，仅用于解释本发明，而不能理解为对本发明的限制。
参阅图1，本发明提供了一种基于数据分类匹配的手机按键检测方法，包括以下步骤：
S10：获取发送端持续不断发送WIFI信号，接收端进行CSI数据收集，当用户在发送端和接收端之间进行按键支付操作时，将CSI变化的数据在接收端存储并进行波形展示，其中，当用户在部署环境的区域内进行按键操作时，接收端的显示器上出现CSI数据波形，通过捕获案件操作对应的波形波动来识别用户的按键情况；
S11：对接收端的原始CSI数据进行去噪和降维处理，去噪处理和降维处理包括异常点判别、低通滤波和PCA处理，其中，使用中位值和绝对中位差找到数据集中的异常数据点，并使用滑动窗口中数据的中值替换异常值；
S12：检测并提取按键波形的起止点，采用动态时间规整继续对提取的按键CSI数据进行压缩处理；
S13：对按键的CSI数据进行分类处理，以识别每个按键波形的数字类别。
本实施例中，对接收端的原始CSI数据进行去噪和降维处理，包括：若数据集X＝{x1,x2...,xn}和窗口长度l，则有m1＝median(xi-l,i-l+1,xi-l+2...,xi...,xi+l-2,xi+l-1,xi+l),，μi＝k×median(|xi-l-mi|,...,|xi+l-mi|),其中
Figure BDA0003516801910000081
mi、μi和median分别为滑动窗口中数据的中值、标准差估计和绝对中位差，k为比例因子常量，它的值取决于数据集分布，对于正态分布的数据，取值为1.4826，对于给定的阈值nμ，若有|xi-mi|＞nμμi，则Hampel判别将xi视为异常点，并用中位值mi来代替异常点数据。
需要说明的是，若n阶巴特沃斯低通滤波器的增益为G(λ)，则有
Figure BDA0003516801910000082
其中H(jλ)为传递函数，G0为直流增益或零频率增益，λ为信号的角频率，λc为截止频率，随着n趋近于无穷时，巴特沃斯低通滤波器的增益G(λ)会变成一个矩形函数，频率低于λc的会以G0的直流增益通过，频率高于λc的部分就会被抑制。
应理解，PCA处理包括：选择PCA对CSI数据进行处理，保留CSI数据中最具代表性的部分，去除冗余部分，从发送端发出的无线信号以多径的形式到达接收端，若无线信号从发送端到接收端有N条路径，则
Figure BDA0003516801910000083
其中f为子载波频率，t为时间，αk(f,t)、和
Figure BDA0003516801910000084
和βk(t)表示第k条路径的幅度衰减、相位改变以及传播时延，e-j2πΔft由发送端和接收端之间载波频差Δf造成的相位偏移；若用户在0～t的时间内进行手指按键操作，则第k条路径的长度从dk(0)变成dk(t)，无线信号传播速度近似为光速c，则第k条路径的时延βk(t)的表达式为，βk(t)＝dk(t)/χf，其中χ为子载波波长，在第k条路径上的相位便宜表示为
Figure BDA0003516801910000085
无线信号传播路径长度改变一个波长时，接收端在对应的子载波上将经历2π的相位偏移。
可选地，采用DWT继续对提取的按键CSI数据进行压缩处理，包括：
将采集到的声音信号减去其均值，使用一个滑动的窗口依次以预设的移动单位从待处理数据的起点移向终点，该短时能量的表达式为
Figure BDA0003516801910000091
W＝50，滑动窗口为依次移动且每一次移动后计算对应的短时能量，当窗口滑动到合数据的最后一个点时，每一个窗口对应的短时能量组成一个短时能量序列。
本实施例中，噪声中的来源分为系统噪声和周围环境噪声，如采集过程中系统的不稳定，传输功率的变化和传输速率的自适应等，对于这些噪声，采用离群值去除和数据平滑化处理，周围环境中存在噪声如周围环境异动，多个接入点的信号干扰等，采用五点三次平滑法进行数据处理，利用的原理为最小二乘法对离散数据进行三次最小二乘多项式平滑的处理。数字按键时手部姿势的频率变化集中于频谱较低端，系统内存在的部分噪声位于高端，巴特沃斯滤波器基本不会扭曲信号中的相频特性，在通频带中具有最大的平直幅度相应，因此不会使手和手指的运动信号失真。采用巴特沃斯低通滤波器进行低通滤波能消除CSI波形中的大部分高频噪声。
参阅图2，可选地，检测并提取按键波形的起止点，包括：
S20：计算在无用户按键时CSI幅度的平均值Ts和有用户按键时的CSI幅度的平均值Td，将两者的平均值T作为环境阈值，则T＝(Ts+Td)/2，当有CSI幅度超过T时，视为用户的按键区域，当CSI幅度低于T时，视为非用户按键区域；
S21：将采集到的CSI数据依次通过Hampel异常点处理、巴特沃斯低通滤波和PCA处理，得到去噪和降维后六对天线的CSI数据，经过归一化处理，将CSI幅度映射到[0,1]内；
S22：将环境阈值T应用到CSI时间序列上，找到阈值T与波形的交点，CSI时间序列以FS＝2500sample/s的频率采样的离散序列，阈值T的直线与波形曲线不一定存在交点，上升点ascending points和下降点descending points作为阈值T与波形曲线的交点，xi≤T＜xi+1,xi∈ascending points，xi＞T≥xi+1,xi+1∈descending points，将得到的上身点和下降点分别保存到序列ap和dp中，并在波形中标注为第一次判决点；
S23：经过第一次判决后，进行第二次判决找到完整的那件波形起止点，从上升点和下降点向右分别找到第一个极小值点，将上升点向左的开始点和下降点向右的结束点分别保存的序列afp和dfp中，完成第二次判决；
S24：将所有样本的CSI时间序列全部输入并输出六个起始点序列afp和六个终止点序列dfp，对六个起始点序列和六个终止点序列的每个店对应求平均数，得到最终的起止点集合sp和ep，以完成有效按键波形起止点提取。
本实施例中，手指案件移动引起的CSI数据变化的频率约为3～30Hz，位于频谱的低频部分，对于频谱中的高频部分。通过正交变换将一组线性相关变量转换为一组主成分的线性无关变量，这些主成分按照其样本方差从大到小依次排列，其中第一主成分具有最大的样本方差，且随着样本方差的变小，其主成分包含的数据特征信息也越来越少。采用PCA方法降低CSI数据的矩阵维度，同时去除数据中的冗余信息，实现去噪和降维的效果。完成有效按键波形的提取后，需要根据这些按键数据准确识别用户按键的数字，从时域和频域的角度进行分析并选择相应的波形特征。
需要说明的是，时域中的大部分特征并不适合作为区分按键数字的标准，而在频域中不同数字的按键频率基本相似，且会导致时域信息的损失，也不适合作为区分按键数字的特征，相同数字的按键波形形状相似，不同数字的按键波形形状不同，且波形形状包含了所有的时域和频域信息，不会造成时域或频域信息的损失。相同数字的两次按键波形形状基本相同，而不同数字按键的波形形状完全不同。
参阅图3，可选地，经过归一化处理，将CSI幅度映射到[0,1]内，包括：
S30：获取一段敲击信号的第一个尖峰的位置；
S31：从该尖峰位置往前一个固定偏移的位置触发，找到一个初始设定的threshold的点，该点位置作为初始敲击产生的振动到达麦克风的初始时刻；
S32：从这个初始时刻开始，往后0.001s的范围内为所求的数据。
本实施例中，对按键的CSI数据进行分类处理，以识别每个按键波形的数字类别，包括：给定两个时间序列，对其进行局部拉伸或压缩，以其中一个时间序列与另一个相似，通过对拉伸后各个对齐元素的距离求和计算两个时间序列之间的距离；选择波形特征形状作为区分按键数字类型的特征后，继续使用DWT算法将CSI数据进行压缩，并保留原始按键波形特征，采用DTW算法作为衡量两个按键波形之间的相似性度量。
参阅图4，可选地，分类处理过程为：
S40：建立一个3×MT×MR分类器，使用从所有天线对的CSI时间序列中提取的相应特征训练每个分类器以识别击键；
S41：将击键的形状特征输入到相应的kNN分类器中，从集合中的每个分类器中获得一个决策，每个kNN分类器使用DTW距离度量，搜索与k最近相邻的k个最近邻的大多数类标签，通过对所有kNN分类器进行多数投票的决策来计算最终结果。
本实施例中，为了实现所需的压缩，需要选择适当的小波和缩放滤波器，使用Daubechies D4即每个滤波器四个系数小波和缩放滤波器，使用该过滤器提取的DWT特征的模型达到了更高的分类精度，使用DWT四次，可以保留成功分类所需的波形的足够细节，同时实现最大压缩。由于数字按键的特征向量可能不具有相同的长度，欧式距离此时不能发挥作用，需要采用动态时间规整方法来计算特征之间的距离，DTW提供了两个波形之间的直观距离，且对信号的畸变或移位具有很强的弹性。
参阅图5，本发明还提供了一种基于数据分类匹配的手机按键检测系统，包括：
获取模块，用于获取发送端持续不断发送WIFI信号，接收端进行CSI数据收集，当用户在发送端和接收端之间进行按键支付操作时，将CSI变化的数据在接收端存储并进行波形展示，其中，当用户在部署环境的区域内进行按键操作时，接收端的显示器上出现CSI数据波形，通过捕获案件操作对应的波形波动来识别用户的按键情况；
处理模块，用于对接收端的原始CSI数据进行去噪和降维处理，去噪处理和降维处理包括异常点判别、低通滤波和PCA处理，其中，使用中位值和绝对中位差找到数据集中的异常数据点，并使用滑动窗口中数据的中值替换异常值；
检测模块，用于检测并提取按键波形的起止点，采用动态时间规整继续对提取的按键CSI数据进行压缩处理；
识别模块，用于对按键的CSI数据进行分类处理，以识别每个按键波形的数字类别。
本实施例中，通过对获取的用户敲击虚拟键盘过程中的声音信号进行分析处理，从而识别当前的敲击内容，对虚拟键盘敲击内容进行快速识别。分别由手机上下两个麦克风采集被敲击时的声音数据，上下两个麦克风采集的声音数据具有一定的相关性，每一次敲击信号的持续时间大约为40ms，敲击信号具有从敲击起始点开始，新年好的能量较高，后面的信号衰减严重，通过比较上麦克风信号和下麦克风信号，同一声援到达这两个麦克风的信号波形略有不同的特点。由于不同用户敲击的力度有大有小，导致手机采集到的敲击信号幅度上不一样，为了消除用户不同的敲击习惯产生的差异性，可以对数据的幅度采取归一化处理，可以保留在敲击不同虚拟按键时敲击信号变化趋势的特点而消除了不同人由于敲击力度大小导致幅度不同的影响，以提高手机按键检测的精确度。
在这里示出和描述的所有示例中，任何具体值应被解释为仅仅是示例性的，而不是作为限制，因此，示例性实施例的其他示例可以具有不同的值。
应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。
以上所述实施例仅表达了本发明的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本发明范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。

Claims (10)

1.一种基于数据分类匹配的手机按键检测方法，其特征在于，包括以下步骤：
获取发送端持续不断发送WIFI信号，接收端进行CSI数据收集，当用户在发送端和接收端之间进行按键支付操作时，将CSI变化的数据在接收端存储并进行波形展示，其中，当用户在部署环境的区域内进行按键操作时，接收端的显示器上出现CSI数据波形，通过捕获案件操作对应的波形波动来识别用户的按键情况；
对接收端的原始CSI数据进行去噪和降维处理，去噪处理和降维处理包括异常点判别、低通滤波和PCA处理，其中，使用中位值和绝对中位差找到数据集中的异常数据点，并使用滑动窗口中数据的中值替换异常值；
检测并提取按键波形的起止点，采用动态时间规整继续对提取的按键CSI数据进行压缩处理；
对按键的CSI数据进行分类处理，以识别每个按键波形的数字类别。
2.根据权利要求1所述的基于数据分类匹配的手机按键检测方法，其特征在于，对接收端的原始CSI数据进行去噪和降维处理，包括：若数据集X＝{x1,x2...,xn}和窗口长度l，则有m1＝median(xi-l,i-l+1,xi-l+2...,xi...,xi+l-2,xi+l-1,xi+l),，μi＝k×median(|xi-l-mi|,...,|xi+l-mi|),其中
Figure FDA0003516801900000011
mi、μi和median分别为滑动窗口中数据的中值、标准差估计和绝对中位差，k为比例因子常量，它的值取决于数据集分布，对于正态分布的数据，取值为1.4826，对于给定的阈值nμ，若有|xi-mi|＞nμμi，则Hampel判别将xi视为异常点，并用中位值mi来代替异常点数据。
3.根据权利要求1所述的基于数据分类匹配的手机按键检测方法，其特征在于，低通滤波包括：若n阶巴特沃斯低通滤波器的增益为G(λ)，则有
Figure FDA0003516801900000021
其中H(jλ)为传递函数，G0为直流增益或零频率增益，λ为信号的角频率，λc为截止频率，随着n趋近于无穷时，巴特沃斯低通滤波器的增益G(λ)会变成一个矩形函数，频率低于λc的会以G0的直流增益通过，频率高于λc的部分就会被抑制。
4.根据权利要求3所述的基于数据分类匹配的手机按键检测方法，其特征在于，PCA处理包括：选择PCA对CSI数据进行处理，保留CSI数据中最具代表性的部分，去除冗余部分，从发送端发出的无线信号以多径的形式到达接收端，若无线信号从发送端到接收端有N条路径，则
Figure FDA0003516801900000022
其中f为子载波频率，t为时间，αk(f,t)、和
Figure FDA0003516801900000023
和βk(t)表示第k条路径的幅度衰减、相位改变以及传播时延，e-j2πΔft由发送端和接收端之间载波频差Δf造成的相位偏移；
若用户在0～t的时间内进行手指按键操作，则第k条路径的长度从dk(0)变成dk(t)，无线信号传播速度近似为光速c，则第k条路径的时延βk(t)的表达式为，βk(t)＝dk(t)/χf，其中χ为子载波波长，在第k条路径上的相位便宜表示为
Figure FDA0003516801900000024
无线信号传播路径长度改变一个波长时，接收端在对应的子载波上将经历2π的相位偏移。
5.根据权利要求1所述的基于数据分类匹配的手机按键检测方法，其特征在于，采用DWT继续对提取的按键CSI数据进行压缩处理，包括：
将采集到的声音信号减去其均值，使用一个滑动的窗口依次以预设的移动单位从待处理数据的起点移向终点，该短时能量的表达式为
Figure FDA0003516801900000025
W＝50，滑动窗口为依次移动且每一次移动后计算对应的短时能量，当窗口滑动到合数据的最后一个点时，每一个窗口对应的短时能量组成一个短时能量序列。
6.根据权利要求1所述的基于数据分类匹配的手机按键检测方法，其特征在于，检测并提取按键波形的起止点，包括：
计算在无用户按键时CSI幅度的平均值Ts和有用户按键时的CSI幅度的平均值Td，将两者的平均值T作为环境阈值，则T＝(Ts+Td)/2，当有CSI幅度超过T时，视为用户的按键区域，当CSI幅度低于T时，视为非用户按键区域；
将采集到的CSI数据依次通过Hampel异常点处理、巴特沃斯低通滤波和PCA处理，得到去噪和降维后六对天线的CSI数据，经过归一化处理，将CSI幅度映射到[0,1]内；
将环境阈值T应用到CSI时间序列上，找到阈值T与波形的交点，CSI时间序列以FS＝2500sample/s的频率采样的离散序列，阈值T的直线与波形曲线不一定存在交点，上升点ascending points和下降点descending points作为阈值T与波形曲线的交点，xi≤T＜xi+1,xi∈ascending points，xi＞T≥xi+1,xi+1∈descending points，将得到的上身点和下降点分别保存到序列ap和dp中，并在波形中标注为第一次判决点；
经过第一次判决后，进行第二次判决找到完整的那件波形起止点，从上升点和下降点向右分别找到第一个极小值点，将上升点向左的开始点和下降点向右的结束点分别保存的序列afp和dfp中，完成第二次判决；
将所有样本的CSI时间序列全部输入并输出六个起始点序列afp和六个终止点序列dfp，对六个起始点序列和六个终止点序列的每个店对应求平均数，得到最终的起止点集合sp和ep，以完成有效按键波形起止点提取。
7.根据权利要求6所述的基于数据分类匹配的手机按键检测方法，其特征在于，经过归一化处理，将CSI幅度映射到[0,1]内，包括：
获取一段敲击信号的第一个尖峰的位置；
从该尖峰位置往前一个固定偏移的位置触发，找到一个初始设定的threshold的点，该点位置作为初始敲击产生的振动到达麦克风的初始时刻；
从这个初始时刻开始，往后0.001s的范围内为所求的数据。
8.根据权利要求1所述的基于数据分类匹配的手机按键检测方法，其特征在于，对按键的CSI数据进行分类处理，以识别每个按键波形的数字类别，包括：
给定两个时间序列，对其进行局部拉伸或压缩，以其中一个时间序列与另一个相似，通过对拉伸后各个对齐元素的距离求和计算两个时间序列之间的距离；
选择波形特征形状作为区分按键数字类型的特征后，继续使用DWT算法将CSI数据进行压缩，并保留原始按键波形特征，采用DTW算法作为衡量两个按键波形之间的相似性度量。
9.根据权利要求8所述的基于数据分类匹配的手机按键检测方法，其特征在于，还包括：
建立一个3×MT×MR分类器，使用从所有天线对的CSI时间序列中提取的相应特征训练每个分类器以识别击键；
将击键的形状特征输入到相应的kNN分类器中，从集合中的每个分类器中获得一个决策，每个kNN分类器使用DTW距离度量，搜索与k最近相邻的k个最近邻的大多数类标签，通过对所有kNN分类器进行多数投票的决策来计算最终结果。
10.一种根据权利要求1-9任一项所述的基于数据分类匹配的手机按键检测方法的基于数据分类匹配的手机按键检测系统，其特征在于，包括：
获取模块，用于获取发送端持续不断发送WIFI信号，接收端进行CSI数据收集，当用户在发送端和接收端之间进行按键支付操作时，将CSI变化的数据在接收端存储并进行波形展示，其中，当用户在部署环境的区域内进行按键操作时，接收端的显示器上出现CSI数据波形，通过捕获案件操作对应的波形波动来识别用户的按键情况；
处理模块，用于对接收端的原始CSI数据进行去噪和降维处理，去噪处理和降维处理包括异常点判别、低通滤波和PCA处理，其中，使用中位值和绝对中位差找到数据集中的异常数据点，并使用滑动窗口中数据的中值替换异常值；
检测模块，用于检测并提取按键波形的起止点，采用动态时间规整继续对提取的按键CSI数据进行压缩处理；
识别模块，用于对按键的CSI数据进行分类处理，以识别每个按键波形的数字类别。
CN202210169245.1A 2022-02-23 一种基于数据分类匹配的手机按键检测方法及系统 Active CN114594865B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210169245.1A CN114594865B (zh) 2022-02-23 一种基于数据分类匹配的手机按键检测方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210169245.1A CN114594865B (zh) 2022-02-23 一种基于数据分类匹配的手机按键检测方法及系统

Publications (2)

Publication Number Publication Date
CN114594865A true CN114594865A (zh) 2022-06-07
CN114594865B CN114594865B (zh) 2024-07-02

Family

ID=

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018006797A1 (zh) * 2016-07-05 2018-01-11 深圳大学 利用声音信号检测键盘敲击内容的系统及方法
CN112560629A (zh) * 2020-12-07 2021-03-26 杭州电子科技大学 一种基于1d-cnn的智能手机按键检测方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018006797A1 (zh) * 2016-07-05 2018-01-11 深圳大学 利用声音信号检测键盘敲击内容的系统及方法
CN112560629A (zh) * 2020-12-07 2021-03-26 杭州电子科技大学 一种基于1d-cnn的智能手机按键检测方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
申兴发;杨健;冉德纲;: "基于DTMF信号的智能手机外部攻击及防御方法", 计算机应用研究, no. 06, 30 May 2020 (2020-05-30) *

Similar Documents

Publication Publication Date Title
CN105844216B (zh) 一种利用WiFi信号识别手写字母的检测与匹配机制
Ali et al. Recognizing keystrokes using WiFi devices
CN106658590B (zh) 基于WiFi信道状态信息多人室内环境状态监控系统的设计与实现
Zhou et al. Adaptive genetic algorithm-aided neural network with channel state information tensor decomposition for indoor localization
Li et al. WiHF: Enable user identified gesture recognition with WiFi
CN105807935B (zh) 一种基于WiFi的手势控制人机交互系统
CN107305774B (zh) 语音检测方法和装置
KR100745976B1 (ko) 음향 모델을 이용한 음성과 비음성의 구분 방법 및 장치
CN107300971B (zh) 基于骨传导振动信号传播的智能输入方法及系统
CN106203380B (zh) 超声波手势识别方法及系统
CN107980151B (zh) 一种基于心电认证的门禁系统及其认证方法
Cao et al. Wi-Wri: Fine-grained writing recognition using Wi-Fi signals
Al-Naffakh et al. Unobtrusive gait recognition using smartwatches
CN108182418B (zh) 一种基于多维声波特征的键击识别方法
CN110730473B (zh) 面向WiFi活动识别的信号特征提取方法
CN110111812B (zh) 一种键盘击键内容的自适应识别方法和系统
CN110059612B (zh) 一种基于信道状态信息的位置无关的手势识别方法及系统
CN107862295A (zh) 一种基于WiFi信道状态信息识别面部表情的方法
CN110414468A (zh) WiFi环境下基于手势信号的身份验证方法
CN111142668B (zh) 一种基于Wi-Fi指纹的定位和活动手势联合识别的交互方法
Shen et al. WiPass: 1D-CNN-based smartphone keystroke recognition using WiFi signals
CN113051972A (zh) 一种基于WiFi的手势识别系统
Zhang et al. WiPOS: A POS terminal password inference system based on wireless signals
Pillai et al. Sparsity inspired selection and recognition of iris images
CN109784212A (zh) 一种基于WiFi信号的生物打字识别方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant