CN112560629A

CN112560629A - 一种基于1d-cnn的智能手机按键检测方法

Info

Publication number: CN112560629A
Application number: CN202011430630.4A
Authority: CN
Inventors: 申兴发; 倪振贤
Original assignee: Hangzhou Dianzi University
Current assignee: Hangzhou Dianzi University
Priority date: 2020-12-07
Filing date: 2020-12-07
Publication date: 2021-03-26
Anticipated expiration: 2040-12-07
Also published as: CN112560629B

Abstract

本发明公开了一种基于1D‑CNN的智能手机按键检测方法，本发明使用WiFi信号结合深度学习模型1D‑CNN。基于WiFi信号相比较于基于声音识别而言，其获取到数据更为精准，声音容易受周围噪声的影响；而相比较于图像和传感器，基于WiFi不需要部署摄像头或传感器等昂贵的设备，只需要路由器和接收器就可以部署完成，成本低廉。对于1D‑CNN模型，其相比较于其他经典的机器学习模型(如SVM、RF、KNN)，它对不同环境和噪声等具有较强的适应性，只有训练集数量足够多，能够准确检测出按键信息，提高分类模型的鲁棒性，同时提高了分类准确率。

Description

一种基于1D-CNN的智能手机按键检测方法

技术领域

本发明涉及深度学习领域，涉及一种一维卷积神经网络对智能手机按键的检测进行检测识别。

背景技术

按键隐私对于确保智能手机系统安全和用户隐私至关重要。智能手机工厂用于执行对隐私敏感的交易，比如银行转账、支付和社交应用等。此外，目前越来越多的应用，比如支付宝、微信等正在进入我们的生活。如果以某种方式获取智能手机键盘上的一连串按键信息，那么对于用户隐私而言就会变的非常不安全。

目前对于按键检测的研究大致分为四类：基于声音、基于图像、基于传感器以及基于WiFi信号。对于前三者存在许多的缺陷和不足，比如声音需要考虑距离和噪声；图像和传感器则需要额外的设备，对于成本而言颇高。基于WiFi信号识别是一个低成本，易部署的方法。

对于按键识别，提取有效的特征是十分重要的，同时选择合适的分类模型也同样重要。由于基于CSI的数据是一个时间序列，对于按键会产生特殊的变化。根据这种变化，就可以提取出合适的特征波形段进行训练。传统的训练方式是基于时间规整算法(DTW)，它可以比较两个不同长度的波形欧几里得长度，越小说明两种波形就越相似。由于不同的按键会产生独一无二的波形，因此可以根据这种方式可以区别出不同的按键。但是由于环境，机器设备等影响，可能会产生噪声影响。因此，引入一维卷积神经网络。它可以适应不同的波形长度，而且对于环境的适应性也很强，对于有噪声的环境也能有较好的效果，提升了按键分类的准确率。

发明内容

本发明所要解决的问题是克服传统按键识别的技术不足，能够适应不同环境以及噪声的影响，在个别场景下也能有较好的鲁棒性。

本发明应用系统开发方法主要如下步骤：

步骤1：数据采集。

使用CSI Tool工具从Intel 5300无线网卡采集CSI数据。此网卡对于每根接收天线可以收到30个子载波数据。让若干名志愿者参与实验，做若干次按键行为以此来收集当前环境下的不同按键的CSI数据信息。

步骤2：基于Hampel算法去除异常点；

由于WiFi设备和外部环境中的突发噪声，会造成CSI幅值在某个时刻出现剧变，系统在这种情况下将CSI数据点标识为异常点，而这些异常点在后续可能会对按键检测结果造成影响，因此应用Hampel去除异常点。

步骤3：基于巴特沃斯低通滤波去噪；

由步骤二得到了去除异常点之后的CSI数据，但是获取到的CSI时间序列依然存在设备噪声以及环境噪声。由实验发现，手指按键移动引起的频率约为3-30Hz之间，位于低频部分。因此，可以应用低通滤波去除高频的噪声部分。

步骤4：基于主成分分析去噪和降维；

由步骤二和三可以去除大部分的高频噪声，由于其阻频带逐渐下降为零的特点，CSI数据仍然存在部分造成。通过实验观察，手指按键会引起30个子载波之间存在相关性。因此，通过主成分分析可以保留CSI中最具有代表性的部分，去除冗余部分，实现了去噪和降维的效果。

步骤5：在完成CSI数据的预处理后，选出具有代表性的特征；

应用预处理后的波形，基于方差的算法进行提取高能部分，作为具有代表性的特征；实验表明，时域特征和频域特征对于区分不同按键效果并不理想，因此应用预处理后的波形。为了分割出手指引起的高能部分，使用基于方差的算法进行提取高能部分，这是因为手指按键会造成CSI幅值的显著变化。

步骤6：在获取了不同按键的高能CSI段后进行模型训练。

使用1D-CNN对数据进行训练，假设根据步骤5得到的高能CSI段长度为N，在1D-CNN中的卷积核大小一定要小于N，步长为1，过滤器数量为n_filter。因此表示为

其中N为高能段长度，kernel_length为卷积核大小，stride为卷积步长，n_out为输出维度，最后通过十倍交叉验证方式验证模型检测按键的准确率。

所述步骤2中，使用中位值和绝对中位差找到数据的异常点，具体使用滑动窗口中数据的中位值替换掉这些异常值，假设数据集X＝{x₁，x₂，x₃，...，x_n}以及滑动窗口的步长为1，滑动窗口长度为2l，则有m_i＝medium(x_i-l，x_i-l+1，x_i-l+2，...，x_i，x_i+l-2，x_i+l-1，x_i+l)，根据正态分布常量值k＝1.4826，得到标准差估计：

σ_i＝k×medium(|x_i-l-m_i|，...，|x_i+l-m_i|)

对于给定一个阈值n_σ，如果有|x_i-m_i|＞n_σσ_i，则将x_i视为异常点，通过中位值m_i替换异常点数据。

所述步骤3中，由于知道手指按键频率在3-30Hz之间，因此根据通带截止频率公式求解：

其中F_s为采样频率，f为信号频率，并设置阶数n＝5即可求出截止频率ω_c。

所述步骤4中，根据去噪后的CSI子载波矩阵，处理过程如下：

步骤4-1：矩阵规范化。经过巴特沃斯低通滤波的CSI数据H_b进行规范化处理，即对每一个天线对下的CSI时间序列H_t，r进行规范化处理。t和r分别表示发送端和接收端序号，H_t，r为N×S_c维矩阵，N为样本数，S_c为子载波数。计算H_t，r矩阵中每一列的平均值，然后将矩阵H_t，r的每个元素减去该元素所在列的平均值，得到规范化后

步骤4-2：协方差矩阵。计算规范化的协方差矩阵C，即：

其中

是矩阵

的转置，N为样本数，协方差矩阵维数为S_c×S_c。

步骤4-3：奇异值分解。对协方差矩阵C进行奇异值分解，计算出特征值S和特征值向量U，即：(U，S)＝SVD(C)。其中S为S_c×S_c对角矩阵，U也为S_c×S_c矩阵，其每一列对应S的该列特征值下的特征向量。

步骤4-4：重构CSI矩阵。选择特征值矩阵S中的前k个最大的特征值，将其对应的k个特征向量组成主成分特征向量矩阵U_k，然后将矩阵

投影到特征向量矩阵U_k上，得到重构举证Z_t，r。也就是说，

通过大量实验表明，当k＝4时，其主成分可以代表大部分主要内容。

所述步骤5，我们要提取出按键高能特征段，我们设置一个窗口大小W在CSI时间序列中移动并计算出方差。得到方差后，我们可以计算出按键引起的高能段的起始点，以此来判断按键的开始点和终止点。

所述步骤6，我们使用1D-CNN的方式对数据集进行训练。假设根据步骤5得到的高能段长度为N，在1D-CNN中的卷积核大小一定要小于N，步长为1，过滤器数量为n_filter。因此可以表示为

其中N表示高能段长度，kernel_length表示卷积核大小，stride表示卷积步长，n_out表示输出维度，最后通过十倍交叉验证方式验证模型检测按键的准确率。

本发明相对于现有技术的有益效果如下：

本发明使用WiFi信号结合深度学习模型1D-CNN。基于WiFi信号相比较于基于声音识别而言，其获取到数据更为精准，声音容易受周围噪声的影响；而相比较于图像和传感器，基于WiFi不需要部署摄像头或传感器等昂贵的设备，只需要路由器和接收器就可以部署完成，成本低廉。对于1D-CNN模型，其相比较于其他经典的机器学习模型(如SVM、RF、KNN)，它对不同环境和噪声等具有较强的适应性，只有训练集数量足够多，能够准确检测出按键信息，提高分类模型的鲁棒性，同时提高了分类准确率。

附图说明

图1为本发明的流程图；

图2为本发明的Hampel处理前后图；

图3为本发明的去噪处理前后图；

图4为主成分分析处理后前4个主成分图；

图5为按键特征提取图；

图6为1D-CNN模型结构图；

图7为实验后的混淆矩阵图；

具体实施方式：

下面结合具体实施实例对本发明做进一步说明。

如图1所示，本发明实施实现步骤如下：

步骤1、准备一个发射端(路由器)和一个接收端(装有Intel 5300网卡的笔记本或PC机)，然后在两者之间放置一部智能手机，开始准备数据的采集。

步骤2、发射端不断发送数据给接收端，与此同时一位志愿者以一定时间间隔按下智能手机中的具体数字键(0-9)，不断按4次即可。

步骤3、收集到所有志愿者按0-9的所有数字按键的数据后，进行Hampel异常消除处理，如图2为Hampel处理前后的比较图。

步骤4、对于消除异常后的CSI数据集，再使用巴特沃斯低通滤波进行去噪处理，图3为一个子载波在去噪前后的比较图，明显发现去噪后波形变的更加平滑。然后再使用主成分分析(PCA)获取最具有代表性的CSI时间序列，如图4为前4个主成分图，其中第一个主成分最具有代表性。

步骤5、在该时间序列中提取按键的高能段作为当前按键的特征，如图5为一个按键的提取图，其中三角形代表起始点，五角星代表终止点，大致上将高能段截取成功。

步骤6、将提取出来的数据放入1D-CNN模型中进行训练，如图6为该1D-CNN的模型结构图，其主要适用于一维的数据结构。截取后的特征是一个一维变长的特征，因此该模型十分合适。训练完成之后，在真实场景情况下检验，如图7的混淆矩阵，结果表明在5名志愿者中，该模型的识别按键准确率达到90％。

Claims

1.一种基于1D-CNN的智能手机按键检测方法，其特征在于，该方法具体包括以下步骤：

步骤1：数据采集

使用CSI Tool工具从无线网卡采集不同按键的CSI数据；

步骤2：基于Hampel算法去除异常点；

步骤3：基于巴特沃斯低通滤波去噪；

步骤4：基于主成分分析去噪和降维；

通过主成分分析方法保留CSI中最具有代表性的部分，去除冗余部分，实现了去噪和降维的效果；

步骤5：在完成CSI数据的预处理后，选出具有代表性的特征；

应用预处理后的波形，基于方差的算法进行提取高能部分，作为具有代表性的特征；

步骤6：在获取了不同按键的高能CSI段后进行模型训练；

使用1D-CNN对数据进行训练，假设根据步骤5得到的高能CSI段长度为N，在1D-CNN中的卷积核大小一定要小于N，步长为l，过滤器数量为n_filter；因此表示为

2.根据权利要求1所述的一种基于1D-CNN的智能手机按键检测方法，其特征在于：所述步骤2中，使用中位值和绝对中位差找到数据的异常点，具体使用滑动窗口中数据的中位值替换掉这些异常值，假设数据集X＝{x₁，x₂，x₃，...，x_n}以及滑动窗口的步长为l，滑动窗口长度为2l，则有m_i＝medium(x_i-l，x_i-l+1，x_i-l+2，...，x_i，x_i+l-2，x_i+l-1，x_i+l)，根据正态分布常量值k＝1.4826，得到标准差估计：

σ_i＝k×medium(|x_i-l-m_i|，...，|x_i+l-m_i|)

3.根据权利要求1所述的一种基于1D-CNN的智能手机按键检测方法，其特征在于：所述步骤3中，由于手指按键频率在3-30Hz之间，因此根据通带截止频率公式求解：

其中F_s为采样频率，设置阶数n＝5即可求出截止频率。

4.根据权利要求1所述的一种基于1D-CNN的智能手机按键检测方法，其特征在于：所述步骤4中，根据去噪后的CSI子载波矩阵执行主成分分析方法，处理过程如下：

步骤4-1：矩阵规范化

经过巴特沃斯低通滤波的CSI数据H_b进行规范化处理，即对每一个天线对下的CSI时间序列H_t,r进行规范化处理；t和r分别表示发送端和接收端序号，H_t,r为N×S_c维矩阵，N为样本数，S_c为子载波数；计算H_t,r矩阵中每一列的平均值，然后将矩阵H_t,r的每个元素减去该元素所在列的平均值，得到规范化后

步骤4-2：协方差矩阵；计算规范化的协方差矩阵C，即：

其中

是矩阵

的转置，N为样本数，协方差矩阵维数为S_c×S_c；

步骤4-3：奇异值分解；对协方差矩阵C进行奇异值分解，计算出特征值S和特征值向量U，即：(U,S)＝SVD(C)；其中S为S_c×S_c对角矩阵，U也为S_c×S_c矩阵，其每一列对应S的该列特征值下的特征向量；

步骤4-4：重构CSI矩阵；选择特征值矩阵S中的前k个最大的特征值，将其对应的k个特征向量组成主成分特征向量矩阵U_k，然后将矩阵

投影到特征向量矩阵U_k上，得到重构举证Z_t,r；也就是说，

通过大量实验表明，当k＝4时，其主成分代表大部分主要内容。

5.根据权利要求1所述的一种基于1D-CNN的智能手机按键检测方法，其特征在于：所述步骤5，提取出按键高能特征段，设置一个窗口大小W在CSI时间序列中移动并计算出方差；得到方差后，计算出按键引起的高能段的起始点，以此来判断按键的开始点和终止点。

6.根据权利要求1所述的一种基于1D-CNN的智能手机按键检测方法，其特征在于：所述的无线网卡为Intel 5300。