CN105844216A - 一种利用WiFi信号识别手写字母的检测与匹配机制 - Google Patents

Abstract

本发明公开了一种利用WiFi信号识别手写字母的检测与匹配机制。本发明主要利用无线信号多径传播的特点，获取CSI(Channel State Information，信道状态信息)数据，这些数据携带了反映外部环境特征的信息，包括写字母时的手部运动。从去噪(巴特沃斯滤波和主成份分析滤波)后的CSI数据发现，处于手写字母的阶段，CSI数据出现明显波动，而在无手写动作阶段，CSI数据相对平稳，根据此特点，本发明提出一种波形特征提取算法，检测并提取只包含26个手写字母信息的波形。最后，本发明提出了特征匹配与上下文纠错相结合的方案，以波形作为匹配特征，对提取的26个特征波形进行机器学习分类，利用DTW(动态时间规整)算法匹配波形，通过上下文错误纠错算法提高系统的识别准确率。

Description

一种利用WiFi信号识别手写字母的检测与匹配机制

技术领域

本发明公开了一种利用WiFi信号识别手写字母的检测与匹配机制，主要用于解决在WiFi环境中识别手写字母的检测与匹配问题，涉及到信号去噪、特征波形提取、匹配文件的构造以及上下文错误纠正等技术。

背景技术

手写字母是一种自然、直观、易于学习的人机交互手段。以人手直接作为计算机的输入设备，人机间的通讯将不再需要中间的媒介，用户可以使用手写字母代替键盘的输入操作，降低了操作难度，提高了操作效率，促进了人机交互的发展。在室内环境下，信号发射机产生的无线电波经由直射、反射、散射等多条路径传播，在信号接收机处形成多径叠加信号。多径叠加信号受其传播物理空间的影响，携带反映环境特征的信息。本发明所提出的利用WiFi信号识别手写字母的检测与匹配机制就是根据这个原理实现的。

传统的识别系统主要是分为三种：基于视觉技术的识别系统、基于传感器的识别系统、基于特殊硬件设备的识别系统。基于视觉技术的识别系统主要受到有无光照和光照强度的限制；基于传感器的识别系统需要部署或者携带传感器，造价大，而且不方便；基于特殊硬件设备的识别系统需要部署特殊硬件，很难得到推广。基于WiFi设备无关的识别系统克服了传统的系统的限制，只需要部署一个现有的商业WiFi设备作为AP，以及一台WiFi接收设备。现在的WiFi设备到处可见，包括手机、智能电视、路由器等等家用设备，都可以作为系统的一部分，为系统的推广提供了可能性。

自从D.Halperin等人通过修改固件的方式，基于CSI(Channel StateInformation，信道状态信息)的环境感知技术得到了迅速发展。麻省理工学院、华盛顿大学、斯坦福大学、杜克大学、香港科技大学、西安交通大学、清华大学等在ACM SIGCOMM，ACMMobiCom，IEEE INFOCOM，IEEE Trans.On Mobile Computing，IEEE Trans.On Paralleland Distributed Systems等计算机网络和移动计算领域著名学术会议和期刊上发表了多篇相关的论文，做了许多有益的尝试，包括无线定位、动作识别、手势识别等等。与RSSI(Received Signal Strength Indicator，接收信号强度指示器)相比，由于CSI数据在一定程度上刻画了多径传播，可以把CSI看作RSSI的升级版。CSI作为物理层信息，包括了诸多介质访问控制层不可见的信道信息。一方面，CSI可以从一个数据包中同时获取多个子载波的频率响应，从而更加精细地刻画频率选择性信道；另一方面，CSI既可以测量每个子载波的幅度，还可以测量每个子载波的相位信息。CSI使得普通WiFi设备在一定程度上能够从时域上粗略地区分传播路径，从多个角度为识别系统提供了精确的分辨率。

相关研究中，由Rajalakshmi Nandakumar，提出的Wi-Fi Gestures系统，以及HebaAb delnasser提出的WiGest系统，利用现有的WiFi设备对RSSI(Received SignalStrength Indication，接收信号强度指示)和CSI进行处理，来识别预设的手势动作，但是无法识别细粒度的手写字母动作。Li Sun提出了WiDraw系统主要利用了MUSIC技术，根据提取的信道状态信息，得出手臂滑动的轨迹以及手在空中的横向活动和纵向互动状况。更重要的是，WiDraw可以识别出手臂在空中滑动的字母，但是写字母的同时有许多的显示，比如，写的字母大小要求大于30cm*30cm，字母划写的时间间隔较大。

本发明所提出的利用WiFi信号识别手写字母的检测与匹配机制是基于CSI的小尺度手写字母识别的首次应用，利用现有的商业WiFi设备，采集手写字母产生的一系列时间序列的CSI数据，并对这些数据进行去噪处理，检测提取出包含26个手写字母信息的波形。本发明还提出了特征匹配与上下文纠错相结合的方案，以波形作为匹配特征，对提取的26个特征波形进行机器学习分类，利用DTW(动态时间规整)算法匹配并识别出波形，最后结合上下文错误纠错算法提高系统的识别准确率。

发明内容

[发明目的]：本发明主要解决在WiFi环境下，通过采集CSI数据识别手写字母信息的问题。

[技术方案]：本发明方案主要包括以下两点内容：

1.特征波形的检测与提取：

1)采集的CSI数据包含许多噪声，所以检测之前，需要对CSI数据进行去噪处理。本发明采用巴特沃斯滤波器，因为巴特沃斯滤波器不会很严重的破坏CSI数据流中的关于手写字母的动作信息。但是巴特沃斯滤波器不能够很好地去除细微的噪声。针对这个问题，本发明利用CSI不同信道的数据相关性，采用主成份分析技术，来进行去噪处理，另外，主成份分析技术的引入，不仅达到很好的去噪效果，而且对CSI数据进行了降维处理，减少了计算量，提高了系统运行效率。

2)CSI数据经过去噪处理之后，需要提取波形特征。如何提取携带手写字母信息的特征是识别手写字母的核心技术。一些大尺度的动作识别系统，主要采用均值、方差、振幅等传统的特征，但是对于本系统来说，这些传统的特征不适用于小尺度的手写字母识别。本发明主要以手写字母波形作为识别特征，因为波形包含了反映手写动作的所有信息。面对一系列的CSI数据，需要准确的提取出携带手写字母信息的波形，所以需要检测手写动作波形的开始时间与结束时间。当在WiFi信号环境中没有进行动作的时候，所采集到的经过去噪处理后的数据是一段平稳的信号数据，当动作发生的时候，CSI数据就会产生波动。

根据以上特点，本发明提出了一种有效的特征波形提取算法。首先，定义一个宽度为W的滑动窗口，然分别求出CSI数据的每个信道的绝对均值偏差，公式如下：

${\mathrm{\Δd}}_j\[k\]=\frac{\underset{i=j}{\overset{j+W}{\Σ}}|Z_{t,r}^{\left\{k\right\}}\left(i\right)-\stackrel{\‾}{Z^{\left\{k\right\}}}\{j:j+W\left\}\right|}{W}$

其中，Δd_j[k]为第j个窗口的绝对均值偏差，i为CSI值的序号，为第k个主成份的序号为i的值，t和r分别代表转发与接收的天线数，为第j个宽度为W的第k的主成份的平均值。

然后计算CSI数据的各个信道累计绝对偏差，公式如下：

${\mathrm{\ΔD}}_j={\mathrm{\Σ}}_2^p{\mathrm{\Δd}}_j\[k\]$

ΔD_j为第2到p个绝对均值偏差之和。

最后，设置了两个变量窗口u和d，u代表迭代的窗口个数，而d代表有效窗口(ΔD_j＞T_u)，其中T_u代表预先设定的阈值。因为环境出现手写动作时提取的CSI波形波动较大，所以其绝对均值偏差大于一定的阈值。在一次查询中，当首次发现值大于T_u的窗口时，我们假设动作开始的时间点s_m包含在该窗口中。如果一段特征波形没有遍历完时，其u与d值不断增长，反之，u不断增长，但是d不增长。当u-d大于一定的阈值时，我们可以判断特征波形存在，并记下特征波形终点e_m。

2.特征波形匹配

1)构造波形匹配文件。提取波形特征之后，需要判断波形的类别。本发明采用K近邻分类算法，处理并保存26个手写字母的波形特征。由于CSI(特征波形)数据庞大，所以在分类之前，采用DWT(离散小波转换)算法，在不损失波形信息的前提下，减少CSI数据量。然后将DWT处理后的CSI数据分类并构造成匹配文件，用来识别手写字母波形。当CSI的波形序列中，出现特征波形时，首先将该波形进行DWT处理，然后调用DTW(动态时间规整)，计算该波形与分类器中的26个字母波形的相似度，选出前K个最相似的字母，最后对选出的结果进行投票确定波形的类型。

2)上下文错误纠正。由于外部环境的干扰以及不同的字母可能具有相似的形状的原因，可能存在识别错误的情况。比如相似的字母“E”与“F”，可能导致系统把″END″识别成“FND”。这种情况下，本发明提出了上下文错误的纠正方法，自动将“FND”改成“END”，极大地提高了系统识别率。

[有益效果]：本发明利用无线信号的多径效应在WiFi环境中识别手写字母，克服传统的手势识别的限制。另外，本发明利用现有的商用WiFi设备以及目前WiFi普遍的状况，为本发明的推广创造了条件。然后本发明作为基于WiFi的小尺度的手写字母识别的首次应用，拓展了无线感知的应用领域。最后，本发明的设计保证了整个机制的真实性。

附图说明

图1为本发明提出的系统结构流程图；

图2为DWT(离散小波转换)处理流程图；

具体实施方式

以下结合附图和具体实例对本发明做具体的介绍。

本发明有两部分组成：信号发射器与信号接收器。可以用现有的商业WiFi设备作为信号发射器，用装有Intel5300的设备(笔记本或者台式机)作为信号接收器。信号接收器不断地接收发射器发送的无线信号并提取反映周围环境特征的CSI数据，采样率为2500个/每秒(远大与手写字母频率)，当WiFi环境中存在手部动作时，由于多径效应的影响，CSI数据会出现明显的波动。

如附图1所示，采集完数据之后，将对CSI数据进行处理，并识别其反映的手写字母种类。具体实施过程如下

步骤1：特征波形的检测与提取

步骤1.1：利用巴特沃斯滤波器去噪。巴特沃斯滤波器的特点是通频带内的频率响应曲线最大限度平坦，没有起伏，而在阻频带则逐渐下降为零。利用此特点，巴特沃斯滤波器可以对采集的CSI数据进去噪处理，去除大部分的噪声。

步骤1.2：利用PCA(主成份分析)去噪。根据噪声数据在不同信道是不相关的而由手写字母产生的数据在不同信道是相关的特点，PCA可以进一步去除了细微的噪声，并且降低了CSI的数据维度，提高了系统的识别效率。其具体过程如下：

1)将不同信道的CSI数据减去其平均值，形成标准CSI矩阵

2)求特征协方差矩阵

3)求协方差的特征值和特征向量

4)将特征值按照从大到小的顺序排序，选择其中最大的k个，然后将其对应的k个特征向量分别作为列向量组成特征向量矩阵

5)将样本点投影到选取的特征向量上

步骤1.3：设置滑动窗口W，计算出每一组去噪后的信道数据在第j个窗口的绝对均值偏差：

${\mathrm{\Δd}}_j\[k\]=\frac{\underset{i=j}{\overset{j+W}{\Σ}}|Z_{t,r}^{\left\{k\right\}}\left(i\right)-\stackrel{\‾}{Z^{\left\{k\right\}}}\{j:j+W\left\}\right|}{W}$

步骤1.4：计算所有信道的绝对均值偏差和：

${\mathrm{\ΔD}}_j={\mathrm{\Σ}}_2^p{\mathrm{\Δd}}_j\[k\]$

步骤1.5：一旦发现ΔD_j＞T_u(T_u为预先设定的阈值)，则判断该窗口内波形有较大的波动，因此假设该窗口存在特征波形的开始点s_m，并设置波形开始标志变量F，窗口累计变量u，有效窗口(ΔD_j＞T_u)累计变量d。

步骤1.6：若已存在波形开始变量F，则每迭代一个窗口，变量u自增长1，若ΔD_j＞T_u，变量d自增长加1。

步骤1.7：设g＝u-d，若g＞T_s(T_s为预先设置的阈值)并且u在26个手写字母波长的范围之内，则判定该波形有效，并记下波形结束点e_m，否则重置变量。

步骤1.8：若找到s_m与e_m，则返回这两个变量，否则跳到步骤1.3继续查找下一个窗口。

步骤2：构造匹配文件以及特征匹配

步骤2.1：对特征波形进行DWT(离散小波变换)，在不损失波形信息的前提下，减少数据量，提高计算效率。如附图2所示，DWT是对基本小波的尺度和平移进行离散化，其中g[n]：表示低通滤波器，可以将输入信号的高频部份滤掉而输出低频部份；h[n]表示高通滤波器，与低通滤波器相反，滤掉低频部份而输出高频部份。本发明采用的DWT算法，提取波形的第7层低频部分。

步骤2.2：运用KNN(K近邻分类算法)采集26个手写字母的波形，训练并保存为样本。首先对采集26个手写字母波形样本，并对这些样本进行DWT处理，将处理的结果保存为模型样本，供测试样本对比匹配；

步骤2.3：采用DTW(动态时间规整)算法，将测试样本与模型样本进行匹配。DTW是一个典型的优化问题，它用满足一定条件的时间规整函数描述测试模板和参考模板的时间对应关系，求解两模板匹配时累计距离最小所对应的规整函数。本系统将波形作为匹配的特征属性，所以用DTW算法衡量波形之间的相似度是一种有效的方法；

步骤2.4：确定测试样本比较相似的前k个模型，再根据投票方法，选取相似度最高的模型，从而确定该测试样本代表的手写字母。

步骤2.5：上下文错误纠正。由于不同的字母可能具有相似的形状，比如“E”与“F”，“U”与“V”，这可能导致系统识别错误，比如把″END″识别成“FND”。这种情况下，本发明采用了上下文错误的纠正方法，自动将“FND”改成“END”，极大地提高了系统识别率。

Claims (8)

1.一种利用WiFi信号识别手写字母的检测与匹配机制，其特征在于：

1)本系统是CSI基于细粒度手写字母识别的首次应用；

2)对采集的CSI数据进行有效的去噪处理；

3)提出了有效的提取特征波形方法；

4)训练样本，构造26个手写字母匹配文件；

5)提出了上下文错误纠正方法，提高系统识别准确率。

2.如权利要求1所述的利用WiFi信号识别手写字母的检测与匹配机制，其特征在于本系统是CSI基于小尺度手写字母识别的首次应用。近几年提出了许多基于CSI的无线感知应用，包括定位、动作识别、睡眠监测等。但是利用CSI识别小尺度手写字母还是首次提出。该机制在室内WiFi环境中，利用无线信号多径效应反映周围环境特征的特点，提取携带手写信息的特征波形，并与预先构造的匹配文件匹配，再结合上下文纠错算法，达到识别手写字母目的。

3.如权利要求1所述的利用WiFi信号识别手写字母的检测与匹配机制，其特征在于对采集的CSI数据提出了有效的去噪处理方法：

步骤1：采集CSI数据。假设本系统有Tx根发射天线，Rx根接收天线，一共可采集到Tx×Rx组CSI数据，每一组CSI数据包由30个信道的数据组成。

步骤2：利用Butterworth滤波器，对采集的CSI数据进去噪处理，去除大部分的噪声。

步骤3：利用PCA(主成份分析)去噪方法进一步去除细微的噪声。

4.如权利要求3所述的利用PCA去噪方法进一步去噪，其特征在于该方法根据噪声数据在不同信道是不相关的，而由手写字母产生的数据在不同信道是相关的特点，进一步去除了细微的噪声，并且降低了CSI的数据维度，提高了系统的识别效率。

5.如权利要求1所述的利用WiFi信号识别手写字母的检测与匹配机制，其特征在于提出了有效的提取特征波形方法：

步骤1：设置滑动窗口W，计算出每一组信道数据在第j个窗口的绝对均值偏差：

${\mathrm{\Δd}}_j\[k\]=\frac{\underset{i=j}{\overset{j+W}{\Σ}}|Z_{t,r}^{\left\{k\right\}}\left(i\right)-\stackrel{\‾}{Z^{\left\{k\right\}}}\{j:j+W\left\}\right|}{W}$

步骤2：计算所有信道的绝对均值偏差和：

${\mathrm{\ΔD}}_j={\Σ}_2^p{\mathrm{\Δd}}_j\[k\]$

步骤3：一旦发现ΔD_j＞T_u(T_u为预先设定的阈值)，则判断该窗口内波形有较大的波动，因此假设该窗口存在特征波形的开始点s_m，并设置波形开始标志变量F，窗口累计变量u，有效窗口(ΔD_j＞T_u)累计变量d。

步骤4：若已存在波形开始变量F，则每迭代一个窗口，变量u自增长1，若ΔD_j＞T_u，变量d自增长加1。

步骤5：设g＝u-d，若g＞T_s(T_s为预先设置的阈值)并且u在26个手写字母波长的范围之内，则判定该波形有效，并记下波形结束点e_m，否则重置变量。

步骤6：若找到s_m与e_m，则返回这两个变量，否则继续查找下一个窗口。

6.如权利要求1所述的利用WiFi信号识别手写字母的检测与匹配机制，其特征在于训练样本并构造字母匹配文件：

步骤1：对特征波形进行DWT(离散小波变换)，在不损失波形信息的前提下，减少数据量，提高计算效率；

步骤2：运用KNN(K近邻分类算法)采集26个手写字母的波形，训练并保存为样本；

步骤3：采用DTW(动态时间规整)算法，将测试样本与模型样本进行匹配；

步骤4：确定测试样本比较相似的前k个模型，再根据投票方法，选取相似度最高的模型，从而确定该测试样本代表的手写字母。

7.如权利要求6所述的KNN与DTW相结合的方法，其特征在于本系统将手写字母的波形作为识别的特征。不同于传统的均值、方差、振幅等特征，波形包含了反映一个动作的全部信息，采用DTW算法，可以计算出不同波形之间的相似度。

8.如权利要求1所述的利用WiFi信号识别手写字母的检测与匹配机制，其特征在于提出了上下文错误纠正方法。由于不同的字母可能具有相似的形状，比如“E”与“F”，“U”与“V”，这可能导致系统识别错误，比如把″END″识别成“FND”。这种情况下，本系统采用了上下文错误的纠正方法，自动将“FND”改成“END”，极大地提高了系统识别率。