CN110287863A

CN110287863A - 一种基于WiFi信号的手势识别方法

Info

Publication number: CN110287863A
Application number: CN201910546177.4A
Authority: CN
Inventors: 唐智灵; 刘纤纤; 杨爱文
Original assignee: Guilin University of Electronic Technology
Current assignee: Guilin University of Electronic Technology
Priority date: 2019-06-24
Filing date: 2019-06-24
Publication date: 2019-09-27
Anticipated expiration: 2039-06-24
Also published as: CN110287863B

Abstract

本发明公开了一种基于WiFi信号的手势识别方法，步骤为：S1、利用安装有Intel5300无线网卡的笔记本电脑和路由器收集0‑9数字手势的CSI数据；S2、从收集的手势数据中提取Ntx*Nrx*30的3维的CSI矩阵；S3、对提取的CSI矩阵数据进行数据预处理；S4、对预处理后的CSI矩阵进行特征提取及重构，构造成卷积自编码器可以处理的矩阵；S5、搭建卷积自编码器模型，对S4中获得的CSI矩阵进行特征提取并进行分类。该方法用户不需要穿戴或依赖任何传感器，只需要利用无处不在的WiFi，通过处理WiFi中的信道状态信息，再利用卷积自编码器对其进行特征提取并分类，从而实现对10种手势的识别。

Description

一种基于WiFi信号的手势识别方法

技术领域

本发明涉及无线通信和人工智能识别技术领域，具体是一种基于WiFi信号的手势识别方法。

背景技术

随着无线通信及人工智能技术的发展，手势识别正成为智能家居自动化和人机交互的重要支柱，而且手势识别对于家庭自动化中的许多其他新兴应用具有很大潜力，例如，调节温度和亮度等级，以实现个性化的热舒适性，以及家用设备的远程控制。现在已有研究提出利用可穿戴设备对人体的活动进行识别，然而由于可穿戴设备比较昂贵且携带不方便，此方法并未受到广泛的推广。有研究基于视觉系统提出使用RGB摄像头和红外深度定位摄像头来实现手势识别，虽然它们的识别准确度令人满意，但是有利的照明条件和潜在的隐私问题的需求阻碍了它们的普及实施。也有利用WiFi的信道状态信息CSI来实现手势识别，但大多数都是利用传统的机器学习来搭建识别系统，数据去噪和训练过程繁琐且需要专业知识，手势分类器是通过使用KNN等算法，达到一定的识别效果，但传统的机器学习技术在提取各种手势相关的代表性特征时需要人为操作，这将导致识别精度降低。所以需要一个无穿戴设备且方法简单的WiFi手势识别方法。

发明内容

本发明的发明目的在于克服现有技术的不足，而提供了一种基于WiFi信号的手势识别方法，该方法用户不需要穿戴或依赖任何传感器，只需要利用无处不在的WiFi，通过处理WiFi中的信道状态信息，再利用深度学习的卷积自编码器对其进行特征提取和训练，进而实现手势识别。

实现本发明目的的技术方案是：

一种基于卷积自编码的WiFi手势识别方法，包括如下步骤：

S1、收集10种手势的WiFi信道数据；

S2、从收集的手势WiFi信道数据中提取Ntx*Nrx*30的3维CSI矩阵；

S3、对提取出来的CSI矩阵数据进行数据预处理；

S4、对预处理后的CSI矩阵进行特征提取及重构，构造成卷积自编码器可以处理的矩阵形式；

S5、搭建卷积自编码器模型，对S4中获得的矩阵进行特征提取，并进行手势分类识别。

步骤S3中，所述的预处理，包括如下步骤：

S3-1、提取CSI子载波的幅度值：提取得到的CSI矩阵为1×3×30的3维矩阵，其中1×3表示一根发射天线和三根接收天线，30表示每一路包含30个子载波。先对其进行降维处理成3×30的2维矩阵，原CSI矩阵中的每个元素为复数，将当前环境下接收到的无线信道模型表示为：

Y＝HX+N (1)

公式(1)中，X表示系统中路由器的发射信号向量，Y表示接受到的无线信号向量，H表示信道增益矩阵，N为系统中的噪声向量，一般表示为高斯白噪声；

求得信道状态信息H的表达式为：

公式(2)中，为CSI的计算表达式，为一个复数矩阵，则求得第k个子载波H(k)的幅度和相位的表达式为：

H(k)＝||H(k)||e^j∠H(k) (3)

公式(3)中，||H(k)||表示第k个子载波的幅度，e^j∠H(k)表示第k个子载波的相位；

S3-2、对提取的CSI子载波的幅度值进行巴特沃斯低通滤波：由于手势动作的频率较低，利用巴特沃斯滤波器滤除CSI幅值中的大部分高频分量，但由于手势动作采集的背景噪声较大，需要进一步去噪；

S3-3、对滤波后的CSI子载波幅度进行小波变换，进一步去除高频噪声，得到包含少量噪声的低频CSI子载波幅度。

步骤S4中，所述的对预处理后的CSI矩阵进行特征提取及重构，构造成自编码器可以处理的矩阵形式，经过预处理后，利用时间窗口Δt获取CSI子载波中因手势动作而导致的信道状态信息变化的部分的子载波，然后取滑动窗口中波形的平均绝对偏差作为卷积自编码器的输入特征，具体包括如下步骤：

S4-1、对S3-3获得的低频CSI子载波幅度值画图并进行观察，根据观察设定合适的时间窗口Δt，用时间窗口截取子载波中因手势动作而导致信道状态信息变化的子载波；

S4-2、根据时间顺序用Δt截取CSI子载波中的所有变化波形；

S4-3、计算出所有时间窗口内子载波幅度值的平均绝对偏差，作为时间序列的特征；

S4-4、原3×30的二维CSI矩阵经时间窗口Δt截取后变成n×m的二维实数矩阵，其中n为单个子载波截取的时间窗口数量，即△t的数量，m为CSI矩阵中子载波的数量，经过时间窗口处理后的CSI时间序列矩阵如下：

其中a_mn表示第m个子载波中被滑动窗口△t截取的那一小段幅值波形的平均绝对偏差。

步骤S5中，所述的卷积自编码器模型，是对获取的n×m的2维实数矩阵进行特征提取，输入数据维度为n×m的二维矩阵，自编码器将输入表达X编码为新的表达Y，再将Y解码回X，自编码器使用反向传播算法来训练网络使得输出等于输入；自编码器包括编码器和解码器两部分，利用Model函数将编码器和解码器联合提取手势特征，并进行分类识别。

所述的编码器，包括卷积层、池化层；

所述的卷积层，采用(3，3)大小的卷积核对数据样本进行相乘再相加得到特征图，卷积层中所有权重参数自动从头到尾进行调整，每个卷积单元的参数通过反向传播算法最佳化得到的，卷积自编码器通过多个卷积层对数据进行特征提取；

所述的池化层，利用max pooling进行池化，对卷积层输出的特征图矩阵的局部区域进行下采样，降低特征矩阵的维度，先将输入矩阵分为若干个分区，在每个分区中，使用max操作来获取局部最大特征，max操作是在降低处理数据的维度的基础上保留了数据规模不变的特征；

所述的解码器，输入为编码器的输出，包括卷积层、上采样层，卷积层跟编码器部分相同，上采样层在up pooling阶段使用最大值的信息扩充特征图，在对称的max pooling中记录最大值的位置，up pooling时最大值位置设置为特征值，除最大值位置以外，其余补0。

本发明提供的一种基于WiFi信号的手势识别方法，具有如下优点：

本发明利用无处不在的WiFi实现用户的手势识别，且本方法在数据预处理阶段只需要对原始CSI数据进行简单的幅度值特征提取就可作为卷积自编码器的输入，比传统的机器学习的数据预处理要便捷的多。本方法使用的卷积神经网络很适合用作特征提取，比传统的机器学习算法要简单易行，可以很方便的实现手势特征提取和分类识别。

与现有技术相比，本发明所述的方法具有以下效果：

1、简单便捷性：现有的基于机器学习的方法需要人为进行数据特征提取，容易损失细节信息而且对专业能力要求较高，本方法利用深度学习自动提取数据特征，不需要人为操作提取特征更简单易行。本方法不需要用户穿戴昂贵且不便于携带的传感器，也不需要依赖任何摄像机等设备，仅利用无处不在的WiFi信号便可实现用户的手势识别；

2、高效性：本方法利用卷积自编码器来对CSI的特征进行训练，卷积自编码器在特征提取方面表现出非常优越且高效的性能，可方便的提取数据的空间特征和数据矩阵中的局部依赖特征，与传统的机器学习，例如SVM、K-NN等算法相比效率更高；

3、准确性：利用卷积自编码器可以对输入数据的特征进行高效且比较全面的提取，能实现较高识别度。

附图说明

图1为本发明的一种基于卷积自编码的WiFi手势识别方法的流程图；

图2为CSI子载波原始幅度曲线图；

图3为巴特沃斯低通滤波后的CSI子载波幅度曲线图；

图4为经过小波变换后的CSI子载波幅度曲线图；

图5为利用时间窗口△t截取手势引起子载波变化图；

图6为实验环境平面图。

具体实施方式

下面结合附图和实施例对本发明内容做进一步阐述，但不是对本发明的限定。

如图1所示，一种基于卷积自编码的WiFi手势识别方法，包括如下步骤：

S1、收集10种手势的WiFi信道数据；

S2、从收集的手势WiFi信道数据中提取Ntx*Nrx*30的3维CSI矩阵；

S3、对提取出来的CSI矩阵数据进行数据预处理；

步骤S3中，所述的预处理，包括如下步骤：

Y＝HX+N (1)

求得信道状态信息H的表达式为：

H(k)＝||H(k)||e^j∠H(k) (3)

S4-2、根据时间顺序用Δt截取CSI子载波中的所有变化波形；

步骤S5中，所述的卷积自编码器模型，是对获取的n×m的2维实数矩阵进行特征提取，输入数据维度为n×m的二维矩阵，自编码器将输入表达X编码为新的表达Y，再将Y解码回X，自编码器使用反向传播算法来训练网络使得输出等于输入；自编码器包括编码器和解码器两部分，利用Model函数将编码器和解码器联合提取手势特征，并进行分类识别；

所述的编码器，包括卷积层、池化层；

实施例：

本实施例的实验环境为一台普通的TP-LINK-WDR5620的1根天线的路由器和配有3根天线的Intel5300无线网卡的联想笔记本电脑，用户在无线路由器(信号发射端)和Intel5300无线网卡(信号接收端)之间依次进行0-9的数字手势，然后利用CSI Tool工具软件在2.4GHz的中心频率上提取所有的30个子载波上的20MHz带宽的CSI数据，此数据为Ntx×Nrx×30的3维复数矩阵，Ntx表示发射端天线数，Nrx表示接收端天线数，所以对原始数据降维后变成3×30的2维复数矩阵；求此CSI复数矩阵的幅值，得到一个2维的CSI幅值矩阵；通过巴特沃斯滤波和小波变换对CSI幅值矩阵进行去噪处理，原始的CSI子载波原始幅度如图2所示，低通滤波后如图3所示，小波变换后如图4所示；再对去噪后的CSI数据进行采样分析，利用CSI时间序列来识别各种手势，CSI时间序列数据可以被分成具有窗口大小Δt的小块，利用每个窗口中的CSI幅度值的平均绝对偏差作为特征形成CSI帧，原3×30的二维CSI矩阵经时间窗口Δt截取后变成n×m的二维实数矩阵，其中30为CSI矩阵中子载波的数量，100为单个子载波截取的时间窗口数量，即△t的数量，利用时间窗口△t截取手势引起子载波变化如图5所示。最后搭建卷积自编码器网络模型，利用卷积自编码器对10类数字手势进行特征提取，以达到分类效果。

实验环境：环境为一台普通的TP-LINK-WDR5620的带有一根天线的WiFi路由器和配有3根天线的Inter5300无线网卡的联想笔记本电脑，实验室中Nrx与Ntx相距1.5m，实验环境平面图如图6所示。

实验内容：实验中实验者在WiFi路由器和Inter5300无线网卡间每隔10s依次执行0-9数字手势，10类手势完成后用CSITool获取其CSI信息。实验中每类手势执行20次，所以10类手势共获得200个CSI样本数据，每次获得的CSI矩阵进行共同的数据处理后变成n×m的二维实数矩阵。

实验流程：

1)获取数据：

实验中实验者在WiFi路由器和安装Inter5300无线网卡的笔记本电脑间每隔10s依次执行0-9数字手势,实验者完成手势后在安装有Inter5300无线网卡的笔记本上获取WiFi信道状态信息(CSI)；

2)数据预处理：

由于接收到的CSI数据是3维的复数矩阵，所以先对其进行降维处理，将为3×30的2维矩阵，再利用公式H(k)＝||H(k)||e^j∠H(k)提取其幅度值，其中H(k)代表第k个子载波；

3)CSI幅值去噪：

由于人的手势动作的频率较低，且WiFi信号由于传输功率、设备的状态变化或信号干扰等因素的影响，往往含有很多噪声成分，所以要对求得的原始CSI幅值矩阵进行去噪处理，本方法中先利用巴特沃斯低通滤波器滤除CSI幅值矩阵的大部分高频分量，再通过小波变换对CSI幅值矩阵进一步去噪；

4)CSI特征采集：

为了让卷积自编码器输入的数据更有代表性，我们利用CSI时间序列作为网络的输入来识别各种手势，CSI时间序列数据可以被分成具有窗口大小Δt的小块，利用每个窗口中的CSI幅度值的平均绝对偏差作为特征形成CSI帧，原3×30的二维CSI矩阵经时间窗口Δt截取后变成n×m的二维实数矩阵，其中m为CSI矩阵中子载波的数量，n为单个子载波截取的时间窗口△t的数量；

5)卷积自编码器网络模型的搭建：

网络输入数据维度为n×m的二维矩阵，卷积自编码器的编码器部分为两层卷积池化层，卷积层的滤波器个数为32，滤波器大小为(3，3)，提取手势数据的非线性特征；解码器部分为两层卷积上采样层，卷积层的滤波器个数也为32，大小也为(3，3)。卷积自编码器使用反向传播算法来训练网络使得输出等于输入，其将编码器与解码器联合起来实现0-9数字手势识别。

Claims

1.一种基于卷积自编码的WiFi手势识别方法，其特征在于，包括如下步骤：

S1、收集10种手势的WiFi信道数据；

S2、从收集的手势WiFi信道数据中提取Ntx*Nrx*30的3维CSI矩阵；

S3、对提取出来的CSI矩阵数据进行数据预处理；

2.根据权利要求1所述的一种基于卷积自编码的WiFi手势识别方法，其特征在于，步骤S3中，所述的预处理，包括如下步骤：

Y＝HX+N (1)

求得信道状态信息H的表达式为：

H(k)＝||H(k)||e^j∠H(k) (3)

S3-2、对提取的CSI子载波的幅度值进行巴特沃斯低通滤波：利用巴特沃斯滤波器滤除CSI幅值中的大部分高频分量；

3.根据权利要求1所述的一种基于卷积自编码的WiFi手势识别方法，其特征在于，步骤S4中，所述的对预处理后的CSI矩阵进行特征提取及重构，构造成自编码器可以处理的矩阵形式，经过预处理后，利用时间窗口Δt获取CSI子载波中因手势动作而导致的信道状态信息变化的部分的子载波，然后取滑动窗口中波形的平均绝对偏差作为卷积自编码器的输入特征，具体包括如下步骤：

S4-2、根据时间顺序用Δt截取CSI子载波中的所有变化波形；

4.根据权利要求1所述的一种基于卷积自编码的WiFi手势识别方法，其特征在于，步骤S5中，所述的卷积自编码器模型，是对获取的n×m的2维实数矩阵进行特征提取，输入数据维度为n×m的二维矩阵，自编码器将输入表达X编码为新的表达Y，再将Y解码回X，自编码器使用反向传播算法来训练网络使得输出等于输入；自编码器包括编码器和解码器两部分，利用Model函数将编码器和解码器联合提取手势特征，并进行分类识别。

5.根据权利要求4所述的一种基于卷积自编码的WiFi手势识别方法，其特征在于，所述的编码器，包括卷积层、池化层；

所述的池化层，利用max pooling进行池化，对卷积层输出的特征图矩阵的局部区域进行下采样，降低特征矩阵的维度，先将输入矩阵分为若干个分区，在每个分区中，使用max操作来获取局部最大特征，max操作是在降低处理数据的维度的基础上保留了数据规模不变的特征。

6.根据权利要求4所述的一种基于卷积自编码的WiFi手势识别方法，其特征在于，所述的解码器，输入为编码器的输出，包括卷积层、上采样层，卷积层跟编码器部分相同，上采样层在up pooling阶段使用最大值的信息扩充特征图，在对称的max pooling中记录最大值的位置，up pooling时最大值位置设置为特征值，除最大值位置以外，其余补0。