CN108459706A - 基于相对运动轨迹跟踪的Wi-Fi手势识别方法 - Google Patents

Abstract

本发明公开了一种基于相对运动轨迹跟踪的Wi‑Fi手势识别方法。首先，详细分析了系统获取的信道状态信息(Channel state information,CSI)的相位所包含的误差源，并利用斜率和截距的估计值完成误差消除；其次，利用消除误差后的信号到状态信息，提出一种新的基于数据融合的迭代干扰抑制算法，以完成反射信号和发射机与接收机之间直射信号的干扰消除；接下来，在干扰抑制的基础上系统捕捉运动手势反射的信号，利用在时域接收的连续时间信号构建虚拟天线阵列，然后利用二维空间平滑MUSIC算法估计信号的来波方向，重建手势的运动轨迹；最后，根据复现的运动轨迹，利用基于高斯核的支持向量机分类器完成手势识别。大量的实验和分析结果表明，本发明设计的迭代干扰抑制算法可有效的抑制干扰信号，同时提出的虚拟阵列技术，在提高分辨率的基础上，可大大减小接收端天线的开销，完成手势运动轨迹的重建；同时，本方法不仅能够完成单手手势识别，且可以准确的完成双手手势的识别，能够更好的满足人机交互中对手势识别系统的要求。

Description

基于相对运动轨迹跟踪的Wi-Fi手势识别方法

技术领域

本发明属于手势识别技术，该系统具体涉及在Wi-Fi系统下，一种基相对运动轨迹重建的手势识别方法。

背景技术

手势识别作为人机交互(Human Computer Interaction,HCI)中的一个研究分支，已经成为计算机领域的一个重要工具。与传统交互方式相比，手势作为一种更加清晰、形象的肢体语言，包含了更多丰富的信息，有助于用户更直观的表达自己的想法。研究手势识别，对于推动HCI的发展有着重要的作用。

传统手势识别的研究大多基于视觉(Vision Based)和基于传感器(SensorsBased)完成。基于视觉的手势识别系统在光线较弱的情况下识别精度较低，同时由于此类系统需要摄像头等辅助设备，容易涉及隐私问题；基于传感器的系统通常需要用户佩戴配套的传感器设备，使得用户体感较差且设备成本较高。随着无线网络技术的不断提高与相关设备的普及，越来越多的研究人员开始研究利用无线信号完成手势识别。手势识别系统wisee，该系统在解决了载波频偏的基础上，提取出信号中由于手势引起的的多普勒信息，最终完成如推、拉等九个手势的识别；手势识别系统wigest，利用手势对接收信号强度(RSSI)的扰动，系统将不同的信号波动映射到对应的手势从而完成识别。此类系统利用手势对接收信号强度及相位造成的影响进行识别，但信号中背景噪声较大，干扰信号较强，使得接收信号粒度粗糙、分辨率低，仅能完成单手手势识别。

针对上述问题，本发明在Wi-Fi系统下，设计了一种基于相对运动轨迹跟踪的手势识别方法。该方法在没有任何附加设备的情况下，对接收信号中的干扰信号进行抑制，然后利用捕捉到的反射信号构造虚拟阵列，从而完成手势相对运动轨迹重建，最终可实现双手手势识别。

发明内容

本发明的目的是在Wi-Fi系统下，提供一种基于相对运动轨迹跟踪的手势识别方法，它能在没有任何附加设备的情况下，实现双手运动轨迹重建和双手手势识别。

本发明所述的是，基于相对运动轨迹跟踪的Wi-Fi手势识别方法，具体包括以下步骤：

步骤一、首先利用Wi-Fi设备完成信道状态信息(Channel state information，CSI)数据采集。由于Wi-Fi设备的收发两端时钟未同步、晶振不同及硬件精度不足的原因，采集的 CSI数据包含了由采样频偏(Sample Frequency Offset,SFO)、载波频偏(Carrierfrequency offset,CFO)以及符号定时偏差(Symbol Time Offset,STO)引入的误差。其中CFO与STO 引起的相位误差均与信号频率相关，与子载波编号成比例。而由于中心频偏引入的误差对所有子载波均一样，因此由CFO引入误差可视为常数。基于该分析，实际接收到的CSI相位可表示为：

其中，表示由CFO与STO引入的误差，k表示子载波编号，ε表示由CFO引入的误差。

步骤二、误差项是关于子载波编号的线性函数，因此可通过估计出该线性函数的斜率和截距对误差进行消除。假设测量得到n个子载波的相位，子载波编号按递增序列为则估计的斜率和截距可表示为：

步骤三、估计出的S和I中包含了真实的斜率与ε，因此利用估计值对CSI中的相位误差进行消除。同时，根据802.11协议，所测的CSI对应的子载波编号正负对称，所以消除误差后的相位可表示为：

步骤四、根据接收机两根天线接收的数据，利用迭代干扰抑制算法对环境中发射机到接收机的直射信号和静态物体反射信号进行干扰抑制，所述步骤四包括以下步骤：

步骤1、发射端发送一个已知的导频信号x，第一根接收天线接收到信号并估算出发射天线与第一根接收天线间的信道参数以同样的方式计算出发射端与第二根接收天线间的信道估计值

步骤2、利用估计出的与系统计算出抑制系数当两根接收天线同时进行数据接收时，结合求取的抑制系数，将两根天线的数据进行融合：

c_res＝c₁-R×c₂≈0；

其中c₁与c₂表示两根接收天线同时接收时，分别计算出的信道估计值；

步骤3、假设估计值中不存在估计误差，基于此，结合融合后的c_res对估计值进行修正为：同理，假设中不存在估计误差，可以将估计值进行修正为：经过上述修正，可获得更加准确的信道抑制系数

步骤4、结合求取的c_res及采集的多组数据，利用上述的修正方法，对及进行迭代修正，直到修正后估计值和均收敛，从而获得更加准确的信道抑制系数至此完成迭代干扰抑制，提取出干扰抑制系数；

步骤5、当环境中物体开始移动时，利用手运动过程中采集的数据及求取的抑制系数 R′，对发射机与接收机之间的直射信号、静态物体反射信号进行抑制，求取c′_res，即：

c′_res＝c₁-R′×c₂

从而完成对干扰信号的抑制，同时由手的运动对信道造成的影响已被记录在c′_res中。

步骤五、利用经过干扰抑制后数据构建虚拟天线阵列的接收信号矩阵，并求取其自相关矩阵，然后通过二维平滑处理自相关矩阵，实现室内多径环境下相干信号的去相干操作，所述步骤五包括以下步骤：

步骤1、在短时间内，假设手的运动为匀速运动，因此构造的虚拟阵列为等间距阵列且间距小于等于信号的半波长，此时假设间距d＝T×v，其中T为采样周期，v为手的移动速度，可构建转向矩阵，表示为：

其中λ为信号波长，Δ为手运动过程中的速度抖动偏差；

步骤2、当手处于运动状态时，将移动的手虚拟为天线阵列，此时系统接收到的连续时域采样就对应于手在连续位置上对信号完成的空间采样，因此利用抑制后提取时序数据c_res构建接收信号矩阵，构建的接收信号矩阵为

步骤3、为了对抗室内多径环境下的相干信号，首先对接收信号矩阵进行平滑处理，把长度为k的阵列分成若干个相互重叠的子阵列，子阵列长度为n(n＜k)，每个子阵依次向右移动，过程如图所示：

子阵列个数为i＝k-n+1，第1个子阵列的输出为：

步骤4、通过平滑处理后，矩阵被分为多个重叠的子矩阵，系统对将多个子矩阵相加，求取平滑处理后的最终形式：

并计算该矩阵的自相关矩阵RR^H，至此虚拟阵列的接收信号矩阵构造及解相关处理。

步骤六、对矩阵RR^H进行特征值分解，分解后较大的特征值对应的特征向量为信号张成的信号子空间，较小的特征值对应的特征向量为噪声子张成的噪声子空间；

步骤七、利用构建的转向矩阵与噪声子空间的正交性计算信号的波达方向，即：

其中a(θ，n)为构建的转向矩阵，E_N为求取的噪声子空间；

步骤八、将每一时刻估计出的谱峰按照时序进行排列，获取整个手势过程中信号波达角的变化情况，最终构建出手势的相对运动轨迹；

步骤九、根据估计重构的相对运动轨迹，采用支持向量机(Support VectorMachine， SVM)分类器对手势进行识别。将每次谱峰中估计出的角度值以及峰值的个数最为训练的特征，假设给定一组训练数据D＝{(x_i，y_i)|x_i∈R^d，y_i∈{-1，+1}}，i＝1，...，l，其中x_i为第i个峰值点的角度值或峰值个数，y_i是其对应的类标号，利用SVM计算出最优分类超平面 w^*·x+b^*＝0，识别阶段将利用该超平面完成对手势的判别；

步骤十、由于数据大多是线性不可分的，因此使用径向基函数(Radial BasisFunction， RBF)将数据映射到高维空间完成训练和分类。同时，组合多个SVM分类器，使系统可以完成对多种手势的识别。

有益效果

本发明首先有效分析相位误差源，并利用斜率和截距的估计值完成误差消除；其次，提出一种新的基于数据融合的迭代干扰抑制算法，以完成静态物体反射信号和发射机与接收机之间直射信号的干扰消除；然后捕捉手反射的信号，通过利用信号的连续时间采样构造虚拟天线阵，并利用平滑MUSIC算法估计信号的来波方向。结合多个时刻估计出的信号波达方向，重建手势的运动轨迹；最后，根据估计重构的运动轨迹，利用基于高斯核的分类器支持向量机完成手势识别。本发明设计了一种新颖的虚拟阵列技术，在大大减小接收端天线开销的基础上，提高了分辨率，完成手的运动轨迹重建；同时，本方法不仅能够完成单手手势识别，对于双手手势也能够达到较高的识别精度，更能够满足人机交互中对手势识别系统的要求。

附图说明

图1为本发明中步骤一至步骤十的总体框图。

图2为获取CSI信息过程中通过OFDM接收机完成信道估计的流程图。

图3为本系统构造的天线阵列示意图。

图4为滑动手势示意图及实验结果。

图5为在不同手势下利用本系统的进行实测数据的场景示意图；

图6为在图5基础上实现的运动轨迹复现结果示意图；

图7为不同手势识别精度的混淆矩阵示意图。

具体实施方案

下面结合附图进一步详细描述本发明的技术方案：

如图1所示的Wi-Fi系统下，基于相对运动轨迹跟踪的手势识别方法，具体包含以下步骤：

步骤一、首先利用Wi-Fi设备完成信道状态信息(Channel state information，CSI)数据采集。由于Wi-Fi设备的收发两端时钟未同步、晶振不同及硬件精度不足的原因，采集的 CSI数据包含了由采样频偏(Sample Frequency Offset,SFO)、载波频偏(Carrierfrequency offset,CFO)以及符号定时偏差(Symbol Time Offset,STO)引入的误差。其中CFO与STO 引起的相位误差均与信号频率相关，与子载波编号成比例。而由于中心频偏引入的误差对所有子载波均一样，因此由CFO引入误差可视为常数。基于该分析，实际接收到的CSI相位可表示为：

其中，表示由CFO与STO引入的误差，k表示子载波编号，ε表示由CFO引入的误差。

步骤二、误差项是关于子载波编号的线性函数，因此可通过估计出该线性函数的斜率和截距对误差进行消除。假设测量得到n个子载波的相位，子载波编号按递增序列为则估计的斜率和截距可表示为：

步骤三、估计出的S和I中包含了真实的斜率与ε，因此利用估计值对CSI中的相位误差进行消除。同时，根据802.11协议，所测的CSI对应的子载波编号正负对称，所以消除误差后的相位可表示为：

步骤四、根据接收机两根天线接收的数据，利用迭代干扰抑制算法对环境中发射机到接收机的直射信号和静态物体反射信号进行干扰抑制，所述步骤四包括以下步骤：

步骤1、发射端发送一个已知的导频信号x，第一根接收天线接收到信号并估算出发射天线与第一根接收天线间的信道参数以同样的方式计算出发射端与第二根接收天线间的信道估计值

步骤2、利用估计出的与系统计算出抑制系数当两根接收天线同时进行数据接收时，结合求取的抑制系数，将两根天线的数据进行融合：

c_res＝c₁-R×c₂≈0；

其中c₁与c₂表示两根接收天线同时接收时，分别计算出的信道估计值；

步骤3、假设估计值中不存在估计误差，基于此，结合融合后的c_res对估计值进行修正为：同理，假设中不存在估计误差，可以将估计值进行修正为：经过上述修正，可获得更加准确的信道抑制系数

步骤4、结合求取的c_res及采集的多组数据，利用上述的修正方法，对及进行迭代修正，直到修正后估计值和均收敛，从而获得更加准确的信道抑制系数至此完成迭代干扰抑制，提取出干扰抑制系数；

步骤5、当环境中物体开始移动时，利用手运动过程中采集的数据及求取的抑制系数 R′，对发射机与接收机之间的直射信号、静态物体反射信号进行抑制，求取c′_res，即：

c′_res＝c₁-R′×c₂

从而完成对干扰信号的抑制，同时由手的运动对信道造成的影响已被记录在c′_res中。

步骤五、利用经过干扰抑制后数据构建虚拟天线阵列的接收信号矩阵，并求取其自相关矩阵，然后通过二维平滑处理自相关矩阵，实现室内多径环境下相干信号的去相干操作，所述步骤五包括以下步骤：

步骤1、在短时间内，假设手的运动为匀速运动，因此构造的虚拟阵列为等间距阵列且间距小于等于信号的半波长，此时假设间距d＝T×v，其中T为采样周期，v为手的移动速度，可构建转向矩阵，表示为：

其中λ为信号波长，Δ为手运动过程中的速度抖动偏差；

步骤2、当手处于运动状态时，将移动的手虚拟为天线阵列，此时系统接收到的连续时域采样就对应于手在连续位置上对信号完成的空间采样，因此利用抑制后提取时序数据c_res构建接收信号矩阵，构建的接收信号矩阵为

步骤3、为了对抗室内多径环境下的相干信号，首先对接收信号矩阵进行平滑处理，把长度为k的阵列分成若干个相互重叠的子阵列，子阵列长度为n(n＜k)，每个子阵依次向右移动，过程如图所示：

子阵列个数为i＝k-n+1，第1个子阵列的输出为：

步骤4、通过平滑处理后，矩阵被分为多个重叠的子矩阵，系统对将多个子矩阵相加，求取平滑处理后的最终形式：

并计算该矩阵的自相关矩阵RR^H，至此虚拟阵列的接收信号矩阵构造及解相关处理。

步骤六、对矩阵RR^H进行特征值分解，分解后较大的特征值对应的特征向量为信号张成的信号子空间，较小的特征值对应的特征向量为噪声子张成的噪声子空间；

步骤七、利用构建的转向矩阵与噪声子空间的正交性计算信号的波达方向，即：

其中a(θ，n)为构建的转向矩阵，E_N为求取的噪声子空间；

步骤八、将每一时刻估计出的谱峰按照时序进行排列，获取整个手势过程中信号波达角的变化情况，最终构建出手势的相对运动轨迹；

步骤九、根据估计重构的相对运动轨迹，采用支持向量机(Support VectorMachine， SVM)分类器对手势进行识别。将每次谱峰中估计出的角度值以及峰值的个数最为训练的特征，假设给定一组训练数据D＝{(x_i，y_i)|x_i∈R^d，y_i∈{-1，+1}}，i＝1，...，l，其中x_i为第i个峰值点的角度值或峰值个数，y_i是其对应的类标号，利用SVM计算出最优分类超平面 w^*·x+b^*＝0，识别阶段将利用该超平面完成对手势的判别；

步骤十、由于数据大多是线性不可分的，因此使用径向基函数(Radial BasisFunction， RBF)将数据映射到高维空间完成训练和分类。同时，组合多个SVM分类器，使系统可以完成对多种手势的识别。

Claims (3)

1.基于相对运动轨迹跟踪的Wi-Fi手势识别方法，其特征在于，包括以下步骤：

步骤一、利用Wi-Fi设备完成CSI数据采集，并对数据中由采样频偏、载波频偏以及符号定时偏差引入的误差进行分析，其中载波频偏与符号定时偏差引起的相位误差均与子载波编号成比例，由中心频偏引入的误差为常数，因此误差为关于子载波编号的线性函数，通过估计误差函数斜率及截距，完成对CSI数据中误差的消除；

步骤二、根据接收机两根天线接收的数据，利用迭代干扰抑制算法求取干扰抑制参数，对环境中发射机到接收机的直射信号和静态物体反射信号引起的干扰进行抑制；

步骤三、将手虚拟为天线阵列，结合从手反射的信号及求取的干扰抑制参数，完成虚拟阵列的接收信号矩阵的构建，并对该矩阵进行平滑处理，完成对相干信号的解算，然后对平滑后的矩阵进行自相关计算；

步骤四、对求取的自相关矩阵进行分解，分解后较大的特征值对应的特征向量为信号张成的信号子空间，较小的特征值对应的特征向量为噪声子张成的噪声子空间，利用构建的转向矩阵与噪声子空间的正交性，系统解算出信号的波达方向；

步骤五、将每一时刻估计出的谱峰按照时序进行排列，获取整个手势过程中信号波达角的变化情况，最终构建出手势的相对运动轨迹，将运动轨迹中每一时刻谱峰的角度值以及谱峰的个数作为训练的特征，完成对支持向量机(Support Vector Machine，SVM)的训练，最后组合多个SVM分类器对手势进行识别。

2.根据权利要求1所述的基于相对运动轨迹跟踪的手势识别方法，其特征在于，所述步骤二包括以下步骤：

步骤二(一)、发射端发送一个已知的导频信号x，第一根接收天线接收到信号并估算出发射天线与第一根接收天线间的信道参数以同样的方式计算出发射端与第二根接收天线间的信道估计值

步骤二(二)、利用估计出的与系统计算出抑制系数当两根接收天线同时进行数据接收时，结合求取的抑制系数，将两根天线的数据进行融合：

c_res＝c₁-R×c₂≈0；

其中c₁与c₂表示两根接收天线同时接收时，分别计算出的信道估计值；

步骤二(三)、假设估计值中不存在估计误差，结合融合后的c_res，系统将估计值修正为：同理，假设中不存在估计误差，可以将估计值进行修正为：经过上述修正，可获得更加准确的信道抑制系数

步骤二(四)、结合求取的c_res及采集的多组数据，利用上述的修正方法，对及进行迭代修正，直到修正后估计值和均收敛，从而获得更加准确的信道抑制系数至此完成迭代干扰抑制，提取出干扰抑制系数；

步骤二(五)、当环境中物体开始移动时，利用手运动过程中采集的数据及求取的抑制系数R′，对发射机与接收机之间的直射信号、静态物体反射信号进行抑制，求取c′_res，即：

c′_res＝c₁-R′×c₂

从而完成对干扰信号的抑制，同时由手的运动对信道造成的影响已被记录在c′_res中。

3.根据权利要求1所述的基于相对运动轨迹跟踪的手势识别方法，其特征在于，所述步骤三包括以下步骤：

步骤三(一)、在短时间内，假设手的运动为匀速运动，因此构造的虚拟阵列为等间距阵列且间距小于等于信号的半波长，此时假设间距d＝T×v，其中T为采样周期，v为手的移动速度，可构建转向矩阵，表示为：

其中λ为信号波长，Δ为手运动过程中的速度抖动偏差；

步骤三(二)、当手处于运动状态时，将移动的手虚拟为天线阵列，此时系统接收到的连续时域采样就对应于手在连续位置上对信号完成的空间采样，因此利用抑制后提取时序数据c_res构建接收信号矩阵，构建的接收信号矩阵为

步骤三(三)、为了对抗室内多径环境下的相干信号，首先对接收信号矩阵进行平滑处理，把长度为k的阵列分成若干个相互重叠的子阵列，子阵列长度为n(n<k)，每个子阵依次向右移动，子阵列的总数为i＝k-n+1，第l个子阵列的输出为：

步骤三(四)、通过平滑处理后，矩阵被分为多个重叠的子矩阵，系统对将多个子矩阵相加，求取平滑处理后的最终形式：

并计算该矩阵的自相关矩阵RR^H，至此完成虚拟阵列的接收信号矩阵构造及解相关处理。