CN114024630B - 一种基于无线信号的手势识别方法 - Google Patents

Abstract

本发明公布了一种基于无线射频信号的手势识别方法，使用一台信号发射端Tx和两台信号接收端Rx1、Rx2，信号发射端与信号接收端的连线不平行；信号采用OFDM调制；手势识别区域为Tx‑Rx1和Tx‑Rx2所围成的区域内部平面；信号发射端发射无线射频信号，两个信号接收端分别采集到CSI数据流；以手为参考系构建特征，包括动态相位向量DPV、运动旋转变量MRV和细粒度特征；利用无线通讯中信道状态信息CSI的变化估算手在移动的过程中的瞬时相对方向，通过分层递阶式多层识别机制，实现位置和朝向以及书写大小无关的鲁棒、高精度手势识别。

Description

一种基于无线信号的手势识别方法

技术领域

本发明涉及无传感器感知技术，尤其涉及一种基于无线信号的手势识别方法，可基于商用WiFi设备对不同初始位置、不同书写角度以及不同书写大小等情形下的手势进行识别。

背景技术

人机交互技术是一种重要的人与执行终端沟通方式，人可以通过人机交互接口发布命令以驱动计算机或者其他硬件执行设备来完成，从而实现人与机器之间的信息交换，完成特定的任务。基于手势的人机交互通过快速、准确的手势识别，使得人和机器之间能够实现自然、高效的信息交换，为众多应用提供了有力支撑。

现有的手势识别技术可以被分为：接触式和非接触式两大类。其中，现有传统的接触式手势识别方法通常要求用户手持或者佩戴专用的电子传感设备，如文献(Latentsupport vector machine modeling for sign language recognition with Kinect,ACMTIST,2015)记载的接触式手势识别方法。这类方法可以实现准确的手势动作识别，但其过于依赖专用设备，阻碍了在日常生活中的大规模部署使用；另外，接触式的识别方式也在很大程度上限制了交互过程中的自然性、灵活性以及舒适感，使得体验感较差。与接触式的方法不同，非接触式的手势识别方法往往不需要用户手持或者佩戴任何电子传感设备，使得整个交互过程能够在自然、非侵扰的状态下完成。具体地，非接触式手势识别包括基于视觉、声波和无线射频信号等方法。其中，文献(Device-free gesture tracking usingacoustic signals,MobiCom’16)记载的基于视觉和声波的手势识别方法需要专用的设备，例如，摄像头和智能手机等，而文献(Dynamic hand gesture recognition usingcomputer vision and neural networks,I2CT,2018)记载了，现有的基于视觉的方法还会侵扰用户的隐私，并且对光线等因素也有要求，这些技术上的不足都限制了此类方法的实用性。相比而言，基于无线射频信号的手势识别方法则可以通过反演不同手势引起的信号变化来更加自然地对手势进行识别，例如采用WiFi和RFID(Radio FrequencyIdentification，射频识别)。

现有的基于无线射频信号的手势识别方法大都构建无线射频信号的物理或者统计特征，然而，这些特征通常以信号收发设备为参照系，当人做手势的起始位置、书写方向和书写大小等相对于信号收发设备发生变化时，相同的手势动作所引起的信号波动模式也会随之改变，即特定手势动作与其所对应的信号模式的一致性无法保证，从而导致识别率受到很大影响，阻碍了该方法在真实场景中的应用。为了保持手势和对应信号模式的一致性，文献(Position and orientation agnostic gesture recognition using WiFi,MobiSys’17,252-264；Zero-effort cross-domain gesture recognition with Wi-Fi,MobiSys’19,313-325)记载的方法通过构建新的特征或者建模机制来实现不同位置和朝向的手势识别，但是面临着需要构建机器学习分类器、增加信号收发设备等问题。

综上，大多数现有的基于无线射频信号的非接触式手势识别方法无法实现不同手势起始位置、书写角度和书写大小的准确识别，少数改进方法或是需要构建专门的机器学习分类器，或是通过添加收发设备的数量来实现不同起始位置、书写角度和书写大小的手势识别，均限制了手势识别技术的实用性和普适性。

发明内容

为了克服上述现有技术的不足，本发明提供一种基于无线信号的手势识别方法，无线信号可采用商用WiFi设备，实现非接触式的、与手势的位置、朝向无关的手势识别。本发明利用无线通讯中信道状态信息(Channel State Information,CSI)的变化来估算手在移动的过程中的瞬时相对方向，实现不同手势动作的识别。本发明可以搭载在现有通讯设备上，而无需专门的传感设备。本发明对用户在做手势动作时手的初始位置、书写角度以及书写大小等没有要求。

本发明的原理如下：

人进行手势活动时，手部的持续移动使得无线射频信号发生相应变化，信号接收端将接收到由手部移动和周围环境引起的信号变化的叠加。具体地，手部的持续移动使得其反射路径不断地改变，导致对应的反射信号也会不断地变化，该部分对应接收的叠加信号中的动态成分；而与周围环境中的静态物体对应的反射信号不会发生改变，对应接收的叠加信号的静态成分。通过计算接收信号动态成分的相位变化，则可估计手势动作相对于信号收发设备发射路径的变化，从而得到相对于收发设备的分速度，实现对手势的刻画。利用两对信号收发设备(即一发两收)，综合任意两个方向的分速度，可以得到手势活动的相对方向变化。基于此，构建两种与信号收发设备相对位置和角度无关的相对特征，分别刻画手部移动的粗粒度信息和细粒度信息，并通过一种新的分层递阶式多层识别机制，实现位置和朝向无关的鲁棒、高精度手势识别。

本发明利用从一个信号发射端(Tx)和两个信号接收端(Rx1和Rx2)所采集的CSI来感知手势动作。当手移动时，接收信号的动态成分相位会随着反射路径的改变而发生变化，在复平面上形成旋转的圆弧。具体地，反射路径长度每变化一个波长，信号动态成分的相位将变化一个周期，CSI也随之在复平面上旋转一周。通过测量圆弧的旋转角度，可以估计出单位时间内手相对于某对收发设备的反射路径变化。

本发明以手为参考系构建两种相对特征，即动态相位向量(Dynamic PhaseVector,DPV)和运动旋转变量(Motion Rotation Variable,MRV)，并将它们嵌入到一种新型的分层递阶式识别框架。DPV和MRV可以将手势集合分为多个不同的类别组，具有相似DPV特征的手势将会被分进同一类别组，具有相似MRV特征的手势将会被分进同一类别组。另外，还可设计专门的细粒度特征用于分类经过DPV和MRV筛选后仍无法被区分开的手势。

本发明的技术方案如下：

一种基于无线射频信号的手势识别方法，使用三台可以发射WiFi CSI的设备(如商用WiFi设备)：一台信号发射端Tx用于发射信号，可提供信道状态信息CSI，另外两台信号接收端Rx1和Rx2用于接收信号，用于测量采集CSI；信号发射端与信号接收端的两条连线只要不平行即可，形成“一发两收”的配置。信号采用OFDM(Orthogonal Frequency DivisionMultiplexing，正交频分复用)调制，用户不需要佩戴任何电子设备，手势识别区域为两个信号收发设备对(Tx-Rx1和Tx-Rx2)所围成的区域内部平面。具体包括如下步骤：

(1)信号采集

信号发射端发射无线射频信号，两个信号接收端分别采集到CSI，然后将CSI信号汇总到电脑等处理端设备。每一个信号接收端都会接收到CSI数据，完整的CSI数据流包括多个OFDM子载波上的CSI时间序列，可随着无线数据通信而正常发送。

(2)特征构建

a)动态相位向量DPV构建

手部移动的反射路径长度发生变化，信号动态相位也发生变化，在复平面上形成旋转的圆弧，需要建立信号动态成分的相位变化与反射路径变化的对应关系。通过测量圆弧的旋转角度，估计得到单位时间内手相对于收发设备对的反射路径变化。通过计算手部运动起始点与移动轨迹上每个时间步的每个点的水平轴之间的相位变化来构建DPV。本发明对手的初始位置没有特定的要求，因此不能直接计算手的移动轨迹，而采取如下方式构建DPV：

式中，

为在t_k时刻的动态相位；t_k为第k个时刻；k∈[1,n]；

和

分别表示两个信号收发设备对的CSI商的相位。

由于信号收发设备是分离的，每个接收端上的单根天线的CSI包含时变的相位偏移。通过对同一接收设备上两根天线的CSI数值进行相除操作，可去除相位偏移和脉冲噪声，得到的信噪比更高的信号称为CSI商。

DPV可用下式表示：

b)运动旋转变量MRV构建

通过计算相邻采样点在一定时间内的角度变化来构建MRV：

其中，

和

分别表示Tx-Rx1和Tx-Rx2相邻采样点的角度变化。

c)细粒度特征构建

为了识别DPV和MRV未能识别出来的手势，针对性的构建细粒度特征。根据要识别的具体手势集构建具有针对性的细粒度特征。很多特征都可以作为细粒度特征，例如手相对于链路Tx-Rx1的速度、手相对于链路Tx-Rx1的位移方向等。

(3)分层递阶式识别

将所有构建的特征嵌入到一种改进的多层识别模型框架中。第一层中，通过采用DPV对手势进行初步的粗分类；在第二层中，通过MRV区分具有类似DPV模式的手势，对其进行二次粗分类；在第三层中，利用具有针对性的细粒度特征区分无法被DPV和MRV区分开的手势。

具体实施时，本发明只需通过WiFi为每个手势采集一次CSI作为训练样本，以尽可能减少训练和校准所需的工作量。

对采集的多种手势，使用步骤2)的方法构建得到对应的DPV和MRV特征，分别作为手势DPV标准模板和手势MRV标准模板；

针对待识别手势，使用步骤2)的方法构建对应的DPV特征、MRV特征和细粒度特征；

将待识别手势的特征嵌入到改进的多层识别模型框架中；

在多层识别模型框架的第一层中，使用动态时间规整DTW方法计算待识别手势与手势DPV标准模板中各手势之间的DPV特征相似度，选取最高DPV特征相似度对应的手势DPV标准模板中的手势作为待识别的手势的类别标签；如果待识别的手势的类别标签为0、1、3、7或8，则结束识别；如果待识别的手势的类别标签为2、4、5、6或9，则进入多层识别模型框架的第二层进一步进行分类；

在多层识别模型框架的第二层中，使用动态时间规整DTW方法计算待识别手势与手势MRV标准模板中各手势之间的MRV特征相似度，选取最高MRV特征相似度对应的手势MRV标准模板中的手势作为该手势的类别标签；如果待识别的手势的类别标签为2、4或6，则结束识别；如果待识别的手势的类别标签为5或9，则进入多层识别模型框架的第三层进一步进行分类；

在多层识别模型框架的第三层中，利用具有针对性的细粒度特征，识别得到无法被DPV和MRV区分开的手势5或9；

通过上述步骤，实现基于无线射频信号的手势识别。

通过这种分层递阶式的识别机制，使得无论手的起始位置、方向和大小等如何改变，利用DPV、MRV和细粒度特征都能够实现位置和朝向无关的高精度手势分类。

与现有技术相比，本发明的有益效果是：

本发明提供了一种非接触手势识别方法，利用无线射频信号识别用户在空中所做的手势动作。本发明基于手移动过程中对无线射频信号产生的扰动，通过测量并提取商用WiFi设备多天线上CSI的变化，构建了两种相对特征和具有针对性的细粒度特征，形成了手势动作与特征模式之间的鲁棒映射关系；通过将所构建特征嵌入到一种新的分层递阶式框架中，实现位置和朝向无关的手势识别。

本发明技术方案无需使用专用传感设备，利用从商用无线通讯设备上采集的CSI即可，节约成本；信号发送设备和信号接收设备之间无需时钟同步，能够使用大多数常见的商用设备(如WiFi，LTE(Long Term Evolution，长期演进)，4G)进行感知，适用范围广；本发明技术方案对设备的摆放角度和位置没有特殊要求，可以识别相对设备不同角度所做的手势，还能够实时运行，方便实用。

本发明技术方案基于先验知识对于手势物理动作进行判别。对于任何预定义的手势，只需为每个手势采集一次WiFi CSI作为训练样本，无需提前采集大量用户数据即可进行用户手势识别，且准确率较高，优于现有的技术方案。

附图说明

图1为本发明的设备布置图；

其中，Tx表示信号发送设备，Rx1和Rx2分别表示信号接收设备1和信号接收设备2。

图2为本发明实施例中利用无线射频信号识别手势动作的流程框图。

图3为本发明实施例中0-9数字的DPV特征。

图4为本发明实施例中0-9数字的MRV特征。

具体实施方式

下面结合附图，通过实施例进一步描述本发明，但不以任何方式限制本发明的范围。

本发明提供一种基于无线射频信号的手势活动识别方法，利用手在活动过程中对无线射频信号的扰动，通过测量CSI的变化来识别手势动作本身。

本发明在实施时，需要在房间内放置一个信号发送设备Tx(如WiFi路由器，LTE室内基站)和另外两个信号接收设备Rx1和Rx2，如图1所示。无线射频信号为OFDM调制，信号发射设备Tx与两个信号接收设备Rx1和Rx2的连线不能平行，除此之外对设备间的角度没有其他特殊要求。信号接收设备应能够从信号中获取CSI。用户的手在活动过程中，其运动方向应垂直于Tx-Rx1和Tx-Rx2形成的平面，除此之外用户不需要佩戴任何电子设备。

本发明的具体实施方式如下：

1)CSI获取

a)CSI在两个信号接收设备Rx上分别采集，每一个Rx上都会收集CSI数据流，两个信号接收设备上共可以收集两组CSI数据。

b)一般在设备每次通讯传输过程中，测量一次CSI。

c)每个接收设备的天线都有自己对应的CSI测量值，每个天线上都会生成CSI数据流。

2)CSI对齐

a)商用网卡在采集CSI的过程中会生成时间戳，时间戳由含有内部晶振的计数器产生，所以不同接收设备产生的时间戳绝对值并不完全相同。首先采用插值法形成相对时间戳。

b)找出两个接收端上的相对时间戳的起始位置，根据起始位置的差对齐两个接收端的CSI数据流。

3)CSI相位矫正与降噪

a)由于信号收发设备是分离的，每个接收端上的单根天线的CSI包含时变的相位偏移。通过对同一接收设备上两根天线的CSI数值进行相除操作，可以去除相位偏移和脉冲噪声，得到信噪比更高的信号，称为CSI商。

b)对于相除操作后在复平面上的CSI商使用Savitzky-Golay(SG)滤波进行平滑降噪，使得复平面上的圆弧较为光滑，作为后续的输入。

4)特征构建

a)对于复平面上的CSI商，首先计算序列前后采样点的欧式距离。当手静止时，采样点之间的欧式距离较小；当手在空中移动时，采样点之间的欧式距离则较大，从而通过设定阈值的方式根据采样点之间的距离大小来判断手是否在做动作。

b)将CSI商采样点前后相减，得到CSI商差分复数序列。对该序列里每个向量取相位，并展开相位，形成连续变化的CSI商的相位时间序列，反映CSI商动态信号成分的相位变化。

c)基于反射路径每变化一个波长，动态相位变化2π这一规律，可把相位变化与反射路径变化对应起来。

d)建立一个以手的初始位置为原点的坐标系，利用DPV来刻画手的初始位置与手的移动轨迹上每个点的水平轴之间的相位变化。图3为本发明实施例中0-9数字的DPV特征。DPV可用下式表示：

式中，Θ为动态相位向量DPV；

表示在t_k时刻的动态相位，k∈[1,n]。

具体实施时，CSI中可以使用的子载波共30个，由于多径等的影响，有些子载波的一致性较差。本发明选择每个时刻方差最小的子载波来构建DPV，以保证所构建DPV的质量。具体地，可通过式6选择方差最小的子载波：

式中

表示t_k时刻第q个子载波的动态相位。

e)MRV刻画相邻采样点在一定时间内的角度变化，表示为式7：

式中

表示t_k时刻的角度变化，可通过下式求得：

式中

和

分别表示t_k时刻和t_k时刻的瞬时角度。

图4为本发明实施例中0-9数字的MRV特征。

f)根据要识别的具体手势集构建具有针对性的细粒度特征。例如手相对于链路Tx-Rx1的速度、手相对于链路Tx-Rx1的位移方向等。

5)分层递阶识别

如图2所示，所设计的多层手势识别模型框架共包含3层。第一层中，首先通过DPV对手势进行粗分类，即根据手势的DPV特征的相似性进行粗分类，被DPV区分出来的手势被赋予类别标签；第二层中，通过MRV对没有被DPV区分开来的手势进行进一步粗分类，再将能够被MRV区分开来的手势赋予类别标签；第三层中，通过细粒度特征对剩余未区分的手势赋予类别标签。

下面以具体的实例(识别人在空中手写0-9数字的手势)来做进一步说明：

在该实例中使用WiFi信号来识别用户的手势，配置在5GHz频段搭载全向天线、Intel 5300网卡、支持802.11n协议的mini PC作为信号发射设备；使用配置了Intel 5300网卡安装了3根全向接收天线的mini PC作为信号接收设备。接收设备端运行华盛顿大学开发的Linux CSI tools，用于获取CSI。每个天线上都有CSI信息，包括经过OFDM调频后生成的30个子载波的信息。

对人在空中手写0-9数字的手势采用分层递阶识别的方式进行识别，识别得到的手势类别即设为0-9十个手写数字相应的手势。首先采集人在空中手写0-9数字的手势对应的DPV和MRV特征，作为标准模板。在多层手势识别模型的第一层中，使用动态时间规整(Dynamic Time Warping，DTW)方法计算手势与0-9标准模板的DPV特征的相似度，进行第一层粗分类。选取DPV特征相似度最高的数字作为该手势的类别标签；如果该手势的类别标签为0、1、3、7或8，则本层给出的类别标签即为最终的手势识别结果，如果该层给出的手势类别标签为2、4、5、6或9，则无法确定所给出手势类别标签是否正确，则该手势将会被送入第二层继续进行分类。因为DPV特征可以准确刻画手在书写数字时手的相对移动轮廓，因此0、1、7和8的DPV特征差异明显，而2和4的DPV特征相似，5、6和9的DPV特征明显。首先以2和4为例进行说明，在空中书写2和4的时候，对应的相位均为先顺时针旋转再逆时针旋转，因此2和4的DPV特征均为先下降再上升(见附图3中2和4的DPV特征)，两者的DPV特征相似度较高，难以利用DPV区分2和4；再以0和1为例，0和1的DPV相位变化则明显不同，0呈现上升趋势，而1则趋于直线(见附图3中0和1的DPV特征)，两者的DPV特征相似度很低，可以利用DPV将0和1进行准确区分。在多层手势识别模型的第二层中，使用DTW计算手势与0-9标准模板的MRV特征的相似度，进行第二层粗分类。选取MRV特征相似度最高的数字作为该手势的类别标签；如果该手势的类别标签为2、4或6，则本层给出的类别标签即为最终的手势识别结果，如果该层给出的手势类别标签为5或9，则将会被送入第三层继续进行分类。因为MRV特征可以准确刻画手在书写数字时手的瞬时相对移动状态，因此2、4和6的MRV特征差异明显，而5和9的MRV特征相似。首先以2、4和6为例进行说明，2的MRV特征呈现先下降再上升的总体趋势，4的MRV特征呈现下降的总体趋势，而6的MRV特征则呈现上升的总体趋势(见附图4中2、4和6的MRV特征)，三者的MRV特征相似度很低，可以利用MRV将2、4和6进行准确区分；然而5和9的MRV特征均呈现先上升、再趋于直线、然后继续上升、最后下降的趋势(见附图4中5和9的MRV特征)，两者的MRV特征相似度较高，难以利用MRV将两者区分开。在多层手势识别模型的第三层中，构建具有针对性的细粒度特征进行细分类。具体实施时，由于书写5和9最后一段的速度方向不同，5的方向总是正向的，而9的方向总是负向的，因此采用手势最后一段速度方向(正向或负向)作为第三层的细粒度特征，通过比对最后一段书写的手势速度方向来确定该手势是5还是9。通过所构建的分层递阶识别机制和DPV、MRV两种相对特征，即可区分出当起始书写位置、朝向和书写大小等不同时的0-9手势。

在本实例中，对用户在空中写数字‘3’的手势进行识别。在检测手势时，将Tx、Rx1和Rx2上的天线水平于地面放置。注意摆放过程中应避免Tx-Rx1，Tx-Rx2的连线平行，除此之外对设备位置、角度的摆放没有额外要求。

本实例中将采样率设置为400Hz，在Rx1和Rx2上连续采集CSI，并通过WiFi网络传送到一台PC(数据处理设备)集中处理。

用户在Tx-Rx1和Tx-Rx2两条连线构成的平面区域内以任意角度手写数字‘3’。

进行数据预处理，即先进行时间对齐，后取同一个接收设备上两根天线的CSI进行相除后得到相位矫正后的数据。使用SG滤波对数据在复平面上的复数序列进行平滑降噪。分别计算每对接收设备上的CSI商动态成分相位变化，求出相对的反射路径变化。计算DPV、MRV和细粒度特征。利用多层识别模型框架识别该手势，成功识别为手写数字‘3’。

需要注意的是，公布实施例的目的在于帮助进一步理解本发明，但是本领域的技术人员可以理解：在不脱离本发明及所附权利要求的范围内，各种替换和修改都是可能的。因此，本发明不应局限于实施例所公开的内容，本发明要求保护的范围以权利要求书界定的范围为准。

Claims (3)

1.一种基于无线射频信号的手势识别方法，使用一台信号发射端Tx和两台信号接收端Rx1、Rx2，信号发射端与信号接收端的连线不平行；信号采用OFDM调制；手势识别区域为Tx-Rx1和Tx-Rx2所围成的区域内部平面；利用无线通讯中信道状态信息CSI的变化估算手在移动的过程中的瞬时相对方向，实现位置和朝向以及书写大小无关的鲁棒、高精度手势识别，且无需传感设备；

包括如下步骤：

1)信号发射端发射无线射频信号，两个信号接收端分别采集到CSI数据流；

2)以手为参考系构建特征，包括动态相位向量DPV、运动旋转变量MRV和细粒度特征；

a)构建动态相位向量DPV，建立信号相位变化与手移动的反射路径变化的对应关系；

通过测量旋转角度，估计得到单位时间内手相对于收发设备对的反射路径变化；

通过计算手部运动起始点与移动轨迹上每个时间步的每个点的水平轴之间的相位变化，构建DPV，建立动态相位序列；表示为式1：

式中，

为在t_k时刻的动态相位；t_k为第k个时刻；k∈[1,n]；

和

分别表示两个信号收发设备对的CSI商的相位；

采用式5表示动态相位向量DPV：

b)构建运动旋转变量MRV；

通过计算相邻采样点在一定时间内的角度变化构建MRV，表示为：

其中，

和

分别表示Tx-Rx1和Tx-Rx2相邻采样点的角度变化；

c)构建细粒度特征；

根据要识别的具体手势集构建具有针对性的细粒度特征，包括：手相对于链路Tx-Rx1的速度、手相对于链路Tx-Rx1的位移方向；

3)设计改进的多层识别模型框架，采用分层递阶式方法进行手势识别；包括：

对采集的多种手势，使用步骤2)的方法构建得到对应的DPV和MRV特征，分别作为手势DPV标准模板和手势MRV标准模板；

针对待识别手势，使用步骤2)的方法构建对应的DPV特征、MRV特征和细粒度特征；

将待识别手势的特征嵌入到改进的多层识别模型框架中；

在多层识别模型框架的第一层中，使用动态时间规整DTW方法计算待识别手势与手势DPV标准模板中各手势之间的DPV特征相似度，选取最高DPV特征相似度对应的手势DPV标准模板中的手势作为待识别的手势的类别标签；如果待识别的手势的类别标签为0、1、3、7或8，则结束识别；如果待识别的手势的类别标签为2、4、5、6或9，则进入多层识别模型框架的第二层进一步进行分类；

在多层识别模型框架的第二层中，使用动态时间规整DTW方法计算待识别手势与手势MRV标准模板中各手势之间的MRV特征相似度，选取最高MRV特征相似度对应的手势MRV标准模板中的手势作为该手势的类别标签；如果待识别的手势的类别标签为2、4或6，则结束识别；如果待识别的手势的类别标签为5或9，则进入多层识别模型框架的第三层进一步进行分类；

在多层识别模型框架的第三层中，利用具有针对性的细粒度特征，识别得到无法被DPV和MRV区分开的手势5或9；

通过上述步骤，实现基于无线射频信号的手势识别。

2.如权利要求1所述基于无线射频信号的手势识别方法，其特征是，只需通过WiFi为每个手势采集一次CSI作为训练样本。

3.如权利要求1所述基于无线射频信号的手势识别方法，其特征是，通过对同一接收设备上两根天线的CSI数值进行相除操作，去除相位偏移和脉冲噪声，得到的信噪比更高的信号即为CSI商。

Images