CN114594857A - 一种利用无线射频信号识别空中手势的方法 - Google Patents
一种利用无线射频信号识别空中手势的方法 Download PDFInfo
- Publication number
- CN114594857A CN114594857A CN202210174907.4A CN202210174907A CN114594857A CN 114594857 A CN114594857 A CN 114594857A CN 202210174907 A CN202210174907 A CN 202210174907A CN 114594857 A CN114594857 A CN 114594857A
- Authority
- CN
- China
- Prior art keywords
- csi
- quotient
- sequence
- signal
- gesture
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 49
- 230000008859 change Effects 0.000 claims abstract description 72
- 230000009471 action Effects 0.000 claims abstract description 19
- 230000006854 communication Effects 0.000 claims abstract description 18
- 238000004891 communication Methods 0.000 claims abstract description 15
- 238000001228 spectrum Methods 0.000 claims description 46
- 230000008447 perception Effects 0.000 claims description 32
- 238000005070 sampling Methods 0.000 claims description 10
- 108010076504 Protein Sorting Signals Proteins 0.000 claims description 9
- 238000000819 phase cycle Methods 0.000 claims description 8
- 230000008569 process Effects 0.000 claims description 8
- 238000012545 processing Methods 0.000 claims description 8
- 238000001914 filtration Methods 0.000 claims description 5
- 238000007781 pre-processing Methods 0.000 claims description 5
- 230000006870 function Effects 0.000 claims description 4
- 238000000513 principal component analysis Methods 0.000 claims description 3
- 230000000694 effects Effects 0.000 description 14
- 238000005516 engineering process Methods 0.000 description 9
- 239000000969 carrier Substances 0.000 description 5
- 238000010586 diagram Methods 0.000 description 4
- 230000007613 environmental effect Effects 0.000 description 4
- 230000003993 interaction Effects 0.000 description 4
- 230000000903 blocking effect Effects 0.000 description 3
- 239000000284 extract Substances 0.000 description 2
- 238000013507 mapping Methods 0.000 description 2
- 230000006855 networking Effects 0.000 description 2
- 230000002238 attenuated effect Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 230000005057 finger movement Effects 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000000704 physical effect Effects 0.000 description 1
- 238000011895 specific detection Methods 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 238000012706 support-vector machine Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
Landscapes
- Engineering & Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- User Interface Of Digital Computer (AREA)
Abstract
本发明公布了一种利用无线射频信号识别空中手势的方法，发射装置Tx和两个接收装置Rx均设置两根天线，装置之间没有阻挡；手在由发射装置Tx和两个接收装置Rx构成的平面上移动做空中手势行为，无需佩戴任何设备；利用手部移动对无线射频信号产生的扰动，通过测量通信链路上的信道状态信息变化，感知并识别不同的空中手势。本发明利用无线电设备通信过程中测量的信道状态信息CSI的变化来检测空中手部动作识别手势动作，可应用于现有的无线通讯设备上，无需额外配置专用的传感设备或生成专用的感知信号，能克服复杂电磁环境中感知信号质量变化对识别结果的负面影响，从而能更自然且更鲁棒地识别各类手势动作。
Description
技术领域
本发明涉及无线电通信及无传感器感知技术，尤其涉及一种利用无线射频信号识别空中手势的方法，是一种无需专用传感器，基于已有通信设备的感知技术，利用无线电射频信号检测并识别手部(包括手或者单个手指)在空中移动手势行为的方法。
背景技术
手势交互是一种重要的人机交互方式，快速准确的手势识别可以使得人和机器之间能够更加自然高效的交互，为很多应用提供支撑。根据设备部署方式的差异，现有的手势识别技术可以分为接触式和非接触式两类。
接触式手势识别方法要求用户手势或在身体其它部位穿戴固定的传感设备。这类方法好处是可以实现较为精准的手势识别，但其过于依赖专用的传感设备，而且接触式的感知方式在一定程度上限制了手势活动的自然性和舒适性[1]。其中，基于视觉和声波的手势识别方法需要使用专用的传感，而且也会涉及用户的隐私，极大的限制了其实用性[2-4]。
与上述接触式手势识别方法相比，非接触式的手势识别方法不需要用户手持或佩戴任何传感设备，其非侵扰的特征使得整个感知过程能够在自然状态下完成。根据传感信号种类的不同，非接触手势识别系统包括基于声波，雷达以及WiFi等方式。基于声波的手势识别方法使用一个或多个扬声器和麦克风对手势位置进行感知。如LLAP[5]使用连续声波信号中的相位变化来进行手势移动追踪。FingerIO[6]则发送专门调制的OFDM信号。基于雷达的手势识别系统同样能够对手部运动进行识别。如Google Soli[7]使用60Hz专用设备来获取手势运动的多普勒信息，且能得到较高的识别精度。
以上各类技术均需要依赖于专用硬件设备，利用一种或多种传感器对手部移动进行追踪，场景适用有限，软硬件成本较高，专用设备如RFID、雷达等并不适合普通家用环境。基于声波的感知技术受限于声波在空中传播会严重衰减的现象,感知范围较小；且容易受到环境中其它声音的干扰。
基于无线射频信号(如WiFi)的感知方法利用设备在通讯过程产生的正常通讯信号来感知手势活动。由于无线射频设备(如WiFi路由器)在室内环境中的广泛部署，这类系统有着低成本和普适性等优势，无需配置专用的设备即可实现自然的手势识别。
现有基于手势识别的方法，大部分对于同一个手势动作的输入信号(信道状态信息)序列整体进行预处理(如低通滤波，SG滤波)来降噪，在得到预处理后的信号后再提取相应的特征(如多普勒速度等)进行手势动作的识别和分类。如清华大学刘云浩团队从WiFi信号中获得的多普勒速度，提取更高层次的手势运动信息,并结合深度学习方法实现了手势识别系统Widar3.0[8]。北京大学张大庆团队基于其提出的CSI商模型，提出了细粒度手指移动追踪系统FingerDraw，使用商用WiFi设备的信号重构出手指在空中写字的轨迹[9]，从而识别不同手势。
然而在感知过程中，接收的射频信号不仅受手势活动的影响，还容易受到复杂电磁环境中噪声的影响。当同一个手势动作中的不同片段相对收发端的位置朝向不同时，手势活动对应信号和噪声信号相对关系随之变化，信号感知质量也随之不同。从感知质量较差的片段里提取出的手势识别特征容易被噪声混淆，很难较好地对应真实的手势活动。以往基于无线射频信号的手势识别方法无法克服感知质量差异性的负面影响，导致无法保证鲁棒地识别各类空中手势。
综上所述，目前基于传感器的手势识别技术在理想情况下可达到较好的精度，但大多需要专用设备，成本较高，存在一定的应用局限。而已有利用射频信号的无传感器手势识别技术容易受到环境噪声的影响，信号感知质量不够稳定，感知效果不够鲁棒。目前尚未出现能够不使用传感器，仅利用室内已有的通讯设施且能克服不同信号感知质量对应负面影响的手势识别方案。
【1】Liwei Chan,Rong-Hao Liang,Ming-Chang Tsai,Kai-Yin Cheng,Chao-HuaiSu,Mike Y Chen,Wen-Huang Cheng,and Bing-Yu Chen.2013.FingerPad:private andsubtle interaction using fingertips.In Proceedings of the 26th annual ACMsymposium on User interface software and technology.ACM,255–260
【2】Chao Sun,Tianzhu Zhang,and Changsheng Xu.2015.Latent supportvector machine modeling for sign language recognition with Kinect.ACMTransactions on Intelligent Systems and Technology(TIST)6,2(2015),20
【3】Wei Wang,Alex X Liu,and Ke Sun.2016.Device-free gesture trackingusing acoustic signals.In Proceedings of the 22nd Annual InternationalConference on Mobile Computing and Networking.ACM,82–94.
【4】Rajalakshmi Nandakumar,Vikram Iyer,Desney Tan,and ShyamnathGollakota.2016.Fingerio:Using active sonar for fine-grained fingertracking.In Proceedings of the 2016CHI Conference on Human Factors inComputing Systems.ACM,1515–1525.
【5】Wei Wang,Alex X Liu,and Ke Sun.2016.Device-free gesture trackingusing acoustic signals.In Proceedings of the 22nd Annual InternationalConference on Mobile Computing and Networking.ACM,82–94.
【6】A.Virmani,M.Shahzad.Position and orientation agnostic gesturerecognition using WiFi.In Proceedings of ACM MobiSys,2017:252-264.
【7】Google.[n.d.].Project Soli.https://www.youtube.com/watch？v＝_Zj5KisMVv8.Accessed Feb 4,2019.
【8】Y.Zheng,Y.Zhang,K.Qian,et al.Zero-effort cross-domain gesturerecognition with Wi-Fi.In Proceedings of ACM MobiSys,2019:313-325.
【9】Dan Wu,Ruiyang Gao,Youwei Zeng,Jinyi Liu,Leye Wang,Tao Gu,andDaqing Zhang.2020.FingerDraw:Sub-wavelength Level Finger Motion Tracking withWiFi Signals.Proc.ACM Interact.Mob.Wearable Ubiquitous Technol.4,1,Article 31(March 2020),27pages.
发明内容
为了克服上述现有技术的不足，本发明提供一种新的利用无线射频信号识别空中手势的方法，利用无线电设备通信过程中测量的信道状态信息(Channel StateInformation,CSI)的变化来检测空中手部动作识别手势动作。本发明可应用于现有的无线通讯设备上，无需额外配置专用的传感设备或生成专用的感知信号，能克服复杂电磁环境中感知信号质量变化对识别结果的负面影响，从而能更自然且更鲁棒地识别各类手势动作。
本发明的基本原理是：信号在环境空间中沿着多条路径从发射端传播到接收端。在此过程中，用户手部动作对应的一次反射路径变化，其它多次反射路径变化以及热噪声均会导致接收端信号的变化。其中，只有用户手部动作对应的一次反射路径变化部分对应手势动作，记为手势信号。其它信号变化部分和手势动作无关，记为环境噪声。其它不导致接收信号变化的部分则为静态成分。当手部移动时，手势信号的反射路径长度不断变化。反射路径长度每变化一个波长，手势信号的相位变化2pi。由于手势信号的相位变化对应手势相对收发设备的多普勒速度。通过部署2对不平行收发装置可以根据2个接收端上的手势信号求得2个不同方向上的多普勒速度，从而计算出手在每个时刻的方向变化。根据不同的方向变化模式来识别不同的空中手势动作。
本发明提供的技术方案如下：
一种利用无线射频信号识别空中手势的方法，布置一个发射装置和两个接收装置，每个装置布置两根天线，装置之间没有阻挡；手在由一个发射装置Tx和两个接收装置Rx构成的平面上移动做空中手势行为，无需佩戴任何设备；利用手部移动对无线射频信号产生的扰动，通过测量通信链路上的信道状态信息变化，感知并识别不同的空中手势；包括如下步骤：
1)获取信道状态信息(CSI)和进行预处理，得到随时间均匀CSI商信号序列：
1a.Tx发射无线射频信号，两个Rx分别采集CSI信息；每一对Tx-Rx上都会产生CSI数据，完整的CSI信息流包括2根天线多个OFDM子载波上的CSI时间序列，可随着无线数据通信正常发送。
1b.将同一接收装置2根天线上的同一子载波上的CSI数据分别进行相除，形成新的复数形式CSI商时间序列。
1c.对处理后得到含有时间戳的CSI商时间序列进行插值，形成采样率均匀的CSI商信号序列。
2)测量信号感知质量，得到CSI商序列信号感知质量指标的值；
2a.对步骤1)得到的CSI商信号序列中的每一个CSI商信号，以其为中心，沿着时间维度从CSI商信号序列中取出一段设定窗口长度的CSI商信号，得到的所有CSI商信号窗口组成CSI商信号窗口序列；
2b.对2a中得到的CSI商信号窗口序列中的每一个CSI商信号窗口，设该窗口中所有CSI商信号的实部组成时间窗口X，该窗口中所有CSI商信号的虚部组成时间窗口Y，将窗口X和窗口Y构造为二维时间窗口(X，Y)，使用主成分分析(Principal componentanalysis)算法计算出(X，Y)在二维空间中投影方差最大的方向，该方向即为该CSI商信号窗口中所有CSI商在复平面上所形成的圆弧轨迹的切线方向。CSI商信号窗口序列中所有CSI商信号窗口对应的圆弧轨迹切线方向组成切线方向序列；
2c.对2a中得到的CSI商信号窗口序列中的每一个CSI商信号窗口，对其沿时间维度取差分，得到CSI商差分窗口，参考2b中同样的方法利用CSI商差分窗口的实部和虚部构造二维时间窗口(X’，Y’)并在2b中得到的切线方向序列中找到该CSI商信号窗口对应的切线方向,然后将窗口(X’，Y’)中的每个点投影到该切线方向上，每个CSI商差分沿该切线方向的投影即对应着该CSI商差分在圆弧轨迹中的动态相位变化，即得到动态相位变化窗口。所有CSI商信号窗口对应的动态相位变化窗口组成动态相位变化窗口序列；
2d.对2c中得到的动态相位变化窗口序列中的每一个动态相位变化窗口，计算窗口内所有动态相位变化值的均值和方差，并进一步计算该均值的平方与该方差的比值，作为度量该动态相位变化窗口所对应的CSI商信号窗口中心处CSI商信号的感知质量指标。所有的动态相位变化窗口对应的信号感知质量指标组成CSI商序列对应的信号感知质量指标序列；
3)对手势多普勒速度谱进行估计；
3a.根据步骤2)得到的CSI商序列对应的感知质量指标如图3所示，我们对不同的CSI商序列做不同的处理。首先我们确定一个使得总体分类误差最小的感知质量阈值为0.01，高于该阈值的CSI商序列视为高感知质量信号，低于阈值的CSI商序列视为低感知质量信号。
3b.对于高感知质量信号,我们分别在该CSI商序列的30个载波上计算动态相位变化。具体来说，对复平面上CSI商的时间序列前后相减计算两个采样点的向量差，形成复数形式的CSI商差分时间序列。对该时间序列计算其相位值作为动态相位序列,再对动态相位序列计算差分得到动态相位变化序列。每个载波上均可以计算出动态相位变化序列。对30个载波计算平均值，最后得到平均后的动态相位变化序列。
3c.对于低感知质量的信号，我们将此时的动态相位变化序列置为0.
3d.最后将不同感知质量信号对应的动态相位变化序列拼接一起后进行中值滤波，输出滤波后的动态相位序列。从2个Rx上可以获得2组动态相位变化序列。根据动态相位变化序列求出手势活动的多普勒速度谱，2个Rx上可以获得2组多普勒速度谱。。
4)生成手势方向谱；
4a.将从两对收发端上获取的多普勒速度进行相除操作，得到多普勒速度的比值。
4b.对得到速度比值进行arctan函数操作，即得到手势方向谱。
5)手势方向谱匹配；
5a.同时对于每一个预定义的手势，只需要提前做一次该手势动作，根据上述方法，计算出对应的手势方向谱做为参考方向谱，整个过程只需要采集一次手势数据。
5b.对于用户做的每个手势动作，计算其手势方向谱，与已有的参考方向谱通过DTW(Dynamic Time Warping,动态时间规整)算法进行匹配，如果匹配成功，则成功识别该手势。
与现有技术相比，本发明的有益效果是：
本发明提供一种无线手势感知的方法，利用无线射频信号检测和识别用户在空中的手势动作。利用手部移动对无线信号产生的扰动，通过测量多天线上无线信道状态信息，并实时计算其对应的感知质量，对不同感知质量的信号分别处理后提取出手势活动对应的动态相位变化序列，生成能够反映手势物理动作的特征序列，形成手势动作与信号波动模式的一一映射。
采用本发明技术方案识别空中手势无需使用专用传感器，利用已有的无线通讯设备上采集的CSI数值，无需额外的硬件设备，节约成本；发送设备和接收设备之间无需时钟同步，能够使用大多数常见的通讯设备(如WiFi，LTE，4G)进行感知，适用范围广；不要求设备以特定的角度和位置摆放，可以实时连续运行，方便实用。
本发明技术方案提出一种有效的指标根据信号感知质量对不同信号片段分开处理，对于感知质量好的信号片段进一步增强其感知效果，对于感知质量差的信号片段利用先验知识估计动态相位变化，从而克服感知质量不同对手势识别的负面效果，实现更鲁棒的手势识别效果，对于识别0-9数字手势集，准确率高达95.4％，优于现有的技术方案。
附图说明
图1为本发明实施例中无线电设备放置示意图；
其中，发射设备可采用WiFi路由器或无线接入点AP；Rx1和Rx2均为接收设备。
图2为采用本发明方法识别空中手势的计算流程框图。
图3为本发明实施例中计算出的感知信号质量指标示意图；
图4为本发明实施例中的数字手势‘5’轨迹以及对应手势方向谱示意图。
具体实施方式
下面结合附图，通过实施例进一步描述本发明，但不以任何方式限制本发明的范围。
在手势识别过程中，手势信号和环境噪声的相对关系决定了信号的实际感知质量。当手势信号在接收信号中占主导时，接收信号的感知质量较好，可以直接用于手势识别。当环境噪声在接收信号中占主导时，接收信号的感知质量差，无法直接用于手势识别。不同信号质量影响手势识别的鲁棒性。
为了避免不同信号质量对手势鲁棒性的影响，本发明首先提出一种新的度量来量化输入信号的感知质量。具体来说，我们将环境噪声在复平面上建模为二维各向同性正态分布，在一段时间窗口内，环境噪声对接收信号的影响可以由接收信号相位变化的方差来刻画，手势信号对接收信号的影响可以由接收信号相位变化的期望来刻画。通过计算接收信号相位方差和期望的比值，我们可以实时精准地刻画信号的感知质量，并根据感知质量进一步将输入CSI分为有效信号(手势信号占主导)以及无效信号(环境噪声占主导)两类。
如图1所示，对于感知质量较高的有效信号，我们利用CSI中的多载波信息进行叠加组合，进一步增强手势信号在接收信号中的占比，从增强后的信号提取对应手势运动的多普勒速度谱。对于感知质量较差的无效信号，我们丢弃此时的信号片段，推断此时手势动作一般沿着平行收发设备对应的菲涅尔区运动，此时手势的多普勒速度近似接近0，故直接将此刻的多普勒速度谱置为0。经过这一层处理，最终系统能克服感知信号质量的负面影响，从而能够鲁棒地获得手势活动精确的多普勒速度谱，在此基础上实现鲁棒手势识别。
本发明提供的利用无线射频信号检测并识别手势的方法，具体实施时，如附图1布置一个发射装置和两个接收装置，每个设备布置两根天线，装置之间没有阻挡。利用手部移动对无线射频信号产生的扰动，通过测量通信链路上的信道状态信息变化，感知并识别不同的空中手势。实施时，用户手在由一个发射设备Tx(WiFi路由器或无线接入点AP)和两个接收设备Rx(个人电脑或智能手机等)构成的平面上移动做空中手势行为，无需佩戴任何设备。设备感知信号使用OFDM调制，能够返回信道状态信息(CSI)。识别时无需知道收发设备的确切位置，仅要求Tx-Rx间没有阻挡，Tx-Rx1和Tx-Rx2连线夹角尽量保持垂直。
本发明提供的利用无线射频信号识别手势的方法包括如下步骤：
1)信道状态信息(CSI)获取以及预处理：
a.Tx发射无线射频信号，在两个Rx端分别采集CSI信息，最后汇总到处理端。每一对Tx-Rx上都会产生CSI数据，完整的CSI信息流包括2根天线多个OFDM子载波上的CSI时间序列，可随着无线数据通信正常发送。
b.对于同一接收设备2根天线上的CSI数据进行相除，形成新的复数形式CSI商时间序列。
c.对处理后到含有时间戳的CSI商时间序列插值，形成随采样率均匀CSI商信号序列。
2)信号感知质量测量
a.对于输入的CSI商序列中的每一点，以其为中心点从CSI商序列中取出一段一定长度的窗口数据
b.将窗口中的CSI商的实部和虚部视为窗口数据两个的维度。使用PCA算法计算窗口数据在这两个维度上的最大投影方差方向
c.对CSI商窗口内的数据取差分，将差分后的窗口数据在相应的维度投影到b)中计算出的最大投影方差方向上
d.对c)中得到的经过差分、投影后的实数窗口，沿时间维度计算其方差和均值，并最终计算该均值的平方比上该方差的值，作为度量原序列中该窗口中心点处信号质量的指标。计算出的信号质量指标如附图3所示。
3)手势多普勒速度谱估计
a.根据对应的感知质量，我们对不同的CSI商序列做不同的处理。首先我们确定一个使得总体分类误差最小的感知质量阈值为0.01，高于阈值的CSI商序列视为高感知质量信号，低于阈值的CSI商序列视为低感知质量信号。
b.对于高感知质量信号,我们分别在其30个载波上计算动态相位变化。具体来说，对复平面上CSI商的时间序列前后相减计算两个采样点的向量差，形成复数形式的CSI商差分时间序列。对该时间序列计算其相位值作为动态相位序列，再对动态相位序列计算差分得到动态相位变化序列。每个载波上均可以计算出动态相位变化序列。对30个载波计算平均值最后得到优化后的动态相位变化序列。
c.对于低感知质量的信号，我们将此时的动态相位变化序列置为0.
d.最后将不同感知质量信号对应的动态相位变化序列拼接一起后进行中值滤波后，输出优化后的动态相位序列。从2个Rx上可以获得2组动态相位变化序列。动态相位变化可以直接映射为反射路径变化。
4)手势方向谱生成
a.把对于每对设备的反射路径变化直接映射为对于该对收发设备LoS中垂线方向的速度分量。虽然实际上反射路径变化和手势分速度之间存在不固定的比例关系，但是后续仅需要分速度之比，故直接进行映射不影响后续手势识别。
b.将从两对收发端上获取的多普勒速度谱进行相除操作。具体地，将附图1中Rx2上估计的多普勒速度谱作为分子，Rx1上获取的多普勒速度谱作为分母。
c.为了避免分母上速度值非常小，以至于后比值取得一个极大值，对最后结果进行arctan函数操作，最后得到手势的方向谱。
5)手势方向谱匹配与识别
e.同时对于每一个预定义的手势，只需要提前做一次该手势动作，根据上述方法，计算出对应的手势方向谱做为参考方向谱，整个过程只需要采集一次手势数据。
f.对于用户做的每个手势动作，计算其手势方向谱，与已有的参考方向谱通过DTW(Dynamic Time Warping,动态时间规整)算法进行匹配，如果匹配成功，则成功识别该手势。
以下实例利用WiFi信号来识别用户手势，将配置在5GHz频段工作搭载全向天线支持802.11n协议的路由器作为发射设备。同时将配置了Intel 5300系列网卡安装了2根全向接收天线的mini PC作为接收设备。接收端上运行华盛顿大学开发的Linux CSI tools从网卡上获取CSI。每个天线上都有CSI信息，包括经过OFDM调频后生成的30个子载波的信息。
在本实例中以识别空中写数字‘5’为例。在具体检测手势时，将路由器Tx上的天线水平于地面放置。同理将两个接收设备Rx1和Rx2的天线水平于地面放置。注意摆放过程中应避免Tx-Rx1，Tx-Rx2的连线平行，除此之外对设备位置摆放没有精确要求。
在Rx1及Rx2上连续采集CSI数据，并通过WiFi网络传送到一台PC集中处理。
在WiFi路由器端产生适量的数据通讯，以达到某个固定的CSI采样率，在本实例中将采样率设置为400Hz。
用户在Tx-Rx1,Tx-Rx2两条连线构成的平面上以任意角度手写数字‘5’。
进行CSI数据预处理，即先进行时间对齐，后取同一个接收设备上两根天线的CSI进行相除后得到相位矫正后的CSI商。
首先估计用于感知的CSI商感知质量指标。根据感知质量不同分为高感知质量信号和低感知质量信号两类。对于高感知质量信号片段，计算其30个载波上的平均动态相位变化信息。对于低感知质量信号片段，将对应的动态相位变化置为0.
根据每对接收设备上的动态成分相位变化，求出相对的反射路径变化，对应求出手势在每个接收装置Rx上的多普勒速度谱。
用Rx2的多普勒速度除以Rx1的多普勒速度，之后再应用上arctan函数，求得手势方向谱，见图4。生成的手势特征序列匹配上已有的参考角度谱，成功识别该手势为手写数字‘5’。
需要注意的是，公布实施例的目的在于帮助进一步理解本发明，但是本领域的技术人员可以理解：在不脱离本发明及所附权利要求的范围内，各种替换和修改都是可能的。因此，本发明不应局限于实施例所公开的内容，本发明要求保护的范围以权利要求书界定的范围为准。
Claims (10)
1.一种利用无线射频信号识别空中手势的方法，发射装置Tx和两个接收装置Rx均设置两根天线；手在由发射装置Tx和两个接收装置Rx构成的平面上移动做空中手势行为，无需佩戴任何设备；利用手部移动对无线射频信号产生的扰动，通过测量通信链路上的信道状态信息变化，感知并识别不同的空中手势；包括如下步骤：
1)获取信道状态信息CSI并进行预处理，得到采样率均匀的CSI商信号序列；
2)测量信号感知质量，得到CSI商序列信号感知质量指标的值；具体是：
计算动态相位变化窗口序列中的每一个动态相位变化窗口内所有动态相位变化值的均值和方差，并进一步计算该均值的平方与该方差的比值，作为度量该动态相位变化窗口所对应的CSI商信号窗口中心处CSI商信号的感知质量指标；
所有动态相位变化窗口对应的信号感知质量指标组成CSI商序列对应的信号感知质量指标序列；
3)根据步骤2)得到的CSI商序列对应的感知质量指标，对手势多普勒速度谱进行估计；
包括：将CSI商序列分类为高感知质量信号和低感知质量信号，计算动态相位变化序列并可进行优化；再根据动态相位变化序列求得手势活动的多普勒速度谱；
4)根据两对收发端上获取的多普勒速度谱，生成手势方向谱；
5)对于每一个待识别的手势计算其手势方向谱，并将其与参考方向谱进行手势方向谱的匹配；
通过上述步骤，即可实现利用无线射频信号识别空中手势。
2.如权利要求1所述利用无线射频信号识别空中手势的方法，其特征是，步骤1)包括如下过程：
1a.Tx发射无线射频信号，两个Rx分别采集CSI信息；每一对Tx-Rx上均产生包括两根天线多个OFDM子载波上的CSI时间序列数据，可随着无线数据通信收发；
1b.将同一接收装置的两根天线上的同一子载波上的CSI数据分别进行相除，形成新的复数形式CSI商时间序列；
1c.对处理后得到含有时间戳的CSI商时间序列进行插值，形成采样率均匀的CSI商信号序列。
3.如权利要求1所述利用无线射频信号识别空中手势的方法，其特征是，步骤2)测量信号感知质量包括如下过程：
2a.以步骤1)得到的CSI商信号序列中的每一个CSI商信号为中心，沿着时间维度从CSI商信号序列中取出一段设定窗口长度的CSI商信号；将得到的所有CSI商信号窗口组成CSI商信号窗口序列；
2b.对2a中得到的CSI商信号窗口序列中的每一个CSI商信号窗口，设该窗口中所有CSI商信号的实部组成时间窗口X，该窗口中所有CSI商信号的虚部组成时间窗口Y；将窗口X和窗口Y构造为二维时间窗口(X，Y)，计算出(X，Y)在二维空间中投影方差最大的方向，该方向即为该CSI商信号窗口中所有CSI商在复平面上所形成的圆弧轨迹的切线方向；CSI商信号窗口序列中所有CSI商信号窗口对应的圆弧轨迹切线方向组成切线方向序列；
2c.对2a中得到的CSI商信号窗口序列中的每一个CSI商信号窗口，沿时间维度取差分，得到CSI商差分窗口；
利用CSI商差分窗口的实部和虚部构造二维时间窗口(X’，Y’),并在2b中得到的切线方向序列中找到该CSI商信号窗口对应的切线方向；
再将窗口(X’，Y’)中的每个点投影到该切线方向上，每个CSI商差分沿该切线方向的投影对应该CSI商差分在圆弧轨迹中的动态相位变化，即得到动态相位变化窗口；
所有CSI商信号窗口对应的动态相位变化窗口组成动态相位变化窗口序列；
2d.对2c中得到的动态相位变化窗口序列中的每一个动态相位变化窗口，计算窗口内所有动态相位变化值的均值和方差，并进一步计算该均值的平方与该方差的比值，作为度量该动态相位变化窗口所对应的CSI商信号窗口中心处CSI商信号的感知质量指标；
所有的动态相位变化窗口对应的信号感知质量指标组成CSI商序列对应的信号感知质量指标序列。
4.如权利要求3所述利用无线射频信号识别空中手势的方法，其特征是，步骤2b中，具体是采用主成分分析算法计算得到(X，Y)在二维空间中投影方差最大的方向，即CSI商信号窗口中所有CSI商在复平面上所形成的圆弧轨迹的切线方向。
5.如权利要求1所述利用无线射频信号识别空中手势的方法，其特征是，步骤3)对手势多普勒速度谱进行估计，包括如下过程：
3a.根据CSI商序列对应的感知质量指标值，通过设定一个使得总体分类误差最小的感知质量阈值，将CSI商序列分类为高感知质量信号和低感知质量信号；
3b.对于高感知质量信号，在CSI商序列的载波上分别计算得到动态相位变化序列；并可通过计算平均值得到平均后的动态相位变化序列；
3c.对于低感知质量的信号，将动态相位变化序列置为0；
3d.将不同感知质量信号对应的动态相位变化序列拼接后进行中值滤波，输出滤波后的动态相位变化序列；根据动态相位变化序列求出手势活动的多普勒速度谱；
从两个Rx上获得两组动态相位变化序列和两组多普勒速度谱。
6.如权利要求5所述利用无线射频信号识别空中手势的方法，其特征是，步骤3a中，将感知质量阈值设置为0.01。
7.如权利要求5所述利用无线射频信号识别空中手势的方法，其特征是，步骤3b中，具体是对复平面上CSI商的时间序列前后相减计算得到两个采样点的向量差，形成复数形式的CSI商差分时间序列；对该时间序列计算其相位值作为动态相位序列，再对动态相位序列计算差分得到动态相位变化序列；每个载波上均计算得到动态相位变化序列。
8.如权利要求1所述利用无线射频信号识别空中手势的方法，其特征是，步骤4)生成手势方向谱，具体是：先将从两对收发端上获取的多普勒速度进行相除操作，得到多普勒速度的比值；再对得到速度比值进行arctan函数操作，即得到手势方向谱。
9.如权利要求1所述利用无线射频信号识别空中手势的方法，其特征是，步骤5)中，具体是将对每一个预定义的手势计算得到的手势方向谱作为参考方向谱。
10.如权利要求1所述利用无线射频信号识别空中手势的方法，其特征是，步骤5)中，具体是通过动态时间规整算法DTW，将待识别的手势动作计算得到的手势方向谱与参考方向谱进行手势方向谱的匹配；若匹配成功，表示成功识别待识别的手势。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210174907.4A CN114594857B (zh) | 2022-02-24 | 2022-02-24 | 一种利用无线射频信号识别空中手势的方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210174907.4A CN114594857B (zh) | 2022-02-24 | 2022-02-24 | 一种利用无线射频信号识别空中手势的方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN114594857A true CN114594857A (zh) | 2022-06-07 |
| CN114594857B CN114594857B (zh) | 2023-11-21 |
Family
ID=81805475
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210174907.4A Active CN114594857B (zh) | 2022-02-24 | 2022-02-24 | 一种利用无线射频信号识别空中手势的方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114594857B (zh) |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105744434A (zh) * | 2016-02-25 | 2016-07-06 | 深圳市广懋创新科技有限公司 | 一种基于手势识别的智能音箱控制方法及系统 |
| DE202017105261U1 (de) * | 2016-12-05 | 2018-03-08 | Google LLC (n.d.Ges.d. Staates Delaware) | Gleichzeitige Erkennung von absoluter Distanz und relativer Bewegung zum Erfassen von Aktionsgesten |
| US20180120420A1 (en) * | 2015-04-20 | 2018-05-03 | Resmed Sensor Technologies Limited | Gesture recognition with sensors |
| CN110069134A (zh) * | 2019-03-29 | 2019-07-30 | 北京大学 | 一种利用无线电射频信号还原手部空中移动轨迹的方法 |
| US20200011968A1 (en) * | 2017-03-03 | 2020-01-09 | Iee International Electronics & Engineering S.A. | Method and system for obtaining an adaptive angle-doppler ambiguity function in mimo radars |
-
2022
- 2022-02-24 CN CN202210174907.4A patent/CN114594857B/zh active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20180120420A1 (en) * | 2015-04-20 | 2018-05-03 | Resmed Sensor Technologies Limited | Gesture recognition with sensors |
| CN105744434A (zh) * | 2016-02-25 | 2016-07-06 | 深圳市广懋创新科技有限公司 | 一种基于手势识别的智能音箱控制方法及系统 |
| DE202017105261U1 (de) * | 2016-12-05 | 2018-03-08 | Google LLC (n.d.Ges.d. Staates Delaware) | Gleichzeitige Erkennung von absoluter Distanz und relativer Bewegung zum Erfassen von Aktionsgesten |
| US20200011968A1 (en) * | 2017-03-03 | 2020-01-09 | Iee International Electronics & Engineering S.A. | Method and system for obtaining an adaptive angle-doppler ambiguity function in mimo radars |
| CN110069134A (zh) * | 2019-03-29 | 2019-07-30 | 北京大学 | 一种利用无线电射频信号还原手部空中移动轨迹的方法 |
Non-Patent Citations (2)
| Title |
|---|
| 王旋;方河川;常俪琼;王举;陈晓江;房鼎益;彭瑶;陈峰;: "基于RFID的免携带设备手势识别关键技术研究", 计算机研究与发展, no. 12 * |
| 王钰翔;李晟洁;王皓;马钧轶;王亚沙;张大庆;: "基于Wi-Fi的非接触式行为识别研究综述", 浙江大学学报(工学版), no. 04 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN114594857B (zh) | 2023-11-21 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Wu et al. | FingerDraw: Sub-wavelength level finger motion tracking with WiFi signals | |
| Ma et al. | WiFi sensing with channel state information: A survey | |
| Wu et al. | Device-free WiFi human sensing: From pattern-based to model-based approaches | |
| Li et al. | WiFinger: Talk to your smart devices with finger-grained gesture | |
| Wang et al. | Push the limit of acoustic gesture recognition | |
| Yu et al. | QGesture: Quantifying gesture distance and direction with WiFi signals | |
| Xu et al. | WiStep: Device-free step counting with WiFi signals | |
| CN110069134B (zh) | 一种利用无线电射频信号还原手部空中移动轨迹的方法 | |
| Li et al. | FM-track: pushing the limits of contactless multi-target tracking using acoustic signals | |
| Gao et al. | Towards robust gesture recognition by characterizing the sensing quality of WiFi signals | |
| CN106154222A (zh) | 一种利用无线电射频信号检测人的行走方向的方法 | |
| Wang et al. | CSI-based human sensing using model-based approaches: a survey | |
| US11487363B2 (en) | Gesture detection in interspersed radar and network traffic signals | |
| Fang et al. | Eyefi: Fast human identification through vision and wifi-based trajectory matching | |
| Chen et al. | Cross-domain wifi sensing with channel state information: A survey | |
| Wang et al. | WiTrace: Centimeter-level passive gesture tracking using WiFi signals | |
| Zhu et al. | WiseFi: Activity localization and recognition on commodity off-the-shelf WiFi devices | |
| Bocus et al. | Translation resilient opportunistic WiFi sensing | |
| Ren et al. | Intelligent contactless gesture recognition using WLAN physical layer information | |
| Zhu et al. | Calibrating time-variant, device-specific phase noise for COTS WiFi devices | |
| Pan et al. | Dynamic hand gesture detection and recognition with WiFi signal based on 1d-CNN | |
| Uchiyama et al. | Context recognition by wireless sensing: A comprehensive survey | |
| Han et al. | CentiTrack: Towards centimeter-level passive gesture tracking with commodity WiFi | |
| CN114594857B (zh) | 一种利用无线射频信号识别空中手势的方法 | |
| Xiao et al. | Motion-Fi $^+ $+: Recognizing and Counting Repetitive Motions With Wireless Backscattering |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |