CN110069134B - 一种利用无线电射频信号还原手部空中移动轨迹的方法 - Google Patents

Abstract

本发明公布了一种利用无线电信号还原手部在空中移动轨迹的方法，无需专用传感器、利用已有通讯设备的无线电信号检测并还原手指在空中写字轨迹。放置一个信号发送设备Tx、两个信号接收设备Rx，每个接收设备各配备至少两根天线，Tx和Rx之间没有阻挡；手部不需要佩戴任何设备；手部在空中的移动区域为Tx‑Rx1及Tx‑Rx2围成的正方形区域的内部；利用手的移动对无线电信号产生扰动，通过测量并提取多个接收天线上的无线信道变化，再计算得到手在空中的移动轨迹。本发明利用已有的无线通讯设备上采集的信道CSI数值，无需额外硬件设备或硬件改动，节约成本；适用范围广；可进行精确追踪，轨迹还原精度高；还可实时连续运行，方便实用。

Description

一种利用无线电射频信号还原手部空中移动轨迹的方法

技术领域

本发明属于无线电通信及无传感器感知技术，涉及无需专用传感器、基于已有通讯设备的感知技术，尤其涉及一种利用无线电RF(Radio Frequency，射频)信号检测并还原手部(包括手或单个手指)在空中移动轨迹的方法，利用手指的移动对无线电RF信号产生的扰动，通过测量并提取多个接收天线上的无线信道变化，计算得到手指在空中的移动轨迹，实现写字识别等类型的应用。

背景技术

手指在空中写字是一种人机交互中重要的信息输入方式，感知手指在空中的移动轨迹能为很多应用提供支撑。识别手指在空中书写轨迹的现有技术根据采用的技术原理的不同，可以分为基于穿戴设备的识别、基于图像的识别、基于声波的识别和基于无线电的识别。每类技术都有各自适合的使用场景。

基于可穿戴设备的感知允许在手指上携带某种传感器，依据传感器的不同，感知手指位移轨迹的方法也有多种。2013年，中国台湾“中央”研究院的Liwei Chan等人在文献FingerPad:Private and Subtle Interaction Using Fingertips”中展示了一种利用安装在食指指甲上的3×3排列的霍尔传感器和安装在拇指指甲上的磁铁，感知拇指指尖小范围捏食指的动作来输入几种不同信息的方法。该方法利用霍尔传感器感知手指间的磁场变化，根据几种不同手势在3×3传感器阵列上所对应的磁场变化模式数据，从而区分几种手指动作，并输入少量信息。2014年， Microsoft Research的Wolf Kienzle等人在文献LightRing:Always-Available 2D Input on Any Surface中展示了一种结合了红外接近传感器和三维陀螺仪的指环形状传感器，从而允许手指在桌面上输入信息的方法。该方法利用传感器感知手指绕手腕的转动以及手指的伸缩动作，从而可以手写输入信息。基于传感器的手指输入方法需要佩戴专用设计的硬件设备，其不足在于依赖专用硬件，且佩戴的设备通常需要连线。佩戴的设备会对手部运动造成影响，手指输入不自然，并非一种理想的手写输入方式。

一些方法采用视频摄像头或者红外传感器进行身体部位的移动识别。商用设备例如Xbox Kinect、Leap Motion使用单色红外摄像头和LED光源产生待识别身体部位的深度影像。尽管这些商用技术识别速度很快，但主要是识别标准的手部移动，不能识别手指任意的书写轨迹。基于摄像头视频的手势识别研究工作主要集中于通过识别手掌和手指的位置及关节变化关系来区分预定义的一些标准的手语，如American Sign Language等。例如，2015年，Srinath Sridhar 等人在文献Fast and Robust Hand Tracking UsingDetection-Guided Optimization中给出了一种使用单个深度摄像头对手部运动进行追踪并进行手势3D重建的方法；中科院的Yimin Zhou 等人在文献A novel finger and handpose estimation technique for real-time hand gesture recognition 中展示了相似的技术。基于光学的方法存在若干不便，包括必须有适度的照明条件以及需要直接可视的成像，中间不能有任何遮挡。且基于视频分析的手势识别计算量大，通常需要大量CPU以及GPU资源用于辅助计算。

基于声波的系统使用一个或多个扬声器以及麦克风等装置对手指的位置进行感知。2016 年，南京大学的王炜等人在文献Device-free gesture tracking usingacoustic signals中展示了利用智能手机的传感器对手指在手机的前后表面的移动做2D追踪的例子，精度约为4.6mm； 2016年，华盛顿大学的Rajalakshmi Nandakumar等人在文献FingerIO:Using Active Sonar for Fine-Grained Finger Tracking中展示了通过手机的扬声器发出经过OFDM编码的声音信号，从而将可感知区域扩展到手机侧面0.5x0.25平米的区域，2D追踪精度达到8mm。受限于声波在空中传播的衰减机制，基于声音的手指追踪的感知范围都较小，目前具有最远感知能力的FingerIO感知距离不足1米。且声音感知需要一个较为安静的使用环境，持续播放的探测声波会对人和动物产生一定的干扰。

基于RFID的相关技术也可用于手指的追踪和定位。2014年，MIT的Jue Wang等人在文献RF-IDraw:virtual touch screen in the air using RF signals中展示了在手指上粘贴一个RFID标签，并在周围环境中布置8个RFID天线对手指的移动轨迹进行追踪的系统。该系统利用了 RFID标签在不同天线组上的的信号达到角度信息，达到约3.7cm的追踪精度。2018年，南京大学的Chuyu Wang等人在文献Multi-Touch in the Air:Device-FreeFinger Tracking and Gesture Recognition via COTS RFID中，展示了利用1个定向天线和5x7排列的多个RFID标签，对标签附近移动的手指的追踪的系统RF-Finger。RF-Finger不需要手指上粘贴RFID标签。根据文献记载，RF- Finger对26个字母的分类大约达到80％的准确度，但对手写字形的恢复不够准确。基于RFID的方法均需要使用大型定向天线以对RFID标签激发能量并测量标签反射的信号的振幅和相位，RFID的设备成本较高，天线体积较大。

基于专用芯片的雷达系统也可对手指进行精确追踪。Google展示了基于60G Hz无线电信号的手指运动追踪系统Soli，Soli利用手指运动产生的多普勒信息感知手指的移动，使用专门定制的无线电射频信号以及相关的底层硬件，Soli对手指的移动追踪可达到较好精度。但基于60G Hz的技术没有得到广泛运用。

以上各类技术都需要依赖于专用硬件设备，利用一种或多种传感器对手部移动进行追踪，仅适用于一部分使用场景。大部分技术相关的软硬件设备成本较高，专用设备如RFID、雷达等并不适合普通家用环境。基于声波的感知技术受声波信号衰减快的影响，感知范围较为局限。基于视频分析的感知技术受光照、遮挡等条件影响较大。

除了利用不同传感器感知手指移动的方法，还可以利用通讯设备在正常通讯过程中产生的无线电信号，通过观察手指移动对信号衰减、相位改变等细微影响，来避免引入额外的传感器，从而大大降低部署的成本和要求。这类感知方法的好处是手部不需要佩戴任何设备或标签。WiFi由于在室内环境中的广泛部署，是其中主要被探索用于进行无传感器感知的信号。

2015年，Li Sun等人在文献WiDraw:Enabling Hands-free Drawing in the Airon Commodity WiFi Devices中，展示了利用在接收设备附近密集放置的25-30个WiFi设备，通过观察手部移动对不同设备对之间信号的遮挡来推测写字轨迹的方法，最优追踪精度约为5cm。其基本原理是探测周边WiFi设备的信号到达角度并进行记录，当手臂运动到达某个角度位置时，会对其中的一对设备造成遮挡，导致该对设备通讯的信号强度明显下降。但利用该方法输入信息，需要整个手臂的运动，且写字需要较大才能明显区分出信号遮挡以及不同的信号到达角度。

2017年，北京大学的李翔等人在文献IndoTrack:Device-Free Indoor HumanTracking with Commodity Wi-Fi中，展示了利用WiFi上的多个天线上采集到的CSI信息，还原出手臂移动导致信号的多普勒频率变化，从而据此对手臂的移动进行追踪的方法。其基本原理是将接收设备的两根天线的CSI信息共轭相乘，从而消除由于收发设备载波频率不一致导致的相位偏移噪音，并利用MUSIC算法恢复出信号中的多普勒信息。利用垂直摆放的两对设备，该方法可以还原出手部运动的轨迹。然而，共轭相乘的基本操作带来了更多的振幅上的噪音，限制了该方法进行更加细粒度的感知。受限于该方法采用的算法技术，该方法不能感知1Hz以内的多普勒位移。因此，该方法仅能感知人的躯干和手臂的整体运动，感知粒度仅为分米级，不能感知手指的厘米级的移动，无法用于处理手指写字的轨迹还原。

综上所述，目前基于传感器的手指位移感知技术在理想情况下可达到较好的精度，但大多需要专用设备，成本较高，且不同技术有着各自的应用局限。而已有利用WiFi信号的无传感器感知技术的检测精度较差，只能粗略追踪身体躯干和手臂的移动轨迹。目前尚未出现能够不使用传感器，仅利用室内已有的通讯设施对手指等细小部位进行精确移动追踪的技术。

发明内容

为了克服上述现有技术的不足，本发明提供一种新的无传感器感知方法，利用无线电设备通讯过程中测量的信道状态信息(Channel State Information,CSI)的变化来检测手指在空中写字的轨迹。本发明可搭载在现有无线通讯设备上，在通讯的过程中实现自然连续的感知，无需产生并发出专门用于感知的无线电RF信号，无需使用专用硬件或传感器。本发明利用手指在空中的移动对无线电RF信号产生的微小扰动，通过测量并提取手指反射无线信号的传输路径的相位变化，计算得到手指的移动方向及其位移，并由此还原出手指的移动轨迹。本发明方便易用，无需额外的硬件成本，以实时连续检测，且检测精度高，可以对一个电磁波波长内的手指位移幅度进行精确追踪并还原移动轨迹。

本发明的原理是：手指的移动会对无线电波造成影响。这种影响表现在人体手部(如手指、整个手或手臂)的表面会反射无线电波，反射的电波和原先从Tx(发送机)发出的信号叠加在一起，形成Rx(接收机)上接收到的信号强度。当手指移动时，手指反射的无线电信号经过的路径长度不断发生变化，而沿LoS传播的路径以及环境中静态反射的路径的长度并不发生变化。于是，来自这些多径传播的无线电波会发生叠加，可以表示为一个动态旋转的向量和一个静态不变的向量的叠加组合。其中动态旋转的向量由手指反射产生，其强度不变；而相位与该路径的传播距离，也就是手指相对Tx以及Rx的距离之和，以及电磁波的波长有关。在复平面上，一个静态向量和一个旋转的动态向量的叠加组合会产生一个圆形信号分布。当手指移动导致的反射路径变化一个波长时，动态向量旋转一周，形成一个完整的圆；当手指移动导致的反射路径变化不足一个波长时，在复平面上的轨迹形成一段圆弧。圆弧相应的相位变化对应了反射路径的长度的变化信息。无线信号在复平面的向量表示可以使用接收端信道状态信息(Channel State Information，CSI)来进行刻画。

本发明利用了包含振幅和相位信息的无线信道状态信息，感知手指在空中写字的轨迹。具体通过室内固定位置的无线电信号的至少一个发送设备和至少两个接收设备，利用接收设备上采集的信道状态信息计算手指在空中移动的方向和轨迹，以克服手指必须佩戴有传感设备这一约束。当手指移动导致反射路径长度变化时，CSI信号在复平面上旋转形成一段圆弧。通过测量圆弧所对应的相位角的变化，可计算出手指对应的Tx-Rx的反射路径的长度变化。利用已知固定位置的多对收发设备上获取的长度变化信息，可以通过几何映射关系来计算手指在空中移动所形成的轨迹。

刻画无线信号中的振幅和相位信息是通过测量信道状态来完成的。信道状态描述了在每个正交频分复用(Orthogonal Frequency Division Multiplexing，OFDM)子通道，无线信号从发送端到达接收端时，强度的衰减情况以及相位的变化情况。信道状态信息是真实信道状态的一个采样表示，在实际通讯系统中会叠加有随机的相位偏移。该相位偏移主要是由于收发设备使用各自的硬件时钟，其产生的载波频率不完全同步导致的。本发明利用接收设备上多根天线间的相对信道状态信息来估算手指的位移，从而解决单个接收天线上信道状态信息中的随机相位偏移带来的影响。在多入多出(Multiple-Input andMultiple-Output，MIMO)通讯系统中，发送机或接收机安装有多个天线。则接收设备上的多个天线上可同时获取到发送设备上不同发送天线之间的信道状态信息。例如，对于发送端和接收端各有三根天线的通讯系统，构成3×3MIMO，其中每一个发送天线和接收天线之间构成一个无线通道，可测量并记录其信道状态信息。由于同一个接收设备上的多根天线共用一个硬件时钟，其相位偏移噪音是相同的。本发明通过选取MIMO系统中任意两个不同收发设备天线对(例如：对应同一个发送天线的任意两个不同的接收天线)的信道状态信息进行相除，可得到新的正交信号，其相位噪音在相除过程中消除，且新的正交信号具有变换保圆性，可保持原有CSI信号一段圆弧的形状变化对应于手指反射路径长度的映射关系，从而可用于估算手指相对于设备的位移并计算出手指移动轨迹。

本发明提供的技术方案如下：

一种利用无线电RF信号检测并还原手部在空中移动轨迹的方法，放置一个信号发送设备、两个信号接收设备，信号发送设备和信号接收设备之间没有阻挡；每个接收设备设有至少两根天线；利用手的移动对无线电RF信号产生的扰动，通过测量并提取多个接收天线上的无线信道变化，再计算得到手在空中的移动轨迹。

具体实施时，分别在已知的固定位置放置一个信号发送设备Tx(例如：WiFi无线路由器或无线接入点AP)、两个信号接收设备Rx(例如：PC个人电脑、智能手机等)，每个接收设备各配备至少两根天线。两个Rx分别与Tx的连线尽可能垂直，信号采用OFDM调制，且能够通过测量信道状态信息(CSI信息)获取信号振幅及相位变化的信息。被追踪的手指不需要佩戴任何设备。手指写字的识别区域为Tx-Rx1及Tx-Rx2围成的正方形区域的内部，写字时尽量靠近识别区域的中间位置。本发明要求Tx-Rx间没有阻挡，存在较强的LoS(Line ofSight) 路径；

利用无线电RF信号检测和计算手指在空中写字轨迹的处理方法包括如下步骤：

1)数据获取与预处理；

a)Tx发射无线电信号，在两个Rx端分别采集CSI信息。对于单一载波频率通讯系统， CSI信息包括振幅和相位信息；对于OFDM编码的通讯系统，CSI信息包括OFDM子通道的传输特性信息(用单个复数描述)。完整的CSI信息还包括采集时的发送天线编号以及接收天线编号、采集时刻的时间戳。Tx发送信号不要求均匀等间隔，可随着无线数据通信正常发送；

具体实施时，Tx发射无线电信号为正常无线设备在数据通信过程所发出的无线通讯信号。数据采集获取信道状态信息跟随通讯的过程同步完成；具体是在无线设备发送端集中采集，或者是在两个无线设备接收端分别采集；将采集到的信息集中在一起进行预处理。

b)将同一个接收设备的多个天线上采集到的上述CSI信号时间序列，任意选择两个天线对的CSI信息相除，形成新的复数值CSI商信号时间序列；

c)对b)中采集到的含有时间戳的非均匀CSI商信号时间序列插值，形成随时间均匀CSI 商信号时间序列；

d)对均匀CSI商信号时间序列应用S-G滤波，以去除噪音并平滑，得到复平面上多段平滑的圆弧状分布的CSI商的信号时间序列；

2)写字动作的切割与手指位移的提取；

a)对CSI商的时间序列前后相减做差分，得到复平面上每两个采样点向量间的向量差，形成复信号的CSI商差分时间序列；

b)对CSI商的差分时间序列分别取振幅和相位，形成两个新的实信号时间序列(振幅时间序列和相位变化时间序列)；

c)根据手指静止时，对应的步骤2)中b)的振幅时间序列的数值分布较小的规律形成一个阈值，当振幅时间序列高于该阈值的判断为手指移动。当手指判断为静止时，所对应的数据段跳过不进行处理；

d)根据手指移动时，对应的步骤2)中b)的相位变化时间序列提取出手指相对于Tx-Rx 两个设备的反射路径长度变化信息，形成反射路径变化时间序列；

具体地，首先对相位变化时间序列做相位展开。由于复数取相位后的取值范围为[-π,π]，当相位连续变化超过π时，会折回到-π，形成2π的跳变。相位展开后去除跳变，变得连续；接下来对相位变化的时间序列前后项相减做差分。得到相位随时间的相对变化的时间序列，并根据一个波长等于2π的相位变化折算为手指所在位置反射路径的长度变化时间序列。最后对数据序列中的异常值进行处理，当反射路径长度变化的时间序列中，位移大小的局部异常增大判断为异常值。通过移除该异常数据段，并利用异常数据段前后的正常数值进行插值填补删除掉的信息，最终得到相对于两对Tx-Rx上手指的反射路径长度变化的两个时间序列，该时间序列既包括长度变化的方向(增加/减小)，也包括长度变化的大小；

3)手指移动轨迹重建；

a)将Tx的发射天线位置记成坐标原点，构建笛卡尔坐标系；将两个Rx的接收天线位置记成两个相对于原点位置的坐标轴，并标记Rx的坐标位置；

b)假设手指移动的初始位置位于两个Rx设备连线位置的中间。

c)利用几何方法计算每一步移动得到的新的位置；此情形下，方向的计算方法如下：将每一个迭代的时间间隔内，手指相对于每对Tx-Rx移动的反射路径长度变化投影到相应坐标轴上，形成位移变化。投射到两个坐标轴后，由上一步的位置出发，根据这一时间间隔内相对于上一个位置在两个坐标轴上的不同变化，确定一个新的位置；

d)根据步骤2)中d)产生的反射路径变化的时间序列中每一步的信息，迭代进行步骤 3)中c)的计算，重建整个手指移动的轨迹信息。

本发明的有益效果：

本发明提供一种新的无设备感知方法，利用无线电RF信号检测和还原手指在空中写字的轨迹的方法，利用手指的移动对无线电RF信号产生的扰动，通过测量并提取多天线上无线信道变化，计算得到手指在空中移动的轨迹。通过本发明技术方案，无需专用传感器，即可实现基于已有通讯设备信号传输时的无线信道变化感知并还原手在空中的写字轨迹。利用已有的无线通讯设备上采集的信道CSI数值，无需额外硬件设备，无需在无线收发设备上进行硬件改动，节约成本；无线设备发送设备和接收设备之间无需时钟同步，能够使用大多数常见的通讯设备(如WiFi，LTE)进行感知，适用范围广；可以对一个RF波长以内手指位移进行精确追踪，轨迹还原精度高；还可以实时连续运行，方便实用。

本发明利用无线通讯发送或接收设备上采集的信道状态信息进行计算从而估计手指的移动方向，不受基于设备的感知方法中必须携带传感设备才能检测手指移动的限制，可以利用已有的无线信道CSI数值，无需在无线收发设备上进行硬件改动，节约成本；同时检测误差较小，手指轨迹追踪精度超过了基于RFID设备和标签的RF-IDraw方法。相比于原有基于 WiFi信号的无设备物体追踪方法WiDraw和Doppler-MUSIC，本方法极大的提高了追踪精度和灵敏度，可以对手指移动这样的微小动作进行追踪，精度达到厘米级。能够实时连续运行，不需要事先采集环境信号数据用于训练。本发明技术方案优于现有方法，具有实用性高、精度较高的优点。

附图说明

图1本发明实施例中的无线电设备放置示意图；

其中，虚线表示检测区域；TX为无线电发射设备；RX1、RX2分别为无线电接收设备1和无线电接收设备2；每个Rx设备安装至少两根天线。

图2本发明实施例中利用无线电RF信号检测和还原手指在空中写字轨迹的方法的计算流程框图。

具体实施方式

下面结合附图，通过实施例进一步描述本发明，但不以任何方式限制本发明的范围。

本发明提供一种利用无线电RF信号检测并还原手指在空中写字轨迹的方法，利用手指的移动对无线电RF信号产生的扰动，通过测量并提取多个收发天线对上无线信道变化，计算得到手指的移动方向和轨迹。

本发明在实施时，需要在房间内放置一个已知固定位置的信号发送设备Tx(例如：WiFi 无线路由器或无线接入点AP、LTE室内信号发送基站)、两个已知固定位置的信号接收设备 Rx(例如：PC个人电脑、智能手机等)，且两个Rx设备分别与Tx的连线尽可能垂直。当人坐着或者站着用手指写字时，设备可以上下摆放，使得手指运动的移动方向垂直于收发设备天线的放置方向。信号采用OFDM调制技术，且能够通过测量CSI信息获取信号强度和相位变化的信息。手指上不需要粘贴或携带任何设备。本发明要求Tx-Rx间没有阻挡，存在较强的LoS路径。图1本发明实施例中的无线电设备放置示意图；本实施例中的无线电设备包括一台无线电发射设备TX和两台无线电发射设备RX1、RX2。其中，虚线表示检测区域。图2 本发明实施例中利用无线电RF信号检测和还原手指在空中写字轨迹的方法的计算流程框图。本发明的具体实施方式如下：

1)获取信道状态信息CSI；

a)CSI信息既可以在两个无线设备接收端分别采集，也可以在无线设备发送端集中采集。每一对Tx-Rx设备间产生一组CSI时间序列，两组Tx-Rx一共产生两组CSI 时间序列。

b)采集到的信息集中在一起进行处理。如果CSI信息在两个接收端采集，则需要通过网络汇集到同一个处理节点进行进一步处理；如果CSI信息在发送端采集，则可以直接在发送节点处理。

c)CSI信息的采集是伴随设备正常通讯的过程同步完成的。一般在每次通讯传输前，测量一次CSI数值。

d)Rx的不同天线上会测量各自CSI测量值，即：每一次CSI测量包括不同收发天线对之间的CSI数值。

e)CSI随着时间不断采样，形成时间序列。

f)选择Rx上的两对收发天线的CSI数据流进行整体相除，得到新的复数值序列。整体相除指的是当选择其中一个收发天线对的CSI数值做分母时，则该天线的后继CSI序列也一直保持做分母。相除时，可选择信号振幅较大的天线的CSI数值作为分母，有助于提高新生成的复数CSI商信号的信噪比。

g)要想准确追踪手指在空中的移动过程，CSI采样率应至少达到200Hz；

2)对齐两个接收端CSI的时间序列

a)采集到的CSI数值会包含网卡形成的时间戳，时间戳里不含绝对时间，仅仅含有内部晶振产生的计数器，因此不同接收端产生的时间戳绝对值并不相同。此步需要将每个接收端的CSI时间序列的时间戳前后项相减，形成相对时间戳。即：相减后，时间戳表示每次CSI测量的时间间隔，以晶振计数的数量表示。

b)将相对时间戳乘以网卡晶振频率，即得到相对时间的时间戳；

c)将两个接收端产生的相对时间戳进行最大公共子序列匹配算法，找出公共子序列在两个相对时间戳的起始位置；

d)将起始位置数值相减得到差，根据起始位置的差对齐两个接收端的CSI时间序列；

e)把2b步产生的相对时间的时间戳进行累加，得到从0开始记时的CSI时间序列。即：2b的相对时间的时间戳表示相邻两次CSI测量的时间间隔，累加后，表示从 0开始的时刻值；

3)对CSI波形进行降噪

a)使用Savitzky-Golay平滑方法对1f步产生的CSI商的时间序列波形进行降噪，Savitzky-Golay降噪的参数选择为：选择2次多项式，窗口大小为包含0.5次CSI 波动周期的样本数量为好；

b)对两个CSI时间序列分别应用若干次Savitzky-Golay平滑处理，以得到较平滑曲线。

4)计算CSI商在复平面上随时间的变化序列

a)将3b步得到的CSI商的时间序列前后项相减，得到CSI商的差分信息，该信息形成一个新的复数的时间序列；差分也可改为间隔若干项前后相减，以提供更好的平滑；

b)对CSI商差分的复数序列取振幅，得到CSI商序列中的采样点间在复平面上的欧几里得距离；

c)对CSI商差分的复数序列取相位，并展开相位，形成连续变化的CSI商的相位时间序列；

5)手指写字动作的切分

a)手指静止时，4b步得到的欧几里德距离会较小。依此可确定一个阈值区分开手指静止和移动的不同状态；

b)对于OFDM编码的信号的每一个子载波按前述方法分别取阈值，并区分手指的移动状态；

c)手指静止的判断条件为当一个Rx上的多个子载波中有任何一个判断为手指静止，且Rx1和Rx2设备上同时判断手指为静止；

d)将判断为手指静止的时间段的数据清除，保留下的数据对应着手指的移动；

6)估计手指相对一对Tx-Rx的移动距离

a)对4c步骤产生的CSI商差分的相位的时间序列前后项相减再次做差分，得到相位随时间的相对变化的时间序列；

b)根据一个波长等于2π的相位变化的规律，将相位变化折算为手指所在位置反射路径的长度变化，形成手指位移的时间序列；

c)对数据中的异常值进行处理，当反射路径长度变化的时间序列中，位移大小的局部的异常快速增大的数据段判断为异常值。异常值出现在两段CSI商的圆弧之间的连接处，不包含有效的手指位移信息，计算时需要移除该异常数据段。异常值的判断依据是4c序列中的相位在很短的时间窗口内变化了接近π的大小，或者对6a步骤产生的手指反射路径的位移序列用阈值进行区分；

d)利用异常数据段前后的正常数值进行线性插值填补删除掉的信息，得到相对于两对Tx-Rx上手指的反射路径长度变化的两个时间序列，该时间序列既包括长度变化的方向(增加/减小)，也包括长度变化的数值；

7)利用手指反射路径变化的位移信息重建手指的移动轨迹

a)将Tx的发射天线位置记成坐标原点，构建笛卡尔坐标系；

b)将两个Rx的接收天线位置放置在两个相对于原点位置的坐标轴上；

c)假设手指位移的初始位置位于两个Rx连线的中点。该位置假设不准确并不影响字形轨迹的复原；

d)根据上一次确定的手指位置，可以确定手指距离Tx和Rx1及Rx2的距离。再根据6d步骤给出的每个新的采样时刻给出的反射路径距离变化，可确定新一轮的手指距离Tx-Rx的反射路径总长度；

e)以Tx、Rx1为椭圆焦点，已知手指所在位置的总的反射路径长度，可确定一圈椭圆，手指可能在椭圆上的任一点；同理，以Tx、Rx2也可确定一个椭圆；两个椭圆相交确定一个交点，该交点为手指新的位置；

f)两个相交的椭圆有多个交点，取交点离上一次位置最近的为本次位置的解；

g)根据步骤6d中的每个数据，迭代进行d-f步骤，直到得到手指移动的整个轨迹；

下面通过实例对本发明做进一步说明。

由于室内WiFi设备的普及，以下实施例我们利用WiFi信号来检测手指在空中的移动方向及轨迹。利用配置在5G Hz频段搭载全向天线的支持802.11n协议的WiFi路由器作为信号发射端Tx，利用两个安装了Intel 5300无线网卡的Mini PC作为信号接收端，每个接收端搭载两根全向天线。802.11n及以后的协议支持OFDM调制。利用Linux CSI tools可采集CSI 数据，在信号接收端采集到的CSI包含多个天线上的信息，每个天线又包含30个子载波的信息。利用本发明提供方法检测并还原手指在空中写字轨迹的具体流程如下：

1)将路由器Tx上的发射天线水平于地面放置，形成水平极化，其位置标记为坐标原点 (0，0)，放在房间较高处；

2)将两个Mini PC的发射天线水平于地面放置，形成水平极化，其位置标记为接收Rx1 及Rx2，放在Tx下方左右两角，使得Tx-Rx1和Tx-Rx2垂直摆放。Tx和Rx1的连线定义为x轴，Tx和Rx2的连线定义为y轴，建立坐标系；Tx与Rx1以及Rx2设备的距离均保持为1米；也就是Rx1坐标(1，0)，Rx2坐标(0，1)；

3)在Rx1及Rx2上连续采集CSI数据，并通过WiFi网络传送到一台PC集中处理；

4)在WiFi路由器端产生适量的数据通讯，以达到大约200Hz的CSI采样率；

5)进行CSI数据预处理，即：对采集到的CSI时间序列插值，然后取同一个接收设备上两个不同天线的CSI信号相除，并进行Savitzky-Golay滤波。S-G滤波采用2次多项式，窗口大小设为大约半个CSI振幅信号波动周期，大约为采样率除以10后取整。然后确保窗口大小为奇数(S-G滤波算法要求)。

具体利用Spline样条插值方法对信道状态信息商的时间序列进行插值，得到时间间隔均匀的信道状态信息时间序列；具体使用Savitzky-Golay平滑方法对信道状态信息商的时间序列在复平面上进行降噪。

6)假设手指的初始位置L0位于(0.5，0.5)，假设在一个采样间隔后，手指的反射路径相对Tx-Rx1设备增加了0.01米，相对Tx-Rx2设备减少了0.01米。手指新的位置L1 相对于Tx-Rx1所在的椭圆的反射路径总长度为

由Tx、 Rx1的坐标为椭圆的两个焦点，可确定一个椭圆方程；同理，手指相对于Tx-Rx2的总反射路径长度也可以确定一个椭圆；

7)解椭圆方程，可得到手指新的位置。椭圆方程的多个解只有一个对应手指的位置，可选择与上一轮位置最近的解；可以通过一些数学方法避免求解椭圆的二次方程组，加快计算速度；

8)根据手指的反射路径变化迭代进行6-7步骤，得到手指移动的完整轨迹。

通过上述步骤，即可实现利用无线电射频信号还原空中移动轨迹。进一步地，上述方法

可用于基于图像的文字(移动轨迹)识别，识别得到图像中的文字。

需要注意的是，公布实施例的目的在于帮助进一步理解本发明，但是本领域的技术人员可以理解：在不脱离本发明及所附权利要求的精神和范围内，各种替换和修改都是可能的。因此，本发明不应局限于实施例所公开的内容，本发明要求保护的范围以权利要求书界定的范围为准。

Claims (10)

1.一种利用无线电RF信号还原手部在空中移动轨迹的方法，放置一个信号发送设备Tx、两个信号接收设备Rx，每个接收设备各配备至少两根天线，信号发送设备Tx和信号接收设备Rx之间没有阻挡；手部不需要佩戴任何设备；手部在空中的移动区域为Tx-Rx1及Tx-Rx2围成的正方形区域的内部；利用手的移动对无线电RF信号产生扰动，通过测量并提取多个接收天线上的无线信道变化，再计算得到手在空中的移动轨迹；包括如下步骤：

1)数据获取与预处理；执行如下操作：

a)Tx发射无线电信号，不要求均匀等间隔，随着无线数据通信正常发送；在两个Rx端分别采集CSI信息，包括：OFDM子通道的传输特性信息、采集时的发送天线编号、采集时的接收天线编号、采集时刻的时间戳；

b)将同一个接收设备的多个天线上采集到的CSI信号时间序列，任意选择两个天线的CSI信息进行相除，形成新的复数值的CSI商信号时间序列；

c)对b)中的CSI商信号时间序列进行插值，形成均匀CSI商信号时间序列；

d)对均匀CSI商信号时间序列去除噪音并充分平滑，得到复平面上多段平滑的圆弧状分布的CSI商信号时间序列；

2)提取写字动作的切割与手指位移；执行如下操作：

a)对平滑后的CSI商时间序列前后相减做差分，得到复平面上每两个采样点向量间的向量差，形成复信号的CSI商差分时间序列；

b)对CSI商差分时间序列分别取振幅和相位，形成两个新的实信号时间序列，分别为振幅时间序列和相位变化时间序列；

c)形成一个振幅时间序列阈值；当振幅时间序列高于该振幅时间序列阈值时，识别为手移动；否则，所对应的数据段跳过不进行处理；

d)根据手移动时对应的步骤2)中b)的相位变化时间序列，提取出手指相对于Tx-Rx两个设备的反射路径长度变化信息，形成反射路径变化时间序列；反射路径变化时间序列包括反射路径长度变化的方向和反射路径长度变化的大小；

3)手指移动轨迹重建；执行如下操作：

a)将Tx的发射天线位置记成坐标原点，构建笛卡尔坐标系；将两个Rx的接收天线位置记成两个相对于原点位置的坐标轴，并标记Rx的坐标位置；

b)假设手移动的初始位置位于两个Rx设备连线位置的中间；

c)根据步骤2)中d)形成的反射路径变化的时间序列中每一步的信息，进行迭代计算每一步移动的方向并得到的新的位置；

d)由此重建整个手指移动的轨迹信息；

通过上述步骤，实现利用无线电RF信号检测并还原手部在空中的移动轨迹。

2.如权利要求1所述利用无线电RF信号还原手部在空中移动轨迹的方法，其特征是，具体地，分别在已知的固定位置放置一个信号发送设备Tx和两个信号接收设备Rx，每个接收设备各配备至少两根天线；两个Rx分别与Tx的连线相互垂直；通过测量收发设备之间的CSI信息获取信号振幅及相位变化的信息；手部在空中的移动为正方形区域的中间位置；Tx-Rx间存在无阻挡的LoS路径。

3.如权利要求1所述利用无线电RF信号还原手部在空中移动轨迹的方法，其特征是，信号发送设备Tx包括WiFi无线路由器、无线接入点AP、LTE室内基站；信号接收设备Rx包括PC个人电脑、智能手机或其他便携式小型无线设备。

4.如权利要求1所述利用无线电RF信号还原手部在空中移动轨迹的方法，其特征是，Tx发射无线电信号为正常无线设备在数据通信过程所发出的无线通讯信号。

5.如权利要求1所述利用无线电RF信号还原手部在空中移动轨迹的方法，其特征是，信道状态信息具体是在无线设备发送端集中采集获取，或者是在两个无线设备接收端分别采集，再将采集到的信息集中在一起进行预处理。

6.如权利要求5所述利用无线电RF信号还原手部在空中移动轨迹的方法，其特征是，当信道状态信息是在两个无线设备接收端Rx分别采集时，需对齐两个无线设备接收端信道状态信息的时间序列；所述对齐包括如下步骤：

a)采集到的信道状态信息数值包含网卡形成的时间戳，将每个接收端的信道状态信息时间序列的时间戳前后相减，形成相对时间戳；所述相对时间戳表示每次信道状态信息测量的时间间隔，以晶振计数的数量表示；

b)将所述相对时间戳乘以网卡晶振频率，得到相对时间的时间戳；

c)将两个接收端产生的相对时间戳通过最大公共子序列匹配算法，找出公共子序列在两个相对时间戳的起始位置；

d)将起始位置数值相减得到差，再根据起始位置的差对齐两个接收端的信道状态信息时间序列。

7.如权利要求1所述利用无线电RF信号还原手部在空中移动轨迹的方法，其特征是，数据预处理中，具体利用Spline样条插值方法对信道状态信息商的时间序列进行插值，得到时间间隔均匀的信道状态信息时间序列；具体使用Savitzky-Golay平滑方法对信道状态信息商的时间序列在复平面上进行降噪。

8.如权利要求1所述利用无线电RF信号还原手部在空中移动轨迹的方法，其特征是，步骤2)中，对信道状态信息商的时间序列前后项相减做差分，具体是对序列中相邻的后项依次减前项，或采取间隔若干个位置的前后项相减。

9.如权利要求1所述利用无线电RF信号还原手部在空中移动轨迹的方法，其特征是，形成反射路径变化时间序列具体执行如下操作：

a)首先对相位变化时间序列进行相位展开；

b)相位展开后去除跳变，使得相位变化连续；

c)对相位变化的时间序列前后项相减做差分，得到相位随时间的相对变化的时间序列；

d)根据一个波长等于2π的相位变化折算为手所在位置反射路径的长度变化时间序列；

e)对序列中的异常值进行处理：当反射路径长度变化的时间序列中，位移大小的局部异常增大识别为异常值；

f)移除异常数据段，并利用异常数据段前后的正常数值进行插值填补删除掉的信息，得到相对于两对Tx-Rx上手的反射路径长度变化的两个时间序列。

10.如权利要求1所述利用无线电RF信号还原手部在空中移动轨迹的方法，其特征是，将所述方法应用于基于图像识别文字，手部在空中的移动轨迹形成文字，从而识别得到图像中的文字。

Images