CN113609976A - 一种基于WiFi设备的方向敏感多手势识别系统及方法 - Google Patents

一种基于WiFi设备的方向敏感多手势识别系统及方法 Download PDF

Info

Publication number
CN113609976A
CN113609976A CN202110892154.6A CN202110892154A CN113609976A CN 113609976 A CN113609976 A CN 113609976A CN 202110892154 A CN202110892154 A CN 202110892154A CN 113609976 A CN113609976 A CN 113609976A
Authority
CN
China
Prior art keywords
gesture
data
csi
wifi
csi data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110892154.6A
Other languages
English (en)
Other versions
CN113609976B (zh
Inventor
王林
周鹭莹
石中玉
厉斌斌
荆楠
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Yanshan University
Original Assignee
Yanshan University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Yanshan University filed Critical Yanshan University
Priority to CN202110892154.6A priority Critical patent/CN113609976B/zh
Publication of CN113609976A publication Critical patent/CN113609976A/zh
Application granted granted Critical
Publication of CN113609976B publication Critical patent/CN113609976B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2411—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on the proximity to a decision surface, e.g. support vector machines
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2218/00—Aspects of pattern recognition specially adapted for signal processing
    • G06F2218/02—Preprocessing
    • G06F2218/04—Denoising
    • G06F2218/06—Denoising by applying a scale-space analysis, e.g. using wavelet analysis
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D30/00—Reducing energy consumption in communication networks
    • Y02D30/70—Reducing energy consumption in communication networks in wireless communication networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • Computational Linguistics (AREA)
  • Health & Medical Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

本发明公开了一种基于WiFi设备的方向敏感多手势识别系统及方法，包括数据采集模块、数据预处理模块、特征分析模块、异常手势过滤模块以及手势识别模块，通过WiFi接收端采集WiFi发射端发射的WiFi信号中的CSI数据并存储，从采集到的CSI数据中获取CSI振幅信息；对获取得CSI振幅信息进行预处理得到消除降噪且完全包含手势信息的CSI数据；采用基于SVM的非法数据判定算法对预处理后的手势信息的数据中非法CSI数据进行判定，滤除异常手势动作，得到判定为合法CSI数据；将判定的合法CSI数据输入DNN神经网络，采用基于菲涅尔区模型的方法对不同方向的手势动作进行特征分析，确定相同手势动作的不同方向，然后对不同方向的手势动作进分类输出手势识别结果。

Description

一种基于WiFi设备的方向敏感多手势识别系统及方法
技术领域
本发明涉及手势识别技术领域，特别是一种基于WiFi设备的方向敏感多手势识别系统及方法。
背景技术
随着人工智能和机器学习相关研究不断深入，越来越多的智能设备应运而生，已俨然成为人们日常生活中重要的组成部分，同时人们也表现出对人机交互方式的强烈关注。智能设备的使用极大地改变了人们的生活方式，无论是在家庭，学校还是办公室等环境，只要存在可嵌入式传感器、计算和通信设备都能够让每个人即时享受智能服务。除此之外，人们也能够通过携带智能移动设备或可穿戴设备获得计算机系统的服务，如智能手机，智能手表等。如今，人们对智能化产品的需求不再局限于通过以往的各种硬件设备和触摸屏幕等方式，而是希望通过无接触式感知与设备进行互动。因此，人脸识别、室内定位、行走轨迹、人体的动作识别和手势识别等成为近些年来人机交互方式的新趋势。这些新型人机交互方式使得人们与机器之间的交流更加便捷、灵活和高效，为人们的生活增添了多样性，人们也能从中获得新体验从而体会到更多的乐趣。
人机交互和物联网的发展吸引着国内外的研究者，对人体手势相关的研究也掀起热潮。现有的手势识别研究工作主要分为三大类：基于可穿戴传感器的手势识别、基于视觉系统的手势识别和基于射频信号系统的手势识别。可穿戴手势识别技术一般包括三种，分别为基于肌电信号、基于红外摄像头和基于压力传感。基于肌电信号的可穿戴手势识别是目前最受企业青睐的一种。除装置识别电信号的肌电传感器外，还配置一些多轴传感器，使其能精确地实现多种手势识别。基于视觉系统技术的手势识别研究主要使用摄像机来采集手势动作的图像或者视频，然后通过图像处理技术和计算机视觉的方法进行手势识别。近年来，基于视觉系统的手势识别已经非常成熟并且商用化，甚至能够在很多领域看到此技术的应用。例如，2009年6月的电子娱乐展览会上，微软首次正式公布体感周边外设Kinect。由于无线传感技术水平的显著提高，无线信号的覆盖范围也不断扩大，基于IEEE 802.11a/g/n协议的无线路由器已经开始普及。日常生活中，无论是在公共场所、家庭、公司还是学校，无线信号无处不在。基于WiFi的方法很好地避免光线影响问题，它能够在非视距路径下工作，无需用户携带任何设备，并以其廉价易部署的优势受到研究人员的广泛关注。
因此，开发一种基于WiFi设备的方向敏感多手势识别系统及方法是亟需的。
发明内容
本发明的目的是要解决现有基于可穿戴传感器和基于视觉系统的手势识别存在成本昂贵、携带设备、光线依赖与侵犯隐私等问题，提供一种基于WiFi设备的方向敏感多手势识别系统及方法。
为达到上述目的，本发明是按照以下技术方案实施的：
本发明的第一个目的是要提供一种一种基于WiFi设备的方向敏感多手势识别方法，包括以下步骤：
S1、在WiFi发射端与WiFi接收端之间形成的有效菲涅尔区内做不同方向的相同手势动作，同时通过WiFi接收端采集WiFi发射端发射的WiFi信号中的CSI数据并存储，从采集到的CSI数据中获取CSI振幅信息，作为手势数据样本集；
S2、对获取得CSI振幅信息进行预处理得到消除降噪且完全包含手势信息的数据；
S3、采用基于SVM的非法数据判定算法对预处理后的手势信息的数据中非法CSI数据进行判定，滤除异常手势动作，得到判定为合法CSI数据；
S4、将判定的合法CSI数据输入DNN神经网络，采用基于菲涅尔区模型的方法对不同方向的手势动作进行特征分析，确定相同手势动作的不同方向，然后对不同方向的手势动作进分类输出手势识别结果。
进一步地，步骤S1具体包括：
S11、以待检测手势的人员为原点建立三维坐标系，将空间分为垂直面和水平面，定义待检测手势的人员面向x轴方向，将待检测手势的人员正前方定义为V方向，定义手臂与人体正前方的夹角为偏航角，用β表示，手臂与身体的夹角为俯仰角，用α表示，在xOz平面上，定义与x轴夹角β＝45°时的两个方向分别为T方向和R方向，在xOy平面上，定义与x轴夹角α＝45°时的两个夹角定义为U方向和D方向；
S12、待检测手势的人员正面位于垂直WiFi发射端与WiFi接收端之间的直视链路LOS上直视链路距LOS一个臂长的距离，以保证手势动作在WiFi发射端与WiFi接收端之间形成的有效菲涅尔区内；分别朝V方向、U方向、D方向、T方向和R方向这5个方向进行推手手势；
S13、使用安装有CSI Tool工具包的装有Linux系统的电脑终端采集V方向、U方向、D方向、T方向和R方向推手手势时的CSI数据并以dat的形式进行存储；
S14、利用MATLAB来读取、处理并分析CSI数据以获取CSI振幅信息。进一步地，所述步骤S2的对获取得CSI振幅信息进行预处理具体包括：
S21、利用Hampel滤波器对CSI数据中具有持续时间极短且峰值较大的环境噪声即异常值进行识别并滤除；
S22、使用五点滑动均值滤波对滤除异常值的CSI数据进行降噪处理；
S23、使用基于主成分分析PCA的方法对降噪后的CSI数据进行降维处理，得到主要包含了手势动作信息的第一主成分的CSI数据；
S24、使用基于差分动态阈值的方法检测手势动作的起始点和终止点，然后使用手势动态缩放矫正算法对得到起始点和终止点区间进行调整，得到完全包含手势信息的CSI数据。
进一步地，所述步骤S3具体包括：
S31、首先对所有完全包含手势信息的CSI数据进行均值、方差、最大波峰波谷差值3个时序特征提取；
S32、将每个完全包含手势信息的CSI数据的特征值组合成的特征向量输入到SVM分类器对其进行训练和测试，最终通过标签输出合法数据和非法数据。
进一步地，所述步骤S4具体包括：
S41、将判定的合法CSI数据集合{Pi}作为DNN神经网络的输入；输出用Yj表示，设置5个输出节点，表示手势的V方向、U方向、D方向、T方向和R方向的方向类别，即j＝5，Hk表示隐藏层；所述DNN神经网络的激活函数采用Relu激活函数，DNN神经网络的学习率初始选择为0.01；输入的合法CSI数据集在训练过程中，经过多个隐藏层的线性变换和非线性变换后提取到有效手势信息特征，包含手势动作信息的CSI数据经过每个隐藏层都学习到一个线性关系与非线性关系，线性关系用a表示，w表示权重，b表示偏移量，其中间结果用z表示，σ为激活函数用来表示学习过程中的非线性关系；假设网络一共有p-1个隐层，第p-1层有l个神经元，第p-1层后输出结果则为输出层，其中第j个神经元的输出Yj由下式给出：
Figure BDA0003196306030000041
采用矩阵的方式表示转化成如下形式：
Yj＝σ(zp)＝σ(Wpap-1+bp)；
CSI数据在神经网络中经过不断地训练与学习，经过一系列线性与非线性函数的变换，最终提取每个方向的手势特征并进行分类。
进一步地，所述步骤S13中CSI采样率设置为200Hz，即发送时间为0.005秒。
进一步地，所述步骤S23中使用基于主成分分析PCA的方法对降噪后的CSI数据进行降维处理具体包括：
首先，对降噪后的CSI数据提取其振幅信息，得到CSI矩阵D如下所示：
Figure BDA0003196306030000042
其中：
Figure BDA0003196306030000043
表示第i个子载波向量，然后计算
Figure BDA0003196306030000044
均值
Figure BDA0003196306030000045
构成均值向量
Figure BDA0003196306030000046
计算协方差矩阵Ci如下所示：
Figure BDA0003196306030000047
对协方差矩阵Ci特征分解求得特征值和特征向量，对特征值λi重新排序使得λ1≥λ2≥...≥λi，并将特征向量ei重新排列；已知特征值为矩阵为Λ＝Diag[λ1,λ2,...,λ30]，特征向量矩阵为U＝[e1,e2,...e30]，由此得C＝UΛUT；
根据上述步骤得到包含信息量最多的特征值和特征向量即得到主要包含了手势动作信息的第一主成分的CSI数据。
进一步地，所述手势动态缩放矫正算法的具体步骤为：
通过基于差分动态阈值的方法检测到的手势动作的起始点和终止点区间κ∈[start,end]以及区间长度L，设定手势的动作时间为Δt，假设手势动作的有效动作长度为Le＝Δt·packet，如果Le＞L，则说明手势信息没有被完全截取，因此对手势动作进行缩放后能得到新的区间[start-(Le-L)/2,end+(Le-L)/2]；若Le＜L，则有可能是对手势的误判或者手势速度过慢导致，为了保持样本数据的长度一致性，将对手势进行适当缩减，手势长度区间更新为[start+(L-Le)/2,end-(L-Le)/2]，得到的新的区间κ'∈[star_m,end_n]内为分割得到的数据，即得到完全包含手势信息的CSI数据。
进一步地，提取有效手势信息特征具体步骤为：首先根据空间划分为水平面和垂直面两个部分，水平面内的动作包括V方向、T方向和R方向，垂直面内的动作包括U方向和D方向。然后对水平内的手势动作进行特征提取，识别V方向、T方向和R方向，接下来再对垂直面上的动作进行特征提取识别U方向和D方向。
本发明的第二个目的是要提供一种基于WiFi设备的方向敏感多手势识别系统，包括数据采集模块、数据预处理模块、特征分析模块、异常手势过滤模块以及手势识别模块；
所述数据采集模块，用于在WiFi发射端与WiFi接收端之间形成的有效菲涅尔区内做不同方向的相同手势动作，同时通过WiFi接收端采集WiFi发射端发射的WiFi信号中的CSI数据并存储，从采集到的CSI数据中获取CSI振幅信息；
所述数据预处理模块，用于对CSI数据进行处理以得到消除降噪且完全包含手势信息的CSI数据；
所述特征分析模块，用于对数据预处理模块处理后的CSI数据中不同方向的手势动作进行特征分析；
所述异常手势过滤模块，用于识别CSI数据中合法数据和非法数据，并滤除CSI数据中的非法数据即异常手势动作；
所述手势识别模块，用于将CSI数据中合法数据进行特征提取与分类实现手势识别。
与现有技术相比，本发明具有以下有益效果：
(1)本发明基于菲涅尔区模型对多方向手势进行特征分析，提出一种基于深度神经网络的方法对手势动作进行特征提取和分类，实验结果表明对空间中5种不同方向的手势动作识别效果显著，设备成本低廉、部署简单。
(2)本发明区别于单一的去噪方法，在数据预处理过程中提出一种Hampel滤波结合滑动均值滤波的方法对数据进行降噪，将得到平滑数据采用PCA算法进行降维处理。本发明设计的降噪方法即保证了数据多维性，又能完整保留手势信息。
(3)本发明提出一种手势自动检测与动态分割算法，首先将预处理后的数据进行基于差分动态阈值的手势检测，提出手势动态缩放矫正算法对手势的起止点进行动态调整，得到完全包含手势信息的数据，经手势动态缩放矫正算法后对其他方向手势动作划分准确率明显提升。
附图说明
图1为本发明的基于WiFi设备的方向敏感多手势识别的系统框图。
图2为以待检测手势的人员为原点建立三维坐标系。
图3为实验部署和硬件设备。
图4为手势动作示意图。
图5为异常值去除前后对比图：(a)为原始CSI振幅；(b)为异常值去除后的CSI振幅。
图6为滑动均值滤波后的CSI振幅对比图：(a)为10点滑动均值滤波后的CSI振幅；(b)为5点滑动均值滤波后的CSI振幅。
图7为滑动均值滤波后的30个子载波。
图8为PCA降维后的第一主成分。
图9为动作指示器的一阶差分。
图10为基于差分动态阈值的手势检测。
图11为手势动态缩放矫正后。
图12为α取值不同时波峰波谷的数量变化。
图13为动作示意图：(a)为T方向、V方向和R方向；(b)为U方向和D方向。
图14为水平面动作路径分析。
图15为V方向推手CSI振幅变化。
图16为T方向和R方向推手CSI振幅变化：(a)T方向；(b)为R方向。
图17为垂直面动作路径切面分析。
图18为U方向和D方向推手CSI振幅变化：(a)U方向；(b)为D方向。
图19为六种非法手势。
图20为DNN网络结构
图21为推手收回手势动作持续时间。
图22为手势动态缩放矫正算法评估。
图23为不同方向手势识别混淆矩阵。
图24为不同分类方法对比评估：(a)查准率；(b)查全率；(c)F1。
图25为不同场景对实验的影响。
具体实施方式
为使本发明的目的、技术方案及优点更加清楚明白，以下结合实施例，对本发明进行进一步的详细说明。此处所描述的具体实施例仅用于解释本发明，并不用于限定发明。
如图1所示的，本实施例的一种基于WiFi设备的方向敏感多手势识别系统，包括数据采集模块、数据预处理模块、特征分析模块、异常手势过滤模块以及手势识别模块；
所述数据采集模块，用于在WiFi发射端与WiFi接收端之间形成的有效菲涅尔区内做不同方向的相同手势动作，同时通过WiFi接收端采集WiFi发射端发射的WiFi信号中的CSI数据并存储，从采集到的CSI数据中获取CSI振幅信息；
所述数据预处理模块，用于对CSI数据进行处理以得到消除降噪且完全包含手势信息的CSI数据；
所述特征分析模块，用于对数据预处理模块处理后的CSI数据中不同方向的手势动作进行特征分析；
所述异常手势过滤模块，用于识别CSI数据中合法数据和非法数据，并滤除CSI数据中的非法数据即异常手势动作；
所述手势识别模块，用于将CSI数据中合法数据进行特征提取与分类实现手势识别。
使用本实施例的系统即可实现手势识别，详见以下描述。
为了对空间手势的不同方向进行识别，本实施例以人体为原点建立三维坐标系，主要对人体正面朝向的空间方向进行分析。将空间分为垂直面和水平面，选取5个方向进行分析。本实施例定义手臂与人体正前方的夹角为偏航角，用β表示，手臂与身体的夹角为俯仰角，用α表示。如图2所示，假设人体面向x轴方向，将人体正前方定义为V方向。在xOz平面上，定义与x轴夹角β＝45°时的两个方向分别为T方向和R方向。在xOy平面上，定义与x轴夹角α＝45°时的两个夹角定义为U方向和D方向。
进一步为了验证本实施例的可行性，实验部署和硬件设备，如图3所示。图中TX为发射端的位置，RX为接收端的位置，TX与RX的连线为直视链路(Line of Sight,LOS)。收发天线分别置于高度为1m的支架台上，两端的各个天线均匀排列并与地面垂直，所有天线在同一水平面上且收发天线正对放置。这样部署的目的是为了保证收发端形成的菲涅尔区的椭圆长半径平行于地面。考虑到菲涅尔区模型的对称性，在本实施例的实验中，实验人员位于垂直直视链路上距LOS一个臂长的距离，能够保证手势动作在有效菲涅尔区内，如图4所示。分别朝V方向、U方向、D方向、T方向和R方向这5个方向进行推手手势。推手手势是很常见的手部动作，通过面向不同方向进行推手手势在日常生活中有很重要的应用，例如在智能家居系统中，可以通过面向不同方向的手势实现对空调、冰箱、智能窗帘、电视和电灯等设备进行控制。另外，在辅助健身时，可以通过手势不同方向的判定能够矫正错误的锻炼动作。
使用两台内置英特尔5300WiFi网卡的笔记本电脑作为发射机和接收器来实现原型，其中一台作为发射端，笔记本电脑用于发送WiFi信号，发射机只配备一根全向天线。另一台作为接收端，接收器配备三根天线组成一个均匀的线性阵列，其中每相邻两根天线的间隔距离为WiFi信号的半个波长。接收端由Halperin开发的CSI工具包，用于收集每个接收的数据包的CSI样本，CSI数据包含30个子载波的信息，且每组CSI数据均为一个1×3×30的复杂矩阵。考虑到使用2.4GHz频段的设备较多，噪声干扰太大。为避免干扰，所有实验在20Mhz带宽的5.32Ghz频段的64信道进行，并且设置为与监视器模式一起工作。
首先需要在装有Linux系统的电脑终端下载安装CSI Tool工具包，然后进行命令WiFi网络的配置，开启网卡连接网络，实现Linux系统接收端与无线网卡发送端的连接。接下来对网卡的网关地址、发送模式、采样频率等工作模式进行设置。由于采样率过低将会使得采集到的手势数据不够完整，采样率过高容易导致丢包率较高的问题，而且考虑实际应用中，采样频率越高，不仅数据兀余量越大使得系统响应缓慢，而且数据中包含的噪声也会因此增加，因此实验中将CSI采样率设置为200Hz，即发送时间为0.005秒，最终，接收端接收到的数据以dat的形式进行存储。
由于采集到的CSI数据并不能直观地看出具体的信号变化，需要借助数据处理软件对数据进行处理。本实施例利用MATLAB来读取、处理并分析CSI数据。
CSI信息反映信号在发射端与接收端传输过程中无线信号振幅和相位的变化。由于复杂的无线传播及反射周围多径环境的影响，接收端采集到的信号包含很多复杂的噪声。由于硬件设备自身的缺陷，且实验设备也容易受室内温度等影响，采集到的CSI信号中也可能包含突发噪声。这些噪声的存在使得采集到的CSI数据提取幅度信息后会存在很多毛刺，无法直观地提取到有效的行为特征。因此，在对原始数据进行判定和识别之前需要对CSI数据进行降噪处理。
异常值去除：对于突发噪声，与环境噪声有极大的不同之处，它具有持续时间极短且峰值较大的特点，将其看作为异常值对其进行处理，利用Hampel滤波器对这些异常值进行识别并滤除。图5中，(a)为“推手-停顿-收回”动作原始CSI振幅的波形，可以发现在人体处于静止状态时，波形会出现些许相对突出的异常值。(b)所示，可以发现突出的异常值经过Hampel滤波器之后能够被很好的去除，但是滤除之后的数据仍然存在较多的毛刺，这就意味着仍需对去除异常值之后的CSI数据进一步处理。
滑动均值滤波降噪：本实施例使用滑动均值滤波对数据进行后续的降噪处理。滑动均值滤波是一种低通滤波技术，通常被用于时域降噪，虽然它的原理并不复杂，但是能够有效抑制由环境引起的噪声，并且能够很好地保留陡峭的边沿。该滤波的基本原理是，对于输入的一组数据长度为，选取一定的窗口大小N，从第一个数据开始，将这连续的N个采样点看成一个队列，然后对队列中的数据进行均值计算，得到的结果用来更新替代第一个数据。然后，将队列末尾的下一个数据列入队尾，同时删除队首数据，形成新的队列，并将其均值计算得到的结果更新第二个数据。如此更新队列并进行均值计算，直到最后一个采样点进入队列的末端，滤波计算即完成。
滑动窗口大小的选择也非常重要，如果窗口选择过小，滑动均值滤波不够明显，可能还会存在较大的噪声，不利于手势动作信息特征的提取。一旦窗口选择过大，将会出现过拟合现象，原始数据特征将被破坏，也不利于数据特征的提取。
经过多次分析与测试，如图6中，(a)使用了10点滑动均值滤波，发现窗口选择为10时，虽然滤除了许多环境噪声，得到的波形十分干净，但同时也滤除了许多有效数据信息，原本较多的波峰波谷经滤除后少了许多。(b)使用了5点滑动均值滤波，与(a)进行对比能够很好地保留有效手势信息，也将一些与手势信息无关的噪声除去。因此，本实施例对于滑动窗口大小的选择为5。
PCA降维：由于包含动作信息的每个天线对的数据流中子载波的CSI数据流都是相关的，为了确保数据样本的多维性，本实施例采用基于主成分分析(Principal ComponentAnalysis,PCA)的方法对数据进行降维处理，将30个子载波进行降维压缩，保证每个子载波都得到有效利用。
首先，对获取的CSI数据包提取其振幅信息，得到CSI矩阵D如下所示。
Figure BDA0003196306030000111
其中
Figure BDA0003196306030000121
表示第i个子载波向量，然后计算
Figure BDA0003196306030000122
均值
Figure BDA0003196306030000123
构成均值向量
Figure BDA0003196306030000124
计算协方差矩阵Ci如下所示。
Figure BDA0003196306030000125
对协方差矩阵Ci特征分解求得特征值和特征向量，对特征值λi重新排序使得λ1≥λ2≥...≥λi，并将特征向量ei重新排列。已知特征值为矩阵为Λ＝Diag[λ1,λ2,...,λ30]，特征向量矩阵为U＝[e1,e2,...e30]，由此可得C＝UΛUT。根据上述步骤得到包含信息量最多的特征值和特征向量。在此之前，所有数据已经通过Hampel滤波器进行异常值去除，且经过滑动均值滤波器进行降噪处理，图7为经滑动均值滤波后的30个子载波数据。由此经PCA降维后得到的第一主成分中主要包含了手势动作信息，如图8所示。数据经过异常值去除后，又经过滑动均值滤波降噪和PCA降维，得到干净的数据用于后续的处理。
为了进一步刻画手势信息，需要对预处理后的数据进行手势检测和分割。在基于差分动态阈值的手势检测起止点之后，提出了一种手势自动缩放矫正方法对手势的起止点进行调整。
基于差分动态阈值的手势检测：主要对手势的起始点和终止点进行检测，采用文献[4]中提到的方法，使用PCA后的第一主成分h1及其对应的特征向量e1计算两个相邻子载波的一阶差分ed并计算其均值
Figure BDA0003196306030000126
及h1的方差
Figure BDA0003196306030000127
来获取动作指示器
Figure BDA0003196306030000128
对数据进行动态阈值检测。为了便于观察，本实施例将动作指示器进行一阶差分计算得到的新的指示器OId＝OIi-OIi-1。
如图9所示，能够看出动作发生时波形有很明显的波动，而动作不发生时，差值为0。接下来通过对动作指示器的一阶差分进行分析，并通过对其最大值设置动态阈值，最终得到起始点和终止点，如图10中所示。由图10可知，手势检测会因为数据的不稳定导致阈值检测不够准确，得到的数据没有完全包含手势信息。同时，因数据的剩余噪声使得到的起始点和终止点存在一定误差。如果起止点间隔过大取到的手势动作信息将会包括噪声信息，从而降低手势动作信息质量；如果起止点间隔过小，得到的手势动作信息可能并没有完全包括整个手势动作，使得信息缺失，不利于后续的手势识别。因此，本实施例提出手势分割动态缩放矫正算法对手势检测后的数据进一步调整。
手势动态缩放矫正算法：对于手势的自动检测，会有些许偏差从而导致截取到的手势的起止点并不精确，因此为了进一步进行调整，本实施例提出手势分割动态缩放方法对手势长度进行扩展，以确保所有有效信息都能被截取到。对于推手动作，即推出、停顿、收回，为了兼顾手势对称性，需要使起始点和终止点缩放长度相同。
由基于差分动态阈值的手势检测，能够得到起止点区间κ∈[start,end]以及区间长度L。根据经验值，推手手势的动作时间为Δt，假设手势动作的有效动作长度为Le＝Δt·packet。如果Le＞L，则说明手势信息没有被完全截取，因此对手势动作进行缩放后能得到新的区间[start-(Le-L)/2,end+(Le-L)/2]；若Le＜L，则有可能是对手势的误判或者手势速度过慢导致，为了保持样本数据的长度一致性，将对手势进行适当缩减，手势长度区间更新为[start+(L-Le)/2,end-(L-Le)/2]。Le与L的差值较小，对手势进行极小的调整对手势识别结果影响不大。手势经动态缩放矫正放后的结果如图11所示，能清楚地看出，整个手势所有信息都包含其中，因此，此时得到的新的区间κ'∈[star_m,end_n]内为分割得到的数据。
本实施例的手势动态缩放矫正算法如下：
Figure BDA0003196306030000131
Figure BDA0003196306030000141
经手势动态缩放矫正算法对得到起始点和终止点区间进行调整，得到完全包含手势信息的CSI数据后，即可进行手势特征提取和分类。
首先进行菲涅尔区模型验证
当物体穿过不同的菲涅尔区边界会引起振幅波峰波谷的变化。为了进一步验证菲涅尔区的有效性，本实施例首先做了一个简单的验证实验，本节以抬手动作为研究对象进行实验。
志愿者位于直视路径的垂直平分线上，且距直视路径约一个臂长L的距离，这样设置的目的是希望手臂运动能够穿过第一菲涅尔区，保证运动过程中穿过更多的菲涅尔边界，便于通过观察波峰波谷的变化来判定动作路径。
志愿者做不同程度的抬手动作，将手臂与身体的夹角定义为俯仰角，用α表示。分别取α＝45°和α＝180°进行实验。当α＝180°时，手臂运动过程中穿过的菲涅尔区边界的数量远小于α＝180°时的手臂运动。
由图12可看出两次动作的波形变化，不但能够观察到手臂一次“起-放下”运动过程的对称性，也能明显观察到α＝180°时，信号的波峰波谷数量明显多于α＝45°时的动作，因此，证明菲涅尔区模型对动作识别的可行性。
本实施例主要对空间中5个不同方向进行推手手势，手掌为五指并拢，手臂笔直将手掌推出稍作停顿后收回，方向分别为：V方向、T方向、R方向、U方向和D方向5个方向，动作示意图如图15所示。当人体在空间中做不同动作时，由于运动路径不同，获取的CSI信号产生差异。
如图13中，(a)中V方向的推手动作路径与菲涅尔区短半径重合，由于手掌的运动恰好垂直切割水平面内的菲涅尔区域，且手掌运动接近LOS时会越过第一菲涅尔区边界进入第一菲涅尔区。由图15能明显看出两个凸起的波峰，这是由于WiFi信号的能量主要集中在第一菲涅尔区。此外，信号的波峰波谷因跨越不同菲涅尔区边界而产生不同的波峰波谷，且均匀对称分布。
假设对每个方向匀速推手，由于不同方向的手势运动路径不同，导致其波峰之间的间隔不同，本实施例将其定义为波峰分布密度，用ρ表示，由下式给出，dj+1和dj分别表示两个相邻波峰对应的动作采样点。
ρ＝mean(dj+1-dj)；
由于第一菲涅尔区短半径仅与收发端距离d和波长λ有关，可由下式进行计算，得到结果约为11.89cm，因此T方向和R方向的手势运动不会经过第一菲涅尔区。
|TQ1|+|Q1R|-|TR|＝λ/2；
手掌以偏离β的角度运动切割水平面的菲涅尔区域，如图14所示红色箭头所示。假设V方向时动作切割第i个菲涅尔区时，手掌运动的路径为dvi，则朝接收端时手掌运动的路径为dti由下式表示，由于菲涅尔区的对称性，朝接收端时手掌运动的路径为dri与dti近似相等；
Figure BDA0003196306030000151
T方向和R方向的信号波峰分布密度ρ与V方向相比，较为稀疏，波峰波谷数量较少。对比图16中(a)与(b)，可以发现R方向的手势波动更加明显，这是因为尽管它们跨越相同的菲涅尔区边界，T方向进行推手动作时，手掌先接近发射端，信号经手掌反射后又经过人体、天线架等其他物体反射才到达接收端，此时具有手势信息的信号经过不断衰减，导致最终获取到的CSI数据没有朝R方向的特征明显。因此通过一定的特征提取能够区分两个不同方向的手势。
与V方向、T方向和R方向不同，U方向和D方向位于空间中的垂直面上。由于WiFi信号在收发端组成一个以直线路径为轴的一系列椭球面，而U方向和D方向做动作时会穿越不同的菲涅尔区边界，经过计算分析，朝这两个方向进行推手动作时，也不会经过第一菲涅尔区椭球体。为了进一步分析，对其切面进行动作路径分析，如图17所示。已假设身体与手臂的夹角为α，则手臂与水平面的夹角为π/2-α，那么手掌在朝U方向的运动路径为dui，由下式所示，同理，朝D方向时手掌的运动路径ddi近似等于dui，即ddi≈dui；
Figure BDA0003196306030000161
由图18所示，它们的信号波峰分布密度ρ更为稀疏，能够与水平面推手动作进行区分。对比图18中(a)与(b)，能够看出由于跨越的菲涅尔边界数量相同，两个信号产生的波峰波谷值基本一致，D方向的手势信息特征不够明显。这是因为虽然它们跨越几乎相同的菲涅尔区边界，但是朝D方向做动作时，手掌运动接近地面，经手掌反射的信号又经地面不断反射叠加到手势信号当中，而当手掌朝U方向运动时，手掌距天花板的距离远大于手掌朝D方向运动时距地面的距离，因此获取到的CSI信号产生差异。
在对5个方向的手势动作进行特征分析后，可以将特征提取分为5个步骤，首先根据空间划分为水平面和垂直面两个部分，水平面内的动作包括V方向、T方向和R方向，垂直面内的动作包括U方向和D方向。然后对水平内的手势动作进行特征提取，识别V方向、T方向和R方向。接下来再对垂直面上的动作进行特征提取识别U方向和D方向。由于空间中信息较为复杂，时域特征和频域特征无法准确提取信号相关特征，因此本实施例借助基于DNN神经网络对手势进行特征提取和分类。
在实际使用过程中，由于人们在任何场景下，例如办公室、会议室、客厅和教室等，都会在无意识的情况下做出各种各样的手势动作，然而此时并不想对场景里的任何设备实施控制。本实施例将这种无意识手势动作称为“异常手势”，包含异常手势的信号定义为非法数据。由于有些无意识动作接近推手手势，为了使得后续的手势识别更加精确，本实施例提出一种基于SVM的非法数据判定算法对非法数据进行判定，只有数据合法时才能进入系统进行手势识别。
本实施例以常见的6种手势为研究对象，包括喝水、抬手、伸懒腰、推眼镜、挥手和下摆臂，用来作为区分推手手势的非法手势，如图19所示。这些动作在各个场景中都很容易出现且与推手动作类似，但是由于动作幅度与姿势不同，且不存在规律地切割菲涅尔区边界过程，波形没有规律波动，因此能够通过特征提取进行区分。
非法数据判定的过程可以看作为二分类问题。SVM算法在理论上已经比较成熟，能很好地实现二分类问题和多分类问题。本专利选择支持向量机算法作为异常数据检测分类算法，因为它在二分类问题上并不复杂，泛化能力强，特征数量较多时也能很好地分类，且精度比较高，能够很好地区分非法数据与合法数据。在本次二分类过程中，CSI数据为经过数据处理得到的平滑数据，首先对所有数据进行均值、方差、最大波峰波谷差值3个时序特征提取。均值表示数据整体的水平状况，异常手势与推手手势因动作幅度不同，得到的信号幅值也不同。
为了进一步锁定非法数据，引入方差的概念，方差反映了数据的波动状况。假设噪声极小的情况下，动作波动相对人体静止时的数据波动较大，方差值也较大；不同动作引起的数据波动不同，因此，方差能反映出非法数据的特征。最大波峰波谷差值用
Figure BDA0003196306030000181
表示，指数据波形中相邻波峰波谷之间差值最大的数值。推手手势数据会产生有规律的波动，波峰波谷值相差较大，而非法数据则不够稳定，相邻波峰波谷值差值不定。
将每个数据的特征值组合成的特征向量输入到SVM分类器对其进行训练和测试，最终通过标签输出“合法数据”和“非法数据”。
考虑到利用WiFi信号进行空间中的多方向手势识别时，信号在复杂的多径环境中容易产生反射、衍射等现象，导致获取的CSI数据中包含着各种复杂信息，无法精确地提取到反映手势信息的特征。因此本实施例利用深度神经网络(Deep Neural Networks,DNN)对CSI信号进行特征提取并进行分类，使用的网络结构如图20所示。DNN内部的神经网络可以分为三类，输入层、隐藏层和输出层，其中输入层和输出层之间的层数都是隐藏层。
将采集到的CSI信号经过数据预处理后，得到手势数据样本集进行非法数据判定，判定为合法数据集合{Pi}作为网络的输入，输出用Yj表示，本实施例设置5个输出节点，表示手势的5个方向类别，即j＝5。Hk表示隐藏层，隐藏层的数量可根据训练过程精度的变化对其进行调整。输入的CSI数据集在训练过程中，经过多个隐藏层的线性变换和非线性变换后提取到有效手势信息特征，并将其进行测试分类。
包含手势动作信息的CSI数据经过每个隐藏层都学习到一个线性关系与非线性关系。线性关系用a表示，w表示权重，b表示偏移量，其中间结果用z表示，σ为激活函数，一般用来表示学习过程中的非线性关系。假设网络一共有p-1个隐层，第p-1层有l个神经元，第p-1层后输出结果则为输出层，其中第j个神经元的输出Yj由下式给出。
Figure BDA0003196306030000191
如果采用矩阵的方式表示可转化成如下形式。
Yj＝σ(zp)＝σ(Wpap-1+bp)；
CSI数据在神经网络中经过不断地训练与学习，经过一系列线性与非线性函数的变换，最终提取每个方向的手势特征并进行分类。
DNN神经网络输入为600维的CSI振幅向量，输出神经元为5维的类别。输入层的输入维度是600，代表输入的特征数目。本实施例选择Relu激活函数[57]作为激活函数，它可以很好地解决sigmid函数和tanh函数中存在的梯度消失和梯度爆炸等问题，每层网络都能够得到相同的更新速度。学习率设置过大或者过小都会影响到最终分类的结果，本实施例学习率初始选择为0.01，然后随着训练的进程，调整学习率的值。
由于本实施例为分类问题，损失函数选用交叉熵损失函数。在分类问题中，大多数损失函数具有非凸的性质，如果采用梯度下降法训练模型，不能够保证模型到达全局最优解。而交叉熵损失函数的曲线是凸曲线，曲线整体呈单调性，损失越大，梯度越大，便于反向传播时的快速优化。优化算法本实施例选择Adam优化器，它可以根据不同的参数来选择学习率，从而达到自适应学习率，且适用于大数据集和高维空间，本实施例的输入为600维的特征，因此选用此优化器。
进一步，为了验证本实施例的性能，进行手势动态缩放矫正算法性能分析和手势识别系统性能分析。
为了确定手势动作的持续时间，以便能够精确计算有效动作长度Le。本实验让5名志愿者进行推手稍作停顿后收回动作10次，来计算平均时间，得到结果如图21所示。手势动作基本在3s以内能够完成，因此本实施例取有效动作长度Le为600，对手势进行动态缩放分割。
为了对手势动态缩放矫正算法进行评估，对每类数据的200个数据样本进行分割检测，当分割到的数据将手势信息完全包含即视为手势动作划分准确。本实验分别记录基于差分阈值检测后的手势分割准确率，以及基于差分阈值检测后对其进行手势动态缩放矫正后的准确率，如图22所示。从图中可以看出两种算法对V方向的手势分割准确率很高，这是因为此方向的波形最为明显，经手势动态缩放矫正算法后对其他方向手势动作划分准确率明显提升。
本实施例主要实现推手手势在5个不同方向的识别，通过DNN神经网络对处理后的手势样本进行特征提取并进行分类，最终得到不同方向手势识别混淆矩阵，如图23所示。可以看出系统对D方和T方向的手势识别精度并不高，这是因为当志愿者朝D方向推手时，手掌朝地板方向运动，在此过程中信号经过地板以及地板上其他物体的反射，使得信号夹杂着各种复杂多径的信号干扰，导致识别精度降低。另外，当志愿者朝T方向推手时，此时手掌运动远离接收端，靠近发送端，信号经手掌反射信号后又经过人体等其他物体反射后到达接收端，在这一传播过程中，信号不断衰减，进而导致该手势识别精度降低。V方向、R方向和U方向的动作比较明显，能够精确提取手势特征，识别精度相对较高。
为了评估本实施例使用的DNN分类方法，使用KNN分类算法和SVM分类算法进行对比评估。由于KNN与SVM自身无法提取手势特征信息，因此在本次实验中，为了能够准确反映算法对比情况，以手势动作的波峰波谷信息进行关键特征提取。本次实验将从时域信号中提取以下17个关键特征用于5个方向的手势动作识别。
(1)波峰分布密度ρ；
(2)最大波峰波谷差值；
(3)峰值的数量、最大值、最小值；
(4)峭度、偏度、峰峰值、均方根；
(5)波形因子、峰值因子、脉冲因子、裕度因子；
(6)动作的整流平均值、均值、方差和标准差。
为了评估本实施例提出的基于DNN、KNN和SVM这三种方法的5个方向的平均精度分别为84％、77.8％和75.84％，并以查准率、查全率和F1三个评价指标对5个方向的手势分类识别进行评估，如图24所示。由图24中的(a)可以看出，在不同类别的识别中DNN方法均能达到75％以上，虽然KNN和SVM在V方向识别精度较高，但在T方向的识别准确率较低，算法性能不够稳定。通过(b)可以看出使用KNN方法时，T方向手势识别的查全率较低，这说明有许多其他类别的手势被错判为T方向手势。(c)可以计算DNN、KNN和SVM5个方向的平均F1值分别为83.34％、76％和76.75％，说明DNN算法较KNN与SVM稳定。因此证明了基于DNN神经网络对手势进行特征提取和分类效果要比传统的基于特征提取的算法效果好。
为了测评系统的鲁棒性，分别在空旷的大厅和多径环境复杂的会议室环境中进行实验。由于会议室中存在桌椅、门窗和空调等物体，且空间封闭，天花板距离地面较近，反射路径比较多，对实验的影响比较大，实验结果如图25所示。尤其是对于本身识别精度不高的D方向和T方向手势，误判率较高，识别精度明显下降。该实验证明多径环境确实对手势识别存在影响，但对于整体来说，在场景不同的情况下能够识别不同方向的手势。因此，可以考虑在识别之前对数据进行进一步的多径环境消除处理以提高多径复杂的环境下中的手势识别。
本发明的技术方案不限于上述具体实施例的限制，凡是根据本发明的技术方案做出的技术变形，均落入本发明的保护范围之内。

Claims (10)

1.一种基于WiFi设备的方向敏感多手势识别方法，其特征在于，包括以下步骤：
S1、在WiFi发射端与WiFi接收端之间形成的有效菲涅尔区内做不同方向的相同手势动作，同时通过WiFi接收端采集WiFi发射端发射的WiFi信号中的CSI数据并存储，从采集到的CSI数据中获取CSI振幅信息，作为手势数据样本集；
S2、对获取得CSI振幅信息进行预处理得到消除降噪且完全包含手势信息的CSI数据；
S3、采用基于SVM的非法数据判定算法对预处理后的手势信息的数据中非法CSI数据进行判定，滤除异常手势动作，得到判定为合法CSI数据；
S4、将判定的合法CSI数据输入DNN神经网络，采用基于菲涅尔区模型的方法对不同方向的手势动作进行特征分析，确定相同手势动作的不同方向，然后对不同方向的手势动作进分类输出手势识别结果。
2.根据权利要求1所述的基于WiFi设备的方向敏感多手势识别方法，其特征在于，步骤S1具体包括：
S11、以待检测手势的人员为原点建立三维坐标系，将空间分为垂直面和水平面，定义待检测手势的人员面向x轴方向，将待检测手势的人员正前方定义为V方向，定义手臂与人体正前方的夹角为偏航角，用β表示，手臂与身体的夹角为俯仰角，用α表示，在xOz平面上，定义与x轴夹角β＝45°时的两个方向分别为T方向和R方向，在xOy平面上，定义与x轴夹角α＝45°时的两个夹角定义为U方向和D方向；
S12、待检测手势的人员正面位于垂直WiFi发射端与WiFi接收端之间的直视链路LOS上直视链路距LOS一个臂长的距离，以保证手势动作在WiFi发射端与WiFi接收端之间形成的有效菲涅尔区内；分别朝V方向、U方向、D方向、T方向和R方向这5个方向进行推手手势；
S13、使用安装有CSI Tool工具包的装有Linux系统的电脑终端采集V方向、U方向、D方向、T方向和R方向推手手势时的CSI数据并以dat的形式进行存储；
S14、利用MATLAB来读取、处理并分析CSI数据以获取CSI振幅信息。
3.根据权利要求1或2所述的基于WiFi设备的方向敏感多手势识别方法，其特征在于，所述步骤S2的对获取得CSI振幅信息进行预处理具体包括：
S21、利用Hampel滤波器对CSI数据中具有持续时间极短且峰值较大的环境噪声即异常值进行识别并滤除；
S22、使用五点滑动均值滤波对滤除异常值的CSI数据进行降噪处理；
S23、使用基于主成分分析PCA的方法对降噪后的CSI数据进行降维处理，得到主要包含了手势动作信息的第一主成分的CSI数据；
S24、使用基于差分动态阈值的方法检测手势动作的起始点和终止点，然后使用手势动态缩放矫正算法对得到起始点和终止点区间进行调整，得到完全包含手势信息的CSI数据。
4.根据权利要求3所述的基于WiFi设备的方向敏感多手势识别方法，其特征在于，所述步骤S3具体包括：
S31、首先对所有完全包含手势信息的CSI数据进行均值、方差、最大波峰波谷差值3个时序特征提取；
S32、将每个完全包含手势信息的CSI数据的特征值组合成的特征向量输入到SVM分类器对其进行训练和测试，最终通过标签输出合法数据和非法数据。
5.根据权利要求4所述的基于WiFi设备的方向敏感多手势识别方法，其特征在于，所述步骤S4具体包括：
S41、将判定的合法CSI数据集合{Pi}作为DNN神经网络的输入；输出用Yj表示，设置5个输出节点，表示手势的V方向、U方向、D方向、T方向和R方向的方向类别，即j＝5，Hk表示隐藏层；所述DNN神经网络的激活函数采用Relu激活函数，DNN神经网络的学习率初始选择为0.01；输入的合法CSI数据集在训练过程中，经过多个隐藏层的线性变换和非线性变换后提取到有效手势信息特征，包含手势动作信息的CSI数据经过每个隐藏层都学习到一个线性关系与非线性关系，线性关系用a表示，w表示权重，b表示偏移量，其中间结果用z表示，σ为激活函数用来表示学习过程中的非线性关系；假设网络一共有p-1个隐层，第p-1层有l个神经元，第p-1层后输出结果则为输出层，其中第j个神经元的输出Yj由下式给出：
Figure FDA0003196306020000031
采用矩阵的方式表示转化成如下形式：
Yj＝σ(zp)＝σ(Wpap-1+bp)；
CSI数据在神经网络中经过不断地训练与学习，经过一系列线性与非线性函数的变换，最终提取每个方向的手势特征并进行分类。
6.根据权利要求2所述的基于WiFi设备的方向敏感多手势识别方法，其特征在于，所述步骤S13中CSI采样率设置为200Hz，即发送时间为0.005秒。
7.根据权利要求3所述的基于WiFi设备的方向敏感多手势识别方法，其特征在于，所述步骤S23中使用基于主成分分析PCA的方法对降噪后的CSI数据进行降维处理具体包括：
首先，对降噪后的CSI数据提取其振幅信息，得到CSI矩阵D如下所示：
Figure FDA0003196306020000032
其中：
Figure FDA0003196306020000041
表示第i个子载波向量，然后计算
Figure FDA0003196306020000045
均值
Figure FDA0003196306020000042
构成均值向量
Figure FDA0003196306020000043
计算协方差矩阵Ci如下所示：
Figure FDA0003196306020000044
对协方差矩阵Ci特征分解求得特征值和特征向量，对特征值λi重新排序使得λ1≥λ2≥...≥λi，并将特征向量ei重新排列；已知特征值为矩阵为Λ＝Diag[λ1,λ2,...,λ30]，特征向量矩阵为U＝[e1,e2,...e30]，由此得C＝UΛUT；
根据上述步骤得到包含信息量最多的特征值和特征向量即得到主要包含了手势动作信息的第一主成分的CSI数据。
8.根据权利要求3所述的基于WiFi设备的方向敏感多手势识别方法，其特征在于，所述手势动态缩放矫正算法的具体步骤为：
通过基于差分动态阈值的方法检测到的手势动作的起始点和终止点区间κ∈[start,end]以及区间长度L，设定手势的动作时间为Δt，假设手势动作的有效动作长度为Le＝Δt·packet，如果Le＞L，则说明手势信息没有被完全截取，因此对手势动作进行缩放后能得到新的区间[start-(Le-L)/2,end+(Le-L)/2]；若Le＜L，则有可能是对手势的误判或者手势速度过慢导致，为了保持样本数据的长度一致性，将对手势进行适当缩减，手势长度区间更新为[start+(L-Le)/2,end-(L-Le)/2]，得到的新的区间κ'∈[star_m,end_n]内为分割得到的数据，即得到完全包含手势信息的CSI数据。
9.根据权利要求5所述的基于WiFi设备的方向敏感多手势识别方法，其特征在于，提取有效手势信息特征具体步骤为：首先根据空间划分为水平面和垂直面两个部分，水平面内的动作包括V方向、T方向和R方向，垂直面内的动作包括U方向和D方向；然后对水平内的手势动作进行特征提取，识别V方向、T方向和R方向，再对垂直面上的动作进行特征提取识别U方向和D方向。
10.一种基于WiFi设备的方向敏感多手势识别系统，其特征在于，包括数据采集模块、数据预处理模块、特征分析模块、异常手势过滤模块以及手势识别模块；
所述数据采集模块，用于在WiFi发射端与WiFi接收端之间形成的有效菲涅尔区内做不同方向的相同手势动作，同时通过WiFi接收端采集WiFi发射端发射的WiFi信号中的CSI数据并存储，从采集到的CSI数据中获取CSI振幅信息；
所述数据预处理模块，用于对CSI数据进行处理以得到消除降噪且完全包含手势信息的CSI数据；
所述特征分析模块，用于对数据预处理模块处理后的CSI数据中不同方向的手势动作进行特征分析；
所述异常手势过滤模块，用于识别CSI数据中合法数据和非法数据，并滤除CSI数据中的非法数据即异常手势动作；
所述手势识别模块，用于将CSI数据中合法数据进行特征提取与分类实现手势识别。
CN202110892154.6A 2021-08-04 2021-08-04 一种基于WiFi设备的方向敏感多手势识别系统及方法 Active CN113609976B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110892154.6A CN113609976B (zh) 2021-08-04 2021-08-04 一种基于WiFi设备的方向敏感多手势识别系统及方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110892154.6A CN113609976B (zh) 2021-08-04 2021-08-04 一种基于WiFi设备的方向敏感多手势识别系统及方法

Publications (2)

Publication Number Publication Date
CN113609976A true CN113609976A (zh) 2021-11-05
CN113609976B CN113609976B (zh) 2023-07-21

Family

ID=78306851

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110892154.6A Active CN113609976B (zh) 2021-08-04 2021-08-04 一种基于WiFi设备的方向敏感多手势识别系统及方法

Country Status (1)

Country Link
CN (1) CN113609976B (zh)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114041784A (zh) * 2021-11-11 2022-02-15 天津大学 基于商用Wi-Fi的双人步态病症判断装置
CN114198875A (zh) * 2021-12-08 2022-03-18 Tcl空调器(中山)有限公司 空调器控制方法、装置、设备和存储介质
CN114499712A (zh) * 2021-12-22 2022-05-13 天翼云科技有限公司 一种手势识别方法、设备及存储介质
CN114764580A (zh) * 2022-06-15 2022-07-19 湖南工商大学 一种基于无穿戴设备的实时人体手势识别方法
CN114970640A (zh) * 2022-06-21 2022-08-30 徐州工程学院 一种基于知识蒸馏的手势识别方法及系统
CN115438691A (zh) * 2022-08-16 2022-12-06 山东科技大学 一种基于无线信号的小样本手势识别方法
CN117520862A (zh) * 2024-01-08 2024-02-06 南京邮电大学 一种基于rfid技术与切割菲涅尔区原理的手势识别方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100207892A1 (en) * 2009-02-19 2010-08-19 Sentelic Corporation Touch-Control Module
US20180293433A1 (en) * 2015-06-30 2018-10-11 Yutou Technology (Hangzhou) Co., Ltd. Gesture detection and recognition method and system
CN109325399A (zh) * 2018-07-13 2019-02-12 哈尔滨工程大学 一种基于信道状态信息的陌生人手势识别方法及系统
CN110059612A (zh) * 2019-04-15 2019-07-26 哈尔滨工程大学 一种基于信道状态信息的位置无关的手势识别方法及系统

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100207892A1 (en) * 2009-02-19 2010-08-19 Sentelic Corporation Touch-Control Module
US20180293433A1 (en) * 2015-06-30 2018-10-11 Yutou Technology (Hangzhou) Co., Ltd. Gesture detection and recognition method and system
CN109325399A (zh) * 2018-07-13 2019-02-12 哈尔滨工程大学 一种基于信道状态信息的陌生人手势识别方法及系统
CN110059612A (zh) * 2019-04-15 2019-07-26 哈尔滨工程大学 一种基于信道状态信息的位置无关的手势识别方法及系统

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
陈甜甜;姚璜;左明章;田元;杨梦婷;: "基于深度信息的动态手势识别综述", 计算机科学, no. 12 *

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114041784A (zh) * 2021-11-11 2022-02-15 天津大学 基于商用Wi-Fi的双人步态病症判断装置
CN114041784B (zh) * 2021-11-11 2023-09-19 天津大学 基于商用Wi-Fi的双人步态病症判断装置
CN114198875A (zh) * 2021-12-08 2022-03-18 Tcl空调器(中山)有限公司 空调器控制方法、装置、设备和存储介质
CN114499712A (zh) * 2021-12-22 2022-05-13 天翼云科技有限公司 一种手势识别方法、设备及存储介质
CN114499712B (zh) * 2021-12-22 2024-01-05 天翼云科技有限公司 一种手势识别方法、设备及存储介质
CN114764580A (zh) * 2022-06-15 2022-07-19 湖南工商大学 一种基于无穿戴设备的实时人体手势识别方法
CN114970640A (zh) * 2022-06-21 2022-08-30 徐州工程学院 一种基于知识蒸馏的手势识别方法及系统
CN114970640B (zh) * 2022-06-21 2023-10-27 徐州工程学院 一种基于知识蒸馏的手势识别方法及系统
CN115438691A (zh) * 2022-08-16 2022-12-06 山东科技大学 一种基于无线信号的小样本手势识别方法
CN117520862A (zh) * 2024-01-08 2024-02-06 南京邮电大学 一种基于rfid技术与切割菲涅尔区原理的手势识别方法
CN117520862B (zh) * 2024-01-08 2024-03-29 南京邮电大学 一种基于rfid技术与切割菲涅尔区原理的手势识别方法

Also Published As

Publication number Publication date
CN113609976B (zh) 2023-07-21

Similar Documents

Publication Publication Date Title
CN113609976B (zh) 一种基于WiFi设备的方向敏感多手势识别系统及方法
Wang et al. A survey on human behavior recognition using channel state information
Ding et al. WiFi CSI-based human activity recognition using deep recurrent neural network
Feng et al. Wi-multi: A three-phase system for multiple human activity recognition with commercial wifi devices
CN105844216B (zh) 一种利用WiFi信号识别手写字母的检测与匹配机制
CN105807935B (zh) 一种基于WiFi的手势控制人机交互系统
CN110007366B (zh) 一种基于多传感器融合的生命搜寻方法以及系统
CN110502105B (zh) 一种基于csi相位差的手势识别系统及识别方法
Chen et al. Cross-domain wifi sensing with channel state information: A survey
Ding et al. Wihi: WiFi based human identity identification using deep learning
Xu et al. Attention-based gait recognition and walking direction estimation in wi-fi networks
CN114222202B (zh) 一种基于WiFi CSI的环境自适应活动检测方法及系统
CN113051972A (zh) 一种基于WiFi的手势识别系统
Sheng et al. An accurate device-free action recognition system using two-stream network
Hao et al. CSI‐HC: A WiFi‐Based Indoor Complex Human Motion Recognition Method
Showmik et al. Human activity recognition from wi-fi csi data using principal component-based wavelet cnn
Pan et al. Dynamic hand gesture detection and recognition with WiFi signal based on 1d-CNN
Wang et al. A survey of user authentication based on channel state information
Moghaddam et al. A WiFi-based system for recognizing fine-grained multiple-subject human activities
Moghaddam et al. A WiFi-based method for recognizing fine-grained multiple-subject human activities
Pandey et al. Csi-based joint location and activity monitoring for covid-19 quarantine environments
Man et al. PWiG: A phase-based wireless gesture recognition system
Gu et al. Device‐Free Human Activity Recognition Based on Dual‐Channel Transformer Using WiFi Signals
CN109918994A (zh) 一种基于商用Wi-Fi的暴力行为检测方法
Chen et al. WiTT: Modeling and the evaluation of table tennis actions based on WIFI signals

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant