CN111142668A - 一种基于Wi-Fi指纹的定位和活动手势联合识别的交互方法 - Google Patents

一种基于Wi-Fi指纹的定位和活动手势联合识别的交互方法 Download PDF

Info

Publication number
CN111142668A
CN111142668A CN201911381053.1A CN201911381053A CN111142668A CN 111142668 A CN111142668 A CN 111142668A CN 201911381053 A CN201911381053 A CN 201911381053A CN 111142668 A CN111142668 A CN 111142668A
Authority
CN
China
Prior art keywords
csi
matrix corresponding
fingerprint
data
gesture
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201911381053.1A
Other languages
English (en)
Other versions
CN111142668B (zh
Inventor
王国利
郭凯林
郭雪梅
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sun Yat Sen University
Original Assignee
Sun Yat Sen University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sun Yat Sen University filed Critical Sun Yat Sen University
Priority to CN201911381053.1A priority Critical patent/CN111142668B/zh
Publication of CN111142668A publication Critical patent/CN111142668A/zh
Application granted granted Critical
Publication of CN111142668B publication Critical patent/CN111142668B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04B—TRANSMISSION
    • H04B17/00—Monitoring; Testing
    • H04B17/30—Monitoring; Testing of propagation channels
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/30—Services specially adapted for particular environments, situations or purposes
    • H04W4/33—Services specially adapted for particular environments, situations or purposes for indoor environments, e.g. buildings
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W56/00—Synchronisation arrangements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W64/00—Locating users or terminals or network equipment for network management purposes, e.g. mobility management
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D30/00—Reducing energy consumption in communication networks
    • Y02D30/70—Reducing energy consumption in communication networks in wireless communication networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Computational Linguistics (AREA)
  • Computing Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Human Computer Interaction (AREA)
  • Electromagnetism (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

本发明公开一种基于Wi‑Fi指纹的定位和活动手势联合识别的交互方法，包括以下步骤：通过Wi‑Fi设备收集Wi‑Fi指纹的位置的CSI数据和活动手势的CSI数据；提取Wi‑Fi指纹的位置的CSI数据的振幅值和活动手势的CSI数据的振幅值，并根据同步时间形成CSI数据的一维采样矩阵；对CSI数据的一维采样矩阵进行预处理，去除其中的环境噪声和高频部分；对预处理后的CSI数据进行分割和上采样，得到Wi‑Fi指纹的位置对应的CSI矩阵和活动手势对应的CSI矩阵；设置一维卷积神经网络模型，对Wi‑Fi指纹的位置对应的CSI矩阵和活动手势对应的CSI矩阵进行特征提取，且对Wi‑Fi指纹的位置对应的CSI矩阵和活动手势对应的CSI矩阵进行联合分类，并得到相应的位置识别和活动手势识别。

Description

一种基于Wi-Fi指纹的定位和活动手势联合识别的交互方法
技术领域
本发明涉及Wi-Fi通信领域，更具体地，涉及一种基于Wi-Fi指纹的定位和活动手势联合识别的交互方法。
背景技术
使用非穿戴设备实现人体行为感知，即在人体不穿戴传感器情况下自动感知人体的行为动作，是各种应用场景的关键技术，如增强现实游戏，智能家居，远程医疗等。基于视觉和声学信号的传统方法已取得很多的进步，然而，基于计算机视觉的技术受到视线(LOS)路径和潜在泄露人类隐私的限制；基于声音的识别方法的目标是在较短的小波范围内进行感知行为。随着Wi-Fi设备的普及促进了许多基于Wi-Fi的人体感知技术的研究，基于Wi-Fi感知的主要原理是人体的行为在Wi-Fi信号中引入了独特的多路径反射。
虽然在Wi-Fi感知方面有着丰富的研究成果，但现有技术很少将活动手势识别和定位的结合在一起，而这中结合可以大大提高人机交互应用的实用性。
发明内容
本发明提出了一种基于Wi-Fi指纹的定位和活动手势联合识别的交互方法。本发明不需要用户穿戴或依赖任何传感器，只需要利用各种室内分布的Wi-Fi设备，收集Wi-Fi中的CSI信息，再利用深度神经网络算法学习CSI信号中的特征并与预定义的位置和活动进行匹配，获得最佳的深度学习模型，从而实现基于Wi-Fi指纹的位置与活动手势的识别。
为解决上述技术问题，本发明的技术方案如下：
一种基于Wi-Fi指纹的定位和活动手势联合识别的交互方法，包括以下步骤：
通过Wi-Fi设备收集Wi-Fi指纹的位置的CSI数据和活动手势的CSI数据；
提取Wi-Fi指纹的位置的CSI数据的振幅值和活动手势的CSI数据的振幅值，并根据同步时间形成CSI数据的一维采样矩阵；
对CSI数据的一维采样矩阵进行预处理，去除其中的环境噪声和高频部分；
对预处理后的CSI数据进行分割和上采样，得到Wi-Fi指纹的位置对应的CSI矩阵和活动手势对应的CSI矩阵；
设置一维卷积神经网络模型，对Wi-Fi指纹的位置对应的CSI矩阵和活动手势对应的CSI矩阵进行特征提取，且对Wi-Fi指纹的位置对应的CSI矩阵和活动手势对应的CSI矩阵进行联合分类，并得到相应的位置识别和活动手势识别。
本发明的工作原理：通过收集在室内Wi-Fi环境下人体活动所产生的CSI信号；对收集到的CSI信号进行预处理，主要是去除环境噪声；然后对预处理后的CSI信号进行分割提取，使CSI信号中仅包含因人体活动产生的无线电信号信息；最后使用深度神经网络对CSI信号中的指纹特征进行提取和模式匹配，实现位置和活动手势的联合识别。
本发明中，用同步线缆将同步时钟和发射、接收天线连接起来，以作同步时间。
在一种优选的方案中，“提取Wi-Fi指纹的位置的CSI数据的振幅值和活动手势的CSI数据的振幅值”包括以下内容：
通过Wi-Fi设备收集的CSI数据通过下式进行表达：
H(k)＝||H(k)||ej∠||H(k)||
式中，所述的H(k)表示第k个子载波采集的CSI数据；所述的||H(k)||表示第k个子载波的幅度值；所述的∠H(k)为第k个子载波的相位信息。
本优选方案中，Wi-Fi系统建模为：y＝Hx+n
其中y和x分别表示接收和发射的Wi-Fi信号矩阵，H为信道矩阵，n表示环境噪声矩阵；
信道矩阵H是每个子载波信道信息的集合，即：
Figure BDA0002342251540000021
其中n为载波数
在一种优选的方案中，所述的“对CSI数据的一维采样矩阵进行预处理，去除其中的环境噪声和高频部分”包括以下内容：
将CSI数据的一维采样矩阵通过巴特沃斯低通滤波器进行第一部预处理；
将第一部预处理后的CSI数据的一维采样矩阵通过离散小波变换，完成预处理。
本优选方案中，由于Wi-Fi设备的原始CSI数据包含有由多路径传播和硬件噪声引起的噪声，这可能导致虚假的边缘，影响本方法的准确性。由于噪声引起的CSI动力学与人类行为之间存在差异，信号预处理可以滤除干扰噪声，同时在CSI流中保留有用的行为信息细节。
在一种优选的方案中，所述的“对预处理后的CSI数据进行分割和采样，得到Wi-Fi指纹的位置对应的CSI矩阵和活动手势对应的CSI矩阵”包括以下内容：
根据预处理后的CSI数据中的上升沿/下降沿，获取人类活动的开始时间/结束时间；
根据人类活动的开始时间/结束时间，在预处理后的CSI数据中提取得到分割后的活动手势对应的CSI矩阵；
对分割后的活动手势对应的CSI矩阵进行采样，得到n*m维的活动手势对应的CSI矩阵，所述的n表示子载波的个数；所述的m表示分割后的活动手势对应的CSI矩阵中幅度值数据的个数；
对预处理后的CSI数据进行分割，得到分割后的Wi-Fi指纹的位置对应的CSI矩阵；
对分割后的Wi-Fi指纹的位置对应的CSI矩阵进行采样，得到n*m维的Wi-Fi指纹的位置对应的CSI矩阵。
本优选方案中，首先分割出CSI信号中人体活动引起的信号，正确进行人体感知的前提是知道人体行为造成的信号流是什么时候开始和结束的，需要在一系列CSI数据流中确定出哪些是人在某个位置的活动手势引起数据流的变化。人的活动行为对接收Wi-Fi信号的影响要么是幅度波形图中上升的边缘，要么是下降的边缘。在人没有活动的时候，CSI幅度值波形图近似平滑的直线。
在一种优选的方案中，所述的“设置一维卷积神经网络模型”包括以下内容：
将n*m维的活动手势对应的CSI矩阵和n*m维的Wi-Fi指纹的位置对应的CSI矩阵分别作为特诊提取器的输入，分别得到对应的CSI特征图；
将2个CSI特征图分别作为分类器的输入进行分类，并将分类结果通过损失函数计算损失，最后通过反向传播算法来调整网络各层神经元的参数，直到损失函数收敛。
本优选方案中，CSI矩阵中提取到的每一个活动手势的CSI序列长度均不相同，因为活动手势采集数据时长的细小差别会导致分割出来的各个CSI矩阵长度大小不一样。为了方便提取出来的矩阵数据方便输入到神经网络中使用，将分割后的CSI矩阵进行上采样至相同的维度，形成n*m维矩阵。
在一种优选的方案中，所述的特诊提取器包括一维卷积和池化层，卷积层采用1*3的小卷积核，池化层通过尺寸是1*3的均值池化，通过卷积层进行抽象特征提取，通过层对输出的特征图进行下采样，降低输入矩阵的维度，使用均值操作得到局部平均特征。
在一种优选的方案中，所述的损失函数使用的是交叉熵损失函数，公式如下：
Figure BDA0002342251540000041
j∈[1,2,Λ,K],其中为分类的总种类数
在一种优选的方案中，所述的反向传播算法是Adam optimizer算法，所述的Adamoptimizer算法中的β1是0.9；所述的Adam optimizer算法中的β2是0.999，所述的Adamoptimizer算法中的学习率是0.05。
与现有技术相比，本发明技术方案的有益效果是：
1、本发明不需要密集的AP部署，甚至可以与单个AP一起工作，硬件成本低，维护方便，对人的正常生活几乎没有任何不便，十分适合在人口密集以及频繁人体活动的场景下使用；
2、本发明的Wi-Fi感知系统部署较为方便，不需要用户佩戴可穿戴设备，实现用户无感感知；
3、本发明的设计方案实现难度低，CSI数据仅提取出幅度值，并作简单的预处理即可作为深度学习模型的输入，无需传统方法的人为提取CSI信号特征，特征提取交由神经网络来完成，相人为提取的特征更快捷方便。
附图说明
图1为实施例的流程图；
图2为实施例的设备部署示意图；
图3为实施例获取位置的CSI数据示意图；
图4为实施例获取活动手势种类的CSI数据示意图；
图5为实施例经过分割后子载波的CSI幅度图；
图6为实施例对分割后的子载波CSI信息上采样的幅度图；
图7为实施例中30个子载波的CSI幅度图。
具体实施方式
附图仅用于示例性说明，不能理解为对本专利的限制；为了更好说明本实施例，附图某些部件会有省略、放大或缩小，并不代表实际产品的尺寸；
对于本领域技术人员来说，附图中某些公知结构及其说明可能省略是可以理解的。下面结合附图和实施例对本发明的技术方案做进一步的说明。
实施例
如图1所示，一种基于Wi-Fi指纹的定位和活动手势联合识别的交互方法，包括以下步骤：
通过Wi-Fi设备收集Wi-Fi指纹的位置的CSI数据和活动手势的CSI数据；
提取Wi-Fi指纹的位置的CSI数据的振幅值和活动手势的CSI数据的振幅值，并根据同步时间形成CSI数据的一维采样矩阵；用同步线缆将同步时钟和发射、接收天线连接起来，以作同步时间；
对CSI数据的一维采样矩阵进行预处理，去除其中的环境噪声和高频部分；
对预处理后的CSI数据进行分割和上采样，得到Wi-Fi指纹的位置对应的CSI矩阵和活动手势对应的CSI矩阵；
设置一维卷积神经网络模型，对Wi-Fi指纹的位置对应的CSI矩阵和活动手势对应的CSI矩阵进行特征提取，且对Wi-Fi指纹的位置对应的CSI矩阵和活动手势对应的CSI矩阵进行联合分类，并得到相应的位置识别和活动手势识别。
本实施例的工作原理：通过收集在室内Wi-Fi环境下人体活动所产生的CSI信号；对收集到的CSI信号进行预处理，主要是去除环境噪声；然后对预处理后的CSI信号进行分割提取，使CSI信号中仅包含因人体活动产生的无线电信号信息；最后使用深度神经网络对CSI信号中的指纹特征进行提取和模式匹配，实现位置和活动手势的联合识别。
在实施例的基础上，还可以进行以下改进：“提取Wi-Fi指纹的位置的CSI数据的振幅值和活动手势的CSI数据的振幅值”包括以下内容：
通过Wi-Fi设备收集的CSI数据通过下式进行表达：
H(k)＝||H(k)||ej∠||H(k)||
式中，H(k)表示第k个子载波采集的CSI数据；||H(k)||表示第k个子载波的幅度值；∠H(k)为第k个子载波的相位信息。
本改进方案中，Wi-Fi系统建模为：y＝Hx+n
其中y和x分别表示接收和发射的Wi-Fi信号矩阵，H为信道矩阵，n表示环境噪声矩阵；
信道矩阵H是每个子载波信道信息的集合，即：
Figure BDA0002342251540000061
其中n为载波数
在实施例及改进实施例的基础上，还可以进行以下改进：“对CSI数据的一维采样矩阵进行预处理，去除其中的环境噪声和高频部分”包括以下内容：
将CSI数据的一维采样矩阵通过巴特沃斯低通滤波器进行第一部预处理；
将第一部预处理后的CSI数据的一维采样矩阵通过离散小波变换，完成预处理。
本改进方案中，由于Wi-Fi设备的原始CSI数据包含有由多路径传播和硬件噪声引起的噪声，这可能导致虚假的边缘，影响本方法的准确性。由于噪声引起的CSI动力学与人类行为之间存在差异，信号预处理可以滤除干扰噪声，同时在CSI流中保留有用的行为信息细节。
在实施例及改进实施例的基础上，还可以进行以下改进：“对预处理后的CSI数据进行分割和采样，得到Wi-Fi指纹的位置对应的CSI矩阵和活动手势对应的CSI矩阵”包括以下内容：
根据预处理后的CSI数据中的上升沿/下降沿，获取人类活动的开始时间/结束时间；
根据人类活动的开始时间/结束时间，在预处理后的CSI数据中提取得到分割后的活动手势对应的CSI矩阵，如图5所示；
对分割后的活动手势对应的CSI矩阵进行采样，得到n*m维的活动手势对应的CSI矩阵，n表示子载波的个数；m表示分割后的活动手势对应的CSI矩阵中幅度值数据的个数，如图6所示；
对预处理后的CSI数据进行分割，得到分割后的Wi-Fi指纹的位置对应的CSI矩阵；
对分割后的Wi-Fi指纹的位置对应的CSI矩阵进行采样，得到n*m维的Wi-Fi指纹的位置对应的CSI矩阵。
本改进方案中，首先分割出CSI信号中人体活动引起的信号，正确进行人体感知的前提是知道人体行为造成的信号流是什么时候开始和结束的，需要在一系列CSI数据流中确定出哪些是人在某个位置的活动手势引起数据流的变化。人的活动行为对接收Wi-Fi信号的影响要么是幅度波形图中上升的边缘，要么是下降的边缘。在人没有活动的时候，CSI幅度值波形图近似平滑的直线。
在实施例及改进实施例的基础上，还可以进行以下改进：“设置一维卷积神经网络模型”包括以下内容：
将n*m维的活动手势对应的CSI矩阵和n*m维的Wi-Fi指纹的位置对应的CSI矩阵分别作为特诊提取器的输入，分别得到对应的CSI特征图；
将2个CSI特征图分别作为分类器的输入进行分类，并将分类结果通过损失函数计算损失，最后通过反向传播算法来调整网络各层神经元的参数，直到损失函数收敛。
本改进方案中，CSI矩阵中提取到的每一个活动手势的CSI序列长度均不相同，因为活动手势采集数据时长的细小差别会导致分割出来的各个CSI矩阵长度大小不一样。为了方便提取出来的矩阵数据方便输入到神经网络中使用，将分割后的CSI矩阵进行上采样至相同的维度，形成n*m维矩阵。
在实施例及改进实施例的基础上，还可以进行以下改进：特诊提取器包括一维卷积和池化层，卷积层采用1*3的小卷积核，池化层通过尺寸是1*3的均值池化，通过卷积层进行抽象特征提取，通过层对输出的特征图进行下采样，降低输入矩阵的维度，使用均值操作得到局部平均特征。
在实施例及改进实施例的基础上，还可以进行以下改进：损失函数使用的是交叉熵损失函数，公式如下：
Figure BDA0002342251540000071
j∈[1,2,Λ,K],其中为分类的总种类数
在实施例及改进实施例的基础上，还可以进行以下改进：反向传播算法是Adamoptimizer算法，Adam optimizer算法中的β1是0.9；Adam optimizer算法中的β2是0.999，Adam optimizer算法中的学习率是0.05。
测试案例：
使用两个通用软件无线电外设(USRPS)实现了标准IEEE802.11n协议，以收集CSI指纹。USRP主要由主板、子板和Wi-Fi天线组成，用于广播或接收控制下的Wi-Fi信号，装配图如图3所示。本次测试使用Etuss N230来发送和接收Wi-Fi信号以获取CSI指纹信息，同时使用Etuss Clock将发射端和接收端用同步线缆相连，使得发送端和接收端同步。本次测试用的电脑为普通的个人电脑，来控制N230来收发数据包。
在本次测试中，实验人员在搭建了如图2的室内环境后，实验员在如图3所示的各个位置上依次进行如图4所示的活动手势，在每个位置上依次重复执行各手势20次，然后使用GNU radio软件提取2.4GHz频率下所有30个子载波上20MHz带宽的CSI数据。由于本次测试所用的发射天线和接收天线均是单根，所以获取的CSI数据为1×30的复数矩阵，30表示载波数量。实验环境中如图3所示，房间大小为8×8m的文章，每个位置间隔为1m，信号发射器和接收器与最近的位置也是距离1m。
具体测试步骤如下：
步骤一：获取CSI数据；
在上述的实验环境中，实验人员在搭建了如图2的室内环境后，实验员在如图3所示的各个位置上依次进行如图4的活动手势，在每个位置上依次重复执行各手势20次，实验完成后获得CSI原始信息。
步骤二：提取幅度值；
利用公式H(k)＝||H(k)||ej∠||H(k)||提取CSI原始信息中的幅度值，其中||H(k)||表示第k个子载波的幅度值，∠H(k)为第k个子载波的相位信息。
步骤三：数据预处理；
从通用Wi-Fi设备的原始CSI数据包含有由多路径传播和硬件噪声引起的噪声，这可能导致虚假的边缘，影响本方法的准确性。由于噪声引起的CSI动力学与人类行为之间存在差异，信号预处理可以滤除干扰噪声，同时在CSI流中保留有用的行为信息细节。采用巴特沃斯低通滤波器过滤掉CSI数据中大部分高频分量的幅值，再进一步使用离散小波变换，进一步去除环境中引起的高频噪声，得到后面可以使用的CSI幅度值矩阵。
步骤四：分割和上采样；
从步骤三中的CSI矩阵中提取到的每一个活动手势的CSI序列长度均不相同，因为活动手势采集数据时长的细小差别会导致分割出来的各个CSI矩阵长度大小不一样。为了方便提取出来的矩阵数据方便输入到神经网络中使用，将分割后的CSI矩阵进行上采样至相同的维度，形成30×200维矩阵，30表示30个子载波，200表示分割出的CSI幅度值数据的个数，30个子载波的CSI幅度图如图7所示；
步骤五：深度学习模型搭建；
步骤四得到30×200维矩阵作为深度学习模型的输入，神经网络结构由特征提取器和分类器两部分组成。特征提取器中的卷积层使用的卷积核个数为64，核尺寸为1×3，用于提取位置和活动手势的抽象特征。分类器中的卷积层的卷积核个数为128个，核尺寸为1×3，全连接层的神经元个数为96个，即输出有96个种类。
在上述具体实施方式的具体内容中，各技术特征可以进行任意不矛盾的组合，为使描述简洁，未对上述各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
附图中描述位置关系的用语仅用于示例性说明，不能理解为对本专利的限制；
显然，本发明的上述实施例仅仅是为清楚地说明本发明所作的举例，而并非是对本发明的实施方式的限定。对于所属领域的普通技术人员来说，在上述说明的基础上还可以做出其它不同形式的变化或变动。因此无法对所有的实施方式予以穷举。凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明权利要求的保护范围之内。

Claims (10)

1.一种基于Wi-Fi指纹的定位和活动手势联合识别的交互方法，其特征在于，包括以下步骤：
通过Wi-Fi设备收集Wi-Fi指纹的位置的CSI数据和活动手势的CSI数据；
提取Wi-Fi指纹的位置的CSI数据的振幅值和活动手势的CSI数据的振幅值，并根据同步时间形成CSI数据的一维采样矩阵；
对CSI数据的一维采样矩阵进行预处理，去除其中的环境噪声和高频部分；
对预处理后的CSI数据进行分割和上采样，得到Wi-Fi指纹的位置对应的CSI矩阵和活动手势对应的CSI矩阵；
设置一维卷积神经网络模型，对Wi-Fi指纹的位置对应的CSI矩阵和活动手势对应的CSI矩阵进行特征提取，且对Wi-Fi指纹的位置对应的CSI矩阵和活动手势对应的CSI矩阵进行联合分类，并得到相应的位置识别和活动手势识别。
2.根据权利要求1所述的交互方法，其特征在于，所述的“提取Wi-Fi指纹的位置的CSI数据的振幅值和活动手势的CSI数据的振幅值”包括以下内容：
通过Wi-Fi设备收集的CSI数据通过下式进行表达：
H(k)＝||H(k)||ej∠||H(k)||
式中，所述的H(k)表示第k个子载波采集的CSI数据；所述的||H(k)||表示第k个子载波的幅度值；所述的∠H(k)为第k个子载波的相位信息。
3.根据权利要求1或2所述的交互方法，其特征在于，所述的“对CSI数据的一维采样矩阵进行预处理，去除其中的环境噪声和高频部分”包括以下内容：
将CSI数据的一维采样矩阵通过巴特沃斯低通滤波器进行第一部预处理；
将第一部预处理后的CSI数据的一维采样矩阵通过离散小波变换，完成预处理。
4.根据权利要求1或2所述的交互方法，其特征在于，所述的“对预处理后的CSI数据进行分割和采样，得到Wi-Fi指纹的位置对应的CSI矩阵和活动手势对应的CSI矩阵”包括以下内容：
根据预处理后的CSI数据中的上升沿/下降沿，获取人类活动的开始时间/结束时间；
根据人类活动的开始时间/结束时间，在预处理后的CSI数据中提取得到分割后的活动手势对应的CSI矩阵；
对分割后的活动手势对应的CSI矩阵进行采样，得到n*m维的活动手势对应的CSI矩阵，所述的n表示子载波的个数；所述的m表示分割后的活动手势对应的CSI矩阵中幅度值数据的个数；
对预处理后的CSI数据进行分割，得到分割后的Wi-Fi指纹的位置对应的CSI矩阵；
对分割后的Wi-Fi指纹的位置对应的CSI矩阵进行采样，得到n*m维的Wi-Fi指纹的位置对应的CSI矩阵。
5.根据权利要求3所述的交互方法，其特征在于，所述的“对预处理后的CSI数据进行分割和采样，得到Wi-Fi指纹的位置对应的CSI矩阵和活动手势对应的CSI矩阵”包括以下内容：
根据预处理后的CSI数据中的上升沿/下降沿，获取人类活动的开始时间/结束时间；
根据人类活动的开始时间/结束时间，在预处理后的CSI数据中提取得到分割后的活动手势对应的CSI矩阵；
对分割后的活动手势对应的CSI矩阵进行采样，得到n*m维的活动手势对应的CSI矩阵，所述的n表示子载波的个数；所述的m表示分割后的活动手势对应的CSI矩阵中幅度值数据的个数；
对预处理后的CSI数据进行分割，得到分割后的Wi-Fi指纹的位置对应的CSI矩阵；
对分割后的Wi-Fi指纹的位置对应的CSI矩阵进行采样，得到n*m维的Wi-Fi指纹的位置对应的CSI矩阵。
6.根据权利要求4所述的交互方法，其特征在于，所述的“设置一维卷积神经网络模型”包括以下内容：
将n*m维的活动手势对应的CSI矩阵和n*m维的Wi-Fi指纹的位置对应的CSI矩阵分别作为特诊提取器的输入，分别得到对应的CSI特征图；
将2个CSI特征图分别作为分类器的输入进行分类，并将分类结果通过损失函数计算损失，最后通过反向传播算法来调整网络各层神经元的参数，直到损失函数收敛。
7.根据权利要求5所述的交互方法，其特征在于，所述的“设置一维卷积神经网络模型”包括以下内容：
将n*m维的活动手势对应的CSI矩阵和n*m维的Wi-Fi指纹的位置对应的CSI矩阵分别作为特诊提取器的输入，分别得到对应的CSI特征图；
将2个CSI特征图分别作为分类器的输入进行分类，并将分类结果通过损失函数计算损失，最后通过反向传播算法来调整网络各层神经元的参数，直到损失函数收敛。
8.根据权利要求6或7所述的交互方法，其特征在于，所述的特诊提取器包括一维卷积和池化层，卷积层采用1*3的小卷积核，池化层通过尺寸是1*3的均值池化，通过卷积层进行抽象特征提取，通过层对输出的特征图进行下采样，降低输入矩阵的维度，使用均值操作得到局部平均特征。
9.根据权利要求6或7所述的交互方法，其特征在于，所述的反向传播算法是Adamoptimizer算法，所述的Adam optimizer算法中的β1是0.9；所述的Adam optimizer算法中的β2是0.999，所述的Adam optimizer算法中的学习率是0.05。
10.根据权利要求9所述的交互方法，其特征在于，所述的反向传播算法是Adamoptimizer算法，所述的Adam optimizer算法中的β1是0.9；所述的Adam optimizer算法中的β2是0.999，所述的Adam optimizer算法中的学习率是0.05。
CN201911381053.1A 2019-12-27 2019-12-27 一种基于Wi-Fi指纹的定位和活动手势联合识别的交互方法 Active CN111142668B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911381053.1A CN111142668B (zh) 2019-12-27 2019-12-27 一种基于Wi-Fi指纹的定位和活动手势联合识别的交互方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911381053.1A CN111142668B (zh) 2019-12-27 2019-12-27 一种基于Wi-Fi指纹的定位和活动手势联合识别的交互方法

Publications (2)

Publication Number Publication Date
CN111142668A true CN111142668A (zh) 2020-05-12
CN111142668B CN111142668B (zh) 2023-04-18

Family

ID=70521201

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911381053.1A Active CN111142668B (zh) 2019-12-27 2019-12-27 一种基于Wi-Fi指纹的定位和活动手势联合识别的交互方法

Country Status (1)

Country Link
CN (1) CN111142668B (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114764580A (zh) * 2022-06-15 2022-07-19 湖南工商大学 一种基于无穿戴设备的实时人体手势识别方法
KR20230039965A (ko) * 2021-09-15 2023-03-22 한국항공대학교산학협력단 와이파이 신호를 활용한 cnn 기반 사람 행동 인식 시스템 및 방법
CN116347598A (zh) * 2023-05-30 2023-06-27 华南师范大学 一种基于Wi-Fi的室内定位方法和装置

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20180357542A1 (en) * 2018-06-08 2018-12-13 University Of Electronic Science And Technology Of China 1D-CNN-Based Distributed Optical Fiber Sensing Signal Feature Learning and Classification Method
CN109947238A (zh) * 2019-01-17 2019-06-28 电子科技大学 一种基于wifi的非合作式手势识别的方法
CN110288018A (zh) * 2019-06-24 2019-09-27 桂林电子科技大学 一种融合深度学习模型的WiFi身份识别方法
CN110287863A (zh) * 2019-06-24 2019-09-27 桂林电子科技大学 一种基于WiFi信号的手势识别方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20180357542A1 (en) * 2018-06-08 2018-12-13 University Of Electronic Science And Technology Of China 1D-CNN-Based Distributed Optical Fiber Sensing Signal Feature Learning and Classification Method
CN109947238A (zh) * 2019-01-17 2019-06-28 电子科技大学 一种基于wifi的非合作式手势识别的方法
CN110288018A (zh) * 2019-06-24 2019-09-27 桂林电子科技大学 一种融合深度学习模型的WiFi身份识别方法
CN110287863A (zh) * 2019-06-24 2019-09-27 桂林电子科技大学 一种基于WiFi信号的手势识别方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
王俊;郑彤;雷鹏;张原;樵明朗;: "基于卷积神经网络的手势动作雷达识别方法", 北京航空航天大学学报 *

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20230039965A (ko) * 2021-09-15 2023-03-22 한국항공대학교산학협력단 와이파이 신호를 활용한 cnn 기반 사람 행동 인식 시스템 및 방법
KR102659202B1 (ko) * 2021-09-15 2024-04-22 한국항공대학교산학협력단 와이파이 신호를 활용한 cnn 기반 사람 행동 인식 시스템 및 방법
CN114764580A (zh) * 2022-06-15 2022-07-19 湖南工商大学 一种基于无穿戴设备的实时人体手势识别方法
CN116347598A (zh) * 2023-05-30 2023-06-27 华南师范大学 一种基于Wi-Fi的室内定位方法和装置
CN116347598B (zh) * 2023-05-30 2023-08-15 华南师范大学 一种基于Wi-Fi的室内定位方法和装置

Also Published As

Publication number Publication date
CN111142668B (zh) 2023-04-18

Similar Documents

Publication Publication Date Title
US10061389B2 (en) Gesture recognition system and gesture recognition method
CN111142668B (zh) 一种基于Wi-Fi指纹的定位和活动手势联合识别的交互方法
CN110288018B (zh) 一种融合深度学习模型的WiFi身份识别方法
CN106407905B (zh) 基于机器学习的无线感知动作识别方法
CN110287863B (zh) 一种基于WiFi信号的手势识别方法
Zhang et al. Wifi-id: Human identification using wifi signal
CN110502105B (zh) 一种基于csi相位差的手势识别系统及识别方法
CN106899968A (zh) 一种基于WiFi信道状态信息的主动非接触身份认证方法
CN109947238B (zh) 一种基于wifi的非合作式手势识别的方法
CN111082879B (zh) 一种基于深度时空模型的wifi感知方法
CN110730473B (zh) 面向WiFi活动识别的信号特征提取方法
CN107862295A (zh) 一种基于WiFi信道状态信息识别面部表情的方法
CN110059612A (zh) 一种基于信道状态信息的位置无关的手势识别方法及系统
Sheng et al. An accurate device-free action recognition system using two-stream network
CN110062378A (zh) 一种手势场景下基于信道状态信息的身份认证方法
CN114639169B (zh) 基于注意力机制特征融合与位置无关的人体动作识别系统
CN114781463A (zh) 一种跨场景鲁棒的室内摔倒无线检测方法及相关设备
Mei et al. WiWave: WiFi-based human activity recognition using the wavelet integrated CNN
CN113743374B (zh) 一种基于信道状态信息呼吸感知的人员身份识别方法
CN110621038B (zh) 一种基于WiFi信号检测步态实现多用户身份识别的方法及装置
Zhang et al. WiNum: A WiFi finger gesture recognition system based on CSI
Chen et al. WiTT: Modeling and the evaluation of table tennis actions based on WIFI signals
CN112883355B (zh) 一种基于rfid和卷积神经网络的非接触式用户身份认证方法
CN110163142B (zh) 实时手势识别方法及系统
CN110619294A (zh) 一种基于rfid系统定制的个性化口型识别方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant