CN114764580A - 一种基于无穿戴设备的实时人体手势识别方法 - Google Patents

一种基于无穿戴设备的实时人体手势识别方法 Download PDF

Info

Publication number
CN114764580A
CN114764580A CN202210671648.6A CN202210671648A CN114764580A CN 114764580 A CN114764580 A CN 114764580A CN 202210671648 A CN202210671648 A CN 202210671648A CN 114764580 A CN114764580 A CN 114764580A
Authority
CN
China
Prior art keywords
gesture
fingerprint
data
human body
similarity
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210671648.6A
Other languages
English (en)
Inventor
李小龙
欧迎香
董莉
史庆宇
张新玉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hunan University of Technology
Original Assignee
Hunan University of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hunan University of Technology filed Critical Hunan University of Technology
Priority to CN202210671648.6A priority Critical patent/CN114764580A/zh
Publication of CN114764580A publication Critical patent/CN114764580A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2218/00—Aspects of pattern recognition specially adapted for signal processing
    • G06F2218/02—Preprocessing
    • G06F2218/04—Denoising
    • G06F2218/06—Denoising by applying a scale-space analysis, e.g. using wavelet analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W24/00—Supervisory, monitoring or testing arrangements
    • H04W24/08—Testing, supervising or monitoring using real traffic
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2218/00—Aspects of pattern recognition specially adapted for signal processing
    • G06F2218/08—Feature extraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2218/00—Aspects of pattern recognition specially adapted for signal processing
    • G06F2218/12—Classification; Matching

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Engineering & Computer Science (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Computation (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Signal Processing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Collating Specific Patterns (AREA)

Abstract

本发明公开了一种基于无穿戴设备的实时人体手势识别方法，涉及无线通信、WiFi感知和人体动作识别领域，包括如下步骤：构建本地手势指纹数据库；接收端实时获取执行手势动作时的CSI数据，并对采集的数据进行数据预处理、天线选择、特征提取形成手势指纹；计算待识别手势指纹和与指纹数据库中各条指纹记录的相似度，提出使用加权欧氏距离作为相似度衡量指标，利用最大相似度进行匹配分类，进而给出分类结果。本发明利用CSI幅值的统计特征作为手势指纹，减少了系统计算量；充分利用多个子载波的数据，增加数据多样性；多天线的利用提升了无线感知的空间分辨能力，敏感天线选择又在降低数据维度的同时提升了系统的识别性能。

Description

一种基于无穿戴设备的实时人体手势识别方法
技术领域
本发明涉及无线通信、WiFi感知和人体动作识别领域，具体是一种基于无穿戴设备的实时人体手势识别方法。
背景技术
人类手势识别是智能家居、安全监视和虚拟现实等应用领域发展的核心推动力，特别是在需要人机交互的某些领域。随着科技的不断发展、用户需求的不断提升以及人们对生活品质的高要求，愈发能够彰显手势识别研究的重大价值，因此许多学者一直在探索更有效、更精确、鲁棒性更强的手势识别方式。
目前存在许多不同的人体手势识别技术，基于设备的手势识别（主动式）需要用户携带传感设备，而基于无穿戴设备的手势识别（被动式）不用另外配备传感设备，在基于设备的手势识别方法中，利用可穿戴传感器或身体接触设备通过捕获信号来实现用户手势活动的感知。但是这种方法没有被广泛应用，因为要求用户配备额外传感设备，对用户不友好，使用成本过高。
被动式识别方法与主动式方法相比拥有更多优点，包括能够更加便捷的实现、无需携带额外设备以及应用成本低，被动式识别方法又主要存在基于视觉图像与无线信号两种。其中，基于视觉图像的手势识别系统可以通过光学传感器从不同的角度捕获目标图像实现精确的跟踪和识别。虽然这些设备的识别精确度很高，但这些设备的使用会给参与者带来舒适问题和隐私威胁，并且这种方法易受光线条件和遮挡状况的影响。基于无线信号的手势识别主要利用环境中广泛存在的WiFi信号，无需额外部署信号采集设备或者摄像设备就可实现活动感知，与基于传感器和视觉图像的识别方法相比，利用WiFi信号进行感知识别成本低、能够保护用户隐私、不易受光照和视距条件影响、适用范围广。但是现有的一些WiFi手势识别技术存在一些不足：由于WiFi信号的不稳定性，多次重复执行相同手势动作得到的信号波形图存在极大差异，不使用复杂的神经网络结构和大量数据，很难从信号中学习到手势特征。因此基于深度学习的方法存在训练成本高、模型设计复杂、数据样本不足易引起感知性能下降等问题；而传统的指纹数据库匹配方法只使用了部分子载波或者直接融合多个子载波的数据，丢失了重要的手势信息或导致数据失真；直接利用信号幅值作为手势指纹，导致系统计算量过大。
为此，本发明提出一种基于无穿戴设备的实时人体手势识别方法。
发明内容
本发明旨在至少解决现有技术中存在的技术问题之一。为此，本发明提出一种基于无穿戴设备的实时人体手势识别方法，该一种基于无穿戴设备的实时人体手势识别方法利用多个子载波CSI幅值的统计特征作为手势指纹进行匹配分类，无需设计复杂模型结构，减少系统计算量的同时提升手势识别准确率。
为实现上述目的，根据本发明的第一方面的实施例提出一种基于无穿戴设备的实时人体手势识别方法，一种基于无穿戴设备的实时人体手势识别方法，包括如下步骤：
步骤1，在收发设备之间执行手势动作，采集数据构建本地手势指纹数据库；
步骤2，接收端实时获取人体执行手势动作时的CSI数据，并对采集的数据进行数据预处理、天线选择、特征提取形成手势指纹；
步骤3，计算待识别手势指纹和与指纹数据库中各条指纹记录的相似度，使用加权欧氏距离作为相似度衡量指标，利用最大相似度进行匹配分类，进而给出分类结果，通过识别手势类型实现对设备的控制。
优选的，步骤1具体为：
步骤1.1：在室内场所中选择一个合适的区域，在该区域内放置一个WiFi信号发射端，然后在固定的位置放置带有多根天线的接收端设备，发射端和接收端设备均为支持Intel 5300系列网卡的设备，均设置其工作于Monitor模式下。
人在检测区域内的固定位置和固定方向以一定摆动幅度和运动速率执行规定的四类手势动作，每类动作重复执行多次，接收端设备采集人体执行手势动作时的CSI信号，总共得到执行P次手势动作时采集到的P个存储CSI数据的.dat格式文件。
步骤1.2：从P个.dat格式文件中提取P条手势指纹记录存储到本地数据库中。
对于每个.dat格式文件，都执行以下步骤：
（1）通过Linux-CSI-Tool工具从.dat文件中提取CSI矩阵，从CSI矩阵中提取出幅值信息；
（2）对幅值信息进行数据预处理，利用Hampel滤波去除信号离群点和离散小波变换去除信号的各种噪声；
（3）利用动态自适应天线选择算法选择每个手势动作中2根更敏感天线的数据；
（4）通过随机森林算法计算出多种常用统计特征的重要性评分，根据重要性评分结果来选择最有效的一些统计特征，本发明选择CSI幅值的方差、最大值、最小值、中位数作为每个手势动作的指纹。
步骤1.3：手势指纹定义为
Figure 831318DEST_PATH_IMAGE002
，其中
Figure 621857DEST_PATH_IMAGE004
代表指纹
Figure 145243DEST_PATH_IMAGE006
第m个子载波的向量，
Figure 762038DEST_PATH_IMAGE004
是一个4维向量，
Figure 3663DEST_PATH_IMAGE008
，
Figure 278787DEST_PATH_IMAGE010
分别为第i条手势指纹的第m个子载波的方差、最大值、最小值、中位数，每条手势指纹的动作类别标签为
Figure 859941DEST_PATH_IMAGE012
，离线阶段构建的本地指纹数据库由P条手势指纹记录
Figure 195107DEST_PATH_IMAGE014
和相应类别标签
Figure 110979DEST_PATH_IMAGE016
构成。
优选的，步骤2具体为：
步骤2.1：在步骤1.1的相同区域内，发射端和接收端设置方法和步骤1.1中的相同，人在步骤1.1中设置的固定位置、固定方向执行四种动作种的一种，接收端接收发射端发送的数据，并将采集的数据发送给服务器，服务器对这些数据进行步骤（1）、（2）、（3）、（4）的处理得到手势指纹。
优选的，步骤3具体为：
步骤3.1：通过以下方式计算指纹
Figure 100002_DEST_PATH_IMAGE017
和指纹
Figure 100002_DEST_PATH_IMAGE019
之间的相似度，首先利用本发明提出的加权欧氏距离
Figure 100002_DEST_PATH_IMAGE021
计算两个手势指纹单个子载波之间的相似度，利用
Figure 100002_DEST_PATH_IMAGE023
融合两个手势的多个子载波之间的部分相似度，得到两个手势指纹的整体相似度：
Figure 100002_DEST_PATH_IMAGE025
Figure 100002_DEST_PATH_IMAGE027
其中
Figure 100002_DEST_PATH_IMAGE029
、
Figure 100002_DEST_PATH_IMAGE031
、
Figure 100002_DEST_PATH_IMAGE033
分别是四个特征方差、最大值、最小值、中位数的权重，本发明将四个特征的权重赋值为四个特征的重要性评分。
步骤3.2：将待分类手势指纹和指纹数据库中所有手势指纹进行匹配分类。
计算N与指纹数据库中各条指纹记录的相似度，其中
Figure 100002_DEST_PATH_IMAGE035
表示第
Figure 441991DEST_PATH_IMAGE035
条指纹记录，然后对这些相似度进行排序，找出其中相似度最大的指纹记录对应的手势类别即可判断为待分类手势动作的手势类别。最终待分类手势判定为:
Figure 100002_DEST_PATH_IMAGE037
Figure 100002_DEST_PATH_IMAGE039
步骤3中本发明提出的动态自适应天线选择算法具体为：
设维度为1×3×30的CSI幅值数据流格式如下，记为
Figure 100002_DEST_PATH_IMAGE041
，
Figure 100002_DEST_PATH_IMAGE043
代表第N个接收天线接收到的信号，n为子载波数目：
Figure 100002_DEST_PATH_IMAGE045
Figure 100002_DEST_PATH_IMAGE047
Figure 100002_DEST_PATH_IMAGE049
首先计算每根天线的30个子载波在一段时间的振幅平均值，得到1×90的
Figure 100002_DEST_PATH_IMAGE051
，其中L为子载波中数据包的个数（采样点数目）。
Figure 100002_DEST_PATH_IMAGE053
计算每根天线的30个子载波在一段时间的振幅方差:
Figure DEST_PATH_IMAGE055
。
计算90个子载波的振幅方差值与振幅平均值的比值。
Figure DEST_PATH_IMAGE057
计算每根天线的平均比值得到
Figure DEST_PATH_IMAGE059
，对
Figure 313870DEST_PATH_IMAGE059
进行排序，最敏感的天线具有最大的
Figure 23200DEST_PATH_IMAGE059
值，次敏感天线有第二大的
Figure 973838DEST_PATH_IMAGE059
值，从而达到获取敏感天线的目的。
与现有技术相比，本发明的有益效果是：
本发明基于指纹数据库匹配的方法无需使用训练神经网络模型，所需采集的数据量小，节省了数据采集时间，手势识别准确率高，通过简单的方法实现了实时手势识别。
本发明利用CSI幅值的统计特征作为手势指纹，减少了系统计算量；充分利用多个子载波的数据，增加数据多样性；多天线的利用提升了无线感知的空间分辨能力，敏感天线选择又在降低数据维度的同时提升了系统的识别性能。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明中记载的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为Hampel滤波去除异常点流程图；
图2为Hampel滤波去除异常点前后的对比图；
图3为离散小波变换去噪流程图；
图4为离散小波变换去噪效果图；
图5为计算统计特征重要性评分结果图；
图6为实现手势分类的流程图；
图7为生成指纹数据库的流程图。
具体实施方式
下面将结合实施例对本发明的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。
本发明提供一种基于无穿戴设备的实时人体手势识别方法，主要是识别Push&Pull、Sweep、Clap、Slide这四种手势动作。
一种基于无穿戴设备的实时人体手势识别方法具体包括如下步骤：
步骤1，在收发设备之间执行手势动作，采集数据构建本地手势指纹数据库；
步骤2，接收端实时获取人体执行手势动作时的CSI数据，并对采集的数据进行数据预处理、天线选择、特征提取形成手势指纹；
步骤3，计算待识别手势指纹和与指纹数据库中各条指纹记录的相似度，使用加权欧氏距离作为相似度衡量指标，利用最大相似度进行匹配分类，进而给出分类结果，通过识别手势类型实现对设备的控制。
其中，步骤1具体为：
步骤1.1：在室内场所中选择一个合适的区域，在该区域内放置一个WiFi信号发射端，然后在固定的位置放置带有多根天线的接收端设备，发射端和接收端设备均为支持Intel 5300系列网卡的设备，均设置其工作于Monitor模式下。
在一个具体的实施例中，本发明使用一个路由器作为发射端，使用一台笔记本电脑作为接收端，发射端和接收端设备均安装Linux-CSI-Tool开源工具，分别在注入模式和监听模式下工作，发射端不断向无线信道注入数据，接收端接收数据并利用Linux-CSI-Tool提取CSI。
在Linux系统里，通过echo命令设置发射端使用一根天线，接收端使用三根天线。发射端以1000 packet/s的速率发送数据包，执行一次手势动作时，接收端每次接收到1×3×30个子载波的CSI数据。
人在检测区域内的固定位置和固定方向以一定摆动幅度和运动速率执行规定的四类手势动作，每类动作重复执行多次，接收端设备采集人体执行手势动作时的CSI信号，总共得到执行P次手势动作时采集到的P个存储CSI数据的.dat格式文件；从P个.dat格式文件中提取P条手势指纹记录存储到本地数据库中。
对于每个.dat格式文件，都执行以下步骤：
（1）通过Linux-CSI-Tool工具从.dat文件中提取CSI矩阵，从CSI矩阵中提取出幅值信息；
（2）对幅值信息进行数据预处理，利用Hampel滤波去除信号离群点和离散小波变换去除信号的各种噪声；
（3）利用动态自适应天线选择算法选择每个手势动作中2根更敏感天线的数据；
（4）通过随机森林算法计算出多种常用统计特征的重要性评分，根据重要性评分结果来选择最有效的一些统计特征，本发明选择CSI幅值的方差、最大值、最小值、中位数作为每个手势动作的指纹。
接收端采集到数据后，再从CSI数据中提取手势指纹。在离线阶段时，采集数据形成指纹数据库；在在线识别阶段，采集待分类手势的CSI数据，生成待分类手势指纹，将它与指纹数据库中手势指纹进行匹配，找到待分类指纹和指纹数据库中相似度最大的模板指纹，实现分类。
步骤1.3：手势指纹定义为
Figure 856344DEST_PATH_IMAGE061
，其中
Figure 398708DEST_PATH_IMAGE063
代表指纹
Figure 341256DEST_PATH_IMAGE065
第m个子载波的向量，
Figure 716874DEST_PATH_IMAGE063
是一个4维向量，
Figure 137491DEST_PATH_IMAGE067
，
Figure 797011DEST_PATH_IMAGE069
分别为第i条手势指纹的第m个子载波的方差、最大值、最小值、中位数，每条手势指纹的动作类别标签为
Figure 910461DEST_PATH_IMAGE071
，离线阶段构建的本地指纹数据库由P条手势指纹记录
Figure 773375DEST_PATH_IMAGE073
和相应类别标签
Figure 997683DEST_PATH_IMAGE075
构成。
优选的，步骤2具体为：
步骤2.1：在步骤1.1的相同区域内，发射端和接收端设置方法和步骤1.1中的相同，人在步骤1.1中设置的固定位置、固定方向执行四种动作种的一种，接收端接收发射端发送的数据，并将采集的数据发送给服务器，服务器对这些数据进行步骤（1）、（2）、（3）、（4）的处理得到手势指纹。
优选的，步骤3具体为：
步骤3.1：通过以下方式计算指纹
Figure 59179DEST_PATH_IMAGE076
和指纹
Figure 530481DEST_PATH_IMAGE078
之间的相似度，首先利用本发明提出的加权欧氏距离
Figure DEST_PATH_IMAGE080
计算两个手势指纹单个子载波之间的相似度，利用
Figure DEST_PATH_IMAGE082
融合两个手势的多个子载波之间的部分相似度，得到两个手势指纹的整体相似度：
Figure 880691DEST_PATH_IMAGE083
Figure DEST_PATH_IMAGE084
其中
Figure DEST_PATH_IMAGE086
、
Figure DEST_PATH_IMAGE088
、
Figure DEST_PATH_IMAGE090
分别是四个特征方差、最大值、最小值、中位数的权重，本发明将四个特征的权重赋值为四个特征的重要性评分。
步骤3.2：将待分类手势指纹和指纹数据库中所有手势指纹进行匹配分类。
计算N与指纹数据库中各条指纹记录的相似度，其中
Figure 830061DEST_PATH_IMAGE035
表示第
Figure 404787DEST_PATH_IMAGE035
条指纹记录，然后对这些相似度进行排序，找出其中相似度最大的指纹记录对应的手势类别即可判断为待分类手势动作的手势类别。最终待分类手势判定为:
Figure 594459DEST_PATH_IMAGE037
Figure DEST_PATH_IMAGE091
步骤3中本发明提出的动态自适应天线选择算法具体为：
设维度为1×3×30的CSI幅值数据流格式如下，记为
Figure DEST_PATH_IMAGE093
，
Figure DEST_PATH_IMAGE095
代表第N个接收天线接收到的信号，n为子载波数目：
Figure DEST_PATH_IMAGE096
Figure DEST_PATH_IMAGE097
Figure DEST_PATH_IMAGE098
首先计算每根天线的30个子载波在一段时间的振幅平均值，得到1×90的
Figure DEST_PATH_IMAGE100
，其中L为子载波中数据包的个数（采样点数目）。
Figure DEST_PATH_IMAGE101
计算每根天线的30个子载波在一段时间的振幅方差:
Figure DEST_PATH_IMAGE103
。
计算90个子载波的振幅方差值与振幅平均值的比值。
Figure 743550DEST_PATH_IMAGE057
计算每根天线的平均比值得到
Figure DEST_PATH_IMAGE105
，对
Figure 247344DEST_PATH_IMAGE105
进行排序，最敏感的天线具有最大的
Figure 735963DEST_PATH_IMAGE105
值，次敏感天线有第二大的
Figure 96537DEST_PATH_IMAGE105
值，从而达到获取敏感天线的目的。
图1为本发明对CSI幅值数据利用Hampel滤波进行离群点去除的流程图。
对于CSI幅值序列
Figure DEST_PATH_IMAGE107
，计算E的中值d，然后计算E中每一个值和d的绝对中位值偏差，即
Figure DEST_PATH_IMAGE109
,如果绝对中位值偏差不在阈值范围内，该点认定为异常点，那么使用计算得到的中值来代替该离群值。
图2为利用Hampel滤波对CSI幅值数据行离群点去除的结果图。
图3为离散小波变换去噪流程图。小波去噪主要按照以下三个步骤进行：
1）首先是选取一个合适的小波基函数进行小波分解，然后确定小波分解的层次N，计算带有噪声的CSI信号在第N层的小波分解结果。
2）接着阈值化处理高频信号的细节系数，对于第一层到第N层，都选择一个合适的阈值，对细节系数进行阈值处理。
3）根据N层的原始近似系数和第一层到第N层修正细节系数，对分解后的信号进行小波重构，恢复去噪后的原始信号。本发明中选择的小波函数为Symlet小波，阈值化处理方式是软阈值处理，阈值选取方法是Sqtwolog阈值，小波分解的层数是4层。
图4为离散小波变换去噪效果图。
图5为计算统计特征重要性评分结果图。
利用随机森林算法，得到了CSI幅值的方差、中位数、最大值、最小值、频率峰值、信号能量、平均数、幅度、偏度、四分位数、峰度各个特征的重要性得分。根据得分进行排序，选择出得分最高的一些特征，本发明选择多个子载波CSI幅值的方差、最大值、最小值和中位数四个特征值作为手势指纹。
图6为实现手势分类的流程图。
接收端进行如下处理：
从采集的一个待分类手势样本的.dat数据文件提取CSI矩阵，计算出CSI幅值。
使用Hampel滤波去除离群点，使用离散小波变换去噪，利用动态自适应天线算法选择敏感天线数据，计算方差、最大值、最小值、中位数四个特征作为待分类手势指纹。
与指纹数据库各条手势指纹进行匹配，分别计算相似度，找到指纹数据库中相似度最大的模板手势指纹，输出模板手势指纹的手势类别作为待分类手势的类别。
图7为生成指纹数据库的流程图。
接收端进行如下处理：
从采集的N个手势样本的.dat数据文件提取CSI矩阵，并生成相应手势类别标签，计算出CSI幅值。
使用Hampel滤波去除离群点，使用离散小波变换去噪，利用动态自适应天线算法选择敏感天线数据。
计算方差、中位数、最大值、最小值、频率峰值、信号能量、平均数、幅度、偏度、四分位数、峰度共11个统计特征，利用随机森林算法计算这些统计特征重要性评分。选择方差、最大值、最小值、中位数四个特征作为手势指纹，将N条手势指纹和相应手势标签存储进本地数据库。
利用以上基于指纹数据库匹配的手势识别方法在4种手势上的识别平均精度达到94.4%。Push&Pull、Sweep、Clap、Slide四种手势的识别准确率分别为89%、94%、94%、100%。
上述公式均是去除量纲取其数值计算，公式是由采集大量数据进行软件模拟得到最接近真实情况的一个公式，公式中的预设参数和预设阈值由本领域的技术人员根据实际情况设定或者大量数据模拟获得。
以上实施例仅用以说明本发明的技术方法而非限制，尽管参照较佳实施例对本发明进行了详细说明，本领域的普通技术人员应当理解，可以对本发明的技术方法进行修改或等同替换，而不脱离本发明技术方法的精神和范围。

Claims (6)

1.一种基于无穿戴设备的实时人体手势识别方法，其特征在于，包括如下步骤：
步骤一：在收发设备之间执行手势动作，采集数据构建本地手势指纹数据库；
步骤二：接收端实时获取人体执行手势动作时的CSI数据，对采集的数据进行数据预处理、天线选择、特征提取形成手势指纹；
其中，从CSI矩阵中提取出幅值信息；
对幅值信息进行数据预处理，利用Hampel滤波去除信号离群点和离散小波变换去除信号的各种噪声；
利用动态自适应天线选择算法选择每个手势动作中两个敏感天线的数据；
通过随机森林算法计算出多种常用统计特征的重要性评分，根据重要性评分结果来选择若干手势指纹；若干手势指纹分别为CSI幅值信息中的方差、最大值、最小值、中位数；
步骤三：计算待识别手势指纹和与指纹数据库中各条指纹记录的相似度，使用加权欧氏距离作为相似度衡量指标，利用最大相似度进行匹配分类，进而给出分类结果。
2.根据权利要求1所述的一种基于无穿戴设备的实时人体手势识别方法，其特征在于，在室内场所中选择检测区域，在该检测区域内放置一个WiFi信号发射端，在固定的位置放置带有若干天线的接收端设备；
人在检测区域内的固定位置和固定方向以固定摆动幅度和运动速率执行规定的手势动作，每类动作重复执行多次；
接收端设备采集人体执行手势动作时的CSI信号，总共得到执行P次手势动作时采集到的P个存储CSI数据的.dat格式文件；
从P个.dat格式文件中提取P条手势指纹记录存储到本地数据库中。
3.根据权利要求2所述的一种基于无穿戴设备的实时人体手势识别方法，其特征在于，手势指纹定义为
Figure 657879DEST_PATH_IMAGE002
，其中
Figure 640266DEST_PATH_IMAGE004
代表指纹
Figure 420003DEST_PATH_IMAGE006
第m个子载波的向量，
Figure 877529DEST_PATH_IMAGE004
是一个4维向量，
Figure 691902DEST_PATH_IMAGE008
，
Figure 576681DEST_PATH_IMAGE010
分别为第i条手势指纹的第m个子载波的方差、最大值、最小值、中位数，每条手势指纹的动作类别标签为
Figure 843714DEST_PATH_IMAGE012
，离线阶段构建的本地指纹数据库由P条手势指纹记录
Figure 104931DEST_PATH_IMAGE014
和相应类别标签
Figure 773810DEST_PATH_IMAGE016
构成。
4.根据权利要求3所述的一种基于无穿戴设备的实时人体手势识别方法，其特征在于，WiFi信号发射端和接收端设备均为支持Intel 5300系列网卡的设备，均设置其工作于Monitor模式下。
5.根据权利要求4所述的一种基于无穿戴设备的实时人体手势识别方法，其特征在于，步骤三通过以下方式计算指纹
Figure DEST_PATH_IMAGE017
和指纹
Figure DEST_PATH_IMAGE019
之间的相似度：
利用加权欧氏距离
Figure DEST_PATH_IMAGE021
计算两个手势指纹单个子载波之间的相似度；
再利用
Figure DEST_PATH_IMAGE023
融合两个手势的多个子载波之间的部分相似度，得到两个手势指纹的整体相似度：
Figure DEST_PATH_IMAGE025
Figure DEST_PATH_IMAGE027
其中
Figure DEST_PATH_IMAGE029
、
Figure DEST_PATH_IMAGE031
、
Figure DEST_PATH_IMAGE033
分别是四个特征的权重；
将待分类手势指纹和指纹数据库中所有手势指纹进行匹配分类；
计算待分类手势指纹与指纹数据库中各条指纹记录的相似度，其中i表示第i条指纹记录，然后对这些相似度进行排序，找出其中相似度最大的指纹记录对应的手势类别即判断为待分类手势动作的手势类别。
6.根据权利要求5所述的一种基于无穿戴设备的实时人体手势识别方法，其特征在于，动态自适应天线选择算法为：
设维度为1×3×30的CSI幅值数据流格式，记为
Figure DEST_PATH_IMAGE035
，
Figure DEST_PATH_IMAGE037
代表第N个接收天线接收到的信号，n为子载波数目：
Figure DEST_PATH_IMAGE039
Figure DEST_PATH_IMAGE041
Figure DEST_PATH_IMAGE043
计算每根天线的30个子载波在一段时间的振幅平均值，得到1×90的
Figure DEST_PATH_IMAGE045
，其中L为子载波中数据包的个数；
Figure DEST_PATH_IMAGE047
计算每根天线的30个子载波在一段时间的振幅方差；
Figure DEST_PATH_IMAGE049
计算90个子载波的振幅方差值与振幅平均值的比值；
Figure DEST_PATH_IMAGE051
计算每根天线的平均比值得到
Figure DEST_PATH_IMAGE053
，对
Figure 404991DEST_PATH_IMAGE053
进行排序，最敏感的天线具有最大的
Figure 159321DEST_PATH_IMAGE053
值，次敏感天线有第二大的
Figure 958649DEST_PATH_IMAGE053
值，从而获取敏感天线。
CN202210671648.6A 2022-06-15 2022-06-15 一种基于无穿戴设备的实时人体手势识别方法 Pending CN114764580A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210671648.6A CN114764580A (zh) 2022-06-15 2022-06-15 一种基于无穿戴设备的实时人体手势识别方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210671648.6A CN114764580A (zh) 2022-06-15 2022-06-15 一种基于无穿戴设备的实时人体手势识别方法

Publications (1)

Publication Number Publication Date
CN114764580A true CN114764580A (zh) 2022-07-19

Family

ID=82364749

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210671648.6A Pending CN114764580A (zh) 2022-06-15 2022-06-15 一种基于无穿戴设备的实时人体手势识别方法

Country Status (1)

Country Link
CN (1) CN114764580A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116304844A (zh) * 2023-05-23 2023-06-23 山东科技大学 一种人员进出计数统计系统及方法

Citations (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107180223A (zh) * 2017-04-10 2017-09-19 南京苗米科技有限公司 基于wifi无线信号的动作识别方法和系统
CN109766951A (zh) * 2019-01-18 2019-05-17 重庆邮电大学 一种基于时频统计特性的WiFi手势识别
CN109768838A (zh) * 2018-12-29 2019-05-17 西北大学 一种基于WiFi信号的干扰检测及手势识别方法
CN110046585A (zh) * 2019-04-19 2019-07-23 西北工业大学 一种基于环境光的手势识别方法
CN110059612A (zh) * 2019-04-15 2019-07-26 哈尔滨工程大学 一种基于信道状态信息的位置无关的手势识别方法及系统
CN110458118A (zh) * 2019-08-14 2019-11-15 南京邮电大学 基于信道状态信息的简单手语识别方法
CN110502105A (zh) * 2019-07-08 2019-11-26 南京航空航天大学 一种基于csi相位差的手势识别系统及识别方法
CN111142668A (zh) * 2019-12-27 2020-05-12 中山大学 一种基于Wi-Fi指纹的定位和活动手势联合识别的交互方法
CN111262637A (zh) * 2020-01-15 2020-06-09 湖南工商大学 一种基于Wi-Fi信道状态信息CSI的人体行为识别方法
CN113033351A (zh) * 2021-03-11 2021-06-25 西北大学 一种基于视频分析的csi感知识别方法
CN113534946A (zh) * 2020-04-17 2021-10-22 北京大学 一种无接触手势识别方法
CN113609976A (zh) * 2021-08-04 2021-11-05 燕山大学 一种基于WiFi设备的方向敏感多手势识别系统及方法
CN114333044A (zh) * 2020-09-27 2022-04-12 天津科技大学 一种非接触式连续行为感知方法
CN114423034A (zh) * 2021-11-29 2022-04-29 西安电子科技大学 一种室内人员动作识别方法、系统、介质、设备及终端

Patent Citations (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107180223A (zh) * 2017-04-10 2017-09-19 南京苗米科技有限公司 基于wifi无线信号的动作识别方法和系统
CN109768838A (zh) * 2018-12-29 2019-05-17 西北大学 一种基于WiFi信号的干扰检测及手势识别方法
CN109766951A (zh) * 2019-01-18 2019-05-17 重庆邮电大学 一种基于时频统计特性的WiFi手势识别
CN110059612A (zh) * 2019-04-15 2019-07-26 哈尔滨工程大学 一种基于信道状态信息的位置无关的手势识别方法及系统
CN110046585A (zh) * 2019-04-19 2019-07-23 西北工业大学 一种基于环境光的手势识别方法
CN110502105A (zh) * 2019-07-08 2019-11-26 南京航空航天大学 一种基于csi相位差的手势识别系统及识别方法
CN110458118A (zh) * 2019-08-14 2019-11-15 南京邮电大学 基于信道状态信息的简单手语识别方法
CN111142668A (zh) * 2019-12-27 2020-05-12 中山大学 一种基于Wi-Fi指纹的定位和活动手势联合识别的交互方法
CN111262637A (zh) * 2020-01-15 2020-06-09 湖南工商大学 一种基于Wi-Fi信道状态信息CSI的人体行为识别方法
CN113534946A (zh) * 2020-04-17 2021-10-22 北京大学 一种无接触手势识别方法
CN114333044A (zh) * 2020-09-27 2022-04-12 天津科技大学 一种非接触式连续行为感知方法
CN113033351A (zh) * 2021-03-11 2021-06-25 西北大学 一种基于视频分析的csi感知识别方法
CN113609976A (zh) * 2021-08-04 2021-11-05 燕山大学 一种基于WiFi设备的方向敏感多手势识别系统及方法
CN114423034A (zh) * 2021-11-29 2022-04-29 西安电子科技大学 一种室内人员动作识别方法、系统、介质、设备及终端

Non-Patent Citations (5)

* Cited by examiner, † Cited by third party
Title
刘颜铭: ""基于WiFi信号的人体行为识别方法研究"", 《中国优秀硕士学位论文全文数据库 信息科技辑》 *
孔金生 等: ""基于Ｗｉ－Ｆｉ信号的人体身份识别算法研究综述"", 《计算机科学》 *
宫琳: "《面向复杂系统设计的大数据管理与分析技术》", 31 December 2020, 长春：吉林大学出版社 *
美)布奇.昆托 著，张小坤 等译: "《基于Spark的下一代机器学习：XGBoost、LightGBM、Spark NLP与Keras分布式深度学习实例》", 31 May 2021, 北京：机械工业出版社 *
董慧颖: "《典型目标识别与图像除雾技术》", 31 July 2016, 北京：国防工业出版社 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116304844A (zh) * 2023-05-23 2023-06-23 山东科技大学 一种人员进出计数统计系统及方法
CN116304844B (zh) * 2023-05-23 2023-09-01 山东科技大学 一种人员进出计数统计系统及方法

Similar Documents

Publication Publication Date Title
Lester et al. A hybrid discriminative/generative approach for modeling human activities
CN111103976B (zh) 手势识别方法、装置及电子设备
CN103294199B (zh) 一种基于脸部肌音信号的无声信息识别系统
CN105739688A (zh) 一种基于情感体系的人机交互方法、装置和交互系统
CN109886068B (zh) 基于运动数据的动作行为识别方法
CN109903053B (zh) 一种基于传感器数据进行行为识别的反欺诈方法
Ahmad et al. Inertial sensor data to image encoding for human action recognition
CN112560723A (zh) 一种基于形态识别与速度估计的跌倒检测方法及系统
CN114781463A (zh) 一种跨场景鲁棒的室内摔倒无线检测方法及相关设备
CN114384999B (zh) 基于自适应学习的用户无关肌电手势识别系统
CN114764580A (zh) 一种基于无穿戴设备的实时人体手势识别方法
Infantino et al. A framework for sign language sentence recognition by commonsense context
CN109766951A (zh) 一种基于时频统计特性的WiFi手势识别
CN111913575B (zh) 一种手语词的识别方法
CN112380903A (zh) 一种基于WiFi-CSI信号增强的人体活动识别方法
CN115905945A (zh) 行人动作识别方法、装置、设备及存储介质
Mendes et al. Subvocal speech recognition based on EMG signal using independent component analysis and neural network MLP
CN110163142A (zh) 实时手势识别方法及系统
CN115713806A (zh) 基于视频分类的跌倒行为识别方法及电子设备
CN112597842B (zh) 基于人工智能的运动检测面瘫程度评估系统
CN112863515A (zh) 利用手机扬声器和麦克风识别人体舌头下颚动作的方法
CN112163571A (zh) 电子设备使用者的属性识别方法、装置、设备及存储介质
CN116524612B (zh) 一种基于rPPG的人脸活体检测系统及方法
CN112084852B (zh) 一种基于数据融合的人体轨迹相似行为识别方法
CN113435340B (zh) 基于改进Resnet的实时手势识别方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20220719

RJ01 Rejection of invention patent application after publication