CN115438691A - 一种基于无线信号的小样本手势识别方法 - Google Patents
一种基于无线信号的小样本手势识别方法 Download PDFInfo
- Publication number
- CN115438691A CN115438691A CN202210978371.1A CN202210978371A CN115438691A CN 115438691 A CN115438691 A CN 115438691A CN 202210978371 A CN202210978371 A CN 202210978371A CN 115438691 A CN115438691 A CN 115438691A
- Authority
- CN
- China
- Prior art keywords
- data
- gesture recognition
- class
- small sample
- gesture
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 34
- 238000012549 training Methods 0.000 claims abstract description 33
- 238000012360 testing method Methods 0.000 claims abstract description 22
- 230000009471 action Effects 0.000 claims abstract description 19
- 230000000694 effects Effects 0.000 claims abstract description 7
- 238000012545 processing Methods 0.000 claims abstract description 7
- 230000009467 reduction Effects 0.000 claims abstract description 6
- 238000010276 construction Methods 0.000 claims abstract description 5
- 238000013507 mapping Methods 0.000 claims description 9
- 230000008569 process Effects 0.000 claims description 8
- 238000002474 experimental method Methods 0.000 claims description 6
- 230000033001 locomotion Effects 0.000 claims description 6
- 238000007781 pre-processing Methods 0.000 claims description 6
- 238000005070 sampling Methods 0.000 claims description 6
- 230000008054 signal transmission Effects 0.000 claims description 4
- 230000000295 complement effect Effects 0.000 claims description 3
- 238000011478 gradient descent method Methods 0.000 claims description 3
- 238000010606 normalization Methods 0.000 claims description 3
- 238000013480 data collection Methods 0.000 claims description 2
- 238000013135 deep learning Methods 0.000 abstract description 4
- 238000005516 engineering process Methods 0.000 description 13
- 230000006870 function Effects 0.000 description 10
- 230000003993 interaction Effects 0.000 description 5
- 241000282414 Homo sapiens Species 0.000 description 4
- 238000013528 artificial neural network Methods 0.000 description 3
- 238000001514 detection method Methods 0.000 description 3
- 238000011161 development Methods 0.000 description 3
- 230000008447 perception Effects 0.000 description 3
- 238000013527 convolutional neural network Methods 0.000 description 2
- 230000007547 defect Effects 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 239000000284 extract Substances 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 238000012935 Averaging Methods 0.000 description 1
- 235000010724 Wisteria floribunda Nutrition 0.000 description 1
- 230000002159 abnormal effect Effects 0.000 description 1
- 238000007792 addition Methods 0.000 description 1
- 238000004378 air conditioning Methods 0.000 description 1
- 230000004075 alteration Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004422 calculation algorithm Methods 0.000 description 1
- 238000007635 classification algorithm Methods 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000003066 decision tree Methods 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 238000013136 deep learning model Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 230000005021 gait Effects 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Images
Landscapes
- Image Analysis (AREA)
Abstract
本发明提供了一种基于无线信号的手势识别方法，包括以下步骤：在实验室内部署一个数据采集装置，该装置包括一个发射端和一个接收端；组织m名实验者坐在发射端和接收端中间的位置，做出规定的手势动作，每个手势动作重复n次，进行实验数据的采集；针对采集到的手势数据，提取其CSI的幅值信息，利用离散小波变换进行降噪处理，将处理后的数据集划分为训练集和测试集；构建小样本手势识别模型；构建完成后将训练集放入模型中进行训练，待模型训练完成后用测试集进行测试，查看分类效果。本发明方法解决了传统的深度学习方式中利用大量数据去训练模型的问题，实现了仅用每类很少的样本数量就能识别新的手势类别的目的，此方法大大降低了人工成本。
Description
技术领域
本发明涉及手势识别领域，具体涉及一种基于无线信号的小样本手势识别方法。
背景技术
随着移动互联网和无线通信技术的快速发展，高效的人机交互(Human ComputerInteraction，HCI)在我们的日常生活中发挥着关键作用。人们对智能设备的体验也从传统的人机交互方式逐渐转向更加多样且智能化的方向。例如从最简单的基于文本式的键盘和基于图形的鼠标交互方式逐渐转向为包括人脸识别、指纹识别、手势以及步态识别等等多种媒体和多种模式相结合的新型人机交互方式。手势是一种形象、直观、便于理解、包含丰富信息和具有较强视觉效果的肢体语言，利用不同的手势动作可以传达丰富的信息。例如在智能家居方面可以通过手势控制家庭中的常用电器，电视换台、开关点灯、调节温度灯等，在办公教学领域，利用手势控制PPT的翻页、文档的打开和关闭等。因此进行手势识别技术的研究对于推动HCI技术的发展有着很大的帮助，同时对改善人类生活质量具有重大意义。
常见的手势识别技术主要有三种，一是基于传感器的手势识别，这种方法通过含有特定传感器的可佩戴设备来收集手势的运动数据来判断手势的状态。其中最典型是数据手套的研究，它集成有许多可用于数据采集的传感器，用户佩戴之后，计算机系统就能从这些传感器中获取到人手的位置方向和运动等信息，然后在虚拟环境中模拟再现出手势动作。最早的数据手套是在1983年由来自AT&T的Grimes发明的,国内来自哈工大的吴江琴等人使用集成有18个传感器的Cyber Glove数据手套对中国的手语进行识别，提出了基于监督学习的神经网络和学习判定树的方法，这种方法精确度很高。2014年国内百度公司推出了可穿戴设备Baidu Eye，利用人体的不同运动状态实现了一种新颖的人机交互方式。尽管可穿戴设备能带来较高的准确率，但在一定程度上限制了人们的自由，给生活带来很大的不便性，并且有操作繁琐且价格昂贵等缺点，不宜大规模使用。
二是基于视觉的手势识别，这种方法主要是从包含有手势动作的图像或者视频流中提取特征，利用图像处理技术和计算机视觉的方法来识别手势。相比于基于传感器的手势识别技术，这种方式给人更多的自由，也更加人性化。早在1991年，日本富士通公司在手语识别中已经识别出46个手势符号。2001年，Yang采用了时延神经网络，通过学习手势的运动轨迹，对40个美国手语进行识别，在训练集上的识别率高达99％，在测试集上的识别率达到了96％。2008年，中科院软件所的王西颖提出了一种基于HMM和模糊神经网络相结合的模型结构，在复杂背景下能够识别出其中的动态手势。2009年，Doliotis P等人使用Kinect深度相机来获取手部信息，通过设置阈值的方式将手势从复杂背景中分割出来，然后使用动态时间规整(DTW)对手势进行训练并识别，这是基于视觉的手势识别一个典型应用。2013年，海尔公司展出了一种内置有摄像头的智能空调设备，并且可以通过手势智能地调节温度。2019年，LG发布的G8 Thin Q带来的Air Motion能够实现隔空翻页，后来华为也推出了一款手机可以隔空截图，支持滑动屏幕等基本的操作。相较于数据手套，基于视觉的手势识别方法完全摆脱了穿戴不方便的束缚，但是检测范围小，并且对光线要求高，要求有绝对的LOS，在夜间使用效果差甚至直接不能工作。并且在日常生活方面，一些日常家居等相对敏感的环境中，安装摄像头存在极易泄露用户隐私的风险。尽管基于视觉的手势识别技术取得了非常好的发展，但仍存在很多应用的局限性。
随着网络技术的飞速发展，WiFi设备得以广泛部署与应用，第三种基于无线感知的手势识别技术应运而生，它是通过特定的接收发送设备来获取手势变化的信息。基于WiFi的手势识别技术具有被动感知、无需穿戴设备、成本低、不依赖光照条件、易部署等众多优点，而且WiFi信号包含了一种比之前的RSSI更加细粒度的特征CSI(Channel StateInformation)，它提供了更精细更丰富的信息，在一定程度上描述了信号在传播过程中的衰减情况和信道的多径特性，对运动物体的感知提供了更精细的分辨率。CSI有助于研究手势对信号传播的影响，从而分析手势信号特征,识别出手势动作。因此WiFi信号感知成为手势识别技术中重要的检测手段。
目前，基于无线信号的手势检测技术大部分都是利用传统的深度学习，这种学习方式依赖于大量带标签的样本以及多次的迭代去训练其大量的参数。当样本不充分时，模型的性能会严重下降，造成过拟合问题。在实际应用中，手势类别千变万化，如果用传统的深度学习方式，获取大量带有标签的手势数据需要花费巨大的代价，而且某些手势类别并不存在巨大的数据去适应深度学习模型进行训练。
基于以上内容，本发明提出了一种小样本手势识别模型，以便解决以往手势识别技术中利用深度学习方式来训练模型并且需要大量标记样本的问题。
发明内容
为解决上述问题，本发明提供了一种基于无线信号的小样本手势识别方法，设计合理，解决了现有技术的不足，具有良好的效果。
为了实现发明目的，采用以下技术方案：
一种基于无线信号的小样本手势识别方法，包括以下步骤：
S1、实验环境的部署；
选定一间空旷的实验室，在实验室内部署一个数据采集装置，该装置包括一个发射端和一个接收端，所述发射端为无线路由器，用于发射无线信号，所述接收端为电脑，用于接收并保存来自无线路由器的包含环境信息的CSI数据；
S2、实验数据的采集；
组织m名实验者坐在发射端和接收端中间的位置，位置固定不变，做出规定的手势动作，每个手势动作重复n次，进行实验数据的采集；
S3、数据预处理；
针对S2中采集到的手势数据，提取其CSI的幅值信息，并利用离散小波变换对其进行降噪处理，预处理后的数据构成数据集；
S4、数据集的划分；
将S3中的数据集划分为训练集和测试集，再分别将训练集和测试集中的数据划分为支持集和查询集，支持集用于得出每个类别的类原型，查询集用于计算与类原型的距离，进而得出分类概率；
S5、构建小样本手势识别模型；
S6、将训练集放入构建好的小样本手势识别模型中对其进行训练，待模型训练完成后用测试集进行测试，查看分类效果。
进一步地，在S1中，所述实验室大小为10×15m，无线路由器型号为商用版TP-LINKWDR 6500；
电脑与路由器之间相距1.5m，电脑上安装Ubutu12.04操作系统，配备Intel 5300网卡，且外接有三根天线，天线离地高度为1.2m；电脑通过USB外接两个小音响，手势动作的绘制通过音响发出开始或结束指令来完成；
配置电脑的内核驱动和无线网卡，使无线路由器与电脑之间稳定500HZ的信号传输模式。
进一步地，在S2中，组织6名实验者分别坐在发射端和接收端中间的位置，用右手手指在空中绘制数字0～9以及26个英文字母大小写，总共62类手势动作；
实验者需要在4秒内完成一个手势动作的绘制，音响发出开始指令，实验者开始做出规定的手势动作，4秒后音响发出结束指令，此过程重复50次即完成一个类别的手势动作的数据采集，总共需完成62类手势动作的采集。
进一步地，在S3中，首先将所需要的幅值波动的信息从采集到的CSI数据中分离出来，并利用离散小波变换对其进行去噪处理，分离出有效数据；
离散小波变换为输入信号经过两个互补的滤波器进行分解，得到信号的近似和细节信息，过程为输入信号经过高通滤波器将输入信号的低频部分过滤掉而输出高频部分，再经过降采样滤波器，得到需要过滤掉的高频信息即信号的细节值；输入信号经过低通滤波器，将输入信号的高频部分过滤掉而输出低频部分，再经过降采样滤波器，从而得到需要的有效数据即信号的近似值。
进一步地，在S4中，针对采集到的62类数据，对数据进行预处理后，选取其中36类作为训练集，剩余26类为测试集；
所述支持集包含N-way K-shot，表示从数据集中随机采样N个类别，每个类别采样K个样本；查询集也包含N-way，但样本数由每个类别中除K-shot外的全部或部分剩余样本构成；分别取K为1、5和10进行实验。
进一步地，在S5中，包括以下子步骤：
S51、以原型网络为基础进行小样本手势识别模型的构建；
所述原型网络使用含有四个卷积层的CNN作为一个嵌入模块，利用该嵌入模块学习一个映射函数fφ(x)；将支持集通过fφ(x)映射到嵌入空间内，计算每个类的类原型：
式中，ck表示类k的类原型，Sk表示类k，|Sk|表示类k中样本数量，(xi,yi)为第i个样本和标签；
建立好每个类的原型后，将查询集通过fφ(x)映射到嵌入空间中，求查询点到每个类别的距离，然后使用softmax函数进行归一化操作得到概率，即x属于类k的概率，公式如下：
式中，Pφ(y＝kx)为x属于类k的概率，y为x的真实类别，d(fφ(x),ck)为查询点x到类原型ck的欧氏距离，ck'表示类k'的类原型，d(fφ(x),ck′)为查询点x到类原型ck'的欧式距离；
最后对上述概率取负对数得出损失函数J(φ)：
J(φ)＝-logPφ(y＝k|x)；
得到损失函数J(φ)后，用随机梯度下降法最小化损失函数，得到最优参数φ；
S52、对原型网络改进以完成小样本手势识别模型的构建；
为了进一步提升小样本手势识别的分类精度，对原型网络进行改进，在查询集映射到嵌入空间前，对查询集进行在线数据增强，对其中的数据进行随机翻转，导致每次训练的数据都不一样，间接导致数据量的增加。
进一步地，在S6中，小样本手势识别模型建立完毕后，将训练数据输入到模型中对其进行训练，待模型训练完成后，将测试集输入到小样本手势识别模型中进行测试，得出分类精度。
本发明具有的有益效果是：
本发明提供的基于无线信号的小样本手势识别方法，利用不同的手势动作在无线信号传输过程中会导致不同的信号变化的原理，提取子载波中CSI的幅值信息，用DWT算法对幅值信号作降噪处理。然后进行数据集的划分，以原型网络为基础进行小样本手势识别模型的构建，并在此基础上进行创新，对查询集实施数据增强策略，从而完成小样本手势识别模型的构建，实现基于无线信号的小样本手势识别。此方法解决了以往手势识别技术中需要大量标记样本的问题，实现了仅用每类很少的样本数目就能识别新的手势类别的目的，此方法大大降低了人工成本。
附图说明
图1是本发明中实验环境平面图；
图2是本发明中数据采集装置结构示意图；
图3是本发明中DWT降噪架构图；
图4是本发明中原型网络模型框架示意图；
图5是本发明中当K＝1时的分类精度柱形图；
图6是本发明中当K＝5时的分类精度柱形图；
图7是本发明中当K＝1时的分类精度柱形图；
图8是本发明中当N＝3时的分类精度柱形图；
图9是本发明中当N＝5时的分类精度柱形图；
图10是本发明中当N＝8时的分类精度柱形图；
具体实施方式
下面结合具体实施例对本发明的具体实施方式做进一步说明：
一种基于无线信号的小样本手势识别方法，包括以下步骤：
S1、实验环境的部署；
如图1所示，选定一间空旷的会议室作为实验室，其大小为10m×15m，在实验室内部署一个数据采集装置，如图2所示，用于采集室内WiFi网络设备的CSI数据。该装置包括一个发射端和一个接收端，发射端采用一个型号为商用版TP-LINK WDR 6500的无线路由器，用于发射无线信号，接收端为一台配备有Intel 5300网卡的电脑，电脑上安装Ubutu12.04操作系统，同时外接有三根天线，用于接收并保存来自无线路由器的包含环境信息的CSI数据；电脑通过USB外接有两个小音响，并通过音响发出开始结束指令完成手势动作的绘制。电脑与路由器之间相距1.5m，天线离地高度为1.2m；
配置电脑的内核驱动和无线网卡，使无线路由器与电脑之间稳定500HZ的信号传输模式。
S2、实验数据的采集；
组织6名实验者在实验室中进行数据的采集，实验者坐在发射端和接收端中间的位置，用右手手指在空中绘制数字0～9以及26个英文字母大小写，总共62类手势动作；
实验者需要在4秒内完成一个手势动作的绘制，音响发出开始指令，实验者开始做出规定的手势动作，4秒后音响发出结束指令。此过程重复50次即完成一个类别的手势动作的数据采集。总共需完成62类手势动作的采集。
S3、数据预处理；
由于数据的CSI信息对环境因素特别敏感，容易受到室内环境、无线信号的影响。所以采集到的数据中含有大量高频噪声，所以实验前通常先对高频噪声进行滤波处理。本发明采用离散小波变换(DWT)对采集到的数据进行预处理，消除一些异常数据。首先对S2中采集到的手势数据提取其CSI的幅值信息，再使用DWT对其进行降噪，分离出需要的有效数据A构成数据集。
如图3所示，离散小波变换为输入信号x[n]经过两个互补的滤波器进行分解，得到信号的近似和细节信息，过程为输入信号x[n]经过高通滤波器将输入信号的低频部分过滤掉而输出高频部分h[n]，再经过降采样滤波器↓Q，得到需要过滤掉的高频信息xh即信号的细节值；输入信号经过低通滤波器，将输入信号的高频部分过滤掉而输出低频部分g[n]，再经过降采样滤波器↓Q，从而得到需要的有效数据A即信号的近似值。
S4、数据集的划分；
S2中采集到62类数据，将数据进行预处理以后，选取其中36类作为训练集，剩余26类作为测试集，再分别将训练集和测试集中的数据划分为支持集和查询集，支持集用于得出每个类别的类原型，查询集用于计算与类原型的距离，进而得出分类概率；
所述支持集包含N-way K-shot，表示从数据集中随机采样N个类别，每个类别采样K个样本；查询集包含N-way，样本数由每个类别中除K-shot外的全部或部分剩余样本构成；也就是说支持集和查询集类别相同，但数据不交叉；
当K取值很小才能体现出小样本，通常取1或者5，为了增加实验的对比性，本发明分别取K为1、5和10进行实验。
S5、构建小样本手势识别模型；
S51、以原型网络为基础进行小样本手势识别模型的构建；
在小样本分类问题中，最需要解决的一个问题是数据的过拟合，由于数据过少，一般的分类算法会表现出过拟合的现象，从而导致分类结果与实际结果有较大的误差。为了减少因数据量过少而导致的过拟合的影响，可以使用基于度量的元学习方法，原型网络便是实现元学习的一个简单高效的网络。本发明的手势识别模型以原型网络为基础，其基本思想为：求平均，即利用支持集求出每个类的类原型。
原型网络的整体框架如图4所示，原型网络使用含有四个卷积层的CNN作为一个嵌入模块，利用该嵌入模块学习一个映射函数fφ(x)；将支持集通过fφ(x)映射到嵌入空间内，得出每个类的类原型：
式中，ck表示类k的类原型，Sk表示类k，|Sk|表示类k中样本数量，(xi,yi)为第i个样本和标签；
建立好每个类的原型后，再将查询集通过fφ(x)映射到嵌入空间中，求查询点到每个类别的距离，然后使用softmax函数进行归一化操作得到概率，即x属于类k的概率，公式如下：
式中，Pφ(y＝kx)为x属于类k的概率，y为x的真实类别，d(fφ(x),ck)为查询点x到类原型ck的欧氏距离，ck'表示类k'的类原型，d(fφ(x),ck′)为查询点x到类原型ck'的欧式距离；
最后对上述概率取负对数得出损失函数J(φ)：
J(φ)＝-logPφ(y＝k|x)；
得到损失函数J(φ)后，用随机梯度下降法最小化损失函数，得到最优参数φ；
S52、对原型网络改进以完成小样本手势识别模型的构建；
为了进一步提升小样本手势识别的分类精度，对原型网络进行改进，在查询集映射到嵌入空间前，对查询集进行在线数据增强，实行在线数据增强后并没有实质增加数据量，只是对其中的数据进行随机翻转，导致每次训练的训练数据都不一样，这样就间接导致数据量的增加。它可以实现在不增加数据的情况下，让有限的数据产生更多的价值，进而提高分类精度。实验表明对原型网络进行改进后，小样本手势识别的分类效果有所提升。
从图5～10可以看出，网络改进后精度都有所提升。图中Pro代表只使用原型网络训练模型，Pro+DA代表利用基于数据增强的原型网络实现小样本手势识别。并且从图5～7中可以发现，K值一样时，随着N取值的增大，精度是逐渐降低的。而图8～10表明，N取值一样时，K值越大，精度越高。
S6、小样本手势识别模型建立完毕后，将训练数据输入到模型中对其进行训练，待模型训练完成后用测试集进行测试，查看分类效果，得出识别精度。此模型实现了基于无线信号的小样本手势识别，实现通过训练每个类别中少量样本就能达到识别新类的目的。
当然，上述说明并非是对本发明的限制，本发明也并不仅限于上述举例，本技术领域的技术人员在本发明的实质范围内所做出的变化、改型、添加或替换，也应属于本发明的保护范围。
Claims (7)
1.一种基于无线信号的小样本手势识别方法，其特征在于，包括以下步骤：
S1、实验环境的部署；
选定一间空旷的实验室，在实验室内部署一个数据采集装置，该装置包括一个发射端和一个接收端，所述发射端为无线路由器，用于发射无线信号，所述接收端为电脑，用于接收并保存来自无线路由器的包含环境信息的CSI数据；
S2、实验数据的采集；
组织m名实验者坐在发射端和接收端中间的位置，位置固定不变，做出规定的手势动作，每个手势动作重复n次，进行实验数据的采集；
S3、数据预处理；
针对S2中采集到的手势数据，提取其CSI的幅值信息，并利用离散小波变换对其进行降噪处理，预处理后的数据构成数据集；
S4、数据集的划分；
将S3中的数据集划分为训练集和测试集，再分别将训练集和测试集中的数据划分为支持集和查询集，支持集用于得出每个类别的类原型，查询集用于计算与类原型的距离，进而得出分类概率；
S5、构建小样本手势识别模型；
S6、将训练集放入构建好的小样本手势识别模型中对其进行训练，待模型训练完成后用测试集进行测试，查看分类效果。
2.根据权利要求1所述的一种基于无线信号的小样本手势识别方法，其特征在于，在S1中，所述实验室大小为10×15m，无线路由器型号为商用版TP-LINK WDR 6500；
电脑与路由器之间相距1.5m，电脑上安装Ubutu12.04操作系统，配备Intel 5300网卡，且外接有三根天线，天线离地高度为1.2m；电脑通过USB外接两个小音响，手势动作的绘制通过音响发出开始或结束指令来完成；
配置电脑的内核驱动和无线网卡，使无线路由器与电脑之间稳定500HZ的信号传输模式。
3.根据权利要求1所述的一种基于无线信号的小样本手势识别方法，其特征在于，在S2中，组织6名实验者分别坐在发射端和接收端中间的位置，用右手手指在空中绘制数字0～9以及26个英文字母大小写，总共62类手势动作；
实验者需要在4秒内完成一个手势动作的绘制，音响发出开始指令，实验者开始做出规定的手势动作，4秒后音响发出结束指令，此过程重复50次即完成一个类别的手势动作的数据采集，总共需完成62类手势动作的采集。
4.根据权利要求1所述的一种基于无线信号的小样本手势识别方法，其特征在于，在S3中，首先将所需要的幅值波动的信息从采集到的CSI数据中分离出来，并利用离散小波变换对其进行去噪处理，分离出有效数据；
离散小波变换为输入信号经过两个互补的滤波器进行分解，得到信号的近似和细节信息，过程为输入信号经过高通滤波器将输入信号的低频部分过滤掉而输出高频部分，再经过降采样滤波器，得到需要过滤掉的高频信息即信号的细节值；输入信号经过低通滤波器，将输入信号的高频部分过滤掉而输出低频部分，再经过降采样滤波器，从而得到需要的有效数据即信号的近似值。
5.根据权利要求3所述的一种基于无线信号的小样本手势识别方法，其特征在于，在S4中，针对采集到的62类数据，对数据进行预处理后，选取其中36类作为训练集，剩余26类为测试集；
所述支持集包含N-way K-shot，表示从数据集中随机采样N个类别，每个类别采样K个样本；查询集也包含N-way，但样本数由每个类别中除K-shot外的全部或部分剩余样本构成；分别取K为1、5和10进行实验。
6.根据权利要求1所述的一种基于无线信号的小样本手势识别方法，其特征在于，在S5中，包括以下子步骤：
S51、以原型网络为基础进行小样本手势识别模型的构建；
所述原型网络使用含有四个卷积层的CNN作为一个嵌入模块，利用该嵌入模块学习一个映射函数fφ(x)；将支持集通过fφ(x)映射到嵌入空间内，计算每个类的类原型：
式中，ck表示类k的类原型，Sk表示类k，|Sk|表示类k中样本数量，(xi,yi)为第i个样本和标签；
建立好每个类的原型后，将查询集通过fφ(x)映射到嵌入空间中，求查询点到每个类别的距离，然后使用softmax函数进行归一化操作得到概率，即x属于类k的概率，公式如下：
式中，Pφ(y＝k|x)为x属于类k的概率，y为x的真实类别，d(fφ(x),ck)为查询点x到类原型ck的欧氏距离，ck'表示类k'的类原型，d(fφ(x),ck′)为查询点x到类原型ck'的欧式距离；
最后对上述概率取负对数得出损失函数J(φ)：
J(φ)＝-logPφ(y＝k|x)；
得到损失函数J(φ)后，用随机梯度下降法最小化损失函数，得到最优参数φ；
S52、对原型网络改进以完成小样本手势识别模型的构建；
为了进一步提升小样本手势识别的分类精度，对原型网络进行改进，在查询集映射到嵌入空间前，对查询集进行在线数据增强，对其中的数据进行随机翻转，导致每次训练的数据都不一样，间接导致数据量的增加。
7.根据权利要求6所述的一种基于无线信号的小样本手势识别方法，其特征在于，在S6中，小样本手势识别模型建立完毕后，将训练数据输入到模型中对其进行训练，待模型训练完成后，将测试集输入到小样本手势识别模型中进行测试，得出分类精度。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210978371.1A CN115438691A (zh) | 2022-08-16 | 2022-08-16 | 一种基于无线信号的小样本手势识别方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210978371.1A CN115438691A (zh) | 2022-08-16 | 2022-08-16 | 一种基于无线信号的小样本手势识别方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN115438691A true CN115438691A (zh) | 2022-12-06 |
Family
ID=84243012
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210978371.1A Pending CN115438691A (zh) | 2022-08-16 | 2022-08-16 | 一种基于无线信号的小样本手势识别方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN115438691A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116595443A (zh) * | 2023-07-17 | 2023-08-15 | 山东科技大学 | 一种基于元学习的无线信号本手势识别方法 |
Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112084956A (zh) * | 2020-09-11 | 2020-12-15 | 上海交通大学烟台信息技术研究院 | 一种基于小样本学习原型网络的特殊面容人群筛查系统 |
| CN112147573A (zh) * | 2020-09-14 | 2020-12-29 | 山东科技大学 | 一种基于csi的幅值和相位信息的无源定位方法 |
| CN112733609A (zh) * | 2020-12-14 | 2021-04-30 | 中山大学 | 一种基于离散小波变换的领域自适应Wi-Fi手势识别方法 |
| CN113609976A (zh) * | 2021-08-04 | 2021-11-05 | 燕山大学 | 一种基于WiFi设备的方向敏感多手势识别系统及方法 |
| CN113971437A (zh) * | 2021-09-24 | 2022-01-25 | 西北大学 | 一种基于商用Wi-Fi设备的跨域手势识别方法 |
| CN114387627A (zh) * | 2022-01-11 | 2022-04-22 | 厦门大学 | 基于深度度量学习的小样本无线设备射频指纹识别方法及装置 |
| CN114676727A (zh) * | 2022-03-21 | 2022-06-28 | 合肥工业大学 | 一种基于csi的与位置无关的人体活动识别方法 |
| CN114781439A (zh) * | 2022-03-29 | 2022-07-22 | 应脉医疗科技(上海)有限公司 | 模型获取系统、手势识别方法、装置、设备及存储介质 |
| CN114818864A (zh) * | 2022-03-28 | 2022-07-29 | 深圳大学 | 一种基于小样本的手势识别方法 |
-
2022
- 2022-08-16 CN CN202210978371.1A patent/CN115438691A/zh active Pending
Patent Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112084956A (zh) * | 2020-09-11 | 2020-12-15 | 上海交通大学烟台信息技术研究院 | 一种基于小样本学习原型网络的特殊面容人群筛查系统 |
| CN112147573A (zh) * | 2020-09-14 | 2020-12-29 | 山东科技大学 | 一种基于csi的幅值和相位信息的无源定位方法 |
| CN112733609A (zh) * | 2020-12-14 | 2021-04-30 | 中山大学 | 一种基于离散小波变换的领域自适应Wi-Fi手势识别方法 |
| CN113609976A (zh) * | 2021-08-04 | 2021-11-05 | 燕山大学 | 一种基于WiFi设备的方向敏感多手势识别系统及方法 |
| CN113971437A (zh) * | 2021-09-24 | 2022-01-25 | 西北大学 | 一种基于商用Wi-Fi设备的跨域手势识别方法 |
| CN114387627A (zh) * | 2022-01-11 | 2022-04-22 | 厦门大学 | 基于深度度量学习的小样本无线设备射频指纹识别方法及装置 |
| CN114676727A (zh) * | 2022-03-21 | 2022-06-28 | 合肥工业大学 | 一种基于csi的与位置无关的人体活动识别方法 |
| CN114818864A (zh) * | 2022-03-28 | 2022-07-29 | 深圳大学 | 一种基于小样本的手势识别方法 |
| CN114781439A (zh) * | 2022-03-29 | 2022-07-22 | 应脉医疗科技(上海)有限公司 | 模型获取系统、手势识别方法、装置、设备及存储介质 |
Non-Patent Citations (7)
| Title |
|---|
| XIE ZHANG ET AL.: "WiFi-Based Cross-Domain Gesture Recognition via Modified Prototypical Networks", IEEE INTERNET OF THINGS JOURNAL, vol. 9, no. 11, 1 June 2022 (2022-06-01) * |
| YIFAN CHEN ET AL.: "Similarity-Driven Adaptive Prototypical Network for Class-incremental Few-shot Named Entity Recognition", 2022 IEEE 34TH INTERNATIONAL CONFERENCE ON TOOLS WITH ARTIFICIAL INTELLIGENCE (ICTAI), 18 April 2023 (2023-04-18) * |
| 丁悦: "基于深度学习的行人再识别方法研究", 中国优秀硕士学位论文全文数据库 信息科技, 15 December 2020 (2020-12-15) * |
| 党小超;刘洋;郝占军;曹渊;: "一种信道状态信息下的复杂动态手势识别方法", 小型微型计算机系统, no. 01, 15 January 2020 (2020-01-15) * |
| 张峻豪;吴飞;朱海;: "基于GD-Kmeans和菲涅尔理论的WiFi手势识别方法", 计算机工程与应用, no. 19, 31 December 2020 (2020-12-31) * |
| 王正杰;杨伟丽;王喆;侯玉珊; 郭银景: "基于CSI的行为识别研究综述", 计算机工程与应用, no. 05, 1 March 2018 (2018-03-01) * |
| 陈红红 等: "AirG:一种基于信道状态信息的空中手语手势识别方法", 传感技术学报, 28 February 2022 (2022-02-28) * |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116595443A (zh) * | 2023-07-17 | 2023-08-15 | 山东科技大学 | 一种基于元学习的无线信号本手势识别方法 |
| CN116595443B (zh) * | 2023-07-17 | 2023-10-03 | 山东科技大学 | 一种基于元学习的无线信号本手势识别方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Dang et al. | Sensor-based and vision-based human activity recognition: A comprehensive survey | |
| CN105654037B (zh) | 一种基于深度学习和特征图像的肌电信号手势识别方法 | |
| Li et al. | Deep Fisher discriminant learning for mobile hand gesture recognition | |
| Du et al. | Wordrecorder: Accurate acoustic-based handwriting recognition using deep learning | |
| CN103914149B (zh) | 一种面向互动电视的手势交互方法和系统 | |
| US10061389B2 (en) | Gesture recognition system and gesture recognition method | |
| CN112036433B (zh) | 一种基于CNN的Wi-Move行为感知方法 | |
| CN102932212A (zh) | 一种基于多通道交互方式的智能家居控制系统 | |
| CN113609976B (zh) | 一种基于WiFi设备的方向敏感多手势识别系统及方法 | |
| CN102547123A (zh) | 基于人脸识别技术的自适应视线跟踪系统及其跟踪方法 | |
| Zhang et al. | Wisign: Ubiquitous american sign language recognition using commercial wi-fi devices | |
| CN107300971A (zh) | 基于骨传导振动信号传播的智能输入方法及系统 | |
| CN110674875A (zh) | 一种基于深度混合模型的行人运动模式识别方法 | |
| CN109542233A (zh) | 一种基于动态手势和人脸识别的灯具控制系统 | |
| CN115294658B (zh) | 一种面向多应用场景的个性化手势识别系统及其手势识别方法 | |
| CN105786189A (zh) | 一种基于肌动信号的指部独立动作识别方法及系统 | |
| CN111954250A (zh) | 一种轻量级Wi-Fi行为感知方法和系统 | |
| CN105447506A (zh) | 一种基于区间分布概率特征的手势识别方法 | |
| CN115438691A (zh) | 一种基于无线信号的小样本手势识别方法 | |
| CN114821753B (zh) | 一种基于视觉图像信息的眼动交互系统 | |
| Yin et al. | A Systematic Review of Human Activity Recognition Based On Mobile Devices: Overview, Progress and Trends | |
| Zhang et al. | WiNum: A WiFi finger gesture recognition system based on CSI | |
| CN114970640B (zh) | 一种基于知识蒸馏的手势识别方法及系统 | |
| CN104731324B (zh) | 一种基于hog+svm框架的手势内平面旋转检测模型生成方法 | |
| CN109308133A (zh) | 智能交互投影互动技术 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |