CN114048773A - 一种基于迁移学习和WiFi的行为识别方法及系统 - Google Patents
一种基于迁移学习和WiFi的行为识别方法及系统 Download PDFInfo
- Publication number
- CN114048773A CN114048773A CN202111327197.6A CN202111327197A CN114048773A CN 114048773 A CN114048773 A CN 114048773A CN 202111327197 A CN202111327197 A CN 202111327197A CN 114048773 A CN114048773 A CN 114048773A
- Authority
- CN
- China
- Prior art keywords
- behavior
- csi
- time
- signal sequence
- csi signal
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000006399 behavior Effects 0.000 title claims abstract description 143
- 238000000034 method Methods 0.000 title claims abstract description 44
- 238000013526 transfer learning Methods 0.000 title claims abstract description 21
- 108010076504 Protein Sorting Signals Proteins 0.000 claims abstract description 58
- 238000010586 diagram Methods 0.000 claims abstract description 46
- 238000000605 extraction Methods 0.000 claims abstract description 22
- 238000013528 artificial neural network Methods 0.000 claims abstract description 11
- 230000011218 segmentation Effects 0.000 claims abstract description 7
- 230000009471 action Effects 0.000 claims description 26
- 239000011159 matrix material Substances 0.000 claims description 16
- 238000004364 calculation method Methods 0.000 claims description 14
- 238000012847 principal component analysis method Methods 0.000 claims description 9
- 230000033001 locomotion Effects 0.000 claims description 8
- 230000001617 migratory effect Effects 0.000 claims description 7
- 230000009467 reduction Effects 0.000 claims description 7
- 238000012545 processing Methods 0.000 claims description 6
- 238000006243 chemical reaction Methods 0.000 claims description 4
- 230000003068 static effect Effects 0.000 claims description 4
- 238000011161 development Methods 0.000 claims description 3
- 230000018109 developmental process Effects 0.000 claims description 3
- 238000013507 mapping Methods 0.000 claims description 3
- 230000035582 behavioral recognition Effects 0.000 claims 1
- 238000012549 training Methods 0.000 abstract description 9
- 230000000694 effects Effects 0.000 description 21
- 230000007613 environmental effect Effects 0.000 description 10
- 230000008859 change Effects 0.000 description 8
- 230000008901 benefit Effects 0.000 description 7
- 238000001514 detection method Methods 0.000 description 6
- 238000005070 sampling Methods 0.000 description 6
- 238000004891 communication Methods 0.000 description 4
- 230000008878 coupling Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 238000013135 deep learning Methods 0.000 description 3
- 230000009191 jumping Effects 0.000 description 3
- 238000013508 migration Methods 0.000 description 3
- 230000005012 migration Effects 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 238000003062 neural network model Methods 0.000 description 3
- 230000008569 process Effects 0.000 description 3
- 238000007781 pre-processing Methods 0.000 description 2
- 238000012800 visualization Methods 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 1
- 230000003542 behavioural effect Effects 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 230000036541 health Effects 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000035772 mutation Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 238000011176 pooling Methods 0.000 description 1
- 230000029058 respiratory gaseous exchange Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2218/00—Aspects of pattern recognition specially adapted for signal processing
- G06F2218/12—Classification; Matching
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/213—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods
- G06F18/2135—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods based on approximation criteria, e.g. principal component analysis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2218/00—Aspects of pattern recognition specially adapted for signal processing
- G06F2218/02—Preprocessing
- G06F2218/04—Denoising
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2218/00—Aspects of pattern recognition specially adapted for signal processing
- G06F2218/08—Feature extraction
Abstract
本发明提出了一种基于迁移学习和WiFi的行为识别方法，包括：S1、采集移动目标所处环境在连续时刻下的CSI信号并组成CSI信号序列，并对所述CSI信号序列去噪；S2、基于行为提取算法对去噪后的所述CSI信号序列进行行为分割，并提取不同的行为信号；S3、通过短时傅里叶变换将所述行为信号转换成时频图；S4、将所述时频图输入到预训练好的神经网络中，从而识别并分类出不同的行为。通过对采集的CSI信号序列进行去噪，然后利用行为提取算法检测不同行为的起始点和结束点，将对应的有效行为信号提取出来，再将行为信号转化成时频图并导入神经网络中进行训练，这种基于小样本学习的方式识别准确率大大提高，能够有效的克服面对跨领域场景的问题。
Description
技术领域
本发明涉及行为识别的技术领域，具体涉及一种基于迁移学习和WiFi的行为识别方法及系统。
背景技术
人类活动识别被认为是物联网中的一项核心技术，可应用于各种场景，如健康监测、智能家居和跌倒检测。使用可穿戴设备和照相机的传统方法已经被广泛用于人类活动识别。实验者可以通过佩戴多个传感器收集人体各部分运动带来的数据。然而，佩戴设备进行实验是不方便的，并且可能无法进行被动检测。由于其独特的优势，如安全、无设备以及不同活动和信号波动之间的特定映射关系，无线网络吸引了人们对活动识别的广泛关注。活动识别技术是基于无线设备可以捕捉到的身体运动产生的多路径效应。因此，随着无线设备的广泛部署，可以通过利用无线接入点来获得接收信号强度(RSS)和信道状态信息(CSI)。通信信道链路的细粒度信息由CSI提供，而粗粒度信息由RSS提供。由于CSI比RSS更稳定，因此它在Wi-Fi感知中的使用频率更高，例如位置和活动识别。在行为识别中，人类活动可以分为两类:细粒度活动和粗粒度活动。细粒度活动通常是指手势识别、呼吸心跳检测等活动，而粗粒度活动则是指跑步、跳、跌到检测等行为。
一般来说，CSI测量值受环境条件的影响，这使得同一个人在不同场景下的行为对无线链路的影响不同。跨域问题是指系统需要识别多个场景中的人体活动，由于场景不同，人体产生的多重效果也有较大差异。在传统的深度学习方法中，由于模型不能被预先训练，传统深度学习网络需要利用大量训练样本才能获取高精度，这种方法是低效的。
因此，在面对跨领域场景时，针对行为数据难获取的情况下，提供一种基于小样本学习、训练次数少，且识别准确率高的行为识别方法及系统就显得尤为重要。
发明内容
为了解决现有技术中的深度学习方法在面对跨领域场景时，需要利用大量的训练样本才能达到高行为识别精度的技术问题，本发明提出了一种基于迁移学习和WiFi的行为识别方法及系统。
根据本申请的第一方面，提出了一种基于迁移学习和WiFi的行为识别方法，包括：
S1、采集移动目标所处环境在连续时刻下的CSI信号并组成CSI信号序列，并对所述CSI信号序列去噪；
S2、基于行为提取算法对去噪后的所述CSI信号序列进行行为分割，并提取不同的行为信号；
S3、通过短时傅里叶变换将所述行为信号转换成时频图；以及
S4、将所述时频图输入到预训练好的神经网络中，从而识别并分类出不同的行为。
通过采集原始的CSI信号序列并对CSI信号序列进行去噪，然后利用行为提取算法检测不同行为的开始和结束，将对应的有效行为信号提取出来，排除一些无效信号，减少了收集数据集的成本，再将行为信号转化成时频图并导入神经网络中进行训练，由于其训练样本针对的是有效的行为信号，因此这种基于小样本学习的方式识别准确率大大提高，能够有效的克服面对跨领域场景的问题。
优选的，所述步骤S1中采集移动目标所处环境在连续时刻下的CSI信号具体包括：计算无线信号在发射器和接收器之间传播的CSI信道矩阵，所述CSI信道矩阵的具体计算公式为：
Yi＝HiXi+Ni,i∈[1,n]
其中，Xi表示发射器的发送信号矢量，Yi表示接收器的接受信号矢量，Ni是高斯白噪声向量，Hi表示CSI信道矩阵，n表示用于传播信号的子载波的个数；将所述CSI信道矩阵Hi具体展开为：
H＝[h1,h2,…hi],i∈[1,n]
其中，hi表示每个子载波的CSI信号值；hi的具体计算公式为：
h＝|h|ejsinθ
其中，|h|表示子载波的幅值，θ表示子载波的相位。
根据CSI信道矩阵的计算公式求出CSI信道矩阵，再对CSI信道矩阵进行展开即可得到CSI信道矩阵中各个子载波的CSI信号值。
优选的，所述步骤S1中对所述CSI信号序列去噪具体包括：利用巴特沃斯低通滤波器对所述CSI信号序列去噪。
经过巴特沃斯低通滤波器滤波后，滤除了CSI信号中的高频分量。
优选的，所述步骤S2中的行为提取算法具体包括：
S21、利用主成分分析法对所述CSI信号序列进行降维处理，所述CSI信号序列中的子载波的每个数据包索引均对应转化成多个主成分；
S22、选取多个所述主成分中的若干个所述主成分进行求和计算，得到主成分和；
S23、建立滑动窗口，以所述CSI信号序列的第一个所述数据包索引为起始点，利用所述滑动窗口每次截取多个所述数据包索引长度的所述CSI信号序列，得到包含多个所述主成分和的求和序列，并计算所述求和序列的方差；
S24、利用所述滑动窗口的步进移动遍历所述CSI信号序列，得到包含多个所述方差的方差序列，并计算所述方差序列的中值；
S25、比较不同时刻下的所述中值与环境阈值，若某时刻所述中值大于所述环境阈值，则将该时刻作为行为起始点，若某时刻所述中值下降至小于所述环境阈值，且该时刻与所述行为起始点距离超过4秒，则将该时刻作为行为结束点；
S26、根据所述行为起始点和所述行为结束点提取不同的行为信号。
通过采样主成分分析法，可以把多变量的信息用少量综合变量表示以达到降维的效果，剔除掉一些无用的数据，减少了后续的处理时间。而利用滑动窗口法求出主成分和、方差，最后求出中值，可以更好的体现行为变化造成的CSI信号变化的趋势，并且不会对某些位置的突变过于敏感，再通过中值与环境阈值的比较判断行为的起始点和结束点，从而提取出不同的行为信号。这种行为提取方法能够适应不同环境、探测目标距离的变化等不确定因素，有效的划分出不同的行为。
进一步优选的，所述步骤S22具体包括：选取多个所述主成分中的第二、第三和第四个所述主成分进行求和计算，得到主成分和。
原始CSI信号中子载波的主要信息就包含在降维后对应的前几个主成分中，由于第一个主成分舍弃噪声较多，因此这里只对第二、第三和第四个主成分进行求和计算，基本包含了子载波的全部有效信息。
进一步优选的，所述滑动窗口每次截取200个所述数据包索引长度的所述CSI信号序列。
进一步优选的，所述环境阈值的设定标准为：测量移动目标在静止状态时，其所处环境在一段时间内的所述中值，将测得的最大所述中值的十分之一作为阈值。
进一步优选的，在所述步骤S25之后并且所述步骤S26之前还包括：将所述行为起始点往前延长0.5秒，将所述行为结束点往后延长0.5秒。
通过中值与环境阈值进行对比划分行为的结果是存在误差的，为了确保能够准确提取每个行为，而不受到移动目标静止的突变影响，通常采用的阈值较大，因此，通过对行为起始点和行为结束点做0.5s的补偿，可以减小误差。
优选的，所述步骤S4中的所述神经网络采用的是ResNet18迁移学习网络。
经过ResNet18迁移学习网络的训练后，可以完整的提取出不同的行为
根据本申请的第二方面，提出了一种基于迁移学习和WiFi的行为识别系统，包括：
CSI信号获取单元，配置用于采集移动目标所处环境在连续时刻下的CSI信号并组成CSI信号序列，并对所述CSI信号序列去噪；
行为信号提取单元，配置用于根据行为提取算法对去噪后的所述CSI信号序列进行行为分割，并提取不同的行为信号；
行为信号转换单元，配置用于通过短时傅里叶变换将所述行为信号转换成时频图；
行为识别单元，配置用于将所述时频图输入到预训练好的神经网络中，从而识别并分类出不同的行为。
本申请提出了一种基于迁移学习和WiFi的行为识别方法及系统，原始的CSI信号序列首先由巴特沃斯低通滤波器进行去噪，然后，利用主成分分析法对CSI信号序列进行降维，对经过主成分分析法后产生的第二、第三和第四个主成分进行求和得到主成分和，采样滑动窗口方法遍历CSI信号序列中的所有数据包索引，以此计算主成分和序列的方差以及方差序列的中值，并通过中值与环境阈值的比较检测不同行为的起始点和结束点，从而提取有效的行为信号。然后使用短时傅立叶变换将行为信号转换成时频图，经过预处理后，将时频图放入经过预训练的ResNet18的迁移学习网络中进行识别和分类。该方法训练次数少、识别准确率高，识别平均准确率达到94.2％，能够有效克服跨域问题。
附图说明
包括附图以提供对实施例的进一步理解并且附图被并入本说明书中并且构成本说明书的一部分。附图图示了实施例并且与描述一起用于解释本发明的原理。将容易认识到其它实施例和实施例的很多预期优点，因为通过引用以下详细描述，它们变得被更好地理解。附图的元件不一定是相互按照比例的。同样的附图标记指代对应的类似部件。
图1是根据本发明实施例的基于迁移学习和WiFi的行为识别方法的流程图；
图2是根据本发明一个具体实施例的WiFi信号反射场景图；
图3是根据本发明一个具体实施例的原始CSI信号的波形图；
图4是根据本发明一个具体实施例的原始CSI信号经过巴特沃斯低通滤波器滤波后的波形图；
图5是根据本发明一个具体实施例的行为提取算法的流程图；
图6是根据本发明一个具体实施例的行为信号提取的结果图；
图7(a)是根据本发明一个具体实施例的人体跳动作对应的时频图；
图7(b)是根据本发明一个具体实施例的人体走路动作对应的时频图；
图7(c)是根据本发明一个具体实施例的人体下蹲动作对应的时频图；
图7(d)是根据本发明一个具体实施例的人体抬腿动作对应的时频图；
图7(e)是根据本发明一个具体实施例的人体全部动作对应的时频图
图8是根据本发明一个具体实施例的ResNet18迁移学习网络的结构图；
图9是根据本发明一个具体实施例的迁移学习结构图；
图10是根据本发明一个具体实施例的TSNE可视化的分类结果图；
图11是根据本发明一个具体实施例的行为识别混淆矩阵图；
图12是根据本发明实施例的基于迁移学习和WiFi的行为识别系统框图。
附图标记说明：1、CSI信号获取单元；2、行为信号提取单元；3、行为信号转换单元；4、行为识别单元。
具体实施方式
下面将详细描述本发明的各个方面的特征和示例性实施例，为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细描述。应理解，此处所描述的具体实施例仅被配置为解释本发明，并不被配置为限定本发明。对于本领域技术人员来说，本发明可以在不需要这些具体细节中的一些细节的情况下实施。下面对实施例的描述仅仅是为了通过示出本发明的示例来提供对本发明更好的理解。
需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括......”限定的要素，并不排除在包括要素的过程、方法、物品或者设备中还存在另外的相同要素。
图1示出了根据本发明实施例的基于迁移学习和WiFi的行为识别方法的流程图，如图1所示，该行为识别方法包括以下步骤：
S1、采集移动目标所处环境在连续时刻下的CSI信号并组成CSI信号序列，并对CSI信号序列去噪。
图2示出了根据本发明一个具体实施例的WiFi信号反射场景图，如图2所示，发射器发射的无线信号经过环境中如墙体、人体(移动目标)反射后被接收器接收，因此人体的运动会影响接收器的接收频率，即多普勒效应。在WiFi识别系统中，CSI信号对环境变化很敏感，因而本实施例正是通过对CSI信号的采集来进行行为识别。
在具体的实施例中，CSI信号的采集过程如下：
可知的是，CSI信号包含多个子载波，而子载波又是由连续的数据包索引组成的。在802.11n中，由多个子载波组成的每个多输入多输出链路使用正交频分复用技术，每个链路都有一个由CSI信号引起的独特的信道频率响应。802.11n WiFi网络在20MHZ频段有56个OFDM子载波。通过使用英特尔5300网络接口卡中开发的工具，可以从30个子载波获得CSI信号。假设发射器和接收器的天线数量分别为Nt和Nr，发射器的发送信号矢量和接收器的接受信号矢量分别为Xi和Yi，那么在这个多输入多输出链路中，接收器的接受信号矢量可以表示为：
Yi＝HiXi+Ni,i∈[1,n]
其中，Ni是高斯白噪声向量，Hi表示无线信号在发射器和接收器之间传播的CSI信道矩阵，n表示用于传播信号的子载波的个数。
对于每个通信链路，CSI信道矩阵Hi具体展开为：
H＝[h1,h2,…hi],i∈[1,n]
因此要分析的每个数据包索引最终都会获得Nt×Nr×30个CSI信号值。其中，hi表示每个子载波的CSI信号值，hi的具体计算公式为：
h＝|h|ejsinθ
其中，|h|表示子载波的幅值，θ表示子载波的相位。
在获得各个子载波的CSI信号值后，将人体所处环境在连续时刻下的CSI信号组成CSI信号序列，并对其去噪。
在优选的实施例中，CSI信号序列后经由巴特沃斯低通滤波器去噪，图3示出了根据本发明一个具体实施例的原始CSI信号的波形图，图4示出了根据本发明一个具体实施例的原始CSI信号经过巴特沃斯低通滤波器滤波后的波形图，如图3、图4所示，巴特沃斯低通滤波器滤除了CSI信号中的高频分量，实现对CSI信号的去噪。在其它实施方式中，同样可以采样其它低通滤波器对CSI信号序列进行去噪，这里不作进一步限定。
S2、基于行为提取算法对去噪后的CSI信号序列进行行为分割，并提取不同的行为信号。
图5示出了根据本发明一个具体实施例的行为提取算法的流程图，如图5所示，在具体的实施例中，行为提取算法具体包括以下步骤：
S21、利用主成分分析法对CSI信号序列进行降维处理，CSI信号序列中的子载波的每个数据包索引均对应转化成多个主成分。
通过采样主成分分析法，原始CSI信号序列中子载波的主要信息都包含在多个主成分中，把多变量的信息用少量综合变量表示以达到降维的效果，可以剔除掉一些无用的数据，减少了后续的处理时间。
S22、选取多个主成分中的若干个主成分进行求和计算，得到主成分和。
在具体的实施例中，原始CSI信号中子载波的主要信息就包含在降维后对应的前几个主成分中，由于第一个主成分舍弃噪声较多，因此只选取多个主成分中的第二、第三和第四个主成分进行求和计算，得到主成分和，这样就基本包含了原始子载波中的全部有效信息。
S23、建立滑动窗口，以CSI信号序列的第一个数据包索引为起始点，利用滑动窗口每次截取多个数据包索引长度的CSI信号序列，得到包含多个主成分和的求和序列，并计算求和序列的方差。
在具体的实施例中，设置发包频率为200Hz，即1秒发送200个数据包索引，滑动窗口每次截取200个数据包索引长度的CSI信号序列，计算得到包含200个主成分和的求和序列，并计算求和序列的方差，由此体现出CSI信号的变化波动趋势。
S24、利用滑动窗口的步进移动遍历CSI信号序列，得到包含多个方差的方差序列，并计算方差序列的中值。
在具体的实施例中，利用滑动窗口法求出方差序列的中值，中值更能体现行为变化造成的CSI信号变化的趋势，并且不会对某些位置的突变过于敏感。
S25、比较不同时刻下的中值与环境阈值，若某时刻中值大于环境阈值，则将该时刻作为行为起始点，若某时刻中值下降至小于环境阈值，且该时刻与行为起始点距离超过4秒，则将该时刻作为行为结束点。
在具体的实施例中，环境阈值的取值标准为：先测量人体在静止状态时，其所处环境在一段时间内的中值，并将该时间内测得的最大中值的十分之一作为环境阈值，本实施例中，环境阈值具体设定为20。通过中值与环境阈值的比较，每当有行为出现，数据的波动频率变大，即CSI信号的波动变大，当中值大于环境阈值便可判别人体开始做出行为动作；反之，当中值下降至小于环境阈值，且之前中值大于环境阈值的持续时间超过4秒，即可判别人体结束该动作，从而能够在场景不确定的情况下也能准确的判断行为起始点和行为结束点。
在优选的实施例中，还对行为起始点和行为结束点作0.5s的补偿。具体的，为了确保能够准确提取每个行为，而不受人体静止时的突变影响，本实施例中的环境阈值(20)取值是较大的，因此通过此环境阈值来划分行为起始点和行为结束点会存在误差。为了减小误差的影响，本实施例还对行为起始点和行为结束点作一个补偿，具体的补偿数为一半的采样率(发包速度200/秒)，即对测得的行为结束点和行为起始点分别加减100个采样点，对应的时间为0.5秒，补偿后的行为起始点往前延长了0.5秒，行为结束点往后延长了0.5秒。通过这种补偿方式能够适应不同环境、探测目标距离的变化等不确定因素。
S26、根据行为起始点和行为结束点提取不同的行为信号。
图6示出了根据本发明一个具体实施例的行为信号提取的结果图，如图6所示，基于行为提取算法，每当有行为出现，即数据波动频率变大时，都能有效将该行为信号切割出来。
S3、通过短时傅里叶变换将行为信号转换成时频图。
图7(a)示出了根据本发明一个具体实施例的人体跳动作对应的时频图，图7(b)示出了根据本发明一个具体实施例的人体走路动作对应的时频图，图7(c)示出了根据本发明一个具体实施例的人体下蹲动作对应的时频图，图7(d)示出了根据本发明一个具体实施例的人体抬腿动作对应的时频图，如图7(a)、图7(b)、图7(c)、图7(d)所示，在具体的实施例中，最终提取出人体跳动作、走路动作、下蹲动作和抬腿动作4种行为信号，对这4种行为信号应用短时傅立叶变换最终获得时频域上的功率分布，即时频图。图7(e)示出了根据本发明一个具体实施例的人体全部动作对应的时频图。
S4、将时频图输入到预训练好的神经网络中，从而识别并分类出不同的行为。
在具体的实施例中，采用预训练好的ResNet18迁移学习网络对人体全部动作对应的时频图进行训练。图8示出了根据本发明一个具体实施例的ResNet18迁移学习网络的结构图，如图8所示，ResNet18迁移学习网络包括18个卷积层(CONV)、一个池化层(AVGPOOL)和一个全连接层(FULLY CONNECTERD)。图9示出了根据本发明一个具体实施例的迁移学习结构图，如图9所示，将ImageNet数据集输入到ResNet18中经过迁移学习后，与采集的活动数据集(时频图)同时输入到残差网络层中进行分析，经微调后，训练最后一个全连接层，最终识别分类出人体的4种行为动作。
图10示出了根据本发明一个具体实施例的TSNE可视化的分类结果图，如图10所示，经过ResNet18迁移学习网络的训练后，人体的4种行为动作能够较好的被分割开。图11示出了根据本发明一个具体实施例的行为识别混淆矩阵图，如图11所示，其中人体下蹲动作的识别率为1，识别结果准确，而其它三个动作因为存在相似之处所以存在错误识别的情况。具体的，人体四种行为动作的分类结果如表1所示：
表1
其中，recall体现了ResNet18迁移学习网络对正样本的识别能力，recall越高，说明对正样本的识别能力越强，precision体现了ResNet18迁移学习网络对负样本的区分能力，precision越高，说明对负样本的区分能力越强。F1-score是两者的综合，F1-score越高，说明ResNet18迁移学习网络越稳健。
本实施例还对各种不同的神经网络模型的识别精度进行对比，具体对比结果如表2所示：
| 神经网络模型 | 准确率 | 耗时 |
| AlexNet | 85.00％ | 31m 12s |
| Vgg11 | 91.67％ | 128m 20s |
| vgg13 | 92.50％ | 224m 45s |
| Vgg16 | 92.67％ | 242m 34s |
| Vgg19 | 93.33％ | 276m 10s |
| ResNet18 | 94.17％ | 32m 23s |
| ResNet34 | 90.00％ | 52m 40s |
| ResNet50 | 84.17％ | 69m 56s |
| ResNet101 | 86.67％ | 112m 43s |
| ResNet152 | 92.50％ | 137m 39s |
表2
由表2可知，ResNet18神经网络模型在识别准确率和耗时方面都有较大的优点。
基于上述的行为识别方法，本发明还提出了一种基于迁移学习和WiFi的行为识别系统，图12示出了根据本发明实施例的基于迁移学习和WiFi的行为识别系统框图，如图12所示，该行为识别系统包括：
CSI信号获取单元1，配置用于采集移动目标所处环境在连续时刻下的CSI信号并组成CSI信号序列，并对CSI信号序列去噪；
行为信号提取单元2，配置用于根据行为提取算法对去噪后的CSI信号序列进行行为分割，并提取不同的行为信号；
行为信号转换单元3，配置用于通过短时傅里叶变换将行为信号转换成时频图；
行为识别单元4，配置用于将时频图输入到预训练好的神经网络中，从而识别并分类出不同的行为。
本发明提出了一种基于迁移学习和WiFi的行为识别方法和系统，首先采集人体所处环境在连续时刻下的原始CSI信号并组成CSI信号序列，再通过巴特沃斯低通滤波器对CSI信号序列进行去噪，然后，利用主成分分析法对CSI信号序列进行降维，对经过主成分分析法后产生的第二、第三和第四个主成分进行求和得到主成分和，采样滑动窗口方法遍历CSI信号序列中的所有数据包索引，以此计算主成分和序列的方差以及方差序列的中值，并通过中值与环境阈值的比较检测不同活动的起始点和结束点，从而提取有效的行为信号。然后使用短时傅立叶变换将行为信号转换成时频图，经过预处理后，将时频图放入经过预训练的ResNet18的迁移学习网络中进行识别和分类。该方法训练次数少、识别准确率高，识别平均准确率达到94.2％，能够有效克服跨域问题。
在本申请实施例中，应该理解到，所揭露的技术内容，可通过其它的方式实现。其中，以上所描述的装置/系统/方法实施例仅仅是示意性的，例如所述单元的划分，可以为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，单元或模块的间接耦合或通信连接，可以是电性或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可为个人计算机、服务器或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。
显然，本领域技术人员在不偏离本发明的精神和范围的情况下可以作出对本发明的实施例的各种修改和改变。以该方式，如果这些修改和改变处于本发明的权利要求及其等同形式的范围内，则本发明还旨在涵盖这些修改和改变。词语“包括”不排除未在权利要求中列出的其它元件或步骤的存在。某些措施记载在相互不同的从属权利要求中的简单事实不表明这些措施的组合不能被用于获利。权利要求中的任何附图标记不应当被认为限制范围。
Claims (10)
1.一种基于迁移学习和WiFi的行为识别方法，其特征在于，包括以下步骤：
S1、采集移动目标所处环境在连续时刻下的CSI信号并组成CSI信号序列，并对所述CSI信号序列去噪；
S2、基于行为提取算法对去噪后的所述CSI信号序列进行行为分割，并提取不同的行为信号；
S3、通过短时傅里叶变换将所述行为信号转换成时频图；以及
S4、将所述时频图输入到预训练好的神经网络中，从而识别并分类出不同的行为。
2.根据权利要求1所述的方法，其特征在于，所述步骤S1中采集移动目标所处环境在连续时刻下的CSI信号具体包括：计算无线信号在发射器和接收器之间传播的CSI信道矩阵，所述CSI信道矩阵的具体计算公式为：
Yi＝HiXi+Ni,i∈[1,n]
其中，Xi表示发射器的发送信号矢量，Yi表示接收器的接受信号矢量，Ni是高斯白噪声向量，Hi表示CSI信道矩阵，n表示用于传播信号的子载波的个数；将所述CSI信道矩阵Hi具体展开为：
H＝[h1,h2,…hi],i∈[1,n]
其中，hi表示每个子载波的CSI信号值；hi的具体计算公式为：
h＝|h|ejsinθ
其中，|h|表示子载波的幅值，θ表示子载波的相位。
3.根据权利要求1所述的方法，其特征在于，所述步骤S1中对所述CSI信号序列去噪具体包括：利用巴特沃斯低通滤波器对所述CSI信号序列去噪。
4.根据权利要求1所述的方法，其特征在于，所述步骤S2中的行为提取算法具体包括：
S21、利用主成分分析法对所述CSI信号序列进行降维处理，所述CSI信号序列中的子载波的每个数据包索引均对应转化成多个主成分；
S22、选取多个所述主成分中的若干个所述主成分进行求和计算，得到主成分和；
S23、建立滑动窗口，以所述CSI信号序列的第一个所述数据包索引为起始点，利用所述滑动窗口每次截取多个所述数据包索引长度的所述CSI信号序列，得到包含多个所述主成分和的求和序列，并计算所述求和序列的方差；
S24、利用所述滑动窗口的步进移动遍历所述CSI信号序列，得到包含多个所述方差的方差序列，并计算所述方差序列的中值；
S25、比较不同时刻下的所述中值与环境阈值，若某时刻所述中值大于所述环境阈值，则将该时刻作为行为起始点，若某时刻所述中值下降至小于所述环境阈值，且该时刻与所述行为起始点距离超过4秒，则将该时刻作为行为结束点；
S26、根据所述行为起始点和所述行为结束点提取不同的行为信号。
5.根据权利要求4所述的方法，其特征在于，所述步骤S22具体包括：选取多个所述主成分中的第二、第三和第四个所述主成分进行求和计算，得到主成分和。
6.根据权利要求4所述的方法，其特征在于，所述滑动窗口每次截取200个所述数据包索引长度的所述CSI信号序列。
7.根据权利要求4所述的方法，其特征在于，所述环境阈值的设定标准为：测量移动目标在静止状态时，其所处环境在一段时间内的所述中值，将测得的最大所述中值的十分之一作为阈值。
8.根据权利要求4所述的方法，其特征在于，在所述步骤S25之后并且所述步骤S26之前还包括：将所述行为起始点往前延长0.5秒，将所述行为结束点往后延长0.5秒。
9.根据权利要求1所述的方法，其特征在于，所述步骤S4中的所述神经网络采用的是ResNet18迁移学习网络。
10.一种基于迁移学习和WiFi的行为识别系统，其特征在于，包括：
CSI信号获取单元，配置用于采集移动目标所处环境在连续时刻下的CSI信号并组成CSI信号序列，并对所述CSI信号序列去噪；
行为信号提取单元，配置用于根据行为提取算法对去噪后的所述CSI信号序列进行行为分割，并提取不同的行为信号；
行为信号转换单元，配置用于通过短时傅里叶变换将所述行为信号转换成时频图；
行为识别单元，配置用于将所述时频图输入到预训练好的神经网络中，从而识别并分类出不同的行为。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111327197.6A CN114048773A (zh) | 2021-11-10 | 2021-11-10 | 一种基于迁移学习和WiFi的行为识别方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111327197.6A CN114048773A (zh) | 2021-11-10 | 2021-11-10 | 一种基于迁移学习和WiFi的行为识别方法及系统 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN114048773A true CN114048773A (zh) | 2022-02-15 |
Family
ID=80208337
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202111327197.6A Pending CN114048773A (zh) | 2021-11-10 | 2021-11-10 | 一种基于迁移学习和WiFi的行为识别方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114048773A (zh) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114781463A (zh) * | 2022-06-16 | 2022-07-22 | 深圳大学 | 一种跨场景鲁棒的室内摔倒无线检测方法及相关设备 |
| CN116304915A (zh) * | 2023-05-16 | 2023-06-23 | 山东科技大学 | 基于WiFi的无接触动作识别方法、系统及实验室装置 |
| CN116304844A (zh) * | 2023-05-23 | 2023-06-23 | 山东科技大学 | 一种人员进出计数统计系统及方法 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111556453A (zh) * | 2020-04-27 | 2020-08-18 | 南京邮电大学 | 一种基于信道状态信息和BiLSTM的多场景室内动作识别方法 |
| CN112131972A (zh) * | 2020-09-07 | 2020-12-25 | 重庆邮电大学 | 一种基于注意力机制使用WiFi数据进行人体行为识别的方法 |
| WO2021160189A1 (zh) * | 2020-02-14 | 2021-08-19 | 重庆邮电大学 | WiFi干扰环境下的CSI人体跌倒识别方法 |
-
2021
- 2021-11-10 CN CN202111327197.6A patent/CN114048773A/zh active Pending
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2021160189A1 (zh) * | 2020-02-14 | 2021-08-19 | 重庆邮电大学 | WiFi干扰环境下的CSI人体跌倒识别方法 |
| CN111556453A (zh) * | 2020-04-27 | 2020-08-18 | 南京邮电大学 | 一种基于信道状态信息和BiLSTM的多场景室内动作识别方法 |
| CN112131972A (zh) * | 2020-09-07 | 2020-12-25 | 重庆邮电大学 | 一种基于注意力机制使用WiFi数据进行人体行为识别的方法 |
Non-Patent Citations (1)
| Title |
|---|
| 杨小龙;吴世明;周牧;谢良波;王嘉诚;: "室内穿墙场景下的无源人体目标检测算法", 电子与信息学报, no. 03, 15 March 2020 (2020-03-15), pages 68 - 77 * |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114781463A (zh) * | 2022-06-16 | 2022-07-22 | 深圳大学 | 一种跨场景鲁棒的室内摔倒无线检测方法及相关设备 |
| CN116304915A (zh) * | 2023-05-16 | 2023-06-23 | 山东科技大学 | 基于WiFi的无接触动作识别方法、系统及实验室装置 |
| CN116304915B (zh) * | 2023-05-16 | 2023-08-29 | 山东科技大学 | 基于WiFi的无接触动作识别方法、系统及实验室装置 |
| CN116304844A (zh) * | 2023-05-23 | 2023-06-23 | 山东科技大学 | 一种人员进出计数统计系统及方法 |
| CN116304844B (zh) * | 2023-05-23 | 2023-09-01 | 山东科技大学 | 一种人员进出计数统计系统及方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Venkatnarayan et al. | Multi-user gesture recognition using WiFi | |
| CN114048773A (zh) | 一种基于迁移学习和WiFi的行为识别方法及系统 | |
| CN107968689B (zh) | 基于无线通信信号的感知识别方法及装置 | |
| CN110502105B (zh) | 一种基于csi相位差的手势识别系统及识别方法 | |
| CN110797021A (zh) | 混合语音识别网络训练方法、混合语音识别方法、装置及存储介质 | |
| KR20170091963A (ko) | 근전도 신호를 이용한 동작 분류 방법 및 장치 | |
| CN110141218B (zh) | 一种心电信号分类方法、装置及程序产品、存储介质 | |
| CN109902554B (zh) | 一种基于商用Wi-Fi的手语的识别方法 | |
| CN111597991A (zh) | 一种基于信道状态信息和BiLSTM-Attention的康复检测方法 | |
| CN111901028B (zh) | 一种基于多天线上csi的人体行为识别方法 | |
| CN107862295A (zh) | 一种基于WiFi信道状态信息识别面部表情的方法 | |
| CN111954250A (zh) | 一种轻量级Wi-Fi行为感知方法和系统 | |
| Venkatnarayan et al. | WiFi based multi-user gesture recognition | |
| CN114781463A (zh) | 一种跨场景鲁棒的室内摔倒无线检测方法及相关设备 | |
| CN114707563A (zh) | 一种基于Wi-Fi信道状态信息的人体动作识别方法 | |
| CN116343261A (zh) | 基于多模态特征融合与小样本学习的手势识别方法和系统 | |
| CN114465678A (zh) | 一种基于深度学习的复杂活动wifi感知方法 | |
| CN112380903A (zh) | 一种基于WiFi-CSI信号增强的人体活动识别方法 | |
| CN114358162B (zh) | 一种基于连续小波变换的跌倒检测方法、装置及电子设备 | |
| Nguyen et al. | Towards a robust WiFi-based fall detection with adversarial data augmentation | |
| CN110101398A (zh) | 一种检测情绪的方法和系统 | |
| CN115100733A (zh) | Rfid手势识别方法、计算机装置、产品及存储介质 | |
| CN114580476A (zh) | 一种无人机信号的识别模型构建方法及相应识别方法和系统 | |
| Dinh et al. | Eeg peak detection in cognitive conflict processing using summit navigator and clustering-based ranking | |
| CN113836995B (zh) | 年龄段识别方法及装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |