CN117725369A - 一种环境鲁棒的WiFi信号行为识别方法及系统 - Google Patents
一种环境鲁棒的WiFi信号行为识别方法及系统 Download PDFInfo
- Publication number
- CN117725369A CN117725369A CN202410173471.6A CN202410173471A CN117725369A CN 117725369 A CN117725369 A CN 117725369A CN 202410173471 A CN202410173471 A CN 202410173471A CN 117725369 A CN117725369 A CN 117725369A
- Authority
- CN
- China
- Prior art keywords
- signal
- behavior
- environment
- wifi
- frequency domain
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 49
- 230000006399 behavior Effects 0.000 claims abstract description 115
- 238000012545 processing Methods 0.000 claims abstract description 32
- 238000010586 diagram Methods 0.000 claims abstract description 24
- 238000000605 extraction Methods 0.000 claims abstract description 19
- 230000008569 process Effects 0.000 claims abstract description 16
- 230000007613 environmental effect Effects 0.000 claims abstract description 8
- 239000013598 vector Substances 0.000 claims description 62
- 238000013528 artificial neural network Methods 0.000 claims description 26
- 238000001914 filtration Methods 0.000 claims description 24
- 230000007246 mechanism Effects 0.000 claims description 24
- 230000006870 function Effects 0.000 claims description 20
- 230000015654 memory Effects 0.000 claims description 17
- 238000007781 pre-processing Methods 0.000 claims description 15
- 230000000306 recurrent effect Effects 0.000 claims description 15
- 238000004364 calculation method Methods 0.000 claims description 7
- 230000008859 change Effects 0.000 claims description 7
- 238000013527 convolutional neural network Methods 0.000 claims description 5
- 230000003993 interaction Effects 0.000 claims description 4
- 238000012544 monitoring process Methods 0.000 claims description 4
- 230000002159 abnormal effect Effects 0.000 claims description 3
- 238000004458 analytical method Methods 0.000 claims description 3
- 238000011176 pooling Methods 0.000 claims description 3
- 238000010223 real-time analysis Methods 0.000 claims description 3
- 238000012216 screening Methods 0.000 claims description 3
- 230000004927 fusion Effects 0.000 claims description 2
- 230000007787 long-term memory Effects 0.000 claims description 2
- 238000013507 mapping Methods 0.000 claims 1
- 230000000694 effects Effects 0.000 abstract description 9
- 230000009471 action Effects 0.000 abstract description 5
- 230000008901 benefit Effects 0.000 abstract description 2
- 238000012549 training Methods 0.000 description 10
- 230000003542 behavioural effect Effects 0.000 description 4
- 230000007774 longterm Effects 0.000 description 4
- 239000011159 matrix material Substances 0.000 description 4
- 239000000284 extract Substances 0.000 description 3
- 230000001052 transient effect Effects 0.000 description 3
- 238000007796 conventional method Methods 0.000 description 2
- 210000002569 neuron Anatomy 0.000 description 2
- 230000004044 response Effects 0.000 description 2
- 230000006403 short-term memory Effects 0.000 description 2
- 230000009466 transformation Effects 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 230000004913 activation Effects 0.000 description 1
- 230000003044 adaptive effect Effects 0.000 description 1
- 230000008033 biological extinction Effects 0.000 description 1
- 210000004027 cell Anatomy 0.000 description 1
- 239000003795 chemical substances by application Substances 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000013136 deep learning model Methods 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000004880 explosion Methods 0.000 description 1
- 230000001815 facial effect Effects 0.000 description 1
- 238000005562 fading Methods 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
Classifications
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D30/00—Reducing energy consumption in communication networks
- Y02D30/70—Reducing energy consumption in communication networks in wireless communication networks
Landscapes
- Image Analysis (AREA)
Abstract
本发明公开了一种环境鲁棒的WiFi信号行为识别方法及系统，属于无线感知技术领域。本发明通过WiFi信号采集模块获取用户在不同场景下采取不同动作行为的WiFi信道状态信息CSI，对CSI数据进行滤波以剔除噪声，并且将CSI数据进行频域处理获得信号频谱图，将信号频谱图和滤波后的信号时序图输入特征提取模块，以提取用于识别的有效特征。环境自适应模块对时频域特征进行处理，剔除特征中的环境特征，得到环境无关的动作行为特征，而行为识别模块则用于对用户行为的有效识别。本发明具有使用简便、对环境要求低的优点，能够在多个复杂场景下实现良好的行为识别效果，同时具备较高的鲁棒性。
Description
技术领域
本发明涉及无线感知技术领域，更具体地说，涉及一种环境鲁棒的WiFi信号行为识别方法及系统。
背景技术
人体行为识别是智能应用的重要研究内容之一。人类行为识别是指通过测量人类做各种动作时产生的某些信号数据，根据一定算法，对人类行为加以分类识别。通过准确识别人类行为，可以提高人机交互质量并扩大智能应用范围，是智能生活未来的发展趋势，对研究智能家居、医疗辅助、键盘识别等具有重大意义。
传统的基于计算机视觉的方法，虽然能够实现较好的人体动作识别性能，但由于室内环境复杂、障碍物以及环境光线等因素的影响，其准确性较低并且在不同环境下同一方法进行识别的准确率有较大波动。此外，基于视觉信息的人体行为识别方法存在严重的隐私泄漏风险，摄像头所摄录的包含行为人面部特征的图像一旦泄露则可能造成非常大的安全隐患。因此，提出一种非侵入且保护隐私的识别方法十分必要。然而，一般的非侵入性识别方法对于环境依赖性较强，一旦环境发生变化，识别效果就会大大降低。
经检索，中国专利号ZL202010929951.2，申请日为2020年9月7日，发明创造名称为：一种基于注意力机制使用WiFi数据进行人体行为识别的方法，该申请案首先使用一种基于信道状态信息CSI的幅值和相位特征的行为识别方法，解决在使用CSI进行行为识别过程中的特征损失问题。然后利用信道频率响应CFR和信道冲激响应CIR可以通过傅里叶变换和反变换进行相互转换的原理，计算出WiFi设备所能得到的最小多径时延差之间的多径数据，通过确定经过人体反射和折射的多径信号到达接收机的时延间隔范围，对相关多径信号进行提取。最后使用一种用于CSI行为识别的注意力机制模型，利用注意力机制给不同特征分配学习权重，从而实现较高精度的基于WiFi数据的人体行为识别。但该申请案重点解决受人体影响的多径信号提取问题和识别过程中的特征无法充分利用问题，提高复杂环境中行为识别鲁棒性的原理、侧重目标与本专利并不相同。
发明内容
1.发明要解决的技术问题
鉴于上述现有技术的不足，本发明提供了一种环境鲁棒的WiFi信号行为识别方法及系统，本发明侧重于提取环境鲁棒的动作特征实现独立于环境的精确行为识别，通过引入交叉协方差自注意力机制，构建环境自适应模型，解决了在不同场景下无线感知识别行为的鲁棒性不足的问题，同时由于并未摄录用户的面部信息，因此有效地保护了用户的隐私。
2.技术方案
为达到上述目的，本发明提供的技术方案为：
本发明一种环境鲁棒的WiFi信号行为识别方法，其步骤为：
步骤一、采集WiFi信号，并获取WiFi信号中的CSI数据；
步骤二、对采集的CSI数据进行信号预处理，获得信号频谱图和信号时序图；
步骤三、对信号频谱图进行处理获取信号频域特征，对信号时序图进行处理获取信号时域特征，然后将二者组合获得信号时频域特征；
步骤四、引入交叉协方差自注意力机制，对信号时频域特征进行筛选与处理，分析信号特征中存在的环境特征和行为特征，提取出环境无关的行为特征；
步骤五、根据环境无关的行为特征，预测用户的行为类别。
更进一步地，步骤二所述信号预处理过程，具体包括：
对CSI数据进行提取、异常点去除以及丢失数据插值处理，并根据WiFi信号的质量对CSI数据进行滤波去噪；
对去噪后CSI数据进行大滑窗滤波，去除直流分量和高频分量；
监测滤波后的信号趋势，设定阈值判断信号趋势的急剧变化，识别用户行为的开始和结束时刻，提取出用户行为期间的CSI数据；
对用户行为期间的CSI数据进行小滑窗滤波，对每个小滑窗窗口进行实时分析，提取信噪比较高的窗口进行后续分析；
小滑窗滤波后，采用快速傅里叶变换获得CSI数据的频谱图。
更进一步地，步骤三中，利用长短期记忆递归神经网络对信号时序图进行处理获取信号时域特征，利用卷积神经网络对信号频谱图进行处理获取信号频域特征，然后利用前馈神经网络将二者组合成时频域特征。
更进一步地，步骤三中，长短期记忆递归神经网络LSTM通过引入记忆门、遗忘门和输出门处理时序图数据。
更进一步地，步骤三中，将信号频谱图以二维图的形式输入卷积神经网络ResNet18，ResNet18网络利用卷积层通过滑动的卷积核扫描频谱图，捕捉不同频率上的局部特征，每一卷积层之间利用RELU函数进行非线性处理，以提取非线性特征，通过残差连接提取频域的残差特征；在ResNet18网络中同时使用池化层降低数据维度，最后通过全连接层将频域特征转换为一维特征向量。
更进一步地，步骤三所述前馈神经网络通过全连接层将时域特征和频域特征映射至同一维度，然后将二者直接利用两层卷积层进行特征融合，叠加成时频域特征向量。
更进一步地，步骤四的具体过程为：
不同场景下的WiFi信号提取出的时频域特征为F，N个场景下产生N个时频域特征向量F1,F2...,FN，将这N个向量组成一个N维的时频域特征向量X；
将时频域特征向量X输入环境无关特征提取网络，首先经过3个N维1x1的权重矩阵，得到三个正则化的键向量K，查询向量Q和数值向量V；
计算查询向量Q与键向量K之间的相似度，得到注意力权重；其中，计算注意力权重采用交叉协方差自注意力机制；
通过注意力权重对数值向量进行加权求和，生成最终的权重输出，得到环境无关的行为特征。
更进一步地，步骤五采用全连接层对环境无关特征向量进行线性处理，将其降维至与行为类别相一致的维度，随后，通过Softmax函数对处理后的向量进行归一化，最后采用交叉熵函数作为损失函数，评估预测的行为类别。
本发明的一种环境鲁棒的WiFi信号行为识别系统，包括：
图形界面模块，用于人机交互，以及显示行为识别模块输出的识别结果；
WiFi信号采集模块，用于采集WiFi信号，并获取WiFi信号中的信道状态信息CSI；
信号预处理模块，用于对采集到的信道状态信息CSI进行预处理，获得信号频谱图和信号时序图；
特征提取模块，用于对信号频谱图进行处理获取信号频域特征，对信号时序图进行处理获取信号时域特征，然后将二者组合获得信号时频域特征；
环境自适应模块，用于引入交叉协方差自注意力机制，对信号时频域特征进行筛选与处理，分析信号特征中存在的环境特征和行为特征，提取出环境无关的行为特征；
行为识别模块，用于根据环境无关的行为特征，预测用户的行为类别。
更进一步地，所述的WiFi信号采集模块通过WiFi芯片获取到WiFi设备中物理层的CSI数据，利用开源的CSI Tool（如华盛顿大学提出的CSITOOL，以及西安电子科技大学提出的PicoScenes）对CSI数据进行采集和分析。
3.有益效果
采用本发明提供的技术方案，与已有的公知技术相比，具有如下显著效果：
（1）本发明的一种环境鲁棒的WiFi信号行为识别方法，首先采用大滑窗滤波策略，通过较大的时间窗口对WiFi信号的CSI数据进行预处理，聚焦于提取包含行为特征的部分，实现对实时行为变化的监测。接着借助小滑窗滤波策略，采用较小的滑窗窗口对用户行为期间的CSI数据进行分段，更敏感地感知信号的瞬时变化，以提取更为细致的时频域特征。通过创新性地结合大滑窗滤波策略和小滑窗滤波策略，实现了对WiFi信号的高效预处理，为实时行为监测和识别打下了基础。
（2）本发明的一种环境鲁棒的WiFi信号行为识别方法，运用卷积神经网络从信号频谱图中提取频域特征，运用长短时记忆网络从信号时序图中提取时域特征，再通过前馈神经网络对这两种特征进行叠加和融合，得到既包含时域变化又包含频域信息的更为丰富的时频域特征送入后续的环境自适应模块进行处理，使得环境自适应模块能够提取的特征更丰富，从而更加适应环境变化的不同场景下的行为识别。
（3）本发明的一种环境鲁棒的WiFi信号行为识别方法，在特征提取过程中，引入交叉协方差自注意力机制，与当前基于生成对抗网络的方法相比，本发明对交叉协方差自注意力机制的运用，仅需较少的数据进行训练，就能有效剔除时频域特征中的环境特征，保留纯粹的行为特征，使得行为识别更具鲁棒性，提高了在不同环境场景下识别结果的精准度。
（4）与传统基于视觉信息的人体行为识别不同，本发明使用WiFi信号作为数据来源，从而消除了隐私泄露的风险，有效保护了个人隐私。
附图说明
图1为实施例1所述的一种环境鲁棒的WiFi信号行为识别系统结构示意图。
图2为实施例2所述环境无关特征提取网络的示意图。
具体实施方式
为进一步了解本发明的内容，结合附图和实施例对本发明作详细描述。
实施例1
结合图1，本实施例的一种环境鲁棒的WiFi信号行为识别系统，包括图形界面模块、WiFi信号采集模块、信号预处理模块、特征提取模块、环境自适应模块和行为识别模块。其中：
图形界面模块，用于实现人机交互，从而控制用户终端的运行，控制实时行为识别系统的启动和停止，以及用于显示行为识别模块输出的识别结果。
WiFi信号采集模块，使用设定型号的无线网卡以及配套的无线网络驱动程序采集WiFi信号，获取WiFi信号中的信道状态信息（Channel State Information, CSI）并且该模块输出端与信号预处理模块输入端连接。本实施例利用开源的CSI Tool（如华盛顿大学提出的CSITOOL，以及西安电子科技大学提出的PicoScenes）对CSI数据进行采集和分析，可以通过WiFi芯片获取到WiFi设备中物理层的CSI数据，从而采集到进行行为识别所需要的原始CSI数据。
信号预处理模块，用于对采集到的WiFi信号中的信道状态信息CSI进行有效的预处理，以便于后续的动作识别和特征提取。具体而言，首先针对CSI数据的长期变化，采用大滑窗滤波策略，去除CSI数据的直流分量和高频分量，通过对较长范围内的数据进行滤波，有效地平滑信道估计，提高信噪比。大滑窗滤波技术有助于捕捉信号中的慢变化特征，比如由于移动用户引起的整体信道衰落和长时间内的多径效应。在滤波后的时序图上，通过波动阈值的判断，准确识别动作的开始和结束时刻。对于活动期间的时序图，引入小滑窗滤波技术，更敏锐地捕捉信道的快速变化，诸如瞬时干扰和移动用户的快速动作。小滑窗滤波后，采用快速傅里叶变换获得CSI数据的频谱图，为后续的时频域特征提取提供有力支持。
特征提取模块，用于对信号频谱图和信号时序图进行处理获取信号时频域特征，具体而言，利用长短期记忆递归神经网络对信号时序图进行处理获取信号时域特征，利用卷积神经网络对信号频谱图进行处理获取信号频域特征，然后利用前馈神经网络将二者组合成时频域特征输入到环境自适应模块。
环境自适应模块，用于对信号时频域特征进行筛选与处理，以获取环境无关的人体行为特征。该模块引入交叉协方差自注意力机制，分析信号特征中存在的环境特征和行为特征，提取出环境无关的行为特征。
值得说明的是，传统方法通常依赖对抗网络，需要大量不同领域的数据来训练环境鉴别器，以进行WiFi信号特征的环境识别。此外，还需要训练特征提取器，用于欺骗环境鉴别器生成环境无关的行为特征。这种训练方法对数据量有巨大需求，并且需要在每个适用的环境中进行大量训练才能取得一定效果，导致在未知环境下的行为识别鲁棒性较差。而本发明摒弃了基于对抗网络的思想，通过对交叉协方差自注意力机制的运用，分析信号特征中存在的环境特征和行为特征，该方法只需使用少数几种不同环境下的行为数据进行训练，即可实现对环境无关行为特征的提取。在未经过训练的环境下依然能够保持鲁棒的识别效果，从而解决了数据量需求和未训练环境下低识别率的问题。
行为识别模块，用于根据环境无关的行为特征，预测用户的行为类别。
实施例2
本实施例的一种环境鲁棒的WiFi信号行为识别方法，包括以下步骤：
（1）WiFi信号采集：使用设定型号的无线网卡和配套的无线网络驱动程序采集WiFi信号，并利用程序获取WiFi信号中的CSI数据传输给信号预处理模块。
（2）对采集的CSI数据进行信号预处理，具体包括：
对CSI数据进行提取、异常点去除以及丢失数据插值处理，并根据WiFi信号的质量对CSI数据进行滤波以去噪。
针对CSI数据的长期变化，采用大滑窗滤波策略，将整个CSI数据分割为较大的时间窗口，每个窗口对应一个特定的时间段。在每个时间窗口内，进行滤波以去除直流分量和高频分量，并通过监测滤波后的信号趋势，通过设定阈值来判断信号趋势的急剧变化，从而准确地识别用户行为的开始和结束时刻，进一步提取出用户行为期间的CSI数据以供下一步处理。大滑窗滤波的关键优势在于对较长范围内的数据进行滤波，从而有效地平滑了信道估计，提高了信噪比。不仅有助于消除短时的信号波动，而且能够捕捉到信号中的慢变化特征。
对于大滑窗滤波提取出的用户行为期间的CSI数据，进一步引入小滑窗滤波技术。整个信号数据流被分割为较小的时间窗口，其中小滑窗的时间窗口相对较小，通常涵盖较短的时间段，例如几毫秒到数百毫秒。每个窗口对应一个短时间段，对每个窗口进行实时分析，具体包括计算瞬时功率、瞬时信噪比，提取信噪比较高的窗口进行后续分析。小滑窗滤波有助于捕捉短时刻内的信号动态变化，诸如瞬时干扰和移动用户的快速动作，从而更精准地提取用户行为特征。小滑窗滤波后，采用快速傅里叶变换获得CSI数据的频谱图，为后续的时频域特征提取提供支持。最后，信号预处理模块将频谱图和滤波后的时序图输入到特征提取模块中。
（3）对信号频谱图和信号时序图进行处理获取信号时频域特征，其中，利用长短期记忆递归神经网络对信号时序图进行处理获取信号时域特征，利用卷积神经网络对信号频谱图进行处理获取信号频域特征，然后利用前馈神经网络将二者组合成时频域特征输入到环境自适应模块。具体而言：
对于WiFi信号的时序图，利用循环神经网络中的长短期记忆递归神经网络进行处理获取信号时域特征。循环神经网络（Recurrent Neural Network，RNN）是一种深度学习模型，其主要原理是通过具有循环连接的神经元来处理序列数据。每个神经元在处理一个输入后，将其输出作为下一个时间步的输入，因此RNN能够保持对先前信息的记忆。
然而，传统RNN在处理长序列时容易出现梯度消失或梯度爆炸的问题。为了克服这一问题，发展出了长短期记忆递归神经网络（Long Short-Term Memory Recurrent NeuralNetwork，LSTM RNN）和门控循环单元（Gated Recurrent Unit，GRU）等结构，引入了门控机制以更有效地捕捉长期依赖关系。本实施例采用的是长短期记忆递归神经网络LSTM，LSTM引入了一个记忆单元，其中包含三个门：记忆门、遗忘门、输出门。这些门控制着记忆单元的状态，允许LSTM在处理序列数据时选择性地记住或遗忘信息。在本实施例中LSTM通过引入记忆门、遗忘门和输出门等门控机制，巧妙地处理时序图数据。在某一时刻的信息和上一时刻产生的信息方面，首先经过一个由sigmoid函数组成的遗忘门，丢弃不需要的信息。接着，通过一个记忆门，第一个利用sigmoid函数决定哪些值需要更新，第二个是一个tanh层用来生成新的候选值，二者相加得到新的信息。最后，在输出门生成当前时刻的隐藏状态，传递至下一时刻或作为网络的输出。具体操作是通过一个由sigmoid层得到初始输出，随后使用tanh函数将记忆门提取的信息缩放至-1到1间，再与sigmoid输出逐对相乘，得到最终的模型输出。这一系列步骤使得LSTM能够高效地捕捉和处理时序数据中的长期依赖关系，能够提取出信号时序图中的时序特征。
对于WiFi信号的频谱图，利用卷积神经网络对频域信息进行处理获取信号频域特征，将滑窗后得到的多个频谱图叠加成多通道的输入向量，从而可以利用2D卷积神经网络对频谱图进行特征提取。整个提取过程主要集中在卷积层的操作上，具体而言，本实施例在处理过程中，将信号频谱图以二维图的形式输入ResNet18网络。ResNet18网络利用卷积层通过滑动的卷积核扫描频谱图，以捕捉不同频率上的局部特征。每一卷积层之间利用RELU函数进行非线性处理，从而提取非线性特征。同时，通过残差连接提取频域的残差特征，进一步增强网络的学习能力。
此外，在ResNet18网络中还使用池化层降低数据维度，提取更为显著和重要的频域特征，以减少后续计算的复杂性。最终，通过全连接层将频域特征转换为一维特征向量，为后续行为识别提供了有效的输入。
对于提取的时域特征和频域特征，本实施例继续通过前馈神经网络对时域和频域特征进行整合。这一整合过程首先通过全连接层将时域特征和频域特征映射至同一维度，然后将二者直接利用两层卷积层进行特征融合，叠加成为一个全面的时频域特征向量，并采用预先设定的自注意力机制网络对信号时频域特征进行筛选与处理，以获取环境无关的人体行为特征。
信号的时频域特征主要由两部分组成即信号采集场景下的环境特征和用户的行为特征。利用WiFi信号进行行为识别的重点在于如何提取WiFi信号中的用户行为特征，传统方法通常依赖对抗网络，需要大量不同领域的数据来训练环境鉴别器，以进行WiFi信号特征的环境识别。此外，还需要训练特征提取器，用于欺骗环境鉴别器生成环境无关的行为特征。这种训练方法对数据量有巨大需求，并且需要在每个适用的环境中进行大量训练才能取得一定效果，同时生成的行为特征由于经过大量的训练存在过拟合的情况在未知环境下的行为识别鲁棒性较差。
自注意力机制是一种深度学习中用于序列数据处理的机制，其最为著名的应用体现在Transformer模型。在环境自适应方面，自注意力机制发挥着关键的作用，能够有效处理不同域之间的数据差异，提升模型的泛化性能。
为减少自注意力机制的计算量，本实施例引入交叉协方差注意力（Cross-Covariance Attention，XCA）。XCA利用交叉协方差矩阵计算注意力权重，通过将输入特征分解为不同通道，计算各通道之间的协方差矩阵，以提取环境无关特征用于行为识别。本实施例的特色在于运用交叉协方差注意力，在模型训练过程中将不同场景下同一行为的信号特征组合成为多通道特征向量作为输入，并使用自注意力机制学习在不同场景下同一用户行为和环境的注意力权重，通过少量的训练将WiFi时频域特征中的行为特征提取出来。提取过程具体如下：
首先将不同场景下的WiFi信号通过上述特征提取模块提取出时频域特征F，N个场景下会产生N个时频域特征向量F1,F2...,FN，将这N个向量组成一个N维的时频域特征向量X，通过图2所示的环境无关特征提取网络，首先经过3个N维1x1的权重矩阵（卷积层），得到三个正则化的向量K，Q，V；它们分别代表键（Key）、查询（Query）、数值（Value）：
键（K - Key）：键向量用来与查询向量比较的，以计算查询与键之间的相似度。相似度越高，表示该位置的信息越重要。
查询（Q - Query）：查询向量表示需要关注的元素。用来与键（Key）进行比较，以确定关注的焦点。
数值（V - Value）：数值向量包含希望赋予查询位置的信息。注意力机制的输出是对数值向量的加权求和，权重由查询和键之间的相似度决定。
通过计算查询向量与键向量之间的相似度，可以得到注意力权重。本实施例计算注意力权重使用的是交叉协方差自注意力机制，公式如下所示：
τ为一个可学习的参数。该参数的作用是对K T和Q的内积在Softmax函数前进行缩放。
该函数沿着特征维度执行，计算每个维度所代表的场景时频域特征向量中行为特征的注意力权重。然后，通过这些注意力权重对数值向量进行加权，生成最终的输出。
由于输入的时频域特征向量X中每个维度的特征向量对应同一用户行为，所以在最后用于监督训练的标签是一致的，可以有效地利用反向传播机制进行参数优化，即通过对不同场景下同一用户产生的WiFi信号的时频域特征向量进行训练，并对提取K、Q、V向量的权重矩阵进行反向传播调整参数，可以生成更符合要求的K、Q、V向量。这有助于提高对行为特征的注意力权重，最终使得数值向量与注意力权重加权的结果生成具有更强环境无关性的行为特征。
值得说明的是，在计算注意力权重时，自注意力机制需要计算所有位置之间的相似度，这会导致巨大的计算量，如果输入的向量基本维度为[W,H]，那么单个向量计算注意力的时间复杂度能够达到O(W 2 H 2)。传统的注意力计算中,其中/>，/>，由于X的维度为[N, d]，N是X中token的数量，d是每一个token的特征维度，W的维度为[d, d]，故生成的Q和K的维度为[N, d]。在传统计算中Q,K,T的维度为[N, N]，而本实施例利用交叉协方差注意力XCA，可以将单个特征向量计算自注意力的时间复杂度降低到线性层面，计算/>，得到的维度为[d, d]，极大地减少了计算量。
（4）对于环境自适应模块提取的环境无关特征向量，行为识别模块采用全连接层对该特征向量进行线性处理，将其降维至与行为类别相一致的维度。随后，通过Softmax函数对处理后的向量进行归一化。Softmax函数作为一种激活函数，能够将数值向量转化为概率分布向量，确保各个概率之和为1。在行为识别模块的设计中，Softmax被用作神经网络输出的最后一层，尤其适用于多分类问题。最终，采用交叉熵函数作为损失函数，评估预测的行为类别与实际行为类别之间的差异，并通过反向传播算法对整个网络进行优化。该过程旨在最大程度减小预测误差，以提高行为识别模块的准确性和可靠性。
本实施例解决了在不同场景下无线感知识别行为的鲁棒性不足的问题，同时也确保了对个人隐私的保护。
以上示意性的对本发明及其实施方式进行了描述，该描述没有限制性，附图中所示的也只是本发明的实施方式之一，实际的结构并不局限于此。所以，如果本领域的普通技术人员受其启示，在不脱离本发明创造宗旨的情况下，不经创造性的设计出与该技术方案相似的结构方式及实施例，均应属于本发明的保护范围。
Claims (10)
1.一种环境鲁棒的WiFi信号行为识别方法，其特征在于，其步骤为：
步骤一、采集WiFi信号，并获取WiFi信号中的CSI数据；
步骤二、对采集的CSI数据进行信号预处理，获得信号频谱图和信号时序图；
步骤三、对信号频谱图进行处理获取信号频域特征，对信号时序图进行处理获取信号时域特征，然后将二者组合获得信号时频域特征；
步骤四、引入交叉协方差自注意力机制，对信号时频域特征进行筛选与处理，分析信号特征中存在的环境特征和行为特征，提取出环境无关的行为特征；
步骤五、根据环境无关的行为特征，预测用户的行为类别。
2.根据权利要求1所述的一种环境鲁棒的WiFi信号行为识别方法，其特征在于，步骤二所述信号预处理过程，包括：
对CSI数据进行提取、异常点去除以及丢失数据插值处理，并根据WiFi信号的质量对CSI数据进行滤波去噪；
对去噪后CSI数据进行大滑窗滤波，去除直流分量和高频分量；
监测滤波后的信号趋势，设定阈值判断信号趋势的急剧变化，识别用户行为的开始和结束时刻，提取出用户行为期间的CSI数据；
对用户行为期间的CSI数据进行小滑窗滤波，对每个小滑窗窗口进行实时分析，提取信噪比较高的窗口进行后续分析；
小滑窗滤波后，采用快速傅里叶变换获得CSI数据的频谱图。
3.根据权利要求2所述的一种环境鲁棒的WiFi信号行为识别方法，其特征在于：步骤三中，利用长短期记忆递归神经网络对信号时序图进行处理获取信号时域特征，利用卷积神经网络对信号频谱图进行处理获取信号频域特征，然后利用前馈神经网络将二者组合成时频域特征。
4.根据权利要求3所述的一种环境鲁棒的WiFi信号行为识别方法，其特征在于：步骤三中，长短期记忆递归神经网络LSTM通过引入记忆门、遗忘门和输出门处理时序图数据。
5.根据权利要求4所述的一种环境鲁棒的WiFi信号行为识别方法，其特征在于：步骤三中，将信号频谱图以二维图的形式输入卷积神经网络ResNet18，ResNet18网络利用卷积层通过滑动的卷积核扫描频谱图，捕捉不同频率上的局部特征，每一卷积层之间利用RELU函数进行非线性处理，以提取非线性特征，通过残差连接提取频域的残差特征；在ResNet18网络中同时使用池化层降低数据维度，最后通过全连接层将频域特征转换为一维特征向量。
6.根据权利要求5所述的一种环境鲁棒的WiFi信号行为识别方法，其特征在于：步骤三所述前馈神经网络通过全连接层将时域特征和频域特征映射至同一维度，然后将二者直接利用两层卷积层进行特征融合，叠加成时频域特征向量。
7.根据权利要求1-6任一项所述的一种环境鲁棒的WiFi信号行为识别方法，其特征在于：步骤四的具体过程为：
不同场景下的WiFi信号提取出的时频域特征为F，N个场景下产生N个时频域特征向量F1,F2...,FN，将这N个向量组成一个N维的时频域特征向量X；
将时频域特征向量X输入环境无关特征提取网络，首先经过3个N维1x1的权重矩阵，得到三个正则化的键向量K，查询向量Q和数值向量V；
计算查询向量Q与键向量K之间的相似度，得到注意力权重；其中，计算注意力权重采用交叉协方差自注意力机制；
通过注意力权重对数值向量进行加权求和，生成最终的权重输出，得到环境无关的行为特征。
8.根据权利要求7所述的一种环境鲁棒的WiFi信号行为识别方法，其特征在于：步骤五采用全连接层对环境无关特征向量进行线性处理，将其降维至与行为类别相一致的维度，随后，通过Softmax函数对处理后的向量进行归一化，最后采用交叉熵函数作为损失函数，评估预测的行为类别。
9.一种环境鲁棒的WiFi信号行为识别系统，其特征在于，包括：
图形界面模块，用于人机交互，以及显示行为识别模块输出的识别结果；
WiFi信号采集模块，用于采集WiFi信号，并获取WiFi信号中的信道状态信息CSI；
信号预处理模块，用于对采集到的信道状态信息CSI进行预处理，获得信号频谱图和信号时序图；
特征提取模块，用于对信号频谱图进行处理获取信号频域特征，对信号时序图进行处理获取信号时域特征，然后将二者组合获得信号时频域特征；
环境自适应模块，用于引入交叉协方差自注意力机制，对信号时频域特征进行筛选与处理，分析信号特征中存在的环境特征和行为特征，提取出环境无关的行为特征；
行为识别模块，用于根据环境无关的行为特征，预测用户的行为类别。
10.根据权利要求9所述的一种环境鲁棒的WiFi信号行为识别系统，其特征在于：所述的WiFi信号采集模块通过WiFi芯片获取到WiFi设备中物理层的CSI数据，利用开源的CSITool对CSI数据进行采集和分析。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202410173471.6A CN117725369B (zh) | 2024-02-07 | 2024-02-07 | 一种环境鲁棒的WiFi信号行为识别方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202410173471.6A CN117725369B (zh) | 2024-02-07 | 2024-02-07 | 一种环境鲁棒的WiFi信号行为识别方法及系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN117725369A true CN117725369A (zh) | 2024-03-19 |
| CN117725369B CN117725369B (zh) | 2024-05-17 |
Family
ID=90207319
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202410173471.6A Active CN117725369B (zh) | 2024-02-07 | 2024-02-07 | 一种环境鲁棒的WiFi信号行为识别方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117725369B (zh) |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104008282A (zh) * | 2014-05-15 | 2014-08-27 | 合肥工业大学 | 基于wifi背景噪音的被动式两人行为识别方法 |
| CN109146066A (zh) * | 2018-11-01 | 2019-01-04 | 重庆邮电大学 | 一种基于语音情感识别的虚拟学习环境自然交互方法 |
| CN112131972A (zh) * | 2020-09-07 | 2020-12-25 | 重庆邮电大学 | 一种基于注意力机制使用WiFi数据进行人体行为识别的方法 |
| CN114707563A (zh) * | 2022-06-07 | 2022-07-05 | 湖南工商大学 | 一种基于Wi-Fi信道状态信息的人体动作识别方法 |
| CN116503776A (zh) * | 2023-04-23 | 2023-07-28 | 江南大学 | 一种基于时间自适应的时空注意力视频行为识别方法 |
-
2024
- 2024-02-07 CN CN202410173471.6A patent/CN117725369B/zh active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104008282A (zh) * | 2014-05-15 | 2014-08-27 | 合肥工业大学 | 基于wifi背景噪音的被动式两人行为识别方法 |
| CN109146066A (zh) * | 2018-11-01 | 2019-01-04 | 重庆邮电大学 | 一种基于语音情感识别的虚拟学习环境自然交互方法 |
| CN112131972A (zh) * | 2020-09-07 | 2020-12-25 | 重庆邮电大学 | 一种基于注意力机制使用WiFi数据进行人体行为识别的方法 |
| CN114707563A (zh) * | 2022-06-07 | 2022-07-05 | 湖南工商大学 | 一种基于Wi-Fi信道状态信息的人体动作识别方法 |
| CN116503776A (zh) * | 2023-04-23 | 2023-07-28 | 江南大学 | 一种基于时间自适应的时空注意力视频行为识别方法 |
Non-Patent Citations (2)
| Title |
|---|
| YU GU 等: "A Novel WiFi Gesture Recognition Method Based on CNN-LSTM and Channel Attention", AISS, 28 November 2021 (2021-11-28), pages 1 - 4, XP058834601, DOI: 10.1145/3503047.3503148 * |
| 陈嘉鸣 等: "基于信道状态信息的船舶驾驶员值班行为识别方法", 大连海事大学学报, no. 03, 31 December 2020 (2020-12-31), pages 71 - 78 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN117725369B (zh) | 2024-05-17 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Zhang et al. | Wi-Fi sensing for joint gesture recognition and human identification from few samples in human-computer interaction | |
| CN112581979B (zh) | 一种基于语谱图的语音情绪识别方法 | |
| CN110007366B (zh) | 一种基于多传感器融合的生命搜寻方法以及系统 | |
| CN111582020A (zh) | 信号处理方法、装置、计算机设备及存储介质 | |
| CN112244878B (zh) | 用并联型多模块cnn和lstm识别关键频带图像序列的方法 | |
| CN115438708A (zh) | 一种基于卷积神经网络和多模态融合的分类识别方法 | |
| CN115294658B (zh) | 一种面向多应用场景的个性化手势识别系统及其手势识别方法 | |
| CN109993770A (zh) | 一种自适应时空学习与状态识别的目标跟踪方法 | |
| CN116956222A (zh) | 一种基于自适应特征提取的多复杂度行为识别系统及方法 | |
| CN117272102A (zh) | 一种基于双注意力机制的变压器故障诊断方法 | |
| Moshiri et al. | CSI-based human activity recognition using convolutional neural networks | |
| CN115508821A (zh) | 一种多源融合无人机智能探测系统 | |
| CN117975638A (zh) | 基于信息融合技术的智慧安防报警系统及其方法 | |
| CN117725369B (zh) | 一种环境鲁棒的WiFi信号行为识别方法及系统 | |
| Zhu et al. | Multi-task self-supervised learning for vehicle classification based on carrier-free UWB radars | |
| CN110363074B (zh) | 一种针对复杂抽象化事物的类人化识别交互方法 | |
| CN116524380A (zh) | 一种基于脑-机信号融合的目标检测方法 | |
| CN115276857B (zh) | 基于Cholesky分解和卷积神经网络相结合的全盲频谱检测方法 | |
| CN114360058B (zh) | 一种基于行走视角预测的跨视角步态识别方法 | |
| CN115171211A (zh) | 信道状态信息的动作和位置的联合估计方法 | |
| CN114724245A (zh) | 基于csi的增量学习人体动作识别方法 | |
| CN113030849B (zh) | 一种基于自编码器与并行网络的近场源定位方法 | |
| CN115438691A (zh) | 一种基于无线信号的小样本手势识别方法 | |
| Cui et al. | Research on the enhancement of machine fault evaluation model based on data-driven | |
| Yin et al. | Life detection strategy based on infrared vision and ultra-wideband radar data fusion |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |