CN115034259A - 基于csi与双线程卷积网络的位置无关的人体动作识别方法 - Google Patents

基于csi与双线程卷积网络的位置无关的人体动作识别方法 Download PDF

Info

Publication number
CN115034259A
CN115034259A CN202210540027.4A CN202210540027A CN115034259A CN 115034259 A CN115034259 A CN 115034259A CN 202210540027 A CN202210540027 A CN 202210540027A CN 115034259 A CN115034259 A CN 115034259A
Authority
CN
China
Prior art keywords
local
global
block
csi
feature
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202210540027.4A
Other languages
English (en)
Other versions
CN115034259B (zh
Inventor
张勇
殷雨晴
王昱洁
于光伟
武定超
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hefei University of Technology
Original Assignee
Hefei University of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hefei University of Technology filed Critical Hefei University of Technology
Priority to CN202210540027.4A priority Critical patent/CN115034259B/zh
Publication of CN115034259A publication Critical patent/CN115034259A/zh
Application granted granted Critical
Publication of CN115034259B publication Critical patent/CN115034259B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/049—Temporal neural networks, e.g. delay elements, oscillating neurons or pulsed inputs
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D30/00—Reducing energy consumption in communication networks
    • Y02D30/70—Reducing energy consumption in communication networks in wireless communication networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于CSI与双线程卷积网络的位置无关的人体动作识别方法，其步骤包括：1、采集CSI动作样本数据；2、对CSI动作样本数据进行预处理；3、构建双线程卷积网络；4、将预处理后的训练样本输入到双线程卷积网络进行训练得到分类模型；5、将预处理后的测试样本输入分类模型中进行人体动作识别。本发明无需用户提供新位置上的样本或再次训练模型即可实现在室内任意位置上的动作识别，实用性较强。

Description

基于CSI与双线程卷积网络的位置无关的人体动作识别方法
技术领域
本发明属于无线通信技术领域，具体的说是一种基于CSI与双线程卷积网络的位置无关的人体动作识别方法。
背景技术
近年来，人体动作识别技术在智能家居、安全监控和健康监控等各个领域的应用受到越来越多的重视。人体动作识别方法主要包括基于可穿戴传感器的和基于计算机视觉的等。上述方法都具有较好的识别效果。但是，基于可穿戴传感器的动作识别需要人体一直佩戴设备，会给用户造成不便。而基于计算机视觉的动作识别存在视线(LOS)要求、照明要求，且容易侵犯用户的隐私。与上述方法相比，基于商业WiFi的动作识别由于不侵犯用户隐私、不受光线影响、没有设备限制而受到广泛关注。
基于WiFi的人体动作识别分为采用接收信号强度信息(RSSI)的和采用信道状态信息(CSI)的。相比于RSSI，CSI以物理层为基础，具有更细粒度的信息，并且能够在一定程度上区分多径分量。因此，基于CSI的人体动作识别技术被广泛研究。
现有的方法已经在基于CSI的动作识别上取得了良好的效果，但是其位置泛化性的一些挑战还没有得到充分的解决。即在特定位置下训练的动作识别模型很难在其他位置采集的动作样本上有良好的表现。这是因为原始的CSI样本中不仅包含动作信息，还包含来自环境的信息。位置的改变意味着感知环境的改变，从而使反射、衍射、多径效应等因素的影响发生变化，导致不同位置上采集到的相同动作的CSI样本也具有不同的数据分布。
目前已有的三种解决方案：一是采集尽可能多的位置的样本，以学习不同位置上的动作的特征。但在实际的应用中，获取尽可能多的位置的数据耗费时间和精力，影响用户体验。二是通过元学习的方法学习和记忆不同位置动作的特征，实现用少量样本识别新位置的动作。但是元学习的方法仍然需要提供新位置上的样本作为支持集。三是通过转换函数生成新位置上手势的虚拟样本，通过DWT提取特征来训练KNN得到适用于各新位置的分类模型。但该方法在识别新位置上的动作时需要重新训练模型。
综上所述，上述三种方法虽然取得了良好的效果，但是他们需要采集新位置上的样本或对模型进行再训练，这耗费时间和精力，降低了实用性。
发明内容
本发明是为了解决上述现有技术存在的不足之处，提出一种基于CSI与双线程卷积网络的位置无关的人体动作识别方法，以期能在人体所处位置发生变化时，无需重新收集数据或再次训练模型即可对新位置上的动作进行高精度的识别，从而能增强动作识别的实用性以适应不同的应用场景。
本发明为达到上述发明目的，采用如下技术方案：
本发明一种基于CSI与双线程卷积网络的位置无关的人体动作识别方法的特点在于，是按如下步骤进行：
步骤1、采集CSI动作数据；
步骤1.1、在室内一矩形区域内选取间距为d的p个位置和任意分布的q个位置，在所述p个位置中选取p1个位置作为训练位置，将其余p2个位置和q个任意位置作为测试位置，p＝p1+p2；
步骤1.2、在所述矩形区域的外侧使用路由器作为WiFi信号的发送设备，记为AP，使用k张网卡作为接收设备，并将第i个接收设备记为Ri，i∈[1,k]；
步骤1.3、在第j个训练位置上执行n种人体动作，并使用所述第i个接收设备Ri以采样速率v采集所述发送设备AP发送的a根天线上的x个WiFi信号，从而构建第j个训练位置上的第i个CSI动作数据
Figure BDA0003647888110000021
j∈[1,p1]；
步骤2、对CSI动作数据进行预处理；
步骤2.1、提取所述第i个CSI动作数据
Figure BDA0003647888110000022
的幅度值，并进行离散小波变换后得到去噪后的第j个训练位置上的第i个CSI动作样本数据
Figure BDA0003647888110000023
步骤2.2、提取所述第i个CSI动作数据
Figure BDA0003647888110000024
的多普勒频移动作样本数据；
步骤2.2.1、对所述第i个CSI动作数据
Figure BDA0003647888110000025
进行天线选择，选出第i个CSI动作数据
Figure BDA00036478881100000215
的a根天线中WiFi信号的均值与标准差比值最大的一根天线
Figure BDA0003647888110000026
步骤2.2.2、将所述第i个CSI动作数据
Figure BDA0003647888110000027
的其他天线上的WiFi信号与天线
Figure BDA0003647888110000028
上的WiFi信号进行共轭乘法，从而得到消除随机相位偏移后的第i个CSI动作数据
Figure BDA0003647888110000029
步骤2.2.3、通过巴特沃斯带通滤波器对所述第i个CSI动作数据
Figure BDA00036478881100000210
进行滤波，并通过PCA方法选取
Figure BDA00036478881100000211
的第一主分量数据
Figure BDA00036478881100000212
再对所述第一主分量数据
Figure BDA00036478881100000213
进行短时傅里叶变换后得到多普勒频移动作样本数据
Figure BDA00036478881100000214
步骤2.3、将k个接收设备上的去噪后的CSI动作样本数据
Figure BDA0003647888110000031
和多普勒频移动作样本数据
Figure BDA0003647888110000032
组合后，得到第j个训练位置上的组合动作样本数据Jj；
步骤3、构建双线程卷积网络，包括：特征提取模块和分类模块；并将所述组合动作样本数据Jj输入到所述双线程卷积网络中；
步骤3.1、构建所述特征提取模块，包括：并联设置的全局特征提取模块和局部特征提取模块；
步骤3.1.1、所述全局特征提取模块由u个3D卷积块和一个通道注意力机制块构成；其中，第U个3D卷积块记为3DConvU，U∈[1,u]；
所述第U个3D卷积块3DConvU包括：m个三维卷积层以及对应连接的m个ReLU激活函数层；
当U＝1时，将所述组合动作样本数据Jj输入全局特征提取模块，并经过第U个3D卷积块3DConvU的处理后输出第U个全局时空特征Gfj,U；
当U＝2，3，…，u时，将第U-1个全局时空特征Gfj,U-1输入第U个3D卷积块3DConvU中进行处理，并输出相应的全局时空特征Gfj,U；从而由第u个3D卷积块3DConvu得到第u个全局时空特征Gfj,u并记为全局时空特征Gfj；
所述通道注意力机制块由3D全局最大池化层MaxPool、3D全局平均池化层AvgPool、全连接层MLP和激活函数sigmoid构成；
所述全局时空特征Gfj输入所述通道注意力机制块中，并分别经过所述3D全局最大池化层MaxPool和3D全局平均池化层AvgPool的处理后，相应得到最大池化特征向量GFj,max和平均池化特征向量GFj,avg；将所述最大池化特征向量GFj,max和平均池化特征向量GFj,avg作为全连接层MLP的输入，并利用式(1)计算通道注意力权重GFj,channel；
GFj,channel＝sigmoid(MLP(MaxPool(Gfj,u))+MLP(AvgPool(Gfj,u))) (1)
式(1)中，MLP表示全连接层，sigmoid表示激活函数，MaxPool表示3D全局最大池化层，AvgPool表示3D全局平均池化层；
将所述通道注意力权重GFj,channel与所述全局时空特征Gfj相乘后，得到优化后的全局时空特征Tj,Global；
步骤3.1.2、所述局部特征提取模块由w个2D卷积块、y个全连接块和z个长短期记忆块构成；其中，第W个2D卷积块记为2DConvW，第Y个全连接块记为FCY，第Z个长短期记忆块记为LSTMZ，W∈[1,w]，Y∈[1,y]，Z∈[1,z]；
所述第W个2D卷积块2DConvW包括：b个2维卷积层、b个最大池化层以及b个ReLU激活函数层；
当W＝1时，所述组合动作样本数据Jj输入局部特征提取模块中，并经过第W个2D卷积块2DConvW的处理后输出第W个局部空间特征Lfj,S,W；
当W＝2，3，…，w时，将所述第W-1个局部空间特征Lfj,S,W-1输入所述第W个2D卷积块2DConvW中进行处理，并输出第W个局部空间特征Lfj,S,W；从而由第w个2D卷积块2DConvw得到第w个局部空间特征Lfj,S,w并记为局部空间特征Lfj,S；
所述第Y个全连接块FCY包括：c个全连接层fc和c个ReLU激活函数层；
当Y＝1时，将所述局部空间特征Lfj,S输入所述第Y个全连接块FCY中进行处理，并输出第Y个高层次局部空间特征Lf′j,S,Y；
当Y＝2，3，…，y时，将所述第Y-1个高层次局部空间特征Lf′j,S,Y-1输入所述第Y个全连接块FCY中进行处理，并输出相应的第Y个高层次局部空间特征Lf′j,S,Y；从而由第y个全连接块FCy得到最终输出的第y个高层次局部空间特征Lf′j,S,y，并记为高层次局部空间特征Lf′j,S；
当Z＝1时，将所述高层次局部空间特征Lf′j,S输入所述第Z个长短期记忆块LSTMZ中进行建模，并输出第Z个局部时空特征Tj,Local,Z；
当Z＝2，3，…，z时，将所述第Z-1个局部时空特征Tj,Local,Z-1输入所述第Z个长短期记忆块LSTMZ中进行处理，并输出第Z个局部时空特征Tj,Local,Z；从而由第z个长短期记忆块LSTMz得到最终的局部时空特征，记为Tj,Local；
步骤3.2、所述分类模块包括：一个连接层CAT和一个全连接层fc；
步骤3.2.1、将所述优化后的全局时空特征Tj,Global和局部时空特征Tj,Local输入所述分类模块，并经过所述连接层CAT的处理后，输出时空特征Tj,CAT；
步骤3.2.2、将时空特征Tj,CAT输入所述全连接层fc中进行处理后，得到输出向量Qj；再使用softmax函数对所述输出向量Qj进行处理后，得到最大预测概率Pj并作为第j个训练位置上的组合动作样本数据Jj的分类结果；
步骤4、基于p1个训练位置上的组合动作样本数据，利用反向传播算法对所述双线程卷积网络进行训练，并计算分类交叉熵损失函数用于更新网络参数，直到损失函数收敛为止，从而得到人体动作分类模型；
步骤5、对测试位置上的动作样本数据进行预处理后，输入所述人体动作分类模型中并得到相应的分类结果。
与现有技术相比，本发明的有益效果在于：
1、本发明通过将2个接收端的CSI数据和多普勒频移数据组合构成动作样本数据，增强了信号与动作之间的映射关系并减少了环境影响，从而能提供更多感知信息以便于后期特征信息的提取，为实现零样本的任意位置动作识别提供了有力条件。
2、本发明采用3DCNN与结合时间建模的2DCNN设计双线程网络，并通过通道注意力机制强调特征中对分类有效的信息，充分的提取动作样本中同类动作的共性特征以及不同动作的个性特征，减小了不同位置上的样本的类内差异性并突出其类间差异性，从而能有效的识别其他位置上的动作，提升了位置识别的泛化性能。
附图说明
图1是本发明的实现流程图；
图2是本发明双线程卷积网络框架图；
图3是本发明全局特征提取模块网络结构图；
图4是本发明通道注意力机制块结构图；
图5是本发明局部特征提取模块网络结构图；
图6是本发明分类模块网络结构图。
具体实施方式
本实施例中，如图1所示，一种基于CSI与双线程卷积网络的位置无关的人体动作识别方法是按如下步骤进行：
步骤1、采集CSI动作数据；
步骤1.1、在室内一矩形区域内选取间距为d的p个位置和任意分布的q个位置，在p个位置中选取p1个位置作为训练位置，将其余p2个位置和q个任意位置作为测试位置，p＝p1+p2；本实施例中，选取间距为1.6m的16个位置，选取其中12个位置作为训练位置，将其他4个位置和任意分布的6个位置作为测试位置；
步骤1.2、在矩形区域的外侧使用路由器作为WiFi信号的发送设备，记为AP，使用k张网卡作为接收设备，并将第i个接收设备记为Ri，i∈[1,k]；本实施例中，AP设备采用TL-WDR6500路由器，RP设备采用Intel 5300网卡，共使用2张网卡；
步骤1.3、在第j个训练位置上执行n种人体动作，并使用第i个接收设备Ri以采样速率v采集发送设备AP发送的a根天线上的x个WiFi信号，从而构建第j个训练位置上的第i个CSI动作数据
Figure BDA0003647888110000061
j∈[1,p1]；本实施例中，共执行6种动作，采样速率v为每秒1000包，RP设备有3根接收天线，共采集90个WiFi信号；
步骤2、对CSI动作数据进行预处理；
步骤2.1、提取第i个CSI动作数据
Figure BDA0003647888110000062
的幅度值，并进行离散小波变换后得到去噪后的第j个训练位置上的第i个CSI动作样本数据
Figure BDA0003647888110000063
步骤2.2、提取第i个CSI动作数据
Figure BDA0003647888110000064
的多普勒频移动作样本数据；
步骤2.2.1、对第i个CSI动作数据
Figure BDA0003647888110000065
进行天线选择，选出第i个CSI动作数据
Figure BDA0003647888110000066
的a根天线中WiFi信号的均值与标准差比值最大的一根天线
Figure BDA0003647888110000067
步骤2.2.2、将第i个CSI动作数据
Figure BDA0003647888110000068
的其他天线上的WiFi信号与天线
Figure BDA0003647888110000069
上的WiFi信号进行共轭乘法，从而得到消除随机相位偏移后的第i个CSI动作数据
Figure BDA00036478881100000610
步骤2.2.3、通过巴特沃斯带通滤波器对第i个CSI动作数据
Figure BDA00036478881100000611
进行滤波，并通过PCA方法选取
Figure BDA00036478881100000612
的第一主分量数据
Figure BDA00036478881100000613
再对第一主分量数据
Figure BDA00036478881100000614
进行短时傅里叶变换后得到多普勒频移动作样本数据
Figure BDA00036478881100000615
步骤2.3、将k个接收设备上的去噪后的CSI动作样本数据
Figure BDA0003647888110000071
和多普勒频移动作样本数据
Figure BDA0003647888110000072
组合后，得到第j个训练位置上的组合动作样本数据Jj；
步骤3、构建双线程卷积网络，其网络框架如图2所示，包括：特征提取模块和分类模块；并将组合动作样本数据Jj输入到双线程卷积网络中；
步骤3.1、构建特征提取模块，包括：并联设置的全局特征提取模块和局部特征提取模块；
步骤3.1.1、全局特征提取模块由u个3D卷积块和一个通道注意力机制块构成；其网络结构如图3所示；其中，第U个3D卷积块记为3DConvU，U∈[1,u]；本实施例中，3D卷积块的个数u为4；
第U个3D卷积块3DConvU包括：m个三维卷积层以及对应连接的m个ReLU激活函数层；本实施例中，4个3D卷积块均采用1个卷积层和1个激活函数层，卷积核大小均为3×3×3；
当U＝1时，将组合动作样本数据Jj输入全局特征提取模块，并经过第U个3D卷积块3DConvU的处理后输出第U个全局时空特征Gfj,U；
当U＝2，3，…，u时，将第U-1个全局时空特征Gfj,U-1输入第U个3D卷积块3DConvU中进行处理，并输出相应的全局时空特征Gfj,U；从而由第u个3D卷积块3DConvu得到第u个全局时空特征Gfj,u并记为全局时空特征Gfj；
通道注意力机制块由3D全局最大池化层MaxPool、3D全局平均池化层AvgPool、全连接层MLP和激活函数sigmoid构成，其结构如图4所示；
全局时空特征Gfj输入通道注意力机制块中，并分别经过3D全局最大池化层MaxPool和3D全局平均池化层AvgPool的处理后，相应得到最大池化特征向量GFj,max和平均池化特征向量GFj,avg；将最大池化特征向量GFj,max和平均池化特征向量GFj,avg作为全连接层MLP的输入，利用式(1)计算通道注意力权重GFj,channel；
GFj,channel＝sigmoid(MLP(MaxPool(Gfj,u))+MLP(AvgPool(Gfj,u))) (1)
式(1)中，MLP表示全连接层，sigmoid表示激活函数，MaxPool表示3D全局最大池化层，AvgPool表示3D全局平均池化层；
将通道注意力权重GFj,channel与全局时空特征Gfj相乘后，得到优化后的全局时空特征Tj,Global；
步骤3.1.2、局部特征提取模块由w个2D卷积块、y个全连接块和z个长短期记忆块构成，其网络结构如图5所示；其中，第W个2D卷积块记为2DConvW，第Y个全连接块记为FCY，第Z个长短期记忆块记为LSTMZ，W∈[1,w]，Y∈[1,y]，Z∈[1,z]；本实施例中，局部特征提取模块由2个2D卷积块，2个全连接块和1个长短期记忆块构成；
第W个2D卷积块2DConvW包括：b个2维卷积层、b个最大池化层以及b个ReLU激活函数层；本实施例中，两个2D卷积块均采用1个卷积层，每个卷积核大小均为5×5，1个最大池化层，每个池化层大小为2×2，以及1个激活函数层；
当W＝1时，组合动作样本数据Jj输入局部特征提取模块中，并经过第W个2D卷积块2DConvW的处理后输出第W个局部空间特征Lfj,S,W；
当W＝2，3，…，w时，将第W-1个局部空间特征Lfj,S,W-1输入第W个2D卷积块2DConvW中进行处理，并输出第W个局部空间特征Lfj,S,W；从而由第w个2D卷积块2DConvw得到第w个局部空间特征Lfj,S,w并记为局部空间特征Lfj,S；
第Y个全连接块FCY包括：c个全连接层fc和c个ReLU激活函数层；本实施例中，每个全连接块包括1个全连接层和1个ReLU激活函数层，全连接层的神经元为64个；
当Y＝1时，将局部空间特征Lfj,S输入第Y个全连接块FCY中进行处理，并输出第Y个高层次局部空间特征Lf′j,S,Y；
当Y＝2，3，…，y时，将第Y-1个高层次局部空间特征Lf′j,S,Y-1输入第Y个全连接块FCY中进行处理，并输出相应的第Y个高层次局部空间特征Lf′j,S,Y；从而由第y个全连接块FCy得到最终输出的第y个高层次局部空间特征Lf′j,S,y，并记为高层次局部空间特征Lf′j,S；
设置第Z个长短期记忆块LSTMZ的隐藏神经元个数为e；本实施例中，长短期记忆块的隐藏神经元个数为128；
当Z＝1时，将高层次局部空间特征Lf′j,S输入第Z个长短期记忆块LSTMZ中进行建模，并输出第Z个局部时空特征Tj,Local,Z；
当Z＝2，3，…，z时，将第Z-1个局部时空特征Tj,Local,Z-1输入第Z个长短期记忆块LSTMZ中进行处理，并输出第Z个局部时空特征Tj,Local,Z；从而由第z个长短期记忆块LSTMz得到最终的局部时空特征，记为Tj,Local；
步骤3.2、分类模块包括：一个连接层CAT和一个全连接层fc；其网络结构如图6所示；
步骤3.2.1、将优化后的全局时空特征Tj,Global和局部时空特征Tj,Local输入分类模块，并经过连接层CAT的处理后，输出时空特征Tj,CAT；
步骤3.2.2、将时空特征Tj,CAT输入全连接层fc中进行处理后，得到输出向量Qj；再使用softmax函数对输出向量Qj进行处理后，得到最大预测概率Pj并作为第j个训练位置上的组合动作样本数据Jj的分类结果；本实施例中，设置全连接层fc的神经元个数为6；
步骤4、基于p1个训练位置上的组合动作样本数据，利用反向传播算法对双线程卷积网络进行训练，并计算分类交叉熵损失函数用于更新网络参数，直到损失函数收敛为止，从而得到人体动作分类模型；
步骤5、对测试位置上的动作样本数据进行预处理后，输入人体动作分类模型中并得到相应的分类结果。

Claims (1)

1.一种基于CSI与双线程卷积网络的位置无关的人体动作识别方法，其特征在于，是按如下步骤进行：
步骤1、采集CSI动作数据；
步骤1.1、在室内一矩形区域内选取间距为d的p个位置和任意分布的q个位置，在所述p个位置中选取p1个位置作为训练位置，将其余p2个位置和q个任意位置作为测试位置，p＝p1+p2；
步骤1.2、在所述矩形区域的外侧使用路由器作为WiFi信号的发送设备，记为AP，使用k张网卡作为接收设备，并将第i个接收设备记为Ri，i∈[1,k]；
步骤1.3、在第j个训练位置上执行n种人体动作，并使用所述第i个接收设备Ri以采样速率v采集所述发送设备AP发送的a根天线上的x个WiFi信号，从而构建第j个训练位置上的第i个CSI动作数据
Figure FDA0003647888100000011
步骤2、对CSI动作数据进行预处理；
步骤2.1、提取所述第i个CSI动作数据
Figure FDA0003647888100000012
的幅度值，并进行离散小波变换后得到去噪后的第j个训练位置上的第i个CSI动作样本数据
Figure FDA0003647888100000013
步骤2.2、提取所述第i个CSI动作数据
Figure FDA0003647888100000014
的多普勒频移动作样本数据；
步骤2.2.1、对所述第i个CSI动作数据
Figure FDA0003647888100000015
进行天线选择，选出第i个CSI动作数据
Figure FDA0003647888100000016
的a根天线中WiFi信号的均值与标准差比值最大的一根天线
Figure FDA0003647888100000017
步骤2.2.2、将所述第i个CSI动作数据
Figure FDA0003647888100000018
的其他天线上的WiFi信号与天线
Figure FDA0003647888100000019
上的WiFi信号进行共轭乘法，从而得到消除随机相位偏移后的第i个CSI动作数据
Figure FDA00036478881000000110
步骤2.2.3、通过巴特沃斯带通滤波器对所述第i个CSI动作数据
Figure FDA00036478881000000111
进行滤波，并通过PCA方法选取
Figure FDA00036478881000000112
的第一主分量数据
Figure FDA00036478881000000113
再对所述第一主分量数据
Figure FDA00036478881000000114
进行短时傅里叶变换后得到多普勒频移动作样本数据
Figure FDA00036478881000000115
步骤2.3、将k个接收设备上的去噪后的CSI动作样本数据
Figure FDA00036478881000000116
和多普勒频移动作样本数据
Figure FDA00036478881000000117
组合后，得到第j个训练位置上的组合动作样本数据Jj；
步骤3、构建双线程卷积网络，包括：特征提取模块和分类模块；并将所述组合动作样本数据Jj输入到所述双线程卷积网络中；
步骤3.1、构建所述特征提取模块，包括：并联设置的全局特征提取模块和局部特征提取模块；
步骤3.1.1、所述全局特征提取模块由u个3D卷积块和一个通道注意力机制块构成；其中，第U个3D卷积块记为3DConvU，U∈[1,u]；
所述第U个3D卷积块3DConvU包括：m个三维卷积层以及对应连接的m个ReLU激活函数层；
当U＝1时，将所述组合动作样本数据Jj输入全局特征提取模块，并经过第U个3D卷积块3DConvU的处理后输出第U个全局时空特征Gfj,U；
当U＝2，3，…，u时，将第U-1个全局时空特征Gfj,U-1输入第U个3D卷积块3DConvU中进行处理，并输出相应的全局时空特征Gfj,U；从而由第u个3D卷积块3DConvu得到第u个全局时空特征Gfj,u并记为全局时空特征Gfj；
所述通道注意力机制块由3D全局最大池化层MaxPool、3D全局平均池化层AvgPool、全连接层MLP和激活函数sigmoid构成；
所述全局时空特征Gfj输入所述通道注意力机制块中，并分别经过所述3D全局最大池化层MaxPool和3D全局平均池化层AvgPool的处理后，相应得到最大池化特征向量GFj,max和平均池化特征向量GFj,avg；将所述最大池化特征向量GFj,max和平均池化特征向量GFj,avg作为全连接层MLP的输入，并利用式(1)计算通道注意力权重GFj,channel；
GFj,channel＝sigmoid(MLP(MaxPool(Gfj,u))+MLP(AvgPool(Gfj,u))) (1)
式(1)中，MLP表示全连接层，sigmoid表示激活函数，MaxPool表示3D全局最大池化层，AvgPool表示3D全局平均池化层；
将所述通道注意力权重GFj,channel与所述全局时空特征Gfj相乘后，得到优化后的全局时空特征Tj,Global；
步骤3.1.2、所述局部特征提取模块由w个2D卷积块、y个全连接块和z个长短期记忆块构成；其中，第W个2D卷积块记为2DConvW，第Y个全连接块记为FCY，第Z个长短期记忆块记为LSTMZ，W∈[1,w]，Y∈[1,y]，Z∈[1,z]；
所述第W个2D卷积块2DConvW包括：b个2维卷积层、b个最大池化层以及b个ReLU激活函数层；
当W＝1时，所述组合动作样本数据Jj输入局部特征提取模块中，并经过第W个2D卷积块2DConvW的处理后输出第W个局部空间特征Lfj,S,W；
当W＝2，3，…，w时，将所述第W-1个局部空间特征Lfj,S,W-1输入所述第W个2D卷积块2DConvW中进行处理，并输出第W个局部空间特征Lfj,S,W；从而由第w个2D卷积块2DConvw得到第w个局部空间特征Lfj,S,w并记为局部空间特征Lfj,S；
所述第Y个全连接块FCY包括：c个全连接层fc和c个ReLU激活函数层；
当Y＝1时，将所述局部空间特征Lfj,S输入所述第Y个全连接块FCY中进行处理，并输出第Y个高层次局部空间特征Lf′j,S,Y；
当Y＝2，3，…，y时，将所述第Y-1个高层次局部空间特征Lf′j,S,Y-1输入所述第Y个全连接块FCY中进行处理，并输出相应的第Y个高层次局部空间特征Lf′j,S,Y；从而由第y个全连接块FCy得到最终输出的第y个高层次局部空间特征Lf′j,S,y，并记为高层次局部空间特征Lf′j,S；
当Z＝1时，将所述高层次局部空间特征Lf′j,S输入所述第Z个长短期记忆块LSTMZ中进行建模，并输出第Z个局部时空特征Tj,Local,Z；
当Z＝2，3，…，z时，将所述第Z-1个局部时空特征Tj,Local,Z-1输入所述第Z个长短期记忆块LSTMZ中进行处理，并输出第Z个局部时空特征Tj,Local,Z；从而由第z个长短期记忆块LSTMz得到最终的局部时空特征，记为Tj,Local；
步骤3.2、所述分类模块包括：一个连接层CAT和一个全连接层fc；
步骤3.2.1、将所述优化后的全局时空特征Tj,Global和局部时空特征Tj,Local输入所述分类模块，并经过所述连接层CAT的处理后，输出时空特征Tj,CAT；
步骤3.2.2、将时空特征Tj,CAT输入所述全连接层fc中进行处理后，得到输出向量Qj；再使用softmax函数对所述输出向量Qj进行处理后，得到最大预测概率Pj并作为第j个训练位置上的组合动作样本数据Jj的分类结果；
步骤4、基于p1个训练位置上的组合动作样本数据，利用反向传播算法对所述双线程卷积网络进行训练，并计算分类交叉熵损失函数用于更新网络参数，直到损失函数收敛为止，从而得到人体动作分类模型；
步骤5、对测试位置上的动作样本数据进行预处理后，输入所述人体动作分类模型中并得到相应的分类结果。
CN202210540027.4A 2022-05-17 2022-05-17 基于csi与双线程卷积网络的位置无关的人体动作识别方法 Active CN115034259B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210540027.4A CN115034259B (zh) 2022-05-17 2022-05-17 基于csi与双线程卷积网络的位置无关的人体动作识别方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210540027.4A CN115034259B (zh) 2022-05-17 2022-05-17 基于csi与双线程卷积网络的位置无关的人体动作识别方法

Publications (2)

Publication Number Publication Date
CN115034259A true CN115034259A (zh) 2022-09-09
CN115034259B CN115034259B (zh) 2024-02-20

Family

ID=83120591

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210540027.4A Active CN115034259B (zh) 2022-05-17 2022-05-17 基于csi与双线程卷积网络的位置无关的人体动作识别方法

Country Status (1)

Country Link
CN (1) CN115034259B (zh)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107067031A (zh) * 2017-03-29 2017-08-18 西北大学 一种基于Wi‑Fi信号的书法姿态自动识别方法
CN109784212A (zh) * 2018-12-27 2019-05-21 东莞理工学院 一种基于WiFi信号的生物打字识别方法
CN110245588A (zh) * 2019-05-29 2019-09-17 西安交通大学 一种基于无线射频信号的细粒度人体姿态估计方法
WO2020037313A1 (en) * 2018-08-17 2020-02-20 The Regents Of The University Of California Device-free-human identification and device-free gesture recognition
CN112307958A (zh) * 2020-10-30 2021-02-02 河北工业大学 基于时空外观运动注意力网络的微表情识别方法
US20210201010A1 (en) * 2019-12-31 2021-07-01 Wuhan University Pedestrian re-identification method based on spatio-temporal joint model of residual attention mechanism and device thereof

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107067031A (zh) * 2017-03-29 2017-08-18 西北大学 一种基于Wi‑Fi信号的书法姿态自动识别方法
WO2020037313A1 (en) * 2018-08-17 2020-02-20 The Regents Of The University Of California Device-free-human identification and device-free gesture recognition
CN109784212A (zh) * 2018-12-27 2019-05-21 东莞理工学院 一种基于WiFi信号的生物打字识别方法
CN110245588A (zh) * 2019-05-29 2019-09-17 西安交通大学 一种基于无线射频信号的细粒度人体姿态估计方法
US20210201010A1 (en) * 2019-12-31 2021-07-01 Wuhan University Pedestrian re-identification method based on spatio-temporal joint model of residual attention mechanism and device thereof
CN112307958A (zh) * 2020-10-30 2021-02-02 河北工业大学 基于时空外观运动注意力网络的微表情识别方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
杨文斌;杨会成;: "基于卷积神经网络的手势识别方法", 安徽工程大学学报, no. 01, 15 February 2018 (2018-02-15) *
王正杰 等: "基于CSI的行为识别研究综述", 计算机工程与应用, no. 05, 1 March 2018 (2018-03-01) *

Also Published As

Publication number Publication date
CN115034259B (zh) 2024-02-20

Similar Documents

Publication Publication Date Title
CN110533166B (zh) 一种基于时空间融合特征的室内定位方法
CN113609976B (zh) 一种基于WiFi设备的方向敏感多手势识别系统及方法
CN111954250B (zh) 一种轻量级Wi-Fi行为感知方法和系统
CN112446244A (zh) 人体动作的识别方法、神经网络的训练方法及相关装置、设备
CN113453180B (zh) 一种人体摔倒智能检测方法、系统、信息数据处理终端
CN114639169B (zh) 基于注意力机制特征融合与位置无关的人体动作识别系统
CN111178331A (zh) 雷达图像识别系统、方法、设备及计算机可读存储介质
CN114580535B (zh) 多基雷达人体行为融合识别方法、装置及介质
CN115343704A (zh) 基于多任务学习的fmcw毫米波雷达的手势识别方法
CN110569895A (zh) 一种卷积神经网络的微多普勒雷达人体动作分类方法
CN116584951A (zh) 一种基于弱监督学习的心电信号检测和定位方法
Showmik et al. Human activity recognition from wi-fi csi data using principal component-based wavelet cnn
CN113935373A (zh) 基于相位信息和信号强度的人体动作识别方法
Moshiri et al. CSI-based human activity recognition using convolutional neural networks
CN117743911A (zh) 一种轻量级跨场景csi人体动作识别方法及系统
CN113569735B (zh) 基于复数坐标注意力模块的复输入特征图处理方法及系统
Kim et al. Efficient classification of human activity using pca and deep learning lstm with wifi csi
CN112380903B (zh) 一种基于WiFi-CSI信号增强的人体活动识别方法
CN115469303A (zh) 一种检测人体姿态和生命体征的认知生物雷达方法与装置
Yang et al. Extraction and denoising of human signature on radio frequency spectrums
CN115034259B (zh) 基于csi与双线程卷积网络的位置无关的人体动作识别方法
CN110532909B (zh) 一种基于三维uwb定位的人体行为识别方法
CN115886800A (zh) 基于wifi信号的跌倒检测方法、装置、电子设备和存储介质
Tian et al. Small CSI Samples‐Based Activity Recognition: A Deep Learning Approach Using Multidimensional Features
CN112883355A (zh) 一种基于rfid和卷积神经网络的非接触式用户身份认证方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant