CN112131972B - 一种基于注意力机制使用WiFi数据进行人体行为识别的方法 - Google Patents

Abstract

本发明提出了一种基于注意力机制使用WiFi数据进行人体行为识别的方法。本发明首先使用一种基于信道状态信息(CSI)的幅值和相位特征的行为识别的方法，能够有效的解决在使用CSI进行行为识别的过程中的特征损的问题。然后利用信道频率响应(CFR)和信道冲激响应(CIR)可以通过傅里叶变换和反变换进行相互转换的原理，计算出WiFi设备所能得到的最小多径时延差之间的多径数据，通过确定经过人体反射和折射的多径信号到达接收机的时延间隔范围，对相关多径信号进行提取。最后使用一种用于CSI行为识别的注意力机制模型，利用注意力机制可以给不同特征分配学习权重的原理，从而实现高鲁棒性的运动序列切割和高精度的基于WiFi数据的人体行为识别。本发明设计的基于WiFi数据的复杂环境中的行为识别算法有效可靠，解决了传统算法无法对受人体影响的多径信号进行提取的问题和特征无法充分利用的问题，同时解决了传统切割算法鲁棒性差的问题，利用深度学习网络提高了系统在各种复杂环境下的识别精度和应用潜力。

Description

一种基于注意力机制使用WiFi数据进行人体行为识别的方法

技术领域

本发明属于行为识别技术，具体涉及到在WiFi系统中，可以在复杂环境下，采用WiFi数据的一种使用注意力机制进行人体行为识别的方法。

背景技术

现如今人机交互领域已经成为了最具潜力的发展方向之一，人体活动感知是其中至关重要的技术，在人类生产和生活中起了越来越重要的作用，它在实现诸如智能家居，安全监控和医疗辅助等领域具有巨大的发展前景和应用价值。信道状态信息(CSI)是一种具有高分辨率的细粒度物理层信息，因此，通过使用CSI数据进行高精度的行为识别成为了一种可行的方法。基于计算机视觉方法，捕获并识别人类活动。它可以通过捕获图像中人类活动的相关特征来识别人类活动。但是计算机视觉具有大量数据和复杂的计算。通过使用计算机视觉来识别人类活动，它可以用于操作游戏界面等。人类活动识别是目前最有潜力的技术之一，在人机交互中起着重要作用，如智能家居，安全监控，医疗帮助等。在以前的研究中，研究人员提出了使用不同技术的各种人类活动识别系统。例如，基于可穿戴式传感器的方法，基于计算机视觉的方法，基于环境设备的方法等。但是，这些技术存在问题不便之处或环境限制。此外，特殊设备需要在检测区域内部署，以实现人类活动识别。基于无线信号的方法成本低廉且易于部署，最普遍的方法之一就是使用普通的家用WiFi。基于WiFi的无设备人体活动识别系统不需要被检测目标携带的任何设备，并且不受照明环境的影响，甚至可以在穿墙场景下实现人体活动识别。早期基于WiFi设备的人类活动识别算法主要是使用信号强度指示信息(RSSI)实现的。但是，RSSI是一种粗粒度数据，信道状态信息(CSI)是一种细粒度的物理层信息，包括幅度和相位这两种数据特征。随着WiFi技术的发展，CSI开始取代RSSI，成为更具潜力的研究方向。

传统的人体行为识别系统中，由于CSI相位信息中包含的误差较多，大多通过分析CSI的幅值变化趋势，并根据幅值的变化进行运动片段切割和特征提取。除此之外，对于CSI进行的特征提取过程(比如数学统计特征的提取)会导致CSI的大量有用信息的损失，这限制了该系统的性能。同时现有的运动片段切割算法一般是在处理后人为的设定阈值作为检测活动开始和结束的标志，这种方法一旦被检测目标或者环境发生了变化，就需要重新设定阈值或者训练系统，所以会导致运动片段切割的错误或者不完整。而且，之前的人体行为识别系统大量使用鲁棒性差且识别效率低的分类器，例如k最近邻(KNN)分类算法和支持向量机(SVM)。在识别相似动作时，此类系统的识别准确率不能够满足商用要求。所以在最近的工作中开始关注对CSI中包含的相位信息的提取和使用，但是并没根据幅值和行为信息的不同设计相应的方法区别利用，这种不合适的使用甚至会降低识别精度。本发明提出了一种自适应多径选择算法，该算法可以提取有效的多径信号。同时本发明设计了一种端到端的行为识别方法，以减少数据处理过程中有效信息的丢失。通过设计一种基于长短记忆网络(LSTM)的时频注意力网络，使用注意力机制代替传统的序列分割算法，可以有效在复杂环境中的进行目标行为识别。

发明内容

本发明的目的是在WiFi系统下，提供一种基于WiFi数据人体行为识别的方法，它能够在光线不良或者遮挡的复杂环境中，使用WiFi数据作为特征，实现高识别精度和高鲁棒性的人体行为识别。

本发明所述为一种基于WiFi的人体行为识别方法，具体包括以下步骤：

步骤一：已知无线系统是一个窄带平坦衰落信道，我们可以假设

Y_t＝H_tZ_t+N_t，

其中，Y_t和Z_t分别表示在第t(1≤t≤T)个数据包中接收方接收的数据和发送方发送的数据，T代表接收到的数据包的总数。H_t和N_t分别表示CSI数据和噪声。设I和K代表天线和子载波的总个数。我们可以利用Intel5300网卡获取WiFi信号信道状信息(CSI)信息，假设WiFi设备天线个数为I，子载波个数为K，将第t个数据包表示为Η_t，t为正整数：

其中，csi_t,i,k表示第t(1≤t≤T)个CSI数据包中第i(1≤i≤I)根天线的第k(1≤k≤K)个子载波上的CSI数据。

步骤二：在WiFi系统中，使用正交频分复用(OFDM)将信道宽带选择性衰落分为多个重叠的正交窄带平坦衰落信道，这不仅减弱了码间干扰(ISI)的影响，而且大大提高了无线信道的利用率。我们可以通过傅立叶变换和逆傅里叶变换对信道频率响应(CFR)和信道冲激响应(CIR)进行相互转换：

h_t,i＝F^-1[H_t,i]＝(h_t,i,1,…,h_t,i,Δτ,…,h_t,i,M)，

其中F^-1[·]代表傅里叶逆变换，h_t,i代表我们所求的第t个数据包中第i条天线所采集数据CIR的，h_t,i,Δτ代表CIR中的第Δτ个多径信息。

步骤三：由于设备之间的同步误差和信道中信号的传播延迟的影响，在获得的实际数据中，CIR会有一定的延迟滞后，并且从不同的数据包获得的CIR中的延迟滞后也存在差异。我们通过统计分析CIR的变化趋势，发现当视线传输(LOS)路径的信号到达接收器时，幅度会突然改变，突变后的多径幅度将逐渐下降到最小值。LOS信号到达后，此最小路径信号到达约500ns。然后，CIR逐渐返回到平滑波动，这与通道中的噪声信号非常相似。由此我们可以推断出，在每个CSI数据包中，CIR幅值的突变值和最小值之间的数据就是我们需要的路径的数据。因此，我们通过以下计算选择所需延迟范围内的数据：

Δ_t,i,Δτ＝h_t,i,Δτ-h_t,i,Δτ-1，

其中，本发明对CIR进行一阶正向差分后计算其最大值，以定位多径选择的起点。同时由于信道噪声的影响，我们无法直接确定最小值的位置，因此本发明使用CIR移动平均值的最小值确定多路选择延迟的结束时延，即

和

步骤四：接下来，本发明计算CSI的幅值和相位信息，然后使用巴特沃思滤波器直接滤波CSI的幅值数据，对相位信息进行解卷绕和线性误差消除。在获取到真实相位信息后我们使用与上一个数据包之间的幅值差和相位差作为特征。本发明将处理过的幅值和相位数据重构为：

其中，

其中

和

分别代表本发明提出的算法预处理的第t个数据包第i根天线第k个子载波上的CSI的幅值和相位特征。

步骤五：本发明提出了一种具有时频注意力机制的多层长短期记忆人工神经网络(LSTM)，用于人类活动的识别。该模型在通过频率注意模块输入的每个序列特征中自动选择有价值的子载波特征，并通过时间注意模块将不同的注意分配给不同的时间序列。图1显示了总体架构，它由LSTM主网络，中间网络，时间注意力子网络和频率注意力子网络组成。是频率注意子网和时域注意子网的输出，分别用于为序列和特征分配权重。y_t和z_t分别是中间网络和主网络的输出。

在每个时间序列t时，子载波特征集为x_t，注意力子网络会为每个特征分配唯一的注意力权重，注意力权重的集合为α_t：

其中W_gα是可以学习的参数矩阵，b_α是偏差矢量，而

是LSTM层的隐藏变量。我们使用softmax作为频率注意子网的激活函数来获得频率注意权重。该子网控制每个特征传输到主网络的信息量。如图1所示，输入到下一个网络模块的信息为

在时间注意力子网络中，使用具有良好收敛性能的Relu作为激活函数，并将不同的关注β_t分配给不同的序列，其中：

对于序列特征来说，类似于频率关注子网络，我们从每个时间序列LSTM中间网络的输出y_t和权重β_t计算流到主网络的信息。如图1所示，主网络输入为

步骤六：对于活动的分类，本发明基于主网络的输出z_t来进行计算

在主网络中，C是本发明需要识别的行为类别数目。本发明通过以下公式确定行为类别：

其中，p_c代表人体正在进行第c种动作的概率，最终概率最大的动作即为我们所识别出的动作，即max(p₁,p₂,…,p_C)。

步骤七：本发明将序列的常规互熵损失函数用于时频注意力网络：

其中l_i表示数据的标签，如果它属于第i类，则l_i＝1，如果不属于第i类，则l_i＝0。l_i'代表神经网络模型预测为第i类的概率为l_i'＝p_i。λ₁，λ₂是控制正则化程度的超参数，分别设置为0.01、0.001。

有益效果

本发明提出了一种基于注意力机制使用WiFi数据进行人体行为识别的方法。本发明首先使用一种基于信道状态信息(CSI)的幅值和相位特征的行为识别的方法，能够有效的解决在使用CSI进行行为识别的过程中的特征损的问题。然后利用信道频率响应(CFR)和信道冲激响应(CIR)可以通过傅里叶变换和反变换进行相互转换的原理，计算出WiFi设备所能得到的最小多径时延差之间的多径数据，通过确定经过人体反射和折射的多径信号到达接收机的时延间隔范围，对相关多径信号进行提取。最后使用一种用于CSI行为识别的注意力机制模型，利用注意力机制可以给不同特征分配学习权重的原理，从而实现高鲁棒性的运动序列切割和高精度的基于WiFi数据的人体行为识别。本发明设计的基于WiFi数据的复杂环境中的行为识别算法有效可靠，解决了传统算法无法对受人体影响的多径信号进行提取的问题和特征无法充分利用的问题，同时解决了传统切割算法鲁棒性差的问题，利用深度学习网络提高了系统在各种复杂环境下的识别精度和应用潜力。

附图说明

图1为本发明所提出的深度学习网络结构图

图2为本发明所提出的算法行为识别准确率

图3为本发明的流程框图

具体实施方案

步骤一：已知无线系统是一个窄带平坦衰落信道，我们可以假设

Y_t＝H_tZ_t+N_t，

其中，Y_t和Z_t分别表示在第t(1≤t≤T)个数据包中接收方接收的数据和发送方发送的数据，T代表接收到的数据包的总数。H_t和N_t分别表示CSI数据和噪声。设I和K代表天线和子载波的总个数。我们可以利用Intel5300网卡获取WiFi信号信道状信息(CSI)信息，假设WiFi设备天线个数为I，子载波个数为K，将第t个数据包表示为Η_t，t为正整数：

其中，csi_t,i,k表示第t(1≤t≤T)个CSI数据包中第i(1≤i≤I)根天线的第k(1≤k≤K)个子载波上的CSI数据。

步骤二：在WiFi系统中，使用正交频分复用(OFDM)将信道宽带选择性衰落分为多个重叠的正交窄带平坦衰落信道，这不仅减弱了码间干扰(ISI)的影响，而且大大提高了无线信道的利用率。我们可以通过傅立叶变换和逆傅里叶变换对信道频率响应(CFR)和信道冲激响应(CIR)进行相互转换：

h_t,i＝F^-1[H_t,i]＝(h_t,i,1,…,h_t,i,Δτ,…,h_t,i,M)，

其中F^-1[·]代表傅里叶逆变换，h_t,i代表我们所求的第t个数据包中第i条天线所采集数据CIR的，h_t,i,Δτ代表CIR中的第Δτ个多径信息。

步骤三：由于设备之间的同步误差和信道中信号的传播延迟的影响，在获得的实际数据中，CIR会有一定的延迟滞后，并且从不同的数据包获得的CIR中的延迟滞后也存在差异。我们通过统计分析CIR的变化趋势，发现当视线传输(LOS)路径的信号到达接收器时，幅度会突然改变，突变后的多径幅度将逐渐下降到最小值。LOS信号到达后，此最小路径信号到达约500ns。然后，CIR逐渐返回到平滑波动，这与通道中的噪声信号非常相似。由此我们可以推断出，在每个CSI数据包中，CIR幅值的突变值和最小值之间的数据就是我们需要的路径的数据。因此，我们通过以下计算选择所需延迟范围内的数据：

Δ_t,i,Δτ＝h_t,i,Δτ-h_t,i,Δτ-1，

其中，本发明对CIR进行一阶正向差分后计算其最大值，以定位多径选择的起点。同时由于信道噪声的影响，我们无法直接确定最小值的位置，因此本发明使用CIR移动平均值的最小值确定多路选择延迟的结束时延，即

和

步骤四：接下来，本发明计算CSI的幅值和相位信息，然后使用巴特沃思滤波器直接滤波CSI的幅值数据，对相位信息进行解卷绕和线性误差消除。在获取到真实相位信息后我们使用相邻数据包之间的幅值差和相位差作为特征。本发明将处理过的幅值和相位数据重构为：

其中，

其中

和

分别代表本发明提出的算法预处理的第t个数据包第i根天线第k个子载波上的CSI的幅值和相位特征。

步骤五：本发明提出了一种具有时频注意力机制的多层长短期记忆人工神经网络(LSTM)，用于人类活动的识别。该模型在通过频率注意模块输入的每个序列特征中自动选择有价值的子载波特征，并通过时间注意模块将不同的注意分配给不同的时间序列。图1显示了总体架构，它由LSTM主网络，中间网络，时间注意力子网络和频率注意力子网络组成。是频率注意子网和时域注意子网的输出，分别用于为序列和特征分配权重。y_t和z_t分别是中间网络和主网络的输出。

在每个时间序列t时，子载波特征集为x_t，注意力子网络会为每个特征分配唯一的注意力权重，注意力权重的集合为α_t：

其中W_gα是可以学习的参数矩阵，b_α是偏差矢量，而

是LSTM层的隐藏变量。我们使用softmax作为频率注意子网的激活函数来获得频率注意权重。该子网控制每个特征传输到主网络的信息量。如图1所示，输入到下一个网络模块的信息为

在时间注意力子网络中，使用具有良好收敛性能的Relu作为激活函数，并将不同的关注β_t分配给不同的序列，其中：

对于序列特征来说，类似于频率关注子网络，我们从每个时间序列LSTM中间网络的输出y_t和权重β_t计算流到主网络的信息。如图1所示，主网络输入为

步骤六：对于活动的分类，本发明基于主网络的输出z_t来进行计算

在主网络中，C是本发明需要识别的行为类别数目。本发明通过以下公式确定行为类别：

其中，p_c代表人体正在进行第c种动作的概率，最终概率最大的动作即为我们所识别出的动作，即max(p₁,p₂,…,p_C)。

步骤七：本发明将序列的常规互熵损失函数用于时频注意力网络：

其中l_i表示数据的标签，如果它属于第i类，则l_i＝1，如果不属于第i类，则l_i＝0。l_i'代表神经网络模型预测为第i类的概率为l_i'＝p_i。λ₁，λ₂是控制正则化程度的超参数，分别设置为0.01、0.001。

Claims (3)

1.一种基于注意力机制使用WiFi数据进行人体行为识别方法，包括以下步骤：

步骤一：假设WiFi设备天线个数为I，子载波个数为K，利用Intel5300网卡获取WiFi信号信道状态信息(CSI)信息，将第t个数据包表示为Η_t，t为正整数；csi_t,i,k表示第t(1≤t≤T)个CSI数据包中第i(1≤i≤I)根天线的第k(1≤k≤K)个子载波上的CSI数据；

步骤二：在WiFi系统中，使用正交频分复用(OFDM)将信道宽带选择性衰落分为多个重叠的正交窄带平坦衰落信道，这不仅减弱了码间干扰(ISI)的影响，而且大大提高了无线信道的利用率；通过傅立叶变换和逆傅里叶变换对信道频率响应(CFR)和信道冲激响应(CIR)进行相互转换，h_t,i代表所求的第t个数据包中第i条天线所采集数据的CIR，h_t,i,Δτ代表CIR中的第Δτ个多径信息；

步骤三：通过相关计算选择所需延迟范围内的数据，其中，对CIR进行一阶正向差分后计算其最大值，以定位多径选择的起点；由于信道噪声的影响，无法直接确定最小值的位置，因此使用CIR移动平均值的最小值确定多路选择延迟的结束时延；

步骤四：计算CSI的幅值和相位信息，构建神经网络输入特征矩阵；

步骤五：提出了一种具有时频注意力机制的多层长短期记忆人工神经网络(LSTM)，用于人类活动的识别，该模型在通过频率注意模块输入的每个序列特征中自动选择有价值的子载波特征，并通过时间注意模块将不同的注意分配给不同的时间序列；

步骤六：对于活动的分类，使用一种主网络的输出z_t来进行计算行为识别结果的方法；

步骤七：提出一种损失函数计算公式，并通过采集数据测试，确定了相关参数λ₁，λ₂，λ₃分别设置为0.01、0.001和0.0004。

2.根据权利要求1所述的一种基于注意力机制使用WiFi数据进行人体行为识别方法，所述步骤三，通过分析CIR中不同时延差的数据变化，提出一种有效多径提取的方法，包括以下步骤：

由于设备之间的同步误差和信道中信号的传播延迟的影响，在获得的实际数据中，CIR会有一定的延迟滞后，并且从不同的数据包获得的CIR中的延迟滞后也存在差异；通过统计分析CIR的变化趋势，发现当视线传输(LOS)路径的信号到达接收器时，幅度会突然改变，突变后的多径幅度将逐渐下降到最小值；LOS信号到达后，此最小路径信号到达约500ns；然后，CIR逐渐返回到平滑波动，在每个CSI数据包中，CIR幅值的突变值和最小值之间的数据就是所需要的路径的数据，因此，通过以下计算选择所需延迟范围内的数据：

Δ_t,i,Δτ＝h_t,i,Δτ-h_t,i,Δτ-1，

其中，对CIR进行一阶正向差分后计算其最大值，以定位多径选择的起点；同时由于信道噪声的影响，无法直接确定最小值的位置，因此使用CIR移动平均值的最小值确定多路选择延迟的结束时延，即

和

3.根据权利要求1所述的一种基于注意力机制使用WiFi数据进行人体行为识别方法，所述步骤五，通过设计一种深度学习网络模型，实现高鲁棒性、高精度的人体行为识别，包括以下步骤：

该模型在通过频率注意模块输入的每个序列特征中自动选择有价值的子载波特征，并通过时间注意模块将不同的注意分配给不同的时间序列，由LSTM主网络，中间网络，时间注意力子网络和频率注意力子网络组成，是频率注意子网和时域注意子网的输出，分别用于为序列和特征分配权重，y_t和z_t分别是中间网络和主网络的输出；

在每个时间序列t时，子载波特征集为x_t，注意力子网络会为每个特征分配唯一的注意力权重，注意力权重的集合为α_t：

其中W_gα是参数矩阵，b_α是偏差矢量，而

是LSTM层的隐藏变量；softmax为频率注意子网的激活函数，用于获得频率注意权重；该子网控制每个特征传输到主网络的信息量，输入到下一个网络模块的信息为

在时间注意力子网络中，使用具有良好收敛性能的Relu作为激活函数，并将不同的关注β_t分配给不同的序列，其中：

对于序列特征来说，从每个时间序列LSTM中间网络的输出y_t和权重β_t计算流到主网络的信息，主网络输入为

对于活动的分类，基于主网络的输出z_t来进行计算

在主网络中，C是所需要识别的行为类别数目，通过以下公式确定行为类别：

其中，p_c代表人体正在进行第c种动作的概率，最终概率最大的动作即为所识别出的动作，即max(p₁,p₂,…,p_C)；

将序列的常规互熵损失函数用于时频注意力网络：

其中l_i表示数据的标签，如果它属于第i类，则l_i＝1，如果不属于第i类，则l_i＝0；l′_i代表神经网络模型预测为第i类的概率为l′_i＝p_i；λ₁，λ₂，λ₃是控制正则化程度的超参数，分别设置为0.01、0.001和0.0004；∑||w||代表网络模型中所有权重参数的幅值累加的总和。

Images