CN114465678A - 一种基于深度学习的复杂活动wifi感知方法 - Google Patents

Abstract

本发明提供一种基于深度学习的复杂活动WIFI感知方法，属于深度学习技术领域，包括：确定目标活动的信道状态信息，所述信道状态信息中包括振幅和相位；对所述振幅和相位进行预处理；将所述信道状态信息划分为活动部分与非活动部分，其中，活动部分振幅方差大于预设的第一阈值；将活动部分的振幅和相位输入神经网络，输出目标活动的活动类别，其中所述神经网络为基于GRU与双向GRU构建，且加入自注意力机制的模型。本发明通过获取目标活动的振幅和相位，采用GRU与双向GRU堆叠的网络架构，利用注意力机制使神经网络更加关注活动识别所需的序列特征，提升动作识别的准确性，降低了训练神经网络所需的时间。

Description

一种基于深度学习的复杂活动WIFI感知方法

技术领域

本发明属于深度学习技术领域，具体涉及一种基于深度学习的复杂活动WIFI感知方法。

背景技术

随着智能信息时代的到来，无处不在的WIFI信号为生活智能化的实现带来了新的思路，已从一种简单的通信媒介发展成为可用于环境感知的非接触传感工具。在以往的研究中，基于可穿戴设备和基于计算机视觉的技术是感知研究的两种主流方法。与上述两种技术相比，无线信号克服了佩戴传感器的不便，不受光照影响并且不涉及隐私问题，是一种非侵入性的方式。目前利用WIFI信道状态信息（CSI）的活动感知研究可以分为基于模式、基于模型以及基于深度学习的方法三种。深度学习方法能够利用深层神经网络的中间层实现动作数据的特征自动提取和分类过程，克服了基于模式的方法需要人工提取特征的弊端，并且不同于基于模型的方法受场景限制严重，近年来受到WIFI感知领域的广泛关注。

此外，目前的研究绝大多数仅针对日常行为动作进行识别，如跑、跳、走，动作相对简单，无法对复杂的动作进行有效识别。

发明内容

针对现有技术的上述不足，本发明提供一种基于深度学习的复杂活动WIFI感知方法，以解决上述技术问题。

第一方面，本发明提供一种基于深度学习的复杂活动WIFI感知方法，包括：

确定目标活动的信道状态信息，所述信道状态信息中包括振幅和相位；

对所述振幅和相位进行预处理；

将所述信道状态信息划分为活动部分与非活动部分，其中，活动部分振幅方差大于预设的第一阈值；

将活动部分的振幅和相位输入神经网络，输出目标活动的活动类别，其中所述神经网络为基于GRU与双向GRU构建，且加入自注意力机制的模型。

进一步的，所述确定目标活动的信道状态信息，包括：采集受试者在发射端和接收端之间进行目标活动产生的信道状态信息，其中，所述发射端采用单天线路由器，所述接收端采用装有Intel 5300网卡的三天线台式机。

进一步的，所述信道状态信息为发射天线数目、接收天线数目、子载波数目和包个数构成的复数矩阵，所述复数矩阵的复数实部为振幅，复数虚部为相位。

进一步的，所述对所述振幅和相位进行预处理，包括：

通过Hampel滤波去除所述振幅的异常值；

通过小波去噪对所述振幅进行降噪；

通过线性变换去除相位的随机相位偏移。

进一步的，所述将所述信道状态信息划分为活动部分与非活动部分，包括：

计算所述信道状态信息的振幅方差；

获取预设的第一阈值，将所述振幅方差大于所述第一阈值的信道状态信息作为活动部分。

进一步的，在所述将所述振幅方差大于所述第一阈值的信道状态信息作为活动部分之后，还包括：

获取活动部分的持续时间；

获取预设的第二阈值，将所述持续时间小于时间阈值的活动部分划分为非活动部分。

进一步的，所述神经网络包括：

输入层，用于将所述活动部分振幅和相位重构为二维矩阵；

GRU网络层，用于提取所述二维矩阵的序列特征；

双向GRU网络层，用于学习所述序列特征的双向规律；

注意力层，采用自注意力机制，用于通过权重向量和偏置计算所述序列特征评估值；

全连接层，用于对不同活动进行分类，所述全连接层包括第一全连接层和第二全连接层，第一全连接层的激活函数为Relu函数，第二全连接层的激活函数为Softmax函数，所述Softmax函数用于对所述评估值进行归一化。

第二方面，本发明提供一种基于深度学习的复杂活动WIFI感知系统，包括：

数据获取单元，用于确定目标活动的信道状态信息，所述信道状态信息中包括振幅和相位；

数据处理单元，用于对所述振幅和相位进行预处理；

数据提取单元，用于将所述信道状态信息划分为活动部分与非活动部分，其中，活动部分振幅方差大于预设的第一阈值；

活动确定单元，用于将活动部分的振幅和相位输入神经网络，输出目标活动的活动类别，其中所述神经网络为基于GRU与双向GRU构建，且加入自注意力机制的模型。

第三方面，提供一种终端，包括：处理器、存储器，其中，该存储器用于存储计算机程序，该处理器用于从存储器中调用并运行该计算机程序，使得终端执行上述的终端的方法。

第四方面，提供了一种计算机存储介质，所述计算机可读存储介质中存储有指令，当其在计算机上运行时，使得计算机执行上述各方面所述的方法。

本发明的有益效果在于，本发明提供的基于深度学习的复杂活动WIFI感知方法，采集信道状态信息，通过获取目标活动的振幅和相位，采用GRU与双向GRU堆叠的网络架构，利用注意力机制使神经网络更加关注活动识别所需的序列特征，避免了仅利用振幅方法导致信息缺失、识别不准确的问题，提升动作识别的准确性，降低了训练神经网络所需的时间。

此外，本发明设计原理可靠，结构简单，具有非常广泛的应用前景。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，对于本领域普通技术人员而言，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本发明一个实施例的方法的示意性流程图。

图2是本发明一个实施例的目标活动的采集环境示意图。

图3是本发明一个实施例的系统的示意性框图。

图4为本发明实施例提供的一种终端的结构示意图。

具体实施方式

为了使本技术领域的人员更好地理解本发明中的技术方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护的范围。

下面对本发明中出现的关键术语进行解释。

WIFI是基于IEEE 802.11标准的无线局域网技术。

CSI：Channel State Information，信道状态信息，在无线通信领域，所谓的CSI，就是通信链路的信道属性。它描述了信号在每条传输路径上的衰弱因子，即信道增益矩阵H中每个元素的值。

GRU：Gated Recurrent Unit，门控循环单元，用门控机制控制输入、记忆等信息，而在当前时间做出预测。

双向GRU：双向门控循环单元，包括前向GRU和后向GRU。

ReLU：Rectified Linear Unit, 线性整流函数，又称修正线性单元，是一种人工神经网络中常用的激活函数，通常指代以斜坡函数及其变种为代表的非线性函数，是卷积层和深度学习模型训练中最常用的激活函数。

图1示出为本实施例提供的一种基于深度学习的复杂活动WIFI感知方法。其中，图1执行主体可以为一种基于深度学习的复杂活动WIFI感知系统。具体包括以下步骤。

S110、确定目标活动的信道状态信息，所述信道状态信息中包括振幅和相位。

具体地，所述目标活动为待识别的一系列动作，通过一系列动作的组成和顺序可以确定活动的类型，所述信道状态信息为包括多个正交子载波，每个子载波上传送的信号都有不同的振幅和相位，以振幅和相作为活动识别的基信号。

S120、对所述振幅和相位进行预处理。

具体地，对振幅和相位进行数据层面的处理，能够使振幅和相位更加清晰，提高后续识别操作的准确性。

S130、将所述信道状态信息划分为活动部分与非活动部分，其中，活动部分振幅方差大于预设的第一阈值。

具体地，只有活动数据才对识别活动类型有帮助，本实施例区分活动数据与非活动数据的原理为活动部分振幅方差大于预设的第一阈值，设置方差阈值，有效区分活动部分与非活动部分，将活动部分的振幅和相位作为神经网络的输入数据。

S140、将活动部分的振幅和相位输入神经网络，输出目标活动的活动类别，其中所述神经网络为基于GRU与双向GRU构建，且加入自注意力机制的模型。

具体地，采用GRU与双向GRU堆叠的网络架构，实现特征的自动提取并学习特征的双向规律，并利用自注意力机制使神经网络更加关注活动识别所需的序列特征。

本实施例提供的方法，通过获取目标活动的振幅和相位，避免了仅利用振幅方法导致信息缺失、识别不准确的问题，采用GRU与双向GRU堆叠的网络架构，在提高准确率的同时又降低了训练神经网络所需的时间，利用注意力机制使神经网络更加关注活动识别所需的序列特征，加强关键信息的影响。

可选地，作为本发明一个实施例，所述确定目标活动的信道状态信息，包括：采集受试者在发射端和接收端之间进行目标活动产生的信道状态信息，其中，所述发射端采用单天线路由器，所述接收端采用装有Intel 5300网卡的三天线台式机。

具体地，本实施例采用一发三收的SIMO系统，采样率为50Hz，采集工具为CSItool，采集环境如图 2 所示，其中TX为发射机，为单天线商用路由器；RX为接收机，为装有Intel 5300网卡并外接三天线的台式机，发射机与接收机位于同一高度。本实施例以篮球活动为例，采集的开始与结束的触发条件均为受试者保持静止，在预设时间内完成规定的篮球活动，所述规定的篮球动作为本方法训练的可识别的活动，具体包括投篮、跳投、运球、上篮、盖帽、抢断和转身等动作。

可选地，作为本发明一个实施例，所述信道状态信息为

的复数矩阵，其中，

为发射端的发射天线数目，

为接收端的接收天线数目，

为子载波数目，

为包的个数，所述复数矩阵的复数实部为振幅，复数虚部为相位。本实施例采用的Intel 5300网卡所提取的子载波数目

为30。

可选地，作为本发明一个实施例，所述对所述振幅和相位进行预处理，包括：通过Hampel滤波去除所述振幅的异常值，其中，所述异常值为超出正常值预设范围的值；通过小波去噪对所述振幅进行降噪；通过线性变换去除相位的随机相位偏移得到最终相位。

第一方面，对振幅的预处理包括：在振幅的每个子载波上采用带有滑动窗口的Hampel滤波器来去除异常值，对于每个子载波，Hampel滤波器计算由每个数据包及其周围六个包组成的窗口的中值，使用中值的绝对偏差来估计每个包在其窗口内的中值的标准偏差，如果该数据包与中值相差超过三个标准差，则替换为中位数。

本实施例利用Hampel滤波器，可以过滤掉由硬件设备或部署环境引起的，与其他邻近CSI测量值有显著不同的异常值，保证数据的有效性。

采用小波去噪对去除异常值后的振幅进行降噪，去除噪音，保留人类活动造成的尖锐尖峰。

进一步的，小波去噪的步骤如下：对含噪的振幅信号采用小波变换进行多尺度分解；对各个尺度上的小波系数进行去噪；最后，经小波逆变换重构振幅信号得到去噪后的振幅信号。作为优选的，本实施例使用sym3的小波对振幅信号进行10层分解，并采用软阈值的方法处理对各个尺度上小波系数。

第二方面，对相位的预处理包括：

（1）设定信道状态信息中第i个子载波的相位的测量值，公式为

，其中，

为相位的测量值，

为相位的真实值，

为接收端的定时偏差值，

为未知相位偏差值，

为噪声值，

为子载波索引，N为FFT值。进一步地，本实施例采用的WIFI协议为IEEE 802.11 a/g/n，其子载波索引

为-28∼28，其FFT值N为64；

（2）定义线性项

，其中，

，

；

（3）在子载波频率是对称的情况下，

，则

；

（4）计算测量值

和线性项

的差值，得到去除随机相位偏移的相位

，忽略噪声

，公式为：

；

在本实施例中，原始相位在所有可行域上表现得非常随机，使得原始相位不适用于任何检测，所以使用线性变换消除随机相位偏移的重要组成部分

和

，通过校准相位得到可用于区分不同活动的相位信息。

可选地，作为本发明一个实施例，所述将所述信道状态信息划分为活动部分与非活动部分，包括：计算所述信道状态信息的振幅方差；获取预设的第一阈值，将所述振幅方差大于所述第一阈值的信道状态信息作为活动部分。

在本实施例中，采用基于移动方差的活动分割方法，有效识别活动数据与非活动数据，对于每个信道状态信息样本，选取10个包作为滑动窗口，计算其方差，当方差大于第一阈值σ时，标记出大于阈值σ的数据，即可粗略的获得当前样本的活动数据，第一阈值σ使得活动部分振幅方差远大于非活动部分振幅方差。

可选地，作为本发明一个实施例，在所述将所述振幅方差大于所述第一阈值的信道状态信息作为活动部分之后，还包括：获取活动部分的持续时间；获取预设的第二阈值，将所述持续时间小于时间阈值的活动部分划分为非活动部分。

在本实施例中，计算所述信道状态信息的振幅方差，预设的第一阈值σ，将大于所述第一阈值σ的信道状态信息作为标记数据；获取标记数据的持续时间，预设的第二阈值θ，将所述持续时间大于时间阈值θ的标记数据划分为活动部分。由于WIFI信号的敏感性，可能在非活动的部分存在短暂的波动，使其方差亦大于阈值σ，但这并不是真正的活动。为了解决这一问题，本实施例引进一个表示时间的第二阈值θ，进行第二成筛选，更加精准获得当前样本的活动数据。

可选地，作为本发明一个实施例，所述神经网络包括：输入层，用于将所述活动部分的振幅和相位重构为二维矩阵；GRU网络层，用于提取所述二维矩阵的序列特征；双向GRU网络层，包括前向GRU与后向GRU，用于学习所述序列特征的双向规律；注意力层，采用自注意力机制，用于通过权重向量和偏置计算所述序列特征评估值；全连接层，用于对不同活动进行分类，所述全连接层包括第一全连接层和第二全连接层，第一全连接层的激活函数为Relu函数，第二全连接层的激活函数为Softmax函数，所述Softmax函数用于对评估值进行归一化。

所述神经网络的输入为预处理后的振幅和相位数据，将预处理后的活动部分振幅和相位信息重构为二维矩阵，并将数据中标记为有活动数据小于60%的样本去除，使数据更有针对性。

GRU网络的隐藏单元个数为200，双向的GRU网络隐藏单元个数为400，前向GRU隐藏单元个数为200，后向GRU隐藏单元个数为200。

注意力机制的输入为双向GRU网络层输入的序列特征，注意力机制的输出为序列特征与其归一化得分的乘积，具体包括：

获取双向GRU网络层输入的序列特征

，通过计算评估值确定序列特征的重要性，公式为：

，其中，

为评估值，

为权重向量，

为偏置；

使用Softmax函数对评估值进行归一化，得到归一化得分，公式为：

，其中

为归一化得分；

计算所述序列特征与归一化得分的乘积

，公式为：

；其中，注意力机制隐藏单元数量设置为400；

通过全连接层实现对不同活动类型的分类，第一全连接层的隐藏神经元个数为128，第二全连接层的隐藏神经元个数7。

进一步的，本实施例提供的方法还包括：神经网络模型构建、模型训练、模型测试验证等过程，上述过程均可参照本领域通用方法，在此不再赘述。

图3示出为本申请实施例提供的一种基于深度学习的复杂活动WIFI感知系统，该系统200包括：

数据获取单元210，用于确定目标活动的信道状态信息，所述信道状态信息中包括振幅和相位；

数据处理单元220，用于对所述振幅和相位进行预处理；

数据提取单元230，用于将所述信道状态信息划分为活动部分与非活动部分，其中，活动部分振幅方差大于预设的第一阈值；

活动确定单元240，用于将活动部分的振幅和相位输入神经网络，输出目标活动的活动类别，其中所述神经网络为基于GRU与双向GRU构建，且加入自注意力机制的模型。

图4为本发明实施例提供的一种终端系统300的结构示意图，该终端系统300可以用于执行本发明实施例提供的基于深度学习的复杂活动WIFI感知方法。

其中，该终端系统300可以包括：处理器310、存储器320及通信单元330。这些组件通过一条或多条总线进行通信，本领域技术人员可以理解，图中示出的服务器的结构并不构成对本发明的限定，它既可以是总线形结构，也可以是星型结构，还可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。

其中，该存储器320可以用于存储处理器310的执行指令，存储器320可以由任何类型的易失性或非易失性存储终端或者它们的组合实现，如静态随机存取存储器（SRAM），电可擦除可编程只读存储器（EEPROM），可擦除可编程只读存储器（EPROM），可编程只读存储器（PROM），只读存储器（ROM），磁存储器，快闪存储器，磁盘或光盘。当存储器320中的执行指令由处理器310执行时，使得终端300能够执行以下上述方法实施例中的部分或全部步骤。

处理器310为存储终端的控制中心，利用各种接口和线路连接整个电子终端的各个部分，通过运行或执行存储在存储器320内的软件程序和/或模块，以及调用存储在存储器内的数据，以执行电子终端的各种功能和/或处理数据。所述处理器可以由集成电路(Integrated Circuit，简称IC) 组成，例如可以由单颗封装的IC 所组成，也可以由连接多颗相同功能或不同功能的封装IC而组成。举例来说，处理器310可以仅包括中央处理器(Central Processing Unit，简称CPU)。在本发明实施方式中，CPU可以是单运算核心，也可以包括多运算核心。

通信单元330，用于建立通信信道，从而使所述存储终端可以与其它终端进行通信。接收其他终端发送的用户数据或者向其他终端发送用户数据。

本发明还提供一种计算机存储介质，其中，该计算机存储介质可存储有程序，该程序执行时可包括本发明提供的各实施例中的部分或全部步骤。所述的存储介质可为磁碟、光盘、只读存储记忆体（英文：read-only memory，简称：ROM）或随机存储记忆体（英文：random access memory，简称：RAM）等。

因此，本发明基于信道状态信息和深度学习实现复杂活动识别，该方法同样具有广泛的适用性，可以采集不同的活动数据以识别不同类型的活动。本实施例所能达到的技术效果可以参见上文中的描述，此处不再赘述。

本领域的技术人员可以清楚地了解到本发明实施例中的技术可借助软件加必需的通用硬件平台的方式来实现。基于这样的理解，本发明实施例中的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中如U盘、移动硬盘、只读存储器（ROM，Read-Only Memory）、随机存取存储器（RAM，Random Access Memory）、磁碟或者光盘等各种可以存储程序代码的介质，包括若干指令用以使得一台计算机终端（可以是个人计算机，服务器，或者第二终端、网络终端等）执行本发明各个实施例所述方法的全部或部分步骤。

本说明书中各个实施例之间相同相似的部分互相参见即可。尤其，对于终端实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例中的说明即可。

在本发明所提供的几个实施例中，应该理解到，所揭露的系统、系统和方法，可以通过其它的方式实现。例如，以上所描述的系统实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，系统或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。

尽管通过参考附图并结合优选实施例的方式对本发明进行了详细描述，但本发明并不限于此。在不脱离本发明的精神和实质的前提下，本领域普通技术人员可以对本发明的实施例进行各种等效的修改或替换，而这些修改或替换都应在本发明的涵盖范围内/任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应所述以权利要求的保护范围为准。

Claims (7)

1.一种基于深度学习的复杂活动WIFI感知方法，其特征在于，包括：

确定目标活动的信道状态信息，所述信道状态信息中包括振幅和相位；

对所述振幅和相位进行预处理；

将所述信道状态信息划分为活动部分与非活动部分，其中，活动部分振幅方差大于预设的第一阈值；

将活动部分的振幅和相位输入神经网络，输出目标活动的活动类别，其中所述神经网络为基于GRU与双向GRU构建，且加入自注意力机制的模型。

2.根据权利要求1所述的方法，其特征在于，所述确定目标活动的信道状态信息，包括：采集受试者在发射端和接收端之间进行目标活动产生的信道状态信息，其中，所述发射端采用单天线路由器，所述接收端采用装有Intel 5300网卡的三天线台式机。

3.根据权利要求1所述的方法，其特征在于，所述信道状态信息为发射天线数目、接收天线数目、子载波数目和包个数构成的复数矩阵，所述复数矩阵的复数实部为振幅，复数虚部为相位。

4.根据权利要求1所述的方法，其特征在于，所述对所述振幅和相位进行预处理，包括：

通过Hampel滤波去除所述振幅的异常值；

通过小波去噪对所述振幅进行降噪；

通过线性变换去除相位的随机相位偏移。

5.根据权利要求1所述的方法，其特征在于，所述将所述信道状态信息划分为活动部分与非活动部分，包括：

计算所述信道状态信息的振幅方差；

获取预设的第一阈值，将所述振幅方差大于所述第一阈值的信道状态信息作为活动部分。

6.根据权利要求5所述的方法，其特征在于，在所述将所述振幅方差大于所述第一阈值的信道状态信息作为活动部分之后，还包括：

获取活动部分的持续时间；

获取预设的第二阈值，将所述持续时间小于时间阈值的活动部分划分为非活动部分。

7.根据权利要求1所述的方法，其特征在于，所述神经网络包括：

输入层，用于将所述活动部分振幅和相位重构为二维矩阵；

GRU网络层，用于提取所述二维矩阵的序列特征；

双向GRU网络层，用于学习所述序列特征的双向规律；

注意力层，采用自注意力机制，用于通过权重向量和偏置计算所述序列特征评估值；

全连接层，用于对不同活动进行分类，所述全连接层包括第一全连接层和第二全连接层，第一全连接层的激活函数为Relu函数，第二全连接层的激活函数为Softmax函数，所述Softmax函数用于对所述评估值进行归一化。

Images