CN112364770A - 基于商用Wi-Fi人体活动识别与动作质量评估方法 - Google Patents

Abstract

本发明涉及无线网络、人体活动识别，为通过使用一系列降噪方法和数据挖掘技术处理Wi‑Fi信号，实现使用商用Wi‑Fi设备即可检测动作和对动作进行质量评估，本发明，基于商用Wi‑Fi人体活动识别与动作质量评估方法，步骤如下：数据收集：从商用多天线Wi‑Fi设备中提取信道状态信息CSI；数据预处理；动作分类；动作质量评估：首先建立标准活动的特征库，然后计算未知CSI模式与预先构造的CSI模式的相似度；利用动态时间规整DTW和模糊推理系统FIS相结合的方法，将捕捉到的运动数据即未知CSI模式与参考动作即预先构造的CSI模式进行比较，并提供反馈。本发明主要应用于人动作质量评估场合。

Description

基于商用Wi-Fi人体活动识别与动作质量评估方法

技术领域

本发明涉及无线网络，涉及到数据挖掘领域，具体涉及到一种基于商用Wi-Fi设备的人体动作识别和动作质量评估系统。

背景技术

随着无线网络的发展,基于商用Wi-Fi设备在人们的生活中已越来越普及。其发射的属物理层的无线信号CSI(Channel State Information信道状态信息)不仅可以传输数据，而且会在设备周围的物体上发生反射、衍射、散射等，最终到达接收设备，由此携带周围环境大量信息用以感知环境。通过对接收端所收集的CSI信号数据分析处理，并使用合适的模型进行分类，可以用于行为识别、室内定位、入侵检测等等。相比于商用Wi-Fi设备，一些专业设备，如可穿戴传感器、软件无线电设备、摄像头等，也可用来跟踪运动轨迹，精确的捕获动作信息，但价格昂贵，普及度低。

体操运动是一项著名的体育运动，有很多的练习者。日常锻炼对健康很重要，但由于时间和空间的限制，人们很难坚持下去。与其他运动相比，体操有着明显的优势，只要有可能，就可以每天进行。因为没有时间和空间的限制，所以很方便，很容易做，而且事后感觉很精神。人们可以在家里、办公室和健身房做体操。然而，只有标准动作才能刺激身体，防止可能的身体伤害。标准的活动对锻炼的有效性起着重要作用。不规范的运动可能导致身体伤害，从而无法达到锻炼的效果。如果能够判断锻炼动作的标准度，并在不标准动作发生后发出反馈，便可较大程度的降低不标准动作造成的伤害。目前对动作标准化的检测的研究多集中于图像、加速度传感器、压敏等方法，采用商用Wi-Fi设备获取动作数据极少。

本发明利用商用Wi-Fi设备实现动作识别和动作质量评估系统的实现。

发明内容

为克服现有技术的不足，本发明旨在通过使用一系列降噪方法和数据挖掘技术处理Wi-Fi信号，实现使用商用Wi-Fi设备即可检测动作和对动作进行质量评估。为此，本发明采取的技术方案是，基于商用Wi-Fi人体活动识别与动作质量评估方法，步骤如下：

数据收集：从商用多天线Wi-Fi设备中提取信道状态信息CSI；

数据预处理：首先对CSI进行降噪处理，然后对连续的信号进行切割，将信号切割成单个动作；

动作分类：利用提取的特征对活动进行识别；

动作质量评估：首先建立标准活动的特征库，然后计算未知CSI模式与预先构造的CSI模式的相似度；

利用动态时间规整DTW和模糊推理系统FIS相结合的方法，将捕捉到的运动数据即未知CSI模式与参考动作即预先构造的CSI模式进行比较，并提供反馈。

对CSI进行降噪处理详细步骤如下：

采用基于Hampel和主成分分析PCA的两级去噪方法来保持真实的CSI波形变化，其中，为实现细粒度的动作检测，系统采用Hampel滤波器来去除不相关的频率噪声，并使用PCA算法对收集到的信号进行进一步处理；

对连续的信号进行切割详细步骤是，首先，通过获取CSI的方差来自动识别每个活动的结束位置；然后，通过从结束点选择适当的跟踪窗口大小来确定下一个活动的起点位置。

对连续的信号进行切割进一步详细步骤是，当动作结束时，CSI频差有显著变化，引入一个能量指示器来检测活动的终点，计算公式如下：

其中，E是计算的能量，l是时间窗，FFT是归一化的FFT系数，在时间窗内每200毫秒计算一次；

确定合适的窗口大小：为了分割不同的动作，需要找到最佳的窗口大小来捕捉活动，以便进行准确的动作检测，最佳窗口大小为3秒，在终点前的2秒信号段，在终点后形成1秒信号段，代表单独的完整的活动；

特征提取详细步骤如下：

利用Gabor滤波器来提取频域特征，二维Gabor小波滤波器定义如下：

其中x，y是矩阵中像素的坐标，波长λ，旋转角θ，相位ψ，纵横比σ，

带宽γ是Gabor滤波器的五个参数。

选择最小二乘支持向量机LSSVM作为分类算法，通过将提取的特征输入LSSVM分类器中，建立分类模型，LSSVM的分类决策函数为：

提供反馈具体为动作质量评估，CSI的时域特征和频域特征都被用来作为评估指标，使用三个特征集振幅、相位、频域特征，分别作为DTW的输入来获得三个不同的距离度量，对于每个特征集，DTW计算出了动作和标准动作时间序列之间的距离度量，这些距离随后被输入到模糊推理系统FIS，用于计算评估结果；模糊推理系统FIS的应用，包括模糊化，即建立输入数据的模糊关系和模糊隶属函数；模糊逻辑规则的确定和去模糊化运算步骤。

模糊化

采用三角形隶属函数确定输入值与隶属度之间的关系，三角隶属函数显示如下：

其中参数a和b决定三角形的底部，参数c确定三角形的峰值；

利用隶属函数计算输入模糊集，模糊关系集是表示各种模糊输入值对不同输出结果的影响程度的集合，用R表示，R是m×n阶矩阵，其中m等于模糊输出集中的元素个数，n等于模糊输入集中的元素个数，矩阵R中的每一行都反映了各种因素对行输出的影响：

其中，r_ij是输入元素对输出级别的隶属度；

将输入模糊化后，需要根据规则进行模糊推理，确定模糊输出。

模糊逻辑规则，用于构建FIS模糊推理的规则集如下所述：

Algorithm FIS rules

IF input1＝＝Good&&input2＝＝Good&&input3＝＝Good

Output＝Good

Else IF input1＝＝Median&&input2＝＝Median&&input3＝＝Median

Output＝Median

Else IF input1＝＝Poor&&input2＝＝Poor&&input3＝＝Poor

Output＝Poor

End

去模糊化：模糊推理系统构建的最后一步就是去模糊化，具体采用加权平均决策法：

其中，FS是上一步的FS输出，OW是权重，解模糊的输出用于动作质量评估的反馈。

本发明的特点及有益效果是：

1.标准的活动对锻炼的有效性起着重要作用。不规范的运动可能导致身体伤害，从而无法达到锻炼的效果。如果能够及时检测动作的质量，便可很大程度的降低不标准动作的伤害。

2.本发明使用商用Wi-Fi设备即可实现动作检测和动作质量评估，成本低，普及度高。

3.本发明使用的信号处理方法，也可用于其他领域，具有很好的通用性。

附图说明：

图1为动作识别和动作质量检测系统结构示意图。

图2为CSI振幅降噪前后对比示意图，(a)为原始的CSI波形；(b)为Hampel滤波器降噪后的CSI波形；(c)为PCA算法降噪后CSI波形。

图3为四种状态下的能量变化图，(a)为空房间中的能量图；(b)为有人在房间走动的能量图；(c)为没有动作时的能量图；(d)为在做动作时的能量图。

图4为不同动作的波形图和频谱图，(a)和(d)分别是动作A的波形图和频谱图；(b)和(e)分别为动作B的波形图和频谱图；(c)和(f)分别为动作C的波形图和频谱图。

图5为模糊推理系统的结构示意图。

具体实施方式

本发明提出了一种基于商用Wi-Fi的动作识别和动作质量评估系统,通过使用一系列降噪方法和数据挖掘技术处理Wi-Fi信号，实现了使用商用Wi-Fi设备即可检测动作和对动作进行质量评估。具体描述如下：

所设计的系统首先对动作进行分类识别，从而检测出不同的动作。七种典型的体操运动：伸展、扩胸、踢腿、身体侧移、体背运动、原地站立和全身运动；并且将识别出的动作与标准动作进行对比，对动作的质量进行检测并反馈。

系统示意图如图1所示，系统主要包括4个功能模块：数据收集、数据预处理、动作分类和动作质量评估。其中，数据收集模块用于从商用多天线Wi-Fi设备中提取CSI信息；在数据预处理阶段，首先对数据进行降噪处理，然后对连续的信号进行切割，将信号切割成单个动作；在动作分类模块，利用提取的特征对活动进行识别；在动作质量评估阶段，首先建立标准活动的特征库，然后计算未知CSI模式与预先构造的CSI模式的相似度。更具体地说，利用动态时间规整(DTW)和模糊推理系统(FIS)相结合的方法，将捕捉到的运动数据与参考动作进行比较，并提供反馈。

一、数据收集模块

所设计的系统将会在接收端收集CSI信息。对于每一组发射和接收天线，都可通过IEEE802.11n协议获得30个正交频分复用的子载波。由于系统使用1根天线作为发射端，3根天线作为接收端，所以一共会有90个子载波被收集。系统采用800Hz采样率，对每个子载波，一秒钟将会收集800个CSI值。系统使用所收集数据的振幅信息进行下一步处理。

二、信号处理模块

为实现动作的识别和动作质量的评估，信号处理不可或缺。

1.数据降噪

通过商业Wi-Fi设备所收集的CSI信息具有很大噪声，而噪声主要来源于发射端与接收端之间的内部状态变化，如传输速率适应、传输功率变化等。这些内部状态变化将会导致高振幅脉冲和大量突发噪声。提出了一种基于Hampel和主成分分析(PCA)的两级去噪方法来保持真实的CSI波形变化。图2(a)画出了一个原始的CSI波形图。为实现细粒度的动作检测，系统采用Hampel滤波器来去除不相关的频率噪声，并使用PCA算法对收集到的信号进行进一步处理。

(1)Hampel滤波器。一般情况下，一些微小动作，如呼吸心跳等，所造成的CSI值的变化主要处于低频范围，在0-8Hz。而跌倒和其他类似跌倒动作所造成的CSI值的变化频率较高，但也不超过80Hz。因此，采用Hampel滤波器去除异常值。计算所选子载波的累积移动方差能量作为阈值，滤除与环境变化有关的频率噪声。

(2)PCA(Principal Component Analysis主成分分析)算法。PCA有两个优点。首先，PCA可以降低计算复杂度，因为它降低了从每个TX-RX对中的30个子载波获得的信号的维数。因此，它会自动保存有关活动的有用信息。第二，PCA可以消除传统低通滤波器无法消除的带内噪声，利用人类活动引起的CSI变化在时间序列中的所有子载波上都是相关的，而噪声分量则不相关。

2.动作分割

运动分割模块的主要功能是从连续接收的CSI流中提取单个动作。因为活动是连续的，后续活动没有WiFi信号边界。如何从捕捉到的连续WiFi无线信号流中自动准确地分割出相应的动作是非常重要的。本系统中，动作分割包括两个步骤：首先，通过获取CSI的方差来自动识别每个活动的结束位置；然后，通过从结束点选择适当的跟踪窗口大小来确定下一个活动的起点位置。

(1)确定动作的终点位置。图3显示了不同场景下的FFT频率分布。有趣的是，在空房间的情况下(图3(a))，与锻炼或步行的情景相比，能量相对较低。仔细观察各种状态下的能量分布，可以注意到，在做运动场景和无活动场景之间，高频分量到低频分量的功率显著下降。这一独特的特征可用于连续动作的分割，因为当每个动作结束时，将回到站立(无活动场景)的状态。当人站立时，身体的运动速度将从高变为零。根据上述观察，当动作结束时，CSI频差有显著变化。为了验证这一观察结果，我们引入了一个能量指示器来检测活动的终点。

计算公式如下：

其中，E是计算的能量，l是时间窗，FFT是归一化的FFT系数，在时间窗内每200毫秒计算一次。

(2)确定合适的窗口大小。为了分割不同的动作，我们需要找到最佳的窗口大小来捕捉活动，以便进行准确的动作检测。考虑到动作结束后，在时域上的持续时间和特点，我们进行了大量的实验来选择最佳的窗口大小。研究发现，最佳窗口大小为3秒，在终点前的2秒信号段，在终点后形成1秒信号段，代表单独的完整的活动。

3.特征提取

在运动识别中，合适的特征在基于Wi-Fi的检测中起着至关重要的作用，而特征提取是获得满意检测精度的关键。

从图5可以看出，不同动作的光谱图具有不同的纹理特征。因此，要从CSI中提取活动特征，需要从不同的活动的光谱图中提取纹理特征。为了从多个CSI流中提取纹理特征，我们采用了一种基于Gabor滤波器的特征提取方法。Gabor滤波器作为一种应用广泛的图像特征提取方法，是计算机视觉技术中用于边缘提取的线性滤波器。另外，传统的特征提取方法只能提取少量的具体特征，而Gabor滤波器具有提取大量抽象特征的能力。这必将提高特征提取的质量。由于Gabor滤波器可以提取空间局部频率的特征，并且可以在不需要人工干预的情况下进行纹理检测，所以我们利用Gabor滤波器来提取频域特征。二维Gabor小波滤波器定义如下：

其中x，y是矩阵中像素的坐标，波长λ，旋转角θ，相位ψ，纵横比σ，

带宽γ是Gabor滤波器的五个参数。

三、动作分类模块

之前模块提取到的特征用来进行动作分类。通过大量实验的验证，我们选择最小二乘支持向量机(LSSVM)作为该专利的分类算法。这是由于LSSVM的计算复杂度较低。通过将提取的特征输入LSSVM分类器中，建立分类模型。LSSVM的分类决策函数为：

四、动作质量评估

该系统的一个重要模块是对动作质量进行评估并进行反馈，该模块的实现是基于学习者的身体动作与专家所做动作的相似程度来判断动作的质量的。更具体地说，就是将捕捉到的待判断的动作数据与参考的标准动作在时间和空间上进行比较。为了进行这种比较，需要从一般动作和标准的动作中提取特定的特征进行比较。为了实现精确性和鲁棒性较高的动作质量评估，CSI的时域特征(振幅和相位)和频域特征都被用来作为评估指标。

我们使用三个特征集(振幅、相位、频域特征)分别作为DTW的输入来获得三个不同的距离度量。对于每个特征集，DTW计算出了动作和标准动作时间序列之间的距离度量。这些距离(每个特征集一个)随后被输入到模糊推理系统(FIS)，用于计算评估结果(图5所示)。接下来，我们将介绍模糊推理系统模型。

模糊推理系统具有多因素综合分析的特点，因此，它适用于受多种因素影响的不确定结论或现象的综合评价。也就是说，对于要判断的对象或现象，通过给每个影响它的因素一个判断指标，然后根据给定的条件进行计算和分析，我们可以得出一般结论。FIS的应用，包括模糊化，即建立输入数据的模糊关系和模糊隶属函数；模糊逻辑规则的确定(实现模糊集)和去模糊化运算等步骤。

1.模糊化

模糊推理系统的输出集是模糊结果的一种表示形式。其输出集的个数和名称可以根据实际问题的需要由人主观确定。根据活动质量评价的分类，将其分为良好、一般和较差三种情况。将输入的特征转换成输出集(良好、一般、较差)的过程称为模糊化。模糊集是由成员和隶属度组成的一对成员的集合。在离散形式下，模糊集“约等于7”可以表示为(0.1/5，0.7/6，1/7，0.7/8，0.1/9)。在模糊集合表示法中，斜杠前的值是这些数字的“置信度”或“隶属度”。如何确定输入值与隶属度的关系，这就需要使用隶属度函数。在本系统中，通过对大量实验数据的验证，我们决定采用三角形隶属函数确定输入值与隶属度之间的关系。三角隶属函数显示如下：

其中参数a和b决定三角形的底部，参数c确定三角形的峰值。

利用隶属函数计算输入模糊集。模糊关系集是表示各种模糊输入值对不同输出结果的影响程度的集合，用R表示。R是m×n阶矩阵，其中m等于模糊输出集中的元素个数，n等于模糊输入集中的元素个数，矩阵R中的每一行都反映了各种因素对行输出(成员)的影响。

其中，r_ij是输入元素对输出级别的隶属度。

将输入模糊化后，需要根据规则进行模糊推理，确定模糊输出。换句话说，模糊推理系统(FIS)就是通过模糊化将输入值转化为各输出集的隶属度，然后根据规则得到多个FS。接下来，我们将介绍模糊逻辑的规则。

2.模糊逻辑规则

对于基于规则的模糊模型中的推理，模糊命题需要用一个称为模糊if-then规则或模糊条件语句的蕴涵函数来表示。用于构建FIS模糊推理的规则集如下所述：

Algorithm FIS rules

IF input1＝＝Good&&input2＝＝Good&&input3＝＝Good

Output＝Good

Else IF input1＝＝Median&&input2＝＝Median&&input3＝＝Median

Output＝Median

Else IF input1＝＝Poor&&input2＝＝Poor&&input3＝＝Poor

Output＝Poor

End

3.去模糊化

模糊推理系统构建的最后一步就是去模糊化。在大多数情况下，模糊集形式的结果通过去模糊化过程转化为较为清晰的结果。去模糊化的方法有很多种。在这里，我们使用的是一种简单而广泛使用的方法：加权平均决策法。

其中，FS是上一步的FS输出，OW是权重。解模糊的输出用于动作质量评估的反馈。

本系统使用了两台联想ThinkPad T系列笔记本电脑，其中一台作为WiFi接入点，即发射端，另一台作为接收端。两台笔记本电脑均安装了Intel 5300NIC和Ubuntu14.04LTS桌面版系统，其中发射端有1根天线，接收端有3根天线，且3根天线之间的距离为一个波长(5.2cm),一共可收集90个子载波。数据采样率设为800Hz，传输链路工作在基于IEEE802.11n协议，频段为5.825GHz的信道上。本系统选择5.825GHz频段而不选择2.4GHz频段是因为5.825GHz频段波长较短，这样对动作会有较高的分辨率。在接收端通过安装CSItool工具来收集数据，并通过TCP/IP协议将CSI数据发送到配置为Intel i5-7200U 2.5GHz的电脑上，最后通过matlab处理CSI数据。

本系统一旦监测到动作发生，便首先使用Hampel滤波器和PCA算法对所收集到的CSI数据进行降噪处理，然后采用FFT方法对连续动作的信号进行分割，分割成单独的动作，便可对获取的动作信号进行特征提取。使用Gabor滤波器的方法对信号进行特征提取，以便后续对动作进行分类识别。

此后，对识别好的动作进行动作质量评估。我们使用三个特征集(振幅、相位、频域特征)分别作为DTW的输入来获得三个不同的距离度量。对于每个特征集，DTW计算出了动作和标准动作时间序列之间的距离度量。这些距离(每个特征集一个)随后被输入到模糊推理系统(FIS)。通过模糊推理系统对动作的质量进行评估。当检测到动作质量不合格时，系统便会给出反馈，及时处理，便可较大程度的降低动作不标准对身体造成的伤害。

以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (5)

1.一种基于商用Wi-Fi人体活动识别与动作质量评估方法，其特征是，步骤如下：

数据收集：从商用多天线Wi-Fi设备中提取信道状态信息CSI；

数据预处理：首先对CSI进行降噪处理，然后对连续的信号进行切割，将信号切割成单个动作；

动作分类：利用提取的特征对活动进行识别；

动作质量评估：首先建立标准活动的特征库，然后计算未知CSI模式与预先构造的CSI模式的相似度；

利用动态时间规整DTW和模糊推理系统FIS相结合的方法，将捕捉到的运动数据即未知CSI模式与参考动作即预先构造的CSI模式进行比较，并提供反馈。

2.如权利要求1所述的基于商用Wi-Fi人体活动识别与动作质量评估方法，其特征是，对CSI进行降噪处理详细步骤如下：

采用基于Hampel和主成分分析PCA的两级去噪方法来保持真实的CSI波形变化，其中，为实现细粒度的动作检测，系统采用Hampel滤波器来去除不相关的频率噪声，并使用PCA算法对收集到的信号进行进一步处理；

对连续的信号进行切割详细步骤是，首先，通过获取CSI的方差来自动识别每个活动的结束位置；然后，通过从结束点选择适当的跟踪窗口大小来确定下一个活动的起点位置。

对连续的信号进行切割进一步详细步骤是，当动作结束时，CSI频差有显著变化，引入一个能量指示器来检测活动的终点，计算公式如下：

其中，E是计算的能量，l是时间窗，FFT是归一化的FFT系数，在时间窗内每200毫秒计算一次；

确定合适的窗口大小：为了分割不同的动作，需要找到最佳的窗口大小来捕捉活动，以便进行准确的动作检测，最佳窗口大小为3秒，在终点前的2秒信号段，在终点后形成1秒信号段，代表单独的完整的活动；

特征提取详细步骤如下：

利用Gabor滤波器来提取频域特征，二维Gabor小波滤波器定义如下：

其中x，y是矩阵中像素的坐标，波长λ，旋转角θ，相位ψ，纵横比σ，带宽γ是Gabor滤波器的五个参数。

3.如权利要求1所述的基于商用Wi-Fi人体活动识别与动作质量评估方法，其特征是，选择最小二乘支持向量机LSSVM作为分类算法，通过将提取的特征输入LSSVM分类器中，建立分类模型，LSSVM的分类决策函数为：

提供反馈具体为动作质量评估，CSI的时域特征和频域特征都被用来作为评估指标，使用三个特征集振幅、相位、频域特征，分别作为DTW的输入来获得三个不同的距离度量，对于每个特征集，DTW计算出了动作和标准动作时间序列之间的距离度量，这些距离随后被输入到模糊推理系统FIS，用于计算评估结果；模糊推理系统FIS的应用，包括模糊化，即建立输入数据的模糊关系和模糊隶属函数；模糊逻辑规则的确定和去模糊化运算步骤。

4.如权利要求3所述的基于商用Wi-Fi人体活动识别与动作质量评估方法，其特征是，模糊化具体步骤：

采用三角形隶属函数确定输入值与隶属度之间的关系，三角隶属函数显示如下：

其中参数a和b决定三角形的底部，参数c确定三角形的峰值；

利用隶属函数计算输入模糊集，模糊关系集是表示各种模糊输入值对不同输出结果的影响程度的集合，用R表示，R是m×n阶矩阵，其中m等于模糊输出集中的元素个数，n等于模糊输入集中的元素个数，矩阵R中的每一行都反映了各种因素对行输出的影响：

其中，r_ij是输入元素对输出级别的隶属度；

将输入模糊化后，需要根据规则进行模糊推理，确定模糊输出。

5.如权利要求4所述的基于商用Wi-Fi人体活动识别与动作质量评估方法，其特征是，模糊逻辑规则，用于构建FIS模糊推理的规则集如下所述：

Algorithm FIS rules

IF input1＝＝Good&&input2＝＝Good&&input3＝＝Good

Output＝Good

Else IF input1＝＝Median&&input2＝＝Median&&input3＝＝Median

Output＝Median

Else IF input1＝＝Poor&&input2＝＝Poor&&input3＝＝Poor

Output＝Poor

End

去模糊化：模糊推理系统构建的最后一步就是去模糊化，具体采用加权平均决策法：

其中，FS是上一步的FS输出，OW是权重，解模糊的输出用于动作质量评估的反馈。

Images