CN110113116A - 基于wifi信道信息的人体行为识别方法 - Google Patents

Abstract

本发明公开了一种基于WIFI信道状态信息的人体行为识别方法，属于行为识别技术领域，针对目前行为识别技术存在过度依赖传感器技术，用户体验性比较差；并且成本比较高，容易受到光线等因素的影响，容易泄露隐私等问题。本发明通过行为识别系统搭建、数据采集、数据模型训练、动作端点检测和在线识别过程，实现高精度的识别日常生活中的基本的人体行为动作，实时的显示WIFI信号的变化以及行为预测结果。并且该方法具有不要求绝对的视距路径，并且有着活动范围大、隐蔽性良好、可以穿墙、对光线没有要求、成本低廉易大规模部署等优点。

Description

基于WIFI信道信息的人体行为识别方法

技术领域

本发明涉及人体行为识别领域，具体涉及一种基于WIFI信道信息的人体行为识别方法。

背景技术

随着国民经济的不断提升，人们对生活质量的要求不断提高，逐渐向着智能化、舒适化的方向发展。包括对日常的娱乐方式、家居生活、医疗水平等等领域提出了更高的要求，这也催生了科学技术在这些领域的不断发展与进步。近年来，随着人工智能领域的迅速发展以及人们对智能监控、智能家居及新型人机交互的需求日益提升。人体行为识别技术(Human Activity Recognition，HAR)已经成为模式识别、计算机视觉、无线感知等领域的一项热门研究方向。在学术界，来自MIT、WSU、Intel及南京大学的许多专家教授对HAR技术领域展开了积极的探索。在工业届，HAR技术被运用到智能家居、智能监控、体感游戏及医疗监护等多种应用中，拥有广阔的发展前景。

目前，人体行为识别技术已有多种技术路线，如：

(1)基于视觉的人体行为识别技术：

基于视觉的人体行为识别技术主要是利用相机去采集图片或者摄像机记录视频流，通过图像处理技术和计算机视觉的方法去识别行为运动。近年来，基于视觉的行为运动识别已经很成熟，诞生了很多优秀的产品，例如微软的Kinect是微软在2009年在E3的大展上，正式公布XBOX360体感周边外设。它是一种3D体感摄像机，利用光编码技术创建三维场景图，再结合图像的处理技术和人体骨骼追踪技术实现，识别出人体的游戏动作。2013年Leap公司发布了具有较高软硬结合能力的体感控制器Leap Motion。它配备了双摄像头，利用stereo-vision技术创建3D场景，并从中分析场景数据，提取出人体动作。

(2)基于传感器的人体行为识别技术：

基于传感器的人体行为识别技术发展到现在已经非常成熟，其设备重量轻以及对人的隐私侵入性小等优点备受国内外的研究专家的青睐。2006年11月19日，Nintendo公司在北美发售了搭载3D加速度传感器(Acceleration Sensor)的电子游戏：Wii运动。通过运动传感器，玩家可以操控游戏屏幕中角色的人体手势动作，像真实生活中那样打网球、棒球、高尔夫球、保龄球和拳击。2013年2月26日，加拿大创业公司Thalmic Labs公司发售了一款名为MYO的臂环，该臂环通过检测用户生物电、陀螺仪、加速计、磁力计等传感器数据来进行人体行为识别。2014年，在百度世界大会上，百度公司推出了可穿戴传感器设备“BaiduEye”，它通过人体行为进行操作，实现隔空取物。

(3)基于特殊设备的人体行为识别技术：

这个技术路线主要是通过特殊设计的硬件设备来采集高精度的无线电信号测量值其中比较有代表性的Wi See使用USRP去采集WIFI的OFDM信号并测量出由人体反射所造成的多普勒频移，来识别九种不同的姿势，正确率高达95％，而All See使用特殊设计的模拟电路去提取所接收到的信号的幅度并利用这些采集到的特征来识别不同的手势，但是有效距离只有80cm左右。Wision则主要是利用多径反射原理去感知附近的物体。但这类方法对于设备都有特殊的要求，普适性不够强。

传统的人体行为识别技术基本都要求被测人员携带相应的运动传感器，虽然传感器网络有低成本、低功耗、隐蔽性好等优点，但这种方法过度依赖特定的传感器设备，在整个过程中需要佩戴传感器设备，在一定程度上降低了用户体验并且精度不够高，同时传感器节点有限的电池容量储备使其无法长时间连续供电。而现在随着计算机视觉、无线传感以及人工智能等领域的不断发展，逐渐向着被动式(被测者无需携带任何电子设备，就可以实现对动作行为的识别任务)的方向发展。相对较为成熟的便是利用机器视觉实现动作识别，例如微软的Kinect可以在近距离内实现人体手势以及动作的识别，并开发了一系列基于动作识别的产品。而这种依赖于图像的处理方法有着检测范围小、要求绝对的LOS，成本较高，可能泄露隐私等局限，而且特别容易受到光线、水雾等不良条件的影响。

发明内容

针对现有的行为识别技术存在过度依赖传感器技术，用户体验性比较差，成本高等问题，本发明提供了一种基于WIFI信道信息的人体行为识别方法。

本发明采用以下的技术方案：

基于WIFI信道状态信息的人体行为识别方法，其特征在于，包括以下步骤：

步骤1：行为识别系统搭建：搭建基于Atheros网卡的两套信道状态信息数据采集设备，其中一套信道状态信息数据采集设备作为发射端，另外一套信道状态信息数据采集设备作为接收端；建立服务端，接收端与服务端相连接；

步骤2：数据采集：发射端与接收端间隔放置，发射端向接收端发射WIFI信号，人员站立在发射端与接收端之间，并做出相应的行为动作，接收端将接收到的原始数据送至服务端进行数据处理；

步骤3：数据模型训练：建立混合卷积神经网络-支持向量机网络，利用卷积神经网络-支持向量机网络对人体动作特征进行模型训练，得到识别模型；

步骤4：动作端点检测：建立基于滑动窗口的在线动作端点检测方法，对人体动作的前后端点精确捕捉；

步骤5：在线识别：将步4中捕捉到的人体动作端点利用步骤3中得到的识别模型进行在线识别。

优选地，步骤3具体包括以下子步骤：

步骤3.1：在卷积神经网络的输入层中，将动作样本数据x_i重塑为2000x168的二维数组，并将其作为网络的输入；在卷积层，用10个5x5的卷积核进行卷积操作，然后得到卷积层的输出

和表示的是运算中的权重和偏置，M代表的是特征图谱；

步骤3.2：对卷积层的输出进行池化操作，得到池化处理的输出为：

downsampling()代表是池化运算，代表将池化层的输出作为下一个卷积运算的输入；

经过三次的卷积、池化操作在第六层得到输出X，经过第七层全连接操作将输出X全连接为一个200长度的特征向量X'；

步骤3.3：将具有高斯核函数的支持向量机分类器替换卷积神经网络中softmax分类器,非线性特征向量X'通过高斯核函数K映射到高维空间；

x和x'表示两个样本，σ为高斯核的带宽，σ＞0；

得到具有高斯核函数支持向量机的基本型：

s.t.y_i(w^TΦ(x_i)+b)≥1,i＝1,2,...,m.

{w,w_S}、{b,b_S}为支持向量机中的权重和偏置项，min表示最小化操作；；

s.t.表示约束条件，y_i为第i样本的类别；Φ(x_i)表示将x_i映射后的特征向量，m为样本数量；

利用拉格朗日乘子法，对基本型的每条约束添加拉格朗日乘子α，得到其对偶问题：

{α_i,α_j}是第i,j样本的拉格朗日乘子，y_j为第j样本的类别

然后利用一个简化版拉格朗日对偶作为支持向量机的损失函数L_i，通过最小化损失函数L_i反向传播算法进行网络模型训练；

L_i＝-(∑b_S-∑(K·||b_S||²||y||²))

y表示的是样本的类别；

步骤3.4：最终通过分类决策函数给定一个x得到分类器输出F(x),多分类问题，运用1-vs-all投票的方法实现多分类的支持向量机，最终的k分类决策函数可表示为：

Y＝F(x)

w_k,b_k表示第k类别权重和偏置项，argmax()是寻找最大评分变量的函数，n表示样本中的类别数量

最后得到样本x的预测类别输出Y。

优选地，步骤4具体包括以下子步骤：

步骤4.1：当静态环境中有人体动作出现时，连续时刻信道状态信息幅值数据会出现较为明显的波动，而这些波动导致了连续时间内信道状态信息幅值信息产生较大的差异性，然后通过计算向量间的相关系数corr进行衡量；

X、Y代表两个向量，cov表示向量的协方差，D(X)、D(Y)分别表示向量X、Y的马氏距离；

设定一个长度为n的时间窗，窗口在时间轴上以步长step的长度滑动，某时刻窗口中的数据组成矩阵F，F的维度为56*n，F可以表示为：

F＝[c₁,c₂,…,c_n]

c_n表示的是向量间的相关系数；

该时间段内是否有动作发生通过下式进行判断；

s是用于表征该时刻是否有动作发生的特征点，j,i表示的是向量的坐标，c_j、c_i代表第i,j向量间的相关系数；

输入一个数据包包含N个信道状态信息幅值信息，该数据包中动作检测特征点表示为：

S＝[s₁,s₁,…,s_N-n-1,s_N-n]

其中动作检测特征点的个数为数据包中信道状态信息幅值数据个数与滑动时间窗个数的差；

步骤4.2：端点检测即检测动作开始与结束的时间点，基于能量的端点检测方法是通过计算定长滑动时间窗口的能量总和去判断动作端点信息的，设能量端点检测时间窗为矩阵M，窗口长度为m，滑动步长为1，数据包在k时刻的能量值可表示为：

E_k代表k时刻的能量值，s_k代表的是k时刻的检测特征点；

输入一个信道状态信息数据包中，最终提取出的能量特征点E可以通过向量形式表示为：

E＝[E₁,E₂,…,E_N-n-m-1,E_N-n-m]

采用基于能量的端点检测方法要设定阈值M₀，M₀的大小是通过采样一段静态环境中的信道状态信息数据，求取静态环境下能量的均值作为设定阈值，给M₀前加上一个系数λ，用于实际调试；

采集到一段信道状态信息数据，通过式ξ确定是否是动作的端点；

ξ表示的是端点检测的系数值，M₀是设定的阈值，系数λ用于在实际过程中调试参数，当ξ从一个小于等于0的数变为大于0的数时，则检测到动作前端点；当ξ从一个大于0的数变为小于0的数时，则检测到动作后端点；当ξ的值一直保持小于0时，则表示空间中没有动作；

最终通过ξ值的变化判断出信道状态信息数据前后端点。

本发明具有的有益效果是：

本发明提供的基于WIFI信道状态信息的人体行为识别方法，能够高精度的识别日常生活中的基本的人体行为动作，实时的显示WIFI信号的变化以及行为预测结果。并且该方法具有不要求绝对的视距路径，并且有着活动范围大、隐蔽性良好、可以穿墙、对光线没有要求、成本低廉易大规模部署等优点。

附图说明

图1为卷积特征提取网络结构。

图2为混合卷积神经网络-支持向量机网络结构示意图。

图3为动作检测特征点提取过程示意图。

图4为动作特征点提取结果示意图。

具体实施方式

下面结合附图和具体实施例对本发明的具体实施方式做进一步说明：

结合图1至图4，基于WIFI信道状态信息的人体行为识别方法，包括以下步骤：

步骤1：行为识别系统搭建：搭建基于Atheros网卡的两套信道状态信息数据采集设备，其中一套信道状态信息数据采集设备作为发射端，另外一套信道状态信息数据采集设备作为接收端；建立服务端，接收端与服务端相连接。

步骤2：数据采集：发射端与接收端间隔放置，发射端向接收端发射WIFI信号，人员站立在发射端与接收端之间，并做出相应的行为动作，接收端将接收到的原始数据送至服务端进行数据处理。

数据采集设备支持对采集帧数、组数，以及采集的间隔时间和开始时间的自由化的设置，以及支持手动和自动的采集模式并且结合语音播报的方式，人性化的实现对采集不同原始数据流采集的需要。

步骤3：数据模型训练：建立混合卷积神经网络-支持向量机网络，利用卷积神经网络-支持向量机网络对人体动作特征进行模型训练，得到识别模型。

具体包括以下子步骤：

步骤3.1：在卷积神经网络的输入层中，将动作样本数据x_i重塑为2000x168的二维数组，并将其作为网络的输入；在卷积层，用10个5x5的卷积核进行卷积操作，然后得到卷积层的输出

和表示的是运算中的权重和偏置，M代表的是特征图谱；

步骤3.2：对卷积层的输出进行池化操作，得到池化处理的输出为：

downsampling()代表是池化运算，代表将池化层的输出作为下一个卷积运算的输入。如图1中所示。

经过三次的卷积、池化操作在第六层得到输出X，经过第七层全连接操作将输出X全连接为一个200长度的特征向量X'；

步骤3.3：将具有高斯核函数的支持向量机分类器替换卷积神经网络中softmax分类器，如图2所示,非线性特征向量X'通过高斯核函数K映射到高维空间；

x和x'表示两个样本，σ为高斯核的带宽，σ＞0；

得到具有高斯核函数支持向量机的基本型：

s.t.y_i(w^TΦ(x_i)+b)≥1,i＝1,2,...,m.

{w,w_S}、{b,b_S}为支持向量机中的权重和偏置项，min表示最小化操作；

s.t.表示约束条件，y_i为第i样本的类别；Φ(x_i)表示将x_i映射后的特征向量，m为样本数量

利用拉格朗日乘子法，对基本型的每条约束添加拉格朗日乘子α_i，得到其对偶问题：

{α_i,α_j}是第i,j样本的拉格朗日乘子，y_j为第j样本的类别；

然后利用一个简化版拉格朗日对偶作为支持向量机的损失函数L_i，通过最小化损失函数L_i反向传播算法进行网络模型训练；

L_i＝-(∑b_S-∑(K·||b_S||²||y||²))

y表示的是样本的类别；

步骤3.4：最终通过分类决策函数给定一个x得到分类器输出F(x),多分类问题，运用1-vs-all投票的方法实现多分类的支持向量机，最终的k分类决策函数可表示为：

Y＝F(x)

w_n b_n表示第k类别权重和偏置项，argmax()是寻找最大评分变量的函数，n表示样本中的类别数量

最后得到样本x的预测类别输出Y。

步骤4：动作端点检测：建立基于滑动窗口的在线动作端点检测方法，对人体动作的前后端点精确捕捉；

具体包括以下子步骤：

步骤4.1：当静态环境中有人体动作出现时，连续时刻信道状态信息幅值数据会出现较为明显的波动，而这些波动导致了连续时间内信道状态信息幅值信息产生较大的差异性，然后通过计算向量间的相关系数corr进行衡量；

X、Y代表两个向量，cov表示向量的协方差，D(X)、D(Y)分别表示向量X、Y的马氏距离；

设定一个长度为n的时间窗，窗口在时间轴上以步长step的长度滑动，某时刻窗口中的数据组成矩阵F，F的维度为56*n，F可以表示为：

F＝[c₁,c₂,…,c_n]

c_n表示的是向量间的相关系数；

该时间段内是否有动作发生通过下式进行判断；

s是用于表征该时刻是否有动作发生的特征点，j,i表示的是向量的坐标，c_j、c_i代表第i,j向量间的相关系数；

输入一个数据包包含N个信道状态信息幅值信息，该数据包中动作检测特征点表示为：

S＝[s₁,s₁,…,s_N-n-1,s_N-n]

其中动作检测特征点的个数为数据包中信道状态信息幅值数据个数与滑动时间窗个数的差。动作检测处理流程如图3所示。

由图4可见，静态环境下提取的特征点组成的曲线变化平缓且数值接近于0，而包含动作的特征点变化幅度明显，最高达到0.6左右。然后根据曲线的浮动特征判断是否有动作存在。

步骤4.2：端点检测即检测动作开始与结束的时间点，基于能量的端点检测方法是通过计算定长滑动时间窗口的能量总和去判断动作端点信息的，设能量端点检测时间窗为矩阵M，窗口长度为m，滑动步长为1，数据包在k时刻的能量值可表示为：

E_k代表k时刻的能量值，s_k代表的是k时刻的检测特征点；

输入一个信道状态信息数据包中，最终提取出的能量特征点E可以通过向量形式表示为：

E＝[E₁,E₂,…,E_N-n-m-1,E_N-n-m]

采用基于能量的端点检测方法要设定阈值M₀，M₀的大小是通过采样一段静态环境中的信道状态信息数据，求取静态环境下能量的均值作为设定阈值，给M₀前加上一个系数λ，用于实际调试；

采集到一段信道状态信息数据，通过式ξ确定是否是动作的端点；

ξ表示的是端点检测的系数值，M₀是设定的阈值，系数λ用于在实际过程中调试参数，当ξ从一个小于等于0的数变为大于0的数时，则检测到动作前端点；当ξ从一个大于0的数变为小于0的数时，则检测到动作后端点；当ξ的值一直保持小于0时，则表示空间中没有动作；

最终通过ξ值的变化判断出信道状态信息数据前后端点。

步骤5：在线识别：将步骤4中捕捉到的人体动作端点利用步骤3中得到的识别模型进行在线识别。

当然，上述说明并非是对本发明的限制，本发明也并不仅限于上述举例，本技术领域的技术人员在本发明的实质范围内所做出的变化、改型、添加或替换，也应属于本发明的保护范围。

Claims (3)

1.基于WIFI信道状态信息的人体行为识别方法，其特征在于，包括以下步骤：

步骤1：行为识别系统搭建：搭建基于Atheros网卡的两套信道状态信息数据采集设备，其中一套信道状态信息数据采集设备作为发射端，另外一套信道状态信息数据采集设备作为接收端；建立服务端，接收端与服务端相连接；

步骤2：数据采集：发射端与接收端间隔放置，发射端向接收端发射WIFI信号，人员站立在发射端与接收端之间，并做出相应的行为动作，接收端将接收到的原始数据送至服务端进行数据处理；

步骤3：数据模型训练：建立混合卷积神经网络-支持向量机网络，利用卷积神经网络-支持向量机网络对人体动作特征进行模型训练，得到识别模型；

步骤4：动作端点检测：建立基于滑动窗口的在线动作端点检测方法，对人体动作的前后端点精确捕捉；

步骤5：在线识别：将步4中捕捉到的人体动作端点利用步骤3中得到的识别模型进行在线识别。

2.根据权利要求1所述的基于WIFI信道信息的人体行为识别方法，其特征在于，步骤3具体包括以下子步骤：

步骤3.1：在卷积神经网络的输入层中，将动作样本数据x_i重塑为2000x168的二维数组，并将其作为网络的输入；在卷积层，用10个5x5的卷积核进行卷积操作，然后得到卷积层的输出

和表示的是运算中的权重和偏置，M代表的是特征图谱；

步骤3.2：对卷积层的输出进行池化操作，得到池化处理的输出为：

downsampling()代表是池化运算，代表将池化层的输出作为下一个卷积运算的输入；

经过三次的卷积、池化操作在第六层得到输出X，经过第七层全连接操作将输出X全连接为一个200长度的特征向量X'；

步骤3.3：将具有高斯核函数的支持向量机分类器替换卷积神经网络中softmax分类器,非线性特征向量X'通过高斯核函数K映射到高维空间；

x和x'表示两个样本，σ为高斯核的带宽，σ＞0；

得到具有高斯核函数支持向量机的基本型：

s.t.y_i(w^TΦ(x_i)+b)≥1,i＝1,2,...,m.

{w,w_S}、{b,b_S}为支持向量机中的权重和偏置项，min表示最小化操作；；

s.t.表示约束条件，y_i为第i样本的类别；Φ(x_i)表示将x_i映射后的特征向量，m为样本数量；

利用拉格朗日乘子法，对基本型的每条约束添加拉格朗日乘子α，得到其对偶问题：

{α_i,α_j}是第i,j样本的拉格朗日乘子，y_j为第j样本的类别

然后利用一个简化版拉格朗日对偶作为支持向量机的损失函数L_i，通过最小化损失函数L_i反向传播算法进行网络模型训练；

L_i＝-(∑b_S-∑(K·||b_S||²||y||²))

y表示的是样本的类别；

步骤3.4：最终通过分类决策函数给定一个x得到分类器输出F(x),多分类问题，运用1-vs-all投票的方法实现多分类的支持向量机，最终的k分类决策函数可表示为：

Y＝F(x)

w_k,b_k表示第k类别权重和偏置项，argmax()是寻找最大评分变量的函数，n表示样本中的类别数量

最后得到样本x的预测类别输出Y。

3.根据权利要求1所述的基于WIFI信道信息的人体行为识别方法，其特征在于，步骤4具体包括以下子步骤：

步骤4.1：当静态环境中有人体动作出现时，连续时刻信道状态信息幅值数据会出现较为明显的波动，而这些波动导致了连续时间内信道状态信息幅值信息产生较大的差异性，然后通过计算向量间的相关系数corr进行衡量；

X、Y代表两个向量，cov表示向量的协方差，D(X)、D(Y)分别表示向量X、Y的马氏距离；

设定一个长度为n的时间窗，窗口在时间轴上以步长step的长度滑动，某时刻窗口中的数据组成矩阵F，F的维度为56*n，F可以表示为：

F＝[c₁,c₂,…,c_n]

c_n表示的是向量间的相关系数；

该时间段内是否有动作发生通过下式进行判断；

s是用于表征该时刻是否有动作发生的特征点，j,i表示的是向量的坐标，c_j、c_i代表第i,j向量间的相关系数；

输入一个数据包包含N个信道状态信息幅值信息，该数据包中动作检测特征点表示为：

S＝[s₁,s₁,…,s_N-n-1,s_N-n]

其中动作检测特征点的个数为数据包中信道状态信息幅值数据个数与滑动时间窗个数的差；

步骤4.2：端点检测即检测动作开始与结束的时间点，基于能量的端点检测方法是通过计算定长滑动时间窗口的能量总和去判断动作端点信息的，设能量端点检测时间窗为矩阵M，窗口长度为m，滑动步长为1，数据包在k时刻的能量值可表示为：

E_k代表k时刻的能量值，s_k代表的是k时刻的检测特征点；

输入一个信道状态信息数据包中，最终提取出的能量特征点E可以通过向量形式表示为：

E＝[E₁,E₂,…,E_N-n-m-1,E_N-n-m]

采用基于能量的端点检测方法要设定阈值M₀，M₀的大小是通过采样一段静态环境中的信道状态信息数据，求取静态环境下能量的均值作为设定阈值，给M₀前加上一个系数λ，用于实际调试；

采集到一段信道状态信息数据，通过式ξ确定是否是动作的端点；

ξ表示的是端点检测的系数值，M₀是设定的阈值，系数λ用于在实际过程中调试参数，当ξ从一个小于等于0的数变为大于0的数时，则检测到动作前端点；当ξ从一个大于0的数变为小于0的数时，则检测到动作后端点；当ξ的值一直保持小于0时，则表示空间中没有动作；

最终通过ξ值的变化判断出信道状态信息数据前后端点。