CN112270276B - 一种基于Kinect与WiFi数据联合的复杂环境中的行为识别的方法 - Google Patents

Abstract

本发明提出了一种基于Kinect与WiFi数据联合的复杂环境下目标行为识别方法。首先，本发明提出了一种基于Kinect的提取有效骨节数据特征的方法，能够有效地提取出骨节数据中能有效反映出人体各关节运动方向和幅度的特征。其次，采用了一种能够提取出CSI数据主要子载波特征的方法，能够聚类出能够反映出其主要变化趋势的子载波数据。最后，针对Kinect数据与WiFi数据维度不同不能直接联合的问题，对跨模态搜索中的特征对齐的方法进行改进，使其能够有效地将Kinect数据与WiFi数据联合并构建分类器进行目标行为识别。本发明设计的数据联合目标行为识别算法有效可靠，有效地解决了传统的Kinect识别系统在复杂的室内环境下(桌子、书柜、沙发等遮挡物较多)无法有效识别的问题，挖掘了在复杂环境下更多的应用潜力。

Description

一种基于Kinect与WiFi数据联合的复杂环境中的行为识别的 方法

技术领域

本发明属于行为识别技术，具体涉及到Kinect和WiFi系统下，一种在复杂环境下，采用Kinect数据和WiFi数据的针对动态目标的行为识别方法。

背景技术

近年来，行为识别技术备受关注，人类活动的行为识别是社会生活、普适计算、安全监控等领域的一个重要研究课题。日常生活中的各种行为可以被认为是我们的一种特殊的交流方式，我们可以通过手臂，腿部和头等肢体语言进行交流，因此，我们从应用需求，技术支持，辅助设备等方面提出了活动识别系统。在现有的行为识别系统中，基于传感器的目标行为识别系统要求识别目标穿戴配备运动传感器等特殊设备。传感器获取的数据在可穿戴设备上本地处理或传输到服务器，服务器再对获取的数据进行处理。这种对已知目标的主动监测系统能达到90％的准确率，可以识别睡觉、坐下、行走和跑步等活动，然而，目标需要自身主动携带可穿戴传感设备，这是这种识别系统最大的局限性，尤其是对于老人，穿戴不便或由于健忘导致的未携带穿戴设备等的情况可能是致命的。虽然基于视频图像的识别系统可进行有效的目标行为识别，但必须具备视距条件才能进行行为识别是此类系统的主要限制，此外，基于视频图像的识别使用环境也受到很大限制，很容易受到遮挡、弱光等不良环境的影响。因此，我们提出了无线数据与图像数据联合目标行为识别的系统，无论是安全性还是稳定性相对于上述两种系统都更有优势。

在机器视觉领域中，关于行为识别的研究一直不断的进行着，从最初的人体检测和定位、人体运动跟踪，到现在的人体姿势识别、人体动作识别，甚至行为理解。研究起初，研究人员对普通的二维图像，包括灰度和彩色图像做了大量的研究，尽管设计出各种先进的图像处理算法，但是，仍无法避免一些噪声问题，如光照、颜色、纹理、遮挡等。在硬件技术和学术理论的推动下，学者们的目光不在局限于普通图像，而是寻找新的图像表达方式，如X光图像，红外图像，希望能从这些图像中挖掘出普通图像所未能表达的数据。进近几年来，深度图像也走进了研究人员的视野，图像中的每个像素表示场景中的某一个点到摄像机的距离，换句话说，深度图像可以直接从每个三维空间获得场景的三维数据，相比使用普通图像进行三位模拟，它帮助研究人员快速更方便的走进三维世界。实际上，深度图像也属于计算机视觉的研究范畴，只不过数据的表达方法有所不同，因此很多现有的图像处理算法是可以借鉴和扩展的。虽然深度图像虽然能解决普通图像所不能解决的很多问题，但遮挡问题依然存在。而在普通的家用无线网络中，当一个人在其覆盖区域内运动时，其行为会对Wi-Fi信号的传输信道环境造成一定程度的影响，而且CSI(Channel State Information)可以细粒化记录WiFi信号因环境变化而变化的情况，因此我们可以通过对CSI的分析获取更全面的覆盖区域内的目标活动情况。本发明提出了一种深度数据和CSI信息融合的行为识别的方法，由于微软的体感游戏设备Kinect结合OpenCV可以通过分析深度图像数据得到人体的骨节信息，本发明使用Kinect与WiFi相结合，可以有效在复杂环境中的进行目标行为识别。

发明内容

本发明的目的是在Kinect和WiFi系统下，提供一种基于Kinect数据和WiFi数据信息融合的方法，它能够在体感游戏设备Kinect在遇到遮挡的情况下，使用WiFi数据作为补充，提高行为识别系统在复杂坏境下的稳定性。

本发明所述的一种基于Kinect和WiFi的信息融合的行为识别方法，具体包括以下步骤：

步骤一：利用Intel5300网卡获取WiFi信号CSI信息，假设WiFi设备天线个数为M，子载波个数为N，将第l个数据包表示为TX_l，l为正整数：

TX_l＝(tx_l,1,…,tx_l,M)

其中，tx_l,m表示第m(1≤m≤M)根天线的各个子载波上的CSI数据，即tx_l,m＝(tx_l,m,1,…,tx_l,m,N)，tx_l,m,n表示第l(1≤l≤L)个数据包第m(1≤m≤M)根天线第n(1≤n≤N)子载波上的CSI数据。同时，利用Kinect采集深度图像数据，在此基础上，通过OpenCV处理深度图像数据获取骨节数据，第i(1≤i)骨节数据可以表示为RX_i：

RX_i＝{(x_i,1,y_i,1,z_i,1),(x_i,2,y_i,2,z_i,2)…(x_i,20,y_i,20,z_i,20)}；

步骤二：对骨节数据进行预处理，首先对骨节数据进行坐标归一化处理，消除不同体型目标的差异。将最接近于人体中心的椎关节点作为坐标原点，表示为点P_o(x_o,y_o,z_o)。设需要进行坐标转换的关节点为P_c(x_c,y_c,z_c)，则转换后的点坐标为：

其中，y_max分别为动作序列中所有头部关节的最大值，y_min为所有足关节的最小值，L₀为归一化人体高度。

其次，基于累积运动能量AME(Accumulated Motion Energy)算法进行运动帧提取，骨节数据每一帧为3×20的坐标矩阵，计算帧与帧之间的能量差，即

其中，

表示第i帧数据中的第j个骨节点的v维坐标值。

步骤三：进行骨节数据特征提取。通过分析提取的有效关节点坐标数据，包括肩关节、肘关节、膝关节和椎关节，计算肩关节、肘关节和膝关节的关节角以及肘关节、膝关节和颈关节与椎关节的模比值。设关节坐标为P_g(x_g,y_g,z_g)，其相邻两关节坐标为P_g-1(x_g-1,y_g-1,z_g-1)、P_g+1(x_g+1,y_g+1,z_g+1)，则该关节关节角为

对于关节P_o的模比值，设该关节坐标为P_φ(x_φ,y_φ,z_φ)，椎关节坐标为P_o(x_o,y_o,z_o)，颈关节坐标为P_χ(x_χ,y_χ,z_χ)，则该关节的模比值为

最后，将获取的关节角矩阵与模比值矩阵进行拼接，形成骨节数据特征矩阵。

步骤四：采用巴特沃斯低通滤波器对CSI信号进行低通滤波。在此基础上，为了降低静态环境误差的影响，对滤波后的CSI数据进行平滑归一化，平滑窗口长度设定为W，得到数据

其中，

表示第l个CSI数据包，然后，计算CSI数据幅值的方差，设定方差峰值三分之一处为行为判决门限，从而提取行为数据。之后，使用K均值聚类算法对行为数据中M根天线上的共M×N个子载波上的CSI样本数据x_i进行聚类，其中x_i可以表示为：

x_i＝(x_1,i,…,x_l,i,…,x_L,i)

其中，x_l,i＝tx_l,m,n，且满足条件：i＝(m-1)·N+n。根据骨节数据特征维度确定聚类中心向量的数量k，随机选取k个数据样本作为初始聚类中心，将聚类中心向量表示为μ_j(1≤j≤k)。然后，根据每个数据样本与每个聚类中心的欧氏距离，即||x_i-μ_j||²(1≤i≤M×N,1≤j≤k)，按距离最小的准则将数据样本划分到距离最小的聚类中心所对应的类，将每个类别中所有数据样本的均值作为该类别的新的聚类中心。聚类的目标是使各类聚类中心最优化，即最小化目标函数J

接下来，判断聚类中心和目标函数J是否发生改变，若不变，则新的聚类中心为最优解，若改变，则对每个数据样本重新按照距离最小准则分类并更新聚类中心，重复至新的聚类中心和目标函数的值均不发生改变为止。

步骤五：分别提取CSI的聚类中心向量和骨节数据的统计特征(取方差、均值、中位值绝对偏差、信息熵、四分位数、极差和峰峰比)，构成维度为k×7维的信息联合行为识别输入特征。

步骤六：对同一动作的不同设备获取的数据特征标注相同的标签，构建分类器对提取的k×7维输入特征进行分类，从而实现Kinect与WiFi的信息联合目标行为识别。

有益效果

本发明首先提出了对骨节数据和CSI数据提取特征进行联合行为识别的方法，能够有效的解决在使用Kinect进行行为识别时由于遮挡或光照条件不良导致的Kinect无法进行有效的行为识别的问题，联合行为识别在解决Kinect行为识别遮挡与光照条件不良问题的同时，也针对骨节数据行为识别特征提取问题提出了特征优化方案，提出将骨节数据中的各个骨节点进行筛选，选取其中运动信息包含量最高的几个的骨节点并提取其运动特征，使用关节角特征来反映其运动方向，和模比值特征来反映其运动幅度，最后对跨模态搜索中特征对齐的方法进行改进，将Kinect和WiFi两种不同维度的数据进行特对齐处理后输入到分类器进行分类，从而实现Kinect与WiFi的信息联合目标行为识别。本发明设计的基于Kinect和WiFi数据联合的复杂环境中的行为识别算法有效可靠，解决了Kinect在遮挡和光照不良的条件下无法进行有效的行为识别的问题，提高了系统在各种复杂环境下的应用潜力。

附图说明

图1为本发明的流程图

图2为基于Kinect与Wi-Fi信息融合行为识别系统的实验场景图

具体实施方案

步骤一：利用Intel5300网卡获取WiFi信号CSI信息，假设WiFi设备天线个数为M，子载波个数为N，将第l个数据包表示为TX_l，l为正整数：

TX_l＝(tx_l,1,…,tx_l,M)

其中，tx_l,m表示第m(1≤m≤M)根天线的各个子载波上的CSI数据，即tx_l,m＝(tx_l,m,1,…,tx_l,m,N)，tx_l,m,n表示第l(1≤l≤L)个数据包第m(1≤m≤M)根天线第n(1≤n≤N)子载波上的CSI数据。同时，利用Kinect采集深度图像数据，在此基础上，通过OpenCV处理深度图像数据获取骨节数据，第i(1≤i)骨节数据可以表示为RX_i：

RX_i＝{(x_i,1,y_i,1,z_i,1),(x_i,2,y_i,2,z_i,2)…(x_i,20,y_i,20,z_i,20)}；

步骤二：对骨节数据进行预处理，首先对骨节数据进行坐标归一化处理，消除不同体型目标的差异。将最接近于人体中心的椎关节点作为坐标原点，表示为点P_o(x_o,y_o,z_o)。设需要进行坐标转换的关节点为P_c(x_c,y_c,z_c)，则转换后的点坐标为：

其中，y_max分别为动作序列中所有头部关节的最大值，y_min为所有足关节的最小值，L₀为归一化人体高度。

其次，基于累积运动能量AME(Accumulated Motion Energy)算法进行运动帧提取，骨节数据每一帧为3×20的坐标矩阵，计算帧与帧之间的能量差，即：

其中，

表示第i帧数据中的第j个骨节点的v维坐标值。

步骤三：进行骨节数据特征提取。通过分析提取的有效关节点坐标数据，包括肩关节、肘关节、膝关节和椎关节，计算肩关节、肘关节和膝关节的关节角以及肘关节、膝关节和颈关节与椎关节的模比值。设关节坐标为P_g(x_g,y_g,z_g)，其相邻两关节坐标为P_g-1(x_g-1,y_g-1,z_g-1)、P_g+1(x_g+1,y_g+1,z_g+1)，则该关节关节角为

对于关节P_o的模比值，设该关节坐标为P_φ(x_φ,y_φ,z_φ)，椎关节坐标为P_o(x_o,y_o,z_o)，颈关节坐标为P_χ(x_χ,y_χ,z_χ)，则该关节的模比值为

最后，将获取的关节角矩阵与模比值矩阵进行拼接，形成骨节数据特征矩阵。

步骤四：采用巴特沃斯低通滤波器对CSI信号进行低通滤波。在此基础上，为了降低静态环境误差的影响，对滤波后的CSI数据进行平滑归一化，平滑窗口长度设定为W，得到数据

其中，

表示第l个CSI数据包，然后，计算CSI数据幅值的方差，设定方差峰值三分之一处为行为判决门限，从而提取行为数据。之后，使用K均值聚类算法对行为数据中M根天线上的共M×N个子载波上的CSI样本数据x_i进行聚类，其中x_i可以表示为：

x_i＝(x_1,i,…,x_l,i,…,x_L,i)

其中，x_l,i＝tx_l,m,n，且满足条件：i＝(m-1)·N+n。根据骨节数据特征维度确定聚类中心向量的数量k，随机选取k个数据样本作为初始聚类中心，将聚类中心向量表示为μ_j(1≤j≤k)。然后，根据每个数据样本与每个聚类中心的欧氏距离，即||x_i-μ_j||²(1≤i≤M×N,1≤j≤k)，按距离最小的准则将数据样本划分到距离最小的聚类中心所对应的类，将每个类别中所有数据样本的均值作为该类别的新的聚类中心。聚类的目标是使各类聚类中心最优化，即最小化目标函数J

接下来，判断聚类中心和目标函数J是否发生改变，若不变，则新的聚类中心为最优解，若改变，则对每个数据样本重新按照距离最小准则分类并更新聚类中心，重复至新的聚类中心和目标函数的值均不发生改变为止。

步骤五：分别提取CSI的聚类中心向量和骨节数据的统计特征(取方差、均值、中位值绝对偏差、信息熵、四分位数、极差和峰峰比)，构成维度为k×7维的信息联合行为识别输入特征。

步骤六：对同一动作的不同设备获取的数据特征标注相同的标签，构建分类器对提取的k×7维输入特征进行分类，从而实现Kinect与WiFi的信息联合目标行为识别。

Claims (1)

1.一种基于Kinect与WiFi的信息联合目标行为识别方法，包括以下步骤：

步骤一：假设WiFi设备天线个数为M，子载波个数为N，利用Intel5300网卡获取WiFi信号CSI信息，将第l个数据包表示为TX_l，l为正整数，数据包长度为L，第l(1≤l≤L)个数据包表示为TX_l：

TX_l＝(tx_l,1,…,tx_l,M)

其中，tx_l,m表示第m(1≤m≤M)根天线的各个子载波上的CSI数据，即tx_l,m＝(tx_l,m,1,…,tx_l,m,N)，tx_l,m,n表示第l(1≤l≤L)个数据包第m(1≤m≤M)根天线，第n(1≤n≤N)子载波上的CSI数据；同时，利用Kinect采集深度图像数据，在此基础上，通过OpenCV处理深度图像数据获取骨节数据，第i(1≤i)骨节数据可以表示为RX_i：

RX_i＝{(x_i,1,y_i,1,z_i,1),(x_i,2,y_i,2,z_i,2)L(x_i,20,y_i,20,z_i,20)}

步骤二：对骨节数据进行预处理，首先对骨节数据进行坐标归一化处理，消除不同体型目标的差异；将最接近于人体中心的椎关节点作为坐标原点，表示为点P_o(x_o,y_o,z_o)；设需要进行坐标转换的关节点为P_c(x_c,y_c,z_c)，则转换后的点坐标为：

其中，y_max分别为动作序列中所有头部关节的最大值，y_min为所有足关节的最小值，L₀为归一化人体高度；

其次，基于累积运动能量AME(Accumulated Motion Energy)算法进行运动帧提取，骨节数据每一帧为3×20的坐标矩阵，计算帧与帧之间的能量差，即

其中，

表示第i帧数据中的第j个骨节点的v维坐标值；

再次，进行骨节数据特征提取；通过分析提取的有效关节点坐标数据，包括肩关节、肘关节、膝关节和椎关节，计算肩关节、肘关节和膝关节的关节角以及肘关节、膝关节和颈关节与椎关节的模比值；设关节坐标为P_g(x_g,y_g,z_g)，其相邻两关节坐标为P_i-1(x_i-1,y_i-1,z_i-1)、P_i+1(x_i+1,y_i+1,z_i+1)，则该关节的关节角为

对于关节P_o的模比值，设该关节坐标为P_φ(x_φ,y_φ,z_φ)，椎关节坐标为P_o(x_o,y_o,z_o)，颈关节坐标为P_χ(x_χ,y_χ,z_χ)，则该关节的模比值为：

最后，将获取的关节角矩阵与模比值矩阵进行拼接，形成骨节数据特征矩阵；

步骤三：采用巴特沃斯低通滤波器对CSI信号进行低通滤波；在此基础上，为了降低静态环境误差的影响，对滤波后的CSI数据进行平滑归一化，平滑窗口长度设定为W，得到数据

其中，

表示第l个CSI数据包，然后，计算CSI数据幅值的方差，设定方差峰值三分之一处为行为判决门限，从而提取行为数据；之后，使用K均值聚类算法对行为数据中M根天线上的共M×N个子载波上的CSI样本数据x_i进行聚类，其中x_i可以表示为：

x_i＝(x_1,i,…,x_l,i,…,x_L,i)

其中，x_l,i＝tx_l,m,n，且满足条件：i＝(m-1)·N+n；根据骨节数据特征维度确定聚类中心向量的数量k，随机选取k个数据样本作为初始聚类中心，将聚类中心向量表示为μ_j(1≤j≤k)；然后，根据每个数据样本与每个聚类中心的欧氏距离，即||x_i-μ_j||²(1≤i≤M×N,1≤j≤k)，按距离最小的准则将数据样本划分到距离最小的聚类中心所对应的类，将每个类别中所有数据样本的均值作为该类别的新的聚类中心；聚类的目标是使各类聚类中心最优化，即最小化目标函数J：

接下来，判断聚类中心和目标函数J是否发生改变，若不变，则新的聚类中心为最优解，若改变，则对每个数据样本重新按照距离最小准则分类并更新聚类中心，重复至新的聚类中心和目标函数的值均不发生改变为止；

步骤四：分别提取CSI的聚类中心向量和骨节数据的统计特征(取方差、均值、中位值绝对偏差、信息熵、四分位数、极差和峰峰)，构成维度为k×7维的信息联合行为识别输入特征，k为聚类中心的个数；

步骤五：对同一动作的不同设备获取的数据特征标注相同的标签，构建分类器对提取的k×7维输入特征进行分类，从而实现Kinect与WiFi的信息联合目标行为识别。

Images