CN110728213A - 一种基于无线射频信号的细粒度人体姿态估计方法 - Google Patents

Abstract

本发明公开的一种基于无线射频信号的细粒度人体姿态估计方法，利用天线的无线发射端建立WiFi场，当用户在WiFi覆盖区内行走或做出某种动作时，会对WiFi信道产生特定的影响，无线接收端接收WiFi信号并计算人体姿态的CSI值，使用与WiFi天线对准的时间戳同步相机来捕获人物视频，根据CSI值和视频训练深度学习网络，利用训练好的深度学习网络估计人体姿态，从而实现利用WiFi设备来进行多人的人体辨识与姿态估计，能够在实现较高识别准确度的同时满足方便性、易用性与安全性，且不需要用户携带任何特殊设备，不会记录用户的隐私生活，具有方便易部署，安全性高的特点。

Description

一种基于无线射频信号的细粒度人体姿态估计方法

技术领域

本发明涉及人体姿态感知技术领域，具体地涉及一种基于无线射频信号的细粒度人体姿态估计方法。

背景技术

目前随着科学技术的发展以及人们生活水平的提高，智能家居理念与虚拟现实技术得到了迅速的发展。在视频监控、人机交互、运动分析和虚拟现实等计算机视觉领域的众多应用场合中，人体都是主要的被处理对象，对人体动作和行为的识别都是一个必不可少的环节，有着迫切的应用需求，已经成为计算机视觉领域中一个非常热门的研究方向。人体姿态估计是从单张RGB图像或视频中获取人体骨点位置以及骨点之间的相互连接，最终输出人体全部或局部肢体相关参数(各个关节点的相对位置关系)的过程，例如人体轮廓、头部的位置与朝向、人体关节的位置和部位类别等。人体姿态估计在智能监控、人机交互以及手势识别等领域有着广阔的应用前景。

为了进行像人体分割和姿势估计这一类细粒度的人体感知，目前主要使用了三大类传感器：摄像头，雷达和激光雷达。这些传感器可以在2D图像，深度图或3D点云中直接捕获具有高空间分辨率的人体。例如，300*300像素的摄像机，深度分辨率约为2厘米的雷达，或32波束的激光雷达。

基于摄像头进行人体分割和姿态估计的方法，可以在2D图像中直接捕获具有高空间分辨率的人体。但是，也受到了许多限制，例如，服装、背景、照明和遮挡等技术挑战以及诸如隐私问题等社会限制。

基于雷达传感器进行人体分割和姿态估计的方法，可以在深度图中直接捕获具有高空间分辨率的人体。但是，需要专用的硬件，例如，使用频率调制连续波(FMCW)技术，宽带宽(1.78GHz)，精心组装和同步的16+4T形天线阵列。

基于高清晰度的激光雷达传感器进行人体分割和姿态估计的方法，可以在3D点云中直接捕获具有高空间分辨率的人体。但是，激光雷达非常昂贵并且耗电，因此难以在日常生活和家庭环境中大规模使用。

发明内容

针对现有技术中存在的问题，本发明提供一种基于无线射频信号的细粒度人体姿态估计方法，利用普通的商用WiFi，通过分析信道状态信息的不同变化模式来识别人体姿态变化，进行细粒度的人体感知，能够在实现较高识别准确度，同时满足方便性与安全性的。

本发明是通过以下技术方案来实现：一种基于无线射频信号的细粒度人体感知方法，包括以下步骤：

1)系统部署及模型初始化：采用无线发射端和无线接收端建立波形稳定的WiFi场，同时在无线发射端设置与无线发射端时间戳对准的同步相机。

2)人体状态数据采集：探测目标在步骤1建立的WiFi场中活动，无线接收端接收穿过探测目标的WiFi信号，以及在探测目标或周围物体上反射和折射的WiFi信号，根据无线接收端接收的WiFi信号计算得到人体活动的信道状态信息CSI值，同时，时间戳同步相机获取人体活动的视频帧的画面，完成数据的收集。

3)数据集建立：根据信道状态信息CSI值和所有视频帧的画面建立训练数据集，根据时间区间将CSI与视频帧均匀对应，构成训练数据集。

4)网络建立：构建深度学习网络，根据训练数据集对深度学习网络进行训练，得到训练好的深度学习网络。

5)人体感知：将信道状态信息CSI值放入训练好的深度学习网络，得到人体活动感知结果。

进一步地，步骤2中得到信道状态信息CSI值的方法具体如下：

CSI＝m×a×b×c (1)

其中，m是接收到的WiFi包的数量，a是OFDM载波数，b和c分别是无线发射端和无线接收端的天线数量。

进一步地，步骤4中深度学习网络包括真值计算网络与训练匹配网络。

所述真值计算网络将视频帧作为输入，输出人体掩影图(SM)：F_SM，关键点热力图(JHMs)：F_JHM与关节连接场(PAFs)：F_PAF。所述SM是人体感知的热图，JHMs是人体关键关节点的概率热力图，PAFs对于某两个关键关节点是否相连给出了度量的权重。JHMs与PAFs一起计算恢复人体躯干姿态。

所述训练匹配网络将视频帧时间对应的CSI张量作为输入，经过上采样后依次通过残差模块与U-Nets。U-Nets的输出下采样至不同维度并经过定维卷积核，使最终输出的张量人体掩影图(SM)张量关键点热力图(JHMs)

与张量关节连接场(PAFs)的维度与所述真值匹配。

进一步地，获得真值F_SM、F_JHM、F_PAF具体方法如下：

对于维度为p×q的视频帧，将视频帧作为输入经过Mask R-CNN网络，输

出人体掩影图F_SM∈R^1×p×q，R代表空间维度。

将视频帧作为输入经过人体关节识别模型，输出F_JHM∈R^i×p×q，F_PAF∈R^j×p×q。

其中，i和j分别代表特征图像的层数，i、j与识别模型的选择有关。

进一步地，采用损失函数L对训练匹配网络进行优化，具体如下：

L＝λ₁L_SM+λ₂L_JHM+λ₃L_PAF (2)

其中，L_SM、L_JHM和L_PAF分别是训练结果在SM、JHMs和PAFs上的损失值。λ₁、λ₂、λ₃分别是三个损失值的权重系数，λ₁＝0.1，λ₂＝λ₃＝1。

L_SM使用二元交叉熵损失(Binary Cross Entropy Loss)计算，L_JHM采用以下计算方法：

其中，(i,j,c)代表张量的序号，

和y_(i,j,c)分别代表对于JHMs第(i,j,c)个分量的预测值与实际值。w_(i,j,c)是马修斯权重，具体表达式如下：

w_(i,j,c)＝k·y_(i,j,c)+b·I(y_(i,j,c)) (4)

其中，k和b分别为第一系数和第二系数，I(·)为开关函数，当输入值非负时输出为1，否则输出为-1。

L_PAF和L_JHM的计算方法相同，计算L_JHM时，k＝1，b＝1；计算L_PAF时，k＝1，b＝0.3。

与现有技术相比，本发明具有以下有益的技术效果：本发明提供的基于无线射频信号的细粒度人体感知方法，利用无线发射端和无线接收端建立WiFi场，当用户在WiFi覆盖区内行走或做出某种动作时，会对WiFi信道产生特定的影响，无线接收端接收WiFi信号并计算人体姿态的CSI值，同时获取用户在的行走或动作视频，根据获取的数据建立训练数据集，根据训练数据集对深度学习网络进行训练，得到训练好的深度学习网络，根据训练好的深度网路进行人体姿态估计，实现利用WiFi设备来进行多人的人体辨识与姿态估计，本发明能够在实现较高识别准确度的同时满足方便性、易用性与安全性，且不需要用户携带任何特殊设备，具有方便易部署，安全性高的特点。进一步地，深度学习网络选择使用JHMs和PAFs作为特征，可以避免由于WiFi信号的粗粒度导致无法裁剪出人体2D图像的问题，也充分保存了人体典型关节、人肢的方向与长度特征，使得姿态估计能够实现较高识别准确度与细粒度。

附图说明

图1是本发明的总体框架图；

图2是实验场景部署示意图；

图3是相机与天线部署示意图；

图4是WiFi发送与接收设备部署示意图；

图5是相机与WiFi信号同步示意图；

图6是本工作训练视频帧与WiFi信号的一种新的深度网络的框架示意图；

图7是实验效果图。

具体实施方式

下面结合附图对本发明做进一步的详细说明，所述是对本发明的解释而不是限定。

参阅图1，一种基于无线射频信号的细粒度人体感知方法，具体步骤如下：

步骤1、参见图2，无线发射端使用具有三根天线的WiFi发射器，和无线发射端使用具有三根天线的WiFi接收器，建立波形稳定的WiFi场。参见图3，在无线发射端旁边设置一个与WiFi天线对准的时间戳同步相机，用来捕获人物每一帧的视频画面，图4所示为相机视频帧画面与WiFi信号时间同步。

步骤2、参见图4，无线信号发射端与接收端相距一定距离，多人可站在无线发射端和无线发射端之间所建立的WiFi场中运动，各个脉冲信号从发射端天线广播到接收端天线，WiFi信号穿透人体或在人体、家具和墙表面进行反射和折射，WiFi接收器用于接收所有的WiFi信号，同时相机用来捕捉人体姿态的实时画面。当被WiFi信号穿透，折射和反射的信号到达接收天线时，折射信号和反射信号的叠加为单个信号样本，根据单个信号样本计算各个人的人体活动的信道状态信息CSI值，解析的CSI值是一个尺寸为m×a×b×c的张量；同时，时间戳同步相机获取人体活动的视频帧的画面，完成数据的收集。

其中，m是接收到的WiFi包的数量，a是OFDM载波数，b与c分别代表发送方和接收方的天线数量，完成数据收集。

步骤3、参见图5，根据信道状态信息CSI值和所有视频帧的画面建立训练数据集，根据时间区间将CSI与视频帧均匀对应，构成训练数据集。

步骤4、如图6所示，构建深度学习网络，通过训练数据集中的视频帧输入到真值计算网络计算出真值，CSI信号驶入到训练匹配网络计算出预测值。

步骤4.1、真值计算网络将视频帧作为输入，将维度为p×q的视频帧经过Mask R-CNN网络，输出输出人体掩影图(SM)F_SM∈R^1×p×q；将视频帧作为输入经过人体关节识别模型，输出关键点热力图(JHMs)F_JHM∈R^i×p×q与关节连接场(PAFs)F_PAF∈R^j×p×q。其中，i和j分别代表特征图像的层数，i、j与识别模型的选择有关。例如，使用body-25模型时，i＝26，j＝52；使用coco-18模型时，i＝19，j＝38。对于不同的模型，该方法是通用的。这三组数据中，所述SM是人体感知的热图，JHMs是人体关键关节点的概率热力图，PAFs对于某两个关键关节点是否相连给出了度量的权重。JHMs与PAFs一起计算恢复人体躯干姿态。

步骤4.2、训练匹配网络将视频帧时间对应的CSI张量作为输入，经过上采样后依次通过残差模块与U-Nets。U-Nets的输出下采样至不同维度并经过定维卷积核，使最终输出张量人体掩影图(SM)关键点热力图(JHMs)

与关节连接场(PAFs)

的维度与真值匹配。

步骤4.3、在训练阶段，由真值计算网络的结果F_SM、F_JHM与F_PAF做监督，训练匹配网络的结果

与作为预测，通过损失函数L对三个预测结果不断地进行优化，一旦学习到一定程度，它就能获得仅用CSI信号输入进行多人感知与姿势估计的能力。

采用损失函数L对训练匹配网络进行优化，损失函数如下：

L＝λ₁L_SM+λ₂L_JHM+λ₃L_PAF (2)

其中，L_SM、L_JHM和L_PAF分别是训练结果在人体掩影图SM、关键点热力图JHMs和关节连接场PAFs上的损失值。λ₁、λ₂、λ₃分别是三个损失值的权重系数，λ₁＝0.1，λ₂＝λ₃＝1。

L_SM使用二元交叉熵损失(Binary Cross Entropy Loss)计算，L_JHM采用以下计算方法：

其中，(i,j,c)代表张量的序号，

和y_(i,j,c)分别代表对于JHMs第(i,j,c)个分量的预测值与实际值。w_(i,j,c)是马修斯权重，具体表达式如下：

w_(i,j,c)＝k·y_(i,j,c)+b·I(y_(i,j,c)) (4)

其中，k和b分别为第一系数和第二系数，I(·)为开关函数，当输入值非负时输出为1，否则输出为-1。

L_PAF和L_JHM的计算方法相同，计算L_JHM时，k＝1，b＝1；计算L_PAF时，k＝1，b＝0.3。步骤5、学习完成的训练匹配网络对于每一个输入的CSI张量，都能生成人体掩影图SM、关键点热力图JHMs和关节连接场PAFs，SM用以人形感知，JHMs与PAFs用以躯干姿势估计，从而完成了人体感知与姿态估计。

步骤5.1、将关键点热力图(JHMs)与关节连接场(PAFs)通过算法获得人体躯干姿态，具体如下：

JHMs是人体关键关节点的概率热力图，PAFs对于某两个关键关节点是否相连给出了度量的权重。根据两者恢复多个人体动作姿态，需要将每个人的躯干与各自的关节点相连接。

多人识别中，识别出来的多个关键点需要划分到多个个体上，因此算法的目标是找到所有关键关节点的最佳连接图，用如下集合表示：定义多个体中某一个个体的身体部位检测候选关节点集合

其中J是每个人身上的关键关节点数量，N_j是关键点j候选关节点的数量，

是关键关节点j的第m个候选关节点的位置。定义二元变量

1代表候选关节点

与

能够连接，0代表不能。算法的最终目标是寻找最优的关节点连接集合Z：

考虑一对关键点j₁和j₂组成的肢体c，将关节点与肢体边匹配抽象成二分图问题，其中关键关节点为候选集合，肢体边的权重由PAFs提供，它反应了每两个关键点之间相连的可能性。最终优化目标为图中的总匹配权重最大，且有约束条件是没有共享节点，优化目标如下：

其中，E_C是从肢体类型c中进行匹配的总权重，Z_C是肢体类型c中的子集Z，E_mn是身体部位

与

之间的联系，由PAFs提供。加入松弛条件后，优化可简化为：

使用匈牙利算法可获得最佳匹配，每一个肢体边均能获得最佳候选。将全部的候选肢体连接，可以将共享同个候选检测部位的连接综合起来，形成对于多个体的全身姿势检测，即从JHMs、PAFs中识别多人人体躯干姿态。

本发明提供的基于无线射频信号的细粒度人体姿态估计方法，利用具有三根天线的无线发射端建立WiFi场，当用户在WiFi覆盖区内行走或做出某种动作时，会对WiFi信道产生特定的影响，利用具有三根天线的无线接收端接收WiFi信号并计算人体姿态的CSI值，对CSI进行编码、提取特征、解码这一系列操作，使用与WiFi天线对准的时间戳同步相机来捕获人物视频，利用人们在WiFi场内移动或者执行某种姿态时捕捉到的画面通过训练网络，将输出结果转换为人体掩影图SM、关键点热力图JHMs和关节连接场PAFs，并对通过WiFi信号处理得到相应的预测SM、JHMs和PAFs进行监督并进行优化，从而实现利用WiFi设备来进行多人的感知与姿态估计，本发明能够在实现较高识别准确度的同时满足方便性、易用性与安全性，且不需要用户携带任何特殊设备，不会记录用户的隐私生活，具有方便易部署，安全性高的特点。

如图7所述，在系统部署时需要使用具有三根天线的无线发射端发射稳定的WiFi场，并使具有三根天线的无线接收端，增加了天线的数量可以捕获来自不同路径的信号，在接收天线处可以产生多种不同的信号叠加模式，有利于提高对人体姿态的识别精准度，使得结果相比于使用雷达、照相机等设备进行人体感知更加细粒度。

以上内容仅为说明本发明的技术思想，不能以此限定本发明的保护范围，凡是按照本发明提出的技术思想，在技术方案基础上所做的任何改动，均落入本发明权利要求书的保护范围之内。

Claims (5)

1.一种基于无线射频信号的细粒度人体感知方法，其特征在于，包括以下步骤：

1)系统部署及模型初始化：采用无线发射端和无线接收端建立波形稳定的WiFi场，同时在无线发射端设置与无线发射端时间戳对准的同步相机。

2)人体状态数据采集：探测目标在步骤1建立的WiFi场中活动，无线接收端接收穿过探测目标的WiFi信号，以及在探测目标或周围物体上反射和折射的WiFi信号，根据无线接收端接收的WiFi信号计算得到人体活动的信道状态信息CSI值，同时，时间戳同步相机获取人体活动的视频帧的画面，完成数据的收集。

3)数据集建立：根据信道状态信息CSI值和所有视频帧的画面建立训练数据集，根据时间区间将CSI与视频帧均匀对应，构成训练数据集。

4)网络建立：构建深度学习网络，根据训练数据集对深度学习网络进行训练，得到训练好的深度学习网络。

5)人体感知：将信道状态信息CSI值放入训练好的深度学习网络，得到人体活动感知结果。

2.根据权利要求1所述细粒度人体感知方法，其特征在于，步骤2中得到信道状态信息CSI值的方法具体如下：

CSI＝m×a×b×c (1)

其中，m是接收到的WiFi包的数量，a是OFDM载波数，b和c分别是无线发射端和无线接收端的天线数量。

3.根据权利要求1所述细粒度人体感知方法，其特征在于，步骤4中深度学习网络包括真值计算网络与训练匹配网络。

所述真值计算网络将视频帧作为输入，输出人体掩影图(SM)：F_SM，关键点热力图(JHMs)：F_JHM与关节连接场(PAFs)：F_PAF。所述SM是人体感知的热图，JHMs是人体关键关节点的概率热力图，PAFs对于某两个关键关节点是否相连给出了度量的权重。JHMs与PAFs一起计算恢复人体躯干姿态。

所述训练匹配网络将视频帧时间对应的CSI张量作为输入，经过上采样后依次通过残差模块与U-Nets。U-Nets的输出下采样至不同维度并经过定维卷积核，使最终输出的张量人体掩影图(SM)

张量关键点热力图(JHMs)

与张量关节连接场(PAFs)

的维度与所述真值匹配。

4.根据权利要求3所述细粒度人体感知方法，其特征在于，获得真值F_SM、F_JHM、F_PAF具体方法如下：

对于维度为p×q的视频帧，将视频帧作为输入经过Mask R-CNN网络，输出人体掩影图F_SM∈R^1×p×q，R代表空间维度。

将视频帧作为输入经过人体关节识别模型，输出F_JHM∈R^i×p×q，F_PAF∈R^j×p×q。

其中，i和j分别代表特征图像的层数，i、j与识别模型的选择有关。

5.根据权利要求3所述细粒度人体感知方法，其特征在于，采用损失函数L对训练匹配网络进行优化，具体如下：

L＝λ₁L_SM+λ₂L_JHM+λ₃L_PAF (2)

其中，L_SM、L_JHM和L_PAF分别是训练结果在SM、JHMs和PAFs上的损失值。λ₁、λ₂、λ₃分别是三个损失值的权重系数，λ₁＝0.1，λ₂＝λ₃＝1。

L_SM使用二元交叉熵损失(Binary Cross Entropy Loss)计算，L_JHM采用以下计算方法：

其中，(i,j,c)代表张量的序号，和y_(i,j,c)分别代表对于JHMs第(i,j,c)个分量的预测值与实际值。w_(i,j,c)是马修斯权重，具体表达式如下：

w_(i,j,c)＝k·y_(i,j,c)+b·I(y_(i,j,c)) (4)

其中，k和b分别为第一系数和第二系数，I(·)为开关函数，当输入值非负时输出为1，否则输出为-1。

L_PAF和L_JHM的计算方法相同，计算L_JHM时，k＝1，b＝1；计算L_PAF时，k＝1，b＝0.3。

Images