CN114677758A

CN114677758A - 一种基于毫米波雷达点云的步态识别方法

Info

Publication number: CN114677758A
Application number: CN202210286405.0A
Authority: CN
Inventors: 董守斌; 杨杰; 胡金龙; 李文刚
Original assignee: South China University of Technology SCUT
Current assignee: South China University of Technology SCUT
Priority date: 2022-03-23
Filing date: 2022-03-23
Publication date: 2022-06-28

Abstract

本发明公开了一种基于毫米波雷达点云的步态识别方法，包括：1)对雷达输出的原始点云进行聚类、追踪获取目标点；2)坐标转换；3)使用随机采样的方法固定每一帧的目标点云数量；4)使用PointNet与双向LSTM获取步态的时间特征向量，使用T‑Net结合PointNet获取步态的空间特征向量；5)对全局特征进行距离计算，确认身份类别。本发明采用毫米波雷达采集人行走过程中的步态信息，降低了环境光照、水汽的影响；采用3D点云学习人行走过程中的运动特征，点既有3D空间坐标又有信噪比、速度信息，保证步态特征的丰富性；通过随机采样固定每一帧的点云数量，与RGB图像相比，降低了计算开销；通过计算人在行走过程中的时序特征与空间特征，进一步提高步态识别精度。

Description

一种基于毫米波雷达点云的步态识别方法

技术领域

本发明涉及毫米波雷达点云应用的技术领域，尤其是指一种基于毫米波雷达点云的步态识别方法。

背景技术

随着各类传感器的发展，提取人体的各种生物特征以进行身份识别的相关技术百花齐放，例如以光学、超声波为代表的指纹识别技术和以结构光为代表的人脸识别技术得到了广泛的应用。相比于指纹识别易受伪造、汗渍影响，人脸识别在疫情大环境下易被口罩阻挡，步态特征，由于是人在行走过程中由步幅、步长、步宽以及人体各个关节、肌肉周期性的运动产生的一种隐性生物特征，在静止状态下不会显现，具备唯一性、难伪造、可远距无感知采集的优点。这使得步态特征在医疗健康、智能家居、安防监控等领域有广阔的应用场景。目前，步态数据的获取有两大方案，一类是通过动作捕捉技术(Motion CaptureSystem，简称MOCAP)重建场景下的3D人体模型，进而获得步态数据，此类方案不仅需要在测试环境中安装摄像机，往往还要求测试者在身上穿戴特制的紧身衣、传感器等设备。其优点在于步态信息丰富且精确，重建的3D人体模型包含人的轮廓、骨架、关节运动轨迹等信息，但成本较高，采集条件较苛刻，因此多用于电影特效制作、科学研究等领域。另一类则是利用单一类别的传感器来获取人在行走过程中某个部位的运动数据，包括但不限于足部压力传感器、可穿戴式惯性传感器、光学相机。该方案的成本较低，易于部署安装，但相对的步态信息较单一。例如在步态识别领域，以银河水滴公司为代表的工业界通过安装光学相机，抓拍人在行走经过特定路线时的照片序列，提取人体轮廓图来获取步态特征。该方案虽然降低了部署MOCAP的成本，但光学相机始终会受到光照、水汽等外界环境因素干扰，增加了从RGB图像提取轮廓图的难度。此外，轮廓图与人物的衣着打扮、以及相机安装角度相关，因此同一个人，穿不同的衣服、戴不同的饰品、背包，在不同角度的相机下，生成的轮廓图都会产生变化，对步态识别算法是很大的挑战；另一方面，在数据量上，RGB图像中的有效数据仅仅是目标的轮廓图，这需要实时运行轮廓图提取的预处理算法，额外的硬件算力完成对图片冗余数据的剔除以提取步态特征。

发明内容

本发明的目的在于克服现有技术的缺点与不足，提出了一种基于毫米波雷达点云的步态识别方法，解决现有步态识别方法之中，MOCAP部署要求复杂，无法做到用户无感知，采集条件严苛且成本高昂；而采用光学相机容易受到环境光照、水汽等条件影响，同时图片需要更高的硬件算力实时预处理生成轮廓图，但提取轮廓图学习步态特征容易被目标衣着、装备干扰的这些技术问题。

为实现上述目的，本发明所提供的技术方案为：一种基于毫米波雷达点云的步态识别方法，包括以下步骤：

1)对毫米波雷达在目标行走过程中输出的原始点云分两步进行处理；第一步，以椭圆形建模目标，使用DBSCAN算法进行聚类，去除背景噪点以及多径反射的镜像点，得到目标的初步检测结果；第二步，使用扩展卡尔曼滤波器，将当前帧目标的初步检测结果与前一帧目标的修正结果进行关联，输出当前帧目标的修正结果P，其中P是包含一组点的列表，即目标点云；

2)根据毫米波雷达在真实空间中的位置，对目标点云P在以毫米波雷达为原点的球坐标系下的三维坐标进行转换，获得以毫米波雷达在真实空间水平面上的投影为原点的直角坐标系下的三维坐标；

3)使用随机采样的方法处理连续M帧的目标点云P_i|_{i∈{1,2,…,M}}，所述i为帧数的索引序号，固定每一帧的目标点云P_i|_{i∈{1,2,…,M}}都包含N个点；

4)连续M帧的目标点云P_i|_{i∈{1,2,…,M}}，并行输入PointNet神经网络中，得到M个特征向量Feat_i|_{i∈{1,2,…,M}}；前面过程中点的三维坐标单独经过PointNet神经网络的T-Net网络进行变换，获得M个中间张量Tensor_i|_{i∈{1,2,…,M}}；

5)Feat_i|_{i∈{1,2,…,M}}经双向LSTM网络与平均值池化AvgPool后得到步态的时间特征向量Vec_t；同时，把Tensor_i|_{i∈{1,2,…,M}}在帧数维度合并为张量Tensor_M，张量Tensor_M输入一个不包含T-Net网络的PointNet神经网络中，输出空间特征向量Vec_s；时间特征向量Vec_t与空间特征向量Vec_s通过向量合并函数Concat合并为全局特征向量Vec_g；

6)计算与全局特征向量Vec_g距离最短的Cj所对应的身份类别索引j_opt作为连续M帧目标点云P_i|_{i∈{1,2,…,M}}所属的身份类别，其中，所述Cj为已有身份类别集{C1,C2,…,CK}内身份类别j的全局特征向量，所述K为所述身份类别的总数。

进一步，在步骤4)中，连续M帧的目标点云P_i|_{i∈{1,2,…,M}}是并行输入PointNet神经网络中的，即M个PointNet神经网络同时对M帧进行计算，且这M个PointNet神经网络之间的参数共享。

进一步，在步骤5)中，M个中间张量Tensor_i|_{i∈{1,2,…,M}}输入不包含T-Net网络的PointNet神经网络，该不包含T-Net网络的PointNet神经网络与步骤4)中所述PointNet神经网络之间参数不共享；步骤4)中所述PointNet神经网络计算结果为M个特征向量Feat_i|_{i∈{1,2,…,M}}，以及M个中间张量Tensor_i|_{i∈{1,2,…,M}}，而步骤5)中所述不包含T-Net网络的PointNet神经网络的计算结果为空间特征向量Vec_s。

本发明与现有技术相比，具有如下优点与有益效果：

1、本发明采用毫米波雷达采集人行走过程中的步态信息，降低了环境光照、水汽的影响。

2、本发明采用3D点云学习人行走过程中的运动特征，点既有3D空间坐标又有信噪比、速度信息，保证步态特征的丰富性。

3、本发明通过随机采样固定每一帧的点云数量，与RGB图像相比，降低了计算开销。

4、本发明方法同时计算人在行走过程中的时序特征与空间特征，可有效提高步态识别精度。

附图说明

图1为本发明方法的逻辑流程示意图。

图2为本发明所使用的目标点云可视化实例示意图；图中，Sensor表示毫米波雷达，Noise表示其上方方框内的噪声点云，Target表示其左方框目标的点云，PhysicalSpace表示虚线框中的真实物理空间。

具体实施方式

下面结合实施例及附图对本发明作进一步详细的描述，但本发明的实施方式不限于此。

如图1所示，本实施例提供了一种基于毫米波雷达点云的步态识别方法，包括以下步骤：

1)对毫米波雷达在目标行走过程中输出的原始点云分两步进行处理，第一步根据snr(signal noise rate，信噪比)、点的径向运动速度v，以及点间的最大平方距离R²使用DBSCAN算法聚类，去除背景噪点以及多径反射的镜像点，得到初步的目标点检测结果；第二步，使用扩展卡尔曼滤波器，将当前帧目标的初步检测结果与前一帧目标的修正结果进行关联，输出当前帧目标的修正结果P，P是包含一组点的列表，即目标点云；P中的每个点是具有五维特征的向量[r，θ，

snr，v]，分别表示以雷达传感器为原点的右手球坐标系下的径向距离r、俯仰角θ、方位角

信噪比snr与径向运动速度v；如图2所示，虚线刻画了传感器所在的物理空间，经过聚类、修正后，物理空间内最大的实线框刻画了目标点云，而更小的框刻画了噪点。

2)根据毫米波雷达在真实空间中的位置，对目标点云P在以毫米波雷达为原点的球坐标系下的三维坐标进行转换，获得以毫米波雷达在真实空间水平面上的投影为原点的直角坐标系下的三维坐标；首先以传感器为原点的球坐标系下r、θ、

转换为同原点的直角坐标系的三个轴坐标x_body、y_body、z_body；其转换公式为：

此时，测量毫米波雷达距地面的高度h以及向下的倾斜角φ，转换到以地面为水平面的右手直角坐标系下的坐标x_world、y_world、z_world，其转换公式为：

3)使用随机采样的方法处理连续M帧的目标点云P_i|_{i∈{1,2,…,M}}，所述i为帧数的索引序号，固定每一帧的目标点云P_i|_{i∈{1,2,…,M}}都包含N个点；对目标点云数量大于N的帧，进行无重复的随机采样；对目标点云数量小于N的帧，进行随机重复的复制；对点云数量等于N的帧不做处理。目标点云P_i|_{i∈{1,2,…,M}}的每一帧经该步骤处理后为规整的N×5大小，每个点是具有五维特征的向量[x_world，y_world，z_world，snr，v]。

4)连续M帧的目标点云P_i|_{i∈{1,2,…,M}}并行输入PointNet神经网络中，得到M个特征向量Feat_i|_{i∈{1,2,…,M}}；该过程中点的三维坐标x_world、y_world、z_world单独经过PointNet神经网络的T-Net网络进行变换，生成新的作为坐标x、y、z，获得M个中间张量Tensor_i|_{i∈{1,2,…,M}}；每个中间特征张量的元素为[x，y，z，snr，v]。

5)M个特征向量Feat_i|_{i∈{1,2,…,M}}经双向LSTM网络与平均值池化AvgPool后得到的一维向量Vec_t，作为步态的时间特征向量；同时，把Tensor_i|_{i∈{1,2,…,M}}在帧数维度合并为(M×N)×5大小的张量Tensor_M，该张量输入一个不包含T-Net网络的PointNet神经网络中，输出的一维向量Vec_s作为空间特征向量；时间特征向量Vec_t与空间特征向量Vec_s通过向量合并函数Concat合并为全局特征向量Vec_g。

6)通过公式argmin(dist(Cj,Vec_g))|_{Cj∈{C1,C2,…,CK}}计算与所述全局特征向量Vec_g距离最短的Cj所对应的身份类别索引j_opt作为连续M帧点云所属的身份类别，所述Cj为已有身份类别集{C1,C2,…,CK}内身份类别j的全局特征向量，所述K为所述身份类别的总数，所述全局特征向量Vec_g与所述类别i的全局特征向量Ci的距离计算公式dist(Ci,Vec_g)＝||Ci-Vec_g||²。

进一步，在步骤5)中，M个中间张量Tensor_i|_{i∈{1,2,…,M}}输入不包含T-Net网络的PointNet神经网络，该不包含T-Net网络的PointNet神经网络与步骤4)中的所述PointNet神经网络之间参数不共享。步骤4)中所述PointNet神经网络计算结果为M个特征向量Feat_i|_{i∈{1,2,…,M}}，以及M个中间张量Tensor_i|_{i∈{1,2,…,M}}，而步骤5)所述不包含T-Net网络的PointNet神经网络的计算结果为空间特征向量Vec_s。

进一步，在步骤6)中，已有身份类别集{Cj|Cj∈{C1,C2,…,CK}}的全局特征向量是对Cj行走过程采集的连续M帧目标点云实施步骤1)到步骤5)得到，这一流程属于身份的注册过程。

上述实施例为本发明较佳的实施方式，但本发明的实施方式并不受上述实施例的限制，其他的任何未背离本发明的精神实质与原理下所作的改变、修饰、替代、组合、简化，均应为等效的置换方式，都包含在本发明的保护范围之内。

Claims

1.一种基于毫米波雷达点云的步态识别方法，其特征在于，包括以下步骤：

4)连续M帧的目标点云P_i|_{i∈{1,2,…,M}}并行输入PointNet神经网络中，得到M个特征向量Feat_i|_{i∈{1,2,…,M}}；前面过程中点的三维坐标单独经过PointNet神经网络的T-Net网络进行变换，获得M个中间张量Tensor_i|_{i∈{1,2,…,M}}；

2.根据权利要求1所述的一种基于毫米波雷达点云的步态识别方法，其特征在于：在步骤4)中，连续M帧的目标点云P_i|_{i∈{1,2,…,M}}是并行输入PointNet神经网络中的，即M个PointNet神经网络同时对M帧进行计算，且这M个PointNet神经网络之间的参数共享。

3.根据权利要求1所述的一种基于毫米波雷达点云的步态识别方法，其特征在于：在步骤5)中，M个中间张量Tensor_i|_{i∈{1,2,…,M}}输入不包含T-Net网络的PointNet神经网络，该不包含T-Net网络的PointNet神经网络与步骤4)中所述PointNet神经网络之间参数不共享；步骤4)中所述PointNet神经网络计算结果为M个特征向量Feat_i|_{i∈{1,2,…,M}}，以及M个中间张量Tensor_i|_{i∈{1,2,…,M}}，而步骤5)中所述不包含T-Net网络的PointNet神经网络的计算结果为空间特征向量Vec_s。