CN116206359A - 基于毫米波雷达与动态采样神经网络的人体步态识别方法 - Google Patents

基于毫米波雷达与动态采样神经网络的人体步态识别方法 Download PDF

Info

Publication number
CN116206359A
CN116206359A CN202211688471.7A CN202211688471A CN116206359A CN 116206359 A CN116206359 A CN 116206359A CN 202211688471 A CN202211688471 A CN 202211688471A CN 116206359 A CN116206359 A CN 116206359A
Authority
CN
China
Prior art keywords
point
point cloud
frame
sampling
dynamic
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202211688471.7A
Other languages
English (en)
Inventor
黄岩岩
王勇
史治国
卓成
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang University ZJU
Original Assignee
Zhejiang University ZJU
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang University ZJU filed Critical Zhejiang University ZJU
Priority to CN202211688471.7A priority Critical patent/CN116206359A/zh
Publication of CN116206359A publication Critical patent/CN116206359A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G06V40/23—Recognition of whole body movements, e.g. for sport training
    • G06V40/25—Recognition of walking or running movements, e.g. gait recognition
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/762—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using clustering, e.g. of similar faces in social networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • Social Psychology (AREA)
  • Mathematical Physics (AREA)
  • Electromagnetism (AREA)
  • Psychiatry (AREA)
  • Human Computer Interaction (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Radar Systems Or Details Thereof (AREA)

Abstract

本发明公开了一种基于毫米波雷达与动态采样神经网络的人体步态识别方法。该方法使用毫米波雷达得到人体行走的雷达点云数据，通过对相邻的点云数据帧做差分处理得到点云动态信息；将原始点云数据与处理得到的点流数据通过点云特征提取网络得到点云与点流的特征序列；通过动态帧采样模块采样得到包含丰富的步态信息的点云与点流特征子序列；通过时序特征聚合模块将点云与点流特征子序列进行特征融合，最后通过平均池化层与多层感知机，输出最终的人体步态识别结果。本发明设计了一种新颖的雷达点云动态信息描述方法，并且提出了一种新颖高效的动态点云帧采样方法，能够在对识别性能影响不大的前提下，显著地减小计算量。

Description

基于毫米波雷达与动态采样神经网络的人体步态识别方法
技术领域
本发明涉及人体步态识别技术领域，尤其涉及一种基于毫米波雷达与动态采样神经网络的人体步态识别方法，结合毫米波雷达与动态采样神经网络，实现对人体步态的高效识别。
背景技术
随着家居智能化程度逐渐提高，关于人体步态识别成为智能化家居管理中非常重要的部分。人体步态识别技术可以对人体身份进行实时识别，可以实现家居功能的个性化定制，提高智能化家居的使用体验。同时可以识别行人是否为家庭成员，提高居家生活的安全性。
现有的人体步态识别方法大多是基于摄像头传感器或者可穿戴传感器，然而基于摄像头的人体步态识别会存在隐私泄露的风险，基于可穿戴传感器的人体步态识别要求行人需穿戴对应的传感器，限制了使用场景，降低了使用体验。现有的基于毫米波雷达传感器的行人步态识别多数基于原始回波信号，但是会存在计算量过大的问题。现有的基于雷达点云的行人步态识别仅使用原始的雷达点云数据，识别性能存在瓶颈，且依然存在计算量过大的问题，限制了其适用范围。
发明内容
本发明针对现有技术存在的不足，提供一种基于毫米波雷达与动态采样神经网络的人体步态识别方法，该方法使用毫米波雷达及设计的动态采样神经网络进行人体步态识别。该方法利用毫米波雷达输出的点云数据，在不添加复杂的特征处理前提下，通过对连续两帧毫米波雷达点云做差分处理，充分挖掘人体动态加速度信息，同时在对识别性能影响较低的前提下，通过动态帧采样，显著地减小计算资源的消耗，提高识别速度，实现高精度的实时步态身份识别，具有不侵犯隐私、应用场景广泛、准确率高、响应快等特点。
本发明的目的是通过以下技术方案实现的：一种基于毫米波雷达与动态采样神经网络的人体步态识别方法，该方法包括以下步骤：
步骤1：通过毫米波雷达采集得到室内人体行走状态的雷达点云信息，并通过点云聚类算法与帧间目标关联算法，滤除背景雷达点，得到行人目标的雷达点云数据；
步骤2：将连续多帧雷达点云序列作为一个样本，对相邻的点云数据帧做差分处理，得到点云的动态信息，定义为点流序列；
步骤3：将所述点云序列与点流序列分别输入点云特征提取主干网络，得到点云特征序列和点流特征序列；
步骤4：通过动态帧采样模块，在点云特征序列与点流特征序列中采样得到信息丰富的点云与点流特征子序列；
步骤5：通过时序特征聚合模块，将信息丰富的点云与点流特征子序列进行特征融合，并通过平均池化层与多层感知机，输出最终的人体步态识别结果。
进一步地，所述步骤1具体包括：
毫米波雷达发射并接收人体的电磁波反射信号，通过二维傅里叶变换与CFAR算法，得到人体目标的毫米波雷达点云信息，将连续T帧雷达点云序列定义为S={P0,P1,…,PT-1}，其中第i帧点云
Figure BDA0004020308250000021
包含N个点，每个点包含四维特征：
Figure BDA0004020308250000022
其中/>
Figure BDA0004020308250000023
代表点的三维空间坐标，/>
Figure BDA0004020308250000024
代表该点相对于雷达的多普勒速度信息；
使用经典的点云聚类算法与帧间目标关联算法，对行人目标的雷达点云进行聚类与跟踪，滤除背景噪声点。
其中雷达接收的人体的电磁波反射信号，经过混频处理后得到中频信号，随后通过距离维度的傅里叶变换，得到距离维度图，随后通过多普勒维度的傅里叶变换，得到距离多普勒图。在距离多普勒图上使用恒虚警检测CFAR算法，得到反射目标的雷达点云信号。其中使用DBSCAN聚类算法，对毫米波雷达点云进行聚类，并使用匈牙利算法，进行帧间目标关联与跟踪，得到行人目标的雷达点云数据。
进一步地，所述步骤2中，对相邻的两帧雷达点云Pi和Pi+1，为了得到两帧点云之间的相对变化信息，对帧Pi中的点
Figure BDA0004020308250000031
在下一帧点云Pi+1中找到与该点相对空间位置最近的点
Figure BDA0004020308250000032
并将该两点的多普勒速度相减，即可得到对应的点流向量/>
Figure BDA0004020308250000033
其中/>
Figure BDA0004020308250000034
对点云帧Pi中的每一个点都进行以上操作，即可得到点流帧
Figure BDA0004020308250000035
点流数据可以从另一个维度提供更多人体行走时的动态信息，可以帮助提高步态识别的准确率。
其中由于原始的毫米波雷达点云包含四维特征，除了三维空间坐标特征外还有一维多普勒速度信息，可以代表目标不同部位的点云相对于毫米波雷达的速度。由于毫米波雷达点云帧是等间隔采集的，因此对相邻两帧雷达点云根据空间位置做差分处理，得到的点流即可包含该雷达点云的多普勒加速度信息，可进一步挖掘毫米波雷达点云的动态信息，提高步态识别的准确率。
进一步地，所述步骤3中，对输入的每帧点云数据与点流数据，均通过经典的点云特征提取网络进行特征向量的提取；对于点云Pi与点流Fi，分别得到对应的多维特征向量
Figure BDA0004020308250000036
与/>
Figure BDA0004020308250000037
随后得到点云特征序列
Figure BDA0004020308250000038
和点流特征序列/>
Figure BDA0004020308250000039
其中为了便于模型进行后续的训练与推理，首先需要对行人目标的点云数据与点流数据进行特征提取，每个点云帧都可表示为多维向量。经典的点云特征提取网络包括PointNet、PointNet++等，以及基于图神经网络的AdaptConv等网络。
进一步地，所述动态帧采样模块能够动态地将信息量低的点云与点流帧滤除，保留信息丰富的点云帧与点流帧，在对分类性能影响较小的前提下，显著地减小模型计算量；
对于点云帧Pi，首先使用多层感知机对其特征进行投影，得到维度为1×2的投影向量zi，公式如下：
Figure BDA00040203082500000310
其中GeLU代表GeLU激活函数，LN代表层标准化操作，Linear代表线性层；
将所有点云帧通过多层感知机得到的投影向量在第一个维度上进行串联，得到Z=Concat(z0,z1,…,zT-1)；随后通过Softmax操作得到保留概率矩阵
Figure BDA0004020308250000041
通过对π进行采样以生成二元掩膜；
为了使采样过程能够可微，使用重参数方法对保留概率矩阵π进行采样，在模型后向传播过程中，采样操作的梯度是从Gumbel分布中采样得到，因此使用Gumbel-Softmax方法得到每帧点云保留或裁剪的概率，表示为：
Figure BDA0004020308250000042
其中πi,j是π的第i个元素状态为j的概率，πi,0代表第i个元素保留的概率，πi,1代表第i个元素裁剪的概率，gi,j是对Gumbel(0,1)分布的独立同分布采样，τ是温度参数，τ越大时，输出越接近于均匀分布；反之当τ越小时，输出越接近于独热分布，并且在训练过程中，令τ逐渐衰减，使计算结果越来越趋近于独热分布，从而解决前向传播和后向传播的差异性问题；
对所有点云均进行上述计算，可得到矩阵
Figure BDA0004020308250000043
取矩阵G的第一列作为二元掩膜，即Mask=G:,0∈{0,1}T，Mask为元素为0或1的向量，并且长度与点云帧数目相同，其中0代表滤除该帧，1代表保留该帧。
将所述二元掩膜分别与点云特征序列与点流特征序列相乘，即可得到含有丰富信息的点云与点流特征子序列。
为了将保留的帧的比例控制为预先设定的采样比例t，额外添加掩膜损失函数以监督模型的训练，掩膜损失函数Lossmask公式如下：
Figure BDA0004020308250000044
其中sum代表对Mask所有元素求和，即得到Mask向量中元素为1的个数，len代表Mask总长度，即为T。
其中由于少数的雷达点云帧中点云数量较少，或仅包含人体个别部位对应的点云数据，因此其包含的有效特征较少。为了能够尽可能减小计算负担，提高推理速度，便于实际部署，本发明通过动态帧采样，可以自动滤除有效信息较少的雷达点云帧，并且采样保留得到人体特征丰富的雷达点云帧，能够实现在对识别性能影响较低的前提下，显著减小计算资源的消耗，提高模型推理速度。
进一步地，所述时序特征聚合模块包含L层标准的Transformer模型，其能够对特征序列的长距离交互模式进行建模，因此具有很好的时序特征融合效果；每个Transformer模型包含多头注意力模块，多层感知机模块，以及层标准化模块；通过该时序特征聚合模块，可以对信息丰富的点云特征与点流特征进行特征融合。
其中标准的Transformer模型由于引入了自注意力机制，可计算序列中任意样本之间的相关性，并捕捉其依赖关系，相比于循环神经网络RNN与长短时记忆网络LSTM，Transformer可从根本上解决长时依赖问题。并且Transformer摒弃了RNN与LSTM中顺序输入的方式，一次性输入所有样本，具有很好的并行性，能够提高计算效率。
本发明的优点及有益效果如下：
本发明利用毫米波雷达进行人体步态数据采集，具有不侵犯隐私及适用场景广泛的优点。该方法通过对连续毫米波雷达点云帧做差分处理，充分挖掘了人体动态的加速度信息，提高识别准确率。该方法通过动态帧采样，在对识别性能影响较低的前提下，显著地减小计算资源消耗，提高识别推理速度，可以实现高精度且快速的人体步态识别。区别于现有的人体步态识别方法，本发明所提方法能够挖掘更多人体步态动态信息，同时兼顾人体步态识别性能与计算速度，为智能家居的普及提供了极大便利。
附图说明
图1为本发明实施例提供的方法流程图；
图2为本发明实施例提供的点流数据获取流程图；
图3为本发明实施例提供的特征融合过程及动态帧采样模块和时序特征聚合模块的工作流程图；
图4为本发明实施例提供动态帧采样模块与随机采样方法的准确率对比图。
具体实施方式
下面结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明的保护范围。
如图1所示，本发明实施例提供一种基于毫米波雷达与动态采样神经网络的人体步态识别方法，该方法包括以下步骤：
步骤1：通过毫米波雷达采集得到室内人体行走状态的雷达点云信息，并通过点云聚类算法与帧间目标关联算法，滤除背景雷达点，得到行人目标的雷达点云数据；
步骤2：将连续多帧雷达点云序列作为一个样本，对相邻的点云数据帧做差分处理，得到点云的动态信息，定义为点流序列；
步骤3：将所述点云序列与点流序列分别输入点云特征提取主干网络，得到点云特征序列和点流特征序列；
步骤4：通过动态帧采样模块，在点云特征序列与点流特征序列中采样得到信息丰富的点云与点流特征子序列；
步骤5：通过时序特征聚合模块，将信息丰富的点云与点流特征子序列进行特征融合，并通过平均池化层与多层感知机，输出最终的人体步态识别结果。
进一步地，所述步骤1具体包括：
毫米波雷达发射并接收人体的电磁波反射信号，通过二维傅里叶变换与CFAR算法，得到人体目标的毫米波雷达点云信息，将连续T帧雷达点云序列定义为S={P0,P1,…,PT-1}，其中第i帧点云
Figure BDA0004020308250000061
包含N个点，每个点包含四维特征：
Figure BDA0004020308250000062
其中/>
Figure BDA0004020308250000063
代表点的三维空间坐标，/>
Figure BDA0004020308250000064
代表该点相对于雷达的多普勒速度信息；
使用经典的点云聚类算法与帧间目标关联算法，对行人目标的雷达点云进行聚类与跟踪，滤除背景噪声点。
进一步地，所述步骤2具体包括：
对相邻的两帧雷达点云Pi和Pi+1，为了得到两帧点云之间的相对变化信息，对帧Pi中的点
Figure BDA0004020308250000071
在下一帧点云Pi+1中找到与该点相对空间位置最近的点/>
Figure BDA0004020308250000072
并将该两点的多普勒速度相减，即可得到对应的点流向量/>
Figure BDA0004020308250000073
其中/>
Figure BDA0004020308250000074
对点云帧Pi中的每一个点都进行以上操作，即可得到点流帧
Figure BDA0004020308250000075
点流数据可以从另一个维度提供更多人体行走时的动态信息，可以帮助提高步态识别的准确率。
进一步地，所述步骤3中，对输入的每帧点云数据与点流数据，均通过经典的点云特征提取网络进行特征向量的提取；对于点云Pi与点流Fi，分别得到对应的多维特征向量
Figure BDA0004020308250000076
与/>
Figure BDA0004020308250000077
随后得到点云特征序列
Figure BDA0004020308250000078
和点流特征序列/>
Figure BDA0004020308250000079
进一步地，所述动态帧采样模块能够动态地将信息量低的点云与点流帧滤除，保留信息丰富的点云帧与点流帧，在对分类性能影响较小的前提下，显著地减小模型计算量；
对于点云帧Pi，首先使用多层感知机对其特征进行投影，得到维度为1×2的投影向量zi，公式如下：
Figure BDA00040203082500000710
其中GeLU代表GeLU激活函数，LN代表层标准化操作，Linear代表线性层；
将所有点云帧通过多层感知机得到的投影向量在第一个维度上进行串联，得到Z=Concat(z0,z1,…,zT-1)；随后通过Softmax操作得到保留概率矩阵
Figure BDA00040203082500000711
通过对π进行采样以生成二元掩膜；
将所述二元掩膜分别与点云特征序列与点流特征序列相乘，即可得到含有丰富信息的点云与点流特征子序列。
进一步地，所述动态帧采样模块中，为了使采样过程能够可微，使用重参数方法对保留概率矩阵π进行采样，在模型后向传播过程中，采样操作的梯度是从Gumbel分布中采样得到，因此使用Gumbel-Softmax方法得到每帧点云保留或裁剪的概率，表示为：
Figure BDA0004020308250000081
其中πi,j是π的第i个元素状态为j的概率，πi,0代表第i个元素保留的概率，πi,1代表第i个元素裁剪的概率，gi,j是对Gumbel(0,1)分布的独立同分布采样，τ是温度参数，τ越大时，输出越接近于均匀分布；反之当τ越小时，输出越接近于独热分布，并且在训练过程中，令τ逐渐衰减，使计算结果越来越趋近于独热分布，从而解决前向传播和后向传播的差异性问题；
对所有点云均进行上述计算，可得到矩阵
Figure BDA0004020308250000082
取矩阵G的第一列作为二元掩膜，即Mask=G:,0∈{0,1}T，Mask为元素为0或1的向量，并且长度与点云帧数目相同，其中0代表滤除该帧，1代表保留该帧。
进一步地，所述动态帧采样模块中，为了将保留的帧的比例控制为预先设定的采样比例t，额外添加掩膜损失函数以监督模型的训练，掩膜损失函数Lossmask公式如下：
Figure BDA0004020308250000083
其中sum代表对Mask所有元素求和，即得到Mask向量中元素为1的个数，len代表Mask总长度，即为T；具体地，t根据需要设定即可，可设置为0.3-1。
进一步地，所述时序特征聚合模块包含L层标准的Transformer模型，其能够对特征序列的长距离交互模式进行建模，因此具有很好的时序特征融合效果；每个Transformer模型包含多头注意力模块，多层感知机模块，以及层标准化模块；通过该时序特征聚合模块，可以对信息丰富的点云特征与点流特征进行特征融合。
以上点流数据获取流程如附图2所示。
以上特征融合过程及动态帧采样模块和时序特征聚合模块的工作流程如附图3所示。
下面结合实际采集的毫米波雷达点云步态数据的测试结果对本发明的效果做进一步描述。
该毫米波雷达点云步态数据在室内场景中进行采集，主要采集了二十名志愿者的行走步态数据。采集数据所用毫米波雷达为TI公司的IWR6843，其使用三个发射天线与四个接收天线来生成三维点云数据，点云的采样间隔为0.1s。首先使用DBSCAN算法对毫米波雷达点云数据进行聚类，随后使用匈牙利算法进行帧间目标的关联，即可得到每个志愿者的步态点云数据，使用长度为20的非重叠滑动窗，将连续20帧雷达点云作为一个样本。随后对点云数据进行处理得到点流数据，并分别通过点云特征提取主干网络，提取得到点云与点流特征。随后通过动态帧采样模块，对信息不丰富的雷达点云帧进行裁剪，并保留信息丰富的雷达点云帧，之后通过时序特征聚合模块，得到该样本的全局特征，最后通过平均池化层和多层感知机，得到最终的人体步态识别结果。将本发明所提基于毫米波雷达与动态采样神经网络的人体步态识别方法与其他模型进行对比，其他模型主要包括mmGaitNet、PL(PointNet结合LSTM)、P+L(PointNet++结合LSTM)以及SRPNet。实验结果如表1所示，可以看到本发明所提基于毫米波雷达与动态采样神经网络的人体步态识别方法在准确率、精度以及F1值指标上均优于其他模型，具有更好的人体步态识别效果。
表1本发明所提方法与其他方法的识别结果对照表
方法 准确率 精度 F1值
mmGaitNet 39.10±1.15 38.74±1.99 37.34±1.76
PL 80.77±3.15 81.52±4.81 79.91±3.28
P+L 81.23±2.98 80.84±3.25 80.84±2.84
SRPNet 84.91±2.86 85.26±2.47 84.67±2.18
本发明所提方法 96.52±1.26 96.48±1.32 96.36±1.37
随后验证不同采样比例下，动态帧采样模块的有效性。对比的方法为随机采样，即根据设定的采样比例，随机生成二元掩膜，并对点云特征向量于对应的点流特征向量进行采样。采样比例从1.0逐渐调整到0.3，且调整间隔为0.1，对比的性能指标为准确率。实验结果如附图4所示，可见该两种方法的准确率都会随着雷达点云帧保留的比例的降低而下降，但是与随机采样方法相比，本发明所提基于毫米波雷达与动态采样神经网络的动态帧采样模块的下降幅度较小，而且即使保留比例低至0.3时，准确率依然能维持在较高的水平。
上述实施例用来解释说明本发明，而不是对本发明进行限制，在本发明的精神和权利要求的保护范围内，对本发明作出的任何修改和改变，都落入本发明的保护范围。

Claims (8)

1.一种基于毫米波雷达与动态采样神经网络的人体步态识别方法，其特征在于，包括以下步骤：
步骤1：通过毫米波雷达采集得到室内人体行走状态的雷达点云信息，并通过点云聚类算法与帧间目标关联算法，滤除背景雷达点，得到行人目标的雷达点云数据；
步骤2：将连续多帧雷达点云序列作为一个样本，对相邻的点云数据帧做差分处理，得到点云的动态信息，定义为点流序列；
步骤3：将所述点云序列与点流序列分别输入点云特征提取主干网络，得到点云特征序列和点流特征序列；
步骤4：通过动态帧采样模块，在点云特征序列与点流特征序列中采样得到信息丰富的点云与点流特征子序列；
步骤5：通过时序特征聚合模块，将信息丰富的点云与点流特征子序列进行特征融合，并通过平均池化层与多层感知机，输出最终的人体步态识别结果。
2.根据权利要求1所述的一种基于毫米波雷达与动态采样神经网络的人体步态识别方法，其特征在于，所述步骤1具体包括：
毫米波雷达发射并接收人体的电磁波反射信号，通过二维傅里叶变换与CFAR算法，得到人体目标的毫米波雷达点云信息，将连续T帧雷达点云序列定义为A＝{P0,P1,…,PT-1}，其中第i帧点云
Figure FDA0004020308240000011
包含N个点，每个点包含四维特征：
Figure FDA0004020308240000012
其中/>
Figure FDA0004020308240000013
代表点的三维空间坐标，/>
Figure FDA0004020308240000014
代表该点相对于雷达的多普勒速度信息；
使用点云聚类算法与帧间目标关联算法，对行人目标的雷达点云进行聚类与跟踪，滤除背景噪声点。
3.根据权利要求2所述的一种基于毫米波雷达与动态采样神经网络的人体步态识别方法，其特征在于，所述步骤2具体包括：
对相邻的两帧雷达点云Pi和Pi+1，为了得到两帧点云之间的相对变化信息，对帧Pi中的点
Figure FDA0004020308240000021
在下一帧点云Pi+1中找到与该点相对空间位置最近的点/>
Figure FDA0004020308240000022
并将该两点的多普勒速度相减，即可得到对应的点流向量/>
Figure FDA0004020308240000023
其中/>
Figure FDA0004020308240000024
对点云帧Pi中的每一个点都进行以上操作，即可得到点流帧
Figure FDA0004020308240000025
4.根据权利要求3所述的一种基于毫米波雷达与动态采样神经网络的人体步态识别方法，其特征在于，所述步骤3中，对输入的每帧点云数据与点流数据，均通过经典的点云特征提取网络进行特征向量的提取；对于点云Pi与点流Fi，分别得到对应的多维特征向量
Figure FDA0004020308240000026
与
Figure FDA0004020308240000027
Figure FDA0004020308240000028
随后得到点云特征序列
Figure FDA0004020308240000029
和点流特征序列/>
Figure FDA00040203082400000210
5.根据权利要求4所述的一种基于毫米波雷达与动态采样神经网络的人体步态识别方法，其特征在于，所述动态帧采样模块能够动态地将信息量低的点云与点流帧滤除，保留信息丰富的点云帧与点流帧；
对于点云帧Pi，首先使用多层感知机对其特征进行投影，得到维度为1×2的投影向量zi，公式如下：
Figure FDA00040203082400000211
其中GeLU代表GeLU激活函数，LN代表层标准化操作，Linear代表线性层；
将所有点云帧通过多层感知机得到的投影向量在第一个维度上进行串联，得到Z＝Concat(z0,z1,…,zT-1)；随后通过Softmax操作得到保留概率矩阵
Figure FDA00040203082400000212
通过对π进行采样以生成二元掩膜；
将所述二元掩膜分别与点云特征序列与点流特征序列相乘，即可得到含有丰富信息的点云与点流特征子序列。
6.根据权利要求5所述的一种基于毫米波雷达与动态采样神经网络的人体步态识别方法，其特征在于，所述动态帧采样模块中，为了使采样过程能够可微，使用重参数方法对保留概率矩阵π进行采样，在模型后向传播过程中，采样操作的梯度是从Gumbel分布中采样得到，因此使用Gumbel-Softmax方法得到每帧点云保留或裁剪的概率，表示为：
Figure FDA0004020308240000031
其中πi,j是π的第i个元素状态为j的概率，πi,0代表第i个元素保留的概率，πi,1代表第i个元素裁剪的概率，gi,j是对Gumbel(0,1)分布的独立同分布采样，τ是温度参数，τ越大时，输出越接近于均匀分布；反之当τ越小时，输出越接近于独热分布，并且在训练过程中，令τ逐渐衰减，使计算结果越来越趋近于独热分布，从而解决前向传播和后向传播的差异性问题；
对所有点云均进行上述计算，可得到矩阵
Figure FDA0004020308240000032
取矩阵G的第一列作为二元掩膜，即Mask＝G:,∈{0,1}T，Mask为元素为0或1的向量，并且长度与点云帧数目相同，其中0代表滤除该帧，1代表保留该帧。
7.根据权利要求6所述的一种基于毫米波雷达与动态采样神经网络的人体步态识别方法，其特征在于，所述动态帧采样模块中，为了将保留的帧的比例控制为预先设定的采样比例t，额外添加掩膜损失函数以监督模型的训练，掩膜损失函数Lossmask公式如下：
Figure FDA0004020308240000033
其中sum代表对Mask所有元素求和，即得到Mask向量中元素为1的个数，len代表Mask总长度，即为T。
8.根据权利要求1所述的一种基于毫米波雷达与动态采样神经网络的人体步态识别方法，其特征在于，所述时序特征聚合模块包含L层标准的Transformer模型，其能够对特征序列的长距离交互模式进行建模；每个Transformer模型包含多头注意力模块，多层感知机模块，以及层标准化模块；通过该时序特征聚合模块，对信息丰富的点云特征与点流特征进行特征融合。
CN202211688471.7A 2022-12-27 2022-12-27 基于毫米波雷达与动态采样神经网络的人体步态识别方法 Pending CN116206359A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211688471.7A CN116206359A (zh) 2022-12-27 2022-12-27 基于毫米波雷达与动态采样神经网络的人体步态识别方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211688471.7A CN116206359A (zh) 2022-12-27 2022-12-27 基于毫米波雷达与动态采样神经网络的人体步态识别方法

Publications (1)

Publication Number Publication Date
CN116206359A true CN116206359A (zh) 2023-06-02

Family

ID=86508563

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211688471.7A Pending CN116206359A (zh) 2022-12-27 2022-12-27 基于毫米波雷达与动态采样神经网络的人体步态识别方法

Country Status (1)

Country Link
CN (1) CN116206359A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117036868A (zh) * 2023-10-08 2023-11-10 之江实验室 一种人体感知模型的训练方法、装置、介质及电子设备
CN117368876A (zh) * 2023-10-18 2024-01-09 广州易而达科技股份有限公司 一种人体检测方法、装置、设备及存储介质
CN118393457A (zh) * 2024-06-26 2024-07-26 南京楚航科技有限公司 一种基于深度神经网络的毫米波雷达多径目标识别方法

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117036868A (zh) * 2023-10-08 2023-11-10 之江实验室 一种人体感知模型的训练方法、装置、介质及电子设备
CN117036868B (zh) * 2023-10-08 2024-01-26 之江实验室 一种人体感知模型的训练方法、装置、介质及电子设备
CN117368876A (zh) * 2023-10-18 2024-01-09 广州易而达科技股份有限公司 一种人体检测方法、装置、设备及存储介质
CN117368876B (zh) * 2023-10-18 2024-03-29 广州易而达科技股份有限公司 一种人体检测方法、装置、设备及存储介质
CN118393457A (zh) * 2024-06-26 2024-07-26 南京楚航科技有限公司 一种基于深度神经网络的毫米波雷达多径目标识别方法
CN118393457B (zh) * 2024-06-26 2024-09-20 南京楚航科技有限公司 一种基于深度神经网络的毫米波雷达多径目标识别方法

Similar Documents

Publication Publication Date Title
CN116206359A (zh) 基于毫米波雷达与动态采样神经网络的人体步态识别方法
CN112257569B (zh) 一种基于实时视频流的目标检测和识别方法
CN110456320B (zh) 一种基于自由空间步态时序特征的超宽带雷达身份识别方法
CN112014814B (zh) 基于三帧积累速度筛选dp-tbd的动目标检测与跟踪方法
CN112036471B (zh) 一种基于毫米波雷达的多人跟踪方法
CN105160649A (zh) 基于核函数非监督聚类的多目标跟踪方法及系统
CN104484890A (zh) 基于复合稀疏模型的视频目标跟踪方法
Ni et al. Open-set human identification based on gait radar micro-Doppler signatures
CN116027324A (zh) 基于毫米波雷达的跌倒检测方法、装置及毫米波雷达设备
CN103295221A (zh) 模拟复眼视觉机制和偏振成像的水面目标运动检测方法
CN113763427A (zh) 一种基于从粗到精遮挡处理的多目标跟踪方法
Avanzato et al. A cnn-based differential image processing approach for rainfall classification
CN115902878A (zh) 一种毫米波雷达人体行为识别方法
Jeevith et al. Detection and tracking of moving object using modified background subtraction and Kalman filter
CN112200831B (zh) 一种基于动态模板的密集连接孪生神经网络目标跟踪方法
CN114168058A (zh) Fmcw单毫米波雷达的空中手写字符识别方法及装置
Wang et al. DBSCAN clustering algorithm of millimeter wave radar based on multi frame joint
CN117452398A (zh) 一种基于fmcw雷达的人体动作识别方法
CN115792890A (zh) 基于凝聚量测自适应互联的雷达多目标跟踪方法及系统
CN114418068A (zh) 基于多步神经网络结构的毫米波雷达稀疏点云重构方法
Xu et al. A lightweight convolutional network for infrared object detection and tracking
CN113112522A (zh) 基于可变形卷积和模板更新的孪生网络目标跟踪的方法
Xiao et al. Object detection algorithm combined with dynamic and static for air target intrusion
CN102680957A (zh) 基于图切的雷达微弱目标优化检测方法
Wei et al. Review of infrared object detection algorithms for low-light background

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination