CN117058228A - 一种基于低通道雷达的三维人体姿态估计方法 - Google Patents

一种基于低通道雷达的三维人体姿态估计方法 Download PDF

Info

Publication number
CN117058228A
CN117058228A CN202310821946.3A CN202310821946A CN117058228A CN 117058228 A CN117058228 A CN 117058228A CN 202310821946 A CN202310821946 A CN 202310821946A CN 117058228 A CN117058228 A CN 117058228A
Authority
CN
China
Prior art keywords
human body
radar
posture estimation
sub
gesture
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310821946.3A
Other languages
English (en)
Inventor
雷雯
周金海
李伟
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang University ZJU
Original Assignee
Zhejiang University ZJU
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang University ZJU filed Critical Zhejiang University ZJU
Priority to CN202310821946.3A priority Critical patent/CN117058228A/zh
Publication of CN117058228A publication Critical patent/CN117058228A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/86—Combinations of radar systems with non-radar systems, e.g. sonar, direction finder
    • G01S13/867—Combination of radar systems with cameras
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/89—Radar or analogous systems specially adapted for specific applications for mapping or imaging
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/09—Supervised learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10032—Satellite or aerial image; Remote sensing
    • G06T2207/10044—Radar image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Evolutionary Computation (AREA)
  • Software Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Mathematical Physics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Medical Informatics (AREA)
  • Databases & Information Systems (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Human Computer Interaction (AREA)
  • Electromagnetism (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于低通道雷达的三维人体姿态估计方法，包括以下步骤：采集带有人体姿态信息的低通道雷达回波信号；滤除杂波；将滤除杂波后的雷达回波信号进行分割和快速傅里叶变换得到多个距离‑多普勒图像并结合得到姿态子信号样本；借助Kinect深度摄像机生成样本标签，进一步建立姿态子信号样本数据集；构建基于卷积神经网络的姿态估计模型，利用数据集对姿态估计模型进行训练优化；利用参数优化后的姿态估计模型进行预测得到人体目标的关节点坐标，最终生成三维人体姿态估计图像。本发明方法能实现低功耗低成本并保证识别精度和准确率的三维人体姿态估计，在人体姿态估计技术的发展中具有一定的竞争力。

Description

一种基于低通道雷达的三维人体姿态估计方法
技术领域
本发明属于雷达探测技术领域，具体涉及一种基于低通道雷达的三维人体姿态估计方法。
背景技术
辅助生活技术可以为特定人群，如老年人或行动受限者，提供智能服务。人体姿态估计(Human Pose Estimation，HPE)是康复训练或活动能力评估等活动中的重要辅助工具，通过将一个人的姿势可视化并与标准运动进行比较，可以帮助评估他们的恢复进展或身体状况。
传统方法依赖于视觉和可穿戴运动捕捉系统，但这些方法存在局限性。基于视觉的系统容易受到隐私问题和环境干扰的影响，而可穿戴设备通常具有侵入性且不被广泛接受。以电磁波作为信息载体的雷达系统成为一种新型的主动检测传感器，可以解决由于无照明、障碍物和非直线视野等复杂环境所引起的检测困难。
目前基于雷达传感器的HPE通常依赖于毫米波(mmWave)雷达，且都需要MIMO结构，通过多个天线同时发送和接收多个空间信号形成目标的雷达成像，然后分析雷达图像以估计人体姿势。但含MIMO结构的雷达系统中需要使用多天线和硬件，这会导致网络计算量大，并伴随显著的功率消耗和成本上升问题。
随着市场应用的不断扩展，基于超宽带雷达的HPE也被广泛研究。超宽带技术采用脉冲体制，通过发射机发射持续时间极短的脉冲信号，而收发机的重频周期较长，因此单位时间内消耗的功耗极低，由于超宽带技术具有穿透能力好、抗干扰能力强和功耗低的优点，适用于低成本精确感知需求。
公开号为CN113850204A的中国专利申请公开了一种基于深度学习和超宽带雷达的人体动作识别方法，其利用了超宽带雷达回波信号提取人体动作信息数据，对数据进行距离-多普勒成像、自适应阈值检测和多目标分割处理，构建包含时间、距离和速度的三维特征数据集，基于深度网络模型提取特征进行动作种类识别。该发明能够将不同目标的动作特征准确分离实现具体动作的分割和识别，但并未展现更加细致的人体姿态估计结果。
公开号为CN115390058A的中国专利申请公开了一种基于微多普勒特征的单通道超宽带雷达人体姿态估计方法，对雷达回波信号进行处理生成含有人体各关节部位信息的微多普勒谱图，使用backbone网络提取谱图中的特征，使用keypoint head网络将特征转换为各关节点的概率分布，使用softmax函数得到人体各个骨骼关节点的坐标位置，将各点按顺序相连得到人体姿态估计结果。该发明基于超宽带雷达实现二维人体姿态估计，其识别精度仍有待提高。
发明内容
鉴于上述，本发明的目的是提供一种基于低通道雷达的三维人体姿态估计方法，该方法利用雷达回波信号中的微距离和微多普勒特征，获取人体目标姿态的距离-多普勒表示，通过构建基于卷积神经网络的姿态估计模型并借助Kinect深度摄像机获取真实标签监督模型训练优化模型参数，实现更准确的三维人体姿态估计。
为实现上述发明目的，本发明提供的技术方案如下：
本发明实施例提供的一种基于低通道雷达的三维人体姿态估计方法，包括以下步骤：
采集带有人体姿态信息的低通道雷达回波信号；
滤除雷达回波信号中的杂波；
将滤除杂波后的雷达回波信号进行分割和快速傅里叶变换得到多个距离-多普勒图像，将时间戳相同的一组距离-多普勒图像作为一个姿态子信号样本；
利用时间戳与NTP协议将Kinect深度摄像机获得的真实人体骨骼帧与姿态子信号样本进行对齐并标注，进一步建立姿态子信号样本数据集；
构建基于卷积神经网络的姿态估计模型，利用姿态子信号样本数据集对姿态估计模型进行训练并优化参数；
利用参数优化后的姿态估计模型对输入的姿态子信号样本进行预测得到人体目标的关节点坐标，最终生成三维人体姿态估计图像。
所述采集带有人体姿态信息的低通道雷达回波信号，包括：在人体目标活动区域的的不同位置分别设置低通道的雷达传感器，人体目标在活动区域内重复执行一个动作，通过雷达传感器的发射机向人体目标发射固定周期的脉冲信号，被人体目标的各个骨架关节点反射，再由雷达传感器的接收机将反射的雷达回波信号接收。
优选地，所述雷达回波信号，其距离分辨率为厘米级别。
优选地，使用SVD算法滤除雷达回波信号中的杂波，通过将连续的多个雷达回波信号组成二维矩阵，分解为奇异值和奇异向量，重组奇异值和奇异向量，获得滤除杂波后的雷达回波信号。
所述将滤除杂波后的雷达回波信号进行分割和快速傅里叶变换得到多个距离-多普勒图像，将时间戳相同的一组距离-多普勒图像作为一个姿态子信号样本，包括：将每个雷达传感器采集到的滤除杂波后的雷达回波信号，依据时间戳进行对齐，通过滑动窗口的方法沿着慢时间轴进行分割得到一系列姿态子矩阵；然后对每个姿态子矩阵沿着快时间轴进行快速傅里叶变换得到距离-多普勒图像；最后将时间戳相同的一组距离-多普勒图像作为一个姿态子信号样本。
所述利用时间戳与NTP协议将Kinect深度摄像机获得的真实人体骨骼帧与姿态子信号样本进行对齐并标注，包括：利用Kinect深度摄像机采集真实人体骨骼帧，通过平均采样方法将真实人体骨骼帧进行降频，与姿态子信号样本的帧率保持一致；依据时间戳与NTP协议将降频后的真实人体骨骼帧与姿态子信号样本进行对齐；将对齐后的真实人体骨骼帧中包含的各骨架关节点的三维坐标作为姿态子信号样本的标签。
优选地，所述骨架关节点采用16个关节点，包括头、脖子、脊梁、胯、左肩、左肘、左手、右肩、右肘、右手、左臀、右臀、左膝盖、右膝盖、左脚和右脚。
所述构建姿态子信号样本数据集，为采集不同人体目标的多个动作姿态生成多个姿态子信号样本，构建为含有标签的姿态子信号样本数据集，并划分为训练集、验证集和测试集；
所述训练集用于利用反向传播算法更新卷积神经网络中各个神经元的权重以获取最佳模型参数；所述验证集用于在训练时评估模型性能，调整模型的超参数避免模型过拟合；所述测试集用于测试模型对未参与过模型训练数据的泛化能力以及实际表现。
所述基于卷积神经网络的姿态估计模型，包括样本输入模块、特征提取模块、映射回归模块和姿态估计输出模块；
所述样本输入模块用于接收包含一组距离-多普勒图像的姿态子信号样本；
所述特征提取模块包括卷积层、Dropout层和BN层，其中，卷积层用于提取输入样本中的图像形状及纹理特征，Dropout层用于防止神经网络过拟合，BN层用于避免每个最小批处理后数据分布的重大变化；
所述映射回归模块包括Flatten层和全连接层，由特征提取模块提取到的特征经过Flatten层进行展开作为全连接层的输入，全连接层进行回归并输出每个关节点对应的坐标位置；
所述姿态估计输出模块用于将对应坐标位置连接形成可视化的三维人体姿态估计图像作为最终结果。
与现有技术相比，本发明具有的有益效果至少包括：
(1)本发明方法采用低通道的雷达传感器采集带有人体姿态特征的雷达回波信号，不依赖于复杂的MIMO结构，无需繁琐的几何推理，硬件结构简单，实现低功耗、低成本的三维人体姿态估计。
(2)本发明方法获取到分辨率在厘米级别的雷达回波信号，利用距离-多普勒图像作为构建姿态子信号样本的基础，充分利用了雷达回波信号的微距离和微多普勒特征，获取更为精细的微距离特征的姿态信息，实现高精度的三维人体姿态估计。
(3)本发明方法借助Kinect深度摄像机和时间戳获取姿态子信号样本的标签，基于标签的监督作用对姿态估计模型进行训练优化，实现高准确率的三维人体姿态估计。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图做简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动前提下，还可以根据这些附图获得其他附图。
图1是本发明实施例提供的一种基于低通道雷达的三维人体姿态估计方法的流程图；
图2是本发明实施例提供的姿态子信号样本构建过程的示意图；
图3是本发明实验例提供的原地踏步姿势下两个单通道的距离-多普勒图像；
图4是本发明实施例提供的表示人体姿态的16个关节点分布及其名称示意图；
图5是本发明实施例提供的基于卷积神经网络的姿态估计模型示意图；
图6是本发明实验例提供的三维人体姿态估计的定性分析结果。
具体实施方式
为使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例对本发明进行进一步的详细说明。应当理解，此处所描述的具体实施方式仅仅用以解释本发明，并不限定本发明的保护范围。
本发明的发明构思为：针对现有技术中基于雷达传感器的人体姿态估计方法存在系统复杂度和能耗高以及识别精度和准确性需进一步提高的问题，本发明实施例提供了一种基于低通道雷达的三维人体姿态估计方法，利用雷达回波信号中的微距离和微多普勒特征采集人体姿态信息，降低成本和系统复杂度，并构建基于卷积神经网络的姿态估计模型，借助Kinect深度摄像机构建真实标签进行模型训练和优化，提高三维人体姿态估计的识别精度和准确性。
图1本发明实施例提供的一种基于低通道雷达的三维人体姿态估计方法的流程图。如图1所示，实施例提供了一种基于低通道雷达的三维人体姿态估计方法，包括以下步骤：
步骤1，采集带有人体姿态信息的低通道雷达回波信号。
具体地，在人体目标活动区域的不同位置分别设置至少两台低通道的雷达传感器，人体目标在活动区域内重复执行一个动作，通过雷达传感器的发射机向人体目标发射固定周期的脉冲信号，被人体目标的各个骨架关节点反射，再由雷达传感器的接收机将反射的雷达回波信号接收，雷达回波信号的距离分辨率为厘米级别。
步骤2，滤除雷达回波信号中的杂波。
由于室内环境中存在大量相对静止的家具物品，在雷达回波信号中反映为静止杂波，因此需要滤除杂波，防止其对姿态估计带来干扰。
具体地，使用SVD算法滤除雷达回波信号中的杂波。通过将连续的多个雷达回波信号组成一个雷达信号矩阵，然后采用SVD算法将以二维矩阵形式表示的雷达信号分解为奇异值和奇异向量，并将前p个较大的奇异值置零后，重组奇异值和奇异向量，获得杂波滤除后的雷达信号矩阵，其中，p取值为1～3。
对于尺寸为M×N的雷达信号矩阵R，进行分解时有：
其中，U和V分别为大小(M×M)和(N×N)的酉矩阵(Unitary Matrix)；S为R的奇异值构成的对角矩阵，即S＝diag(σ1,σ2,…,σr)，其中σ1≥σ2≥…≥σr≥0；ui和vi分别为矩阵U和V的列向量；Mt表示目标分量，Mc表示杂波分量，Mn表示噪声分量。Mc可以通过选取前p个奇异值较大的值进行重构，由于杂波能量通常远大于目标回波能量，且具有较大的奇异值的信号分量在原始数据重占据较大的比重，通过SVD算法便可去除杂波分量Mc。
步骤3，将滤除杂波后的雷达回波信号进行分割和快速傅里叶变换得到多个距离-多普勒图像，将时间戳相同的一组距离-多普勒图像作为一个姿态子信号样本。
传统的运动相关特征通常会根据微运动所带来的微多普勒特征在时间-多普勒图像上进行提取，但当人体目标在运动的过程中，在不同的距离单元上也会存在一些显著的微距离特征，因此，为了获取更为精细的人体目标姿态特征信息，利用距离-多普勒图像作为构建姿态子信号样本的基础。
具体地，如图2所示，将每个雷达传感器采集到的滤除杂波后的雷达回波信号，依据时间戳进行对齐；通过滑动窗口的方法沿着慢时间轴进行分割得到一系列姿态子矩阵；然后对每个姿态子矩阵沿着快时间轴进行快速傅里叶变换(FFT)得到距离-多普勒图像(RDI)；最后将时间戳相同的一组距离-多普勒图像(RDI)作为一个姿态子信号样本(RDIs)。
步骤4，利用时间戳与NTP协议将Kinect深度摄像机获得的真实人体骨骼帧与姿态子信号样本进行对齐并标注，进一步建立姿态子信号样本数据集。
具体地，为了对姿态进行描述，选定16个骨架关节点，如图4所示，包括头、脖子、脊梁、胯、左肩、左肘、左手、右肩、右肘、右手、左臀、右臀、左膝盖、右膝盖、左脚和右脚。利用这16个关节点的空间位置来刻画目标的姿态，由于需要实现三维姿态估计，所以每个关节点坐标位置将会由Xi、Yi和Zi来进行表示，这里i表示第i个关节点，对于每个雷达姿态子信号样本需要有16×3共48维数据作为其真实姿态标记。
具体地，利用Kinect深度摄像机采集真实人体骨骼帧直接包含以上48维数据。Kinect帧率为30帧/秒，通过平均采样方法将真实人体骨骼帧进行降频至10帧/秒，与姿态子信号样本的帧率保持一致。由于人体骨骼帧与姿态子信号样本在存储时都保留了初始采集时间戳，同时两套采集系统的PC端处于同一个局域网，依据时间戳与NTP协议将降频后的真实人体骨骼帧与姿态子信号样本进行同步对齐，将同步处作为各自的起始。将对齐后的真实人体骨骼帧中包含的各骨架关节点的三维坐标作为姿态子信号样本的标签。
在构建姿态子信号样本数据集时，采集不同人体目标的多个动作姿态生成多个姿态子信号样本，构建为含有标签的姿态子信号样本数据集，并划分为训练集、验证集和测试集。其中，训练集用于利用反向传播算法更新卷积神经网络中各个神经元的权重以获取最佳模型参数；验证集用于在训练时评估模型性能，调整模型的超参数避免模型过拟合；测试集用于测试模型对未参与过模型训练数据的泛化能力以及实际表现。
步骤5，构建基于卷积神经网络的姿态估计模型，利用姿态子信号样本数据集对姿态估计模型进行训练并优化参数
具体地，如图5所示，基于卷积神经网络的姿态估计模型，包括样本输入模块、特征提取模块、映射回归模块和姿态估计输出模块。
其中，样本输入模块用于接收包含一组距离-多普勒图像的姿态子信号样本。特征提取模块包括卷积层、Dropout层和BN层，其中，卷积层用于提取输入样本中的图像形状及纹理特征，Dropout层用于防止神经网络过拟合，BN层用于避免每个最小批处理后数据分布的重大变化。映射回归模块包括Flatten层和全连接层，由特征提取模块提取到的特征经过Flatten层进行展开作为全连接层的输入，全连接层进行回归并输出每个关节点对应的坐标位置。姿态估计输出模块用于将对应坐标位置连接形成可视化的三维人体姿态估计图像作为最终结果。
步骤6，利用参数优化后的姿态估计模型对输入的姿态子信号样本进行预测得到人体目标的关节点坐标，最终生成三维人体姿态估计图像。
实验例
为清晰化本发明的方法流程，更直观的展现方法的结果，在此附上实验例来对其进行进一步的补充说明，需要说明的是，实验例中的参数是基于目标动作频率、计算量等因素权衡后的结果，仅代表一种实施方式。
本实验例中共有3名志愿者，他们对应的生理特征如表1所示：
表1实验志愿者生理特征
目标 性别 身高/cm 体重/kg
志愿者1 女 160 61
志愿者2 男 172 58
志愿者3 男 179 72
志愿者在设计的3m×3m活动区域执行指定动作姿势，两台单通道超宽带雷达传感器分别设置在距离活动区域边缘外横向(人体目标正面)1m处和纵向(人体目标侧面)1m处，雷达传感器高度设置为1.4m处，Kinect深度摄像机放置在与人体目标正面雷达相同的位置，相机放置高度为1m。设置雷达帧率为500帧/s，采集的人体姿态动作信号频率小于250Hz，满足奈奎斯特采样定律。每名志愿者单独在活动区域执行12种常规动作姿势：扩胸运动、双手举起、跳跃运动、左手举起、右手举起、左弓步、右弓步、左高抬腿、右高抬腿、踢腿、原地踏步和走路，对于每个动作执行120s，共采集到120×12×3×2×500＝432000帧的雷达回波信号。
将采集到的雷达回波信号经过预处理滤除杂波，根据人类一般动作频率为0.6Hz～0.8Hz，划分出一个姿态子矩阵的持续时间为100ms，即对于姿态子信号样本构造步骤的慢时间分割窗口长度设置为100帧，滑窗步进设置为50帧。对得到的每个姿态子信号样本在距离维度执行快速傅里叶变换以生成距离-多普勒图像，将距离-多普勒图像幅值进行归一化处理到0～255的范围并灰度化成图像，最后将图像的大小将调整为64×64。如图3所示，为原地踏步姿势下两个单通道的距离-多普勒图像，两幅距离-多普勒图像进行拼接得到一个64×64×2的姿态子信号样本作为姿态估计模型的输入样本。
根据采集到的数据制作成包含3个志愿者、12种动作的数据集，构建了4320个样本的姿态子信号样本数据集，按照训练集：验证集：测试集为0.6：0.2：0.2的比例划分。其中，训练集用于反向传播算法更新CNN中各个神经元的权重以获取最佳识别模型，验证集用于在训练时评估模型性能并调整模型的超参数避免模型过拟合，测试集用于测试模型在未经训练的数据下的泛化能力以及实际表现。
选择基于动量和自适应学习率(Learning Rate，LR)的Adam作为优化器，并设置初始LR为0.0005，批数量(batch size)为128，迭代期数(epoch)为400。
姿态估计模型的超参数(hyper-parameter)组合选择及评估如表2所示：
表2模型超参数评估
卷积核的大小决定了它的感受野，合适的感受野使CNN能够有效地利用图像处理中的数据，提高模型估计的准确性。实验结果表明，与其他尺寸相比，5×5卷积核尺寸的性能最好。卷积层的数量影响图案的空间层次结构。第一卷积层可以学习较小的局部模式，如边缘，而第二卷积层可以从第一层学习由特征组成的较大模式，以此类推。然而，过多的层会导致梯度消失或爆炸的问题，因此，在实验的基础上，选择4个卷积层作为最优模型参数，最优模型的估计误差为6.10cm。
对模型的定性分析如图6所示，第一列显示了人体目标以各种姿势面对正面雷达和Kinect深度摄像机的实验场景，第二列显示了Kinect深度摄像机采集到的真实姿态图像，第三列显示了使用本发明方法得到的三维人体姿态估计图像。从实验结果可以看出，使用本发明方法估计的人体姿态与真实人体姿态在定性分析上保持一致。
为进一步对实验结果进行定量评估，包含16个骨架关节点的详细估计误差结果如表3所示：
表3 16个骨架关节点的估计误差
可以看出，X、Y和Z轴上16个关节点的平均绝对误差分别为5.35cm、4.95cm和8.00cm。通常，X轴和Y轴上的误差小于Z轴上的误差，因为人体目标在运动时涉及X轴和Y轴方向的位移小于Z轴的位移。大多数关节点的平均绝对误差(MAE)小于7.00cm，但也有一些显著的例外，如左、右肘和左、右手。这可能是由于小体积关节所产生的雷达散射面(RCS)较小，需要更高距离分辨率才能实现定位，但实验例所使用的超宽带雷达传感器距离分辨率为5.14cm，这本身对于重构手、肘等关节来说就是具有挑战性的。
由于不含MIMO结构的基于低通道雷达的三维人体姿态估计是一个新的研究领域，低通道低成本雷达姿态估计方法充分地利用了雷达信号中的时间、空间距离和频率的信息，而且以一种无需用户进行主动验证的方式实现了对人姿态的估计，因此本发明方法的准确性在人体姿态估计技术的发展中具有一定的竞争力。需要说明的是，本发明方法使用的低通道雷达传感器不限于毫米波雷达和超宽带雷达，此外，本发明所使用的方法对于能产生更加密集信息的MIMO结构的雷达体制同样适用。
以上所述的具体实施方式对本发明的技术方案和有益效果进行了详细说明，应理解的是以上所述仅为本发明的最优选实施例，并不用于限制本发明，凡在本发明的原则范围内所做的任何修改、补充和等同替换等，均应包含在本发明的保护范围之内。

Claims (9)

1.一种基于低通道雷达的三维人体姿态估计方法，其特征在于，包括以下步骤：
采集带有人体姿态信息的低通道雷达回波信号；
滤除雷达回波信号中的杂波；
将滤除杂波后的雷达回波信号进行分割和快速傅里叶变换得到多个距离-多普勒图像，将时间戳相同的一组距离-多普勒图像作为一个姿态子信号样本；
利用时间戳与NTP协议将Kinect深度摄像机获得的真实人体骨骼帧与姿态子信号样本进行对齐并标注，进一步建立姿态子信号样本数据集；
构建基于卷积神经网络的姿态估计模型，利用姿态子信号样本数据集对姿态估计模型进行训练并优化参数；
利用参数优化后的姿态估计模型对输入的姿态子信号样本进行预测得到人体目标的关节点坐标，最终生成三维人体姿态估计图像。
2.根据权利要求1所述的基于低通道雷达的三维人体姿态估计方法，其特征在于，所述采集带有人体姿态信息的低通道雷达回波信号，包括：
在人体目标活动区域的不同位置分别设置低通道的雷达传感器，人体目标在活动区域内重复执行一个动作，通过雷达传感器的发射机向人体目标发射固定周期的脉冲信号，被人体目标的各个骨架关节点反射，再由雷达传感器的接收机将反射的雷达回波信号接收。
3.根据权利要求1所述的基于低通道雷达的三维人体姿态估计方法，其特征在于，所述雷达回波信号，其距离分辨率为厘米级别。
4.根据权利要求1所述的基于低通道雷达的三维人体姿态估计方法，其特征在于，使用SVD算法滤除雷达回波信号中的杂波，通过将连续的多个雷达回波信号组成二维矩阵，分解为奇异值和奇异向量，重组奇异值和奇异向量，获得滤除杂波后的雷达回波信号。
5.根据权利要求1所述的基于低通道雷达的三维人体姿态估计方法，其特征在于，所述将滤除杂波后的雷达回波信号进行分割和快速傅里叶变换得到多个距离-多普勒图像，将时间戳相同的一组距离-多普勒图像作为一个姿态子信号样本，包括：
将每个雷达传感器采集到的滤除杂波后的雷达回波信号，依据时间戳进行对齐，通过滑动窗口的方法沿着慢时间轴进行分割得到一系列姿态子矩阵；然后对每个姿态子矩阵沿着快时间轴进行快速傅里叶变换得到距离-多普勒图像；最后将时间戳相同的一组距离-多普勒图像作为一个姿态子信号样本。
6.根据权利要求2所述的基于低通道雷达的三维人体姿态估计方法，其特征在于，所述利用时间戳与NTP协议将Kinect深度摄像机获得的真实人体骨骼帧与姿态子信号样本进行对齐并标注，包括：
利用Kinect深度摄像机采集真实人体骨骼帧，通过平均采样方法将真实人体骨骼帧进行降频，与姿态子信号样本的帧率保持一致；依据时间戳与NTP协议将降频后的真实人体骨骼帧与姿态子信号样本进行对齐；将对齐后的真实人体骨骼帧中包含的各骨架关节点的三维坐标作为姿态子信号样本的标签。
7.根据权利要求6所述的基于低通道雷达的三维人体姿态估计方法，其特征在于，所述骨架关节点采用16个关节点，包括头、脖子、脊梁、胯、左肩、左肘、左手、右肩、右肘、右手、左臀、右臀、左膝盖、右膝盖、左脚和右脚。
8.根据权利要求1所述的基于低通道雷达的三维人体姿态估计方法，其特征在于，所述构建姿态子信号样本数据集，为采集不同人体目标的多个动作姿态生成多个姿态子信号样本，构建为含有标签的姿态子信号样本数据集，并划分为训练集、验证集和测试集；
所述训练集用于利用反向传播算法更新卷积神经网络中各个神经元的权重以获取最佳模型参数；所述验证集用于在训练时评估模型性能，调整模型的超参数避免模型过拟合；所述测试集用于测试模型对未参与过模型训练数据的泛化能力以及实际表现。
9.根据权利要求1所述的基于低通道雷达的三维人体姿态估计方法，其特征在于，所述基于卷积神经网络的姿态估计模型，包括样本输入模块、特征提取模块、映射回归模块和姿态估计输出模块；
所述样本输入模块用于接收包含一组距离-多普勒图像的姿态子信号样本；
所述特征提取模块包括卷积层、Dropout层和BN层，其中，卷积层用于提取输入样本中的图像形状及纹理特征，Dropout层用于防止神经网络过拟合，BN层用于避免每个最小批处理后数据分布的重大变化；
所述映射回归模块包括Flatten层和全连接层，由特征提取模块提取到的特征经过Flatten层进行展开作为全连接层的输入，全连接层进行回归并输出每个关节点对应的坐标位置；
所述姿态估计输出模块用于将对应坐标位置连接形成可视化的三维人体姿态估计图像作为最终结果。
CN202310821946.3A 2023-07-06 2023-07-06 一种基于低通道雷达的三维人体姿态估计方法 Pending CN117058228A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310821946.3A CN117058228A (zh) 2023-07-06 2023-07-06 一种基于低通道雷达的三维人体姿态估计方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310821946.3A CN117058228A (zh) 2023-07-06 2023-07-06 一种基于低通道雷达的三维人体姿态估计方法

Publications (1)

Publication Number Publication Date
CN117058228A true CN117058228A (zh) 2023-11-14

Family

ID=88656172

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310821946.3A Pending CN117058228A (zh) 2023-07-06 2023-07-06 一种基于低通道雷达的三维人体姿态估计方法

Country Status (1)

Country Link
CN (1) CN117058228A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117456612A (zh) * 2023-12-26 2024-01-26 西安龙南铭科技有限公司 基于云计算的形体姿态自动评估方法和系统

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117456612A (zh) * 2023-12-26 2024-01-26 西安龙南铭科技有限公司 基于云计算的形体姿态自动评估方法和系统
CN117456612B (zh) * 2023-12-26 2024-03-12 西安龙南铭科技有限公司 基于云计算的形体姿态自动评估方法和系统

Similar Documents

Publication Publication Date Title
CN112433207B (zh) 基于双通道卷积神经网络的人体身份识别方法
CN117058228A (zh) 一种基于低通道雷达的三维人体姿态估计方法
Ren et al. Vital sign detection in any orientation using a distributed radar network via modified independent component analysis
CN114219853A (zh) 一种基于无线信号的多人三维姿态估计方法
CN112711979A (zh) 基于生物雷达的慢速随机运动下非接触生命体征监测
Zhang et al. Application of multi-angle millimeter-wave radar detection in human motion behavior and micro-action recognition
Zhou et al. Md-pose: Human pose estimation for single-channel uwb radar
Waqar et al. Direction-independent human activity recognition using a distributed MIMO radar system and deep learning
Li et al. Advancing IR-UWB radar human activity recognition with Swin-transformers and supervised contrastive learning
CN115469303A (zh) 一种检测人体姿态和生命体征的认知生物雷达方法与装置
Zhu et al. A dataset of human motion status using ir-uwb through-wall radar
CN110111360B (zh) 一种基于自组织映射网络的穿墙雷达人体动作表征方法
Gong et al. Human activity recognition with FMCW radar using few-shot learning
Zheng et al. Through-Wall Human Pose Estimation by Mutual Information Maximizing Deeply-Supervised Nets
Foroughian et al. Non-contact multi-subject human gait analysis using a state-space method with enhanced 1-D block representation
CN115390058A (zh) 基于微多普勒特征的单通道超宽带雷达人体姿态估计方法
Rana et al. 3-D gait abnormality detection employing contactless IR-UWB sensing phenomenon
Hadjipanayi et al. Remote Gait Analysis Using Ultra-Wideband Radar Technology Based on Joint Range-Doppler-Time Representation
JP7377494B2 (ja) 属性の識別装置および識別方法
Rahman et al. Radar-Based Human Skeleton Estimation with CNN-LSTM Network Trained with Limited Data
Cao et al. Task-Specific Feature Purifying in Radar-Based Human Pose Estimation
Zhong et al. Human motion recognition in small sample scenarios based on GaN and CNN models
CN113421281A (zh) 一种基于分割理论的行人微动部位分离方法
Bouazizi et al. A Novel Approach for Heartbeat Rate Estimation using 3D Lidar and Multi-Beam MIMO Doppler Radar
Li et al. Spatiotemporal Weighted Micro-Doppler Spectrum Design for Soft Synchronization FMCW Radar

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination