CN117055004A - 一种基于毫米波雷达稀疏点云的三维人体骨架估计方法 - Google Patents

一种基于毫米波雷达稀疏点云的三维人体骨架估计方法 Download PDF

Info

Publication number
CN117055004A
CN117055004A CN202311024139.5A CN202311024139A CN117055004A CN 117055004 A CN117055004 A CN 117055004A CN 202311024139 A CN202311024139 A CN 202311024139A CN 117055004 A CN117055004 A CN 117055004A
Authority
CN
China
Prior art keywords
point cloud
millimeter wave
wave radar
sparse point
root node
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202311024139.5A
Other languages
English (en)
Inventor
李伟
周金海
雷雯
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang University ZJU
Original Assignee
Zhejiang University ZJU
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang University ZJU filed Critical Zhejiang University ZJU
Priority to CN202311024139.5A priority Critical patent/CN117055004A/zh
Publication of CN117055004A publication Critical patent/CN117055004A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/02—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00
    • G01S7/41—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00 using analysis of echo signal for target characterisation; Target signature; Target cross-section
    • G01S7/411—Identification of targets based on measurements of radar reflectivity
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks
    • G06N3/0442—Recurrent networks, e.g. Hopfield networks characterised by memory or gating, e.g. long short-term memory [LSTM] or gated recurrent units [GRU]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/048—Activation functions
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Software Systems (AREA)
  • Computational Linguistics (AREA)
  • Molecular Biology (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Health & Medical Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Computer Graphics (AREA)
  • Geometry (AREA)
  • Electromagnetism (AREA)
  • Radar Systems Or Details Thereof (AREA)

Abstract

本发明公开了一种基于毫米波雷达稀疏点云的三维人体骨架估计方法，包括以下步骤：利用毫米波雷达传感器采集带有人体姿态信息的稀疏点云数据，去除噪声点云；设置深度传感器同步采集三维人体骨架坐标作为稀疏点云数据的真实标签；构建姿态估计模型，从稀疏点云数据中提取空间特征并融合后，进一步提取时空特征并融合，最后进行特征回归得到三维人体骨架坐标；基于去除噪声并添加真实标签的稀疏点云数据对姿态估计模型进行训练，计算人体根节点估计值和真实值的误差，及其他关节点与根节点之间距离的估计值与真实值的误差这两部分损失函数，优化模型参数；利用参数优化后的姿态估计模型实现高精度的三维人体骨架估计。

Description

一种基于毫米波雷达稀疏点云的三维人体骨架估计方法
技术领域
本发明属于人体姿态估计技术领域，具体涉及一种基于毫米波雷达稀疏点云的三维人体骨架估计方法。
背景技术
人体运动感知与分析是未来智能家居不可或缺的核心功能，可以为一些特定人群，如居家养老的老年人，提供智能服务。人体姿态估计(Human Pose Estimation，HPE)是动作识别与健康评估等活动中的重要辅助工具，通过将一个人的姿态可视化可以直观地展示人体的动作，增加动作识别的置信度，减少误报概率。同时对人体康复运动而言，将识别出的姿态与标准运动进行比较，可以帮助评估他们的恢复进展或身体状况。
人体姿态估计的传统方法大都依赖于视觉传感器和可穿戴式惯性传感单元，但这些方法存在一定的局限性。基于视觉的系统涉及隐私问题以及光照、遮挡等环境影响，而可穿戴设备通常具有侵入性且不被广泛接受。
为解决这些问题，以电磁波作为信息载体的新型主动检测方式逐渐新起，它可以解决由于光照条件差、障碍物遮挡和各类恶劣天气等复杂环境所引起的检测困难问题。目前基于电磁波传感器的HPE通常依赖于Wi-Fi设备，如WiFi-Person和WiPose，然而Wi-Fi信号容易受到周围环境的影响，如房间物体的布局和目标对象相邻的物体等，这些特性都会影响其对人体姿态估计的准确度。
基于雷达传感器的HPE中，毫米波雷达信号由于穿透性强，可以实现非接触式姿态识别，具有更好的环境鲁棒性，设备部署简单以及具有较高的距离和速度分辨率等特点而被广泛应用，目前基于毫米波雷达信号的人体姿态估计方法主要为基于图像的方法和基于点云的方法。
公开号为CN114926860A的发明专利申请公开了基于毫米波雷达的三维人体姿态估计方法，该方法采用图神经网络对人体的关节之间的空间关系和运动特点进行编码，使用基于能量的损失模型将回归问题转化为分类问题，并且使用前一帧的输出姿态来辅助当前帧的估计，从而实现人体姿态估计，但基于图像的方法由于需要采集处理多普勒图像，因此前端硬件设备较为复杂。
公开号为CNl13449637A的发明专利申请公开了毫米波雷达人体骨骼姿势估计方法和装置，该方法通过毫米波雷达采集点云数据，并从深度学习的角度出发，直接在点云数据上进行操作，采用多层感知机实现对输入点的卷积，通过对输入点的特征应用多层感知机，增加了模型的非线性表达能力，从而实现对人体骨骼姿势进行有效预测，但该方法并未对估计的精度进行表征。基于点云的方法相较于基于图像的方法设备更简单，但通常是依赖成本较高的高通道、高分辨率的毫米波雷达传感器获取较为密集的点云数据实现高精度估计。
发明内容
鉴于上述，本发明的目的是提供一种基于毫米波雷达稀疏点云的三维人体骨架估计方法，该方法采用基于调频连续波的毫米波雷达，获取人体反射的稀疏点云数据，利用姿态估计模型对稀疏点云数据的空间特征和时间特征进行提取并融合，回归得出三维空间中的人体骨架坐标，实现高精度的三维人体骨架估计。
为实现上述发明目的，本发明提供的技术方案如下：
第一方面，本发明实施例提供了一种基于毫米波雷达稀疏点云的三维人体骨架估计方法，包括以下步骤：
利用毫米波雷达传感器采集带有人体姿态信息的稀疏点云数据，去除噪声点云；
设置深度传感器同步采集三维人体骨架坐标作为稀疏点云数据的真实标签；
构建姿态估计模型，包含空间特征提取模块、空间特征融合模块、时空特征提取及融合模块和特征回归模块，从稀疏点云数据中提取空间特征并融合后，进一步提取时空特征并融合，最后进行特征回归得到三维人体骨架坐标；
基于去除噪声并添加真实标签的稀疏点云数据对姿态估计模型进行训练，计算人体根节点估计值和真实值的误差，以及其他关节点与根节点之间距离的估计值与真实值的误差这两部分损失函数，优化模型参数；
利用参数优化后的姿态估计模型进行三维人体骨架估计。
优选地，所述毫米波雷达传感器采用低通道天线阵列，生成稀疏点云数据。
优选地，所述去除噪声点云包括：使用空间滤波去除由毫米波雷达多径效应引起的处于人体活动区域之外的噪声点云；使用基于密度优先的聚类算法对稀疏点云数据进行聚类分组，去除置信区间内的噪声点云。
优选地，所述深度传感器与所述毫米波雷达传感器通过NTP协议进行同步，深度传感器选用深度摄像机。
优选地，在空间特征提取模块中，采用共享参数的多层感知机网络提取稀疏点云数据的空间特征，得到多通道高维特征在空间特征融合模块中，利用注意力机制，根据稀疏点云数据中每个点的高维特征/>对每个点赋予不同的权重，根据权重融合每个通道不同点的特征，得到表征单帧点云的全局高维空间特征gt：
其中，F(·)为线性映射函数，θl为线性映射函数F(·)中可学习的参数，l为感知机的层数，nt为t时刻点云数据中点的个数，j为点云中的第j个点；Softmax(·)为Softmax函数。
优选地，在时空特征提取及融合模块中，先采用长短时记忆网络对过去0到L/2-1时刻、当前L/2时刻以及未来L/2+1到L时刻的全局高维空间特征gt进一步提取时空特征，将所有时刻共L帧的时空特征进行融合；在特征回归模块中，将时空融合的特征送入全连接层，回归估计出L/2时刻点云帧对应的三维人体骨架坐标。
优选地，所述计算人体根节点估计值和真实值的误差，以及其他关节点与根节点之间距离的估计值与真实值的误差这两部分损失函数，包括：
第一部分为计算人体根节点的平均绝对误差Lc，表征对人体骨架整体的定位，以减小估计的根节点坐标rt和真实的根节点坐标r′t的距离误差：
其中，Lc为人体根节点的平均绝对误差，rt为估计的根节点坐标，r′t为真实的根节点坐标，T为点云序列选取的时间长度，t为时间长度T中任一时刻；
第二部分为计算其他关节点与根节点的距离的平均绝对误差Lr，表征对人体骨架姿态的估计，以减小估计的其他所有关节点到估计的根节点rt的距离相对于真实的其他节点到真实的根节点的距离的误差：
其中，Lr为其他关节点与根节点的距离的平均绝对误差，i为第i个人体关节点，N为人体关节点的总数，为t时刻第i个关节点的估计坐标，/>为t时刻第i个关节点的真实坐标，rt为t时刻根节点的估计坐标，r′t为t时刻根节点的真实坐标；
最后，总的损失函数Lall表示为：
Lall＝λ·Lc+(1-λ)·Lr
其中，λ为权重系数。
第二方面，为实现上述发明目的，本发明实施例还提供了一种基于毫米波雷达稀疏点云的三维人体骨架估计装置，包括存储器和处理器，所述存储器用于存储计算机程序，其特征在于，所述处理器用于当执行所述计算机程序时，实现第一方面本发明实施例提供的基于毫米波雷达稀疏点云的三维人体骨架估计方法。
第三方面，为实现上述发明目的，本发明实施例还提供了一种计算机可读的存储介质，所述存储介质上存储有计算机程序，其特征在于，所述计算机程序使用计算机时，实现第一方面本发明实施例提供的基于毫米波雷达稀疏点云的三维人体骨架估计方法。
与现有技术相比，本发明具有的有益效果至少包括：
(1)本发明方法采用低通道的基于调频连续波的毫米波雷达获取人体反射的雷达稀疏点云数据，具有更好的环境鲁棒性，设备部署简单。
(2)本发明方法利用姿态估计模型对雷达稀疏点云数据提取空间特征并融合，进一步提取时空特征并融合，在时空特征提取时基于长短时记忆网络，融合了过去和未来的时序特征，回归得出三维空间中的人体骨架坐标，补偿了点云信息的丢失，提高了估计精度。
(3)本发明方法采用人体根节点和其他关节点与根节点这两部分损失函数来优化姿态估计模型的参数，提高了人体骨架坐标的估计精度。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图做简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动前提下，还可以根据这些附图获得其他附图。
图1是本发明实施例提供的基于毫米波雷达稀疏点云的三维人体骨架估计方法的整体流程图；
图2是本发明实施例提供的Kinect V3深度摄像机对稀疏点云数据标注真实标签的表示图；
图3是本发明实施例提供的表示伸展运动相邻9帧稀疏点云数据图；
图4是本发明实施例提供的人体骨架关节点示意图；
图5是本发明实施例提供的姿态估计模型的神经网络结构图；
图6是本发明实施例提供的姿态估计模型输出的定性分析结果；
图7是本发明实施例提供的DBSCAN算法点云聚类图。
具体实施方式
为使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例对本发明进行进一步的详细说明。应当理解，此处所描述的具体实施方式仅仅用以解释本发明，并不限定本发明的保护范围。
本发明的发明构思为：针对现有技术中基于图像的人体姿态估计方法硬件设备复杂，而基于点云的高精度人体姿态估计需生成密集点云数据导致设备成本高的问题，本发明实施例提供了一种基于毫米波雷达稀疏点云的三维人体骨架估计方法，采集稀疏点云数据，利用姿态估计模型得到时空融合特征并进行特征回归输出三维人体骨架坐标，计算损失函数优化模型，实现高精度三维人体骨架估计。
图1是本发明实施例提供的基于毫米波雷达稀疏点云的三维人体骨架估计方法的整体流程图。如图1所示，实施例提供了一种基于毫米波雷达稀疏点云的三维人体骨架估计方法，包括以下步骤：
步骤(1)，利用毫米波雷达传感器采集带有人体姿态信息的稀疏点云数据，去除噪声点云。
1a)，设置毫米波雷达传感器的各项参数。毫米波雷达传感器距离分辨率在厘米级别，探测距离十米以内，速度分辨率为0.19m/s，点云数量小于128个，采用通道数小于等于12的低通道天线阵列，以每秒10帧的帧率采集稀疏点云数据，在采集数据时对每帧数据记录时间戳。
实施例中，雷达参数配置如表1所示，这些配置的参数之间相互制约，共同决定了雷达波的发射周期、ADC在每个雷达波上的采样点数等。
表1雷达参数配置
起始频率(Ghz) 60.0000
频率变化率(MHZ/us) 55.0000
每个雷达波的采样点数(个) 144
每一帧的雷达波数(个) 96
采样频率(Msps) 2.224
带宽(GHZ) 3.6000
帧率(FPS) 10
发射天线数(个) 3
接收天线数(个) 4
1b)，采集稀疏点云数据。采用调频连续波(FMCW)体制的毫米波雷达传感器进行信号的发射和接收，对于人体目标而言，雷达连续波由发射机发射，被人体目标的各个骨架关节点反射后，再由接收机将反射的回波信号接收、混频，得到中频(IF)信号，然后再对中频信号进行距离维、多普勒维和角度维三个维度的傅里叶变换(FFT)以及恒虚警检测算法(CFAR)选取目标点，最后再进行坐标变换便得到了点云数据。
1c)，使用空间滤波去除由毫米波雷达多径效应引起的处于人体活动区域之外的噪声点云。
由于雷达探测范围中存在一些不属于人体活动的额外区域，如天花板、地板下等。理想情况下这些额外区域中不会有点云信号的生成，但在复杂的现实环境中，由于毫米波雷达的多径效应以及外界其他物体的影响，会有些杂散点云出现在这些区域内，从而影响姿态估计模型对三维人体骨架的估计。因此，根据人体的活动区域划定点云置信区间，利用空间滤波将处于置信区间外的噪声点云信号滤除。
1d)，使用基于密度优先的聚类算法对稀疏点云数据进行聚类分组，去除置信区间内的噪声点云。
在置信区间内仍会有噪声点云的存在，需要选择一种合适的算法去除这部分噪声点云。DBSCAN算法是一种基于样本密度的聚类算法，通过设置半径r和邻域中数据数量阈值q，便可以自动对点云数据进行聚类，同时过滤噪声点云。如图7所示，坐标中间聚集的密集点云为蕴涵人体姿态信息的点云数据，右侧散落的杂散点云便是噪声点云。
实施例中，半径r依经验取值为1，邻域中数据数量阈值q依经验取值为10。
步骤(2)，设置深度传感器同步采集三维人体骨架坐标作为稀疏点云数据的真实标签。
实施例中，为了对姿态进行描述，选定如图4所示的人体骨架关节点示意图，其中关节点从0到15依次为头、脖子、脊梁、胯、左肩、左肘、左手、右肩、右肘、右手、左臀、左膝盖、左脚踝、右臀、右膝盖和右脚共16个关节点。在符合人体结构的约束下，通过改变每个关节点的三维空间坐标(xi，yi，zi)，i＝0，...，N，即可刻画目标的不同姿态，这里i为第i个关节点，N为关节点个数16，对于每一帧的点云数据需要有16×3共48维数据作为真实标签。
实施例中采用的深度传感器为Kinect V3深度摄像机，采集到的人体骨骼帧直接包含以上三维人体骨架坐标的48维数据。通过NTP协议将Kinect V3深度摄像机相连接的主机的时间和毫米波雷达传感器相连的主机的时间同步，Kinect V3深度摄像机帧率设置为30帧/秒，利用平均采样方法将采集到的人体骨骼帧进行降频使得帧率为10帧/秒，与毫米波雷达帧率保持一致，在采集数据时对每帧数据实时记录时间戳。利用时间戳将Kinect V3深度摄像机采集的人体骨骼帧与稀疏点云数据进行对齐，并以人体骨骼帧包含的真实坐标为标签对稀疏点云数据进行标注，标注结果如图2所示，图2(a)为毫米波雷达获得的稀疏点云数据，图2(b)表示采用Kinect V3深度摄像机获得的真实标签。
步骤(3)，构建姿态估计模型，包含空间特征提取模块、空间特征融合模块、时空特征提取及融合模块和特征回归模块，从稀疏点云数据中提取空间特征并融合后，进一步提取时空特征并融合，最后进行特征回归得到三维人体骨架坐标。
3a)，在空间特征提取模块中，采用共享参数的多层感知机网络提取稀疏点云数据的空间特征，得到多通道高维特征
实施例中，姿态估计模型的神经网络结构如图5所示，其中，空间特征提取模块主要由两个共享参数的多层感知机网络(Shared-MLP)组成，用于提取稀疏点云子样本的空间特征。第一个Shared-MLP有三层架构，输入每帧点云的n个点，每个点包含5个特征，经第一层将输入的5个特征升维至8维特征，经第二层将8维特征升维至16维特征，经第三层将16维特征升维至32维特征，最终第一个Shared-MLP输出32维的空间特征。接着使用残差结构拼接原始稀疏点云的语义特征，得到40维的空间特征。再经过第二个感知层进行进一步的空间特征提取，第二个Shared-MLP有三层架构，第一层将40维特征升维至64维特征，第二层将64维特征升维至128维特征，第三层将128维特征升维至256维特征，最终得到256维的高维特征。对于每帧点云中的n个点，维度为(n，5)的特征向量经第一个Shared-MLP得到维度为(n，32)的特征向量，经第二个Shared-MLP最终得到维度为(n，256)的特征向量。
3b)，在空间特征融合模块中，利用注意力机制，根据稀疏点云数据中每个点的高维特征对每个点赋予不同的权重，根据权重融合每个通道不同点的特征，得到表征单帧点云的全局高维空间特征gt：
其中，F(·)为线性映射函数，θl为线性映射函数F(·)中可学习的参数，l为感知机的层数，nt为t时刻点云数据中点的个数，j为点云中的第j个点；Softmax(·)为Softmax函数。
实施例中，每一帧稀疏点云数据均通过空间特征提取模块和空间特征融合模块得到对应的一个表征单帧点云空间信息的256维特征向量。
3c)，在时空特征提取及融合模块中，先采用长短时记忆网络(LSTM)对过去0到L/2-1时刻、当前L/2时刻以及未来L/2+1到L时刻的全局高维空间特征gt进一步提取时空特征，将所有时刻共L帧的时空特征进行融合。这种架构与传统LSTM只利用最后一个单元UL的输出相比，它不仅能够利用过去点云的时序特征，即0到L/2-1时刻的点云序列，还能利用未来点云的时序特征，即未来L/2+1到L时刻的点云序列，这对稀疏点云的处理是很有意义的，因为部分身体点云信息的缺失，除了在过去时刻之外，也可能会在未来时刻出现，如图3的(a)至(i)9张图表示伸展运动的相邻9帧稀疏点云数据图所示，利用好时序信息便能补偿这部分点云信息的丢失。
实施例中，如图5所示，将步骤3b)最终输出的所有表征单帧点云空间信息的256维特征向量分别输入至时空特征提取及融合模块中，分别通过LSTM中对应的单元进行时空特征提取得到包含时空特征的L帧全局特征，将L帧全局特征融合得到维度为(1，L×256)的向量。
3d)，在特征回归模块中，将时空融合的特征送入全连接层，回归估计出L/2时刻点云帧对应的三维人体骨架坐标。
实施例中，将维度为(1，L×256)的向量，输入到全连接层(Full Connect Layer)中，其中全连接层由四层组成，第一层将L×256维特征降维至256维特征，第二层将256维特征降维至128维特征，第三层将128维特征降维至64维特征，第四层将64维特征降维至48为特征，最终输出维度为(1，48)的向量，代表L/2时刻16个人体骨架关节点的三维坐标。
步骤(4)，基于去除噪声并添加真实标签的稀疏点云数据对姿态估计模型进行训练，计算人体根节点估计值和真实值的误差，以及其他关节点与根节点之间距离的估计值与真实值的误差这两部分损失函数，优化模型参数。
损失函数包括两部分：
第一部分为计算人体根节点的平均绝对误差Lc，表征对人体骨架整体的定位，以减小估计的根节点坐标rt和真实的根节点坐标r′t的距离误差：
其中，Lc为人体根节点的平均绝对误差，rt为估计的根节点坐标，r′t为真实的根节点坐标，T为点云序列选取的时间长度，t为时间长度T中任一时刻；实施例中，选取脊梁或胯等核心的关节点作为根节点；
第二部分为计算其他关节点与根节点的距离的平均绝对误差Lr，表征对人体骨架姿态的估计，以减小估计的其他所有关节点到估计的根节点rt的距离相对于真实的其他节点到真实的根节点的距离的误差：
其中，Lr为其他关节点与根节点的距离的平均绝对误差，i为第i个人体关节点，N为人体关节点的总数，为t时刻第i个关节点的估计坐标，/>为t时刻第i个关节点的真实坐标，rt为t时刻根节点的估计坐标，r′t为t时刻根节点的真实坐标；
最后，总的损失函数Lall表示为：
Lall＝λ·Lc+(1-λ)·Lr
其中，λ为权重系数。
步骤(5)，利用参数优化后的姿态估计模型进行三维人体骨架估计。
综上所述，本发明实施例提供的一种基于毫米波雷达稀疏点云的三维人体骨架估计方法，通过采集蕴涵人体姿态信息的毫米波雷达稀疏点云数据，利用滤除噪声点云并添加真实标签的稀疏点云数据训练姿态估计模型，计算两部分损失函数，最后利用训练优化后的姿态估计模型实现三维人体骨架估计，该方法充分利用了雷达稀疏点云序列中所蕴涵的空间信息和时间信息，准确地实现目标对象的姿态估计。
基于同样的发明构思，实施例还提供了一种基于毫米波雷达稀疏点云的三维人体骨架估计装置，包括存储器和处理器，所述存储器用于存储计算机程序，其特征在于，所述处理器用于当执行所述计算机程序时，实现上述本发明实施例提供的基于毫米波雷达稀疏点云的三维人体骨架估计方法。
基于同样的发明构思，实施例还提供了一种计算机可读的存储介质，所述存储介质上存储有计算机程序，其特征在于，所述计算机程序使用计算机时，实现上述本发明实施例提供的基于毫米波雷达稀疏点云的三维人体骨架估计方法。
需要说明的是，上述实施例提供的一种基于毫米波雷达稀疏点云的三维人体骨架估计装置和一种计算机可读的存储介质，均与一种基于毫米波雷达稀疏点云的三维人体骨架估计方法实施例属于同一构思，其具体实现过程详见一种基于毫米波雷达稀疏点云的三维人体骨架估计方法实施例，这里不再赘述。
实验例
为清晰化本发明的方法流程，更直观的展现方法的结果，在此附上实验例来对其进行进一步的补充说明。本实验例中共有三个志愿者，他们对应的生理特征如表2所示：
表2实验志愿者生理特征
志愿者在设计的3m×3m活动区域内执行指定动作姿势，毫米波雷达传感器放置在距离活动区域外1m处，高度设置为1m；Kinect v3深度摄像机放置在与毫米波雷达传感器相近的位置，二者横向距离10cm。设置雷达帧率为10帧/秒，Kinect v3深度摄像机帧率为30帧/秒。每名志愿者单独在活动区域执行10种常规动作姿势：扩胸运动、弯腰运动、跳跃运动、伸展运动、原地踏步、左抬腿、右抬腿、行走、开合跳、前弓步，对于每个动作每个目标执行120s，总共采集了120×10×3×10＝36000帧的雷达稀疏点云数据。
根据采集到的稀疏点云数据制作成包含3个志愿者、10种动作的数据集，并按照3：1：1的比例将数据集划分为训练集、验证集和测试集。其中，训练集用于训练姿态估计模型，通过反向传播更新姿态估计模型中的权重参数，对模型进行优化；验证集用于在训练时评估模型性能，调整模型的超参数避免模型过拟合；测试集用于测试模型在未经训练的数据下的泛化能力以及实际表现。选择基于动量和自适应学习率(1earning rate，LR)的Adam作为优化器，并设置初始LR为0.001，批数量(batch size)为64，迭代期数(epoch)为200。
姿态估计模型输出的定性分析结果如图6所示，图6中(a)、(d)和(g)显示了毫米波雷达实际采集到的稀疏点云数据，(b)、(e)和(h)显示了姿态估计模型估计的结果，(c)、(f)和(i)显示了从Kinect v3深度摄像机上获得的真实姿态。其中(a)、(b)和(c)对应一个动作，(d)、(e)和(f)对应一个动作，(g)、(h)和(i)对应一个动作。从实验结果可以看出，本发明方法得到的三维人体骨架估计结果与真实姿态基本保持一致。
接下来对所提出的模型的性能进行定量分析。16个人体骨架关节点的估计误差结果如表3所示。可以看出，3名志愿者每人16个关节点总体平均估计误差为4.11cm，且大多数关节点的平均绝对误差(Avg-MAE)小于5cm，但也有一些显著的例外，如脚踝和腕关节。一种可能的解释是，由于这些部位的雷达反射面积(RCS)比较小，所以对本就稀疏的点云数据而言，蕴涵这些部位信息的点云数量就更稀疏了，从而增加了模型对这些身体部分信息提取的困难度，进而影响其估计定位误差。不过由于雷达本身的距离分辨率就是厘米级，所以这个定位误差很大程度上也是由系统误差所引起的。而更高的分辨率意味着更加昂贵的雷达设备，这会损害产品的实际效益，且目前的定位误差已经足够反映人体的真实姿态，具备了充足的应用前景。
表316个人体骨架关节点的估计误差
以上基于毫米波雷达稀疏点云的三维人体骨架估计方法充分地利用了稀疏点云数据中蕴涵的空间结构和时序信息，而且以一种无需用户主动进行验证的方式实现了对三维人体的姿态估计，应用场景包括但不限于估计用户姿态，及时检测出用户发生跌倒等突发状况，纠正用户的不良姿势，实现对用户日常活动的监测等。
以上所述的具体实施方式对本发明的技术方案和有益效果进行了详细说明，应理解的是以上所述仅为本发明的最优选实施例，并不用于限制本发明，凡在本发明的原则范围内所做的任何修改、补充和等同替换等，均应包含在本发明的保护范围之内。

Claims (9)

1.一种基于毫米波雷达稀疏点云的三维人体骨架估计方法，其特征在于，包括以下步骤：
利用毫米波雷达传感器采集带有人体姿态信息的稀疏点云数据，去除噪声点云；
设置深度传感器同步采集三维人体骨架坐标作为稀疏点云数据的真实标签；
构建姿态估计模型，包含空间特征提取模块、空间特征融合模块、时空特征提取及融合模块和特征回归模块，从稀疏点云数据中提取空间特征并融合后，进一步提取时空特征并融合，最后进行特征回归得到三维人体骨架坐标；
基于去除噪声并添加真实标签的稀疏点云数据对姿态估计模型进行训练，计算人体根节点估计值和真实值的误差，以及其他关节点与根节点之间距离的估计值与真实值的误差这两部分损失函数，优化模型参数；
利用参数优化后的姿态估计模型进行三维人体骨架估计。
2.根据权利要求1所述的基于毫米波雷达稀疏点云的三维人体骨架估计方法，其特征在于，所述毫米波雷达传感器采用低通道天线阵列，生成稀疏点云数据。
3.根据权利要求1所述的基于毫米波雷达稀疏点云的三维人体骨架估计方法，其特征在于，所述去除噪声点云包括：
使用空间滤波去除由毫米波雷达多径效应引起的处于人体活动区域之外的噪声点云；使用基于密度优先的聚类算法对稀疏点云数据进行聚类分组，去除置信区间内的噪声点云。
4.根据权利要求1所述的基于毫米波雷达稀疏点云的三维人体骨架估计方法，其特征在于，所述深度传感器与所述毫米波雷达传感器通过NTP协议进行同步，深度传感器选用深度摄像机。
5.根据权利要求1所述的基于毫米波雷达稀疏点云的三维人体骨架估计方法，其特征在于，在空间特征提取模块中，采用共享参数的多层感知机网络提取稀疏点云数据的空间特征，得到多通道高维特征在空间特征融合模块中，利用注意力机制，根据稀疏点云数据中每个点的高维特征/>对每个点赋予不同的权重，根据权重融合每个通道不同点的特征，得到表征单帧点云的全局高维空间特征gt：
其中，F(·)为线性映射函数，θl为线性映射函数F(·)中可学习的参数，l为感知机的层数，nt为t时刻点云数据中点的个数，j为点云中的第j个点；Softmax(·)为Softmax函数。
6.根据权利要求5所述的基于毫米波雷达稀疏点云的三维人体骨架估计方法，其特征在于，在时空特征提取及融合模块中，先采用长短时记忆网络对过去0到L/2-1时刻、当前L/2时刻以及未来L/2+1到L时刻的全局高维空间特征gt进一步提取时空特征，将所有时刻共L帧的时空特征进行融合；在特征回归模块中，将时空融合的特征送入全连接层，回归估计出L/2时刻点云帧对应的三维人体骨架坐标。
7.根据权利要求1所述的基于毫米波雷达稀疏点云的三维人体骨架估计方法，其特征在于，所述计算人体根节点估计值和真实值的误差，以及其他关节点与根节点之间距离的估计值与真实值的误差这两部分损失函数，包括：
第一部分为计算人体根节点的平均绝对误差Lc，表征对人体骨架整体的定位，以减小估计的根节点坐标rt和真实的根节点坐标r′t的距离误差：
其中，Lc为人体根节点的平均绝对误差，rt为估计的根节点坐标，r′t为真实的根节点坐标，T为点云序列选取的时间长度，t为时间长度T中任一时刻；
第二部分为计算其他关节点与根节点的距离的平均绝对误差Lr，表征对人体骨架姿态的估计，以减小估计的其他关节点到估计的根节点rt的距离相对于真实的其他节点到真实的根节点的距离的误差：
其中，Lr为其他关节点与根节点的距离的平均绝对误差，i为第i个人体关节点，N为人体关节点的总数，为t时刻第i个关节点的估计坐标，/>为t时刻第i个关节点的真实坐标，rt为t时刻根节点的估计坐标，r′t为t时刻根节点的真实坐标；
最后，总的损失函数Lall表示为：
Lall＝λ·Lc+(1-λ)·Lr
其中，λ为权重系数。
8.一种基于毫米波雷达稀疏点云的三维人体骨架估计装置，包括存储器和处理器，所述存储器用于存储计算机程序，其特征在于，所述处理器用于当执行所述计算机程序时，实现权利要求1-7任一项所述的基于毫米波雷达稀疏点云的三维人体骨架估计方法。
9.一种计算机可读的存储介质，所述存储介质上存储有计算机程序，其特征在于，所述计算机程序使用计算机时，实现权利要求1-7任一项所述的基于毫米波雷达稀疏点云的三维人体骨架估计方法。
CN202311024139.5A 2023-08-15 2023-08-15 一种基于毫米波雷达稀疏点云的三维人体骨架估计方法 Pending CN117055004A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202311024139.5A CN117055004A (zh) 2023-08-15 2023-08-15 一种基于毫米波雷达稀疏点云的三维人体骨架估计方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202311024139.5A CN117055004A (zh) 2023-08-15 2023-08-15 一种基于毫米波雷达稀疏点云的三维人体骨架估计方法

Publications (1)

Publication Number Publication Date
CN117055004A true CN117055004A (zh) 2023-11-14

Family

ID=88660324

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202311024139.5A Pending CN117055004A (zh) 2023-08-15 2023-08-15 一种基于毫米波雷达稀疏点云的三维人体骨架估计方法

Country Status (1)

Country Link
CN (1) CN117055004A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117473880A (zh) * 2023-12-27 2024-01-30 中国科学技术大学 样本数据生成方法及无线跌倒检测方法

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117473880A (zh) * 2023-12-27 2024-01-30 中国科学技术大学 样本数据生成方法及无线跌倒检测方法
CN117473880B (zh) * 2023-12-27 2024-04-05 中国科学技术大学 样本数据生成方法及无线跌倒检测方法

Similar Documents

Publication Publication Date Title
Sengupta et al. mm-Pose: Real-time human skeletal posture estimation using mmWave radars and CNNs
Zhao et al. mid: Tracking and identifying people with millimeter wave radar
Hsieh et al. Deep learning-based indoor localization using received signal strength and channel state information
Yu et al. Noninvasive human activity recognition using millimeter-wave radar
US20190188533A1 (en) Pose estimation
WO2017133009A1 (zh) 一种基于卷积神经网络的深度图像人体关节定位方法
CN113313040B (zh) 基于fmcw雷达信号的人体姿势识别方法
CN110991559B (zh) 一种室内人员行为非接触式协同感知方法
US11238307B1 (en) System for performing change detection within a 3D geospatial model based upon semantic change detection using deep learning and related methods
CN117055004A (zh) 一种基于毫米波雷达稀疏点云的三维人体骨架估计方法
US20220091259A1 (en) System using a priori terrain height data for interferometric synthetic aperture radar (ifsar) phase disambiguation and related methods
CN114818788A (zh) 基于毫米波感知的追踪目标状态识别方法和装置
CN114423034A (zh) 一种室内人员动作识别方法、系统、介质、设备及终端
CN114219853A (zh) 一种基于无线信号的多人三维姿态估计方法
CN114924225A (zh) 一种高精度室内定位方法、装置、设备及介质
CN113196283A (zh) 使用射频信号的姿态估计
CN115469303A (zh) 一种检测人体姿态和生命体征的认知生物雷达方法与装置
CN117058228A (zh) 一种基于低通道雷达的三维人体姿态估计方法
CN116704547A (zh) 一种隐私保护下基于gcn-lstm的人体姿态检测方法
CN116626596A (zh) 一种基于毫米波雷达的社交意图识别方法及系统
Li et al. Gait recognition using spatio-temporal information of 3D point cloud via millimeter wave radar
CN115393955A (zh) 一种利用WiFi基于BVP和WiTransformer的手势识别方法及系统
CN112861699A (zh) 一种基于单张深度图像和多阶段神经网络的任意姿势人体身高估计方法
Huang et al. RPCRS: Human Activity Recognition Using Millimeter Wave Radar
Zhu et al. 3D Human Motion Posture Tracking Method Using Multilabel Transfer Learning

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination