CN115390058B - 基于微多普勒特征的单通道超宽带雷达人体姿态估计方法 - Google Patents

基于微多普勒特征的单通道超宽带雷达人体姿态估计方法 Download PDF

Info

Publication number
CN115390058B
CN115390058B CN202211016403.6A CN202211016403A CN115390058B CN 115390058 B CN115390058 B CN 115390058B CN 202211016403 A CN202211016403 A CN 202211016403A CN 115390058 B CN115390058 B CN 115390058B
Authority
CN
China
Prior art keywords
human body
body posture
micro doppler
wideband radar
ultra
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202211016403.6A
Other languages
English (en)
Other versions
CN115390058A (zh
Inventor
金添
周小龙
戴永鹏
宋永坤
邱志峰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
National University of Defense Technology
Original Assignee
National University of Defense Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by National University of Defense Technology filed Critical National University of Defense Technology
Priority to CN202211016403.6A priority Critical patent/CN115390058B/zh
Publication of CN115390058A publication Critical patent/CN115390058A/zh
Application granted granted Critical
Publication of CN115390058B publication Critical patent/CN115390058B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/02—Systems using reflection of radio waves, e.g. primary radar systems; Analogous systems
    • G01S13/06—Systems determining position data of a target
    • G01S13/42—Simultaneous measurement of distance and other co-ordinates
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/02—Systems using reflection of radio waves, e.g. primary radar systems; Analogous systems
    • G01S13/50—Systems of measurement based on relative movement of target
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D30/00—Reducing energy consumption in communication networks
    • Y02D30/70—Reducing energy consumption in communication networks in wireless communication networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Radar Systems Or Details Thereof (AREA)

Abstract

本发明公开了基于微多普勒特征的单通道超宽带雷达人体姿态估计方法，包括：S1、对单通道超宽带雷达采集到的人体姿态回波数据进行去除干扰和噪声的预处理；S2、对预处理后的人体姿态回波数据进行下变频处理，并做自适应滤波处理；S3、根据自适应滤波处理后的信号生成对应人体姿态的微多普勒谱图；S4、将生成的微多普勒谱图数据输入到预先训练模型的backbone网络中提取微多普勒中包含的人体身体各部位特征；S5、采用keypoint head网络将提取的微多普勒谱图特征矩阵映射成人体各个骨骼各个关节点的概率分布；S6、采用softmax函数求解人体各个骨骼关节点的坐标位置。本发明提高了超宽带雷达人体姿态估计的普适性，能够适用于各种人体姿态估计场景。

Description

基于微多普勒特征的单通道超宽带雷达人体姿态估计方法
技术领域
本发明涉及超宽带雷达信号处理技术领域，更具体地说，特别涉及一种基于微多普勒特征的单通道超宽带雷达人体姿态估计方法。
背景技术
近年来，随着物联网和智慧城市的快速发展，人们在构建智能无线传感系统方面投人了大量的研究工作，利用无处不在的无线传感信号感知和理解人类活动，通过分析人体反射信号来跟踪待检测人体的姿态并识别其活动。
目前基于相机的人体姿态估计系统已经取得了很大的成功。然而基于相机的人体姿态估计解决方案受到诸如服装的多样性、背景差异、光线的亮暗和人体目标的遮挡以及隐私等问题的限制。过去基于相机的人体姿态估计研究在人体目标可见部位的基础上对遮挡的身体部位进行估计，然而，由于人体目标是可行变的，这种估计会造成较大的估计误差。
通过克服传统相机的人类感知解决方案所面临的技术挑战，基于超宽带雷达的人类感知技术展示了新一代应用的潜力，能够支持人类与物理环境之间更复杂的交互，推动了基于雷达的人体姿态估计技术的出现，适用于各种场景下低成本的精确感知，通过保护人类的隐私。智能无线系统利用超宽带雷达信号感知人体的姿态、体型及墙后和黑暗环境中的活动，同时兼具探测感知范围广泛，既不需要目标装备任何设备，也不涉及隐私问题，已经成为国内外人类感知的研究热点。
发明内容
本发明的目的在于提供一种基于微多普勒特征的单通道超宽带雷达人体姿态估计方法，以克服现有技术所存在的缺陷。
为了达到上述目的，本发明采用的技术方案如下：
基于微多普勒特征的单通道超宽带雷达人体姿态估计方法，包括以下步骤：
S1、对单通道超宽带雷达采集到的人体姿态回波数据进行去除干扰和噪声的预处理；
S2、对预处理后的人体姿态回波数据进行下变频处理，并做自适应滤波处理；
S3、根据自适应滤波处理后的信号生成对应人体姿态的微多普勒谱图；
S4、将生成的微多普勒谱图数据输入到预先训练模型的backbone网络中提取微多普勒中包含的人体身体各部位特征；
S5、采用keypoint head网络将提取的微多普勒谱图特征矩阵映射成人体各个骨骼各个关节点的概率分布Pk；
S6、采用softmax函数求解人体各个骨骼关节点的坐标位置。
进一步地，所述步骤S1中的预处理具体为：对人体姿态回波数据矩阵
Figure BDA0003812679470000021
进行插值处理实现去除干扰和噪声；式中，/>
Figure BDA0003812679470000022
为实数域，K为单通道超宽带雷达信号的频点数，N为采集的回波帧数。
进一步地，所述步骤S2具体为：预处理后的雷达回波数据
Figure BDA0003812679470000023
进行下变频处理得到/>
Figure BDA0003812679470000024
并进行自适应滤波得到张量信号/>
Figure BDA0003812679470000025
实现对回波信号中的直达波抑制。
进一步地，对自适应滤波处理后的张量信号A(x,t)按照以下公式进行短时傅里叶变换处理得到该信号对应的微多普勒特征：
Figure BDA0003812679470000026
式中，g(t)为短时傅里叶变换的窗函数。
进一步地，所述步骤S4中的backbone网络采用的是Resnet50网络。
进一步地，所述步骤S5中的概率分布满足服从高斯分布假设条件，其中，k为第k个骨骼关节点，P表示人体姿态的各个骨骼关节点的概率分布，是指人体各个骨骼关节点通过微多普勒谱图在物理空间中的不同位置的概率。
进一步地，所述步骤S6具体为：采用softmax函数从人体姿态中的各个骨骼关节点的概率分布Pk中寻找最大的位置索引，以得到该关节点在物理空间中的坐标位置Sskeleton(x,y)；再将人体姿态中的所有关节点按照一定的顺序进行连接，生成可视化的二维人体姿态骨骼图。
与现有技术相比，本发明的优点在于：本发明提供的一种基于微多普勒特征的单通道超宽带雷达人体姿态估计方法，
针对超宽带雷达基于成像的方式进行人体姿态估计中成像的分辨率较低且成像质量随着成像距离的增大而急剧下降，普适性较差的问题，采用微多普勒特征进行超宽带雷达人体姿态估计。对场景中的人体姿态回波数据生成微多普勒谱图，并利用该谱图中人体各个关节部位的信息，使用Resnet50网络提取该谱图中的特征，并使用keypoin head网络将提取的谱图特征转换成人体目标各个骨骼关节点的概率分布，最后使用softmax函数得到人体各个骨骼关节点的坐标位置，按照一定的顺序连接起来得到人体姿态估计结果。本方法借助深度神经网络工具从人体微多普勒谱图中估计人体姿态，提高了超宽带雷达人体姿态估计的普适性，能够适用于各种人体姿态估计场景。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明基于微多普勒特征的单通道超宽带雷达人体姿态估计方法的流程图。
图2为本发明采用的基于微多普勒特征的人体姿态估计深度神经网络结构图。
图3为对回波进行差值处理滤除背景噪声后的图像。
图4为下变频和自适应滤波处理后的图像。
图5为某一人体姿态对应的微多普勒谱图。
图6为深度神经网络结构图中的backbone网络可视化图。
图7为深度神经网络结构图中的keypoint head网络可视化图。
图8为基于微多普勒特征的人体姿态估计结果图。
具体实施方式
下面结合附图对本发明的优选实施例进行详细阐述，以使本发明的优点和特征能更易于被本领域技术人员理解，从而对本发明的保护范围做出更为清楚明确的界定。
本实施例中的单通道超宽带雷达是一个单发单收的超宽带雷达，发射的信号为脉冲信号，中心频率为7.29GHz，带宽为2.3GHz，脉冲重复频率为100MHz，超宽带雷达的帧率为Fps＝30Hz，即每帧采样时间间隔为0.033秒。
参阅图1和图2所示，本实施例公开了一种基于微多普勒特征的单通道超宽带雷达人体姿态估计方法，包括以下步骤：
步骤S1、对单通道超宽带雷达采集的人体姿态回波数据进行预处理，去除干扰和噪声。
本实施例中，超宽带雷达的回波信号可以表示为:
Figure BDA0003812679470000031
式中，N表示人体目标的第N个散射点。实施例中共采集10组不同人体目标的不同姿态，每组数据中包含4000帧回波数据，对每一组回波数据进行差值处理，滤除背景噪声，如图3所示。
步骤S2、对预处理后的人体姿态回波数据进行下变频处理，并做自适应滤波处理。
本实施例中，针对差值处理后的雷达回波数据
Figure BDA0003812679470000041
进行下变频处理得到
Figure BDA0003812679470000042
并进行自适应滤波处理得到/>
Figure BDA0003812679470000043
实现对回波信号中的直达波抑制作用，其中自适应滤波处理的系数α＝0.05，如图4所示。
步骤S3、根据自适应滤波处理后的信号生成对应人体姿态的微多普勒谱图。
本实施例中，对张量信号A(x,t)进行短时傅里叶变换处理得到该信号对应的微多普勒特征，如图5所示。行走人体目标的一个周期大约2秒左右，该超宽带雷达的帧率为30MHz，因此该实施例中短时傅里叶变换采用60帧的连续数据进行采集，且采用Gabor窗函数。
Figure BDA0003812679470000044
其中，g(t)为短时傅里叶变换的窗函数，本实施例优选采用Gabor函数。
步骤S4、将生成的微多普勒谱图数据输入到预先训练模型的backbone网络中提取微多普勒中包含的人体身体各部位特征。
本实施例中，对人体姿态对应的微多普勒谱图数据作为已训练模型的backbone网络中提取包含人体身体各部位的特征。其中backbone网络采用的是Resnet50网络，用于提取微多普勒谱图中的特征，生成特征矩阵。为了更好地表征人体姿态中的微多普勒特征，采用连续60帧的雷达回波数据联合生成微多普勒谱图，谱图的大小为256×56作为backbone网络的输入数据，输入数据的大小为(32,1,256,56)，其中32为训练的batch size.基于微多普勒特征的人体姿态估计深度神经网络结构图和backbone网络可视化图如附图2和3所示，该网络的权值是该模型训练得到的，backbone网络输出的数据大小为(32,512,4,4)，如图6所示。
步骤S5、使用keypoint head网络将提取的微多普勒谱图特征矩阵映射成人体各个骨骼关节点的概率分布。
本实施例中，keypoint head网络是由三个反卷积层和一个全连接层组成，其中，反卷积层包括反卷积操作、批归一化操作和Relu操作。该网络可以将提取的为多普勒谱图特征矩阵映射成各个骨骼关节点的概率分布Pk。该概率满足服从高斯分布假设条件，其中k为第k个骨骼关节点，本实施例中采用k＝14，P表示人体姿态的各个骨骼关节点的概率分布，是指人体各个骨骼关节点通过微多普勒谱图在物理空间中的不同位置的概率。k＝14表示14个人体骨骼关节点的总数，对应14个人体身体部位，分别是头、脖子、左肩、左肘、左手、右肩、右肘、右手、左臀、右臀、左膝盖、右膝盖、左脚和右脚，如图7所示。
步骤S6、采用softmax函数求解人体各个骨骼关节点的坐标位置。
本实施例中，使用softmax函数从人体姿态中的各个骨骼关节点的概率分布Pk中寻找最大的位置索引，从而得到该关节点在物理空间中坐标位置Sskeleton(x,y)。将人体姿态中的14个关节点坐标按照一定的顺序连接，生成可可视化的二维人体姿态骨骼图。
本实施例中，keypoint head网络输出的数据大小为(32,14,64,64)，通过softmax函数估计出人体姿态中14个骨骼关节点的物理空间坐标位置Sskeleton(x,y)，其大小为(32,16,2)。按照(头-脖子，脖子-左肩-左肘-左手，脖子-右键-右肘-右手，左肩-左臀，右肩-右臀，左臀-左膝盖-左脚，右臀-右膝盖-右脚)的顺序对人体姿态中的关键点进行连接，具体的结果如图8所示。
本实施例中，为了更好地衡量和评价基于微多普勒的单通道超宽带雷达人体姿态估计方法的有效性和普适性，对比了不同方法下的人体姿态估计网络的性能，如表1所示。
表1
Figure BDA0003812679470000051
本发明对场景中的人体姿态回波数据生成微多普勒谱图，并利用该谱图中人体各个关节部位的信息，使用Resnet50网络提取该谱图中的特征，并使用keypoin head网络将提取的谱图特征转换成人体目标各个骨骼关节点的概率分布，最后使用softmax函数得到人体各个骨骼关节点的坐标位置，按照一定的顺序连接起来得到人体姿态估计结果。本方法借助深度神经网络工具从人体微多普勒谱图中估计人体姿态，提高了超宽带雷达人体姿态估计的普适性，能够适用于各种人体姿态估计场景。
虽然结合附图描述了本发明的实施方式，但是专利所有者可以在所附权利要求的范围之内做出各种变形或修改，只要不超过本发明的权利要求所描述的保护范围，都应当在本发明的保护范围之内。

Claims (1)

1.基于微多普勒特征的单通道超宽带雷达人体姿态估计方法，其特征在于，包括以下步骤：
S1、对单通道超宽带雷达采集到的人体姿态回波数据进行去除干扰和噪声的预处理；
S2、对预处理后的人体姿态回波数据进行下变频处理，并做自适应滤波处理；
S3、根据自适应滤波处理后的信号生成对应人体姿态的微多普勒谱图；
S4、将生成的微多普勒谱图数据输入到预先训练模型的backbone网络中提取微多普勒中包含的人体身体各部位特征；
S5、采用keypoint head网络将提取的微多普勒谱图特征矩阵映射成人体各个骨骼各个关节点的概率分布Pk；
S6、采用softmax函数求解人体各个骨骼关节点的坐标位置；
所述步骤S1中的预处理具体为：对人体姿态回波数据矩阵
Figure FDA0004269319460000011
进行插值处理实现去除干扰和噪声；式中，/>
Figure FDA0004269319460000012
为实数域，K为单通道超宽带雷达信号的频点数，N为采集的回波帧数；
所述步骤S2具体为：预处理后的雷达回波数据
Figure FDA0004269319460000013
进行下变频处理得到/>
Figure FDA0004269319460000014
并进行自适应滤波得到张量信号/>
Figure FDA0004269319460000015
实现对回波信号中的直达波抑制；
对自适应滤波处理后的张量信号A(u)按照以下公式进行短时傅里叶变换处理得到该信号对应的微多普勒特征：
Figure FDA0004269319460000016
式中，g(t)为短时傅里叶变换的窗函数；
所述步骤S4中的backbone网络采用的是Resnet50网络；
所述步骤S5中的概率分布满足服从高斯分布假设条件，其中，k为第k个骨骼关节点，P表示人体姿态的各个骨骼关节点的概率分布，是指人体各个骨骼关节点通过微多普勒谱图在物理空间中的不同位置的概率；
所述步骤S6具体为：采用softmax函数从人体姿态中的各个骨骼关节点的概率分布Pk中寻找最大的位置索引，以得到该关节点在物理空间中的坐标位置Sskeleton(x,y)；再将人体姿态中的所有关节点按照一定的顺序进行连接，生成可视化的二维人体姿态骨骼图。
CN202211016403.6A 2022-08-24 2022-08-24 基于微多普勒特征的单通道超宽带雷达人体姿态估计方法 Active CN115390058B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211016403.6A CN115390058B (zh) 2022-08-24 2022-08-24 基于微多普勒特征的单通道超宽带雷达人体姿态估计方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211016403.6A CN115390058B (zh) 2022-08-24 2022-08-24 基于微多普勒特征的单通道超宽带雷达人体姿态估计方法

Publications (2)

Publication Number Publication Date
CN115390058A CN115390058A (zh) 2022-11-25
CN115390058B true CN115390058B (zh) 2023-07-04

Family

ID=84121692

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211016403.6A Active CN115390058B (zh) 2022-08-24 2022-08-24 基于微多普勒特征的单通道超宽带雷达人体姿态估计方法

Country Status (1)

Country Link
CN (1) CN115390058B (zh)

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9568594B2 (en) * 2015-06-29 2017-02-14 Echocare Technologies Ltd. Human posture feature extraction in personal emergency response systems and methods
CN108564005B (zh) * 2018-03-26 2022-03-15 电子科技大学 一种基于卷积神经网络的人体跌倒辨识方法
CN110647788B (zh) * 2018-12-28 2023-04-18 南京华曼吉特信息技术研究院有限公司 一种基于微多普勒特征的人类日常行为分类方法
CN111208509B (zh) * 2020-01-15 2020-12-29 中国人民解放军国防科技大学 一种超宽带雷达人体目标姿态可视化增强方法
CN111505632B (zh) * 2020-06-08 2023-03-03 北京富奥星电子技术有限公司 基于功率谱和多普勒特征的超宽带雷达动作姿态识别方法
CN111914707A (zh) * 2020-07-22 2020-11-10 上海大学 一种醉酒行为检测系统及方法
CN114814775A (zh) * 2022-05-24 2022-07-29 哈尔滨工业大学 基于ResNet网络的雷达跌倒检测方法及设备

Also Published As

Publication number Publication date
CN115390058A (zh) 2022-11-25

Similar Documents

Publication Publication Date Title
CN108830819B (zh) 一种深度图像与红外图像的图像融合方法及装置
CN108226892B (zh) 一种基于深度学习的复杂噪声环境下的雷达信号恢复方法
CN110837768B (zh) 一种面向珍稀动物保护的在线检测与识别方法
CN110400294B (zh) 一种红外目标探测系统及探测方法
CN113447905A (zh) 双毫米波雷达人体跌倒检测装置及检测方法
CN109215025A (zh) 一种基于非凸秩逼近极小化的红外弱小目标检测方法
Li et al. A small target detection algorithm in infrared image by combining multi-response fusion and local contrast enhancement
CN112711979A (zh) 基于生物雷达的慢速随机运动下非接触生命体征监测
CN110991559A (zh) 一种室内人员行为非接触式协同感知方法
CN105595971A (zh) 一种基于视频的脉象信息采集系统及其采集方法
Yu et al. Human motion recognition based on neural network
CN115390058B (zh) 基于微多普勒特征的单通道超宽带雷达人体姿态估计方法
CN112669332A (zh) 一种基于双向局部极大值和峰值局部奇异性判断海天条件和检测红外目标的方法
CN106611409B (zh) 一种基于二次图像融合的小目标增强检测方法
CN116244673A (zh) 一种基于无线信号的行为与身份识别方法
CN114580464A (zh) 基于变分模态分解和约束独立分量分析的人体心率变异性与呼吸率测量方法
Lekhashri et al. Use of motion-print in sign language recognition
CN112926381B (zh) 一种基于激光检测技术的水下目标识别系统
CN113887374A (zh) 一种基于动态收敛微分神经网络的脑控喝水系统
CN113158942A (zh) 一种运动人体行为检测的分割算法及装置
CN113050083A (zh) 一种基于点云的超宽带雷达人体姿态重构方法
Yang et al. Research on image denoising algorithm based on non-local block matching
Zhou et al. A Micro-Doppler Based Human Pose Estimation Framework for Single-channel Ultra-Wideband Radar
CN112230200A (zh) 一种基于激光雷达回波信号的改进型组合降噪方法
Xiong et al. Image fusion algorithm for visible and PMMW images based on Curvelet and improved PCNN

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant