CN111965620A - 基于时频分析和深度神经网络的步态特征提取与识别方法 - Google Patents

基于时频分析和深度神经网络的步态特征提取与识别方法 Download PDF

Info

Publication number
CN111965620A
CN111965620A CN202010900952.4A CN202010900952A CN111965620A CN 111965620 A CN111965620 A CN 111965620A CN 202010900952 A CN202010900952 A CN 202010900952A CN 111965620 A CN111965620 A CN 111965620A
Authority
CN
China
Prior art keywords
time
frequency analysis
frequency
gait
human
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010900952.4A
Other languages
English (en)
Other versions
CN111965620B (zh
Inventor
韩冬
周良将
焦泽坤
宋晨
吴一戎
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Aerospace Information Research Institute of CAS
Original Assignee
Aerospace Information Research Institute of CAS
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Aerospace Information Research Institute of CAS filed Critical Aerospace Information Research Institute of CAS
Priority to CN202010900952.4A priority Critical patent/CN111965620B/zh
Publication of CN111965620A publication Critical patent/CN111965620A/zh
Application granted granted Critical
Publication of CN111965620B publication Critical patent/CN111965620B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/02—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00
    • G01S7/41—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00 using analysis of echo signal for target characterisation; Target signature; Target cross-section
    • G01S7/415—Identification of targets based on measurements of movement associated with the target
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/02—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00
    • G01S7/41—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00 using analysis of echo signal for target characterisation; Target signature; Target cross-section
    • G01S7/417—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00 using analysis of echo signal for target characterisation; Target signature; Target cross-section involving the use of neural networks
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
    • Y02A90/00—Technologies having an indirect contribution to adaptation to climate change
    • Y02A90/10—Information and communication technologies [ICT] supporting adaptation to climate change, e.g. for weather forecasting or climate simulation

Abstract

一种基于时频分析和深度神经网络的步态特征提取与识别方法，包括以下步骤：初始化雷达参数以及人体步态雷达原始回波信号采集；对人体步态的雷达原始回波信号进行预处理；时频分析处理，采用短时傅里叶变换处理所述一维复序列，获得时频分析图像，时频分析图像的横轴为时间轴，纵轴为多普勒频率轴；从时频分析图像中获取人体步态特征参；将时频分析图像中的人体步态独立周期结果按行张成一维实序列，将多次不同类型步态实验的人体时频分析图像中的多个周期结果按行张成的一维实序列，构建训练集和测试集；构建深度神经网络，将训练集送入深度神经网络完成网络训练，并在测试集上验证不同类型人体步态行为的识别精度。

Description

基于时频分析和深度神经网络的步态特征提取与识别方法
技术领域
本发明涉及雷达信息获取与处理技术领域，更具体地，涉及一种基于时频分析和深度神经网络的步态特征提取与识别方法。
背景技术
与光学系统和录像监视系统相比较，采用雷达技术可对人体步态进行全天时、全天候的监测，雷达在大雾或其他可见度较低的环境下仍然可以无障碍使用。雷达发射微波信号对人体步态进行探测，其回波信号中包含了人体微动所产生的微多普勒信息。因此，利用雷达进行人体步态微动特征参数提取在军事、安防、反恐等相关领域具有非常重要的应用前景与价值。
日常生活中存在着一些常见的“低、慢、小”运动目标，如人体、动物、旋翼无人机等。时频分析方法是提取运动目标微动特征参数的主要方法，是分析时变非平稳信号的有力工具。时频分析方法提供了时间域与频率域的联合分布信息，能够清楚地描述信号频率随时间的变化关系。常见的时频分析方法有短时傅里叶变换、小波变换、Garbor展开等。
深度学习是当前图像处理领域的前沿热点，其在图像特征提取方面具有无可比拟的优越性。深度学习利用神经网络结构做逐层的非线性变换，并通过分层的网络获取分层次的特征信息。优秀的特征自学习能力使得深度学习受到了学术界的广泛关注。近年来，深度学习在图像分类，目标检测与识别，以及自然语言处理等领域均取得了较好的效果。
通过人体步态雷达信号的时频分析结果，以及时频分析结果中所提取的特征参数主观人为地去判断其具体的步态类型会耗费大量的人力和物力资源，并可能存在严重的主观臆断，造成误判的情况。
发明内容
有鉴于此，本发明的主要目的在于提供一种基于时频分析和深度神经网络的步态特征提取与识别方法，以期部分地解决上述技术问题中的至少之一。
为了实现上述目的，作为本发明的一方面，提供了一种基于时频分析和深度神经网络的步态特征提取与识别方法，包括以下步骤：
初始化雷达参数以及人体步态雷达原始回波信号采集；
对人体步态的雷达原始回波信号进行预处理，包括距离向脉冲压缩处理以获取时间-距离像，时间-距离像中方位脉冲对消处理；
时频分析处理，采用短时傅里叶变换处理所述一维复序列，获得时频分析图像，时频分析图像的横轴为时间轴，纵轴为多普勒频率轴；
从时频分析图像中获取人体步态特征参数，根据人体时频分析图的周期获取人体步态周期，根据时频分析图的中心频率相对于零频的偏移量获取人体躯干与雷达间的瞬时径向速度，根据时频图像中的多普勒频率获取人体主要关节部位与雷达间的瞬时径向摆动速度；
将时频分析图像中的人体步态独立周期结果按行张成一维实序列，将多次不同类型步态实验的人体时频分析图像中的多个周期结果按行张成的一维实序列，构建训练集和测试集；
构建深度神经网络，将训练集送入深度神经网络完成网络训练，并在测试集上验证不同类型人体步态行为的识别精度。
其中，所述初始化雷达参数，雷达发射脉冲体制或者调频连续波体制的线性调频信号，雷达载频记为f0，雷达带宽记为Br，雷达脉冲时间宽度记为Tr，距离向采样率记为Fr，线性调频信号的调频率记为Kr＝Br/Tr，脉冲发射频率记为PRF＝1/Tr，电磁波在真空中传播速度记为c，expX表示以自然常数e为底数，以X为指数的指数函数；雷达采集到的人体回波信号为
Figure BDA0002658332210000021
其中，Ri表示人体第i关节处关节与雷达之间的距离，Ai表示人体第i关节处的回波信号幅度。
其中，对人体步态的雷达原始回波信号进行预处理，完成距离向脉冲压缩和方位脉冲对消操作，并将人体回波占据的距离门相干累加后获得一维复序列。
其中，若采用脉冲体制信号，距离向脉冲压缩操作采用匹配滤波的方式；若采用调频连续波信号，回波应采用去斜接收的方式而获得距离向脉冲压缩结果；人体雷达回波信号的距离向脉压结果为
Figure BDA0002658332210000031
其中，处理时间长度为T的信号，则待处理脉冲数为Na＝T·PRF；采取方位降采样的方式减小数据量，方位降采样系数记为α，则实际处理脉冲数为α·Na；时间-距离图像是大小为(α·Na)×(Tr·Fr)的复矩阵；方位脉冲对消处理用于消除环境中存在的静态物体回波和一些杂波；将时间-距离图像中人体所在距离门相干累加后得到长度为α·Na的一维复序列。
其中，采用短时傅里叶变换对一维复序列做时频分析处理，得到横轴为时间，纵轴为多普勒频率的时频分析图像，所述短时傅里叶变换公式为
Figure BDA0002658332210000032
ω(t)为对一维复序列进行分割的窗函数，窗函数信号在一维序列上随时间滑动，实现变换；窗函数大小决定了短时傅里叶变换的时间分辨率和频率分辨率。
其中，人体步态周期与时频分析图像的周期一致，人体躯干的瞬时径向速度由公式
Figure BDA0002658332210000033
计算得到，fdop0为人体躯干的瞬时多普勒频率；第i处人体关节部位的绝对瞬时径向摆动速度可由公式
Figure BDA0002658332210000034
计算得到，fdopi代表第i处人体关节部位的瞬时多普勒频率；第i处人体关节部位的相对径向摆动速度为
Figure BDA0002658332210000041
其中，将时频分析图像中的人体步态独立周期结果按行张成一维实序列，并做归一化处理；将M种不同类型步态实验的人体时频图像的多个周期数据张成的一维实序列，构建训练集和测试集；训练集和测试集的标签设置为[1 0 … 0 0]1×M，[0 1 … 0 0]1×M；采用时频图像平移和添加均值为μ，方差为σ的高斯白噪声的方式扩充数据集。
其中，构建深度神经网络，将训练集送入神经网络完成网络训练，并在测试集上验证不同人体步态的识别精度的步骤中，深度神经网络的输入层大小为所述的一维实序列长度，输出层大小为所述的步态类型个数M，隐藏层要求为两层及以上。
作为本发明的另一方面，提供了一种基于时频分析和深度神经网络的步态特征提取与识别装置，包括：
信号采集及预处理单元，用于初始化雷达参数、人体步态雷达原始回波信号采集以及对人体步态的雷达原始回波信号进行预处理；
时频分析单元，用于时频分析处理，采用短时傅里叶变换处理所述一维复序列，获得时频分析图像，时频分析图像的横轴为时间轴，纵轴为多普勒频率轴；
特征提取单元，从时频分析图像中获取人体步态特征参数，构建训练集和测试集；
构建神经网络单元，构建深度神经网络，将训练集送入深度神经网络完成网络训练，并在测试集上验证不同类型人体步态行为的识别精度；
数据处理单元，其中包括：
处理器，用于执行存储器内存储的程序；
存储器，用于存储用来执行如上所述的方法的程序。
基于上述技术方案可知，本发明的基于时频分析和深度神经网络的步态特征提取与识别方法相对于现有技术至少具有如下有益效果之一或其中的一部分：
本发明可以根据短时傅里叶变换的时频分析结果准确计算提取人体步态特征参数，提出将时频分析结果按行张成一维实序列，构造深度神经网络，可以实现多类型人体步态的高精度自动识别与分类。通过人体步态雷达探测实验及算法处理验证了本方法有效性。
附图说明
图1是本发明实施例提供的基于时频分析和深度神经网络的步态特征提取与识别方法流程图；
图2是本发明实施例提供的人体步态雷达回波采集实验图；
图3是本发明实施例提供的人体步态雷达回波预处理结果图，其中，图3(a)为原始雷达回波示意图，图3(b)为图3(a)经过方位脉冲对消处理后的结果图；
图4是本发明实施例提供的四种不同类型人体步态时频分析结果图，其中，图4(a)表示人体原地摆动单臂的时频图，图4(b)表示人体原地摆动双臂的时频图，图4(c)表示人体原地模拟走动的时频图，图4(d)表示人体径直走向雷达的时频图；
图5是本发明实施例提供的时频分析结果训练集和测试集构造示意图；
图6是本发明实施例提供的五层深度神经网络构造示意图；
图7是本发明实施例提供的人体步态识别精度随训练样本批次增加的变化曲线图。
具体实施方式
本发明在考虑具有大量多类型人体步态先验结果的情况下，构建包含大量样本信息的训练集，训练深度神经网络。利用深度神经网络优秀的特征自学习能力可以实现多类型人体运动步态的自动识别与分类。
本发明公开了一种基于时频分析和深度神经网络的步态特征提取与识别方法，利用雷达回波时频分析结果准确提取人体步态特征参数，通过将时频分析结果送入深度神经网络训练的方式达到人体步态类型自动识别与分类的目的。本发明采用短时傅里叶变换对人类雷达回波做时频分析处理；通过对时频分析结果进行分析与计算，获取人体步态特征参数，如人体步态周期，人体躯干瞬时径向速度，人体主要关节部位的瞬时径向速度等；本发明提出了构造深度神经网络对时频分析结果按行张成的一维实序列进行识别与分类的方法。
具体的，本发明公开了一种基于时频分析和深度神经网络的步态特征提取与识别方法，包括以下步骤：
初始化雷达参数以及人体步态雷达原始回波信号采集；
对人体步态的雷达原始回波信号进行预处理，包括距离向脉冲压缩处理以获取时间-距离像，时间-距离像中方位脉冲对消处理；
时频分析处理，采用短时傅里叶变换处理所述一维复序列，获得时频分析图像，时频分析图像的横轴为时间轴，纵轴为多普勒频率轴；
从时频分析图像中获取人体步态特征参数，根据人体时频分析图的周期获取人体步态周期，根据时频分析图的中心频率相对于零频的偏移量获取人体躯干与雷达间的瞬时径向速度，根据时频图像中的多普勒频率获取人体主要关节部位与雷达间的瞬时径向摆动速度；
将时频分析图像中的人体步态独立周期结果按行张成一维实序列，将多次不同类型步态实验的人体时频分析图像中的多个周期结果按行张成的一维实序列，构建训练集和测试集；
构建深度神经网络，将训练集送入深度神经网络完成网络训练，并在测试集上验证不同类型人体步态行为的识别精度。
其中，所述初始化雷达参数，雷达发射脉冲体制或者调频连续波体制的线性调频信号，雷达载频记为f0，雷达带宽记为Br，雷达脉冲时间宽度记为Tr，距离向采样率记为Fr，线性调频信号的调频率记为Kr＝Br/Tr，脉冲发射频率记为PRF＝1/Tr，电磁波在真空中传播速度记为c，expX表示以自然常数e为底数，以X为指数的指数函数；雷达采集到的人体回波信号为
Figure BDA0002658332210000061
其中，Ri表示人体第i关节处关节与雷达之间的距离，Ai表示人体第i关节处的回波信号幅度。
其中，对人体步态的雷达原始回波信号进行预处理，完成距离向脉冲压缩和方位脉冲对消操作，并将人体回波占据的距离门相干累加后获得一维复序列。
其中，若采用脉冲体制信号，距离向脉冲压缩操作采用匹配滤波的方式；若采用调频连续波信号，回波应采用去斜接收的方式而获得距离向脉冲压缩结果；人体雷达回波信号的距离向脉压结果为
Figure BDA0002658332210000071
其中，处理时间长度为T的信号，则待处理脉冲数为Na＝T·PRF；采取方位降采样的方式减小数据量，方位降采样系数记为α，则实际处理脉冲数为α·Na；时间-距离图像是大小为(α·Na)×(Tr·Fr)的复矩阵；方位脉冲对消处理用于消除环境中存在的静态物体回波和一些杂波；将时间-距离图像中人体所在距离门相干累加后得到长度为α·Na的一维复序列。
其中，采用短时傅里叶变换对一维复序列做时频分析处理，得到横轴为时间，纵轴为多普勒频率的时频分析图像，所述短时傅里叶变换公式为
Figure BDA0002658332210000072
ω(t)为对一维复序列进行分割的窗函数，窗函数信号在一维序列上随时间滑动，实现变换；窗函数大小决定了短时傅里叶变换的时间分辨率和频率分辨率。
其中，人体步态周期与时频分析图像的周期一致，人体躯干的瞬时径向速度由公式
Figure BDA0002658332210000073
计算得到，fdop0为人体躯干的瞬时多普勒频率；第i处人体关节部位的绝对瞬时径向摆动速度可由公式
Figure BDA0002658332210000074
计算得到，fdopi代表第i处人体关节部位的瞬时多普勒频率；第i处人体关节部位的相对径向摆动速度为
Figure BDA0002658332210000081
其中，将时频分析图像中的人体步态独立周期结果按行张成一维实序列，并做归一化处理；将M种不同类型步态实验的人体时频图像的多个周期数据张成的一维实序列，构建训练集和测试集；训练集和测试集的标签设置为[1 0 … 0 0]1×M，[0 1 … 0 0]1×M；采用时频图像平移和添加均值为μ，方差为σ的高斯白噪声的方式扩充数据集。
其中，构建深度神经网络，将训练集送入神经网络完成网络训练，并在测试集上验证不同人体步态的识别精度的步骤中，深度神经网络的输入层大小为所述的一维实序列长度，输出层大小为所述的步态类型个数M，隐藏层要求为两层及以上。
本发明还公开了一种基于时频分析和深度神经网络的步态特征提取与识别装置，包括：
信号采集及预处理单元，用于初始化雷达参数、人体步态雷达原始回波信号采集以及对人体步态的雷达原始回波信号进行预处理；
时频分析单元，用于时频分析处理，采用短时傅里叶变换处理所述一维复序列，获得时频分析图像，时频分析图像的横轴为时间轴，纵轴为多普勒频率轴；
特征提取单元，从时频分析图像中获取人体步态特征参数，构建训练集和测试集；
构建神经网络单元，构建深度神经网络，将训练集送入深度神经网络完成网络训练，并在测试集上验证不同类型人体步态行为的识别精度；
数据处理单元，其中包括：
处理器，用于执行存储器内存储的程序；
存储器，用于存储用来执行如上所述的方法的程序。
为了使本发明实施例的目的、技术方案以及优点更加清楚，下面结合本发明实施例中的附图对本发明实施例中的技术方案进行清楚、完整的描述。实施例在Matlab和Python平台上实现。应该指出，所描述的实施例仅是为说明的目的，而不是对本发明的限制。
如图1所示，本发明公开了一种基于时频分析和深度神经网络的步态特征提取与识别方法。
初始化雷达参数，雷达发射Ka波段调频连续波体制的线性调频信号，雷达载频f0＝34.6GHz，雷达带宽Br＝1200MHz，雷达脉冲时间宽度Tr＝8μs，距离向采样率Fr＝50MHz，线性调频信号调频率Kr＝1.5×1014Hz/s，脉冲发射频率PRF＝125000Hz。人体步态雷达回波采集实验图如图2所示，雷达采集到的人体回波信号为
Figure BDA0002658332210000091
回波采用去斜接收的方式获得距离向脉冲压缩结果。采取方位降采样的方式减小数据量，方位降采样系数为0.1，方位降采样后时间-距离像如图2(a)所示。人体雷达回波信号的距离向脉压结果为
Figure BDA0002658332210000092
对时间-距离像做方位脉冲对消处理，消除环境中存在的静态物体回波和一些杂波。图3为人体步态雷达回波预处理结果图，其中，图3(a)经过方位脉冲对消处理后得到图3(b)。将图3(b)中人体信号占据的距离门相干累加后获得一维复序列。
实施例中人体步态实验分为以下四类，原地摆动单臂，原地摆动双臂，原地模拟走动，以及径直走向雷达。采用短时傅里叶变换对四种人体步态的一维复序列做时频分析，得到横轴为时间，纵轴为多普勒频率的时频分析图，如图4所示。其中，图4(a)表示人体原地摆动单臂的时频图，图4(b)表示人体原地摆动双臂的时频图，图4(c)表示人体原地模拟走动的时频图，图4(d)表示人体径直走向雷达的时频图。短时傅里叶变换公式为
Figure BDA0002658332210000093
据时频分析图获取人体步态特征参数，人体步态周期与时频分析结果的周期一致，人体躯干的瞬时径向速度和第i处人体关节部位的相对瞬时径向摆动速度由如下计算公式得到
Figure BDA0002658332210000101
以人体径直走向雷达的步态为例，对图3(d)进行人体步态特征参数提取。获取人体步态周期约为1s，中心多普勒频率为380Hz，最大多普勒频率为1200Hz，因此计算得到，径直走向雷达时人体躯干的径向速度为1.647m/s，最大摆臂速度为3.555m/s，步态特征参数提取结果与实际实验状况一致。
如图5所示，提取多类型人体步态时频分析图的周期结果构建训练集和测试集。考虑到数据集的大小，将时频图的周期结果大小降采样到256×256，按行张成一维实序列，并做归一化处理。人体原地摆动单臂的标签为[1 0 0 0]1×4，人体原地摆动双臂的标签为[0 10 0]1×4，人体原地模拟走动的标签为[0 0 1 0]1×4，人体径直走向雷达的标签为[0 0 01]1×4。为保证神经网络有足够的训练样本和测试样本，采用时频图像平移和添加高斯白噪声的方式扩充训练集和测试集。
如图6所示，构建五层的深度神经网络实现四种类型人体步态的自动识别与分类。深度神经网络包含一层输入层，一层输出层以及三层隐藏层。输入层的神经元个数为一维实序列的长度65536，输出层的神经元个数为标签的长度4，第一层隐藏层设置4096个神经元，第二层隐藏层设置512个神经元，第三层隐藏层设置64个神经元。输入层到第一层隐藏层，以及隐藏层到下一层隐藏层之间采用tanh(z)函数作为激活函数
Figure BDA0002658332210000102
最后一层隐藏层到输出层之间采用归一化指数函数(Softmax函数)作为激活函数，对结果进行非负性和归一化处理。
采用交叉熵代价函数作为训练深度神经网络的损失函数
Figure BDA0002658332210000111
x表示样本，y表示实际值，n为样本总数，a＝σ(z)表示激活函数输出结果，z＝∑ωjxj+b，则
Figure BDA0002658332210000112
Figure BDA0002658332210000113
σ(z)-y表示神经网络训练时输出值与实际值的误差，当误差越大时，梯度越大，权值和偏置值调整就越快。
采用自适应矩估计算法，即Adam优化器求解深度神经网络中最小损失函数对应的权重值。
将训练集中每25个序列样本作为一个训练批次，深度神经网络经过30个批次的训练之后，人体步态识别精度随训练样本批次增加的变化曲线图，如图7所示。
实验结果表明所构建的五层深度神经网络可以根据时频分析图像精确实现多类型人体步态的自动识别与分类。
以上所述的具体实施例，对本发明的目的、技术方案和有益效果进行了进一步详细说明，应理解的是，以上所述仅为本发明的具体实施例而已，并不用于限制本发明，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种基于时频分析和深度神经网络的步态特征提取与识别方法，其特征在于，包括以下步骤：
初始化雷达参数以及人体步态雷达原始回波信号采集；
对人体步态的雷达原始回波信号进行预处理，包括距离向脉冲压缩处理以获取时间-距离像，时间-距离像中方位脉冲对消处理；
时频分析处理，采用短时傅里叶变换处理所述一维复序列，获得时频分析图像，时频分析图像的横轴为时间轴，纵轴为多普勒频率轴；
从时频分析图像中获取人体步态特征参数，根据人体时频分析图的周期获取人体步态周期，根据时频分析图的中心频率相对于零频的偏移量获取人体躯干与雷达间的瞬时径向速度，根据时频图像中的多普勒频率获取人体主要关节部位与雷达间的瞬时径向摆动速度；
将时频分析图像中的人体步态独立周期结果按行张成一维实序列，将多次不同类型步态实验的人体时频分析图像中的多个周期结果按行张成的一维实序列，构建训练集和测试集；
构建深度神经网络，将训练集送入深度神经网络完成网络训练，并在测试集上验证不同类型人体步态行为的识别精度。
2.根据权利要求1所述的一种基于时频分析和深度神经网络的步态特征提取与识别方法，其特征在于，所述初始化雷达参数，雷达发射脉冲体制或者调频连续波体制的线性调频信号，雷达载频记为f0，雷达带宽记为Br，雷达脉冲时间宽度记为Tr，距离向采样率记为Tr，线性调频信号的调频率记为Kr＝Br/Tr，脉冲发射频率记为PRF＝1/Tr，电磁波在真空中传播速度记为c，expX表示以自然常数e为底数，以X为指数的指数函数；雷达采集到的人体回波信号为
Figure FDA0002658332200000011
其中，Ri表示人体第i关节处关节与雷达之间的距离，Ai表示人体第i关节处的回波信号幅度。
3.根据权利要求1所述的一种基于时频分析和深度神经网络的步态特征提取与识别方法，其特征在于，对人体步态的雷达原始回波信号进行预处理，完成距离向脉冲压缩和方位脉冲对消操作，并将人体回波占据的距离门相干累加后获得一维复序列。
4.根据权利要求1或3所述的一种基于时频分析和深度神经网络的步态特征提取与识别方法，其特征在于，若采用脉冲体制信号，距离向脉冲压缩操作采用匹配滤波的方式；若采用调频连续波信号，回波应采用去斜接收的方式而获得距离向脉冲压缩结果；人体雷达回波信号的距离向脉压结果为
Figure FDA0002658332200000021
5.根据权利要求1所述的一种基于时频分析和深度神经网络的步态特征提取与识别方法，其特征在于，处理时间长度为T的信号，则待处理脉冲数为Na＝T·PRF；采取方位降采样的方式减小数据量，方位降采样系数记为α，则实际处理脉冲数为α·Na；时间-距离图像是大小为(α·Na)×(Tr·Fr)的复矩阵；方位脉冲对消处理用于消除环境中存在的静态物体回波和一些杂波；将时间-距离图像中人体所在距离门相干累加后得到长度为α·Na的一维复序列。
6.根据权利要求1所述的一种基于时频分析和深度神经网络的步态特征提取与识别方法，其特征在于，采用短时傅里叶变换对一维复序列做时频分析处理，得到横轴为时间，纵轴为多普勒频率的时频分析图像，所述短时傅里叶变换公式为
Figure FDA0002658332200000022
ω(t)为对一维复序列进行分割的窗函数，窗函数信号在一维序列上随时间滑动，实现变换；窗函数大小决定了短时傅里叶变换的时间分辨率和频率分辨率。
7.根据权利要求1所述的一种基于时频分析和深度神经网络的步态特征提取与识别方法，其特征在于，人体步态周期与时频分析图像的周期一致，人体躯干的瞬时径向速度由公式
Figure FDA0002658332200000031
计算得到，fdop0为人体躯干的瞬时多普勒频率；第i处人体关节部位的绝对瞬时径向摆动速度可由公式
Figure FDA0002658332200000032
计算得到，fdopi代表第i处人体关节部位的瞬时多普勒频率；第i处人体关节部位的相对径向摆动速度为
Figure FDA0002658332200000033
8.根据权利要求1所述的一种基于时频分析和深度神经网络的步态特征提取与识别方法，其特征在于，将时频分析图像中的人体步态独立周期结果按行张成一维实序列，并做归一化处理；将M种不同类型步态实验的人体时频图像的多个周期数据张成的一维实序列，构建训练集和测试集；训练集和测试集的标签设置为[1 0 ... 0 0]1×M，[0 1 ... 0 0]1×M；采用时频图像平移和添加均值为μ，方差为σ的高斯白噪声的方式扩充数据集。
9.根据权利要求1或8所述的一种基于时频分析和深度神经网络的步态特征提取与识别方法，其特征在于，构建深度神经网络，将训练集送入神经网络完成网络训练，并在测试集上验证不同人体步态的识别精度的步骤中，深度神经网络的输入层大小为所述的一维实序列长度，输出层大小为所述的步态类型个数M，隐藏层要求为两层及以上。
10.一种电子设备，其特征在于，包括：
处理器，用于执行存储器内存储的程序；
存储器，用于存储用来执行如权利要求1-9任一所述的方法的程序。
CN202010900952.4A 2020-08-31 2020-08-31 基于时频分析和深度神经网络的步态特征提取与识别方法 Active CN111965620B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010900952.4A CN111965620B (zh) 2020-08-31 2020-08-31 基于时频分析和深度神经网络的步态特征提取与识别方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010900952.4A CN111965620B (zh) 2020-08-31 2020-08-31 基于时频分析和深度神经网络的步态特征提取与识别方法

Publications (2)

Publication Number Publication Date
CN111965620A true CN111965620A (zh) 2020-11-20
CN111965620B CN111965620B (zh) 2023-05-02

Family

ID=73399521

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010900952.4A Active CN111965620B (zh) 2020-08-31 2020-08-31 基于时频分析和深度神经网络的步态特征提取与识别方法

Country Status (1)

Country Link
CN (1) CN111965620B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112859070A (zh) * 2021-01-20 2021-05-28 应急管理部四川消防研究所 一种基于多域多特征和深度学习的生命探测雷达系统
CN113057673A (zh) * 2021-03-11 2021-07-02 华中科技大学同济医学院附属协和医院 一种机器人超声扫描控制方法、系统、设备及存储介质

Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110032139A1 (en) * 2009-08-10 2011-02-10 Robert Bosch Gmbh Method for human only activity detection based on radar signals
JP2012118683A (ja) * 2010-11-30 2012-06-21 Daihatsu Motor Co Ltd 歩行者認識装置
WO2017133009A1 (zh) * 2016-02-04 2017-08-10 广州新节奏智能科技有限公司 一种基于卷积神经网络的深度图像人体关节定位方法
CN107169435A (zh) * 2017-05-10 2017-09-15 天津大学 一种基于雷达仿真图像的卷积神经网络人体动作分类方法
CN107292250A (zh) * 2017-05-31 2017-10-24 西安科技大学 一种基于深度神经网络的步态识别方法
CN108256488A (zh) * 2018-01-19 2018-07-06 中国人民解放军陆军装甲兵学院 一种基于微多普勒特征提取和深度学习的雷达目标识别方法
CN108614993A (zh) * 2018-03-23 2018-10-02 武汉雷博合创电子科技有限公司 一种基于雷达及模式识别的行人姿态识别方法及系统
CN108872984A (zh) * 2018-03-15 2018-11-23 清华大学 基于多基地雷达微多普勒和卷积神经网络的人体识别方法
CN108920993A (zh) * 2018-03-23 2018-11-30 武汉雷博合创电子科技有限公司 一种基于雷达及多网络融合的行人姿态识别方法及系统
US10310073B1 (en) * 2018-02-07 2019-06-04 Infineon Technologies Ag System and method for determining engagement level of a human being using a millimeter-wave radar sensor
CN110045348A (zh) * 2019-05-05 2019-07-23 应急管理部上海消防研究所 一种基于改进卷积神经网络的人体运动状态分类方法
CN110275147A (zh) * 2018-03-13 2019-09-24 中国人民解放军国防科技大学 基于迁移深度神经网络的人体行为微多普勒的分类识别方法
CN111368930A (zh) * 2020-03-09 2020-07-03 成都理工大学 基于多类谱图融合与分级学习的雷达人体姿态识别方法及系统

Patent Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110032139A1 (en) * 2009-08-10 2011-02-10 Robert Bosch Gmbh Method for human only activity detection based on radar signals
JP2012118683A (ja) * 2010-11-30 2012-06-21 Daihatsu Motor Co Ltd 歩行者認識装置
WO2017133009A1 (zh) * 2016-02-04 2017-08-10 广州新节奏智能科技有限公司 一种基于卷积神经网络的深度图像人体关节定位方法
CN107169435A (zh) * 2017-05-10 2017-09-15 天津大学 一种基于雷达仿真图像的卷积神经网络人体动作分类方法
CN107292250A (zh) * 2017-05-31 2017-10-24 西安科技大学 一种基于深度神经网络的步态识别方法
CN108256488A (zh) * 2018-01-19 2018-07-06 中国人民解放军陆军装甲兵学院 一种基于微多普勒特征提取和深度学习的雷达目标识别方法
US10310073B1 (en) * 2018-02-07 2019-06-04 Infineon Technologies Ag System and method for determining engagement level of a human being using a millimeter-wave radar sensor
CN110275147A (zh) * 2018-03-13 2019-09-24 中国人民解放军国防科技大学 基于迁移深度神经网络的人体行为微多普勒的分类识别方法
CN108872984A (zh) * 2018-03-15 2018-11-23 清华大学 基于多基地雷达微多普勒和卷积神经网络的人体识别方法
CN108920993A (zh) * 2018-03-23 2018-11-30 武汉雷博合创电子科技有限公司 一种基于雷达及多网络融合的行人姿态识别方法及系统
CN108614993A (zh) * 2018-03-23 2018-10-02 武汉雷博合创电子科技有限公司 一种基于雷达及模式识别的行人姿态识别方法及系统
CN110045348A (zh) * 2019-05-05 2019-07-23 应急管理部上海消防研究所 一种基于改进卷积神经网络的人体运动状态分类方法
CN111368930A (zh) * 2020-03-09 2020-07-03 成都理工大学 基于多类谱图融合与分级学习的雷达人体姿态识别方法及系统

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
SHOBHA SUNDAR RAM 等: "Simulation and Analysis of Human Micro-Dopplers in Through-Wall Environments", 《TRANSACTIONS ON GEOSCIENCE AND REMOTE SENSING》 *
ZHAOXI CHEN 等: "Personnel Recognition and Gait Classification Based on Multistatic Micro-Doppler Signatures Using Deep Convolutional Neural Networks", 《GEOSCIENCE AND REMOTE SENSING LETTERS》 *
侯春萍等: "基于卷积神经网络的雷达人体动作与身份多任务识别", 《激光与光电子学进展》 *
袁延鑫等: "基于卷积神经网络和微动特征的人体步态识别技术", 《信号处理》 *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112859070A (zh) * 2021-01-20 2021-05-28 应急管理部四川消防研究所 一种基于多域多特征和深度学习的生命探测雷达系统
CN112859070B (zh) * 2021-01-20 2024-04-19 应急管理部四川消防研究所 一种基于多域多特征和深度学习的生命探测雷达系统
CN113057673A (zh) * 2021-03-11 2021-07-02 华中科技大学同济医学院附属协和医院 一种机器人超声扫描控制方法、系统、设备及存储介质

Also Published As

Publication number Publication date
CN111965620B (zh) 2023-05-02

Similar Documents

Publication Publication Date Title
CN107728142B (zh) 基于二维卷积网络的雷达高分辨距离像目标识别方法
CN109188414A (zh) 一种基于毫米波雷达的手势运动探测方法
Kim et al. Human activity classification based on micro-Doppler signatures using an artificial neural network
EP0888560B1 (en) Improved method of moment estimation and feature extraction for devices which measure spectra as a function of range or time
CN110133599B (zh) 基于长短时记忆模型的智能雷达辐射源信号分类方法
Bilik et al. Radar target classification using Doppler signatures of human locomotion models
Frigui et al. Real-time landmine detection with ground-penetrating radar using discriminative and adaptive hidden Markov models
CN106597411A (zh) 雷达信号处理方法
CN111965620B (zh) 基于时频分析和深度神经网络的步态特征提取与识别方法
Lei et al. Automatic classification of radar targets with micro-motions using entropy segmentation and time-frequency features
CN112137620B (zh) 一种基于超宽带雷达的人体微弱呼吸信号检测方法
Donini et al. A deep learning architecture for semantic segmentation of radar sounder data
Wong et al. Automatic tropical cyclone eye fix using genetic algorithm
CN112364689A (zh) 基于cnn与雷达图像的人体动作与身份多任务识别方法
Lee et al. Radar-based object classification using an artificial neural network
CN113126050B (zh) 一种基于神经网络的生命探测方法
CN112327286B (zh) 低复杂度下日常活动分类方法、装置、设备及存储介质
Sharma et al. Non-metallic pipe detection using SF-GPR: A new approach using neural network
CN116524537A (zh) 一种基于cnn和lstm联合的人体姿态识别方法
Martinez et al. Deep learning-based segmentation for the extraction of micro-doppler signatures
Zhu et al. Radar HRRP group-target recognition based on combined methods in the backgroud of sea clutter
Ruan et al. Automatic recognition of radar signal types based on CNN-LSTM
Wang et al. Through-wall human motion representation via autoencoder-self organized mapping network
CN115982620A (zh) 基于多类三维特征与Transformer的毫米波雷达人体跌倒行为识别方法及系统
CN115616566A (zh) 一种基于fmcw毫米波雷达的步态识别方法、系统及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant