CN113850204A - 一种基于深度学习和超宽带雷达的人体动作识别方法 - Google Patents

一种基于深度学习和超宽带雷达的人体动作识别方法 Download PDF

Info

Publication number
CN113850204A
CN113850204A CN202111145029.5A CN202111145029A CN113850204A CN 113850204 A CN113850204 A CN 113850204A CN 202111145029 A CN202111145029 A CN 202111145029A CN 113850204 A CN113850204 A CN 113850204A
Authority
CN
China
Prior art keywords
human body
ultra
data
wideband radar
target
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202111145029.5A
Other languages
English (en)
Inventor
张朝霞
周晓玲
史碧俊
李春帅
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Taiyuan University of Technology
Original Assignee
Taiyuan University of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Taiyuan University of Technology filed Critical Taiyuan University of Technology
Priority to CN202111145029.5A priority Critical patent/CN113850204A/zh
Publication of CN113850204A publication Critical patent/CN113850204A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/2163—Partitioning the feature space
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Probability & Statistics with Applications (AREA)
  • Radar Systems Or Details Thereof (AREA)

Abstract

本发明属于雷达探测技术领域，公开了一种基于深度学习和超宽带雷达的人体动作识别方法，包括：通过超宽带雷达模块获取人体动作信息数据集，并进行特征提取，提取目标的动作特征；对人体动作信息数据集的数据依次进行距离‑多普勒成像、自适应阈值检测和多目标分割处理，构建包含包含时间、距离、速度的三维特征数据集，并按照每个动作的实际发生时间进行标签标记；将三维特征数据集分为训练集和测试集，搭建PointNet网络模型对网络进行训练和测试；对实时采集到的雷达信号提取人体动作特征并构建三维特征数据，输入训练好的PointNet网络模型进行动作种类进行识别。本发明能够实现更高识别率的人体动作分类识别，可以应用在物理安全与智能检测等方面。

Description

一种基于深度学习和超宽带雷达的人体动作识别方法
技术领域
本发明属于雷达探测技术领域，具体涉及一种基于深度学习和超宽带雷达的人体动作识别方法。
背景技术
在人质解救、人员搜救时，针对摄像头盲区，采用雷达监测人质、恐怖分子或被困人员的实时状况能够为相关人员的营救任务创造有利条件。此外，在浴室、换衣间、病房等隐私场所，利用雷达监测人体姿势能够对老人、儿童或病人的异常情况报警，及时有效的采取救治措施对于保护他们的健康和生命安全非常重要。目前，人体动作识别技术已经取得一定的进展，常用的人体探测手段主要有视频监控、红外传感器监测、可穿戴设备及雷达系统监测等。其中，雷达系统监测有着更广的探测范围（近到几米，远到几千米），对光线变化不敏感，对视觉障碍有更好的鲁棒性，受下雨、雾霾等天气因素的影响也比较小。相比于摄像头，雷达监测技术更能保护人员隐私，与红外成像等技术相比，在复杂环境下雷达具有更好的抗干扰能力。
在采集到雷达回波信号后，对雷达回波信号的分析通常在时频域利用微多普勒效应进行时频分析，在时间域利用高距离分辨率剖面进行分析。但二者各有其局限性：前者会忽略人体动作的距离信息，而后者会忽略多普勒信息，即速度信息。目前，研究人员更多地利用雷达信号的微多普勒效应对人体动作进行特征提取，利用短时傅立叶变换、小波变换、广义S变换、Hilbert-Huang变换、Wigner-Ville分布等时频分析方法对慢时间目标的回波信号进行分析。这些时频分析方法结合深度学习的分类识别算法用于人体动作识别可以基本实现动作的分类识别，但是获获取到的时频图只包含动作的时间和多普勒信息，对多人场景进行检测时会出现时频图混叠的现象，较难在多人场景下准确识别每个目标的动作，而被忽略的距离信息会造成信息的浪费。
因此，充分利用回波信号中的时间、距离和多普勒信息，将有助于提高人体动作识别的准确率。
发明内容
本发明克服现有技术存在的不足，针对从超宽带雷达采集到的信号中提取人体的动作的多普勒特征时，二维时频图会存在图像分辨率不高、信息浪费的问题和多目标情况下时频特征混叠不易分割的问题，提供一种基于深度学习和超宽带雷达的人体动作识别方法。
为了解决上述技术问题，本发明采用的技术方案为：一种基于深度学习和超宽带雷达的人体动作识别方法，包括以下步骤：
S1、通过超宽带雷达模块获取人体动作信息数据集，并进行特征提取，提取目标的动作特征；
S2、对人体动作信息数据集的数据依次进行距离-多普勒成像、自适应阈值检测和多目标分割处理，构建包含包含时间、距离、速度的三维特征数据集，并按照每个动作的实际发生时间进行标签标记；
S3、将步骤S2获得的三维特征数据集分为训练集数据和测试集数据，搭建PointNet网络模型，对网络进行训练和测试；
S4、网络训练完成后，对实时采集到的雷达信号通过数据处理提取人体动作特征，然后构建三维特征数据，并输入训练好的PointNet网络模型进行动作种类进行识别。
所述步骤S1中，获取人体动作信息数据集具体包括以下步骤：
采用超宽带雷达进行人体动作信息数据采集，并对数据进行预处理；
采用公开的运动数据集建立运动中的人体模型，在仿真模型中设置与所述超宽带雷达相同的信号参数实现人体模拟运动数据的采集；
将人体模拟运动数据的采集与超宽带雷达采集的人体动作信息数据共同作为人体动作信息数据集的数据；
所述人体动作信息数据集中的动作数据包括单人动作和多人动作；
所述动作数据包括慢跑、步行、跳跃、爬梯、弯腰、坐下和起立七种动作，每种动作至少有1000个样本。
所述步骤S2中，对人体动作信息数据集的数据依次进行距离-多普勒成像、自适应阈值检测和多目标分割处理的具体方法为：
进行距离-多普勒成像操作，使用基于Keystone变换的距离偏移补偿方法消除多普勒迁移效应；
采用CA-CFAR算法进行自适应阈值检测；
最后通过DBSCAN聚类算法把将多人目标的点云特征分离开。
所述的一种基于深度学习和超宽带雷达的人体动作识别方法，在距离-多普勒成像处理过程中，首先将接收信号在Fourier变换后分成多个子频带，所述子频带包含了由初始目标距离引入的相移、中心频率的多普勒频移和由于迁移产生的快频/慢时间耦合项；然后通过时间缩放对耦合项进行补偿以消除快频/慢时间域内的迁移效应；最后利用Sinc插值对Keystone形状矩阵的慢时间进行重采样，以便进行傅里叶逆变换。
所述采用CA-CFAR算法进行自适应阈值检测的具体步骤为：
使用滑动的2D CFAR窗口在整个图像中逐像素扫描，提取图像中的有效目标；所述2D CFAR窗口分为覆盖目标特征的内部待测单元、覆盖目标像素周围背景区域的外部参考单元以及待测单元与参考单元间的保护单元；
然后将待测单元与参考单元的能量比与设定阈值进行对比，判断待测单元是否为目标。
所述的一种基于深度学习和超宽带雷达的人体动作识别方法，通过DBSCAN聚类算法把将多人目标的点云特征分离开的具体步骤为：
从目标点集中任意选取一个数据对象点，选择合适的邻域半径和密度阈值，若该点的邻域半径范围内点的数目大于密度阈值，将其归类为核心点，然后从其邻域半径范围内再次找一点判断其是否为核心点，所有核心点及其领域半径范围内的数据对象点形成一个聚类簇，重复操作直到所有点被处理。
所述步骤S3中，训练集和测试集数据的比例为8:2。
PointNet网络模型包括T-Net网络、多层感知机MLP和Max pooling层。
所述PointNet网络模型使用最大似然损失函数NLLLoss作为损失函数，对分类分数图进行log_softmax处理，把结果中与实际标签对应的值去掉负号后求和取平均值得到损失值；使用平均交并比mIoU评价网络模型的性能，即对每一类动作的预测结果和真实值的交集与并集之比求和后，进行平均得到结果；选择Adam作为优化器，利用梯度的一阶矩估计和二阶矩估计动态调整每个参数的学习率，更新网络模型的权重并保存最优结果。
本发明与现有技术相比具有以下有益效果：
1、本发明提供一种基于深度学习和超宽带雷达的人体动作识别方法，其从雷达回波信号中提取动作的三维动作特征，可以全面利用时间、距离和速度信息，能够提高动作的识别率；并且，对于多人场景，三维点云特征混叠部分极大减少，可以轻易将不同目标的动作特征分离开，有益于后续实现具体动作的分割和识别。
2、本发明结合深度学习算法中的点云分割网络对连续的人体动作进行动作分割并准确识别，能够大大改善二维特征图像分辨率有限、动作信息不完整、小样本数据集下识别率不高等问题和多目标场景下动作特征不易提取的问题。
附图说明
图1为本发明提供的基于深度学习和超宽带雷达的人体动作识别方法的流程示意图；
图2为本发明实施例采用的PointNet网络实现动作分割和分类识别的网络结构图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明的一部分实施例，而不是全部的实施例；基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
如图1所示，为解决人体动作检测中二维特征图像分辨率有限、动作信息不完整、小样本数据集下识别率不高等问题和多目标场景下动作特征不易分割等问题，，本发明实施例提供了一种基于深度学习和超宽带雷达监测系统实现人体动作识别的方法，包括以下步骤。
S1、通过超宽带雷达模块获取人体动作信息数据集，并进行特征提取，提取目标的动作特征。
具体地，本实施例中，获取人体动作信息数据集具体包括以下步骤：
采用超宽带雷达进行人体动作信息数据采集，并对数据进行预处理；
采用公开的运动数据集建立运动中的人体模型，在仿真模型中设置与所述超宽带雷达相同的信号参数实现人体模拟运动数据的采集；
将人体模拟运动数据的采集与超宽带雷达采集的人体动作信息数据共同作为人体动作信息数据集的数据。
进一步地，本实施例中，利用美国Domain公司设计的PulsON 440（P440）超宽带雷达模块进行实际的人体动作信息采集。实验采集到的数据需要进行环境去噪处理：在采集人体的动作信息之前，先使用P440模块检测实验区域无人场景下的回波信号，在后续人体动作检测实验中，从采集到的回波信号中减去无人场景下的实验数据，减小环境因素对检测结果的影响，然后采用简单平均消除法滤除杂波，直接从雷达回波信号中减去信号均值去除障碍物的直接反射回波，最后使用四抽头差分滤波器对信号进行运动滤波。
使用已公开的运动数据集MOCAP建立运动中的人体模型，在仿真软件中设置与P440模块相同的信号参数模拟实现人体运动数据的采集，将其与实验采集数据共同作为雷达采集到的人体动作信息数据源。数据集中包含慢跑、步行、跳跃、爬梯、弯腰、坐下和起立七种动作，每种动作有1000个样本，将其按照8：2的比例将其划分为训练集和测试集。
S2、对人体动作信息数据集的数据依次进行距离-多普勒成像、自适应阈值检测和多目标分割处理，构建包含包含时间、距离、速度的三维特征数据集，并按照每个动作的实际发生时间进行标签标记。
具体地，步骤S2中，对人体动作信息数据集的数据依次进行距离-多普勒成像、自适应阈值检测和多目标分割处理的具体方法为：
（1）进行距离-多普勒成像操作，使用基于Keystone变换的距离偏移补偿方法消除多普勒迁移效应；
（2）采用CA-CFAR算法进行自适应阈值检测；
（3）最后通过DBSCAN聚类算法把将多人目标的点云特征分离开。
由于超宽带雷达的多普勒迁移效应会严重降低雷达分辨相似速度目标的能力，而目标速度可以用多普勒频率来表示，当两个目标的多普勒频谱重叠时有可能导致无法将速度相近的目标区分开。本实施例中，利用Fourier变换对雷达采集到的数据帧进行距离-多普勒成像，并使用Keystone变换实现距离偏移补偿来削弱迁移效应带来的影响。
接收信号中包含三部分信息：由初始目标距离引入的相移、中心频率的多普勒频移和由于迁移产生的快频/慢时间耦合项。通过在快频/慢时间域的时间缩放对耦合项进行补偿可以缓解迁移效应，对每个频率重新调整时间轴获得高分辨率匹配滤波器输出，提高雷达检测的速度分辨率。由于Keystone变换之后，每个子带中的时间尺度变得不同，因此必须沿慢时间对信号进行重采样，以便进行傅里叶逆变换。
以下为本实施例中利用Keystone变换实现距离偏移补偿的具体计算过程。
P440模块是中心频率为4.3GHz、频率范围为3.1-5.3GHz的超宽带雷达模块，其发射脉冲为高斯单周波脉冲信号p（t）：
Figure DEST_PATH_IMAGE001
；（1）
其中， A是幅值参数，设定为1；a是脉冲信号的斜率常量，
Figure 629711DEST_PATH_IMAGE002
，f c表示中心频率。人体后向散射模型可以由多点散射体回波的相干累加来表示，模拟雷达系统采集单点散射体的回波信号为
Figure DEST_PATH_IMAGE003
，其表达式为：
Figure 546852DEST_PATH_IMAGE004
；（1）
其中，t’表示快时间，ts表示慢时间；τ0表示初始时延，
Figure DEST_PATH_IMAGE005
，R0表示单点散射体的初始位置；
Figure 139638DEST_PATH_IMAGE006
，v表示单点散射体的速度，c表示光速。要消除快频/慢时间域内的迁移效应，先要对
Figure DEST_PATH_IMAGE007
的快时间变量t’进行Fourier变换，得到表达式：
Figure 597164DEST_PATH_IMAGE008
；（2）
其中，P(f)是p（t’）的Fourier变换，将一个单点散射体推广为N个移动点散射体的集合，得到完整公式：
Figure DEST_PATH_IMAGE009
；（3）
在这个过程中会产生距离偏移，利用
Figure 411537DEST_PATH_IMAGE010
对每个频率重新调整时间轴来获得高分辨率匹配滤波器输出，将S(f，t s)变换到S(f，t s’)域重写为：
Figure DEST_PATH_IMAGE011
；（4）
由于Keystone变换之后，每个子带中的时间尺度变得不同，利用Sinc插值对Keystone矩阵的慢时间进行重采样，然后进行逆傅里叶变换：
Figure 47048DEST_PATH_IMAGE012
；（5）
对慢时间变量t s’进行Fourier变换得到一帧距离-多普勒图像：
Figure 314082DEST_PATH_IMAGE013
；（6）
采用CA-CFAR算法进行自适应阈值检测，在噪声和杂波环境中提取距离-多普勒图像中人体各部分的动作信息。提取目标信息时使用滑动的2D CFAR窗口在整个图像中逐像素扫描提取图像中的有效目标，2D CFAR窗口分为覆盖目标像素的内部待测单元、覆盖目标像素周围背景区域的外部参考单元以及待测单元与参考单元间的保护单元；计算待测单元与参考单元的能量值，将二者比值与设定阈值进行对比，判断待测单元是否为目标。将提取到的目标数据按时间帧排列得到连续时间的三维动作特征，然后进行下采样减少数据量，加快计算速度。
具体地，本实施例中，使用滑动的2D CFAR窗口在整个图像中逐像素扫描提取图像中的有效目标，设定2D CFAR窗口为9×9的单元网格，其中，待测单元为中心处的3×3个单元，参考单元为最外层的3层单元，中间3层为参考单元。计算待测单元CUT和参考单元RC的能量：
Figure DEST_PATH_IMAGE014
；（7）
其中，YE表示待测单元中所有像素单元的总能量值，XE表示参考单元中所有像素单元的总能量值，CUT（i，j）和RC（i，j）分别表示检测图像中与CUT区域和RC区域对应的各个像素值。
将待测单元与参考单元的能量比与设定阈值进行对比，判断待测单元是否为目标：
Figure 512982DEST_PATH_IMAGE015
；（8）
其中，T表示阈值，可以根据图像特征选择合适的阈值，本实施例中，设置T=0.5，
Figure DEST_PATH_IMAGE016
的值表示目标单元是否为有效特征；此外，本发明中，参考单元能量不应接近于零，以避免过多的误报检测和防止被零除的问题。
给提取到的目标点按照对应时间所发生的具体动作标记对应的数字标签，慢跑、步行、跳跃、爬梯、弯腰、坐下和起立分别对应自然数1-7。将数据集按照8：2的比例打乱顺序分为训练集和测试集，训练集中包含5600个样本，测试集包含1400个样本。
具体地，本实施例中，对于多目标场景，使用DBSCAN聚类算法把不同目标人物的点云特征分离开，即将多人动作信息分割成单人动作信息进行识别。设置邻域半径ε和以核心点为中心的邻域半径内的点密度M，将点云中所有的点分为核心点、边界点和噪音点。首先，选择一个核心点，当选定核心点的邻域半径范围内点的密度不小于M时，从该范围内任意选取一个点判断其是否同样满足条件，若满足，则将其添加到核心点的聚类中，若不满足，判断其邻域范围内是否存在核心点，若存在，则添加到边界点的聚类中，若不存在，则属于噪音点的聚类。将同一点簇中的的核心点和边界点划分为一类，实现多人场景下目标的动作特征分离。
具体地，本实施例中，DBSCAN算法涉及的两个重要参数邻域半径ε和核心点处的密度阈值M，分别设置为0.5和15。假设x∈X，
Figure 244178DEST_PATH_IMAGE017
为x的邻域，ρ（x）=|Nε(x)|为x的密度，若ρ（x）≥M，则x为X的核心点，记核心点的集合为Xc，非核心点的集合为Xnc；若x∈Xnc，且落在某一核心点的邻域范围内，则x为边界点，边界点的集合为Xbd，其它既不是核心点，又不是边界点间的点被称为噪音点。将同一点簇中的的核心点和边界点划分为一类，可以实现多人场景下目标的动作特征分离。
通过以上操作建立人体动作的三维特征数据集，给得到的点云数据标记标签，将其按适当比例分为训练集和测试集。
S3、将步骤S2获得的三维特征数据集分为训练集数据和测试集数据，搭建PointNet网络模型，对网络进行训练和测试。
搭建PointNet网络，其网络结构如图2所示。PointNet网络主要包括提取点云的局部特征、全局特征以及将局部特征与全局特征合并三个过程，搭建PointNet网络，其网络结构如图2所示。PointNet网络主要包括提取点云的局部特征、全局特征以及将局部特征与全局特征合并三个过程，其具体方法如下。
训练集中每一个样本为n×7维（n表示点的个数，每一个点的特征包含其三维坐标位置、表示颜色的RGB值和点所对应的数字标签）的数据，将其中的坐标数据（n×3）输入到T-Net网络中，利用T-Net网络训练一个3×3的矩阵对输入点进行坐标变换，即将其与训练得到的矩阵相乘得到变换后的点云坐标；然后通过一个（64,64）的多层感知机将每一个点的特征扩展到64维，然后再次送入T-Net网络与64×64的矩阵相乘，进行特征变换每个点的局部特征，并添加正则项得到点云的局部特征，，通过添加正则项以减少点云的信息丢失；将局部特征输入到（64,128,1024）的多层感知机，利用（64,128,1024）多层感知机和Maxpooling函数提取每个点的全局特征，即进行最大池化操作后得到点云的全局特征；将点云的局部特征与全局特征合并后通过（512,256,12,8）和（128，m）的两个多层感知机后得到n×m的分数图，多层感知机包含输入层、隐藏层和输出层，各个层之间都是全连接的，其中，最后一个多层感知机的输出层为Dropout层，防止模型过拟合以提升泛化能力，通过对每个点的分类预测将点云分割成不同的子类并判断每个子类所表示的动作类别。其中，m表示动作的种类数，在本实例中为7。
然后，根据所述训练集数据对上述网络进行训练。由于每个样本文件中点的数目差异较大，将所有样本按照局部相关的原则将所有样本分为每个样本包含4096个点的子样本。本实施例中设置每次迭代读取32个子样本，迭代次数由子样本总数决定。
迭代过程中使用采用最大似然损失函数NLLLoss计算损失值，对分类分数图进行softmax处理得到ypre，求其对数后把结果中与实际标签ytrue对应的值去掉负号并求和取平均值得到损失值loss，表达式为：
Figure DEST_PATH_IMAGE018
；（9）
选择Adam优化器优化网络模型性能。Adam结合了Adagrad善于处理稀疏梯度和RMSprop善于处理非平稳目标的优点，对内存需求较小，利用梯度的一阶矩估计和二阶矩估计动态调整每个参数的学习率：
Figure 50591DEST_PATH_IMAGE019
；（10）
其中，g t表示训练第t轮的梯度，m t、n t 分别是对梯度的一阶矩估计和二阶矩估计，β1和β2为一阶矩估计和二阶矩估计的衰减因子，取β1=0.9，β2=0.999；m t’、n t ’是对m t、n t 的偏置校正，近似为对期望的无偏估计，β1 t和β2 t表示第t轮训练后一阶矩估计和二阶矩估计衰减因子的累积值；θt-1表示对第t轮训练时的参数θt进行优化得到的参数，ε=1e-8防止分母为0。衰减因子在学习率更新过程中权衡过去与当前的梯度信息，减轻了因梯度不断累计导致学习率大幅降低的影响，防止学习过早结束。
本实施例中，利用平均交并比评价模型的性能，平均交并比是模型对每一类的预测结果和真实值的交集与并集的比求和再平均的结果，通过计算平均交并比与之前保存模型的平均交并比进行比较，保存性能最佳的模型参数。
S4、测试完成后，对实时采集到的雷达信号通过数据处理提取人体动作特征，然后构建三维特征数据，并输入训练好的PointNet网络模型进行动作种类进行识别。
本实施例中，利用测试集对训练好的网络模型进行性能测试。首先加载训练集，与处理训练集的操作相同，将测试样本文件分为包含4096个点的子样本，然后利用训练好的模型参数对网络进行初始化。对每一批次中所有子样本中点的局部特征和全局特征进行学习，获取每一个样本点所属类别的分数图进而得到预测结果，与其真实结果进行对比，验证本发明所提出的基于深度学习和超宽带雷达监测系统实现人体动作识别方法的有效性。对实时采集到的雷达信号进行动作种类进行识别时，可以通过步骤S2的数据处理方法对数据进行距离-多普勒成像、自适应阈值检测和多目标分割处理，构建包含包含时间、距离、速度的三维特征数据后，再输入训练好的PointNet网络模型进行动作种类进行识别。
最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。

Claims (10)

1.一种基于深度学习和超宽带雷达的人体动作识别方法，其特征在于，包括以下步骤：
S1、通过超宽带雷达模块获取人体动作信息数据集，并进行特征提取，提取目标的动作特征；
S2、对人体动作信息数据集的数据依次进行距离-多普勒成像、自适应阈值检测和多目标分割处理，构建包含包含时间、距离、速度的三维特征数据集，并按照每个动作的实际发生时间进行标签标记；
S3、将步骤S2获得的三维特征数据集分为训练集数据和测试集数据，搭建PointNet网络模型，对网络进行训练和测试；
S4、网络训练完成后，对实时采集到的雷达信号通过数据处理提取人体动作特征，然后构建三维特征数据，并输入训练好的PointNet网络模型进行动作种类进行识别。
2.根据权利要求1所述的一种基于深度学习和超宽带雷达的人体动作识别方法，其特征在于，所述步骤S1中，获取人体动作信息数据集具体包括以下步骤：
采用超宽带雷达进行人体动作信息数据采集，并对数据进行预处理；
采用公开的运动数据集建立运动中的人体模型，在仿真模型中设置与所述超宽带雷达相同的信号参数实现人体模拟运动数据的采集；
将人体模拟运动数据的采集与超宽带雷达采集的人体动作信息数据共同作为人体动作信息数据集的数据。
3.根据权利要求1所述的一种基于深度学习和超宽带雷达的人体动作识别方法，其特征在于，所述人体动作信息数据集中的动作数据包括单人动作和多人动作；
所述动作数据包括慢跑、步行、跳跃、爬梯、弯腰、坐下和起立七种动作，每种动作至少有1000个样本。
4.根据权利要求1所述的一种基于深度学习和超宽带雷达的人体动作识别方法，其特征在于，所述步骤S2中，对人体动作信息数据集的数据依次进行距离-多普勒成像、自适应阈值检测和多目标分割处理的具体方法为：
进行距离-多普勒成像操作，使用基于Keystone变换的距离偏移补偿方法消除多普勒迁移效应；
采用CA-CFAR算法进行自适应阈值检测；
最后通过DBSCAN聚类算法把将多人目标的点云特征分离开。
5.根据权利要求4所述的一种基于深度学习和超宽带雷达的人体动作识别方法，其特征在于，在距离-多普勒成像处理过程中，首先将接收信号在Fourier变换后分成多个子频带，所述子频带包含了由初始目标距离引入的相移、中心频率的多普勒频移和由于迁移产生的快频/慢时间耦合项；然后通过时间缩放对耦合项进行补偿以消除快频/慢时间域内的迁移效应；最后利用Sinc插值对Keystone形状矩阵的慢时间进行重采样，以便进行傅里叶逆变换。
6.根据权利要求4所述的一种基于深度学习和超宽带雷达的人体动作识别方法，其特征在于，所述采用CA-CFAR算法进行自适应阈值检测的具体步骤为：
使用滑动的2D CFAR窗口在整个图像中逐像素扫描，提取图像中的有效目标；所述2DCFAR窗口分为覆盖目标特征的内部待测单元、覆盖目标像素周围背景区域的外部参考单元以及待测单元与参考单元间的保护单元；
然后将待测单元与参考单元的能量比与设定阈值进行对比，判断待测单元是否为目标。
7.根据权利要求4所述的一种基于深度学习和超宽带雷达的人体动作识别方法，其特征在于，通过DBSCAN聚类算法把将多人目标的点云特征分离开的具体步骤为：
从目标点集中任意选取一个数据对象点，选择合适的邻域半径和密度阈值，若该点的邻域半径范围内点的数目大于密度阈值，将其归类为核心点，然后从其邻域半径范围内再次找一点判断其是否为核心点，所有核心点及其领域半径范围内的数据对象点形成一个聚类簇，重复操作直到所有点被处理。
8.根据权利要求1所述的一种基于深度学习和超宽带雷达的人体动作识别方法，其特征在于，所述步骤S3中，训练集和测试集数据的比例为8:2。
9.根据权利要求1所述的一种基于深度学习和超宽带雷达的人体动作识别方法，其特征在于，PointNet网络模型包括T-Net网络、多层感知机MLP和Max pooling层。
10.根据权利要求1所述的一种基于深度学习和超宽带雷达的人体动作识别方法，其特征在于，所述PointNet网络模型使用最大似然损失函数NLLLoss作为损失函数，对分类分数图进行log_softmax处理，把结果中与实际标签对应的值去掉负号后求和取平均值得到损失值；使用平均交并比mIoU评价网络模型的性能，即对每一类动作的预测结果和真实值的交集与并集之比求和后，进行平均得到结果；选择Adam作为优化器，利用梯度的一阶矩估计和二阶矩估计动态调整每个参数的学习率，更新网络模型的权重并保存最优结果。
CN202111145029.5A 2021-09-28 2021-09-28 一种基于深度学习和超宽带雷达的人体动作识别方法 Pending CN113850204A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111145029.5A CN113850204A (zh) 2021-09-28 2021-09-28 一种基于深度学习和超宽带雷达的人体动作识别方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111145029.5A CN113850204A (zh) 2021-09-28 2021-09-28 一种基于深度学习和超宽带雷达的人体动作识别方法

Publications (1)

Publication Number Publication Date
CN113850204A true CN113850204A (zh) 2021-12-28

Family

ID=78980463

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111145029.5A Pending CN113850204A (zh) 2021-09-28 2021-09-28 一种基于深度学习和超宽带雷达的人体动作识别方法

Country Status (1)

Country Link
CN (1) CN113850204A (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114145730A (zh) * 2021-12-30 2022-03-08 中新国际联合研究院 基于深度学习与射频感知的生命体征监测动作去除方法
CN115063884A (zh) * 2022-06-14 2022-09-16 电子科技大学 基于多域融合深度学习的毫米波雷达头部动作识别方法
CN115291184A (zh) * 2022-10-08 2022-11-04 四川启睿克科技有限公司 一种毫米波雷达与深度学习结合的姿态监测方法
WO2024017363A1 (zh) * 2022-07-21 2024-01-25 联合汽车电子有限公司 一种动作识别方法、装置、存储介质、传感器及车辆

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114145730A (zh) * 2021-12-30 2022-03-08 中新国际联合研究院 基于深度学习与射频感知的生命体征监测动作去除方法
CN115063884A (zh) * 2022-06-14 2022-09-16 电子科技大学 基于多域融合深度学习的毫米波雷达头部动作识别方法
CN115063884B (zh) * 2022-06-14 2024-04-23 电子科技大学 基于多域融合深度学习的毫米波雷达头部动作识别方法
WO2024017363A1 (zh) * 2022-07-21 2024-01-25 联合汽车电子有限公司 一种动作识别方法、装置、存储介质、传感器及车辆
CN115291184A (zh) * 2022-10-08 2022-11-04 四川启睿克科技有限公司 一种毫米波雷达与深度学习结合的姿态监测方法

Similar Documents

Publication Publication Date Title
CN113850204A (zh) 一种基于深度学习和超宽带雷达的人体动作识别方法
CN111123257B (zh) 基于图时空网络的雷达动目标多帧联合检测方法
CN107818326A (zh) 一种基于场景多维特征的船只检测方法及系统
US5940523A (en) Method of moment estimation and feature extraction for devices which measure spectra as a function of range or time
CN110007366B (zh) 一种基于多传感器融合的生命搜寻方法以及系统
CN109919241B (zh) 基于概率模型和深度学习的高光谱未知类别目标检测方法
CN111505632B (zh) 基于功率谱和多普勒特征的超宽带雷达动作姿态识别方法
Chen et al. Spatial–temporal convolutional gated recurrent unit network for significant wave height estimation from shipborne marine radar data
CN100565557C (zh) 基于粒子动态采样模型的红外人体目标跟踪系统
CN105405132A (zh) 基于视觉反差和信息熵的sar图像人造目标检测方法
CN113808174A (zh) 基于全卷积网络和卡尔曼滤波的雷达小目标跟踪方法
CN108732570A (zh) 基于粒子滤波融合算法的灾害性对流天气的临近预报方法
CN106056078A (zh) 一种基于多特征回归式集成学习的人群密度估计方法
Yari et al. Multi-scale and temporal transfer learning for automatic tracking of internal ice layers
CN101582159A (zh) 基于无监督核回归分析的红外图像背景抑制方法
Donini et al. A deep learning architecture for semantic segmentation of radar sounder data
CN113222898B (zh) 基于多元统计量和深度学习的双航过sar图像痕迹检测方法
CN111965620B (zh) 基于时频分析和深度神经网络的步态特征提取与识别方法
CN110008881B (zh) 多运动目标的奶牛行为的识别方法及装置
CN113126050A (zh) 一种基于神经网络的生命探测方法
Pao et al. Locating the typhoon center from the IR satellite cloud images
CN109285148B (zh) 基于重加权低秩和增强稀疏的红外弱小目标检测方法
CN116561700A (zh) 基于毫米波雷达的室内人体姿态识别方法
CN111368653A (zh) 一种基于r-d图与深度神经网络的低空小目标检测方法
Tang et al. Learning from natural noise to denoise micro-doppler spectrogram

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination