CN110133610B - 基于时变距离-多普勒图的超宽带雷达动作识别方法 - Google Patents

基于时变距离-多普勒图的超宽带雷达动作识别方法 Download PDF

Info

Publication number
CN110133610B
CN110133610B CN201910399224.7A CN201910399224A CN110133610B CN 110133610 B CN110133610 B CN 110133610B CN 201910399224 A CN201910399224 A CN 201910399224A CN 110133610 B CN110133610 B CN 110133610B
Authority
CN
China
Prior art keywords
time
action
doppler
radar
range
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910399224.7A
Other languages
English (en)
Other versions
CN110133610A (zh
Inventor
周金海
王依川
吴祥飞
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hanghzou Magent Intelligent Technology Co ltd
Zhejiang University ZJU
Original Assignee
Hanghzou Magent Intelligent Technology Co ltd
Zhejiang University ZJU
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hanghzou Magent Intelligent Technology Co ltd, Zhejiang University ZJU filed Critical Hanghzou Magent Intelligent Technology Co ltd
Priority to CN201910399224.7A priority Critical patent/CN110133610B/zh
Publication of CN110133610A publication Critical patent/CN110133610A/zh
Application granted granted Critical
Publication of CN110133610B publication Critical patent/CN110133610B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/02—Systems using reflection of radio waves, e.g. primary radar systems; Analogous systems
    • G01S13/50—Systems of measurement based on relative movement of target
    • G01S13/58—Velocity or trajectory determination systems; Sense-of-movement determination systems
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/02—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00
    • G01S7/41—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00 using analysis of echo signal for target characterisation; Target signature; Target cross-section
    • G01S7/415—Identification of targets based on measurements of movement associated with the target
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/02—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00
    • G01S7/41—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00 using analysis of echo signal for target characterisation; Target signature; Target cross-section
    • G01S7/417—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00 using analysis of echo signal for target characterisation; Target signature; Target cross-section involving the use of neural networks
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/02—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00
    • G01S7/41—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00 using analysis of echo signal for target characterisation; Target signature; Target cross-section
    • G01S7/418—Theoretical aspects

Landscapes

  • Engineering & Computer Science (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Radar Systems Or Details Thereof (AREA)

Abstract

本发明公开了一种基于时变距离‑多普勒图的超宽带雷达动作识别方法，包括：(1)采集并对雷达信号进行杂波滤除处理；(2)根据杂波滤除后的雷达信号的时频分布特性判断动作是否发生，并截取动作发生的时间段；(3)根据动作发生的时间段构建时变距离‑多普勒图；(4)采用主成分分析方法或自编码器提取时变距离‑多普勒图的特征信息；(5)构建动作识别网络，其包括至少一个门控循环单元和softmax分类器，利用提取的特征信息以及对应的真值标签对动作识别网络进行训练，获得动作识别模型；(6)应用时，按照步骤(1)～(4)获得待识别动作的特征信息，并将该特征信息输入至动作识别模型中，经计算输出动作识别结果。

Description

基于时变距离-多普勒图的超宽带雷达动作识别方法
技术领域
本发明属于目标识别领域，具体涉及一种基于时变距离-多普勒图的超宽带雷达动作识别方法。
背景技术
近年来，基于雷达的动作识别由于其与辅助生活问题的相关性而引起了人们的极大关注。具体到实际应用，该技术可以帮助对紧急状况进行告警，或者协助长期室内活动量的统计分析，这对独居老人来说尤其有用。根据相关研究，如果只考虑预期寿命的增长，全球调整后的中位年龄将从2000年的26.6岁上升到2050年的31.1岁，到2100年甚至将达到32.9岁。严重的老龄化将会增加社会劳动力们的工作压力，导致许多老年人将不得不在家进行自我照顾。在这种情况下，独居的老人很可能会在不知情的情况下跌倒，最终导致死亡。动作识别可以帮助检测跌倒的发生并及时发出警报，以最大限度地减少后续的物理伤害甚至挽救生命。此外，记录的日常活动信息还可以帮助进行健康评估，以便家庭成员可以及时做出适当的回应。
室内监控技术，根据其对动作识别的感知手段可以分为两类：可穿戴式解决方案和环境解决方案。典型的可穿戴式解决方案包括加速度计，陀螺仪或它们的融合方案。可穿戴式解决方案的性能不受外部环境的影响，但是它们的侵入性可能导致被监控目标产生排斥心理。摄像机是一种高性能的环境解决方案，由于它可以捕获大量信息，因此在动作识别领域具有巨大的优势。但缺点是基于摄像头的解决方案容易受到光照强度的影响而且容易泄露隐私，因此它们仅适合在公共场所进行安装，而不适用于安装在家庭隐私环境中来进行长期监控。
超宽带雷达在以前主要用于军事用途，最近才开始在民用领域中发挥作用，各种研究都证实了它有潜力成为领先的家庭监控传感器之一。超宽带雷达的主要优点是低功耗，非侵入性和隐私保护性，其检测性能不易受光强度或障碍物的影响。在以往的初步研究中，研究人员通常使用预定义的基于时间-多普勒图(TDI)或者距离-多普勒图(RDI)的特征对运动进行分类。这些预定义特征的表达效果受外部变量的影响很大，并且通常需要相关专家来设计，这是非常耗时的。为了解决这个问题，也有研究者提出了一些启发性的特征，例如基于小波的特征和梅尔频率倒谱系数 (MFCC)。这些特征的定义来自其他研究领域，无需在雷达应用中做特定设计，但分类结果相对不令人满意。由于TDI丢失了目标动作的距离信息、 RDI这种雷达信号的表示方式则丢失了动作的时间信息，而且不能直观的对动作进行动态建模，因此无论怎么改进特征提取方法，方案的识别效果均到达了一个瓶颈，不能满足实际应用的要求。
发明内容
本发明的目的是提供一种基于时变距离-多普勒图的超宽带雷达动作识别方法，该超宽带雷达动作识别方法能够准确地识别用户的动作。
为实现上述发明目的，本发明提供以下技术方案：
一种基于时变距离-多普勒图的超宽带雷达动作识别方法，包括以下步骤：
(1)采集雷达信号，并对雷达信号进行杂波滤除处理，获得杂波滤除后的雷达信号；
(2)根据杂波滤除后的雷达信号的时频分布特性判断动作是否发生，并截取动作发生的时间段；
(3)根据动作发生的时间段构建时变距离-多普勒图；
(4)采用主成分分析方法或自编码器提取时变距离-多普勒图的特征信息；
(5)构建动作识别网络，其包括至少一个门控循环单元和接在门控循环单元输出端的softmax分类器，利用提取的特征信息以及对应的真值标签对动作识别网络进行训练，参数确定后，获得动作识别模型；
(6)应用时，按照步骤(1)～(4)获得待识别动作的特征信息，并将该特征信息输入至动作识别模型中，经计算输出动作识别结果。
与现有技术相比，本发明提供的基于时变距离-多普勒图的超宽带雷达动作识别方法，动作识别的准确率很高，能达到98.5％。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图做简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动前提下，还可以根据这些附图获得其他附图。
图1是实施例提供的基于时变距离-多普勒图的超宽带雷达动作识别方法的流程框图；
图2是实施例提供的动作发生判定示意图；
图3是实施例提供的跌倒动作产生的一组时变距离-多普勒图；
图4实施例提供的(a)爬行、(b)跌倒、(c)慢跑、(d)跳跃、(e) 坐下、(f)蹲下、(g)弯腰和(h)行走动作的时变距离-多普勒图；
图5是实施例提供的不同组合下雷达动作识别模型的性能评估结果；
图6是实施例提供的基于时变距离-多普勒图的超宽带雷达动作识别方法应用的系统框图。
具体实施方式
为使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例对本发明进行进一步的详细说明。应当理解，此处所描述的具体实施方式仅仅用以解释本发明，并不限定本发明的保护范围。
本发明提供的基于时变距离-多普勒图的超宽带雷达动作识别方法应用场景包括但不限于独居老人的生活空间，常见的为卧室、起居室、卫生间等，这类室内场景往往空间较小，静态物体(如各种家具)较多，存在较强的可见光遮蔽或者无线电多径传播效应，因此对信号预处理的要求相对较高。
如图6所示，本实施例提供的基于时变距离-多普勒图的超宽带雷达动作识别方法采用的设备系统包括脉冲超宽带雷达模块、嵌入式设备以及移动终端，其中，雷达模块用于雷达信号的发射与收集，嵌入式设备用于完成对信号具体的处理工作，雷达模块与嵌入式设备之间采取USB的方式进行数据的传输；嵌入式设备中处理得到的结果通过socket、蓝牙等方式发送到移动终端，进而移动终端上可以进行识别结果的展示。
如图1所示，本实施例提供的基于时变距离-多普勒图的超宽带雷达动作识别方法包括以下步骤：
S101，采集雷达信号，并对雷达信号进行杂波滤除处理，获得杂波滤除后的雷达信号。
通过超宽带雷达模块获取到的雷达信号为二维矩阵形式，每一行都是快时间采样(快时间采样点可以映射为距离点)产生的一个雷达帧，表示当前慢时间空间中不同径向距离处的反射信号强弱，多个雷达帧组合成一个雷达信号矩阵作为原始数据源。
由于采集到的原始数据中存在大量的杂波能量，对后续的雷达动作识别造成影响，因此需要对雷达信号进行杂波滤除。具体地，采用SVD算法将以二维矩阵形式表示的雷达信号分解成奇异值和奇异向量，并将前n 个较大的奇异值置零后，重组奇异值和奇异向量，获得杂波滤除后的雷达信号矩阵，其中，n取值为1～3。
由于空间中的杂波能量往往大于目标动作反射信号的能量，而且具有较大奇异值的信号分量在原始数据中占据较大的比重，因此本发明通过将前n个较大的奇异值置零的方式实现对杂波的滤除。
针对尺寸为M×N的雷达信号矩阵R，进行分解时有
Figure BDA0002059187090000051
其中，U和V分别是大小为(M×M)和(N×N)的酉矩阵；S＝diag(σ1,σ2,...,σr)，其中σ1≥σ2≥...≥σr≥0；ui和vi分别为矩阵U和V的列向量。
S102，根据杂波滤除后的雷达信号的时频分布特性判断动作是否发生，并截取动作发生的时间段。
动作发生仅是一段时间，由于采集的连续时间内的雷达信号，为了降低动作识别的计算消耗，以提升动作识别的速率，需要对动作发生进行判断。具体过程为：
首先，将不同距离处的雷达信号进行叠加，并对叠加后的雷达信号进行短时傅里叶变换，获得雷达信号的时频分布特性；
然后，针对每个当前时间点，根据时频分布特性，计算频谱值在一定频率范围内的叠加值，以此获得当前时间点的频率能量，当频率能量超过阈值时，则认为当前时间点发生动作，以当前时间点为中心，截取时间长度为3.5～4.5s作为动作发生的时间段。具体地，可以在10～250Hz范围内对频谱值进行叠加，以获得当前时间点的频率能量；可以截取时间长度为 4s作为动作发生的时间段。
若频率能量没有超过阈值时，则说明当前时间点没有发生动作，跳转继续执行S101，即继续采集雷达信号，重新判断。
举例说明，如图2所示，针对当前时间点5.5s处，对在10～250Hz范围内频谱值进行叠加计算，获得的频谱能量大于设定的能量阈值1，则认为该时间点发生动作，截取3.5s～7.5s这4s组作为动作发生的时间段。
S103，根据动作发生的时间段构建时变距离-多普勒图。
单张的距离-多普勒图(RDI)只能表示出一定时间段内目标动作距离范围和频率的整体变化情况，丢失了时间信息。为了引入时间信息，本发明构建了时变距离-多普勒图(TRDI)。
具体过程为：
在对雷达信号进行杂波滤除后，根据获得的动作发生的时间段截取对应时间段内的雷达信号，得到标准动作信号；
然后，计算标准动作信号上所有距离处的雷达信号的短时傅里叶变换，得到三维数据立方体I(r,f,t)，其中，r，f，t分别表示距离、频率以及时间；
最后，对三维数据立方体I(r,f,t)依据t轴进行组合，形成一组时变距离-多普勒图。
本发明中，对截取后的动作信号每个距离上做短时傅里叶变换最后得到三维数据I(r,f,t)可以理解为：当固定时间t时，会得到一个信号矩阵(r， f)，这个信号矩阵经过可视化后则是一张距离-多普勒图。这样可以得到许多张距离-多普勒图(数量取决于t的点数，而t的点数则进一步取决于短时傅里叶变换时的信号长度、窗口长度和重叠点数)。由于短时傅里叶变换后的I中的t具有时序信息，所有t点上得到的距离-多普勒图相互之间也就存在着时序信息。这样多张RDI的整合成功引入了时间的信息，克服了以往方案中信息丢失的问题。如图3所示的就是跌倒动作产生的一组 TRDI。
S104，采用主成分分析方法或自编码器提取时变距离-多普勒图的特征信息。
本实施例中，对一组TRDI中的每张RDI进行特征提取，将提取的结果进行特征拼接得到一组代表动作特征时间变化的时间序列。可以使用两种特征提取方案，分别为基于主成分分析(PCA)的特征提取和基于卷积自编码器(CAE)获得的编码器的特征提取。
主成分分析(PCA)是一种用于分析和简化数据集的技术，通常用于降低数据集的维度，同时保留那些最大化数据集中方差分布的特征。在模型的训练阶段，将训练集中的每个RDI平铺为一维向量，所有RDI组合得到一个大小为(M,N)的训练集矩阵，其中M是每个RDI的像素点数(样本维度)，N是训练集中RDI的个数，也可以进一步简化表示为 X＝(x1,x2,...xN)，其中xi是向量化后的第i个距离-多普勒图，维度为M。
具体地，采用主成分分析方法提取时变距离-多普勒图的特征信息的过程包括：
(a)每个距离-多普勒图xi减去训练集中所有距离-多普勒图的像素均值获得新的距离-多普勒图yi，这些新的距离-多普勒图可以组成新训练矩阵Y＝(y1,y2,...,yN)；
(b)计算矩阵Y的协方差矩阵C，并对协方差矩阵C进行特征值分解，获得特征值及对应的特征向量；
(c)选取最大的k个特征值对应的特征向量，组成特征向量矩阵W，并保存特征向量矩阵W；
(d)利用特征向量矩阵按照公式zi＝WTyi可以将每个距离-多普勒图转化为降维后的距离-多普勒图，实现对时变距离-多普勒图的特征信息的提取，其中，zi表示第i个降维后的距离-多普勒图。
经过训练阶段，获得了所需的特征向量矩阵W，对特征向量矩阵W进行保存以便用于对新距离-多普勒图进行特征提取。对于一个动作产生的新TRDI，可以直接借助特征向量矩阵W对其中的每一个RDI进行降维，然后将结果组合成一个可以用来表征动作的时间序列。
自编码器通过以下方式获得：
首先，构建卷积自编码器(CAE)，其包括编码器和解码器，其中，编码器若干个由卷积层A与最大池化层交替连接而成，卷积层A用于特征提取，最大池化层用于降低数据的空间维度；解码器由若干个卷积层B 与上采样层交替连接而成，卷积层B的卷积核数量的顺序与卷积层A的卷积核数量的顺序相反，用于特征提取，上采样层用于恢复数据的空间维度；
利用由雷达信号对应的距离-多普勒图作为训练样本，以卷积自编码器的输出与输入图像的均方差作为损失函数，采用反向传播方式对卷积自编码器进行训练，训练结束后，截取训练好的编码器作为特征提取器。
应用时，将TRDI中的所有RDI送到编码器中，然后将得到的feature maps向量化为特征向量，属于同一个TRDI的多个特征向量(数量取决于 TRDI中RDI的个数)最终形成用于动态建模的多维时间序列。
S105，构建动作识别网络，其包括至少一个门控循环单元和接在门控循环单元输出端的softmax分类器，利用提取的特征信息以及对应的真值标签对动作识别网络进行训练，参数确定后，获得动作识别模型，也就是动态建模过程。
门控循环单元(GRU)是一种长短期记忆网络(LSTM)的变体，包含更新门(UpdataGate)和重置门(Reset Gate)，它依靠内部隐状态的流动传递来完成对时序序列的建模过程。
本发明中可以单层或者多层GRU来构建动作识别网络，然后在GRU 的末端接入softmax分类器来对分类结果进行概率转换：
Figure BDA0002059187090000091
具体地，在训练动作识别网络时，采用交叉熵损失函数来优化动作识别网络的权重和偏置。
S106，应用时，按照S101～S104获得待识别动作的特征信息，并将该特征信息输入至动作识别模型中，经计算输出动作识别结果。
下面利用具体地实验例对上述基于时变距离-多普勒图的超宽带雷达动作识别方法进行详细说明。
实验例中，用的数据集来自室内环境下4位同学做的8种动作，分别为爬行、跌倒、慢跑、跳跃、坐下、蹲下、弯腰和行走，将所有示例划分为60％的训练集和40％的测试集，具体各类的示例数如表1所示：
表1各动作示例数
类别 爬行 跌倒 慢跑 跳跃 坐下 蹲下 弯腰 行走
训练 126 118 132 128 130 128 123 109
测试 74 84 68 89 90 79 88 91
总计 200 202 200 217 220 207 211 200
每个动作实例经过动作发生判定后拥有固定的信号长度为4s，设定雷达模块每秒构建500帧，因此总共为2000个点。
TRDI的建立过程如下：STFT的窗函数选用250点长度的hamming 窗，overlap为125点，因此每个2000点长度的信号可以形成15张前后存在时序关系的RDI作为一组TRDI。图4展示了这8种动作典型的TRDI (由于篇幅限制仅展示15张中的10张)：
作为对比，在特征提取时，基于PCA的方法中将保留的主成分数量选定为4、8、16、32、64、128六组；CAE也需要进行特殊设计来使得编码后的特征维度与PCA算法相对应。GRU配置为32个神经元，分别检验1、2、3层时的动态建模效果。表2展示了具体的CAE结构：
表2CAE具体参数
Figure BDA0002059187090000101
Figure BDA0002059187090000111
验证过程中，在训练集上使用5折交叉验证的方法来获得PCA+one -layer GRU、PCA+two-layers GRU、PCA+three-layers GRU、CAE+one-layer GRU、CAE+two-layers GRU、CAE+three-ayers GRU这几种配置的验证准确率，神经网络的学习率设置为0.0001，CAE和GRU分别训练60和200 轮。如图5所示，基于PCA的模型在保留64个主成分、结合2层GRU 的情况下获得了97.7％的验证准确率；基于CAE的模型在特征维度为128、结合2层GRU的情况下获得了98.5％的验证准确率。
真实测试时，将交叉验证时的训练集和验证集重新组合成新的训练集，将这两个挑选出的模型在新训练集上重新训练得到最终模型并在测试集上模拟现实性能，两个模型在测试集上的混淆矩阵分别如表3、表4所示：
表3基于PCA模型的混淆矩阵(Acc＝97.7％)
真实/识别 爬行 跌倒 慢跑 跳跃 坐下 蹲下 弯腰 行走
爬行 98.6％ 0％ 0％ 0％ 0％ 1.4％ 0％ 0％
跌倒 0％ 98.8％ 0％ 0％ 1.2％ 0％ 0％ 0％
慢跑 0％ 0％ 98.5％ 0％ 0％ 0％ 0％ 1.5％
跳跃 0％ 0％ 0％ 94.4 0％ 2.2％ 3.4％ 0％
坐下 0％ 0％ 0％ 1.1％ 97.8 1.1％ 0％ 0％
蹲下 1.3％ 0％ 0％ 1.2％ 0％ 97.5％ 0％ 0％
弯腰 0％ 0％ 0％ 2.3％ 0％ 0％ 97.7％ 0％
行走 0％ 0％ 1.1％ 0％ 0％ 0％ 0％ 98.9％
表4基于CAE模型的混淆矩阵(Acc＝98.8％)
Figure BDA0002059187090000112
Figure BDA0002059187090000121
实验结果表明，本实例所选取的两个模型(即基于PCA保留64个主成分且结合2层GRU的模型，基于CAE特征维度为128且结合2层GRU 的模型)都具有较强的泛化能力，最终在测试集上的识别准确率与交叉验证时的验证准确率相近，大幅度克服了过拟合的效应。作为对比，基于 CAE的特征提取方法相比PCA在验证时准确率提高了0.8％，在测试时准确率提高了1.1％，但是CAE网络的性能是牺牲计算复杂度来换取的，也就是说在正向传播时，CAE需要消耗更多的浮点运算力。总的来说，无论是基于PCA的模型还是基于CAE的模型，本文提出的新方法均能达到较高的识别率，具有较大的实用价值。
在上述模型建立好后，采用该模型进行动作识别的具体过程如图6所示。首先，将模型移植进嵌入式设备中，雷达模块将采集到的雷达反射信号通过USB协议传输到嵌入式设备中进行动作识别，最后识别结果通过Socket或者蓝牙协议传输到终端移动设备上提供给用户知晓。本实例提供的方法考虑了常见的8种室内动作，并在具体的配置条件下对基于PCA 和基于CAE的模型的识别效果进行了对比，结果展示两者都能达到较高的识别率。
以上所述的具体实施方式对本发明的技术方案和有益效果进行了详细说明，应理解的是以上所述仅为本发明的最优选实施例，并不用于限制本发明，凡在本发明的原则范围内所做的任何修改、补充和等同替换等，均应包含在本发明的保护范围之内。

Claims (7)

1.一种基于时变距离-多普勒图的超宽带雷达动作识别方法，包括以下步骤：
(1)采集雷达信号，并对雷达信号进行杂波滤除处理，获得杂波滤除后的雷达信号；
(2)根据杂波滤除后的雷达信号的时频分布特性判断动作是否发生，并截取动作发生的时间段；
(3)根据动作发生的时间段构建时变距离-多普勒图，具体过程为：
在对雷达信号进行杂波滤除后，根据获得的动作发生的时间段截取对应时间段内的雷达信号，得到标准动作信号；
然后，计算标准动作信号上所有距离处的雷达信号的短时傅里叶变换，得到三维数据立方体I(r,f,t)，其中，r，f，t分别表示距离、频率以及时间；
最后，对三维数据立方体I(r,f,t)依据t轴进行组合，形成一组时变距离-多普勒图；
(4)采用主成分分析方法或自编码器提取时变距离-多普勒图的特征信息；
(5)构建动作识别网络，其包括至少一个门控循环单元和接在门控循环单元输出端的softmax分类器，利用提取的特征信息以及对应的真值标签对动作识别网络进行训练，参数确定后，获得动作识别模型；
(6)应用时，按照步骤(1)～(4)获得待识别动作的特征信息，并将该特征信息输入至动作识别模型中，经计算输出动作识别结果。
2.如权利要求1所述的基于时变距离-多普勒图的超宽带雷达动作识别方法，其特征在于，步骤(1)中，
采用SVD算法将以二维矩阵形式表示的雷达信号分解成奇异值和奇异向量，并将前n个较大的奇异值置零后，重组奇异值和奇异向量，获得杂波滤除后的雷达信号矩阵，其中，n取值为1～3。
3.如权利要求1所述的基于时变距离-多普勒图的超宽带雷达动作识别方法，其特征在于，步骤(2)中，
首先，将不同距离处的雷达信号进行叠加，并对叠加后的雷达信号进行短时傅里叶变换，获得雷达信号的时频分布特性；
然后，针对每个当前时间点，根据时频分布特性，计算频谱值在一定频率范围内的叠加值，以此获得当前时间点的频率能量，当频率能量超过阈值时，则认为当前时间点发生动作，以当前时间点为中心，截取时间长度为3.5～4.5s作为动作发生的时间段。
4.如权利要求3所述的基于时变距离-多普勒图的超宽带雷达动作识别方法，其特征在于，在10～250Hz范围内对频谱值进行叠加，以获得当前时间点的频率能量；截取时间长度为4s作为动作发生的时间段。
5.如权利要求1所述的基于时变距离-多普勒图的超宽带雷达动作识别方法，其特征在于，步骤(4)中，
自编码器通过以下方式获得：
首先，构建卷积自编码器，其包括编码器和解码器，其中，编码器若干个由卷积层A与最大池化层交替连接而成，卷积层A用于特征提取，最大池化层用于降低数据的空间维度；解码器由若干个卷积层B与上采样层交替连接而成，卷积层B的卷积核数量的顺序与卷积层A的卷积核数量的顺序相反，用于特征提取，上采样层用于恢复数据的空间维度；
利用由雷达信号对应的距离-多普勒图作为训练样本，以卷积自编码器的输出与输入图像的均方差作为损失函数，采用反向传播方式对卷积自编码器进行训练，训练结束后，截取训练好的编码器作为特征提取器。
6.如权利要求1所述的基于时变距离-多普勒图的超宽带雷达动作识别方法，其特征在于，步骤(4)中，采用主成分分析方法提取时变距离-多普勒图的特征信息的过程包括：
(a)每个向量化后的距离-多普勒图xi减去训练集中所有距离-多普勒图的像素均值获得新的距离-多普勒图yi，这些新的距离-多普勒图可以组成新训练矩阵Y＝(y1,y2,...,yN)；
(b)计算矩阵Y的协方差矩阵C，并对协方差矩阵C进行特征值分解，获得特征值及对应的特征向量；
(c)选取最大的k个特征值对应的特征向量，组成特征向量矩阵W，并保存特征向量矩阵W；
(d)利用特征向量矩阵按照公式zi＝WTyi可以将每个距离-多普勒图转化为降维后的距离-多普勒图，实现对时变距离-多普勒图的特征信息的提取，其中，zi表示第i个降维后的距离-多普勒图。
7.如权利要求1所述的基于时变距离-多普勒图的超宽带雷达动作识别方法，其特征在于，在训练动作识别网络时，采用交叉熵损失函数来优化动作识别网络的权重和偏置。
CN201910399224.7A 2019-05-14 2019-05-14 基于时变距离-多普勒图的超宽带雷达动作识别方法 Active CN110133610B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910399224.7A CN110133610B (zh) 2019-05-14 2019-05-14 基于时变距离-多普勒图的超宽带雷达动作识别方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910399224.7A CN110133610B (zh) 2019-05-14 2019-05-14 基于时变距离-多普勒图的超宽带雷达动作识别方法

Publications (2)

Publication Number Publication Date
CN110133610A CN110133610A (zh) 2019-08-16
CN110133610B true CN110133610B (zh) 2020-12-15

Family

ID=67573784

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910399224.7A Active CN110133610B (zh) 2019-05-14 2019-05-14 基于时变距离-多普勒图的超宽带雷达动作识别方法

Country Status (1)

Country Link
CN (1) CN110133610B (zh)

Families Citing this family (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110940971B (zh) * 2019-11-06 2022-05-31 四川川大智胜软件股份有限公司 一种雷达目标点迹录取方法、装置及存储介质
CN113296086A (zh) * 2020-02-21 2021-08-24 华为技术有限公司 目标识别方法及装置
US11408995B2 (en) * 2020-02-24 2022-08-09 Aptiv Technologies Limited Lateral-bin monitoring for radar target detection
CN111401273B (zh) * 2020-03-19 2022-04-29 支付宝(杭州)信息技术有限公司 一种用于隐私保护的用户特征提取系统及设备
CN112034446A (zh) * 2020-08-27 2020-12-04 南京邮电大学 一种基于毫米波雷达的手势识别系统
CN112433207B (zh) * 2020-11-06 2024-05-28 浙江理工大学 基于双通道卷积神经网络的人体身份识别方法
CN112580486B (zh) * 2020-12-15 2022-12-09 北京理工大学 一种基于雷达微多普勒信号分离的人体行为分类方法
CN112764003A (zh) * 2021-01-14 2021-05-07 中山大学 一种雷达辐射源信号时频特征识别方法、装置及存储介质
CN112686213B (zh) * 2021-01-26 2024-05-31 杭州电子科技大学 一种基于循环神经网络及毫米波的osahs诊断系统
CN113687351A (zh) * 2021-09-14 2021-11-23 无锡威孚高科技集团股份有限公司 一种降低误报率的安防雷达监控预警系统
CN114265020B (zh) * 2021-11-21 2024-06-18 西安电子工程研究所 一种对雷达距离—多普勒图有损数据压缩的方法
CN114580285B (zh) * 2022-03-07 2022-11-01 哈尔滨理工大学 一种基于cae网络的双曲型系统模型约简方法
CN115063884B (zh) * 2022-06-14 2024-04-23 电子科技大学 基于多域融合深度学习的毫米波雷达头部动作识别方法
CN117331047A (zh) * 2023-12-01 2024-01-02 德心智能科技(常州)有限公司 基于毫米波雷达的人体行为数据分析方法及系统

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011145111A (ja) * 2010-01-12 2011-07-28 Panasonic Corp Ｕｗｂセンサシステム及びリーダ装置
CN102608586A (zh) * 2012-02-11 2012-07-25 中国人民解放军陆军军官学院 一种基于神经网络的合成孔径雷达射频干扰抑制方法

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106019254B (zh) * 2016-05-20 2018-03-20 中国人民解放军第四军医大学 一种uwb冲击生物雷达多人体目标距离向分离辨识方法
CN106127110B (zh) * 2016-06-15 2019-07-23 中国人民解放军第四军医大学 一种基于uwb雷达和最优svm的人体细粒度运动识别方法
CN107290741B (zh) * 2017-06-02 2020-04-10 南京理工大学 基于加权联合距离时频变换的室内人体姿态识别方法
CN109001702B (zh) * 2018-06-04 2022-05-13 桂林电子科技大学 无载波超宽带雷达人体动作识别方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011145111A (ja) * 2010-01-12 2011-07-28 Panasonic Corp Ｕｗｂセンサシステム及びリーダ装置
CN102608586A (zh) * 2012-02-11 2012-07-25 中国人民解放军陆军军官学院 一种基于神经网络的合成孔径雷达射频干扰抑制方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
利用二维小波包分解实现超宽带雷达人体动作识别;蒋留兵等;《电子测量与仪器学报》;20180831;第69-75页 *

Also Published As

Publication number Publication date
CN110133610A (zh) 2019-08-16

Similar Documents

Publication Publication Date Title
CN110133610B (zh) 基于时变距离-多普勒图的超宽带雷达动作识别方法
US11042775B1 (en) Apparatus and methods for temporal proximity detection
Che et al. Hybrid multimodal fusion with deep learning for rolling bearing fault diagnosis
CN109581361A (zh) 一种检测方法、检测装置、终端以及检测系统
CN110399857A (zh) 一种基于图卷积神经网络的脑电情感识别方法
Abdu et al. Activity classification based on feature fusion of FMCW radar human motion micro-Doppler signatures
CN110007366B (zh) 一种基于多传感器融合的生命搜寻方法以及系统
Gao et al. A multiscale theory for the dynamical evolution of sentiment in novels
Yang et al. Coronary heart disease optimization system on adaptive-network-based fuzzy inference system and linear discriminant analysis (ANFIS–LDA)
Bai et al. Fractional Fourier and time domain recurrence plot fusion combining convolutional neural network for bearing fault diagnosis under variable working conditions
CN112036433A (zh) 一种基于CNN的Wi-Move行为感知方法
Bu Human motion gesture recognition algorithm in video based on convolutional neural features of training images
CN112617813B (zh) 一种基于多传感器的非侵入式跌倒检测方法及系统
CN111967362A (zh) 面向可穿戴设备的超图特征融合和集成学习的人体行为识别方法
CN113114400A (zh) 基于时序注意力机制和lstm模型的信号频谱空洞感知方法
CN116343284A (zh) 基于注意力机制的多特征户外环境情绪识别方法
CN111753683A (zh) 一种基于多专家卷积神经网络的人体姿态识别方法
Karayaneva et al. Unsupervised Doppler radar based activity recognition for e-healthcare
Wang et al. UWB‐radar‐based synchronous motion recognition using time‐varying range–Doppler images
Gill et al. Human action detection using EfficientNetB3 model
Chen et al. A novel imbalanced dataset mitigation method and ECG classification model based on combined 1D_CBAM-autoencoder and lightweight CNN model
CN116524380A (zh) 一种基于脑-机信号融合的目标检测方法
Bastaki Application of hierarchical temporal memory to anomaly detection of vital signs for ambient assisted living
Hsieh et al. End-to-end deep learning-based human activity recognition using channel state information
Al-Selwi et al. Face mask detection and counting using you only look once algorithm with Jetson Nano and NVDIA giga texel shader extreme

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant