CN112580486A - 一种基于雷达微多普勒信号分离的人体行为分类方法 - Google Patents

一种基于雷达微多普勒信号分离的人体行为分类方法 Download PDF

Info

Publication number
CN112580486A
CN112580486A CN202011476490.4A CN202011476490A CN112580486A CN 112580486 A CN112580486 A CN 112580486A CN 202011476490 A CN202011476490 A CN 202011476490A CN 112580486 A CN112580486 A CN 112580486A
Authority
CN
China
Prior art keywords
micro
doppler
signal
convolution
train
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202011476490.4A
Other languages
English (en)
Other versions
CN112580486B (zh
Inventor
单涛
陶然
乔幸帅
白霞
赵娟
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Institute of Technology BIT
Original Assignee
Beijing Institute of Technology BIT
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Institute of Technology BIT filed Critical Beijing Institute of Technology BIT
Priority to CN202011476490.4A priority Critical patent/CN112580486B/zh
Publication of CN112580486A publication Critical patent/CN112580486A/zh
Application granted granted Critical
Publication of CN112580486B publication Critical patent/CN112580486B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/24Classification techniques
    • G06F18/241Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2411Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on the proximity to a decision surface, e.g. support vector machines
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/21Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/213Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods
    • G06F18/2135Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods based on approximation criteria, e.g. principal component analysis
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/21Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F2218/00Aspects of pattern recognition specially adapted for signal processing
    • G06F2218/02Preprocessing
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F2218/00Aspects of pattern recognition specially adapted for signal processing
    • G06F2218/08Feature extraction

Landscapes

  • Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Artificial Intelligence (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Radar Systems Or Details Thereof (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)

Abstract

本发明公开的一种基于雷达微多普勒信号分离的人体行为分类方法,属于雷达目标探测信号处理领域。本发明实现方法为:通过在雷达人体行为分类系统的预处理环节增加微多普勒信号分离操作,实现肢体运动微多普勒信号增强,利用联合维度优化的卷积主成分分析网络CPCAN从增强后的微多普勒时频图中自主学习高辨识度的特征,将提取的特征输入SVM分类器实现行为分类。分离操作用于防止主成分滤波提取特征和进行数据降维时丢失肢体微多普勒特征细节信息,通过维度优化算法能够准确、快速地确定CPCAN卷积网络层的滤波器数目。本发明具有网络结构简单、运算复杂度低的优点,能够以较少的网络层数实现高识别率的肢体活动受限人体行为分类,降低相似行为之间的误判率。

Description

一种基于雷达微多普勒信号分离的人体行为分类方法
技术领域
本发明涉及一种基于雷达微多普勒信号分离的人体行为分类方法,属于雷达目标探测信号处理领域。
背景技术
人体的行为监测与步态识别在现代生活中具有重要的价值。经过数十年的研究,人体行为识别技术取得了巨大进步,各种方法被提出,目前常用的人体行为与健康监测手段有:可穿戴式设备(加速度计、三轴陀螺仪)、视频、红外、雷达等。与其它手段相比,雷达监测具有如下几点优势:第一,雷达通过主动发射低功耗、对人体无害的电磁波进行探测,是一种无接触式的监测手段,避免了穿戴式设备对用户带来的不舒适感和易遗落的缺点;第二,雷达发射的电磁波信号传播能力强,探测距离远,且具备一定的穿透能力,特别适合于环境复杂,存在遮挡的室内场所;第三,雷达探测不受光照条件、温度变化等天时天候的影响,能够实现对目标的全天时、全天候监测;第四,雷达探测不直接对监测目标进行成像,具备良好的隐私保护能力,不易泄露私人信息,更加适合于居家敏感区域(卧室、浴室)人体行为的监测。因此,基于雷达微多普勒效应的人体行为分类成为当下的研究热点,且被广泛应用于安保监视、搜索救援、医学监护、居家养老、智能家居、人机交互等多个领域。
在基于雷达微多普勒效应的人体行为识别中,肢体活动受限行为(如单臂摆动走动、双臂不摆动行走等)的分类成为当下研究的焦点,因为活动肢体数目的减少可能与携带有威胁物体的人或受伤人员有关,如持枪的恐怖分子、依赖拐杖或行走辅助器的老人等。当对肢体活动受限的行为进行分类时,由于不同类别行为之间的运动相似度比较大,由躯体运动引起的多普勒信号提供的特征差异很小,不利于此类行为的识别,而可区分度较高的特征主要来自于由肢体摆动引起的微多普勒信号。然而,由于躯体的回波信号和肢体的信号混叠在一起,且躯体的回波能量远大于肢体的回波能量,与肢体运动相关的精确与精细化的特征不容易被提取,这就导致有无摆臂行为分类错误率大。在当前已开展的众多基于雷达微多普勒的人体行为分类研究结果中,也都显示了有摆臂行走和无摆臂行走在所有行为分类中具有最高的误判率,且误判往往发生在这两类行为之间。因此,肢体活动受限人体行为的分类目前仍是该领域中的技术难题,具有较高的研究价值。
发明内容
本发明公开的一种基于雷达微多普勒信号分离的人体行为分类方法的目的是:提供一种基于微多普勒信号分离和联合维度优化的卷积主成分分析网络相结合的人体行为分类方法,能够提升肢体活动受限人体行为的分类准确率,降低相似行为之间的误判率,以实现更为准确,更为快速的行为识别。
本发明的目的是通过下述技术方案实现的。
本发明公开的一种基于雷达微多普勒信号分离的人体行为分类方法,通过在雷达人体行为分类系统的预处理环节增加微多普勒信号分离操作,实现肢体运动微多普勒信号的增强,利用联合维度优化的卷积主成分分析网络CPCAN(convolutional principalcomponent analysis network)从增强后的微多普勒时频图中自主学习高辨识度的特征,将提取的特征输入SVM分类器实现行为分类。分离操作用于防止主成分滤波提取特征和进行数据降维时丢失肢体微多普勒特征细节信息,通过维度优化算法能够准确、快速地确定CPCAN卷积网络层的滤波器数目。本发明具有网络结构简单、运算复杂度低的优点,能够以较少的网络层数实现高识别率的肢体活动受限人体行为分类。
本发明公开的一种基于雷达微多普勒信号分离的人体行为分类方法,包括如下步骤:
步骤一、对采集到的原始回波信号r(n)进行信号预处理操作,得到预处理后的回波信号x(n)。所述信号预处理包括滤波、去直流、镜像频率抑制。
步骤二、对预处理后的信号x(n)执行微多普勒信号分离操作,利用不同阶次和不同窗长的短时分数傅里叶变换对肢体和躯体的回波进行稀疏表征,建立形态形量分析优化问题,通过求解该问题分离出躯体的多普勒信号xtorso(n)和肢体的微多普勒信号xlimbs(n)。
步骤2.1:执行短时分数域滤波提取慢变的躯体多普勒信号xtorso(n)。
计算预处理后的回波信号x(n)的p1阶短时分数傅里叶变换STFrFT(short-timefractional Fourier transform)
Figure BDA0002835620750000022
p1为躯体多普勒信号的合适阶次。设计时频滤波函数H(n,k)如下所示
Figure BDA0002835620750000021
式中,Th为依据经验选取的阈值。对短时分数域滤波后的信号进行逆短时分数傅里叶变换ISTFrFT得到慢变的躯体多普勒信号xtorso(n),其表达式如下
Figure BDA0002835620750000023
步骤2.2:利用CLEAN技术从信号x(n)中消除提取到的信号xtorso(n),降低强分量对弱分量的稀疏表征影响。执行完CLEAN操作后,得到的残留信号为xrem(n)。
利用谱图估算慢变躯体信号的多普勒频谱
Figure BDA0002835620750000031
式中,Storso(n,m)是信号xtorso(n)的短时傅里叶变换STFT(short-time Fouriertransforms),Q是STFT的时间维总点数。
将原始信号谱S(n,m)向慢变多普勒谱Υ(m)投影的归一化长度作为慢变多普勒信号对消的增益,其表达式如下
Figure BDA0002835620750000032
式中,||·||表示欧几里得范数,
Figure BDA0002835620750000033
M是信号STFT后频率维的总点数,S(n,m)是预处理后的回波信号x(n)的STFT。在执行CLEAN技术移除强的慢变信号时,需要在对消增益G(n)前乘上一个衰减因子,防止消除强分量的过程中去掉快变的微多普勒信号。
执行完CLEAN操作后,得到的残留信号xrem(n)为
xrem(n)=ISTFT[S(n,m)-βΥ(m)G(n)] (5)
其中ISTFT表示逆短时傅里叶变换。
步骤2.3对信号xrem(n)执行基于短时分数傅里叶变换的形态形量分析MCA(morphological component analysis)优化求解,提取快变的肢体微多普勒信号xlimbs(n)。
执行完步骤2.2后,强信号分量的干扰被消除,快变的弱信号成分能够被很好的稀疏表征。此时,具有不同窗长和不同变换阶次的两个STFrFT分别被用来稀疏表征躯体信号的残留成分和肢体的信号。然后,形态形量分析MCA便被用来提取肢体微多普勒信号xlimbs(n)。
对于信号xrem(n),xrem=x′torso+xlimbs+w,x′torso是信号xtorso的残留成分,xlimbs是待提取的微多普勒信号,w表示噪声。x′torso和xlimbs的稀疏表征变换分别为Φ1和Φ2,如
Figure BDA0002835620750000034
式中,c1和c2分别是相应的稀疏表征系数。建立如下的MCA优化问题
Figure BDA0002835620750000041
式中的稀疏表征变换Φ1和Φ2分别为p1阶的宽窗STFrFT和p2阶的窄窗STFrFT。p1和p2为信号x′torso和xlimbs的合适分数傅里叶变换阶次,Ф-1为ISTFrFT操作。将其代入式(7)重写为
Figure BDA0002835620750000042
通过求解式(8)便能够得到肢体的微多普勒信号
Figure BDA0002835620750000043
步骤三、利用经步骤二中微多普勒信号分离算法产生的肢体运动时频谱图构建数据集,包括训练数据集Dtrain和测试数据集Dtest
步骤四、利用两层的联合维度优化的卷积主成分分析网络CPCAN从步骤三构建的微多普勒时频图像数据集中学习特征。其中,在网络的训练阶段,维度优化算法用于确定每层卷积滤波器的数目。
步骤4.1由训练数据集Dtrain训练卷积核,对Dtrain分片去均值化得到D′train,利用维度优化算法二阶差分速降法SODD(second-order difference descent)计算最佳维度值K,然后由式(9)抽取D′trainD′train T的前K个特征向量,由式(10)映射得到卷积核。
输入的训练样本图片有N张,每张图片的大小为m×n,记作
Figure BDA0002835620750000044
每层滤波器的大小为k1×k2,所述滤波器的大小即为分块大小。在图像分块采样层,通过不断地滑动k1×k2大小的窗口来采集第i幅图像的局部特征,其中为了保证每个像素点被都采样到,先对图像进行了边缘补零。滑窗操作完成后,每幅输入图像被转换成mn个大小为k1k2的向量化分块,然后对每个分块进行去均值操作。依次对训练数据集中的N个样本执行同样的操作,得到新的数据矩阵D′train,其列总数目为Nmn,每列代表包含k1k2个元素的向量化分块。利用下式抽取矩阵D′trainD′train T的Lj个主要的特征向量,其中Lj的大小等于二阶差分速降法SODD计算得到的最佳维度值K
Figure BDA0002835620750000045
式中,Vj表示一组正交基。将那些特征向量映射成大小为k1×k2的矩阵,第j层的卷积滤波就能被表示为
Figure BDA0002835620750000051
式中,
Figure BDA0002835620750000052
代表将大小为k1k2的一维向量转化为大小为k1×k2的二维矩阵函数。当所有卷积层的PCA滤波器都得到后,依次利用每一层的PCA滤波器对输入数据进行卷积操作。
步骤4.2训练数据集Dtrain抽取特征,利用式(10)得到的卷积核对训练数据集Dtrain做卷积操作,对两层卷积后的输出数据执行分块直方图统计,得到分块特征子矩阵ftrain
对于两层的卷积PCA网络,第一层输入图像
Figure BDA0002835620750000053
的L1个PCA卷积输出为
Figure BDA0002835620750000054
式中,*表示两维卷积操作。为了保证输出的结果
Figure BDA0002835620750000055
与输入的图像
Figure BDA0002835620750000056
有相同的大小,在与
Figure BDA0002835620750000057
进行卷积前,先对
Figure BDA0002835620750000058
进行边缘补零。
第一层的输出结果作为第二层的输入被执行与前面相同的操作,即分块采样和去均值。第l1个输出分块去均值后的结果为
Figure BDA0002835620750000059
式中,
Figure BDA00028356207500000510
是去均值后的分块集合。将第二层L1个输入执行同样的操作后串联为一个新的数据矩阵,如
Figure BDA00028356207500000511
第二层的PCA滤波器为
Figure BDA00028356207500000512
对第二层的输入
Figure BDA00028356207500000513
每个有L2输出,每一个
Figure BDA00028356207500000514
Figure BDA00028356207500000515
卷积的结果为
Figure BDA00028356207500000516
因此,对于每一个输入图像
Figure BDA00028356207500000517
经过两层的卷积PCA滤波后,其输出为
Figure BDA00028356207500000518
输出数目为L1L2
对于第二层的L1个输入图像
Figure BDA00028356207500000519
每个有L2个输出。之后通过二值化将这L2个输出转化成一个特征图,其每个像素值的取值范围为
Figure BDA00028356207500000520
Figure BDA0002835620750000061
式中,B(·)是阶跃函数。式中的加权是为了平衡L2个PCA滤波器的权重。这是由于不同的滤波器对应不同的特征,越大的特征值对应的特征向量所包含的能量越大。然后,L1个特征图中的每一个都被大小为p×q的窗以重叠率α步进分成若干个特征块。紧接着对每个块执行取值范围为
Figure BDA0002835620750000062
的直方图统计,将所有特征的直方图统计结果连接成一个特征向量,记作
Figure BDA0002835620750000063
当完成以上所有操作后,输入图像
Figure BDA0002835620750000064
的特征就定义为
Figure BDA0002835620750000065
步骤4.3:测试样本Dtest抽取特征,与步骤4.1,步骤4.2特征抽取方法相同,得到微多普勒时频图像数据集Dtest的特征为ftest
步骤五、利用由两层的联合维度优化的卷积PCA网络学习到的训练数据特征矩阵ftrain训练SVM分类器,将提取的测试样本特征ftest输入到训练好的SVM分类器进行分类,输出分类结果label。
还包括步骤六:利用步骤一至步骤五基于雷达微多普勒信号分离的人体行为分类结果,实现更为准确,更为快速的肢体活动受限人体行为的分类,降低相似行为之间的误判率。
有益效果:
1.本发明公开的一种基于雷达微多普勒信号分离的人体行为分类方法,利用基于短时分数傅里叶变换的微多普勒信号分离方法,能够将微弱的肢体微多普勒信号与强的躯体多普勒信号分离,得到与肢体运动相关更显著的微多普勒时频谱图。
2.本发明公开的一种基于雷达微多普勒信号分离的人体行为分类方法,利用网络结构简单、运算复杂度低的联合维度优化的CPCAN网络,能快速提取出具有高辨识度的特征,增加不同类别行为的类间距离,提高肢体活动受限人体行为的分类准确率。
3.本发明公开的一种基于雷达微多普勒信号分离的人体行为分类方法,利用维度优化算法二阶差分速降法SODD,能够准确、快速地确定分类网络每层卷积滤波器的数目,确保数据低维度的同时最大程度保留有效信息,降低CPCAN网络的复杂度。
附图说明
图1是本发明“一种基于雷达微多普勒信号分离的人体行为分类方法”中实施例中的行为分类流程图。
图2是本发明“一种基于雷达微多普勒信号分离的人体行为分类方法”中实施例中的五种不同人体活动行为示意图。
图3是本发明“一种基于雷达微多普勒信号分离的人体行为分类方法”中实施例中的五种不同行为的时频图,其中图3(a)为正常走NW行为的时频谱图,图3(b)为一只手插兜行走WOP行为的时频谱图,图3(c)为两只手插兜行走WTP行为的时频谱图,图3(d)为正常跑NR行为的时频谱图,图3(e)为弯腰捡东西ST行为的时频谱图。
图4是本发明“一种基于雷达微多普勒信号分离的人体行为分类方法”中实施例中的微多普勒分离简要流程图。
图5是本发明“一种基于雷达微多普勒信号分离的人体行为分类方法”中实施例中五种不同行为微多普勒分离后的肢体微多普勒谱图;其中图5(a)为正常走NW行为微多普勒分离后的肢体微多普勒时频谱图,图5(b)为一只手插兜行走WOP行为微多普勒分离后的肢体微多普勒时频谱图,图5(c)为两只手插兜行走WTP行为微多普勒分离后的肢体微多普勒时频谱图,图5(d)为正常跑NR行为微多普勒分离后的肢体微多普勒时频谱图,图5(e)为弯腰捡东西ST行为微多普勒分离后的肢体微多普勒时频谱图。
图6是本发明“一种基于雷达微多普勒信号分离的人体行为分类方法”中实施例中的从含微多普勒分离的训练数据集学习到的PCA滤波器示意图;其中图6(a)为分类网络第一层卷积PCA滤波器示意,其中图6(b)为分类网络第二层卷积PCA滤波器示意。
图7是本发明“一种基于雷达微多普勒信号分离的人体行为分类方法”中实施例中有微多普勒分离和无微多普勒分离下CPCAN行为分类的混淆矩阵;其中图7(a)为处理不经过微多普勒信号分离产生的数据集的混淆矩阵,图7(b)为处理经过微多普勒信号分离产生的数据集的混淆矩阵。
图8是本发明“一种基于雷达微多普勒信号分离的人体行为分类方法”中实施例中不同分类器性能比较结果。
具体实施方式
下面将结合附图及具体实例对本发明技术方案进行详细说明,需要指出的是,所描述的实施例仅旨在便于对本发明的理解,而不起任何限定作用。
实施例1:
本实施例阐述:将本发明“一种基于雷达微多普勒信号分离的人体行为分类方法”应用于实际采集的人体行为分类的流程。
本实施例中,实验系统是ANCORTEK SDR-KIT 580B雷达,参数设置为:载波频率5.8GHz,发射波形连续波,发射功率19dBm,扫描时间10ms,采样点数128点,采集时长5s。本实施例实验数据是在开阔的楼道环境中采集的,十个不同身高和不同体重的志愿者参与数据的采集,其中4名女性,6名男性。总共采集五种常见日常行为的数据,包括:(a)正常走NW(Normal Walking),(b)一只手插兜行走WOP(Walking with one hand in pocket),(c)两只手插兜行走WTP(Walking with two hand in pocket),(d)正常跑NR(Normal Running),(e)弯腰捡东西ST(Stoop)。其中,一只手插兜行走和两只手插兜行走的行为是模拟肢体活动受限人体行为中的单臂摆动行走和无摆臂行走,五种行为的示意如图2所示。实验中每一次测试,只有一位测试者以特定的一种行为在距离雷达1.5米处沿着雷达径向方向远离。前四种行为的运动周期相对短,采集时间为5s,最后一种行为的运动周期相对长,采集时间为10s。对采集到的数据利用短时傅里叶变化STFT(short-time Fourier transform)进行分析,产生的五种行为时频谱图如图3所示。
如图3所示,不同的人体行为具有独特的微多普勒特征。正频率的微多普勒分量表示肢体朝向雷达方向摆动,负频率的微多普勒分量是远离雷达方向摆动造成的。在每个谱图中,能量最强的多普勒成分主要来自躯体部位的反射,而围绕着主多普勒上下周期起伏的微弱成分是由肢体部位的运动引起的。受到强的躯体多普勒信号的影响,肢体的微多普成分不够显著。在这五种行为之间,能够看到三种走的行为与跑和弯腰的时频图有着视觉可见的显著差异,如躯体运动的最大多普勒频率、肢体运动的微多普勒起伏周期等。然而,三种行走行为之间的差异非常小,尤其是躯体运动引起的主多普勒频率很难从视觉上看到区别。而三者之间主要的区别体现在肢体的微多普勒频谱上,直接从所述相似的时频谱中提取高精度与高辨识度的特征非常困难。另一方面,由于时频谱的稀疏性,当使用降维技术(如PCA)对其进行降维时,很容易丢失微弱的微多普勒成分,而这些成分恰恰含有能够区分三种行走行为的关键信息。为了增强肢体的微多普勒信号,避免其包含的细节信息丢失,本发明在雷达回波信号的预处理阶段增加了信号分离操作。该操作能够将肢体的回波和躯体回波分离,然后对二者分别进行处理,避免强的躯体成分对弱的肢体成分的影响。分离算法的简要流程如图4所示,包括四个步骤:信号预处理、短时分数域滤波、CLEAN抑制强分量和MCA优化求解。其中,对五种行为的微多普勒信号分离时,躯体成分和肢体成分的稀疏表征变换分别为0.9阶的256点窗长STFrFT和0.1阶的64点窗长STFrFT。图5展示了分离后五种行为的肢体微多普勒时频分析结果。相较于图3中的结果,此时五种行为的肢体微多普勒谱更加明显,特征差异更加显著。使得提取与肢体运动相关的微多普勒特征更加容易,也会更有利于肢体活动受限人体行为的分类。
为了验证本发明所提人体行为分类方法的分类性能和微多普勒分离对分类性能的影响,本次实例构造两个数据集。第一个是利用微多普勒分离算法产生的时频谱图构成的。第二个则没有进行信号分离,直接由原始数据的时频分析谱图构成。所述两个数据集具有相等的样本数量和样本大小。此外,为了确保数据集中有足够数量的样本,还使用了数据扩充。对每一个5s的测量数据,按照2s的窗长,0.5s的步进进行裁剪。对于10s的测量数据(弯腰行为),按照4s的窗长,1s的步进进行裁剪,这样每一个微多普勒数据都能够产生6张谱图。因为测量的总数是(10个志愿者)×(5种活动)×(10次实现)=500,所以得到的数据总数为3000。然后按照5折交叉验证的方式对分类网络CPCAN进行训练和测试。其中,CPCAN的模型参数设置为:PCA卷积层数2,PCA滤波器大小5×5,PCA滤波器数目8、8,局部直方图统计块大小15×15。经过训练后,学习到的PCA滤波器如图6所示,其中的白色条带是为了间隔每个滤波器。整个网络的实施和数据处理是在MATLAB 2018a平台上。
经过5次交叉验证后,本发明所提分类方法对五种行为的平均分类正确率为95%。然后,又利用相同模型参数的CPCAN对没有进行微多普勒分离操作得到的数据集进行处理,得到的平均分类正确率为84.83%。两者相比较,能看到微多普勒分离的使用为行为分类网络带来了10.17%的分类性能提升,的确有助于肢体活动受限行为的分类。图8给出了CPCAN分类系统处理不同数据集的混淆矩阵,其中图7(a)为处理不经过微多普勒信号分离产生的数据集的混淆矩阵,图7(b)为处理经过微多普勒信号分离产生的数据集的混淆矩阵。从图中可见,无论是在有信号分离还是无信号分离情况下,最容易发生混淆的都是三种行走行为(NW,WOP,WTP),尤其是单臂摆动走(WOP)和无摆臂走(WTP)之间。这与预料中的一样,因为人在走动过程中,当约束一只手臂时,也会潜意识地限制或减少另一只手臂的摆动。此外,还能够看到执行分离前的三者之间的交叉误差要明显大于执行微多普勒分离后的,尤其是行为WOP具有最低的准确率71.67%,而跑和弯腰行为的准确率没有太大的变化,该因素也是影响微多普勒分离前分类系统整体平均准确率低的主要原因。而三种行走行为间交叉误差大的原因则是,在进行微多普勒信号分离前,三者的时频谱中肢体微多普勒特征比较微弱,差异较小,能用于区分这三种行走行为的特征提取困难。结果表明,经过微多普勒分离处理后,肢体的微多普勒谱更加显著,有利于行为分类准确率的提升。
然后,将本发明与两种流行的深度卷积神经网络模型,即AlexNet和VGG-16进行分类性能比较。同样,AlexNet和VGG-16也分别处理具有和不具有微多普勒信号分离操作的两个数据集。实验结果如图8所示,从中能够看出,本发明的准确率达到95%,为三者中最好的,因为本发明与其它深度学习方法相比,包含微多普勒信号分离操作。然后,将微多普勒信号分离与AlexNet和VGG-16相结合后,即处理微多普勒分离后的数据集,也能获得较好的分类性能,提高约7%以上。说明微多普勒分离确实有助于人体行为分类,特别是对于肢体活动受限行为的分类。此外,在图8中还能观察到,即使所用CPCAN的卷积层数只有两层,分离后它的分类准确率与AlexNet的相近,略低于VGG-16,但所需的时间远少于AlexNet和VGG-16,有利于人体行为分类系统的实时处理。
以上所述的具体描述,对发明的目的、技术方案和有益效果进行了进一步详细说明,所应理解的是,以上所述仅为本发明的具体实施例而已,并不用于限定本发明的保护范围,凡在本发明的精神和原则之内,所做的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。

Claims (9)

1.一种基于雷达微多普勒信号分离的人体行为分类方法,其特征在于:包括如下步骤,
步骤一、对采集到的原始回波信号r(n)进行信号预处理操作,得到预处理后的回波信号x(n);所述信号预处理包括滤波、去直流、镜像频率抑制;
步骤二、对预处理后的信号x(n)执行微多普勒信号分离操作,利用不同阶次和不同窗长的短时分数傅里叶变换对肢体和躯体的回波进行稀疏表征,建立形态形量分析优化问题,通过求解该问题分离出躯体的多普勒信号xtorso(n)和肢体的微多普勒信号xlimbs(n);
步骤三、利用经步骤二中微多普勒信号分离算法产生的肢体运动时频谱图构建数据集,包括训练数据集Dtrain和测试数据集Dtest
步骤四、利用两层的联合维度优化的卷积主成分分析网络CPCAN从步骤三构建的微多普勒时频图像数据集中学习特征;其中,在网络的训练阶段,维度优化算法用于确定每层卷积滤波器的数目;
步骤五、利用由两层的联合维度优化的卷积PCA网络学习到的训练数据特征矩阵ftrain训练SVM分类器,将提取的测试样本特征ftest输入到训练好的SVM分类器进行分类,输出分类结果label。
2.如权利要求1所述的一种基于雷达微多普勒信号分离的人体行为分类方法,其特征在于:还包括步骤六,利用步骤一至步骤五基于雷达微多普勒信号分离的人体行为分类结果,实现更为准确,更为快速的肢体活动受限人体行为的分类,降低相似行为之间的误判率。
3.如权利要求1或2所述的一种基于雷达微多普勒信号分离的人体行为分类方法,其特征在于:步骤二实现方法为,
步骤2.1:执行短时分数域滤波提取慢变的躯体多普勒信号xtorso(n);
步骤2.2:利用CLEAN技术从信号x(n)中消除提取到的信号xtorso(n),降低强分量对弱分量的稀疏表征影响;执行完CLEAN操作后,得到的残留信号为xrem(n);
步骤2.3对信号xrem(n)执行基于短时分数傅里叶变换的形态形量分析MCA优化求解,提取快变的肢体微多普勒信号xlimbs(n)。
4.如权利要求3所述的一种基于雷达微多普勒信号分离的人体行为分类方法,其特征在于:步骤四实现方法为,
步骤4.1由训练数据集Dtrain训练卷积核,对Dtrain分片去均值化得到D′train,利用维度优化算法二阶差分速降法SODD(second-order difference descent)计算最佳维度值K,然后抽取D′trainD′train T的前K个特征向量,并映射得到卷积核;
步骤4.2训练数据集Dtrain抽取特征,利用卷积操作得到的卷积核对训练数据集Dtrain做卷积操作,对两层卷积后的输出数据执行分块直方图统计,得到分块特征子矩阵ftrain
步骤4.3:测试样本Dtest抽取特征,与步骤4.1,步骤4.2特征抽取方法相同,得到微多普勒时频图像数据集Dtest的特征为ftest
5.如权利要求4所述的一种基于雷达微多普勒信号分离的人体行为分类方法,其特征在于:步骤2.1实现方法为,
计算预处理后的回波信号x(n)的p1阶短时分数傅里叶变换STFrFT(short-timefractional Fourier transform)
Figure FDA0002835620740000021
p1为躯体多普勒信号的合适阶次;设计时频滤波函数H(n,k)如下所示
Figure FDA0002835620740000022
式中,Th为依据经验选取的阈值;对短时分数域滤波后的信号进行逆短时分数傅里叶变换ISTFrFT得到慢变的躯体多普勒信号xtorso(n),其表达式如下
Figure FDA0002835620740000023
6.如权利要求5所述的一种基于雷达微多普勒信号分离的人体行为分类方法,其特征在于:步骤2.2实现方法为,
利用谱图估算慢变躯体信号的多普勒频谱
Figure FDA0002835620740000024
式中,Storso(n,m)是信号xtorso(n)的短时傅里叶变换STFT(short-time Fouriertransforms),Q是STFT的时间维总点数;
将原始信号谱S(n,m)向慢变多普勒谱Υ(m)投影的归一化长度作为慢变多普勒信号对消的增益,其表达式如下
Figure FDA0002835620740000025
式中,||·||表示欧几里得范数,
Figure FDA0002835620740000026
M是信号STFT后频率维的总点数,S(n,m)是预处理后的回波信号x(n)的STFT;在执行CLEAN技术移除强的慢变信号时,需要在对消增益G(n)前乘上一个衰减因子,防止消除强分量的过程中去掉快变的微多普勒信号;
执行完CLEAN操作后,得到的残留信号xrem(n)为
xrem(n)=ISTFT[S(n,m)-βΥ(m)G(n)] (5)
其中ISTFT表示逆短时傅里叶变换。
7.如权利要求6所述的一种基于雷达微多普勒信号分离的人体行为分类方法,其特征在于:步骤2.3实现方法为,
执行完步骤2.2后,强信号分量的干扰被消除,快变的弱信号成分能够被很好的稀疏表征;此时,具有不同窗长和不同变换阶次的两个STFrFT分别被用来稀疏表征躯体信号的残留成分和肢体的信号;然后,形态形量分析MCA便被用来提取肢体微多普勒信号xlimbs(n);
对于信号xrem(n),xrem=x′torso+xlimbs+w,x′torso是信号xtorso的残留成分,xlimbs是待提取的微多普勒信号,w表示噪声;x′torso和xlimbs的稀疏表征变换分别为Φ1和Φ2,如
Figure FDA0002835620740000031
式中,c1和c2分别是相应的稀疏表征系数;建立如下的MCA优化问题
Figure FDA0002835620740000032
式中的稀疏表征变换Φ1和Φ2分别为p1阶的宽窗STFrFT和p2阶的窄窗STFrFT;p1和p2为信号x′torso和xlimbs的合适分数傅里叶变换阶次,Ф-1为ISTFrFT操作;将其代入式(7)重写为
Figure FDA0002835620740000033
通过求解式(8)便能够得到肢体的微多普勒信号
Figure FDA0002835620740000034
8.如权利要求7所述的一种基于雷达微多普勒信号分离的人体行为分类方法,其特征在于:步骤4.1实现方法为,
步骤4.1由训练数据集Dtrain训练卷积核,对Dtrain分片去均值化得到D′train,利用维度优化算法二阶差分速降法SODD(second-order difference descent)计算最佳维度值K,然后由式(9)抽取DtrainD′train T的前K个特征向量,由式(10)映射得到卷积核;
输入的训练样本图片有N张,每张图片的大小为m×n,记作
Figure FDA0002835620740000035
每层滤波器的大小为k1×k2,所述滤波器的大小即为分块大小;在图像分块采样层,通过不断地滑动k1×k2大小的窗口来采集第i幅图像的局部特征,其中为了保证每个像素点被都采样到,先对图像进行了边缘补零;滑窗操作完成后,每幅输入图像被转换成mn个大小为k1k2的向量化分块,然后对每个分块进行去均值操作;依次对训练数据集中的N个样本执行同样的操作,得到新的数据矩阵D′train,其列总数目为Nmn,每列代表包含k1k2个元素的向量化分块;利用下式抽取矩阵D′trainD′train T的Lj个主要的特征向量,其中Lj的大小等于二阶差分速降法SODD计算得到的最佳维度值K
Figure FDA0002835620740000036
式中,Vj表示一组正交基;将那些特征向量映射成大小为k1×k2的矩阵,第j层的卷积滤波就能被表示为
Figure FDA0002835620740000037
式中,
Figure FDA0002835620740000038
代表将大小为k1k2的一维向量转化为大小为k1×k2的二维矩阵函数;当所有卷积层的PCA滤波器都得到后,依次利用每一层的PCA滤波器对输入数据进行卷积操作。
9.如权利要8所述的一种基于雷达微多普勒信号分离的人体行为分类方法,其特征在于:步骤4.2实现方法为,
步骤4.2训练数据集Dtrain抽取特征,利用式(10)得到的卷积核对训练数据集Dtrain做卷积操作,对两层卷积后的输出数据执行分块直方图统计,得到分块特征子矩阵ftrain
对于两层的卷积PCA网络,第一层输入图像
Figure FDA0002835620740000041
的L1个PCA卷积输出为
Figure FDA0002835620740000042
式中,*表示两维卷积操作;为了保证输出的结果
Figure FDA0002835620740000043
与输入的图像
Figure FDA0002835620740000044
有相同的大小,在与
Figure FDA0002835620740000045
进行卷积前,先对
Figure FDA0002835620740000046
进行边缘补零;
第一层的输出结果作为第二层的输入被执行与前面相同的操作,即分块采样和去均值;第l1个输出分块去均值后的结果为
Figure FDA0002835620740000047
式中,
Figure FDA0002835620740000048
是去均值后的分块集合;将第二层L1个输入执行同样的操作后串联为一个新的数据矩阵,如
Figure FDA0002835620740000049
第二层的PCA滤波器为
Figure FDA00028356207400000410
对第二层的输入
Figure FDA00028356207400000411
每个有L2输出,每一个
Figure FDA00028356207400000412
Figure FDA00028356207400000413
卷积的结果为
Figure FDA00028356207400000414
因此,对于每一个输入图像
Figure FDA00028356207400000415
经过两层的卷积PCA滤波后,其输出为
Figure FDA00028356207400000416
输出数目为L1L2
对于第二层的L1个输入图像
Figure FDA00028356207400000417
每个有L2个输出;之后通过二值化将这L2个输出转化成一个特征图,其每个像素值的取值范围为
Figure FDA00028356207400000418
Figure FDA00028356207400000419
式中,B(·)是阶跃函数;式中的加权是为了平衡L2个PCA滤波器的权重;这是由于不同的滤波器对应不同的特征,越大的特征值对应的特征向量所包含的能量越大;然后,L1个特征图中的每一个都被大小为p×q的窗以重叠率α步进分成若干个特征块;紧接着对每个块执行取值范围为
Figure FDA00028356207400000420
的直方图统计,将所有特征的直方图统计结果连接成一个特征向量,记作
Figure FDA00028356207400000421
当完成以上所有操作后,输入图像
Figure FDA00028356207400000422
的特征就定义为
Figure FDA00028356207400000423
CN202011476490.4A 2020-12-15 2020-12-15 一种基于雷达微多普勒信号分离的人体行为分类方法 Active CN112580486B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011476490.4A CN112580486B (zh) 2020-12-15 2020-12-15 一种基于雷达微多普勒信号分离的人体行为分类方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011476490.4A CN112580486B (zh) 2020-12-15 2020-12-15 一种基于雷达微多普勒信号分离的人体行为分类方法

Publications (2)

Publication Number Publication Date
CN112580486A true CN112580486A (zh) 2021-03-30
CN112580486B CN112580486B (zh) 2022-12-09

Family

ID=75136194

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011476490.4A Active CN112580486B (zh) 2020-12-15 2020-12-15 一种基于雷达微多普勒信号分离的人体行为分类方法

Country Status (1)

Country Link
CN (1) CN112580486B (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113341392A (zh) * 2021-06-01 2021-09-03 北京理工大学 一种基于多站雷达微多普勒运动测向的人体行为分类方法
CN114387672A (zh) * 2022-01-18 2022-04-22 北京理工大学 一种基于时-空-频三维雷达点云的人体行为分类方法
CN117250594A (zh) * 2023-11-17 2023-12-19 南京威翔科技有限公司 一种雷达目标分类识别方法
WO2024074155A1 (zh) * 2022-10-08 2024-04-11 东莞理工学院 一种室内监测及控制系统和方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2016170005A1 (en) * 2015-04-20 2016-10-27 Resmed Sensor Technologies Limited Detection and identification of a human from characteristic signals
CN108256488A (zh) * 2018-01-19 2018-07-06 中国人民解放军陆军装甲兵学院 一种基于微多普勒特征提取和深度学习的雷达目标识别方法
CN108872984A (zh) * 2018-03-15 2018-11-23 清华大学 基于多基地雷达微多普勒和卷积神经网络的人体识别方法
CN110133610A (zh) * 2019-05-14 2019-08-16 浙江大学 基于时变距离-多普勒图的超宽带雷达动作识别方法
CN110146872A (zh) * 2019-05-17 2019-08-20 西安电子科技大学 基于逆Radon变换的人体微多普勒分量提取方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2016170005A1 (en) * 2015-04-20 2016-10-27 Resmed Sensor Technologies Limited Detection and identification of a human from characteristic signals
CN108256488A (zh) * 2018-01-19 2018-07-06 中国人民解放军陆军装甲兵学院 一种基于微多普勒特征提取和深度学习的雷达目标识别方法
CN108872984A (zh) * 2018-03-15 2018-11-23 清华大学 基于多基地雷达微多普勒和卷积神经网络的人体识别方法
CN110133610A (zh) * 2019-05-14 2019-08-16 浙江大学 基于时变距离-多普勒图的超宽带雷达动作识别方法
CN110146872A (zh) * 2019-05-17 2019-08-20 西安电子科技大学 基于逆Radon变换的人体微多普勒分量提取方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
刘义晨等: "基于卷积神经网络的人体探测与活动分类研究", 《舰船电子对抗》 *
杨义校等: "基于交替方向乘子法的分数傅里叶相位恢复算法", 《第十二届全国信号和智能信息处理与应用学术会议论文集》 *
粟华林: "基于微多普勒分析的行人微动部位分离方法", 《中国优秀硕士学位论文全文数据库信息科技辑》 *

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113341392A (zh) * 2021-06-01 2021-09-03 北京理工大学 一种基于多站雷达微多普勒运动测向的人体行为分类方法
CN114387672A (zh) * 2022-01-18 2022-04-22 北京理工大学 一种基于时-空-频三维雷达点云的人体行为分类方法
WO2024074155A1 (zh) * 2022-10-08 2024-04-11 东莞理工学院 一种室内监测及控制系统和方法
CN117250594A (zh) * 2023-11-17 2023-12-19 南京威翔科技有限公司 一种雷达目标分类识别方法
CN117250594B (zh) * 2023-11-17 2024-01-30 南京威翔科技有限公司 一种雷达目标分类识别方法

Also Published As

Publication number Publication date
CN112580486B (zh) 2022-12-09

Similar Documents

Publication Publication Date Title
CN112580486B (zh) 一种基于雷达微多普勒信号分离的人体行为分类方法
Lopac et al. Detection of non-stationary GW signals in high noise from Cohen’s class of time–frequency representations using deep learning
CN105841961A (zh) 一种基于Morlet小波变换和卷积神经网络的轴承故障诊断方法
CN109890043B (zh) 一种基于生成式对抗网络的无线信号降噪方法
CN104107042A (zh) 基于粒子群优化-支持向量机的肌电信号步态识别方法
CN104887263B (zh) 一种基于心音多维特征提取的身份识别算法及其系统
CN109044396A (zh) 一种基于双向长短时记忆神经网络的智能心音识别方法
CN111954250B (zh) 一种轻量级Wi-Fi行为感知方法和系统
CN103092971B (zh) 一种用于脑机接口中的分类方法
CN105147252A (zh) 心脏疾病识别及评估方法
CN110647788A (zh) 一种基于微多普勒特征的人类日常行为分类方法
CN111027488A (zh) 一种信号分类的方法和设备
WO2023077592A1 (zh) 一种智能心电信号处理方法
CN113990303B (zh) 基于多分辨率空洞深度可分卷积网络的环境声音辨识方法
CN109271889A (zh) 一种基于双层lstm神经网络的动作识别方法
Eyobu et al. A real-time sleeping position recognition system using IMU sensor motion data
Sejdic et al. Selective regional correlation for pattern recognition
CN115329800B (zh) 一种基于解耦训练的卷积神经网络活动识别方法
CN106419884A (zh) 一种基于小波分析的心率计算方法与系统
CN115754956A (zh) 基于包络数据时间序列的毫米波雷达手势识别方法
CN114360069A (zh) 一种基于无线信号的多模态特征融合步态识别方法
Quanyu Pulse signal analysis based on deep learning network
CN112668443A (zh) 基于双通道卷积神经网络的人体姿态识别方法
Seddiqi et al. Recognition of turkish sign language (TID) using sEMG sensor
Sattar et al. Time-scale-based segmentation for degraded PCG signals using NMF

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant