CN110647788B - 一种基于微多普勒特征的人类日常行为分类方法 - Google Patents

Abstract

本发明涉及一种基于微多普勒特征的人类日常行为分类方法。通过雷达获得人类日常行为下雷达回波信号，构建目标分类数据集，并将数据集划分为训练集和测试集；在所述训练集上，将雷达回波信号数据分割成等长度的多个数据片段，获得雷达回波信号的时频谱图，并基于所述时频谱图提取回波信号中所包含的目标特征，构建目标特征空间；在目标特征空间上，计算每个特征的重要性，选择出一定数量的目标特征构成用于测试集分类的测试分类特征空间；在测试集上，基于最优的测试分类特征空间，采用多类别支持向量机分类器对目标类别进行分类。本发明减少分类器对特征数量的依赖，提高了分类准确率，易于在嵌入式系统上实现。

Description

一种基于微多普勒特征的人类日常行为分类方法

技术领域

本发明属于雷达探测技术领域，特别是一种基于微多普勒特征的人类日常行为分类方法。

背景技术

随着人类日常行为监测技术在智能医疗、智能安防、反恐、军事战争领域均具有广泛的应用空间。传统监测技术多基于摄像头平台，广泛采用图像和视频相关解决方案。随着微电子技术的迅猛发展，微波产品逐渐向小型化、低成本、消费级过渡。为此，基于微波技术的人类日常监测技术得到了广泛的发展。相比于图像类的解决方案，微波技术具有保护用户隐私、非视距、不受天气和光线条件限制的特点。

当人体与雷达发生相对运动时，雷达接收机所捕获的目标反射的电磁波相比于其所发射的电磁波的频率会发生一定的偏移，这就是多普勒频移现象。雷达回波信号所产生的多普勒频移量与人体相对于雷达接收机的径向速度成正比。在实际情况中，人体的运动并不是均匀统一的，人体的手臂、腿和躯干均具有不同的运动速度和运动轨迹，这些运动相对于人这个整体统称为微运动。微运动的存在会导致人体的多普勒频率产生边带，由这些微运动所产生的频率调制称为微多普勒现象，产生的边带频率则称为微多普勒频率。可见，人体的微多普勒频率特征反映了人体的电磁特性、结构和相应的运动特性，可以用来对人体的行为状态进行分类。基于雷达回波信号微多普勒特征对人类日常行为进行分类的一般思路是：对雷达照射人体所产生的回波信号进行采集；然后，通过分析回波信号，采用一定的量化手段提取出人体不同日常状态下回波信号的特征量，构建特征空间；最后，组织大规模的人类日常行为数据采集试验，构建数据集，设计相应的机器学习分类器，并在数据集上对所设计的分类器进行训练、优化和测试，从而实现对人体日常行为状态的分类。现有的典型研究如下。

Tivie等人开展了基于微多普勒特征的人类运动分类问题研究，提出了一种基于log-Gabor滤波器的特征提取方法。基于时频谱图，该方法首先对时频谱图进行傅立叶变换获得相应的频域信号，然后采用log-gabor滤波器对频域信号进行滤波，并对滤波后信号进行逆傅立叶变换，最后对逆傅立叶变换输出的图像进行固定大小的划分，对划分后的每个图像块求取相应的均值，进而购建成特征矩阵，并通过PCA方法对特征进行降维。该方法能够处理雷达微运动数据，处理的人体行为主要包括：人类双臂摆动行走、人类单臂摆动行走和人类手臂未摆动行走。根据研究结果显示，当特征数量为3000个时，平均识别准确率为91.3％左右，当特征数量为100个时，平均识别准确率为80％左右。但是该方法基于log-gabor滤波器，其所涉及的滤波器参数需要根据实际应用环境进行调整，限制了该方法的普遍适用性；该方法所述特征提取方法主要是一种图像滤波方法，没有从所涉及的分类目标的固有特性出发来设计特征提取方法，导致所提取的特征对分类目标的描述性差，故在保证一定的目标分类准确度的前提下，该方法需要更多的特征作为分类器输入。同时，该方法所能识别的目标类别也会受到限制，即，雷达回波信号时频谱图相似性强，或噪声较高时，该方法识别率会有所降低。

Wang等人开展了人体和手臂运动识别问题的研究，于提出了一种分层门控递归单元网络分类器SGRUN。该方法基于深度学习的思想，自动生成分类所需要的特征，具有较高的识别准确度。SGRUN也能够用于微运动雷达数据的处理，处理的人体行为包括：提箱子、拍手、挥手、原地踏步、慢走和正常行走。研究结果显示，SGRUN对六种人体状态的平均识别准确率达到了89.82％。实验平台为NVIDA GTX1080 Ti GPU和Intel Xeon E5-2640 v4 CPU，实验显示SGRUN平均响应时间为0.7s，对比深度卷积神经网络DCNN的相应时间2.0798s有很大提升。但是，SGRUN方法需要强大的计算平台作为支撑，相应的训练时间和分类时间均较高。同时，对于小型化的、低成本的雷达微运动分类应用来说，难以在嵌入式平台上加以实现。

因此，现有研究仍存在一些问题。首先，现有人类日常状态分类问题中多面向的是单个人体的状态识别。而在实际日常生活中，人类时常处于群体活动中，所以对于群体运动状态的分类需要得到重视。前述基于log-gabor滤波器的方法，由于其特征提取方法的一般性，可以推断，其在群体运动分类问题中的表现较差，或需要更大数量的特征作为支撑。对于对述SGRUN方法，理论上可以通过构建更大规模、更复杂结构的神经网络来解决任意分类问题。但相应地，随着问题的复杂度提升，此类方法所需要的计算效力会迅速增大。另外，微运动是指人体在运动过程中，各个身体单元所具有的有别于主体的运动形式。微运动的存在使得不同人体运动形式下雷达回波信号的微多普勒数据具有了不同的特征。对于群体运动分类问题，微运动所产生的微多普勒特征被用于分类。其次，现有研究虽然得到了较高的识别准确率，但是所需要的特征数量较高，支持向量机分类器的计算复杂度是特征数量的平方倍数，可见较高的特征数量会严重影响到分类器的计算效率。例如基于log-gabor滤波器特征提取方法，虽然可以一定程度上解决所涉及的目标识别问题，但是所能提取的目标信息较少，需要采用的更多的特征来保证分类的准确率。

发明内容

本发明提出一种基于微多普勒特征的人类日常行为分类方法。

为了解决上述技术问题，本发明提供一种基于微多普勒特征的人类日常行为分类方法，包括以下步骤：

步骤1，通过雷达获得人类日常行为下雷达回波信号，构建目标分类数据集，并将数据集划分为训练集和测试集；

步骤2，在所述训练集上，将雷达回波信号数据分割成等长度的多个数据片段，针对每个数据片段采用短时傅立叶变换对雷达回波信号进行处理，获得雷达回波信号的时频谱图，并基于所述时频谱图提取回波信号中所包含的目标特征，构建目标特征空间；

步骤3，在目标特征空间上，计算每个特征的重要性，选择出一定数量的目标特征构成用于测试集分类的测试分类特征空间；

步骤4，在测试集上，基于最优的测试分类特征空间，采用多类别支持向量机分类器对目标类别进行分类。

较佳地，步骤1中，人类日常行为包括：人类行走、人类跑动、人类爬行、人类乘坐轮椅行走、一群人行走、一群人跑动。

较佳地，步骤2中获得目标特征空间的方法为：

S2.1，使用窗口长度为N的短时傅立叶变换对雷达回波信号s(t)进行处理，得到雷达回波信号时频谱图STFT(f,t)，f和t分别表示短时傅立叶变换所得到的频率分量和时间分量；

S2.2，固定时频谱图STFT(f,t)的频率分量，得到沿时间轴变化的数据，并对该数据进行傅立叶变换，得到的数据STFT_T(f,k)，其中k表示傅立叶变换后的频率分量；

S2.3，对数据STFT_T(f,k)取对数，得到STFT_T_log(f,k)，然后对STFT_T_log(f,k)分别沿着f和k的方向进行累积求和，分别得到雷达回波信号的两个特征ST_f(k)和ST_k(f)；

S2.4，对雷达回波信号时频谱图STFT(f,t)进行奇异值分解，得到三个矩阵分别为STFT_S、STFT_V和STFT_D；

S2.5，对矩阵STFT_S进行傅立叶变换，得到矩阵STFT_S_f；

S2.6，提取矩阵STFT_S_f的一部分元素STFT_S_f，与矩阵STFT_D的对角矩阵的元素组成特征SVD_f；

S2.7，在前述获得的ST_f(k)、ST_k(f)和SVD_f三个特征的基础上，通过选取不同数值的窗口长度N，获得一不同尺度下的目标特征，以此构建成目标特征空间。

较佳地，步骤3中目标特征选择的具体步骤如下：

3.1建立两个特征空间，分别为待选特征空间F和已选特征空间S；F的初始状态为所获得的目标特征空间，S的初始状态为空；用f_i表示F中的一个待选特征，f_s表示S中的一个已选特征，用M表示期望选择的特征数量，则按下式所示方法计算Q值，

其中，I()为互信息算子，C表示分类所涉及的类别序列，|S|表示已选择特征空间的长度；

3.2选择使Q值取最大值的目标特征放入已选择特征空间中，并将其从待选择特征空间中剔除；当|S|的数值等于M时，停止特征选择；

3.3基于获得的已选择特征空间S，采用多类别支持向量机分类器对目标类别进行分类，记录所获得的分类准确度，调整M的取值，返回步骤3.1，直到获得更高的分类准确度，记录此时M的数值和相应的特征空间。

本发明与现有技术相比，其显著优点在于，

(1)本发明从机器学习角度出发构建人类日常行为分类方法，避免了传统参数估计方法中复杂的理论建模和实验标定环节；

(2)本发明基于雷达回波信号的微多普勒特性提出了一种提取人类日常行为数据特征的算法。该方法利用人体在运动过程中各个运动单元的微动特征，通过傅立叶变换和奇异值分解将人体固有速度和微动速度分割开来构成特征空间，为分类器提供更丰富的特征信息，减少分类器对特征数量的依赖，一定程度上提高了分类准确率；

(3)本发明基于互信息理论提出了一种特征选择方法。该方法综合权衡特征相关性和冗余性，同时以所选择特征空间的维度对特征冗余性进行惩罚，避免特征冗余性在特征空间中累积；

(4)基于所提出的特征提取和特征选择方法，本发明采用支持向量机分类器在较小特征数量条件下，仍具有较高的分类准确率，同时易于在嵌入式系统上实现。

附图说明

图1是本发明基于微多普勒特征的人类日常行为分类方法的流程图。

图2是采用log-Gabor特征提取方法对人类日常行为进行分类的分类结果混淆矩阵图。

图3是本发明对人类日常行为进行分类的分类结果混淆矩阵图。

图4是本发明中特征选择方法与PCA特征选择方法在不同特征数量条件下的平均分类准确率对比曲线图。

图5是本发明中分类器与DCNN分类器在不同特征数量条件下的平均分类准确率对比曲线图

具体实施方式

容易理解，依据本发明的技术方案，在不变更本发明的实质精神的情况下，本领域的一般技术人员可以想象出本发明的多种实施方式。因此，以下具体实施方式和附图仅是对本发明的技术方案的示例性说明，而不应当视为本发明的全部或者视为对本发明技术方案的限制或限定。

本发明中从不同类别下，微运动的速度差异性出发，设计了更深层次的特征提取方法，所提取出的目标类别信息更有效，进而减少了对特征数量的依赖。同时，设计了更有效的特征选择方法，进一步获取有效的特征，减少特征数量的依赖。最后，本发明所采用的分类器为高斯核支持向量机，是一种广泛用于解决嵌入式识别与分类问题的分类器，易于实现，对平台计算能力要求低。如图1所示，本发明基于微多普勒特征的人类日常行为分类方法，包括以下步骤：

步骤1，通过雷达获得人类日常行为下雷达回波信号，经过一定的数据预处理后，构建目标分类数据集，并采用n折交叉验证方法将数据集划分为训练集和测试集；优选地采用十折交叉验证方法。

步骤2，在所述训练集上，将数据分割成等长度的多个数据片段，针对每个数据片段采用短时傅立叶变换对采集到的雷达回波信号进行处理，获得雷达回波信号时频谱图，并基于回波信号时频谱图提取回波信号中所包含的目标特征，构建目标特征空间。

步骤3，在目标特征空间上，计算每个特征的重要性，选择出一定数量的目标特征构成用于测试集分类的测试分类特征空间；进一步，在训练集上，依据所选择的测试分类特征空间，采用多类别支持向量机分类器对对目标类别进行分类测试，根据所得到的分类精度调整测试分类特征空间所选择的目标特征的数量，并重新进行目标特征选择进而更新测试分类特征空间，直到获得较高精度的分类结果和对应的最优的测试分类特征空间，保存所获得的特征数量指标和最优特征空间。

步骤4，在测试集上，基于步骤3所获得的最优特征空间，采用多类别支持向量机分类器对目标类别进行分类，并记录所获得的分类准确度。

在一些实施方式中，其中步骤1所述雷达为一种线性调频连续波雷达。人类日常行为的雷达回波信号表示为，

其中，s(t)为雷达回波信号，f₀表示所述连续波雷达的中心频率，I表示人类所包涵的独立运动单元的个数，i表示第i个独立运动单元，v_i表示第i个独立运动单元在一段时间内的平均速度，φ_i表示第i个独立运动部分的初始相位，B_i、θ_i和β_i分别为描述第i个独立运动单元运动细节的参数。

进一步地，目标分类数据集为室内环境下实测的人体在不同日常行为下的雷达回波信号，人体日常行为包括：人类行走、人类跑动、人类爬行、人类乘坐轮椅行走、一群人行走、一群人跑动。

在一些实施方式中，步骤2中所述提取回波信号中所包含的目标特征，获得目标特征空间的具体步骤如下：

S2.1，使用窗口长度为N的短时傅立叶变换(STFT)对雷达回波信号s(t)进行处理，得到雷达回波信号时频谱图STFT(f,t)。时频谱图STFT(f,t)是一个二维矩阵，f和t分别表示短时傅立叶变换所得到的频率分量和时间分量。

S2.2，固定时频谱图STFT(f,t)的频率分量，得到沿时间轴变化的数据，并对该数据进行傅立叶变换，得到的数据STFT_T(f,k)，其中k表示傅立叶变换后的频率分量。

S2.3，对数据STFT_T(f,k)取对数，得到STFT_T_log(f,k)，然后对STFT_T_log(f,k)分别沿着f和k的方向进行累积求和，分别得到雷达回波信号的两个特征ST_f(k)和ST_k(f)。

S2.4，对雷达回波信号时频谱图STFT(f,t)进行奇异值分解(SVD)，得到三个矩阵分别为STFT_S，STFT_V和STFT_D。

S2.5，对矩阵STFT_S进行傅立叶变换，得到矩阵STFT_S_f。

S2.6，提取矩阵STFT_S_f的一部分元素STFT_S_f(1:M,1:5)，即矩阵M行5列内的全部元素，与矩阵STFT_D的对角矩阵的元素组成特征SVD_f。其中，M的取值为N和30中较小的一个。

S2.7，在前述获得的ST_f(k)、ST_k(f)和SVD_f三个特征的基础上，通过选取不同数值的窗口长度N，可以获得一系列的不同尺度下的特征，以此构建成目标特征空间。

在一些实施方式中，其中步骤3中特征选择的具体步骤如下：

S3.1，建立两个特征空间，分别为待选特征空间F和已选特征空间S。F的初始状态为S2.7所获得的目标特征空间，S的初始状态为空。用f_i表示F中的一个待选特征，f_s表示S中的一个已选特征。用M表示期望选择的特征数量。则选择特征的选择方法如公式(2)表示，

其中，I()为互信息算子，对假设f_i；f_s对应有两个于两个序列X和Y，则有

p(x,y)表示两个随机变量的联合概率密度函数。C表示分类问题所涉及的类别序列。|S|表示已选择特征空间的长度。

在一些实施方式中，其中步骤S3.1具体步骤如下：

S3.1.1，随机选择一个特征放入已选择特征空间S，同时从待选特征空间F中剔出该特征。

S3.1.2，对于待选特征空间中的每个特征，与已选择特征空间中的每个特征，计算公式(2)，并选择使公式(2)取得最大值的特征放入已选择特征空间中，并将其从待选择特征空间中剔除。

S3.1.3，当|S|的数值等于M时，停止特征选择过程，所得到的特征空间S用于目标类别分类测试。

S3.2，基于S3.1.3所获得的已选择特征空间S，采用多类别支持向量机分类器对目标类别进行分类，记录所获得的分类准确度。调整M的取值，重复S3.1直到获得较好的分类准确度，记录此时M的数值和相应的特征空间。

最后在测试集上，基于步骤3所获得的最优特征空间，采用多类别支持向量机分类器对目标类别进行分类，选取一些传统特征提取方法、特征选择方法和分类器与本发明分类方法做对比，结果如图2、图3、图4和图5所示。

本发明给出一实测实验，涉及到6中人类日常行为状态：人类行走、人类跑动、人类爬行、人类乘坐轮椅行走、一群人行走、一群人跑动。针对每种状态，重复进行试验100次，每次时长30秒，所得数据进行存储构成数据集。基于该数据集，实施本发明所提及方法，与现有方法做对比得到如图2、图3、图4、图5所示结果。分别说明如下：

图2给出了采用log-Gabor特征提取方法对人类日常行为分类结果混淆矩阵图。图3给出了本发明分类方法的分类结果混淆矩阵。可以看到，总体上传统方法的平均识别准确率为94.5％，本发明方法的平均识别准确率为98.2％，提升了3.9％左右。具体到各个类别的识别情况，可以看到对人类爬行和坐轮椅行走类型相比于其它4种运动类型识别率较高，借助于本发明中特征提取方法，其分类准确率达到了100％。本发明对人类跑动状态的识别准确率最低，较多地错误分类落在了行走类别和一群人跑动的类别上。传统方法也表现出了较多的将人类行走和人类跑动两种状态混淆的情况，与之相比，本发明的分类方法在识别准确率上有所提高。

图4给出了本发明中特征选择方法与PCA特征选择方法在不同特征数量条件下平均分类准确率对比曲线图。可以看到，随着特征数量的增加基于两种特征选择方法的分类准确率均呈现出现增加，趋于平稳，最后在增加的状态。在全特征范围内本文所提出特征选择方法的分类准确率均高于PCA特征选择算法。

图5给出了本发明中分类器与DCNN分类器在不同特征数量条件下平均分类准确率对比曲线图。可以看到，当特征数量较少时本发明方法的分类准确率高于人工神经网络方法。当特征数量高于20个时，人工神经网络方法的识别准确率逐渐超过本发明方法。可见，对于计算资源密集型的应用可以选择本发明分类方法，对于计算资源丰富的应用则可以在本发明基础上采用人工神经网络分类器代替支持向量机分类器，同时提高特征数量来提高分类准确率。

Claims (3)

1.一种基于微多普勒特征的人类日常行为分类方法，其特征在于，包括以下步骤：

步骤1，通过雷达获得人类日常行为下雷达回波信号，构建目标分类数据集，并将数据集划分为训练集和测试集；

步骤2，在所述训练集上，将雷达回波信号数据分割成等长度的多个数据片段，针对每个数据片段采用短时傅立叶变换对雷达回波信号进行处理，获得雷达回波信号的时频谱图，并基于所述时频谱图提取回波信号中所包含的目标特征，构建目标特征空间；

步骤3，在目标特征空间上，计算每个特征的重要性，选择出一定数量的目标特征构成用于测试集分类的测试分类特征空间；

步骤4，在测试集上，基于测试分类特征空间，采用多类别支持向量机分类器对目标类别进行分类；

步骤2中获得目标特征空间的方法为：

S2.1，使用窗口长度为N的短时傅立叶变换对雷达回波信号s(t)进行处理，得到雷达回波信号时频谱图STFT(f,t)，f和t分别表示短时傅立叶变换所得到的频率分量和时间分量；

S2.2，固定时频谱图STFT(f,t)的频率分量，得到沿时间轴变化的数据，并对该数据进行傅立叶变换，得到的数据STFT_T(f,k)，其中k表示傅立叶变换后的频率分量；

S2.3，对数据STFT_T(f,k)取对数，得到STFT_T_log(f,k)，然后对STFT_T_log(f,k)分别沿着f和k的方向进行累积求和，分别得到雷达回波信号的两个特征ST_f(k)和ST_k(f)；

S2.4，对雷达回波信号时频谱图STFT(f,t)进行奇异值分解，得到三个矩阵分别为STFT_S、STFT_V和STFT_D；

S2.5，对矩阵STFT_S进行傅立叶变换，得到矩阵STFT_S_f；

S2.6，提取矩阵STFT_S_f的一部分元素STFT_S_f，与矩阵STFT_D的对角矩阵的元素组成特征SVD_f；

S2.7，在前述获得的ST_f(k)、ST_k(f)和SVD_f三个特征的基础上，通过选取不同数值的窗口长度N，获得一不同尺度下的目标特征，以此构建成目标特征空间。

2.如权利要求1所述的基于微多普勒特征的人类日常行为分类方法，其特征在于，步骤1中，人类日常行为包括：人类行走、人类跑动、人类爬行、人类乘坐轮椅行走、一群人行走、一群人跑动。

3.如权利要求1所述的基于微多普勒特征的人类日常行为分类方法，其特征在于，步骤3中目标特征选择的具体步骤如下：

3.1建立两个特征空间，分别为待选特征空间F和已选特征空间S；F的初始状态为所获得的目标特征空间，S的初始状态为空；用f_i表示F中的一个待选特征，f_s表示S中的一个已选特征，用M表示期望选择的特征数量，则按下式所示方法计算Q值，

其中，I()为互信息算子，C表示分类所涉及的类别序列，|S|表示已选择特征空间的长度；

3.2选择使Q值取最大值的目标特征放入已选择特征空间中，并将其从待选择特征空间中剔除；当|S|的数值等于M时，停止特征选择；

3.3基于获得的已选择特征空间S，采用多类别支持向量机分类器对目标类别进行分类，记录所获得的分类准确度，调整M的取值，返回步骤3.1，直到获得更高的分类准确度，记录此时M的数值和相应的特征空间。

Images