CN108388850A - 一种基于k最近邻及微多普勒特征的人体动作识别方法 - Google Patents

Abstract

本发明涉及一种基于k最近邻及微多普勒特征的人体动作识别方法，包括下列步骤：1)构建雷达时频图像数据库；2)微多普勒特征提取：a)躯干的多普勒频率；b)总多普勒信号带宽；c)总多普勒偏移量；d)躯干多普勒信号带宽；e)肢体运动周期。3)利用雷达时频图像进行人体动作识别。

Description

一种基于k最近邻及微多普勒特征的人体动作识别方法

技术领域

本发明属于雷达技术和模式识别领域，涉及一种基于KNN及微多普勒特征的人体动作识别方法。

背景技术

利用雷达进行基于微多普勒特征的人体动作识别是近年发展起来的较新的研究领域，在军事、安全系统和反恐、灾难营救、医疗监控、体感游戏等许多领域有着广泛的应用前景和重要研究意义。

人体动作是人的最外在的动态表现，包含了强大的信息，通过对动作的识别可以有效地认识人体的动态过程，了解人体传达的信息，甚至能够据此辨析人体动作的行为意向。人体动作识别涉及机器视觉、人工智能、模式识别、机器学习、数据挖掘和认知心理学等诸多学科领域。传统的人体动作探测使用接触式传感器和视频监视器等，不仅需要分析对象配合实验，且对实验场景的视角、位置、对象、光照条件等都有一定的限制，具有很多缺陷。

雷达具有许多其他传感器所不具备的优势。它不受天气和光线等条件的限制，传播距离较远，具有非接触特性，且有强大的穿透能力，能够在人体目标距离较远且被障碍物遮挡条件下对其进行全天候、全天时的探测。多普勒雷达可有效抑制背景中的静止杂波，非常适合检测运动，且随着硬件技术的不断提高，其分辨率得到大幅提升，使得人体目标微多普勒特征的获取成为可能。

人体目标不仅存在整体的运动，也往往存在人体各部分的加速、振动、旋转等微运动，这类非刚体运动产生的微多普勒信息包含了有价值的人体动作信息。在探测过程中，雷达向人体目标发射微波束，收到原的回波信号被人体运动调制，包含了人体各部位动作产生的多普勒频率。通过信号处理和时频变换，可由雷达采样信号得到雷达时频图像。由于人的运动机制比较复杂，微多普勒图像中包含了人体各个部分运动的时频分布曲线，从而分析人体运动学特征和人体各部分之间的配合情况，对图像的微多普勒特征进行提取。K最近邻(k-Nearest Neighbor，KNN)分类算法是一种较成熟的机器学习算法，可用于非线性分类，无需参数估计，易于实现，准确率高，在信息检索、机器翻译、自动文摘、邮件分类、商务营销等方面都有着广泛的应用。可利用基于KNN方法及微多普勒特征可以对实测人体目标的动作类型进行有效识别。

[1]张翼,朱玉鹏,程永强,黎湘.基于微多普勒特征的人体目标雷达回波信号分析[J].信号处理,2009,25(10):1616-1623.

[2]Chen V C,Miceli W J,Tahmoush D.Radar micro-Doppler signatures:processing and applications[M]. The Institution of Engineering andTechnology,2014.

[3]Fairchild D P,Narayanan R M.Classification of human motions usingempirical mode decomposition of human micro-Doppler signatures[J].IET Radar,Sonar&Navigation,2014,8(5):425-434.

发明内容

本发明提出一种适应性广，识别效果好的人体动作识别方法。本发明构建包含多类人体动作的雷达时频图像数据库，分别对不同动作的仿真和实测时频图像进行微多普勒特征提取，利用带有动作标签的仿真图像应用KNN算法生成模型，最终实现对实测情况下的人体动作分类。此发明适用于各种光线、天气等条件，技术方案如下：

一种基于k最近邻及微多普勒特征的人体动作识别方法，包括下列步骤：

1)构建雷达时频图像数据库；利用人体动作捕捉数据集MOCAP作为测量数据并建立人体三维模型应用于仿真，经过时频变换得到人体目标雷达回波的时频分布图，即雷达时频图像，由此建立雷达时频图像数据库，并选取训练集和测试集

2)微多普勒特征提取：对训练集和测试集的时频图像分别提取特征，先在时频图像上对微多普勒信息的上、中、下包络进行提取,分别为最大频率U(t)、最小频率L(t)和中心频率C(t)，在此基础上来提取一段时间的相关特征参量，时频图像中的不同颜色代表不同的回波强度，图像的灰度值信息反映回波信号的强度信息，利用图像灰度的百分位数值法得到关于速度和时间的灰度分布，经过对分布函数的阈值设定获取包络，最终提取的每个特征向量包含的特征参量有如下5种：a)躯干的多普勒频率，它依赖于人体不同的动作，且对应着人体运动的速度，表现为回波信号中最强的回波部分，在彩色的时频图像中显示为红色的峰值信号信息，以峰值信号的平均功率作为躯干的多普勒频率特征参量；b)总多普勒信号带宽，它来自人体手臂和腿部的摆动，和四肢动作的速度相关，以上包络的最大频率和下包络的最小频率之间的平均差异作为总多普勒的带宽；c)总多普勒偏移量，它和人肢体的动作匀称性有关，衡量肢体前后动作的不对称性，以上包络的平均最大频率和下包络的平均最小频率的均值指定偏移位置；d)躯干多普勒信号带宽，它不包含人体动作产生的多普勒信息，只与人体产生动作时的躯干摆动有关，以上包络的最小频率和下包络的最大频率的平均差异作为躯干微多普勒信号带宽；e)肢体运动周期，它表征人体产生动作时包括手臂和腿部在内的肢体的摇摆频率，通过包络上相邻两个峰值所对应的时间差来获取此特征参量.

3)利用雷达时频图像进行人体动作识别：从包含图片名称和标签信息的文本文件中提取出多张图对应的人体动作标签号，并与相应的特征向量一起输入KNN分类器进行训练：首先将一定数量的正确分类的样本作为标准参考样本，计算待测样本在特征空间中与所有标准参考样本的距离，选取一个k值作为测试样本在特定特征空间中最接近的标准参考样本个数；最后判断k个标准参考样本中有最大样本数量的类别，以此类别作为待测样本通过此KNN模型得到的分类结果；根据多次实验确定所取k值以达到最好的分类效果；将测试集的分类结果和其标签进行对比计算，得出分类精度并分析其效果。

本发明通过构建雷达仿真图像数据库、对仿真及实测图像进行去噪和特征提取和设计KNN分类器最终建立了一个基于KNN及微多普勒特征的人体动作识别人体动作分类模型，可达到较理想的分类精度。

附图说明

图1的a)和b)分别为人体三维模型与仿真得到的雷达时频图像；

图2为椭球体示意图；

图3为时频图像上的包络提取结果；

图4的a)和b)分别为人体运动的时频灰度图像及其对应的人体各部分运动轨迹；

图5为时频图像上的特征提取示意图，a)躯干多普勒频率；b)总多普勒信号带宽；c)总多普勒偏移量；d)躯干多普勒信号带宽；e)肢体运动周期。

具体实施方式

为将本发明的技术方案描述得更加清楚，对本发明的具体实施过程做如下的进一步地描述。本发明按以下步骤具体实现：

1.构建雷达时频图像数据库

(1)基于运动捕捉数据和人体三维模型的雷达仿真

由卡耐基梅隆大学(CMU)开发的免费人体动作捕捉数据库。数据获取过程中标记了人体的41个点，由12个120Hz的红外相机进行记录，库中包含2605个不同种类的动作记录。本实验在MOCAP数据集的基础上，选取行走、跑步，站立、跳跃、拳击、匍匐前进、爬行七种动作类型作为测量数据并建立人体三维模型应用于仿真。

人体运动可视为一种非刚体运动，可将人体看成若干由关节连接的刚体形成的刚体链，各部分以各自不同的某一形式运动，且每个部件的形状、尺寸、质量、惯性矩等保持不变。人体运动学模型可视为一个从基变换节点出发按一定级别用节点连接各部件的树状结构。利用运动捕捉收集的三维运动数据可获得各个关节点相对于几点的运动偏移以及各节点的运动自由度与顺序等运动状态随时间的变化情况。假设人体是均匀介质，各部分的散射机制都可由多个独立的强散射点表示，且人体的头、胸、四肢等可用椭球体进行等效。用31个关节模拟人体，每两个相邻的关节定义一个身体段，可设计一个基于椭球的人体后向散射模型，如图1a)所示。以(x₀,y₀,z₀)为两关节的中点位置坐标，(a,b,c)为半主轴的长度，如图2的椭球体模型可以表示为：

长椭球体的半主轴长度确定了椭球体的形状，轴端点确定其空间位置。在简化点散射体为椭球体后，可对各人体部件分别计算RCS回波。椭球体的后向散射RCS为：

当a＝b时，椭球体体积可定义为：

故由公式可知，通过确定人体不同体段的典型体积大小，可以在已知一个半主轴长度的情况下，对另一个半主轴进行估计。设θ为雷达视线与长轴之间的夹角，此时RCS可近似为

可利用得到的RCS计算人体对应部分的雷达回波信号，形式如下：

其中P_t为雷达发射功率，G_v和G_r分别为发射接收天线方向图，L_s为发射接受损耗，λ为雷达载波波长，f为雷达发射信号频率，c为光速，r(t)为中心与雷达的距离。由此分别计算人体各部分的回波，人体的总回波即为各部分回波之和。

(2)时频图像的获取

人体的每个部件的运动都会对回波会产生复杂的频率调制作用，由此引起微多普勒效应。获取微多普勒特征关键在于多普勒频率的估计。由于多普勒时变性，本质上要求采用非平稳信号处理手段对信号进行微多普勒频率特性分析。高分辨的时频分布是动态信号和多信号分析的一种有效工具，可在时间和频率二维空间获取信号的时变特性。设Δt为采样间隔，n为采样点数，雷达回波离散采样信号经混频和低通滤波处理后得到：

设m为频域采样点数，利用短时傅里叶变换进行时频变换得到：

TF(n,m)＝TFT(s(n))

由此得到如图1b)所示的人体目标雷达回波的时频分布图，即雷达时频图像。

构建数据库的过程需要对人体结构进行三维建模从而利用运动捕捉数据对各部分运动状态仿真，最终建立带有动作标签的雷达时频图像数据库。对7类动作分别选取每类动作400张的时频图像用作训练集图像，每类动作100张的时频图像用作测试集图像。

2.微多普勒特征提取

为减小数据维度、简化分类器的设计的同时保留有效的基本特征，对7类动作，每类动作400张的训练集图像以及7类动作，每类动作100张的测试集图像进行进一步的特征选择和提取。

(1)基于百分位数值的包络提取

其中f为人体运动产生的频移，t为时间，s为灰度图像所反映的回波强度的幅值信息。根据时频图像对灰度分布设定阈值，在图像中的每列像素点中进行选取，最终提取出代表最高频率、最低频率和中心频率的上包络、下包络以及中心包络。提取的三类包络在时频图像上的标记如图3所示，经过实验测定，选取的阈值为：

(2)特征提取

在对包络进行提取后，可获取一幅时频图像包含的时间段内的最高频率曲线和最低频率曲线。时频图像信息中包含人体不同部位的运动轨迹，图4为时频灰度图像与其对应的6个不同部位运动轨迹。下面根据包络信息和运动轨迹分别对训练集和测试集的时频图像提取如下五类特征：

1)躯干的多普勒频率。

躯干的多普勒频率是一项基本信息，有着重要意义，它对应着人体运动的速度，变化依赖于人体的不同动作。通常情况下，雷达回波的峰值信号来自于人体躯干。在实验中，将一幅时频图包含的时间算作一个时间段，躯干的多普勒频率即为此时间段内峰值信号的平均频率。在彩色的时频图像中，最强的回波信号显示为红色，故根据R、G、B三个通道的色度信息对红色的强回波躯干信息进行提取。最后计算其对应的纵坐标上频率值的平均值作为提取的第一个特征参量，如图5a)所示。

2)总多普勒信号带宽。

总多普勒信号带宽和四肢的动作速度有关，手臂和腿部的摇摆会使总多普勒带宽较大。带宽在时频图像上表现为高频包络的最大频率和低频包络的最小频率之间的平均差异。以一幅图包含的时间作为一个时间段进行研究，在上包络中选取所有的频率极大值，并求取极大值平均值；在下包络中选取所有的频率极小值，并求取极小值平均值。将两个平均值相减得到总多普勒信号带宽，如图5b)所示。

3)总多普勒偏移量。

总多普勒偏移量是对肢体前后动作不对称性的一种衡量。当肢体前后动作匀称时，总多普勒的偏移位置和躯干频率一致。若发生偏移，则说明偏移侧肢体产生了较大的运动速度。总多普勒偏移量定义为高频包络的最大频率和低频包络的最小频率的平均值。在一幅时频图像包含的时间段内，选取上包络中的所有极大值，并求取平均最大频率；选取下包络中的所有极小值，并求取平均最小频率。将平均最大频率和平均最小频率的均值作为总多普勒频移位置，如图5c)所示。

4)躯干多普勒信号带宽。

由人体目标进行活动时躯干摆动引起，不包含人类肢体动作产生的频移。分别计算高频包络的最小频率均值和低频包络的最大频率均值，它们之间的差异即为无微多普勒的信号带宽，如图5d)所示。

5)肢体运动周期。

肢体运动周期与手臂和腿部等肢体运动的摇摆频率相关。包络的相邻两个频率峰值间的时间间隔即为肢体运动周期，如图5e)所示。肢体运动时的摇摆率可以作为一类特征来对动作类型进行区分。

3.利用雷达时频图像进行人体动作识别

KNN算法是模式识别非参数法中重要的方法之一，规则简单，易于实现。本实验中在分类空间中通过获得最邻近的人体目标动作类别来判断测试图像所属的人体动作类别。

首先，从数据库自动生成的文本中提取出2800张图对应的7类人体动作标签号。以7类动作，每类动作400张的带标签训练图像作为已正确分类的标准参考样本，将与标签对应的2800个特征向量一起输入KNN分类器进行训练。再将从7类动作、每类动作100张的测试图像集中提取的特征向量加入分类器中。计算测试图像在特征空间中和训练图像集之间的距离，k值为特征空间中测试图像集最接近的训练图像个数，对k个训练图像中最大样本数量的人体动作类别进行判断，此类别即为测试图像所属的人体动作类别。可设定合适的k值以获取最佳分类结果。在研究中，对不同k值进行了多次实验，在距离取1和取 4时有最好的分类效果。

输入测试集图像后可获得相应的人体动作分类结果标签，将分类结果标签和其原有标签进行对比，计算分类结果和标签相符的比率，从而得出分类的精度。实验中选定KNN中的k值为4，分类准确率可以达到84.43％，可以达到比较理想的应用效果。

基于KNN及微多普勒特征的人体动作识别方法利用已有数据库得到具有动作标签的训练数据进行建模，最终将数据库中人体动作的测试数据应用于模型，并与原有标签进行对比，可得到较好的动作分类结果。这使人体智能监测成为可能，且可以有效地为其他智能化的应用提供一些基本的依据，和基于计算机视觉的动作识别方法相比，免去很多实验条件的限制，且在分类中省去了如SVM等方法的调参过程，分类效果更好。

Claims (1)

1.一种基于k最近邻及微多普勒特征的人体动作识别方法，包括下列步骤：

1)构建雷达时频图像数据库；利用人体动作捕捉数据集MOCAP作为测量数据并建立人体三维模型应用于仿真，经过时频变换得到人体目标雷达回波的时频分布图，即雷达时频图像，由此建立雷达时频图像数据库，并选取训练集和测试集

2)微多普勒特征提取：对训练集和测试集的时频图像分别提取特征，先在时频图像上对微多普勒信息的上、中、下包络进行提取,分别为最大频率U(t)、最小频率L(t)和中心频率C(t)，在此基础上来提取一段时间的相关特征参量，时频图像中的不同颜色代表不同的回波强度，图像的灰度值信息反映回波信号的强度信息，利用图像灰度的百分位数值法得到关于速度和时间的灰度分布，经过对分布函数的阈值设定获取包络，最终提取的每个特征向量包含的特征参量有如下5种：a)躯干的多普勒频率，它依赖于人体不同的动作，且对应着人体运动的速度，表现为回波信号中最强的回波部分，在彩色的时频图像中显示为红色的峰值信号信息，以峰值信号的平均功率作为躯干的多普勒频率特征参量；b)总多普勒信号带宽，它来自人体手臂和腿部的摆动，和四肢动作的速度相关，以上包络的最大频率和下包络的最小频率之间的平均差异作为总多普勒的带宽；c)总多普勒偏移量，它和人肢体的动作匀称性有关，衡量肢体前后动作的不对称性，以上包络的平均最大频率和下包络的平均最小频率的均值指定偏移位置；d)躯干多普勒信号带宽，它不包含人体动作产生的多普勒信息，只与人体产生动作时的躯干摆动有关，以上包络的最小频率和下包络的最大频率的平均差异作为躯干微多普勒信号带宽；e)肢体运动周期，它表征人体产生动作时包括手臂和腿部在内的肢体的摇摆频率，通过包络上相邻两个峰值所对应的时间差来获取此特征参量

3)利用雷达时频图像进行人体动作识别：从包含图片名称和标签信息的文本文件中提取出多张图对应的人体动作标签号，并与相应的特征向量一起输入KNN分类器进行训练：首先将一定数量的正确分类的样本作为标准参考样本，计算待测样本在特征空间中与所有标准参考样本的距离，选取一个k值作为测试样本在特定特征空间中最接近的标准参考样本个数；最后判断k个标准参考样本中有最大样本数量的类别，以此类别作为待测样本通过此KNN模型得到的分类结果；根据多次实验确定所取k值以达到最好的分类效果；将测试集的分类结果和其标签进行对比计算，得出分类精度并分析其效果。