CN107290741B - 基于加权联合距离时频变换的室内人体姿态识别方法 - Google Patents

基于加权联合距离时频变换的室内人体姿态识别方法 Download PDF

Info

Publication number
CN107290741B
CN107290741B CN201710409174.7A CN201710409174A CN107290741B CN 107290741 B CN107290741 B CN 107290741B CN 201710409174 A CN201710409174 A CN 201710409174A CN 107290741 B CN107290741 B CN 107290741B
Authority
CN
China
Prior art keywords
posture
time
frequency
human body
postures
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201710409174.7A
Other languages
English (en)
Other versions
CN107290741A (zh
Inventor
顾陈
廖志成
洪弘
李彧晟
孙理
朱晓华
丁传威
邹宇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanjing University of Science and Technology
Original Assignee
Nanjing University of Science and Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanjing University of Science and Technology filed Critical Nanjing University of Science and Technology
Priority to CN201710409174.7A priority Critical patent/CN107290741B/zh
Publication of CN107290741A publication Critical patent/CN107290741A/zh
Application granted granted Critical
Publication of CN107290741B publication Critical patent/CN107290741B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/02—Systems using reflection of radio waves, e.g. primary radar systems; Analogous systems
    • G01S13/06—Systems determining position data of a target
    • G01S13/08—Systems for measuring distance only
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/20—Instruments for performing navigational calculations
    • G01C21/206—Instruments for performing navigational calculations specially adapted for indoor navigation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2411—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on the proximity to a decision surface, e.g. support vector machines

Landscapes

  • Engineering & Computer Science (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Theoretical Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Artificial Intelligence (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Automation & Control Theory (AREA)
  • Radar Systems Or Details Thereof (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于加权联合距离时频变换的室内人体姿态识别方法，该方法首先将超宽带雷达录取的室内人体姿态数据经过MTI滤波，截取包含人体姿态的数据，选取有效距离门；之后利用加权联合距离时频变换得到联合距离时频分布图，提取图中躯体包络的特征参数；接着利用机器学习算法确定不同姿态和特征参数之间的映射关系；最后根据所得到的映射关系，判决人体姿态的种类。本发明方法有效可行，性能可靠，可以准确地识别室内不同的人体姿态。

Description

基于加权联合距离时频变换的室内人体姿态识别方法
技术领域
本发明属于雷达技术领域，特别是一种基于超宽带雷达的室内人体姿态和识别方法。
背景技术
人体姿态识别是近年来具有挑战性的研究热点之一。它在安全监控、人机交互和医疗健等领域有着广泛的应用前景。另外，随着我国人口老龄化现象日趋严重，老年人在整个人口中所占比例逐渐上升，子女面临的社会压力也在加大。如何有效对老人在家中室内所面临的安全问题进行提前预警和有效监控，是全社会面临的一个重大问题。随着计算机技术的发展，基于人体姿势识别的监测系统通过识别老人在室内的姿态、评估其姿势的稳定性，进行有效的预警并通知家人。一旦发生跌倒损伤，能够很快得到治疗。现有的研究主要还是基于图像视频分析的人体姿态识别和可穿戴式运动传感器的人体姿态识别技术。但视频图像信息会带来传感器网络通信量的膨胀，而且视频图像检测受环境影响较大，并且一定程度侵犯隐私。可穿戴式的人体姿态识别设备也有着两个主要缺点：数据内存和适用性。续航时间不能保证，而且佩戴不方便，在许多场合使用受限，这在很大程度上制约了可穿戴式设备的发展。
雷达是一种通过发射和接收电磁波对目标进行检测的电子设备，具有全天候全时段的工作能力，所以近年来，利用雷达进行人体姿态识别的技术引起了很大关注。而在众多体制的雷达中，超宽带雷达具有抗干扰能力强，距离分辨率高等优点。现有的研究主要是利用雷达提取一些具有周期性的人体姿态的多普勒信息，如摆臂行走，连续不断的跳跃、下蹲等动作，具有非常大的局限性。如何有效的提取人体姿态的多普勒特征,对非周期性的姿态(如转身，弯腰，下蹲，跳跃，摔倒，站立，坐姿)进行分类依旧是一项很大的挑战。
发明内容
本发明的目的在于提供一种基于超宽带雷达的室内人体姿态识别方法，实现了室内常见姿态的分类。
实现本发明目的的技术解决方案为：一种基于超宽带雷达的室内人体姿态识别方法，包括以下步骤：
步骤1、用超宽带雷达采集室内的人体姿态信号，所述姿态为室内非周期瞬时姿态，包括：(1)转身，(2)弯腰，(3)坐姿，(4)下蹲，(5)跳跃，(6)摔倒
将得到的信号进行MTI滤波，得到去除室内杂波和静止物体的干扰的人体姿态信号，信号r(t,τ)保存在J×N的矩阵R内：
R[j,n]＝r(t＝jTs,τ＝nTf)
其中j＝[1,2,...,J]代表慢时采样的时间序号，n＝[1,2,,...,N]代表距离门的个数。Tf和Ts分别表示快时和慢时的采样时刻，t代表慢时间，τ代表快时间。
步骤2、截取s秒滤波后包含人体姿态的数据，s的取值大于姿态持续的时间。将数据中每个距离门的能量按从大到小进行排列，取有效的距离门个数满足下式：
Figure BDA0001311861380000021
式中，σ表示有效距离门的能量占总能量的百分比，a为所占百分比的取值门限，Ei表示第i个距离门的能量，m表示有效距离门的个数，En表示第n个距离门的能量，N表示所有距离门的个数。
步骤3、利用加权联合距离时频变换方法得到加权后的联合距离时频分布图，具体为：根据每个有效距离门的能量大小得到加权系数，利用短时傅里叶变换STFT得到每个有效距离门的时频分布图，再将所有有效距离门的时频分布图按照加权系数累加起来，最终得到加权后的联合距离时频分布图，具体为：
步骤3-1、根据每个有效距离门的能量大小得到加权系数ωi，由于非周期性的人体姿态的特征大多是由躯干动作决定的，为了加强躯干的多普勒信息，加权系数的选取满足：
Figure BDA0001311861380000022
其中Ei表示第i个距离门的能量,m表示有效距离门的个数。
步骤3-2、通过短时傅里叶变换STFT得到每个有效距离门的时频分布图。
步骤3-3、将所有有效距离门的时频图根据加权系数ωi累加起来，得到加权后的联合距离时频分布图:
Figure BDA0001311861380000031
其中Fi对应第i个距离门的时频分布图，Fd为加权后的联合距离时频分布图。
步骤4、选取能量门限，取加权后的联合距离时频分布图中每个时间点上大于能量门限的频率最大值点，将这些频率最大值点按照时间点连接，得到躯体的包络曲线。提取躯体包络曲线的参数作为特征，并按照对应的姿态对所提取的相应特征进行标记，建立多姿态的特征数据库D，具体为；
步骤4-1、选取能量门限b，取加权后的联合距离时频分布图中每个时间点上大于能量门限的频率最大值点，将这些频率最大值点按照时间点连接，得到躯体的包络曲线BL。
步骤4-2、提取躯体包络曲线BL的最大频率fmax；
步骤4-3、提取躯体包络曲线BL的最小频率fmin；
步骤4-4、滑窗提取不同时刻躯体包络曲线BL频率的平均值Torsomean；
步骤4-5、滑窗提取不同时刻躯体包络曲线BL频率的方差Torsovar。
步骤4-6、按照对应的姿态对所提取的相应特征进行标记，建立多姿态的特征数据库D；
步骤5、将步骤4得到的多姿态特征数据库D划分成两个互斥的集合，其中一个集合为训练集S，另一个为交叉检验集CV；每个集合中各个姿态的比例一致；
步骤6、使用训练集S通过训练监督型机器学习算法来初步建立不同姿态和特征参数之间的姿态识别映射模型M1。
步骤6-1、选取训练集S中的姿态数据，共有C种姿态，每种姿态各W包数据，共有u1＝C*W包数据。每包数据为由步骤4所得v1个特征组成的v1维向量，组成姿态识别u1*v1维特征矩阵输入机器学习算法中；
步骤6-2、从姿态识别u1*v1维特征矩阵中随机取一个样本放入采样矩阵中，经过u次随机采样操作得到u*v1维的采样矩阵，再对特征进行采样，每个样本都选取同样v个特征，重复T次，得T个u*v的采样矩阵，这里的对特征采样的步骤可以根据不同的机器学习算法进行取舍；
步骤6-3、基于每个采样矩阵训练出一个姿态识别基学习器，得到T个姿态识别基学习器，模型M1由这T个姿态识别基学习器组成，它采用投票法进行输出；这里的基学习器可以是决策树，具体构建方法为：
步骤6-3-1、遍历各个特征，计算各个特征的基尼指数，其公式为：
Figure BDA0001311861380000041
Figure BDA0001311861380000042
△Gini(A)＝Gini(a)-GiniA(a)
第一个公式中，数据集a为步骤6-2中u*v维的采样矩阵，Gini(a)表示的是数据集a的基尼指数，C代表姿态种类的个数，ri表示第i类样本在数据集a中的比例；第二个公式中，A是步骤4中得到的特征fmax、fmin、Torsomean和Torsovar，GiniA(a)表示的是按特征A划分后的基尼指数，k表示数据集a在特征A下划分成k个部分，aj表示划分后的第j个数据集；第三个公式中△Gini(A)表示的是按特征A划分前后的基尼指数增益值；这样选取基尼指数增益值最大的特征作为节点的分裂条件，生成新的节点；
步骤6-3-2、以步骤6-3-1生成的节点作为根节点，重复6-3-1的过程，选取新的姿态特征作为分裂条件，直至数据集a全部被划分完；
这里的基学习器也可以是多类别分类的SVM，具体构建方法为：
步骤6-3-A、若u*v的采样矩阵中包含C个类别材料的数据，对C个类别，做Q次划分，这里Q的取值必须大于类别数C，每次随机划分将一部分类别划分成正类，记为(+1)，另一部分类别划分为反类，记为(-1)，这里每一组对应的正类和负类即为一个训练集；共产生Q个训练集；
步骤6-3-B、将6-3-A生成的Q个训练集分别训练SVM，得到Q个SVM学习器，这样每一类的数据输入这Q个SVM学习器中得到相应的编码，组成C*Q的编码矩阵；
步骤6-3-C、利用Q个分类器分别对测试样本进行预测，预测标记组成一个编码，将这个编码与每个类别各自的编码进行比较，返回其中距离最小的类别作为最终预测的结果，这Q个SVM分类器组成了多类别分类的SVM学习器；
步骤7、使用交叉检验组CV对姿态识别映射模型M1进行进一步调参优化，得到姿态识别映射模型M。
步骤7-1、根据具体情况，确定材料识别基学习器的参数，包括决策数算法的分裂时参与判断的最大特征数max_feature、最大深度max_depth、分裂所需的最小样本数min_samples_split，或者是SVM算法的惩罚参数c、核函数参数gamma。
步骤7-2、对每个参数进行一次直线搜索，具体为，利用CV集对基学习器进行训练，计算模型性能与各个参数之间的梯度；
步骤7-3、根据模型性能与各个参数之间的梯度，选取梯度值最大的参数作为当前调优参数，利用梯度下降法对当前调优参数进行调优；
步骤7-4、重复步骤7-2，7-3，直到所有参数的梯度小于阈值threshold，阈值threshold取值为0.001；
步骤7-5、调整材料识别基学习器个数T，具体为：计算模型性能与T之间的梯度，利用梯度下降法对基学习器个数T进行调优。
步骤8、将步骤1中提取的特征输入到姿态识别映射模型M中，最终完成不同姿态分类。
本发明与现有技术相比，其显著优点为：1)本发明采用的超宽带雷达具有抗干扰能力强，距离分辨率高等优点；2)本发明提出的距离时间频率变换方法WRTFT，将距离和多普勒信息结合，通过加权的方式对躯干的多普勒进行增强，能够更好的消除不同个体之间姿态的差异，完成对常见的室内非周期人体姿态进行分类，分类准确性高。3)本发明能够有效的检测摔倒动作，能够对老人在家中所面临的安全问题进行提前预警和有效监控。
下面结合附图对本发明做进一步描述。
附图说明
图1为本发明实现室内人体姿态和识别方法的流程图。
图2为本发明机器学习结构图。
图3为本发明的实验场景图。
图4为基学习器是决策树的分类结果的混淆矩阵图。
图5为基学习器是SVM的分类结果的混淆矩阵图。
图6为加权后转身的联合距离时频分布图。
图7为加权后弯腰的联合距离时频分布图。
图8为加权后坐姿的联合距离时频分布图。
图9为加权后下蹲的联合距离时频分布图。
图10为加权后跳跃的联合距离时频分布图。
图11为加权后摔倒的联合距离时频分布图。
具体实施方式
结合附图，本发明的一种基于加权联合距离时频变换的室内人体姿态识别方法，包括以下步骤：
步骤1、采用超宽带雷达得到室内人体常见姿态的数据，将数据进行MTI滤波处理，消除室内背景和噪声干扰；所述雷达为脉冲体制的超宽带雷达，具体为：
雷达回波信号为：r(t,τ)，其中t代表慢时间，τ代表快时间，对其进行离散采样后得到：R[j,n]＝r(t＝jTs,τ＝nTf)，其中j＝[1,2,...,J]代表慢时采样的时间序号，n＝[1,2,,...,N]代表距离门的个数；Tf和Ts分别表示快时和慢时的采样时刻；
所述室内人体常见姿态为非周期瞬时姿态，包括：(1)转身，(2)弯腰，(3)坐姿，(4)下蹲，(5)跳跃，(6)摔倒。
步骤2、截取s秒滤波后包含人体姿态的数据，选取包含人体姿态特征的有效距离门；所述s的取值大于姿态持续的时间；
所述有效距离门的选取，具体为：
步骤2-1、截取s秒滤波后包含人体姿态的数据，s的取值大于姿态持续的时间；
步骤2-2、将数据中每个距离门的能量按从大到小进行排列，取有效的距离门个数满足下式：
Figure BDA0001311861380000071
式中，σ表示有效距离门的能量占总能量的百分比，a为所占百分比的取值门限，Ei表示第i个距离门的能量，m表示有效距离门的个数，En表示第n个距离门的能量，N表示所有距离门的个数。
步骤3、利用加权联合距离时频变换方法得到加权后的联合距离时频分布图，具体为：根据每个有效距离门的能量大小得到加权系数，利用短时傅里叶变换STFT得到每个有效距离门的时频分布图，再将所有有效距离门的时频分布图按照加权系数累加起来，最终得到加权后的联合距离时频分布图；
利用加权联合距离时频变换方法得到加权后的联合距离时频分布图，包括以下步骤：
步骤3-1、根据每个有效距离门的能量大小得到加权系数ωi，所述加权系数公式为：
Figure BDA0001311861380000072
其中，Ei表示第i个距离门的能量,m表示有效距离门的个数；
步骤3-2、通过短时傅里叶变换STFT得到每个有效距离门的时频分布图；
步骤3-3、将所有有效距离门的时频分布图根据加权系数ωi累加起来，得到加权后的联合距离时频分布图:
Figure BDA0001311861380000073
其中，Fi对应第i个距离门的时频分布图，Fd为加权后的联合距离时频分布图。
步骤4、选取能量门限，取加权后的联合距离时频分布图中每个时间点上大于能量门限的频率最大值点，将这些频率最大值点按照时间点连接，得到躯体的包络曲线；提取躯体包络曲线的参数作为特征，并按照对应的姿态对所提取的相应特征进行标记，建立多姿态的特征数据库D；所述躯体的包络曲线和特征的提取，具体为：
步骤4-1、选取能量门限b，取加权后的联合距离时频分布图中每个时间点上大于能量门限的频率最大值点，将这些频率最大值点按照时间点连接，得到躯体的包络曲线BL；
步骤4-2、提取躯体包络曲线BL的最大频率fmax；
步骤4-3、提取躯体包络曲线BL的最小频率fmin；
步骤4-4、滑窗提取不同时刻躯体包络曲线BL频率的平均值Torsomean；
步骤4-5、滑窗提取不同时刻躯体包络曲线BL频率的方差Torsovar；
步骤4-6、按照对应的姿态对所提取的相应特征进行标记，得到多姿态的特征数据库D。
步骤5、将步骤4得到的多姿态特征数据库D划分成两个互斥的集合，其中一个集合为训练集S，另一个为交叉检验集CV；每个集合中各个姿态的比例一致；
步骤6、使用训练集S通过训练监督型机器学习算法来初步建立不同姿态和特征参数之间的姿态识别映射模型M1；具体为：
步骤6-1、选取训练集S中的姿态数据，共有C种姿态，每种姿态各W包数据，共有u1＝C*W包数据；每包数据为由步骤4所得v1个特征组成的v1维向量，组成姿态识别u1*v1维特征矩阵输入机器学习算法中；
步骤6-2、从姿态识别u1*v1维特征矩阵中随机取一个样本放入采样矩阵中，经过u次随机采样操作得到u*v1维的采样矩阵，再对特征进行采样，每个样本都选取同样v个特征，重复T次，得T个u*v的采样矩阵；
步骤6-3、基于每个采样矩阵训练出一个姿态识别基学习器，得到T个姿态识别基学习器，之后由T个姿态识别基学习器构成模型M1，所述模型M1采用投票法进行输出。
所训练的姿态识别基学习器可以为决策树，具体构建方法为：
步骤6-3-1、遍历各个特征，计算各个特征的基尼指数，其公式为：
Figure BDA0001311861380000091
Figure BDA0001311861380000092
△Gini(A)＝Gini(a)-GiniA(a)
第一个公式中数据集a为步骤6-2中u*v维的采样矩阵，Gini(a)表示的是数据集a的基尼指数，C代表姿态种类的个数，ri表示第i类姿态样本在数据集a中的比例；第二个公式中，A是步骤4中得到的特征fmax、fmin、Torsomean和Torsovar，GiniA(a)表示的是按特征A划分后的基尼指数，k表示数据集a在特征A下划分成k个部分，aj表示划分后的第j个数据集；第三个公式中△Gini(A)表示的是按特征A划分前后的基尼指数增益值；这样选取基尼指数增益值最大的特征作为节点的分裂条件，生成新的节点；
步骤6-3-2、以步骤6-3-1生成的节点作为根节点，重复6-3-1的过程，选取新的姿态特征作为分裂条件，直至数据集a全部被划分完。
所训练的姿态识别基学习器可以为多类别分类的SVM，具体构建方法为：
步骤6-3-A、设u*v的采样矩阵中包含C个类别姿态的数据，对C个类别，做Q次划分，这里Q的取值必须大于类别数C，每次随机划分将一部分类别划分成正类，记为(+1)，另一部分类别划分为反类，记为(-1)，这里每一组对应的正类和负类即为一个训练集，共产生Q个训练集；
步骤6-3-B、将6-3-A生成的Q个训练集分别训练SVM，得到Q个SVM学习器，这样每一类的数据输入这Q个SVM学习器中得到相应的编码，组成C*Q的编码矩阵；
步骤6-3-C、利用Q个分类器分别对测试样本进行预测，预测标记组成一个编码，将这个编码与每个类别各自的编码进行比较，返回其中距离最小的类别作为最终预测的结果，这Q个SVM分类器组成了多类别分类的SVM学习器。
步骤7、使用交叉检验组CV对姿态识别映射模型M1进行调参优化，得到姿态识别映射模型M；具体为：
步骤7-1、确定姿态识别基学习器的参数，当姿态识别基学习器为决策树时，所述参数包括决策树分裂时参与判断的最大特征数max_feature、最大深度max_depth、分裂所需的最小样本数min_samples_split；当姿态识别基学习器为多类别分类的SVM时，所述参数包括SVM的惩罚参数c、核函数参数gamma；
步骤7-2、对每个参数进行一次直线搜索，具体为，利用CV集对基学习器进行训练，计算模型性能与各个参数之间的梯度；
步骤7-3、根据模型性能与各个参数之间的梯度，选取梯度值最大的参数作为当前调优参数，利用梯度下降法对当前调优参数进行调优；
步骤7-4、重复步骤7-2、步骤7-3，直到所有参数的梯度小于阈值threshold，这里的threshold为一个接近0的正数；
步骤7-5、调整材料识别基学习器个数T，具体为：计算模型性能与T之间的梯度，利用梯度下降法对基学习器个数T进行调整，得到最终的材料识别基学习器个数。
步骤8、将步骤4中提取的特征输入到姿态识别映射模型M中，最终完成不同姿态分类。
本发明采用的距离时间频率变换方法WRTFT，将距离和多普勒信息结合，通过加权的方式对躯干的多普勒进行增强，能够更好的消除不同个体之间姿态的差异，完成对常见的室内非周期人体姿态进行分类，分类准确性高。
下面结合实施例对本发明做进一步详细的描述。
实施例1
一种基于加权联合距离时频变换的室内人体姿态识别方法，包括以下步骤：
步骤1、在图3的实验的场景图中，实验测量的动作共有6个,(1)转身，(2)弯腰，(3)坐姿，(4)下蹲，(5)跳跃和(6)摔倒。实验对象共有4人，每个动作分别进行10次，最终得到240包数据。
步骤2、截取4秒滤波后包含人体姿态的数据，选取有效的距离门，这些距离门包含的能量占信号总能量的95％。
步骤3、根据每个有效距离门的能量大小得到了加权系数，利用短时傅里叶变换STFT得到每个有效距离门的时频分布图，再将所有有效距离门的时频分布图按照加权系数累加起来，得到加权后的联合距离时频分布图。
步骤4、选取能量门限b，将加权后的联合距离时频分布图中每个时间点上大于能量门限的每个频率最大值连接，得到不同姿态加权后的联合距离时频分布图的躯体包络曲线(本实验躯体包络的能量门限b取值为80)，得到图6、图7、图8、图9，图10和图11中不同姿态的联合距离时频分布图。，提取出特征参数fmax、fmin、Torsovar、Torsomean按照对应的姿态对所提取的相应特征进行标记，建立多姿态的特征数据库D。
步骤5、利用已有的姿态识别数据训练机器学习模型来确定不同姿态和特征参数之间的映射模型，具体步骤为图2所示。
多姿态的特征数据库D中的6种不同姿态的信号，每个姿态各15包数据作为训练集，通过步骤4中特征提取，组成姿态识别90*42特征矩阵输入机器学习算法中.从姿态识别特征矩阵中随机取一个样本放入采样矩阵中，经过次随机采样操作得到90*42，的采样矩阵，重复20次，得20个90*42的采样矩阵，然后基于每个采样矩阵去训练出一个姿态识别基学习器，这里基学习器使用的是决策树，也可以是SVM。得到20个姿态识别基学习器，利用投票法将20个学习器所得到的结果进行结合，当预测3出姿态种类收到同样的票数时，进一步考察基学习器在相关类别的置信度来确定最后的结果，得到姿态识别映射模型M1；
步骤6、多姿态的特征数据库D中的6种不同姿态的信号，每个姿态各5包数据(不包含训练集中的数据)作为交叉检验集CV，将CV中的数据输入姿态识别映射模型M1中通过其他基学习器参数修改T的值和进一步优化姿态识别映射模型的识别精度，得到姿态识别映射模型M，若使用的基学习器为决策树，则其中最大特征数max_feature为12，最大深度max_depth为None,分裂所需的最小样本数min_samples_split为2。若使用的基学习器为SVM,则SVM的惩罚参数c为0.1、核函数参数gamma为0.25。
步骤7、将实测的6种不同姿态，每种姿态各20包数据，提取特征参数，根据步骤6的映射模型，完成不同姿态分类，具体流程如图1所示。从图4基学习器是决策树的分类结果的混淆矩阵图可以看出，最后6种动作的分类成功率达到了91.7％。从图5基学习器是SVM的分类结果的混淆矩阵图可以看出，最后6种动作的分类成功率达到了90％。
本发明方法有效可行，性能可靠，可以准确地识别室内不同的人体姿态。

Claims (9)

1.一种基于加权联合距离时频变换的室内人体姿态识别方法，其特征在于，包括以下步骤：
步骤1、采用超宽带雷达得到室内人体常见姿态的数据，将数据进行MTI滤波处理，消除室内背景和噪声干扰；
步骤2、截取s秒滤波后包含人体姿态的数据，选取包含人体姿态特征的有效距离门；所述s的取值大于姿态持续的时间；
步骤3、利用加权联合距离时频变换方法得到加权后的联合距离时频分布图，具体为：根据每个有效距离门的能量大小得到加权系数，利用短时傅里叶变换STFT得到每个有效距离门的时频分布图，再将所有有效距离门的时频分布图按照加权系数累加起来，最终得到加权后的联合距离时频分布图；
步骤4、选取能量门限，取加权后的联合距离时频分布图中每个时间点上大于能量门限的频率最大值点，将这些频率最大值点按照时间点连接，得到躯体的包络曲线；提取躯体包络曲线的参数作为特征，并按照对应的姿态对所提取的相应特征进行标记，建立多姿态的特征数据库D；
步骤5、将步骤4得到的多姿态特征数据库D划分成两个互斥的集合，其中一个集合为训练集S，另一个为交叉检验集CV；每个集合中各个姿态的比例一致；
步骤6、使用训练集S通过训练监督型机器学习算法来初步建立不同姿态和特征参数之间的姿态识别映射模型M1；
步骤7、使用交叉检验组CV对姿态识别映射模型M1进行调参优化，得到姿态识别映射模型M；
步骤8、将步骤4中提取的特征输入到姿态识别映射模型M中，最终完成不同姿态分类。
2.根据权利要求1所述的基于加权联合距离时频变换的室内人体姿态识别方法，其特征在于，步骤1中所述雷达为脉冲体制的超宽带雷达，具体为：
雷达回波信号为：r(t,τ)，其中t代表慢时间，τ代表快时间，对其进行离散采样后得到：R[j,n]＝r(t＝jTs,τ＝nTf)，其中j＝[1,2,...,J]代表慢时采样的时间序号，n＝[1,2,...,N]代表距离门的个数；Tf和Ts分别表示快时和慢时的采样时刻；
所述室内人体常见姿态为非周期瞬时姿态，包括：(1)转身，(2)弯腰，(3)坐姿，(4)下蹲，(5)跳跃，(6)摔倒。
3.根据权利要求1所述的基于加权联合距离时频变换的室内人体姿态识别方法，其特征在于，步骤2中有效距离门的选取，具体为：
步骤2-1、截取s秒滤波后包含人体姿态的数据，s的取值大于姿态持续的时间；
步骤2-2、将数据中每个距离门的能量按从大到小进行排列，取有效的距离门个数满足下式：
Figure FDA0002230741440000021
式中，σ表示有效距离门的能量占总能量的百分比，a为所占百分比的取值门限，Ei表示第i个距离门的能量，m表示有效距离门的个数，En表示第n个距离门的能量，N表示所有距离门的个数。
4.根据权利要求1所述的基于加权联合距离时频变换的室内人体姿态识别方法，其特征在于，步骤3中利用加权联合距离时频变换方法得到加权后的联合距离时频分布图，包括以下步骤：
步骤3-1、根据每个有效距离门的能量大小得到加权系数ωi，所述加权系数公式为：
Figure FDA0002230741440000022
其中，Ei表示第i个距离门的能量,m表示有效距离门的个数；
步骤3-2、通过短时傅里叶变换STFT得到每个有效距离门的时频分布图；
步骤3-3、将所有有效距离门的时频分布图根据加权系数ωi累加起来，得到加权后的联合距离时频分布图：
Figure FDA0002230741440000031
其中，Fi对应第i个距离门的时频分布图，Fd为加权后的联合距离时频分布图。
5.根据权利要求1所述的基于加权联合距离时频变换的室内人体姿态识别方法，其特征在于，步骤4中躯体的包络曲线和特征的提取，具体为：
步骤4-1、选取能量门限b，取加权后的联合距离时频分布图中每个时间点上大于能量门限的频率最大值点，将这些频率最大值点按照时间点连接，得到躯体的包络曲线BL；
步骤4-2、提取躯体包络曲线BL的最大频率fmax；
步骤4-3、提取躯体包络曲线BL的最小频率fmin；
步骤4-4、滑窗提取不同时刻躯体包络曲线BL频率的平均值Torsomean；
步骤4-5、滑窗提取不同时刻躯体包络曲线BL频率的方差Torsovar；
步骤4-6、按照对应的姿态对所提取的相应特征进行标记，得到多姿态的特征数据库D。
6.根据权利要求1所述的基于加权联合距离时频变换的室内人体姿态识别方法，其特征在于，步骤6中使用训练集S通过训练监督型机器学习算法来初步建立不同姿态和特征参数之间的姿态识别映射模型M1，具体为：
步骤6-1、选取训练集S中的姿态数据，共有C种姿态，每种姿态各W包数据，共有u1＝C*W包数据；每包数据为由步骤4所得v1个特征组成的v1维向量，组成姿态识别u1*v1维特征矩阵输入机器学习算法中；
步骤6-2、从姿态识别u1*v1维特征矩阵中随机取一个样本放入采样矩阵中，经过u次随机采样操作得到u*v1维的采样矩阵，再对特征进行采样，每个样本都选取同样v个特征，重复T次，得T个u*v的采样矩阵；
步骤6-3、基于每个采样矩阵训练出一个姿态识别基学习器，得到T个姿态识别基学习器，之后由T个姿态识别基学习器构成模型M1，所述模型M1采用投票法进行输出。
7.根据权利要求6所述的基于加权联合距离时频变换的室内人体姿态识别方法，其特征在于，步骤6-3所训练的姿态识别基学习器为决策树，具体构建方法为：
步骤6-3-1、遍历各个特征，计算各个特征的基尼指数，其公式为：
Figure FDA0002230741440000041
Figure FDA0002230741440000042
△Gini(A)＝Gini(a)-GiniA(a)
第一个公式中数据集a为步骤6-2中u*v维的采样矩阵，Gini(a)表示的是数据集a的基尼指数，C代表姿态种类的个数，ri表示第i类姿态样本在数据集a中的比例；第二个公式中，A是步骤4中得到的特征fmax、fmin、Torsomean和Torsovar，GiniA(a)表示的是按特征A划分后的基尼指数，k表示数据集a在特征A下划分成k个部分，aj表示划分后的第j个数据集；第三个公式中△Gini(A)表示的是按特征A划分前后的基尼指数增益值；这样选取基尼指数增益值最大的特征作为节点的分裂条件，生成新的节点；
步骤6-3-2、以步骤6-3-1生成的节点作为根节点，重复6-3-1的过程，选取新的姿态特征作为分裂条件，直至数据集a全部被划分完。
8.根据权利要求6所述的基于加权联合距离时频变换的室内人体姿态识别方法，其特征在于，步骤6-3所训练的姿态识别基学习器为多类别分类的SVM，具体构建方法为：
步骤6-3-A、设u*v的采样矩阵中包含C个类别姿态的数据，对C个类别，做Q次划分，这里Q的取值必须大于类别数C，每次随机划分将一部分类别划分成正类，记为(+1)，另一部分类别划分为反类，记为(-1)，这里每一组对应的正类和负类即为一个训练集，共产生Q个训练集；
步骤6-3-B、将6-3-A生成的Q个训练集分别训练SVM，得到Q个SVM学习器，这样每一类的数据输入这Q个SVM学习器中得到相应的编码，组成C*Q的编码矩阵；
步骤6-3-C、利用Q个分类器分别对测试样本进行预测，预测标记组成一个编码，将这个编码与每个类别各自的编码进行比较，返回其中距离最小的类别作为最终预测的结果，这Q个SVM分类器组成了多类别分类的SVM学习器。
9.根据权利要求1所述的基于加权联合距离时频变换的室内人体姿态识别方法，其特征在于，步骤7使用交叉检验组CV对姿态识别映射模型M1进行调参优化，具体为：
步骤7-1、确定姿态识别基学习器的参数，当姿态识别基学习器为决策树时，所述参数包括决策树分裂时参与判断的最大特征数max_feature、最大深度max_depth、分裂所需的最小样本数min_samples_split；当姿态识别基学习器为多类别分类的SVM时，所述参数包括SVM的惩罚参数c、核函数参数gamma；
步骤7-2、对每个参数进行一次直线搜索，具体为，利用CV集对基学习器进行训练，计算模型性能与各个参数之间的梯度；
步骤7-3、根据模型性能与各个参数之间的梯度，选取梯度值最大的参数作为当前调优参数，利用梯度下降法对当前调优参数进行调优；
步骤7-4、重复步骤7-2、步骤7-3，直到所有参数的梯度小于阈值threshold，这里的threshold为一个接近0的正数；
步骤7-5、调整材料识别基学习器个数T，具体为：计算模型性能与T之间的梯度，利用梯度下降法对基学习器个数T进行调整，得到最终的材料识别基学习器个数。
CN201710409174.7A 2017-06-02 2017-06-02 基于加权联合距离时频变换的室内人体姿态识别方法 Active CN107290741B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710409174.7A CN107290741B (zh) 2017-06-02 2017-06-02 基于加权联合距离时频变换的室内人体姿态识别方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710409174.7A CN107290741B (zh) 2017-06-02 2017-06-02 基于加权联合距离时频变换的室内人体姿态识别方法

Publications (2)

Publication Number Publication Date
CN107290741A CN107290741A (zh) 2017-10-24
CN107290741B true CN107290741B (zh) 2020-04-10

Family

ID=60095174

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710409174.7A Active CN107290741B (zh) 2017-06-02 2017-06-02 基于加权联合距离时频变换的室内人体姿态识别方法

Country Status (1)

Country Link
CN (1) CN107290741B (zh)

Families Citing this family (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108614993A (zh) * 2018-03-23 2018-10-02 武汉雷博合创电子科技有限公司 一种基于雷达及模式识别的行人姿态识别方法及系统
CN108920993B (zh) * 2018-03-23 2022-08-16 武汉雷博合创电子科技有限公司 一种基于雷达及多网络融合的行人姿态识别方法及系统
CN108518814A (zh) * 2018-03-30 2018-09-11 广东美的制冷设备有限公司 空调器的控制方法、空调器和计算机可读存储介质
CN108694382B (zh) * 2018-05-14 2022-03-25 电子科技大学 一种基于超宽带雷达传感器的土壤pH分类方法
CN109375217B (zh) * 2018-11-22 2020-12-08 九牧厨卫股份有限公司 一种检测方法、检测装置、终端及检测系统
CN109993118B (zh) * 2019-03-30 2021-08-20 上海识装信息科技有限公司 一种动作的识别方法及其识别系统
CN110133610B (zh) * 2019-05-14 2020-12-15 浙江大学 基于时变距离-多普勒图的超宽带雷达动作识别方法
CN110286368B (zh) * 2019-07-10 2021-03-05 北京理工大学 一种基于超宽带雷达的老人跌倒检测方法
CN111241983B (zh) * 2020-01-07 2023-09-26 京东科技信息技术有限公司 一种姿势检测方法、装置、系统、电子设备及存储介质
WO2021174414A1 (zh) * 2020-03-03 2021-09-10 苏州七星天专利运营管理有限责任公司 微波识别方法及系统
CN112327288B (zh) * 2020-10-29 2023-07-25 深圳大学 雷达人体动作识别方法、装置、电子设备和存储介质
TWI774224B (zh) * 2021-02-03 2022-08-11 緯創資通股份有限公司 特徵強化與資料擴增方法及其動作偵測裝置
CN113823135B (zh) * 2021-09-30 2023-06-27 创泽智能机器人集团股份有限公司 一种基于机器人的辅助教学方法及设备

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102058411B (zh) * 2010-10-27 2013-05-08 中国人民解放军第四军医大学 一种多通道基于uwb雷达式生命探测仪
US9921657B2 (en) * 2014-03-28 2018-03-20 Intel Corporation Radar-based gesture recognition
US9465444B1 (en) * 2014-06-30 2016-10-11 Amazon Technologies, Inc. Object recognition for gesture tracking
CN106250854A (zh) * 2016-08-02 2016-12-21 清华大学 基于微多普勒特征和支持向量机的人体步态识别方法
CN106646457B (zh) * 2016-11-02 2023-06-23 南京慧尔视智能科技有限公司 基于微波的人员行为检测方法与装置
CN106709513A (zh) * 2016-12-10 2017-05-24 中泰证券股份有限公司 一种基于有监督机器学习的证券配资账户识别方法

Also Published As

Publication number Publication date
CN107290741A (zh) 2017-10-24

Similar Documents

Publication Publication Date Title
CN107290741B (zh) 基于加权联合距离时频变换的室内人体姿态识别方法
CN108520199B (zh) 基于雷达图像与生成对抗模型的人体动作开集识别方法
CN108564005B (zh) 一种基于卷积神经网络的人体跌倒辨识方法
Kim et al. Human activity classification based on micro-Doppler signatures using an artificial neural network
CN107358250B (zh) 基于双波段雷达微多普勒融合的人体步态识别方法及系统
EP3696566A1 (en) System and method for identification of an airborne object
CN101867699B (zh) 基于分块的非特定目标实时跟踪方法
CN110133610A (zh) 基于时变距离-多普勒图的超宽带雷达动作识别方法
CN105679313A (zh) 一种音频识别报警系统及方法
CN106250848B (zh) 一种基于多模型融合的单类水声目标识别方法
CN103559508B (zh) 一种基于连续型Adaboost视频车辆检测方法
CN106250854A (zh) 基于微多普勒特征和支持向量机的人体步态识别方法
CN111175718A (zh) 联合时频域的地面雷达自动目标识别方法及系统
CN105760825A (zh) 一种基于切比雪夫前向神经网络的手势识别系统和方法
CN112861813B (zh) 基于复值卷积神经网络的墙后人体行为识别方法
CN113033654A (zh) 基于WiFi信道状态信息的室内入侵检测方法及系统
Qiao et al. Human activity classification based on micro-Doppler signatures separation
CN105259540B (zh) 一种多站雷达抗有源欺骗式干扰的优化方法
CN113640768A (zh) 一种基于小波变换的低分辨雷达目标识别方法
CN116087943A (zh) 基于毫米波雷达的室内跌倒检测方法及系统
CN115547347A (zh) 基于多尺度时频特征提取的鲸类声信号识别方法与系统
Xie et al. Radar target detection using convolutional neutral network in clutter
CN112327286B (zh) 低复杂度下日常活动分类方法、装置、设备及存储介质
CN113341392B (zh) 一种基于多站雷达微多普勒运动测向的人体行为分类方法
CN116910690A (zh) 一种基于数据融合的目标分类系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant