CN110412566A - 一种基于多普勒雷达时频域特征的细粒度人体手臂运动识别方法 - Google Patents

一种基于多普勒雷达时频域特征的细粒度人体手臂运动识别方法 Download PDF

Info

Publication number
CN110412566A
CN110412566A CN201910660352.2A CN201910660352A CN110412566A CN 110412566 A CN110412566 A CN 110412566A CN 201910660352 A CN201910660352 A CN 201910660352A CN 110412566 A CN110412566 A CN 110412566A
Authority
CN
China
Prior art keywords
time
signal
doppler radar
frequency domain
fine granularity
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201910660352.2A
Other languages
English (en)
Inventor
於志文
张凯杰
王柱
郭斌
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Northwestern Polytechnical University
Northwest University of Technology
Original Assignee
Northwest University of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Northwest University of Technology filed Critical Northwest University of Technology
Priority to CN201910660352.2A priority Critical patent/CN110412566A/zh
Publication of CN110412566A publication Critical patent/CN110412566A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/881—Radar or analogous systems specially adapted for specific applications for robotics
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/02—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00
    • G01S7/41—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00 using analysis of echo signal for target characterisation; Target signature; Target cross-section

Landscapes

  • Engineering & Computer Science (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Physics & Mathematics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • General Physics & Mathematics (AREA)
  • Automation & Control Theory (AREA)
  • Robotics (AREA)
  • Electromagnetism (AREA)
  • Radar Systems Or Details Thereof (AREA)

Abstract

本发明提供一种基于多普勒雷达时频域特征的细粒度人体手臂运动识别方法，其特征在于：采用两个相同的微型多普勒雷达持续收集用户的手势运动信息；对采集雷达信号进行滤波处理；基于滤波后的雷达信号，采用双门限算法，对信号中有起伏波动的信号片段进行检测与提取；将经过滤波的两个雷达提取得到的动作信号进行短时傅里叶变换获得时频谱图；对时频谱图的二值化、边缘检测处理，提取出手势动作的时频谱特征；对时频谱线使用X方法分类，完成具体的手臂动作种类判断。不但识别动作种类，还分析动作细节，可提供更好更便捷的人机交互体验，能在智能家居、遥操作领域带来一定实际意义。

Description

一种基于多普勒雷达时频域特征的细粒度人体手臂运动识别 方法
技术领域
本发明涉及基于电磁波信号的人体行为感知领域，尤其涉及微型多普勒雷达对用户手臂运动识别、细粒度运动方向细节感知的方法。
背景技术
随着无线感知和物联网技术的发展，许多新型的人机交互技术被人们所利用。不同于计算机视觉的动作识别方法对环境光照有额外的要求，和使用可穿戴传感器感知动作的方法在整体动作识别上有更复杂的设备需求，使用无线设备的动作识别具有普适、易操作的优势。同时随着诸如智能手机等智能设备的发展，无线设备也深入到生活的方方面面，普及程度大幅增加。然而，在现有的方法中，可穿戴的视觉识别方法对环境光源依赖较大，Wi-Fi无线信号分布不稳定、易受干扰的特点使得很难应用到实际情况，RFID识别技术则需要给用户佩戴额外的设备，影响体验。此外，它们基本都是以识别动作种类为目的，很少有考虑到手势细节信息分析。手势运动中还有更多的细节可以挖掘，比如不同的抬手角度、挥手幅度等差异，而用户很可能希望以此来进行一些特殊人机交互。
发明内容
针对以上缺陷，本发明提供一种基于多普勒雷达时频域特征的细粒度人体手臂运动识别方法，能够准确识别人体手臂动作的细微动作。
本发明于多普勒雷达时频域特征的细粒度人体手臂运动识别方法的技术方案为：采用两个相同的微型多普勒雷达持续收集用户的手势运动信息并保存至上位主机；对采集雷达信号进行滤波处理；基于滤波后的雷达信号，采用双门限算法，对信号中有起伏波动的信号片段进行检测与提取；将经过滤波的两个雷达提取得到的动作信号进行短时傅里叶变换获得时频谱图；对时频谱图的二值化、边缘检测处理，提取出手势动作的时频谱特征，再根据多普勒效应原理将两雷达时频谱特征进行合成以消除运动角度对两雷达分布信号造成的幅度和频率降低的影响；对时频谱线使用X方法分类，完成具体的手臂动作种类判断。
进一步的，一种基于多普勒雷达时频域特征的细粒度人体手臂运动识别方法，所述两雷达时频谱特征的对比得出的动作的运动方向，体现为运动相对于正面雷达的夹角。
进一步的，一种基于多普勒雷达时频域特征的细粒度人体手臂运动识别方法，所述手臂动作种类包括：抬手、放下、推、拉、伸手、握拳、旋转、非手势信号。
进一步的，一种基于多普勒雷达时频域特征的细粒度人体手臂运动识别方法，所述识别结果若属于动作种类中的任意一个，则继续向后进行步骤；否则输出结果中止识别。
进一步的，一种基于多普勒雷达时频域特征的细粒度人体手臂运动识别方法，所述双门限算法中采用短时过门限率作为判断依据，在对信号分帧后计算每帧的短时过门限率，其计算公式为：
其中Ts代表信号门限，计算完成后将连续多帧信号在不中断超过宽容限度帧内短时过门限率和均超过Ts的信号段认为是动作信号。
进一步的，一种基于多普勒雷达时频域特征的细粒度人体手臂运动识别方法，所述X方法为根据多普勒雷达正交调制原理计算两正交信号I、Q的相位差且由于即可以通过相位差的一阶导数计算出实时的动作运动方向；进而使用动态时间规整算法(DTW)+邻近算法(kNN)方式进行手势分类。
进一步的，一种基于多普勒雷达时频域特征的细粒度人体手臂运动识别方法，所述动态时间规整算法(DTW)在原始算法的基础上进行了约束路径与拒绝错误信号的改进。
本发明的有益效果为：本发明为基于多普勒雷达时频域分析所提出来的感知人体手臂动作及其细节运动的新型技术，根据手臂运动时的雷达信号，利用多普勒雷达信号的时频域特征情况来分析动作的种类与细节信息。雷达信号具有噪声低、频带宽、损耗小的优点，可在相同环境中对用户的动作做出更精确、稳定的识别。使用微型多普勒雷达进行人体手臂动作的感知，不光识别动作种类，还分析动作细节，可提供更好更便捷的人机交互体验，能在智能家居、遥操作领域带来一定实际意义。
附图说明
图1为本发明的多普勒雷达时频域特征的细粒度人体手臂运动识别方法的流程图；
图2为本发明的多普勒雷达时频域特征的细粒度人体手臂运动识别方法的实验图；
图3为本发明的多普勒雷达时频域特征的细粒度人体手臂运动识别方法的特征时频谱线；
图4为本发明的多普勒雷达时频域特征的细粒度人体手臂运动识别方法的特征时频谱合成图；
图5为DTW算法选择使用抛物线作为匹配路径约束图。
具体实施方式
下面结合附图来进一步描述本发明的技术方案：
步骤1：如图2所示，将两个相同的24GHz微型多普勒雷达传感器放置在离地面约1.5米高的位置，通过USB数据线连接至信号采集器做信号同步处理；其中一个雷达放在用户正前方约1.5米的位置，另一个雷达放在用户正右方约1.5米的位置。雷达采样率为44100Hz，装置俯视示意图如图1所示。
步骤2：对采集到的雷达信号进行滤波处理，减少噪音对动作种类分析结论的干扰。因为考虑到需要最大限度过滤低频环境噪声，采用的是巴特沃斯高通滤波器。滤波器中各项参数设定推荐值为通带截止频率10Hz，阻带截止频率25Hz，边带区衰减1dB，截止区衰减80dB，采样率即雷达传感器的输出频率为44100Hz。
步骤3：基于步骤2的雷达信号，采用门限检测法通过对短时过门限率的判断检测动作信号的起始与中止端点。门限检测法首先对信号进行分帧，本发明中以0.1倍采样率为帧长，0.5倍采样率为帧移。之后计算每帧的短时过门限率和，其计算公式为
，其中Ts代表信号门限。计算完成后将连续多帧信号在不中断超过宽容限度帧内短时过门限率和均超过Ts的信号段认为是动作信号，该宽容限度为4个帧移长，主要是为了避免由于人运动的不稳定性导致的信号波动。另外由于多雷达在大角度运动时可能出现单一雷达漏检的情况，本发明采用任一雷达检测成功即判定手势动作出现的判别方法。
步骤4：将经过滤波的两个雷达各自提取得到的动作信号进行进行短时傅里叶变换获得时频谱图，然后将时频谱MinMaxScaler方法将获得的时频谱进行二值归一化处理，归一化得到的结果通过高斯半径2的高斯滤波器进行平滑处理，然后使用Canny算子做一阶差分计算边缘的方向与幅值，最后通过最大值抑制和双阈值检测方法获得细化的动作时频特征边缘，其中本发明中使用高阈值th0与低阈值thl的关系为th1＝0.3*th0。最终获得特征时频谱线如图3所示，图中保留了前后多余的信号以便观察。由于多普勒原理中速度与频移成正比即因此将两特征谱线按照向量相加获得一个动作的合成特征时频谱线。
步骤5：根据多普勒雷达正交调制原理，如图4所示设原始信号其中A为信号强度，fd为多普勒频移，代表由用户与雷达之间距离导致产生的初始相位。则可以根据计算得到用户运动速度v。同时，使用动态时间规整算法(DTW)+邻近算法(kNN)方法对特征时频谱线进行分类。DTW算法选择使用抛物线作为匹配路径约束，如图5所示，抛物线固定偏移为特征长度的十分之一。另外考虑到人在多个手势动作连续进行的过程中会产生一些突发的高频噪音，为了过滤掉这类错误动作，本发明额外对DTW在进行了拒绝域的改进。设定可接受阈值η＝max{DTW(M′，Mi)}，其中M为动作特征序列，M′为与其他样本距离最小的样本。M′的选择依据样本间距离选择。设样本间距离选择Ri最小的样本序列Mi为M′，再将其与其他所有样本距离的最大值作为DTW拒绝阈值。在DTW计算过程中，若当前动作特征序列Mk的Rk大于η，则算法拒绝该结果为此类型，判断此动作为无类型。
步骤6：若动作识别结果属于抬手、放下、推、拉中的任意一个，则继续进行步骤7分析动作的细节特征。若该动作属于伸、握、旋转类别，本发明将输出当前识别结果结束识别过程。
步骤7：将步骤4中两原始特征时频谱线中的多普勒频移取出，由于关系存在，即多普勒频移fd与速度v成正比，因此直接使用两个雷达同一时刻的多普勒频移fd的比值表示动作的运动角度即与身体正前方方向的夹角。由此，本发明实现了手臂运动的细节信息分析。

Claims (7)

1.一种基于多普勒雷达时频域特征的细粒度人体手臂运动识别方法，其特征在于：采用两个相同的微型多普勒雷达持续收集用户的手势运动信息并保存至上位主机；对采集雷达信号进行滤波处理；
基于滤波后的雷达信号，采用双门限算法，对信号中有起伏波动的信号片段进行检测与提取；
将经过滤波的两个雷达提取得到的动作信号进行短时傅里叶变换获得时频谱图；对时频谱图的二值化、边缘检测处理，提取出手势动作的时频谱特征；
根据多普勒效应原理将两雷达时频谱特征进行合成以消除运动角度对两雷达分布信号造成的幅度和频率降低的影响；
对时频谱线使用X方法分类，完成具体的手臂动作种类判断。
2.根据权利要求1所述的一种基于多普勒雷达时频域特征的细粒度人体手臂运动识别方法，其特征在于：所述两雷达时频谱特征的对比得出的动作的运动方向，体现为运动相对于正面雷达的夹角。
3.根据权利要求1所述的一种基于多普勒雷达时频域特征的细粒度人体手臂运动识别方法，其特征在于：所述手臂动作种类包括：抬手、放下、推、拉、伸手、握拳、旋转、非手势信号。
4.根据权利要求1-3任一所述的一种基于多普勒雷达时频域特征的细粒度人体手臂运动识别方法，其特征在于：所述识别结果若属于动作种类中的任意一个，则继续向后进行步骤；否则输出结果中止识别。
5.根据权利要求1所述的一种基于多普勒雷达时频域特征的细粒度人体手臂运动识别方法，其特征在于：所述双门限算法中采用短时过门限率作为判断依据，在对信号分帧后计算每帧的短时过门限率，其计算公式为：
其中Ts代表信号门限，计算完成后将连续多帧信号在不中断超过宽容限度帧内短时过门限率和均超过Ts的信号段认为是动作信号。
6.根据权利要求1所述的一种基于多普勒雷达时频域特征的细粒度人体手臂运动识别方法，其特征在于：所述X方法为根据多普勒雷达正交调制原理计算两正交信号I、Q的相位差且由于即可以通过相位差的一阶导数计算出实时的动作运动方向；进而使用动态时间规整算法(DTW)+邻近算法(kNN)方式进行手势分类。
7.根据权利要求6所述的一种基于多普勒雷达时频域特征的细粒度人体手臂运动识别方法，其特征在于：所述动态时间规整算法(DTW)在原始算法的基础上进行了约束路径与拒绝错误信号的改进。
CN201910660352.2A 2019-07-22 2019-07-22 一种基于多普勒雷达时频域特征的细粒度人体手臂运动识别方法 Pending CN110412566A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910660352.2A CN110412566A (zh) 2019-07-22 2019-07-22 一种基于多普勒雷达时频域特征的细粒度人体手臂运动识别方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910660352.2A CN110412566A (zh) 2019-07-22 2019-07-22 一种基于多普勒雷达时频域特征的细粒度人体手臂运动识别方法

Publications (1)

Publication Number Publication Date
CN110412566A true CN110412566A (zh) 2019-11-05

Family

ID=68362294

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910660352.2A Pending CN110412566A (zh) 2019-07-22 2019-07-22 一种基于多普勒雷达时频域特征的细粒度人体手臂运动识别方法

Country Status (1)

Country Link
CN (1) CN110412566A (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110974641A (zh) * 2019-12-24 2020-04-10 中南民族大学 一种融合机器学习与物联网技术的盲人智能手杖系统
CN111693990A (zh) * 2020-06-09 2020-09-22 南京工业职业技术学院 一种基于24GHz雷达的简易手势识别方法
CN111753678A (zh) * 2020-06-10 2020-10-09 西北工业大学 基于超声波的多设备协同步态感知与身份识别方法
CN111813222A (zh) * 2020-07-09 2020-10-23 电子科技大学 一种基于太赫兹雷达的精细动态手势识别方法
CN112363160A (zh) * 2020-10-12 2021-02-12 山东省科学院自动化研究所 一种基于宽带式信号的卧床跌落检测方法、介质、设备及装置

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102011075725A1 (de) * 2011-05-12 2012-11-15 Robert Bosch Gmbh Verfahren zum Erkennen von Gesten
CN107633227A (zh) * 2017-09-15 2018-01-26 华中科技大学 一种基于csi的细粒度手势识别方法和系统
CN109975797A (zh) * 2019-04-10 2019-07-05 西北工业大学 一种基于多普勒雷达信号的手臂运动细节感知方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102011075725A1 (de) * 2011-05-12 2012-11-15 Robert Bosch Gmbh Verfahren zum Erkennen von Gesten
CN107633227A (zh) * 2017-09-15 2018-01-26 华中科技大学 一种基于csi的细粒度手势识别方法和系统
CN109975797A (zh) * 2019-04-10 2019-07-05 西北工业大学 一种基于多普勒雷达信号的手臂运动细节感知方法

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110974641A (zh) * 2019-12-24 2020-04-10 中南民族大学 一种融合机器学习与物联网技术的盲人智能手杖系统
CN111693990A (zh) * 2020-06-09 2020-09-22 南京工业职业技术学院 一种基于24GHz雷达的简易手势识别方法
CN111753678A (zh) * 2020-06-10 2020-10-09 西北工业大学 基于超声波的多设备协同步态感知与身份识别方法
CN111813222A (zh) * 2020-07-09 2020-10-23 电子科技大学 一种基于太赫兹雷达的精细动态手势识别方法
CN111813222B (zh) * 2020-07-09 2022-03-29 电子科技大学 一种基于太赫兹雷达的精细动态手势识别方法
CN112363160A (zh) * 2020-10-12 2021-02-12 山东省科学院自动化研究所 一种基于宽带式信号的卧床跌落检测方法、介质、设备及装置
CN112363160B (zh) * 2020-10-12 2022-06-24 山东省科学院自动化研究所 一种基于宽带式信号的卧床跌落检测方法、介质、设备及装置

Similar Documents

Publication Publication Date Title
CN110412566A (zh) 一种基于多普勒雷达时频域特征的细粒度人体手臂运动识别方法
CN108371545B (zh) 一种基于多普勒雷达的人体手臂动作感知方法
CN109446942A (zh) 目标跟踪方法、装置和系统
CN105844216B (zh) 一种利用WiFi信号识别手写字母的检测与匹配机制
CN111399642B (zh) 手势的识别方法、装置、移动终端和存储介质
CN106919958B (zh) 一种基于智能手表的人体手指动作识别方法
US8619063B2 (en) Method for determining a touch event and touch sensitive device
CN105807935B (zh) 一种基于WiFi的手势控制人机交互系统
CN110069199B (zh) 一种基于智能手表的皮肤式手指手势识别方法
CN113609976B (zh) 一种基于WiFi设备的方向敏感多手势识别系统及方法
CN109975797A (zh) 一种基于多普勒雷达信号的手臂运动细节感知方法
WO2016025713A1 (en) Three-dimensional hand tracking using depth sequences
WO2009115799A1 (en) Object and movement detection
CN105447506B (zh) 一种基于区间分布概率特征的手势识别方法
CN110059612A (zh) 一种基于信道状态信息的位置无关的手势识别方法及系统
CN108196668A (zh) 一种便携式手势识别系统及方法
CN104517100A (zh) 手势预判方法和系统
Park et al. Hand detection and tracking using depth and color information
CN104680142B (zh) 一种基于特征点集分割和rst不变特征的四联指比对方法
Pan et al. Dynamic hand gesture detection and recognition with WiFi signal based on 1d-CNN
CN113064483A (zh) 一种手势识别方法以及相关装置
Zhang et al. RaCon: A gesture recognition approach via Doppler radar for intelligent human-robot interaction
CN113051972A (zh) 一种基于WiFi的手势识别系统
CN108898062B (zh) 一种基于改进的信号片段提取算法的手部动作识别方法
Qin et al. WiASL: American sign language writing recognition system using commercial WiFi devices

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20191105