CN113030936A - 一种基于微多普勒特征的手势识别方法及系统 - Google Patents

一种基于微多普勒特征的手势识别方法及系统 Download PDF

Info

Publication number
CN113030936A
CN113030936A CN202110315073.XA CN202110315073A CN113030936A CN 113030936 A CN113030936 A CN 113030936A CN 202110315073 A CN202110315073 A CN 202110315073A CN 113030936 A CN113030936 A CN 113030936A
Authority
CN
China
Prior art keywords
doppler
gesture
command
spectrum
frequency
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110315073.XA
Other languages
English (en)
Other versions
CN113030936B (zh
Inventor
朱宇涛
陈东
谭礼晋
张志�
余博
时鸽
李娜
王日冬
杨丽萍
李超
姚梁希
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Pla 93114
Original Assignee
Pla 93114
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Pla 93114 filed Critical Pla 93114
Priority to CN202110315073.XA priority Critical patent/CN113030936B/zh
Publication of CN113030936A publication Critical patent/CN113030936A/zh
Application granted granted Critical
Publication of CN113030936B publication Critical patent/CN113030936B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/02Systems using reflection of radio waves, e.g. primary radar systems; Analogous systems
    • G01S13/50Systems of measurement based on relative movement of target
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/21Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/24Classification techniques
    • G06F18/243Classification techniques relating to the number of classes
    • G06F18/24323Tree-organised classifiers
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20Movements or behaviour, e.g. gesture recognition
    • G06V40/28Recognition of hand or arm movements, e.g. recognition of deaf sign language

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Social Psychology (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Psychiatry (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • User Interface Of Digital Computer (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及一种基于微多普勒特征的手势识别方法及系统,方法包括:采用穿墙雷达观测被障碍物遮挡的指挥手势,得到雷达回波信号;所述障碍物包括墙体;对雷达回波信号进行多普勒谱与短时傅里叶变换时频谱分析,提取由障碍物遮挡指挥手势所引起的多维微多普勒特征;建立由历史观测雷达回波信号中提取的多维微多普勒特征和对应的指挥手势组成的训练集,对分类器进行训练;将实时提取的障碍物遮挡的指挥手势引起的多维微多普勒特征输入训练好的分类器进行识别,确定被遮挡的指挥手势。本发明可准确识别障碍物后的单兵指挥手势,有效为行动决策提供必要信息,提升效率。

Description

一种基于微多普勒特征的手势识别方法及系统
技术领域
本发明涉及雷达技术领域,尤其一种基于微多普勒特征的雷达手势识别方法及系统。
背景技术
雷达的微多普勒特征是指在目标运动时产生的主多普勒分量之外观察到的微运动现象。近年来,目标微动特性分析引起学术界及工程界广泛关注及研究。目标微运动产生的微多普勒特征包含了目标的精细结构和运动细节等信息,可以从该信号中提取有用信息进行识别。
目前,对于目标微运动的研究多建立在使用毫米波雷达进行直接的微动作观测,得到相应的目标回波,进而进行相应的动作识别。但当在雷达与目标之间存在障碍物时,毫米波雷达的穿透能力较差,则无法完成对有用信息的提取和识别。
但在,城市反恐或其他应用场景下,当必须采用手势指挥时,由于不可视的复杂建筑环境,使指挥手势无法被发现,从而影响相关人员对决策的必要信息的及时掌握,使指挥效率降低的问题。
因此,需要一种可以在障碍物遮挡情况下,应用穿墙透视感知技术进行指挥手势识别的技术,提高复杂条件下的指挥效率。
发明内容
鉴于上述的分析,本发明旨在提供一种基于微多普勒特征的雷达手势识别方法及系统,解决障碍物遮挡下的指挥手势识别的问题。
本发明公开了一种基于微多普勒特征的手势识别方法,包括:
采用穿墙雷达观测被障碍物遮挡的指挥手势,得到雷达回波信号;所述障碍物包括墙体;
对雷达回波信号进行多普勒谱与短时傅里叶变换时频谱分析,提取由障碍物遮挡指挥手势所引起的多维微多普勒特征;
建立由历史观测雷达回波信号中提取的多维微多普勒特征和对应的指挥手势组成的训练集,对分类器进行训练;
将实时提取的障碍物遮挡的指挥手势引起的多维微多普勒特征输入训练好的分类器进行识别,确定被遮挡的指挥手势。
进一步地,所述指挥手势包括四种单兵指挥手势:
横向纵队:手臂作握拳状,水平横向伸出手臂;
单纵队形:举起手臂,屈曲手肘,手掌垂直,前后作劈砍动作;
双纵队形:手肘屈曲,手举起至头顶高度,并作握拳状,食指和中指伸出作钩状前后摆动;
V字队形:作握拳状,伸直手臂和身体成一定角度,然后摆动至后方。
进一步地,所述多维微多普勒特征包括六维微多普勒特征;其中,
第一维特征表征由指挥手势引起的频域能量散布;
第二维特征表征由指挥手势引起的调制谱能量;
第三维特征表征由指挥手势引起的多普勒谱峰值;
第四维特征表征由指挥手势引起的总频率宽度;
第五维特征表征由指挥手势引起的频谱峰值周期;
第六维特征表征由指挥手势引起的多普勒频差。
进一步地,所述第一维特征为多普勒谱的波形熵;所述波形熵为雷达回波信号多普勒谱各个分量幅度的概率分布;
所述第二维特征为多普勒谱的差分取模求和;所述差分取模求和表示雷达回波信号多普勒谱各个分量幅度的相对变化关系;
所述第三维特征为短时傅里叶变换时频谱的时频熵;所述时频熵为雷达回波信号短时傅里叶变换时频谱中微多普勒调制谱宽度范围内能量的分布程度;
所述第四维特征为短时傅里叶变换时频谱的主分量带宽;所述主分量带宽为雷达回波信号短时傅里叶变换时频谱中最高和最低多普勒频率之间的总频率范围;
所述第五维特征为短时傅里叶变换时频谱的平均周期;所述平均周期为雷达回波信号短时傅里叶变换时频谱中微多普勒信号的每个正峰值之间时间差的平均值;
所述第六维特征为短时傅里叶变换时频谱的多普勒偏移;所述多普勒偏移为雷达回波信号短时傅里叶变换时频谱中最高和最低多普勒频率之间的差值。
进一步地,所述分类器为随机森林分类器。
进一步地,所述随机森林分类器的训练过程包括:
对雷达历史观测的不同人员的四种单兵手势的回波数据进行多维微多普勒特征提取和手势标注,形成训练样本集D;
对训练样本集D进行bootstrap采样,形成T个训练样本采样集;所述Bootstrap为自助采样法;T为训练样本采样集个数,取值为正整数;
第t个训练样本采样集训练第t个决策树,训练样本采样集与决策树一一对应,训练后的各个决策树作为基分类器共同构成随机森林组合分类器,1≤t≤T。
进一步地,所述穿墙雷达工作频率为1.6G-2.2GHz,单周期内连续发射300个步进脉冲,持续时间30ms。
本发明还公开了一种根据上述手势识别方法的手势识别系统,包括穿墙雷达、多维微多普勒特征提取模块和分类器;
所述穿墙雷达,用于观测被包括墙体在内的障碍物遮挡的指挥手势,得到雷达回波信号;
所述多维微多普勒特征提取模块,用于对雷达回波信号进行多普勒谱与短时傅里叶变换时频谱分析,提取由障碍物遮挡的指挥手势引起的多维微多普勒特征;
所述分类器,用于对实时提取的由障碍物遮挡的指挥手势引起的多维微多普勒特征进行识别,确定被遮挡的指挥手势;
所述分类器通过从历史观测雷达回波信号中提取的多维微多普勒特征组成的训练集进行训练得到。
进一步地,所述指挥手势包括四种单兵手势:
横向纵队:手臂作握拳状,水平横向伸出手臂;
单纵队形:举起手臂,屈曲手肘,手掌垂直,前后作劈砍动作;
双纵队形:手肘屈曲,手举起至头顶高度,并作握拳状,食指和中指伸出作钩状前后摆动;
V字队形:作握拳状,伸直手臂和身体成一定角度,然后摆动至后方。
进一步地,所述多维微多普勒特征提取模块包括第一维特征提取模块、第二维特征提取模块、第三维特征提取模块、第四维特征提取模块、第五维特征提取模块和第六维特征提取模块;
第一维特征提取模块用于提取由指挥手势引起的频域能量散布特征;
第二维特征提取模块用于提取由指挥手势引起的调制谱能量的特征;
第三维特征提取模块用于提取由指挥手势引起的多普勒谱峰值的特征;
第四维特征提取模块用于提取由指挥手势引起的总频率宽度的特征;
第五维特征提取模块用于提取由指挥手势引起的频谱峰值周期的特征;
第六维特征提取模块用于提取由指挥手势引起的多普勒频差的特征。
本发明至少可实现以下有益效果之一:
本发明通过对穿透障碍物的雷达回波信号的多普勒谱与短时傅里叶变换时频谱的数据分析,得到与不同指挥手势动作对应的微多普勒特征,并基于随机森林分类器对多维微多普勒特征联合进行手势分类识别,得到理想的手势识别效果,为行动决策提供必要信息,提升效率。
附图说明
附图仅用于示出具体实施例的目的,而并不认为是对本发明的限制,在整个附图中,相同的参考符号表示相同的部件。
图1为发明本实施例的手势识别方法流程图;
图2为发明本实施例的四种单兵手势的一维时间距离像比对图;
图3为发明本实施例的四种单兵手势单周期距离像比对图;
图4为发明本实施例的四种单兵手势的多普勒谱比对图;
图5为发明本实施例的四种单兵手势短时傅里叶变换(STFT)时频谱比对图;
图6为发明本实施例的手势识别系统组成原理示意图。
具体实施方式
下面结合附图来具体描述本发明的优选实施例,其中,附图构成本申请一部分,并与本发明的实施例一起用于阐释本发明的原理。
本实施例公开了一种基于微多普勒特征的手势识别方法,如图1所示,包括以下步骤:
步骤S1、采用穿墙雷达观测被包括墙体在内的障碍物遮挡的指挥手势,得到雷达回波信号;
步骤S2、对雷达回波信号进行多普勒谱与短时傅里叶变换时频谱分析,提取由障碍物遮挡的指挥手势引起的多维微多普勒特征;
步骤S3、建立从历史观测雷达回波信号中提取的多维微多普勒特征组成的训练集对分类器进行训练;
步骤S4、将实时提取的障碍物遮挡的指挥手势引起的多维微多普勒特征输入训练好的分类器进行识别,确定被遮挡的指挥手势。
具体的,在步骤S1中,由于本实施例的应用场景为对包括墙体在内的障碍物遮挡的指挥手势进行观测和识别,因此目前应用于人体动作识别的毫米波雷达则无法实现对被障碍物遮挡的人体动作的识别。
并且,出于本实施例可应用与城市反恐等领域,其识别的指挥手势具体包括以下四种单兵手势:
横向纵队:手臂作握拳状,水平横向伸出手臂;
单纵队形:举起手臂,屈曲手肘,手掌垂直,前后作劈砍动作;
双纵队形:手肘屈曲,手举起至头顶高度,并作握拳状,食指和中指伸出作钩状前后摆动;
V字队形:作握拳状,伸直手臂和身体成一定角度,然后摆动至后方。
因此,本实施例构建的穿墙雷达对被障碍物遮挡的四种单兵手势进行观测,采用较低的脉冲重复频率,使得在雷达回波信号中,所有人的微多普勒都包含在明确的多普勒区域内;以记录和识别较为精细和缓慢的手势动作。
具体的,穿墙雷达的频率为1.6G-2.2GHz,为分米波雷达,对障碍物的穿透性更好;
穿墙雷达的单周期内连续发射300个步进脉冲,持续时间30ms,纵向距离分辨率可达25cm;脉冲重复频率较低,使得在雷达回波信号中,所有人的微多普勒都包含在明确的多普勒区域内。
图2给出了四种单兵手势的一维时间距离像比对图;图3给出了四种单兵手势单周期距离像比对图(100个周期对消后的距离像);
通过图2和图3的对比图观察得到,纵像距离上看,
横向纵队手势,手臂动作时横向的,但在纵像距离上没有扩展,目标距离像尺寸居中;
单纵队与V字队手势,手臂有前后幅度,目标距离像尺寸较大;
双纵队手势仅手部动作,幅度范围小,所得目标距离像尺寸最小。
本实施例中,步骤S2中通过对雷达回波信号进行多普勒谱与短时傅里叶变换时频谱分析以提取由障碍物遮挡的指挥手势引起的多维微多普勒特征。
具体的,图4给出了四种单兵手势的多普勒谱比对图;
从四种手势动作的多普勒谱分析可知,横向纵队和双纵队手势的频谱能量分布较另外两种手势集中一些;单纵队手势的手掌垂直前后作劈砍动作,很明显体现在正负频率两个峰值;V字队形手势的朝后方摆动动作,使得目标频谱存在一定的不对称性,能量分布朝正频率偏移。
图5给出了四种单兵手势短时傅里叶变换(STFT)时频谱比对图;
而从四种手势动作的STFT时频谱分析,单纵队和V字队形手势呈现明显的周期性,而双纵队手势周期性最不明显;横向纵队手势,因是横向手臂速度,在雷达视线方向无法观测到,因此主分量带宽最小;横向纵队和双纵队手势的时频谱能量分布,与多普勒谱一致,较另外两种手势集中一些。
对四种指挥手势的雷达回波信号进行多普勒谱与短时傅里叶变换时频谱分析。
通过对一维距离像,多普勒域及STFT时频域三个维度所得数据分析中,本实施例从多种微多普勒特征选取六维多普勒特征,用于表征四种典型指挥手势的微多普勒特征,用于对四种典型指挥手势进行识别,具体包括:
1)第一维特征为表征指挥手势引起的频域能量散布的特征;
具体的,所述第一维特征为多普勒谱波形熵,所述多普勒谱波形熵为雷达回波信号多普勒谱各个分量幅度的概率分布;表征频域能量的散布程度,能量越集中,熵值越小。四种典型指挥手势在多普勒谱波形熵上存在区别,通过多普勒谱波形熵可对四种典型指挥手势实现一定概率的区分。
更具体的,雷达回波信号多普勒谱中目标幅度归一化后的多普勒谱为U=(U1,U2,…,Un,…,UN),Un代表第n个频点上的幅度值,n=1,…,N;则Un在目标多普勒谱中出现的概率pn为:
Figure BDA0002990852710000081
由此,得到指挥手势引起的多普勒谱波形熵为:
Figure BDA0002990852710000082
2)第二维特征为表征指挥手势引起的调制谱能量的特征;
具体的,所述第二维特征为多普勒谱差分取模求和;即,雷达回波信号多普勒谱中各个分量幅度的相对变化关系;当各分量之间存在较大变化时,差分取模求和的结果就会相应增大。各个多普勒频率成分对用的峰值可视为幅度变化较大的情况,多普勒谱差分取模求和可反应指挥手势引起的多普勒谱中峰值的大小和数量信息;通过多普勒谱差分取模求和可对四种典型指挥手势实现一定概率的区分。
更具体的,多普勒谱差分取模求和fea2为:
Figure BDA0002990852710000091
U=(U1,U2,...,Un,…,UN),为雷达回波信号多普勒谱中目标幅度归一化后的多普勒谱,Un代表第n个频点上的幅度值,n=1,…,N;
3)第三维特征为表征指挥手势引起的多普勒谱峰值的特征;
具体的,所述第三维特征为短时傅里叶变换时频谱的时频熵:所述时频熵为短时傅里叶变换时频谱中微多普勒调制谱宽度范围内能量的分布程度。通过时频熵可对四种典型指挥手势实现一定概率的区分。
更具体的,雷达回波信号短时傅里叶变换时频谱中目标幅度归一化后的多普勒谱值为Y=(Y1,Y2,…,Ym,…,YM);Ym代表第m个频率分量fm的频谱值,m=1,…,M;
则Ym在短时傅里叶变换时频谱中出现的概率pm为:
Figure BDA0002990852710000092
由此得到短时傅里叶变换时频谱时频熵为:
Figure BDA0002990852710000093
4)第四维特征为表征指挥手势引起的总频率宽度的特征;
具体的,所述第四维特征为短时傅里叶变换时频谱的主分量带宽;所述主分量带宽为雷达回波信号短时傅里叶变换时频谱中最高和最低多普勒频率之间的总频率范围;即,由于手臂摆动而出现短时傅里叶变换时频谱的正峰值和负峰值。所述主分量带宽指示微多普勒特征的总频率宽度,可以指示手势动作摆动的大小幅度。四种典型指挥手势动作摆动不同,通过主分量带宽可对四种典型指挥手势实现一定概率的区分。
更具体的,主分量带宽fea4:
fea4=fupper-flower
fupper为时频谱中最高多普勒频率,flower为时频谱中最低多普勒频率。
5)第五维特征为表征指挥手势引起的频谱峰值周期的特征;
具体的,所述第五维特征为短时傅里叶变换时频谱的平均周期;所述平均周期为雷达回波信号短时傅里叶变换时频谱中微多普勒信号的每个正峰值之间时间差的平均值;所述平均周期用于表述手势动作的速度。四种典型指挥手势动作的速度不同,通过平均周期可对四种典型指挥手势实现一定概率的区分。
更具体的,平均周期fea5:
Figure BDA0002990852710000101
其中,Tk为短时傅里叶变换时频谱中第k个相邻两个正峰值时间差;K为正峰值个数减1值,即相邻正峰值的总数。
6)第六维特征为表征指挥手势引起的多普勒频差的特征。
具体的,所述第六维特征为短时傅里叶变换时频谱的多普勒偏移;所述多普勒偏移为雷达回波信号短时傅里叶变换时频谱中最高和最低多普勒频率之间的差值。所述多普勒偏移用于表述手势动作中的运动不对称性。四种典型指挥手势动作的运动不对称性不同,特别是V字队形手势的朝后方摆动动作,能量分布存在朝正频率偏移特性;通过多普勒偏移可对四种典型指挥手势实现一定概率的区分。
更具体的,多普勒偏移fea6:
Figure BDA0002990852710000111
其中,fp为时频谱中正频率峰值,fn为负频率峰值。
通过实际测试,上述六维特征作为单一特征,均可对四种典型指挥手势实现一定概率的区分,但重叠部分也较多,仅仅利用单个特征提供不了足够好的分类性能,仍然存在很大的识别误差。因此,在本实施例中,采用上述六维特征作为联合特征输入分类器中进行识别,以提高识别的准确性。
具体的,本实施例中步骤S3的分类器随机森林分类器。
所述随机森林分类器的训练过程包括:
1)对雷达历史观测的不同人员的四种单兵手势的回波数据进行多维微多普勒特征提取和手势标注,形成训练样本集D;
具体的,本实施例的训练样本集采用多个不同身高、体重、性别的人员受试者分别通过步骤S1录取四种手势雷达回波数据,共产生600多份雷达数据。采用步骤S2的方法对每份雷达数据,进行多普勒谱与短时傅里叶变换时频谱分析提取四种手势引起的多维微多普勒特征。并将对应手势的多维微多普勒特征进行手势标注,建立训练样本集D;
D={fea1i,fea2i,fea3i,fea4i,fea5i,fea6i,rj};i=1,…,600;j=1,…,4。
r1为单兵手势为横向纵队;r2为单兵手势为单纵队形;r3为单兵手势为双纵队形;r4为单兵手势为V字队形。
2)对训练样本集D进行bootstrap采样,形成T个训练样本采样集;所述Bootstrap为自助采样法;T为训练样本采样集个数,取值为正整数;
具体的,对训练样本集D进行Bootstrap抽样,生成训练样本集Dt,每个样本集构造一个对应的决策树。Bootstrap抽样是指从原样本集中有放回地随机抽取与原样本集数量相同大小的训练样本集。
3)第t个训练样本采样集训练第t个决策树,训练样本采样集与决策树一一对应,训练后的各个决策树作为基分类器共同构成随机森林组合分类器,1≤t≤T。
具体的,依据Gini指数,从六个特征中选择最佳分裂特征作为分裂节点。Gini指数的计算方法如下。
Gini=p1(1-p1)+p2(1-p2)+p3(1-p3)+p4(1-p4)
其中,p1、p2、p3、p4为样本属于四种单兵手势横向纵队、单纵队形、双纵队形和V字队形的概率。节点纯度越低,Gini值越大。
如果样本集Dt根据某个特征分割为Dt1和Dt2两个部分,那么在所述特征的条件下,集合Dt的Gini指数为:
Figure BDA0002990852710000121
按照所述基尼系数针对决策树对象的树节点进行分裂处理,直至建立L个决策树,树的集合为{ht}。
基尼指数Gini表示数据集合的不确定性,基尼指数Gini的值越大,样本属于某个分类的不确定性也就越大。因此,最好的选取特征划分就是使得数据集合的基尼指数Gini最小的划分。
4)通过决策树集合投票决定待测样本类别。
Figure BDA0002990852710000122
其中,H(f)随机森林的分类结果,ht(f)是单个决策树分类结果,R为分类目标,I(·)为示性函数。
更具体的,对训练好的模型进行测试的测试样本集可选取从训练样本集D中随机抽取一定数量的样本作为测试样本集,用于测试训练好的模型。例如随机抽取20%训练样本;
可选的,对训练好的模型进行测试的测试样本集可选取对其他人员测试的历史数据样本。
最终将实时提取的障碍物遮挡的指挥手势引起的六维微多普勒特征输入训练好的分类器进行识别,相对于单个特征有了明显提高,识别正确率达到85~90%。为行动决策提供必要信息,提升效率。
本实施例还公开了一种根据上述手势识别方法的手势识别系统,如图6所示,包括穿墙雷达、多维微多普勒特征提取模块和分类器;
所述穿墙雷达,用于观测被包括墙体在内的障碍物遮挡的指挥手势,得到雷达回波信号;
所述多维微多普勒特征提取模块,用于对雷达回波信号进行多普勒谱与短时傅里叶变换时频谱分析,提取由障碍物遮挡的指挥手势引起的多维微多普勒特征;
所述分类器,用于对实时提取的由障碍物遮挡的指挥手势引起的多维微多普勒特征进行识别,确定被遮挡的指挥手势;
所述分类器通过从历史观测雷达回波信号中提取的多维微多普勒特征组成的训练集进行训练。
具体的,所述多维微多普勒特征提取模块包括第一维特征提取模块、第二维特征提取模块、第三维特征提取模块、第四维特征提取模块、第五维特征提取模块和第六维特征提取模块;
第一维特征提取模块用于提取由指挥手势引起的频域能量散布特征;
第二维特征提取模块用于提取由指挥手势引起的调制谱能量的特征;
第三维特征提取模块用于提取由指挥手势引起的多普勒谱峰值的特征;
第四维特征提取模块用于提取由指挥手势引起的总频率宽度的特征;
第五维特征提取模块用于提取由指挥手势引起的频谱峰值周期的特征;
第六维特征提取模块用于提取由指挥手势引起的多普勒频差的特征。
本实施例的手势识别系统更具体的技术细节和有益效果与方法实施例中相同,在此就不一一赘述。
以上所述,仅为本发明较佳的具体实施方式,但本发明的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本发明揭露的技术范围内,可轻易想到的变化或替换,都应涵盖在本发明的保护范围之内。

Claims (10)

1.一种基于微多普勒特征的手势识别方法,其特征在于,包括:
采用穿墙雷达观测被障碍物遮挡的指挥手势,得到雷达回波信号;所述障碍物包括墙体;
对雷达回波信号进行多普勒谱与短时傅里叶变换时频谱分析,提取由障碍物遮挡指挥手势所引起的多维微多普勒特征;
建立由历史观测雷达回波信号中提取的多维微多普勒特征和对应的指挥手势组成的训练集,对分类器进行训练;
将实时提取的障碍物遮挡的指挥手势引起的多维微多普勒特征输入训练好的分类器进行识别,确定被遮挡的指挥手势。
2.根据权利要求1所述的手势识别方法,其特征在于,所述指挥手势包括四种单兵指挥手势:
横向纵队:手臂作握拳状,水平横向伸出手臂;
单纵队形:举起手臂,屈曲手肘,手掌垂直,前后作劈砍动作;
双纵队形:手肘屈曲,手举起至头顶高度,并作握拳状,食指和中指伸出作钩状前后摆动;
V字队形:作握拳状,伸直手臂和身体成一定角度,然后摆动至后方。
3.根据权利要求1或2所述的手势识别方法,其特征在于,所述多维微多普勒特征包括六维微多普勒特征;其中,
第一维特征表征由指挥手势引起的频域能量散布;
第二维特征表征由指挥手势引起的调制谱能量;
第三维特征表征由指挥手势引起的多普勒谱峰值;
第四维特征表征由指挥手势引起的总频率宽度;
第五维特征表征由指挥手势引起的频谱峰值周期;
第六维特征表征由指挥手势引起的多普勒频差。
4.根据权利要求3所述的手势识别方法,其特征在于,
所述第一维特征为多普勒谱的波形熵;所述波形熵为雷达回波信号多普勒谱各个分量幅度的概率分布;
所述第二维特征为多普勒谱的差分取模求和;所述差分取模求和表示雷达回波信号多普勒谱各个分量幅度的相对变化关系;
所述第三维特征为短时傅里叶变换时频谱的时频熵;所述时频熵为雷达回波信号短时傅里叶变换时频谱中微多普勒调制谱宽度范围内能量的分布程度;
所述第四维特征为短时傅里叶变换时频谱的主分量带宽;所述主分量带宽为雷达回波信号短时傅里叶变换时频谱中最高和最低多普勒频率之间的总频率范围;
所述第五维特征为短时傅里叶变换时频谱的平均周期;所述平均周期为雷达回波信号短时傅里叶变换时频谱中微多普勒信号的每个正峰值之间时间差的平均值;
所述第六维特征为短时傅里叶变换时频谱的多普勒偏移;所述多普勒偏移为雷达回波信号短时傅里叶变换时频谱中最高和最低多普勒频率之间的差值。
5.根据权利要求1或2所述的手势识别方法,其特征在于,所述分类器为随机森林分类器。
6.根据权利要求5所述的手势识别方法,其特征在于,所述随机森林分类器的训练过程包括:
对雷达历史观测的不同人员的四种单兵手势的回波数据进行多维微多普勒特征提取和手势标注,形成训练样本集D;
对训练样本集D进行bootstrap采样,形成T个训练样本采样集;所述Bootstrap为自助采样法;T为训练样本采样集个数,取值为正整数;
第t个训练样本采样集训练第t个决策树,训练样本采样集与决策树一一对应,训练后的各个决策树作为基分类器共同构成随机森林组合分类器,1≤t≤T。
7.根据权利要求1或2所述的手势识别方法,其特征在于,所述穿墙雷达工作频率为1.6G-2.2GHz,单周期内连续发射300个步进脉冲,持续时间30ms。
8.一种根据权利要求1-7任一项所述的手势识别方法的手势识别系统,其特征在于,包括穿墙雷达、多维微多普勒特征提取模块和分类器;
所述穿墙雷达,用于观测被包括墙体在内的障碍物遮挡的指挥手势,得到雷达回波信号;
所述多维微多普勒特征提取模块,用于对雷达回波信号进行多普勒谱与短时傅里叶变换时频谱分析,提取由障碍物遮挡的指挥手势引起的多维微多普勒特征;
所述分类器,用于对实时提取的由障碍物遮挡的指挥手势引起的多维微多普勒特征进行识别,确定被遮挡的指挥手势;
所述分类器通过从历史观测雷达回波信号中提取的多维微多普勒特征组成的训练集进行训练得到。
9.根据权利要求8所述的手势识别系统,其特征在于,所述指挥手势包括四种单兵手势:
横向纵队:手臂作握拳状,水平横向伸出手臂;
单纵队形:举起手臂,屈曲手肘,手掌垂直,前后作劈砍动作;
双纵队形:手肘屈曲,手举起至头顶高度,并作握拳状,食指和中指伸出作钩状前后摆动;
V字队形:作握拳状,伸直手臂和身体成一定角度,然后摆动至后方。
10.根据权利要求8或9所述的手势识别系统,其特征在于,所述多维微多普勒特征提取模块包括第一维特征提取模块、第二维特征提取模块、第三维特征提取模块、第四维特征提取模块、第五维特征提取模块和第六维特征提取模块;
第一维特征提取模块用于提取由指挥手势引起的频域能量散布特征;
第二维特征提取模块用于提取由指挥手势引起的调制谱能量的特征;
第三维特征提取模块用于提取由指挥手势引起的多普勒谱峰值的特征;
第四维特征提取模块用于提取由指挥手势引起的总频率宽度的特征;
第五维特征提取模块用于提取由指挥手势引起的频谱峰值周期的特征;
第六维特征提取模块用于提取由指挥手势引起的多普勒频差的特征。
CN202110315073.XA 2021-03-24 2021-03-24 一种基于微多普勒特征的手势识别方法及系统 Active CN113030936B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110315073.XA CN113030936B (zh) 2021-03-24 2021-03-24 一种基于微多普勒特征的手势识别方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110315073.XA CN113030936B (zh) 2021-03-24 2021-03-24 一种基于微多普勒特征的手势识别方法及系统

Publications (2)

Publication Number Publication Date
CN113030936A true CN113030936A (zh) 2021-06-25
CN113030936B CN113030936B (zh) 2023-05-23

Family

ID=76473915

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110315073.XA Active CN113030936B (zh) 2021-03-24 2021-03-24 一种基于微多普勒特征的手势识别方法及系统

Country Status (1)

Country Link
CN (1) CN113030936B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117331047A (zh) * 2023-12-01 2024-01-02 德心智能科技(常州)有限公司 基于毫米波雷达的人体行为数据分析方法及系统

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2012152476A1 (de) * 2011-05-12 2012-11-15 Robert Bosch Gmbh Verfahren zum erkennen von gesten
CN106295684A (zh) * 2016-08-02 2017-01-04 清华大学 一种基于微多普勒特征的动态连续/非连续手势识别方法
CN108519812A (zh) * 2018-03-21 2018-09-11 电子科技大学 一种基于卷积神经网络的三维微多普勒手势识别方法
CN110309690A (zh) * 2018-03-27 2019-10-08 南京理工大学 基于时频谱和距离多普勒谱的手势识别检测方法
CN111680540A (zh) * 2020-04-14 2020-09-18 北京清雷科技有限公司 动态手势识别方法和装置

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2012152476A1 (de) * 2011-05-12 2012-11-15 Robert Bosch Gmbh Verfahren zum erkennen von gesten
CN106295684A (zh) * 2016-08-02 2017-01-04 清华大学 一种基于微多普勒特征的动态连续/非连续手势识别方法
CN108519812A (zh) * 2018-03-21 2018-09-11 电子科技大学 一种基于卷积神经网络的三维微多普勒手势识别方法
CN110309690A (zh) * 2018-03-27 2019-10-08 南京理工大学 基于时频谱和距离多普勒谱的手势识别检测方法
CN111680540A (zh) * 2020-04-14 2020-09-18 北京清雷科技有限公司 动态手势识别方法和装置

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
BEILI MA 等: "Combat Gesture Classification Using Through-The-Wall Radar Based on Multi-domain Features Association", 《2020 IEEE RADAR CONFERENCE (RADARCONF20)》 *
毛强 等: "穿墙雷达多维参数人体姿态识别方法", 《雷达科学与技术》 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117331047A (zh) * 2023-12-01 2024-01-02 德心智能科技(常州)有限公司 基于毫米波雷达的人体行为数据分析方法及系统

Also Published As

Publication number Publication date
CN113030936B (zh) 2023-05-23

Similar Documents

Publication Publication Date Title
CN110309690B (zh) 基于时频谱和距离多普勒谱的手势识别检测方法
CN106778610B (zh) 一种基于时频图像特征的脉内调制识别方法
CN110286368A (zh) 一种基于超宽带雷达的老人跌倒检测方法
JP5628144B2 (ja) 目的物及び動作検出
CN105030279B (zh) 一种基于超声射频时间序列的组织定征方法
CN113408328B (zh) 基于毫米波雷达的手势分割与识别算法
CN103116744A (zh) 基于mrf和svm-knn分类的假指纹检测方法
CN106855941A (zh) 基于雷达微多普勒信号稀疏优化的手势识别方法及系统
CN105738888B (zh) 基于海杂波抑制的双特征海面漂浮小目标检测方法
CN112462355B (zh) 一种基于时频三特征提取的对海目标智能检测方法
CN109032349A (zh) 一种基于毫米波雷达的手势识别方法及系统
Padar et al. Classification of human motion using radar micro-Doppler signatures with hidden Markov models
CN113030936A (zh) 一种基于微多普勒特征的手势识别方法及系统
CN111368930B (zh) 基于多类谱图融合与分级学习的雷达人体姿态识别方法及系统
CN112327293A (zh) 一种基于分形特征智能学习的海面目标检测方法
CN103954962B (zh) 一种基于压缩感知的isar成像脉冲估计算法
CN103870686B (zh) 一种基于信息融合的超声相控阵方法
CN103099642B (zh) 一种超声血流信号质量实时分析方法
CN111965620A (zh) 基于时频分析和深度神经网络的步态特征提取与识别方法
CN110309689B (zh) 基于超宽带雷达的Gabor域手势识别检测方法
CN116008982A (zh) 基于跨尺度特征聚合网络的雷达目标辨识方法
Gaikwad et al. Recognition of target in through wall imaging using shape feature extraction
CN114428235B (zh) 基于决策级融合的空间微动目标识别方法
Yun et al. Radar signal recognition algorithms based on neural network and grey relation theory
CN109541567A (zh) 基于深度学习的高速机动目标检测方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant