CN106855941A - 基于雷达微多普勒信号稀疏优化的手势识别方法及系统 - Google Patents

基于雷达微多普勒信号稀疏优化的手势识别方法及系统 Download PDF

Info

Publication number
CN106855941A
CN106855941A CN201611128869.XA CN201611128869A CN106855941A CN 106855941 A CN106855941 A CN 106855941A CN 201611128869 A CN201611128869 A CN 201611128869A CN 106855941 A CN106855941 A CN 106855941A
Authority
CN
China
Prior art keywords
gesture
signal
sparse
prime
echo
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201611128869.XA
Other languages
English (en)
Other versions
CN106855941B (zh
Inventor
李刚
张瑞
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tsinghua University
Original Assignee
Tsinghua University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tsinghua University filed Critical Tsinghua University
Priority to CN201611128869.XA priority Critical patent/CN106855941B/zh
Publication of CN106855941A publication Critical patent/CN106855941A/zh
Application granted granted Critical
Publication of CN106855941B publication Critical patent/CN106855941B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20Movements or behaviour, e.g. gesture recognition
    • G06V40/28Recognition of hand or arm movements, e.g. recognition of deaf sign language
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/24Classification techniques
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/40Extraction of image or video features

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • Human Computer Interaction (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Radar Systems Or Details Thereof (AREA)

Abstract

本发明提出一种基于雷达微多普勒信号稀疏优化的手势识别方法及系统,该方法包括以下步骤:发射雷达信号,并接收雷达信号经过待识别手势反射的手势回波信号;根据稀疏优化技术,将手势回波信号映射成稀疏向量;提取稀疏向量中的非零元素,并查找非零元素所对应的Gabor基向量,并提取相应的时移参数和频移参数,以得到手势回波信号的特征量;训练分类器,并将特征量输入分类器中,以识别待识别手势的类型。本发明不受光照条件的影响,能够提升光照条件不好的情形下的手势识别正确率。

Description

基于雷达微多普勒信号稀疏优化的手势识别方法及系统
技术领域
本发明涉及雷达及人机交互技术领域,特别涉及一种基于雷达微多普勒信号稀疏优化的手势识别方法及系统。
背景技术
人机交互,即人与计算机之间使用某种对话媒介实现信息交换的过程。在传统的人机交互中,人通过键盘、鼠标、显示器与计算机进行信息交换。随着计算机技术的发展,以语言、手势为媒介的新一代人机交互技术逐渐兴起。动态手势识别技术在人机交互中具有重大的应用价值,这项技术现已得到越来越多的关注。目前比较成熟的动态手势识别技术均采用视频设备获取手势视频,进而提取图像特征实现各种动态手势的识别。但是,基于视频的动态手势识别技术在光照条件不好的情况下性能将会下降。
雷达是观测运动目标的有效工具。相对于视频设备而言,雷达的观测性能不受光照条件影响;将雷达运用到动态手势识别技术中,将有助于提升光照条件不好的情形下的手势识别正确率。
使用雷达观测动态手势时,雷达天线朝向被观测者的手部发射电磁波,并接收手部的反射波。由于被观测者的手腕、手掌、手指在手势过程中不断运动,且运动速度随时间变化,所以雷达回波具有随时间变化的多普勒频移。这种由目标整体或部件的微运动所产生的回波,在雷达领域中被称为微多普勒信号。微多普勒信号蕴含了目标的微动特征,该特征有助于实现目标种类判别,现已在雷达目标识别中得到广泛研究和应用。不同的手势具有不同的微动特征,通过分析微多普勒信号,提取相应的微动特征,并将微动特征输入到分类器中,就能识别出不同类型的手势。
微多普勒信号是一种时变信号,分析这类信号的常用技术是时频变换。通过时频变换,微多普勒信号的能量被映射到时间-频率域(简称“时频域”)。研究发现,手势微多普勒信号的能量仅分布在时频域的一小部分位点上,这表明,手势微多普勒信号在时频域具有稀疏性。基于这一发现,通过使用稀疏优化技术,手势微多普勒信号可以被映射到时频域的一个稀疏向量上。
稀疏优化技术是近年来根据压缩感知理论提出一类信号处理技术。这类技术利用待分析信号在变换域的稀疏特性,将待分析信号表示成变换域字典矩阵与稀疏向量的乘积,并使用贪婪算法或凸优化算法计算稀疏向量,实现从观测域到变换域的映射。
发明内容
本发明旨在至少解决上述技术问题之一。
为此,本发明的一个目的在于提出一种基于雷达微多普勒信号稀疏优化的手势识别方法,该方法不受光照条件的影响,能够提升光照条件不好的情形下的手势识别正确率。。
本发明的另一个目的在于提出一种基于雷达微多普勒信号稀疏优化的手势识别系统。
为了实现上述目的,本发明第一方面的实施例提出了一种基于雷达微多普勒信号稀疏优化的手势识别方法,包括以下步骤:发射雷达信号,并接收所述雷达信号经过待识别手势反射的手势回波信号;根据稀疏优化技术,将所述手势回波信号映射成稀疏向量;提取所述稀疏向量中的非零元素,并查找所述非零元素所对应的Gabor基向量,并提取相应的时移参数和频移参数,以得到所述手势回波信号的特征量;训练分类器,并将所述特征量输入所述分类器中,以识别所述待识别手势的类型。
另外,根据本发明上述实施例的基于雷达微多普勒信号稀疏优化的手势识别方法还可以具有如下附加的技术特征:
在一些示例中,所述根据稀疏优化技术,将所述手势回波信号映射成稀疏向量,进一步包括:构造一个Gabor时频字典矩阵Ψ,其中,所述矩阵Ψ的每个列向量都是Gabor基信号,所述矩阵Ψ为:
其中,tm,fm,sm分别表示Gabor基的时移因子、频移因子、尺度因子,N是矩阵行数,M是矩阵列数;
根据稀疏优化模型,将所述手势回波信号表示为:
y=Ψx+η,
其中,y是所述手势回波信号,x是稀疏向量,η是观测噪声;
根据正交匹配追踪算法,计算得到所述稀疏向量x,
其中,K表示所述手势回波信号的稀疏度,所述稀疏向量x的维数为M,具有K个非零元素。
在一些示例中,所述手势回波信号的特征量为:
其中,非零元素对应着矩阵Ψ的第ij个列向量,相应的时移因子、频移因子分别是
在一些示例中,所述训练分类器,并将所述特征量输入所述分类器中,以识别所述待识别手势的类型,进一步包括:对于所述待识别手势,从P组训练样本中,获得P组特征量,将所述P组特征量当作三维空间中的P·K个数据点,并使用k-平均算法对所述P·K个数据点进行聚类分析,生成K个中心数据点,具体为:
其中,g表示手势类型的编号,F(g)为所述分类器;
对于任一测试样本y’,提取所述测试样本y’的特征量:
按照如下表达式计算测试样本y’的特征量与所有手势中心特征的距离:
比较得到的所有dis(F',F(g))的大小,将所有dis(F',F(g))中的最小值所对应的编号作为识别结果。
在一些示例中,所述待识别手势至少包括:转手腕、招手、打响指及弹手指。
根据本发明实施例的基于雷达微多普勒信号稀疏优化的手势识别方法,使用时频域稀疏优化技术对人体动态手势的雷达微多普勒信号进行处理,提取稀疏向量中的非零元素以及非零元素所对应的时频参数,获得手势微多普勒信号的特征,并将该特征输入到分类器中,进而实现动态手势识别。因此该方法使用雷达观测动态手势,不受光照条件的影响;充分利用了手势回波信号在时频域的稀疏性,使用稀疏优化技术提取手势特点,有助于提升手势识别的正确率;另外,相对于传统的时频域识别算法,该方法基于稀疏优化的方法不需要大量的训练样本,即可达到较高的识别正确率。
为了实现上述目的,本发明第二方面的实施例提出了一种基于雷达微多普勒信号稀疏优化的手势识别系统,包括:信号收发模块,所述信号收发模块用于发射雷达信号,并接收所述雷达信号经过待识别手势反射的手势回波信号;映射模块,所述映射模块用于根据稀疏优化技术,将所述手势回波信号映射成稀疏向量;提取模块,所述提取模块用于提取所述稀疏向量中的非零元素,并查找所述非零元素所对应的Gabor基向量,并提取相应的时移参数和频移参数,以得到所述手势回波信号的特征量;识别模块,所述识别模块用于训练分类器,并将所述特征量输入所述分类器中,以识别所述待识别手势的类型。
另外,根据本发明上述实施例的基于雷达微多普勒信号稀疏优化的手势识别系统还可以具有如下附加的技术特征:
在一些示例中,所述映射模块用于:构造一个Gabor时频字典矩阵Ψ,其中,所述矩阵Ψ的每个列向量都是Gabor基信号,所述矩阵Ψ为:
其中,tm,fm,sm分别表示Gabor基的时移因子、频移因子、尺度因子,N是矩阵行数,M是矩阵列数;
根据稀疏优化模型,将所述手势回波信号表示为:
y=Ψx+η,
其中,y是所述手势回波信号,x是稀疏向量,η是观测噪声;
根据正交匹配追踪算法,计算得到所述稀疏向量x,
其中,K表示所述手势回波信号的稀疏度,所述稀疏向量x的维数为M,具有K个非零元素。
在一些示例中,所述手势回波信号的特征量为:
其中,非零元素对应着矩阵Ψ的第ij个列向量,相应的时移因子、频移因子分别是
在一些示例中,所述识别模块用于:对于所述待识别手势,从P组训练样本中,获得P组特征量,将所述P组特征量当作三维空间中的P·K个数据点,并使用k-平均算法对所述P·K个数据点进行聚类分析,生成K个中心数据点,具体为:
其中,g表示手势类型的编号,F(g)为所述分类器;
对于任一测试样本y’,提取所述测试样本y’的特征量:
按照如下表达式计算测试样本y’的特征量与所有手势中心特征的距离:
比较得到的所有dis(F',F(g))的大小,将所有dis(F',F(g))中的最小值所对应的编号作为识别结果。
在一些示例中,所述待识别手势至少包括:转手腕、招手、打响指及弹手指。
根据本发明实施例的基于雷达微多普勒信号稀疏优化的手势识别系统,使用时频域稀疏优化技术对人体动态手势的雷达微多普勒信号进行处理,提取稀疏向量中的非零元素以及非零元素所对应的时频参数,获得手势微多普勒信号的特征,并将该特征输入到分类器中,进而实现动态手势识别。因此该系统使用雷达观测动态手势,不受光照条件的影响;充分利用了手势回波信号在时频域的稀疏性,使用稀疏优化技术提取手势特点,有助于提升手势识别的正确率;另外,相对于传统的时频域识别算法,该系统基于稀疏优化的方法不需要大量的训练样本,即可达到较高的识别正确率。
本发明的附加方面和优点将在下面的描述中部分给出,部分将从下面的描述中变得明显,或通过本发明的实践了解到。
附图说明
本发明的上述和/或附加的方面和优点从结合下面附图对实施例的描述中将变得明显和容易理解,其中:
图1是根据本发明实施例的基于雷达微多普勒信号稀疏优化的手势识别方法的流程图;
图2是根据本发明一个实施例的基于雷达微多普勒信号稀疏优化的手势识别方法的详细流程示意图;
图3是根据本发明一个具体实施例的基于雷达微多普勒信号稀疏优化的手势识别方法的实验场景设置示意图;以及
图4是根据本发明实施例的基于雷达微多普勒信号稀疏优化的手势识别系统的结构框图。
具体实施方式
下面详细描述本发明的实施例,所述实施例的示例在附图中示出,其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的,仅用于解释本发明,而不能理解为对本发明的限制。
在本发明的描述中,需要理解的是,术语“中心”、“纵向”、“横向”、“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系,仅是为了便于描述本发明和简化描述,而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作,因此不能理解为对本发明的限制。此外,术语“第一”、“第二”仅用于描述目的,而不能理解为指示或暗示相对重要性。
在本发明的描述中,需要说明的是,除非另有明确的规定和限定,术语“安装”、“相连”、“连接”应做广义理解,例如,可以是固定连接,也可以是可拆卸连接,或一体地连接;可以是机械连接,也可以是电连接;可以是直接相连,也可以通过中间媒介间接相连,可以是两个元件内部的连通。对于本领域的普通技术人员而言,可以具体情况理解上述术语在本发明中的具体含义。
以下结合附图描述根据本发明实施例的基于雷达微多普勒信号稀疏优化的手势识别方法及系统。
图1是根据本发明一个实施例的基于雷达微多普勒信号稀疏优化的手势识别方法的流程图。图2是根据本发明另一个实施例的基于雷达微多普勒信号稀疏优化的手势识别方法的详细流程示意图。如图1所示,并结合图2所示,该方法包括以下步骤:
步骤S1:发射雷达信号,并接收雷达信号经过待识别手势反射的手势回波信号。
换言之,即使用雷达观测人体手势,收集不同手势的回波信号。在本发明的一个实施例中,待识别手势至少包括:转手腕、招手、打响指及弹手指四种手势。
步骤S2:根据稀疏优化技术,将手势回波信号映射成稀疏向量。
在本发明的一个实施例中,步骤S2进一步包括:
构造一个Gabor时频字典矩阵Ψ,其中,矩阵Ψ的每个列向量都是Gabor基信号,其中,矩阵Ψ为:
其中,tm,fm,sm分别表示Gabor基的时移因子、频移因子、尺度因子,N是矩阵行数,M是矩阵列数;
根据稀疏优化模型,将手势回波信号表示为:
y=Ψx+η, (1)
其中,y是手势回波信号,x是稀疏向量,η是观测噪声;
根据正交匹配追踪算法,计算得到稀疏向量x。具体地说,已知回波信号y,字典矩阵Ψ,可使用正交匹配追踪(OMP)算法,计算稀疏向量x。OMP算法是一种被广泛研究和使用的稀疏优化算法,该算法通过计算手势回波信号残差与字典矩阵列向量的相关系数,选取与手势回波信号匹配程度较高的矩阵列子空间,将手势回波信号投射到相应的子空间中。记OMP算法的计算结果如下:
x=OMP(y,Ψ,K),
其中,K表示手势回波信号的稀疏度,稀疏向量x的维数为M,具有K个非零元素,则稀疏向量x具体为:
其中,稀疏向量x中,下标为ij(j=1,2,…,K)的元素不等于0,其他元素为0。
步骤S3:提取稀疏向量x中的非零元素xik(k=1,2,…,K,其中K为非零元素个数),并查找非零元素所对应的Gabor基向量,并提取相应的时移参数tik和频移参数fik,以{(xik,tik,fik),k=1,2,..,K}作为手势回波信号的特征量。
具体地,手势回波信号的特征量为:
可以看出,手势回波信号的特征量是三维空间中的K个点所组成的集合。其中,非零元素对应着矩阵Ψ的第ij个列向量,相应的时移因子、频移因子分别是
步骤S4:训练分类器,并将上述得到的特征量输入分类器中,以识别待识别手势的类型。具体地,将观测到的所有样本划分为两部分,一部分样本用于训练分类器,另一部分用于验证分类效果。
在本发明的一个实施例中,步骤S4进一步包括:
训练过程:对于每种待识别手势,从P组训练样本中,获得P组特征量,将这P组特征量当作三维空间中的P·K个数据点,并使用k-平均算法对P·K个数据点进行聚类分析,生成K个中心数据点,具体为:
其中,g表示手势类型的编号,F(g)为分类器;
识别过程:对于任一测试样本y’,提取测试样本y’的特征量:
按照如下表达式计算测试样本y’的特征量与所有手势中心特征的距离:
比较得到的所有dis(F',F(g))的大小,将所有dis(F',F(g))中的最小值所对应的编号作为识别结果。
综上,根据本发明实施例的基于雷达微多普勒信号稀疏优化的手势识别方法,使用时频域稀疏优化技术对人体动态手势的雷达微多普勒信号进行处理,提取稀疏向量中的非零元素以及非零元素所对应的时频参数,获得手势微多普勒信号的特征,并将该特征输入到分类器中,进而实现动态手势识别。因此该方法使用雷达观测动态手势,不受光照条件的影响;充分利用了手势回波信号在时频域的稀疏性,使用稀疏优化技术提取手势特点,有助于提升手势识别的正确率;另外,相对于传统的时频域识别算法,该方法基于稀疏优化的方法不需要大量的训练样本,即可达到较高的识别正确率。
为了便于更好地理解本发明,以下结合附图及具体实施例对本发明上述的基于雷达微多普勒信号稀疏优化的手势识别方法进行详细具体地描述。
在本实施例中,结合图2所示,该方法包括以下步骤:
步骤1:按照如图3所示的设置手势识别实验场景,收集手势回波信号。本实施例中所使用的雷达为X波段连续波雷达,载波频率为9.8GHz,基带信号采样频率为1KHz。在实验中,雷达天线正对着被观测者的手部,观测距离约为30cm。所观测的手势包括转手腕、招手、打响指、弹手指,完成每种手势所需的时间均小于0.5s。每种手势均重复50次(相邻动作之间有一小段时间间隔),收集对应的回波信号。然后将每种手势的回波信号切分成50个片段,每个片段包括一次手势动作,片段时长为0.5s,包含500个采样点。
步骤2:将手势回波信号片段映射为稀疏向量。首先生成Gabor字典矩阵Ψ,该矩阵维数为500×4773,其列向量为Gabor基,表达式如下:
其中,tm,fm,sm分别表示Gabor基的时移因子、频移因子、尺度因子,N=500是矩阵行数,M=4773是矩阵列数。
已知回波信号y,字典矩阵Ψ,可使用正交匹配追踪(OMP)算法,计算式(1)中的稀疏向量x。OMP算法是一种被广泛研究和使用的稀疏优化算法,该算法通过计算观测信号残差与字典矩阵列向量的相关系数,选取与观测信号匹配程度较高的矩阵列子空间,将观测信号投射到相应的子空间中。记OMP算法的计算结果如下:
x=OMP(y,Ψ,K), (2)
其中K表示回波信号的稀疏度。在本实施例中,K的取值可以在10~20之间选取。稀疏向量x的维数为M,只有K个非零元素,可以表示为:
式(4)表示,向量x中,下标为ij(j=1,2,…,K)的元素不等于0,其他元素为0。
步骤3:根据稀疏向量的非零元素生成手势回波的特征量。根据(1)式和(4)式中,非零元素对应着矩阵Ψ的第ij个列向量,相应的时移因子、频移因子分别是将手势回波的特征量表示为:
可以看出,手势回波的特征量是三维空间中的K个点所组成的集合。
步骤4:训练分类器,并使用分类器识别手势。在步骤1中,已经收集了4×50组手势回波数据,即4种手势,每种手势50次观测。对于每种手势,随机选取P(P<50)组观测数据作为训练样本,用于训练手势分类器;剩下的50-P组观测数据作为测试样本,用于测试分类器的识别效果。在测试过程中,设转手腕、招手、打响指、弹手指这4种手势的观测数据被正确识别的次数分别是Q1,Q2,Q3,Q4,则识别正确率(简称识别率)计算为:
设定训练样本所占比例(即P/50),随机选取训练样本和测试样本进行实验,并将历次实验中的识别率取平均值,即可获得可信度较高的识别率。下面详细介绍训练过程和分类过程。
训练过程:对于每种手势,从P组训练样本中,可以获得P组形如(5)式的特征量。将这P组特征量当做三维空间中的P·K个数据点,并使用k-平均算法对这些数据点进行聚类分析,生成K个中心数据点。其中,k-平均算法是图像分析中常用的聚类算法,用以找到数据点集合中的中心点。记k-平均算法的运行结果为:
其中g表示手势种类的编号,g=1,2,3,4分别对应着四种手势。四种手势分别对应着F(1),F(2),F(3),F(4)这四组中心数据点,称之为中心特征,这就是训练过程的输出。
分类过程:对于任一测试样本(记为y’),首先按照步骤2、步骤3提取其特征量:
然后按照下述表达式计算测试样本特征量与4种手势中心特征的距离:
比较dis(F’,F(g))(g=1,2,3,4)的大小,最小距离所对应的编号,即为识别结果。
在本实施例中,在选定的训练样本比例P/50和稀疏度K下,随机选取训练样本、测试样本,进行100次实验,得到的识别率如下表1所示。可以看出,在给定的训练样本比例下,识别率随着稀疏度K的增大而提升。这是因为,随着稀疏度K增大,从回波信号中提取的特征量增多,能够保留更多有效信息,有助于区分不同手势。从表1中还可以看出,在给定的稀疏度下,识别率随着训练样本比例的增大而提升。这是因为,随着训练样本比例增大,训练过程开展得更充分,训练得到的分类器更精密,有助于更好地分辨手势。
表1
在训练样本比例为20%,稀疏度为20时,各种手势的识别正确/错误率如下表2所示。可以看出,在这种情况下,各种手势的识别正确率都高于97%。
转手腕 招手 打响指 弹手指
转手腕 97.00% 0.35% 0 0
招手 3.00% 98.95% 0.25% 0.80%
打响指 0 0.70% 99.20% 0.05%
弹手指 0 0 0.55% 99.15%
表2
综上,通过本实施例的上述实验表明,本发明能够有效识别四种手势,且识别正确率较高。
本发明的进一步实施例还提出了一种基于雷达微多普勒信号稀疏优化的手势识别系统。
图4是根据本发明一个实施例的基于雷达微多普勒信号稀疏优化的手势识别系统的结构框图。如图4所示,该系统100包括:信号收发模块110、映射模块120、提取模块130和识别模块140。
其中,信号收发模块110用于发射雷达信号,并接收雷达信号经过待识别手势反射的手势回波信号。
换言之,即使用雷达观测人体手势,收集不同手势的回波信号。在本发明的一个实施例中,待识别手势至少包括:转手腕、招手、打响指及弹手指四种手势。
映射模块120用于根据稀疏优化技术,将手势回波信号映射成稀疏向量。
具体地,在本发明的一个实施例中,所述映射模块120用于:
构造一个Gabor时频字典矩阵Ψ,其中,矩阵Ψ的每个列向量都是Gabor基信号,其中,矩阵Ψ为:
其中,tm,fm,sm分别表示Gabor基的时移因子、频移因子、尺度因子,N是矩阵行数,M是矩阵列数;
根据稀疏优化模型,将手势回波信号表示为:
y=Ψx+η,
其中,y是手势回波信号,x是稀疏向量,η是观测噪声;
根据正交匹配追踪算法,计算得到稀疏向量x。具体地说,已知回波信号y,字典矩阵Ψ,可使用正交匹配追踪(OMP)算法,计算稀疏向量x。OMP算法是一种被广泛研究和使用的稀疏优化算法,该算法通过计算手势回波信号残差与字典矩阵列向量的相关系数,选取与手势回波信号匹配程度较高的矩阵列子空间,将手势回波信号投射到相应的子空间中。记OMP算法的计算结果如下:
x=OMP(y,Ψ,K),
其中,K表示手势回波信号的稀疏度,稀疏向量x的维数为M,具有K个非零元素,则稀疏向量x具体为:
其中,稀疏向量x中,下标为ij(j=1,2,…,K)的元素不等于0,其他元素为0。
提取模块130用于提取稀疏向量x中的非零元素xik(k=1,2,…,K,其中K为非零元素个数),并查找非零元素所对应的Gabor基向量,并提取相应的时移参数tik和频移参数fik,以{(xik,tik,fik),k=1,2,..,K}作为手势回波信号的特征量。
具体地,手势回波信号的特征量为:
可以看出,手势回波信号的特征量是三维空间中的K个点所组成的集合。其中,非零元素对应着矩阵Ψ的第ij个列向量,相应的时移因子、频移因子分别是
识别模块140用于训练分类器,并将特征量输入分类器中,以识别待识别手势的类型。具体地,将观测到的所有样本划分为两部分,一部分样本用于训练分类器,另一部分用于验证分类效果。
在本发明的一个实施例中,识别模块140训练分类器,并将特征量输入分类器中,以识别待识别手势的类型,具体包括:
训练过程:对于每种待识别手势,从P组训练样本中,获得P组特征量,将这P组特征量当作三维空间中的P·K个数据点,并使用k-平均算法对P·K个数据点进行聚类分析,生成K个中心数据点,具体为:
其中,g表示手势类型的编号,F(g)为分类器;
识别过程:对于任一测试样本y’,提取测试样本y’的特征量:
按照如下表达式计算测试样本y’的特征量与所有手势中心特征的距离:
比较得到的所有dis(F',F(g))的大小,将所有dis(F',F(g))中的最小值所对应的编号作为识别结果。
需要说明的是,本发明实施例的基于雷达微多普勒信号稀疏优化的手势识别系统的具体实现方式与本发明实施例的基于雷达微多普勒信号稀疏优化的手势识别方法的具体实现方式类似,具体请参见方法部分的描述,为了减少冗余,此处不再赘述。
综上,根据本发明实施例的基于雷达微多普勒信号稀疏优化的手势识别系统,使用时频域稀疏优化技术对人体动态手势的雷达微多普勒信号进行处理,提取稀疏向量中的非零元素以及非零元素所对应的时频参数,获得手势微多普勒信号的特征,并将该特征输入到分类器中,进而实现动态手势识别。因此该系统使用雷达观测动态手势,不受光照条件的影响;充分利用了手势回波信号在时频域的稀疏性,使用稀疏优化技术提取手势特点,有助于提升手势识别的正确率;另外,相对于传统的时频域识别算法,该系统基于稀疏优化的方法不需要大量的训练样本,即可达到较高的识别正确率。
在本说明书的描述中,参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中,对上述术语的示意性表述不一定指的是相同的实施例或示例。而且,描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。
尽管已经示出和描述了本发明的实施例,本领域的普通技术人员可以理解:在不脱离本发明的原理和宗旨的情况下可以对这些实施例进行多种变化、修改、替换和变型,本发明的范围由权利要求及其等同限定。

Claims (10)

1.一种基于雷达微多普勒信号稀疏优化的手势识别方法,其特征在于,包括以下步骤:
发射雷达信号,并接收所述雷达信号经过待识别手势反射的手势回波信号;
根据稀疏优化技术,将所述手势回波信号映射成稀疏向量;
提取所述稀疏向量中的非零元素,并查找所述非零元素所对应的Gabor基向量,并提取相应的时移参数和频移参数,以得到所述手势回波信号的特征量;
训练分类器,并将所述特征量输入所述分类器中,以识别所述待识别手势的类型。
2.根据权利要求1所述的基于雷达微多普勒信号稀疏优化的手势识别方法,其特征在于,所述根据稀疏优化技术,将所述手势回波信号映射成稀疏向量,进一步包括:
构造一个Gabor时频字典矩阵Ψ,其中,所述矩阵Ψ的每个列向量都是Gabor基信号,所述矩阵Ψ为:
&Psi; ( n , m ) = 1 2 1 / 4 1 s m exp { - ( n - t m s m ) 2 } exp ( j 2 &pi;f m n ) , ( n = 1 , 2 , ... , N ; m = 1 , 2 , ... , M . ) ,
其中,tm,fm,sm分别表示Gabor基的时移因子、频移因子、尺度因子,N是矩阵行数,M是矩阵列数;
根据稀疏优化模型,将所述手势回波信号表示为:
y=Ψx+η,
其中,y是所述手势回波信号,x是稀疏向量,η是观测噪声;
根据正交匹配追踪算法,计算得到所述稀疏向量x,
x = ( 0 , ... , 0 , x i 1 , 0 , ... , 0 , x i 2 , 0 , ... , 0 , x i K , 0 , ... , 0 ) T ,
其中,K表示所述手势回波信号的稀疏度,所述稀疏向量x的维数为M,具有K个非零元素。
3.根据权利要求2所述的基于雷达微多普勒信号稀疏优化的手势识别方法,其特征在于,所述手势回波信号的特征量为:
F = { ( t i 1 , f i 1 , | x i 1 | ) , ... , ( t i K , f i K , | x i K | ) } ,
其中,非零元素对应着矩阵Ψ的第ij个列向量,相应的时移因子、频移因子分别是
4.根据权利要求2所述的基于雷达微多普勒信号稀疏优化的手势识别方法,所述训练分类器,并将所述特征量输入所述分类器中,以识别所述待识别手势的类型,进一步包括:
对于所述待识别手势,从P组训练样本中,获得P组特征量,将所述P组特征量当作三维空间中的P·K个数据点,并使用k-平均算法对所述P·K个数据点进行聚类分析,生成K个中心数据点,具体为:
F ( g ) = { ( t i 1 ( g ) , f i 1 ( g ) , a i 1 ( g ) ) , ... , ( t i K ( g ) , f i K ( g ) , a i K ( g ) ) } ,
其中,g表示手势类型的编号,F(g)为所述分类器;
对于任一测试样本y’,提取所述测试样本y’的特征量:
F &prime; = { ( t i 1 &prime; , f i 1 &prime; , | x i 1 &prime; | ) , ... , ( t i K &prime; , f i K &prime; , | x i K &prime; | ) } ,
按照如下表达式计算测试样本y’的特征量与所有手势中心特征的距离:
d i s ( F &prime; , F ( g ) ) = &Sigma; k = 1 K m i n j ( t i k &prime; - t i j ( g ) ) 2 + ( f i k &prime; - f i j ( g ) ) 2 + ( | x i k &prime; | - a i j ( g ) ) 2 ,
比较得到的所有dis(F',F(g))的大小,将所有dis(F',F(g))中的最小值所对应的编号作为识别结果。
5.根据权利要求1-4任一项所述的基于雷达微多普勒信号稀疏优化的手势识别方法,其特征在于,所述待识别手势至少包括:转手腕、招手、打响指及弹手指。
6.一种基于雷达微多普勒信号稀疏优化的手势识别系统,其特征在于,包括:
信号收发模块,所述信号收发模块用于发射雷达信号,并接收所述雷达信号经过待识别手势反射的手势回波信号;
映射模块,所述映射模块用于根据稀疏优化技术,将所述手势回波信号映射成稀疏向量;
提取模块,所述提取模块用于提取所述稀疏向量中的非零元素,并查找所述非零元素所对应的Gabor基向量,并提取相应的时移参数和频移参数,以得到所述手势回波信号的特征量;
识别模块,所述识别模块用于训练分类器,并将所述特征量输入所述分类器中,以识别所述待识别手势的类型。
7.根据权利要求6所述的基于雷达微多普勒信号稀疏优化的手势识别系统,其特征在于,所述映射模块用于:
构造一个Gabor时频字典矩阵Ψ,其中,所述矩阵Ψ的每个列向量都是Gabor基信号,所述矩阵Ψ为:
&Psi; ( n , m ) = 1 2 1 / 4 1 s m exp { - ( n - t m s m ) 2 } exp ( j 2 &pi;f m n ) , ( n = 1 , 2 , ... , N ; m = 1 , 2 , ... , M . ) ,
其中,tm,fm,sm分别表示Gabor基的时移因子、频移因子、尺度因子,N是矩阵行数,M是矩阵列数;
根据稀疏优化模型,将所述手势回波信号表示为:
y=Ψx+η,
其中,y是所述手势回波信号,x是稀疏向量,η是观测噪声;
根据正交匹配追踪算法,计算得到所述稀疏向量x,
x = ( 0 , ... , 0 , x i 1 , 0 , ... , 0 , x i 2 , 0 , ... , 0 , x i K , 0 , ... , 0 ) T ,
其中,K表示所述手势回波信号的稀疏度,所述稀疏向量x的维数为M,具有K个非零元素。
8.根据权利要求7所述的基于雷达微多普勒信号稀疏优化的手势识别系统,其特征在于,所述手势回波信号的特征量为:
F = { ( t i 1 , f i 1 , | x i 1 | ) , ... , ( t i K , f i K , | x i K | ) } ,
其中,非零元素对应着矩阵Ψ的第ij个列向量,相应的时移因子、频移因子分别是
9.根据权利要求7所述的基于雷达微多普勒信号稀疏优化的手势识别系统,其特征在于,所述识别模块用于:
对于所述待识别手势,从P组训练样本中,获得P组特征量,将所述P组特征量当作三维空间中的P·K个数据点,并使用k-平均算法对所述P·K个数据点进行聚类分析,生成K个中心数据点,具体为:
F ( g ) = { ( t i 1 ( g ) , f i 1 ( g ) , a i 1 ( g ) ) , ... , ( t i K ( g ) , f i K ( g ) , a i K ( g ) ) } ,
其中,g表示手势类型的编号,F(g)为所述分类器;
对于任一测试样本y’,提取所述测试样本y’的特征量:
F &prime; = { ( t i 1 &prime; , f i 1 &prime; , | x i 1 &prime; | ) , ... , ( t i K &prime; , f i K &prime; , | x i K &prime; | ) } ,
按照如下表达式计算测试样本y’的特征量与所有手势中心特征的距离:
d i s ( F &prime; , F ( g ) ) = &Sigma; k = 1 K m i n j ( t i k &prime; - t i j ( g ) ) 2 + ( f i k &prime; - f i j ( g ) ) 2 + ( | x i k &prime; | - a i j ( g ) ) 2 ,
比较得到的所有dis(F',F(g))的大小,将所有dis(F',F(g))中的最小值所对应的编号作为识别结果。
10.根据权利要求6-9任一项所述的基于雷达微多普勒信号稀疏优化的手势识别系统,其特征在于,所述待识别手势至少包括:转手腕、招手、打响指及弹手指。
CN201611128869.XA 2016-12-09 2016-12-09 基于雷达微多普勒信号稀疏优化的手势识别方法及系统 Active CN106855941B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201611128869.XA CN106855941B (zh) 2016-12-09 2016-12-09 基于雷达微多普勒信号稀疏优化的手势识别方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201611128869.XA CN106855941B (zh) 2016-12-09 2016-12-09 基于雷达微多普勒信号稀疏优化的手势识别方法及系统

Publications (2)

Publication Number Publication Date
CN106855941A true CN106855941A (zh) 2017-06-16
CN106855941B CN106855941B (zh) 2019-08-09

Family

ID=59126220

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201611128869.XA Active CN106855941B (zh) 2016-12-09 2016-12-09 基于雷达微多普勒信号稀疏优化的手势识别方法及系统

Country Status (1)

Country Link
CN (1) CN106855941B (zh)

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107368279A (zh) * 2017-07-03 2017-11-21 中科深波科技(杭州)有限公司 一种基于多普勒效应的遥控操作方法及其操作系统
CN108519812A (zh) * 2018-03-21 2018-09-11 电子科技大学 一种基于卷积神经网络的三维微多普勒手势识别方法
CN110309689A (zh) * 2018-03-27 2019-10-08 南京理工大学 基于超宽带雷达的Gabor域手势识别检测方法
CN110309690A (zh) * 2018-03-27 2019-10-08 南京理工大学 基于时频谱和距离多普勒谱的手势识别检测方法
CN110488264A (zh) * 2019-07-05 2019-11-22 珠海格力电器股份有限公司 人员检测方法、装置、电子设备及存储介质
CN112946620A (zh) * 2021-01-19 2021-06-11 中国人民解放军国防科技大学 基于改进os-cfar检测与时频聚类的雷达目标微多普勒提取方法
CN113033416A (zh) * 2021-03-26 2021-06-25 深圳市华杰智通科技有限公司 一种基于稀疏函数的毫米波雷达手势识别方法
CN113064489A (zh) * 2021-04-02 2021-07-02 深圳市华杰智通科技有限公司 一种基于L1-Norm的毫米波雷达手势识别方法
CN113407028A (zh) * 2021-06-24 2021-09-17 上海科技大学 多用户运动手势控制方法、装置、智能音箱和介质
CN114093026A (zh) * 2021-11-17 2022-02-25 清华大学 基于毫米波合成孔径雷达成像的静态手势识别方法及装置
CN114511873A (zh) * 2021-12-16 2022-05-17 清华大学 基于毫米波雷达成像的静态手势识别方法及装置

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102119857A (zh) * 2011-02-15 2011-07-13 陕西师范大学 基于匹配追踪算法的疲劳驾驶脑电检测系统及检测方法
CN103824063A (zh) * 2014-03-06 2014-05-28 西安电子科技大学 基于稀疏表示的动态手势识别方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102119857A (zh) * 2011-02-15 2011-07-13 陕西师范大学 基于匹配追踪算法的疲劳驾驶脑电检测系统及检测方法
CN103824063A (zh) * 2014-03-06 2014-05-28 西安电子科技大学 基于稀疏表示的动态手势识别方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
QIFAN PU 等: "Whole-Home Gesture Recognition Using Wireless Signals", 《PROCEEDINGS OF THE 19TH ANNUAL INTERNATIONAL CONFERENCE ON MOBILE COMPUTING & NETWORKING》 *
YOUNGWOOK KIM 等: "Human Activity Classification Based on Micro-Doppler Signatures Using a Support Vector Machine", 《IEEE TRANSAC TIONS ON GEOSCIENCE AND REMOTE SENSING》 *

Cited By (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107368279A (zh) * 2017-07-03 2017-11-21 中科深波科技(杭州)有限公司 一种基于多普勒效应的遥控操作方法及其操作系统
CN108519812A (zh) * 2018-03-21 2018-09-11 电子科技大学 一种基于卷积神经网络的三维微多普勒手势识别方法
CN110309690B (zh) * 2018-03-27 2022-09-27 南京理工大学 基于时频谱和距离多普勒谱的手势识别检测方法
CN110309689A (zh) * 2018-03-27 2019-10-08 南京理工大学 基于超宽带雷达的Gabor域手势识别检测方法
CN110309690A (zh) * 2018-03-27 2019-10-08 南京理工大学 基于时频谱和距离多普勒谱的手势识别检测方法
CN110309689B (zh) * 2018-03-27 2023-04-07 南京理工大学 基于超宽带雷达的Gabor域手势识别检测方法
CN110488264A (zh) * 2019-07-05 2019-11-22 珠海格力电器股份有限公司 人员检测方法、装置、电子设备及存储介质
CN112946620B (zh) * 2021-01-19 2021-09-03 中国人民解放军国防科技大学 基于改进os-cfar检测与时频聚类的雷达目标微多普勒提取方法
CN112946620A (zh) * 2021-01-19 2021-06-11 中国人民解放军国防科技大学 基于改进os-cfar检测与时频聚类的雷达目标微多普勒提取方法
CN113033416A (zh) * 2021-03-26 2021-06-25 深圳市华杰智通科技有限公司 一种基于稀疏函数的毫米波雷达手势识别方法
CN113064489A (zh) * 2021-04-02 2021-07-02 深圳市华杰智通科技有限公司 一种基于L1-Norm的毫米波雷达手势识别方法
CN113407028A (zh) * 2021-06-24 2021-09-17 上海科技大学 多用户运动手势控制方法、装置、智能音箱和介质
CN113407028B (zh) * 2021-06-24 2023-07-18 上海科技大学 多用户运动手势控制方法、装置、智能音箱和介质
CN114093026A (zh) * 2021-11-17 2022-02-25 清华大学 基于毫米波合成孔径雷达成像的静态手势识别方法及装置
CN114511873A (zh) * 2021-12-16 2022-05-17 清华大学 基于毫米波雷达成像的静态手势识别方法及装置
CN114511873B (zh) * 2021-12-16 2024-04-23 清华大学 基于毫米波雷达成像的静态手势识别方法及装置

Also Published As

Publication number Publication date
CN106855941B (zh) 2019-08-09

Similar Documents

Publication Publication Date Title
CN106855941B (zh) 基于雷达微多普勒信号稀疏优化的手势识别方法及系统
CN105931253B (zh) 一种基于半监督学习相结合的图像分割方法
CN108229404A (zh) 一种基于深度学习的雷达回波信号目标识别方法
CN106355151A (zh) 一种基于深度置信网络的三维sar图像目标识别方法
CN103954935A (zh) 一种最小l1范数下的雷达信号分选方法
CN108182450A (zh) 一种基于深度卷积网络的机载探地雷达目标识别方法
CN106874956A (zh) 图像分类卷积神经网络结构的构建方法
CN108256436A (zh) 一种基于联合分类的雷达hrrp目标识别方法
CN108960330A (zh) 基于快速区域卷积神经网络的遥感图像语义生成方法
CN103984966A (zh) 基于稀疏表示的sar图像目标识别方法
CN111461037B (zh) 一种基于fmcw雷达的端到端手势识别方法
CN106250848A (zh) 一种基于多模型融合的单类水声目标识别方法
CN104215935A (zh) 一种基于决策加权融合的雷达炮弹目标识别方法
CN102567963A (zh) 基于量子多目标聚类的遥感图像分割方法
Cain et al. Convolutional neural networks for radar emitter classification
CN109753874A (zh) 一种基于机器学习的低慢小雷达目标分类方法
CN106250925B (zh) 一种基于改进的典型相关分析的零样本视频分类方法
CN113759323B (zh) 基于改进K-Means联合卷积自编码器的信号分选方法及装置
CN110907908B (zh) 基于包络分析的导航雷达信号分选方法
CN110031827B (zh) 一种基于超声波测距原理的手势识别方法
CN102968796A (zh) 基于采样学习的sar图像分割方法
CN104008403B (zh) 一种svm(矢量机)模式的多目标识别判定方法
CN105997093A (zh) 基于雷达主成分分析的肢体运动分离方法
CN109766752A (zh) 一种基于深度学习的目标匹配和定位方法及系统、计算机
CN104375139B (zh) 一种基于一维集方法的脉冲多普勒雷达改进测距方法

Legal Events

Date Code Title Description
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant