CN111399642B - 手势的识别方法、装置、移动终端和存储介质 - Google Patents

手势的识别方法、装置、移动终端和存储介质 Download PDF

Info

Publication number
CN111399642B
CN111399642B CN202010157846.1A CN202010157846A CN111399642B CN 111399642 B CN111399642 B CN 111399642B CN 202010157846 A CN202010157846 A CN 202010157846A CN 111399642 B CN111399642 B CN 111399642B
Authority
CN
China
Prior art keywords
gesture
distance
doppler
track
frame
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010157846.1A
Other languages
English (en)
Other versions
CN111399642A (zh
Inventor
阳召成
郑鑫博
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen University
Original Assignee
Shenzhen University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen University filed Critical Shenzhen University
Priority to CN202010157846.1A priority Critical patent/CN111399642B/zh
Publication of CN111399642A publication Critical patent/CN111399642A/zh
Application granted granted Critical
Publication of CN111399642B publication Critical patent/CN111399642B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G06V40/28—Recognition of hand or arm movements, e.g. recognition of deaf sign language
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2218/00—Aspects of pattern recognition specially adapted for signal processing
    • G06F2218/02—Preprocessing
    • G06F2218/04—Denoising
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2218/00—Aspects of pattern recognition specially adapted for signal processing
    • G06F2218/08—Feature extraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2218/00—Aspects of pattern recognition specially adapted for signal processing
    • G06F2218/12—Classification; Matching

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computational Linguistics (AREA)
  • Software Systems (AREA)
  • Mathematical Physics (AREA)
  • Computing Systems (AREA)
  • Human Computer Interaction (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Social Psychology (AREA)
  • Psychiatry (AREA)
  • Radar Systems Or Details Thereof (AREA)

Abstract

本发明实施例提供了一种手势的识别方法、装置、移动终端和存储介质。该手势的识别方法包括：基于雷达获取雷达回波数据；根据所述雷达回波数据判断是否存在手势运动；当存在所述手势运动时，根据所述雷达回波数据提取手势轨迹特征；根据所述手势轨迹特征识别出目标手势，所述目标手势为多个预设手势中的一个。通过手势轨迹特征对手势进行识别，达到提高手势识别的鲁棒性的效果。

Description

手势的识别方法、装置、移动终端和存储介质
技术领域
本发明实施例涉及人机交互技术领域，尤其涉及一种手势的识别方法、装置、移动终端和存储介质。
背景技术
手势作为用户的日常动作之一，其动作简短、含义丰富和种类繁多，并且能够在特定的场合传递人类想要表达的信息，是人类日常交流的重要环节。因此，将手势识别作为新型人机交互方式是可行且合适的。手势动作能够直接作为人机交互的方式达到人与计算机之间的沟通，从而在人类生活中的方方面面得到充分应用，例如用于帮助聋哑人正常交流、智能驾驶中识别交警手势、智能家居中控制家居工作和智能黑板辅助教学等等。手势识别技术也可以结合虚拟现实技术，实现更多娱乐应用，如智能观光、虚拟现实游戏等。
目前，常用的手势识别技术有基于可穿戴设备的方法、基于视觉传感器的方法、基于Wlan信号的方法和基于雷达传感器的方法。基于可穿戴设备的手势识别技术是直接将设备固定在用户手部，采集手势运动数据以分析是何种手势，但其需要用户戴上相关设备才能实现较高的手势识别准确率，而且穿戴设备需要与人体接触，长期佩戴容易引起用户的不适，降低用户体验。基于视觉传感器的方法主要使用摄像机采集手势图像，通过图像处理技术得到手势特征后进行手势分类，从而实现手势识别。
现阶段基于视觉传感器的手势识别技术仍受限于摄像头成像原理，其很容易受到光照和其他环境条件影响，由此导致手势与背景无法分割等问题，从而使得手势识别性能下降。基于Wlan信号的方法是基于电磁波对手势目标进行探测和识别的技术。但该信号频点和带宽都比较低，在室内传播时易受多径干扰影响，降低识别性能。基于雷达传感器的方法也是基于电磁波—回波方式对手势目标进行探测和识别。与以上三种技术相比，雷达传感器的优势在于：非接触式；可以全天时全天候工作；不会暴露用户隐私；可以穿透障碍物实现手势探测和识别；高帧率等。基于雷达传感器的优势，越来越多人将雷达传感器应用于手势识别。
然而目前基于雷达传感器的手势识别方法大多是基于小训练样本，没有考虑手势识别技术的鲁棒性问题。
发明内容
本发明实施例提供一种手势的识别方法、装置、移动终端和存储介质，以实现提高手势识别的鲁棒性的效果。
第一方面，本发明实施例提供了一种手势的识别方法，包括：
基于雷达获取雷达回波数据；
根据所述雷达回波数据判断是否存在手势运动；
当存在所述手势运动时，根据所述雷达回波数据提取手势轨迹特征；
根据所述手势轨迹特征识别出目标手势，所述目标手势为多个预设手势中的一个。
可选的，所述手势轨迹特征包括距离轨迹特征，所述根据所述雷达回波数据提取手势轨迹特征包括：
根据所述雷达回波数据进行快时间维的傅里叶变换，得到多帧距离FFT数据；
对每一帧距离FFT数据求模并沿慢时间维求均值；
对每一帧距离FFT数据和对应的均值进行积累，构建距离-时间图；
提取所述距离-时间图中能量最大的距离单元作为所述距离轨迹特征。
可选的，所述手势轨迹特征还包括多普勒轨迹特征，所述根据所述雷达回波数据提取手势轨迹特征还包括：
根据所述多帧距离FFT数据进行慢时间维的傅里叶变换，得到多帧多普勒FFT数据；
基于所述距离轨迹特征提取每一帧多普勒FFT数据上的多普勒分量，所述多普勒分量对应所述距离单元；
对每一帧多普勒FFT数据的多普勒分量进行积累，构建多普勒-时间图；
提取所述多普勒-时间图中能量最大的多普勒单元作为所述多普勒轨迹特征。
可选的，所述手势轨迹特征还包括角度轨迹特征，所述根据所述雷达回波数据提取手势轨迹特征还包括：
根据所述多帧距离FFT数据，在天线通道维应用多重信号分类算法得到所述距离轨迹特征的距离单元上的角度谱，得到多帧角度谱；
对每一帧角度谱进行积累，构建角度-时间图；
提取所述角度-时间图中能量最大的角度单元作为所述角度轨迹特征。
可选的，所述手势轨迹特征包括距离轨迹特征、多普勒轨迹特征和角度轨迹特征，所述根据所述手势轨迹特征识别出目标手势包括：
将所述手势轨迹特征输入到卡尔曼滤波器进行平滑去噪，得到所述手势运动对应的距离-多普勒-角度三维轨迹特征；
根据所述距离-多普勒-角度三维轨迹特征识别出目标手势。
可选的，所述根据所述手势轨迹特征识别出目标手势包括：
将所述手势轨迹特征输入至训练好的神经网络模型；
根据所述神经网络模型的输出结果确定所述目标手势。
可选的，所述根据所述雷达回波数据判断是否存在手势运动包括：
对所述雷达回波数据的快时间维进行傅里叶变换，得到距离维上的雷达回波数据；
通过一阶递归滤波器对所述距离维上的雷达回波数据进行杂波抑制；
对抑制后的距离维上的雷达回波数据通过对数高斯-恒虚警检测器检测是否有手势运动。
第二方面，本发明实施例提供了一种手势的识别装置，包括：
雷达回波数据获取模块，用于基于雷达获取雷达回波数据；
判断模块，用于根据所述雷达回波数据判断是否存在手势运动；
手势轨迹特征提取模块，用于当存在所述手势运动时，根据所述雷达回波数据提取手势轨迹特征；
手势识别模块，用于根据所述手势轨迹特征识别出目标手势，所述目标手势为多个预设手势中的一个。
第三方面，本发明实施例提供了一种移动终端，包括：
一个或多个处理器；
存储装置，用于存储一个或多个程序，
当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如本发明任意实施例所述的手势的识别方法。
第四方面，本发明实施例提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如本发明任意实施例所述的手势的识别方法。
本发明实施例通过基于雷达获取雷达回波数据；根据所述雷达回波数据判断是否存在手势运动；当存在所述手势运动时，根据所述雷达回波数据提取手势轨迹特征；根据所述手势轨迹特征识别出目标手势，所述目标手势为多个预设手势中的一个，解决了现有探测技术没有考虑手势识别的鲁棒性的问题，实现了提高手势识别的鲁棒性的效果。
附图说明
图1是本发明实施例一提供的一种手势的识别方法的流程示意图；
图2是本发明实施例一提供的一种距离轨迹特征的示意图；
图3是本发明实施例一提供的一种多普勒轨迹特征的示意图；
图4是本发明实施例一提供的一种角度轨迹特征的示意图；
图5是本发明实施例二提供的一种手势的识别装置的结构示意图；
图6是本发明实施例三提供的一种移动终端的结构示意图。
具体实施方式
下面结合附图和实施例对本发明作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释本发明，而非对本发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本发明相关的部分而非全部结构。
在更加详细地讨论示例性实施例之前应当提到的是，一些示例性实施例被描述成作为流程图描绘的处理或方法。虽然流程图将各步骤描述成顺序的处理，但是其中的许多步骤可以被并行地、并发地或者同时实施。此外，各步骤的顺序可以被重新安排。当其操作完成时处理可以被终止，但是还可以具有未包括在附图中的附加步骤。处理可以对应于方法、函数、规程、子例程、子程序等等。
此外，术语“第一”、“第二”等可在本文中用于描述各种方向、动作、步骤或元件等，但这些方向、动作、步骤或元件不受这些术语限制。这些术语仅用于将第一个方向、动作、步骤或元件与另一个方向、动作、步骤或元件区分。举例来说，在不脱离本申请的范围的情况下，可以将第一信息为第二信息，且类似地，可将第二信息称为第一信息。第一信息和第二信息两者都是信息，但其不是同一信息。术语“第一”、“第二”等而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个该特征。在本发明的描述中，“多个”的含义是至少两个，例如两个，三个等，除非另有明确具体的限定。
实施例一
图1为本发明实施例一提供的一种手势的识别方法的流程示意图，可适用于对手势进行识别的场景，该方法可以由手势的识别装置来执行，该装置可以采用软件和/或硬件的方式实现，并可集成在移动终端上。
如图1所示，本发明实施例一提供的手势的识别方法包括：
S110、基于雷达获取雷达回波数据。
其中，雷达回波数据是指通过雷达发射预设波形后，经物体反射的回波信号得到的数据。可选的，本实施例的雷达为IWR1443雷达，IWR1443雷达属于调频连续波(FrequencyModulated Continuous Wave，FMCW)MIMO雷达。具体的，雷达持续发射预设波形，被物体反射后的回波信号被雷达接收，送入DCA1000采集板，由DCA1000采集板完成对回波信号的采样，得到雷达回波数据。具体的，雷达包括快时间维-慢时间维-天线通道维等三个维度，则相应的雷达回波数据为快时间维-慢时间维-天线通道维的回波数据。
S120、根据所述雷达回波数据判断是否存在手势运动。
其中，手势运动是指通过手部，例如手掌执行的一系列连贯动作。在本实施例中，对于如何根据雷达回波数据判断是否存在手势运动的方式不做具体限制。
在一个可选的实施方式中，根据所述雷达回波数据判断是否存在手势运动包括：
对所述雷达回波数据的快时间维进行傅里叶变换，得到距离维上的雷达回波数据；通过一阶递归滤波器对所述距离维上的雷达回波数据进行杂波抑制；对抑制后的距离维上的雷达回波数据通过对数高斯-恒虚警检测器检测是否有手势运动。
在本实施方式中，具体的，对数高斯-恒虚警检测器首先对输入的雷达回波数据进行处理后确定一个门限，将此门限与输入端信号相比，如输入端信号超过了此门限，则判为有手势运动，否则，判为无手势运动。
S130、当存在所述手势运动时，根据所述雷达回波数据提取手势轨迹特征。
其中，手势轨迹特征是指与手势运动形成的轨迹相关的特征。在本步骤中，当存在手势运动时才提取手势轨迹特征，若不存在手势运动则可以返回至S110、基于雷达获取雷达回波数据的步骤。可选的，手势轨迹特征包括距离轨迹特征，还包括多普勒轨迹特征和/或角度轨迹特征，此处不做具体限制。其中，多普勒轨迹特征表征了速率的变化趋势，多普勒和速率之间可以通过公式计算得到。优选的，手势轨迹特征包括距离轨迹特征、多普勒轨迹特征和角度轨迹特征。可选的，可以对雷达回波数据进行杂波抑制后再进行手势轨迹特征的提取，使得手势轨迹特征提取更准确。
在一个可选的实施方式中，手势轨迹特征包括距离轨迹特征，所述根据所述雷达回波数据提取手势轨迹特征包括：
根据所述雷达回波数据进行快时间维的傅里叶变换，得到多帧距离FFT数据；对每一帧距离FFT数据求模并沿慢时间维求均值；对每一帧距离FFT数据和对应的均值进行积累，构建距离-时间图；提取所述距离-时间图中能量最大的距离单元作为所述距离轨迹特征。
在本实施方式中，距离FFT数据通过将雷达回波数据进行快时间维的傅里叶变换得到。具体的，雷达回波数据为据为快时间维-慢时间维-天线通道维的回波数据，其中快时间维对应距离维，慢事件维对应多普勒维，天线通道维对应角度维。具体的，每一帧距离FFT数据对应一个时间。对每一帧距离FFT数据求模是指求出每一帧距离FFT数据的模长。沿慢时间维求均值是指对距离FFT数据在慢时间维上的求和平均。对每一帧距离FFT数据对应的均值进行积累是指对每一帧对应的快时间维的距离FFT数据进行积累。以快时间维为32维，慢时间维为32维为例，每一帧距离FFT数据包括快时间32维中的每一维对应的距离FFT数据，则求得快时间32维的每一维对应的距离FFT数据在慢时间32维上的数值，再进行求和，再对每一帧距离FFT数据在时间上进行积累，得到距离-时间图。可选的，在对每一帧距离FFT数据求模之前，还可以对多帧距离FFT数据通过一阶递归滤波器进行杂波抑制，以通过多帧杂波抑制后的距离FFT数据进行求模。
在本实施方式中，将距离-时间图中能量最大的距离单元作为所述距离轨迹特征。具体的，距离单元是指距离-时间图上时间序列上能量最大的点。具体的，由于雷达对回波的采样数据是离散的，因此在距离-时间图上的距离单元为一个个点，将距离单元进行连线可以得到距离轨迹特征。参考图2，图2是本实施例提供的一种距离轨迹特征的示意图。图2中的距离轨迹特征10对应着时间序列。
在一个可选的实施方式中，手势轨迹特征还包括多普勒轨迹特征，所述根据所述雷达回波数据提取手势轨迹特征还包括：
根据所述多帧距离FFT数据进行慢时间维的傅里叶变换，得到多帧多普勒FFT数据；基于所述距离轨迹特征提取每一帧多普勒FFT数据上的多普勒分量，所述多普勒分量对应所述距离单元；对每一帧多普勒FFT数据的多普勒分量进行积累，构建多普勒-时间图；提取所述多普勒-时间图中能量最大的多普勒单元作为所述多普勒轨迹特征。
在本实施方式中，多普勒FFT数据是指对多帧距离FFT数据进行慢时间维的傅里叶变换得到的数据。具体的，每一帧多普勒FFT数据对应一个时间。可选的，可以对距离FFT数据进行杂波抑制后再进行慢时间维的傅里叶变换，避免因识别场景中存在静态物体导致的识别不准确或失败。可选的，本实施方式中的距离FFT数据可以是杂波抑制后的距离FFT数据。具体的，对距离轨迹特征上的每一帧距离单元提取对应的多个多普勒分量。每一帧多普勒FFT数据上的多普勒分量的数量与慢时间维的维数相同。例如，慢时间维的维数为32维时，每一帧多普勒FFT数据的多普勒分量为32。对每一帧多普勒FFT数据的多个多普勒分量进行积累，得到多普勒-时间图。在本实施方式中，将多普勒-时间图中能量最大的多普勒单元作为所述多普勒轨迹特征。其中，多普勒单元是指能量最大的多普勒分量对应的点。参考图3，图3是本实施例提供的一种多普勒轨迹特征的示意图。图3中的多普勒轨迹特征20对应着时间序列。
在另一个可选的实施方式中，手势轨迹特征还包括角度轨迹特征，所述根据所述雷达回波数据提取手势轨迹特征还包括：
根据所述多帧距离FFT数据，在天线通道维应用多重信号分类算法得到所述距离轨迹特征的距离单元上的角度谱，得到多帧角度谱；对每一帧角度谱进行积累，构建角度-时间图；提取所述角度-时间图中能量最大的角度单元作为所述角度轨迹特征。
在本实施方式中，具体的，对距离轨迹特征的每一帧距离单元提取对应多普勒分量，然后在天线通道维进行多重信号分类算法，得到对应距离-轨迹特征的多帧角度谱。具体的，每一帧角度谱包括多个角度分量。具体的，角度分量的数量和天线通道维的维数相同。对每一帧角度谱的多个角度分量进行积累，得到角度-时间图。在角度-事件图上提取能量最大的角度单元作为角度轨迹特征。其中，角度单元是指能量最大的角度分量对应的点。参考图4，图4是本实施例提供的一种角度轨迹特征的示意图。图4中的角度轨迹特征30对应着时间序列。
S140、根据所述手势轨迹特征识别出目标手势，所述目标手势为多个预设手势中的一个。
其中，目标手势是指多个预设手势中的一个。多个预设手势可以根据需要进行设置。可选的，多个预设手势包括但不限于单手左右挥动、单手上下挥动、单手画圆、单手画×、单手画√、单手翻转、单手模拟开枪、手语“你好”和单手画五角星等，此处不做具体限制。本实施例通过手势轨迹特征进行手势的识别，鲁棒性更好。此外，相较于雷达图像特征的识别，轨迹特征更加明显，且维度更低，便于移植到移动终端中，例如手机、智能穿戴物品等移动终端。此外，不容易受到光照和其他环境条件影响，识别的结果更准确。
在本步骤中，具体的，当手势轨迹特征包括距离轨迹特征时，则根据距离轨迹特征此一维特征识别出目标手势；当手势轨迹特征包括距离轨迹特征和多普勒轨迹特征时，则根据距离轨迹特征-多普勒轨迹特征的二维轨迹特征识别出目标手势；当手势轨迹特征包括距离轨迹特征和角度轨迹特征时，则根据距离轨迹特征-角度轨迹特征的二维轨迹特征识别出目标手势；当手势轨迹特征包括距离轨迹特征、多普勒轨迹特征和角度轨迹特征时，则根据距离-多普勒-角度三维轨迹特征识别出目标手势。
在一个可选的实施方式中，手势轨迹特征包括距离轨迹特征、多普勒轨迹特征和角度轨迹特征，所述根据所述手势轨迹特征识别出目标手势包括：
将所述手势轨迹特征输入到卡尔曼滤波器进行平滑去噪，得到所述手势运动对应的距离-多普勒-角度三维轨迹特征；根据所述距离-多普勒-角度三维轨迹特征识别出目标手势。
在本实施方式中，由于手势轨迹特征包括距离轨迹特征、多普勒轨迹特征和角度轨迹特征的三维轨迹特征，进行手势识别的结果也更准确。卡尔曼滤波(Kalmanfiltering)是一种利用线性系统状态方程，通过系统输入输出观测数据，对系统状态进行最优估计的算法。
在一个可选的实施方式中，根据所述手势轨迹特征识别出目标手势包括：
将所述手势轨迹特征输入至训练好的神经网络模型；根据所述神经网络模型的输出结果确定所述目标手势。
在本实施方式中，该神经网络模型可以是识别时间序列相关的模型，例如LSTM网络模型。示例性的，以多个预设手势为9个为例，该神经网络模型由一个输入层(M个神经元)、一个循环训练的LSTM编码层(M个神经元)、一个输出层(128个神经元)和一个softmax层(9个神经元)组成。具体的，对在LSTM编码层的一次训练后的数据再次输入至该LSTM编码层，以对LSTM编码层进行迭代训练，直至该网络模型收敛。
本发明实施例的技术方案，通过基于雷达获取雷达回波数据；根据所述雷达回波数据判断是否存在手势运动；当存在所述手势运动时，根据所述雷达回波数据提取手势轨迹特征；根据所述手势轨迹特征识别出目标手势，所述目标手势为多个预设手势中的一个，获取的是手势轨迹特征，并根据手势轨迹特征进行手势的识别，鲁棒性更好。此外，相较于雷达图像特征的识别，轨迹特征更加明显，且维度更低，便于移植到移动终端中，例如手机、智能穿戴物品等移动终端。此外，不容易受到光照和其他环境条件影响，识别的结果更准确。
实施例二
图5是本发明实施例二提供的一种手势的识别装置的结构示意图，本实施例可适用于对手势进行识别的场景，该装置可以采用软件和/或硬件的方式实现，并可集成在移动终端上。
如图5所示，本实施例提供的手势的识别装置可以包括雷达回波数据获取模块210、判断模块220、手势轨迹特征提取模块230和手势识别模块240，其中：
雷达回波数据获取模块210，用于基于雷达获取雷达回波数据；判断模块220，用于根据所述雷达回波数据判断是否存在手势运动；手势轨迹特征提取模块230，用于当存在所述手势运动时，根据所述雷达回波数据提取手势轨迹特征；手势识别模块240，用于根据所述手势轨迹特征识别出目标手势，所述目标手势为多个预设手势中的一个。
可选的，手势轨迹特征包括距离轨迹特征，该手势轨迹特征提取模块230具体用于根据所述雷达回波数据进行快时间维的傅里叶变换，得到多帧距离FFT数据；对每一帧距离FFT数据求模并沿慢时间维求均值；对每一帧距离FFT数据和对应的均值进行积累，构建距离-时间图；提取所述距离-时间图中能量最大的距离单元作为所述距离轨迹特征。
可选的，手势轨迹特征还包括多普勒轨迹特征，该手势轨迹特征提取模块230具体还用于根据所述多帧距离FFT数据进行慢时间维的傅里叶变换，得到多帧多普勒FFT数据；基于所述距离轨迹特征提取每一帧多普勒FFT数据上的多普勒分量，所述多普勒分量对应所述距离单元；对每一帧多普勒FFT数据的多普勒分量进行积累，构建多普勒-时间图；提取所述多普勒-时间图中能量最大的多普勒单元作为所述多普勒轨迹特征。
可选的，该手势轨迹特征还包括角度轨迹特征，该手势轨迹特征提取模块230具体还用于根据所述多帧距离FFT数据，在天线通道维应用多重信号分类算法得到所述距离轨迹特征的距离单元上的角度谱，得到多帧角度谱；对每一帧角度谱进行积累，构建角度-时间图；提取所述角度-时间图中能量最大的角度单元作为所述角度轨迹特征。
可选的，该手势识别模块240包括：去噪单元，用于将所述手势轨迹特征输入到卡尔曼滤波器进行平滑去噪，得到所述手势运动对应的距离-多普勒-角度三维轨迹特征；识别单元，用于根据所述距离-多普勒-角度三维轨迹特征识别出目标手势。
可选的，该手势识别模块240具体用于将所述手势轨迹特征输入至训练好的神经网络模型；根据所述神经网络模型的输出结果确定所述目标手势。
可选的，该判断模块220具体用于对所述雷达回波数据的快时间维进行傅里叶变换，得到距离维上的雷达回波数据；通过一阶递归滤波器对所述距离维上的雷达回波数据进行杂波抑制；对抑制后的距离维上的雷达回波数据通过对数高斯-恒虚警检测器检测是否有手势运动。
本发明实施例所提供的手势的识别装置可执行本发明任意实施例所提供的手势的识别方法，具备执行方法相应的功能模块和有益效果。本发明实施例中未详尽描述的内容可以参考本发明任意方法实施例中的描述。
实施例三
图6是本发明实施例三提供的一种移动终端的结构示意图。图6示出了适于用来实现本发明实施方式的示例性移动终端612的框图。图6显示的移动终端612仅仅是一个示例，不应对本发明实施例的功能和使用范围带来任何限制。
如图6所示，移动终端612以通用移动终端的形式表现。移动终端612的组件可以包括但不限于：一个或者多个处理器616，存储装置628，连接不同系统组件(包括存储装置628和处理器616)的总线618。
总线618表示几类总线结构中的一种或多种，包括存储装置总线或者存储装置控制器，外围总线，图形加速端口，处理器或者使用多种总线结构中的任意总线结构的局域总线。举例来说，这些体系结构包括但不限于工业标准体系结构(Industry SubversiveAlliance，ISA)总线，微通道体系结构(Micro Channel Architecture，MAC)总线，增强型ISA总线、视频电子标准协会(Video Electronics Standards Association，VESA)局域总线以及外围组件互连(Peripheral Component Interconnect，PCI)总线。
移动终端612典型地包括多种计算机系统可读介质。这些介质可以是任何能够被移动终端612访问的可用介质，包括易失性和非易失性介质，可移动的和不可移动的介质。
存储装置628可以包括易失性存储器形式的计算机系统可读介质，例如随机存取存储器(Random Access Memory，RAM)630和/或高速缓存存储器632。终端612可以进一步包括其它可移动/不可移动的、易失性/非易失性计算机系统存储介质。仅作为举例，存储系统634可以用于读写不可移动的、非易失性磁介质(图6未显示，通常称为“硬盘驱动器”)。尽管图6中未示出，可以提供用于对可移动非易失性磁盘(例如“软盘”)读写的磁盘驱动器，以及对可移动非易失性光盘，例如只读光盘(Compact Disc Read-Only Memory，CD-ROM),数字视盘(Digital Video Disc-Read Only Memory，DVD-ROM)或者其它光介质)读写的光盘驱动器。在这些情况下，每个驱动器可以通过一个或者多个数据介质接口与总线618相连。存储装置628可以包括至少一个程序产品，该程序产品具有一组(例如至少一个)程序模块，这些程序模块被配置以执行本发明各实施例的功能。
具有一组(至少一个)程序模块642的程序/实用工具640，可以存储在例如存储装置628中，这样的程序模块642包括但不限于操作系统、一个或者多个应用程序、其它程序模块以及程序数据，这些示例中的每一个或某种组合中可能包括网络环境的实现。程序模块642通常执行本发明所描述的实施例中的功能和/或方法。
移动终端612也可以与一个或多个外部设备614(例如键盘、指向终端、显示器624等)通信，还可与一个或者多个使得用户能与该移动终端612交互的终端通信，和/或与使得该移动终端612能与一个或多个其它计算终端进行通信的任何终端(例如网卡，调制解调器等等)通信。这种通信可以通过输入/输出(I/O)接口622进行。并且，移动终端612还可以通过网络适配器620与一个或者多个网络(例如局域网(Local Area Network，LAN)，广域网(Wide Area Network，WAN)和/或公共网络，例如因特网)通信。如图6所示，网络适配器620通过总线618与移动终端612的其它模块通信。应当明白，尽管图中未示出，可以结合移动终端612使用其它硬件和/或软件模块，包括但不限于：微代码、终端驱动器、冗余处理器、外部磁盘驱动阵列、磁盘阵列(Redundant Arrays of Independent Disks，RAID)系统、磁带驱动器以及数据备份存储系统等。
处理器616通过运行存储在存储装置628中的程序，从而执行各种功能应用以及数据处理，例如实现本发明任意实施例所提供的一种手势的识别方法，该方法可以包括：
基于雷达获取雷达回波数据；
根据所述雷达回波数据判断是否存在手势运动；
当存在所述手势运动时，根据所述雷达回波数据提取手势轨迹特征；
根据所述手势轨迹特征识别出目标手势，所述目标手势为多个预设手势中的一个。
本发明实施例的技术方案，通过基于雷达获取雷达回波数据；根据所述雷达回波数据判断是否存在手势运动；当存在所述手势运动时，根据所述雷达回波数据提取手势轨迹特征；根据所述手势轨迹特征识别出目标手势，所述目标手势为多个预设手势中的一个，获取的是手势轨迹特征，并根据手势轨迹特征进行手势的识别，鲁棒性更好。此外，相较于雷达图像特征的识别，轨迹特征更加明显，且维度更低，便于移植到移动终端中，例如手机、智能穿戴物品等移动终端。此外，不容易受到光照和其他环境条件影响，识别的结果更准确。
实施例四
本发明实施例四还提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如本发明任意实施例所提供的一种手势的识别方法，该方法可以包括：
基于雷达获取雷达回波数据；
根据所述雷达回波数据判断是否存在手势运动；
当存在所述手势运动时，根据所述雷达回波数据提取手势轨迹特征；
根据所述手势轨迹特征识别出目标手势，所述目标手势为多个预设手势中的一个。
本发明实施例的计算机可读存储介质，可以采用一个或多个计算机可读的介质的任意组合。计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本文件中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。
计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。
存储介质上包含的程序代码可以用任何适当的介质传输，包括——但不限于无线、电线、光缆、RF等等，或者上述的任意合适的组合。
可以以一种或多种程序设计语言或其组合来编写用于执行本发明操作的计算机程序代码，所述程序设计语言包括面向对象的程序设计语言—诸如Java、Smalltalk、C++，还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或终端上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络——包括局域网(LAN)或广域网(WAN)—连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。
本发明实施例的技术方案，通过基于雷达获取雷达回波数据；根据所述雷达回波数据判断是否存在手势运动；当存在所述手势运动时，根据所述雷达回波数据提取手势轨迹特征；根据所述手势轨迹特征识别出目标手势，所述目标手势为多个预设手势中的一个，获取的是手势轨迹特征，并根据手势轨迹特征进行手势的识别，鲁棒性更好。此外，相较于雷达图像特征的识别，轨迹特征更加明显，且维度更低，便于移植到移动终端中，例如手机、智能穿戴物品等移动终端。此外，不容易受到光照和其他环境条件影响，识别的结果更准确
注意，上述仅为本发明的较佳实施例及所运用技术原理。本领域技术人员会理解，本发明不限于这里所述的特定实施例，对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本发明的保护范围。因此，虽然通过以上实施例对本发明进行了较为详细的说明，但是本发明不仅仅限于以上实施例，在不脱离本发明构思的情况下，还可以包括更多其他等效实施例，而本发明的范围由所附的权利要求范围决定。

Claims (6)

1.一种手势的识别方法，其特征在于，包括：
基于雷达获取雷达回波数据，其中，所述雷达包括快时间维-慢时间维-天线通道维，所述雷达回波数据为快时间维-慢时间维-天线通道维的回波数据；
根据所述雷达回波数据判断是否存在手势运动；
当存在所述手势运动时，根据所述雷达回波数据提取手势轨迹特征，其中，所述手势轨迹特征包括距离轨迹特征、多普勒轨迹特征和角度轨迹特征；
根据所述手势轨迹特征识别出目标手势，所述目标手势为多个预设手势中的一个；
其中，所述根据所述手势轨迹特征识别出目标手势包括：
将所述手势轨迹特征输入到卡尔曼滤波器进行平滑去噪，得到所述手势运动对应的距离-多普勒-角度三维轨迹特征；
根据所述距离-多普勒-角度三维轨迹特征识别出目标手势；
其中，所述根据所述雷达回波数据提取手势轨迹特征包括：
根据所述雷达回波数据进行快时间维的傅里叶变换，得到多帧距离FFT数据；
对每一帧距离FFT数据求模并沿慢时间维求均值，得到每一帧距离FFT数据对应的均值结果；
对每一帧距离FFT数据对应的均值结果进行积累，构建距离-时间图；
提取所述距离-时间图中能量最大的距离单元作为所述距离轨迹特征；
根据所述多帧距离FFT数据进行慢时间维的傅里叶变换，得到多帧多普勒FFT数据；
基于所述距离轨迹特征提取每一帧多普勒FFT数据上的多普勒分量，所述多普勒分量对应所述距离单元；
对每一帧多普勒FFT数据的多普勒分量进行积累，构建多普勒-时间图；
提取所述多普勒-时间图中能量最大的多普勒单元作为所述多普勒轨迹特征；
根据所述多帧距离FFT数据，在天线通道维应用多重信号分类算法得到所述距离轨迹特征的距离单元上的角度谱，得到多帧角度谱；
对每一帧角度谱进行积累，构建角度-时间图；
提取所述角度-时间图中能量最大的角度单元作为所述角度轨迹特征。
2.如权利要求1所述的手势的识别方法，其特征在于，所述根据所述手势轨迹特征识别出目标手势包括：
将所述手势轨迹特征输入至训练好的神经网络模型；
根据所述神经网络模型的输出结果确定所述目标手势。
3.如权利要求1所述的手势的识别方法，其特征在于，所述根据所述雷达回波数据判断是否存在手势运动包括：
对所述雷达回波数据的快时间维进行傅里叶变换，得到距离维上的雷达回波数据；
通过一阶递归滤波器对所述距离维上的雷达回波数据进行杂波抑制；
对抑制后的距离维上的雷达回波数据通过对数高斯-恒虚警检测器检测是否有手势运动。
4.一种手势的识别装置，其特征在于，包括：
雷达回波数据获取模块，用于基于雷达获取雷达回波数据，其中，所述雷达回波数据为快时间维-慢时间维-天线通道维的回波数据；
判断模块，用于根据所述雷达回波数据判断是否存在手势运动；
手势轨迹特征提取模块，用于当存在所述手势运动时，根据所述雷达回波数据提取手势轨迹特征，其中，所述手势轨迹特征包括距离轨迹特征、多普勒轨迹特征和角度轨迹特征；
手势识别模块，用于根据所述手势轨迹特征识别出目标手势，所述目标手势为多个预设手势中的一个；
其中，所述手势识别模块，包括：
去噪单元，用于将所述手势轨迹特征输入到卡尔曼滤波器进行平滑去噪，得到所述手势运动对应的距离-多普勒-角度三维轨迹特征；
识别单元，用于根据所述距离-多普勒-角度三维轨迹特征识别出目标手势；
其中，所述手势轨迹特征提取模块，具体用于：
根据所述雷达回波数据进行快时间维的傅里叶变换，得到多帧距离FFT数据；对每一帧距离FFT数据求模并沿慢时间维求均值，得到每一帧距离FFT数据对应的均值结果；对每一帧距离FFT数据对应的均值结果进行积累，构建距离-时间图；提取所述距离-时间图中能量最大的距离单元作为所述距离轨迹特征；根据所述多帧距离FFT数据进行慢时间维的傅里叶变换，得到多帧多普勒FFT数据；基于所述距离轨迹特征提取每一帧多普勒FFT数据上的多普勒分量，所述多普勒分量对应所述距离单元；对每一帧多普勒FFT数据的多普勒分量进行积累，构建多普勒-时间图；提取所述多普勒-时间图中能量最大的多普勒单元作为所述多普勒轨迹特征；根据所述多帧距离FFT数据，在天线通道维应用多重信号分类算法得到所述距离轨迹特征的距离单元上的角度谱，得到多帧角度谱；对每一帧角度谱进行积累，构建角度-时间图；提取所述角度-时间图中能量最大的角度单元作为所述角度轨迹特征。
5.一种移动终端，其特征在于，包括：
一个或多个处理器；
存储装置，用于存储一个或多个程序；
当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如权利要求1-3中任一项所述的手势的识别方法。
6.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1-3中任一项所述的手势的识别方法。
CN202010157846.1A 2020-03-09 2020-03-09 手势的识别方法、装置、移动终端和存储介质 Active CN111399642B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010157846.1A CN111399642B (zh) 2020-03-09 2020-03-09 手势的识别方法、装置、移动终端和存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010157846.1A CN111399642B (zh) 2020-03-09 2020-03-09 手势的识别方法、装置、移动终端和存储介质

Publications (2)

Publication Number Publication Date
CN111399642A CN111399642A (zh) 2020-07-10
CN111399642B true CN111399642B (zh) 2023-09-29

Family

ID=71434140

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010157846.1A Active CN111399642B (zh) 2020-03-09 2020-03-09 手势的识别方法、装置、移动终端和存储介质

Country Status (1)

Country Link
CN (1) CN111399642B (zh)

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112014820A (zh) * 2020-08-27 2020-12-01 南京矽典微系统有限公司 基于运动趋势意图判断的信号处理方法及系统
CN112014819A (zh) * 2020-08-27 2020-12-01 南京矽典微系统有限公司 数字信号处理方法、数字信号处理系统及雷达芯片
CN112327286B (zh) * 2020-10-13 2023-10-20 深圳大学 低复杂度下日常活动分类方法、装置、设备及存储介质
CN112415510B (zh) * 2020-11-05 2023-08-04 深圳大学 双站雷达手势识别方法、装置、系统和存储介质
CN112363156A (zh) * 2020-11-12 2021-02-12 苏州矽典微智能科技有限公司 隔空手势识别方法和装置以及智能设备
CN112198966B (zh) * 2020-12-08 2021-03-16 中南大学 基于fmcw雷达系统的笔画识别方法以及系统
CN114661142B (zh) * 2020-12-22 2024-08-27 华为技术有限公司 一种手势识别方法以及装置
CN112731387A (zh) * 2020-12-31 2021-04-30 佛山市顺德区美的洗涤电器制造有限公司 用于油烟机的启动方法、装置、油烟机及处理器
CN113311405B (zh) * 2021-05-27 2023-06-20 深圳大学 一种区域人数统计方法、装置、计算机设备及存储介质
CN113406610B (zh) * 2021-06-16 2023-06-23 深圳大学 一种目标检测方法、装置、设备和存储介质
CN114397963B (zh) * 2022-01-18 2023-06-30 深圳大学 一种手势识别方法、装置、电子设备及存储介质
CN116482680B (zh) * 2023-06-19 2023-08-25 精华隆智慧感知科技（深圳）股份有限公司 一种身体干扰识别方法、装置、系统和存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105786185A (zh) * 2016-03-12 2016-07-20 浙江大学 基于连续波微多普勒雷达的非接触式手势识别系统与方法
CN108344995A (zh) * 2018-01-25 2018-07-31 宁波隔空智能科技有限公司 一种基于微波雷达技术的手势识别装置及手势识别方法
CN108958490A (zh) * 2018-07-24 2018-12-07 Oppo（重庆）智能科技有限公司 电子装置及其手势识别方法、计算机可读存储介质
CN110647803A (zh) * 2019-08-09 2020-01-03 深圳大学 一种手势识别方法、系统以及存储介质

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11204647B2 (en) * 2017-09-19 2021-12-21 Texas Instruments Incorporated System and method for radar gesture recognition
US20200026360A1 (en) * 2018-07-19 2020-01-23 Infineon Technologies Ag Gesture Detection System and Method Using Radar Sensors
US10770035B2 (en) * 2018-08-22 2020-09-08 Google Llc Smartphone-based radar system for facilitating awareness of user presence and orientation

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105786185A (zh) * 2016-03-12 2016-07-20 浙江大学 基于连续波微多普勒雷达的非接触式手势识别系统与方法
CN108344995A (zh) * 2018-01-25 2018-07-31 宁波隔空智能科技有限公司 一种基于微波雷达技术的手势识别装置及手势识别方法
CN108958490A (zh) * 2018-07-24 2018-12-07 Oppo（重庆）智能科技有限公司 电子装置及其手势识别方法、计算机可读存储介质
CN110647803A (zh) * 2019-08-09 2020-01-03 深圳大学 一种手势识别方法、系统以及存储介质

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
王俊 ; 郑彤 ; 雷鹏 ; 张原 ; 樵明朗 ; .基于卷积神经网络的手势动作雷达识别方法.北京航空航天大学学报.2017,(06),全文. *

Also Published As

Publication number Publication date
CN111399642A (zh) 2020-07-10

Similar Documents

Publication Publication Date Title
CN111399642B (zh) 手势的识别方法、装置、移动终端和存储介质
CN111027458B (zh) 基于雷达三维轨迹特征的手势识别方法、装置及存储介质
CN110309690B (zh) 基于时频谱和距离多普勒谱的手势识别检测方法
CN110007366B (zh) 一种基于多传感器融合的生命搜寻方法以及系统
CN101916447B (zh) 一种鲁棒的运动目标检测与跟踪图像处理方法
US20210232228A1 (en) Adaptive thresholding and noise reduction for radar data
CN112415510B (zh) 双站雷达手势识别方法、装置、系统和存储介质
WO2023029390A1 (zh) 一种毫米波雷达手势检测识别方法
CN113723221B (zh) 基于WiFi信道状态信息的室内行为实时识别方法及系统
CN113064483A (zh) 一种手势识别方法以及相关装置
CN103105924A (zh) 人机交互方法和装置
Pan et al. Dynamic hand gesture detection and recognition with WiFi signal based on 1d-CNN
CN114397963B (zh) 一种手势识别方法、装置、电子设备及存储介质
CN115343704A (zh) 基于多任务学习的fmcw毫米波雷达的手势识别方法
Wang et al. A survey of hand gesture recognition based on FMCW radar
CN116482680B (zh) 一种身体干扰识别方法、装置、系统和存储介质
CN112327286B (zh) 低复杂度下日常活动分类方法、装置、设备及存储介质
CN111382702B (zh) 手势识别方法、装置、移动终端和存储介质
CN112380903B (zh) 一种基于WiFi-CSI信号增强的人体活动识别方法
Regani et al. Handwriting tracking using 60 GHz mmWave radar
Zhao et al. RFID-based human action recognition through spatiotemporal graph convolutional neural network
CN110309689B (zh) 基于超宽带雷达的Gabor域手势识别检测方法
CN116524537A (zh) 一种基于cnn和lstm联合的人体姿态识别方法
Li et al. Objective evaluation of clutter suppression for micro-Doppler spectrograms of hand gesture/sign language based on pseudo-reference image
CN114764580A (zh) 一种基于无穿戴设备的实时人体手势识别方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant