CN213904292U - 手势识别系统 - Google Patents

Abstract

本实用新型公开了一种手势识别系统。其中，该系统包括：毫米波雷达天线阵列，处理器，射频收发装置，毫米波雷达天线阵列与射频收发装置相连，通过射频收发装置向目标对象的手发送毫米波，接收毫米波的返回波；毫米波雷达天线阵列与处理器相连接，根据返回波得到返回波的数据，并将返回波的数据发送给处理器；处理器，根据返回波的数据识别目标对象的手的手势。本实用新型解决了相关技术中手势识别方法，准确率低，成本较高的技术问题。

Description

手势识别系统

技术领域

本实用新型涉及手势识别领域，具体而言，涉及一种手势识别系统。

背景技术

传统的手势识别方法主要包括基于可见光的二维图像手势识别方法，基于结构光、TOF(光飞时间测距)等传感技术的三维手势识别方法，以及基于微波集成电路(MMIC)的毫米波手势雷达识别方法。

基于可见光的手势识别方法计算开销大、特征提取效率低、图像处理模型能力有限、易受光照和遮挡等因素影响，无法获取手势深度信息，只能识别二维平面手势。

基于结构光的手势识别方法通过折射光的落点位移计算位置，识别距离对手势的深度信息精度影响较大，易受环境光线干扰，不适用于强光环境下，并且系统响应速度慢。

基于TOF的识别方法成本较高，并且TOF分辨率较低、功耗大、解决方案尚不成熟、应用场景较少。

基于微波集成电路(MMIC)的毫米波雷达手势识别方法由于采用分立元器件方式，天线尺寸很难变小，产品一致性较差，受温度、湿度、外力等影响大，功耗也较高，限制了毫米波雷达传感器在手机、移动设备、物联网、智能穿戴、扫地机器人、无人机等体积、功耗要求低的设备中使用。

针对上述的问题，目前尚未提出有效的解决方案。

实用新型内容

本实用新型实施例提供了一种手势识别系统，以至少解决相关技术中手势识别方法，准确率低，成本较高的技术问题。

根据本实用新型实施例的一个方面，提供了一种手势识别系统，包括：毫米波雷达天线阵列，处理器，射频收发装置，所述毫米波雷达天线阵列与所述射频收发装置相连，通过所述射频收发装置向目标对象的手发送毫米波，接收毫米波的返回波；所述毫米波雷达天线阵列与所述处理器相连接，根据所述返回波得到返回波的数据，并将所述返回波的数据发送给所述处理器；所述处理器，根据所述返回波的数据识别所述目标对象的手的手势。

可选的，所述毫米波雷达天线阵列包括天线单元，所述天线单元包括一个发送天线和三个接收天线。

可选的，还包括模数转换装置，所述模数转换装置与所述射频收发装置和所述处理器相连，用于将射频收发装置接收的返回波转换为数字信号；所述处理器通过所述模数转换装置与所述射频收发装置相连。

可选的，所述模数转换装置包括高通滤波器和增益放大器，所述高通滤波器与所述射频收发装置连接，所述增益放大器与所述高通滤波器相连，所述增益放大器与所述处理器相连，对所述返回波进行采样，生成对应的数字信号。

可选的，还包括混频器，所述混频器与所述射频收发装置和所述模数转换装置连接，所述射频收发装置通过所述混频器与所述模数转换装置相连，将所述射频收发装置接收的回波信号转化为中频信号。

可选的，所述毫米波雷达天线阵列还包括相位调制电路，所述相位调制电路与所述毫米波雷达天线的输出端相连。

可选的，还包括数据传输装置，所述数据传输装置与所述处理器和数据监测终端相连，将所述处理器的数据发送给所述数据监测终端。

可选的，所述处理器包特征提取模块，识别模块，所述特征提取模块与所述模数转换装置相连，提取所述返回波的特征信息；所述识别模块与所述特征提取模块相连，根据特征信息识别所述目标对象的手的手势。

可选的，所述特征提取模块包括第一特征提取单元，第二特征提取单元；所述第一特征提取单元和所述第二特征提取单元均与所述模数转换装置和所述识别模块相连，所述第一特征提取单元用于根据傅里叶变换算法提取距离维信息；所述第二特征提取单元用于根据傅里叶变换算法提取多普勒维信息。

可选的，所述特征提取模块还包括第三特征提取单元，第四特征提取单元；所述第三特征提取单元与所述第一特征提取单元和所述第二特征提取单元连接，所述第三特征提取单元还与所述识别模块相连，所述第三特征提取单元用于根据所述距离维信息和所述多普勒维信息，确定手势频率特征和短时能量；所述第四特征提取单元均与所述模数转换装置和所述识别模块相连，用于提取所述返回波的相位特征。

在本实用新型实施例中，采用毫米波雷达天线阵列，处理器，射频收发装置，毫米波雷达天线阵列与射频收发装置相连，通过射频收发装置向目标对象的手发送毫米波，接收毫米波的返回波；毫米波雷达天线阵列与处理器相连接，根据返回波得到返回波的数据，并将返回波的数据发送给处理器；处理器，根据返回波的数据识别目标对象的手的手势的方式，达到了根据毫米波雷达天线阵列对手势进行检测的目的，从而实现了受环境因素干扰小，准确率高，耗时短，成本低的技术效果，进而解决了相关技术中手势识别方法，准确率低，成本较高的技术问题。

附图说明

此处所说明的附图用来提供对本实用新型的进一步理解，构成本申请的一部分，本实用新型的示意性实施例及其说明用于解释本实用新型，并不构成对本实用新型的不当限定。在附图中：

图1是根据本实用新型实施例的一种手势识别系统的示意图；

图2是根据本实用新型实施方式的系统结构的示意图；

图3是根据本实用新型实施方式的雷达天线阵列的示意图；

图4是根据本实用新型实施方式的雷达发送模块的示意图；

图5是根据本实用新型实施方式的雷达接收模块的示意图；

图6是根据本实用新型实施方式的雷达波形配置的示意图；

图7是根据本实用新型实施方式的手势识别的流程图；

图8是根据本实用新型实施方式的识别算法的流程图。

具体实施方式

为了使本技术领域的人员更好地理解本实用新型方案，下面将结合本实用新型实施例中的附图，对本实用新型实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本实用新型一部分的实施例，而不是全部的实施例。基于本实用新型中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本实用新型保护的范围。

需要说明的是，本实用新型的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本实用新型的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。

图1是根据本实用新型实施例的一种手势识别系统的示意图，如图1所示，根据本实用新型实施例的一个方面，提供了一种手势识别系统，包括：毫米波雷达天线阵列12，处理器14，射频收发装置16，

毫米波雷达天线阵列12与射频收发装置16相连，通过射频收发装置16向目标对象的手发送毫米波，接收毫米波的返回波；毫米波雷达天线阵列12与处理器14相连接，根据返回波得到返回波的数据，并将返回波的数据发送给处理器14；处理器14，根据返回波的数据识别目标对象的手的手势。

通过上述系统，采用毫米波雷达天线阵列，处理器，射频收发装置，毫米波雷达天线阵列与射频收发装置相连，通过射频收发装置向目标对象的手发送毫米波，接收毫米波的返回波；毫米波雷达天线阵列与处理器相连接，根据返回波得到返回波的数据，并将返回波的数据发送给处理器；处理器，根据返回波的数据识别目标对象的手的手势的方式，达到了根据毫米波雷达天线阵列对手势进行检测的目的，从而实现了受环境因素干扰小，准确率高，耗时短，成本低的技术效果，进而解决了相关技术中手势识别方法，准确率低，成本较高的技术问题。

上述毫米波雷达天线阵列可以发送并采集手势回波信号，上述毫米波雷达天线可以为AIP毫米波雷达天线，将上述毫米波雷达天线阵列集成到芯片中，具有体积小、功耗低的优点。

利用毫米波雷达天线阵列发送毫米波并接收返回波，其受环境干扰较小，例如光照的干扰，其采集的返回波，数据准确，计算得到的速度、距离、角度等数据准确率高。从而提高手势识别的准确率。

上述系统利用AIP技术将毫米波雷达天线阵列集成在芯片中，可以使系统体积小、功耗低，容易集成到汽车、手机、电视、电脑、游戏、灯控等应用场景中；其系统一致性好，便于大批量生产且良品率；天线方向特性稳定，受环境(温度、湿度)影响小，在不同工作环境下识别结果差异性小；天线特性受外力影响小，可在较长的使用时间内保持良好的识别效果。

可选的，毫米波雷达天线阵列包括天线单元，天线单元包括一个发送天线和三个接收天线。

毫米波雷达天线的天线单元采用一发三收模式，收发阵元位置如图3所示，RX1和RX2接收天线组合具有方位向分辨能力，RX1和RX3接收天线组合具有俯仰向分辨能力。

可选的，还包括模数转换装置，模数转换装置与射频收发装置和处理器相连，用于将射频收发装置接收的返回波转换为数字信号；处理器通过模数转换装置与射频收发装置相连。

上述模数转换装置可以为A/D芯片，处理器通过A/D芯片将多通道回波信号转化为数字信号后，经过识别算法模块处理得到手势识别结果，并通过数据传输模块将结果输出至终端进行显示。

可选的，模数转换装置包括高通滤波器和增益放大器，高通滤波器与射频收发装置连接，增益放大器与高通滤波器相连，增益放大器与处理器相连，对返回波进行采样，生成对应的数字信号。

可选的，还包括混频器，混频器与射频收发装置和模数转换装置连接，射频收发装置通过混频器与模数转换装置相连，将射频收发装置接收的回波信号转化为中频信号。

通过增益放大器对返回波的射频信号进行处理，以便后续运算。在本实施例中，增益放大器处理后的返回波的射频信号，经过混频器将射频信号转化为中频信号，通过两级高通滤波器和可变增益放大器后进行采样。得到的雷达手势数字信号输入至MCU进行手势识别信号处理。

可选的，毫米波雷达天线阵列还包括相位调制电路，相位调制电路与毫米波雷达天线的输出端相连。

将射频信号经过相位调制后设置输出功率增益为10dB，输出最大功率为12dBm，波束宽度为±40°的雷达射频信号。

可选的，还包括数据传输装置，数据传输装置与处理器和数据监测终端相连，将处理器的数据发送给数据监测终端。

上述数据检测终端可以为智能手机，个人电脑，平板电脑等。

上述数据传输装置可以为蓝牙传输装置，无线WIFI传输装置，串口传输装置。

可选的，处理器包特征提取模块，识别模块，特征提取模块与模数转换装置相连，提取返回波的特征信息；识别模块与特征提取模块相连，根据特征信息识别目标对象的手的手势。

可选的，特征提取模块包括第一特征提取单元，第二特征提取单元；第一特征提取单元和第二特征提取单元均与模数转换装置和识别模块相连，第一特征提取单元用于根据傅里叶变换算法提取距离维信息；第二特征提取单元用于根据傅里叶变换算法提取多普勒维信息。

对返回波的数字信号的快时间信号去直流分量后进行FFT，得到距离维信息。

对返回波的数字信号的慢时间信号去直流后进行FFT，得到多普勒维信息。

可选的，特征提取模块还包括第三特征提取单元，第四特征提取单元；第三特征提取单元与第一特征提取单元和第二特征提取单元连接，第三特征提取单元还与识别模块相连，第三特征提取单元用于根据距离维信息和多普勒维信息，确定手势频率特征和短时能量；第四特征提取单元均与模数转换装置和识别模块相连，用于提取返回波的相位特征。

根据距离-多普勒谱提取手势频率特征；根据上下、左右通道相位差，提取上下、左右通道相位特征；根据距离-多普勒谱提取短时能量，检测手势起始点、结束点。

将上述特征信息输入识别算法，当手势结束时输出手势识别结果。

需要说明的是，本申请实施例还提供了一种可选的实施方式，下面对该实施方式进行详细说明。

本实施方式涉及一种基于封装天线技术(AIP)的毫米波雷达手势识别系统。此系统可广泛的应用于智能家居、移动终端、物联网、智能穿戴、电子娱乐等人机交互技术领域。

图2是根据本实用新型实施方式的系统结构的示意图，如图2所示，本实施方式为一个集成天线毫米波雷达手势识别系统，其中毫米波雷达模块发送并采集手势回波信号，处理器通过A/D芯片将多通道回波信号转化为数字信号后，经过识别算法模块处理得到手势识别结果，并通过数据传输模块将结果输出至终端进行显示。

实现方法理论分析：

本实施方式提出一种基于毫米波雷达的手势识别方法。该方法使用AIP集成毫米波雷达通过射频模块发送雷达信号检测手势，然后在雷达接收端接收回波信号，对接收到的雷达回波信号与发射信号进行混频得到回波差频信号。对采集到的手势回波信号先进行快时间FFT(快速傅里叶变换)，得到雷达信号在距离维上的信息，然后进行慢时间FFT，得到雷达信号多普勒维信息，并对相位信息进行补偿，计算得到信号短时能量及手势特征信息，通过短时能量进行端点检测，当检测到可能存在手势时将手势特征信息输入模型对手势进行识别，最后输出手势识别的结果。具体实施步骤如下：

本实施方式基于AIP毫米波雷达集成板卡，将毫米波雷达天线阵列集成到芯片中，系统具有体积小、功耗低的优点。图3是根据本实用新型实施方式的雷达天线阵列的示意图，如图3所示，天线采用一发三收模式，收发阵元位置参考图3，RX1和RX2接收天线组合具有方位向分辨能力，RX1和RX3接收天线组合具有俯仰向分辨能力。

图4是根据本实用新型实施方式的雷达发送模块的示意图，如图4所示，本系统雷达发射端将射频信号经过相位调制后设置输出功率增益为10dB，输出最大功率为12dBm，波束宽度为±40°的雷达射频信号。

图5是根据本实用新型实施方式的雷达接收模块的示意图，如图5所示，本系统雷达接收端接收经过目标手势后反射的雷达回波信号，经过混频器将射频信号转化为中频信号，通过两级高通滤波器和可变增益放大器后进行采样。得到的雷达手势数字信号输入至MCU进行手势识别信号处理。

图6是根据本实用新型实施方式的雷达波形配置的示意图，如图6所示，本实施方式的雷达波形配置。雷达发射调频连续波(FMCW)，起始频率为60GHz，截止频率为61.8GHz，上升沿调频斜率为180MHz/us，持续时间为10us。下降沿持续时间20us，休整时间90us，整个chirp周期为120us。

图7是根据本实用新型实施方式的手势识别的流程图，如图7所示，本实施方式的手势识别算法包括如下步骤：

步骤S1，参数初始化，配置FMCW信号起始频率、截止频率、上升沿调频斜率、持续时间为、下降沿持续时间、休整时间；配置ADC采样频率、快时间采样点数、一帧内chirp数、帧周期；配置算法模型参数。

步骤S2，从ADC缓存数据中读取雷达采集手势回波信号原始数据。

步骤S3，对快时间信号去直流分量后进行FFT，得到距离维信息。

步骤S4，对慢时间信号去直流后进行FFT，得到多普勒维信息。

步骤S5，根据距离-多普勒谱提取手势频率特征；根据上下、左右通道相位差，提取上下、左右通道相位特征；根据距离-多普勒谱提取短时能量，检测手势起始点、结束点。

步骤S6，手势存在时进入识别算法，当手势结束时输出手势识别结果。

图8是根据本实用新型实施方式的识别算法的流程图，如图8所示，本实施方式的手势识别算法包括如下步骤：

步骤S61，手势存在检测，手势存在时进入识别算法。

步骤S62，利用提取到的特征计算模型匹配概率。

步骤S63，判断是否为手势结束点，手势结束时，进行拒识判决，拒识则退出本次识别算法，否则输出手势识别结果。

本实施方式为人机交互提供了一种低成本、低功耗、高实时性、高集成度的手势识别方法。利用毫米波雷达系统检测手势类别，受环境因素干扰较小(如光照)、计算得到的速度、距离、角度等信息准确性高。利用训练好的模型对手势进行分类识别准确率高、耗时短、实时性强。

利用AIP技术集成的毫米波雷达系统体积小、功耗低，容易集成到汽车、手机、电视、电脑、游戏、灯控等应用场景中；模块一致性好，便于大批量生产且良品率；天线方向特性稳定，受环境(温度、湿度)影响小，在不同工作环境下识别结果差异性小；天线特性受外力影响小，可在较长的使用时间内保持良好的识别效果。

AIP集成毫米波雷达手势系统的整体架构、系统各模块的连接关系。

AIP毫米波雷达数据处理的流程图、手势识别算法的实现步骤，手势识别算法工程实现方式。

上述本实用新型实施例序号仅仅为了描述，不代表实施例的优劣。

在本实用新型的上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其他实施例的相关描述。

在本申请所提供的几个实施例中，应该理解到，所揭露的技术内容，可通过其它的方式实现。其中，以上所描述的装置实施例仅仅是示意性的，例如所述单元的划分，可以为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，单元或模块的间接耦合或通信连接，可以是电性或其它的形式。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外，在本实用新型各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。

所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本实用新型的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可为个人计算机、服务器或者网络设备等)执行本实用新型各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。

以上所述仅是本实用新型的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本实用新型原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本实用新型的保护范围。

Claims (10)

1.一种手势识别系统，其特征在于，包括：毫米波雷达天线阵列，处理器，射频收发装置，

所述毫米波雷达天线阵列与所述射频收发装置相连，通过所述射频收发装置向目标对象的手发送毫米波，接收毫米波的返回波；

所述毫米波雷达天线阵列与所述处理器相连接，根据所述返回波得到返回波的数据，并将所述返回波的数据发送给所述处理器；

所述处理器，根据所述返回波的数据识别所述目标对象的手的手势。

2.根据权利要求1所述的手势识别系统，其特征在于，所述毫米波雷达天线阵列包括天线单元，所述天线单元包括一个发送天线和三个接收天线。

3.根据权利要求2所述的手势识别系统，其特征在于，还包括模数转换装置，

所述模数转换装置与所述射频收发装置和所述处理器相连，用于将射频收发装置接收的返回波转换为数字信号；

所述处理器通过所述模数转换装置与所述射频收发装置相连。

4.根据权利要求3所述的手势识别系统，其特征在于，所述模数转换装置包括高通滤波器和增益放大器，

所述高通滤波器与所述射频收发装置连接，

所述增益放大器与所述高通滤波器相连，所述增益放大器与所述处理器相连，对所述返回波进行采样，生成对应的数字信号。

5.根据权利要求3所述的手势识别系统，其特征在于，还包括混频器，

所述混频器与所述射频收发装置和所述模数转换装置连接，

所述射频收发装置通过所述混频器与所述模数转换装置相连，将所述射频收发装置接收的回波信号转化为中频信号。

6.根据权利要求2所述的手势识别系统，其特征在于，所述毫米波雷达天线阵列还包括相位调制电路，

所述相位调制电路与所述毫米波雷达天线的输出端相连。

7.根据权利要求1所述的手势识别系统，其特征在于，还包括数据传输装置，

所述数据传输装置与所述处理器和数据监测终端相连，将所述处理器的数据发送给所述数据监测终端。

8.根据权利要求3所述的手势识别系统，其特征在于，所述处理器包特征提取模块，识别模块，

所述特征提取模块与所述模数转换装置相连，提取所述返回波的特征信息；

所述识别模块与所述特征提取模块相连，根据特征信息识别所述目标对象的手的手势。

9.根据权利要求8所述的手势识别系统，其特征在于，所述特征提取模块包括第一特征提取单元，第二特征提取单元；

所述第一特征提取单元和所述第二特征提取单元均与所述模数转换装置和所述识别模块相连，

所述第一特征提取单元用于根据傅里叶变换算法提取距离维信息；

所述第二特征提取单元用于根据傅里叶变换算法提取多普勒维信息。

10.根据权利要求9所述的手势识别系统，其特征在于，所述特征提取模块还包括第三特征提取单元，第四特征提取单元；

所述第三特征提取单元与所述第一特征提取单元和所述第二特征提取单元连接，所述第三特征提取单元还与所述识别模块相连，所述第三特征提取单元用于根据所述距离维信息和所述多普勒维信息，确定手势频率特征和短时能量；

所述第四特征提取单元均与所述模数转换装置和所述识别模块相连，用于提取所述返回波的相位特征。

Images