CN113918019A - 终端设备的手势识别控制方法、装置、终端设备及介质 - Google Patents
终端设备的手势识别控制方法、装置、终端设备及介质 Download PDFInfo
- Publication number
- CN113918019A CN113918019A CN202111214614.6A CN202111214614A CN113918019A CN 113918019 A CN113918019 A CN 113918019A CN 202111214614 A CN202111214614 A CN 202111214614A CN 113918019 A CN113918019 A CN 113918019A
- Authority
- CN
- China
- Prior art keywords
- gesture
- gesture recognition
- recognition
- terminal device
- radar
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 43
- 238000004422 calculation algorithm Methods 0.000 claims abstract description 36
- 238000001514 detection method Methods 0.000 claims abstract description 28
- 238000004364 calculation method Methods 0.000 claims abstract description 16
- 238000007781 pre-processing Methods 0.000 claims abstract description 13
- 230000006870 function Effects 0.000 claims description 21
- 230000033001 locomotion Effects 0.000 claims description 11
- 238000013507 mapping Methods 0.000 claims description 9
- 238000013527 convolutional neural network Methods 0.000 claims description 8
- 238000012706 support-vector machine Methods 0.000 claims description 7
- 238000004458 analytical method Methods 0.000 claims description 6
- 238000004590 computer program Methods 0.000 claims description 6
- 238000013528 artificial neural network Methods 0.000 claims description 4
- 238000000605 extraction Methods 0.000 claims description 4
- 238000013135 deep learning Methods 0.000 claims description 3
- 210000001145 finger joint Anatomy 0.000 claims description 3
- 125000004122 cyclic group Chemical group 0.000 claims description 2
- 238000005516 engineering process Methods 0.000 abstract description 14
- 230000000007 visual effect Effects 0.000 abstract description 9
- 230000004044 response Effects 0.000 abstract description 7
- 238000004891 communication Methods 0.000 description 7
- 238000012549 training Methods 0.000 description 7
- 230000009471 action Effects 0.000 description 6
- 230000003993 interaction Effects 0.000 description 4
- 230000003287 optical effect Effects 0.000 description 4
- 238000010586 diagram Methods 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 238000012544 monitoring process Methods 0.000 description 3
- 230000008569 process Effects 0.000 description 3
- 238000012545 processing Methods 0.000 description 3
- 230000003068 static effect Effects 0.000 description 3
- 238000013473 artificial intelligence Methods 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000005259 measurement Methods 0.000 description 2
- 230000000306 recurrent effect Effects 0.000 description 2
- 244000025254 Cannabis sativa Species 0.000 description 1
- 241001465754 Metazoa Species 0.000 description 1
- 241000203475 Neopanax arboreus Species 0.000 description 1
- 238000004378 air conditioning Methods 0.000 description 1
- 230000003542 behavioural effect Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000006073 displacement reaction Methods 0.000 description 1
- 238000005265 energy consumption Methods 0.000 description 1
- 239000004744 fabric Substances 0.000 description 1
- 230000036541 health Effects 0.000 description 1
- 238000010438 heat treatment Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 230000006386 memory function Effects 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 239000004575 stone Substances 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 238000009423 ventilation Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/213—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Data Mining & Analysis (AREA)
- General Physics & Mathematics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Evolutionary Computation (AREA)
- Evolutionary Biology (AREA)
- Bioinformatics & Computational Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Artificial Intelligence (AREA)
- Human Computer Interaction (AREA)
- User Interface Of Digital Computer (AREA)
Abstract
本发明涉及手势识别技术领域，特别是涉及终端设备的手势识别控制方法、装置、终端设备及介质。其中，方法包括：通过雷达阵列捕捉雷达探测信号经目标手部反射后形成的雷达回波信号；对雷达回波信号进行预处理，以获取有效的手势二维信息及所述手势二维信息对应的手势类型；根据手势类型的手势特征识别所需的算力，匹配相应的手势识别算法对手势二维信息进行手势特征识别；根据识别出的手势特征控制终端设备执行相应的控制指令。本申请通过设置雷达阵列多视角多尺度获取目标手部的手势信息，以及根据实际的手势信息的复杂度匹配相应的手势识别算法，能够提高手势识别的识别速度和准确率，从而提高终端设备的手势识别控制的响应速度和准确性。
Description
技术领域
本发明涉及手势识别技术领域，特别是涉及终端设备的手势识别控制方法、 装置、终端设备及介质。
背景技术
随着终端设备的软硬件技术的不断发展和迭代，终端设备的性能和功能也 越来越强大，用户的个性化需求也越发强烈，例如用户对终端设备的控制方式 方面的个性化表现得较为突出。
终端设备的控制方式主要分接触式控制和非接触式控制。常见的接触式控 制包括物理按键控制、触摸屏控制；常见的非接触式控制包括遥控器控制，语 音控制以及手势控制。出于用户的个性化需求，对智能家居设备/智能家电设备、 可穿戴设备，非接触式控制方式更受欢迎。遥控器控制，实现简单且可靠性最 高，但需要携带额外设备，便捷度不高；语音控制，结构简单，由于声音非直 线传播，其安装不受限制，但可靠性受麦克风质量影响大，且控制时用户要说 话；手势控制，室内情况下做手势动作，不容易与其他动作产生干扰，可靠性 高且符合人的行为习惯，使用方便。
在对现有技术的研究和实践中，本发明的发明人发现：
早期手势识别技术是利用可穿戴电子设备传感器，通过检测感知人手与各 个关节的空间位置信息，从而实现手势识别的目的。可穿戴电子设备传感器的 典型代表如数据手套，利用加速度计和陀螺仪等传感器，能够得到操作者丰富 的手部运动信息。此外基于光学标记法的穿戴设备也具有良好的识别性能和稳 定性。但以上2种手势识别技术操作繁琐且设备价格昂贵，在日常生活中未能 得到广泛应用。之后基于视觉图像的手势识别技术逐渐发展起来，与可穿戴式 手势识别系统相比，视觉手势识别技术摒弃了额外的穿戴系统，使用户以徒手 的方式便可进行人机交互。视觉手势识别技术是利用计算机图像采集设备(如 摄像头等)、计算机视觉技术，对目标用户的手势动作进行感知、追踪与识别， 进而达到理解用户意图的目的。虽然高分辨率相机使视觉手势识别技术的识别 率高达90％以上，但该技术极大程度上受限于光线条件，同时也存在隐私泄露 的安全问题。
随着雷达技术的快速发展和广泛应用，雷达手势识别已成为人机交互技术 领域的一个重要分支。与传统光学传感器相比，雷达传感器在雨、雪、雾霾等 恶劣天气情况或者黑暗条件下均能够正常工作，具有全天候、全天时的优势； 其次雷达传感器可固定到电子设备内部，从而可提高装置的抗干扰性和灵活性； 另外，雷达信号在隐私安全方面也有着较大优势，可以有效的保护用户隐私信 息。虽然基于雷达的手势识别技术能够克服传统数据手套及视觉手势识别的局 限性且具有诸多的优势，但是在复杂场景下或者多用户下，雷达手势识别的识 别速度和准确率却是有待提高。
因此，有必要提供一种在设置较为复杂的生活场景，或者人为的添加干扰 信息的情况下，也能够使基于雷达的手势识别保持较高的识别速度和准确率， 从而提高终端设备的手势识别控制的响应速度和准确性的解决方案。
发明内容
基于此，有必要基于现有终端设备的雷达手势识别的识别速度和准确率不 能够满足终端设备快速响应和可靠控制的问题，提供一种终端设备的手势识别 控制方法、装置、终端设备及介质。
第一方面，本申请实施例提供一种终端设备的手势识别控制方法，包括：
通过终端设备内置的雷达阵列向目标手部发射雷达探测信号，并捕捉所述 雷达探测信号经目标手部反射后形成的雷达回波信号；其中，所述雷达阵列由 多个相互垂直的收发器传感器构成；
对所述雷达回波信号进行预处理，以获取有效的手势二维信息及所述手势 二维信息对应的手势类型，其中所述手势类型包括二维手势、平面手势和立体 手势；
根据所述手势类型的手势特征识别所需的算力，匹配相应的手势识别算法 对所述手势二维信息进行手势特征识别；
触发预设映射关系中所识别出的手势特征对应的控制指令，使所述终端设 备执行所述控制指令。
可选的，所述雷达阵列由三个相互垂直的多普勒连续波微型收发器传感器 构成。
可选的，所述雷达阵列设置于微型电动万向轴的活动端，并电连接所述终 端设备的控制主板。
可选的，所述的终端设备的手势识别控制方法，还包括：
根据预设手势识别条件，促使所述微型电动万向轴调整所述雷达阵列的朝 向目标手部，并促使所述雷达阵列发射雷达探测信号；其中，
所述预设手势识别条件包括：人工通过操作所述终端设备或者关联设备主 动唤醒所述终端设备的手势识别功能，和探测器探测到所述终端设备能够启动 手势识别功能的区域出现人时自动唤醒所述终端设备的手势识别功能。
可选的，所述探测器为所述终端设备的内部探测器，或与所述终端设备关 联的外部探测器，所述探测器为红外传感器。
可选的，所述手势类型是根据手势的形状特征和/或运动轨迹判断所得，手 势的形状特征和/或运动轨迹通过对所述手势二维信息进行手势分析获取；其中，
所述手势分析的方法包括：边缘轮廓提取法、质心手指多特征结合法以及 指关节式跟踪法。
可选的，所述手势识别算法包括：
基于模板匹配的手势识别算法：动态时间规整；
基于统计学习的手势识别算法：支持向量机、K近邻算法、隐马尔可夫模 型；
基于深度学习的手势识别算法：卷积神经网络、循环神经网络。
第二方面，本申请实施例提供一种终端设备的手势识别控制装置，包括：
探测模块，用于通过终端设备内置的雷达阵列向目标手部发射雷达探测信 号，并捕捉所述雷达探测信号经目标手部反射后形成的雷达回波信号；其中， 所述雷达阵列由多个相互垂直的收发器传感器构成；
预处理模块，用于对所述雷达回波信号进行预处理，以获取有效的手势二 维信息及所述手势二维信息对应的手势类型，其中所述手势类型包括二维手势、 平面手势和立体手势；
识别模块，用于根据所述手势类型的手势特征识别所需的算力，匹配相应 的手势识别算法对所述手势二维信息进行手势特征识别；
控制模块，用于触发预设映射关系中所识别出的手势特征对应的控制指令， 使所述终端设备执行所述控制指令。
第三方面，本申请实施例提供一种终端设备，包括存储器、处理器及存储 在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述 计算机程序时实现如上述的终端设备的手势识别控制方法包括的步骤。
第四方面，本申请实施例提供一种计算机可读存储介质，所述存储介质存 储有计算机可执行指令，所述计算机可执行指令用于使计算机执行如上述的终 端设备的手势识别控制方法包括的步骤。
上述技术方案中的一个技术方案具有如下优点和有益效果：
本申请各实施例提供终端设备的手势识别控制方法、装置、终端设备及介 质。其中，方法包括：通过雷达阵列捕捉雷达探测信号经目标手部反射后形成 的雷达回波信号；对雷达回波信号进行预处理，以获取有效的手势二维信息及 所述手势二维信息对应的手势类型；根据手势类型的手势特征识别所需的算力， 匹配相应的手势识别算法对手势二维信息进行手势特征识别；根据识别出的手 势特征控制终端设备执行相应的控制指令。本申请通过设置雷达阵列多视角多 尺度获取目标手部的手势信息，以及根据实际的手势信息的复杂度匹配相应的 手势识别算法，能够提高手势识别的识别速度和准确率，从而提高终端设备的 手势识别控制的响应速度和准确性。
附图说明
通过附图中所示的本申请的优选实施例的更具体说明，本申请的上述及其 它目的、特征和优势将变得更加清晰。在全部附图中相同的附图标记指示相同 的部分，且并未刻意按实际尺寸等比例缩放绘制附图，重点在于示出本申请的 主旨。
图1为本申请实施例中一种终端设备的手势识别控制方法的流程示意图；
图2是本申请另一实施例中一种终端设备的手势识别控制方法的流程示意 图；
图3是本申请实施例中一种终端设备的手势识别控制装置的结构示意图；
图4是本申请实施例中一种终端设备的结构示意图。
具体实施方式
为了便于理解本申请，下面将参照相关附图对本申请进行更全面的描述。 附图中给出了本申请的首选实施例。但是，本申请可以以许多不同的形式来实 现，并不限于本文所描述的实施例。相反地，提供这些实施例的目的是使对本 申请的公开内容更加透彻全面。
需要说明的是，当一个元件被认为是“连接”另一个元件，它可以是直接 连接到另一个元件并与之结合为一体，或者可能同时存在居中元件。本文所使 用的术语“设置”、“一端”、“另一端”以及类似的表述只是为了说明的目 的。
除非另有定义，本文所使用的所有的技术和科学术语与属于本申请的技术 领域的技术人员通常理解的含义相同。本文中在本申请的说明书中所使用的术 语只是为了描述具体的实施例的目的，不是旨在于限制本申请。本文所使用的 术语“及/或”包括一个或多个相关的所列项目的任意的和所有的组合。
为便于本领域技术人员理解，以下对本文中涉及的部分技术用语进行说明：
雷达，英文Radar(Radio DetecTIon And Ranging)，利用发射“无线电磁 波”得到反射波来探测目标物体的距离，角度，和瞬时速度。
雷达的测距或者测速都把物体想像成一个抽象的点。而真实的物体如手掌 则可以认为是一堆三维点的集合体。所以在反射波中已然蕴藏了许多个点的距 离与速度信号。同时呈现这些信息的一个好方法叫做距离－多普勒映射 (Range-Dopler Map)，简称RDM。RDM中的横轴是速度，纵轴是距离。它可 以认为是一张反射波的能量分布图或概率图，每一个单元的数值都代表了反射 波从某个特定距离和特定速度的物体得到的反射波能量。从RDM中已然可以窥 见探测物体的特征身形，基于RDM及其时间序列，可以采用机器学习的方法识 别特定的能量模式变化，进而识别手势及动作。
以终端设备中的智能家电为例：智能家居系统产品共分为二十类：控制主 机(集中控制器)、智能照明系统、电器控制系统、家庭背景音乐、家庭影院 系统、对讲系统、视频监控、防盗报警、电锁门禁、智能遮阳(电动窗帘)、 暖通空调系统、太阳能与节能设备、自动抄表、智能家居软件、家居布线系统、 家庭网络、厨卫电视系统、运动与健康监测、花草自动浇灌、宠物照看与动物 管制。随着人工智能时代的到来，无论是已有产品，还是研发产品，许多被赋 予其智能化。
请参见图1，图1是本发明一实施例提供的一种终端设备的手势识别控制方 法的流程示意图，包括：
S1、通过终端设备内置的雷达阵列向目标手部发射雷达探测信号，并捕捉 所述雷达探测信号经目标手部反射后形成的雷达回波信号；其中，所述雷达阵 列由多个相互垂直的收发器传感器构成。
在本实施例中，雷达阵列由多个相互垂直的收发器传感器构成，每个收发 器传感器均以相同发射频率向目标手部发射雷达探测信号，如此，以获得更为 丰富完整的手势信息，为后续分类识别系统构造高质量的特征向量，从而能够 保证手势识别系统拥有更高精度与稳定性。同时，在多个相互垂直的收发器传 感器的视场(FOV)的覆盖范围内，任何手势均可将雷达探测信号反射回多个 相互垂直的收发器传感器中。如此，通过设置雷达阵列多视角多尺度获取目标 手部的手势信息，垂直阵列结构可以减少收发器传感器在相同频率下发射时的 干扰。
而手部关节的运动可以用速度表示，多普勒效应能够通过比较雷达探测信 号和接收雷达回波信号之间的频移来计算目标手部各个关节的速度，如公式(1) 所示。
其中，f是接收频率，f0是发射频率，c是真空中的速度，Δν是目标手部相 对于雷达阵列的径向速度。
因此，在一个具体实施例中，所述雷达阵列由三个相互垂直的多普勒连续 波微型收发器传感器构成。
作为上述方案的改进，为了让目标手部处于雷达阵列的视场范围内，雷达 阵列可活动设置在终端设备的内部。
具体而言，所述雷达阵列设置于微型电动万向轴的活动端，并电连接所述 终端设备的控制主板。
对应地，请参见图2，该终端设备的手势识别控制方法还包括以下步骤，从 而控制雷达阵列的位移情况：
S5、根据预设手势识别条件，促使所述微型电动万向轴调整所述雷达阵列 的朝向目标手部，并促使所述雷达阵列发射雷达探测信号。
其中，所述预设手势识别条件包括：人工通过操作所述终端设备或者关联 设备主动唤醒所述终端设备的手势识别功能，和探测器探测到所述终端设备能 够启动手势识别功能的区域出现人时自动唤醒所述终端设备的手势识别功能。
在实际使用场景中，用户可通过手动操作终端设备或其关联设备唤醒终端 设备，从而使终端设备启动手势识别功能。此外，还能通过探测器探测终端设 备手势识别功能的区域是否出现人体，来控制是否自动唤醒终端设备的手势识 别功能：若探测器探测到终端设备能够启动手势识别功能的区域出现人时，则 自动唤醒终端设备的手势识别功能；若探测器未探测到终端设备能够启动手势 识别功能的区域出现人时，则不唤醒终端设备的手势识别功能，降低能耗。
在一个具体的实施例中，所述探测器为所述终端设备的内部探测器，或与 所述终端设备关联的外部探测器，所述探测器为红外传感器。
S2、对所述雷达回波信号进行预处理，以获取有效的手势二维信息及所述 手势二维信息对应的手势类型，其中所述手势类型包括二维手势、平面手势和 立体手势。
在本实施例中，平面手势也可称为静态二维手势，识别的是手势中最简单 的一类。在获取有效的手势二维信息之后，通过计算机视觉算法分析图像，和 预设的图像模式进行比对，则可以识别出几个静态的手势，比如握拳或者五指 张开。因此，通过预设平面手势实际的控制含义，用户则可以通过平面手势识 别实现最基础的人机交互功能。
二维手势包含目标手部的二维信息，不仅可以用于识别目标手部的形状特 征，还能用于追踪手势的运动轨迹，进而识别将手势特征和手部运动轨迹结合 在一起的复杂动作，比如挥手、向上滑动、向右滑动等，以控制终端设备实现 播放、暂停、前进、后退、向上翻页、向下滚动等操作。
立体手势不仅包含目标手部的二维信息，还包含深度信息，可以用于识别 各种手型、手势和动作，可供用户实现更为复杂的人机交互功能，例如玩游戏 或者应用在虚拟现实(Virtual Reality,VR)。
在一个具体实施例中，所述手势类型是根据手势的形状特征和/或运动轨迹 判断所得，手势的形状特征和/或运动轨迹通过对所述手势二维信息进行手势分 析获取。其中，所述手势分析的方法包括：边缘轮廓提取法、质心手指多特征 结合法以及指关节式跟踪法。
S3、根据所述手势类型的手势特征识别所需的算力，匹配相应的手势识别 算法对所述手势二维信息进行手势特征识别。
在一个具体实施例中，所述手势识别算法包括以下多种：
基于模板匹配的手势识别算法：动态时间规整(DTW)；
基于统计学习的手势识别算法：支持向量机(SVM)、K近邻算法(KNN)、隐 马尔可夫模型(HMM)；
基于深度学习的手势识别算法：卷积神经网络(CNN)、循环神经网络(RNN)。
具体地，动态时间规整(DTW)具有训练样本需求少，识别精度高性的优点， 然而还具有计算复杂度高，稳定性较差的不足。
支持向量机(SVM)具有可有效解决小样本、高维度、非线性问题，具有较强 的泛化能力的优点，然而还具有训练样本数量较大时，效率较低的不足。
K近邻算法(KNN)具有算法简单、易于理解的优点，然而还具有需占用大量 空间储存，时间复杂度较高的不足。
隐马尔可夫模型(HMM)具有能有效地捕获时序中的相关性，识别性能较好 的优点，然而还具有训练初始过程比较复杂，训练时间长，计算量较大的不足。
卷积神经网络(CNN)具有摒弃人为提取特征，权值共享的优点，然而还具有 训练数据需求量大且共享计算成本高的不足。
循环神经网络(RNN)具有可以用于描述时间上连续状态的输出，有记忆功能， 权重共享的优点，然而还具有并行计算能力差，计算量较大的不足。
由上可知，由于现有的手势识别算法各有优劣，例如卷积神经网络识别性 能好，且趋向于人工智能，但训练数据需求量大且计算成本极高，对石头剪刀 布这种二维手势识别性能冗余，浪费算力，而支持向量机小样本高维度且稳定 性高，但训练样本极大且效率低，对连续变化多如旋转返回等立体手势可能就 有心无力而直接宕机。
为解决此问题，本实施例将手势信息复杂度与手势识别算法进行匹配运算， 根据不同的手势类型，以及同一类手势类型的手势特征所需的算力，匹配相应 的手势识别算法对手势二维信息进行手势特征识别。示例性地，当识别到手势 类型为二维手势或平面手势时，确定该手势类型的算力比较小，则采用K近邻 算法对手势二维信息进行手势特征识别，识别效率高；当识别到手势类型为立 体手势时，确定该手势类型的算力比较大，则采用卷积神经网络对手势二维信 息进行手势特征识别，识别准确度高。如此，有效减少手势识别的算力，提高 终端设备的手势识别控制的响应速度，提高用户体验效果。
S4、触发预设映射关系中所识别出的手势特征对应的控制指令，使所述终 端设备执行所述控制指令。
在本实施例中，预设映射关系存储于终端设备，反映了手势特征与控制指 令一一对应。如此通过识别目标手部的手势，即可控制终端设备执行相应的控 制指令，操作简单，使用方便，用户体验良好。
本发明实施例提供的一种终端设备的手势识别控制方法，其中，方法包括： 通过雷达阵列捕捉雷达探测信号经目标手部反射后形成的雷达回波信号；对雷 达回波信号进行预处理，以获取有效的手势二维信息及所述手势二维信息对应 的手势类型；根据手势类型的手势特征识别所需的算力，匹配相应的手势识别 算法对手势二维信息进行手势特征识别；根据识别出的手势特征控制终端设备 执行相应的控制指令。本申请通过设置雷达阵列多视角多尺度获取目标手部的 手势信息，以及根据实际的手势信息的复杂度匹配相应的手势识别算法，能够 提高手势识别的识别速度和准确率，从而提高终端设备的手势识别控制的响应 速度和准确性。
请参见图3，图3是本发明一实施例提供的一种终端设备的手势识别控制装 置的结构示意图，包括：
探测模块101，用于通过终端设备内置的雷达阵列向目标手部发射雷达探测 信号，并捕捉所述雷达探测信号经目标手部反射后形成的雷达回波信号；其中， 所述雷达阵列由多个相互垂直的收发器传感器构成；
预处理模块102，用于对所述雷达回波信号进行预处理，以获取有效的手势 二维信息及所述手势二维信息对应的手势类型，其中所述手势类型包括二维手 势、平面手势和立体手势；
识别模块103，用于根据所述手势类型的手势特征识别所需的算力，匹配相 应的手势识别算法对所述手势二维信息进行手势特征识别；
控制模块104，用于触发预设映射关系中所识别出的手势特征对应的控制指 令，使所述终端设备执行所述控制指令。
本发明实施例提供的一种终端设备的手势识别控制装置，由探测模块101 通过终端设备内置的雷达阵列向目标手部发射雷达探测信号，并捕捉所述雷达 探测信号经目标手部反射后形成的雷达回波信号；其中，所述雷达阵列由多个 相互垂直的收发器传感器构成；由预处理模块102对所述雷达回波信号进行预 处理，以获取有效的手势二维信息及所述手势二维信息对应的手势类型，其中 所述手势类型包括二维手势、平面手势和立体手势；由识别模块103根据所述 手势类型的手势特征识别所需的算力，匹配相应的手势识别算法对所述手势二 维信息进行手势特征识别；由控制模块104触发预设映射关系中所识别出的手 势特征对应的控制指令，使所述终端设备执行所述控制指令。本申请通过设置 雷达阵列多视角多尺度获取目标手部的手势信息，以及根据实际的手势信息的 复杂度匹配相应的手势识别算法，能够提高手势识别的识别速度和准确率，从 而提高终端设备的手势识别控制的响应速度和准确性。
基于同一发明构思，本申请实施例提供一种终端设备，该终端设备为服务 器。如图4所示，本申请实施例中的终端设备包括至少一个处理器1101，以及 与至少一个处理器1101连接的存储器1102和通信接口1103，本申请实施例中 不限定处理器1101与存储器1102之间的具体连接介质，图4中是以处理器1101 和存储器1102之间通过总线1100连接为例，总线1100在图4中以粗线表示， 其它部件之间的连接方式，仅是进行示意性说明，并不引以为限。总线1100可 以分为地址总线、数据总线、控制总线等，为便于表示，图4中仅用一条粗线 表示，但并不表示仅有一根总线或一种类型的总线。
在本申请实施例中，存储器1102存储有可被至少一个处理器1101执行的 指令，至少一个处理器1101通过执行存储器1102存储的指令，可以执行前述 的终端设备的手势识别控制方法所包括的步骤。
其中，处理器1101是终端设备的控制中心，可以利用各种接口和线路连接 整个终端设备的各个部分，通过运行或执行存储在存储器1102内的指令以及调 用存储在存储器1102内的数据，终端设备的各种功能和处理数据，从而对终端 设备进行整体监控。可选的，处理器1101可包括一个或多个处理单元，处理器 1101可集成应用处理器和调制解调处理器，其中，处理器1101主要处理操作系 统、用户界面和应用程序等，调制解调处理器主要处理无线通信。可以理解的 是，上述调制解调处理器也可以不集成到处理器1101中。在一些实施例中，处 理器1101和存储器1102可以在同一芯片上实现，在一些实施例中，它们也可以在独立的芯片上分别实现。
处理器1101可以是通用处理器，例如中央处理器(CPU)、数字信号处理器、 专用集成电路、现场可编程门阵列或者其他可编程逻辑器件、分立门或者晶体 管逻辑器件、分立硬件组件，可以实现或者执行本申请实施例中公开的各方法、 步骤及逻辑框图。通用处理器可以是微处理器或者任何常规的处理器等。结合 本申请实施例所申请的方法的步骤可以直接体现为硬件处理器执行完成，或者 用处理器中的硬件及软件模块组合执行完成。
存储器1102作为一种非易失性计算机可读存储介质，可用于存储非易失性 软件程序、非易失性计算机可执行程序以及模块。存储器1102可以包括至少一 种类型的存储介质，例如可以包括闪存、硬盘、多媒体卡、卡型存储器、随机 访问存储器(Rand om AccessMemory，RAM)、静态随机访问存储器(Static Random Access Memory，SRAM)、可编程只读存储器(Programmable Read Only Memory，PROM)、只读存储器(Read Only Memory，ROM)、带电可擦除可编程 只读存储器(Electrically Erasable Programmable Read-OnlyMemory，EEPROM)、 磁性存储器、磁盘、光盘等等。存储器1102是能够用于携带或存储具有指令或 数据结构形式的期望的程序代码并能够由计算机存取的任何其他介质，但不限 于此。本申请实施例中的存储器1102还可以是电路或者其它任意能够实现存储 功能的装置，用于存储程序指令和/或数据。
通信接口1103是能够用于进行通信的传输接口，例如可以通过通信接口 1103接收数据或者发送数据。
继续参见图4，该终端设备还包括帮助终端设备内的各个器件之间传输信息 的基本输入/输出系统(I/O系统)1104、用于存储操作系统1105、应用程序1106 和其他程序模块1107的大容量存储设备1108。
基本输入/输出系统1104包括有用于显示信息的显示器1109和用于用户输 入信息的诸如鼠标、键盘之类的输入设备1110。其中显示器1109和输入设备1110 都通过连接到系统总线1100的基本输入/输出系统1104连接到处理器1101。基 本输入/输出系统1104还可以包括输入输出控制器以用于接收和处理来自键盘、 鼠标、或电子触控笔等多个其他设备的输入。类似地，输入输出控制器还提供 输出到显示屏、打印机或其他类型的输出设备。
大容量存储设备通过连接到系统总线1100的大容量存储控制器(未示出)连 接到处理器1101。大容量存储设备1108及其相关联的计算机可读介质为该服务 器包提供非易失性存储。也就是说，大容量存储设备1108可以包括诸如硬盘或 者CD-ROM驱动器之类的计算机可读介质(未示出)。
根据本发明的各种实施例，该终端设备包还可以通过诸如因特网等网络连 接到网络上的远程计算机运行。也即该终端设备可以通过连接在系统总线1100 上的通信接口1103连接到网络1111，或者说，也可以使用通信接口1103来连 接到其他类型的网络或远程计算机系统(未示出)。
基于同一发明构思，本申请实施例还提供一种存储介质，该存储介质可以 是计算机可读存储介质，该存储介质中存储有计算机指令，当该计算机指令在 计算机上运行时，使得计算机执行如前述的终端设备的手势识别控制方法包括 的步骤。
基于同一发明构思，本申请实施例还提供一种芯片系统，该芯片系统包括 处理器，还可以包括存储器，用于实现如前述的终端设备的手势识别控制方法 包括的步骤。该芯片系统可以由芯片构成，也可以包含芯片和其他分立器件。
在一些可能的实施方式中，本申请实施例提供的社交内容处理方法的各个 方面还可以实现为一种程序产品的形式，其包括程序代码，当程序产品在计算 机上运行时，程序代码用于使计算机执行前文所描述的根据本申请各种示例性 实施方式的终端设备的手势识别控制方法包括的步骤。
本领域内的技术人员应明白，本申请的实施例可提供为方法、装置、系统、 或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、 或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其 中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、 CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
显然，本领域的技术人员可以对本申请进行各种改动和变型而不脱离本申 请的精神和范围。这样，倘若本申请的这些修改和变型属于本申请权利要求及 其等同技术的范围之内，则本申请也意图包含这些改动和变型在内。
Claims (10)
1.一种终端设备的手势识别控制方法，其特征在于，包括：
通过终端设备内置的雷达阵列向目标手部发射雷达探测信号，并捕捉所述雷达探测信号经目标手部反射后形成的雷达回波信号；其中，所述雷达阵列由多个相互垂直的收发器传感器构成；
对所述雷达回波信号进行预处理，以获取有效的手势二维信息及所述手势二维信息对应的手势类型，其中所述手势类型包括二维手势、平面手势和立体手势；
根据所述手势类型的手势特征识别所需的算力，匹配相应的手势识别算法对所述手势二维信息进行手势特征识别；
触发预设映射关系中所识别出的手势特征对应的控制指令，使所述终端设备执行所述控制指令。
2.如权利要求1所述的终端设备的手势识别控制方法，其特征在于，所述雷达阵列由三个相互垂直的多普勒连续波微型收发器传感器构成。
3.如权利要求1或2所述的终端设备的手势识别控制方法，其特征在于，所述雷达阵列设置于微型电动万向轴的活动端，并电连接所述终端设备的控制主板。
4.如权利要求3所述的终端设备的手势识别控制方法，其特征在于，还包括：
根据预设手势识别条件，促使所述微型电动万向轴调整所述雷达阵列的朝向目标手部，并促使所述雷达阵列发射雷达探测信号；其中，
所述预设手势识别条件包括：人工通过操作所述终端设备或者关联设备主动唤醒所述终端设备的手势识别功能，和探测器探测到所述终端设备能够启动手势识别功能的区域出现人时自动唤醒所述终端设备的手势识别功能。
5.如权利要求4所述的终端设备的手势识别控制方法，其特征在于，所述探测器为所述终端设备的内部探测器，或与所述终端设备关联的外部探测器，所述探测器为红外传感器。
6.如权利要求1所述的终端设备的手势识别控制方法，其特征在于，所述手势类型是根据手势的形状特征和/或运动轨迹判断所得，手势的形状特征和/或运动轨迹通过对所述手势二维信息进行手势分析获取；其中，
所述手势分析的方法包括：边缘轮廓提取法、质心手指多特征结合法以及指关节式跟踪法。
7.如权利要求1所述的终端设备的手势识别控制方法，其特征在于，所述手势识别算法包括：
基于模板匹配的手势识别算法：动态时间规整；
基于统计学习的手势识别算法：支持向量机、K近邻算法、隐马尔可夫模型；
基于深度学习的手势识别算法：卷积神经网络、循环神经网络。
8.一种终端设备的手势识别控制装置，其特征在于，包括：
探测模块，用于通过终端设备内置的雷达阵列向目标手部发射雷达探测信号，并捕捉所述雷达探测信号经目标手部反射后形成的雷达回波信号；其中，所述雷达阵列由多个相互垂直的收发器传感器构成；
预处理模块，用于对所述雷达回波信号进行预处理，以获取有效的手势二维信息及所述手势二维信息对应的手势类型，其中所述手势类型包括二维手势、平面手势和立体手势；
识别模块，用于根据所述手势类型的手势特征识别所需的算力，匹配相应的手势识别算法对所述手势二维信息进行手势特征识别；
控制模块，用于触发预设映射关系中所识别出的手势特征对应的控制指令，使所述终端设备执行所述控制指令。
9.一种终端设备，其特征在于，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如权利要求1至7任一项所述的终端设备的手势识别控制方法包括的步骤。
10.一种计算机可读存储介质，其特征在于，所述存储介质存储有计算机可执行指令，所述计算机可执行指令用于使计算机执行如权利要求1至7任一项所述的终端设备的手势识别控制方法包括的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111214614.6A CN113918019A (zh) | 2021-10-19 | 2021-10-19 | 终端设备的手势识别控制方法、装置、终端设备及介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111214614.6A CN113918019A (zh) | 2021-10-19 | 2021-10-19 | 终端设备的手势识别控制方法、装置、终端设备及介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN113918019A true CN113918019A (zh) | 2022-01-11 |
Family
ID=79241184
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202111214614.6A Pending CN113918019A (zh) | 2021-10-19 | 2021-10-19 | 终端设备的手势识别控制方法、装置、终端设备及介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113918019A (zh) |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114397963A (zh) * | 2022-01-18 | 2022-04-26 | 深圳大学 | 一种手势识别方法、装置、电子设备及存储介质 |
| CN114508997A (zh) * | 2022-04-19 | 2022-05-17 | 亿慧云智能科技（深圳）股份有限公司 | 一种基于微波雷达的智能家居管理系统和方法 |
| CN115793923A (zh) * | 2023-02-09 | 2023-03-14 | 深圳市泛联信息科技有限公司 | 一种人机界面运动轨迹识别方法、系统、设备及介质 |
| US20230359280A1 (en) * | 2022-05-09 | 2023-11-09 | KaiKuTek Inc. | Method of customizing hand gesture |
| CN117934778A (zh) * | 2024-02-04 | 2024-04-26 | 北京信息职业技术学院 | 基于虚拟现实的数字化交互仿真方法及系统 |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102985897A (zh) * | 2010-07-13 | 2013-03-20 | 英特尔公司 | 高效姿势处理 |
| CN111857354A (zh) * | 2020-08-04 | 2020-10-30 | RealMe重庆移动通信有限公司 | 解锁方法、装置、电子设备以及存储介质 |
| WO2021086688A2 (en) * | 2019-10-30 | 2021-05-06 | Google Llc | Smart-device-based radar system performing gesture recognition using a space time neural network |
| CN113050084A (zh) * | 2021-03-11 | 2021-06-29 | 上海交通大学 | Mimo调频连续波毫米波雷达的4d手势识别方法 |
| CN113064483A (zh) * | 2021-02-27 | 2021-07-02 | 华为技术有限公司 | 一种手势识别方法以及相关装置 |
| CN213904292U (zh) * | 2020-12-11 | 2021-08-06 | 北京清雷科技有限公司 | 手势识别系统 |
| CN113495267A (zh) * | 2020-04-07 | 2021-10-12 | 北京小米移动软件有限公司 | 雷达天线阵列、移动终端、手势识别方法及装置 |
-
2021
- 2021-10-19 CN CN202111214614.6A patent/CN113918019A/zh active Pending
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102985897A (zh) * | 2010-07-13 | 2013-03-20 | 英特尔公司 | 高效姿势处理 |
| WO2021086688A2 (en) * | 2019-10-30 | 2021-05-06 | Google Llc | Smart-device-based radar system performing gesture recognition using a space time neural network |
| CN113495267A (zh) * | 2020-04-07 | 2021-10-12 | 北京小米移动软件有限公司 | 雷达天线阵列、移动终端、手势识别方法及装置 |
| CN111857354A (zh) * | 2020-08-04 | 2020-10-30 | RealMe重庆移动通信有限公司 | 解锁方法、装置、电子设备以及存储介质 |
| CN213904292U (zh) * | 2020-12-11 | 2021-08-06 | 北京清雷科技有限公司 | 手势识别系统 |
| CN113064483A (zh) * | 2021-02-27 | 2021-07-02 | 华为技术有限公司 | 一种手势识别方法以及相关装置 |
| CN113050084A (zh) * | 2021-03-11 | 2021-06-29 | 上海交通大学 | Mimo调频连续波毫米波雷达的4d手势识别方法 |
Cited By (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114397963A (zh) * | 2022-01-18 | 2022-04-26 | 深圳大学 | 一种手势识别方法、装置、电子设备及存储介质 |
| CN114397963B (zh) * | 2022-01-18 | 2023-06-30 | 深圳大学 | 一种手势识别方法、装置、电子设备及存储介质 |
| CN114508997A (zh) * | 2022-04-19 | 2022-05-17 | 亿慧云智能科技（深圳）股份有限公司 | 一种基于微波雷达的智能家居管理系统和方法 |
| CN114508997B (zh) * | 2022-04-19 | 2022-07-05 | 亿慧云智能科技（深圳）股份有限公司 | 一种基于微波雷达的智能家居管理系统和方法 |
| US20230359280A1 (en) * | 2022-05-09 | 2023-11-09 | KaiKuTek Inc. | Method of customizing hand gesture |
| CN115793923A (zh) * | 2023-02-09 | 2023-03-14 | 深圳市泛联信息科技有限公司 | 一种人机界面运动轨迹识别方法、系统、设备及介质 |
| CN117934778A (zh) * | 2024-02-04 | 2024-04-26 | 北京信息职业技术学院 | 基于虚拟现实的数字化交互仿真方法及系统 |
| CN117934778B (zh) * | 2024-02-04 | 2024-07-19 | 北京信息职业技术学院 | 基于虚拟现实的数字化交互仿真方法及系统 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN113918019A (zh) | 终端设备的手势识别控制方法、装置、终端设备及介质 | |
| Liu et al. | Real-time arm gesture recognition in smart home scenarios via millimeter wave sensing | |
| Liu et al. | M-gesture: Person-independent real-time in-air gesture recognition using commodity millimeter wave radar | |
| Wang et al. | m-activity: Accurate and real-time human activity recognition via millimeter wave radar | |
| Dong et al. | Dynamic hand gesture recognition based on signals from specialized data glove and deep learning algorithms | |
| Li et al. | Towards domain-independent and real-time gesture recognition using mmwave signal | |
| Park et al. | Real-time 3D pointing gesture recognition for mobile robots with cascade HMM and particle filter | |
| CN111695420A (zh) | 一种手势识别方法以及相关装置 | |
| Yang et al. | Gesture recognition using depth-based hand tracking for contactless controller application | |
| JP2019532543A (ja) | 制御システムならびに制御処理方法および装置 | |
| CN103353935A (zh) | 一种用于智能家居系统的3d动态手势识别方法 | |
| CN102999152A (zh) | 一种手势动作识别方法和系统 | |
| CN109839827B (zh) | 一种基于全空间位置信息的手势识别智能家居控制系统 | |
| Linqin et al. | Dynamic hand gesture recognition using RGB-D data for natural human-computer interaction | |
| CN111444488A (zh) | 一种基于动态手势的身份认证方法 | |
| CN113064483A (zh) | 一种手势识别方法以及相关装置 | |
| Kim et al. | Vision-based cleaning area control for cleaning robots | |
| US10444852B2 (en) | Method and apparatus for monitoring in a monitoring space | |
| CN113918004A (zh) | 手势识别方法及其装置、介质和系统 | |
| CN110866468A (zh) | 一种基于无源rfid的手势识别系统及方法 | |
| Elshenaway et al. | On-air hand-drawn doodles for IoT devices authentication during COVID-19 | |
| Li et al. | Di-gesture: Domain-independent and real-time gesture recognition with millimeter-wave signals | |
| Chen et al. | Depth-based hand gesture recognition using hand movements and defects | |
| CN110309689B (zh) | 基于超宽带雷达的Gabor域手势识别检测方法 | |
| Ye et al. | Human motion recognition using three-dimensional skeleton model based on RGBD vision system |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20220111 |
|
| RJ01 | Rejection of invention patent application after publication |