CN111382702A - 手势识别方法、装置、移动终端和存储介质 - Google Patents

手势识别方法、装置、移动终端和存储介质 Download PDF

Info

Publication number
CN111382702A
CN111382702A CN202010158990.7A CN202010158990A CN111382702A CN 111382702 A CN111382702 A CN 111382702A CN 202010158990 A CN202010158990 A CN 202010158990A CN 111382702 A CN111382702 A CN 111382702A
Authority
CN
China
Prior art keywords
radar
gesture
data
distance
determining
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010158990.7A
Other languages
English (en)
Other versions
CN111382702B (zh
Inventor
阳召成
何凯旋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen University
Original Assignee
Shenzhen University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen University filed Critical Shenzhen University
Priority to CN202010158990.7A priority Critical patent/CN111382702B/zh
Publication of CN111382702A publication Critical patent/CN111382702A/zh
Application granted granted Critical
Publication of CN111382702B publication Critical patent/CN111382702B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G06V40/28—Recognition of hand or arm movements, e.g. recognition of deaf sign language
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Molecular Biology (AREA)
  • Computational Linguistics (AREA)
  • Software Systems (AREA)
  • Mathematical Physics (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computing Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Human Computer Interaction (AREA)
  • Psychiatry (AREA)
  • Multimedia (AREA)
  • Social Psychology (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

本发明实施例提供了一种手势识别方法、装置、移动终端和存储介质。该手势识别方法包括：获取双站雷达反馈的雷达数据，所述双站雷达包括第一雷达和第二雷达；根据所述雷达数据判断是否存在手势动作；当存在所述手势动作时，采集预设时间内的双站雷达手势数据，根据获取的所述双站雷达手势数据确定所述手势动作对应的平面坐标点轨迹特征时间序列；根据所述平面坐标点轨迹特征时间序列确定所述手势动作对应的目标手势，所述目标手势为多个预设手势中的一个。达到提高手势识别的准确性的效果。

Description

手势识别方法、装置、移动终端和存储介质
技术领域
本发明实施例涉及智能识别技术领域，尤其涉及一种手势识别方法、装置、移动终端和存储介质。
背景技术
近年来，手势识别在人机交互领域中被认为是一种非常关键的技术。常见的手势识别技术主要可被分为基于视觉的手势识别技术、基于微机电系统的 (MEMS)手势识别技术。
基于视觉的手势识别技术拥有较高的识别率，主要通过人体手部的形状、颜色、骨骼点线模型等结合图像处理和模式识别的方法达到良好的识别。
然而，基于图像的手势识别技术容易受到光线、水雾等不良环境的影响，导致识别的准确性不高。
发明内容
本发明实施例提供一种手势识别方法、装置、移动终端和存储介质，以实现提高手势识别的准确性的效果。
第一方面，本发明实施例提供了一种手势识别方法，包括：
获取双站雷达反馈的雷达数据，所述双站雷达包括第一雷达和第二雷达；
根据所述雷达数据判断是否存在手势动作；
当存在所述手势动作时，采集预设时间内的双站雷达手势数据；
根据获取的所述双站雷达手势数据确定所述手势动作对应的平面坐标点轨迹特征时间序列；
根据所述平面坐标点轨迹特征时间序列确定所述手势动作对应的目标手势，所述目标手势为多个预设手势中的一个。
可选的，所述双站雷达手势数据包括第一雷达的第一雷达回波信号数据和第二雷达的第二雷达回波信号数据，所述根据获取的所述双站雷达手势数据确定所述手势动作对应的平面坐标点轨迹特征时间序列，包括：
根据所述第一雷达回波信号数据和所述第二雷达回波信号数据确定每个时刻对应的第一距离和所述第一距离的第一距离信号幅度以及第二距离和所述第二距离的第二距离信号幅度；
根据所述每个时刻对应的第一距离和所述第一距离的第一距离信号幅度以及第二距离和所述第二距离的第二距离信号幅度确定所述手势动作对应的平面坐标点轨迹特征时间序列。
可选的，所述根据所述第一雷达回波信号数据和所述第二雷达回波信号数据确定每个时刻对应的第一距离和所述第一距离的第一距离信号幅度以及第二距离和所述第二距离的第二距离信号幅度，包括：
以所述第一雷达为原点建立坐标系；
根据所述第一雷达回波信号数据确定每个时刻对应的所述第一雷达和手势动作的第一距离以及所述第一距离的第一距离信号幅度；
根据所述第二雷达回波信号数据确定每个时刻对应的所述第二雷达和手势动作的第二距离以及所述第二距离的第二距离信号幅度；
根据所述第一距离、所述第一距离信号幅度、所述第二距离和所述第二距离信号幅度确定每个时刻对应的坐标系中的第一坐标、第二坐标、所述第一坐标的信号幅度和所述第二坐标的信号幅度。
可选的，所述根据所述平面坐标点轨迹特征时间序列确定所述手势动作对应的目标手势，包括：
将所述平面坐标点轨迹特征时间序列输入至训练好的循环神经网络模型中；
根据所述循环神经网络模型的输出结果确定所述手势动作对应的目标手势。
可选的，所述采集预设时间内的双站雷达手势数据，包括：
判断所述手势动作是否处于预设范围内；
当所述手势动作处于预设范围内时，则采集预设时间内的双站雷达手势数据。
可选的，在所述根据所述雷达数据判断是否存在手势动作之前，包括：
去除所述第一雷达和/或第二雷达的接收端的自身干扰信号；和/或
去除外部环境的外部干扰信号。
可选的，所述循环神经网络模型为LSTM网络模型。
第二方面，本发明实施例提供了一种手势识别装置，包括：
雷达数据获取模块，用于获取双站雷达反馈的雷达数据，所述双站雷达包括第一雷达和第二雷达；
判断模块，用于根据所述雷达数据判断是否存在手势动作；
采集模块，用于当存在所述手势动作时，采集预设时间内的双站雷达手势数据；
序列确定模块，用于根据获取的所述双站雷达手势数据确定所述手势动作对应的平面坐标点轨迹特征时间序列；
手势确定模块，用于根据所述平面坐标点轨迹特征时间序列确定所述手势动作对应的目标手势，所述目标手势为多个预设手势中的一个。
第三方面，本发明实施例提供了一种移动终端，包括：
一个或多个处理器；
存储装置，用于存储一个或多个程序，
当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如本发明任意实施例所述的手势识别方法。
第四方面，本发明实施例提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如本发明任意实施例所述的手势识别方法。
本发明实施例通过获取双站雷达反馈的雷达数据，所述双站雷达包括第一雷达和第二雷达；根据所述雷达数据判断是否存在手势动作；当存在所述手势动作时，采集预设时间内的双站雷达手势数据；根据所述获取的双站雷达手势数据确定所述手势动作对应的平面坐标点轨迹特征时间序列；根据所述平面坐标点轨迹特征时间序列确定所述手势动作对应的目标手势，所述目标手势为多个预设手势中的一个，解决了现有方案容易受到光线、水雾等不良环境的影响，导致识别的准确性不高的问题，实现了提高手势识别的准确性的效果。
附图说明
图1是本发明实施例一提供的一种手势识别方法的流程示意图；
图2是本发明实施例二提供的一种手势识别方法的流程示意图；
图3是本发明实施例三提供的一种手势识别装置的结构示意图；
图4是本发明实施例四提供的一种移动终端的结构示意图。
具体实施方式
下面结合附图和实施例对本发明作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释本发明，而非对本发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本发明相关的部分而非全部结构。
在更加详细地讨论示例性实施例之前应当提到的是，一些示例性实施例被描述成作为流程图描绘的处理或方法。虽然流程图将各步骤描述成顺序的处理，但是其中的许多步骤可以被并行地、并发地或者同时实施。此外，各步骤的顺序可以被重新安排。当其操作完成时处理可以被终止，但是还可以具有未包括在附图中的附加步骤。处理可以对应于方法、函数、规程、子例程、子程序等等。
此外，术语“第一”、“第二”等可在本文中用于描述各种方向、动作、步骤或元件等，但这些方向、动作、步骤或元件不受这些术语限制。这些术语仅用于将第一个方向、动作、步骤或元件与另一个方向、动作、步骤或元件区分。举例来说，在不脱离本申请的范围的情况下，可以将第一雷达为第二雷达，且类似地，可将第二雷达称为第一雷达。第一雷达和第二雷达两者都是雷达，但其不是同一雷达。术语“第一”、“第二”等而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个该特征。在本发明的描述中，“多个”的含义是至少两个，例如两个，三个等，除非另有明确具体的限定。
实施例一
图1为本发明实施例一提供的一种手势识别方法的流程示意图，可适用于对手势动作进行识别的场景，该方法可以由手势识别装置来执行，该装置可以采用软件和/或硬件的方式实现，并可集成在移动终端上。
如图1所示，本发明实施例一提供的手势识别方法包括：
S110、获取双站雷达反馈的雷达数据，所述双站雷达包括第一雷达和第二雷达。
其中，雷达数据是指双站雷达反馈的数据。具体的，雷达数据通过双站雷达发射预设波形后，经物体反射后形成的回波信号被双站雷达接收，并根据回波信号计算得到的数据。具体的，可以直接获取双站雷达根据回波信号得到的雷达数据，也可以获取回波信号后根据回波信号计算得到雷达数据。在本实施例中，可选的，第一雷达和第二雷达为超宽带脉冲(UWB)雷达。本实施例对于第一雷达和第二雷达的具体型号不做限制。
S120、根据所述雷达数据判断是否存在手势动作。
其中，手势动作是指用户通过手部，例如手掌做出一系列动作。本实施例对于如何根据雷达数据判断是否存在手势动作的方式不做限制。例如，可以是在双站雷达的扫描范围的预设时间内出现物体，则可以认为是存在手势动作。又例如，还可以通过雷达检测中恒虚警检测器(CAFR)根据回波信号判断是否存在手势动作。
S130、当存在所述手势动作时，采集预设时间内的双站雷达手势数据。
其中，双站雷达手势数据是指预设时间内的双站雷达回波信号。具体的，双站雷达手势数据是指确定存在手势动作后，预设时间内的双站雷达回波信号，也可以认为是预设帧数(例如30帧)的双站雷达回波信号。具体的，可以根据预设时间内双站雷达接收的回波信号确定。可选的，预设时间以确定存在手势动作的第一时间为起始时间计算。可选的，预设时间可以根据需要进行设置。在本实施例中，优选的，预设时间为2秒(S)。例如，在8:59:58确认存在手势动作时，则采集8:59:58-9:00:00的手势数据。由于双站雷达在持续发射预设波形，也在持续接收回波信号，因此，双站雷达手势数据均对应预设时间内的每一个脉冲回波信号的间隔时刻。
在一个可选的实施方式中，采集预设时间内的双站雷达手势数据，包括：
判断所述手势动作是否处于预设范围内；当所述手势动作处于预设范围内时，则采集预设时间内的双站雷达手势数据。
在本实施方式中，具体的，为了减少雷达手势识别中复杂动态干扰，根据雷达识别范围和人的手势习惯，结合覆盖分析定义出预设范围，即手掌活动的范围。具体的，预设范围小于或等于雷达识别范围。本实施方式当手势动作处于预设范围内才采集手势数据，避免了其他非手势的干扰。
S140、根据获取的所述双站雷达手势数据确定所述手势动作对应的平面坐标点轨迹特征时间序列。
其中，平面坐标点轨迹特征时间序列是指建立的平面坐标中坐标点的移动轨迹、信号幅度变化和时刻的关联关系。具体的，平面坐标点轨迹特征时间序列包括多个平面坐标点及改点信号幅度和对应时刻的关联关系。手势动作是一系列完整连贯的动作，因此用户在摆动手部比划手势动作时，手势动作在建立的平面坐标中形成一个轨迹，轨迹上有多个轨迹点并且每个轨迹点都有对应的信号幅度，而每个轨迹点对应一个时刻。
在一个可选的实施方式中，双站雷达手势数据包括第一雷达的第一雷达回波信号数据和第二雷达的第二雷达回波信号数据，所述根据获取的所述双站雷达手势数据确定所述手势动作对应的平面坐标点轨迹特征时间序列，包括：
根据所述第一雷达回波信号数据和所述第二雷达回波信号数据确定每个时刻对应的第一距离和所述第一距离的第一距离信号幅度以及第二距离和所述第二距离的第二距离信号幅度；根据所述每个时刻对应的第一距离和所述第一距离的第一距离信号幅度以及第二距离和所述第二距离的第二距离信号幅度确定所述手势动作对应的平面坐标点轨迹特征时间序列。
在本实施方式中，第一雷达回波信号数据是指第一雷达采集的回波信号数据，第二雷达回波信号数据是指第二雷达采集的回波信号数据。第一距离是指第一雷达根据回波信号得到的与目标之间的距离。第一距离信号幅度是指第一雷达与目标相隔第一距离时，该目标反射的回波信号幅度。第二距离是指第二雷达根据回波信号得到的与目标之间的距离。第二距离信号幅度是指第二雷达与目标相隔第二距离时，该目标反射的回波信号幅度。第一坐标是指在坐标系中第一轴上的坐标，第二坐标是指坐标系中第二轴上的坐标。例如，第一坐标为坐标系上X轴的坐标，第二坐标为坐标系上Z轴的坐标。其中，坐标系的建立可以根据第一雷达和第二雷达构建。本实施方式中，平面坐标点轨迹特征事件序列包括轨迹点的第一坐标和时刻的第一关系、轨迹点的第二坐标和时刻的第二关系，轨迹点的回波信号强度和时刻的第三关系。
在一个可选的实施方式中，根据所述第一雷达回波信号数据和所述第二雷达回波信号数据确定每个时刻对应的第一距离和所述第一距离的第一距离信号幅度以及第二距离和所述第二距离的第二距离信号幅度，包括：
以所述第一雷达为原点建立坐标系；根据所述第一雷达回波信号数据确定每个时刻对应的所述第一雷达和手势动作的第一距离以及所述第一距离的第一距离信号幅度；根据所述第二雷达回波信号数据确定每个时刻对应的所述第二雷达和手势动作的第二距离以及所述第二距离的第二距离信号幅度；根据所述第一距离、所述第一距离信号幅度、所述第二距离和所述第二距离信号幅度确定每个时刻对应的坐标系中的第一坐标、第二坐标、所述第一坐标的信号幅度和所述第二坐标的信号幅度。
在本实施方式中，以第一雷达为原点建立坐标系。示例性的，将第一雷达和第二雷达放置在水平面上，以第一雷达为原点，第二雷达和第一雷达的连线为X轴，第一雷达指向第二雷达的方向为X轴的方向，垂直水平面与第一雷达的连接线为Z轴。第一距离及该距离信号幅度是指用户在做手势动作时与第一雷达检测到的距离和该距离信号幅度，第二距离是指用户在做手势动作时与第二雷达检测到的距离和该距离信号幅度。根据第一距离和该距离信号幅度和第二距离和该距离信号幅度可以确定坐标系中的第一坐标、第二坐标、坐标点信号幅度。具体的，可以通过下式计算得到：
Figure BDA0002405095990000091
Figure BDA0002405095990000092
R＝R1+R2；
其中，r1是第一距离，r2是第二距离，X是第一坐标，Z是第二坐标，l是第一雷达和第二雷达的距离，R是坐标点信号幅度，R1是第一距离的信号幅度，R2是第二距离信号幅度。
S150、根据所述平面坐标点轨迹特征时间序列确定所述手势动作对应的目标手势，所述目标手势为多个预设手势中的一个。
其中，目标手势是根据平面坐标点轨迹特征时间序列在多个预设手势中确定的具体的手势。在本实施例中，多个预设手势可以根据需要预先进行规划。
在一个可选的实施方式中，根据所述平面坐标点轨迹特征时间序列确定所述手势动作对应的目标手势，包括：
将所述平面坐标点轨迹特征时间序列输入至训练好的循环神经网络模型中；根据所述循环神经网络模型的输出结果确定所述手势动作对应的目标手势。
在本实施方式中，循环神经网络模型为LSTM网络模型。具体的，该LSTM 网络模型包括三个输入层。其中，第一输入层输入轨迹点的第一坐标和时刻的第一关系，第二输入层输入轨迹点的第二坐标和时刻的第二关系，第三输入层输入轨迹点的回波信号强度和时刻的第三关系。第一关系和第二关系分别输入对应的LSTM中提取时间特征后，与第三关系进行连接输入至64个神经元的全连接层，最后接一个14输出的softmax层作为输出层实现手势的识别。
本发明实施例的技术方案，通过获取双站雷达反馈的雷达数据，所述双站雷达包括第一雷达和第二雷达；根据所述雷达数据判断是否存在手势动作；当存在所述手势动作时，采集预设时间内的双站雷达手势数据；根据获取的所述双站雷达手势数据确定所述手势动作对应的平面坐标点轨迹特征时间序列；根据所述平面坐标点轨迹特征时间序列确定所述手势动作对应的目标手势，所述目标手势为多个预设手势中的一个，由于是通过平面坐标点轨迹特征时间序列来进行识别，不会受到光线和水雾等不良环境的影响，达到提高手势识别的准确性的技术效果。此外，利用轨迹特征相较于图像进行识别，计算量更小，更易于集成至移动终端上。
实施例二
图2是本发明实施例二提供的一种手势识别方法的流程示意图。本实施例是在上述技术方案的进一步细化，适用于对手势动作进行识别的场景。该方法可以由手势识别装置来执行，该装置可以采用软件和/或硬件的方式实现，并可集成在移动终端上。
如图2所示，本发明实施例二提供的手势识别方法包括：
S210、获取双站雷达反馈的雷达数据，所述双站雷达包括第一雷达和第二雷达。
其中，雷达数据是指双站雷达反馈的数据。具体的，雷达数据通过双站雷达发射预设波形后，经物体反射后形成的回波信号被双站雷达接收，并根据回波信号计算得到的数据。具体的，可以直接获取双站雷达根据回波信号得到的雷达数据，也可以获取回波信号后根据回波信号计算得到雷达数据。在本实施例中，可选的，第一雷达和第二雷达为超宽带(UWB)脉冲雷达。本实施例对于第一雷达和第二雷达的具体型号不做限制。
S220、去除所述第一雷达和/或第二雷达的接收端的自身干扰信号。
在本步骤中，具体的，可以先采集第一雷达和/或干扰时间内，例如3S内的无手势信号，根据无手势信号计算自身干扰信号，从而去除第一雷达和/或第二雷达的接收端的自身干扰信号。优选的，同时去除第一雷达和第二雷达的自身干扰信号。
S230、去除外部环境的外部干扰信号。
在本步骤中，具体的，可以通过杂波抑制方式去除外部干扰信号。可选的，杂波抑制方式包括但不限于线性相位FIR滤波、自适应平均杂波等可有效抑制等。通过对干扰信好进行去除，提高了识别的准确性。
在一个可选的实施方式中，可以只有步骤S220，没有步骤S230；也可以只有步骤S230，没有步骤S220；也可以是步骤S220和步骤S230顺序调换。
S240、根据所述雷达数据判断是否存在手势动作。
其中，手势动作是指用户通过手部，例如手掌做出一系列动作。本实施例对于如何根据雷达数据判断是否存在手势动作的方式不做限制。例如，可以是在双站雷达的扫描范围的预设时间内出现物体，则可以认为是存在手势动作。
S250、当存在所述手势动作时，采集预设时间内的双站雷达手势数据。
其中，双站雷达手势数据是指预设时间内的双站雷达回波信号数据。具体的，可以根据预设时间内双站雷达接收的回波信号确定。可选的，预设时间以确定存在手势动作的第一时间为起始时间计算。可选的，预设时间可以根据需要进行设置。在本实施例中，优选的，预设时间为2秒(S)。例如，在8:59:58 确认存在手势动作时，则采集8:59:58-9:00:00的手势数据。由于双站雷达在持续发射预设波形，也在持续接收回波信号，因此，双站雷达手势数据均对应预设时间内的每一个脉冲回波信号的间隔时刻。
S260、根据获取的所述双站雷达手势数据确定所述手势动作对应的平面坐标点轨迹特征时间序列。
其中，平面坐标点轨迹特征时间序列是指建立的平面坐标中坐标点的移动轨迹、信号幅度变化和时刻的关联关系。具体的，平面坐标点轨迹特征时间序列包括多个平面坐标点及改点信号幅度和对应时刻的关联关系。手势动作是一系列完整连贯的动作，因此用户在摆动手部比划手势动作时，手势动作在建立的平面坐标中形成一个轨迹，轨迹上有多个轨迹点并且每个轨迹点都有对应的信号幅度，而每个轨迹点对应一个时刻。
S270、根据所述平面坐标点轨迹特征时间序列确定所述手势动作对应的目标手势，所述目标手势为多个预设手势中的一个。
其中，目标手势是根据平面坐标点轨迹特征时间序列在多个预设手势中确定的具体的手势。在本实施例中，多个预设手势可以根据需要预先进行规划。
本发明实施例的技术方案，通过获取双站雷达反馈的雷达数据，所述双站雷达包括第一雷达和第二雷达；根据所述雷达数据判断是否存在手势动作；当存在所述手势动作时，采集预设时间内的双站雷达手势数据；根据获取的所述双站雷达手势数据确定所述手势动作对应的平面坐标点轨迹特征时间序列；根据所述平面坐标点轨迹特征时间序列确定所述手势动作对应的目标手势，所述目标手势为多个预设手势中的一个，由于是通过平面坐标点轨迹特征来进行识别，不会受到光线和水雾等不良环境的影响，达到提高手势识别的准确性的技术效果。此外，利用轨迹特征相较于图像进行识别，计算量更小，更易于集成至移动终端上。
实施例三
图3是本发明实施例三提供的一种手势识别装置的结构示意图，本实施例可适用于对手势动作进行识别的场景，该装置可以采用软件和/或硬件的方式实现，并可集成在移动终端上。
如图3所示，本实施例提供的手势识别装置可以包括雷达数据获取模块310、判断模块320、采集模块330、序列确定模块340和手势确定模块350，其中：
雷达数据获取模块310，用于获取双站雷达反馈的雷达数据，所述双站雷达包括第一雷达和第二雷达；
判断模块320，用于根据所述雷达数据判断是否存在手势动作；
采集模块330，用于当存在所述手势动作时，采集预设时间内的双站雷达手势数据；
序列确定模块340，用于根据获取的所述双站雷达手势数据确定所述手势动作对应的平面坐标点轨迹特征时间序列；
手势确定模块350，用于根据所述平面坐标点轨迹特征时间序列确定所述手势动作对应的目标手势，所述目标手势为多个预设手势中的一个。
可选的，双站雷达手势数据包括第一雷达的第一雷达回波信号数据和第二雷达的第二雷达回波信号数据，该序列确定模块340包括：
信号幅度确定单元，用于根据所述第一雷达回波信号数据和所述第二雷达回波信号数据确定每个时刻对应的第一距离和所述第一距离的第一距离信号幅度以及第二距离和所述第二距离的第二距离信号幅度；
序列确定单元，用于根据所述每个时刻对应的第一距离和所述第一距离的第一距离信号幅度以及第二距离和所述第二距离的第二距离信号幅度确定所述手势动作对应的平面坐标点轨迹特征时间序列。
可选的，该信号幅度确定单元具体用于以所述第一雷达为原点建立坐标系；根据所述第一雷达回波信号数据确定每个时刻对应的所述第一雷达和手势动作的第一距离以及所述第一距离的第一距离信号幅度；根据所述第二雷达回波信号数据确定每个时刻对应的所述第二雷达和手势动作的第二距离以及所述第二距离的第二距离信号幅度；根据所述第一距离、所述第一距离信号幅度、所述第二距离和所述第二距离信号幅度确定每个时刻对应的坐标系中的第一坐标、第二坐标、所述第一坐标的信号幅度和所述第二坐标的信号幅度。
可选的，手势确定模块350具体用于将所述平面坐标点轨迹特征时间序列输入至训练好的循环神经网络模型中；根据所述循环神经网络模型的输出结果确定所述手势动作对应的目标手势。
可选的，该采集模块330具体用于判断所述手势动作是否处于预设范围内；当所述手势动作处于预设范围内时，则采集预设时间内的双站雷达手势数据。
可选的，该装置还包括：
干扰信号去除模块，用于去除所述第一雷达和/或第二雷达的接收端的自身干扰信号；和/或去除外部环境的外部干扰信号。
可选的，所述循环神经网络模型为LSTM网络模型。
本发明实施例所提供的手势识别装置可执行本发明任意实施例所提供的手势识别方法，具备执行方法相应的功能模块和有益效果。本发明实施例中未详尽描述的内容可以参考本发明任意方法实施例中的描述。
实施例四
图4是本发明实施例四提供的一种移动终端的结构示意图。图4示出了适于用来实现本发明实施方式的示例性移动终端612的框图。图4显示的移动终端612仅仅是一个示例，不应对本发明实施例的功能和使用范围带来任何限制。
如图4所示，移动终端612以通用移动终端的形式表现。移动终端612的组件可以包括但不限于：一个或者多个处理器616，存储装置628，连接不同系统组件(包括存储装置628和处理器616)的总线618。
总线618表示几类总线结构中的一种或多种，包括存储装置总线或者存储装置控制器，外围总线，图形加速端口，处理器或者使用多种总线结构中的任意总线结构的局域总线。举例来说，这些体系结构包括但不限于工业标准体系结构(Industry SubversiveAlliance，ISA)总线，微通道体系结构(Micro Channel Architecture，MAC)总线，增强型ISA总线、视频电子标准协会(Video Electronics Standards Association，VESA)局域总线以及外围组件互连 (Peripheral Component Interconnect，PCI)总线。
移动终端612典型地包括多种计算机系统可读介质。这些介质可以是任何能够被移动终端612访问的可用介质，包括易失性和非易失性介质，可移动的和不可移动的介质。
存储装置628可以包括易失性存储器形式的计算机系统可读介质，例如随机存取存储器(Random Access Memory，RAM)630和/或高速缓存存储器632。终端612可以进一步包括其它可移动/不可移动的、易失性/非易失性计算机系统存储介质。仅作为举例，存储系统634可以用于读写不可移动的、非易失性磁介质(图4未显示，通常称为“硬盘驱动器”)。尽管图4中未示出，可以提供用于对可移动非易失性磁盘(例如“软盘”)读写的磁盘驱动器，以及对可移动非易失性光盘，例如只读光盘(Compact Disc Read-Only Memory，CD-ROM), 数字视盘(Digital Video Disc-Read Only Memory，DVD-ROM)或者其它光介质读写的光盘驱动器。在这些情况下，每个驱动器可以通过一个或者多个数据介质接口与总线618相连。存储装置628可以包括至少一个程序产品，该程序产品具有一组(例如至少一个)程序模块，这些程序模块被配置以执行本发明各实施例的功能。
具有一组(至少一个)程序模块642的程序/实用工具640，可以存储在例如存储装置628中，这样的程序模块642包括但不限于操作系统、一个或者多个应用程序、其它程序模块以及程序数据，这些示例中的每一个或某种组合中可能包括网络环境的实现。程序模块642通常执行本发明所描述的实施例中的功能和/或方法。
移动终端612也可以与一个或多个外部设备614(例如键盘、指向终端、显示器624等)通信，还可与一个或者多个使得用户能与该移动终端612交互的终端通信，和/或与使得该移动终端612能与一个或多个其它计算终端进行通信的任何终端(例如网卡，调制解调器等等)通信。这种通信可以通过输入/ 输出(I/O)接口622进行。并且，移动终端612还可以通过网络适配器620与一个或者多个网络(例如局域网(Local Area Network，LAN)，广域网(Wide Area Network，WAN)和/或公共网络，例如因特网)通信。如图4所示，网络适配器 620通过总线618与移动终端612的其它模块通信。应当明白，尽管图中未示出，可以结合移动终端612使用其它硬件和/或软件模块，包括但不限于：微代码、终端驱动器、冗余处理器、外部磁盘驱动阵列、磁盘阵列(Redundant Arrays of Independent Disks，RAID)系统、磁带驱动器以及数据备份存储系统等。
处理器616通过运行存储在存储装置628中的程序，从而执行各种功能应用以及数据处理，例如实现本发明任意实施例所提供的一种手势识别方法，该方法可以包括：
获取双站雷达反馈的雷达数据，所述双站雷达包括第一雷达和第二雷达；
根据所述雷达数据判断是否存在手势动作；
当存在所述手势动作时，采集预设时间内的双站雷达手势数据；
根据获取的所述双站雷达手势数据确定所述手势动作对应的平面坐标点轨迹特征时间序列；
根据所述平面坐标点轨迹特征时间序列确定所述手势动作对应的目标手势，所述目标手势为多个预设手势中的一个。
本发明实施例的技术方案，通过获取双站雷达反馈的雷达数据，所述双站雷达包括第一雷达和第二雷达；根据所述雷达数据判断是否存在手势动作；当存在所述手势动作时，采集预设时间内的双站雷达手势数据；根据获取的所述双站雷达手势数据确定所述手势动作对应的平面坐标点轨迹特征时间序列；根据所述平面坐标点轨迹特征时间序列确定所述手势动作对应的目标手势，所述目标手势为多个预设手势中的一个，由于是通过平面坐标点轨迹特征来进行识别，不会受到光线和水雾等不良环境的影响，达到提高手势识别的准确性的技术效果。此外，利用轨迹特征相较于图像进行识别，计算量更小，更易于集成至移动终端上。
实施例五
本发明实施例五还提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如本发明任意实施例所提供的一种手势识别方法，该方法可以包括：
获取双站雷达反馈的雷达数据，所述双站雷达包括第一雷达和第二雷达；
根据所述雷达数据判断是否存在手势动作；
当存在所述手势动作时，采集预设时间内的双站雷达手势数据；
根据获取的所述双站雷达手势数据确定所述手势动作对应的平面坐标点轨迹特征时间序列；
根据所述平面坐标点轨迹特征时间序列确定所述手势动作对应的目标手势，所述目标手势为多个预设手势中的一个。
本发明实施例的计算机可读存储介质，可以采用一个或多个计算机可读的介质的任意组合。计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本文件中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。
计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。
存储介质上包含的程序代码可以用任何适当的介质传输，包括——但不限于无线、电线、光缆、RF等等，或者上述的任意合适的组合。
可以以一种或多种程序设计语言或其组合来编写用于执行本发明操作的计算机程序代码，所述程序设计语言包括面向对象的程序设计语言—诸如Java、Smalltalk、C++，还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或终端上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络——包括局域网(LAN)或广域网(WAN)—连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。
本发明实施例的技术方案，通过获取双站雷达反馈的雷达数据，所述双站雷达包括第一雷达和第二雷达；根据所述雷达数据判断是否存在手势动作；当存在所述手势动作时，采集预设时间内的双站雷达手势数据；根据获取的所述双站雷达手势数据确定所述手势动作对应的平面坐标点轨迹特征时间序列；根据所述平面坐标点轨迹特征时间序列确定所述手势动作对应的目标手势，所述目标手势为多个预设手势中的一个，由于是通过轨迹特征来进行识别，不会受到光线和水雾等不良环境的影响，达到提高手势识别的准确性的技术效果。此外，利用轨迹特征相较于图像进行识别，计算量更小，更易于集成至移动终端上。
注意，上述仅为本发明的较佳实施例及所运用技术原理。本领域技术人员会理解，本发明不限于这里所述的特定实施例，对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本发明的保护范围。因此，虽然通过以上实施例对本发明进行了较为详细的说明，但是本发明不仅仅限于以上实施例，在不脱离本发明构思的情况下，还可以包括更多其他等效实施例，而本发明的范围由所附的权利要求范围决定。

Claims (10)

1.一种手势识别方法，其特征在于，所述方法包括：
获取双站雷达反馈的雷达数据，所述双站雷达包括第一雷达和第二雷达；
根据所述雷达数据判断是否存在手势动作；
当存在所述手势动作时，采集预设时间内的双站雷达手势数据；
根据获取的所述双站雷达手势数据确定所述手势动作对应的平面坐标点轨迹特征时间序列；
根据所述平面坐标点轨迹特征时间序列确定所述手势动作对应的目标手势，所述目标手势为多个预设手势中的一个。
2.如权利要求1所述的手势识别方法，其特征在于，所述双站雷达手势数据包括第一雷达的第一雷达回波信号数据和第二雷达的第二雷达回波信号数据，所述根据获取的所述双站雷达手势数据确定所述手势动作对应的平面坐标点轨迹特征时间序列，包括：
根据所述第一雷达回波信号数据和所述第二雷达回波信号数据确定每个时刻对应的第一距离和所述第一距离的第一距离信号幅度以及第二距离和所述第二距离的第二距离信号幅度；
根据所述每个时刻对应的第一距离和所述第一距离的第一距离信号幅度以及第二距离和所述第二距离的第二距离信号幅度确定所述手势动作对应的平面坐标点轨迹特征时间序列。
3.如权利要求2所述的手势识别方法，其特征在于，所述根据所述第一雷达回波信号数据和所述第二雷达回波信号数据确定每个时刻对应的第一距离和所述第一距离的第一距离信号幅度以及第二距离和所述第二距离的第二距离信号幅度，包括：
以所述第一雷达为原点建立坐标系；
根据所述第一雷达回波信号数据确定每个时刻对应的所述第一雷达和手势动作的第一距离以及所述第一距离的第一距离信号幅度；
根据所述第二雷达回波信号数据确定每个时刻对应的所述第二雷达和手势动作的第二距离以及所述第二距离的第二距离信号幅度；
根据所述第一距离、所述第一距离信号幅度、所述第二距离和所述第二距离信号幅度确定每个时刻对应的坐标系中的第一坐标、第二坐标、所述第一坐标的信号幅度和所述第二坐标的信号幅度。
4.如权利要求1所述的手势识别方法，其特征在于，所述根据所述平面坐标点轨迹特征时间序列确定所述手势动作对应的目标手势，包括：
将所述平面坐标点轨迹特征时间序列输入至训练好的循环神经网络模型中；
根据所述循环神经网络模型的输出结果确定所述手势动作对应的目标手势。
5.如权利要求1所述的手势识别的方法，其特征在于，所述采集预设时间内的双站雷达手势数据，包括：
判断所述手势动作是否处于预设范围内；
当所述手势动作处于预设范围内时，则采集预设时间内的双站雷达手势数据。
6.如权利要求1所述的手势识别的方法，其特征在于，在所述根据所述雷达数据判断是否存在手势动作之前，包括：
去除所述第一雷达和/或第二雷达的接收端的自身干扰信号；和/或
去除外部环境的外部干扰信号。
7.如权利要求4所述的手势识别方法，其特征在于，所述循环神经网络模型为LSTM网络模型。
8.一种手势识别装置，其特征在于，所述装置包括：
雷达数据获取模块，用于获取双站雷达反馈的雷达数据，所述双站雷达包括第一雷达和第二雷达；
判断模块，用于根据所述雷达数据判断是否存在手势动作；
采集模块，用于当存在所述手势动作时，采集预设时间内的双站雷达手势数据；
序列确定模块，用于根据获取的所述双站雷达手势数据确定所述手势动作对应的平面坐标点轨迹特征时间序列；
手势确定模块，用于根据所述平面坐标点轨迹特征时间序列确定所述手势动作对应的目标手势，所述目标手势为多个预设手势中的一个。
9.一种移动终端，其特征在于，包括：
一个或多个处理器；
存储装置，用于存储一个或多个程序；
当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如权利要求1-7中任一项所述的手势识别方法。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1-7中任一项所述的手势识别方法。
CN202010158990.7A 2020-03-09 2020-03-09 手势识别方法、装置、移动终端和存储介质 Active CN111382702B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010158990.7A CN111382702B (zh) 2020-03-09 2020-03-09 手势识别方法、装置、移动终端和存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010158990.7A CN111382702B (zh) 2020-03-09 2020-03-09 手势识别方法、装置、移动终端和存储介质

Publications (2)

Publication Number Publication Date
CN111382702A true CN111382702A (zh) 2020-07-07
CN111382702B CN111382702B (zh) 2024-01-02

Family

ID=71215316

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010158990.7A Active CN111382702B (zh) 2020-03-09 2020-03-09 手势识别方法、装置、移动终端和存储介质

Country Status (1)

Country Link
CN (1) CN111382702B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112415510A (zh) * 2020-11-05 2021-02-26 深圳大学 双站雷达手势识别方法、装置、系统和存储介质
CN114356073A (zh) * 2021-11-16 2022-04-15 北京交通大学 一种基于uwb通信技术的手势识别方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106446801A (zh) * 2016-09-06 2017-02-22 清华大学 基于超声主动探测的微手势识别方法及系统
CN110647803A (zh) * 2019-08-09 2020-01-03 深圳大学 一种手势识别方法、系统以及存储介质
CN110765974A (zh) * 2019-10-31 2020-02-07 复旦大学 基于毫米波雷达和卷积神经网络的微动手势识别方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106446801A (zh) * 2016-09-06 2017-02-22 清华大学 基于超声主动探测的微手势识别方法及系统
CN110647803A (zh) * 2019-08-09 2020-01-03 深圳大学 一种手势识别方法、系统以及存储介质
CN110765974A (zh) * 2019-10-31 2020-02-07 复旦大学 基于毫米波雷达和卷积神经网络的微动手势识别方法

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112415510A (zh) * 2020-11-05 2021-02-26 深圳大学 双站雷达手势识别方法、装置、系统和存储介质
CN114356073A (zh) * 2021-11-16 2022-04-15 北京交通大学 一种基于uwb通信技术的手势识别方法

Also Published As

Publication number Publication date
CN111382702B (zh) 2024-01-02

Similar Documents

Publication Publication Date Title
CN111399642B (zh) 手势的识别方法、装置、移动终端和存储介质
US8525876B2 (en) Real-time embedded vision-based human hand detection
US11686815B2 (en) Character recognition in air-writing based on network of radars
US7317836B2 (en) Pose estimation based on critical point analysis
US20110115892A1 (en) Real-time embedded visible spectrum light vision-based human finger detection and tracking method
CN112528831B (zh) 多目标姿态估计方法、多目标姿态估计装置及终端设备
US20210232228A1 (en) Adaptive thresholding and noise reduction for radar data
CN109325456B (zh) 目标识别方法、装置、目标识别设备及存储介质
WO2020147500A1 (zh) 超声波阵列障碍物检测结果处理方法及系统
Maggio et al. Learning scene context for multiple object tracking
CN103105924A (zh) 人机交互方法和装置
CN111382702B (zh) 手势识别方法、装置、移动终端和存储介质
CN110647803A (zh) 一种手势识别方法、系统以及存储介质
WO2022199360A1 (zh) 运动物体的定位方法、装置、电子设备及存储介质
CN112650300B (zh) 一种无人机避障方法和装置
CN111401180B (zh) 神经网络识别模型训练方法、装置、服务器及存储介质
CN111443809B (zh) 一种颈部姿态检测方法、装置、终端及存储介质
CN113963441A (zh) 一种基于跨域增强的毫米波雷达手势识别方法及系统
CN113838125A (zh) 目标位置确定方法、装置、电子设备以及存储介质
CN113064483A (zh) 一种手势识别方法以及相关装置
Sulyman et al. REAL-TIME NUMERICAL 0-5 COUNTING BASED ON HAND-FINGER GESTURES RECOGNITION.
CN114397963A (zh) 一种手势识别方法、装置、电子设备及存储介质
CN113627298A (zh) 目标检测模型的训练方法及检测目标对象的方法、装置
CN113064118A (zh) 声源定位方法和装置
CN113721240B (zh) 一种目标关联方法、装置、电子设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant