CN110309740A - 手势识别方法、可穿戴设备及手势控制系统 - Google Patents

手势识别方法、可穿戴设备及手势控制系统 Download PDF

Info

Publication number
CN110309740A
CN110309740A CN201910528292.9A CN201910528292A CN110309740A CN 110309740 A CN110309740 A CN 110309740A CN 201910528292 A CN201910528292 A CN 201910528292A CN 110309740 A CN110309740 A CN 110309740A
Authority
CN
China
Prior art keywords
gesture
signal
clock signal
multiple acceleration
equipment
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201910528292.9A
Other languages
English (en)
Inventor
姚丽峰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Calorie Information Technology Co Ltd
Original Assignee
Beijing Calorie Information Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Calorie Information Technology Co Ltd filed Critical Beijing Calorie Information Technology Co Ltd
Priority to CN201910528292.9A priority Critical patent/CN110309740A/zh
Publication of CN110309740A publication Critical patent/CN110309740A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/213—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods
    • G06F18/2135—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods based on approximation criteria, e.g. principal component analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G06V40/28—Recognition of hand or arm movements, e.g. recognition of deaf sign language

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

本发明公开了一种手势识别方法、可穿戴设备及手势控制系统。其中，该方法包括：采集多个加速度信号及其时序信号，其中，多个加速度信号是对目标用户的手势活动状态进行监测后得到的信号；对多个加速度信号及其时序信号进行数据处理，以生成手势特征信号；分析手势特征信号，得到手势频谱；基于手势频谱确定目标用户的活动手势。本发明解决了相关技术中设备难以识别用户的活动手势的技术问题。

Description

手势识别方法、可穿戴设备及手势控制系统
技术领域
本发明涉及设备控制技术领域，具体而言，涉及一种手势识别方法、可穿戴设备及手势控制系统。
背景技术
在相关技术中，很多用户通过佩戴智能设备来检测自身的活动轨迹、活动步数，以及在活动后的心率、血压等参数，例如，当前很多智能终端或者智能手环会统计用户一天的活动步数，让用户了解自己一天能走多少步；当前，在这些智能设备中都会配备简单的陀螺仪和加速度计，以进行简单的参数检测，但是这些智能设备无法对用户更细致的活动动作进行检测，例如，检测用户的手掌摆动、手掌上翻、手指轻拈等手势，这样用户就仍然需要通过遥控器等设备控制智能设备工作，而无法通过自身的活动手势来控制智能设备，不符合当前物联网发展的要求。
针对上述的问题，目前尚未提出有效的解决方案。
发明内容
本发明实施例提供了一种手势识别方法、可穿戴设备及手势控制系统，以至少解决相关技术中设备难以识别用户的活动手势的技术问题。
根据本发明实施例的一个方面，提供了一种手势识别方法，应用于可穿戴的目标设备上，较优地，该手势识别方法包括：采集多个加速度信号及其时序信号，其中，所述多个加速度信号是对目标用户的手势活动状态进行监测后得到的信号；对所述多个加速度信号及其时序信号进行数据处理，以生成手势特征信号；分析所述手势特征信号，得到手势频谱；基于所述手势频谱确定所述目标用户的活动手势。
进一步地，采集多个加速度信号及其时序信号的步骤，包括：通过设置在所述目标设备上的三轴加速度设备来采集所述多个加速度信号，并记录在采集所述多个加速度信号时的时序信号。
进一步地，对所述多个加速度信号及其时序信号进行数据处理，以生成手势特征信号的步骤，包括：对所述多个加速度信号及其时序信号进行数据滤波处理，以生成手势特征信号；和/或，对所述多个加速度信号及其时序信号进行数据降维处理，以生成手势特征信号。
上述对所述多个加速度信号及其时序信号进行数据处理的步骤中，当对可穿戴设备处理器如下至少之一要求较为严苛时：运算空间、数据处理速度、动作时延，优选使用数据滤波处理，和/或，当对可穿戴设备处理器的要求相对较简单时，优选使用数据融合来处理；在不对可穿戴设备处理器的运算空间、数据处理速度、动作时延等做要求时，采用数据降维处理和/或结合数据滤波处理来得到手势特征信号。
进一步地，对所述多个加速度信号及其时序信号进行数据降维处理，以生成手势特征信号的步骤，包括：对所述多个加速度信号及其时序信号进行主成分分析，和/或，对所述多个加速度信号及其时序信号进行增量主成分分析，以生成手势特征信号。
进一步地，所述时序信号为一维时序信号，较优地，所述一维时序信号至少包括：经过主成分分析或者经过增量主成分分析得到的第一主成分。
进一步地，分析所述手势特征信号，得到手势频谱的步骤，包括：对所述手势特征信号进行快速傅立叶变化分析处理，得到所述手势频谱；或者，对所述手势特征信号进行短时傅立叶变化分析处理，得到所述手势频谱；或者，对所述手势特征信号进行希尔伯特-黄变化分析处理，得到所述手势频谱。
进一步地，基于所述手势频谱确定所述目标用户的活动手势的步骤，包括：从所述手势频谱中提取手势特征，得到手势特征值或特征向量；根据所述手势特征值或特征特征向量，确定所述目标用户的活动手势。
进一步地，所述手势特征值至少包括：均值、标准差、峰值、频带比例。较优地，至少要包括，频带比例、频谱峰值。
进一步地，在确定所述目标用户的活动手势之后，所述手势识别方法还包括：根据所述目标用户的活动手势，生成手势控制信号，其中，所述手势控制信号用于控制预设设备完成目标动作；将所述手势控制信号发送至所述预设设备，其中，所述预设设备至少包括：与所述目标设备通信连接的移动终端、与所述目标设备连接的智能电器设备，所述移动终端可将所述手势控制信号转发至所述智能电器设备。
根据本发明实施例的另一方面，还提供了一种可穿戴设备，包括：处理器；以及存储器，用于存储所述处理器的可执行指令；其中，所述处理器配置为经由执行所述可执行指令来执行上述任意一项所述手势识别方法。
根据本发明实施例的另一方面，还提供了一种手势控制系统，应用于上述任意一项所述手势识别方法，该手势识别系统包括：可穿戴设备，用于采集多个加速度信号及其时序信号，并基于所述多个加速度信号及其时序信号确定所述目标用户的活动手势；待控制设备，与所述可穿戴设备预先建立通信连接，用于根据所述目标用户的活动手势完成目标动作。
进一步地，所述可穿戴设备至少包括：三轴加速度设备，用于采集所述多个加速度信号，并记录在采集所述多个加速度信号的时序信号；微控制器，用于对所述多个加速度信号及其时序信号进行数据处理和频谱分析，以确定所述目标用户的活动手势。
进一步地，所述待控制设备包括下述之一：移动终端、智能电器设备，其中，所述移动终端包括：手势应用，所述智能电器设备包括：具有通讯功能的通信模块或具有通讯功能的电源插座模块。
根据本发明实施例的另一方面，还提供了一种存储介质，所述存储介质用于存储程序，其中，所述程序在被处理器执行时控制所述存储介质所在设备执行上述任意一项所述手势识别方法。
根据本发明实施例的另一方面，还提供了一种处理器，所述处理器用于运行程序，其中，所述程序运行时执行上述任意一项所述手势识别方法。
在本发明实施例中，先采集多个加速度信号及其时序信号，其中，多个加速度信号是对目标用户的手势活动状态进行监测后得到的信号，然后对多个加速度信号及其时序信号进行数据处理，生成手势特征信号，之后可以分析手势特征信号，得到手势频谱，基于手势频谱确定目标用户的活动手势。在该实施例中，基于采集加速度信号及其时序信号，分析得到手势频谱，从而确定用户的更为细致的活动手势，进而解决相关技术中设备难以识别用户的活动手势的技术问题，利用该分析得到的活动手势可以控制智能家电等智能设备工作。
附图说明
此处所说明的附图用来提供对本发明的进一步理解，构成本申请的一部分，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：
图1是根据本发明实施例的一种可选的手势识别方法的示意图；
图2是根据本发明实施例的一种可选的手势控制系统的示意图；
图3是根据本发明实施例的另一种可选的手势识别交互系统的示意图。
具体实施方式
为了使本技术领域的人员更好地理解本发明方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分的实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护的范围。
需要说明的是，本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
为便于用户理解本发明，下面对本发明各实施例中涉及的部分术语或者名词做出解释：
快速傅氏变换，Fast Fourier Transformation，简称FFT，是离散傅氏变换的快速算法。
主成分分析，Principal Component Analysis，简称PCA，是一种数据降维方法，可将给定的一组相关变量通过线性变换转换成另一组不相关的变量，这些新的变量按照方差依次递减的顺序排列。
增量主成分分析，简称IPCA，采用一种不计算斜方差矩阵的方式，逐个样本对数据集的均值和特征向量进行更新。
数据降维与可视化，t-distributed Stochastic Neighbor Embedding，简称TSNE，将数据点之间的相似度转换为概率，可对高维数据进行分类。
本发明实施例，可提供一种使用三轴加速度设备(例如，三轴加速度计或三轴加速度传感器)实现对更多细致手势动作的识别，并基于识别出的用户活动手势来增加和丰富智能穿戴设备与各种智能家电、智能终端、智能播放设备等设备的交互方式，下面对本发明各实施例进行详细说明。
实施例一
根据本发明实施例，提供了一种手势识别方法实施例，需要说明的是，在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行，并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。
本发明实施例应用于可穿戴的目标设备上，目标设备包括但不限于：智能手环、智能手表、智能头帽、智能臂章、智能指环、智能戒指等对此本发明实施例不做具体限定，以实际应用设备为准。
图1是根据本发明实施例的一种可选的手势识别方法的示意图，如图1所示，该方法包括如下步骤：
步骤S102，采集多个加速度信号及其时序信号，其中，多个加速度信号是对目标用户的手势活动状态进行监测后得到的信号；
步骤S104，对多个加速度信号及其时序信号进行数据处理，以生成手势特征信号；
步骤S106，分析手势特征信号，得到手势频谱；
步骤S108，基于手势频谱确定目标用户的活动手势。
通过上述步骤，可以采集多个加速度信号及其时序信号，其中，多个加速度信号是对目标用户的手势活动状态进行监测后得到的信号，然后对多个加速度信号及其时序信号进行数据处理，生成手势特征信号，之后可以分析手势特征信号，得到手势频谱，基于手势频谱确定目标用户的活动手势。在该实施例中，基于采集加速度信号及其时序信号，分析得到手势频谱，从而确定用户的更为细致的活动手势，进而解决相关技术中设备难以识别用户的活动手势的技术问题，利用该分析得到的活动手势可以控制智能家电等智能设备工作。
本发明实施例中的目标设备可以与待控制设备(例如，智能家电、智能终端、智能导航设备)等建立通信连接，例如，目标设备与扫地机器人建立连接，在目标设备识别出手势为向后摆动手势，目标设备发出手势控制信号，控制扫地机器人到用户脚面附近，又例如，目标设备与智能终端建立通讯连接，在智能终端中可安装各个应用，目标设备在识别用户两个手指进行上摆动时，将当前页面下滑，以让用户翻看更多的内容，等等。
下面对本发明实施例上述各步骤进行详细说明。
步骤S102，采集多个加速度信号及其时序信号，其中，多个加速度信号是对目标用户的手势活动状态进行监测后得到的信号。
可选的，采集多个加速度信号及其时序信号的步骤，包括：通过设置在目标设备上的三轴加速度设备来采集多个加速度信号，并记录在采集多个加速度信号时的时序信号。
在用户佩戴上目标设备后，可以通过目标设备中设置的三轴加速度设备来采集加速度信号及其时序信号。该加速度信号可以理解为三轴加速度数据，该三轴加速度数据不仅可包括用户或者其它对象的运动状态(例如，三个坐标轴的分量、运动方向、运动速度、运动加速度)，还可以包括：双轴正负角度(如正负90度)或者双轴角度的倾角(如0-360度的倾角)，通过该三轴加速度信号可以检测用户或者其它目标对象小角度的活动轨迹和活动方向，例如，对于手指的滑动轨迹、手掌上下翻动轨迹等；该三轴加速度设备可以在预先不知道用户或者其它对象的运动方向的情况下，应用三维加速度设备可检测加速度信号，测得空间加速度，全面准确反映用户或者其它对象的运动特性；时序信号可以描述记录不同时间点、不同时间段，以与采集的加速度信号对应。
上述三轴加速度设备的类型包括但不限于：压阻式、压电式、电容式。
上述三轴加速度设备在采集加速度信号及其时序信号时，可根据实际需要设置不同的数据采样率，由于本申请中需要分析的数据较为详细，可设置较高的数据采样率，例如，数据采样率在2kHz及以上，也可根据实际手势动作类型确定采样率的具体范围。较优地，选用2kHz及以上的采样率，也可选用50～2kHz之间的任意采样率，采样率的降低会影响可识别手势类型的精细程度，和/或，影响手势识别的准确度，但可以一定程度上节省功耗，实际产品实现时可进行综合考虑。
步骤S104，对多个加速度信号及其时序信号进行数据处理，以生成手势特征信号。
在采集得到加速度信号及其时序信号，可以将数据采集模块获取的三轴加速度数据及其时序信号经数据处理生成手势特征信号。可选的，对多个加速度信号及其时序信号进行数据处理，以生成手势特征信号的步骤，包括：对多个加速度信号及其时序信号进行数据滤波处理，以生成手势特征信号；和/或，对多个加速度信号及其时序信号进行数据降维处理，以生成手势特征信号。
即可以通过数据滤波、数据降维等处理方式，将采集的加速度信号及其时序信号处理未手势特征信号。可选的，在进行数据滤波时，基于不同环境采用不同滤波方式，包括但不限于：限幅滤波方式、中位值滤波方式、算术平均滤波方式、递推平均滤波方式、加权递推平均滤波方式。而对多个加速度信号及其时序信号进行数据降维处理，以生成手势特征信号的步骤，包括：对多个加速度信号及其时序信号进行主成分分析PCA，和/或，对多个加速度信号及其时序信号进行增量主成分分析IPCA，以生成手势特征信号。
优选地，对所述多个加速度信号及其时序信号进行数据处理的步骤中，当对可穿戴设备处理器如下至少之一要求较为严苛时：运算空间、数据处理速度、动作时延，优选使用数据滤波处理，和/或，当对可穿戴设备处理器的要求相对较简单时，优选使用数据融合来处理；在不对可穿戴设备处理器的运算空间、数据处理速度、动作时延等做要求时，采用数据降维处理和/或结合数据滤波处理来得到手势特征信号。
上述对可穿戴设备处理器的要求严苛，可以是指需要较大运算空间、数据处理速度较快且动作时延较低的处理器，例如，可穿戴设备的处理器的运算空间大于10M；而对可穿戴设备处理器的要求较简单可以是指对运算空间要求较小、数据处理器速度可以较慢、而动作时延可以较高，例如，进行简单的加和处理以及取极值运算处理时，可采用较为简单的可穿戴设备处理器。
上述数据降维方式除了主成分分析或增量成分分析，还可以包括：数据融合、TSNE、独立成分分析(ICA)等，本发明实施例中优选主成分分析或增量主成分分析。其中，数据融合至少包括：将多个加速度数据进行加和处理以及取极值处理后，得到融合数据。
作为本发明一可选的实施例，时序信号为一维时序信号，较优地，一维时序信号至少包括：经过主成分分析或者经过增量主成分分析得到的第一主成分。
步骤S106，分析手势特征信号，得到手势频谱。
在得到手势特征信号后，可以对手势特征信号进行频谱分析生成手势频谱。可选的，分析手势特征信号，得到手势频谱的步骤，包括：对手势特征信号进行快速傅立叶变化(FFT)分析处理，得到手势频谱；或者，对手势特征信号进行短时傅立叶变化分析处理，得到手势频谱；或者，对手势特征信号进行希尔伯特-黄变化(HHT)分析处理，得到手势频谱。所述手势频谱包括但不限于能量谱、功率谱、和/或时频图。
本发明实施例可以先将加速度信号生成多个频谱，例如，将加速度信号生成三个频谱，得到Xt，Yt，Zt，然后对其进行融合Ft，i＝max(Xt，i，Yt，i，Zt，i)，其中，Xt，i，Yt，i，Zt，i分别描述频谱和时序融合后的三个信号，Ft，i为频谱，本发明是先融合三个加速度信号后生成手势频谱。
本发明实施例中，只需在可穿戴设备中配备三轴加速度设备，为可穿戴设备的设计等节省堆叠的空间和运行及控制电路的设计，节省器件和设计成本。
基于上述获取的手势频谱，可以分析用户或其它对象的活动手势。
步骤S108，基于手势频谱确定目标用户的活动手势。
在本发明实施例中，基于手势频谱确定目标用户的活动手势的步骤，包括：从手势频谱中提取手势特征，得到手势特征值或特征向量；根据手势特征值或特征特征向量，确定目标用户的活动手势。
即可以在得到手势频谱后，可以从手势频谱中提取特征信息，该特征信息可以为手势特征值或者手势向量，可选的，手势特征值至少包括：均值、标准差、峰值、频带比例，较优地，手势特征值至少要包括：频带比例和频谱峰值。而手势向量可以理解为描述一段时间段，用户手指从开始的三维坐标移动到的目标三维坐标，并基于时序信号确定手势向量，手势向量可以是一个三维手势向量。
作为本发明一可选的实施例，在确定目标用户的活动手势之后，手势识别方法还包括：根据目标用户的活动手势，生成手势控制信号，其中，手势控制信号用于控制预设设备完成目标动作；将手势控制信号发送至预设设备，其中，预设设备至少包括：与目标设备通信连接的移动终端、与目标设备连接的智能电器设备，移动终端可将手势控制信号转发至智能电器设备。
本发明实施例的预设设备可以包括：移动终端的应用模块、智能电器设备等，该移动终端包括但不限于：手机、平板、PC、安卓盒子等，而智能电器设备包括但不限于：电视、电灯、空调、扫地机器人、冰箱等，该智能电器设备可以配备网络通讯模块，和/或，具有通讯模块的电源插座。通过可穿戴设备—移动终端-智能电器设备建立网络连接，在通过可穿戴设备识别出用户手势后，可以将用户手势发送给移动终端(主要发送给对应的应用)和/或智能电器设备，通过移动终端也可以转发用户手势给智能电器设备。具体发送方式在本发明实施例并不做具体限定。
上述可穿戴设备—移动终端-智能电器设备建立的网络连接，可以是局域网络和/或广域网，也可以是基于蓝牙、ZigBee、蜂窝网络组合建立的网络，对于各个设备中包含的网络模块的类型不做具体限定，根据各个设备的材质和大小自行选择合适的通讯模块和控制模块。
具体依据手势控制方式包括如下三种：第一种，在识别出用户的手势后，可以通过可穿戴设备将识别结果发送给移动终端(例如，发送给手机应用模块)，控制移动终端动作，实现用户与移动终端的无接触交互，例如，通过用户手势实现移动终端显示界面上的翻页、滑动页面等操作。第二种，在识别出用户的手势后，可以通过可穿戴设备将识别结果发送给电视/电灯等智能电器设备，控制智能电器设备的具体操作实现交互等，在具体控制方式，包括但不限于：开/关设备、选择或调整节目、调整灯光亮度/颜色等。第三种，在识别出用户的手势后，可以通过可穿戴设备将识别结果发送给移动终端，然后由移动终端来控制智能电器设备的具体操作，具体控制方式上，可以如第二种中可穿戴设备直接控制智能电器设备的开启、关闭、调整节目、控制灯光颜色等。
通过上述实施例，可以提供一种手势识别方式，利用各种加速度检测设备(例如，三轴加速度设备)采集加速度信号及其时序信号，从而识别出用户的活动手势，利用识别结果控制各种移动终端、智能电器设备工作，在交互方式上更加智能化、减少遥控器等中间控制设备的工作，用户可以通过简单的手势操作直接控制各个设备工作，而且在识别内容更加简单化，减少识别工作量，提高用户使用的兴趣。
根据本发明实施例的另一方面，还提供了一种可穿戴设备，包括：处理器；以及存储器，用于存储处理器的可执行指令；其中，处理器配置为经由执行可执行指令来执行上述任意一项手势识别方法。
上述可穿戴设备不仅可检测用户活动手势，还可以检测用户其它参数，例如，检测用户在一段时间内的活动步数、心率、血压等。
上述可穿戴设备中的存储器或处理器是可选的，根据实际情况自行设置，也可以仅设置一个。
作为本发明一种可选的实施例，在不考虑功耗的情况下，上述手势识别系统或该可穿戴设备，还可以结合陀螺仪或方向传感器等来得到更丰富和/或更细致的活动手势。
本发明实施例中的可穿戴设备，可以提供更为细致的活动手势的识别，丰富可穿戴设备与其他设备及应用之间的交互方式，更符合日常使用习惯，给特定场景用户提供便利。
实施例二
下面实施例提供一种手势控制系统，该手势控制系统可以使用上述的手势识别方式，并利用可穿戴设备工作。下面对本发明实施例进行详细说明。
图2是根据本发明实施例的一种可选的手势控制系统的示意图，应用于上述任意一项手势识别方法，如图2所示，该手势识别系统包括：
可穿戴设备21，用于采集多个加速度信号及其时序信号，并基于多个加速度信号及其时序信号确定目标用户的活动手势；
待控制设备23，与可穿戴设备预先建立通信连接，用于根据目标用户的活动手势完成目标动作。
上述手势控制系统，可以通过可穿戴设备21采集多个加速度信号及其时序信号，并基于多个加速度信号及其时序信号确定目标用户的活动手势；然后利用待控制设备23据目标用户的活动手势完成目标动作。在该实施例中，基于采集加速度信号及其时序信号，识别出用户的更为细致的活动手势，进而解决相关技术中设备难以识别用户的活动手势的技术问题，利用该分析得到的活动手势可以控制待控制设备23(例如智能家电等智能设备)工作。
上述的可穿戴设备包括但不限于：智能手环、智能手表、智能臂章。该可穿戴设备不仅可穿戴在手臂上，还可以穿戴在用户或者其它对象的身上，只要是方便识别用户的活动手势即可。在本发明实施例对可穿戴设备不做具体限定。
作为本发明一种可选的实施例，可穿戴设备至少包括：三轴加速度设备，用于采集多个加速度信号，并记录在采集多个加速度信号的时序信号；微控制器，用于对多个加速度信号及其时序信号进行数据处理和频谱分析，以确定目标用户的活动手势。
另一种可选的，待控制设备包括下述之一：移动终端、智能电器设备，其中，移动终端包括：手势应用，智能电器设备包括：具有通讯功能的通信模块或具有通讯功能的电源插座模块。
图3是根据本发明实施例的另一种可选的手势识别交互系统的示意图，如图3所示，该交互系统可以包括：可穿戴设备31、移动终端33、智能电器设备35。
在可穿戴设备31通过三轴加速度设备采集三轴加速度数据及其时序信号，并经数据处理生成特征信号，然后将得到的特征信号进行频谱分析生成手势频谱，从得到的手势频谱中提取特征信息，生成特征值和/或特征向量，最后根据所述特征值和/或特征向量进行手势识别，得到识别结果。可穿戴设备31可以将识别结果发送给移动终端33，或者发送给智能电器35。
移动终端33，可根据识别结果控制各个应用或者操作界面工作，例如，对浏览器进行翻页、上下滑动。
智能电器设备35，可根据识别结果控制设备工作，例如，开启设备、关闭设备、调整节目、调整灯光亮度/颜色。
当然，本发明实施例中的移动终端33在接收识别结果，可以依据识别结果控制智能电器设备35。
上述移动终端33包括但不限于：手机、IPAD、平板等，而智能电器设备35包括但不限于：电视、电灯、扫地机器人、洗衣机等。
通过上述手势识别交互系统，可以利用各种加速度检测设备(例如，三轴加速度设备)采集加速度信号及其时序信号，从而识别出用户的活动手势。丰富穿戴设备与其他设备及应用之间的交互方式，更符合日常使用习惯，给特定场景用户提供便利，功能使用时只需配备三轴加速度计，为穿戴设备的设计等节省堆叠的空间和运行及控制电路的设计，节省器件和设计成本。
利用识别结果控制各种移动终端、智能电器设备工作，在交互方式上更加智能化、减少遥控器等中间控制设备的工作，用户可以通过简单的手势操作直接控制各个设备工作，而且在识别内容更加简单化，减少识别工作量，提高用户使用的兴趣。
根据本发明实施例的另一方面，还提供了一种存储介质，存储介质用于存储程序，其中，程序在被处理器执行时控制存储介质所在设备执行上述任意一项手势识别方法。
根据本发明实施例的另一方面，还提供了一种处理器，处理器用于运行程序，其中，程序运行时执行上述任意一项手势识别方法。
本申请还提供了一种计算机程序产品，当在数据处理设备上执行时，适于执行初始化有如下方法步骤的程序：采集多个加速度信号及其时序信号，其中，多个加速度信号是对目标用户的手势活动状态进行监测后得到的信号；对多个加速度信号及其时序信号进行数据处理，以生成手势特征信号；分析手势特征信号，得到手势频谱；基于手势频谱确定目标用户的活动手势。
可选的，当在数据处理设备上执行时，还适于执行初始化有如下方法步骤的程序：通过设置在目标设备上的三轴加速度设备来采集多个加速度信号，并记录在采集多个加速度信号时的时序信号。
可选的，当在数据处理设备上执行时，还适于执行初始化有如下方法步骤的程序：对多个加速度信号及其时序信号进行数据滤波处理，以生成手势特征信号；和/或，对多个加速度信号及其时序信号进行数据降维处理，以生成手势特征信号。
可选的，当在数据处理设备上执行时，还适于执行初始化有如下方法步骤的程序：对多个加速度信号及其时序信号进行主成分分析，和/或，对多个加速度信号及其时序信号进行增量主成分分析，以生成手势特征信号。
可选的，时序信号为一维时序信号，一维时序信号至少包括：经过主成分分析或者经过增量主成分分析得到的第一主成分。
可选的，分析手势特征信号，得到手势频谱的步骤，包括：对手势特征信号进行快速傅立叶变化FFT分析处理，得到手势频谱。
可选的，当在数据处理设备上执行时，还适于执行初始化有如下方法步骤的程序：从手势频谱中提取手势特征，得到手势特征值或特征向量；根据手势特征值或特征特征向量，确定目标用户的活动手势。
可选的，手势特征值至少包括：均值、标准差、峰值、频带比例。
可选的，当在数据处理设备上执行时，还适于执行初始化有如下方法步骤的程序：在确定目标用户的活动手势之后，根据目标用户的活动手势，生成手势控制信号，其中，手势控制信号用于控制预设设备完成目标动作；将手势控制信号发送至预设设备，其中，预设设备至少包括：与目标设备通信连接的移动终端、与目标设备连接的智能电器设备，移动终端可将手势控制信号转发至智能电器设备。
上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。
在本发明的上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其他实施例的相关描述。
在本申请所提供的几个实施例中，应该理解到，所揭露的技术内容，可通过其它的方式实现。其中，以上所描述的装置实施例仅仅是示意性的，例如所述单元的划分，可以为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，单元或模块的间接耦合或通信连接，可以是电性或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可为个人计算机、服务器或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。

Claims (15)

1.一种手势识别方法，其特征在于，应用于可穿戴的目标设备上，该手势识别方法包括：
采集多个加速度信号及其时序信号，其中，所述多个加速度信号是对目标用户的手势活动状态进行监测后得到的信号；
对所述多个加速度信号及其时序信号进行数据处理，以生成手势特征信号；
分析所述手势特征信号，得到手势频谱；
基于所述手势频谱确定所述目标用户的活动手势。
2.根据权利要求1所述的方法，其特征在于，采集多个加速度信号及其时序信号的步骤，包括：
通过设置在所述目标设备上的三轴加速度设备来采集所述多个加速度信号，并记录在采集所述多个加速度信号时的时序信号。
3.根据权利要求1所述的方法，其特征在于，对所述多个加速度信号及其时序信号进行数据处理，以生成手势特征信号的步骤，包括：
对所述多个加速度信号及其时序信号进行数据滤波处理，以生成手势特征信号；和/或，
对所述多个加速度信号及其时序信号进行数据降维处理，以生成手势特征信号。
4.根据权利要求3所述的方法，其特征在于，对所述多个加速度信号及其时序信号进行数据降维处理，以生成手势特征信号的步骤，包括：
对所述多个加速度信号及其时序信号进行主成分分析，和/或，对所述多个加速度信号及其时序信号进行增量主成分分析，以生成手势特征信号。
5.根据权利要求1至4中任意一项所述的方法，其特征在于，所述时序信号为一维时序信号，所述一维时序信号至少包括：经过主成分分析或者经过增量主成分分析得到的第一主成分。
6.根据权利要求1所述的方法，其特征在于，分析所述手势特征信号，得到手势频谱的步骤，包括：
对所述手势特征信号进行快速傅立叶变化分析处理，得到所述手势频谱；或者，
对所述手势特征信号进行短时傅立叶变化分析处理，得到所述手势频谱；或者，
对所述手势特征信号进行希尔伯特-黄变化分析处理，得到所述手势频谱。
7.根据权利要求1所述的方法，其特征在于，基于所述手势频谱确定所述目标用户的活动手势的步骤，包括：
从所述手势频谱中提取手势特征，得到手势特征值或特征向量；
根据所述手势特征值或特征特征向量，确定所述目标用户的活动手势。
8.根据权利要求7所述的方法，其特征在于，所述手势特征值至少包括：均值、标准差、峰值、频带比例。
9.根据权利要求7所述的方法，其特征在于，在确定所述目标用户的活动手势之后，所述手势识别方法还包括：
根据所述目标用户的活动手势，生成手势控制信号，其中，所述手势控制信号用于控制预设设备完成目标动作；
将所述手势控制信号发送至所述预设设备，其中，所述预设设备至少包括：与所述目标设备通信连接的移动终端、与所述目标设备连接的智能电器设备，所述移动终端可将所述手势控制信号转发至所述智能电器设备。
10.一种可穿戴设备，其特征在于，包括：
处理器；以及
存储器，用于存储所述处理器的可执行指令；
其中，所述处理器配置为经由执行所述可执行指令来执行权利要求1至9中任意一项所述手势识别方法。
11.一种手势控制系统，其特征在于，应用权利要求1至9中任意一项所述手势识别方法，该手势识别系统包括：
可穿戴设备，用于采集多个加速度信号及其时序信号，并基于所述多个加速度信号及其时序信号确定所述目标用户的活动手势；
待控制设备，与所述可穿戴设备预先建立通信连接，用于根据所述目标用户的活动手势完成目标动作。
12.根据权利要求11所述的手势控制系统，其特征在于，所述可穿戴设备至少包括：
三轴加速度设备，用于采集所述多个加速度信号，并记录在采集所述多个加速度信号的时序信号；
微控制器，用于对所述多个加速度信号及其时序信号进行数据处理和频谱分析，以确定所述目标用户的活动手势。
13.根据权利要求11所述的手势控制系统，其特征在于，所述待控制设备包括下述之一：移动终端、智能电器设备，其中，所述移动终端包括：手势应用，所述智能电器设备包括：具有通讯功能的通信模块或具有通讯功能的电源插座模块。
14.一种存储介质，其特征在于，所述存储介质用于存储程序，其中，所述程序在被处理器执行时控制所述存储介质所在设备执行权利要求1至9中任意一项所述手势识别方法。
15.一种处理器，其特征在于，所述处理器用于运行程序，其中，所述程序运行时执行权利要求1至9中任意一项所述手势识别方法。
CN201910528292.9A 2019-06-18 2019-06-18 手势识别方法、可穿戴设备及手势控制系统 Pending CN110309740A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910528292.9A CN110309740A (zh) 2019-06-18 2019-06-18 手势识别方法、可穿戴设备及手势控制系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910528292.9A CN110309740A (zh) 2019-06-18 2019-06-18 手势识别方法、可穿戴设备及手势控制系统

Publications (1)

Publication Number Publication Date
CN110309740A true CN110309740A (zh) 2019-10-08

Family

ID=68076720

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910528292.9A Pending CN110309740A (zh) 2019-06-18 2019-06-18 手势识别方法、可穿戴设备及手势控制系统

Country Status (1)

Country Link
CN (1) CN110309740A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112965391A (zh) * 2021-01-29 2021-06-15 青岛海尔空调器有限总公司 用于家电控制的方法、家电控制系统和可穿戴设备

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
陈鹏展: "《个体行为的机器识别与决策协同》", 31 July 2018 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112965391A (zh) * 2021-01-29 2021-06-15 青岛海尔空调器有限总公司 用于家电控制的方法、家电控制系统和可穿戴设备

Similar Documents

Publication Publication Date Title
Ibraheem et al. Survey on various gesture recognition technologies and techniques
Junker et al. Gesture spotting with body-worn inertial sensors to detect user activities
Turk et al. Perceptual interfaces
Barros et al. A dynamic gesture recognition and prediction system using the convexity approach
CN107832647B (zh) 一种基于无源射频标签的相位式手势识别方法
CN107633207A (zh) Au特征识别方法、装置及存储介质
CN106919958B (zh) 一种基于智能手表的人体手指动作识别方法
CN105912142B (zh) 一种基于加速传感器的记步与行为识别方法
CN102985897A (zh) 高效姿势处理
KR20150108888A (ko) 제스처 인식을 위한 부분 및 상태 검출
CN108371545A (zh) 一种基于多普勒雷达的人体手臂动作感知方法
CN110866468A (zh) 一种基于无源rfid的手势识别系统及方法
CN111444488A (zh) 一种基于动态手势的身份认证方法
EP3095072A1 (en) Contour-based classification of objects
CN107450717B (zh) 一种信息处理方法及穿戴式设备
Maitre et al. Basic daily activity recognition with a data glove
Parate et al. Detecting eating and smoking behaviors using smartwatches
Huu et al. Proposing recognition algorithms for hand gestures based on machine learning model
Manzi et al. A 3D human posture approach for activity recognition based on depth camera
Adhikari et al. A Novel Machine Learning-Based Hand Gesture Recognition Using HCI on IoT Assisted Cloud Platform.
Nguyen et al. Hand Gesture Recognition From Wrist-Worn Camera for Human–Machine Interaction
Alemuda et al. Gesture-based control in a smart home environment
CN110309740A (zh) 手势识别方法、可穿戴设备及手势控制系统
CN107992193A (zh) 手势确认方法、装置及电子设备
CN104615984A (zh) 基于用户任务的手势识别方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20191008