CN111580664B - 一种抬起手势的识别方法、系统、电子设备及存储介质 - Google Patents

一种抬起手势的识别方法、系统、电子设备及存储介质 Download PDF

Info

Publication number
CN111580664B
CN111580664B CN202010392098.5A CN202010392098A CN111580664B CN 111580664 B CN111580664 B CN 111580664B CN 202010392098 A CN202010392098 A CN 202010392098A CN 111580664 B CN111580664 B CN 111580664B
Authority
CN
China
Prior art keywords
data
gesture
event
feature
lifting
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010392098.5A
Other languages
English (en)
Other versions
CN111580664A (zh
Inventor
喻纯
史元春
古裔正
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Interactive Future Beijing Technology Co ltd
Tsinghua University
Original Assignee
Interactive Future Beijing Technology Co ltd
Tsinghua University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Interactive Future Beijing Technology Co ltd, Tsinghua University filed Critical Interactive Future Beijing Technology Co ltd
Priority to CN202010392098.5A priority Critical patent/CN111580664B/zh
Publication of CN111580664A publication Critical patent/CN111580664A/zh
Application granted granted Critical
Publication of CN111580664B publication Critical patent/CN111580664B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/014—Hand-worn input/output arrangements, e.g. data gloves
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0346—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Software Systems (AREA)
  • Artificial Intelligence (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Medical Informatics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

本申请公开了一种抬起手势的识别方法，应用于与智能穿戴设备连接的电子设备，包括：在检测到所述智能穿戴设备产生点击事件后，记录所述目标时间段内所述智能穿戴设备采集的角速度数据和重力加速度数据；根据所述角速度数据和所述重力加速度数据生成所述智能穿戴设备佩戴部位的手势特征数据；其中，所述手势特征数据包括三轴加速度数据、三轴角速度数据和三轴重力数据；判断所述手势特征数据是否包括抬起手势特征数据；若是，则判定所述智能穿戴设备产生抬起事件。本申请能够识别智能穿戴设备的抬起事件，实现对于电子设备的高效控制。本申请还公开了一种抬起手势的识别系统、一种电子设备及一种存储介质，具有以上有益效果。

Description

一种抬起手势的识别方法、系统、电子设备及存储介质
技术领域
本申请涉及计算机技术领域，特别涉及一种抬起手势的识别方法、一种抬起手势的识别系统、一种电子设备及一种存储介质。
背景技术
随着科技的发展，电子设备已经成为人们生活的必需品。人机交互功能是电子设备“友善性”的一个重要因素。当视力有障碍的人或不便于观察图形用户界面的人使用电子设备时，可以通过智能指环或智能手套等智能穿戴设备进行人机交互，进而实现对于设备的控制。但是，目前相关技术中基于智能穿戴设备控制其他电子设备的方案中仅能够识别点击事件的发生，无法实现对于电子设备进行高效的控制。
因此，如何识别智能穿戴设备的抬起事件，实现对于电子设备的高效控制是本领域技术人员目前需要解决的技术问题。
发明内容
本申请的目的是提供一种抬起手势的识别方法、一种电子设备、一种抬起手势的识别系统及一种存储介质，能够智能穿戴设备的抬起事件，实现对于电子设备的高效控制。
为解决上述技术问题，本申请提供一种抬起手势的识别方法，应用于与智能穿戴设备连接的电子设备，该抬起手势的识别方法包括：
在检测到所述智能穿戴设备产生点击事件后，记录所述目标时间段内所述智能穿戴设备采集的角速度数据和重力加速度数据；
根据所述角速度数据和所述重力加速度数据生成所述智能穿戴设备佩戴部位的手势特征数据；其中，所述手势特征数据包括三轴加速度数据、三轴角速度数据和三轴重力数据；
判断所述手势特征数据是否包括抬起手势特征数据；
若是，则判定所述智能穿戴设备产生抬起事件。
可选的，判断所述手势特征数据是否包括抬起手势特征数据，包括：
根据所述手势特征数据确定抬起手势评价数据；其中，所述抬起手势特征数据包括所述智能穿戴设备的加速度在重力方向上的加速度分量、所述重力方向与加速度方向的夹角参数，以及角速度绕竖直方向的角速度分量中任一项或任几项的组合；所述夹角参数为所述重力方向与所述加速度方向夹角的夹角值，或所述重力方向与所述加速度方向夹角的三角函数值；
判断所述抬起手势评价数据是否为所述抬起事件对应的抬起手势评价数据；
若是，则判定所述手势特征数据包括所述抬起事件特征数据；
若否，则判定所述手势特征数据不包括所述抬起事件特征数据。
可选的，判断所述抬起手势评价数据是否为所述抬起事件对应的抬起手势评价数据，包括：
将每一帧所述抬起手势评价数据和时间参考值输入第一机器学习模型，得到每一帧所述抬起手势评价数据的分类结果；所述时间参考值包括每一帧所述抬起手势评价数据对应的时间点与所述点击事件的时间差；
当连续N帧所述抬起手势评价数据的分类结果均为抬起事件正例时，判定所述抬起手势评价数据为所述抬起事件对应的抬起手势评价数据。
可选的，在将每一帧所述抬起手势评价数据输入第一机器学习模型之前，还包括：
获取正样本集合，并计算所述正样本集合中每一预设抬起事件对应的正样本运动特征数据；其中，所述正样本运动特征数据包括加速度在重力方向上的加速度分量、所述重力方向与加速度方向的夹角参数，以及角速度绕竖直方向的角速度分量中任一项或任几项的组合；
获取负样本集合，并计算所述负样本集合中每一预设非抬起事件对应的负样本运动特征数据；其中，所述负样本运动特征数据包括加速度在重力方向上的加速度分量、所述重力方向与加速度方向的夹角参数，以及角速度绕竖直方向的角速度分量中任一项或任几项的组合；
根据所述正样本集合中每一项正样本运动特征数据的目标特征值生成N维的正样本特征向量，并根据所述正样本特征向量与距离点击事件的发生时长生成N+1维的第一特征向量；其中，所述目标特征值包括最大值、最小值、平均值、峰度和偏度中任一项或任几项的组合；
根据所述负样本集合中每一项负样本运动特征数据的所述目标特征值生成N维的负样本特征向量，并根据所述负样本特征向量与距离点击事件的发生时长生成N+1维的第二特征向量；
利用所述第一特征向量和所述第二特征向量训练原始模型得到所述第一机器学习模型。
可选的，所述正样本集合包括敲击操作中抬起事件的运动数据、长按操作中抬起事件的运动数据和滑动操作中抬起事件的运动数据中任一项或任几项的组合；
所述负样本集合包括敲击操作中非抬起事件的运动数据、长按操作中非抬起事件的运动数据和滑动操作中非抬起事件的运动数据中任一项或任几项的组合；
其中，所述敲击操作所述智能穿戴设备佩戴部位为在物理平面上敲击并抬起的操作，所述长按操作为所述智能穿戴设备佩戴部位为在物理平面上按压预设时长并抬起的操作，所述滑动操作为所述智能穿戴设备佩戴部位为在物理平面上移动预设距离并抬起的操作。
可选的，在判定所述智能穿戴设备产生抬起事件之后，还包括：
获取所述智能穿戴设备采集的新角速度数据和新重力加速度数据；
根据所述新角速度数据和所述新重力加速度数据生成所述智能穿戴设备佩戴部位的新手势特征数据；
根据所述新手势特征数据的点击事件特征值生成点击事件特征向量；其中，所述点击事件特征值包括最大值、最小值、平均值、峰度和偏度；
将所述点击事件特征向量输入第二机器学习模型，以便所述第二机器学习模型判断所述新手势特征数据是否为点击事件的手势特征数据；
当所述新手势特征数据为点击事件的手势特征数据时，判断所述新手势特征数据的获取时刻与上一次点击事件的产生时刻的时间差是否大于预设时间差；
若是，则判定所述智能穿戴设备产生点击事件。
可选的，在判定所述智能穿戴设备产生抬起事件之后，还包括：
根据所述手势特征数据确定所述待识别时间段对应的运动手势，并执行所述运动手势对应的控制指令；其中，所述待识别时间段的起始时间为产生所述点击事件的时刻，所述待识别时间段的终止时间产生所述抬起事件的时刻。
本申请还提供了一种电子设备，包括：
数据记录模块，用于在检测到所述智能穿戴设备产生点击事件后，记录所述目标时间段内所述智能穿戴设备采集的角速度数据和重力加速度数据；
特征数据生成模块，用于根据所述角速度数据和所述重力加速度数据生成所述智能穿戴设备佩戴部位的手势特征数据；其中，所述手势特征数据包括三轴加速度数据、三轴角速度数据和三轴重力数据；
抬起判断模块，用于判断所述手势特征数据是否包括抬起手势特征数据；
结果输出模块，用于当所述手势特征数据包括所述抬起手势特征数据时，判定所述智能穿戴设备产生抬起事件。
本申请还提供了一种抬起手势的识别系统，包括：
智能穿戴设备，用于采集佩戴部位的角速度数据和重力加速度数据，并将所述角速度数据和重力加速度数据传输至电子设备；
所述电子设备，用于在检测到所述智能穿戴设备产生点击事件后，记录所述目标时间段内所述智能穿戴设备采集的角速度数据和重力加速度数据；还用于根据所述角速度数据和所述重力加速度数据生成所述智能穿戴设备佩戴部位的手势特征数据；其中，所述手势特征数据包括三轴加速度数据、三轴角速度数据和三轴重力数据；还用于判断所述手势特征数据是否包括抬起手势特征数据；若是，则判定所述智能穿戴设备产生抬起事件。
本申请还提供了一种存储介质，其上存储有计算机程序，所述计算机程序执行时实现上述抬起手势的识别方法执行的步骤。
本申请提供了一种抬起手势的识别方法，其特征在于，应用于与智能穿戴设备连接的电子设备，包括在检测到所述智能穿戴设备产生点击事件后，记录所述目标时间段内所述智能穿戴设备采集的角速度数据和重力加速度数据；根据所述角速度数据和所述重力加速度数据生成所述智能穿戴设备佩戴部位的手势特征数据；其中，所述手势特征数据包括三轴加速度数据、三轴角速度数据和三轴重力数据；判断所述手势特征数据是否包括抬起手势特征数据；若是，则判定所述智能穿戴设备产生抬起事件。
本申请在检测到智能穿戴设备产生点击事件之后，记录目标时间段内智能穿戴设备的佩戴部位的角速度数据和重力加速度数，根据角速度数据和重力加速度数生成手势特征数据。手势特征数据为描述佩戴智能穿戴设备的用户的手势的数据，根据手势特征数据可以确定用户的手势，若手势特征数据包括了抬起手势特征数据，则说明用户的手势为抬起手势，进而可以判定智能穿戴设备产生了抬起事件。本申请能够识别智能穿戴设备的抬起事件，实现对于电子设备的高效控制。本申请同时还提供了一种电子设备、一种抬起手势的识别系统和一种存储介质，具有上述有益效果，在此不再赘述。
附图说明
为了更清楚地说明本申请实施例，下面将对实施例中所需要使用的附图做简单的介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本申请实施例所提供的一种抬起手势的识别方法的流程图；
图2为本申请实施例所提供的一种抬起手势特征数据的检测方法的流程图；
图3为本申请实施例所提供的一种电子设备的结构示意图。
具体实施方式
为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
下面请参见图1，图1为本申请实施例所提供的一种抬起手势的识别方法的流程图。
具体步骤可以包括：
S101：在检测到所述智能穿戴设备产生点击事件后，记录所述目标时间段内所述智能穿戴设备采集的角速度数据和重力加速度数据；
其中，本实施例可以应用于与智能穿戴设备连接的电子设备，智能穿戴设备可以为智能指环、智能指套或智能手套，电子设备可以为手机、平板电脑或个人计算机等。在本实施例中智能穿戴设备与电子设备的连接方式可以为无线连接(如蓝牙连接或网络连接)，也可以为有线连接(如数据线连接)。可以理解的是，智能穿戴设备中设置有用于检测角速度和加速度的传感器，例如智能穿戴设备中可以设置有IMU(Inertial measurement unit，惯性测量单元)，IMU能够以100～4000赫兹的频率向电子设备汇报自身的加速度和角速度，经过数据滤波以后，还能获得重力方向。当智能穿戴设备为智能指环时，智能指环的佩戴部位可以为用户手指的第一指节、第二指节或第三指节。当佩戴有智能指环的手指运动时，智能指环中的IMU传感器能够采集手指的角速度数据和重力加速度数据，智能指环中的数据传输装置可以将实时采集到的角速度数据和重力加速度数据传输至电子设备。
在本步骤之前可以存在电子设备持续监测智能穿戴设备采集的角速度数据和重力加速度数据的操作，基于角速度数据和重力加速度数据判断智能穿戴设备是否产生点击事件。本实施例中所提到的点击事件指：佩戴有智能穿戴设备的手指点击任意物体的表面这一动作。在智能穿戴设备产生点击事件之后，随着用户的手部运动，还可以检测到智能穿戴设备产生的划动事件、长按事件和抬起事件等事件；划动事件指：佩戴有智能穿戴设备的手指点击任意物体表面之后手指不离开物体表面并在物体表面上划动的操作；长按事件指佩戴有智能穿戴设备的手指点击任意物体表面之后手指不离开物体表面并在一定时间内不移动的操作；抬起事件指佩戴有智能穿戴设备的手指点击任意物体表面之后在一定时间内抬起手指的操作。可以理解的是，抬起事件不能独立于点击事件之外单独存在，在发生抬起事件之前必然存在点击事件。因此，本实施例为了准确识别抬起事件首先判断智能穿戴设备是否产生点击事件，在检测到所述智能穿戴设备产生点击事件的基础上执行S101的相关操作。
在检测到智能穿戴设备产生点击事件后，本实施例首先记录目标时间段内所述智能穿戴设备采集的角速度数据和重力加速度数据。作为一种可行的实施方式，目标时间段的起始时刻为产生点击事件的时刻，进而记录目标时间段内智能穿戴设备佩戴部位的运动数据。本实施例可以根据具体应用场景设置目标时间段的时长。
S102：根据所述角速度数据和所述重力加速度数据生成所述智能穿戴设备佩戴部位的手势特征数据；
其中，本步骤可以对所述重力加速度数据执行分离操作得到三轴重力数据和三轴加速度数据，进而得到9维的手势特征数据：三轴加速度数据、三轴角速度数据和三轴重力数据。
S103：判断所述手势特征数据是否包括抬起手势特征数据；若是，则进入S104；若否，则结束流程；
其中，不同的手势可以对应不同的手势特征数据，本步骤得到的手势特征数据可以为一个手势或多个手势的组合对应的手势特征数据，若手势特征数据包括抬起手势特征数据则可以判定述智能穿戴设备产生了抬起事件。作为一种可行的实施方式，本实施例中可以预先设置抬起事件对应的标准手势特征数据或标准手势特征数据对应的评判标准，进而判断手势特征数据中是否包括抬起手势特征数据。
S104：判定所述智能穿戴设备产生抬起事件。
本实施例在检测到智能穿戴设备产生点击事件之后，记录目标时间段内智能穿戴设备的佩戴部位的角速度数据和重力加速度数，根据角速度数据和重力加速度数生成手势特征数据。手势特征数据为描述佩戴智能穿戴设备的用户的手势的数据，根据手势特征数据可以确定用户的手势，若手势特征数据包括了抬起手势特征数据，则说明用户的手势为抬起手势，进而可以判定智能穿戴设备产生了抬起事件。本实施例能够识别智能穿戴设备的抬起事件，实现对于电子设备的高效控制。
下面请参见图2，图2为本申请实施例所提供的一种抬起手势特征数据的检测方法的流程图，本实施例是对图1中S102对应实施例的进一步介绍，可以将本实施例与图1对应的实施例相结合得到更为优选的实施方式，本实施例可以包括以下步骤：
S201：根据所述手势特征数据确定抬起手势评价数据；
其中，所述抬起手势特征数据包括所述智能穿戴设备的加速度在重力方向上的加速度分量、所述重力方向与加速度方向的夹角参数，以及角速度绕竖直方向的角速度分量中任一项或任几项的组合；所述夹角参数为所述重力方向与所述加速度方向夹角的夹角值，或所述重力方向与所述加速度方向夹角的三角函数值。作为一种可行的实施方式，抬起手势特征数据包括所述智能穿戴设备的加速度在重力方向上的加速度分量、所述重力方向与加速度方向的夹角的余弦函数值，以及角速度绕竖直方向的角速度分量。
S202：判断所述抬起手势评价数据是否为所述抬起事件对应的抬起手势评价数据；若是，则进入S203；若否，则进入S204；
S203：判定所述手势特征数据包括所述抬起事件特征数据；
S204：判定所述手势特征数据不包括所述抬起事件特征数据。
其中，本实施例可以预先设置抬起手势评价数据的预设取值范围，若抬起手势评价数据在预设取值范围内则可以判定手势特征数据包括所述抬起事件特征数据，反之则判定手势特征数据不包括抬起事件特征数据。
作为一种可行的实施方式，本实施例可以基于机器学习算法判断所述抬起手势评价数据是否为所述抬起事件对应的抬起手势评价数据，具体过程可以包括以下步骤：将每一帧所述抬起手势评价数据和时间参考值输入第一机器学习模型，得到每一帧所述抬起手势评价数据的分类结果；其中，所述时间参考值包括每一帧所述抬起手势评价数据对应的时间点与所述点击事件的时间差；当连续N帧所述抬起手势评价数据的分类结果均为抬起事件正例时，判定所述抬起手势评价数据为所述抬起事件对应的抬起手势评价数据。
上述提到的机器学习模型为具有识别抬起事件对应的抬起手势评价数据的能力的模型，在将每一帧所述抬起手势评价数据输入第一机器学习模型之前，还可以包括以下步骤：
步骤1：获取正样本集合，并计算所述正样本集合中每一预设抬起事件对应的正样本运动特征数据；
其中，所述正样本运动特征数据包括加速度在重力方向上的加速度分量、所述重力方向与加速度方向的夹角参数，以及角速度绕竖直方向的角速度分量中任一项或任几项的组合；
步骤2：获取负样本集合，并计算所述负样本集合中每一预设非抬起事件对应的负样本运动特征数据；
其中，所述负样本运动特征数据包括加速度在重力方向上的加速度分量、所述重力方向与加速度方向的夹角参数，以及角速度绕竖直方向的角速度分量中任一项或任几项的组合；
步骤3：根据所述正样本集合中每一项正样本运动特征数据的目标特征值生成N维的正样本特征向量，并根据所述正样本特征向量与距离点击事件的发生时长生成N+1维的第一特征向量；
其中，所述目标特征值包括最大值、最小值、平均值、峰度和偏度中任一项或任几项的组合；
步骤4：根据所述负样本集合中每一项负样本运动特征数据的所述目标特征值生成N维的负样本特征向量，并根据所述负样本特征向量与距离点击事件的发生时长生成N+1维的第二特征向量；
步骤5：利用所述第一特征向量和所述第二特征向量训练原始模型得到所述第一机器学习模型。
具体的，上述训练机器学习模型的过程中所用到的正样本集合可以包括敲击操作中抬起事件的运动数据、长按操作中抬起事件的运动数据和滑动操作中抬起事件的运动数据中任一项或任几项的组合；所述负样本集合可以包括敲击操作中非抬起事件的运动数据、长按操作中非抬起事件的运动数据和滑动操作中非抬起事件的运动数据中任一项或任几项的组合；其中，所述敲击操作所述智能穿戴设备佩戴部位为在物理平面上敲击并抬起的操作，所述长按操作为所述智能穿戴设备佩戴部位为在物理平面上按压预设时长并抬起的操作，所述滑动操作为所述智能穿戴设备佩戴部位为在物理平面上移动预设距离并抬起的操作。
当然，本实施例可以基于机器学习模型实现对于点击事件和抬起事件的识别，下面通过一个实际应用中的例子说明基于机器学习模型识别点击事件和抬起事件的实现方案：
本实施例中选择智能指环作为佩戴于用户手指的智能穿戴设备，智能指环中设置有GY-91运动传感器，该传感器采集原始加速度(即重力加速度)和角速度数据，采样频率为1000赫兹，在采集元是加速度角速度数据之后，本实施例可以使用Madgwick滤波器将原始加速度分解成线性加速度(即三轴加速度数据)和重力方向(即三轴中立数据)。传感器采集到的运动数据通过蓝牙模块无线传输到外置的计算设备中(比如手机、AR头盔等)，计算设备通过计算可以识别用户的点击事件和抬起事件。
在训练机器学习模型的过程中，可以利用超低延迟的触摸板检测点击事件和抬起事件。在实际应用中，佩戴智能指环的手指可以点击任何物体的表面，此处利用触摸板检测点击事件和抬起事件旨在分析运动数据与点击事件和抬起事件的对应关系。
本实施例利用触摸板收集用户点击数据的过程如下：
1、获取敲击(tapping)数据集：邀请12名被试者，每名被试者在低延迟触摸板上敲击500次，在敲击过程中，被试应注意数据的多样性，采取不同的姿态、力度进行敲击，以增强数据集的泛化能力。采集指环的线性加速度、角速度和重力方向，以及触摸板的点击事件真值和抬起事件真值。点击事件真值为触摸板检测到点击事件的时间点，抬起事件真值为触摸板检测到抬起事件的时间点。
2、获取长按(long press)数据集：每名被试者在触摸板上长按500次，被试应注意数据的多样性，可以在长按过程中可以保持不动，或在触摸板上移动，可以以不同的角度和力度长按。
3、划动(swipe)数据集：每名被试者在触摸板上滑动500次，可以上划、下划、左划、右划，以不同的角度和力度划动。
4、空中手势(mid-air gesture)数据集：被试者做500次一秒左右的空中手势，包括空中点击、划动、画圈圈和正方形、颤抖和Hololens手势集等等。
通过上述方式可以采集了四种数据集：敲击数据集、长按数据集、划动数据集和空中手势数据集。其中，敲击数据集、长按数据集和划动数据集是为了采集在不同情况下的点击和抬起事件的运动数据，空中手势数据集可以作为点击事件的负样本。
训练用于识别点击事件的机器学习模型的过程如下：
对于敲击数据集、长按数据集和划动数据集，本实施例以触摸板采集到的点击事件真值为基准(即作为时间窗口的0ms)，收集时间窗口[-25ms,25ms]内的运动传感器数据作为正样本。本实施例可以将时间窗口[-75ms,-25ms]内的运动数据作为负样本，以避免算法提前识别出点击事件。本实施例还可以还将空中手势作为负样本，避免空中手势带来的误触。有了正负样本以后，本实施例可以按照以下方法提取特征：对于每个时间窗口内的九轴数据(三轴线性加速度、三轴角速度、三轴重力方向)，提取五个特征(最大值、最小值、平均值、峰度、偏度)，将这些值拼接起来得到一个45维的特征向量，即根据每一项九轴数据的五个特征得到45维的特征向量。基于上述特征向量，可以使用支持向量机(SVM)训练点击事件的二分类器。其中，时间窗口[-25ms,25ms]是点击事件附近的50毫秒的时间；时间窗口[-75ms,-25ms]指的是点击事件发生前的一段时间，在[-75ms,-25ms]这段时间中，GY-91运动传感器才艺的数据和正样本的数据有点像，因此具有一定的迷惑性，将它放进负样本里是为了让机器学习方法不要将[-75ms,-25ms]误识别成点击事件了，提高识别准确率。
如果点击事件的二分类器在过去50ms内出现过点击事件，则无论如何不汇报点击事件，即两次点击事件之间的时间间隔大于50ms，这样可以避免触发重复的点击事件。如果点击事件的二分类器在过去50ms内未出现过点击事件，且二分类器将连续10帧(10ms)的数据判断为正例，则判定检测到点击事件。
训练用于识别抬起事件的机器学习模型的过程如下：
对于敲击数据集、长按数据集和划动数据集，本实施例以触摸板采集到的抬起事件真值为基准(即作为时间窗口的0ms)，收集时间窗口[-25ms,25ms]内的运动传感器数据，作为正样本。在敲击、长按和划动过程中(手指触摸着触摸板)的数据里可以随机采样50毫秒的运动数据作为负样本。有了正负样本以后，本实施例可以按照以下方法提取特征：对于每个时间窗口内的重力方向上的加速度AG，重力与加速度的夹角θ的余弦函数值cosθ，角速度绕竖直线的分量GZ，提取五个特征(最大值、最小值、平均值、峰度、偏度)，额外加上一个距离点击事件的时长T，将这些值拼接起来得到一个3*5+1＝16维的特征向量。基于上述特征向量，可以使用支持向量机(SVM)训练抬起事件的二分类器。其中，在点击事件之后的一定时间内，GY-91运动传感器往往在撞击中还没有恢复过来，此时的GY-91运动传感器采集的数据(其余15维)是非常混乱的，很可能误打误撞达到了被识别成抬起事件的要求。因此本实施例加入距离点击事件的时长T这一维度提高抬起事件的识别准确度。例如可以在点击事件后T秒内应该大大降低抬起事件识别的置信度，即使这T秒内其余15维数据均为抬起事件对应的标准值，T这一维特征都能保证不误触发抬起事件。
从检测到点击事件开始，每一帧都调用抬起事件二分类器进行检测，如果二分类器连续3帧(3ms)数据判定为正例，则判定检测到抬起事件。
本实施例对GY-91运动传感器获得的九轴数据(三轴加速度、角速度和重力方向)，提取其最大值、最小值、平均值、峰度、偏度拼接成45维的向量，使用SVM训练分类器，从而识别点击事件。本实施例还通过GY-91运动传感器获取加速度和重力方向的夹角、加速度在重力方向上的分量、角速度沿重力方向的分量，提取其最大值、最小值、平均值、峰度、偏度拼接成15维的向量，使用SVM训练分类器，从而识别点击事件。
作为对于图1对应实施例的进一步说明，在S104判定所述智能穿戴设备产生抬起事件之后，还可以执行以下操作以便检测新的点击事件。
步骤1：获取所述智能穿戴设备采集的新角速度数据和新重力加速度数据；
步骤2：根据所述新角速度数据和所述新重力加速度数据生成所述智能穿戴设备佩戴部位的新手势特征数据；
步骤3：根据所述新手势特征数据的点击事件特征值生成点击事件特征向量；
其中，所述点击事件特征值包括最大值、最小值、平均值、峰度和偏度；
步骤4：将所述点击事件特征向量输入第二机器学习模型，以便所述第二机器学习模型判断所述新手势特征数据是否为点击事件的手势特征数据；
步骤5：当所述新手势特征数据为点击事件的手势特征数据时，判断所述新手势特征数据的获取时刻与上一次点击事件的产生时刻的时间差是否大于预设时间差；若是，则判定所述智能穿戴设备产生点击事件。
进一步的，在判定所述智能穿戴设备产生抬起事件之后，还包括：
根据所述手势特征数据确定所述待识别时间段对应的运动手势，并执行所述运动手势对应的控制指令；其中，所述待识别时间段的起始时间为产生所述点击事件的时刻，所述待识别时间段的终止时间产生所述抬起事件的时刻。通过上述方式可以确定点击事件与抬起事件之间用户的手势动作进而执行相应的指令。
请参见图3，图3为本申请实施例所提供的一种电子设备的结构示意图；
该系统可以包括：
数据记录模块100，用于在检测到所述智能穿戴设备产生点击事件后，记录所述目标时间段内所述智能穿戴设备采集的角速度数据和重力加速度数据；
特征数据生成模块200，用于根据所述角速度数据和所述重力加速度数据生成所述智能穿戴设备佩戴部位的手势特征数据；其中，所述手势特征数据包括三轴加速度数据、三轴角速度数据和三轴重力数据；
抬起判断模块300，用于判断所述手势特征数据是否包括抬起手势特征数据；
结果输出模块400，用于当所述手势特征数据包括所述抬起手势特征数据时，判定所述智能穿戴设备产生抬起事件。
本实施例在检测到智能穿戴设备产生点击事件之后，记录目标时间段内智能穿戴设备的佩戴部位的角速度数据和重力加速度数，根据角速度数据和重力加速度数生成手势特征数据。手势特征数据为描述佩戴智能穿戴设备的用户的手势的数据，根据手势特征数据可以确定用户的手势，若手势特征数据包括了抬起手势特征数据，则说明用户的手势为抬起手势，进而可以判定智能穿戴设备产生了抬起事件。本实施例能够识别智能穿戴设备的抬起事件，实现对于电子设备的高效控制。
进一步的，抬起判断模块，包括：
评价数据确定单元，用于根据所述手势特征数据确定抬起手势评价数据；其中，所述抬起手势特征数据包括所述智能穿戴设备的加速度在重力方向上的加速度分量、所述重力方向与加速度方向的夹角参数，以及角速度绕竖直方向的角速度分量中任一项或任几项的组合；所述夹角参数为所述重力方向与所述加速度方向夹角的夹角值，或所述重力方向与所述加速度方向夹角的三角函数值；
评价数据判断单元，用于判断所述抬起手势评价数据是否为所述抬起事件对应的抬起手势评价数据；若是，则判定所述手势特征数据包括所述抬起事件特征数据；若否，则判定所述手势特征数据不包括所述抬起事件特征数据。
进一步的，评价数据判断单元用于将每一帧所述抬起手势评价数据和时间参考值输入第一机器学习模型，得到每一帧所述抬起手势评价数据的分类结果；所述时间参考值包括每一帧所述抬起手势评价数据对应的时间点与所述点击事件的时间差；还用于当连续N帧所述抬起手势评价数据的分类结果均为抬起事件正例时，判定所述抬起手势评价数据为所述抬起事件对应的抬起手势评价数据。
进一步的，还包括：
正样本获取单元，用于在将每一帧所述抬起手势评价数据输入第一机器学习模型之前，获取正样本集合，并计算所述正样本集合中每一预设抬起事件对应的正样本运动特征数据；其中，所述正样本运动特征数据包括加速度在重力方向上的加速度分量、所述重力方向与加速度方向的夹角参数，以及角速度绕竖直方向的角速度分量中任一项或任几项的组合；
负样本获取单元，用于获取负样本集合，并计算所述负样本集合中每一预设非抬起事件对应的负样本运动特征数据；其中，所述负样本运动特征数据包括加速度在重力方向上的加速度分量、所述重力方向与加速度方向的夹角参数，以及角速度绕竖直方向的角速度分量中任一项或任几项的组合；
正样本特征向量生成单元，用于根据所述正样本集合中每一项正样本运动特征数据的目标特征值生成N维的正样本特征向量，并根据所述正样本特征向量与距离点击事件的发生时长生成N+1维的第一特征向量；其中，所述目标特征值包括最大值、最小值、平均值、峰度和偏度中任一项或任几项的组合；
负样本特征向量生成单元，用于根据所述负样本集合中每一项负样本运动特征数据的所述目标特征值生成N维的负样本特征向量，并根据所述负样本特征向量与距离点击事件的发生时长生成N+1维的第二特征向量；
模型训练单元，用于利用所述第一特征向量和所述第二特征向量训练原始模型得到所述第一机器学习模型。
进一步的，所述正样本集合包括敲击操作中抬起事件的运动数据、长按操作中抬起事件的运动数据和滑动操作中抬起事件的运动数据中任一项或任几项的组合；所述负样本集合包括敲击操作中非抬起事件的运动数据、长按操作中非抬起事件的运动数据和滑动操作中非抬起事件的运动数据中任一项或任几项的组合；其中，所述敲击操作所述智能穿戴设备佩戴部位为在物理平面上敲击并抬起的操作，所述长按操作为所述智能穿戴设备佩戴部位为在物理平面上按压预设时长并抬起的操作，所述滑动操作为所述智能穿戴设备佩戴部位为在物理平面上移动预设距离并抬起的操作。
进一步的，还包括：
新点击事件检测模块，用于在判定所述智能穿戴设备产生抬起事件之后，获取所述智能穿戴设备采集的新角速度数据和新重力加速度数据；还用于根据所述新角速度数据和所述新重力加速度数据生成所述智能穿戴设备佩戴部位的新手势特征数据；还用于根据所述新手势特征数据的点击事件特征值生成点击事件特征向量；其中，所述点击事件特征值包括最大值、最小值、平均值、峰度和偏度；还用于将所述点击事件特征向量输入第二机器学习模型，以便所述第二机器学习模型判断所述新手势特征数据是否为点击事件的手势特征数据；还用于当所述新手势特征数据为点击事件的手势特征数据时，判断所述新手势特征数据的获取时刻与上一次点击事件的产生时刻的时间差是否大于预设时间差；若是，则判定所述智能穿戴设备产生点击事件。
进一步的，还包括：
指令识别模块，用于根据所述手势特征数据确定所述待识别时间段对应的运动手势，并执行所述运动手势对应的控制指令；其中，所述待识别时间段的起始时间为产生所述点击事件的时刻，所述待识别时间段的终止时间产生所述抬起事件的时刻。
由于电子设备部分的实施例与方法部分的实施例相互对应，因此电子设备部分的实施例请参见方法部分的实施例的描述，这里暂不赘述。
本申请还提供了一种存储介质，其上存有计算机程序，该计算机程序被执行时可以实现上述实施例所提供的步骤。该存储介质可以包括：U盘、移动硬盘、只读存储器(Read-Only Memory，ROM)、随机存取存储器(Random Access Memory，RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
本申请还提供了一种抬起手势的识别系统，可以包括：
智能穿戴设备，用于采集佩戴部位的角速度数据和重力加速度数据，并将所述角速度数据和重力加速度数据传输至电子设备；
所述电子设备，用于在检测到所述智能穿戴设备产生点击事件后，记录所述目标时间段内所述智能穿戴设备采集的角速度数据和重力加速度数据；还用于根据所述角速度数据和所述重力加速度数据生成所述智能穿戴设备佩戴部位的手势特征数据；其中，所述手势特征数据包括三轴加速度数据、三轴角速度数据和三轴重力数据；还用于判断所述手势特征数据是否包括抬起手势特征数据；若是，则判定所述智能穿戴设备产生抬起事件。
说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的系统而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。应当指出，对于本技术领域的普通技术人员来说，在不脱离本申请原理的前提下，还可以对本申请进行若干改进和修饰，这些改进和修饰也落入本申请权利要求的保护范围内。
还需要说明的是，在本说明书中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的状况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

Claims (10)

1.一种抬起手势的识别方法，其特征在于，应用于与智能穿戴设备连接的电子设备，包括：
在检测到所述智能穿戴设备产生点击事件后，记录目标时间段内所述智能穿戴设备采集的角速度数据和重力加速度数据；
根据所述角速度数据和所述重力加速度数据生成所述智能穿戴设备佩戴部位的手势特征数据；其中，所述手势特征数据包括三轴加速度数据、三轴角速度数据和三轴重力数据；
判断所述手势特征数据是否包括抬起手势特征数据；
若是，则判定所述智能穿戴设备产生抬起事件；
其中，判断所述手势特征数据是否包括抬起手势特征数据包括：
基于第一机器学习模型判断抬起手势评价数据是否为所述抬起事件对应的抬起手势评价数据；其中，所述抬起手势评价数据根据所述手势特征数据确定；
若是，则判定所述手势特征数据包括所述抬起手势特征数据；
若否，则判定所述手势特征数据不包括所述抬起手势特征数据；
其中，训练所述第一机器学习模型的过程包括：
获取正样本集合，并计算所述正样本集合中每一预设抬起事件对应的正样本运动特征数据；
获取负样本集合，并计算所述负样本集合中每一预设非抬起事件对应的负样本运动特征数据；
根据所述正样本集合中每一项正样本运动特征数据的目标特征值生成N维的正样本特征向量，并根据所述正样本特征向量与距离点击事件的发生时长生成N+1维的第一特征向量；
根据所述负样本集合中每一项负样本运动特征数据的所述目标特征值生成N维的负样本特征向量，并根据所述负样本特征向量与距离点击事件的发生时长生成N+1维的第二特征向量；
利用所述第一特征向量和所述第二特征向量训练原始模型得到所述第一机器学习模型。
2.根据权利要求1所述识别方法，其特征在于，判断所述手势特征数据是否包括抬起手势特征数据，包括：
根据所述手势特征数据确定抬起手势评价数据；其中，所述抬起手势特征数据包括所述智能穿戴设备的加速度在重力方向上的加速度分量、所述重力方向与加速度方向的夹角参数，以及角速度绕竖直方向的角速度分量中任一项或任几项的组合；所述夹角参数为所述重力方向与所述加速度方向夹角的夹角值，或所述重力方向与所述加速度方向夹角的三角函数值；
判断所述抬起手势评价数据是否为所述抬起事件对应的抬起手势评价数据；
若是，则判定所述手势特征数据包括所述抬起手势特征数据；
若否，则判定所述手势特征数据不包括所述抬起手势特征数据。
3.根据权利要求2所述识别方法，其特征在于，其特征在于，判断所述抬起手势评价数据是否为所述抬起事件对应的抬起手势评价数据，包括：
将每一帧所述抬起手势评价数据和时间参考值输入第一机器学习模型，得到每一帧所述抬起手势评价数据的分类结果；其中，所述时间参考值包括每一帧所述抬起手势评价数据对应的时间点与所述点击事件的时间差；
当连续N帧所述抬起手势评价数据的分类结果均为抬起事件正例时，判定所述抬起手势评价数据为所述抬起事件对应的抬起手势评价数据。
4.根据权利要求3所述识别方法，其特征在于，在将每一帧所述抬起手势评价数据输入第一机器学习模型之前，还包括：
获取正样本集合，并计算所述正样本集合中每一预设抬起事件对应的正样本运动特征数据；其中，所述正样本运动特征数据包括加速度在重力方向上的加速度分量、所述重力方向与加速度方向的夹角参数，以及角速度绕竖直方向的角速度分量中任一项或任几项的组合；
获取负样本集合，并计算所述负样本集合中每一预设非抬起事件对应的负样本运动特征数据；其中，所述负样本运动特征数据包括加速度在重力方向上的加速度分量、所述重力方向与加速度方向的夹角参数，以及角速度绕竖直方向的角速度分量中任一项或任几项的组合；
根据所述正样本集合中每一项正样本运动特征数据的目标特征值生成N维的正样本特征向量，并根据所述正样本特征向量与距离点击事件的发生时长生成N+1维的第一特征向量；其中，所述目标特征值包括最大值、最小值、平均值、峰度和偏度中任一项或任几项的组合；
根据所述负样本集合中每一项负样本运动特征数据的所述目标特征值生成N维的负样本特征向量，并根据所述负样本特征向量与距离点击事件的发生时长生成N+1维的第二特征向量；
利用所述第一特征向量和所述第二特征向量训练原始模型得到所述第一机器学习模型。
5.根据权利要求4所述识别方法，其特征在于，所述正样本集合包括敲击操作中抬起事件的运动数据、长按操作中抬起事件的运动数据和滑动操作中抬起事件的运动数据中任一项或任几项的组合；
所述负样本集合包括敲击操作中非抬起事件的运动数据、长按操作中非抬起事件的运动数据和滑动操作中非抬起事件的运动数据中任一项或任几项的组合；
其中，所述敲击操作所述智能穿戴设备佩戴部位为在物理平面上敲击并抬起的操作，所述长按操作为所述智能穿戴设备佩戴部位为在物理平面上按压预设时长并抬起的操作，所述滑动操作为所述智能穿戴设备佩戴部位为在物理平面上移动预设距离并抬起的操作。
6.根据权利要求1所述识别方法，其特征在于，在判定所述智能穿戴设备产生抬起事件之后，还包括：
获取所述智能穿戴设备采集的新角速度数据和新重力加速度数据；
根据所述新角速度数据和所述新重力加速度数据生成所述智能穿戴设备佩戴部位的新手势特征数据；
根据所述新手势特征数据的点击事件特征值生成点击事件特征向量；其中，所述点击事件特征值包括最大值、最小值、平均值、峰度和偏度；
将所述点击事件特征向量输入第二机器学习模型，以便所述第二机器学习模型判断所述新手势特征数据是否为点击事件的手势特征数据；
当所述新手势特征数据为点击事件的手势特征数据时，判断所述新手势特征数据的获取时刻与上一次点击事件的产生时刻的时间差是否大于预设时间差；
若是，则判定所述智能穿戴设备产生点击事件。
7.根据权利要求1至6任一项所述识别方法，其特征在于，在判定所述智能穿戴设备产生抬起事件之后，还包括：
根据所述手势特征数据确定待识别时间段对应的运动手势，并执行所述运动手势对应的控制指令；其中，所述待识别时间段的起始时间为产生所述点击事件的时刻，所述待识别时间段的终止时间产生所述抬起事件的时刻。
8.一种电子设备，其特征在于，包括：
数据记录模块，用于在检测到智能穿戴设备产生点击事件后，记录目标时间段内所述智能穿戴设备采集的角速度数据和重力加速度数据；
特征数据生成模块，用于根据所述角速度数据和所述重力加速度数据生成所述智能穿戴设备佩戴部位的手势特征数据；其中，所述手势特征数据包括三轴加速度数据、三轴角速度数据和三轴重力数据；
抬起判断模块，用于判断所述手势特征数据是否包括抬起手势特征数据；
结果输出模块，用于当所述手势特征数据包括所述抬起手势特征数据时，判定所述智能穿戴设备产生抬起事件；
其中，所述抬起判断模块用于基于第一机器学习模型判断抬起手势评价数据是否为所述抬起事件对应的抬起手势评价数据；其中，所述抬起手势评价数据根据所述手势特征数据确定；若是，则判定所述手势特征数据包括所述抬起手势特征数据；若否，则判定所述手势特征数据不包括所述抬起手势特征数据；
其中，训练所述第一机器学习模型的过程包括：获取正样本集合，并计算所述正样本集合中每一预设抬起事件对应的正样本运动特征数据；获取负样本集合，并计算所述负样本集合中每一预设非抬起事件对应的负样本运动特征数据；根据所述正样本集合中每一项正样本运动特征数据的目标特征值生成N维的正样本特征向量，并根据所述正样本特征向量与距离点击事件的发生时长生成N+1维的第一特征向量；根据所述负样本集合中每一项负样本运动特征数据的所述目标特征值生成N维的负样本特征向量，并根据所述负样本特征向量与距离点击事件的发生时长生成N+1维的第二特征向量；利用所述第一特征向量和所述第二特征向量训练原始模型得到所述第一机器学习模型。
9.一种抬起手势的识别系统，其特征在于，包括：
智能穿戴设备，用于采集佩戴部位的角速度数据和重力加速度数据，并将所述角速度数据和重力加速度数据传输至电子设备；
所述电子设备，用于在检测到所述智能穿戴设备产生点击事件后，记录目标时间段内所述智能穿戴设备采集的角速度数据和重力加速度数据；还用于根据所述角速度数据和所述重力加速度数据生成所述智能穿戴设备佩戴部位的手势特征数据；其中，所述手势特征数据包括三轴加速度数据、三轴角速度数据和三轴重力数据；还用于判断所述手势特征数据是否包括抬起手势特征数据；若是，则判定所述智能穿戴设备产生抬起事件；
其中，所述电子设备判断所述手势特征数据是否包括抬起手势特征数据的过程包括：基于第一机器学习模型判断抬起手势评价数据是否为所述抬起事件对应的抬起手势评价数据；其中，所述抬起手势评价数据根据所述手势特征数据确定；若是，则判定所述手势特征数据包括所述抬起手势特征数据；若否，则判定所述手势特征数据不包括所述抬起手势特征数据；
其中，训练所述第一机器学习模型的过程包括：获取正样本集合，并计算所述正样本集合中每一预设抬起事件对应的正样本运动特征数据；获取负样本集合，并计算所述负样本集合中每一预设非抬起事件对应的负样本运动特征数据；根据所述正样本集合中每一项正样本运动特征数据的目标特征值生成N维的正样本特征向量，并根据所述正样本特征向量与距离点击事件的发生时长生成N+1维的第一特征向量；根据所述负样本集合中每一项负样本运动特征数据的所述目标特征值生成N维的负样本特征向量，并根据所述负样本特征向量与距离点击事件的发生时长生成N+1维的第二特征向量；利用所述第一特征向量和所述第二特征向量训练原始模型得到所述第一机器学习模型。
10.一种存储介质，其特征在于，所述存储介质中存储有计算机可执行指令，所述计算机可执行指令被处理器加载并执行时，实现如上权利要求1至7任一项所述抬起手势的识别方法的步骤。
CN202010392098.5A 2020-05-11 2020-05-11 一种抬起手势的识别方法、系统、电子设备及存储介质 Active CN111580664B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010392098.5A CN111580664B (zh) 2020-05-11 2020-05-11 一种抬起手势的识别方法、系统、电子设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010392098.5A CN111580664B (zh) 2020-05-11 2020-05-11 一种抬起手势的识别方法、系统、电子设备及存储介质

Publications (2)

Publication Number Publication Date
CN111580664A CN111580664A (zh) 2020-08-25
CN111580664B true CN111580664B (zh) 2021-07-27

Family

ID=72122861

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010392098.5A Active CN111580664B (zh) 2020-05-11 2020-05-11 一种抬起手势的识别方法、系统、电子设备及存储介质

Country Status (1)

Country Link
CN (1) CN111580664B (zh)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105242779A (zh) * 2015-09-23 2016-01-13 歌尔声学股份有限公司 一种识别用户动作的方法和移动智能终端
CN106293048A (zh) * 2015-07-31 2017-01-04 北京智谷睿拓技术服务有限公司 输入信息确定方法和设备
CN107085367A (zh) * 2017-03-24 2017-08-22 广州七喜集团有限公司 一种智能手表的抬手亮屏方法
EP3358446A1 (en) * 2015-10-30 2018-08-08 Samsung Electronics Co., Ltd. Gesture sensing method and electronic device supporting same
CN109933191A (zh) * 2019-02-13 2019-06-25 苏鹏程 手势识别和控制方法及其系统

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106605201B (zh) * 2014-08-06 2021-11-23 苹果公司 用于电池管理的减小尺寸的用户界面
CN206274386U (zh) * 2016-12-12 2017-06-23 张见苏 一种手势交互的智能手环
CN110308795B (zh) * 2019-07-05 2022-10-11 济南大学 一种动态手势识别方法及系统

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106293048A (zh) * 2015-07-31 2017-01-04 北京智谷睿拓技术服务有限公司 输入信息确定方法和设备
CN105242779A (zh) * 2015-09-23 2016-01-13 歌尔声学股份有限公司 一种识别用户动作的方法和移动智能终端
EP3358446A1 (en) * 2015-10-30 2018-08-08 Samsung Electronics Co., Ltd. Gesture sensing method and electronic device supporting same
CN107085367A (zh) * 2017-03-24 2017-08-22 广州七喜集团有限公司 一种智能手表的抬手亮屏方法
CN109933191A (zh) * 2019-02-13 2019-06-25 苏鹏程 手势识别和控制方法及其系统

Also Published As

Publication number Publication date
CN111580664A (zh) 2020-08-25

Similar Documents

Publication Publication Date Title
Wu et al. Orientation independent activity/gesture recognition using wearable motion sensors
US10095033B2 (en) Multimodal interaction with near-to-eye display
CN110069199B (zh) 一种基于智能手表的皮肤式手指手势识别方法
Zhang et al. Recognizing hand gestures with pressure-sensor-based motion sensing
Mendes et al. Human behavior and hand gesture classification for smart human-robot interaction
Kim et al. Vision-based arm gesture recognition for a long-range human–robot interaction
KR20110003146A (ko) 제스쳐 인식 장치, 이를 구비한 로봇 시스템 및 이를 이용한 제스쳐 인식 방법
CN101976330A (zh) 手势识别方法和系统
EP4098182A1 (en) Machine-learning based gesture recognition with framework for adding user-customized gestures
CN114821753B (zh) 一种基于视觉图像信息的眼动交互系统
CN106489117A (zh) 使用时空触摸特征和迭代分类的概率性防手掌误触
KR101899590B1 (ko) 손 모양 및 동작 인식장치 및 방법
KR101553484B1 (ko) 손동작 인식 장치 및 그 방법
CN105161100B (zh) 控制方法及电子设备
CN111580664B (zh) 一种抬起手势的识别方法、系统、电子设备及存储介质
Saleh et al. An efficient machine learning-based fall detection algorithm using local binary features
CN106547339B (zh) 计算机设备的控制方法和装置
CN110262767A (zh) 基于靠近嘴部检测的语音输入唤醒装置、方法和介质
JEYASHEELI et al. Deep Learning Based Indian Sign Language Words Identification System
Bo et al. Evaluation of sensing and processing parameters for human action recognition
CN111580663A (zh) 一种信息输入方法、系统、电子设备及存储介质
Cheng et al. Finger-worn device based hand gesture recognition using long short-term memory
Pipanmaekaporn et al. Mining Acceleration Data for Smartphone-based Fall Detection
CN101446859A (zh) 一种基于机器视觉的输入方法及其系统
CN111580666B (zh) 一种设备控制方法、电子设备、设备控制系统及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant