CN111580660B - 一种操作触发方法、装置、设备及可读存储介质 - Google Patents

一种操作触发方法、装置、设备及可读存储介质 Download PDF

Info

Publication number
CN111580660B
CN111580660B CN202010387738.3A CN202010387738A CN111580660B CN 111580660 B CN111580660 B CN 111580660B CN 202010387738 A CN202010387738 A CN 202010387738A CN 111580660 B CN111580660 B CN 111580660B
Authority
CN
China
Prior art keywords
data
hand
motion data
hand motion
sound data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010387738.3A
Other languages
English (en)
Other versions
CN111580660A (zh
Inventor
史元春
喻纯
鲁逸沁
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Interactive Future Beijing Technology Co ltd
Tsinghua University
Original Assignee
Interactive Future Beijing Technology Co ltd
Tsinghua University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Interactive Future Beijing Technology Co ltd, Tsinghua University filed Critical Interactive Future Beijing Technology Co ltd
Priority to CN202010387738.3A priority Critical patent/CN111580660B/zh
Publication of CN111580660A publication Critical patent/CN111580660A/zh
Application granted granted Critical
Publication of CN111580660B publication Critical patent/CN111580660B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/014—Hand-worn input/output arrangements, e.g. data gloves
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0346—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

本申请公开了一种操作触发方法、装置、设备及可读存储介质。本申请利用佩戴于用户左右手上的两个可穿戴设备采集双手碰撞时的左右手运动数据和声音数据，并从中提取出左右手运动数据的尖峰特征和双手碰撞时声音数据的尖峰特征作为待识别特征，然后根据这些特征识别用户当前所做的手势，触发用户当前所做的手势所控制的操作。左手运动数据和右手运动数据均包括三轴加速度数据，且双手碰撞时有较好的触觉反馈，因此可穿戴设备可采集到能够精准区分不同手势的信号，从而提高了双手手势识别的精度，降低了可穿戴设备上的操作误触发。本申请提供的一种操作触发装置、设备及可读存储介质，也同样具有上述技术效果。

Description

一种操作触发方法、装置、设备及可读存储介质
技术领域
本申请涉及计算机技术领域，特别涉及一种操作触发方法、装置、设备及可读存储介质。
背景技术
目前，可穿戴设备（如智能手表、智能手环等）可以与手机建立连接，对于来电或短信消息，用户可以通过语音输入、触摸输入或单手手势输入直接在可穿戴设备上接听或查看。
其中，语音输入的声音数据会受到周围环境的影响，可能会导致语音输入不准确，导致触发操作错误。触摸输入需要在可穿戴设备的表面设置触摸板，由于可穿戴设备的表面较小，因此触摸板的设置位置和大小不利于触摸输入。单手手势输入容易与手的自然动作混淆，容易导致误触发。
因此，如何降低可穿戴设备上的操作误触发，是本领域技术人员需要解决的问题。
发明内容
有鉴于此，本申请的目的在于提供一种操作触发方法、装置、设备及可读存储介质，以降低可穿戴设备上的操作误触发。其具体方案如下：
第一方面，本申请提供了一种操作触发方法，包括：
通过第一可穿戴设备采集双手碰撞时的左手运动数据，通过第二可穿戴设备采集双手碰撞时的右手运动数据，通过所述第一可穿戴设备和/或所述第二可穿戴设备采集双手碰撞时的声音数据；
其中，所述第一可穿戴设备佩戴于用户的左手，所述第二可穿戴设备佩戴于用户的右手；所述左手运动数据包括三轴加速度数据；所述右手运动数据包括三轴加速度数据；
从所述左手运动数据、所述右手运动数据和所述声音数据中提取待识别特征；所述待识别特征包括：左右手运动数据的尖峰特征和双手碰撞时声音数据的尖峰特征；
根据所述待识别特征识别用户当前所做的手势；
触发用户当前所做的手势所控制的操作。
优选地，所述从所述左手运动数据、所述右手运动数据和所述声音数据中提取待识别特征，包括：
计算所述左手运动数据包括的各个轴上的数据的左手特征值，计算所述右手运动数据包括的各个轴上的数据的右手特征值，将所述左手特征值和所述右手特征值确定为所述左右手运动数据的尖峰特征；
从所述声音数据中提取时域特征，将所述时域特征确定为所述双手碰撞时声音数据的尖峰特征。
优选地，所述左手运动数据和所述右手运动数据均包括：三轴加速度数据、三轴角速度数据和三轴方向角数据。
优选地，若通过所述第一可穿戴设备采集到双手碰撞时的第一声音数据，通过所述第二可穿戴设备采集到双手碰撞时的第二声音数据，则所述从所述声音数据中提取时域特征，将所述时域特征确定为所述双手碰撞时声音数据的尖峰特征，包括：
从所述第一声音数据中提取第一时域特征，从所述第二声音数据中提取第二时域特征；
将所述第一时域特征和第二时域特征确定为所述双手碰撞时声音数据的尖峰特征。
优选地，所述从所述左手运动数据、所述右手运动数据和所述声音数据中提取待识别特征，包括：
利用第一相关性公式计算所述左手运动数据和所述右手运动数据的第一相关性，并将所述第一相关性确定为所述左右手运动数据的尖峰特征；
其中，所述第一相关性公式为：
Figure 972699DEST_PATH_IMAGE001
其中，
Figure 358329DEST_PATH_IMAGE002
是将左手加速度旋转到右手坐标系后获得的加速度，
Figure 590858DEST_PATH_IMAGE003
是右手加速度，X、Y、Z分别表示X轴、Y轴和Z轴；
若通过所述第一可穿戴设备采集到双手碰撞时的第一声音数据，通过所述第二可穿戴设备采集到双手碰撞时的第二声音数据，则利用第二相关性公式计算第一声音数据和第二声音数据的第二相关性，将所述第二相关性确定为所述双手碰撞时声音数据的尖峰特征；
其中，所述第二相关性公式为：
Figure 207784DEST_PATH_IMAGE004
其中，
Figure 888164DEST_PATH_IMAGE005
为第一声音数据在时域上的幅值，
Figure 361871DEST_PATH_IMAGE006
为第二声音数据在时域上的幅值。
优选地，所述根据所述待识别特征识别用户当前所做的手势之前，还包括：
判断所述待识别特征是否为双手手势特征；
若是，则执行所述根据所述待识别特征识别用户当前所做的手势的步骤。
优选地，所述根据所述待识别特征识别用户当前所做的手势，包括：
计算所述待识别特征与每个双手手势特征的相似度，将最大相似度对应的目标双手手势确定为用户当前所做的手势。
第二方面，本申请提供了一种操作触发装置，包括：
采集模块，用于通过第一可穿戴设备采集双手碰撞时的左手运动数据，通过第二可穿戴设备采集双手碰撞时的右手运动数据，通过所述第一可穿戴设备和/或所述第二可穿戴设备采集双手碰撞时的声音数据；其中，所述第一可穿戴设备佩戴于用户的左手，所述第二可穿戴设备佩戴于用户的右手；所述左手运动数据包括三轴加速度数据；所述右手运动数据包括三轴加速度数据；
提取模块，用于从所述左手运动数据、所述右手运动数据和所述声音数据中提取待识别特征；所述待识别特征包括：左右手运动数据的尖峰特征和双手碰撞时声音数据的尖峰特征；
识别模块，用于根据所述待识别特征识别用户当前所做的手势；
触发模块，用于触发用户当前所做的手势所控制的操作。
第三方面，本申请提供了一种操作触发设备，包括：
存储器，用于存储计算机程序；
处理器，用于执行所述计算机程序，以实现前述公开的操作触发方法。
第四方面，本申请提供了一种可读存储介质，用于保存计算机程序，其中，所述计算机程序被处理器执行时实现前述公开的操作触发方法。
通过以上方案可知，本申请提供了一种操作触发方法，包括：通过第一可穿戴设备采集双手碰撞时的左手运动数据，通过第二可穿戴设备采集双手碰撞时的右手运动数据，通过所述第一可穿戴设备和/或所述第二可穿戴设备采集双手碰撞时的声音数据；其中，所述第一可穿戴设备佩戴于用户的左手，所述第二可穿戴设备佩戴于用户的右手；所述左手运动数据包括三轴加速度数据；所述右手运动数据包括三轴加速度数据；从所述左手运动数据、所述右手运动数据和所述声音数据中提取待识别特征；所述待识别特征包括：左右手运动数据的尖峰特征和双手碰撞时声音数据的尖峰特征；根据所述待识别特征识别用户当前所做的手势；触发用户当前所做的手势所控制的操作。
可见，本申请利用佩戴于用户左右手上的两个可穿戴设备采集双手碰撞时的左右手运动数据和声音数据，并从中提取出左右手运动数据的尖峰特征和双手碰撞时声音数据的尖峰特征作为待识别特征，然后根据这些特征识别用户当前所做的手势，触发用户当前所做的手势所控制的操作。其中，左手运动数据和右手运动数据均包括三轴加速度数据，且双手碰撞时有较好的触觉反馈，因此可穿戴设备可以采集到双手碰撞时的加速度信号和声音信号，这些特征可以较精准的区分不同手势，能够提高双手手势识别的精度，因此在可穿戴设备上用不同双手手势触发不同操作，可以降低可穿戴设备上的操作误触发，提升触发操作的准确率。
相应地，本申请提供的一种操作触发装置、设备及可读存储介质，也同样具有上述技术效果。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。
图1为本申请公开的一种操作触发方法流程图；
图2为本申请公开的一种双手手势示意图；
图3为本申请公开的一种操作触发装置示意图；
图4为本申请公开的一种操作触发设备示意图。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
目前，在可穿戴设备上用语音输入、触摸输入或单手手势输入接听来电或查看消息的误触发率较高。为此，本申请提供了一种操作触发方案，能够降低可穿戴设备上的操作误触发，提升触发操作的准确率。
参见图1所示，本申请实施例公开了一种操作触发方法，包括：
S101、通过第一可穿戴设备采集双手碰撞时的左手运动数据，通过第二可穿戴设备采集双手碰撞时的右手运动数据，通过第一可穿戴设备和/或第二可穿戴设备采集双手碰撞时的声音数据。
其中，第一可穿戴设备佩戴于用户的左手，第二可穿戴设备佩戴于用户的右手；左手运动数据包括三轴加速度数据；右手运动数据包括三轴加速度数据。在一种实施方式中，左右手运动数据为左右手三轴加速度数据。
具体的，第一可穿戴设备和第二可穿戴设备都内置有运动传感器（如：惯性传感器）和麦克风，运动传感器用于采集双手碰撞时产生的加速度数据，麦克风用于采集双手碰撞时产生的声音数据。
需要说明的是，还可以利用第一可穿戴设备和第二可穿戴设备内置的其他传感器采集其他数据（如：心率传感器、磁力传感器等）。
S102、从左手运动数据、右手运动数据和声音数据中提取待识别特征。
其中，待识别特征包括：左右手运动数据的尖峰特征和双手碰撞时声音数据的尖峰特征。左右手运动数据的尖峰特征具体包括：各个轴上的数据的特征值和/或左手运动数据与右手运动数据的第一相关性。双手碰撞时声音数据的尖峰特征具体包括：双手碰撞时的声音数据的时域特征和/或第一声音数据与第二声音数据的第二相关性。尖峰特征也就是左右手碰撞时左右手运动产生的数据峰值，或左右手碰撞时声音信号能量的数据峰值。其中，左右手运动产生的数据峰值可以用各个轴上的数据的特征值或第一相关性表示，左右手碰撞时声音信号能量的数据峰值可以用声音数据的时域特征，或第二相关性来表示。
在一种具体实施方式中，从左手运动数据、右手运动数据和声音数据中提取待识别特征，包括：计算左手运动数据包括的各个轴上的数据的左手特征值，计算右手运动数据包括的各个轴上的数据的右手特征值，将左手特征值和右手特征值确定为左右手运动数据的尖峰特征；从声音数据中提取时域特征，将时域特征确定为双手碰撞时声音数据的尖峰特征。此时将各个轴上的数据的特征值确定为左右手运动数据的尖峰特征，同时将声音数据中的时域特征确定为双手碰撞时声音数据的尖峰特征。此时可以认为两个可穿戴设备只采集得到了一份声音数据，或者两个可穿戴设备各采集得到了一份声音数据。若两个可穿戴设备只采集得到了一份声音数据，则意味着只有一个可穿戴设备采集得到了一份声音数据，此时提取出的时域特征是一个。若两个可穿戴设备各采集得到了一份声音数据，则此时提取出的时域特征是两个。具体请参见下述介绍。左右手佩戴的可穿戴设备中的麦克风可以采集由空气传到麦克风的声音信号，也可以采集由骨传导的声音信号。
其中，若通过第一可穿戴设备采集到双手碰撞时的第一声音数据，通过第二可穿戴设备采集到双手碰撞时的第二声音数据，则从声音数据中提取时域特征，将时域特征确定为双手碰撞时声音数据的尖峰特征，包括：从第一声音数据中提取第一时域特征，从第二声音数据中提取第二时域特征；将第一时域特征和第二时域特征确定为双手碰撞时声音数据的尖峰特征。此时第一可穿戴设备和第二可穿戴设备各采集得到了一份声音数据，共有两份声音数据，因此可以分别进行处理。
时域特征的提取过程具体可以为：将声音数据在时域上进行分段，计算每段声音数据的特征值（即能量值），从而获得包括多个特征值的第一时域特征。当然，还可以提取频域特征，频域特征的具体提取过程可参见时域特征的提取过程，本实施例在此不再赘述。其中，频域特征可以为梅尔频谱倒数（MFCC）。
其中，左手特征值和右手特征值均包括下述任意一种或组合：最大值、最小值、平均值和标准差。当然，左手特征值和右手特征值还可以包括过零率等其他值。若左手运动数据和右手运动数据仅包括三轴加速度数据，且每个轴都对应最大值、最小值、平均值和标准差这4个特征值，则基于左手运动数据或右手运动数据可获得3*4=12个特征值。若第一可穿戴设备和第二可穿戴设备都内置有可以采集三轴加速度数据、三轴角速度数据和三轴方向角数据的惯性传感器，那么左手运动数据和右手运动数据均包括：三轴加速度数据、三轴角速度数据和三轴方向角数据，也就是，左右手运动数据也可以为三轴加速度数据、三轴角速度数据和三轴方向角数据。此时可以采集获得9个轴上的数据，若每个轴都对应最大值、最小值、平均值和标准差这4个特征值，那么基于左手运动数据或右手运动数据可获得9*4=36个特征值。
在一种具体实施方式中，从左手运动数据、右手运动数据和声音数据中提取待识别特征，包括：利用第一相关性公式计算左手运动数据和右手运动数据的第一相关性，并将第一相关性确定为左右手运动数据的尖峰特征；
其中，第一相关性公式为：
Figure 534226DEST_PATH_IMAGE001
其中，
Figure 236734DEST_PATH_IMAGE002
是将左手加速度旋转到右手坐标系后获得的加速度，
Figure 506041DEST_PATH_IMAGE003
是右手加速度，X、Y、Z分别表示X轴、Y轴和Z轴；
其中，
Figure 196655DEST_PATH_IMAGE007
其中，
Figure 918623DEST_PATH_IMAGE008
是左手加速度，
Figure 674089DEST_PATH_IMAGE009
是右手的旋转方向，
Figure 470007DEST_PATH_IMAGE010
是左手的旋转方向，
Figure 551096DEST_PATH_IMAGE011
表示左右手的相对旋转方向。这里旋转方向都是以四元组（Quaternion）的方式表示，四元组以w、x、y、z表示唯一旋转方向，具体可以参见现有技术。第一相关性公式计算的是左右手加速度的相关性。当然，还可以计算左右手角速度数据或方向角数据的相关性，将左右手角速度数据或方向角数据的相关性确定为左右手运动数据的尖峰特征。或者根据左右手加速度的相关性、左右手角速度数据的相关性和左右手方向角数据的相关性确定一个左右手综合相关性，将此左右手综合相关性确定为左右手运动数据的尖峰特征。
同时，若通过第一可穿戴设备采集到双手碰撞时的第一声音数据，通过第二可穿戴设备采集到双手碰撞时的第二声音数据，则利用第二相关性公式计算第一声音数据和第二声音数据的第二相关性，将第二相关性确定为双手碰撞时声音数据的尖峰特征；
其中，第二相关性公式为：
Figure 242584DEST_PATH_IMAGE004
其中，
Figure 5003DEST_PATH_IMAGE005
为第一声音数据在时域上的幅值，
Figure 717744DEST_PATH_IMAGE006
为第二声音数据在时域上的幅值。
当然，还可以计算第一声音数据在频域上的特征值与第二声音数据在频域上的特征值的相关性，并将此相关性确定为双手碰撞时声音数据的尖峰特征。若同时计算出第一声音数据和第二声音数据在频域上的相关性和在时域上的相关性，那么还可以给这两个相关性设置不同的权重值，并基于权重值大小计算二者的综合相关性，将此综合相关性确定为双手碰撞时声音数据的尖峰特征。
在一种具体实施方式中，提取待识别特征之前，还包括：在时间上对齐右手运动数据和左手运动数据，在时间上对齐第一声音数据和第二声音数据。也就是控制右手运动数据和左手运动数据，第一声音数据和第二声音数据是在同一时间段内采集的。
S103、根据待识别特征识别用户当前所做的手势。
S104、触发用户当前所做的手势所控制的操作。
在一种具体实施方式中，根据待识别特征识别用户当前所做的手势之前，还包括：判断待识别特征是否为双手手势特征；若是，则执行根据待识别特征识别用户当前所做的手势的步骤；若否，则确定用户当前所做的手势为自然手势，无实际操作意义，此时退出流程。
其中，判断待识别特征是否为双手手势特征，包括：将待识别特征输入机器学习模型或深度学习网络，输出是否为双手手势特征的结果。当然，也可以设置简单的阈值进行判断。
假设待识别特征包括各个轴上的数据的特征值，如最小值和最大值。此时可以设置最小值和最大值的对应阈值，若最小值低于最小阈值，且最大值高于最大阈值，则认为用户当前所做的手势为双手手势。否则，确定用户当前所做的手势为自然手势。
假设待识别特征包括左手运动数据与右手运动数据的第一相关性，第一声音数据和第二声音数据的第二相关性，此时可以设置相关性阈值，若第一相关性或第二相关性高于相关性阈值，则认为用户当前所做的手势为双手手势。否则，确定用户当前所做的手势为自然手势。第一相关性或第二相关性分别对应的相关性阈值可以相同，也可以不同。
在一种具体实施方式中，根据待识别特征识别用户当前所做的手势，包括：计算待识别特征与每个双手手势特征的相似度，将最大相似度对应的目标双手手势确定为用户当前所做的手势。当然，还可以用机器学习模型或深度学习网络识别待识别特征，从而输出用户当前所做的手势。
需要说明的是，用于控制相应操作的双手手势特征是预设的。假设预设有如图2所示的4种手势，每个手势控制不同的操作。那么预设的双手手势特征就有4组，每组对应一个双手手势。其中，双手手势特征为双手手势的标准特征，每组双手手势特征可以包括左右手运动数据的尖峰特征和双手碰撞时声音数据的尖峰特征。
可见，本实施例利用佩戴于用户左右手上的两个可穿戴设备采集双手碰撞时的左右手运动数据和声音数据，并从中提取出左右手运动数据的尖峰特征和双手碰撞时声音数据的尖峰特征作为待识别特征，然后根据这些特征识别用户当前所做的手势，触发用户当前所做的手势所控制的操作。其中，左手运动数据和右手运动数据均包括三轴加速度数据，且双手碰撞时有较好的触觉反馈，因此可穿戴设备可以采集到双手碰撞时的加速度信号和声音信号，这些特征可以较精准的区分不同手势，能够提高双手手势识别的精度，因此在可穿戴设备上用不同双手手势触发不同操作，可以降低可穿戴设备上的操作误触发，提升触发操作的准确率。
下面对本申请实施例提供的一种操作触发装置进行介绍，下文描述的一种操作触发装置与上文描述的一种操作触发方法可以相互参照。
参见图3所示，本申请实施例公开了一种操作触发装置，包括：
采集模块301，用于通过第一可穿戴设备采集双手碰撞时的左手运动数据，通过第二可穿戴设备采集双手碰撞时的右手运动数据，通过所述第一可穿戴设备和/或所述第二可穿戴设备采集双手碰撞时的声音数据；其中，所述第一可穿戴设备佩戴于用户的左手，所述第二可穿戴设备佩戴于用户的右手；所述左手运动数据包括三轴加速度数据；所述右手运动数据包括三轴加速度数据；
提取模块302，用于从所述左手运动数据、所述右手运动数据和所述声音数据中提取待识别特征；所述待识别特征包括：左右手运动数据的尖峰特征和双手碰撞时声音数据的尖峰特征；
识别模块303，用于根据待识别特征识别用户当前所做的手势；
触发模块304，用于触发用户当前所做的手势所控制的操作。
在一种具体实施方式中，提取模块包括：
运动特征提取单元，用于计算左手运动数据包括的各个轴上的数据的左手特征值，计算右手运动数据包括的各个轴上的数据的右手特征值，将左手特征值和右手特征值确定为左右手运动数据的尖峰特征；
声音特征提取单元，用于从声音数据中提取时域特征，将时域特征确定为双手碰撞时声音数据的尖峰特征。
在一种具体实施方式中，提取模块具体用于：左手运动数据和右手运动数据均包括：三轴加速度数据、三轴角速度数据和三轴方向角数据。
优选地，若通过第一可穿戴设备采集到双手碰撞时的第一声音数据，通过第二可穿戴设备采集到双手碰撞时的第二声音数据，则声音特征提取单元具体用于：
从第一声音数据中提取第一时域特征，从第二声音数据中提取第二时域特征；将第一时域特征和第二时域特征确定为双手碰撞时声音数据的尖峰特征。
在一种具体实施方式中，提取模块包括：
第一相关性计算单元，用于利用第一相关性公式计算左手运动数据和右手运动数据的第一相关性，并将第一相关性确定为左右手运动数据的尖峰特征；
其中，第一相关性公式为：
Figure 704155DEST_PATH_IMAGE012
其中，
Figure 885869DEST_PATH_IMAGE002
是将左手加速度旋转到右手坐标系后获得的加速度，
Figure 733870DEST_PATH_IMAGE003
是右手加速度，X、Y、Z分别表示X轴、Y轴和Z轴；
第二相关性计算单元，用于若通过第一可穿戴设备采集到双手碰撞时的第一声音数据，通过第二可穿戴设备采集到双手碰撞时的第二声音数据，则利用第二相关性公式计算第一声音数据和第二声音数据的第二相关性，将第二相关性确定为双手碰撞时声音数据的尖峰特征；
其中，第二相关性公式为：
Figure 769959DEST_PATH_IMAGE004
其中，
Figure 661692DEST_PATH_IMAGE005
为第一声音数据在时域上的幅值，
Figure 845548DEST_PATH_IMAGE006
为第二声音数据在时域上的幅值。
在一种具体实施方式中，还包括：
判断模块，用于判断待识别特征是否为双手手势特征；若是，则执行根据待识别特征识别用户当前所做的手势的步骤。
在一种具体实施方式中，识别模块具体用于：
计算待识别特征与每个双手手势特征的相似度，将最大相似度对应的目标双手手势确定为用户当前所做的手势。
其中，关于本实施例中各个模块、单元更加具体的工作过程可以参考前述实施例中公开的相应内容，在此不再进行赘述。
可见，本实施例提供了一种操作触发装置，该装置可以精准的区分不同手势，能够提高双手手势识别的精度，因此在可穿戴设备上用不同双手手势触发不同操作，可以降低可穿戴设备上的操作误触发，提升触发操作的准确率。
下面对本申请实施例提供的一种操作触发设备进行介绍，下文描述的一种操作触发设备与上文描述的一种操作触发方法及装置可以相互参照。
参见图4所示，本申请实施例公开了一种操作触发设备，包括：
存储器401，用于保存计算机程序；
处理器402，用于执行所述计算机程序，以实现上述任意实施例公开的方法。
下面对本申请实施例提供的一种可读存储介质进行介绍，下文描述的一种可读存储介质与上文描述的一种操作触发方法、装置及设备可以相互参照。
一种可读存储介质，用于保存计算机程序，其中，所述计算机程序被处理器执行时实现前述实施例公开的操作触发方法。关于该方法的具体步骤可以参考前述实施例中公开的相应内容，在此不再进行赘述。
本申请涉及的“第一”、“第二”、“第三”、“第四”等(如果存在)是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的实施例能够以除了在这里图示或描述的内容以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法或设备固有的其它步骤或单元。
需要说明的是，在本申请中涉及“第一”、“第二”等的描述仅用于描述目的，而不能理解为指示或暗示其相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。另外，各个实施例之间的技术方案可以相互结合，但是必须是以本领域普通技术人员能够实现为基础，当技术方案的结合出现相互矛盾或无法实现时应当认为这种技术方案的结合不存在，也不在本申请要求的保护范围之内。
本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其它实施例的不同之处，各个实施例之间相同或相似部分互相参见即可。
结合本文中所公开的实施例描述的方法或算法的步骤可以直接用硬件、处理器执行的软件模块，或者二者的结合来实施。软件模块可以置于随机存储器（RAM）、内存、只读存储器（ROM）、电可编程ROM、电可擦除可编程ROM、寄存器、硬盘、可移动磁盘、CD-ROM、或技术领域内所公知的任意其它形式的可读存储介质中。
本文中应用了具体个例对本申请的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本申请的方法及其核心思想；同时，对于本领域的一般技术人员，依据本申请的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本申请的限制。

Claims (10)

1.一种操作触发方法，其特征在于，包括：
通过第一可穿戴设备采集双手碰撞时的左手运动数据，通过第二可穿戴设备采集双手碰撞时的右手运动数据，通过所述第一可穿戴设备和/或所述第二可穿戴设备采集双手碰撞时的声音数据；
其中，所述第一可穿戴设备佩戴于用户的左手，所述第二可穿戴设备佩戴于用户的右手；所述左手运动数据包括三轴加速度数据；所述右手运动数据包括三轴加速度数据；
从所述左手运动数据、所述右手运动数据和所述声音数据中提取待识别特征；所述待识别特征包括：左右手运动数据的尖峰特征和双手碰撞时声音数据的尖峰特征；其中，左右手运动数据的尖峰特征具体包括：左手运动数据与右手运动数据的第一相关性；双手碰撞时声音数据的尖峰特征具体包括：双手碰撞时的声音数据的时域特征；
根据所述待识别特征识别用户当前所做的手势；
触发用户当前所做的手势所控制的操作；
其中，利用第一相关性公式计算所述左手运动数据和所述右手运动数据的第一相关性，并将所述第一相关性确定为所述左右手运动数据的尖峰特征；
其中，所述第一相关性公式为：
Figure FDA0003316630140000011
其中，
Figure FDA0003316630140000012
是将左手加速度旋转到右手坐标系后获得的加速度，mR是右手加速度，X、Y、Z分别表示X轴、Y轴和Z轴。
2.根据权利要求1所述的操作触发方法，其特征在于，所述从所述左手运动数据、所述右手运动数据和所述声音数据中提取待识别特征，包括：
计算所述左手运动数据包括的各个轴上的数据的左手特征值，计算所述右手运动数据包括的各个轴上的数据的右手特征值，将所述左手特征值和所述右手特征值确定为所述左右手运动数据的尖峰特征；
从所述声音数据中提取时域特征，将所述时域特征确定为所述双手碰撞时声音数据的尖峰特征。
3.根据权利要求2所述的操作触发方法，其特征在于，所述左手运动数据和所述右手运动数据均包括：三轴加速度数据、三轴角速度数据和三轴方向角数据。
4.根据权利要求2所述的操作触发方法，其特征在于，若通过所述第一可穿戴设备采集到双手碰撞时的第一声音数据，通过所述第二可穿戴设备采集到双手碰撞时的第二声音数据，则所述从所述声音数据中提取时域特征，将所述时域特征确定为所述双手碰撞时声音数据的尖峰特征，包括：
从所述第一声音数据中提取第一时域特征，从所述第二声音数据中提取第二时域特征；
将所述第一时域特征和第二时域特征确定为所述双手碰撞时声音数据的尖峰特征。
5.根据权利要求1所述的操作触发方法，其特征在于，
若通过所述第一可穿戴设备采集到双手碰撞时的第一声音数据，通过所述第二可穿戴设备采集到双手碰撞时的第二声音数据，则利用第二相关性公式计算第一声音数据和第二声音数据的第二相关性，将所述第二相关性确定为所述双手碰撞时声音数据的尖峰特征；
其中，所述第二相关性公式为：
Cor(aL，aR)＝|aL|×|aR|
其中，aL为第一声音数据在时域上的幅值，aR为第二声音数据在时域上的幅值。
6.根据权利要求1至5任一项所述的操作触发方法，其特征在于，所述根据所述待识别特征识别用户当前所做的手势之前，还包括：
判断所述待识别特征是否为双手手势特征；
若是，则执行所述根据所述待识别特征识别用户当前所做的手势的步骤。
7.根据权利要求6所述的操作触发方法，其特征在于，所述根据所述待识别特征识别用户当前所做的手势，包括：
计算所述待识别特征与每个双手手势特征的相似度，将最大相似度对应的目标双手手势确定为用户当前所做的手势。
8.一种操作触发装置，其特征在于，包括：
采集模块，用于通过第一可穿戴设备采集双手碰撞时的左手运动数据，通过第二可穿戴设备采集双手碰撞时的右手运动数据，通过所述第一可穿戴设备和/或所述第二可穿戴设备采集双手碰撞时的声音数据；其中，所述第一可穿戴设备佩戴于用户的左手，所述第二可穿戴设备佩戴于用户的右手；所述左手运动数据包括三轴加速度数据；所述右手运动数据包括三轴加速度数据；
提取模块，用于从所述左手运动数据、所述右手运动数据和所述声音数据中提取待识别特征；所述待识别特征包括：左右手运动数据的尖峰特征和双手碰撞时声音数据的尖峰特征；其中，左右手运动数据的尖峰特征具体包括：左手运动数据与右手运动数据的第一相关性；双手碰撞时声音数据的尖峰特征具体包括：双手碰撞时的声音数据的时域特征；
识别模块，用于根据所述待识别特征识别用户当前所做的手势；
触发模块，用于触发用户当前所做的手势所控制的操作；
其中，利用第一相关性公式计算所述左手运动数据和所述右手运动数据的第一相关性，并将所述第一相关性确定为所述左右手运动数据的尖峰特征；
其中，所述第一相关性公式为：
Figure FDA0003316630140000031
其中，
Figure FDA0003316630140000032
是将左手加速度旋转到右手坐标系后获得的加速度，mR是右手加速度，X、Y、Z分别表示X轴、Y轴和Z轴。
9.一种操作触发设备，其特征在于，包括：
存储器，用于存储计算机程序；
处理器，用于执行所述计算机程序，以实现如权利要求1至7任一项所述的操作触发方法。
10.一种可读存储介质，其特征在于，用于保存计算机程序，其中，所述计算机程序被处理器执行时实现如权利要求1至7任一项所述的操作触发方法。
CN202010387738.3A 2020-05-09 2020-05-09 一种操作触发方法、装置、设备及可读存储介质 Active CN111580660B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010387738.3A CN111580660B (zh) 2020-05-09 2020-05-09 一种操作触发方法、装置、设备及可读存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010387738.3A CN111580660B (zh) 2020-05-09 2020-05-09 一种操作触发方法、装置、设备及可读存储介质

Publications (2)

Publication Number Publication Date
CN111580660A CN111580660A (zh) 2020-08-25
CN111580660B true CN111580660B (zh) 2022-03-18

Family

ID=72123503

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010387738.3A Active CN111580660B (zh) 2020-05-09 2020-05-09 一种操作触发方法、装置、设备及可读存储介质

Country Status (1)

Country Link
CN (1) CN111580660B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114296544A (zh) * 2021-11-15 2022-04-08 北京理工大学 一种基于多通道音频采集装置的手势交互系统及方法
CN116755567A (zh) * 2023-08-21 2023-09-15 北京中科心研科技有限公司 基于姿态数据的设备交互方法、系统、电子设备及介质

Family Cites Families (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
FR2950713A1 (fr) * 2009-09-29 2011-04-01 Movea Sa Systeme et procede de reconnaissance de gestes
CN102184011B (zh) * 2011-05-06 2013-03-27 中国科学院计算技术研究所 一种人机交互设备
US20140309876A1 (en) * 2013-04-15 2014-10-16 Flextronics Ap, Llc Universal vehicle voice command system
CN102915111B (zh) * 2012-04-06 2017-05-31 寇传阳 一种腕上手势操控系统和方法
GB2520069A (en) * 2013-11-08 2015-05-13 Univ Newcastle Identifying a user applying a touch or proximity input
US10146318B2 (en) * 2014-06-13 2018-12-04 Thomas Malzbender Techniques for using gesture recognition to effectuate character selection
US9986086B2 (en) * 2014-07-31 2018-05-29 Samsung Electronics Co., Ltd. Mobile terminal and method of operating the same
WO2016018044A1 (en) * 2014-07-31 2016-02-04 Samsung Electronics Co., Ltd. Wearable device and method of controlling the same
KR101553484B1 (ko) * 2014-09-04 2015-09-16 계명대학교 산학협력단 손동작 인식 장치 및 그 방법
CN105988768B (zh) * 2015-02-06 2021-05-25 电信科学技术研究院 智能设备控制方法、信号获取方法及相关设备
CN106502416B (zh) * 2016-11-09 2019-04-02 华南理工大学广州学院 一种智能识别双手手势的模拟驾驶系统及其控制方法
CN106512391B (zh) * 2016-11-09 2019-07-12 华南理工大学广州学院 一种双手手势识别方法及基于其的模拟驾驶系统、方法
CN107390867B (zh) * 2017-07-12 2019-12-10 武汉大学 一种基于安卓手表的人机交互系统
CN107463326A (zh) * 2017-07-17 2017-12-12 努比亚技术有限公司 一种移动终端触控手势识别方法、移动终端及存储介质
CN107870674B (zh) * 2017-11-30 2021-04-13 维沃移动通信有限公司 一种程序启动方法和移动终端
WO2019126625A1 (en) * 2017-12-22 2019-06-27 Butterfly Network, Inc. Methods and apparatuses for identifying gestures based on ultrasound data
CN110096131B (zh) * 2018-01-29 2021-06-04 华为技术有限公司 触感交互方法、装置、以及触感可穿戴设备
CN110109539A (zh) * 2019-04-02 2019-08-09 努比亚技术有限公司 一种手势控制方法、穿戴式设备及计算机可读存储介质
CN110335456A (zh) * 2019-05-28 2019-10-15 努比亚技术有限公司 可穿戴设备控制方法、可穿戴设备及计算机可读存储介质
CN110502108B (zh) * 2019-07-31 2021-08-17 Oppo广东移动通信有限公司 设备控制方法、装置以及电子设备
CN110784788A (zh) * 2019-09-18 2020-02-11 广东思派康电子科技有限公司 一种基于麦克风实现的手势识别方法
CN110780741B (zh) * 2019-10-28 2022-03-01 Oppo广东移动通信有限公司 模型训练方法、应用运行方法、装置、介质及电子设备

Also Published As

Publication number Publication date
CN111580660A (zh) 2020-08-25

Similar Documents

Publication Publication Date Title
KR100735555B1 (ko) 동작에 따른 기능을 수행하는 장치 및 방법
US7259756B2 (en) Method and apparatus for selecting information in multi-dimensional space
Maiti et al. Smartwatch-based keystroke inference attacks and context-aware protection mechanisms
CN100456213C (zh) 电子设备和用于控制电子设备的方法
CN111580660B (zh) 一种操作触发方法、装置、设备及可读存储介质
CN106055088B (zh) 交互式穿戴式设备的空气书写和手势系统
KR102141288B1 (ko) 홈 트레이닝 제공 방법 및 시스템
US8441442B2 (en) Storage medium with stored code, method, apparatus, and/or system providing gesture recognition including determination of user input movement direction
WO2018161906A1 (zh) 动作识别方法、装置、系统以及存储介质
CN108196668B (zh) 一种便携式手势识别系统及方法
CN103021410A (zh) 信息处理装置、信息处理方法和计算机可读介质
KR101228336B1 (ko) 모바일 단말기의 사용자 행동패턴을 이용하여 개인화 서비스를 제공하는 방법 및 이를 위한 모바일 단말기
Watanabe Influence of holding smart phone for acceleration-based gait authentication
CN105549746B (zh) 一种基于加速度传感芯片的动作识别方法
CN107105092A (zh) 一种基于动态时间规整的人体跌倒识别方法
CN107533371A (zh) 使用影响手势的用户接口控制
CN106055958B (zh) 一种解锁方法及装置
CN108089710A (zh) 一种电子设备控制方法、装置及电子设备
KR101639351B1 (ko) 웨어러블 입력 시스템 및 모션 인식 방법
CN112230779A (zh) 操作响应方法、装置、设备及存储介质
US11262850B2 (en) No-handed smartwatch interaction techniques
JP2022051378A (ja) ノイズ波形除去装置、モデル訓練装置、ノイズ波形除去方法、モデル訓練方法、生成モデル及びウェアラブル機器
CN113542393A (zh) 数据传输方法及装置
CN112863523B (zh) 语音防伪方法、装置、终端设备及存储介质
CN114692691A (zh) 运动状态识别方法、装置、电子设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant