CN107533371A - 使用影响手势的用户接口控制 - Google Patents

使用影响手势的用户接口控制 Download PDF

Info

Publication number
CN107533371A
CN107533371A CN201680023470.7A CN201680023470A CN107533371A CN 107533371 A CN107533371 A CN 107533371A CN 201680023470 A CN201680023470 A CN 201680023470A CN 107533371 A CN107533371 A CN 107533371A
Authority
CN
China
Prior art keywords
value
processor
predefined
gesture
wearable computer
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201680023470.7A
Other languages
English (en)
Inventor
苏梅特·塔达尼
戴维·杰伊
马里纳·萨皮尔
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Samsung Electronics Co Ltd
Original Assignee
Samsung Electronics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Samsung Electronics Co Ltd filed Critical Samsung Electronics Co Ltd
Publication of CN107533371A publication Critical patent/CN107533371A/zh
Pending legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017Gesture based interaction, e.g. based on a set of recognized hand gestures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16Constructional details or arrangements
    • G06F1/1613Constructional details or arrangements for portable computers
    • G06F1/163Wearable computers, e.g. on a belt
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16Constructional details or arrangements
    • G06F1/1613Constructional details or arrangements for portable computers
    • G06F1/1633Constructional details or arrangements of portable computers not specific to the type of enclosures covered by groups G06F1/1615 - G06F1/1626
    • G06F1/1684Constructional details or arrangements related to integrated I/O peripherals not covered by groups G06F1/1635 - G06F1/1675
    • G06F1/1694Constructional details or arrangements related to integrated I/O peripherals not covered by groups G06F1/1635 - G06F1/1675 the I/O peripheral being a single or a set of motion sensors for pointer control or gesture input obtained by sensing movements of the portable computer
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0346Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04MTELEPHONIC COMMUNICATION
    • H04M1/00Substation equipment, e.g. for use by subscribers
    • H04M1/72Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
    • H04M1/724User interfaces specially adapted for cordless or mobile telephones
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04MTELEPHONIC COMMUNICATION
    • H04M2250/00Details of telephonic subscriber devices
    • H04M2250/12Details of telephonic subscriber devices including a sensor for measuring a physical value, e.g. temperature or motion

Abstract

公开了用于处理器的对可穿戴计算机的用户接口或连接到可穿戴计算机的设备进行控制的方法和系统。方法和系统包括:对从可穿戴计算机上的传感器或连接到可穿戴计算机的设备接收的事件进行监测,以及执行机器学习过程以确定所监测到的事件是否是预定义影响手势。在确定监测到的事件是预定义影响手势时,处理器被配置为执行用户接口中与预定义影响手势相对应的预定义响应。

Description

使用影响手势的用户接口控制
技术领域
本公开总体涉及使用影响手势(impact gesture)在处理器型设备中进行媒体控制的领域,并且具体地,涉及用于处理器的使用影响手势来对可穿戴计算机的用户接口或连接到可穿戴计算机的设备进行控制的方法和系统。
背景技术
光学成像方法和系统适用于媒体控制应用,允许用户通过跟踪用户手势来控制媒体。在当前使用的系统的示例中,微软使用光学成像或感测来控制游戏和与游戏相关联的用户接口。
然而,这些系统基于感测远离受试者的受试者手势。大多数光学控制系统不提供在光学感测系统和受试者之间的身体接触。还普遍认识到,受试者和光学感测系统之间需要一定距离,用于在解译用户动作时保持操作的稳定性和可重复性。
在现有系统的另一示例中,一些智能电话被配置成检测其在空间中的取向,并且执行与其任何取向改变相关的动作。这种空间感知允许用户通过简单地把电话翻过来来拒绝电话呼叫。智能电话提供商已经在其电话中展示了具有 接口的这种能力。然而,与其说是对在设备上执行的使得设备执行内部功能的用户手势进行分析,不如说该功能是智能电话对其取向进行感知的功能。
具有作为自身空间感知功能的手势检测能力的设备或接口的另一示例是游戏系统。本质上不是一个监测系统,但被配置为根据所接收到的针对其传感器的触发来执行软件动作。这种触发是应用于手持式控制台的与特定任务有关的预定义运动(例如,在赛车游戏中转动方向盘)。根据所应用的运动,通过监测器来显示反映该动作的对应软件动作。这些系统的问题是,这些系统都不对人的影响手势进行监测,而是在监测设备或游戏系统的大运动。此外,现有系统不适用于影响手势和使用这种手势来对应地控制用户接口。微软Nintendo 和Samsung电话的手势识别处理是不能完全支持使用影响手势的用户接口控制的当前系统的示例。
发明内容
技术方案
在一个方面中,一种用于处理器的对可穿戴计算机的用户接口或连接到可穿戴计算机的设备进行控制的方法,所述方法包括:从一个或多个传感器接收描述三维运动的值的集合;通过所述处理器对所述值的集合的绝对最大值求平均,以定义时间段;通过所述处理器计算与所述时间段内的值的集合中的每一个相对应的统计值的集合;通过所述处理器将所述统计值的集合分类,从而识别对应的影响手势;以及通过所述处理器在所述可穿戴计算机的用户接口或连接到所述可穿戴计算机的设备上发起预定义响应,其中所述预定义响应对应于所述影响手势。
有益效果
本文中提出的实施例是用以解决上述问题的方法和系统,其中现有系统仅监测设备或游戏系统的大运动动作,并且不适用于影响手势和使用这种手势来对应地控制用户接口。
附图说明
被包括为本说明书的一部分的附图示出了本公开的系统和方法的各种实施方式。结合上面给出的总体描述和下面给出的实施方式的详细描述,附图用于说明和教导本系统和方法的原理。
图1示出了根据本发明的方面的用于对可穿戴计算机的用户接口或连接至可穿戴计算机的设备进行控制的具有处理器的系统。
图2示出了根据本发明的方面的在可穿戴计算机中或者在连接至可穿戴计算机的设备中的具有处理器的系统。
图3示出了根据本发明的方面的用于处理器对可穿戴计算机的用户接口或连接至可穿戴计算机的设备进行控制的方法。
图4示出了根据本发明的方面的适用于对可穿戴计算机的用户接口或连接至可穿戴计算机的设备进行控制的周期性时间点。
图5示出了根据本发明的方面的用于处理器对可穿戴计算机的用户接口或连接至可穿戴计算机的设备进行控制的方法。
图6A和图6B示出了根据本发明的方面的适用于对可穿戴计算机的用户接口或连接至可穿戴计算机的设备进行控制的统计特征集合的分类。
具体实施方式
在一个方面中,本发明提供了用于处理器对可穿戴计算机的用户接口或连接到可穿戴计算机的设备进行控制的方法和系统。本方法和系统对从可穿戴计算机的传感器或连接到可穿戴计算机的设备接收到的事件进行监测,提供了用于控制媒体的方法。机器学习过程适用于分析监测到的事件,并且确定监测到的事件是否是预定义影响手势。在确定监测到的事件是预定义影响手势时,处理器被配置为执行用户接口中与预定义影响手势相对应的预定义响应。
在一个方面中,公开了一种用于处理器对可穿戴计算机的用户接口或连接到可穿戴计算机的设备进行控制的方法。所述方法包括:在周期性时间点处实时地从一个或多个传感器接收表征可穿戴计算机的线性加速度、倾斜度和旋转速度的三维值集合。一起选取的周期性时间点一起构成测量时间间隔。处理器被配置为在测量时间间隔期间针对每个周期性时间点计算元加速度值。元加速度值基于三维值集合。通过处理器确定两个不同的静态时间间隔。两个不同的静态时间间隔对应于测量时间间隔期间的两个不同的连续周期性时间点子集。此外,进行确定,使得两个不同子集中的每个时间点处的元加速度值小于预定义阈值。进行第二确定,以定义两个不同的静态时间间隔之间的手势时间间隔。手势时间间隔是通过在与两个不同的静态时间间隔相对应的连续周期性时间点的两个子集之间发生的周期性时间点来定义的。所述处理器计算与手势时间间隔相对应的统计特征集合。统计特征集合基于构成手势时间间隔的每个周期性时间点处的三维值集合。处理器的分类功能使用至少一个判别函数以至少两个维度对每个统计特征集合进行分类,由此识别至少两个对应的分类,以部分地或完全地分隔统计特征集合。分类中的至少一个对应于预定义影响手势。将每个统计特征集合分类为预定义影响手势,使得处理器在可穿戴计算机的用户接口或连接到可穿戴计算机的设备上发起预定义响应。因此,预定义响应对应于预定义影响手势。
在本发明的另一个方面中,公开了一种用于处理器对可穿戴计算机的用户接口或连接到可穿戴计算机的设备进行控制的方法。所述方法包括:从包括加速度计和取向传感器的一个或多个传感器接收包括加速度、倾斜度和旋转速度的三维值集合。每个三维值集合与实时记录的多个时间点中的一个相对应。缓存或存储器可用于存储三维值集合。处理器被配置用于针对每个三维值集合计算元加速度值。此后,处理器的确定功能还确定多个时间点中的至少两个时间点,在所述至少两个时间点处,相应计算出的元加速度值小于三维值集合中的最大元加速度值的预定义百分比。处理器执行第二确定功能,以确定加速度计和取向传感器接收到的至少两个时间点之间的三维值集合在预定事件长度内。然后,处理器计算统计特征集合,其中每个统计特征集合与被确定在预定义事件长度内的每个三维值集合相对应。然后,处理器使用至少一个判别函数在至少两个维度上对每个统计特征集合进行分类,由此识别至少两个对应的分类,以部分地或完全地将统计特征集合分隔。两个分类中的至少一个与预定义影响手势相对应,并且对统计特征集合的分类使得处理器在可穿戴计算机的用户接口或连接到可穿戴计算机的设备上发起预定义响应。因此,预定义响应对应于预定义影响手势。
在一个方面中,一种用于处理器的对可穿戴计算机的用户接口或连接到可穿戴计算机的设备进行控制的方法,所述方法包括:从一个或多个传感器接收描述三维运动的值的集合;通过所述处理器对所述值的集合的绝对最大值求平均,以定义时间段;通过所述处理器计算与所述时间段内的值的集合中的每一个相对应的统计值的集合;通过所述处理器将所述统计值的集合分类,从而识别对应的影响手势;以及通过所述处理器在所述可穿戴计算机的用户接口或连接到所述可穿戴计算机的设备上发起预定义响应,其中所述预定义响应对应于所述影响手势。
值的集合可以实时地描述可穿戴计算机的线性加速度、倾斜度和旋转速度。
接收步骤可以从一个或多个传感器接收被一起选取以形成时间间隔的周期性时间点处的值的集合。
时间段可以是时间间隔中的不同的静态时间间隔之间的时段,并且不同的静态时间间隔可以具有绝对最大值小于预定义阈值的连续时间点的集合。
可以针对不同的静态时间间隔之间的时间点计算统计值集合。
不同的静态时间间隔可以彼此相隔150毫秒。
可以使用至少一个判别函数以至少两个维度执行分类步骤。
可以通过以下操作计算统计值集合:对值的集合中的每一个进行归一化;所述值的集合在要被归一化的每个时间点前后预定数量的时间点内;计算所述时间段内的值的集合的局部极大值和局部极小值。
可以通过以下操作计算统计值集合:对预定义长度的时间点内的值的集合中每一个进行归一化,其中归一化后的三维值不超过预定义归一化阈值;计算在所述时间段内并且可选地在所述预定义归一化阈值内的三维值的局部极大值和局部极小值。
可以通过以下操作计算统计值集合:通过以下步骤对所述时间段内的值的集合中的每一个进行归一化:将所述值的集合中的每一个除以具有相同类型和维度的相邻值的平均值,并且所述相邻值是与所述影响手势相对应的事件的任一侧的相邻的预定义数量个时间点;以及计算所述时间段内的值的集合的局部极大值和局部极小值。
影响手势可以包括打响指、敲扣和手指轻弹。
在一个方面中,一种系统包括:用于对可穿戴计算机用户接口的或连接到可穿戴计算机的设备进行控制的处理器;用于接收描述三维运动的值的集合的一个或多个传感器;用于对所述值的集合的绝对最大值求平均以定义时间段的处理器;用于计算与所述时间段内的值的集合中的每一个相对应的统计值的集合的处理器;用于将所述统计值的集合分类从而识别对应的影响手势的处理器;用户在所述可穿戴计算机的用户接口或连接到所述可穿戴计算机的设备上发起预定义响应的处理器,其中所述预定义响应对应于所述影响手势。
值的集合可以实时地描述可穿戴计算机的线性加速度、倾斜度和旋转速度。
用于接收值的集合的处理器可以被配置为接收在一起被选取以形成时间间隔的周期性时间点处的值的集合。
处理器可以被配置为将时间段定义为时间间隔中的不同的静态时间间隔之间的时段,并且不同的静态时间间隔可以具有绝对最大值小于预定义阈值的连续时间点的集合。
可以针对不同的静态时间间隔之间的时间点计算统计值集合。
不同的静态时间间隔可以彼此相隔150毫秒。
用于分类的处理器可以被配置为使用至少一个判决函数以至少两个维度进行分类。
处理器可以被配置为通过以下操作计算统计值的集合:对值的集合中的每一个进行归一化;所述值的集合在要被归一化的每个时间点前后预定数量的时间点内;计算所述时间段内的值的集合的局部极大值和局部极小值。
处理器可以被配置为通过以下操作计算统计值的集合:对预定义长度的时间点内的值的集合中每一个进行归一化,其中归一化后的三维值不超过预定义归一化阈值;计算在所述时间段内并且可选地在所述预定义归一化阈值内的三维值的局部极大值和局部极小值。
处理器可以被配置为通过以下操作计算统计值的集合:通过以下步骤对所述时间段内的值的集合中的每一个进行归一化:将所述值的集合中的每一个除以具有相同类型和维度的相邻值的平均值,并且所述相邻值是与所述影响手势相对应的事件的任一侧的相邻的预定义数量个时间点;以及计算所述时间段内的值的集合的局部极大值和局部极小值。
影响手势可以包括打响指、敲扣和手指轻弹。
本发明的模式
本申请要求于2015年4月29日提交的美国临时专利申请号62/154,352的优先权,其公开内容通过引用的方式全部并入本文中。
本文中提出的实施例是用以解决上述问题的方法和系统,其中现有系统仅监测设备或游戏系统的大运动动作,并且不适用于影响手势和使用这种手势来对应地控制用户接口。
本发明的实施例通过对来自手腕安装的加速度计和陀螺仪的数据应用机器学习技术来检测手腕和手指的影响手势。这些影响手势可以用于控制安装在手腕上的智能设备或其它连接的设备。具体地,本发明的实施例涉及用于通过影响手势控制可穿戴计算机的用户接口或连接到可穿戴计算机的设备的处理器实现的系统和方法。例如对于控制器的情况,影响手势通常不是在可穿戴计算机上执行的动作,而是由可穿戴计算机监测的独立动作,然后该可穿戴计算机确定该动作与控制可穿戴计算机的特征有关。在示例中,可穿戴计算机可以连接到辅助设备(例如,分离的计算机、显示器或游戏控制器),其中,任何在可穿戴计算机上检测到和分类的影响手势可以被传输,以控制辅助设备上的用户接口。
某些现有技术使用加速度计和陀螺仪来捕获手臂和手的大动作,以发现预定手势。例如当用户轻弹手指或打响指时,本文的系统捕获“影响手势”。这些手势是需要非常高的检测精度的精细手势。现有检测方法监测和检测大运动动作,而本文中的系统着重于检测精细运动动作。
所述方法/系统可以包括一个或多个传感器(例如,加速度计和取向传感器)、缓存组件、陀螺仪和能够进行复杂信号处理的处理器。所述方法或系统通常是在与受试人的手或手腕身体接触的可穿戴计算机上实现的。备选地,如果可穿戴计算机与受试人身体接触,则可穿戴计算机仅是“可穿戴的”,而不固定在受试人身上。因此,在某些示例性实施例中,手持设备可以作为可穿戴计算机。此外,一个或多个手势传感器实时地监测手指和手的影响手势。在某些实现中,本发明考虑使用陀螺仪作为监测手指的一个或多个手势传感器。
缓存组件从一个或多个手势传感器接收与监测到的人的影响手势相对应的电子信号。虽然缓存是具有有限容量的暂时性存储器,但是本领域普通技术人员可以考虑使用通用易失性或非易失性存储器来替代缓存。电子信号通常对应于二进制数据或模拟数据,所述二进制数据或模拟数据可以被转换成用于对可适用的人的手势进行分析的二进制数据。信号处理器耦接到缓存组件,并且执行本公开的信号处理方面。特别地,信号处理器至少被配置为提取电子信号的差异性特征。信号处理器也被配置为如下所述地对所提取的差异性特征执行模式识别。
在一个方面中,模式识别包括将所提取的差异性特征与预定义差异性特征相比较。预定义差异性特征对应于与影响手势相关联的人的手势,影响手势的非限制性示例包括打响指、手指轻弹和敲扣。此外,在一个实施方式中,本发明考虑处理器被配置为使用神经网络、支持向量机和/或其它分类工具来执行模式识别。使用判别分析法来确定预定义差异性特征,用以识别一般手势或手部运动相对应的特征来说是显著的具体特征。本发明的另一方面考虑利用过滤算法将处理器配置为检测和过滤对应于一般手势和手部运动的噪声,这种一般手势和手部动作原本也不是有意的影响手势。例如,如下文进一步详细说明地,应用阈值以使得处理器忽略延续时间在300至400毫秒之间或超过500毫秒的事件。此外,存在阈值限制,以使得处理器仅将落入两个静态时间间隔内的那些传感器组件输出识别为事件。
模式识别处理包括识别对应于所提取的差异性特征的至少一个预定义差异性特征。预定义差异性特征被识别为将用于控制可穿戴计算机或连接到可穿戴计算机的设备的手势运动与随机随意运动相分离的特征,并且在模式识别处理之前通过能够区分两者之间的判别分析功能来确定。信号处理器也被配置用于识别与模式识别处理中识别出的预定义差异性特征相对应的预定义处理器实现的控制功能。然后,信号处理器可以执行用于可穿戴计算机的预定义处理器实现的控制功能中的至少一个,从而通过影响手势控制可穿戴计算机。
本公开考虑将处理器配置为使用神经网络、支持向量机和/或其它分类工具来执行模式识别和智能选择。可穿戴计算机可以包括智能手表、电子手链和智能环。此外,提供给可穿戴计算机的控制特征包括,控制可穿戴计算机105/200的用户接口或连接到可穿戴计算机200的设备240。
图1至图5和图6A至图6B示出了本发明的示例性方面。图1示出了腕表,其是体现本公开的方面的示例性系统。腕表105包括传感器,用以检测手指110产生的影响手势。图2示出了本发明的方框组件200。图3和图5示出了本发明的方法300和500。图4示出了示例性时间段400,在该时间段400期间本发明的系统和方法捕获和分析用于确定影响手势的数据。图6A至图6B示出了可用于部分地或完全地区分统计特征集合的示例性分类。
图2和图3示出了本发明的示例性系统200和示例性方法300。示例性系统包括通过经由计算机可读代码220配置处理器215来执行的功能。在示例性方面中,计算机可读代码220表示处理器固件或软件代码,所述处理器固件或软件代码存储在存储器组件210或225中并且可用于在操作期间配置处理器215。存储器组件210和225是公知组件,包括DRAM、闪存或任何其它合适的易失性或非易失性存储器。计算步骤310生成对应于每个集合的元加速度值。在该上下文中,目标时间点的“元加速度”是指针对预定义数量个时间点收集的线性加速度、倾斜度和旋转速度的所有轴上的绝对最大值的平均值,并且预定义数量个时间点包括目标时间点。例如,当预定义数量个时间点是5个时间点时,时间点包括目标时间点之前的两个时间点、目标时间点之后的两个时间点和目标时间点。此外,绝对最大值是指每个传感器数据(线性加速度、倾斜度和旋转速度)在每个x、y和z轴上的标量最大值。
此外,三维值中的每一个是指由传感器组件205生成的在一个轴或方向上的标量值。通常,传感器组件提供输出,所述输出是与实际标准单位值的因式分解版本相对应的电压范围的标量值。例如,线性加速度以米/秒2为单位;倾斜度以度数为单位,或者备选地,作为加速度因地球重力在固定于可穿戴计算机参照框架中的三维坐标轴上的投影,以米/秒2单位。旋转速度以弧度/秒为单位。然而,每个传感器组件205可以提供表示实际值的分解版本的这些实际标准单位的标量值。在一个示例中,对应于线性加速度、倾斜度和旋转速度的标量值的范围输出在0至10个单位(例如,伏特)的范围内。标量值容易适用于本公开中的处理步骤,但是本领域普通技术人员应当认识到,实际标准单位值也可以用于获得相同结果。具体地,当使用相同的处理步骤时,本领域普通技术人员可以仅考虑任何标准比例值,用以将标量值转换成实际标准单位,然后以绝对标度表示实际标准单位。
图3的块305示出了一个或多个传感器组件205在周期性时间点405(例如,t1至t50)处执行的接收功能。接收功能在周期性时间点405处实时地接收表征可穿戴计算机的线性加速度、倾斜度和旋转速度(统称为图4的y轴分量415)的三维值410的集合。因此,三维值410的每个集合包括三维特征的x、y和z分量。例如,线性加速度可以在三个方向上具有三个不同的值;倾斜度可以类似地具有三个不同的值;并且旋转速度通常具有三个不同的分量值。因此,在时间点处接收到的每个三维值集合中存在9个不同的值。接收功能将处理器215配置为直接从传感器组件205接收,或者指示传感器组件向存储组件210发送三维值集合。此外,一起选取的周期性时间点构成测量时间间隔(例如,t1至t50)。
框310示出了处理器215的计算功能。具体地,计算功能将处理器215配置为在测量时间间隔期间内针对每个周期性时间点405计算元加速度值。每个元加速度值基于从一个或多个传感器组件205接收的对应的三维值集合。
框315示出了传感器215被配置为执行用于确定两个不同的静态时间间隔的确定功能。两个不同的静态时间间隔对应于测量时间间隔t1至t50期间的连续周期性时间点的两个不同子集(例如,t3至t5和t20至t23),在两个不同子集处的每个时间点的元加速度值小于预定义阈值。例如,在图4的图示中,当处理器215确定在时间点t3至t5和t20至t23处的元加速度值小于从时间点t1至t50的所有元加速度值的最大元加速度值的25%时,则将时段t3至t5和t20至t23确定为两个不同的静态时间间隔。
框320示出了处理器215被配置为确定两个不同的静态时间间隔(例如,t3至t5和t20至t23)之间的手势时间间隔(事件)。在本公开的一个方面中,手势时间间隔是通过在与两个不同的静态时间间隔相对应的连续周期性时间点的两个子集之间发生的周期性时间点来定义的。因此,在图4中,示例性手势时间间隔包括表示不同的静态时间间隔t3至t5和t20至t23之间的连续周期性时间点的从t6到t19的所有时间点。
框325示出了处理器215被配置为计算与手势时间间隔(例如,从t6到t19)相对应的统计特征集合。统计特征集合基于构成手势时间间隔(例如,从t6到t19)的每个周期性时间点处的三维值415的集合。
框325示出了处理器215被配置为使用至少一个判决函数在至少两个维度上对每个统计特征集合进行分类。该处理使得能够识别至少两个对应的分类,以部分地或完全地将统计特征集合分隔。图6A至图6B示出了分类处理600A至600B,其中,分类边界610和630用于对统计特征605、615、620和625进行分类。虽然边界被示出为实线,但本领域普通技术人员应当理解,边界是使用数学等式中每个统计特征的值解析出或求出的数学等式的虚拟等同物。例如,分类处理600A通常表示支持向量机(SVM)分类,其中边界610是定义统计特征的类型之间的明确间隙的超平面。每个区域605或615对应于与至少一个预定义手势相关的统计特征的分类。因此,如本文中所使用的,边界或分类是指可以针对统计特征实现的虚拟分隔(开口或关闭)。此外,两个分类中的至少一个分类对应于至少一个预定义影响手势。统计特征集合的分类使得处理器215在连接到处理器215的可穿戴设备105/200或连接设备240的用户接口230上发起预定义响应。预定义响应对应于通过本文中的分类处理识别出的预定义影响手势。
连接设备240可以是与可穿戴计算机200类似的基于处理器的设备,但是可以是移动或固定的,和/或有源或无源设备(例如,电视、监测器、个人计算机、智能家电、手机或通过物联网(IoT)连接的任何其它设备)。可穿戴计算机包括收发机组件235,所述收发机组件235用于与连接设备240中的类似的收发机组件进行通信。因此,可穿戴计算机200上的影响手势被简化为可穿戴计算机200的用户接口230中的事件,和/或可以经由收发机/发射机组件235被发送到连接设备240。在备选实施例中,收发机/发射机组件235和连接设备240被配置为使用WiFi、蓝牙、红外线、蜂窝无线(例如,3G、4G等)或有线以太网进行通信。作为影响手势的结果,用户接口事件可以是特征的选择、振动响应、对数据项的菜单的请求等。
示例
在示例性应用中,可穿戴智能表是具有用以对可穿戴计算机的用户接口或连接到可穿戴计算机的设备进行控制的处理器的系统,如图1所示。智能表中的一个或多个传感器可以包括用于接收包括加速度、倾斜度和旋转速度的三维值集合的加速度计和取向传感器。在一个示例中,三维值的每个集合实时对应于多个时间点中的一个。在另一示例中,三维值集合包括三维的加速度值、三维的倾斜度值和三维的旋转速度值。
智能表中的缓存或存储器可操作地连接至处理器,用以存储三维值集合中的每一个。处理器被配置为针对三维值集合中的每一个计算元加速度值。处理器可以调用软件代码来执行处理器的计算,或者可以包括用于更快处理的嵌入式机器代码。处理器还确定多个时间点中的至少两个时间点,在所述至少两个时间点处,相应计算出的元加速度值小于三维值集合中的最大元加速度值的预定义百分比。
在本公开的实施方式中,处理器通过在传感器组件每150毫秒激活时的时间点处执行确定,来确定所计算出的元加速度值小于最大元加速度值的预定义百分比。
在另一实施方式中,元加速值被计算为:(a)针对每个三维值集合,三维加速度值中的绝对最大值的平均值;(b)针对每个三维值集合,三维倾斜度值中的绝对最大值的平均值;(c)针对每个三维值集合,三维旋转速度值中的绝对最大值的平均值。
在本发明的又一实施方式中,最大元加速度值的预定义百分比是25%,并且相应的元加速度值小于25%的至少两个时间点表示三维值集合中的平静时段。在备选实现中,最大元加速度值的预定义百分比在约25%至约35%之间或约35%至约49%之间。
在示例中,每个时间点与如下所述时间点相对应,所述时间点从开始时间可选地变化,并且处于距开始时间20至30毫秒之间;处于距开始时间30至40毫秒之间;处于距开始时间40至50毫秒之间;处于距开始时间50毫秒至60毫秒之间;处于距开始时间60至70毫秒之间;处于距开始时间70至80毫秒之间;处于距开始时间80至90毫秒之间;或处于距开始时间90至100毫秒之间。在另一实施方式中,开始时间是一个或多个传感器开始收集数据的时间。
处理器也被配置用于确定至少两个时间点之间的三维值集合何时被加速度计和取向传感器以预定义事件长度来接收。在某些实施方式中,预定义事件长度是5至50毫秒、50至100毫秒、100至200毫秒、200至300毫秒、或400至500毫秒。然后,处理器计算统计特征集合,其中每个统计特征集合与被确定在预定义事件长度内的每个三维值集合相对应。然后,处理器使用至少一个判别函数在至少两个维度上对每个统计特征集合进行分类,由此识别至少两个对应的分类,以部分地或完全地将统计特征集合分隔。
通过两个分类中的至少一个分类,处理器确定该分类对应于预定义影响手势。对统计特征集合的分类使得处理器在可穿戴计算机的用户接口或连接到可穿戴计算机的设备上发起预定义响应。因此,预定义响应对应于预定义影响手势。
在一个示例中,处理器在以上处理之前或之后的另一步骤或功能可以包括对表示与预定义影响手势不同的手势的无关事件进行过滤。根据本发明的一个方面,用于对与预定义影响手势不同的无关事件进行过滤的处理器可以通过忽略具有300至400毫秒之间的事件长度的那些事件来执行过滤。
在本发明的另一方面中,用于计算统计特征集合的处理器被配置为对预定义长度时间点内的三维值集合中的每个三维值执行归一化函数。在归一化之后,处理器计算在预定义事件长度内的三维值的局部极大值和局部极小值。计算出的极大值和极小值形成统计特征集合。
在本发明的另一方面中,用于计算统计特征集合的处理器被配置为对处于如下时间点内的三维值集合中的每个三维值执行归一化函数,所述时间点为要被归一化的每个时间点前后的20个时间点、25个时间点、30个时间点、或35个时间点。在归一化之后,处理器计算在预定义事件长度内的三维值的局部极大值和局部极小值。如上述示例中,所计算出的极大值和极小值形成统计特征集合。
本发明的另一示例利用预定义归一化阈值。这里,用于计算统计特征集合的处理器被配置为对预定义长度时间点内的三维值集合中的每个三维值执行归一化函数。然后,使得归一化后的三维值不超过从0.2至0.5的预定义归一化阈值。处理器计算在预定义事件长度内并且可选地在预定义归一化阈值内的三维值的局部极大值和局部极小值,并且相应地定义统计特征集合。
在用于计算统计特征集合的又一示例中,对在预定义长度时间点内的三维值集合中的每个三维值执行归一化。在该示例中,执行附加的除法函数,将每个三维值除以具有相同类型和维度的相邻值的平均值,并且所述相邻值是与预定义影响手势相对应的事件的任一侧的相邻的预定义数量个时间点。在此之后,对在预定义事件长度内的三维值的局部极大值和局部极小值应用计算函数。
在备选示例中,前述示例的除法函数可以替代地执行将每个三维值除以具有相同类型和维度的相邻值的平均值,并且所述相邻值是对应于预定义影响手势的事件的任一侧的相邻的20、25、30或35个时间点。在除法之后,如上所述地对统计特征集合执行计算。
统计特征集合可以包括一个或多个不同类型的特征。例如,统计特征集合可以包括:(1)预定义事件长度中的三维值集合的三个维度之一的归一化加速度值的曲线的峰值;(2)在预定义事件长度内的值;(3)预定义事件长度中的三维值集合的三个维度之一的归一化加速度值的曲线的第一部分的峰值;(4)预定义事件长度中的三维值集合的三个维度之一的归一化加速度值的第二曲线的第二部分的峰值;(5)根据如下(a)和(b)相除而获得的商或余数,其中:(a)预定义事件长度中的三维值集合的三个维度之一的加速度值的绝对差的平均值,并且(b)预定义事件长度中的三维值集合的三个维度之一的加速度值的绝对差的平均值,并且包括与预定义影响手势相对应的事件的任一侧相邻的预定义数量个时间点;(6)根据如下(a)和(b)相除而获得的商或余数,其中:(a)预定义事件长度中的三维值集合的三个维度之一的加速度值的绝对值的平均值,并且(b)预定义事件长度中的三维值集合的三个维度之一的加速度值的绝对值的平均值,并且包括与预定义影响手势相对应的事件的任一侧相邻的预定义数量个时间点;(7)根据如下(a)和(b)相除而获得的商或余数,其中:(a)预定义事件长度中的三维值集合的三个维度之一的旋转速度值的绝对值的平均值,并且(b)预定义事件长度中的三维值集合的三个维度之一的旋转速度值的绝对值的平均值,并且包括与预定义影响手势相对应的事件的任一侧相邻的预定义数量个时间点;8)根据如下(a)和(b)相除而获得的商或余数,其中:(a)预定义事件长度中的加速度值的最大值和最小值,并且(b)预定义事件长度中的三维值集合的三个维度之一的加速度值的最大值和最小值,并且包括与预定义影响手势相对应的事件的任一侧相邻的预定义数量个时间点;9)三个维度之一的旋转速度值的局部极大值和局部极小值的数量的计算值;10)根据如下(a)和(b)相除而获得的商或余数,其中:(a)与预定义影响手势相对应的事件的元加速度的最大值,并且(b)事件的元加速度的平均值,并且包括与事件任一侧相邻的预定义数量个时间点;10)根据如下(a)和(b)相除而获得的商或余数,其中:(a)与预定义影响手势相对应的事件的元加速度的平均值,并且(b)事件的元加速度的最大值,并且包括与事件的任一侧相邻的预定义数量个时间点;以及11)与预定义影响手势相对应的事件的持续时间值。
先前提出的实施方式中所描述的示例性方法和动作是说明性的,并且在备选实施方式中,可以以不同的顺序、彼此并行地、完全省略、和/或在不同的示例性实现之间组合的方式来执行某些动作,和/或可以不脱离本公开的范围和精神的情况下执行某些附加动作。因此,这些备选实施方式包括在本文所述的公开内容中。
示例性实施方式可以与执行上述方法和处理功能的计算机硬件和软件一起使用。示例性计算机硬件包括智能电话、平板计算机、笔记本、记事本设备、个人计算机、个人数字助理和具有处理器和存储器区域的任何计算设备。如本领域普通技术人员将理解的,本文描述的系统、方法和处理可以体现在可编程计算机、计算机可执行软件或数字电路中。软件可以存储在计算机可读介质上。例如,出于简化本公开的目的,“计算机可读代码”、“软件应用”、“软件模块”、“脚本”和“计算机软件代码”是可互换使用的软件代码。此外,“存储产品”、“存储器”、“计算机可读代码产品”和储存器可以包括诸如软盘、RAM、ROM、硬盘、可移动介质、闪存、记忆棒、光学介质、磁光介质、CD-ROM等的介质。
虽然上面已经详细描述了具体的实施方式,但是描述仅仅是出于说明的目的。因此,应当理解,除非另有明确说明,否则上述许多方面不旨在作为必需或必要的要素。除了上述示例性实现之外,在不脱离在所附权利要求限定的本公开的精神和范围的情况下,受益于本公开的本领域普通技术人员可以对与示例性实施方式的公开方面进行各种相对应的修改和等效操作,本公开的范围应得到最广泛的解释,以便包含这些修改和等效结构。

Claims (15)

1.一种用于处理器的对可穿戴计算机的用户接口或连接至所述可穿戴计算机的设备进行控制的方法,所述用于处理器的方法包括:
从一个或多个传感器接收描述三维运动的值的集合;
由所述处理器对所述值的集合的绝对最大值求平均,以定义时间段;
由所述处理器计算与所述时间段内的值的集合中的每一个相对应的统计值的集合;
由所述处理器将所述统计值的集合分类,从而识别对应的影响手势;以及
由所述处理器在所述可穿戴计算机的用户接口或连接到所述可穿戴计算机的设备上发起预定义响应,其中所述预定义响应对应于所述影响手势。
2.根据权利要求1所述的方法,其中,所述值的集合实时地描述所述可穿戴计算机的线性加速度、倾斜度和旋转速度。
3.根据权利要求1所述的方法,其中,所述接收步骤从一个或多个传感器接收在被一起选取以形成时间间隔的周期性时间点处的值的集合。
4.根据权利要求3所述的方法,其中,所述时间段是所述时间间隔中的不同的静态时间间隔之间的时段,并且所述不同的静态时间间隔具有连续时间点的集合,所述连续时间点的集合的绝对最大值小于预定义阈值。
5.根据权利要求4所述的方法,其中,针对所述不同的静态时间间隔之间的时间点计算所述统计值的集合。
6.根据权利要求4所述的方法,其中,所述不同的静态时间间隔彼此相隔150毫秒。
7.根据权利要求1所述的方法,其中,所述分类步骤是使用至少一个判别函数在至少二个维度上执行的。
8.根据权利要求1所述的方法,其中,所述统计值的集合通过以下步骤来计算:
对值的集合中的每一个进行归一化;
所述值的集合在要被归一化的每个时间点前后预定数量的时间点内;以及
计算所述时间段内的值的集合的局部极大值和局部极小值。
9.根据权利要求1所述的方法,其中,所述统计值的集合通过以下步骤来计算:
对预定义长度的时间点内的值的集合中每一个进行归一化,其中归一化后的三维值不超过预定义归一化阈值;以及
计算在所述时间段内并且可选地在所述预定义归一化阈值内的三维值的局部极大值和局部极小值。
10.根据权利要求1所述的方法,其中,所述统计值的集合通过以下步骤来计算:
通过以下步骤对所述时间段内的值的集合中的每一个进行归一化:
将所述值的集合中的每一个除以具有相同类型和维度的相邻值的平均值,并且所述相邻值是与所述影响手势相对应的事件的任一侧的相邻的预定义数量个时间点,以及
计算所述时间段内的值的集合的局部极大值和局部极小值。
11.根据权利要求1所述的方法,其中,所述影响手势包括打响指、敲扣和手指轻弹。
12.一种系统,包括:
用于对可穿戴计算机用户接口的或连接到可穿戴计算机的设备进行控制的处理器;
用于接收描述三维运动的值的集合的一个或多个传感器;
用于对所述值的集合的绝对最大值求平均以定义时间段的处理器;
用于计算与所述时间段内的值的集合中的每一个相对应的统计值的集合的处理器;
用于将所述统计值的集合分类从而识别对应的影响手势的处理器;以及
用于在所述可穿戴计算机的用户接口或连接到所述可穿戴计算机的设备上发起预定义响应的处理器,其中所述预定义响应对应于所述影响手势。
13.根据权利要求12所述的系统,其中,所述值的集合实时地描述所述可穿戴计算机的线性加速度、倾斜度和旋转速度。
14.根据权利要求12所述的系统,其中,所述用于接收值的集合的处理器被配置为接收在被一起选取以形成时间间隔的周期性时间点处的值的集合。
15.根据权利要求14所述的系统,其中,所述处理器被配置为将所述时间段定义所述时间间隔中的不同的静态时间间隔之间的时段,并且所述不同的静态时间间隔具有连续时间点的集合,所述连续时间点的集合的绝对最大值小于预定义阈值。
CN201680023470.7A 2015-04-29 2016-04-28 使用影响手势的用户接口控制 Pending CN107533371A (zh)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201562154352P 2015-04-29 2015-04-29
US62/154,352 2015-04-29
US15/138,393 US20160320850A1 (en) 2015-04-29 2016-04-26 User interface control using impact gestures
US15/138,393 2016-04-26
PCT/KR2016/004464 WO2016175579A1 (en) 2015-04-29 2016-04-28 User interface control using impact gestures

Publications (1)

Publication Number Publication Date
CN107533371A true CN107533371A (zh) 2018-01-02

Family

ID=57198620

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201680023470.7A Pending CN107533371A (zh) 2015-04-29 2016-04-28 使用影响手势的用户接口控制

Country Status (4)

Country Link
US (1) US20160320850A1 (zh)
EP (1) EP3289435B1 (zh)
CN (1) CN107533371A (zh)
WO (1) WO2016175579A1 (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10234941B2 (en) 2012-10-04 2019-03-19 Microsoft Technology Licensing, Llc Wearable sensor for tracking articulated body-parts
US20170010695A1 (en) * 2015-07-09 2017-01-12 Microsoft Technology Licensing, Llc Enhanced multi-touch input detection
CN114564143A (zh) * 2015-10-14 2022-05-31 麦克赛尔株式会社 终端装置
WO2019050223A1 (en) 2017-09-05 2019-03-14 Samsung Electronics Co., Ltd. ACCESSING DATA ELEMENTS ON A COMPUTER DEVICE
CN108900698A (zh) * 2018-05-31 2018-11-27 努比亚技术有限公司 控制终端的方法、可穿戴设备、终端及计算机存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130234924A1 (en) * 2012-03-07 2013-09-12 Motorola Mobility, Inc. Portable Electronic Device and Method for Controlling Operation Thereof Based on User Motion
CN103941860A (zh) * 2014-03-31 2014-07-23 天津三星通信技术研究有限公司 腕带型便携式终端的手势识别系统及其方法
CN103984416A (zh) * 2014-06-10 2014-08-13 北京邮电大学 一种基于加速度传感器的手势识别方法
CN104484644A (zh) * 2014-11-06 2015-04-01 三星电子(中国)研发中心 一种手势识别方法和装置

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2003071410A2 (en) * 2002-02-15 2003-08-28 Canesta, Inc. Gesture recognition system using depth perceptive sensors
US8289162B2 (en) * 2008-12-22 2012-10-16 Wimm Labs, Inc. Gesture-based user interface for a wearable portable device
US9024865B2 (en) * 2009-07-23 2015-05-05 Qualcomm Incorporated Method and apparatus for controlling mobile and consumer electronic devices
US9442100B2 (en) * 2013-12-18 2016-09-13 Medibotics Llc Caloric intake measuring system using spectroscopic and 3D imaging analysis
US20140180595A1 (en) * 2012-12-26 2014-06-26 Fitbit, Inc. Device state dependent user interface management
US9081417B2 (en) * 2012-11-30 2015-07-14 Blackberry Limited Method and device for identifying contactless gestures
CN105190578A (zh) * 2013-02-22 2015-12-23 赛尔米克实验室公司 用于基于手势控制的组合肌肉活动传感器信号和惯性传感器信号的方法和设备
US20140267024A1 (en) * 2013-03-15 2014-09-18 Eric Jeffrey Keller Computing interface system
US9372103B2 (en) * 2013-07-12 2016-06-21 Facebook, Inc. Calibration of grab detection
US9367139B2 (en) * 2013-12-12 2016-06-14 Thalmic Labs Inc. Systems, articles, and methods for gesture identification in wearable electromyography devices

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130234924A1 (en) * 2012-03-07 2013-09-12 Motorola Mobility, Inc. Portable Electronic Device and Method for Controlling Operation Thereof Based on User Motion
CN103941860A (zh) * 2014-03-31 2014-07-23 天津三星通信技术研究有限公司 腕带型便携式终端的手势识别系统及其方法
CN103984416A (zh) * 2014-06-10 2014-08-13 北京邮电大学 一种基于加速度传感器的手势识别方法
CN104484644A (zh) * 2014-11-06 2015-04-01 三星电子(中国)研发中心 一种手势识别方法和装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
代宏斌: "基于加速度传感器的手势识别", <<中国优秀硕士学位论文全文数据库信息科技辑>> *

Also Published As

Publication number Publication date
EP3289435A4 (en) 2018-04-18
WO2016175579A1 (en) 2016-11-03
EP3289435A1 (en) 2018-03-07
US20160320850A1 (en) 2016-11-03
EP3289435B1 (en) 2019-11-20

Similar Documents

Publication Publication Date Title
Shen et al. Performance evaluation of implicit smartphones authentication via sensor-behavior analysis
CN107533371A (zh) 使用影响手势的用户接口控制
US9459698B2 (en) Gesture based power management system and method
CN109737952B (zh) 跳绳数据处理方法、装置及可穿戴设备
EP2816450B1 (en) Information processing apparatus, and information processing method
US20110043475A1 (en) Method and system of identifying a user of a handheld device
US20160026261A1 (en) Machine-learning based tap detection
CN108196668B (zh) 一种便携式手势识别系统及方法
US9081417B2 (en) Method and device for identifying contactless gestures
CN103270522A (zh) 用于监测生命体征的姿势控制
Ayu et al. Recognizing user activity based on accelerometer data from a mobile phone
EP3315914B1 (en) Step counting method, device and terminal
EP3732871B1 (en) Detecting patterns and behavior to prevent a mobile terminal drop event
KR101228336B1 (ko) 모바일 단말기의 사용자 행동패턴을 이용하여 개인화 서비스를 제공하는 방법 및 이를 위한 모바일 단말기
CN111145891A (zh) 信息处理方法、装置及电子设备
CN110072010B (zh) 一种跌落检测方法及终端设备
Adaskevicius Method for recognition of the physical activity of human being using a wearable accelerometer
Iyer et al. Generalized hand gesture recognition for wearable devices in IoT: Application and implementation challenges
WO2018014432A1 (zh) 语音应用触发控制方法、装置及终端
CN108491074B (zh) 电子装置、运动辅助方法及相关产品
CN108307054B (zh) 跌落信息的检测方法及相关产品
Zhu et al. RFMonitor: Monitoring smoking behavior of minors using COTS RFID devices
CN114264365A (zh) 风噪检测方法、装置、终端设备及存储介质
Alman et al. Pattern recognition of human activity based on smartphone data sensors using SVM multiclass
CN108399085B (zh) 电子装置、应用管理方法及相关产品

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20180102

WD01 Invention patent application deemed withdrawn after publication