CN111796666A - 使用应变仪的表边框上的手势识别 - Google Patents

Abstract

该技术为电子设备提供了手势检测。在这方面，该设备可以包括外壳和沿着外壳的内周边定位的一个或多个传感器。传感器可以适于检测用户与外壳外表面的交互。该设备还可以包括与多个传感器通信的一个或多个处理器。一个或多个处理器可以被配置为确定用户交互并基于检测到的用户交互来确定手势的类型，基于所确定的手势来确定输入命令的类型，并执行与所确定的输入命令的类型相对应的任务。

Description

使用应变仪的表边框上的手势识别

相关申请的交叉引用

本申请要求2019年4月2日提交的美国临时专利申请号62,828,123和2020年3月16日提交的美国非临时专利申请号16/819,738的权益，其公开内容通过引用结合于此。

技术领域

本申请涉及使用应变仪的表边框上的手势识别。

背景技术

小形状因子电子设备，诸如移动电话、可穿戴电子设备等，通常具有一种或多种类型的输入。这种传统输入的示例包括电容式触摸屏、推动按钮、旋转滚动按钮(例如，智能手表的表冠)和电容式触摸边缘。

电容式触摸屏有利于与电子设备的许多交互。然而，一些小尺寸的设备，诸如智能手表，需要小屏幕。当触摸设备时，如此小的屏幕上的内容很容易变得模糊，因为用户看不到他们正在选择或滚动的内容，使得精确选择和滚动变得困难。

如今，旋转滚动按钮被用于在许多智能手表上滚动，并且相当有效。然而，它们需要一个相当复杂的机械结构和非常小的移动部件。它们还需要防水。一些使用者诸如出于美观的原因可能更喜欢移除表冠。

发明内容

本公开通过与外壳的一部分(诸如外边缘)交互来实现对电子设备的输入。例如，用户可以按压、滑动、敲击、挤压或以其他方式与外壳的表面交互，以触发来自电子设备的特定响应，诸如显示特定输出、改变模式、调节音量、开灯、阅读文本、更新设置(例如，时钟、闹钟等)或任何其他类型的功能。

本公开的一个方面提供了一种电子设备，包括外壳、沿着外壳的内周边定位的一个或多个传感器、以及与一个或多个传感器通信的一个或多个处理器。一个或多个处理器可以被配置为使用由一个或多个传感器检测到的信息来确定与外壳的外表面的用户交互，基于检测到的用户交互来确定手势的类型，基于所确定的手势来确定输入命令的类型，并且执行与所确定的输入命令的类型相对应的任务。

根据一些示例，一个或多个传感器包括应变仪传感器(strain gauge sensor)。例如，它们可以是以惠斯通电桥(Wheatstone bridge)配置来布置的应变元件。一个或多个传感器可以是沿着外壳的内周边间隔开的多个传感器。外壳的内周边可以相对于外壳的外周边成角度。

本公开的另一方面提供了一种检测对电子设备的输入的方法。该方法包括由一个或多个处理器从一个或多个传感器接收和与电子设备的外壳的交互相关的传感器数据，由一个或多个处理器基于传感器数据来确定手势的类型，由一个或多个处理器基于手势的类型来确定用户命令的类型，以及由一个或多个处理器基于输入命令的类型来执行与用户命令相对应的动作。

根据一些示例，该方法可以还包括由一个或多个处理器基于传感器数据确定在外壳上施加力的一个或多个位置，其中还基于在外壳上施加力的位置确定手势的类型。在一些示例中，该方法可以还包括由一个或多个处理器基于传感器数据确定施加力的方向，其中确定手势的类型还基于施加力的方向。在一些示例中，该方法可以还包括由一个或多个处理器基于传感器数据确定施加力的速度，其中确定手势的类型还基于施加力的速度。在一些示例中，该方法可以还包括由一个或多个处理器基于传感器数据来确定施加力的持续时间，其中确定手势的类型还基于施加力的持续时间。在一些示例中，该方法可以还包括由一个或多个处理器基于传感器数据确定力是否在预定时间段内被连续施加，其中确定手势的类型还基于力是否在预定时间段内被连续施加。

该方法还可以包括由一个或多个处理器将在一系列时间点处从传感器中的至少两个传感器接收的传感器数据融合成组合的传感器数据流，该组合的传感器数据流在每个时间点包括至少两个数据点。此外，它可以包括由一个或多个处理器将融合的传感器数据与至少两个传感器的模型相关，并且由一个或多个处理器基于该相关来估计包括检测到施加的力的一个或多个位置的手势的属性。属性还包括在一个或多个位置处检测到的施加的力的大小。

该方法还可以包括由一个或多个处理器设置传感器的第一采样率，以及由一个或多个处理器对从传感器接收的传感器数据应用过滤器，用于检测力是否满足阈值。该方法还可以包括由一个或多个处理器确定所过滤的传感器数据指示力满足阈值，由一个或多个处理器基于力满足阈值来确定对用户的手势的检测，以及由一个或多个处理器设置传感器的第二采样率，第二采样率高于第一采样率。

本公开的又一方面提供了一种确定电子设备的手势输入的方法。该方法包括：从一个或多个传感器接收和与电子设备的外壳的交互相关的传感器数据，该传感器数据包括多个数据点；利用一个或多个处理器将多个数据点与传感器响应的模型进行比较；利用一个或多个处理器基于该比较导出其中数据点与模型对齐的参数；以及利用一个或多个处理器基于导出的参数确定手势。每个数据点可以对应于来自独立传感器的信息。该模型可以包括多个曲线，每个曲线与独立传感器之一相对应。该参数可以包括位置、施加的力的级别或速度中的至少一个。

附图说明

图1A-图1I是示出根据本公开各方面的示例手势和示例用户输入的示意图。

图2A-图2C是示出根据本公开各方面的各种类型的电子设备中的示例传感器布置的示意图。

图2D-图2E是根据本公开各方面的示例外壳的透视图。

图3是示出根据本公开各方面的使用应变仪的示例传感器的框图。

图4示出了根据本公开各方面的指示传感器响应与输入的位置的关系的传感器数据的示例图。

图5示出了根据本公开各方面的指示敲击手势的传感器数据的示例图。

图6示出了根据本公开各方面的指示滑动手势的传感器数据的示例图。

图7示出了根据本公开各方面的传感器数据模型的示例图。

图8A-图8E示出了根据本公开各方面的估计手势输入的位置的示例。

图9是示出根据本公开各方面的示例信号处理的框图。

图10是示出根据本公开各方面的示例软件体系结构的框图。

图11是示出根据本公开各方面的示例系统的框图。

图12是根据本公开各方面的示例流程图。

具体实施方式

本公开通过与外壳的一部分(诸如外边缘)交互来实现对电子设备的输入。例如，用户可以按压、滑动、敲击、挤压或以其他方式与外壳的表面交互。这种交互被检测到，诸如由外壳内的、耦合到一个或多个处理器的一个或多个传感器检测到。确定交互或手势的类型，并且还确定与交互的类型相对应的命令或动作或请求。因此，设备可以通过执行响应于输入命令的功能来做出反应，诸如显示特定输出、改变模式、调节音量、开灯、阅读文本、更新设置(例如，时钟、闹钟等)或任何其他类型的功能。

该系统和方法是有益的，因为它们能够对电子设备，特别是小形状因子电子设备进行精确输入。系统中的传感器可以被配置为检测手势中的细微差异，诸如方向、位置、力、速度、时间等。此外，通过设置使用低功率处理器和低采样率的低功率模式，设备可以被配置为节省能量。因此，因为用户可以更容易地输入，并且错误更少，所以用户体验得到了改善。此外，系统中的传感器可以在产品设计中提供灵活性，诸如可以提供更好的美学、机械和其他属性的材料选择。

图1A-图1I是示出电子设备的示例手势和示例用户输入的示意图。虽然在这些示例中，电子设备是智能手表，但是应当理解，输入手势可以应用于各种类型的电子设备中的任何一种。例如，电子设备可以是移动电话、智能手表、耳塞、增强现实或虚拟现实耳机、智能眼镜、智能摩托车头盔等。

参考图1A，示出了电子设备100。外壳110可以由许多材料中的任何一种制成，诸如金属、塑料、陶瓷、木材等。在一些情况下，外壳110可以由不可渗透的材料(例如防水的)制成，使得外壳110内部的组件可以被保护免受环境损害。

该设备可以被配置为执行许多功能中的任何一种，诸如向用户生成输出，诸如显示器上的信息和图形、扬声器的音频等。例如，如图所示，设备100可以在扬声器上播放歌曲，并生成关于该歌曲的信息的显示。设备100还可以接收用户输入，诸如通过按钮、键盘、触摸屏、麦克风、传感器等。特别地，设备100可以被配备有检测用户手势的能力，诸如用户的手150的手势。例如，设备100可以被配置为检测在设备100的外壳110上施加力的一个或多个手势。基于对用户的输入的检测，设备100可以确定用户命令。例如，基于手150的手势，设备100可以确定用户命令是暂停歌曲、快进到歌曲或者倒回前一首歌曲等。

图1B-图1D示出了示例滑移手势，其中用户将手指从外壳的第一部分滑移到第二部分。在该特定示例中，滑移手势导致正在播放的歌曲的音量级别降低。例如，音量级别122在图1B中显示为第一级别。当用户沿着外壳110滑移其手指时，音量级别降低，如图1C所示。当用户继续滑移，音量进一步降低，如图1D所示。在相反方向上滑移户的手指可以相反地导致电子设备100增加音量。其他类型的手势可以导致来自电子设备的不同响应，诸如快进正在播放的歌曲、或者跳到下一首歌曲、倒回正在播放的歌曲、或者跳到前一首歌曲。

在不同模式下，滑移手势可以对应于不同的输入命令，从而触发不同的动作。例如，滑移手势可以触发多种动作中的任何一种，诸如调节显示器的亮度级别、调整节时间设置、滚动内容等。

还应该理解，许多不同手势中的任何一种也是可能的。例如，图1E-图1G示出了示例滑动手势。在该示例中，滑动手势用于改变电子设备的模式。在图1E中，电子设备处于第一模式，模式A。例如，如图所示，操作的第一模式可以是显示时间。用户的手指在外壳110的表面上刷动的第一滑动手势164导致电子设备切换到第二模式，即图1F中的模式B。例如，如图所示，操作的第二模式可以是显示用户的心率。类似的滑动手势166进一步导致电子设备切换到第三模式，即图1G中的模式C。例如，如图所示，操作的第三模式可以是播放音频文件，诸如歌曲。相反方向的滑动可能相反地返回到先前的模式。在不同方向或沿着外壳110的不同部分滑动可能触发不同的响应。例如，沿着外壳110的侧边缘向上或向下滑动可以执行不同的功能，诸如滚动等。

图1H示出了另一手势示例。例如，基于检测到外壳110上的敲击161，设备100可以确定用户正在选择、激活或者以其他方式与显示在用户敲击的屏幕部分的功能交互。例如，如图所示，在敲击的部分显示的功能是灯，其可以通过敲击161打开或关闭。

图1I示出了示例挤压手势，其可以包括同时或大约同时在两个位置按压163、165外壳110。这种手势可以导致正在播放的歌曲暂停、诸如阅读文本消息的动作的启动、诸如关闭显示器的功能的去激活、或者各种其他动作中的任何一种。

尽管图1A-图1I示出了各种示例手势，但是设备100可以被配置为检测许多其他类型的手势中的任何一种。作为一些额外示例，其他手势可以包括向上滑动、短或长滑动、快或慢滑动、水平或垂直滑动、滑动外壳的不同边缘、长敲击或短敲击、在阈值时间量内的多次敲击(例如，双击)、硬挤压或软挤压、在不同位置挤压等。此外，尽管图1A-图1I示出了基于用户的手势的几个示例命令，但是许多其他命令中的任何一个都可以基于用户的手势。作为一些额外示例，其他命令可以包括改变音频音量、选择在触摸位置显示的项目或菜单等。尽管图1A-图1I示出了可佩戴设备(手表)，但是在其他示例中(诸如在本公开的其他图中所示)，设备100可以替代地是许多设备中的任何一个，包括其他类型的可佩戴设备(例如，耳塞、眼镜、头盔、戒指)、移动设备(例如，电话、平板电脑)、个人计算设备(例如，膝上型电脑、台式机)或任何其他设备(例如，电器、机器人)。

为了检测手势，设备100可以配备有一个或多个传感器。图2A-图2C示出了设备100以及一些其他示例设备的传感器布置。参考图2A，示出了设备100的一部分。如图所示，边框210显示为具有圆形形状。例如，边框210可以被定位为如图1A-图1I所示的外壳110的一部分或内部。边框210可以由许多材料中的任何一个制成，诸如金属、塑料、陶瓷、木材等。在一些情况下，边框210可以由不可渗透的材料(例如防水的)制成，使得外壳110和/或边框210内的组件可以被保护免受环境损害。

在边框210内部，示出了传感器模块220。例如，传感器模块220可以位于边框210的内周边。例如，传感器模块220可以附着到边框210的内周边。进一步如图所示，传感器模块220具有符合边框210的圆形表面的形状。

在诸如图2A的示例所示的一些情况下，传感器模块220可以包括多个传感器。利用多个传感器，设备100能够检测用户在设备100的不同位置的手势。进一步如下所述，设备100可以被配置为基于来自位于不同位置的多个传感器的传感器数据来区分手势的变化(例如，位置、方向、速度)。在一些示例中，多个传感器可以包括至少六个传感器，诸如所示的传感器221-226。多个传感器221-226可以以符合边框210的形状的、围绕边框210的布置来定位。例如，多个传感器221-226可以围绕边框210均匀间隔。

图2B和图2C示出了传感器布置的额外示例，特别是在其他类型的设备中。例如，图2B示出了具有外壳240的示例耳塞230。边框242位于外壳240内部或作为外壳240的一部分。传感器模块250位于外壳240的内周边内。例如，传感器模块可以附着在边框242的内周边上。如图所示，传感器模块250符合边框242的形状，因此符合外壳240的形状。进一步如图所示，传感器模块250在该示例中被示为具有四个传感器。

对于另一示例，图2C示出了具有外壳270的示例移动电话260。边框272位于外壳270内部或作为外壳270的一部分。传感器模块280位于外壳270的内周边内。例如，传感器模块可以附着在边框272的内周边上。如图所示，传感器模块20符合边框272的形状，因此符合外壳270的形状。进一步如图所示，传感器模块280在该示例中被示为具有10个传感器。在该示例中，一个或多个传感器沿着外壳270的每个边缘定位，在其他示例中，外壳270的一个或多个边缘可以不具有沿着其内表面定位的传感器。可以注意到，在该示例中，外壳270和边框272的形状具有大部分是直的内表面，只有圆角。这样，为了符合边框272和外壳270的形状，传感器模块280可能不需要被倒圆(be rounded)。

尽管图2A-图2C示出了作为电子设备外壳的一部分的内部的边框内部的各种示例传感器布置。替代地，传感器布置可以直接位于外壳内部，诸如直接附着到外壳的内周边。

图2D-图2E示出了可用于设备100的示例边框形状。作为一个示例，边框210A可以具有沿着设备100的周边被倒圆的内表面，但是该内表面可以相对于设备100的表面(诸如显示表面)垂直。作为另一示例，边框210B可以类似地具有围绕设备100的周边被倒圆的内表面，但是该内表面可以相对于设备100的表面(诸如显示表面)成非垂直的角度。尽管在图2D-图2E中边框210的被倒圆的形状被示为圆形，但是也可以使用其他被倒圆的形状，诸如类椭圆形或椭圆形。这样，边框的形状可以被配置为适合许多需求中的任何一个，诸如美学需求、空间限制、机械支撑/保护需求、需要定位在边框内部的组件等。

设备100中使用的传感器可以是许多类型的传感器中的任何一种，诸如电容式传感器、磁传感器、视觉传感器等。在一些情况下，多个传感器可以是应变仪传感器。应变仪传感器测量物体上的应变，或者换句话说，测量物体的变形。例如，在没有任何力施加到物体上的情况下，物体可以具有参考尺寸。当力被施加到物体上时，物体的尺寸可能由于该力而改变。例如，由于压缩力(例如，推动)，物体的尺寸可以减小，并且由于拉力(例如，拉动)，物体的尺寸可以增大。

根据一些示例，传感器可以包括应变仪。应变仪内部的导电元件与其安装的表面同步拉伸或压缩，从而检测施加到表面的力。例如，当电导体在其弹性限度内被拉伸时(在断裂或永久变形之前)，电导体可能变得更窄和更长，这增加了其沿着伸长方向的电阻。相反，当电导体在其弹性限度内被压缩时(在屈曲(buckling)之前)，电导体可能变宽和变短，这降低了其沿着压缩方向的电阻。这样，基于测量的电导，应变仪可以确定电导体上的感应应力的量(力/表面积)。基于感应应力的量，并基于电导体的表面积，可以确定施加到电导体上的力。

因此，在应变仪传感器附着到边框210和/或外壳110的情况下，可以测量传感器的电阻。基于应变仪传感器的电阻，可以确定边框210和/或外壳110上的感应应力。基于感应应力，可以确定边框210和/或外壳110上的施加的力和/或施加的力的位置、速度或其他参数。基于在边框210和/或外壳110上施加的力，可以确定用户的手势。

图3示出了包括多个应变元件312、314、316、318的示例应变仪传感器。传感器300可以是图2A所示的多个传感器221-226中的任何一个。虽然传感器300被示为包括4个应变元件312-318，但是应当理解，在其他示例中，传感器300可以包括任意数量的应变元件。如图所示，应变元件312-318以惠斯通电桥配置布置。根据一些示例，这种配置可以提供增强的信号检测。在其他示例中，可以使用应变元件的各种其他配置中的任何一种。例如，一些应变元件可以布置在惠斯通电桥中，但是相对于彼此成垂直或非垂直的角度。传感器300可以被配置为使得应变元件312-318沿着设备100的边框和/或外壳的内周边定位。

使用应变元件的布置的测量可用于确定施加的力的额外位置和/或方向信息。例如，横向方向施加的力可以由应变元件312-318同时测量。

根据一些其他示例，应变元件312-318可以独立地测量施加的力，其中这些测量可以被组合以确定方向、速度等。例如，因为应变元件312、应变元件318以及应变元件314和316的检测表面相对于施加的力具有不同的角度，并且还因为四个应变元件位于稍微不同的位置，所以可以基于四个应变元件的测量的变化来确定力的方向。例如，如果施加的力垂直向下按压在传感器300上，则应变元件314和316可以测量比应变元件312和318更大的应变。如果施加的力沿横向方向移动，则应变元件318可以测量比应变元件312更大的应变，而应变元件314可以比应变元件316更早地测量应变。

基于施加的力的方向性，设备100可以区分用户的各种手势。例如，挤压可以由在两个基本相反的方向上施加的应变来指示，并且手指在滑动方向上围绕设备100的移动可以由在改变方向上的应变来指示。

返回参考图2A，在一些情况下，传感器221-226中的每一个可以包括应变仪。在其他情况下，传感器221-226可以包括不同类型的传感器。例如，传感器221-225可以包括应变仪，而传感器226可以是电容式传感器。例如，外壳110上靠近传感器226的位置可以是设计的“按钮”，使得仅检测到按压的触摸手势。

图4示出了当设备的一侧有三个传感器时，来自设备500(图5)的示例传感器的示例传感器数据。例如，传感器数据可以由位于沿着边框和/或外壳的内周边的不同位置的传感器(诸如应变仪)测量，诸如来自传感器510。例如，曲线图410示出了对于在边缘周围移动的相对轻的触摸，传感器响应与沿着电话边缘的位置的关系。每个曲线442、444、446可以指示由设备500一侧上的三个传感器中的特定一个测量的传感器数据。

曲线图420示出了分别由传感器510检测的测量施加到设备500的边框和/或外壳上的中等触摸的传感器数据。曲线图430示出了测量由传感器检测到的沿着设备的边框和/或外壳施加的相对重的触摸的传感器数据。

在这一点上，按压的特征是轻、中等还是重可以基于一个或多个阈值。例如，如图所示，1.3N和2.5N之间的力可以表征为轻按压，2.5N和4.5N之间的力可以表征为中等按压，而4.5N以上的力可以表征为重按压。可以设置额外的和/或替代的阈值。例如，可以应用最小阈值来筛选不指示实际手势的信号。例如，仅当与相邻最小值/最大值的差大于最小阈值时，才可以考虑局部最小值和最大值，从而过滤掉由非预期移动和噪声产生的点，并保持那些表示由预期手势导致的显著形状变化的点。例如，如图所示，在1.3N以下的力可以被筛选为在最小阈值以下。

此外，特征可能依赖于其他特征阈值。例如，仅当信号的方差中存在尖峰时，才可以考虑局部最小值/最大值。方差的尖峰指示有意的用户手势，因此可以被选择来创建窗口，算法将在该窗口周围尝试提取特征并检测手势。这些特征通知手势检测算法，该算法识别来自用户的完整的、有意的手势。检测算法可以涉及启发式组件，诸如特征值或模式匹配度量的阈值，以及根据来自有意的手势和意外噪声的特征样本训练的机器学习组件。例如，可以使用线性判别分析(Linear Discriminant Analysis，LDA)或二次判别分析(Quadratic Discriminant Analysis，QDA)来减少特征，以找到不同手势类别之间的边界。

这样，设备500的一个或多个处理器可以接收诸如图4所示的传感器数据，并确定是否检测到涉及轻、中等或重按压的手势，或者是否检测到按压。基于手势确定，设备100的处理器可以确定对应于手势的用户命令。设备100的处理器然后可以控制设备100以基于用户命令进行操作。

图5示出了来自示例设备500的示例传感器数据，该示例设备500被示为具有多个传感器510。传感器可以包括应变仪。例如，多个传感器510中的传感器s5可以测量由一个或多个敲击520施加的力。如曲线图530所示，传感器s5在3s时段内检测到施加的力的测量的三个峰值。

该设备的一个或多个处理器可以接收诸如图5所示的传感器数据，并确定是否检测到涉及多次敲击的手势。在这方面，可以设置一个或多个阈值来确定传感器数据是否指示检测到按压或敲击。例如，可以设置持续时间阈值，诸如500ms，使得施加比持续时间更长的时间的力可以被表征为按压，而施加比持续时间更短的时间的力可以是传感器数据指示检测到三个手势，每个手势是一次敲击，或者检测到包括三次敲击的一个手势。例如，可以设置最大时间阈值，例如3s，使得在最大时间阈值内检测到的敲击可以被表征为一个手势的检测。

此外，在一些情况下，设备100的一个或多个处理器可以进一步确定针对手势检测到的敲击的数量。基于手势确定，设备100的处理器可以确定对应于手势的用户命令。设备100的处理器然后可以控制设备100基于用户命令进行操作。

图6示出了来自设备500的示例传感器的传感器数据的另一示例，设备500被示为具有多个传感器510。例如，传感器可以包括应变仪。例如，多个传感器510中的传感器s3、s4、s5可以测量向上滑动610手势施加的力。例如，如图所示，曲线图630示出了传感器s3对应变的测量，曲线图640示出了传感器s4对应变的测量，并且曲线图650示出了传感器s5对应变的测量。如图所示，传感器s3、s4、s5中的每一个检测到峰值，但是在不同时间。此外，传感器s3、s4、s5检测到峰值的顺序指示力的方向性。例如，如图所示，由于传感器s5首先检测到峰值，随后是传感器s4(位于设备500上的传感器s5上方)，接着是传感器s3(位于设备500上的传感器s4上方)，这指示向上的方向。

设备100的一个或多个处理器可以接收诸如图6所示的传感器数据，并确定是否检测到涉及滑动的手势。在这方面，可以设置一个或多个阈值，用于确定传感器数据是指示检测到一个滑动手势，诸如滑动610，还是检测到三个手势，每个手势分别涉及传感器s5、s4、s3附近的单独敲击。例如，可以设置最大时间阈值，例如1秒，使得在最大时间阈值内检测到的施加的力可以表征为检测到一个滑动手势。此外，在这方面，设备100的处理器可以通过确定施加的力的检测是否在一个方向上移动，而不是来回移动，来进一步确定手势是否是滑动。

如图4-图6所示的示例所示，由于传感器数据可以在时间段内被接收，因此可以确定基于时间的各种属性(上面已经讨论过包括持续时间)。例如，可以确定滑动610的速度，这可以指示与不同用户命令相对应的不同手势。对于另一示例，可以额外地或替代地确定滑动610的加速度，这可以进一步指示与不同用户命令相对应的不同手势。属性的其他示例可以包括速度的移动方差、移动方差的成比例改变等。

图6进一步示出，仅使用来自一个传感器的传感器数据，确定手势的方向可能是不可能或不可行的。如图所示，仅当来自传感器s3、s4、s5的传感器数据在整体上被分析时，才确定滑动610的方向。这样，设备100可以进一步被配置为将来自多个传感器中的至少两个的数据组合成组合的传感器数据流。例如，组合的传感器数据流可以是[t1；x1，x2，x3，x4，x5，x6]，…，[tn；x1，x2，x3，x4，x5，x6]的格式的时间序列，其中t1，…，tn可以是由用于测量的设备提供的时间戳，x1可以指示由传感器221测量的应变，x2可以指示由传感器222测量的应变，x3可以指示由传感器223测量的应变，x4可以指示由传感器224测量的应变，x5可以指示由传感器225测量的应变，x6可以指示由传感器226测量的应变。

在一些情况下，为了便于基于传感器数据确定手势，一个或多个模型可以由设备100的处理器确定和/或提供给设备100的处理器。例如，图7示出了如何确定模型。为了便于说明，仅示出了三个模型，然而，可以确定更多或更少的模型。如图所示，原始数据710可以从各种传感器收集，诸如设备100的传感器221-223。例如，曲线图712可以是从传感器221收集的原始数据，曲线图714可以是从传感器222收集的原始数据，并且曲线图716可以是从传感器223收集的原始数据。基于原始数据710，可以确定模型720。例如，可以为传感器221确定模型722，可以为传感器222确定模型724，并且可以为传感器223确定模型726。在这方面，可以使用多种方法中的任何一种来确定模型。例如，可以通过对原始数据执行回归来确定模型。例如，模型可以是数学模型，诸如线性、指数、幂、高斯、二阶高斯、对数等。

使用一个或多个模型，设备100的处理器可以确定移动的位置和/或方向。例如，图8A-图8E示出了使用图7的示例模型为单个时间点确定手势的施加的力和位置的方法的一个示例。方向性和其他特征可以通过利用来自多个时间步长的力和位置估计来确定。然后，这些特征可用于导出手势。

如图所示，在特定时间点t1，组合的传感器数据流可以包括三个测量[t1：x1，x2，x3]。这三个测量在图8A中显示为数据点810、数据点820和数据点830。设备100的处理器可以通过将数据点810、820、830与模型722、724、726对齐来进行第一估计842。例如，如图8B-图8D所示，处理器尝试数据点810、820、830的不同对齐，直到达到拟合模型的位置。如图8A所示，对于所有三个数据点，第一个估计很差地拟合于模型722、724、726。接下来，设备100的处理器可以通过将数据点移动到模型的不同位置来进行第二估计(图8B)和第三估计(图8C)，这表现出不良拟合。这样，设备100的处理器可以继续移位数据点810、820、830，直到获得所有数据点的良好拟合，诸如第四估计(图8D)。如图所示，第四估计是唯一的估计，其中来自传感器221的数据点810拟合传感器221的模型722，来自传感器222的数据点820拟合模型724，并且来自传感器223的数据点830首先在模型726中。图8E示出了分别对应于图8A-图8D的不同估计842、844、846和848。

尽管图8E示出了第四估计848的完美拟合，但是由于噪声、模型中的不精确以及其他误差，不可能对所有数据点进行完美拟合。这样，可以设置误差阈值，使得如果所有数据点都在误差阈值内拟合，则设备100的处理器可以确定已经达到拟合。

虽然图8A-图8E示出了用于确定对于时间点的施加的力和位置的非线性最小二乘法，但是应当理解，可以使用各种其他方法。提取相似信息的其他方法的示例包括卡尔曼过滤器、粒子过滤器、各种机器学习技术等。此外，其他方法不仅可以估计施加的力的位置，还可以同时估计施加的力。

图9是示出示例信号处理链的框图。虽然示出了一系列操作，但是应该理解，一些操作可以以不同的顺序或同时执行。此外，应当理解，可以添加或省略操作。

如图所示，在框910，可以从一个或多个传感器接收原始数据。在框920，可以对原始数据执行预处理。例如，这种处理可以包括从原始数据中去除噪声的过滤或其他方法。在框930中，预处理的数据可以被校准。例如，校准可以包括标准化、校正传感器的偏移和比例因子等。

在一些示例中，预处理和校准的数据可以可选地被分析用于主动手指检测，如框940所示。例如，设备100的处理器可以确定施加的一定级别的力可能仅仅是由于用户手持移动电话而导致的多点触摸或挤压，并且因此拒绝这种力测量，因为不是主动手指检测。在其他情况下，可以不拒绝具有更强的力的有意的挤压或多点触摸，或者施加到通常不是手持的设备(诸如智能手表)的挤压或多点触摸。虽然在一些示例中这种主动手指检测可以减少功耗和错误，但是在其他示例中可以省略。

在框950中，估计算法可用于确定主动手指检测的位置和/或方向。例如，估计可以是如图8A-图8D所示的那些，其可以基于诸如图7所示的那些模型。基于该估计，在框960中，设备100的处理器可以确定关于主动手指检测的各种属性。例如，属性可以包括主动手指检测的力962、位置964和/或速度966。根据一些实施方式，估计器(诸如卡尔曼过滤器)可实现额外参数(诸如随时间改变的单独传感器偏置、加速度等)的同时估计。这可以潜在地减少系统中的错误。

在框970中，可以基于许多手势识别算法中的任何一个来确定手势。例如，手势识别算法可以是基于框960中确定的属性的数学和/或启发式规则。根据进一步的示例，算法可以是基于机器学习的。例如，手势识别算法可以基于上述一个或多个阈值。基于所确定的手势，在框980，设备100的处理器可以确定用户命令或对检测到的手势的适当响应。

图10是示出用于检测手势的示例软件体系结构1000的框图。例如，体系结构1000可以用于执行图9所示的各种功能。信号分析应用可以包括各种层，诸如信号调节层1020、特征提取层1030和手势识别层1040。例如，可以在信号调节层1020中接收原始数据，在信号调节层1020中可以执行预处理和校准。接下来，预处理和校准的数据可以被发送到特征提取层1030，特征提取层1030可以分析数据以确定各种属性，诸如位置、力、速度等。在一些情况下，特征提取层1030可以进一步确定指示不是由主动手指检测产生的多点触摸的属性，诸如仅仅通过手持电话，并且拒绝这种数据作为手势检测。

一旦检测到的手势的属性被特征提取层1030确定，这些属性可以被发送到手势识别层1040，手势识别层1040可以确定手势的类型。例如，手势识别层可以存储阈值、范围和指示不同类型的手势的其他值，诸如滑移、滑动、局部化(localized)按钮敲击、局部化按钮按压和手持等。所识别的手势然后可以被发送到应用层1070，应用层1070可以包括一个或多个处理器。所识别的手势可以例如经由手势服务1060发送，诸如应用编程接口(API)。基于该手势，应用层1070然后可以确定与该手势相对应的用户命令，并且基于该用户命令来控制设备100的一个或多个功能。一些示例功能可以包括相机缩放、开/关按钮、游戏控制、上述任何示例功能或者设备100可以被配置为执行的其他功能。

在一些情况下，从传感器接收的原始数据也可以被发送到用于检测特定类型手势的专用应用。例如，原始数据可以被发送到专门检测挤压手势的应用。在这种情况下，特征提取层1030可以被配置为忽略可以由专用应用检测到的指示诸如挤压手势的数据。

图11示出了可穿戴计算设备的内部组件的示例，诸如显示为智能手表的设备100。虽然示出了多个内部组件，但是应当理解，可以包括额外的或更少的组件。仅作为示例，设备可以包括通常在可佩戴设备中发现的组件，诸如扬声器、麦克风、显示器等。

设备100可以包括一个或多个存储器单元1110、处理器1140以及其他组件。例如，设备100可以包括一个或多个传感器1150、电池1160和通信模块1170。

存储器1110可以存储可由一个或多个处理器1140可访问的信息，包括数据1120和可由一个或多个处理器1140执行或使用的指令1130。例如，存储器1110可以是能够存储可由(多个)处理器可访问的信息的任何类型，包括计算设备可读介质，或者存储可借助电子设备读取的数据的其他介质，诸如易失性存储器、非易失性存储器以及其他可写和只读存储器。仅作为示例，存储器可以是被配置为提供快速查找的静态随机存取存储器(random-access memory，SRAM)。系统和方法可以包括前述内容的不同组合，由此指令和数据的不同部分被存储在不同类型的介质上。

一个或多个处理器1140可以根据指令1130检索、存储或修改数据1120。例如，数据1120可以包括模型、阈值、范围和与传感器数据和/或手势识别相关的其他值。数据1120可以包括手势的列表，例如可以包括这些手势的属性。数据1120还可以包括用户命令与特定手势的相关、手势与设备100要采取的动作的相关、和/或各种其他类型的数据中的任何一种。尽管所要求保护的主题不受任何特定数据结构的限制，但是数据可以存储在计算设备寄存器中、关系数据库中，作为具有多个不同字段和记录的表、XML文档或平面文件。数据也可以以任何计算设备可读的格式来格式化。

指令1130可以是由一个或多个处理器1140直接执行(诸如机器代码)或间接执行(诸如脚本)的任何指令集。例如，指令可以作为计算设备代码存储在计算设备可读介质上。在这方面，术语“指令”和“程序”在本文可以互换使用。指令可以以目标代码格式存储，用于由处理器直接处理，或者以任何其他计算设备语言存储，包括脚本或独立源代码模块的集合，其被按需预先解释或编译。指令1130可被执行以使用来自传感器1150的信号来检测手势，确定与检测到的手势相对应的动作，并执行该动作。指令的功能、方法和例程将在下面详细解释。

一个或多个处理器1140可以是硬连线到设备100本身的微处理器、逻辑电路(例如，逻辑门、触发器等)，或者可以是专用的专用集成电路(dedicated applicationspecific integrated circuit，ASIC)。应当理解，一个或多个处理器1140不限于硬连线的逻辑电路，而是还可以包括任何商业上可用的处理单元，或者任何基于硬件的处理器，诸如现场可编程门阵列(field programmable gate array，FPGA)。在一些示例中，一个或多个处理器1140可以包括状态机。处理器1140可以被配置为执行指令1130，以例如执行诸如下面结合图12描述的方法。

在一些情况下，一个或多个处理器1140可以还包括一个或多个低功率处理器(未示出)和一个或多个高功率处理器(未示出)。在一些情况下，设备100可以被配置为低功率模式或运输模式。例如，设备100可以在最初包装并运送给消费者时以这种模式配置。对于另一示例，当设备100在预定的时间段内不活动时，设备100可以被配置为这种模式。在低功率模式下，设备100可以被配置为使用低功率处理器来检测手势，例如，低功率处理器可以应用过滤器，使得仅检测到具有大于特定阈值的力的手势。此外，在低功率模式下，一个或多个处理器1140可以以低速率设置传感器1150的第一采样率。例如，该阈值可以是图4所示的重按压阈值。一旦设备100从低功率模式改变到主动模式，例如通过用户打开设备100或者通过使用低功率处理器检测到重按压，设备100激活高功率处理器，使得手势的进一步检测由高功率处理器执行。此外，在主动模式中，一个或多个处理器1140可以将传感器1150的第二采样率设置为高于第一采样率的速率。这样，设备100可以被配置为节约能量。

一个或多个传感器1150可以包括用于检测手势的各种机械或机电传感器中的任何一种。这种传感器可以包括应变传感器，诸如应变仪传感器。这种传感器可以额外地或替代地包括例如电容式传感器、IMU、光学传感器，诸如光电容积描记图(photoplethysmogram，PPG)等。根据一些示例，传感器1150可以还包括加速度计、陀螺仪、气压计、音频传感器、振动传感器、热传感器、射频(radio frequency，RF)传感器等。

通信模块1170可以用于与其他设备形成连接链路。例如，通信模块1170可以包括短程无线配对接口，用于形成与诸如智能手机、耳塞等其他设备的连接。该连接可以是例如蓝牙连接或任何其他类型的无线配对。仅作为示例，与其他设备的连接可以包括ACL链路。对于另一示例，通信模块1170可以为其他类型的通信提供能力，诸如通过网络(互联网、蜂窝等)，通过有线连接等。

尽管图11在功能上示出了处理器、存储器和设备100的其他元件在同一框内，但是本领域的普通技术人员将理解，处理器和存储器实际上可以包括多个处理器和存储器单元，这些处理器和存储器单元可以存储在或不存储在同一物理外壳内。例如，存储器1110可以是位于不同于设备100的外壳中的易失性存储器或其他类型的存储器。此外，上述各种组件可以是一个或多个电子设备的一部分。仅作为示例，设备100可以检测信号并将关于检测到的信号的信息传送给远程服务器，并接收相应的信息，诸如执行哪个相应的动作。

图12是示出由电子设备检测手势的示例方法1200的流程图。虽然以特定顺序示出和描述了操作，但是应当理解，可以修改顺序，并且可以添加或省略操作。

在框1210中，接收传感器数据。例如，可以从沿着设备外壳边缘的一个或多个传感器接收传感器数据。一个或多个传感器可以包括应变仪。传感器数据可以是原始传感器数据。在框1215中，一个或多个处理器可以基于接收到的传感器数据来检测施加到电子设备的外壳上的力。

在框1220中，基于传感器数据确定手势的类型。在框1230中，基于手势确定用户命令的类型。在框1240中，基于用户命令执行一个或多个动作。在一些示例中，执行动作可以简单地包括确定要执行的操作。例如，识别的特征可以与操作匹配，而无需首先识别导致这些特征的运动。

前述系统和方法是有益的，因为它们能够对电子设备，特别是小形状因子电子设备进行精确输入。系统中的传感器可以被配置为检测手势中的细微差异，诸如方向、位置、时间、速度、力等。因此，因为用户可以更容易地输入，并且错误更少，所以用户体验得到了改善。此外，系统中的传感器可以在产品设计中提供灵活性，诸如可以提供更好的美学、机械和其他属性的材料选择。

除非另有说明，否则前述替代示例并不相互排斥，而是可以以各种组合来实现，以获得独特的优点。由于在不脱离由权利要求限定的主题的情况下，可以利用上述特征的这些和其他变化和组合，所以实施例的前述描述应当作为说明而不是作为对由权利要求限定的主题的限制。此外，本文描述的示例的提供，以及措辞为“诸如”、“包括”等的条款，不应被解释为将权利要求的主题限制为特定示例；相反，这些示例旨在仅示出许多可能实施例中的一个。此外，不同附图中相同的附图标记可以标识相同或相似的元件。

Claims (24)

1.一种电子设备，包括：

外壳；

一个或多个传感器，沿着所述外壳的内周边定位；和

与所述一个或多个传感器通信的一个或多个处理器，所述一个或多个处理器被配置为：

使用由所述一个或多个传感器检测到的信息，确定与所述外壳的外表面的用户交互；

基于检测到的用户交互来确定手势的类型；

基于所确定的手势来确定输入命令的类型；和

执行与所确定的输入命令的类型相对应的任务。

2.根据权利要求1所述的电子设备，其中，所述一个或多个传感器包括应变仪传感器。

3.根据权利要求1所述的电子设备，其中，所述一个或多个传感器包括沿着所述外壳的内周边间隔开的多个传感器。

4.根据权利要求1所述的电子设备，其中，所述一个或多个传感器包括以惠斯通电桥配置来布置的应变元件。

5.根据权利要求1所述的电子设备，其中，所述外壳的内周边相对于所述外壳的外周边成角度。

6.根据权利要求1所述的电子设备，其中，所述外壳由金属制成。

7.根据权利要求1所述的电子设备，其中，所述电子设备是智能手表、耳塞或移动电话中的一种。

8.根据权利要求1所述的电子设备，其中，所述手势的类型包括按压、敲击、挤压或滑动中的一种。

9.根据权利要求1所述的电子设备，还包括：

金属边框，其中所述一个或多个传感器附着到所述金属边框。

10.一种检测对电子设备的输入的方法，包括：

由一个或多个处理器从一个或多个传感器接收和与所述电子设备的外壳的交互相关的传感器数据；

由所述一个或多个处理器基于所述传感器数据来确定手势的类型；

由所述一个或多个处理器基于所述手势的类型来确定用户命令的类型；和

由所述一个或多个处理器基于输入命令的类型执行与所述用户命令相对应的动作。

11.根据权利要求10所述的方法，还包括：

由所述一个或多个处理器基于所述传感器数据来确定在所述外壳上施加力的一个或多个位置，其中确定所述手势的类型还基于在所述外壳上施加力的位置。

12.根据权利要求10所述的方法，还包括：

由所述一个或多个处理器基于所述传感器数据来确定施加力的方向，其中确定所述手势的类型还基于所述施加力的方向。

13.根据权利要求10所述的方法，还包括：

由所述一个或多个处理器基于所述传感器数据来确定施加力的速度，其中确定所述手势的类型还基于所述施加力的速度。

14.根据权利要求10所述的方法，还包括：

由所述一个或多个处理器基于所述传感器数据来确定施加力的持续时间，其中确定所述手势的类型还基于所述施加力的持续时间。

15.根据权利要求10所述的方法，还包括：

由所述一个或多个处理器基于所述传感器数据来确定力在预定时间段内被连续施加，其中确定所述手势的类型还基于所述力是否在预定时间段内被连续施加。

16.根据权利要求10所述的方法，还包括：

通过所述一个或多个处理器，将在一系列时间点处从所述传感器中的至少两个传感器接收的传感器数据融合成组合的传感器数据流，所述组合的传感器数据流在每个时间点包括至少两个数据点。

17.根据权利要求16所述的方法，还包括：

由所述一个或多个处理器将融合的传感器数据与至少两个传感器的模型相关；

由所述一个或多个处理器基于所述相关来估计所述手势的属性，所述属性包括检测到施加的力的一个或多个位置。

18.根据权利要求17所述的方法，其中，所述属性还包括在所述一个或多个位置处检测到的施加的力的大小。

19.根据权利要求10所述的方法，还包括：

由所述一个或多个处理器设置所述传感器的第一采样率；

由所述一个或多个处理器对从所述传感器接收的传感器数据应用过滤器，用于检测力是否满足阈值。

20.根据权利要求19所述的方法，还包括：

由所述一个或多个处理器确定所过滤的传感器数据指示力满足所述阈值；

由所述一个或多个处理器基于所述力满足所述阈值来确定对用户的手势的检测；

由所述一个或多个处理器设置所述传感器的第二采样率，所述第二采样率高于所述第一采样率。

21.一种确定电子设备的手势输入的方法，包括：

从一个或多个传感器接收和与所述电子设备的外壳的交互相关的传感器数据，所述传感器数据包括多个数据点；

利用所述一个或多个处理器将所述多个数据点与传感器响应的模型进行比较；

基于所述比较，利用所述一个或多个处理器导出参数，在所述参数中，所述数据点与所述模型对齐；和

利用所述一个或多个处理器基于所导出的参数来确定手势。

22.根据权利要求21所述的方法，其中，每个数据点对应于来自独立传感器的信息。

23.根据权利要求22所述的方法，其中，所述模型包括多个曲线，每个曲线与所述独立传感器之一相对应。

24.根据权利要求21所述的方法，其中，所述参数包括位置、施加的力的级别或速度中的至少一个。

Images