CN109643190A - 便携式电子设备的扩展交互 - Google Patents
便携式电子设备的扩展交互 Download PDFInfo
- Publication number
- CN109643190A CN109643190A CN201780052763.2A CN201780052763A CN109643190A CN 109643190 A CN109643190 A CN 109643190A CN 201780052763 A CN201780052763 A CN 201780052763A CN 109643190 A CN109643190 A CN 109643190A
- Authority
- CN
- China
- Prior art keywords
- gesture
- wearable electronic
- wrist
- event
- microprocessor
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000003993 interaction Effects 0.000 title description 10
- 238000000034 method Methods 0.000 claims abstract description 50
- 238000001514 detection method Methods 0.000 claims abstract description 35
- 238000004891 communication Methods 0.000 claims abstract description 8
- 238000004458 analytical method Methods 0.000 claims description 32
- 238000013145 classification model Methods 0.000 claims description 20
- 230000033001 locomotion Effects 0.000 claims description 19
- 210000000707 wrist Anatomy 0.000 claims description 16
- 230000001133 acceleration Effects 0.000 claims description 9
- 230000004044 response Effects 0.000 claims description 9
- 238000007405 data analysis Methods 0.000 claims description 6
- 238000004590 computer program Methods 0.000 claims description 4
- 238000012790 confirmation Methods 0.000 claims 1
- 238000012549 training Methods 0.000 description 16
- 239000000463 material Substances 0.000 description 9
- 238000005516 engineering process Methods 0.000 description 6
- 238000013461 design Methods 0.000 description 5
- 210000003857 wrist joint Anatomy 0.000 description 5
- 230000006870 function Effects 0.000 description 4
- 238000010801 machine learning Methods 0.000 description 4
- 238000005259 measurement Methods 0.000 description 4
- 150000001875 compounds Chemical class 0.000 description 3
- 210000004247 hand Anatomy 0.000 description 3
- 239000010985 leather Substances 0.000 description 3
- 239000002245 particle Substances 0.000 description 3
- 238000012545 processing Methods 0.000 description 3
- 230000000638 stimulation Effects 0.000 description 3
- 241001269238 Data Species 0.000 description 2
- 239000012491 analyte Substances 0.000 description 2
- 230000006399 behavior Effects 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 230000001419 dependent effect Effects 0.000 description 2
- 238000005070 sampling Methods 0.000 description 2
- 238000012706 support-vector machine Methods 0.000 description 2
- 241000208340 Araliaceae Species 0.000 description 1
- 235000005035 Panax pseudoginseng ssp. pseudoginseng Nutrition 0.000 description 1
- 235000003140 Panax quinquefolius Nutrition 0.000 description 1
- 230000003044 adaptive effect Effects 0.000 description 1
- 210000003423 ankle Anatomy 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000003139 buffering effect Effects 0.000 description 1
- 210000003010 carpal bone Anatomy 0.000 description 1
- 230000010485 coping Effects 0.000 description 1
- 238000013481 data capture Methods 0.000 description 1
- 238000013480 data collection Methods 0.000 description 1
- 235000013399 edible fruits Nutrition 0.000 description 1
- 230000005611 electricity Effects 0.000 description 1
- 238000004146 energy storage Methods 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 235000008434 ginseng Nutrition 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 230000002688 persistence Effects 0.000 description 1
- 239000000047 product Substances 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 239000013589 supplement Substances 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 210000000689 upper leg Anatomy 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
- G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
- G06F3/0416—Control or interface arrangements specially adapted for digitisers
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
- G06F1/16—Constructional details or arrangements
- G06F1/1613—Constructional details or arrangements for portable computers
- G06F1/163—Wearable computers, e.g. on a belt
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
- G06F1/16—Constructional details or arrangements
- G06F1/1613—Constructional details or arrangements for portable computers
- G06F1/1633—Constructional details or arrangements of portable computers not specific to the type of enclosures covered by groups G06F1/1615 - G06F1/1626
- G06F1/1684—Constructional details or arrangements related to integrated I/O peripherals not covered by groups G06F1/1635 - G06F1/1675
- G06F1/1694—Constructional details or arrangements related to integrated I/O peripherals not covered by groups G06F1/1635 - G06F1/1675 the I/O peripheral being a single or a set of motion sensors for pointer control or gesture input obtained by sensing movements of the portable computer
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
- G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
- G06F3/0346—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
- G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
- G06F3/038—Control and interface arrangements therefor, e.g. drivers or device-embedded control circuitry
- G06F3/0383—Signal control means within the pointing device
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
- G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2200/00—Indexing scheme relating to G06F1/04 - G06F1/32
- G06F2200/16—Indexing scheme relating to G06F1/16 - G06F1/18
- G06F2200/163—Indexing scheme relating to constructional details of the computer
- G06F2200/1636—Sensing arrangement for detection of a tap gesture on the housing
Abstract
本发明提供了一种具有改进的用户输入能力的便携式电子设备及其控制方法。该设备包括传感器，所述传感器能够检测和分类作为在设备的表面进行的手势而提供的用户输入，其中：该表面不包括用于检测手势的传感器，且表面也不与用于检测手势的传感器直接通信。该设备包括微处理器，该微处理器响应所提供的用户输入手势来执行指令。
Description
相关申请的交叉引用
本申请要求于2016年8月29日提交的申请号为62/380,691的美国临时专利申请的优先权，其公开内容通过引用整体并入本文。
技术领域
本发明主要涉及电子设备，并且具体涉及通过非传统手段向便携式电子设备提供用户命令。
背景技术
与传统计算设备相比，许多便携式电子设备必然是相对较小的。与较大的电子设备相比，小型电子设备的用户输入手段有限。例如，个人计算机与智能手机，以及智能手机与智能手表相比，用户提供输入命令的手段变得越来越有限，交互对用户来说变得更艰难且令人懊恼。不像个人计算机可以使用键盘和鼠标，智能手机实际上不与键盘和鼠标一起使用。大多数现代智能手机通过利用触摸屏作为用户输入和用户输出来克服这一难题。然而，触摸屏的使用存在某些限制。
许多比智能手机小的电子设备也可以使用触摸屏；然而，由于较小设备的屏幕尺寸较小阻碍了用户与较小设备交互的丰富性，因此产生了特定问题。许多在智能手机上成功的触摸屏交互，包括一些多点触摸手势，都不能在较小的设备上轻松再现。互动问题，例如手指遮挡屏幕的某些部分，在智能手机上可能看起来微不足道，但在较小的设备上就会过大。
便携式电子设备也可以是可穿戴的，这给用户提供输入带来了额外的困难。虽然智能手机可以从一只手移动到另一只手，在用户手中重新放置，放在一个表面上，或从某一表面拿起，但可穿戴电子设备被物理地束缚在用户身上，限制了用户可以使用可穿戴设备进行物理交互的范围。例如，可以在手持便携式设备例如，智能电话上工作的一系列手势输入不太可能直接转移到例如，智能手表。此外，尽管近年来某些智能电话及其屏幕的尺寸有所扩大，为一些用户提供了丰富的用户体验，但是扩大可穿戴电子设备的尺寸对于消费者来说可能并不理想。例如，手表表盘的尺寸必须足够小以适合用户的手腕。表盘直径通常在24毫米至64毫米的范围内，厚度为几毫米。智能手表和其他小型便携式设备的体积较小，给用户交互带来了额外的困难。
在提供与电子设备的软性或柔性部件交互时，还会出现另外的问题。缺乏刚性使得与其的交互不直观。
相关工作已经探讨了如何改善智能手表和其他小型电子设备的用户体验，以克服小触摸屏和形状因素的固有限制以及用户与可穿戴设备交互的局限性。一些方法包括增加屏幕区域的尺寸，减小触摸区域的尺寸，或者通过应用精心设计的触摸手势。其他方法包括修改设备以包括专门设计用于捕获额外手势的额外传感器，或者要求用户佩戴额外的传感器以与设备通信。这些方法包括例如给腕带添加触摸传感技术，让用户佩戴戒指以跟踪手指移动，让用户佩戴额外的臂带，在用户身上安装摄像头，给设备添加接近传感器，或给设备添加光反射距离传感器。
许多相关工作仍处于研究阶段并且尚未进入商业市场。要求用户佩戴额外的硬件或现有设备进行庞大的再设计可能对消费者来说是不切实际或不具吸引力的。额外的硬件也可能需要额外的功耗。小型便携式设备用于电池或其他电力存储组件的空间有限，使得功耗成为重要的设计考虑因素。可穿戴设备还可具有形状因素的约束，这可能限制了集成电池或其他电力存储组件的尺寸，形状以及相应的能量存储能力。因此，相关技术也可能证明出于功耗设计考虑是不切实际的。
因此，使用内置于许多商用设备的传感器向便携式电子设备提供输入是可取的。这种技术的优势在于，除了已经包括在许多设备中的外，它不需要额外的硬件，因此可以通过这些设备上的软件或固件容易地实现该技术。还希望提供一种输入方法，以解决上面所讨论的，例如，可穿戴电子设备呈现的由于可穿戴电子设备的形状，佩戴位置和尺寸所带来的技术问题。
因此，需要设计与可穿戴电子设备兼容的手势以及用户如何佩戴该设备，以便于使用内置于现有可穿戴电子设备的传感器和硬件来扩展可穿戴电子设备的输入能力。
发明内容
以示例形式简要地描述某些包括可穿戴电子设备的实施方式，其中，所述可穿戴电子设备包括多个传感器；表面；微处理器和存储器。多个传感器可以被配置为响应可穿戴电子设备的第一移动而生成一个或多个第一输入信号。存储器可以具有存储在其上的指令，当微处理器执行该指令时，控制微处理器响应对一个或多个第一输入信号的分析而执行与第一手势对应的第一命令，其中，所述对一个或多个第一输入信号的分析指示所述一个或多个第一输入信号与在表面上进行的第一手势对应，第一手势不能被嵌入表面中或与表面直接通信的传感器检测到。可穿戴电子设备可以是包括表盘、壳体和带部的腕戴式设备，该表盘的线性尺寸不大于64mm。第一手势可以是在表面上的点击或滑动。表面可以在腕戴式设备的壳体上或带部上。手势可以由手指与表面的接触组成。
所述多个传感器还可以被配置为响应可穿戴电子设备的第二移动而生成一个或多个第二输入信号。微处理器可以执行指令以进一步控制微处理器响应对一个或多个第二输入信号的分析而执行与第二个手势对应的第二命令，其中，所述对一个或多个第二输入信号的分析指示所述一个或多个第二输入信号与在所述表面上进行的第二手势的对应。第一命令和第二命令可以是分别映射到第一手势和第二手势的不同命令。由微处理器执行的第一命令可以通过向用户提供反馈来控制可穿戴电子设备响应第一手势。
多个传感器可包括加速计和陀螺仪。所述一个或多个第一输入信号可以包括来自加速计的加速信号和来自陀螺仪的旋转运动信号。第一手势可以是一手势系列中的多个手势之一，其中一手势系列中的多个手势中的每个手势都映射到多个命令中的一个，并且其中第一命令是多个命令之一。手势系列可以包括通过点击表面的左侧进行的左击手势和通过点击表面的右侧进行的右击手势。该手势系列可以包括向上滑动，向下滑动，向左滑动和向右滑动。
可穿戴电子设备可以是腕戴式设备，并且所述表面是腕戴式设备的带部。可穿戴电子设备还可包括表盘和壳体，壳体包括围绕表盘的边框，其中表面是边框。
当微处理器执行指令时，可以进一步控制微处理器分析一个或多个第一输入信号，以确定对应于第一手势的第一移动。该分析可以包括手势事件检测和手势分类。手势分类可以至少部分地基于用户相关的手势事件数据。
当微处理器执行指令时，可以进一步控制微处理器分析由多个传感器生成的一个或多个第二输入信号，以确定该一个或多个第二输入信号与可穿戴电子设备检测的手势系列中的手势不对应。
可穿戴电子设备还可包括收发器。当微处理器执行指令时，所述指令可以进一步控制微处理器使用收发器将一个或多个第一输入信号发送到配对设备以分析该一个或多个第一输入信号。
以示例形式简要地描述方法的某些实施方式，所述方法包括响应可穿戴电子设备的移动，从集成到可穿戴电子设备中的一个或多个传感器中捕获第一传感器数据，并且响应对第一传感器数据的分析将与第一手势对应的第一命令提供给可穿戴电子设备的微处理器，，其中，所述对第一传感器数据的分析指示该移动与在可穿戴电子设备的表面上进行的第一手势对应，第一手势不能被嵌入表面中或与表面直接通信的传感器检测到。
该方法还可以包括分析第一传感器数据。分析第一传感器数据可以包括进行手势事件检测和进行手势分类。手势事件检测可以包括将来自第一传感器数据的峰值与阈值进行比较。手势分类可以包括从第一传感器数据提取多个特征，基于多个特征生成事件向量，以及将事件向量与多个手势分类模型进行比较。多个手势分类模型可以包括用户无关的模型。多个手势分类模型可以至少部分地基于对表面的多个接触，所述多个接触中的每个接触与一手势系列中的多个手势中的一个对应。
手势事件检测可以包括将手势事件与非手势事件区分开。
手势系列中的多个手势可以对应于向上、向下、向左和向右浏览命令。该多个手势可以表示确认和拒绝命令。
第一传感器数据可包括加速度信号和旋转运动信号。
分析第一传感器数据可包括从第一传感器数据中提取多个特征。分析还可以包括基于多个特征生成事件向量。分析还可以包括将事件向量与多个手势分类模型进行比较。
第一手势可以是在表面上的点击或滑动。第一手势可以是一手势系列中的多个手势之一，其中，手势系列中的多个手势每个都映射到多个命令中的一个，并且其中第一命令是多个命令之一。
可穿戴电子设备可以是腕戴式设备。接触可以是在腕戴式设备的带部上的滑动。
该方法还可以包括基于提供给微处理器的第一命令向用户提供反馈。对用户的反馈可以包括选择在可穿戴电子设备的屏幕上显示的菜单项或者选择在屏幕上显示的按钮。
手势事件检测可以包括确定包括手势事件数据的事件窗口。
该方法可进一步包括从集成到可穿戴电子设备的一个或多个传感器中捕获第二传感器数据，并分析第二传感器数据以确定第二传感器数据与可由可穿戴电子设备检测到的手势系列中的手势不对应。
以示例形式简要地描述了包括非暂时性计算机可读介质的某些实施方式，其中，所述非暂时性计算机可读介质上存储有计算机程序代码，当处理器执行该计算机程序代码时，该计算机程序代码控制处理器执行该方法的全部或一部分。
附图说明
图1A、1B和1C根据示例性实施方式，示出了与可穿戴电子设备的交互。
图2A、2B、2C和2D根据示例性实施方式，分别示出了陀螺仪传感器产生的旋转运动信号的大小。
图3根据示例性实施方式，示出了用于控制便携式或可穿戴电子设备的方法。
具体实施方式
为了便于理解本发明的各种实施方式的原理和特征，下面解释各种说明性实施方式。尽管详细解释了示例性实施方式，但是应该理解，可以想到其他实施方式。因此，其并不旨在将本发明的范围限定在以下说明中阐述的或附图中示出的组件的结构和设置的细节上。本发明能够具有其他实施方式并且能够以各种方式实践或实施。而且，在描述示例性实施方式时，为了清楚起见，将采用特定术语。
还必须注意，如说明书和所附权利要求中所使用的，除非上下文另有明确说明外，单数形式“一”，“一个”和“该”包括其复数指代。例如，提到部件也旨在包括多个部件的组件。提到组件含有“一”部件，旨在包括除所述部件之外的其他部件。
此外，在描述某些示例性实施方式时，为了清楚起见，将使用术语。其旨在每个术语考虑本领域技术人员理解的最广泛的含义，并且包括以类似方式事件以实现类似目的的所有技术等同物。
范围在本文中可以表示为从“约”或“近似”或“基本上”一个特定值和/或到“约”或“近似”或“基本上”另一个特定值。当这样表达范围时，其他示例性实施方式包括从该一个特定值和/或到该另一个特定值。
类似地，如本文所使用的，“基本上不含”某物，或“基本上是纯的”，以及类似的描述方式，可包括“至少基本上不含”某物或“至少基本上纯的”，以及“完全不含“某物，或“完全是纯的”。
“包含”或“含有”或“包括”是指至少所提及的化合物、元素、粒子或方法步骤存在于组合物或制品或方法中，但不排除存在其他化合物、材料、粒子、方法步骤，即使这些其它的化合物、材料、粒子、方法步骤与所述的具有相同的功能。
还应理解，提及一个或多个方法步骤并不排除在明确指出的那些步骤之间存在其它的方法步骤或中间方法步骤。类似地，还应理解，提及组件中的一种或多种部件并不排除存在除明确指出的那些之外的其他部件。
被描述为构成某些实施方式的各种要件的材料旨在是说明性的而非限制性的。许多与本文所述材料具有相同或相似功能的合适材料旨在包含在本发明的范围内。本文未描述的此类其他材料可包括但不限于例如在本发明开发之后开发的材料。
1.概述
本文呈现了可穿戴电子设备以及与可穿戴电子设备一起使用的方法的各种示例性实施方式。实施方式利用可穿戴电子设备的表面来向可穿戴电子设备提供用户输入。所使用的表面不需使用嵌入到表面中或与表面直接通信以识别用户输入的传感器(例如触摸传感器、压力传感器)或按钮(例如开关)。通过将用户输入表面向外扩展到例如，壳体、表盘的边框或带部，用户可以在与可穿戴电子设备交互的同时看到可穿戴电子设备的屏幕。
一些示例性实施方式利用惯性传感器，以在腕戴式可穿戴电子设备例如智能手表的侧面、边框和带部上提供各种点击和滑动手势。在一些实施方式中，可以将从用户进行手势时收集的惯性传感器数据得出的特征向量与一手势系列中的用户相关的、用户无关的和用户自适应的手势模型进行比较。
图1A、1B和1C根据本文示例性实施方式，示出了腕戴式可穿戴电子设备100的三种可能的手势系列，分别称为侧部点击、边框输入和带部滑动。腕戴式设备100具有：表盘140；带部115；以及具有外周边150和边框145的壳体。表盘140是可穿戴电子设备100的表面，其可以向用户提供可视信息(例如时间、天气等)，并且还可以是用于提供用户输入的触摸输入表面。带部115可用于将可穿戴电子设备100固定到用户的手臂上。
尽管描绘了腕戴式设备，但是手势系列可以应用于其他可穿戴电子设备。根据一些实施方式，可穿戴电子设备可以呈例如正方形、圆形或带状。根据一些实施方式，该设备可包括例如带扣、皮带或珠宝。如将理解和明白的，实施方式不限于可穿戴电子设备或图1A、1B和1C中描绘的手势。
图1A示出了包括右点击110和左点击105两个手势的侧部点击手势系列，其中用户可以通过向可穿戴电子的外周边150的右侧或左侧提供短暂的点击来提供输入。右点击110和左点击105可以盲眼进行，并且可适合于进行简单的确认或拒绝动作，例如拒绝电话呼叫。
图1B示出了边框输入手势系列，所述边框输入手势系列包括在标记为N、NE、E、SE、S、SW、W和NW的八个边框输入位置160处的八个边框输入手势，其中用户可以通过简单地按压可穿戴电子设备的边框145的八个边框输入位置160中的一个来提供输入。如图1B所示，边框输入位置160可以沿边框145均匀地分布。作为非限制性示例，边框输入的配置可以是例如用于定向浏览或用于启动应用程序。如将理解和明白的，边框输入位置160的数量和位置可以根据所执行的具体功能和可穿戴电子设备100收集足够的传感器数据以区分不同的边框输入位置160的能力而变化。在一些实施方式中，边框输入160可有助于促进可穿戴电子设备上的菜单更丰富或与可穿戴电子设备交互更丰富。例如，由于提供给显示和触摸输入的屏幕空间有限，大多数腕戴式可穿戴电子设备应用程序仅能够显示有限数量的菜单选项(通常约为三项)。但是，通过使用边框输入手势系列，还可具有其他的输入。
图1C示出了带部滑动手势系列，所述带部滑动手势系列包括可穿戴电子设备100的带部115上的四个手势。如图所示，带部滑动手势系列可包括向上滑动120、向下滑动130、向左滑动135以及向右滑动125。在一些实施方式中，例如这四种手势可以用于需要方向控制的应用程序中。带部滑动手势系列还可以提供其它导航模式，例如通过列表或菜单导航。例如，向上滑动120和向下滑动130可以滚动竖直的项目列表。在一些实施方式中，带部滑动手势可以与触摸屏结合使用以增强交互。尽管已经描述了带部滑动手势系列包括在可穿戴电子设备100的带部115上进行的四个手势，但这些仅仅是示例。还可以在本发明的可穿戴电子设备100的带部或其他软性或柔性部件上检测到另外的或替代的手势。
图1A、1B和1C示出的手势系列仅是示例性的，而不是限制性的。可以根据一些实施方式实现另外的手势和手势系列(例如沿着边框滑动)，包括适合于可穿戴电子设备的其它形式(例如佩戴在身体的不同部分例如胸部、上臂、大腿或脚踝上的装置)的手势。手势系列可以包括图1A、1B和1C中所示的手势的任何组合，并不限于所示的组合。手势系列可以包括未在图1A，1B和1C中示出的一整组手势，或者示出的手势和未示出的手势的某种组合。
2.演示-传感器数据收集
为了说明可穿戴电子设备技术的可能实施方案，一些实施方式的方面使用两款安卓穿戴(Android Wear)智能手表来实现：LG G手表城市风(LG G Watch Urbane)和索尼智能手表3(Sony SmartWatch3)。LG手表有一个圆形屏幕和一条皮革腕带。索尼手表有一个方形屏幕和一条橡胶腕带。
许多可穿戴电子设备包括惯性测量单元，所述惯性测量单元可包括陀螺仪和加速计。根据一些实施方式，可穿戴电子设备100可产生相对于三个运动轴(x，y和z)的惯性测量传感器信号，如图2A所示。普通技术人员会认识到这些仅仅是示例，并且可以基于例如可穿戴电子设备的设计以及各种传感器的位置和取向来设置运动轴。图2B、2C和2D描绘了响应不同手势而从智能手表中的陀螺仪采集的原始传感器信号数据。附图表明，手势可以使得陀螺仪传感器数据针对每个手势具有可区分特征。类似地，响应手势输入而生成的加速计传感器数据可以使得每个手势在加速计传感器数据中具有可区分特征(数据未示出)。
图2B根据一示例性实施方式实施，示出了用户佩戴手表的手臂的左点击105和右点击110手势相关的以及非手势相关的x轴和y轴上的旋转运动。如图2B所示，左点击手势105沿着陀螺仪数据的x轴在正尖峰生成，而右点击手势110在负尖峰生成。手臂活动的较低频率和较低强度的陀螺仪数据在视觉上也不同于来自点击手势的相对更剧烈更高频率的陀螺仪数据。
类似地，可以在陀螺仪传感器数据中区分不同边框输入位置160处的边框输入手势。图2C示出了在N、E、S和W边框输入位置160处进行的四个点击。在N和S边框输入位置160处的点击通常生成较大的x轴(与y轴相比)陀螺仪传感器读数，而在E和W边框输入位置160处的点击通常产生较大的y轴(与x轴相比)陀螺仪读数。观察到与x轴上的峰值读数相比，y轴陀螺仪读数具有较低幅度的峰值读数。表带相对于表盘的取向以及表的佩戴方式可能是造成该观察结果的因素。
图2D描绘了响应在带部115上进行的四个滑动手势120、125、130、135的陀螺仪传感器数据。向上滑动120和向下滑动130使可穿戴电子设备100沿z轴正向和负向倾斜。当比较每个轴的峰值传感器读数和峰值的极性时，基于图2D的视觉检测可区分四个滑动手势120、125、130、135产生的陀螺仪传感器信号。
3.演示-数据捕获和分析
图3根据一些示例性实施方式，示出了与可穿戴电子设备一起使用的方法。该方法可以包括以下步骤：捕获传感器数据310；分析传感器数据315；向微处理器340提供命令；以及执行命令350。
根据一些实施方式，可以捕获310并且记录传感器数据供以后分析或者实时捕获和分析传感器数据。传感器数据可以包括来自例如，如上所述的设备的传感器的数据。示例而非限制性地，可以将滑动窗口应用于传感器数据，并且包含在滑动窗口内的数据可以推进到数据分析315。作为非限制性示例，数据分析315可以由设备或与设备通信的一些其他计算设备进行。例如，设备可以与智能电话进行无线通信，并且可以将捕获的传感器数据310(原始的或处理的)发送到智能电话以进行数据分析。
根据一些实施方式，数据分析315可以包括机器学习流水线(machine learningpipeline)，包括：(1)手势事件检测320和(2)手势分类330。手势事件检测320识别存在可作为用户输入了手势的标志的传感器数据。在手势事件检测320期间，可以将传感器数据与一个或多个阈值进行比较。可以将一个或(多个)阈值与来自一个传感器或传感器组合的数据进行比较。可以将事件窗口定位在例如一时域位置处，其中，该事件窗口包含与用户可能输入的手势的相关的数据，在该时域位置处传感器数据超过阈值，使得事件窗口包括与用户输入手势相对应的时间段。
手势分类330将检测到的手势事件分类为手势，例如，示例而非限制性地，上述参考图1A-1C描述的手势中的一种。手势分类330可以包括：从传感器数据提取特征；生成事件向量；将事件向量与手势分类模型进行比较；以及将手势事件分类到手势系列中。在一些情况下，手势分类可以用作辅助检查以确定用户是否输入了手势。例如，手势事件检测320的阈值可以足够低以允许误报(例如在事件窗口中检测其中未发生的一手势)；手势分类330可以确定“检测到的”可能的手势是误报还是与手势系列中的手势对应。
分类手势可以对应给微处理器的命令。可响应于可穿戴设备上的手势输入，将命令提供给微处理器340。然后可以执行该命令350。在一些情况下，该命令可以是依赖于配置指令(例如，基于可穿戴电子设备的状态或在可穿戴电子设备上执行的应用程序)的。作为非限制性示例，可穿戴电子设备可以向用户提供反馈。
在先前描述的索尼和LG智能手表上实施了一些实施方式的某些方面。在示例性实施中(并且根据一些实施方式)，使用机器学习流水线来识别手势包括两个步骤：(1)手势事件检测320；以及(2)手势分类330。
对于示例性实施，在步骤(1)手势事件检测320期间，将具有50％重叠的一秒持续时间的移动手势检测窗口应用于来自陀螺仪和加速计的数据。如将理解和明白的，移动手势检测窗口可具有更长或更短的持续时间以及更长或更短的重叠，以便有效地捕获手势输入。在上面讨论的示例性实施中，在设备允许的最高采样速率(200-250Hz)下，对陀螺仪和加速度传感器(线性加速度)进行采样。如将理解和明白的，采样速率可以变化以准确地检测和分类手势事件，并将处理数据所需的计算负荷降到最低。
在示例性实施方式中，分析来自陀螺仪的旋转运动数据和来自加速计的线性加速度数据，以确定数据是否在手势检测窗口中的任何点处通过了经验确定的阈值。如将理解和明白的，可以单独地或组合地确定用于加速计和陀螺仪确定阈值。可以基于一些其他标准将阈值定制为设备特定的、用户特定的、手势系列特定的、或它们的某种组合。
如果都没有满足阈值标准，则实施确定没有进行手势。当满足阈值标准时，数据分析315推进到步骤(2)手势分类330。在一些实施中，可以针对手势系列的每个手势定制阈值以将漏报(在手势事件检测期间未识别出手势)降到最低，同时排除大多数非手势事件(噪音)。在示例性实施方式中，阈值被设置为允许一些非手势事件推进到步骤(2)，使得漏报数量减少，并且允许在步骤(2)手势分类330中处理非手势事件。
定位每个传感器信号的最大绝对值的时域位置。为在最大点周围平衡的每个传感器流定义数据值的事件窗口，其具有0.5秒的持续时间。如将理解和明白的，根据具体实施和所检测的手势的类型，事件窗口可以捕获更宽或更窄的时间段(例如与点击相比，滑动可以具有更宽的事件窗口时间)。如果传感器的最大绝对值的时域位置太靠近手势检测窗口的边缘，则可以从前一个或下一个手势检测窗口提取事件窗口。如将理解和明白的，事件窗口不需要围绕最大数据值进行平衡，并且最大数据值可在事件窗口内暂时抵消。在步骤(1)手势事件检测320中识别的每个传感器的事件窗口推进到步骤(2)手势分类330。
如将理解和明白的，根据一些实施方式，一种滑动窗口方法，其包括应用信号处理窗口的滑动窗口方法，可以实时应用于流数据。手势检测和手势分类可以由可穿戴电子设备上的处理器进行。可选地，可穿戴电子设备可与外部计算设备配对或以其他方式与外部计算设备通信，该外部计算设备可执行手势检测和手势分类或其某些计算部分。在示例性实施方式中，智能手表与智能手机配对，传感器数据无线传输到智能手机，智能手机进行手势检测和手势分类。
根据一些实施方式，在步骤(2)手势分类330期间，可以计算每个事件窗口的特征以生成事件向量。可以将事件向量与表示手势事件的模型进行比较。基于事件向量与表示手势事件的模型的匹配，事件向量可以被分类为表示一手势。
在示例性实施方式中，计算每个传感器的每个事件窗口的特征，并将其并入事件向量中，如下所述。对于线性加速度和旋转运动的每个轴，通过对每个轴数据的导数来推导出虚拟传感器；然后，对于原始传感器和虚拟传感器的每个轴，提取一组统计特征，包括最大值、最小值、平均值、中值、标准偏差、均方根、方差、过零率和峰值及其值差异。为了捕获每个IMU传感器的不同轴之间的关系，计算每个传感器上每两个轴的能量与第一和第二绝对峰值的比率和差异。在示例性实施方式中，例如每半秒提取192个特征。
4.演示-用户试验
在示例性实施中(并且根据一些实施方式)，这些特征用于训练两个支持向量机(SVM)以进行手势分类。第一分类器将非手势事件(噪声)与手势事件区分开。如果检测到手势，则第二分类器识别出进行了哪个手势，并且流水线没有重叠地推进到下一个窗口。
在示例性实施方式中，使用来自七个训练员的训练数据，为三个手势系列中的每一个以及每一手表构建两个分类模型(事件检测和手势分类)(2*3*2＝12个模型)。每个训练员为每个手势提供20-40个样本以训练手势分类器，并另外提供20-40个噪声(非手势)样本，以训练事件检测分类器。噪音样本包括举起手臂和旋转手腕等动作。
在实验室环境中评估示例性实施方式。来自大学校园的12名参与者(4名女性，8名男性，平均年龄25岁)在两个智能手表(LG和索尼)的每一个上进行了来自三个手势系列(如图1A、1B和1C所示的侧部点击、边框输入和带部滑动)的手势。其中四名参与者有使用智能手表的经验，八名从未与智能手表进行过交互。参与者将每个手表依次贴身佩戴在手腕关节下方的左臂上，并使用右手进行手势。
首先向每名参与者展示每个手势系列，并且参与者练习进行手势。两个手表和每个手表的三个手势系列的顺序是随机的。每名参与者在每个手表上对每个手势系列进行两次会话。每次会话包括系列中每个手势的十个刺激，以随机顺序呈现。任务是进行每个刺激所指示的手势。参与者还通过抬起手臂记录了10个“噪音”事件中的两次会话。每个参与者会话持续约一个小时。对于呈现给参与者的每个刺激，记录3秒的传感器数据用于离线评估。
总共收集了6698个手势样本。使用从12名参与者收集到的数据和包括从7个训练员收集到的数据的训练集，离线评估手势识别性能的若干分析。
首先使用“留一名参与者”方法分析手势样本。噪声分类器和手势分类器都使用来自七个训练员的所有数据进行训练，再加上来自其余11名参与者的数据。
如果在步骤(1)手势事件检测320期间，在手势事件数据文件中未检测到手势事件，则该手势事件被计为漏报错误。如果在步骤(1)期间，在手势事件数据文件中识别出不止一个手势事件，则该手势事件被计为误报错误。计为漏报或误报的手势事件的数据文件不推进到步骤(2)手势分类330。在记录的6698个总手势中，误报的总数是37而漏报的总数是56。误报率范围从大约0％(索尼方形手表上的边框输入)到2％(LG圆形手表上的带部滑动)。漏报率范围从大约0％(索尼方形手表上的侧部点击)到1％(索尼方形手表上的边框输入)。
对于第一分析方法，手势分类330利用“留一名参与者”模型训练方法，其中来自训练员的数据和除了被评估的参与者数据之外的所有参与者都被用于训练手势分类模型。训练模型是手表特定的，即，从使用LG手表的训练员和参与者收集到的数据仅用于训练LG手表的手势分类模型，并且对索尼手表亦如此。手势分类模型也是手势系列特定的，参与者进行来自一个系列的手势时收集的数据不与来自不同手势系列的手势模型进行比较。然而，这仅仅是示例性的而在一些实施方式中，分类模型可以不限于特定电子设备或手势系列。正确分类手势的总体准确度范围从LG(带有皮革腕带的圆形手表)上的带部滑动的89％到索尼(带有橡胶腕带的方形手表)上的侧部点击的99％。大多数手势都被认可，准确度超过90％。
观察到侧部点击手势系列具有最准确的手势分类。侧部点击手势识别的准确度在96％至100％之间，LG(圆形)手表的最高混淆程度为4％，其中左侧点击105被误认为右侧点击110。
与LG(具有皮革腕带的圆形手表)相比，在索尼(带有橡胶腕带的方形手表)上的带部滑动系列中手势的手势分类相当准确。在示例性分析中，索尼手表的平均准确度为98％，最高混淆程度为5％，将向上滑动误认为向下滑动。LG手表对每个手势表现出准确度范围从83％到91％，平均准确度为89％。基于这些结果，带部的材料可能影响区分在可穿戴电子设备的带部上进行的手势的难易度。输入期间带部的摩擦力可能是一个影响因素。
在侧部点击和边框输入手势系列上，每个手表的手势识别的总体准确度是相似的。
边框输入系列(图1B)包括八个可区分的手势，而带部滑动为四个，侧部点击为两个。对于每个手表，手势分类准确度为93％，在相邻手势之间混淆程度最高(例如，当旨在N时，混淆为NE或NW)。对于每个手表，非相邻手势之间的混淆小于1％。
使用针对边框输入系列的手势收集的数据子集进行分析，所述数据子集包括在N、E、S和W边框输入位置160处的手势子集。对于一些用途，可能需要包括四个边框输入位置的手势系列，例如用于向上、向下、向左和向右或向北、向南、向东和向西浏览。使用两个手表中的每一个在N、E、S和W边框输入位置160处的手势的数据子集来构建分类模型。
另行使用针对NE、SE、SW和NW边框输入位置160收集的数据子集进行类似的分析。对于一些用途，可能需要包括这四个边框输入位置的系列，特别是在方形设备例如索尼手表上，设备的拐角处形成为随时可用的手势目标。
基于四个边框输入位置160的模型与八个的模型相比，总体手势识别准确度提高。关于在LG(圆形)手表上观察到的手势识别，与八个边框输入位置的准确度为93％相比，四个边框输入位置的准确度提高到超过98％。在索尼(方形)手表上，与八个边框输入位置的93％的准确度相比，四个边框输入位置的手势识别准确度提高到99％。
为了确定在训练模型中使用更多的用户数据是否提高了手势分类准确度，进行了分析，其中使用来自少于参与者总数的数据来为侧部点击、边框输入以及带部滑动手势系列创建手势分类模型。在示例性实施方式中，当手势分类模型中包括更多参与者数据时，手势分类准确度提高。
为了确定手势识别模型是否与设备无关，以及与用户无关的，使用LG手表的手势分类模型对来自索尼手表的手势输入进行分类，且反之亦然。无论是使用了LG手表还是使用了索尼手表的训练模型，都观察到侧部点击手势系列的跨设备准确度结果在LG手表上保持在97％。与使用索尼手表的模型时的99％相比，当使用LG手表的模型时，侧部点击手势系列的跨设备准确度结果在索尼手表上降低到88％。基于观察结果，可穿戴电子设备的形状可有助于对手势进行准确分类。例如，与在圆形表盘上向左或向右目标更模糊的LG手表相比，索尼手表因是其方形盘面而可允许用户更一致地输入侧面点击输入。
继续进行非依赖设备的分析，评估边框输入手势系列在手势分类中的准确度。使用索尼手表的训练模型的LG手表的边框输入的跨设备准确度结果比使用LG手表的训练模型的略低(80％对93％)，而使用LG索尼训练模型的索尼手表的边框输入的跨设备准确度结果比使用索尼训练模式的低很多(70％对93％)。基于观察结果，可穿戴电子设备的形状可有助于方便地对手势进行准确分类。例如，与具有圆形表盘的LG手表相比，索尼手表由于在其方形盘面上有明显的拐角，故可以在NE、SE、SW和NW边框输入位置160中一致地产生更好的点击。
如将理解和明白的，设备，即使是具有相同形状的设备，可以有位于相应设备内的不同位置处的惯性测量单元传感器(例如加速计和陀螺仪)，不同的定向，不同的响应行为，或者可以有不同的边界材料。这些差异也可能影响可以开发与设备无关的手势分类模型的难易度。
为了确定与用户相关的训练数据是否可以提高手势识别的准确度，通过将来自相应用户进行的其他会话的手势输入数据添加到上述与用户无关的手势分类模型中，来重新评估总体准确度小于84％的参与者会话的子集。当使用与用户相关的数据来训练手势分类模型时，观察到手势分类准确度增加。平均而言，使用用户无关模型的参与者会话子集的手势分类准确率从78％提高到还使用了10个用户相关的手势输入来训练手势分类模型的86％。
根据一些实施方式，还可以利用用户相关的机器学习手势分类模型，其中用户提供的训练数据可以用于代替或补充用户无关的训练数据。在一些情况下，手势分类模型可以是动态的，并且基于用户输入和行为来校正超时。
5.其他考虑因素
可以理解和明白的是，上述实施方式展示了本发明的实施方式的某些方面，但是与这些示例实现方式不同的实施方式也在本发明的范围内。例如，某些可能在设计时考虑其他的实际应用的实施方式。
手势事件检测阈值和手势分类模型的准确度可能受用户如何佩戴可穿戴电子设备的影响。例如，有些人可能会在靠近腕关节处佩戴手表，而另一些人可能更喜欢在远离腕关节处佩戴手表。在上述用户研究中，训练员和参与者在远离腕关节处佩戴手表以允许手腕灵活转动。对于佩戴在腕关节的骨头上的手表，腕关节将被腕带覆盖，这可能限制惯性传感器对点击或滑动事件的物理响应。如将理解和明白的，根据一些实施方式，可以开发手势检测阈值和手势分类模型，以便可以准确地检测和分类在佩戴在腕关节处附近的手表上进行的手势。类似地，根据一些实施方式，可以定制阈值和模型以准确地检测和分类在佩戴得更松或佩戴在左臂上的手表上进行的手势。通常，并且根据一些实施方式，可以针对可穿戴电子设备的几何形状、惯性传感器在设备中的位置，设备的佩戴方式以及用户的动作来定制阈值和模型。
尽管本发明一般性地讨论了涉及可穿戴电子设备例如智能手表的实施方式，但是应当理解，所公开技术的某些方面可以使用或与非可穿戴或可选地可穿戴的小型电子设备一起实现。再次，这仅仅是示例，并且本发明的各方面可以在各种小型电子设备中实现。
Claims (43)
1.一种可穿戴电子设备，包括：
多个传感器，其被配置为响应可穿戴电子设备的第一移动而产生一个或多个第一输入信号；
表面；
微处理器；以及
存储有指令的存储器，当所述微处理器执行所述指令时，控制所述微处理器响应于对一个或多个第一输入信号的分析执行与第一手势相对应的第一命令，其中，所述对一个或多个第一输入信号的分析表明所述一个或多个第一输入信号与在所述表面上进行的第一手势相对应，所述第一手势不能被嵌入在所述表面中或与所述表面直接通信的传感器检测到。
2.根据权利要求1所述的可穿戴电子设备，其特征在于：所述可穿戴电子设备是腕戴式设备，其包括表盘、壳体和带部，所述表盘的线性尺寸在64mm以下。
3.根据权利要求1所述的可穿戴电子设备，其特征在于：所述第一手势是在所述表面上的点击或滑动。
4.根据权利要求2所述的可穿戴电子设备，其特征在于：所述表面位于所述腕戴式装置的所述壳体上或带部上。
5.根据权利要求1所述的可穿戴电子设备，其特征在于：所述手势由手指与表面的接触而构成。
6.根据权利要求1所述的可穿戴电子设备，其特征在于：所述多个传感器被配置为响应所述可穿戴电子设备的第二移动而产生一个或多个第二输入信号；以及
当所述微处理器执行所述指令时，还控制所述微处理器响应于对一个或多个第二输入信号的分析执行与第二手势对应的第二命令，其中，所述对一个或多个第二输入信号的分析表明所述一个或多个第二输入信号与在所述表面上进行的所述第二手势相对应。
7.根据权利要求6所述的可穿戴电子设备，其特征在于：所述第一命令和所述第二命令是分别映射到所述第一手势和所述第二手势的不同命令。
8.根据权利要求1所述的可穿戴电子设备，其特征在于：所述微处理器执行的所述第一命令通过向用户提供反馈来控制所述可穿戴电子设备响应所述第一手势。
9.根据权利要求1所述的可穿戴电子设备，其特征在于：所述多个传感器包括加速计和陀螺仪。
10.根据权利要求9所述的可穿戴电子设备，其特征在于：所述一个或多个第一输入信号包括来自所述加速计的加速度信号和来自所述陀螺仪的旋转运动信号。
11.根据权利要求10所述的可穿戴电子设备，其特征在于：所述第一手势是手势系列中的多种手势中的一种，其中，所述手势系列中的所述多种手势中的每一种都映射到多个命令中的一个，且所述第一命令是所述多个命令中的一个。
12.根据权利要求11所述的可穿戴电子设备，其特征在于：所述手势系列包括通过点击所述表面的左侧进行的左点击手势和通过点击所述表面的右侧进行的右点击手势。
13.根据权利要求11所述的可穿戴电子设备，其特征在于：所述手势系列包括向上滑动、向下滑动、向左滑动和向右滑动。
14.根据权利要求13所述的可穿戴电子设备，其特征在于：
所述可穿戴电子设备是腕戴式设备；并且
所述表面是腕戴式设备的带部。
15.根据权利要求11所述的可穿戴电子设备，其特征在于：还包括表盘和壳体，所述壳体包括围绕所述表盘的边框；
所述表面是所述边框。
16.根据权利要求1所述的可穿戴电子设备，其特征在于：当所述微处理器执行所述指令时，进一步控制所述微处理器分析所述一个或多个第一输入信号以确定所述第一移动与所述第一手势对应。
17.根据权利要求16所述的可穿戴电子设备，其特征在于：所述分析包括手势事件检测和手势分类。
18.根据权利要求17所述的可穿戴电子设备，其特征在于：所述手势分类至少部分地基于用户相关的手势事件数据。
19.根据权利要求16所述的可穿戴电子设备，其特征在于：当所述微处理器执行所述指令时，进一步控制所述微处理器分析由所述多个传感器产生的一个或多个第二输入信号以确定所述一个或多个第二输入信号与所述可穿戴电子设备可检测的手势系列中的手势不对应。
20.根据权利要求1所述的可穿戴电子设备，其特征在于：还包括收发器；
当微处理器执行所述指令时，进一步控制微处理器使用所述收发器将所述一个或多个第一输入信号发送到配对设备以分析所述一个或多个第一输入信号。
21.一种方法，包括：
响应可穿戴电子设备的移动，捕获来自与集成到所述可穿戴电子设备中的一个或多个传感器的第一传感器数据；以及
响应于对第一传感器数据的分析，向所述可穿戴电子设备的微处理器提供与所述第一手势对应的第一命令，其中，所述对第一传感器数据的分析表明所述移动与在可穿戴电子设备的表面进行的第一手势相对应，所述第一手势不能被嵌入所述表面或与所述表面直接通信的传感器检测到。
22.根据权利要求21所述的方法，其特征在于：还包括分析所述第一传感器数据。
23.根据权利要求22所述的方法，其特征在于：分析所述第一传感器数据包括进行手势事件检测和进行手势分类。
24.根据权利要求23所述的方法，其特征在于：手势事件检测包括将第一传感器数据的峰值与阈值进行比较。
25.根据权利要求23所述的方法，其特征在于：手势分类包括从所述第一传感器数据中提取多个特征，基于所述多个特征生成事件向量，以及将所述事件向量与多个手势分类模型进行比较。
26.根据权利要求25所述的方法，其特征在于：所述多个手势分类模型包括与用户无关的模型。
27.根据权利要求25所述的方法，其特征在于：所述多个手势分类模型至少部分地基于对所述表面的多个接触，所述多个接触中的每个都对应于手势系列中的多个手势的一个。
28.根据权利要求23所述的方法，其特征在于：手势事件检测包括将手势事件与非手势事件区分开。
29.根据权利要求27所述的方法，其特征在于：所述手势系列中的多个手势对应于向上、向下、向左和向右浏览命令。
30.根据权利要求27所述的方法，其特征在于：所述多个手势表示确认和拒绝命令。
31.根据权利要求21所述的方法，其特征在于：所述第一传感器数据包括加速度信号和旋转运动信号。
32.根据权利要求31所述的方法，其特征在于：还包括分析所述第一传感器数据；其中，所述分析包括从所述第一传感器数据中提取多个特征。
33.根据权利要求32所述的方法，其特征在于：所述分析还包括基于所述多个特征生成事件向量。
34.根据权利要求33所述的方法，其特征在于：所述分析还包括将所述事件向量与多个手势分类模型进行比较。
35.根据权利要求21所述的方法，其特征在于：所述第一手势是在所述表面上的点击或滑动。
36.根据权利要求21所述的方法，其特征在于：所述第一手势是手势系列中的多个手势中的一个，其中，所述手势系列中的所述多个手势中的每一个都映射到多个命令中的一个，并且所述第一命令是所述多个命令中的一个。
37.根据权利要求36所述的方法，其特征在于：所述可穿戴电子设备是腕戴式设备。
38.根据权利要求37所述的方法，其特征在于：所述接触是在所述腕戴式设备的带部上的滑动。
39.根据权利要求21所述的方法，其特征在于：还包括基于提供给所述微处理器的第一命令向用户提供反馈。
40.根据权利要求39所述的方法，其特征在于：所述给用户的反馈包括选择在所述可穿戴电子设备的屏幕上显示的菜单项或者选择在所述屏幕上显示的按钮。
41.根据权利要求23所述的方法，其特征在于：手势事件检测包括确定包括手势事件数据的事件窗口。
42.根据权利要求21所述的方法，其特征在于，还包括：从集成到所述可穿戴电子设备上的所述一个或多个传感器中捕获第二传感器数据；以及分析所述第二传感器数据以确定所述第二传感器数据与所述可穿戴电子设备可检测的手势系列中的手势不对应。
43.一种非暂时性计算机可读介质，其特征在于：其存储有计算机程序代码，当处理器执行所述计算机程序代码时，控制所述处理器实施如权利要求21-42中的一项或多项所述的方法。
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US201662380691P | 2016-08-29 | 2016-08-29 | |
| US62/380,691 | 2016-08-29 | ||
| PCT/US2017/049103 WO2018044880A1 (en) | 2016-08-29 | 2017-08-29 | Extending interactions of a portable electronic device |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN109643190A true CN109643190A (zh) | 2019-04-16 |
Family
ID=61301665
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201780052763.2A Pending CN109643190A (zh) | 2016-08-29 | 2017-08-29 | 便携式电子设备的扩展交互 |
Country Status (5)
| Country | Link |
|---|---|
| US (1) | US10684694B2 (zh) |
| EP (1) | EP3504612A4 (zh) |
| CN (1) | CN109643190A (zh) |
| CA (1) | CA3034779C (zh) |
| WO (1) | WO2018044880A1 (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110989774A (zh) * | 2019-11-29 | 2020-04-10 | 维沃移动通信有限公司 | 可穿戴设备及其控制方法、控制装置 |
| CN111752445A (zh) * | 2019-06-12 | 2020-10-09 | 广东小天才科技有限公司 | 一种可穿戴设备的页面控制方法及可穿戴设备 |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2018131251A1 (ja) * | 2017-01-12 | 2018-07-19 | ソニー株式会社 | 情報処理装置、情報処理方法、及びプログラム |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102770829A (zh) * | 2010-03-15 | 2012-11-07 | 日本电气株式会社 | 输入设备、输入方法和程序 |
| CN103217895A (zh) * | 2013-04-07 | 2013-07-24 | 上海与德通讯技术有限公司 | 支持手势功能的电子腕表和电子通讯设备 |
| CN103793042A (zh) * | 2012-10-30 | 2014-05-14 | 莫凌飞 | 一种人体运动信息交互及显示的系统和方法 |
| CN104247383A (zh) * | 2012-02-28 | 2014-12-24 | 摩托罗拉移动有限责任公司 | 用于操作电子装置中的显示器的方法和设备 |
| WO2016111668A1 (en) * | 2015-01-05 | 2016-07-14 | Hewlett-Packard Development Company, L.P. | Discrete cursor movement based on touch input region |
Family Cites Families (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7778118B2 (en) | 2007-08-28 | 2010-08-17 | Garmin Ltd. | Watch device having touch-bezel user interface |
| US8624836B1 (en) * | 2008-10-24 | 2014-01-07 | Google Inc. | Gesture-based small device input |
| US8917239B2 (en) | 2012-10-14 | 2014-12-23 | Neonode Inc. | Removable protective cover with embedded proximity sensors |
| US10185416B2 (en) * | 2012-11-20 | 2019-01-22 | Samsung Electronics Co., Ltd. | User gesture input to wearable electronic device involving movement of device |
| DE112013007524T5 (de) | 2013-10-24 | 2016-08-04 | Apple Inc. | Armbandgerät-Eingabe mittels Handgelenkbewegung |
| KR20150065336A (ko) | 2013-12-05 | 2015-06-15 | 삼성전자주식회사 | 전자 장치의 제스처 인식 방법, 장치 및 컴퓨터 판독 가능한 기록 매체 |
-
2017
- 2017-08-29 WO PCT/US2017/049103 patent/WO2018044880A1/en active Application Filing
- 2017-08-29 CA CA3034779A patent/CA3034779C/en active Active
- 2017-08-29 EP EP17847362.5A patent/EP3504612A4/en active Pending
- 2017-08-29 CN CN201780052763.2A patent/CN109643190A/zh active Pending
- 2017-08-29 US US16/328,684 patent/US10684694B2/en active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102770829A (zh) * | 2010-03-15 | 2012-11-07 | 日本电气株式会社 | 输入设备、输入方法和程序 |
| CN104247383A (zh) * | 2012-02-28 | 2014-12-24 | 摩托罗拉移动有限责任公司 | 用于操作电子装置中的显示器的方法和设备 |
| CN103793042A (zh) * | 2012-10-30 | 2014-05-14 | 莫凌飞 | 一种人体运动信息交互及显示的系统和方法 |
| CN103217895A (zh) * | 2013-04-07 | 2013-07-24 | 上海与德通讯技术有限公司 | 支持手势功能的电子腕表和电子通讯设备 |
| WO2016111668A1 (en) * | 2015-01-05 | 2016-07-14 | Hewlett-Packard Development Company, L.P. | Discrete cursor movement based on touch input region |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111752445A (zh) * | 2019-06-12 | 2020-10-09 | 广东小天才科技有限公司 | 一种可穿戴设备的页面控制方法及可穿戴设备 |
| CN110989774A (zh) * | 2019-11-29 | 2020-04-10 | 维沃移动通信有限公司 | 可穿戴设备及其控制方法、控制装置 |
Also Published As
| Publication number | Publication date |
|---|---|
| WO2018044880A1 (en) | 2018-03-08 |
| EP3504612A1 (en) | 2019-07-03 |
| CA3034779A1 (en) | 2018-03-08 |
| EP3504612A4 (en) | 2020-04-29 |
| US20190204932A1 (en) | 2019-07-04 |
| US10684694B2 (en) | 2020-06-16 |
| CA3034779C (en) | 2023-09-26 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CA3033852C (en) | Electronic device and method of controlling the same | |
| US8421634B2 (en) | Sensing mechanical energy to appropriate the body for data input | |
| Wang et al. | Hear sign language: A real-time end-to-end sign language recognition system | |
| Kim et al. | The gesture watch: A wireless contact-free gesture based wrist interface | |
| US20180178061A1 (en) | Rehabilitation compliance devices | |
| CN102262476B (zh) | 传输触觉信息的系统和方法 | |
| EP2901246B1 (en) | Remote control with 3d pointing and gesture recognition capabilities | |
| CN105159539B (zh) | 可穿戴设备的触控响应方法、装置及可穿戴设备 | |
| Zhang et al. | WatchOut: extending interactions on a smartwatch with inertial sensing | |
| US20190236344A1 (en) | Methods of determining handedness for virtual controllers | |
| US20150084859A1 (en) | System and Method for Recognition and Response to Gesture Based Input | |
| CN104056441A (zh) | 信息处理系统、信息处理方法及存储装置 | |
| CN109643190A (zh) | 便携式电子设备的扩展交互 | |
| Gowing et al. | Kinect vs. low-cost inertial sensing for gesture recognition | |
| CN105452979A (zh) | 用于在体育应用中输入信息的设备和方法 | |
| US20210068674A1 (en) | Track user movements and biological responses in generating inputs for computer systems | |
| Guo et al. | When your wearables become your fitness mate | |
| CN108009620A (zh) | 一种大礼拜计数方法、系统和装置 | |
| JP2016534480A (ja) | ジェスチャ認識のための変換およびスケール不変の機能 | |
| Schade et al. | On the Advantages of Hand Gesture Recognition with Data Gloves for Gaming Applications | |
| Forbes | Mouse HCI through combined EMG and IMU | |
| KR102363435B1 (ko) | 골프 스윙 동작 피드백 제공 장치 및 방법 | |
| US20230214064A1 (en) | Adaptive user interfaces for wearable devices | |
| JP6170973B2 (ja) | 携帯情報端末、情報処理方法、及び、プログラム | |
| CN108635806A (zh) | 一种运动训练采集反馈系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20190416 |
|
| RJ01 | Rejection of invention patent application after publication |