CN117590936A - 使用经由可穿戴设备的神经肌肉信号传感器检测的空中手势来导航用户界面，及其系统和使用方法 - Google Patents
使用经由可穿戴设备的神经肌肉信号传感器检测的空中手势来导航用户界面，及其系统和使用方法 Download PDFInfo
- Publication number
- CN117590936A CN117590936A CN202311051703.2A CN202311051703A CN117590936A CN 117590936 A CN117590936 A CN 117590936A CN 202311051703 A CN202311051703 A CN 202311051703A CN 117590936 A CN117590936 A CN 117590936A
- Authority
- CN
- China
- Prior art keywords
- user
- gesture
- wrist
- user interface
- focus
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 116
- 230000002232 neuromuscular Effects 0.000 title claims abstract description 43
- 210000000707 wrist Anatomy 0.000 claims abstract description 284
- 230000033001 locomotion Effects 0.000 claims abstract description 99
- 230000015654 memory Effects 0.000 claims description 70
- 238000003860 storage Methods 0.000 claims description 15
- 210000003128 head Anatomy 0.000 description 90
- 210000003813 thumb Anatomy 0.000 description 82
- 230000004044 response Effects 0.000 description 56
- 210000003811 finger Anatomy 0.000 description 53
- 238000004891 communication Methods 0.000 description 49
- 230000002093 peripheral effect Effects 0.000 description 47
- 230000009471 action Effects 0.000 description 42
- 230000007246 mechanism Effects 0.000 description 39
- 230000008878 coupling Effects 0.000 description 38
- 238000010168 coupling process Methods 0.000 description 38
- 238000005859 coupling reaction Methods 0.000 description 38
- 238000012545 processing Methods 0.000 description 35
- 230000006870 function Effects 0.000 description 27
- 230000003993 interaction Effects 0.000 description 22
- 230000003213 activating effect Effects 0.000 description 21
- 238000003384 imaging method Methods 0.000 description 17
- 230000003190 augmentative effect Effects 0.000 description 16
- 238000002567 electromyography Methods 0.000 description 16
- 230000000694 effects Effects 0.000 description 13
- 230000000712 assembly Effects 0.000 description 12
- 238000000429 assembly Methods 0.000 description 12
- 239000011521 glass Substances 0.000 description 12
- 238000009877 rendering Methods 0.000 description 12
- 230000000007 visual effect Effects 0.000 description 12
- 230000008569 process Effects 0.000 description 11
- 238000013519 translation Methods 0.000 description 10
- 210000003205 muscle Anatomy 0.000 description 9
- 230000004913 activation Effects 0.000 description 7
- 230000008859 change Effects 0.000 description 7
- 238000007726 management method Methods 0.000 description 7
- 238000012544 monitoring process Methods 0.000 description 7
- 230000003287 optical effect Effects 0.000 description 7
- 239000012530 fluid Substances 0.000 description 6
- 230000000977 initiatory effect Effects 0.000 description 6
- 238000005259 measurement Methods 0.000 description 6
- 238000013523 data management Methods 0.000 description 5
- 238000010586 diagram Methods 0.000 description 5
- 230000036541 health Effects 0.000 description 5
- 230000000670 limiting effect Effects 0.000 description 5
- 210000004932 little finger Anatomy 0.000 description 5
- 230000001413 cellular effect Effects 0.000 description 4
- 230000002354 daily effect Effects 0.000 description 4
- 238000001514 detection method Methods 0.000 description 4
- 239000004744 fabric Substances 0.000 description 4
- 230000008921 facial expression Effects 0.000 description 4
- 239000000463 material Substances 0.000 description 4
- 238000012546 transfer Methods 0.000 description 4
- 230000007704 transition Effects 0.000 description 4
- 241001522296 Erithacus rubecula Species 0.000 description 3
- 239000004433 Thermoplastic polyurethane Substances 0.000 description 3
- 230000003247 decreasing effect Effects 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 230000001815 facial effect Effects 0.000 description 3
- 230000006872 improvement Effects 0.000 description 3
- 239000007788 liquid Substances 0.000 description 3
- 239000004984 smart glass Substances 0.000 description 3
- 229920002803 thermoplastic polyurethane Polymers 0.000 description 3
- 230000001133 acceleration Effects 0.000 description 2
- 238000005452 bending Methods 0.000 description 2
- 230000008901 benefit Effects 0.000 description 2
- 210000004556 brain Anatomy 0.000 description 2
- 238000005266 casting Methods 0.000 description 2
- 238000006243 chemical reaction Methods 0.000 description 2
- 239000004020 conductor Substances 0.000 description 2
- 229920001971 elastomer Polymers 0.000 description 2
- 239000000806 elastomer Substances 0.000 description 2
- 230000007613 environmental effect Effects 0.000 description 2
- 230000008713 feedback mechanism Effects 0.000 description 2
- 230000003155 kinesthetic effect Effects 0.000 description 2
- 238000010801 machine learning Methods 0.000 description 2
- 238000004519 manufacturing process Methods 0.000 description 2
- 238000013507 mapping Methods 0.000 description 2
- 150000002926 oxygen Chemical class 0.000 description 2
- 230000024159 perception of rate of movement Effects 0.000 description 2
- 239000002243 precursor Substances 0.000 description 2
- 238000003825 pressing Methods 0.000 description 2
- 230000000284 resting effect Effects 0.000 description 2
- 238000010079 rubber tapping Methods 0.000 description 2
- 230000035807 sensation Effects 0.000 description 2
- 239000007787 solid Substances 0.000 description 2
- 210000004243 sweat Anatomy 0.000 description 2
- 230000002618 waking effect Effects 0.000 description 2
- 241000251468 Actinopterygii Species 0.000 description 1
- 101100408383 Mus musculus Piwil1 gene Proteins 0.000 description 1
- 208000012902 Nervous system disease Diseases 0.000 description 1
- 208000025966 Neurological disease Diseases 0.000 description 1
- 239000008186 active pharmaceutical agent Substances 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 230000000386 athletic effect Effects 0.000 description 1
- QVGXLLKOCUKJST-UHFFFAOYSA-N atomic oxygen Chemical compound [O] QVGXLLKOCUKJST-UHFFFAOYSA-N 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000004397 blinking Effects 0.000 description 1
- 239000008280 blood Substances 0.000 description 1
- 210000004369 blood Anatomy 0.000 description 1
- 239000003990 capacitor Substances 0.000 description 1
- 239000002775 capsule Substances 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 150000001875 compounds Chemical class 0.000 description 1
- 238000013479 data entry Methods 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 238000006073 displacement reaction Methods 0.000 description 1
- 210000005069 ears Anatomy 0.000 description 1
- 239000013013 elastic material Substances 0.000 description 1
- 229920001746 electroactive polymer Polymers 0.000 description 1
- 238000002570 electrooculography Methods 0.000 description 1
- 230000008451 emotion Effects 0.000 description 1
- 238000005265 energy consumption Methods 0.000 description 1
- 230000003203 everyday effect Effects 0.000 description 1
- 208000030533 eye disease Diseases 0.000 description 1
- 230000004424 eye movement Effects 0.000 description 1
- 229920005570 flexible polymer Polymers 0.000 description 1
- 210000000245 forearm Anatomy 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 230000005021 gait Effects 0.000 description 1
- 239000007789 gas Substances 0.000 description 1
- 125000001475 halogen functional group Chemical group 0.000 description 1
- 210000004247 hand Anatomy 0.000 description 1
- 230000017525 heat dissipation Effects 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 230000006698 induction Effects 0.000 description 1
- 239000011261 inert gas Substances 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 238000011835 investigation Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 230000004807 localization Effects 0.000 description 1
- 230000007774 longterm Effects 0.000 description 1
- 230000014759 maintenance of location Effects 0.000 description 1
- 239000012528 membrane Substances 0.000 description 1
- 238000002156 mixing Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003387 muscular Effects 0.000 description 1
- 208000018360 neuromuscular disease Diseases 0.000 description 1
- 239000001301 oxygen Substances 0.000 description 1
- 229910052760 oxygen Inorganic materials 0.000 description 1
- 238000004091 panning Methods 0.000 description 1
- 230000010399 physical interaction Effects 0.000 description 1
- 239000006187 pill Substances 0.000 description 1
- 229920000642 polymer Polymers 0.000 description 1
- 238000002360 preparation method Methods 0.000 description 1
- 239000000047 product Substances 0.000 description 1
- 210000001747 pupil Anatomy 0.000 description 1
- 208000014733 refractive error Diseases 0.000 description 1
- 238000012552 review Methods 0.000 description 1
- 230000021317 sensory perception Effects 0.000 description 1
- 238000004088 simulation Methods 0.000 description 1
- 238000004513 sizing Methods 0.000 description 1
- 230000005236 sound signal Effects 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 239000013589 supplement Substances 0.000 description 1
- 239000004753 textile Substances 0.000 description 1
- 238000001931 thermography Methods 0.000 description 1
- 238000012384 transportation and delivery Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
Landscapes
- Engineering & Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- User Interface Of Digital Computer (AREA)
Abstract
本文描述的各种实施方式包括用于使用在可穿戴设备处检测到的手势来导航用户界面的方法和系统。一种示例性方法包括：经由用户穿戴的腕部可穿戴设备的一个或多个神经肌肉信号传感器接收在用户的腕部执行空中腕部移动期间产生的数据。该方法还包括根据空中腕部移动在用户界面上移动焦点；以及经由一个或多个神经肌肉信号传感器接收在用户执行空中手势期间产生的附加数据。该方法还包括确定该空中手势是执行手势；以及执行对应于该执行手势的命令。
Description
优先权和相关申请
本申请要求2023年8月2日提交的、申请号为18/364,396的美国专利申请的优先权，该美国专利申请是2023年7月26日提交的、申请号为18/359,855的美国专利申请的部分继续申请，该申请号为18/359,855的专利申请的名称为“Multi-Stage Gestures DetectedBased on Neuromuscular-Signal Sensors of a Wearable Device to Activate User-Interface Interactions with Low-False Positive Rates,and Systems and Methodsof Use Thereof”，该申请号为18/359,855的申请要求以下优先权：
·2022年8月18日提交的名称为“Navigating a User Interface Using In-AirGestures Detected Via Neuromuscular-Signal Sensors of a Wearable Device,andSystems and Methods of Use Thereof”的申请号为63/399,187的美国临时专利申请；
·2022年8月18日提交的名称为“Multi-Stage Gestures Detected Based onNeuromuscular-Signal Sensors of a Wearable Device to Activate User-InterfaceInteractions with Low-False Positive Rates,and Systems and Methods of UseThereof”的申请号为63/399,188的美国临时专利申请；
·2022年10月10日提交的名称为“Multi-Stage Gestures Detected Based onNeuromuscular-Signal Sensors of a Wearable Device to Activate User-InterfaceInteractions with Low-False Positive Rates,and Systems and Methods of UseThereof”的申请号为63/414,880的美国临时专利申请；以及
·2022年10月10日提交的名称为“Navigating a User Interface Using In-AirGestures Detected Via Neuromuscular-Signal Sensors of a Wearable Device,andSystems and Methods of Use Thereof”的申请号为63/414,884的美国临时专利申请，
这些申请中的每个申请的全部内容都通过引用并入本文。
技术领域
本公开总体涉及可穿戴设备(例如，腕部可穿戴设备和头部可穿戴设备)和使用可穿戴设备检测不同类型手势的方法，更具体地，涉及被配置为检测对应于空中手势(例如，由用户的手指在不接触任何电子设备的情况下执行的手势)的基于神经肌肉的信号并执行相应命令的可穿戴设备。
背景技术
用户通常会携带许多电子设备来帮助他们的日常生活。例如，用户携带智能手机、智能手表以及其他有助于用户的生活更加顺畅的电子设备，例如，通过允许电子设备发送消息和电子邮件、以及捕获图像和做笔记而使用户的生活更加顺畅。许多设备需要用户处理、打开或以其他方式设置他们的设备并与他们的设备进行物理交互，这需要用户腾出他们的双手，这会降低用户的体验，并且效率较低。此外，许多设备与这些设备进行物理交互以控制光标或焦点，这也会降低用户体验，并且效率较低。因此，期望解决上述一个或多个问题、缺点或领域以进行进一步研究。
发明内容
如上所述，需要一种可以检测空中手势以控制电子设备(例如，光标或焦点)的可穿戴设备，而无需与电子设备进行物理交互或需要用于用户手势的大的开放空间。
本文描述的系统(例如，可穿戴设备)和方法通过允许用户使用由一个或多个可穿戴设备(例如，腕部可穿戴设备)检测到的手势有效地与用户界面交互，从而解决了上述缺点中的至少一些缺点，该一个或多个可穿戴设备(例如，腕部可穿戴设备)包括用于检测用户执行的手势的传感器。可穿戴设备处的传感器可以包括肌电(electromyography，EMG)传感器(例如，用于检测肌肉反应)、惯性测量单元(inertial measurement unit，IMU)传感器和飞行时间传感器(例如，用于检测空间距离)。
如本文所描述的，由用户执行的空中手势可以对应于控制一个或多个可穿戴设备(例如，头部可穿戴设备、腕部可穿戴式设备、智能手机和/或中间设备)的操作。例如，用户在腕部可穿戴设备上执行的腕部旋转手势可以使得焦点在用户界面内移动(并选择用户界面元素)。或者，捏合手势(例如，当用户的小指接触他们的拇指时)或拇指移动可以使得焦点移动和/或对齐到用户界面元素(例如，将焦点给予该元素或选择该元素)。此外，其他类型的手势可以激活与所选用户界面元素相关联的各种功能。
本文描述的可穿戴设备在接收或检测到用户的空中手势之后，可以向计算设备提供数据，该数据使得计算设备在头部可穿戴设备或其他电子设备上执行操作。计算设备可以是另一可穿戴设备或中间设备(例如，智能手机)。在一些情况下，可穿戴设备(或中间设备)被配置为使得操作在其他电子设备(例如，智能手机)上执行。
通过这种方式，用户执行的空中手势可以直接使得操作被执行以控制一个或多个电子设备。用户执行的其他空中手势可以在头部可穿戴设备上或在另一电子设备上执行自动操作。例如，由用户执行的空中手势(例如，捏合、轻击和对齐手势)可以发起自动操作，例如执行应用、发送消息或捕捉照片。
作为说明性示例，假设某个人，例如罗宾(Robin)想要在拥挤的公共汽车或火车上导航用户界面(例如，打开音乐应用程序并选择要收听的播放列表)。按照惯例，罗宾需要取出她的手机或其他设备。此外，在罗宾取出她的手机或设备后，她将需要使用触敏表面或键盘和鼠标来执行多项操作。如果罗宾已经拿着东西，或者罗宾访问她的设备很困难，这些操作可能是具有挑战性的和/或具有负担的。此外，在周围有很多人的情况下，使用手机或设备(或依赖大型手势或语音命令)可能会损害罗宾的隐私。
本文描述的系统允许罗宾快速且高效地导航用户界面，而无需取出任何设备(或无需可能在社会上不能被接受或不切实际的大的手势或语音命令)。例如，罗宾可以通过一个或多个可穿戴设备上的传感器检测到的小的空中手势(例如，腕部旋转和/或拇指和其余四指移动)来导航用户界面并执行命令。对于罗宾来说，这种方法快速高效，有助于保护她的隐私，并可以在可穿戴设备上节省能源。用户界面可以在头部可穿戴设备、腕部可穿戴设备和/或任何其他中间设备上显示给罗宾。通过这种方式，向罗宾提供了一种快速有效地执行命令和/或导航用户界面的免手持的方法。
这些改进允许可穿戴设备被设计为使得它们在日常使用中舒适、实用并被社会所接受。此外，这些改进允许用户与可穿戴设备和/或用户界面交互，而不需要与任何设备直接物理接触。此外，用户还可以使用特定的空中手势来修改正在与哪个电子设备进行交互。所有这些都进一步推动了让更多用户在人工现实(AR和VR)空间中采用新兴技术的目标，以满足更多的使用案例，特别是在大型、定义明确的开放空间中不仅仅用于游戏用途。
此外，本文描述的系统和方法可以允许更高效和简化的人机界面，因为它们可以向用户提供用于与电子设备和数字媒体交互的工具，而不会给用户带来不便或要求用户与任何电子设备进行物理交互。因此，这些改进通过提供更少的可视元素来简化用户界面，并简化用于与此类界面交互的用户输入。本文描述的一些手势和操作可以在没有显示任何用户界面的情况下执行，这允许用户在他们在物理世界中执行他们的日常任务时更无缝地与数字技术交互，并减少数字技术的能量消耗。
根据一些实施例，提供了一种使用腕部移动来控制用户界面的方法。该方法包括：(i)经由用户穿戴的腕部可穿戴设备的一个或多个神经肌肉信号传感器接收在用户执行空中腕部移动期间产生的数据；(ii)根据空中腕部移动在用户界面上移动焦点；(iii)经由该一个或多个神经肌肉信号传感器接收用户在空中手势执行期间产生的附加数据；(iv)确定空中手势是执行手势；以及(v)执行对应于执行手势的命令。
根据一些实施例，提供了一种使用空中手势来控制用户界面中的焦点的方法。该方法包括：(i)经由用户穿戴的腕部可穿戴设备的一个或多个传感器接收在用户执行空中手势期间产生的数据；(ii)基于传感器数据确定空中手势是用户界面控制手势；(iii)根据用户界面控制手势在用户界面上移动焦点；以及(iv)根据确定了焦点位于可选用户界面元素的阈值距离内，通过将焦点对齐到可选用户界面元素来选择用户界面元素。
在一些实施例中，计算设备(例如，腕部可穿戴设备或头部可穿戴设备、或中间设备(诸如智能手机或台式或膝上型计算机)，该中间设备被配置为协调腕部可穿戴设备和头部可穿戴设备处的操作)包括一个或多个处理器、存储器、显示器(在一些实施例中，显示器可以是可选的(诸如对于可以协调腕部可穿戴设备和头部可穿戴设备处的操作的特定示例中间设备来说)，并且因此具有充足的处理和功率资源，但不需要具有自己的显示器)，以及存储在该存储器中的一个或多个程序。所述程序被配置为由所述一个或多个处理器执行。所述一个或多个程序包括用于执行(或使得执行)本文描述的各个方法(例如，包括下面详细描述的方法800、900和1000)的指令。
在一些实施例中，非暂时性计算机可读存储介质存储被配置为由具有一个或多个处理器、存储器和显示器的计算设备(例如，腕部可穿戴设备或头部可穿戴设备，或者中间设备(诸如智能手机或台式或膝上型计算机)，该中间设备可以被配置为协调在腕部可穿戴设备和头部可穿戴设备处的操作)执行的一个或多个程序(在一些实施例中，显示器可以是可选的(诸如对于可以协调在腕式可穿戴设备和头部可穿戴设备处的操作的中间设备来说)，并因此具有充足的处理和功率资源，但不需要具有自己的显示器)。所述一个或多个程序包括用于执行(或使得执行)本文描述的各个方法(例如，包括下面详细描述的方法800、900和1000)的指令。
因此，公开了用于基于神经肌肉信号检测空中手势的方法、系统和计算机可读存储介质。此类方法和系统可以补充或取代用于手势检测的传统方法。
说明书中描述的特征和优点不一定包括所有内容，尤其是根据本公开中提供的附图、说明书和权利要求书，一些附加特征和优点对于本领域普通技术人员来说是显而易见的。此外，应当注意，本说明书中使用的语言主要是出于可读性和指导目的而选择的，并不一定被选择来描绘或限定本文描述的主题。
附图说明
为了更详细地理解本公开，可以通过参考各种实施例的特征来进行更具体的描述，其中一些实施例在附图中示出。然而，附图仅示出了本公开的相关特征，因此不一定被认为是限制性的，因为如本领域技术人员在阅读本公开时将理解的那样，本说明书可以承认其他有效的特征。
图1A至图1H示出了根据一些实施例的与人工现实系统(例如，至少包括虚拟头戴式视图器(headset)和腕部可穿戴设备)交互的示例用户场景。
图2A至图2F示出了根据一些实施例的与可穿戴设备交互的示例用户场景。
图3A至图3C示出了根据一些实施例的与可穿戴设备交互的另一示例用户场景。
图4A至图4F示出了根据一些实施例的与可穿戴设备交互的又一示例用户场景。
图5A至5E示出了根据一些实施例的与人工现实系统(例如，至少包括增强现实眼镜和腕部可穿戴设备)交互的示例用户场景。
图6A至图6G示出了根据一些实施例的与可穿戴设备交互的又一示例用户场景。
图6H至图6O示出了根据一些实施例的与可穿戴设备交互的又一示例用户场景。
图7A至图7R示出根据一些实施例的与可穿戴设备交互的又一示例用户场景。
图7S至图7U示出了根据一些实施例的与可穿戴设备交互的又一示例用户场景。
图8A至图8B为示出了根据一些实施例的使用空中手势来控制用户界面中的焦点的示例方法的流程图。
图9A至图9B为示出了根据一些实施例的使用空中手势来控制用户界面中的焦点的另一示例方法的流程图。
图10A至图10B为示出了根据一些实施例的使用腕部移动来控制用户界面的示例方法的流程图。
图11A至图11D示出了根据一些实施例的示例AR系统。
图12A至图12B示出了根据一些实施例的示例腕部可穿戴设备。
图13A至图13C示出了根据一些实施例的示例人工现实系统。
图14A至图14B示出了根据一些实施例的示例手持设备。
图15A至图15C示出了根据一些实施例的示例可穿戴手套。
根据惯例，附图中所示的各种特征不一定是按比例绘制的，并且在整个说明书和附图中可以使用相似的附图标记来表示相似的特征。
具体实施方式
本公开的实施例可以包括各种类型或各种实施例的人工现实系统、或者可以结合各种类型或各种实施例的人工现实系统来实现。人工现实构成了一种已经被虚拟对象改变以呈现给用户的现实形式。这种人工现实可以包括和/或表示虚拟现实(Virtual Reality，VR)、增强现实(Augmented Reality，AR)、混合现实(Mixed Reality，MR)、混合现实(HybridReality)、或这些中的一种或多种的某种组合和/或变型。人工现实内容可以包括完全生成的内容或与捕获的(例如，真实世界的)内容结合的生成的内容。人工现实内容可以包括视频、音频、触觉反馈或其某种组合，这些视频、音频、触觉反馈或其某种组合中的任何一种可以在单个通道或多个通道(诸如向观看者产生三维效果的立体视频)中呈现。此外，在一些实施例中，人工现实还可以与例如用于在人工现实中创建内容和/或以其他方式在人工现实中使用(例如，用于在人工现实中执行活动)的应用、产品、附件、服务或其某种组合相关联。
人工现实系统可以以各种不同的外形要素和配置来实现。一些人工现实系统包括近眼显示器(Near-Eye Display，NED)，NED提供对真实世界的可见性(例如，图13A中的AR系统7000)或使用户在视觉上沉浸在人工现实中(例如，图13B中的虚拟现实系统7010)。虽然一些人工现实设备是独立式系统，但其他人工现实设备与外部设备通信和/或协作以向用户提供人工现实体验。这种外部设备的示例包括手持控制器、移动设备、台式计算机、用户穿戴的设备(例如，图14A中的HIPD 8000)、一个或多个其他用户穿戴的设备、和/或任何其他合适的外部系统。
作为示例，假设罗宾(Robin)正在戴着增强现实眼镜慢跑，并且她收到了朋友发来的信息。在这个示例中，罗宾想在不打断她慢跑的情况下回复她的朋友。通常，罗宾需要操作她眼镜上的按钮，或者取出连接的电子设备并在触摸屏或键盘上导航，才能撰写和发送对该消息的回复。使用本文描述的系统，罗宾可以使用空中手势来撰写和发送回复，而不会打断她的慢跑。例如，罗宾可以使用腕部旋转来将焦点移动到通讯界面(messengerinterface)中的元素，并使用轻击(例如，拇指接触食指的侧面)或捏合(例如，拇指接触中指)的手势来激活与这些元素相关联的功能。这个示例中的手势很小，也不显眼，并不需要一个大的开放空间供罗宾操控，或不需要对手持设备进行操作。
图1A至图1H示出了根据一些实施例的与人工现实系统交互的示例用户场景。图1A中的用户115穿戴着头部可穿戴设备110(例如，虚拟现实头戴式视图器)和腕部可穿戴设备120(例如，智能手表)。在一些实施例中，腕部可穿戴设备120是腕部可穿戴设备的实例。在一些实施例中，头部可穿戴设备110是头部可穿戴设备1111的实例。图1A中的用户115正在观看包括通讯界面108(例如，对应于通讯应用)的场景130。在图1A的示例中，用户115并未执行手势。
图1B示出了用户115执行握拳手势(例如，启动手势)，该握拳手势涉及用户将其手指拳曲到其手掌。图1B还示出了场景130，场景130(响应于握拳手势)更新以包括焦点105，该焦点105选择界面108上的图标106(例如，对应于相册命令)。根据一些实施例，图1B中的启动手势使得界面108响应于导航手势(例如，使得焦点105出现并且可由用户115操作)。尽管图1B示出了涉及用户将其拇指保持在其食指上方的握拳姿势，但在一些实施例中，可以在拇指依靠在食指上的情况下执行握拳手势。图1B示出了作为启动手势的握拳手势，然而在其他实施例中，启动手势包括由用户115执行的其他空中手势(例如，使用用户的拇指和另一个指骨保持的捏合手势、使用用户的指骨中的两个指骨的快速捏合手势、和/或双捏合手势)。例如，导航手势的启动手势可以是拇指轻击(tap)并保持的手势。在一些实施例中，默认地(例如，基于通讯应用中的设置或基于用户偏好)选择图标106。在一些实施例中，基于用户的凝视(例如，经由眼睛跟踪确定)来选择图标106。在一些实施例中，图标106具有用户前一次与界面108交互的焦点，并且通讯应用默认为该先前焦点。
图1C示出用户115旋转他们的腕部(例如，导航手势)，同时保持图1B中的握拳手势。图1C中的旋转是向内的(例如，朝向用户的身体)，并且从用户115的视角来看对应于向左的方向。图1C还示出了焦点105在界面108中向左移动并选择图标107(例如，对应于照片捕捉命令)。在一些实施例中，当用户保持腕部旋转手势时，焦点105继续向左移动。在一些实施例中，焦点105以每个手势为单位向左移动预设量(例如，无论用户保持该手势多长时间)。例如，每次执行导航手势时，焦点105移动到相邻的可选用户界面元素。在一些实施例中，焦点105以对应于腕部旋转速度的速度移动。例如，基于腕部旋转手势的速度高于还是低于速度阈值，焦点105以两种不同速度中的一个速度移动。在一些实施例中，焦点105以对应于腕部旋转角度的速度移动。例如，基于腕部旋转手势的角度是否大于或小于角度阈值，焦点105以两种不同速度中的一个速度移动。
图1D示出了用户115旋转他们的腕部(例如，导航手势)，同时保持图1C中的握拳手势。图1D中的旋转是向外的(例如，远离用户的身体)，并且从用户115的角度来看对应于向右的方向。图1D还示出了焦点105在界面108中向右移动并选择图标109(例如，对应于表情符号菜单)。
图1E示出了用户115执行轻击手势(例如，控制手势)，该轻击手势涉及用户的拇指接触用户的食指表面。在图1E的示例中，用户保持图1D中的握拳手势。在一些实施例中，可以在不保持启动手势(例如，握拳手势)的情况下执行和识别控制手势(例如，轻击手势)。在一些实施例中(例如，在用户在执行握拳手势的时将拇指依靠在食指表面的情况下)，根据拇指按压在食指表面的力满足一个或多个标准(例如，以大于预设阈值的力)来检测轻击手势。例如，轻击手势可以是需要足够的力才能被传感器(例如，腕部可穿戴设备120中的传感器)识别的“深”或“有力”的轻击手势。根据一些实施例，轻击手势对应于激活所选图标(例如，图标109)的命令。图1E还示出了正在显示的表情符号菜单111(例如，响应于图标109的激活)。在图1E的示例中焦点105正在选择眨眼表情符号113。在一些实施例中，默认地(例如，基于通讯应用中的设置或基于用户偏好)选择表情符号113。在一些实施例中，基于用户的凝视(例如，经由眼睛跟踪确定)来选择表情符号113。在一些实施例中，表情符号113是用户在通讯应用内选择的上一个表情符号，并且通讯应用默认为先前的选择。
图1F示出了用户115旋转他们的腕部(例如，导航手势)，同时保持图1E中的握拳手势。图1F中的旋转是向上的(例如，作为旋转的结果，用户的拇指朝用户的手臂移动)。图1F还示出了焦点105在界面108中向上移动并选择表情符号116。
图1G示出用户115旋转他们的腕部(例如，导航手势)，同时保持图1F中的握拳手势。图1G中的旋转是向下的(例如，作为旋转的结果，用户的小指向用户的手臂移动)。图1G还示出了焦点105在界面108中向下移动并选择表情符号117。
图1H示出了用户115执行轻击手势(例如，控制手势)，该轻击手势涉及用户的拇指接触用户的食指表面。在图1H的示例中，用户保持图1G中的握拳手势。在一些实施例中，可以在不保持启动手势(例如，握拳手势)的情况下执行和识别控制手势(例如，轻击手势)。根据一些实施例，轻击手势对应于将所选表情符号117插入到回复框121中的命令。图1H还示出了停止显示表情符号菜单111(例如，响应于轻击手势)。在一些实施例中，表情符号菜单111继续显示，直到从用户115接收到关闭(或“返回”)命令。在图1H的示例中，根据正在执行的轻击命令，不再显示焦点(例如，没有选择任何内容)。在一些实施例中，焦点继续显示(例如，直到用户释放握拳手势或执行解除手势)。
在一些实施例中，腕部可穿戴设备120和/或头部可穿戴设备110向用户提供视觉、音频和/或触觉反馈以指示已检测到所执行的手势(例如，响应于每种类型的手势而提供的不同反馈)。
图2A至图2F示出了根据一些实施例的与可穿戴设备交互的示例用户场景。图2A中的用户115穿戴着腕部可穿戴设备120(例如，智能手表)，该腕部可穿戴设备包括显示相册用户界面206(例如，照片应用)的显示器204。图2A中的用户界面206包括在单列中显示的多个图像，其中图像208呈现在显示器的中心附近。图2A中的用户115并未执行手势。
图2B示出了用户115执行第一捏合手势(例如，导航手势)，该第一捏合手势涉及用户食指的接触拇指(一次)。图2B还示出了界面206(响应于第一捏合手势)更新以在显示器中心附近呈现图像210。在图2B的示例中，第一捏合手势使多个图像向上滚动一次，使得图像208移动到显示器204的顶部并且图像210移动到显示器204的中心附近。例如，图2B中所示的食指捏合手势对应于向上(前向)导航命令。
图2C示出了用户115执行涉及用户的中指接触拇指(一次)的第二捏合手势(例如，导航手势)。图2C还示出了界面206(响应于第二捏合手势)更新以在显示器中心附近呈现图像208。在图2C的示例中，第二捏合手势使多个图像向下滚动一次，使得图像210移动到显示器204的底部，并且图像208移动到显示器204的中心附近。例如，图2C中所示的中指捏合手势对应于向下(后向)导航命令。
图2D示出了用户115执行捏合并保持手势(例如，导航手势)，该捏合并保持手势涉及用户的食指保持与拇指的接触。图2D还示出了界面206(响应于捏合并保持手势)更新以在显示器中心附近呈现图像212。在图2D的示例中，捏合并保持手势使得多个图像(在保持该手势的同时连续地)向下滚动，从而使得图像212移动到显示器204的中心附近。例如，图2D中所示的食指的捏合并保持手势对应于连续的向下(前向)导航命令。图像212在相册列中的相对位置由在图2D中具有位置214-a的指示器214指示(例如，指示图像212靠近相册列的顶部)。在一些实施例中，捏合并保持手势的力对应于对应导航命令的滚动速度。例如，食指与拇指之间的力小于力阈值将导致以第一速度滚动，而食指与拇指之间的力大于力阈值将导致以第二速度(第二速度大于第一速度)滚动。
图2E示出了用户115保持捏合并保持手势。图2E还示出了界面206(响应于捏合并保持手势被保持)更新以在显示器的中心附近呈现图像216。图像216在相册列内的相对位置由图2E中具有位置214-b的指示器214指示(例如，指示图像216靠近相册列的底部)。
图2F示出了用户115释放捏合并保持手势并且图像216被选择。在图2F的示例中，图像216是根据在释放捏合并保持手势时图像216最接近显示器204的中间来选择的。图2F还示出了根据图像216的选择而呈现的菜单218(例如，用于操作图像216的选项菜单)。在一些实施例中，菜单218响应于在图像216被选择时执行的单独手势(例如，激活手势/控制手势)而呈现。
图3A至图3C示出了根据一些实施例的与可穿戴设备交互的另一示例用户场景。图3A中的用户115穿戴着腕部可穿戴设备120(例如，智能手表)，该腕部可穿戴设备包括显示用户界面304(例如，设置界面)的显示器204。图3A中的用户界面304包括用于应用(例如，在腕部可穿戴设备120上执行的应用)的多个隐私设置308(例如，可选的用户界面元素)。在图3A的示例中，通过焦点306选择隐私设置308-1。图3A中的用户115并未执行手势。在一些实施例中，默认地(例如，基于设置或基于用户偏好)选择隐私设置308-1。在一些实施例中，基于用户的凝视(例如，通过眼睛跟踪来确定)来选择隐私设置308-1。在一些实施例中，响应于来自用户115的先前手势(未示出)来选择隐私设置308-1。
图3B示出了用户115执行第一捏合手势(例如，导航手势)，该第一捏合手势涉及用户的食指接触拇指(一次)。图3B还示出了界面304(响应于第一捏合手势)更新以将焦点306移动到隐私设置308-2。在图3B的示例中，第一捏合手势使焦点306向下移动一次。例如，图3B中所示的食指的捏合手势对应于向下(前向)导航命令。
图3C示出了用户115执行第二捏合手势(例如，导航手势)，该第二捏合手势涉及用户的小指接触拇指(一次)。图3C还示出了界面304(响应于第二捏合手势)更新以示出一般设置(general settings)(例如，关闭隐私设置并返回到一般设置)。例如，图3C中所示的小指的捏合手势对应于“关闭”或“返回”导航命令。图3C还示出了由焦点306选择的隐私选项310。在一些实施例中，默认地(例如，基于设置或基于用户偏好)选择隐私选项310。在一些实施例中，响应于用户115关闭图3B所示的隐私设置，选择隐私选项310。因此，在图3A至图3C的示例中，第一类型的手势(例如，食指的捏合手势)通过一组选项对应于导航，第二类型的手势(例如，小指的捏合手势)通过一组菜单(例如，菜单的层次结构)对应于导航。
在一些实施例中，腕部可穿戴设备120向用户提供视觉、音频和/或触觉反馈，以指示已检测到所执行的手势(例如，响应于每种类型的手势而提供的不同反馈)。
图4A至图4F示出了根据一些实施例的与可穿戴设备交互的另一示例用户场景。图4A中的用户115穿戴着头部可穿戴设备402(例如，增强现实眼镜)和腕部可穿戴设备120(例如，智能手表)。在一些实施例中，腕部可穿戴设备120是腕部可穿戴设备的实例。在一些实施例中，头部可穿戴设备402是头部可穿戴设备1111的实例。图4A中的用户115正在观看包括(例如，对应于应用或操作系统的)外观设置界面406的场景404。在一些实施例中，场景404对应于腕部可穿戴设备120的显示器或头戴设备402的显示器。例如，响应于用户115凝视腕部可穿戴设备120，头部可穿戴设备402显示场景404。在图4A的示例中，用户115并未执行手势。
图4B示出了用户115执行握拳手势(例如，启动手势)，该握拳手势涉及用户将其手指拳曲到其手掌。图4B还示出了场景404(响应于握拳手势)更新以包括位于界面406上的位置408-a处的焦点(例如，光标)408。根据一些实施例，图4B中的启动手势使得界面406响应于导航手势(例如，使得焦点408出现并且可由用户115操作)。在一些实施例中，默认地(例如，基于设置或基于用户偏好)选择焦点的位置408-a(例如，焦点的初始位置)。在一些实施例中，焦点的位置408-a是用户界面406的中心或场景404的中心。
图4B还示出了指示器410(例如，虚拟方向键)，该指示器指示用户115能够像拇指与方向键接触那样移动他们的拇指。在一些实施例中，响应于握拳手势，向用户115呈现指示器410(例如，经由头部可穿戴设备402)。在一些实施例中，指示器410并未呈现给用户115(例如，根据偏好设置)。在一些实施例中，当执行握拳手势时，用户拇指的位置成为虚拟方向键的原点(例如，坐标(0，0))。
图4C示出了用户115在沿远离用户腕部延伸的方向上(例如，导航手势)移动他们的拇指。图4C还示出焦点408在界面406上(响应于拇指移动)向右移动到界面406上的位置408-b。图4C还示出指示器410更新以指示用户115正在激活虚拟方向键上的向右方向。图4C还示出了用户界面元素414的对齐边界(阈值)412。在图4C的示例中，焦点408的位置408-b在对齐边界412之外，并且用户界面元素414未被选择。
图4D示出了用户115继续使他们的拇指指向远离其腕部的方向上(例如，保持导航手势)。图4D还示出了焦点408在界面406上(响应于保持的拇指手势)向右移动到界面406上的位置408-c。在图4D的示例中，焦点408已经移动到用户界面元素414的对齐边界内，并且已经对齐到用户界面元素414(例如，如由位于用户界面元素414的中心的焦点408-c位置所指示的)。图4D还示出根据对齐到用户界面元素414的焦点408来选择用户界面元素414。在一些实施例中，当焦点408对齐到用户界面元素时，不向用户显示焦点408(例如，焦点408被替换为选择了用户界面元素的指示)。
图4E示出了用户115在向用户腕部收缩的方向(例如，导航手势)上移动他们的拇指。图4E还示出焦点408在界面406上(响应于拇指移动)向左移动到界面406上的位置408-d。在图4E的示例中，焦点408的位置408-d与用户界面元素414重叠(例如，在未对齐边界内)，并且继续选择用户界面元素414。图4E还示出了指示器410更新以指示用户115正在激活虚拟方向键上的向左方向。
图4F示出了用户115继续使他们的拇指指向其腕部的方向(例如，保持导航手势)。图4F还示出了焦点408(响应于保持的拇指手势)在界面406上向左移动到界面406上的位置408-e。在图4F的示例中，已移动的焦点408已对齐到用户界面元素416(例如，如由位于用户界面元素416的中心的焦点408-e位置所指示的)。在一些实施例中，焦点408根据焦点408在用户界面元素416的对齐边界内的移动而对齐到用户界面元素416。在一些实施例中，根据焦点408从用户界面元素414的取消对齐，焦点408对齐到用户界面元素416。例如，焦点408移动到用户界面元素414的非对齐边界之外，并且自动对齐到用户界面元素416。在一些实施例中，根据焦点408移动到这样的位置：在该位置处，用户界面元素416是最靠近焦点408的用户界面元素，则焦点408对齐到用户界面元素416。图4F还示出了根据焦点408对齐到用户界面元素416来选择用户界面元素416。
在一些实施例中，腕部可穿戴设备120和/或头可穿戴设备402向用户提供视觉、音频和/或触觉反馈以指示已检测到所执行的手势(例如，响应于每种类型的手势而提供的不同反馈)。
图5A至图5E示出了根据一些实施例的与人工现实系统交互的示例用户场景。图5A中的用户115穿戴着头部可穿戴设备402(例如，增强现实眼镜)和腕部可穿戴设备120(例如，智能手表)。在一些实施例中，腕部可穿戴设备120是腕部可穿戴设备的实例。在一些实施例中，头部可穿戴设备402是头部可穿戴设备1111的实例。图5A中的用户115正在观看包括日历界面506(例如，对应于日历应用)的场景504。图5A中的日历界面506示出了1月份中未有被选择的事件。在一些实施例中，日历界面506响应于用户执行控制手势而呈现，并同时选择日历应用的图标。在图5A的示例中，用户115并未执行手势。图5A还示出了刻度510，该刻度指示用户腕部的旋转量并且包括多个旋转阈值，旋转阈值标记为T1和T2。
在一些实施例中，具有小于T1阈值的旋转的腕部旋转手势对应于第一类型的导航手势(例如，导航到相邻日期，具有位于T1阈值与T2阈值之间的旋转的腕部旋转手势对应于第二类型的导航手势(例如，导航到下一个事件)，并且具有大于T2阈值的旋转的腕部旋转手势对应于第三类型的导航手势(例如，导航到相邻月份)。
图5B示出了用户115执行握拳手势(例如，启动手势)，该握拳手势涉及用户将其手指拳曲到其手掌。图5B还示出了场景504(响应于握拳手势)更新以在界面506上选择1月1日的事件。根据一些实施例，图5B中的启动手势使得界面506响应于导航手势。尽管图5B示出了涉及用户将其拇指保持在其食指上方的握拳手势，但在一些实施例中，可以在拇指依靠在食指上的情况下执行握拳手势。在一些实施例中，默认地(例如，基于日历应用中的设置或基于用户偏好)选择1月1日事件。在一些实施例中，基于用户的凝视(例如，经由眼睛跟踪确定)来选择1月1日事件。在一些实施例中，根据1月1日事件是该月(例如，当前月份)中的第一个事件或下一个事件来选择1月1日事件。图5B中的刻度510指示用户115并未旋转他们的腕部。在一些实施例中，在执行握拳手势时用户腕部的位置(方向)指定为刻度510上的原点(旋转零点)。
图5C示出了用户115执行腕部旋转手势(例如，导航手势)，该腕部旋转手势涉及用户向外(例如，远离他们的身体)旋转他们的腕部。图5C还示出了场景504(响应于腕部旋转手势)更新以在界面506上选择1月8日的事件(例如，对应于下一事件可供性507的激活)。如旋转指示器514所示，图5C中的刻度510指示用户115已经将他们的腕部旋转超过T1阈值但没有到达T2阈值(例如，已经执行了对应于选择下一个事件的第二类型的导航手势)。在一些实施例中，根据腕部旋转的方向和旋转量(例如，导航手势的类型)来选择1月8日事件。
图5D示出了用户115执行另一腕部旋转手势(例如，导航手势)，该腕部旋转手势涉及用户向内(例如，朝向他们的身体)旋转他们的腕部。图5D还示出场景504(响应于腕部旋转手势)更新以在界面506上选择12月10日的事件(例如，对应于上个月份可供性509的激活)。如旋转指示器516所示，图5D中的刻度510指示用户115已经将他们的腕部旋转超过(负)T2阈值(例如，已经执行了对应于导航到相邻月份的第三种类型的导航手势)。在一些实施例中，根据腕部旋转的方向和旋转量(例如，导航手势的类型)来选择12月10日事件。在一些实施例中，腕部旋转手势对应于导航到前一个月(12月)的命令，并且默认地选择12月10日事件(例如，由于它是12月的第一个事件)。
图5E示出了用户115执行另一腕部旋转手势(例如导航手势)，该腕部旋转手势涉及用户向外(例如，远离他们的身体)旋转他们的腕部。图5E还示出了场景504(响应于腕部旋转手势)更新以在界面506上显示12月11日的事件(无事件)。如旋转指示器518所示，图5E中的刻度510指示用户115已经将他们的腕部旋转小于T1阈值(例如，已经执行了对应于导航到相邻日期的第一类型导航手势)。在一些实施例中，根据腕部旋转的方向和旋转量(例如，导航手势的类型)来选择12月11日。
图6A至图6G示出根据一些实施例的与可穿戴设备120交互的另一示例用户场景。图6A中的用户115穿戴头部可穿戴设备402(例如，增强现实眼镜)和腕部可穿戴设备120(例如，智能手表)。图6A中的用户115正在头部可穿戴设备402的显示器上观看可导航用户界面601(例如，对应于主屏幕和/或登录页面的用户界面)。在一些实施例中，响应于用户执行的唤醒手势来显示可导航用户界面601。例如，用户115能够通过执行唤醒手势(例如，中指和拇指双击手势)来唤醒头部可穿戴设备402和/或腕部可穿戴设备120。在一些实施例中，唤醒头部可穿戴设备402和/或腕部可穿戴设备120使得可导航用户界面610进行显示。在一些实施例中，唤醒头部可穿戴设备402和/或腕部可穿戴设备120使得系统(例如，头部可穿戴设备402和/或腕部可穿戴设备120)响应附加手势(例如，导航手势和/或链接到特定应用的手势)。
在一些实施例中，如图6A所示，相同或相似的可导航用户界面也出现在腕部可穿戴设备的显示器204上。可导航用户界面601包括用户115可以通过手势导航(例如，打开处于特定状态的所选应用)到的内容(例如，时间和数据信息以及未读消息)和快速动作用户界面元素602。在一些实施例中，快速动作用户界面元素602可由用户115定制以满足他们对他们希望快速访问的应用的需求。根据一些实施例，快速动作用户界面元素602是位于用户界面601中的应用图标，这些应用图标允许用户115(例如，响应于执行单个导航手势)快速访问并打开对应的应用。
图6A示出了快速动作用户界面元素602的一种配置，但该应用不限于该配置。在各种实施例中，存在少于四个或多于四个的快速动作用户界面元素602(例如，每个元素位于用户界面601的周边)。在一些实施例中，每个快速动作用户界面元素602导航到腕部可穿戴设备120上的不同应用或页面。例如，在图6A中，快速动作用户界面元素代表四个不同的应用：对应于快速动作用户界面元素602a的消息应用、对应于快速动作用户界面元素602b的音乐应用、对应于快速动作用户界面元素602c的通知应用、以及对应于快速动作用户界面元素602d的相机应用。在一些实施例中，可以为电话应用、电子邮件应用和/或锻炼应用等的其他应用分别分配对应的快速动作用户界面元素602。
在一些实施例中，导航到快速动作用户界面元素使得激活与该用户界面元素相关联的功能(例如，不需要额外的用户输入，例如控制手势)。在一些实施例中，该功能涉及在特定状态下打开应用。例如，导航到对应于消息应用的快速动作用户界面元素可以使得呈现消息应用的特定界面(例如，用于最近消息的用户界面或用于用户联系人的用户界面)。通过这种方式，用户能够激活常用的和/或重要的功能，而无需额外的输入或导航额外的菜单或界面。图6A中的用户115第一次做出握拳手势。在一些实施例中，握拳手势是用于经由虚拟方向键(如指示器410所表示的)导航的启动手势。图6A至图6G示出了使用快速动作用户界面元素的应用的导航。
图6B示出了用户115在第一次之后的第二次在朝向其手背方向上移动他们的拇指(例如，在保持握拳手势的同时向上的导航手势)。图6B中的向上的导航手势对应于相机应用的快速动作用户界面元素602d(如图6A所示)。当用户移动他们的拇指时，指示器410更新以指示用户115正在激活虚拟方向键上的向上方向。图6B还示出了响应于用户手势激活相机应用，例如包括激活头部可穿戴设备402上的成像设备。在一些实施例中，在头部可穿戴设备的显示器上为用户115显示图标(例如，相机图标604)以指示相机应用程已激活。在一些实施例中，如图6B所示，腕部可穿戴设备的显示器204不显示激活的相机实况馈送。在一些实施例中，显示器204示出相机应用已激活的指示(例如，类似于相机图标604的图标)。在一些实施例中，腕部可穿戴设备上的显示器204显示成像设备正在拍摄的内容的激活的相机馈送。
图6C示出了用户115在第二次之后的第三次在朝向用户腕部延伸的方向上移动他们的拇指(例如，向左导航手势)。图6C还示出该手势的结果是用户115滚动一个或多个相机选项(例如，从图6B中的照片选项到图6C中的视频选项)。当用户115移动他们的拇指时，指示器410更新以指示用户115正在激活虚拟方向键上的向左方向。在一些实施例中，如图6C所示，头部可穿戴设备的显示器包括视频图标606，以向用户115指示成像设备已激活并且处于视频模式。
图6D示出了在第三次之后的第四次，用户115在沿远离用户腕部延伸的方向上移动他们的拇指(例如，向右导航手势)。当用户将他们的拇指从用户的腕部上移开时，指示器410更新以指示用户115正在激活虚拟方向键上的向右方向。图6D中向右的拇指移动使得用户115滚动一个或多个相机选项(例如，从图6C中的视频选项到图6D中的照片选项)。在一些实施例中，一个或多个相机选项包括其他选项，诸如用户可以使用导航手势滚动到/从其滚动出来的相册和/或视频。
图6E示出了用户115在第四次之后的第五次执行轻击手势(例如，在保持握拳手势时的控制手势)。图6E中的轻击手势涉及用户的拇指接触用户的食指表面。图6E还示出了轻击手势的结果是由通知608指示的捕获图像。在一些实施例中，用户可以通过执行一个或多个轻击来捕获多个图像，从而捕获额外的图像。
图6F示出了用户115在第五次之后的第六次保持手势(例如，中指捏合手势)以导航到另一屏幕。在一些实施例中，用户115通过在预定时间量(例如，大约1秒至3秒)内保持两个指骨(例如，拇指和中指)的捏合手势来导航到主屏幕。图6G示出了用户115在第六次之后的第七次继续保持图6F中的手势。在图6G的示例中，保持该手势使得用户界面被禁用(例如，停止显示)。在一些实施例中，如果用户115保持图6F中描述的捏合并保持手势至少预设的时间量，则停止呈现用户界面，并且腕部可穿戴设备的显示器204将显示为空白(例如，关机、进入睡眠和/或变暗)。在一些实施例中，保持捏合并保持手势并不会关闭头部可穿戴设备402的显示器。在一些实施例中，响应于捏合并保持手势，头部可穿戴设备402停止显示任何用户界面或覆盖物。
图6H至图6O示出了根据一些实施例的与可穿戴设备交互的另一示例用户场景。例如，图6H至图6O示出了不同类型的导航手势以及相应的导航操作和功能。
图6H中的用户115穿戴头部可穿戴设备402(例如，增强现实眼镜)和腕部可穿戴设备120(例如，智能手表)。图6H中的用户115正在观看头部可穿戴设备402和/或腕部式穿戴式设备120的显示器上的可导航用户界面650(例如，对应于主屏幕和/或登陆页面的用户界面)。在一些实施例中，响应于用户执行的唤醒手势来显示可导航用户界面650。可导航用户界面650包括对应于第一应用的图标652和对应于第一应用的特定功能的关联动作图标654。可导航用户界面650还包括对应于第二应用的图标656和对应于第二应用的特定功能的关联动作图标658。可导航用户界面650还包括其他应用图标660、662和664。在一些实施例中，每个应用都在头部可穿戴设备402和/或腕部可穿戴设备120上被存储/执行。在一些实施例中，应用在耦接到所示的可穿戴设备的中间设备上被存储/执行。在图6H中，用户115并未执行手势。
图6I示出了用户115执行握拳手势(例如，第一类型的启动手势)，该握拳手势涉及用户将其手指拳曲到其手掌。图6I还示出了用户界面650(响应于第一手势)更新以包括用于选择图标652(例如，对应于第一应用)的焦点667。根据一些实施例，图6I中的启动手势使得界面650响应于导航手势(例如，使得焦点667被呈现并且可由用户115操作)。在一些实施例中，基于用户的凝视(例如，经由眼睛跟踪确定)来选择图标652。在一些实施例中，根据图标652是最左上角的图标(例如，是用于根据启动手势给予焦点的默认图标)将焦点给予图标652。
图6J示出了用户115在沿远离用户腕部延伸的方向上移动他们的拇指(例如，第一类型的导航手势)。图6J还示出了焦点667(响应于拇指移动)在界面650上向右移动以选择图标654-1。图6J还示出了指示器410更新以指示用户115正在激活虚拟方向键上的向右方向。
图6K示出了用户115在沿远离用户手背的方向上移动他们的拇指(例如，第一类型的导航手势)。图6K还示出焦点667(响应于拇指移动)在界面650上向下移动以选择图标658-1。图6K还示出指示器410更新以指示用户115正在激活虚拟方向键上的向下方向。在一些实施例中，每个方向键拇指手势使得焦点667在手势的方向上移动到相邻图标(例如，向右的手势使得焦点667从其先前位置移动到右侧的下一个图标)。
图6L示出了用户115执行捏合手势(例如，捏合并保持手势)，该捏合手势涉及用户的食指接触拇指(例如，第二类型的启动手势)。图6L还示出了用户界面650，该用户界面包括用于选择图标658-1的焦点667。例如，焦点667根据用户保持捏合手势至少阈值时间量(例如，1秒至3秒)来呈现。
图6M示出了用户115执行捏合并拖拽手势(例如，第二类型的导航手势)，该捏合并拖拽手势涉及用户在保持图6L中的捏合手势的同时沿第一方向(例如，向右)水平平移他们的手臂。具体地，在图6M中，用户的手臂根据拖拽箭头以水平平移的方式移动。图6M还示出了用户界面650(响应于捏合并拖拽手势)更新以将焦点从图标658-1(图6L中)移动到焦点位置670-a。在一些实施例中，当不选择用户界面元素(例如，图标)时，焦点作为光标显示给用户。在一些实施例中，用户可以捏合并旋转他们的腕部(例如，参考图5A至图5E示出并描述的那样旋转他们的腕部)来移动焦点，而不是执行平移。在一些实施例中，捏合并保持手势为基于平移的导航手势或基于腕部旋转的导航手势的启动手势，并且用户能够执行这两者之一以移动焦点。
图6N示出了用户115执行捏合并拖拽手势(例如，第二类型的导航手势)，该捏合并拖拽手势涉及用户在保持图6L的捏合手势的同时沿第二方向(远离用户的身体)水平平移他们的手臂。具体地，在图6N中，用户的手臂根据拖拽箭头以水平平移的方式移动。图6N还示出了用户界面650(响应于捏合并拖拽手势)更新以将焦点从焦点位置670-a(图6M中)移动到焦点位置670-b(例如，在用户界面中向上移动焦点)。
图6O示出了用户115执行捏合并拖拽手势(例如，第二类型的导航手势)，该捏合并拖拽手势涉及用户在保持图6N的捏合手势的同时在第二方向(远离用户的身体)上水平平移他们的手臂。具体地，在图6O中，用户的手臂根据拖拽箭头以水平平移的方式移动。图6O还示出了用户界面650(响应于捏合并拖拽手势)更新以将焦点从焦点位置670-b(图6N中)移动以选择图标654-2。尽管图6M至图6O示出了光标在基本方向(cardinal direction)上移动，但在一些实施例中，用户可以根据位于特定方向上的拖拽手势在任何方向上移动光标。在一些实施例中，焦点的移动量对应于捏合并拖拽手势的移动量(例如，平移量)。
因此，图6H至图6O示出了用户界面响应于多种类型的导航手势的场景。在一些实施例中，第一类型的导航手势使得焦点从一个图标移动(例如，对齐)到另一个图标。在一些实施例中，第二类型的导航手势允许用户自由移动焦点(例如，不需要跳转到相邻图标)。在一些实施例中，使用第一类型的传感器(例如，肌电(EMG)传感器)来检测/识别第一类型的导航手势(例如，虚拟方向键导航)。在一些实施例中，除了第一类型的传感器之外，或者替代地，使用第二类型的传感器(例如，IMU传感器)来检测/识别第一类型的导航手势(例如，捏合并拖拽手势)。
图7A至图7R示出根据一些实施例的与可穿戴设备交互的另一示例用户场景。图7A中的用户115穿戴着头部可穿戴设备402(例如，增强现实眼镜)和腕部可穿戴设备120(例如，智能手表)。图7A中的用户115正在观看头部可穿戴设备402的显示器上的场景504。图7A中的用户115第一次握拳。在一些实施例中，握拳不是对应于头部可穿戴设备402或腕部可穿戴设备120处的动作的手势。在一些实施例中，握拳手势是用于经由虚拟方向键(如指示器410所表示的)导航的启动手势。在一些实施例中，腕部可穿戴设备120准备通过一个或多个手势(例如，根据被保持的握拳手势)接收用户输入。
图7B示出了用户115执行双击手势以激活用户界面。在一些实施例中，如图7B所示，用户115能够通过执行双轻击手势(例如，连续两个轻击手势)来唤醒头部可穿戴设备402和/或腕部可穿戴设备120。在一些实施例中，当用户115执行轻击手势(例如，涉及用户的拇指接触用户食指的表面的控制手势)时，其激活腕部可穿戴设备120的显示器204和/或头可穿戴设备402的显示器。
在一些实施例中，仅激活多个显示器中的一个(例如，腕部可穿戴设备的显示器204或头部可穿戴设备的显示器)。在一些实施例中，如图2C所示的中指捏合手势是唤醒手势(例如，激活头部可穿戴设备上的用户界面或腕部可穿戴式设备120的显示器204上的用户界面)。例如，当腕部可穿戴设备的显示器204处于非激活状态(例如，在一些实施例中，头部可穿戴设备的显示器也处于非激活状态)并且用户115保持中指捏合手势时，腕部可穿戴设备的显示器被激活并且显示图7B中的用户界面。在一些实施例中，在腕部可穿戴设备的显示器204上和在头部可穿戴设备402的场景504中均显示了用户界面。
在一些实施例中，当腕部可穿戴设备120的显示器204并未激活时，只有传感器通道1385a至1385h的子集是激活的(例如，传感器通道1385a至1385h的第二子集未激活)。在一些实施例中，当腕部可穿戴设备120的显示器204未激活时，用户115执行控制手势以激活腕部可穿戴设备120的显示器204，并且该控制手势被传感器通道1385a至1385h的激活子集捕获。
图7C示出了用户115执行手势以导航用户界面601。在图7C中，用户115在沿远离用户腕部延伸的方向上移动他们的拇指(例如，向右导航手势)。当用户向右移动他们的拇指时，指示器410更新以指示用户115正在激活虚拟方向键上的向右方向。作为导航手势的结果，用户115已经访问了用户界面右手侧的快速动作用户界面元素602a(如图7B所示)，用户界面元素602a显示(例如，激活)消息应用。如图7C所示，消息应用包括两个快速动作用户界面元素702和704(例如，被显示以帮助用户115进一步导航)。主页图标704使用户返回到图7B中显示的主页用户界面601。回复图标702允许用户回复所示消息中的一个消息(例如，当回复图标702被激活时，回复在用户界面内具有焦点的消息)。消息应用界面还示出消息列表，该消息列表包括示出用户115与另一用户(例如，用户玛丽(Mary)和用户杰森(Jason))之间的对话中的最新消息。在一些实施例中，在显示器204上示出消息应用的用户界面(例如，作为在场景504中呈现该用户界面的补充或替代)。
图7D示出了用户115执行控制手势(例如，捏合或轻击手势)以选择对消息的反应。在一些实施例中，当消息应用是激活的并且用户执行捏合并保持手势(例如，如图7D所示)时，用户激活包括一个或多个表情符号回复的面板708(例如，菜单)。在一些实施例中，面板708允许用户115对另一用户发送的消息做出快速反应。在一些实施例中，当显示面板708时，如选择指示器706(例如，光环元素)所示，将焦点给予(例如，高亮显示)表情符号中的一个表情符号。关闭图标707使面板708停止显示。在一些实施例中，高亮显示另一表情符号或关闭图标707。在一些实施例中，根据用户115释放捏合并保持手势，停止显示面板708。
图7E示出了用户115执行导航手势以滚动面板708中的表情符号。图7E中的导航手势包括用户115旋转他们的腕部，同时保持图7D中的捏合手势。图7E中的旋转是逆时针方向，并且从用户115的角度来看对应于向右的方向。图7E还示出了选择指示器706向右移动到笑脸表情符号710。在一些实施例中，选择指示器706根据腕部旋转手势的运动继续向右移动。在一些实施例中，选择指示器706以每个手势为单位向右移动预设量(例如，与手势的速度、持续时间和/或距离无关)。在一些实施例中，选择指示器706包括点或一些其他选择指示。选择指示器的另一个示例是图7H中所示的选择指示器717。
图7F示出了用户115释放捏合并保持手势以选择表情符号，从而对另一用户发送的消息作出反应。例如，将笑脸表情符号710发送给远程的人(例如，玛丽)。图7F还示出了笑脸表情符号710位于用户115对作出反应的消息(来自玛丽的消息)的旁边。在一些实施例中，选择之后的笑脸表情符号710的位置是用户115可定制的，因此该表情符号可以出现在消息的不同角落或完全不同的部分。在一些实施例中，用户115可以定制设置，使得表情符号不出现在消息应用中。
图7G示出了用户115执行轻击手势以导航到特定消息(例如，展开与特定用户的对话)。图7G示出了用户通过执行轻击手势打开用户与玛丽之间的消息链。在一些实施例中，快速动作用户界面元素711与消息链一起显示。在一些实施例中，当用户执行到达快速动作用户界面元素711的导航手势时，用户界面导航到图7F中所示的显示界面(例如，导航到与消息应用相关联的主页)，该显示界面具有用户115与其他用户之间的对话列表。图7G还示出了笑脸表情符号710，该笑脸表情指示用户115(根据图7E的手势)对该特定消息作出反应。在一些实施例中，笑脸表情符号710位于显示界面中的其他位置，但仍指示用户115对特定消息作出反应。
图7H示出了用户115保持捏合手势(例如，以查看消息链的快速回复选项)。在一些实施例中，用户115在查看单个消息对话时保持捏合手势(例如，捏合并保持手势)，并且推荐的快速回复选项的面板709被显示。例如，在图7H中，快速回复选项包括短语和表情符号。在一些实施例中，快速回复仅包括短语或表情符号。在一些实施例中，基于用户115过去如何回复类似消息的历史来生成回复选项，和/或使用机器学习来通过计算机生成以向用户115显示可以如何进行回复的选项。在一些实施例中，允许用户115预编程快速回复选项(例如，基于用户115通常从其他用户接收的各种消息)。在一些实施例中，选择指示器717出现在关闭图标715上(如图7H所示)或快速回复选项上。在一些实施例中，选择指示器717突出显示最可能的回复和/或系统推荐的回复。
图7I示出了用户115保持图7H的捏合手势并将他们的手从一个位置平移到另一个位置以滚动快速回复选项。图7I示出了用户115的手向内平移(例如，朝向用户的身体)，并且从用户115的角度来看对应于向右的方向。在图7I的示例中，在保持捏合手势的同时执行手部平移(例如，在向右方向上)将选择指示器717移动到快速回复“迫不及待！”。在一些实施例中，选择指示器717在手部平移中以每个移动量为单位向右移动预设量(例如，无论用户115保持平移多长时间)。在一些实施例中，用户115从向外方向(例如，远离用户的身体)平移他们的手，该向外方向从用户115的角度来看对应于向左的方向。根据一些实施例，在保持捏合手势的同时沿向外方向上执行手部平移时，用户沿向左的方向移动选择指示器717。在一些实施例中，当用户115将他们的手平移到所显示的快速回复的边界之外时，选择指示器717移动到面板709的另一侧。例如，如果选择指示器717突出显示大笑表情符号713，并且用户在对应于向右方向的向内方向上平移他们的手，则选择指示器717移动到关闭图标715。在一些实施例中，存在未示出的附加快速回复，因此，当用户使用选择指示器717突出显示大笑表情符号713并且用户沿向内方向平移他们的手时，面板709将滚动以向用户115显示附加快速回复。在一些实施例中，如果选择指示器突出显示关闭图标715，并且用户沿向外方向平移他们的手部，使得沿向左方向移动选择指示器，则选择指示器717将移动到快速回复选项的末尾。在一些实施例中，当用户115将他们的手平移到所显示的快速回复的边界之外时，选择指示器717停止移动(例如，保持在最左边或最右边的选项)。
图7J示出了用户115释放了图7I中的捏合手势，该捏合手势选择了快速回复选项“迫不及待！”。图7J还示出了在腕部可穿戴设备和头部可穿戴设备202的显示器上选择快速回复的结果(例如，消息“迫不及待！”被添加到对话中)。在一些实施例中，快速回复选择动作(例如，释放捏合手势)使得该回复被发送给其他用户。在一些实施例中，快速回复选择显示在对话框723中，从而如果需要，用户115可以在发送之前编辑该回复。
图7K示出了用户115在朝向用户腕部的方向上移动他们的拇指(例如，导航手势)。图7K还示出了该导航手势激活消息快速动作用户界面元素711(在图7J中)，并使得用户界面返回到图7C中所示的消息应用页面，从而显示来自多个人的消息。在一些实施例中，显示了用户与另一个人之间的对话中的最新消息。例如，图7K示出了与玛丽的消息框中的用户的快速回复721“迫不及待！”。在其他实施例中，并不示出消息(例如，在没有消息的情况下显示联系人姓名和照片)。
图7L示出了用户115第二次沿朝向用户腕部的方向移动他们的拇指(例如，导航手势)。图7L还示出了该导航手势激活主屏幕快速动作用户界面元素704(如图7K所示)，并使得用户界面显示主屏幕(例如，停止显示消息应用或减少消息应用的显示)。在一些实施例中，图7L中的用户界面对应于图7B中的用户界面601。
图7M示出用户115在沿远离用户手背延伸的方向上移动他们的拇指(例如，向下的导航手势)。当用户115将他们的拇指远离用户的手背移动时，指示器410更新以指示用户115正在激活虚拟方向键上的向下方向。主屏幕上的向下导航激活了图7L中所示的音乐应用快速动作用户界面元素602b。图7M显示了作为导航到音乐应用快速动作用户界面元素602b的结果的与音乐应用相对应的用户界面。在一些实施例中，音乐应用界面包括音量图标731、音乐专辑、歌曲名称和主屏幕快速动作用户界面元素704的显示。在一些实施例中，随着快速动作用户界面元素和其他信息(例如，关于音乐)与音乐应用界面一起显示，可以添加其他动作。在一些实施例中，快速动作用户界面元素显示在与图7A至图7R所示的不同的位置。例如，图7M中的主屏幕快速动作用户界面元素704可以显示在音乐应用界面的下方或一侧(或场景504的一角)。
图7N示出了用户115保持捏合手势(例如，捏合并保持手势)以激活音量功能(例如，对应于图7M中的音量图标731)，如音量指示器732所指示的那样。在一些实施例中，根据用户在阈值时间量(例如，1秒至3秒)内保持捏合手势，音量指示器732被显示并且响应于与用户的进一步交互。
图7O示出了用户115执行导航手势以增大音量。图7O示出了用户115旋转他们的腕部(例如，导航手势)，同时保持图7N的捏合手势。根据导航手势的移动，如音量指示器732所指示的那样调节音乐的音量。在图7O中，用户115以从用户115的角度来看对应于向右的方向向内(例如，朝向用户的身体)旋转他们的腕部。因此，如图7O所示，当用户115向内旋转他们的腕部时，音量指示器732的条沿向右方向移动(例如，增加音乐的音量)。在一些实施例中，当用户115向外(例如，远离用户的身体)旋转他们的腕部时，这从用户115的角度来看对应于向左的方向，使得音量指示器732的条减小(例如，降低音乐的音量)。在一些实施例中，仅当音频媒体(例如，音乐、歌曲等)正在播放时，音量才响应于导航手势。目前正在播放。例如，如果当前没有播放音频媒体，则系统不会响应用户旋转他们的腕部。在一些实施例中，当音频媒体未播放时，可以增大或减小音量。
图7P示出了用户115释放图7O中所示的捏合手势。图7P还示出了音量指示器732已经根据捏合手势的释放而停止显示(例如，关闭或以其他方式停用)。在一些实施例中，在释放捏合手势之后，保持(例如，保存或存储在系统中)图7O中执行的音量改变。
图7Q示出了用户115使用拇指和中指保持捏合手势(例如，执行捏合并保持手势)。在一些实施例中，根据捏合手势保持阈值时间量(例如，1秒或2秒)，显示主屏幕(例如，根据退出或返回命令停止显示音乐应用)。在一些实施例中，可以使用其他手势以用于退出和/或“返回”动作(例如，食指或小指捏合手势或腕部轻弹(flick)手势)。
图7R示出了用户115使用拇指和中指继续保持图7Q中的捏合手势。图7R还示出，作为保持捏合手势的结果，场景504和腕部可穿戴设备的显示器204被更新以不再显示主屏幕(例如，对应于睡眠或关闭命令)。在一些实施例中，将捏合手势保持至少第二阈值时间量(例如，3秒至5秒)会停止显示任何用户界面或覆盖物。
图7S至图7U示出了根据一些实施例的与可穿戴设备交互的另一示例用户场景。图7S中的用户115穿戴着头部可穿戴设备110(例如，虚拟现实头戴式视图器)和腕部可穿戴设备120(例如，智能手表)。在图7S中，用户115经由头部可穿戴设备110观看场景130，并且用户115并未执行手势。
在图7T中，用户115正在使用用户的食指接触拇指来执行启动手势(例如，捏合手势)。图7T还示出了场景130已经响应于捏合手势而更新。图7T中的场景130包括用户界面1220(例如，用户115可以滚动的数字列表)。用户界面1220包括一个或多个数字和突出显示当前选择的数字(数字15)的焦点1222。在一些实施例中，焦点1222出现在先前响应于检测到启动手势而选择的数字上。在一些实施例中，焦点1222出现在数字列表的开始处(例如，最左边的数字)。在一些实施例中，当用户115执行一个或多个手势时，焦点1222根据所执行的手势移动。在一些实施例中，焦点1222是在用户界面元素之间移动的光标。在一些实施例中，在保持启动手势的同时显示用户界面1220。在一些实施例中，在执行启动手势之后，用户界面1220被显示预定时间量。在一些实施例中，在保持启动手势的同时，焦点1222被显示(并且是可操作的)。在一些实施例中，在执行启动手势之后，焦点1222被显示(并且可操纵)预定时间量。在一些实施例中，在执行启动手势之后的第一预定时间量内，焦点1222停止被操纵和/或显示。在一些实施例中，在执行启动手势之后的第二预定时间量内，停止显示用户界面1220。在一些实施例中，第二预定时间量大于第一预定时间量。
图7T还示出了图表1290，该图表示出了导航手势的平移距离与焦点1222的导航速度之间的关系。图7T中的图表1290对应于第一时间点(例如，用户115已经执行导航手势之前的时间点)，并且指示器1292指示导航速度为零(例如，在第一时间点没有导航发生)。在一些实施例中，焦点1222的导航速度对应于导航手势从初始位置开始的平移距离。在一些实施例中，如虚线1291所示，导航速度和平移距离之间的关系是线性关系。在一些实施例中，当执行启动手势时，用户115的手的位置被设置为初始位置(例如，用于后续导航手势)。
图7U示出了用户115执行导航手势(例如，作为水平平移的拖拽手势)。在图7U的示例中。在导航手势期间保持启动手势(例如，捏合手势)。图7U还示出了响应于导航手势来更新场景130，通过以第一速度滚动用户界面1220并将焦点1222从数字“15”移动到数字“19”来响应于导航手势。在一些实施例中，如图7U中的图表1290所示，平移的距离对应于导航的速度。在一些实施例中，导航速度基于一个或多个设置(例如，由用户115设置或由系统设置为默认)。例如，用户115可以调整这样的设置：该设置调整虚线1291的斜率。与基于从初始位置开始的距离的导航速度有关的更多细节可以在共同拥有的申请号为18/359,855、名称为“Multi-Stage Gestures Detected Based on Neuromuscular-Signal Sensors of aWearable Device to Activate User-Interface Interactions with Low-FalsePositive Rates,and Systems and Methods of Use Thereof”的美国专利申请中找到，该美国申请的全部内容结合于此。
尽管先前关于图1至图7的系列描述的用户场景描述的操作由腕部可穿戴设备120和头部可穿戴设备110和402执行的操作，但在一些实施例中，所述操作的至少一个子集由与可穿戴设备通信的中间设备(例如，智能手机或个人计算机)来执行。例如，用户移动的检测可以发生在可穿戴设备处，但是对该移动的解释(例如，识别与该移动相对应的手势)可选地在中间设备处发生。在一些实施例中，腕部可穿戴设备120和头部可穿戴设备110和402经由中间设备彼此通信(例如，它们各自通信地耦接到中间设备，并且中间设备管理设备之间的交互)。
中间设备的示例可以包括计算设备。在一些实施例中，来自多个设备上的传感器的数据被组合(例如，在中间设备处)以检测空中手势。例如，来自头部可穿戴设备(例如，头部可穿戴设备402)的一个或多个光学传感器的数据可以与来自腕部穿戴式设备(例如，腕部可穿戴设备120)的EMG和/或IMU数据组合，以识别对应于用户界面的第一滚动条而不是显示在单独位置的第二滚动条的位置处的滑动手势。
此外，尽管参照图1至图7的系列描述的用户场景被描述为单独的序列，但在一些实施例中，用户场景彼此组合。例如，参考图7A至图7R描述的序列可以发生在参考图4A至图4H和图2A至图2F描述的序列之前(或之后)(例如，所有三个序列都可以在用户115晨间散步时发生)。
关于图1至图7的系列描述的用户场景涉及特定的用户界面和应用，例如图1A中的通讯界面108和图2A中的相册界面206。然而，序列、手势、动作和操作可以与其他类型的菜单和应用结合使用，例如网络浏览、记笔记、社交媒体、文字处理、数据输入、编程等。
图8A至图8B为示出根据一些实施例的使用空中手势来控制用户界面中的焦点的方法800的流程图。方法800在具有一个或多个处理器和存储器的计算系统(例如，可穿戴设备或中间设备)处执行。在一些实施例中，存储器存储被配置为由一个或多个处理器执行的一个或多个程序。图8A至图8B中所示的至少一些操作对应于存储在计算机存储器或计算机可读存储介质(例如，存储器6050、6080和/或7050)中的指令。在一些实施例中，计算系统为可穿戴设备，例如腕部可穿戴设备120或头部可穿戴设备110或402。在一些实施例中，计算系统为智能手机(例如，HIPD 8000)等的中间设备，或包括智能手机(例如，HIPD 8000)等的中间设备。
该系统经由用户穿戴的腕部可穿戴设备的一个或多个传感器(例如，传感器6021)接收从用户执行空中手势产生的数据(例如，从图2B所示的捏合手势产生的数据)(802)。在一些实施例中，一个或多个传感器包括一个或多个IMU传感器或EMG传感器。
该系统基于传感器数据确定空中手势是用户界面控制手势(804)。例如，该手势为启动手势(例如，图1B中的握拳手势)、导航手势(例如，图1C中的腕部旋转手势)或激活手势(例如，图1E中的轻击手势)。例如，可穿戴设备或中间设备的一个或多个处理器1150分析数据并确定该手势是否是用户界面控制手势。
该系统根据用户界面控制手势在用户界面上移动焦点(例如，经由一个或多个处理器6049和/或6079)(806)。例如，图4C至图4F示出了焦点408根据用户的拇指手势移动。
在一些实施例中，当用户界面控制手势保持在一定时间量时，系统(例如，经由一个或多个处理器6049和/或6079)在多个可选用户界面元素中滚动焦点(808)。例如，图2D和图2E示出了用户界面206根据所保持的捏合手势滚动照片。在一些实施例中，系统在将手势保持至少预设时间量(例如，0.5秒、1秒或2秒)后开始滚动。
在一些实施例中，系统根据确定了释放用户界面控制手势，停止滚动焦点并选择距离焦点最近的用户界面元素(810)。例如，图2F示出了用户已经释放了捏合手势，并且根据系统停止滚动来选择图像216。
系统根据确定了焦点位于可选用户界面元素的阈值距离内，通过将焦点对齐到可选用户界面元素来选择用户界面元素(812)。例如，图4C和图4D示出了焦点408在对齐边界412内移动并对齐到用户界面元素414。
在一些实施例中，焦点被呈现为光标(例如，图4B中的焦点作为光标被呈现给用户)(814)。在一些实施例中，仅当未对齐到可选用户界面元素时，焦点才被呈现为光标。
在一些实施例中，该系统：(i)经由用户穿戴的腕部可穿戴设备的一个或多个传感器接收从用户执行第二空中手势产生的数据；(ii)确定第二空中手势是执行手势(有时也称为控制手势或激活手势)；以及(iii)根据执行手势执行对应于执行手势和所选用户界面元素的命令(816)。例如，图1H示出了用户115执行拇指轻击手势并相应地将表情符号117插入到回复框121中。
在一些实施例中，该系统：(i)经由用户穿戴的腕部可穿戴设备的一个或多个传感器接收从用户执行第三空中手势产生的数据；(ii)确定第三空中手势是导航手势；以及(iii)根据导航手势将焦点对齐到相邻的可选用户界面元素(818)。例如，图3B示出了用户执行捏合手势，并且焦点306从用户界面元素308-1(图3A中)移动到用户界面元素308-2(图3B中)。
在一些实施例中，该系统：(i)在选择用户界面元素之后检测第二用户界面控制手势；以及(ii)根据确定了第二用户界面控制手势的移动将使得焦点移动到所选择的用户界面元素的第二阈值距离之外，取消选择用户界面元素(820)。例如，图4E和图4F示出了焦点408移动到对齐边界412之外并取消选择用户界面元素414。在一些实施例中，对齐阈值和非对齐阈值是不同的。例如，对齐阈值可以比非对齐阈值更接近或更远离相应的可选用户界面元素。
在一些实施例中，系统根据取消选择用户界面元素，通过将焦点对齐到不同的可选用户界面元素来选择不同的可选用户界面元素(822)。例如，根据取消选择用户界面元素414，图4F中的焦点408可以对齐到用户界面元素416。
图9A至图9B为示出根据一些实施例的使用空中手势来控制用户界面中的焦点的方法900的流程图。方法900在具有一个或多个处理器和存储器的计算系统(例如，可穿戴设备或中间设备)处执行。在一些实施例中，存储器存储被配置为由一个或多个处理器执行的一个或多个程序。图9A至图9B中所示的至少一些操作对应于存储在计算机存储器或计算机可读存储介质(例如，存储器6050、6080和/或7050)中的指令。在一些实施例中，计算系统为可穿戴设备，例如腕部可穿戴设备120或头部可穿戴设备110或402。在一些实施例中，计算系统为包括智能手机(例如，HIPD 8000)等的中间设备，或包括智能手机(例如，HIPD 8000)等的中间设备。
该系统接收用户的手势执行所产生的数据(910)。例如，该系统经由一个或多个传感器(例如，传感器6013和/或6021)接收数据。在一些实施例中，该系统从一个或多个可穿戴设备(例如，腕部可穿戴设备120和/或头部可穿戴设备110或402)接收数据。
该系统确定该手势是否是用户界面控制手势(例如，启动手势、导航手势、或执行手势/激活手势)(912)。例如，可穿戴设备或中间设备的一个或多个处理器分析数据并确定该手势是否为用户界面控制手势。在一些实施例中，在确定手势是用户界面控制手势之前，系统处于低功率或睡眠状态，并且仅响应于控制手势(例如，不响应于激活手势或执行手势)。
根据确定了该手势是用户界面控制手势，该系统根据用户界面控制手势在用户界面上移动焦点(914)。例如，该系统确定该手势是腕部旋转手势，并且根据用户腕部的旋转来移动焦点，例如，如图3C所示。
根据确定了手势不是用户界面控制手势，系统放弃在用户界面上移动焦点(例如，返回到响应于用户界面控制手势的状态)。例如，系统返回到其在接收从用户执行手势生成的数据之前所处的状态。
该系统确定焦点是否位于可选用户界面元素的阈值距离(例如，对齐边界412)内(916)。例如，在焦点移动之后或期间，该系统确定焦点的位置是否与可选用户界面元素重叠(或是否在该元素的阈值距离内)。
根据确定了焦点位于阈值距离内，该系统通过将焦点对齐到可选用户界面元素来选择用户界面元素(918)。例如，用户手势将使焦点移到用户界面元素旁边，但不与用户界面元素重叠，从而在没有对齐动作的情况下不会选择用户界面元素。本示例中的对齐动作将焦点移动到原本可能已经停止到与用户界面元素重叠的位置之外。
根据确定了焦点并不位于阈值距离内，该系统放弃选择用户界面元素(例如，返回到响应于用户界面控制手势的状态)。例如，该系统返回到其在接收从用户执行手势生成的数据之前所处的状态。
该系统检测第二用户界面控制手势(920)。例如，该系统检测移动焦点的导航手势(例如，腕部旋转、捏合手势或拇指方向键手势)。
该系统根据第二用户界面控制手势确定焦点是否移动到所选用户界面元素的第二阈值距离之外(922)。例如，该系统确定焦点是否移动到不与可选用户界面元素重叠的位置。
根据确定了焦点已经移动到第二阈值距离之外，该系统取消选择用户界面元素(924)。例如，该系统取消选择用户界面元素，并显示不与用户界面元素重叠的光标。作为另一示例，系统取消选择用户界面元素，并选择位于第二用户界面控制手势的方向上的相邻用户界面元素。
根据确定了焦点已经移动到第二阈值距离之外，系统放弃取消选择用户界面元素(例如，返回到响应于控制手势的状态)。
图10A至图10B为示出根据一些实施例的使用腕部移动来控制用户界面的方法1000的流程图。方法1000在具有一个或多个处理器和存储器的计算系统(例如，可穿戴设备或中间设备)处执行。在一些实施例中，存储器存储被配置为由一个或多个处理器执行的一个或多个程序。图10A至图10B中所示的至少一些操作对应于存储在计算机存储器或计算机可读存储介质(例如，存储器6050、6080和/或7050)中的指令。在一些实施例中，计算系统是可穿戴设备，例如腕部可穿戴设备120或头部可穿戴设备110或402。在一些实施例中，计算系统是智能手机(例如，HIPD 8000)等的中间设备，或包括智能手机(例如，HIPD 8000)等的中间设备。
该系统经由用户穿戴的腕部可穿戴设备的一个或多个神经肌肉信号传感器接收用户在执行空中腕部移动期间产生的数据(1002)。例如，该一个或多个传感器包括传感器6021和/或6013(例如，EMG传感器和/或IMU传感器)。
该系统根据空中腕部移动来移动用户界面上的焦点(1004)。例如，图5C示出了用户旋转他们的腕部，并且界面506中的焦点从1月1日事件(图5B中)切换到1月8日事件(图5C中)。
在一些实施例中，该系统：(i)识别空中腕部移动为导航手势的一部分(例如，经由一个或多个处理器6049和/或6079)；以及(ii)根据该识别来移动焦点(1006)。例如，系统将图5B中的握拳手势识别为用于导航的启动手势，并将图5C中的腕部旋转手势识别为用于导航的移动控制手势。
在一些实施例中：(i)空中腕部移动包括用户的腕部从初始位置旋转到旋转位置，并且用户的腕部被保持在旋转位置一定时间量；以及(ii)用户的腕部保持在旋转位置的该时间量时，系统在多个可选用户界面元素中滚动焦点(1008)。例如，当用户保持图1G所示的腕部向下旋转时，焦点105向下移动表情符号菜单中的表情符号。在一些实施例中，系统根据用户的腕部返回到初始位置停止滚动焦点，并选择距离焦点最近的用户界面元素(1010)。例如，图2F示出了用户已经释放了捏合手势，并且根据系统停止滚动来选择图像216。
在一些实施例中，焦点以对应于用户腕部的腕部角度的速度移动(1012)。例如，用户将他们的腕部旋转得越远，焦点移动得越快。在一些实施例中，焦点以与空中腕部移动的速度相对应的速度移动(1014)。例如，如果用户快速轻弹他们的腕部，焦点移动得比用户缓慢旋转腕部时更快。在一些实施例中，焦点移动的速度基于执行手势的角度和速度。
在一些实施例中，该系统根据确定了焦点位于用户界面元素的阈值距离内，通过将焦点对齐到用户界面元素来选择用户界面元素(1018)。例如，图4C和图4D示出了焦点408移动到对齐边界412内并对齐到用户界面元素414。
在一些实施例中，该系统：(i)检测用户界面控制手势；以及(ii)根据确定了用户界面控制手势的移动将使得焦点移动到用户界面元素的阈值距离之外，取消选择用户界面元素(1020)。例如，图4E和图4F示出了焦点408移动到对齐边界412之外并取消选择用户界面元素414。在一些实施例中，对齐阈值和非对齐阈值是不同的。
该系统经由一个或多个神经肌肉信号传感器接收在用户执行空中手势期间产生的附加数据(1022)。该系统确定空中手势是执行手势(1024)。该系统执行对应于执行手势的命令(1026)。例如，图1H示出了用户115执行拇指轻击手势并将表情符号117相应地插入到回复框121中。
如本领域技术人员将理解的，方法800的各方面可以与方法900和方法1000的各方面组合和/或替换。例如，方法800可以在方法1000之前(或之后)执行。方法1000可以包括方法900的操作，例如，操作920、922和924可以在操作918之后执行。作为另一示例，操作802可以由操作1002替换(或补充)。
在这样描述了使用示例序列的示例操作序列和方法之后，现在将注意力集中在硬件和软件的系统级描述上，这些方法可以在这些硬件和软件上实现。或者可以通过这些硬件和软件实现。
示例系统
图11A至图11D示出了根据一些实施例的示例AR系统。图11A示出了AR系统5000a，以及使用腕部可穿戴设备6000、头部可穿戴设备(例如，AR系统7000)和/或手持式中间处理设备(handheld intermediary processing device，HIPD)8000的第一示例用户交互。图11B示出了AR系统5000b，以及使用腕部可穿戴设备6000、AR系统7000和/或HIPD 8000的第二示例用户交互。图11C-1和图11C-2示出了AR系统5000c，以及使用腕部可穿戴设备6000、头部可穿戴设备(例如，VR头戴式视图器7010)和/或HIPD 8000的第三示例用户交互。图11D-1和图11D-2示出了第四AR系统5000d，以及使用腕部可穿戴设备6000、VR头戴式视图器7010和/或设备9000(例如，可穿戴触觉手套)的第四示例用户交互。上述示例AR系统(在下文详细描述)可以执行上文参考图1至图10描述的各种功能和/或操作。
下文参考图12A至图12B描述腕部可穿戴设备6000及其部件；下文参考图13A至13D描述头部可穿戴设备及其部件；并且下文参考图14A至图14B描述HIPD 8000及其部件。下文将参考图15A至图15C描述可穿戴手套及其部件。如图11A所示，腕部可穿戴设备6000、头部可穿戴设备和/或HIPD 8000可以经由网络5025(例如，蜂窝网络、近场网络、Wi-Fi、个人区域网或无线局域网)通信耦接。此外，腕部可穿戴设备6000、头部可穿戴设备和/或HIPD8000还可以经由网络5025(例如，蜂窝网络、近场网络、Wi-Fi、个人区域网、无线局域网等)与一个或多个服务器5030、计算机5040(例如，膝上型计算机、计算机等)、移动设备5050(例如，智能手机、平板电脑等)和/或其他电子设备通信耦接。类似地，设备9000还可以经由网络5025与腕部可穿戴设备6000、头部可穿戴设备、HIPD 8000、一个或多个服务器5030、计算机5040、移动设备5050和/或其他电子设备通信耦接。
转到图11A，其示出了用户5002穿戴着腕部可穿戴设备6000和AR系统7000，并将HIPD 8000放在他们的桌子上。腕部可穿戴设备6000、AR系统7000和HIPD 8000促进用户与AR环境进行交互。具体地，如AR系统5000a所示，腕部可穿戴设备6000、AR系统7000和/或HIPD 8000使得呈现一个或多个化身(avatar)5004、联系人5006的数字表示和虚拟对象5008。如下所述，用户5002可以经由腕部可穿戴设备6000、AR系统7000和/或HIPD 8000与一个或多个化身5004、联系人的数字表示5006和虚拟对象5008交互。
用户5002可以使用腕部可穿戴设备6000、AR系统7000和/或HIPD 8000中的任何设备来提供用户输入。例如，用户5002可以执行一个或多个手势，该一个或多个手势由腕部可穿戴设备6000(例如，使用一个或多个EMG传感器和/或IMU，以下参考图12A和图12B进行描述)和/或AR系统7000(例如，使用一个或多个图像传感器或相机，以下参考图13A和图13B进行描述)检测，以提供用户输入。可替代地或此外，用户5002可以经由在腕部可穿戴设备6000、AR系统7000和/或HIPD 8000中的一个或多个触摸表面、和/或由在腕部可穿戴设备6000、AR系统7000和/或HIPD 8000中的传声器捕获的语音命令，来提供用户输入。在一些实施例中，腕部可穿戴设备6000、AR系统7000和/或HIPD 8000包括数字助理，以帮助用户提供用户输入(例如，完成操作序列、建议不同的操作或命令、提供提醒、或确认命令)。在一些实施例中，用户5002经由一个或多个面部姿态和/或面部表情提供用户输入。例如，腕部可穿戴设备6000、AR系统7000和/或HIPD 8000的相机可以跟踪用户5002的眼睛以导航用户界面。
腕部可穿戴设备6000、AR系统7000和/或HIPD 8000可以单独操作或结合操作，以允许用户5002与AR环境交互。在一些实施例中，HIPD 8000被配置为作为如下设备的中央枢纽或控制中心来运行：腕部可穿戴设备6000、AR系统7000和/或另一通信耦接的设备。例如，用户5002可以在腕部可穿戴设备6000、AR系统7000和/或HIPD 8000中的任何设备处提供输入以与AR环境交互，并且HIPD 8000可以识别一个或多个后端任务和前端任务以使得执行所请求的交互，并且可以分发指令以使得在腕部可穿戴设备6000、AR系统7000和/或HIPD8000处执行一个或多个后端任务和前端任务。在一些实施例中，后端任务是用户不可感知的后台处理任务(例如，渲染内容、解压缩或压缩)，并且前端任务是用户可感知的面向用户的任务(例如，向用户呈现信息或向用户提供反馈)。如下面参考图14A和图14B描述的，HIPD8000可以执行后端任务，并向腕部可穿戴设备6000和/或AR系统7000提供与所执行的后端任务对应的操作数据，使得腕部可穿戴设备6000和/或AR系统7000可以执行前端任务。以此方式，HIPD 8000(其可具有比腕部可穿戴设备6000和/或AR系统7000更多的计算资源和更大的热净空(Thermal headroom))执行了计算密集型任务，并且降低了腕部可穿戴设备6000和/或AR系统7000的计算机资源利用率和/或电力使用。
在AR系统5000a所示的示例中，HIPD 8000识别与如下用户请求相关联的一个或多个后端任务和前端任务：该用户请求用于发起与一个或多个其它用户(由替身5004和联系人的数字表示5006来表示)的AR视频呼叫；并且HIPD 8000分发指令，以使得执行该一个或多个后端任务和前端任务。具体地，HIPD 8000执行用于处理和/或渲染与AR视频呼叫相关联的图像数据(和其它数据)的后端任务，并向AR系统7000提供与所执行的后端任务相关联的操作数据，使得AR系统7000执行用于呈现AR视频呼叫的前端任务(例如，呈现替身5004和联系人的数字表示5006)。
在一些实施例中，HIPD 8000用作引起信息呈现的焦点或锚点。这允许用户5002通常知道信息呈现在哪里。例如，如AR系统5000a所示，替身5004和联系人的数字表示5006被呈现在HIPD 8000之上。具体地，HIPD 8000和AR系统7000结合操作以确定用于呈现替身5004和联系人的数字表示5006的位置。在一些实施例中，可以在与HIPD 8000相距预定距离(例如，在5米内)呈现信息。例如，如AR系统5000a所示，虚拟对象5008被呈现在桌子上、与HIPD 8000相距一定距离。类似于以上示例，HIPD 8000和AR系统7000可以结合操作以确定用于呈现虚拟对象5008的位置。可替代地，在一些实施例中，信息呈现不受HIPD 8000的约束。更具体地，替身5004、联系人的数字表示5006和虚拟对象5008不必在HIPD 8000的预定距离内呈现。
对在腕部可穿戴设备6000、AR系统7000和/或HIPD 8000处提供的用户输入进行协调，使得用户可以使用任何设备来启动、继续和/或完成操作。例如，用户5002可以向AR系统7000提供用户输入以使AR系统7000呈现虚拟对象5008，并且在AR系统7000呈现虚拟对象5008时，用户5002可以经由腕部可穿戴设备6000提供一个或多个手势以交互和/或操作虚拟对象5008。
图11B示出了用户5002穿戴着腕部可穿戴设备6000和AR系统7000并手持HIPD8000。在AR系统5000b中，腕部可穿戴设备6000、AR系统7000和/或HIPD 8000被用于接收一个或多个消息和/或向用户5002的联系人提供一个或多个消息。具体地，腕部可穿戴设备6000、AR系统7000和/或HIPD 8000检测并协调一个或多个用户输入以启动消息传递应用，并准备对经由消息传递应用接收到的消息的响应。
在一些实施例中，用户5002经由用户输入启动如下项上的应用：腕部可穿戴设备6000、AR系统7000和/或HIPD 8000，该用户输入使该应用在至少一个设备上启动。例如，在AR系统5000b中，用户5002执行与用于启动消息传递应用(由消息传递用户界面5012表示)的命令相关联的手势；腕部可穿戴设备6000检测该手势；并且基于确定用户5002穿戴着AR系统7000，使AR系统7000呈现消息传递应用的消息传递用户界面5012。AR系统7000可以经由其显示器(例如，如用户5002的视野5010所示)向用户5002呈现消息传递用户界面5012。在一些实施例中，应用被启动并在检测用户输入以启动应用的设备(例如，腕部可穿戴设备6000、AR系统7000和/或HIPD 8000)上运行，并且该设备向另一设备提供操作数据以使消息传递应用呈现。例如，腕部可穿戴设备6000可以检测用户输入以启动消息传递应用；启动并运行消息传递应用；以及向AR系统7000和/或HIPD 8000提供操作数据以使消息传递应用呈现。可替代地，可以在除了检测到用户输入的设备之外的设备上启动和运行该应用。例如，腕部可穿戴设备6000可以检测与启动消息传递应用相关联的手势，并且可以使HIPD 8000运行消息传递应用并协调消息传递应用的呈现。
此外，用户5002可以在腕部可穿戴设备6000、AR系统7000和/或HIPD 8000处提供用户输入，以继续和/或完成在另一设备处启动的操作。例如，在经由腕部可穿戴设备6000启动了消息传递应用之后，并且在AR系统7000呈现消息传递用户界面5012时，用户5002可以在HIPD 8000处提供输入以准备响应(例如，由在HIPD 8000上执行的滑动手势示出)。在HIPD 8000上执行的用户5002的手势可以在另一设备上提供和/或显示。例如，在HIPD 8000上执行的用户5002的滑动手势被显示在由AR系统7000显示的消息传递用户界面5012的虚拟键盘上。
在一些实施例中，腕部可穿戴设备6000、AR系统7000、HIPD 8000和/或其它通信耦接的设备向用户5002呈现一个或多个通知。该通知可以是对新消息、呼入、应用更新或状态更新的指示。用户5002可以经由腕部可穿戴设备6000、AR系统7000、HIPD 8000来选择该通知，并且使得在至少一个设备上呈现与该通知相关联的应用或操作。例如，用户5002可以接收对如下的通知：在腕部可穿戴设备6000、AR系统7000、HIPD 8000和/或其它通信耦接的设备处接收到了消息，并且用户5002可以在腕部可穿戴设备6000、AR系统7000和/或HIPD8000处提供用户输入以审阅该通知，并且检测到用户输入的设备可以使得在腕部可穿戴设备6000、AR系统7000和/或HIPD 8000处启动和/或呈现与该通知相关联的应用。
虽然以上示例描述了用于与消息传递应用交互的、协调的输入，但本领域技术人员在阅读该描述时将理解，用户输入可以被协调以与任何数量的应用交互，这些应用包括但不限于游戏应用、社交媒体应用、相机应用、基于网页(Web)的应用和金融应用。例如，AR系统7000可以向用户5002呈现游戏应用数据，并且HIPD 8000可以使用控制器来向游戏提供输入。类似地，用户5002可以使用腕部可穿戴设备6000来启动AR系统7000的相机，并且用户可以使用腕部可穿戴设备6000、AR系统7000和/或HIPD 8000来操作图像捕获(例如，放大或缩小、应用滤镜等)并捕获图像数据。
现在将在下面对如下内容进行更详细地讨论：已经更一般地论述的示例AR系统、用于与此类AR系统交互的设备以及其它计算系统。为了便于参考，这里限定了这样的设备和部件的一些定义：这些设备和部件可被包括在下面讨论的示例设备中的一些或全部示例设备中。本领域技术人员将理解，下面描述的某些类型的部件可能更适合于特定的一组设备，而不太适合于另一组设备。但是，后续对这里限定的部件的参考应视为由所提供的定义所涵盖。
在下面讨论的一些实施例中，将讨论包括电子设备和系统的、示例设备和系统。此类示例设备和系统并非旨在是限制性的，并且本领域技术人员将理解，可以使用本文中所描述的示例设备和系统的替代设备和系统来执行本文中所描述的操作并构造本文中所描述的系统和设备。
如本文所述，电子设备是使用电能来执行一个或多个功能的设备。该电子设备可以是包含电子部件(诸如晶体管、电阻器、电容器、二极管和集成电路)的任何物理对象。电子设备的示例包括智能电话、膝上型计算机、数字相机、电视、游戏机和音乐播放器、以及本文中所讨论的示例电子设备。如本文所述，中间电子设备是这样的设备：该设备位于两个其它电子设备之间和/或一个或多个电子设备的部件子集之间，并且促进相应电子设备和/或电子部件之间的通信和/或数据处理和/或数据传送。
如本文所述，处理器(例如，中央处理单元(Central Processing Unit，CPU))是负责执行指令并控制电子设备(例如，计算机)的操作的电子部件。存在可以由本文中所描述的实施例互换地使用或特别要求的各种类型的处理器。例如，处理器可以是：(i)通用处理器，其被设计用于执行广泛的任务，诸如运行软件应用、管理操作系统以及执行算术和逻辑运算；(ii)微控制器，其被设计用于特定任务，诸如控制电子设备、传感器和电机；(iii)图形处理单元(Graphics Processing Unit，GPU)，其被设计用于加速对图像、视频和动画(例如，虚拟现实动画，诸如三维建模)的创建和渲染；(iv)现场可编程门阵列(Field-Programmable Gate Array，FPGA)，其可以在制造后被编程和重配置，和/或可被定制为执行特定任务，诸如信号处理、加密和机器学习；(v)数字信号处理器(Digital SignalProcessor，DSP)，其被设计用于对信号(诸如音频、视频和无线电波)执行数学运算。本领域技术人员将理解，可以在本文中所描述的各种实施例中使用一个或多个电子设备的一个或多个处理器。
如本文中所述，存储器是指在计算机或电子设备中的这样的电子部件：所述电子部件存储数据和指令以供处理器访问和操作。存储器的示例可以包括：(i)随机存取存储器(Random Access Memory，RAM)，其被配置为临时存储数据和指令；(ii)只读存储器(Read-Only Memory，ROM)，其被配置为永久存储数据和指令(例如，系统固件、和/或引导加载程序中的一个或多个部分)；(iii)闪存存储器(例如，USB驱动、存储卡和/或固态驱动(Solid-State Drive，SSD))，其可以被配置为在电子设备中存储数据；以及(iv)缓存存储器，其被配置为临时存储频繁访问的数据和指令。如本文所述，存储器可以包括结构化数据(例如，SQL数据库、MongoDB数据库、GraphQL数据和/或JSON数据)。存储器的其它示例可以包括：(i)简档数据，其包括用户账号数据、用户设置和/或由用户存储的其它用户数据；(ii)由一个或多个传感器检测和/或以其它方式获得的传感器数据；(iii)媒体内容数据，其包括存储的图像数据、音频数据、文档等；(iv)应用数据，其可以包括在应用的使用期间收集和/或以其它方式获得并存储的数据；和/或本文中所描述的任何其它类型的数据。
如本文中所述，控制器是管理和协调电子设备内其它部件的操作(例如，控制输入、处理数据和/或生成输出)的电子部件。控制器的示例包括：(i)微控制器，其包括通常在嵌入式系统和物联网(Internet of Thing，IoT)设备中使用的小型、低功率控制器；(ii)可编程逻辑控制器(Programmable Logic Controller，PLC)，其可被配置为在工业自动化系统中使用以控制和监测制造过程；(iii)片上系统(System-on-a-Chip，SoC)控制器，其将多个部件(诸如处理器、存储器、I/O接口和其它外围设备)集成到单个芯片中；和/或DSP。
如本文所述，电子设备的电力系统被配置为将输入电力转换为可被用于操作设备的形式。电力系统可以包括各种部件，这些部件包括：(i)电源，其可以是交流(AlternatingCurrent，AC)适配器或直流(Direct Current，DC)适配器电源；(ii)充电器输入，其可以被配置为使用有线连接和/或无线连接(其可以是外围接口的一部分，诸如USB、微USB接口、近场磁耦接、磁感应和磁共振充电、和/或射频(Radio Frequency，RF)充电)；(iii)电源管理集成电路，其被配置为将电力分配给设备的各种部件并确保设备在安全限制内操作(例如，调节电压、控制电流和/或管理散热)；和/或(iv)电池，其被配置为存储电力以向一个或多个电子设备的部件提供可用电力。
如本文中所述，外围接口是这样的电子部件(例如，电子设备的电子部件)：所述电子部件允许电子设备与其它设备或外围设备通信，并且可以提供用于输入和输出数据和信号的手段。外围接口的示例可以包括：(i)通用串行总线(Universal Serial Bus，USB)和/或微USB接口，其被配置用于将设备连接到电子设备；(ii)蓝牙接口，其被配置为允许设备彼此通信，蓝牙接口包括低功耗蓝牙(Bluetooth Low Energy，BLE)；(iii)近场通信(NearField Communication，NFC)接口，其被配置成用于诸如接入控制等操作的短距离无线接口；(iv)POGO管脚，其可以是被配置为提供充电接口的小的弹簧承载的管脚；(v)无线充电接口；(vi)GPS接口；(vii)Wi-Fi接口，其用于在设备与无线网络之间提供连接；(viii)传感器接口。
如本文中所述，传感器是被配置为检测物理和环境改变并产生电信号的电子部件(例如，电子设备(诸如可穿戴设备)中的电子部件和/或以其它方式与电子设备进行电子通信的电子部件)。传感器的示例可以包括：(i)用于收集成像数据的成像传感器(例如，包括布置在相应电子设备上的一个或多个相机)；(ii)生物电势信号传感器；(iii)用于检测例如角速度、力、磁场和/或加速度改变的惯性测量单元(例如，IMU)；(iv)用于测量用户的心率的心率传感器；(v)用于测量用户的血氧饱和度(SpO2)和/或其它生物识别数据的SpO2传感器；(vi)用于检测用户身体的一部分处的电势改变的电容式传感器(例如，传感器-皮肤接口)；光传感器(例如，飞行时间传感器、红外光传感器、可见光传感器等)等。如本文中所述，生物电势信号感测部件是用于测量体内的电活动的设备(例如，生物电势信号传感器)。一些类型的生物电势信号传感器包括：(i)脑电图(Electroencephalography，EEG)传感器，其被配置为测量脑中的电活动以诊断神经疾病；(ii)心电图(Electrocardiography，ECG或EKG)传感器，其被配置为测量心脏的电活动以诊断心脏问题；(iii)肌电图(Electromyography，EMG)传感器，其被配置为测量肌肉的电活动并诊断神经肌肉疾病；(iv)眼电(Electrooculography，EOG)传感器，其被配置为测量眼部肌肉的电活动以检测眼部运动并诊断眼部疾病。
如本文所述，存储在电子设备的存储器中的应用(例如，软件)包括存储在存储器中的指令。此类应用的示例包括：(i)游戏；(ii)文字处理器；消息传递应用；媒体流应用；金融应用；日历；时钟；用于实现不同相应电子设备之间的有线连接和/或无线连接的通信接口模块(例如，IEEE 802.15.4、Wi-Fi、ZigBee、6LoWPAN、线程、Z-Wave、蓝牙智能、ISA100.11a、WirelessHART或MiWi、定制或标准有线协议(例如，Ethernet或HomePlug)、和/或任何其它合适的通信协议)。
如本文中所述，通信接口是使不同的系统或设备能够彼此交换信息和数据的机制，包括硬件、软件或者硬件和软件两者的组合。例如，通信接口可以指设备上的实现与其它设备的通信的物理连接器和/或端口(例如，USB、Ethernet、HDMI、蓝牙)。在一些实施例中，通信接口可以指实现不同软件程序彼此通信的软件层(例如，应用编程接口(Application Programming Interface，API)、和/或诸如HTTP和TCP/IP等协议)。
如本文中所述，图形模块是被设计为处理图形操作和/或过程的部件或软件模块，并且可以包括硬件模块和/或软件模块。
如本文中所述，非暂态计算机可读存储介质是可被用于以非暂态形式存储电子数据(例如，使得数据被永久存储直到其被有意删除或修改为止)的物理设备或存储介质。
示例腕部可穿戴设备
图12A和图12B示出了根据一些实施例的腕部可穿戴设备6000。图12A示出了腕部可穿戴设备6000的部件，这些部件可以单独使用或组合使用，组合包括这样的组合：所述组合包括其它电子设备和/或电子部件。
图12A示出了可穿戴带6010和手表主体6020(或舱(Capsule))耦接，如下所述，以形成腕部可穿戴设备6000。腕部可穿戴设备6000可以执行与在用户界面中导航和选择性地打开应用相关联的各种功能和/或操作、以及上面参考图1A至图6D描述的功能和/或操作。
如下面将更详细地描述的，由腕部可穿戴设备6000执行的操作可以包括：(i)向用户呈现内容(例如，经由显示器6005显示视觉内容)；(ii)检测(例如，感测)用户输入(例如，感测在外围按钮6023上的触摸和/或在显示器6005的触摸屏处的触摸、由传感器(例如，生物电势传感器)检测到的手势)；(iii)经由一个或多个传感器6013感测生物识别数据(例如，神经肌肉信号、心率、温度和/或睡眠)；消息传递(例如，文本、语音和/或视频)；经由一个或多个成像设备或相机6025的图像捕获；无线通信(例如，蜂窝、近场、Wi-Fi和/或个域网)；位置确定；金融交易；提供触觉反馈；警告；通知；生物识别认证；健康监测；睡眠监测；等。
以上示例功能可以在手表主体6020中独立地执行、在可穿戴带6010中独立地执行、和/或经由手表主体6020与可穿戴带6010之间的电子通信来执行。在一些实施例中，在(例如，经由AR系统5000a至5000d之一)呈现AR环境时，可以在腕部可穿戴设备6000上执行功能。如本领域技术人员在阅读本文所提供的描述时将理解的，本文中所描述的新型可穿戴设备可以与其它类型的AR环境一起使用。
可穿戴带6010可以被配置为由用户穿戴，使得可穿戴带6010的内表面与用户的皮肤接触。当用户穿戴时，传感器6013接触用户的皮肤。传感器6013可以感测生物识别数据，诸如用户的心率、饱和氧水平、温度、汗液水平、神经肌肉信号传感器、或其组合。传感器6013还可以感测关于用户的环境的数据，该数据包括用户的运动、高度、位置、方位、步态、加速度、位置、或其组合。在一些实施例中，传感器6013被配置为跟踪可穿戴带6010的位置和/或运动。一个或多个传感器6013可以包括上面定义的和/或下面参考图12B讨论的传感器中的任何传感器。
一个或多个传感器6013可以被分布在可穿戴带6010的内侧和/或外表面上。在一些实施例中，一个或多个传感器6013沿着可穿戴带6010均匀间隔开。可替代地，在一些实施例中，一个或多个传感器6013位于沿着可穿戴带6010的不同点处。如图12A所示，一个或多个传感器6013可以是相同的或不同的。例如，在一些实施例中，一个或多个传感器6013可以被塑造为药丸式(例如，传感器6013a)、卵形、圆形、正方形、椭圆形(例如，传感器6013c)、和/或维持与用户的皮肤接触的任何其它形状(例如，使得可以在用户的皮肤处准确地测量神经肌肉信号和/或其它生物识别数据)。在一些实施例中，一个或多个传感器6013被对准以形成传感器对(例如，用于基于每个相应传感器内的差分感测来感测神经肌肉信号)。例如，传感器6013b与相邻传感器对准以形成传感器对6014a，并且传感器6013d与相邻传感器对准以形成传感器对6014b。在一些实施例中，可穿戴带6010不具有传感器对。可替代地，在一些实施例中，可穿戴带6010具有预定数量的传感器对(例如，一对传感器、三对传感器、四对传感器、六对传感器或十六对传感器)。
可穿戴带6010可以包括任何合适数量的传感器6013。在一些实施例中，传感器6013的数量和布置取决于使用可穿戴带6010的特定应用。例如，被配置为臂带、腕带或胸带的可穿戴带6010可以包括多个传感器6013，该多个传感器对于各个用例(诸如与游戏或一般日常用例相比的医疗用例)具有不同数量的传感器6013和不同布置。
根据一些实施例，可穿戴带6010还包括电接地电极和屏蔽电极。与传感器6013一样，电接地电极和屏蔽电极可以被分布在可穿戴带6010的内表面上，使得它们接触用户的皮肤的一部分。例如，电接地电极和屏蔽电极可以位于耦接机构6016的内表面或可穿戴结构6011的内表面。电接地电极和屏蔽电极可以形成和/或使用与传感器6013相同的部件。在一些实施例中，可穿戴带6010包括多于一个电接地电极和多于一个屏蔽电极。
传感器6013可以形成为可穿戴带6010的可穿戴结构6011的一部分。在一些实施例中，传感器6013与可穿戴结构6011平齐或基本上平齐，使得它们不会延伸超出可穿戴结构6011的表面。在与可穿戴结构6011平齐的同时，传感器6013仍被配置为(例如，经由皮肤接触表面)接触用户的皮肤。可替代地，在一些实施例中，传感器6013延伸超出可穿戴结构6011预定距离(例如，0.1mm-2mm)以接触并压入用户的皮肤。在一些实施例中，传感器6013被耦接到致动器(未示出)，该致动器被配置为调整传感器6013的延伸高度(例如，与可穿戴结构6011的表面相距的距离)，使得传感器6013接触并压入用户的皮肤。在一些实施例中，致动器在0.01mm-1.2mm之间调整延伸高度。这允许用户定制传感器6013的位置，以提高可穿戴带6010在穿戴时的整体舒适性，同时仍允许传感器6013接触用户的皮肤。在一些实施例中，当用户穿戴时，传感器6013与可穿戴结构6011不可区分。
可穿戴结构6011可以由弹性材料、弹性体等形成，弹性材料、弹性体等被配置为被拉伸和适配以供用户穿戴。在一些实施例中，可穿戴结构6011是纺织品或编织布。如上所述，传感器6013可以形成为可穿戴结构6011的一部分。例如，传感器6013可以被模制到可穿戴结构6011中或集成到编织布中(例如，传感器6013可以被缝合到织物中并模拟织物的柔韧性(例如，传感器6013可以由一系列编织的布条构造))。
可穿戴结构6011可以包括将传感器6013、电子电路和/或其它电子部件互连的柔性电子连接器(以下参照图12B描述)，这些柔性电子连接器被包括在可穿戴带6010中。在一些实施例中，柔性电子连接器被配置为将可穿戴带6010的传感器6013、电子电路和/或其它电子部件与另一电子设备(例如，手表主体6020)的相应传感器和/或其它电子部件互连。柔性电子连接器被配置为与可穿戴结构6011一起移动，使得用户对可穿戴结构6011的调整(例如，调整大小、拉动和/或折叠)不会对可穿戴带6010的部件的电耦接施加压力或拉力。
如上所述，可穿戴带6010被配置为由用户穿戴。具体地，可穿戴带6010可以被塑造为或以其它方式操作为由用户穿戴。例如，可穿戴带6010可以被塑造为具有基本上的圆形，使得它可以被配置为被穿戴在用户的下臂或手腕上。可替代地，可穿戴带6010可以被塑造为被穿戴在用户的另一身体部位(诸如用户的上臂(例如，二头肌周围)、前臂、胸部或腿)上。可穿戴带6010可以包括保持机构6012(例如，扣子或钩环紧固件)，该保持机构6012用于将可穿戴带6010固定到用户的手腕或其它身体部位。在可穿戴带6010被用户穿戴着时，传感器6013从用户的皮肤感测数据(称为传感器数据)。具体地，可穿戴带6010的传感器6013获得(例如，感测和记录)神经肌肉信号。
感测到的数据(例如，感测到的神经肌肉信号)可被用于检测和/或确定用户执行某些运动动作的意图。具体地，在用户执行肌肉活动(例如，运动和/或手势)时，传感器6013感测并记录来自用户的神经肌肉信号。检测到和/或确定的运动动作(例如，指骨(或手指)运动、手腕运动、手运动和/或其它肌肉意图)可被用于确定用于使计算设备执行一个或多个输入命令的控制命令或控制信息(在感测到数据之后执行某些命令的指令)。例如，感测到的神经肌肉信号可被用于控制被显示在腕部可穿戴设备6000的显示器6005上的某些用户界面，和/或可被发送到负责渲染人工现实环境的设备(例如，头戴式显示器)以在相关联的人工现实环境中执行动作，诸如以控制向用户显示的虚拟设备的运动。用户执行的肌肉活动可以包括：静态手势，诸如将用户的手掌向下放在桌子上；动态手势，诸如抓住物理对象或虚拟对象；以及另一个人感知不到的隐蔽手势，诸如通过共同收缩相对的肌肉或使用子肌肉活动来轻微地拉紧关节。用户执行的肌肉活动可以包括符号手势(例如，这样的手势：基于例如指定手势到命令的映射的手势词汇表，所述手势被映射到其它手势、交互或命令)。
传感器6013感测到的传感器数据可被用于向用户提供与物理对象(例如，与可穿戴带6010通信耦接的设备)和/或由人工现实系统生成的、人工现实应用中的虚拟对象(例如，在显示器6005或另一计算设备(例如，智能电话)上呈现的用户界面对象)的增强交互。
在一些实施例中，可穿戴带6010包括一个或多个触觉设备6046(图12B，例如，振动触觉致动器)，该一个或多个触觉设备6046被配置为向用户的皮肤提供触觉反馈(例如，皮肤感觉和/或动觉感觉)。传感器6013和/或触觉设备6046可以被配置为结合多个应用来操作，所述多个应用包括但不限于健康监测、社交媒体、游戏、和人工现实(例如，与人工现实相关联的应用)。
可穿戴带6010还可以包括用于将舱(例如，计算单元)或手表主体6020(经由手表主体6020的耦接表面)可拆卸地耦接到可穿戴带6010的耦接机构6016(例如，耦接机构的支架或形状可以对应于腕部可穿戴设备6000的手表主体6020的形状)。具体地，耦接机构6016可以被配置为容纳手表主体6020的靠近底侧的耦接表面(例如，与手表主体6020的显示器6005所在的前侧相对的一侧)，使得用户可以将手表主体6020向下推入耦接机构6016，以将手表主体6020附接到耦接机构6016。在一些实施例中，耦接机构6016可以被配置为容纳手表主体6020的顶侧(例如，与手表主体6020的显示器6005所在的前侧靠近的一侧)，手表主体6020被向上推入支架中，而不是被向下推入耦接机构6016中。在一些实施例中，耦接机构6016是可穿戴带6010的集成部件，使得可穿戴带6010和耦接机构6016是单个整体结构。在一些实施例中，耦接机构6016是一种类型的框架或外壳，该框架或外壳允许手表主体6020耦接表面保持在可穿戴带6010耦接机构6016(例如，支架、跟踪带、支撑底座或扣子)内或上。
耦接机构6016可以允许手表主体6020通过以下项可拆卸地耦接到可穿戴带6010：摩擦配合、磁耦接、基于旋转的连接器、剪切销耦接器、保持弹簧、一个或多个磁体、夹子、销轴、钩环紧固件或其组合。用户可以执行任何类型的运动，以将手表主体6020耦接到可穿戴带6010以及将手表主体6020与可穿戴带6010解耦接。例如，用户可以相对于可穿戴带6010扭转、滑动、转动、推、拉或旋转(或者其组合)手表主体6020，以将手表主体6020附接到可穿戴带6010以及将手表主体6020从可穿戴带6010拆卸。可替代地，如下面所讨论的，在一些实施例中，可以通过驱动释放机构6029，将手表主体6020与可穿戴带6010解耦接。
可穿戴带6010可以与手表主体6020耦接，以增加可穿戴带6010的功能(例如，将可穿戴带6010转换为腕部可穿戴设备6000、添加附加计算单元和/或电池以增加可穿戴带6010的计算资源和/或电池寿命、添加附加传感器以改进感测到的数据等)。如上所述，可穿戴带6010(和耦接机构6016)被配置为独立于手表主体6020操作(例如，独立于手表主体6020执行功能)。例如，耦接机构6016可以包括一个或多个传感器6013，当用户穿戴着可穿戴带6010时，该一个或多个传感器6013接触用户的皮肤，并提供用于确定控制命令的传感器数据。
用户可以将手表主体6020(或舱)从可穿戴带6010拆下，以便减少腕部可穿戴设备6000对用户的负担。对于手表主体6020是可拆卸的实施例，手表主体6020可以被称为可拆卸结构，使得在这些实施例中，腕部可穿戴设备6000包括可穿戴部分(例如，可穿戴带6010)和可拆卸结构(手表主体6020)。
转到手表主体6020，手表主体6020可以具有基本上的矩形或圆形。手表主体6020被配置为由用户穿戴在其手腕上或另一身体部位上。更具体地，手表主体6020按一定大小制作为容易由用户携带、附接在用户服饰的一部分上、和/或耦接到可穿戴带6010(形成腕部可穿戴设备6000)。如上所述，手表主体6020可以具有与可穿戴带6010的耦接机构6016对应的形状。在一些实施例中，手表主体6020包括单个释放机构6029或多个释放机构(例如，位于手表主体6020的相对两侧上的两个释放机构6029，诸如弹簧承载的按钮)，以将手表主体6020和可穿戴带6010解耦接。释放机构6029可以包括但不限于按钮、旋钮、塞子、手柄、杠杆、紧固件、扣子、拨盘、闩锁或其组合。
用户可以通过推、转动、抬起、按下、移动释放机构6029或对释放机构6029执行其它动作，来驱动释放机构6029。对释放机构6029的驱动可以将手表主体6020从可穿戴带6010的耦接结构6016释放(例如，解耦接)，从而允许用户独立于可穿戴带6010使用手表主体6020，反之亦然。例如，将手表主体6020从可穿戴带6010解耦接可以允许用户使用后置相机6025B来捕获图像。虽然释放机构6029被示出为位于手表主体6020的一角，但释放机构6029可以位于手表主体6020上便于用户驱动的任何位置。此外，在一些实施例中，可穿戴带6010还可以包括用于将手表主体6020从耦接机构6016解耦接的相应释放机构。在一些实施例中，释放机构6029是可选的，并且手表主体6020可以如上所述(例如，经由扭转或旋转)从耦接机构6016解耦接。
手表主体6020可以包括用于在手表主体6020执行各种操作的一个或多个外围按钮6023和6027。例如，外围按钮6023和6027可被用于打开或唤醒显示器6005(例如，从睡眠状态转换到激活状态)、解锁手表主体6020、增大或减小音量、增大或减小亮度、与一个或多个应用交互、和/或与一个或多个用户界面交互。此外或可替代地，在一些实施例中，显示器6005用作触摸屏，并且允许用户提供用于与手表主体6020交互的一个或多个输入。
在一些实施例中，手表主体6020包括一个或多个传感器6021。手表主体6020的传感器6021可以与可穿戴带6010的传感器6013相同或不同。手表主体6020的传感器6021可以分布在手表主体6020的内表面和/或外表面上。在一些实施例中，传感器6021被配置为在用户穿戴手表主体6020时接触用户的皮肤。例如，传感器6021可以被放置在手表主体6020的底侧，并且耦接机构6016可以是具有开口的支架，该开口允许手表主体6020的底侧直接接触用户的皮肤。可替代地，在一些实施例中，手表主体6020不包括被配置为接触用户的皮肤的传感器(例如，包括手表主体6020内部和/或外部的传感器，这些传感器被配置为感测手表主体6020的数据和手表主体6020的周围环境的数据)。在一些实施例中，传感器6013被配置为跟踪手表主体6020的位置和/或运动。
手表主体6020和可穿戴带6010可以使用有线通信方法(例如，通用异步收发机(Universal Asynchronous Receiver/Transmitter，UART)或USB收发器)和/或无线通信方法(例如，近场通信或蓝牙)来共享数据。例如，手表主体6020和可穿戴带6010可以共享由传感器6013和6021感测到的数据、以及应用和设备特定信息(例如，激活的和/或可用的应用、输出设备(例如，显示器和/或扬声器)、输入设备(例如，触摸屏、传声器和/或成像传感器))。
在一些实施例中，手表主体6020可以包括但不限于，前置相机6025A和/或后置相机6025B、传感器6021(例如，生物识别传感器、IMU、心率传感器、饱和氧传感器、神经肌肉信号传感器、高度计传感器、温度传感器、生物阻抗(Bioimpedance)传感器、计步器传感器、光学传感器(例如，成像传感器6063；图12B)、触摸传感器、汗液传感器等)。在一些实施例中，手表主体6020可以包括一个或多个触觉设备6076(图12B；振动触觉致动器)，该一个或多个触觉设备6076被配置为向用户提供触觉反馈(例如，皮肤感觉和/或动觉感觉)。传感器6021和/或触觉设备6076还可以被配置为与多个应用结合操作，所述多个应用包括但不限于健康监测应用、社交媒体应用、游戏应用和人工现实应用(例如，与人工现实相关联的应用)。
如上所述，手表主体6020和可穿戴带6010在耦接时可以形成腕部可穿戴设备6000。在耦接时，手表主体6020和可穿戴带6010用作单个设备以执行本文中所描述的功能(操作、检测和/或通信)。在一些实施例中，每个设备被提供有用于执行腕部可穿戴设备6000的一个或多个操作的特定指令。例如，根据确定手表主体6020不包括神经肌肉信号传感器，可穿戴带6010可以包括用于执行相关联指令的替代指令(例如，经由不同的电子设备向手表主体6020提供感测到的神经肌肉信号数据)。腕部可穿戴设备6000的操作可以由手表主体6020单独执行或由手表主体6020与可穿戴带6010结合(例如经由相应处理器和/或硬件部件)执行，反之亦然。在一些实施例中，腕部可穿戴设备6000、手表主体6020和/或可穿戴带6010的操作可以与另一通信耦接的设备(例如，HIPD 8000；图14A和图14B)的一个或多个处理器和/或硬件部件结合执行。
如下面参考图12B的框图所述，可穿戴带6010和/或手表主体6020可以各自包括独立地执行功能所需的独立资源。例如，可穿戴带6010和/或手表主体6020可以各自包括电源(例如，电池)、存储器、数据存储库、处理器(例如，中央处理单元(CPU))、通信、光源、和/或输入/输出设备。
图12B示出了根据一些实施例的如下计算系统的框图：与可穿戴带6010对应的计算系统6030、以及与手表主体6020对应的计算系统6060。根据一些实施例，腕部可穿戴设备6000的计算系统包括可穿戴带计算系统6030和手表主体计算系统6060的部件的组合。
手表主体6020和/或可穿戴带6010可包括手表主体计算系统6060中示出的一个或多个部件。在一些实施例中，单个集成电路包括手表主体计算系统6060的所有部件或大部分部件，这些部件被包括在单个集成电路中。可替代地，在一些实施例中，手表主体计算系统6060的各部件被包括在多个集成电路中，这些集成电路通信地耦接。在一些实施例中，手表主体计算系统6060被配置为(例如经由有线连接或无线连接)与可穿戴带计算系统6030耦接，这允许计算系统共享部件、分发任务、和/或执行本文中所描述的其它操作(单独地或作为单个设备)。
手表主体计算系统6060可以包括一个或多个处理器6079、控制器6077、外围设备接口6061、电力系统6095和存储器(例如，存储器6080)，以上各项中的每项在上面进行了定义并且在下面进行更详细地描述。
电力系统6095可以包括充电器输入6096、电力管理集成电路(Power-ManagementIntegrated Circuit，PMIC)6097和电池6098，这些中的每个都在上面进行了定义。在一些实施例中，手表主体6020和可穿戴带6010可以具有各自的电池(例如，电池6098和6059)，并且可以彼此共享电力。手表主体6020和可穿戴带6010可以使用各种技术来接收电荷。在一些实施例中，手表主体6020和可穿戴带6010可以使用有线充电组件(例如，电力线)来接收电荷。可替代地或此外，手表主体6020和/或可穿戴带6010可以被配置用于无线充电。例如，便携式充电设备可以被设计为与手表主体6020和/或可穿戴带6010的一部分匹配，并向手表主体6020和/或可穿戴带6010的电池无线地传送可用电力。手表主体6020和可穿戴带6010可以具有独立的电力系统(例如，电力系统6095和6056)，以使各自能够独立操作。手表主体6020和可穿戴带6010还可以经由各自的PMIC(例如，PMIC 6097和6058)共享电力(例如，一个可以为另一个充电)，这些PMIC可以共享电导体和接地导体上的电力和/或无线充电天线上的电力。
在一些实施例中，外围接口6061可以包括一个或多个传感器6021，在上面定义了下面列出的该一个或多个传感器6021中的许多传感器。各传感器6021可以包括一个或多个耦接传感器6062，该一个或多个耦接传感器6062用于检测手表主体6020何时与另一电子设备(例如，可穿戴带6010)耦接。各传感器6021可以包括成像传感器6063(相机6025和/或单独的成像传感器6063(例如，热成像传感器)中的一个或多个)。在一些实施例中，各传感器6021包括一个或多个SpO2传感器6064。在一些实施例中，各传感器6021包括一个或多个生物电势信号传感器(例如，EMG传感器6065和6035，EMG传感器6065和6035可以被布置在手表主体6020和/或可穿戴带6010的面向用户的部分上)。在一些实施例中，各传感器6021包括一个或多个电容式传感器6066。在一些实施例中，各传感器6021包括一个或多个心率传感器6067。在一些实施例中，各传感器6021包括一个或多个IMU传感器6068。在一些实施例中，一个或多个IMU传感器6068可以被配置为检测用户的手的移动或者手表主体6020被放置或被握持的其它位置)。
在一些实施例中，各外围接口6061包括近场通信(Near-Field Communication，NFC)部件6069、全球定位系统(Global-Position System，GPS)部件6070、长期演进(Long-Term Evolution，LTE)部件6071、和/或Wi-Fi和/或蓝牙通信部件6072。在一些实施例中，各外围接口6061包括一个或多个按钮6073(例如，图12A中的外围按钮6023和6027)，该一个或多个按钮6073在被用户选择时使操作在手表主体6020处被执行。在一些实施例中，各外围接口6061包括一个或多个指示器，诸如发光二极管(Light Emitting Diode，LED)，以向用户提供视觉指示器(例如，接收到的消息、低电池电量、激活的传声器和/或相机)。
手表主体6020可以包括至少一个显示器6005，以向用户显示对信息或数据的可视表示，可视表示包括用户界面元素和/或三维虚拟对象。显示器还可以包括用于输入用户输入(诸如触摸手势、滑动手势等)的触摸屏。手表主体6020可以包括至少一个扬声器6074和至少一个传声器6075，以向用户提供音频信号并从用户接收音频输入。用户可以通过传声器6075提供用户输入，并且还可以从扬声器6074接收音频输出，作为由触觉控制器6078提供的触觉事件的一部分。手表主体6020可以包括至少一个相机6025，该至少一个相机6025包括前置相机6025A和后置相机6025B。相机6025可以包括超广角相机、广角相机、鱼眼相机、球形相机、长焦相机、深度感测相机或其它类型的相机。
手表主体计算系统6060可以包括一个或多个触觉控制器6078和相关联的部件(例如，触觉设备6076)，该一个或多个触觉控制器6078和相关联的部件用于在手表主体6020处提供触觉事件(例如，响应于手表主体6020处的事件的振动感觉或音频输出)。触觉控制器6078可以与一个或多个触觉设备6076(诸如电声设备)通信，该一个或多个触觉设备6076(诸如电声设备)包括一个或多个扬声器6074中的扬声器和/或其它音频部件和/或将能量转换为线性运动的机电设备(诸如电机、螺线管、电活性聚合物、压电致动器、静电致动器或其它触觉输出生成部件(例如，将电信号转换为设备上的触觉输出的部件))。触觉控制器6078可以提供手表主体6020的用户能够感测到的触觉事件。在一些实施例中，一个或多个触觉控制器6078可以接收来自各应用6082中的应用的输入信号。
在一些实施例中，计算系统6030和/或计算系统6060可以包括存储器6080，存储器6080可以由一个或多个控制器6077中的存储器控制器来控制。在一些实施例中，存储在存储器6080中的软件部件包括被配置为在手表主体6020处执行操作的一个或多个应用6082。在一些实施例中，该一个或多个应用6082包括游戏、文字处理器、消息传递应用、呼叫应用、网页浏览器、社交媒体应用、媒体流应用、金融应用、日历和/或时钟。在一些实施例中，存储在存储器6080中的软件部件包括如上定义的一个或多个通信接口模块6083。在一些实施例中，存储在存储器6080中的软件部件包括：用于渲染、编码和/或解码音频和/或视频数据的一个或多个图形模块6084；以及用于收集、组织和/或提供对存储在存储器6080中的数据6087的访问的一个或多个数据管理模块6085。在一些实施例中，一个或多个应用6082和/或一个或多个模块可以彼此结合工作，以在手表主体6020处执行各种任务。
在一些实施例中，存储在存储器6080中的软件部件可以包括一个或多个操作系统6081(例如，基于Linux的操作系统或Android操作系统)。存储器6080还可以包括数据6087。数据6087可以包括简档数据6088A、传感器数据6089A、媒体内容数据6090和应用数据6091。
应当理解，手表主体计算系统6060是手表主体6020内的计算系统的示例，并且手表主体6020可以具有比手表主体计算系统6060中示出的部件更多或更少的部件，可以组合两个或更多个部件，和/或可以具有不同的部件配置和/或布置。手表主体计算系统6060中示出的各种部件以硬件、软件、固件或其组合来实现，该硬件、软件、固件或其组合包括一个或多个信号处理和/或专用集成电路。
转向可穿戴带计算系统6030，示出了可被包括在可穿戴带6010中的一个或多个部件。可穿戴带计算系统6030可以包括比手表主体计算系统6060中示出的部件更多或更少的部件，可以组合两个或更多个部件，并且/或者可以具有各部件中的一些或所有部件的不同配置和/或布置。在一些实施例中，可穿戴带计算系统6030的部件中的所有部件或大部分部件被包括在单个集成电路中。可替代地，在一些实施例中，可穿戴带计算系统6030的各部件被包括多个集成电路中，这些集成电路通信地耦接。如上所述，在一些实施例中，可穿戴带计算系统6030被配置为(例如经由有线或无线连接)与手表主体计算系统6060耦接，这允许各计算系统共享部件、分发任务和/或执行本文中所描述的其它操作(单独地或作为单个设备)。
类似于手表主体计算系统6060，可穿戴带计算系统6030可以包括一个或多个处理器6049、一个或多个控制器6047(包括一个或多个触觉控制器6048)、外围接口6031(可以包括一个或多个传感器6013和其它外围设备)、电源(例如，电力系统6056)、以及存储器(例如，存储器6050)，该存储器包括操作系统(例如，操作系统6051)、数据(例如，数据6054，其包括简档数据6088B和/或传感器数据6089B)、和一个或多个模块(例如，通信接口模块6052和/或数据管理模块6053)。
根据以上定义，一个或多个传感器6013可以类似于计算系统6060的传感器6021。例如，各传感器6013可以包括一个或多个耦接传感器6032、一个或多个SpO2传感器6034、一个或多个EMG传感器6035、一个或多个电容式传感器6036、一个或多个心率传感器6037、以及一个或多个IMU传感器6038。
外围接口6031还可以包括与计算系统6060的外围接口6061中包括的那些部件类似的其它部件，这些部件包括如上参考外围接口6061所述的NFC部件6039、GPS部件6040、LTE部件6041、Wi-Fi和/或蓝牙通信部件6042、和/或一个或多个触觉设备6046。在一些实施例中，外围接口6031包括一个或多个按钮6043、显示器6033、扬声器6044、传声器6045和相机6055。在一些实施例中，外围接口6031包括一个或多个指示器，诸如LED。
应当理解，可穿戴带计算系统6030是可穿戴带6010内的计算系统的示例，并且可穿戴带6010可以具有比可穿戴带计算系统6030中示出的部件更多或更少的部件，可以组合两个或更多个部件，和/或可以具有不同的部件配置和/或布置。可穿戴带计算系统6030中示出的各种部件可以以硬件、软件、固件中的一个或组合(包括一个或多个信号处理和/或专用集成电路)来实现。
关于图12A的腕部可穿戴设备6000是可穿戴带6010和手表主体6020耦接的示例，因此腕部可穿戴设备6000将被理解为包括针对可穿戴带计算系统6030和手表主体计算系统6060所示出和描述的部件。在一些实施例中，腕部可穿戴设备6000在手表主体6020与可穿戴带6010之间具有分体式架构(例如，分体式机械架构、分体式电架构)。换言之，在可穿戴带计算系统6030和手表主体计算系统6060中示出的所有部件可以被容纳或以其它方式被布置在组合的手表设备6000中、或者在手表主体6020、可穿戴带6010和/或其部分(例如，可穿戴带6010的耦接机构6016)中的个体部件内。
上述技术可以与用于感测神经肌肉信号的任何设备(包括图12A和图12B的手臂可穿戴设备)一起使用，但也可以与用于感测神经肌肉信号的其它类型的可穿戴设备(诸如可具有更靠近大脑或脊柱的神经肌肉传感器的身体可穿戴或头部可穿戴设备)一起使用。
在一些实施例中，腕部可穿戴设备6000可以与下面描述的头部可穿戴设备(例如，AR系统7000和VR头戴式视图器7010)和/或HIPD 8000结合使用；并且腕部可穿戴设备6000还可以被配置为用于允许用户控制人工现实方面(例如，通过使用基于EMG的手势来控制人工现实中的用户界面对象，和/或通过允许用户与腕部可穿戴设备上的触摸屏交互来也控制人工现实方面)。在一些实施例中，腕部可穿戴设备6000也可以与可穿戴服饰(诸如下面参考图15A至图15C描述的可穿戴手套)结合使用。在这样描述了示例腕部可穿戴设备之后，现在将注意力转向示例头部可穿戴设备，诸如AR系统7000和VR头戴式视图器7010。
示例头部可穿戴设备
图13A至图13C示出了示例人工现实系统，这些示例人工显示系统包括AR系统7000。在一些实施例中，AR系统7000是如图13A所示的眼镜设备。在一些实施例中，VR系统7010包括头戴式显示器(Head-Mounted Display，HMD)7012，如图13B-1和图13B-2所示。在一些实施例中，AR系统7000和VR系统7010包括一个或多个类似的部件(例如，用于呈现交互式人工现实环境的部件，诸如处理器、存储器和/或呈现设备，这些呈现设备包括一个或多个显示器和/或一个或多个波导)，关于图13C更详细地描述了这些部件中的一些部件。如本文中所述，头部可穿戴设备可以包括眼镜设备7002和/或头戴式显示器7012的部件。头部可穿戴设备的一些实施例不包括任何显示器(这些显示器包括关于AR系统7000和/或VR系统7010描述的任何显示器)。虽然在本文中将各示例人工现实系统分别描述为AR系统7000和VR系统7010，但本文中所描述的各示例AR系统中的任何一个或两者可以被配置为呈现基本上全部的用户视野中呈现的完全沉浸式VR场景，作为对呈现用户视野的比全部视野少的一部分视野内呈现的更微小的增强现实场景的补充或替代。
图13A示出了AR系统7000(在本文中还可以被描述为增强现实眼镜和/或智能眼镜)的示例视觉描绘。AR系统7000可以包括图13A中未示出的附加电子部件(诸如可穿戴附件设备和/或中间处理设备)，这些附加电子部件在电子通信中或以其它方式被配置为与眼镜设备结合使用。在一些实施例中，可穿戴附件设备和/或中间处理设备可以被配置为经由与耦接传感器7024电子通信的耦接机构而与眼镜设备耦接，其中，耦接传感器7024可以检测电子设备何时变得与眼镜设备物理耦接或电子耦接。在一些实施例中，眼镜设备被配置为耦接到外壳7090，外壳7090可以包括被配置为与附加附件设备耦接的一个或多个附加耦接机构。图13A中所示的部件可以以硬件、软件、固件或其组合(包括一个或多个信号处理部件和/或专用集成电路(Application-Specific Integrated Circuit，ASIC))来实现。
眼镜设备包括机械眼镜部件，机械眼镜部件包括框架7004，框架7004被配置为保持一个或多个镜片(例如，一个镜片或两个镜片7006-1和7006-2)。本领域的普通技术人员将理解，眼镜设备可以包括附加机械部件，诸如被配置为允许眼镜设备7002的框架7004的部分折叠和展开的铰链、被配置为跨越镜片7006-1与镜片7006-2之间的间隙并依靠在用户的鼻子上的桥梁、被配置为依靠在鼻梁上并为眼镜设备提供支撑的鼻垫、被配置为依靠在用户的耳朵上并为眼镜设备提供附加支撑的镜脚、被配置为从铰链延伸到眼镜设备的镜脚的镜腿等。本领域普通技术人员将进一步理解，AR系统7000的一些示例可以不包括本文中所描述的机械部件。例如，被配置为向用户呈现人工现实的智能隐形眼镜可以不包括眼镜设备的任何部件。
眼镜设备包括电子部件，将在下面关于图13C更详细地描述这些电子部件中的许多电子部件。一些示例电子部件如图13A所示，这些电子部件包括声学传感器7025-1、7025-2、7025-3、7025-4、7025-5和7025-1，这些声学传感器可以沿着眼镜设备的框架7004的大部分分布。眼镜设备还包括位于框架7004的不同侧的左侧相机7039A和右侧相机7039B。并且眼镜设备包括嵌入到框架7004的一部分中的处理器7048(例如，集成微处理器，诸如ASIC)。
图13B-1和图13B-2示出了根据一些实施例的头戴式显示器(HMD)7012(例如，在本文中还被称为人工现实头戴式视图器、头部可穿戴设备或VR头戴式视图器)。如上所述，一些人工现实系统(例如，AR系统7000)可以基本上用虚拟体验(例如，AR系统5000c和5000d)替代用户对真实世界的感官感知中的一个或多个感官感知，而不是将人工现实与实际现实混合。
HMD 7012包括前体7014和形状适合用户的头部的框架7016(例如，条或带)。在一些实施例中，前体7014和/或框架7016包括这样的一个或多个电子元件(例如，显示器、IMU、跟踪发射器或检测器)：该一个或多个电子元件用于促进AR系统和/或VR系统的呈现、和/或与AR系统和/或VR系统的交互。在一些实施例中，如图13B-2所示，HMD 7012包括输出音频转换器(例如，音频转换器7018-1)。在一些实施例中，如图13B-2所示，一个或多个部件(诸如一个或多个输出音频转换器7018-1和框架7016)(例如，框架7016的一部分或全部、和/或音频转换器7018-1)可以被配置为附接(例如，可拆卸地附接)到HMD 7012和从HMD 7012拆下。在一些实施例中，将可拆卸部件耦接到HMD 7012使可拆卸部件进入与HMD 7012的电子通信。
图13B-1和图13B-2还示出了VR系统7010具有一个或多个相机，诸如左侧相机7039A和右侧相机7039B(其可以类似于眼镜设备7002的框架7004上的左侧相机和右侧相机)。在一些实施例中，VR系统7010包括一个或多个附加相机(例如，相机7039C和7039D)，该一个或多个附加相机可以被配置为通过提供更多信息来增强由相机7039A和7039B获得的图像数据。例如，相机7039C可以被用于提供相机7039A和7039B未识别的颜色信息。在一些实施例中，相机7039A至7039D中的一个或多个相机可以包括可选的IR截止滤光器，IR截止滤光器被配置为从相应相机传感器处接收到的光移除IR光。
图13C示出了计算系统7020和可选的外壳7090，它们中的每一个示出了可以被包括在AR系统7000和/或VR系统7010中的部件。在一些实施例中，取决于所描述的相应AR系统的实际约束，可以在可选的外壳7090中包括更多或更少的部件。
在一些实施例中，计算系统7020和/或可选的外壳7090可以包括一个或多个外围接口7022、一个或多个电力系统7042、一个或多个控制器7046(包括一个或多个触觉控制器7047)、一个或多个处理器7048(如上面定义的，包括所提供的示例中的任何示例)以及存储器7050，它们都可以彼此电子通信。例如，一个或多个处理器7048可以被配置为执行存储在存储器7050中的指令，所述指令可以使得一个或多个控制器7046中的控制器使多个操作在外围接口7022的一个或多个外围设备处执行。在一些实施例中，所描述的每个操作可以基于由电力系统7042提供的电力而发生。
在一些实施例中，外围接口7022可以包括被配置作为计算系统7020的一部分的一个或多个设备，该一个或多个设备中的许多设备已经在上面被定义和/或关于图12A和图12B中所示的腕部可穿戴设备进行了描述。例如，外围接口可以包括一个或多个传感器7023。一些示例传感器包括：一个或多个耦接传感器7024、一个或多个声学传感器7025、一个或多个成像传感器7026、一个或多个EMG传感器7027、一个或多个电容式传感器7028、和/或一个或多个IMU传感器7029；和/或上面定义或关于本文中所讨论的任何其它实施例描述的任何其它类型的传感器。
在一些实施例中，外围接口可以包括一个或多个附加外围设备，该一个或多个附加外围设备包括：一个或多个NFC设备7030、一个或多个GPS设备7031、一个或多个LTE设备7032、一个或多个Wi-Fi和/或蓝牙设备7033、一个或多个按钮7034(例如，包括可滑动或以其它方式可调整的按钮)、一个或多个显示器7035、一个或多个扬声器7036、一个或多个传声器7037、一个或多个相机7038(例如，包括左侧相机7039A和/或右侧相机7039B)、和/或一个或多个触觉设备7040；和/或上面定义或关于本文中所讨论的任何其它实施例描述的任何其它类型的外围设备。
AR系统可以包括各种类型的视觉反馈机构(例如，呈现设备)。例如，AR系统7000和/或VR系统7010中的显示设备可以包括一个或多个液晶显示器(Liquid-CrystalDisplay，LCD)、发光二极管(Light Emitting Diode，LED)显示器、有机LED(Organic LED，OLED)显示器、和/或任何其它合适类型的显示屏。人工现实系统可以包括单个显示屏(例如，被配置为被两只眼睛看到)，和/或可以为每只眼睛提供单独的显示屏，这可以允许用于变焦距调整和/或用于校正与用户的视力相关联的屈光不正的附加灵活性。AR系统的一些实施例还包括具有一个或多个镜片(例如，传统的凹透镜或凸透镜、菲涅尔(Fresnel)透镜或可调整液体透镜)的光学子系统，用户可以通过这些镜片观看显示屏。
例如，相应显示器可以被耦接到AR系统7000的镜片7006-1和镜片7006-2中的每一个。耦接到镜片7006-1和镜片7006-2中的每一个的多个显示器可以一起或独立地用于向用户呈现一幅或一系列图像。在一些实施例中，AR系统7000包括单个显示器(例如，近眼显示器)或多于两个显示器。在一些实施例中，可以使用第一组的一个或多个显示器来呈现增强现实环境，并且可以使用第二组的一个或多个显示设备来呈现虚拟现实环境。在一些实施例中，结合向AR系统7000的用户呈现人工现实内容来使用一个或多个波导(例如，作为将来自一个或多个显示器的光传送到用户的眼睛的手段)。在一些实施例中，一个或多个波导完全地或部分地被集成到眼镜设备7002中。作为显示屏的补充或替代，一些人工现实系统包括一个或多个投影系统。例如，AR系统7000和/或虚拟现实系统7010中的显示设备可以包括微LED投影仪，微LED投影仪(例如使用波导)将光投影到显示设备(诸如允许环境光经过的透明组合透镜(Clear combiner lenses))中。显示设备可以将投影的光折射到用户的瞳孔，并且可以使用户能够同时观看人工现实内容和真实世界两者。人工现实系统还可以被配置有任何其它合适类型或形式的图像投影系统。在一些实施例中，作为一个或多个显示器的补充或替代，提供一个或多个波导。
AR系统7000或VR系统7010的计算系统7020和/或可选的外壳7090可以包括电力系统7042的部件中的一些或全部部件。电力系统7042可以包括一个或多个充电器输入7043、一个或多个PMIC 7044、和/或一个或多个电池7045。
存储器7050包括指令和数据，指令和数据中的一些或全部可以作为非暂态计算机可读存储媒介而被存储在存储器7050内。例如，存储器7050可以包括：一个或多个操作系统7051；一个或多个应用7052；一个或多个通信接口应用7053；一个或多个图形应用7054；一个或多个AR处理应用7055；和/或上面定义或关于本文中所讨论的任何其它实施例描述的任何其它类型的数据。
存储器7050还包括可结合上述应用中的一个或多个应用使用的数据7060。数据7060可以包括：简档数据7061；传感器数据7062；媒体内容数据7063；AR应用数据7064；和/或上面定义或关于本文中所讨论的任何其它实施例描述的任何其它类型的数据。
在一些实施例中，眼镜设备7002的控制器7046对由AR系统7000内的眼镜设备7002和/或另一电子设备上的传感器7023生成的信息进行处理。例如，控制器7046可以对来自声学传感器7025-1和7025-2的信息进行处理。对于每个检测到的声音，控制器7046可以执行到达方向(Direction Of Arrival，DOA)估计，以估计检测到的声音到达AR系统7000的眼镜设备7002的方向。在各声学传感器7025中的一个或多个声学传感器检测到声音时，控制器7046可以用信息(例如，在图13C中表示为传感器数据7062)填充(Populate)音频数据集合。
在一些实施例中，物理电子连接器可以在眼镜设备与另一电子设备之间和/或在AR系统7000或VR系统7010的一个或多个处理器与控制器7046之间传送信息。该信息可以处于光学数据形式、电数据形式、无线数据形式、或任何其它可传输的数据形式。将对眼镜设备生成的信息的处理移到中间处理设备可以减轻眼镜设备的重量和热量，使眼镜设备对用户更舒适和更安全。在一些实施例中，可选的可穿戴附件设备(例如，电子领带)经由一个或多个连接器耦接到眼镜设备。各连接器可以是有线连接器或无线连接器，并且可以包括电和/或非电(例如，结构)部件。在一些实施例中，眼镜设备和可穿戴附件设备可以独立地操作，而不需要在它们之间进行任何有线连接或无线连接。
在一些情况下，将诸如中间处理设备(例如，HIPD 8000)等外部设备与(例如作为AR系统7000的一部分的)眼镜设备7002配对，使眼镜设备7002能够实现一副眼镜的类似外形要素，同时仍为所扩展的能力提供了足够的电池和计算能力。AR系统7000的电池电力、计算资源和/或附加特征中的一些或全部可以由配对的设备来提供、或者在配对的设备与眼镜设备7002之间共享，因此总体上降低了眼镜设备7002的重量、热分布(Heat profile)和外形要素，同时允许眼镜设备7002保持其期望的功能。例如，可穿戴附件设备可以允许将如下部件以其它方式被包括在眼镜设备7002上的部件包括在可穿戴附件设备和/或中间处理设备中，从而将重量负荷从用户的头和颈部转移到用户的身体的一个或多个其它部位。在一些实施例中，中间处理设备具有更大的表面区域，在该表面区域上向周围环境扩散和分散热。因此，相比于单独使用眼镜设备7002时以其它方式可能具有的电池和计算能力，中间处理设备可以允许更大的电池和计算能力。因为可穿戴附件设备中承载的重量对用户的影响可能比眼镜设备7002中承载的重量对用户的影响小，所以相比于用户容忍单独穿戴更重的眼镜设备，用户可以容忍在更长的时间穿戴更轻的眼镜设备并且携带或穿戴配对的设备，从而使人工现实环境能够更充分地结合到用户的日常活动中。
AR系统可以包括各种类型的计算机视觉部件和子系统。例如，AR系统7000和/或VR系统7010可以包括一个或多个光学传感器，诸如二维(2D)或三维(3D)相机、飞行时间深度传感器、单波束或扫描激光测距仪、3D LiDAR(激光雷达)传感器、和/或任何其它合适类型或形式的光学传感器。AR系统可以处理来自这些传感器中的一个或多个传感器的数据，以识别用户的位置和/或用户的真实世界物理环境的多个方面(包括真实世界对象在真实世界物理环境中的位置)。在一些实施例中，本文中所描述的方法被用于映射真实世界、向用户提供关于真实世界环境的上下文、和/或生成数字孪生体(例如，可交互的虚拟对象)、以及各种其它功能。例如，图13B-1和图13B-2示出了具有相机7039A至7039D的VR系统7010，相机7039A至7039D可被用于提供深度信息，该深度信息用于创建体素场和二维网格，以向用户提供对象信息以避免碰撞。
在一些实施例中，AR系统7000和/或VR系统7010可以包括触觉(触觉的)反馈系统，该触觉反馈系统可以结合到头饰、手套、连体衣、手持控制器、环境设备(例如，椅子或脚垫)、和/或任何其它类型的设备或系统(诸如本文中所讨论的可穿戴设备)中。触觉反馈系统可以提供各种类型的皮肤反馈，包括振动、力、拉力、剪切、纹理和/或温度。触觉反馈系统还可以提供各种类型的动觉反馈，诸如运动和顺应(compliance)。触觉反馈可以使用电机、压电致动器、流体系统和/或各种其它类型的反馈机构来实现。触觉反馈系统可以独立于其它人工现实设备(例如，关于图15A至图15C描述的触觉反馈系统)、在其它人工现实设备内和/或结合其它人工现实设备来实现。
在诸如AR系统7000和/或VR系统7010等AR系统的一些实施例中，环境光(例如，用户将正常看到的周围环境的实况馈送)可以穿过正呈现AR系统的多个方面的相应头部可穿戴设备的显示元件。在一些实施例中，环境光可以经过用户的视野内呈现的AR环境的、比全部AR环境少的一部分AR环境(例如，AR环境的、与用户的真实世界环境中的物理对象在同一位置的一部分AR环境，该物理对象位于如下指定边界(例如，监护边界)内：该指定边界被配置为用户在其与AR环境交互时使用)。例如，视觉用户界面元素(例如，通知用户界面元素)可以被呈现在头部可穿戴设备处，并且一定量的环境光(例如，环境光的15％-50％)可以经过该用户界面元素，使得用户可以区分物理环境的、正在其上显示该用户界面元素的至少一部分。
示例手持中间处理设备
图14A和图14B示出了根据一些实施例的示例手持中间处理设备(HIPD)8000。HIPD8000是本文中所描述的中间设备的实例，使得HIPD 8000应被理解为具有关于上面定义的或以其它方式在本文中描述的任何中间设备所描述的特征，反之亦然。图14A示出了HIPD8000的俯视图8005和侧视图8025。HIPD 8000被配置为与和用户相关联的一个或多个可穿戴设备(或其它电子设备)通信地耦接。例如，HIPD 8000被配置为与用户的腕部可穿戴设备6000(或其部件，诸如手表主体6020和可穿戴带6010)、AR系统7000和/或VR头戴式视图器7010通信地耦接。HIPD 8000可以被配置为由用户手持(例如，作为手持控制器)、被携带在用户人身上(例如，在用户的口袋中、在用户的包中等)、放在用户附近(例如，在坐在其桌子旁时放在其桌子上、在充电底座上等)、和/或放在与可穿戴设备或其它电子设备相距预定距离处或之内(例如，在一些实施例中，该预定距离是HIPD 8000可以成功地与诸如可穿戴设备等电子设备通信地耦接的最大距离(例如，10米))。
HIPD 8000可以独立地和/或结合一个或多个可穿戴设备(例如，腕部可穿戴设备6000、AR系统7000和/或VR头戴式视图器7010)来执行各种功能。HIPD 8000被配置为增加和/或改进通信耦接的设备(诸如可穿戴设备)的功能。HIPD 8000被配置为执行与以下项相关联的一个或多个功能或操作：与通信耦接的设备的用户界面和应用交互、与AR环境交互、与VR环境交互、和/或作为人机接口控制器进行操作。此外，如下面将更详细地描述的，HIPD8000的功能和/或操作可以包括但不限于：任务卸载和/或传送；热量卸载和/或传送；6自由度(6DoF)射线投射和/或游戏(例如，使用成像设备或相机8014，成像设备或相机8014可被用于同时定位与地图构建(Simultaneous Localization And Mapping，SLAM)和/或与其它图像处理技术一起使用)；便携式充电；消息传递；经由一个或多个成像设备或相机8022进行图像捕获；感测用户输入(例如，感测触摸输入表面8002上的触摸)；无线通信和/或互连(例如，蜂窝、近场、Wi-Fi、个域网等)；位置确定；金融交易；提供触觉反馈；警告；通知；生物识别认证；健康监测；睡眠监测等。上述示例功能可以在HIPD 8000中独立执行和/或以HIPD8000与本文中所描述的另一可穿戴设备之间的通信来执行。在一些实施例中，可以在HIPD8000上结合AR环境执行功能。如本领域技术人员在阅读本文中所提供的描述时将理解的，本文中所描述的新型HIPD 8000可以与任何类型的合适的AR环境一起使用。
在HIPD 8000与可穿戴设备和/或其它电子设备通信地耦接时，HIPD 8000被配置为执行在可穿戴设备和/或其它电子设备处发起的一个或多个操作。具体地，可以将可穿戴设备和/或其它电子设备的一个或多个操作转移到HIPD 8000以执行。HIPD 8000执行可穿戴设备和/或其它电子设备的一个或多个操作，并向可穿戴设备和/或其它电子设备提供与完成的操作对应的数据。例如，用户可以使用AR系统7000发起视频流，并且与执行视频流相关联的后端任务(例如，视频渲染)可以被转移到HIPD 8000，HIPD 8000执行该后端任务，并将对应数据提供给AR系统7000以执行与视频流相关联的剩余前端任务(例如，经由AR系统7000的显示器呈现渲染的视频数据)。这样，与可穿戴设备相比具有更多计算资源和更大热净空的HIPD 8000可以为可穿戴设备执行计算密集型任务，以提高由可穿戴设备执行的操作的性能。
HIPD 8000包括在第一侧(例如，前表面)上的多触摸输入表面8002，该多触摸输入表面8002被配置为检测一个或多个用户输入。具体地，多触摸输入表面8002可以检测单轻击输入、多轻击输入、滑动手势和/或输入、基于力和/或基于压力的触摸输入、保持轻击等。多触摸输入表面8002被配置为检测电容式触摸输入和/或力(和/或压力)触摸输入。多触摸输入表面8002包括由表面凹陷限定的触摸输入表面8004和由基本上平坦的部分限定的触摸输入表面8006。触摸输入表面8004可以被布置为与触摸输入表面8006相邻。在一些实施例中，触摸输入表面8004和触摸输入表面8006可以是不同的尺寸、形状、和/或覆盖多触摸输入表面8002的不同部分。例如，触摸输入表面8004可以基本上是圆形的，并且触摸输入表面8006基本上是矩形的。在一些实施例中，多触摸输入表面8002的表面凹陷被配置为引导用户对HIPD 8000的操作。具体地，表面凹陷被配置为使得用户在单手握住时竖直地握住HIPD 8000(例如，使得所使用的成像设备或相机8014A和8014B指向天花板或天空)。此外，表面凹陷被配置为使得用户的拇指位于触摸输入表面8004内。
在一些实施例中，不同的触摸输入表面包括多个触摸输入区。例如，触摸输入表面8006至少包括触摸输入表面8006内的触摸输入区8008和触摸输入区8008内的触摸输入区8010。在一些实施例中，各触摸输入区中的一个或多个触摸输入区是可选的和/或用户定义的(例如，用户可以基于其偏好来指定触摸输入区)。在一些实施例中，每个触摸输入表面和/或触摸输入区与预定的命令集合相关联。例如，在触摸输入区8008内检测到的用户输入使HIPD 8000执行第一命令，并且在触摸输入表面8006内检测到的用户输入使HIPD 8000执行与第一命令不同的第二命令。在一些实施例中，不同的触摸输入表面和/或触摸输入区被配置为检测一种或多种类型的用户输入。不同的触摸输入表面和/或触摸输入区可以被配置为检测相同或不同类型的用户输入。例如，触摸输入区8008可以被配置为检测力触摸输入(例如，用户按下的量级)和电容式触摸输入，并且触摸输入表面8006可以被配置为检测电容式触摸输入。
HIPD 8000包括一个或多个传感器8051，该一个或多个传感器8051用于感测在执行一个或多个操作和/或功能时使用的数据。例如，HIPD 8000可以包括IMU传感器，该IMU传感器与相机8014结合使用，以在AR或VR环境中进行3维对象操作(例如，放大、移动或销毁对象)。包括在HIPD 8000中的传感器8051的非限制性示例包括光传感器、磁力计、深度传感器、压力传感器和力传感器。下面参考图14B提供传感器8051的附加示例。
HIPD 8000可以包括一个或多个光指示器8012以向用户提供一个或多个通知。在一些实施例中，光指示器是LED或其它类型的照明设备。光指示器8012可以作为私密光来向用户和/或用户附近的其它人通知：成像设备和/或传声器是激活的。在一些实施例中，光指示器位于一个或多个触摸输入表面附近。例如，光指示器可以位于触摸输入表面8004周围。光指示器可以以不同的颜色和/或图案来照明，以向用户提供关于设备的一个或多个通知和/或信息。例如，位于触摸输入表面8004周围的光指示器可以在用户接收到通知(例如，消息)时闪烁，可以在HIPD 8000断电时变为红色，可以用作进度条(例如，灯环，其在任务完成时关闭(例如，0％到100％))，用作音量指示器等。
在一些实施例中，HIPD 8000在另一表面上包括一个或多个附加传感器。例如，如图14A所示，HIPD 8000包括HIPD 8000的边缘上的一个或多个传感器的集合(例如，传感器集合8020)。传感器集合8020在位于HIPD 8000的边缘上时，可以按预定倾斜角度(例如，26度)定位，这允许传感器集合8020在被放在桌子或其它平面上时朝向用户倾斜。可替代地，在一些实施例中，传感器集合8020位于与多触摸输入表面8002相对的表面(例如，背面)上。下面详细讨论传感器集合8020中的一个或多个传感器。
HIPD 8000的侧视图8025示出了传感器集合8020和相机8014B。传感器集合8020包括一个或多个相机8022A和8022B、深度投影仪8024、环境光传感器8028和深度接收器8030。在一些实施例中，传感器集合8020包括光指示器8026。光指示器8026可用作私密指示器，以让用户和/或用户周围的人知道相机和/或传声器是激活的。传感器集合8020被配置为捕获用户的面部表情，使得用户可以操纵定制替身(例如，显示用户的情绪，诸如用户的替身或数字表示上的微笑和/或笑声)。传感器集合8020可以被配置为侧立体RGB系统、后间接飞行时间(indirect Time-of-Flight，iToF)系统或后立体RGB系统。如本领域技术人员在阅读本文中所提供的描述时将理解的，本文中所描述的HIPD 8000可以使用不同的传感器集合8020配置和/或传感器集合8020布置。
在一些实施例中，HIPD 8000包括的一个或多个触觉设备8071(例如，振动触觉致动器)，该一个或多个触觉设备8071被配置为提供触觉反馈(例如，动觉感觉)。传感器8051和/或触觉设备8071可以被配置为与多个应用和/或通信耦接的设备结合操作，所述多个应用和/或通信耦接的设备包括但不限于可穿戴设备、健康监测应用、社交媒体应用、游戏应用和人工现实应用(例如，与人工现实相关联的应用)。
HIPD 8000被配置为在没有显示器的情况下操作。然而，在可选的实施例中，HIPD8000可以包括显示器8068(图14B)。HIPD 8000还可以包括一个或多个可选的外围按钮8067(图14B)。例如，外围按钮8067可被用于打开或关闭HIPD 8000。此外，HIPD 8000的外壳可以由聚合物和/或弹性体形成。HIPD 8000可以被配置为具有防滑表面，以允许HIPD 8000被放在表面上而不需要用户监视HIPD 8000。换言之，HIPD 8000被设计为使得不会容易滑出表面。在一些实施例中，HIPD 8000包括一个或多个磁体，该一个或多个磁体用于将HIPD 8000耦接到另一表面。这允许用户将HIPD 8000安装到不同的表面，并为用户提供使用HIPD8000的更大的灵活性。
如上所述，HIPD 8000可以分发和/或提供用于在HIPD 8000和/或通信耦接的设备处执行一个或多个任务的指令。例如，HIPD 8000可以识别要由HIPD 8000执行的一个或多个后端任务以及要由通信耦接的设备执行的一个或多个前端任务。虽然HIPD 8000被配置为卸载和/或传送通信耦接的设备的任务，但HIPD 8000可以(例如经由一个或多个处理器，诸如CPU 8077；图14B)执行后端任务和前端任务两者。HIPD 8000可被用于执行(但不限于此)：增强呼叫(例如，接收和/或发送3D或2.5D实况体积式呼叫(live volumetric call)、实况数字人表示呼叫、和/或替身呼叫)、谨慎保密的消息传递、6DoF人像/风景游戏、AR/VR对象操作、AR/VR内容显示(例如，经由虚拟显示器呈现内容)、和/或其它AR/VR交互。HIPD8000可以单独或与可穿戴设备(或其它通信耦接的电子设备)结合执行上述操作。
图14B示出了根据一些实施例的HIPD 8000的计算系统8040的框图。以上详细描述的HIPD 8000可以包括HIPD计算系统8040中示出的一个或多个部件。HIPD 8000将被理解为包括下面针对HIPD计算系统8040示出和描述的部件。在一些实施例中，HIPD计算系统8040的各部件中的所有部件或大部分部件被包括在单个集成电路中。可替代地，在一些实施例中，HIPD计算系统8040的各部件被包括在多个集成电路中，这些集成电路通信地耦接。
HIPD计算系统8040可以包括：处理器(例如，CPU 8077、GPU和/或具有集成图形的CPU)；控制器8075；外围接口8050，该外围接口8050包括一个或多个传感器8051和其它外围设备；电源(例如，电力系统8095)；以及存储器(例如，存储器8078)，该存储器包括操作系统(例如，操作系统8079)、数据(例如，数据8088)、一个或多个应用(例如，应用8080)、一个或多个模块(例如，通信接口模块8081、图形模块8082、任务和处理管理模块8083、互操作性模块8084、AR处理模块8085和/或数据管理模块8086)。HIPD计算系统8040还包括电力系统8095，该电力系统8095包括充电器输入和输出8096、PMIC 8097和电池8098，所有这些都在上面被定义。
在一些实施例中，外围接口8050可以包括一个或多个传感器8051。各传感器8051可以包括与以上参考图12B描述的传感器类似的传感器。例如，各传感器8051可以包括成像传感器8054、(可选的)EMG传感器8056、IMU传感器8058和电容式传感器8060。在一些实施例中，各传感器8051可以包括用于感测压力数据的一个或多个压力传感器8052、用于感测HIPD 8000的高度的高度计8053、用于感测磁场的磁力计8055、用于确定相机与图像中的对象之间的差的深度传感器8057(或飞行时间传感器)、用于感测HIPD 8000的一部分的相对位移或位置改变的位置传感器8059(例如，柔性位置传感器)、用于感测施加到HIPD 8000的一部分的力的力传感器8061、和用于检测光量的光传感器8062(例如，环境光传感器)。各传感器8051可以包括图17B中未示出的一个或多个传感器。
类似于上面参考图12B描述的外围设备，外围接口8050还可以包括NFC部件8063、GPS部件8064、LTE部件8065、Wi-Fi和/或蓝牙通信部件8066、扬声器8069、触觉设备8071、以及传声器8073。如上面参考图17A所述，HIPD 8000可以可选地包括显示器8068和/或一个或多个按钮8067。外围接口8050还可以包括一个或多个相机8070、触摸表面8072和/或一个或多个光发射器8074。以上参考图17A描述的多触摸输入表面8002是触摸表面8072的示例。光发射器8074可以是一个或多个LED、激光器等，并且可以被用于向用户投影或呈现信息。例如，各光发射器8074可以包括上面参照图17A描述的光指示器8012和8026。各相机8070(例如，上面在图17A中描述的相机8014和8022)可以包括一个或多个广角相机、鱼眼相机、球形相机、复眼相机(例如，立体和多相机)、深度相机、RGB相机、ToF相机、RGB-D相机(深度和ToF相机)、和/或其它可用的相机。相机8070可被用于：SLAM；6DoF射线投射、游戏、对象操作、和/或其它渲染；面部识别和面部表情识别等。
类似于上面参考图12B描述的手表主体计算系统6060和表带计算系统6030，HIPD计算系统8040可以包括一个或多个触觉控制器8076和相关联的部件(例如，触觉设备8071)，该一个或多个触觉控制器8076和相关联的部件用于在HIPD 8000处提供触觉事件。
存储器8078可以包括高速随机存取存储器和/或非易失性存储器，诸如一个或多个磁盘存储设备、闪存存储器设备或其它非易失性固态存储器设备。HIPD 8000的其它部件(诸如一个或多个处理器和外围接口8050)对存储器8078的访问可以由各控制器8075中的存储器控制器来控制。
在一些实施例中，存储在存储器8078中的软件部件包括一个或多个操作系统8079、一个或多个应用8080、一个或多个通信接口模块8081、一个或多个图形模块8082、一个或多个数据管理模块8086，这些部件类似于上面参考图12B描述的软件部件。
在一些实施例中，存储在存储器8078中的软件部件包括任务和处理管理模块8083，该任务和处理管理模块8083用于识别与用户执行的操作相关联的一个或多个前端和后端任务，执行一个或多个前端和/或后端任务，并且/或者向引起一个或多个前端任务和/或后端任务被执行的一个或多个通信耦接的设备提供指令。在一些实施例中，任务和处理管理模块8083使用数据8088(例如，设备数据8090)，基于通信耦接的设备的计算资源、可用电力、热净空、正在进行的操作和/或其它因素来分发一个或多个前端和/或后端任务。例如，任务和处理管理模块8083可以根据对如下的确定：在通信耦接的AR系统7000处执行的操作正在利用预定量(例如，至少70％)的、在AR系统7000处可用的计算资源，使(在通信耦接的AR系统7000处执行的该操作的)一个或多个后端任务在HIPD 8000处执行。
在一些实施例中，存储在存储器8078中的软件部件包括互操作性模块8084，该互操作性模块8084用于交换和利用接收到和/或提供给不同通信耦接的设备的信息。互操作性模块8084允许不同的系统、设备和/或应用以协调的方式连接和通信，而无需用户输入。在一些实施例中，存储在存储器8078中的软件部件包括AR处理模块8085，AR处理模块8085被配置为至少基于传感器数据来处理信号，以供在AR和/或VR环境中使用。例如，AR处理模块8085可被用于3D对象操作、手势识别、和/或面部和面部表情识别。
存储器8078还可以包括数据8088，该数据8088包括结构化数据。在一些实施例中，数据8088包括简档数据8089、设备数据8090(包括与HIPD 8000通信地耦接的一个或多个设备的设备数据，诸如设备类型、硬件、软件和/或配置)、传感器数据8091、媒体内容数据8092和应用数据8093。
应当理解，HIPD计算系统8040是HIPD 8000内的计算系统的示例，并且HIPD 8000可以具有比HIPD计算系统8040中示出的部件更多或更少的部件，可以组合两个或更多个部件，和/或可以具有不同的部件配置和/或布置。HIPD计算系统8040中示出的各种部件以硬件、软件、固件或其组合(包括一个或多个信号处理和/或专用集成电路)来实现。
上面在图17A和图17B中描述的技术可以与用作人机接口控制器的任何设备一起使用。在一些实施例中，HIPD 8000可以与一个或多个可穿戴设备(诸如头部可穿戴设备(例如，AR系统7000和VR系统7010)和/或腕部可穿戴设备6000(或其部件))结合使用。在一些实施例中，HIPD 8000与可穿戴服饰(诸如图15A至图15C的可穿戴手套)结合使用。在这样描述了示例HIPD 8000之后，现在将注意力转向示例反馈设备(诸如设备9000)。
示例反馈设备
图15A和图15B示出了示例触觉反馈系统(例如，手可穿戴设备)，该示例触觉反馈系统用于向用户提供关于用户与计算系统(例如，由AR系统7000或VR系统7010呈现的人工现实环境)的交互的反馈。在一些实施例中，计算系统(例如，AR系统5000d)还可以基于在计算系统内执行的动作和/或由AR系统提供的交互(例如，所述动作和/或交互可以基于如下指令：结合执行计算系统的应用的操作而执行所述指令)向一个或多个用户提供反馈。这种反馈可以包括视觉和/或音频反馈，并且还可以包括通过触觉组件(诸如设备9000的一个或多个触觉组件9062(例如，触觉组件9062-1、9062-2和9062-3))提供的触觉反馈。例如，触觉反馈可以防止用户的一个或多个手指弯曲经过某一点(或至少阻碍/抵制用户的一个或多个手指弯曲经过某一点的动作)，以模拟触摸固体咖啡杯的感觉。在驱动此类触觉效果时，设备9000可以(直接或间接)改变各触觉组件9062中的一个或多个触觉组件的加压状态。
各触觉组件9062中的每个触觉组件包括这样的机构：该机构在相应触觉组件9062从第一加压状态(例如，大气压力或放气)转换到第二加压状态(例如，充气到阈值压力)时，至少提供阻力。触觉组件9062的结构可以被集成到这样的各种设备中：这些设备被配置为接触或接近用户的皮肤，这些设备包括但不限于诸如手套穿戴设备、身体穿戴服饰设备和头戴式视图器设备等设备。
如上所述，本文中所描述的触觉组件9062可以被配置为在第一加压状态与第二加压状态之间转换，以向用户提供触觉反馈。由于人工现实的千变万化的性质，在一次使用期间，触觉组件9062可能需要在两种状态之间转换数百次或可能数千次。因此，本文中所描述的触觉组件9062是耐用的，并且被设计为快速地从一个状态转换到一个状态。为了提供一些上下文，在第一加压状态下，触觉组件9062不会阻碍穿戴者的身体的一部分的自由运动。例如，结合到手套中的一个或多个触觉组件9062由不阻碍穿戴者的手和手指的自由运动的柔性材料(例如，静电拉链(Zipping)致动器)制成。触觉组件9062被配置为在处于第一加压状态时符合穿戴者的身体的部位的形状。然而，一旦处于第二加压状态，触觉组件9062可以被配置为限制和/或阻碍穿戴者的身体的该部位(例如，用户的手的附属结构)的自由运动。例如，当触觉组件9062处于第二加压状态时，相应触觉组件9062(或多个相应触觉组件)可以限制穿戴者的手指的运动(例如，防止手指卷曲或伸展)。此外，一旦处于第二加压状态，触觉组件9062可以采取不同的形状，其中一些触觉组件9062被配置为采取平面、刚性形状(例如，平面和刚性的)，而一些其它触觉组件9062被配置为至少部分地弯曲(Curve)或弯折(Bend)。
作为非限制性示例，设备9000包括多个触觉设备(例如，一对触觉手套、以及腕部可穿戴设备(例如，关于图12A和图12B描述的腕部可穿戴设备中的任何一个)的触觉部件)，该多个触觉设备中的每个触觉设备可以包括服饰部件(例如，服饰9004)和耦接(例如，物理耦接)到服饰部件的一个或多个触觉组件。例如，触觉组件9062-1、9062-2、9062-3、...9062-N中的每个触觉组件被物理耦接到服饰9004，服饰9004被配置为接触用户的拇指和手指的相应指骨。如上所述，触觉组件9062被配置为向设备9000的穿戴者提供触觉模拟。每个设备9000的服饰9004可以是各款服饰(例如，手套、袜子、衬衫或裤子)中的一种。因此，用户可以穿戴多个设备9000，该多个设备9000皆被配置为向身体的穿戴着设备9000的相应部位提供触觉刺激。
图15C示出了根据一些实施例的设备9000的计算系统9040的框图。计算系统9040可以包括一个或多个外围接口9050、一个或多个电力系统9095、一个或多个控制器9075(包括一个或多个触觉控制器9076)、一个或多个处理器9077(如上面定义的，包括所提供的示例中的任何示例)、以及存储器9078，它们都可以彼此电子通信。例如，一个或多个处理器9077可以被配置为执行存储在存储器9078中的指令，所述指令可以使得一个或多个控制器9075中的控制器使多个操作在外围接口9050的一个或多个外围设备处被执行。在一些实施例中，所描述的每个操作可以基于由电力系统9095提供的电力而发生。电力系统9095包括充电器输入9096、PMIC 9097和电池9098。
在一些实施例中，外围接口9050可以包括被配置为计算系统9040的一部分的一个或多个设备，已经在上面定义了和/或关于图12A和图12B中所示的腕部可穿戴设备描述了所述一个或多个设备中的许多设备。例如，外围接口9050可以包括一个或多个传感器9051。一些示例传感器包括：一个或多个压力传感器9052、一个或多个EMG传感器9056、一个或多个IMU传感器9058、一个或多个位置传感器9059、一个或多个电容式传感器9060、一个或多个力传感器9061；和/或上面定义或关于本文中所讨论的任何其它实施例描述的任何其它类型的传感器。
在一些实施例中，外围接口可以包括一个或多个附加外围设备，该一个或多个附加外围设备包括一个或多个Wi-Fi和/或蓝牙设备9068；一个或多个触觉组件9062；一个或多个支撑结构9063(可以包括一个或多个囊状物(bladder)9064；一个或多个歧管(manifold)9065；一个或多个压力改变设备9067；和/或上面定义或关于本文中所讨论的任何其它实施例描述的任何其它类型的外围设备。
在一些实施例中，每个触觉组件9062包括支撑结构9063和至少一个囊状物9064。囊状物9064(例如，膜)是由耐用和抗穿刺性材料(诸如热塑性聚氨酯(ThermoplasticPolyurethane，TPU)、柔性聚合物等)制成的密封的可充气口袋。囊状物9064包含可添加到囊状物9064或从囊状物9064去除以改变囊状物9064内的压力(例如，流体压力)的介质(例如，诸如空气、惰性气体或甚至液体的流体)。支撑结构9063由比囊状物9064的材料更坚固和更坚硬的材料制成。耦接到相应囊状物9064的相应支撑结构9063被配置为在相应囊状物因囊状物内的压力(例如，流体压力)的改变而改变形状和大小时，加强相应囊状物9064。
设备9000还包括触觉控制器9076和压力改变设备9067。在一些实施例中，触觉控制器9076是计算机系统9040的一部分(例如，与计算机系统9040的一个或多个处理器9077电子通信的一部分)。触觉控制器9076被配置为控制压力改变设备9067的操作，并进而控制设备9000的操作。例如，控制器9076向压力改变设备9067发送一个或多个信号以激活压力改变设备9067(例如，开启和关闭压力改变设备9067)。一个或多个信号可以指定要由压力改变设备9067输出的期望压力(例如，磅每平方英寸)。一个或多个信号的生成以及进而由压力改变设备9067输出的压力可以基于由图11A和图11B中的传感器收集的信息。例如，一个或多个信号可以基于由图11A和11B中的传感器收集的信息(例如，用户接触人工咖啡杯)，使压力改变设备9067在第一时间增加触觉组件9062内的压力(例如，流体压力)。然后，控制器可以基于由传感器9051收集的附加信息向压力改变设备9067发送一个或多个附加信号，使压力改变设备9067在第一时间之后的第二时间进一步增加触觉组件9062内的压力。此外，一个或多个信号可以使压力改变设备9067对设备9000-A中的一个或多个囊状物9064进行充气，而设备9000-B中的一个或多个囊状物9064保持不变。此外，一个或多个信号可以使压力改变设备9067将设备9000-A中的一个或多个囊状物9064充气到第一压力，并且将设备9000-A中的一个或多个其它囊状物9064充气到不同于第一压力的第二压力。取决于由压力改变设备9067服务的设备9000的数量以及设备9000中的囊状物的数量，可以通过一个或多个信号实现许多不同的充气配置，并且上面的示例并不意味着是限制性的。
设备9000可以包括压力改变设备9067与设备9000之间的可选的歧管9065。歧管9065可以包括一个或多个阀门(未示出)，该一个或多个阀门经由管道将触觉组件9062中的每个触觉组件与压力改变设备9067进行气动耦接。在一些实施例中，歧管9065与控制器9075通信，并且控制器9075控制歧管9065的一个或多个阀门(例如，控制器生成一个或多个控制信号)。歧管9065被配置为基于来自控制器9075的一个或多个控制信号，将压力改变设备9067与相同或不同的设备9000的一个或多个触觉组件9062可切换地耦接。在一些实施例中，设备9000可以包括多个压力改变设备9067，其中每个压力改变设备9067直接与单个(或多个)触觉组件9062进行气动耦接，而不是使用歧管9065将压力改变设备9067与触觉组件9062进行气动耦接。在一些实施例中，压力改变设备9067和可选的歧管9065被配置为一个或多个设备9000(未示出)的一部分，而在其它实施例中，压力改变设备9067和可选的歧管9065被配置为在设备9000外部。单个压力改变设备9067可以由多个设备9000共享。
在一些实施例中，压力改变设备9067是气动设备、液压设备、气动液压设备、或能够添加介质(例如，流体、液体、气体)并从一个或多个触觉组件9062去除介质的一些其它设备。
图15A至图15C中所示的设备可以经由有线连接(例如，经由总线)而被耦接。可替代地，图15A至图15C中所示的设备中的一个或多个设备可以(例如，经由短距离通信信号)被无线连接。
存储器9078包括指令和数据，指令和数据中的一些或全部可以作为非暂态计算机可读存储媒介而被存储在存储器9078内。例如，存储器9078可以包括：一个或多个操作系统9079；一个或多个通信接口应用9081；一个或多个互操作性模块9084；一个或多个AR处理模块9085；一个或多个数据管理模块9086；和/或上面定义或关于本文中所讨论的任何其它实施例描述的任何其它类型的数据。
存储器9078还包括可以结合上述应用中的一个或多个应用使用的数据9088。数据9088可以包括：设备数据9090；传感器数据9091；和/或上面定义或关于本文中所讨论的任何其它实施例描述的任何其它类型的数据。
已经如此描述了系统框图并且然后描述了示例设备，现在将注意力转向某些示例实施例。
示例实施例
现在转到前文描述的方法、设备、系统和计算机可读存储介质的一些示例实施例。简而言之，下文的描述首先讨论以A符号开始的段落，这些段落与其中使用腕部移动来控制用户界面的方面相关；紧随其后的是以B符号开始的段落的讨论，这些段落涉及其中使用空中手势来移动和对齐焦点的方面。
(A1)在一个方面，一些实施例包括一种使用腕部移动来控制用户界面的方法(例如，方法1000)。在一些实施例中，该方法在具有存储器(例如，存储器1160)和一个或多个处理器(例如，一个或多个处理器6079)的可穿戴设备(例如，腕部可穿戴设备120)处执行。该方法包括：(i)经由用户穿戴的腕部可穿戴设备的一个或多个神经肌肉信号传感器接收在用户执行空中腕部移动期间产生的数据；(ii)根据空中腕部移动在用户界面上移动焦点(例如，如图1G所示)；(iii)经由一个或多个神经肌肉信号传感器接收在用户执行空中手势期间产生的附加数据；(iv)确定空中手势是执行手势；以及(v)执行对应于执行手势的命令(例如，如图1H所示)。例如，在经由腕部旋转移动光标之后，用户轻击拇指(或其他指骨)以执行针对由光标选择的用户界面元素的命令。在某些情况下，对齐到最近的元素有助于降低对噪声输入信号的挫败感。在一些实施例中，焦点根据距离初始位置的手势距离来进行移动(例如，如图7S至图7U中所示。)。
在一些实施例中，在接受用户的腕部旋转作为焦点的控制输入之前，需要启动手势。例如，需要用户在旋转其腕部时保持握拳手势或捏合手势，以使腕部旋转来移动焦点(例如，如图1A至图1G所示)。这样，不经意的腕部移动不会使得焦点在用户不需要的时候的移动。
在一些实施例中，所生成的数据对应于腕部移动执行期间的肌肉移动。例如，使用腕部角度信息移动光标，其中腕部可穿戴手表可以感知用户腕部的角度(例如，使用EMG传感器和/或IMU传感器)。以这种方式，用户可以使用微小的腕部移动来导航用户界面。
在一些实施例中，可穿戴设备是腕部可穿戴设备，诸如智能手表(例如，腕部可穿戴设备120)。在一些实施例中，可穿戴设备包括惯性测量单元(IMU)。在一些实施例中，可穿戴设备是头部可穿戴设备，诸如智能眼镜(例如，头部可穿戴设备402)。本文中所描述的方法除了在可穿戴设备处执行之外，还可以在包括腕部可穿戴设备和头部可穿戴设备两者以及其它硬件附件或部件的人工现实系统(例如，AR系统5000)处执行。
在一些实施例中，在用户完成执行本文中所描述的空中手势之前，通过使用来自一个或多个神经肌肉信号传感器的数据来检测该空中手势，从而例如在完成该空中手势之后检测执行该空中手势的意图，该空中手势可以被单独检测或基于用户执行空中手势的意图而确定。
在一些实施例中，本文中所描述的空中手势包括用户的手腕、肘部和肩部的运动(例如，手臂抬起或挥手手势)。在一些实施例中，空中手势是不接触可穿戴设备的手势。
(A2)在A1的一些实施例中，该方法还包括在移动焦点之前，识别空中腕部移动作为导航手势的一部分，其中焦点根据该识别进行移动。例如，对于并非旨在用作导航手势的腕部动作，系统将放弃移动焦点。
在一些实施例中，该系统根据识别导航、启动或控制手势来激活用户界面。在一些实施例中，激活用户界面包括：将焦点给予用户界面的第一用户界面元素。在一些实施例中，激活用户界面包括：使多个用户界面元素被显示。在一些实施例中，激活用户界面包括：呈现在激活用户界面之前未呈现的用户界面元素。例如，激活针对用户界面的命令，其中这些命令对应于附加手势。在一些实施例中，激活用户界面还包括：激活腕部可穿戴设备的一个或多个传感器。在一些实施例中，激活用户界面包括：启用用户界面的显示器。在一些实施例中，激活用户界面包括：更新用户界面的显示(例如，以显示先前未显示的菜单)。
(A3)在A1或A2的一些实施例中：(i)空中腕部移动包括用户的腕部从初始位置旋转到旋转位置，其中用户的腕部被保持在旋转位置一定时间量；以及(ii)该方法还包括，当用户的腕部保持在旋转位置的时间量时，滚动焦点通过多个可选用户界面元素。例如，当用户保持图1G所示的腕部向下旋转时，焦点105向下移动通过表情符号菜单中的表情符号。
(A4)在A1至A3中的任何一个的一些实施例中，腕部的移动(例如，旋转)使得焦点移动。在一些实施例中，腕部的(相对)位置导致移动。在一些实施例中，焦点的移动基于用户腕部的移动和位置这两者。在一些实施例中，基于腕部的移动和/或位置(例如，如图5A至图5E所示)来选择导航类型。
(A5)在A4的一些实施例中，该方法还包括，根据确定了空中腕部移动包括用户的腕部返回到初始位置(例如，用户的腕部返回到如图5B所示的标尺510上的原点)，停止滚动焦点并选择距离焦点最近的用户界面元素。在一些实施例中，根据确定了空中腕部移动包括用户的腕部返回到初始位置，焦点的滚动停止而不选择最近的用户界面元素。
(A6)在A5的一些实施例中，除非焦点与最近的用户界面元素重叠(或位于最近的用户界面元素的对齐阈值(例如，对齐边界412内)内)，否则不选择最近的用户界面元素。
(A7)在A1至A6中的任何一个的一些实施例中，该方法还包括，在移动焦点之前识别用户腕部的初始位置，其中焦点根据用户腕部从初始位置(例如，如前文参考图5A至图5E所描述)的移动来进行移动。例如，用户的腕部最初(例如，在用户执行相关联的启动手势时)处于的任何角度成为该手势的参考平面中的原点[0，0，0]。
(A8)在A1至A7中的任何一个的一些实施例中，焦点以对应于用户腕部的腕部角度的速度移动。在一些实施例中，如果腕部角度大于第一阈值但小于第二阈值，则焦点以第一速度移动，如果腕部角度大于第二阈值，则焦点以大于第一速度的第二速度移动。在一些实施例中，基于腕部关于一个或多个阈值(例如，如图5A至图5E所示)的移动和/或位置来选择导航类型。
(A9)在A1至A8中的任何一个的一些实施例中，焦点以对应于空中腕部移动的速度的速度移动。在一些实施例中，如果腕部移动速度大于第一阈值但小于第二阈值，则焦点以第一速度移动，如果腕部移动速度大于第二阈值，则焦点以大于第一速度的第二速度移动(例如，轻柔旋转与轻击旋转)。
(A10)在A1至A9中的任何一个的一些实施例中，该方法还包括，根据确定了焦点位于可选用户界面元素的阈值距离内，通过将焦点对齐到可选用户界面元素来选择用户界面元素。例如，图4C和图4D示出了焦点408在对齐边界412内移动并对齐到用户界面元素414。
(A11)在A10的一些实施例中，该方法还包括：(i)在选择用户界面元素之后，检测用户界面控制手势；以及(ii)根据确定了用户界面控制手势的移动将使得焦点移动到所选用户界面元素的第二阈值距离之外，取消选择用户界面元素。例如，图4E和图4F示出了焦点408移动到对齐边界412之外，并取消选择用户界面元素414。在一些实施例中，对齐阈值与非对齐阈值是不同的。在一些实施例中，焦点与选择分开显示，并且当焦点移动到第二阈值距离之外时，取消选择用户界面元素。在一些实施例中，根据焦点移动到更接近另一可选对象的位置(与所选用户界面元素相比)，取消选择用户界面元素，并选择另一可选对象。在一些实施例中，焦点通过可以取消选择一个元素并选择另一个元素的不同手势来移动。在一些实施例中，单个手势使得选择用户界面元素以及随后的取消选择(例如，长滑动手势使得焦点移动超过用户界面元素)。在一些实施例中，焦点取消对齐并且直到其位于另一可选用户界面元素的阈值距离内才重新对齐。例如，根据一些实施例，当焦点与每个可选用户界面元素的距离大于阈值距离时，则不选择用户界面元素。
(A12)在A11的一些实施例中，该方法还包括根据取消选择用户界面元素，通过将焦点对齐到不同的可选用户界面元素来选择不同的可选用户界面元素。在一些实施例中，始终选择至少一个用户界面元素。例如，焦点与第一元素覆盖，并选择第一元素。在该示例中，随着焦点远离第一元素，第一元素继续被选择，直到焦点覆盖第二元素，此时第二元素被选择并且第一元素被取消选择。在一些实施例中，当已经取消选择用户界面元素时，立即选择另一用户界面元素。在一些实施例中，如果不满足阈值距离，则不选择另一UI元素。
(A13)在A1至A12中的任何一个的一些实施例中，焦点被呈现为光标。在一些实施例中，用户可以使用他们的腕部移动作为光标，并且使用该光标来显示焦点。
(A14)在A1至A13中的任何一个的一些实施例中，该方法还包括：(i)经由一个或多个神经肌肉信号传感器接收由用户执行附加空中手势产生的更多数据；(ii)确定附加空中手势是导航手势；以及(iii)根据导航手势将焦点对齐到可选用户界面元素。例如，附加的空中手势是捏合手势(例如，用户的食指触摸用户的拇指的手势)。例如，捏合手势使焦点滚动到下一项(例如，相册中的下一张照片)。在一些实施例中，用户界面控制手势是通过用户使用第一指骨(食指)和另一指骨(拇指)做出捏合手势来执行的，从而选择列表中的下一项。
(A15)在A1至A14中的任何一个的一些实施例中：(i)用户界面包括在网格中组织的多个可选用户界面元素；以及(ii)该方法还包括：(a)经由一个或多个神经肌肉信号传感器接收由执行附加导航手势产生的数据；(b)根据具有第一方向性的附加导航手势，将焦点对齐到网格中的下一个用户界面元素；以及(c)根据具有第二方向性的附加导航手势，将焦点对齐到网格中的前一个用户界面元素。在一些实施例中，网格有时也称为列表的一维网格(例如，单行或单列)。在一些实施例中，附加导航手势包括用户的拇指以方向键(d-pad)方式移动(例如，沿着虚拟方向键移动)。
(A16)在A1至A15中的任何一个的一些实施例中，用户界面经由用户穿戴的头部可穿戴设备来显示。例如，用户界面可以位于智能手表、眼镜、电话、监视器等上。在一些实施例中，用户界面是增强现实环境或虚拟现实环境的一部分。
(B1)在另一方面，一些实施例包括一种使用空中手势来控制用户界面中的焦点的方法(例如，方法800)。在一些实施例中，该方法在具有存储器(例如，存储器6050和/或6080)和一个或多个处理器(例如，一个或多个处理器6049和/或6079)的可穿戴设备(例如，腕部可穿戴设备120)处执行。该方法包括：(i)经由用户穿戴的腕部可穿戴设备的一个或多个传感器接收在用户执行空中手势期间产生的数据；(ii)基于传感器数据确定空中手势是用户界面控制手势；(iii)根据用户界面控制手势在用户界面上移动焦点；以及(iv)根据确定了焦点位于可选用户界面元素的阈值距离内，通过将焦点对齐到可选用户界面元素来选择用户界面元素。在一些实施例中，所生成的数据对应于空中手势执行期间的肌肉移动。在一些实施例中，焦点根据距离初始位置(例如，如图7S至7U中所示)的手势来移动。
(B2)在B1的一些实施例中，该方法还包括：(i)在选择用户界面元素之后，检测第二用户界面控制手势；以及(ii)根据确定了第二用户界面控制手势的移动将使得焦点移动到所选用户界面元素的第二阈值距离之外，取消选择用户界面元素(例如，如上文关于A11所描述的)。
(B3)在B2的一些实施例中，该方法还包括根据取消选择用户界面元素，通过将焦点对齐到不同的可选用户界面元素来选择不同的可选用户界面元素(例如，如上文关于A12所描述的)。
(B4)在B1至B3中的任何一个的一些实施例中，空中手势包括一个或多个腕部移动，并且焦点根据对应于一个或多个腕部移动的腕部角度信息(例如，如前文关于A1所描述的)来移动。
(B5)在B1至B4中的任何一个的一些实施例中，焦点被呈现为光标。在一些实施例中，焦点在某些情况下(例如，当位于可选用户界面元素之间时)被呈现为光标，而在其他情况下(例如，当与可选用户界面元素重叠时)不被呈现为光标。
(B6)在B1至B5中的任何一个的一些实施例中，该方法还包括：(i)经由一个或多个传感器接收用户执行附加空中手势产生的数据；(ii)确定附加空中手势是执行手势；以及(iii)根据该执行手势，执行对应于执行手势和所选用户界面元素的命令。例如，附加空中手势包括用户在食指上轻击拇指(指骨)以执行与所选用户界面元素相关联的命令。
(B7)在B1至B6中的任一个的一些实施例中，该方法还包括：(i)经由该一个或多个传感器接收用户执行附加空中手势而生成的数据；(ii)确定该附加空中手势是导航手势；以及(iii)根据该导航手势，将焦点对齐到相邻的可选用户界面元素。例如，捏合手势使焦点滚动到下一项(例如，相册中的下一张照片)。在一些实施例中，用户界面控制手势是通过用户使用第一指骨(食指)和另一指骨(拇指)做出捏合手势来执行的，从而选择列表中的下一项。
(B8)在B1至B7中的任何一个的一些实施例中：(i)用户界面包括在网格中组织的多个可选用户界面元素；以及(ii)该方法还包括：(a)经由一个或多个神经肌肉信号传感器接收从执行附加导航手势产生的数据；(b)根据具有第一方向性的附加导航手势，将焦点对齐到网格中的下一个用户界面元素；以及(c)根据具有第二方向性的附加导航手势，将焦点对齐到网格中的前一用户界面元素(例如，如前文关于A15所描述的)。在一些实施例中，用户界面控制手势是通过用户使用第二指骨(中指)和另一指骨(拇指)做出捏合手势来执行的，从而选择列表中的前一项。
(B9)在B1至B8中的任何一个的一些实施例中：(i)将用户界面控制手势保持一定时间量；以及(ii)该方法还包括，在用户界面控制手势保持在该时间量的同时，滚动焦点通过多个可选用户界面元素(例如，如前文关于A3所描述的)。例如，图2D和图2E示出了用户界面206根据所保持的捏合手势滚动照片。在一些实施例中，系统在保持手势至少预设时间量(例如，0.5秒、1秒或2秒)之后开始滚动。
(B10)在B9的一些实施例中，该方法还包括，根据确定了用户界面控制手势被释放，停止滚动焦点，并选择距离焦点最近的用户界面元素。例如，用户使用两个指骨做出捏合手势并保持该手势，使得焦点不断滚动，直到用户释放该手势。
(B11)在B1至B10中的任何一个的一些实施例中，用户界面经由用户穿戴的头部可穿戴设备来显示。例如，用户界面可以位于智能手表、眼镜、电话、监视器等上。在一些实施例中，用户界面是增强现实或虚拟现实环境的一部分。
(B12)在B1至B11中的任何一个的一些实施例中，腕部可穿戴设备的一个或多个传感器包括肌电(EMG)传感器和惯性测量单元(IMU)传感器中的一个或多个。在一些实施例中，使用IMU传感器和EMG传感器中的一个或多个来检测手势。
(C1)另一方面，一些实施例包括一种在头部可穿戴设备(例如，头部可穿戴设备202)处呈现用户界面的方法，该用户界面包括与第一方向相关联的第一快速动作用户界面元素(例如，图6A中的快速动作用户界面元素602)。例如，该用户界面可以是主屏幕/登录页面用户界面，用户通过主屏幕/登录页面用户界面导航通过增强现实环境导航以访问应用、功能等。
该方法包括：(i)从腕部可穿戴设备(例如，腕部可穿戴设备120)接收用户的拇指在第一方向(例如，图6B所示的向上方向)上移动的第一空中方向键(“d-pad”)手势的执行指示；(ii)响应于接收到第一空中方向键手势的执行指示，其中用户的拇指在第一方向上移动(例如，跨用户的食指顶部并且基本上不移动其他手指或用户的手的整体)：(a)停止显示用户界面；以及(b)经由头部可穿戴设备呈现与第一快速动作用户界面元素相关联的信息(例如，图7B示出了与快速动作用户界面元素602a相对应的消息应用的激活)，以及与基本上与第一方向相反的第二方向相关联的返回用户界面元素(例如，快速动作用户界面元素704)；(iii)从腕部可穿戴设备接收其中用户的拇指在第二方向(例如，如图7L所示)上移动的第二空中方向键手势的执行指示；(iv)响应于接收到用户的拇指在第二方向上移动的第二空中方向键手势的执行指示：(a)停止呈现与第一快速动作用户界面元素相关联的信息；以及(b)经由头部可穿戴设备呈现包括与第一方向(例如，如图7L所示)相关联的第一快速动作用户界面元素的用户界面。在一些实施例中，在每个屏幕上显示主屏幕快速动作用户界面元素(例如，快速动作图标)以允许用户做出方向键手势以返回到主屏幕。
(C2)在C1的一些实施例中，包括与第一方向相关联的第一快速动作用户界面元素的用户界面还包括与第二方向相关联的第二快速动作用户界面元素(例如，图6A中的通知应用快速动作用户界面元素602c)。该方法还包括：(i)在呈现包括第一快速动作用户界面元素和第二快速动作用户界面元素的用户界面时，从腕部可穿戴设备接收其中用户的拇指在第二方向(例如，跨用户的食指顶部并且基本上不移动其他手指或用户的手的整体)上移动的第三空中方向键手势的执行指示；以及(ii)响应于接收到其中用户的拇指在第二方向上移动的第三空中方向键手势的执行指示：(a)停止显示用户界面；以及(b)经由头部可穿戴设备呈现与第二快速动作用户界面元素相关联的信息和与第二方向相关联的返回用户界面元素。
(C3)在C2的一些实施例中，包括与第一方向相关联的第一快速动作用户界面元素和与第二方向相关联的第二快速动作用户界面元素的用户界面还包括与第三方向(例如，(在+/-5度内)基本垂直于第一方向和第二方向)相关联的第三快速动作用户界面元素(例如，快速动作用户界面元素602b)，并且该方法还包括：(i)在呈现包括第一快速动作用户界面元素、第二快速动作用户界面元素和第三快速动作用户界面元素的用户界面时，从腕部可穿戴设备接收用户拇指在第三方向上移动的第四空中方向键(“d-pad”)手势的执行指示；以及(ii)响应于接收用户的拇指在第三方向上移动的第四空中方向键手势的执行指示：(a)停止显示用户界面；以及(b)经由头部可穿戴设备呈现与第三快速动作用户界面元素相关联的信息，以及与第二方向相关联的返回用户界面元素(例如，响应于图7L中的音乐应用快速动作用户界面元素602b的激活而在图7M中显示的音乐用户界面)。
(C4)在C3的一些实施例中，其中包括与第一方向相关联的第一快速动作用户界面元素、与第二方向相关联的第二快速动作用户界面元素、以及与第三方向相关联的第三快速动作用户界面元素的用户界面还包括与第四方向(例如，(在+/-5度内)基本垂直于第一方向和第二方向)相关联的第四快速动作用户界面元素，并且该方法还包括：(i)在呈现包括第一快速动作用户界面元素、第二快速动作用户界面元素、第三快速动作用户界面元素和第四快速动作用户界面的用户界面时，从腕部可穿戴设备接收用户拇指在第三方向上移动的第五空中方向键(“d-pad”)手势的执行指示；以及(ii)响应于接收到用户的拇指在第四方向上移动的第五空中方向键手势的执行指示：(a)停止显示用户界面；以及(b)经由头部可穿戴设备呈现与第四快速动作用户界面元素相关联的信息，以及与第二方向相关联的返回用户界面元素。
(C5)在C4的一些实施例中，使用腕部可穿戴设备的多个神经肌肉信号传感器(例如，图12A的传感器通道6014a和6014b和/或电极6013a至6013d)来检测第一空中方向键手势、第二空中方向键手势、第三空中方向键手势、第四空中方向键手势和/或第五空中方向键手势的执行。
(C6)在C1至C5中的任何一个的一些实施例中，响应于经由腕部可穿戴设备上的低功率手势检测器检测到的快速动作手势(例如，唤醒手势)，使得用户界面经由头部可穿戴设备呈现。例如，在呈现用户界面之前，腕部可穿戴设备在低功率模式下运行，在该低功率模式下，腕部可穿戴设备响应于一个或多个唤醒手势(例如，但不响应其他类型的手势)。在一些实施例中，腕部可穿戴设备包括低功率检测器(例如，微控制器)和高功率检测器(例如，CPU和/或DSP)。在一些实施例中，当在低功率模式下运行时，腕部可穿戴设备使用低功率检测器而不是高功率检测器来检测、识别和/或响应快速动作手势。例如，腕部可穿戴设备检测、识别和/或响应快速动作手势，同时将高功率检测器保持在非激活状态。
(C7)在C1至C6中的任何一个的一些实施例中，头部可穿戴设备为一对增强现实智能眼镜(例如，AR系统7000)，其中用户界面能够结合真实世界中的物理对象的直通视图(例如，如图6E所示)来查看。
(C8)在C1至C7中的任何一个的一些实施例中，与第一快速动作用户界面元素相关联的信息是与消息应用(例如，图7C中所示的消息)相关联的应用内容。
(C9)在C2至C8中的任何一个的一些实施例中，与第二快速动作用户界面元素相关联的信息是与音乐应用(例如，图7M中所示的音乐用户界面)相关联的应用内容。
(C10)在C9的一些实施例中，该方法还包括检测空中手势(例如，图7N中所示的捏合手势)，该空中手势在执行腕部滚动手势(例如，图7O中所示的腕部滚动手势)以操控与音乐应用相关联的音量级别(例如，对应于音量指示器732的音量级别)的同时进行保持。
(C11)在C3至C10中的任何一个的一些实施例中，与第三快速动作用户界面元素相关联的信息是与与第一快速动作用户界面元素和第二快速动作用户界面元素(例如，与图6A中的通知应用快速动作用户界面元素602c或相机应用快速动作用户界面元素602d相关联的信息)相关联的相应应用不同的应用相关联的应用内容。
(C12)在C3至C11中的任何一个的一些实施例中，与第四快速动作用户界面元素相关联的信息是与与第一快速动作用户界面元素、第二快速动作用户界面元素和第三快速动作用户界面元素相关联的相应应用不同的应用相关联的应用内容。
在一些实施例中，利用光学传感器(例如，相机)或与惯性测量单元(IMU)相关联的传感器来检测以上(例如关于A1至A16、B1至B12和C1至C12)所述的各手势中的一个或多个手势，而不利用一个或多个神经肌肉信号传感器(或除了利用一个或多个神经肌肉信号传感器以外还利用上述传感器，经由对传感器输入进行融合，以检测本文中所描述的各种空中手势)。在一些实施例中，以上(例如关于A1至A16、B1至B12、和/或C1至C12)所述的一个或多个手势被用户身体的其它部位执行的姿势(例如，头部姿势、腿部姿势或躯干姿势)替代。作为一个示例，可以使用神经肌肉信号传感器、来自IMU的数据和相机中的一个或多个来检测空中启动手势；作为另一示例，控制手势可以是用户摇头(如同用户在指示“否”)或用户点头(如同用户在指示“是”)。
在一些实施例中，可穿戴设备检测通过用户的脖子或背部行进的神经肌肉信号，在一些示例实施例中，这可以使用与VR护目镜(goggles)或AR眼镜耦接的神经肌肉信号传感器来完成。在一些实施例中，用对控制器(例如，手持控制器或脚踏控制器)的空中手势来替代(或执行)以上(例如关于A1至A16、B1至B12、和/或C1至C12)所述的一个或多个手势。在一些实施例中，利用音频命令(例如，口语命令或诸如舌头点击的非词语命令)来替代以上(例如关于A1至A16、B1至B12、和/或C1至C12)所述的一个或多个空中手势。
在另一方面，一些实施例包括计算系统，该计算系统包括一个或多个处理器以及耦接到该一个或多个处理器的存储器，该存储器存储被配置为由该一个或多个处理器执行的一个或多个程序，该一个或多个程序包括用于执行本文中所描述的方法(例如，上述方法800、900、1000和A1至A16、B1至B12、C1至C12)中的任何方法的指令。
在又一方面，一些实施例包括存储一个或多个程序的非暂态计算机可读存储介质，该一个或多个程序由计算系统的一个或多个处理器来执行，该一个或多个程序包括用于执行本文中所描述的方法(例如，上述方法800、900和1000和A1至A16、B1至B12、C1至C12)中的任何方法的指令。
将理解，虽然术语“第一”、“第二”等在本文中可以被用于描述各种元素，但这些元素不应受这些术语的限制。这些术语仅被用于将一个元素与另一元素区分开。
本文中所使用的术语仅出于描述特定实施例的目的，并不旨在限制权利要求。如在实施例和所附权利要求的描述中所使用的，除非上下文另有明确指示，否则单数形式“一/一个(a)”、“一/一个(an)”和“该/所述(the)”也旨在包括复数形式。还将理解，本文中所使用的术语“和/或”是指并且涵盖相关联的所列项中的一个或多个项的任何和所有可能组合。还将理解，术语“包括”和/或“包括……的”在本说明书中使用时，指定存在所陈述的特征、整数、步骤、操作、元素和/或部件，但不排除存在或添加一个或多个其它特征、整数、步骤、操作、元素、部件和/或其组合。
如在本文中所使用的，取决于上下文，术语“如果”可被解释为：“当所陈述的条件先例为真时”；或“在所陈述的条件先例为真时”；或“响应于确定”所陈述的条件先例为真；或“根据确定”所陈述的条件先例为真；或“响应于检测到”所陈述的条件先例为真。类似地，取决于上下文，短语“如果确定[所陈述的条件先例为真]”或“如果[所陈述的条件先例为真]”或“当[所陈述的条件先例为真]时”可以被解释为：“在确定所陈述的条件先例为真时”；或“响应于确定”所陈述的条件先例为真；或“根据确定”所陈述的条件先例为真；或“在检测到所陈述的条件先例为真时”；或“响应于在检测到”所陈述的条件先例为真。
出于解释的目的，前面的描述已经参考特定实施例进行了描述。然而，上面的说明性讨论并不旨在为详尽的，也不将权利要求限制为所公开的精确形式。根据上述教导，许多修改和变化是可能的。选择和描述实施例是为了最好地解释操作的原理和实际应用，从而使本领域其它技术人员能够实现。
Claims (20)
1.一种使用腕部移动来控制用户界面的方法，所述方法包括：
经由用户穿戴的腕部可穿戴设备的一个或多个神经肌肉信号传感器接收在所述用户的腕部执行空中腕部移动期间产生的数据；
根据所述空中腕部移动在所述用户界面上移动焦点；
经由所述一个或多个神经肌肉信号传感器接收在所述用户执行空中手势期间产生的附加数据；
确定所述空中手势是执行手势；以及
执行与所述执行手势对应的命令。
2.根据权利要求1所述的方法，还包括，在移动所述焦点之前，识别所述空中腕部移动为导航手势的一部分，其中，根据所述识别来移动所述焦点。
3.根据权利要求1所述的方法，还包括，在移动所述焦点之前，识别所述用户的腕部的初始位置，其中，根据所述用户的腕部从所述初始位置的移动来移动所述焦点。
4.根据权利要求1所述的方法，其中，所述空中腕部移动包括所述用户的腕部从初始位置旋转到旋转位置，并且其中，所述用户的腕部在所述旋转位置保持一时间量；
所述方法还包括，当所述用户的腕部在所述旋转位置保持所述时间量时，在多个可选用户界面元素中滚动所述焦点。
5.根据权利要求4所述的方法，还包括停止滚动所述焦点，并根据所述用户的腕部返回到所述初始位置，选择距离所述焦点最近的用户界面元素。
6.根据权利要求1所述的方法，其中，所述焦点以与所述用户的腕部的腕部角度对应的速度进行移动。
7.根据权利要求1的方法，其中，所述焦点以与所述空中腕部移动的速度相对应的速度进行移动。
8.根据权利要求1所述的方法，还包括，根据确定了所述焦点位于可选用户界面元素的阈值距离内，通过将所述焦点对齐到所述可选用户界面元素来选择所述可选用户界面元素。
9.根据权利要求8所述的方法，还包括：
在选择了所述可选用户界面元素之后，检测用户界面控制手势；以及
根据确定了所述用户界面控制手势的移动将使得所述焦点移动到所选用户界面元素的第二阈值距离之外，取消选择所述可选用户界面元素。
10.根据权利要求9所述的方法，还包括，根据取消选择所述可选用户界面元素，通过将所述焦点对齐到不同的可选用户界面元素来选择所述不同的可选用户界面元素。
11.根据权利要求1所述的方法，其中，所述焦点被呈现为光标。
12.根据权利要求1所述的方法，还包括：
经由所述一个或多个神经肌肉信号传感器接收由所述用户执行附加空中手势产生的更多数据；
确定所述附加空中手势是导航手势；以及
根据所述导航手势将所述焦点对齐到可选用户界面元素。
13.根据权利要求1所述的方法，其中，所述用户界面包括在网格中组织的多个可选用户界面元素；并且
所述方法还包括：
经由所述一个或多个神经肌肉信号传感器接收执行附加导航手势产生的数据；
根据具有第一方向性的所述附加导航手势，将所述焦点对齐到网格中的下一个用户界面元素；以及
根据具有第二方向性的所述附加导航手势，将所述焦点对齐到所述网格中的前一个用户界面元素。
14.根据权利要求1所述的方法，其中，所述用户界面经由所述用户穿戴的头部可穿戴设备来显示。
15.一种系统，所述系统包括：
一个或多个处理器；以及
存储器，所述存储器耦接到所述一个或多个处理器，所述存储器包括指令以用于：
经由用户穿戴的腕部可穿戴设备的一个或多个神经肌肉信号传感器，接收在所述用户的腕部执行空中腕部移动期间产生的数据；
根据所述空中腕部移动在用户界面上移动焦点；
经由所述一个或多个神经肌肉信号传感器接收在所述用户执行空中手势期间产生的附加数据；
确定所述空中手势是执行手势；以及
执行与所述执行手势对应的命令。
16.根据权利要求15所述的系统，其中，所述存储器还包括指令，所述指令用于在移动所述焦点之前将所述空中腕部移动识别为导航手势的一部分，其中，根据所述识别来移动所述焦点。
17.根据权利要求15所述的系统，其中，所述存储器还包括指令，所述指令用于在移动所述焦点之前识别所述用户的腕部的初始位置，其中，根据所述用户的腕部从所述初始位置的移动来移动所述焦点。
18.一种非暂时性计算机可读存储介质，所述存储介质包括指令，当由可穿戴设备执行所述指令时，使得所述可穿戴设备：
经由用户穿戴的腕部可穿戴设备的一个或多个神经肌肉信号传感器接收在所述用户的腕部执行空中腕部移动期间产生的数据；
根据所述空中腕部移动在用户界面上移动焦点；
经由所述一个或多个神经肌肉信号传感器接收在所述用户执行空中手势期间产生的附加数据；
确定所述空中手势是执行手势；以及
执行与所述执行手势对应的命令。
19.根据权利要求18所述的非暂时性计算机可读存储介质，还包括指令，所述指令在由所述可穿戴设备执行时，使得所述可穿戴设备在移动所述焦点之前，识别所述空中腕部移动为导航手势的一部分，其中，根据所述识别来移动所述焦点。
20.根据权利要求18所述的非暂时性计算机可读存储介质，还包括指令，所述指令在由所述可穿戴设备执行时，使得所述可穿戴设备在移动所述焦点之前，识别所述用户的腕部的初始位置，其中，根据所述用户的腕部从所述初始位置的移动来移动所述焦点。
Applications Claiming Priority (7)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US63/399,188 | 2022-08-18 | ||
| US63/399,187 | 2022-08-18 | ||
| US63/414,880 | 2022-10-10 | ||
| US63/414,884 | 2022-10-10 | ||
| US18/359,855 | 2023-07-26 | ||
| US18/364,396 | 2023-08-02 | ||
| US18/364,396 US20240061514A1 (en) | 2022-08-18 | 2023-08-02 | Navigating a user interface using in-air gestures detected via neuromuscular-signal sensors of a wearable device, and systems and methods of use thereof |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN117590936A true CN117590936A (zh) | 2024-02-23 |
Family
ID=89913999
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202311051703.2A Pending CN117590936A (zh) | 2022-08-18 | 2023-08-18 | 使用经由可穿戴设备的神经肌肉信号传感器检测的空中手势来导航用户界面，及其系统和使用方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117590936A (zh) |
-
2023
- 2023-08-18 CN CN202311051703.2A patent/CN117590936A/zh active Pending
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11360558B2 (en) | Computer systems with finger devices | |
| US20210333759A1 (en) | Split architecture for a wristband system and related devices and methods | |
| US20160132189A1 (en) | Method of controlling the display of images and electronic device adapted to the same | |
| US20240028129A1 (en) | Systems for detecting in-air and surface gestures available for use in an artificial-reality environment using sensors at a wrist-wearable device, and methods of use thereof | |
| EP3905016A1 (en) | Electronic device for performing various functions in augmented reality environment, and operation method for same | |
| KR20180065727A (ko) | 객체를 디스플레이하기 위한 방법 및 그 전자 장치 | |
| US20230359422A1 (en) | Techniques for using in-air hand gestures detected via a wrist-wearable device to operate a camera of another device, and wearable devices and systems for performing those techniques | |
| US20240019938A1 (en) | Systems for detecting gestures performed within activation-threshold distances of artificial-reality objects to cause operations at physical electronic devices, and methods of use thereof | |
| US20240036699A1 (en) | Devices, Methods, and Graphical User Interfaces for Processing Inputs to a Three-Dimensional Environment | |
| US20230325002A1 (en) | Techniques for neuromuscular-signal-based detection of in-air hand gestures for text production and modification, and systems, wearable devices, and methods for using these techniques | |
| EP4325343A1 (en) | Navigating a user interface using in-air gestures detected via neuromuscular-signal sensors of a wearable device, and systems and methods of use thereof | |
| CN117590936A (zh) | 使用经由可穿戴设备的神经肌肉信号传感器检测的空中手势来导航用户界面，及其系统和使用方法 | |
| US20240061513A1 (en) | Multi-stage gestures detected based on neuromuscular-signal sensors of a wearable device to activate user-interface interactions with low-false positive rates, and systems and methods of use thereof | |
| US20240169681A1 (en) | Arrangements of illumination sources within and outside of a digit-occluded region of a top cover of a handheld controller to assist with positional tracking of the controller by an artificial-reality system, and systems and methods of use thereof | |
| WO2022203697A1 (en) | Split architecture for a wristband system and related devices and methods | |
| US20240192766A1 (en) | Controlling locomotion within an artificial-reality application using hand gestures, and methods and systems of use thereof | |
| US20240192765A1 (en) | Activation force detected via neuromuscular-signal sensors of a wearable device, and systems and methods of use thereof | |
| US20240077946A1 (en) | Systems and methods of generating high-density multi-modal haptic responses using an array of electrohydraulic-controlled haptic tactors, and methods of manufacturing electrohydraulic-controlled haptic tactors for use therewith | |
| US20240233233A1 (en) | Techniques for animating an avatar based on sensor data from an artificial-reality headset collected while preparing a speech-based communication, and systems and methods using these techniques | |
| EP4372528A1 (en) | Power-efficient processing of neuromuscular signals to confirm occurrences of user gestures, and systems and methods of use thereof | |
| CN117590934A (zh) | 一种使用多阶段手势来激活用户界面交互的方法及系统 | |
| US20230400958A1 (en) | Systems And Methods For Coordinating Operation Of A Head-Wearable Device And An Electronic Device To Assist A User In Interacting With The Electronic Device | |
| US20240148331A1 (en) | Systems for detecting fit of a wearable device on a user by measuring the current draw to amplify a biopotential signal sensor and method of use thereof | |
| US20240214696A1 (en) | Headsets having improved camera arrangements and depth sensors, and methods of use thereof | |
| US20240225520A1 (en) | Techniques for utilizing a multiplexed stage-two amplifier to improve power consumption of analog front-end circuits used to process biopotential signals, and wearable devices, systems, and methods of use thereof |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |