CN111868666A - 用于确定虚拟现实和/或增强现实设备的用户的接触的方法、设备和系统 - Google Patents

Abstract

一种确定虚拟现实和/或增强现实设备的用户的接触的方法包括第一设备，该第一设备包括多个换能器和耦合到该多个换能器的控制电路。该方法包括激活第一多个换能器中的一个或更多个，并生成耦合到穿戴第一可穿戴设备的用户的第一附肢的至少一部分中的波。该方法还包括在具有第二多个换能器的第二可穿戴设备处，当用户的第一附肢在距第二可穿戴设备的阈值距离内时，接收由第一多个换能器生成的波的至少一部分。用户将第二可穿戴设备穿戴在不同于第一附肢的第二附肢上，并且响应于接收到该波的部分，向计算设备提供对应于所接收到的该波的部分的信号，该计算设备使用该信号来确定相对于第二可穿戴设备的位置的第一附肢的位置。

Description

用于确定虚拟现实和/或增强现实设备的用户的接触的方法、 设备和系统

技术领域

本公开总体上涉及接触感测，包括但不限于使用两个可穿戴设备来实现细粒度的用户交互以及对虚拟现实和/或增强现实设备的用户的可靠接触感测。

背景

虚拟现实(VR)和/或增强现实(AR)技术允许用户以不同的方式与技术交互。VR和/或AR允许用户与数字世界进行触觉交互。用户可以体验来自电子设备的触觉响应，从而给用户带来丰富的体验。用于VR和/或AR的可穿戴设备可以允许用户通过不同于电子设备屏幕的介质与数字世界交互(例如，可穿戴设备将图像投影到用户的前臂上)。然而，响应于足够大小(magnitude)的投影图像来确定手势(gesture)的定位(location)存在挑战。

另外，为了使虚拟现实和增强现实设备正常工作，通常需要知道用户四肢(例如，手臂、手等)的位置。过去，照相机被用来确定用户四肢的位置。然而，照相机不能充分捕获某些肢体(例如人手)的复杂情况，尤其是当无法捕获人手的完整图像时。结果，在确定某些四肢的位置/姿态(pose)(例如，用户手部的姿态)以及用户是否已经接触了其自身的皮肤或者用户是否在皮肤的大致邻近范围方面，仍然存在挑战。

概述

因此，需要在放置和持续时间方面具有足够准确性的用于检测用户的接触信息的方法、设备和系统。一种解决方案是生成多个信号(例如，超声波、电磁波、高频信号等)，其在用户身上经过或穿过用户。这些信号/波可以被接收器设备检测到，以确定接触手势是否即将发生、已经发生或正在发生，和/或悬停手势是否即将发生、已经发生或正在发生。

(A1)根据一些实施例，在第一可穿戴设备处执行一种方法，该第一可穿戴设备具有第一多个换能器(transducer)和耦合到该多个换能器的控制电路，第一多个换能器中的每一个可以生成一个或更多个信号。该方法包括激活第一多个换能器中的一个或更多个，并生成耦合到穿戴第一可穿戴设备的用户的第一附肢(appendage)的至少一部分中的信号。该方法也在具有第二多个换能器的第二可穿戴设备上执行。该方法包括当用户的第一附肢在距第二可穿戴设备的阈值距离内时，由第二可穿戴设备的第二多个换能器接收由第一多个换能器生成的信号的至少一部分。在该示例实施例中，用户在不同于第一附肢的第二附肢上穿戴第二可穿戴设备。响应于该信号的部分的接收，该方法还包括由第二可穿戴设备向计算设备提供对应于所接收到的信号的部分的信号，其中计算设备使用该信号来相对于第二可穿戴设备的位置确定第一附肢的位置。

(A2)在A1的方法的一些实施例中，该方法还包括在第二可穿戴设备处，经由第二多个换能器生成不同信号，这些不同信号振动穿戴第二可穿戴设备的用户的第二附肢的至少一部分。

(A3)在A1-A2中任一项的方法的一些实施例中，多个换能器是多个电极。

(A4)在A1-A3中任一项的方法的一些实施例中，信号通过用户的皮肤或用户的骨骼传输。

(A5)在A1-A4中任一项的方法的一些实施例中，由第二多个换能器接收的信号的部分是通过用户的第二附肢的至少一部分接收的。

(A6)在A1-A5中任一项的方法的一些实施例中，第一可穿戴设备还被配置成接收一个或更多个信号。

(A7)在A1-A6中任一项的方法的一些实施例中，信号是超声波。

(A8)在A1-A7中任一项的方法的一些实施例中，第一可穿戴物将被穿戴在用户的第一附肢上，并且第一附肢是用户的优势附肢(dominant appendage)。此外，第二可穿戴物将被穿戴在用户的第二附肢上，并且第二附肢是用户的劣势附肢(recessive appendage)。

(A9)在A1-A8中任一项的方法的一些实施例中，对应于所接收到的信号的部分的数据包括第一附肢的部分的位置是靠近第二可穿戴设备的手部悬停(hand-hover)的指示。

(A10)在A1-A8中任一项的方法的一些实施例中，对应于所接收到的信号的部分的数据包括第一附肢的部分的位置是靠近第二可穿戴设备的指尖悬停(fingertip-hover)的指示。

(A11)在A1-A8中任一项的方法的一些实施例中，对应于所接收到的信号的部分的数据包括如下指示：用户的位置包括用户与第二可穿戴设备附近的用户皮肤接触的指示。

(A12)在A1-A11中任一项的方法的一些实施例中，还包括经由第一可穿戴设备的无线电设备接收来自计算设备的指令。此外，响应于接收到指令，执行激活第一多个换能器中的一个或更多个换能器。

(A13)在A1-A12中任一项的方法的一些实施例中，还包括确定第一附肢处于发送位置。此外，响应于确定第一附肢处于发送位置，执行激活第一多个换能器中的一个或更多个换能器。

(A14)在A13的方法的一些实施例中，发送位置是多个预定发送位置中的一个，并且对应于第一附肢的姿态。

(A15)在A1-A14中任一项的方法的一些实施例中，还包括在第一可穿戴设备处接收输入。此外，响应于接收到输入，执行激活第一多个换能器中的一个或更多个换能器。

(A16)在A1-A15中任一项的方法的一些实施例中，头戴式显示器与计算设备通信，并且头戴式显示器使用第一附肢的位置来在虚拟和/或增强现实中显示第一附肢的至少一部分。

(A17)在A1-A16中任一项的方法的一些实施例中，第一可穿戴设备是一个或更多个信号的发送器，并且第二可穿戴设备是一个或更多个信号的接收器。

(A18)在A1-A17中任一项的方法的一些实施例中，第二可穿戴设备是计算系统。

(A19)在A1-A17中任一项的方法的一些实施例中，第一可穿戴设备是计算系统。

在一些实施例中，可以在包括多个换能器(例如，致动器、电极、天线)的可穿戴设备上实现上述解决方案。在一些情况下，可穿戴设备被穿戴在用户的身体(例如，手腕、脚踝等)上。此外，可穿戴设备可以与远程设备(例如，虚拟现实设备和/或增强现实设备等)通信，并且可穿戴设备可以基于来自远程设备的指令来刺激身体。作为示例，主机系统可以向用户显示视频数据(例如，可以指示头戴式显示器显示视频数据)，并且主机系统还可以指示可穿戴设备将来自视频的图像投影到用户的身体上。可穿戴设备可以检测与用户身体上的投影图像的接触。

本文描述的设备、系统和方法提供了包括但不限于以下方面的益处：(i)检测用户的附肢在用户皮肤上的触摸手势，(ii)确定触摸手势在用户皮肤上的定位，(iii)可穿戴设备不妨碍用户的手和/或手腕(或其他身体部位)的自由运动，以及(iv)可以同时使用多个可穿戴设备。

在一些实施例中，信号是机械波(例如，声波、超声波等)。在一些实施例中，信号是RF信号、电容信号、电磁信号或可以通过空气和/或空间传播的其他形式的信号。在一些实施例中，可穿戴设备附连到用户的附肢(例如，手腕、手指、前臂、二头肌、大腿、脚踝等)。

根据一些实施例，可穿戴设备(或多个可穿戴设备)包括一个或更多个处理器/核心和存储一个或更多个程序的存储器，该一个或更多个程序被配置为由一个或更多个处理器/核心执行。一个或更多个程序包括用于执行上述方法(A1-A19)的操作的指令。根据一些实施例，非暂时性计算机可读存储介质中存储有指令，当由可穿戴设备的一个或更多个处理器/核心执行时，该指令使得可穿戴设备执行上述方法(A1-A19)的操作。根据一些实施例，一种系统包括可穿戴设备、头戴式显示器(HMD)以及向HMD提供视频/音频馈送(feed)和向可穿戴设备提供指令的计算机系统。

在另一方面，提供了一种可穿戴设备，并且该可穿戴设备包括用于执行本文描述的任何方法(A1-A19)的装置。

附图简述

为了更好地理解所描述的各种实施例，应该结合以下附图参考以下实施例的描述，在附图和说明书中，相同的附图标记指代相应的部分。

图1是示出根据各种实施例的示例性投影系统的框图。

图2是示出根据一些实施例的示例性可穿戴设备的框图。

图3是示出根据一些实施例的示例性计算机系统的框图。

图4是根据一些实施例的用户手腕上的可穿戴设备的示例性视图。

图5是根据一些实施例的用户手腕上的可穿戴设备的示例性截面图。

图6是根据一些实施例的可穿戴设备的示例性截面图。

图7是根据一些实施例的用户手腕上和用户第二手腕上的可穿戴设备的示例性视图。

图8是根据一些实施例的用户手腕上和用户手指上的可穿戴设备的示例性视图。

图9是根据一些实施例的用户手腕上的可穿戴设备的示例性视图。

图10A-图10B是示出根据一些实施例的确定用户身体上的接触的方法的流程图。

图11示出了人工现实设备的实施例。

图12示出了增强现实头戴式装置(headset)和相应颈带的实施例。

图13示出了虚拟现实头戴式装置的实施例。

实施例的描述

现在将参考实施例，其示例在附图中示出。在以下描述中，阐述了许多具体细节，以便提供对各种所描述的实施例的理解。然而，对于本领域的普通技术人员来说显而易见的是，可以在没有这些具体细节的情况下实施各种所描述的实施例。在其他情况下，没有详细描述众所周知的方法、过程、部件、电路和网络，以免不必要地模糊实施例的各个方面。

还应当理解，尽管在某些情况下，术语第一、第二等在本文用于描述各种元素，但这些元素不应当被这些术语所限制。这些术语仅用于区分一个元素和另一个元素。例如，第一可穿戴设备可以被称为第二可穿戴设备，并且类似地，第二可穿戴设备可以被称为第一可穿戴设备，而不脱离各种所描述的实施例的范围。除非另有说明，否则第一可穿戴设备和第二可穿戴设备都是可穿戴设备，但是它们不是相同的可穿戴设备。

在本文各种所描述的实施例的描述中使用的术语仅用于描述特定实施例的目的，而并不旨在是限制性的。如在各种所描述的实施例和所附权利要求的描述中所使用的，除非上下文清楚地另有指示，否则单数形式“一个(a)”、“一个(an)”和“该(the)”也旨在包括复数形式。还应当理解，本文使用的术语“和/或”指的是并包括一个或更多个相关列出项目的任何和所有可能的组合。还应当理解，当在本说明书中使用时，术语“包括(includes)”、“包括(including)”、“包含(comprises)”和/或“包含(comprising)”指定所陈述的特征、整数、步骤、操作、元件和/或部件的存在，但不排除一个或更多个其他特征、整数、步骤、操作、元件、部件和/或其组合的存在或添加。

如本文所使用的，术语“如果”可选地被解释为意指“当...时(when)”或“在......时(upon)”或“响应于确定”或“响应于检测”或“根据确定......”，这取决于上下文。类似地，短语“如果确定”或“如果检测到[所述条件或事件]”可选地被解释为意指“在确定......时”或“响应于确定”或“在检测到[所述条件或事件]时”或“响应于检测到[所述条件或事件]”或“根据检测到[所述条件或事件]的确定”，这取决于上下文。

如本文所使用的，术语“示例性的”是在“用作示例、实例或说明”的意义上使用的，而不是在“代表同类中最好”的意义上使用的。

图1是示出根据各种实施例的系统100的框图。虽然示出了一些示例性特征，但是为了简洁起见，没有示出各种其他特征，以免模糊本文公开的示例性实施例的相关方面。为此，作为非限制性示例，系统100包括可穿戴设备102a、102b，它们与计算机系统130(例如，主机系统、主计算机或计算设备)结合使用。在一些实施例中，系统100提供具有图像投影的虚拟现实设备、具有图像投影的增强现实设备及其组合的功能，或者提供一些其他功能。下面参考图11-图13更详细地描述系统100。

示例可穿戴设备102(例如，可穿戴设备102a)包括例如一个或更多个处理器/核心104(此后称为“处理器”)、存储器106、一个或更多个换能器阵列110、一个或更多个通信部件112、投影仪115和/或一个或更多个传感器114。在一些实施例中，这些部件通过通信总线108互连。对可穿戴设备102的这些部件的引用涵盖了包括一个或更多个这些部件(及其组合)的实施例。在一些实施例中，一个或更多个传感器114是一个或更多个换能器阵列110的一部分(例如，换能器阵列110中的换能器也执行一个或更多个传感器114的功能，下面将进一步详细讨论)。例如，换能器阵列110中的一个或更多个换能器可以是被配置成检测声波(例如，超声波)的电声换能器。

另一示例可穿戴设备102(例如，可穿戴设备102b)包括例如一个或更多个处理器/核心104(此后称为“处理器”)、存储器106、一个或更多个换能器阵列110、一个或更多个通信部件112、照相机118和/或一个或更多个传感器114。在一些实施例中，这些部件通过通信总线108互连。对可穿戴设备102的这些部件的引用涵盖了包括一个或更多个这些部件(及其组合)的实施例。在一些实施例中，一个或更多个传感器114是一个或更多个换能器阵列110的一部分(例如，换能器阵列110中的换能器也执行一个或更多个传感器114的功能，下面将进一步详细讨论)。例如，换能器阵列110中的一个或更多个换能器可以是被配置成检测声波(例如，超声波)的电声换能器。

在一些实施例中，单个处理器104(例如，可穿戴设备102a的处理器104)执行用于控制多个可穿戴设备102(例如，可穿戴设备102b......102n)的软件模块。在一些实施例中，单个可穿戴设备102(例如，可穿戴设备102a)包括多个处理器104，例如一个或更多个可穿戴设备处理器(其被配置为例如生成用于投影的图像)、一个或更多个通信部件处理器(其被配置为例如控制由通信部件112传输的通信和/或通过通信部件112接收通信)和/或一个或更多个传感器处理器(其被配置为例如控制传感器114的操作和/或从传感器114接收输出)。

在一些实施例中，可穿戴设备102被配置成经由投影单元412(如图4所示)内的投影仪115投影图像802(如图8所示)。在这样的实施例中，可穿戴设备102被配置成使用例如一个或更多个投影仪115中的一个或更多个来生成图像并将该图像(例如，键盘等)投影到用户自己的附肢上。AR系统1100(图11)示出了(至少在一些实施例中)可以投影图像的示例可穿戴设备。

在一些其他实施例中，可穿戴设备102不投影图像，而是计算机系统130(和头戴式显示器140)负责将图像投影到用户自己的附肢上。或者，在一些实施例中，计算机系统130(和头戴式显示器140)使用增强现实，使得用户在他或她自己的附肢上感知图像，但是实际上没有投影任何东西。AR系统1200(图12)和VR系统1300(图13)可以用于将图像投影/显示到用户身上或用户周围的区域。

在一些实施例中，各个换能器阵列110中的换能器是微型压电致动器/器件、振动触觉致动器等。在一些实施例中，各个换能器阵列110中的换能器是单极或多极音圈马达等。每个换能器阵列110被配置成响应于被可穿戴设备激活(例如，经由处理器104或可穿戴设备102中包括的一些其他控制器)而生成并发送信号116。在一些实施例中，信号116是机械波(例如，声波、超声波或各种其他机械波)。机械波是物质的振荡，它通过介质传递能量。如本文所讨论的，“介质”是穿戴者的皮肤、肉(flesh)、骨骼、血管等。注意，能够产生机械波的任何设备都可以用作所公开的可穿戴设备102中的换能器。还应注意，通过介质(例如，用户的肉)传播的信号(例如，波)在本文被称为“耦合”到介质或“耦合到”介质中。

在一些实施例中，可穿戴设备102(例如，可穿戴设备102a、102b)是一个或更多个信号的接收器和发送器。例如，如上所述，除了发送信号(例如，机械波)之外，可穿戴设备102还被配置成接收(例如，检测、感测)由其自身或由另一个可穿戴设备102发送的信号。为了说明，第一可穿戴设备102a可以通过介质(例如穿戴者的身体)发送多个信号，并且第二可穿戴设备102b(附连到同一穿戴者)可以接收由第一可穿戴设备102a通过介质发送的至少一些信号。此外，接收所发送的信号的可穿戴设备102可以使用接收到的信号来确定用户接触了他或她的身体的特定部位。为了说明，第二可穿戴设备102b可以最初接收由第一可穿戴设备102a通过介质发送的信号，该信号具有第一组参数(例如，相位、振幅、频率等的值)。第二可穿戴设备102b可以使用这些初始波来形成标准化基线。此后，第一和第二可穿戴设备102的穿戴者可以接触(例如，触摸)她身体的一个区域(例如，前臂)，发送的信号通过该区域传播。例如，通过触摸她的前臂，穿戴者改变通过她的前臂传播的信号，并且转而改变与该信号相关联的第一组参数(例如，相位、振幅、频率等中的一个或更多个的值可能会改变)。重要的是，第二可穿戴设备102b然后接收(例如，检测、感测)这些改变后的信号，并且可以随后确定用户接触了她的身体的特定部位(例如她的前臂)。第二可穿戴设备102b可以进一步确定用户接触了她的前臂的特定部位(例如，相位值相对于标准化基线的一定量的变化可以指示她的前臂的特定部位被触摸)。

计算机系统130是执行虚拟现实应用和/或增强现实应用以处理来自头戴式显示器140上的传感器145和可穿戴设备102上的传感器114的输入数据的计算设备。计算机系统130至少为(i)头戴式显示器140上的电子显示器144和(ii)可穿戴设备102(例如，图2A中的触觉设备102的处理器104)提供输出数据。示例性计算机系统130例如包括一个或更多个处理器/核心132、存储器134、一个或更多个通信部件136和/或一个或更多个照相机139。在一些实施例中，这些部件通过通信总线138互连。对计算机系统130的这些部件的引用涵盖了包括一个或更多个这些部件(及其组合)的实施例。

在一些实施例中，计算机系统130是耦合到头戴式显示器140的独立设备。例如，计算机系统130具有用于控制计算机系统130的一个或更多个功能的处理器/核心132，并且头戴式显示器140具有用于控制头戴式显示器140的一个或更多个功能的处理器/核心141。或者，在一些实施例中，头戴式显示器140是计算机系统130的部件。例如，处理器132控制计算机系统130和头戴式显示器140的功能。此外，在一些实施例中，头戴式显示器140包括与计算机系统130的处理器132通信的处理器141。在一些实施例中，计算机系统130和头戴式显示器140之间的通信经由通信总线138和通信总线146之间的有线(或无线)连接发生。在一些实施例中，计算机系统130和头戴式显示器140共享单个通信总线。注意，在某些情况下，头戴式显示器140与计算机系统130是分离的(如图12所示)。

计算机系统130可以是任何合适的计算机设备，例如膝上型计算机、平板设备、上网本、个人数字助理、移动电话、智能电话、虚拟现实设备(例如，虚拟现实(VR)设备、增强现实(AR)设备等)、游戏设备、计算机服务器或任何其他计算设备。计算机系统130有时被称为主机或主机系统。在一些实施例中，计算机系统130包括其他用户接口部件，例如键盘、触摸屏显示器、鼠标、跟踪板和/或任何数量的补充I/O设备，以向计算机系统130添加功能。

在一些实施例中，计算机系统130的一个或更多个照相机139用于促进虚拟现实和/或增强现实。此外，在一些实施例中，一个或更多个照相机139还充当投影仪以显示虚拟和/或增强图像(或者在一些实施例中，计算机系统包括一个或更多个不同的投影仪)。在一些实施例中，计算机系统130将由一个或更多个照相机139捕获的图像提供给头戴式显示器140的显示器144，并且显示器144转而显示所提供的图像。在一些实施例中，头戴式显示器140的处理器141处理所提供的图像。注意，在一些实施例中，一个或更多个照相机139是头戴式显示器140的一部分。

头戴式显示器140向用户呈现媒体。由头戴式显示器140呈现的媒体的示例包括图像、视频、音频或其某种组合。在一些实施例中，经由外部设备(例如，扬声器和/或耳机)呈现音频，该外部设备从头戴式显示器140、计算机系统130或两者接收音频信息，并基于音频信息呈现音频数据。显示的图像可以是在虚拟现实、增强现实或混合现实中的。示例性头戴式显示器140例如包括一个或更多个处理器/核心141、存储器142和/或一个或更多个显示器144。在一些实施例中，这些部件通过通信总线146互连。对头戴式显示器140的这些部件的引用涵盖了包括一个或更多个这些部件(及其组合)的实施例。注意，在一些实施例中，头戴式显示器140包括一个或更多个传感器145。或者，在一些实施例中，一个或更多个传感器145是计算机系统130的一部分。图12和图13示出了头戴式显示器140的附加示例(例如，AR系统1200和VR系统1300)。

电子显示器144根据从计算机系统130接收的数据来向用户显示图像。在各种实施例中，电子显示器144可以包括单个电子显示器或多个电子显示器(例如，用户的每只眼睛一个显示器)。

传感器145包括一个或更多个硬件设备，其检测关于头戴式显示器140的空间和运动信息。空间和运动信息可以包括关于头戴式显示器140的位置、定向、速度、旋转和加速度的信息。例如，传感器145可以包括一个或更多个惯性测量单元(IMU)，其在用户穿戴头戴式显示器140时检测用户头部的旋转。然后，该旋转信息可以用于(例如，由计算机系统130)调整显示在电子显示器144上的图像。在一些实施例中，每个IMU包括一个或更多个陀螺仪、加速度计和/或磁力计，以收集空间和运动信息。在一些实施例中，传感器145包括位于头戴式显示器140上的一个或更多个照相机。

在一些实施例中，可穿戴设备102的换能器阵列110可以包括被配置成生成和/或接收信号的一个或更多个换能器。可穿戴设备102的集成电路(未示出)，例如控制器电路和/或信号发生器(例如，波形发生器)，可以控制换能器的行为(例如，图4中的控制器412)。

可穿戴设备102的通信部件112可以包括用于与计算机系统130通信的通信部件天线。此外，通信部件136可以包括与通信部件112通信的互补通信部件天线。下面参考图2和图3进一步详细讨论各个通信部件。

在一些实施例中，包含在通信信号中的数据被可穿戴设备102用于选择和/或生成投影图像。在一些实施例中，包含在通信信号中的数据通知计算机系统130可穿戴设备102准备好使用。如下文将更详细描述的，计算机系统130向可穿戴设备102发送指令，并且响应于接收到指令，可穿戴设备生成投影图像802，该投影图像802显示在可穿戴设备102的用户的附肢上。替代地或附加地，在一些实施例中，可穿戴设备102向计算机设备130发送信号，该信号包括指示用户身体上的触摸定位(或附肢相对于可穿戴设备的位置的位置)的信息。如上所述，接收由另一个可穿戴设备发送的信号的可穿戴设备能够基于由触摸引起的信号参数的变化来确定穿戴者身体上的触摸定位。作为一个示例，键盘(或一些其他用户界面)可以被投影到或被感知为投影到用户的前臂上，并且可穿戴设备可以基于由触摸引起的信号参数的变化来确定用户打算与键盘的第一可供性(affordance)进行交互。以这种方式，系统100提供了一种确定人在哪里(和/或是否)接触他或她的皮肤的新颖方式(例如，与用于做出这种确定的其他基于视频的手段相结合或分离)。这在使用增强现实并且实际图像并没有实际投影到用户的身体上时特别有用。在另一示例中，可穿戴设备可以基于信号参数的变化来确定用户触摸了她的前臂。然后，与触摸相关的信息可以被发送到计算机设备130，并且被计算机设备130用来确认在前臂上发生了触摸。

传感器114和/或传感器145的非限制性示例包括，例如，红外传感器、热电传感器、超声波传感器、麦克风传感器、激光传感器、光学传感器、多普勒传感器、陀螺仪、加速度计、谐振LC传感器、电容传感器、声学传感器和/或电感传感器。在一些实施例中，传感器114和/或传感器145被配置为收集用于确定可穿戴设备的用户的手部姿势和/或介质的阻抗的数据。由这些传感器输出的传感器数据的示例包括：体温数据、红外测距仪数据、运动数据、活动识别数据、轮廓检测与识别数据、手势数据、心率数据和其他可穿戴设备数据(例如，生物测定读数和输出、加速度计数据)。在一些实施例中，换能器本身用作传感器。

图2是示出根据一些实施例的代表性可穿戴设备102的框图。在一些实施例中，可穿戴设备102包括一个或更多个处理单元(例如，CPU、微处理器等)104、一个或更多个通信部件112、存储器106、一个或更多个换能器阵列110、一个或更多个投影仪115、一个或更多个照相机118以及用于互连这些部件(有时称为芯片组)的一个或更多个通信总线108。在一些实施例中，如上面参考图1所述，可穿戴设备102包括一个或更多个传感器114。在一些实施例中(未示出)，可穿戴设备102包括一个或更多个输出设备，例如一个或更多个指示灯、声卡、扬声器、用于显示文本信息和错误代码的显示器等。

相应换能器阵列110的换能器生成信号116(图1)。在一些实施例中，换能器包括例如能够生成信号116(例如，电磁波、声波、超声波等)的硬件。例如，每个换能器可以将电信号转换成超声波。换能器可以是微型压电换能器、电容换能器、单极或多极音圈马达和/或用于产生信号的任何其他合适的设备。另外，在一些实施例中，换能器也可以接收信号(例如，如果换能器可以生成声波，它也可以接收声波)。继续，在一些实施例中，换能器也可以是上面参考图1描述的任何传感器114。在一些实施例中，第一可穿戴设备102a包括第一换能器(例如，用于接收、感测、检测等的换能器)而第二可穿戴物102b包括不同于第一换能器的第二换能器(例如，用于生成将由第一换能器感测的信号的换能器)。

通信部件112实现可穿戴设备102和一个或更多个通信网络之间的通信。在一些实施例中，通信部件112包括例如能够使用以下协议进行数据通信的硬件：各种无线协议(例如，IEEE 802.15.4、Wi-Fi、ZigBee、6LoWPAN、Thread、Z-Wave、Bluetooth Smart、ISA100.11a、WirelessHART、MiWi等)中的任何一种、有线协议(例如，Ethernet、HomePlug等)，和/或任何其他合适的通信协议，包括截至本文件提交之日尚未开发的通信协议。

存储器106包括高速随机存取存储器，例如DRAM、SRAM、DDR SRAM或其他随机存取固态存储器设备；并且可选地包括非易失性存储器，例如一个或更多个磁盘存储设备、一个或更多个光盘存储设备、一个或更多个闪存设备或者一个或更多个其他非易失性固态存储设备。存储器106或者可选地存储器106内的非易失性存储器包括非暂时性计算机可读存储介质。在一些实施例中，存储器106或存储器106的非暂时性计算机可读存储介质存储以下程序、模块和数据结构或者其子集或超集：

·操作逻辑216，其包括用于处理各种基本系统服务和用于执行硬件相关任务的程序；

·通信模块218，其用于结合通信部件112耦合到远程设备(例如，计算机系统130、其他可穿戴设备等)和/或与该远程设备通信；

·传感器模块220，其用于(例如，结合传感器114和/或换能器阵列110)获得并处理传感器数据，以例如确定可穿戴设备102的定向和感测由一个或更多个换能器生成的信号(除了其他目的之外，还例如确定可穿戴设备的用户的皮肤接触)；

·信号生成模块222，其用于(例如，结合换能器110)生成并发送信号。在一些实施例中，模块222还包括数据生成模块223或与数据生成模块223相关联，数据生成模块223用于生成对应于所发送信号的被接收到的部分的数据；

·数据库224，其包括但不限于：

ο传感器信息226，其用于存储并管理由一个或更多个传感器(例如，传感器114、一个或更多个远程传感器和/或换能器阵列110)接收、检测和/或发送的数据；

ο设备设置228，其用于存储可穿戴设备102和/或一个或更多个远程设备的操作设置(例如，信号的选定特征/参数值)；和

ο通信协议信息230，其用于存储并管理一个或更多个协议(例如，定制或标准无线协议(例如ZigBee、Z-Wave等)和/或定制或标准有线协议(例如Ethernet))的协议信息；

·投影模块232，其用于将一个或更多个图像投影到可穿戴设备的穿戴者或用户的附肢上；

·触觉手势检测模块234，其用于检测经由投影仪115投影的一个或更多个投影图像上的触摸手势，包括但不限于：

ο触觉定位信息236，其用于检测触摸手势在一个或更多个投影图像上的定位；和

·计算机视觉手势检测模块238，其用于检测经由照相机118检测到的一个或更多个投影图像上的触摸手势，包括但不限于：

ο计算机视觉定位信息240，其用于使用计算机视觉分析来检测触摸手势在一个或更多个投影图像上的定位。

在一些实施例中，当确定触摸手势的定位时，触觉手势检测模块234使用用户身体的已知阻抗图、电容耦合技术、信号处理技术和/或声波耦合(例如，超声波)。在一些实施例中，触觉手势检测模块234与传感器模块220通信以确定触摸手势在用户身体上的定位(例如，基于由传感器模块220获得的传感器数据，触觉手势检测模块234可以确定触摸手势的定位)。在一些实施例中，触觉手势检测模块234和/或计算机视觉手势检测模块238位于计算机系统130处。

在一些实施例中，使用计算机视觉技术和/或非光学成像技术来确定定位信息236、240，该非光学成像技术使用电容、磁性和毫米波技术。

在一些实施例中(未示出)，可穿戴设备102包括定位检测设备，诸如GNSS(例如，GPS、GLONASS等)或其他地理位置接收器，用于确定可穿戴设备102的定位。此外，在一些实施例中，可穿戴设备102包括定位检测模块(例如，GPS、Wi-Fi、磁性或混合定位模块)，用于(例如，使用定位检测设备)确定可穿戴设备102的定位，以及将该定位信息提供给主机系统130。

在一些实施例中(未示出)，可穿戴设备102包括存储在数据库224中的唯一标识符。在一些实施例中，可穿戴设备102向主机系统130发送唯一标识符，以向主机系统130标识其自身。当同时使用多个可穿戴设备时，这尤其有用。

上述每个元件(例如，存储在可穿戴设备102的存储器106中的模块)可选地存储在一个或更多个前述存储器设备中，并且对应于用于执行上述功能的一组指令。上述模块或程序(例如，指令集)不需要被实现为单独的软件程序、过程或模块，因此在各种实施例中，这些模块的各种子集被可选地组合或以其他方式被重新排列。在一些实施例中，存储器106可选地存储上述模块和数据结构的子集。此外，存储器106可选地存储上面没有描述的附加模块和数据结构。

图3是示出根据一些实施例的代表性计算机系统130的框图。在一些实施例中，计算机系统130包括一个或更多个处理单元/核心(例如，CPU、GPU、微处理器等)132、一个或更多个通信部件136、存储器134、一个或更多个照相机139以及用于互连这些部件的一个或更多个通信总线138(有时称为芯片组)。在一些实施例中，计算机系统130包括用于连接计算机系统130和头戴式显示器140的头戴式显示器接口305。如上面在图1中所讨论的，在一些实施例中，计算机系统130和头戴式显示器140一起在单个设备中，而在其他实施例中，计算机系统130和头戴式显示器140彼此分离。

虽然未示出，但是在一些实施例中，计算机系统(和/或头戴式显示器140)包括一个或更多个传感器145(如以上参考图1所讨论的)和/或换能器阵列的一个或更多个实例。

通信部件136实现计算机系统130和一个或更多个通信网络之间的通信。在一些实施例中，通信部件136包括例如能够使用以下协议进行数据通信的硬件：各种定制或标准无线协议(例如，IEEE 802.15.4、Wi-Fi、ZigBee、6LoWPAN、Thread、Z-Wave、Bluetooth Smart、ISA100.11a、WirelessHART、MiWi等)中的任一种、定制或标准有线协议(例如，Ethernet、HomePlug等)和/或任何其他合适的通信协议，包括截至本文件提交之日尚未开发的通信协议。

存储器134包括高速随机存取存储器，例如DRAM、SRAM、DDR SRAM或其他随机存取固态存储器设备；并且可选地包括非易失性存储器，例如一个或更多个磁盘存储设备、一个或更多个光盘存储设备、一个或更多个闪存设备或者一个或更多个其他非易失性固态存储设备。存储器134或者可选地存储器134内的非易失性存储器包括非暂时性计算机可读存储介质。在一些实施例中，存储器134或存储器134的非暂时性计算机可读存储介质存储以下程序、模块和数据结构或者其子集或超集：

·操作逻辑316，其包括用于处理各种基本系统服务和用于执行硬件相关任务的程序；

·通信模块318，其用于(结合通信部件136)耦合到远程设备(例如，可穿戴设备102a-102n、远程服务器(未示出)等)和/或与该远程设备通信；

·虚拟现实生成模块320，其用于生成虚拟现实图像并将相应的视频和音频数据发送到HMD 140(在一些实施例中，虚拟现实生成模块320是增强现实生成模块320(或者存储器134包括不同的增强现实生成模块)，用于生成增强现实图像并结合照相机139和HMD140投影那些图像)；

·指令模块322，其用于生成指令，当(例如，使用通信部件136)将该指令发送到可穿戴设备102时，使得可穿戴设备102激活一个或更多个换能器；

·显示模块324，其用于结合头戴式显示器140和/或照相机139来显示虚拟现实图像和/或增强现实图像；

·计算机视觉手势检测模块338，其用于检测通过照相机139检测到的触摸手势，包括但不限于：

ο计算机视觉定位信息340，其用于使用计算机视觉分析来检测触摸手势的定位。

·数据库326，其包括但不限于：

ο显示信息328，其用于存储(和生成)虚拟现实图像和/或增强现实图像(例如，视觉数据)；

ο触觉信息330，其用于存储/生成对应于所显示的虚拟现实图像和环境和/或增强现实图像和环境的触觉信息；

ο通信协议信息332，其用于存储并管理一个或更多个协议(例如，定制或标准无线协议(例如ZigBee、Z-Wave等)和/或定制或标准有线协议(例如Ethernet))的协议信息；和

ο映射数据334，其用于存储并管理映射数据(例如，在用户身上映射一个或更多个可穿戴设备102)。

在图3所示的示例中，计算机系统130还包括虚拟现实(和/或增强现实)应用336。在一些实施例中，虚拟现实应用336被实现为存储在存储设备上并由处理器执行的软件模块。每个虚拟现实应用336是一组指令，当由处理器执行时，生成虚拟/增强现实内容以呈现给用户。虚拟现实应用336可以响应于经由头戴式显示器140或可穿戴设备102的移动从用户接收的输入来生成虚拟/增强现实内容。虚拟现实应用336的示例包括游戏应用、会议应用和视频回放应用。

虚拟现实生成模块320是允许虚拟现实应用336结合头戴式显示器140和可穿戴设备102进行操作的软件模块。虚拟现实生成模块320可以从头戴式显示器140上的传感器145接收信息，并且可以转而将该信息提供给虚拟现实应用336。基于接收到的信息，虚拟现实生成模块320确定要提供给头戴式显示器140以通过电子显示器144呈现给用户的媒体内容。例如，如果虚拟现实生成模块320从头戴式显示器140上的传感器145接收到指示用户已经向左看的信息，则虚拟现实生成模块320为头戴式显示器140生成反映(mirror)用户在虚拟/增强环境中的移动的内容。图13提供了示例VR系统1300。

类似地，在一些实施例中，虚拟现实生成模块320从可穿戴设备102上的传感器114接收信息，并将该信息提供给虚拟现实应用336。应用336可以使用该信息在应用336的虚拟/增强世界中执行动作。例如，如果虚拟现实生成模块320从传感器114接收到用户已经举起他的手的信息，则虚拟现实应用336中的模拟手(例如，用户的化身)举起到相应的高度。如上所述，由虚拟现实生成模块320接收的信息还可以包括来自头戴式显示器140的信息。例如，头戴式显示器140上的照相机139可以捕获用户的移动(例如，用户手臂的移动)，并且应用336可以使用该附加信息来在应用336的虚拟/增强世界内执行动作。

为了进一步用增强现实示例进行说明，如果增强现实生成模块320从传感器114接收到用户已经旋转了他的前臂的信息，而在增强现实中，用户界面(例如，键盘)显示在用户的前臂上，则增强现实生成模块320为头戴式显示器140生成反映用户在增强环境中的移动的内容(例如，用户界面根据用户前臂的旋转而旋转)。图12中提供了示例AR系统1200。

在一些实施例中，计算机系统130从可穿戴设备102接收传感器数据，并且计算机系统130包括用于确定与传感器数据相关联的触摸定位的模块。在一些实施例中，计算机系统130基于来自可穿戴设备102的传感器数据和由一个或更多个照相机139捕获的图像数据(例如，使用计算机视觉手势检测模块338)来确定触摸定位。这样，大部分处理从可穿戴设备102卸载到计算机系统130，计算机系统130可以具有增强的处理能力。

每个上述元件(例如，存储在计算机系统130的存储器134中的模块)可选地存储在一个或更多个前述存储器设备中，并且对应于用于执行上述功能的一组指令。上述模块或程序(例如，指令集)不需要被实现为单独的软件程序、过程或模块，因此在各种实施例中，这些模块的各种子集被可选地组合或以其他方式被重新排列。在一些实施例中，存储器134可选地存储上述模块和数据结构的子集。

图4是根据一些实施例的可穿戴设备102(例如，图1中的可穿戴设备102a、102b)的示例视图400。视图400示出了用户的手408、用户的手腕404、用户的手臂406以及用户手臂406上的可穿戴设备102。这种布置仅仅是一种可能的布置，并且本领域技术人员将理解，本文的讨论不限于图4所示的布置。此外，为了便于说明，图4所示的可穿戴设备102以大尺寸被显示。在实践中，如果需要，可穿戴设备102的尺寸可以减小，使得可穿戴设备102具有类似于智能手表或健身跟踪器(fitness tracker)的尺寸。

可穿戴设备102包括可穿戴结构402，其可以是柔性机械基底，例如塑料(例如，聚乙烯或聚丙烯)、橡胶、尼龙、合成材料、聚合物等。在一些实施例中，可穿戴结构402被配置为穿戴在用户的手腕404或手臂406(以及各种其他身体部位)的至少一部分周围。可穿戴设备102包括换能器阵列110，换能器阵列110包括布置在可穿戴结构402上不同位置的多个换能器410。换能器410可以沿着面向手臂406的可穿戴结构402的内表面以一定图案排列，使得换能器410接触用户的皮肤。在另一个示例中，换能器可以沿着可穿戴结构602的内周界以径向图案排列(图5)。

在一些实施例中，相应的换能器410被配置成响应于从控制器(未示出)接收到一个或更多个控制信号而生成信号(例如，图1中的波116)。一个或更多个控制信号指示换能器阵列110中的一个或更多个换能器410将信号(例如，超声波)发送到用户的身体(例如，手腕或手臂)中/通过用户的身体(例如，手腕或手臂)。由一个或更多个换能器410发送的信号将通过用户的身体远离可穿戴结构402行进(例如，传播)。例如，信号可以从用户的手臂406通过用户的手腕404行进到用户的手408和手指。此外，信号可以沿用户的手臂向上行进，并最终行进到用户的全身。

在一些实施例中，可穿戴结构402包括投影单元412(例如，图1A中的投影仪115)，其将图像投影到用户的附肢上。在一些实施例中，可穿戴结构402包括存储要显示的图像的存储器(例如，图1中的存储器106)。例如，所存储的图像可以表示具有带有多个可供性的键盘的用户界面(各种其他“触摸”界面也可以投影到用户的附肢上)。在一些实施例中，控制器412基于来自主机系统(例如，图1中的计算机系统130)的指令生成控制信号(或多个信号)。在这样的实施例中，可穿戴设备102被放置在用户的手臂406上(或各种其他定位)，以将图像投影到用户的前臂406上。或者，在一些实施例中，可穿戴设备102不投影图像，而是通过计算机系统130和头戴式显示器140，通过增强现实在用户的手臂(或其他身体部位)上感知图像。在这样的实施例中，可穿戴设备102被配置成感测与用户身体的交互。换句话说，可穿戴设备102用于跟踪由另一设备(例如，头戴式显示器140)虚拟化的虚拟图像，就好像该图像被投影到用户的手臂上一样。例如，另一设备(例如，头戴式装置、眼镜、头戴式显示器140)的照相机和/或投影仪可以将图像投影到其自己的透镜(例如，图1中的显示器144)上。增强现实技术(例如，图12中的AR系统1200)可以实现这样的实施例。

在一些实施例中，其他设备跟踪用户的手臂406，并根据用户手臂406的移动来调整(例如，在增强现实中的)图像。例如，照相机139可以用于跟踪用户的手臂406。

在一些实施例中，换能器阵列110包括被设计成与人类皮肤接触的换能器410。具有导电剂和填充物的接触区域可以在每个换能器后面用在可穿戴设备102上，以提高受试者的舒适度并降低接触阻抗(例如，如图5所示)。换能器和皮肤之间的导电剂可以是使用导电凝胶的“湿”连接，其可以由丙二醇和NaCl组成，或者是“干”连接，例如导电聚合物(例如，掺碳的PDMS)的薄层。

图5是根据一些实施例的沿着图4所示的X-Y线截取的可穿戴设备400的示例性截面图500。截面图500示出了用户手臂406和用户手臂406内的肌腱505。在该特定示例中，换能器410不完全环绕手腕(例如，换能器410-A–410-D设置在用户手臂406的一侧上)。

一个或更多个换能器410-A–410-D可以在用户的手臂406中生成信号(例如，波504-A和504-B)。生成的信号504-A和504-B可以延伸到用户的身体中(例如，延伸到表皮、真皮、肌肉、肌腱、韧带、骨骼等中)。在一些实施例中，当生成信号时，每个换能器410改变信号的时间周期、信号的幅度和信号的相位中的一个或更多个。

为了提供一些内容，生成的信号504-A、504-B或信号504-A、504-B的一部分被肌腱505和/或可穿戴结构402的一部分反射。结果，反射的信号506-A、506-B被换能器410-A和410-D接收。虽然在图5中未示出，但是由可穿戴设备500发送的一个或更多个信号可以行进穿过用户的附肢，并且可以被附连到用户的不同可穿戴设备接收(例如，感测)。

在一些实施例中，换能器410以交错的方式将信号发送到用户体内，其中换能器的不同子集在不同时间发送信号。在一些实施例中，剩余的换能器可以用于测量它们接收到的改变后的信号。然后，可以针对多个刺激模式重复该过程，该刺激模式定义了被选择来发射信号的换能器(例如，换能器对)的顺序。

图6是根据一些实施例的可穿戴设备的示例性截面图。可穿戴设备600是可穿戴设备102的示例。可穿戴设备600被配置为附连到用户身体的一部分。例如，可穿戴设备600被配置为附连到手腕、前臂、脚踝、二头肌、小腿、大腿、头皮和/或用户身体的各种其他部位。在一些实施例中，可穿戴设备600是刚性或半刚性结构。或者，在一些实施例中，可穿戴设备102是柔性结构。尽管可穿戴设备600被示出为连续的圆圈，但是可穿戴设备600可以被分开从而(例如，以类似于手表的方式)附连到用户的身体上。

可穿戴设备600(例如，图1A和图1B中的可穿戴设备102，)包括可穿戴结构602。可穿戴结构602环绕用户身体的一部分。可穿戴设备600还包括换能器阵列110，其具有沿着可穿戴结构602的内周定位的多个换能器410。该示例中的换能器410径向间隔开，使得换能器410环绕可穿戴结构602，并形成换能器的基本上连续的圆圈。在这种布置中，可穿戴设备600能够以360度的方式产生信号116。在一些实施例中，可穿戴结构602将换能器410与用户的皮肤分隔开。或者，在一些实施例中(未示出)，换能器410与用户的皮肤直接接触(也可以包括导电剂)。在一些实施例中，可穿戴结构602包括投影仪606(或多个投影仪)(例如，图1A-图1B中的投影仪115)。

图7是根据一些实施例的用户第一手腕和第二手腕上的可穿戴设备的示例性视图。图7所示的可穿戴设备102的布置用于检测用户身体上的触摸定位704。在一些实施例中，照相机用于检测触摸定位704。替代地或附加地，在一些实施例中，检测到的信号参数的变化被用于检测触摸定位704，或者更广泛地，检测触摸发生。

如所示出的，第一可穿戴设备102a穿戴在用户左手臂的左手腕上，并且第二可穿戴设备102b穿戴在用户右手臂的右手腕上。在一些实施例中，第一和第二可穿戴设备102是相同的。例如，第一和第二可穿戴设备102包括相同布置和类型的换能器410。或者，在一些实施例中，第一和第二可穿戴设备102在某些方面不同。例如，第一可穿戴设备102a的换能器可以不同于第二可穿戴设备102b的换能器。第一可穿戴设备102a还可以包括不被包括在第二可穿戴设备102b中的一个或更多个传感器114。无论第一和第二可穿戴设备是否相同，在一些实施例中，第一可穿戴设备102a可以被配置为接收器，并且第二可穿戴设备102b可以被配置为发送器(反之亦然)。

注意，图7可以表示用户触摸他的左前臂，或者图7可以表示用户将他的手指悬停在他的左前臂上方。还应注意，至少在某些情况下，由第二可穿戴设备102b生成的信号沿着用户的右臂向上行进，穿过用户的身体，并沿着用户的左臂向下行进，以被第一可穿戴设备102a接收。因此，即使用户没有触摸他的左前臂，第一可穿戴设备102a仍然能够检测由第二可穿戴设备102b生成的信号。重要的是，通过接触他的左前臂(或仅仅使他的手指靠近左前臂)，用户干扰了在他或她的身体上行进的信号(例如，沿着右手臂向上行进并最终沿着左手臂向下行进的信号)。在一些情况下，第一可穿戴设备102a能够检测到这种干扰。此外，检测到的干扰的幅度可以对应于特定事件。例如，较大的幅度差(即，较大的干扰)指示在左前臂上发生了触摸，而(相对于较大的幅度差)较小的幅度差(即，较小的干扰)可以指示发生了悬停事件。请注意，也可以通过各种其他方式检测悬停事件。例如，除了由第一可穿戴设备102a接收的沿用户右手臂向上行进、穿过用户身体并沿用户左手臂向下行进的信号之外，当手部悬停发生时(例如，右手悬停在左手臂上方)，由第二可穿戴设备102b生成的其他信号可以通过空气变得电容耦合。电容耦合是可检测的，并且可以被归类为“悬停”。电容耦合读数可以具有显著的噪声，这可以有助于悬停分类(例如，噪声是在将事件分类为悬停事件时所考虑的一个因素)。一旦进行触摸，信号的强度增加(例如，检测到显著的跳跃(jump))，并且可以被分类为“触摸”。此外，噪声量减少。

图8是根据一些实施例的用户手腕上和用户手指上的可穿戴设备的示例性视图。在一些实施例中，第一可穿戴设备102a穿戴在用户手臂的手腕上，并且第二可穿戴设备102c穿戴在用户另一只手臂的手指上。在一些实施例中，第一可穿戴设备102a使用一个或更多个投影仪115将图像802投影到用户的手臂上。此外，第一可穿戴设备102a可以使用一个或更多个投影仪115或一个或更多个照相机118来检测关于投影图像802的触摸手势。触摸手势804可以是在用户身体上的轻敲手势、滑动手势、捏合手势、拉动手势、扭转(twist)手势等中的一个或更多个。在一些实施例中，图像802不由可穿戴设备102投影到用户的手臂上。相反，图像802在增强现实中被感知。例如，头戴式显示器140可以将图像802显示在一个或更多个显示器144上。此外，计算机系统130被配置成基于检测到的用户手臂的移动来调整图像802的显示(以上参考图3进行了讨论)。

图9示出了附连到用户手腕900(例如，图4中用户手腕404)的可穿戴设备600。可穿戴设备600的左边是用户的手臂902(例如，图4中用户的手臂406)，可穿戴设备600的右边是用户的手904(例如，图4中用户的手408)。可穿戴设备600也可以附连到用户的脚踝和/或各种其他身体部位。

图10A-图10B是示出根据一些实施例的确定用户身体上的接触的方法1000的流程图。方法1000的步骤由可穿戴设备(例如，图1中的可穿戴设备102)或可穿戴设备102的多个实例来执行。图10A-图10B对应于存储在计算机存储器或计算机可读存储介质(例如，可穿戴设备102的存储器106)中的指令。例如，方法1000的操作至少部分地由通信模块(例如，图2中的通信模块218)、信号生成模块(例如，图2中的信号生成模块222)和/或特征选择模块(例如，图2中的特征选择模块236)来执行。

具体地，方法1000在包括第一多个换能器(例如，图1中的换能器阵列110)的第一可穿戴设备处执行，其中每个换能器(例如，图4中的换能器410)生成一个或更多个信号(例如，图1中的波116)，该信号通过介质传播离开第一可穿戴设备。在一些实施例中，换能器是微型压电器件的阵列。替代地或附加地，在一些实施例中，换能器是单极或多极音圈马达(或各种其他换能器)的阵列。在一些实施例中，一个或更多个信号是机械波，例如超声波、声波等。在一些其他实施例中，一个或更多个信号是电磁波或各种其他波或信号。在一些实施例中，介质是穿戴可穿戴设备的用户的皮肤(或肉、骨骼等)。例如，第一可穿戴设备可以附连到用户的手腕，并且一个或更多个信号可以通过第一可穿戴设备下方的皮肤传播离开可穿戴设备(例如，朝向用户的手指并且也朝向用户的肩膀)。在另一个示例中，第一可穿戴设备附连到用户身体的某个其他部位(例如，头部、肩部)，或者可以与头戴式显示器140(图1)集成。

在一些实施例中，多个换能器接触用户的皮肤。在一些实施例中，可穿戴设备还包括带(例如，图4中的可穿戴结构402；图6中的可穿戴结构602)以固定在用户的手腕(或其他身体部位)周围，并且多个换能器中的每一个耦合到带。在一些实施例中，多个换能器沿着带的周界径向间隔开(例如，图6所示的换能器布置)。在一些实施例中，可穿戴设备包括容纳可穿戴设备的部件的外壳。在一些实施例中，多个换能器是多个电极(1018)。

在执行方法1000时，第一可穿戴设备(例如，可穿戴设备102a)可以经由无线电设备(例如，图2中的通信部件112)或其他发送器/收发器接收(1002)来自主机(例如，图1和图3中的计算机系统130)的指令。或者，在一些实施例中，第一可穿戴设备接收(1004)输入。例如，第一可穿戴设备的用户可以按下第一可穿戴设备的按钮，这可以触发方法1000的一个或更多个步骤(例如，步骤1012、1016和1024中的一个或更多个)。在一些实施例中，第一可穿戴设备被配置成接收(1006)一个或更多个信号(例如，图2中的传感器信息模块226)，这些信号例如由一些其他可穿戴设备发送。在这样的实施例中，一个或更多个接收到的信号可以触发方法1000的一个或更多个步骤(例如，步骤1012、1016和1024中的一个或更多个)。

在一些实施例中，第一可穿戴设备将被穿戴在用户的第一附肢上，其中第一附肢是用户的优势附肢(例如，用户是右手占优势的，因此第一可穿戴设备被穿戴在用户的右手腕上)(1008)。注意，第一可穿戴设备可以替代地穿戴在非优势附肢上。另外，如上所述，第一可穿戴设备可以与头戴式显示器140集成，因此，第一附肢是用户的头部、颈部或肩部。

继续，在执行方法1000时，第一可穿戴设备可以确定(1012)第一附肢处于发送位置(例如，触发信号生成的手部/手臂姿势)。在一些实施例中，发送位置是多个预定发送位置中的一个，并且对应于第一附肢的手部姿态(1014)。预定发送位置可以存储在第一可穿戴设备的存储器中(例如，设备设置228)。此外，第一可穿戴设备可以至少部分地基于由第一可穿戴设备的传感器(例如，图2中的传感器114)收集的传感器数据来确定第一附肢处于发送位置。例如，发送位置可以对应于手指位置、手腕位置、脚踝位置等，并且传感器数据可以指示这些位置之一已经被第一附肢采用。图7示出了用户的附肢(例如，右手臂)处于预定发送位置(例如，用户的手正在指，从而触发下面讨论的步骤1016)的一个示例。

在方法1000的一些实施例中，第一可穿戴设备激活(1016)第一多个换能器中的一个或更多个换能器。在一些实施例中，第一可穿戴设备响应于确定第一附肢处于发送位置而激活一个或更多个换能器(1020)。在一些实施例中，第一可穿戴设备响应于从主机(例如，计算机系统130)接收到指令而激活一个或更多个换能器(1021)。在一些实施例中，第一可穿戴设备响应于接收到输入而激活一个或更多个换能器(1022)。在其他实施例中，第一可穿戴设备响应于确定预定时间段已经到期而激活一个或更多个换能器。例如，第一可穿戴设备可以每x秒(例如，每五秒)激活一个或更多个换能器。

响应于激活(1016)第一多个换能器中的一个或更多个换能器，第一可穿戴设备生成(1024)信号(例如，波116)，该信号耦合到/振动进入穿戴第一可穿戴设备的用户的第一附肢的至少一部分。在一些实施例中，信号通过用户的皮肤传输(1026)。可选地，信号可以通过用户的骨骼(1028)或者通过用户的第一附肢(1030)传输。在一些实施例中，信号是超声波(1032)。

在执行方法1000时，穿戴在用户的第二附肢上的第二可穿戴设备(例如，可穿戴设备102b)接收(1034)由第一可穿戴设备的第一多个换能器生成的信号的至少一部分。在一些实施例中，第二可穿戴设备接收信号的一部分，而不管第一附肢是否靠近第二附肢。例如，由第一可穿戴设备生成的信号行进穿过用户的身体，结果，第二可穿戴设备接收这些信号的至少一部分。

此外，当用户的第一附肢(例如，图7中用户的右手臂)在距第二可穿戴设备的阈值距离内时，第二可穿戴设备接收由第一多个换能器生成的信号。为了提供一些上下文，参考图7，当用户的左手腕(或左手)在距第二可穿戴设备的阈值距离内(或在距第二附肢的阈值距离内)时，用户左手腕上的可穿戴设备102a接收由用户右手腕上的可穿戴设备102b生成(例如，发送)的信号。在一些实施例中，阈值距离对应于第一附肢的任何部分。例如，基于第一附肢的指尖与第二可穿戴设备(或第二附肢)的接近度，用户可以进入距第二可穿戴设备的阈值距离内。

在一些实施例中，阈值距离是非零距离，这意味着当第一附肢和第二附肢之间没有接触时(例如，第一附肢的手指悬停在第二附肢的表面附近)，用户进入距第二可穿戴设备的阈值距离内。可选地，在一些实施例中，阈值距离为零，这意味着当在第一附肢和第二附肢之间进行接触时(例如，第一附肢的手指接触第二附肢的表面)，用户进入距第二可穿戴设备的阈值距离内。这里的关键是，第二可穿戴设备能够在涉及第一附肢和第二附肢的悬停事件和触摸事件之间进行区分。

在一些实施例中，第二可穿戴设备接收(1038)通过用户的第二附肢的至少一部分的信号的部分。在一些实施例中，第二可穿戴设备将被穿戴在用户的第二附肢上，其中第二附肢是用户的劣势附肢(1040)。

在一些实施例中，第二可穿戴设备还被配置成(例如，经由信号生成模块222)生成(1036)不同的信号，该不同的信号耦合/振动穿戴第二可穿戴设备的用户的第二附肢的至少一部分。这样，第一可穿戴设备可以接收这些信号并以下面讨论的方式处理这些信号。

在一些实施例中，响应于接收到信号的至少一部分，第二可穿戴设备向计算设备(例如，计算系统130)提供(1044)对应于所接收到的信号的部分的数据，并且计算设备使用该数据来确定相对于第二可穿戴设备的位置的第一附肢的位置。在一些实施例中，对应于所接收到的由第一可穿戴设备发送的信号(例如，波)的部分的数据包括第一附肢的部分的位置是靠近第二可穿戴设备的手部悬停的指示(1046)。在一些实施例中，对应于所接收到的由第一可穿戴设备发送的信号(例如，波)的部分的数据包括第一附肢的部分的位置是靠近第二可穿戴设备的指尖悬停的指示(1048)。在一些实施例中，对应于所接收到的由第一可穿戴设备发送的信号的部分的数据包括第一附肢的部分的位置与第二可穿戴设备附近的用户皮肤接触的指示(1050)。在一些实施例中，接触是轻敲手势102和/或滑动手势1054。在一些实施例中，与计算设备通信的头戴式显示器(例如，图1中的HMD 140)使用第一附肢的位置来在虚拟和/或增强现实中显示第一附肢的至少一部分。

在一些实施例中，第二可穿戴设备是计算系统。在一些实施例中，计算系统不同于第一和第二可穿戴设备。

在一些实施例中，第二可穿戴设备确定第一附肢相对于第二可穿戴设备的位置，而不是计算设备这样做。在这样的实施例中，第二可穿戴设备向计算设备发送(1042)识别第一附肢的部分的位置的消息。同样，与远程设备通信的头戴式显示器使用该信息来在虚拟和/或增强现实中显示第一附肢的至少一部分。

本公开的实施例可以包括各种类型的人工现实系统或结合各种类型的人工现实系统来被实现。人工现实可以构成一种已经被虚拟对象改变以呈现给用户的现实形式。这样的人工现实可以包括和/或代表VR、AR、MR、混合现实，或者它们中的一个或更多个的某种组合和/或变体。人工现实内容可以包括完全生成的内容或者与所捕获的(例如，现实世界)内容组合的所生成的内容。人工现实内容可以包括视频、音频、触觉反馈、或其某种组合，其中任何一个都可以在单个通道中或在多个通道中被呈现(例如向观众产生三维效果的立体视频)。此外，在一些实施例中，人工现实还可以与用于例如，在人工现实中创建内容和/或以其他方式在人工现实中使用(例如，以在人工现实中执行活动)的应用、产品、附件、服务或其某种组合相关联。

可以在各种不同的形状因子和配置中实现人工现实系统。一些人工现实系统可以被设计成在没有近眼显示器(NED)的情况下工作，其示例是图11中的AR系统1100。其他人工现实系统可以包括也提供对现实世界的可视性的NED(例如，图12中的AR系统1200)或者在视觉上使用户沉浸在人工现实中的NED(例如，图13中的VR系统1300)。虽然一些人工现实设备可以是自主式系统，但是其他人工现实设备可以与外部设备通信和/或协作以向用户提供人工现实体验。这种外部设备的示例包括手持控制器、移动设备、台式计算机、用户穿戴的设备(例如，可穿戴设备102a、可穿戴设备102b、......可穿戴设备102n)、一个或更多个其他用户穿戴的设备和/或任何其他合适的外部系统。

图11-图13提供了系统100中使用的设备的附加示例。图11中的AR系统1100通常表示尺寸适合用户身体部位(例如，头部)的可穿戴设备。AR系统1100可以包括可穿戴设备102的功能，并且可以包括附加功能。如所示出的，AR系统1100包括框架1102(例如，带)和相机组件1104，相机组件1104耦合到框架1102并被配置为通过观察本地环境来收集关于本地环境的信息。AR系统1100还可以包括一个或更多个换能器(例如，图4中的换能器410的实例)。在一个示例中，AR系统1100包括输出换能器1108(A)和1108(B)以及输入换能器1110。输出换能器1108(A)和1108(B)可以向用户提供音频反馈、触觉反馈和/或内容，并且输入音频换能器可以捕获用户环境中的音频(或其他信号/波)。在一些实施例中，相机组件1104包括允许AR系统1100投影图像的一个或更多个投影仪(例如，投影仪115)(例如，如果AR系统1100穿戴在用户的手腕上，则相机组件1104可以将图像投影到用户的手腕和前臂上)。

因此，AR系统1100不包括位于用户眼睛前方的近眼显示器(NED)。无NED的AR系统可以采用多种形式，例如头带、帽子、发带、腰带、手表、腕带、踝带、戒指、颈带、项链、胸带、眼镜框、和/或任何其他合适类型或形式的装置。虽然AR系统1100可以不包括NED，但AR系统1100可以包括其他类型的屏幕或视觉反馈设备(例如，集成到框架1102的一侧内的显示屏)。

也可以在包括一个或更多个NED的AR系统中实现在本公开中讨论的实施例。例如，如图12所示，AR系统1200可以包括具有框架1210的眼镜设备1202，框架1210被配置为将左显示设备1215(A)和右显示设备1215(B)保持在用户的眼睛的前方。显示设备1215(A)和1215(B)可以一起或独立地起作用来向用户呈现图像或图像系列。虽然AR系统1200包括两个显示器，但是可以在具有单个NED或两个以上NED的AR系统中实现本公开的实施例。

在一些实施例中，AR系统1200可以包括一个或更多个传感器，例如传感器1240。传感器1240可以响应于AR系统1200的运动而生成测量信号，并且可以实质上位于框架1210的任何部分上。传感器1240可以包括位置传感器、惯性测量单元(IMU)、深度照相机组件、或其任何组合。在一些实施例中，AR系统1200可以包括或不包括传感器1240，或者可以包括一个以上传感器。在传感器1240包括IMU的实施例中，IMU可以基于来自传感器1240的测量信号来生成校准数据。传感器1240的示例可以非限制地包括加速度计、陀螺仪、磁力计、检测运动的其他合适类型的传感器、用于IMU的误差校正的传感器、或其某种组合。上面也参考图1讨论了传感器(例如，头戴式显示器140的传感器145)。

AR系统1200还可以包括具有被统称为声传感器1220的多个声传感器1220(A)-1220(J)的麦克风阵列。声传感器1220可以是检测由声波引起的气压变化的换能器。每个声传感器1220可以被配置成检测声音并将检测到的声音转换成电子格式(例如，模拟或数字格式)。图12中的麦克风阵列可以包括例如十个声传感器：1220(A)和1220(B)，其可以被设计成放置在用户的相应耳朵内；声传感器1220(C)、1220(D)、1220(E)、1220(F)、1220(G)和1220(H)，其可以被定位在框架1210上的不同位置；和/或声传感器1220(I)和1220(J)，其可以被定位在相应的颈带1205上。在一些实施例中，颈带1205是计算机系统130的示例。

麦克风阵列的声传感器1220的配置可以变化。尽管AR系统1200在图12中被示为具有十个声传感器1220，但是声传感器1220的数量可以大于或小于十。在一些实施例中，使用更高数量的声传感器1220可以增加所收集的音频信息的量和/或音频信息的灵敏度和准确度。相反，使用更低数量的声传感器1220可以降低控制器1250处理所收集的音频信息所需的计算能力。此外，麦克风阵列的每个声传感器1220的位置可以变化。例如，声传感器1220的位置可以包括在用户身上的所定义的位置、在框架1210上的所定义的坐标、与每个声传感器相关联的定向、或者其某种组合。

声传感器1220(A)和1220(B)可以位于用户的耳朵的不同部位上，例如在耳廓后面或在耳廓或窝(fossa)内。或者，除了在耳道内部的声传感器1220之外，还可以有在耳朵上或耳朵周围的附加声传感器。将声传感器定位在用户的耳道旁边可以使麦克风阵列能够收集关于声音如何到达耳道的信息。通过将声传感器1220中的至少两个定位在用户的头部的任一侧上(例如，作为双耳麦克风)，AR设备1200可以模拟双耳听觉并捕获在用户的头部周围的3D立体声场。在一些实施例中，声传感器1220(A)和1220(B)可以经由有线连接来连接到AR系统1200，并且在其他实施例中，声传感器1220(A)和1220(B)可以经由无线连接(例如，蓝牙连接)来连接到AR系统1200。在还有其他实施例中，声传感器1220(A)和1220(B)可以根本不与AR系统1200结合来被使用。

可以沿着眼镜腿(temple)的长度、横越镜梁(bridge)、在显示设备1215(A)和1215(B)的上方或下方、或者其某种组合来定位框架1210上的声传感器1220。声传感器1220可以被定向成使得麦克风阵列能够在穿戴AR系统1200的用户周围的宽范围的方向上检测声音。在一些实施例中，可以在AR系统1200的制造期间执行优化过程以确定在麦克风阵列中的每个声传感器1220的相对位置。

AR系统1200还可以包括或连接到诸如颈带1205的外部设备(例如，配对设备)。如所示，颈带1205可以经由一个或更多个连接器1230耦合到眼镜设备1202。连接器1230可以是有线或无线连接器，并且可以包括电气和/或非电气(例如，结构)部件。在一些情况下，眼镜设备1202和颈带1205可以独立地操作而在它们之间没有任何有线或无线连接。虽然图12示出了在眼镜设备1202和颈带1205上的示例位置中的眼镜设备1202和颈带1205的部件，但是这些部件可以位于眼镜设备1202和/或颈带1205的其他地方和/或在眼镜设备1202和/或颈带1205上不同地分布。在一些实施例中，眼镜设备1202和颈带1205的部件可以位于与眼镜设备1202、颈带1205或其某种组合配对的一个或更多个附加外围设备上。此外，颈带1205通常表示任何类型或形式的配对设备。因此，颈带1205的下面的讨论也可以应用于各种其他配对设备，例如智能手表、智能电话、腕带、其他可穿戴设备、手持控制器、平板计算机、膝上型计算机等。

将诸如颈带1205的外部设备与AR眼镜设备配对可以使眼镜设备能够实现一副眼镜的形状因子，同时仍然能够提供足够的电池和计算能力用于扩展的能力。AR系统1200的电池电力、计算资源和/或附加特征中的一些或全部可以由配对设备提供或者在配对设备和眼镜设备之间共享，因而总体上减小眼镜设备的重量、热分布和形状因子，同时仍然保持期望的功能。例如，颈带1205可以允许以其他方式将被包括在眼镜设备上的部件包括在颈带1205中，因为用户可以在他们的肩膀上容忍比在他们的头上将容忍的重量负荷更重的重量负荷。颈带1205也可以具有更大的表面积，以在该表面积上将热量扩散并分散到周围环境中。因此，颈带1205可以允许比以其他方式在独立眼镜设备上可能有的电池和计算容量更大的电池和计算容量。因为在颈带1205中承载的重量可能比在眼镜设备1202中承载的重量对用户更低创，比用户容忍穿戴重的独立眼镜设备，用户可以在更长的时间段期间容忍穿戴更轻的眼镜设备以及携带或穿戴配对设备，从而使人工现实环境能够更充分地融入用户的日常活动中。

颈带1205可以与眼镜设备1202和/或其他设备通信地耦合。其他设备可以向AR系统1200提供某些功能(例如，跟踪、定位、深度映射、处理、存储等)。在图12的实施例中，颈带1205可以包括两个声传感器(例如，1220(I)和1220(J))，其是麦克风阵列的一部分(或者潜在地形成它们自己的麦克风子阵列)。颈带1205还可以包括控制器1225和电源1235。

颈带1205的声传感器1220(I)和1220(J)可以被配置成检测声音并将检测到的声音转换成电子格式(模拟的或数字的)。在图12的实施例中，声传感器1220(I)和1220(J)可以定位在颈带1205上，从而增加在颈带声传感器1220(I)和1220(J)与定位在眼镜设备1202上的其他声传感器1220之间的距离。在一些情况下，增加在麦克风阵列的声传感器1220之间的距离可以提高经由麦克风阵列执行的波束成形的准确度。例如，如果声音由声传感器1220(C)和1220(D)检测到并且在声传感器1220(C)和1220(D)之间的距离大于例如，在声传感器1220(D)和1220(E)之间的距离，则检测到的声音的所确定的源位置可以比如果声音由声传感器1220(D)和1220(E)检测到的更准确。

颈带1205的控制器1225可以处理由在颈带1205和/或AR系统1200上的传感器生成的信息。例如，控制器1225可以处理来自麦克风阵列的描述由麦克风阵列检测到的声音的信息。对于每个检测到的声音，控制器1225可以执行到达方向(DOA)估计以估计方向(检测到的声音从该方向到达麦克风阵列)。当麦克风阵列检测到声音时，控制器1225可以用该信息填充音频数据集。在AR系统1200包括IMU的实施例中，控制器1225可以从位于眼镜设备1202上的IMU计算所有惯性和空间计算。连接器1230可以在AR系统1200和颈带1205之间以及在AR系统1200和控制器1225之间传送信息。信息可以是以光数据、电数据、无线数据的形式或任何其他可传输数据形式。将由AR系统1200生成的信息的处理移动到颈带1205可以减少在眼镜设备1202中的重量和热量，使它变得对用户来说更舒适。

颈带1205中的电源1235可以向眼镜设备1202和/或颈带1205提供电力。电源1235可以非限制地包括锂离子电池、锂聚合物电池、一次锂电池、碱性电池或任何其他形式的电力储存装置。在一些情况下，电源1235可以是有线电源。在颈带1205上而不是在眼镜设备1202上包括电源1235可以帮助更好地分配由电源1235生成的重量和热量。

如所提到的，一些人工现实系统可以实质上用虚拟体验代替用户对现实世界的一个或更多个感官知觉，而不是将人工现实与实际现实混合。这种类型的系统的一个示例是头戴式显示系统(例如图13中的VR系统1300)，其主要或完全覆盖用户的视场。VR系统1300可以包括前刚性主体1302和被成形为适配在用户的头部周围的带1304。VR系统1300还可以包括输出音频换能器1306(A)和1306(B)。此外，虽然在图13中未示出，但是前刚性主体1302可以包括一个或更多个电子元件，其包括一个或更多个电子显示器、一个或更多个IMU、一个或更多个跟踪发射器或检测器、和/或用于创建人工现实体验的任何其他合适的设备或系统。尽管未示出，VR系统1300可以包括计算机系统130。

人工现实系统可以包括各种类型的视觉反馈机构。例如，在AR系统1200和/或VR系统1300中的显示设备可以包括一个或更多个液晶显示器(LCD)、发光二极管(LED)显示器、有机LED(OLED)显示器、和/或任何其他合适类型的显示屏。人工现实系统可以包括用于双眼的单个显示屏，或者可以为每只眼睛提供显示屏，这可以提供对变焦调节或对于校正用户的屈光不正的附加的灵活性。一些人工现实系统还可以包括具有一个或更多个透镜(例如，传统的凹透镜或凸透镜、菲涅耳(Fresnel)透镜、可调液体透镜等)的光学子系统，用户可以通过这些透镜来观看显示屏。

除了或代替使用显示屏，一些人工现实系统还可以包括一个或更多个投影系统。例如，在AR系统1200和/或VR系统1300中的显示设备可以包括(使用例如，波导)将光投射到显示设备中的微LED投影仪，例如允许环境光穿过的透明组合透镜。显示设备可以朝着用户的瞳孔折射所投射的光，并且可以使用户能够同时观看人工现实内容和现实世界。人工现实系统还可以配置有任何其他合适类型或形式的图像投影系统。

人工现实系统也可以包括各种类型的计算机视觉部件和子系统。例如，AR系统1100、AR系统1200和/或VR系统1300可以包括一个或更多个光学传感器，例如二维(2D)或三维(3D)照相机、飞行时间深度传感器、单光束或扫频激光测距仪、3D LiDAR传感器、和/或任何其他合适类型或形式的光学传感器。人工现实系统可以处理来自这些传感器中的一个或更多个的数据以识别用户的位置、绘制现实世界的地图、向用户提供关于现实世界周围环境的背景、和/或执行各种其他功能。

人工现实系统还可以包括一个或更多个输入和/或输出音频换能器。在图11和图13所示的示例中，输出音频换能器1108(A)、1108(B)、1106(A)和1306(B)可以包括音圈扬声器、带式扬声器、静电扬声器、压电扬声器、骨传导换能器、软骨传导换能器、和/或任何其他合适类型或形式的音频换能器。类似地，输入音频换能器1110可以包括电容式麦克风、电动式麦克风(dynamic microphone)、带式麦克风、和/或任何其他类型或形式的输入换能器。在一些实施例中，单个换能器可以用于音频输入和音频输出两者。

图11-图13中所示的人工现实系统可以包括触感(即触觉)反馈系统，该系统可以被结合到头饰、手套、紧身衣、手持控制器、环境设备(例如椅子、地板垫等)中，和/或任何其他类型的设备或系统，例如本文讨论的可穿戴设备102。另外，在一些实施例中，触觉反馈系统可以与人工现实系统结合(例如，AR系统1100可以包括可穿戴设备102(图1))。触觉反馈系统可以提供各种类型的皮肤反馈，包括振动、力、牵引力、纹理和/或温度。触觉反馈系统还可以提供各种类型的动觉反馈，例如运动和顺应性。可以使用电机、压电致动器、射流系统和/或各种其他类型的反馈机构来实现触觉反馈。可以独立于其他人工现实设备、在其他人工现实设备内、和/或与其他人工现实设备结合来实现触觉反馈系统。

通过提供触觉感觉、可听内容和/或视觉内容，人工现实系统可以创建整个虚拟体验或者增强用户在各种背景和环境中的现实世界体验。例如，人工现实系统可以帮助或扩展用户在特定环境中的感知、记忆或认知。一些系统可以增强用户与在现实世界中的其他人的交互，或者可以实现用户与虚拟世界中的其他人的更沉浸式的交互。人工现实系统还可以用于教育目的(例如，用于在学校、医院、政府组织、军事组织、商业企业等中的教学或培训)、娱乐目的(例如，用于玩视频游戏、听音乐、观看视频内容等)和/或用于可及性目的(例如，作为助听器、助视器等)。本文公开的实施例可以在这些背景和环境中的一个或更多个中和/或在其他背景和环境中实现或增强用户的人工现实体验。

一些AR系统可以使用被称为“即时定位与地图构建”(SLAM)的技术来绘制用户的环境地图。SLAM地图构建和位置识别技术可以包括各种硬件和软件工具，这些工具可以创建或更新环境的地图，同时跟踪设备或用户在地图构建的环境中的位置和/或定向。SLAM可以使用许多不同类型的传感器来创建地图并确定设备或用户在地图中的位置。

例如，SLAM技术可以实现光学传感器来确定设备或用户的位置、定位或定向。包括WiFi、蓝牙、全球定位系统(GPS)、蜂窝电话或其他通信设备在内的无线电也可以用于确定用户相对于无线电收发器或一组收发器(例如，WiFi路由器或GPS卫星组)的位置。诸如麦克风阵列的声传感器或者2D或3D声纳传感器也可以用于确定用户在环境内的位置。AR和VR设备(例如系统1100、1200和1300)可以结合任何或所有这些类型的传感器来执行SLAM操作，例如创建并持续更新设备或用户的当前环境的地图。在本文描述的至少一些实施例中，由这些传感器生成的SLAM数据可以被称为“环境数据”，并且可以指示设备或用户的当前环境。该数据可以存储在本地或远程数据储存器(例如，云数据储存器)中，并且可以按需提供给用户的AR/VR设备。

当用户在给定环境中穿戴AR头戴式装置或VR头戴式装置时，用户可能正在与其他用户或用作音频源的其他电子设备进行交互。在一些情况下，希望确定音频源相对于用户位于哪里且然后将音频源呈现给用户好像它们来自音频源的位置一样。确定音频源相对于用户位于哪里的过程在本文可以被称为“定位”，并且再现音频源信号的回放以看起来好像它来自特定方向的过程在本文可以被称为“空间化”。

可以以多种不同的方式来执行定位音频源。在一些情况下，AR或VR头戴式装置可以发起DOA分析以确定声源的位置。DOA分析可以包括分析每个声音在AR/VR设备处的强度、频谱和/或到达时间以确定声音源自的方向。在一些情况下，DOA分析可以包括用于分析人工现实设备所位于的周围声学环境的任何合适的算法。

例如，DOA分析可以被设计成从麦克风接收输入信号，并将数字信号处理算法应用于输入信号以估计到达方向。这些算法可以包括例如，延迟算法和求和算法，其中输入信号被采样，并且采样信号的得到的加权和延迟版本被一起取平均以确定到达方向。也可以实现最小均方(LMS)算法以创建自适应滤波器。该自适应滤波器然后可以用于例如，识别信号强度的差异或到达时间的差异。然后，这些差异可用于估计到达方向。在另一个实施例中，可以通过将输入信号转换到频域内并选择要处理的时频(TF)域内的特定单元(bin)来确定DOA。可以处理每个选定TF单元以确定该单元是否包括具有直接路径音频信号的音频频谱的一部分。然后可以分析具有直接路径信号的一部分的那些单元，以识别麦克风阵列接收直接路径音频信号的角度。然后，所确定的角度可以用于识别接收到的输入信号的到达方向。也可以单独地或者与上面的算法结合地使用上面没有列出的其他算法来确定DOA。

在一些实施例中，不同的用户可能将声源感知为来自稍微不同的位置。这可能是每个用户具有独特的头部相关传递函数(HRTF)的结果，该头部相关传递函数可以由用户的包括耳道长度和耳鼓膜的定位的解剖结构决定。人工现实设备可以提供对准和定向指南，用户可以遵循该指南以基于他们的独特HRTF来定制呈现给用户的声音信号。在一些实施例中，AR或VR设备可以实现一个或更多个麦克风来收听用户环境中的声音。AR或VR设备可以使用各种不同的阵列传递函数(ATF)(例如，上面识别的任何DOA算法)来估计声音的到达方向。一旦到达方向被确定，人工现实设备就可以根据用户的独特HRTF来向用户回放声音。因此，使用ATF生成的DOA估计可用于确定声音播放的方向。回放声音可以基于特定用户如何根据HRTF听到声音被进一步改善。

除了执行DOA估计之外或者作为执行DOA估计的备选方案，人工现实设备可以基于从其他类型的传感器接收的信息来执行定位。这些传感器可以包括照相机、红外辐射(IR)传感器、热传感器、运动传感器、全球定位系统(GPS)接收器，或者在某些情况下，检测用户眼睛移动的传感器。例如，人工现实设备可以包括眼睛跟踪器或凝视检测器，其确定用户正在看哪里。用户的眼球常常会看向声源，即使短暂地。由用户的眼球提供的这样的线索可以进一步帮助确定声源的位置。诸如照机机、热传感器和IR传感器的其他传感器也可以指示用户的位置、电子设备的位置、或另一声源的位置。可以单独或组合地使用任何或所有上述方法来确定声源的位置，并且还可以用于随着时间来更新声源的位置。

一些实施例可以实现所确定的DOA来为用户生成更多的定制的输出音频信号。例如，“声学传递函数”可以表征或定义如何从给定位置接收声音。更具体地，声学传递函数可以定义声音在其源位置处的参数与通过其检测声音信号(例如，由麦克风阵列检测或由用户的耳朵检测)的参数之间的关系。人工现实设备可以包括检测在设备的范围内的声音的一个或更多个声传感器。人工现实设备的控制器可以(例如，使用上面识别的任一方法)估计检测到的声音的DOA，并且基于检测到的声音的参数，可以生成特定于设备的位置的声学传递函数。因此，该定制的声学传递函数可以用于生成空间化的输出音频信号，其中声音被感知为来自特定位置。

事实上，一旦一个或更多个声源的位置是已知的，人工现实设备就可以将声音信号重新再现(即，空间化)成好像来自该声源的方向的声音。人工现实设备可以应用滤波器或其他数字信号处理，其改变声音信号的强度、频谱或到达时间。数字信号处理可以以使得声音信号被感知为源自所确定的位置这样的方式被应用。人工现实设备可以放大或抑制某些频率或者改变信号到达每个耳朵的时间。在一些情况下，人工现实设备可以创建特定于设备的位置和声音信号的检测到的到达方向的声学传递函数。在一些实施例中，人工现实设备可以在立体声设备或多扬声器设备(例如，环绕声设备)中重新再现源信号。在这种情况下，可以向每个扬声器发送单独且不同的音频信号。可以根据用户的HRTF以及根据对用户的位置和声源的位置的测量结果来将这些音频信号中的每一个改变成好像它们来自声源的所确定的位置一样的声音。因此，以这种方式，人工现实设备(或与该设备相关联的扬声器)可以将音频信号重新再现为好像源自特定位置的声音。

尽管一些不同的附图以特定的顺序示出了多个逻辑阶段，但是不依赖于顺序的阶段可以被重新排序，并且其他阶段可以被组合或分解。虽然特别提到了一些重新排序或其他分组，但是对于本领域的普通技术人员来说，其他的将是显而易见的，因此本文呈现的排序和分组并不是备选方案的穷举列表。此外，应当认识到，可以用硬件、固件、软件或其任意组合来实现这些阶段。

为了解释的目的，已经参考具体实施例描述了前面的描述。然而，上述说明性讨论并不旨在是穷举的或将权利要求的范围限制到所公开的精确形式。鉴于上述教导，许多修改和变化是可能的。选择实施例是为了最好地解释权利要求书的基本原理及其实际应用，从而使本领域的其他技术人员能够最佳地使用具有各种修改的实施例，以适合预期的特定用途。

注意，本文公开的实施例也可以与以下申请中描述的任何实施例相结合：2018年2月28日提交的题为“Methods,Devices,and Systems for Creating Haptic Stimulationsand Tracking Motion of a User”的第62/636,699号美国临时申请、2018年3月23日提交的题为“Methods,Devices,and Systems for Projecting an Image Onto a User andDetecting Touch Gestures”的第62/647,560号美国临时申请和2018年1月8日提交的题为“Methods,Devices,and Systems for Creating Localized Haptic Sensations on aUser”的第62/614,790号美国临时申请。

还应注意，本文公开的实施例也可以与以下申请中描述的任何实施例相结合：2019年1月7日提交的题为“Methods,Devices,and Systems for Creating HapticStimulations and Tracking Motion of a User”的第16/241,871号美国发明专利申请、2019年1月7日提交的题为“Methods,Devices,and Systems for Displaying a UserInterface on a User and Detecting Touch Gestures”的第16/241,893号美国发明专利申请和2019年1月7日提交的题为“Methods,Devices,and Systems for CreatingLocalized Haptic Sensations on a User”的第16/241,900号美国发明专利申请。

Claims (22)

1.一种方法，包括：

在第一可穿戴设备处，所述第一可穿戴设备包括第一多个换能器和耦合到所述多个换能器的控制电路，所述第一多个换能器中的每一个能够生成一个或更多个信号：

经由所述控制电路激活所述第一多个换能器中的一个或更多个；和

经由所述第一多个换能器生成耦合到穿戴所述第一可穿戴设备的用户的第一附肢的至少一部分中的信号；和

在不同于所述第一可穿戴设备的第二可穿戴设备处，所述第二可穿戴设备包括第二多个换能器：

当用户的所述第一附肢在距离所述第二可穿戴设备的阈值距离内时，经由所述第二多个换能器接收由所述第一多个换能器生成的信号的至少一部分，其中，用户在不同于所述第一附肢的第二附肢上穿戴所述第二可穿戴设备；和

响应于所述接收，

向计算设备提供对应于所接收到的所述信号的部分的数据，其中，所述计算设备使用所述数据来确定相对于所述第二可穿戴设备的位置的所述第一附肢的位置。

2.根据权利要求1所述的方法，还包括，在所述第二可穿戴设备处：

经由所述第二多个换能器生成振动穿戴所述第二可穿戴设备的用户的第二附肢的至少一部分的不同信号。

3.根据权利要求1-2中任一项所述的方法，其中，所述多个换能器是多个电极。

4.根据权利要求1-3中任一项所述的方法，其中，所述信号通过用户的皮肤或用户的骨骼传输。

5.根据权利要求1-4中任一项所述的方法，其中，由所述第二多个换能器接收的信号的部分是通过用户的所述第二附肢的至少一部分接收的。

6.根据权利要求1-5中任一项所述的方法，其中，所述第一可穿戴设备还被配置成接收一个或更多个信号。

7.根据权利要求1-6中任一项所述的方法，其中，所述信号是超声波。

8.根据权利要求1-7中任一项所述的方法，其中：

所述第一可穿戴物将被穿戴在用户的第一附肢上，所述第一附肢是用户的优势附肢，并且

所述第二可穿戴物将被穿戴在用户的第二附肢上，所述第二附肢是用户的劣势附肢。

9.根据权利要求1-8中任一项所述的方法，其中，对应于所接收到的所述信号的部分的数据包括所述第一附肢的部分的位置是靠近所述第二可穿戴设备的手部悬停的指示。

10.根据权利要求1-9中任一项所述的方法，其中，对应于所接收到的所述信号的部分的数据包括所述第一附肢的部分的位置是靠近所述第二可穿戴设备的指尖悬停的指示。

11.根据权利要求1-10中任一项所述的方法，其中，对应于所接收到的所述信号的部分的数据包括如下指示：用户的位置包括用户与所述第二可穿戴设备附近的用户皮肤接触的指示。

12.根据权利要求1-11中任一项所述的方法，其中：

所述方法还包括经由所述第一可穿戴设备的无线电设备接收来自所述计算设备的指令；和

响应于接收到所述指令，执行激活所述第一多个换能器中的一个或更多个换能器。

13.根据权利要求1-12中任一项所述的方法，其中：

所述方法还包括确定所述第一附肢处于发送位置；和

响应于确定所述第一附肢处于所述发送位置，激活所述第一多个换能器中的一个或更多个换能器。

14.根据权利要求1-13中任一项所述的方法，其中，所述发送位置是多个预定发送位置中的一个，并且对应于所述第一附肢的姿态。

15.根据权利要求1-14中任一项所述的方法，其中：

所述方法还包括在所述第一可穿戴设备处接收输入；和

响应于接收到所述输入，执行激活所述第一多个换能器中的一个或更多个换能器。

16.根据权利要求1-15中任一项所述的方法，其中：

头戴式显示器与所述计算设备通信；和

所述头戴式显示器使用所述第一附肢的位置在虚拟现实和/或增强现实中显示所述第一附肢的至少一部分。

17.根据权利要求1-16中任一项所述的方法，其中，所述第一可穿戴设备是一个或更多个信号的发送器，并且所述第二可穿戴设备是所述一个或更多个信号的接收器。

18.根据权利要求1-17中任一项所述的方法，其中，所述第二可穿戴设备是所述计算系统。

19.一种非暂时性计算机可读存储介质，其存储一个或更多个程序，所述一个或更多个程序被配置为由具有第一多个换能器的可穿戴设备的一个或更多个处理器执行，所述一个或更多个程序包括指令，当所述指令由所述一个或更多个处理器执行时，使得所述可穿戴设备：

接收由耦合到用户的第一附肢的不同可穿戴设备生成的信号的至少一部分，其中，当用户的所述第一附肢在距所述可穿戴设备的阈值距离内时发生所述接收，并且进一步，其中用户在不同于所述第一附肢的第二附肢上穿戴所述可穿戴设备；和

响应于所述接收，

向计算设备提供对应于所接收到的所述信号的部分的数据，其中，所述计算设备使用所述数据来确定相对于所述可穿戴设备的位置的所述第一附肢的位置。

20.根据权利要求19所述的非暂时性计算机可读存储介质，其中，所述一个或更多个程序还包括用于执行权利要求2-18中任一项所述的方法的指令。

21.一种系统，包括：

第一可穿戴设备，其包括第一多个换能器和耦合到所述多个换能器的控制电路，所述第一多个换能器中的每一个能够生成一个或更多个信号，所述第一可穿戴设备被配置为：

激活所述第一多个换能器中的一个或更多个；和

生成耦合到穿戴所述第一可穿戴设备的用户的第一附肢的至少一部分中的信号；和

不同于所述第一可穿戴设备的第二可穿戴设备，其包括第二多个换能器，所述第二可穿戴设备被配置成：

当用户的所述第一附肢在距所述第二可穿戴设备的阈值距离内时，接收由所述第一多个换能器生成的信号的至少一部分，其中，用户在不同于所述第一附肢的第二附肢上穿戴所述第二可穿戴设备；和

响应于所述接收，

向计算设备提供对应于所接收到的所述波的部分的数据，其中，所述计算设备使用所述数据来确定相对于所述第二可穿戴设备的位置的所述第一附肢的位置。

22.根据权利要求21所述的系统，其中，所述第一可穿戴设备和所述第二可穿戴设备还被配置成执行权利要求2-18中任一项所述的方法。

Images