CN111602101A - 利用空中触觉系统的人类交互 - Google Patents

Abstract

解决了用于利用增强的交互式触觉反馈来管理对于音量的“常开”解决方案。超声换能器阵列可以被安装在人上(诸如头戴式显示器或其他可穿戴配件上)。该阵列可以对用户的身体和手这二者利用某种形式的6自由度跟踪。所述阵列协调将聚焦的声压投射在移动的手上的特定位置处，以使得触觉被模拟。通过使用可穿戴的麦克风，被反射并且被传输到身体中的超声信号可以被用于手和手势跟踪。

Description

利用空中触觉系统的人类交互

相关申请

本申请要求以下两篇美国临时专利申请的权益，这两篇申请全都整个地通过引用并入：

1)序号62/609,621，2017年12月22日提交；以及

2)序号62/655,795，2018年4月10日提交。

技术领域

本公开总体上涉及利用声驱动的空中触觉系统的人类交互。

背景技术

声能(被称为“声场”)的连续分布可以被用于包括空中的触觉反馈的应用范围。

在该声场中，可以定义一个或多个控制点。这些控制点可以是利用信号调制、结果生成空中的振动触觉反馈的振幅。生成反馈的替代方法是创建振幅不被调制的控制点、并且在空间上四处移动它们以创建可以被感觉到的空间-时间调制。

在致动的表面区域足够的情况下，空中触觉技术可以被按比例放大。不是到达可以被致动的空间区域，而是用户占据的所有的局部空间都可以按需被填充空中触觉效果。在该场景中，关于触觉效果的现有智慧中的很多是不适用的。在该场景中具有生成人机接口的可行方法是有价值的。

此外，随着移动技术朝向增强现实、虚拟现实和混合现实头戴式显示器发展，继续所建立的与手势相关联的触觉以及针对移动电话和平板技术空间开发的生产率的方法不存在了。一旦电话或平板的主要特征被移到头戴式装置中，就将没有可以创建标准的机械耦合的触觉的手持装置。虽然图形可以被显示/投射到空中的虚拟装置(其可能被拿在手中或者被夹持在身体上)上，但是在没有诸如触觉手套或臂章的情况下，没有用于递送触觉的好的方法，触觉去除了对于手中/上或者身体上的装置的需要。

这些手势需要被以快速的、高效的方式识别以提供及时的视觉和触觉反馈。相机技术被广泛地采用，但是在捕捉速率上是有限的，需要大量计算，并且通常有高延时。可穿戴产品是不方便的，并且可能是笨重的。可穿戴的超声阵列可以提供可以用于提供独立的或补充的手跟踪的高速信号。

发明内容

用以下音量与触觉系统交互是未知的，在所述音量中，所述音量的任何部分可以利用交互式触觉反馈增强。在该应用中，解决了用于管理“常开”解决方案及其含意的若干不同的策略。

此外，超声换能器阵列可以被安装在人上(诸如头戴式显示器或其他可穿戴配件上)。该阵列将对用户的身体和手这二者利用某种形式的6自由度跟踪。通过使用该跟踪数据，所述阵列可以协调将聚焦的声压投射在移动的手上的特定位置处，以使得触觉被模拟。拿着他们的掌上设备(比如平板或电话)的人将能够以与拿着物理装置并且参与相同的手势和交互的人类似的方式体验到触觉。通过使用可穿戴的麦克风，被反射并且被传输到身体中的超声信号可以被用于手和手势跟踪。

附图说明

附图与以下详细描述一起被合并在本说明书中并且形成本说明书的一部分，用于进一步例示说明包括要求保护的发明的构思的实施例并且说明这些实施例的各种原理和优点，在附图中，相似的数字在分开的视图中始终指代相同的或功能上类似的元件。

图1示出手持装置的持法。

图2示出利用空中触觉模仿的示例手持手势。

图3示出利用触觉的基于手的交互。

图4示出不用触觉的基于手的交互。

图5A和图5B示出测量手指手势的使用双手的配置。

图6示出掌上设备上手指跟踪。

图7示出关闭掌上设备手势。

本领域技术人员将意识到，附图中的元件是为了简化和清晰而例示的，不一定是按比例绘制的。例如，附图中的元件中的一些的尺寸可以相对于其他元件被放大，以帮助改进本发明的实施例的理解。

设备和方法组件已经在附图中用惯用的符号在适当的地方表示，附图仅示出与本发明的实施例的理解有关的那些特定细节以便不会使本公开由于对于本领域的受益于本文中的描述的普通技术人员将显而易见的细节而模糊化。

具体实施方式

I.无所不在的空中触觉反馈

A.断言控制

当可以利用触觉致动的空间中的用户需要与机器连接时，他们必须执行特定的手势来使该机器“监听”他们的手势命令。该手势对于为用户提供接入服务的网关是必要的，并且可以由用户定制。该手势对于每个用户也可以是独有的，并且向机器展示它正在与哪个用户交互，因此，根据他们的偏好做出行为。当这已经被实现时，空中触觉效果的形式的“就绪”信号被广播到手上，该信号发信号通知所述系统已经变为手势控制模式。该空中触觉效果也可以由每个用户配置和重新分配。与机器的进一步的交互然后可以通过使用手势来进行。手势可以被用于将控制传送到其上可以获得更精确的命令的另一个装置上，在这种情况下，当系统移出手势控制模式时，“就绪”信号关闭。

在手势控制模式下，每个用户应能够将某些装置“钉扎”到手势，以使得所述系统可以减小用户执行与命令相对应的动作需要花费的能量的量和认知带宽。空间的某些体积可以被耦合到附近的物体。对于被动的物体，这使得所述系统可以向用户提供对于放错位置的物体的定位服务和触觉，从而教导用户如何最佳地使用物品或者仅以不用眼的方式暗示物体。对于主动地与所述系统接合的物体，诸如第三方电子装置和系统，这些可以具有伴随的并且与它们相关联的触觉效果，以与用户来回发送和接收信息和事件。这些空中触觉效果可以是可配置的，并且可以被每个用户重新分配。每个装置可以具有“钉扎式”交互，在这些交互中，每个命令具有与它相关联的、捕捉任务的手势和空中触觉。该任务可以通过考虑与给定的第三方系统或装置相关联的最常见的任务而被自动地确定并且被映射到认知上容易的手势。这可以被视为类似于哈夫曼代码的自动地构造任务和手势之间的映射，在哈夫曼代码中，常见的任务被分配简单的手势，而罕见的任务被分配更复杂的手势。

选择手势可以被用户执行以断言对于特定装置或用具的控制。该手势可以涉及诸如指点的选择的远程形式、或用手势选择与所讨论的应用、装置或用具相关的区域或体积。在所述选择被识别时，引起触觉响应，以使得用户知道所述选择已经发生。这可以通过触觉效果的差异来区别于其他的附近的“活动”区域。如果附近的区域不活动，则那里可能没有触觉效果、或者与机器接受手势输入的准备继续相对应的一般的活动效果。

B.事件通知

此外，如果用户包含在空间内，则空中触觉反馈可以被用于创建事件通知。这些可以是可配置的以使用不同的空中触觉效果来传达不同的信息。空中触觉效果上的周期性地调制的调制可以被用于生成“警报”通知。传达警告的空中触觉通知在一段时间段之后，或者如果满足其他条件，可以分解为其他的感觉模态。事件通知可以被用户以谨慎的方式配置为仅适用于单个的被标识的且被认证的用户，或者被用户配置为广播给空间中的每个人。

“解除”手势可以被用于一旦接触事件已经发生、就解除该事件通知。通过空中触觉系统传达的事件可以被配置为在没有干预的情况下停止或者继续持续存在，直到它被以这种方式或另一种方式明确地解除。解除动作可以被配置为要求空间中的所有用户解除，由于例如一些改变的通知、或者满足单个用户的动作。在所述单个用户情况下，通知可以是对于将引起解除的动作也具有“接受”手势的请求，以变为新的事件通知要求用户在解除可能发生、被转移到另一感觉模态之前进一步动作、启动另一系统或调度进一步的事件的模式。“解除”动作可以被配置为提供空中触觉事件通知的一直到稍后的时间的推迟，诸如在计时器警报通知的情况下。这样的通知系统不限于通过纯触觉刺激的通信。进一步的感觉(包括通过所述系统的参数化音频的应用)可以被用于进一步扩充和刺激以驱使用户进入意识和响应的状态。

C.外部影响

如果用户包含在其中可以启动触觉的空间内，则空中触觉反馈可以被用于传达外部变量的状态。通过使用如输入到产生触觉反馈模式的函数的外部变量修改触觉效果，用户可以(例如)能够确定前门是否被锁、洗涤周期上剩余的时间量、或产品的价格。

这可以以取这样的变量作为参数的触觉模板的形式设计。这些变量的类型可以包括(但不限于)布尔变量、一组选项的成员和实际的值。每个模板可以基于这些变量中的一个或多个来创建在变量的整个范围上改变的反馈。这些模板解释输入值的方式也可以被用户修改以使得可以定制装置。模板可以在可以是全局的坐标空间中、相对于触觉已经被“钉扎”于其上的位置、相对于作为整体的手、手掌表面、任何指骨或手指表面、或前述的组合定义以促使模板翘曲以配合手的形状。

为了优化反馈的目的，触觉反馈也可以根据环境因素来修改。例如，随着速度由于温度和湿度提高，触觉点在离装置的距离上增大。这是因为由于行进的波长的数量是相同的，所以波长更长。通过修改波长上离装置的相对距离，触觉点可以被规范化到一致的可测量的距离。同样地，温度将影响人手的灵敏度。通过修改反馈的强度，冷的麻木的效果可以被抵消。

D.附加的公开内容

这些实施例的进一步的描述包括以下：

1.一种系统，包括：

人机接口，所述人机接口包括：

包括声能分布的声场，其中所述声场由多个换能器生成；

跟踪系统，所述跟踪系统用于跟踪人类手势；以及

控制系统，所述控制系统具有监视模式和包括触觉的使用的动作模式；

其中当所述跟踪系统检测到预先指定的人类手势时，所述控制系统从所述监视模式切换到所述动作模式。

2.如第1段中的系统，其中所述预先指定的人类手势由所述人机接口的用户定义。

3.如第1段中的系统，其中当所述跟踪系统检测到预先指定的人类手势时，所述声场创建所述人机接口的用户可感知的预先指定的触觉效果。

4.如第3段中的系统，其中所述预先指定的触觉效果固定在所述人机接口的用户的手上。

5.如第1段中的系统，其中当外部事件发生时，所述控制系统使所述声场进入动作模式并且创建所述人机接口的用户可感知的预先指定的触觉效果。

II.身体安装的超声触觉解决方案

A.现有解决方案的缺点

1.带有致动器的手套具有卫生问题和有限的准确性。

2.固定位置空中触觉具有“桌面”体验的限制，其中对于示出触觉交互的有限区带的区域，具有固定的位置。

3.压缩空气旋涡(“烟圈”)可以被注入到空气中，并且在一定距离处被感觉到。这些投射器是需要用机械致动器转向的笨重的机械装置。除了它们的大小之外，不断变化的环境中的最大的缺点是它们的高延时。旋涡只在空气中、以每秒几米行进。用户可以容易地在使旋涡从源行进到用户所花费的时间内移动。结果，这实际上只适合于利用可预测的交互的固定位置体验(诸如用户朝向其移动的缓慢移动的球，不是反应式交互)。如果被安装到用户上，则效果被合成，因为交互被锚定到用户，并且触觉位置需要提前长达0.5s确定。在只有最小移动的情况下，该延时将引起错过或意外的反馈。可穿戴的超声阵列创建以音速(300+m/s)移动的触觉，几乎消除人类长度标度上的任何延时。另外，理论的换能器大小可以是极小的(mm)，使得可以按各种可穿戴的规格集成。

4.下面的文章

http://www.damngeeky.com/2013/05/30/11576/virtual-projection- keyboard-technolo gy-with-haptic-feedback-on-plam-of-your-hand.html陈述：

“3D投射系统和接口将是已经是我们的生活的整体部分的小玩意和小工具中隐含的技术的未来。就像3dim Tech的手势控制技术那样，由教授Masatoshi Ishikawa和Hiroyuki Shinoda领头的、东京大学的设计团队已经开发了将虚拟键盘或任何其他的交互式显示器投射在你的手上、纸上或任何其他随机表面上、用于向您的小工具(一个或多个)提供输入的接口系统。由对虚拟地投射在你的手上的键盘按键上的动作或压力提供触觉反馈的大约2,000个超声波发射器提供动力，新的技术对于未来具有巨大的潜力。这意味着你将能够从公司办公室或家里的任何位置操作你的计算机、智能电话、平板或任何其他的小工具。所述技术距离完成还有很长的路，因为在我们将看到向公众推出的商业应用之前它仍要5年，但是到目前为止，它看起来是足够好的。”

该文章详述了投射到手掌上的用户接口和提供触觉反馈的超声阵列。该文章和本文中描述的方法之间的差异包括：

a.该文章陈述用户接口由投射器产生。本文中描述的方法提出了使用由头戴式显示器(AR或VR)提供的图形。

b.从该文章并不清楚投射的接口随着用户输入而改变。本文中描述的方法将随着这样的用户输入动态地改变(按钮将改变，文本将滚动，等等)。

c.该文章中示出的接口似乎只提供“按钮”手势。本文中描述的方法提出了提供对于各种基于触摸的手势的反馈。

d.本文中描述的方法提出了提供对于意在于控制不一定被投射到手掌上的屏幕/接口的手势的反馈。

e.本文中描述的方法提出了使用可穿戴的阵列的方法，所述可穿戴的阵列使用跟踪信息更新以提供该反馈。

f.该文章中示出的超声装置很可能一次只可以创建一个焦点。本文中描述的方法可以创建并且控制任意数量的和/或整个声场。

g.该文章没有讨论使用超声作为使用可穿戴的麦克风跟踪触摸的手段。

B.基于身体的触觉装置

本文中描述的方法已经建立了用于操纵超声相控阵列的鲁棒的方法。使声能聚焦可以在静态的目标和移动的目标上产生准确的且动态的触觉。所提出的方法的目标是将该空中触觉能力扩展为包括移动的并且可能穿戴头戴式显示器的用户的定向。除了固定位置阵列之外，该方法使得阵列还可以被安装在用户上和以移动用户为目标的区域中。另外，被反射和/或被传输到身体中的声信号可以被用于响应性的且准确的手跟踪(包括移动和手对手触摸)中。

图1示出拿着被手120启动的手持装置110的传统的直式方位的示意图100。就该配置而言，单手划动可以利用屏幕的滚动、或者可能滑块的移动来相应地更新AR/VR图形。图2示出利用空中触觉模仿的替代的手持手势的示意图200。这些包括：划动202、轻敲204、捏合206、多触摸208、210、212、218、倾斜214、摇动216和缩放220、222。

人手的手掌侧是用于基于超声的触觉的非常敏感的且理想的目标。照此，这些是用于交互式区带和仪器的主要焦点。除了不需要外围的服装(诸如触觉手套)来启用触觉感觉之外，还存在对于该方法将促进的、公共空间中的未来的AR交互有价值的隐私元件。手上的手势仍保留用户的隐私，因为表面手充当防范显露特定的手势或正被探究的内容类型的保护。

尽管如此，个人的手臂、腿和其他身体部分也可以被认为是表面和交互仪器。例如，它可以在驱动的同时将一些接口元件投射到用户的腿上以调整比率或空调。

触觉可以要么从安装在用户上(诸如内置在HMD中或附连到HMD)、某个其他的穿戴的、被跟踪位置的配件上的一个或多个超声阵列、要么从安装在环境中的固定位置投射，使得触觉可以以活动的交互区为目标。环境中的阵列也可以是移动的，被安装到致动臂/表面、或者利用无人机或机器人操纵。

实现聚焦的一个关键是使安装在身体上的或环境中的所有的超声阵列始终知道它们的换能器中的每个的位置和方位。HMD通常在与显示器相关的“帧”中以～100Hz操作。对于每帧，所述系统中的所有的超声阵列都将需要关于所述系统中的它们的位置和期望的焦点位置(手等)这二者的更新的位置/方位信息。这可以利用对于贴附的HMD(IR LED、基准、SLAM等)常见的标准的光学方法或者利用已知的相对于阵列的相对位置来进行。可替代地，这可以利用跟踪阵列被安装在其上、已知的相对位置处的紧身衣来进行。创建足够的触觉的焦点位置将需要被比帧间时间(通常为5kHz+)更快速地更新。这可以被作为每帧更新的预先编制的路线进行。可替代地，所述阵列可以基于另一更快速动作的跟踪器来更新焦点位置。

在另一布置中，所述阵列可以同时将声信号发送给反馈回阵列控制器的已知位置麦克风拾取。通过测量麦克风处的振幅和/或相位的改变，这可以被用作在跟踪更新的情况下等待几帧时的帧间焦点位置调整。在另一布置中，外部麦克风可以被用于测量反射的声音，而不是精确地朝向麦克风的信号。来自最后一帧的手的形状、方位和速率信息可以被用于对反射的信号以及它将如何随着移动改变进行建模。在另一布置中，反射的信号，连同多个拾取麦克风一起，可以对环境进行声学成像，使得单独的跟踪信息没有必要。这些布置中的任何一个都可以具有被编码以包括传输时间和/或阵列位置信息的信号。

图3和图4展示可能的使用双手的配置以及用户可以如何在手掌面对用户的情况下握住他们的手。面向内的该手掌是将被称为“表面手”的手掌。用户的另一只手将被称为“交互手”，并且将负责涉及任何接口手势(诸如划动、点击和捏合)的使用双手的交互。图3(取自美国专利申请US 2015/0248787)示出经由手掌330或指尖340触摸表面手320的交互手310的基于触觉的示意图300。图4(取自第六感可穿戴手势接口)示出与数字板被投射405在其上的表面手404触摸的交互手402的非基于触觉的示意图400。手包括跟踪器406、408、410以确定定位并且计算与投射的键盘的交互。

该表面手使得范围内的或可行角度的任何超声阵列可以与AR/VR HMD中示出的图形协调地将触觉投射到手上。结果是看似被投射到用户的手上的可以被交互的接口。这类似于电话或平板接口，除了触觉被投射到手的表面上以与用户执行的手势相对应之外。

该方法的重要元素之一意图触觉被朝向表面手施加，但是还根据需要在交互手上激活触觉。所以，按钮按压例如将涉及正被向内压下的按钮的表面手上的感觉，而触觉还被施加于交互手的正在进行交互的指尖。这些触觉中的一些可以针对交互手，并且一些意图从表面手反射或溅落以被双手的涉及交互的部分(诸如一只手上的指尖和另一只手的手掌)体验到。

移动触觉体验中的图形呈现方法是无关的，只有手和其他身体部分正被跟踪并且被用于锚定那些图形，不管是在耳麦显示器中，还是被投射到身体部分的表面上。此外，诸如上述那些图形和接口的图形和接口不需要图形运作。图形呈现可以由AR耳麦或其他AR设备呈现，并且可以包括全息图。可以连同触觉一起存在或不存在图形呈现。

该方法的一个实现可以包括触控板，比如用户可以在图形没有被直接投射到正被交互的表面上的情况下有效地使用的导航接口。这类似于在用户正在桌上移动鼠标的同时、在计算机屏幕上移动鼠标光标。在另一布置中，表面手将用作跟踪板，并且交互手可以就像它将是膝上型计算机上的跟踪板那样操作。这将包括简单的轻敲和拖动手势，但是还包括2-5手指交互，诸如2手指拖动、捏合到缩放等。

手跟踪是实现这些接口所需的。这通常通过光学跟踪来实现。虽然保持优秀的x-y(像面)灵敏度，但是深度灵敏度是非常困难的。该方法可能具有区分悬停在手掌正上方的手指和实际触摸的麻烦。这个灵敏度缺乏可以限制手指到手掌触摸的准确性，需要夸大的高能手势，并且限制了它的吸引力。该问题可以通过包括皮肤耦合的麦克风、利用超声来解决。这些可以被放置在耳麦中、所述阵列上、或任何数量的可穿戴装置上。

图5A和5B中示出了该布置的最基本的布置。图5A示出超声阵列可以将焦点501的形式的信号发送到一只手506上。焦点510(或多个点)可以瞄准垂直于所述阵列的法线的点(一个或多个)以使与区域中的耦合最大化。折叠的皮肤或触摸手指也可以提供足够的耦合。作为超声阵列发送焦点510处的信号的结果，大振幅的正弦波508存在于一只手506中，而小振幅的正弦波504存在于另一只手502中。小振幅的正弦波。

图5B示出超声阵列可以将焦点560的形式的信号发送到一只手556上的示意图550。焦点560(或多个点)可以瞄准垂直于所述阵列的法线的点(一个或多个)以使与区域中的耦合最大化。折叠的皮肤或触摸手指也可以提供足够的耦合。所述一只手556正在触摸点562处触摸另一只手552。作为超声阵列发送焦点510和触摸点562处的信号的结果，大振幅的正弦波508存在于所述一只手556中，并且大振幅的正弦波554存在于所述另一只手552中。这是因为超声通过皮肤耦合在触摸点562处，可能是经由批量传输。

可替代地，声场可以被形成为使传输到期望区域的信号最大化的射束或任何形状。这不需要达到生成触觉的水平。皮肤耦合的麦克风将被放置为使得它对于身体的接收侧(在这种情况下为左边)的声能更敏感。这可以通过将它靠近接收手放置(例如放置在手表中)、或者使定向麦克风放置在耳麦中来实现。它对于气载超声应该是不敏感的以避免冲突的反射信号(例如封装在泡沫中)。在该布置中，因为空气和皮肤之间的声阻抗不匹配很大，所以非常少的声音将在手之间传送，直到它们形成机械接触。当接触发生时，皮肤耦合的麦克风将接收不同的信号。该信号可以采用对飞行时间编码的方法(诸如相位键控)以避免各种内部或外部反射。

在另一布置中，多个皮肤耦合的麦克风可以被使用和协调以使得相对信号可以被用于形成更鲁棒的触摸检测信号。此外，机械接触的程度(接触力)将使信号耦合增大，从而给出力的测度。以这种方式，超声可以被用于改进手跟踪的触摸灵敏度。

如果光学跟踪不存在或者其准确性或延时对于可靠的手势识别不足，则可以使用声学来启用或改善手指到手掌跟踪。一种布置在图6中，图6示出手610的示意图600，其中3个焦点612、614、616被投射到手掌611上。皮肤耦合的麦克风对于接收侧(在这种情况下，交互手619的手指620)将是敏感的。每个焦点612、614、616被以某种方式(相位键、频率等)编码。当手指620在触摸点622处触摸手掌611时，它将根据离每个焦点612、614、616的距离来耦合不同量的声信号。通过分离并且评估接收到交互手619中的声信号618的相对强度和/或时序，可以推断手掌611上的触摸手指620的位置。这使得既能够实现高触摸对悬停灵敏度，又能够实现低延时x-y检测。通过使用来自焦点中的每个的组合信号、查看相对幅值和相位，位置可以被确定。

更多的焦点可以被用于提高精度并且使用户用交互手遮蔽一个或多个的可能性最小化。更多的冗余信号也将减小来自反射或未对齐的可能的误差。焦点也可以在用户正在交互时被调整以使分辨率和准确性最大化。

将焦点投射在手上、然后使用交互手/手指拾取机械耦合的信号并且用皮肤耦合的麦克风测量该信号以确定触摸的方法也可以被应用于无生命的物体。例如，可以考虑具有投射的AR或VR交互式用户接口的平面桌面。在一个布置中，单个焦场被投射到所述表面上。这将类似于桌面中的手耦合的以上描述那样激励声波(体声波和表面声波这二者)。当交互手触摸桌面时，该声信号被耦合到手中，并且可以被皮肤耦合的麦克风拾取和分析。与手跟踪系统一致的，这将给出高速、高保真度触摸对无触摸跟踪。在另一布置中，多点场可以被投射到交互表面上。很像描述到手掌上的多点(图6)的描述那样，当用户触摸所述表面时，身体将将与距离相关的信号耦合到每个投射的焦点，并且可以相对于焦点确定触摸位置。

没有必要利用手掌来进行控制。图7示出在手紧握的情况下可能的一些附加的手势的汇编700：按钮710、转盘720和滑块730。(图7取自Google的Project Soli。)手指(包括拇指)的尖端对于超声触觉是非常敏感的，并且在这些手势中，将被作为反馈目标。在一个实现中，抽头或凸块可以类似于鼠标滚路中的凸块那样被添加到转盘或卷轴。对于按钮，两个不同的触摸压力可以通过对一个(或两个)使用触摸抽头来应答(类似于Apple装置上的3D触摸)。

C.示例性特征

下面例示说明前面的描述的示例性特征：

1.使得触觉可以从移动位置投射到移动的目标上。

2.使用用户自己的附属物和其他身体部分来充当触觉交互表面。

3.开发了被设计为同时协调表面手和交互手上的触觉以产生响应性的且直观的触觉感觉的触觉。

4.使用皮肤耦合的麦克风来测量传输的信号。

这些实施例的进一步的描述包括以下：

6.一种方法，包括：

从附连到用户的具有已知的相对位置和方位的换能器阵列生成声场；

定义多个控制场，其中所述多个控制场中的每个相对于所述换能器阵列具有已知的空间关系；

随着用户移动，动态地更新所述换能器阵列的位置和方位；并且

随着用户移动，动态地更新所述控制场的位置和方位。

7.如第6段中的方法，其中所述位置和方位信息由光学跟踪系统、加速度计跟踪系统和所述用户穿戴的跟踪系统中的至少一个提供。

8、如第6段中的方法，其中所述声场由空中触觉反馈系统生成。

9、如第8段中的方法，其中所述空中触觉反馈系统与头戴式显示器提供的图形和所述用户所做的手势中的至少一个协调。

10、如第9段中的方法，其中所述图形包括交互式用户接口。

11、如第10段中的方法，其中所述图形被投射在所述用户的手的附近。

12、如第9段中的方法，其中所述手势使用所述用户的手掌作为跟踪板控制接口。

13、如第6段中的方法，其中所述用户穿戴一个或多个皮肤耦合的麦克风。

14、如第13段中的方法，其中所述声场被引导耦合到所述用户的特定身体区域中。

15、如第14段中的方法，其中声场被身体耦合的麦克风测量以提供跟踪信息。

16、如第13段中的方法，其中所述声场被引导耦合到物体中。

17、如第16段中的方法，其中所述声场被身体耦合的麦克风测量以提供跟踪信息。

18、如第15段中所述的方法，其中所述身体耦合的麦克风对于所述用户的特定身体部分最敏感。

19、如第15段中的方法，其中所述声场被引导耦合到所述身体的其中所述身体耦合的麦克风不敏感的特定区域中，以使得当所述用户与所述特定区域接触时，所述身体耦合的麦克风将接收信号。

20、一种方法，包括：

产生气载触觉反馈，包括：

a)从具有已知的相对位置和方位的换能器阵列生成声场；

b)定义多个控制场，其中所述多个控制场中的每个相对于所述换能器阵列具有已知的空间关系；

c)将所述控制场安置在用户的手上；并且

d)产生包含头戴式显示器提供的各种仪器的用户接口；

其中所述用户接口包括显示图形信息的虚拟屏幕，并且其中用户的手移动操纵所述虚拟屏幕。

21、如第20段中的方法，其中所述用户接口模仿以下中的至少一个：智能电话、触控板、平板、GUI界面、跟踪板、键盘和数字键盘。

22、如第20段中的方法，其中手掌用作另一只手的跟踪板以操纵所述虚拟屏幕。

23、如第22段中的方法，进一步包括：

将所述虚拟屏幕投射在所述手掌上。

24、如第20段中的方法，其中所述用户的手上的控制场提供触觉反馈。

III.总结

虽然前面的描述公开了特定值，但是任何其他的特定值都可以被用于实现类似的结果。此外，前述实施例的各种特征可以被选择和组合以生成改进的触觉系统的许多变化。

在前面的说明书中，已经描述了特定的实施例。然而，本领域的普通技术人员意识到，在不脱离如以下权利要求中阐述的本发明的范围的情况下，可以做出各种修改和改变。因此，说明书和附图要从说明性的、而非限制性的意义上来看待，并且所有的这样的修改都意图包括在本教导的范围内。

而且，在本文档中，诸如第一和第二、顶部和底部等的关系术语可以仅被用于区分一个实体或动作和另一个实体或动作，而没有必要要求或暗示这样的实体或动作之间的任何实际的这样的关系或次序。术语“包括”、“具有”、“包含”、“含有”或它们的任何其他的变化意图涵盖非排他性的包括，以使得包括、具有、包含、含有元素列表的处理、方法、物品或设备不仅包括这些元素，而且还可以包括没有被明确地列出或者这样的处理、方法、物品或设备固有的其他元素。前面有“包括……”、“具有……”、“包含……”、“含有……”的元素在没有更多的约束的情况下，不排除包括、具有、包含、含有该元素的处理、方法、物品或设备中的附加的相同的元素的存在。术语“一个”和“一种”被定义为一个或多个，除非本文中另有明确陈述。术语“基本上”、“本质上”、“大致”、“大约”或它们的任何其他的版本被定义为接近本领域的普通技术人员的理解。如本文中使用的术语“耦合的”被定义为连接的，但是不一定是直接地，并且不一定是机械地。被以某种方式“配置”的装置或结构被以至少这种方式配置，但是也可以被以没有列出的方式配置。

提供本公开的摘要是为了使得读者可以快速地弄清本技术公开的性质。本公开是以它将被用于解释或限制权利要求的范围或意义的理解提交的。另外，在前面的详细描述中，可以看出，为了使本公开流水线化，各种特征在各种实施中是分组在一起的。本公开方法不应被解释为反映要求保护的实施例需要比每个权利要求中明确记载的特征多的特征的意图。相反，如权利要求所反映的，发明主题在于比单个的公开的实施例的所有特征少的特征。因此，权利要求特此被合并到详细描述中，每个权利要求独立作为单独要求保护的主题。

Claims (24)

1.一种系统，包括：

人机接口，所述人机接口包括：

包括声能分布的声场，其中所述声场由多个换能器生成；

跟踪系统，所述跟踪系统用于跟踪人类手势；以及

控制系统，所述控制系统具有监视模式和包括触觉的使用的动作模式；

其中当所述跟踪系统检测到预先指定的人类手势时，所述控制系统从所述监视模式切换到所述动作模式。

2.根据权利要求1所述的方法，其中所述预先指定的人类手势由所述人机接口的用户定义。

3.根据权利要求1所述的方法，其中当所述跟踪系统检测到预先指定的人类手势时，所述声场创建所述人机接口的用户可感知的预先指定的触觉效果。

4.根据权利要求3所述的方法，其中所述预先指定的触觉效果固定在所述人机接口的用户的手上。

5.根据权利要求1所述的方法，其中当外部事件发生时，所述控制系统使所述声场进入动作模式并且创建所述人机接口的用户可感知的预先指定的触觉效果。

6.一种方法，包括：

从附连到用户的具有已知的相对位置和方位的换能器阵列生成声场；

定义多个控制场，其中所述多个控制场中的每个相对于所述换能器阵列具有已知的空间关系；

随着所述用户移动，动态地更新所述换能器阵列的位置和方位；并且

随着所述用户移动，动态地更新所述控制场的位置和方位。

7.根据权利要求6所述的方法，其中所述位置和方位信息由光学跟踪系统、加速度计跟踪系统和所述用户穿戴的跟踪系统中的至少一个提供。

8.根据权利要求6所述的方法，其中所述声场由空中触觉反馈系统生成。

9.根据权利要求8所述的方法，其中所述空中触觉反馈系统与头戴式显示器提供的图形和所述用户所做的手势中的至少一个协调。

10.根据权利要求9所述的方法，其中所述图形包括交互式用户接口。

11.根据权利要求10所述的方法，其中所述图形被投射在所述用户的手的附近。

12.根据权利要求9所述的方法，其中所述手势使用所述用户的掌上设备作为跟踪板控制接口。

13.根据权利要求6所述的方法，其中所述用户穿戴一个或多个皮肤耦合的麦克风。

14.根据权利要求13所述的方法，其中所述声场被引导耦合到所述用户的特定身体区域中。

15.根据权利要求14所述的方法，其中声场被身体耦合的麦克风测量以提供跟踪信息。

16.根据权利要求13所述的方法，其中所述声场被引导耦合到物体中。

17.根据权利要求16所述的方法，其中所述声场被身体耦合的麦克风测量以提供跟踪信息。

18.根据权利要求15所述的方法，其中所述身体耦合的麦克风对于所述用户的特定身体部分最敏感。

19.根据权利要求15所述的方法，其中所述声场被引导耦合到所述身体的其中所述身体耦合的麦克风不敏感的特定区域中，以使得当所述用户与所述特定区域接触时，所述身体耦合的麦克风将接收信号。

20.一种方法，包括：

产生气载触觉反馈，包括：

a)从具有已知的相对位置和方位的换能器阵列生成声场；

b)定义多个控制场，其中所述多个控制场中的每个相对于所述换能器阵列具有已知的空间关系；

c)将所述控制场安置在用户的手上；并且

d)产生包含头戴式显示器提供的视觉仪器的用户接口；

其中所述用户接口包括显示图形信息的虚拟屏幕，并且

其中用户的手移动操纵所述虚拟屏幕。

21.根据权利要求20所述的方法，其中所述用户接口模仿以下中的至少一个：智能电话、触控板、平板、GUI界面、跟踪板、键盘和数字键盘。

22.根据权利要求20所述的方法，其中掌上设备用作另一只手的跟踪板以操纵所述虚拟屏幕。

23.根据权利要求22所述的方法，进一步包括：

将所述虚拟屏幕投射在所述掌上设备上。

24.根据权利要求20所述的方法，其中所述用户的手上的控制场提供触觉反馈。

Images