CN106575161A - 用于调制触觉反馈的方法和装置 - Google Patents

Abstract

公开了用于调制触觉反馈的方法和装置。本发明涉及一种用于调制用于提供触觉感觉的声场的方法和装置。提供了使用超声创建触觉反馈的方法。该方法包括以下步骤：使用超声换能器的相控阵列产生具有公共焦点的多个超声波，所述公共焦点是触觉反馈点，以及使用所选择的波形来调制超声波的产生，以在触觉反馈点处生成很少或没有可听见的声音。

Description

用于调制触觉反馈的方法和装置

技术领域

本发明涉及用于调制用于提供触觉感觉的声场的方法和装置。更具体地，但不排他地，本发明涉及用于调制用于提供触觉感觉的声场的方法和装置，以便提供改进的用户体验。

背景技术

存在各种交互式触觉技术，其通常结合交互式屏幕上显示的视觉信息而向一个或多个用户提供触觉信息或反馈。例如，先前的触觉反馈设备包括移动以物理地改变可变形表面的针。可以提供连接到铰接臂的笔，如在SensAble PHANTOM设备中。可提选地，用户可以佩戴(例如以手套形式)一个或多个致动器，致动器被激活以向用户提供触觉反馈。然而，在这些技术中的每一种中，用户需要与可变形表面、笔或特别适配的手套物理接触。这样的要求降低了用户可以与系统交互的可用性和自发性。

可以通过使用超声换能器的相控阵列在中空中对目标施加声辐射力来创建对人类皮肤的触觉感觉。超声波由换能器发射，每个换能器发射的相位被调节，使得波同时到达目标点，以便最大化所施加的声辐射力。

超声触觉反馈系统创建在系统的用户的皮肤上的振动触觉感觉。聚焦的超声在交叉点处创建足够的力以轻微地移位用户的皮肤。通常，超声触觉反馈系统使用具有等于或高于40kHz的频率的超声，其超过皮肤中的受体感觉的阈值。因此，用户只能检测这种聚焦超声的开始和停止。为了提供可由皮肤中的受体检测的感觉，聚焦超声在受体的可检测范围内以较低频率调制。该范围通常为1Hz至500Hz。

调制的副作用是超声分裂(break down)并在调制频率处创建声音。因此，当创建具有200Hz调制频率的触觉反馈时，也产生200Hz的声音。这种可听见的声音可能对用户是恼人的，并且是采用超声触觉技术的障碍所在。

本发明寻求缓解上述问题。可替换地或另外地，本发明试图提供一种改进的触觉反馈系统。

发明内容

根据第一方面，本发明提供了一种使用超声来创建触觉反馈的方法，其包括以下步骤：

使用超声换能器的相控阵列生成具有公共焦点的多个超声波，所述共同焦点是触觉反馈点，

使用所选择的波形来调制超声波的生成以在触觉反馈点处生成很少或没有可听见的声音。

该方法可以包括生成多个公共焦点的步骤，每个公共焦点是触觉反馈点。

在触觉反馈点处产生很少或没有可听见声音取决于所产生的任何声音的响度以及产生任何声音所处的频率。可以产生少量的可听见声音，并且被认为是可接受的。由触觉反馈的创建产生的声音的可接受性可以取决于在触觉反馈点处可听见的背景噪声。在噪声环境中，在触觉反馈点处产生的声音的可接受水平可以大于在安静环境中产生的声音的可接受水平。因此，创建触觉反馈的触觉反馈系统的预期用途和系统所处的环境将确定声音产生的可接受水平。

在高强度下，超声变成非线性的。这种非线性行为允许创建触觉反馈，但也导致在触觉反馈系统中产生的可听声音。超声波的非线性的效果的示例是利用使用参量扬声器(parametric speaker)创建高度指向的可听声音的效果。由于Westervelt方程的p²项的二阶导数而产生声音。

其中p是声压，在本发明的情况下其是在一点处的瞬时声压和环境声压之间的差。

在现有触觉反馈系统的情况下，被调制的相控阵列产生以简单方波模式调制的超声，即阵列在调制频率下接通和断开。因此，p²项在相控阵列的焦点处产生具有与调制频率匹配的频率的近似方波。由超声的非线性分裂产生的方波将产生相对大的噪声，并且不适于这种触觉反馈系统的用户。

为了减少或消除可听见噪声，申请人已经认识到，有必要避免贯穿声场的声压级的急剧变化。如上面的方波示例所证实的，压力的这些急剧变化通过非线性介质转成振荡。通过平滑声压级的变化，所产生的声音可以降低到较低和/或听不到的水平。声压可以连续地改变。声压可以如此地连续地改变，其中变化率的一阶导数也是连续的。声压可以如此地连续地改变，其中变化率的二阶导数是连续的。声压的最大变化率可以取决于多个因素，包括随着声波频率的人的阈值听觉的变化性，以及诸如正在产生波的空气的温度和湿度的因素。触觉反馈的生成可以被“调谐”，以便产生的任何声音对于触觉反馈系统的预期使用适当地低。

或者或另外地，由该方法产生的声音可以仅持续非常短的时间。由于人类不会感觉到只持续很短暂的声音，所以这可以有效地使产生的声音不可听见。

减少产生的声音的一种可能的方式可以是避免关闭换能器，并且因此避免了在方波调制中在0％和100％之间快速切换的声能的发射。该方法可以包括改变公共焦点的位置的步骤。公共焦点的位置可以恒定地变化。公共焦点的位置可以围绕中心焦点震荡。例如，可以改变相控阵列的相位延迟以将超声散焦和重聚焦到调制频率处的反馈点。由相控阵列中的单个换能器发出的声压级与焦点处的声压级相比小，并因此在焦点处的声压仍将存在大的变化。因此，该解决方案可能具有相对小的效果。

该方法可以包括避免在焦点处的急剧的压力变化的步骤。调制可以包括选择作为换能器相位和振幅的插值的波形。详细描述示出了各种内插波形和通过超声的非线性分裂(breakdown)在焦点处产生的波形。波形可以在完全接通和完全断开状态之间内插。插值曲线可以在任何两个换能器相位和振幅配置之间一般化。插值可以是线性插值。插值可以是多项式或三角插值，例如余弦插值。插值可以是参量扬声器插值，被布置成导致在焦点处生成的正弦波形。参量扬声器插值可以例如根据与用于将正弦曲线编码成参量扬声器波束以消除失真的方程相同的方程。这样的方程的示例可以在Pompei(2002)“Sound fromUltrasound：The Parametric Array as an Audible Sound Source”，Ph.D.MIT：US，内插波形可以在焦点处产生比现有技术的方波调制更平滑的波形。

根据第二方面，本发明提供了一种触觉反馈系统，包括：

相控阵列，其包括被布置成发射超声以产生触觉反馈点的多个换能器，

所述相控阵列被布置成根据具有以下形状的调制波形发射超声，该形状在当超声波在触觉反馈点处收敛时产生很少或没有声音。

触觉反馈系统可以包括控制单元。触觉反馈系统可以包括驱动单元。驱动单元可以布置成驱动换能器以产生超声。控制单元可以被布置为向驱动单元发送控制信号。控制单元可以包括存储器。控制单元可以被布置成根据特定的调制波形来调制换能器的输出。调制波形可以是线性的。调制波形可以是多项式或三角插值，例如，余弦插值。调制波形可以对应于抛物线扬声器插值。控制单元可以是PC或其它合适的计算机设备。

根据第三方面，本发明提供一种计算机程序产品，所述计算机程序包括一系列指令，所述一系列指令使得当在根据本发明的第二方面的与触觉反馈系统相关联的控制单元上运行时，触觉反馈系统操作使得执行根据本发明的第一方面的方法步骤。

当然应当理解，关于本发明的一个方面描述的特征可以结合到本发明的其它方面中。例如，本发明的方法可以结合参考本发明的装置描述的任何特征，反之亦然。

附图说明

附图说明现在将参考附图通过示例的方式来描述本发明的实施例，在附图中：

图1示出了根据本发明第一实施例的触觉反馈系统的示意图；

图2示出了现有技术的方波调制模式和在焦点处产生的合成波形；

图3示出了根据本发明的第二方面的线性插值调制模式和在焦点处产生的合成波形；

图4示出了根据本发明的第三方面的余弦插值调制模式和在焦点处产生的合成波形；

图5示出了根据本发明的第四方面的参量扬声器插值调制模式和在焦点处产生的合成波形；

图6示出了通过余弦插值调制在焦点处生成的声场；

图7示出了通过参量扬声器插值调制在焦点处生成的声场；和

图8示出了通过方波调制在焦点处生成的声场。

具体实施方式

在该方法的示例实施例中，首先确定焦点的3D位置。相控阵列被布置成产生声场，其中每个换能器的相位和振幅被计算以在焦点处实现高压并且在周围区域中实现低压。然后存在两种状态，首先是具有计算出的相位和振幅的焦点状态，第二是相控阵列的所有换能器设置在零振幅的关闭状态。然后根据反馈的期望感觉来选择对反馈进行调制的频率。然后在所需频率处选择调制波形，调制频率被选择以最小化或减少在焦点处产生的可听声音。示例调制波形是余弦波形。然后将调制波形应用于换能器的操作以在上述两种识别的状态之间进行内插。

现在参考图1描述应用于特定触觉反馈系统的更具体的示例。

图1示出了示例性触觉反馈系统10，其包括换能器阵列12、屏幕14、投影仪16、手跟踪器20、PC 22、驱动单元24和用户的手26。示出了系统10以说明本发明，其不限于使用超声来产生触觉反馈的特定系统。换能器阵列12位于屏幕14下方，并且布置成使得压力模式可以通过屏幕14传输到屏幕14上方的区域。在该特定实施例中，换能器阵列包括以16×20网格形式布置的320个muRata MA40S4S换能器。每个换能器单元的直径为10mm，并且换能器定位成在它们之间没有间隙，以便最小化换能器阵列12的足迹。换能器产生大量的声压(在30cm的距离处的20帕斯卡压力)，并且具有广角方向性(60度)。换能器被布置成以40kHz的频率发射超声波。投影仪16被布置成从屏幕14上方将可视信息投影到屏幕14上，如所示那样。在替代实施例中，投影仪可以放置在换能器阵列和屏幕之间，其中投影来自屏幕下方。

用户与该视觉信息交互，并且用户的手26的移动和位置由手跟踪器20跟踪。在该特定实施例中，手跟踪器20是布置成提供用户的指尖的3D坐标以及高达每秒200帧的手掌的Leap Motion控制器。系统10由PC 22控制，其中PC22将控制数据发送到投影仪16，从手跟踪器20接收用户数据，并且控制驱动单元24用于驱动换能器阵列12。PC 22控制驱动单元24使得在换能器阵列12上方的区域中产生压力模式。响应于用户的手运动，PC 22可以驱动驱动单元24，以使换能器阵列12改变在换能器阵列上方形成的压力模式12。

为了计算声波的振幅和相位，每个声换能器必须传输用于要创建的期望压力模式的算法，可以使用适合于由Gavrilov提出的算法(“The possible of generating focalregions of complex configurations in application to the problems ofstimulation of human receptor structures by focused ultrasound”，L.R.Gavrilov，2008，Acoustical Physics Volume 54，Issue 2，pp 269-278，Print ISSN 1063-7710)。在换能器阵列12上方定义体积盒。在盒内，定义多个控制点。控制点可以表示期望最大压力值的点，或者期望最小压力值的点。通过最大化或最小化由在控制点处入射的换能器阵列12发射的超声的强度来使压力值最大化或最小化。

使用算法来对所需的换能器阵列12中的每个换能器的输出进行建模，以获得可以在换能器阵列12上方限定的体积内创建的每个期望的压力模式。该算法可以分为三个步骤。

首先，计算由单个换能器生成的声场以创建大的建模体积。因此，可以通过针对实际换能器阵列中的每个换能器的位置、相位和振幅偏移样本换能器，并组合这些值，来确定建模体积内的任何点处的相位和振幅。

其次，在换能器阵列上方的3D体积中定义控制点，使得控制点采取所需的分布。控制点可以是最大强度或最小强度的点(也称为零点)。除了3D位置之外，还可以指定最大控制点的期望调制频率。第三，使用最小范数求解器来计算最佳相位，使得得到的声场尽可能接近由控制点指定的声场。可以存在将创建对控制点的最佳聚焦的多于一个的解，但是一些解创建比其他解更高的强度。因此迭代地生成解以找到创建最高强度的解。

根据本发明的方面的方法包括获得产生所需触觉感觉的调制频率。例如，16Hz的相对慢的调制频率将提供缓慢的脉冲式的感觉。200Hz的较高调制频率将产生接近连续的感觉。然后在该频率处选择调制波形，其在反馈点处产生很少或没有可听见的声音。调制波形可以包括基于如上所述计算的波形的所需相位和振幅的插值。

图2至图6示出了左手侧的曲线图，其表示施加到由超声换能器发射的超声的调制波形。附图右手侧的曲线图表示在超声换能器的焦点处创建的可听波形。通常，在焦点处创建的反馈波的振幅越大且锯齿状越大，产生的声音将越大。

在现有技术的系统中，超声的调制对应于简单的方波模式，如图2左手侧的曲线图所示，其中换能器阵列在调制频率下简单地打开和关闭。图2的右手侧的曲线图示出了当使用方波调制模式时在超声换能器的焦点处产生的波形。显然，波形远离平滑，并且波形的振幅相对高。这将导致在触觉反馈系统的焦点处产生的潜在大和刺激性的声音。

图3示出了替选的调制波形，其中超声根据线性插值而变化。从图3右手侧的曲线图可以看出，在焦点处产生的波形比图2所示的波形更平滑，其振幅明显更小。因此，与方波调制相比，将减小在焦点处产生的声音。

图4示出了替选的调制波形，其中超声根据余弦插值而变化。如在图4的右手侧的曲线图中可以看出的，在焦点处产生的波形比在图2中所示的波形更平滑，其振幅明显更小。因此，与方波调制相比，将减小在焦点处产生的声音。

图5示出了替选的调制波形，其中根据参量扬声器插值来改变超声。如图5右手侧的曲线图中可以看出的，在焦点处产生的波形比图2所示的波形更平滑，其振幅明显更小。因此，与方波调制相比，将减小在焦点处产生的声音。

图6、图7和图8示出了当从五个点源创建焦点时从不同调制波形产生的可听波形的声场。突出显示贯穿场中各点的波形以进行比较。图6表示余弦插值，图7表示参量扬声器插值，以及图8表示方波调制方法。可以看出，图6示出了最平滑、最均匀的场。图7示出了不像图6那样光滑和均匀的场，尽管仍然显著地比图8所示的更加平滑和更均匀。因此，显然，与所讨论的其他相比，余弦插值提供了最佳调制。在调查时，本领域技术人员可发现执行与余弦插值一样好或比其更好的替代调制波形，同时仍落在本发明的范围内。

尽管已经参考特定实施例描述和示出了本发明，但是本领域普通技术人员将理解，本发明适用于本文未具体示出的许多不同变型。

在前面的描述中，提及具有已知的、明显的或可预见的等同物的整体或要素，则这样的等同物如同单独阐述一样并入本文。应当参考用于确定本发明的真实范围的权利要求，其应当被解释为包括任何这样的等同物。读者还将理解，被描述为优选、有利、方便等的本发明的整体或特征是可选的，并且不限制独立权利要求的范围。此外，应当理解，尽管在本发明的一些实施例中可能有益，但是这样的可选整体或特征可能不是期望的，因此在其他实施例中可以不存在。

Claims (24)

1.一种使用超声创建触觉反馈的方法，包括以下步骤：

使用超声换能器的相控阵列生成具有公共焦点的多个超声波，所述公共焦点是触觉反馈点，

使用所选择的波形来调制所述超声波的生成以在所述触觉反馈点处生成很少或没有可听声音。

2.根据权利要求1所述的方法，包括避免在所述焦点处的急剧压力变化的步骤。

3.根据权利要求1或2所述的方法，包括以下步骤：使用包括所述换能器的相位和振幅的插值的波形来调制所述超声波的生成。

4.根据权利要求3所述的方法，其中，所述插值包括线性插值。

5.根据权利要求3所述的方法，其中，所述插值包括多项式插值或三角插值。

6.根据权利要求5所述的方法，其中，所述插值包括余弦插值。

7.根据权利要求3所述的方法，其中，所述插值是参量扬声器插值。

8.根据前述权利要求中任一项所述的方法，包括改变所述公共焦点的位置的步骤。

9.根据权利要求8所述的方法，其中，所述公共焦点的位置恒定地变化。

10.根据权利要求7或8所述的方法，其中，所述公共焦点的位置围绕中心焦点振荡。

11.一种触觉反馈系统，包括：

相控阵列，其包括被布置成发射超声以创建触觉反馈点的多个换能器，

所述相控阵列被布置成根据在当所述超声在所述触觉反馈点处收敛时具有产生很少声音或未产生声音的形状的调制波形而发射超声。

12.根据权利要求11所述的触觉反馈系统，包括控制单元。

13.根据权利要求11或12所述的触觉反馈系统，包括驱动单元。

14.根据权利要求11所述的触觉反馈系统，其中，所述驱动单元被布置成驱动所述换能器产生超声。

15.根据权利要求13或14所述的触觉反馈系统，包括被布置成向所述驱动单元发送控制信号的控制单元。

16.根据权利要求13至15中任一项所述的触觉反馈系统，其中，所述控制单元包括存储器。

17.根据权利要求13至16中任一项所述的触觉反馈系统，其中，所述控制单元被布置成根据特定调制波形来调制所述换能器的输出。

18.根据权利要求17所述的触觉反馈系统，其中，所述调制波形是线性插值。

19.根据权利要求17所述的触觉反馈系统，其中，所述调制波形是多项式插值或三角插值。

20.根据权利要求17或18所述的触觉反馈系统，其中，所述调制波形是余弦插值。

21.根据权利要求17所述的触觉反馈系统，其中，所述调制波形对应于抛物线扬声器插值。

22.一种计算机程序产品，所述计算机程序包括一系列指令，所述一系列指令使得当在与根据权利要求13至21中任一项所述的触觉反馈系统相关联的控制单元上运行时，所述触觉反馈系统操作使得执行根据权利要求1至12中任一项所述的方法步骤。

23.一种提供触觉反馈的方法，其本体上如本文中的参照附图的图1和图3至图7中任一个所描述的那样。

24.一种触觉反馈系统，其大体上如本文中的参照附图的图1和图3至图7中任一个所描述的那样。