CN103257783B - 用于在移动设备上共享反馈的交互模型 - Google Patents

Abstract

本发明提供了用于在移动设备上共享反馈的交互模型。产生动态触觉效果并生成包括姿态信号和实际或虚拟设备传感器信号的驱动信号的系统。基于该姿态信号和诸如来自加速度计或陀螺仪的之类的实际或虚拟设备传感器信号二者来动态地修改触觉效果，或通过从诸如静态图像、视频、或声音之类的处理数据创建的信号来修改该触觉效果。通过使用姿势信号和实际或虚拟设备传感器信号和物理模型，触觉效果可任选地被动态地修改，或可任选地被同时应用于经由通信链路连接的多个设备。任选地可将该触觉效果编码为第一设备上的数据文件。然后该数据文件被通信至第二设备，且触觉效果从该数据文件中被读取并被应用于该第二设备。

Description

用于在移动设备上共享反馈的交互模型

相关申请的交叉引用

本申请根据35USC§120要求在2012年2月15日提交的共同待审的申请13/397,142的权益。

技术领域

一个实施例一般地涉及用于在移动设备上共享反馈的交互模型，设备的用户界面，且具体地涉及使用多个姿势信号和实际或虚拟的设备传感器信号来产生动态的触觉效果。

背景信息

电子设备制造商努力为用户产生丰富的界面。常规设备使用听觉和视觉提示来向用户提供反馈。在一些接口设备中，动觉反馈（诸如积极的或阻力反馈）和/或触知反馈（诸如振动、纹理、和热）也被提供给用户，更一般地这两种反馈一起被已知为“触觉(haptic)反馈”或“触觉效果”。触觉反馈可提供增强且简化用户界面的提示。特定地，在向电子设备的用户提供提示来提醒用户特定事件、或提供现实反馈从而创建在模拟或虚拟环境中的更强的感知沉浸方面，振动效果、或振动触觉的触觉效果可能是有用的。

为了产生振动效果，很多设备使用某种类型的致动器或触觉输出设备。被用于这个目的的已知的触觉输出设备包括电磁致动器，诸如其中通过电机移动偏心质量的偏心旋转质量（“ERM”）、其中附连至弹簧的质量被前后驱动的线性谐振致动器（“LRA”），或诸如压电、电活性聚合物或形状记忆合金质量的“智能材料”。触觉输出设备还宽泛地包括非机械或非振动设备，诸如使用静电摩擦（ESF）、超声表面摩擦（USF）的那些、或者引起与超声触觉换能器之间的声辐射压的那些、或者使用触觉衬底和柔性或可变形表面的那些、或者使用空气喷射提供诸如一股空气之类的喷出的触觉输出的那些，等。

仅用触发的效果提供触觉反馈的传统体系架构是可用的，且必须被仔细地设计为确保触觉反馈的时序相关联于用户初始化的姿势或系统动画。然而，由于这些用户姿势和系统动画具有可变的时序，与触觉反馈的关联可能是静态的且不一致的，因此较少引起用户注意。进一步，设备传感器信息一般并不与姿势组合使用来产生触觉反馈。

因此，存在对于提供包括多个姿势信号和设备传感器信号的动态触觉效果的改进的系统的需要。进一步存在对于向经由通信链路连接的多个设备提供并发的触觉反馈的需要。

发明内容

一个实施例是产生动态触觉效果并生成包括姿势信号和实际或虚拟设备传感器信号的驱动信号的系统。基于该姿势信号和诸如来自加速度计或陀螺仪的之类的实际或虚拟设备传感器信号二者来动态地修改触觉效果，或通过从诸如静态图像、视频、或声音之类的处理数据创建的信号来修改该触觉效果。任选地可通过使用该姿势信号和实际或虚拟设备传感器信号和物理模型来动态地修改该触觉效果。该触觉效果可任选地被并发地应用于经由通信链路连接的多个设备。任选地可将该触觉效果编码为第一设备上的数据文件。然后该数据文件被通信至第二设备，且触觉效果从该数据文件中被读取并被应用于该第二设备。

附图说明

图1是根据本发明的一个实施例的能启用触觉的系统的框图。

图2是根据本发明的一个实施例的触觉致动器的LRA实现的剖视透视图。

图3是根据本发明的一个实施例的触觉致动器的ERM实现的剖视透视图。

图4A-4C是根据本发明的一个实施例的触觉致动器的压电实现的各视图。

图5是根据本发明的一个实施例的使用静电摩擦（ESF）的触觉设备的视图。

图6是根据本发明的一个实施例，使用超声触觉换能器引起声辐射压的触觉设备的视图。

图7是根据本发明的一个实施例的使用触觉衬底和柔性或可变形表面的触觉设备的视图。

图8A-8B是根据本发明的一个实施例的使用超声表面摩擦（USF）的触觉设备的视图。

图9A-9C是根据本发明的一个实施例的用户初始化的动态触觉效果的屏幕视图。

图10A-10F是根据本发明的一个实施例，将触觉效果编码为数据文件的屏幕视图。

图11是根据本发明的一个实施例的用户初始化的动态触觉效果的屏幕视图。

图12A-12E是根据本发明的一个实施例，将触觉效果并发地应用于多个设备的屏幕视图。

图13是根据本发明的一个实施例的用姿势信号和设备传感器信号产生动态触觉效果的流程图。

图14是根据本发明的一个实施例，将触觉效果并发地应用于多个设备的流程图。

图15是根据本发明的一个实施例，使用数据文件用于编码和应用触觉效果的流程图。

具体实施方式

如上所述，动态触觉效果是指当响应于一个或多个输入参数时随时间发展的触觉效果。动态触觉效果是显示在触觉设备上的触觉或振动触觉的效果,用来代表给定输入信号的状态的改变。该输入信号可以是由具有触觉反馈的设备上传感器捕捉到的信号，诸如位置、加速度、压力、取向、或接近性，或由其他设备捕捉到并被传送给该触觉设备从而影响触觉效果生成的信号。

动态效果信号可以是任何类型的信号，不过并不必要是复杂的。例如，动态效果信号可以是简单的正弦波，具有诸如相位、频率、或幅值之类随时间改变的或根据映射方案实时起作用的一些性质，该映射方案将输入参数映射至该效果信号的变化的性质上。输入参数可以是能由设备提供的任何类型的输入，且一般是诸如设备传感器信号之类的任何类型的信号。设备传感器信号可由任何装置生成，且一般通过用设备捕捉用户姿势来生成。动态效果对于姿势接口是非常有用的，不过并不是必定要求使用姿势或传感器来创建动态信号。

不直接涉及姿势的一个常见场景是定义动画表示的窗口小部件的动态触觉行为。例如，当用户滚动列表时，一般并不是姿势的触觉，而是响应于该姿势的窗口小部件的运动，感觉起来最为直观。在滚动列表的示例中，缓缓滑动列表可产生动态触觉反馈，其根据滚动的速度而变化，但是猛拉滚动条，即使在姿势结束后，也可产生动态触觉。这创建了幻觉，觉得窗口小滚动条具有一些物理性质且窗口小滚动条向用户提供诸如其速度或是否在运动之类的有关窗口小滚动条的状态的信息。

姿势是传达意思或用户意图的任何身体运动。所了解的是可将简单的姿势组合来形成更为复杂的姿势。例如，将手指与触敏表面接触可被称为“放上手指（finger on）”的姿势，而将手指从触敏表面移开可被称为另外的“移开手指（finger off）”姿势。如果在“放上手指”的姿势和“移开手指”姿势之间的时间相对较短，该组合的姿势可被称为“轻触（tapping）”；如果在“放上手指”的姿势和“移开手指”姿势之间的时间相对较长，该组合的姿势可被称为“长时间接触（long tapping）”；如果在“放上手指”的姿势和“移开手指”姿势的二维（x,y）位置之间的距离相对较大，该组合的姿势可被称为“滑刷（swiping）”；如果在“放上手指”的姿势和“移开手指”姿势的二维（x,y）位置之间的距离相对较小，该组合的姿势可被称为“擦涂（smearing）”、“涂抹（smudging）”、或“轻拂（flicking）”。可用任何方式将任何数量的两位或三维简单或复杂姿势组合来形成任何数量的其他姿势，包括但不限于，多手指接触、手掌或拳接触、或邻近该设备。姿势还可以是具有加速度计、陀螺仪、或其他运动传感器所识别并被转换为电信号的任何形式的手的运动。在传感器捕捉到生成动态效果的用户意图的情况下，这样的电信号可激活动态效果，诸如摇晃虚拟的骰子。

图1是根据本发明的一个实施例的能触觉地启用的系统10的框图。系统10包括触敏表面11或安装在外壳15内的其他类型的用户界面，且可包括机械键盘/按钮13。在系统10内部的是在系统10上生成振动的触觉反馈系统。在一个实施例中，振动生成在触摸表面11上。

触觉反馈系统包括处理器12。耦合至处理器12的是存储器20和致动器驱动电路16，该驱动电路耦合至触觉致动器18。处理器12可以是任何类型的通用目的处理器，或者可以是专用设计为提供触觉效果的处理器，诸如专用集成电路（“ASIC”）。处理器12可以是操作整个系统10的同一个处理器，或者是独立处理器。处理器12可基于高阶参数决定播放什么触觉效果以及播放这些效果的顺序。一般而言，定义特定触觉效果的高阶参数包括大小、频率、和持续时间。还可使用诸如擦涂电机（streaming motor）命令之类的低阶参数来确定特定触觉效果。如果触觉效果包括当触觉效果被生成时这些参数的某个变化或基于用户交互的这些参数的变化，则触觉效果可被认为是动态的。

处理器12向驱动电路16输出控制信号，驱动电路16包括用于向致动器18提供所要求的电流和电压来引起所期望的触觉效果的电子组件和电路。系统10可包括多于一个的致动器18，且每一个致动器可包括独立的驱动电路16，全部耦合至公用处理器12。存储器设备20可以是任何类型的存储设备或计算机可读介质，诸如随机存取存储器（RAM）和只读存储器（ROM）。存储器20存储由处理器12执行的指令。除了这些指令外，存储器20包括致动器驱动模块22，这是当由处理器12执行时产生驱动器18的驱动信号、同时还确定来自致动器18的反馈、并相应调节驱动信号的指令。将在下文详细讨论模块22的功能。存储器20还可位于处理器12内部，或者内部和外部存储器的组合。

触摸表面11识别接触，且还可识别在该表面上的这些触摸的位置和大小或压力。对应于这些触摸的数据被发送至处理器12、或系统10内的另一个处理器，且处理器12解译这些触摸并响应于此生成触觉效果信号。触摸表面11可使用任何感测技术感测这些触摸，包括电容感测、电阻感测、表面声波感测、压力感测、光学感测等。触摸表面11可感测多触摸的接触，且能分辨同时发生的多个触摸。触摸表面11可以是生成并显示图像用于使得用户与诸如键盘、拨号等交互的触摸屏，或可以是具有最少或没有图像的触摸垫。

系统10可以是手持设备，诸如手机、PDA、平板计算机、游戏控制台等，或者可以是提供用户界面并包括触觉效果系统（包括一个或多个ERM、LRA、静电或其他类型的致动器）的任何其他类型的设备。用户界面可以是触敏表面，或者可以是任何其他类型的用户界面，诸如鼠标、触摸垫、迷你操纵杆、滚轮、跟踪球、游戏垫、或游戏控制器等。在具有多于一个致动器的实施例中，每一个致动器可具有不同的输出能力从而创建在该设备上的各种触觉效果。每一个致动器可以是任何类型的触觉致动器或者致动器的单维或多维阵列。

图2是根据一个实施例的致动器18的LRA实现的剖面侧视图。LRA 18包括壳体25、磁铁/质量27、线性弹簧26、和电线圈28。磁铁27，通过弹簧26安装至壳体25。线圈28被直接安装在壳体25底部，在磁铁27下方。LRA18一般是已知的LRA。在操作中，当电流流过线圈28时，围绕线圈28形成磁场，与磁铁27的磁场交互，推或拉磁铁27。一个电流方向/极性引起推动作而另一个引起拉动作。弹簧26控制磁铁27的上下运动且当弹簧压缩时具有偏离向上的位置且当弹簧展开时具有偏离向下的位置，且在没有电流施加至线圈28且磁铁27没有移动/振荡时弹簧既不压缩也不偏离的情况下弹簧具有中立或过零位置，这等于弹簧的放松状态。

对于LRA 18，可测得机械品质因数或“Q因数”。一般而言，机械Q因数是无量纲参数，是将振荡物理系统的幅值衰减的时间常数与其振荡周期进行比较。机械Q因数明显地受到安装变化的影响。机械Q因数代表了在质量和弹簧之间流动的能量与每一个振荡循环上的能量损失之间的比值。较低的Q因数意味着在每一次循环中损失了存储于质量和弹簧中的能量的较大部分。一般而言，由于手的组织所吸收的能力，被紧紧地持握在手中的系统10，具有最小的Q因数。当系统10被压向手和将所有的振动能反射回LRA 18的重表面（heavysurface）时，一般出现最大的Q因数。

直接与机械Q因数成比例，谐振时在磁铁/质量27和弹簧26之间发生的力一般是线圈28必须产生来维持该振动的10-100倍。因此，LRA 18的谐振频率主要由磁铁27的质量和弹簧26的顺应性所定义。然而，当LRA被安装至浮动设备（即，柔性地持握在手中的系统10）时，LRA谐振频率显著上移。进一步，由于影响系统10中的LRA 18的视在安装重量（apparent mountingweight）的外部因素（诸如手机翻动打开/关闭或电话被紧握），可发生显著的频率变化。

图3是根据本发明的一个实施例的致动器18的ERM实现的剖视透视图。ERM 18包括具有围绕旋转轴305选择的偏心重量303的旋转质量301。在操作中，响应于施加至电机的电压的量和极性，可将任何类型的电机耦合至ERM 18来引起围绕旋转轴305的一个或两个方向的转动。了解的是，在相同转动方向的电压的应用将具有加速度效果且使得ERM 18增加其转动速度，且在相反转动方向的电压的应用将具有制动效果且使得ERM 18减少甚至反转其转动速度。

本发明的一个实施例通过确定和修改ERM 18的角速度提供触觉反馈。角速度是旋转率的标量测量，且代表了矢量角速度的大小。角速度或频率ω，单位为弧度每秒，相关于单位为周期每秒（也称为Hz）的频率v，乘以因子2π。驱动信号包括其中至少一个驱动脉冲应用于ERM 18的驱动周期、和其中旋转质量31的反电磁场（“EMF”）被接收并被用于确定ERM 18的角速度的监测周期。在另一个实施例中，驱动周期和监测周期是并发的，且本发明在驱动和监测周期内均动态地确定ERM 18的角速度。

图4A-4C是根据本发明的一个实施例的触觉致动器18的压电实现的各视图。图4A示出盘式压电致动器，包括电极401、压电陶瓷盘403、和金属盘405。如图4B中所示，当电压应用至电极401时，压电致动器响应地弯曲，从驰豫状态407到变形的状态409。当应用电压时，是致动器的弯曲创建了振动的基础。可选地，图4C示出束状压电致动器，通过从驰豫状态411到变形的状态413，与盘式压电致动器类似地操作。

图5是根据本发明的一个实施例的使用静电摩擦（ESF）的触觉设备的视图。类似于Makinen等在美国专利No.7,982,588中所描述的操作原理，本发明基于这样的发现：没有对于帕西尼微粒的任何机械刺激或作为与这样的机械刺激分离的附加刺激的情况下，可通过容性电耦合和合适大小的控制电压来刺激皮下帕西尼微粒。可将合适大小的高压用作控制电压。在本文中，高压意味着出于安全和/或用户舒适的理由，必须避免直接电流接触的这样的电压。这导致帕西尼微粒和引起刺激的装置直接的容性耦合，其中通过连接至该刺激装置的电流隔离的至少一个电极形成该容性耦合的一侧，且紧紧地邻近于该电极的容性耦合的另一侧，是通过刺激目标（诸如该装置的用户）的身体部位，优选地是手指，且更特定地是皮下帕西尼微粒，来形成。

本发明可能基于装置的有源表面和接近或触摸该表面的身体部位（诸如手指）之间的电场的受控信息。电场倾向于引起接近的手指上的相反电荷。可在电荷之间按形成局部电场和容性耦合。电场引导在手指组织上的电荷的力。通过合适地改变该电场，产生能移动该组织的力，藉此感觉受体将这样的运动感测为振动。

如图5中所示，一个或多个导电电极501被设置有绝缘体。当诸如手指505之类的身体部位接近导电电极501时，该绝缘体防止电流从导电电极流入身体部位505。在导电电极501和身体部位505之间形成位于该绝缘体之上的容性耦合场力503。该装置还包括高压源，用于向一个或多个导电电极应用电输入，其中电输入包括频率范围在10Hz到1000Hz之间的低频分量。该容性耦合和电输入的大小确定为产生电感应的感觉，这独立于该一个或多个导电电极或绝缘体的任何机械振动而产生。

图6是用超声触觉换能器引起声辐射压的触觉设备，该超声触觉换能器类似于Iwamoto等人在“Non-contact Method for Producing Tactile Sensation UsingAirborne Ultrasound”,Eurohaptics 2008,LNCS 5024,504-513页中描述的。气载超声波换能器阵列601被设计为在三维（3D）自由空间中提供触知反馈。该阵列辐射气载超声波，并在不使用手套或机械附件的情况下，在用户的手上产生高保真度的压力场。该方法是基于超声波的非线性现象；声辐射压。当对象打断超声波的传播时，压力场被施加在对象的表面上。这个压力被称为声辐射压。声辐射压P[Pa]被类似地描述为P=αE，其中E是超声波的能量密度且α是取决于对象表面的反射性质从1变化到2的常数。该式描述了声辐射压如何成比例于超声波的能量密度。通过使用波场合成技术可控制超声波的能量密度的空间分布。使用超声波换能器阵列，可在3D自由空间中产生压力场的各种形式。与空气喷射不同，空间和时间分辨率非常细密。空间分辨率可堪比超声波的波长。频率特性非常良好，高达1kHz。

在没有刺穿风险的情况下，可将气载超声波直接应用在皮肤上。当气载超声波应用在皮肤表面上时，由于空气的特性声学阻抗和皮肤的阻抗之间的较大差异，约99.9%的入射声学能量在皮肤表面被反射。因此，这个触知反馈系统不要求用户穿戴任何笨重的手套或机械附件。

图7示出三维（3D）视图，说明了根据本发明的一个实施例的使用触觉衬底和柔性表面的触觉设备701。设备701包括柔性表面层703、触觉衬底705、和变形机制711。应该注意的是设备701可以是用户界面设备，诸如手机、个人数字助理（“PDA”）、自动数据输入系统等的界面。还应该注意的是，如果一个或更多框架（电路或层）被加到设备701上或从设备701上移除，本发明的示例性实施例的底层概念没有改变。

在一个实例中，柔性表面层703，由诸如硅烷橡胶（也被称为聚硅氧烷）之类柔软的和/或弹性材料制成。柔性表面层703的功能在于一旦接触到触觉衬底705的物理图案就改变其表面形状或纹理。因为局部特征110-124中的一个或多个一旦接触时可被提升或下降来呈现特征影响柔性表面层703的表面，触觉衬底705的物理图案是可变的。一旦确定了触觉衬底705的物理图案，柔性表面层703的纹理可变化来使其表面纹理适应触觉衬底705的物理图案。应该注意的是，通过变形机制711，可控制柔性表面层703从一个纹理到另一个纹理的变形。例如，当变形机制711没有被激活时，柔性表面层703维持其浮或放置在触觉衬底705上的平滑配置。然而，当变形机制711被激活且触觉衬底705与柔性表面层703相接触时，柔性表面层703的表面配置从平滑配置变形或变化至粗糙的配置，从而在柔性表面层703的顶部表面上产生类似的图案。

可选地，柔性表面层703是柔性触敏表面，能接收用户输入。该柔性触敏表面可被分为多个区，其中当该柔性触敏表面的每一区被手指触摸或压下时，该区可接收输入。在一个实施例中，该柔性触敏表面包括传感器，能检测邻近的手指并唤醒或打开设备。柔性表面层730还可包括柔性显示器，该显示器能与柔性表面层703仪器变形。应该注意的是可使用各种柔性显示技术来制造柔性显示器，诸如有机发光二极管（OLED）、有机、或聚合物TFT（薄膜晶体管）。

触觉衬底705是能响应于一个或多个图案激活信号改变其表面图案的表面可重新配置的触觉设备。触觉衬底705还可被称为触觉机制、触觉层、触知元件等。触觉衬底705，在一个实施例中，包括多个触知或触觉区707、709，其中每一区可被独立地控制并激活。由于每一个触知区可被独立地激活，可响应于图案激活信号来设置触觉衬底705的独特的表面图案。在另一个实施例中，每个触知区进一步被分为多个触觉小块（bit），每一个触觉小块可被独立地激励或激活或去激活。

触觉衬底705，或触觉机制，在一个实施例中，可用于响应于激活命令或信号来提供触觉反馈。触觉衬底705提供多个触知或触觉反馈，其中一个触知反馈被用于表面变形，而另一个触知反馈被用于输入确认。输入确认是提醒用户有关所选择的输入的触觉反馈。触觉机制705，例如，可由如下各种技术来实现，包括：振动、垂直位移、横向位移、推/拉技术、空气/流体团（pocket）、材料的局部变形、谐振机制元件、压电材料、微机电系统（“MEME”）元件、热流体团、MEME泵、可变多孔薄膜、层流调节，等。

触觉衬底705，在一个实施例中，通过半柔性或半刚性材料构建。在一个实施例中，触觉衬底应该比柔性表面703更为刚性，藉此柔性表面703的表面纹理可适应(confirm to)触觉衬底705的表面图案。触觉衬底705，例如，包括一个或多个制动器，可由电活化聚合物（“EAP”）的纤维（或纳米管）、压电元件、形状记忆合金（“SMA”）的纤维等构建而成。EAP，也被称为生理肌肉或人工肌肉，能响应于电压的应用来改变其形状。当EAP经受较大的力时，其物理性状可变形。EAP可由电致伸缩聚合物、介电弹性体、导电聚合物、离子聚合物金属合成物、响应胶（Responsive Gel）、Bucky胶致动器，或上述EAP材料的组合构建而成。

SMA（形状记忆合金），也被称为记忆金属，是可被用于构建触觉衬底705的另一类型的材料。SMA可由铜-锌-铝、铜-铝-镍、镍-钛合金，或铜-锌-铝、铜-铝-镍、镍-钛合金的组合。SMA的特性在于当其原始形状变形时，根据环境温度和/或周围温度，它恢复到其原始形状。应该注意的是本发明可组合EAP、压电元件、和/或SMA来实现特定的触觉感觉。

变形机制711向触觉衬底705中的变换元件提供拉和/或推力，来引起柔性表面703变形。例如，当变形机制711在柔性表面703和触觉衬底705之间创建真空时，柔性表面703被推向触觉衬底705，使得柔性表面703表现出与触觉衬底705的表面图案一致的柔性表面703的纹理。换言之，一旦产生了触觉衬底705的表面图案，柔性表面被拉或推向触觉衬底705来通过柔性表面703的变形的表面展现出触觉衬底705的图案。在一个实施例中，触觉衬底705和变形机制711被构建在同一层或基本同一层中。

一旦接收到第一激活信号，触觉衬底705生成第一表面图案。在触觉衬底705的表面图案形成后，变形机制711随后被激活来响应于触觉表面705的表面图案来改变柔性表面703的表面纹理。可选地，如果触觉衬底705接收第二激活信号，其生成第二图案。

触觉衬底705进一步包括多个触知区，其中每个区可被独立地激活来形成衬底的表面图案。触觉衬底705还能生成确认反馈来确认用户输入的输入选择。变形机制711被配置为将柔性表面703的表面纹理从第一表面特性变形为第二表面特性。应该注意的是，触觉设备进一步包括传感器，当该传感器检测到在柔性表面703上的触摸时，能激活该设备。变形机制711可以是真空生成器，能使得柔性表面703塌缩向第一表面图案来使其表面配置根据触觉表面705的第一图案的配置来使得柔性表面的表面配置变形。

触觉衬底705示出了触知区707和709被激活时的状态。触知区707和709在z-轴方向被提升。一旦接收到一个或多个激活信号，触觉衬底705根据激活信号标识表面图案。通过激活诸如区707和709之类的各触知区，触觉衬底705提供所标识的图案，来生成图案。应该注意的是，触知区707和709模仿两个按钮或键。在另一个实施例中，触知区707或709包括多个触觉小块，其中每一个小块可被控制用于激活或去激活。

图8是使用超声表面摩擦（USF）的触觉设备，类似于Biet等人在,2006年6月14-16,不来梅,德国的，ACTUATOR 2006,10^th International Conferenceon New Actuators上的文章“New Tactile Devices Using Piezoelectric Actuators”。超声振动显示器801以数微米的数量级产生超声振动。显示器801包括在超声波范围振动的触摸界面表面803。当手指809接触并向表面803应用力807F_t时，振动805以速度v_t沿触摸表面803行进。振动805在表面803上创建视在的摩擦减少。一个解释是，通过上下移动，触摸表面803在表面803和交互手指809之间创建了空气间隙813，且空隙间隙813引起了摩擦的减少。这可被认为是沿表面803的拉姆波815，在时间上的某些瞬间（当手指与波805的顶部或顶峰相接触时）与手指809相接触，且在手指809在波805的波谷之上时不与手指809接触。当手指809以速度v_f沿横向811移动时，由于表面803与手指809的接触和不接触，表面803的视在摩擦被减少。当表面803未被激活时，手指809一直与表面803相接触，且摩擦的静态或运动系数保持不变。

由于振动805以一般大于20KHz的超声波范围内在表面803上发生，波长内容一般小于手指大小，因此允许一致的体验。要注意的是，表面803的正常位移是在小于5微米数量级上，且更小的位移引起更低的摩擦减少。

图9A-9C是根据本发明的一个实施例的用户初始化的动态触觉效果的屏幕视图。动态效果涉及根据交互参数，实时改变由启用触觉的设备提供的触觉效果。使用来自在诸如移动电话或平板式计算机上的二维屏幕上显示器、或诸如视频运动捕捉系统或用户穿戴的电子手套之类的三维姿势检测系统、或任何其他2D或3D姿势输入装置，的姿势的诸如位置、方向、和速度之类的信息，从任何二维或三维姿势中导出交互参数。图9A示出具有触敏显示器的移动设备的屏幕视图，显示了一组照片中的一个照片。图9B使用单个食指从触敏显示器上从右向左滑刷而过从而显示下一个照明的用户姿势的屏幕视图。从这个单个姿势接收了来自食指的多个输入。这多个输入中的每一个可在不同时间发生，且可指示该食指与触敏显示器的接触点的不同的两个二维位置。

图9C示出结合动态触觉效果所显示的下一个照片的屏幕视图。基于来自图9B中的一个或多个用户姿势的一个或多个输入，在用户姿势过程中提供了动态触觉效果且如交互参数所确定地那样不断被修改。该动态触觉效果可以是，根据用户姿势本身的诸如速度、方向、压力、大小、或持续时间之类的因素、或基于诸如图像已经被查看的次数之类的虚拟对象的变化的性质，实时地来加速或减速、增加或减少亮度、或改变其形状或持续时间、或以任何其他方式改变。动态触觉效果可进一步持续，且即使在用户姿势停止后，可进一步由交互参数修改。例如，在一个实施例中，可在用户姿势结束时立刻停止该动态触觉效果，或者在另一个实施例中，根据交互参数，在用户姿势结束后，该动态触觉效果可任选地慢慢淡去。在用户姿势过程中甚至在用户姿势后实时地提供或修改动态触觉效果的效应在于没有两个姿势，诸如翻页或手指滑刷之类的姿势，对于用户而言感觉相同。即，动态触觉效果对于用户姿势而言一直是独特的，藉此相比通过触发事件提供的简单的静态触觉效果而言，创建了与设备的更强的感觉连通性且对于用于创建了更引人注目的用户界面体验。

还可从诸如整个设备加速、陀螺信息或环境信息之类的设备传感器数据中导出交互参数。设备传感器信号可以是设备启用的任何类型的传感器输入，诸如来自加速度计或陀螺仪、温度计或高度计，或任何类型的生物监测仪，诸如皮肤或身体温度、血压（BP）、心率监测仪（HRM）、脑电图描记（EEG）、或皮肤电反应（GSR）、或从远程耦合的设备接收的信息或信号、或者任何其他类型的信号或传感器，包括但不限于，下述表格1中所列出的示例。

表1—传感器列表

为了物理交互设计的目的，传感器是将能量形式转换为电信号、或代表虚拟传感器信息的任何信号的换能器。

加速度

·加速度计

生物信号

·心电图

·脑电图描记（EEG）

·肌电描记（EMG）

·眼动电图描记（EOG）

·电疗描记（EPG）

·皮肤电反应（GSR）

距离

·电容性

·霍尔效应

·红外

·超声波

流

·超声波

力/压力/应力/弯曲

·空气压力

·光纤传感器

·弯曲

·力敏电阻器（FSR）

·负载单元

·LuSense CPS²155

·微型压力换能器

·压电陶瓷&膜

·应变计

湿度

·湿度计

线性位置

·霍尔效应

·线性位置（触摸）

·线性电势计（滑块）

·线性可变微分变压器（LVDT）

·LuSense CPS²155

取向/倾斜

·加速度计

·指南针（磁阻）

·倾角计

射频

·射频识别（RFID）

旋转位置

·旋转编码器

·旋转电势计

旋转速度

·陀螺仪

开关

·打开-关闭开关

温度

·温度

振动

·压电陶瓷&膜

可见光强度

·光纤传感器

·依赖于光的电阻器（LDR）

基于与用户环境或活动有关的任意数量的因素，可使用主动（active）或环境设备传感器数据来修改触觉反馈。例如，加速度计设备传感器信号可指示，用户正在参与诸如散步或跑步之类的体育活动，所以触觉反馈的图案和持续时间应该被修改为更能吸引用户注意。在另一个示例中，话筒传感器信号可指示用户正处于嘈杂环境中，从而应该增加触觉反馈的幅值或强度。传感器数据还可包括虚拟传感器数据，由从诸如静止图像、视频、或声音之类的处理数据中被创建的信息或信号所代表。例如，具有虚拟赛车的视频游戏可基于赛车速度、车与摄像头查看角有多接近、车的大小等来动态地改变触觉效果。

交互参数可任选地结合与真实世界物理效果（诸如重力、加速度、摩擦、或惯性）相关的数学模型。例如，用户与诸如虚拟滚球之类的对象之间的运动与交互可显示在虚拟环境中，遵循与等效滚球将在非虚拟环境中所遵循的物理定律相同。

交互参数可任选地结合动画指数（animation index）来将设备的触觉输出与动画或视觉或音频脚本相关联。例如，响应于用户或系统发起的动作（诸如打开或改变虚拟窗口的大小、翻页或滚过数据条目列表），可播放动画或脚本。

两个或更多个姿势信号、设备传感器信号、或物理模型输入，可被单独使用或彼此组合使用，来创建具有差异矢量的交互参数。通过将标量或矢量输入彼此比较、确定各输入之间存在的变化或差异、且然后产生结合了位置、方向、和大小的差异矢量，从而从两个或更多个标量或矢量输入中创建差异矢量。可单独使用姿势信号来创建姿势差异矢量，或可单独使用设备传感器信号来创建设备信号差异矢量。

图10A-10F是根据本发明的一个实施例，将触觉效果编码为数据文件的屏幕视图。为了辅助两个或更多个用户之间的动态触觉反馈，不必要具有触觉效果的低时延或伪同步通信。而是，本发明的一个实施例，通过将触觉效果数据编码到共享的数据文件夹中，来启用非实时发生的远程触觉交互。这样的非实时交互的示例是编码从数字绘画表面获取的触觉效果。图10示出在具有数字绘画表面和触觉致动器的手持或移动设备上运行的虚拟“霜”应用的默认屏幕视图。图10B示出响应于诸如向手持设备的话筒吹气之类的用户姿势或设备传感器信号，从默认屏幕视图创建的“结霜”屏幕的屏幕视图。一旦屏幕结霜，图10C示出根据第一用户提供的姿势在霜中画出的形式化的脸的创建。此结霜的屏幕和形式化的脸被存储在数据文件中，格式为支持图像的光栅或矢量描述，或任选地是诸如有关所存储的姿势或设备传感器信息的信息之类的对于图像的之后的再现所必要的任何其他数据或元数据。

对应于被用于创建该形式化的脸的运动的触觉效果，与数据文件中的其他图像信息，同步地被存储或编码在数据文件中。可以允许触觉效果与图像一起再现的任何方式来存储触觉效果信息。然后，经由任何文件传输机制或通信链路，将该数据文件通信至具有触觉致动器的第二设备。图10D示出第二设备从第二设备上的数据文件中读取所存储的姿势或设备传感器信号并显示默认的结霜的屏幕视图。图10E示出后来如何在第二设备上显示该形式化的脸。根据存储于文件中的姿势或设备传感器信号，驱动信号还被应用于第二设备上的触觉致动器。

通过提供附加的姿势或设备传感器信号来在图画上添加虚拟消息“Hi”，伴随着将从该虚拟消息中生成任何响应触觉效果并被存储与数据文件中，第二用户可任选地与第一用户协力来创建组合的数据文件。图10F示出组合了来自第一和第二用户以及相应的触觉效果数据的姿势和设备传感器信号的最终协力完成的屏幕视图。由这两个用户生成的姿势、设备传感器信号和触觉效果数据被存储或编码在数据文件中作为组合的协力完成的文档中，该文档随后可在用户之间通信或被通信给其他用户用于进一步输入、修改、或协作。尽管上述示例描述了数字绘画表面，可了解的是可将很多其他类型的姿势和设备传感器数据与触觉效果信号以没有限制的虚拟的任何格式来存储或编码在任何类型的数据文件中。

图11是根据本发明的一个实施例的用户初始化的动态触觉效果的屏幕视图。图示出用于显示或选择照片的幻灯胶片（filmstrip）应用在具有触敏表面和触觉致动器的手持式或移动设备的底部运行。通过使用姿势或设备传感器数据，用户可将该幻灯胶片从左到右或从右到左滚动，且然后该幻灯胶片应用可动态地，基于姿势或设备传感器数据，为第一张照片1101提供与第二张照片1103的触觉效果不一样的触觉效果。一旦用户通过姿势初始化了照片的选择，该系统可提供动画来与相应的触觉动画组件一起可视地示出运动中的幻灯胶片。在幻灯胶片动画过程中接收到的之后的用户姿势或设备传感器信息可引起触觉效果随着动画中任何相关联的改变一起改变。例如，如果幻灯胶片动画移动太慢或太快，用户可用姿势实时加速或减速，且响应的触觉效果组件也将与动画一起实时地动态地改变。

图12A-12E是根据本发明的一个实施例，将触觉效果并发地应用于多个设备的屏幕视图。图12A示出第一用户1201的能启用触觉的手持或移动设备的屏幕视图，还有也具有能启用触觉的手持或移动设备的第二用户1203的可视缩略图。第一和第二设备可经由任何类型的通信链路实时连接，通信链路包括但不限于电子、蜂窝、无线、wi-fi、光学、红外、声学、蓝牙、USB、火线、Thunderbolt、或以太网。

图12B示出第一用户选择应用来在两个用户之间共享照片。一旦选择了应用，图12C示出相册中的第一张照片，且图12D示出第一用户通过将照片从右滚动到左，来应用滚动姿势，选择相册中的第二张照片。在滚动姿势过程中，提供给第一用户相应的触觉效果。由于第一和第二设备经由通信链路实时地连接，图12E示出第二用户的屏幕显示，其可视地示出了正在同时显示给第一用户的同一张照片。由于两个设备之间的实时连接，第二用户能与第一用户同时看到相同的照片。对于每一个姿势和照片，第二用户还实时地经历了类似于提供给第一用户的触觉效果。在一个实施例中，第二用户生成的用户姿势和触觉效果，经由通信链路，可任选地同时通信至第一用户，创建第一和第二设备之间的实时的双向触觉链路。例如，第一用户可滚动至第二张照片，第二用户然后可滚动至第三张照片，以此类推。可了解的是，不加限制，可在两个或更多个设备之间实时地通信很多其他类型的用户姿势、设备传感器数据、和触觉效果。

图13是根据本发明的一个实施例的用姿势信号和设备传感器信号产生动态触觉效果的流程图。在一个实施例中，图13的流程图的功能由存储在存储器或其他计算机可读或有形介质中并由处理器执行的软件来实现。在其他实现中，还可通过硬件（如，通过使用应用专用集成电路(“ASIC”)、可编程门阵列(“PGA”)、现场可编程门阵列(“FPGA”)等）、或硬件和软件的任何组合执行该功能。

在1301，该系统在时间T1接收设备传感器信号的输入，且在1303，该系统在时间T2接收姿势信号的输入。时间T1和时间T2可彼此同时或不同时、或以任何顺序发生。可使用多个附加姿势输入或设备传感器输入来给动态触觉效果更多的准确度或在较长时间段上提供该动态触觉效果。可以任何顺序或时间序列，无论是顺序地不重叠的时间段或重叠的或并发的时间段并行地，来接收姿势信号和设备传感器信号。在1305，比较设备传感器信号和触觉效果信号来生成设备传感器差异矢量。在1307，比较姿势信号和触觉效果信号来生成设备姿势差异矢量。在1309，可任选地接收动画或物理模型描述。在1311，使用姿势差异矢量、信号差异矢量、和任选的动画或物理模型描述，来生成交互参数。可理解的是可使用任何类型的输入合成方法来从一个或多个姿势信号或设备传感器信号来生成交互参数，合成方法包括但不限于下述表2中列出的合成方法的示例。在1313，根据交互参数，驱动信号被应用于触觉致动器。

表2—合成方法

·加法合成—组合一般具有不同的幅值的输入

·减法合成—过滤复杂信号或多个信号输入

·频率调制合成—用一个或多个运算符调制载波信号

·采样—使用所记录的输入作为经受修改的输入源

·复合合成—使用人工的和所采样的输入来建立结果“新”的输入

·相位失真—在播放过程中改变存储于波表中的波形的速度

·波定形（Waveshaping）—对信号的故意扭曲来产生经修改的结果

·再合成—在播放前对于数字地采样的输入的修改

·粒度合成—将数个较小的输入片段组合为新的输入

·线性预测编码—类似于用于语音合成的技术

·直接数字合成—所产生的波形的计算机修改

·波定序-数个小片段的线性组合来创建新的输入

·矢量合成-用于在任何数量的不同输入源之间淡入（fading）的技术

·物理建模-虚拟运动的物理特性的数学方程

图14是根据本发明的一个实施例，将触觉效果并发地应用于多个设备的流程图。在1401，该系统在具有第一触觉致动器的第一设备和具有第二触觉致动器的第二设备之间启用单向或双向通信链路。在1403，系统从第一设备接收第一姿势信号或设备传感器信号的输入并经由通信链路将其通信至第二设备。在1405，系统任选地从第二设备接收第二姿势信号或设备传感器信号的输入并经由通信链路将其通信至第一设备。在1407，使用第一姿势或设备传感器信号和任选的第二姿势或设备传感器信号生成交互参数。在1409，根据该交互参数，将驱动信号同时应用于第一设备上的触觉致动器和第二设备上的第二触觉致动器。在一个实施例中，独立地在每一个设备上生成交互参数。在另一个实施例中，一旦在一个设备上生成交互参数，然后经由通信链路通信至另一个设备。

图15是根据本发明的一个实施例，使用数据文件用于编码和应用触觉效果的流程图。在1501，系统从第一设备接收姿势信号或设备传感器信号的输入。在1503，该姿势或传感器信号被存储或编码在第一设备上的数据文件中在1505，经由任何文件传输机制或通信链路，将该数据文件通信至具有触觉致动器的第二设备。在1507，第二设备从第二设备上的数据文件中读取所存储的姿势或设备传感器信号。在1509，根据该姿势或设备传感器信号，驱动信号应用于第二设备上的触觉致动器。

此处说明/描述了若干个实施例。然而，应该了解的是，所公开的实施例的修改和改变由上述教示所覆盖，且落在所附权利要求的范围内，不背离本发明的精神和所意在的范围。

Claims (20)

1.一种用于产生动态触觉效果的方法，包括：

在时间T1接收设备传感器信号；

在时间T2接收姿势信号；

通过比较所述设备传感器信号和触觉效果信号来生成设备传感器差异矢量；

通过比较所述姿势信号和所述触觉效果信号来生成姿势差异矢量；

使用所述生成的设备传感器差异矢量和姿势差异矢量根据映射方案产生动态交互参数；和

根据所述动态交互参数，应用驱动信号至触觉输出设备。

2.如权利要求1所述的方法，其特征在于，所述设备传感器信号或所述姿势信号包括矢量信号。

3.如权利要求1所述的方法，其特征在于，所述设备传感器信号或所述姿势信号包括屏幕上信号。

4.如权利要求1所述的方法，其特征在于，生成动态交互参数包括从所述设备传感器信号和所述姿势信号的组合中生成动态交互参数。

5.如权利要求1所述的方法，其特征在于，生成动态交互参数包括使用所述设备传感器差异矢量和所述姿势差异矢量以及物理模型生成动态交互参数。

6.如权利要求1所述的方法，其特征在于，生成动态交互参数包括使用所述设备传感器差异矢量和所述姿势差异矢量以及动画生成动态交互参数。

7.如权利要求1所述的方法，其特征在于，所述设备传感器信号或所述姿势信号包括设备加速度计信号。

8.如权利要求1所述的方法，其特征在于，所述设备传感器信号或所述姿势信号包括设备陀螺仪信号。

9.如权利要求1所述的方法，其特征在于，所述设备传感器信号或所述姿势信号包括设备环境信号。

10.如权利要求1所述的方法，其特征在于，所述设备传感器信号或所述姿势信号包括设备虚拟传感器信号。

11.一种能启用触觉效果的系统，包括：

触觉输出设备；

驱动模块，电耦合至所述触觉输出设备，用于在时间T1接收设备传感器信号、在时间T2接收姿势信号、通过比较所述设备传感器信号和触觉效果信号来生成设备传感器差异矢量；通过比较所述姿势信号和所述触觉效果信号来生成姿势差异矢量；并使用所述生成的设备传感器差异矢量和姿势差异矢量根据映射方案生成动态交互参数；和

驱动电路，电耦合至所述驱动模块和所述触觉输出设备，用于根据所述生成的动态交互参数应用驱动信号至所述触觉输出设备。

12.如权利要求11所述的系统，其特征在于，所述设备传感器信号或所述姿势信号包括矢量信号。

13.如权利要求11所述的系统，其特征在于，所述设备传感器信号或所述姿势信号包括屏幕上信号。

14.如权利要求11所述的系统，其特征在于，所述驱动模块包括用于从所述设备传感器信号和所述姿势信号的组合中生成动态交互参数的驱动模块。

15.如权利要求11所述的系统，其特征在于，所述驱动模块包括使用所述设备传感器差异矢量和所述姿势差异矢量以及物理模型生成动态交互参数的驱动模块。

16.如权利要求11所述的系统，其特征在于，所述驱动模块包括使用所述设备传感器差异矢量和所述姿势差异矢量以及动画生成动态交互参数的驱动模块。

17.如权利要求11所述的系统，其特征在于，所述设备传感器信号或所述姿势信号包括设备加速度计信号。

18.如权利要求11所述的系统，其特征在于，所述设备传感器信号或所述姿势信号包括设备陀螺仪信号。

19.如权利要求11所述的系统，其特征在于，所述设备传感器信号或所述姿势信号包括设备环境信号。

20.如权利要求11所述的系统，其特征在于，所述设备传感器信号或所述姿势信号包括设备虚拟传感器信号。