CN105739674A - 高带宽触觉效果的音频增强仿真 - Google Patents

高带宽触觉效果的音频增强仿真 Download PDF

Info

Publication number
CN105739674A
CN105739674A CN201510751549.9A CN201510751549A CN105739674A CN 105739674 A CN105739674 A CN 105739674A CN 201510751549 A CN201510751549 A CN 201510751549A CN 105739674 A CN105739674 A CN 105739674A
Authority
CN
China
Prior art keywords
haptic effect
signal
effect signal
audio frequency
actuator
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201510751549.9A
Other languages
English (en)
Inventor
C·J·乌尔里奇
W·S·莱茵
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Immersion Corp
Original Assignee
Immersion Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Immersion Corp filed Critical Immersion Corp
Publication of CN105739674A publication Critical patent/CN105739674A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/016—Input arrangements with force or tactile feedback as computer generated output to the user
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G06F3/167—Audio in a user interface, e.g. using voice commands for navigating, audio feedback
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B6/00—Tactile signalling systems, e.g. personal calling systems
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/25—Output arrangements for video game devices
    • A63F13/28—Output arrangements for video game devices responding to control signals received from the game device for affecting ambient conditions, e.g. for vibrating players' seats, activating scent dispensers or affecting temperature or light
    • A63F13/285—Generating tactile feedback signals via the game input device, e.g. force feedback
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/50—Controlling the output signals based on the game progress
    • A63F13/54—Controlling the output signals based on the game progress involving acoustic signals, e.g. for simulating revolutions per minute [RPM] dependent engine sounds in a driving game or reverberation against a virtual wall
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/01—Indexing scheme relating to G06F3/01
    • G06F2203/013—Force feedback applied to a game
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/01—Indexing scheme relating to G06F3/01
    • G06F2203/014—Force feedback applied to GUI
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • General Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • User Interface Of Digital Computer (AREA)
  • Details Of Audible-Bandwidth Transducers (AREA)
  • Acoustics & Sound (AREA)
  • Signal Processing (AREA)
  • Circuit For Audible Band Transducer (AREA)

Abstract

公开了高带宽触觉效果的音频增强仿真，并具体公开了使用至少一个致动器和至少一个扬声器生成触觉效果的系统。该系统接收高分辨率(“HD”)触觉效果信号以及如果要播放音频的话还接收相应的音频信号。该系统至少基于HD触觉效果信号生成标准分辨率(“SD”)触觉效果信号，以及至少基于HD触觉效果信号生成基于音频的触觉效果信号。该系统混合该音频信号和该基于音频的触觉效果信号，并然后基本上同时地在致动器上播放SD触觉效果信号和在扬声器上播放混合后的信号。

Description

高带宽触觉效果的音频增强仿真
技术领域
一个实施例一般地涉及触觉效果，并具体涉及高分辨率/带宽触觉效果。
背景技术
电子设备制造商力求为用户产生丰富的接口。传统的设备使用视觉的和听觉的线索来向用户提供反馈。在一些接口设备中，动觉反馈(诸如有源反馈和阻力反馈)和/或触知反馈(诸如振动、纹理和热)也被提供给用户，它们更一般地统称为“触觉反馈”或“触觉效果”。触觉反馈可以提供增强并简化用户接口的线索。具体地，振动效果或振动触知触觉效果可以用于向电子设备的用户提供线索，以使用户对特定的事件警觉，或者提供逼真的反馈以在仿真的或虚拟的环境中创建更好的感官沉浸感。
为了生成振动效果，许多设备利用一些类型的致动器或触觉输出设备。用于这种目的的已知的触觉输出设备包括诸如偏心旋转块(“ERM”)、线性谐振致动器(“LRA”)的电磁致动器或诸如压电、电活性聚合物或形状记忆合金的“智能材料”，其中在偏心旋转块中，偏心块被马达移动，在线性谐振致动器中附接到弹簧的块被来回驱动。触觉输出设备还广泛地包括非机械或非振动设备，比如使用静电摩擦(“ESF”)、超声表面摩擦(“USF”)的设备，或者用超声触觉换能器诱导声学辐射压力的设备，或者使用触觉基板和柔性或可变形的表面的设备，或者提供诸如利用空气喷嘴吹空气的投射的触觉输出的设备等等。
随着近来诸如智能电话和平板的高分辨率移动设备的发展，用户现在能够在手持设备上观看过去只能在电影院、电视机或家庭影院系统中看到的高分辨率音频和视频。利用启用触觉的移动设备，体验已经显示出内容观看被大大增强了，并且观看者喜欢在音频和视频内容分量之外还有触觉内容分量。但是，为了与高分辨率音频/视频兼容，也应当生成相应的高分辨率或高带宽触觉效果。
发明内容
一个实施例是利用至少一个致动器和至少一个扬声器生成触觉效果的系统。该系统接收高分辨率(“HD”)触觉效果信号，以及如果要播放音频的话还接收相应的音频信号。该系统至少基于HD触觉效果信号生成标准分辨率(“SD”)触觉效果信号，并且至少基于HD触觉效果信号生成基于音频的触觉效果信号。该系统将音频信号和基于音频的触觉效果信号混合，并然后基本上同时地在致动器上播放SD触觉效果信号和在扬声器上播放混合后的信号。
附图说明
图1是根据本发明的一个实施例的启用触觉的系统/设备的框图。
图2是根据本发明的一个实施例的图1的系统的功能的流程图。
图3根据一个实施例示出用于确定诸如图1的系统的目标设备的系统标识或工厂模型的过程。
图4a和4b是根据本发明的实施例的图1的系统的功能的流程图。
具体实施方式
一个实施例在包括共同定位的致动器和扬声器的设备上生成高带宽/分辨率(“HD”)触觉效果，即便在该致动器是“标准分辨率”致动器时也如此。音频分量被确定为，基于设备的工厂模型，通过振动设备的外壳来使得扬声器生成振动触觉效果，该振动触觉效果增强由致动器生成的触觉效果。由致动器和由扬声器生成的触觉效果的组合使得累积的触觉效果成为高带宽的触觉效果。因此，利用标准分辨率致动器的快速响应和强度连同音频扬声器来为用户生成类似HD的体验。
图1是根据本发明的一个实施例的启用触觉的系统/设备10的框图。系统10包括触觉敏感表面11或安装在壳体15内的其它类型的用户接口，并且可以包括机械按键/按钮13。
在系统10内部的是触觉反馈系统，该系统在系统10上生成触觉效果，并包括处理器或控制器12。耦合到处理器12的是存储器20和耦合到致动器18的致动器驱动电路16。处理器12可以是任何类型的通用处理器，或者可以是专门设计成提供触觉效果的处理器，比如专用集成电路(“ASIC”)。处理器12可以是操作整个系统10的同一个处理器，或者可以是单独的处理器。处理器12可以判断要播放哪种触觉效果以及基于高级别参数播放这些效果的次序。总体上，限定具体的触觉效果的高级别参数包括幅度、频率和持续时间。诸如流式马达命令的低级别参数也可用于确定具体的触觉效果。如果触觉效果在触觉效果被生成时包括这些参数的一些变化或者基于用户的交互的这些参数的变化，则触觉效果可被看作“动态的”。一个实施例中的触觉反馈系统在系统10上生成振动30、31或其它类型的触觉效果。
处理器12向致动器驱动电路16输出控制信号，该致动器驱动电路16包括用来向致动器18供应所需的电流和电压(即，“马达信号”)以导致产生期望的触觉效果的电子部件和电路。系统10可以包括多于一个致动器18，并且每个致动器可以包括单独的驱动电路16，这些驱动电路都被耦合到共同的处理器12。
系统10还包括至少一个扬声器26和耦合到处理器12的相应的扬声器驱动器25。扬声器26可以是任何类型的音频扬声器、扩音器或电声换能器，它们通过将电的音频信号转换成相应的声音来生成音频输出27。众所周知，与生成音频27同时地，扬声器26将比如通过振动系统10的壳体/外壳在系统10上生成振动28。接触系统10的用户所感受的振动28的程度部分取决于系统10的物理构成或“工厂模型”。
存储器20可以是任何类型的存储设备或计算机可读介质，比如随机存取存储器(“RAM”)或只读存储器(“ROM”)。存储器20存储由处理器12执行的指令。在这些指令当中，存储器20包括音频触觉仿真模块22，该模块是在由处理器12执行时利用扬声器26和致动器18生成高带宽触觉效果的指令，如下面更详细公开的那样。存储器20也可以位于处理器12的内部，或者可以是内部和外部存储器的任何组合。
系统10可以是任何类型的手持/移动设备，比如蜂窝电话、个人数字助理(“PDA”)、智能电话、计算机平板、游戏控制台、远程控制或包括含有一个或多个致动器和一个或多个扬声器的触觉效果系统的任何其他类型的设备。系统10可以是诸如腕带、头带、眼镜、戒指、腿带、集成到服装中的阵列等的可穿戴设备，或用户可以穿戴在身体上或者可以由用户持有并且启用触觉的任何其他类型的设备，包括家具或车辆方向盘。此外，系统10的一些元件或功能可以定位在远程或者可以由与系统10的剩余元件通信的另一设备实现。
致动器18可以是能够生成触觉效果的任何类型的致动器。在一个实施例中，致动器18是生成单一频率的振动触觉效果的“标准分辨率”(“SD”)致动器。SD致动器的示例包括偏心旋转块马达(“ERM”)和线性谐振致动器(“LRA”)。与SD致动器相反，诸如压电致动器或电活性聚合物(“EAP”)致动器的HD致动器或高保真度致动器能够生成多个频率的高带宽/分辨率触觉效果。HD致动器特征在于其产生具有可变振幅并具有对瞬态驱动信号的快速响应的宽带宽触知效果的能力。然而，HD致动器相比于SD致动器具有大的物理尺寸，并且比SD致动器更昂贵。因而多数设备只包括一个或多个SD致动器，而不包括任何HD致动器。因此，本发明的实施例利用这些设备中已有的一个或多个扬声器结合SD致动器来仿真HD触觉效果，并提供类似HD的触觉体验，而不需要HD致动器。
除了致动器18之外或者代替致动器18，系统10可包括其他类型的触觉输出设备(未示出)，这些触觉输出设备可以是非机械或非振动的设备，比如使用静电摩擦(“ESF”)、超声表面摩擦(“USF”)的设备、用超声触觉换能器诱导声学辐射压力的设备、使用触觉基板和柔性或可变形表面或形状变化设备并且可附接到用户的身体的设备、提供诸如使用空气喷嘴吹空气的投射的触觉输出的设备等。
图2是根据本发明的实施例的图1的系统10的功能的流程图。在一个实施例中，图2(以及以下的图4a和4b)的流程图的功能由存储在存储器或其它计算机可读的或有形的介质中的软件实现，并且由处理器执行。在其它实施例中，该功能可以由硬件(例如，通过使用专用集成电路(“ASIC”)、可编程门阵列(“PGA”)、现场可编程门阵列(“FPGA”)等)或硬件和软件的任何组合执行。
在201处，接收HD触觉效果信号。HD信号可以由触觉效果设计者使用诸如来自Immersion公司的“TouchSense”的已知工具或诸如来自AvidTechnology公司的“ProTools”的工业标准音频制作工具创建。相比于SD触觉效果信号，HD触觉效果信号具有宽的触觉带宽(例如1-350Hz)、增大的范围、强度和精度以及高的采样率。在201处的HD信号也可以以任何已知的方式来生成，包括使用自动的音频/视频到触觉效果转换工具，或者使用诸如粒度合成、物理合成等的触觉-音频合成算法。在另一实施例中，HD信号通过使用捕获高分辨率、宽带加速度和/或音频信号的一个或多个传感器来得到。HD信号的形式为“YHD(t)”，其中Y是HD信号随时间“t”的振幅。
在202处，接收音频信号。音频信号和HD信号意在互相补充并且如果视频可用的话则对应于同一视频播放。HD信号结合音频信号被产生。在另一实施例中，不需要音频信号，而仅播放HD信号。
在203处，SD信号从HD信号中被提取。结果产生的信号是“YHD-SD(t)”(即，HD信号减SD信号)和YSD(t)(即，SD信号)，YHD-SD(t)例如通过使用陷波滤波器移除LRA谐振来确定，YSD(t)通过计算信号振幅(即，基于音频的触觉效果信号)来确定。其他类型的SD致动器可能需要其它的SD提取算法，包括线性和非线性滤波两种。
在205处，SD信号被转换成马达信号，并且在206处，马达信号被发送到触觉驱动器，在那里使用诸如LRA致动器的SD致动器将马达信号转换成SD振动触觉效果。
在204处，滤波后的信号的HD部分减SD部分被转换成音频输入，该音频输入将在该音频被扬声器播放时使得扬声器生成触觉效果的HD分量。一般地，滤波器应用“YHD-SD(t)*hI(t)”函数来生成音频信号“Y触觉-音频(t)”。这是滤波后的HD信号YHD-SD(t)与用于由系统10上的音频系统28生成的加速度的逆工厂模型的卷积。滤波器和函数基于诸如系统10(即，包括致动器和扬声器并且在其上将生成触觉效果的设备)的目标设备的确定的工厂模型。然而，也可以使用生成所期望的加速度的生成音频信号的其它方法。例如，可以使用查找表、前向馈送系统模型、神经网络或任何其它系统估计技术。
在208处，可选地使用均衡器，在204处生成的基于音频的触觉效果信号Y触觉-音频(t)和在202处(如果要播放音频信号的话)的相应的输入音频信号被混合，并被送到在207处的音频驱动器，这导致混合后的音频信号被扬声器播放。在204处的滤波器或在207处的音频驱动器可能需要均衡在202处的音频信号与滤波后的输出Y触觉-音频(t)之间重叠的频率，以便同时保留结果产生的声音压力水平和所诱导的加速度。
如结合图2所描述的，在204处的滤波需要将会生成触觉效果的目标设备的工厂模型作为输入。工厂模型是基于目标设备的所测量的或所建模的频率响应特性的输入-输出系统模型。工厂模型也可以指使用系统标识对滤波器/均衡器参数的估计、“声学模型”或“触知扬声器模型”。系统标识域使用统计方法来从所测量的数据中建立动态系统的数学模型。系统标识也包括体验的最优设计，以有效地生成用于适合这些模型以及模型精简的信息数据。
图3示出了根据一个实施例用于确定诸如系统10的目标设备的系统标识或工厂模型的过程。对音频系统捕获脉冲响应，以捕获对于音频脉冲的加速度响应。假设系统10具有线性响应，该脉冲响应301可直接用来创建图2的204处的滤波器，如图3所示。首先，使用Z-变换(302)来变换脉冲响应以创建工厂模型。工厂模型然后被取逆(303)以创建Z-空间函数，该Z-空间函数可代表线性系统动态特性的逆。该函数也被称为“逆转移函数”。最后，逆转移函数被变换回来(304)，以创建代表逆系统动态特性的滤波器。在301代表从音频激励到加速度的变换的同时，304处的滤波器将目标加速度变换成音频(即，它代表相对于加速度的系统的逆)。这是输入-输出模型(即，工厂模型)，其中“hI(t)”是在图2的204处可以使用卷积Y触觉-音频(t)＝YHD-SD(t)*hI(t)被应用到触觉信号的离散时间滤波器。
图4a和4b是根据发明的实施例的图1的系统10的功能的流程图。图4a可以被看作“离线”实施例，而图4b可以被看作“在线”或“实时”实施例。
在402处，作者或内容创建者使用可用的内容创作工具创建新的HD触觉效果。该HD效果可以通过使用音频转换工具或使用直接的合成来创建。音频转换工具的一个示例是来自Immersion公司的“TouchSense”。在另一实施例中，具有低频信号的音频效果可以在402处被创建，其对应于SD触觉效果。在这个实施例中，代替使用TouchSense例如，内容作者可能用诸如ProTools的音频工作流来工作。作者可以直接创建HD低频信号(例如，在“5.1”环绕声中的“.1”信号)。作者可以创建信号，使得.1轨道包括信号的正确混合，以直接地驱动SD致动器，并且可以使用如上所公开的在设备上的扬声器来创建HD效果。
在另一实施例中，内容作者可以在音频工具中直接创建HD音频，并且使用音频工具或TouchSense创建SD效果。在这个实施例中，不需要图2的204处的滤波，因为SD和HD信号已经区分开。
在403处，选择目标设备。对于每个在403处被选中的被存储的目标设备，对应的工厂模型、每个致动器的类型/数量/位置和/或每个扬声器的类型/数量/位置被存储。在一个实施例中，使用内容创作工具或后处理工具中的导出滤波器，用户可以选择效果所要被部署到的特定目标设备(例如，GalaxyS5、GalaxyGear、AppleWatch等)。
在404处，目标设备信号通过使用模型工厂取逆来创建。目标设备信号是Y触觉-音频(t)(即，基于音频的触觉信号)和Y触觉-音频(t)(即，SD触觉信号)，如图2所示。实施例使用目标设备的之前创建的机械和声学模型，并把HD效果分成将使用机械致动器来呈现的分量和将使用扬声器来呈现的分量。如上所述，这可以利用转移函数、迭代/优化和其它基于模型的信号变换在一个实施例中完成。通过使用适当的编码，这两个被生成的触觉信号被保存，比如将音频信号保存为.wav文件，而将触觉信号保存为.hapt文件。
在405处，如果音频要与触觉效果同时播放的话，音频-触觉信号与其它同时发生的音频进行混合。
在406处，使用软件开发包(“SDK”)或其它程序化的方法，音频-触觉信号(即，Y触觉-音频(t))和触觉信号(即，Y触觉-音频(t))可以在运行时在设备上被同时或基本上同时回放。
参考图4b，在402处，如在图4a的402中那样，HD触觉效果被创作。
在413处，HD触觉效果被导出到无损编码(例如，.ivt编码)。
在414处，在回放时，使用被配置用于特定目标设备的工厂模型来实时或基本上实时地创建机械驱动信号和声学驱动信号。这可以利用转移函数、迭代/优化或其他基于实时模型的信号变换来完成。
405和406与图4a中的405和406功能相同。
在另一实施例中，在过程的开头(即，代替图4a中的402)直接创作SD触觉效果和触觉-音频效果。在这个实施例中，图4a的403和404可以被略过，而执行405和406以播放触觉效果。
如所公开的那样，实施例接收SD触觉效果和基于音频的触觉效果。SD触觉效果由致动器播放，该致动器可以是SD致动器。基于音频的触觉效果与相应的音频同时地由扬声器播放。由致动器和扬声器生成的振动触觉效果的组合提供了具有宽的带宽的类似HD的触觉效果，而不需要HD致动器。
一个实施例是一种在包括至少一个致动器和至少一个扬声器的设备上生成触觉效果的方法。该方法包括：接收高分辨率(HD)触觉效果信号，至少基于HD触觉效果信号生成标准分辨率(SD)触觉效果信号，至少基于HD触觉效果信号生成基于音频的触觉效果信号；以及基本上同时地在致动器上播放SD触觉效果信号和在扬声器上播放基于音频的触觉效果。
在一些示例中，该方法还包括：接收音频信号；以及混合该音频信号和该基于音频的触觉效果信号。在该扬声器上播放该基于音频的触觉效果的步骤包括在该扬声器上播放混合后的信号。
在一些示例中，该SD触觉效果信号包含单个频率。
在一些示例中，该基于音频的触觉效果信号包含多个频率。
在一些示例中，该基于音频的触觉效果信号通过确定该设备的工厂模型并且基于该工厂模型变换该基于音频的触觉效果信号来生成。
在一些示例中，该SD触觉效果信号通过从该HD触觉效果信号提取来生成。
在一些示例中，该致动器是线性谐振致动器。
在一些示例中，该HD触觉效果信号使用创作工具来生成。
在一些示例中，确定该设备的工厂模型的步骤包括在该创作工具上选择目标设备，并且生成该基于音频的触觉效果信号的步骤由该创作工具来执行。
在一些示例中，生成该基于音频的触觉效果信号的步骤由该设备来执行。
在一些示例中，该混合的步骤包括均衡该音频信号和该基于音频的触觉效果信号之间的重叠频率。
另一实施例是一种计算机可读介质，具有存储在其上的指令，该指令在由处理器执行时使得该处理器在包括至少一个致动器和至少一个扬声器的设备上生成触觉效果。该生成触觉效果的步骤包括：接收高分辨率(HD)触觉效果信号；至少基于该HD触觉效果信号生成标准分辨率(SD)触觉效果信号；至少基于该HD触觉效果信号生成基于音频的触觉效果信号；以及基本上同时地在该致动器上播放该SD触觉效果信号和在该扬声器上播放基于音频的触觉效果。
在一些示例中，生成触觉效果还包括：接收音频信号；以及混合该音频信号和该基于音频的触觉效果信号。在该扬声器上播放该基于音频的触觉效果的步骤包括在该扬声器上播放混合后的信号。
在一些示例中，该SD触觉效果信号包含单个频率。
在一些示例中，该基于音频的触觉效果信号包含多个频率。
在一些示例中，该基于音频的触觉效果信号通过确定该设备的工厂模型并且基于该工厂模型变换该基于音频的触觉效果信号来生成。
在一些示例中，该SD触觉效果信号通过从该HD触觉效果信号提取来生成。
在一些示例中，该致动器是线性谐振致动器。
在一些示例中，该HD触觉效果信号使用创作工具来生成。
在一些示例中，确定该设备的工厂模型的步骤包括在该创作工具上选择目标设备，并且生成该基于音频的触觉效果信号的步骤由该创作工具来执行。
在一些示例中，生成该基于音频的触觉效果信号的步骤由该设备来执行。
在一些示例中，该混合的步骤包括均衡该音频信号和该基于音频的触觉效果信号之间的重叠频率。
另一实施例是一种启用触觉的设备。该启用触觉的设备包括：至少一个致动器、至少一个扬声器、至少基于接收的高分辨率(HD)触觉效果信号来生成标准分辨率(SD)触觉效果信号的提取器、至少部分基于该HD触觉效果信号来生成基于音频的触觉效果信号的滤波器，以及基本上同时地在该致动器上播放该SD触觉效果信号和在该扬声器上播放基于音频的触觉效果的播放器。
在一些示例中，该设备还包括：混合该音频信号和该基于音频的触觉效果信号的混合器。在该扬声器上播放该基于音频的触觉效果的步骤包括在该扬声器上播放混合后的信号。
在一些示例中，该SD触觉效果信号包含单个频率。
在一些示例中，该基于音频的触觉效果信号包括多个频率。
在一些示例中，该基于音频的触觉效果信号通过确定该设备的工厂模型并且基于该工厂模型变换该基于音频的触觉效果信号来生成。
在一些示例中，该混合器还包括均衡该音频信号和该基于音频的触觉效果信号之间的重叠频率的均衡器。
在一些示例中，其中该致动器是线性谐振致动器或偏心旋转块马达。
详细示出和/或在这里描述了几个实施例。但是，将理解到，所公开的实施例的修改和变型被以上教导覆盖并且在随附权利要求的权限之内，而不脱离本发明的精神和意在的范围。

Claims (12)

1.一种在包括至少一个致动器和至少一个扬声器的设备上生成触觉效果的方法，所述方法包括：
接收高分辨率(HD)触觉效果信号；
至少基于所述HD触觉效果信号生成标准分辨率(SD)触觉效果信号；
至少基于所述HD触觉效果信号生成基于音频的触觉效果信号；以及
基本上同时地在所述致动器上播放所述SD触觉效果信号和在所述扬声器上播放基于音频的触觉效果。
2.根据权利要求1所述的方法，还包括：
接收音频信号；以及
混合所述音频信号和所述基于音频的触觉效果信号；
其中在所述扬声器上播放所述基于音频的触觉效果包括在所述扬声器上播放混合后的信号。
3.根据权利要求1所述的方法，其中所述SD触觉效果信号包含单个频率。
4.根据权利要求1所述的方法，其中所述基于音频的触觉效果信号包含多个频率。
5.根据权利要求1所述的方法，其中所述基于音频的触觉效果信号通过确定所述设备的工厂模型并且基于所述工厂模型变换所述基于音频的触觉效果信号来生成。
6.根据权利要求1所述的方法，其中所述SD触觉效果信号通过从所述HD触觉效果信号提取来生成。
7.根据权利要求1所述的方法，其中所述致动器是线性谐振致动器。
8.根据权利要求5所述的方法，其中所述HD触觉效果信号使用创作工具来生成。
9.根据权利要求8所述的方法，其中确定所述设备的工厂模型包括在所述创作工具上选择目标设备，并且生成所述基于音频的触觉效果信号由所述创作工具来执行。
10.根据权利要求1所述的方法，其中生成所述基于音频的触觉效果信号由所述设备来执行。
11.根据权利要求2所述的方法，所述混合包括均衡所述音频信号和所述基于音频的触觉效果信号之间的重叠频率。
12.一种启用触觉的设备，包括：
至少一个致动器；
至少一个扬声器；
提取器，其至少基于接收的高分辨率(HD)触觉效果信号来生成标准分辨率(SD)触觉效果信号；
滤波器，其至少部分基于所述HD触觉效果信号来生成基于音频的触觉效果信号；以及
播放器，其基本上同时地在所述致动器上播放所述SD触觉效果信号和在所述扬声器上播放基于音频的触觉效果。
CN201510751549.9A 2014-12-24 2015-11-06 高带宽触觉效果的音频增强仿真 Pending CN105739674A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US14/582,404 US9891714B2 (en) 2014-12-24 2014-12-24 Audio enhanced simulation of high bandwidth haptic effects
US14/582,404 2014-12-24

Publications (1)

Publication Number Publication Date
CN105739674A true CN105739674A (zh) 2016-07-06

Family

ID=54544946

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201510751549.9A Pending CN105739674A (zh) 2014-12-24 2015-11-06 高带宽触觉效果的音频增强仿真

Country Status (5)

Country Link
US (2) US9891714B2 (zh)
EP (1) EP3040810B1 (zh)
JP (1) JP2016123075A (zh)
KR (1) KR20160078226A (zh)
CN (1) CN105739674A (zh)

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109688990A (zh) * 2016-09-06 2019-04-26 新感知公司 用于向用户提供附属感觉信息的方法和系统
CN110007751A (zh) * 2018-01-05 2019-07-12 意美森公司 用于使能对触觉效果的音高控制的方法和设备
CN111386510A (zh) * 2017-11-13 2020-07-07 Ck高新材料有限公司 触觉控制信号提供装置及方法
CN112083807A (zh) * 2020-09-20 2020-12-15 吉林大学 一种基于音触转换的足部地形触觉再现方法及装置
US11079854B2 (en) 2020-01-07 2021-08-03 Neosensory, Inc. Method and system for haptic stimulation
CN113727243A (zh) * 2016-11-14 2021-11-30 汇顶科技(香港)有限公司 线性谐振致动器控制器
CN113841107A (zh) * 2019-04-26 2021-12-24 惠普发展公司，有限责任合伙企业 空间音频和触觉
US11207236B2 (en) 2017-04-20 2021-12-28 Neosensory, Inc. Method and system for providing information to a user
US11467667B2 (en) 2019-09-25 2022-10-11 Neosensory, Inc. System and method for haptic stimulation
US11497675B2 (en) 2020-10-23 2022-11-15 Neosensory, Inc. Method and system for multimodal stimulation
US11862147B2 (en) 2021-08-13 2024-01-02 Neosensory, Inc. Method and system for enhancing the intelligibility of information for a user

Families Citing this family (32)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10699538B2 (en) 2016-07-27 2020-06-30 Neosensory, Inc. Method and system for determining and providing sensory experiences
US10104471B2 (en) * 2016-11-30 2018-10-16 Google Llc Tactile bass response
WO2018151770A1 (en) 2017-02-16 2018-08-23 Neosensory, Inc. Method and system for transforming language inputs into haptic outputs
US10732714B2 (en) 2017-05-08 2020-08-04 Cirrus Logic, Inc. Integrated haptic system
JP7042061B2 (ja) 2017-11-10 2022-03-25 株式会社バンダイナムコエンターテインメント 操作入力システム、操作入力装置及びゲームシステム
IT201800002274A1 (it) * 2018-01-31 2019-07-31 Wugim Set S R L Dispositivo per la stimolazione vibroacustica
US10832537B2 (en) * 2018-04-04 2020-11-10 Cirrus Logic, Inc. Methods and apparatus for outputting a haptic signal to a haptic transducer
US11269415B2 (en) * 2018-08-14 2022-03-08 Cirrus Logic, Inc. Haptic output systems
US20220050525A1 (en) * 2018-09-18 2022-02-17 Sony Corporation Sensation induction device and sound output system
GB201817495D0 (en) 2018-10-26 2018-12-12 Cirrus Logic Int Semiconductor Ltd A force sensing system and method
EP3677996B1 (en) * 2019-01-07 2022-03-23 Goodix Technology (HK) Company Limited Audio-haptic signal generator
US11644370B2 (en) 2019-03-29 2023-05-09 Cirrus Logic, Inc. Force sensing with an electromagnetic load
US12035445B2 (en) 2019-03-29 2024-07-09 Cirrus Logic Inc. Resonant tracking of an electromagnetic load
US10955955B2 (en) 2019-03-29 2021-03-23 Cirrus Logic, Inc. Controller for use in a device comprising force sensors
US10828672B2 (en) 2019-03-29 2020-11-10 Cirrus Logic, Inc. Driver circuitry
US11509292B2 (en) 2019-03-29 2022-11-22 Cirrus Logic, Inc. Identifying mechanical impedance of an electromagnetic load using least-mean-squares filter
US10992297B2 (en) 2019-03-29 2021-04-27 Cirrus Logic, Inc. Device comprising force sensors
US10976825B2 (en) 2019-06-07 2021-04-13 Cirrus Logic, Inc. Methods and apparatuses for controlling operation of a vibrational output system and/or operation of an input sensor system
WO2020254788A1 (en) 2019-06-21 2020-12-24 Cirrus Logic International Semiconductor Limited A method and apparatus for configuring a plurality of virtual buttons on a device
CN110312038B (zh) * 2019-06-28 2020-10-02 Oppo（重庆）智能科技有限公司 信息提示方法及装置、电子设备、计算机可读存储介质
US20210110841A1 (en) * 2019-10-14 2021-04-15 Lofelt Gmbh System and method for transforming authored haptic data to fit into haptic bandwidth
US11408787B2 (en) 2019-10-15 2022-08-09 Cirrus Logic, Inc. Control methods for a force sensor system
US11467668B2 (en) 2019-10-21 2022-10-11 Neosensory, Inc. System and method for representing virtual object information with haptic stimulation
US11380175B2 (en) 2019-10-24 2022-07-05 Cirrus Logic, Inc. Reproducibility of haptic waveform
US11545951B2 (en) 2019-12-06 2023-01-03 Cirrus Logic, Inc. Methods and systems for detecting and managing amplifier instability
US11662821B2 (en) 2020-04-16 2023-05-30 Cirrus Logic, Inc. In-situ monitoring, calibration, and testing of a haptic actuator
US11933822B2 (en) 2021-06-16 2024-03-19 Cirrus Logic Inc. Methods and systems for in-system estimation of actuator parameters
US11908310B2 (en) 2021-06-22 2024-02-20 Cirrus Logic Inc. Methods and systems for detecting and managing unexpected spectral content in an amplifier system
US11765499B2 (en) 2021-06-22 2023-09-19 Cirrus Logic Inc. Methods and systems for managing mixed mode electromechanical actuator drive
US11995240B2 (en) 2021-11-16 2024-05-28 Neosensory, Inc. Method and system for conveying digital texture information to a user
US20240045505A1 (en) * 2022-08-03 2024-02-08 Qualcomm Incorporated Audio and haptic signal processing
US12090403B1 (en) * 2023-11-17 2024-09-17 Build A Rocket Boy Games Ltd. Audio signal generation

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040264705A1 (en) * 2003-06-30 2004-12-30 Nokia Corporation Context aware adaptive equalization of user interface sounds
EP2487557A3 (en) * 2011-02-11 2013-08-28 Immersion Corporation Sound to haptic effect conversion system using amplitude value
CN103294191A (zh) * 2012-02-15 2013-09-11 英默森公司 使用基元的高精确度触觉效应生成
US20140105412A1 (en) * 2012-03-29 2014-04-17 Csr Technology Inc. User designed active noise cancellation (anc) controller for headphones
US8710968B2 (en) * 2010-10-07 2014-04-29 Motorola Mobility Llc System and method for outputting virtual textures in electronic devices
CN104063056A (zh) * 2006-04-06 2014-09-24 伊梅森公司 用于增强的触觉效果的系统和方法

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6822635B2 (en) * 2000-01-19 2004-11-23 Immersion Corporation Haptic interface for laptop computers and other portable devices
US7791588B2 (en) * 2003-12-22 2010-09-07 Immersion Corporation System and method for mapping instructions associated with haptic feedback
US20060017691A1 (en) 2004-07-23 2006-01-26 Juan Manuel Cruz-Hernandez System and method for controlling audio output associated with haptic effects
US20100026037A1 (en) * 2004-12-21 2010-02-04 David Victor Opie Canopy for an open load carrying vehicle
US8621348B2 (en) * 2007-05-25 2013-12-31 Immersion Corporation Customizing haptic effects on an end user device
EP2417776A1 (en) * 2009-04-10 2012-02-15 Immerz Inc. Systems and methods for acousto-haptic speakers
KR101880764B1 (ko) 2012-02-03 2018-07-20 임머숀 코퍼레이션 파형을 이용한 사운드 대 햅틱 효과 변환 시스템
US9128523B2 (en) * 2012-12-20 2015-09-08 Amazon Technologies, Inc. Dynamically generating haptic effects from audio data
US9158379B2 (en) 2013-09-06 2015-10-13 Immersion Corporation Haptic warping system that transforms a haptic signal into a collection of vibrotactile haptic effect patterns
US9245429B2 (en) 2013-09-06 2016-01-26 Immersion Corporation Haptic warping system

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040264705A1 (en) * 2003-06-30 2004-12-30 Nokia Corporation Context aware adaptive equalization of user interface sounds
CN104063056A (zh) * 2006-04-06 2014-09-24 伊梅森公司 用于增强的触觉效果的系统和方法
US8710968B2 (en) * 2010-10-07 2014-04-29 Motorola Mobility Llc System and method for outputting virtual textures in electronic devices
EP2487557A3 (en) * 2011-02-11 2013-08-28 Immersion Corporation Sound to haptic effect conversion system using amplitude value
CN103294191A (zh) * 2012-02-15 2013-09-11 英默森公司 使用基元的高精确度触觉效应生成
US20140105412A1 (en) * 2012-03-29 2014-04-17 Csr Technology Inc. User designed active noise cancellation (anc) controller for headphones

Cited By (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11079851B2 (en) 2016-09-06 2021-08-03 Neosensory, Inc. Method and system for providing adjunct sensory information to a user
US11644900B2 (en) 2016-09-06 2023-05-09 Neosensory, Inc. Method and system for providing adjunct sensory information to a user
CN109688990A (zh) * 2016-09-06 2019-04-26 新感知公司 用于向用户提供附属感觉信息的方法和系统
CN113727243A (zh) * 2016-11-14 2021-11-30 汇顶科技(香港)有限公司 线性谐振致动器控制器
US11207236B2 (en) 2017-04-20 2021-12-28 Neosensory, Inc. Method and system for providing information to a user
US11660246B2 (en) 2017-04-20 2023-05-30 Neosensory, Inc. Method and system for providing information to a user
CN111386510A (zh) * 2017-11-13 2020-07-07 Ck高新材料有限公司 触觉控制信号提供装置及方法
CN110007751A (zh) * 2018-01-05 2019-07-12 意美森公司 用于使能对触觉效果的音高控制的方法和设备
CN113841107A (zh) * 2019-04-26 2021-12-24 惠普发展公司，有限责任合伙企业 空间音频和触觉
US11467667B2 (en) 2019-09-25 2022-10-11 Neosensory, Inc. System and method for haptic stimulation
US11079854B2 (en) 2020-01-07 2021-08-03 Neosensory, Inc. Method and system for haptic stimulation
US11614802B2 (en) 2020-01-07 2023-03-28 Neosensory, Inc. Method and system for haptic stimulation
CN112083807A (zh) * 2020-09-20 2020-12-15 吉林大学 一种基于音触转换的足部地形触觉再现方法及装置
US11497675B2 (en) 2020-10-23 2022-11-15 Neosensory, Inc. Method and system for multimodal stimulation
US11877975B2 (en) 2020-10-23 2024-01-23 Neosensory, Inc. Method and system for multimodal stimulation
US11862147B2 (en) 2021-08-13 2024-01-02 Neosensory, Inc. Method and system for enhancing the intelligibility of information for a user

Also Published As

Publication number Publication date
US9891714B2 (en) 2018-02-13
KR20160078226A (ko) 2016-07-04
US10429933B2 (en) 2019-10-01
EP3040810B1 (en) 2019-08-21
JP2016123075A (ja) 2016-07-07
US20160187987A1 (en) 2016-06-30
EP3040810A1 (en) 2016-07-06
US20180164896A1 (en) 2018-06-14

Similar Documents

Publication Publication Date Title
CN105739674A (zh) 高带宽触觉效果的音频增强仿真
CN108845673B (zh) 使用映射的声音-触觉效应转换系统
WO2017043400A1 (ja) 情報処理装置、方法およびコンピュータプログラム
CN105183145B (zh) 用于通过音频轨道提供触觉效果的触觉设备和方法
KR101680502B1 (ko) 촉각적 피드백을 갖는 방법 및 디스플레이 디바이스
JP6341417B2 (ja) 振動生成システム、振動生成プログラム、および振動生成方法
KR20170037530A (ko) 오디오-햅틱 간섭을 보상하기 위해 햅틱 효과들을 수정하기 위한 프로그램 가능 햅틱 디바이스 및 방법
JP6563603B2 (ja) 周波数変化によって実時間振動を提供する振動提供システム及び振動提供方法
JP2016095847A (ja) ハプティックコントローラ
JP2018501542A (ja) メディアにより駆動されるハプティクス
JP2016212886A (ja) モジュール式装置用の触覚フィードバックのためのシステム及び方法
US20190267043A1 (en) Automated haptic effect accompaniment
CN104423595A (zh) 执行触觉转换的系统和方法
CN106095085A (zh) 低频效果触觉转换系统
KR20170059368A (ko) 햅틱 가능 플렉시블 디바이스들
CN108319361A (zh) 一种反馈方法和装置
CN108712706A (zh) 发声方法、装置、电子装置及存储介质
CN107106908A (zh) 为慢动作修改触觉效果
US10684689B2 (en) Cross-platform dynamic haptic effect design tool for augmented or virtual reality environments
WO2023189406A1 (ja) 出力制御装置、出力制御プログラム及び出力制御方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20160706

WD01 Invention patent application deemed withdrawn after publication