CN100445930C - 基于计算机设备的音频输出触发触觉的方法 - Google Patents

基于计算机设备的音频输出触发触觉的方法 Download PDF

Info

Publication number
CN100445930C
CN100445930C CNB02824091XA CN02824091A CN100445930C CN 100445930 C CN100445930 C CN 100445930C CN B02824091X A CNB02824091X A CN B02824091XA CN 02824091 A CN02824091 A CN 02824091A CN 100445930 C CN100445930 C CN 100445930C
Authority
CN
China
Prior art keywords
sound
voice data
touch
haptic
sense
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CNB02824091XA
Other languages
English (en)
Other versions
CN1599925A (zh
Inventor
S·D·兰克
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Immersion Corp
Original Assignee
Immersion Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Immersion Corp filed Critical Immersion Corp
Publication of CN1599925A publication Critical patent/CN1599925A/zh
Application granted granted Critical
Publication of CN100445930C publication Critical patent/CN100445930C/zh
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/016—Input arrangements with force or tactile feedback as computer generated output to the user
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/50—Controlling the output signals based on the game progress
    • A63F13/52—Controlling the output signals based on the game progress involving aspects of the displayed game scene
    • A63F13/525—Changing parameters of virtual cameras
    • A63F13/5255—Changing parameters of virtual cameras according to dedicated instructions from a player, e.g. using a secondary joystick to rotate the camera around a player's character
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/10—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by input arrangements for converting player-generated signals into game device control signals
    • A63F2300/1037—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by input arrangements for converting player-generated signals into game device control signals being specially adapted for converting control signals received from the game device into a haptic signal, e.g. using force feedback
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/60—Methods for processing data by generating or executing the game program
    • A63F2300/6063—Methods for processing data by generating or executing the game program for sound processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • Computer Hardware Design (AREA)
  • User Interface Of Digital Computer (AREA)
  • Position Input By Displaying (AREA)

Abstract

根据来自计算机设备的声音输出触发触觉。存储声音数据的一部分，这部分数据是作为来自运行于计算机上的应用程序的音频输出给用户的。使用智能启发式方法分析该部分声音数据以从该部分声音数据中抽取至少一条声音特征。根据声音特征触发至少一种触觉效果的执行，其中发送触觉效果触觉反馈设备，所述触觉反馈设备近似地和作为音频给用户的该部分声音输出相关。触觉效果引起要输出给用户的触觉。不同的触觉效果可关联于不同的声音特征、频率范围和振幅等。

Description

基于计算机设备的音频输出触发触觉的方法
技术领域
本发明涉及用于允许人们与计算机系统接口的系统，更特别地，涉及用于向与一个或多个包括声音输出的计算机应用接口的用户提供触觉反馈的方法。
背景技术
用户可与由计算机显示的环境交互以在该计算机上执行功能与任务，诸如玩游戏、体验仿真或虚拟现实环境、使用计算机辅助设计系统、操作图形用户接口(GUI)、浏览网页等。常见的用于这种交互的人机接口设备包括鼠标、操纵杆、轨迹球、游戏垫、遥控器、方向盘、输入笔、写字板、压敏球，或者与控制计算机环境的计算机设备通信的其它设备。计算机响应用户操纵诸如操纵杆柄、按钮或鼠标等实体操作物来更新环境，并利用显示屏和音频扬声器提供视觉和音频反馈给用户。计算机通过在接口设备上提供的发送位置信号给计算机的传感器来感知用户对用户对象操纵。
在一些接口设备中，也将动觉反馈和/或触觉反馈提供给用户，这里将它们更通用地合起来称为“触觉反馈”。这些类型的接口设备可提供身体感觉，用户可通过操纵接口设备的操作物来感知这样的身体感觉。一个或多个发动机或其它致动器可连接到操作物上并连接到控制计算机系统。计算机系统与计算机事件和交互一起协调，通过发送控制信号或命令到致动器，来控制操作物上的力。因而，计算机系统在用户正抓住或接触接口设备或接口设备的可操纵对象时，可以与其它所提供的反馈一起向用户传送物理力量感觉。
提供给用户的音频反馈是许多应用程序的固有部分，特别是游戏。一些现有的触觉反馈设备设计为直接基于来自计算机的声音输出提供触觉。声音输出波形直接传送到接口设备，以便诸如振动等触感直接基于声音输出波形或者其经过滤的部分，很象扬声器操作的方式。
现有触觉基于直接声音波形，其缺点是触觉只是直接基于声音信号的简单效果。在发送信号到触觉设备前没有进行声音信号的评估或处理。这会引起不需要的或不相干的触觉输出给用户，因为不是所有的声音输出都适合于直接转化成触觉。
发明概述
本发明针对基于来自计算机设备的声音输出触发触觉输出。触觉输出是通过分析声音数据特征智能地触发的，这会增强用户的感受。
更具体地，本发明的接口设备提供用于按照来自计算机的声音输出中检测到的声音特征来触发触觉的方法，其中触觉能够输出给与计算机通信的触觉反馈设备的用户。作为来自运行于计算机上的应用程序给用户的音频输出的一部分声音数据被存储。声音数据存储于计算机的存储器缓冲区中。使用智能启发式方法分析该部分声音数据以从该部分声音数据中抽取至少一条声音特征。根据声音特征触发至少一种触觉效果的执行，其中发送触觉效果到近似地与作为音频到用户的该部分声音的输出相关的触觉反馈设备。触觉效果引起要输出给用户的触觉。
触发的触觉最好分配给声音数据中发现的声音特征。在一些实施例中，分析该部分声音数据可包括将声音数据处理成多个不同的频率范围，并在每个频率范围中查找声音特征。对于每个频率范围都可触发触觉效果，如果在那个频率范围中存在声音特征。可将滤波器应用于声音数据，或者可使用快速傅里叶变换。每个频率范围可关联于或映射到不同的触觉。例如，每个频率范围可关联于具有不同频率的周期性触觉。其它类型的触觉也可被映射到声音特征并分配给声音特征，因而它们将根据那些声音特征的输出来触发。
本发明能够有利地允许在其上运行具有声音输出的应用程序的计算机系统输出触觉反馈。本发明智能地分配触觉给声音数据中的特征，以提供相关于引起声音输出的应用程序中的事件的触觉反馈。这导致了基于声音输出的触觉反馈的用户体验得到全面提高。
本发明的这些和其它优点对于本领域那些熟练技术人员将基于阅读本发明的以下详述和研究几个附图而变得显而易见。
附图说明
图1是一个方框图，示出适合本发明使用的触觉反馈系统的一个实施例；
图2是适合本发明使用的触觉反馈设备的鼠标实施例的侧剖面视图；
图3是一个流程图，示出本发明方法的第一个实施例，所述方法根据所提供的声音数据提供作为触觉输出的触觉效果；
图4是一个流程图，示出用于图3中处理和分析存储于缓冲区中的数据的步骤的一个实施例；以及
图5是一个流程图，示出用于图3中处理和分析存储于缓冲区中的数据的步骤的另一个实施例。
具体实施方式
图1是一个方框图，示出适合本发明使用的计算机系统10，包括与主机14通信的触觉反馈接口设备12。
主机14最好包括主机微处理器20、时钟22、显示屏26和音频输出设备24。主机还包括其它众所周知的部件，诸如随机存取存储器(RAM)、只读存储器(ROM)和输入/输出(I/O)电子设备(未示出)。主机14是能够采用多种形式的计算设备。例如，在所述实施例中，计算机14是个人计算机或工作站，诸如PC兼容计算机或Macintosh个人计算机，或者Sun或Silicon Graphics工作站。这样的计算机14可在WindowsTM、MacOSTM、Unix、MS-DOS或其它操作系统下运行。可选择地，主机14可以是一般连接到电视机或其它显示器的各种家用视频游戏控制系统之一，诸如Nintendo、Sega、Sony或Microsoft提供的系统。在其它实施例中，主机14可以是“机顶盒”、“网络-”或“互联网-计算机”、便携式计算机或游戏设备、个人数字助理(PDA)等。
主机14最好实现主机应用程序，如果适当的话，用户通过设备12和其它外围设备与其交互。在本发明的上下文中，主机应用程序是数字音频编辑程序，如下面更详细地描述的。也可使用利用设备12的输入并输出触觉反馈命令到设备12的其它应用程序。主机应用程序最好利用图形用户接口(GUI)来向用户呈现选项并接收来自用户的输入。此应用程序可以包括下述的触觉反馈功能；或者，触觉反馈控制可在主机上运行的另一程序中实现，诸如驱动程序或其它应用程序。这里，计算机14可称为提供“图形环境”，它可以是图形用户接口、游戏、仿真或其它视觉环境。计算机显示“图形对象”或“计算机对象”，这些不是物理对象，而是数据和/或过程的逻辑软件部件组合，计算机14可将它们作为图像显示在显示屏26上，如本领域那些熟练技术人员所熟知的那样。连接软件与触觉反馈设备的合适的软件驱动程序，可从加利福尼亚州圣荷塞市(San Jose，California)的Immersion公司获得。
显示设备26可被包括在主机系统14中，并且可以是标准显示屏(LCD、CRT、平板等)、3-D镜、投影设备或任何其它视觉输出设备。显示设备26显示由操作系统应用、仿真、游戏等控制的图像。
音频输出设备24，诸如扬声器，向用户提供声音输出。在本发明环境中，其它音频相关的设备也可连接到主机，诸如立体声接收器、放大器等。其它类型的外围设备也可连接在主机处理器20上，诸如存储设备(硬盘驱动、CD-ROM驱动器、软盘驱动器等)、打印机以及其它输入和输出设备。
触觉反馈接口设备12，诸如鼠标、旋钮、游戏垫、轨迹球、操纵杆、遥控器、PDA屏等，通过双向总线30连接在主机14上。双向总线在主机14和接口设备间发送任一方向的信号。总线30可以是串行接口总线，诸如RS232串行接口、RS-422、通用串行总线(USB)、MIDI或本领域那些熟练技术人员所熟知的其它协议；或者并行总线或无线连接。一些接口还可为设备12的致动器提供电源。
设备12可包括本地处理器40。本地处理器40能够可选地包括在设备12的机箱内，以能够有效地与鼠标的其它部件通信。可对处理器40提供软件指令，以等待来自计算机主机14的命令或请求，解码命令或请求，并按照命令或请求处理/控制输入和输出信号。此外，处理器40可以读取传感器信号并通过那些传感器信号、时间信号和按照主机命令选择的存储或中继的指令来计算适当的力或命令而独立于主机14运行。适合用作本地处理器40的微处理器包括例如Motorola的MC68HC711E9、Microchip的PIC16C74和Intel公司的82930AX，以及更复杂的力反馈处理器，诸如Immersion Touchsense Processor(触觉处理器)。处理器40可包括一个微处理器芯片、多个处理器和/或协处理器芯片和/或数字信号处理器(DSP)的性能。
微处理器40可按照由主机14通过总线30提供的指令从传感器42接收信号并向致动器44提供信号。例如，在本地控制实施例中，主机14通过总线30提供高层次的监管命令给处理器40，而处理器40根据高层次命令且独立于主机14解码命令并管理低层次的到传感器和致动器的力控制回路。这一操作更详细地在US专利5,739,811和5,734,373中描述，二者通过引用包括在此。在主控制回路中，来自主机的力命令指挥处理器输出具有特定特点的力或力感。本地处理器40报告位置和其它传感数据给主机，主机用它们来更新执行的程序。在本地控制回路中，从处理器49提供致动器信号给致动器44且从传感器42和其它输入设备48提供传感器信号给处理器40。处理器40可根据存储的指令处理输入的传感器信号来确定适当的输出致动器信号。这里，术语“触觉”或“触感”指由提供感觉给用户的致动器输出的单个力或一系列力。术语“触觉效果”通常指送往定义触觉效果并在效果作为力由设备输出给用户时导致触觉的的设备的命令、参数和/或数据。
在另一个实施例中，其它更简单的硬件可在本地提供给设备12来提供象处理器40这样的功能。例如，包括固定逻辑的硬件状态机或ASIC可用来向致动器44提供信号并从传感器42接收传感信号，并按照预定的顺序、算法或过程输出触觉信号。
在不同的主机控制实施例中，主机14可通过总线30提供低层次的力命令，它们通过处理器40直接传输到致动器44。主机14从而直接控制和处理所有到/来自设备12的信号。在简单主机控制实施例中，从主机到设备的信号可控制致动器以预定频率和幅度输出力，或者可包括幅度和/或方向，或者是指示随着时间应用的所需力值的简单命令。
本地存储器52，诸如RAM和/或ROM，最好连接到设备12的处理器40，以存储处理器40的指令并存储临时数据和其它数据。例如，力配置可存储于存储器52中，诸如可由处理器输出的一系列存储的力值，或者根据用户对象当前位置输出的力值查找表。此外，本地时钟54可连接在处理器40以提供定时数据，类似于主机14的系统时钟；例如，可能需要定时数据以计算由致动器44输出的力(例如，依赖于速度或与时间相关的其他因子的力)。在使用USB通信接口的实施例中，处理器40的定时数据可选择地可从USB信号中接收。
传感器42感知设备和/或一个或多个操作物或控制器的位置或运动，并提供信号给处理器40(或主机14)，所述信号包括表示位置和运动的信息。适合于检测操纵的传感器包括数字光编码器、光感系统、线性光编码器、电位计、光传感器、速度传感器、加速度传感器、变形测量器，或者也可使用其它类型的传感器，并且可提供相对或绝对的传感器。可选的传感器接口46可用来转换传感器信号为可由处理器40和/或主机14解释的信号。
致动器44响应从处理器40和/或主机14接收的信号，通过传输力到外壳或设备12的一或多个操作物来输出触觉。致动器可以是多种类型的致动器的任何一种，包括有源致动器，诸如DC发动机、音圈、气压或水压致动器、力矩器、压电致动器、磁转致动器等，或者无源致动器，诸如刹车。
致动器接口50可选择地可连接在致动器44和处理器40之间，以将来自处理器40的信号转换成适合于驱动致动器的信号。接口50可包括功率放大器、开关、数模控制器(DAC)、模数控制器(ADC)及其它部件，如本领域那些熟练技术人员所熟知的那样。其它输入设备48可包括在设备12中，并当由用户操纵时发送输入信号到处理器40或主机14。这样的输入设备可包括按钮、滚轮、d-垫、拨号器、开关或其它控制器或机制。
电源56可选择地包括在设备12中，可连接在致动器接口50和/或致动器44上给致动器提供电源，或者提供为一单独部件。可选择地，电力可从独立于设备12的电源汲取，或者通过总线30接收。而且，接收的电力可由设备12存储并管制，且从而在需要时用于驱动致动器44或以补充方式使用。一些实施例可在设备中使用电力存储设备以确保可应用峰值的力(peak force)(如美国专利No.5,929,607中所述，通过引用包括于此)。可选择地，这种技术可用于无线设备，在这种情况下使用蓄电池电源驱动触感致动器。安全开关58可选地可包括进来，使用户能够为了安全原因而关闭致动器44。
许多类型的接口或控制设备都可以用于在此所述的本发明。例如，这样的接口设备可包括触觉反馈轨迹球、操纵杆柄、方向盘、旋钮、手持式遥控设备、用于视频游戏或计算机游戏的游戏垫控制器、手写笔、手柄、轮、按钮、蜂窝电话、PDA、触摸板，或者其它可操纵的物体、表面或外壳。
图2是本发明使用的设备12的鼠标实施例100的侧剖面视图。
鼠标设备100包括外壳101、传感系统102和致动器104。外壳101在用户在平面自由度中移动鼠标并操纵按钮106时象标准鼠标一样在形状上适合于用户的手。可在多种不同的实施例中提供其它外壳形状。
传感器102检测在其平面自由度中的鼠标位置，例如，沿着X和Y轴。在所述实施例中，传感器102包括标准鼠标球110来向计算机系统提供方向输入。可选择地，可使用光传感器或其它类型的传感器。
鼠标设备100包括一或多个致动器104，向鼠标的用户给予触觉反馈，诸如触感。致动器104连接在外壳101上，向用户提供触觉反馈。在一个实施例中，致动器连接在由致动器移动的惯性块上。由惯性块引起的惯性力相对于惯性块应用于鼠标外壳，从而将诸如触感的触觉反馈传递给接触着外壳的用户。一些实施例允许致动器象惯性块一样移动自身。这样的实施例更详尽地在美国专利No.6,211,861和美国申请No.09/585,741中描述，二者通过引用包括在此。其它类型的接口设备，诸如游戏垫、手持遥控、蜂窝电话、PDA等，都可包括这样的惯性触感致动器。
其它类型的接口设备和致动器也可用于本发明。例如，游戏垫、鼠标或其它设备可包括耦合到致动器转轴的偏心旋转块，提供外壳或设备的操作物上的惯性触感。其它类型的触觉设备可提供动觉反馈，诸如操纵杆、旋钮、滚轮、游戏垫、方向盘、轨迹球、鼠标等，其中力以操作物的感知自由度输出。例如，动觉鼠标触觉设备在美国专利No.6,100,874和6,166,723中揭示，二者全部通过引用包括在此。
带有触觉反馈的声音输出
本发明改进与一个或多个运行在主机上的应用程序(或其它程序)的声音输出一致的触觉输出中的用户体验。
本发明的较佳实施例根据由主机输出的声音信号或数据，提供输出到触觉反馈设备的触觉效果，并且将它们作为触觉输出给用户。在一些可替换的实施例中，类似地，可根据输入到计算机系统(例如来自话筒或音频设备)的声音信号或数据中的特征提供触觉效果音频设备。识别声音的时间特点和特征，并将它们映射或关联于预先编程的触觉效果。基于这些触觉效果的触觉可立即呈现在触觉反馈设备12上，或可存储在存储器中以形成给定声音的“触觉配置”。本发明的方法不仅是简单地将声音信号直接传送到触觉设备作为触觉输出，如背景技术中已解决的，而且是将各种高层次声音特征关联于各种层次的触觉，使用声音特征触发适当的触觉输出。
本发明的一个重要优点是，为在那个应用程序例如游戏中的输出用于多种事件的声音的任何程序，提供引人注目的触觉，而软件应用开发者不必在编写程序中的触觉效果上花费精力。这样，任何不用定制的游戏程序能够方便地完成与触觉反馈设备合作而不考虑游戏是否包括控制触觉设备的编码或者它是否只是为非触觉反馈设备开发的，使用户对于更广泛多样的程序能够有更引人注目的交互性和沉浸式体验。而且，本发明能够近似地分别各种类型的音效和关联于不同事件的不同触觉，使用户能有更丰富的体验。
在一个实施例中，运行在主机上的低层次驱动程序执行本发明的方法。在另一个实施例中，运行在主机上(或在触觉反馈设备的微处理器上)的其它层软件可执行本发明的一些或所有特征或步骤(应用程序、API等)。实现本发明的程序指令可作为存储在诸如电子存储器、磁盘、光盘、磁带等的计算机可读介质上的硬件(例如逻辑部件)或软件存储。
图3是一个流程图，示出本发明方法的第一个实施例200，根据所给定的声音数据或声音信号提供作为触觉输出的触觉效果。方法始于202，并在可选步骤204中，控制触觉效果发送到设备但还没有输出给用户。例如，触觉设备12可包括允许设备存储大量不同触觉效果的数据的本地存储器。驻留在设备存储器中的触觉效果可在接收到主机命令时或根据其它条件(已经过预定的时间段等)来播放。送往设备的数据可包括触觉效果的参数；例如，对于定期振动效果，参数可包括频率、周期和幅度。效果可在步骤204加载到设备上，并在一些实施例中可控制其以例如在零幅度播放，以备在稍后的步骤中控制其至更高的程度。步骤204最适合于总是将相同组的触觉输出给用户的那些实施例。在另一些实施例中，可在将触觉效果输出给用户时控制触觉效果。
在下一步骤206，接收来自主机上运行上的应用程序或其它软件层或程序的声音数据，或可选择地，接收来自外部音频设备的声音数据，。声音数据最好是数字化数据，它可以为任何标准化格式，诸如MIDI、wav、mp3等文件中的数字声音采样。声音数据在步骤206接收，同时它还传送到诸如扬声器的音频输出设备并作为声音输出给用户。一般地，声音数据由应用程序从发生在应用中的声音事件生成，诸如由游戏动作或事件产生的游戏中的音效、游戏或其它应用程序中在游戏开始或其它事件发生后演奏的音乐、图形用户接口交互中的嘟嘟声、来自CD或DVD的音乐播放或者其它声音事件。在所述实施例中，在此步骤接收以被分析的声音数据就是当前由扬声器输出给用户的声音数据。这样，当声音数据被处理且按如下所述输出触觉时，声音数据已输出给用户。但是，由于存储了小量的声音数据，在声音和触觉输出间只发生了毫秒级的延迟，这是用户不能察觉的。在其它实施例中，其中声音数据输出预先知道，触觉与触发它们的声音数据同时或近似于同时输出。
在步骤208，预定量的所接收的声音数据被存储于主机14的存储器的临时缓冲区中。在一个实施例中，这是合理地小到足以使能快速处理并关联于触觉、同时大到足以允许有意义的处理和分析的数据量。在一个实施例中，存储了一部分约等于10ms播放的声音数据，尽管在其它实施例中可存储不同的量。例如，声音可使用主机上的DirectSound或其它声音捕捉API数字化录制成10ms的片段。
在步骤210中，处理和分析存储的声音数据来识别指定为和确定要输出的触觉相关的特定声音特征或特性，即，这些声音特征将用作触发触觉输出的信号。广义而言，本发明使用智能启发式方法来抽取应用程序中可能有意义的声音特征，并将这样的声音特征关联于预定的、预先编程的触觉，所述触觉近似对应于所抽取的声音特征和这些特征所表示的可能事件。例如，在许多当前视频游戏应用程序中的可能事件可以是来自炸弹、手榴弹、导弹等的爆炸、诸如枪或火箭等武器的开火、车辆的碰撞、脚步的嗒嗒声、物体溅入水中的声音、用于警告玩家发生某些游戏事件的警告声音等。这些事件可具有特定的声音特征，在适当分析后能从所接收声音数据中识别它们。
可使用各种不同的方法处理数据；下面参考图4和5描述一些实施例。这些具体的实施例对声音数据执行处理，按照本发明将声音数据表示的声波划分为许多不同的频率范围。每个频率范围的声音然后可独立地针对特定声音特征进行分析。这种频率范围划分具有声音常常根据触发声音的事件发生在不同的频率范围的优点；例如，游戏中的爆炸可具有低频率声音而同时枪击可具有高频率声音。事件类型因此可根据声音所位于的频率范围大约地区分，从而使不同的触觉效果能够如下所述地进行控制和输出。
一旦声音数据已经处理和分析过，在下一步骤212，输出触觉命令到触觉设备，以引起触觉输出给正操纵设备的用户。触觉命令根据声音特征触发，如果在步骤210的声音数据中发现了声音特征的话。智能启发式方法可用来分配不同的触觉给不同类型的声音，根据，例如声音的频率或声音的特点。触觉命令可引起驻留在设备的触觉效果开始播放或在控制的程度上播放。在一个实施例中，从步骤204已经驻留在设备的存储器中的触觉效果随着新参数或数据修改以适当地实现所需的触觉。可选择地，可创建新的触觉效果并控制它用以立即由设备输出为触觉。如上所说明的，由命令得到的触觉可在所关联的声音特征已作为音频输出稍后时输出，但最好是足够快以便用户不能分辨出有延迟。
在一个实施例中，所控制的触觉的程度可设定为与相关联的频率范围中的声音数据幅度成比例。例如参考图4和5所讨论的实施例，声音数据被滤波或被组织成5种不同的频率范围。这些频率范围的每一个可具有相关联于它的不同触觉。例如，使用可用的惯性触感反馈鼠标，不同频率的周期性触觉效果关联于每个频率范围。这样，例如，具有62Hz的触觉频率的周期性触觉效果(例如在或接近触觉设备的第一共振频率时引起较高程度的感觉)关联于第一个声音频率范围(例如OHz到150Hz)。其它周期性触觉效果可具有75Hz、990Hz、115Hz和250Hz的触觉频率，每一个以升序对应于另一声音频率范围(其它周期性频率可用于其它实施例)。每个这些周期性触觉效果的幅度可设置为与在关联频率范围中的声音数据幅度成比例的值。环境声音水平幅度的移动平均可用作触觉效果产生的最小阈值，例如，如果特定频率范围的声音信号具有超过阈值的较高幅度，那么可以控制要输出的与那个频率范围的触觉效果相关联的触觉，或控制它具有超过零水平的幅度。
上面提出的方法因而根据由声音数据表示的声音信号的不同频率范围中相应变化的幅度，使五种不同的触觉效果幅度各不相同。对于在所有频率范围中具有分量的一些声音，这可能同时引起五种不同触觉效果的输出。然而，由于散布在频率范围上的许多声音特征只持续很短的时间量，用户只察觉到很短的振动或一系列脉动而不是不同频率的干扰。其它较为持续不变的音效可能只集中于一或两个频率范围，它们将只引起一种或两种触觉效果同时输出(其它频率范围的触觉效果将设置为零幅度)。因而用户将感觉到大致对应于音效频率的触觉。这也是参考图4讨论的。
这样，关联于特定频率范围或频带的触觉的幅度可直接相应于在那个频带中的声音信号的幅度水平，如上所说明的。除了这种连续的触觉输出，声音信号中振幅的突然峰值可映射到附加的摇晃、脉动或其它短而强的触觉，它们可覆盖在连续的振动感上。
在其它实施例中，更复杂的触觉可根据步骤210的声音数据处理和分析和根据智能启发式方法输出。在诸如游戏的许多应用中，声音类型能够根据它主要位于的频率范围确定。这容许更复杂的映射模式，其中完全不同的触觉可映射到不同声音频率范围。这也是参考图5讨论的。
例如，常常有视频游戏应用中的武器开火关联于高频声音的突然爆发的情况。使用此事实作为启发式方法，在步骤210，可分析来自游戏的声音输出数据，且已识别输出指示高频声音的特征。例如，可为声音振幅的突然爆发或峰值而检查特定的频率范围。在步骤212，关联于武器开火的触觉可根据声音中发现的声音爆发智能地控制其输出。在一些实施例中，在声音和触觉正在播放时可即时修改触觉，其中触觉的幅度和持续时间是根据声音爆发在预定阈值之上的幅度、爆发的持续时间和/或爆发的特殊频率内容而连续调整的。
在一些实施例中，可根据声音特征的特点对声音特征选择完全不同的触觉配置，其中参考声音特性和触觉效果之间预先编程的映射(例如可将查找表或数据表存储在存储器)。例如，在非常不同的频率范围中的声音爆发可触发完全不同的触觉。例如，视频游戏中的低频声音爆发可以是人物的脚步声。适当的触觉可映射到那个声音特征，诸如低频振动或波动力。
一些游戏或其它程序可对类似的事件输出类似的音效，以允许如上讨论的近似映射。不过，其它游戏或程序可以使类似发声的声音关联于不同事件。因此，在一个实施例中，特定的查找表或其它映射数据可关联于每个单个的游戏(或其它应用程序)。用此表，本发明的方法可在表上识别正在玩哪个游戏，然后找到游戏声音特点和已由表作者分配的触觉之间的适当的映射。这允许为特殊游戏定制启发式方法，以支持更精确的映射。这对开发者是有利的，他们将不必自己在游戏中放置触觉效果或映射，而能依赖触觉设备制造商根据声音输出做出包括映射于当前可用的游戏的触觉的驱动程序更新。
在另一个实施例中，关联于所发现的声音特征的触觉效果并不立即作为触觉输出给用户，而是存储在存储器中形成给定声音的“触觉配置”。这可用来辅助触觉效果的设计。例如，声音文件可加载且用户可在图形用户接口中选择一个控件，以使本发明的方法生成对应于声音的合成触觉效果。然后可通过控制所生成的混合触觉效果在程序中使用所生成的触觉效果(或触觉程度、力量值等)。可选择地，触觉配置(生成的效果)可成为新的触觉效果基元，允许开发者根据此基元创建新的效果，例如，可创建周期性效果、纹理、临时配置等。
例如，游戏可以有上百种音效。可指令本发明的方法在几秒钟内加载游戏的声音文件并从标准格式(诸如.ifr文件，用于由加利福尼亚州圣何塞市的Immersion公司发明的协议中)的声音数据中创建触觉效果。这样，开发者不需要手工地创建每个触觉效果，节约了大量的开发时间。设计者还可检查生成的触觉效果并编辑它们，如果需要的话。这有利于这样的开发者，他们希望用传统的方式在他们的游戏上添加代码以将触觉效果命令到触觉设备，而又不希望花费大量时间设计适当的触觉效果。
在触觉输出后，方法回到步骤206，检查是否接收到进一步的声音数据。如果是，则按上述说明处理下一部分的声音数据。如果没有接收到进一步的声音数据，在242完成处理(在下一次输出声音数据时再开始)。
图4是一个流程图，示出图3步骤210的一个实施例，其中处理和分析存储在缓冲区中的声音数据。方法始于270，且在步骤272，设置存储的声音数据通过多个滤波器来隔离不同的频率范围。例如，如上面例子中所述将声音数据划分成五个频率范围，可使用低通滤波器、高通滤波器和三个带通滤波器。作为一个示例，低通滤波器可以滤去频率在0-170Hz外的所有数据，第一带通滤波器可滤去除了170-430Hz的所有频率，第二带通滤波器可滤去除了430Hz-2kHz的所有频率，第三带通滤波器可滤去除了2-10kHz的所有频率，而高通滤波器可滤去所有低于10kHz的频率。
在步骤274，维护从每个滤波器输出的声音幅度的移动平均。这使得从计算机输出的环境声音被平均，因此只有大于环境水平的声音将触发触觉。在下一步骤276，调节滤波器输出的幅度至用户正在使用的触觉设备所要求的范围。这样，实际滤波器输出不在背景技术中那样用于生成触觉，而是根据滤波器输出生成新的触觉命令和效果。
在一些实施例中，可调节每个滤波器输出幅度的平方。这在一些实施例中可更有效，只在每个声音数据的频率范围中挑出较大的峰值或尖峰信号并减少可能由检测到的太多的峰值发生的设备持续的噪声/振动。
在下一步骤278中，将周期性触觉效果分配给每个滤波器的输出。可为每个周期性效果可分配一个幅度，它等于为每个滤波器发现的所调节的幅度。如果滤波器没有输出，即在声音数据中不存在那个频率范围的声音，或者如果滤波器的输出不在预定阈值大小之上，那么为分配了那个频率范围的触觉效果应分配零幅度。每个周期性感觉可具有在传递相应声音频率中发现有效的五个触觉频率之一。这样的周期性触觉，诸如振动，相当适合于提供惯性触感的游戏垫或鼠标等触觉设备。振动还可由动觉反馈设备输出。其它类型触觉也可由动觉设备实施例输出，具有根据上面确定的成比例的幅度而定的程度。分配的触觉类型在不同实施例中可不同，诸如弹出、摇晃、弹力、制动等，还能够根据成比例幅度的程度输出；例如，可参考预先编程的映射来分配已映射的触觉效果。
然后方法在280完成。所分配的周期性触觉可在图3的下一步骤212中使用，其中通过控制触觉效果至触觉反馈设备输出触觉给用户。
图5是一个流程图，示出图3的步骤210的不同实施例210’，其中处理和分析存储在缓冲区中的声音数据。方法始于290，且在步骤292，对声音数据执行快速傅里叶变换(FFT)来过滤数据为数据频谱的不同频率分量。每个频率分量根据由FFT输出的许多分量和所覆盖的整个频率范围跨越一个频率范围。例如，如果FFT具有512个输出，且声音数据的整个频率范围大约为22kHz，每个FFT输出频率分量是22kHz/512＝大约43Hz的频率范围。例如，为达到类似于图4实施例的五个频率范围，四个分量可组合起来覆盖第一个频率范围0-170Hz，6个分量覆盖范围170-430Hz，37个分量覆盖范围430Hz-2kHz，185个分量覆盖范围2kHz-10kHz，而256个分量覆盖范围10-22kHz。其它频率范围和分量可用于其它实施例。
在下一步骤294，方法检查步骤292中分组的任何频率范围是否具有预定的特点。这些特点是声音数据中显著到足以触发触觉输出的特征。在一个实施例中，对每个频率范围维护平均振幅，并查找振幅中的峰值。如果找到3-4倍平均振幅的振幅峰值，那么就认为是显著的并且应由特征分配或触发触觉效果。
如果找到预定特点，那么过程继续到步骤296，将触觉效果分配给那些具有预定特点的频率范围，并且过程在298完成，方法返回到图3的步骤212。如果在步骤294没有找到具有所需特点的频率范围，那么过程在298完成并且方法返回到图3的步骤212。
分配给具有所需特点的频率范围的触觉效果可以是几个不同类型中的任意一种并/或具有不同的参数，并且不需要具有和相应声音数据振幅成比例的幅度。例如，摇晃、脉动或制动可以映射到任何抽取的声音特征(诸如振幅的升高)。摇晃或停止的幅度可基于其中找到振幅峰值的频率范围，例如，低频范围可分配较高幅度触觉(反之亦然)。周期性感觉、方向感觉(对于触觉设备能够以设备自由度的特定方向输出力)、弹力感觉、制动感觉等可映射到不同的频率范围。在一个实施例中，触觉可在幅度上相应于增加的声音数据振幅而增加，然后触觉振幅可自动降低回至零水平。同样，可以参考声音特征和触觉之间的预先编程的映射。
图5实施例的FFT输出趋向于更有效，并比图4实施例的滤波器输出提供更多的信息。例如，FFT的可提供关于哪里发生振幅峰值、波的相移或声音信号中的特征等更详细的频率信息。还应注意上述图5的不同类型触觉的分配或触发也可在图4实施例中执行，且成比例于图4的声音振幅的触觉幅度也可在图5的实施例中执行。
在一些应用中，周围的背景声，诸如游戏应用中的背景音乐，可以忽略，因此只有游戏中的音效触发要输出的触觉。通常，音效幅度比背景音乐振幅要高，使得音效能够作为高出平均振幅的峰值发现。在其它情况下，背景音乐可忽略，而音效根据音频数据类型处理。例如，如果背景音乐是MIDI格式且音效是.wav文件，那么MIDI数据可忽略而wav数据由本发明处理来提供触觉。
一些实施例还可允许用户输入优先级，它们可调整如何分析声音数据、如何分配触觉效果以及如何输出触觉。例如，触觉效果强度、识别声音特征的振幅的最小阈值水平(例如，因此在游戏中背景音乐可更好地略去)等。
本发明还可用于除游戏外的其它类型的应用程序。例如，流式音频的用户体验可通过在音频输出上加入触觉增强，因此如果用户正接触着触觉设备，同时听着音频输出，音频中诸如音乐拍子、持续音、语音特征等特征可由用户通过触觉体验。同样，本发明可以音轨方式使用，音轨伴随流视频输出，例如通过诸如因特网的网络。
尽管利用几个较佳实施例描述本发明，但其改变、交换和等价方案对于那些本领域熟练技术人员应基于详细说明的阅读和附图的研究而变得显而易见。例如，触觉反馈设备的许多不同实施例可用于输出这里所述的触觉，包括操纵杆、方向盘、游戏垫和遥控。而且，虽然为了描述清楚使用了某些专有名词，但这并不限制本发明。

Claims (6)

1.一种根据来自计算机的声音输出中检测到的声音特征来触发触觉方法，所述触觉能够被传送给与所述计算机通信的触觉反馈设备的用户，其特征在于，所述方法包括：
将部分声音数据存储在计算机的存储器缓冲区中；
使用智能启发式方法分析所述部分声音数据，并从所述部分声音数据中抽取至少一个声音特征；
将所述部分声音数据分成多个声音特征，每个声音特征基于多个频率范围中的一个或多个，每个频率范围与一种触觉效果相关联；
计算每个频率范围内声音幅度的平均值；
分析每个频率范围以确定一个或多个声音特征；以及
以所述平均值作为阈值，根据与具有大于所述阈值的声音幅度的一个或多个声音特征相关联的一个或多个频率范围来执行至少一种触觉效果。
2.如权利要求1所述的方法，其特征在于，通过对所述部分声音数据应用多个滤波器来将所述部分声音数据分成多个频率范围。
3.如权利要求2所述的方法，其特征在于，所述多个滤波器至少包括：
一个低通滤波器；
至少一个高通滤波器；以及
至少一个带通滤波器，
对所述部分声音数据应用所述多个滤波器来提供至少三个频率范围。
4.如权利要求2所述的方法，其特征在于，所述分析包括使用快速傅里叶变换FFT将所述部分声音数据分离成与多个频率范围相关联的多个频率分量。
5.如权利要求4所述的方法，其特征在于，将来自所述快速傅里叶变换的多个输出分组，以提供与多个频率范围中的每个频率范围相关联的声音特征。
6.如权利要求4所述的方法，其特征在于，所述至少一种触觉效果已被预先映射到所述至少一个声音特征。
CNB02824091XA 2001-10-09 2002-10-08 基于计算机设备的音频输出触发触觉的方法 Expired - Fee Related CN100445930C (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US09/974,759 US7623114B2 (en) 2001-10-09 2001-10-09 Haptic feedback sensations based on audio output from computer devices
US09/974,759 2001-10-09

Related Child Applications (1)

Application Number Title Priority Date Filing Date
CN2008101761451A Division CN101424975B (zh) 2001-10-09 2002-10-08 基于计算机设备的音频输出的触发触觉的方法

Publications (2)

Publication Number Publication Date
CN1599925A CN1599925A (zh) 2005-03-23
CN100445930C true CN100445930C (zh) 2008-12-24

Family

ID=25522407

Family Applications (2)

Application Number Title Priority Date Filing Date
CNB02824091XA Expired - Fee Related CN100445930C (zh) 2001-10-09 2002-10-08 基于计算机设备的音频输出触发触觉的方法
CN2008101761451A Expired - Fee Related CN101424975B (zh) 2001-10-09 2002-10-08 基于计算机设备的音频输出的触发触觉的方法

Family Applications After (1)

Application Number Title Priority Date Filing Date
CN2008101761451A Expired - Fee Related CN101424975B (zh) 2001-10-09 2002-10-08 基于计算机设备的音频输出的触发触觉的方法

Country Status (8)

Country Link
US (3) US7623114B2 (zh)
EP (1) EP1438706B1 (zh)
JP (2) JP2005506613A (zh)
KR (1) KR100925293B1 (zh)
CN (2) CN100445930C (zh)
AT (1) ATE400032T1 (zh)
DE (1) DE60227398D1 (zh)
WO (1) WO2003032289A1 (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103793048A (zh) * 2012-10-26 2014-05-14 英默森公司 独立于流的声音到触觉效应转换系统
CN107667334A (zh) * 2015-06-03 2018-02-06 雷蛇(亚太)私人有限公司 触觉装置及控制触觉装置的方法

Families Citing this family (262)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7091948B2 (en) * 1997-04-25 2006-08-15 Immersion Corporation Design of force sensations for haptic feedback computer interfaces
US6429846B2 (en) 1998-06-23 2002-08-06 Immersion Corporation Haptic feedback for touchpads and other touch controls
US6822635B2 (en) 2000-01-19 2004-11-23 Immersion Corporation Haptic interface for laptop computers and other portable devices
US7877243B2 (en) * 2001-07-16 2011-01-25 Immersion Corporation Pivotable computer interface
US7623114B2 (en) * 2001-10-09 2009-11-24 Immersion Corporation Haptic feedback sensations based on audio output from computer devices
US6703550B2 (en) * 2001-10-10 2004-03-09 Immersion Corporation Sound data output and manipulation using haptic feedback
US7369115B2 (en) * 2002-04-25 2008-05-06 Immersion Corporation Haptic devices having multiple operational modes including at least one resonant mode
US8830161B2 (en) * 2002-12-08 2014-09-09 Immersion Corporation Methods and systems for providing a virtual touch haptic effect to handheld communication devices
US8803795B2 (en) 2002-12-08 2014-08-12 Immersion Corporation Haptic communication devices
US8059088B2 (en) * 2002-12-08 2011-11-15 Immersion Corporation Methods and systems for providing haptic messaging to handheld communication devices
US8008561B2 (en) * 2003-01-17 2011-08-30 Motorola Mobility, Inc. Audio file format with mapped lighting effects and method for controlling lighting effects using an audio file format
US8841847B2 (en) 2003-01-17 2014-09-23 Motorola Mobility Llc Electronic device for controlling lighting effects using an audio file
JP4310127B2 (ja) * 2003-04-14 2009-08-05 アルプス電気株式会社 力覚付与型入力装置
JP4713070B2 (ja) * 2003-08-26 2011-06-29 ヤマハ株式会社 ポインティングデバイス
US7966034B2 (en) * 2003-09-30 2011-06-21 Sony Ericsson Mobile Communications Ab Method and apparatus of synchronizing complementary multi-media effects in a wireless communication device
US20060066569A1 (en) * 2003-12-08 2006-03-30 Immersion Corporation, A Delaware Corporation Methods and systems for providing haptic messaging to handheld communication devices
US7982711B2 (en) * 2003-12-19 2011-07-19 Immersion Corporation Haptic profiling system and method
US7742036B2 (en) * 2003-12-22 2010-06-22 Immersion Corporation System and method for controlling haptic devices having multiple operational modes
US7791588B2 (en) * 2003-12-22 2010-09-07 Immersion Corporation System and method for mapping instructions associated with haptic feedback
US20070257530A1 (en) * 2006-05-08 2007-11-08 Florez Richard E Video game chair
US20080111408A1 (en) * 2004-02-03 2008-05-15 Raymond Jamie Duran Video Game Chair
US7765333B2 (en) * 2004-07-15 2010-07-27 Immersion Corporation System and method for ordering haptic effects
US8115091B2 (en) * 2004-07-16 2012-02-14 Motorola Mobility, Inc. Method and device for controlling vibrational and light effects using instrument definitions in an audio file format
US20060017691A1 (en) * 2004-07-23 2006-01-26 Juan Manuel Cruz-Hernandez System and method for controlling audio output associated with haptic effects
CN100585546C (zh) * 2004-08-02 2010-01-27 皇家飞利浦电子股份有限公司 数据处理系统、压力敏感触摸屏以及便于用户与数据处理系统相互作用的方法
US20110191674A1 (en) * 2004-08-06 2011-08-04 Sensable Technologies, Inc. Virtual musical interface in a haptic virtual environment
US20100312129A1 (en) 2005-01-26 2010-12-09 Schecter Stuart O Cardiovascular haptic handle system
WO2007030603A2 (en) 2005-09-08 2007-03-15 Wms Gaming Inc. Gaming machine having display with sensory feedback
US8700791B2 (en) * 2005-10-19 2014-04-15 Immersion Corporation Synchronization of haptic effect data in a media transport stream
WO2007117418A2 (en) 2006-03-31 2007-10-18 Wms Gaming Inc. Portable wagering game with vibrational cues and feedback mechanism
EP3287874A1 (en) * 2006-04-06 2018-02-28 Immersion Corporation Systems and methods for enhanced haptic effects
US8378964B2 (en) * 2006-04-13 2013-02-19 Immersion Corporation System and method for automatically producing haptic events from a digital audio signal
US7979146B2 (en) 2006-04-13 2011-07-12 Immersion Corporation System and method for automatically producing haptic events from a digital audio signal
US8000825B2 (en) 2006-04-13 2011-08-16 Immersion Corporation System and method for automatically producing haptic events from a digital audio file
WO2008054856A2 (en) * 2006-04-14 2008-05-08 The Regents Of The University California Novel enhanced haptic feedback processes and products for robotic surgical prosthetics
KR20090057268A (ko) 2006-08-24 2009-06-04 코닌클리케 필립스 일렉트로닉스 엔.브이. 햅틱 여기를 발생하기 위해 오디오 신호 및/또는 비디오 신호를 처리하기 위한 디바이스 및 방법
KR20080029676A (ko) * 2006-09-29 2008-04-03 한국전자통신연구원 접촉 감각 정보 제공 장치
EP1936929A1 (en) * 2006-12-21 2008-06-25 Samsung Electronics Co., Ltd Haptic generation method and system for mobile phone
US8098234B2 (en) 2007-02-20 2012-01-17 Immersion Corporation Haptic feedback system with stored effects
WO2008151642A1 (en) * 2007-06-12 2008-12-18 Nokia Corporation Directing shoe insole
EP2167008B1 (en) * 2007-06-18 2017-03-15 Brock Seiler Vibrating footwear device and entertainment system for use therewith
JP4931240B2 (ja) * 2007-09-13 2012-05-16 インターナショナル・ビジネス・マシーンズ・コーポレーション 画像の認識を支援するシステム
US20090079690A1 (en) * 2007-09-21 2009-03-26 Sony Computer Entertainment America Inc. Method and apparatus for enhancing entertainment software through haptic insertion
US8073676B2 (en) * 2007-09-21 2011-12-06 Sony Computer Entertainment Inc. Method and apparatus for emulation enhancement
US20090088220A1 (en) * 2007-10-01 2009-04-02 Sony Ericsson Mobile Communications Ab Cellular terminals and other electronic devices and methods using electroactive polymer transducer indicators
US9019087B2 (en) 2007-10-16 2015-04-28 Immersion Corporation Synchronization of haptic effect data in a media stream
US7911328B2 (en) * 2007-11-21 2011-03-22 The Guitammer Company Capture and remote reproduction of haptic events in synchronous association with the video and audio capture and reproduction of those events
KR100930835B1 (ko) * 2008-01-29 2009-12-10 한국과학기술원 음향 재생 장치
US9513704B2 (en) 2008-03-12 2016-12-06 Immersion Corporation Haptically enabled user interface
CA2719428A1 (en) * 2008-03-27 2009-10-01 Bbs Denmark A/S A secure keypad system
US20090259359A1 (en) * 2008-04-09 2009-10-15 David Michael Whitton Variable intensity haptic level control based on vehicle conditions
EP3206381A1 (en) 2008-07-15 2017-08-16 Immersion Corporation Systems and methods for mapping message contents to virtual physical properties for vibrotactile messaging
EP2321019B1 (en) * 2008-08-11 2019-04-10 Immersion Corporation A haptic enabled gaming peripheral for a musical game
US7969287B2 (en) * 2008-08-18 2011-06-28 Visteon Global Technologies, Inc. Haptic effect control system
KR100891120B1 (ko) * 2008-09-01 2009-04-03 그로위드(주) 전기/전자기기의 감각소자 구동 및 제어용 패턴 파일 형성 방법과 패턴 파일을 이용한 전기/전자기기의 감각소자 구동 및 제어장치
US9639187B2 (en) * 2008-09-22 2017-05-02 Apple Inc. Using vibration to determine the motion of an input device
US8749495B2 (en) * 2008-09-24 2014-06-10 Immersion Corporation Multiple actuation handheld device
US9400555B2 (en) * 2008-10-10 2016-07-26 Internet Services, Llc System and method for synchronization of haptic data and media data
CN102272702A (zh) * 2008-11-04 2011-12-07 拜尔材料科学股份公司 用于触觉反馈装置的电活性聚合物换能器
GB2466242B (en) * 2008-12-15 2013-01-02 Audio Analytic Ltd Sound identification systems
US9185492B2 (en) * 2009-04-10 2015-11-10 Immerz, Inc. Systems and methods for acousto-haptic speakers
US20110063218A1 (en) * 2009-09-15 2011-03-17 International Business Machines Corporation Embedded omni-directional pointer component for limited form factor computing devices
US8605053B2 (en) * 2009-12-02 2013-12-10 Analog Devices, Inc. Method and device for detecting user input
KR20110074333A (ko) * 2009-12-24 2011-06-30 삼성전자주식회사 휴대 단말의 진동 발생 방법 및 장치
US20110248930A1 (en) * 2010-04-08 2011-10-13 Research In Motion Limited Portable electronic device and method of controlling same to provide tactile feedback
EP2575622B1 (en) * 2010-06-03 2016-04-27 B-K Medical ApS Control device
US9132352B1 (en) 2010-06-24 2015-09-15 Gregory S. Rabin Interactive system and method for rendering an object
WO2012061840A1 (en) * 2010-11-05 2012-05-10 Georgia Tech Research Corporation Haptic systems, devices, and methods using transmission of pressure through a flexible medium
US11314344B2 (en) * 2010-12-03 2022-04-26 Razer (Asia-Pacific) Pte. Ltd. Haptic ecosystem
US9448626B2 (en) * 2011-02-11 2016-09-20 Immersion Corporation Sound to haptic effect conversion system using amplitude value
US8717152B2 (en) 2011-02-11 2014-05-06 Immersion Corporation Sound to haptic effect conversion system using waveform
US8942828B1 (en) 2011-04-13 2015-01-27 Stuart Schecter, LLC Minimally invasive cardiovascular support system with true haptic coupling
CN102208138A (zh) * 2011-05-23 2011-10-05 南京航空航天大学 基于纹理触觉再现的学习和认知系统
US20120302323A1 (en) 2011-05-23 2012-11-29 Wms Gaming Inc. Haptic gaming chairs and wagering game systems and machines with a haptic gaming chair
US9083821B2 (en) * 2011-06-03 2015-07-14 Apple Inc. Converting audio to haptic feedback in an electronic device
US9142083B2 (en) 2011-06-13 2015-09-22 Bally Gaming, Inc. Convertible gaming chairs and wagering game systems and machines with a convertible gaming chair
CN102843334A (zh) * 2011-06-20 2012-12-26 华为技术有限公司 在线应用的交互方法、服务器、客户端设备和系统
US10013857B2 (en) * 2011-12-21 2018-07-03 Qualcomm Incorporated Using haptic technologies to provide enhanced media experiences
EP3557388A1 (en) * 2012-02-03 2019-10-23 Immersion Corporation Sound to haptic effect conversion system using waveform
EP3321780A1 (en) 2012-02-15 2018-05-16 Immersion Corporation High definition haptic effects generation using primitives
US9715276B2 (en) 2012-04-04 2017-07-25 Immersion Corporation Sound to haptic effect conversion system using multiple actuators
US10013082B2 (en) 2012-06-05 2018-07-03 Stuart Schecter, LLC Operating system with haptic interface for minimally invasive, hand-held surgical instrument
US9063570B2 (en) * 2012-06-27 2015-06-23 Immersion Corporation Haptic feedback control system
US9030428B2 (en) * 2012-07-11 2015-05-12 Immersion Corporation Generating haptic effects for dynamic events
CA2882453C (en) 2012-08-27 2021-07-20 Universite Du Quebec A Chicoutimi Method to determine physical properties of the ground, foot-worn sensor therefore, and method to advise a user of a risk of falling based thereon
US9116546B2 (en) * 2012-08-29 2015-08-25 Immersion Corporation System for haptically representing sensor input
US9368005B2 (en) * 2012-08-31 2016-06-14 Immersion Corporation Sound to haptic effect conversion system using mapping
CN102929386B (zh) * 2012-09-16 2019-01-25 吴东辉 一种动感重现虚拟现实的方法及系统
US8947216B2 (en) 2012-11-02 2015-02-03 Immersion Corporation Encoding dynamic haptic effects
US9898084B2 (en) 2012-12-10 2018-02-20 Immersion Corporation Enhanced dynamic haptic effects
DE102012223007A1 (de) * 2012-12-13 2014-06-18 Hilti Aktiengesellschaft Handgeführtes oder halbstationäres Werkzeuggerät und Verfahren zum Betreiben eines derartigen Werkzeuggeräts
KR101427993B1 (ko) * 2012-12-17 2014-08-08 포항공과대학교 산학협력단 오디오 신호의 햅틱 신호 변환 방법 및 이를 수행하는 장치
US9261960B2 (en) 2013-01-24 2016-02-16 Immersion Corporation Haptic sensation recording and playback
US8754757B1 (en) 2013-03-05 2014-06-17 Immersion Corporation Automatic fitting of haptic effects
US9098984B2 (en) * 2013-03-14 2015-08-04 Immersion Corporation Haptic effects broadcasting during a group event
US9866924B2 (en) * 2013-03-14 2018-01-09 Immersion Corporation Systems and methods for enhanced television interaction
US9992491B2 (en) * 2013-03-15 2018-06-05 Immersion Corporation Method and apparatus for encoding and decoding haptic information in multi-media files
KR101666393B1 (ko) * 2013-03-27 2016-10-14 한국전자통신연구원 음향효과를 이용한 촉각효과 재생 장치 및 방법
US9997032B2 (en) * 2013-04-09 2018-06-12 Immersion Corporation Offline haptic conversion system
GB2513884B (en) 2013-05-08 2015-06-17 Univ Bristol Method and apparatus for producing an acoustic field
US9519346B2 (en) 2013-05-17 2016-12-13 Immersion Corporation Low-frequency effects haptic conversion system
US9274603B2 (en) * 2013-05-24 2016-03-01 Immersion Corporation Method and apparatus to provide haptic feedback based on media content and one or more external parameters
CN105452992B (zh) 2013-05-30 2019-03-08 Tk控股公司 多维触控板
TWI557596B (zh) 2013-08-19 2016-11-11 瑞昱半導體股份有限公司 具有觸感補償功能之音訊裝置及音訊使用方法
US9652945B2 (en) * 2013-09-06 2017-05-16 Immersion Corporation Method and system for providing haptic effects based on information complementary to multimedia content
US9898085B2 (en) * 2013-09-06 2018-02-20 Immersion Corporation Haptic conversion system using segmenting and combining
US10162416B2 (en) * 2013-09-06 2018-12-25 Immersion Corporation Dynamic haptic conversion system
US9514620B2 (en) 2013-09-06 2016-12-06 Immersion Corporation Spatialized haptic feedback based on dynamically scaled values
US9711014B2 (en) * 2013-09-06 2017-07-18 Immersion Corporation Systems and methods for generating haptic effects associated with transitions in audio signals
JP6667987B2 (ja) 2013-09-06 2020-03-18 イマージョン コーポレーションＩｍｍｅｒｓｉｏｎ Ｃｏｒｐｏｒａｔｉｏｎ 触覚フィードバックを提供するための制御トラックを変換する方法及び装置
US9576445B2 (en) * 2013-09-06 2017-02-21 Immersion Corp. Systems and methods for generating haptic effects associated with an envelope in audio signals
US9245429B2 (en) * 2013-09-06 2016-01-26 Immersion Corporation Haptic warping system
US9898086B2 (en) * 2013-09-06 2018-02-20 Immersion Corporation Systems and methods for visual processing of spectrograms to generate haptic effects
US9158379B2 (en) 2013-09-06 2015-10-13 Immersion Corporation Haptic warping system that transforms a haptic signal into a collection of vibrotactile haptic effect patterns
US9619980B2 (en) 2013-09-06 2017-04-11 Immersion Corporation Systems and methods for generating haptic effects associated with audio signals
US10599218B2 (en) * 2013-09-06 2020-03-24 Immersion Corporation Haptic conversion system using frequency shifting
CN105612476B (zh) 2013-10-08 2019-09-20 Tk控股公司 自校准的触知触觉多触摸多功能开关面板
US10328344B2 (en) * 2013-10-11 2019-06-25 Valve Corporation Game controller systems and methods
US9783137B2 (en) * 2013-10-30 2017-10-10 Powervoice Co., Ltd. Sound QR system for vehicular services
US9619029B2 (en) 2013-11-14 2017-04-11 Immersion Corporation Haptic trigger control system
US9164587B2 (en) 2013-11-14 2015-10-20 Immersion Corporation Haptic spatialization system
US9349378B2 (en) * 2013-11-19 2016-05-24 Dolby Laboratories Licensing Corporation Haptic signal synthesis and transport in a bit stream
US9671826B2 (en) * 2013-11-27 2017-06-06 Immersion Corporation Method and apparatus of body-mediated digital content transfer and haptic feedback
US10437341B2 (en) 2014-01-16 2019-10-08 Immersion Corporation Systems and methods for user generated content authoring
FR3017220B1 (fr) * 2014-01-31 2017-11-03 Dav Dispositif de retour sensitif pour vehicule automobile et procede de generation d'un retour sensitif
JP2015166890A (ja) * 2014-03-03 2015-09-24 ソニー株式会社 情報処理装置、情報処理システム、情報処理方法及びプログラム
JP2015170174A (ja) * 2014-03-07 2015-09-28 ソニー株式会社 情報処理装置、情報処理システム、情報処理方法及びプログラム
KR20150110356A (ko) 2014-03-21 2015-10-02 임머숀 코퍼레이션 센서의 데이터를 햅틱 효과들로 변환하는 시스템들 및 방법들
US9886710B2 (en) * 2014-03-25 2018-02-06 Ebay Inc. Data mesh visualization
WO2015171452A1 (en) * 2014-05-09 2015-11-12 Sony Computer Entertainment Inc. Scheme for embedding a control signal in an audio signal using pseudo white noise
US9928728B2 (en) 2014-05-09 2018-03-27 Sony Interactive Entertainment Inc. Scheme for embedding a control signal in an audio signal using pseudo white noise
JP6322830B2 (ja) 2014-05-09 2018-05-16 任天堂株式会社 情報処理装置、情報処理プログラム、情報処理システム、および情報処理方法
US9330547B2 (en) * 2014-05-20 2016-05-03 Immersion Corporation Haptic effect authoring tool based on a haptification model
JP6327417B2 (ja) * 2014-05-30 2018-05-23 任天堂株式会社 情報処理システム、情報処理装置、情報処理プログラム、および情報処理方法
US9613506B2 (en) * 2014-05-30 2017-04-04 Apple Inc. Synchronization of independent output streams
US9913033B2 (en) 2014-05-30 2018-03-06 Apple Inc. Synchronization of independent output streams
JP2015231098A (ja) * 2014-06-04 2015-12-21 ソニー株式会社 振動装置、および振動方法
US10139907B2 (en) * 2014-06-16 2018-11-27 Immersion Corporation Systems and methods for foley-style haptic content creation
WO2016007426A1 (en) * 2014-07-07 2016-01-14 Immersion Corporation Second screen haptics
KR101641418B1 (ko) * 2014-07-25 2016-07-20 포항공과대학교 산학협력단 청각 주목도에 기반한 햅틱 신호 생성 방법 및 이를 위한 장치
JP6357387B2 (ja) 2014-08-26 2018-07-11 任天堂株式会社 情報処理装置、情報処理システム、情報処理プログラム及び情報処理方法
JP6441612B2 (ja) * 2014-08-26 2018-12-19 任天堂株式会社 情報処理装置、情報処理システム、情報処理プログラム及び情報処理方法
JP2016045848A (ja) 2014-08-26 2016-04-04 任天堂株式会社 情報処理装置、情報処理システム、情報処理プログラム及び情報処理方法
US10186138B2 (en) 2014-09-02 2019-01-22 Apple Inc. Providing priming cues to a user of an electronic device
GB2530036A (en) 2014-09-09 2016-03-16 Ultrahaptics Ltd Method and apparatus for modulating haptic feedback
US10466826B2 (en) 2014-10-08 2019-11-05 Joyson Safety Systems Acquisition Llc Systems and methods for illuminating a track pad system
US9174134B1 (en) 2014-11-12 2015-11-03 Immersion Corporation Peripheral device with haptic diminishment prevention component
US10185396B2 (en) 2014-11-12 2019-01-22 Immersion Corporation Haptic trigger modification system
US9812165B2 (en) 2014-12-19 2017-11-07 Immersion Corporation Systems and methods for recording haptic data for use with multi-media data
EP3037918A1 (en) * 2014-12-23 2016-06-29 Thomson Licensing System and method for localizing haptic effects on a body
US9466188B2 (en) * 2014-12-24 2016-10-11 Immersion Corporation Systems and methods for haptically-enabled alarms
JP6761225B2 (ja) * 2014-12-26 2020-09-23 和俊 尾花 手持ち型情報処理装置
US10269392B2 (en) * 2015-02-11 2019-04-23 Immersion Corporation Automated haptic effect accompaniment
KR102524966B1 (ko) 2015-02-20 2023-04-21 울트라햅틱스 아이피 엘티디 햅틱 시스템에서의 알고리즘 개선
US9841819B2 (en) 2015-02-20 2017-12-12 Ultrahaptics Ip Ltd Perceptions in a haptic system
US10613629B2 (en) 2015-03-27 2020-04-07 Chad Laurendeau System and method for force feedback interface devices
KR20170000845A (ko) 2015-06-24 2017-01-04 희성전자 주식회사 다방향 작업이 가능한 작업설비
US10818162B2 (en) 2015-07-16 2020-10-27 Ultrahaptics Ip Ltd Calibration techniques in haptic systems
US9967640B2 (en) * 2015-08-20 2018-05-08 Bodyrocks Audio Incorporation Devices, systems, and methods for vibrationally sensing audio
US9990815B2 (en) * 2016-02-18 2018-06-05 Immersion Corporation Wearable haptic effects with permissions settings
CN105807868A (zh) * 2016-04-25 2016-07-27 王明 一种靓声大功率合并式电脑
JP6371328B2 (ja) * 2016-05-11 2018-08-08 本田技研工業株式会社 能動型効果音発生装置
KR101790892B1 (ko) * 2016-05-17 2017-10-26 주식회사 씨케이머티리얼즈랩 음향 신호를 촉각 신호로 변환하기 방법 및 이를 이용하는 햅틱 장치
CN109478354B (zh) * 2016-07-22 2022-02-08 哈曼国际工业有限公司 触觉引导系统
US10699538B2 (en) * 2016-07-27 2020-06-30 Neosensory, Inc. Method and system for determining and providing sensory experiences
US10268275B2 (en) 2016-08-03 2019-04-23 Ultrahaptics Ip Ltd Three-dimensional perceptions in haptic systems
JP6401758B2 (ja) * 2016-08-25 2018-10-10 株式会社ファセテラピー 触質コンテンツ生成装置、触質コンテンツ生成方法および触質コンテンツ利用機器
CN109688990A (zh) 2016-09-06 2019-04-26 新感知公司 用于向用户提供附属感觉信息的方法和系统
US10373452B2 (en) * 2016-11-29 2019-08-06 Immersion Corporation Targeted haptic projection
KR102669181B1 (ko) * 2016-11-30 2024-05-27 삼성전자주식회사 햅틱 신호 생성 방법 및 이를 지원하는 전자 장치
US10427039B2 (en) * 2016-12-08 2019-10-01 Immersion Corporation Haptic surround functionality
US10943578B2 (en) 2016-12-13 2021-03-09 Ultrahaptics Ip Ltd Driving techniques for phased-array systems
US10297120B2 (en) * 2016-12-13 2019-05-21 Disney Enterprises, Inc. Haptic effect generation system
CN106774891A (zh) * 2016-12-15 2017-05-31 北京小鸟看看科技有限公司 虚拟现实场景的音效产生方法、设备及虚拟现实设备
US10255825B2 (en) * 2017-04-17 2019-04-09 Facebook, Inc. Calibration of haptic device using sensor harness
US10744058B2 (en) 2017-04-20 2020-08-18 Neosensory, Inc. Method and system for providing information to a user
US10371544B2 (en) 2017-05-04 2019-08-06 Wearworks Vibrating haptic device for the blind
US10732714B2 (en) 2017-05-08 2020-08-04 Cirrus Logic, Inc. Integrated haptic system
US11009957B2 (en) * 2017-06-27 2021-05-18 Ford Global Technologies, Llc Haptic device operation
US11259121B2 (en) 2017-07-21 2022-02-22 Cirrus Logic, Inc. Surface speaker
US20190041987A1 (en) * 2017-08-03 2019-02-07 Immersion Corporation Haptic effect encoding and rendering system
CN107464572B (zh) * 2017-08-16 2020-10-16 重庆科技学院 多模式交互音乐感知系统及其控制方法
KR102443324B1 (ko) * 2017-09-15 2022-09-14 풔스 디멘션 에스에이알엘 진동-촉각력 피드백 방법 및 디바이스
KR102518400B1 (ko) * 2017-11-22 2023-04-06 삼성전자주식회사 진동을 제공하는 방법 및 이를 지원하는 전자 장치
US11531395B2 (en) 2017-11-26 2022-12-20 Ultrahaptics Ip Ltd Haptic effects from focused acoustic fields
JP7483610B2 (ja) 2017-12-22 2024-05-15 ウルトラハプティクス アイピー リミテッド 触覚システムにおける不要な応答の最小化
WO2019122912A1 (en) 2017-12-22 2019-06-27 Ultrahaptics Limited Tracking in haptic systems
WO2019129427A1 (en) * 2017-12-25 2019-07-04 Arcelik Anonim Sirketi A system and a method for generating bass effect
US10620704B2 (en) 2018-01-19 2020-04-14 Cirrus Logic, Inc. Haptic output systems
US10455339B2 (en) 2018-01-19 2019-10-22 Cirrus Logic, Inc. Always-on detection systems
US10572016B2 (en) 2018-03-06 2020-02-25 Microsoft Technology Licensing, Llc Spatialized haptic device force feedback
US11139767B2 (en) 2018-03-22 2021-10-05 Cirrus Logic, Inc. Methods and apparatus for driving a transducer
US10795443B2 (en) 2018-03-23 2020-10-06 Cirrus Logic, Inc. Methods and apparatus for driving a transducer
US10667051B2 (en) 2018-03-26 2020-05-26 Cirrus Logic, Inc. Methods and apparatus for limiting the excursion of a transducer
US10820100B2 (en) 2018-03-26 2020-10-27 Cirrus Logic, Inc. Methods and apparatus for limiting the excursion of a transducer
US10832537B2 (en) 2018-04-04 2020-11-10 Cirrus Logic, Inc. Methods and apparatus for outputting a haptic signal to a haptic transducer
SG11202010752VA (en) 2018-05-02 2020-11-27 Ultrahaptics Ip Ltd Blocking plate structure for improved acoustic transmission efficiency
US11069206B2 (en) 2018-05-04 2021-07-20 Cirrus Logic, Inc. Methods and apparatus for outputting a haptic signal to a haptic transducer
WO2020013038A1 (ja) * 2018-07-10 2020-01-16 株式会社ソニー・インタラクティブエンタテインメント コントローラ装置、及びその制御方法
CN110719540A (zh) * 2018-07-12 2020-01-21 惠州迪芬尼声学科技股份有限公司 利用轨迹球调控均衡器的方法以及具有轨迹球的声音输出装置
CN109246554B (zh) * 2018-08-08 2021-02-09 瑞声科技(新加坡)有限公司 终端及其振动器的调控方法
KR102100871B1 (ko) * 2018-08-09 2020-04-23 김정욱 음원 기반의 진동패턴 생성장치
US11269415B2 (en) 2018-08-14 2022-03-08 Cirrus Logic, Inc. Haptic output systems
US20200082804A1 (en) * 2018-09-09 2020-03-12 Ultrahaptics Ip Ltd Event Triggering in Phased-Array Systems
US11098951B2 (en) 2018-09-09 2021-08-24 Ultrahaptics Ip Ltd Ultrasonic-assisted liquid manipulation
US10800433B2 (en) 2018-09-14 2020-10-13 Honda Motor Co., Ltd. Seat haptic system and method of equalizing haptic output
US11378997B2 (en) 2018-10-12 2022-07-05 Ultrahaptics Ip Ltd Variable phase and frequency pulse-width modulation technique
GB201817495D0 (en) 2018-10-26 2018-12-12 Cirrus Logic Int Semiconductor Ltd A force sensing system and method
GB2578454A (en) * 2018-10-28 2020-05-13 Cambridge Mechatronics Ltd Haptic feedback generation
EP3650956A1 (fr) 2018-11-07 2020-05-13 Tissot S.A. Procede de diffusion d'un signal acoustique
CN109999488A (zh) * 2018-12-29 2019-07-12 瑞声科技(新加坡)有限公司 一种振动方法、终端及存储介质
US11550395B2 (en) 2019-01-04 2023-01-10 Ultrahaptics Ip Ltd Mid-air haptic textures
US11533557B2 (en) 2019-01-22 2022-12-20 Universal City Studios Llc Ride vehicle with directional speakers and haptic devices
JP7253183B2 (ja) * 2019-02-18 2023-04-06 株式会社東海理化電機製作所 制御装置およびプログラム
KR102273805B1 (ko) * 2019-02-19 2021-07-06 주식회사 동운아나텍 오디오 신호 패턴을 이용한 햅틱 신호 발생 방법 및 장치
CN109947248A (zh) * 2019-03-14 2019-06-28 努比亚技术有限公司 振动控制方法、移动终端及计算机可读存储介质
US11509292B2 (en) 2019-03-29 2022-11-22 Cirrus Logic, Inc. Identifying mechanical impedance of an electromagnetic load using least-mean-squares filter
US10828672B2 (en) 2019-03-29 2020-11-10 Cirrus Logic, Inc. Driver circuitry
US10726683B1 (en) 2019-03-29 2020-07-28 Cirrus Logic, Inc. Identifying mechanical impedance of an electromagnetic load using a two-tone stimulus
US12035445B2 (en) 2019-03-29 2024-07-09 Cirrus Logic Inc. Resonant tracking of an electromagnetic load
US11283337B2 (en) 2019-03-29 2022-03-22 Cirrus Logic, Inc. Methods and systems for improving transducer dynamics
US11644370B2 (en) 2019-03-29 2023-05-09 Cirrus Logic, Inc. Force sensing with an electromagnetic load
US10955955B2 (en) 2019-03-29 2021-03-23 Cirrus Logic, Inc. Controller for use in a device comprising force sensors
US10992297B2 (en) 2019-03-29 2021-04-27 Cirrus Logic, Inc. Device comprising force sensors
US11842517B2 (en) 2019-04-12 2023-12-12 Ultrahaptics Ip Ltd Using iterative 3D-model fitting for domain adaptation of a hand-pose-estimation neural network
WO2020219073A1 (en) * 2019-04-26 2020-10-29 Hewlett-Packard Development Company, L.P. Spatial audio and haptics
US10976825B2 (en) 2019-06-07 2021-04-13 Cirrus Logic, Inc. Methods and apparatuses for controlling operation of a vibrational output system and/or operation of an input sensor system
US11150733B2 (en) 2019-06-07 2021-10-19 Cirrus Logic, Inc. Methods and apparatuses for providing a haptic output signal to a haptic actuator
GB2604215B (en) 2019-06-21 2024-01-31 Cirrus Logic Int Semiconductor Ltd A method and apparatus for configuring a plurality of virtual buttons on a device
US11853479B2 (en) * 2019-09-16 2023-12-26 Jonah B Saunders Haptic garment
WO2021062276A1 (en) 2019-09-25 2021-04-01 Neosensory, Inc. System and method for haptic stimulation
US11374586B2 (en) 2019-10-13 2022-06-28 Ultraleap Limited Reducing harmonic distortion by dithering
US11553295B2 (en) 2019-10-13 2023-01-10 Ultraleap Limited Dynamic capping with virtual microphones
US11408787B2 (en) 2019-10-15 2022-08-09 Cirrus Logic, Inc. Control methods for a force sensor system
US11467668B2 (en) 2019-10-21 2022-10-11 Neosensory, Inc. System and method for representing virtual object information with haptic stimulation
US11380175B2 (en) 2019-10-24 2022-07-05 Cirrus Logic, Inc. Reproducibility of haptic waveform
US11545951B2 (en) 2019-12-06 2023-01-03 Cirrus Logic, Inc. Methods and systems for detecting and managing amplifier instability
US11715453B2 (en) 2019-12-25 2023-08-01 Ultraleap Limited Acoustic transducer structures
US11422629B2 (en) 2019-12-30 2022-08-23 Joyson Safety Systems Acquisition Llc Systems and methods for intelligent waveform interruption
KR102286822B1 (ko) * 2020-01-06 2021-08-06 김수영 음향을 촉각 효과로 변환하는 시스템 및 방법
WO2021142162A1 (en) 2020-01-07 2021-07-15 Neosensory, Inc. Method and system for haptic stimulation
US11662821B2 (en) 2020-04-16 2023-05-30 Cirrus Logic, Inc. In-situ monitoring, calibration, and testing of a haptic actuator
CN111610856B (zh) * 2020-04-30 2024-04-26 北京小米移动软件有限公司 震动反馈方法、震动反馈装置及存储介质
US11816267B2 (en) 2020-06-23 2023-11-14 Ultraleap Limited Features of airborne ultrasonic fields
CN114205700A (zh) * 2020-09-17 2022-03-18 迪芬尼声学科技股份有限公司 耳机设备及其触觉反馈方法
WO2022058738A1 (en) 2020-09-17 2022-03-24 Ultraleap Limited Ultrahapticons
CN112083807B (zh) * 2020-09-20 2021-10-29 吉林大学 一种基于音触转换的足部地形触觉再现方法及装置
US11497675B2 (en) 2020-10-23 2022-11-15 Neosensory, Inc. Method and system for multimodal stimulation
CN112506341B (zh) * 2020-12-01 2022-05-03 瑞声新能源发展(常州)有限公司科教城分公司 一种振动效果的生成方法、装置、终端设备及存储介质
JP7552338B2 (ja) 2020-12-18 2024-09-18 株式会社Ｊｖｃケンウッド 情報提供装置、情報提供方法、およびプログラム
KR102457452B1 (ko) * 2020-12-21 2022-10-21 신성호 촉감 발생 장치 및 그 구동 방법
JP7340556B2 (ja) 2021-02-26 2023-09-07 任天堂株式会社 振動制御システム
US11933822B2 (en) 2021-06-16 2024-03-19 Cirrus Logic Inc. Methods and systems for in-system estimation of actuator parameters
US11908310B2 (en) 2021-06-22 2024-02-20 Cirrus Logic Inc. Methods and systems for detecting and managing unexpected spectral content in an amplifier system
US11765499B2 (en) 2021-06-22 2023-09-19 Cirrus Logic Inc. Methods and systems for managing mixed mode electromechanical actuator drive
US11862147B2 (en) 2021-08-13 2024-01-02 Neosensory, Inc. Method and system for enhancing the intelligibility of information for a user
CN115877945A (zh) * 2021-09-30 2023-03-31 株式会社电装天 信息处理装置、信息处理系统和信息处理方法
US11995240B2 (en) 2021-11-16 2024-05-28 Neosensory, Inc. Method and system for conveying digital texture information to a user
US11552649B1 (en) 2021-12-03 2023-01-10 Cirrus Logic, Inc. Analog-to-digital converter-embedded fixed-phase variable gain amplifier stages for dual monitoring paths
CN114995638B (zh) * 2022-05-12 2024-08-23 北京有竹居网络技术有限公司 触觉信号生成方法、装置、可读介质及电子设备
US20240115937A1 (en) * 2022-10-11 2024-04-11 Sony Interactive Entertainment Inc. Haptic asset generation for eccentric rotating mass (erm) from low frequency audio content
GB2627793A (en) * 2023-03-02 2024-09-04 Sony Interactive Entertainment Inc System and method for providing haptic feedback

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5651070A (en) * 1995-04-12 1997-07-22 Blunt; Thomas O. Warning device programmable to be sensitive to preselected sound frequencies
US6139324A (en) * 1998-03-04 2000-10-31 D-Box Audio Inc. Multi-sense home entertainment chair transducer system
US6285351B1 (en) * 1997-04-25 2001-09-04 Immersion Corporation Designing force sensations for computer applications including sounds

Family Cites Families (266)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US3157853A (en) * 1957-12-06 1964-11-17 Hirsch Joseph Tactile communication system
US2972140A (en) * 1958-09-23 1961-02-14 Hirsch Joseph Apparatus and method for communication through the sense of touch
GB958325A (en) * 1962-07-08 1964-05-21 Communications Patents Ltd Improvements in or relating to ground-based flight training or simulating apparatus
US3623046A (en) 1965-10-05 1971-11-23 Lynch Corp Transducer system
US3497668A (en) * 1966-08-25 1970-02-24 Joseph Hirsch Tactile control system
US3517446A (en) * 1967-04-19 1970-06-30 Singer General Precision Vehicle trainer controls and control loading
US3623064A (en) * 1968-10-11 1971-11-23 Bell & Howell Co Paging receiver having cycling eccentric mass
US3903614A (en) * 1970-03-27 1975-09-09 Singer Co Apparatus for simulating aircraft control loading
US3765624A (en) 1971-09-29 1973-10-16 Us Navy Fluidically augmented variable gain artificial feel system
JPS4990914U (zh) 1972-11-25 1974-08-07
JPS5240841B2 (zh) * 1972-12-28 1977-10-14
JPS49118401U (zh) 1973-02-07 1974-10-09
JPS49118401A (zh) * 1973-03-12 1974-11-12
US3902687A (en) * 1973-06-25 1975-09-02 Robert E Hightower Aircraft indicator system
JPS5245921Y2 (zh) 1973-06-30 1977-10-19
JPS57511B2 (zh) * 1973-07-05 1982-01-06
US3911416A (en) * 1974-08-05 1975-10-07 Motorola Inc Silent call pager
JPS51123017A (en) * 1975-04-18 1976-10-27 Matsushita Electric Ind Co Ltd Voice responce indecator
US4081829A (en) * 1976-08-23 1978-03-28 Atari, Inc. Audio activated video display
US4160508A (en) * 1977-08-19 1979-07-10 Nasa Controller arm for a remotely related slave arm
JPS6022805B2 (ja) 1977-08-23 1985-06-04 オリンパス光学工業株式会社 拘束解除用電磁石装置
US4127752A (en) * 1977-10-13 1978-11-28 Sheldahl, Inc. Tactile touch switch panel
JPS54116618A (en) 1978-03-02 1979-09-11 Ricoh Co Ltd Step motor driving control system
US4262549A (en) * 1978-05-10 1981-04-21 Schwellenbach Donald D Variable mechanical vibrator
US4236325A (en) * 1978-12-26 1980-12-02 The Singer Company Simulator control loading inertia compensator
US4334280A (en) 1980-06-09 1982-06-08 Texas Instruments Incorporated System and method for providing an audible sound and a tactile feedback in an electronic data processing system
US4355348A (en) * 1980-07-30 1982-10-19 Williams Theodore R Audio signal responsive optical display
US4464117A (en) * 1980-08-27 1984-08-07 Dr. Ing. Reiner Foerst Gmbh Driving simulator apparatus
US4333070A (en) * 1981-02-06 1982-06-01 Barnes Robert W Motor vehicle fuel-waste indicator
US4382217A (en) 1981-05-15 1983-05-03 Gould Inc. Starting control circuit for an A.C. motor
US4599070A (en) * 1981-07-29 1986-07-08 Control Interface Company Limited Aircraft simulator and simulated control system therefor
JPS5829754U (ja) 1981-08-21 1983-02-26 日立金属株式会社 ドアロツク用アクチユエ−タ
EP0085518B1 (en) * 1982-01-22 1989-08-16 British Aerospace Public Limited Company Control apparatus
US4484191A (en) * 1982-06-14 1984-11-20 Vavra George S Tactile signaling systems for aircraft
US4937685A (en) * 1983-12-02 1990-06-26 Lex Computer And Management Corporation Method of display presentation for video editing
US4581491A (en) * 1984-05-04 1986-04-08 Research Corporation Wearable tactile sensory aid providing information on voice pitch and intonation patterns
US4935728A (en) 1985-01-02 1990-06-19 Altra Corporation Computer control
US5078152A (en) * 1985-06-23 1992-01-07 Loredan Biomedical, Inc. Method for diagnosis and/or training of proprioceptor feedback capabilities in a muscle and joint system of a human patient
GB2179775B (en) 1985-08-30 1989-01-25 Unisys Corp Tactile alarm system for gaining the attention of an individual
US4713007A (en) * 1985-10-11 1987-12-15 Alban Eugene P Aircraft controls simulator
US5275174B1 (en) * 1985-10-30 1998-08-04 Jonathan A Cook Repetitive strain injury assessment
NL8503096A (nl) * 1985-11-11 1987-06-01 Fokker Bv Simulator van mechanische eigenschappen van een besturingssysteem.
US4934694A (en) * 1985-12-06 1990-06-19 Mcintosh James L Computer controlled exercise system
US4891764A (en) * 1985-12-06 1990-01-02 Tensor Development Inc. Program controlled force measurement and control system
US5195179A (en) 1986-01-29 1993-03-16 Hitachi, Ltd. Coordinate input apparatus
US4768412A (en) 1986-05-09 1988-09-06 Sanderson Stephen N Low profile keyboard device and system for recording and scoring music
US4897582A (en) 1987-01-06 1990-01-30 Harris Corp. Linear dc motor vibration controller
US4794392A (en) * 1987-02-20 1988-12-27 Motorola, Inc. Vibrator alert device for a communication receiver
JPS6443398U (zh) * 1987-09-10 1989-03-15
US5038089A (en) * 1988-03-23 1991-08-06 The United States Of America As Represented By The Administrator Of The National Aeronautics And Space Administration Synchronized computational architecture for generalized bilateral control of robot arms
US4885565A (en) * 1988-06-01 1989-12-05 General Motors Corporation Touchscreen CRT with tactile feedback
NL8801653A (nl) 1988-06-29 1990-01-16 Stork Kwant Bv Besturingsstelsel.
US4930770A (en) * 1988-12-01 1990-06-05 Baker Norman A Eccentrically loaded computerized positive/negative exercise machine
US4933584A (en) 1988-12-22 1990-06-12 General Electric Company Electronically commutated motor having skewed magnetics
JPH02185278A (ja) 1989-01-12 1990-07-19 Taito Corp 光線銃射撃ゲーム装置
US5186695A (en) * 1989-02-03 1993-02-16 Loredan Biomedical, Inc. Apparatus for controlled exercise and diagnosis of human performance
US5019761A (en) * 1989-02-21 1991-05-28 Kraft Brett W Force feedback control for backhoe
KR930010167B1 (ko) 1989-03-31 1993-10-15 샤프 가부시끼가이샤 신호 발생회로 및 이 회로를 이용한 컴프레서 제어장치
JPH0633752Y2 (ja) * 1989-11-24 1994-08-31 サンデン株式会社 振動装置
US5022407A (en) * 1990-01-24 1991-06-11 Topical Testing, Inc. Apparatus for automated tactile testing
JPH03292524A (ja) 1990-04-11 1991-12-24 Oki Electric Ind Co Ltd カーソル移動方式
US5035242A (en) * 1990-04-16 1991-07-30 David Franklin Method and apparatus for sound responsive tactile stimulation of deaf individuals
JPH0685820B2 (ja) 1990-04-25 1994-11-02 株式会社エポック社 体感ゲーム機
US5022384A (en) * 1990-05-14 1991-06-11 Capitol Systems Vibrating/massage chair
JPH04230798A (ja) * 1990-05-28 1992-08-19 Matsushita Electric Ind Co Ltd 雑音予測装置
US5547382A (en) * 1990-06-28 1996-08-20 Honda Giken Kogyo Kabushiki Kaisha Riding simulation system for motorcycles
US5165897A (en) * 1990-08-10 1992-11-24 Tini Alloy Company Programmable tactile stimulator array system and method of operation
US5264836A (en) 1991-01-15 1993-11-23 Apple Computer, Inc. Three dimensional cursor
US5212473A (en) * 1991-02-21 1993-05-18 Typeright Keyboard Corp. Membrane keyboard and method of using same
US5334027A (en) * 1991-02-25 1994-08-02 Terry Wherlock Big game fish training and exercise device and method
US5194786A (en) 1991-02-27 1993-03-16 Kollmorgen Corporation Linear current source amplifier for brushless dc motor
US5240417A (en) * 1991-03-14 1993-08-31 Atari Games Corporation System and method for bicycle riding simulation
JPH06507734A (ja) * 1991-03-21 1994-09-01 アタリ　ゲームズ　コーポレーション 交差ネットワーク型フィードバックを含む乗物シミュレータ
US5203563A (en) * 1991-03-21 1993-04-20 Atari Games Corporation Shaker control device
US5524187A (en) 1991-03-25 1996-06-04 The Trustees Of Columbia University Worlds-within-worlds nested display and interaction system and method
US5351412A (en) 1991-06-11 1994-10-04 International Business Machines Corporation Micro positioning device
US5388992A (en) * 1991-06-19 1995-02-14 Audiological Engineering Corporation Method and apparatus for tactile transduction of acoustic signals from television receivers
DE69225972T2 (de) 1991-07-12 1999-02-18 Denne Developments Ltd., Bournemouth Elektromagnetische Vorrichtung zum Erzeugen einer Linearbewegung
US5321762A (en) 1991-08-05 1994-06-14 Aura Systems, Inc. Voice coil actuator
US5175459A (en) * 1991-08-19 1992-12-29 Motorola, Inc. Low profile vibratory alerting device
US5186629A (en) * 1991-08-22 1993-02-16 International Business Machines Corporation Virtual graphics display capable of presenting icons and windows to the blind computer user and method
US5889670A (en) * 1991-10-24 1999-03-30 Immersion Corporation Method and apparatus for tactilely responsive user interface
US5271290A (en) * 1991-10-29 1993-12-21 United Kingdom Atomic Energy Authority Actuator assembly
US5309140A (en) * 1991-11-26 1994-05-03 The United States Of America As Represented By The Secretary Of The Navy Feedback system for remotely operated vehicles
US5471571A (en) 1991-12-27 1995-11-28 Xerox Corporation Method and apparatus for setting a graphical object's position and orientation with viscous dragging
JPH05192449A (ja) 1992-01-20 1993-08-03 Taito Corp ビデオ式銃撃戦ゲーム装置及びその装置を制御する方法
FR2688105B1 (fr) 1992-02-28 1994-05-06 Moving Magnet Technologies Sa Actionneur rotatif electromagnetique monophase de course entre 60 et 120 degres.
US5999185A (en) 1992-03-30 1999-12-07 Kabushiki Kaisha Toshiba Virtual reality control using image, model and control data to manipulate interactions
US5757358A (en) 1992-03-31 1998-05-26 The United States Of America As Represented By The Secretary Of The Navy Method and apparatus for enhancing computer-user selection of computer-displayed objects through dynamic selection area and constant visual feedback
US5189355A (en) * 1992-04-10 1993-02-23 Ampex Corporation Interactive rotary controller system with tactile feedback
JP2677315B2 (ja) * 1992-04-27 1997-11-17 株式会社トミー 運転玩具
US5245245A (en) 1992-05-04 1993-09-14 Motorola, Inc. Mass-loaded cantilever vibrator
US5437607A (en) * 1992-06-02 1995-08-01 Hwe, Inc. Vibrating massage apparatus
US5327790A (en) 1992-06-19 1994-07-12 Massachusetts Institute Of Technology Reaction sensing torque actuator
JP2605550B2 (ja) 1992-07-14 1997-04-30 岩崎通信機株式会社 レーザー光用電子写真式平版印刷版
EP0580117A3 (en) 1992-07-20 1994-08-24 Tdk Corp Moving magnet-type actuator
US6008800A (en) 1992-09-18 1999-12-28 Pryor; Timothy R. Man machine interfaces for entering data into a computer
US5283970A (en) * 1992-09-25 1994-02-08 Strombecker Corporation Toy guns
JPH06126041A (ja) * 1992-10-20 1994-05-10 Casio Comput Co Ltd ゲーム装置
US5629594A (en) * 1992-12-02 1997-05-13 Cybernet Systems Corporation Force feedback system
US6433771B1 (en) 1992-12-02 2002-08-13 Cybernet Haptic Systems Corporation Haptic device attribute control
US6131097A (en) * 1992-12-02 2000-10-10 Immersion Corporation Haptic authoring
US5526480A (en) 1992-12-28 1996-06-11 International Business Machines Corporation Time domain scroll bar for multimedia presentations in a data processing system
US5550562A (en) 1993-01-12 1996-08-27 Fujitsu Limited Data processing device that enables mouse-operated application programs to be operated from an operation pad, and an operation pad for use with the same
US5451924A (en) * 1993-01-14 1995-09-19 Massachusetts Institute Of Technology Apparatus for providing sensory substitution of force feedback
US5675709A (en) * 1993-01-21 1997-10-07 Fuji Xerox Co., Ltd. System for efficiently processing digital sound data in accordance with index data of feature quantities of the sound data
US5785630A (en) * 1993-02-02 1998-07-28 Tectrix Fitness Equipment, Inc. Interactive exercise apparatus
US5690582A (en) * 1993-02-02 1997-11-25 Tectrix Fitness Equipment, Inc. Interactive exercise apparatus
US5374942A (en) 1993-02-05 1994-12-20 Gilligan; Federico G. Mouse and method for concurrent cursor position and scrolling control
JPH0675438U (ja) * 1993-04-07 1994-10-25 並木精密宝石株式会社 ろうあ者向振動ペイジャー型音声検知装置
US5456341A (en) 1993-04-23 1995-10-10 Moog Inc. Method and apparatus for actively adjusting and controlling a resonant mass-spring system
US5524195A (en) 1993-05-24 1996-06-04 Sun Microsystems, Inc. Graphical user interface for interactive television with an animated agent
US5405152A (en) * 1993-06-08 1995-04-11 The Walt Disney Company Method and apparatus for an interactive video game with physical feedback
US5436622A (en) * 1993-07-06 1995-07-25 Motorola, Inc. Variable frequency vibratory alert method and structure
US5466213A (en) * 1993-07-06 1995-11-14 Massachusetts Institute Of Technology Interactive robotic therapist
JP2856036B2 (ja) 1993-07-12 1999-02-10 株式会社セガ・エンタープライゼス スライド式振動機構を備えたゲーム機用ガンユニット及びゲーム装置
US5347306A (en) 1993-12-17 1994-09-13 Mitsubishi Electric Research Laboratories, Inc. Animated electronic meeting place
US5461711A (en) 1993-12-22 1995-10-24 Interval Research Corporation Method and system for spatial accessing of time-based information
US5438529A (en) 1994-01-26 1995-08-01 Immersion Human Interface Corporation Percussion input device for personal computer systems
CA2140164A1 (en) 1994-01-27 1995-07-28 Kenneth R. Robertson System and method for computer cursor control
US6404107B1 (en) 1994-01-27 2002-06-11 Active Control Experts, Inc. Packaged strain actuator
US5554900A (en) 1994-02-04 1996-09-10 Schlenker Enterprises Ltd. Motor including embedded permanent-magnet rotor
US5564004A (en) 1994-04-13 1996-10-08 International Business Machines Corporation Method and system for facilitating the selection of icons
US5586257A (en) 1994-05-05 1996-12-17 Perlman; Stephen G. Network architecture to support multiple site real-time video games
US6160489A (en) * 1994-06-23 2000-12-12 Motorola, Inc. Wireless communication device adapted to generate a plurality of distinctive tactile alert patterns
US5565887A (en) 1994-06-29 1996-10-15 Microsoft Corporation Method and apparatus for moving a cursor on a computer screen
CA2195227C (en) 1994-07-19 2002-10-29 Junji Furusho Virtual reality and telereality system
US5835693A (en) 1994-07-22 1998-11-10 Lynch; James D. Interactive system for simulation and display of multi-body systems in three dimensions
US5575761A (en) * 1994-07-27 1996-11-19 Hajianpour; Mohammed-Ali Massage device applying variable-frequency vibration in a variable pulse sequence
US5808381A (en) 1994-08-09 1998-09-15 Hitachi Metals, Ltd. Linear motor
EP0776499B1 (en) * 1994-08-18 2000-02-02 Interval Research Corporation Content-based haptic input device for video
US5649020A (en) 1994-08-29 1997-07-15 Motorola, Inc. Electronic driver for an electromagnetic resonant transducer
US5669818A (en) * 1995-03-23 1997-09-23 Thorner; Craig Seat-based tactile sensation generator
US5684722A (en) * 1994-09-21 1997-11-04 Thorner; Craig Apparatus and method for generating a control signal for a tactile sensation generator
US5565840A (en) * 1994-09-21 1996-10-15 Thorner; Craig Tactile sensation generator
US6422941B1 (en) 1994-09-21 2002-07-23 Craig Thorner Universal tactile feedback system for computer video games and simulations
US5570111A (en) 1994-10-03 1996-10-29 International Business Machines Corporation Graphical user interface cursor positioning device having a negative inertia transfer function
US5766016A (en) * 1994-11-14 1998-06-16 Georgia Tech Research Corporation Surgical simulator and method for simulating surgical procedure
DE69525308T2 (de) 1994-11-15 2002-07-04 Microsoft Corp Hinausgleitender Schnittstellenbalken
US5696535A (en) 1994-11-17 1997-12-09 International Business Machines Corporation Graphics display pointer with integrated selection
IT1280212B1 (it) 1995-02-14 1998-01-05 Sintecna S R L Procedimento di controllo di dispositivi per il puntamento del cursore sullo schermo di sistemi interattivi e logica per la sua attuazione
US5565888A (en) 1995-02-17 1996-10-15 International Business Machines Corporation Method and apparatus for improving visibility and selectability of icons
JP3348265B2 (ja) 1995-03-27 2002-11-20 富士通株式会社 架間転送制御方式
EP0747807B1 (en) 1995-04-11 2002-03-06 Dragon Systems Inc. Moving an element shown on a computer display
US5492312A (en) 1995-04-17 1996-02-20 Lord Corporation Multi-degree of freedom magnetorheological devices and system for using same
US5661446A (en) 1995-06-07 1997-08-26 Mts Systems Corporation Electromagnetic actuator
US6166723A (en) 1995-11-17 2000-12-26 Immersion Corporation Mouse interface device providing force feedback
US5650704A (en) 1995-06-29 1997-07-22 Massachusetts Institute Of Technology Elastic actuator for precise force control
JP3562049B2 (ja) 1995-07-21 2004-09-08 セイコーエプソン株式会社 映像表示方法および装置
US5628686A (en) 1995-07-31 1997-05-13 Microsoft Corporation Apparatus and method for bidirectional data communication in a game port
US5749533A (en) 1995-08-03 1998-05-12 Daniels; John J. Fishing reel with electronically variable brake for preventing backlash
US5864342A (en) 1995-08-04 1999-01-26 Microsoft Corporation Method and system for rendering graphical objects to image chunks
US5977977A (en) 1995-08-04 1999-11-02 Microsoft Corporation Method and system for multi-pass rendering
DE69630509T2 (de) 1995-08-11 2004-08-12 Ebara Corp. Magnetschwebe-Dämpfungsgerät
US5805165A (en) 1995-08-31 1998-09-08 Microsoft Corporation Method of selecting a displayed control item
US5808601A (en) 1995-09-12 1998-09-15 International Business Machines Corporation Interactive object selection pointer method and apparatus
US5959613A (en) * 1995-12-01 1999-09-28 Immersion Corporation Method and apparatus for shaping force signals for a force feedback device
KR100371456B1 (ko) 1995-10-09 2004-03-30 닌텐도가부시키가이샤 삼차원화상처리시스템
US5990875A (en) 1995-10-16 1999-11-23 Packard Bell Nec Double pen up event
US5896125A (en) 1995-11-06 1999-04-20 Niedzwiecki; Richard H. Configurable keyboard to personal computer video game controller adapter
US5767457A (en) * 1995-11-13 1998-06-16 Cirque Corporation Apparatus and method for audible feedback from input device
US5710574A (en) 1995-11-14 1998-01-20 International Business Machines Corporation Method and system for positioning a graphical pointer within a widget of a data processing system graphical user interface
JPH09140168A (ja) 1995-11-15 1997-05-27 Nikon Corp 振動モータの駆動装置
US6639581B1 (en) 1995-11-17 2003-10-28 Immersion Corporation Flexure mechanism for interface device
US5877748A (en) 1995-11-20 1999-03-02 Redlich; Sanford I. Computer control input interface system
JPH10513593A (ja) * 1995-11-24 1998-12-22 フィリップス エレクトロニクス ネムローゼ フェンノートシャップ 触覚刺激によって強調された仮想現実を示す方法と、この方法を実行するシステム
AU1328597A (en) * 1995-11-30 1997-06-19 Virtual Technologies, Inc. Tactile feedback man-machine interface device
US6169540B1 (en) 1995-12-01 2001-01-02 Immersion Corporation Method and apparatus for designing force sensations in force feedback applications
US5956484A (en) 1995-12-13 1999-09-21 Immersion Corporation Method and apparatus for providing force feedback over a computer network
US6028593A (en) 1995-12-01 2000-02-22 Immersion Corporation Method and apparatus for providing simulated physical interactions within computer generated environments
US6147674A (en) 1995-12-01 2000-11-14 Immersion Corporation Method and apparatus for designing force sensations in force feedback computer applications
US6750877B2 (en) 1995-12-13 2004-06-15 Immersion Corporation Controlling haptic feedback for enhancing navigation in a graphical environment
US6161126A (en) * 1995-12-13 2000-12-12 Immersion Corporation Implementing force feedback over the World Wide Web and other computer networks
US6078308A (en) 1995-12-13 2000-06-20 Immersion Corporation Graphical click surfaces for force feedback applications to provide user selection using cursor interaction with a trigger position within a boundary of a graphical object
US6300936B1 (en) * 1997-11-14 2001-10-09 Immersion Corporation Force feedback system including multi-tasking graphical host environment and interface device
KR19980032013A (ko) 1995-12-15 1998-07-25 모리시타요오이찌 진동 발생장치
ATE250801T1 (de) * 1996-03-08 2003-10-15 Motorola Inc Verfahren und gerät zum erkennen von geräuschsignalproben aus einem geräusch
ITPN960017A1 (it) 1996-03-12 1997-09-12 Sole Spa Macchina elettrica, in particolare motore elettrico
DE19613025A1 (de) 1996-03-19 1997-09-25 Peter Klose Eingabegerät zum Anschluß an einen Computer
US5668423A (en) 1996-03-21 1997-09-16 You; Dong-Ok Exciter for generating vibration in a pager
US6111577A (en) * 1996-04-04 2000-08-29 Massachusetts Institute Of Technology Method and apparatus for determining forces to be applied to a user through a haptic interface
JP3007047B2 (ja) * 1996-04-19 2000-02-07 建司 高橋 音響識別装置
US5857986A (en) * 1996-05-24 1999-01-12 Moriyasu; Hiro Interactive vibrator for multimedia
US5737144A (en) 1996-06-05 1998-04-07 Quantum Corporation Switched boost voltage generator for actuator retract in disk drive
US5802353A (en) 1996-06-12 1998-09-01 General Electric Company Haptic computer modeling system
US5795228A (en) * 1996-07-03 1998-08-18 Ridefilm Corporation Interactive computer-based entertainment system
US5791992A (en) 1996-07-31 1998-08-11 International Business Machines Corporation Video game system with internet cartridge
US5896139A (en) 1996-08-01 1999-04-20 Platinum Technology Ip, Inc. System and method for optimizing a scene graph for optimizing rendering performance
US6084587A (en) 1996-08-02 2000-07-04 Sensable Technologies, Inc. Method and apparatus for generating and interfacing with a haptic virtual reality environment
US5877750A (en) 1996-09-17 1999-03-02 International Business Machines Corporation Method and apparatus for in-place line width selection for graphics applications
JPH10111958A (ja) 1996-10-04 1998-04-28 Olympus Optical Co Ltd コンピュータグラフィックスを用いたシミュレーションシステム及びシミュレーションシステムにおけるモデル表現方法
US5889506A (en) 1996-10-25 1999-03-30 Matsushita Electric Industrial Co., Ltd. Video user's environment
GB9622556D0 (en) 1996-10-30 1997-01-08 Philips Electronics Nv Cursor control with user feedback mechanism
US5884029A (en) 1996-11-14 1999-03-16 International Business Machines Corporation User interaction with intelligent virtual objects, avatars, which interact with other avatars controlled by different users
US5973670A (en) 1996-12-31 1999-10-26 International Business Machines Corporation Tactile feedback controller for computer cursor control device
US6111562A (en) 1997-01-06 2000-08-29 Intel Corporation System for generating an audible cue indicating the status of a display object
US5841710A (en) 1997-02-14 1998-11-24 Micron Electronics, Inc. Dynamic address remapping decoder
GB9706711D0 (en) 1997-04-02 1997-05-21 Philips Electronics Nv User interface with compound cursor
US6160907A (en) 1997-04-07 2000-12-12 Synapix, Inc. Iterative three-dimensional process for creating finished media content
JPH10295937A (ja) 1997-04-24 1998-11-10 Sony Computer Entertainment:Kk ゲーム機用操作装置
US7091948B2 (en) * 1997-04-25 2006-08-15 Immersion Corporation Design of force sensations for haptic feedback computer interfaces
US6005551A (en) * 1997-04-25 1999-12-21 Microsoft Corporation Offline force effect rendering
US6292170B1 (en) * 1997-04-25 2001-09-18 Immersion Corporation Designing compound force sensations for computer applications
US6215495B1 (en) 1997-05-30 2001-04-10 Silicon Graphics, Inc. Platform independent application program interface for interactive 3D scene management
US6071194A (en) 1997-06-19 2000-06-06 Act Labs Ltd Reconfigurable video game controller
US6057753A (en) 1997-07-03 2000-05-02 Projects Unlimited, Inc. Vibrational transducer
AUPO794697A0 (en) 1997-07-15 1997-08-07 Silverbrook Research Pty Ltd A device (MEMS10)
US6292174B1 (en) 1997-08-23 2001-09-18 Immersion Corporation Enhanced cursor control using limited-workspace force feedback devices
US6002184A (en) 1997-09-17 1999-12-14 Coactive Drive Corporation Actuator with opposing repulsive magnetic forces
JP3560450B2 (ja) 1997-10-29 2004-09-02 アルプス電気株式会社 ゲーム機用操作装置
US6394239B1 (en) 1997-10-29 2002-05-28 Lord Corporation Controllable medium device and apparatus utilizing same
US6252583B1 (en) * 1997-11-14 2001-06-26 Immersion Corporation Memory and force output management for a force feedback system
KR100263167B1 (ko) 1997-11-21 2000-08-01 윤종용 엘씨디 모니터의 해상도 변환장치
JPH11155955A (ja) * 1997-11-26 1999-06-15 Hisanobu Kaitani 恐怖症治療装置
US5896076A (en) 1997-12-29 1999-04-20 Motran Ind Inc Force actuator with dual magnetic operation
US5984880A (en) * 1998-01-20 1999-11-16 Lander; Ralph H Tactile feedback controlled by various medium
TW404846B (en) * 1998-01-23 2000-09-11 Koninkl Philips Electronics Nv Multiperson tactual virtual environment
US6437770B1 (en) 1998-01-26 2002-08-20 University Of Washington Flat-coil actuator having coil embedded in linkage
US6219034B1 (en) * 1998-02-23 2001-04-17 Kristofer E. Elbing Tactile computer interface
US6210168B1 (en) 1998-03-16 2001-04-03 Medsim Ltd. Doppler ultrasound simulator
US6198206B1 (en) * 1998-03-20 2001-03-06 Active Control Experts, Inc. Inertial/audio unit and construction
US6266053B1 (en) 1998-04-03 2001-07-24 Synapix, Inc. Time inheritance scene graph for representation of media content
US6078126A (en) 1998-05-29 2000-06-20 Motorola, Inc. Resonant piezoelectric alerting device
US5945772A (en) 1998-05-29 1999-08-31 Motorla, Inc. Damped resonant piezoelectric alerting device
US6686901B2 (en) 1998-06-23 2004-02-03 Immersion Corporation Enhancing inertial tactile feedback in computer interface devices having increased mass
JP2000024307A (ja) * 1998-07-09 2000-01-25 Sony Corp ゲーム体感装置及びゲーム体感方法
US6375471B1 (en) 1998-07-10 2002-04-23 Mitsubishi Electric Research Laboratories, Inc. Actuator for independent axial and rotational actuation of a catheter or similar elongated object
US6421048B1 (en) 1998-07-17 2002-07-16 Sensable Technologies, Inc. Systems and methods for interacting with virtual objects in a haptic virtual reality environment
JP2000056943A (ja) * 1998-08-07 2000-02-25 Mitsubishi Electric Corp 設定表示器
US6373463B1 (en) 1998-10-14 2002-04-16 Honeywell International Inc. Cursor control system with tactile feedback
US6282455B1 (en) 1998-10-19 2001-08-28 Rockwell Technologies, Llc Walk-through human/machine interface for industrial control
US6373465B2 (en) 1998-11-10 2002-04-16 Lord Corporation Magnetically-controllable, semi-active haptic interface system and apparatus
JP3457552B2 (ja) * 1998-11-17 2003-10-20 Ｎｅｃマイクロシステム株式会社 音声入力制御方法及び装置
JP2000163099A (ja) * 1998-11-25 2000-06-16 Brother Ind Ltd 雑音除去装置、音声認識装置および記憶媒体
JP2000157720A (ja) * 1998-11-26 2000-06-13 Square Co Ltd ゲーム装置、ゲームの制御方法並びに情報記録媒体
JP2000194427A (ja) 1998-12-25 2000-07-14 Tokai Rika Co Ltd タッチ操作入力装置
US6292776B1 (en) * 1999-03-12 2001-09-18 Lucent Technologies Inc. Hierarchial subband linear predictive cepstral features for HMM-based speech recognition
JP4587243B2 (ja) * 1999-08-31 2010-11-24 株式会社ソニー・コンピュータエンタテインメント エンタテインメント装置、エンタテインメントシステム、記録媒体及び振動設定方法
US7061486B2 (en) 1999-09-24 2006-06-13 Sun Microsystems, Inc. Using messaging to manage scene-based rendering
EP1104950B1 (de) 1999-11-27 2004-12-08 ebm-papst St. Georgen GmbH & Co. KG Elektronisch kommutierter Gleichstrommotor
AU2001232972A1 (en) 2000-01-25 2001-08-07 Myth Tree Entertainment, Inc. An actuation device having multiple degrees of freedom of movement and reduced inertia
JP2001236085A (ja) * 2000-02-25 2001-08-31 Matsushita Electric Ind Co Ltd 音声区間検出装置、定常雑音区間検出装置、非定常雑音区間検出装置、及び雑音区間検出装置
JP2001314652A (ja) * 2000-05-10 2001-11-13 Sugiyama Electron:Kk ゲーム機用オーディオシステム及びオーディオシステム
US6819922B1 (en) 2000-08-14 2004-11-16 Hewlett-Packard Development Company, L.P. Personal digital assistant vehicle interface and method
EP1330811B1 (en) 2000-09-28 2012-08-22 Immersion Corporation Directional tactile feedback for haptic feedback interface devices
US20020112035A1 (en) * 2000-10-30 2002-08-15 Carey Brian M. System and method for performing content experience management
US6654003B2 (en) 2000-12-01 2003-11-25 International Business Machines Corporation Cursor control device
US6727916B1 (en) 2000-12-21 2004-04-27 Sprint Spectrum, L.P. Method and system for assisting a user to engage in a microbrowser-based interactive chat session
US6885876B2 (en) 2001-03-12 2005-04-26 Nokia Mobile Phones Ltd. Mobile phone featuring audio-modulated vibrotactile module
JP3564501B2 (ja) * 2001-03-22 2004-09-15 学校法人明治大学 乳幼児の音声解析システム
JP2002306849A (ja) * 2001-04-13 2002-10-22 Artoon:Kk 電子ゲーム装置
US6587091B2 (en) 2001-04-23 2003-07-01 Michael Lawrence Serpa Stabilized tactile output mechanism for computer interface devices
US6963762B2 (en) 2001-05-23 2005-11-08 Nokia Corporation Mobile phone using tactile icons
US6501203B2 (en) 2001-06-01 2002-12-31 Canadian Space Agency Vibration control apparatus
US6664664B2 (en) 2001-06-08 2003-12-16 Aerotech, Inc. Printed circuit linear motor
US6937211B2 (en) * 2001-09-27 2005-08-30 Koninklijke Philips Electronics N.V. Apparatus and system for abstract visual representation of audio signals
US7623114B2 (en) * 2001-10-09 2009-11-24 Immersion Corporation Haptic feedback sensations based on audio output from computer devices
US6703550B2 (en) * 2001-10-10 2004-03-09 Immersion Corporation Sound data output and manipulation using haptic feedback
US6940497B2 (en) 2001-10-16 2005-09-06 Hewlett-Packard Development Company, L.P. Portable electronic reading apparatus
US7127271B1 (en) 2001-10-18 2006-10-24 Iwao Fujisaki Communication device
US6854573B2 (en) 2001-10-25 2005-02-15 Lord Corporation Brake with field responsive material
US7171191B2 (en) 2002-04-08 2007-01-30 Gateway Inc. User dynamically definable centralized notification between portable devices
US7175642B2 (en) 2002-04-19 2007-02-13 Pelikan Technologies, Inc. Methods and apparatus for lancet actuation
US7161580B2 (en) 2002-04-25 2007-01-09 Immersion Corporation Haptic feedback using rotary harmonic moving mass
US7421088B2 (en) 2003-08-28 2008-09-02 Motorola, Inc. Multifunction transducer
JP5192449B2 (ja) 2009-06-18 2013-05-08 中外炉工業株式会社 鋼帯加熱装置

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5651070A (en) * 1995-04-12 1997-07-22 Blunt; Thomas O. Warning device programmable to be sensitive to preselected sound frequencies
US6285351B1 (en) * 1997-04-25 2001-09-04 Immersion Corporation Designing force sensations for computer applications including sounds
US6139324A (en) * 1998-03-04 2000-10-31 D-Box Audio Inc. Multi-sense home entertainment chair transducer system

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103793048A (zh) * 2012-10-26 2014-05-14 英默森公司 独立于流的声音到触觉效应转换系统
CN103793048B (zh) * 2012-10-26 2018-06-26 意美森公司 独立于流的声音到触觉效应转换系统
CN107667334A (zh) * 2015-06-03 2018-02-06 雷蛇(亚太)私人有限公司 触觉装置及控制触觉装置的方法
CN107667334B (zh) * 2015-06-03 2021-07-06 雷蛇(亚太)私人有限公司 触觉装置及控制触觉装置的方法

Also Published As

Publication number Publication date
WO2003032289A1 (en) 2003-04-17
EP1438706B1 (en) 2008-07-02
US20030067440A1 (en) 2003-04-10
JP2005506613A (ja) 2005-03-03
US20100066512A1 (en) 2010-03-18
EP1438706A1 (en) 2004-07-21
EP1438706A4 (en) 2006-01-18
US20130106691A1 (en) 2013-05-02
US7623114B2 (en) 2009-11-24
JP2011141890A (ja) 2011-07-21
US8441437B2 (en) 2013-05-14
KR20040062559A (ko) 2004-07-07
CN1599925A (zh) 2005-03-23
JP5319719B2 (ja) 2013-10-16
US8686941B2 (en) 2014-04-01
KR100925293B1 (ko) 2009-11-04
CN101424975B (zh) 2011-08-17
ATE400032T1 (de) 2008-07-15
CN101424975A (zh) 2009-05-06
DE60227398D1 (de) 2008-08-14

Similar Documents

Publication Publication Date Title
CN100445930C (zh) 基于计算机设备的音频输出触发触觉的方法
CN100350992C (zh) 使用触觉反馈的声音数据输出和处理方法和设备
EP3147757B1 (en) Programmable haptic devices for modifying haptic effects to compensate for audio-haptic interference
US6864877B2 (en) Directional tactile feedback for haptic feedback interface devices
US7446752B2 (en) Controlling haptic sensations for vibrotactile feedback interface devices
US20020084982A1 (en) Haptic sensations for tactile feedback interface devices
JP2003199974A6 (ja) 触覚フィードバックインターフェースデバイス用の方向接触フィードバック
WO2001024158A1 (en) Controlling haptic sensations for vibrotactile feedback interface devices
US10216277B2 (en) Modifying haptic effects for slow motion
KR20120016730A (ko) 클릭 반응형 진동 마우스

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
CP01 Change in the name or title of a patent holder

Address after: California, USA

Patentee after: Immersion Corp.

Address before: California, USA

Patentee before: Immersion Corp.

CP01 Change in the name or title of a patent holder
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20081224

Termination date: 20211008

CF01 Termination of patent right due to non-payment of annual fee