CN104423593B - 生成与音频信号中的跃迁相关联的触觉效果的系统和方法 - Google Patents

生成与音频信号中的跃迁相关联的触觉效果的系统和方法 Download PDF

Info

Publication number
CN104423593B
CN104423593B CN201410453219.7A CN201410453219A CN104423593B CN 104423593 B CN104423593 B CN 104423593B CN 201410453219 A CN201410453219 A CN 201410453219A CN 104423593 B CN104423593 B CN 104423593B
Authority
CN
China
Prior art keywords
signal
time window
transition
haptic
distance
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN201410453219.7A
Other languages
English (en)
Other versions
CN104423593A (zh
Inventor
君·曼扭尔·克鲁斯-赫南德斯
贾迈勒·沙博恩
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Immersion Corp
Original Assignee
Immersion Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Immersion Corp filed Critical Immersion Corp
Priority to CN201811182275.6A priority Critical patent/CN109634402A/zh
Publication of CN104423593A publication Critical patent/CN104423593A/zh
Application granted granted Critical
Publication of CN104423593B publication Critical patent/CN104423593B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B6/00—Tactile signalling systems, e.g. personal calling systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/016—Input arrangements with force or tactile feedback as computer generated output to the user
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H7/00—Instruments in which the tones are synthesised from a data store, e.g. computer organs
    • G10H7/02—Instruments in which the tones are synthesised from a data store, e.g. computer organs in which amplitudes at successive sample points of a tone waveform are stored in one or more memories
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/06—Transformation of speech into a non-audible representation, e.g. speech visualisation or speech processing for tactile aids
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/06—Transformation of speech into a non-audible representation, e.g. speech visualisation or speech processing for tactile aids
    • G10L21/16—Transforming into a non-visible representation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2218/00—Aspects of pattern recognition specially adapted for signal processing
    • G06F2218/08—Feature extraction
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H2220/00—Input/output interfacing specifically adapted for electrophonic musical tools or instruments
    • G10H2220/091—Graphical user interface [GUI] specifically adapted for electrophonic musical instruments, e.g. interactive musical displays, musical instrument icons or menus; Details of user interactions therewith
    • G10H2220/096—Graphical user interface [GUI] specifically adapted for electrophonic musical instruments, e.g. interactive musical displays, musical instrument icons or menus; Details of user interactions therewith using a touch screen
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H2220/00—Input/output interfacing specifically adapted for electrophonic musical tools or instruments
    • G10H2220/155—User input interfaces for electrophonic musical instruments
    • G10H2220/265—Key design details; Special characteristics of individual keys of a keyboard; Key-like musical input devices, e.g. finger sensors, pedals, potentiometers, selectors
    • G10H2220/311—Key design details; Special characteristics of individual keys of a keyboard; Key-like musical input devices, e.g. finger sensors, pedals, potentiometers, selectors with controlled tactile or haptic feedback effect; output interfaces therefor

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Acoustics & Sound (AREA)
  • Health & Medical Sciences (AREA)
  • Signal Processing (AREA)
  • Computational Linguistics (AREA)
  • Quality & Reliability (AREA)
  • Data Mining & Analysis (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Otolaryngology (AREA)
  • General Health & Medical Sciences (AREA)
  • User Interface Of Digital Computer (AREA)
  • Telephone Function (AREA)

Abstract

公开了用于生成与音频信号中的跃迁相关联的触觉效果的系统和方法。用于输出触觉效果的一个公开的系统包括：处理器，该处理器被配置为接收信号，部分地基于该信号来确定触觉效果，输出与触觉效果相关联的触觉信号；音频输出设备，该音频输出设备被配置为接收信号并且输出听觉效果；以及触觉输出设备，该触觉输出设备与处理器通信并且与触摸表面相耦合，触觉输出设备被配置为接收触觉信号并且输出触觉效果。

Description

生成与音频信号中的跃迁相关联的触觉效果的系统和方法
相关申请的交叉引用
本申请要求于2013年9月6日提交的美国临时申请No.61/874,933并且标题为“Audio to Haptics”的优先权，通过引用将其全部内容合并于此。
本申请涉及于与本申请同日提交的并且标题为“Systems and Methods forGenerating Haptic Effects Associated with Envelope in Audio Signals”(代理人案号No.IMM478(51851-879624))的美国专利申请No.14/078,442，通过引用将其全部内容合并于此。
本申请涉及于与本申请同日提交的并且标题为“Systems and Methods forGenerating Haptic Effects Associated with Audio Signals”的美国专利申请No.14/078,445(代理人案号No.IMM479(51851-879622))，通过引用将其全部内容合并于此。
技术领域
本发明一般涉及触觉反馈并且更具体地涉及用于生成与信号中的跃迁相关联的触觉效果的系统和方法。
背景技术
触摸启用设备变得越来越普及。例如，移动及其它设备可以被配置具有触控式显示器以便用户通过触摸触控式显示器的部分可提供输入。作为另一示例，与显示器相分离的触摸启用表面可以用于诸如轨迹板、鼠标、或者其它设备的输入。此外，一些触摸启用设备利用触觉效果，例如被配置为模拟触摸表面上的纹理或摩擦的触觉效果。在一些设备中，这些触觉效果可以与设备输出的音频或其它效果相关。然而，由于在处理和输出音频和触觉效果中的延迟(等待时间)，这些效果可能不受控。因而，存在提高与音频效果相关联的触觉效果的需要。
发明内容
本公开的实施例包括以在触摸区上所感觉到的且与音频信号相关联的触觉效果为特征的设备。这些触觉效果可以包括但不局限于纹理的变化，摩擦系数的变化，和/或对可通过使用与表面相接触的物体而感知到的触摸表面中的边界、阻碍、或者其它不连续性的模拟。
在一个实施例中，本公开的系统可以包括：处理器，该处理器被配置为：接收信号；部分地基于该信号来确定触觉效果；并且输出与触觉效果相关联的触觉信号；以及音频输出设备，该音频输出设备被配置为接收信号并输出听觉效果；以及触觉输出设备，该触觉输出设备与处理器通信并且与触摸表面相耦合，该触觉输出设备被配置为接收触觉信号并输出触觉效果。
所提及的示例性实施例不是限制或定义本主题的范围，而是提供了示例以有助于其理解。在详细说明中对示例性实施例进行了讨论，并且在那里提供了进一步描述。通过研究该说明书和/或通过实施所要求的主题的一个或多个实施例可以进一步理解由各个实施例提供的优点。
附图说明
在说明书的剩余部分中对充分及可启用的公开进行更具体地阐述。说明书参考以下附图。
图1A示出了用于生成与音频信号中的跃迁相关联的触觉效果的示例性系统。
图1B示出了图1A所示的系统的一个实施例的外部视图；
图1C图示了图1A所示的系统的另一实施例的外部视图；
图2A图示了用于生成与音频信号中的跃迁相关联的触觉效果的示例性实施例；
图2B图示了用于生成与音频信号中的跃迁相关联的触觉效果的示例性实施例；
图3图示了根据一个实施例的用于生成与音频信号中的跃迁相关联的触觉效果的示例性实施例；
图4图示了根据一个实施例的用于生成与音频信号中的跃迁相关联的触觉效果的方法的流程图；
图5图示了根据一个实施例的用于生成与音频信号中的跃迁相关联的触觉效果的方法的流程图；
图6图示了根据一个实施例的用于识别音频信号中的跃迁的方法的流程图；
图7图示了根据一个实施例的根据用于识别音频信号中的跃迁的方法的音频信号的示例性频谱和脉冲编码调制；
图8图示了根据一个实施例的根据用于识别音频信号中的跃迁的一个方法的音频信号的导数信号；
图9图示了根据一个实施例的用于识别音频信号中的跃迁的方法的流程图；以及
图10图示了根据用于识别音频信号中的跃迁的方法的一个实施例的示例性跃迁检测信号。
具体实施方式
现在详细地参考各个且可替代的示例性实施例以及附图。每个示例是作为说明提供的，而不是作为限制。对于本领域普通技术人员来说显而易见地是可做出修改和改变。例如，可以在另一实施例上使用说明或描述为一个实施例的一部分的特征以得出更进一步的实施例。因而，意图该公开包括在所附权利要求及其等同物的范围之内的修改和改变。
生成与音频信号中的跃迁相关联的触觉效果的设备的示例性示例
本公开的一个示例性实施例包括诸如智能电话、平板、或者便携式音乐设备的计算系统。在一些实施例中，计算系统可以包括可穿戴式设备，或者可以嵌入在家具或衣服中。计算系统可包括和/或可以与诸如加速度计的一个或多个传感器以及用于确定在该示例中相对于与设备的屏幕相对应的显示区的触摸的位置的(例如光、电阻、电容)传感器进行通信。
当用户与设备进行交互时，例如致动器的一个或多个触觉输出设备用于提供触觉效果。例如，可以输出触觉效果以模拟在设备的表面上的纹理的存在。在一个这种实施例中，当用户的手指移动跨过该表面时，可以输出振动、电场、或者其它效果以模拟设备的表面上的纹理的感觉。类似地，在另一实施例中，当用户移动手指跨过设备时，可基于位置、速度、和/或手指的加速度或者手指与设备相接触的时间长度而改变(例如增大或减小)所感知到的屏幕的摩擦系数。在其它实施例中，移动设备可以输出诸如振动、砰砰声(pops)、点击、或者表面变形的触觉效果。在一些实施例中，可以在发生某个事件时的某个时间段(例如50ms)内输出触觉效果。在其它实施例中，触觉效果可以随固定时期而变，例如在实施例中，可以输出以100Hz速率而变的纹理(例如100Hz正弦曲线)。
在示例性实施例中，触觉效果包括与音频信号相关联的效果。例如，在一些实施例中，触觉效果可以包括与音频轨道相关联的触觉效果。在一些实施例中，用户可以在确定触觉效果时听音频轨道(例如利用头戴耳机、扬声器、或者一些其它类型的音频输出设备)。在其它实施例中，可以将触觉效果预先确定为“触觉轨道”的一部分。该触觉轨道可以与音频文件一起分发，以便可以随着音频轨道播放。在一些实施例中，触觉轨道可以与音频轨道同步以便触觉效果与音频轨道中的事件相对应。在其它实施例中，触觉效果可以与例如视频文件的音频部分的视听(“AV”)轨道相关联。
在一个示例性实施例中，计算设备可以通过确定音频信号中的跃迁的位置来确定触觉效果。在一些实施例中，这些跃迁可以包括幅度变化、频率变化、或者音频信号中的其它变化。例如，在一个实施例中，跃迁可以包括从管弦乐队输出的音频到人讲话输出的音频的变化。在其它实施例中，跃迁可以包括诸如扬声器的声调的变化的更微小变化。本公开包括对用于确定音频信号中的跃迁的位置的示例性方法的进一步描述。
在一些实施例中，可以随音频文件一起以协调的形式或者同步形式输出触觉效果。在一些实施例中，简单的滤波技术(例如低通滤波)可以用于自动地从音频或AV文件确定出触觉效果。然而，这种方法可能导致触觉效果与音频事件之间差的同步。这可能会导致用户感知到较低质量的触觉效果。确定音频文件中的跃迁的位置可使触觉效果与听觉效果更好的同步。在一些实施例中，如果在音频或AV事件开始的同时触觉效果开始，那么可能会发生更好的同步。
如下面进一步详细讨论的，可以在音频信号中找到许多特征。本公开的实施例提供了用于识别这些特征并且此后确定并输出与这些特征相同步的触觉效果的系统和方法。此外，在一些实施例中，这里所讨论的系统和方法可以用于确定与例如压力、加速度、速度、或者温度信号的其它类型的信号相关联的触觉效果。
生成与音频信号中的跃迁相关联的触觉效果的示例性系统
图1A示出了用于生成与音频信号中的跃迁相关联的触觉效果的示例性系统100。特别地，在该示例中，系统100包括具有经由总线106与其它硬件对接的处理器102的计算设备101。可包括诸如RAM、ROM、EEPROM等等的任何适当有形(且非暂时性的)计算机可读介质的存储器104实施用于对计算设备的操作进行配置的程序部件。在该示例中，计算设备101进一步包括一个或多个网络接口设备110、输入/输出(I/O)接口部件112、以及附加储存器114。
网络设备110可表示促进网络连接的任何部件中的一个或多个。示例包括但不局限于诸如以太网、USB、IEEE1394的有线接口和/或诸如IEEE802.11、蓝牙、用于访问蜂窝式电话网络(例如，用于访问CDMA、GSM、UMTS、或者其它移动通信网络的收发器/天线)的无线电接口的无线接口。
I/O部件112可以用于促进连接到与诸如一个或多个显示器、键盘、鼠标、扬声器、麦克风、相机、和/或用于输入数据或输出数据的其它硬件的设备。例如，在一些实施例中，I/O部件112可以包括被配置为播放处理器102所提供的音频信号的扬声器。储存器114表示诸如包含在设备101之中的磁、光、或其它存储器介质的非易失性存储器。在一些实施例中，储存器114可以被配置为存储音频文件，该音频文件被配置为经由I/O部件112向用户播放。
系统100进一步包括在该示例中集成到设备101的触摸表面116。触摸表面116表示被配置为感测用户的触摸输入的任何表面。一个或多个传感器108被配置为当物体与触摸表面相接触时检测触摸区中的触摸并且提供适当数据以由处理器102使用。可使用任何适当数目、类型、或者安排的传感器。例如，可以将电阻性和/或电容性传感器嵌入在触摸表面116中并且用于确定触摸的位置以及诸如压力的其它信息。作为另一示例，以触摸表面为目的的光传感器可以用于确定触摸位置。在一些实施例中，传感器108和触摸表面116可以包括触摸屏或触摸板。例如，在一些实施例中，触摸表面116和传感器108可以包括安装在显示器的之上的触摸屏，所述显示器被配置为接收显示信号并且向用户输出图像。在其它实施例中，传感器108可以包括LED检测器。例如，在一个实施例中，触摸表面116可以包括安装在显示器的一侧上的LED手指检测器。在一些实施例中，处理器与单个传感器108进行通信，在其它实施例中，处理器与例如第一触摸屏和第二触摸屏的多个传感器108进行通信。传感器108被配置为检测用户交互，并且基于该用户交互，将信号传送到处理器102。在一些实施例中，传感器108可以被配置为检测用户交互的多个方面。例如，传感器108可以检测用户交互的速度和压力，并且使该信息包含在接口信号中。
设备101进一步包括触觉输出设备118。在图1A所示的示例中，触觉输出设备118与处理器102进行通信并且与触摸表面116相耦合。在一些实施例中，触觉输出设备118被配置为响应于触觉信号而输出模拟触摸表面上的纹理的触觉效果。另外地或者替代地，触觉输出设备118可以以受控方式提供移动触摸表面的振动触觉的触觉效果。一些触觉效果可以利用与设备的外壳相耦合的致动器，并且一些触觉效果可以依次和/或一齐使用多个致动器。例如，在一些实施例中，可以通过使表面以不同频率振动来模拟表面纹理。在该实施例中，触觉输出设备118可以包括例如压电致动器、电动马达、电磁致动器、音圈、形状记忆合金、电活性聚合物、螺线管、偏心旋转质量马达(ERM)、或者线性共振致动器(LRA)中的一个或多个。在一些实施例中，触觉输出设备118可以包括例如ERM和LRA的多个致动器。在一些实施例中，触觉设备118可以包括或者可以嵌入在可穿戴设备、家具、或者衣服中。
虽然在这里示出了单个触觉输出设备118，但是实施例可以使用相同或不同类型的多个触觉输出设备以输出触觉效果，例如，模拟表面纹理或者改变所感知到的触摸表面上的摩擦系数。例如，在一个实施例中，压电致动器可以用于使触摸表面116的一些或全部以超声频率垂直地和/或水平地位移，诸如在一些实施例中通过利用以大于20-25kHz的频率移动的致动器。在一些实施例中，诸如偏心旋转质量马达和线性共振致动器的多个致动器可单独或一齐使用以提供不同纹理、摩擦系数的改变、或者其它触觉效果。
仍在其它实施例中，触觉输出设备118可以例如通过利用静电表面致动器来施加静电摩擦或引力以模拟触摸表面116的表面上的纹理。类似地，在一些实施例中，触觉输出设备118可以使用静电引力以改变触摸表面116的表面上的用户感触的摩擦。例如，在一个实施例中，触觉输出设备118可以包括静电显示器或者施加电压和电流而不是机械运动以生成触觉效果的任何其它设备。在该实施例中，静电致动器可以包括导电层和绝缘层。在该实施例中，导电层可以是任何半导体或诸如铜、铝、金、或银的其它导电材料。并且绝缘层可以是玻璃、塑料、聚合物、或者任何其它绝缘材料。此外，处理器102可以通过将电信号施加到导电层上来使静电致动器操作。在一些实施例中，电信号可以是使导电层与触摸表面116附近的或者与触摸表面116相接触的物体电容耦合的AC信号。在一些实施例中，AC信号可以通过高压放大器生成。在其它实施例中，电容耦合可以模拟触摸表面116的表面上的摩擦系数或纹理。例如，在一个实施例中，触摸表面116的表面可以是平滑的，但是电容耦合可以在触摸表面116的表面附近的物体之间产生吸引力。在一些实施例中，改变物体与导电层之间的引力的级别可改变移动跨过触摸表面116的表面的物体上的模拟纹理或者随着物体移动跨过触摸表面116的表面而改变摩擦系数。此外，在一些实施例中，静电致动器可以与传统致动器结合使用以改变触摸表面116的表面上的模拟纹理。例如，致动器可以振动以模拟触摸表面116的表面的纹理的变化，而同时静电致动器可以模拟触摸表面116的表面上的不同纹理或其它效果。
本领域普通技术人员将认识到除了改变摩擦系数之外，其它技术或方法也可用于例如模拟表面上的纹理。在一些实施例中，可以利用柔性表面层来模拟或输出纹理，所述柔性表面层被配置为根据来自表面可重配置的触觉衬底(包括但不限于例如纤维、纳米管、电活性聚合物、压电元件、或者形状记忆合金)或者磁流变液体的接触来改变其纹理。在另一实施例中，可以通过例如利用变形机制、气穴或液穴、材料的局部变形、共振机械元件、压电材料、微机电系统(“MEMS”)元件、热流穴、MEMS泵、可变孔膜、或者层流调制提高或降低一个或多个表面特征来改变表面纹理。
在一些实施例中静电致动器可以用于通过模拟在触摸表面116附近的或者与触摸表面116相接触的主体的一部分来生成触觉效果。例如，在一些实施例中静电致动器可以模拟用户手指的皮肤中的神经末梢或者可以模拟可响应于静电致动器的指示笔中的部件。例如，皮肤中的神经末梢可以被模拟并且将静电致动器(例如电容耦合)感测为振动或一些更具体的感觉。例如，在一个实施例中，静电致动器的导电层可以接收与用户手指的导电部分相耦合的AC电压信号。当用户触摸触摸表面116并且使他的或她的手指在触摸表面上移动时，用户可以感测多刺性、颗粒性、颠簸性、粗糙性、粘性，或者一些其它纹理。
此外，在一些实施例中，多个致动器可以用于输出触觉效果。这可以用来提高触觉输出设备118可输出的效果的范围。例如，在一些实施例中，振动致动器可以与静电致动器结合使用以生成宽范围的效果。还在进一步的实施例中，诸如被配置为使触摸表面变形的设备的另外类型的触觉输出设备可以与诸如振动致动器的其它触觉输出设备结合使用。
转到存储器104，对示例性程序部件124、126和128进行描述以示出设备如何被配置成生成与音频信号中的跃迁相关联的触觉效果。在该示例中，检测模块124对处理器102进行配置以经由传感器108监控触摸表面116以确定触摸的位置。例如，模块124可以对传感器108进行采样以便跟踪触摸的存在或不存在，并且如果存在触摸，则跟踪随着时间的位置、路径、速度、加速度、压力、和/或触摸的其它特征中的一个或多个。
触觉效果确定模块126表示对诸如来自音频效果的数据的音频数据进行分析以选择生成的触觉效果的程序部件。特别地，模块126包括基于音频数据来确定要输出的触觉效果的类型的代码。
触觉效果生成模块128表示可使处理器102生成触觉信号并将触觉信号传送到触觉输出设备118的编程，可使触觉输出设备118生成所选的触觉效果。例如，生成模块128可以访问存储的波形或命令以发送到触觉输出设备118。作为另一示例，触觉效果生成模块128可以接收期望类型的效果并且利用信号处理算法以生成适当信号以发送到触觉输出设备118。一些实施例可以一齐利用多个触觉输出设备以输出触觉效果。在一些实施例中，处理器102可以流传输触觉信号或将触觉信号传送到触觉输出设备118。
取决于计算系统的特定配置，触摸表面可以或者可以不覆盖(或者否则对应于)显示器。在图1B中，示出了计算系统100B的外部视图。计算设备101包括组合了触摸表面和设备的显示器的触摸启用显示器116。触摸表面可以对应于显示器外部或者在实际显示部件之上的一层或多层的材料。
图1C图示了其中触摸表面不覆盖显示器的触摸启用计算系统100C的另一示例。在该示例中，计算设备101包括可以被映射到显示器122中提供的图形用户界面的触摸表面116，所述显示器122被包含在与设备101对接的计算系统120之中。例如，计算设备101可以包括鼠标、轨迹板、或者其它设备，而计算系统120可以包括台式机或膝上型计算机、机顶盒(例如DVD播放器、DVR、有线电视盒)、或者另一计算系统。作为另一示例，触摸表面116和显示器122可以布置在诸如包括显示器122的膝上型计算机中的触摸启用轨迹板的同一设备中。无论是与显示器相集成还是以其它方式，在这里对该示例中的平面触摸表面的描述不意味着限制。其它实施例包括进一步被配置为提供基于表面的触觉效果的弯曲的或者不规则的触摸启用表面。
图2A-2B图示了可以生成与音频信号中的跃迁相关联的触觉效果的设备的示例。图2A是示出系统200的外部视图的示意图，系统200包括计算设备201，其包括触摸启用显示器202。图2B示出了设备201的截面图。可以与图1A的设备101相类似地配置设备201，虽然为了清楚目的在该视图中未示出诸如处理器、存储器、传感器等等的部件。
如在图2B中可见的，设备201的特征在于多个触觉输出设备218以及附加触觉输出设备222。触觉输出设备218-1可以包括被配置为向显示器202给予垂直力的致动器，而218-2可以使显示器202横向地移动。在该示例中，触觉输出设备218和222与显示器直接耦合，但是应理解的是触觉输出设备218和222可与诸如在显示器202顶部上的材料层的另一触摸表面相耦合。此外，应理解的是触觉输出设备218或222中的一个或多个可以包括如上所讨论的静电致动器。此外，触觉输出设备222可以与包含设备201的部件的外壳相耦合。在图2A-2B的示例中，显示器202的区域与触摸区相对应，虽然该原理可应用于与显示器完全分离的触摸表面。
在一个实施例中，触觉输出设备218的每一个包括压电致动器，而附加触觉输出设备222包括偏心旋转质量马达、线性共振致动器、或者另一压电致动器。触觉输出设备222可被配置为响应于来自处理器的触觉信号而提供振动触觉的触觉效果。振动触觉的触觉效果可与基于表面的触觉效果一起使用和/或用于其它目的。例如，每个致动器可以一起使用以输出振动、模拟纹理、或者改变显示器202的表面上的摩擦系数。
在一些实施例中，触觉输出设备218-1和218-2中的任一个或这两者可包括除了压电致动器之外的致动器。致动器中的任何一个可包括例如压电致动器、电磁致动器、电活性聚合物、形状记忆合金、柔性复合材料压电致动器(例如包括柔性材料的致动器)、静电和/或磁致伸缩致动器。另外，示出了触觉输出设备222，虽然多个其它触觉输出设备可与设备201的外壳相耦合和/或触觉输出设备222可以耦合到别处。设备201也可以包括在不同位置与触摸表面相耦合的多个触觉输出设备218-1/218-2。
现在转到图3，图3示出了根据本公开的用于生成与音频信号中的跃迁相关联的触觉效果的系统的一个实施例。图3所示的系统300包括计算设备301，其中显示器302示出了包括火车304的视频。在一些实施例中，计算设备301可以包括例如移动电话、平板、音乐播放器、或者膝上型计算机的手持计算设备。在另一实施例中，计算设备301可以包括多功能控制器。例如，在信息亭、ATM、或者其它计算设备中使用的控制器。此外，在一个实施例中，计算设备301可以包括在车辆中使用的控制器。
视频304可以进一步包括与计算设备301(图3中未示出)相耦合的音频输出设备(例如扬声器或头戴式耳机)所播放的听觉效果。本公开的实施例包括用于基于音频信号来确定触觉效果的方法。例如，一些实施例可以使音频信号与视频信号相分离，并且此后执行在下面进一步详情讨论的各种操作以确定随着音频轨道输出的触觉效果。
在一些实施例中，显示器302可以包括触摸启用显示器。此外，除了显示视频之外，显示器302可以向用户提供图形用户界面，例如用于信息亭、ATM、立体声系统、汽车仪表盘、电话、计算机、音乐播放器的图形用户界面、或者现有技术中已知的一些其它图形用户界面。在该实施例中，计算设备301可以基于与图形用户界面相关联的音频信号来确定触觉效果。例如，在一些实施例中，图形用户界面可以包括当用户与图标、按钮、或者其它界面元件交互时输出的音频效果。在一些实施例中，计算设备301可以进一步确定与这些音频效果中的一个或多个相关联的触觉效果。在一些实施例中，计算设备301可以从音频信号中的跃迁或者任何其它传感器得到的信号，例如来自诸如用户界面、加速度计、陀螺仪、惯性测量单元等等的传感器的信号，得出触觉效果。
在一些实施例中，可以不包括视频信号。例如，在一些实施例中，可以随着与视频不关联的音频轨道播放触觉效果。在该实施例中，当正在播放信号时或者在播放信号之前的时间，这里所公开的系统和方法可以实时地对音频信号进行操作。例如，在一些实施例中，可以对音频信号进行处理以确定存储在数据储存器上的用于将来播放的触觉轨道。在该实施例中，可以通过播放触觉轨道的计算设备来确定触觉轨道。在其它实施例中，可以由音频轨道的创作者或发行人来创建触觉轨道。在该实施例中，创作者或发行人可以随同音频轨道一起发行触觉轨道。
生成与音频信号中的跃迁相关联的触觉效果的示例性方法
图4和图5是示出了用于生成与音频信号中的跃迁相关联的触觉效果的示例性方法400和500的流程图。在一些实施例中，流程图400和500中的步骤可以在例如通用计算机、移动设备、或者服务器中的处理器的处理器所执行的程序代码中实现。在一些实施例中，这些步骤可以由一组处理器实现。在一些实施例中可以按照不同顺序来执行图4和图5所示的步骤。可替代地，在一些实施例中，可以跳过图4和图5所示的步骤中的一个或多个或者可以执行图4和图5中未示出的附加步骤。就音频信号而言对图4和图5中的步骤进行描述。然而，在一些实施例中，该方法可以用于确定与例如压力、加速度、速度、或温度信号的其它类型的信号相关联的触觉效果。下面关于图1A所示的系统100参考如上所述的部件对步骤进行描述。
当处理器102接收到音频信号402时方法400开始。在一些实施例中音频信号可以包括与在计算设备101上播放的视频相关联的信号。在其它实施例中，音频信号可以包括与当前在计算设备101上播放的音频文件相关联的信号。还在其它实施例中，音频信号可以与本地存储在计算设备101上的或者存储在远程服务器上的音频文件相关联。例如，在一些实施例中，音频信号可以包括存储在服务器上的并且按需下载到用户的音频文件。
当处理器102基于音频信号404确定出触觉效果时该方法400继续。在一些实施例中，触觉效果可以包括由一个或多个触觉输出设备118输出的振动。在一些实施例中，该振动可以用于增强用户对在计算设备101上播放的音频轨道的感知。类似地，在一些实施例中，第一触觉效果可以包括触摸表面116上的摩擦系数的改变。在其它实施例中，触觉效果可以包括触摸表面116的表面上的模拟纹理(例如下述一个或多个的纹理：水、玻璃、冰、金属、沙、砂砾、砖、毛皮、皮革、皮肤、织品、橡胶、叶子、或者任何其它可用纹理)。
在一些实施例中，处理器102可以依赖包含在触觉效果确定模块126中的编程以确定触觉效果。例如，处理器102可以访问存储在存储器104中的与特定触觉效果相关联的驱动信号。作为另一示例，可以通过访问所存储的算法并且输入与效果相关联的参数来生成信号。例如，算法可以输出在基于幅度和频率参数生成驱动信号中使用的数据。作为另一示例，触觉信号可以包括发送到致动器以由致动器解码的数据。例如，致动器本身可以响应于指定诸如幅度和频率的参数的命令。
此外，在一些实施例中，用户能够选择振动、纹理、摩擦系数的变化、或者与音频文件相关联的其它触觉效果以便定制计算设备101。例如，在一些实施例中，用户可以选择诸如表面纹理的触觉效果以允许触摸界面的感觉个性化。在一些实施例中，该触觉效果可以与例如来电、电子邮件、文本消息、警报、或者其它事件的铃声相关联。在一些实施例中，用户可以通过修改设置或下载与特定效果相关联的软件来选择这些个性化的触觉效果或表面纹理。在其它实施例中，用户可以通过所检测到的与设备的交互来指定效果。在一些实施例中，触觉效果的个性化可以提高用户对所有权的感测以及用户与他的或她的设备之间的连接。
还在其它实施例中，设备厂商、艺术家、摄像师、或者软件开发者可以选择诸如表面纹理的独特触觉效果以打烙印于他们的设备、用户界面、或者艺术作品(例如歌曲、视频、或者音频轨道)。在一些实施例中，这些触觉效果可以是只有打烙印的设备才有的并且与可以提高品牌知名度的其它独特要素相类似。例如，许多移动设备和平板可以包括定制的或打烙印的主屏环境。例如，在一些实施例中，不同厂商所生产的设备可以包括相同操作系统；然而，厂商可以通过修改该主屏环境来区分它们的设备。类似地，某个公司所生产的视频或音频轨道可以包括特定类型的触觉效果。因而，在一些实施例中，一些设备厂商、产品公司、或者软件开发者可以使用诸如基于纹理或基于摩擦的效果的触觉效果以创建独有的且可区分的用户体验。
当处理器102输出与触觉效果406相关联的触觉信号时方法400继续。处理器102将触觉信号输出到被配置为输出触觉效果的触觉输出设备118。在一些实施例中，触觉输出设备118可以将触觉效果输出到触摸表面116上。在一些实施例中，触觉输出设备118可以包括诸如与触摸表面116或者计算设备101之内的其它部件相耦合的压电致动器或电动马达的传统致动器。在其它实施例中，触觉输出设备118可以包括被配置为利用静电场来模拟纹理或改变摩擦系数的静电致动器。在一些实施例中，处理器102可以对多个触觉输出设备进行控制以模拟多个触觉效果。例如，在一个实施例中，处理器102可以对静电致动器进行控制以模拟触摸表面116的表面上的纹理并且处理器102可以进一步对其它触觉输出设备118进行控制以模拟其它特征。例如，触觉输出设备118可以包括被配置为输出诸如振动的其它效果的致动器，所述振动被配置为模拟障碍、棘爪、运动、或者对触摸表面116的影响。在一些实施例中，处理器102可以使效果协调以便当与触摸表面116交互时用户可一起感觉到多个效果。
此后处理器102输出音频信号408。在一些实施例中，处理器102可以将音频信号输出到诸如扬声器、头戴式耳机、或者耳塞的音频输出设备。在一些实施例中，可以将音频输出设备集成到计算设备101中。在其它实施例中，音频输出设备可以与计算设备101相耦合。此外，在一些实施例中，音频信号可以与触觉效果相同步，例如，在一些实施例中，可以与相应音频效果基本上同时地输出触觉效果。
现在转到图5，图5是示出了用于确定与音频信号中的跃迁相关联的触觉效果的示例性方法500的流程图。当处理器102识别音频信号中的跃迁时方法500开始。下面对用于识别音频信号中的跃迁的各个示例性方法进行更详细地讨论。在一些实施例中，这些跃迁可以与诸如音频信号的幅度或频率的变化的音频信号的变化相关联。这些变化可以与例如乐器的变化、电影的场景变化、源的变化(例如扬声器的变化)、或者通常在音频文件中发现的一些其它跃迁相关联。
当处理器102使触觉效果与跃迁同步时方法500继续。在一些实施例中，使触觉效果与跃迁同步包括对处理器102进行配置以在与音频效果基本上对应的时间处输出与触觉效果相关联的触觉信号。在一些实施例中，处理器102可以在跃迁时输出触觉效果。在其它实施例中，可以在跃迁之后的一些时段处输出触觉效果。例如，在一些实施例中，处理器102可以输出用作回波的触觉效果。例如，在一个实施例中，音频轨道可以包括模拟射击的声音。在该实施例中，处理器可以确定与音频效果相符的触觉效果。处理器可以进一步确定要在几秒钟后输出的第二触觉效果以模拟与射击相关联的回波。
在一些实施例中，跃迁映射到其中信号上升或下降的位置。此后这些跃迁可以用于识别音频信号之内的事件，其可以由用于生成触觉效果的触觉标志来标记。在上面给出的示例中，跃迁可以与诸如射击的事件相对应。在一些实施例中，除了确定触觉效果之外，处理器102可以将触觉标志施加到音频文件中的位置。处理器102或另一处理器可以使用该触觉标志以在播放音频文件时确定触觉效果。
用于识别音频信号中的跃迁的示例性方法
图6是示出了用于识别音频信号中的跃迁的示例性方法600的流程图，其可以用于确定与音频信号相关联的触觉效果。在一些实施例中，图6所示的步骤可以在例如通用计算机、移动设备、或者服务器中的处理器的处理器所执行的程序代码中实现。在一些实施例中，这些步骤可以由一组处理器实现。在一些实施例中可以按照不同顺序来执行图6所示的步骤。可替代地，在一些实施例中，可以跳过图6所示的步骤中的一个或多个或者可以执行图6中未示出的附加步骤。就音频信号而言对图6中的步骤进行描述。然而，在一些实施例中，该方法可以用于确定与例如压力、加速度、速度、或温度信号的其它类型的信号相关联的触觉效果。
如图6所示，当处理器102执行音频信号的快速傅里叶变换(FFT)时方法600开始。在一些实施例中，FFT用于确定音频信号的频谱图。频谱图包括小时间窗中的音频信号的FFT的绘图。在一些实施例中。在一个轴中随时间、在另一轴中随频率、并且在第三轴中随特定频率的幅度以三维图来表示频谱图。在一些实施例中，频谱图可以用于确定音频信号之内的跃迁。如绘图700，图7示出了音频信号的示例性二维频谱图。该频谱图包括二维绘图700，其中第三维由绘图中的暗区来描述。绘图的暗区部分具有较高的幅度(由箭头702来标识)并且较亮的部分(由箭头704来标识)具有较低的幅度。
在步骤604处，处理器102为在步骤602中所确定的变换信号确定每个时间窗的均值。在一些实施例中，可以将均值信号存储成矢量。在一些实施例中，可以将该矢量称为MeanSpec。
在步骤606处，处理器102使在步骤604中所确定的转换信号的均值归一化。在一些实施例中，将该值归一化到0与1之间。在其它实施例中，值是-1与1之间归一化的值。
在一些实施例中，图6中未示出，可以对归一化信号进行滤波。在一些实施例中，可以利用在可听范围中处于较低值的例如100Hz或200Hz的低通滤波器来对信号进行滤波。在一些实施例中，该滤波可以除去信号中的噪声。
接下来处理器102获得归一化信号608中的数据的导数(derivative)。在一些实施例中，可以将该数据存储在新信号DerMeanSpec中。如绘图800的线804，在图8中示出了示例性DerMeanSpec的绘图。如绘图800的线802，示出了从其确定该DerMeanSpec的示例性音频信号。
此后处理器102确定导数信号(DerMeanSpec)610之内的局部最大值。在一些实施例中，这些局部最大值中的每一个与跃迁的幅度相对应。如绘图800的线806，在图8中示出了在示例性DerMeanSpec中所找到的局部最大值的绘图。在一些实施例中，这些局部最大值表示音频信号中的跃迁的位置。
现在转到图7，如上所述，图7图示了根据一个实施例的根据用于识别音频信号中的跃迁的一个方法的音频信号的示例性频谱和脉冲编码调制。频谱图包括二维绘图700，其中第三维由绘图中的暗区来描述。绘图的较暗部分具有较高的幅度(由箭头702来标识)并且较亮的部分(由箭头704来标识)具有较低的幅度。如图7所示，绘图750包括绘图700中所示的音频信号的脉冲编码调制(PCM)752的视图。
现在转到图8，如上所述，图8图示了根据一个实施例的根据用于识别音频信号中的跃迁的一个方法的音频信号的导数信号的绘图800。如图8所示，由黑色线802来表示音频信号，并且由灰色线804来表示导数信号(如上所述的DerMeanSpec)，并且由浅灰色线806来表示在DerMeanSpec中所找到的局部最大值，其包括在其峰值的每一个处的星暴(starburst)。在图8中，并非示出所有局部最大值。而是，如图8所示，仅示出了具有关于前一局部最小值超过了预定德尔塔值的值的局部最大值。在一些实施例中，这些局部最大值表示音频信号中的跃迁的位置。因而，在一些实施例中，可以对德尔塔值的大小进行调节以便改变在音频信号中所检测到的跃迁的幅度。
现在转到图9，图9是示出了用于识别音频信号中的跃迁的示例性方法900的流程图。该方法可以用于确定与音频信号中的跃迁相关联的触觉效果。在一些实施例中，图9所示的步骤可以在例如通用计算机、移动设备、或者服务器中的处理器的处理器所执行的程序代码中实现。在一些实施例中，这些步骤可以由一组处理器实现。在一些实施例中可以按照不同顺序来执行图9所示的步骤。可替代地，在一些实施例中，可以跳过图9所示的步骤中的一个或多个或者可以执行图9中未示出的附加步骤。就音频信号而言对图9中的步骤进行描述。然而，在一些实施例中，该方法可以用于确定与例如压力、加速度、速度、或温度信号的其它类型的信号相关联的触觉效果。
如图9所示，当处理器102确定音频信号中的连续时间窗tw(k)的一组频带的功率谱密度(PSD)时在步骤902处方法900开始。此外，在一些实施例中，可以通过其频率PSD值，PSD(band(j)，tw(k))之和来在时间窗tw(k)处表示每个频带。
接下来处理器102为每个时间窗确定总的功率谱密度904。在一些实施例中，处理器904可以确定形成了连续频率的每一个的不同频带的总功率谱密度以作为时间窗tw(k)处的所有频带的PSD的总和。在一些实施例中，所有这些频带集可以覆盖PSD中的频率的整个范围。
接下来，处理器102确定频带对总功率谱密度906的贡献。在一些实施例中，这可以包括确定时间窗tw(k)中的音频信号的总PSD中的每个频带的PSD的贡献。在一些实施例中，这可以包括使时间窗处的频带的PSD的值除以时间窗处的所有频带的PSD值的总和：weight(band(j)，tw(k))＝PSD(band(j)，tw(k))/tw(k)处的所有频带PSD的总和
此后处理器702确定功率谱密度908的第一变化率。在一些实施例中，确定变化率可以包括确定任何两个连续时间窗tw(k)与tw(k+1)之间的每个频带的PSD中的变化率‘R1’：R1(band(j)，tw(k))＝abs(PSD(band(j)，tw(k+1)))-PSD(band(j)，tw(k)))/PSD(band(j)，tw(k))。
接下来，处理器102确定第一距离910。在一些实施例中，第一距离可以等于通过信号中的每个频带的贡献所加权的两个连续时间窗tw(k)与tw(k+1)之间的所有频带的变化率之和：dist1(tw(k))＝所有频带band(j)的(R1(band(j)，tw(k))*weight(band(j)，tw(k)))之和。
此后处理器102确定功率谱密度912的第二变化率。在一些实施例中，该第二变化率‘R2’可以包括时间窗tw(k)与tw(k+2)之间的每个频带的PSD的变化率：R2(band(j)，tw(k))＝abs(PSD(band(j)，tw(k+2))-PSD(band(j)，tw(k)))/PSD(band(j)，tw(k))。
接下来，处理器102确定第二距离914。在一些实施例中，该第二距离可以等于通过信号中的每个频带的贡献所加权的时间窗tw(k)与tw(k+2)之间的每个频带的变化率之和：dist2(tw(k))＝所有频带band(j)的(R2(band(j)，tw(k))*weight(band(j)，tw(k)))之和。
此后在步骤916处，处理器102确定总距离。在一些实施例中，总距离可以包括连续的时间窗tw(k)与tw(k+1)之间的距离。在一些实施例中，处理器102可以通过使第一距离乘以第二距离来获得该确定：dist(tw(k))＝dist1(tw(k))*dist2(tw(k))。
此后处理器102确定总距离918的局部最大值。在一些实施例中，该局部最大值表明时间窗的频率曲线图的移位。在一些实施例中，这导致音频信号之内的跃迁的表示。
图10示出了示例性音频信号1002。如图10所示，由点1004来标记表示音频信号1002中的跃迁的局部最大值。此外，在一些实施例中，可以对该系统进行调谐以仅识别出在某个阈值之上的且分离最小持续时间的局部最大值。在一些实施例中，这能够对系统进行调谐以仅检测在某个电平之上的跃迁。
在一些实施例中，使PSD窗口大小变宽，我们将能够对较大的场景变化进行检测。此外，在一些实施例中，使该窗口变窄能够对较小跃迁(例如重复音圈或音差的周期)进行检测，但是以较高计算时间为代价。此外，在一些实施例中，可以使用时间窗之间的多个不同距离，例如，欧几里德距离或马哈拉诺比斯距离。
在一些实施例中，可以修改方法900以具有迭代方式。在一些实施例中，这可以提供更精确的确定而计算成本不会相应增大。在该实施例中，通过利用其中y(1)>x的y(1)的窗口大小来执行每个步骤，可以迭代地执行方法900以估计x的精确度(以毫秒)。此后继续执行操作n次以直至y(n-1)<＝x。对于在迭代n-1中所检测到的跃迁点的每一个：
·获得以跃迁点为中心的宽带为2*y(n-1)的信号的部分。
·对于这些部分的每一个利用窗口大小y(n)＝y(n-1)/2来执行步骤902至916。
·总距离的最大值与跃迁的精确位置相对应。
生成与音频信号相关联的触觉效果的系统和方法的优点
生成与音频信号中的跃迁相关联的触觉效果存在有许多优点。简单的滤波技术(例如低通滤波器)可以用于自动地从音频或AV文件确定触觉效果。然而，该方法可能会导致造成的触觉效果与音频事件之间差的同步。这可能会导致用户感知到较低质量的触觉效果。
用于生成与音频信号中的跃迁相关联的触觉效果的系统和方法的实施例提供了触觉效果与音频或AV文件中的事件的更好的同步。在一些实施例中，如果在音频或AV事件开始的同时触觉效果开始，那么可能会发生强的同步。在一些实施例中，这可能是甚至音频或AV事件的强度低的情况。在一些实施例中，触觉效果高于某个强度以确保用户感知到同时的两个事件。简单的滤波技术可能仅提供低强度效果，并且效果的上升可能会太慢以使得用户完全感知到该效果。每一个这些问题可以由这里所述的实施例来解决。
此外用于生成与音频信号中的跃迁相关联的触觉效果的的系统和方法的实施例可用于发现和注释音频或AV文件之内的跃迁。随后利用其它方法或者通过另一用户/设计者可使这些跃迁与触觉效果相关联。此外，用于生成与音频信号中的跃迁相关联的触觉效果的系统和方法允许将音频信号更有效地自动转换为触觉轨道。这可以在发行音频轨道之前基于音频轨道来开发触觉轨道。该实施例能够与音频轨道一起发行触觉轨道，并且因而为音频轨道的创作者或发行人提供了额外收入。
此外，用于生成与音频信号中的跃迁相关联的触觉效果的系统和方法的实施例能够使音频信号能够适当地分段。在一些实施例中，频率内容分析和滤波可以允许对音频信号进行逐段分析。这可以提供更多详情并且因而与每个段相关联的触觉效果的触觉轨道更令人信服。
概论
上面所讨论的方法、系统、以及设备是示例。各种配置视情况可以省略、替代、或者添加各种过程或部件。例如，在替代配置中，可以按照与所描述的不同顺序来执行该方法，和/或可以添加、省去各个阶段和/或对多个阶段进行组合。此外，可以将就某个配置所描述的特征组合成各个其它配置。可以按照类似方式对配置的不同方面和要素进行组合。此外，技术发展并且因而，许多要素是示例性的并且不是对本公开或权利要求的范围做出限制。
在描述中给出了具体细节以提供对示例性配置(包括实现)的彻底了解。然而，无需这些具体细节也可实施配置。例如，已经示出了众所周知的电路、处理、算法、结构、以及技术而无需详述以免使该配置变得难以理解。该描述仅提供了示例性配置，并且不对范围、实用性、或者权利要求的配置做出限制。反而，先前对配置的描述向本领域普通技术人员提供了用于实现所述技术的启用描述。在不脱离本公开的精神或范围的情况下可以对功能以及要素的安排做出各种变化。
此外，可以将配置描述为下述处理，该处理被描写为流程图或框图。虽然每一个可以将操作描述为顺序处理，但是可并行或同时执行许多操作。另外，可以对操作的顺序进行重排。处理可以具有未包含在图中的附加步骤。此外，该方法的示例可以通过硬件、软件、固件、中间件、微码、硬件描述语言、或者其任何组合来实现。当以软件、固件、中间件、或者微码实现时，可以将用于执行必要任务的程序代码或代码段存储在诸如存储介质的非临时计算机可读介质中。处理器可以执行所述任务。
在不脱离本公开的精神的情况下可以使用已描述的若干示例性配置、各种修改、替代结构、以及等同物。例如，上述要素可以是较大系统的部件，其中其它规则可以优于或者否则修改本发明的应用。此外，在考虑上述要素之前，期间，或者之后可以进行多个步骤。因此，上述描述不是约束权利要求的范围。
这里“适合于”或者“配置成”的使用是指开放性的并且是不排除适合于或配置为执行附加任务或步骤的设备的包含性语言。另外，在“基于”一个或多个所述条件或值的处理、步骤、计算、或其它动作实际上可以基于除所述那些之外的附加条件或值这方面，“基于”的使用是指开放性的并且是包含性的。这里所包括的标题、列表、以及编号仅是便于说明并且不是做出限制。
根据本主题的方面的实施例可在数字电子电路、计算机硬件、固件、软件、或者先前的组合中实现。在一个实施例中，计算机可以包括一个或多个处理器。处理器包括或可以访问诸如与处理器相耦合的随机存取存储器(RAM)的计算机可读介质。处理器执行存储在存储器中的计算机可执行程序指令，诸如执行包括传感器采样例程、选择例程、以及用于执行上述方法的其它例程的一个或多个计算机程序。
该处理器可以包括微处理器、数字信号处理器(DSP)、专用集成电路(ASIC)、现场可编程门阵列(FPGA)、以及状态机。该处理器可以进一步包括诸如PLC、可编程中断控制器(PIC)、可编程逻辑器件(PLD)、可编程只读存储器(PROM)、电可编程只读存储器(EPROM或EEPROM)、或者其它类似设备的可编程电子设备。
该处理器可以包括或者可以与例如有形计算机可读介质的介质进行通信，该介质可以存储在被处理器执行时可使处理器执行如由处理器执行或辅助在这里进行的步骤的指令。计算机可读介质的实施例可以包括但不局限于能够向诸如网络服务器中的处理器的处理器提供计算机可读指令的所有电、光、磁、或者其它的存储设备。介质的其它示例包括但并不局限于软盘、CD-ROM、磁盘、存储器芯片、ROM、RAM、ASIC、配置的处理器、所有光学介质、所有磁带或其它磁介质，或者计算机处理器可读取的任何其它介质。此外，各种其它设备可以包括诸如路由器、专用或公用网络、或者其它传输设备的计算机可读介质。所述的处理器以及处理可以在一个或多个结构中，或者可以通过一个或多个结构而分散。处理器可以包括用于执行这里所述的一个或多个方法(或方法的部分)的代码。
虽然已参考其特定实施例对本主题进行了详细描述，但是对于本领域普通技术人员来说在获得了对上述的理解时可以很容易产生对该实施例的替代、改变、以及等同物。因此，应该理解的是为了示例而不是限制的目的已呈现了本公开，但是对于本领域普通技术人员来说显而易见地是不排除包含对本主题的这种修改、改变、和/或添加。

Claims (36)

1.一种用于输出触觉效果的系统，包括：
处理器，所述处理器被配置为：
接收信号；
通过以下来部分地基于所述信号确定触觉效果：
识别所述信号中的一个或多个跃迁，其中，识别一个或多个跃迁包括：
确定第一时间窗和第二时间窗内的一组频带的功率谱密度；
通过对每个时间窗的一个或多个频带的一个或多个功率谱密度值求和来确定总功率谱密度；
通过对每个频带的功率谱密度的值与每个时间窗的总功率谱密度进行比较来确定每个频带对总功率谱密度的贡献；
确定从所述第一时间窗到所述第二时间窗所述一个或多个频带的功率谱密度的第一变化率；以及
确定第一距离，所述第一距离等于通过每个频带的贡献所加权的第一变化率的总和；以及
使一个或多个触觉效果与所述一个或多个跃迁同步；以及输出与所述触觉效果相关联的触觉信号。
2.根据权利要求1所述的系统，其中，所述信号包括下述中的一个：音频信号、压力信号、或者加速度信号。
3.根据权利要求1所述的系统，进一步包括：
音频输出设备，所述音频输出设备被配置为接收所述信号并且输出听觉效果；以及
触觉输出设备，所述触觉输出设备与所述处理器通信，所述触觉输出设备被配置为接收所述触觉信号并且输出所述触觉效果。
4.根据权利要求1所述的系统，进一步包括数据储存器，所述数据储存器被配置为接收所述触觉信号并且将所述触觉效果存储在触觉轨道中。
5.根据权利要求1所述的系统，其中，所述跃迁包括下述中的一个或多个：频率的变化、幅度的变化、或者频率和幅度的重复。
6.根据权利要求1所述的系统，其中，所述触觉效果包括下述中的一个或多个：摩擦系数的改变、模拟纹理、或者振动。
7.根据权利要求1所述的系统，其中，识别一个或多个跃迁包括：
对在一系列时间间隔处所获得的信号执行快速傅里叶变换；
对于所述时间间隔的每一个确定所变换的信号的均值；
使所述均值的每一个归一化以创建归一化信号；
确定所述归一化信号的导数以创建导数信号；并且
确定所述导数信号内的一个或多个局部最大值。
8.根据权利要求7所述的系统，进一步包括对所述归一化信号进行滤波。
9.根据权利要求7所述的系统，其中，所述一个或多个局部最大值包括所述一个或多个跃迁。
10.根据权利要求1所述的系统，
其中，所述第一时间窗和第二时间窗是所述信号中的连续时间窗；
其中，识别一个或多个跃迁还包括：
确定从所述第一时间窗到第三时间窗一个或多个频带的功率谱密度的第二变化率，其中，所述第二时间窗和所述第三时间窗是所述信号中的连续时间窗；
确定第二距离，所述第二距离等于通过每个频带的贡献所加权的每个频带处的第二变化率的总和；
通过使所述第一距离乘以所述第二距离来确定在所述第一时间窗与所述第二时间窗之间的总距离；以及
确定局部最大值。
11.根据权利要求10所述的系统，其中，所述局部最大值包括所述第一距离、第二距离、或者总距离的局部最大值。
12.根据权利要求10所述的系统，其中，所述局部最大值包括所述信号中的一个或多个跃迁。
13.一种用于输出触觉效果的方法，包括：
接收信号；
通过以下来部分地基于所述信号确定触觉效果：
识别所述信号中的一个或多个跃迁，其中，识别一个或多个跃迁包括：
确定第一时间窗和第二时间窗内的一组频带的功率谱密度；
通过对每个时间窗的一个或多个频带的一个或多个功率谱密度值求和来确定总功率谱密度；
通过对每个频带的功率谱密度的值与每个时间窗的总功率谱密度进行比较来确定每个频带对总功率谱密度的贡献；
确定从所述第一时间窗到所述第二时间窗所述一个或多个频带的功率谱密度的第一变化率；
确定第一距离，所述第一距离等于通过每个频带的贡献所加权的第一变化率的总和；以及
使一个或多个触觉效果与所述一个或多个跃迁同步；以及
输出与所述触觉效果相关联的触觉信号。
14.根据权利要求13所述的方法，其中所述信号包括下述中的一个：音频信号、压力信号、或者加速度信号。
15.根据权利要求13所述的方法，进一步包括：
输出听觉效果；以及
输出所述触觉效果。
16.根据权利要求13所述的方法，进一步包括：将所述触觉信号存储在触觉轨道中。
17.根据权利要求13所述的方法，其中，所述触觉效果包括下述中的一个或多个：摩擦系数的改变、模拟纹理、或者振动。
18.根据权利要求15所述的方法，其中，所述跃迁包括下述中的一个或多个：频率的变化、幅度的变化、或者频率和幅度的重复。
19.根据权利要求15所述的方法，其中，识别一个或多个跃迁包括：
在一系列时间间隔内对所述信号执行快速傅里叶变换；
对于所述时间间隔的每一个确定所变换的信号的均值；
使所述均值的每一个归一化以创建归一化信号；
确定所述归一化信号的导数以创建导数信号；并且
确定所述导数信号内的一个或多个局部最大值。
20.根据权利要求19所述的方法，进一步包括：对所述归一化信号进行滤波。
21.根据权利要求19所述的方法，其中，所述一个或多个局部最大值包括所述一个或多个跃迁。
22.根据权利要求15所述的方法，
其中，所述第一时间窗和第二时间窗是所述信号中的连续时间窗；
其中，识别一个或多个跃迁还包括：
确定从所述第一时间窗到第三时间窗一个或多个频带的功率谱密度的第二变化率，其中，所述第二时间窗和所述第三时间窗是所述信号中的连续时间窗；
确定第二距离，所述第二距离等于通过所述每个频带的贡献所加权的每个频带处的所述第二变化率的总和；
通过使所述第一距离乘以所述第二距离来确定在所述第一时间窗与所述第二时间窗之间的总距离；以及
确定局部最大值。
23.根据权利要求22所述的方法，其中，所述局部最大值包括所述第一距离、第二距离、或者总距离的局部最大值。
24.根据权利要求22所述的方法，其中，所述局部最大值包括所述信号中的一个或多个跃迁。
25.一种非暂时性计算机可读介质，包括程序代码，所述程序代码当被处理器执行时被配置为使所述处理器：
接收信号；
通过以下来部分地基于所述信号确定触觉效果：
识别所述信号中的一个或多个跃迁，其中，识别一个或多个跃迁包括：
确定第一时间窗和第二时间窗内的一组频带的功率谱密度；
通过对每个时间窗的一个或多个频带的一个或多个功率谱密度值求和来确定总功率谱密度；
通过对每个频带的功率谱密度的值与每个时间窗的总功率谱密度进行比较来确定每个频带对总功率谱密度的贡献；
确定从所述第一时间窗到所述第二时间窗所述一个或多个频带的功率谱密度的第一变化率；
确定第一距离，所述第一距离等于通过每个频带的贡献所加权的第一变化率的总和；以及
使一个或多个触觉效果与所述一个或多个跃迁同步；以及
输出与所述触觉效果相关联的触觉信号。
26.根据权利要求25所述的非暂时性计算机可读介质，其中所述信号包括下述中的一个：音频信号、压力信号、或者加速度信号。
27.根据权利要求25所述的非暂时性计算机可读介质，进一步包括程序代码，所述程序代码当被处理器执行时被配置为使所述处理器：
输出听觉效果；并且
输出所述触觉效果。
28.根据权利要求25所述的非暂时性计算机可读介质，进一步包括程序代码，所述程序代码当被处理器执行时被配置为使所述处理器将所述触觉信号存储在触觉轨道中。
29.根据权利要求25所述的非暂时性计算机可读介质，其中，所述触觉效果包括下述中的一个或多个：摩擦系数的改变、模拟纹理、或者振动。
30.根据权利要求27所述的非暂时性计算机可读介质，其中，所述跃迁包括下述中的一个或多个：频率的变化、幅度的变化、或者频率和幅度的重复。
31.根据权利要求27所述的非暂时性计算机可读介质，其中，识别一个或多个跃迁包括：
在一系列时间间隔内对所述信号执行快速傅里叶变换；
对于所述时间间隔的每一个确定所变换的信号的均值；
使所述均值的每一个归一化以创建归一化信号；
确定所述归一化信号的导数以创建导数信号；以及
确定所述导数信号内的一个或多个局部最大值。
32.根据权利要求31所述的非暂时性计算机可读介质，其中，所述一个或多个局部最大值包括所述一个或多个跃迁。
33.根据权利要求31所述的非暂时性计算机可读介质，进一步包括：对所述归一化信号进行滤波。
34.根据权利要求27所述的非暂时性计算机可读介质，
其中，所述第一时间窗和第二时间窗是所述信号中的连续时间窗；
其中，识别一个或多个跃迁还包括：
确定从所述第一时间窗到第三时间窗一个或多个频带的功率谱密度的第二变化率，其中，所述第二时间窗和所述第三时间窗是所述信号中的连续时间窗；
确定第二距离，所述第二距离等于通过每个频带的贡献所加权的每个频带处的所述第二变化率的总和；
通过使所述第一距离乘以所述第二距离来确定在所述第一时间窗与所述第二时间窗之间的总距离；以及
确定局部最大值。
35.根据权利要求34所述的非暂时性计算机可读介质，其中，所述局部最大值包括所述信号中的一个或多个跃迁。
36.根据权利要求34所述的非暂时性计算机可读介质，其中，所述局部最大值包括所述第一距离、第二距离、或者总距离的局部最大值。
CN201410453219.7A 2013-09-06 2014-09-05 生成与音频信号中的跃迁相关联的触觉效果的系统和方法 Expired - Fee Related CN104423593B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811182275.6A CN109634402A (zh) 2013-09-06 2014-09-05 用于输出触觉效果的系统和方法

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US201361874933P 2013-09-06 2013-09-06
US61/874,933 2013-09-06
US14/078,438 2013-11-12
US14/078,438 US9711014B2 (en) 2013-09-06 2013-11-12 Systems and methods for generating haptic effects associated with transitions in audio signals

Related Child Applications (1)

Application Number Title Priority Date Filing Date
CN201811182275.6A Division CN109634402A (zh) 2013-09-06 2014-09-05 用于输出触觉效果的系统和方法

Publications (2)

Publication Number Publication Date
CN104423593A CN104423593A (zh) 2015-03-18
CN104423593B true CN104423593B (zh) 2018-10-30

Family

ID=51492231

Family Applications (2)

Application Number Title Priority Date Filing Date
CN201410453219.7A Expired - Fee Related CN104423593B (zh) 2013-09-06 2014-09-05 生成与音频信号中的跃迁相关联的触觉效果的系统和方法
CN201811182275.6A Pending CN109634402A (zh) 2013-09-06 2014-09-05 用于输出触觉效果的系统和方法

Family Applications After (1)

Application Number Title Priority Date Filing Date
CN201811182275.6A Pending CN109634402A (zh) 2013-09-06 2014-09-05 用于输出触觉效果的系统和方法

Country Status (5)

Country Link
US (3) US9711014B2 (zh)
EP (1) EP2846227A3 (zh)
JP (2) JP6494220B2 (zh)
KR (1) KR20150028736A (zh)
CN (2) CN104423593B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10276004B2 (en) 2013-09-06 2019-04-30 Immersion Corporation Systems and methods for generating haptic effects associated with transitions in audio signals

Families Citing this family (30)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10007341B2 (en) * 2011-06-21 2018-06-26 Northwestern University Touch interface device and method for applying lateral forces on a human appendage
US9652945B2 (en) 2013-09-06 2017-05-16 Immersion Corporation Method and system for providing haptic effects based on information complementary to multimedia content
US9576445B2 (en) 2013-09-06 2017-02-21 Immersion Corp. Systems and methods for generating haptic effects associated with an envelope in audio signals
US9619980B2 (en) 2013-09-06 2017-04-11 Immersion Corporation Systems and methods for generating haptic effects associated with audio signals
US9164587B2 (en) 2013-11-14 2015-10-20 Immersion Corporation Haptic spatialization system
US9619029B2 (en) 2013-11-14 2017-04-11 Immersion Corporation Haptic trigger control system
JP2015130168A (ja) * 2013-12-31 2015-07-16 イマージョン コーポレーションＩｍｍｅｒｓｉｏｎ Ｃｏｒｐｏｒａｔｉｏｎ 摩擦拡張制御、及び、タッチコントロールパネルのボタンを摩擦拡張制御部へと変換する方法
JP2015170174A (ja) * 2014-03-07 2015-09-28 ソニー株式会社 情報処理装置、情報処理システム、情報処理方法及びプログラム
JP2015170173A (ja) * 2014-03-07 2015-09-28 ソニー株式会社 情報処理装置、情報処理システム、情報処理方法及びプログラム
US10139907B2 (en) 2014-06-16 2018-11-27 Immersion Corporation Systems and methods for foley-style haptic content creation
EP3198365A1 (en) * 2014-09-25 2017-08-02 Telefonaktiebolaget LM Ericsson (publ) Mobile communications device with adaptive friction of the housing
US10185396B2 (en) 2014-11-12 2019-01-22 Immersion Corporation Haptic trigger modification system
US9996156B2 (en) 2014-12-23 2018-06-12 Immersion Corporation Feedback reduction for a user input element associated with a haptic output device
KR101606791B1 (ko) * 2015-09-08 2016-03-28 박재성 주파수 변화에 따라 실시간 진동을 제공하는 진동 제공시스템 및 이것의 진동 제공방법
KR101756298B1 (ko) * 2015-11-23 2017-07-10 씨제이포디플렉스 주식회사 진동 신호 생성 방법, 진동 신호를 이용한 영상 상영 방법 및 이를 수행하기 위한 프로그램
CN105553458B (zh) * 2015-12-28 2018-07-03 哈尔滨工业大学 一种基于声音控制的形状记忆聚合物的驱动方法
US9981182B2 (en) 2016-02-12 2018-05-29 Disney Enterprises, Inc. Systems and methods for providing immersive game feedback using haptic effects
CN109478354B (zh) * 2016-07-22 2022-02-08 哈曼国际工业有限公司 触觉引导系统
CN107608567A (zh) * 2017-08-30 2018-01-19 湖州佳格电子科技股份有限公司 交互式红外触摸装置及其交互方法
EP3579081A1 (en) * 2018-06-07 2019-12-11 Lofelt GmbH Systems and methods for generating haptic output for enhanced user experience
US10360775B1 (en) 2018-06-11 2019-07-23 Immersion Corporation Systems and methods for designing haptics using speech commands
US20200012347A1 (en) * 2018-07-09 2020-01-09 Immersion Corporation Systems and Methods for Providing Automatic Haptic Generation for Video Content
EP3844597A1 (en) * 2018-08-29 2021-07-07 Ecole Polytechnique Federale De Lausanne (Epfl) Multisensory haptic system and method
US10943445B2 (en) 2019-05-13 2021-03-09 Immersion Corporation Systems and methods for providing haptic effects with airflow and thermal stimulation
JP2021015488A (ja) * 2019-07-12 2021-02-12 株式会社東海理化電機製作所 制御装置、呈示装置、およびデータ
US11126267B2 (en) 2019-12-19 2021-09-21 Giantplus Technology Co., Ltd Tactile feedback device and operation method thereof
CN111312281B (zh) * 2020-05-09 2020-09-08 北京小米移动软件有限公司 一种触感振动实现方法
JP2023533396A (ja) * 2020-07-10 2023-08-02 メタフィジクス エンジニアリング ソシエテ アノニム 被験体の入眠を促進するおよび／または睡眠の質を改善するための方法
CN112506341B (zh) * 2020-12-01 2022-05-03 瑞声新能源发展(常州)有限公司科教城分公司 一种振动效果的生成方法、装置、终端设备及存储介质
US11797091B2 (en) 2021-06-24 2023-10-24 Microsoft Technology Licensing, Llc Computing device with haptic trackpad

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1546290A (zh) * 2003-12-01 2004-11-17 东南大学 时空双通道机器人触觉再现电流刺激方法及装置
CN1620327A (zh) * 2001-10-10 2005-05-25 伊默逊股份有限公司 使用触觉反馈的声音数据输出和处理
CN101828382A (zh) * 2007-10-16 2010-09-08 伊梅森公司 媒体传输流中的触觉效应数据的同步
US7816838B2 (en) * 2007-12-11 2010-10-19 Nokia Corporation Piezoelectric force sensing
CN102597914A (zh) * 2009-10-29 2012-07-18 伊梅森公司 用于语音到文本转换的触觉增加的系统和方法

Family Cites Families (113)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4250637A (en) 1979-06-13 1981-02-17 Scott Instruments Company Tactile aid to speech reception
US5388992A (en) 1991-06-19 1995-02-14 Audiological Engineering Corporation Method and apparatus for tactile transduction of acoustic signals from television receivers
US6400996B1 (en) 1999-02-01 2002-06-04 Steven M. Hoffberg Adaptive pattern recognition based control system and method
US5684722A (en) * 1994-09-21 1997-11-04 Thorner; Craig Apparatus and method for generating a control signal for a tactile sensation generator
JPH08110796A (ja) * 1994-10-13 1996-04-30 Hitachi Ltd 音声強調方法および装置
WO1998027802A2 (en) * 1996-12-18 1998-07-02 Sanderford, Hugh, Britton Power spectral density technique
US6650338B1 (en) 1998-11-24 2003-11-18 Interval Research Corporation Haptic interaction with video and image data
US7020701B1 (en) * 1999-10-06 2006-03-28 Sensoria Corporation Method for collecting and processing data using internetworked wireless integrated network sensors (WINS)
US6408696B1 (en) * 1999-12-06 2002-06-25 Ai Signal Research, Inc. Coherent phase line enhancer spectral analysis technique
US7159008B1 (en) 2000-06-30 2007-01-02 Immersion Corporation Chat interface with haptic feedback functionality
US6397154B1 (en) * 2000-07-07 2002-05-28 Research Electronics International Correlation method for surveillance device detection
US7069208B2 (en) 2001-01-24 2006-06-27 Nokia, Corp. System and method for concealment of data loss in digital audio transmission
US7623114B2 (en) 2001-10-09 2009-11-24 Immersion Corporation Haptic feedback sensations based on audio output from computer devices
US20030188020A1 (en) 2002-03-29 2003-10-02 Steven Barile Tangible artifact referencing digital content
JP2005523612A (ja) 2002-04-22 2005-08-04 インテロシティ ユーエスエー，インコーポレイテッド データ受信器と制御装置の方法及び装置
AU2003239385A1 (en) 2002-05-10 2003-11-11 Richard R. Reisman Method and apparatus for browsing using multiple coordinated device
JP4243829B2 (ja) * 2002-09-27 2009-03-25 日本電気株式会社 ブロードバンド信号検出方法及び装置
KR20050046815A (ko) 2002-09-30 2005-05-18 코닌클리케 필립스 일렉트로닉스 엔.브이. 지문 추출
US8027482B2 (en) 2003-02-13 2011-09-27 Hollinbeck Mgmt. Gmbh, Llc DVD audio encoding using environmental audio tracks
KR100581060B1 (ko) 2003-11-12 2006-05-22 한국전자통신연구원 오감 데이터 동기화 전송 장치 및 그 방법과 그를 이용한실감형 멀티미디어 데이터 제공 시스템 및 그 방법
EP1560199B1 (en) 2004-01-29 2008-07-09 Harman Becker Automotive Systems GmbH Multimodal data input
EP1582965A1 (en) 2004-04-01 2005-10-05 Sony Deutschland Gmbh Emotion controlled system for processing multimedia data
US8751616B2 (en) * 2004-06-08 2014-06-10 Siemens Industry, Inc. System for accessing and browsing a PLC provided within a network
CN1898720B (zh) * 2004-07-09 2012-01-25 日本电信电话株式会社 音响信号检测系统、音响信号检测服务器、影像信号搜索装置、影像信号搜索方法、影像信号搜索程序与记录介质、信号搜索装置、信号搜索方法、及信号搜索程序与记录介质
US20060017691A1 (en) * 2004-07-23 2006-01-26 Juan Manuel Cruz-Hernandez System and method for controlling audio output associated with haptic effects
US20090023127A1 (en) * 2004-10-12 2009-01-22 Agency For Science, Technology And Research Tissue system and methods of use
US7640139B2 (en) 2004-10-18 2009-12-29 Nsk Ltd. Abnormality diagnosing system for mechanical equipment
US20080098331A1 (en) 2005-09-16 2008-04-24 Gregory Novick Portable Multifunction Device with Soft Keyboards
US8700791B2 (en) 2005-10-19 2014-04-15 Immersion Corporation Synchronization of haptic effect data in a media transport stream
US20070178942A1 (en) 2006-01-30 2007-08-02 Sadler Daniel J Method for abruptly stopping a linear vibration motor in portable communication device
US8378964B2 (en) 2006-04-13 2013-02-19 Immersion Corporation System and method for automatically producing haptic events from a digital audio signal
US8000825B2 (en) * 2006-04-13 2011-08-16 Immersion Corporation System and method for automatically producing haptic events from a digital audio file
US7979146B2 (en) 2006-04-13 2011-07-12 Immersion Corporation System and method for automatically producing haptic events from a digital audio signal
BRPI0712760A8 (pt) 2006-06-13 2015-10-06 Koninklijke Philips Electronics Nv Sistema para suportar distribuição de entretenimento através de pelo menos uma rede, provedor de metadados, terminal de usuário, método para suportar distribuição de entretenimento através de pelo menos uma rede , produto de programa de computador, e, arquivo xml e sinal digital para comunicação entre dispositivos
US20080103558A1 (en) 2006-10-30 2008-05-01 Stuart Wenzel Focused electromagnetic-wave and ultrasonic-wave structures for tissue stimulation
CN101237317B (zh) * 2006-11-27 2010-09-29 华为技术有限公司 确定发送频谱的方法和装置
US7882442B2 (en) 2007-01-05 2011-02-01 Eastman Kodak Company Multi-frame display system with perspective based image arrangement
KR100835297B1 (ko) 2007-03-02 2008-06-05 광주과학기술원 촉감 정보 표현을 위한 노드 구조 및 이를 이용한 촉감정보 전송 방법과 시스템
US8095646B2 (en) 2007-08-16 2012-01-10 Sony Computer Entertainment Inc. Content ancillary to sensory work playback
US8875212B2 (en) 2008-04-15 2014-10-28 Shlomo Selim Rakib Systems and methods for remote control of interactive video
US7911328B2 (en) 2007-11-21 2011-03-22 The Guitammer Company Capture and remote reproduction of haptic events in synchronous association with the video and audio capture and reproduction of those events
JP2009159125A (ja) 2007-12-25 2009-07-16 Casio Hitachi Mobile Communications Co Ltd 字幕付き映像再生装置、字幕付き映像再生装置の検索結果通知方法及びプログラム
JP2011523364A (ja) 2008-05-09 2011-08-11 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ 感情を伝達する方法及びシステム
US8831948B2 (en) 2008-06-06 2014-09-09 At&T Intellectual Property I, L.P. System and method for synthetically generated speech describing media content
US20110125788A1 (en) 2008-07-16 2011-05-26 Electronics And Telecommunications Research Institute Method and apparatus for representing sensory effects and computer readable recording medium storing sensory device capability metadata
WO2010008233A2 (ko) 2008-07-16 2010-01-21 한국전자통신연구원 실감 효과 표현 방법 및 그 장치 및 사용자 환경 정보 메타데이터가 기록된 컴퓨터로 읽을 수 있는 기록 매체
WO2010008235A2 (ko) 2008-07-16 2010-01-21 한국전자통신연구원 실감 효과 표현 방법 및 그 장치 및 실감 기기 제어 메타데이터가 기록된 컴퓨터로 읽을 수 있는 기록 매체
WO2010008232A2 (ko) 2008-07-16 2010-01-21 한국전자통신연구원 실감 효과 표현 방법 및 그 장치 및 실감 효과 메타데이터가 기록된 컴퓨터로 읽을 수 있는 기록 매체
CN102204225B (zh) 2008-09-05 2013-12-11 Sk电信有限公司 传送振动信息的移动通信终端及其方法
EP2164066B1 (en) * 2008-09-15 2016-03-09 Oticon A/S Noise spectrum tracking in noisy acoustical signals
US20110188832A1 (en) 2008-09-22 2011-08-04 Electronics And Telecommunications Research Institute Method and device for realising sensory effects
EP2378876B1 (en) 2008-12-19 2018-11-14 Medicis Pharmaceutical Corporation Lower dosage strength imiquimod formulations and short dosing regimens for treating actinic keratosis
EP2374029A2 (en) * 2009-01-05 2011-10-12 Services Pétroliers Schlumberger Processing time series data embedded in high noise
US9402133B2 (en) 2009-02-12 2016-07-26 Brock Maxwell SEILER Multi-channel audio vibratory entertainment system
TW201104498A (en) 2009-03-10 2011-02-01 Artificial Muscle Inc Electroactive polymer transducers for tactile feedback devices
JP5639151B2 (ja) 2009-04-15 2014-12-10 コーニンクレッカ フィリップス エヌ ヴェ 折り畳み式触覚ディスプレイ
KR20100114857A (ko) 2009-04-16 2010-10-26 한국전자통신연구원 사용자 실감 효과 선호정보를 이용한 실감 효과 표현 방법 및 장치
KR20100114858A (ko) 2009-04-16 2010-10-26 한국전자통신연구원 실감 기기 성능 메타데이터를 이용한 실감 효과 표현 방법 및 장치
WO2010129915A1 (en) 2009-05-08 2010-11-11 University Of Washington Advertising during accelerated media playback
US8068025B2 (en) 2009-05-28 2011-11-29 Simon Paul Devenyi Personal alerting device and method
US8260715B2 (en) * 2009-07-13 2012-09-04 International Business Machines Corporation Software license usage amongst workgroups using software usage data
US8373759B2 (en) * 2009-08-18 2013-02-12 Wi-Lan, Inc. White space spectrum sensor for television band devices
CN102341766B (zh) 2009-09-03 2014-09-24 松下电器产业株式会社 触感再现方法和装置
GB2474047B (en) 2009-10-02 2014-12-17 New Transducers Ltd Touch sensitive device
US10254824B2 (en) * 2009-10-16 2019-04-09 Immersion Corporation Systems and methods for output of content based on sensing an environmental factor
US20110099596A1 (en) 2009-10-26 2011-04-28 Ure Michael J System and method for interactive communication with a media device user such as a television viewer
KR101303648B1 (ko) 2009-12-08 2013-09-04 한국전자통신연구원 감성신호 감지 장치 및 그 방법
EP2539883A1 (en) 2010-02-24 2013-01-02 Ipplex Holdings Corporation Augmented reality panorama supporting visually impaired individuals
EP2561424B1 (en) * 2010-04-23 2019-02-20 Immersion Corporation Systems and methods for providing haptic effects
KR101635029B1 (ko) * 2010-06-28 2016-06-30 엘지전자 주식회사 이동 단말기
KR101705206B1 (ko) 2010-06-30 2017-02-09 롯데정밀화학 주식회사 클로로히드린류의 제조방법 및 그 방법에 의해 제조된 클로로히드린류를 사용하는 에피클로로히드린의 제조방법
US8798534B2 (en) 2010-07-09 2014-08-05 Digimarc Corporation Mobile devices and methods employing haptics
CA2841802C (en) 2010-07-21 2018-08-28 D-Box Technologies Inc. Media recognition and synchronisation to a motion signal
CN102385571B (zh) 2010-09-06 2016-03-30 联想(北京)有限公司 一种显示方法及显示装置
EP2642920B1 (en) * 2010-11-23 2020-01-01 Feather Sensors LLC Method and apparatus for intelligent flow sensors
US20120150928A1 (en) 2010-12-09 2012-06-14 Peter Ward Method and system for identifying media assets
US10002501B2 (en) 2010-12-22 2018-06-19 Kyocera Corporation Electronic device
JP5593244B2 (ja) * 2011-01-28 2014-09-17 日本放送協会 話速変換倍率決定装置、話速変換装置、プログラム、及び記録媒体
JP5602653B2 (ja) 2011-01-31 2014-10-08 インターナショナル・ビジネス・マシーンズ・コーポレーション 情報処理装置、情報処理方法、情報処理システム、およびプログラム
US8717152B2 (en) 2011-02-11 2014-05-06 Immersion Corporation Sound to haptic effect conversion system using waveform
US9448626B2 (en) 2011-02-11 2016-09-20 Immersion Corporation Sound to haptic effect conversion system using amplitude value
US8872011B2 (en) 2011-02-25 2014-10-28 Mark Fresolone Visual, tactile and motion-sensation system for representing music for an audience
US8593420B1 (en) 2011-03-04 2013-11-26 Amazon Technologies, Inc. Providing tactile output and interaction
CN103430556A (zh) 2011-03-18 2013-12-04 松下电器产业株式会社 显示装置、3d眼镜及3d影像视听系统
US8948892B2 (en) 2011-03-23 2015-02-03 Audible, Inc. Managing playback of synchronized content
US8976980B2 (en) 2011-03-24 2015-03-10 Texas Instruments Incorporated Modulation of audio signals in a parametric speaker
EP3229045B1 (en) * 2011-03-30 2019-02-27 Hunt Energy Enterprises, LLC Apparatus and system for passive electroseismic surveying
US9448713B2 (en) 2011-04-22 2016-09-20 Immersion Corporation Electro-vibrotactile display
US8892391B2 (en) * 2011-06-03 2014-11-18 Apple Inc. Activity detection
US9083821B2 (en) 2011-06-03 2015-07-14 Apple Inc. Converting audio to haptic feedback in an electronic device
US20130032545A1 (en) * 2011-08-05 2013-02-07 Freese Robert P Methods for monitoring and modifying a fluid stream using opticoanalytical devices
US10013857B2 (en) 2011-12-21 2018-07-03 Qualcomm Incorporated Using haptic technologies to provide enhanced media experiences
KR101869562B1 (ko) 2011-12-27 2018-07-24 삼성전자주식회사 이동 단말에서 사운드 특성에 따른 진동 발생 장치 및 방법
EP3557388A1 (en) 2012-02-03 2019-10-23 Immersion Corporation Sound to haptic effect conversion system using waveform
US8493354B1 (en) 2012-08-23 2013-07-23 Immersion Corporation Interactivity model for shared feedback on mobile devices
EP3321780A1 (en) * 2012-02-15 2018-05-16 Immersion Corporation High definition haptic effects generation using primitives
US9132346B2 (en) 2012-04-04 2015-09-15 Kenneth J. Huebner Connecting video objects and physical objects for handheld projectors
US9715276B2 (en) 2012-04-04 2017-07-25 Immersion Corporation Sound to haptic effect conversion system using multiple actuators
US8847913B2 (en) 2012-04-04 2014-09-30 Kohler Co. User interface device for a bath or shower
US8896524B2 (en) 2012-08-24 2014-11-25 Immersion Corporation Context-dependent haptic confirmation system
US9092059B2 (en) 2012-10-26 2015-07-28 Immersion Corporation Stream-independent sound to haptic effect conversion system
US9352226B2 (en) 2012-12-21 2016-05-31 Sony Interactive Entertainment America Llc Automatic generation of suggested mini-games for cloud-gaming based on recorded gameplay
US9261960B2 (en) 2013-01-24 2016-02-16 Immersion Corporation Haptic sensation recording and playback
US9182890B2 (en) 2013-01-31 2015-11-10 Lg Electronics Inc. Image display apparatus and method for operating the same
KR102099086B1 (ko) 2013-02-20 2020-04-09 삼성전자주식회사 디지털 텔레비전 및 사용자 디바이스를 이용하여 사용자 맞춤형 인터랙션을 제공하는 방법, 그 디지털 텔레비전 및 사용자 디바이스
US9992491B2 (en) 2013-03-15 2018-06-05 Immersion Corporation Method and apparatus for encoding and decoding haptic information in multi-media files
EP3399763A1 (en) 2013-05-24 2018-11-07 Immersion Corporation Method and system for haptic data encoding
US20140368349A1 (en) 2013-06-14 2014-12-18 Revolution Display Sensory element projection system and method of use
US9898086B2 (en) 2013-09-06 2018-02-20 Immersion Corporation Systems and methods for visual processing of spectrograms to generate haptic effects
US9619980B2 (en) 2013-09-06 2017-04-11 Immersion Corporation Systems and methods for generating haptic effects associated with audio signals
US9711014B2 (en) 2013-09-06 2017-07-18 Immersion Corporation Systems and methods for generating haptic effects associated with transitions in audio signals
US9652945B2 (en) 2013-09-06 2017-05-16 Immersion Corporation Method and system for providing haptic effects based on information complementary to multimedia content
US9576445B2 (en) 2013-09-06 2017-02-21 Immersion Corp. Systems and methods for generating haptic effects associated with an envelope in audio signals

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1620327A (zh) * 2001-10-10 2005-05-25 伊默逊股份有限公司 使用触觉反馈的声音数据输出和处理
CN1546290A (zh) * 2003-12-01 2004-11-17 东南大学 时空双通道机器人触觉再现电流刺激方法及装置
CN101828382A (zh) * 2007-10-16 2010-09-08 伊梅森公司 媒体传输流中的触觉效应数据的同步
US7816838B2 (en) * 2007-12-11 2010-10-19 Nokia Corporation Piezoelectric force sensing
CN102597914A (zh) * 2009-10-29 2012-07-18 伊梅森公司 用于语音到文本转换的触觉增加的系统和方法

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10276004B2 (en) 2013-09-06 2019-04-30 Immersion Corporation Systems and methods for generating haptic effects associated with transitions in audio signals

Also Published As

Publication number Publication date
EP2846227A3 (en) 2015-04-29
US20170270756A1 (en) 2017-09-21
KR20150028736A (ko) 2015-03-16
JP6494220B2 (ja) 2019-04-03
US9711014B2 (en) 2017-07-18
US10276004B2 (en) 2019-04-30
JP2019133685A (ja) 2019-08-08
EP2846227A2 (en) 2015-03-11
CN104423593A (zh) 2015-03-18
JP6744940B2 (ja) 2020-08-19
JP2015053052A (ja) 2015-03-19
US20190221087A1 (en) 2019-07-18
US20150070146A1 (en) 2015-03-12
CN109634402A (zh) 2019-04-16

Similar Documents

Publication Publication Date Title
CN104423593B (zh) 生成与音频信号中的跃迁相关联的触觉效果的系统和方法
US10395488B2 (en) Systems and methods for generating haptic effects associated with an envelope in audio signals
US10388122B2 (en) Systems and methods for generating haptic effects associated with audio signals
JP6434669B2 (ja) 低周波数効果ハプティック変換システム
CN104423589B (zh) 用于变换触觉信号的方法和系统
CN103513767A (zh) 触觉反馈控制系统

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20181030

Termination date: 20210905