CN104035556A - 触觉效果的自动适配 - Google Patents

触觉效果的自动适配 Download PDF

Info

Publication number
CN104035556A
CN104035556A CN201410076907.6A CN201410076907A CN104035556A CN 104035556 A CN104035556 A CN 104035556A CN 201410076907 A CN201410076907 A CN 201410076907A CN 104035556 A CN104035556 A CN 104035556A
Authority
CN
China
Prior art keywords
touch
source data
sense
haptic effect
former
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201410076907.6A
Other languages
English (en)
Other versions
CN104035556B (zh
Inventor
C·J·尤尔里奇
D·格兰特
V·A·维也加斯
J·M·克鲁兹-埃尔南德斯
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Immersion Corp
Original Assignee
Immersion Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Immersion Corp filed Critical Immersion Corp
Priority to CN201811078242.7A priority Critical patent/CN108874158B/zh
Publication of CN104035556A publication Critical patent/CN104035556A/zh
Application granted granted Critical
Publication of CN104035556B publication Critical patent/CN104035556B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B6/00—Tactile signalling systems, e.g. personal calling systems
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/25—Output arrangements for video game devices
    • A63F13/28—Output arrangements for video game devices responding to control signals received from the game device for affecting ambient conditions, e.g. for vibrating players' seats, activating scent dispensers or affecting temperature or light
    • A63F13/285—Generating tactile feedback signals via the game input device, e.g. force feedback
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/40—Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment
    • A63F13/42—Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment by mapping the input signals into game commands, e.g. mapping the displacement of a stylus on a touch screen to the steering angle of a virtual vehicle
    • A63F13/424—Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment by mapping the input signals into game commands, e.g. mapping the displacement of a stylus on a touch screen to the steering angle of a virtual vehicle involving acoustic input signals, e.g. by using the results of pitch or rhythm extraction or voice recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24—Querying
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24—Querying
    • G06F16/245—Query processing
    • G06F16/2455—Query execution
    • G06F16/24568—Data stream processing; Continuous queries
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/60—Information retrieval; Database structures therefor; File system structures therefor of audio data
    • G06F16/68—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/683—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/016—Input arrangements with force or tactile feedback as computer generated output to the user
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G06F3/165—Management of the audio stream, e.g. setting of volume, audio stream path
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/01—Indexing scheme relating to G06F3/01
    • G06F2203/013—Force feedback applied to a game
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/01—Indexing scheme relating to G06F3/01
    • G06F2203/014—Force feedback applied to GUI

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Computational Linguistics (AREA)
  • Library & Information Science (AREA)
  • Acoustics & Sound (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • User Interface Of Digital Computer (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Quality & Reliability (AREA)
  • Signal Processing (AREA)

Abstract

本公开涉及触觉效果的自动适配。提供一种由诸如音频源数据的源数据自动产生一个或多个触觉效果的系统。通过分析源数据并且识别最类似于源数据的一个或多个触觉效果，该系统将一个或多个触觉效果与源数据相适配。该系统将识别出的一个或多个触觉效果与源数据相匹配。该系统随后输出识别出的一个或多个触觉效果。

Description

触觉效果的自动适配
技术领域
一个实施例一般涉及触觉效果，并且尤其涉及一种设备，其产生与其它相关输出相关联的触觉效果。
背景技术
触觉论是一种通过将诸如力、振动和运动的触觉反馈效果（即“触觉效果”）施加给用户而对用户的接触感知加以利用的触知和力反馈技术。诸如移动设备、触摸屏设备和个人计算机的设备能够被配置成产生触觉效果。一般地，能够在设备的操作系统（“OS”）内对调用能够产生触觉效果的嵌入式硬件（诸如致动器）进行编程。这些调用规定哪个触觉效果要播放。例如，当用户与使用例如按钮、触摸屏、控制杆、游戏棒、滚轮或一些其它控制的设备交互时，设备的OS能够通过控制电路将播放命令发送至嵌入式硬件。然后嵌入式硬件产生适当的触觉效果。
设备能够被配置成协调触觉效果输出和诸如游戏或其它媒介的其它内容输出，使得触觉效果并入其它内容内。例如，在游戏背景中，当游戏被开发时，音频效果开发者能够开发音频效果，其与游戏相关联并且表示发生在游戏内的动作，诸如机关枪射击、爆炸、或汽车碰撞。通常，触觉效果在游戏开发过程后期被增加至游戏，诸如当游戏开发者完成游戏应用的开发时，或当游戏开发者将完成的游戏应用移植至新平台时。这一般导致触觉效果在所有音频效果已经被开发后才被增加的现象。因为触觉效果通常在过程中被非常晚地增加，所以它一般由触觉效果开发者、或一些其他开发者承担，来做关于将触觉效果与音频效果相关联的决定。此外，音频效果开发者通常不具有关于选择用于音频效果的适当触觉效果的输入。这样能够促使最终并入内容中的触觉效果质量的下降。这种质量下降会是将高质量触觉效果并入这种内容内的一个障碍。
发明内容
一个实施例是一种自动适配触觉效果的系统。该系统接收源数据，其中源数据包括一个或多个特性。该系统进一步将源数据与一个或多个原触觉进行比较，其中一个或多个原触觉的每个原触觉都包括一个或多个触觉参数。该系统基于比较进一步从一个或多个原触觉中选择一个或多个原触觉。该系统基于选定的一个或多个原触觉进一步输出一个或多个触觉效果。
另一个实施例是一种自动适配触觉效果的系统。该系统接收源数据，其中源数据包括一个或多个特征。该系统进一步从源数据中提取一个或多个特征。该系统进一步将一个或多个提取特征与一个或多个样板进行比较，其中每个样板都包括一个或多个样板特征和一个或多个触觉效果。该系统基于比较进一步从一个或多个样板中选择一个或多个样板。该系统进一步从一个或多个选定样板中选择一个或多个触觉效果。该系统进一步输出一个或多个选定触觉效果。
附图说明
结合附图，从优选实施例的以下详细说明，进一步的实施例、细节、优点及更改将变得清楚。
图1示出根据本发明一个实施例的系统的框图。
图2示出用于产生并且播放触觉效果的框架的流程图。
图3示出根据本发明一个实施例的对最类似于音频源数据的原触觉的选择的流程图。
图4示出根据本发明一个实施例的用于音频特征提取和基于提取音频特征选择触觉效果的流程图。
图5示出根据本发明一个实施例的自动触觉效果适配模块的功能的流程图。
图6示出根据本发明另一个实施例的自动触觉效果适配模块的功能的流程图。
具体实施方式
一个实施例是一种系统，其能够鉴于诸如音频源数据的源数据来自动产生一个或多个触觉效果。换言之，该系统能够将接收到的源数据自动转换成触觉信息，其中接收到的源数据能够包括诸如音频数据、视频数据、加速度数据、或能够利用传感器捕获的另一种类型数据的数据。更具体地，该系统能够分析源数据并且识别最类似于源数据的一个或多个触觉效果。该系统随后能够将识别出的一个或多个触觉效果与源数据进行匹配。该系统随后能够输出识别出的一个或多个触觉效果。源数据能够被储存在储存器（storage）内，其中在源数据被自动转换成触觉信息之前源数据被检索（retrieve）。可选地，在源数据被自动转换成触觉信息前源数据能够被流式传输。
在一个实施例中，该系统能够识别最类似于源数据的一个或多个原触觉（在下文详细描述）。该系统随后能够选择一个或多个原触觉并且基于一个或多个原触觉来输出一个或多个触觉效果。该系统能够可选地将一个或多个原触觉优化成更类似于源数据。在另一个实施例中，该系统能够识别最类似于源数据的一个或多个样板。该系统随后能够选择与一个或多个样板相关联的一个或多个触觉效果，并且输出一个或多个选定触觉效果。该系统能够可选地将一个或多个选定触觉效果优化成更类似于源数据。源数据能够被储存在储存器内，其中在源数据被自动转换成触觉信息之前源数据被检索。可选地，在源数据被自动转换成触觉信息前源数据能够被流式传输。
因此，根据一个实施例，其中诸如视频游戏或其它类型媒介的内容被输出，并且其中内容包括诸如音频数据、视频数据或加速度数据的数据，系统能够自动将一个或多个触觉效果增加至内容，其中每个触觉效果都“适配”内容的对应数据。因此，当现有内容被输出时，触觉内容能够自动被增加至现有内容，其中触觉内容与现有内容相匹配。
图1示出根据本发明一个实施例的系统10的框图。在一个实施例中，系统10是设备的一部分，并且系统10为设备提供自动触觉效果适配功能。在另一个实施例中，系统10与设备分开，并且为设备远程提供自动触觉效果适配功能。虽然被示出为单个系统，但是系统10的功能能够被实施为分布式系统。系统10包括总线12或用于交流信息的其它通信机构，和被耦接至总线12以便处理信息的处理器22。处理器22可以是任何类型的通用或专用处理器。系统10进一步包括用于储存信息和被处理器22执行的指令的存储器（memory）14。存储器14能够由随机存取存储器（“RAM”）、只读存储器（“ROM”）、诸如磁盘或光盘的静态储存器、或任何其它类型的计算机可读介质的任何组合组成。
计算机可读介质可以是能够通过处理器22存取的任何可用介质，并且可以包括易失性和非易失性介质、可拆卸和不可拆卸介质、通信介质和储存介质。通信介质可以包括计算机可读指令、数据结构、程序模块或在诸如载波或其它传送机制的被调制数据信号中的其它数据，并且可以包括本领域已知的任何其它形式的信息传递介质。储存介质可以包括RAM、闪速存储器、ROM、可擦除可编程只读存储器（“EPROM”）、电可擦除可编程只读存储器（“EEPROM”）、寄存器、硬盘、可拆卸磁盘、光盘只读存储器（“CD-ROM”）、或本领域已知的任何其它形式的储存介质。
在一个实施例中，存储器14储存在处理器22执行时提供功能的软件模块。该模块既包括为系统10提供操作系统功能的操作系统15，也包括在一个实施例中设备的其余部分。该模块进一步包括自动触觉效果适配模块16，其自动适配触觉效果，如下文更详细公开的。在某些实施例中，自动触觉效果适配模块16能够包含多个模块，其中每个单独的模块都为自动适配触觉效果提供具体的单独的功能。系统10通常将包括一个或多个附加的应用模块18以便包括附加的功能，诸如Immersion公司的IntegratorTM应用。
在发射和/或从远程源接收数据的实施例中，系统10进一步包括诸如网络接口卡的通信设备20，以提供诸如红外、无线电、无线保真（Wi-Fi）、或蜂窝网络通信的移动无线网络通信。在其它实施例中，通信设备20提供诸如以太网连接或调制解调器的有线网络连接。
处理器22经由总线12被进一步耦接至诸如液晶显示器（“LCD”）的显示器24，以便将图形表达或用户界面显示给用户。显示器24可以是被配置成发送和从处理器22接收信号的、诸如触摸屏的触摸感应输入设备，并且可以是多点触摸触摸屏。处理器22可以被进一步耦接至键盘或光标控制28，其允许用户与诸如鼠标或触控笔的系统10交互。
在一个实施例中，系统10进一步包括致动器26。处理器22可以将与产生的触觉效果相关联的触觉信号发射至致动器26，其继而输出诸如振动触知触觉效果、静电摩擦触觉效果、或变形触觉效果的触觉效果。致动器26包括致动器驱动电路。致动器26可以是，例如，电动机、电磁致动器、声圈、形状记忆合金、电活性聚合物、螺线管、偏心旋转质量电机（“ERM”）、线性谐振致动器（“LRA”）、压电致动器、高带宽致动器、电活性聚合物（“EAP”）致动器、静电摩擦显示器、或超声波振动发生器。在可选实施例中，除致动器26外，系统10还能够包括一个或多个附加的致动器（图1中未示出）。致动器26是触觉输出设备的一个实例，其中触觉输出设备是一种设备，其被配置成响应于驱动信号，输出诸如振动触知触觉效果、静电摩擦触觉效果、或变形触觉效果的触觉效果。在可选实施例中，致动器26能够被一些其它类型的触觉输出设备取代。此外，在其它可选实施例中，系统10可以不包括致动器26，而来自系统10的单独设备包括致动器或产生触觉效果的其它触觉输出设备，并且系统10通过通信设备20将产生的触觉效果信号发送至此设备。
系统10能够被进一步有效耦接至数据库30，其中数据库30能够被配置成储存被模块16和18使用的数据。数据库30能够是操作型数据库、分析型数据库、数据仓库、分布式数据库、终端用户数据库、外部数据库、导航数据库、内存数据库、面向文档的数据库、实时数据库、关系数据库、面向对象的数据库、或本技术领域已知的任何其它数据库。
在一个实施例中，系统10进一步包括一个或多个扬声器32。处理器22可以将音频信号发射至扬声器32，其继而输出音频效果。扬声器32可以是，例如，动态扩音器、电动式扩音器、压电扩音器、磁致伸缩扩音器、静电扩音器、带状和平面的磁性扩音器、弯曲波扩音器、平板扩音器、海尔气动式传感器、等离子弧扬声器和数字式扩音器。
在一个实施例中，系统10进一步包括传感器34。传感器34能够被配置成探测能量的形式，或其它物理属性的形式，诸如，但不限于，加速度、生物信号、距离、流动、力/压力/张力/弯曲、湿度、线性位置、方向/倾斜度、射频、旋转位置、旋转速度、开关的操纵、温度、振动、或可见光强度。传感器34能够被进一步配置成将探测到的能量或其它物理属性转换成电信号、或表示虚拟传感器信息的任何信号。传感器34能够是任何设备，诸如，但不限于，加速度计、心电图、脑电图、肌电图机、眼电图、电子腭位图、皮肤电反应传感器、电容传感器、霍尔效应传感器、红外传感器、超声波传感器、压力传感器、光纤传感器、屈曲传感器（或弯曲传感器）、力敏电阻器、负荷传感器、LuSense CPS2155、微型压力传感器、压电传感器、应变计、湿度计、线性位置触摸传感器、线性电位计（或滑块）、线性差动变压器、罗盘、倾角计、磁性标记（或射频识别标记）、旋转编码器、旋转电位计、陀螺仪、打开-闭合开关、温度传感器（诸如温度计、热电偶、电阻式温度检测器、热敏电阻器、或温度传感集成电路）、麦克风、光度计、高度计、生物监视器、或光敏电阻器。
图2示出根据本发明一个实施例的用于产生和输出触觉效果的框架的流程图，其中触觉效果基于音频输入而被产生。在一个实施例中，图2中的功能以及图3、4、5及6中的功能每一个都通过储存在存储器或另一种计算机可读介质或有形介质内、并且被处理器执行的软件来实施。在其它实施例中，每个功能都可以通过硬件（例如，通过使用专用集成电路（“ASIC”）、可编程序门阵列（“PGA”）、现场可编程序门阵列（“FPGA”）等）、或硬件和软件的任何组合而被执行。此外，在可选实施例中，每个功能都可以通过使用模拟组件的硬件而被执行。
图2示出音频源数据210。根据本实施例，音频源数据210包括音频数据。在某些实施例中，包括在音频源数据210内的音频数据能够是储存在音频文件或音频信号内的音频数据。在一个可选实施例中，音频源数据210能够被音频文件或音频信号取代。在其它实施例中，包括在音频源数据210内的音频数据能够是被流式传输的音频数据。此外，在示出的实施例中，音频源数据210以脉冲编码调制（“PCM”）格式被编码。在某些实施例中，音频源数据210还能够以诸如乐器数字接口（“MIDI”）格式、MPEG-2音频层III（“MP3”）格式的另一种类型格式被编码。另外，在音频源数据210以另一种类型格式被编码的实施例中，音频源数据210能够包括能够被解码成PCM格式的音频数据。此外，在这些实施例中，音频源数据210还能够包括未解码数据，其能够用于基于音频源数据210来产生触觉效果，如下文所详细描述的。例如，其中音频源数据210以MP3格式被编码，音频源数据210能够包括用于音频数据的一个或多个傅里叶系数，其中一个或多个傅里叶系数能够直接用于基于音频源数据210来产生触觉效果。作为另一个实例，其中音频源数据210以MIDI格式被编码，音频源数据210能够包括预先存在的关于音频数据的元数据集，音频数据能够直接用于基于音频源数据210来产生触觉效果。这种元数据能够包括涉及诸如捕获音频数据的传感器的位置或方向的音频数据源的元数据。这种元数据能够被匹配算法用于基于音频源数据210来产生触觉效果，如下文所详细讨论的。
此外，在可选实施例中，音频源数据210能够被另一种类型源数据取代，另一种类型源数据包括另一种类型数据，诸如包括视频数据的视频源数据、包括加速度数据的加速度源数据、包括方向数据的方向源数据、包括环境光数据的环境光源数据、或另一种类型源数据。另一种类型源数据的一个实例是包括能够利用传感器捕获的数据的源数据。此外，在一些实施例中，音频源数据210能够被包括多模态数据（即，诸如音频数据和视频数据的两种或多种模式、或类型的数据）的源数据取代。
在220处，源数据210被自动转换成诸如触觉数据或触觉流的触觉信息。根据本实施例，触觉信息能够包括能够被设备输出的单个触觉效果或多个触觉效果。在某些实施例中，通过将音频源数据210与原触觉集进行比较并且选择正是或最类似于音频源数据210的至少一个原触觉，音频源数据210能够被自动转换成触觉信息，如下文关于图3所进一步描述的。在其它实施例中，通过将音频源数据210与样板集进行比较、选择最类似于音频源数据210的至少一个样板、并且选择与至少一个选定样板相关联的至少一个触觉效果，音频源数据210能够被自动转换成触觉信息，如下文关于图4所进一步描述的。
在230处，在220处产生的触觉信息能够被编码。触觉信息能够根据本领域普通技术人员已知的任何触觉编码技术而被编码。例如，触觉信息能够通过使用触觉效果信号而被编码。触觉效果信号随后能够被存留在磁盘、存储器、或其它计算机可读储存介质上。作为另一个实例，触觉信息能够通过使用触觉效果文件而被编码。触觉效果文件能够具有许多不同格式中的一种格式。在某些实施例中，触觉效果文件能够具有诸如浸没式振动源（“IVS”）触觉效果文件的可扩展标识语言（“XML”）格式。在某些其它实施例中，触觉效果文件能够具有诸如浸没式振动目标（“IVT”）触觉效果文件的二进制格式。在230处被编码的触觉信息能够被进一步压缩和/或包括在用于计算机应用的一个或多个资产档案中。
在240处，在230处被编码的触觉信息能够被解码。触觉信息能够根据本领域一名普通技术人员已知的任何触觉解码技术而被解码。通过解码触觉信息，触觉信息能够从诸如触觉效果信号或触觉效果文件的编码格式被转换成触觉信息能够被解释的格式，而单个触觉效果、或多个触觉效果能够基于触觉信息而被输出。
在250处，在240处被解码的触觉信息能够被输出。触觉信息能够根据本领域一名普通技术人员已知的任何触觉输出技术而被输出。例如，触觉信息能够以通过移动设备、游戏手柄、或可穿戴触觉设备能够被输出的单个触觉效果、或多个触觉效果的形式被输出。此外，触觉效果能够产生诸如振动、变形、静电感觉、或运动感觉的任何类型触觉反馈。诸如致动器的单个触觉效果产生器、或多个触觉效果产生器能够用于输出触觉效果。因此，在这个实施例中，从音频源数据210中产生的任何触觉效果都能够被编码并且存留以便后期使用。然而，在可选实施例中，单个触觉效果或多个触觉效果能够由音频源数据210产生并且实时输出。
图3示出根据本发明一个实施例的对最类似于音频源数据的原触觉的选择的流程图。图3示出音频源数据310。根据本实施例，音频源数据310包括音频数据。在某些实施例中，包括在音频源数据310内的音频数据能够是储存在音频文件或音频信号内的音频数据。在其它实施例中，包括在音频源数据310内的音频数据能够是被流式传输的音频数据。此外，在示出的实施例中，音频源数据310以PCM格式被编码。在某些实施例中，音频源数据310还能够以诸如MIDI格式、或MP3格式的另一种类型格式被编码。此外，在可选实施例中，音频源数据310能够被另一种类型源数据取代，另一种类型源数据包括另一种类型数据，诸如包括视频数据的视频源数据、包括加速度数据的加速度源数据、包括方向数据的方向源数据、包括环境光数据的环境光源数据、或包括另一种类型数据的另一种类型源数据。另一种类型源数据的一个实例是包括能够被传感器捕获的数据的源数据。此外，在一些实施例中，音频源数据310能够被包括多模态数据的源数据取代。
此外，音频源数据310能够包括特性。音频源数据310的特性是音频源数据310的物理特性，诸如储存在音频信号内的音频数据的物理特性，其中音频源数据310包括储存在音频信号内的数据，或储存在音频文件内的音频数据的物理特性，其中音频源数据310包括储存在音频文件内的数据。音频源数据310的特性的指定子集能够被分类为重要特性。音频源数据310的重要特性的实例能够包括：振幅、频率、持续时间、包络、密度、量级、及强度。特性能够包括数值，其中数值能够定义音频源数据310的特性。
图3进一步示出原触觉集（haptic primitive set）320，其中原触觉集320包括原触觉。原触觉是对能够被产生的触觉效果的定义。例如，原触觉能够包括对用于持续时间为50毫秒（“ms”）的周期性触觉效果的定义，持续时间具有10ms发起（attack）部分、具有5ms维持部分、并且具有8ms衰变部分。在某些实施例中，原触觉集320能够包括单个原触觉。作为触觉效果定义的一部分，原触觉能够进一步可选地包括触觉参数，其中触觉参数是能够定义用于产生触觉效果的触觉信号的参数，并因此，还能够定义要产生的触觉效果。在某些实施例中，原触觉能够包括单个触觉参数。更具体地，触觉参数是诸如量级、频率、持续时间、振幅、强度、包络、密度、或任何其它种类可以量化的触觉参数的触觉效果质量的量。根据本实施例，触觉效果能够通过一个或多个触觉参数至少部分被定义，其中一个或多个触觉参数能够定义触觉效果的特性。触觉参数能够包括数值，其中数值能够定义触觉信号的特性，并因此，还能够定义通过触觉信号产生的触觉效果的特性。因此，原触觉集320的每个原触觉都能够包括一个或多个数值，其中一个或多个数值能够参数化触觉效果。触觉参数的实例能够包括：振幅触觉参数、频率触觉参数、持续时间触觉参数、包络触觉参数、密度触觉参数、量级触觉参数、及强度触觉参数。
根据本实施例，振幅触觉参数能够定义用于产生触觉效果的触觉信号的振幅，并因此，能够定义触觉效果的振幅。频率触觉参数能够定义用于产生触觉效果的触觉信号的频率，并因此，能够定义触觉效果的频率。持续时间触觉参数能够定义用于产生触觉效果的触觉信号的持续时间，并因此，能够定义触觉效果的持续时间。包络触觉参数能够定义用于产生触觉效果的触觉信号的包络，并因此，能够定义触觉效果的包络。密度触觉参数能够定义用于产生触觉效果的触觉信号的密度，并因此，能够定义触觉效果的密度。量级触觉参数能够定义用于产生触觉效果的触觉信号的量级，并因此，能够定义触觉效果的量级。强度触觉参数能够定义用于产生触觉效果的触觉信号的强度，并因此，能够定义触觉效果的强度。
图3示出匹配算法330，其接收音频源数据310和原触觉集320作为输入。根据本实施例，匹配算法330是一种算法，其能够将音频源数据310与包括在原触觉集320内的每个原触觉进行比较，并且能够选择最类似于音频源数据310的原触觉集320的一个或多个原触觉。在某些实施例中，匹配算法330还能够可选地优化原触觉集320的选定的一个或多个原触觉，使得它们更类似于音频源数据310，如下文所进一步详细描述的。
根据一个实施例，匹配算法330能够首先识别音频源数据310的重要（significant，显著）特性（或单个重要特性）。此外，对于原触觉集320的每个原触觉而言，匹配算法330能够识别触觉参数（或单个触觉参数）。匹配算法330能够进一步将每个原触觉的触觉参数与音频源数据310的重要特性进行比较。通过将触觉参数与重要特性进行比较，匹配算法330能够确定触觉参数与重要特性有多类似。在将每个原触觉的触觉参数与音频源数据310的重要特性进行比较中，匹配算法330能够识别用于对应于音频源数据310重要特性的每个原触觉的触觉参数，并且能够进一步将识别出的重要特性与对应的识别出的触觉参数进行比较。例如，匹配算法330能够识别音频源数据310的振幅特性，并且能够进一步识别原触觉集320的原触觉的振幅触觉参数。匹配算法330随后能够进一步将识别出的振幅特性与对应的识别出的振幅触觉参数进行比较。
在将重要特性与对应触觉参数进行比较中，匹配算法330能够将重要特性的值与对应触觉对数的值进行比较。通过将触觉参数的值与对应重要特性的值进行比较，匹配算法330能够确定触觉参数的值与重要特性的值有多类似。匹配算法330随后能够从原触觉集320中选择原触觉（或单个原触觉），在原触觉集320中触觉参数的值最类似于音频源数据310的重要特性的值。
匹配算法330能够使用任何比较度量以便确定哪个原触觉（或哪些原触觉）最类似于音频源数据310。更具体地，匹配算法330能够使用任何比较度量来确定对于具体原触觉而言哪个触觉参数最类似于音频源数据310的重要特性。作为一个实例，对于原触觉集320的每个原触觉而言，匹配算法330能够确定若干个触觉参数，它们的值和音频源数据310中它们对应的重要特性的值相同。作为另一个实例，对于原触觉集320的每个原触觉而言，匹配算法330能够计算每个触觉参数的值和音频源数据310中它的对应特性的值之间的偏差，计算用于原触觉的平均偏差或总偏差，并且能够进一步利用最低平均偏差或总偏差来选择原触觉。这些只是实例比较度量，而在可选实施例中，匹配算法330能够使用可选比较度量来确定哪个原触觉（或哪些原触觉）最类似于音频源数据310。此外，匹配算法330能够使用优化算法来最大化或最小化跨越原触觉集320的所有原触觉（包括每个原触觉的每个触觉参数）的比较度量。这种优化算法的实例易于被相关领域普通技术人员理解。
在一个实施例中，如上所述，匹配算法330能够可选地使从原触觉集320中选定原触觉（或选定单个原触觉）优化。根据本实施例，通过优化每个选定原触觉，匹配算法330能够将每个选定原触觉的单个触觉参数（或多个触觉参数）的值调整到更类似于音频源数据310的对应特性的值。值的调整能够是向上调整或向下调整。这样能够产生对原触觉集320的每个选定原触觉的触觉参数的精细化（refinement）。因此，触觉参数的精细化能够精细化原触觉集320的每个选定原触觉，使得每个选定原触觉都更类似于音频源数据310。
图3示出有序原触觉集340，其中有序原触觉集340是由匹配算法330产生的输出。根据本实施例，有序原触觉集340包括原触觉集（即，原触觉1、原触觉2、…原触觉M），其中基于原触觉与音频源数据310如何类似的程度，原触觉被排序。在某些实施例中，有序原触觉集340包括原触觉集320内包括的所有原触觉。在其它可选实施例中，有序原触觉集340只包括原触觉集320包括的原触觉，所述原触觉被匹配算法330识别为最类似于音频源数据310（即，原触觉的触觉参数的值最类似于音频源数据310的特性的值的原触觉）。在某些实施例中，匹配算法330能够为有序原触觉集340的每个原触觉都指定一个分数，其中该分数识别每个原触觉和音频源数据310有多类似。因此，有序原触觉集340的每个原触觉都能够基于它的指定分数从原触觉集320中被选定并且被排序。一个或多个触觉效果随后能够由有序原触觉集340的每个原触觉产生。一个或多个触觉效果随后能够被发射、储存或广播。随后，一个或多个触觉效果能够被输出。在可选实施例中，一个或多个触觉效果能够在它们产生后被输出。
现在描述选择最类似于音频源数据的原触觉的一个实例。在本实例中，音频源数据310能够包括储存在与视频游戏中霰弹枪射击相关联的音频文件内的数据，其中包括在音频源数据310内的数据以波形音频文件格式（“WAV”）被储存。匹配算法330能够处理音频源数据310并且确定诸如持续时间、频率、内容、和/或包络的音频源数据310特性。鉴于这些参数，匹配算法330能够对储存在原触觉集320内的原触觉集进行评估以便确定与音频源数据310的最佳匹配。在这个实例中，其中音频源数据310包括与射击音频效果相关联的音频数据，持续时间能够是短的，并且量级包络能以两个截然不同的部分（例如，类似脉冲的大声噪音，后随用于射击回音的较长包络）为特征，其中两个截然不同的部分能包括区别性频率内容。在音频与按顺序播放的两个或多个原触觉、或与一些重叠被最佳匹配的实施例中，匹配算法330能够将音频源数据310分段并且在音频源数据310的分段上重复以便识别良好匹配。
根据本实例，原触觉集320的可用原触觉的第一段能够基于音频源数据310的持续时间。原触觉（并因此，触觉效果）能够被选定。一旦原触觉被选定，原触觉（并因此，触觉效果）就能够通过使原触觉的触觉参数被自动调整的而得到进一步优化。例如，如果音频源数据310的持续时间为345ms，则最类似于音频源数据310的原触觉集320的原触觉具有值为300ms的持续时间触觉参数，持续时间触觉参数能够被调整成值为345ms，使得基于原触觉产生的触觉效果更类似于音频源数据310。
此外，根据本实例，匹配算法330能够使用音频源数据310的包络形状和频率内容来从与音频源数据310更紧密匹配的原触觉集320中选择原触觉。更具体地，匹配算法330能够利用包络触觉参数和频率触觉参数来选择原触觉，使得由原触觉产生的触觉效果具有类似于音频源数据310的包络和频率（即，类似脉冲的大声噪音，后随用于射击回音的较长包络，具有相关联的频率内容）。在可选实施例中，匹配算法330能够将两个原触觉混合或组合（并因此，两个触觉效果）以便与音频源数据310更紧密匹配。因此，在可选实例中，匹配算法330能够选择第一原触觉（并因此，第一触觉效果）以便与类似脉冲的大声噪音相匹配，并且能够进一步选择第二原触觉（并因此，第二触觉效果）以便与后续回音相匹配。匹配算法330能够产生第三原触觉，其组合第一原触觉和第二原触觉（并因此，能够产生组合第一触觉效果和第二触觉效果的第三触觉效果）。在组合第一原触觉和第二原触觉作为第三原触觉的一部分中，匹配算法330能够进一步将第一原触觉和第二原触觉放置在适当的临时序列中，其在两个原触觉之间具有正确间隔。
现在描述选择最类似于音频源数据的原触觉的另一个实例。在本实例中，音频源数据310能够包括与爆炸音频相关联的音频数据。此外，原触觉集320能够包括十个原触觉，其中每个原触觉都能够用于产生爆炸触觉效果。匹配算法330能够将音频源数据310和原触觉集320的每个原触觉都进行比较，并且选择具有最类似于音频源数据310持续时间的持续时间触觉参数的原触觉。可选地，匹配算法330能够选择具有最类似于音频源数据310振幅的振幅触觉参数的原触觉。匹配算法330随后能够通过将选定原触觉的触觉参数调整成更类似于音频源数据310的特性而可选地优化选定原触觉。因此，匹配算法330能够选择最紧密适配音频源数据310的爆炸触觉效果。此外，优化原触觉（即，一个或多个触觉参数被调整的原触觉）能够被包括在原触觉集320内以便进一步改进用于后续匹配的匹配算法330的性能。
图4示出根据本发明一个实施例，用于音频特征提取和基于提取音频特征选择触觉效果的流程图。根据本实施例，匹配算法能够从音频源数据（或其它类型流）中提取单个特征（或多个特征），并且将提取特征与被视为相关的预计算样板进行比较，并且其中触觉效果与每个样板都相关联。
图4示出接收到的音频源数据410。根据本实施例，音频源数据410包括音频数据。在某些实施例中，包括在音频源数据410内的音频数据能够是储存在音频文件或音频信号内的音频数据。在其它实施例中，包括在音频源数据410内的音频数据能够是被流式传输的音频数据。此外，在示出的实施例中，音频源数据410以PCM格式被编码。在某些实施例中，音频源数据410还能够以诸如MIDI格式、或MP3格式的另一种类型格式被编码。此外，在可选实施例中，音频源数据410能够被包括另一种类型数据的另一种类型源数据取代，另一种类型数据诸如包括视频数据的视频源数据、包括加速度数据的加速度源数据、包括方向数据的方向源数据、包括环境光数据的环境光源数据、或包括另一种类型数据的另一种类型源数据。作为加速度数据的一个实例，设备的控制器能够为诸如来回摇动设备的屏幕上或自由空间手势自动指定触觉效果。当用户执行动作时，与动作相关联的加速度数据能够被发送至控制器。控制器能够处理加速度数据并且确定用户作出数个突然运动。控制随后能够选择最类似于突然运动的触觉效果，诸如高频触觉效果。另一种类型源数据的一个实例是包括能够被传感器捕获的数据的源数据。此外，在一些实施例中，音频源数据能够被包括多模态数据的源数据取代。
此外，音频源数据410能够包括特征。特征的一个实例是特性，其之前上文所描述的。特征的另一个实例是从第一特性转变成第二特性，诸如从高频处理成低频。特征能够包括数值，其中数值能够定义音频源数据410的特征。
图4进一步示出声音样板集420。根据本实施例，声音样板集420包括声音样板。在某些实施例中，声音样板集420能够包括单个声音样板。声音样板能够包括样板特征。类似于特征，声音特征能够是特性，或可选地，能够从第一特性转变成第二特性。如下文所详细描述的，声音样板还能够与对应触觉效果相关联。另外，在某些实施例中，声音样板能够是音频源数据的一部分，并且能够包括音频数据。音频源数据的一部分能够是在音频源数据内一致产生的图案。声音样板的实例包括射击声音、汽车碰撞声音、爆炸声音、相撞声音、猛击声音、箭的声音、或另一种类型撞击声音。根据一个实施例，声音样板能够被选择为用于转换成触觉效果的候选。在一个实施例中，声音样板集420的声音样板能够被储存在样板的数据库、或库内以便在诸如音频源数据410的音频源数据被处理时使用。在某些实施例中，为了产生数据库或库，其中声音样板集420的声音样板被储存，能够使用一项下列技术对声音样板进行处理以便提取样板特征，其后期能够与从音频源数据410中提取的特征进行比较：（1）光谱图（即，时域信号的时间对频率曲线图）；（2）倒频谱（即，信号频谱的对数的快速傅里叶变换（“FFT”））；（3）随机模型和概率模型（例如，隐马尔可夫模型（“HMM”））；或（4）基于音频源数据（诸如音频源数据410）来创造触觉参数。从合成引擎、传感器、或综合工具（例如，协议）中获得的音频文件还能够具有可用为元数据的特征信息。当技术用于语音识别时能够同样使用它们。然而，根据本实施例，技术能够用于识别触觉相关事件而非语音。具体地，HMM能够用于识别音频源数据410内声音样板集420的声音样板。能够使用的另一种算法是神经网络算法。
此外，在可选实施例中，声音样板集420能够被包括另一种类型样板的另一种类型样板集取代。另一种类型样板集的一个实例是包括视频样板的视频样板集，其中视频样板能够是视频源数据的一部分，并且能够包括视频数据。另一个实例是包括加速度样板的加速度样板集，其中加速度样板能够是加速度源数据的一部分，并且能够包括加速度数据。另一个实例是包括方向样板的方向样板集，其中方向样板能够是方向源数据的一部分，并且能够包括方向数据。另一个实例是包括环境光样板的环境光样板集，其中环境光样板能够是环境光源数据的一部分，并且能够包括环境光数据。另一个实例是包括传感器样板的样板集，其中传感器样板能够包括能够被传感器捕获的数据。此外，在一些实施例中，样板集能够包括多种类型的样板。
图4进一步示出触觉效果集430。根据本实施例，触觉效果集430包括触觉效果。在某些实施例中，触觉效果集430能够包括单个触觉效果。声音样板集420的每个声音样板都能够具有与声音样板相关联的触觉效果集430的触觉效果。在某些实施例中，触觉效果集430的每个触觉效果都能够被指定给在储存声音样板集420的数据库内的触觉效果集430的声音样板。因此，声音样板集420的每个声音样板都具有从触觉效果集430被指定给它的触觉效果。触觉效果集430的触觉效果能够通过使用诸如之前关于图3描述的自动音频-触觉转换的自动音频-触觉转换而被产生。在其它实施例中，触觉效果集430的触觉效果能够被触觉效果设计者单独设计。在某些实施例中，触觉效果集430的触觉效果能够是含有声音样板集420的声音样板的数据库的一部分。在其它实施例中，触觉效果集430的触觉效果能够连同对应于声音样板集420的对应声音样板的索引一起被储存在单独数据库中。
在440处，音频源数据410被接收，其中音频源数据410被选定以便转换成单个触觉效果或多个触觉效果。音频源数据410被处理，而一种或多种算法被应用以便从音频源数据410中提取特征。从音频源数据410中提取的特征与声音样板集420的声音样板进行比较。更具体地，对于声音样板集420的每个声音样板而言，从音频源数据410中提取的特征与此声音样板的样板特征进行比较。通过将从音频源数据410中提取的特征与声音样板集420的声音样板的样板特征进行比较，声音样板（或单个声音样板）能够被识别为具有最类似于从音频源数据410中提取的特征的样板特征。换言之，声音样板（或单个声音样板）能够被识别为最类似于音频源数据410。这些识别出的声音样板随后能够从声音样板集420中被选定。一旦识别出的声音样板已经被选定，与每个选定样板相关联的触觉效果也就能够从触觉效果集430中被选定。在一个实施例中，选定的触觉效果能够被可选地优化。根据本实施例，通过优化每个选定触觉效果，每个选定触觉效果的单个触觉参数（或多个触觉参数）的值能够被调整成更类似于音频源数据410的对应特征的值。值的调整能够是向上调整或向下调整。这样能够产生触觉效果集430的每个选定触觉效果的触觉参数的精细化。触觉参数的精细化因此能够精细化触觉效果集430的每个选定触觉效果，使得每个选定触觉效果都更类似于音频源数据430。一旦触觉效果已经被选定，触觉效果就能够用于产生触觉信息450。触觉信息450是随后能够被输出的选定触觉效果的集合。在一个实施例中，触觉信息450能够采用触觉数据、触觉轨道、或触觉流的形式。在某些实施例中，触觉信息450能够根据本领域一名普通技术人员已知的任何触觉编码技术而被编码。触觉信息随后能够被发射、储存、或广播。随后，触觉信息450能够被输出。在可选实施例中，触觉信息450能够在它产生后被输出。
因此，通过储存触觉效果，将触觉效果与声音样板相关联，并且将音频源数据与声音样板进行比较，触觉效果和声音样板之间的关联能够被再用于进一步增强或优化音频数据至触觉效果的自动转换。
图5示出根据本发明一个实施例的自动触觉效果适配模块（诸如图1中的自动触觉效果适配模块16）的功能的流程图。流程开始并且进行到510。在510处，源数据被接收，其中源数据包括一个或多个特性。在某些实施例中，源数据包括音频源数据。在这些实施例的一些实施例中，音频源数据以PCM格式被编码。在源数据包括音频源数据的实施例中，音频源数据包括音频数据，其中音频数据能够被储存在音频文件或音频信号中。在其它实施例中，源数据包括视频源数据。在又一些实施例中，源数据包括加速度源数据。在又一些实施例中，源数据包括方向源数据。在又一些实施例中，源数据包括环境光源数据。在又一些实施例中，源数据包括多模态源数据。此外，在某些实施例中，源数据的一个或多个特性包括下列的至少其中之一：振幅、频率、持续时间、包络、密度、量级、或强度。流程进行到520。
在520处，源数据与一个或多个原触觉进行比较，其中每个原触觉都包括一个或多个触觉参数。在某些实施例中，比较进一步包括将源数据的一个或多个特性与每个原触觉的一个或多个触觉参数进行比较。在某些实施例中，一个或多个触觉参数包括下列的至少其中之一：振幅触觉参数、频率触觉参数、持续时间触觉参数、包络触觉参数、密度触觉参数、量级触觉参数、或强度触觉参数。流程进行到530。
在530处，一个或多个原触觉基于在520处执行的比较而被选定。在某些实施例中，选择包括选择一个或多个原触觉，其中一个或多个触觉参数的值最类似于源数据的一个或多个特性的值。流程进行到540。
在540处，选定的一个或多个原触觉被优化。在某些实施例中，选定的一个或多个原触觉被优化以便更类似于源数据。在这些实施例的一些实施例中，优化包括将每个选定原触觉的至少一个触觉参数的值调整成更类似于源数据的对应特性的值。在某些实施例中，540被省略。流程进行到550。
在550处，一个或多个触觉效果基于选定的一个或多个原触觉而被输出。在某些实施例中，在一个或多个触觉效果被输出前，一个或多个触觉效果能够被编码和/或储存在诸如文件的储存器内。随后，在这些实施例中，一个或多个触觉效果能够在它们被输出前被检索和/或解码。流程随后结束。
图6示出根据本发明另一个实施例的自动触觉效果适配模块（诸如图1中自动触觉效果适配模块16）的功能的流程图。流程开始并且进行到610。在610处，源数据被接收，其中源数据包括一个或多个特征。在某些实施例中，源数据包括音频源数据。在这些实施例的一些实施例中，音频源数据被编码成PCM格式。在源数据包括音频源数据的实施例中，音频源数据包括音频数据，其中音频数据能够被储存在音频文件或音频信号内。在其它实施例中，源数据包括视频源数据。在又一些实施例中，源数据包括加速度源数据。在又一些实施例中，源数据包括方向源数据。在又一些实施例中，源数据包括环境光源数据。在又一些实施例中，源数据包括多模态源数据。流程进行到620。
在620处，一个或多个特征从源数据中被提取。流程进行到630。
在630处，将一个或多个提取特征与一个或多个样板进行比较，其中每个样板都包括一个或多个样板特征和一个或多个触觉效果。在某些实施例中，一个或多个样板包括一个或多个声音样板。在可选实施例中，一个或多个样板包括一个或多个视频样板。在其它可选实施例中，一个或多个样板包括一个或多个加速度样板。在某些实施例中，比较包括将每个提取的源数据特征与一个或多个样板的每个样板特征进行比较。流程进行到640。
在640处，一个或多个样板基于在630处执行的比较而从一个或多个样板中被选定。在某些实施例中，选择包括选择一个或多个样板，其中一个或多个样板特征最类似于一个或多个提取的源数据特征。流程进行到650。
在650处，一个或多个触觉效果从一个或多个选定样板中被选定。流程进行到660。
在660处，一个或多个选定触觉效果被输出。在某些实施例中，在一个或多个选定触觉效果被输出前，一个或多个选定触觉效果能够被编码和/或储存在诸如文件的储存器内。随后，在这些实施例中，一个或多个选定触觉效果能够在它们被输出前被检索和/或解码。流程随后结束。
因此，根据一个实施例，提供一种系统，其能够分析诸如音频源数据的源数据，并且能够识别最类似于源数据的一个或多个触觉效果。该系统随后能够将识别出的一个或多个触觉效果与源数据相匹配。该系统随后能够输出识别出的一个或多个触觉效果。通过这个技术，在源数据已经被混合前，该系统能够利用诸如音频源数据的源数据。通过在过程早期利用源数据，在源数据已经被混合前，该系统能够增强能够被增加至整个内容的触觉效果的适当性和质量。此外，该系统能够对具有诸如音频效果和同时播放的触觉效果的效果的游戏和其它内容中的触觉效果设计非常有价值。该系统能够为内容制造者提供一种简单方法，用于识别适当的触觉内容并且为他们的游戏或体验定制触觉内容。
贯穿本说明书描述的本发明的特征、结构或特性可以在一个或多个实施例中按照任何适当的方式进行组合。例如，“一个实施例”、“一些实施例”、“某个实施例”、“某些实施例”或其它类似的语言的使用，贯穿本说明书指的是与实施例相结合描述的特殊的特征、结构或特性可以被包括在本发明的至少一个实施例中的事实。因此，短语“一个实施例”、“一些实施例”、“某个实施例”、“某些实施例”或其它类似语言的出现，贯穿本说明书都不必指的是相同组的实施例，并且所描述的特征、结构或特性可以按照任何适当的方式结合在一个或多个实施例中。
本领域普通技术人员将易于理解，如上所述的本发明可以按照不同顺序的步骤、和/或利用不同于所公开的那些构造中的元素来实践。因此，虽然已经基于这些优选实施例描述了本发明，但是对于本领域技术人员而言，某些更改、变化及可选构造将是显而易见的，并且仍在本发明的精神和范围内。因此，为了确定本发明的界限和范围，应该参考所附的权利要求。

Claims (15)

1.一种用于自动适配触觉效果的计算机实施方法，所述计算机实施方法包含：
接收源数据，其中所述源数据包含一个或多个特性；
将所述源数据与一个或多个原触觉进行比较，其中所述一个或多个原触觉的每个原触觉都包含一个或多个触觉参数；
基于所述比较从所述一个或多个原触觉中选择一个或多个原触觉；以及
基于选定的一个或多个原触觉输出一个或多个触觉效果。
2.根据权利要求1所述的计算机实施方法，所述比较进一步包含将所述源数据的所述一个或多个特性与所述一个或多个原触觉的每个原触觉的所述一个或多个触觉参数进行比较。
3.根据权利要求1所述的计算机实施方法，所述选择进一步包含选择所述一个或多个原触觉，其中所述一个或多个触觉参数的值最类似于所述源数据的所述一个或多个特性的值。
4.根据权利要求1所述的计算机实施方法，进一步包含：
将所述选定的一个或多个原触觉优化成更类似于所述源数据。
5.根据权利要求4所述的计算机实施方法，其中所述优化所述选定的一个或多个原触觉进一步包含：
将每个选定的原触觉的所述一个或多个触觉参数中的至少一个触觉参数的值调整成更类似于所述源数据的所述一个或多个特性的对应特性的值。
6.根据权利要求1所述的计算机实施方法，
其中所述源数据的所述一个或多个特性包含下列的至少其中之一：振幅、频率、持续时间、包络、密度、量级、或强度；
其中所述一个或多个原触觉的每个原触觉的所述一个或多个触觉参数包含下列的至少其中之一：振幅触觉参数、频率触觉参数、持续时间触觉参数、包络触觉参数、密度触觉参数、量级触觉参数、或强度触觉参数；以及
其中所述源数据包含下列的至少其中之一：音频源数据、视频源数据、加速度源数据、方向源数据、或环境光源数据。
7.一种用于自动适配触觉效果的系统，所述系统包含：
存储器，被配置成储存自动触觉效果适配模块；和
处理器，被配置成执行储存在所述存储器上的自动触觉效果适配模块；
其中所述自动触觉效果适配模块被配置成接收源数据，其中所述源数据包含一个或多个特性；
其中所述自动触觉效果适配模块被进一步配置成将所述源数据与一个或多个原触觉进行比较，其中所述一个或多个原触觉的每个原触觉都包含一个或多个触觉参数；
其中所述自动触觉效果适配模块被进一步配置成基于所述比较而从所述一个或多个原触觉中选择一个或多个原触觉；以及
其中所述自动触觉效果适配模块被进一步配置成基于选定的一个或多个原触觉来输出一个或多个触觉效果。
8.根据权利要求7所述的系统，其中所述自动触觉效果适配模块被进一步配置成将所述源数据的所述一个或多个特性与所述一个或多个原触觉的每个原触觉的所述一个或多个触觉参数进行比较。
9.根据权利要求7所述的系统，其中所述自动触觉效果适配模块被进一步配置成选择所述一个或多个原触觉，其中所述一个或多个触觉参数的值最类似于所述源数据的所述一个或多个特性的值。
10.一种用于自动适配触觉效果的计算机实施方法，所述计算机实施方法包含：
接收源数据，其中所述源数据包含一个或多个特征；
从所述源数据中提取一个或多个特征；
将一个或多个提取特征与一个或多个样板进行比较，其中每个样板都包含一个或多个样板特征和一个或多个触觉效果；
基于所述比较从所述一个或多个样板中选择一个或多个样板；
从一个或多个选定样板中选择所述一个或多个触觉效果；以及
输出一个或多个选定触觉效果。
11.根据权利要求10所述的计算机实施方法，其中所述比较进一步包含将所述源数据的每个提取特征与所述一个或多个样板的每个样板特征进行比较。
12.根据权利要求10所述的计算机实施方法，所述选择所述一个或多个样板进一步包含选择所述一个或多个样板，其中所述一个或多个样板特征最类似于所述源数据的所述一个或多个提取特征。
13.根据权利要求10所述的计算机实施方法，
其中所述源数据包含音频源数据；以及
其中所述一个或多个样板包含一个或多个声音样板。
14.一种用于自动适配触觉效果的系统，所述系统包含：
存储器，被配置成储存自动触觉效果适配模块；和
处理器，被配置成执行储存在所述存储器上的所述自动触觉效果适配模块；
其中所述自动触觉效果适配模块被配置成接收源数据，其中所述源数据包含一个或多个特征；
其中所述自动触觉效果适配模块被进一步配置成从所述源数据中提取一个或多个特征；
其中所述自动触觉效果适配模块被进一步配置成将一个或多个提取特征与一个或多个样板进行比较，其中每个样板都包含一个或多个样板特征和一个或多个触觉效果；
其中所述自动触觉效果适配模块被进一步配置成基于所述比较而从所述一个或多个样板中选择一个或多个样板；
其中所述自动触觉效果适配模块被进一步配置成从一个或多个选定样板中选择所述一个或多个触觉效果；以及
其中所述自动触觉效果适配模块被进一步配置成输出一个或多个选定触觉效果。
15.根据权利要求14所述的系统，
其中所述自动触觉效果适配模块被进一步配置成将所述源数据的每个提取特征与所述一个或多个样板的每个样板特征进行比较，以及
其中所述自动触觉效果适配模块被进一步配置成选择所述一个或多个样板，其中所述一个或多个样板特征最类似于所述源数据的所述一个或多个提取特征。
CN201410076907.6A 2013-03-05 2014-03-05 触觉效果的自动适配 Expired - Fee Related CN104035556B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811078242.7A CN108874158B (zh) 2013-03-05 2014-03-05 触觉效果的自动适配

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US13/785,166 US8754757B1 (en) 2013-03-05 2013-03-05 Automatic fitting of haptic effects
US13/785,166 2013-03-05

Related Child Applications (1)

Application Number Title Priority Date Filing Date
CN201811078242.7A Division CN108874158B (zh) 2013-03-05 2014-03-05 触觉效果的自动适配

Publications (2)

Publication Number Publication Date
CN104035556A true CN104035556A (zh) 2014-09-10
CN104035556B CN104035556B (zh) 2018-10-02

Family

ID=50112724

Family Applications (2)

Application Number Title Priority Date Filing Date
CN201410076907.6A Expired - Fee Related CN104035556B (zh) 2013-03-05 2014-03-05 触觉效果的自动适配
CN201811078242.7A Active CN108874158B (zh) 2013-03-05 2014-03-05 触觉效果的自动适配

Family Applications After (1)

Application Number Title Priority Date Filing Date
CN201811078242.7A Active CN108874158B (zh) 2013-03-05 2014-03-05 触觉效果的自动适配

Country Status (5)

Country Link
US (5) US8754757B1 (zh)
EP (2) EP3088993B1 (zh)
JP (3) JP6436633B2 (zh)
KR (1) KR20140109324A (zh)
CN (2) CN104035556B (zh)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105677014A (zh) * 2014-12-04 2016-06-15 伊默森公司 用于控制触觉信号的系统及方法
TWI556141B (zh) * 2014-12-01 2016-11-01 金正勲 提供即時震動回饋的震動滑鼠
CN106999766A (zh) * 2014-12-23 2017-08-01 意美森公司 用于触觉输出设备的体系架构和通信协议
CN107015639A (zh) * 2017-01-24 2017-08-04 瑞声科技(新加坡)有限公司 触觉反馈的动态范围控制方法、触觉反馈系统及电子终端
CN107479687A (zh) * 2016-06-08 2017-12-15 意美森公司 用于伺机显示器的触觉反馈
CN111610865A (zh) * 2020-05-20 2020-09-01 河北工业大学 一种基于多感知系统的电容式触觉手柄的控制方法
WO2021213074A1 (zh) * 2020-04-23 2021-10-28 腾讯科技（深圳）有限公司 滑觉模拟装置、被控机器人和游戏手柄
US11755117B2 (en) 2019-09-25 2023-09-12 Sony Group Corporation Information processing device, information processing method, and server device

Families Citing this family (102)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7765333B2 (en) 2004-07-15 2010-07-27 Immersion Corporation System and method for ordering haptic effects
US8717152B2 (en) 2011-02-11 2014-05-06 Immersion Corporation Sound to haptic effect conversion system using waveform
US10007341B2 (en) * 2011-06-21 2018-06-26 Northwestern University Touch interface device and method for applying lateral forces on a human appendage
US9715276B2 (en) 2012-04-04 2017-07-25 Immersion Corporation Sound to haptic effect conversion system using multiple actuators
US9368005B2 (en) 2012-08-31 2016-06-14 Immersion Corporation Sound to haptic effect conversion system using mapping
US20140379588A1 (en) 2013-03-15 2014-12-25 Compology, Inc. System and method for waste managment
US9997032B2 (en) 2013-04-09 2018-06-12 Immersion Corporation Offline haptic conversion system
US9519346B2 (en) 2013-05-17 2016-12-13 Immersion Corporation Low-frequency effects haptic conversion system
US9652945B2 (en) * 2013-09-06 2017-05-16 Immersion Corporation Method and system for providing haptic effects based on information complementary to multimedia content
US9443401B2 (en) * 2013-09-06 2016-09-13 Immersion Corporation Automatic remote sensing and haptic conversion system
US9619980B2 (en) 2013-09-06 2017-04-11 Immersion Corporation Systems and methods for generating haptic effects associated with audio signals
US9576445B2 (en) 2013-09-06 2017-02-21 Immersion Corp. Systems and methods for generating haptic effects associated with an envelope in audio signals
US9514620B2 (en) 2013-09-06 2016-12-06 Immersion Corporation Spatialized haptic feedback based on dynamically scaled values
US10162416B2 (en) 2013-09-06 2018-12-25 Immersion Corporation Dynamic haptic conversion system
US9147328B2 (en) * 2013-11-04 2015-09-29 Disney Enterprises, Inc. Creating tactile content with sound
US9619029B2 (en) 2013-11-14 2017-04-11 Immersion Corporation Haptic trigger control system
US9164587B2 (en) 2013-11-14 2015-10-20 Immersion Corporation Haptic spatialization system
JP2015130168A (ja) * 2013-12-31 2015-07-16 イマージョン コーポレーションＩｍｍｅｒｓｉｏｎ Ｃｏｒｐｏｒａｔｉｏｎ 摩擦拡張制御、及び、タッチコントロールパネルのボタンを摩擦拡張制御部へと変換する方法
JP2015166890A (ja) * 2014-03-03 2015-09-24 ソニー株式会社 情報処理装置、情報処理システム、情報処理方法及びプログラム
JP2015170174A (ja) * 2014-03-07 2015-09-28 ソニー株式会社 情報処理装置、情報処理システム、情報処理方法及びプログラム
JP2015170173A (ja) * 2014-03-07 2015-09-28 ソニー株式会社 情報処理装置、情報処理システム、情報処理方法及びプログラム
US9330547B2 (en) * 2014-05-20 2016-05-03 Immersion Corporation Haptic effect authoring tool based on a haptification model
US9588586B2 (en) 2014-06-09 2017-03-07 Immersion Corporation Programmable haptic devices and methods for modifying haptic strength based on perspective and/or proximity
US9715279B2 (en) * 2014-06-09 2017-07-25 Immersion Corporation Haptic devices and methods for providing haptic effects via audio tracks
AU2014210579B2 (en) 2014-07-09 2019-10-10 Baylor College Of Medicine Providing information to a user through somatosensory feedback
CN115700434A (zh) 2014-09-02 2023-02-07 苹果公司 用于可变触觉输出的语义框架
US9174134B1 (en) 2014-11-12 2015-11-03 Immersion Corporation Peripheral device with haptic diminishment prevention component
US10185396B2 (en) 2014-11-12 2019-01-22 Immersion Corporation Haptic trigger modification system
US10269392B2 (en) * 2015-02-11 2019-04-23 Immersion Corporation Automated haptic effect accompaniment
US10152125B2 (en) 2015-11-20 2018-12-11 Immersion Corporation Haptically enabled flexible devices
US10438609B2 (en) * 2016-01-14 2019-10-08 George Brandon Foshee System and device for audio translation to tactile response
CN105536249B (zh) * 2016-02-18 2023-09-01 高创(苏州)电子有限公司 游戏系统
DK179823B1 (en) 2016-06-12 2019-07-12 Apple Inc. DEVICES, METHODS, AND GRAPHICAL USER INTERFACES FOR PROVIDING HAPTIC FEEDBACK
DK179489B1 (en) 2016-06-12 2019-01-04 Apple Inc. Devices, methods and graphical user interfaces for providing haptic feedback
CN113838629B (zh) * 2016-06-24 2024-10-01 泰坦触觉公司 触觉反馈执行器及其电子装置、操作方法
US10699538B2 (en) 2016-07-27 2020-06-30 Neosensory, Inc. Method and system for determining and providing sensory experiences
DK179278B1 (en) 2016-09-06 2018-03-26 Apple Inc Devices, methods and graphical user interfaces for haptic mixing
DK201670720A1 (en) 2016-09-06 2018-03-26 Apple Inc Devices, Methods, and Graphical User Interfaces for Generating Tactile Outputs
WO2018048907A1 (en) * 2016-09-06 2018-03-15 Neosensory, Inc. C/O Tmc+260 Method and system for providing adjunct sensory information to a user
US10102723B2 (en) 2016-10-31 2018-10-16 Immersion Corporation Dynamic haptic generation based on detected video events
KR20180052330A (ko) 2016-11-10 2018-05-18 삼성전자주식회사 햅틱 효과를 제공하기 위한 방법 및 그 전자 장치
US10181331B2 (en) 2017-02-16 2019-01-15 Neosensory, Inc. Method and system for transforming language inputs into haptic outputs
US10744058B2 (en) 2017-04-20 2020-08-18 Neosensory, Inc. Method and system for providing information to a user
US11651336B1 (en) * 2017-04-27 2023-05-16 United Services Automobile Association (Usaa) Time-varying haptic alerts for computing devices
US10732714B2 (en) 2017-05-08 2020-08-04 Cirrus Logic, Inc. Integrated haptic system
DK201770372A1 (en) 2017-05-16 2019-01-08 Apple Inc. TACTILE FEEDBACK FOR LOCKED DEVICE USER INTERFACES
US10719129B2 (en) * 2017-06-21 2020-07-21 Nanoport Technology Inc. Compound haptic effects using multimodal tactile feedback actuator
US10503310B2 (en) 2017-09-20 2019-12-10 Alex Hamid Mani Assistive device for non-visually discerning a three-dimensional (3D) real-world area surrounding a user
US11561619B2 (en) 2017-09-20 2023-01-24 Niki Mani Haptic feedback device and method for providing haptic sensation based on video
US11726571B2 (en) 2017-09-20 2023-08-15 Niki Mani Assistive device for non-visually discerning a three-dimensional (3D) real-world area surrounding a user
US10275083B2 (en) 2017-09-20 2019-04-30 Alex Hamid Mani Assistive device with a refreshable haptic feedback interface
US10281983B2 (en) * 2017-09-20 2019-05-07 Alex Hamid Mani Haptic feedback device and method for providing haptic sensation based on video
US11513627B2 (en) 2017-09-20 2022-11-29 Niki Mani Assistive device with a refreshable haptic feedback interface
KR101899538B1 (ko) * 2017-11-13 2018-09-19 주식회사 씨케이머티리얼즈랩 햅틱 제어 신호 제공 장치 및 방법
US10503261B2 (en) * 2017-12-15 2019-12-10 Google Llc Multi-point feedback control for touchpads
US10620704B2 (en) 2018-01-19 2020-04-14 Cirrus Logic, Inc. Haptic output systems
US10455339B2 (en) 2018-01-19 2019-10-22 Cirrus Logic, Inc. Always-on detection systems
EP3540567B1 (en) 2018-03-16 2021-05-05 Goodix Technology (HK) Company Limited Haptic signal generator
US11139767B2 (en) 2018-03-22 2021-10-05 Cirrus Logic, Inc. Methods and apparatus for driving a transducer
US10795443B2 (en) 2018-03-23 2020-10-06 Cirrus Logic, Inc. Methods and apparatus for driving a transducer
US10667051B2 (en) 2018-03-26 2020-05-26 Cirrus Logic, Inc. Methods and apparatus for limiting the excursion of a transducer
US10832537B2 (en) * 2018-04-04 2020-11-10 Cirrus Logic, Inc. Methods and apparatus for outputting a haptic signal to a haptic transducer
US11069206B2 (en) 2018-05-04 2021-07-20 Cirrus Logic, Inc. Methods and apparatus for outputting a haptic signal to a haptic transducer
US10917180B2 (en) 2018-07-24 2021-02-09 Comcast Cable Communications, Llc Controlling vibration output from a computing device
CN109254651A (zh) * 2018-08-08 2019-01-22 瑞声科技(新加坡)有限公司 一种人机交互方法及装置、终端和计算机可读存储介质
US11269415B2 (en) 2018-08-14 2022-03-08 Cirrus Logic, Inc. Haptic output systems
GB201817495D0 (en) 2018-10-26 2018-12-12 Cirrus Logic Int Semiconductor Ltd A force sensing system and method
GB2578454A (en) 2018-10-28 2020-05-13 Cambridge Mechatronics Ltd Haptic feedback generation
WO2020157978A1 (ja) * 2019-02-01 2020-08-06 株式会社ソニー・インタラクティブエンタテインメント 情報処理装置
KR102273805B1 (ko) * 2019-02-19 2021-07-06 주식회사 동운아나텍 오디오 신호 패턴을 이용한 햅틱 신호 발생 방법 및 장치
US10992297B2 (en) 2019-03-29 2021-04-27 Cirrus Logic, Inc. Device comprising force sensors
US11283337B2 (en) 2019-03-29 2022-03-22 Cirrus Logic, Inc. Methods and systems for improving transducer dynamics
US10726683B1 (en) 2019-03-29 2020-07-28 Cirrus Logic, Inc. Identifying mechanical impedance of an electromagnetic load using a two-tone stimulus
US12035445B2 (en) 2019-03-29 2024-07-09 Cirrus Logic Inc. Resonant tracking of an electromagnetic load
US10955955B2 (en) 2019-03-29 2021-03-23 Cirrus Logic, Inc. Controller for use in a device comprising force sensors
US11509292B2 (en) 2019-03-29 2022-11-22 Cirrus Logic, Inc. Identifying mechanical impedance of an electromagnetic load using least-mean-squares filter
US11644370B2 (en) 2019-03-29 2023-05-09 Cirrus Logic, Inc. Force sensing with an electromagnetic load
US10828672B2 (en) 2019-03-29 2020-11-10 Cirrus Logic, Inc. Driver circuitry
US10798522B1 (en) 2019-04-11 2020-10-06 Compology, Inc. Method and system for container location analysis
EP3938867A4 (en) * 2019-04-26 2022-10-26 Hewlett-Packard Development Company, L.P. SPATIAL AUDIO AND HAPTICS
US11150733B2 (en) 2019-06-07 2021-10-19 Cirrus Logic, Inc. Methods and apparatuses for providing a haptic output signal to a haptic actuator
US10976825B2 (en) 2019-06-07 2021-04-13 Cirrus Logic, Inc. Methods and apparatuses for controlling operation of a vibrational output system and/or operation of an input sensor system
CN114008569A (zh) 2019-06-21 2022-02-01 思睿逻辑国际半导体有限公司 用于在装置上配置多个虚拟按钮的方法和设备
US10951951B2 (en) * 2019-07-30 2021-03-16 Sony Interactive Entertainment Inc. Haptics metadata in a spectating stream
WO2021062276A1 (en) 2019-09-25 2021-04-01 Neosensory, Inc. System and method for haptic stimulation
US11408787B2 (en) 2019-10-15 2022-08-09 Cirrus Logic, Inc. Control methods for a force sensor system
US11467668B2 (en) 2019-10-21 2022-10-11 Neosensory, Inc. System and method for representing virtual object information with haptic stimulation
US11380175B2 (en) 2019-10-24 2022-07-05 Cirrus Logic, Inc. Reproducibility of haptic waveform
US11545951B2 (en) 2019-12-06 2023-01-03 Cirrus Logic, Inc. Methods and systems for detecting and managing amplifier instability
US11079854B2 (en) 2020-01-07 2021-08-03 Neosensory, Inc. Method and system for haptic stimulation
US11662821B2 (en) 2020-04-16 2023-05-30 Cirrus Logic, Inc. In-situ monitoring, calibration, and testing of a haptic actuator
US20230233931A1 (en) * 2020-05-01 2023-07-27 Sony Interactive Entertainment Inc. Information processing apparatus, information processing method, and program
JP2022541968A (ja) * 2020-06-30 2022-09-29 バイドゥ オンライン ネットワーク テクノロジー（ペキン） カンパニー リミテッド ビデオ処理方法、装置、電子機器及び記憶媒体
WO2022074929A1 (ja) 2020-10-07 2022-04-14 株式会社村田製作所 力覚波決定装置、力覚波決定方法及び力覚波決定プログラム
CN112346561B (zh) * 2020-10-15 2022-10-25 瑞声新能源发展(常州)有限公司科教城分公司 一种振动驱动方法和系统、振动设备以及存储介质
US11497675B2 (en) 2020-10-23 2022-11-15 Neosensory, Inc. Method and system for multimodal stimulation
US11933822B2 (en) 2021-06-16 2024-03-19 Cirrus Logic Inc. Methods and systems for in-system estimation of actuator parameters
US11908310B2 (en) 2021-06-22 2024-02-20 Cirrus Logic Inc. Methods and systems for detecting and managing unexpected spectral content in an amplifier system
US11765499B2 (en) 2021-06-22 2023-09-19 Cirrus Logic Inc. Methods and systems for managing mixed mode electromechanical actuator drive
US11862147B2 (en) 2021-08-13 2024-01-02 Neosensory, Inc. Method and system for enhancing the intelligibility of information for a user
US11995240B2 (en) 2021-11-16 2024-05-28 Neosensory, Inc. Method and system for conveying digital texture information to a user
US11552649B1 (en) 2021-12-03 2023-01-10 Cirrus Logic, Inc. Analog-to-digital converter-embedded fixed-phase variable gain amplifier stages for dual monitoring paths

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20030067440A1 (en) * 2001-10-09 2003-04-10 Rank Stephen D. Haptic feedback sensations based on audio output from computer devices
CN1914583A (zh) * 2004-02-03 2007-02-14 诺基亚公司 用于在移动终端设备中实现振动输出命令的方法和设备
US20070242040A1 (en) * 2006-04-13 2007-10-18 Immersion Corporation, A Delaware Corporation System and method for automatically producing haptic events from a digital audio signal
US20090189748A1 (en) * 2006-08-24 2009-07-30 Koninklijke Philips Electronics N.V. Device for and method of processing an audio signal and/or a video signal to generate haptic excitation
EP2487557A3 (en) * 2011-02-11 2013-08-28 Immersion Corporation Sound to haptic effect conversion system using amplitude value

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07159560A (ja) * 1993-12-10 1995-06-23 Sony Corp 時刻較正機能付時計装置及び時刻較正方法
US7159008B1 (en) * 2000-06-30 2007-01-02 Immersion Corporation Chat interface with haptic feedback functionality
JP2002078066A (ja) * 2000-08-25 2002-03-15 Yamaha Corp 振動波形信号出力装置
JP2003099177A (ja) * 2001-09-21 2003-04-04 Fuji Xerox Co Ltd 触覚情報作成方法、触覚情報提示方法および触覚情報提示装置
US6703550B2 (en) * 2001-10-10 2004-03-09 Immersion Corporation Sound data output and manipulation using haptic feedback
TWI224206B (en) 2002-04-09 2004-11-21 Benq Corp Image display apparatus and method for recapturing off-state light
US8378964B2 (en) 2006-04-13 2013-02-19 Immersion Corporation System and method for automatically producing haptic events from a digital audio signal
US8000825B2 (en) 2006-04-13 2011-08-16 Immersion Corporation System and method for automatically producing haptic events from a digital audio file
US8487759B2 (en) * 2009-09-30 2013-07-16 Apple Inc. Self adapting haptic device
US8902050B2 (en) * 2009-10-29 2014-12-02 Immersion Corporation Systems and methods for haptic augmentation of voice-to-text conversion
US8717152B2 (en) 2011-02-11 2014-05-06 Immersion Corporation Sound to haptic effect conversion system using waveform
JP6541292B2 (ja) 2012-02-15 2019-07-10 イマージョン コーポレーションＩｍｍｅｒｓｉｏｎ Ｃｏｒｐｏｒａｔｉｏｎ プリミティブを用いた高解像度ハプティック効果生成
US9715276B2 (en) 2012-04-04 2017-07-25 Immersion Corporation Sound to haptic effect conversion system using multiple actuators
US8860563B2 (en) 2012-06-14 2014-10-14 Immersion Corporation Haptic effect conversion system using granular synthesis
US9368005B2 (en) 2012-08-31 2016-06-14 Immersion Corporation Sound to haptic effect conversion system using mapping

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20030067440A1 (en) * 2001-10-09 2003-04-10 Rank Stephen D. Haptic feedback sensations based on audio output from computer devices
CN1914583A (zh) * 2004-02-03 2007-02-14 诺基亚公司 用于在移动终端设备中实现振动输出命令的方法和设备
US20070242040A1 (en) * 2006-04-13 2007-10-18 Immersion Corporation, A Delaware Corporation System and method for automatically producing haptic events from a digital audio signal
US20090189748A1 (en) * 2006-08-24 2009-07-30 Koninklijke Philips Electronics N.V. Device for and method of processing an audio signal and/or a video signal to generate haptic excitation
EP2487557A3 (en) * 2011-02-11 2013-08-28 Immersion Corporation Sound to haptic effect conversion system using amplitude value

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI556141B (zh) * 2014-12-01 2016-11-01 金正勲 提供即時震動回饋的震動滑鼠
CN105677014A (zh) * 2014-12-04 2016-06-15 伊默森公司 用于控制触觉信号的系统及方法
CN106999766A (zh) * 2014-12-23 2017-08-01 意美森公司 用于触觉输出设备的体系架构和通信协议
CN107479687A (zh) * 2016-06-08 2017-12-15 意美森公司 用于伺机显示器的触觉反馈
CN107015639A (zh) * 2017-01-24 2017-08-04 瑞声科技(新加坡)有限公司 触觉反馈的动态范围控制方法、触觉反馈系统及电子终端
CN107015639B (zh) * 2017-01-24 2020-02-04 瑞声科技(新加坡)有限公司 触觉反馈的动态范围控制方法、触觉反馈系统及电子终端
US11755117B2 (en) 2019-09-25 2023-09-12 Sony Group Corporation Information processing device, information processing method, and server device
WO2021213074A1 (zh) * 2020-04-23 2021-10-28 腾讯科技（深圳）有限公司 滑觉模拟装置、被控机器人和游戏手柄
CN111610865A (zh) * 2020-05-20 2020-09-01 河北工业大学 一种基于多感知系统的电容式触觉手柄的控制方法
CN111610865B (zh) * 2020-05-20 2022-03-22 河北工业大学 一种基于多感知系统的电容式触觉手柄的控制方法

Also Published As

Publication number Publication date
CN108874158A (zh) 2018-11-23
US8754758B1 (en) 2014-06-17
JP2019003700A (ja) 2019-01-10
US20140258318A1 (en) 2014-09-11
US20180174408A1 (en) 2018-06-21
US8754757B1 (en) 2014-06-17
US20160358429A1 (en) 2016-12-08
JP2019215935A (ja) 2019-12-19
CN104035556B (zh) 2018-10-02
EP3088993A3 (en) 2016-11-30
EP3088993B1 (en) 2020-06-24
JP6595686B2 (ja) 2019-10-23
EP3088993A2 (en) 2016-11-02
EP2775377A3 (en) 2015-01-14
US9449043B2 (en) 2016-09-20
EP2775377B1 (en) 2016-05-25
EP2775377A2 (en) 2014-09-10
US9905090B2 (en) 2018-02-27
JP6436633B2 (ja) 2018-12-12
CN108874158B (zh) 2021-10-29
KR20140109324A (ko) 2014-09-15
JP2014174985A (ja) 2014-09-22

Similar Documents

Publication Publication Date Title
CN104035556A (zh) 触觉效果的自动适配
CN110838286B (zh) 一种模型训练的方法、语种识别的方法、装置及设备
CN110288077B (zh) 一种基于人工智能的合成说话表情的方法和相关装置
CN110853617B (zh) 一种模型训练的方法、语种识别的方法、装置及设备
CN110853618A (zh) 一种语种识别的方法、模型训练的方法、装置及设备
KR20220123747A (ko) 공동 오디오-비디오 얼굴 애니메이션 시스템
CN104423594A (zh) 用于生成与音频信号相关联的触觉效果的系统和方法
CN113421547B (zh) 一种语音处理方法及相关设备
CN104423586A (zh) 自动远程感测与触觉转换系统
KR20210155401A (ko) 인공 지능을 이용하여, 합성 음성의 품질을 평가하는 음성 합성 장치 및 그의 동작 방법
US20210049989A1 (en) Techniques for learning effective musical features for generative and retrieval-based applications
CN110136689B (zh) 基于迁移学习的歌声合成方法、装置及存储介质
Maestre et al. Statistical modeling of bowing control applied to violin sound synthesis
CN111225237B (zh) 一种视频的音画匹配方法、相关装置以及存储介质
CN114882862A (zh) 一种语音处理方法及相关设备
CN108320740B (zh) 一种语音识别方法、装置、电子设备及存储介质
KR102161237B1 (ko) 사운드 출력 방법 및 장치
CN115866327A (zh) 一种背景音乐添加方法和相关装置
KR20190094296A (ko) 인공 지능을 이용한 음성 합성 장치, 음성 합성 장치의 동작 방법 및 컴퓨터로 판독 가능한 기록 매체
CN109102810A (zh) 声纹识别方法和装置
CN116386593A (zh) 语音合成方法、预测模型的训练方法、服务器和存储介质
CN117897740A (zh) 使用指针transformer网络的阅读次序
CN118742954A (zh) 基于深度生成式模型的编码语音增强
Maestre Gómez et al. Statistical modeling of bowing control applied to violin sound synthesis

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C53 Correction of patent of invention or patent application
CB02 Change of applicant information

Address after: American California

Applicant after: Immersion Corp.

Address before: American California

Applicant before: Immersion Corp.

COR Change of bibliographic data

Free format text: CORRECT: APPLICANT; FROM: IMMERSION CORP. TO: YIMEISEN CO., LTD.

C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20181002

CF01 Termination of patent right due to non-payment of annual fee