CN110096136A - 用于光谱图的视觉处理以生成触觉效果的系统 - Google Patents

用于光谱图的视觉处理以生成触觉效果的系统 Download PDF

Info

Publication number
CN110096136A
CN110096136A CN201811590413.4A CN201811590413A CN110096136A CN 110096136 A CN110096136 A CN 110096136A CN 201811590413 A CN201811590413 A CN 201811590413A CN 110096136 A CN110096136 A CN 110096136A
Authority
CN
China
Prior art keywords
spectrogram
signal
haptic effect
haptic
processor
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201811590413.4A
Other languages
English (en)
Inventor
君·曼扭尔·克鲁斯-赫南德斯
贾迈勒·沙博恩
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Immersion Corp
Original Assignee
Immersion Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Immersion Corp filed Critical Immersion Corp
Publication of CN110096136A publication Critical patent/CN110096136A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/016—Input arrangements with force or tactile feedback as computer generated output to the user
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/06—Transformation of speech into a non-audible representation, e.g. speech visualisation or speech processing for tactile aids
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/03—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the type of extracted parameters
    • G10L25/18—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the type of extracted parameters the extracted parameters being spectral information of each sub-band

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • General Physics & Mathematics (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Health & Medical Sciences (AREA)
  • Signal Processing (AREA)
  • Acoustics & Sound (AREA)
  • Multimedia (AREA)
  • Quality & Reliability (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

本申请涉及用于光谱图的视觉处理以生成触觉效果的系统。公开了用于光谱图的视觉处理以生成触觉效果的系统和方法。在一个实施例中，接收至少包括音频信号的信号。可以至少部分地基于所接收到的信号来生成一个或多个光谱图。可以至少部分地基于所述光谱图来确定一个或多个触觉效果。例如，生成的光谱图可以是二维图像并且能够分析这个图像以确定一个或多个触觉效果。在已确定触觉效果后，能够生成一个或多个触觉输出信号。可以向一个或多个数据触觉输出设备输出生成的触觉输出信号。

Description

用于光谱图的视觉处理以生成触觉效果的系统
本申请是中国发明专利申请的分案申请，原案的发明名称是“用于光谱图的视觉处理以生成触觉效果的系统和方法”，原案的申请号是201410452683.4，原案的申请日是2014年9月5日。
相关申请的交叉引用
本申请要求2013年9月6日提交、标题为“Audio to Haptics”的美国临时专利申请No.61/874,933的优先权，其全体通过引用的方式并入。
技术领域
本公开内容一般地涉及用于光谱图的视觉处理以生成触觉效果的系统和方法。
背景技术
传统上，机械按钮已将物理触觉场景提供给手持式移动设备的用户。然而，随着触敏表面(例如，触摸屏)在这些设备上尤其在移动电话上的普及的提高，机械按钮不再存在。而是，触觉输出设备可以被包括在这样的设备中以输出使用户警觉各种事件的触觉效果。
发明内容
实施例提供了用于光谱图的视觉处理以生成触觉效果的系统和方法。例如，一种公开的方法包括接收信号。在一些实施例中，信号包括音频信号、视频信号、加速度信号、速率信号、温度信号、另一适合的信号或其组合。
在一些实施例中，该方法包括：接收信号；至少部分地基于信号来生成光谱图；至少部分地基于光谱图来确定触觉效果；至少部分地基于触觉效果来生成触觉输出信号，该触觉输出信号被配置成使触觉输出设备输出触觉效果；以及输出触觉输出信号。
在另一实施例中，计算机可读介质包括程序代码以用于：接收信号；至少部分地基于信号来生成光谱图；至少部分地基于光谱图来确定触觉效果；至少部分地基于触觉效果来生成触觉输出信号，该触觉输出信号被配置成使触觉输出设备输出触觉效果；以及输出触觉输出信号。
在另一实施例中，系统包括：输入设备；触觉输出设备；以及与输入设备和触觉输出设备通信的处理器。在这个实施例中，处理器被配置用于：从输入设备接收信号；至少部分地基于信号来生成光谱图；至少部分地基于光谱图来确定触觉效果；至少部分地基于触觉效果来生成触觉输出信号，该触觉输出信号被配置成使触觉输出设备输出触觉效果；以及向触觉输出设备输出触觉输出信号。
提到这些说明性实施例不限制或者定义本发明，但是相反地提供示例以帮助其理解。在提供对本发明的进一步描述的具体实施方式中讨论说明性实施例。可以通过检查本说明书进一步理解由本发明的各种实施例所提供的优点。
附图说明
本专利或申请文件包含用颜色编制的至少一个图。具有(一个或多个)颜色图的本专利或专利申请公开的拷贝将由事务所在必要费用的请求和支付时提供。
被并入并构成本说明书的一部分的附图图示了实施例的一个或多个示例，并且连同示例实施例的描述一起，用来说明实施例的原理和实施方式。
图1图示依照实施例的用于光谱图的视觉处理以生成触觉效果的电子设备；
图2图示依照实施例的用于光谱图的视觉处理以生成触觉效果的电子设备；
图3图示描绘了依照实施例的用于光谱图的视觉处理以生成触觉效果的计算设备的系统图；
图4图示依照实施例的针对用来生成触觉效果的光谱图的视觉处理的方法的流程图；
图5图示依照实施例的用来生成触觉效果的光谱图的视觉处理的方面；以及
图6图示依照实施例的用来生成触觉效果的光谱图的视觉处理的方面。
具体实施方式
在本文中在用于光谱图的视觉处理以生成触觉效果的系统和方法的上下文中对示例实施例进行描述。本领域的普通技术人员将认识到，以下描述是仅说明性的并且不旨在以任何方式限制。其它实施例将容易地向受益于本公开内容的这样的技术人员建议本身。现将对如附图中所图示的示例实施例的实施方式进行详细的参考。相同的附图标记将在图和以下描述中自始至终被用来指代相同的或类似的项目。
为了清楚，并没有示出和描述本文中所描述的实施方式的常规特征中的全部。当然，将了解的是在任何这样的实际实施方式的发展中，必须做出许多实施方式特定的判定以便实现开发者的特定目标，诸如遵照应用和业务相关的约束，并且这些特定目标将因实现不同以及因开发者不同而变化。
说明性设备与实施例
图1图示用于光谱图的视觉处理以生成触觉效果的电子设备100。在一些实施例中，电子设备100接收音频信号。例如，电子设备100可以接收待在电子设备100上播放的歌曲的音频信号。电子设备100能够从存储器或者从另一设备(诸如通过因特网从服务器)接收歌曲。一旦电子设备100接收到音频信号，电子设备100基于所接收到的音频信号来生成一个或多个光谱图。电子设备100可以通过确定所接收到的音频信号在整个音频信号之上的时域的时间窗(诸如10ms)的傅里叶变换来生成光谱图。作为另一示例，电子设备可以生成具有表示时间的水平轴、表示其中在特定频率下的大小由颜色强度表示的第一频率范围(例如，0Hz至100Hz)的垂直轴的一个光谱图和具有表示时间的水平轴、表示其中在特定频率下的大小由颜色强度表示的第二频率范围(例如，100Hz至1KHz)的垂直轴的另一光谱图。
一旦已生成(一个或多个)光谱图，一个或多个触觉效果可以由电子设备100通过分析所生成的(一个或多个)光谱图来确定。例如，如果光谱图指示以规则间隔间隔开的区，则电子设备100可以确定区中的每一个都是节拍并且确定与节拍相对应的触觉效果。例如，可以确定具有有限持续时间的振动和被配置成模仿节拍的相对高的大小的触觉效果。作为另一示例，在光谱图中的各区之间的改变可以指示从一种类型的声音到另一声音的转变，并且因此，电子设备100可以确定在转变之前的触觉效果和在转变期间和/或之后的不同的触觉效果。一旦已确定(一个或多个)触觉效果，电子设备100能够生成(一个或多个)触觉输出信号。该触觉输出信号能够由电子设备100输出给输出所确定的(一个或多个)触觉效果的一个或多个触觉输出设备。在本文中公开了许多其它实施例并且变化在本公开内容的范围内。
这个说明性示例被给出以向读者介绍本文中所讨论的通用主题。发明不限于这个示例。以下部分描述了用于触觉效果的参数修改的设备、系统以及方法的各种附加的非限制性实施例和示例。
说明性设备
图2图示根据一个实施例的用于光谱图的视觉处理以生成触觉效果的电子设备200。在图2中所示出的实施例中，电子设备200包括外壳205、处理器210、存储器220、触敏显示器230、触觉输出设备240、通信接口250以及传感器270。此外，电子设备200与触觉输出设备260通信，所述触觉输出设备260可以被可选地耦合到或者并入一些实施例。处理器210与存储器220通信，并且在这个实施例中，处理器210和存储器220两者都被部署在外壳205内。触敏显示器230(其包括触敏表面或者与触敏表面通信)被部分地部署在外壳205内，使得触敏显示器230的至少一部分被暴露给电子设备200的用户。在一些实施例中，触敏显示器230可能未被部署在外壳205内。例如，电子设备200可以被连接到或者以其它方式与部署在单独外壳内的触敏显示器230进行通信。在一些实施例中，外壳205可以包括两个外壳，所述两个外壳被可滑动地耦合到彼此、枢转地耦合到彼此、或者可释放地耦合到彼此。在其它实施例中，外壳205可以包括任何数目的外壳。
在图2中所示出的实施例中，触敏显示器230与处理器210通信并且被配置成将信号提供给处理器210和/或存储器220以及配置成从处理器210和/或存储器220接收信号。存储器220被配置成存储程序代码或数据或两者，以用于由处理器210使用，所述处理器210被配置成执行存储在存储器220中的程序代码以及配置成向触敏显示器230传送信号并且从触敏显示器230接收信号。在图2中所示出的实施例中，处理器210与通信接口250通信以及被配置成从通信接口250接收信号并且向通信接口250输出信号以与诸如一个或多个电子设备的其它组件或设备进行通信。此外，处理器210与触觉输出设备240和触觉输出设备260通信并且被进一步配置成输出信号以使触觉输出设备240或触觉输出设备260或两者输出一个或多个触觉效果。
此外，处理器210与传感器270通信并且被配置成从传感器270接收信号。例如，处理器270可以从传感器270接收符合与电子设备200的一个或多个交互的一个或多个信号。例如，一个或多个传感器信号可以由处理器210在电子设备200的用户摇动设备200时从传感器270接收。作为另一示例，一个或多个传感器信号能够由处理器210在用户按触敏显示器230上的位置时和/或在用户在触敏显示器230上做出手势时从传感器270接收。在一些实施例中，处理器210能够从一个或多个传感器(诸如传感器270)接收传感器信息，以得到或者以其它方式确定一个或多个交互。交互能够包括但不限于接触、一系列接触、手势、高于预定阈值的接触压力、低于预定阈值的接触压力、在诸如柔性触摸屏显示器的柔性触敏表面上的接触、振动、摇动、任何其它适合的交互或其组合。
在一些实施例中，处理器210从集成到电子设备200中、连接到电子设备200和/或与电子设备200通信的一个或多个输入设备接收一个或多个传感器信号。例如，处理器210可以从触敏显示器230的触敏表面接收一个或多个传感器信号。作为另一示例，处理器210可以从诸如键盘、鼠标、触摸板、轨迹球、麦克风、触敏表面的输入设备和/或被集成到电子设备200中、连接到电子设备200和/或与电子设备200通信的另一适合的输入设备接收一个或多个传感器信号。传感器信号可以包括诸如一个或多个接触、位置、压力、手势、键按的信息，和/或指示用户如何在与一个或多个输入设备交互的其它信息。在一些实施例中，传感器信号和/或接收到的信号包括音频信号、视频信号、加速度信号、速率信号、温度信号、另一适合的信号或其组合。在本文中公开了许多其它实施例并且变化在本公开内容的范围内。
处理器210然后可以利用它从一个或多个传感器(诸如传感器270)、一个或多个通信接口(诸如通信接口250)、存储器(诸如存储器220)和/或诸如音频输入设备和/或音频/视频输入设备的另一适合的输入设备接收到的信息来生成一个或多个光谱图。例如，从麦克风接收到的音频可以被用来生成一个或多个光谱图。作为另一示例，从存储器接收到的音频文件可以被用来生成一个或多个光谱图。在一些实施例中，通过通信接口从另一设备接收到的音频被用来生成一个或多个光谱图。生成的光谱图可以包括表示频率的第一轴、表示时间的第二轴以及在各种时刻的频率的强度(诸如颜色强度或灰度强度)。在一些实施例中，处理器210分析至少一个生成的光谱图的至少一部分以确定一个或多个触觉效果。例如，处理器210可以分析光谱图来确定是否能够在该光谱图中检测到图案。在图案被检测到的一些实施例中，处理器210可以确定触觉效果符合该图案并且应该被输出。在一些实施例中，图案(或其缺少)可以指示特定触觉效果应该被输出、特定触觉效果应该停止被输出或者触觉效果应该被从一个触觉效果改变为另一触觉效果。在本文中公开了许多其它实施例并且变化在本公开内容的范围内。
一旦处理器210确定应该被输出的一个或多个效果，处理器210能够生成一个或多个输出信号。例如，在一个实施例中，一个或多个输出信号由处理器210响应于确定光谱图中的图案而生成。作为另一示例，如果生成的光谱图的一部分指示图案正在结束则能够由处理器210生成一个或多个输出信号。在本文中公开了许多其它实施例并且变化在本公开内容的范围内。
图2中所图示的设备仅仅是说明性的，并且在各种其它实施例中，电子设备200可以包括或者与比图2中所示出的更少的或附加的组件和/或设备通信。例如，诸如鼠标、键盘、相机和/或(一个或多个)其它输入设备的其它用户输入设备可以被包括在电子设备200内或者与电子设备200通信。作为另一示例，电子设备200可以包括或者以其它方式与一个或多个传感器和/或一个或多个触觉输出设备通信。在另一示例中，电子设备200可以在一个实施例中不包括通信接口250。作为又一个示例，电子设备200可以在实施例中不与触觉输出设备260通信。在本文中公开了许多其它实施例并且变化在本公开内容的范围内。
还可以修改各种其它组件。例如，在一些实施例中，传感器270被部分地或完全地部署在外壳205内。作为另一示例，传感器270可以被部署在电子设备200的外壳205内。在一个实施例中，电子设备200不与触觉输出设备260通信并且不包括通信接口250。在另一实施例中，电子设备200不包括触敏显示器230或通信接口250，但是包括触敏表面并且与外部显示器通信。在其它实施例中，电子设备200可以根本不包括或者与触觉输出设备通信。因此，在各种实施例中，诸如在本文中所公开的各种实施例以及对于本领域的技术人员将显而易见的变化中，电子设备200可以包括或者与任何数目的组件通信。
电子设备200可以是能够接收用户输入的任何设备。例如，图2中的电子设备200包括包含触敏表面的触敏显示器230。在一些实施例中，触敏表面可以被重叠在触敏显示器230上。在其它实施例中，电子设备200可以包括或者与显示器和单独的触敏表面通信。在仍然其它的实施例中，电子设备200可以包括或者与显示器通信并且可以包括或者与其它用户输入设备通信，所述其它用户输入设备诸如鼠标、键盘、按钮、旋钮、滑块控件、开关、轮、滚柱、其它操纵或其组合。
在一些实施例中，一个或多个触敏表面可以被包括在电子设备200的一个或多个侧面上或者部署在电子设备200的一个或多个侧面内。例如，在一个实施例中，触敏表面被部署在电子设备200的后表面内或者包括电子设备200的后表面。在另一实施例中，第一触敏表面被部署在电子设备200的后表面内或者包括电子设备200的后表面，并且第二触敏表面被部署在电子设备200的侧表面内或者包括电子设备200的侧表面。在一些实施例中，诸如在蛤壳布置中或在可滑动布置中，电子设备200可以包括两个或更多个外壳组件。例如，一个实施例包括具有其中触摸屏显示器被部署在蛤壳的各部分中的每一个中的蛤壳配置的电子设备200。此外，在电子设备200在电子设备200的一个或多个侧面上包括至少一个触敏表面的一些实施例中或在电子设备200与外部触敏表面通信的一些实施例中，显示器230可以或者可以不包括触敏表面。在一些实施例中，一个或多个触敏表面可以具有柔性触敏表面。在这样的实施例中，用户也许能使柔性触敏表面弯曲或者以其它方式变形作为输入的方法。例如，在一个实施例中，电子设备具有柔性触摸屏显示器并且用户能够通过按柔性触摸屏显示器上的位置来使柔性触摸屏显示器变形以将信息输入到电子设备。在其它实施例中，一个或多个触敏表面可以是刚性的。在各种实施例中，电子设备200可以包括既柔性且刚性的触敏表面。
图2中所示出的电子设备200的外壳205为电子设备200的组件中的至少一些提供保护。例如，外壳205可以是保护处理器210和存储器220免遭诸如雨的外来物品的塑料壳体。在一些实施例中，如果电子设备200被用户丢弃，则外壳205保护外壳205中的组件免遭损坏。外壳205能够由包括但不限于塑料、橡胶或金属的任何适合的材料制成。各种实施例可以包括不同类型的外壳或多个外壳。例如，在一些实施例中，电子设备200可以是便携式设备、手持式设备、玩具、游戏控制台、手持式视频游戏系统、游戏板、游戏控制器、台式计算机、便携式多功能设备，诸如手机、智能电话、个人数字助理(PDA)、电子阅读机、便携式阅读设备、手持式阅读设备、膝上型电脑、平板计算机、数字音乐播放机、遥控器、医疗仪器等。在一些实施例中，电子设备200可以被嵌入在诸如车辆、腕表、其它首饰、臂带、手套、眼镜等的另一设备中。因此，在一些实施例中，电子设备200是可穿戴的。在实施例中，电子设备200被嵌入在诸如例如汽车的控制台或转向轮的另一设备中。在本文中公开了许多其它实施例并且变化在本公开内容的范围内。
在图2中所示出的实施例中，触敏显示器230提供用于用户与电子设备200交互的机制。例如，触敏显示器230响应于用户悬停在触敏显示器230之上、触摸触敏显示器230或者按触敏显示器230(其中的全部都可以在本公开内容中被称为接触)而检测到用户的手指的位置或压力或两者。在一个实施例中，接触能够通过使用相机而发生。例如，相机可以被用来在读者查看在电子设备200的显示器230上显示的内容时候跟踪观众的眼移动。在这个实施例中，可以至少部分地基于观众的眼移动来触发触觉效果。例如，可以在做出了观众正在查看在显示器230的特定位置处的内容的确定时输出触觉效果。在一些实施例中，触敏显示器230可以包括一个或多个传感器、与一个或多个传感器连接或者以其它方式与一个或多个传感器通信，所述一个或多个传感器确定一个或多个接触在触敏显示器230上的位置、压力、接触斑的尺寸，或这些中的任一个。
例如，在一个实施例中，触敏显示器230包括或者与互电容系统通信。在另一实施例中，触敏显示器230包括或者与绝对电容系统通信。在一些实施例中，触敏显示器230可以包括或者与电阻式面板、电容式面板、红外线LED、光电检测器、图像传感器、光学相机或其组合通信。因此，触敏显示器230可以并入任何适合的技术来确定触敏表面上的接触，所述任何适合的技术诸如例如电阻式、电容式、红外线、光学、热、耗散信号、或声脉冲技术或其组合。在一些实施例中，至少部分地基于交互和/或从能够被用来确定一个或多个交互的一个或多个传感器接收到的其它信息来修改或者以其它方式配置确定的触觉效果。例如，可以基于一个或多个交互来增加或者减少触觉效果的强度参数。在一些实施例中，显示器不是触敏的。在其它实施例中，电子设备200不具有显示器。
在图2中所示出的实施例中，触觉输出设备240和260与处理器210通信并且被配置成提供一个或多个触觉效果。例如，在一个实施例中，当致动信号被处理器210提供给触觉输出设备240、触觉输出设备260或两者时，相应的(一个或多个)触觉输出设备240、260基于该致动信号来输出触觉效果。例如，在所示出的实施例中，处理器210被配置成向触觉输出设备240传送包括模拟驱动信号的触觉输出信号。在一些实施例中，处理器210被配置成向触觉输出设备260传送命令，其中该命令包括待用来生成适当的驱动信号以使触觉输出设备260输出触觉效果的参数。在其它实施例中，不同的信号和不同的信号类型可以被发送到一个或多个触觉输出设备中的每一个。例如，在一些实施例中，处理器可以传送低电平驱动信号来驱动触觉输出设备以输出触觉效果。这样的驱动信号可以被放大器放大，或者可以使用适合的处理器或电路从数字信号到模拟信号或者从模拟信号到数字信号转换以适应正被驱动的特定触觉输出设备。
触觉输出设备(诸如触觉输出设备240或260)可以是能够输出一个或多个触觉效果的组件或组件的合集。例如，触觉输出设备可以是各种类型中的一个，包括但不限于偏心旋转质量(ERM)致动器、线性谐振致动器(LRA)、压电致动器、语音线圈致动器、电活性聚合物(EAP)致动器、记忆形状合金、寻呼机、DC电机、AC电机、移动磁体致动器、E-磁芯致动器、智能凝胶、静电致动器、电触觉致动器、可变形表面、静电摩擦(ESF)设备、超声摩擦(USF)设备，或执行触觉输出设备的功能或者能够输出触觉效果的任何其它触觉输出设备或组件的合集。多个触觉输出设备或不同大小的触觉输出设备可以被用来提供可以被逐个地或者同时地致动的一系列振动频率。各种实施例可以包括单个或多个触觉输出设备并且可以具有相同的类型或不同类型的触觉输出设备的组合。在一些实施例中，一个或多个触觉输出设备诸如经由有线或无线通信直接地或间接地与电子设备通信。在一个实施例中，电子设备能够被放入车辆或者集成到车辆中并且一个或多个触觉输出设备被嵌入到该车辆中。例如，一个或多个触觉输出设备可以被嵌入在车辆的座位、转向轮、踏板等中。在一些实施例中，代替具有触觉输出设备240和/或触觉输出设备260或者除具有触觉输出设备240和/或触觉输出设备260之外，电子设备200具有一个或多个其它输出设备。例如，电子设备200可以具有扬声器和/或显示器。在一个实施例中，电子设备200具有一个或多个触觉输出设备、一个或多个扬声器以及一个或多个显示器。在本文中公开了许多其它实施例并且变化在本公开内容的范围内。
在各种实施例中，可以以任何数目的方式或者以方式的组合产生一个或多个触觉效果。例如，在一个实施例中，一个或多个振动可以被用来诸如通过使偏心质量旋转或者通过线性地振荡质量来产生触觉效果。在一些这样的实施例中，触觉效果可以被配置成将振动给予给整个电子设备或者给该电子设备的仅一个表面或有限的部分。在另一实施例中，诸如通过对移动组件施加制动例如以将阻力提供给组件的移动或者以提供转矩，在两个或更多个组件之间的摩擦或在至少一个组件与至少一个触点之间的摩擦可以被用来产生触觉效果。为了生成振动效果，许多设备利用某种类型的致动器和/或其它触觉输出设备。用于此目的的已知触觉输出设备包括电磁致动器，诸如偏心质量在其中被电机移动的偏心旋转质量(“ERM”)、附连到弹簧的质量在其中被来回地驱动的线性谐振致动器(“LRA”)或诸如压电、电活性聚合物或形状记忆合金的“智能材料”。
在其它实施例中，一个或多个组件的变形能够被用来产生触觉效果。例如，可以输出一个或多个触觉效果以改变表面的形状或表面的摩擦的系数。在实施例中，通过创建被用来改变表面上的摩擦的静电力和/或超声力来产生一个或多个触觉效果。在其它实施例中，透明变形元件的阵列可以被用来产生触觉效果，诸如包括智能凝胶的一个或多个区域。触觉输出设备同样广泛地包括非化学或非振动设备，诸如使用静电摩擦(ESF)、超声表面摩擦(USF)的那些，或对超声触觉换能器引发超声辐射压力的那些，或使用触觉基底和柔性或可变形表面的那些，或使用空气喷射提供诸如一阵空气的投影触觉输出的那些等等。在一些实施例中，触觉效果是动觉效果。
在图2中，通信接口250与处理器210通信并且从电子设备200向其它组件或其它设备提供有线或无线通信。例如，通信接口250可以在电子设备200与无线传感器或无线致动设备之间提供无线通信。在一些实施例中，通信接口250可以将通信提供给一个或多个其它设备，诸如另一电子设备200，以允许用户在它们相应的设备处与彼此交互。通信接口250可以是使得多压力触敏输入电子设备200能够与另一组件或设备进行通信的任何组件或组件的合集。例如，通信接口250可以包括PCI网络适配器、USB网络适配器或以太网适配器。通信接口250可以使用包括802.11a、g、b或n标准的无线以太网进行通信。在一个实施例中，通信接口250可以使用射频(RF)、蓝牙、CDMA、TDMA、FDMA、GSM、WiFi、卫星或其它蜂窝或无线技术进行通信。在其它实施例中，通信接口250可以通过有线连接进行通信并且可以与诸如以太网、令牌环、USB、火线1394、光纤等的一个或多个网络通信。在一些实施例中，电子设备200包括单个通信接口250。在其它实施例中，电子设备200包括两个、三个、四个或更多个通信接口。因此，在一些实施例中，电子设备200能够通过一个或多个通信接口与一个或多个组件和/或设备进行通信。在其它实施例中，电子设备200可以不包括通信接口250。
在图2中，传感器270与处理器210通信并且将传感器信息提供给处理器210。例如，传感器270可以将一个或多个交互提供给处理器210。传感器270可以提供指示一个或多个交互的输入信号。作为另一示例，传感器270能够将对应于与电子设备200的一个或多个交互的信息提供给处理器210。在一些实施例中，传感器270向处理器210提供的信息对应于与整个电子设备200的交互，诸如用户摇动电子设备200。在其它实施例中，传感器270向处理器210提供的信息对应于与电子设备200的一部分(诸如触敏显示器230或另一适合的输入设备)的交互。
图2中所示出的实施例描绘了单个传感器270。在一些实施例中，能够使用多个传感器。附加地，传感器可以被收容在与电子设备200的其它组件相同的组件中或者在单独的组件中。例如，在一些实施例中，处理器210、存储器220以及传感器270全部被包括在诸如便携式音乐播放机、便携式电话和/或可穿戴设备的电子设备200中。在一些实施例中，传感器被放入与收容存储器和/或处理器的另一组件分离的组件。例如，可穿戴传感器可以经由有线或无线连接与处理器和存储器或电子设备通信。
传感器270可以包括任何数目和/或类型的感测组件。例如，传感器270能够包括加速度计和/或陀螺仪。在下面提供了传感器和交互的示例的非限制性列表：
传感器 所感测到的交互
加速度计 在一个、两个或三个方向上的力
高度计 高度
温度计 环境温度；用户体温
心率监视器 设备用户的心率
皮肤电阻监视器 设备用户的皮肤电阻
氧传感器 设备用户的氧使用
音频传感器/麦克风 环境音频和/或由设备用户所生成的音频
光电传感器 环境光
IR/光电传感器 用户眼移动、位置、体温
湿度计 相对湿度
速度计 速率
步数计/里程计 行进的距离
经线仪 时刻，日期
重量 物质的质量或量
表1：示例性传感器和条件
说明性系统
图3图示描绘了根据实施例的用于光谱图的视觉处理以在说明性计算环境中生成触觉效果的说明性计算设备的系统图。图3中所示出的系统300包括三个电子设备320-340和web服务器350。电子设备320-340中的每一个以及web服务器350被连接到网络310。在这个实施例中，电子设备320-340中的每一个都通过网络310与web服务器350通信。因此，电子设备320-340中的每一个都能够通过网络310向web服务器350发送请求并且从web服务器350接收响应。
在实施例中，图3中所示出的网络310促进电子设备320-340与web服务器350之间的通信。网络310可以是任何适合数目或类型的网络或链路，包括但不限于拨入网络、局域网(LAN)、广域网(WAN)、公用交换电话网(PSTN)、蜂窝网络、WiFi网络、因特网、内部网或硬连线和/或无线通信链路的任何组合。在一个实施例中，网络310是单个网络。在其它实施例中，网络310可以包括两个或更多个网络。例如，电子设备320-340可以被连接到第一网络并且web服务器350可以被连接到第二网络以及第一网络和第二网络可以由第三网络连接。许多其它网络配置对于本领域的普通技术人员将是明显的。
电子设备也许能够与诸如网络310的网络进行通信，并且能够向诸如web服务器350的另一设备发送信息和从其接收信息。例如，在图3中，一个电子设备320是平板计算机。平板计算机320包括触敏显示器并且能够通过使用无线通信接口卡与网络310进行通信。可以是图3中所示出的电子设备330的另一设备是台式计算机。台式计算机330与显示器通信并且能够通过有线网络连接被连接到网络330。台式计算机330可以与诸如键盘或鼠标的任何数目的输入设备通信。在图3中，移动电话是电子设备340。移动电话340也许能通过使用蓝牙、CDMA、TDMA、FDMA、GSM、WiFi或其它蜂窝或无线技术的无线通信装置与网络310进行通信。
从另一设备接收请求的设备可以是能够与网络(诸如网络310)进行通信并且能够向另一设备发送和从其接收信息的任何设备。例如，在图3中所示出的实施例中，web服务器350可以从另一设备(例如，电子设备320-340中的一个或多个)接收请求并且可以与网络310通信。接收设备可以与一个或多个附加的设备(诸如附加的服务器)通信。例如，图3中的web服务器350可以与另一服务器通信。在实施例中，web服务器可以与一个或多个附加的设备进行通信以处理从电子设备接收到的请求。例如，图3中的web服务器350可以与多个附加的服务器通信，其中的至少一个可以被用来处理来自电子设备320-340中的任一个的请求的至少一部分。在一个实施例中，web服务器350可以是内容分发网络(CDN)的一部分或者与内容分发网络(CDN)通信。
一个或多个设备可以与数据储存器(store)通信。在图3中，web服务器350与数据储存器360通信。在一些实施例中，数据储存器360可操作来从与数据存储器360通信的web服务器350和/或其它设备接收指令并且响应于接收到指令来获得、更新或者以其它方式处理数据。在一个实施例中，电子设备(诸如平板计算机320)包括数据储存器和/或与数据储存器通信。数据储存器(诸如数据储存器360)可以包含电子内容，诸如电子书或杂志、数据项、用户账户、元数据、与预定义触觉效果相关联的信息、与预定义事件相关联的信息、在预定义触觉效果与预定义事件之间的关联、与光谱图特性相关联的信息、在光谱图特性与预定义触觉效果之间的关联、用户交互、用户历史、有关事件的出现率的信息、用于一个或多个触觉效果的默认参数、用于一个或多个操作环境的触觉简档、一个或多个触觉模型、用于触觉效果的最小值和/或最大值参数、有关生成的预定义触觉效果、交互、参数调整的信息、在交互与参数调整之间的相关性、在参数调整与简档和/或操作模式之间的相关性、在触觉模型与交互之间的相关性、在触觉模型与触觉效果之间的相关、在触觉模型与参数之间的相关性、在简档和/或操作模型与交互之间的相关性、可用来修改触觉效果的参数的其它信息、可用来确定交互的信息、其它信息或其组合。
图3中所示出的数据储存器360能够从web服务器350接收请求并且向web服务器350发送响应。例如，web服务器350可以从平板计算机320接收对预定义触觉效果和默认强度参数的请求。响应于从平板计算机320接收到请求，web服务器350可以就预定义触觉效果和用于该预定义触觉效果的默认强度参数而查询数据存储器360。响应于从web服务器350接收到请求，数据储存器360可以向web服务器350发送预定义触觉效果和默认强度参数。web服务器350能够向平板计算机320发送预定义触觉效果和默认强度参数。平板计算机320可以至少部分地基于一个或多个交互来修改用于预定义触觉效果的默认强度参数。例如，如果一个或多个交互指示较多的或另外更强烈的触觉效果应该被输出，则平板计算机320可以将强度参数提高至默认强度参数以上。例如，如果一个或多个交互指示较少的或另外不太强烈的触觉效果应该被生成，则平板计算机320可以将强度参数降低至默认强度参数以下。在本文中公开了许多其它实施例并且变化在本公开内容的范围内。
用来生成触觉效果的光谱图的视觉处理的说明性方法
图4图示依照实施例的针对用来生成触觉效果的光谱图的视觉处理的方法400的流程图。将相对于图2中所示出的电子设备200对图4中所示出的方法400进行描述。在一些实施例中，方法400能够由在图3中的系统300所示出的设备中的一个或多个来执行。还将相对于图示依照实施例生成触觉效果的光谱图的视觉处理的方法的图5并且相对于图示依照实施例生成触觉效果的光谱图的视觉处理的方面的图6对图4中所示出的方法400进行描述。
方法400在信号被接收到时在框410中开始。例如，参考图2，可以从存储器220、通过通信接口250与处理器210通信的另一设备和/或经由传感器270接收音频信号。作为另一示例，参考图3，在一些实施例中平板计算机320通过网络310从web服务器350和/或数据储存器360接收一个或多个信号，诸如音频信号。
可以从任何数目的组件接收一个或多个信号。在一个实施例中，存储在电子设备200的存储器220中的文件(诸如音频或音频/视频文件)由处理器210接收。在一些实施例中，信号由处理器210通过通信接口250从另一设备接收。例如，处理器210可以通过通信接口250从web服务器接收音频文件和/或音频/视频文件。作为另一示例，处理器210能够通过通信接口250从服务器接收连续的音频流，诸如流送无线电。在一些实施例中，处理器210从传感器270接收信号。例如，处理器210可以从与电子设备200连接的麦克风接收音频信号。作为另一示例，麦克风可以被部署在电子设备的外壳205内并且处理器210从该麦克风接收音频信号。在其它实施例中，一个或多个传感器信号被整个地或者至少部分地部署在电子设备的外壳内。在一个实施例中，处理器210通过通信接口250从另一设备的传感器接收音频信息。例如，另一电子设备可以具有麦克风并且处理器210通过与网络(诸如图3中所示出的网络310)连接的通信接口250从麦克风接收信息。一个或多个接收到的信号可以是任何数目的信号，包括但不限于音频信号、视频信号、加速度信号、速率信号、温度信号、另一适合的信号或其组合。在各种实施例中，一个或多个接收到的信号可以是能够为其生成一个或多个光谱图的任何数目的信号。在本文中公开了许多其它实施例并且变化在本公开内容的范围内。
返回参考方法400，一旦接收到一个或多个信号410，然后方法400进行到框420。在框420中，生成一个或多个光谱图。例如，参考图2，可以由处理器210生成一个或多个光谱图。作为另一示例，参考图3，一个或多个光谱图可以由台式计算机330生成并且通过待分析的网络310发送到服务器350。在一个实施例中，平板计算机320从服务器350接收音频文件并且生成待由平板计算机320分析的一个或多个光谱图。
能够以任何数目的方式生成一个或多个光谱图。在一个实施例中，信号的时间域的时间窗的傅里叶变换可以被计算和用来生成一个或多个光谱图。这样的实施例能够产生具有表示时间段的一个维度、表示频率的另一维度以及表示傅里叶变换值的第三维度的三维矩阵。这些值可以被用来生成光谱图，诸如具有表示时间的水平轴、表示频率的垂直轴以及表示傅里叶变换值的在特定频率和时间处的颜色的二维图像。例如，图5中的顶部图示出与在图5中的底部图中所示出的音频信号的时域表示相对应的视频剪辑的光谱图的二维表示。如图5中所示，顶部图的颜色强度表示每个时间窗的FFT幅度。此外，如图5中所示，顶部图是二维图像并且能够被处理以确定如本文中所讨论的一个或多个触觉效果。
能够生成一个或多个光谱图和/或生成的光谱图能够被以任何数目的方式划分成多个光谱图。在一个实施例中，至少部分地基于一个或多个接收到的信号的时间窗来生成光谱图。例如，信号的时间域的时间窗能够被计算和用来生成光谱图。在一些实施例中，时间窗可以是诸如1毫秒、10毫秒、25毫秒、50毫秒、75毫秒、100毫秒的任何适合的时间窗，或任何其它适合的时间窗。在一些实施例中，光谱图通过至少为诸如音频信号和/或另一适合的信号的信号的至少一个段计算傅里叶变换来生成。一个或多个段能够对应于信号(诸如音频信号)在相应的时间窗中的值。在一些实施例中，用来生成光谱图的信号的一个或多个段至少部分地重叠。在其它实施例中，用来生成光谱图的信号的一个或多个段不与该信号的另一段重叠。在本文中公开了许多其它实施例并且变化在本公开内容的范围内。
在一些实施例中，光谱图至少部分地基于频率和/或时间而被划分成多个光谱图。在其它实施例中可以至少部分地基于频率、时间和/或时间窗来生成单独的光谱图。例如，图6图示依照实施例的用来生成触觉效果的光谱图的视觉处理的方面。如图6中所示，顶部图像是显示在0与100Hz之间的频率的音频信号的光谱图，下一个图像是相同音频信号的但是与在100与1000Hz之间的频率相对应的光谱图，第三图像是相同音频信号的但是与在1000与5000Hz之间的频率相对应的光谱图，以及第四图像是相同音频信号的但是与在500与奈奎斯特(Nyquist)频率之间的频率相对应的光谱图。能够为任何数目的频率生成光谱图，或者能够针对任何数目的频率将先前生成的光谱图划分成多个光谱图。
在一些实施例中，生成光谱图包括生成一个或多个二维图像。生成的二维图像可以对应于与信号相关联的第一频率范围。在一些实施例中，二维图像被分割成多个二维图像。在多个二维图像中的图像中的一个或多个可以包括相应的频率范围。相应的频率范围可以是在与光谱图相关联的频率范围内的频率范围。在多个二维图像中的每个图像可以符合与多个二维图像中的其它图像不同的频率范围。在一些实施例中，在多个二维图像中的特定图像的频率范围部分地与在多个二维图像中的另一图像的频率范围重叠。在一些实施例中，生成光谱图包括生成多个光谱图。光谱图中的一个或多个可以符合与接收到的信号相关联的频率范围。在其它实施例中，光谱图符合与信号相关联的有区别的频率范围。在本文中公开了许多其它实施例并且变化在本公开内容的范围内。
返回参考方法400，一旦已生成一个或多个光谱图420，然后方法400进行到框430。在框430中，确定一个或多个触觉效果。例如，参考图2，一个或多个触觉效果可以由处理器210至少部分地基于所生成的光谱图中的一个或多个来确定。作为另一示例，参考图3，一个或多个触觉效果可以由台式计算机330至少部分地基于符合一个或多个触觉效果的特性的数据库来确定。特性的数据库可以被存储在台式计算机330中和/或在通过网络310与服务器350通信并且与台式计算机330通信一个或多个数据库(诸如数据库360)中。
能够以任何数目的方式确定一个或多个触觉效果。例如，在一个实施例中，至少部分地基于一个或多个光谱图来确定触觉效果。例如，能够分析在时间和/或频率之上的强度变化来确定一个或多个触觉效果。作为另一示例，图像处理技术能够被应用于一个或多个光谱图以确定更多触觉效果中的一个。这样的处理技术包括但不限于边缘检测、取阈值、群集和/或颜色直方图估计。在一个实施例中，边缘检测技术(诸如梯度估计)被用来定位特性之间的转变在光谱图中的区域。在另一实施例中，如果少数灰度或颜色水平存在于光谱图中则使用取阈值技术。因此，在一些实施例中，光谱图能够被转换成灰度图像或黑白图像并且取阈值技术能够被应用于这个图像以确定一个或多个触觉效果。在一些实施例中，一个或多个光谱图能够被分割成有具有类似特性的连续像素的给定数目的群集。可以分析分区以确定一个或多个触觉效果。在其它实施例中，在一个或多个光谱图中色调、饱和度以及亮度(HLS)、色调、饱和度以及值(HSV)、色调、饱和度以及强度(HSI)和/或红、绿、蓝(RGB)值被分析以识别具有类似直方图的区。在本文中公开了许多其它实施例并且变化在本公开内容的范围内。
在一些实施例中，能够至少部分地通过使触觉效果与一个或多个光谱图的区相匹配来确定一个或多个触觉效果。例如，如果在一个或多个光谱图内的区以规则间隔(例如，在时间上)间隔开，则可以确定与节拍相对应的触觉效果。因此，在一个实施例中，在接收到的信号中的节拍能够根据为所接收到的信号生成的一个和多个光谱图被识别并且能够被用来输出与所识别的节拍相对应的触觉效果。作为另一示例，在一个或多个光谱图中的一个区与另一区之间的改变能够被用来在接收到的信号中确定从一个特性向另一特性的转变，诸如从一个声音向另一声音的转变。在一个实施例中，至少部分地基于在所接收到的信号的光谱图中的特性之间的转变做出了应该在接收到的信号中从一个特性向另一特性的确定转变之前输出触觉效果的确定。在另一实施例中，至少部分地基于在所接收到的信号的光谱图中的特性之间的转变做出了应该在接收到的信号中从一个特性向另一特性的确定转变之后输出触觉效果的确定。
在一些实施例中，确定光谱图的特性包括对光谱图应用至少一个技术来生成多个区。在一些实施例中，多个区的子集与至少一个触觉效果相匹配。确定触觉效果可以包括针对与预定义触觉效果相对应的特性来分析多个光谱图的子集。如果特性位于多个光谱图的子集内，则可以选择预定义触觉效果。在本文中公开了许多其它实施例并且变化在本公开内容的范围内。
在一些实施例中，针对信号的一个或多个生成的光谱图瞄准整个频率范围或不同的频率范围。例如，在图5中的顶部图中所示出的光谱图示出在信号中的所有可能的频率(例如，在这个图中0Hz到奈奎斯特)之上的音频信号的光谱图。在一些实施例中，光谱图(诸如图5中所示出的光谱图)提供了能够被用来确定一个或多个触觉效果的信息。在其它实施例中，在两个或更多个频率范围中的更具体信息被用来确定一个或多个触觉效果。
例如，如图6中所示，顶部图像是显示在0与100Hz之间的频率的音频信号的光谱图，下一个图像是相同音频信号的但是与在100与1000Hz之间的频率相对应的光谱图，第三图像是相同音频信号的但是与在1000与5000Hz之间的频率相对应的光谱图，以及第四图像是相同音频信号的但是与在500与奈奎斯特(Nyquist)频率之间的频率相对应的光谱图。如图6中可以看到的，至少部分地基于不同的频率范围的光谱图提供了能够被用来确定一个或多个触觉效果的不同的信息。例如，在各种时刻，图6中所示出的每个频带包含如由四个圆所演示的不同的强度信息，每个圆覆盖相同的时间段但是在不同的频带处。在一些实施例中，对这些频带中的一个或多个(例如，频率范围)分析一个或多个特性。可以通过分析一个或多个光谱图的频率范围中的任一个或全部来确定与一个或多个特性相对应的一个或多个触觉效果。
可以对一个或多个光谱图的一个或多个频率范围分析符合一个或多个预定触觉效果的(一个或多个)特性。例如，如果特定特性位于一个或多个光谱图的特定频率范围中，则可以选择触觉效果。因此，在一些实施例中，分析用于接收到的信号的一个或多个光谱图的多个频率范围。在一个实施例中，接收到信号的电子设备200为一个或多个频率范围生成一个或多个光谱图并且对光谱图中的至少一些分析与触觉效果相对应的特性。例如，电子设备200可以具有符合特性的预定义触觉效果的库。在这个实施例中，能够分析一个或多个生成的光谱图来确定特性是否存在于光谱图中。在其它实施例中，电子设备200可以包括与预定义触觉效果的数据库和/或预定义特性和/或在预定义触觉效果与预定义特性之间的关联的数据库或者与之通信。在本文中公开了许多其它实施例并且变化在本公开内容的范围内。
响应于确定光谱图具有特性，可以至少部分地基于预定义触觉效果的库和/或在预定义效果与特定特性之间的相关性来确定与该特性相对应的一个或多个触觉效果。在一些实施例中，用于一个或多个确定的触觉效果的定时至少部分地基于当在一个或多个光谱图中找到特性时的时间。例如，可以做出应该在特性发生之前(例如，在特性发生之前5ms、在特性发生之前50ms或在特性发生之前任何其它适合的时间)输出与特性相对应的触觉效果的确定。作为另一示例，能够做出应该在特性发生时输出与特性相对应的触觉效果的确定。在其它实施例中，做出了应该在特性发生之前、时、期间或之后输出与特性相对应的触觉效果的确定。在一些实施例中，做出了应该在从一个特性向另一特性的转变期间输出触觉效果的确定。在本文中公开了许多其它实施例并且变化在本公开内容的范围内。
频率范围中的一个或多个可以不同于其它分析的频率范围并且能够被分析以确定一个或多个特性和/或一个或多个触觉效果。例如，再次参考图6，在一个实施例中对四个频率范围中的每一个独立地分析一个或多个特性和/或一个或多个触觉效果。因此，在图6中，分别地根据1000至5000Hz的频带的光谱图来分析100至1000Hz的频带的光谱图。在一些实施例中，一旦频带中的两个或更多个已被独立地分析来确定触觉效果后，至少部分地基于针对独立地分析的频带所确定的触觉效果来确定单个触觉跟踪。
在其它实施例中，至少部分地基于独立地分析的频带来确定两个或更多个触觉跟踪。例如，返回参考图6，可以至少部分地基于100至1000Hz的频带的光谱图来确定第一触觉跟踪，并且可以至少部分地基于1000至5000Hz的频带的光谱图来确定第二触觉跟踪。在其它实施例中，基于两个或更多个频带的一些触觉效果跟踪被组合单个触觉效果跟踪，并且基于另一频带的其它触觉效果跟踪被维持为单独的触觉效果跟踪。因此，能够至少部分地一个或多个生成的光谱图来生成一个或多个触觉效果跟踪。在一些实施例中，两个或更多个光谱图被独立地分析并且然后组合成触觉效果跟踪。在这个实施例中，能够至少部分地基于为每个光谱图确定的触觉效果来向组合的触觉效果跟踪添加和/或从其扣除附加的触觉效果。例如，如果两个光谱图指示应该输出特定触觉效果但是用于该触觉效果的定时不确切地匹配，则可以做出在两个时间中的一个、两个时间的平均等处输出触觉效果仅一次的确定。作为另一示例，如果两个光谱图指示应该在相同的和类似的时间输出触觉效果，则可以为具有比独立地确定的触觉效果中的任何一个更大的大小的已组合跟踪确定单个触觉效果。在本文中公开了许多其它实施例并且变化在本公开内容的范围内。
在一个实施例中，用户能够选择一个或多个触觉效果跟踪。例如，如上面所讨论的，能够至少部分地基于针对接收到的信号的一个或多个光谱图的一个或多个频带来确定两个或更多个触觉效果跟踪。在一个实施例中，所确定的触觉效果跟踪中的两个或更多个诸如在用户界面中被呈现给用户，并且用户能够选择要使用哪一个触觉输出跟踪或哪些跟踪。因此，在一个实施例中，第一触觉效果跟踪符合在第一频带中确定的触觉效果并且第二触觉效果跟踪符合在第二频带中确定的触觉效果。在其它实施例中，至少部分地基于一个或多个频率范围来向用户呈现两个、三个、四个、五个或更多个触觉效果。在一些实施例中，用户能够选择组合触觉跟踪中的两个或更多个来创建单个触觉输出跟踪。在本文中公开了许多其它实施例并且变化在本公开内容的范围内。
返回参考方法400，一旦已确定一个或多个触觉输出信号430，方法400进行到框440。在框440中，生成一个或多个触觉输出信号。例如，参考图2，电子设备200可以生成一个或多个触觉输出信号。作为另一示例，参考图3，平板计算机320可以生成一个或多个触觉输出信号。在一个实施例中，平板计算机320可以向另一设备(诸如图3中所示出的台式计算机330)发送一个或多个生成的触觉输出信号。在实施例中，触觉输出信号中的一个或多个至少部分地基于修改的触觉效果。例如，触觉输出信号可以被配置成使一个或多个触觉输出设备输出修改的触觉效果。因此，例如，如果与确定的触觉效果相对应的强度参数已被修改，则触觉输出信号可以被配置成使触觉输出设备输出具有与经修改的强度参数相对应的强度的触觉效果。在本文中公开了许多其它实施例并且变化在本公开内容的范围内。
在一些实施例中，处理器210在事件发生时生成单个信号。例如，在一个实施例中，处理器210生成被配置成使触觉输出设备(诸如触觉输出设备240或触觉输出设备260)输出触觉效果的信号。触觉效果可以指示对象当前被显示在显示器230上、对象将被显示在显示器230上、对象正在接近、事件已发生、事件将发生或其组合。
在其它实施例中，处理器210生成两个、三个或更多个信号。例如，在一个实施例中，处理器210生成被配置成引起第一触觉效果的第一信号和被配置成引起第二触觉效果的第二信号。在一些实施例中，处理器210为发生的每个事件生成不同的信号。在各种实施例中，处理器210生成被配置成使触敏显示器230、通信接口250、触觉输出设备240、触觉输出设备260、传感器270、设备200的其它组件、与设备200通信的设备的其它组件或其组合输出所生成的信号中的一个或多个的一个或多个信号，诸如视频信号、音频信号、触觉输出信号和/或通信信号。例如，在一个实施例中，处理器210在事件发生时生成信号，其中信号被配置成使在另一设备中的触觉输出设备引起触觉效果。在一个实施例中，处理器210通过通信接口250向另一个设备发送信号。
在一个实施例中，生成的信号包括用于设备或组件执行规定的功能(诸如输出触觉效果或者向远程设备传送消息)的命令。在另一实施例中，生成的信号包括被接收到该命令的设备或组件用来确定响应或响应的某个方面的参数。参数可以包括与例如幅度、频率、持续时间或触觉输出设备能够使用来确定触觉输出、输出触觉效果或两者的其它参数相关的各种数据。例如，在一个实施例中，处理器210生成被配置成使触觉输出设备240输出触觉效果的信号。在这样的实施例中，信号可以包括触觉输出设备240使用来确定要输出的触觉效果的强度的压力参数。例如，根据一个实施例，触觉输出设备240接收到的压力参数越大，被输出的触觉效果越强。
在一个实施例中，强度参数被触觉输出设备用来确定触觉效果的强度。在这个实施例中，强度参数越大，被输出的触觉效果越强烈。在一个实施例中，强度参数至少部分地基于传感器信息，诸如远程可控设备在事件发生时的速度、方向等。因此，根据一个实施例，当在远程可控设备正以更快速度行进的时候发生事件时比当在远程可控设备正以较低速度行进的时候发生事件时更大的强度参数被发送到触觉输出设备。信号可以包括被配置成由触觉输出设备、显示器、通信接口、传感器或设备的其它组件处理或者与设备通信以便确定特定响应的方面。
返回参考方法400，一旦已生成一个或多个触觉输出信号440，方法400进行到框450。在框450中，一个或多个生成的触觉输出信号被输出给一个或多个触觉输出设备。例如，参考图2，一个或多个生成的触觉输出信号可以被输出给触觉输出设备240和/或触觉输出设备260。作为另一示例，参考图3，由台式计算机330所生成的一个或多个触觉输出信号可以通过网络310输出给平板计算机320中的一个或多个触觉输出设备。在一个实施例中，生成的触觉输出信号被发送到触觉输出设备。在其它实施例中，生成的触觉输出信号被发送到两个、三个、四个或更多个触觉输出设备。在一些实施例中，两个、三个、四个或更多个生成的触觉输出信号被发送到触觉输出设备。在其它实施例中，两个、三个、四个或更多个生成的触觉输出信号被发送到两个、三个、四个或更多个触觉输出设备。在本文中公开了许多其它实施例并且变化在本公开内容的范围内。
在各种实施例中，处理器210可以向任何数目的设备输出一个或多个生成的信号。例如，处理器210可以向通信接口250输出一个信号。在一个实施例中，处理器210可以向触敏显示器230输出一个生成的信号，向通信接口250输出另一生成的信号，并且向触觉输出设备260输出另一生成的信号。在其它实施例中，处理器210可以向多个组件或设备输出单个生成的信号。例如，在一个实施例中，处理器210向触觉输出设备240和触觉输出设备260两者输出一个生成的信号。在另一实施例中，处理器210向触觉输出设备240、触觉输出设备260以及通信接口250输出一个生成的信号。在再一个实施例中，处理器210向触觉输出设备240和触觉输出设备260两者输出一个生成的信号并且向触敏显示器230输出第二生成的信号。
如上面所讨论的，处理器210可以向通信接口250输出一个或多个信号。例如，处理器210可以向通信接口250输出指令通信接口250向与设备200通信的另一组件或设备发送数据的信号。在这样的实施例中，通信接口250可以向另一个设备发送数据，并且另一个设备可以执行诸如更新与另一个设备相关联的显示器的功能或者另一个设备可以输出触觉效果。因此，在一些实施例中，第二设备可以至少部分地基于与与第二设备通信的第一设备的交互来输出触觉效果。在其它实施例中，第二设备可以执行任何数目的功能，诸如例如至少部分地基于与第一遥控器200的交互来更新与第二设备相关联的显示器或者向与第二设备相关联的传感器输出声音。
在各种实施例中，在处理器210向组件输出信号之后，组件可以向处理器210发送指示组件接收到该信号的确认。例如，在一个实施例中，触觉输出设备260可以从处理器210接收用来输出触觉效果的命令。一旦触觉输出设备260接收到该命令，触觉输出设备260可以向处理器210发送该命令被触觉输出设备260接收到的确认响应。在另一实施例中，处理器210可以接收指示组件不仅接收到指令而且组件已执行响应的完成数据。例如，在一个实施例中，触觉输出设备240可以从处理器210接收各种参数。基于这些参数触觉输出设备240可以输出触觉效果并且向处理器210发送指示触觉输出设备240接收到参数并且输出了触觉效果的完成数据。在本文中公开了许多其它实施例并且变化在本公开内容的范围内。
总则
虽然根据在各种机器上执行的软件描述了本文中的方法和系统，但是方法和系统还可以被实现为具体地配置的硬件，诸如具体地配置成执行各种方法的现场可编程门阵列(FPGA)。例如，实施例可以用数字电子电路或者用计算机硬件、固件、软件或者用其组合加以实现。在一个实施例中，设备可以包括一个或多个处理器。处理器包括计算机可读介质，诸如耦合到处理器的随机存取存储器(RAM)。处理器执行存储在存储器中的计算机可执行指令，诸如执行一个或多个计算机程序以用于编辑图像。这样的处理器可以包括微处理器、数字信号处理器(DSP)、专用集成电路(ASIC)、现场可编程门阵列(FPGA)以及状态机。这样的处理器可以进一步包括可编程电子设备，诸如PLC、可编程中断控制器(PIC)、可编程逻辑器件(PLD)、可编程只读存储器(PROM)、电可编程只读存储器(EPROM或EEPROM)或其它类似的设备。
这样的处理器可以包括可以存储指令的介质，或者可以与可以存储指令的介质通信，所述介质例如计算机可读介质，所述指令当被处理器执行时，能够使处理器像由处理器所执行或者帮助的那样执行本文中所描述的步骤。计算机可读介质的实施例可以包括但不限于能够给处理器(诸如web服务器中的处理器)提供计算机可读指令的电子、光学、磁或其它存储设备。介质的其它示例包括但不限于软盘、CD-ROM、磁盘、存储器芯片、ROM、RAM、ASIC、配置的处理器、所有光学介质、所有磁带或其它磁介质，或计算机处理器能够从其读取的任何其它介质。所描述的处理器和处理可以在一个或多个结构中，或者可以通过一个或多个结果分散。处理器可以包括用于执行本文中所描述的方法中的一个或多个(或方法的各部分)的代码。
本发明的一些实施例的前面的描述已被呈现仅用于图示或描述的目的，并且不旨在为详尽的或者旨在将本发明限于所公开的精确形式。在不背离本发明的精神和范围的情况下，许多修改及其改编对于本领域的技术人员而言将是显而易见的。
在本文中对“一个实施例”或“实施例”的参考意味着结合该实施例所描述的特定特征、结构、操作或其它特性可以被包括在本发明的至少一个实施方式中。本发明不限于同样地描述的特定实施例。短语“在一个实施例中”或“在实施例中”在本说明书中的各种地方中的出现未必指的是相同的实施例。关于“一个实施例”在本说明书中所描述的任何特定特征、结构、操作或其它特性可以与在任何其它实施例方面所描述的其它特征、结构、操作或其它特性组合。

Claims (17)

1.一种系统，包括：
处理器，所述处理器被配置为：
从输入设备接收输入信号；
至少部分地基于所述输入信号生成光谱图；
至少部分地基于所述光谱图来确定触觉效果，其中确定触觉效果包括对于多个频率范围中的每一个：
遍及频率范围对所述光谱图分析特性；和
确定与所述特性相对应的触觉效果；以及
将与所述触觉效果相关联的触觉信号传送到被配置为输出所述触觉效果的触觉输出设备。
2.根据权利要求1所述的系统，其中，所述输入信号包括下述中的一个或多个：音频信号、视频信号、加速度信号、速率信号、或温度信号。
3.根据权利要求1所述的系统，其中，生成所述光谱图包括为所述输入信号的至少一个段计算傅立叶变换，每个段对应于所述输入信号在相应的时间窗中的值。
4.根据权利要求3所述的系统，其中，所述至少一个段包括第一段和第二段，所述第二段至少部分地与所述第一段重叠。
5.根据权利要求3所述的系统，其中，所述至少一个段包括第一段和第二段，所述第二段不与所述第一段重叠。
6.根据权利要求1所述的系统，其中，生成所述光谱图包括生成与第一频率范围相对应的二维图像，所述第一频率范围与所述输入信号相关联。
7.根据权利要求6所述的系统，其中，生成所述光谱图进一步包括将所述二维图像分割成多个二维图像，在所述多个二维图像中的每个图像包括在所述第一频率范围内的相应的频率范围。
8.根据权利要求1所述的系统，其中，确定所述光谱图的特性包括：
对于多个预定义的特性中的每一个，每个预定义的特性符合至少一个预定义的触觉效果：
确定所述光谱图是否包括该预定义的特性；和
响应于确定所述光谱图包括该预定义的特性，选择符合该预定义的特性的至少一个预定义的触觉效果作为所确定的触觉效果。
9.一种系统，包括：
输入设备；
触觉输出设备；和
处理器，所述处理器与所述输入设备和所述触觉输出设备通信，所述处理器被配置为：
至少部分地基于信号生成光谱图；
至少部分地基于所述光谱图来确定触觉效果，其中确定触觉效果包括：
通过对所述光谱图应用至少一个技术来确定所述光谱图的一个或多个特性，所述至少一个技术包括边缘检测、阈值检测、群集检测、或颜色直方图群集检测；和
对符合预定义的触觉效果的一个或多个特性分析一个或多个所确定的特性；和
将触觉输出信号输出到所述触觉输出设备，所述触觉信号被配置为使所述触觉输出设备输出所述预定义的触觉效果。
10.根据权利要求9所述的系统，其中，确定触觉效果进一步包括：
将所述光谱图划分为包括多个区的多个光谱图；
确定所述多个区中的每个区的一个或多个特性；和
对符合所述预定义的触觉效果的特性分析所述一个或多个特性。
11.根据权利要求9所述的系统，其中，所述输入信号包括下述中的一个或多个：音频信号、视频信号、加速度信号、速率信号、或温度信号。
12.根据权利要求9所述的系统，其中，生成所述光谱图包括：
为音频信号的至少一个段计算傅立叶变换，每个段对应于所述音频信号在相应的时间窗中的值。
13.根据权利要求9所述的系统，其中，生成所述光谱图包括：
生成与频率范围相对应的二维图像，所述频率范围与所述信号相关联。
14.根据权利要求9所述的系统，其中，生成所述光谱图包括生成多个光谱图，每个光谱图符合与所述信号相关联的相应的有区别的频率范围。
15.根据权利要求14所述的系统，其中，确定所述触觉效果包括：
对于多个有区别的频率范围中的每一个：
遍及该有区别的频率范围对所述光谱图分析特性；
确定与所述特性相对应的触觉效果；以及
响应于定位所述光谱图中的所述特性，选择所述触觉效果。
16.根据权利要求9所述的系统，其中，所述光谱图包括时间维度，并且其中，确定所述光谱图的特性包括在所述光谱图的时间维度内确定图案。
17.根据权利要求9所述的系统，其中，所述光谱图包括频率维度，并且其中，确定所述光谱图的特性包括在所述光谱图的频率维度内确定图案。
CN201811590413.4A 2013-09-06 2014-09-05 用于光谱图的视觉处理以生成触觉效果的系统 Pending CN110096136A (zh)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201361874933P 2013-09-06 2013-09-06
US61/874,933 2013-09-06
US14/051,933 2013-10-11
US14/051,933 US9898086B2 (en) 2013-09-06 2013-10-11 Systems and methods for visual processing of spectrograms to generate haptic effects
CN201410452683.4A CN104423591B (zh) 2013-09-06 2014-09-05 用于光谱图的视觉处理以生成触觉效果的系统和方法

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
CN201410452683.4A Division CN104423591B (zh) 2013-09-06 2014-09-05 用于光谱图的视觉处理以生成触觉效果的系统和方法

Publications (1)

Publication Number Publication Date
CN110096136A true CN110096136A (zh) 2019-08-06

Family

ID=51492229

Family Applications (2)

Application Number Title Priority Date Filing Date
CN201410452683.4A Expired - Fee Related CN104423591B (zh) 2013-09-06 2014-09-05 用于光谱图的视觉处理以生成触觉效果的系统和方法
CN201811590413.4A Pending CN110096136A (zh) 2013-09-06 2014-09-05 用于光谱图的视觉处理以生成触觉效果的系统

Family Applications Before (1)

Application Number Title Priority Date Filing Date
CN201410452683.4A Expired - Fee Related CN104423591B (zh) 2013-09-06 2014-09-05 用于光谱图的视觉处理以生成触觉效果的系统和方法

Country Status (5)

Country Link
US (2) US9898086B2 (zh)
EP (2) EP3575932A1 (zh)
JP (2) JP6399865B2 (zh)
KR (1) KR20150028734A (zh)
CN (2) CN104423591B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114995638A (zh) * 2022-05-12 2022-09-02 北京有竹居网络技术有限公司 触觉信号生成方法、装置、可读介质及电子设备

Families Citing this family (40)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8876535B2 (en) 2013-03-15 2014-11-04 State Farm Mutual Automobile Insurance Company Real-time driver observation and scoring for driver's education
US9576445B2 (en) 2013-09-06 2017-02-21 Immersion Corp. Systems and methods for generating haptic effects associated with an envelope in audio signals
US9652945B2 (en) * 2013-09-06 2017-05-16 Immersion Corporation Method and system for providing haptic effects based on information complementary to multimedia content
US9711014B2 (en) 2013-09-06 2017-07-18 Immersion Corporation Systems and methods for generating haptic effects associated with transitions in audio signals
US9619980B2 (en) 2013-09-06 2017-04-11 Immersion Corporation Systems and methods for generating haptic effects associated with audio signals
US9898086B2 (en) 2013-09-06 2018-02-20 Immersion Corporation Systems and methods for visual processing of spectrograms to generate haptic effects
US9164587B2 (en) 2013-11-14 2015-10-20 Immersion Corporation Haptic spatialization system
US9619029B2 (en) 2013-11-14 2017-04-11 Immersion Corporation Haptic trigger control system
JP6351964B2 (ja) * 2013-12-11 2018-07-04 株式会社東海理化電機製作所 入力装置
US9734685B2 (en) 2014-03-07 2017-08-15 State Farm Mutual Automobile Insurance Company Vehicle operator emotion management system and method
US9135803B1 (en) 2014-04-17 2015-09-15 State Farm Mutual Automobile Insurance Company Advanced vehicle operator intelligence system
US9283847B2 (en) 2014-05-05 2016-03-15 State Farm Mutual Automobile Insurance Company System and method to monitor and alert vehicle operator of impairment
US11669090B2 (en) 2014-05-20 2023-06-06 State Farm Mutual Automobile Insurance Company Autonomous vehicle operation feature monitoring and evaluation of effectiveness
US9972054B1 (en) 2014-05-20 2018-05-15 State Farm Mutual Automobile Insurance Company Accident fault determination for autonomous vehicles
US10319039B1 (en) 2014-05-20 2019-06-11 State Farm Mutual Automobile Insurance Company Accident fault determination for autonomous vehicles
US10185999B1 (en) 2014-05-20 2019-01-22 State Farm Mutual Automobile Insurance Company Autonomous feature use monitoring and telematics
US10373259B1 (en) 2014-05-20 2019-08-06 State Farm Mutual Automobile Insurance Company Fully autonomous vehicle insurance pricing
US10599155B1 (en) 2014-05-20 2020-03-24 State Farm Mutual Automobile Insurance Company Autonomous vehicle operation feature monitoring and evaluation of effectiveness
US9858621B1 (en) 2014-05-20 2018-01-02 State Farm Mutual Automobile Insurance Company Autonomous vehicle technology effectiveness determination for insurance pricing
US10102587B1 (en) 2014-07-21 2018-10-16 State Farm Mutual Automobile Insurance Company Methods of pre-generating insurance claims
US10139910B2 (en) * 2014-09-25 2018-11-27 Telefonaktiebolaget Lm Ericsson (Publ) Mobile communications device with adaptive friction of the housing
US10185396B2 (en) 2014-11-12 2019-01-22 Immersion Corporation Haptic trigger modification system
US20210118249A1 (en) 2014-11-13 2021-04-22 State Farm Mutual Automobile Insurance Company Autonomous vehicle salvage and repair
US9445210B1 (en) * 2015-03-19 2016-09-13 Adobe Systems Incorporated Waveform display control of visual characteristics
US11107365B1 (en) 2015-08-28 2021-08-31 State Farm Mutual Automobile Insurance Company Vehicular driver evaluation
CN108353096B (zh) 2015-11-13 2021-03-12 索尼公司 通信系统和存储介质
US11242051B1 (en) 2016-01-22 2022-02-08 State Farm Mutual Automobile Insurance Company Autonomous vehicle action communications
US9940834B1 (en) 2016-01-22 2018-04-10 State Farm Mutual Automobile Insurance Company Autonomous vehicle application
US10386845B1 (en) 2016-01-22 2019-08-20 State Farm Mutual Automobile Insurance Company Autonomous vehicle parking
US10395332B1 (en) 2016-01-22 2019-08-27 State Farm Mutual Automobile Insurance Company Coordinated autonomous vehicle automatic area scanning
US10134278B1 (en) 2016-01-22 2018-11-20 State Farm Mutual Automobile Insurance Company Autonomous vehicle application
US10324463B1 (en) 2016-01-22 2019-06-18 State Farm Mutual Automobile Insurance Company Autonomous vehicle operation adjustment based upon route
US11719545B2 (en) 2016-01-22 2023-08-08 Hyundai Motor Company Autonomous vehicle component damage and salvage assessment
US11441916B1 (en) 2016-01-22 2022-09-13 State Farm Mutual Automobile Insurance Company Autonomous vehicle trip routing
EP3239897A1 (en) * 2016-04-29 2017-11-01 Fujitsu Limited Method and apparatus for determining the similarity between multivariate data sets
US9953507B1 (en) * 2016-12-28 2018-04-24 Nortek Security & Control Llc Monitoring a wearing of a wearable device
US10832537B2 (en) * 2018-04-04 2020-11-10 Cirrus Logic, Inc. Methods and apparatus for outputting a haptic signal to a haptic transducer
US20200012347A1 (en) * 2018-07-09 2020-01-09 Immersion Corporation Systems and Methods for Providing Automatic Haptic Generation for Video Content
WO2020049705A1 (ja) * 2018-09-07 2020-03-12 株式会社ファセテラピー コンテンツ供給装置、コンテンツ提供システム、コンテンツ提供サーバ装置、コンテンツ取得装置、コンテンツ提供方法およびコンテンツ提供用プログラム
KR102273805B1 (ko) * 2019-02-19 2021-07-06 주식회사 동운아나텍 오디오 신호 패턴을 이용한 햅틱 신호 발생 방법 및 장치

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2003032289A1 (en) * 2001-10-09 2003-04-17 Immersion Corporation Haptic feedback sensations based on audio output from computer devices
US20050049876A1 (en) * 2003-08-28 2005-03-03 Ian Agranat Method and apparatus for automatically identifying animal species from their vocalizations
US20070242040A1 (en) * 2006-04-13 2007-10-18 Immersion Corporation, A Delaware Corporation System and method for automatically producing haptic events from a digital audio signal
JP2008283305A (ja) * 2007-05-08 2008-11-20 Sony Corp ビート強調装置、音声出力装置、電子機器、およびビート出力方法
US20090231276A1 (en) * 2006-04-13 2009-09-17 Immersion Corporation System And Method For Automatically Producing Haptic Events From A Digital Audio File
US20120062491A1 (en) * 2010-09-14 2012-03-15 Thales Haptic interaction device and method for generating haptic and sound effects
US20120209612A1 (en) * 2011-02-10 2012-08-16 Intonow Extraction and Matching of Characteristic Fingerprints from Audio Signals
US8493354B1 (en) * 2012-08-23 2013-07-23 Immersion Corporation Interactivity model for shared feedback on mobile devices

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3475317B2 (ja) * 1996-12-20 2003-12-08 日本電信電話株式会社 映像分類方法および装置
BR0309598A (pt) * 2002-04-25 2005-02-09 Shazam Entertainment Ltd Método para a caracterização de um relacionamento entre uma primeira e uma segunda amostras de áudio, produto de programa de computador e sistema de computador
JP4099576B2 (ja) * 2002-09-30 2008-06-11 ソニー株式会社 情報識別装置及び方法、並びにプログラム及び記録媒体
DE10259979A1 (de) * 2002-12-19 2004-07-15 Daimlerchrysler Ag Verfahren zur Ermittlung eines Straßenzustands während des Fahrbetriebs eines Kraffahrzeugs
US20040260540A1 (en) * 2003-06-20 2004-12-23 Tong Zhang System and method for spectrogram analysis of an audio signal
JP4927453B2 (ja) * 2005-08-01 2012-05-09 フェニックス電機株式会社 高圧放電灯の点灯回路
US8378964B2 (en) * 2006-04-13 2013-02-19 Immersion Corporation System and method for automatically producing haptic events from a digital audio signal
ES2322122B1 (es) * 2009-02-10 2010-07-16 Laboratorios Starga S.L. Composicion cosmetica para el cuidado y reparacion de telangiectasias.
KR101628396B1 (ko) 2010-11-26 2016-06-08 현대자동차주식회사 차량용 햅틱 스크롤 휠 스위치
US8717152B2 (en) * 2011-02-11 2014-05-06 Immersion Corporation Sound to haptic effect conversion system using waveform
EP2681721A1 (en) * 2011-03-04 2014-01-08 Sony Ericsson Mobile Communications AB Vibration control
US9083821B2 (en) * 2011-06-03 2015-07-14 Apple Inc. Converting audio to haptic feedback in an electronic device
US9268845B1 (en) * 2012-03-08 2016-02-23 Google Inc. Audio matching using time alignment, frequency alignment, and interest point overlap to filter false positives
US20140017641A1 (en) * 2012-07-13 2014-01-16 David J. Nowacki Method and system for monitoring, verifying, measuring, reporting, rating and ranking company, industry and individual training, education, licensing, certification, or other trade, professional designations, or regulatory requirements.
US9317044B2 (en) * 2012-11-07 2016-04-19 Crystal Instruments Corporation Mechanical vibration system and control method with limited displacement
US9128523B2 (en) * 2012-12-20 2015-09-08 Amazon Technologies, Inc. Dynamically generating haptic effects from audio data
US9898086B2 (en) * 2013-09-06 2018-02-20 Immersion Corporation Systems and methods for visual processing of spectrograms to generate haptic effects

Patent Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2003032289A1 (en) * 2001-10-09 2003-04-17 Immersion Corporation Haptic feedback sensations based on audio output from computer devices
JP2005506613A (ja) * 2001-10-09 2005-03-03 イマージョン コーポレイション コンピュータ装置からのオーディオ出力に基づく触覚フィードバック感覚
US20050049876A1 (en) * 2003-08-28 2005-03-03 Ian Agranat Method and apparatus for automatically identifying animal species from their vocalizations
US20070242040A1 (en) * 2006-04-13 2007-10-18 Immersion Corporation, A Delaware Corporation System and method for automatically producing haptic events from a digital audio signal
CN101421707A (zh) * 2006-04-13 2009-04-29 伊默生公司 从数字音频信号自动产生触觉事件的系统和方法
US20090231276A1 (en) * 2006-04-13 2009-09-17 Immersion Corporation System And Method For Automatically Producing Haptic Events From A Digital Audio File
JP2009533714A (ja) * 2006-04-13 2009-09-17 イマージョン コーポレーション デジタル音声信号からハプティック・イベントを自動生成するシステム及び方法
JP2008283305A (ja) * 2007-05-08 2008-11-20 Sony Corp ビート強調装置、音声出力装置、電子機器、およびビート出力方法
KR20090130833A (ko) * 2008-06-16 2009-12-24 임머숀 코퍼레이션 디지털 오디오 파일로부터 햅틱 이벤트들을 자동으로 생성하는 시스템 및 방법
US20120062491A1 (en) * 2010-09-14 2012-03-15 Thales Haptic interaction device and method for generating haptic and sound effects
US20120209612A1 (en) * 2011-02-10 2012-08-16 Intonow Extraction and Matching of Characteristic Fingerprints from Audio Signals
US8493354B1 (en) * 2012-08-23 2013-07-23 Immersion Corporation Interactivity model for shared feedback on mobile devices

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114995638A (zh) * 2022-05-12 2022-09-02 北京有竹居网络技术有限公司 触觉信号生成方法、装置、可读介质及电子设备

Also Published As

Publication number Publication date
US10338683B2 (en) 2019-07-02
EP2846225A3 (en) 2015-04-22
CN104423591A (zh) 2015-03-18
US9898086B2 (en) 2018-02-20
CN104423591B (zh) 2019-01-11
EP3575932A1 (en) 2019-12-04
KR20150028734A (ko) 2015-03-16
JP2015053049A (ja) 2015-03-19
JP6399865B2 (ja) 2018-10-03
EP2846225B1 (en) 2019-09-04
US20150070265A1 (en) 2015-03-12
EP2846225A2 (en) 2015-03-11
JP2018206427A (ja) 2018-12-27
JP6709261B2 (ja) 2020-06-10
US20180136732A1 (en) 2018-05-17

Similar Documents

Publication Publication Date Title
CN104423591B (zh) 用于光谱图的视觉处理以生成触觉效果的系统和方法
US10466791B2 (en) Interactivity model for shared feedback on mobile devices
US20180165927A1 (en) Systems and Methods for Closed-Loop Control For Haptic Feedback
EP2717120B1 (en) Apparatus, methods and computer program products providing finger-based and hand-based gesture commands for portable electronic device applications
US8279193B1 (en) Interactivity model for shared feedback on mobile devices
US20120223880A1 (en) Method and apparatus for producing a dynamic haptic effect
US20050264527A1 (en) Audio-visual three-dimensional input/output
CN105745669A (zh) 移动装置中的用户验证生物计量技术
KR20150020067A (ko) 햅틱 피들링 시스템 및 방법
US20180011538A1 (en) Multimodal haptic effects
CN110096140A (zh) 依据眼睛注视的触觉感觉
US20230305633A1 (en) Gesture and voice controlled interface device

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20190806